図面 (/)

技術 電磁波検出装置、フローサイトメーター、電磁波検出方法、電磁波検出プログラム及び学習済みモデル

出願人 国立大学法人大阪大学国立大学法人東京大学
発明者 堀崎遼一谷田純太田禎生
出願日 2020年10月8日 (7ヶ月経過) 出願番号 2020-170808
公開日 2021年1月28日 (3ヶ月経過) 公開番号 2021-009158
状態 未査定
技術分野 粒子の特徴の調査 光学的手段による材料の調査、分析
主要キーワード 補助平面 正否情報 単一光検出器 正則化パラメータ 電磁波検出装置 順問題 圧縮センシング 振幅画像
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2021年1月28日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (18)

課題

電磁波の周波数に因らずに電磁波の位相振幅とが含まれる信号を取得する。

解決手段

電磁波検出装置は、可干渉性を有する電磁波を撮像対象に向けて照射する照射部と、電磁波又は電磁波が撮像対象に照射され変調された電磁波の位相と振幅とのうちの少なくとも一方を変調させ変調の程度が異なる複数の領域を有する電磁波変調部と、照射部から照射された電磁波が、撮像対象と電磁波変調部とによって変調された変調後電磁波の強度を1画素によって検出する変調後電磁波強度検出部と、電磁波変調部により互いに異なった変調が加えられて変調後電磁波強度検出部により複数回検出された変調後電磁波の強度を用いて機械学習を行う機械学習部と、機械学習部によって機械学習された結果と、電磁波変調部により互いに異なった変調が加えられて変調後電磁波強度検出部により複数回検出された変調後電磁波の強度とに基づいて撮像対象を判別する判別部とを備える。

概要

背景

従来、電磁波を撮像対象照射し、照射された電磁波が撮像対象によって散乱した電磁波を、領域毎に電磁波を減衰させる大きさが異なるランダムパターンを持つ散乱板を介して撮像し、撮像画像とランダムなパターンとから、撮像対象によって散乱した電磁波の位相振幅とを示す複素振幅を生成する技術が知られている(例えば、非特許文献1)。

概要

電磁波の周波数に因らずに電磁波の位相と振幅とが含まれる信号を取得する。電磁波検出装置は、可干渉性を有する電磁波を撮像対象に向けて照射する照射部と、電磁波又は電磁波が撮像対象に照射され変調された電磁波の位相と振幅とのうちの少なくとも一方を変調させ変調の程度が異なる複数の領域を有する電磁波変調部と、照射部から照射された電磁波が、撮像対象と電磁波変調部とによって変調された変調後電磁波の強度を1画素によって検出する変調後電磁波強度検出部と、電磁波変調部により互いに異なった変調が加えられて変調後電磁波強度検出部により複数回検出された変調後電磁波の強度を用いて機械学習を行う機械学習部と、機械学習部によって機械学習された結果と、電磁波変調部により互いに異なった変調が加えられて変調後電磁波強度検出部により複数回検出された変調後電磁波の強度とに基づいて撮像対象を判別する判別部とを備える。

目的

本発明の課題は、電磁波の周波数に因らずに電磁波の位相と振幅とが含まれる信号を取得することができる電磁波検出装置、フローサイトメーター、電磁波検出方法、電磁波検出プログラム及び学習済みモデルを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

可干渉性を有する電磁波を撮像対象に向けて照射する照射部と、前記電磁波又は前記電磁波が前記撮像対象に照射され変調された電磁波の位相振幅とのうちの少なくとも一方を変調させ、変調の程度が異なる複数の領域を有する電磁波変調部と、前記照射部から照射された前記電磁波が、前記撮像対象と前記電磁波変調部とによって変調された変調後電磁波の強度を1画素によって検出する変調後電磁波強度検出部と、前記電磁波変調部により互いに異なった変調が加えられて前記変調後電磁波強度検出部により複数回検出された前記変調後電磁波の強度を用いて機械学習を行う機械学習部と、前記機械学習部によって機械学習された結果と、前記電磁波変調部により互いに異なった変調が加えられて前記変調後電磁波強度検出部により複数回検出された前記変調後電磁波の強度とに基づいて、前記撮像対象を判別する判別部とを備える電磁波検出装置

請求項2

前記機械学習部は、前記電磁波変調部が有する前記複数の領域で加えられる1つの変調のパターンと当該変調のパターンが加えられた際に前記変調後電磁波強度検出部によって検出される変調後電磁波の強度とが結びつけられた情報である結合強度情報であって撮像対象が第1の撮像対象である場合の情報である第1の結合強度情報に基づく第1の学習と、前記結合強度情報であって撮像対象が前記第1の撮像対象とは別の撮像対象である場合の情報である第2の結合強度情報に基づく第2の学習とを少なくとも行ない、前記判別部は、前記機械学習部によって行われた前記第1の学習及び前記第2の学習と、前記結合強度情報であって撮像対象が前記撮像対象である場合の結合強度情報とに基づいて、前記撮像対象が前記第1の撮像対象に該当するか否かを判別する請求項1に記載の電磁波検出装置。

請求項3

前記照射部は、前記電磁波変調部を介した前記電磁波を、前記撮像対象に対して照射する請求項1または請求項2に記載の電磁波検出装置。

請求項4

前記照射部は、前記撮像対象を介した前記電磁波を、前記電磁波変調部に対して照射する請求項1または請求項2に記載の電磁波検出装置。

請求項5

前記変調後電磁波強度検出部は前記変調後電磁波の強度を複数回経時的に検出し、前記機械学習部は前記変調後電磁波の強度の経時的変化の情報を用いて機械学習を行う、請求項1から請求項4のいずれか一項に記載の電磁波検出装置。

請求項6

前記電磁波変調部が複数の領域において与える変調の程度が時間変化しない請求項1から請求項5のいずれか一項に記載の電磁波検出装置と、前記撮像対象としての観察対象が流される流路とを備え、前記電磁波検出装置の前記照射部は、前記流路に対して前記電磁波を照射し、前記変調後電磁波強度検出部は、前記流路に対して照射された前記電磁波を検出するフローサイトメーター

請求項7

前記電磁波変調部が複数の領域において与えられる変調の程度が変えられる可変電磁波変調部であり、前記判別部が判定した結果と前記判別部による判定結果が正しいか否かを示す判定正否情報とに基づくスコアと、前記撮像対象を判定した際に用いられた前記電磁波変調部により加えられた変調のパターンとを結びつけ、高いスコアの変調パターン同士を変異を加えつつ交差させて別の変調パターンを算出する変調パターン算出部と、前記電磁波変調部が有する複数の領域における変調の程度を前記変調パターン算出部によって算出された前記別の変調パターンに基づいて変更する変更部と、をさらに備える請求項1または請求項2記載の電磁波検出装置。

請求項8

可干渉性を有する電磁波を撮像対象に向けて照射する照射ステップと、前記電磁波又は前記電磁波が前記撮像対象に照射され変調された電磁波の位相と振幅とのうちの少なくとも一方を変調させ、変調の程度が異なる複数の領域を有する電磁波変調ステップと、前記照射ステップにおいて照射された前記電磁波が、前記撮像対象と前記電磁波変調ステップとによって変調された変調後電磁波の強度を1画素によって検出する変調後電磁波強度検出ステップと、前記電磁波変調ステップにより互いに異なった変調が加えられて前記変調後電磁波強度検出ステップにより複数回検出された前記変調後電磁波の強度を用いて機械学習を行う機械学習ステップと、前記機械学習ステップによって機械学習された結果と、前記電磁波変調ステップにより互いに異なった変調が加えられて前記変調後電磁波強度検出ステップにより複数回検出された前記変調後電磁波の強度とに基づいて、前記撮像対象を判別する判別ステップとを有する電磁波検出方法

請求項9

コンピュータに、可干渉性を有する電磁波を撮像対象に向けて照射する照射ステップと、前記電磁波又は前記電磁波が前記撮像対象に照射され変調された電磁波の位相と振幅とのうちの少なくとも一方を変調させ、変調の程度が異なる複数の領域を有する電磁波変調ステップと、前記照射ステップにおいて照射された前記電磁波が、前記撮像対象と前記電磁波変調ステップとによって変調された変調後電磁波の強度を1画素によって検出する変調後電磁波強度検出ステップと、前記電磁波変調ステップにより互いに異なった変調が加えられて前記変調後電磁波強度検出ステップにより複数回検出された前記変調後電磁波の強度を用いて機械学習を行う機械学習ステップと、前記機械学習ステップによって機械学習された結果と、前記電磁波変調ステップにより互いに異なった変調が加えられて前記変調後電磁波強度検出ステップにより複数回検出された前記変調後電磁波の強度とに基づいて、前記撮像対象を判別する判別ステップとを実行させるための電磁波検出プログラム

請求項10

可干渉性を有する電磁波を撮像対象に向けて照射する照射部と、前記電磁波又は前記電磁波が前記撮像対象に照射され変調された電磁波の位相と振幅とのうちの少なくとも一方を変調させ、変調の程度が異なる複数の領域を有する電磁波変調部と、前記照射部から照射された前記電磁波が、前記撮像対象と前記電磁波変調部とによって変調された変調後電磁波の強度を1画素によって検出する変調後電磁波強度検出部と、前記電磁波変調部により互いに異なった変調が加えられて前記変調後電磁波強度検出部により複数回検出された前記変調後電磁波の強度を用いて機械学習を行う機械学習部と、前記機械学習部によって機械学習された結果と、前記電磁波変調部により互いに異なった変調が加えられて前記変調後電磁波強度検出部により複数回検出された前記変調後電磁波の強度とに基づいて、前記撮像対象を判別する判別部とを備える電磁波検出装置において、前記電磁波変調部が有する前記複数の領域で加えられる1つの変調のパターンと当該変調のパターンが加えられた際に前記変調後電磁波強度検出部によって検出される変調後電磁波の強度とが結びつけられた情報である結合強度情報と撮像対象を識別する識別情報との組である教師データであって撮像対象が第1の撮像対象である場合の第1の教師データと、前記教師データであって撮像対象が前記第1の撮像対象とは別の撮像対象である場合の第2の教師データとに基づいて前記機械学習が行われた結果である学習済みモデル

技術分野

背景技術

0002

従来、電磁波を撮像対象照射し、照射された電磁波が撮像対象によって散乱した電磁波を、領域毎に電磁波を減衰させる大きさが異なるランダムパターンを持つ散乱板を介して撮像し、撮像画像とランダムなパターンとから、撮像対象によって散乱した電磁波の位相振幅とを示す複素振幅を生成する技術が知られている(例えば、非特許文献1)。

先行技術

0003

Single−shot phase imaging with a coded aperture(OPTICSLETERS/ Vol. 39, No. 22 / November 15, 2014)

発明が解決しようとする課題

0004

従来の技術では、複数の画素を備える撮像素子から取得した電磁波の強度の情報に基づいて、電磁波の位相と振幅とを再構成する。しかし、検出する電磁波の周波数によっては複数の画素を備える撮像素子を製造することが難しいという課題があった。
本発明の課題は、電磁波の周波数に因らずに電磁波の位相と振幅とが含まれる信号を取得することができる電磁波検出装置、フローサイトメーター、電磁波検出方法、電磁波検出プログラム及び学習済みモデルを提供することにある。

課題を解決するための手段

0005

本発明の一態様は、可干渉性を有する電磁波を撮像対象に向けて照射する照射部と、前記電磁波又は前記電磁波が前記撮像対象に照射され変調された電磁波の位相と振幅とのうちの少なくとも一方を変調させ、変調の程度が異なる複数の領域を有する電磁波変調部と、前記照射部から照射された前記電磁波が、前記撮像対象と前記電磁波変調部とによって変調された変調後電磁波の強度を1画素によって検出する変調後電磁波強度検出部と、前記電磁波変調部により互いに異なった変調が加えられて前記変調後電磁波強度検出部により複数回検出された前記変調後電磁波の強度を用いて機械学習を行う機械学習部と、前記機械学習部によって機械学習された結果と、前記電磁波変調部により互いに異なった変調が加えられて前記変調後電磁波強度検出部により複数回検出された前記変調後電磁波の強度とに基づいて、前記撮像対象を判別する判別部とを備える電磁波検出装置である。

0006

また、本発明の一態様は、上記の電磁波検出装置において、前記機械学習部は、前記電磁波変調部が有する前記複数の領域で加えられる1つの変調のパターンと当該変調のパターンが加えられた際に前記変調後電磁波強度検出部によって検出される変調後電磁波の強度とが結びつけられた情報である結合強度情報であって撮像対象が第1の撮像対象である場合の情報である第1の結合強度情報に基づく第1の学習と、前記結合強度情報であって撮像対象が前記第1の撮像対象とは別の撮像対象である場合の情報である第2の結合強度情報に基づく第2の学習とを少なくとも行ない、前記判別部は、前記機械学習部によって行われた前記第1の学習及び前記第2の学習と、前記結合強度情報であって撮像対象が前記撮像対象である場合の結合強度情報とに基づいて、前記撮像対象が前記第1の撮像対象に該当するか否かを判別する。

0007

また、本発明の一態様は、上記の電磁波検出装置において、前記照射部は、前記電磁波変調部を介した前記電磁波を、前記撮像対象に対して照射する。

0008

また、本発明の一態様は、上記の電磁波検出装置において、前記照射部は、前記撮像対象を介した前記電磁波を、前記電磁波変調部に対して照射する。

0009

また、本発明の一態様は、上記の電磁波検出装置において、前記変調後電磁波強度検出部は前記変調後電磁波の強度を複数回経時的に検出し、前記機械学習部は前記変調後電磁波の強度の経時的変化の情報を用いて機械学習を行う。

0010

また、本発明の一態様は、前記電磁波変調部が複数の領域において与える変調の程度が時間変化しない上記の電磁波検出装置と、前記撮像対象としての観察対象が流される流路とを備え、前記電磁波検出装置の前記照射部は、前記流路に対して前記電磁波を照射し、前記変調後電磁波強度検出部は、前記流路に対して照射された前記電磁波を検出するフローサイトメーターである。

0011

また、本発明の一態様は、可干渉性を有する電磁波を撮像対象に向けて照射する照射ステップと、前記電磁波又は前記電磁波が前記撮像対象に照射され変調された電磁波の位相と振幅とのうちの少なくとも一方を変調させ、変調の程度が異なる複数の領域を有する電磁波変調ステップと、前記照射ステップにおいて照射された前記電磁波が、前記撮像対象と前記電磁波変調ステップとによって変調された変調後電磁波の強度を1画素によって検出する変調後電磁波強度検出ステップと、前記電磁波変調ステップにより互いに異なった変調が加えられて前記変調後電磁波強度検出ステップにより複数回検出された前記変調後電磁波の強度を用いて機械学習を行う機械学習ステップと、前記機械学習ステップによって機械学習された結果と、前記電磁波変調ステップにより互いに異なった変調が加えられて前記変調後電磁波強度検出ステップにより複数回検出された前記変調後電磁波の強度とに基づいて、前記撮像対象を判別する判別ステップとを有する電磁波検出方法である。

0012

また、本発明の一態様は、コンピュータに、可干渉性を有する電磁波を撮像対象に向けて照射する照射ステップと、前記電磁波又は前記電磁波が前記撮像対象に照射され変調された電磁波の位相と振幅とのうちの少なくとも一方を変調させ、変調の程度が異なる複数の領域を有する電磁波変調ステップと、前記照射ステップにおいて照射された前記電磁波が、前記撮像対象と前記電磁波変調ステップとによって変調された変調後電磁波の強度を1画素によって検出する変調後電磁波強度検出ステップと、前記電磁波変調ステップにより互いに異なった変調が加えられて前記変調後電磁波強度検出ステップにより複数回検出された前記変調後電磁波の強度を用いて機械学習を行う機械学習ステップと、前記機械学習ステップによって機械学習された結果と、前記電磁波変調ステップにより互いに異なった変調が加えられて前記変調後電磁波強度検出ステップにより複数回検出された前記変調後電磁波の強度とに基づいて、前記撮像対象を判別する判別ステップとを実行させるための電磁波検出プログラムである。

0013

また、本発明の一態様は、可干渉性を有する電磁波を撮像対象に向けて照射する照射部と、前記電磁波又は前記電磁波が前記撮像対象に照射され変調された電磁波の位相と振幅とのうちの少なくとも一方を変調させ、変調の程度が異なる複数の領域を有する電磁波変調部と、前記照射部から照射された前記電磁波が、前記撮像対象と前記電磁波変調部とによって変調された変調後電磁波の強度を1画素によって検出する変調後電磁波強度検出部と、前記電磁波変調部により互いに異なった変調が加えられて前記変調後電磁波強度検出部により複数回検出された前記変調後電磁波の強度を用いて機械学習を行う機械学習部と、前記機械学習部によって機械学習された結果と、前記電磁波変調部により互いに異なった変調が加えられて前記変調後電磁波強度検出部により複数回検出された前記変調後電磁波の強度とに基づいて、前記撮像対象を判別する判別部とを備える電磁波検出装置において、前記電磁波変調部が有する前記複数の領域で加えられる1つの変調のパターンと当該変調のパターンが加えられた際に前記変調後電磁波強度検出部によって検出される変調後電磁波の強度とが結びつけられた情報である結合強度情報と撮像対象を識別する識別情報との組である教師データであって撮像対象が第1の撮像対象である場合の第1の教師データと、前記教師データであって撮像対象が前記第1の撮像対象とは別の撮像対象である場合の第2の教師データとに基づいて前記機械学習が行われた結果である学習済みモデルである。

発明の効果

0014

本発明によれば、電磁波の周波数に因らずに電磁波の位相と振幅とが含まれる信号を取得することができる電磁波検出装置、フローサイトメーター、電磁波検出方法、電磁波検出プログラム及び学習済みモデルを提供することができる。

図面の簡単な説明

0015

電磁波検出システムの構成の一例を示す図である。
結合強度情報の一例を示す図である。
構造化検出の構成の電磁波検出装置の構成の一例を示す図である。
電磁波検出装置の動作の一例を示す流れ図である。
撮像対象と、可変電磁波変調部と、変調後電磁波強度検出部との位置の関係を示す図である。
行列Mの一例を示す図である。
撮像対象の位相及び振幅の情報、撮像対象を顕微鏡によって撮像した撮像画像の一例を示す図である。
構造化照明の構成の電磁波検出装置の構成の一例を示す図である。
固定電磁波変調部に対して相対的に移動する撮像対象を介して変調される変調後電磁波の一例を示す図である。
固定電磁波変調部の変調の状態の一例を示す図である。
撮像対象が移動する場合の、構造化検出の電磁波検出装置の構成の一例を示す図である。
電磁波検出装置の動作の一例を示す流れ図である。
撮像対象が移動する場合の、構造化照明の電磁波検出装置の構成の一例を示す図である。
変調後電磁波の強さを機械学習する電磁波検出装置の構成の一例を示す図である。
電磁波検出装置の動作の一例を示す流れ図である。
固定電磁波変調部の変調の状態を、撮像対象に応じて変更する電磁波検出装置の構成の一例を示す図である。
遺伝的アルゴリズムによって生成されるパターンの一例を示す図である。

実施例

0016

以下、図面を参照して電磁波検出装置の実施形態について説明する。
図1は、電磁波検出システム100の構成の一例を示す図である。

0017

電磁波検出システム100は、撮像対象OBと電磁波変調部MPとによって変調される電磁波を検出する。電磁波検出システム100は検出した電磁波の強度と、電磁波変調部MPとに基づいて、撮像対象OBの位相又は振幅の情報を再構成する。

0018

具体的には、電磁波検出システム100は、照射部RLから照射される電磁波ELを撮像対象OBに対して照射する。この電磁波ELは、可干渉性を有する電磁波である。この電磁波ELは、一部分に可干渉性を有する電磁波であればよい。言い換えると、照射部RLは、コヒーレント光出射する。照射部RLから照射された電磁波ELは、撮像対象OBによって位相又は振幅が変調される。ここで、変調とは、電磁波の位相又は振幅に変化を与えることである。この撮像対象OBによって変調された電磁波FLは、電磁波変調部MPによって位相又は振幅が変調される。電磁波変調部MPとは、照射される電磁波ELの位相と振幅とのうちの一方又は両方を変調させるものである。電磁波変調部MPは、変調の状態が撮像対象OBに対して相対的に変化する。この、撮像対象と電磁波変調部MPとによって変調された電磁波のことを、変調後電磁波SLとも記載する。

0019

変調後電磁波強度検出部12は、この変調後電磁波SLの強度を検出する。以下の説明では、変調後電磁波SLの強度を、強度情報とも記載する。変調後電磁波強度検出部12とは、変調後電磁波の強度を1画素によって検出する検出器である。変調後電磁波強度検出部12は、検出した強度情報を、電磁波検出装置10に対して供給する。

0020

電磁波検出装置10は、変調後電磁波強度検出部12から強度情報を取得する。電磁波検出装置10は、強度情報の信号を処理する。電磁波検出装置10は、処理した結果をフローサイトメーター40に供給する。フローサイトメーター40は、電磁波検出装置10から供給される結果に基づいて、撮像対象OBの分析を行う。以下の説明では、照射部RLから撮像対象OBを介して電磁波変調部MPに電磁波を照射する構成を、構造化検出の構成とも記載する。

0021

また、電磁波検出システム100は、破線部Aに含まれる撮像対象OBと、電磁波変調部MPとの配置を入れ替えてもよい。具体的には、照射部RLから照射された電磁波ELを、電磁波変調部MPが変調する。撮像対象OBは、この電磁波変調部MPが変調した電磁波を変調する。変調後電磁波強度検出部12は、撮像対象OBが変調した変調後電磁波SLを検出する。以下の説明では、照射部RLから電磁波変調部MPを介して撮像対象OBに電磁波を照射する構成を、構造化照明の構成とも記載する。

0022

上述した、構造化検出の構成及び構造化照明の構成では、電磁波ELの進行方向に対して、撮像対象OB及び電磁波変調部MPは移動しない。言い換えると、構造化検出の構成及び構造化照明の構成では、撮像対象OBと、電磁波変調部MPとの相対的な位置は変化しない。
また、電磁波変調部MPは、変調後電磁波強度検出部12が変調後電磁波SLの強度を検出中には変化しない。電磁波変調部MPは、変調後電磁波強度検出部12が変調後電磁波SLの強度の検出後に変化する。

0023

次に、図2を参照して、変調後電磁波強度検出部12が検出する強度情報の一例について説明する。
図2は、結合強度情報DSTの一例を示す図である。
図2(a)は、複数の強度情報DSと、強度情報DSそれぞれが取得された時刻順に並べたグラフである。図2(b)は、変調の状態MSを出力された時刻順に並べたグラフである。結合強度情報DSTとは、この図2(a)に示す複数の強度情報DSと、図2(b)に示す変調の状態MSとのそれぞれの時刻を対応付けた情報である。

0024

この一例では、結合強度情報DSTには、強度情報DS0から強度情報DS7までの情報が含まれる。変調後電磁波強度検出部12は、時刻t0のときに強度情報DS0を検出する。強度情報DS0を検出したときの電磁波変調部MPは、変調の状態MS0である。
変調後電磁波強度検出部12は、時刻t0と同様に、時刻t1から時刻t7までの強度情報DSを検出する。また、電磁波変調部MPは、時刻0から時刻t7まで、それぞれ互いに異なる変調の状態MSである。言い換えると、電磁波変調部MPは、変調の状態MS0から電磁波変調部MP7までがそれぞれ互いに異なる状態で、電磁波ELの位相と振幅とのうちの一方又は両方を変調させる。

0025

つまり、電磁波変調部MPには、変調の状態MSを示す第1の状態と、第1の状態とは変調の状態MSが異なる第2の状態とがある。
変調後電磁波強度検出部12は、撮像対象OBと第1の状態の電磁波変調部MPとによって変調される変調後電磁波の強度DSを示す第1の変調後電磁波SLの強度を検出する。また、変調後電磁波強度検出部12は、撮像対象OBと第2の状態の電磁波変調部MPとによって変調される変調後電磁波の強度DSを示す第2の変調後電磁波SLの強度とを少なくとも検出する。

0026

[第1の実施形態]
[構造化検出の電磁波検出装置の構成]
次に、図3を参照して、電磁波位相振幅生成装置10が構造化検出の構成の場合の一例について説明する。
図3は、構造化検出の構成の電磁波検出装置10aの構成の一例を示す図である。

0027

電磁波検出装置10aは、照射部RLと、可変電磁波変調部MPCと、変更部11と、変調後電磁波強度検出部12と、強度信号結合部13と、生成部14aとを備える。

0028

照射部RLは、電磁波ELを撮像対象OBに対して照射する。撮像対象OBとは、電磁波検出装置10aによって観察される試料である。具体的には、撮像対象OBとは、不透明又は無色透明生体試料、非生体試料である材料及び素材などである。ここで、電磁波ELとは、可視光線X線電子線、紫外線赤外線テラヘルツ波ミリ波及びマイクロ波のうち少なくとも1つである。なお、上述した電磁波ELは、これに限られず、どのような波長の電磁波であってもよい。この一例では、電磁波が可視光線の場合について説明する。以下の説明では、可視光線を単に光と記載する場合もある。

0029

可変電磁波変調部MPCは、照射される電磁波の位相と振幅とのうちの一方又は両方を変化させる。可変電磁波変調部MPCとは、変調の状態が変更可能な電磁波変調部MPである。可変電磁波変調部MPCとは、具体的には、空間光変調器である。空間光変調器は、上述した可変電磁波変調部MPCの変調の状態MSを、印加される電流電圧電気信号などに応じて変化させる装置である。より具体的には、可変電磁波変調部MPCは、照射される電磁波を変調する程度が異なる複数の領域を有する。以下の説明では、この複数の領域のことを、パターンとも記載する。この領域は、正方形に分割される。

0030

変更部11は、可変電磁波変調部MPCの変調の状態MSを変化させる。変更部11は、強度信号結合部13に対して、可変電磁波変調部MPCの変調の状態MSを示す変調状態情報を供給する。

0031

変調後電磁波強度検出部12は、変調後電磁波SLを検出する。上述したように、この変調後電磁波SLは、撮像対象OBを介した電磁波FLを、可変電磁波変調部MPCが変調した電磁波である。変調後電磁波強度検出部12とは、1画素検出器である。より具体的には、変調後電磁波強度検出部12とは、単一光検出器である。
変調後電磁波強度検出部12は、検出した変調後電磁波SLの強度情報を、強度信号結合部13に対して供給する。

0032

強度信号結合部13は、変更部11から変調状態情報を取得する。強度信号結合部13は、変調後電磁波強度検出部12から強度情報DSを取得する。強度信号結合部13は、取得した強度情報DSと変調状態情報とを最新の情報とする結合強度情報DSTを生成する。強度信号結合部13は、生成した結合強度情報DSTを記憶する。強度信号結合部13は、記憶した結合強度情報DSTを、生成部14aに対して供給する。

0033

生成部14aは、複数の変調後電磁波の強度と、この強度を検出した際のそれぞれの変調の状態MSを示す変調状態情報と、この可変電磁波変調部MPCの変調の寄与度を示す寄与度情報とに基づいて、撮像対象OBからの電磁波のうちの少なくとも位相と振幅とを示す複素振幅情報を生成する。具体的には、生成部14aは、強度信号結合部13から結合強度情報DSTを取得する。生成部14aは、結合強度情報DSTに基づいて、撮像対象OBの位相又は振幅の情報が含まれる複素振幅を算出する。より具体的には生成部14aは、結合強度情報DSTと、電磁波変調部MPの変調の寄与度を示す寄与度情報とに基づいて、撮像対象OBからの電磁波FLのうちの少なくとも位相と振幅とを示す複素振幅情報を生成する。

0034

寄与度情報とは、ある位置に配置された点を光源とする点光源から照射される光が、電磁波変調部MP上の所定の位置において、変調される程度を示す情報である。具体的には、寄与度情報とは、点光源からの光が照射された電磁波変調部MPC上の複数の位置におけるそれぞれのフレネル伝搬インパルス応答を示す情報である。より具体的には、可変電磁波変調部MPCの各画素に点光源からの光が照射され、画素毎のそれぞれのフレネル伝搬のインパルス応答を示す情報である。

0035

生成部14aは、算出した複素振幅の情報に基づいて、撮像対象OBの位相又は振幅の情報を生成する。生成部14aは、生成した位相又は振幅の情報を、画像情報として表示部20に表示させる。表示部20は、生成部14aが生成する画像情報を表示する。

0036

[構造化検出の電磁波検出装置の動作の概要
次に、図4を参照して、構造化検出の電磁波検出装置10aの動作の概要について説明する。
図4は、電磁波検出装置10aの動作の一例を示す流れ図S1である。

0037

撮像対象OBを不図示の撮像部によって撮像する。不図示の撮像部は、撮像画像を生成部14aに対して出力する(ステップS110)。
変更部11は、可変電磁波変調部MPCを、変調の状態MSを変化させる。変更部11は、この変化させた変調の状態MSを、強度信号結合部13に対して供給する(ステップS120)。
照射部RLは、電磁波ELを撮像対象OB及び可変電磁波変調部MPCに対して照射する(ステップS130)。

0038

電磁波ELは、撮像対象OB及び可変電磁波変調部MPCによって変調される。変調後電磁波強度検出部12は、この変調された電磁波である変調後電磁波SLを検出する。変調後電磁波強度検出部12は、この検出した変調後電磁波SLの強度である強度情報DSを、強度信号結合部13に対して供給する(ステップS140)。

0039

強度信号結合部13は、変調後電磁波強度検出部12から、強度情報DSを取得する。強度信号結合部13は、変更部11から、強度情報DSを検出したときの変調の状態MSを取得する。強度信号結合部13は、取得した強度情報DSと、変調の状態MSとに基づいて、結合強度情報DSTを生成する。強度信号結合部13は、生成した結合強度情報DSTに2回以上の強度情報DSの検出結果が含まれない場合(ステップS150;NO)には、ステップS120からステップS150までの処理を繰り返す。
強度信号結合部13は、生成した結合強度情報DSTに2回以上の強度情報DSの検出結果が含まれる場合(ステップS150;YES)には、生成部14aに対して結合強度情報DSTを供給する。

0040

生成部14aは、強度信号結合部13から供給される結合強度情報DSTに基づいて、複素振幅情報を算出する(ステップS160)。この、複素振幅情報を算出する方法は、後述する。
生成部14aは、算出した複素振幅の情報に基づいて、撮像対象OBの位相又は振幅の情報を生成する。生成部14aは、生成した振幅の情報に基づいて、撮像対象OBの像を再構成する。生成部14aは、再構成した撮像対象OBの像と、上述したステップS110で撮像した撮像画像とを比較する。

0041

生成部14aは、この比較の結果、再構成した撮像対象OBの像と、撮像画像とが近似しない場合(ステップS170;NO)には、ステップS160からの処理を繰り返す。
生成部14aは、この比較の結果、再構成した撮像対象OBの像と、撮像画像とが近似する場合(ステップS170;YES)には、処理を終了する。

0042

なお、上述したステップS120と、ステップS130との処理は、どちらを先に処理してもよい。また、ステップS150では、1回以上の検出結果が結合強度情報DSTに含まれていればよい。変調後電磁波強度検出部12は、強度情報DSを予め定められた回数検出してもよい。この予め定められた回数とは、一例として、撮像対象OBに合わせて予め定められた回数であってもよい。

0043

なお、ステップS170で、再構成した撮像対象OBの像と、撮像画像とを比較する処理は、複素振幅情報を所定の回数算出し、この所定の回数算出された振幅の情報に基づいて、撮像対象OBの像を再構成してもよい。また、ステップS170は、電磁波検出装置10aを操作する人が、表示部20に表示される撮像対象OBの像を観察し、所望の像が得られたときに、ステップS170の処理を終了させてもよい。

0044

[構造化検出の構成の複素振幅情報の算出方法
次に、図5から図7を参照して、上述したステップS160において、生成部14aが複素振幅情報を算出する方法について説明する。
図5は、撮像対象OBと、可変電磁波変調部MPCと、変調後電磁波強度検出部12との位置の関係を示す図である。
撮像対象OBと可変電磁波変調部MPCとの間の距離が、距離z1であって、可変電磁波変調部MPCと変調後電磁波強度検出部12との間の距離が、距離z2の場合について説明する。以下の説明における距離z1も同様である。
撮像対象OBによって変調された電磁波FLは、距離z1を伝搬する。変調後電磁波SLは、この撮像対象OBによって変調された電磁波FLが可変電磁波変調部MPCによって変調された電磁波である。この変調後電磁波SLは、距離z2を伝搬する。

0045

生成部14aは、結合強度情報DSTに含まれる複数の強度情報DSと、変調の状態MSとに基づいて、撮像対象OBのスパース性に基づくスパース拘束演算を行うことにより、撮像対象OBの位相と振幅とを示す情報を生成する。具体的には、生成部14aは、式(1)、式(2)、式(3)及び式(4)から、撮像対象OBの複素振幅情報を生成する。

0046

0047

式(1)は順問題、すなわち数理モデルを使って予測する問題を示す式である。
式(1)に含まれるfとは、撮像対象OBの複素振幅情報である。以下の数式におけるfも同様である。
式(1)に含まれるaとは、撮像対象OBによって変調された電磁波が、可変電磁波変調部MPCに伝搬する途中の、ある平面における複素振幅を示す信号である。以下の数式におけるaも同様である。以下の説明では、このaを、補助平面aとも記載する。より具体的には、式(1)に含まれるaとは、撮像対象OBから距離z1離れた可変電磁波変調部MPCの位置において仮定される複素振幅情報である。

0048

式(1)に含まれるPz1とは、撮像対象OBから可変電磁波変調部MPCまでのフレネル伝搬を示すテープリッツ行列である。以下の数式におけるPz1も同様である。より具体的には、Pz1は、寄与度情報を行成分とするテープリッツ行列である。

0049

0050

式(2)は、上述した式(1)と同様に、順問題である。
式(2)に含まれる|g|2とは、変調後電磁波強度検出部12が検出した変調後電磁波SLの強度を示す強度情報DSである。この具体的には、強度情報DSとは、変調後電磁波SLの振幅の絶対値を二乗した情報である。以下の数式における|g|2も同様である。

0051

式(2)に含まれるgとは、変調後電磁波強度検出部12が検出する変調後電磁波SLの位相と振幅とを示す複素振幅情報である。以下の数式におけるgも同様である。また、以下の説明では、この変調後電磁波強度検出部12が検出する変調後電磁波SLの位相と振幅とを示す複素振幅情報を、単に複素振幅情報gと記載することがある。
式(2)に含まれるMとは、電磁波変調部MPの変調の状態MSを示す行列である。このMとは、この実施形態では可変電磁波変調部MPCの変調の状態MSを示す行列である。このMについては、後述する。

0052

式(1)に含まれるPz2とは、可変電磁波変調部MPCから変調後電磁波強度検出部12までのフレネル伝搬を示す対角行列である。以下の数式におけるPz2も同様である。より具体的には、Pz2は、寄与度情報を対角成分とする行列である。

0053

上述した、式(1)及び式(2)を解くことにより、複素振幅情報gを生成する。この式(1)及び式(2)に示す順問題が、非線形問題であり、容易に解くことができない場合がある。そこで、この一例では、式(3)及び式(4)に示す最適化問題を解くことにより、複素振幅情報gを生成する。

0054

0055

式(3)は逆問題、すなわちデータから数理モデルを推定する問題を示す式である。式(3)は、可変電磁波変調部MPC上の補助平面aから、撮像対象OBの複素振幅fハットを推定する最適化問題を示す。
式(3)に含まれるΨ[f]とは、スパース拘束である。具体的には、Ψ[f]とは、撮像対象OBの信号を示す情報のスパース性に基づく正則関数である。式(3)に含まれるτとは、正則のための正則化パラメータである。以下の数式におけるR(f)及びτも同様である。
式(3)に含まれるl2とは、l2ノルムである。以下の数式におけるl2も、同様である。

0056

0057

式(4)は、式(3)と同様に逆問題である。式(4)は、強度情報DSである|g|2と、補助平面aの複素振幅から、変調後電磁波強度検出部12上の複素振幅gハットを推定する。
式(2)に含まれる、R(f)とは、スパース拘束である。具体的には、R(f)とは、撮像対象OBの信号を示す情報のスパース性に基づく正則である。式(2)に含まれるτとは、正則のためのパラメータである。以下の数式におけるR(f)及びτも同様である。

0058

つまり、生成部14aは、撮像対象OBのスパース性に基づくスパース拘束演算を行うことにより、変調後電磁波SLの複素振幅情報gを生成する。なお、生成部14aは、スパース拘束演算を公知の手法によって生成する。例えば、生成部14aは、公知のスパースソルバーを用いてスパース拘束演算を行う。

0059

[寄与度情報について]
次に、上述したPz1に含まれる寄与度情報について説明する。
上述した式(1)に含まれる寄与度情報は、式(5)によって表すことができる。

0060

0061

ここで、式(5)に含まれるr1は、式(6)によって表すことができる。このr1は、変調後電磁波強度検出部12と、可変電磁波変調部MPC上のある位置との距離を示す。以下の数式におけるr1も同様である。
式(5)に含まれるhz1は、Pz1に含まれる寄与度情報である。より具体的には、hz1とは、フレネル伝搬のインパルス応答関数である。上述したように、Pz1とは、このhz1を行成分とするテープリッツ行列である。

0062

0063

式(5)及び式(6)に含まれるxとは、変調後電磁波強度検出部12と、可変電磁波変調部MPCのある位置とのX方向の距離である。以下の数式におけるxも同様である。
式(5)及び式(6)に含まれるyとは、変調後電磁波強度検出部12と、可変電磁波変調部MPCのある位置とのY方向の距離である。以下の数式におけるyも同様である。
言い換えると、xとは、変調後電磁波強度検出部12からX軸方向にxの距離に配置される画素と、変調後電磁波強度検出部12との距離である。また、yとは、変調後電磁波強度検出部12からY軸方向にyの距離に配置される画素の位置と、変調後電磁波強度検出部12との距離である。

0064

次に、上述したPz2に含まれる寄与度情報について説明する。
Pz2に含まれる寄与度情報は、式(7)によって表すことができる。

0065

0066

式(7)に含まれるr2は、式(8)によって表すことができる。このr2は、撮像対象OBと、可変電磁波変調部MPC上のある位置との距離を示す。以下の数式におけるr2も同様である。
式(7)に含まれるhz2は、Pz2に含まれる寄与度情報である。より具体的には、hz2とは、フレネル伝搬のインパルス応答関数である。上述したように、Pz2とは、このhz2を対角成分とする対角行列である。

0067

0068

式(7)及び式(8)に含まれるx2とは、撮像対象OBと、可変電磁波変調部MPCのある位置とのX方向の距離である。以下の数式におけるx2も同様である。
式(7)及び式(8)に含まれるy2とは、撮像対象OBと、可変電磁波変調部MPCのある位置とのY方向の距離である。以下の数式におけるy2も同様である。
言い換えると、x2とは、変調後電磁波強度検出部12からX軸方向にx2の距離に配置される画素と、撮像対象OBとの距離である。また、y2とは、変調後電磁波強度検出部12からY軸方向にy2の距離に配置される画素の位置と、撮像対象OBとの距離である。

0069

[撮像対象OBの複素振幅情報について]
ここで、上述した撮像対象OBの複素振幅情報について説明する。
撮像対象OBの複素振幅情報は、式(9)に示す行列である。

0070

0071

式(9)に含まれるNとは、生成部14が再構成する画像の画素数である。以下の数式におけるNも同様である。

0072

[複素振幅情報gについて]
次に、上述した複素振幅情報gについて説明する。
複素振幅情報gは、式(10)に示す行列である。

0073

0074

式(10)に含まれるKとは、変調後電磁波強度検出部12が、変調後電磁波SLを検出した回数である。言い換えると、Kとは、結合強度情報DSTに含まれる強度情報DS及び変調の状態MSの情報の数である。以下の数式におけるKも同様である。

0075

[電磁波変調部MPについて]
次に、図6を参照して、上述した数式(2)に含まれる行列Mについて説明する。
図6は、行列Mの一例を示す図である。図6には、電磁波変調部MPが広がる面を直交座標の軸とするXY軸を示してある。
行列Mは、電磁波変調部MP上の各位置における変調の程度を示す行列である。具体的には、行列Mとは式(11)に示す行列である。

0076

0077

図6に示すように、電磁波変調部MP1は、強度情報DSを1回目に検出したときの変調の状態MSである。電磁波変調部MP2は、強度情報DSを2回目に検出したときの変調の状態MSである。電磁波変調部MP3は、強度情報DSを3回目に検出したときの変調の状態MSである。電磁波変調部MPmは、強度情報DSをm回目に検出したときの変調の状態MSである。

0078

行列Mは、電磁波変調部MP1から電磁波変調部MPmまでの、それぞれの電磁波変調部MPの変調の程度を示す値を含む行列である。この変調の程度を示す値とは、例えば、電磁波変調部MP1から電磁波変調部MPmが、光の振幅を変調するパターンの場合には、照射された光を通さない0から、光の振幅をそのままにして散乱する1までの数値によって示される値である。変調の程度を示す値とは、光の位相を変調するパターンの場合には、照射された光の位相の変調の程度に応じた0から1までの数値によって示される値である。

0079

行列Mの1行目の要素ME1には、電磁波変調部MP1の変調の程度を示す値が入力される。具体的には、要素ME1には、電磁波変調部MP1の列XA1から列XA3までに含まれる各振幅の程度示す値をそれぞれ順に、行方向に走査した値が入力される。ここで、列方向とは、電磁波変調部MP1の左上を原点とするX軸方向である。行方向とは、電磁波変調部MP1の左上を原点とするY軸方向である。
要素ME2から要素MEmには、要素ME1と同様に、それぞれ、電磁波変調部MP2から電磁波変調部MPmの変調の程度を示す値が入力される。

0080

[電磁波検出装置の動作の具体例]
[補助平面による解法
ここまでは、生成部14aの動作の概要について説明した。
以下の説明では、生成部14aは、オルタネイティングプロジェクションによって、複素振幅情報gハットを生成する。
生成部14aは、上述した式(3)及び式(4)を交互に演算し、撮像対象OBの複素振幅情報を生成する。具体的には、生成部14aは、式(3)を、正則化関数に全変動を用いたTwIST法により解く。TwIST法とは、圧縮センシングの一般的な解法である。生成部14aは、式(4)をG−S法によって解くことにより、複素振幅gハットを推定する。G−S法とは、反復型位相推定法である。

0081

具体的には、生成部14aは、式(4)に含まれる複素振幅情報gハットに、初期値として仮の値を設定する。初期値としての複素振幅情報gハットの仮の値は、どのような値であってもよい。生成部14aは、可変電磁波変調部MPCの位置に補助平面aを仮定する。生成部14aは、この仮置きの補助平面aを、式(3)に代入する。生成部14aは、式(3)を、TwIST法によって解くことにより、仮置きのfハットを生成する。TwIST法とは、圧縮センシングの一般的な解法である。
生成部14aは、仮置きのfハットを伝搬させる。生成部14aは、伝搬させた仮置きのfハットを初期値として、式(3)から補助平面aを生成する。

0082

つまり、生成部14aは複素振幅情報gの初期値にランダムな値を代入して、G−S法により補助平面aを生成する。生成部14aは、生成した補助平面aを式(3)に代入し、仮置きのfハットをTwIST法により生成する。生成部14aは、生成した仮置きのfハットを式(4)に代入し、ランダムな値よりも精度がよい仮置きのgハットを生成する。
生成部14aは、上述した処理を、仮置きのgハットから再構成した変調後電磁波SLの強度を示す情報から再構成した撮像対象OBの像である再構成画像と、撮像対象OBを撮像した撮像画像とが近似するまで繰り返す。生成部14aは、この再構成画像と、撮像画像とが近似する場合には、表示部20に再構成画像を表示させる。

0083

図7に、生成部14aが再構成した撮像対象OBの位相と振幅の情報の一例を示す。
図7は、撮像対象OBの位相及び振幅の情報、撮像対象OBを顕微鏡によって撮像した撮像画像の一例を示す図である。
図7(a)は、電磁波検出装置10aが再構成した撮像対象OBの振幅の情報を、画像情報にした振幅画像情報RVAである。図7(b)は、電磁波検出装置10aが再構成した撮像対象OBの位相の情報を、画像情報にした位相画像情報RPである。図7(c)は、顕微鏡によって撮像された撮像対象OBの撮像画像PGである。
ここで、図7に示す撮像対象OBは、水と油の混合液である。なお、振幅画像情報RVA及び位相画像情報RPの画像サイズは、縦206画素、横206画素の画像情報である。変調後電磁波強度検出部12は、強度情報DSを7000回検出した。

0084

なお、式(1)及び式(2)を解く方法は、上述したG−S法及びTwIST法のオルタネイティングプロジェクションによる方法に限られない。

0085

[第1の実施形態のまとめ]
以上説明したように、電磁波検出装置10aは、照射部RLと、撮像対象OBと、可変電磁波変調部MPCと、変調後電磁波強度検出部12との位置の関係が、構造化検出の構成である。この構成により、電磁波検出装置10aは、構造化照明の構成と比較して、より遠くの撮像対象OBの複素振幅情報が含まれる信号を取得することに適している。
また、変調後電磁波強度検出部12は、1画素検出器である。この1画素検出器は、複数の画素を有するイメージセンサよりも多くの種類の波長に対応した検出器がある。この単一光検出器を、所望の波長が検出可能な検出器に変更することにより、電磁波検出装置10aは、複数の画素を有するイメージセンサよりも多くの種類の波長を検出することができる。これにより、電磁波検出装置10aは、照射部RLから照射される電磁波の周波数に因らずに電磁波の位相と振幅とが含まれる信号を取得することができる。
また、電磁波検出装置10aは、生成部14aを備える。生成部14aは、変調後電磁波強度検出部12が検出した複数の強度情報DSと、強度情報DSを検出したときの可変電磁波変調部MPCの変調の状態MSのそれぞれとに基づいて、撮像対象OBの位相又は振幅の情報を生成することができる。これにより、細胞などの撮像対象を、観察のための染色などの処理を行わずに観察することができ、染色コストを抑制することができる。また、染色などによる細胞への影響を抑えることができるため、観察後の細胞を再び生体に戻すことができる。この、低侵襲観察方法は、再生医療などで求められていた。
また、生成部14aは、撮像対象OBの位相の情報を生成する。これにより、光の振幅の情報である撮像画像と比較して、撮像対象OBの屈折率なども観察することができる。

0086

なお、上述した説明では、可変電磁波変調部MPCが空間光変調器の場合について説明したが、これに限られない。可変電磁波変調部MPCは、電磁波の振幅と位相とのうちの一方又は両方を変調するものであればよい。つまり、電磁波変調部MPは、ランダムなパターンを有する。このランダムなパターンは、空間周波数上では、位相の変調の程度がランダムなパターンである。また、このランダムなパターンは、空間周波数上では、振幅はほぼ一様に広がるパターンである。この、周波数空間上では位相の変調の程度がランダムかつ振幅はほぼ一様に広がるパターンとは、実空間上では、上述した複数の領域のそれぞれがランダムな変調の程度を有するパターンである。電磁波変調部MPは、どのような変調の状態MSのものであっても、撮像対象OBに因らずに、撮像対象OBの位相又は振幅の情報を再構成することができる。より具体的には、可変電磁波変調部MPCは、液晶ディスプレイ及び紙などであってもよい。変更部11は、電気信号などにより可変電磁波変調部MPCの変調の状態MSを変化させることができない場合には、物理的に可変電磁波変調部MPCとは異なる変調の状態MSを有する電磁波変調部に交換すればよい。この場合には、変更部11は、交換後の可変電磁波変調部MPCの変調の状態MSが、操作部30などから供給されればよい。

0087

また、可変電磁波変調部MPCは、電磁波の振幅のみを変調にして電磁波の位相を一定にするものであってもよい。可変電磁波変調部MPCは、電磁波の振幅を一定にして電磁波の位相のみを変調するものであってもよい。可変電磁波変調部MPCは、電磁波の振幅と位相とを変調するものであってもよい。

0088

[第2の実施形態]
[構造化照明の構成の電磁波検出装置の構成の一例]
次に、図8を参照して、上述した電磁波検出装置10が、構造化照明の構成の場合の一例について説明する。なお、第1の実施形態と同一の構成及び動作については、同一の符号を付してその説明を省略する。
図8は、構造化照明の構成の電磁波検出装置10bの構成の一例を示す図である。

0089

電磁波検出装置10bは、照射部RLと、可変電磁波変調部MPCと、変更部11と、変調後電磁波強度検出部12と、強度信号結合部13と、生成部14bとを備える。

0090

照射部RLから照射された電磁波ELは、可変電磁波変調部MPCによって変調される。この変調された電磁波とは、電磁波MLである。
強度信号結合部13は、生成部14bに対して結合強度情報DSTを供給する。
生成部14bは、強度信号結合部13から結合強度情報DSTを取得する。生成部14bは、強度信号結合部13から取得した結合強度情報DSTに基づいて、撮像対象OBの位相又は振幅の情報が含まれる複素振幅を算出する。具体的には、生成部14bは、結合強度情報DSTと、電磁波変調部MPの変調の寄与度を示す寄与度情報とに基づいて、撮像対象OBからの電磁波FLのうちの少なくとも位相と振幅とを示す複素振幅情報を生成する。生成部14bは、生成した位相又は振幅の情報を、画像情報として表示部20に表示させる。表示部20は、生成部14bが生成する画像情報を表示する。

0091

[構造化検出の構成の電磁波検出装置の動作の概要]
電磁波検出装置10bの動作の一例について説明する。
電磁波検出装置10bは、図4に示す流れ図S1におけるステップS160の、複素振幅情報の算出方法が、構造化照明の構成の場合と異なる。また、本実施形態では、撮像対象OBと変調後電磁波強度検出部12との間の距離が、距離z2の場合について説明する。

0092

[構造化照明の構成の複素振幅情報の算出方法]
次に、上述したステップS160において、生成部14bが複素振幅情報を算出する方法について説明する。
構造化照明の場合には、可変電磁波変調部MPCの位置が、撮像対象OBの位置と同じ位置にあると仮定して計算を行う。具体的には、補助平面aを、撮像対象OB上に配置して計算する。つまり、式(12)に示すように、補助平面aと、撮像対象OBの複素振幅とが等しい。

0093

0094

生成部14bは、結合強度情報DSTに含まれる複数の強度情報DSと、変調の状態MSとに基づいて、撮像対象OBのスパース性に基づくスパース拘束演算を行うことにより、撮像対象OBの位相と振幅とを示す情報を生成する。具体的には、生成部14bは、式(12)、式(13)、式(14)及び式(15)から、撮像対象OBの複素振幅情報を生成する。

0095

0096

この式(13)は、順問題である。式(13)に含まれるPz2とは、撮像対象OBから変調後電磁波強度検出部12までのフレネル伝搬を示すテープリッツ行列である。

0097

0098

この式(14)は、逆問題である。

0099

0100

この式(15)も、上述した式(14)と同様に逆問題である。式(15)に含まれるPz2とは、撮像対象OBから変調後電磁波強度検出部12までのフレネル伝搬を示すテープリッツ行列である。

0101

[補助平面による解法]
以下の説明では、生成部14bは、オルタネイティングプロジェクションによって、複素振幅情報gを生成する。
生成部14bは、補助平面aを、撮像対象OBと、撮像素子との間に設定する。補助平面aを仮定すると、式(13)は、式(14)及び式(15)によって表現することができる。補助平面aは、線形問題を解くことにより生成する。
なお、補助平面aは、式(15)に含まれる仮置きのgハットを逆フレネル変換することにより生成される。つまり、生成部14bは、位相推定問題を解くことにより、複素振幅情報gを生成することができる。

0102

生成部14bは、初期値として、複素振幅情報gに仮の値を設定する。初期値としての複素振幅情報gの仮の値は、どの様な値であってもよい。生成部14bは、仮の値を設定した補助平面aを式(15)に代入する。生成部14bは、式(15)を、G−S法によって解くことにより仮置きのgハットを生成する。G−S法とは、反復型位相推定法である。なお、生成部14bは、結合強度情報DSTに含まれる強度情報DSのそれぞれを、距離z2の位置での複素振幅情報及び補助平面aの強度によって要素単位除算する。生成部14bは、要素単位で除算した値を1/2乗した値と、距離z2の位置での複素振幅情報及び補助平面aを要素単位で乗算することにより、仮置きのgハットを生成する。生成部14bは、生成した仮置きのgハットを、逆フレネル変換することにより、仮置きの補助平面aを生成する。

0103

生成部14bは、仮置きのfを伝搬させる。生成部14bは、伝搬させた仮置きのfを初期値として、式(15)から補助平面aを生成する。
つまり、生成部14bは複素振幅情報gの初期値にランダムな値を代入して、G−S法により補助平面aを生成する。生成部14bは、生成した補助平面aを式(14)に代入し、仮置きのfをTwIST法により生成する。生成部14bは、生成した仮置きのfを式(15)に代入し、ランダムな値よりも精度がよい仮置きのgハットを生成する。
生成部14bは、上述した処理を、仮置きのgハットから再構成した変調後電磁波SLの複素振幅gに含まれる強度を示す情報と、撮像部11が撮像対象OBを撮像した撮像画像とが近似するまで繰り返す。
なお、式(14)及び式(15)を解く方法は、上述したG−S法及びTwIST法のオルタネイティングプロジェクションによる方法に限られない。

0104

[第2の実施形態のまとめ]
以上説明したように、電磁波検出装置10bは、照射部RLと、撮像対象OBと、可変電磁波変調部MPCと、変調後電磁波強度検出部12との位置の関係が、構造化照明の構成である。この構成により、電磁波検出装置10bは、構造化検出の構成と比較して、より撮像対象OBに照射する電磁波ELの強さを弱めることができる。電磁波ELの強さを弱めることにより、撮像対象OBに対する電磁波ELからの影響を抑制することができる。つまり、電磁波検出装置10bは、構造化検出の構成と比較して、より撮像対象OBに対して低い侵襲性である。

0105

[撮像対象OBが固定電磁波変調部MPSに対して相対的に移動する場合]
次に、図9を参照して、撮像対象OBが、固定電磁波変調部MPSに対して相対的に移動する場合の、構成の一例について説明する。固定電磁波変調部MPSとは、変調の状態MSが固定される電磁波変調部である。
図9は、固定電磁波変調部MPSに対して相対的に移動する撮像対象OBを介して変調される変調後電磁波SLの一例を示す図である。図9には、3次元直交座標系として、XYZ座標系を示す。本実施形態において、Z軸方向が照射部RLから出射される電磁波の光軸方向である。また、撮像対象OBは、Y軸方向の+Y方向に移動する。X軸方向は、フローサイトメーター40の奥行き方向である。

0106

電磁波検出システム100cは、電磁波検出装置10と、フローサイトメーター40とを備える。この一例では、電磁波検出装置10は、フローサイトメーター40が備える照射部RL、固定電磁波変調部MPS、変調後電磁波強度検出部12が、流路Fを移動する撮像対象OBと固定電磁波変調部MPSとが変調した変調後電磁波SLを検出する。固定電磁波変調部MPSとは、電磁波変調部MPの一例である。また、固定電磁波変調部MPSとは、変調の状態MSが変化しない電磁波変調部MPである。流路Fとは、水溶液と共に、細胞などが流されることにより、固定電磁波変調部MPSに対して撮像対象OBを相対的に移動させる機構である。この細胞とは、撮像対象OBとしての観察対象である。この流路Fには、照射部RLから電磁波ELが照射される。

0107

撮像対象OBは、流路Fに沿って移動する。流路F内の水溶液は、原点から+Y軸方向に向かって撮像対象OBを移動させる。具体的には、この一例では、撮像対象OBは、+Y軸方向である向きMVに移動する。
変調後電磁波強度検出部12は、この移動する撮像対象OBと、固定電磁波変調部MPSとが変調した電磁波を検出する。図9に示す電磁波検出装置10は、上述した第1の実施形態で説明した構造化検出の構成の場合を示す。この電磁波検出装置10は、上述した第2の実施形態で説明した構造化照明の構成であってもよい。

0108

次に、図10を参照して、撮像対象OBが固定電磁波変調部MPSに対して相対的に移動する場合の、変調の状態MSについて、説明する。
図10は、固定電磁波変調部MPSの変調の状態MSの一例を示す図である。なお、図10に示す固定電磁波変調部MPSは、図9に示す撮像対象OBを、照射部RL側からZ軸方向に向かって見た図である。変調の状態MSは、撮像対象OBの大きさ及び移動速度に応じて変化する。ここでは、撮像対象OBが流路Fに沿って+Y軸方向に移動する場合について説明する。

0109

電磁波検出装置10は、不図示の相対パターン領域算出部を備える。相対パターン領域算出部は、撮像対象OBと固定電磁波変調部MPSとの相対位置に基づいて、複素振幅情報の算出に用いるパターンを固定電磁波変調部MPSのうちから選択する。相対パターン領域算出部は、固定電磁波変調部MPSのうちから、撮像対象OBの大きさ及び移動速度に応じた変調の状態MSを選択する。相対パターン領域算出部は、選択した変調の状態MSを、不図示の強度信号結合部に対して供給する。具体的には、相対パターン領域算出部は、撮像対象OBが変調領域UA1に応じた位置を移動している場合には、変調領域UA1を、変調の状態MSを示す変調状態情報として、強度信号結合部に対して供給する。同様に、相対パターン領域算出部は、撮像対象OBが変調領域UA2に応じた位置を移動している場合には、変調領域UA2を、変調の状態MSを示す変調状態情報として、強度信号結合部に対して供給する。相対パターン領域算出部は、撮像対象OBが変調領域UA3に応じた位置を移動している場合には、変調領域UA3を、変調の状態MSを示す変調状態情報として、強度信号結合部に対して供給する。以下の説明では、変調領域UA1から変調領域UA3を区別しない場合には、単に変調領域UAとも記載する。

0110

[第3の実施形態]
[撮像対象が移動する場合の構造化検出の電磁波検出装置の構成]
次に、図11を参照して、撮像対象OBが移動する場合の、構造化検出の電磁波検出装置の構成ついて説明する。なお、上述した第1の実施形態及び第2の実施形態と同一の構成及び動作については、同一の符号を付してその説明を省略する。
図11は、撮像対象OBが移動する場合の、構造化検出の電磁波検出装置の構成の一例を示す図である。

0111

電磁波検出装置10cは、照射部RLと、固定電磁波変調部MPSと、相対パターン領域算出部15cと、変調後電磁波強度検出部12と、強度信号結合部13cと、生成部14cとを備える。
相対パターン領域算出部15cには、予め固定電磁波変調部MPSの変調の状態MSが記憶される。相対パターン領域算出部15cは、変調後電磁波強度検出部12から強度情報DSを取得する。相対パターン領域算出部15cは、変調後電磁波強度検出部12から取得した強度情報DSと対応する変調領域UAを選択する。相対パターン領域算出部15cは、選択した変調領域UAの変調の状態MSを示す変調状態情報を、強度信号結合部13cに対して供給する。

0112

強度信号結合部13cは、変調後電磁波強度検出部12から強度情報DSを取得する。
強度信号結合部13cは、相対パターン領域算出部15cから、この強度情報DSと対応する位置の変調状態情報を取得する。強度信号結合部13cは、取得した強度情報DSと変調状態情報とを最新の情報とする結合強度情報DSTを生成する。強度信号結合部13cは、生成した結合強度情報DSTを記憶する。強度信号結合部13cは、記憶した結合強度情報DSTを、生成部14cに対して供給する。

0113

生成部14cは、強度信号結合部13cから結合強度情報DSTを取得する。生成部14cは、結合強度情報DSTに基づいて、撮像対象OBの位相又は振幅の情報が含まれる複素振幅を算出する。具体的には、生成部14cは、結合強度情報DSTと、電磁波変調部MPの変調の寄与度を示す寄与度情報とに基づいて、撮像対象OBからの電磁波FLのうちの少なくとも位相と振幅とを示す複素振幅情報を生成する。生成部14cは、生成した位相又は振幅の情報を、画像情報として表示部20に表示させる。表示部20は、生成部14cが生成する画像情報を表示する。

0114

[撮像対象が移動する場合の構造化検出の電磁波検出装置の動作の概要]
次に、図12を参照して、撮像対象が移動する場合の構造化検出の電磁波検出装置10cの動作の概要について説明する。
図12は、電磁波検出装置10cの動作の一例を示す流れ図S2である。

0115

撮像対象OBを不図示の撮像部によって撮像する。不図示の撮像部は、撮像画像を生成部14cに対して出力する(ステップS210)。
照射部RLは、電磁波ELを撮像対象OB及び固定電磁波変調部MPSに対して照射する(ステップS220)。
撮像対象OBと、固定電磁波変調部MPSの相対位置を変化させる(ステップS230)。具体的には、撮像対象OBは、流路Fに流される。

0116

変調後電磁波強度検出部12は、流路Fを流された撮像対象OBと、固定電磁波変調部MPSとが変調した変調後電磁波SLを検出する(ステップS240)。変調後電磁波強度検出部12は、検出した強度情報DSを、強度信号結合部13cに対して供給する。相対パターン領域算出部15cは、検出した強度情報DSに応じた位置の変調状態情報を、強度信号結合部13cに対して供給する。

0117

強度信号結合部13cは、変調後電磁波強度検出部12から強度情報DSを取得する。
強度信号結合部13cは、相対パターン領域算出部15cから変調状態情報を取得する。
強度信号結合部13cは、結合強度情報DSTを生成する。強度信号結合部13cは、撮像対象OBが検出範囲外に移動したかを判定する。具体的には、強度信号結合部13cは、変調後電磁波強度検出部12から供給される強度情報DSが示す信号の強さに基づいて、撮像対象OBが検出範囲外に移動したかを判定する。この強度情報DSが示す信号の強さが所定の強さを超える場合には、強度信号結合部13cは、撮像対象OBが検出範囲内にあると判定し、ステップS230からの処理を繰り返す(ステップS250;NO)。
強度情報DSが示す信号の強さが所定の強さを下回る場合には、強度信号結合部13cは、撮像対象OBが検出範囲外に移動したと判定する(ステップS250;YES)。

0118

強度信号結合部13cは、撮像対象OBが検出範囲外に移動したと判定した場合には、結合強度情報DSTを、生成部14cに対して出力する。生成部14cは、強度信号結合部13cから供給される結合強度情報DSTに基づいて、複素振幅情報を算出する(ステップS260)。この、撮像対象が移動する場合の複素振幅情報を算出する方法は、後述する。

0119

生成部14cは、算出した複素振幅の情報に基づいて、撮像対象OBの位相又は振幅の情報を生成する。生成部14cは、生成した振幅の情報に基づいて、撮像対象OBの像を再構成する。生成部14cは、再構成した撮像対象OBの像と、上述したステップS210で撮像した撮像画像とを比較する(ステップS270)。

0120

生成部14cは、この比較の結果、再構成した撮像対象OBの像と、撮像画像とが近似しない場合(ステップS270;NO)には、ステップS260からの処理を繰り返す。
生成部14cは、この比較の結果、再構成した撮像対象OBの像と、撮像画像とが近似する場合(ステップS270;YES)には、処理を終了する。

0121

[撮像対象が移動する場合の構造化検出の構成の複素振幅情報の算出方法]
次に、生成部14cが複素振幅情報を算出する方法について説明する。なお、本実施形態では、固定電磁波変調部MPSと変調後電磁波強度検出部12との間の距離が、距離z2の場合について説明する。
生成部14cは、結合強度情報DSTに含まれる複数の強度情報DSと、変調の状態MSとに基づいて、撮像対象OBのスパース性に基づくスパース拘束演算を行うことにより、撮像対象OBの位相と振幅とを示す情報を生成する。具体的には、生成部14cは、式(16)及び式(17)から、撮像対象OBの複素振幅情報を生成する。

0122

0123

式(16)は順問題、すなわち数理モデルを使って予測する問題を示す式である。

0124

0125

式(17)は順問題、すなわち数理モデルを使って予測する問題を示す式である。
生成部14cは、式(16)及び式(17)を、上述したオルタネイティングプロジェクションによって解くことにより、複素振幅情報gを生成することができる。

0126

[第3の実施形態のまとめ]
以上説明したように、電磁波検出装置10cは、流路Fと、変調後電磁波強度検出部12と、固定電磁波変調部MPSと、相対パターン領域算出部15cと、強度信号結合部13cと、生成部14cとを備える。撮像対象OBは、流路Fを流されることにより、変調後電磁波強度検出部12及び固定電磁波変調部MPSとの相対位置が変化する。変調後電磁波強度検出部12は、検出した強度情報DSを強度信号結合部13cに対して供給する。相対パターン領域算出部15cは、移動する撮像対象OBと対応する位置の変調領域UAを選択する。相対パターン領域算出部15cは、選択した変調領域UAの変調状態情報を強度信号結合部13cに対して供給する。強度信号結合部13cは、強度情報DSと、選択した変調領域UAの変調状態情報とを対応付けた状態で時刻順に並べた結合強度情報DSTを生成する。これにより、電磁波検出装置10cは、流路Fを移動する撮像対象OBを介して変調される変調後電磁波SLを検出することができる。
電磁波検出装置10cは、検出した変調後電磁波SLの強度情報DSに基づいて、複素振幅情報を算出する。電磁波検出装置10cは、算出した複素振幅情報に基づいて、撮像対象OBの位相又は振幅を生成する。これにより、電磁波検出装置10cは、フローサイトメーターなどの、移動する撮像対象OBの位相又は振幅を生成することができる。

0127

[第4の実施形態]
[撮像対象が移動する場合の構造化照明の電磁波検出装置の構成]
次に、図13を参照して、撮像対象OBが移動する場合の、構造化照明の電磁波検出装置の構成ついて説明する。なお、上述した第1の実施形態、第2の実施形態及び第3の実施形態と同一の構成及び動作については、同一の符号を付してその説明を省略する。
図13は、撮像対象OBが移動する場合の、構造化照明の電磁波検出装置の構成の一例を示す図である。

0128

電磁波検出装置10dは、照射部RLと、固定電磁波変調部MPSと、相対パターン領域算出部15cと、変調後電磁波強度検出部12と、強度信号結合部13cと、生成部14dとを備える。

0129

強度信号結合部13cは、生成部14dに対して結合強度情報DSTを供給する。
生成部14dは、強度信号結合部13cから結合強度情報DSTを取得する。生成部14dは、結合強度情報DSTに基づいて、撮像対象OBの位相又は振幅の情報が含まれる複素振幅を算出する。具体的には、生成部14dは、結合強度情報DSTと、電磁波変調部MPの変調の寄与度を示す寄与度情報とに基づいて、撮像対象OBからの電磁波FLのうちの少なくとも位相と振幅とを示す複素振幅情報を生成する。生成部14dは、生成した位相又は振幅の情報を、画像情報として表示部20に表示させる。表示部20は、生成部14dが生成する画像情報を表示する。

0130

[撮像対象が移動する場合の構造化照明の構成の電磁波検出装置の動作の概要]
電磁波検出装置10dの動作の一例について説明する。
電磁波検出装置10dは、図12に示す流れ図S2におけるステップS260の、複素振幅情報の算出方法が、構造化照明の構成の場合と異なる。

0131

[撮像対象が移動する場合の構造化照明の構成の複素振幅情報の算出方法]
次に、上述したステップS260において、生成部14dが複素振幅情報を算出する方法について説明する。
構造化照明の場合には、固定電磁波変調部MPSの位置が、撮像対象OBの位置と同じ位置にあると仮定して計算を行う。具体的には、補助平面aを、撮像対象OB上に配置して計算する。

0132

生成部14dは、結合強度情報DSTに含まれる複数の強度情報DSと、変調状態情報とに基づいて、撮像対象OBのスパース性に基づくスパース拘束演算を行うことにより、撮像対象OBの位相と振幅とを示す情報を生成する。具体的には、生成部14dは、上述した式(12)及び式(17)から、撮像対象OBの複素振幅情報を生成する。生成部14dは、式(12)及び式(17)を、上述したオルタネイティングプロジェクションによって解くことにより、複素振幅情報gを生成することができる。

0133

[第4の実施形態のまとめ]
以上説明したように、電磁波検出装置10dは、生成部14dを備える。これにより、電磁波検出装置10dは、撮像対象OBの複素振幅情報を生成することができる。また、電磁波検出装置10dは、構造化照明の構成のため、撮像対象OBに対して照射する電磁波ELの強さを抑えることができる。これにより、撮像対象OBの侵襲性を抑制することができる。

0134

[第5の実施形態]
[変調後電磁波の強さを機械学習する電磁波検出装置の構成]
次に、図14を参照して、変調後電磁波SLの強さを機械学習する電磁波検出装置の構成ついて説明する。なお、上述した第1の実施形態、第2の実施形態、第3の実施形態及び第4の実施形態と同一の構成及び動作については、同一の符号を付してその説明を省略する。
図14は、変調後電磁波SLの強さを機械学習する電磁波検出装置の構成の一例を示す図である。

0135

フローサイトメーター40eは、分別部41と、電磁波検出装置10eを備える。具体的には、フローサイトメーター40eとは、セルソーターである。セルソーターとは、流路Fに流される細胞などの試料を、試料の種類ごとに分別する装置である。分別部41は、電磁波検出装置10eが判定した結果に基づいて、流路Fを流れる撮像対象OBを分別する。電磁波検出装置10eは、強度信号結合部13eと、記憶部16と、判別部17とを備える。
強度信号結合部13eは、変調後電磁波強度検出部12から供給される強度情報DSに基づいて、結合強度情報DSTを生成する。強度信号結合部13eは、機械学習部16に対して、生成した結合強度情報DSTを供給する。強度信号結合部13eは、判別部17に対して、生成した結合強度情報DSTを供給する。

0136

機械学習部16は、変調後電磁波強度検出部12が検出する複数の変調後電磁波の強度を機械学習する。具体的には、機械学習部16は、強度信号結合部13eから取得する結合強度情報DSTに基づいて、機械学習する。具体的には、機械学習部16は、撮像対象OBを介して変調された変調後電磁波SLを、撮像対象OBの位相又は振幅が含まれる信号として、サポートベクターマシンによって機械学習する。この機械学習部16は、予め教師ありの機械学習済みである。
機械学習部16は、機械学習した結果を、判別部17に対して出力する。

0137

判別部17は、機械学習部16によって機械学習された結果と変調後電磁波強度検出部12が検出する複数の強度情報DSとに基づいて、撮像対象OBを判別する。判別部17は、判定した結果を、分別部41に対して供給する。
分別部41は、判別部17から判定した結果を取得する。分別部41は、取得した判定結果に基づいて、流路Fを流される撮像対象OBを分別する。

0138

[変調後電磁波の強さを機械学習する電磁波検出装置の動作の概要]
次に、図15を参照して、変調後電磁波の強さを機械学習する電磁波検出装置10eの動作の概要について説明する。
図15は、電磁波検出装置10eの動作の一例を示す流れ図S3である。

0139

判別部17は、強度信号結合部13eから結合強度情報DSTを取得する(ステップS310)。ここで、このステップS310の処理は、撮像対象OBが移動しない場合には、流れ図S1のステップS120からステップS150;YESまでの処理を行う。また、このステップS310の処理は、撮像対象OBが移動する場合には、ステップS220からステップS250;YESまでの処理を行う。

0140

機械学習部16は、機械学習結果を判別部17に対して供給する。判別部17は、機械学習部16から機械学習結果を取得する。判別部17は、結合強度情報DSTと、機械学習結果とに基づいて、撮像対象OBを判別する(ステップS320)。判別部17は、判別した結果を、分別部41に対して供給する。
分別部41は、判別部17から判別結果を取得する。分別部41は、この判別結果に基づいて、流路Fを流される撮像対象OBを分別する(ステップS330)。

0141

[機械学習部の学習について]
機械学習部16は、結合強度情報DSTをサポートベクターマシンによって機械学習する。この学習の一例を説明する。
機械学習部16は、撮像対象OBである観察対象を識別する情報が入力される。この観察対象を、第1の観察対象とも記載する。より具体的には、第1の観察対象とは、細胞である。この第1の観察対象を識別する情報とは、第1の観察対象の名称などの情報である。機械学習部16は、この目標観察対象からの位相又は振幅の情報が含まれる結合強度情報DSTを機械学習する。以下の説明では、この第1の観察対象の機械学習の結果を、第1の機械学習結果とも記載する。

0142

機械学習部16は、上述した第1の観察対象とは異なる観察対象の情報が入力される。
この第1の観察対象とは異なる観察対象を、第2の観察対象とも記載する。より具体的には、第2の観察対象とは、第1の観察対象とは異なる細胞や、ゴミなどである。機械学習部16は、第2の観察対象からの位相又は振幅の情報が含まれる結合強度情報DSTを機械学習する。以下の説明では、この第2の観察対象の機械学習の結果を、第2の機械学習結果とも記載する。
機械学習部16は、第1の機械学習結果と、第2の機械学習結果とに基づいて、撮像対象OBからの結合強度情報DSTが第1の観察対象からの信号か、第2の観察対象からの信号かを識別する。

0143

[第5の実施形態のまとめ]
以上説明したように、電磁波検出装置10eは、強度信号結合部13eと、機械学習部16と、判別部17とを備える。機械学習部16は、強度信号結合部13eから生成される結合強度情報DSTを機械学習する。判別部17は、強度信号結合部13eから結合強度情報DSTを取得する。判別部17は、機械学習部16から機械学習結果を取得する。判別部17は、結合強度情報DSTと、機械学習結果とに基づいて、撮像対象OBを判別する。つまり、電磁波検出装置10eは、結合強度情報DSTから、撮像対象OBの位相又は振幅の情報を再構成せずに、撮像対象OBを判別する。電磁波検出装置10eは、検出した複数の強度情報DSに基づいて、位相又は振幅の情報を再構成する時間をかけずに、撮像対象OBを判別することができる。これにより、電磁波検出装置10eは、位相又は振幅の情報を再構成することにより撮像対象OBを判別する装置よりも、短時間で撮像対象OBを判別することができる。この撮像対象OBを判別するまでの時間を短縮できることにより、分別部41が撮像対象OBを分別するまでに装置の駆動に要する時間や、電位の印加に要する時間までの時間に余裕をもたせることができる。

0144

また、電磁波検出装置10eは、位相又は振幅の情報を再構成せずに撮像対象OBを判別することができるため、位相又は振幅の情報を再構成して撮像対象OBを判別する場合と比較して、より少ない強度情報DSに基づいて、撮像対象OBを判別することができる。これにより、電磁波検出装置10eは、強度情報DSを取得する回数を減らすことができ、高速に撮像対象OBを判別することができる。

0145

また、電磁波検出装置10eは、予め機械学習された結果に基づいて、撮像対象OBとしての観察対象の像を再構成することなく観察対象を判別および分別してもよい。
具体的には、再生医療や細胞治療に向けて生産される細胞の品質管理において、分子標識を用いない細胞判別及び分別のニーズがある。なお、分子標識を用いない細胞判別及び分別とは、細胞に対して蛍光染色などの侵襲性が高い処理をせずに判別及び分類することである。このニーズにおいて、細胞の形態に応じて変調される位相が含まれる強度情報DSを機械学習することにより、フローサイトメトリー上での細胞の迅速な判別および分別を行うことができる。一例として、幹細胞を用いた再生医療においては、未分化細胞分化細胞との分類に分子標識を用いている。具体的には、幹細胞とは、自分自身を複製する能力と他の複数系統の細胞に分化する能力を兼ね備えた細胞である。より具体的には、幹細胞とは、人工多能性幹細胞iPS細胞)などである。

0146

この幹細胞に対し、電磁波検出装置10eは、まず分子標識を施したトレーニング細胞群に対してフローサイトメトリー上で計測を行い、分子標識陽性のラベルのついた強度情報DSと、分子標識陰性のラベルのついた強度情報DSとを機械学習する。この場合には、電磁波検出装置10eは、この分子標識を識別することができる構成であればよい。
また、電磁波検出装置は、他の装置がこの分子標識を施したトレーニング用細胞群を機械学習した結果を取得する構成であってもよい。
次に、電磁波検出装置10eは、分子標識を施していない細胞群に対してフローサイトメトリー上で判別および分別を行い、最終的に体内へと入れる細胞を集めることができる。つまり、電磁波検出装置10eは、予め侵襲性は高いが、撮像対象OBの判別の精度が高い強度情報DSを機械学習する。電磁波検出装置10eは、この判別の精度が高い機械学習結果に基づいて、分子標識を用いていない細胞を判別及び分別する。これにより、体内に入れる細胞を精度よく分別することができる。

0147

なお、上述した説明では、電磁波検出装置10eをフローサイトメーター40eが備える場合について説明したが、これに限られない。また、フローサイトメーター以外の顕微鏡などの装置が、電磁波検出装置10eを備えてもよい。
また、上述した説明では、電磁波検出装置10eが、構造化検出の構成の場合について説明したが、構造化照明の構成であってもよい。また、撮像対象OBが移動しないものであってもよい。

0148

[第6の実施形態]
[電磁波変調部の変調の状態を撮像対象に応じたパターンに変更する変更部]
次に、図16から図17を参照して、電磁波変調部MPの変調の状態MSを、撮像対象OBに応じたパターンに変更する電磁波検出装置10fについて説明する。なお、上述した第1の実施形態、第2の実施形態、第3の実施形態、第4の実施形態及び第5の実施形態と同一の構成及び動作については、同一の符号を付してその説明を省略する。
図16は、電磁波変調部MPの変調の状態MSを、撮像対象に応じて変更する電磁波検出装置10fの構成の一例を示す図である。

0149

電磁波検出装置10fは、判定結果取得部18と、記憶部ST、と変調パターン算出部19とを備える。
電磁波検出装置10fを操作するユーザは、判別部17が判定した結果が、正しいか否かを示す判定正否情報を、操作部30によって入力する。判定結果取得部18は、この判定正否情報を取得する。判定結果取得部18は、判定正否情報を変調パターン算出部19に対して供給する。
記憶部STには、複数の変調の状態MSが記憶される。

0150

変調パターン算出部19は、変調の状態MSが互いに異なる電磁波変調部MPを複数算出する。具体的には、変調パターン算出部19は、判定結果取得部18から判定正否情報を取得する。変調パターン算出部19は、判別部17から、判別部17が判定した結果を取得する。変調パターン算出部19は、判定正否情報と、判別部17が判定した結果とに基づいて、電磁波変調部MPの変調の状態MSに対してスコアを付与する。変調パターン算出部19は、判別部17が正しく判定した場合には、高いスコアを付与する。具体的には、変調パターン算出部19は、1つの変調の状態MSに対して複数回、判別部17が正しく判定したか否かを判定する。変調パターン算出部19は、判別部17が正しく判定した場合には、この変調の状態MSと対応するスコアの値を増加させる。変調パターン算出部19は、変調の状態MSと、算出されたスコアとを対応付けた状態で、記憶部STに記憶させる。変調パターン算出部19は、このスコアを付与する処理を、複数の互いに変調の状態MSが異なる電磁波変調部MPに対して、それぞれ行う。変調パターン算出部19は、複数の電磁波変調部MPのうちから、スコアが高いパターンを選択する。

0151

より具体的には、変調パターン算出部19は遺伝的アルゴリズムによって、変調の状態MSが互いに異なる電磁波変調部MPを算出する。
図17は、遺伝的アルゴリズムによって生成されるパターンの一例を示す図である。
変調パターン算出部19は、電磁波変調部MP61から電磁波変調部MP64までの電磁波変調部MPに対して、それぞれスコアを算出する。変調パターン算出部19は、スコアが高い電磁波変調部MP62と、電磁波変調部MP65とに基づいて、電磁波変調部MP65から電磁波変調部MP67までの電磁波変調部MPを算出する。変調パターン算出部19は、スコアが高い電磁波変調部MPの変調の状態MS同士を変異を加えつつ交叉させることによって算出する。変調パターン算出部19は、電磁波変調部MP65から電磁波変調部MP67までの電磁波変調部MPに対して、それぞれスコアを算出する。変調パターン算出部19は、電磁波変調部MP65から電磁波変調部MP67までの電磁波変調部MPの中からスコアが最も高い電磁波変調部MP66を、撮像対象OBに応じた電磁波変調部MP68として算出する。変調パターン算出部19は、この算出した電磁波変調部MP68を、変更部11に対して供給する。

0152

変調パターン算出部19は、スコアが高いパターンを、変更部11に対して供給する。
変更部11は、変調パターン算出部19から供給される電磁波変調部MPに含まれるパターンを、撮像対象OBに応じたパターンに変更する。具体的には、変更部11は、変調の状態MSを、撮像対象OBに応じたものに変更する。

0153

[第6の実施形態のまとめ]
以上説明したように、電磁波検出装置10fは、判定結果取得部18と、記憶部ST、と変調パターン算出部19とを備える。判定結果取得部18は、判別部17が判定した結果が正しいか否かを示す正否情報を取得する。変調パターン算出部19は、判定結果取得部18が取得する正否情報と、判別部17の判定結果とに基づいて、撮像対象OBをより多くの回数、正しく判定した電磁波変調部MPを、撮像対象OBに応じた変調の状態MSを含む電磁波変調部MPとする。つまり、電磁波検出装置10fは、撮像対象OBに応じた変調の状態MSを算出する。これにより、電磁波検出装置10fは、撮像対象OBに応じた変調の状態MSを含まない電磁波変調部MPよりも、より正確に撮像対象OBを判別することができる変調の状態MSを含む電磁波変調部MPを算出できる。これにより、電磁波検出装置10fは、精度よく撮像対象OBを判別することができる。

0154

また、上述した説明では、電磁波検出装置10fが、構造化照明の構成の場合について説明したが、構造化検出の構成であってもよい。また、撮像対象OBが移動しないものについて説明したが、移動するものであってもよい。言い換えると、第1の実施形態から第5の実施形態までの電磁波検出装置10は、判定結果取得部18と、記憶部ST、と変調パターン算出部19とを備えていてもよい。

0155

また、上述した説明では、第1の実施形態から第4の実施形態までは、電磁波検出装置は、撮像対象OBの複素振幅に基づいて、再構成画像を生成する場合について説明したが、必須ではない。第1の実施形態から第4の実施形態までの電磁波検出装置は、変調後電磁波SLを検出できればよい。また、電磁波検出装置は算出した複素振幅情報から、撮像対象OBの位相のみを再構成してもよい。電磁波検出装置は算出した複素振幅情報から、撮像対象OBの振幅の情報のみを再構成してもよい。電磁波検出装置は算出した複素振幅情報から、撮像対象OBの、位相と振幅との両方の情報を再構成してもよい。

0156

なお、上述した第3の実施形態及び第4の実施形態では、相対パターン領域算出部15cは、撮像対象OBの位置に応じた変調領域UAを選択する場合について説明したがこれに限られない。電磁波検出装置10c及び電磁波検出装置10dは、検出した強度情報DSの時間の長さに応じた変調領域UAを、変調の状態MSのうちから選択してもよい。

0157

なお、上述した第3の実施形態及び第4の実施形態では、撮像対象OBが移動する構成について説明したが、検出側が移動してもよい。具体的には、電磁波検出装置10c及び電磁波検出装置10dは、移動しない撮像対象OBに対して、固定電磁波変調部MPSと変調後電磁波強度検出部12とが移動する構成であってもよい。

0158

上述した説明では、第1の実施形態から第4の実施形態までが備える生成部がスパース拘束演算をして複素振幅情報gを生成する場合について説明したが、複素振幅情報gは、他の装置が演算してもよい。他の装置とは、ネットワーク上のサーバ稼働するウェブサービスなどである。この場合には、生成部は、複素振幅情報gを生成するために必要な情報を他の装置に出力する。生成部は、他の装置が生成した複素振幅情報gを取得すればよい。

0159

なお、上述した第1の実施形態から第6の実施形態までの電磁波検出装置は、透過型光学系又は反射型光学系のいずれであってもよい。透過型の光学系は、上述した図1及び図9に示すように、撮像対象OBからの透過光観測する。反射型の光学系は、上述した図3図8図11図13図14及び図16に示すように、撮像対象OBからの反射光を観測する。また、上述した第1の実施形態から第6の実施形態までの電磁波検出装置は、電磁波変調部MPの反射光を測定してもよい。同様に、第1の実施形態から第6の実施形態までの電磁波検出装置は、電磁波変調部MPの透過光を測定してもよい。

0160

以上、本発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。

0161

なお、上述の電磁波検出装置10、電磁波検出装置10a、電磁波検出装置10b、電磁波検出装置10c、電磁波検出装置10d、電磁波検出装置10e及び電磁波検出装置10fは内部にコンピュータを有している。そして、上述した装置の各処理の過程は、プログラム形式コンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク光磁気ディスクCD−ROM、DVD−ROM、半導体メモリ等をいう。また、このコンピュータプログラム通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。

0162

また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル差分プログラム)であってもよい。

0163

10,10a,10b,10c,10d,10e,10f…電磁波検出装置、11…変
更部、12…変調後電磁波強度検出部、13a,13c,13e…強度信号結合部、14
a,14b,14c,14d…生成部、15c…相対パターン領域算出部、16…機械
習部、17…判別部、18…判定結果取得部、19…変調パターン算出部、ST…記憶部
、20…表示部、30…操作部、40,40e…フローサイトメーター、41…分別部、
100…電磁波検出システム、F…流路、RL…照射部、MP,MP1,MP2,MP3
,MP61,MP62,MP63,MP64,MP65,MP66,MP67,MP68
,MPm…電磁波変調部、ME1,ME2,ME3,MEm…要素、MPC…可変電磁波
変調部、MPS…固定電磁波変調部、OB…撮像対象、RVA…振幅画像情報、RP…位
相画像情報、PG…撮像画像、UA,UA1,UA2,UA3…変調領域、EL,FL,
ML…電磁波、SL…変調後電磁波

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ