図面 (/)

技術 顕微鏡システムの制御方法、顕微鏡システム、プログラム、記録媒体

出願人 シスメックス株式会社
発明者 岡田昌也岩永茂樹
出願日 2018年9月28日 (1年10ヶ月経過) 出願番号 2018-185592
公開日 2020年4月9日 (4ヶ月経過) 公開番号 2020-056832
状態 未査定
技術分野 蛍光または発光による材料の調査,分析 光学的手段による材料の調査、分析 顕微鏡、コンデンサー
主要キーワード プロセスイメージ 構築条件 非可視光領域 複数視野 解析画面 フィッティング結果 移動順序 平均化画像
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年4月9日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (17)

課題

所望の超解像画像の取得をより容易化する。

解決手段

顕微鏡システム制御方法は、撮像部により順次撮像された複数の第1の画像を第1表示領域に表示する工程(ステップS2)と、第1の画像から抽出した情報に基づいて、超解像画像を模擬して生成された第2の画像を第2表示領域に表示する工程(ステップS4)と、第1の画像の撮像に用いた第1の撮像条件を用いて超解像画像を構築するための複数の第3の画像を撮像部により順次撮像する工程(ステップS7)とを含む。

概要

背景

生きた状態の細胞を観察できる蛍光イメージング法は、生命現象解明するために重要な役割を担っている。光学顕微鏡解像度は、光の回折限界によりおよそ200nm程度であるため、細胞の中に存在する複雑な構造を観察するためには不十分であった。

しかし、近年では、光の回折限界を超える解像度を実現した画像(以下、超解像画像と記す)を取得するための様々な技術が考案され、超解像画像を利用した研究および検査が身近なものとなってきている。超解像画像を取得する顕微鏡装置は、例えば、特許文献1に開示されている。

特許文献1には、超解像画像を取得するための顕微鏡装置が開示されている。特許文献1の顕微鏡装置は、(i)試料設置部と光学系と撮像部とが内部に配置された筐体部と、(ii)撮像部により撮像された画像を表示する表示部が一体的に設けられ、試料設置部に対して相対移動可能な移動部と、を備える。

特許文献1の顕微鏡装置では、表示部の表示画面には、カメラ画面表示領域と超解像画像表示領域とが含まれる。カメラ画面表示領域には、撮像部(より厳密には撮像素子)によってリアルタイムで撮像されるカメラ画像が表示される。超解像画像表示領域には、顕微鏡装置によって構築された超解像画像が表示される。

概要

所望の超解像画像の取得をより容易化する。顕微鏡システム制御方法は、撮像部により順次撮像された複数の第1の画像を第1表示領域に表示する工程(ステップS2)と、第1の画像から抽出した情報に基づいて、超解像画像を模擬して生成された第2の画像を第2表示領域に表示する工程(ステップS4)と、第1の画像の撮像に用いた第1の撮像条件を用いて超解像画像を構築するための複数の第3の画像を撮像部により順次撮像する工程(ステップS7)とを含む。

目的

本発明は、上述の問題点に鑑みてなされたものであり、所望の超解像画像の取得をより容易化することを目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

撮像部と、第1表示領域および第2表示領域を有する表示部と、備える顕微鏡システム制御方法であって、前記撮像部により順次撮像された複数の第1の画像を順次前記第1表示領域に表示する工程と、順次撮像された複数の前記第1の画像から抽出した情報に基づいて生成された第2の画像を前記第2表示領域に表示する工程と、を含む、顕微鏡システムの制御方法。

請求項2

超解像画像構築するための複数の第3の画像を前記撮像部により順次撮像する工程をさらに含む、請求項1に記載の、顕微鏡システムの制御方法。

請求項3

複数の前記第1の画像に対し第1の処理を行い前記第2の画像を生成する工程と、複数の前記第3の画像に対し前記第1の処理とは異なる第2の処理を行い前記超解像画像の構築を行う工程と、をさらに含む、請求項2に記載の、顕微鏡システムの制御方法。

請求項4

前記第2の処理において、テンプレートマッチングにより複数の前記第1の画像から輝点を抽出する処理を行い、前記第1の処理において、前記テンプレートマッチングを行わない、請求項3に記載の、顕微鏡システムの制御方法。

請求項5

前記第2の処理において、抽出した前記輝点に対し点像分布関数に基づくフィッティングにより前記輝点の中心位置を特定し、前記第1の処理において、前記点像分布関数に基づくフィッティングによる輝点の中心位置の特定を行わない、請求項4に記載の、顕微鏡システムの制御方法。

請求項6

前記第2の処理において、撮像中ステージドリフトに対する補正を行い、前記第1の処理において、前記ステージドリフトに対する補正を行わない、請求項3から5のいずれか1項に記載の、顕微鏡システムの制御方法。

請求項7

前記第2の画像は、超解像画像を簡易的に模したプレビュー画像である、請求項3から6のいずれか1項に記載の、顕微鏡システムの制御方法。

請求項8

前記第2の画像を前記第2表示領域に表示した後、第1の撮像条件を変更する入力を受け付ける工程をさらに含む、請求項1から7のいずれか1項に記載の、顕微鏡システムの制御方法。

請求項9

前記第1の撮像条件を変更する入力を受け付けた後、当該変更された第1の撮像条件を用いて前記第1の画像の撮像を行う請求項8に記載の、顕微鏡システムの制御方法。

請求項10

前記第2の画像を前記第2表示領域に表示した後、超解像画像を構築するために第3の画像の撮像を行う指示を受け付ける工程をさらに含む、請求項1から9のいずれか1項に記載の、顕微鏡システムの制御方法。

請求項11

前記指示を受け付けた後、前記第3の画像の撮像に第1の撮像条件と一緒に用いる第2の撮像条件の入力を受け付ける工程をさらに含む、請求項10に記載の、顕微鏡システムの制御方法。

請求項12

前記第1の撮像条件は、撮像する試料の範囲、露光時間、撮像のための光源の種類を含む、請求項11に記載の、顕微鏡システムの制御方法。

請求項13

前記第2の撮像条件は、複数の前記第3の画像の数を含む、請求項11に記載の、顕微鏡システムの制御方法。

請求項14

前記第1の画像は、蛍光画像であり、前記第1の画像から抽出した情報は、前記第1の画像の輝点に関する情報である、請求項1から13のいずれか1項に記載の、顕微鏡システムの制御方法。

請求項15

前記第1または第2の撮像条件は、撮像する試料の範囲、露光時間、撮像のための光源の種類、または撮像する第3の画像の数を含む、請求項11から13のいずれか1項に記載の、顕微鏡システムの制御方法。

請求項16

複数の前記第3の画像は、試料を連続的に撮像した連続画像である、請求項10から13のいずれか1項に記載の、顕微鏡システムの制御方法。

請求項17

前記超解像画像を構築するための処理条件として、前記第3の画像における構築対象となる領域を指定する情報、および複数の前記第3の画像のうちの構築対象となる画像を特定する情報の少なくとも一方の入力を受け付ける工程をさらに含む、請求項10から13のいずれか1項に記載の、顕微鏡システムの制御方法。

請求項18

撮像された複数の前記第3の画像の少なくとも一部、または前記複数の第3の画像を合成することで得られた合成画像を前記表示部に表示する工程と、前記複数の第3の画像の少なくとも一部を用いて超解像画像を構築する工程と、構築された前記超解像画像を前記表示部に表示する工程とをさらに含む、請求項10から13のいずれか1項に記載の、顕微鏡システムの制御方法。

請求項19

前記撮像部が撮像する試料の範囲を変化させながら複数の第1の画像を取得する工程をさらに含む、請求項1から18のいずれか1項に記載の、顕微鏡システムの制御方法。

請求項20

撮像する試料の範囲を変化させながら複数の撮像位置で撮像した複数の蛍光画像を繋ぎ合わせた広視野の蛍光画像を前記表示部に表示する工程をさらに含む、請求項19に記載の、顕微鏡システムの制御方法。

請求項21

前記第3の画像は、蛍光画像であり、前記撮像部の撮像位置を変化させながら各撮像位置蛍光強度を検出し、所定の閾値より大きい蛍光強度が検出された撮像位置において複数の前記第3の画像を撮像する、請求項10から13のいずれか1項に記載の、顕微鏡システムの制御方法。

請求項22

撮像部と、第1表示領域および第2表示領域を有する表示部と、を備える顕微鏡システムであって、前記表示部は、前記撮像部により順次撮像された複数の第1の画像を順次前記第1表示領域に表示し、順次撮像された複数の前記第1の画像から抽出した情報に基づいて生成された第2の画像を前記第2表示領域に表示する、顕微鏡システム。

請求項23

前記撮像部は、超解像画像を構築するための複数の第3の画像を順次撮像する、請求項22に記載の、顕微鏡システム。

請求項24

制御装置をさらに備え、前記制御装置は、複数の前記第1の画像に対し第1の処理を行い前記第2の画像を生成し、複数の前記第3の画像に対し前記第1の処理とは異なる第2の処理を行い前記超解像画像の構築を行う、請求項23に記載の、顕微鏡システム。

請求項25

前記制御装置は、前記第2の処理において、テンプレートマッチングにより複数の前記第1の画像から輝点を抽出する処理を行い、前記第1の処理において、前記テンプレートマッチングを行わない、請求項24に記載の、顕微鏡システム。

請求項26

前記制御装置は、前記第2の処理において、抽出した前記輝点に対し点像分布関数に基づくフィッティングにより前記輝点の中心位置を特定し、前記第1の処理において、前記点像分布関数に基づくフィッティングによる輝点の中心位置の特定を行わない、請求項25に記載の、顕微鏡システム。

請求項27

前記制御装置は、前記第2の処理において、撮像中のステージドリフトに対する補正を行い、前記第1の処理において、前記ステージドリフトに対する補正を行わない、請求項24から26のいずれか1項に記載の、顕微鏡システム。

請求項28

前記第2の画像は、超解像画像を簡易的に模したプレビュー画像である、請求項24から27のいずれか1項に記載の、顕微鏡システム。

請求項29

顕微鏡システムに用いられるコンピュータ用のプログラムであって、撮像部により順次撮像された複数の第1の画像を表示部の第1表示領域に順次表示する工程と、順次撮像された複数の前記第1の画像から抽出した情報に基づいて生成された第2の画像を前記表示部の第2表示領域に表示する工程と、をコンピュータに実行させるプログラム。

請求項30

請求項29に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体

請求項31

撮像部および表示部を備える顕微鏡システムの制御方法であって、前記撮像部により順次撮像された複数の第1の画像を前記表示部に順次表示する工程と、順次撮像された複数の前記第1の画像から抽出した情報に基づいて生成された第2の画像を前記表示部に表示する工程と、前記撮像部により順次撮像された複数の第3の画像に基づいて構築された超解像画像を前記表示部に表示する工程と、を含む、顕微鏡システムの制御方法。

請求項32

撮像部および表示部を備える顕微鏡システムであって、前記表示部は、第1表示領域および第2表示領域を備え、前記撮像部により順次撮像された複数の第1の画像を順次前記第1表示領域に表示し、順次撮像された複数の前記第1の画像から抽出した情報に基づいて生成された第2の画像を前記第2表示領域に表示し、前記撮像部により順次撮像された複数の第3の画像に基づいて構築された超解像画像を表示する、顕微鏡システム。

技術分野

0001

本発明は、顕微鏡システム制御方法、および、当該超解像画像を取得するための顕微鏡システム等に関する。

背景技術

0002

生きた状態の細胞を観察できる蛍光イメージング法は、生命現象解明するために重要な役割を担っている。光学顕微鏡解像度は、光の回折限界によりおよそ200nm程度であるため、細胞の中に存在する複雑な構造を観察するためには不十分であった。

0003

しかし、近年では、光の回折限界を超える解像度を実現した画像(以下、超解像画像と記す)を取得するための様々な技術が考案され、超解像画像を利用した研究および検査が身近なものとなってきている。超解像画像を取得する顕微鏡装置は、例えば、特許文献1に開示されている。

0004

特許文献1には、超解像画像を取得するための顕微鏡装置が開示されている。特許文献1の顕微鏡装置は、(i)試料設置部と光学系と撮像部とが内部に配置された筐体部と、(ii)撮像部により撮像された画像を表示する表示部が一体的に設けられ、試料設置部に対して相対移動可能な移動部と、を備える。

0005

特許文献1の顕微鏡装置では、表示部の表示画面には、カメラ画面表示領域と超解像画像表示領域とが含まれる。カメラ画面表示領域には、撮像部(より厳密には撮像素子)によってリアルタイムで撮像されるカメラ画像が表示される。超解像画像表示領域には、顕微鏡装置によって構築された超解像画像が表示される。

先行技術

0006

特開2018−44997号公報

発明が解決しようとする課題

0007

超解像画像の利用は身近になってきているものの、所望の超解像画像を取得することは容易ではない。例えば、特許文献1の顕微鏡装置を用いて超解像画像を構築する場合、下記に示す(工程1)〜(工程6)によって行われる。
(工程1)試料をセットして撮像を開始
(工程2)カメラ画面表示領域に、リアルタイムで撮像されたカメラ画像を表示
(工程3)撮像する視野の決定および撮像パラメータの設定
(工程4)撮像開始
(工程5)撮像された複数の画像を保存
(工程6)超解像画像の構築を決定
(工程7)超解像画像表示領域に、構築された超解像画像を表示。

0008

上記の工程のうち、特に、(工程3)および(工程6)は容易ではなく、所望の超解像画像の取得に失敗する原因となり得る。例えば、(工程3)において、リアルタイムで撮像されたカメラ画像から、視野を決定し、撮像パラメータを適切に設定することは、経験を積んだユーザであっても、多くの場合、試行錯誤が必要である。また、(工程6)においては、ユーザはどのような超解像画像が構築されるのかが分からない段階で、超解像画像の構築をするか否かを決定しなければならない。

0009

また、(工程7)において表示された超解像画像が、所望の画像ではなかった場合、(工程3)〜(工程7)をやり直す必要がある。しかし、試料の観察のために使用された蛍光色素分子が発する蛍光を撮像した画像を用いて超解像画像を構築する場合、蛍光色素分子からの蛍光強度は光の照射によって減衰してしまうため、何度も繰り返し撮像し直すことができない。

0010

本発明は、上述の問題点に鑑みてなされたものであり、所望の超解像画像の取得をより容易化することを目的とする。

課題を解決するための手段

0011

上記の課題を解決するために、本発明の一態様に係る顕微鏡システム(300)の制御方法は、撮像部(10b)と、第1表示領域(31)および第2表示領域(32)を有する表示部(21)と、備える顕微鏡システム(300)の制御方法であって、撮像部(10b)により順次撮像された複数の第1の画像を順次第1表示領域(31)に表示する工程(ステップS2)と、順次撮像された複数の第1の画像から抽出した情報に基づいて生成された第2の画像を第2表示領域(32)に表示する工程(ステップS4)と、を含む。

0012

ここで、「第1の画像」とは、第2の画像を生成するステージ(第1ステージ)において、撮像部(10b)によってリアルタイムで撮像された画像を意図している。「第1の画像」は、「ライブ画像」とも称される。また、「第2の画像」とは、超解像画像が構築される前に、当該超解像画像に含まれる領域、および当該超解像画像の構図などを顕微鏡システム(300)のユーザに確認させるための画像を意図している。このことから、「第2の画像」は、「プレビュー画像」とも称される。

0013

上記の構成によれば、第2の画像(プレビュー画像)を第2表示領域(32)に表示させることにより、顕微鏡システム(300)のユーザに、超解像画像の表示内容を大まかに予測させることができる。すなわち、現時点撮像条件が超解像画像の構築に適しているかを、当該超解像画像を構築する前に確認できる。それゆえ、従来に比べ、所望の超解像画像の取得をより容易化することができる。さらに、超解像画像の取得時間を低減できるという効果も奏する。

0014

また、顕微鏡システム(300)の制御方法は、超解像画像を構築するための複数の第3の画像を撮像部(10b)により順次撮像する工程をさらに含んでいてもよい。

0015

「第3の画像」とは、超解像画像を構築するステージ(第2ステージ)において、撮像部(10b)により撮像された画像のうち、当該超解像画像を構築する対象となる画像を意図している。「第3の画像」は、「対象画像」とも称される。

0016

上記の構成により、超解像画像を構築するための第3の画像を撮像できる。

0017

また、顕微鏡システム(300)の制御方法は、複数の第1の画像に対し第1の処理を行い第2の画像を生成する工程と、複数の第3の画像に対し第1の処理とは異なる第2の処理を行い超解像画像の構築を行う工程と、をさらに含んでいてもよい。

0018

また、顕微鏡システム(300)の制御方法では、第2の処理において、テンプレートマッチングにより複数の第1の画像から輝点を抽出する処理を行い、第1の処理において、テンプレートマッチングを行わなくてもよい。

0019

また、顕微鏡システム(300)の制御方法では、第2の処理において、抽出した輝点に対し点像分布関数に基づくフィッティングにより輝点の中心位置を特定し、第1の処理において、点像分布関数に基づくフィッティングによる輝点の中心位置の特定を行わなくてもよい。

0020

また、顕微鏡システム(300)の制御方法では、第2の処理において、撮像中のステージドリフトに対する補正を行い、第1の処理において、ステージドリフトに対する補正を行わなくてもよい。

0021

上記の構成により、複数の第3の画像から好適に超解像画像を構築することができる。

0022

また、顕微鏡システム(300)の制御方法では、前記第2の画像は、超解像画像を簡易的に模したプレビュー画像であってもよい。

0023

上記の構成によれば、プレビュー画像を第2表示領域(32)に表示させることにより、顕微鏡システム(300)のユーザに、超解像画像の表示内容を大まかに予測させることができる。

0024

また、顕微鏡システム(300)の制御方法は、第2の画像を第2表示領域(32)に表示した後、第1の撮像条件を変更する入力を受け付ける工程(ステップS6)をさらに含んでいてもよい。

0025

また、顕微鏡システム(300)の制御方法は、第1の撮像条件を変更する入力を受け付けた後、当該変更された第1の撮像条件を用いて第1の画像の撮像を行う構成であってもよい。

0026

また、顕微鏡システム(300)の制御方法は、第2の画像を第2表示領域(32)に表示した後、超解像画像を構築するために第3の画像の撮像を行う指示を受け付ける工程(ステップS9)をさらに含んでいてもよい。

0027

第1の画像から抽出された輝点を示す第2の画像を生成し、疑似的な超解像画像として表示することにより、実際に超解像画像を構築しなくとも、撮像対象や、その時点の撮像位置が適切かどうかをユーザに判断させることができる。撮像対象および撮像位置が適切であるとユーザが判断した後に、超解像画像を構築するための撮像を行うことにより、不適切な画像を用いて超解像画像の構築が行われることを防止することができる。

0028

顕微鏡システム(300)の制御方法は、前記指示を受け付けた後、第3の画像の撮像に第1の撮像条件と一緒に用いる第2の撮像条件の入力を受け付ける工程(ステップS6)をさらに含んでいてもよい。

0029

また、顕微鏡システム(300)の制御方法では、撮像条件は、撮像する試料の範囲、露光時間、撮像のための光源の種類を含んでいてもよい。

0030

第3の画像を撮像する撮像条件を適切に設定することにより、超解像画像を構築するための画像として好適な画像を撮像できる。

0031

また、顕微鏡システム(300)の制御方法では、第2の撮像条件は、複数の第3の画像の数を含んでいてもよい。

0032

また、顕微鏡システム(300)の制御方法では、第1の画像は、蛍光画像であり、第1の画像から抽出した情報は、第1の画像の輝点に関する情報であってもよい。

0033

上記の構成により、超解像画像を模した画像をプレビュー画像として生成することができる。

0034

また、顕微鏡システム(300)の制御方法では、前記撮像条件は、撮像する試料の範囲、露光時間、撮像のための光源の種類、または撮像する第3の画像の数を含んでいてもよい。

0035

また、顕微鏡システム(300)の制御方法では、複数の第3の画像は、試料を連続的に撮像した連続画像であってもよい。

0036

試料を連続的に撮像した連続画像を用いることにより、蛍光が明滅する試料の超解像画像を好適に構築することができる。

0037

また、顕微鏡システム(300)の制御方法は、超解像画像を構築するための処理条件として、前記第3の画像における構築対象となる領域を指定する情報、および前記複数の第3の画像のうちの構築対象となる画像を特定する情報の少なくとも一方の入力を受け付ける工程(ステップS24)をさらに含んでいてもよい。

0038

上記の構成により、撮像された複数の第3の画像から、超解像画像の構築に用いるに適した画像またはその領域を絞り込むことができ、超解像画像の構築に要する時間を短縮することができる。

0039

また、顕微鏡システム(300)の制御方法は、撮像された複数の第3の画像の少なくとも一部、または複数の第3の画像を合成することで得られた合成画像を表示部(21)に表示する工程(ステップS21)と、複数の第3の画像の少なくとも一部を用いて超解像画像を構築する工程(ステップS25)と、構築された超解像画像を表示部(21)に表示する工程(ステップS26)とをさらに含んでいてもよい。

0040

撮像された複数の第3の画像の少なくとも一部、または複数の第3の画像を合成することで得られた合成画像を表示部(21)に表示することにより、撮像された第3の画像が、超解像画像を構築するための画像として適切であるかどうかをユーザに確認させることができる。このユーザによる確認を踏まえて超解像画像の構築が行われるため、不適切な画像を用いて超解像画像の構築が行われることを防止することができる。

0041

また、顕微鏡システム(300)の制御方法は、撮像部(10b)が撮像する試料の範囲を変化させながら複数の第1の画像を取得する工程(ステップS43)をさらに含んでいてもよい。

0042

また、顕微鏡システム(300)の制御方法は、撮像する試料の範囲を変化させながら複数の撮像位置で撮像した複数の蛍光画像を繋ぎ合わせた広視野の蛍光画像を表示部(21)に表示する工程(ステップS44)をさらに含んでいてもよい。広視野の蛍光画像は、第1表示領域(31)に表示されてもよいし、ポップアップ画面(310)として表示されてもよいし、その両方が行われてもよい。

0043

上記の構成によれば、撮像位置を変化させながら複数の第1の画像を撮像することにより、広視野の画像を取得することができる。このように取得した複数の第1の画像を繋ぎ合わせた画像を表示することにより、広視野の撮像画像をユーザに示すことができる。

0044

また、顕微鏡システム(300)の制御方法において、前記第3の画像は、蛍光画像であり、撮像部(10b)の撮像位置を変化させながら各撮像位置で蛍光強度を検出し、所定の閾値より大きい蛍光強度が検出された撮像位置において前記複数の第3の画像を撮像してもよい。

0045

上記の構成により、所定の閾値以下の蛍光強度を有する画像が超解像画像の構築に用いられることがなくなり、超解像画像の構築に要する時間を短縮することができる。

0046

また、本発明の他の態様に係る顕微鏡システム(300)は、撮像部(10b)と、第1表示領域(31)および第2表示領域(32)を有する表示部(21)とを備える顕微鏡システムであって、表示部(21)は、撮像部(10b)により順次撮像された複数の第1の画像を順次第1表示領域(31)に表示し、順次撮像された複数の第1の画像から抽出した情報に基づいて生成された第2の画像を第2表示領域(32)に表示する。

0047

当該顕微鏡システム(300)によっても、第2の画像(プレビュー画像)を第2表示領域(32)に表示させることにより、ユーザに、超解像画像の表示内容を大まかに予測させることができる。それゆえ、所望の超解像画像の取得をより容易化することができる。

0048

また、顕微鏡システム(300)では、撮像部(10b)は、超解像画像を構築するための複数の第3の画像を順次撮像してもよい。

0049

また、顕微鏡システム(300)では、制御装置(200)をさらに備え、制御装置(200)は、複数の前記第1の画像に対し第1の処理を行い第2の画像を生成し、複数の第3の画像に対し前記第1の処理とは異なる第2の処理を行い超解像画像の構築を行ってもよい。

0050

また、顕微鏡システム(300)では、制御装置(200)は、第2の処理において、テンプレートマッチングにより複数の前記第1の画像から輝点を抽出する処理を行い、第1の処理において、前記テンプレートマッチングを行わなくてもよい。

0051

また、顕微鏡システム(300)では、制御装置(200)は、第2の処理において、抽出した輝点に対し点像分布関数に基づくフィッティングにより輝点の中心位置を特定し、第1の処理において、点像分布関数に基づくフィッティングによる輝点の中心位置の特定を行わなくてもよい。

0052

また、顕微鏡システム(300)では、制御装置(200)は、第2の処理において、撮像中のステージドリフトに対する補正を行い、第1の処理において、ステージドリフトに対する補正を行わなくてもよい。

0053

上記の構成により、複数の第3の画像から好適に超解像画像を構築することができる。

0054

また、顕微鏡システム(300)では、第2の画像は、超解像画像を簡易的に模したプレビュー画像であってもよい。

0055

上記の構成によれば、プレビュー画像を第2表示領域(32)に表示させることにより、顕微鏡システム(300)のユーザに、超解像画像の表示内容を大まかに予測させることができる。

0056

また、本発明の他の態様に係るプログラムは、顕微鏡システム(300)に用いられるコンピュータ用のプログラムであって、撮像部(10b)により順次撮像された複数の第1の画像を表示部(21)の第1表示領域(31)に順次表示する工程(ステップS21)と、順次撮像された複数の第1の画像から抽出した情報に基づいて生成された第2の画像を表示部(21)の第2表示領域に表示する工程(ステップS25)と、をコンピュータに実行させるプログラムである。

0057

また、上記プログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の技術的範囲に含まれる。

0058

また、本発明の他の態様に係る顕微鏡システム(300)の制御方法は、撮像部および表示部を備える顕微鏡システムの制御方法であって、撮像部(10b)により順次撮像された複数の第1の画像を表示部(21)に順次表示する工程と、順次撮像された複数の第1の画像から抽出した情報に基づいて生成された第2の画像を表示部(21)に表示する工程と、撮像部(10b)により順次撮像された複数の第3の画像に基づいて構築された超解像画像を表示部(21)に表示する工程と、を含む。

0059

また、本発明の他の態様に係る顕微鏡システム(300)は、撮像部(10b)および表示部(21)を備える顕微鏡システムであって、表示部(21)は、第1表示領域(31)および第2表示領域(32)を備え、撮像部(10b)により順次撮像された複数の第1の画像を順次第1表示領域(31)に表示し、順次撮像された複数の第1の画像から抽出した情報に基づいて生成された第2の画像を第2表示領域(32)に表示し、撮像部(10b)により順次撮像された複数の第3の画像に基づいて構築された超解像画像を表示する。

0060

上記の構成によれば、第2の画像(プレビュー画像)を第2表示領域(32)に表示させることにより、顕微鏡システム(300)のユーザに、超解像画像の表示内容を大まかに予測させることができる。すなわち、現時点の撮像条件が超解像画像の構築に適しているかを、当該超解像画像を構築する前に確認できる。それゆえ、従来に比べ、所望の超解像画像の取得をより容易化することができる。さらに、超解像画像の取得時間を低減できるという効果も奏する。

発明の効果

0061

本発明によれば、超解像画像の取得時間を従来よりも低減できる。

図面の簡単な説明

0062

本発明の実施形態1に係る顕微鏡システムの一構成例を示す斜視図である。
(a)および(b)はそれぞれ、図1の顕微鏡システムに含まれる顕微鏡装置の一構成例を示す斜視図である。
図2の顕微鏡装置に含まれる光源の一構成例を示す図である。
図1の顕微鏡システムに含まれる制御部およびその周辺の各部の構成を概略的に示す機能ブロック図である。
第1ステージにおける表示部のレイアウトの一例を示す図である。
プレビュー画像生成部におけるプレビュー画像生成処理について説明するための図である。
超解像画像構築部における超解像画像構築処理について説明するための図である。
第1ステージにおける処理の流れを例示するフローチャートである。
第2ステージにおける表示部のレイアウトの一例を示す図である。
第2ステージにおける処理の流れを例示するフローチャートである。
本発明の実施形態1の一変形例に係る顕微鏡システムの構成を概略的に示す機能ブロック図である。
本発明の実施形態2における処理の流れを示すフローチャートである。
広視野蛍光イメージングモードにおける処理の流れを例示する。
(a)および(b)はそれぞれ、視野の移動方法の一例を示す図である。
複数視野のプレビュー画像が表示される画面の一例を示す図である。
複数視野撮像モードにおける処理の流れを例示するフローチャートである。

実施例

0063

〔実施形態1〕
本発明の実施形態1に係る顕微鏡システム300について説明する。図1は、顕微鏡システム300の一構成例を示す斜視図である。図1に示すように、顕微鏡システム300は、顕微鏡装置100および制御装置200を備えている。顕微鏡装置100および制御装置200は、互いに信号を送受信可能に接続されている。例えば、顕微鏡装置100および制御装置200は、有線または無線により互いに通信可能に接続されている。

0064

(顕微鏡装置100の構成)
図2は、顕微鏡装置100の一構成例を示す斜視図である。顕微鏡装置100は、試料設置部11に載置された試料を拡大して表示するための装置である。顕微鏡装置100の解像度は、例えば、水平方向20〜50nm、Z軸方向約20〜50nmであってもよい。顕微鏡装置100の解像度は、従来の光学顕微鏡のおよそ10倍である。試料は、被検体被験者)から採取した生体試料であり、例えば、細胞、生体組織などである。但し、後述するように、試料は生体試料に限定されない。

0065

図2に示すように、顕微鏡装置100は、筐体部10と、移動部20とを備える。顕微鏡装置100は、撮像部10bと、試料設置部11とを備える。撮像部10bは、対物レンズ12と、光源13と、撮像素子14とを備える。試料設置部11は、筐体部10の上面(Z1方向側の面)に設けられている。

0066

対物レンズ12と、光源13と、撮像素子14とは、筐体部10の内部に設けられている。顕微鏡装置100は、表示部21を備える。表示部21は、移動部20の前面(Y1方向側の面)に設けられている。表示部21の表示面21aは、移動部20の前面側に配置されている。顕微鏡装置100は、筐体部10に対して移動部20を相対移動させる駆動部10aを備える。但し、後述の変形例に示すように、本発明の顕微鏡システムにおいて、顕微鏡装置100に表示部21が一体として設けられている必要はなく、例えば、表示部を顕微鏡装置100とは別体として設けてもよい。

0067

以下では、顕微鏡装置100の設置面に平行な面内(すなわち、水平な面内)で直交する2方向をそれぞれX方向、Y方向とする。図1に示すように、顕微鏡装置100が、平面視でX方向およびY方向にそれぞれ沿う略矩形形状外形形状を有する。X方向を顕微鏡装置100の左右方向とし、Y方向を顕微鏡装置100の前後方向とする。Y1方向が同装置本体の前面方向であり、Y2方向が同装置本体の背面方向である。水平な面と直交する上下方向をZ方向とする。Z1方向が上方向であり、Z2方向が下方向である。

0068

移動部20は、試料設置部11を覆う遮光位置図2の(a)参照)と、試料設置部11を開放する開放位置(図2の(b)参照)とに、筐体部10に対して表示部21とともに相対移動可能である。具体的には、移動部20は、筐体部10の設置面に略平行な方向に、筐体部10に対して相対的にスライド移動することにより、遮光位置および開放位置に相対移動する。

0069

これにより、筐体部10に対して上下方向(Z方向)ではなく横方向(X方向)に移動部20を相対的に移動させることができるので、重力の影響を抑制して、筐体部10に対して移動部20を遮光位置または開放位置に容易に相対移動させることができる。また、遮光位置および開放位置を平行な位置に配置することができるので、移動部20に設けられた表示部21を、開放位置においても遮光位置と同様の高さ位置において見ることができる。これにより、表示部21の視認性を向上させることができる。

0070

試料設置部11は、筐体部10の設置面と略平行な筐体部10上面(Z1方向の面)に配置されている。そのため、移動部20を開放位置に相対移動させた場合に、試料設置部11の上方を開放することができるので、試料設置部11に容易にアクセスすることができる。

0071

移動部20が筐体部10に対して開放位置に相対移動された状態で、試料設置部11に試料が設置される。移動部20が筐体部10に対して遮光位置に相対移動された状態で、試料設置部11の試料が撮像される。

0072

試料設置部11は、水平方向の一方向側および上側を除く部分が壁に囲まれるように筐体部10の上面に凹状に設けられている。例えば、試料設置部11は、筐体部10の前面側および上側を除く部分が壁に囲まれるように筐体部10の上面に凹状に設けられている。試料設置部11は、移動部20が開放位置に位置する場合に、上側および水平方向の一方向側が開放される。例えば、試料設置部11は、移動部20が開放位置に位置する場合に、上方(Z1方向)および前方(Y1方向)が開放される。これにより、移動部20が開放位置に位置する場合に、試料設置部11へのアクセスをより容易にすることができる。

0073

試料設置部11は、ステージ11aを含む。ステージ11aは、水平方向(X方向およびY方向)と、上下方向(Z方向)とに移動可能である。ステージ11aは、X方向、Y方向およびZ方向において、互いに独立して移動可能である。これにより、試料を対物レンズ12に対して相対移動させることができるので、試料の所望の位置を拡大して見ることが可能である。

0074

図2の(b)に示すように、対物レンズ12は、試料設置部11のステージ11aに近接して配置されている。対物レンズ12は、試料設置部11のステージ11aの下方(Z2方向)において、試料設置部11に対向するように設けられている。対物レンズ12は、試料設置部11に対して上下方向に相対移動可能である。

0075

光源13は、対物レンズ12を介して、撮像素子14と同じ側から光を試料に照射する。光源13は、所定の波長の光を出力するものでも、異なる複数の波長の光を出力するものでもよい。光源13は、発光素子を含む。発光素子は、例えば、LED(Light Emitting Diode)素子、または、レーザ素子などを含む。

0076

図3は、光源13の一構成例を示す図である。図3に示すように、光源13は、第1光源131aと、第2光源131bと、ミラー132aと、光学フィルタ132bと、ファン133とを含む。第1光源131aおよび第2光源131bは、互いに異なる波長の光を出力する。実施形態1では、顕微鏡装置100が、誘導放出抑制顕微鏡(Stimulated emission depletion microscopy: STED)法を用いて、蛍光画像を取得する場合を説明する。この場合、例えば、第1光源131aは励起光出射し、第2光源131bはSTED光を出射する。第1光源131aおよび第2光源131bは、それぞれ、レーザ光を出力することが可能である。なお、第2光源131bの出力する光は、可視光領域の光であってもよいし、赤外領域または紫外領域の非可視光領域の光であってもよい。

0077

第1光源131aにより出力された光は、ミラー132aにより反射されるとともに、光学フィルタ132bを透過して、光源13から出力される。第2光源131bにより出力された光は、光学フィルタ132bにより反射されて、光源13から出力される。これらにより、第1光源131aから出力される光と、第2光源131bから出力される光とが、互いに光軸が一致された状態で、光源13から出力される。光学フィルタ132bは、例えば、ダイクロイックミラーまたはロングパスフィルタ等である。

0078

ファン133は、筐体部10の内部に配置され、光源13を冷却するために設けられている。具体的には、ファン133は、駆動することにより、光源13の周辺に空気の流れを発生させて、光源13から発生する熱を取り除くように構成されている。ファン133は、撮像素子14による試料の撮像中に動作が停止されることが好ましい。これにより、撮像中にファン133による振動が撮像素子14や試料設置部11などに伝わるのを防止することができるので、試料を精度よく撮像することができる。但し、撮像素子14による試料の撮像中に動作中にファン133が駆動されても構わない。

0079

撮像素子14は、光源13から照射された光に基づいて試料を撮像する。具体的には、撮像素子14は、光源13から照射された光によって試料から発せられる光に基づいて、試料の静止画または連続画像を撮像する。撮像素子14により撮像される画像には、例えば、暗視野画像、蛍光画像または明視野画像が含まれる。撮像素子14は、例えば、CCD(Charge Coupled Device)素子や、CMOS(Complementary Metal Oxide Semiconductor)素子を含む。

0080

後述するように、試料には複数の蛍光色素分子が結合されており、あるタイミングにおいて複数の蛍光色素分子のうち一部が蛍光を発する。撮像素子14は、所定の時間間隔(例えば、30〜100ミリ秒間隔)で撮像することにより、複数の蛍光色素分子のうち、明滅している状態の「明」のタイミングで蛍光色素分子から発せられた光を撮像するように構成されている。これにより、各蛍光色素分子が発する蛍光を空間的に分離して捉えた画像を撮像することができる。

0081

表示部21は、撮像素子14により撮像された画像、および撮像画像に基づいて生成された画像を表示する。特に、表示部21は、後述するライブ画像、プレビュー画像、対象画像および超解像画像を表示する。また、表示部21は、顕微鏡装置100を操作するための画面、および顕微鏡装置100の状態を示す画面を表示することが可能である。表示部21は、試料を撮像する際のプログラムに基づく画面、および外部の制御装置200からの信号に基づく画面を表示することが可能である。

0082

表示部21は、例えば、液晶ディスプレイである。実施形態1の例では、表示部21は、移動部20の側面に配置されている。例えば、表示部21は、移動部20における前方側(Y1方向側)に配置されている。移動部20に、表示部21を一体的に設けることによって、顕微鏡装置100に加えて表示部を別個に設けて設置する必要がなくなるため、顕微鏡システム300の設置面積を小さくすることができる。但し、後述のように、表示部21を顕微鏡装置100の外部に設けてもよい。

0083

(試料)
撮像対象となる物質は、例えば、生体から採取した組織または細胞である。当該組織および細胞の種類は特に限定されない。撮像対象の物質は、生体試料に含まれる物質に限らず、生体試料に由来しない物質であってもよい。例えば、撮像対象の物質は、蛍光ビーズなど、蛍光を生じる粒子等の蛍光物質であってもよい。以下の説明では、撮像対象の物質として生体組織を使用するものとする。

0084

STED法では、誘導放出を利用して蛍光画像が取得される。誘導放出とは、活性状態にある蛍光色素分子に、励起光より低いエネルギーの光を照射した場合に、当該蛍光色素分子が蛍光を発することなく、強制的に非活性状態に戻される現象である。STED法によって蛍光画像を取得する処理の流れは、例えば次の通りである。(1)まず、試料に蛍光色素分子を一様に分布させる。(2)続いて、スポット光としての励起光を、所定の位置に存在する試料に向けて照射する。(3)そして、励起光のスポットを取り囲むように、STED光を上記試料に照射する。これにより、スポットを除いた周囲の領域では、蛍光色素分子による蛍光の出射が抑制されるので、当該スポットに対応する位置においてのみ、蛍光を観測できる。(4)そして、励起光のスポットを別の位置に変更し、上記(2)〜(4)を繰り返す。このようにして、異なる位置に存在する各蛍光色素分子を選択的に明滅させることができる。すなわち、誘導放出を利用して、1分子単位での蛍光観察を行うことができる。なお、顕微鏡装置100には、活性状態の蛍光色素分子に対して光を照射して、蛍光画像を取得する任意の公知の方法が適用され得る。あるいは、顕微鏡装置100は、活性状態と非活性状態とを自発的にスイッチングするように修飾された蛍光色素分子を用いて蛍光画像を取得してもよい。以上のように、各蛍光色素分子は、所定の時間間隔で明滅する。ただし、各蛍光色素分子は、明滅を繰り返すことで徐々に崩壊していく。そのため、できるだけ短時間で撮像を終えることが好ましい。

0085

第1光源131aからの光が所定時間、生体組織に照射されると、各蛍光色素分子が常時活性化状態で、明滅する。第1光源131aからの光の照射時間を調整することにより、活性化される蛍光色素分子の割合が変化する。

0086

(制御装置200の構成)
図4は、制御装置200およびその周辺の各部の構成を概略的に示す機能ブロック図である。図4において、顕微鏡装置100の構成要素については、制御装置200の制御下にある構成要素のみを図示している。制御装置200は、顕微鏡装置100を制御するように構成されている。制御装置200は、例えば、コンピュータにより構成されており、CPU(中央演算処理装置)、メモリなどを含む。制御装置200は、顕微鏡装置100による試料の撮像処理を制御し、撮像された画像の処理を行う。制御装置200は、処理した画像を顕微鏡装置100に出力し、顕微鏡装置100の表示部21に表示させることが可能である。また、制御装置200は、顕微鏡装置100により撮像した試料の画像を表示部21に拡大表示することが可能である。制御装置200は、顕微鏡装置100の移動部20の遮光位置と開放位置との移動を制御する。

0087

図4に示すように、制御装置200は、処理部201と、記憶部202とを備える。制御装置200には、入力部204が接続されている。

0088

処理部201は、例えば、CPUを含み、顕微鏡装置100の動作を制御する。記憶部202は、例えば、HDD(Hard Disk Drive)や、SSD(Solid State Drive)などを含み、制御装置200により実行するプログラムや、情報が格納される。入力部204は、ユーザの操作(指示)を受け付ける。入力部204は、例えば、マウスキーボードなどを含む。

0089

図4に示すように、処理部201は、プレビュー画像生成部1、超解像画像構築部2、表示制御部3、および撮像制御部4を備えている。顕微鏡システム300において超解像画像を取得する工程は、第1ステージ(キャプチャーイメージモード)と第2ステージ(プロセスイメージモード)とに大別される。第1ステージは、超解像画像を疑似的に表現したプレビュー画像を生成し、表示する工程と、超解像画像を構築するための複数の対象画像を撮像部10bにより順次撮像する工程とを含む。第2ステージは、第1ステージで得られた画像を用いて超解像画像を構築する工程を含む。

0090

プレビュー画像生成部1は、撮像制御部4の制御下で撮像された複数のライブ画像からプレビュー画像を生成する。ライブ画像とは、第1ステージにおいて、撮像部10bによってリアルタイムで撮像された画像を意味する。ライブ画像は、第1の画像とも称される。これに対し、プレビュー画像は、第2の画像とも称される。プレビュー画像を生成する処理の具体例については、後述する。

0091

なお、プレビュー画像は、以下に述べる超解像画像を簡易的に模した画像である(後述の図6・7を参照)。このことから、プレビュー画像は、擬似超解像画像と称されてもよい。表示部21は、撮像部10bにより順次撮像された複数のライブ画像を順次第1表示領域に表示し、順次撮像された複数のライブ画像から抽出した情報に基づいて生成されたプレビュー画像を第2表示領域に表示する。顕微鏡システム300のユーザは、第1ステージの時点でプレビュー画像を参照することで、将来の第2ステージにおいて構築される超解像画像の表示内容を予測できる。

0092

超解像画像構築部2は、撮像制御部4の制御下で撮像された複数の対象画像から超解像画像を構築する。対象画像とは、撮像部10bによって撮像された画像のうち、超解像画像を構築するための画像を意味する。撮像部10bは、超解像画像を構築するための複数の対象画像を順次撮像する。対象画像は、第3の画像とも称される。超解像画像を生成する処理の具体例については、後述する。

0093

すなわち、プレビュー画像生成部1は、複数の第1の画像に対し第1の処理を行い第2の画像を生成し、超解像画像構築部2は、複数の第3の画像に対し第1の処理とは異なる第2の処理を行い超解像画像の構築を行う。

0094

表示制御部3は、各種の画像を表示部21に表示する。図5は、第1ステージにおける表示部21のレイアウトの一例を示す図である。図5に示すように、表示部21は、主要な表示領域として、第1表示領域31および第2表示領域32を備えている。第1表示領域31および第2表示領域32は、表示部21の表示画面において、左右に並ぶように設けられている。

0095

また、図5に示すように、表示部21には、GUI(Graphical User Interface)による操作をユーザに提供できるように、各種のボタンアイコン)が表示されている。以下の説明では、説明の便宜上、表示部21がタッチパネルである場合を例示する。この場合、ユーザは、所定のボタンを押下(タッチ)することで、当該所定のボタンに応じた操作を行うことができる。説明の便宜上、図5では、各種のボタンのうち、実施形態1との関連性が特に高い主要なボタンのみについて、部材番号を付して説明を行うものとする。但し、入力部204を用いて、第1ステージおよび第2ステージにおける各種の操作をユーザに行わせてもよい。つまり、表示部21はタッチパネルでなくともよい。

0096

表示制御部3は、第1ステージにおいて、ライブ画像(第1の画像)を第1表示領域31に表示し、プレビュー画像(第2の画像)を第2表示領域32に表示する。表示制御部3は、第2ステージにおいて、対象画像(第3の画像)を第1表示領域31に表示し、超解像画像を第2表示領域32に表示する。

0097

撮像制御部4は、撮像部10bを制御する。具体的には、撮像制御部4は、所定の撮像条件下で各種の画像を撮像するように、撮像部10bを制御する。図4の例では、顕微鏡装置100は、コントローラ110を備える。図4の例では、表示制御部3および撮像制御部4はそれぞれ、コントローラ110を介して、表示部21および撮像部10bを制御する。但し、表示制御部3は、コントローラ110を介さずに、表示部21を制御してもよい。同様に、撮像制御部4は、コントローラ110を介さずに、撮像部10bを制御してもよい。

0098

なお、顕微鏡システム300の制御ブロック(特に処理部201)は、集積回路ICチップ)等に形成された論理回路ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。

0099

後者の場合、顕微鏡システム300は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば1つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばCPU(Central Processing Unit)を用いることができる。上記記録媒体としては、「一時的でない有形媒体」、例えば、ROM(Read Only Memory)等の他、テープディスクカード半導体メモリプログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するRAM(Random Access Memory)などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体通信ネットワーク放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

0100

(プレビュー画像を生成する処理の一例)
図6は、プレビュー画像生成部1におけるプレビュー画像生成処理について説明するための図である。図6の例では、プレビュー画像生成部1は、3つのライブ画像41〜43から抽出した情報に基づいて、1つのプレビュー画像44を生成する。実際には、例えば、リアルタイム超解像画像の構築開始タイミングから現時点に至るまでに取得された全てのライブ画像から、1つのプレビュー画像44が生成される。あるいは、計算負荷を低減するため、上記全てのライブ画像から一部のライブ画像を間引いて、1つのプレビュー画像が生成されてもよい。

0101

ライブ画像41〜43は、撮像部10bによって撮像された蛍光画像である。ライブ画像41には、2つの輝点(蛍光輝点)41A・41Bが写っている。同様に、ライブ画像42・43のそれぞれにも、2つの輝点が写っている。なお、ライブ画像における各輝点は、顕微鏡装置100の光学系の影響により、蛍光色素分子の大きさよりも大きく写っている。この点については、後述の図7における各対象画像(対象画像51〜53)の各輝点についても同様である。

0102

まず、プレビュー画像生成部1は、フィルタ処理を行い、各ライブ画像からノイズを除去する。プレビュー画像生成処理についての以下の説明では、特に明示されない限り、ノイズ除去後の各ライブ画像を、単にライブ画像と称する。そして、プレビュー画像生成部1は、各ライブ画像から、所定の閾値以上の輝度を有する輝点を検出(抽出)する。そして、プレビュー画像生成部1は、各ライブ画像における、各輝点の中心位置(重心位置)の座標を特定する。すなわち、プレビュー画像生成部1が抽出する情報は、ライブ画像の輝点に関する情報である。

0103

続いて、プレビュー画像生成部1は、各ライブ画像の輝点の抽出結果に基づき、プレビュー画像44を生成する。具体的には、プレビュー画像生成部1は、各ライブ画像において特定された各輝点の重心位置を、別の画像にマッピングする。この別の画像が、プレビュー画像44である。

0104

より具体的には、プレビュー画像生成部1は、各ライブ画像の各輝点の中心位置と同一の座標に、1画素(1ピクセル)分の大きさの輝点をプロット(描画)した画像を、プレビュー画像44として生成する。あるいは、プレビュー画像生成部1は、上記座標を中心点として、複数画素分の大きさの輝点を、均一の輝度でプロットしてもよい。図6に示されるように、プレビュー画像44の6つの輝点はそれぞれ、各ライブ画像の各輝点に1対1に対応する。このように、プレビュー画像44は、ライブ画像41〜43から抽出された各輝点(より具体的には、ライブ画像41〜43の各輝点の位置)を示す画像である。

0105

なお、プレビュー画像44の各輝点は、各ライブ画像の各輝点とは異なり、ぼやけて写っていない。これは、上述のように、プレビュー画像44の各輝点は、1画素分または複数画素分の大きさとして、均一の輝度でプロットされているためである。

0106

例えば、プレビュー画像生成処理では、後述する超解像画像構築処理とは異なり、下記の処理は行わない。
・テンプレートマッチング
・点像分布関数に基づくフィッティングによる輝点の中心位置の特定
・ステージドリフトに対する補正。
それゆえ、プレビュー画像生成処理は、以下に述べる超解像画像構築処理に比べ、処理の工数ステップ数)が少なく、かつ、各処理の計算負荷が非常に小さい。このため、プレビュー画像生成処理は、超解像画像構築処理に比べて極めて高速である。つまり、プレビュー画像は、超解像画像に比べ、十分に短時間で取得可能である。但し、プレビュー画像生成処理では、超解像画像構築処理に比べ、各輝点の中心位置の検出精度が低い。

0107

(超解像画像を構築する処理の一例)
図7は、超解像画像構築部2における超解像画像構築処理について説明するための図である。図7は、図6と対になる図である。図7の例では、超解像画像構築部2は、3つの対象画像51〜53から、1つの超解像画像54を構築する。実際には、数百〜数千枚程度の対象画像から1つの超解像画像54が生成される。

0108

但し、超解像画像構築部2は、複数の対象画像の一部から、1つの超解像画像54を構築することもできる。例えば、超解像画像構築部2は、各対象画像の所定の領域のみに基づいて、各領域に対応する超解像画像54を構築することもできる。超解像画像構築部2は、対象画像の少なくとも一部から、1つの超解像画像54を構築すればよい。

0109

対象画像51〜53も、ライブ画像41〜43と同様に、撮像部10bによって撮像された蛍光画像である。対象画像51には、2つの輝点(蛍光輝点)51A・51Bが写っている。同様に、対象画像52・53のそれぞれにも、2つの輝点が写っている。なお、図6図7に示されるように、各対象画像に写っている各輝点の位置は、各ライブ画像に写っている各輝点の位置と概ね同様である。

0110

まず、超解像画像構築部2は、バックグラウンド画像情報に基づき、各対象画像からノイズを除去する。超解像画像構築処理についての以下の説明では、特に明示されない限り、ノイズ除去後の各対象画像を、単に対象画像と称する。

0111

そして、超解像画像構築部2は、テンプレートマッチングにより、各対象画像から、当該対象画像に写っている輝点を抽出する。続いて、超解像画像構築部2は、各輝点に対して、点像分布関数に基づくフィッティングを行う。このようなフィッティングを行うことにより、各対象画像における輝点の中心位置を、1分子単位で高精度に特定できる。

0112

続いて、超解像画像構築部2は、点像分布関数に基づくフィッティング結果に基づき、各輝点が妥当な輝点であるか否かを判定する。具体的には、超解像画像構築部2は、上記フィッティング結果を照合し、各輝点が所定の判定基準を満たすか否かを判定する。超解像画像構築部2は、判定基準を満たす輝点のみを、各対象画像の輝点として特定する。

0113

続いて、超解像画像構築部2は、撮像中のステージドリフトに対する補正を行う。その後、超解像画像構築部2は、超解像画像54を構築(生成)する。具体的には、超解像画像構築部2は、各対象画像の輝点を、点像分布関数に基づいたぼかしをかけながら、別の画像にプロットする。この別の画像が、超解像画像54である。ぼかしをかけることにより、超解像画像54における各輝点に、実際の輝点に近しい輝きを持たせることができる。

0114

このように、1分子単位の位置精度で輝点の位置が特定された対象画像(蛍光画像)が合成されることにより、解像度の限界を超える超解像画像54を取得することが可能である。

0115

なお、上記の例では、超解像画像構築部2が、各輝点に対してぼかしをかけるように、超解像画像54における各輝点を描画している場合を説明した。但し、超解像画像構築部2は、各輝点に対してぼかしをかけないように、超解像画像54における各輝点を描画してもよい。

0116

超解像画像のデータは、数千ピクセル四方〜数万ピクセル四方程度の解像度を有する。ここで、表示部21の大きさが大きいほど、超解像画像の表示面積を大きくすることができるので、表示部21の面積が大きいことが好ましい。特に、第2表示領域32の面積をなるべく大きくすることが好ましい。

0117

超解像画像構築処理は、上述のプレビュー画像生成処理に比べ、処理の工数が多く、かつ、各処理の計算負荷が非常に大きい。このため、超解像画像構築処理は、プレビュー画像生成処理に比べて低速である。但し、超解像画像構築処理では、プレビュー画像生成処理に比べ、各輝点の中心位置の検出精度が高い。

0118

以上のことから、超解像画像構築処理には、数十秒〜数分程度の比較的長い時間を要する。これに対し、蛍光色素分子が発する蛍光強度は、時間の経過に伴って比較的速やかに低下する。このため、適切な超解像画像を構築するためには、各対象画像を短時間で撮像する必要がある。従って、各対象画像は、試料を短時間で連続的に撮像した連続画像であることが好ましい。

0119

以上の通り、プレビュー画像44および超解像画像54はいずれも、蛍光画像の各輝点の位置を反映するように生成された画像である。このため、プレビュー画像44の表示内容は、超解像画像54の表示内容に概ね近くなる。それゆえ、プレビュー画像44を、超解像画像54の表示内容を事前に予測するための擬似的な超解像画像として利用できる。

0120

(第1ステージおける処理の流れ)
図8は、第1ステージにおける処理の流れを例示するフローチャートである。

0121

ステップS1では、ユーザによって、試料設置部11に、試料(すなわち撮像対象物)がセットされる。ステップS1の処理を具体的に説明すると、次の通りである。

0122

まず、ユーザによって、表示部21に表示された所定のボタン(例:図5BT1)が押下された場合、顕微鏡システム300は第1ステージに移行する。表示制御部3は、BT1の押下に伴い、表示部21の表示画面を、基本画面へと変更する。BT1は、顕微鏡システム300を第1ステージに移行させるためのボタンであり、例えば「Capture Image」ボタンと称される。

0123

また、表示部21には、移動部20の位置を変更するためのボタン(カバー開閉ボタン)(図示せず)が表示されている。ユーザによって、カバー開閉ボタンが押下されると、遮光位置に位置していた移動部20はユーザによって開放位置まで移動させられる。続いて、ユーザは、開放状態となった試料設置部11に、試料(すなわち撮像対象物)をセットする。セット完了後、ユーザによって、カバー開閉ボタンが再び押下されることで、顕微鏡システム300は、開放位置に位置していた移動部20を遮光位置まで移動させる。

0124

ステップS2・S3では、撮像部10bによって試料のライブ画像を複数撮像し、当該ライブ画像を第1表示領域31に表示する。ステップS2の処理を具体的に説明すると、次の通りである。なお、表示部21には、撮像部10bの撮像条件を設定するためのボタン(撮像条件設定ボタン)(図示せず)が表示されているものとする。

0125

ステップS2では、処理部201は、ユーザによる撮像条件設定ボタンの押下に伴い、各種の撮像パラメータを設定する。撮像パラメータは、撮像部10bによる撮像の撮像条件を示す各種のパラメータを意図している。撮像パラメータには、例えば、
・プレビュー画像生成用の光源の条件(光源の種類、出射光の波長、出射光の強度等)、
撮像範囲(試料の撮像範囲)、
・露光時間(撮像部10bの露光時間)、
コントラスト(第1表示領域31に表示されるライブ画像のコントラスト)、
表示スケール(第1表示領域31の表示スケール)、
・試料設置部11(ステージ11a)の位置(換言すれば移動量)、
・超解像画像構築用の光源の条件(光源の種類、出射光の波長、出射光の強度、撮像する対象画像のフレーム数枚数)等)、
・視野(撮像時の視野)、
が含まれる。但し、撮像パラメータは上記の例に限定されず、その他の撮像パラメータが設けられてもよい。表示部21には、ユーザに撮像条件を設定させるためのダイアログ画面が表示されてよい。

0126

撮像条件の設定後、ユーザによって、表示部21に表示された所定のボタン(例:図5のBT4)が押下されると、撮像部10bは撮像を行う。BT4は、撮像部10bによる撮像を開始する指示の入力を受け付けるためのボタンであり、例えば「撮像」ボタンと称される。BT4の押下に伴い、撮像部10bは、撮像パラメータによって指定されたプレビュー画像生成用の光源を用いて、ライブ画像を撮像する。プレビュー画像生成用の光源としては、レーザ素子が用いられる。レーザ素子を光源として用いることで、蛍光画像としてのライブ画像を取得できる。そして、ステップS3では、表示制御部3は、撮像部10bによって撮像されたライブ画像を、第1表示領域31に表示させる。

0127

なお、ユーザは、撮像条件の事前検討のために、ライブ画像の確認に先立ち、明視野画像を確認することを所望する場合がある。このような場合、LED素子を光源として用いることで、撮像部10bに明視野画像を撮像させることができる。そして、撮像部10bによって撮像された明視野画像を、第1表示領域31に表示させればよい。

0128

ステップS4では、プレビュー画像生成部1は、ライブ画像からプレビュー画像を生成する。プレビュー画像生成部1は、ユーザが表示部21に表示された所定のボタン(例:図5のBT3)を押下したことを契機として、プレビュー画像生成部1にプレビュー画像の生成を開始する。BT3は、プレビュー画像生成部1にプレビュー画像の生成を許可するためのボタンであり、例えば「Realtime」ボタンと称される。BT4の押下に伴い、各ライブ画像の輝点の抽出が開始される。そして、プレビュー画像生成部1は、各ライブ画像の各輝点の抽出結果に基づき、プレビュー画像を生成する。

0129

ステップS5では、表示制御部3は、プレビュー画像生成部1によって生成されたプレビュー画像を、第2表示領域32に表示させる。ステップS4の時点で、ユーザにプレビュー画像を参照させることができる。よって、ユーザは第2ステージにおいて構築される超解像画像の表示内容を予測できる。ステップS5において、第2表示領域32に表示されたプレビュー画像をユーザに参照させることにより、当該プレビュー画像に問題がないか否か(すなわち、当該プレビュー画像が目的とする画像であるか否か)をユーザに判断させることができる。

0130

ステップS6では、プレビュー画像に問題があるか否かを判断したユーザによる操作を受け付ける。プレビュー画像に問題が無い(すなわち、プレビュー画像が目的とする画像である)と判断したユーザによる所定の入力(例えば、「問題無し」ボタンの押下など)が行われた場合(ステップS6でYES)、ステップS6に進む。他方、プレビュー画像に問題がある(すなわち、プレビュー画像が目的とする画像ではない)と判断したユーザによる所定の入力(例えば、「問題有り」ボタンの押下など)が行われた場合(ステップS6でNO)、ステップS2に戻り、同様の処理を繰り返す。これにより、適切なプレビュー画像が撮像されるまで、視野、および撮像する試料の範囲、露光時間、撮像のための光源の種類などの撮像条件を繰り返し再設定できる。

0131

このように、第2ステージに先立ち、第1ステージの時点でユーザにプレビュー画像を確認させることにより、当該第2ステージにおいて不適切な超解像画像が構築されてしまう可能性を低減できる。従って、対象画像の撮像および超解像画像の構築をやり直す必要が生じる可能性を低下できるので、従来よりも効率的に超解像画像を取得できる。すなわち、超解像画像の取得時間を従来よりも低減することが可能となる。

0132

ステップS7では、プレビュー画像に問題がないことが確認された後に、撮像条件(各撮像パラメータ)が再設定される。具体的には、ステップS6において、プレビュー画像に問題がないことが確認された場合に、ステップS7において、対象画像の撮像に適するように、撮像条件が再設定される。処理部201は、ユーザによる撮像条件設定ボタンの押下に伴い、撮像条件を再設定する。なお、プレビュー画像を取得するためにステップS2の時点で設定された撮像条件を変更せずに、対象画像を取得するための撮像条件として用いる場合には、ステップS7を省略できる。

0133

ステップS8では、再設定された撮像条件下で、対象画像の撮像が実行される。具体的には、撮像部10bは、ユーザによるBT4の押下に伴い、複数の対象画像を撮像する。このように、第1ステージでは、プレビュー画像に基づいて、対象画像の撮像(超解像画像を構築するための撮像)を行う否かの指示を入力する工程が含まれる。撮像部10bは、蛍光色素が明滅している状態において、試料の画像を連続的に撮像する。以下では、連続的に撮像された試料の画像を「連続画像」と記す。この場合、各対象画像は、連続画像を構成する各フレーム画像フレーム)である。蛍光色素が明滅する時間間隔は、数ミリ秒〜数十ミリ秒であるため、連続画像の撮像間隔を、30ミリ秒〜100ミリ秒に設定すればよい。ある1つの蛍光色素分子が発する蛍光を最低1度撮像できればよい。

0134

ステップS9では、撮像部10bは、撮像した対象画像(より厳密には、対象画像のデータ)を記憶部202に保存する。

0135

ステップS10では、超解像画像を構築するか否か(第2ステージに進むか否か)をユーザに判断させる。ユーザが第2ステージに進むことを希望した場合、当該ユーザによって、表示部21に表示された所定のボタン(例:図5のBT2)が押下され(ステップS10でYES)、顕微鏡システム300は、超解像画像を構築するための一連の処理を開始する。すなわち、ステップS11に進む。ステップS11は、第2ステージの各処理を総称的に示す。ステップS11の具体的な処理の内容については、後述する(図10を参照)。BT2は、顕微鏡システム300を第1ステージから第2ステージへと移行させるためのボタンであり、例えば「Process Image」ボタンと称される。

0136

他方、ユーザが第2ステージに進むことを希望しなかった場合、当該ユーザはBT2を押下しない。この場合、第2ステージに進むことなく、当該ユーザの所定の操作に応じて(ステップS10でNO)、第1ステージの処理が終了する。例えば、ユーザによって、カバー開閉ボタンが再び押下された場合、顕微鏡システム300は、遮光位置に位置していた移動部20を開放位置まで移動させる。そして、ユーザは、開放状態となった試料設置部11から試料を取り除く。これにより、第1ステージの処理が終了する。

0137

(第2ステージおける処理の流れ)
図9は、第2ステージにおける表示部21のレイアウトの一例を示す図である。図9に示すように、第2ステージにおける表示部21の表示画面は、第1ステージにおける表示画面と同様に、第1表示領域31および第2表示領域32を備えている。第2ステージにおける表示画面は、第1ステージにおける表示画面とは、異なる各種のボタンが表示されている。

0138

図10は、第2ステージにおける処理の流れを例示するフローチャートである。図10は、図8のステップS10の処理の内容をより具体的に示す。なお、ステップS21に先立ち、表示制御部3は、ユーザによるB2の押下(図8のステップS9)に伴い、表示部21の表示画面を、超解像画像を構築するための解析画面へと変更する。

0139

ステップS21では、超解像画像構築部2は、記憶部202に保存されている対象画像を読み込む。

0140

ステップS22では、表示制御部3は、記憶部202から読み出された対象画像を、第1表示領域31に表示させる。一例として、表示制御部3は、ユーザによる所定のボタン(例:図9のBT5)の操作に伴い、複数の対象画像のうち所定の1つの対象画像を、第1表示領域31に表示させる。ユーザによってBT5が操作されることにより、表示対象とする連続画像のフレーム番号が指定され、指定されたフレーム番号を処理部201が受け付けることができる。例えば、BT5には、連続画像を構成する各フレームを自動的に順次表示させるためのスライダーバー(SL)が含まれている。ユーザは、SLをスライドさせることにより、表示対象とする初期フレーム番号を指定できる。

0141

あるいは、処理部201は、ユーザから、連続画像に含まれる複数の画像フレームを指定した情報を受け付けることもできる。この場合、処理部201は、指定された複数の画像フレームに対し平均化処理を施し、平均化画像を生成してもよい。表示制御部3は、当該平均化画像を、第1表示領域31に表示させてもよい。平均化画像を表示することは一例に過ぎず、表示制御部3は、複数の対象画像を合成することで得られた合成画像を第1表示領域31に表示させてもよい。

0142

なお、第2ステージにおいて、表示部21には、超解像画像の構築条件(超解像画像を構築するための処理条件)を設定するためのボタン(構築条件設定ボタン)(図示せず)が表示されているものとする。従って、ステップS22において、ユーザに構築条件を設定させることができる。処理部201は、ユーザによる構築条件設定ボタンの押下に伴い、各種の構築パラメータを設定する。構築パラメータには、例えば、
・構築範囲(各対象画像における、超解像画像を構築する対象となる範囲(領域))、
・フレーム番号(超解像画像を構築する対象となるフレーム番号の範囲)
が含まれる。但し、構築パラメータは上記の例に限定されず、その他の構築パラメータが設けられてもよい。表示部21には、ユーザに構築条件を設定させるためのダイアログ画面が表示されてよい。

0143

このように、第1表示領域31には、複数の対象画像の少なくとも一部が表示されればよい。あるいは、第1表示領域31には、複数の対象画像を合成することで得られた合成画像が表示されてもよい。上述の平均化処理は、合成処理の一例である。すなわち、上述の平均化画像は、合成画像の一例である。

0144

ステップS23では、ユーザは、第1表示領域31に表示された対象画像を参照し、当該対象画像に問題がないか否かを判断する。ユーザによって対象画像に問題がないと判断され、当該ユーザによる所定の入力(例えば、「問題無し」ボタンの押下など)が行われた場合(ステップS23でYES)、ステップS24に進む。他方、ユーザによって対象画像に問題があると判断され、当該ユーザによる所定の入力(例えば、「問題有り」ボタンの押下など)が行われた場合(ステップS23でNO)、ステップS22に戻り、同様の処理が繰り返される。これにより、適切な対象画像が表示されるまで、構築条件を繰り返し再設定できる。

0145

ステップS23において第1表示領域31に表示されている対象画像は、後のステップS25において構築される超解像画像の表示内容を、大まかに予測するための画像であると言える。このため、超解像画像の構築に先立ち、ユーザに対象画像を確認させることにより、ステップS25において不適切な超解像画像が構築されてしまう可能性を低減できる。従って、超解像画像の構築をやり直す必要が生じる可能性を低下できるので、従来よりも効率的に超解像画像を取得できる。この点からも、超解像画像の取得時間を従来よりも低減することが可能となる。

0146

なお、第1表示領域31に、対象画像の一部、または、合成画像を表示させた場合でああっても、ユーザに対象画像に問題がないか否かの判断を行わせることができる。対象画像の一部および合成画像はいずれも、対象画像と近い表示内容を含んでいるためである。

0147

ユーザにより対象画像に問題がないことが確認された後(ステップS23でYES)、ステップS24では、構築条件(各構築パラメータ)が再設定される。具体的には、ステップS24では、超解像画像の構築に適するように、構築条件が再設定される。処理部201は、ユーザによる構築条件設定ボタンの押下に伴い、構築条件を再設定する。なお、ステップS22の時点で設定された構築条件を変更する必要がない場合には、ステップS24を省略できる。

0148

ステップS25では、再設定された構築条件下で、超解像画像構築処理が実行される。具体的には、超解像画像構築部2は、ユーザによる所定のボタン(例:図8のBT6)の操作に伴い、超解像画像構築処理を開始する。BT6は、超解像画像構築部2に超解像画像構築処理を開始させるためのボタンであり、例えば「解析」ボタンと称される。

0149

ステップS26では、表示制御部3は、超解像画像構築部2によって生成された超解像画像を、第2表示領域32に表示させる。

0150

ステップS27では、ユーザは、第2表示領域32に表示された超解像画像を参照し、当該超解像画像に問題がないか否かを判断する。より具体的には、ユーザは、当該超解像画像を参照し、対象画像を変更する必要があるか否かを判断する。ユーザによって対象画像を変更する必要がないと判断され、当該ユーザによる所定の入力(例えば、「対象画像の変更不要」ボタンの押下など)が行われた場合(ステップS27でNO)、第2ステージの処理が終了する。他方、ユーザによって対象画像を変更する必要があると判断され、当該ユーザによる所定の入力(例えば、「対象画像の変更要」ボタンの押下など)が行われた場合(ステップS27でYES)、ステップS21に戻り、同様の処理が繰り返される。これにより、適切な超解像画像が構築されるまで、対象画像の選択および構築条件の設定を繰り返し行うことができる。

0151

〔変形例〕
図11は、顕微鏡システム300の一変形例を示す機能ブロック図である。図11の顕微鏡システムを顕微鏡システム300Vと称する。顕微鏡システム300Vは、顕微鏡装置100Vを備えている。顕微鏡システム300Vでは、顕微鏡システム300とは異なり、顕微鏡装置100Vと表示部21とが別体(別の装置)として設けられている。つまり、顕微鏡装置100Vは、顕微鏡装置100とは異なり、表示部21を有していない。顕微鏡装置100Vは、表示部21と通信可能に接続されている。このように、本発明の顕微鏡システムにおいて、顕微鏡装置100に表示部21が一体として設けられている必要はない。

0152

〔実施形態2〕
本発明の実施形態2について、以下に説明する。なお、説明の便宜上、実施形態1にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

0153

図12は、顕微鏡システム300における別の処理の流れを示すフローチャートである。図11に示すように、顕微鏡システム300では、通常撮像モード、広視野蛍光イメージングモードおよび複数視野撮像モードの3つのモードを選択可能としてもよい。この場合、処理部201は、どのモードで撮像するかについてのユーザからの指示を、入力部204を介して受け付ける(ステップS30)。

0154

通常撮像モードが選択された場合、ユーザからの指示に基づいて設定された領域を1視野として超解像画像取得のための撮像が行われる(ステップS70)。

0155

図13は、広視野蛍光イメージングモードにおける処理の流れの一例を示すフローチャートである。図12のステップS30において広視野蛍光イメージングモードが選択された場合、図13の一連の処理が行われる(図12のステップS40)。

0156

広視野蛍光イメージングモードは、通常の顕微鏡で搭載されているズーム機能を複数視野撮像することで実現する機能である。図12に示すように、広視野蛍光イメージングモードでは、制御装置200は、ユーザが決定した視野数の入力を受け付ける(ステップS41)。視野数として、例えば、10×10、5×5、2×2、1等を設定することができる。視野数が増えるほど、撮像できる範囲が拡大される。

0157

ユーザからの撮像開始指示の入力を受け付けると(ステップS42)、撮像制御部4は、ステージ11aを移動させることによって、設定された各位置に視野を移動させながら、撮像部10bを制御することによって蛍光画像を撮像する(ステップS43)。すなわち、撮像制御部4は、撮像部10bの撮像位置を移動させながら所定の数の蛍光画像を撮像する。表示制御部3は、各視野における所定の数の蛍光画像を用いて、広視野の蛍光画像を生成する。

0158

図14は、視野の移動方法の一例を示す図である。図14の(a)および(b)では、5×5に設定された視野を移動する場合の例を示している。図14の(a)に示すように、横方向に視野を移動させてもよい。図14の(b)に示すように、縦方向に視野を移動させてもよい。視野の移動順序は、これらの例に限定されず、任意である。例えば、円状に視野を移動させてもよいし、各視野を飛び飛びに移動させてもよい。

0159

撮像が終了すると、表示制御部3は、各視野のプレビュー画像を繋ぎ合わせた広視野の蛍光画像を表示部21に表示する(ステップS44)。

0160

図15は、複数視野のプレビュー画像が表示される画面の一例を示す図である。図15に示すように、広視野の蛍光画像は、ポップアップ領域310に表示される。図15では、視野が5×5の場合の例を示している。各視野の蛍光画像310aには、連番が表示されてもよい。当該連番の表示は、表示と非表示とを切り替え可能であってもよい。ユーザから各視野の蛍光画像310aを指定した情報を受け付けることにより、表示制御部3は、当該蛍光画像310aを拡大表示する。例えば、ユーザがダブルクリックすることにより当該蛍光画像310aが拡大表示される。なお、広視野の蛍光画像を、ポップアップ領域310および第1表示領域31の両方に表示させてもよい。あるいは、広視野の蛍光画像を、第1表示領域31のみに表示させてもよい。

0161

ステップS45では、処理部201は、広視野の蛍光画像上で、超解像画像構築のための撮像(以下、超解像撮像と略称する)を行う視野の指定を受け付ける。視野の指定を受け付けることにより、超解像撮像によって撮像される領域が指定される。具体的には、表示制御部3は、視野の指定の入力を受け付けるためのGUIを表示部21に表示させる。このGUIには、蛍光画像310aが含まれている。例えば、ステップS45において、ユーザは、複数の視野のうち、超解像撮像を行う視野に対応する蛍光画像310aをクリックすることによって、所望の視野を指定することができる。なお、ステップS45において、超解像画像構築の対象としない視野の指定を受け付ける構成であってもよい。

0162

ユーザから、超解像撮像を行う領域を示す情報を受け付けた後、撮像開始指示を受け付けると(ステップS46)、撮像制御部4は、設定された各位置に視野を移動させながら、撮像部10bを制御することによって超解像撮像を行う(ステップS47)。

0163

表示制御部3は、超解像撮像によって得られた画像を記憶部202に保存する。表示制御部3は、当該画像を例えばポップアップ領域310に表示させてもよい(ステップS48)。

0164

このように、複数の視野のうち、超解像画像の構築に適した視野についてのみ超解像撮像を行うことにより、撮像時間を低減できる。加えて、その後の超解像画像構築の処理時間を低減することもできる。

0165

図16は、複数視野撮像モードにおける処理の流れの一例を示すフローチャートである。図12のステップS30において複数視野撮像モードが選択された場合、図16の一連の処理が行われる(図12のステップS50)。

0166

複数視野撮像モードは、あらかじめ指定した範囲について連続で各視野でのタイリング用画像のための撮像と超解像撮像とを実行するためのモードである。ユーザは、ステージ11aを動かす回数や間隔、移動方向と超解像撮像の実行条件などを設定することで、複数視野での撮像を自動実行することができる。

0167

図16に示すように、複数視野撮像モードでは、まず、ユーザは、視野に関する条件を設定する(ステップS51)。撮像制御部4は、設定された条件を示す情報を受け付ける。当該条件には、ステージ11aの移動方向および移動回数(視野数)、後述する蛍光強度閾値等が含まれる。ステージ11aの移動方向については、図14に示したものがその一例として挙げられる。

0168

ユーザからの撮像開始指示の入力を受け付けると(ステップS52)、撮像制御部4は、ステージ11aを移動させることによって、設定された各位置に視野を移動させながら、撮像部10bを制御することによって蛍光画像を撮像する(ステップS53)。

0169

このとき、撮像制御部4は、撮像した蛍光画像中の蛍光強度の最大値と蛍光強度閾値とを比較する(ステップS54)。例えば、撮像制御部4は、所定の数の蛍光画像のそれぞれについて、蛍光強度の最大値を求め、求めた最大値を平均することで、蛍光強度閾値と比較する最大値を算出してもよい。蛍光画像中の蛍光強度の最大値が、蛍光強度閾値より大きい場合(ステップS54でYES)、撮像制御部4は、当該視野に対し超解像撮像を実行する(ステップS55)。すなわち、撮像制御部4は、撮像部10bの撮像視野を移しながら各視野で蛍光強度を検出し、所定の閾値より大きい蛍光強度が検出された撮像視野において、超解像画像を構築するための複数の画像を撮像する。超解像撮像が完了すると、撮像制御部4は、撮像対象となる視野を次の視野に移動させる(ステップS56)。そして、撮像制御部4は、撮像対象となる視野が、最後の視野か否かを判定する(ステップS58)。

0170

一方、蛍光画像中の蛍光強度の最大値が、蛍光強度閾値以下の場合(ステップS54でNO)、撮像制御部4は、当該視野に対し超解像撮像を実行することなく、次の視野に移動する(ステップS57)。

0171

このようにして設定された全ての視野について、ユーザにより超解像撮像の適否が判定された後(ステップS58でYES)、表示制御部3は、超解像撮像によって得られた画像を記憶部202に保存する。表示制御部3は、当該画像を例えばポップアップ領域310に表示させてもよい(ステップS59)。

0172

このように、複数の視野のうち、蛍光画像中の蛍光強度の最大値が、蛍光強度閾値よりも大きい視野についてのみ超解像撮像を行うことにより、撮像時間を低減できる。加えて、その後の超解像画像構築の処理時間を低減することもできる。

0173

なお、ユーザは、通常モードにおいてプレビュー画像を確認することによって、当該試料を超解像撮像の対象とするかどうかについて判断した後、広視野蛍光イメージングモードまたは複数視野撮像モード、若しくはその両方を実行してもよい。このようにすることで、超解像撮像の対象とする試料および視野をより効率的に特定することができる。

0174

付記事項
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

0175

1プレビュー画像生成部
2超解像画像構築部
3表示制御部
4撮像制御部
10b撮像部
11試料設置部
20 移動部
21 表示部
31 第1表示領域
310a蛍光画像
32 第2表示領域
41、42、43ライブ画像(第1の画像)
44プレビュー画像(第2の画像)
51、52、53対象画像(第3の画像)
54 超解像画像
100顕微鏡装置
200制御装置
300 顕微鏡システム

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 株式会社トヨタプロダクションエンジニアリングの「 応力発光量推定検出方法」が 公開されました。( 2020/06/04)

    【課題】励起光の照射が連続して行われ、励起光と、蛍光、燐光の混在が不可避な条件下で各光を分離して検出することにより、所望の応力発光量を推定する方法を提供する。【解決手段】予め応力発光塗料が塗布された検... 詳細

  • 東都フォルダー工業株式会社の「 柄を有するシート材の画像処理装置」が 公開されました。( 2020/06/04)

    【課題】新品の場合だけでなく洗濯物等の場合にも柄を判定できる、シート材の画像処理装置を提供する。【解決手段】シート材の画像処理装置は、柄を有するシート材を搬送する搬送部と、搬送部によって搬送されてきた... 詳細

  • キヤノン株式会社の「 判別装置及び画像形成装置」が 公開されました。( 2020/06/04)

    【課題】単純な構成で判別精度の低下を抑制することができる判別装置を提供する。【解決手段】本発明に係る判別装置は、被照射面からの光線を受光する受光部と、光源部からの光線を被照射面に導光する曲面を含む照明... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ