図面 (/)

技術 構造化照明顕微鏡システム、方法及びプログラム

出願人 株式会社ニコン
発明者 大内由美子
出願日 2015年6月8日 (5年5ヶ月経過) 出願番号 2017-522754
公開日 2018年2月22日 (2年8ヶ月経過) 公開番号 WO2016-199179
状態 特許登録済
技術分野 顕微鏡、コンデンサー 蛍光または発光による材料の調査,分析
主要キーワード 変位パターン 光路間隔 間隔調整量 復調演算 規格化強度 並進機構 間隔調整機構 ズーム調整機構
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2018年2月22日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題・解決手段

深部観察高性能化するために、本発明を例示する構造化照明顕微鏡ステムは、試料に含まれる蛍光物質励起するための励起光を、干渉縞で前記試料に照射する照明光学系と、前記干渉縞の方向、位相および空間周波数を制御する制御部と、前記干渉縞が照射されて変調された前記試料の像を形成する結像光学系と、前記結像光学系が形成した像を撮像する撮像素子と、前記撮像素子により撮像された画像を複数用いて復調処理を行う復調部と、を備える構造化照明顕微鏡システムであって、前記制御部は、前記干渉縞の照射位置に応じて、前記干渉縞の空間周波数を制御する。

概要

背景

生体細胞などの標本の観察に超解像顕微鏡が有効である。超解像顕微鏡の一種である構造化照明顕微鏡SIM:Structured Illumination Microscopy)は、干渉縞で標本を照明することにより、空間周波数の高い微細構造の情報を対物レンズの像側へと伝達できる周波数変調させる技術である(特許文献1などを参照)。

しかしながら、SIMで生成される標本深部超解像画像は、標本表面の超解像画像よりも画質が悪い傾向にあることが判明した。

概要

深部観察高性能化するために、本発明を例示する構造化照明顕微鏡システムは、試料に含まれる蛍光物質励起するための励起光を、干渉縞で前記試料に照射する照明光学系と、前記干渉縞の方向、位相および空間周波数を制御する制御部と、前記干渉縞が照射されて変調された前記試料の像を形成する結像光学系と、前記結像光学系が形成した像を撮像する撮像素子と、前記撮像素子により撮像された画像を複数用いて復調処理を行う復調部と、を備える構造化照明顕微鏡システムであって、前記制御部は、前記干渉縞の照射位置に応じて、前記干渉縞の空間周波数を制御する。

目的

本発明の目的は、構造化照明顕微鏡の深部観察を高性能化することにある

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

試料に含まれる蛍光物質励起するための励起光を、干渉縞で前記試料に照射する照明光学系と、前記干渉縞の方向、位相および空間周波数を制御する制御部と、前記干渉縞が照射されて変調された前記試料の像を形成する結像光学系と、前記結像光学系が形成した像を撮像する撮像素子と、前記撮像素子により撮像された画像を複数用いて復調処理を行う復調部と、を備える構造化照明顕微鏡ステムであって、前記制御部は、前記干渉縞の照射位置に応じて、前記干渉縞の空間周波数を制御することを特徴とする構造化照明顕微鏡システム。

請求項2

前記制御部は、前記試料の深さ方向における前記干渉縞の照射位置に応じて、前記干渉縞の空間周波数を制御することを特徴とする請求項1に記載の構造化照明顕微鏡システム。

請求項3

前記深さ方向は、前記照明光学系の光軸方向であることを特徴とする請求項2に記載の構造化照明顕微鏡システム。

請求項4

前記照明光学系は、対物レンズを含み、前記制御部は、前記対物レンズの前記試料に対する焦点位置を制御することにより、干渉縞の照射位置を制御することを特徴とする請求項1〜3のいずれか1項に記載の構造化照明顕微鏡システム。

請求項5

前記制御部は、前記対物レンズの焦点位置を、光軸方向に沿って変更し、少なくとも異なる2つの焦点位置において、前記干渉縞の空間周波数が互いに異なるように制御することを特徴とする請求項4に記載の構造化照明顕微鏡システム。

請求項6

前記制御部は、第1の焦点位置における干渉縞の空間周波数が、第1の焦点位置より前記対物レンズ側に位置する第2の焦点位置における干渉縞の空間周波数よりも小さくなるように制御することを特徴とする請求項4または請求項5に記載の構造化照明顕微鏡システム。

請求項7

前記制御部は、前記照明光学系の光軸方向に対応する前記試料の深さ方向において、前記焦点位置を変更し、第1の焦点位置における干渉縞の空間周波数が、前記第1の焦点位置と比べて前記試料の深い位置に対応する第2の焦点位置における干渉縞の空間周波数よりも小さくなるように制御することを特徴とする請求項4〜6のいずれか1項に記載の構造化照明顕微鏡システム。

請求項8

前記制御部は、前記照明光学系の光軸方向に対応する前記試料の深さ方向において、前記焦点位置を所定方向に所定量ずつ移動させ、前記撮像素子は、各々の前記焦点位置で前記結像光学系が形成した像を撮像することを特徴とする請求項4〜7のいずれか1項に記載の構造化照明顕微鏡システム。

請求項9

前記復調部は、前記撮像素子により撮像された前記画像を、前記干渉縞の空間周波数または前記試料の深さ方向における前記干渉縞の照射位置に基づき分類し、分類したグループに属する複数の画像を用いて復調処理を行うことを特徴とする請求項1〜8のいずれか1項に記載の構造化照明顕微鏡システム。

請求項10

試料に含まれる蛍光物質を励起するための励起光を、干渉縞で前記試料に照射し、前記干渉縞の方向、位相および空間周波数を制御し、前記干渉縞が照射されて変調された前記試料の像を撮像し、前記撮像された画像を複数用いて復調処理を行い、前記干渉縞の照射位置に応じて、前記干渉縞の空間周波数を制御することを特徴とする方法。

請求項11

干渉縞が照射されて変調された試料の像を撮像して復調処理を行う構造化照明顕微鏡システムにおいて、コンピュータに、前記干渉縞の照射位置に応じて、前記干渉縞の空間周波数を制御する処理を実行させるプログラム

技術分野

0001

本発明は、構造化照明顕微鏡ステム、方法及びプログラムに関する。

背景技術

0002

生体細胞などの標本の観察に超解像顕微鏡が有効である。超解像顕微鏡の一種である構造化照明顕微鏡(SIM:Structured Illumination Microscopy)は、干渉縞で標本を照明することにより、空間周波数の高い微細構造の情報を対物レンズの像側へと伝達できる周波数変調させる技術である(特許文献1などを参照)。

0003

しかしながら、SIMで生成される標本深部超解像画像は、標本表面の超解像画像よりも画質が悪い傾向にあることが判明した。

先行技術

0004

米国発行特許発明第6239909号明細書

発明が解決しようとする課題

0005

本発明の目的は、構造化照明顕微鏡の深部観察高性能化することにある。

課題を解決するための手段

0006

本発明を例示する構造化照明顕微鏡システムは、試料に含まれる蛍光物質励起するための励起光を、干渉縞で前記試料に照射する照明光学系と、前記干渉縞の方向、位相および空間周波数を制御する制御部と、前記干渉縞が照射されて変調された前記試料の像を形成する結像光学系と、前記結像光学系が形成した像を撮像する撮像素子と、前記撮像素子により撮像された画像を複数用いて復調処理を行う復調部と、を備える構造化照明顕微鏡システムであって、前記制御部は、前記干渉縞の照射位置に応じて、前記干渉縞の空間周波数を制御する。

0007

本発明を例示する方法は、試料に含まれる蛍光物質を励起するための励起光を、干渉縞で前記試料に照射し、前記干渉縞の方向、位相および空間周波数を制御し、前記干渉縞が照射されて変調された前記試料の像を撮像し、前記撮像された画像を複数用いて復調処理を行い、前記干渉縞の照射位置に応じて、前記干渉縞の空間周波数を制御する。

0008

本発明を例示するプログラムは、干渉縞が照射されて変調された試料の像を撮像して復調処理を行う構造化照明顕微鏡システムにおいて、コンピュータに、前記干渉縞の照射位置に応じて、前記干渉縞の空間周波数を制御する処理を実行させる。

図面の簡単な説明

0009

第1実施形態における2D−SIM1の構成図である。
SLM13を説明する図である。
セルを説明する図である。
光束選択部100の構成例を示す図である。
図4に示す要素での偏光の状態を示す図である。
マスク18の例を示す図である。
対物レンズ6と標本5との関係を説明する図である。
結像光学系30のMTF観察対象面の深さ毎に示す図である。
観察対象面Pの深さと干渉縞の空間周波数の適正値との関係を示す図である(水使用時)。
観察対象面Pの深さと干渉縞の空間周波数の適正値との関係を示す図である(封入剤使用時)。
2D−SIM1の動作フローチャートである。
比較例における2D−SIMの性能を示す図である。
本実施形態における2D−SIM1の性能を示す図である。
観察対象面の深さに対する干渉縞の空間周波数の変化パターンである。
観察対象面の深さに対する干渉縞の空間周波数の変化パターンを滑らかな曲線状とした例である。
観察対象面の深さに対する干渉縞の空間周波数の変化パターンを直線状とした例である
観察対象面の深さが所定値より小さいときに干渉縞の空間周波数を固定した例である。
観察対象面の深さに対する干渉縞の空間周波数の変化パターンをユーザがリアルタイムで指定する例である。
間隔調整部を説明する図である。
倍機能付きリレーレンズを説明する図である。
第2実施形態における2D−SIM1’の構成図である。
第3実施形態における2D−SIM1’’の構成図である。
SLM13のユニットセルを示す図である。

実施例

0010

[第1実施形態]
以下、本発明の第1実施形態として2光束干渉を利用した構造化照明顕微鏡(2D−SIM:Two-Dimensional Structured Illumination Microscopy)システムを説明する。なお、以下の説明では、構造化照明顕微鏡システムを単に2D−SIMと称することもある。

0011

図1は2D−SIM1(構造化照明顕微鏡システム1)の構成図である。図1に示すとおり2D−SIM1には、光ファイバ11と、照明光学系10と、結像光学系30と、撮像素子35と、制御装置39と、画像記憶演算装置40と、画像表示装置45と、ステージ50と、標本5とが配置される。

0012

光ファイバ11は、不図示の可干渉光源と照明光学系10との間でレーザ光中継する例えば偏波面保存型のシングルモードファイバである。可干渉光源としては、波長の異なる複数種類のレーザ光を出射可能なレーザユニットなどを使用することが可能であるが、ここでは簡単のため、可干渉光源の出射するレーザ光の波長を1種類のみと仮定する。

0013

照明光学系10は、ステージ50に載置された標本5をレーザ光で照明する例えば落射型照明光学系である。照明光学系10には、コレクタレンズ12と、偏光板23と、偏光ビームスプリッタPBS)14と、回折格子13と、集光レンズ16と、光束選択部100と、集光レンズ25と、視野絞り26と、フィールドレンズ27と、励起フィルタ28と、ダイクロイックミラー7と、対物レンズ6とが配置される。

0014

照明光学系10の回折格子13は、例えば反射型液晶SLMである。ここでは回折格子13を反射型液晶SLMであると仮定して「SLM13」と称する。SLM13には液晶駆動回路であるドライバ13Aが接続される。

0015

結像光学系30は、撮像素子35の撮像面36に標本5の像を形成する結像光学系である。結像光学系30には、対物レンズ6と、ダイクロイックミラー7と、バリアフィルタ31と、第2対物レンズ32とが配置されている。結像光学系30の対物レンズ6及びダイクロイックミラー7は、照明光学系10に兼用される。

0016

なお、対物レンズ6は、例えば油浸型などの液浸型対物レンズであり、標本5は、例えば数μmから数十μmの厚さを有した培養細胞組織切片などの生体標本である。

0017

ここでは、後述する図7(A)に示すとおり、平行平板状のカバーガラス5gと、カバーガラス5gの表面に滴下された培養液5cとによって標本5が構成されていると仮定する。培養液5cの内部では生体細胞が培養されており、生体細胞の内部には蛍光物質が発現している。前述した可干渉光源の波長は、蛍光物質の励起波長と同じ値に設定されている。なお、図7(A)の符号6iは、浸液(油)である。

0018

図1戻り、撮像素子35は、CCDやCMOS等の二次元撮像素子であって、撮像面36に形成された像を撮像して画像(後述する変調画像)を生成する。撮像素子35が生成した画像は、制御装置39を介して画像記憶・演算装置40へ取り込まれる。

0019

ステージ50は、標本5を支持し、対物レンズ6の光軸AZに沿って標本5を移動させることにより、対物レンズ6と標本5との間隔を調節する。これによって、標本5における対物レンズ6の焦点面Pの深さが調節される(図7(A)、(B)を参照。)。なお、焦点面Pは、2D−SIM1の観察対象面である。以下、対物レンズ6の焦点面Pを「観察対象面P」と称す。

0020

制御装置39は、ドライバ13Aおよび光束選択部100、撮像素子35、ステージ50、不図示の可干渉光源を制御し、超解像に必要な複数枚の変調画像を取得する。

0021

画像記憶・演算装置40は、制御装置39が取得した複数枚の変調画像に基づき超解像画像を作成し、不図示の表示装置へ表示する。

0022

次に、2D−SIM1における光の振る舞いを説明する。

0023

不図示の可干渉光源から射出したレーザ光は、光ファイバ11の内部を伝播した後、光ファイバ11の出射端点光源を形成し、点光源から発散光束となって射出する。発散光束は、コレクタレンズ12によって平行光束に変換された後、偏光板23を通過することにより偏光方向を整える。偏光方向の整えられた平行光束は、PBS14へ入射すると、PBS14の偏光分離面反射し、SLM13へ正面から入射する。

0024

なお、偏光板23の軸は、偏光板23からPBS14の偏光分離面へ向かう平行光束がS偏光となるように設定されている。よって、PBS14の偏光分離面へ向かった平行光束が高い効率でSLM13へ導光される。

0025

SLM13へ入射した平行光束は、SLM13にて回折反射し、角度の異なる複数の回折光束分岐される。図1では、複数の回折光束のうち、0次回折光束、1次回折光束、−1次回折光束の3光束のみを描いた。

0026

SLM13から射出した複数の回折光束は、PBS14へ入射した後、PBS14の偏光分離面を透過すると、互いに異なる角度で集光レンズ16に入射する。

0027

集光レンズ16に入射した複数の回折光束は、集光レンズ16の集光作用を受け、瞳共役面6A’の互いに異なる位置に向かって集光する。

0028

なお、瞳共役面6A’は、フィールドレンズ27及び集光レンズ25に関して対物レンズ6の瞳面6Aと共役な面である。ここでいう「共役な面」には、当業者が対物レンズ6、フィールドレンズ27、集光レンズ25などの収差ビネッティング等の設計上必要な事項を考慮して決定した面も含まれる。

0029

ここで、集光レンズ16を介して瞳共役面6A’に向かう複数の回折光束は、光束選択部100に入射する。2D−SIM1の場合、光束選択部100は、受けた回折光束のうち±1次回折光束を通過させ、0次回折光束及び2次以上の高次回折光束を遮光する。なお、光束選択部100の構成例については図4で説明する。

0030

光束選択部100を通過した±1次回折光束は、レンズ25の集光作用を受けると、互いに異なる角度で像共役面へ入射し、像共役面にSLM13の一次像を形成する。

0031

なお、像共役面は、対物レンズ6及びフィールドレンズ27に関して対物レンズ6の焦点面(=観察対象面P)と共役な面である。因みに、この像共役面には、視野絞り26が配置される。

0032

像共役面から射出した±1次回折光束の各々は、フィールドレンズ27によって収束光束へと変換され、励起フィルタ28を経てからダイクロイックミラー7で反射し、対物レンズ6の瞳面6Aの互いに異なる位置に向かって集光する。

0033

瞳面6Aから発散光束となって射出した±1次回折光束の各々は、対物レンズ6の先端から平行光束となって射出し、対物レンズ6の焦点面(=観察対象面P)へ所定の角度関係で入射し、ストライプ状の干渉縞を形成する。

0034

この干渉縞は、集光レンズ16、集光レンズ25、フィールドレンズ27、対物レンズ6によるSLM13の二次像に相当する。つまり、集光レンズ16、集光レンズ25、フィールドレンズ27、対物レンズ6の全体には、SLM13の像を観察対象面Pへ投影する「投影光学系」の機能がある。

0035

観察対象面Pに投影された干渉縞には、観察対象面Pにおける蛍光物質の密度分布が有する空間周波数を、干渉縞の空間周波数Kの大きさだけ低い周波数へとシフトさせ、蛍光物質の微細構造情報を対物レンズ6の像側へ伝達させるという働きがある。

0036

観察対象面Pの各位置で発生した蛍光は、対物レンズ6の先端へ入射すると、平行光束となって射出し、ダイクロイックミラー7、バリアフィルタ31を介して第2対物レンズ32へ入射する。

0037

第2対物レンズ32へ入射した平行光束は、第2対物レンズ32の集光作用を受け、撮像素子35の撮像面36上に観察対象面Pの蛍光像を形成する。

0038

この蛍光像は、干渉縞パターンにより変調された変調像である。

0039

撮像面36上の蛍光像は、撮像素子35によって画像化される。但し、この画像化で得られる画像は、干渉縞パターンの重畳された「変調画像」である。よって、この変調画像は、制御装置39を介して画像記憶・演算装置40へと取り込まれ、画像記憶・演算装置40において復調演算が施される(例えば、米国特許8115806号明細書に記載の復調演算)。この復調演算の結果、観察対象面Pの蛍光超解像画像が生成される。この蛍光超解像画像は、画像記憶・演算装置40の内部メモリ(図示せず)に記憶されるとともに、画像表示装置45へ表示される。

0040

なお、以上の2D−SIM1において、励起フィルタ28には、レーザ光と同じ波長の光を透過し、蛍光と同じ波長の光を遮光する機能がある。また、ダイクロイックミラー7には、レーザ光と同じ波長の光を反射し、蛍光と同じ波長の光を透過する機能がある。また、バリアフィルタ31には、蛍光と同じ波長の光を透過し、他の波長の光(漏れ光)を遮光する機能がある。

0041

次に、回折格子としてのSLM13を説明する。

0042

図2に示すとおりSLM13は、多数の反射型液晶セルを二次元に配列している。但し、図2では、セルの配列数を実際より少なく描いている。各セルの液晶は、例えば強誘電体液晶であり、図2中の楕円は、SLM13の正面から見た液晶分子を模式的に表している。

0043

SLM13のセルがオンオフされると、セル内の液晶分子が基準軸周りを回転する。基準軸は、オンされたセル(図3(A))における液晶分子の方向とオフされたセル(図3(B))における液晶分子の方向との中間方向を示す軸のことである。

0044

オンされたセルにおける液晶分子の方向(楕円の長手方向)は、図3(A)に示すとおり基準軸から角度αだけ回転している。一方、オフされたセルにおける液晶分子の方向は、図3(B)に示すとおり基準軸から角度−αだけ回転している。この角度αは、液晶の種類によって一義的に決まる角度である。

0045

これらのオンされたセルとオフされたセルとの各々には、セル内の液晶分子と同じ方向に進相軸を向けた1/2波長板と同じ機能がある。1/2波長板の進相軸とは、位相遅延量が最小となる入射光の偏光方向を示す軸のことである。

0046

よって、図2に示すとおりオンされたセルとオフされたセルとが一方向に亘って周期配列されたパターン、つまり一次元の格子パターンをSLM13へ表示すれば、SLM13を一次元回折格子として使用することが可能となる。

0047

ここで、SLM13に対する入射光の偏光方向は、SLM13の基準軸に一致していると仮定する。この場合、SLM13は「位相差4αの位相回折格子」として機能する。

0048

例えば、角度αが45°であるならば、オンされたセルは、入射光の偏光方向を2×α=+90°だけ回転させ、オフされたセルは、入射光の偏光方向を2×(−α)=−90°だけ回転させるので、オンされたセルが入射光に与える位相遅延量と、オフされたセルが入射光に与える位相遅延量との差は、4α=180°=πradとなる。よって、この場合、SLM13は「位相差πの位相回折格子」として機能する。

0049

上記のように構成されたSLM13は、0次回折光束の強度をゼロとするので、0次回折光束が不要な2D−SIM1にとって好適である。

0050

次に、SLM13のドライバ13Aを説明する。

0051

ドライバ13Aは、SLM13に配列された個々のセルをオン/オフすることにより、SLM13に表示される格子パターンを次のとおり切り替える。

0052

例えば、ドライバ13Aは、SLM13に表示される格子パターンの格子ピッチを切り替えることにより、干渉縞の空間周波数を切り替える。

0053

また、ドライバ13Aは、SLM13に表示される格子パターンの方向を切り替えることにより、干渉縞の方向を切り替える。

0054

また、ドライバ13Aは、SLM13に表示される格子パターンの位相をシフトさせることにより、干渉縞の位相をシフトさせる。

0055

なお、以上の説明では、SLM13の液晶に固有の角度αを45°としたが、液晶に固有の角度αは45°未満であっても構わない。角度αが45°未満である場合は、SLM13で発生する0次回折光束の強度がゼロにはならないものの、その他の点は、角度αが45°の場合と同様である。

0056

次に、図1に示す光束選択部100について説明する。光束選択部100には、観察対象面Pへ入射する光束を選択する機能と、観察対象面Pへ入射する±1次回折光束の偏光状態をS偏光に維持する機能がある。観察対象面Pへ入射する±1次回折光束をS偏光とするためには、観察対象面Pへ向かう±1次回折光束の偏光方向を、±1次回折光束の分岐方向に直交させればよい。

0057

但し、本実施形態では、干渉縞の方向切り替えのためにSLM13の格子パターンの方向が切り替わる。このとき、±1次回折光束の分岐方向も切り替わる。よって、光束選択部100は、この切り替えに対応する必要がある。

0058

図4は、光束選択部100の構成例を示す図である。なお、図4では、SLM13およびPBS14を光束選択部100の入射側にそれぞれ示す一方で、光束選択部100の入射側に配置される集光レンズ16の図示は省略している。

0059

光束選択部100は、入射側から順に、1/2波長板101、セグメント波長板17、固定偏光板102、液晶1/2波長板103,104を有している。

0060

1/2波長板101は、光の進行方向から見て進相軸が水平から37.5°回転した方向となるように配置される。

0061

セグメント波長板17は、例えば透過型の液晶SLMである。セグメント波長板17を透過型液晶SLMであると仮定して「SLM17」と称す。SLM17には液晶駆動回路であるドライバ17Aが接続される。

0062

SLM17は、透過型液晶SLMであり、ドライバ17Aによりそれぞれオン/オフの制御が可能な複数のセルを有している。例えば、SLM17は、中央部に配置される円形状のセルと、この円形状のセルの外周に配置され、リング状の領域を円周方向に分割して形成された6つのセルとを有している。SLM17のドライバ17Aは、SLM17の個々のセルがあらかじめ設定された進相軸の方向で1/2波長板として機能するか否かを、個々のセルに与えるべき駆動信号の値によって制御できる。

0063

SLM17においてオンの状態のセルは、光の進行方向から見て進相軸が水平から30°となる1/2波長板として機能する。また、SLM17においてオフの状態のセルは偏光制御機能がなく、入射したときの偏光状態が保存されたまま光が透過する。

0064

固定偏光板102は、光の進行方向から見て偏光方向が水平から75°となるように配置されている。

0065

液晶1/2波長板103は、液晶駆動回路であるドライバ103Aによりオン/オフが制御される。液晶1/2波長板103は、オンの状態のときに光の進行方向から見て進相軸が水平から15°回転した方向に設定された1/2波長板として機能する。また、液晶1/2波長板103は、オフの状態のときには偏光制御機能がなく、入射したときの偏光状態が保存されたまま光が透過する。

0066

液晶1/2波長板104は、液晶駆動回路であるドライバ104Aによりオン/オフが制御される。液晶1/2波長板104は、オンの状態のときに光の進行方向から見て進相軸が水平から45°回転した方向に設定された1/2波長板として機能する。また、液晶1/2波長板104は、オフの状態のときには偏光制御機能がなく、入射したときの偏光状態が保存されたまま光が透過する。

0067

なお、ドライバ17A、103A、104Aは、それぞれ制御装置39により制御される。

0068

また、図5は、図4に示す要素での偏光の状態を示す図である。図4および図5では、一例として、構造化照明45°であるときの偏光の状態を示している。

0069

なお、図4図5において各要素に付与した矢印のうち矢じりを黒く塗りつぶしたものは、各要素に入射及び射出する光の偏光方向を示している。図4図5の矢印のうち矢じりを塗りつぶしていないものは素子の軸方向を示している。また、図4図5では各要素を模式的に示しているので実際と同じとは限らない。

0070

先ず、PBS14から射出した±1次回折光束の偏光方向は、PBS14の偏光分離面を透過できる光の偏光方向であるので、±1次回折光束の分岐方向の切り替えに拘わらず不変である。

0071

±1次回折光束の分岐方向が45°であるとき、光束選択部100は、入射した±1次回折光束の偏光方向を、分岐方向の45°と直交する方向(−45°の直線偏光)へと変換する必要がある。そのために、まず固定の1/2波長板101で偏光方向を所定の方向に回転する。ここではPBS14の透過後の偏光方向を水平0°とし、1/2波長板101の進相軸を光の進行方向から見て水平から37.5°回転した方向に配置する。すると偏光方向を同75°に回転することができる(図5(b))。

0072

続いて、制御装置39は、ドライバ17Aを介して、SLM17のセルのうち分岐方向45°の±1次回折光束が入射するセルをオフとし、それ以外のセルをオンとする制御を行う。SLM17のオンのセルは光の進行方向から見て進相軸が水平から30°を回転した方向に設定された1/2波長板として機能し、SLM17のオフのセルは偏光制御機能がなく、入射したときの偏光状態が保存されたまま光が透過する。その結果、SLM17の後の偏光状態は、分岐方向45°の±1次回折光束が入射する領域(SLM17のオフのセル)を通った光は、光の進行方向から見て水平から75°の直線偏光のままであり、それ以外の領域(SLM17のオンのセル)を通過する光は光の進行方向から見て水平から−15°の直線偏光に変換される(図5(c))。

0073

SLM17を透過した光は固定偏光板102に入射する。このとき、SLM17のオンのセルを通過する光は光の進行方向から見て水平から−15°の直線偏光に変換されるため、偏光方向が75°の固定偏光板102で遮断される(図5(d)上段)。一方、SLM17のオフのセルを通った光は、光の進行方向から見て水平から75°の直線偏光であるので、偏光方向が75°の固定偏光板102をそのまま透過する(図5(d)下段)。

0074

そして、制御装置39は、ドライバ103Aを介して、液晶1/2波長板103をオンにする制御を行う。また、制御装置39は、ドライバ104Aを介して、液晶1/2波長板104をオフにする制御を行う。

0075

液晶1/2波長板103は、オンにすることで光の進行方向から見て進相軸が水平から15°回転した方向に設定された1/2波長板として機能する。SLM17のオフのセルを通過した分岐方向45°の±1次回折光は、光の進行方向から見て水平から75°の直線偏光であったが、15°に進相軸をもつ液晶1/2波長板103によって光の進行方向から見て水平から−45°の直線偏光に変換される(図5(e))。また、液晶1/2波長板104はオフであるので、偏光状態が保存されたまま液晶1/2波長板104を光が透過する。このように、PBS14から射出した±1次回折光束は、光束選択部100を通過した後は、分岐方向45°に直交した−45°の偏光状態に変換される。

0076

なお、光束選択部100において、±1次回折光束の分岐方向を変化させる場合には、制御装置39により、SLM17のセルのオン/オフと、液晶1/2波長板103のオン/オフおよび液晶1/2波長板104のオン/オフを適宜切り替えればよい。

0077

なお、図4に示す光束選択部100において、SLM13のピクセル構造などに起因して発生したノイズ回折光の通過を抑制するために、SLM17の各セルに対応する開口を備えたマスク18を光束選択部100の光路に挿入してもよい。マスク18は、例えば、必要な回折光の入射領域にのみ開口部(孔)を形成した黒色の薄いマスク基板である。或いは、マスク18は、例えば、必要な回折光の入射領域に透過セルを配置し、かつ不要な回折光の入射領域に不透明セルを配置した液晶素子であってもよい。図6は、光束選択部100に挿入されるマスク18の例を示す図である。例えば、図6(a)は、後述のように0次回折光と±1次回折光とを通過させる場合の3光束用マスク18のパターン例を示し、図6(b)は、±1次回折光を通過させる場合の2光束用のマスク18のパターン例を示す。なお、図6において、マスク18の黒い部分は遮光領域を示す。

0078

次に、観察対象面Pの深さ調節について説明する。

0079

通常、2D−SIM1の超解像効果は、干渉縞の空間周波数が高いほど高まるので、従来の2D−SIMにおける干渉縞の空間周波数は、対物レンズ6が伝達可能な空間周波数の上限値(光学的なカットオフ周波数)の近くに設定されていた。しかしながら、観察対象面Pの深さを調節すると、主に以下の2つの問題が発生する。

0080

第1の問題は、次のとおりである。すなわち、図7(A)に示すとおり観察対象面Pがカバーガラス5gの直上に位置するとき(表面観察時)には対物レンズ6の収差は無視できるが、図7(B)に示すとおり観察対象面Pが培養液5cの深部に位置するとき(深部観察時)には対物レンズ6の収差が無視できなくなる。なぜなら、対物レンズ6の設計は、表面観察(図7(A))を想定しているので、深部観察(図7(B))のように、対物レンズ6の先端から観察対象面Pまでの光路中に存在する媒質の厚さ及び屈折率の組み合わせが想定外(インデックスミスマッチ)になると、対物レンズ6の球面収差が抑えきれなくなるからである。

0081

このため、深部観察(図7(B))の際には、対物レンズ6を含む結像光学系30のMTF(MTF:Modulation Transfer Function)が悪化して、結像光学系30が撮像面36に形成する像のコントラストが低下し、結果として、復元画像の画質が悪化する。

0082

第2の問題は、次のとおりである。すなわち、深部観察(図7(B))の際には、非観察対象面に存在する細胞などの多種構造物で発生した散乱光が、ノイズ光となって対物レンズ6へ入射し、最終的には撮像素子35にも到達し得る。

0083

このため、深部観察(図7(B))の際には、撮像素子35のSN比が悪化する。

0084

そして、以上の第1の問題(像のコントラストの低下により、超解像画像の画質が悪化する問題)と第2の問題(SN比の悪化)とに起因して、深部観察(図7(B))の際には、撮像素子35が画像化可能な空間周波数の上限値(実質的なカットオフ周波数)が低下する。

0085

そこで、本実施形態では、主に第1の問題(コントラストの低下により、超解像画像の画質が悪化する問題)の解決を図る。因みに、後述する第2実施形態及び第3実施形態では、第1の問題(コントラストの低下により、超解像画像の画質が悪化する問題)と第2の問題(SN比の悪化)との双方の解決を図る。

0086

以下、本実施形態における第1の問題(コントラストの低下により、超解像画像の画質が悪化する問題)と、その解決策を説明する。

0087

図8は、結像光学系30のMTF(MTF:Modulation Transfer Function)を観察対象面Pの深さ毎に示す図である。図8横軸は、結像光学系30が撮像面36に形成する像の空間周波数であり、図8縦軸は、結像光学系30が撮像面36に形成する像のコントラストである。

0088

ここでは、表面観察時における観察対象面Pの深さを0[μm]とおき、浸液6iを油とし、細胞を含む培養液5cを水とみなし、対物レンズ6の倍率を100倍と仮定し、対物レンズ6の開口数NAを1.49とし仮定し、結像光学系30の使用波長λを0.587[μm]と仮定し、結像光学系30の結像倍率Mを100倍と仮定した。

0089

図8に示すとおり、観察対象面Pの深さ(細胞(水)の深さ)が0[μm]であるときには、結像光学系30はカットオフ周波数まで伝達できるので、伝達可能な最大空間周波数は50.7[c/mm]である。因みに、このカットオフ周波数Rは、R=1000/(λ/(2(NA/M)))の式で表される。

0090

しかし、観察対象面Pの深さがゼロより大きくなると、図8に示すとおり結像光学系30のMTF曲線の形状が変化して、像のコントラストが低下することにより、結像光学系30では伝達可能な最大空間周波数は低下する。例えば、観察対象面Pの深さが10[μm]のときには、結像光学系30の伝達可能な最大空間周波数は約30[c/mm]にまで低下する。

0091

このため、仮に、干渉縞の空間周波数を、観察対象面Pの深さがゼロであるときのカットオフ周波数R=50.7[c/mm]と同じ値に固定してしまうと、観察対象面Pの深さを大きくしたときには伝達可能な空間周波数が低下してしまうため、干渉縞のパターンを撮像面36の側へ伝達できないという現象が発生する。画像の復元処理をする場合には、構造化照明の空間周波数の情報が必要であるため、取得画像から構造化照明の空間周波数の情報を読み出す必要がある。したがって、干渉縞のパターンを撮像面36の側へ伝達できないという現象が発生すると、構造化照明の空間周波数の情報を取得画像から正しく読みだすことができず、ノイズを情報と見誤って復元処理演算をすることになり、超解像画像の画質が悪化する。

0092

そこで、本実施形態では、第1の問題(コントラストの低下により、超解像画像の画質が悪化する問題)を解決すべく、干渉縞の空間周波数を制御する。

0093

具体的には、本実施形態では、観察対象面Pの深さを所定範囲内で切り替えたとしても、撮像面36に投影される干渉縞のコントラストが一定以上となるよう、干渉縞の空間周波数を制御する。このようにすれば、超解像画像の画質の悪化を防ぐことができる。

0094

しかも、本実施形態では、観察対象面Pの深さを所定範囲内で切り替えたとしても、撮像面36に投影される干渉縞のコントラストが適正範囲内に収まるよう、干渉縞の空間周波数を制御する。このようにすれば、超解像画像の画質を保つことができる。

0095

図9は、観察対象面Pの深さと干渉縞の空間周波数の適正値との関係を示す図である。ここでは、干渉縞の空間周波数を撮像面36における値に換算した。また、ここでは、培養細胞の全体を過不足なくカバーできるよう観察対象面Pの深さ範囲を0〜10[μm]と仮定した。

0096

図9に示すとおり、観察対象面Pの深さが大きいときほど、干渉縞の空間周波数の適正値は低くなる。

0097

具体的に、本実施形態では、観察対象面Pの深さが0[μm]以上かつ0.5[μm]未満であるときには、干渉縞の空間周波数の適正値を40[c/mm]とする。

0098

また、観察対象面Pの深さが0.5[μm]以上かつ1[μm]未満であるときには、干渉縞の空間周波数の適正値を35[c/mm]とする。

0099

また、観察対象面Pの深さが1[μm]以上かつ2[μm]未満であるときには、干渉縞の空間周波数の適正値を30[c/mm]とする。

0100

また、観察対象面Pの深さが2[μm]以上かつ5[μm]未満であるときには、干渉縞の空間周波数の適正値を25[c/mm]とする。

0101

また、観察対象面Pの深さが5[μm]以上かつ10[μm]未満であるときには、干渉縞の空間周波数の適正値を20[c/mm]とする。

0102

これらの適正値によると、観察対象面Pの深さを0[μm]〜10[μm]の範囲内で切り替えたとしても、干渉縞のコントラストは、0.03〜0.1の範囲内に収まる。

0103

なお、本実施形態では、干渉縞パターンを結像光学系30が正確に伝達できるよう干渉縞の空間周波数を意図的に低く設定するので、その分だけ超解像効果は下がる。図9最下段に示す値は、超解像効果εである。超解像効果εは、干渉縞の空間周波数Kと、観察対象面Pの深さがゼロであるときにおける結像光学系30のカットオフ周波数Rとによってε=(R+K)/Rで表される。

0104

図9の最下段によると、本実施形態では、観察対象面Pの深さを0〜10[μm]の範囲内で切り替えたとしても、超解像効果は1.4〜1.8の良好な範囲内に収まることがわかる。

0105

また、上記の説明では、カバーガラス5gの上下に存在する媒質として浸液(油)6iと培養液(水)5cとの組み合わせを想定したが、他の組み合わせにすることもできる。例えば、水の代わりに封入剤を使用することも可能である。

0106

例えば、汎用の封入剤であるProlongGoldを使用した場合(Prolongは登録商標)、観察対象面Pの深さと干渉縞の空間周波数の適正値との関係は、図10に示すとおりとなる。

0107

図10のデータは、図9のデータにおいて水の深さを封入剤の深さへ換算したものに相当する。この換算は、以下の関係式に基づく。

0108

tb=(no−nw)/(no−nb)×tw
但し、twは水の深さ、tbは封入剤の深さ、nwは水の屈折率、nbは封入剤の屈折率、noは浸液(油)の屈折率である。

0109

油の屈折率noは1.51、水の屈折率nwは1.33、封入剤(ProlongGold)の屈折率nbは1.46であるので、上記関係式によると、水の深さtwと封入剤の深さtbとの比は、10:36であることがわかる。この場合、水の最大深さ10[μm]に対応する封入剤の最大深さは36[μm]である。

0110

よって、水を使用した場合には観察対象面Pの深さ範囲が0〜10μmであったのに対して、封入剤を使用した場合には観察対象面Pの深さ範囲を0〜36μmにすることができる。

0111

このような広い深さ範囲0〜36μmは、比較的厚みの大きな組織切片細胞をもカバーすることができる。つまり、水の代わりに封入剤を使用すると、2D−SIM1のアプリケーションが広がる。

0112

次に、2D−SIM1の動作フローを説明する。ここでは、図9に示すデータと図10に示すデータとが例えばルックアップテーブルとして制御装置39に格納されたと仮定する。

0113

図11は、2D−SIM1の動作フローチャートである。以下、図11の各ステップを順に説明する。

0114

ステップS1:制御装置39は、ドライバ13Aを介して干渉縞の方向、干渉縞の位相、干渉縞の空間周波数を初期値に設定する。また、制御装置39は、ステージ50を介して観察対象面の深さを初期値に設定する。因みに、干渉縞の空間周波数の初期値は40[c/mm]であり、深さの初期値は0[μm]である。

0115

ステップS2:制御装置39は、不図示の可干渉光源及び撮像素子35を駆動することにより、干渉縞で変調された標本の画像である変調画像を取得し、変調画像を画像記憶・演算装置40へ送出する。

0116

ステップS3:制御装置39は、干渉縞の位相数が必要数に達したか否かを判別し、達していない場合はステップS4へ移行し、達した場合はステップS5へ移行する。

0117

ステップS4:制御装置39は、ドライバ13Aを介してSLM13に表示される格子パターンの位相を1ステップだけシフトさせてから、ステップS2に戻る。本ステップにより、干渉縞の位相は1ステップだけシフトする。

0118

ステップS5:制御装置39は、干渉縞の方向数が必要数に達したか否かを判別し、達していない場合はステップS6へ移行し、達した場合はステップS7へ移行する。

0119

ステップS6:制御装置39は、ドライバ13Aを介してSLM13に表示される格子パターンの方向を1ステップだけ切り替えてから、ステップS2に戻る。本ステップにより、干渉縞の方向は1ステップだけ切り替わる。

0120

ステップS7:制御装置39は、観察対象面の深さ数が必要数に達したか否かを判別し、達していない場合はステップS8へ移行し、達した場合はステップS11へ移行する。

0121

ステップS8:制御装置39は、ステージ50を介して標本5を対物レンズ6の側へ1ステップだけ近接させてから、ステップS9へ移行する。本ステップにより、観察対象面の深さは1ステップだけ大きくなる。

0122

ステップS9:制御装置39は、ルックアップテーブルを参照し、干渉縞の現在の空間周波数が適正であるか否かを判別し、適正であればステップS2へ戻り、適正でなければステップS10へ移行する。但し、本ステップにおける制御装置39は、カバーガラス5gの上に存在する媒質として水が使用されている場合は図9のルックアップテーブルを参照し、封入剤が使用されている場合は図10のルックアップテーブルを参照する。なお、カバーガラス5gの上に存在する媒質の種類は、ユーザから制御装置39へと予め指定されたと仮定する。

0123

ステップS10:制御装置39は、ドライバ13Aを介してSLM13に表示される格子パターンの格子ピッチを切り替えてから、ステップS2へ戻る。本ステップにより、干渉縞の空間周波数は適正値に切り替わる。

0124

ステップS11:画像記憶・演算装置40は、以上のステップS1〜S10で取得された複数枚の変調画像を、干渉縞の空間周波数又は観察対象面の深さによってグループ化する。なお、これら複数枚の変調画像の間では「干渉縞の位相」、「干渉縞の方向」、「観察対象面の深さ」、「干渉縞の空間周波数」のうち少なくとも1つが異なる。そして、画像記憶・演算装置40は、グループごとに公知の復調演算を施すことにより、標本5の超解像画像を求める。なお、この復調演算には、米国特許8115806号明細書に記載の復調演算や、ハイツマン等の論文(下記)に記載の復調演算(Slice3Dアルゴリズム)などを適用することができる。因みに、ハインツマン等のSlice3Dアルゴリズムは、干渉縞の空間周波数の異なる複数の変調画像を、個別に復調するのに適している。

0125

ハインツマン等の論文:"Phase optimisation for structured illumination microscopy", KaiWicker, Ondrej Mandula, Gerrit Best, Reto Fiolka, and Rainer Heintzmann Received 28 Sep 2012; revised 6 Jan 2013; accepted 7 Jan 2013; published 18 Jan 2013(C) 2013 OSA 28 January 2013 / Vol. 21, No. 2 / OPTICS EXPRESS 2033
次に、本実施形態における第1の問題(コントラストの低下により、超解像画像の画質が悪化する問題)と、その解決策について、別の観点で説明する。

0126

図8では、取得画像から構造化照明の空間周波数の情報を読み出し、復調処理を行った場合において、第1の問題(コントラストの低下により、超解像画像の画質が悪化する問題)が生じることを説明し、その解決策を説明した。

0127

しかしながら、取得画像から構造化照明の空間周波数の情報を読み出さずに、既知の値として復調処理を行うことも可能であるが、この場合においても、第1の問題(コントラストの低下により、超解像画像の画質が悪化する問題)が生じる。

0128

以下、構造化照明の空間周波数を既知の値として復元処理を行った場合においても、本実施形態の方法が第1の問題(コントラストの低下により、超解像画像の画質が悪化する問題)を解決し得ることを、図12図13を参照して説明する。

0129

図12の左側は、比較例の実効的なMTFを観察対象面の深さごとに示したものであり、図12の右側は、比較例の実効的なPSF(PSF:Point Spread Function)を観察対象面の深さごとに示したものである。図12の下側ほど観察対象面の深さが大きい。

0130

ここで、実行的なMTFとは、結像光学系30が図8に示す伝達関数それぞれを持つ状態で、構造化照明を施し、構造化照明の空間周波数の情報を既知の値として復元処理した場合の伝達関数を意味する。また、実効的なPSFとは、結像光学系30が図8に示す伝達関数それぞれを持つ状態で、構造化照明を施し、構造化照明の空間周波数の情報を既知の値として復元処理された後の点像強度分布を意味している。

0131

図12のA1に示す実効的なMTFは、波数空間のXY平面を示し、色の白さで周波数ごとの強度を示している。またA2は、対応する実効的なMTFのプロファイル図を示し、上段がX方向のプロファイル、下段がY方向のプロファイルを示している。プロファイル図の横軸は空間周波数で、中央が0、周辺へ行くほど高周波を示す。縦軸は規格化強度を示す。

0132

またB1の実効的なPSFは、実空間のXY平面上の強度を示し、色の白さでその位置における強度を示している。またB2は、対応する実効的なPSFのプロファイル図を示し、同様に上段がX方向、下段がY方向のプロファイル図である。PSFのプロファイル図の横軸は像面上の位置で、中央が像中心を示し、縦軸は規格化した像強度である。

0133

図12に示すとおり、比較例では、波数空間(MTF)では干渉縞の空間周波数Kに相当する位置に不連続なピークが発生し、実空間(PSF)では点像の周囲に輝点ノイズが発生してしまう。

0134

このため、比較例で取得した超解像画像では、二重像のような縁取りや六対称ノイズパターンが細胞像の周囲に現れる。

0135

つまり、構造化照明の空間周波数を既知の値として復元処理を行った場合においても、本実施形態の方法が第1の問題(コントラストの低下により、復元画像の画質が悪化する問題)が発生することが分かる。

0136

図12の計算では構造化照明の空間周波数の情報は既知として扱ったので、上記ノイズパターンは不連続なピークに起因するものだけだが、実際には図8で検討したごとく、構造化照明の情報を像面へ伝達できない問題も発生するため、復元処理がうまくいかず、より激しいノイズが発生することが考えられる。

0137

図13は、本実施形態の性能を示す図である。図13表記方法は、図12の表記方法と同じである。

0138

図13に示すとおり、本実施形態では、干渉縞の空間周波数を制御するので、観察対象面の深さが大きくとも、前述した第1の問題(対物レンズ6の球面収差)は目立たず、波数空間(MTF)では干渉縞の空間周波数Kに相当する位置に不連続なピークが殆ど発生せず、実空間(PSF)では点像の周囲に輝点ノイズが殆ど発生しない。

0139

このため、本実施形態で取得した超解像画像では、二重像のような縁取りや六対称なノイズパターンが細胞像の周囲に現れることは無い。

0140

次に、撮像素子35及びSLM13の仕様を具体的に説明する。

0141

ここでは、画素サイズが6.5μmであり、画素数が1024×1024[pixel]であるCMOS撮像素子が撮像素子35として使用されたと仮定する。

0142

上述したとおり本実施形態では、撮像素子35の撮像面36に形成すべき干渉縞のうち、最も微細な干渉縞の空間周波数は、40[c/mm]であった。この干渉縞を撮像面36に形成する場合、撮像面36の全体における縞本数は、40[c/mm]×6.5[μm]/1000×1024[pixel]=266[Hz]となる。

0143

また、ここではSLM13の全体へ表示すべき格子パターンの最小単位であるユニットセルの画素数(セル数)の横方向のメイン画素間隔を「9」と仮定する。このユニットセルは、位相変調で格子パターンを変位させる方向における1周期分の格子パターンをSLM13へ表示するのに必要な画素の集まりのことである。このユニットセルをSLM13へ隙間無く配列すれば、格子パターンの全体をSLM13へ表示することができる。

0144

ここで、ユニットセルについて図23を用いて説明する。図23(a)はSLM13の一部を示す。本図に示すように格子パターンを形成したとき、破線で囲った領域をユニットセルとする。図23(b)はユニットセルだけ抜き出して示したものである。SLM13の全面に図23(b)に示すユニットセルを敷き詰める形で表現できる。ユニットセルの横方向のメイン画素間隔が「9」なので、横方向の格子周期が9[pixel]ということである。こうしておけば、SLM13上の格子パターンを横方向に3[pixel]ずつ変位させることで、構造化照明の位相を2π/3[rad]ごとに3回行う位相変調が実現できる。

0145

さて、この場合、SLM13の全体に必要な画素数(セル数)は、266[Hz]/2×9[pixel]=1198[pixel]である。

0146

なお、266[Hz]を「2」で除した理由は、±1次回折光束によるSLM13の像(=干渉縞)の縞本数は、SLM13に表示される格子パターンの格子本数の2倍だからである。

0147

したがって、本実施形態では、SLM13の画素数(セル数)を、1198以上とすればよい。

0148

因みに、汎用のSLMの中には1280[pixel]のSLMが存在するので、そのSLMをSLM13として使用すれば、必要な干渉縞を確実に撮像面36へ投影することが可能である。

0149

なお、以上の説明では、空間周波数40[c/mm]の干渉縞を形成するために必要なSLM13の横方向の格子周期を9[pixel]とした。

0150

その場合、空間周波数35[c/mm]の干渉縞を形成するために必要なSLM13の横方向の格子周期は10.3[pixel]である。

0151

また、空間周波数30[c/mm]の干渉縞を形成するために必要なSLM13の単位ユニットの画素数は、12[pixel]である。

0152

また、空間周波数25[c/mm]の干渉縞を形成するために必要なSLM13の横方向の格子周期は、14.4[pixel]である。

0153

また、空間周波数20[c/mm]の干渉縞を形成するために必要なSLM13の横方向の格子周期は、18[pixel]である。

0154

ここで、必要な空間周波数に対応する格子周期が3の倍数でない場合は、縦方向または横方向に3の倍数の整数でユニットセルが形成できるよう拡張すればよい。
[第1実施形態の補足
なお、第1実施形態では、観察対象面の深さに対する干渉縞の空間周波数の変化パターンを「ステップ状」としたが(図14を参照)、更に細かいステップ状としてもよいし、更に粗いステップ状としてもよい。

0155

また、第1実施形態では、観察対象面の深さに対する干渉縞の空間周波数の変化パターンを「ステップ状」としたが(図14を参照)、変化パターンの一部又は全部を「滑らかな曲線状」としてもよいし(図15を参照)、変化パターンの一部又は全部を「直線状」としてもよい(図16を参照)。

0156

また、第1実施形態では、観察対象面の深さ変化量に対する干渉縞の空間周波数の変化量の割合を、観察対象面の深さが小さいときほど大きくしたが(図14図15参照)、深さが大きいときほど大きくしてもよい。

0157

例えば、観察対象面の深さが所定値以下のときには干渉縞の空間周波数を固定し、観察対象面の深さが所定値を超えるときにのみ干渉縞の空間周波数を変化させてもよい(図17を参照)。

0158

また、第1実施形態では、観察対象面の深さに対する干渉縞の空間周波数の変化パターンを制御装置39が予め決めていたが、変化パターンをユーザが予め指定してもよいし、変化パターンをユーザがリアルタイムで指定してもよい。

0159

なお、変化パターンをユーザがリアルタイムで指定するために、制御装置39は、観察対象面の深さを大きくしながら超解像画像の生成・表示を繰り返し、ユーザが切り替え指示を入力したタイミングでのみ、干渉縞の空間周波数を低い値へと切り替えればよい。図18は、ユーザが指示を入力したタイミングと変化パターンとの関係を示す図である。図18における矢印は、ユーザが指示を入力したタイミングである。ユーザは、リアルタイムで表示される超解像画像を観察し、超解像画像の画質が悪化したタイミングで干渉縞の空間周波数の切り替え指示を制御装置39へ入力するだけで、超解像画像の画質を保つことができる。

0160

また、第1実施形態では、観察対象面へを投影するために、SLM13を像共役面へ配置し、縞の空間周波数を切り替えるために、SLM13に表示する格子パターンの格子ピッチを切り替えたが、他の方法を採用してもよい。他の方法とは、例えば以下の方法(1)〜(4)の何れかである。

0161

(1)観察対象面へ縞を投影するために、格子ピッチの異なる複数の回折格子を保持したターレットを像共役面へ挿入し、縞の空間周波数を切り替えるために、ターレットを回転させる方法。なお、ターレットには、光軸AZから外れ回転軸の周りにターレットを回転させる回転機構が設けられる。この回転機構は、制御装置39によって駆動される。また、ターレットが光路へ同時に挿入する回折格子は、複数の回折格子の何れか1つのみであり、複数の回折格子は同一部材で構成されてもよいし、互いに異なる部材で構成されてもよい。

0162

(2)観察対象面へ縞を投影するために、瞳共役面上の光軸AZに関して対称な位置へ光ファイバの1対の出射端を配置し、縞の空間周波数を切り替えるために、光軸AZから1対の出射端からまでの高さを切り替える方法。なお、光軸AZから1対の出射端までの高さは、ピエゾ素子などの機構によって調整される。この機構は制御装置39によって駆動される。

0163

(3)観察対象面へ縞を投影するために、格子パターンが不変の回折格子を像共役面に配置し、縞の空間周波数を切り替えるために、瞳面6Aに向かう±1次回折光束の光路間隔を例えば図19のような間隔調整部200で調整する方法。なお、間隔調整部の機構は、制御装置39によって駆動される。

0164

(4)観察対象面へ縞を投影するために、格子パターンが不変の回折格子を像共役面に配置し、縞の空間周波数を切り替えるために、回折格子と標本との間に例えば図20のような変倍機能付きリレーレンズを配置して変倍操作する方法。なお、変倍機能付きリレーレンズの変倍調整機構(いわゆるズーム調整機構)は、制御装置39によって駆動される。
[間隔調整部の説明]
以下、図19に示した間隔調整部200を説明する。

0165

先ず、間隔調整部200の配置先は、格子パターンが不変の回折格子13’から観察対象面までの間において±1次回折光束の光路が互いに分離された箇所である。ここでは図19に示すとおり間隔調整部200の配置先を瞳共役面6A’の近傍とする。瞳共役面6A’の近傍では、±1次回折光束の光路の分離量が最も大きくなる。なお、図19の例では、光束選択部100の要素のうち、1/2波長板101、液晶1/2波長板103,104の図示は省略している。

0166

間隔調整部200には、集光レンズ16の側から入射する+1次回折光束を光軸AZから離れた方向へと偏向するプリズムミラー202と、プリズムミラー202にて偏向した+1次回折光束を反射し、その+1次回折光束の光路の方向を、元の方向に戻すプリズムミラー201とが備えられる。

0167

また、間隔調整部200には、集光レンズ16の側から入射する−1次回折光束を光軸AZから離れた方向へと偏向するプリズムミラー202’と、プリズムミラー202’にて偏向した−1次回折光束を反射し、その−1次回折光束の光路の方向を、元の方向に戻すプリズムミラー201’とが備えられる。

0168

ここで、干渉縞に寄与する±1次回折光束の光路は、光軸AZに関して対称な関係に保たれる必要がある。

0169

よって、間隔調整部200の上流側のプリズムミラー202、202’の反射面の配置関係は、光軸AZに関して対称な関係に保たれ、間隔調整部200の下流側のプリズムミラー201、201’の反射面の配置関係は、光軸AZに関して対称な関係に保たれる。

0170

そして、間隔調整部200の下流側のプリズムミラー201、201’は、図19A)→図19(B)に示すとおり、互いの位置関係を光軸AZに関して対称な関係に保ちつつ、互いの間隔を変化させることが可能である。

0171

このように、プリズムミラー201、201’の間隔を調整すれば、瞳面6Aにおける±1次回折光束の集光点の間隔を調節することができる。これによって、干渉縞の空間周波数が調節される。ここでいう「集光点」は、集光する光の入射領域のうち最大強度の8割以上の強度を有する領域の重心位置のことを指す。

0172

なお、間隔調整機構200には、プリズムミラー201、201’の間隔を調整する不図示の機構が備えられ、不図示の機構は制御装置39によって駆動される。

0173

また、間隔調整部200は、上流側に配置された1対のプリズムミラー202、202’によって±1次回折光束を光軸AZから離れる方向へ偏向したので、±1次回折光束の分岐量は、間隔調整部200の経由により拡大する。仮に間隔調整量がゼロであってもプリズムの大きさの分だけ分岐量は拡大してしまう。よって、回折格子13’の格子ピッチは、間隔調整部200がないときに必要な格子ピッチに比べて、この拡大分を考慮して予め粗く設定される必要がある。

0174

また、上記の説明では、間隔調整部200は、上流側に配置された1対のプリズムミラー202、202’によって±1次回折光束を光軸AZから離れる方向へ偏向したが、光軸AZに近づく方向へ偏向してもよい。その場合、±1次回折光束の分岐量は、間隔調整部200の経由により縮小するので、回折格子13’の格子ピッチは、この縮小分を考慮して予め細かく設定される必要がある。
[変倍機能付きリレーレンズの説明]
以下、図20に示した変倍機能付きリレーレンズを説明する。ここでは、集光レンズ16、25からなるリレーレンズに変倍機能が付与されたと仮定する。図20の上段、中段、下段は、変倍操作によるレンズ群変位パターンの例を表している。なお、変倍に必要なレンズ群の変位方向は、光軸AZの方向である。

0175

図20に示すとおり、集光レンズ16は、第1レンズ群G1〜第4レンズ群G4によって構成され、集光レンズ25は、第5レンズ群G5によって構成される。このうち、第1レンズ群G1〜第4レンズ群G4は、変倍機能を有した変倍光学系であって、第5レンズ群G5は、結像機能を有した結像光学系である。

0176

これらの第1レンズ群G1〜第4レンズ群G4の配置先を矢印のとおり変化させると、変倍機能付きリレーレンズ(集光レンズ16、25)の結像倍率が切り替わるので、干渉縞のピッチが切り替わる。これによって、干渉縞の空間周波数が切り替わったとみなせる。

0177

なお、変倍機能付きリレーレンズには、第1レンズ群G1〜第4レンズ群G4を連動させる不図示の変倍調整機構が備えられ、不図示の変倍調整機構は制御装置39によって駆動される。
[第2実施形態]
以下、本発明の第2実施形態として第1実施形態の変形例を説明する。ここでは、第1実施形態との相違点のみを説明する。

0178

図21は、本実施形態における2D−SIM1’(構造化照明顕微鏡システム1’)の構成図である。図21において図1に示す要素と同じものには同じ符号を付した。

0179

本実施形態の2D−SIM1’では、ダイクロイックミラー7と対物レンズ6との間に、リレーレンズを構成する2つの集光レンズ61、62が順に配置されており、2つの集光レンズ61、62の間の像共役面には、回転ニポウディスク70が挿入されている。回転ニポウディスク70には、回転機構70Aが設けられている。回転機構70Aは、光軸AZと平行であり、かつ、光軸AZから外れた回転軸の周りに回転ニポウディスク70を回転させる。この回転機構70Aは、制御装置39によって駆動される。

0180

回転ニポウディスク70には、公知のニポウディスクと同様、多数のピンホールが形成されており、多数のピンホールの配列パターンは、像共役面上で互いに近接する2つの点が互いに異なるタイミングで開放され、かつ、像共役面の各点のトータル開口量が均一になるように設定されている。ピンホールの数が多いほど短時間で画像取得が可能だが、ピンホールの間隔が近接しすぎて光学系の空間分解能に近くなると、隣接するピンホールに光量が漏れてしまい、セクショニング性能が低下するからである。

0181

この回転ニポウディスク70は、撮像素子35が1フレームの変調画像を撮像する期間(露光期間)内に整数回転する。このような回転ニポウディスク70には、非観察対象面で発生したノイズ光(=アウトフォーカスのノイズ光)を除去する機能がある。

0182

したがって、本実施形態の2D−SIM1’には、前述した第2の問題(非観察対象面で発生したノイズ光)を軽減し、撮像素子35のSN比を改善できるという利点がある。

0183

因みに、第1実施形態では、撮像素子35のSN比の悪化を考慮し、撮像面36に形成される干渉縞のコントラストを一定以上に設定した(0.03以上に設定した)。

0184

しかし、本実施形態では、撮像素子35のSN比が改善されるため、干渉縞のコントラストを第1実施形態における干渉縞のコントラスト(0.03以上)よりも更に低くしたとしても、干渉縞の画像化が可能である。

0185

したがって、本実施形態では、第1実施形態と比較して干渉縞の空間周波数を高めにしたり、空間周波数の切り替えピッチを粗くしたり、観察対象面の深さの最大値を拡大したりすることができる。
[第3実施形態]
以下、本発明の第3実施形態として第2実施形態の変形例を説明する。ここでは、第2実施形態との相違点のみを説明する。

0186

図22は、本実施形態の2D−SIM1’’(構造化照明顕微鏡システム1’’)の構成図である。図22において、図21に示す要素と同じものには同じ符号を付した。

0187

本実施形態では、格子パターンが可変反射型回折格子であるSLM13の代わりに、格子パターンが不変の透過型回折格子13’が使用され、蛍光像の変調機能と復調機能との双方が回折格子13’に付与される。つまり、本実施形態では、変調された像の復調が、画像記憶・演算装置40によって演算で行われるのではなく、回折格子13’によって光学的に行われる。

0188

先ず、本実施形態では、回折格子13’に対して光源からのレーザ光と標本5からの蛍光との双方を入射させる。そのために、レーザ光と蛍光とを分離するダイクロイックミラー7の配置先は、光ファイバ11と回折格子13’との間に設定される。このダイクロイックミラー7から対物レンズ6までの各要素が照明光学系10と結像光学系30とに兼用される。

0189

また、本実施形態では、光束選択部100を省略し、その代わりに回折格子13’に対するレーザ光の入射角度を大きくする(斜入射とする)ことで、不要回折光束を有効な光路から外す。

0190

具体的に、本実施形態では、回折格子13’にて発生した0次回折光束と1次回折光との2光束を、干渉縞に寄与する回折光束(必要回折光束)として使用し、回折格子13’にて発生した−1次回折光束を、干渉縞に寄与しない不要回折光束として光路から外す。

0191

また、本実施形態では、干渉縞の空間周波数を調節するために、回折格子13’の格子ピッチを調節する代わりに、回折格子13’の像を像共役面に投影するリレーレンズ80に対して変倍機能を付与する。なお、符号80Aは、変倍機能付きリレーレンズ80を変倍操作する変倍調整機構であり、変倍調整機構80Aは、制御装置39によって駆動される。

0192

また、本実施形態では、干渉縞の位相及び方向を切り替えるために、回折格子13’を格子ピッチ方向にかけて並進移動させる並進機構13A’と、回折格子13’及び並進機構13A’を光軸AZの周りに回転させる回転機構13B’とが備えられる。並進機構13A’及び回転機構13B’は、制御装置39によって駆動される。

0193

以下、本実施形態における光の振る舞いを説明する。

0194

光ファイバ11の出射端から発散したレーザ光は、コレクタレンズ91に対して偏心した位置から入射すると、平行光束となって集光レンズ92へ入射し、収束光束となる。収束光束は、励起フィルタ28を介してダイクロイックミラー7へ入射すると、ダイクロイックミラー7にて反射し、集光レンズ93に向かう。なお、ダイクロイックミラー7は、集光レンズ92の後側焦平面近傍に配置されているため、収束光束は、ダイクロイックミラー7の近傍で集光点を形成し、集光点から発散光束となって射出し集光レンズ93へ入射する。

0195

また、ダイクロイックミラー7は、集光レンズ93の前側焦平面近傍に配置されているため、発散光束は、集光レンズ93の集光作用を受けて平行光束となり、回折格子13’に対して所定角度で入射(斜入射)する。

0196

回折格子13’では、0次回折光束と、+1次回折光束を含む高次の回折光束とが発生する。これらの回折光束のうち、0次回折光束と+1次回折光束とは、変倍機能付きリレーレンズ80へ入射すると、像共役面に配置された回転ニポウディスク70の上に回折格子13’の像を形成する。

0197

なお、変倍機能付きリレーレンズ80は、変倍操作に依らず瞳共役面6A’の位置と像共役面の位置とを維持できるように設計されている。

0198

回転ニポウディスク70を通過した0次回折光束及び+1次回折光束は、フィールドレンズである集光レンズ62の集光作用を受けて収束光束となり、全反射ミラーMで反射した後、対物レンズ6の瞳面6Aの互いに異なる位置に向かって集光する。なお、瞳面6Aにおける0次回折光束の集光点と+1次回折光束の集光点とは、光軸AZに関して対称である。

0199

瞳面6Aから射出した0次回折光束及び+1次回折光束は、対物レンズ6の先端から平行光束となって射出し、対物レンズ6の焦点面(=観察対象面P)へ所定の角度関係で入射し、ストライプ状の干渉縞を形成する。

0200

この干渉縞は、変倍機能付きリレーレンズ80、フィールドレンズ62、対物レンズ6による回折格子13’の二次像である。つまり、変倍機能付きリレーレンズ80、フィールドレンズ62、対物レンズ6の全体には、回折格子13’の像を観察対象面Pへ投影する「投影光学系」の機能がある。

0201

観察対象面Pの各位置で発生した蛍光は、対物レンズ6の先端へ入射すると、対物レンズ6の瞳面6Aから平行光束となって射出し、全反射ミラーM、フィールドレンズ62、回転ニポウディスク70を介して変倍機能付きリレーレンズ80へ入射する。変倍機能付きリレーレンズ80から射出した蛍光は、回折格子13’、集光レンズ93、ダイクロイックミラー7、バリアフィルタ31、第2対物レンズ32を介して、撮像面36上に観察対象面Pの蛍光像を形成する。本実施形態の制御装置39は、撮像素子35の露光期間内に並進機構13A’を駆動し、回折格子13’を周期の整数倍シフトさせる。

0202

蛍光像に寄与する蛍光は回折格子13’を通過しているので、この蛍光像では、干渉縞によって変調されていた空間周波数が元の空間周波数に戻されている。つまり、この蛍光像は、復調像である。

0203

よって、本実施形態の制御装置39は、復調像の形成中に撮像素子35を駆動することにより、復調像の画像(超解像画像)を取得することができる。

0204

これによって、単一方向に亘って超解像効果の得られた超解像画像を取得することができる。

0205

また、本実施形態の制御装置39は、回転機構13B’を駆動して回折格子13’の方向を切り替えると共に、各方向で撮像素子35の露光期間内に並進機構13A’を駆動し、回折格子13’を周期の整数倍シフトさせる。

0206

これによって、各方向毎に超解像効果の得られた超解像画像を取得することができる。例えば米国特許8081378号明細書に記載の手法を用いて、各方向毎の超解像画像から2次元の超解像画像に拡張することができる。

0207

また、本実施形態の制御装置39は、観察対象面Pの深さ方向の位置に応じて、機構80Aを駆動することにより、干渉縞の空間周波数を適正値に制御する。干渉縞の空間周波数の制御方法については、前述したとおりである。

0208

したがって、本実施形態においても第2実施形態と同様の効果を得ることができる。
[その他の実施形態]
なお、上述した何れかの実施形態では、第1の問題(球面収差)の一部又は全部を、アダプティブオプティクスなどの収差補正素子補正してもよい。アダプティブオプティクスは、瞳共役面又はその近傍に配置され、入射光束波面形状を補正する素子である。上述した何れかの実施形態では、アダプティブオプティクスの補正量分布を、観察対象面の深さに応じて変更すればよい。

0209

また、上述した何れかの実施形態では、本発明を2D−SIMに適用したが、本発明は3D−SIMにも適用が可能である。2D−SIMは、干渉縞に寄与する光束が2光束であるのに対して、3D−SIMは、干渉縞に寄与する光束が3光束である。

0210

第1実施形態の2D−SIM1(図1)又は第2実施形態の2D−SIM1’(図21)を3D−SIMに変形する場合は、光束選択部100において、SLM17の光軸AZ近傍のセルをオフの状態とし、0次回折光束が固定偏光板102で遮断されないようにすればよい。

0211

また、上述した2D−SIMにおいて、2光束干渉縞を形成するための2つの回折光束の組み合わせは、上述したものに限定されることは無い。

0212

同様に、上述した3D−SIMにおいて、3光束干渉縞を形成するための3つの回折光束の組み合わせは、上述したものに限定されることは無い。

0213

また、上述した実施形態の照明光学系10は、結像光学系30の対物レンズ6を介して標本5を照明する落射型照明光学系であったが、対物レンズ6を介さずに(コンデンサレンズによって)標本5を照明する透過型又は反射型照明光学系であってもよい。

0214

また、上述した実施形態では、標本5に含まれる蛍光物質の種類数を「1」と仮定したが、「2以上」としてもよい。特性の異なる第1蛍光物質と第2蛍光物質とが標本5に含まれる場合、上述した実施形態のSIMは、例えば次の(1)〜(4)のとおり変形される。

0215

(1)可干渉光源として、第1レーザ光源及び第2レーザ光源を搭載したレーザユニットが使用される。第1レーザ光源から射出するレーザ光の波長は、第1蛍光物質の励起波長と同じであり、第2レーザ光源から射出するレーザ光の波長は、第2蛍光物質の励起波長と同じである。

0216

(2)第2対物レンズ32の後段に、第2のダイクロイックミラーが配置される。第2のダイクロイックミラーの特性は、第1蛍光物質の蛍光波長と同じ波長の光を反射し、かつ、第2蛍光物質の蛍光波長と同じ波長の光を透過する特性である。

0217

(3)撮像素子35として第1撮像素子及び第2撮像素子が使用される。第1撮像素子の配置先は、第2のダイクロイックミラーで反射した蛍光の光路であり、第2撮像素子の配置先は、第2のダイクロイックミラーを透過した蛍光の光路である。

0218

(4)バリアフィルタ31として第1バリアフィルタ及び第2バリアフィルタが使用される。第1バリアフィルタの配置先は、第2のダイクロイックミラーと第1撮像素子との間であり、第2バリアフィルタの配置先は、第2のダイクロイックミラーと第2撮像素子との間である。第1バリアフィルタの特性は、第1蛍光物質の蛍光波長と同じ波長の光を透過し、かつ他の波長の光を遮光する特性に設定される。第2バリアフィルタの特性は、第2蛍光物質の蛍光波長と同じ波長の光を透過し、かつ他の波長の光を遮光する特性に設定される。

0219

また、上述した実施形態では、本発明をSIMに適用したが、本発明は、縞を標本へ投影する他の観察装置にも適用可能である。

0220

例えば、トニーウィルソンが提案した観察装置(米国特許6376818号明細書)にも本発明は適用可能である。この観察装置は、標本に縞を投影することにより光学セクショニング効果を得るものである。この観察装置でも上述した第1の問題及び第2の問題が発生しうるので、本発明は有効である。

0221

また、上述した実施形態では、観察対象面の深さに応じて、空間周波数を変化させたが、対物レンズ6の視野観察領域)に応じて、空間周波数を変化させてもよい。

0222

例えば、所定の深さの観察対象面において、対物レンズ6の視野(観察領域)を切り替える場合がある。その場合、観察領域に応じて、インデックスミスマッチが発生し、超解像画像の画質が悪化する場合がある。このような場合、観察領域(対物レンズ6の視野)に応じて、空間周波数を変化させることにより、上述したように、超解像画像の画質を向上させることができる。なお、対物レンズ6の視野(観察領域)で、部分的に空間周波数を変化させてもよい。
[復調演算の説明]
以下、復調演算の一例を説明する。簡単のため、先ずは2D−SIMの復調演算を説明する。

0223

2D−SIMにおける構造化照明(縞)の強度分布を、空間周波数Kの単一成分のみからなる正弦波と仮定し、標本の変調方向(縞ピッチ方向)における座標をxとおき、標本の蛍光密度分布をOr(x)とおき、標本像を形成する光学系の点像強度分布をPr(x)とおくと、光学系による標本像は下記の式(1)で表される。

0224

0225

但し、記号*は畳み込み積分を表し、φは構造化照明の位相であり、lは構造化照明による変調次数(l=−1,0,1)であり、mlは構造化照明による変調振幅である。

0226

式(1)において変調次数l=0に対応する成分は、構造化照明によって変調を受けない0次変調成分であり、変調次数l=+1に対応する成分は、構造化照明によって変調を受けた+1次変調成分(モアレ)であり、変調次数l=−1に対応する成分は、構造化照明によって変調を受けた+1次変調成分(モアレ)である。

0227

以下、実空間における量と波数空間における量とを区別するため、実空間における量には添え字rを付与し、波数空間における量には添え字kを付与する。

0228

ここで、式(1)をフーリエ変換して波数空間で表記すると、下記の式(2)が得られる。この式(2)において、点像強度分布Pr(x)のフーリエ変換Pk(k)は、光学系のMTFである。

0229

0230

式(2)において変調次数l=−1に対応する−1次変調成分Ok(k−K)と、変調次数l=+1に対応する+1次変調成分Ok(k+K)とは、標本の実際の空間周波数を構造化照明の空間周波数Kの分だけずらしたものに相当する。

0231

つまり、空間周波数Kの構造化照明によると、光学系のカットオフ周波数を超えた高い空間周波数の構造が像空間へ伝達される。そして、構造化照明の空間周波数Kが高いほど、超解像効果は高まる。よって、超解像効果を最大にするためには、構造化照明の空間周波数Kは、光学系のカットオフ周波数以下のなるべく大きな値に設定すればよい。

0232

ここで、式(2)によると、2D−SIMの標本像では、0次変調成分Ok(k)、−1次変調成分Ok(k−K)、+1次変調成分Ok(k+K)が互いに重畳しているので、2D−SIMの復調演算では、これらの成分を互いに分離する必要がある。

0233

そこで、2D−SIMの制御装置は、構造化照明の空間周波数Kを固定し、構造化照明の方向を固定し、構造化照明の位相φをシフトさせながら、撮像をN回行う。これによって、空間周波数成分が共通、変調振幅が共通、構造化照明の位相φのみが異なるN枚の変調画像が取得される。

0234

これらN枚の変調画像のうちj番目の変調画像の信号強度Ikj(k)は、下記の式(3)で表される。

0235

0236

但し、式(3)におけるφjは、j番目の変調画像における構造化照明の位相である。

0237

そして、2D−SIMの復調演算では、N枚の変調画像の各々の信号強度を式(3)へ当てはめることで、N個の方程式を取得する。これらN個の方程式においては、−1次変調成分Ok(k−K),0次変調成分Ok(k),+1次変調成分Ok(k+K)の3つが未知数である。

0238

よって、2D−SIMの制御装置は、変調画像の枚数NをN≧3とする。また、2D−SIMの復調演算では、N枚の変調画像を式(3)へ当てはめることによりN個(N≧3)の方程式を取得し、それらN個の方程式を連立させることにより、−1次変調成分Ok(k−K),0次変調成分Ok(k),+1次変調成分Ok(k+K)の各々を既知とする。

0239

なお、2D−SIMの復調演算では、−1次変調成分Ok(k−K),0次変調成分Ok(k),+1次変調成分Ok(k+K)を互いに分離する際に、−1次変調成分Ok(k−K),0次変調成分Ok(k),+1次変調成分Ok(k+K)の各々を既知としてから、それらの成分をPk(k)の値で除算してもよいが、単なる除算を行う代わりに、ウィナーフィルタなどノイズの影響を受けにくい公知の手法を利用してもよい。

0240

ここで、構造化照明の代わりに非構造化照明(一様照明)を採用した場合、光学系のMTF(=Pk(k))が伝達可能な空間周波数kの範囲は、k=−2NA/λ〜2NA/λである。但し、λは波長λ、NAは対物レンズの開口数である。

0241

一方、2D−SIMの構造化照明を採用した場合、−1次変調成分Ok(k−K)は、空間周波数範囲(−2NA/λ−K)〜(2NA/λ−K)の構造情報を含み、0次変調成分Ok(k)は、空間周波数範囲(2NA/λ)〜(2NA/λ)の構造情報を含み、+1次変調成分Ok(k+K)は、空間周波数範囲(−2NA/λ+K)〜(2NA/λ+K)の構造情報を含む。

0242

よって、−1次変調成分Ok(k−K)、0次変調成分Ok(k)、+1次変調成分Ok(k+K)の全体は、空間周波数範囲(−2NA/λ−K)〜(2NA/λ+K)の構造情報を含む。

0243

そこで、2D−SIMの復調演算では、+1次変調成分Ok(k+K),−1次変調成分Ok(k−K)を、空間周波数Kの分だけx方向にかけて再配置してから、+1次変調成分Ok(k+K),0次変調成分Ok(k),−1次変調成分Ok(k−K)を同一の周波数空間上で重み付け合成することで、空間周波数範囲の広がった復調画像Ok(x)を生成する。

0244

そして、2D−SIMの復調演算では、空間周波数範囲の広がった復調画像Ok(x)を逆フーリエ変換することによって、標本の超解像画像Or(x)を求める。この超解像画像Or(x)は、変調方向(x方向)にかけてのみ高い解像度を有している。

0245

そこで、2D−SIMの制御装置は、複数方向にかけて高い解像度を得るために、方向の異なる複数の構造化照明の各々で前述したN枚の変調画像を取得する。そして、2D−SIMの復調演算では、方向ごとに前述した処理を施す。但し、その際には、方向ごとに再配置した各成分を同一の周波数空間上で重み付け合成すればよい。

0246

また、ここでは2D−SIMの復調演算を説明したが、3D−SIMの復調演算は、以下のとおりである。

0247

3D−SIMの構造化照明は、2光束干渉縞の代わりに3光束干渉縞を用いるため、変調画像に重畳する変調成分は、変調を受けていない0次変調成分と、標本面内の1次元方向における超解像成分となる±2次変調成分と、光軸方向の超解像成分となる±1次変調成分との5成分である。よって、3D−SIMの復調演算の未知数は、5である。

0248

このため、3D−SIMの制御装置は、N≧5とし、3D−SIMの復調演算では、N個(N≧5)の方程式を連立させることにより、上記の5成分の各々を既知とすればよい。

0249

したがって、3D−SIMによると、標本面内方向だけでなく光軸方向にかけても超解像効果を得ることができる。

0250

なお、ここでは複数の変調成分の分離を、連立方程式解くことによって行ったが、Nが大きい場合には、米国特許8115806号明細書に開示された方法(最小自乗法)で行ってもよい。

0251

また、ここでは復調演算における再配置及び合成の処理を順次に行ったが、一括演算式で行うことも可能である。その演算式としては、グスタフソン等の論文(下記)のOnline Methodsにおける数式(1)などが適用可能である。

0252

グスタフソン等の論文:"Super-Resolution Video Microscopy of Live Cells by Structured Illumination", Peter Kner, Bryant B. Chhun, Eric R. Griffis, Lukman Winoto, and Mats G. L. Gustafsson, NATURE METHODS Vol.6 NO.5, pp.339-342, (2009)
[その他]
なお、上述の各実施形態の要件は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。また、法令許容される限りにおいて、上述の各実施形態及び変形例で引用した装置などに関する全ての公開公報及び米国特許の開示を援用して本文の記載の一部とする。

0253

1,1’,1’’:構造化照明顕微鏡システム、11:光ファイバ、10:照明光学系、30:結像光学系、35:撮像素子、39:制御装置、40:画像記憶・演算装置、45:画像表示装置、50:ステージ、5:標本、13:SLM、13A:ドライバ、6:対物レンズ

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • クアンタム-エスアイインコーポレイテッドの「 携帯型大規模並列バイオ光電子機器」が 公開されました。( 2020/09/24)

    【課題・解決手段】単一分子遺伝子配列決定を含む大規模並列試料分析を行うことができる携帯型生体分析機器について説明される。この機器は、超短励起パルスを生成するパルス光源とコンパクトなビームステアリングア... 詳細

  • 株式会社キーエンスの「 画像測定装置」が 公開されました。( 2020/09/24)

    【課題】撮像回数を削減することで効率よく画像測定を実行可能とすること。【解決手段】プロセッサは、設定モードにおいて、パターンサーチのための基準画像と、複数の測定箇所を示す測定箇所情報と、いずれの倍率で... 詳細

  • 株式会社リコーの「 光源光学系、光源装置及び画像投射装置」が 公開されました。( 2020/09/24)

    【課題】光の利用効率に優れるとともに、小型化を図ることができる光源光学系、光源装置及び画像投射装置を提供する。【解決手段】第1の色光を出射する励起光源と用いられる光源光学系であって、前記励起光源から出... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ