図面 (/)

技術 網膜のバースト撮像における動的照明

出願人 ヴェリリーライフサイエンシズエルエルシー
発明者 クラーマー,ライアンカヴーシ,サムグリク,エリエゼルウー,ホンレイ
出願日 2018年8月1日 (2年6ヶ月経過) 出願番号 2020-503282
公開日 2020年10月29日 (3ヶ月経過) 公開番号 2020-530783
状態 未査定
技術分野 メガネ 顕微鏡、コンデンサー
主要キーワード ノイズ特徴 ファームウェア論理 製造工具 環状基板 画像信号プロセッサ 排他的所有権 中断部分 中央領
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年10月29日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (16)

課題・解決手段

網膜像に関する技術は、特定の照明パターン網膜を照らすように動的照明器を構成することを含む。網膜の画像フレームは、その照明パターンで照らされる間に取り込まれる。構成すること、および取り込むことが繰り返されて、複数の異なる照明パターンで網膜を照らし、異なる照明パターンのうちの1つで各々照らされた複数の画像フレームを取り込むために動的照明器を順次再構成する。画像フレームは、複合網膜像になるように組み合わされる。

概要

背景

[0003]網膜撮像は、多くの網膜の病気スクリーニング現場診断および進行のモニタリングのための基本的な目の検査の一部である。高い忠実度網膜像は、正確なスクリーニング、診断およびモニタリングに重要である。瞳を通り抜けて眼球後方の内側面(すなわち網膜)を明るく照らすことは、画像の忠実度を高める一方で、光学収差、またはレンズフレアなどの画像アーチファクト生むことも多い。レンズフレアは、内部反射、種々の内部境界における屈折率の変化、不完全性またはそれ以外が原因で、光がレンズ系の内部要素から散乱する現象である。このような散乱光は、レンズフレアとして網膜像に現れ、これは画像品質にとって有害である。照明を明るくする程、レンズフレアは顕著になり、これは画像の忠実度を改善する目的を徐々に失わせる。他の画像アーチファクトは、瞳との位置合わせ不良からの角膜反射または虹彩反射によって生じる場合がある。

[0004] 本発明の非制限的かつ非包括的な実施形態は、以下の図面を参照して説明されており、これらの図面では、同様の参照番号は、そうでないことが特定されていなければ様々な図面を通して同様の部分を指している。適切な場合には図面を乱雑にしないために、要素の全ての例が必ずしもラベル付けされる訳ではない。図面は、必ずしも縮尺通りではなく、代わりに、記載されている原理を例示する際に強調される。

概要

網膜像に関する技術は、特定の照明パターンで網膜を照らすように動的照明器を構成することを含む。網膜の画像フレームは、その照明パターンで照らされる間に取り込まれる。構成すること、および取り込むことが繰り返されて、複数の異なる照明パターンで網膜を照らし、異なる照明パターンのうちの1つで各々照らされた複数の画像フレームを取り込むために動的照明器を順次再構成する。画像フレームは、複合網膜像になるように組み合わされる。A

目的

[0029]プロセスブロック315では、動的照明器105は、網膜カメラ110による撮像のための照明を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

特定の照明パターン網膜を照らすように動的照明器を構成することと、前記照明パターンで照らされる間、前記網膜の画像フレームを取り込むことと、前記構成すること、および前記取り込むことを繰り返して、複数の異なる照明パターンで前記網膜を照らし、前記画像フレームを含む複数の画像フレームを取り込むために前記動的照明器を順次再構成し、前記画像フレームの各々が前記異なる照明パターンのうちの1つで照らされることと、少なくとも前記画像フレームのサブセット複合網膜像になるように組み合わせることとを含む、網膜を撮像する方法。

請求項2

前記複数の画像フレームを取り込むことは、瞳を通して単一の撮像ウィンドウの間に画像フレームのバーストを取り込むことを含んでおり、前記単一の撮像ウィンドウは、前記異なる照明パターンによる眼球紅彩が実質的に閉じる前に、前記バーストを終える特定の持続時間で構成される、請求項1に記載の方法。

請求項3

前記単一の撮像ウィンドウは、500ミリ秒未満の持続時間を含む、請求項2に記載の方法。

請求項4

前記複数の画像フレームは、16フレームを超える、または16フレームに等しいフレームを備える、請求項2に記載の方法。

請求項5

前記画像フレームの各々を分析して、許容できない画像アーチファクトを含むとみなされる欠陥領域、または許容できるとみなされる使用可能な領域を特定することと、前記欠陥領域または前記使用可能な領域を示すために前記画像フレームに注釈をつけることとをさらに含み、前記画像フレームを組み合わせることは、前記使用可能な領域を組み合わせることを含む、請求項2に記載の方法。

請求項6

前記許容できない画像アーチファクトは、前記異なる照明パターンのうちの1つまたは複数からの角膜反射を含む、請求項5に記載の方法。

請求項7

前記画像フレームを組み合わせることは、前記欠陥領域を無視する、または強調を抑える重み付けを適用することを含む、請求項5に記載の方法。

請求項8

前記分析に基づいて前記網膜の対象の任意の領域が不十分な品質で撮像されたかどうか判定することと、前記網膜の対象の任意の領域が不十分な品質で撮像されたとの判定に応答して、不十分な品質で撮像された対象の前記領域における画像アーチファクトを削減する追加の照明パターンで前記網膜を照らすように前記動的照明器を構成することと、前記単一の撮像ウィンドウの閉鎖の前に、前記追加の照明パターンで前記網膜を照らす間、1つまたは複数の追加の画像フレームを取得することとをさらに含む、請求項5に記載の方法。

請求項9

前記画像フレームを組み合わせることは、前記画像フレームを平均することを含む、請求項1に記載の方法。

請求項10

前記画像フレームを組み合わせる前に、前記画像フレームを位置合わせすることをさらに含む、請求項1に記載の方法。

請求項11

前記画像フレームを取り込む作業の1つまたは複数の反復の間に画像センサ設定を変更することをさらに含む、請求項1に記載の方法。

請求項12

前記複数の異なる照明パターンで前記網膜を照らすように前記動的照明器を順次再構成することは、前記異なる照明パターンのうちの1つまたは複数の間で異なる角度位置または放射状の位置から前記網膜を照らすために、前記動的照明器の環状領域周り照明位置を変更することと、前記異なる照明パターンのうちの1つまたは複数の間で明るさを変更することと、前記異なる照明パターンのうちの1つまたは複数の間の照明波長を変更することと、あるいは前記異なる照明パターンのうちの1つまたは複数の間の照明継続時間を変更することのうちの1つまたは複数を含む、請求項1に記載の方法。

請求項13

網膜撮像システムであって、網膜カメラと、動的照明器と、前記網膜カメラ、前記動的照明器および網膜の間で光学式に光を中継するための光学中継システムと、前記網膜カメラおよび前記動的照明器を制御するために結合されるコントローラとを備え、前記コントローラは、実行される際、前記網膜撮像システムに動作を実行させる論理を含み、前記動作が、特定の照明パターンで前記網膜を照らすように前記動的照明器を構成することと、前記照明パターンで照らす間、前記網膜の画像フレームを取り込むことと、前記構成すること、および前記取り込むことを繰り返して、複数の異なる照明パターンで前記網膜を照らし、前記異なる照明パターンの1つで各々照らされた、画像フレームを含めた複数の画像フレームを取り込むために前記動的照明器を再構成することと、少なくとも前記画像フレームのサブセットを複合網膜像になるように組み合わせることとを含む動作を実行させる論理を含むコントローラとを備える網膜撮像システム。

請求項14

前記動的照明器は、前記網膜の視野(FOV)を取り巻く環状領域を有する動的な放射状照明器を備え、前記異なる照明パターンは、前記環状領域から放出される、請求項13に記載の網膜撮像システム。

請求項15

前記動的な放射状照明器は、前記環状領域の周りで前記異なる照明パターンを生成するために結合された動的マスクと、前記動的マスクの裏側を照らすための光源と、前記光源と前記動的マスクとの間に配置されたレンズとを備える、請求項14に記載の網膜撮像システム。

請求項16

前記動的マスクは、前記光源からの光を通すための1つまたは複数の穴を有する回転可能な不透明なマスクまたは空間光変調器のうちの1つを備える、請求項15に記載の網膜撮像システム。

請求項17

前記レンズは、アキシコンレンズを備え、前記光源はレーザ源を備える、請求項15に記載の網膜撮像システム。

請求項18

前記動的な放射状照明器は、前記環状領域を取り囲んで配置された複数の別個の光源を備える、請求項14に記載の網膜撮像システム。

請求項19

前記別個の光源は、複数の異なる波長発光ダイオードを備える、請求項18に記載の網膜撮像システム。

請求項20

前記別個の光源は、異なる角度位置および異なる放射状の位置で前記環状領域を取り囲んで配置される、請求項18に記載の網膜撮像システム。

請求項21

前記別個の光源のうちの1つまたは複数は、偏光フィルムまたはマイクロレンズが被せられる、請求項18に記載の網膜撮像システム。

請求項22

前記複数の画像フレームは、前記異なる照明パターンよって紅彩が実質的に閉じる前に、瞳を通して単一の撮像ウィンドウの間に画像フレームのバーストとして取り込まれる、請求項13に記載の網膜撮像システム。

請求項23

前記コントローラは、実行される際、前記網膜撮像システムに以下の、許容できない画像アーチファクトを含むとみなされる欠陥領域、または許容できるとみなされる使用可能な領域を特定するために、前記画像フレームの各々を分析することと、前記欠陥領域または前記使用可能な領域を示す前記画像フレームに注釈をつけることとを含む別の動作を実行させる別の論理を含んでおり、前記画像フレームを組み合わせることは、前記使用可能な領域を組み合わせることを含む、請求項22に記載の網膜撮像システム。

請求項24

前記画像フレームを組み合わせることは、前記欠陥領域を無視する、または強調を抑える重み付けを適用することを含む、請求項23に記載の網膜撮像システム。

請求項25

前記コントローラは、実行される際、前記網膜撮像システムに、前記画像フレームを取り込む作業の1つまたは複数の反復の間に、露出時間または利得のうちの1つまたは複数を含む前記網膜カメラの設定を変更することを含む別の動作を実行させる別の論理を含む、請求項13に記載の網膜撮像システム。

請求項26

前記動的照明器は、前記網膜カメラの撮像経路の縁の内側に配置された前記異なる照明パターンのうちの1つまたは複数を生成するための少なくとも1つの点光源を含む、請求項13に記載の網膜撮像システム。

請求項27

前記動的照明器は、前記網膜カメラの撮像経路の縁の外側に配置された前記異なる照明パターンのうちの1つまたは複数を生成するための少なくとも1つの点光源を含む、請求項13に記載の網膜撮像システム。

技術分野

0001

関連出願の相互参照
[0001] 本出願は、2017年8月14日に提出された米国仮出願第62/545,234号の利益を主張しており、この特許はその全体が参照により本明細書に組み込まれる。

0002

[0002] 本開示は一般に撮像技術に関し、詳細には網膜撮像に関する。

背景技術

0003

[0003]網膜の撮像は、多くの網膜の病気スクリーニング現場診断および進行のモニタリングのための基本的な目の検査の一部である。高い忠実度網膜像は、正確なスクリーニング、診断およびモニタリングに重要である。瞳を通り抜けて眼球後方の内側面(すなわち網膜)を明るく照らすことは、画像の忠実度を高める一方で、光学収差、またはレンズフレアなどの画像アーチファクト生むことも多い。レンズフレアは、内部反射、種々の内部境界における屈折率の変化、不完全性またはそれ以外が原因で、光がレンズ系の内部要素から散乱する現象である。このような散乱光は、レンズフレアとして網膜像に現れ、これは画像品質にとって有害である。照明を明るくする程、レンズフレアは顕著になり、これは画像の忠実度を改善する目的を徐々に失わせる。他の画像アーチファクトは、瞳との位置合わせ不良からの角膜反射または虹彩反射によって生じる場合がある。

0004

[0004] 本発明の非制限的かつ非包括的な実施形態は、以下の図面を参照して説明されており、これらの図面では、同様の参照番号は、そうでないことが特定されていなければ様々な図面を通して同様の部分を指している。適切な場合には図面を乱雑にしないために、要素の全ての例が必ずしもラベル付けされる訳ではない。図面は、必ずしも縮尺通りではなく、代わりに、記載されている原理を例示する際に強調される。

図面の簡単な説明

0005

[0005]本開示の一実施形態による、動的照明器を利用する網膜のバースト撮像システムを例示する図である。
[0006]本開示の一実施形態による動的照明器の正面図である。
[0007]本開示の一実施形態による、異なる照明パターンで取り込まれた網膜の画像フレームを例示する図である。
本開示の一実施形態による、異なる照明パターンで取り込まれた網膜の画像フレームを例示する図である。
本開示の一実施形態による、異なる照明パターンで取り込まれた網膜の画像フレームを例示する図である。
本開示の一実施形態による、異なる照明パターンで取り込まれた網膜の画像フレームを例示する図である。
[0008]本開示の一実施形態による、動的照明器を利用する網膜のバースト撮像システムの動作のプロセスを例示するフローチャートである。
[0009]本開示の一実施形態による、例証の動的な放射状照明器を例示する図である。
本開示の一実施形態による、例証の動的な放射状照明器を例示する図である。
本開示の一実施形態による、例証の動的な放射状照明器を例示する図である。
本開示の一実施形態による、例証の動的な放射状照明器を例示する図である。
本開示の一実施形態による、例証の動的な放射状照明器を例示する図である。
[0010]本開示の一実施形態による、動的照明器を利用する例証の網膜撮像システムを示す図である。
[0011]本開示の一実施形態による、一体化された画像信号プロセッサを含む網膜カメラ機能ブロック図である。
[0012]本開示の一実施形態による、一体化された画像信号プロセッサを含む網膜カメラによる画像処理を例示するブロックフロー図である。

実施例

0006

[0013]照明アーチファクトを削減するために動的照明を利用する網膜のバースト撮像のためのシステム、装置およびその操作方法の実施形態が本明細書に記載される。以下の記載において、実施形態の完全な理解を提供するために多くの特有の詳細が述べられている。しかしながら当業者は、本明細書に記載される技術は、特有の詳細のうちの1つまたは複数なしで実施する、または他の方法、構成要素、材料などによって実施することができることを認識するであろう。他の例では、よく知られた構造、材料または動作は、特定の態様を曖昧にするのを避けるために、詳細には示されない、または記載されない。

0007

[0014] 本明細書を通して、「ある実施形態」または「一実施形態」という言及は、この実施形態に関連して記載される特定の機能、構造または特徴が、本発明の少なくとも1つの実施形態に含まれることを意味している。よって「ある実施形態における」または「一実施形態における」というフレーズは本明細書の様々な場面に出てくるが、必ずしも全て同一の実施形態を指すわけではない。さらに、特定の機能、構造または特徴は、1つまたは複数の実施形態において任意の好適なやり方で組み合わされる場合もある。

0008

[0015] 高い忠実度の網膜像は、多くの網膜の病気をスクリーニングする、診断する、およびモニタリングするのに重要である。この目的のために、網膜像の一部を見えなくする、またはそれ以外の方法で害を及ぼす画像アーチファクト(例えば有害な影響を及ぼす角膜反射など)の事例を削減する、またはなくすことが望ましい。本明細書に記載される実施形態は、異なる照明パターンで照らされた網膜の複数の画像フレームを組み合わせることで複合網膜像における画像アーチファクトの発生率を低下させる。

0009

[0016]図1Aは、本開示の一実施形態による網膜のバースト撮像システム100を示している。撮像システム100の例示される実施形態は、動的照明器105、網膜カメラ110、コントローラ115および網膜125のバースト画像フレームを取り込むことが可能な光学中継システム120を含む。

0010

[0017]光学中継システム120は、網膜125の撮像光を網膜カメラ110に誘導しつつ(例えば反射させつつ)、動的照明器105からの光を瞳130を通り抜けるように誘導して(例えば通して)網膜125を照らすような働きをする。例示の実施形態では、光学中継システム120は、ビームスプリッタである。しかしながら光学中継システム120は、図5に例示される光学中継システムなど、いくつかの多様な光学素子(例えばレンズ、反射面など)で実装され得ることを理解されたい。

0011

[0018]コントローラ115は、網膜カメラ110および動的照明器105に結合されてその動作を構成する。コントローラ115は、マイクロコントローラ上で実行するソフトウェアファームウェア論理ハードウェア論理(例えば用途固有集積回路フィールドプログラマブルゲートアレイなど)、またはソフトウェアとハードウェア論理の組み合わせを含んでよい。図1Aは、別個機能要素としてコントローラ115を例示しているが、コントローラ115によって実施される論理的機能は、いくつかのハードウェア要素にわたって分散される場合もある。例えば、以下に記載される画像処理機能の一部は、一体型信号プロセッサ(ISP)として網膜カメラ110に統合されてもよい、または網膜カメラ110の外部の別個のマイクロプロセッサ上で実行されてもよい。さらにコントローラ115は、画像フレームおよび複合網膜像をバッファに格納する/保管するために取り込まれた、または装着されたメモリを含んでもよい。コントローラ115は、入力/出力(I/Oポート)、通信システム、ユーザインターフェースまたはそれ以外をさらに含んでもよい。

0012

[0019]網膜カメラ110は、相補形金属酸化物半導体(CMOS)画像センサ電荷結合素子(CCD)画像センサまたはそれ以外など、様々な撮像技術を利用して実装されてよい。一実施形態において、網膜カメラ110は、図6に関連して考察するように、オンボードメモリバッファおよびISPを含む。

0013

[0020] 動作中、コントローラ115は、動的照明器105および網膜カメラ110を操作して、瞳130を通して単一の撮像ウィンドウの間に網膜125の画像フレームのバーストを取り込む。動的照明器105は、その照明パターンが固定されず、むしろ画像フレーム間で変更され得る(例えばコントローラ115に反応して変更される)点において動的である。いくつかの実施形態において、単一の撮像ウィンドウは、動的照明器105から出力された照明パターンにより虹彩135が実質的に閉じる前に瞳130を通して網膜125を撮像するのに利用することができる時間量である。種々の実施形態では、単一の撮像ウィンドウは、500ミリ秒未満の持続時間に相当する。他の実施形態において、単一の撮像ウィンドウは、200ミリ秒未満の持続時間に相当する。一実施形態において、単一の撮像ウィンドウは、おおよそ100ミリ秒である。さらに他の実施形態において、単一の撮像ウィンドウはこれより長い場合もあり、5秒まで継続する場合もある。撮像バーストまたは単一の撮像ウィンドウの範囲内で画像フレームのうちの1つまたは複数を取り込む作業の間に、コントローラ115は、異なる照明パターンを出力するように動的照明器105を再構成する。一実施形態において、異なる照明パターンは、網膜125の視野(FOV)の周りの異なる角度位置から網膜125を照らす。当然のことながら、異なる照明パターンは、以下で考察するように動的照明器105のその他の再構成を含んでもよい。このような異なる照明パターンによって、画像アーチファクトは画像フレームの異なる領域に現れるようになる。したがって、異なる照明パターンで照らされた複数の異なる画像フレームを取得することによって、画像アーチファクトによって遮られる複合網膜像の領域がほとんどない、または全くない、高品質の複合網膜像を生成することができる。画像アーチファクトは、動的照明器105の瞳130との位置合わせ不良、レンズフレアまたはそれ以外が原因で、眼球101の角膜からの反射、または紅彩135からの反射から生じる可能性がある。

0014

[0021]図1Bは、本開示の一実施形態による一例の動的な放射状照明器150の正面図を示している。動的な放射状照明器150は、動的照明器105の例示の実装形態を表しており、この場合照明地点は、環状領域155の周りに放射状に配置される。したがって、動的な放射状照明器は、放射状の実装形態を表しているが、動的照明器105は、動的に変化する照明を達成することが可能な他の構成(放射状またはそれ以外)で実装される場合もあることを理解されたい。

0015

[0022]図1Bに示されるように、動的な放射状照明器150は、各々が網膜125のFOVの周りの異なる角度位置を有する12個の別個の照明地点1から12を含む。動作中、網膜カメラ110および動的な放射状照明器150は、網膜125が、1から12までの各々の照明地点から別々に照らされる間、1つまたは複数の画像フレームを取得するようにコントローラ115によって操作されてよい。他の実施形態において、1から12の照明地点の集合は、画像フレーム毎に有効にされる。このような集合に分けられた照明地点は、環状領域155の周りの隣接する地点であってよい、または隣接しない照明地点であってもよい。

0016

[0023]図2A図2Dは、本開示の一実施形態による、異なる照明パターンによって取り込まれた網膜125の4つの画像フレームを示す。例えば図2Aは、画像の上部右の四分円に画像アーチファクト225を有する網膜125の一例の画像フレーム205を示す。画像アーチファクト225は、角膜反射、紅彩135による反射または妨害、レンズフレアまたはそれ以外のものである可能性がある。したがって、画像フレーム205の上部の右四分円は、許容できない画像アーチファクトを有する欠陥領域であるとみなされてよい。画像フレーム205の他の3つの四分円には、顕著な画像アーチファクトは含まれず、複合網膜像に使用できる領域であるとみさなれてよい。結果として、画像アーチファクト230を含む、画像フレーム210の下部の右四分円は欠陥領域であるとみなされてよく、画像アーチファクト235含む、画像フレーム215の下部の左四分円は欠陥領域であるとみなされてよく、画像アーチファクト240の一部を含む、画像フレーム220の下部の左四分円および上部の左四分円は欠陥領域であるとみなされてよい。画像アーチファクトは、図2A図2Dに例示されるように周辺部にちょうど沿っているのではなく、中央領域を含めた画像フレーム内のどこにでも現れる可能性があることを理解されたい。図2A図2Dは、四分円に分割された画像フレームを例示しているが、画像フレームは、様々な異なる形状を有する任意の数の領域に分けられてよい。一実施形態において、欠陥領域は、画像アーチファクト自体のサイズおよび形状に限定されてよい。顕著な画像アーチファクトを持たない領域は、複合網膜像になるように組み合わせるのに許容できる使用可能な領域とみなされてよい。網膜像205、210、215および220を位置合わせおよびクロッピングし、欠陥領域を無視する、またはその強調を抑える一方で、使用可能な領域を組み合わせることによって、対象の全領域または網膜125のFOVをカバーする単一で高品質の欠陥のない複合網膜像を取得することができる。

0017

[0024] 上記で述べたように、画像アーチファクト225〜240は、様々な理由で生じる可能性がある。角膜反射の場合では、画像アーチファクトは、照明位置から画像フレームの反対側に現れることが多い。したがって画像アーチファクト230が角膜反射によって生じた場合、このとき網膜125は照明地点10−12および1から照らされていた可能性がある。このようなシナリオでは、網膜125を他の地点から照らしながら再度撮像することで、使用可能な、またはほぼ欠陥のない下部の右四分円の画像を達成し得る。

0018

[0025]紅彩135による反射または妨害の場合では、動的照明器105は、照明地点1−4から照らされたとき、瞳130と位置合わせ不良である可能性がある。そのような位置合わせ不良は、例示されるように、画像フレーム205の上部の右四分円に有害な影響を及ぼす反射を生じる可能性がある。このような画像の欠陥を修正するために、網膜125は、画像フレーム205の上部の右四分円にある欠陥領域の反対側の照明地点7−10を利用して再度撮像されてよい。

0019

[0026]図3は、本開示の一実施形態による、網膜撮像システム100の動作のプロセス300を例示するフローチャートである。プロセスの一部または全てがプロセス300に登場する順序は、限定とみなすべきではない。むしろ本開示の利益を有する当業者は、プロセスブロックの一部は、例示されない様々な順序で、またはさらには並行して実行される場合もあることを理解するであろう。

0020

[0027]プロセスブロック305において、網膜の撮像バーストがコントローラ115によって開始される。一実施形態において、開始は、ユーザ入力(例えばボタン押圧)に応答して誘発される。さらに別の実施形態では、開始は、眼球101の視線が光学中継システム120と十分に位置合わせされたとき、網膜の撮像バーストを作動させる視線追跡システム(例えば紅彩/瞳追跡カメラ)に基づいて自動的に誘発される場合もある。

0021

[0028]プロセスブロック310において、動的照明器105の最初の照明パターンおよび/または網膜カメラ110の最初のセンサ設定が選択される。このような最初の設定は、初期設定であってよい、または網膜カメラ110からのリアルタイムフィードバックに基づいてコントローラ115によって動的に選択されてもよい。例えば環境条件または眼球101の特徴が、最初の照明パターンおよびセンサ設定の選択を変更する場合もある。

0022

[0029]プロセスブロック315では、動的照明器105は、網膜カメラ110による撮像のための照明を提供する、予め選択された照明パターンを放出することができるようにされる。ひとたび動的照明器105が有効にされると、反復する動的照明および画像取り込みを伴う単一の撮像ウィンドウが始まる。プロセスブロック320では、網膜カメラ110は、現在選択されるセンサ設定で網膜125の画像フレームを取り込む。追加の画像フレームを取得すべき場合(決定ブロック325)、この場合プロセス300は、プロセスブロック315および320において再度照明し次の画像フレームを取り込む前に、プロセスブロック330に進み、そこで照明パターンが調節されてよく、プロセスブロック335では、画像センサ設定が調節されてよい。

0023

[0030] 単一の撮像ウィンドウの間に取り込まれる画像フレームの数は、4つまたはそれ以上の画像フレームであってよい。種々の実施形態では、16のフレーム、24のフレーム、48のフレーム、またはさらには48を超えるフレームが、単一の撮像ウィンドウの間に取り込まれてよい。照明パターンおよび/またはカメラ設定は、同一の照明パターンおよび/または同一の画像センサ設定で複数の画像フレームが取得されるように、各画像フレーム間で、または画像フレームの集合間で調整されてよい。プロセスブロック330における照明パターンの調節には、異なる環状の位置または放射状の位置から網膜125を照らすための環状領域155の周りの照明位置の変更、照明の明るさの変更、照明波長(例えば赤色光緑色光青色光赤外線光白色光または他の波長)の変更、画像フレームの間、または他の照明設定間での照明継続時間の変更のうちの1つまたは複数が含まれてよい。プロセスブロック335における画像センサ設定の調節には、利得設定の変更、露出継続時間の変更、絞り設定の変更または他のセンサ設定の変更のうちの1つまたは複数が含まれてよい。

0024

[0031] ひとたび全ての最初の画像フレームが取得されたと判定されると(決定ブロック325)、プロセス300は、プロセスブロック340に進む。プロセスブロック340では、取り込まれた画像フレームは任意選択分析されて、許容できない画像アーチファクトを含むと見なされる欠陥領域(または許容可能であると見なされる使用可能な領域)を特定する。このような領域(欠陥領域または使用可能な領域のいずれか)は任意選択でそのように注釈がつけられる。

0025

[0032]決定ブロック345では、単一の撮像ウィンドウの期間が終わる前に、追加の画像フレームを取得すべきかどうかが判定される。一実施形態において、この判定は、プロセスブロック340での分析および注釈に基づくものである。したがって一実施形態においてコントローラ115は、網膜125の対象の任意の領域が不十分な品質で撮像されているかどうかを判定する。対象の任意の領域が不十分な品質で撮像されている場合、プロセス300は、プロセスブロック330に戻り、不十分な品質で撮像された対象の領域における、および取得された(プロセスブロック320)1つまたは複数の追加の画像フレームにおける画像アーチファクトを削減する1つまたは複数の追加の照明パターンで動的照明器105を再構成する。一実施形態において、このような追加の画像フレームもまた、単一の撮像ウィンドウの閉鎖より前に取得される。

0026

[0033] 対象の全ての領域が十分な品質で撮像され、それ故に使用可能であると見なされると(または単一の撮像ウィンドウの期間が満了すると)、プロセス300は、反復ループを出る。画像フレームはその後、互いに対して位置合わせされ、共通の網膜FOVに対してクロッピングされ(プロセスブロック350)、組み合わされ(プロセスブロック355)、複合網膜像として保存される(プロセスブロック360)。種々の実施形態では、画像フレームはいくつかの異なる方法で(例えば重ね合わされる、縫い合わされるなど)組み合わされてもよい。一実施形態において、欠陥領域を無視する、またはそれ以外の方法で強調を抑え、これによりより大きな重みを使用可能な領域に与えるために、画像フレームの欠陥領域および使用可能な領域に重み付けが適用される。別の実施形態において、画像フレームは、任意の特定のピクセルの良質な画像が、そのピクセルの欠陥画像より重要であるという前提と共に一緒に平均化される。一実施形態では、使用可能な領域のみが組み合わされる。

0027

[0034]画像フレームのバーストを組み合わせるための画像スタッキング技術は、平行移動オフセットを特定するために画像フレームに対する位相相関予備段階を含んでよい。ひとたび特定されると、画像フレームは、オフセットを補正するために反対方向にその分量だけ移動され、縁部はゼロ詰めされる(プロセスブロック350)。位置合わせされた画像のスタックはその後、以下の3つの一例の方法(または他の方法)のうちのいずれか1つによってより好適な信号対雑音比(SNR)で単一の画像に合成される(プロセスブロック355)。

0028

[0035] 平均化:同一のx/y座標を有する全ての非ゼロ詰めピクセルが、スタック内の全ての画像にわたって平均される。一実施形態において、増分平均化アルゴリズムが使用されることで、全てのスタックを同時にメモリに維持することは必須ではない。

0029

[0036]シグマクリップ平均化:この技術は、各々のピクセルスタック(同一の画像空間座標を有する全てのピクセル)の標準偏差が計算され、外れ値はねられる点を除いて平均化と同様である。この外れ値に対するカットオフ地点は、平均値+/-標準偏差の任意の倍数因子である、または固定標準偏差値の任意の倍数因子であり、これは所与のカメラ設定における雑音の所定の標準偏差に相当する。例えば、2.1を超える値が、倍数因子として使用されてよい。これは、増分アルゴリズムであるが、2つまたはそれ以上のパス予想され、1つのパスは、スタックからの平均および標準偏差画像を計算し、別のパスは、外れ値をクリップする増分平均を計算する。

0030

[0037]シグマ−クリップ平均化の性能は、カットオフ地点を決定する際の非線形論理によって改善されてよい。例えば、レンズフレアを伴う場合と、レンズフレアがない場合の2つのケースしかない場合、このとき各ピクセルに関するスタックにわたる輝度の分散は二方式性であるべきである。低い方のモードは真の値に相当し、高い方のモードはレンズフレアに相当する。この場合、レンズフレアを含むサンプルの大半を拒絶するために、モード間の中間点より上をクリップしたいと望むであろう。最適な方式の選択は、実際のシステムのノイズ特徴によって決まる。

0031

[0038]中央値:同一のx/y座標を有する全ての非ゼロ詰めピクセルの中央値が使用される。これは、増分アルゴリズムではなく、合成時間における全ての画像フレームを使用する。

0032

[0039]図4A図4Eは、本開示の一実施形態による、例証の動的な放射状照明器を例示している。図4A図4Eに例示される動的な放射状照明器は、図1Aに例示された動的照明器105の可能な実装形態を表している。

0033

[0040]図4Aは、光源410と、レンズ415と、動的マスク420とを含む動的な放射状照明器を例示している。光源410は、レンズ415によって平行にされる(または単に光の発散を抑える)点光源として実装されてよい。一実施形態において、光源410は、発光ダイオードLED)である。動的マスク420は、光源410によってその裏側から照らされたときに照明光を通す位置が変えられる穴425を含む。穴425の位置は、中心430から半径方向に、または中心430の周りに角度を付けて移動されてよい。一実施形態において動的マスク420は、マスク420を回転させることによって位置が変えられる1つまたは複数の穴425を有する回転可能な不透明なマスクである。さらに他の実施形態において、動的マスク420は、コントローラ115の影響を受けて穴425の位置を変えることが可能な電気彩度調光可能な窓または偏光子を備えた液晶ディスプレイ(LED)など空間光変調器SLM)であってもよい。他の実施形態では、動的マスク420は、正面側が照らされてもよく、位置が変えられる穴425は、位置が変えられる反射要素で置き換えられてもよい。

0034

[0041]図4Bは、光源440と、アキシコンレンズ445と、動的マスク420とを含む動的な放射状照明器435を示している。動的な放射状照明器435は、光源440が、アキシコンレンズ445によって動的マスク420の裏側を照らすために光のリングに変換されるレーザ源であることを除いて、動的な放射状照明器405と同様である。

0035

[0042]図4Cは、環状領域460(例えば環状基板)を取り囲んで配置された複数の別個の光源455を含む動的な放射状照明器450を示している。環状領域460は、網膜125のFOVを取り巻くように位置決めされ、異なる照明パターンが環状領域460から放出される。FOVは、ユーザが環状領域460の中心をのぞき込むようにすることによって物理的に取り囲まれてよい、または網膜125のFOVの周りで環状領域460を撮像するための光学中継システムを利用して光学式に取り囲まれる場合もある。これは、本明細書に記載される他の動的照明器にも同様に適用することができる。

0036

[0043]別個の光源455は、個々の制御および照明のためにコントローラ115に結合される。別個の光源455の個々の1つは、点光源照明のために照明されてよい。あるいは、別個の光源455のうちの複数の選択されたものが、同時に照明される場合もある。一実施形態において別個の光源455はLEDである。LEDは、全て同じ色である、複数の異なる色である、各々が単色である、または各々が広域スペクトルであってもよい。さらに、LEDは、可視帯域および/または赤外線(IR)帯域で光を放出してよい。

0037

[0044]図4Dは、別個の光源475が多色であり、可変の角度位置および放射状の位置の両方で環状領域460を取り囲んで配置される動的な放射状照明器470を示している。図4Dは、異なる色または波長を有する別個の光源475を例示しているが、他の実施形態では、可視スペクトルまたは赤外線スペクトルでのこれより多くの、またはこれより少ない色/波長が使用されてもよい。同様に、他の実施形態は、別個の光源475のための3つより多くの、または3つより少ない放射状の位置を含む場合もある。さらに他の実施形態において、別個の光源475のうちの1つまたは複数は、偏光子(線形または円形のいずれかの)が被せられる場合もある。例えば別個の光源475の一部分は、水平方向の、または左円の偏光フィルムを含んでよく、その一方で他の部分は、垂直方向の、または右円の偏光フィルムを含んでもよい。一実施形態において、マイクロレンズが、別個の光源475の上に配置されてもよい。

0038

[0045]図4Eは、別個の光源485が、可変の角度位置および放射状の位置の両方で環状領域460を取り囲んで配置される別の例の動的な放射状照明器480を示している。動的な放射状照明器480は、照明器470と同様の構成を有する。種々の実施形態では、別個の光源485は、白色LED、IR LEDまたは白色LEDとIR LEDの組み合わせであり得る。さらに、別個の光源485は、不透明であり、各々の別個の光源485の照明開口部のサイズおよび形状に制約を加える照明バッフル被覆されてもよい。一実施形態において、照明バッフルはまた、各々の別個の光源485から放出される個々の光円錐の発散に制約を加えてもよい。光バッフルはまた、各々の別個の光源485から放出された光円錐の分割および隔離を確実にし、別個の光源485間の相互汚染を抑制する、または阻止するような働きをしてもよい。当然のことながら、照明バッフルは、上記で考察した動的な放射状照明器のうちのいずれかの上に含まれてもよい。

0039

[0046]図5は、本開示の一実施形態による、動的照明器を利用する例証の網膜撮像システム500を示す図である。網膜撮像システム500は、網膜撮像システム100の1つの可能な実装形態である。網膜撮像システム500の例示される実施形態は、動的な放射状照明器505と、網膜カメラ510と、コントローラ115と、ユーザインターフェース515と、ディスプレイ520と、レンズ525およびビームスプリッタ530を含む光学中継システムとを含む。システム500は、システム100およびプロセス300と関連して記載したのと同じやり方で動作する。

0040

[0047] 動的照明器505の中央セクション535は、網膜125のFOVの周りの光路内に物理的に位置決めされる。いくつかの実施形態において、動的照明器505の環状領域は、網膜カメラ510に到達する前に、多くの軸外の有害な影響を及ぼす反射を阻止するための中断部分として作用する。網膜像は、中央セクション535を通過して網膜カメラ510へと進む。角膜からの有害な影響を及ぼす反射による画像アーチファクトを削減することに加えて、動的照明器505の環状領域の周りの複数の照明地点の利用は、システム500のアイボックスを拡大させる働きもする。アイボックスとは、眼球101を位置決めし、撮像することができる空間内の領域である。いくつかの実施形態において、動的照明器505の別個の光源(例えば点光源)の全てまたはその一部は、網膜125から網膜カメラ510まで延びる撮像経路の縁の外側(例えばその周辺に)配置される。他の実施形態において、動的照明器505の別個の光源のうちの1つまたは複数は、網膜カメラ510までの撮像経路の縁の内側に配置される。

0041

[0048] 一実施形態において、中央セクション630は、1つまたは複数の光学フィルム(例えば二色性コーティング)でコーティングされて、900nm以下の波長を有する光を実質的に通し、900nmを超える光を実質的に反射することで赤外線(IR)視線追跡の使用を容易にする。一実施形態において、紅彩カメラ(例示されない)が、IR視線追跡を支援するために横方向に配置される。紅彩カメラは、眼球101の紅彩および/または瞳を追跡する、または撮像することによって、例えばまばたきおよび視線追跡など、眼球101の全体の動きを追跡するように作用してよい。

0042

[0049]ビームスプリッタ530が、網膜像の光の一部を網膜カメラ510に通し、その一方でディスプレイ520から出力されたディスプレイ光を眼球101に反射させるために位置決めされる。ディスプレイ光は、撮像中の網膜の位置合わせを助けるために、固定標的または他の視覚的な刺激を含んでよい。いくつかの実施形態において、ビームスプリッタ530は、反射性ではなく、より透過性である。一実施形態において、ビームスプリッタ530は、おおよそ90%の透過性であり、10%の反射性である。他の反射/透過比履行されてもよい。レンズ525が、システム500全体にわたって設けられて光路内での画像および光の集中を実現する。ユーザインターフェース515は、バースト画像取り込みを開始するための機構を提供する。一実施形態においてユーザインターフェース515はボタンである。

0043

[0050]図6は、本開示の一実施形態による、一体化された画像信号プロセッサを含む網膜カメラ600の機能的ブロック図である。網膜カメラ600は、網膜カメラ110(または510)の1つの可能な実装形態である。網膜カメラ600の例示の実施形態は、二次元センサアレイ605と、データ変換回路610と、メモリバッファ615と、一体型画像信号プロセッサ(ISP)620と、出力ポート625とを含む。

0044

[0051] 動作中、二次元画像データ(例えば網膜像)が、センサアレイ605によって取得され、データ変換回路610によってアナログ定義域からデジタル定義域に変換される。画像データは、高いフレーム率(例えば毎秒24、48、60、240、1000フレーム)で取得され、メモリバッファ615に格納されてよい。ISP620は、バッファに格納された網膜像フレームに対して作用して、使用可能な領域または欠陥領域を特定し、画像フレーム中の対象の領域に注釈を付ける、および/または使用可能な領域を高品質の複合網膜像になるように組み合わせる。 したがって一実施形態において上記に記載した画像処理タスクの一部は、コントローラ115からISP620に移動されてもよい。ISP620は、コントローラ115の論理サブコンポーネントとみなされてよい。

0045

[0052]図7は、本開示の一実施形態による、高品質の複合網膜像を取得するために一体型ISP620を有する利益を活用する、網膜カメラ600による画像処理を例示するブロックフロー図である。例示されるように、網膜125の画像フレーム705A-Cは、センサアレイ605によって高いフレーム率で取得され、データ変換回路610によってデジタル定義域に変換され、メモリバッファ615に格納される。画像分析器710がISP620によって実行されて、バッファに格納された網膜像705を分析して(処理の一種)画像フレーム805のどの部分が十分な品質であり、どの部分が許容できない画像アーチファクトによって不十分な品質であるかを判定する。例えば、画像分析器710は、ぼやけた部分、有益であるために十分なコントラストを持たない、取り除かれた、および/または許容できない角膜または紅彩反射、あるいはレンズフレアを含む部分に関して画像フレーム705を分析してよい。許容できないとみなされる画像の部分は、許容不能とフラグが立てられ(例えば印が付けられる、または注釈が付けられる)、許容できるとみなされる画像の部分は、そのようにフラグが立てられる。画像フレームはその後、画像登録クロッピングモジュール715によって互いに対して登録され(例えばピクセル同士の位置合わせ)、共通のFOVに対してクロッピングされ、単一の複合網膜像725になるようにスタッキングモジュール720によって組み合わされる。スタッキングモジュール720は、画像を組み合わせて高い動的範囲の画像を生成する。他の実施形態において画像フレーム705は、個々の画像フレームの分析および/または注釈づけなしで単純に組み合わされる。

0046

[0053] 上記で説明したプロセスは、コンピュータソフトウェアおよびハードウェアの点で説明されている。記載される技術は、機械によって実行される際、記載される動作をその機械に実行させる、実体のある、または非一時的機械(例えばコンピュータ読み取り能記媒体において具現化される機械実行可能命令を構成してよい。追加として、プロセスは、特定用途向け集積回路(「ASIC」)またはそれ以外のものなどハードウェアにおいて具現化されてもよい。

0047

[0054]有形機械読み取り可能記憶媒体には、機械(例えばコンピュータ、ネットワークデバイスパーソナルデジタルアシスタント製造工具一セットの1つまたは複数のプロセッサを備えた任意のデバイスなど)によってアクセス可能な非一時的形態で情報を提供する(すなわち格納する)任意の機構が含まれる。例えば、機械読み取り可能記憶媒体には、記憶可能な/非記憶可能な媒体(例えば読み出し専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、磁気ディスク記憶媒体光学記憶媒体フラッシュメモリデバイスなど)が含まれる。

0048

[0055]要約書に記載されるものを含めた、本発明の例示の実施形態の上記の記載は、包括的であること、または開示される正確な形態に本発明を限定することは意図されていない。本発明の特有の実施形態およびその例は、例示の目的のために本明細書に記載されており、関連分野の当業者が認識するように本発明の範囲内で種々の修正形態が可能である。

0049

[0056] このような修正形態は、上記の詳細な記載に照らして本発明に対して作成することができる。以下の特許請求の範囲で使用される用語は、本発明を明細書に開示される特有の実施形態に限定するように解釈すべきではない。むしろ、本発明の範囲は、以下の特許請求の範囲によって全体が決定されるべきであり、特許請求の範囲の解釈の確立された教義に従って解釈されるべきである。排他的所有権または特権が主張される本発明の実施形態は、以下のように定義される。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 日本化薬株式会社の「 光学積層体、これを備えた偏光レンズ及びアイウェア」が 公開されました。( 2020/12/17)

    【課題・解決手段】第一の支持体と第二の支持体の間に、コレステリック液晶層及び偏光素子を備えた光学積層体であって、 第一の支持体及び/又は第二の支持体がポリアミド樹脂を含有し、 1)第一の又は第二の... 詳細

  • 三井化学株式会社の「 レンズユニット」が 公開されました。( 2020/12/17)

    【課題・解決手段】本発明のレンズユニットは、液晶レンズを有するレンズと、レンズの周縁部を覆うリム部と、液晶レンズの制御を行う制御部と、周縁部に露出した液晶レンズの電極端部と制御部とを電気的に接続し、リ... 詳細

  • ヴィジョンエンジニアリングリミテッドの「 単対物レンズを有する実体顕微鏡」が 公開されました。( 2020/12/17)

    【課題・解決手段】開口部を含む対物アセンブリを有する顕微鏡で使用するためのアセンブリである。アセンブリは、レンズ及びビームスプリッターを含む。レンズ及びビームスプリッターは、2つの光路のそれぞれにそれ... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ