図面 (/)

技術 眼科撮影装置、および、眼科用画像処理プログラム

出願人 株式会社ニデック
発明者 柴涼介熊谷佳紀本多直人藤生賢士朗村瀬祐二
出願日 2019年3月29日 (1年10ヶ月経過) 出願番号 2019-067252
公開日 2020年10月8日 (4ヶ月経過) 公開番号 2020-162927
状態 未査定
技術分野
  • -
主要キーワード 制御点毎 断面長手方向 変形行列 ループ目 フィッティング曲線 ポイント状 重み付加 フィッティング誤差
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年10月8日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

歪みの少ない被検眼の画像を得ること。

解決手段

眼科撮影装置1は、走査型撮影光学系10,20と、受光素子からの信号に基づいて複数枚の被検眼の画像を撮影するプロセッサ70と、画像処理器80と、を備える。プロセッサ70は、撮影光学系10,20を制御することによって、第1の条件で撮影された被検眼の画像である第1画像を取得すると共に、前記第1画像とは異なる撮影タイミングにおいて、第1の条件に対して歪みが少なくなるように設定された第2の条件で、被検眼の画像である第2画像を撮影する。画像処理器80は、第1画像を画像処理テンプレートとして利用する際に予め、第2画像に対する第1画像の歪みの検出処理、および、歪みの補正処理のうち少なくともいずれかの処理を行う。

概要

背景

従来、眼科分野において、同一箇所撮影した複数枚眼科画像画像処理して、S/N等の画質の向上を図る種々の手法が知られている。

画像処理において基準となる眼科画像は、テンプレートとも呼ばれ、良好なテンプレートを得るための手法が、これまでに提案されている。例えば、特許文献1には、連続的に撮影された複数枚の被検眼の画像のうち、固視が安定しているときに撮影された一部を判別し、固視が安定しているときに撮影された画像による合成画像を、テンプレートとして作成する手法が開示されている。

また、より広い画角で被検眼を撮影する、走査型眼科撮影装置の利活用が、近年、急速に広がっている(例えば、特許文献2参照)。

更に、走査型の眼底撮影装置において、高解像度化が求められている。

概要

歪みの少ない被検眼の画像を得ること。眼科撮影装置1は、走査型の撮影光学系10,20と、受光素子からの信号に基づいて複数枚の被検眼の画像を撮影するプロセッサ70と、画像処理器80と、を備える。プロセッサ70は、撮影光学系10,20を制御することによって、第1の条件で撮影された被検眼の画像である第1画像を取得すると共に、前記第1画像とは異なる撮影タイミングにおいて、第1の条件に対して歪みが少なくなるように設定された第2の条件で、被検眼の画像である第2画像を撮影する。画像処理器80は、第1画像を画像処理のテンプレートとして利用する際に予め、第2画像に対する第1画像の歪みの検出処理、および、歪みの補正処理のうち少なくともいずれかの処理を行う。

目的

本開示は、従来技術の問題点の少なくとも1つに鑑みてなされたものであり、歪みの少ない被検眼の画像が得られる、眼科撮影装置、および、眼科用画像処理プログラムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

該当するデータがありません

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

光源からの光を被検眼組織上で走査する走査手段と、前記組織からの戻り光受光する受光素子と、を含む撮影光学系と、前記受光素子からの信号に基づいて被検眼の画像を撮影する撮影制御手段と、画像処理手段と、を有し、前記撮影制御手段は、前記撮影光学系を制御することによって、第1の条件で撮影された被検眼の画像である第1画像を取得すると共に、前記第1画像とは異なる撮影タイミングにおいて、前記第1の条件に対して歪みが少なくなるように設定された第2の条件で、被検眼の画像である、第2画像を撮影 し 、前記画像処理手段は、前記第1画像を画像処理のテンプレートとして利用する際に予め、前記第2画像に対する前記第1画像の歪みの検出処理、および、前記歪みの補正処理のうち少なくともいずれかの処理を行う、眼科撮影装置

請求項2

前記第1の条件は、前記第1画像として可視光による撮影画像を取得するための条件であり、前記第2の条件は、前記第2画像として赤外光による観察画像を取得するための条件である、請求項1記載の眼科撮影装置。

請求項3

前記撮影制御手段は、前記画像処理手段によって検出される歪みが許容範囲を超えた場合に、前記第1画像を再撮影する請求項1又は2記載の眼科撮影装置。

請求項4

前記撮影制御手段は、前記画像処理手段によって検出される歪みが許容範囲を超えた場合に、前記第1の条件に対して歪みが少なくなるように設定された第3の条件で撮影された被検眼の画像である、第3画像を取得する、請求項1又は2記載の眼科撮影装置。

請求項5

前記撮影制御手段は、前記画像処理手段によって検出される歪みが許容範囲を超えた場合に、報知手段を介して報知する、請求項1又は2記載の眼科撮影装置。

請求項6

前記撮影制御手段は、前記観察画像である前記第2画像を取得した後、レリーズ信号に基づいて前記撮影画像である前記第1画像を取得する、連続撮影処理を開始させ、前記画像処理手段は、前記連続撮影処理と並行して、前記歪み検出処理を行い、前記撮影制御手段は、前記画像処理手段によって検出される歪みが許容範囲を超えた場合に、前記連続撮影処理を中断する請求項1又は2記載の眼科撮影装置。

請求項7

前記第2の条件は、前記第1の条件に対して、被検眼の撮影範囲に対して光を走査する時間が短い、請求項1から6の何れかに記載の眼科撮影装置。

請求項8

前記画像処理手段は、前記第1画像と前記第2画像との間における、画像内の複数の対応点又は対応領域の移動量に基づいて、前記検出処理または前記補正処理を行う、請求項1から7のいずれかに記載の眼科撮影装置。

請求項9

前記撮影制御手段は、前記第1画像を複数枚撮影し、前記画像処理手段は、更に、前記複数枚の前記第1画像のうち前記第2画像に対する前記補正処理が行われたいずれかを前記テンプレートとして、残りの第1画像を合成する、請求項1から8のいずれかに記載の眼科撮影装置。

請求項10

コンピュータプロセッサによって実行されることにより、第1の条件にて、走査型の撮影光学系により撮影された被検眼の画像である、第1画像を取得する第1画像取得ステップと、前記第1の条件に対して歪みが少なくなるように設定された第2の条件にて、走査型の撮影光学系により撮影された被検眼の画像である、第2画像を取得する第2画像取得ステップと、前記第1画像を画像処理のテンプレートとして利用する際に、前記第2画像に対する前記第1画像の歪みの検出処理、および、前記歪みの補正処理のうち少なくともいずれかの処理を行う、テンプレート生成ステップと、を前記コンピュータに実行させる眼科用画像処理プログラム

技術分野

0001

本開示は、被検眼の画像を処理する眼科撮影装置、および、眼科用画像処理プログラムに関する。

背景技術

0002

従来、眼科分野において、同一箇所撮影した複数枚眼科画像画像処理して、S/N等の画質の向上を図る種々の手法が知られている。

0003

画像処理において基準となる眼科画像は、テンプレートとも呼ばれ、良好なテンプレートを得るための手法が、これまでに提案されている。例えば、特許文献1には、連続的に撮影された複数枚の被検眼の画像のうち、固視が安定しているときに撮影された一部を判別し、固視が安定しているときに撮影された画像による合成画像を、テンプレートとして作成する手法が開示されている。

0004

また、より広い画角で被検眼を撮影する、走査型の眼科撮影装置の利活用が、近年、急速に広がっている(例えば、特許文献2参照)。

0005

更に、走査型の眼底撮影装置において、高解像度化が求められている。

先行技術

0006

特開2015−008841号公報
特開2016−123467号公報

発明が解決しようとする課題

0007

しかし、走査型の撮影装置では、大きな画角で撮影する場合ほど、画像1枚当たりの撮影に要する時間が増大する傾向にある。撮影時間の増大に伴って、各々の画像の撮影中(走査中)に眼の動きが生じることは、避け難くなってしまう。つまり、各々の画像において歪みが避け難くなってしまう。このような場合、特許文献1に開示された手法では対応が難しい。

0008

本開示は、従来技術の問題点の少なくとも1つに鑑みてなされたものであり、歪みの少ない被検眼の画像が得られる、眼科撮影装置、および、眼科用画像処理プログラムを提供すること、を技術課題とする。

課題を解決するための手段

0009

本開示の第1態様に係る眼科撮影装置は、光源からの光を被検眼の組織上で走査する走査手段と、前記組織からの戻り光受光する受光素子と、を含む撮影光学系と、前記受光素子からの信号に基づいて被検眼の画像を撮影する撮影制御手段と、画像処理手段と、を有し、前記撮影制御手段は、前記撮影光学系を制御することによって、第1の条件で撮影された被検眼の画像である第1画像を取得すると共に、前記第1画像とは異なる撮影タイミングにおいて、前記第1の条件に対して歪みが少なくなるように設定された第2の条件で、被検眼の画像である、第2画像を撮影し、前記画像処理手段は、前記第1画像を画像処理のテンプレートとして利用する際に予め、前記第2画像に対する前記第1画像の歪みの検出処理、および、前記歪みの補正処理のうち少なくともいずれかの処理を行う。

0010

本開示の第2態様に係る眼科用画像処理プログラムは、コンピュータプロセッサによって実行されることにより、第1の条件にて、走査型の撮影光学系により撮影された被検眼の画像である、第1画像を取得する第1画像取得ステップと、前記第1の条件に対して歪みが少なくなるように設定された第2の条件にて、走査型の撮影光学系により撮影された被検眼の画像である、第2画像を取得する第2画像取得ステップと、前記第1画像を画像処理のテンプレートとして利用する際に、前記第2画像に対する前記第1画像の歪みの検出処理、および、前記歪みの補正処理のうち少なくともいずれかの処理を行う、テンプレート生成ステップと、を前記コンピュータに実行させる。

発明の効果

0011

本開示によれば、歪みの少ない被検眼の画像が得られる。

図面の簡単な説明

0012

実施形態に係る装置の概略構成を示す図である。
撮影光学系の概略構成を示す図である。
実施形態に係る動作の流れを示したフローチャートである。
テンプレート取得処理を説明するためのフローチャートである。
比較画像基準領域基準点)を説明する図である。
比較画像の基準点と、基準領域のマッチングによってテンプレート上で特定された対応点と、を示す図である。
テンプレート上の各対応点と比較画像の各基準点とのアフィン変換を説明するための図である。
対応点とアフィン写像とに基づく歪みの有無についてを説明するための図である。
撮影処理を説明するためのフローチャートである。
第1の歪み補正合成処理を説明するためのフローチャートである。
テンプレートを分割する場合の一例を示している。
テンプレートを分割する場合の一例であって、図8Aよりも詳細に分割した場合を示している。
テンプレートを分割する場合の一例であって、図8Bよりもさらに詳細に分割した場合を示している。
歪み補正後の被検眼の画像において、再変形が必要か否かの判定処理を説明するための図である。
類似度による加算の重み付係数計算手法を説明するための図である。
第2の歪み補正・合成処理を説明するためのフローチャートである。
第2の歪み補正・合成処理において、制御点(対応点)の配置態様の一例を示した図である。
移動量のフィッティング曲線概要を示した図である。
画角の広い撮影画像において、歪み補正・合成処理を適用する場合の分割の態様の一例を示す図である。
図14Aよりも詳細に分割した場合を示している。
図14Bよりもさらに詳細に分割した場合を示している。

実施例

0013

以下、図面を参照しつつ、本開示にかかる実施形態を説明する。便宜上、以下では、特に断りが無い限り、実施形態に係る「眼科用画像処理プログラム」の処理内容は、「眼科撮影装置」によって実行されるものとして説明する。

0014

眼科撮影装置は、被検眼の画像(眼科画像)として、眼底正面画像(以下、眼底画像と称する)を撮影する。但し、「眼科撮影装置」は、必ずしも眼底を撮影するものに限定されるものではなく、被検眼の前眼部等、他の部位を撮影してもよい。

0015

装置構成
実施形態に係る眼科撮影装置1(図1参照)は、撮影光学系10,20(図2参照)と、画像処理器画像処理プロセッサ)80と、を少なくとも備える。以下、眼科撮影装置1を、本装置1と省略する。画像処理器80を有することによって、本装置1は、各種画像処理を実行するコンピュータとなる。画像処理器80は、装置全体の動作を司るプロセッサによって兼用されてもよい。画像処理器80は、装置全体の動作を司るプロセッサとは別体であってもよい。画像処理器80のプロセッサからアクセス可能メモリには、実施形態に係る眼科用画像処理プログラムが格納されていてもよい。

0016

本装置1は、例えば、図1に示すように、光学ユニット1aと、制御ユニット1bと、に大別されており、撮影光学系10,20は光学ユニット1aに、画像処理器80は制御ユニット1bに、それぞれ格納されていてもよい。制御ユニット1bには、プロセッサ(CPU)70の他、各種メモリ75を有している。眼科用画像処理プログラムは、メモリ75に格納されていてもよい。また、制御ユニット1bには、操作部85(ユーザインターフェース)が接続されていてもよい。操作部85は、マウスおよびタッチパネル等のポインティングデバイスであってもよいし、その他のユーザインターフェースであってもよい。制御ユニット1bとして、例えば、PCが利用されてもよい。

0017

また、本装置1は、モニタ90を有していてもよい。モニタ90には、例えば、撮影された眼底画像が表示される。その他に、モニタ90には、各種GUIが表示されてもよい。

0018

<撮影光学系の概要>
撮影光学系10,20は、眼底画像を撮影する。本実施形態においては、眼底の正面画像が、眼底画像として撮影される。但し、必ずしもこれに限られるものではない。撮影光学系10,20は、照射光学系10と、受光光学系20と、に大別される(図2参照)。

0019

撮影光学系10,20は、走査型の光学系である。図2に例示する撮影光学系10,20は、走査手段の一例として、走査部16を有する。また、撮影光学系10,20は、受光素子として、3つの受光素子25,27,29を有する。図2において、撮影光学系10,20は、共焦点光学系である。

0020

特に断りが無い限り、以下の説明において、撮影光学系10,20は、2次元スキャンタイプの光学系であるものとして説明する。2次元スキャンタイプにおいては、照明光が眼底上でスポット状に形成されると共に、眼底上で2次元的に走査される。但し、必ずしもこれに限られるものでは無く、ラインスキャンタイプ(あるいは、スリットスキャンタイプ)の光学系が、適用されてもよい。この場合は、照明光が眼底上でライン状またはスリット状に形成されると共に、照明光の光束の断面長手方向と交差する方向に、照明光が走査される。

0021

<照射光学系>
まず、照射光学系10について説明する。照射光学系10は、走査部16を有し、眼底上でポイント状に照明光を集光させると共に、走査部16によって、照明光を眼底上で走査させる。

0022

走査部16(走査手段の一例)は、互いに異なる2方向に、照明光を走査する。説明の便宜上、以下の説明においては、ラスタースキャンによって、照明光が走査されるものとする。この場合、図2に示すように、走査部16は、主走査用の第1の光スキャナ16aと副走査用の第2の光スキャナ16bとを含んでいてもよい。但し、必ずしもこれに限られるものではなく、走査部16は、2自由度のデバイス(例えば、MEMS等)であってもよい。光スキャナは、ガルバノミラーポリゴンミラーレゾナントスキャナ、MEMS、および、音響光学素子(AOM)等のうちいずれかが適宜選択されてもよい。

0023

照射光学系10は、光源11からの照明光を眼底へ照射する。照射光学系10は、複数の波長域の光を、同時に照射可能であってもよいし、選択的に切り替えて照射可能であってもよい。

0024

特に断りが無い限り、以下の説明において、照射光学系10は、可視光と、赤外光とを、照射するものとして説明する。

0025

照射光学系10は、その他に、ビームスプリッター13、レンズ14、および、対物レンズ17を有する。

0026

ビームスプリッター13は、照射光学系10と受光光学系20との光路を結合および分離する。ビームスプリッター13は、穴あきミラーであってもよいし、他の部材であってもよい。

0027

レンズ14はフォーカシングレンズであって、駆動部(図示せず)によって変位される。レンズ14と駆動部とは、本実施形態におけるフォーカス調整部40(視度補正部)として利用される。本実施形態において、レンズ14の位置は、プロセッサ70によって制御される。

0028

対物レンズ17は、本装置1の対物光学系である。対物レンズ17は、走査部16によって走査されるレーザー光を、眼底Erに導くために利用される。対物レンズ17は、射出瞳の位置に、旋回点Pを形成する。旋回点Pでは、走査部16を経た照明光が旋回される。対物光学系は、対物レンズ17のような屈折系ではなく、ミラーによる反射系であってもよい。

0029

走査部16を経た照明光は、対物レンズ17を通過することによって、旋回点Pを経て、眼底Erに照射される。照明光が旋回点Pを中心に旋回されることで、眼底Er上で照明光が走査される。眼底Erに照射された照明光は、集光位置(例えば、網膜表面)にて反射される。照明光の眼底反射光は、平行光として瞳孔から出射する。

0030

<受光光学系>
次に、受光光学系20について説明する。受光光学系20は、1つ又は複数の受光素子を有してもよい。受光光学系20は、眼底Erからの戻り光を、受光素子25,27,29の少なくともいずれかに導き、受光させる。

0031

図2に示すように、本実施形態における受光光学系20は、対物光学系17からビームスプリッター13までに配置された各部材を、照射光学系10と共用してもよい。この場合、眼底Erからの光は、照射光学系10の光路を遡って、ビームスプリッター13まで導かれる。ビームスプリッター13は、眼底Erからの光を、受光光学系20の独立光路へ導く。

0032

更に、図1に示した受光光学系20は、ビームスプリッター13の反射光路に、レンズ21、ピンホール板23、および、光分離部(光分離ユニット)30を有する。

0033

ピンホール板23は、有害光除去部の一例である。ピンホール板23は、眼底共役面に配置されていることで、眼底Erの集光点(あるいは、焦点面)以外の位置からの光を取り除くと共に、(集光点からの光)を受光素子25,27,29の少なくともいずれかへ導く。

0034

光分離部30は、眼底Erからの光を分離させる。本実施形態では、光分離部30によって、眼底Erからの光が波長選択的に光分離される。また、光分離部30は、受光光学系20の光路を分岐させる光分岐部を兼用していてもよい。例えば、図2に示すように、光分離部30は、光分離特性(波長分離特性)が互いに異なる2つのダイクロイックミラーダイクロイックフィルター)31,32を含んでいてもよい。受光光学系20の光路は、2つのダイクロイックミラー31,32によって、3つに分岐される。また、それぞれの分岐光路の先には、受光素子25,27,29の1つがそれぞれ配置される。

0035

例えば、光分離部30は、眼底Erからの光の波長を分離させ、3つの受光素子25,27,29に、互いに異なる波長域の光を受光させる。例えば、青,緑,赤の3色の光を、受光素子25,27,29に1色ずつ受光させてもよい。この場合、各受光素子25,27,29の受光結果に基づいて、カラー画像が生成されてもよい。

0036

また、光分離部30は、眼底からの蛍光と、観察光の眼底反射光である赤外光とを、互いに異なる受光素子に受光させてもよい。これにより、蛍光画像と同時に、赤外画像を撮影可能であってもよい。蛍光画像は、自発蛍光画像であってもよいし、造影蛍光画像であってもよい。

0037

なお、上記説明した撮影光学系10,20は、複数の受光素子を有することで、各受光素子に応じた波長の戻り光を、各々の受光素子で同時に受光し得る。しかし、必ずしもこれに限られるものではない。例えば、本出願人による「特開2008−228781号公報」のように、異なる波長域の戻り光を、1つの受光素子へ交互に(シーケンシャルに)受光させることで、フレーム毎に(ライン毎でもよい)に、異なる波長域に基づく眼底画像を取得する装置においても、本開示は適用可能である。

0038

<画角の切換>
撮影光学系10,20は、画角を変更する画角切換部を有してもよい。例えば、画角切換部は、撮影光学系10,20における対物光学系の光学的な構成を切り替えることで、画角を変更してもよい。詳細には、画角切換部は、対物光学系に対して光学素子挿脱する挿脱機構を含んでいてもよい。光学素子は、レンズ、ミラー、および、プリズム等を用いることができる。また、画角切換部は、2つ以上のレンズの位置関係が光路に沿って変化することで、屈折状態が変更されるズーム機構であってもよい。また、液晶レンズ等の屈折力可変レンズを画角切換部として有していてもよい。更には、画角切換部には、走査部16が含まれていてもよく、光スキャナ16a,16bの振り角を変更することで、画角が切換えられてもよい。なお、本実施形態における撮影光学系10,20は、80°以上の画角(但し、射出瞳基準)で、眼底画像を撮影可能であってもよい。画角切換部は、80°未満の第1画角と、80°以上の第2画角との間で切換えるものであってもよい。

0039

<眼底画像の取得(撮影)>
プロセッサ70は、例えば、受光素子25,27,29から出力される受光信号を基に眼底画像を形成する。より詳細には、プロセッサ70は、走査部16による走査(ここでは、ラスタースキャン)と同期して眼底画像を形成する。

0040

本実施形態では、受光素子25,27,29によって、3つの読み出しチャンネルが形成される。プロセッサ70は、3つの読み出しチャンネル(以下、単に「チャンネル」という)に応じた最大3種類の画像を、ラスタースキャン毎に生成する。本実施形態において、各種の眼底画像は、画像処理器80によって生成される。

0041

画像処理器80は、上記のような装置の動作に基づいて逐次形成される複数フレームの眼底画像を、観察画像として取得してもよい。各フレームの観察画像は、時系列にモニタ90へ表示されてもよい。観察画像は、略リアルタイムに取得された眼底画像からなる動画像である。

0042

本実施形態でいう「取得」は、眼底画像が、画像処理器80によって処理可能な状態に置かれることを指す。例えば、画像処理器80によってアクセス可能な所定のメモリ領域へ、眼底画像が記憶されることによって、眼底画像が取得される。

0043

また、逐次形成される複数の眼底画像のうち一部が、撮影画像(キャプチャ画像)として取り込まれる(キャプチャーされる)。その際、撮影画像は記憶媒体(例えば、メモリ75)に記憶される。撮影画像が記憶される記憶媒体は、不揮発性の記憶媒体(例えば、ハードディスクフラッシュメモリ等)であってもよい。本実施形態では、例えば、トリガ信号(例えば、レリーズ操作信号等)の出力後、所定のタイミング(又は,期間)に形成される眼底画像がキャプチャーされる。

0044

<撮影モードの設定>
プロセッサ70は、撮影モード(撮影方法)を変更してもよい。プロセッサ70は、照明光の波長、および、受光信号を読み出すチャンネル、のうち少なくともいずれかを、撮影モードに応じて変更してもよい。撮影モードに応じて、撮影画像として取得される眼底画像の種別が変更される。例えば、第1撮影モードでは、撮影画像としてカラー画像が取得されてもよいし、第2撮影モードでは、撮影画像として蛍光画像が取得されてもよい。また、図示なきフィルタの挿脱が、撮影モードに応じて変更してもよい。

0045

<眼底画像1枚あたりの取得に要する所要時間の変更>
眼底画像1枚を取得する所要時間が、変更可能であってもよい。この場合、プロセッサ70が走査部16における走査速度を制御することで、所要時間が変更される。所要時間の変更に伴って、眼底画像1枚あたりの画素数(換言すれば、解像度)が、変更される。このとき、主走査方向と副走査方向とのうち、両方の走査速度が制御されてもよいし、いずれか一方の走査速度が制御されてもよい。

0046

一例として、4096×4096(約0.6sec),1024×1024(約0.14sec),512×512(約0.07sec)の3種類の画素数で、眼底画像が形成されてもよい。なお、()カッコ内の数値は、所要時間の一例である。

0047

<動作説明>
次に、本装置1において眼底画像を撮影するときの動作を、図3図12を参照して説明する。

0048

図3に示すように、プロセッサ70は、まず、固視灯の点灯と、観察画像の取得および表示と、を開始させる(S1,S2)。固視灯の点灯制御として、所定の呈示位置へ光が走査されるタイミングで可視光を一時的に点灯させるように、撮影光学系10,20が制御されてもよい。このようにして、内部固視灯が形成されると共に、被検眼に対して呈示されてもよい。観察画像は、より高いフレームレートで表示されることが好ましい。そこで、観察画像における画素数は、比較的小さな値(ここでは、512×512)に設定される。

0049

また、各種調整と設定とが行われる(S3)。例えば、被検眼と装置との位置関係が調整されてもよいし、フォーカス状態が調整されてもよいし、その他の調整が行われてもよい。調整は手動であってもよいし、自動であってもよい。手動で調整される場合、検者は観察画像を参照し得る。また、プロセッサ70は、撮影モード、および、撮影画像における画素数のうち少なくとも1つの条件を、検者の操作入力に基づいて設定してもよい。撮影画像の画素数は、観察画像に比べて大きな値が設定されてもよい。

0050

その後、テンプレート取得処理が行われる(S4)。テンプレート取得処理によって、撮影画像の位置合わせの基準画像となるテンプレートが取得される。テンプレートは、S3の処理において事前に設定された条件でキャプチャーされてもよい。テンプレートは、撮影画像と同条件で撮影された画像であってもよいし、撮影画像とは異なる条件で撮影された画像であってもよい。テンプレート取得処理の詳細については、図4を参照して後述する。

0051

テンプレートが取得された状態で、撮影処理(S5)が実行される。撮影処理は、例えば、トリガ信号(例えば、レリーズ操作信号等)に基づいて実行される。撮影処理については、図6を参照して、詳細を後述する。撮影処理(S5)の完了後、撮影結果が保存されると共に、モニタ90へ表示されてもよい(S6)。適正に眼底画像が撮影された場合、撮影結果として、撮影画像が表示されてもよい。また、撮影時にエラーが生じた場合、その旨がモニタ90を介して報知されてもよい。

0052

<テンプレート取得処理>
次に、図4を参照して、実施形態に係るテンプレート取得処理(S5)を、詳細に説明する。テンプレート取得処理では、まず、少なくとも1枚の眼底画像がテンプレートとしてキャプチャーされる(S11)。テンプレートは、撮影処理によって取得される撮影画像と同種の眼底画像であることが好ましい。このため、撮影を開始するトリガ信号に基づいて、テンプレートとしてキャプチャーが実行されてもよい。

0053

本実施形態では、比較画像(第2のテンプレート)が、テンプレートとは異なるタイミングで取得される(S12)。比較画像は、テンプレートと比べて歪みが少なくなるように設定された条件で撮影された眼底画像である。比較画像は、画像処理器80によって、テンプレートと比較され、テンプレートにおける歪みが検出される。更に、本実施形態では、画像処理器80によって、テンプレートにおける歪みが補正される。

0054

上記条件の1例としては、テンプレートとなる画像を取得する所要時間と比べて、比較画像を取得する所要時間が短いこと、が挙げられる。この場合、比較画像の画素数は、テンプレート(および撮影画像)と比べて少なくてもよい。例えば、比較画像は512x512の画素数で撮影されてもよく、これに対し、テンプレートは1024x1024若しくは4096x4096の画素数で撮影されてもよい。

0055

また、上記条件の別の1例として、テンプレートの取得に利用される照明光に比べて、比較画像の取得に利用される照明光の方が、被検者が眩しさを感じにくいこと、が挙げられる。つまり、テンプレートの撮影時と比較して眩しさによる反射的な眼の動きが生じ難くなるように設定された条件下で、比較画像は撮影されてもよい。具体例として、比較画像は、赤外光による眼底画像であって、テンプレートは、可視光による眼底画像でもよい。なお、赤外光による眼底画像の1種である観察画像が、比較画像として利用されてもよい。比較画像の撮影自体は、トリガ信号の入力前に行われていてもよい。例えば、トリガ信号の入力前から事前にメモリに撮りためておいた観察画像(あるいは、複数枚の観察画像による加算画像)を、比較画像として用いてもよい。

0056

また、S12の処理には、比較画像の撮影処理が含まれていてもよい。この場合、プロセッサ70は、テンプレートとは上記いずれかの条件を変えて、比較画像となる眼底画像を撮影する。比較画像と、テンプレートとの間で、取得するための所要時間、照明光の波長域、および、チャンネルの一部又は全部が異なっていてもよい。また、比較画像の撮影範囲は、テンプレートおよび撮影画像と同一であるか、テンプレートおよび撮影画像の撮影範囲を包含していることが好ましい。

0057

歪み検出処理、および、判定処理の具体例>
図5A図5Dを参照して、歪み検出処理(S13)、および、判定処理(S14)についての、一具体例を説明する。具体例において、画像処理器80は、テンプレートと比較画像との間における対応点を複数求め、それぞれの対応点間の変位の違いを、歪みとして検出する。

0058

まず、図5Aに示すように、比較画像において、複数の基準領域が設定される。図5Aでは、位置が互いに異なる領域h1〜h5が、基準領域として利用される。基準領域は、4つ以上設定されることが好ましい。

0059

図5Bにおいて、比較画像上に示した基準点i1〜i5(比較画像側の対応点)は、それぞれ、領域h1〜h5の中心点である。画像処理器80は、テンプレート上において、基準点i1〜i5と対応する対応点j1〜j5を求める。基準点と、その基準点と対応する対応点とは、眼底上において略同一位置を示すものと考えられる。例えば、画像処理器80は、それぞれの領域h1〜h5についてテンプレートに対するマッチングを行う。マッチングでは、テンプレートの各領域と、それぞれの領域h1〜h5との類似度が求められる。テンプレート上で、それぞれの領域h1〜h5との類似度が最も大きくなる領域が、領域h1〜h5に対する対応領域である。対応点j1〜j5は、それぞれの対応領域の中心として特定される。マッチングは、位相限定相関法等の種々の処理を適用できる。

0060

なお、「マッチング」は、2画像間の(類似度マップを求めて)類似度が最大(閾値以上)となる位置を求める画像処理である。本実施形態における各種のマッチングでは、位相限定相関(POC:Phase Only Correlation)に限らず、種々の類似度が利用されてもよい。例えば、SSD(Sum of Squared Difference)、SAD(Sum of Absolute Difference)、および、正規化相互相関NCC:Normalized Cross-Correlation,ZNCC:Zero-mean Normalized Cross-Correlation)等のいずれかであってもよい。

0061

次に、画像処理器80は、基準点i1〜i5と対応点j1〜j5との間における、アフィン変換の変換行列Mを求めてから、各々の基準点i1〜i5を変換行列Mでテンプレート上に写像する(図5C参照)。基準点i1〜i5と対応点j1〜j5とが各画像に4点以上あることで、変換行列Mを得ることができる。撮影中に眼が動いた場合(詳細には、動きが変化した場合)、テンプレート内に2次元的な歪みが生じる。変換行列Mによる基準点i1〜i5の写像と、対応点j1〜j5とのズレは、歪みが生じた領域において大きくなるものと考えられる。

0062

図5Cにおいて、5つの円k1〜k5は、写像した点を中心としており、円の大きさが、歪みの許容範囲を示している。画像処理器80は、全ての対応点j1〜j5が、円k1〜k5の内側に含まれている場合に、歪みが許容範囲内であると判定する(S14:YES)。一方、円k1〜k5の内側に含まれていない対応点j1〜j5が存在することで、歪みが許容範囲外であると判定する(S14:NO)。例えば、図5Dには、対応点j3およびj4の周囲において、許容範囲を超えた歪みを有するテンプレートを示している。

0063

歪みが許容範囲を超えたと判定される場合に(S14:NO)、図4の例においては、テンプレートが再取得される(S11)。再取得されたテンプレートは、上記の流れで改めて歪みが評価される。これにより、比較画像に対する歪みが許容範囲となるテンプレートを得ることができる。つまり、テンプレートと比べて歪みが少なくなるように設定された条件下で撮影された比較画像に対し、より近しい画像をテンプレートとして選定できる。その結果、テンプレートを基準とする撮影画像の各種処理が、良好に行われやすい。

0064

但し、歪みが許容範囲を超える場合、そもそも、固視が困難な被検眼である等、被検眼に対して条件が適していない場合が考えられる。つまり、固視が安定しにくい被検眼が撮影されている場合が考えられる。このような眼に対し、前回と同じ条件でテンプレート等の眼底画像を新たに撮影したところで、依然として新たな画像についても歪みが許容範囲を超えてしまうおそれがある。

0065

そこで、歪みが許容範囲を超えたと判定される場合に(S14:NO)、プロセッサ70は、より歪みが少なくなるように設定された条件(本実施形態における、第3の条件)で、眼底画像(本実施形態における第3画像)を撮影してもよい。つまり、第3画像は、事前に撮影されたテンプレート(本実施形態における第1画像の1つ)と比べて歪みが生じ難い第3の条件で撮影されている。第3画像は、再撮影によって取得されるテンプレート(第3のテンプレート)であってもよい。また、テンプレートだけでなく、そのテンプレートを基準に合成される眼底画像であってもよい。また、第3画像をテンプレートとして用いる場合、第2の歪み検出処理が、画像処理器80によって行われてもよい。第2の歪み検出処理で用いられる比較画像は、第3画像よりも歪みが少なくなるように設定された条件で撮影された眼底画像であってもよい。

0066

また、歪みが許容範囲を超えたと判定される場合(S14:NO)、再撮影に変えて、あるいは、再撮影と共に、以下のような処理が行われてもよい。例えば、撮影が中断されてもよい。例えば、可視光で撮影する場合において、直ちに撮影が中断されることで、被検者の負担を抑制できる。また、この場合、S6の処理にいて、撮影結果として、その旨がモニタ90へ表示されてもよい。

0067

但し、歪みが許容範囲を超えたと判定された場合(S14:No)であっても、撮影処理が中断される必要は必ずしも無い。この場合、例えば、プロセッサ70は、歪みが許容範囲を超えたと判定されたテンプレートを採用するか否かを検者に確認するための確認画面を、モニタ90へ表示させてもよい。確認画面が表示された状態で、テンプレートとすることを拒否するための入力操作受け付けることによって、画像処理器80は、テンプレートを削除してもよい。削除後、手動で、又は、自動的に、テンプレートが再撮影されてもよい。

0068

確認画面には、例えば、テンプレートと比較画像との合成画像が、モニタ90へ表示されてもよい。合成画像は、比較画像とテンプレートとを重畳した画像であってもよい。具体例として、比較画像とテンプレートとを、互いに異なるカラーチャンネル表現した画像であってもよい。また、比較画像と、テンプレートとが、交互に繰り返し配置される、チェック柄パターン表示形式による画像であってもよい(例えば、本出願人による「特開2013-15421」号公報参照)。

0069

本実施形態において、比較画像に基づいて、テンプレートの歪み補正処理(S15)が行われてもよい。歪み補正処理は、例えば、非剛体レジストレーションであってもよいし、剛体レジストレーションであってもよい。非剛体レジストレーションについては、例えば、後述の手法を援用できる。歪み補正処理が行われることで、比較画像に対する歪みが一層軽減された画像を、撮影画像に対するテンプレートとして得ることができる。

0070

また、テンプレートは、複数枚の眼底画像による加算画像であってもよい。テンプレートと比較画像との間でチャンネルが異なっている場合に(或いは、照明光の波長域が異なっている場合に)、テンプレートと比較画像との間で互いに異なる特徴が描写される場合が考えられる。この場合、複数枚のテンプレートの歪み補正が、比較画像を基準として行われると、複数枚のテンプレートのうち一部において歪みが適正に補正されない場合が生じやすくなる。この場合、結果として、チャンネルの違いが、歪み補正後のテンプレートによる合成画像において、ノイズを生じさせる原因となり得る。そこで、例えば、比較画像に対して歪み補正が完了したテンプレートの1枚を、第4のテンプレートとして、残りの撮影画像の歪み補正を、第4のテンプレートを基準に行うようにしてもよい。第4のテンプレートと他の撮影画像とは、チャンネルが同一であるため、上記ノイズが抑制されやすくなる。

0071

<撮影処理の詳細説明
図3の例では、以上のようにしてテンプレートが取得された後、撮影処理(S5)が実行される。

0072

ここで、図6を参照して、実施形態に係る撮影処理(S5)を、詳細に説明する。撮影処理では、前述の通り、撮影画像がキャプチャーされる(S21)。キャプチャーされた撮影画像は、歪み補正・合成処理(S22)において、少なくとも撮影中の眼の動きによって生じた2次元的な歪みが、テンプレートを基準として補正される。

0073

このとき、本実施形態では、ローカルマッチングによって、被検眼の画像とテンプレートとの対応点または対応領域が、被検眼の画像とテンプレートとの複数の位置に設定されると共に、対応点毎または対応領域毎の移動量(位置ずれ量ともいう)が算出される。そして、ローカルマッチングによって取得された対応点毎または対応領域毎の移動量に基づいて、撮影画像全体が変形される。このとき、撮影画像は非剛体に変形されてもよい(非剛体レジストレーション)。これにより、撮影画像における歪み(2次元的な歪み)が補正される。本実施形態において、歪みが補正された撮影画像は、テンプレートへ合成される。このとき、例えば、予め定められた枚数の撮影画像が合成されるまで、S21,S22の処理が繰り返されてもよい。これに代えて、新たな撮影画像が合成される毎に合成画像の画質を評価して、画質の評価値が閾値を超えた段階で、撮影処理(S5)を終了してもよい。このような撮影処理によって、複数枚の撮影画像による合成画像が、撮影結果として得られる。合成画像は、例えば、複数枚の撮影画像による加算画像であってもよい。合成画像は、撮影結果として、メモリ75へ保存されてもよいし、モニタ90へ表示されてもよい。

0074

<第1の歪み補正・合成処理>
まず、本実施形態において適用可能な、第1の歪み補正・合成処理の流れを、図7に基づいて説明する。第1の歪み補正・合成処理においては、テンプレート画像および撮影画像が、複数のブロック(分割領域ともいう)に分割されると共に、2枚の画像の間で対応するブロック同士の移動量が算出される(ローカルマッチング)。そして、各ブロックの移動量に基づいて、撮影画像全体が、非剛体的に変形される。なお、ここでいうブロックは、テンプレート画像および撮影画像の複数の位置に設定される、対応領域の一例である。

0075

図7においては、直前に(S21の処理によって)キャプチャーされた撮影画像が、歪み補正に適した画像であるか否かが、グローバルマッチングに基づいて判定される(S31)。本実施形態におけるグローバルマッチングは、テンプレート画像と撮影画像とを、大まかに位置合わせするための処理である。例えば、画像全体同士のマッチングであってもよいし、画像の一部の領域(例えば、中心領域)のみを用いたマッチングであってもよい。グローバルマッチングにおける類似度(例えば、相関)の最大値が、所定の閾値以上である場合に、撮影画像は補正に適した画像であると判定されてもよい(S41:GOOD)。類似度が閾値以下である場合に、撮影画像は、補正に適さないものと判定されてもよい(S41:BAD)。後者の場合、直前にキャプチャーされた撮影画像については、テンプレートへ加算することなく、歪み補正・合成処理が終了されてもよい。

0076

次に、画像処理器80によって、ローカルマッチングが行われる(S32)。テンプレート画像と撮影画像とが、それぞれ、複数のブロック(分割領域および対応領域ともいう)に分割され、対応するブロック間でマッチングが行われる。一例として、図8Aに示したすように、横に3等分、縦に4等分、の12のブロックに分割されてもよい。例えば、ブロック毎にマッチングが行われ、類似度(例えば、POCによる相関)の最大値と、類似度が最大となるときの移動量と、をブロック毎に求めてもよい。

0077

各ブロックの移動量には、画像の歪みが反映されている。このため、ブロックが細かく分割されるほど、歪みを精度よく検出できる。一方、ブロックが細かくなるほど、処理負担が増大する。そこで、本実施形態では、分割後にマッチングの結果を評価し、マッチングの結果に応じて段階的(再帰的)に分割数が増大される。これにより、精度と処理負担の低減とを両立させ得る。一例として、ブロック毎の類似度に基づいて、分割数が適正であるか否かが判定される(S33)。例えば、類似度の最大値が閾値を上回るブロックの数が、所定個以上存在する場合に、分割数が適正(十分)と判定されてもよい(S33:YES)。一方、類似度の最大値が閾値未満である場合に、分割数が不適正(不十分)と判定されてもよい(S33:NO)。この場合、本実施形態では、更に細かなブロックに画像が分割され(S32)、マッチングが再度行われる(S33)。例えば、図8A(第1段階:縦4分割、横3分割)⇒図8B(第2段階:縦8分割、横3分割)⇒図8C(第3段階:縦12分割、横3分割)⇒・・・の流れで、段階的に分割数が増大されてもよい。

0078

なお、本装置1においては、横方向(主走査方向)へのスキャンスピードは、縦方向(副走査方向)と比べて格段に速いことから、各々の主走査線内での歪みは生じ難い。このため、横方向(主走査方向)の分割数に比べて、副走査方向の分割数が多いことが好ましい。また、各々のブロックは、横方向に長く(換言すれば、横方向を長手方向として)形成されてもよい。図8A図8Cでは、横方向を長手方向とする長方形として、各ブロックが形成されている。回旋成分による歪みを検出するうえで、横方向に2つ以上のブロックに分割されていることが好ましい。また、図8A図8Cでは、横方向の分割数については、縦方向の分割数のように段階的に増加されない。但し、必ずしもこれに限られるものではなく、横方向の分割数についても段階的に増加されてもよい。

0079

次に、最終的な分割状態での各ブロックの移動量に基づいて、撮影画像が非剛体的(非線型的)に変形される(S34)。非剛体的な変形のアルゴリズムとしては、薄板スプライン法、B−スプライン法等の種々の手法が知られている。本実施形態では、種々の手法のうちいずれかを適宜適用し得る。例えば、薄板スプライン法を適用する場合では、各ブロックの中心を、移動量に基づいて移動させるともに、その他の点の移動については、薄板スプライン補間によって移動される。その結果として、撮影画像全体が変形されてもよい。

0080

次に、再変形が必要であるか否かが判定される(S35)。例えば、画像処理器80は、テンプレートと、歪み補正後の撮影画像と、の間の類似度を求め、類似度に基づいて、再変形が必要であるか否かを判定してもよい。類似度は、例えば、2つの画像の間の相互情報量によって評価できる。

0081

ここで、再変形が必要であると判定されると(S35:YES)、撮影画像の分割数を増加させたうえで、S32〜S35の処理が繰り返される。便宜上、繰り返し回数を、1ループ目、2ループ目、3ループ目・・・と数えるものとする。処理を繰り返す回数には上限が設定されていてもよい。図9に示した例では、最大で3ループ目まで処理が繰り替えされ得る。

0082

例えば、類似度を示す値と予め定められた閾値との比較に基づいて上記判定が行われてもよい。類似度を示す値が閾値以上である場合は、再変形が不要であると判定されてもよい。

0083

一方、類似度を示す値が閾値を下まわる場合は、再変形が必要であると判定されてもよい。この場合、例えば、最大で3ループ目まで処理を繰り返して、類似度を示す値が最大値を取る画像を、他の撮影画像との合成処理の対象として採用してもよい。但し、類似度が最大値を取る画像において、歪み補正が正しく行われているとは限らないので、類似度の下限を定める第2の閾値と比較し、類似度が第2の閾値を超えている場合に、類似度が最大値を取る画像を採用するようにしてもよい。図9の例において、第2の閾値には、変形前の撮影画像と、1ループ目の歪み補正後の画像との間の類似度が用いられる。図9においては、類似度1.18が、第2の閾値として用いられる。最大で3ループ目まで処理を繰り返したときの類似度の最大値が、第2閾値を超えない場合は、歪み補正が失敗しているものと考えられる。この場合、いずれの画像も、他の撮影画像との合成処理の対象として採用されない。

0084

合成処理の対象として採用された歪み補正後の撮影画像については、加算の重み付計算が行われる(S36)。重み付計算は、画像の各領域について行われる。例えば、テンプレートと、歪み補正後の撮影画像とを、縦横それぞれに複数のブロックに分割して(図10では、縦横それぞれに16分割して)、画像間で対応するブロックの類似度を求めてもよい。このとき、各ブロックの位置は、各画像で一致される。対応するブロックの類似度は、例えば、正規化相互相関(ZNCC)によって評価されてもよいし、他の類似度で評価されてもよい。各ブロックの重み付係数は、各ブロックの類似度に応じて算出されてもよい。

0085

歪み補正後の撮影画像は、算出された重み付係数が各領域へ適用されたうえで、他の画像へ加算される(S37)。テンプレートに対する歪みが多く残存する領域ほど、より小さな重み付係数にて加算される。結果、合成画像において、歪みが多く残存する領域の影響を抑制できる。

0086

以上のようにして、第1の歪み補正・合成処理が行われてもよい。

0087

<第2の歪み補正・合成処理>
次に、本実施形態において適用可能な、第2の歪み補正・合成処理の流れを、図11に基づいて説明する。

0088

第2の歪み補正・合成処理では、テンプレートにおける複数の走査線上に、複数の制御点(基準点)が設定される。一部詳細については異なるものの、各制御点を含む小領域のローカルマッチングによって、テンプレートと撮影画像との間における制御点(つまり、対応点)の移動量(ずれ量)が求められる。第2の歪み補正・合成処理では、重み付加算の手法が、第2の歪み補正・合成処理とは大きく異なる。第2の歪み補正・合成処理では、各ラインにおいて、制御点の移動量を、所定の関数フィッティングし、各制御点のフィッティング誤差と、隣り合うラインに対する移動量の変化と、をそれぞれ考慮して、重み付係数が導出される。以下、詳細について説明する。

0089

図11においては、まず、撮影画像が歪み補正に適した画像であるか否かが判定される(S41)。当該処理は、第1の歪み補正・合成処理におけるS31の処理と同様であってもよいため、詳細な説明を省略する。

0090

次に、画像処理器80によって、テンプレート上に、複数の制御点が設定される(S42)。制御点は、複数のライン(主走査線)のそれぞれに対して複数設定される。

0091

制御点が設定されるラインは、予め定められていてもよい。一例として、図12においては、等間隔に配置された8本の走査線上に、制御点(図12では、〇印で示す)が設定されている。

0092

制御点の設定後、ローカルマッチングが行われる。詳細には、テンプレートと撮影画像との間における各制御点の移動量が算出される(S43)。例えば、制御点を含む小領域によるローカルマッチングに基づいて、テンプレートにおける制御点との対応する点(つまり、撮影画像側の制御点、図12では、△印で示す)の位置が探索され、両者の移動量が算出されてもよい。小領域は、制御点を中心とする所定サイズの領域であってもよい。

0093

S43の処理では、ライン単位で移動量が算出されてもよい。図13に示すように、例えば、1つのラインにおける複数の制御点の移動量を、関数でフィッティングしてもよい。フィッティングの手法は、最小二乗近似等の種々の手法の中からいずれかが選択されてもよい。この場合、図13に示すように、フィッティング曲線上に、各制御点を含むライン上の各点との対応点があるものとみなしてもよい。関数は、例えば、主走査方向の位置xと、副走査方向の位置yとを変数として持つ。

0094

次に、制御点毎、あるいは、制御点が設定されるライン毎に算出された移動量に基づいて、撮影画像が非線形的(非剛体的)に変形される(S44)。例えば、薄板スプライン法によって、撮影画像を変形させてもよいし、他の手法によって、撮影画像を変形させてもよい。

0095

次に、再変形が必要であるか否かが判定される(S45)。この処理は、第1の歪み補正・合成処理におけるS35の処理と同様であってもよいため、詳細な説明を省略する。なお、再変形が必要であると判定された場合は、制御点を増やしたうえで、S42〜S45の処理が繰り返される(ループされる)。この場合、制御点が設定されるラインを増やすことによって、より多くの制御点を設定することが好ましい。大きな歪みがある場合ほど、多くの制御点に基づいて撮影画像が変形されやすいため、歪みが良好に補正されやすくなる。

0096

次に、加算の重み付計算が行われ(S46)、計算された係数で加算処理が行われる(S47)。重み付係数は、第1の歪み補正・合成処理と同様、テンプレートと歪み補正後の撮影画像との間における、領域毎の類似度に基づいて計算されてもよい。

0097

また、第2の歪み補正・合成処理では、撮影画像上における各ラインの制御点に対する上述のフィッティング曲線と各制御点との誤差(以下、「フィッティング誤差」という)の大きさに基づいて、重み付係数が計算されてもよい。大きな誤差があるラインについては、テンプレートに対する大きな歪みが含まれていたり、ケラレなどによるアーチファクトが存在していたりするものと考えられる。そこで、例えば、あるラインにおいて各制御点の誤差の総和が閾値以上である場合、そのライン、および、その周辺については、他の撮影画像との加算に使用されないような重み付係数が与えられてもよい。フィッティング曲線と各制御点との誤差に基づく重み付係数を、便宜上、異常度と称する。

0098

また、それぞれに制御点が設定された複数のラインであって、隣接するラインの間での移動量の変化(差)の大きさに基づいて、重み付係数が計算されてもよい。移動量の変化が大きい場合、隣接するラインが走査される途中で、眼の動きに変化が生じており、歪みが生じているものと考えられる。そこで、例えば、移動量の変化(差)が大きい場合ほど、小さな係数が与えられてもよい。隣接するラインの間での移動量の変化(差)の大きさに基づく重み付係数を、便宜上、信頼度と称する。

0099

類似度に基づく係数、異常度、および、信頼度は、掛け合わせることができる。つまり、これらのうち2つ以上の係数を、歪み補正後の撮影画像の各領域に対して同時に適用可能である。2つ以上の係数を用いて加算処理が行われることによって、歪みの影響がより抑制された良好な加算画像が得られやすくなる。

0100

<同時に撮影された複数のチャンネルの被検眼における歪み補正>
同時に撮影された複数のチャンネルの被検眼の画像において、各チャンネルの画像に対して歪み補正する場合、必ずしもチャンネル毎に上記処理が行われる必要は無い。例えば、いずれか1つのチャンネルに対して、上記処理を行うと共に、同時に撮影された他のチャンネルの画像については、1つのチャンネルにおいて算出された歪み補正の補正量および重み付係数を適用してもよい。

0101

内部反射像を避けて対応領域または対応点を設定>
例えば、撮影光学系10,20の内部反射像が撮影範囲へ映り込んでしまう場合が考えられる。内部反射像は、照明光が撮影光学系10,20に含まれる光学部材によって反射されることで生じる。内部反射像としては、例えば、撮影光学系に含まれる光学部材での反射によるアーチファクトである。内部反射像は、眼の動きに関わらず画像上の一定位置に出現する。そこで、画像処理器80は、第1又は第2の歪み補正・合成処理において、内部反射像を避けて、複数のブロック(対応領域)または制御点(対応点)を配置してもよい。これにより、眼の動きに関わらず静止する要素を除外して、テンプレートと撮影画像との間における対応領域または対応点が設定されるので、対応領域または対応点の移動量に基づく歪み補正の精度が向上する。

0102

<画角、解像度に応じた、対応点および対応点の調整>
また、例えば、第1の歪み補正・合成処理におけるブロック(対応領域)に関するパラメータ、および、第2の歪み補正・合成処理における制御点(対応点)に関するパラメータは、撮影画像の画角、画素数またはその両方に応じて、画像処理器80によって調整されてもよい。ブロック(分割領域)に関して調整可能なパラメータとしては、例えば、ブロックの数、大きさ、配置、および、形状、の少なくともいずれかであってもよい。また、制御点に関して調整可能なパラメータは、数(密度)、および、配置のうち少なくともいずれかであってもよい。

0103

例えば、画素数が多いほど撮影時間が長くなり、撮影画像において、歪みの影響を受けやすくなると考えられる。これに対し、画素数が多いほど、ブロックまたは制御点を、増大させてもよい。つまり、ローカルマッチングにおけるテンプレートと撮影画像との間における対応点を、撮影画像の画素数が多いほど増大させてもよい。これにより、撮影画像の歪みに対して適正な処理負担で補正処理を行いやすくなる。

0104

また、例えば、図13A〜13Cには、画角切換部によって撮影画像の画角が増大された結果として、対物光学系の縁部(図13A〜13Cではレンズのコバ201)が内部反射像として画像上に映り込んでしまう場合が考えられる。この場合、縁部の内側の領域において、被検眼の組織が描写され、当該領域において眼の動きによる歪みが生じ得る。一方、縁部およびその外側の領域については、歪みが生じ得ない。そこで、撮影範囲に光学系の縁部が含まれる場合、画像処理器80は、該縁部の内側領域のみへ、複数のブロックまたは制御点を配置してもよい。つまり、特定の画角で生じる内部反射像を避けて、複数のブロックまたは制御点が配置されるように、画像処理器80は、複数のブロックまたは制御点を、画角に応じて変更してもよい。

0105

変容例等>
以上、実施形態に基づいて説明を行ったが、本開示を実施するうえで、実施形態の内容を適宜変更することができる。

0106

縮小画像によるマッチング>
例えば、上記実施形態における各種のマッチング、歪み補正・合成処理のうち少なくともいずれかは、画像サイズが縮小された縮小画像が用いられてもよい。この場合、テンプレートを基準とした画像処理の対象である眼底画像を縮小させて、縮小画像が生成される。追加的に、テンプレートの縮小画像が生成されてもよい。縮小サイズで画像処理が行われることによって、画像処理器80における処理負担が軽減される。縮小画像における各画素と元の画像における各画素との対応関係は、縮小時の倍率によって一義的に定められる。画像処理器80は、縮小サイズでのマッチングによって得られたパラメータ・変形行列を、上記倍率で元のサイズの眼底画像へ適用する。これにより、各種のマッチング、歪み補正・合成処理をより低い処理負担で(換言すればより高速に)実行できる。

0107

<キャプチャー以外の場面における各種画像処理の適用>
上記実施形態では、画像処理器80による各種処理が、撮影画像をキャプチャーする際に実行される。しかし、必ずしもこれに限られるものではなく、事前にキャプチャーされた眼底画像に対して、各種画像処理が、画像処理器80によって、実行されてもよい。例えば、<テンプレート取得処理>、<歪み検出処理、および、判定処理>、<第1,第2の歪み補正・合成処理>等の全部または一部の実行タイミングは、撮影時では無く、閲覧時であってもよい。

0108

事前にキャプチャーされた眼底画像に対して、各種画像処理が行われる場合、各種のテンプレート、および、テンプレートへ合成される眼底画像のうち少なくともいずれかは、検者からの操作入力に基づいて、予め撮影されている、複数枚の眼底画像の中から選択可能であってもよい。

0109

この場合、選択画面が、モニタ90に表示されてもよい。選択画面上では、複数枚の眼底画像のうち、少なくとも2枚の眼底画像が並べて表示されることが好ましい。また、表示された画像を、任意に、他の画像と入れ替え可能であってもよい。これにより、検者が複数枚の眼底画像を良好に見比べることができる。そして、良好に撮影された画像が、画像処理の対象として選択されやすくなる。

0110

<手動による対応点または対応領域の設定>
上記実施形態において、テンプレートおよび撮影画像に対して、対応点または対応領域(対応点または対応領域に関するパラメータ)は、適時、自動的に設定される場合について説明した。しかし、必ずしもこれに限られるものではなく、検者による操作入力に基づいて、手動で設定されてもよい。ここでいう設定には、ゼロベースで設定する場合だけでなく、自動的に設定された対応点および対応領域(対応点または対応領域に関するパラメータ)を、操作入力に基づいて修正することを含む。

0111

この場合、対応点に関しては、数(密度)、および、配置のうち少なくともいずれかのパラメータが、操作入力に基づいて設定可能であってもよい。また、対応領域に関しては、数、大きさ、配置、および、形状のうち少なくともいずれかのパラメータが、操作入力に基づいて設定可能であってもよい。対応点または対応領域が手動で設定された場合も、自動で設定された場合と同様、ローカルマッチング等の各種処理が、画像処理器80によって実行される。なお、パラメータは、検者が任意に設定可能であってもよいし、予め定められた複数のパターンの中からいずれかを操作入力に応じて選択可能であってもよいし、両者が併用されてもよい。

0112

対応点または対応領域を手動で設定する際に、対応点または対応領域の設定状態を、グラフカルな表示によって、確認可能であってもよい。例えば、対応点または対応領域を示す指標が重畳された眼底画像(例えば、テンプレート)が、確認のためにモニタ90上に表示されてもよい。

0113

OCTへの適用について>
なお、上記実施形態において、眼科撮影装置は、走査型の撮影光学系によって、眼底の正面画像(2次元画像)を撮影する装置であるものとしたが、必ずしもこれに限られるものでは無い。例えば、被検眼の断層画像を撮影する光干渉断層計(以下、OCTと称する)においても、本開示の技術は適用可能である。OCTの場合、撮影光学系は、戻り光と参照光とのスペクトル干渉信号に基づいて眼底のOCTデータを取得するOCT光学系(図示せず)を含んでいてもよい。或いは、眼科撮影装置における撮影光学系は、正面撮影光学系(例えば、上記実施形態における撮影光学系10,20)とOCT光学系との両方を、撮影光学系は含んでいてもよい。

0114

<上記実施形態の部分的な実施について>
本実施形態における<テンプレート取得処理>と<撮影処理>とは、独立可能であって、必ずしも両者が一体的に実施される必要は無い。例えば、<撮影処理>において利用するテンプレートは、必ずしも、比較画像を用いて歪み検出、又は、歪み補正が行われたものである必要は無い。また、<テンプレート取得処理>のみが、眼科撮影装置、眼科用画像処理プログラムとして、実施されてもよい。

0115

1眼科撮影装置
1b制御ユニット
10照射光学系
20受光光学系
70プロセッサ
80 画像処理器

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

該当するデータがありません

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

この 技術と関連性が強い技術

該当するデータがありません

この 技術と関連性が強い法人

該当するデータがありません

この 技術と関連性が強い人物

該当するデータがありません

この 技術と関連する社会課題

該当するデータがありません

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ