図面 (/)

技術 検出装置、学習装置、検出方法、学習方法及びプログラム

出願人 オリンパス株式会社
発明者 三井正法
出願日 2013年6月24日 (7年4ヶ月経過) 出願番号 2013-131343
公開日 2015年1月8日 (5年10ヶ月経過) 公開番号 2015-005237
状態 特許登録済
技術分野 イメージ分析
主要キーワード 検出対象データ 所定画像処理 距離範囲毎 正解不正解 隣接距離 ハイパス特性 単位変動 プロット位置
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2015年1月8日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (18)

課題

複数の距離範囲ごとの学習特徴量を用いて、複数の距離範囲ごとの検出処理を行うことで、画像から精度よく対象領域を検出する検出装置学習装置検出方法学習方法及びプログラム等を提供すること。

解決手段

検出装置は、撮像部200の撮像により被写体の像を含む画像を取得する画像取得部と、撮像部200から被写体までの距離情報を取得する距離情報取得部320と、画像から特徴量を算出する特徴量算出部340と、撮像部200から被写体までの距離に応じて設定された複数の距離範囲について、距離範囲ごとの学習処理により求められる学習特徴量を記憶する学習特徴量記憶部390と、距離情報に基づいて特徴量に対応する距離範囲を特定し、特定された距離範囲に対応する学習特徴量と、特徴量算出部340で算出された特徴量とに基づいて、対象領域を検出する検出部を含む。

概要

背景

従来、特許文献1に開示された手法のように、血液に含まれるヘモグロビンに吸収されやすい狭帯域化された波長照明光照射し、粘膜表面毛細血管等を強調表示する狭帯域光観察(NBI)が知られている。この狭帯域光観察は、食道領域の詳細診断大腸ピットパターン腺管構造)観察のために広く行われている色素散布代替観察法として期待され、検査時間や不必要な生検の減少によって、検査の効率化への貢献が期待されている。

しかしながら、狭帯域光観察は、血管の強調表示を行うことはできるが、神経を強調表示することは困難である。直腸全摘出手術前立腺全摘出手術において神経の温存を行う場合は、対象臓器摘出する際に、対象臓器を取り囲むように分布している神経を傷つけないように対象臓器を露出させて摘出する必要があるが、直径50〜300μmの細い神経は、白色あるいは透明であるため、腹腔鏡による拡大観察でも観察することが困難である。このため、医師が経験やに頼って手術せざるを得ず、損傷してしまう可能性が高いという不都合がある。対象臓器を取り囲む神経は脂肪層内に存在していることに着目し、神経を可視化するため、神経の周囲にある脂肪を抽出することで、対象臓器を取り囲んでいる神経の損傷を未然に防止する手法が提案されている。

画像から、特定の領域を認識したり抽出したりする手法として、特許文献2には学習を用いた手法が開示されている。具体的には、抽出すべき領域を学習し、この学習により求められたパラメータを用いて、入力画像から特定領域を抽出する処理を行う。

概要

複数の距離範囲ごとの学習特徴量を用いて、複数の距離範囲ごとの検出処理を行うことで、画像から精度よく対象領域を検出する検出装置学習装置検出方法学習方法及びプログラム等を提供すること。 検出装置は、撮像部200の撮像により被写体の像を含む画像を取得する画像取得部と、撮像部200から被写体までの距離情報を取得する距離情報取得部320と、画像から特徴量を算出する特徴量算出部340と、撮像部200から被写体までの距離に応じて設定された複数の距離範囲について、距離範囲ごとの学習処理により求められる学習特徴量を記憶する学習特徴量記憶部390と、距離情報に基づいて特徴量に対応する距離範囲を特定し、特定された距離範囲に対応する学習特徴量と、特徴量算出部340で算出された特徴量とに基づいて、対象領域を検出する検出部を含む。

目的

本発明の幾つかの態様によれば、複数の距離範囲ごとの学習特徴量を用いて検出処理を行うことで、画像から精度よく対象領域を検出する検出装置、学習装置、検出方法、学習方法及びプログラム等を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

撮像部の撮像により、被写体の像を含む画像を取得する画像取得部と、前記撮像の際の前記撮像部から前記被写体までの距離に基づく距離情報を取得する距離情報取得部と、取得した前記画像から前記被写体に関する特徴量を算出する特徴量算出部と、前記撮像部から前記被写体までの前記距離に応じて設定された複数の距離範囲について、距離範囲ごとの学習処理により求められ、各距離範囲に対応する学習特徴量を記憶する学習特徴量記憶部と、前記学習特徴量と、前記距離情報と、前記特徴量に基づいて、前記画像から対象領域を検出する検出部と、を含み、前記検出部は、前記距離情報取得部で取得された前記距離情報に基づいて、前記特徴量算出部で算出された前記特徴量に対応する距離範囲を、前記複数の距離範囲から特定し、特定された前記距離範囲に対応する前記学習特徴量と、前記特徴量算出部で算出された前記特徴量とに基づいて、前記対象領域を検出することを特徴とする検出装置

請求項2

請求項1において、前記学習特徴量記憶部は、前記距離に基づいて設定された前記複数の距離範囲の各距離範囲について、前記学習処理を行うことで取得された複数の学習結果を、前記学習特徴量として記憶し、前記検出部は、前記距離情報取得部で取得された前記距離情報に基づいて、前記特徴量算出部で算出された前記特徴量に対応する前記距離範囲を、前記複数の距離範囲から特定し、特定された前記距離範囲に対応する前記学習特徴量と、前記特徴量算出部で算出された前記特徴量とに基づいて、前記対象領域を検出することを特徴とする検出装置。

請求項3

請求項2において、前記検出部は、前記距離情報取得部で取得された前記距離情報に基づいて、前記特徴量算出部で算出された前記特徴量に対応する第1〜第M(Mは2以上の整数)の距離範囲を、前記複数の距離範囲から特定し、特定された前記第1〜第Mの距離範囲に対応する第1〜第Mの学習特徴量の補間処理を行って補間特徴量を求め、求めた前記補間特徴量と前記特徴量算出部で算出された前記特徴量とに基づいて、前記対象領域を検出することを特徴とする検出装置。

請求項4

請求項1において、前記学習特徴量記憶部は、前記距離に基づいて補正処理が行われた前記特徴量に基づく前記学習特徴量を記憶し、前記検出部は、前記特徴量算出部で算出された前記特徴量に対して、前記距離情報取得部で取得された前記距離情報に基づいて補正処理を行い、前記補正処理後の前記特徴量と、前記学習特徴量とに基づいて、前記対象領域を検出することを特徴とする検出装置。

請求項5

請求項4において、前記学習特徴量記憶部は、前記距離に基づいて第1〜第N(Nは2以上の整数)の距離範囲が設定されるとともに、前記第1〜第Nの距離範囲に対応する第1〜第Nの補正処理が設定された場合に、複数の前記特徴量に対して、それぞれ対応する前記距離範囲の前記補正処理を行うことで求められる学習結果を前記学習特徴量として記憶し、前記検出部は、前記距離情報取得部で取得された前記距離情報に基づいて、前記特徴量算出部で算出された前記特徴量に対応する第i(iは1≦i≦Nを満たす整数)の距離範囲を、前記第1〜第Nの距離範囲から特定し、特定された前記第iの距離範囲に対応する第iの補正処理を前記特徴量に対して行い、前記学習特徴量と前記第iの補正処理後の前記特徴量とに基づいて、前記対象領域を検出することを特徴とする検出装置。

請求項6

請求項1において、前記距離情報取得部で取得された前記距離情報に基づいて、前記特徴量算出部で算出された、前記被写体に対応する前記特徴量の前記学習処理を行う学習部を含み、前記学習特徴量記憶部は、前記学習部で行われた前記学習処理の結果を、前記学習特徴量として記憶することを特徴とする検出装置。

請求項7

請求項1において、前記検出部により検出された前記対象領域に対して、強調処理を行う強調処理部を含むことを特徴とする検出装置。

請求項8

撮像部の撮像により、被写体の像を含む画像を取得する画像取得部と、前記撮像の際の前記撮像部から前記被写体までの距離に基づく距離情報を取得する距離情報取得部と、取得した前記画像から前記被写体に関する特徴量を算出する特徴量算出部と、前記距離情報取得部で取得された前記距離情報に応じて複数の距離範囲を設定し、設定した前記複数の距離範囲ごとに前記特徴量の学習処理を行う学習部と、前記学習部での前記学習処理により求められた学習特徴量を記憶する学習特徴量記憶部と、を含むことを特徴とする学習装置

請求項9

撮像部の撮像により、被写体の像を含む画像を取得する処理と、前記撮像の際の前記撮像部から前記被写体までの距離に基づく距離情報を取得する距離情報取得処理と、取得した前記画像から前記被写体に関する特徴量を算出する特徴量算出処理と、前記撮像部から前記被写体までの前記距離に応じて設定された複数の距離範囲について、距離範囲ごとの学習処理により求められ、各距離範囲に対応する学習特徴量を記憶する学習特徴量記憶処理と、前記学習特徴量と、前記距離情報と、前記特徴量に基づいて、前記画像から対象領域を検出する検出処理と、をコンピュータに実行させ、前記検出処理として、前記距離情報取得処理で取得された前記距離情報に基づいて、前記特徴量算出処理で算出された前記特徴量に対応する距離範囲を、前記複数の距離範囲から特定し、特定された前記距離範囲に対応する前記学習特徴量と、前記特徴量算出処理で算出された前記特徴量とに基づいて、前記対象領域を検出する処理を行うことを特徴とする検出方法

請求項10

撮像部の撮像により、被写体の像を含む画像を取得する処理と、前記撮像の際の前記撮像部から前記被写体までの距離に基づく距離情報を取得する距離情報取得処理と、取得した前記画像から前記被写体に関する特徴量を算出する特徴量算出処理と、前記距離情報取得処理で取得された前記距離情報に応じて複数の距離範囲を設定し、設定した前記複数の距離範囲ごとに前記特徴量の学習を行う学習処理と、前記学習処理により求められた学習特徴量を記憶する学習特徴量記憶処理と、をコンピュータに実行させることを特徴とする学習方法

請求項11

撮像部の撮像により、被写体の像を含む画像を取得するステップと、前記撮像の際の前記撮像部から前記被写体までの距離に基づく距離情報を取得するステップと、取得した前記画像から前記被写体に関する特徴量を算出するステップと、前記撮像部から前記被写体までの前記距離に応じて設定された複数の距離範囲について、距離範囲ごとの学習処理により求められ、各距離範囲に対応する学習特徴量を記憶するステップと、前記学習特徴量と、前記距離情報と、前記特徴量に基づいて、前記画像から対象領域を検出するステップと、をコンピュータに実行させ、前記対象領域を検出するステップにおいて、前記距離情報に基づいて、前記特徴量に対応する距離範囲を、前記複数の距離範囲から特定し、特定された前記距離範囲に対応する前記学習特徴量と、前記特徴量とに基づいて、前記対象領域を検出する処理を行うことを特徴とするプログラム

請求項12

撮像部の撮像により、被写体の像を含む画像を取得するステップと、前記撮像の際の前記撮像部から前記被写体までの距離に基づく距離情報を取得するステップと、取得した前記画像から前記被写体に関する特徴量を算出するステップと、前記距離情報に応じて複数の距離範囲を設定し、設定した前記複数の距離範囲ごとに前記特徴量の学習処理を行うステップと、前記学習処理により求められた学習特徴量を記憶するステップと、をコンピュータに実行させるプログラム。

技術分野

0001

本発明は、検出装置学習装置検出方法学習方法及びプログラム等に関する。

背景技術

0002

従来、特許文献1に開示された手法のように、血液に含まれるヘモグロビンに吸収されやすい狭帯域化された波長照明光照射し、粘膜表面毛細血管等を強調表示する狭帯域光観察(NBI)が知られている。この狭帯域光観察は、食道領域の詳細診断大腸ピットパターン腺管構造)観察のために広く行われている色素散布代替観察法として期待され、検査時間や不必要な生検の減少によって、検査の効率化への貢献が期待されている。

0003

しかしながら、狭帯域光観察は、血管の強調表示を行うことはできるが、神経を強調表示することは困難である。直腸全摘出手術前立腺全摘出手術において神経の温存を行う場合は、対象臓器摘出する際に、対象臓器を取り囲むように分布している神経を傷つけないように対象臓器を露出させて摘出する必要があるが、直径50〜300μmの細い神経は、白色あるいは透明であるため、腹腔鏡による拡大観察でも観察することが困難である。このため、医師が経験やに頼って手術せざるを得ず、損傷してしまう可能性が高いという不都合がある。対象臓器を取り囲む神経は脂肪層内に存在していることに着目し、神経を可視化するため、神経の周囲にある脂肪を抽出することで、対象臓器を取り囲んでいる神経の損傷を未然に防止する手法が提案されている。

0004

画像から、特定の領域を認識したり抽出したりする手法として、特許文献2には学習を用いた手法が開示されている。具体的には、抽出すべき領域を学習し、この学習により求められたパラメータを用いて、入力画像から特定領域を抽出する処理を行う。

先行技術

0005

特開2011−224038号公報
特開2002−342758号公報

発明が解決しようとする課題

0006

同じ特徴を画像として取得するとき、撮像装置から対象までの距離が異なると、照明のあたりかたの違いや強度の違いなどが起こり、異なる特性を示すことがある。これらの異なる特性に対応する特徴量をそのまま同一のクラスに分類して学習を行ってしまうと、学習データにおいて同一クラスに対する特徴量のばらつきが大きくなってしまう。その結果、学習結果としての判別基準の精度が低下し、検出精度の低下を招く。これに対し、画像取得とともに距離情報を取得し検出処理を行うことで、安定した検出が可能となる。特許文献2では、ロボット視覚認識ステムとして、画像と距離情報を用いたシステムが提案されている。取得画像を距離により正規化し、学習および認識処理をおこなうものである。この手法では、距離によって異なって取得される大きさやパターンの細かさを、距離情報を用いて補正している。

0007

しかしながら、特許文献2では、距離に応じて特徴量の補正処理を行うと記載されているものの、その補正度合いの制御については触れられていない。一般的に、距離(狭義には基準距離に対する距離の変動)に応じた特徴量の変動特性は一定であるとは限らない。例えば、dが小さい場合には距離の単位変動量に対する特徴量の変動が小さい(例えば特徴量の変動がα×dで表される)が、dが大きい場合には距離の単位変動量に対する特徴量の変動が大きい(例えば特徴量の変動がβ>αを満たすβ×dで表される)場合も考えられる。

0008

そのような場合、所与の被写体の距離による特徴量変動を、特定の補正手法(例えば1つの式を用いた正規化処理を行う手法)により補正することは困難である。つまり特許文献2の単純な手法では、距離に応じた補正処理で、特徴量の変動を充分補償することができず、当該補正処理に基づく検出処理、学習処理の精度が低くなってしまう。

0009

本発明の幾つかの態様によれば、複数の距離範囲ごとの学習特徴量を用いて検出処理を行うことで、画像から精度よく対象領域を検出する検出装置、学習装置、検出方法、学習方法及びプログラム等を提供することができる。

課題を解決するための手段

0010

本発明の一態様は、撮像部の撮像により、被写体の像を含む画像を取得する画像取得部と、前記撮像の際の前記撮像部から前記被写体までの距離に基づく距離情報を取得する距離情報取得部と、取得した前記画像から前記被写体に関する特徴量を算出する特徴量算出部と、前記撮像部から前記被写体までの前記距離に応じて設定された複数の距離範囲について、距離範囲ごとの学習処理により求められ、各距離範囲に対応する学習特徴量を記憶する学習特徴量記憶部と、前記学習特徴量と、前記距離情報と、前記特徴量に基づいて、前記画像から対象領域を検出する検出部と、を含み、前記検出部は、前記距離情報取得部で取得された前記距離情報に基づいて、前記特徴量算出部で算出された前記特徴量に対応する距離範囲を、前記複数の距離範囲から特定し、特定された前記距離範囲に対応する前記学習特徴量と、前記特徴量算出部で算出された前記特徴量とに基づいて、前記対象領域を検出する検出装置に関係する。

0011

本発明の一態様では、距離に応じて設定された複数の距離範囲ごとの学習処理により求められた学習特徴量と、撮像された画像から取得される特徴量に基づいて、画像から対象領域を検出する。所与の特性を有する被写体の画像上での特徴量は、距離の遠近や、被写体の凹凸構造等によって変動してしまう可能性があるところ、距離に応じて設定された複数の距離範囲を用いるため、当該変動による影響を抑止することができ、対象領域を精度よく検出すること等が可能になる。

0012

また、本発明の他の態様は、撮像部の撮像により、被写体の像を含む画像を取得する画像取得部と、前記撮像の際の前記撮像部から前記被写体までの距離に基づく距離情報を取得する距離情報取得部と、取得した前記画像から前記被写体に関する特徴量を算出する特徴量算出部と、前記距離情報取得部で取得された前記距離情報に応じて複数の距離範囲を設定し、設定した前記複数の距離範囲ごとに前記特徴量の学習処理を行う学習部と、前記学習部での前記学習処理により求められた学習特徴量を記憶する学習特徴量記憶部と、を含む学習装置に関係する。

0013

これにより、学習処理においても、距離情報に応じて設定された複数の距離範囲を用いた処理を行うことで、学習処理を精度よく行うことや、当該学習処理の結果を用いた検出処理を精度よく行うこと等が可能になる。

0014

また、本発明の他の態様は、撮像部の撮像により、被写体の像を含む画像を取得する処理と、前記撮像の際の前記撮像部から前記被写体までの距離に基づく距離情報を取得する距離情報取得処理と、取得した前記画像から前記被写体に関する特徴量を算出する特徴量算出処理と、前記撮像部から前記被写体までの前記距離に応じて設定された複数の距離範囲について、距離範囲ごとの学習処理により求められ、各距離範囲に対応する学習特徴量を記憶する学習特徴量記憶処理と、前記学習特徴量と、前記距離情報と、前記特徴量に基づいて、前記画像から対象領域を検出する検出処理と、をコンピュータに実行させ、前記検出処理として、前記距離情報取得処理で取得された前記距離情報に基づいて、前記特徴量算出処理で算出された前記特徴量に対応する距離範囲を、前記複数の距離範囲から特定し、特定された前記距離範囲に対応する前記学習特徴量と、前記特徴量算出処理で算出された前記特徴量とに基づいて、前記対象領域を検出する処理を行う検出方法に関係する。

0015

また、本発明の他の態様は、撮像部の撮像により、被写体の像を含む画像を取得する処理と、前記撮像の際の前記撮像部から前記被写体までの距離に基づく距離情報を取得する距離情報取得処理と、取得した前記画像から前記被写体に関する特徴量を算出する特徴量算出処理と、前記距離情報取得処理で取得された前記距離情報に応じて複数の距離範囲を設定し、設定した前記複数の距離範囲ごとに前記特徴量の学習を行う学習処理と、前記学習処理により求められた学習特徴量を記憶する学習特徴量記憶処理と、をコンピュータに実行させる学習方法に関係する。

0016

また、本発明の他の態様は、撮像部の撮像により、被写体の像を含む画像を取得するステップと、前記撮像の際の前記撮像部から前記被写体までの距離に基づく距離情報を取得するステップと、取得した前記画像から前記被写体に関する特徴量を算出するステップと、前記撮像部から前記被写体までの前記距離に応じて設定された複数の距離範囲について、距離範囲ごとの学習処理により求められ、各距離範囲に対応する学習特徴量を記憶するステップと、前記学習特徴量と、前記距離情報と、前記特徴量に基づいて、前記画像から対象領域を検出するステップと、をコンピュータに実行させ、前記対象領域を検出するステップにおいて、前記距離情報に基づいて、前記特徴量に対応する距離範囲を、前記複数の距離範囲から特定し、特定された前記距離範囲に対応する前記学習特徴量と、前記特徴量とに基づいて、前記対象領域を検出する処理を行うプログラムに関係する。

0017

また、本発明の他の態様は、撮像部の撮像により、被写体の像を含む画像を取得するステップと、前記撮像の際の前記撮像部から前記被写体までの距離に基づく距離情報を取得するステップと、取得した前記画像から前記被写体に関する特徴量を算出するステップと、前記距離情報に応じて複数の距離範囲を設定し、設定した前記複数の距離範囲ごとに前記特徴量の学習処理を行うステップと、前記学習処理により求められた学習特徴量を記憶するステップと、をコンピュータに実行させるプログラムに関係する。

図面の簡単な説明

0018

本実施形態に係る検出装置を含む内視鏡装置の構成例。
距離に応じて特徴量の変動特性が異なる場合の例。
第1の実施形態の検出装置の構成例。
第1の実施形態の学習処理を説明するフローチャート
第1の実施形態の検出処理を説明するフローチャート。
第1の実施形態の変形例の検出処理を説明するフローチャート。
第2の実施形態の検出装置の構成例。
第2の実施形態の学習処理を説明するフローチャート。
第2の実施形態の検出処理を説明するフローチャート。
図10(A)〜図10(D)は学習処理の例を説明する図。
図11(A)、図11(B)は被写体の凹凸構造による特徴量の変動を説明する図。
図12(A)は検出装置と学習装置が別体として設けられる例、図12(B)は検出装置が学習部を含む例。
第1の実施形態の処理を説明する図。
第1の実施形態の変形例の補間処理を説明する図。
第2の実施形態の処理を説明する図。
図16(A)〜図16(F)はモルフォロジー処理による抽出凹凸情報抽出処理の説明図。
図17(A)〜図17(D)はフィルタ処理による抽出凹凸情報の抽出処理の説明図。

実施例

0019

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

0020

1.本実施形態の手法
まず本実施形態の手法について説明する。神経の損傷抑止に用いられる脂肪検出の例を挙げて上述したように、画像中から被写体に関する何らかの特徴量を求め、求めた特徴量を用いて所望の被写体を検出する処理を行うことが有用である。脂肪検出の場合、被写体に関する特徴量とは色、輝度色差等であり、以下の説明においても特徴量の例としてそれらを用いるものとする。ただし、本実施形態の特徴量は色、輝度、色差等の情報に限定されず、エッジ検出等を用いて取得される被写体の形状情報等、種々の情報を用いることが可能である。

0021

そのような判定処理、すなわち所望の被写体の検出処理においては、学習処理を行い、その結果(以下、学習結果と表記し、狭義には分類モデルであってもよい)を用いることが有用である。学習処理の具体例について簡単に説明する。1つの処理対象データは、1つの特徴量、或いは複数の特徴量の組により表現される。例えば、画像の輝度値Yを特徴量とするのであれば、1つの処理対象データはYの値により表現されるし、カラー画像画素値(R,G,B)を特徴量とするのであれば、1つの処理対象データは(R,G,B)という3つの値の組により表現される。ただし、画像から算出される特徴量は、画素値(RGB)や、輝度色差(YCrCb)に限定されるものではなく、これらの値に対して何らかの特徴量算出処理を行った結果を用いてもよい。この場合、1つの特徴量に1つの軸を割り当てることで特徴量空間を設定すれば、1つの処理対象データは特徴量空間における1つの点としてプロットすることができる。図10(A)は2つの特徴量を用いた例であり、この場合、特徴量空間は平面(特徴量平面)となり、1つの処理対象データは平面上の1点に対応する。

0022

一般的な学習、特に教師あり学習であれば、学習処理においては所与のデータが正解不正解の情報付きで入力される。上述の脂肪の例であれば、この入力値(特徴量)は脂肪である、この入力値は脂肪ではない、という情報に合わせて入力値が入力される。学習処理では、それら正解不正解がわかっているデータを特徴量空間にプロットしていく。プロット結果の一例を図10(B)に示す。図10(B)では○が正解データプロット位置、×が不正解データのプロット位置である。特徴量の設定が適切である、すなわち当該特徴量が正解か不正解かで値に何らかの差異を生じる性質を持つものであれば、図10(B)に示したように、正解データは特徴量空間の所与の領域にプロットされ、不正解データは正解データとは異なる領域にプロットされる。

0023

図10(B)のような結果が得られれば、その後の検出処理において、正解不正解が不明であるデータを取得した場合に、当該データが図10(B)のA1にプロットされれば、当該データに対応する被写体は正解(所望の被写体である)と考えられるし、A2にプロットされれば、当該データに対応する被写体は不正解と考えられる。つまり、学習処理とは、特徴量空間における正解データの領域と不正解データの領域との境界を求める処理であると言い換えることもできる。図10(B)の例であれば、図10(C)或いは図10(D)のような境界を学習結果として求めておけば、正解不正解が不明な検出対象データが入力された際には、当該検出対象データが正解データの領域にいるか、不正解データの領域にいるかを上記境界に基づいて求めればよいことになる。なお、境界の設定手法図10(C)、図10(D)のように種々考えられるが、学習処理自体については公知の手法であるため、これ以上の説明は省略する。また、図10(A)〜図10(D)は特徴量空間を平面で表したが、3次以上の特徴量空間を用いてもよいことは言うまでもない。また、正解不正解の2通りではなく、第1〜第Nの被写体(及びそのいずれとも異なる被写体)を区別することも考えられ、その場合には特徴量空間上に複数の境界を設定すればよい。

0024

以上が学習処理の一例であるが、このような学習処理では、所与の特性を有する被写体は所与の(理想的には一定の)特徴量を有することを前提としている。例えば、ある脂肪を撮像対象として複数の画像を撮像した場合には、理想的には全ての画像から算出される特徴量は一致するものとしている。特徴量空間での位置は処理対象データの特性に対応するものであるから、同一特性であれば同一位置になければその対応関係破綻し、適切な境界設定ができなくなるためである。この課題は学習結果を用いた検出処理においても同様である。図10(B)のA1やA2に示したように、検出対象データが特徴量空間のどの位置にプロットされるかは検出結果に直結する。つまり、検出対象データに対応する被写体が一定であるならば、特徴量空間の一定位置にプロットされなければいけないことになり、プロット位置の変動要因、すなわち算出される特徴量の変動要因があるならば、それは検出処理を妨げる要因となる。

0025

しかし、撮像部と被写体との距離によっては、このような前提が成立しない場合も考えられる。例えば、図1で後述するような内視鏡装置で取得される画像を対象とした場合、撮像対象は生体等となる。内視鏡装置の撮像時には、太陽光室内天井の照明からの照明光のような環境光は存在せず、照射光を照射する必要がある。図1の例であれば、光源部100からの光を、ライトガイドファイバ201を介して照明レンズ203から照射している。

0026

よって、撮像部からの距離が近い被写体については、強い光が照射されるため、結果として撮像部で受光する反射光も強いものになるのに対して、撮像部からの距離が遠い被写体については、距離に応じた光の減衰によって照射される光が弱くなり、反射光も弱いものになる。つまり、例えば同一の被写体のように、同様の特性を有する被写体であったとしても、撮像部からの距離に応じて色味は異なるものとなる。そのため、距離の遠近による影響を考慮しなくては、適切な学習処理或いは検出処理を行うことができない。

0027

また、距離の遠近だけでなく、被写体の凹凸等の構造情報による影響も考慮するとよい。例えば、画像中の所与の位置の画素に対応する被写体が、撮像部からの距離がxにあるということがわかったとする。しかし、同一の距離xに同様の特性を有する被写体があったとしても、図11(A)の場合と図11(B)の場合とでは被写体に到達する光量は異なり、結果として撮像される画像での色味等は異なるものになる。図11(A)では対象としている被写体は凸構造の一部であり、直接到達する照明光だけでなく、周辺の被写体により反射された光や散乱光も到達する可能性が高く、比較的明るく撮像される。一方、図11(B)では対象としている被写体は凹構造の一部であり、散乱光等の到達が多くないことが想定されるため、図11(A)に比べて暗く撮像されてしまう。その結果、距離は同じであっても画像上での特性、すなわち特徴量の値は異なるものとなってしまう。

0028

そこで本出願人は、撮像から被写体までの距離に基づく距離情報を用いて、学習処理及び検出処理の少なくとも一方の処理を行う手法を提案する。具体的には、上述した距離の遠近や、距離情報に基づき特定される凹凸情報に基づいた学習処理、検出処理を行う。さらにその学習処理、検出処理の際に、複数の距離範囲を設定し、設定した複数の距離範囲を用いる。

0029

距離に応じて画像に対して正規化処理を行うことで、距離による特徴量の変動を抑止する手法は特許文献2に開示されている。しかし、その正規化処理の具体的な処理内容(例えば正規化処理に用いる式)は距離によらず一定である。それに対して、距離による特徴量の変動特性が一定とはならず、距離に応じて異なる場合があり得る。例えば、第1の距離では、特徴量の変動が定数αと距離dを用いてα×dで表されるのに対して、第2の距離では、特徴量の変動がαと異なる定数βを用いてβ×dで表される場合が考えられる。そのようなケースで特許文献2の手法による正規化処理を行ったとしても、距離に応じた特徴量の変動を充分補償することができない。結果として、一定の特徴を有する被写体が特徴量空間で異なる点にプロットされることになり、検出処理や学習処理の精度が低下する。

0030

それに対して本実施形態では、複数の距離範囲を設定し、当該複数の距離範囲を用いて検出処理、学習処理を行う。このようにすれば、距離による特徴量の変動特性が、距離に応じて変化する場合のように、特定の補正処理では充分な精度で特徴量変動を補償できない場合であっても、精度よく検出処理、学習処理を行うことが可能になる。

0031

例えば、ある程度狭い距離範囲を設定し、当該距離範囲毎に学習処理、検出処理を行ってもよい。この「ある程度狭い距離範囲」とは、当該距離範囲内では、特徴量が距離によらずほぼ一定であると見なせる程度の範囲を表す。例えば、所与の距離範囲に属する任意の2つの距離値をdp、dqとした場合に、距離値dpに対応する特徴量f(dp)と、距離値dqに対応する特徴量f(dq)は、その差分値|f(dp)−f(dq)|が、関数fがどのような関数であるかによらず充分小さな値となることが期待される。このような距離範囲を設定すれば、1つの距離範囲に着目した場合、当該距離範囲に属する特徴量は距離に応じて変動する可能性はあるが、その変動量は充分小さいと見なすことができる。

0032

上述したように、距離による特徴量変動が問題となるのは、距離d1では第1の変動量だけ変動が加えられ、距離d2では第2の変動量だけ変動が加えられることで、同一の特徴を有する被写体が特徴量空間で大きく異なる点にプロットされるためである。また、特許文献2の手法が問題となるのは、d1における特徴量の変動特性と、d2における特徴量の変動特性が異なる場合のように、特定の補正処理を用いただけでは、全ての距離において特徴量変動に対する充分な補償ができないためである。その点、上記のように複数の距離範囲を設定すれば、異なる距離範囲間での特徴量は異なるものとなる可能性があるが、少なくとも1つの距離範囲内では、当該距離範囲に属する特徴量は一定である(少なくとも精度に問題を与えないレベルで変動が小さい)と見なすことができる。よって図13を用いて後述するように、複数の距離範囲のそれぞれについては、距離に応じて特徴量が変動しているという点を意識することなく(すなわち補正処理等を行うことなく)、学習処理を行って学習結果を取得することで、高精度の学習処理が可能となる。

0033

この場合、検出処理でも検出対象データがどの距離範囲に対応するかを特定し、特定された距離範囲での学習結果と比較することで、高精度での検出処理が可能となる。

0034

ただし、複数の距離範囲を用いる学習処理、検出処理の手法はこれに限定されない。例えば、特許文献2の手法と同様に、特徴量に対して何らかの補正処理を行った上で学習処理、検出処理を行ってもよい。ただし、特徴量の変動特性が距離範囲によって異なる場合にも充分な精度を出すために、複数の距離範囲のそれぞれに対して固有の補正処理(狭義には補正式)を割り当てるものとする。例えば、距離による特徴量変動が、図2に示すように複数の式の組み合わせにより表現されることがわかっている場合には、各式と距離範囲とを対応づけることで処理を行ってもよい。

0035

図2の例であれば、距離による特徴量変動は、全体では滑らかでない関数となるため、全ての距離範囲に共通な特定の補正処理(例えば1つの補正式を用いた補正処理)では高精度の補正処理を行うことが難しい。しかし、距離範囲としてZ1〜Z4の4つを設定すれば、それぞれの区間では滑らかな関数として定義できるため、特徴量の変動、すなわち補正処理により補正すべき補正量はシンプルな距離の関数として定義可能となる。よって、例えばZ1に対応する第1の距離範囲を設定し、Z2〜Z4についても同様に第2〜第4の距離範囲を設定し、各距離範囲単位で処理を行うことで容易に且つ精度よく検出処理、学習処理を行うことが可能となる。

0036

なお、本実施形態は、図12(A)に示したように、学習装置と検出装置が別体として設けられてもよく、その場合の学習装置、或いは検出装置に適用できる。また、本実施形態は図12(B)に示したように、学習部を含む検出装置にも適用でき、その場合学習処理と検出処理の両方を行うことになる。以下の具体的な実施形態では、図12(B)に対応する学習部380を含む検出装置について説明するが、図12(A)に対応するように、学習装置と検出装置を分けて考えることもできる。

0037

2.第1の実施形態
第1の実施形態について説明する。以下の説明では内視鏡装置を例に説明するが、上述の距離の遠近或いは凹凸に起因する課題は、環境光が期待できず照明光を用意する必要性が高い場合(例えば通常のデジタルビデオカメラであっても暗部での撮影時等)であれば同様に考えることができるため、内視鏡装置に限定されるものではない。また、内視鏡装置等の撮像装置と本実施形態の検出装置とが別体として設けられてもよい。

0038

本実施形態では、距離情報に基づいてN個の距離範囲を設定し、処理対象データをいずれかの距離範囲に対応付けた上で処理を行う。距離範囲分けの例を図13に示す。図13の例では、距離情報の値に応じてN個の距離範囲を設定している。この場合、学習時であれば学習用のデータが入力された際に、当該データの距離情報を参照して1〜Nのいずれの距離範囲に該当するかを特定する。そして学習処理は特定された距離範囲毎に行われる。その結果、図13に示したように、学習結果(学習特徴量)は距離範囲ごとに算出されることになる。この場合、1つの距離範囲の中では距離の差が大きくならない(例えば第iの距離範囲では距離の差はdi+1−diの範囲に収まることになる)ため、各距離範囲での学習処理では距離に応じた特徴量変動を意識せずともよく、特徴量の補正処理等は不要である。距離情報による影響は、複数の距離範囲を適宜用いることにより抑止され、1つの距離範囲内においてまで補正処理を行う必要性は高くないためである。具体的には、第iの距離範囲の学習処理では、当該距離範囲に対応づけられた特徴量を、補正せずに平均や分散を求める、或いはそのまま特徴量空間にプロットして境界を求めるといった処理を行えばよい。

0039

検出処理においても同様であり、検出対象データが入力された場合には、当該データに対応する距離情報を参照して1〜Nのいずれの距離範囲に該当するかを特定する。そして第iの距離範囲が特定された場合には、当該距離範囲の学習結果fiと、検出対象データの特徴量を比較すればよく、この場合も検出対象データの特徴量を補正しなくてもよい。

0040

2.1システム構成
図1は第1の実施形態に係る検出装置を含む内視鏡装置の機能ブロック図である。図1に示したように、内視鏡装置は、光源部100と、撮像部200と、プロセッサ部300と、表示部400と、外部I/F部500からなる。ただし内視鏡装置は図1の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。また種々の変形実施が可能な点は、他のブロック図の説明においても同様である。

0041

光源部100は、白色光源101と、複数の分光透過率を持った回転色フィルタ102と、回転色フィルタ102を駆動させる回転駆動部103と、回転色フィルタ102からの分光特性を持った光をライトガイドファイバ201の入射端面に集光させる集光レンズ104と、からなる。

0042

回転色フィルタ102は、三原色の赤の色フィルタと緑の色フィルタと青の色フィルタと回転モータとから構成されている。

0043

回転駆動部103は、プロセッサ部300の制御部302からの制御信号に基づき撮像素子206の撮像期間と同期して回転色フィルタ102を所定回転数で回転させる。例えば色フィルタを1秒間に20回転させると、各色フィルタは60分の1秒間隔で入射白色光を横切る事になり、撮像素子206は60分の1秒間隔で3原色の各色光(R或はG或はB)に対する観察対象からの反射光を撮像し、画像の転送を完了することになる。つまりこの実施例はR画像、G画像、B画像が60分の1秒間隔で面順次で撮像される内視鏡装置の例となり、実質のフレームレートは20fpsとなる。

0044

撮像部200は、例えばや大腸などの体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。撮像部200には、光源部100で集光された光を導くためのライトガイドファイバ201と、ライトガイドファイバ201により先端まで導かれた光を拡散させて観察対象に照射する照明レンズ203と、観察対象から戻る反射光を集光する対物レンズ204、205がある。対物レンズ204、205は所定間隔離した位置に配置され所定の視差画像(以降、ステレオ画像と記す)が撮影可能な位置に配置されており、撮像素子206、207にそれぞれ左画像、及び右画像結像されるようになっている。

0045

さらに撮像部200は、撮像素子206、207からの光電変換されたアナログ信号デジタル信号に変換するA/D変換部209と、撮像部200のスコープID情報製造バラツキを含めた固有情報が記録されているメモリ210と、プロセッサ部300と着脱可能なコネクタ212を備えている。ここで前記撮像素子206、207はモノクロ単板撮像素子とし、CCDやCMOS等が利用できる。

0046

また撮像素子206、207から出力された画像はA/D変換部209でデジタル信号に変換されて画像処理部301へ出力される。またメモリ210は制御部302と接続されておりスコープID情報と製造バラツキを含めた固有情報が制御部302へ送られる。

0047

プロセッサ部300は、画像処理部301と制御部302とから構成される。狭義には画像処理部301が検出装置(及び学習装置)に対応することになる。画像処理部301の詳細については後述する。

0048

表示部400はCRT液晶モニタ等の動画表示可能な表示装置である。

0049

外部I/F部500は、この内視鏡装置に対するユーザからの入力等を行うためのインターフェースであり、電源オンオフを行うための電源スイッチ、撮影操作を開始するためのシャッタタン、撮影モードやその他各種のモードを切り換えるためのモード切換スイッチ(例えば生体表面の凹凸部の選択的な強調処理を行う為のスイッチ)などを含んで構成されている。そして、この外部I/F部500は、入力された情報を制御部302へ出力するようになっている。

0050

続いて画像処理部301の詳細について図3に基づいて説明する。画像処理部301は、距離情報取得部320、画像構成部330、特徴量算出部340、検出部360、強調処理部370、学習部380、学習特徴量記憶部390から構成される。

0051

撮像部200の撮像素子206、207から出力される左画像と右画像からなるステレオ画像が、画像構成部330と、距離情報取得部320に入力される。

0052

距離情報取得部320は、撮像されたステレオ画像を構成する左画像を基準画像とし、左画像の局所領域の中央に位置する注目画素を通るエピポーラ線上で右画像の局所領域とのマッチング演算を行い、最大相関となる位置を視差として算出する。距離情報取得部320では更に算出された視差をZ方向の距離に変換して距離情報(狭義には距離マップ)を取得する。取得された距離情報は、検出部360及び学習部380へ出力される。

0053

なお、距離情報取得処理については他の変形実施も可能であり、例えば赤外光等を用いたTime of Flight方式等により距離情報を求めてもよい。また、Time of Flightを用いる場合にも、赤外光ではなく青色光を用いる等の変形実施が可能である。この場合、撮像部200はステレオ構成とする必要はない。

0054

画像構成部330は撮像されたステレオ画像に対して表示部400に出力可能画像とするために所定画像処理(OB処理、ゲイン処理、γ処理)を施し特徴量算出部340、強調処理部370へ出力される。

0055

特徴量算出部340は、画像構成部330から出力された画像から、被写体に関する特徴量を算出する。上述したように、特徴量としては色情報や形状情報等の種々の情報が適用可能であり、それらの情報の算出手法については種々の手法が広く知られているため、詳細な説明は省略する。算出された特徴量は検出部360及び学習部380へ出力される。

0056

検出部360は、学習部380における学習により設定され、学習特徴量記憶部390に記憶された学習特徴量と、特徴量算出部340から出力された特徴量を比較し、検出処理を行う。具体的には、特徴量算出部340からの特徴量と、距離情報取得部320からの距離情報が対応づけられているため、当該距離情報に基づいて当該特徴量の属する距離範囲を特定する。例えば図13の距離範囲ID=kの距離範囲であると特定された場合には、特徴量と、距離範囲kに対応する学習特徴量fkとの比較処理を行えばよい。検出手法の例としては、学習特徴量からのマハラノビス距離がある閾値以内である特徴量を持つ画素を検出対象とする手法などが考えられる。或いは、上述したように特徴量空間に境界を設定した場合には、正解データの境界内であれば検出対象とする手法が考えられる。

0057

強調処理部370は、検出された領域に対する強調処理を行って表示部400に出力する。

0058

学習部380は、特徴量算出部340からの特徴量、及び距離情報取得部320から出力される当該特徴量に対応する距離情報を用いて、検出処理に用いられる特徴量(学習特徴量)を算出する。算出した結果は学習特徴量記憶部390にて記憶される。図13の例であれば、所与の学習データについての特徴量と距離情報が入力されたら、距離情報に基づいて距離範囲を特定する。例えば距離範囲ID=kの距離範囲であると特定された場合には、当該特徴量は学習特徴量fkを求めるための学習処理に用いられることになる。学習処理の詳細については後述する。なお、上述したように教師あり学習の場合には、所与のデータが正解不正解を表す情報付きで入力される。この情報は、例えば外部I/F部500を介してユーザーにより入力されてもよい。その場合、学習部380では、外部I/F部500からの情報と、当該情報に対応する特徴量算出部340からの特徴量と、距離情報取得部320からの距離情報と、を組にして学習処理を行うことになる。

0059

2.2学習処理
図4に学習処理のフローを示す。学習処理が開始されると、撮像画像を取得し、取得した撮像画像に基づいて、距離情報の取得(S301)及び特徴量の算出(S302)を行う。なお、上述したTime of Flight方式であれば、測距センサからのセンサー情報に基づき距離情報が取得されるため、距離情報の取得に画像を用いる必要はない。また特徴量の例としては、色、輝度、色差、分光スペクトル反射率透過率放射輝度等)などがある。

0060

その後、距離情報に基づく距離範囲分けが行われ(S303)、その距離範囲ごとに、特徴量を学習し、学習特徴量を出力することになる(S304)。学習手法としては、例えば距離範囲毎に入力された特徴量の平均や分散などを算出する。平均や分散を用いる場合には、学習結果である学習特徴量は1組(或いは1つ)の特徴量となる。ただし上述したように、特徴量空間での境界に対応する分類モデルを求める処理を学習処理として行ってもよい。なお、教師あり学習においては上述したように、正解不正解を表す情報を特徴量と対応づけて取得しておく。その場合、図4には不図示であるがS301やS302の処理とともに、正解不正解を表す情報の取得処理を行っておき、S304では、補正した特徴量と、正解不正解を表す情報を対応づけて学習処理を行う。

0061

例えば図13に示したようにN個の距離範囲が設定されている場合には、S304の処理は第1〜第Nの距離範囲のそれぞれについて行われるため、S304は実際にはN回分実行されることになり、結果として学習特徴量もf1〜fNのN個が取得されることになる。

0062

2.3検出処理
図5に検出処理のフローを示す。検出処理が開始されると、学習処理と同様、撮像画像を取得し、取得した撮像画像に基づいて、距離情報の取得(S401)及び特徴量の算出(S402)を行う。

0063

その後、学習処理と同様に距離情報に基づく距離範囲分けが行われる(S403)。そして、検出処理においては、N個の学習特徴量のうち、S403において特定された距離範囲の学習特徴量との比較処理が行われ、検出されるか否かが決定される(S404)。例えば、前述したように学習処理において平均と分散を求めておき、マハラノビス距離を計算してある閾値以下の画素を検出する、或いは特徴量空間に設定された境界との位置関係に基づき正解データの境界内の画素を検出する、などの処理が行われる。

0064

その後、強調処理部370では、検出した領域情報を元に、強調処理が行われる(S405)。強調処理は、たとえば、検出領域に色をつけ入力画像に重畳する手法、検出領域に当たる色を変調する手法(輝度を上げる、色相を変化させる、彩度を上げるなど)などがある。

0065

2.4距離情報として凹凸情報を用いる変形例
また、上述したように被写体の凹凸に関する情報を用いて補正処理を行ってもよい。この場合、距離による特徴量変動は、凹部(溝)では周囲より暗く撮像されたり、凸部では周囲より明るく撮像されることに起因するものである。よって本変形例では、複数の距離範囲の設定は撮像部200からの距離値そのものではなく、溝の深さや幅、凸部の高さや幅に基づいて設定するとよい。例えば、図13においてdを基準面に対する凹部や凸部の高さ方向(撮像部200の光軸方向)での変化とし、凹部を正の値(或いは負の値)、凸部を負の値(或いは正の値)とすれば、上述の例と同様に考えることが可能である。以下、被写体の距離情報から、凹凸構造に関する抽出凹凸情報を抽出する処理の一例について説明する。

0066

上述したように、基本的には凸部は明るく凹部は暗く撮像される傾向にあるため、その差異を吸収するように複数の距離範囲の設定を行う。しかし、凸部の高さが低い場合や凹部の深さが浅い場合、或いは凹凸の距離変化がなだらかである場合には、凹凸構造による画像上での特徴量への影響は大きくないと考えられる。つまり、被写体のあらゆる凹凸構造を抽出する必要はなく、明るさに影響を与えるディメンションの凹凸を抽出すればよい。よって、ここでは既知特性情報に基づいて抽出処理パラメータを設定し、設定した抽出処理パラメータを用いた抽出処理により、距離情報から抽出凹凸情報を抽出する手法を説明する。具体的には、既知特性情報を用いて、所望のディメンジョン特性を有する凹凸部(狭義にはその幅が所望の範囲にある凹凸部)を抽出凹凸情報として抽出する。距離情報には被写体の3次元構造が反映されることから、当該距離情報には所望の凹凸部の他、それとはディメンションの異なる構造が含まれる。つまり、本実施形態の抽出凹凸情報取得処理は、距離情報から不要な構造を除外する処理であると言うこともできる。具体的には、既知特性情報に基づいて抽出処理パラメータを決定し、決定された抽出処理パラメータに基づいて抽出凹凸情報の抽出処理を行う。

0067

まず、入力された距離情報に対してN×N画素の所定サイズのローパスフィルタ処理を施し、大まかな距離情報を抽出する。そして抽出された大まかな距離情報に基づいて、適応的に抽出処理パラメータを決定する。抽出処理パラメータの詳細については以降で説明するが、例えば距離マップの距離情報と直交する平面位置での距離情報に適応したモルフォロジーカーネルサイズ構造要素のサイズ)であったり、前記平面位置の距離情報に適応したローパス特性フィルタであったり、前記平面位置に適応したハイパス特性のフィルタであったりする。つまり距離情報に応じた適応的な非線形、及び線形ローパスフィルタハイパスフィルタを変更する変更情報となる。なお、ここでのローパスフィルタ処理は、抽出処理パラメータが画像上位置に応じて頻繁に、或いは極端に変化することによる抽出処理の精度低下を抑止するためのものであり、当該精度低下が問題とならないのであればローパスフィルタ処理を行わなくてもよい。

0068

次に、決定された抽出処理パラメータに基づいて、抽出処理を行うことで被写体に実在する所望サイズの凹凸部のみを抽出する。これら抽出した凹凸部は撮像画像(強調処理の対象となる画像)と同一サイズの抽出凹凸情報(凹凸画像)として出力される。検出処理や学習処理においては、抽出凹凸情報により凹部又は凸部と判定された被写体について、その凹凸の深さ、高さ、幅等のディメンジョンを求め、求めたディメンジョンに応じて距離範囲分類を行うことになる。

0069

続いて抽出処理パラメータの決定処理の詳細を、図16(A)〜図16(F)を用いて説明する。図16(A)〜図16(F)の抽出処理パラメータはモルフォロジー処理のオープニング処理クロージング処理に利用する構造要素(球)の直径である。図16(A)は、被写体の表面と撮像部200の垂直方向の断面を模式的に示した図である。

0070

抽出処理パラメータの決定処理にて実現したいのは、このような被写体表面から、比較的大きい構造(図1における2,3,4)は抽出せずに、明るさに影響を与えうる凹凸部(図1における10,20,30)のみを抽出するための抽出処理パラメータを決定することである。

0071

これを実現するには、抽出対象である凹凸部の幅や高さや奥行き等のディメンジョン情報を用いる必要がある。この情報を使って実際の被写体表面をオープニング処理及びクロージング処理でなぞる球の直径を決定すれば所望の凹凸部のみを抽出できる。球の直径は大局的な構造のサイズよりも小さく、所望の凹凸部のサイズよりも大きい直径を設定する。上記条件を満たす球をオープニング処理とクロージング処理に使用した例が、図16(A)〜図16(F)に描かれている。

0072

図16(B)はクロージング処理した後の被写体表面であり、適切な抽出処理パラメータ(構造要素のサイズ)を決定することで、大局的な構造を維持しつつ、抽出対象としているディメンジョンの凹凸部のうち、凹部が埋められた情報が得られることがわかる。クロージング処理により得られた情報と、元の被写体表面(図16(A)に対応)との差分を取る事で図16(C)のような生体表面の凹部のみを抽出できる。

0073

同様に図16(D)はオープニング処理した後の被写体表面であり、抽出対象としているディメンジョンの凹凸部のうち、凸部が削られた情報が得られることがわかる。よってオープニング処理により得られた情報と、元の被写体表面との差分を取る事で図16(E)のような被写体表面の凸部のみを抽出できる。

0074

上記のように実際の被写体表面に対して全て同一サイズの球を使ったオープニング処理、クロージング処理を行えばよいのだが、ステレオ画像は距離情報が遠い程小さい領域として撮像素子上に結像されるので、所望サイズの凹凸部を抽出するには、距離情報が近い場合には上記球の直径を大きく、距離情報が遠い場合は上記球の直径を小さくするように制御すれば良い。

0075

図16(F)には距離マップに対するオープニング処理、クロージング処理を行う場合の平均的な距離情報に対して、球の直径を変更する様に制御している事を示している。つまり距離マップに対して所望の凹凸部を抽出するには被写体表面のリアルな大きさを撮像素子上の結像画像上の画素ピッチの大きさと一致させるために光学倍率で補正する必要がある。そのため、スコープID情報に基づき決定される撮像部200の光学倍率等を取得しておくとよい。

0076

つまり抽出処理パラメータである構造要素のサイズの決定処理は、除外対象とする形状に対して構造要素による処理を行った場合(図16(A)では表面で球を滑らせた場合)には、当該形状を潰さない(形状に追従して球が移動する)ような構造要素のサイズを決定するものとなる。逆に、抽出凹凸情報として抽出対象となる凹凸部に対して構造要素による処理を行った場合には、当該凹凸部をなくす(上から滑らせた場合に凹部に入り込まない、或いは下から滑らせた場合に凸部に入り込まない)ような構造要素のサイズを決定すればよい。なおモルフォロジー処理については広く知られた手法であるため詳細な説明は省略する。

0077

また、抽出処理はモルフォロジー処理には限定されず、フィルタ処理により行ってもよい。例えばローパスフィルタ処理を用いる場合には、上記抽出したい凹凸部は平滑化可能で、抽出対象でない構造が保持されるローパスフィルタの特性を決定する。既知特性情報から、抽出対象である凹凸部や、除外対象の特性がわかるため、それらの空間周波数特性は既知となり、ローパスフィルタの特性は決定可能である。

0078

ローパスフィルタは公知のガウスフィルタバイラテラルフィルタとし、その特性はσで制御し、距離マップの画素に一対一対応するσマップを作成してもよい(バイラテラルフィルタの場合は輝度差のσと距離のσの両方或いはどちらか1つでσマップを作成してもよい)。ここで「輝度差のσ」における輝度とは、距離マップを画像と見なしたときの画素値を表すものであるため、輝度差とはZ方向での距離の差を表す。一方、「距離のσ」における距離とは、XY方向の注目画素と周辺画素との間の距離を表すものである。なお、ガウスフィルタは下式(1)、バイラテラルフィルタは下式(2)で表すことができる。

0079

0080

例えばここでこのσマップは画素単位でなくても間引き処理したσマップを作成して、当該σマップにより距離マップに対して所望のローパスフィルタを作用させてもよい。

0081

ローパスフィルタの特性を決めるσは、例えば抽出したい生体固有の凹凸部のサイズに対応する距離マップの画素間距離D1の所定倍α(>1)よりも大きく、観察部位固有の管腔及び襞のサイズに対応する距離マップの画素間距離D2の所定倍β(<1)よりも小さい値を設定する。例えば、σ=(α*D1+β*D2)/2*Rσとしてもよい。

0082

また、ローパスフィルタの特性として、より急峻なシャーカットな特性を設定することもできる。この場合はσではなくカットオフ周波数fcでフィルタ特性を制御することになる。カットオフ周波数fcは、上記D1周期周波数F1をカットし、D2周期の周波数F2を通過するように指定すればよい。例えば、fc=(F1+F2)/2*Rfとしてもよい。

0083

ここでRσは局所平均距離の関数であり、局所平均距離が小さくなれば出力値が大きく、局所平均距離が大きくなれば小さくなる。一方、Rfは局所平均距離が小さくなれば出力値が小さく、局所平均距離が大きくなれば大きくなる関数である。

0084

ローパス処理していない距離マップからローパス処理結果を減算して負となる領域だけ抽出することで凹部画像を出力できる。また、ローパス処理していない距離マップからローパス処理結果を減算して正となる領域だけ抽出することで凸部画像を出力できる。

0085

ローパスフィルタによる所望の凹凸部の抽出に関する考え方図17(A)〜図17(D)に示す。図17(A)の距離マップに対して、ローパスフィルタを用いたフィルタ処理を行うことで、図17(B)に示すように、大局的な構造を維持しつつ、抽出対象としているディメンジョンの凹凸部が除かれた情報が得られることがわかる。図16(A)〜図16(F)のようなオープニング処理とクロージング処理の2つの処理を行わなくてもローパスフィルタ処理結果が所望の凹凸部を抽出する基準局面(図17(B))となるので、元の距離マップ(図17(A))との減算処理で、図17(C)に示したように凹凸部を抽出できる。モルフォロジー処理で大まかな距離情報に応じて構造要素のサイズを適応的に変更したのと同様に、フィルタ処理では、大まかな距離情報に応じてローパスフィルタの特性を変更するとよく、その例を図17(D)に示す。

0086

また、ローパスフィルタ処理ではなくハイパスフィルタ処理を行ってもよく、その場合病変部起因の抽出したい生体固有の凹凸部を保持し、観察部位固有の管腔及び襞の構造がカットされるハイパスフィルタの特性を決定する。

0087

ハイパスフィルタの特性として、例えばカットオフ周波数fhcでフィルタ特性を制御する。カットオフ周波数fhcは、上記D1周期の周波数F1を通過し、D2周期の周波数F2をカットするように指定すればよい。例えば、fhc=(F1+F2)/2*Rfとしてもよい。ここで、Rfは局所平均距離が小さくなれば出力値が小さく、局所平均距離が大きくなれば大きくなる関数である。

0088

ハイパスフィルタ処理では、抽出したい凹凸部を抽出できる。具体的には、図17(C)に示したように、差分を取らなくとも直接抽出凹凸情報が取得されることになる。

0089

2.5 複数の距離範囲の学習結果を補間して用いる変形例
上述した本実施形態の基本的な手法では、複数の距離範囲について各距離範囲で閉じた処理が行われており、距離範囲をまたいだ処理は想定していない。本変形例では、検出処理の際に複数の距離範囲の学習結果を補間して用いる。図13の距離範囲分けの例を考えた場合に、検出対象データの距離情報がd2に非常に近いd2−Δ(Δは非常に小さい正の数)であったとする。その場合、当該検出対象データは距離範囲1に該当するため、検出処理で比較対象となる学習特徴量はf1である。しかしd2−Δという距離情報の値は、同じ距離範囲1に該当する値d1よりも、異なる距離範囲2に該当する値d2に近い値であると考えられる。つまり、距離範囲の境界付近となる距離情報をもつ検出対象データが入力された場合には、当該検出対象データは、隣接距離範囲に近い特性を有する場合も充分考えられる。そのため、該当距離範囲の学習特徴量を単体で用いるのではなく、隣接距離範囲の学習特徴量を併用することで、より入力された検出対象データに対応した学習特徴量を設定することができ、検出精度を高めることが期待できる。

0090

また、距離範囲数が少ないときは上述したように入力された距離情報と、距離範囲の平均距離との乖離(上述の例であれば、距離範囲1について平均距離(d1+d2)/2と、距離範囲1に含まれる距離値d2−Δの差異が大きいこと)が問題となる。一方、距離範囲数が逆に多すぎる場合には、そのような乖離が生じる可能性は低くなるが、各距離範囲の学習データ数が十分でないという問題も生じる。学習データが少ない場合、学習結果である学習特徴量の値の信頼性も低くなる。その場合にも上記の補間処理は有効であり、1つの学習特徴量の信頼性が低かったとしても、複数の距離範囲の学習結果を併用することで精度向上を図ることができる。

0091

補間処理の一例を図14に示す。図14横軸が距離情報の値、縦軸が学習特徴量の値である。d1,d2,d3は図13の距離範囲の境界値に対応し、図14ではd1,d2,d3は等間隔ではない例を示している。f1,f2は図13の距離範囲1,2の学習特徴量の値であり、ここでは(d1+d2)/2に対応する縦軸の値をf1,(d2+d3)/2に対応する縦軸の値をf2としてプロットした。そして、図14のdが入力された検出対象データの距離情報の値である。本実施形態の基本的な手法であれば、このdはd1≦d<d2を満たすため、比較対象となる学習特徴量はf1が用いられる。本変形例では、dがd2に近いことを考慮して、距離範囲2の学習特徴量f2との補間処理を行い、図14の例では線形補間を行って求められるf’を比較対象となる学習特徴量とする。

0092

ただし補間処理は図14の例に限定されない。例えば図14のような線形補間に限定されず、非線形な補間処理を行ってもよい。或いは、距離範囲数が多いことにより各距離範囲の学習特徴量の信頼性が低い場合には、補間対象とする学習特徴量は2つに限定せずに、3つ以上用いることでより精度向上を図れる場合もあり得る。

0093

本変形例を用いた場合の検出処理のフローを図6に示す。図5と比較した場合、学習特徴量補間処理S503が追加された構成となっている。つまり本変形例では、学習処理により取得された学習特徴量をそのまま用いるのではなく、検出対象データの距離情報に基づく補間処理を行った上で、検出処理S504に利用することになる。

0094

2.6 本実施形態の具体例
以上の本実施形態では、検出装置(図1の内視鏡装置では画像処理部301に対応)は図3に示したように、撮像部200の撮像により、被写体の像を含む画像を取得する画像取得部(画像構成部330に対応)と、撮像の際の撮像部200から被写体までの距離に基づく距離情報を取得する距離情報取得部320と、取得した画像から被写体に関する特徴量を算出する特徴量算出部340と、撮像部200から被写体までの距離に応じて設定された複数の距離範囲について、距離範囲ごとの学習処理により求められた学習特徴量を記憶する学習特徴量記憶部390と、学習特徴量と、距離情報と、特徴量に基づいて、画像から対象領域を検出する検出部360を含む。そして検出部360は、距離情報取得部320で取得された距離情報に基づいて、特徴量算出部340で算出された特徴量に対応する距離範囲を、複数の距離範囲から特定し、特定された距離範囲に対応する学習特徴量と、特徴量算出部で算出された特徴量とに基づいて、対象領域を検出する。

0095

ここで、本実施形態の学習特徴量には、学習結果を表す情報も含まれるものとする。上述したように、学習処理として、複数の学習データの特徴量の平均や分散を求める処理を行った場合には、学習結果も特徴量の平均や分散となるため、当該情報が学習特徴量に含まれる点に問題はない。ただし、図10(C)や図10(D)に示したように、学習結果を特徴量空間における境界(広義には分類モデル)とする場合には、当該学習結果が「特徴量」そのものではないとの考えも可能である。しかし本実施形態の学習特徴量は、特徴量を用いた学習処理により得られる情報を広く表すものとして用いており、分類モデル等も含む概念とする。また、「距離範囲ごとの学習処理」とは、本実施形態で上述したように、距離範囲ごとに学習結果を求める処理を行う(そのため学習結果が距離範囲の数に対応する数だけ求められる)ものに限定されない。例えば、第2の実施形態で後述するように、距離範囲ごとに設定された補正手法を用いて特徴量を補正し、補正後の特徴量を用いて複数の距離範囲(狭義には全ての距離範囲)を対象として学習結果を求める処理を行う(そのため学習結果が狭義には1つだけ求められる)ものであってもよい。

0096

これにより、撮像部200から被写体までの距離情報と、画像から算出された特徴量と、学習処理の結果である学習特徴量とに基づいて、画像から対象領域を検出することが可能になる。上述したように、距離の遠近や、図11(A)、図11(B)のような構造の差異によって、所与の特性を有する被写体が、画像上では異なる特性を有するように見えてしまうことがあり得る。しかし、所与の特性を有する被写体を画像中から精度よく検出するためには、学習段階においても検出段階においても、画像上での特性変動は抑止しなくてはならない。そこで本実施形態では、距離の遠近、或いは被写体表面の構造は、距離情報に基づき取得することができる点に鑑み、距離情報を用いることで精度よく所望の被写体を検出するものとしている。具体的には、複数の距離範囲を設定し、検出処理において適切な距離範囲を特定することで、距離に応じた特徴量の変動を吸収するものである。

0097

また、検出装置の学習特徴量記憶部390は、距離に基づいて設定された複数の距離範囲の各距離範囲について、学習処理を行うことで取得された複数の学習結果を、学習特徴量として記憶し、検出部360は、距離情報取得部320で取得された距離情報に基づいて、特徴量算出部340で算出された特徴量に対応する距離範囲を、複数の距離範囲から特定し、特定された距離範囲に対応する学習特徴量と、特徴量算出部340で算出された特徴量とに基づいて、対象領域を検出してもよい。

0098

これにより、図13に示したように、複数の距離範囲に分割することで、距離の差異による画像上での特徴量への影響を抑止することが可能になる。なお、図13では省略したが、凹凸構造による影響も抑止するのであれば、その点を考慮した距離範囲設定を行えばよい。例えば、図13に示した各距離範囲を、凹部、凸部、それ以外、といったように構造に応じてさらに細分化することが考えられる。この場合、3×N個の距離範囲が設定されるが、各距離範囲内において、所与の特性を有する被写体の画像上での特徴量の変動が大きくならないようにする、という点では同様である。従来手法においては、特許文献2の正規化処理のように、補正式が1つであることが想定されるため、距離に応じて補正式自体を変更すべき状況等には対応できなかったが、本実施形態であれば距離範囲分けにより各距離範囲内では特徴量変動が小さいものとできるため、そのような状況にも対応可能である。

0099

また、検出部360は、距離情報取得部320で取得された距離情報に基づいて、特徴量算出部340で算出された特徴量に対応する第1〜第M(Mは2以上の整数)の距離範囲を、複数の距離範囲から特定し、特定された第1〜第Mの距離範囲に対応する第1〜第Mの学習特徴量の補間処理を行って補間特徴量を求め、求めた補間特徴量と特徴量算出部340で算出された特徴量とに基づいて、対象領域を検出してもよい。

0100

これにより、変形例として上述したように、学習特徴量の補間処理を行うことで、より精度よく検出処理を行うことが可能になる。具体的には、距離範囲数が少ないことで、各距離範囲内での特徴量変動が小さいという仮定が成立しない場合や、逆に距離範囲数が多いことで各距離範囲の学習データが少なく学習特徴量の信頼性が低い場合等に有用である。

0101

また、検出装置は図3に示したように、距離情報取得部320で取得された距離情報に基づいて、特徴量算出部340で算出された、被写体に対応する特徴量の学習処理を行う学習部380を含んでもよい。そして、学習特徴量記憶部390は、学習部380で行われた学習処理の結果を、学習特徴量として記憶する。

0102

これにより、図12(B)に示したように検出装置30が学習部380を含むものとできるため、検出処理と学習処理を同装置内で行うことが可能になる。この場合、検出処理の対象を撮像した画像を学習処理に用いることができるため、より当該検出処理の対象の特性を反映した学習処理が可能になる。例えば、生体用内視鏡の場合、検出対象とする組織によっては、特徴量(例えば色味)に個人差が生じる場合もある。そのような検出対象を用いる場合、学習処理においては汎用性を高める観点から、検出範囲を広くしたり、或いは平均値中央値に近い範囲に限定する可能性がある。そのため、所与の被検体にとっては対象組織がとり得ない特徴量まで検出範囲としていたり、当該被検体にとっては対象組織が取り得る色味が検出範囲外となる危険性がある。その点、実際の被検体を撮像した画像による学習処理を行えば、個人差を考慮した学習となるため、汎用的な学習結果を用いる場合に比べて検出精度を向上させることができる。この場合、汎用的な学習を行った上で、その学習結果を用いて個人的な学習を行うことが想定される。その際には、状況に応じてユーザが教師データ処理対象が正解データであるか否か)を入力してもよい。

0103

また、検出装置は図3に示したように、検出部360により検出された対象領域に対して、強調処理を行う強調処理部370を含んでもよい。

0104

これにより、検出された対象領域に対して強調処理を行うことが可能になる。強調処理は例えば視認性をより高める処理であってもよく、上述した脂肪の例であれば、神経が存在する可能性が高い領域の視認性を高めることで、神経の損傷を抑止する効果を向上させることが可能である。

0105

また、以上の本実施形態は、撮像部200の撮像により、被写体の像を含む画像を取得する画像取得部(画像構成部330に対応)と、撮像の際の撮像部200から被写体までの距離に基づく距離情報を取得する距離情報取得部320と、取得した画像から被写体に関する特徴量を算出する特徴量算出部340と、距離情報取得部320で取得された距離情報に応じて設定された、複数の距離範囲ごとに特徴量の学習処理を行う学習部380と、学習部380での学習処理により求められた学習特徴量を記憶する学習特徴量記憶部390を含む学習装置に適用できる。

0106

これにより、距離情報に応じて設定された複数の距離範囲ごとに学習処理を行う学習装置を実現することが可能になる。上述してきたように、検出精度を高めるためには、学習処理も距離の差異や構造の差異による影響を抑止しておくことが重要である。

0107

なお、本実施形態の検出装置或いは学習装置は、その処理の一部または大部分をプログラムにより実現してもよい。この場合には、CPU等のプロセッサがプログラムを実行することで、本実施形態の検出装置や学習装置等が実現される。具体的には、非一時的な情報記憶装置に記憶されたプログラムが読み出され、読み出されたプログラムをCPU等のプロセッサが実行する。ここで、情報記憶装置(コンピュータにより読み取り可能な装置)は、プログラムやデータなどを格納するものであり、その機能は、光ディスク(DVD、CD等)、HDDハードディスクドライブ)、或いはメモリ(カード型メモリ、ROM等)などにより実現できる。そして、CPU等のプロセッサは、情報記憶装置に格納されるプログラム(データ)に基づいて本実施形態の種々の処理を行う。即ち、情報記憶装置には、本実施形態の各部としてコンピュータ(操作部、処理部、記憶部、出力部を備える装置)を機能させるためのプログラム(各部の処理をコンピュータに実行させるためのプログラム)が記憶される。

0108

3.第2の実施形態
次に第2の実施形態について説明する。第2の実施形態では、距離範囲分けを行った上で特徴量の補正処理を行う。第2の実施形態の説明図を図15に示す。距離情報に応じてN個の距離範囲を設定する点は第1の実施形態と同様である。しかし学習処理は距離範囲毎に行うのではなく、各距離範囲には距離範囲毎の補正式が対応づけられることになる。そして、所与の学習データが入力され、当該学習データの距離情報から距離範囲iに該当することが特定された場合、当該学習データの特徴量は補正式iを用いて補正処理が行われる。そして、距離範囲に応じた補正処理が行われた特徴量を用いて学習処理を行って、1つの学習特徴量を算出する。

0109

第2の実施形態は、距離によらず同一の補正式を用いる手法と比較した場合、距離情報に応じて補正式を変更することができるという点で異なる。また、第1の実施形態と比較した場合、第1の実施形態では距離範囲毎に学習処理を行って、距離範囲毎に学習特徴量を求めていたのに対して、本実施形態は学習特徴量は1つですむ点が異なる。

0110

例えば、図2に示したように距離情報の変動に対する特徴量の変動が滑らかでなかったり、線形な部分と非線形な部分を含むような場合、補正量、或いは補正後の特徴量を1つの関数f(D)で求めるような単純な手法では補正処理を適切に行うことができない。それに対して本変形例を用いれば、複数の補正式を距離範囲毎に設定することができるため、柔軟な補正処理が可能である。

0111

図7に本実施形態の画像処理部301の構成を示す。図3と比較した場合に、特徴量補正部350が追加されている。距離情報取得部320及び特徴量算出部340は特徴量補正部350に接続される。特徴量補正部350は、検出部360と学習部380に接続される。

0112

特徴量補正部350は、距離情報取得部320から出力された距離情報に基づき、当該距離情報に対応する特徴量の距離範囲を特定する。そして特定された距離範囲に対応する補正手法(狭義には補正式)を用いて、特徴量に対して補正処理を行う。例えば、距離に応じた特徴量変動が図2のように表されているのであれば、特徴量補正部350での補正処理は、当該特徴量変動を補償する処理となる。

0113

検出部360及び学習部380には補正後の特徴量が出力される。つまり図15に示したように、距離範囲は複数あるものの学習部380では1つの学習特徴量が求められる。そして検出部360では、当該学習特徴量と、補正後の特徴量との比較処理を行うことになる。

0114

第2の実施形態を用いた場合の学習処理のフローを図8に示し、検出処理のフローを図9に示す。学習処理においては、距離情報、特徴量の取得後(S601,S602)、距離範囲分類処理が行われ(S603)、特定された距離範囲に応じた特徴量の補正処理が行われる(S604)。そして、補正処理後の特徴量を用いて学習処理が行われる(S605)。

0115

一方、検出処理においても、距離情報、特徴量の取得後(S701,S702)、距離範囲分類処理が行われ(S703)、特定された距離範囲に応じた特徴量の補正処理が行われる(S704)。そして、補正処理後の特徴量と、図8のS605で求められた学習特徴量を用いた検出処理が行われ(S705)、検出された被写体を強調する(S706)。

0116

以上の本実施形態では、検出装置の学習特徴量記憶部390は、距離に基づいて補正処理が行われた特徴量に基づく学習特徴量を記憶し、検出部360は、特徴量算出部340で算出された特徴量に対して、距離情報取得部320で取得された距離情報に基づいて補正処理を行い、補正処理後の特徴量と、学習特徴量とに基づいて、対象領域を検出してもよい。

0117

これにより、特徴量に対して距離情報に基づく補正処理を行うことで、検出処理の精度を高めることが可能になる。ここでの補正処理とは、具体的には距離情報の差異による特徴量の変動、或いは距離情報に基づき取得できる被写体の凹凸構造の差異による特徴量の変動を補償する補正処理とすることが考えられる。なお、凹凸部に対する補正処理では、凹部の深さや幅、凸部の高さや幅に応じて補正量を変更するものであってもよい。これにより、距離情報や凹凸構造による画像上での特徴量の変動を抑止できるため、所与の特性を有する被写体は、距離や構造によらず所与の(狭義には一定の)特性を画像上でも有することになり、精度よく検出処理を行うことが可能になる。

0118

また、学習特徴量記憶部390は、距離に基づいて第1〜第N(Nは2以上の整数)の距離範囲が設定されるとともに、第1〜第Nの距離範囲に対応する第1〜第Nの補正処理が設定された場合に、複数の特徴量に対して、それぞれ対応する距離範囲の補正処理を行うことで求められる学習結果を学習特徴量として記憶し、検出部360は、距離情報取得部320で取得された距離情報に基づいて、特徴量算出部で算出された特徴量に対応する第i(iは1≦i≦Nを満たす整数)の距離範囲を、第1〜第Nの距離範囲から特定し、特定された第iの距離範囲に対応する第iの補正処理を特徴量に対して行い、学習特徴量と第iの補正処理後の特徴量とに基づいて、対象領域を検出してもよい。

0119

これにより、本実施形態で上述したように、距離範囲の特定処理を行い、特定された距離範囲での補正処理を特徴量に対して行うことで、より精度よく検出処理を行うことが可能になる。この場合、距離によらず一律で補正処理を決定する手法と異なり、距離に応じて補正処理の内容(例えば補正式)を変更することが可能である。また、補正処理後の特徴量を用いて学習処理を行うため、基本的には取得される学習結果は1つであり、第1の実施形態での変形例のような補間処理はそもそも必要とならない。

0120

なお、検出処理を精度よく行うために、学習特徴量についても、撮像部200から被写体までの距離に応じて設定された複数の距離範囲を考慮した学習処理により取得された値を記憶するものとしている。ここで、本実施形態の検出装置は、図12(A)に示したように、学習処理を行う学習装置40を含まない構成であってもよい。その場合、学習処理の入力とされる学習データの取得手法は限定されないことから、学習処理において、複数の距離範囲を用いた処理が行われない場合もあり得る。例えば、光源等の配置を工夫することで、撮像部からの距離に依存せずに一定の明るさで被写体を撮像できる環境を用意すれば、撮像画像から取得される特徴量に対しては、特に複数の距離範囲を考慮しなくとも課題の解決は可能である。生体内画像から所与の組織を検出する処理を考えた場合、検出処理では内視鏡装置による撮像は必須となるものの、生体から摘出された後も特徴量(例えば色特性等)が変化しない組織を対象とするのであれば、学習段階では摘出後の組織を用いることで撮像環境を自由に設定することは可能である。しかし、このような理想的な環境を用意することは、言い換えれば実際の距離情報によらず、全被写体を所与の基準距離にあるかのように撮像していることになるため、撮像部200から被写体までの距離を考慮している点に変わりはない。つまり本実施形態での「撮像部から被写体までの距離に応じて設定された、複数の距離範囲に基づく学習処理」という表現は、「撮像部から被写体までの距離に基づく学習処理」と拡張して考えることも可能である。そして「撮像部から被写体までの距離に基づく学習処理」とは、学習処理において距離情報を用いた処理を実際に行っている場合に限定されず、距離を反映した学習処理を広く指すものであり、例えば上述したような理想的な環境を用いた学習処理を含む。

0121

以上の点を鑑みるに、本実施形態では、距離範囲分けや補正処理が学習処理においてはスキップされる可能性がある。つまり、学習特徴量記憶部390は、撮像部200から「被写体までの距離に基づく学習処理」により求められた学習特徴量を記憶し、検出部360は、距離情報取得部320で取得された距離情報に基づいて、特徴量算出部で算出された特徴量に対応する第i(iは1≦i≦Nを満たす整数)の距離範囲を、第1〜第Nの距離範囲から特定し、特定された第iの距離範囲に対応する第iの補正処理を特徴量に対して行い、学習特徴量と第iの補正処理後の特徴量とに基づいて、対象領域を検出してもよい。

0122

以上、本発明を適用した2つの実施の形態1〜2およびその変形例について説明したが、本発明は、各実施の形態1〜2やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態1〜2や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態1〜2や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。

0123

30検出装置、40学習装置、100光源部、101白色光源、
102回転色フィルタ、103回転駆動部、104集光レンズ、200撮像部、201ライトガイドファイバ、203照明レンズ、204対物レンズ、
206撮像素子、209 A/D変換部、210メモリ、212コネクタ、
300プロセッサ部、301画像処理部、302 制御部、
320距離情報取得部、330画像構成部、340特徴量算出部、
350 特徴量補正部、360 検出部、370強調処理部、380 学習部、
390学習特徴量記憶部、400 表示部、500 外部I/F部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ