図面 (/)

技術 画像処理装置および画像処理装置の作動方法

出願人 パナソニック株式会社
発明者 金森克洋
出願日 2011年9月20日 (9年7ヶ月経過) 出願番号 2012-534172
公開日 2014年5月19日 (6年11ヶ月経過) 公開番号 WO2012-073414
状態 特許登録済
技術分野 孔内観察装置 内視鏡 内視鏡 イメージ入力
主要キーワード 端部口 斜面領域 主軸ベクトル 鏡面反射画像 偏光現象 Y座標 輪郭線付近 逆三角関数
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2014年5月19日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題・解決手段

本発明の画像処理装置は、偏光面の角度が異なる3種類以上の直線偏光を、順次、被写体に照射する偏光照明部120と、3種類以上の直線偏光の各々によって被写体が照射されているときに、順次、被写体を撮像する撮像部140と、画像処理部150とを備えている。画像処理部150は、撮像部で撮影した画像の輝度を処理して被写体表面における反射偏光状態を算出する変動輝度処理部1302と、変動輝度処理部1302の出力に基づいて凹領域で2回反射して戻り光となる多重反射領域と、被写体表面で1回反射して戻り光となる1回反射領域とを判別する反射判定部1305と、被写体表面の凹領域で2回反射によって戻り光となる多重反射領域の対を決定する鏡像探索部1306とを有する。画像処理部150は、多重反射領域の対に基づいて前記被写体表面の前記凹領域を示す画像を生成する。

概要

背景

内視鏡は、粘膜で覆われた、生体臓器器官壁表面に対して照明照射して撮像する。このような内視鏡の分野では、表面の色の変化と同時に、表面の微細凹凸テクスチャを確認する必要がある。しかし内視鏡では、被写体上に影の発生がなくなるように照明の光軸と撮像の光軸とのなす角はほぼ0°としているため、表面の微細な凹凸構造陰影でとらえることが難しい。この課題に対して既存のカラー輝度による内視鏡撮像系のまま画像処理の工夫で、画像の濃淡情報から表面凹凸識別しようとする従来技術が提案されている。また、偏光照明偏光撮像とを用いた偏光内視鏡も提案されている。

前者の技術は、例えば特許文献1に開示されている。この技術は、撮影された、カラー画像特定画素信号レベル値とその周囲8画素平均信号レベル値とを比較する。そして、特定画素の信号レベル値が低い場合は、被写体の対応部位は周囲から凹(窪んでいる)と判断する。そして、周囲から窪んでると判断された領域では、赤色画素信号および緑色画素信号の信号レベル値を低減することにより青色成分を強調する。これにより、モニタ装置再現されるカラー画像は、あたかも通常の内視鏡検査医師により実施される青色系色素溶液撒布に類似した色コントラストを呈し、臓器表面の凹凸が明瞭になる。

後者の技術は、特許文献2、および特許文献3がある。ここでは、特定の偏光成分の光を物体に照射する偏光照射部と、前記物体からの戻り光における、前記特定の偏光成分の光、および前記戻り光における前記特定の偏光成分と異なる偏光成分の光とを受光し、偏光撮像する偏光モザイク型の受光部とを備え、前記物体の表面の形状変化を示す形状変化画像を生成する内視鏡が開示されている。特に観察者が粘膜の表面凹凸を視認しやすくするため、偏光特性算出部が偏光方位を算出し表面の傾斜情報の2次元分布を生成できる、としている。

特許文献4、特許文献5および非特許文献1は、偏光面を回転させることが可能なデバイスを開示している。

概要

本発明の画像処理装置は、偏光面の角度が異なる3種類以上の直線偏光を、順次、被写体に照射する偏光照明部120と、3種類以上の直線偏光の各々によって被写体が照射されているときに、順次、被写体を撮像する撮像部140と、画像処理部150とを備えている。画像処理部150は、撮像部で撮影した画像の輝度を処理して被写体表面における反射偏光状態を算出する変動輝度処理部1302と、変動輝度処理部1302の出力に基づいて凹領域で2回反射して戻り光となる多重反射領域と、被写体表面で1回反射して戻り光となる1回反射領域とを判別する反射判定部1305と、被写体表面の凹領域で2回反射によって戻り光となる多重反射領域の対を決定する鏡像探索部1306とを有する。画像処理部150は、多重反射領域の対に基づいて前記被写体表面の前記凹領域を示す画像を生成する。

目的

本発明は、上記の課題を解決するものであり、その目的は、輝度のみならず被写体表面の微細凹凸リアリティ高く再現できる小型で実現可能な画像処理装置を提供する

効果

実績

技術文献被引用数
3件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

偏光面の角度が異なる3種類以上の直線偏光を、順次、被写体に照射する偏光照明部と、前記3種類以上の直線偏光の各々によって前記被写体が照射されているときに、順次、前記被写体を撮像する撮像部と、画像処理部と、を備え、前記画像処理部は、前記撮像部で撮影した画像の輝度を処理して被写体表面における反射偏光状態を算出する変動輝度処理部と、前記変動輝度処理部の出力に基づいて前記凹領域で2回反射して戻り光となる前記多重反射領域と、前記被写体表面で1回反射して戻り光となる1回反射領域とを判別する反射判定部と、前記被写体表面の凹領域で2回反射によって戻り光となる多重反射領域の対を決定する鏡像探索部とを有し、前記画像処理部は、前記多重反射領域の対に基づいて前記被写体表面の前記凹領域を示す画像を生成する、画像処理装置

請求項2

前記画像処理部は、前記多重反射領域の各対からグルーブセグメントを生成し、前記グルーブセグメントを接続して前記凹領域の位置を推定する凹領域接続部と、前記凹領域の断面形状を決定する断面形状モデル化部と、を有する請求項1に記載の画像処理装置。

請求項3

前記画像処理部は、前記多重反射領域における表面法線と前記1回反射領域における表面法線とを統合して法線画像を生成する法線再現部を備える請求項2に記載の画像処理装置。

請求項4

光源位置を設定する光源方向設定部と、前記光源位置を仮想的に動かしたときの光源変動画像を生成する光源変動画像生成部と、前記光源変動画像と輝度画像とを重ねあわせ合成して表示する画像表示部とを有する請求項3に記載の画像処理装置。

請求項5

前記光源変動画像生成部は、前記法線画像および物理反射モデルを用いて前記被写体の輝度画像を生成する請求項4に記載の画像処理装置。

請求項6

前記偏光照明部および前記撮像部は、内視鏡に取り付けられている請求項1から5のいずれかの画像処理装置。

請求項7

前記偏光照明部は、非偏光の光を、偏光面変換素子を透過させることによって偏光面が3種類以上に順次変化する直線偏光を照射する請求項1に記載の画像処理装置。

請求項8

前記偏光照明部は、非偏光の光を前記偏光面変換素子に導くライトガイドを有している請求項1に記載の画像処理装置。

請求項9

前記撮像部はモノクロ撮像素子またはカラー撮像素子を有している請求項1に記載の画像処理装置。

請求項10

偏光面の角度が異なる3種類以上の直線偏光を、順次、被写体に照射しながら前記撮像部によって取得された複数の輝度画像の加算平均を行うことにより、非偏光照明下での画像に相当する平均輝度画像を生成する輝度加算平均部を有する、請求項1に記載の画像処理装置。

請求項11

前記変動輝度処理部は、前記撮像部から出力される画素信号に基づいて、前記偏光面の角度と各画素輝度値との関係を求め、各画素について前記輝度値が最大となる前記偏光面の角度によって定義される輝度最大角画像、および各画素について前記偏光面の変化にともなう前記輝度値の変動の振幅輝度平均値との比率によって定義される輝度変調度画像を生成する、請求項1から10のいずれかに記載の画像処理装置。

請求項12

前記輝度最大角画像、前記輝度変調度画像のいずれかと、輝度画像とを重ねあわせ合成して表示する画像表示部を有する請求項11に記載の画像処理装置。

請求項13

前記反射判定部は、前記輝度最大角画像および前記輝度変調度画像に基づき、前記輝度最大角を色相角、前記輝度変調度を彩度とする擬似カラー画像において、あらかじめ設定された値以上の輝度変調度を持つ画素を、前記多重反射領域を構成する画素として抽出する請求項11に記載の画像処理装置。

請求項14

前記凹領域接続部は、前記凹領域の表面法線のAzimuth(方位)角を推定する請求項2に記載の画像処理装置。

請求項15

前記断面形状モデル化部は、前記凹領域の断面形状を特定の関数にてモデル化し、前記多重反射領域における表面法線のAzimuth角が概略45度になる性質を利用して、前記凹領域における任意の位置における表面法線のZenith(天頂)角を推定する請求項2に記載の画像処理装置。

請求項16

前記偏光照明部は、偏光面が3種類以上に順次変化する偏光面変換素子を透過させた光を、リレーレンズ光学系を経由して前記被写体に照射する請求項1に記載の画像処理装置。

請求項17

前記偏光照明部は、同心円状態の複数のリング照明または面照明光源を偏光面変換素子と組み合わせた光学系を有する請求項1に記載の画像処理装置。

請求項18

前記偏光照明部は、撮像系の光軸よりも内側向き照明系光軸を有する面照明光源と偏光面変換素子とを組み合わせた光学系を有する請求項1に記載の画像処理装置。

請求項19

前記偏光照明部は、無偏光広帯域ビームスプリッタと面照明光源と偏光面変換素子とを組み合わせた光学系を有する請求項1に記載の画像処理装置。

請求項20

偏光面の角度が異なる3種類以上の直線偏光を、順次、被写体に照射する偏光照明工程と、前記3種類以上の直線偏光の各々によって前記被写体が照射されているときに、順次、前記被写体を撮像する撮像工程と、画像処理工程と、を含む画像処理方法であって、前記画像処理工程は、前記撮像工程で撮影した画像の輝度を処理して被写体表面における反射偏光状態を算出する変動輝度処理工程と、前記変動輝度処理工程の結果に基づいて前記凹領域で2回反射して戻り光となる前記多重反射領域と、前記被写体表面で1回反射して戻り光となる1回反射領域とを判別する反射判定工程と、前記被写体表面の凹領域で2回反射によって戻り光となる多重反射領域の対を決定する鏡像探索工程と、前記多重反射領域の対に基づいて前記被写体表面の前記凹領域を示す画像を生成する工程とを含む、画像処理方法。

請求項21

偏光面の角度が異なる3種類以上の直線偏光を、順次、被写体に照射する偏光照明部と、前記3種類以上の直線偏光の各々によって前記被写体が照射されているときに、順次、前記被写体を撮像する撮像部と、画像処理部と、画像処理部の出力に基づいて画像を表示する表示部と、を備え、前記画像処理部は、前記撮像部で撮影した画像の輝度を処理して被写体表面における反射偏光状態を算出する変動輝度処理部と、前記変動輝度処理部の出力に基づいて疑似カラー画像を生成する疑似カラー画像変換部と、を備え、前記変動輝度処理部は、前記撮像部から出力される画素信号に基づいて、前記偏光面の角度と各画素の輝度値との関係を求め、各画素について前記輝度値が最大となる前記偏光面の角度によって定義される輝度最大角画像、および各画素について前記偏光面の変化にともなう前記輝度値の変動の振幅と輝度平均値との比率によって定義される輝度変調度画像を生成し、前記疑似カラー画像変換部は、前記輝度最大角画像および前記輝度変調度画像に基づき、前記輝度最大角を色相角、前記輝度変調度を彩度とする擬似カラー画像を生成し、前記擬似カラー画像と輝度画像とを合成して前記表示部に表示させる、内視鏡装置

技術分野

0001

本発明は、撮像素子によって取得される2次元輝度画像から得られる情報を超えた表面凹凸情報を得ることができる画像処理装置に関する。

背景技術

0002

内視鏡は、粘膜で覆われた、生体臓器器官壁表面に対して照明照射して撮像する。このような内視鏡の分野では、表面の色の変化と同時に、表面の微細凹凸テクスチャを確認する必要がある。しかし内視鏡では、被写体上に影の発生がなくなるように照明の光軸と撮像の光軸とのなす角はほぼ0°としているため、表面の微細な凹凸構造陰影でとらえることが難しい。この課題に対して既存のカラー輝度による内視鏡撮像系のまま画像処理の工夫で、画像の濃淡情報から表面凹凸識別しようとする従来技術が提案されている。また、偏光照明偏光撮像とを用いた偏光内視鏡も提案されている。

0003

前者の技術は、例えば特許文献1に開示されている。この技術は、撮影された、カラー画像特定画素信号レベル値とその周囲8画素平均信号レベル値とを比較する。そして、特定画素の信号レベル値が低い場合は、被写体の対応部位は周囲から凹(窪んでいる)と判断する。そして、周囲から窪んでると判断された領域では、赤色画素信号および緑色画素信号の信号レベル値を低減することにより青色成分を強調する。これにより、モニタ装置再現されるカラー画像は、あたかも通常の内視鏡検査医師により実施される青色系色素溶液撒布に類似した色コントラストを呈し、臓器表面の凹凸が明瞭になる。

0004

後者の技術は、特許文献2、および特許文献3がある。ここでは、特定の偏光成分の光を物体に照射する偏光照射部と、前記物体からの戻り光における、前記特定の偏光成分の光、および前記戻り光における前記特定の偏光成分と異なる偏光成分の光とを受光し、偏光撮像する偏光モザイク型の受光部とを備え、前記物体の表面の形状変化を示す形状変化画像を生成する内視鏡が開示されている。特に観察者が粘膜の表面凹凸を視認しやすくするため、偏光特性算出部が偏光方位を算出し表面の傾斜情報の2次元分布を生成できる、としている。

0005

特許文献4、特許文献5および非特許文献1は、偏光面を回転させることが可能なデバイスを開示している。

0006

特許3869698号公報
特開2009−246770号公報
特開2010−104424号公報
特開平11−313242号公報
US2009/0079982 A1
特許第4235252号

先行技術

0007

Nicolas Lefaudeux, et.al :“Compact and robust linear Stokes polarization camera" ,Proc. SPIE, Vol. 6972, 69720B, Polarization: Measurement, Analysis, and Remote Sensing VIII(2008)
池内克史:「反射率地図に基づき、二次元濃淡画像より三次元形状を再構成する2手法」、電子情報通信学会誌'82/7,Vol.J65−D No.7,PP842−849

発明が解決しようとする課題

0008

従来技術では、表面の凹部(溝)の明瞭化のため、通常の輝度画像処理において「凹部は隣接画素より暗い」という特徴を使っていることが多い。しかし、実際には、それが成り立たない形状の凹部も多い。本発明者の経験では、たとえば平坦な底面を有する凹部や、隣接する傾斜面で相互に光を反射しあうような形状を有する凹部においては、底部や斜面を形成する画素が、周囲の画素よりむしろ明るく反射する事実が判明している。このような形状の凹部では、従来の輝度画像処理は有効ではなく、判定誤りが多発してしまう。

0009

また偏光を使う従来技術は、円偏光成分の光を物体に照射し、物体からの戻り光に関する楕円偏光方位に基づいて表面の傾きを算出できる。しかしながら、上記生体で見られるような定型のない一般的凹部においてその表面法線を求めることは困難であった。

0010

一方、推定された凹凸情報の表示について、従来技術は凹部(溝)の明瞭化を実施する表示技術として「擬似色素撒布処理」など凹部領域の2次元表示をしているが、これは表面凹凸の実感(リアリティ)が感じられないという課題があった。

0011

本発明は、上記の課題を解決するものであり、その目的は、輝度のみならず被写体表面微細凹凸をリアリティ高く再現できる小型で実現可能な画像処理装置を提供することにある。

課題を解決するための手段

0012

本発明の画像処理装置は、偏光面の角度が異なる3種類以上の直線偏光を、順次、被写体に照射する偏光照明部と、前記3種類以上の直線偏光の各々によって前記被写体が照射されているときに、順次、前記被写体を撮像する撮像部と、画像処理部とを備える。前記画像処理部は、前記撮像部で撮影した画像の輝度を処理して被写体表面における反射偏光状態を算出する変動輝度処理部と、前記変動輝度処理部の出力に基づいて前記凹領域で2回反射して戻り光となる前記多重反射領域と、前記被写体表面で1回反射して戻り光となる1回反射領域とを判別する反射判定部と、前記被写体表面の凹領域で2回反射によって戻り光となる多重反射領域の対を決定する鏡像探索部とを有する。前記画像処理部は、前記多重反射領域の対に基づいて前記被写体表面の前記凹領域を示す画像を生成する。

0013

ある実施形態において、前記画像処理部は、前記多重反射領域の各対からグルーブセグメントを生成し、前記グルーブセグメントを接続して前記凹領域の位置を推定する凹領域接続部と、前記凹領域の断面形状を決定する断面形状モデル化部とを有する。

0014

ある実施形態において、前記画像処理部は、前記多重反射領域における表面法線と前記1回反射領域における表面法線とを統合して法線画像を生成する法線再現部を備える。

0015

ある実施形態において、光源位置を設定する光源方向設定部と、前記光源位置を仮想的に動かしたときの光源変動画像を生成する光源変動画像生成部と、前記光源変動画像と輝度画像とを重ねあわせ合成して表示する画像表示部とを有する。

0016

ある実施形態において、前記光源変動画像生成部は、前記法線画像および物理反射モデルを用いて前記被写体の輝度画像を生成する。

0017

ある実施形態において、前記偏光照明部および前記撮像部は、内視鏡に取り付けられている。

0018

ある実施形態において、前記偏光照明部は、非偏光の光を、偏光面変換素子を透過させることによって偏光面が3種類以上に順次変化する直線偏光を照射する。

0019

ある実施形態において、前記偏光照明部は、非偏光の光を前記偏光面変換素子に導くライトガイドを有している。

0020

ある実施形態において、前記撮像部はモノクロ撮像素子またはカラー撮像素子を有している。

0021

ある実施形態において、偏光面の角度が異なる3種類以上の直線偏光を、順次、被写体に照射しながら前記撮像部によって取得された複数の輝度画像の加算平均を行うことにより、非偏光照明下での画像に相当する平均輝度画像を生成する輝度加算平均部を有する。

0022

ある実施形態において、前記変動輝度処理部は、前記撮像部から出力される画素信号に基づいて、前記偏光面の角度と各画素の輝度値との関係を求め、各画素について前記輝度値が最大となる前記偏光面の角度によって定義される輝度最大角画像、および各画素について前記偏光面の変化にともなう前記輝度値の変動の振幅輝度平均値との比率によって定義される輝度変調度画像を生成する。

0023

ある実施形態において、前記輝度最大角画像、前記輝度変調度画像のいずれかと、輝度画像とを重ねあわせ合成して表示する画像表示部を有する。

0024

ある実施形態において、前記反射判定部は、前記輝度最大角画像および前記輝度変調度画像に基づき、前記輝度最大角を色相角、前記輝度変調度を彩度とする擬似カラー画像において、あらかじめ設定された値以上の輝度変調度を持つ画素を、前記多重反射領域を構成する画素として抽出する。

0025

ある実施形態において、前記凹領域接続部は、前記凹領域の表面法線のAzimuth(方位)角を推定する。

0026

ある実施形態において、前記断面形状モデル化部は、前記凹領域の断面形状を特定の関数にてモデル化し、前記多重反射領域における表面法線のAzimuth角が概略45度になる性質を利用して、前記凹領域における任意の位置における表面法線のZenith(天頂)角を推定する。

0027

ある実施形態において、前記偏光照明部は、偏光面が3種類以上に順次変化する偏光面変換素子を透過させた光を、リレーレンズ光学系を経由して前記被写体に照射する。

0028

ある実施形態において、前記偏光照明部は、同心円状態の複数のリング照明または面照明光源を偏光面変換素子と組み合わせた光学系を有する。

0029

ある実施形態において、前記偏光照明部は、撮像系の光軸よりも内側向き照明系光軸を有する面照明光源と偏光面変換素子とを組み合わせた光学系を有する。

0030

ある実施形態において、前記偏光照明部は、無偏光広帯域ビームスプリッタと面照明光源と偏光面変換素子とを組み合わせた光学系を有する。

0031

本発明の画像処理方法は、偏光面の角度が異なる3種類以上の直線偏光を、順次、被写体に照射する偏光照明工程と、前記3種類以上の直線偏光の各々によって前記被写体が照射されているときに、順次、前記被写体を撮像する撮像工程と、画像処理工程とを含む画像処理方法である。前記画像処理工程は、前記撮像工程で撮影した画像の輝度を処理して被写体表面における反射偏光状態を算出する変動輝度処理工程と、前記変動輝度処理工程の結果に基づいて前記凹領域で2回反射して戻り光となる前記多重反射領域と、前記被写体表面で1回反射して戻り光となる1回反射領域とを判別する反射判定工程と、前記被写体表面の凹領域で2回反射によって戻り光となる多重反射領域の対を決定する鏡像探索工程と、前記多重反射領域の対に基づいて前記被写体表面の前記凹領域を示す画像を生成する工程とを含む。

0032

本発明の内視鏡装置は、偏光面の角度が異なる3種類以上の直線偏光を、順次、被写体に照射する偏光照明部と、前記3種類以上の直線偏光の各々によって前記被写体が照射されているときに、順次、前記被写体を撮像する撮像部と、画像処理部と、画像処理部の出力に基づいて画像を表示する表示部とを備える。前記画像処理部は、前記撮像部で撮影した画像の輝度を処理して被写体表面における反射偏光状態を算出する変動輝度処理部と、前記変動輝度処理部の出力に基づいて疑似カラー画像を生成する疑似カラー画像変換部と、を備える。前記変動輝度処理部は、前記撮像部から出力される画素信号に基づいて、前記偏光面の角度と各画素の輝度値との関係を求め、各画素について前記輝度値が最大となる前記偏光面の角度によって定義される輝度最大角画像、および各画素について前記偏光面の変化にともなう前記輝度値の変動の振幅と輝度平均値との比率によって定義される輝度変調度画像を生成し、前記疑似カラー画像変換部は、前記輝度最大角画像および前記輝度変調度画像に基づき、前記輝度最大角を色相角、前記輝度変調度を彩度とする擬似カラー画像を生成し、前記擬似カラー画像と輝度画像とを合成して前記表示部に表示させる。

発明の効果

0033

本発明の画像処理装置では、偏光面の角度が異なる3種類以上の直線偏光を、順次、被写体に照射する偏光照明部と、3種類以上の直線偏光の各々によって被写体が照射されているときに、順次、被写体を撮像する撮像部とを備えているため、特別な偏光撮像素子を新たに開発する必要なしにカラー画像と同時に表面の凹凸形状に応じた反射偏光状態に関する情報を取得することができる。こうして、本発明では、反射偏光状態から表面凹凸の情報を得る。通常のカラー撮像素子をそのまま利用することができるので、高コストの偏光撮像素子を使う必要もなく、表面凹凸を視認するための情報を取得することができる。

図面の簡単な説明

0034

本発明による画像処理装置の基本構成を示す図
偏光面の角度が異なる3種類の直線偏光の偏光方向を模式的に示す斜視図
本発明の実施形態1に関する画像処理装置の構成を示す図
偏光面制御素子の動作を示す図
偏光面角度の定義図
(a)および(b)は、本発明の実施形態1に関する撮像素子における光感知セル配置例を示す図
(a)および(b)は、入射光が被写体表面に対して直上から入射して1回反射をする図
横軸入射角とした際のP波とS波のエネルギーフレネル反射率を示すグラフ
(a)および(b)は、偏光照明の偏光面回転による画素ごとの輝度変動を示すグラフ
(a)および(b)は2回反射による偏光反射光の輝度変動の説明図
(a)最も単純なグルーブ(溝)の形状と(b)入射光の反射の様子を示す図
(a)底面と斜面とを有するグルーブ(溝)形状と(b)入射光の反射の様子を示す図
(a)隆起(凸部)が密集している形状と(b)入射光の反射の様子を示す図
(a)穴(凹部)形状と(b)入射光の反射の様子を示す図
本発明の実施形態1に関する画像処理プロセッサの構成を示すブロック図
4種類の偏光照明に対応する偏光輝度サンプルから余弦関数フィッティングをする図
1回・2回反射判定部の処理を説明するフロチャート
撮影シーンとしての図11の形状を示す図
分離された1回反射領域REF1を模式的に示す図
分離された2回反射領域REF2を模式的に示す図
鏡像探索部の処理を説明する図
鏡像探索部の処理を説明する図
鏡像探索部の処理を説明するフローチャート
1つの反射領域におけるデータを示す図
探索領域の探索の詳細を説明する図
実被写体の輝度画像を示す図
輝度最大角画像YPHと輝度変調度画像YDを1つの擬似カラー画像にした図
量子化処理にて2回反射と判定された微小反射領域を示す図
鏡像探索部の処理でグルーブセグメントが抽出された結果を示す図
複数の鏡像対の発生原因を説明する図(断面図)
複数の鏡像対の発生原因を説明する図(反射領域の図)
凹領域接続部の処理を説明するフローチャート
凹領域接続部におけるグルーブセグメントの設定処理結果を示す図
凹領域接続部におけるグルーブセグメントの膨張処理結果を示す図
凹領域拡張部における細線化の化理結果を示す図
凹領域拡張部における法線決定の処理結果を示す図
穴の場合における凹領域接続の処理結果を示す図(グルーブセグメントの設定)
穴の場合における凹領域接続の処理結果を示す図(グルーブセグメントの膨張
穴の場合における凹領域接続の処理結果を示す図(細線化)
穴の場合における凹領域接続の処理結果を示す図(法線推定
カメラ座標系における法線ベクトルのAzimuth(方位)角、Zenith(天頂)角を説明する図
法線推定部の処理を説明するフローチャート
推定されたグルーブの平面図と断面図
1回反射領域における法線推定の原理
繰り返し法によって推定された表面法線と被写体断面図
推定された法線画像を模式的に表現した図
表面法線と光源視点幾何学的関係
光源変動画像の例を示す図
輝度画像と光源変動画像との合成部の構成例を示す図
輝度画像と光源変動画像との合成を示す図
輝度画像と擬似カラー画像の合成部の構成例を示す図
輝度画像と擬似カラー画像の合成を示す図
本発明の実施形態1の変形例に関する画像処理プロセッサの構成を示すブロック図
REF1領域が凸領域である場合を示す図
REF1領域が凹領域である場合を示す図
本発明の第2の実施形態を示す図
本発明の第1、2の実施形態の変形例を示す図
本発明の第1、2の実施形態の変形例を示す図
本発明の第1、2の実施形態の変形例を示す図
本発明の第1、2の実施形態の変形例を示す図
本発明の第1、2の実施形態の変形例を示す図

実施例

0035

本発明による画像処理装置の例は、図1Aに示すように、偏光照明部120と、撮像部140と、変動輝度処理部1302と、反射判定部1305と、鏡像探索部1306とを備えている。変動輝度処理部1302、反射判定部1305、および鏡像探索部1306は、画像処理部150に含まれている。

0036

偏光照明部120は、偏光面の角度が異なる3種類以上の直線偏光を、順次、被写体100に照射する。本発明が撮像の対象とする被写体100の表面には、複数の凹領域100aが存在する。被写体100が例えば生体の臓器表面には、複数の凹領域が観察される。直線偏光は、被写体100の表面に存在する凹領域100aと、凹領域100a以外の領域とによって反射され、撮像部140に入射する。撮像部140は、3種類以上の直線偏光の各々によって被写体100が照射されているときに、順次、被写体100を撮像する。

0037

図1Bは、偏光面の角度が異なる3種類の直線偏光の偏光方向を模式的に示す斜視図である。図示されている3つの偏光状態10、12、14は、それぞれ、角度の異なる偏光面を有している。図1Bの各偏光状態10、12、14を模式的に示すサークルの内部には、双方向の矢印が記載されている。この矢印は、直線偏光の偏光面を規定する電場ベクトル振動方向を示している。

0038

図1Bには、右手系のXYZ座標を示している。本明細書では、撮像部140によって取得される画像面内にX軸およびY軸を設定し、Z軸の負の向きを視線(光軸)方向に設定する。直線偏光の偏光面は、振動する電場ベクトルに平行な、光軸を含む平面である。上記の座標系を採用する場合、直線偏光の電場ベクトルの振動方向はXY平面に平行である。このため、偏光面の角度(ΨI)は、X軸の正方向に対して偏光方向(電場ベクトルの振動方向)が形成する角度によって規定される。この角度ΨIについては、後に図3を参照して、より詳しく説明する。

0039

本発明では、偏光照明部120から、偏光面の角度が異なる3種類以上の直線偏光が、順次、被写体100に照射され、撮像部140が、3種類以上の直線偏光の各々によって被写体100が照射されているときに、順次、被写体100を撮像する。

0040

再び図1Aを参照する。変動輝度処理部1302は、撮像部140から出力される画素信号に基づいて、偏光面の角度と各画素の輝度値との関係を求め、「輝度最大角画像」および「輝度変調度画像」を生成する。本明細書において、「輝度最大角画像」とは、撮像によって得られた画像を構成する各画素について、輝度値が最大となる偏光面の角度によって定義される画像である。例えば、ある座標(x、y)によって特定される画素P(x、y)の輝度値が、角度45°の偏光面を有する直線偏光によって被写体100が照射されたときに最大になる場合、その画素P(x、y)に対して、輝度最大角である45°の値が設定される。1つの「輝度最大角画像」は、このような輝度最大角の値を各画素に設定することによって構成される。一方、「輝度変調度画像」とは、各画素について偏光面の変化にともなう輝度値の変動の振幅と輝度平均値との比率によって定義される画像である。ある画素P(x、y)における輝度変調度が0.3であるならば、この画素P(x、y)に対して0.3の値が設定される。1つの「輝度変調度画像」は、このような輝度変調度の値を各画素に設定することによって構成される。

0041

このように、本明細書における「画像」とは、人間の視覚によって直接的に認識される輝度画像を意味するだけではなく、複数の画素の各々に与えられた数値の配列を広く含むものとする。例えば1つの「輝度最大角画像」を表示する場合、「輝度最大角画像」の各画素に設定されている輝度最大角の値に応じた明度で画像を表示することができる。このようにして表現された「輝度最大角画像」は、人間の視覚によって認識できる明暗パターンを含んでいるが、これは、被写体の輝度を示す通常の輝度画像とは異なるものである。また、本明細書では、簡単のため、各種の「画像」を示すデータそのものを「画像」と称する場合がある。

0042

図1Aに示される反射判定部1305は、変動輝度処理部1302の出力に基づいて、凹領域で2回反射して戻り光となる多重反射領域と、被写体表面で1回反射して戻り光となる1回反射領域とを判別する。後述するように、被写体表面の凹領域と、凹領域以外の領域との間には、偏光反射状態差異があるため、これらの領域を判別することができる。凹領域では、多重反射(典型的には2回反射)が生じるため、多重反射領域は、同様の偏光反射状態を示す対(ペア)を構成する。このような多重反射領域の典型的な一例は、断面がV字状のグルーブ(溝)であり得る。このようなグルーブの最も簡単な構造を有する例は、後述の図9に示すように、一方向に直線的に延びるグルーブである。しかし、多重反射領域を有する凹領域は、断面が概略的にV字状またはU字状に傾斜・湾曲する表面を有していればよく、他の形態を有し得る。後に説明するように、図10から図12に例示されるような形態でも、その断面には概略的にV字状またはU字状に傾斜または湾曲する面が存在する。したがって、そのような面では多重反射が生じ、同様の偏光反射状態を示す領域の対が観察され得る。

0043

このような、同様の偏光反射状態を示す多重反射領域の対は、被写体の表面において連なり、より広い凹領域を形成している。この凹領域の典型例は、グルーブであるため、本明細書では、多重反射領域の対を含む凹領域を「グルーブ」と称する場合がある。しかし、本明細書における「グルーブ」は、被写体の表面において一方向に延長した溝状の凹領域に限定されない。本明細書における「グルーブ」は、厳密にはグルーブとは言えない形状(例えば、図11図12に示されるような形状)を有する凹領域であり得る。

0044

鏡像探索部1306は、被写体表面の凹領域で2回反射によって戻り光となる多重反射領域の対を決定する。この対の決定方法については、後に詳しく説明する。画像処理部150は、多重反射領域の対に基づいて被写体表面の凹領域を示す画像を生成する。

0045

図1Cは、本発明の実施形態1における画像処理装置の全体構成を模式的に示す図である。

0046

本画像処理装置は、内視鏡101と制御装置102とを備える。内視鏡101は、撮像素子110を有する先端部113、ライトガイド105と映像信号線111を有する挿入部103とを有している。内視鏡101の挿入部103は、図示されているように左右に長く、フレキシブルに曲がり得る構造を有している。ライトガイド105は曲がった状態でも光を伝達することができる。

0047

制御装置102は、光源104と画像プロセッサ108とを備える。光源104から発した白色非偏光の光は、ライトガイド105を経由して先端部113の偏光面制御素子106に導かれ、被写体に照射される直線偏光の光121となる。偏光面制御素子106は、たとえば偏光板液晶素子から構成されており、電圧により非偏光を任意の偏光面の直線偏光へと変換できる。

0048

偏光面制御素子106は、液晶を用いた偏光面を回転させることが可能なデバイスである。その構成例は、特許文献4、特許文献5ならびに非特許文献1等に既に開示されている。偏光面制御素子106は、例えば強誘電性液晶と、偏光フィルムと、1/4波長板などを組み合わせた電圧印加型液晶デバイスで構成され得る。そしてこの偏光照明は、照明レンズ107を通って被写体に照射される。

0049

同期装置112は、偏光面制御素子106に偏光面回転の指示信号送り、照明の偏光面を回転させるとともに、撮像素子110に撮影開始信号を送って映像を取得し、以上の処理を複数回実施する。

0050

被写体からの戻り光122は、撮影レンズ109を通って撮像素子110上に結像する。撮像素子110は、モノクロ撮像素子、あるいはカラーモザイクを有する単板カラー撮像素子であってよい。撮像された映像信号は、映像信号線111を経由して画像プロセッサ108に到達する。

0051

本実施形態では、光源104、ライトガイド105、偏光面制御素子106、および照明レンズ107によって図1Aの偏光照明部120が実現されている。また、撮影レンズ109および撮像素子110によって図1Aの撮像部140が実現されている。図1Aの変動輝度処理部1302、反射判定部1305、および鏡像探索部1306は、画像プロセッサ108によって実現されている。

0052

次に、図2を参照して、偏光面制御素子106の動作を説明する。

0053

偏光面が0°状態203で第1の画像を撮像し、偏光面が45°状態204で第2の画像を撮像し、偏光面が90°状態205で第3の画像を撮像し、偏光面が135°状態206で第4の画像を撮像する。各偏光面が45°ずつずれている必要はなく、180°を3以上の整数除算した角度ずれていればかまわない。撮像素子が高感度である場合、あるいは照明の照度が高い場合には露光時間が短縮できるので、回転角をより細かく設定できる。

0054

偏光面の回転に要する時間は、上記文献によれば、動作速度は20(ms)程度から40〜100(μsec)程度の高速型まで存在する。高速型の液晶を用いてかつこの時間での撮像が可能な程度まで撮像素子の感度を上げれば4方向の偏光回転を実施して撮影しても、動画映像の撮影に十分な性能を持たせることが可能である。また画像処理は最低フレーム画像撮像単位について実施されるが、処理をパイプライン処理にすることで実際かかる処理時間を1フレーム時間内に収めることが可能である。

0055

図1Cから明らかなように、照明レンズ107の光軸と撮影レンズ109の光軸は略等しい。これは内視鏡での観察時に被写体上になるべく影を発生させないためである。

0056

なお、内視鏡の通常の使い方では、非偏光を被写体に照射したい場合が多い。本発明では、例えば上記第1の画像から第4の画像までの別々の偏光画像加算することによって非偏光の平均輝度画像を生成することができる。本発明者らの実験によると、偏光面の角度ΨIが等間隔の複数の偏光を被写体に照射したときの戻り光の画像を加算すると、偏光の効果が打ち消されるため、結果的に非偏光照明を用いたのと同様の効果が得られることが判明している。

0057

図3は、偏光照明における偏光面の角度ΨIの定義を示す図である。前述したように、被写体に向かってX−Y座標系を設定している。偏光面の角度ΨIは、X軸の方向を0°として図3に示すように定義するものとする。角度ΨIが反射において保存される場合には、反射光の偏光面の角度と入射光の偏光面の角度は同一となる。偏光面の角度ΨIを増加または減少させていくと、180°の周期で同一の偏光状態が繰り返される。すなわち、偏光面の角度ΨIを変数とする関数は、180°の周期を有する周期関数である。なお、本明細書において、偏光照明における偏光面の角度ΨIを、「入射偏光面角度」と称する場合がある。

0058

図4(a)および(b)は、それぞれ、撮像素子110の撮像面の構成例を示す図である。図4(a)に示すように撮像面には、複数の光感知セル(フォトダイオード)が行および列状(X−Y方向)に規則的に配列されている。カラー撮像の場合には、図4(b)に示すようRGB3種の波長の光を透過するカラーモザイクフィルタが設置される。個々の光感知セルは、光電変換により、入射した光の量に応じて電気信号を生成する。この部分は一般的な単板カラー撮像素子を用いることができる。このように撮像素子110としては、従来の輝度画像用のものを利用できる。本実施形態では、照明光を直線偏光として、その偏光面を回転させながら撮像することによって被写体の表面情報を取得することが可能になる。このため、特許文献2および特許文献3に開示されているような偏光撮像をするための偏光モザイク形の受光素子などを使うと、偏光画像上にモアレなどのアーティファクトが発生することがよくあるが、本実施形態によれば、このような画質劣化要因がなくなる利点がある。

0059

次に、偏光照明の偏光面を回転した時の輝度の変動の性質について説明する。

0060

図5は、表面801に対して入射角がゼロに近い偏光が入射して直接反射カメラ観測する様子を示している。図5(a)、(b)は、入射する偏光の偏光面が90°異なっている。しかし、反射光の直線偏光は、光の進行方向が変わるだけでエネルギーである輝度は変動することはない。これは以下の理由による。

0061

図6は、フレネル理論による鏡面反射率入射角依存性を示すグラフである。横軸が入射角、縦軸がフレネル反射率を示す。屈折率はn=1.8を想定した。垂直入射とみなせる0°〜15°付近入射角度は、範囲601に相当する。グラフから読み取れるように、この入射角範囲601では、P波もS波も反射率がほぼ同一である。したがって、偏光がほぼ垂直に表面に入射した場合には、表面に対するP波とS波という偏光の区別が無くなって同じ挙動で反射する。すなわち戻り光の偏光状態は入射光と同じになる。従って偏光面変化により戻り光の輝度が変動することは無い。なお、この事実は、屈折率n=1.4〜2.0の自然物体において、広く成立する。

0062

以上のように、滑らかな表面に対して入射角度がほぼゼロで偏光が入射し、それが1回反射して観測される場合、偏光照明の偏光面を角度ΨIだけ回転させても反射光のエネルギーが変わらないため、観測される輝度Yは不変となる。

0063

図7は、凹凸のある表面に対して偏光照明の偏光面の角度ΨIが0°、45°、90°、135°のときに得られる、輝度画像の特定の画素における輝度Yの変動を示している。このように凹凸表面では、輝度Yは各偏光照明の偏光面の角度ΨIに対して周期的に変動を示す。以下、この理由を詳述する。

0064

図8は、凹凸のある表面でグルーブ801が形成され、その斜面で2回の反射が発生している様子を示す。この多重反射は、表面の凹凸が多い被写体表面で常に発生していると考えられ、1回目と2回目の反射の性質が重要となる。幾何学的な配置によっては、極めてまれに2回反射とほぼ同じ位置に3回反射が発生することもあるが、その発生頻度はきわめて低いため、以降は2回反射のみに注目する。

0065

一般に反射の性質を鏡面反射拡散反射に分離した場合、
1)1回目:拡散反射 2回目: 鏡面反射
2)1回目:拡散反射 2回目: 拡散反射
3)1回目:鏡面反射 2回目: 拡散反射
4)1回目:鏡面反射 2回目: 鏡面反射
の4通りの現象が想定できる。

0066

しかし実験によると、被写体表面が滑らかな場合、4)の1回目も2回目も鏡面反射という現象を主要な現象として考えればよいことが判明している。

0067

図8(a)に示すように、グルーブの主軸方向802に対して垂直に偏光した偏光照明はP波である。再び図6を参照すると、被写体グルーブの傾斜角が45°程度と仮定して、そこに真上から照明が入射すると602のフレネル反射率のグラフから読み取れるとおり、この入射角範囲では、S波にくらべてP波の反射率が極めて弱くなる。さらにP波は1回および2回反射を経由する間にさらに弱くなる。一方、図8(b)に示すS偏光は、2回の反射を経てもそれほど弱まらない。その結果、グルーブに対してP波となる入射偏光面においては、反射光はエネルギー的にも極めて弱くなり、輝度が低下する。一方、S波となる入射偏光面においては、反射光はそれほどエネルギーが減衰せず輝度も高い。

0068

以上のように表面グルーブを仮定すれば、実験にて得られた、入射光の偏光面の回転による反射光の輝度変化が説明できる。

0069

グルーブにおける2回反射を偏光現象として検出し、これを、偏光回転照明を使って輝度変動として観測できる。しかし、上記のようなグルーブモデルはやや人工的な溝であった。生体の臓器、粘膜表面における凹凸はさまざまな形状を呈する。図9から図12は、このような現実の凹凸をモデル化したものである。

0070

図9は最も単純なグルーブ(溝)を示している。これは2種の斜面901のみから形成され略直上から入射した光は、斜面で2回反射(902)して戻り光となる。このモデル化では、グルーブにおいて2回反射現象のみが存在する。そこで、ある程度解像度が低い状況では、グルーブ中心は最も暗くなることが多く、従来の輝度による画像処理を用いても凹凸が検出可能である。

0071

しかし以下の形状では1回反射と2回反射が混在し、輝度による凹凸検出は困難になる。

0072

図10はグルーブが底面1001を有する場合であり、浅く広い陥没部などで見られる形状である。この場合、直上から入射した光は、斜面1004で2回反射(1002)して戻り光となるだけでなく、底面にて1回反射(1103)する。このため輝度で観測すると、グルーブの中心が最も明るくなり、凹部が周囲より暗くなるという常識に反する状態になり、輝度を用いた画像処理では凹凸判定は困難になる。

0073

図11平坦部上の凸形状1105が密集している領域の形状であり、隆起状腫瘍などが発生している場合に見られる形状である。凸部は簡単のため半球状にモデル化してあるが、凸部1105の間隙部1101は、凹部と見なすことができ、略直上から入射した光は図11(b)に示すように隣接する表面で2回反射(1102)して戻り光になる。

0074

隆起した部分では光が1回反射して非常に高い輝度領域となるが、間隙の凹部の底部にも、1回反射光が生じる領域1104が存在する。この領域1104は、しばしば非常に高輝度になる。したがって、輝度で観測すると凹部が周囲より明るくなるという状態になり、輝度による凹凸判定によっては図11に示すような凹領域を正確に検出することは困難になる。

0075

図12は、平坦部上に穴状の凹部1204が単独で存在する形状を示している。凹部1204は半球状の穴としてモデル化している。この場合も、対面する斜面の対が存在するため略直上から入射した光は2回反射(1201)して戻り光となる。しかし、入射光は底面にて1回反射(1202)するため、輝度で観測すると、凹部1204の中心1203が最も明るい状態となる。その結果、凹部1204が周囲より暗くなるという常識に反する状態になるため、輝度による凹凸判定によっては図12に示すような凹領域を正確に検出することは困難になる。

0076

輝度による画像処理では凹凸情報を得ることが困難な多様な形状に対して、本実施形態では、回転偏光照明を用いた情報から1回反射と2回反射現象を切りわけて表面凹凸情報を正しく検出することができる。

0077

図13は、画像処理プロセッサ108の構成を示すブロック図である。本実施形態で実行する画像処理は、偏光面が回転する偏光照明を照射して輝度変動を観測した情報から凹凸を検出する原理を用いている。照明の偏光面角度ΨIを0°、45°、90°、135°と変えた場合にそれぞれ撮像された4枚の輝度画像群1301が画像処理プロセッサ108に入力される。

0078

偏光照明を回転した場合の輝度変動は周期180°の余弦関数になることが判明しているので、変動輝度処理部1302は、これを余弦関数に最適フィッティングする。輝度変動は照明の偏光面の角度をΨIとして以下のように表現される。

0079

図14は、この輝度変動の余弦関数を示したもので上記の振幅AI位相Ψo、平均値YΨI_aveを表している。4個のサンプル点は、簡単のため、この余弦関数上にちょうど載るように描かれている。4つの等間隔の角度サンプルから余弦関数をフィッティングして上記の値を推定する手法は、以下のとおりである。まず非偏光照明下での原画像の輝度YΨI_aveを以下の式で求める。これは近似的に非偏光照明下での輝度画像を再現しており、この画像は内視鏡の通常観察画像として利用することができる。

0080

変動輝度処理部1302では、サンプルされた輝度から余弦関数への最小2乗誤差を用いた最適フィッティングを行う。ここでは、0°、45°、90°、135°という4方向のサンプルから実施する。余弦関数は振幅、位相、平均値の3種の情報で決定されるため、これらを決定するためには3点のサンプル以上であれば実際には何点でもかまわない。しかし45°サンプルの場合には最適フィッティングが簡単になる性質がある。

0081

まず偏光角度が0°、45°(=π/4)、90°(=π/2)、135°(=3π/4)における輝度I0、I1、I2、I3の2乗誤差Eを以下のように定義する。

0082

この2乗誤差を最小化する余弦関数の位相Ψoは、以下の式から求められる。

0083

この式から、解は、次の式で与えられる。

0084

逆三角関数などの数学関数では一般に以下のような制限が課されている。

0085

この角度範囲を考慮すると、aとcの大小関係からの場合わけを行うことによって、最小値をとる角度と最大値をとる角度は以下のように計算できる。

0086

この最大値をとるΨ0maxの値を、そのまま、輝度最大角画像YPHとすればよい。

0087

次に、振幅の最大値と最小値を求める。まず、振幅AIを求めるため、以下の式を用いて2乗誤差の最小化を行う。

0088

振幅AIを用いて、振幅の最大値と最小値は以下のようになる。

0089

(式11)の振幅最大値Ymaxと最小値Yminを用いると、輝度変調度画像YDは、以下の式12によって求められる。

0090

なお、余弦関数への一般の最適フィッティングは3点以上のサンプルにおいて可能であり、その方法は例えば特許文献6に記載されている。

0091

以上の処理によって輝度最大角画像YPHと輝度変調度画像YDが得られる。これらの情報は、図13に示されるように、反射判定部1305に送られる。輝度最大角画像YPHと輝度変調度画像YDの2種類の画像は、擬似カラー画像として1つにまとめて表現することが多い。その場合、色の色相角を表現するのが輝度最大角画像YPHであり、色の彩度を表現するのが輝度変調度画像YDである。

0092

また、図13に示されるように、異なる偏光照明下で撮影された画像群1301は、輝度加算平均部1310において加算平均され、非偏光照明下で撮影された画像と等価になる。これが通常のカラー画像として機能する輝度画像Yとなる。

0093

反射判定部1305は、輝度最大角画像YPH、輝度変調度画像YD、および、輝度画像Yを用いて、被写体表面で発生した反射を1回反射と2回反射に識別判定する。

0094

図15は、反射判定部1305の処理を説明するフローチャートである。

0095

テップS1501では、輝度変調度画像YDと輝度画像Yとを入力する。ステップS1502では、輝度変調度画像YDの各画素における値(変調度)が、所定の閾値レベルTH_YD以上か否かを判定する。ステップS1504では、式13に示すように(i)変調度が所定の閾値レベルTH_YD以上の画素からなる画像領域(REF2=YES)を、2回反射領域と判定する。一方、(ii)変調度が所定の閾値レベルTH_YDより小さい画素からなる画像領域(REF2=No)を2回反射なしと判定する。こうして、所定の閾値レベルTH_YD以上の輝度変調度が存在する反射領域のみを2回反射領域REF2の画素領域として分離できる。

0096

ステップS1503では、ステップS1502においてREF2=No(2回反射なし)と判定された領域の輝度値Yが、所定の閾値TH_Yよりも大きいかどうかを判定する。画素の輝度値Yが所定の閾値TH_Y以上の場合(式14 REF1=YES)、ステップ1505では、そのような画素からなる領域を1回反射領域REF1と判定する。1回反射領域REF1および2回反射領域REF2は、「鏡面反射領域」を構成する。なお、2回反射領域REF2は、2回以上の反射が生じる領域を含み得るため、「多重反射領域」と呼んでもよい。そして、画素の輝度値Yが所定の閾値TH_Yよりも小さい(式14 REF1=No)場合、そのような画素からなる領域は、鏡面反射領域ではないとする。

0097

以上の処理によって1回反射領域REF1と2回反射領域REF2が画像上で分離される。また、1回反射領域REF1および2回反射領域REF2のいずれでもない領域が、「鏡面反射領域」から区別される。

0098

図16Aは、平坦部上に隆起状の腫瘍などが発生しているシーン図11)について、反射判定部1305の処理を行った結果を模式的に示している。図16Bでは、1回反射領域がハッチングされた円形領域として記載されている。1回反射領域は、隆起部頂上付近と凹部の底面に存在する高輝度領域である。図16Cに示すように、2回反射領域1601、1602、1603の各対は、隆起部どうしが接する凹部の斜面に位置している。

0099

図17A,Bは、この処理結果をさらに模式的に表現する図面である。分離抽出された各種の形状を有する微小反射領域171,172、173,174、175が、属性として輝度最大角Hを有する様子を示す。

0100

輝度最大角Hは180度周期の角度である。輝度最大角Hの等しい領域が図17A、Bでは、パターンテクスチャにて表現されている。図17Aに示される領域171、172は、角度H1に相当する属性を有し、図17Bに示される領域173、174、175は、角度H2に相当する属性を有しているとする。言い換えると、領域171、172の輝度最大角HはH1、領域173、174、175輝度最大角HはH2であるとする。

0101

以下に示す鏡像探索では、まず、図16Cの2回反射領域1601、1602、あるいは1603のような鏡像対となる領域を見つけて凹部を判定する。図17Aの領域171と領域172という対を見つける場合、その2値画像としての形状は信頼性が低く、あまり有用でない。しかしながら2回反射領域が有する角度H1は大きな手がかりとなる。なぜなら、角度H1はグルーブ主軸角度を示しているため、対となる領域は必ずグルーブ主軸と直交する方向に存在するからである。探索は、このグルーブ主軸と直交する直線上のみで行えばよい。このグルーブ主軸と直交する直線を探索線176と称するものとする。例えば、図17Aの領域171に対する探索線176は、領域171の重心178を通り、角度H1に直交する線である。図17Bの例において、領域173に対応する鏡像は、領域173の重心を通り、角度H2に直交する直線(探索線177)上に位置する。したがって、領域173に対応する鏡像は、探索線177上のみを探索すればよい。図17Bの例では、角度値H2に等しい角度値を有する領域175が領域173の近傍に位置しているが、この領域175は探索線177上にはない。すなわち、領域173と領域175とは、2回反射領域の対を構成していない。探索線上を探索する方法によれば、領域175を、領域173と対を構成する領域であると間違えることはなくなる。

0102

次に、図18Aを参照しながら、鏡像探索部1306の処理を説明する。図18Aは、鏡像探索部1306の処理の一例を示すフローチャートである。

0103

ステップS1801において、2回反射領域画像を入力する。これは、図16Cに例示されるような2回反射領域の対を示す2値画像と、輝度最大角画像YPHと、輝度変調度画像YDとを含むデータである。具体的なデータの例は後述する(図18B)。以下、輝度最大角画像YPHの各画素における輝度最大角の値をYPH値と称し、輝度変調度画像YDの各画素における変調度をYD値と称する。

0104

ステップ1802では、反射判定部1305における(式13)で説明した2値化処理のために発生した画像上の細かい分散した微小領域をノイズとして除去する。これは通常の2値画像の収縮・膨張処理を使えばよい。

0105

ステップ1803では、2値画像をラベリングして、領域ごとに画素数重心座標、YD値,YPH値の平均値を計算する。ここで、YD値とYPH値の平均計算には、YD値を色の彩度、YPH値を色の色相とすることによって表現される擬似カラー値(R,G,B)を用いる。

0106

図18Bは、1つの反射領域における擬似カラー値(R,G,B)の例を示している。この領域は、画像上のX軸座標275−278とY軸座標183−186に存在する11画素よりなる領域である。各画素はYD,YPH値を擬似カラー値にて保持しており、これはRED、GREEN、BLUEの各プレーンの同じ座標の画素位置に8ビット値が格納されることで実現されている。たとえば、この領域を構成する(X,Y)=(278,184)の画素には(RED,GREE,BLUE)=(255,231,227)が格納されている。上記ステップ1803の計算において、重心位置と擬似カラー値の平均値を計算すると、この領域の重心座標は(GCX,GCY)=(276.5、184.6)、平均色は(RED_AVE,GREE_AVE,BLUE_AVE)=(255,228.09,223.45)となる。ここからグルーブ主軸角度Hは、よく知られたRGB_HSV変換などを用いることにより、H=0.0245、すなわち約8.82°を得る。この角度は、360度周期であるが、グルーブ主軸角度φは180度周期であるため、Hの1/2の値をグルーブ主軸角度φとすればよい。したがって、図18Bの例におけるグルーブ主軸角度φは約4.41°となる。この状態で、領域番号nrとして領域がラベリングされた2値画像が得られており、各領域の属性、統計量確定する。

0107

次に実際の探索プロセスを説明する。

0108

図18AのステップS1804では、初期設定として、探索領域番号nrを1にセットする。ステップS1805では、探索領域に対して探索線を計算する。この探索線とは前述の説明どおり鏡像を探索するとき使う探索範囲を規定するものである。ステップS1806では被探索領域番号nr1を1にセットし、ステップS1807で実際に探索を行う。

0109

上記擬似カラー値の意味で「類似色」でかつ探索線との距離Dが小さい領域のみを鏡像候補Mrrcandとして、探索線上距離Lenをストアするという方法で行う。

0110

図19は、この被探索領域の探索の詳細を説明する図である。

0111

これから2回反射領域の対を構成する他方の領域の探索をする基準となる領域を探索領域191と設定し、グルーブ主軸方向は矢印192で表現される方向とする。まず探索領域191と被探索領域どうしでの主軸角度が類似しているかどうかを判定する式15を用いて、探索領域191と類似色の領域とが判定され、同時に探索線193が確定される。

0112

探索線の方程式は現在の探索領域の重心座標と2回反射グルーブの主軸角度φを用いて以下のようにあらわされる。

0113

よって探索領域(番号nr)の探索線に対して被探索領域(番号nr1)と探索線との垂直距離Dの条件は以下のようになる。

0114

(式15)と(式17)の条件を両方満たした場合には、探索線上距離Lenを以下のように計算する。

0115

ステップS1809で探索領域nrに対する全ての被探索領域の探索が終了したか否かを判定し、未終了であれば、次の被探索領域nr1をセットする(S1808)。

0116

ステップS1810では、探索線上距離Lenをソートして短距離から2個を選択する。これが鏡像対になるが、あまりに距離の遠い鏡像対はありえない。そこでステップS1811にて短距離から2番目までが最大距離LEN_THより小さければ、鏡像の対と認定する。

0117

求めた鏡像対の領域からグルーブに相当する垂直2等分線を生成する。この線分をグルーブセグメントと称し、長さをGRVLENとして以下のように表現できる。

0118

ステップS1812にて全ての領域nrが探索されたことが確認されたら処理が終了し、未終了の場合には次の探索領域に進む(ステップS1813)。

0119

以上の処理が終了すれば、反射領域の群にその鏡像対を結びつけ、その中間位置に存在すると想定される、グルーブの局所的な細分化された候補であるグルーブセグメントを設定することができる。

0120

図20Aから図20Dは、実被写体においてグルーブセグメントを抽出した実験画像を示す図である。

0121

図20Aは、被写体を回転偏光照明にて撮影した画像4枚から生成された輝度画像である。臓器表面の凹凸類似の形状と反射特性を有すると想定される魚卵、具体的には「すじこ」の集合体を用いている。表面には照明であるリング照明の1回反射の像および半透明の特性によるリング状の像が多数観察され、これは輝度画像処理においては重大なノイズになる。しかしながら本発明の偏光処理においては、処理結果の図20Bから図20Dのとおり、ほとんど問題にならず正常に処理が可能である。

0122

図20Bは、変動輝度処理部1302の処理を実施した結果を示す図であり、輝度最大角画像YPHと輝度変調度画像YDとをまとめて1つの擬似カラー画像が示されている。

0123

図20Cは、反射判定部の結果を示す図であり、量子化処理にて2回反射と判定された微小反射領域が分離・抽出された結果を示す。これらの微小領域が図16C図17A、17Bの各領域に相当する。

0124

図20Dは、鏡像探索部1306の処理を実施した結果を示す図であり、魚卵の1個1個の輪郭線付近にグルーブセグメントが抽出されている。複数の平行線2001が抽出される部分は複数の鏡像領域対が発見された部分に相当する。

0125

図21A図21Bは、この複数の鏡像対の発生原因を説明する図である。図21Aは被写体表面の凹凸の断面図であり、斜面が変曲点を有するカーブを描いているため、(A)点と(D)点で1つの2回反射、(B)点と(C)点で別の2回反射が発生している。そのために図21Bのように4個の2回反射領域が同一探索線上に観測され結果的に3本のグルーブセグメントが抽出される。この場合、別途アルゴリズムによって本来のグルーブ中心が(B)と(C)の中点であることを判定してもよい。

0126

凹領域接続部1307は、推定されたグルーブセグメントどうしを接続することにより、1まとまりの凹領域を生成し法線のAzimuth(方位)角を確定する。

0127

次に、図22を参照しながら、凹領域接続部1307の処理を説明する。図22は、凹領域接続部1307の処理の流れを示すフローチャートである。

0128

図22に示すステップS221では、鏡像探索部1306でグルーブセグメント化した、画像内の全てのグルーブセグメントSを対象にする。ステップS222では、各グルーブセグメントSの有する方向に依存して2値画像処理の膨張処理を実行する。この膨張処理の方向は、個々のグルーブセグメントの方向に依存して決定され、グルーブセグメントの主軸とその垂直方向に対してほぼ均等に膨張させ、グルーブセグメントをグルーブの底としてグルーブの斜面領域再生する。

0129

ステップS223では上記の膨張領域の近いものどうしを画像処理によって相互に接続し、微小反射領域に依存して離散的だったグルーブセグメントを大きな連続した接続グルーブ領域とする。ステップS224では、接続グルーブ領域を2値画像処理で細線化することにより、連続した接続グルーブ領域の底に対応する細線を確定する。ステップS225では、この細線の垂線でかつ細線に向かう向きのベクトルを設定し、これをグルーブの法線ベクトルのAzimuth(方位)角として推定する。

0130

ステップS226では、接続グルーブ領域内における断面形状を2次関数などの既存の関数形にてフィッティングをすることにより、グルーブのZenith(天頂)角を推定する。この際に微小反射領域の反射強度拘束条件となる。これは、図10図11図12などからわかるように、各断面において強い2回反射を発生する斜面角度は垂線に対して約45度近傍であることを利用する。これらの処理を実施して接続グルーブ領域を推定し、その場所における表面法線ベクトル、すなわちAzimuth(方位)角とZenith(天頂)角とを推定する。以上の処理を実例に即して説明する。

0131

図23Aから図23Dは、湾曲したグルーブの例を示す図であり、このグルーブは、隆起した凸領域の周囲に存在するグルーブと考えてよい。図23Aは、微小反射領域151,152と設定されたグルーブセグメント179を示す。図23Bはグルーブセグメント179の膨張処理の結果を示す。図23Cは、他のグルーブセグメントと接続し、細線化処理が実施された様子を示す。この段階で接続グルーブ領域は画像の左下を中心に湾曲し、その谷である底面位置が細線で示されている。図23Dは、得られたグルーブに対して法線の方位角が推定された結果を示している。

0132

図24Aから図24Dは、平坦な面内にある窪み(穴)の例を示す図である。穴の形状は、グルーブが点対称になったものと考えられるため2回反射の鏡像対が理論的には無数に存在する。図24Aは、微小反射領域2000と微小反射領域2001とが鏡像対をなし、グルーブセグメント2004が推定される。また、微小反射領域2002と微小反射領域2003とが鏡像対をなし、グルーブセグメント2005が推定されている。図24Bは、グルーブセグメントを膨張処理させた結果を示している。その膨張領域が1つの十文字状閉領域をなすことがわかる。ここから細線化を実施すると底面の1点が推定される。図24Cでは、グルーブセグメントから求められた凹領域である穴と、その穴の底面における1点が図示されている。図24Dは、得られた穴の領域に対して法線の方位角が推定された結果を示している。

0133

断面形状モデル化部1308は、以上の処理によりAzimuth(方位)角が推定された結果を受けて、凹領域においてZenith(天頂)角を推定し、法線を表現する2つの角度を確定する。凹領域のAzimuth(方位)角およびZenith(天頂)角が決まると、凹領域の法線画像を生成する。

0134

図25は、方位角と天頂角につき説明する図である。法線ベクトルは3次元ベクトルであるが長さが1に正規化されているため自由度は2であり、角度で表現する場合には、画面内の方位角Ψと視線に対する天頂角θにて表現する。通常の右手系では、画像内にX−Y軸を設定し、Z軸の負の向きが視線(光軸)方向となる。法線の3成分(Nx,Ny,Nz)との関係は図に示すとおりである。すなわち偏光情報により方位角Ψと天頂角θとが求められたならその点での表面法線は以下のようになる。

0135

図26は断面形状モデル化部1308の処理の流れを示す。ステップS2601では、すでにAzimuth(方位)角が推定された状態にて、Zenith(天頂)角を推定する。

0136

グルーブ断面は特定の関数形でフィッティングしてかまわないが、ここでは正規分布関数を用いる。

0137

図27は推定されたグルーブを被写体直上からみた平面図と断面を示す。簡単のためにグルーブはX=0でY軸方向に延びているとする。ここで断面形状をσというパラメータを用いた正規分布関数で表現するものとする。正規分布関数は、パラメータがσ1個だけで表現され簡単であること、生体で一般的な各種のグルーブの形状に類似していることから図10から図12の各種断面形状を近似するものとして選定している。

0138

ここで、断面形状の勾配を計算すると、これは法線の天頂角θを用いて以下のように表現できる。

0139

そこで最適フィッティングすべき微小反射領域2701の位置をx軸上でWとし、そこでのθを最も反射強度が強くなるθ=45度と仮定すると、



を得るのでここからパラメータσが求められる。以上のようにグルーブの断面形状が正規分布関数で表現され、同時にグルーブ底面の中心線2702からのずれ値Wに従ってZeinth(天頂)角が決定する。なお、正規分布関数の値はグルーブ中心から離れるに従い漸近的に平坦部に移行する。したがって、このモデルは、などの粘膜表面における凹部のモデルとしては適している。

0140

一旦この関数形が決定されれば、グルーブ中心線から距離xの点における天頂角θは、




として求められる。なお、正規分布関数以外の断面形状モデルを用いてもよいことはいうまでもない。

0141

ステップS2602では、求めた方位角Ψと天頂角θから(式21)を用いてカメラ座標系における被写体表面の法線ベクトル(Nx,Ny,Nz)を求め、これを2次元的な法線画像とする。

0142

いままでの説明からわかるように本発明では、偏光情報を使ってはいるが、Azimuth角、Zenith角のいずれについても不定性(Ambigugity)が発生しない。これは通常の偏光画像処理とは大きく異なる利点であり、もともと凹部のみをモデル化して推定するという立場考案されているためである。

0143

以上の処理は被写体表面で2回反射を起こす凹領域における法線の推定処理であったが、次に1回反射を起こす領域の処理を説明する。

0144

高輝度領域処理部1312は、図16において被写体表面で非常に明るい輝度を有する領域REF1として抽出された部分での法線を確定する。

0145

図28は、法線確定の原理を示す図であり、1回反射における鏡面反射で入射角と反射角が等しい性質からREF1領域における表面法線N1は視点ベクトルVと光源ベクトルLとの2等分ベクトルとして計算できる。

0146

以上の処理においてREF2(2回反射)領域とREF1(1回反射)領域における表面法線が確定できる。しかしこれらの法線は局所的にしか求められていない。そこで被写体表面全域にわたる大域的な法線を決定する。

0147

法線再現部1313は、理論的な表面反射モデルと観測された単一画像の輝度との関係から法線の連続性仮定を用いて法線未決定領域に対して法線を求めて、大域的な法線を決定する。この領域では2回反射はほとんど発生していないため、照明と法線と視線の方向から1回の反射にて輝度が決定されると考えてよく、従来からよく使われているSFS(ShapeFromShading)における陰影からの形状復元(非特許文献2)の手法を使うことができる。

0148

この手法ではまず3次元空間内のベクトルである表面法線(Nx,Ny,Nz)を(p、q)勾配空間を経由して被写体の外縁線拘束を表現するのに便利な(f、g)空間で表現しておく。この返還式には(式26)、(式27)を使えばよい。

0149

次に実際にある画素位置(x、y)にて観測された輝度E(x,y)から法線(f、g)を推定するために(式28)の関係を仮定する。このため法線と観測輝度との理論的関係R(f,g)が必要になる。これは、実験的に求めることも可能であるが、光源位置を既知として被写体の反射特性を近似する種々の物理反射モデルの式から得ることができる。たとえば鏡面反射モデルとして後述するクック=トランスモデルを使うことができる。

0150

次に、被写体表面が滑らかであるという設定から以下の法線連続性の式を仮定する。

0151

そこで、(式28)と(式29)を両立させるため以下の積分を最小化する。

0152

この最小化問題は以下のオイラー方程式を解くことに帰着し離散的に繰り返し法を用いて解くことができる。

0153

最後に求められた(f、g)空間から(p,q)空間を経由して法線ベクトルを逆変換して求める。

0154

図29Aは、この繰り返し法によって次第に表面の凸部分の法線が形作られていく様子を模式的に示す。初期の表面は2901のように平坦であるが、繰り返し法を適用すると、2902、2903のように次第に凸領域が形成されている。なお、グルーブ領域における法線群、REF1領域における法線は拘束条件として用いることができる。以上の処理によって法線画像Nが生成できる。

0155

図29Bは法線画像を模式的に表現した図である。輝度画像の各画素にその場所における表面法線ベクトルのデータが付随している。以下の説明は、このようにして生成された画像を合成表示する部分に関する。

0156

まず図1Cに示すとおり、法線画像Nは光源変動画像生成部117に送られる。光源変動画像生成部117では、求められた法線画像に対して、カメラ視点方向と照明光源方向を与えることによって物理反射モデル式を用いて輝度画像を生成する。ここでは被写体の鏡面反射をよく表現するモデル式としてクック=トランスモデルを使用する。それによると輝度Isは以下の式で表される。

0157

図30はクック=トランスモデルを用いる場合のベクトルと角度の関係を示す図であり、表面法線Nと、光源ベクトルLと視点ベクトルVが描かれている。光源ベクトルLと視点ベクトルVの2等分ベクトルHを用いると、上式におけるαは、2等分ベクトルHと法線Nとのなす角度であり、θrは視線ベクトルと法線Nのなす角度である。フレネル係数Fおよび幾何減衰率Gは以下の式で表現される。

0158

また係数Kは入射照度に関係する係数である。このクック=トランスモデルを使えば、表面法線画像から輝度画像を生成することができるが、そのためには屈折率nのほかに、視線ベクトルV、光源ベクトルLなどの幾何学的な設定を与える必要がある。

0159

光源方向設定部114は、この光源ベクトルを設定するためのマンマシンインタフェースであって、内視鏡診断などにおいては観察するユーザである医師が自由に設定する。この設定は照明光源を実際の内視鏡の光源以外の場所、たとえば向かって左側、右側、上側、下側から照射するような仮想的な設定であり、対象の表面凹凸をリアリティ豊かに画像化できる。

0160

図31は、このような光源変動された画像を模式的に示す。この画像は推定された法線画像に基づいているために照明変更がコンピュータ上で自在に替えることができ、内視鏡の欠点の1つである照明位置の変更ができないため表面凹凸の観察が困難である、という課題を解決することができる。

0161

実際にはクックトランスモデルで表現される画像は光沢部のみの鏡面反射画像である。たとえば、カラー画像の場合には、鏡面反射画像は白色光源のみによるためモノクロ画像となってしまい、これだけではリアリティに欠ける。そこで画像合成部115において、輝度画像Yと合成表示する。

0162

図32Aは、この合成処理を説明する図である。

0163

輝度画像Yと光源変動画像SYは、画像合成部115に送られ、まず画像成分分離部3202にて拡散反射画像DYが分離される。これは、輝度画像Yから、光源を撮影時と同じ状態に設定した鏡面反射画像である光源変動画像SYを減算することによって実施される。前記のカラー成分などは、この拡散反射画像DYに残存する。次に光源を任意の位置に変化させた場合の光源変動画像SYを生成し、これに重み係数設定部3204にて重み付けして加算部3203で加算合成する。合成画像は表示部へ送られる。

0164

図32Bは、以上の合成処理にて実現される表示画像の例である。光源3206は仮想的に設定される任意の平行光源である。これを図32Bの(A)から(D)のように方向を自在に設定すると、被写体画像が画像3208Aから3208Dのように変化する。特に1回反射の鏡面反射部3207とシャドウ部3209が光源の位置変化と共に移動する点で視覚的に凹凸を感知させることができる。医師は通常の輝度画像に加えて凹凸をリアリティ豊かに強調した画像を見ることができ診断に有効な情報を得ることができる。

0165

図33Aは合成処理の別の形態を示す図である。この場合には法線画像Nから生成される輝度画像ではなく、そこまで加工する以前の情報である輝度最大角画像YPH、および輝度変調度画像YDから生成される擬似カラー画像を合成している。輝度最大角画像YPHと輝度変調度画像YDは画像合成部115に入力されると、まず擬似カラー変換部3301によって擬似カラー画像Cに変換される。この変換には、よく知られたHSV−RGB変換などを利用できる。

0166

次に、この画像は重み付け部3303にて重み付けされて、同じく重み付け部3302にて重み付けされた輝度画像と共に加算部3304に送られて加算合成される。この場合に擬似カラー表示は、その色相が表面のグルーブのAzimuth(方位)角を示している。

0167

図33Bは、以上の合成処理にて実現される表示画像の例である。たとえば、各擬似カラー表示3305,3306、3307は、それぞれAzimuth角=45°、90°、135°の方向にグルーブがあることを示す。これによって医師は表面の溝の状態や、どこが穴になっているのかなどを知ることができる。図31の場合と比較するとやや直感的ではないが、画像処理を行う前の情報を直視できる利点がある。なお、ここでは擬似カラー画像を合成したが、輝度最大角YPH画像、および輝度変調度YD画像をモノクロ画像として合成することも可能である。

0168

なお、図1Cで示す画像処理装置の構成からわかるように、本装置では、観察する照明光を切り替えて別個の情報を観察する構成を採用していないため、処理は全て並列で実行可能である。すなわち通常の内視鏡検査に必須のカラー画像である輝度画像Yを観察しながら、同時に光源変動画像SYとの合成画像、あるいは擬似カラー画像Cとの合成画像などを表示部116に一度に表示することが可能であるという特徴がある。もちろん内視鏡を走査する医師が適宜切りかえて表示することも可能である。

0169

(第1の実施形態の変形例)
図34図35A図35Bを参照しながら、第1の実施形態の変形例を説明する。

0170

第1の実施形態では、図16に示す被写体表面で非常に明るい輝度を有するREF1(1回反射)領域を凸領域とであると仮定し、法線確定を行っていた(図28参照)。しかし、図11および図12を参照しながら説明したように、REF1(1回反射)領域は凹領域である可能性もある。

0171

この変形例の装置では、REF1(1回反射)領域が凹領域および凸領域のいずれであるかを判定する凹凸判定部を備えている。以下、被写体の表面が球状領域の集合体であると仮定する。

0172

図34を参照する。図34は、本変形例の構成を示す図である。本変形例の構成と図13の構成と間の第1の相違点は、本変形例の装置が凹凸判定部1314を備えていることにある。この例では、高輝度領域処理部1312で検出されたREF1領域が凸領域であると判定されたとき、法線再現部1313による処理を実行する。なお、REF1領域が凹領域であると判定された場合は、この領域をREF1領域から除外して、その後の処理を行う。

0173

図35Aは、REF1領域が凸領域である場合を示している。図35Aに示される例では、球状領域1320にREF1領域1324が存在し、その周囲に3箇所のREF2領域1321、1322、1323が存在している。REF1領域1324を始点とし、REF2領域1321、1322、1323の各々を終点とする2次元的な位置ベクトルをVとする。REF2領域1321、1322、1323の各々におけるグルーブの軸を表現するベクトルをTとする。このベクトルTは、鏡像探索をした結果見出されたグルーブセグメントであってもよいし、鏡像探索なしに単にグルーブ主軸として得られるものであってもよい。このベクトルTの方向は確定するが、向きは不定である。

0174

図35Aに示されるように、ベクトルTはREF1領域1324の周囲を回転するように取り囲んでいるため、ベクトルTとベクトルVとは、ほぼ直交している。2つのベクトルの間の角度が直角に近いほど、外積はゼロから離れる。したがって、図35Aに示す場合、ベクトルTとベクトルVについて、以下の式が成立する。

0175

ここで、ベクトルVとベクトルTの外積の絶対値を用いている理由は、ベクトルTの向きを考慮していないからである。「E」は複数の2回反射領域での平均値を示し、「Thresh」は、予め設定された一定のしきい値を示す。「Thresh」の大きさは、被写体の種類に応じて異なる値が設定され得るが、実験または計算によって決定されていてもよい。

0176

この変形例では、式34が成立するとき、凹凸判定部1314はREF1領域1324を凸領域と判定する。

0177

図35Bは、REF1領域が凹領域である場合を示している。この場合も、複数のREF2領域1326、1327、1328に囲まれた領域の中央にREF1領域1325が存在する。しかし、REF1領域1325を始点としてREF2領域を終点とする位置ベクトルTと、REF2領域1326、1327、1328の各々のグルーブ主軸ベクトルVとを作成すると、ベクトルTとベクトルVとは、ほとんど平行になる。このため、REF1領域1324を凹領域であるとき、以下の式36が成立する。

0178

このように、凹凸判定部1314は、ベクトルTとベクトルVとの外積の絶対値の大きさに基づいて、1回反射領域が凹領域か凸領域であるかを識別することができる。

0179

(第2の実施形態)
第1の実施形態の画像処理装置は、撮像素子が先端部に位置するいわゆる軟性鏡タイプである。本発明における内視鏡は、軟性鏡タイプに限定されず、硬性鏡タイプであってもよい。

0180

以下、図36を参照しながら、本発明による画像処理装置の第2の実施形態(硬性鏡タイプ)を説明する。図36は、本実施形態における内視鏡101の構成例を示すブロック図である。本実施形態において、内視鏡101以外の構成は、図1Cに示す画像処理装置の構成と同様であるため、それらの構成の説明はここでは繰り返さない。

0181

本実施形態の画像処理装置が備える内視鏡101は、撮像用リレーレンズ光学系3401および照明用リレーレンズ光学系3302を備えている。撮像用リレーレンズ光学系3401は、撮影レンズ109から得られた被写体の像を内視鏡の根元に位置する撮像素子110にまで導くものであり、硬性内視鏡では一般的な構成である。本実施形態では、光源104の直前に偏光面制御素子106が設置されている。光源104から出た非偏光光回転直線偏光に変換され、この直線偏光が照明用リレーレンズ光学系3302を通過する間、偏光状態を維持されて照明レンズ107から照射される。本実施形態によれば、内視鏡先端部に図1Cの偏光面制御素子106を設置する必要がなくなり、先端部の口径を小さくすることができる。また、偏光面を回転させる手段として、上述した偏光面制御素子106よりも大きな構成を採用することも可能になる。例えば、偏光面制御素子106の代わりに、異なる透過偏光面を複数有する偏光子を回転させる機構を利用することも可能になる。

0182

照明用リレーレンズ光学系3302では、途中で偏光状態が維持される必要があるが、撮像用リレーレンズ光学系3401においては輝度自身が維持されればよい。このため、撮像用リレーレンズ光学系3401の調整が楽になる。照明用リレーレンズ光学系3302は、偏光状態を維持する偏波面保存ファイバーを用いたライトガイドによって代用され得る。

0183

本実施形態でも、回転偏光照明を用いて輝度画像を撮像し、画像処理プロセッサが行う処理については第1の実施形態と同じである。

0184

(第1および第2の実施形態の変形例)
第1の実施形態、第2の実施形態に共通して先端部の偏光回転照明部の構成には種々の変形例が考えられる。被写体の凹凸にて鏡面反射を多く発生させるためには、なるべく均一で広い面積の照明を用いることが望ましい。しかし、内視鏡であることから、先端部口径はなるべく小さく、構造が簡単であることが望ましい。

0185

図37から図41を参照しながら、偏光照明部120の先端部における多様な構成例を説明する。これらの図面の左側には先端部113の正面図が示され、右側には先端部113の断面図が示されている。

0186

図37は、第1の実施形態における先端部の構成に近い先端部を備える構成例を示している。この例では、照明レンズ107の外側に偏光面制御素子106が装着されている。

0187

図38は、先端部にリング照明部306を有する構成例を示している。リング照明部306から出射した光を、中央に孔があいたドーナツ形状の偏光面制御素子106に通して変換する。このリング照明部306は、ライトガイド105から分岐した個々の光ファイバーの複数の端面を円周上に並べることにより構成され得る。

0188

図39は、先端部に幅の広い構成幅広のリング照明部307を有する構成例を示している。このリング照明部307は、幅の広いリング状帯領域内に配置された複数のLEDチップを有しており、全体としてリング状の面発光が得られる。リング照明部307から出た光は、中央に孔があいたドーナツ形状の偏光面制御素子106を通過するとき、その偏光面が制御される。

0189

図40は、撮像の光軸に対して照明の光軸を傾斜させるように先端部の中央が凹んだ構成例を示している。凹んだ中央部には撮影レンズ109が位置し、その周りに複数のLED光源308が配列されている。これによって、被写体部位の周囲を大きな光源にて囲む効果が現れるため、鏡面反射が多く発生するようになる。

0190

図41は、照明の光軸と撮影の光軸を同一にできる同軸落射照明を用いた構成例を示している。円形の面発光型LED照明光源309から出た非偏光は、円形の偏光面制御素子106を透過した後に広帯域無偏光BS(ビームスプリッタ)に45度の角度で入射する。広帯域無偏光BSは、可視光の範囲で入射した偏光の1/2を透過し、1/2を反射するが、その際に偏光を維持する特性を有する。このため、直線偏光はそのまま被写体に照射される。また戻り光も同様に1/2が透過されて撮影レンズ109に入射する。この構成では、光源から出た光の一部が広帯域無偏光BSを透過した後、装置内部で反射することを最小にするため光吸収板310を設置するのが望ましい。ここではプレート形の広帯域無偏光BSを用いているが、キューブ型のものを用いてもよい。その場合には光源の反射はさらに強くなるため対策が必要になる。

0191

なお、直線偏光を発するLED光源を使用し、その偏光面を偏光面制御素子によって回転させるようにしてもよい。

0192

なお、上記の実施形態の全ては、回転偏光照明と輝度撮像素子の組み合わせで構成されているが、被写体が鏡面反射物体であれば、これを非偏光照明と偏光撮像素子の組み合わせに置き換えることも可能である。この場合、図1Cの偏光面制御素子106が不要となる代わりに撮像素子110が偏光撮像素子に置き換わる。偏光撮像素子としては可視カラー輝度と同時にある波長帯にて偏光撮像が可能な素子を用いることができる。この場合における処理部は、図13に示す輝度画像群1301の代わりに1枚の偏光撮像画像受け取り、処理を行う。図13における輝度最大各画像YPH、および輝度変調度画像YDは、それぞれ、偏光主軸角(位相)画像と偏光度画像に置き換えればよい。

0193

本発明は、医療用内視鏡、皮膚科歯科眼科外科などのメディカル用途のカメラ、工業用内視鏡、指紋撮像装置表面検査装置など被写体の表面凹凸の観察、検査、認識を必要とする画像処理分野に広く適用可能である。

0194

100 被写体
100a 被写体の凹領域
101内視鏡
102制御装置
103 挿入部
104光源
105ライトガイド
106偏光面制御素子
107照明レンズ
108画像プロセッサ
109撮影レンズ
110撮像素子
111映像信号線
112同期装置
113 先端部
114光源方向設定部
115画像合成部
116 表示部
117光源変動画像生成部
120偏光照明部
140撮像部
150画像処理部
1302 変動輝度処理部
1305反射判定部
1306鏡像探索部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ