図面 (/)

技術 画像処理装置、画像処理プログラムおよび画像処理方法

出願人 オリンパス株式会社
発明者 森田恵仁
出願日 2009年3月26日 (12年2ヶ月経過) 出願番号 2009-077565
公開日 2010年10月14日 (10年8ヶ月経過) 公開番号 2010-227256
状態 特許登録済
技術分野 孔内観察装置 内視鏡 内視鏡 画像処理 閉回路テレビジョンシステム スタジオ装置
主要キーワード 取得画像情報 可視光域外 現処理対象 蛍光画素 長方形画素 遠近関係 補正輝度値 補償処理後
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2010年10月14日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (16)

課題

正反射光の影響を受けることなく、観察対象蛍光画像輝度を正確に補正することができること。

解決手段

画像処理装置30は、反射光画像取得部31と、蛍光画像取得部32と、動き検出部35と、補正処理部36と、規格化処理部37とを備える。反射光画像取得部31は、観察部位100の反射光画像を取得する。蛍光画像取得部32は、観察部位100の蛍光画像を取得する。動き検出部35は、反射光画像取得部31が取得した観察部位100の過去の反射光画像と処理対象の反射光画像とをもとに、この処理対象の反射光画像の動き成分を検出する。補正処理部36は、この検出された動き成分を加味して処理対象の反射光画像の輝度値を補正処理する。規格化処理部37は、この補正処理後の反射光画像の輝度値によってこの蛍光画像の輝度値を規格化処理する。

概要

背景

従来から、医療分野においては、被検体臓器内部を観察する際に内視鏡装置が用いられている。内視鏡装置は、一般に、患者等の被検体の体腔内に細長形状の可撓性挿入部を挿入し、この挿入した可撓性挿入部を介して体腔内の生体組織白色光照射し、その反射光を可撓性挿入部内撮像部によって受光して、この生体組織の白色光画像を撮像する。かかる生体組織の白色光画像は、この内視鏡装置の表示部に表示される。医師等のユーザは、内視鏡装置の表示部に表示された生体組織の白色光画像を通して、被検体の体腔内を観察する。

一方、近年の内視鏡分野においては、体腔内の生体組織等の観察部位蛍光観察することが可能な内視鏡装置が登場している。蛍光観察型の内視鏡装置は、一般に、体腔内に挿入した可撓性挿入部を介して体腔内の生体組織に励起光を照射し、この励起光の照射に基づいて生体組織から発生する自家蛍光または薬剤蛍光を可撓性挿入部内の撮像部によって受光して、この生体組織の蛍光画像を撮像する。このように撮像された生体組織の蛍光画像は、この内視鏡装置の表示部に表示され、医師等のユーザによって観察される。なお、かかる生体組織等の観察部位に光を照射することによって観察部位から発せられた光に基づいた規格化用画像を取得し、この規格化用画像によって観察部位の蛍光画像を除算して規格化蛍光画像を生成する装置がある(特許文献1参照)。

特開2002−336187号公報

概要

正反射光の影響を受けることなく、観察対象の蛍光画像の輝度を正確に補正することができること。画像処理装置30は、反射光画像取得部31と、蛍光画像取得部32と、動き検出部35と、補正処理部36と、規格化処理部37とを備える。反射光画像取得部31は、観察部位100の反射光画像を取得する。蛍光画像取得部32は、観察部位100の蛍光画像を取得する。動き検出部35は、反射光画像取得部31が取得した観察部位100の過去の反射光画像と処理対象の反射光画像とをもとに、この処理対象の反射光画像の動き成分を検出する。補正処理部36は、この検出された動き成分を加味して処理対象の反射光画像の輝度値を補正処理する。規格化処理部37は、この補正処理後の反射光画像の輝度値によってこの蛍光画像の輝度値を規格化処理する。

目的

本発明は、上記事情に鑑みてなされたものであって、正反射光の影響を受けることなく、観察対象の蛍光画像の輝度を正確に補正することができる画像処理装置、画像処理プログラムおよび画像処理方法を提供することを目的とする。

効果

実績

技術文献被引用数
3件
牽制数
2件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

観察部位からの反射光に基づいた前記観察部位の反射光画像を取得する反射光画像取得部と、励起光照射によって前記観察部位から発生した蛍光に基づいた前記観察部位の蛍光画像を取得する蛍光画像取得部と、前記反射光画像取得部が取得した前記観察部位の過去の反射光画像と前記反射光画像とをもとに、前記反射光画像の動き成分を検出する動き検出部と、前記動き成分を加味して前記反射光画像の輝度値補正処理する補正処理部と、前記補正処理部が補正処理した前記反射光画像の輝度値によって前記蛍光画像の輝度値を規格化処理する規格化処理部と、を備えたことを特徴とする画像処理装置

請求項2

前記動き検出部は、前記反射光画像を複数の画素ブロックに分割し、前記過去の反射光画像を参照して前記複数の画素ブロックの各動きベクトルを算出し、前記反射光画像の動き成分として、前記複数の画素ブロックの各動きベクトルの動き成分を算出することを特徴とする請求項1に記載の画像処理装置。

請求項3

前記補正処理部は、前記反射光画像と前記動き成分との対応画素毎に、前記白色光画像の輝度値に前記動き成分を反映した補正輝度値を算出し、前記規格化処理部は、前記補正処理部が算出した前記補正輝度値によって前記蛍光画像の輝度値を規格化処理することを特徴とする請求項1または2に記載の画像処理装置。

請求項4

前記補正処理部は、前記動き検出部が検出した前記反射光画像の動き成分をもとに、前記反射光画像の全体的動き量を算出する動き量算出部と、前記過去の反射光画像の動き成分を記憶する動き成分記憶部と、前記動き量算出部が算出した前記反射光画像の全体的動き量と所定の閾値とを比較し、前記反射光画像の全体的動き量が前記所定の閾値以上である場合、前記反射光画像の動き成分を出力し、前記反射光画像の全体的動き量が前記所定の閾値未満である場合、前記反射光画像の動き成分を前記動き成分記憶部内の前記過去の反射光画像の動き成分に置換し、この置換した前記過去の反射光画像の動き成分を出力する置換処理部と、前記置換処理部が出力した動き成分を加味した前記反射光画像の補正輝度値を算出する補正輝度算出部と、を備え、前記規格化処理部は、前記補正輝度算出部が算出した前記反射光画像の補正輝度値によって前記蛍光画像の輝度値を規格化処理することを特徴とする請求項3に記載の画像処理装置。

請求項5

前記補正輝度算出部は、前記置換処理部が出力した動き成分の増加に伴って前記反射光画像の補正輝度値を大きくし、前記置換処理部が出力した動き成分の減少に伴って前記反射光画像の補正輝度値を小さくすることを特徴とする請求項4に記載の画像処理装置。

請求項6

前記補正輝度算出部は、前記反射光画像に正反射光受光した画素が含まれるか否かを判断し、前記画素が含まれる場合、前記反射光画像の補正輝度値のうち、前記画素が含まれない場合に比して前記画素に対応する補正輝度値を大きくすることを特徴とする請求項5に記載の画像処理装置。

請求項7

前記動き量算出部は、前記反射光画像の全体的動き量として前記反射光画像の動き成分の平均値を算出することを特徴とする請求項4に記載の画像処理装置。

請求項8

前記動き検出部は、前記反射光画像に正反射光を受光した画素が含まれるか否かを判断し、前記画素が含まれる場合、前記画素を周辺画素によって補間するフィルタリング処理を行い、前記フィルタリング処理後の前記反射光画像の動き成分を検出することを特徴とする請求項1に記載の画像処理装置。

請求項9

前記規格化処理部は、前記補正処理後の前記反射光画像の輝度値が値以外である場合、前記反射光画像と前記蛍光画像との間の対応画素毎に前記零値以外の輝度値によって前記蛍光画像の輝度値を除算し、前記補正処理後の前記反射光画像の輝度値が零値である場合、前記零値の輝度値に対応する前記蛍光画像の輝度値を零値にすることを特徴とする請求項1に記載の画像処理装置。

請求項10

前記動き検出部が検出した前記反射光画像の動き成分を前記蛍光画像と同じ撮像タイミングにおける動き成分に補償する動き補償部をさらに備え、前記補正処理部は、前記動き補償部が補償した前記動き成分を加味して前記反射光画像の輝度値を補正処理することを特徴とする請求項1に記載の画像処理装置。

請求項11

観察部位からの反射光に基づいた前記観察部位の反射光画像と、励起光の照射によって前記観察部位から発生した蛍光に基づいた前記観察部位の蛍光画像とを取得する画像取得手順と、前記反射光画像の動き成分を検出する動き検出手順と、前記動き成分を加味して前記反射光画像の輝度値を補正処理する補正処理手順と、前記補正処理手順による補正処理後の前記反射光画像の輝度値によって前記蛍光画像の輝度値を規格化処理する規格化処理手順と、をコンピュータに実行させることを特徴とする画像処理プログラム

請求項12

観察部位からの反射光に基づいた前記観察部位の反射光画像と、励起光の照射によって前記観察部位から発生した蛍光に基づいた前記観察部位の蛍光画像とを取得する画像取得ステップと、前記反射光画像の動き成分を検出する動き検出ステップと、前記動き成分を加味して前記反射光画像の輝度値を補正処理する補正処理ステップと、前記補正処理ステップによる補正処理後の前記反射光画像の輝度値によって前記蛍光画像の輝度値を規格化処理する規格化処理ステップと、を含むことを特徴とする画像処理方法

技術分野

0001

本発明は、画像処理装置画像処理プログラムおよび画像処理方法に関し、特に、被写体からの蛍光に基づく蛍光画像を処理する画像処理装置、画像処理プログラムおよび画像処理方法に関するものである。

背景技術

0002

従来から、医療分野においては、被検体臓器内部を観察する際に内視鏡装置が用いられている。内視鏡装置は、一般に、患者等の被検体の体腔内に細長形状の可撓性挿入部を挿入し、この挿入した可撓性挿入部を介して体腔内の生体組織白色光照射し、その反射光を可撓性挿入部内撮像部によって受光して、この生体組織の白色光画像を撮像する。かかる生体組織の白色光画像は、この内視鏡装置の表示部に表示される。医師等のユーザは、内視鏡装置の表示部に表示された生体組織の白色光画像を通して、被検体の体腔内を観察する。

0003

一方、近年の内視鏡分野においては、体腔内の生体組織等の観察部位蛍光観察することが可能な内視鏡装置が登場している。蛍光観察型の内視鏡装置は、一般に、体腔内に挿入した可撓性挿入部を介して体腔内の生体組織に励起光を照射し、この励起光の照射に基づいて生体組織から発生する自家蛍光または薬剤蛍光を可撓性挿入部内の撮像部によって受光して、この生体組織の蛍光画像を撮像する。このように撮像された生体組織の蛍光画像は、この内視鏡装置の表示部に表示され、医師等のユーザによって観察される。なお、かかる生体組織等の観察部位に光を照射することによって観察部位から発せられた光に基づいた規格化用画像を取得し、この規格化用画像によって観察部位の蛍光画像を除算して規格化蛍光画像を生成する装置がある(特許文献1参照)。

0004

特開2002−336187号公報

発明が解決しようとする課題

0005

ところで、上述した規格化用画像の各画素輝度値は、一般に、観察部位と撮像部との撮像距離の増加(長化)に伴って減少し、観察部位と撮像部との撮像距離の減少(短化)に伴って増加する。このような撮像距離の変化に伴う適正な輝度分布を有する規格化用画像によって観察部位の蛍光画像が除算処理された場合、この除算処理後の蛍光画像の各画素の輝度値は、観察部位と撮像部との撮像距離に対応して高精度に規格化処理される。すなわち、かかる撮像距離の違いに起因する蛍光画像内の蛍光の明暗が高精度に補正される。

0006

しかしながら、かかる規格化用画像は、必ずしも撮像距離の変化に伴う適正な輝度分布を有するとは限らない。例えば、観察部位内に光源からの光を撮像部側に正反射する部位が存在する場合、この部位からの正反射光を受光する画素の輝度値は、たとえ撮像距離の短い部位に対応する画素であっても著しく高くなる。上述した従来技術では、かかる正反射光の影響に起因にして、観察部位と撮像部との撮像距離が正確に反映された輝度分布を有する規格化用画像を取得することは困難であり、この結果、観察部位の蛍光画像の輝度を高精度に補正することが困難であるという問題点があった。なお、観察部位の蛍光画像の輝度を正確に補正することは、体腔内の病変部等の異常組織を蛍光画像によって検出、診断する上で極めて重要である。

0007

本発明は、上記事情に鑑みてなされたものであって、正反射光の影響を受けることなく、観察対象の蛍光画像の輝度を正確に補正することができる画像処理装置、画像処理プログラムおよび画像処理方法を提供することを目的とする。

課題を解決するための手段

0008

上述した課題を解決し、目的を達成するために、本発明のある態様にかかる画像処理装置は、観察部位からの反射光に基づいた前記観察部位の反射光画像を取得する反射光画像取得部と、励起光の照射によって前記観察部位から発生した蛍光に基づいた前記観察部位の蛍光画像を取得する蛍光画像取得部と、前記反射光画像取得部が取得した前記観察部位の過去の反射光画像と前記反射光画像とをもとに、前記反射光画像の動き成分を検出する動き検出部と、前記動き成分を加味して前記反射光画像の輝度値を補正処理する補正処理部と、前記補正処理部が補正処理した前記反射光画像の輝度値によって前記蛍光画像の輝度値を規格化処理する規格化処理部と、を備えるものである。

0009

この態様にかかる画像処理装置によれば、処理対象の反射光画像の輝度値に、被写体の撮像距離の遠近に応じて変化する画素の動き成分を反映させることができ、これによって、正反射光の受光画素の有無によらず、被写体の撮像距離を正確に反映した輝度分布を有する規格化用画像を生成できる。かかる規格化用画像の輝度値によって処理対象の蛍光画像の輝度値を規格化処理することによって、正反射光の影響を受けることなく、観察対象の蛍光画像の輝度を正確に補正することができる。この結果、観察部位内の病変部等の異常組織を蛍光画像内に明確に描画でき、これによって、観察対象の蛍光画像による被検体内の異常組織の検出能および診断能を高めることができる。

0010

また、本発明の別の態様にかかる画像処理プログラムは、観察部位からの反射光に基づいた前記観察部位の反射光画像と、励起光の照射によって前記観察部位から発生した蛍光に基づいた前記観察部位の蛍光画像とを取得する画像取得手順と、前記反射光画像の動き成分を検出する動き検出手順と、前記動き成分を加味して前記反射光画像の輝度値を補正処理する補正処理手順と、前記補正処理手順による補正処理後の前記反射光画像の輝度値によって前記蛍光画像の輝度値を規格化処理する規格化処理手順と、をコンピュータに実行させるものである。

0011

また、本発明の別の態様にかかる画像処理方法は、観察部位からの反射光に基づいた前記観察部位の反射光画像と、励起光の照射によって前記観察部位から発生した蛍光に基づいた前記観察部位の蛍光画像とを取得する画像取得ステップと、前記反射光画像の動き成分を検出する動き検出ステップと、前記動き成分を加味して前記反射光画像の輝度値を補正処理する補正処理ステップと、前記補正処理ステップによる補正処理後の前記反射光画像の輝度値によって前記蛍光画像の輝度値を規格化処理する規格化処理ステップと、を含むものである。

発明の効果

0012

本発明にかかる画像処理装置、画像処理プログラムおよび画像処理方法によれば、正反射光の影響を受けることなく、観察対象の蛍光画像の輝度を正確に補正することができるという効果を奏する。

発明を実施するための最良の形態

0013

以下、図面を参照して、本発明を実施するための最良の形態である画像処理装置、画像処理プログラムおよび画像処理方法の実施の形態について説明する。なお、この実施の形態によって本発明が限定されるものではない。

0014

(実施の形態1)
図1は、本発明の実施の形態1にかかる内視鏡装置の一構成例を模式的に示すブロック図である。図1に示すように、この実施の形態1にかかる内視鏡装置1は、患者等の被検体内部の観察部位100に光を照射する光源装置10と、被検体の体腔内に挿入する細長形状の挿入部20と、観察部位100の画像を処理する画像処理装置30と、画像処理装置30に各種情報を入力する入力装置40と、画像処理装置30によって処理された画像情報を出力する画像出力装置50とを備える。

0015

光源装置10は、蛍光薬剤励起する励起光と照明光の一例である白色光とを観察部位100に照射する光源部として機能する。具体的には、光源装置10は、白色光源11と、白色光源11からの射出光を略平行光にするコリメートレンズ12と、平行光を集光する集光レンズ13と、所定の波長帯域の光を透過させるフィルタ14とを備える。

0016

白色光源11は、蛍光薬剤を励起する励起光の波長帯域を含む広帯域な白色光を発光可能な光源を用いて実現される。白色光源11は、光源装置10のスイッチ(図示せず)の操作に基づいて、例えば400〜740nmの波長帯域という広帯域の白色光を発光する。具体的には、かかる白色光源11が発光する白色光には、青色成分(B)、緑色成分(G)および赤色成分(R)の各色光が含まれ、さらに、例えばCy7に例示されるような腫瘍等の病変部101に集積する薬剤蛍光を励起する680〜740nmの波長帯域の励起光が含まれる。なお、かかる白色光源11からの励起光は、この病変部101に集積した薬剤蛍光を励起して、可視光域外の波長帯域、例えば760〜850nmの波長帯域の蛍光を発光させる特性を有する。

0017

コリメートレンズ12は、白色光源11から射出される白色光の光路上に配置され、白色光源11からの白色光を略平行光にする。このコリメートレンズ12による平行光は、フィルタ14を透過した後、集光レンズ13によって集光される。この集光レンズ13によって集光された光は、挿入部20を介して被検体内部の観察部位100に照射される。

0018

フィルタ14は、白色光源11によって発光された白色光から所定の波長帯域の光を抽出する。図2は、本発明の実施の形態1における光源装置のフィルタの一透過率特性例を示す模式図である。なお、図2には、光源装置10のフィルタ14によって抽出された励起光によって発生する蛍光の強度特性も図示されている。フィルタ14は、図2に示す波長対透過率相関線C1のように、400〜740nmの波長帯域の白色光を透過させる透過率特性を有する。かかるフィルタ14は、白色光源11による射出光から400〜740nmの波長帯域の白色光を抽出し、この抽出した白色光を観察部位100の照明光として透過させる。

0019

ここで、かかるフィルタ14によって抽出された白色光には、観察部位100内の病変部101に集積する薬剤蛍光(例えばCy7)を励起する680〜740nmの波長帯域の励起光が含まれる。すなわち、フィルタ14は、かかる励起光の波長帯域を含む広帯域の白色光を透過させる。なお、かかるフィルタ14を透過する680〜740nmの波長帯域の励起光は、図2における波長対透過率の相関線C2に示されるように、760〜850nmの波長帯域の蛍光を発生させる。

0020

挿入部20は、被検体の体腔内に挿入可能な細長形状の可撓性構造体であり、内視鏡装置1の操作部(図示せず)の操作に基づいて所望の方向に湾曲可能である。また、図1に示すように、挿入部20は、その基端部側が光源装置10と画像処理装置30とに接続され、この光源装置10からの射出光を先端部側に導くライトガイドファイバ21と、ライトガイドファイバ21によって導かれた光を拡散するレンズ22とを備える。また、挿入部20は、観察部位100からの反射光または蛍光を集光する対物レンズ23と、この観察部位100から集光した光を分岐するダイクロイックミラー24と、観察部位100からの反射光に基づいた反射光画像を撮像する反射光撮像部26と、観察部位100からの蛍光に基づいた蛍光画像を撮像する蛍光撮像部28とを備える。なお、反射光撮像部26は、分光特性の異なる複数のカラーフィルタからなるカラーフィルタ群25を備える。また、蛍光撮像部28は、観察部位100からの蛍光を透過するとともに励起光を遮断するバリアフィルタ27を備える。

0021

ライトガイドファイバ21は、光ファイバ等を用いて実現され、上述した光源装置10によって射出される広帯域の白色光、すなわち、上述した励起光の波長帯域を含む白色光を挿入部20の先端部側に伝搬する。かかるライトガイドファイバ21によって導かれた光源装置10からの広帯域の白色光は、レンズ22によって拡散され、その後、被検体内部の観察部位100に照射される。

0022

ここで、このように観察部位100に照射された光源装置10からの白色光は、観察部位100を照明するとともに、この観察部位100において反射する。また、この観察部位100に照明された白色光に含まれる励起光は、予め蛍光薬剤を集積した病変部101が観察部位100内に存在する場合、この病変部101の蛍光薬剤を励起して、例えば760〜850nmの波長帯域の蛍光を発生させる。

0023

対物レンズ23は、観察部位100からの反射光および蛍光を集光する。具体的には、対物レンズ23は、光源装置10からの白色光が観察部位100に照射された場合、この観察部位100から反射した白色光および励起光と、この観察部位100(詳細には病変部101)から発生した蛍光とを集光する。

0024

ダイクロイックミラー24は、対物レンズ23を透過した観察部位100からの光を反射光撮像部26側と蛍光撮像部28側とに分岐する。具体的には、ダイクロイックミラー24は、上述した対物レンズ23によって集光された観察部位100からの光のうち、680nm未満の波長帯域の光、すなわち観察部位100から反射した白色光(例えば400〜680nmの白色光)を反射光撮像部26側の光路に分岐する。一方、ダイクロイックミラー24は、680nm以上の波長帯域の光を100%反射する機能を有し、観察部位100から発生した蛍光と観察部位100から反射した励起光とを蛍光撮像部28側の光路に分岐する。なお、かかるダイクロイックミラー24によって蛍光撮像部28側に分岐(反射)される観察部位100からの光には、例えば680〜740nmの励起光および760〜850nmの蛍光が含まれる。

0025

カラーフィルタ群25は、分光特性の異なる複数のカラーフィルタからなり、反射光撮像部26の画素毎に観察部位100からの白色光を各色成分の光に分光するとともに、反射光撮像部26の各画素に向けて、これら各色成分の光を透過させる。図3は、カラーフィルタ群の透過率特性の一例を示す模式図である。カラーフィルタ群25は、青色光(B)を透過するカラーフィルタである青色光フィルタと、緑色光(G)を透過するカラーフィルタである緑色光フィルタと、赤色光(R)を透過するカラーフィルタである赤色光フィルタとを各々複数含むモザイク状の原色カラーフィルタである。かかるカラーフィルタ群25において、青色光フィルタは、図3に示す波長対透過率の相関線C3のように、400〜500nmの波長帯域の光を透過させる透過率特性を有する。緑色光フィルタは、図3に示す波長対透過率の相関線C4のように、480〜600nmの波長帯域の光を透過させる透過率特性を有する。赤色光フィルタは、図3に示す波長対透過率の相関線C5のように、580〜680nmの波長帯域の光を透過させる透過率特性を有する。

0026

このような構成を有するカラーフィルタ群25は、ダイクロイックミラー24によって反射光撮像部26側の光路に分岐された観察部位100からの白色光の中から、青色光フィルタによって青色光を抽出し、緑色光フィルタによって緑色光を抽出し、赤色光フィルタによって赤色光を抽出する。カラーフィルタ群25内の各青色光フィルタは、反射光撮像部26の青色に対応する各画素に向けて、かかる白色光の青色成分を透過させる。カラーフィルタ群25内の各緑色光フィルタは、反射光撮像部26の緑色に対応する各画素に向けて、かかる白色光の緑色成分を透過させる。カラーフィルタ群25内の各赤色光フィルタは、反射光撮像部26の赤色に対応する各画素に向けて、かかる白色光の赤色成分を透過させる。

0027

反射光撮像部26は、観察部位100からの反射光に基づいた反射光画像を撮像するためのものであり、分光特性の異なる各カラーフィルタが受光面内の各画素に配置されたベイヤ型のカラー撮像素子を用いて実現される。具体的には、反射光撮像部26は、赤外光を除去する赤外光カットフィルタ(図示せず)と上述したカラーフィルタ群25とを受光面上に備える。反射光撮像部26は、ダイクロイックミラー24によって反射光撮像部26側の光路に分岐された観察部位100からの反射光(例えば光源装置10による白色光が観察部位100に照射された際に観察部位100から反射した白色光)を上述したカラーフィルタ群25等を介して受光する。これによって、反射光撮像部26は、観察部位100の反射光画像の一例である白色光画像を撮像する。この場合、反射光撮像部26は、カラーフィルタ群25によって観察部位100からの白色光から分光された各色成分の反射光を各画素によって各々光電変換処理して、観察部位100の白色光画像を構成する各色成分の映像信号を生成する。反射光撮像部26は、このように観察部位100の白色光画像を撮像する都度、この観察部位100の白色光画像の各映像信号を画像処理装置30に順次送信する。

0028

バリアフィルタ27は、励起光カットフィルタを用いて実現され、ダイクロイックミラー24によって蛍光撮像部28側の光路に分岐された観察部位100からの光に含まれる励起光を遮断する。図4は、実施の形態1におけるバリアフィルタの透過率特性の一例を示す模式図である。バリアフィルタ27は、図4に示す波長対透過率の相関線C6のように、760〜850nmの波長帯域の光を透過させる透過率特性を有する。かかるバリアフィルタ27は、ダイクロイックミラー24によって蛍光撮像部28側の光路に分岐された観察部位100からの光のうち、観察部位100から反射した励起光(例えば680〜740nmの波長帯域の励起光)を遮断するとともに、可視光域外(例えば760〜850nmの波長帯域)の光である観察部位100からの蛍光を透過させる。

0029

蛍光撮像部28は、観察部位100からの蛍光に基づいた蛍光画像を撮像するためのものである。具体的には、蛍光撮像部28は、例えば反射光撮像部26に比して高い感度特性を有するモノクロ撮像素子を用いて実現され、上述したバリアフィルタ27を受光面上に備える。蛍光撮像部28は、上述した反射光撮像部26の場合と同様に光源装置10による白色光が観察部位100に照射された際、ダイクロイックミラー24によって蛍光撮像部28側の光路に分岐された観察部位100からの励起光および蛍光のうち、バリアフィルタ27を透過した蛍光を受光する。これによって、蛍光撮像部28は、観察部位100の蛍光画像を撮像する。この場合、蛍光撮像部28は、その受光部内の各画素によって観察部位100からの蛍光を光電変換処理し、この結果、観察部位100の蛍光画像を構成する各映像信号を生成する。蛍光撮像部28は、観察部位100の蛍光画像を撮像する都度、この観察部位100の蛍光画像の各映像信号を画像処理装置30に順次送信する。

0030

ここで、この実施の形態1において、反射光撮像部26は、光源装置10からの白色光が観察部位100に照射された期間に、この観察部位100の白色光画像を撮像し、この白色光が照射された同じ期間に、蛍光撮像部28は、この観察部位100の蛍光画像を撮像する。すなわち、上述した反射光撮像部26による白色光画像および蛍光撮像部28による蛍光画像は同じタイミングに撮像される画像であり、これらの両画像間において被写体の位置は一致する。

0031

画像処理装置30は、上述した反射光撮像部26または蛍光撮像部28によって撮像された観察部位100の画像情報を処理して、画像出力装置50に出力させる出力画像を生成する。具体的には、図1に示すように、画像処理装置30は、反射光撮像部26による観察部位100の反射光画像を取得する反射光画像取得部31と、蛍光撮像部28による観察部位100の蛍光画像を取得する蛍光画像取得部32と、かかる観察部位100の反射光画像および蛍光画像に所定の信号処理を行う前処理部33とを備える。また、画像処理装置30は、反射光画像取得部31が取得した反射光画像を記憶する記憶部34と、観察部位100の反射光画像の動き成分を検出する動き検出部35と、この検出した動き成分を加味して観察部位100の反射光画像の輝度値を補正処理する補正処理部36とを備える。さらに、画像処理装置30は、補正処理部36による補正処理後の反射光画像の輝度値によって観察部位100の蛍光画像の輝度値を規格化処理する規格化処理部37と、規格化処理後の観察部位100の蛍光画像に所定の信号処理を行う後処理部38と、かかる画像処理装置30の各構成部を制御する制御部39とを備える。

0032

なお、かかる画像処理装置30において、反射光画像取得部31および蛍光画像取得部32は、前処理部33に接続される。前処理部33は、記憶部34と、動き検出部35と、補正処理部36と、規格化処理部37とに接続される。記憶部34は動き検出部35に接続され、動き検出部35は補正処理部36に接続される。補正処理部36は規格化処理部37に接続され、規格化処理部37は後処理部38に接続される。なお、後処理部38は、画像処理装置30外部の画像出力装置50に接続される。一方、制御部39は、反射光画像取得部31、蛍光画像取得部32、前処理部33、動き検出部35、補正処理部36、規格化処理部37および後処理部38と双方向に接続される。また、制御部39は、画像処理装置30外部の入力装置40および画像出力装置50と双方向に接続される。

0033

反射光画像取得部31は、観察部位100からの反射光に基づいた反射光画像を取得する。具体的には、反射光画像取得部31は、上述した反射光撮像部26が反射光画像の一例である観察部位100の白色光画像を撮像した場合、その都度、反射光撮像部26から観察部位100の白色光画像の各映像信号を取得する。なお、かかる白色光画像の各映像信号は、アナログ信号であり、反射光撮像部26から反射光画像取得部31に所定時間間隔で連続的に出力される。反射光画像取得部31は、かかる反射光撮像部26から取得した白色光画像の各映像信号をアナログ信号からデジタル信号に変換し、このデジタル変換処理後の各映像信号を前処理部33に順次送信する。

0034

蛍光画像取得部32は、観察部位100からの蛍光に基づいた蛍光画像を取得する。具体的には、蛍光画像取得部32は、上述した蛍光撮像部28が観察部位100の蛍光画像を撮像した場合、その都度、蛍光撮像部28から観察部位100の蛍光画像の各映像信号を取得する。なお、かかる蛍光画像の各映像信号は、アナログ信号であり、蛍光撮像部28から蛍光画像取得部32に所定時間間隔で連続的に出力される。蛍光画像取得部32は、かかる蛍光撮像部28から取得した蛍光画像の各映像信号をアナログ信号からデジタル信号に変換し、このデジタル変換後の各映像信号を前処理部33に順次送信する。

0035

前処理部33は、観察部位100の反射光画像および蛍光画像に所定の信号処理を行う。具体的には、前処理部33は、上述したデジタル変換後の白色光画像の各映像信号を反射光画像取得部31から取得し、この取得した白色光画像の各映像信号に対して、補間処理ホワイトバランス処理およびノイズ低減処理等の信号処理を行う。また、前処理部33は、上述したデジタル変換後の蛍光画像の各映像信号を蛍光画像取得部32から取得し、この取得した蛍光画像の各映像信号に対して同様の信号処理を行う。さらに、前処理部33は、かかる観察部位100の白色光画像および蛍光画像の各映像信号に対して、空間的な位置、角度およびサイズの較正処理を行い、この結果、これらの白色光画像および蛍光画像をm×n画素(m、nは、ともに正の整数)の各映像信号による画像情報に較正する。前処理部33は、かかる処理後の白色光画像(m×n画素の白色光画像)を記憶部34と動き検出部35と補正処理部36とに送信する。この場合、前処理部33は、現処理対象の白色光画像の各映像信号を動き検出部35と補正処理部36とに送信し、さらに、その現処理対象の白色光画像の各映像信号を記憶部34にも格納する。詳細は後述するが、記憶部34内には、前処理部33によって送信された映像信号が順次格納される。本実施の形態1における記憶部34は、図1に示すように、第1メモリ34aおよび第2メモリ34bを有する。第1メモリ34aは、時系列的最新の白色光画像の各映像信号を保持し、第2メモリ34bは、第1メモリ34aから移動された過去の白色光画像の各映像信号を保持する。具体的には、時系列的に最新の現処理対象の白色光画像の各映像信号が第1メモリ34aに入ってきた場合、この第1メモリ34a内に既に存在する白色光画像の各映像信号は第2メモリ34b内に移動され、過去の白色光画像の各映像信号として第2メモリ34b内に格納される。なお、第2メモリ34b内に格納された過去の白色光画像の各映像信号は、後に、動き検出部35に送信される。さらに、前処理部33は、かかる処理後の蛍光画像(m×n画素の蛍光画像)を規格化処理部37に送信する。

0036

なお、かかる前処理部33による較正処理の較正値は、既知テストパターンを撮像した画像情報をもとに算出され、ユーザによって予め設定されてもよいし、反射光撮像部26による反射光画像と蛍光撮像部28による蛍光画像との対応点を較正処理毎に自動検出し、この検出結果をもとに較正値を設定してもよい。

0037

記憶部34は、上述した前処理部33による処理後の反射光画像を記憶する。具体的には、記憶部34は、上述したように第1メモリ34aおよび第2メモリ34bを有し、前処理部33によってm×n画素の画像情報に較正処理された観察部位100の白色光画像を前処理部33から取得し、この取得した白色光画像を記憶する。記憶部34は、上述した前処理部33による処理後の反射光画像を取得する都度、前述のように第1メモリ34a内の既存の画像情報をこの取得画像情報に順次更新する。なお、かかる記憶部34の第2メモリ34b内に記憶される白色光画像は、補正処理部36によって補正処理される処理対象の白色光画像に比して過去(例えば1フレーム前)の白色光画像である。かかる第2メモリ34b内の過去の白色光画像は、動き検出部35によって適宜読み出される。

0038

動き検出部35は、上述した反射光画像取得部31が取得した観察部位100の現反射光画像と観察部位100の過去の反射光画像とをもとに、この現反射光画像の動き成分を検出する。具体的には、動き検出部35は、前処理部33によって処理された観察部位100の白色光画像(処理対象の白色光画像)を前処理部33から取得する。また、動き検出部35は、この処理対象の白色光画像に比して過去に撮像された観察部位100の白色光画像(過去の白色光画像)を記憶部34から読み出す。動き検出部35は、かかる処理対象の白色光画像と過去の白色光画像とをもとに、ブロックマッチング法等に基づいて、この処理対象の白色光画像の動き成分を検出する。動き検出部35は、かかる処理対象の白色光画像の動き成分の検出結果として、この処理対象の白色光画像の画素座標毎に動き成分の検出情報を含む動き成分マップを生成する。

0039

なお、かかる動き検出部35によって検出された動き成分の大小関係は、被写体の撮像距離の遠近関係に対応している。すなわち、この処理対象の白色光画像における各画素の被写体の撮像距離は、かかる動き成分の増大に伴って近くなり、かかる動き成分の減少に伴って遠くなる。

0040

また、動き検出部35は、かかる処理対象の白色光画像に対するフィルタリング処理機能を有する。具体的には、動き検出部35は、処理対象の白色光画像内における注目画素とその周辺画素との輝度比較処理を画素毎に行い、各画素の輝度比較処理の結果をもとに、処理対象の白色光画像に正反射光画素が含まれるか否かを判断する。なお、ここでいう正反射光画素とは、観察部位100等の被写体からの正反射光を受光した画素であり、その周辺画素に比して著しく高い輝度値を有する。かかる輝度比較処理において、動き検出部35は、任意の注目画素と周辺画素との輝度差が所定の閾値以上である場合、この処理対象の白色光画像に正反射光画素が含まれると判断する。この場合、動き検出部35は、かかる輝度差が閾値以上の注目画素、すなわち正反射光画素をその周辺画素によって補間するフィルタリング処理を行う。これによって、動き検出部35は、かかる正反射光画素の輝度値を正反射光以外の受光画素の輝度レベルに補正する。動き検出部35は、かかるフィルタリング処理後の白色光画像の動き成分マップを補正処理部36に送信する。

0041

なお、かかる動き検出部35によるフィルタリング処理は、3×3画素または5×5画素等の正方形画素領域のメディアンフィルタ処理であってもよいし、3×5画素等の長方形画素領域のメディアンフィルタ処理であってもよい。あるいは、かかる動き検出部35によるフィルタリング処理は、ローパスフィルタ処理であってもよい。

0042

補正処理部36は、動き検出部35によって検出された反射光画像の動き成分を加味して処理対象の反射光画像の輝度値を補正処理する。具体的には、補正処理部36は、上述した前処理部33から処理対象の白色光画像を取得し、且つ、この処理対象の白色光画像の動き成分マップを動き検出部35から取得する。補正処理部36は、この取得した処理対象の白色光画像および動き成分マップの対応画素毎に、この動き成分マップ内の動き成分をこの処理対象の白色光画像の輝度値に反映させる。これによって、補正処理部36は、被写体と反射光撮像部26との撮像距離の遠近に伴って変化する各画素の動き成分に対応して、この処理対象の白色光画像の輝度値を補正処理する。かかる補正処理において、補正処理部36は、この処理対象の白色光画像内の各画素の輝度値を、撮像距離の増加に伴って減少させ、撮像距離の減少に伴って増加させる。この結果、補正処理部36は、正反射光画素の有無によらず、被写体である観察部位100と反射光撮像部26との撮像距離を正確に反映した輝度分布を有する観察部位100の白色光画像を生成する。補正処理部36は、かかる補正処理後の白色光画像を規格化処理部37に送信する。

0043

規格化処理部37は、蛍光撮像部28によって撮像された観察部位100の蛍光画像の輝度値を規格化処理によって補正する。具体的には、規格化処理部37は、前処理部33によって処理された観察部位100の蛍光画像を前処理部33から取得し、且つ、補正処理部36によって輝度値を補正された観察部位100の白色光画像を補正処理部36から取得する。規格化処理部37は、この取得した観察部位100の白色光画像および蛍光画像の対応画素毎に、この補正処理後の白色光画像の輝度値によってこの蛍光画像の輝度値を除算し、これによって、この蛍光画像の各画素の輝度値を規格化処理する。この結果、規格化処理部37は、被写体からの正反射光の影響を受けることなく、被写体である観察部位100と蛍光撮像部28との撮像距離に応じて変化する蛍光画像内の蛍光の明暗(輝度値)を正確に補正する。なお、かかる規格化処理部37によって規格化処理された蛍光画像(以下、規格化蛍光画像という)において、励起光照射による蛍光発生源である病変部101は、観察部位100と蛍光撮像部28との撮像距離に関わらず、比較的高い輝度の画素によって描画される。規格化処理部37は、かかる観察部位100の規格化蛍光画像を後処理部38に送信する。

0044

後処理部38は、規格化処理部37による規格化蛍光画像に所定の信号処理を行う。具体的には、後処理部38は、観察部位100の規格化蛍光画像の各映像信号を規格化処理部37から取得し、この取得した規格化蛍光画像の各映像信号に対して、階調変換処理強調処理および圧縮処理等の信号処理を行う。後処理部38は、かかる信号処理後の規格化蛍光画像を画像出力装置50に送信する。

0045

制御部39は、画像処理装置30の構成部である反射光画像取得部31、蛍光画像取得部32、前処理部33、動き検出部35、補正処理部36、規格化処理部37、および後処理部38の各動作を制御し、且つ、これら各構成部間における信号の入出力を制御する。また、制御部39は、画像表示装置30の外部インターフェース部として機能する入力装置40および画像出力装置50を制御する。

0046

具体的には、制御部39は、処理プログラムを記憶する記憶部とこの記憶部内の処理プログラムを実行するコンピュータとを用いて実現される。制御部39は、入力装置40によって入力された設定情報をもとに、観察部位100の白色光画像または蛍光画像の撮像モード等の各種撮像条件またはゲイン等を設定する。また、制御部39は、入力装置40によって入力された指示情報に基づいて、上述した画像処理装置30の各構成部の動作開始、動作終了、動作タイミング等を制御する。

0047

具体的には、制御部39は、反射光撮像部26による白色光画像の各映像信号をデジタル変換後に前処理部33に順次出力するように反射光画像取得部31を制御し、蛍光撮像部28による蛍光画像の各映像信号をデジタル変換後に前処理部33に順次出力するように蛍光画像取得部32を制御する。また、制御部39は、所定の処理後に観察部位100の白色光画像を動き検出部35および補正処理部36に送信し、且つ、この白色光画像を記憶部34にも送信するように前処理部33を制御する。さらに、制御部39は、所定の処理後に観察部位100の蛍光画像を規格化処理部37に送信するように前処理部33を制御する。

0048

また、制御部39は、上述した動き検出部35による処理対象の白色光画像の動き検出処理と、補正処理部36による白色光画像の輝度補正処理と、規格化処理部37による蛍光画像の規格化処理と、後処理部38による蛍光画像の信号処理とを制御する。一方、制御部39は、入力装置40によって入力された指示情報に基づいて、観察部位100の規格化蛍光画像の各映像信号を画像出力装置50に送信するように後処理部38を制御するとともに、この規格化蛍光画像を表示出力するように画像出力装置50を制御する。

0049

入力装置40は、画像処理装置30の外部インターフェース部として機能するものであり、例えばキーボードおよびマウスに例示される入力デバイス等を用いて実現される。入力装置40は、医師または看護師等のユーザによる入力操作に対応して画像処理装置30の制御部39に各種情報を入力する。かかる入力装置40によって制御部39に入力される各種情報として、例えば、画像処理装置30の動作開始または動作終了等を制御部39に対して指示する指示情報、観察部位100の白色光画像または蛍光画像の撮像モードの設定情報等が挙げられる。

0050

なお、入力装置40は、画像処理装置30の電源オン電源オフとを切り替え電源スイッチを備えてもよいし、撮像操作を開始するためのシャッタータンを備えてもよいし、撮像モード等の各種モードを切り替えるためのモード切替ボタンを備えてもよい。この場合、上述した制御部39は、入力装置40のシャッターボタンの入力操作に対応して、反射光撮像部26および蛍光撮像部28の撮像動作を制御してもよい。

0051

画像出力装置50は、上述した画像処理装置30によって処理された画像情報を出力する。具体的には、画像出力装置50は、CRTディスプレイまたは液晶ディスプレイ等の所望のディスプレイを用いて実現される。画像出力装置50は、画像処理装置30の後処理部38によって信号処理された観察部位100の規格化蛍光画像の各映像信号を取得する。画像出力装置50は、この後処理部38から取得した各映像信号に基づいた観察部位100の規格化蛍光画像を表示する。

0052

なお、画像出力装置50は、かかる規格化蛍光画像の他に、この規格化蛍光画像と同じタイミングに撮像された観察部位100の白色光画像を前処理部33および後処理部38を介して取得し、この取得した観察部位100の白色光画像およびこの規格化蛍光画像を表示してもよい。この場合、画像出力装置50は、かかる観察部位100の白色光画像と規格化蛍光画像とを並べて表示してもよいし、かかる観察部位100の白色光画像に規格化蛍光画像を重畳表示してもよい。

0053

つぎに、上述した画像処理装置30の補正処理部36について詳細に説明する。図5は、本発明の実施の形態1にかかる画像処理装置の補正処理部の一構成例を模式的に示すブロック図である。図5に示すように、補正処理部36は、処理対象の白色光画像の全体的な動き量を算出する動き量算出部36aと、上述した動き成分マップの置換処理を行う置換処理部36bと、白色光画像の動き成分マップを記憶する動き成分記憶部36cと、動き成分マップをもとに処理対象の白色光画像の補正輝度値を算出する補正輝度算出部36dとを備える。

0054

動き量算出部36aは、制御部39の制御に基づいて、処理対象の白色光画像の全体的動き量を算出する。具体的には、動き量算出部36aは、上述した動き検出部35が検出した処理対象の白色光画像の動き成分マップを取得する。動き量算出部36aは、この動き検出部35から取得した動き成分マップに含まれる各画素の動き成分をもとに、この処理対象の白色光画像の全体的動き量を算出する。動き量算出部36aは、制御部39の制御に基づいて、このように算出した処理対象の白色光画像の全体的動き量を置換処理部36bに順次送信する。なお、動き量算出部36aは、かかる処理対象の白色光画像の全体的動き量として、この動き成分マップ内の各画素の動き成分の平均値を算出してもよいし、各画素の動き成分の合計値を算出してもよい。

0055

置換処理部36bは、制御部39の制御に基づいて、処理対象の白色光画像の動き成分置換処理を適宜行う。具体的には、置換処理部36bは、動き検出部35が検出した処理対象の白色光画像の動き成分マップと、動き量算出部36aが算出した処理対象の白色光画像の全体的動き量とを取得する。置換処理部36bは、この動き量算出部36aから取得した全体的動き量と予め設定された閾値とを比較する。置換処理部36bは、この全体的動き量が閾値以上である場合、この処理対象の白色光画像内の被写体である観察部位100に所定以上の動きがあると判定する。この場合、置換処理部36bは、制御部39の制御に基づいて、上述した動き検出部35から取得した動き成分マップを補正輝度算出部36dに出力するとともに、被写体に所定以上の動きがある場合の動き成分マップとして、この動き成分マップを動き成分記憶部36cに出力する。一方、置換処理部36bは、この全体的動き量が閾値未満である場合、この処理対象の白色光画像内の被写体(観察部位100)に所定以上の動きがないと判定する。この場合、置換処理部36bは、制御部39の制御に基づいて、上述した動き検出部35から取得した動き成分マップを動き成分記憶部36c内の動き成分マップに置換し、この動き成分記憶部36c内の動き成分マップを補正輝度算出部36dに出力する。

0056

なお、かかる置換処理部36bに予め設定された閾値は、入力装置40によって入力された情報をもとに制御部39が設定した閾値であってもよいし、対物レンズ23の焦点距離等をもとに制御部39が自動的に設定した閾値であってもよい。

0057

動き成分記憶部36cは、被写体に所定以上の動きがある白色光画像であって処理対象の白色光画像に比して過去の白色光画像の動き成分を記憶する。具体的には、動き成分記憶部36cは、上述した置換処理部36bによって被写体に所定以上の動きがあると判定された白色光画像の動き成分マップ、すなわち、動き量算出部36aによって算出された全体的動き量が閾値以上である場合の動き成分マップを置換処理部36bから取得し、この取得した動き成分マップを記憶する。なお、かかる動き成分記憶部36cに記憶される動き成分マップは、後の処理対象の白色光画像に比して過去の白色光画像の動き成分マップであり、上述した動き成分の置換処理において置換処理部36bに適宜読み出される。動き成分記憶部36cは、かかる置換処理部36bから動き成分マップを取得する都度、取得した最新の動き成分マップを既存の動き成分マップに上書きして動き成分マップを更新処理する。

0058

補正輝度算出部36dは、制御部39の制御に基づいて、処理対象の白色光画像の補正輝度値を算出する。具体的には、補正輝度算出部36dは、置換処理部36bによって出力された動き成分マップと、上述した前処理部33によって処理された処理対象の白色光画像とを取得する。補正輝度算出部36dは、この置換処理部36bから取得した動き成分マップに含まれる各画素の動き成分を加味して、この処理対象の白色光画像の各画素の輝度値を補正処理する。すなわち、補正輝度算出部36dは、この処理対象の白色光画像および動き成分マップの対応画素毎に、この動き成分マップ内の動き成分を加味した補正輝度値を算出する。補正輝度算出部36dは、制御部39の制御に基づいて、かかる白色光画像の各画素の補正輝度値を規格化処理部37に送信する。

0059

つぎに、本発明の実施の形態1にかかる画像処理装置30の動作について説明する。図6は、本発明の実施の形態1にかかる画像処理装置の処理手順を例示するフローチャートである。この実施の形態1にかかる画像処理装置30は、図6に示される処理手順を実行して、観察部位100の規格化蛍光画像を画像出力装置50に表示させる。

0060

すなわち、図6に示すように、画像処理装置30は、まず、観察部位100の反射光画像を事前に取得する(ステップS101)。このステップS101において、制御部39は、反射光画像取得部31および前処理部33を制御して、観察部位100の白色光画像を事前に取得する。

0061

かかる制御部39の制御に基づいて、反射光画像取得部31は、光源装置10からの白色光が観察部位100に照射されたタイミングに反射光撮像部26が撮像した観察部位100の白色光画像を取得し、この取得した白色光画像の各映像信号をデジタル変換後に前処理部33に送信する。前処理部33は、かかる制御部39の制御に基づいて、この反射光画像取得部31から取得した白色光画像の各映像信号に対して上述した信号処理を行い、その後、この白色光画像の各映像信号を記憶部34に送信する。記憶部34は、後に処理対象となる観察部位100の白色光画像に比して過去の白色光画像として、この前処理部33から取得した観察部位100の白色光画像を記憶する。

0062

なお、このステップS101において、制御部39は、この白色光画像と同じタイミングに蛍光撮像部28が撮像する観察部位100の蛍光画像を削除するように蛍光画像取得部32を制御してもよい。あるいは、制御部39は、このステップS101において取得した観察部位100の白色光画像によってこの蛍光画像を規格化処理するように規格化処理部37を制御してもよく、その後、制御部39は、この規格化処理部37による規格化蛍光画像を表示出力するように後処理部38および画像出力装置50を制御してもよい。

0063

つぎに、画像処理装置30は、処理対象となる観察部位100の反射光画像および蛍光画像を取得する(ステップS102)。このステップS102において、制御部39は、観察部位100の白色光画像を取得するように反射光画像取得部31を制御するとともに、この観察部位100の蛍光画像を取得するように蛍光画像取得部32を制御する。

0064

かかる制御部39の制御に基づいて、反射光画像取得部31は、光源装置10からの白色光が観察部位100に照射されたタイミングに反射光撮像部26が撮像した観察部位100の白色光画像を取得し、この取得した白色光画像の各映像信号をデジタル変換する。反射光画像取得部31は、このデジタル変換後の白色光画像を前処理部33に送信する。一方、蛍光画像取得部32は、かかる制御部39の制御に基づいて、この白色光画像と同じタイミングに蛍光撮像部28が撮像した観察部位100の蛍光画像を取得し、この取得した蛍光画像の各映像信号をデジタル変換する。蛍光画像取得部32は、このデジタル変換後の蛍光画像を前処理部33に送信する。

0065

続いて、画像処理装置30は、ステップS102において取得した観察部位100の映像信号の前処理を実行する(ステップS103)。このステップS103において、制御部39は、かかる観察部位100の画像毎に所定の信号処理および較正処理を実行するように前処理部33を制御する。

0066

かかる制御部39の制御に基づいて、前処理部33は、反射光画像取得部31から取得した観察部位100の白色光画像に対して、補間処理、ホワイトバランス処理およびノイズ低減処理等の信号処理と、空間的な位置、角度およびサイズの較正処理とを行う。これによって、前処理部33は、この観察部位100の白色光画像をm×n画素の画像情報に較正する。前処理部33は、制御部39の制御に基づいて、かかる較正処理後の観察部位100の白色光画像を処理対象の白色光画像として動き検出部35および補正処理部36に送信する。一方、前処理部33は、かかる制御部39の制御に基づいて、蛍光画像取得部32から取得した観察部位100の蛍光画像に対して、補間処理およびノイズ低減処理等の信号処理と、空間的な位置、角度およびサイズの較正処理とを行う。これによって、前処理部33は、上述した処理対象の白色光画像と同様に、この観察部位100の蛍光画像をm×n画素の画像情報に較正する。前処理部33は、制御部39の制御に基づいて、かかる較正処理後の観察部位100の蛍光画像を処理対象の蛍光画像として規格化処理部37に送信する。

0067

その後、画像処理装置30は、観察部位100の反射光画像の動き検出処理を実行する(ステップS104)。このステップS104において、制御部39は、処理対象の白色光画像に対して、上述した動き成分の検出処理およびフィルタリング処理を実行するように動き検出部35を制御する。

0068

かかる制御部39の制御に基づいて、動き検出部35は、前処理部33から取得した処理対象の白色光画像と記憶部34から読み出した過去の白色光画像とをもとに、この処理対象の白色光画像の動き成分を検出し、また、この処理対象の白色光画像に対してフィルタリング処理を適宜実行する。具体的には、動き検出部35は、m×n画素の画像情報であるこの処理対象の白色光画像をM×N(Mはm未満の整数、Nはn未満の整数)の画素ブロックに分割する。動き検出部35は、かかるM×Nの画素ブロックからなる処理対象の白色光画像を基準画像とし、記憶部34から読み出した過去の白色光画像を参照画像としたブロックマッチング法等に基づいて、この処理対象の白色光画像の各画素ブロック動きベクトルを算出する。動き検出部35は、この処理対象の白色光画像の動き成分として、かかる各画素ブロックの動きベクトルの動き成分V(i,j)を算出する。動き検出部35は、かかる処理対象の白色光画像の各画素ブロックの動き成分V(i,j)を含む動き成分マップを生成する。

0069

なお、かかる動き成分V(i,j)は、この処理対象の白色光画像に設定されるx軸およびy軸の2軸直交座標系のブロック座標(i,j)(i=1,2,…,M、j=1,2,…,N)における画素ブロックの動き成分であり、次式(1)によって算出される。

0070

なお、この式(1)において、xijは、ブロック座標(i,j)における画素ブロックの動きベクトルのX成分であり、yijは、ブロック座標(i,j)における画素ブロックの動きベクトルのY成分である。

0071

また、動き検出部35は、この処理対象の白色光画像の画素毎に注目画素と周辺画素との輝度比較処理を行い、この輝度比較処理の結果をもとに、この処理対象の白色光画像に正反射光画素が含まれるか否かを判断する。動き検出部35は、この処理対象の白色光画像に正反射光画素が含まれている場合、この正反射光画素をその周辺画素によって補間するフィルタリング処理を行う。動き検出部35は、かかるフィルタリング処理後の白色光画像の動き成分V(i,j)を検出し、かかるフィルタリング処理後の白色光画像の各画素ブロックの動き成分V(i,j)を含む動き成分マップを生成する。動き検出部35は、この生成した動き成分マップを補正処理部36に送信する。

0072

つぎに、画像処理装置30は、観察部位100の反射光画像の検出動き成分に基づく補正処理を行う(ステップS105)。このステップS105において、制御部39は、動き検出部35によって検出された動き成分V(i,j)を加味して処理対象の白色光画像の輝度値を補正処理するように補正処理部36を制御する。

0073

かかる制御部39の制御に基づいて、補正処理部36は、前処理部33から取得した処理対象の白色光画像と動き検出部35から取得した動き成分マップとの対応画素毎に、この動き成分マップ内の画素毎の動き成分Vd(x,y)を加味して輝度値を補正する。この結果、補正処理部36は、この処理対象の白色光画像の輝度値に動き成分Vd(x,y)を反映した補正輝度値Wd(x,y)を画素毎に算出する。補正処理部36は、かかる白色光画像の各画素の補正輝度値Wd(x,y)を規格化処理部37に送信する。

0074

なお、この動き成分Vd(x,y)は、上述した動き成分マップ内の画素ブロックの動き成分V(i,j)を画素単位に分割したものであり、この処理対象の白色光画像に設定された2軸直交座標系の画素座標(x,y)における動き成分である。また、この処理対象の白色光画像はm×n画素の画像情報であるため、この動き成分マップの画素座標(x,y)の範囲は、1≦x≦m、1≦y≦nである。

0075

その後、画像処理装置30は、上述したステップS105において補正処理した反射光画像によって観察部位100の蛍光画像を規格化処理する(ステップS106)。このステップS106において、制御部39は、補正処理部36によって補正処理された白色光画像によって観察部位100の蛍光画像を規格化処理するように規格化処理部37を制御する。

0076

かかる制御部39の制御に基づいて、規格化処理部37は、前処理部33から取得した観察部位100の蛍光画像と補正処理部36から取得した白色光画像の動き成分マップとの対応画素毎に、この蛍光画素の輝度値を規格化処理し、この結果、観察部位100の規格化蛍光画像を生成する。この蛍光画像の規格化処理において、規格化処理部37は、次式(2)に基づいて規格化蛍光画像の輝度値Q(x,y)を算出する。すなわち、規格化処理部37は、画素座標(x,y)における補正輝度値Wd(x,y)が値ではない場合、画素座標(x,y)における観察部位100の蛍光画像の輝度値F(x,y)と定数Kとの乗算値をこの補正輝度値Wd(x,y)によって除算して、画素座標(x,y)における規格化蛍光画像の輝度値Q(x,y)を算出する。一方、規格化処理部37は、補正輝度値Wd(x,y)が零値である場合、この零値である補正輝度値Wd(x,y)に対応する規格化蛍光画像の輝度値Q(x,y)を零値として算出する。なお、この画素座標(x,y)の範囲は、上述したように、1≦x≦m、1≦y≦nである。規格化処理部37は、かかる輝度値Q(x,y)を有する観察部位100の規格化蛍光画像を後処理部38に送信する。

0077

0078

つぎに、画像処理装置30は、ステップS106において生成した観察部位100の規格化蛍光画像の後処理を行う(ステップS107)。このステップS107において、制御部39は、規格化処理部37による規格化蛍光画像に所定の信号処理を行うように後処理部38を制御する。かかる制御部39の制御に基づいて、後処理部38は、規格化処理部37から取得した観察部位100の規格化蛍光画像の各映像信号に対して、階調変換処理、強調処理および圧縮処理等の信号処理を行い、この信号処理後の規格化蛍光画像を画像出力装置50に送信する。

0079

続いて、画像処理装置30は、かかる観察部位100の規格化蛍光画像の出力処理を行う(ステップS108)。このステップS108において、制御部39は、後処理部38による信号処理後の規格化蛍光画像を出力するように画像出力装置50を制御する。かかる制御部39の制御に基づいて、画像出力装置50は、後処理部38から取得した各映像信号を取得し、この取得した各映像信号に基づいた観察部位100の規格化蛍光画像を表示する。

0080

その後、画像処理装置30は、所定のオフ操作等の処理終了操作が行われた場合(ステップS109,Yes)、本処理を終了する。この場合、制御部39は、入力装置40によって処理終了の指示情報を入力され、この入力された指示情報に基づいて、画像処理装置30の各構成部の動作を終了させる。一方、画像処理装置30は、かかる処理終了操作が行われていない場合(ステップS109,No)、上述したステップS102に戻り、このステップS102以降の処理手順を繰り返す。この場合、制御部39は、上述したステップS102〜S109の処理手順を行って、画像処理装置30の各構成部を適宜制御する。

0081

つぎに、上述したステップS105における反射光画像の検出動き成分に基づく補正処理について詳細に説明する。図7は、反射光画像の検出動き成分に基づく補正処理の処理手順を例示するフローチャートである。画像処理装置30の補正処理部36は、上述したように、制御部39の制御に基づいてステップS105における反射光画像の検出動き成分に基づく補正処理を実行する。

0082

詳細には、図7に示すように、補正処理部36は、まず、処理対象の反射光画像の動き量算出処理を行う(ステップS201)。このステップS201において、動き量算出部36aは、処理対象の反射光画像である観察部位100の白色光画像の動き成分マップを動き検出部35から取得する。なお、この動き成分マップには、上述したように、この処理対象の白色光画像をM×Nの画素ブロックに分割した際の各画素ブロックの動き成分V(i,j)が含まれる。動き量算出部36aは、この取得した動き成分マップ内の各画素ブロックの動き成分V(i,j)をもとに、この処理対象の白色光画像の全体的動き量Vaveを算出する。動き量算出部36aは、この算出した処理対象の白色光画像の全体的動き量Vaveを置換処理部36bに送信する。なお、かかる処理対象の白色光画像の全体的動き量Vaveは、例えば次式(3)に基づいて算出される。

0083

0084

つぎに、補正処理部36は、ステップS201において算出した処理対象の白色光画像の全体的動き量Vaveが予め設定された閾値Vt以上であるか否かを判断する(ステップS202)。このステップS202において、置換処理部36bは、処理対象の白色光画像の全体的動き量Vaveを動き量算出部36aから取得する。また、置換処理部36bは、この処理対象の白色光画像の動き成分マップを動き検出部35から取得する。置換処理部36bは、この取得した全体的動き量Vaveと閾値Vtとの比較処理を行い、全体的動き量Vaveが閾値Vt以上である場合、この動き成分マップに対応する処理対象の白色光画像内の被写体に所定以上の動きがあると判定する。一方、置換処理部36bは、全体的動き量Vaveが閾値Vt未満である場合、この動き成分マップに対応する処理対象の白色光画像内の被写体に所定以上の動きがないと判定する。

0085

補正処理部36は、このステップS202において全体的動き量Vaveが閾値Vt以上である場合(ステップS202,Yes)、この処理対象の白色光画像の動き成分記憶処理を実行する(ステップS203)。このステップS203において、置換処理部36bは、この処理対象の白色光画像の動き成分マップを補正輝度算出部36dに出力するとともに、被写体に所定以上の動きがある場合の動き成分マップとして、この動き成分マップを動き成分記憶部36cに出力する。動き成分記憶部36cは、この置換処理部36bから取得した動き成分マップを記憶し、この置換処理部36bから動き成分マップを取得する都度、動き成分マップを更新する。

0086

一方、補正処理部36は、このステップS202において全体的動き量Vaveが閾値Vt未満である場合(ステップS202,No)、この処理対象の白色光画像の動き成分置換処理を実行する(ステップS204)。このステップS204において、置換処理部36bは、動き成分記憶部36cから過去の動き成分マップを読み出し、動き検出部35から取得した処理対象の白色光画像の動き成分マップをこの過去の動き成分マップに置換する。すなわち、置換処理部36bは、被写体に所定以上の動きがない場合の動き成分マップを、被写体に所定以上の動きがある場合の動き成分マップに置き換える。この場合、置換処理部36bは、処理対象の白色光画像の動き成分マップとして、この過去の動き成分マップを補正輝度算出部36dに出力する。

0087

その後、補正処理部36は、処理対象の反射光画像の動き成分を加味した補正輝度算出処理を実行する(ステップS205)。このステップS205において、補正輝度算出部36dは、前処理部33から処理対象の白色光画像を取得し、置換処理部36bから動き成分マップを取得する。補正輝度算出部36dは、この取得した動き成分マップに含まれるM×Nの画素ブロックを元の画素単位、すなわちm×n画素に分割し、この分割した各画素の動き成分Vd(x,y)を算出する。この場合、補正輝度算出部36dは、かかる動き成分マップの分割前の画素ブロックの動き成分V(i,j)と、この画素ブロックから分割した各画素の動き成分Vd(x,y)とを同値にする。次いで、補正輝度算出部36dは、かかる処理対象の白色光画像および動き成分マップの対応画素毎に、この動き成分マップの画素単位の動き成分Vd(x,y)を加味した補正輝度値Wd(x,y)を算出する。具体的には、次式(4)に示すように、補正輝度算出部36dは、この処理対象の白色光画像の輝度値W(x,y)および定数aの乗算値と動き成分Vd(x,y)および定数bの乗算値とを画素座標(x,y)毎に加算処理して、この白色光画像の各画素の補正輝度値Wd(x,y)を算出する。補正輝度算出部36dは、このように算出した白色光画像の各画素の補正輝度値Wd(x,y)を規格化処理部37に送信する。

0088

0089

なお、この式(4)における輝度値W(x,y)は、この処理対象の白色光画像に設定された2軸直交座標系の画素座標(x,y)(x=1,2,…,m、y=1,2,…,n)における画素の輝度値である。また、この式(4)における定数a,bは、入力装置40によって入力された情報をもとに制御部39が設定した定数であってもよいし、対物レンズ23の焦点距離または撮像素子のゲイン等をもとに制御部39が自動的に設定した定数であってもよい。

0090

上述したステップS205の処理手順が終了した後、補正処理部36は、図6に示したステップS105にリターンする。その後、画像処理装置30は、上述したように、ステップS106に進み、このステップS106以降の処理手順を実行する。

0091

つぎに、上述したm×n画素の動き成分マップに含まれる各画素ブロックが各々16×16画素の画素ブロックである場合を例示して、補正処理部36による処理対象の白色光画像の補正処理を具体的に説明する。図8は、処理対象の白色光画像の動き成分マップの一具体例を示す模式図である。図9は、動き成分を加味して白色光画像を補正処理する状態を示す模式図である。

0092

図8に示すように、上述した動き検出部35によって生成される処理対象の白色光画像(m×n画素)の動き成分マップMPは、16×16画素を画素ブロック単位とするMブロック×Nブロックの画素ブロックD(i,j)によって形成される。ここで、画素ブロックD(i,j)は、この動き成分マップMPに設定されたx軸およびy軸の2軸直交座標系のブロック座標(i,j)(1≦i≦M、1≦j≦N)における画素ブロックである。例えば、画素ブロックD(1,1)は、動き成分マップMPのブロック座標(1,1)における画素ブロックであり、画素ブロックD(M,N)は、動き成分マップMPのブロック座標(M,N)における画素ブロックである。

0093

なお、かかる動き成分マップMPに設定される2軸直交座標系は、例えば図8に示すように、動き成分マップMPの横軸をx軸とし、縦軸をy軸としている。また、この2軸直交座標系は、図8における動き成分マップMPの左上角原点とし、x軸は、この動き成分マップMPの右方向を正方向とし、y軸は、この動き成分マップMPの下方向を正方向としている。かかる動き成分マップMPにおいて、横軸のブロック数M=m画素/16であり、縦軸のブロック数N=n画素/16である。

0094

かかるMブロック×Nブロックの動き成分マップMPは、上述した動き検出部35によって算出された動き成分V(i,j)を画素ブロックD(i,j)毎に含んでいる。例えば、動き成分マップMPにおいて、画素ブロックD(1,1)の動き成分はV(1,1)であり、画素ブロックD(M,1)の動き成分はV(M,1)であり、画素ブロックD(1,N)の動き成分はV(1,N)であり、画素ブロックD(M,N)の動き成分はV(M,N)である。なお、かかる画素ブロックD(i,j)の動き成分V(i,j)は、上述した式(1)に基づいて算出される。

0095

ここで、上述した補正処理部36は、かかる動き成分マップMP内の動き成分V(i,j)を加味して処理対象の白色光画像の輝度値を補正する。かかる補正処理部36において、補正輝度算出部36dは、処理対象であるm×n画素の白色光画像Pwと動き成分マップMPとを取得する。補正輝度算出部36dは、まず、この動き成分マップMP内の各画素ブロックD(i,j)を元の画素単位であるm×n画素に分割する。具体的には、補正輝度算出部36dは、この動き成分マップMP内の各画素ブロックD(1,1)〜D(M,N)の各々を16×16画素に分割する。

0096

次いで、補正輝度算出部36dは、これら分割後の各画素の動き成分Vd(x,y)を算出する。この場合、補正輝度算出部36dは、かかる分割前の画素ブロックD(i,j)の動き成分V(i,j)と、この画素ブロックD(i,j)から分割した各画素の動き成分Vd(x,y)とを同値にする。例えば、画素ブロックD(1,1)から分割した16×16の各画素の動き成分Vd(x,y)は動き成分V(1,1)と同値であり、画素ブロックD(M,N)から分割した16×16の各画素の動き成分Vd(x,y)は動き成分V(M,N)と同値である。

0097

このように動き成分マップMPの各画素の動き成分Vd(x,y)を算出した補正輝度算出部36dは、上述した式(4)に基づいて、処理対象の白色光画像Pwおよび動き成分マップMPの対応画素毎に、動き成分Vd(x,y)を加味した補正輝度値Wd(x,y)を算出し、この算出した各画素の補正輝度値Wd(x,y)を有する規格化用画像Prを生成する(図9参照)。このようにして、補正処理部36は、動き成分マップMPの各画素の動き成分Vd(x,y)を加味した白色光画像Pwの補正処理を達成する。

0098

なお、かかる補正処理後の白色光画像である規格化用画像Prの各画素の補正輝度値Wd(x,y)は、上述した規格化処理部37に送信され、観察部位100の蛍光画像Pfの規格化処理に用いられる。ここで、かかる補正輝度値Wd(x,y)に含まれる動き成分Vd(x,y)は、被写体である観察部位100と反射光撮像部26との撮像距離の遠近に応じて変化する値であり、具体的には、撮像距離の増加に伴って減少し、撮像距離の減少に伴って増加する。かかる動き成分Vd(x,y)を反映した補正輝度値Wd(x,y)を画素毎に含む規格化用画像Prは、正反射光画素の有無によらず、被写体である観察部位100と反射光撮像部26との撮像距離を正確に反映した輝度分布を有する。

0099

上述した規格化処理部37は、かかる規格化用画像Prの補正輝度値Wd(x,y)によって観察部位100の蛍光画像Pfの輝度値を対応画素毎に規格化処理することによって、観察部位100からの正反射光の影響を受けることなく、観察部位100と蛍光撮像部28との撮像距離に応じて変化する蛍光画像Pf内の蛍光の明暗(輝度値)を正確に補正できる。かかる規格化処理された蛍光画像Pf(すなわち規格化蛍光画像)において、励起光照射による蛍光発生源である病変部101は、観察部位100と蛍光撮像部28との撮像距離に関わらず、比較的高い輝度の画素によって描画される。

0100

また、かかる処理対象の白色光画像Pwおよび蛍光画像Pfは、上述したように同じタイミングに撮像された観察部位100の画像情報である。このため、かかる白色光画像Pwおよび蛍光画像Pfの間において病変部101等の被写体の位置は一致する。規格化処理部37は、このような白色光画像Pwに対応する規格化用画像Prを用いることによって、高精度に蛍光画像Pfの輝度値を規格化処理することができる。

0101

以上、説明したように、本発明の実施の形態1では、観察部位から反射した白色光に基づいた観察部位の白色光画像と、この観察部位から発生した蛍光に基づいた観察部位の蛍光画像と、を処理対象の画像情報として取得し、過去に取得した観察部位の過去の白色光画像と処理対象の白色光画像とをもとに、この処理対象の白色光画像の動き成分を検出し、この検出した動き成分を加味して処理対象の白色光画像の輝度値を補正処理し、この補正処理後の輝度値によって処理対象の蛍光画像の輝度値を規格化処理するように構成した。このため、処理対象の白色光画像の輝度値に、被写体の撮像距離の遠近に応じて変化する画素の動き成分を反映させることができ、これによって、正反射光画素の有無によらず、被写体の撮像距離を正確に反映した輝度分布を有する規格化用画像を生成できる。かかる規格化用画像の輝度値によって処理対象の蛍光画像の輝度値を規格化処理することによって、正反射光の影響を受けることなく、観察対象の蛍光画像の輝度を正確に補正することができる。この結果、観察部位内の病変部等の異常組織を蛍光画像内に明確に描画でき、これによって、観察対象の蛍光画像による被検体内の異常組織の検出能および診断能を高めることができる。

0102

また、この実施の形態1では、観察部位の蛍光画像と同じタイミングに撮像された観察部位の白色光画像に対応する規格化用画像によって、この蛍光画像の輝度値を規格化処理しているので、これら両画像間における被写体の位置ずれの影響を受けることなく、高精度に蛍光画像の輝度値を補正することができる。

0103

(実施の形態2)
つぎに、本発明の実施の形態2について説明する。上述した実施の形態1では、同じタイミングに撮像された観察部位100の蛍光画像および白色光画像を取得し、この白色光画像の動き成分を加味した補正輝度値によって観察部位100の蛍光画像を規格化処理していたが、この実施の形態2では、異なるタイミングに撮像された観察部位100の白色光画像と蛍光画像とを取得し、この白色光画像の動き成分をこの蛍光画像の撮像タイミングにおける動き成分に補償し、この補償処理後の動き成分を加味した白色光画像の補正輝度値によって観察部位100の蛍光画像を規格化処理している。

0104

図10は、本発明の実施の形態2にかかる内視鏡装置の一構成例を模式的に示すブロック図である。図10に示すように、この実施の形態2にかかる内視鏡装置2は、上述した実施の形態1にかかる内視鏡装置1の光源装置10に代えて光源装置210を備え、ダイクロイックミラー24に代えてハーフミラー224を備え、バリアフィルタ27に代えてバリアフィルタ227を備え、蛍光撮像部28に代えて蛍光撮像部228を備え、画像処理装置30に代えて画像処理装置230を備える。この内視鏡装置2において、光源装置210は、観察部位100への照射光を励起光または白色光に切り替える回転フィルタ214と、回転フィルタ214の駆動源であるモータ215と、回転フィルタ214を制御するフィルタ制御部216とを更に備える。また、画像処理装置230は、上述した実施の形態1にかかる画像処理装置30の動き検出部35に代えて動き検出部235を備え、制御部39に代えて制御部239を備え、さらに、動き補償部236を備える。その他の構成は実施の形態1と同じであり、同一構成部分には同一符号を付している。

0105

光源装置210は、蛍光薬剤を励起する励起光と照明光の一例である白色光とを交互に切り替えて観察部位100に照射する光源部として機能する。具体的には、光源装置210は、上述した白色光源11、コリメートレンズ12および集光レンズ13の他に、回転フィルタ214と、モータ215と、フィルタ制御部216とを備える。

0106

回転フィルタ214は、白色光源11によって発光された白色光から所定の波長帯域の光を抽出する。図11は、回転フィルタの一構成例を示す模式図である。図12は、回転フィルタの透過率特性の一例を示す模式図である。なお、図12には、この回転フィルタ214が抽出した励起光によって発生する蛍光の分光特性を例示する波長対強度の相関線C12が図示されている。回転フィルタ214は、図11に示すように、互いに分光特性の異なる白色光フィルタ214aおよび励起光フィルタ214bを備える。

0107

白色光フィルタ214aは、白色光源11によって発光された白色光のうちの所定の波長帯域の白色光を透過させる。具体的には、白色光フィルタ214aは、図12に示す波長対透過率の相関線C1のように、400〜740nmの波長帯域の白色光を透過させる透過率特性を有する。かかる透過率特性を有する白色光フィルタ214aは、白色光源11による射出光から400〜740nmの波長帯域の白色光を抽出し、この抽出した白色光を観察部位100の照明光として透過させる。

0108

励起光フィルタ214bは、白色光源11によって発光された白色光のうちの所定の波長帯域の励起光を透過させる。具体的には、励起光フィルタ214bは、図12に示す波長対透過率の相関線C11のように、490〜550nmの波長帯域の励起光を透過させる透過率特性を有する。かかる透過率特性を有する励起光フィルタ214bは、白色光源11が発光した白色光から490〜550nmの波長帯域の光である励起光を抽出し、この抽出した励起光を透過させる。なお、かかる励起光フィルタ214bによって抽出された励起光は、例えば観察部位100に存在する腫瘍等の病変部101に特異的に集積する蛍光薬剤を励起して、例えば550〜610nmの波長帯域の蛍光(図12に示す相関線C12を参照)を発生させる特性を有する。

0109

このような白色光フィルタ214aおよび励起光フィルタ214bを有する回転フィルタ214は、モータ215の駆動によって周方向に回転し、これによって、白色光源11からの白色光の光路(図10に示す光源装置210内の破線参照)内に、白色光フィルタ214aおよび励起光フィルタ214bを順次切り替えて位置させる。かかる回転フィルタ214は、この光路内に白色光フィルタ214aを位置させた状態において400〜740nmの白色光を透過させ、この光路内に励起光フィルタ214bを位置させた状態において490〜550nmの励起光を透過させる。すなわち、回転フィルタ214は、かかる白色光と励起光とを交互に透過させる。

0110

なお、かかる回転フィルタ214の励起光フィルタ214bは、図12の相関線C11に例示される透過率特性を有するものに限らず、観察部位100から蛍光を発生させる励起光を透過するものであれば、所望の透過率特性を有するものであってもよい。この場合、かかる励起光フィルタ214bの透過波長帯域は、可視光帯域内における所望の波長帯域であってもよいし、可視光帯域外における所望の波長帯域であってもよい。

0111

フィルタ制御部216は、上述した回転フィルタ214の回転による光路内のフィルタ切替を制御する。具体的には、フィルタ制御部216は、回転軸を介して回転フィルタ214と接続されたモータ215の回転駆動を制御し、このモータ215の駆動制御を通して回転フィルタ214の回転駆動を制御する。これによって、フィルタ制御部216は、上述した白色光源11からの白色光の光路内に白色光フィルタ214aと励起光フィルタ214bとを所定の時間間隔で交互に位置させる。このようにして、フィルタ制御部216は、かかる光路内における回転フィルタ214のフィルタ切替を制御する。また、フィルタ制御部216は、かかるモータ215の回転数等の回転駆動状態をもとに、白色光フィルタ214aおよび励起光フィルタ214bのいずれが光路内に位置しているかを把握する。フィルタ制御部216は、かかる光路内に位置するフィルタ(白色光フィルタ214aまたは励起光フィルタ214b)を示すフィルタ情報を画像処理装置230の制御部239に送信する。なお、かかるフィルタ制御部216の動作は、後述する画像処理装置230の制御部239によって制御される。

0112

なお、かかる構成を有する光源装置210によって交互に射出される白色光および励起光は、挿入部20のライトガイドファイバ21等を介して、所定の時間間隔で観察部位100に交互に照射される。

0113

ハーフミラー224は、対物レンズ23を透過した観察部位100からの光を反射光撮像部26側と蛍光撮像部228側とに同様に分岐する。具体的には、ハーフミラー224は、観察部位100に光源装置210からの白色光が照射された場合、この観察部位100から反射した白色光を反射光撮像部26側の光路と蛍光撮像部228側の光路とに分岐する。一方、ハーフミラー224は、観察部位100に光源装置210からの励起光が照射された場合、この観察部位100から発生した蛍光と観察部位100から反射した励起光とを反射光撮像部26側の光路と蛍光撮像部228側の光路とに分岐する。

0114

バリアフィルタ227は、ハーフミラー224によって蛍光撮像部228側の光路に分岐された観察部位100からの蛍光のみを透過させ、この蛍光以外の光(例えば励起光等)を遮断する。図13は、実施の形態2におけるバリアフィルタの透過率特性の一例を示す模式図である。バリアフィルタ227は、図13に示す波長対透過率の相関線C13のように、550〜610nmの波長帯域の光を透過させる透過率特性を有する。かかる透過率特性を有するバリアフィルタ227は、ハーフミラー224によって蛍光撮像部228側の光路に分岐された観察部位100からの光のうち、観察部位100からの反射した白色光および励起光を遮断するとともに、550〜610nmの波長帯域の光である観察部位100からの蛍光を透過させる。

0115

蛍光撮像部228は、上述した反射光撮像部26と異なる撮像タイミングに観察部位100の蛍光画像を撮像する。具体的には、蛍光撮像部228は、観察部位100に光源装置210からの励起光が照射された際、ハーフミラー224によって蛍光撮像部228側の光路に分岐された観察部位100からの蛍光、すなわちバリアフィルタ227を透過した蛍光を受光する。これによって、蛍光撮像部228は、観察部位100に励起光が照射されたタイミングにおける観察部位100の蛍光画像を撮像する。ここで、上述した反射光撮像部26は、光源装置210から所定の時間間隔で交互に射出される光のうちの白色光が観察部位100に照射された際、ハーフミラー224によって反射光撮像部26側の光路に分岐された観察部位100からの白色光を受光して、観察部位100の白色光画像を撮像する。すなわち、蛍光撮像部228は、この白色光画像の撮像タイミングから所定の時間間隔をあけたタイミングに観察部位100の蛍光画像を撮像する。なお、蛍光撮像部228は、かかる反射光撮像部26と異なるタイミングの蛍光画像の撮像機能以外、上述した実施の形態1における蛍光撮像部28と同様の機能を有する。

0116

画像処理装置230は、上述したように、実施の形態1における動き検出部35に代えて動き検出部235を備え、実施の形態1における制御部39に代えて制御部239を備え、さらに動き補償部236を備える。なお、画像処理装置230は、かかる動き検出部235、動き補償部236および制御部239の機能以外、上述した実施の形態1にかかる画像処理装置30と同様の機能を有する。

0117

動き検出部235は、反射光画像取得部31が時系列順に順次取得した観察部位100の2フレームの反射光画像をもとに、処理対象の反射光画像の動き成分を検出する。具体的には、動き検出部235は、前処理部33によって処理された観察部位100の白色光画像(処理対象の白色光画像)を前処理部33から取得する。また、動き検出部235は、この処理対象の白色光画像に比して所望フレーム(例えば1フレーム)前に撮像された観察部位100の白色光画像(過去の白色光画像)を記憶部34から読み出す。なお、かかる処理対象の白色光画像および過去の白色光画像は、光源装置210から所定の時間間隔で観察部位100に照射される白色光の各照射タイミングに順次撮像された観察部位100の白色光画像であり、互いに時系列順に連続する。動き検出部235は、かかる時系列順に連続する処理対象の白色光画像と過去の白色光画像とをもとに、ブロックマッチング法等に基づいて、この処理対象の白色光画像の動き成分を検出する。また、動き検出部235は、かかる時系列順に連続する処理対象の白色光画像と過去の白色光画像との間の動きベクトルを画素毎または画素ブロック毎に検出し、この検出した各動きベクトルを代表する代表ベクトルを算出する。この動き検出部235が算出する代表ベクトルは、かかる各画素または各画素ブロックの動きベクトルの平均であってもよいし、メディアンであってもよい。動き検出部235は、かかる処理対象の白色光画像の動き成分マップと代表ベクトルとを動き補償部236に送信する。なお、動き検出部235は、かかる動き成分および代表ベクトルの検出機能以外、上述した実施の形態1における動き検出部35と同様の機能を有する。

0118

動き補償部236は、動き検出部235が検出した処理対象の反射光画像の動き成分を処理対象の蛍光画像と同じ撮像タイミングにおける動き成分に補償する。具体的には、動き補償部236は、動き検出部235が検出した処理対象の白色光画像の動き成分マップと代表ベクトルとを取得する。動き補償部236は、この動き検出部235から取得した代表ベクトルと観察部位100の白色光画像および蛍光画像の撮像時間間隔とをもとに、動き補償ベクトルを算出する。ここで、この動き補償ベクトルは、処理対象の白色光画像の各動きベクトルと処理対象の蛍光画像の撮像タイミングにおけるこの処理対象の白色光画像の各動きベクトルとの差を代表するベクトル情報である。動き補償部236は、かかる処理対象の白色光画像の動き成分マップと動き補償ベクトルとをもとに、この動き成分マップ内の各動き成分を観察部位100の蛍光画像の撮像タイミングにおける動き成分に補償する。動き補償部236は、かかる動き補償処理後の動き成分マップを補正処理部36に送信する。

0119

制御部239は、実施の形態1にかかる画像処理装置30の制御部39と同様に、処理プログラムを記憶する記憶部とこの記憶部内の処理プログラムを実行するコンピュータとを用いて実現される。制御部239は、入力装置40によって入力された指示情報に基づいて、上述した光源装置210の回転フィルタ214のフィルタ切替制御を実行するようにフィルタ制御部216を制御する。

0120

また、制御部239は、上述したフィルタ情報をフィルタ制御部216から順次取得し、取得したフィルタ情報をもとに、光源装置210の光路内に現に位置する回転フィルタ214のフィルタが白色光フィルタ214aおよび励起光フィルタ214bのいずれであるかを識別する。制御部239は、光源装置210の光路内のフィルタが白色光フィルタ214aである場合、観察部位100に白色光が照射されたタイミングに反射光撮像部26が撮像した観察部位100の白色光画像を取得するように反射光画像取得部31を制御する。なお、制御部239は、光源装置210の光路内のフィルタが白色光フィルタ214aではない場合、反射光撮像部26からの映像信号を削除するように反射光画像取得部31を制御する。一方、制御部239は、光源装置210の光路内のフィルタが励起光フィルタ214bである場合、観察部位100に励起光が照射されたタイミングに蛍光撮像部228が撮像した観察部位100の蛍光画像を取得するように蛍光画像取得部32を制御する。なお、制御部239は、光源装置210の光路内のフィルタが励起光フィルタ214bではない場合、蛍光撮像部228からの映像信号を削除するように蛍光画像取得部32を制御する。このようにして、制御部239は、所定の時間間隔で観察部位100の白色光画像および蛍光画像を交互に取得するように反射光画像取得部31および蛍光画像取得部32を制御する。

0121

一方、制御部239は、上述した動き検出部235による処理対象の白色光画像の動き検出処理および代表ベクトル算出処理と、動き補償部236による処理対象の白色光画像の動き補償処理とを制御する。また、制御部239は、かかる動き補償部236による動き補償処理後の動き成分マップをもとに処理対象の白色光画像の輝度補正処理を実行するように補正処理部36を制御する。なお、制御部239は、この実施の形態2における各制御機能以外、実施の形態1にかかる画像処理装置30の制御部39と同様の機能を有する。

0122

つぎに、本発明の実施の形態2にかかる画像処理装置230の動作について説明する。図14は、本発明の実施の形態2にかかる画像処理装置の処理手順を例示するフローチャートである。図15は、実施の形態2にかかる画像処理装置の動作を具体的に説明するための模式図である。

0123

図14に示すように、画像処理装置230は、まず、観察部位100の反射光画像を事前に取得する(ステップS301)。このステップS301において、制御部239は、光源装置210から観察部位100に白色光が照射されるようにフィルタ制御部216を制御するとともに、この白色光の照射タイミングにおける観察部位100の白色光画像を取得するように反射光画像取得部31を制御する。

0124

かかる制御部239の制御に基づいて、フィルタ制御部216は、光源装置210の光路内に回転フィルタ214の白色光フィルタ214aが位置するようにモータ215を制御する。この結果、観察部位100には、光源装置210による白色光が照射される。一方、反射光画像取得部31は、かかる制御部239の制御に基づいて、この光源装置210からの白色光が観察部位100に照射されたタイミングT1に反射光撮像部26が撮像した観察部位100の白色光画像Pw1を取得し、この取得した白色光画像Pw1の各映像信号をデジタル変換後に前処理部33に送信する。前処理部33は、かかる制御部239の制御に基づいて、この反射光画像取得部31から取得した白色光画像Pw1の各映像信号に対して上述した信号処理を行い、その後、この白色光画像Pw1の各映像信号を記憶部34に送信する。記憶部34は、後に処理対象となる観察部位100の白色光画像Pw2(図15参照)に比して過去の白色光画像として、この前処理部33から取得した観察部位100の白色光画像Pw1を記憶する。

0125

なお、上述したタイミングT1は、図15に示すように、光源装置210からの励起光が観察部位100に照射されるタイミングT2以前である。かかるタイミングT1において撮像された観察部位100の白色光画像Pw1は、このタイミングT2において撮像される観察部位100の蛍光画像Pfに比して過去の画像情報である。

0126

つぎに、画像処理装置230は、処理対象となる観察部位100の反射光画像および蛍光画像を取得する(ステップS302)。このステップS302において、制御部239は、まず、光源装置210から観察部位100に励起光が照射されるようにフィルタ制御部216を制御するとともに、この励起光の照射タイミングにおける観察部位100の蛍光画像を取得するように蛍光画像取得部32を制御する。続いて、制御部239は、光源装置210から観察部位100に白色光が照射されるようにフィルタ制御部216を制御するとともに、この白色光の照射タイミングにおける観察部位100の白色光画像を取得するように反射光画像取得部31を制御する。

0127

かかる制御部239の制御に基づいて、フィルタ制御部216は、まず、光源装置210の光路内に回転フィルタ214の励起光フィルタ214bが位置するようにモータ215を制御する。この結果、観察部位100には、光源装置210による励起光が照射される。次いで、蛍光画像取得部32は、かかる制御部239の制御に基づいて、この光源装置210からの励起光が観察部位100に照射されたタイミングT2に蛍光撮像部228が撮像した観察部位100の蛍光画像Pfを取得し、この取得した蛍光画像Pfの各映像信号をデジタル変換後に前処理部33に送信する。一方、この観察部位100への励起光の照射後に、フィルタ制御部216は、かかる制御部239の制御に基づいて、光源装置210の光路内に回転フィルタ214の白色光フィルタ214aが再度位置するようにモータ215を制御する。この結果、観察部位100には、上述した励起光の照射から所定の時間後に光源装置210による白色光が再度照射される。次いで、反射光画像取得部31は、かかる制御部239の制御に基づいて、この光源装置210からの白色光が観察部位100に照射されたタイミングT3に反射光撮像部26が撮像した観察部位100の白色光画像Pw2を取得し、この取得した白色光画像Pw2の各映像信号をデジタル変換後に前処理部33に送信する。

0128

なお、上述した励起光が照射されたタイミングT2は、図15に示すように、光源装置210からの白色光が観察部位100に照射されたタイミングT1と光源装置210からの白色光が観察部位100に再度照射されたタイミングT3との間のタイミングである。かかるタイミングT2において撮像された観察部位100の蛍光画像Pfは、このタイミングT1における観察部位100の白色光画像Pw1以後の画像情報であって、このタイミングT3において撮像された観察部位100の白色光画像Pw2に比して過去の画像情報である。すなわち、かかるタイミングT1,T3における観察部位100の白色光画像Pw1,Pw2は、このタイミングT2における観察部位100の蛍光画像Pfを挟んで時系列順に連続する画像情報である。

0129

続いて、画像処理装置230は、図6に示した実施の形態1におけるステップS103の場合と同様に、ステップS302において取得した観察部位100の白色光画像Pw2および蛍光画像Pfの各映像信号の前処理を実行し(ステップS303)、その後、観察部位100の反射光画像の動き検出処理を実行する(ステップS304)。このステップS304において、制御部239は、観察部位100の蛍光画像Pfを挟んで時系列順に連続する観察部位100の白色光画像Pw1,Pw2をもとに処理対象の白色光画像Pw2の動き検出処理、代表ベクトル算出処理およびフィルタリング処理を実行するように動き検出部235を制御する。

0130

かかる制御部239の制御に基づいて、動き検出部235は、前処理部33から取得した処理対象の白色光画像Pw2と記憶部34から読み出した過去の白色光画像Pw1とをもとに、この処理対象の白色光画像Pw2の動き成分を検出する。具体的には、動き検出部235は、m×n画素の画像情報であるこの処理対象の白色光画像Pw2をM×Nの画素ブロックに分割する。動き検出部235は、かかるM×Nの画素ブロックからなる処理対象の白色光画像Pw2を基準画像とし、記憶部34から読み出した過去の白色光画像Pw1を参照画像としたブロックマッチング法等に基づいて、この処理対象の白色光画像Pw2の各画素ブロックの動きベクトルを算出する。動き検出部235は、上述した式(1)に基づいて、この処理対象の白色光画像Pw2の各画素ブロックの動きベクトルの動き成分V(i,j)を算出する。動き検出部235は、かかる白色光画像Pw2の各画素ブロックの動き成分V(i,j)を含む動き成分マップを生成する。なお、かかる白色光画像Pw2の各画素ブロックの動き成分V(i,j)は、上述した観察部位100の蛍光画像PfのタイミングT2から所定の時間以後のタイミングT3における動き成分である。また、動き検出部235は、上述した実施の形態1の場合と同様に、この処理対象の白色光画像Pw2の画素毎に注目画素と周辺画素との輝度比較処理を行い、この輝度比較処理の結果に基づいて、上述したフィルタリング処理を適宜行う。

0131

また、動き検出部235は、かかる処理対象の白色光画像Pw2と過去の白色光画像Pw1との間の動きベクトルを画素毎または画素ブロック毎に検出し、この検出した各動きベクトルを代表する代表ベクトルVrを算出する。動き検出部235は、上述したフィルタリング処理後の白色光画像Pw2の動き成分マップおよび代表ベクトルVrを動き補償部236に送信する。

0132

つぎに、画像処理装置230は、観察部位100の反射光画像の動き補償処理を実行する(ステップS305)。このステップS305において、制御部239は、動き検出部235が検出した処理対象の白色光画像Pw2の動き成分を処理対象の蛍光画像Pfと同じ撮像タイミングにおける動き成分に補償するように動き補償部236を制御する。

0133

かかる制御部239の制御に基づいて、動き補償部236は、処理対象の白色光画像Pw2、すなわちタイミングT3における観察部位100の白色光画像Pw2の動き成分を観察部位100の蛍光画像Pfと同じタイミングT2における動き成分に補償する。

0134

具体的には、動き補償部236は、動き検出部235から処理対象の白色光画像Pw2の動き成分マップおよび代表ベクトルVrを取得する。動き補償部236は、この取得した代表ベクトルVrと観察部位100の白色光画像Pw1,Pw2および蛍光画像Pfの各時間間隔△T1,△T2とをもとに、動き補償ベクトルVfを算出する。ここで、この時間間隔△T1は、処理対象の蛍光画像PfのタイミングT2と過去の白色光画像Pw1のタイミングT1との時間差であり、この時間間隔△T2は、処理対象の白色光画像Pw2のタイミングT3と処理対象の蛍光画像PfのタイミングT2との時間差である(図15を参照)。動き補償部236は、次式(5)に基づいて、このタイミングT3における白色光画像Pw2の各動きベクトルとタイミングT2における白色光画像Pw2の各動きベクトルとの差を代表するベクトル情報である動き補償ベクトルVfを算出する。

0135

0136

動き補償部236は、かかるタイミングT3における白色光画像Pw2の動き成分マップと動き補償ベクトルVfとをもとに、この動き成分マップ内の各動き成分を観察部位100の蛍光画像PfのタイミングT2における動き成分に補償する。この場合、動き補償部236は、かかるタイミングT3における動き成分マップ内の各画素ブロックの動きベクトルから動き補償ベクトルVfを各々減算し、この減算処理後の各画素ブロックの動きベクトルの動き成分を動き補償処理後の動き成分V(i,j)として算出する。なお、かかる動き補償処理後の動き成分V(i,j)は、観察部位100の蛍光画像PfのタイミングT2における処理対象の白色光画像Pw2の動き成分であり、上述した式(1)と同様に算出される。動き補償部236は、かかる動き補償処理後の動き成分V(i,j)を画素ブロック単位の動き成分として含む動き成分マップを生成し、この生成した動き成分マップを動き補償処理後の動き成分マップとして補正処理部36に送信する。

0137

つぎに、画像処理装置230は、観察部位100の反射光画像の検出動き成分に基づく補正処理を行う(ステップS306)。このステップS306において、制御部239は、動き補償部236による動き補償処理後の動き成分V(i,j)を加味して処理対象の白色光画像の輝度値を補正処理するように補正処理部36を制御する。

0138

かかる制御部239の制御に基づいて、補正処理部36は、前処理部33から取得した処理対象の白色光画像Pw2の各画素の輝度値を補正する。この場合、補正処理部36は、上述した動き検出部35から動き成分マップを取得する代わりに、動き補償部236から動き補償処理後の動き成分マップを取得し、この動き補償処理後の動き成分マップと前処理部33から取得した処理対象の白色光画像Pw2とを用いて図7に示したステップS201〜S205の処理手順を実行する。この結果、補正処理部36は、この処理対象の白色光画像Pw2の輝度値に動き補償処理後の動き成分Vd(x,y)を反映した補正輝度値Wd(x,y)を画素毎に算出し、この算出した各画素の補正輝度値Wd(x,y)を有する規格化用画像Prを生成する(図15参照)。補正処理部36は、かかる規格化用画像Prの各画素の補正輝度値Wd(x,y)を規格化処理部37に送信する。

0139

ここで、この動き補償処理後の動き成分Vd(x,y)は、上述した動き補償部236による動き補償処理後の動き成分マップ内の画素ブロックの動き成分V(i,j)を画素単位に分割したものであり、この処理対象の白色光画像Pw2に設定された2軸直交座標系の画素座標(x,y)における動き成分である。かかる動き補償処理後の動き成分Vd(x,y)は、観察部位100の蛍光画像Pfと同じタイミングT2における処理対象の白色光画像Pw2の各画素の動き成分であるとともに、上述した実施の形態1の場合と同様に、被写体である観察部位100と反射光撮像部26との撮像距離の遠近に応じて変化する値である。かかる動き補償処理後の動き成分Vd(x,y)を反映した補正輝度値Wd(x,y)を画素毎に含む規格化用画像Prは、タイミングT2における観察部位100の蛍光画像Pfと被写体の位置が略一致するとともに、正反射光画素の有無によらず、被写体である観察部位100と反射光撮像部26との撮像距離を正確に反映した輝度分布を有する。

0140

その後、画像処理装置230は、図6に示したステップS106〜S108と同様に、観察部位100の蛍光画像Pfを規格化処理し(ステップS307)、このステップS307による観察部位100の規格化蛍光画像の後処理を行い(ステップS308)、この後処理後の観察部位100の規格化蛍光画像の出力処理を行う(ステップS309)。次いで、画像処理装置230は、図6に示したステップS109と同様に、所定のオフ操作等の処理終了操作が行われた場合(ステップS310,Yes)、本処理を終了する。一方、画像処理装置230は、かかる処理終了操作が行われていない場合(ステップS310,No)、上述したステップS302に戻り、このステップS302以降の処理手順を繰り返す。この場合、制御部239は、上述したS302〜S310の処理手順を行って、画像処理装置230の各構成部を適宜制御する。

0141

以上、説明したように、本発明の実施の形態2では、観察部位の白色光画像と蛍光画像とを所定の時間間隔で交互に取得し、この蛍光画像を挟んで時系列順に順次取得した2フレームの白色光画像をもとに、これら2フレームの白色光画像のうちの一つである処理対象の白色光画像の動き成分を検出し、この検出した動き成分をこの蛍光画像の撮像タイミングにおける動き成分に補償し、この動き補償処理後の動き成分を加味して処理対象の白色光画像の輝度値を補正処理するようにし、その他を実施の形態1と同様に構成した。このため、上述した実施の形態1の場合と同様の作用効果を享受するとともに、観察部位を照明する白色光と観察部位から蛍光を発生させる励起光とを異なるタイミングに交互に照射でき、これによって、この白色光の波長帯域と蛍光の波長帯域とを分離する必要がなく、この白色光の波長帯域内外によらず、所望の波長帯域の蛍光を発生させる励起光を照射することができる。この結果、蛍光観察に用いる蛍光および励起光の波長帯域を選択する際の自由度が高まって、観察部位の蛍光観察を容易に行うことができる。

0142

なお、上述した実施の形態1,2では、補正輝度算出部36dは、動き成分マップまたは動き補償処理後の動き成分マップに含まれる各画素の動き成分を加味して処理対象の反射光画像(例えば観察部位100の白色光画像)の補正輝度値を算出していたが、さらに、この処理対象の反射光画像に正反射光を受光した画素、すなわち正反射光画素が含まれるか否かを判断し、正反射光画素が含まれる場合、正反射光画素が含まれない場合に比して正反射光画素に対応する補正輝度値を大きくしてもよい。すなわち、補正輝度算出部36dは、正反射光画素と正反射光画素以外の画素との間で補正輝度値の係数重み付けを変化させ、正反射光画素以外の画素に比して正反射光画素の補正輝度値の重み付けを大きくしてもよい。

0143

また、補正輝度算出部36dは、処理対象の反射光画像に正反射光画素が含まれるか否かを判断し、正反射光画素が含まれる場合、この正反射光画素の輝度値を所定の輝度値に置換するクリップ処理を行ってもよい。具体的には、補正輝度算出部36dは、処理対象の反射光画像の各画素の輝度値と予め設定された閾値とを比較し、この閾値に比して大きい輝度値を有する画素を正反射光画素と判定する。補正輝度算出部36dは、このように判定した正反射光画素の輝度値を、予め設定した輝度値に置換する。これによって、処理対象の反射光画像における正反射光画素と正反射光画素以外の画素との輝度差を軽減でき、この結果、観察部位からの正反射光の影響を受けることなく蛍光画像の各輝度値を高精度に補正することができる。

0144

さらに、補正輝度算出部36dは、上述した式(4)に示すように、この処理対象の白色光画像の輝度値W(x,y)と動き成分Vd(x,y)との加算処理を行って補正輝度値Wd(x,y)を算出していたが、これに限らず、この処理対象の白色光画像の輝度値W(x,y)と動き成分Vd(x,y)との乗算処理を行って補正輝度値Wd(x,y)を算出しもよい。

0145

また、上述した実施の形態1,2では、補正輝度算出部36dは、動き成分マップに含まれるM×Nの画素ブロックを元の画素単位、すなわちm×n画素に分割して各画素の動き成分Vd(x,y)を算出していたが、これに限らず、バイリニア補間またはバイキュービック補間を用いた公知の拡大処理によって各画素の動き成分Vd(x,y)を算出してもよい。

0146

さらに、上述した実施の形態1,2では、規格化処理部37は、上述した式(2)に基づいて規格化蛍光画像の輝度値Q(x,y)を算出していたが、この式(2)における定数Kは、画像を取得した際の撮像素子の露光時間またはゲインに依存する定数であってもよいし、入力装置40によって予め入力されるユーザによる設定値であってもよい。また、この式(2)において、補正輝度値Wd(x,y)が零値の場合、規格化蛍光画像の輝度値Q(x,y)を零値に規定していたが、これに限らず、補正輝度値Wd(x,y)が零値の場合、規格化蛍光画像の輝度値Q(x,y)を、予め設定した輝度値にしてもよいし、エラー警告を発生させてもよい。

0147

また、上述した実施の形態1,2では、上述した動き成分マップ内の画素ブロックとして16×16画素の画素ブロックを例示していたが、これに限らず、上述した動き成分マップ内の各画素ブロックは、3×3画素または4×4画素等の正方形画素ブロックであってもよいし、7×5画素または4×6画素等の長方形画素ブロックであってもよい。

0148

さらに、上述した実施の形態1,2では、照明光の一例として白色光を観察部位に照射していたが、これに限らず、観察部位に照射する照明光は、赤色または緑色等の所望の色成分の光であってもよい。

0149

また、上述した実施の形態1,2では、画像出力装置50に観察部位の規格化蛍光画像を表示していたが、これに限らず、画像出力装置50は、観察部位の白色光画像および規格化蛍光画像を同時に表示してもよい。また、上述した画像出力装置50は、観察部位の蛍光画像等を画面表示するものに限らず、紙等の印刷媒体に観察部位の白色光画像および規格化蛍光画像を印刷するプリンタ等であってもよいし、ハードディスク等の内蔵型の記憶メディアまたはメモリカード等の可搬型の記憶メディアを備え、かかる記憶メディアに観察部位の白色光画像および規格化蛍光画像を記憶する記憶装置であってもよい。

0150

さらに、上述した実施の形態1,2では、画像処理装置と接続された挿入部に撮像部を内蔵した内視鏡装置を本発明にかかる撮像装置の一例として例示したが、これに限らず、本発明にかかる画像処理装置と撮像部とが別体の状態に構成された撮像装置であってもよい。この場合、撮像部側においては、別体の撮像部によって撮像された映像信号を未処理の生データの形式でメモリカード等の記憶メディアに記録するとともに、撮像条件または撮像時に得られたデータ等の付随情報ヘッダ情報として記憶メディアに記録する。本発明にかかる画像処理装置は、この記憶メディアから映像信号などの記録情報を読み出し、この読み出した映像信号などに対して上述した各種処理を行ってもよい。なお、かかる撮像部による映像信号などの情報は、記憶メディアを介して画像処理装置に取得されてもよいし、有線または無線通信回線を介して画像処理装置に取得されてもよい。

0151

また、上述した実施の形態1では、励起光の波長帯域を680〜740nmに規定していたが、これに限らず、観察部位に照射される白色光等の照明光の波長帯域以外の蛍光を発生させる励起光であれば、この励起光の波長帯域は所望のものであってもよい。この場合、かかる励起光によって発生する蛍光の波長帯域は、白色光等の照明光の波長帯域以上また以下のいずれであってもよい。

0152

さらに、上述した実施の形態2では、励起光の波長帯域を490〜550nmに規定していたが、これに限らず、この実施の形態2における励起光の波長帯域は、観察部位に照射される白色光等の照明光の波長帯域内外のいずれであってもよい。この場合、かかる励起光によって発生する蛍光の波長帯域は、白色光等の照明光の波長帯域内外のいずれであってもよい。

0153

また、上述した実施の形態1,2では、生体組織等の被検体を観察するための内視鏡装置を本発明にかかる画像処理装置を備える撮像装置の一例として説明したが、これに限らず、本発明にかかる撮像装置は、医療分野以外に用いる内視鏡装置または顕微鏡装置であってもよいし、内視鏡装置または顕微鏡装置以外の撮像装置、例えば、デジタルカメラまたはデジタルビデオカメラであってもよいし、撮像機能付の携帯電話等の携帯型情報端末であってもよい。また、本発明にかかる画像処理装置は、上述した医療用の内視鏡装置に具備されるものに限らず、医療分野以外に用いる内視鏡装置または顕微鏡装置、デジタルカメラまたはデジタルビデオカメラ等の内視鏡装置または顕微鏡装置以外の撮像装置、あるいは撮像機能付の携帯電話等の携帯型情報端末のいずれかに具備されるものであってもよい。

0154

さらに、上述した実施の形態1,2では、処理プログラムを実行する制御部の動作に基づいたソフトウェアによる画像処理装置の処理手順を説明したが、これに限らず、本発明にかかる画像処理装置は、ハードウェアによる処理手順を実行してもよい。

図面の簡単な説明

0155

本発明の実施の形態1にかかる内視鏡装置の一構成例を模式的に示すブロック図である。
本発明の実施の形態1における光源装置のフィルタの一透過率特性例を示す模式図である。
カラーフィルタ群の透過率特性の一例を示す模式図である。
実施の形態1におけるバリアフィルタの透過率特性の一例を示す模式図である。
本発明の実施の形態1にかかる画像処理装置の補正処理部の一構成例を模式的に示すブロック図である。
本発明の実施の形態1にかかる画像処理装置の処理手順を例示するフローチャートである。
反射光画像の検出動き成分に基づく補正処理の処理手順を例示するフローチャートである。
処理対象の白色光画像の動き成分マップの一具体例を示す模式図である。
動き成分を加味して白色光画像を補正処理する状態を示す模式図である。
本発明の実施の形態2にかかる内視鏡装置の一構成例を模式的に示すブロック図である。
回転フィルタの一構成例を示す模式図である。
回転フィルタの透過率特性の一例を示す模式図である。
実施の形態2におけるバリアフィルタの透過率特性の一例を示す模式図である。
本発明の実施の形態2にかかる画像処理装置の処理手順を例示するフローチャートである。
実施の形態2にかかる画像処理装置の動作を具体的に説明するための模式図である。

0156

1,2内視鏡装置
10,210光源装置
11白色光源
12コリメートレンズ
13集光レンズ
14フィルタ
20 挿入部
21ライトガイドファイバ
22レンズ
23対物レンズ
24ダイクロイックミラー
25カラーフィルタ群
26反射光撮像部
27,227バリアフィルタ
28,228蛍光撮像部
30,230画像処理装置
31反射光画像取得部
32蛍光画像取得部
33 前処理部
34 記憶部
34a 第1メモリ
34b 第2メモリ
35,235動き検出部
36補正処理部
36a動き量算出部
36b置換処理部
36c動き成分記憶部
36d補正輝度算出部
37規格化処理部
38 後処理部
39,239 制御部
40入力装置
50画像出力装置
100観察部位
101病変部
214回転フィルタ
214a白色光フィルタ
214b励起光フィルタ
215モータ
216フィルタ制御部
224ハーフミラー
236動き補償部
D(1,1)〜D(M,N)画素ブロック
MP動き成分マップ
Pf 蛍光画像
Pr規格化用画像
Pw,Pw1,Pw2 白色光画像

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ