図面 (/)

技術 画像処理装置、方法及びプログラム

出願人 富士フイルム株式会社
発明者 寺村友一
出願日 2016年4月19日 (4年7ヶ月経過) 出願番号 2017-515492
公開日 2018年2月15日 (2年9ヶ月経過) 公開番号 WO2016-175084
状態 特許登録済
技術分野 内視鏡 イメージ分析 孔内観察装置 画像処理
主要キーワード 構造物領域 信号入力経路 色割り当て 屈曲箇所 異物領域 マルチモニタ マイクロフィルタ 移動平均法
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2018年2月15日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題・解決手段

構造物の形状的な特徴に応じた色の割り当ての自由度が高い内視鏡画像画像処理装置、方法及びプログラムを提供する。生体内観察対象撮像して得た画像信号から1つ以上の構造物領域を抽出した構造物領域画像(84、86)を生成する。構造物領域画像に基づいて構造物領域の形状的な特徴量を算出し、構造物領域に特徴量に応じた色を割り当てる。観察対象がカラー描出された原画像(82)に対して、色及びコントラストのうち少なくとも1つを低減する加工を施した低減原画像(83)を生成し、低減原画像(83)と、色割り当てを行った構造物領域画像(84、86)とを重畳して合成画像(92。93)を生成する。

概要

背景

医療分野において、生体内観察対象撮影する内視鏡システムを利用した検査診断が広く行われている。内視鏡システムで撮影された内視鏡画像に基づく診断を支援するために、波長帯域が狭い狭帯域などの特殊光によって観察対象を撮影して血管が強調された特殊光画像を取得する特殊光観察の技術や、白色光で撮影された通常画像に対して画像処理を施して観察対象の血管などの構造物が強調された観察画像を生成する画像処理技術も開発されている(特許文献1)。

特許文献1に記載の画像処理装置は、粘膜表面を撮影した通常画像において、血管などの構造物が描出された構造物領域を複数抽出し、抽出した複数の構造物領域を、線や円といった基本パターン分類して、分類した基本パターン毎に異なる色を割り当てた疑似カラー画像を生成している。基本パターン毎に異なる色を割り当てることで、基本パターンが分布する様子を視覚的に把握できるようにしている(段落0028)。

粘膜における血管などの構造物の形状的な特徴は、診断を下す際の重要な要素となるため、このような構造物の形状的な特徴の把握を容易にする技術は、非常に有用である。

概要

構造物の形状的な特徴に応じた色の割り当ての自由度が高い内視鏡画像の画像処理装置、方法及びプログラムを提供する。生体内の観察対象を撮像して得た画像信号から1つ以上の構造物領域を抽出した構造物領域画像(84、86)を生成する。構造物領域画像に基づいて構造物領域の形状的な特徴量を算出し、構造物領域に特徴量に応じた色を割り当てる。観察対象がカラーで描出された原画像(82)に対して、色及びコントラストのうち少なくとも1つを低減する加工を施した低減原画像(83)を生成し、低減原画像(83)と、色割り当てを行った構造物領域画像(84、86)とを重畳して合成画像(92。93)を生成する。

目的

本発明は、構造物の形状的な特徴に応じた色の割り当ての自由度が高い内視鏡画像の画像処理装置、方法及びプログラムを提供する

効果

実績

技術文献被引用数
0件
牽制数
1件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

生体内観察対象撮像して得られた画像信号を取得する画像信号取得部と、画像信号に基づいて前記観察対象がカラー描出された原画像を生成する原画像生成部と、前記原画像に対して、色及びコントラストのうち少なくとも1つを低減する加工を施すことにより低減原画像を生成する低減原画像生成部と、取得した前記画像信号から1つ以上の構造物領域を抽出した構造物領域画像を生成する構造物領域画像生成部と、前記構造物領域画像に基づいて前記構造物領域の形状的な特徴量を算出する特徴量算出部と、前記構造物領域に前記特徴量に応じた色を割り当てる色割り当て部と、前記低減原画像と、前記色割り当てを行った前記構造物領域画像を重畳して合成画像を生成する画像合成部とを、備えている画像処理装置

請求項2

前記色割り当て部は、前記構造物領域に割り当てる色を、特徴量に応じて段階的又は連続的に変化させる請求項1に記載の画像処理装置。

請求項3

前記構造物領域画像生成部は、第1構造物領域を表す第1構造物領域画像と、第2構造物領域を表す第2構造物領域画像とを生成する請求項1又は2に記載の画像処理装置。

請求項4

前記色割り当て部は、前記第1構造物領域画像と前記第2構造物領域画像のそれぞれに対して異なる色を割り当てる請求項3に記載の画像処理装置。

請求項5

前記画像合成部は、前記合成画像として、前記第1構造物領域画像と前記低減原画像を合成した第1合成画像と、前記第2構造物領域画像と前記低減原画像を合成した第2合成画像とを生成する請求項3又は4に記載の画像処理装置。

請求項6

前記画像合成部は、前記合成画像として、前記第1構造物領域画像、前記第2構造物領域画像及び前記低減原画像の3つの画像を合成した第3合成画像を生成する請求項3又は4に記載の画像処理装置。

請求項7

前記画像合成部は、前記第1合成画像と前記第2合成画像のそれぞれに対して共通の前記低減原画像を使用する請求項5に記載の画像処理装置。

請求項8

前記低減原画像生成部は、第1低減原画像及び第2低減原画像を生成し、前記画像合成部は、前記第1合成画像には前記第1低減原画像を使用し、前記第2合成画像には前記第2低減原画像を使用する請求項5に記載の画像処理装置。

請求項9

前記色割り当て部は、前記特徴量の複数の項目を、3次元の色空間上における3軸のいずれかに対応させ、かつ、前記特徴量の各項目の具体的な値に応じて前記色空間上の位置を判定して、前記色を決定する請求項3〜8のいずれか1項に記載の画像処理装置。

請求項10

前記色割り当て部は、前記特徴量に応じて前記色空間上の位置を判定する際に、ガンマ変換を行う請求項9に記載の画像処理装置。

請求項11

前記合成画像を表示画面に表示する制御を行う表示制御部を備えている請求項1〜10のいずれか1項に記載の画像処理装置。

請求項12

前記表示画面において、前記原画像と、前記合成画像とを、並列的または選択的に表示可能である請求項11に記載の画像処理装置。

請求項13

前記表示制御部は、前記表示画面をマルチモニタ出力可能である請求項11又は12に記載の画像処理装置。

請求項14

生体内の観察対象を撮像して得られた画像信号を取得する画像信号取得ステップと、取得した前記画像信号から1つ以上の構造物領域を抽出した構造物領域画像を生成する構造物領域画像生成ステップと、前記構造物領域画像に基づいて前記構造物領域の形状的な特徴量を算出する特徴量算出ステップと、前記構造物領域に前記特徴量に応じた色を割り当てる色割り当てステップと、前記画像信号に基づいて前記観察対象がカラーで描出された原画像に対して、色及びコントラストのうち少なくとも1つを低減する加工を施した低減原画像と、前記色割り当てを行った前記構造物領域画像とを重畳して合成画像を生成する画像合成ステップとを、備えている画像処理方法

請求項15

コンピュータを画像処理装置として機能させるための画像処理プログラムであって、生体内の観察対象を撮像して得られた画像信号を取得する画像信号取得ステップと、取得した前記画像信号から1つ以上の構造物領域を抽出した構造物領域画像を生成する構造物領域画像生成ステップと、前記構造物領域画像に基づいて前記構造物領域の形状的な特徴量を算出する特徴量算出ステップと、前記構造物領域に前記特徴量に応じた色を割り当てる色割り当てステップと、前記画像信号に基づいて前記観察対象がカラーで描出された原画像に対して、色及びコントラストのうち少なくとも1つを低減する加工を施した低減原画像と、前記色割り当てを行った前記構造物領域画像とを重畳して合成画像を生成する画像合成ステップとを、備えている画像処理プログラム。

技術分野

0001

本発明は、内視鏡システムで得た画像信号を処理する画像処理装置、方法、及びプログラムに関する。

背景技術

0002

医療分野において、生体内観察対象撮影する内視鏡システムを利用した検査診断が広く行われている。内視鏡システムで撮影された内視鏡画像に基づく診断を支援するために、波長帯域が狭い狭帯域などの特殊光によって観察対象を撮影して血管が強調された特殊光画像を取得する特殊光観察の技術や、白色光で撮影された通常画像に対して画像処理を施して観察対象の血管などの構造物が強調された観察画像を生成する画像処理技術も開発されている(特許文献1)。

0003

特許文献1に記載の画像処理装置は、粘膜表面を撮影した通常画像において、血管などの構造物が描出された構造物領域を複数抽出し、抽出した複数の構造物領域を、線や円といった基本パターン分類して、分類した基本パターン毎に異なる色を割り当てた疑似カラー画像を生成している。基本パターン毎に異なる色を割り当てることで、基本パターンが分布する様子を視覚的に把握できるようにしている(段落0028)。

0004

粘膜における血管などの構造物の形状的な特徴は、診断を下す際の重要な要素となるため、このような構造物の形状的な特徴の把握を容易にする技術は、非常に有用である。

先行技術

0005

特許5326064号公報

発明が解決しようとする課題

0006

しかしながら、白色光で撮影された通常画像は自然色を表すカラー画像フルカラー画像とも呼ばれる)であるため、これに色を割り当てて疑似カラー画像を生成する方法は、使用できる色に制約があるため、割り当て可能な色の数が少なく、色の割り当ての自由度が低いという問題があった。

0007

消化管の粘膜には、血管や腺管などの複数の構造物がある上、大腸の腺管構造(ピットパターンなどと呼ばれる)だけを考えても、腫瘍の状態に応じて腺管構造は形状的に異なる特徴を示すため、複数種類に分類することができる。こうした形状的な特徴は、白色光で撮影した通常画像では認識しにくい場合がある。そのため、形状的な特徴に応じて異なる色を割り当てて、特徴を視覚的に識別できるようにすることが好ましいが、色の割り当ての自由度が低いと、割り当てる色が不足するため、効果的な色分けができない。

0008

本発明は、構造物の形状的な特徴に応じた色の割り当ての自由度が高い内視鏡画像の画像処理装置、方法及びプログラムを提供することを目的とする。

課題を解決するための手段

0009

本発明の画像処理装置は、画像信号取得部、原画像生成部、低減原画像生成部、構造物領域画像生成部、特徴量算出部、色割り当て部、及び画像合成部を備えている。画像信号取得部は、生体内の観察対象を撮像して得られた画像信号を取得する。原画像生成部は、画像信号に基づいて観察対象がカラーで描出された原画像を生成する。低減原画像生成部は、原画像に対して、色及びコントラストのうち少なくとも1つを低減する加工を施すことにより低減原画像を生成する。構造物領域画像生成部は、取得した画像信号から1つ以上の構造物領域を抽出した構造物領域画像を生成する。特徴量算出部は、構造物領域画像に基づいて構造物領域の形状的な特徴量を算出する。色割り当て部は、構造物領域に特徴量に応じた色を割り当てる。画像合成部は、低減原画像と、色割り当てを行った構造物領域画像を重畳して合成画像を生成する。

0010

色割り当て部は、構造物領域に割り当てる色を、特徴量に応じて段階的又は連続的に変化させることが好ましい。

0011

構造物領域画像生成部は、第1構造物領域を表す第1構造物領域画像と、第2構造物領域を表す第2構造物領域画像とを生成することが好ましい。

0012

色割り当て部は、第1構造物領域画像と第2構造物領域画像のそれぞれに対して異なる色を割り当てることが好ましい。

0013

画像合成部は、合成画像として、第1構造物領域画像と低減原画像を合成した第1合成画像と、第2構造物領域画像と低減原画像を合成した第2合成画像とを生成することが好ましい。

0014

画像合成部は、合成画像として、第1構造物領域画像、第2構造物領域画像及び低減原画像の3つの画像を合成した第3合成画像を生成することが好ましい。

0015

画像合成部は、第1合成画像と第2合成画像のそれぞれに対して共通の低減原画像を使用することが好ましい。

0016

低減原画像生成部は、異なる処理を施した第1低減原画像及び第2低減原画像を生成し、画像合成部は、第1合成画像には第1低減原画像を使用し、第2合成画像には第2低減原画像を使用することが好ましい。

0017

色割り当て部は、特徴量の複数の項目を、3次元の色空間上における3軸のいずれかに対応させ、かつ、特徴量の各項目の具体的な値に応じて色空間上の位置を判定して、色を決定することが好ましい。

0018

色割り当て部は、特徴量に応じて色空間上の位置を判定する際に、ガンマ変換を行うことが好ましい。

0019

合成画像を表示画面に表示する制御を行う表示制御部を備えていることが好ましい。

0020

表示画面において、原画像と、合成画像とを、並列的または選択的に表示可能であることが好ましい。

0021

表示制御部は、表示画面をマルチモニタ出力可能であることが好ましい。

0022

本発明の画像処理方法は、画像信号取得ステップ、構造物領域画像生成ステップ、特徴量算出ステップ、色割り当てステップ、及び画像合成ステップを備える。画像信号取得ステップは、生体内の観察対象を撮像して得られた画像信号を取得する。構造物領域画像生成ステップは、取得した画像信号から1つ以上の構造物領域を抽出した構造物領域画像を生成する。特徴量算出ステップは、構造物領域画像に基づいて構造物領域の形状的な特徴量を算出する。色割り当てステップは、構造物領域に特徴量に応じた色を割り当てる。画像合成ステップは、画像信号に基づいて観察対象がカラーで描出された原画像に対して、色及びコントラストのうち少なくとも1つを低減する加工を施した低減原画像と、色割り当てを行った構造物領域画像とを重畳して合成画像を生成する。

0023

本発明のコンピュータを画像処理装置として機能させるための画像処理プログラムは、画像信号取得ステップ、構造物領域画像生成ステップ、特徴量算出ステップ、色割り当てステップ、及び画像合成ステップを備える。画像信号取得ステップは、生体内の観察対象を撮像して得られた画像信号を取得する。構造物領域画像生成ステップは、取得した画像信号から1つ以上の構造物領域を抽出した構造物領域画像を生成する。特徴量算出ステップは、構造物領域画像に基づいて構造物領域の形状的な特徴量を算出する。色割り当てステップは、構造物領域に特徴量に応じた色を割り当てる。画像合成ステップは、画像信号に基づいて観察対象がカラーで描出された原画像に対して、色及びコントラストのうち少なくとも1つを低減する加工を施した低減原画像と、色割り当てを行った構造物領域画像とを重畳して合成画像を生成する。

発明の効果

0024

本発明によれば、構造物の形状的な特徴に応じた色の割り当ての自由度が高い内視鏡画像の画像処理装置、方法及びプログラムを提供することができる。

図面の簡単な説明

0025

内視鏡システムの外観図である。
内視鏡システムの機能を示すブロック図である。
紫色光V、青色光B、緑色光G、及び赤色光Rの発光スペクトルを示すグラフである。
特殊画像処理部の機能を示すブロック図である。
特殊画像処理の説明図である。
血管領域の特徴量を算出する処理の説明図である。
図6とは別の血管領域の特徴量を算出する処理の説明図である。
腺管領域の特徴量を算出する処理の説明図である。
管用色割り当てテーブルの説明図である。
腺管用色割り当てテーブルの説明図である。
血管領域に対する色割り当て処理の説明図である。
腺管領域に対する色割り当て処理の説明図である。
特徴量の変化に対して連続的に色を変化させる例のグラフである。
特徴量の変化に対して段階的に色を変化させる例のグラフである。
血管領域を強調した合成画像の表示画面の説明図である。
腺管領域を強調した合成画像の表示画面の説明図である。
特殊画像処理手順を示すフローチャートである。
第2実施形態の特殊画像処理の説明図である。
第2実施形態の合成画像の表示画面の説明図である。
第3実施形態の特殊画像処理の説明図である。
ガンマ変換を使用する色割り当て処理の説明図である。
色分けしたマークを使用する表示形態の説明図である。
図22とは別形状のマークを使用する表示形態の説明図である。
マルチモニタを使用する形態の説明図である。

実施例

0026

「第1実施形態」
図1に示すように、内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18と、コンソール19とを有する。内視鏡12は光源装置14と光学的に接続されるとともに、プロセッサ装置16と電気的に接続される。内視鏡12は、生体内に挿入される挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられる湾曲部12c及び先端部12dを有している。操作部12bのアングルノブ12eを操作することにより、湾曲部12cは湾曲動作する。この湾曲動作に伴って、先端部12dが所望の方向に向けられる。

0027

また、操作部12bには、アングルノブ12eの他、モード切替SW(Switch)13a、ズーム操作部13bが設けられている。モード切替SW13aは、通常観察モードと、特殊観察モードの2種類のモード間の切り替え操作に用いられる。通常観察モードは、通常画像をモニタ18上に表示するモードである。特殊観察モードは、通常画像に加えて特殊画像をモニタ18上に表示するモードである。なお、観察モードとして、2種類以上のモードを用意してもよい。また、特殊観察モードは、通常画像を表示せずに特殊画像のみを表示してもよい。

0028

通常画像は、照明光として白色光が用いられて撮影されるカラー画像である。白色光で撮影されたカラー画像は、被写体が自然色で描出され、一般にフルカラー画像とも呼ばれる。ここで、白色光で撮影されるとは、後述するように、白色光を構成する青色成分緑色成分赤色成分の少なくとも3色のそれぞれの波長帯域の光を発光する複数の光源を用い、これらを組み合わせて白色光相当の照明光で撮影される場合を含む。また、白色光を構成する青色成分、緑色成分、赤色成分の波長帯域をすべて含む広帯域光で撮影される場合を含むことはもちろんである。

0029

特殊画像は、後述するように、粘膜内の血管や粘膜表面の腺管などが描出された領域である構造物領域が強調された画像である。ズーム操作部13bはズームレンズ47(図2参照)をテレ位置ワイド位置との間で移動させることによって、モニタ18に表示中の観察対象を拡大又は縮小する。

0030

プロセッサ装置16は、モニタ18及びコンソール19と電気的に接続される。モニタ18は、画像情報等を出力表示する。コンソール19は、機能設定等の入力操作受け付けるUI(User Interface:ユーザーインターフェース)として機能する。なお、プロセッサ装置16には、画像情報等を記録する外付けの記録部(図示省略)を接続してもよい。

0031

図2に示すように、光源装置14は、V−LED(Violet Light Emitting Diode)20a、B−LED(Blue Light Emitting Diode)20b、G−LED(Green Light Emitting Diode)20c、R−LED(Red Light Emitting Diode)20d、これら4色のLED20a〜20dの駆動を制御する光源制御部21、及び4色のLED20a〜20dから発せられる4色の光の光路を結合する光路結合部23を備えている。光路結合部23で結合された光は、挿入部12a内に挿通されたライトガイド(LG(Light Guide))41及び照明レンズ45を介して、生体内に照射される。なお、LEDの代わりに、LD(Laser Diode)を用いてもよい。

0032

図3に示すように、V−LED20aは、中心波長405±10nm、波長範囲380〜420nmの紫色光Vを発生する。B−LED20bは、中心波長460±10nm、波長範囲420〜500nmの青色光Bを発生する。G−LED20cは、波長範囲が480〜600nmに及ぶ緑色光Gを発生する。R−LED20dは、中心波長620〜630nmで、波長範囲が600〜650nmに及ぶ赤色光Rを発生する。

0033

光源制御部21は、通常観察モード及び特殊観察モードのいずれの観察モードにおいても、V−LED20a、B−LED20b、G−LED20c、R−LED20dを点灯する。したがって、紫色光V、青色光B、緑色光G、及び赤色光Rの4色の光が混色した光が、観察対象に照射される。光源制御部21は、紫色光V、青色光B、緑色光G、赤色光R間の光量比がVc:Bc:Gc:Rcとなるように、各LED20a〜20dを制御する。

0034

図2に示すように、ライトガイド(LG)41は、内視鏡12及びユニバーサルコード(内視鏡12と光源装置14及びプロセッサ装置16とを接続するコード)内に内蔵されており、光路結合部23で結合された光を内視鏡12の先端部12dまで伝搬する。

0035

内視鏡12の先端部12dには、照明光学系30aと撮像光学系30bが設けられている。照明光学系30aは照明レンズ45を有しており、この照明レンズ45を介して、ライトガイド41からの光が観察対象に照射される。撮像光学系30bは、対物レンズ46、ズームレンズ47、撮像センサ48を有している。

0036

撮像センサ48は、観察対象を撮像し、撮像により得られた画像信号を出力する。具体的には、観察対象からの反射光は、対物レンズ46及びズームレンズ47を介して、撮像センサ48に入射する。これにより、撮像センサ48の撮像面に観察対象の反射像結像される。撮像センサ48は、結像した反射像に対応する画像信号を出力する。

0037

撮像センサ48は、例えば、CCD(Charge CoupLED Device)撮像センサやCMOS(Complementary Metal-Oxide Semiconductor)撮像センサ等である。本発明で用いられる撮像センサ48は、R(赤)、G(緑)及びB(青)の3色のRGB画像信号を得るためのカラーの撮像センサ、即ち、撮像面を構成する複数の画素として、Rフィルタが設けられたR画素、Gフィルタが設けられたG画素、Bフィルタが設けられたB画素を有する、いわゆるRGB撮像センサである。

0038

なお、撮像センサ48としては、RGBのカラーの撮像センサの代わりに、C(シアン)、M(マゼンタ)、Y(イエロー)及びG(緑)の補色フィルタを備えた、いわゆる補色撮像センサであっても良い。補色撮像センサを用いる場合には、CMYGの4色の画像信号が出力されるため、補色−原色色変換によって、CMYGの4色の画像信号をRGBの3色の画像信号に変換する必要がある。また、撮像センサ48はカラーフィルタを設けていないモノクロ撮像センサであっても良い。この場合、光源制御部21は青色光B、緑色光G、赤色光Rを時分割で点灯させて、撮像信号の処理では同時化処理を加える必要がある。

0039

撮像センサ48から出力される画像信号は、CDS・AGC回路50に送信される。CDS・AGC回路50は、アナログ信号である画像信号に相関二重サンプリング(CDS(Correlated Double Sampling))や自動利得制御(AGC(Auto Gain Control))を行う。CDS・AGC回路50を経た画像信号は、A/D変換器(A/D(Analog /Digital)コンバータ)52により、デジタル画像信号に変換される。A/D変換されたデジタル画像信号は、プロセッサ装置16に入力される。

0040

プロセッサ装置16は、受信部53と、DSP(Digital Signal Processor)56と、ノイズ除去部58と、画像処理切替部60と、通常画像処理部62と、特殊画像処理部64と、表示制御部65と、映像信号生成部66とを備えている。受信部53は内視鏡12からのデジタルのRGB画像信号を受信する。R画像信号は撮像センサ48のR画素から出力される信号に対応し、G画像信号は撮像センサ48のG画素から出力される信号に対応し、B画像信号は撮像センサ48のB画素から出力される信号に対応している。

0041

DSP56は、受信した画像信号に対して、欠陥補正処理オフセット処理ゲイン補正処理リニアマトリクス処理ガンマ変換処理デモザイク処理等の各種信号処理を施す。欠陥補正処理では、撮像センサ48の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理が施されたRGB画像信号から暗電流成分が除かれ、正確な零レベルが設定される。ゲイン補正処理では、オフセット処理後のRGB画像信号に特定のゲインを乗じることにより信号レベルが整えられる。ゲイン補正処理後のRGB画像信号には、色再現性を高めるためのリニアマトリクス処理が施される。その後、ガンマ変換処理によって明るさや彩度が整えられる。リニアマトリクス処理後のRGB画像信号には、デモザイク処理(等方化処理、画素補間処理とも言う)が施され、各画素で不足した色の信号が補間によって生成される。このデモザイク処理によって、全画素がRGB各色の信号を有するようになる。

0042

ノイズ除去部58は、DSP56でガンマ補正等が施されたRGB画像信号に対してノイズ除去処理(例えば移動平均法メディアンフィルタ法等)を施すことによって、RGB画像信号からノイズを除去する。ノイズが除去されたRGB画像信号は、画像処理切替部60に送信される。ここで、本発明の「画像信号取得部」は、受信部53と、DSP56と、ノイズ除去部58を含む構成に対応する。

0043

画像処理切替部60は、モード切替SW13aにより、通常観察モードにセットされている場合には、RGB画像信号を通常画像処理部62に送信し、特殊観察モードにセットされている場合には、RGB画像信号を特殊画像処理部64に送信する。

0044

通常画像処理部62は、RGB画像信号に対して、色変換処理色彩強調処理、構造強調処理を行う。色変換処理では、デジタルのRGB画像信号に対しては、3×3のマトリックス処理階調変換処理、3次元LUT処理などを行い、色変換処理済みのRGB画像信号に変換する。次に、色変換処理済みのRGB画像信号に対して、各種色彩強調処理を施す。この色彩強調処理済みのRGB画像信号に対して、空間周波数強調等の構造強調処理を行う。構造強調処理が施されたRGB画像信号は、表示用の通常画像のRGB画像信号として、通常画像処理部62から映像信号生成部66に入力される。

0045

特殊画像処理部64は、RGB画像信号に基づいて、表示用の特殊画像を生成する。この特殊画像処理部64の詳細については後述する。この特殊画像処理部64で生成された表示用の特殊画像のRGB画像信号は、映像信号生成部66に入力される。なお、特殊画像処理部64においても、通常画像処理部62と同様に、色変換処理、色彩強調処理、構造強調処理を行うようにしてもよい。

0046

表示制御部65は、モニタ18の表示を制御する。モニタ18には、通常画像や特殊画像を表示する表示画面が表示される。表示制御部65は、表示画面のテンプレートデータに通常画像や特殊画像を挿入して、モニタ18に表示される表示画面を生成する。表示制御部65は、映像信号生成部66を有している。映像信号生成部66は、生成された表示画面を、モニタ18に表示するための映像信号に変換する。この映像信号に基づいて、モニタ18は、通常画像、特殊画像の表示画面を表示する。

0047

図4に示すように、特殊画像処理部64は、原画像生成部68、低減原画像生成部70、構造物領域画像生成部72、特徴量算出部74、色割り当て部76、画像合成部78を備えている。特殊画像処理部64は、RGBの画像信号に基づいて特殊画像処理を行って、特殊画像である合成画像を出力する。図5に示すように、原画像生成部68は、RGB画像信号に基づいて、カラーの原画像を生成する。原画像82は、通常画像と同じカラー画像であり、特殊画像処理部64において、通常画像処理部62と同様の処理手順で生成される。

0048

低減原画像生成部70は、原画像82に対して、色及びコントラストのうち少なくとも1つを低減する加工を施すことにより、原画像82よりも色及びコントラストが低減された低減原画像83を生成する。本例において、低減原画像83は、カラーの原画像82をモノクロ化したモノクロ画像であり、モノクロ化により原画像82よりも色が低減される。

0049

低減原画像83は、二値化画像ではなく、グレースケール化したグレースケール画像である。原画像82の各画素の階調数は、例えば、256階調である。低減原画像83は、グレースケール化の際に、原画像82の256階調から、64階調〜192階調に変換されて、コントラストが低減される。このように、本例の低減原画像83は、原画像82よりも色及びコントラストが低減される。低減原画像83は、後述する画像合成を行う際のベース画像として使用される。

0050

構造物領域画像生成部72は、画像信号から1つ以上の構造物領域を抽出した構造物領域画像を生成する。構造物領域は、粘膜内の血管や、粘膜表面の腺管といった構造物が描出された領域であり、構造物が血管の場合は血管領域(第1構造物領域に相当)、構造物が腺管の場合には腺管領域(第2構造物領域に相当)となる。具体的には、図5に示すように、構造物領域画像生成部72は、血管領域を抽出する血管領域抽出処理を行って血管領域画像(第1構造物領域画像に相当)84と、腺管領域を抽出した腺管領域画像(第2構造物領域画像に相当)86をそれぞれ生成する。

0051

血管領域画像84を生成するための画像信号としては、例えば、B画像信号が使用される。周知のとおり、血中のヘモグロビンは、赤色光や緑色光と比較して、青色光に対する吸収率が大きい。血管領域のコントラストが大きなB画像信号を用いることで、血管領域を抽出しやすい。血管領域は、B画像信号において輝度が低い(濃度が高い)領域として現れる。血管領域画像84は、B画像信号から、輝度が低い(濃度が高い)領域を抽出して生成した、グレースケールのモノクロ画像である。

0052

また、腺管領域画像86を生成するための画像信号としては、例えば、腺管領域のコントラストが大きなG画像信号が使用される。粘膜表面を構成する上皮細胞は、周期的な襞を有する立体的な構造を持つ。腺管領域は、こうした立体構造を有する領域であり、襞の表面と窪みにおける光の吸収と散乱の差によって表面構造が描出される。緑色光は、他の色光に比べて、立体感の描出に優れており、立体的な表面構造をコントラストよく描出することができる。腺管領域は、G画像信号において、襞の表面は輝度が高い(濃度が低い)領域として現れ、襞の窪みは輝度が低い(濃度が高い)領域として現れる。腺管領域画像86は、G画像信号から、輝度が高い(濃度が低い)領域を抽出して生成した、グレースケールのモノクロ画像である。

0053

また、腺管領域画像86においても、コントラストは低いものの血管領域は描出される。腺管領域画像86においては、血管領域はノイズであるため、腺管領域をより強調するために、腺管領域画像86から血管領域を除去してもよい。除去の方法としては、例えば、血管領域画像84から血管領域の位置を特定して、腺管領域画像86において特定した血管領域の画素を周辺の画素で補間することにより、血管領域を除去する方法がある。

0054

血管領域や腺管領域を抽出する場合には、ブラックハットフィルタ処理トップハットフィルタ処理を利用してもよい。ブラックハットフィルタ処理は、輝度が相対的に高い領域(明るい部分)を除去して、輝度が相対的に低い領域(暗い部分)のみを残す処理であり、血管領域を抽出する場合に利用することができる。また、トップハットフィルタ処理は、輝度が相対的に低い領域(暗い部分)を除去して、輝度が相対的に高い領域(明るい部分)のみを残すトップハットフィルタ処理によって腺管領域を抽出してもよい。

0055

こうした抽出処理によって、図5に示すように、血管領域画像84は、血管領域Vのみが高いコントラストで描出されたモノクロ画像となり、腺管領域画像86は、腺管領域Sのみが高いコントラストで描出されたモノクロ画像となる。

0056

特徴量算出部74は、構造物領域画像に基づいて構造物領域の形状的な特徴量を算出する。本例では、血管領域画像84及び腺管領域画像86のそれぞれの構造物領域画像に基づいて、血管領域V及び腺管領域Sのそれぞれの形状的な特徴量を算出する。

0057

図6及び図7に示すように、特徴量算出部74は、血管領域画像84から1つずつ血管領域Vを抽出して、抽出した血管領域V毎に、形状的な特徴量を算出する。血管領域Vの形状的な特徴量の項目としては、例えば、最大幅Wv、最小半径Rv、長さLvがある。最大幅Wvは、算出対象の血管領域Vにおいて、最大値を示す幅である。最小半径Rvは、血管領域Vが屈曲している場合に、最大の曲率で屈曲している屈曲箇所半径である。長さLvは、血管領域Vの長手方向の長さである。血管領域Vが屈曲している場合には、例えば、屈曲形状に沿って中心線仮想した場合の中心の長さである。

0058

特徴量算出部74は、図6に示すように、血管領域画像84内において1つの閉域で構成される1つの血管領域V1毎に、特徴量を算出する他、図7に示すように、1つの閉域で構成される1つの血管領域V5を、複数の領域A1、A2に分割して、各領域A1、A2について、特徴量を算出する場合もある。このように、1つの血管領域Vを分割するか否かは、例えば、大きさや形状の複雑さなどに応じて適宜決められる。このように、特徴量算出部74は、構造物領域画像内の複数の構造物領域について、構造物領域毎、又は構造物領域を分割した複数の領域毎に特徴量を算出する。

0059

特徴量算出部74は、血管領域画像84内のすべての血管領域Vについて、特徴量を算出する。そして、特徴量算出部74は、特徴量を算出した1つの領域に対して、1つの領域番号を付与する。図6の例であれば、1つの血管領域V2に対して、例えば「V2」といった1つの領域番号を付与し、図7の例であれば、1つの血管領域V5内の複数の領域A1、A2毎に、例えば「V5−1」、「V5−2」といった枝番号を付した領域番号を付与する。特徴量算出部74は、領域番号を付与した領域毎に、領域番号、血管領域画像84内の座標情報、及び算出した特徴量を、1組の情報として関連付けた形態で出力する。

0060

図8に示すように、特徴量算出部74は、血管領域画像84と同様に、腺管領域画像86から1つずつ腺管領域Sを抽出して、抽出した腺管領域S毎に、形状的な特徴量を算出する。腺管領域Sの形状的な特徴量の項目としては、例えば、最大幅Ws、長径Ls、枝分かれ数Bsがある。最大幅Wsは、算出対象の腺管領域Sにおいて、最大値を示す幅である。長径Lsは、最大幅Wsを短径とした場合に、短径と直交する方向の長さの最大値である。枝分かれ数Bsは、腺管領域S1のように、分岐している領域がある場合における、分岐数である。

0061

特徴量算出部74は、腺管領域画像86内において1つの閉域で構成される1つの腺管領域S2に対して、形状的な特徴量を算出する。また、腺管領域S2についても、図7において血管領域Vについて示したように、1つの腺管領域S2を複数の領域に分割して、分割した各領域について、特徴量を算出する場合もある。1つの腺管領域Sを分割するか否かは、例えば、大きさや形状の複雑さなどに応じて適宜決められる。

0062

特徴量算出部74は、血管領域画像84の場合と同様に、腺管領域画像86内のすべての腺管領域Sについて、特徴量を算出する。そして、特徴量算出部74は、特徴量を算出した1つの領域に対して、1つの領域番号を付与する。図8の例であれば、1つの腺管領域S2に対して、例えば「S2」といった1つの領域番号を付与する。図示しないが、1つの腺管領域Sを複数の領域に分割して特徴量を算出する場合は、領域毎に、枝番号を付した領域番号を付与する。特徴量算出部74は、領域番号を付与した領域毎に、領域番号、腺管領域画像86内の座標情報、及び算出した特徴量を、1組の情報として関連付けた形態で出力する。

0063

色割り当て部76は、特徴量を算出した構造物領域に、算出した特徴量に応じた色を割り当てる。特殊画像処理部64内のメモリには、血管用色割り当てテーブル87と、腺管用色割り当てテーブル88が格納されている。色割り当て部76は、血管用色割り当てテーブル87を参照して、血管領域画像84内の血管領域Vに色を割り当て、また、腺管用色割り当てテーブル88を参照して、腺管領域画像86内の腺管領域Sに色を割り当てる。

0064

図9に示すように、血管用色割り当てテーブル87は、例えば、Lab表色系の3次元の色空間に基づいて作成された3次元LUT(Look Up Table)である。Lab表色系は、周知のように、明度をL、色相と彩度を示す色度をa、bで表わす表色系である。血管用色割り当てテーブル87は、Lab表色系の3軸に対して、血管領域Vの最大幅Wv、最小半径Rv、長さLvという特徴量の3つの項目を対応させている。具体的には、明度Lの軸には最大幅Wvが、色相aの軸には最小半径Rvが、彩度bの軸には長さLvがそれぞれ割り当てられている。本例では、最大幅Wvの変化に応じて明度Lが変化し、最小半径Rv及び長さLvの変化に応じて色相a及び彩度bが変化するようになっている。

0065

図10に示すように、腺管用色割り当てテーブル88も、Lab表色系の色空間に基づいて作成された3次元LUTである。腺管用色割り当てテーブル88は、Lab表色系の3軸に、腺管領域Sの最大幅Ws、長径Ls、枝分かれ数Bsの3つの特徴量の項目が対応させている。具体的には、明度Lの軸には最大幅Wsが、色相aの軸には長径Lsが、彩度bの軸には枝分かれ数Bsがそれぞれ割り当てられている。本例では、最大幅Wsの変化に応じて明度Lが変化し、長径Ls及び枝分かれ数Bsの変化に応じて色相a及び彩度bが変化するようになっている。

0066

図11に示すように、色割り当て部76は、特徴量が算出された血管領域V毎に色を割り当てる。血管領域V5−1、V5−2のように、1つの血管領域V5について分割された複数の領域にそれぞれ特徴量が算出されている場合には、分割された領域毎に色を割り当てる。色割り当て部76は、血管用色割り当てテーブル87の色空間上において、特徴量の3つの項目(Wv、Rv、Lv)の具体的な値に基づいて位置を判定し、その特徴量を算出した領域の色を決定する。こうした処理を、血管領域V毎に行って、血管領域V1、V2、V3−1、V3−2・・・のそれぞれに対して色を割り当てる。

0067

図11の例では、血管領域V1には「赤1」、血管領域V2には「赤2」、血管領域V3−1には「赤3」というように、色が割り当てられる。ここで、「赤1」、「赤2」のように、色に付した番号が異なっているものは、それぞれ同色系であるが、明度、色相、彩度のうちの少なくとも1つが異なっている色を示す。

0068

色割り当て部76は、特徴量算出部74から取得した座標情報に基づいて、血管領域画像84内の各血管領域Vの位置を特定し、各血管領域Vを割り当てた色で着色する。こうした色割り当て処理を、特徴量を算出した血管領域Vのすべてに対して行って、血管領域画像84を疑似カラー化した疑似カラー血管領域画像89を生成する。疑似カラー血管領域画像89では、複数の血管領域Vが形状的な特徴量に応じて色分けされて表示される。

0069

図12に示すように、色割り当て部76は、血管領域Vと同様に、特徴量が算出された腺管領域S毎に色を割り当てる。色割り当て部76は、腺管用色割り当てテーブル88の色空間上において、3つの特徴量(Ws、Ls、Bs)に基づいて位置を判定し、特徴量を算出した領域の色を決定する。こうした処理を、腺管領域S毎に行って、腺管領域S1、S2、S3、S4・・・のそれぞれに対して色を割り当てる。

0070

図12の例では、腺管領域S1には「青4」、腺管領域S2には「紫1」、腺管領域S3には「紫2」というように、色が割り当てられる。図12の例においても、「紫1」、「紫2」のように、色に付した番号が異なっているものは、それぞれ同色系であるが、明度、色相、彩度のうちの少なくとも1つが異なっている色を示す。

0071

色割り当て部76は、特徴量算出部74から取得した座標情報に基づいて、腺管領域画像86内の各腺管領域Sの位置を特定し、各腺管領域Sを割り当てた色で着色する。こうした色割り当て処理を、特徴量を算出した腺管領域Sのすべてに対して行って、腺管領域画像86を疑似カラー化した疑似カラー腺管領域画像91を生成する。疑似カラー腺管領域画像91では、複数の腺管領域Sが形状的な特徴量に応じて色分けされて表示される。

0072

色割り当て部76が、血管領域Vや腺管領域Sに対して行う色の割り当て方法については、図13に示すように、特徴量の変化に対して連続的に色を変化させてもよいし、図14に示すように、特徴量の変化に対して段階的に色を変化させてもよい。図13及び図14では、特徴量と、緑や黄色といった色相との関係を例に説明しているが、明度や彩度と特徴量との関係についても同様である。血管用又は腺管用の色割り当てテーブル87、88を使用する場合には、図13又は図14の関係になるように、各色割り当てテーブル87、88を設定する。

0073

なお、色割り当て部76は、色割り当てテーブル87、88を使用する代わりに、特徴量を色に変換する関数を使用してもよい。

0074

また、本例では、血管領域画像84の血管領域Vに割り当てる色には、赤、黄、などの暖色系を使用し、腺管領域画像86の腺管領域Sに割り当てる色には、青、紫などの寒色系を使用している。

0075

図5において、画像合成部78は、低減原画像83をベース画像として、低減原画像83に疑似カラー血管領域画像89を重畳して合成することにより、第1合成画像92を生成する。また、低減原画像83をベース画像として、低減原画像83に疑似カラー腺管領域画像91を重畳して合成することにより、第2合成画像93を生成する。特殊画像処理部64は、第1合成画像92及び第2合成画像93を特殊画像として表示制御部65に出力する。

0076

図15及び図16に示すように、表示制御部65は、通常画像である、原画像82と、特殊画像である、第1合成画像92及び第2合成画像93とを並列的に表示する表示画面96を生成して、モニタ18に表示する。表示画面96には、第1合成画像92及び第2合成画像93のどちらを表示するかを選択するための選択操作部として選択ボックス97が設けられている。選択ボックス97は、マウスなどのポインタ98によって操作される。

0077

図15に示すように、選択ボックス97において血管が選択されると、血管領域Vが強調される第1合成画像92が表示され、図16に示すように、腺管が選択されると、腺管領域Sが強調される第2合成画像93が表示される。検査中に選択ボックス97を操作することで、表示を切り替えることも可能である。

0078

また、図15及び図16に示す表示画面96のように、原画像82と合成画像92、93を並列的に表示する他に、原画像82及び合成画像92、93の各画像を1コマずつ選択的に表示してもよい。

0079

上記構成による作用について、図17に示すフローチャートを参照しながら説明する。内視鏡12が光源装置14及びプロセッサ装置16に接続されて、内視鏡システム10が起動されると、内視鏡12の撮像センサ48が撮像を開始する。光源装置14において、V、B、G、Rの4色のLED20a〜20dが点灯して、4色の光の混合による白色光が照明光として内視鏡12に供給される。

0080

内視鏡12の挿入部12aが患者などの体内に挿入されると、ライトガイド41を通じて体内の観察対象に照明光が照射され、観察対象で反射した反射光が撮像センサ48に入射する。撮像センサ48は、照明光の下、体内の観察対象を撮像して、プロセッサ装置16には、観察対象のRGBの画像信号が入力される。内視鏡システム10は、初期設定では、通常観察モードで起動する。プロセッサ装置16において、通常画像処理部62は、RGBの画像信号を取得し、取得した画像信号に基づいて、観察対象がカラーで描出された通常画像を生成する。通常画像は、表示制御部65に入力されて、表示制御部65は、通常画像を表示する表示画面96をモニタ18に表示する。

0081

医師の操作により、モード切替SW13aが操作されると、画像処理切替部60によって信号入力経路切り替わり、内視鏡システム10は、通常観察モードから特殊観察モードに切り替わる。特殊画像処理部64は、観察対象のRGBの画像信号を取得する(ステップ(S)101)。そして、原画像生成部68は、RGBの画像信号に基づいて、通常画像と同様の原画像82を生成する(S102)。低減原画像生成部70は、カラーの原画像82をモノクロ化することにより、色及びコントラストを低減した低減原画像83を生成する(S103)。

0082

構造物領域画像生成部72は、B画像信号に基づいて血管領域画像84を生成し、G画像信号に基づいて腺管領域画像86を生成する(S104)。そして、特徴量算出部74は、血管領域画像84及び腺管領域画像86のそれぞれの構造物領域画像に基づいて、血管領域V及び腺管領域Sのそれぞれの形状的な特徴量を算出する(S105)。

0083

特徴量算出部74は、図6図8で示したように、血管領域画像84及び腺管領域画像86において、血管領域V毎あるいは腺管領域S毎に特徴量を算出する。さらに、図7で示したように、1つの血管領域Vや1つの腺管領域Sを複数の領域に分割した場合には、領域毎に特徴量を算出する。

0084

色割り当て部76は、図9図12に示したように、各色割り当てテーブル87、88を用いて、血管領域画像84内の血管領域Vや、腺管領域画像86内の腺管領域Sに対して、特徴量を算出した領域毎に、特徴量に応じた色を割り当てる(S106)。

0085

例えば、図6に示したように、血管領域画像84において、1つの血管領域V2の全体に対して特徴量が算出された場合には、血管領域V2の全体が、算出された特徴量に応じて割り当てた色で着色される。また、図7に示したように、1つの血管領域V5が複数の領域V5−1、V5−2に分割され、分割された領域V5−1、V5−2毎に特徴量が算出された場合には、各領域V5−1、V5−2のそれぞれが、算出された特徴量に応じて割り当てた色で着色される。腺管領域画像86の腺管領域Sについても同様の手法で色割り当てが行われる。

0086

本例において、色割り当て部76は、血管領域画像84の血管領域Vに赤、黄、茶などの暖色系を使用し、腺管領域画像86の腺管領域Sに青、紫などの寒色系を使用することにより、構造物領域毎に異なる系統の色が割り当てる。こうして、疑似カラー血管領域画像89及び疑似カラー腺管領域画像91が生成される(図5参照)。

0087

画像合成部78は、低減原画像83に疑似カラー血管領域画像89を重畳して第1合成画像92を生成し、低減原画像83に疑似カラー腺管領域画像91を重畳して第2合成画像93を生成する(S107)。

0088

図15及び図16に示すように、第1合成画像92又は第2合成画像93は、通常画像である原画像82とともに表示画面96に表示される。第1合成画像92と第2合成画像93は、選択ボックス97の選択によって切り替えられる。医師は、選択ボックス97の操作により所望の画像を観察することができる。

0089

第1合成画像92及び第2合成画像93に用いられる、疑似カラー血管領域画像89と疑似カラー腺管領域画像91は、血管領域Vや腺管領域Sの形状的な特徴量に応じて色分けされる。これにより、形状的な特徴量が異なる複数の構造物領域を簡単に識別することができる。形状的な特徴量が異なる領域を識別することは病変の診断において非常に有用である。

0090

例えば、腫瘍などが発生している病変領域と正常領域とでは、血管の幅や走行状態、腺管の大きさなど、構造物の形状的な特徴が大きく異なる。医師は、こうした形状的な特徴に注目して診断を行うので、形状的な特徴が異なる領域が簡単に識別できれば、病変領域と正常領域を簡単に見分けることが可能となる。また、病変領域においても、血管の走行状態や腺管構造の形状などは場所により変化する。血管領域あるいは腺管領域毎に、その領域の形状に応じて色を割り当てられるため、特徴量が異なる領域を視覚的に把握しやすい。

0091

本例において、このような疑似カラー血管領域画像89及び疑似カラー腺管領域画像91が重畳されるベース画像には、低減原画像83が使用される。上述のとおり、低減原画像83は、カラーの原画像82の色及びコントラストを低減したモノクロのグレースケール画像である。疑似カラー血管領域画像89及び疑似カラー腺管領域画像91は、血管領域Vや腺管領域Sが強調されている代わりに、それ以外の情報が捨象されている。

0092

これに対して、低減原画像83は、モノクロ化されているものの、疑似カラー血管領域画像89や疑似カラー腺管領域画像91において捨象された観察対象の情報が描出されており、観察対象の全体的な性状を把握することが可能である。例えば、第1合成画像92は、疑似カラー血管領域画像89と低減原画像83が重畳されているため、血管領域Vが色分けされて強調表示される一方、低減原画像83においては、血管領域V以外の腺管領域Sなども描出される。そのため、観察対象の全体的な性状を把握しつつ、色分けされた血管領域Vを観察することができる。

0093

特に、本例では、低減原画像83は二値化画像ではなく、所定の階調数を有するグレースケール画像を用いているため、二値化画像と比較して、観察対象の全体的な性状を明瞭に把握することができる。

0094

また、本例では、第1合成画像92、第2合成画像93のどちらのベース画像にも、共通の低減原画像83を使用している。共通の低減原画像83を使用するため、第1合成画像92及び第2合成画像93のそれぞれにおいて強調される構造物領域(血管領域V、腺管領域S)の違いが明瞭になるので、両者の比較がしやすい。

0095

また、第1及び第2合成画像92、93のベース画像として使用される低減原画像83は、モノクロ化されているため、疑似カラー血管領域画像89や疑似カラー腺管領域画像91において色の割り当ての自由度が高い。つまり、カラーの原画像82をベース画像として使用すると、原画像82において使用される色と同一色は、疑似カラーの割り当て色として使用できなくなるため、使用できる色に制約が多い。これに対して、モノクロ化によって色数を低減した低減原画像83をベース画像に使用することで、使用できる色の数を増やすことができる。これにより、特徴量に応じて詳細な色分けが可能となる。使用できる色数が多いほど、形状的な特徴量の細かな違いを色で表しやすい。

0096

また、図13に示すように、特徴量の変化に応じて割り当てる色を連続的に変化させることで、形状的な特徴の小さな変化をグラデーションで表すことが可能になる。このため、特徴量の微細な変化を視覚的に把握しやすい。

0097

また、本例では、血管領域画像84の血管領域Vには割り当てる色には、赤、黄、茶などの暖色系を使用し、腺管領域画像86の腺管領域Sに割り当てる色には、青、紫などの寒色系を使用するというように、異なる構造物領域画像毎に、異なる色を割り当てている。これにより、血管領域Vや腺管領域Sといった構造物領域の種類に応じて異なる色を使用することで、構造物領域の種類を区別しやすいという効果が得られる。

0098

本例では、構造物領域毎に異なる色として、暖色系と寒色系の色を例に説明したが、それ以外でもよい。ここで、異なる色には、色相、明度及び彩度の少なくとも1つが異なっている場合がすべて含まれる。しかし、色相、明度及び彩度のうち、視覚的に異なる印象を与えやすいのは色相だと考えられるため、構造物領域毎に、色相が異なる色を割り当てることが好ましい。さらに、色相が異なる色を使用する場合でも、より好ましくは、本例のように暖色系と寒色系のように系統が異なる色を使用することが好ましい。暖色系と寒色系は、補色関係のように色相環における位置が相対的に離れているため、視覚的に異なる印象をより与えやすいためである。

0099

また、本例では、血管領域画像84に暖色系を使用し、腺管領域画像86に寒色系を使用して、両者の区別を容易にしつつ、かつ、血管領域画像84又は腺管領域画像86のそれぞれにおいては、暖色系あるいは寒色系の同系色内で、特徴量に応じて色を変化させている。これにより、構造物領域の種類毎に色の統一感を保ちつつ、同種の構造物領域に対しては、同系色内で、形状的な特徴量に応じて異なる色が割り当てられるため、特徴量が異なる領域も色分けされる。ここで、同系色とは、例えば、色相環における赤とオレンジ、あるいは緑と黄緑のように、色相環における位置が約120度の範囲に含まれている色同士をいう。

0100

「第2実施形態」
図18及び図19に示す第2実施形態のように、画像合成部78は、血管領域Vが色分けされた疑似カラー血管領域画像89、腺管領域Sが色分けされた疑似カラー腺管領域画像91の両方を、低減原画像83に重畳して、1つの第3合成画像99を生成してもよい。図19に示すように、表示画面96において、第3合成画像99は、原画像82と並列的に表示される。これによれば、それぞれ特徴量に応じて色分けされた複数の構造物領域を、1つの第3合成画像99内で観察することができる。なお、原画像82と第3合成画像99を1コマずつ選択的に表示してもよい。

0101

また、第1実施形態の図15図16の表示形態と図19に示す表示形態は、選択ボックス97によって切り替えられるようにしてもよい。こうすれば、1つの表示画面96において、第1合成画像92、第2合成画像93、第3合成画像99を切り替えて選択的に表示することができる。もちろん、複数の合成画像92、93、99を、表示画面96内に並列的に表示できるようにしてもよい。

0102

「第3実施形態」
図20に示す第3実施形態のように、構造物領域画像の種類毎に、使用するベース画像を、異なる低減原画像としてもよい。図20に示す例では、疑似カラー血管領域画像89と合成されるベース画像には、第1低減原画像83Aが使用されて、第1合成画像92Aが生成される。疑似カラー腺管領域画像91と合成されるベース画像には、第2低減原画像83Bが使用されて、第2合成画像93Aが生成される。

0103

例えば、第1低減原画像83Aと第2低減原画像83Bは、どちらもモノクロのグレースケール画像であるが、使用する色が異なる。具体的には、第1低減原画像83Aは、寒色系の青色と白色のモノクロのグレースケール画像であり、第2低減原画像83Bは、暖色系の赤色と白色のモノクロのグレースケール画像である。

0104

第1実施形態で示したように、疑似カラー血管領域画像89には、暖色系の色が割り当てられるため、ベース画像として、寒色系の色を使用した第1低減原画像83Aを使用することで、強調される血管領域Vに割り当てられる暖色系の色を際立たせることができる。反対に、疑似カラー腺管領域画像91には、寒色系の色が割り当てられるため、ベース画像として、暖色系の色を使用した第2低減原画像83Bを使用することで、強調される腺管領域Sに割り当てられる寒色系の色を際立たせることができる。

0105

本例において、第1低減原画像83Aと第2低減原画像83Bとにおいて、使用する色を変えているが、色を変える代わりに、シャープネスを変化させてもよい。例えば、疑似カラー血管領域画像89の背景となる第1低減原画像83Aに対しては、ソフトフォーカス処理を施して、描出される対象をぼかす。血管領域Vは、比較的細いため、背景をぼかすことにより、血管領域Vを際立たせることができる。なお、シャープネス変化と色変化を組み合わせてもよい。

0106

このように、構造物領域画像の種類に応じて、ベース画像として使用する低減原画像83を変えることで、構造物領域画像の種類に応じて適切な低減原画像83を使用することが可能となる。

0107

「第4実施形態」
図21に示す第4実施形態のように、色割り当て部76が、血管用色割り当てテーブル87の色空間上において、3つの特徴量(Wv、Rv、Lv)に基づいて位置を判定する際に、ガンマ変換を行ってもよい。ガンマ曲線101は、入力値である特徴量と、出力値である色空間上の位置との対応関係を表す。ガンマ曲線101を変化させることで、入力値の特定の範囲の色分解能を大きくしたり、反対に小さくすることができる。これにより、例えば、特徴量の特定の入力範囲については、特徴量の小さな変化を、大きな色の変化で表すといったことが可能となる。

0108

「第5実施形態」
上記実施形態では、特徴量を算出した血管領域Vや腺管領域Sに対する色の割り当て方法として、血管領域Vや腺管領域Sの各領域自体を塗りつぶして着色する方法を例に説明したが、図22に示す第5実施形態のように、色を示すマーク103を使用して色を割り当ててもよい。

0109

画像内において、マーク103は、算出した特徴量に応じた色で着色されて、特徴量を算出した領域の近傍位置に挿入される。こうしても、特徴量が異なる領域を色で見分けることができる。血管領域Vなど、特徴量を算出した領域自体については、着色を行ってもよいし、行わなくてもよい。マーク103は、矢印形状をしている。マーク103の例は、矢印形状以外でもよく、例えば、図23に示すように、菱形のマーク104でもよい。もちろん、円形多角形でもよい。また、マーク103、104を、点滅させたり、回転させるなどの方法によりアニメーション表示を行ってもよい。アニメーション表示により、動画的な視覚効果を与えることができるため、強い印象を与えることができる。

0110

「第6実施形態」
図24に示す第6実施形態のように、表示制御部65は、表示画面をマルチモニタに出力可能としてもよい。表示制御部65は、例えば、複数台のモニタ18A、18Bに対して、通常画像である原画像82を表示する表示画面と、特殊画像である合成画像99を表示する表示画面を出力する。マルチモニタにすることで、画面サイズを広くとれるため、大きな画像で観察を行うことができる。

0111

上記各実施形態において、低減原画像83は、原画像82の色とコントラストの両方を低減する加工を施して生成する例で説明したが、色及びコントラストの一方を低減するだけでもよい。コントラストだけを低減させる場合には、低減原画像83において色は残るが、コントラストを低減させれば、背景の色が目立ちにくくなる。そのため、疑似カラー化した構造物領域画像を重畳させても、背景の色が、色分けされた構造物領域画像の見やすさを損なうことは少ない。そのため、コントラストを低減させない場合と比べれば、構造物の形状的な特徴に応じた色の割り当ての自由度を確保することが可能である。もちろん、コントラストの低減ではなく、色の低減と組み合わせることがより好ましい。

0112

また、色を低減する方法は、モノクロ化以外でもよく、カラー画像よりも色数が制限されていればよい。

0113

上記各実施形態において、強調する構造物領域として、血管領域Vと腺管領域Sを例に説明したが、これら以外の構造物領域を強調してもよい。例えば、粘膜の発赤領域、褪色領域(ブラウニッシュエリア)、ポリープなどの異物領域などである。また、形状的な特徴量としては、上記実施形態で示した例の他、例えば、領域の面積周囲長主軸の長さ、所定の形状に対する近似率、複数の領域の密度、隣接する領域との距離、あるいはこれら複数の特徴量の組み合わせに応じて算出される値、などでもよい。

0114

また、特徴量の算出方法としては、例えば、所定の基本パターンを用意して、その基本パターンとの類似度を特徴量として算出する方法でもよい。例えば、基本パターンとしては、「規則ドット形状」、「辺縁不明瞭」といった病変の典型的なパターンを複数種類用意しておく。こうした複数の基本パターンと構造物領域とを照合して、基本パターン毎の類似度を形状的な特徴量として算出する。そして算出した類似度の中から最も類似度が高い基本パターンを構造物領域のパターンとして判定する。構造物領域は、判定したパターン毎に色の割り当てが行われる。

0115

このように構造物領域と基本パターンとの類似度を特徴量として算出する場合には、上記実施形態のように構造物領域内の個々の構造物領域に対して個別に特徴量を算出するのではなく、複数の構造物領域が含まれる一定の領域全体について特徴量を算出してもよい。具体的には、複数の構造物領域が含まれる一定の領域全体が、例えば、「規則的ドット形状」と類似すると判定され、その領域全体に「規則的ドット形状」に対応する色が割り当てられる。この場合には、表示画面96内に、「規則的ドット形状」は「青1」などというように、基本パターンと色との対応関係を示す凡例を表示してもよい。

0116

上記実施形態では、血管領域画像や腺管領域画像のように、構造物の種類毎に構造物領域画像を生成しているが、複数種類の構造物領域が含まれる構造物領域画像を生成してもよい。もちろん、上記実施形態のように、構造物の種類毎に構造物領域画像を生成する方が、構造物の区別が明瞭になるため好ましい。

0117

また、上記実施形態では、構造物領域が強調される合成画像を、動画撮影中に生成して表示する例で説明しているが、静止画撮影時に、撮影した静止画に基づいて生成して表示してもよい。あるいは、動画撮影時及び静止画撮影時の両方で行ってもよい。

0118

また、特殊観察モードに切り替えるモード切替SWを、内視鏡12の操作部に設けた例で説明したが、フットスイッチ、マウス、キーボードタッチパネルディスプレイなどの各種操作部をモード切替SWとして機能させてもよい。また、医師の視線を検出する視線検出センサや、手や足の動きを検出するモーションセンサを設けて、これをモード切替SWとして機能させてもよい。この他、音声認識によって動作するスイッチや、脳波検出スイッチを使用してもよい。

0119

また、モード切替SWによって切り替える代わりに、所定時間間隔で観察モードが自動的に切り替わるようにしてもよい。こうすれば、医師の操作が不要になるので、便利である。また、モニタの形態としては、据え置き型のモニタ以外に、ヘッドマウントディスプレイを使用して、ヘッドマウントディスプレイに合成画像を表示してもよい。

0120

また、上記実施形態では、構造物領域の抽出方法として、白色光で撮影した画像信号のうちのB画像信号やG画像信号を使用する例で説明したが、単色の画像信号ではなく、白色光の下で撮影されたカラーの原画像82を使用してもよい。この場合には、以下に示すように、血管の色に応じて抽出する血管を選別することができる。

0121

光の波長と、粘膜の深達度には相関があることが知られている。具体的には、波長が短いほど粘膜内への光の深達度が低く、波長が長いほど粘膜内への光の深達度が高い。そのめ、白色光の下で粘膜を撮影した場合には、血管の深さによって色が変化する。例えば、表層の血管は、青色光の到達量が多く血中で吸収されるため、反射光には青色成分が少なくなり、撮影画像において赤色で描出される。対して、深層の血管は、青色光の到達量が少なく粘膜内で反射してしまうため、反射光に青色成分が多くなるため、撮影画像において紫色に近い色で描出される。中層の血管は、その中間で、茶褐色で描出される。

0122

このように、粘膜内の深さによって血管領域の色が変化するため、抽出処理において、表層なら赤色、中層なら茶褐色、深層なら紫色というように、抽出する血管領域の色を選別することによって、特定の深さの血管領域を抽出することができる。このように抽出された深さが異なる複数の血管領域に対して、色分けを行って、合成画像において識別できるようにしてもよい。

0123

また、白色光の下で得た画像信号ではなく、特殊光、例えば、青色光、緑色光、赤色光の各波長範囲の一部の狭帯域を波長帯域とする狭帯域光の下で得た狭帯域画像信号を使用してもよい。血中ヘモグロビンの吸収率が高い帯域に合わせた狭帯域光(青色狭帯域光や緑色狭帯域光)を使用することで、血管領域がよりコントラストが高い状態で描出された画像信号を得ることができる。青色狭帯域光と緑色狭帯域光を使用した場合も、白色光の場合と同様に、血管の深さによって色が変わる。具体的には、表層の血管は赤く、中層の血管は茶褐色となり、深層の血管は青緑色となる。複数色の狭帯域光を使用する場合でも、血管の深さによって色が変わるため、色によって特定の深さの血管領域を抽出することができる。

0124

あるいは、通常可視光以外の光、例えば赤外光紫外光を使った特殊光の下で得た画像信号を使用しても良い。病変部に選択的に集積する様な蛍光を発する薬剤を使用し、赤外光や紫外光、あるいは特定の波長の特殊光を照明した時に発せられる蛍光を受光して得た画像信号を使用してもよい。蛍光は特定の波長の光を発するため、色によって病変を示す発光領域を抽出する事ができる。

0125

また、インジゴカルミン溶液クリスタルバイオレット溶液、ヨード希釈液などの染色液を消化管内に散布した状態で撮影して得た画像信号を使用してもよい。

0126

このように、特殊光によって画像信号を取得する場合には、通常観察モードと特殊観察モードにおいて照明光を変える必要がある。例えば、光源制御部21は、紫色光V、青色光B、緑色光G、赤色光Rの点灯及び消灯、さらには光量比を変化させることで、通常観察モードと特殊観察モードにおける照明光を変える。こうした通常観察モードと特殊観察モードを所定時間間隔で自動的に切り替えてもよい。また、上記染色液を散布する場合は、染色液の色により特定の構造のコントラストが強調されるため、染色液毎に、照明光を切り替える事が望ましい。

0127

また、構造物領域を抽出する前処理として、以下のような処理を行うことが好ましい。B画像信号から構造物領域を抽出する場合において、まず、抽出元のB画像信号において、ハレーションを起こしている輝点を探して、その周囲を含めた領域を、抽出対象から除外する。さらに、所定の閾値以下の明るさを有する領域も、抽出対象から除外する。除外する領域には、血管が描出されていないか、あるいは描出されていても、他の領域との識別ができず、抽出が難しいためである。

0128

なお、構造物領域の抽出元となる画像として原画像82を使用する場合には、さらに、原画像82において、処置具写り込む領域を抽出対象から除外してもよい。内視鏡の手技において、生検鉗子クリップ処置具スネアなどの各種の処置具が使用されるため、撮像する画像内にはこうした処置具が写り込む場合がある。

0129

処置具が写り込む領域においては、観察対象が処置具の影になるため、こうした領域を除外することが好ましい。処置具は、先端部が金属製で、基端側に延びるガイドシースは白色の樹脂製や、コイルシースの場合には金属製である。そのため、おおよその処置具の色は決まっているため、これらの色の領域については除外対象領域と判定して、原画像82内から除外すればよい。

0130

また、除外対象領域を除いた抽出対象領域が、例えば、画像全体の10%以下になるなど、僅かしか残らない場合には、その画像については、構造物領域の抽出対象の画像から除外(抽出処理を行わない)してもよい。そのような画像は抽出対象領域が少ないため、構造物領域がほとんど抽出されず、処理が無駄になるからである。

0131

また、上記実施形態では、光源として、紫色光V、青色光B、緑色光G、赤色光Rの4色のLEDを使用しているが、B、G、Rの3色のLEDでもよい。また、LEDの代わりに、上述したレーザダイオード(LD)の他、EL(Electro Luminescence)などの他の半導体光源を使用してもよい。また、キセノンランプなどの白色光源を使用してもよい。

0132

また、撮像センサとしては、撮像面において、画素に対応してBGRのマイクロフィルタが設けられたカラー撮像センサを使用した例で説明しているが、モノクロの撮像センサでもよい。モノクロの撮像センサとキセノンランプなどの白色光源を組み合わせる場合には、キセノンランプの光を、BGRの光に分光するためのロータリフィルタが設けられる。

0133

また、上記実施形態では、内視鏡と直接接続されるプロセッサ装置を、本発明の画像処理装置として機能させる例で説明したが、画像処理装置をプロセッサ装置から独立した装置としてもよい。

0134

なお、本発明は、カプセル内視鏡ステムに組み込まれるプロセッサ装置の他、各種の医用画像処理装置に対して適用することが可能である。また、本発明は、画像処理装置及び方法の他、コンピュータを画像処理装置として機能させる画像処理プログラムや画像処理プログラムを記憶する記憶媒体にも及ぶ。

0135

10内視鏡システム
16プロセッサ装置
65表示制御部
68原画像生成部
70 低減原画像生成部
72構造物領域画像生成部
74特徴量算出部
76色割り当て部
78画像合成部
82 原画像
83 低減原画像
84血管領域画像
86腺管領域画像
87 血管用色割り当てテーブル
88腺管用色割り当てテーブル
89疑似カラー血管領域画像
91 疑似カラー腺管領域画像
92、93、99合成画像
96表示画面

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ