図面 (/)

この項目の情報は公開日時点(2017年12月28日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (6)

課題

右眼用画像左眼用画像とを用いて視差画像を生成し、かつ右眼用画像および左眼用画像から明るさを測定する信号処理回路回路規模を小さくすることができる画像処理システムおよび画像処理装置を提供すること。

解決手段

本発明にかかる画像処理システムは、被写体像の特性が異なる複数の画像データを統合して一つの統合画像データを生成する統合部と、統合画像データに対して信号処理を施すとともに、統合画像データをもとに、特性が異なる複数の画像の明るさを測定する信号処理部と、信号処理部により信号処理が施された統合画像データをもとに、表示装置に表示させる表示画像を生成する表示画像生成部と、を備える。

概要

背景

近年、被写体を撮像して、互いに視差を有する左眼用および右眼用の二つの画像データから視差画像を生成し、視差画像を表示装置立体表示させる画像作成方法が知られている。医療分野等において使用される内視鏡処理装置プロセッサ)とが着脱可能である内視鏡システムにおいても、診断検査の円滑化のために、観察対象立体画像で観察したいという要求がある。この要求にこたえるための技術として、左眼用および右眼用の二つの光路を形成する光学系と、光学系から左眼用および右眼用の各光路の光をそれぞれ受光する二つの撮像素子とを備えた内視鏡が知られている(例えば、特許文献1を参照)。この内視鏡が装着されたプロセッサは、各撮像素子から取得した信号のゲインを調整する二つのゲイン調整回路と、ゲイン調整後の信号に基づく画像の明るさをそれぞれ検出する明るさ検出回路と、ゲイン調整後の信号に基づき左眼用画像および右眼用画像を生成する画像生成回路とを有している。

概要

右眼用画像と左眼用画像とを用いて視差画像を生成し、かつ右眼用画像および左眼用画像から明るさを測定する信号処理回路回路規模を小さくすることができる画像処理システムおよび画像処理装置を提供すること。本発明にかかる画像処理システムは、被写体像の特性が異なる複数の画像データを統合して一つの統合画像データを生成する統合部と、統合画像データに対して信号処理を施すとともに、統合画像データをもとに、特性が異なる複数の画像の明るさを測定する信号処理部と、信号処理部により信号処理が施された統合画像データをもとに、表示装置に表示させる表示画像を生成する表示画像生成部と、を備える。

目的

本発明は、上記に鑑みてなされたものであって、右眼用画像と左眼用画像とを用いて視差画像を生成し、かつ右眼用画像および左眼用画像から明るさを測定する信号処理回路の回路規模を小さくすることができる画像処理システムおよび画像処理装置を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

被写体像の特性が異なる複数の画像データを統合して一つの統合画像データを生成する統合部と、前記統合画像データに対して信号処理を施すとともに、前記統合画像データをもとに、前記特性が異なる複数の画像の明るさを測定する信号処理部と、前記信号処理部により前記信号処理が施された前記統合画像データをもとに、表示装置に表示させる表示画像を生成する表示画像生成部と、を備えることを特徴とする画像処理システム

請求項2

前記被写体像の特性が異なる複数の画像データをそれぞれ生成する第1および第2撮像部をさらに備え、前記信号処理部は、前記統合画像データに対して、画像処理を施す画像処理部と、前記画像処理が施された前記統合画像データをもとに、前記画像の明るさを測定する明るさ測定部と、前記明るさ測定部が測定した前記画像の明るさをもとに、前記第1および第2撮像部による撮像処理における露光時間を制御する制御データを生成する制御データ生成部と、を有することを特徴とする請求項1に記載の画像処理システム。

請求項3

前記信号処理部は、前記統合部の後段に設けられ、一つの回路から構成されており、前記統合画像データに対して、前記特性に応じた感度補正を行う感度補正部、をさらに有し、前記画像処理部は、前記感度補正が施された統合画像データに対して前記画像処理を施すことを特徴とする請求項1に記載の画像処理システム。

請求項4

被写体像の特性が異なる複数の画像データは、互いに視野が異なる画像を含む画像データであることを特徴とする請求項1に記載の画像処理システム。

請求項5

前記視野が異なる画像は、互いに視差を有する画像であることを特徴とする請求項4に記載の画像処理システム。

請求項6

被写体像の特性が異なる複数の画像データは、被写体を照明する照明光波長帯域が異なる画像を含む画像データであることを特徴とする請求項1に記載の画像処理システム。

請求項7

前記被写体像の特性が異なる複数の画像データを生成する撮像装置と、前記撮像装置が生成した前記画像データに画像処理を施す処理装置と、を備え、前記統合部、前記信号処理部および前記表示画像生成部は、前記処理装置に設けられていることを特徴とする請求項1に記載の画像処理システム。

請求項8

前記被写体像の特性が異なる複数の画像データを生成する撮像装置と、前記撮像装置が生成した前記画像データに画像処理を施す処理装置と、を備え、前記統合部は、前記撮像装置に設けられており、前記信号処理部および前記表示画像生成部は、前記処理装置に設けられていることを特徴とする請求項1に記載の画像処理システム。

請求項9

被写体像の特性が異なる複数の画像データを統合した一つの統合画像データに対して信号処理を施すとともに、前記統合画像データをもとに、前記特性が異なる複数の画像の明るさを測定する信号処理部と、前記信号処理部により前記信号処理が施された前記統合画像データをもとに、表示装置に表示させる表示画像を生成する表示画像生成部と、を有することを特徴とする画像処理装置

技術分野

0001

本発明は、画像処理システムおよび画像処理装置に関する。

背景技術

0002

近年、被写体を撮像して、互いに視差を有する左眼用および右眼用の二つの画像データから視差画像を生成し、視差画像を表示装置立体表示させる画像作成方法が知られている。医療分野等において使用される内視鏡処理装置プロセッサ)とが着脱可能である内視鏡システムにおいても、診断検査の円滑化のために、観察対象立体画像で観察したいという要求がある。この要求にこたえるための技術として、左眼用および右眼用の二つの光路を形成する光学系と、光学系から左眼用および右眼用の各光路の光をそれぞれ受光する二つの撮像素子とを備えた内視鏡が知られている(例えば、特許文献1を参照)。この内視鏡が装着されたプロセッサは、各撮像素子から取得した信号のゲインを調整する二つのゲイン調整回路と、ゲイン調整後の信号に基づく画像の明るさをそれぞれ検出する明るさ検出回路と、ゲイン調整後の信号に基づき左眼用画像および右眼用画像を生成する画像生成回路とを有している。

先行技術

0003

特開平9−080323号公報

発明が解決しようとする課題

0004

特許文献1が開示する内視鏡システムは、右眼用の画像信号と、左眼用の画像信号とに対してそれぞれ個別に信号処理を施す互いに独立した信号処理回路を有しているため、回路規模を小さくすることが困難であった。

0005

本発明は、上記に鑑みてなされたものであって、右眼用画像と左眼用画像とを用いて視差画像を生成し、かつ右眼用画像および左眼用画像から明るさを測定する信号処理回路の回路規模を小さくすることができる画像処理システムおよび画像処理装置を提供することを目的とする。

課題を解決するための手段

0006

上述した課題を解決し、目的を達成するために、本発明にかかる画像処理システムは、被写体像の特性が異なる複数の画像データを統合して一つの統合画像データを生成する統合部と、前記統合画像データに対して信号処理を施すとともに、前記統合画像データをもとに、前記特性が異なる複数の画像の明るさを測定する信号処理部と、前記信号処理部により前記信号処理が施された前記統合画像データをもとに、表示装置に表示させる表示画像を生成する表示画像生成部と、を備えることを特徴とする。

0007

また、本発明にかかる画像処理システムは、上記発明において、前記被写体像の特性が異なる複数の画像データをそれぞれ生成する第1および第2撮像部をさらに備え、前記信号処理部は、前記統合画像データに対して、画像処理を施す画像処理部と、前記画像処理が施された前記統合画像データをもとに、前記画像の明るさを測定する明るさ測定部と、前記明るさ測定部が測定した前記画像の明るさをもとに、前記第1および第2撮像部による撮像処理における露光時間を制御する制御データを生成する制御データ生成部と、を有することを特徴とする。

0008

また、本発明にかかる画像処理システムは、上記発明において、前記信号処理部は、前記統合部の後段に設けられ、一つの回路から構成されており、前記統合画像データに対して、前記特性に応じた感度補正を行う感度補正部、をさらに有し、前記画像処理部は、前記感度補正が施された統合画像データに対して前記画像処理を施すことを特徴とする。

0009

また、本発明にかかる画像処理システムは、上記発明において、被写体像の特性が異なる複数の画像データは、互いに視野が異なる画像を含む画像データであることを特徴とする。

0010

また、本発明にかかる画像処理システムは、上記発明において、前記視野が異なる画像は、互いに視差を有する画像であることを特徴とする。

0011

また、本発明にかかる画像処理システムは、上記発明において、被写体像の特性が異なる複数の画像データは、被写体を照明する照明光波長帯域が異なる画像を含む画像データであることを特徴とする。

0012

また、本発明にかかる画像処理システムは、上記発明において、前記被写体像の特性が異なる複数の画像データを生成する撮像装置と、前記撮像装置が生成した前記画像データに画像処理を施す処理装置と、を備え、前記統合部、前記信号処理部および前記表示画像生成部は、前記処理装置に設けられていることを特徴とする。

0013

また、本発明にかかる画像処理システムは、上記発明において、前記被写体像の特性が異なる複数の画像データを生成する撮像装置と、前記撮像装置が生成した前記画像データに画像処理を施す処理装置と、を備え、前記統合部は、前記撮像装置に設けられており、前記信号処理部および前記表示画像生成部は、前記処理装置に設けられていることを特徴とする。

0014

また、本発明にかかる画像処理装置は、被写体像の特性が異なる複数の画像データを統合した一つの統合画像データに対して信号処理を施すとともに、前記統合画像データをもとに、前記特性が異なる複数の画像の明るさを測定する信号処理部と、前記信号処理部により前記信号処理が施された前記統合画像データをもとに、表示装置に表示させる表示画像を生成する表示画像生成部と、を有することを特徴とする。

発明の効果

0015

本発明によれば、右眼用画像と左眼用画像とを用いて視差画像を生成し、かつ右眼用画像および左眼用画像から明るさを測定する信号処理回路の回路規模を小さくすることができるという効果を奏する。

図面の簡単な説明

0016

図1は、本発明の一実施の形態にかかる内視鏡システムの概略構成を示す図である。
図2は、本発明の一実施の形態にかかる内視鏡システムの概略構成を示すブロック図である。
図3は、本発明の一実施の形態にかかる内視鏡システムの画像統合部が統合した統合画像を説明する図である。
図4は、本発明の一実施の形態にかかる処理装置が行う画像処理を示すフローチャートである。
図5は、本発明の実施の形態の変形例にかかる内視鏡システムの概略構成を示すブロック図である。

実施例

0017

以下、本発明を実施するための形態(以下、「実施の形態」という)を説明する。実施の形態では、本発明にかかる画像処理装置を含むシステムの一例として、患者等の被検体内の画像を撮像して表示する医療用の内視鏡システムについて説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付して説明する。

0018

(実施の形態)
図1は、本発明の一実施の形態にかかる内視鏡システムの概略構成を示す図である。図2は、本実施の形態にかかる内視鏡システムの概略構成を示すブロック図である。

0019

図1および図2に示す内視鏡システム1は、被検体内に先端部を挿入することによって被検体内の画像(以下、内視鏡画像ともいう)を撮像する内視鏡2と、内視鏡2の先端から出射する照明光を発生する光源部3aを有し、内視鏡2が撮像した画像信号に所定の信号処理を施すとともに、内視鏡システム1全体の動作を統括的に制御する処理装置3と、処理装置3の信号処理により生成された内視鏡画像を表示する表示装置4と、を備える。

0020

内視鏡2は、可撓性を有する細長形状をなす挿入部21と、挿入部21の基端側に接続され、各種の操作信号の入力を受け付ける操作部22と、操作部22から挿入部21が延びる方向と異なる方向に延び、処理装置3(光源部3aを含む)に接続する各種ケーブルを内蔵するユニバーサルコード23と、を備える。

0021

挿入部21は、光を受光して光電変換を行うことにより信号を生成する画素が2次元状に配列された撮像部244を内蔵した先端部24と、複数の湾曲駒によって構成された湾曲自在な湾曲部25と、湾曲部25の基端側に接続され、可撓性を有する長尺状の可撓管部26と、を有する。挿入部21は、被検体体腔内に挿入され、外光の届かない位置にある生体組織等の被写体を撮像部244によって撮像する。

0022

先端部24は、グラスファイバ等を用いて構成されて光源部3aが発光した光の導光路をなすライトガイド241と、ライトガイド241の先端に設けられた照明レンズ242と、集光用の左眼用光学系243aおよび右眼用光学系243bと、光学系243の結像位置に設けられ、左眼用光学系243aおよび右眼用光学系243bが集光した光を受光して電気信号に光電変換して所定の信号処理を施す撮像部244と、を有する。

0023

左眼用光学系243aは、一または複数のレンズを用いて構成され、撮像部244の前段に設けられて被写体からの入射光結像する。左眼用光学系243aは、画角を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有するものであってもよい。

0024

右眼用光学系243bは、一または複数のレンズを用いて構成され、撮像部244の前段に設けられて被写体からの入射光を、左眼用光学系243aとは視差を有して結像する。右眼用光学系243bは、画角を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有するものであってもよい。

0025

撮像部244は、左眼用撮像素子244_1aと、右眼用撮像素子244_1bと、左眼用信号処理部244_2aと、右眼用信号処理部244_2bとを備える。

0026

左眼用撮像素子244_1aは、処理装置3から受信した駆動信号に従って、左眼用光学系243aからの光を光電変換して、一枚の画像を構成する1フレーム分の電気信号(左眼用画像信号)を生成する。具体的には、左眼用撮像素子244_1aは、光量に応じた電荷蓄積するフォトダイオードや、フォトダイオードから転送される電荷を電圧レベルに変換するコンデンサ等をそれぞれ有する複数の画素がマトリックス状に配列され、各画素が左眼用光学系243aからの光を光電変換して電気信号を生成し、複数の画素のうち読み出し対象として任意に設定された画素が生成した電気信号を順次読み出して、画像信号として出力する。左眼用撮像素子244_1aは、処理装置3から受信したシャッターデータに基づいて、露光処理が制御される。左眼用撮像素子244_1aの受光面には、カラーフィルタが設けられ、各画素が、赤色(R)、緑色(G)および青色(B)の各色成分の波長帯域のうちのいずれかの波長帯域の光を受光する。

0027

右眼用撮像素子244_1bは、処理装置3から受信した駆動信号に従って、右眼用光学系243bからの光を光電変換して、一枚の画像を構成する1フレーム分の電気信号(右眼用画像信号)を生成する。具体的には、右眼用撮像素子244_1bは、光量に応じた電荷を蓄積するフォトダイオードや、フォトダイオードから転送される電荷を電圧レベルに変換するコンデンサ等をそれぞれ有する複数の画素がマトリックス状に配列され、各画素が右眼用光学系243bからの光を光電変換して電気信号を生成し、複数の画素のうち読み出し対象として任意に設定された画素が生成した電気信号を順次読み出して、画像信号として出力する。右眼用撮像素子244_1bは、処理装置3から受信したシャッターデータに基づいて、露光処理が制御される。右眼用撮像素子244_1bの受光面には、カラーフィルタが設けられ、各画素が、赤色(R)、緑色(G)および青色(B)の各色成分の波長帯域のうちのいずれかの波長帯域の光を受光する。

0028

左眼用撮像素子244_1aおよび右眼用撮像素子244_1bは、例えばCCD(Charge Coupled Device)イメージセンサや、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサを用いて実現される。また、左眼用撮像素子244_1aおよび右眼用撮像素子244_1bは、各々、単板のイメージセンサを用いて構成されるものであってもよいし、例えば3板方式等の複数のイメージセンサを用いて構成されるものであってもよい。

0029

左眼用撮像素子244_1aにより得られる左眼用画像、および右眼用撮像素子244_1bにより得られる右眼用画像は、共通の被写体が写った異なる視野の画像であって、かつ視差を有する画像である。

0030

なお、本実施の形態にかかる撮像部244は、左眼用光学系243aおよび右眼用光学系243bにそれぞれ対応する二つの撮像素子を有するものとして説明するが、一枚の画像を構成する1フレーム分の電気信号を生成する。なお、本実施の形態では、左眼用光学系243aおよび右眼用光学系243bがそれぞれ結像した光を、左眼用光学系243aおよび右眼用光学系243bに応じて二つの撮像素子により受光するものとして説明するが、同一の撮像素子によって受光領域を分けて受光するようにしてもよい。

0031

左眼用信号処理部244_2aは、左眼用撮像素子244_1aから出力された左眼用画像データアナログ)に対してノイズ除去処理クランプ処理を行うアナログ処理や、A/D変換処理を行うA/D変換処理を施し、左眼用画像を含む左眼用画像データ(デジタル)を、処理装置3に出力する。

0032

右眼用信号処理部244_2bは、右眼用撮像素子244_1bから出力された右眼用画像データ(アナログ)に対してノイズ除去処理やクランプ処理を行うアナログ処理や、A/D変換処理を行うA/D変換処理を施し、右眼用画像を含む右眼用画像データ(デジタル)を、処理装置3に出力する。

0033

操作部22は、湾曲部25を上下方向および左右方向に湾曲させる湾曲ノブ221と、被検体の体腔内に生検鉗子電気メスおよび検査プローブ等の処置具を挿入する処置具挿入部222と、処理装置3に加えて、送気手段、送水手段、画面表示制御等の周辺機器操作指示信号を入力する操作入力部である複数のスイッチ223と、を有する。処置具挿入部222から挿入される処置具は、先端部24の処置具チャンネル(図示せず)を経由して開口部(図示せず)から表出する。

0034

ユニバーサルコード23は、ライトガイド241と、一または複数の信号線をまとめた集合ケーブル245と、を少なくとも内蔵している。集合ケーブル245は、画像信号を伝送するための信号線や、撮像部244を駆動するための駆動信号を伝送するための信号線、内視鏡2(撮像部244)に関する固有情報等を含む情報を送受信するための信号線を含む。なお、本実施の形態では、信号線を用いて電気信号を伝送するものとして説明するが、光信号を伝送するものであってもよいし、無線通信により内視鏡2と処理装置3との間で信号を伝送するものであってもよい。

0035

また、内視鏡2には、撮像部244が有する撮像素子に対応する感度補正パラメータなどの感度補正情報を記憶する感度補正情報メモリ27を有する。また、内視鏡2は、当該内視鏡2の情報を記憶するメモリ(図示せず)を有している。このメモリには、内視鏡2の種別型番、左眼用撮像素子244_1a、右眼用撮像素子244_1bの種別等を示す識別情報を記録する。なお、メモリは、ホワイトバランス(WB)調整用のパラメータ等、左眼用撮像素子244_1a及び右眼用撮像素子244_1bが撮像した画像データに対する画像処理用の各種パラメータを記録していてもよい。

0036

内視鏡2の処理装置3への装着時、処理装置3との通信処理によって、上述した内視鏡2の情報を処理装置3に出力する。或いは、内視鏡2の情報に対応した規則に従ってコネクタ接続ピンが設けてあり、処理装置3は、内視鏡2の装着時に処理装置3側の接続ピンと内視鏡2側の接続ピンとの接続状態をもとに内視鏡2の接続を認識する場合もある。

0037

次に、処理装置3の構成について説明する。処理装置3は、画像統合部301と、感度補正部302と、第1画像処理部303と、第2画像処理部304と、OSD情報合成部305と、表示画像生成部306と、領域分割部307と、明るさ測定部308と、シャッターデータ生成部309と、入力部310と、記憶部311と、制御部312と、を備える。なお、本実施の形態では、感度補正部302、第1画像処理部303、第2画像処理部304、領域分割部307、明るさ測定部308、およびシャッターデータ生成部309によって信号処理部を構成している。

0038

画像統合部301は、内視鏡2から、撮像部244が生成した内視鏡画像を表す左眼用画像データおよび右眼用画像データを受信する。なお、画像信号取得部31は、内視鏡2から光信号として画像信号を受信した場合は光電変換を行ってデジタルの画像信号を生成する。

0039

画像統合部301は、受信した左眼用画像データおよび右眼用画像データを統合して一枚の統合画像データを生成する。図3は、本発明の一実施の形態にかかる内視鏡システムの画像統合部が統合した統合画像を説明する図である。画像合成部301は、図3に示すように左眼用画像WLと右眼用画像WRとを並べて配置することによって統合した一枚の統合画像WFを生成する。統合画像は、画素配列水平ラインを揃えて左眼用画像WLと右眼用画像WRとを並べるようにしてもよいし(例えば図3を参照)、垂直ラインを揃えて左眼用画像WLと右眼用画像WRとを並べるようにしてもよい。なお、この左眼用画像WLと右眼用画像WRは、有効画素領域外オプティカルブラック領域などの画素値を含んだ画像となっている。

0040

感度補正部302は、画像統合部301から入力された統合画像の感度補正を行う。具体的に、感度補正部302は、統合画像に対して、内視鏡2から入力された感度補正パラメータを用いて、左眼用画像と右眼用画像との間の感度補正を行う。これにより、内視鏡2が有する各撮像素子の感度に応じた補正処理を施すことができる。

0041

第1画像処理部303は、感度補正部302から入力された統合画像に基づいて、各画素位置について輝度成分(例えばYCrCbのY成分)の画素値、およびRGBの各色成分の画素値を算出するとともに、左眼用画像および右眼用画像に対する画素欠陥補正光学補正色補正オプティカルブラック減算、ノイズリダクションホワイトバランス調整補間処理等の信号処理を施す。画素欠陥補正は、欠陥画素の周囲の画素の画素値に基づいて、欠陥画素の画素値を付与する。光学補正は、レンズの光学歪み等の補正を行う。色補正は、色温度の補正や、色偏差の補正を行う。

0042

第2画像処理部304は、入力部310を介して設定入力された設定にしたがって、第1画像処理部303が画像処理を施した統合画像に対してズーム処理や、エンハンス処理を施す。具体的に、第2画像処理部304は、例えば、入力部310を介して赤色成分を強調する旨の設定がなされている場合、R成分を強調するエンハンス処理を施す。

0043

感度補正部302、第1画像処理部303、第2画像処理部304および明るさ測定部308は、各々一つの回路を用いて構成されている。感度補正部302、第1画像処理部303、第2画像処理部304および明るさ測定部308は、CPU(Central Processing Unit)等の汎用プロセッサや、ASIC(Application Specific IntegratedCircuit)、処理内容書き換え可能なプログラマブルロジックデバイスであるFPGA(Field Programmable Gate Array)等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。

0044

OSD情報合成部305は、内視鏡画像の表示領域を含む背景画像に、内視鏡画像に関する文字情報を合成した合成画像を生成する。具体的に、OSD情報合成部305は、後述するOSD情報記憶部311bを参照して、表示画面を構成する背景画像、例えば黒色背景に対し、撮像した内視鏡画像に関する文字情報等を重畳して合成する。

0045

表示画像生成部306は、OSD情報合成部305により合成処理が施された合成画像を含む画像信号が入力されると、表示装置4で表示可能な態様の信号となるような信号処理を施して、表示用の画像信号を生成する。具体的に、表示画像生成部306は、まず、画像信号から統合画像における左眼用画像および右眼用画像を抽出し、左眼用画像および右眼用画像を互いに離れた位置であって、視差を与える位置に配置していわゆるサイドバイサイド画像と呼ばれる視差画像を生成する。その後、表示画像生成部306は、生成した視差画像を、表示画面を構成する画像に重畳し、この画像を含む画像信号に対して圧縮処理等を行って、表示用の画像信号を生成する。表示画像生成部306は、生成した表示用の画像信号を表示装置4に送信する。なお、サイドバイサイド画像に限らず、例えば、左眼用画像のラインデータと右眼用画像のラインデータとを、視差を与えるシフト量分ずらして交互に配列させて統合したラインバイライン画像であってもよい。

0046

領域分割部307は、統合画像における左眼用画像および右眼用画像のそれぞれに対して領域分割を行う。具体的に、領域分割部307は、例えば、図3に示すように、左眼用画像WLおよび右眼用画像WRをそれぞれ3×3の九つの領域(領域RL,RR)に分割する。なお、本実施の形態では、同じ面積を有する九つの領域に分割するものとして説明するが、各領域の大きさは同等であってもよいし、一部が異なっていてもよいし、互いに異なっていてもよい。また、九つに限らず、二つ以上の領域に分割するものであればよい。

0047

明るさ測定部308は、領域分割部307が分割した各領域の明るさを検出して、左眼用画像および右眼用画像の明るさを測定する。具体的に、明るさ測定部308は、第1画像処理部303が算出した輝度成分の画素値に基づいて、各領域の平均画素値を明るさとして算出し、これらの平均画素値の平均値をそれぞれ算出して左眼用画像および右眼用画像の代表画素値を明るさとする。各領域の明るさ、ならびに左眼用画像および右眼用画像の各代表画素値は、平均値に限らず、最頻値最大値および最小値のいずれかであってもよい。なお、輝度成分に限らず、設定された色味に応じて、RGBのうちのいずれかの色成分の画素値を用いるようにしてもよい。また、各領域に重み付けを行って、明るさを測定するようにしてもよい。

0048

シャッターデータ生成部309は、明るさ測定部308が測定した左眼用画像および右眼用画像の明るさをもとに、左眼用撮像素子244_1aおよび右眼用撮像素子244_1bのシャッターデータを生成する。具体的に、シャッターデータ生成部309は、左眼用画像および右眼用画像の明るさと、設定されている明るさ目標値と、後述するシャッター設定情報記憶部311aに記憶されている設定条件とをもとに、左眼用撮像素子244_1aおよび右眼用撮像素子244_1bの露光時間(シャッター速度)を算出し、これをシャッターデータとする。シャッターデータは、制御部312を介して撮像部244に送信される。なお、シャッターデータ生成部309は、算出された明るさが、予め設定されている閾値を超えた場合は、シャッターデータを、予め設定されている最大露光時間、または撮像素子に応じた最大露光時間に設定する。

0049

入力部310は、キーボードマウス、スイッチ、タッチパネルを用いて実現され、内視鏡システム1の動作を指示する動作指示信号等の各種信号の入力を受け付ける。なお、入力部310は、操作部22に設けられたスイッチや、外部のタブレット型のコンピュータ等の可搬型端末を含んでいてもよい。

0050

記憶部311は、内視鏡システム1を動作させるための各種プログラム、および内視鏡システム1の動作に必要な各種パラメータ等を含むデータや、所定の画像処理が施された画像情報と該画像情報に関する文字情報とを重畳した合成画像を生成する合成処理、いわゆるオンスクリーンディスプレイ(OSD)処理に関する情報等を記憶する。文字情報は、患者情報機器情報及び検査情報等を示す情報である。また、記憶部311は、処理装置3の識別情報を記憶する。ここで、識別情報には、処理装置3の固有情報(ID)、年式およびスペック情報等が含まれる。

0051

また、記憶部311は、処理装置3の画像取得処理方法を実行するための画像取得処理プログラムを含む各種プログラムを記憶する。各種プログラムは、ハードディスクフラッシュメモリCD−ROM、DVD−ROM、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。なお、上述した各種プログラムは、通信ネットワークを介してダウンロードすることによって取得することも可能である。ここでいう通信ネットワークは、例えば既存の公衆回線網、LAN(Local Area Network)、WAN(Wide Area Network)等によって実現されるものであり、有線無線を問わない。

0052

また、記憶部311は、明るさ目標値に対する露光時間などのシャッターの設定条件を記憶するシャッター設定情報記憶部311aと、表示画像を構成する背景画像や、この背景画像に内視鏡画像等の情報に関する文字情報を重畳した合成画像を生成する合成処理、いわゆるオンスクリーンディスプレイ(OSD)処理に関する情報を記憶するOSD情報記憶部311bとを有する。文字情報は、患者情報、機器情報及び検査情報等を示す情報である。

0053

以上の構成を有する記憶部311は、各種プログラム等が予めインストールされたROM(Read Only Memory)、および各処理の演算パラメータやデータ等を記憶するRAM(Random Access Memory)やハードディスク等を用いて実現される。

0054

制御部312は、CPU等の汎用プロセッサやASIC等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成され、撮像部244および光源部3aを含む各構成部の駆動制御、および各構成部に対する情報の入出力制御等を行う。制御部312は、記憶部311に記憶されている撮像制御のための制御情報データ(例えば、読み出しタイミング等)や、シャッターデータ生成部309が生成したシャッターデータを、集合ケーブル245に含まれる所定の信号線を介して駆動信号として撮像部244へ送信する。また、制御部312は、表示画像生成部306が生成した表示用の画像信号に応じた画像を表示装置4に表示させる制御を行う。

0055

続いて、光源部3aの構成について説明する。光源部3aは、照明部321と、照明制御部322と、を備える。照明部321は、照明制御部322の制御のもと、被写体(被検体)に対して、異なる露光量の照明光を順次切り替えて出射する。照明部321は、光源321aと、光源ドライバ321bと、を有する。

0056

光源321aは、白色光を出射するLED光源や、一または複数のレンズ等を用いて構成され、LED光源の駆動により光(照明光)を出射する。光源321aが発生した照明光は、ライトガイド241を経由して先端部24の先端から被写体に向けて出射される。また、光源321aは、LED光源や、レーザー光源キセノンランプハロゲンランプ等のいずれかを用いて実現される。

0057

光源ドライバ321bは、照明制御部322の制御のもと、光源321aに対して電流を供給することにより、光源321aに照明光を出射させる。

0058

照明制御部322は、制御部312からの制御信号調光信号)に基づいて、光源321aに供給する電力量を制御するとともに、光源321aの駆動タイミングを制御する。

0059

表示装置4は、映像ケーブルを介して処理装置3(表示画像生成部306)から受信した画像信号に対応する表示画像を表示する。表示装置4は、液晶または有機EL(Electro Luminescence)等のモニタを用いて構成される。

0060

ユーザは、表示装置4に表示された視差画像を、偏光特性を有する眼鏡を介して観察する。これにより、ユーザは、左眼により左眼用画像を観察し、右眼により右眼用画像を観察することによって、立体画像を観察することができる。

0061

続いて、内視鏡システム1が行う画像処理について説明する。図4は、本発明の一実施の形態にかかる処理装置が行う画像処理を示すフローチャートである。以下、制御部312の制御のもと、各部が動作するものとして説明する。

0062

まず、処理装置3が内視鏡2から撮像部244が生成した内視鏡画像を表す左眼用画像データおよび右眼用画像データを受信すると、画像統合部301が、左眼用画像および右眼用画像を統合した一枚の統合画像データを生成する。(ステップS101)。

0063

ステップS101に続くステップS102において、感度補正部302は、画像統合部301から入力された統合画像に対して、内視鏡2から入力された感度補正パラメータを用いて、左眼用画像と右眼用画像との間の感度補正を行う。

0064

ステップS102に続くステップS103において、第1画像処理部303は、感度補正部302から入力された統合画像における左眼用画像および右眼用画像に対して第1画像処理を施す。第1画像処理部303は、上述したように、各画素位置について輝度成分(例えばYCrCbのY成分)の画素値、およびRGBの各色成分の画素値を算出するとともに、画素欠陥補正、光学補正、色補正、オプティカルブラック減算、ノイズリダクション、ホワイトバランス調整、補間処理等の信号処理を施す。

0065

以下、第1信号処理部303により生成された統合画像に基づく表示画像の生成および表示処理(ステップS104A〜S104D)と、第1信号処理部303により算出された画素値に基づくシャッターデータの生成処理(ステップS105A〜S105C)とを並列に行う。

0066

まず、統合画像に基づく表示画像の生成および表示処理について説明する。ステップS104Aにおいて、第2画像処理部304は、入力部310を介して設定入力された設定にしたがって、第1画像処理部303が画像処理を施した統合画像に対してズーム処理や、エンハンス処理などの第2画像処理を施す。

0067

ステップS104Aに続くステップS104Bにおいて、OSD情報合成部305は、内視鏡画像の表示領域を含む背景画像に、内視鏡画像に関する文字情報(OSD情報)を合成した合成画像を生成する。

0068

ステップS104Bに続くステップS104Cにおいて、表示画像生成部306は、OSD情報合成部305により合成処理が施された合成画像を含む画像信号が入力されると、視差画像を生成して合成画像に重畳した後、表示装置4で表示可能な態様の信号となるような信号処理を施した表示画像を含む表示用の画像信号を生成する。なお、ステップ104Cが生成する表示画像は、背景を有しない画像であって、視差画像に文字情報が重畳された画像であってもよい。

0069

ステップS104Cに続くステップS104Dにおいて、制御部312は、OSD情報合成部305により生成された合成画像に、表示画像生成部306が生成した視差画像を重畳して信号処理が施された表示画像を、表示装置4に表示させる。

0070

また、上述した統合画像に基づく表示画像の生成および表示処理(ステップS104A〜S104D)と並行して、第1信号処理部303により算出された画素値に基づくシャッターデータの生成処理を行う。

0071

ステップS105Aにおいて、領域分割部307は、統合画像における左眼用画像および右眼用画像のそれぞれに対して領域分割処理を行う。領域分割部307は、例えば、図3に示すように、左眼用画像および右眼用画像をそれぞれ3×3の九つの領域に分割する。

0072

ステップS105Aに続くステップS105Bにおいて、明るさ測定部308は、領域分割部307が分割した各領域の明るさを検出して、統合画像における左眼用画像および右眼用画像の明るさを測定する。明るさ測定部308は、画素値に基づいて、左眼用画像および右眼用画像の明るさを算出する。

0073

ステップS105Bに続くステップS105Cにおいて、シャッターデータ生成部309は、明るさ測定部308が測定した左眼用画像および右眼用画像の明るさをもとに、左眼用撮像素子244_1aおよび右眼用撮像素子244_1bのシャッターデータを生成する。シャッターデータ生成部309は、上述したように、左眼用画像および右眼用画像の明るさと、設定されている明るさ目標値と、後述するシャッター設定情報記憶部311aに記憶されている設定条件とをもとに、左眼用撮像素子244_1aおよび右眼用撮像素子244_1bの露光時間を算出する。生成されたシャッターデータは、制御部312を介して撮像部244に送信される。この送信されたシャッターデータは、当該フレームの次のフレームの撮像を行う際に適用される。

0074

第1信号処理部303により生成された統合画像に基づく表示画像の生成および表示処理(ステップS104A〜S104D)と、第1信号処理部303により算出された画素値に基づくシャッターデータの生成処理(ステップS105A〜S105C)とが終了すると、制御部312は、新たな画像信号が内視鏡2から入力されたか否かを判断する(ステップS106)。制御部312は、例えば、新たな画像信号が内視鏡2から入力されたと判断すると(ステップS106:Yes)、ステップS101に戻って上述した処理を繰り返す。この際に取得された画像信号は、例えば、ステップS105Cにおいて生成されたシャッターデータに基づいて撮像された画像を含んでいる。これに対し、新たな画像信号は入力されていないと判断すると(ステップS106:No)、上述した画像処理を終了する。

0075

上述した本発明の一実施の形態によれば、感度補正部302、第1画像処理部303、第2画像処理部304および明るさ測定部308を、各々一つの回路を用いて構成し、画像統合部301が統合した一枚の統合画像データを用いて表示画像の生成処理と、明るさ測定処理とを行うようにしたので、右眼用画像と左眼用画像とを用いて視差画像を生成し、かつ右眼用画像および左眼用画像から明るさを測定する信号処理回路の回路規模を小さくすることができる。

0076

なお、上述した実施の形態では、領域分割部307が、左眼用画像および右眼用画像を分割するものとして説明したが、各画像の明るさを算出できるものであれば、領域分割部307を有しない構成とし、明るさ測定部308が、左眼用画像および右眼用画像の全部または一部の画素値に基づいて明るさを算出するようにしてもよい。

0077

また、上述した実施の形態では、左眼用画像および右眼用画像の明るさをもとに、露光時間(シャッター速度)を制御するものとして説明したが、左眼用画像および右眼用画像の明るさをもとに、光源321aが発する光の強度を制御するようにしてもよいし、露光時間と光の強度を組み合わせて制御するようにしてもよい。この際、左眼用画像および右眼用画像のいずれかを用いて明るさが測定される。

0078

(実施の形態の変形例)
本変形例では、右眼用画像および左眼用画像を統合する画像統合部を、内視鏡側に設ける。図5は、本発明の実施の形態の変形例にかかる内視鏡システムの概略構成を示すブロック図である。

0079

図5に示す内視鏡システム1Aは、被検体内に先端部を挿入することによって被検体内の画像(以下、内視鏡画像ともいう)を撮像する内視鏡2Aと、内視鏡2Aの先端から出射する照明光を発生する光源部3aを有し、内視鏡2Aが撮像した画像信号に所定の信号処理を施すとともに、内視鏡システム1A全体の動作を統括的に制御する処理装置3Aと、処理装置3Aの信号処理により生成された内視鏡画像を表示する表示装置4と、を備える。

0080

内視鏡2Aは、上述した内視鏡2の構成において、先端部24に代えて先端部24Aを備る。先端部24Aは、上述したライトガイド241、照明レンズ242と、左眼用光学系243aおよび右眼用光学系243b、撮像部244に加え、画像統合部246を備える。画像統合部246は、上述した画像統合部301と同様に、撮像部244から入力された左眼用画像データおよび右眼用画像データを統合して一枚の統合画像データを生成する。内視鏡2Aは、画像統合部246が生成した統合画像データを処理装置3Aに送信する。

0081

処理装置3Aは、上述した感度補正部302、第1画像処理部303、第2画像処理部304、OSD情報合成部305、表示画像生成部306、領域分割部307、明るさ測定部308、シャッターデータ生成部309、入力部310、記憶部311、制御部312を備える。

0082

感度補正部302は、内視鏡2Aから入力された統合画像の感度補正を行う。具体的に、感度補正部302は、内視鏡2Aから入力された統合画像に対して、内視鏡2Aから入力された感度補正パラメータを用いて、左眼用画像と右眼用画像との間の感度補正を行う。本変形例によっても、内視鏡2Aが有する各撮像素子の感度に応じた補正処理を施すことができる。

0083

その後の表示画像の生成および表示処理、および、シャッターデータの生成処理は、上述した実施の形態と同様であり、図4のフローチャートに従って実行される。

0084

上述した本変形例によれば、上述した実施の形態と同様、感度補正部302、第1画像処理部303、第2画像処理部304および明るさ測定部308を、各々一つの回路を用いて構成し、画像統合部246が統合した一枚の統合画像データを用いて表示画像の生成処理と、明るさ測定処理とを行うようにしたので、右眼用画像と左眼用画像とを用いて視差画像を生成し、かつ右眼用画像および左眼用画像から明るさを測定する信号処理回路の回路規模を小さくすることができる。

0085

また、上述した本変形例によれば、内視鏡2Aと処理装置3Aとの間の画像データの送受信について、画像統合部246により統合された統合画像データを処理装置3Aに送信するようにしたので、シリアルな画像データを送信することになり、画像データをパラレルに伝送する場合と比して、信号線を削減することができる。これにより、例えば挿入部21を細径化することが可能である。

0086

なお、上述した変形例では、画像統合部246を内視鏡2Aに設けるものとして説明したが、さらに、処理装置3Aが有する構成を、内視鏡2Aに設けて、内視鏡2Aと表示装置4とを直接接続して、視差画像を表示する構成としてもよい。

0087

上述した実施の形態では、左眼用撮像素子244_1aにより得られる左眼用画像、および右眼用撮像素子244_1bにより得られる右眼用画像が、共通の被写体が写った異なる視野の画像であって、かつ視差を有する画像であるものとして説明したが、例えば、同一の視野を有する画像であって、照明光の波長帯域が異なる画像や、異なる特性を有するフィルタを通過した光に基づく画像であってもよい。このように、本実施の形態にかかる内視鏡システム1,1Aは、被写体像の特性が異なる複数の画像を処理する構成において、処理装置の回路規模を小さくすることが可能である。また、例えば、双眼型のカプセル型内視鏡が撮像した、異なる被写体が写った異なる視野の画像の信号処理を行う場合でも、カプセル型内視鏡から受信した画像信号の処理を行う処理装置の回路規模を小さくすることが可能である。

0088

また、上述した実施の形態では、処理装置3が、YCbCr色空間に基づく輝度(Y)成分の画素値、およびRGBの各色成分画素値を生成するものとして説明したが、色相(Hue)、彩度(Saturation Chroma)、明度(Value Lightness Brightness)の三つの成分からなるHSV色空間や、三次元空間を用いるL*a*b*色空間等を用いて、色と輝度とに分けた成分の画素値を生成するものであってもよい。

0089

また、上述した実施の形態では、光源部3aからRGBの各色成分を含む白色の照明光が出射され、受光部が照明光による反射光を受光する同時式の照明/撮像方式であるものとして説明したが、光源部3aが、各色成分の光を個別に順次出射して、受光部が、各色成分の光をそれぞれ受光する面順次式の照明/撮像方式であってもよい。

0090

また、上述した実施の形態では、光源部3aが内視鏡2とは別体で構成されているものとして説明したが、例えば、内視鏡2の先端に半導体光源を設ける等、光源装置を内視鏡2に設けた構成であってもよい。さらに、内視鏡2に処理装置3の機能を付与してもよい。

0091

また、上述した実施の形態では、光源部3aが、処理装置3とは一体であるものとして説明したが、光源部3aおよび処理装置3が別体であって、例えば処理装置3の外部に照明部321および照明制御部322が設けられているものであってもよい。また、光源321aが先端部24の先端に設けられているものであってもよい。

0092

また、上述した実施の形態では、本発明にかかる内視鏡システムは、観察対象が被検体内の生体組織等である軟性の内視鏡2を用いた内視鏡システム1であるものとして説明したが、硬性の内視鏡や、材料の特性を観測する工業用の内視鏡、カプセル型の内視鏡、ファイバースコープ光学視管等の光学内視鏡の接眼部にカメラヘッドを接続したものを用いた内視鏡システムであっても適用できる。

0093

以上のように、本発明にかかる画像処理システムおよび画像処理装置は、右眼用画像と左眼用画像とを用いて視差画像を生成し、かつ右眼用画像および左眼用画像から明るさを測定する信号処理回路の回路規模を小さくするのに有用である。

0094

1内視鏡システム
2,2A内視鏡
3,3A処理装置
3a光源部
4表示装置
21 挿入部
22 操作部
23ユニバーサルコード
24 先端部
25湾曲部
26可撓管部
27感度補正情報メモリ
243a左眼用光学系
243b右眼用光学系
244撮像部
244_1a左眼用撮像素子
244_1b右眼用撮像素子
244_2a 左眼用信号処理部
244_2b 右眼用信号処理部
246,301画像統合部
302感度補正部
303 第1画像処理部
304 第2画像処理部
305OSD情報合成部
306表示画像生成部
307領域分割部
308 明るさ測定部
309シャッターデータ生成部
310 入力部
311 記憶部
311aシャッター設定情報記憶部
311b OSD情報記憶部
312 制御部
321照明部
322照明制御部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ