図面 (/)

技術 同期補償回路、内視鏡装置、内視鏡システム、および同期補償方法

出願人 HOYA株式会社
発明者 人形洋一坂本洋
出願日 2018年7月13日 (2年11ヶ月経過) 出願番号 2018-133585
公開日 2020年1月23日 (1年4ヶ月経過) 公開番号 2020-014065
状態 未査定
技術分野 内視鏡 孔内観察装置 閉回路テレビジョンシステム
主要キーワード アラインパターン タイミングコード LVDSデータ 屈曲機構 オーバーサンプリング後 イネーブルフラグ 樹脂製筐体 データ比較処理
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年1月23日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (12)

課題

内視鏡システムにおける画像生成処理において破綻を来すことを回避するための技術を提供する。

解決手段

同期補償回路1104は、所望の画像データから所定の同期コードを検出し、検出結果に応じた制御情報画像処理部1105に送信する。同期補償回路は、所望の画像データが1水平ライン目の同期コードを含むか否か判断し、当該1水平ライン目の同期コードが検出できたか否かを示す第1情報を出力する同期コード検出部11041と、ブランキングデータと所望の画像データとの一致数を示す第1値と、1水平ライン目の同期コードと所望の画像データとの一致数を示す第2値との関係から、1水平ライン目の同期コードに少なくとも類似するコードを検出したか否かを示す第2情報を出力する同期コード推測部と、第1情報および第2情報に基づいて制御情報を生成して画像処理部に出力するタイミングコントローラ11045と、を備える。

概要

背景

電子内視鏡や電子内視鏡システムにおいては、撮像素子が取得した画像データ(例えば、LVDフォーマットの画像データ)を伝送してこれを処理することが行われる。画像データの処理は、例えば、8b/10b等の符号化アルゴリズムを利用した高速シリアル転送方式の他、クロック埋め込みを利用したチープアルゴリズムであるエンベデット・クロック方式により実行される。

エンベデット・クロック方式では、スタートビットエンドビットを含んでパケット化されたデータビット列が伝送され、受信側(LVDS受信回路)では、データビット列に適したワードアラインパターンに従って、スタートビットとエンドビットを外すデータ復号化処理(ワードアライン処理)が実行される。そして、同期補償回路が、復号化データから同期コードタイミングコード)を検出し、フレームデータ処理を行う。

概要

内視鏡システムにおける画像生成処理において破綻を来すことを回避するための技術を提供する。同期補償回路1104は、所望の画像データから所定の同期コードを検出し、検出結果に応じた制御情報画像処理部1105に送信する。同期補償回路は、所望の画像データが1水平ライン目の同期コードを含むか否か判断し、当該1水平ライン目の同期コードが検出できたか否かを示す第1情報を出力する同期コード検出部11041と、ブランキングデータと所望の画像データとの一致数を示す第1値と、1水平ライン目の同期コードと所望の画像データとの一致数を示す第2値との関係から、1水平ライン目の同期コードに少なくとも類似するコードを検出したか否かを示す第2情報を出力する同期コード推測部と、第1情報および第2情報に基づいて制御情報を生成して画像処理部に出力するタイミングコントローラ11045と、を備える。

目的

本開示はこのような状況に鑑みてなされたものであり、内視鏡システムにおける画像生成処理において破綻を来すことを回避するための技術を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

所望の画像データから所定の同期コードを検出し、検出結果に応じた制御情報画像処理部に送信する同期補償回路であって、前記所望の画像データが1水平ライン目の同期コードを含むか否か判断し、当該1水平ライン目の同期コードが検出できたか否かを示す第1情報を出力する同期コード検出部と、ブランキングデータと前記所望の画像データとの一致数を示す第1値と、前記1水平ライン目の同期コードと前記所望の画像データとの一致数を示す第2値との関係から、前記1水平ライン目の同期コードに少なくとも類似するコードを検出したか否かを示す第2情報を出力する同期コード推測部と、前記第1情報および前記第2情報に基づいて前記制御情報を生成して前記画像処理部に出力するタイミングコントローラと、を備える同期補償回路。

請求項2

請求項1において、前記同期コード検出部は、前記所望の画像データが前記1水平ライン目の同期コードと完全に一致するコードを含むか否か判断し、完全一致したことを示すイネーブル信号を前記第1情報として出力する、同期補償回路。

請求項3

請求項1または2において、前記同期コード推測部は、前記第1値が前記第2値よりも大きい場合に、前記所望の画像データに前記1水平ライン目の同期コードに少なくとも類似するコードを検出できたことを示すイネーブル信号を前記第2情報として出力する、同期補償回路。

請求項4

請求項1から3の何れか1項において、前記タイミングコントローラは、前記第1情報と前記第2情報とが一致する場合以外は、前記所望の画像データの信頼性が低いことを示す第3情報を前記画像処理部に出力する、同期補償回路。

請求項5

請求項4において、前記タイミングコントローラは、Hブランキング期間中において、前記第1情報と前記第2情報とが一致するか判断する、同期補償回路。

請求項6

光を被検体照射して得られる像を撮像する撮像素子と、前記撮像素子からの画像データを受信してプロセッサ側に送信する受信回路と、を備え、前記受信回路は、請求項1から5の何れか1項に記載の同期補償回路を含む、内視鏡装置

請求項7

請求項6に記載の内視鏡装置と、前記内視鏡装置が接続され、前記受信回路から画像データを取得して処理するプロセッサと、前記プロセッサによって処理された画像を表示する表示装置と、を備える内視鏡システム

請求項8

撮像素子によって取得された画像データから所定の同期コードを検出し、検出結果に応じた制御情報を画像処理部に送信する同期補償方法であって、同期コード検出部が、前記画像データが1水平ライン目の同期コードを含むか否か判断し、当該1水平ライン目の同期コードが検出できたか否かを示す第1情報を出力することと、同期コード推測部が、ブランキングデータと前記画像データとの一致数を示す第1値と、前記1水平ライン目の同期コードと前記画像データとの一致数を示す第2値との関係から、前記1水平ライン目の同期コードに少なくとも類似するコードを検出したか否かを示す第2情報を出力することと、タイミングコントローラが、前記第1情報および前記第2情報に基づいて前記制御情報を生成して前記画像処理部に出力することと、を含む同期補償方法。

技術分野

0001

本開示は、同期補償回路内視鏡装置内視鏡システム、および同期補償方法に関する。

背景技術

0002

電子内視鏡や電子内視鏡システムにおいては、撮像素子が取得した画像データ(例えば、LVDフォーマットの画像データ)を伝送してこれを処理することが行われる。画像データの処理は、例えば、8b/10b等の符号化アルゴリズムを利用した高速シリアル転送方式の他、クロック埋め込みを利用したチープアルゴリズムであるエンベデット・クロック方式により実行される。

0003

エンベデット・クロック方式では、スタートビットエンドビットを含んでパケット化されたデータビット列が伝送され、受信側(LVDS受信回路)では、データビット列に適したワードアラインパターンに従って、スタートビットとエンドビットを外すデータ復号化処理(ワードアライン処理)が実行される。そして、同期補償回路が、復号化データから同期コードタイミングコード)を検出し、フレームデータ処理を行う。

先行技術

0004

特開2009−201540号公報
特開2014−110843号公報
特開2014−110855号公報

発明が解決しようとする課題

0005

しかしながら、データ復号時にLVDSデータオーバーサンプリングすると、誤ビットを発生させる可能性がある。復号データに誤ビットが含まれていると、同期補償回路においてフレームの先頭画素を示す同期コード(1水平ライン目のSAV;以下、1H目SAVという)を正しく検出できなくなり、正しいフレームデータを後段画像処理回路に送信できなくなる。その結果、内視鏡システムにおける画像生成処理破綻を来し、映像信号を正常に出力できなくなってしまう。

0006

本開示はこのような状況に鑑みてなされたものであり、内視鏡システムにおける画像生成処理において破綻を来すことを回避するための技術を提供する。

課題を解決するための手段

0007

上記課題を解決するために、本実施形態の同期補償回路は、所望の画像データから所定の同期コードを検出し、検出結果に応じた制御情報画像処理部に送信する同期補償回路であって、
所望の画像データが1水平ライン目の同期コードを含むか否か判断し、当該1水平ライン目の同期コードが検出できたか否かを示す第1情報を出力する同期コード検出部と、
ブランキングデータと所望の画像データとの一致数を示す第1値と、1水平ライン目の同期コードと所望の画像データとの一致数を示す第2値との関係から、1水平ライン目の同期コードに少なくとも類似するコードを検出したか否かを示す第2情報を出力する同期コード推測部と、
第1情報および第2情報に基づいて制御情報を生成して画像処理部に出力するタイミングコントローラと、
を備える。

0008

本開示に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、本開示は、要素及び多様な要素の組み合わせ及び以降の詳細な記述と添付される請求の範囲の様態により達成され実現される。本明細書の記述は典型的な例示に過ぎず、請求の範囲又は適用例を如何なる意味に於いても限定するものではないことを理解する必要がある。

発明の効果

0009

本開示によれば、内視鏡システムにおける画像生成処理の破綻を回避し、映像信号を正常に出力できるようになる。

図面の簡単な説明

0010

本実施形態による電子内視鏡システム1の構成例を示すブロック図である。
電子スコープ100およびプロセッサ200の内部構成例を示す図である。
本実施形態による受信回路110の内部構成例を示す図である。
ワードアライン後伝送画像データのフォーマット例を示す図である。
LVDS出力データフォーマット表現されたHブランキングデータと同期コード(ワードアライン処理によってスタートビットおよびエンドビットを取り除く前のデータ構成)を示す図である。
同期補償部1104で用いられるHブランキングデータと同期コード(SAV)の構造を示す図である。
本実施形態による電子スコープ100に設けられた同期補償部1104の内部構成例を示すブロック図である。
Hブランキングデータと1H目SAVの1stおよび2ndワードとを比較する処理を説明する図である。
同期コード検出部11041の処理内容を説明するためのフローチャートである。
データ比較部11042における処理内容を説明するためのフローチャートである。
タイミングコントローラ11045による、画像処理部1105への制御信号出力処理を説明するためのフローチャートである。

実施例

0011

内視鏡装置の受信回路(撮像素子の後段に設置)においてチープアルゴリズム(スタート/エンドビットのみ)でパケット化された画像データから画像データを復号する際に、LVDSデータにオーバーサンプリングなどの処理によってジッタが多く含まれている場合、画像データ復号時に誤ビットが発生する可能性がある。この誤ビットが原因でフレームデータの先頭画素を示す同期コード(例えば、1stワードから4thワードで構成される1H目SAV)が適切に検出できなくなる可能性がある。1H目SAVが適切に検出できない結果、内視鏡システムの画像処理に破綻を来し、画像(映像)信号を正常に出力できなくなってしまうという課題があった。

0012

本実施形態は、以下に、このような課題を解決する技術について詳細に開示する。一例として、本実施形態は、画像データに1H目SAVと完全一致するコードか含まれるか判定すると共に、1H目SAV(例えば、1H目SAVとして検出した同期コードの1stワードおよび2ndワード)とブランキングデータ(Hブランキングデータ)と画像データとの一致数と、1H目SAVと画像データとの一致数との関係から、1H目SAVに少なくとも類似するコードを検出したか否かを判定し、2つの判定結果に基づいて制御情報を生成して画像処理部に出力する同期補償処理について開示する。ただし、本実施形態は当該課題を解決するための一例であり、本開示の技術的思想は特許請求の範囲に表され、本開示の技術的思想を限定するものではない。

0013

<電子内視鏡システム1の外観構成例>
図1は、本実施形態による電子内視鏡システム1の構成例を示すブロック図である。図1に示されるように、電子内視鏡システム1は、例えば、医療用特化されたシステムであり、電子スコープ100と、プロセッサ200と、モニタ300(図1には簡略化のため省略)と、を備えている。

0014

図1に示されるように、電子スコープ100は、可撓性を有するシース外皮)11aによって外装された可撓管11を備えている。可撓管11の先端には、硬質性を有する樹脂製筐体によって外装された先端部12が連結されている。可撓管11と先端部12との連結箇所にある湾曲部14は、可撓管11の基端に連結された手元操作部13からの遠隔操作(例えば、湾曲操作ノブ13aの回転操作)によって屈曲自在に構成されている。この屈曲機構は、一般的な電子スコープに組み込まれている周知の機構であり、湾曲操作ノブ13aの回転操作に連動した操作ワイヤ牽引によって湾曲部14を屈曲させるように構成されている。先端部12の方向が上記操作による屈曲動作に応じて変わることにより、電子スコープ100による撮影領域が移動する。

0015

プロセッサ200は、電子スコープ100からの信号を処理する信号処理装置と、電子スコープ100を介して自然光が届かない体腔内で光を照射する光源装置とを一体に備えた装置である。なお、別の実施形態として、信号処理装置と光源装置を別体で構成してもよい。

0016

プロセッサ200は、電子スコープ100の基端に設けられたコネクタ部10に対応するコネクタ部20を備えている。コネクタ部20は、コネクタ部10に対応する連結構造を有し、電子スコープ100とプロセッサ200とを電気的にかつ光学的に接続するように構成されている。

0017

<電子内視鏡システム1の内部構成例>
図2は、主に、電子スコープ100およびプロセッサ200の内部構成例を示す図である。

0018

電子スコープ(内視鏡装置)100は、受信回路110と、ドライバ信号処理回路112とを備えている。ドライバ信号処理回路112には、照射光Lにより照射された生体組織撮像した各画素の画素データが固体撮像素子108よりフレーム周期で入力される。ドライバ信号処理回路112は、固体撮像素子108より入力される画素データに対して欠陥画素補正デモザイク、固体撮像素子108固有補正処理等の処理を施して画素データをプロセッサ200の信号処理回路220に出力する。なお、以降の説明において「フレーム」は「フィールド」に置き替えてもよい。

0019

ドライバ信号処理回路112は、メモリ114にアクセスして電子スコープ100の固有情報を読み出す。メモリ114に記録される電子スコープ100の固有情報には、例えば、固体撮像素子108の画素数感度、動作可能なフレームレート型番等が含まれる。ドライバ信号処理回路112は、メモリ114より読み出された固有情報をシステムコントローラ202に出力する。また、ドライバ信号処理回路112は、タイミングジェネレータ1121を含み、受信回路110に対してクロック信号を供給する。受信回路110に含まれる各種回路(例えば、オーバーサンプリング部、ワードアライン処理部、同期補償部や画像処理部など)は、タイミングジェネレータ1121から取得したクロック信号(受信回路110用基準クロック)に基づいて、各種回路の動作に必要なタイミング信号をそれぞれ生成している。

0020

プロセッサ200側の絞り212を通過した照射光Lは、LCB(Light Carrying Bundle)102の入射端面に集光されてLCB102内に入射される。入射端面よりLCB102内に入射された照射光Lは、LCB102内を伝播する。

0021

LCB102内を伝播した照射光Lは、電子スコープ100の先端に配置されたLCB102の射出端面より射出され、配光レンズ104を介して体腔内の生体組織を照射する。照射光Lにより照射された生体組織からの戻り光は、対物レンズ106を介して固体撮像素子108の受光面上で光学像を結ぶ。

0022

固体撮像素子108は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサを用いることができる。その他の種類の撮像装置に置き換えられてもよい。固体撮像素子108はまた、補色系フィルタを搭載したものであってもよい。

0023

撮像素子108によって生成された画像データは、受信回路110に入力される。受信回路110は、画像データをオーバーサンプリングし、得られたデータビット列から信頼性の高いデータビット列を選択する(復調処理)と共に、復調して得られるデータに対してワードアライン処理を行う。また、受信回路110は、ワードアライン処理された画像データ(SEビットが除かれたデータビット列)から同期コードを検出して(同期補償処理)、同期補償された画像データに対して所定の画像処理を実行し、プロセッサ200に受け渡すようにする。なお、受信回路110の内部構成および動作の詳細については図3以降の図面を用いて後述する。

0024

図2に示されるように、電子内視鏡システム1は、電子スコープ100に接続されるプロセッサ200と、所定のケーブルを介してプロセッサ200に接続されたモニタ300と、を備えている。

0025

プロセッサ200は、システムコントローラ202及びタイミングコントローラ204(電子スコープ100の受信回路110のタイミングコントローラ11045とは異なる)を備えている。システムコントローラ202は、メモリ230に記憶された各種プログラムを実行し、電子内視鏡システム1全体を統合的に制御する電子内視鏡システム1の各構成要素を制御する。また、システムコントローラ202は、操作パネル218に接続されている。システムコントローラ202は、操作パネル218より入力される術者あるいは操作者オペレータ)からの指示に応じて、電子内視鏡システム1の各動作の実行及び各動作のためのパラメータの変更を行う。術者による入力指示には、例えば電子内視鏡システム1の動作モードの切替指示がある。本実施形態では、動作モードとして、低周波強調モード中間周波数強調モード、高周波強調モード等がある。タイミングコントローラ204は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡システム1内の各回路に出力する。

0026

ランプ208は、ランプ電源イグナイタ206による始動後、主に可視光領域から不可視である赤外光領域に広がるスペクトルを持つ光(あるいは少なくとも可視光領域を含む光)を放射する。ランプ208としては、例えば、キセノンランプハロゲンランプ水銀ランプメタルハライドランプ等の高輝度ランプ又はLED(Light Emitting Diode)を用いることができる。ランプ208より放射された照射光Lは、集光レンズ210によって集光されつつ絞り212を介して適正な光量に制限される。

0027

絞り212には、図示省略されたアームギヤ等の伝達機構を介してモータ214が機械的に連結している。モータ214は例えばDCモータであり、ドライバ216のドライブ制御下で駆動する。絞り212は、モニタ300の表示画面に表示される映像を適正な明るさにするため、モータ214により動作され開度が変えられる。ランプ208より照射された白色光Lの光量は、絞り212の開度に応じて制限される。適正とされる映像の明るさの基準は、術者による操作パネル218の輝度調節操作に応じて設定変更される。なお、ドライバ216を制御して輝度調整を行う調光回路は周知の回路であり、本明細書においては省略することとする。

0028

操作パネル218の構成には様々な形態が想定されうる。操作パネル218は、例えば、プロセッサ200のフロント面実装された機能毎のハードウェアキータッチパネル式GUI(Graphical User Interface)や、ハードウェアキーとGUIとの組み合わせ等によって構成することができる。

0029

システムコントローラ202は、電子スコープ100の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ202は、生成された制御信号を用いて、プロセッサ200に接続されている電子スコープに適した処理がなされるようにプロセッサ200内の各種回路の動作やタイミングを制御する。

0030

プロセッサ200のタイミングコントローラ204は、システムコントローラ202によるタイミング制御に従って、ドライバ信号処理回路112にクロックパルスを供給する。ドライバ信号処理回路112は、タイミングコントローラ204から供給されるクロックパルスに従って、固体撮像素子108をプロセッサ200側で処理される映像のフレームレートに同期したタイミングで駆動制御する。

0031

プロセッサ200に備えられる信号処理回路220は、マトリックス回路222、YUV変換回路224、輪郭強調回路226及び出力回路228を有している。

0032

マトリックス回路222は、ドライバ信号処理回路112よりフレーム周期で入力されるRGB形式の画素データにマトリックス処理を施して、YUV変換回路224に出力する。YUV変換回路224は、マトリックス回路222より入力されるマトリックス処理後の画素データ(RGB形式)をYUV形式に変換し、変換処理によって得られた輝度信号(Y)、色差信号(U,V)を、それぞれ、輪郭強調回路226、出力回路228に出力する。輪郭強調回路226は、ラプラシアンフィルタローパスフィルタゲイン回路クリップ回路、および強調量計算回路などで構成され、画像における所定の周波数成分を強調する処理を行う。出力回路228は、輪郭強調回路226より入力される輝度信号(Y)及びYUV変換回路224より入力される色差信号(U,V)を所定のビデオフォーマット信号に変換する。出力回路228が順次入力される各画素のデータを所定のビデオフォーマット信号に変換してモニタ300に出力することにより、生体組織の特定の周波数成分を強調した強調画像を通常のカラー画像に重ね合わせたものがモニタ300の表示画面に表示される。

0033

<受信回路110の内部構成>
図3は、本実施形態による受信回路110の内部構成例を示す図である。なお、受信回路110の内部構成要素としては、図3に示される構成要素とは異なる構成要素を含んでいてもよい。

0034

図3に示されるように、受信回路110は、例えば、オーバーサンプリング部1101と、エッジ選択部1102と、ワードアライン処理部1103と、同期補償部1104と、画像処理部1105と、を備えている。

0035

オーバーサンプリング部1101は、固体撮像素子108からLVDSフォーマット(シリアルデータ)で伝送されてきた画像データ(例えば、20ビットのデータビット列(D0、D1、…、D18、D19)の先頭末尾に各1ビットのスタートビット(S)とエンドビット(E)を埋め込んでパケット化された22ビットを一単位として、これが複数サイクルに亘って連なったもの)を受信し、画像データ(データビット列)の各データビットをオーバーサンプリングして出力する。オーバーサンプリング部1101は、例えば、レシーバに対して入力シリアルデータレートの整数倍を設定することにより、オーバーサンプリング処理を実行する。なお、ここで、スタートビット(S)とエンドビット(E)は、同期クロックとも呼ばれるものであり、スタートビットのデータ値は“1”、エンドビットのデータ値は“0”で表される。周期が一定となるスタートビットとエンドビットの信号の遷移エッジを検出してこれを外すことによって、受信側で画素データを抽出することが可能になる。

0036

エッジ選択部1102は、オーバーサンプリング部1101によるオーバーサンプリング後のデータビット列の各データビットの一部分を選択することにより、オーバーサンプリング後のデータビット列を復調する。エッジ選択部1102は、例えば、データビット(D0)とデータビット(D1)をそれぞれ4倍した8ビットのデータの中から2ビットのデータを選択することにより、オーバーサンプリング後のデータビット列を復調する。

0037

ワードアライン処理部1103は、エッジ選択部1102で復調したデータビット列のワードアラインパターンの中から同期コード(ワードアラインのための同期コードであって、後述の同期補償処理時の同期コードとは異なる)を検出し、当該同期コードに従って位置決めした状態で、スタートビットとエンドビットを外す処理を実行し、スタートビットとエンドビットを外したビット列を後段の処理部に送信する。

0038

同期補償部1104は、ワードアライン後の画像データ(スタートビットとエンドビットが取り除かれたビット列)において、フレーム先頭画素を示す同期コード(例えば、SAV:Start of Active Video)を検出(1H(1水平期間)目のSAVを検出)し、同期が取れた画像データを後段の画像処理部1105に送信する。1Hのピクセル数は予め決まっているため、1H目のSAVが検出できれば、同期補償部1104は、各水平期間におけるSAVの位置を特定することができる。従って、各水平期間の当該特定された位置におけるコードがSAVと同一でない場合(例えば、オーバーサンプリングによるジッタによってSAVが別のコードになってしまうことがある)、同期補償部1104は、当該特定された位置におけるコードをSAVに置き換えることにより、後段における処理に影響を与えないようにすることができるようになる。さらに、同期補償部1104は、1H目において同期コード(SAV)そのものを検出できない場合、同期コードに近いコードを検出したときには、同期コード(SAV)そのものではないがそれに近いコードを検出したことを示す情報(後述のNGフレーム信号)を生成し、後段の画像処理部1105に送信する。なお、同期補償部1104の詳細については後述する。

0039

画像処理部1105は、例えば、フレームメモリを備え、フレームレートを変更する処理を実行する。また、例えば、画像処理部1105は、同期補償部1104から上記NGフレーム信号を受け取ると、該当するフレームに対して補正処理を実行する。補正処理の具体例として、前フレームの画像データをプロセッサ200に送信するようにしてもよいし、64FPSの画像データを用いて補間処理を行い、128FPSデータを生成してプロセッサ200に送信するようにしてもよいし、さらに予測画像を生成してプロセッサ200に送信するようにしてもよい。このようにすることにより、内視鏡診断中に、内視鏡画像乱れてしまうことを防止することが可能となる。

0040

<画像データのフォーマット>
図4は、ワードアライン後の伝送画像データのフォーマット例を示す図である。

0041

図4に示されるように、画像データフォーマットは、例えば、Vブランキングと、OB(Optical Black:OB_AからOB_C)と、ダミーデータと、EAVと、SAVと、Hブランキングとによって構成される。

0042

OBは、光学的に絶対的な黒のレベルを示す情報であり、他の色のレベルの基準となるデータである。画像処理部1105は、OBを用いることによって、例えば、あるピクセルの黒が本来の黒より明るい場合や暗い場合に、オフセットでレベルを下げたり上げたりするという処理を実行することが可能となる。図4のフォーマットは、複数のOB(OB_AからOB_C)が配置されているデータ構造例である。ダミーデータは、例えば、画像データの補正処理に用いたり、予め決められたデータ量とするために用いたり、時間調整のために用いたりするデータである。

0043

Vブランキングは、垂直帰線期間とも言い、現フィールドの最後の走査位置から次フィールドの最初の走査位置へ移行するための時間を示している。また、Hブランキングは、水平帰線期間とも言い、現水平ラインの最後の走査位置から次水ラインの最初の走査位置へ移行するための時間を示している。SAV(Start of Active Video)およびEAV(End of Active Video)は、同期コードであり、1フレーム中の各水平ラインにそれぞれ配置される。画像処理を行う上で特に重要な同期コードは、1H目SAVである。1H目SAVが検出できなければ、固体撮像素子108側でフレームレートが変化した場合にフレーム同期を取ることができなくなるからである。

0044

ここで、図5および6を用いて、Hブランキングデータと同期コード(タイミングコード:H=0のときがSAV、H=1のときがEAVとなる)の構成について説明する。図5は、LVDS出力データフォーマットで表現されたHブランキングデータと同期コード(ワードアライン処理によってスタートビットおよびエンドビットを取り除く前のデータ構成)を示す図である。図6は、同期補償部1104で用いられるHブランキングデータとSAVの構造を示す図である。

0045

ワードアライン処理前では、図5に示されるように、Hブランキングデータは、例えば、0x07C1F(16進法で表したときの20ビット分のデータ:図中“0”および“1”で示されるビット列は2進法で表したときのデータを示している)が所定ワード数分連続したデータ構造となっており、各1ワード分のデータがスタートビット(S)とエンドビット(E)によって挟まれている。一方、ワードアライン処理前では、同期コード(SAVおよびEAV)は、例えば、1stワードと2ndワード(0x003FF)、および3rdワードと4thワードをそれぞれスタートビット(S)とエンドビット(E)によって挟んだデータ構造となっている。同期コードがSAVであるかEAVであるかは、4thワードに含まれるF、V、Hのデータのうち、Hの値によって決まる。同期コードは、H=0のときがSAVであり、H=1のときがEAVとなる。ワードアライン処理後は、SEビットがワードアライン処理によって取り除かれているため、図6に示されるように、Hブランキングデータは、複数の0x07C1F(20ビット)によって構成され、同期コードは、0x003FF(1stワードと2ndワード:20ビット)と0xA52AA(3rdワードと4thワード:20ビット)とによって構成されている。図6では、4thワードにおいてH=0であるため、同期コードとしてSAV(F=0、V=1、H=0;Fは画像エリアか否かを示し、VはVブランクか否かを示し、HはSAVかEAVかを示すビットデータである)が示されている。同期補償部1104は、入力される画像データから1H目の同期コード(1H目SAV)を検出することにより、同期を取ることが可能となる。

0046

<同期補償回路について>
図7は、本実施形態による電子スコープ100に設けられた同期補償部1104の内部構成例を示すブロック図である。同期補償部1104は各フレームについて自力で1H目の同期コード(1H目SAV)を検出する必要がある。外部V同期モード(受信回路からVsync信号を送るまで固体撮像素子108は次フレームの)であってフレームレートを可変させるモードの場合、Hブランクデータ長(図4の矢印で示す部分の長さ)が変化するため、あるいは、ケーブルによる伝送遅延により、1H目SAVの出現タイミングが変化するからである。このため、同期補償部1104は、後述するような動作により、1H目の同期コード(1H目SAV)を検出するように構成されている。固体撮像素子が同期(Vsync)信号をサンプリングするクロックと、同期(Vsync)信号を出力生成(受信回路側)するクロックが異なる場合、そのクロック位相ズレ影響で、Hブランキングの画素数が変化し、SAVが出現するタイミングが毎フレーム変化するからである。フレームレートが決まれば、1フレームの画素数が決まり、1フレームにおける各ラインの画素数を特定することができる。このため、1H目の同期コード(1H目SAV)を検出することができれば、2H以降の同期コード(2H以降のSAVおよびEAV)の位置を特定することができる。

0047

同期補償部1104は、所望データ(所望の画像データ)から1H目の同期コード(1H目SAV)を検出する同期コード検出部11041と、所望データと1H目の同期コード1H目SAVの1stワードと2ndワード(0x003FFに相当)とを比較し、かつ所望データとHブランキングデータ(0x07C1Fに相当)とを比較するデータ比較部11042と、所望データのデータビットと0x003FFのデータビットとの一致数、および所望データのデータビットと0x07C1Fのデータビットとの一致数をカウントするデータ一致数加算部11043と、各フレームの1H目の同期コード(1H目SAV)をデータ一致数加算部11043の演算結果に基づいて推測する1H目SAV推測部11044と、同期コード検出部11041の結果および1H目SAV推測部11044の結果に基づいて、1H目の同期コード(1H目SAV)が正しく検出できたか否かを判定する処理を実行するタイミングコントローラ11045と、を備えている。

0048

同期コード検出部11041は、所望データが上記4ワードで構成される1H目の同期コード(1H目SAV:0x003FF(1st&2ndワード)+0xA52AA(3rd&4thワード)の40ビット)と完全一致するか判断する。完全一致した場合、同期コード検出部11041は、タイミングコントローラ11045に対して、検出できたことを示すイネーブルフラグ信号(例えば、sav1st=1)を出力する。一方、完全一致でない場合、同期コード検出部11041は、タイミングコントローラ11045に対して、検出できなかったことを示すイネーブルフラグ信号(例えば、sav1st=0)を出力する。

0049

データ比較部11042は、所望データの各データビットと1H目の同期コード(1H目SAV)に含まれる固定値である1stおよび2ndワード(つまり、0x003FF)の各データビットとを比較(例えば、EXNOR回路)して各ビットが一致しているか否かの比較結果を後段のデータ一致数加算部に出力する。また、データ比較部11042は、所望データの各データビットとHブランキングデータ(つまり、0x07C1F)の各データビットとを比較(例えば、EXNOR回路)して各ビットが一致しているか否かの比較結果を後段のデータ一致数加算部に出力する。

0050

データ一致数加算部11043は、データ比較部11042から所望データの各データビットと1H目SAVの1stおよび2ndワード(0x003FF)の各データビットとの比較結果を取得し、一致数を算出する(この一致数を“a”とする)。また、データ一致数加算部11043は、データ比較部11042から所望データの各データビットとHブランキングデータ(0x07C1F)の各データビットとの比較結果を取得し、一致数を算出する(この一致数を“b”とする)。

0051

1H目SAV推測部11044は、一致数aが一致数bよりも大きいか否か判定する。同期コードの1stワードと2ndワードが正常に検出できている場合には、例えば、a=20となり、b=10となる。そして、1H目SAV推測部11044は、1H目SAVが正常に検出できる場合を含み、a>bである場合には、イネーブルフラグ信号(例えば、sav1st_like=1)をタイミングコントローラ11045に対して出力する。つまり、a>bである限り、正常に1H目SAVが検出できなかった場合(この場合、a=20、b=10となっておらず、また、同期コード検出部11041からはsav1st=0が出力されている)でも1H目SAVに類似するコードが検出できた(所望データが1H目SAVである)と推測することになる。図8に示されるように、所望データと0x003FFとにおいて10ビット以上のビットにおいて不一致が生じていると、a>bとはならない。よって、この場合は、a>bではないことを示すイネーブルフラグ信号(例えば、sav1st_like信号=0)を出力する。なお、イネーブル信号(sav1st_like信号:0あるいは1)は、入力される画像データの各ラインの上記比較処理が実行される度に出力される。しかし、タイミングコントローラ11045は、各フレームにおいて、1H目の位置のデータについてのみイネーブル信号(sav1st_like信号)を参照するように構成されている。したがって、1H目以外のラインについてのイネーブル信号(sav1st_like信号)として何が出力されるかは特に重要ではない。

0052

タイミングコントローラ11045は、1H目のデータについて、所望データがHブランキング中のデータであるか否か、同期コード検出部11041からイネーブルフラグ信号(sav1st)を検出したか否か、および1H目SAV推測部11044からイネーブルフラグ信号(sav1st_like)を検出したか否かについて判断する。つまり、1H目にイネーブルフラグ信号(sav1st)およびイネーブルフラグ信号(sav1st_like)を検出することができたか判断している。イネーブルフラグ信号(sav1st)がイネーブルではなく(sav1st=0)、イネーブルフラグ信号(sav1st_like)がイネーブル(sav1st_like=1)の場合、タイミングコントローラ11045は、後段の画像処理部1105に対して、各フレームの1H目において同期コード(1H目SAV)が検出できなかった(当該画像データ(フレームデータ)は信頼性が低い)ことを示すNGフレーム信号を出力する。この場合、画像処理部1105は、例えば、当該フレームに対して補正処理(例えば、正しい同期コード(SAV)に置き換える処理)を実行したり、当該フレームを別の同期が取れたフレームの画像データに置き換えたりする等、所定の画像処理を実行する。一方、イネーブルフラグ信号(sav1st)およびイネーブルフラグ信号(sav1st_like)が共にイネーブル(つまり、共にフラグ信号=1)の場合、タイミングコントローラ11045は、1H目の同期コード(1H目SAV)が正確に検出できたと判定し、NGフレーム信号を画像処理部1105には送信しない。この場合、画像処理部1105は、受け取った画像データをそのまま用いて所定の画像処理(プロセッサ200に画像データを伝送するための画像処理)を実行する。

0053

以下においては、フローチャートを用いて、同期補償部1104の動作について説明する。この場合、同期補償部1104による処理をプログラムによって実現し、CPUなどの演算ユニットによって実行するようにしてもよい。

0054

<同期コード検出処理(1H目SAV検出処理)>
図9は、同期コード検出部11041の処理内容を説明するためのフローチャートである。ここでは、動作主体を同期コード検出部11041として各ステップの処理について説明するが、プログラムで同期コード検出処理を実現している場合には演算ユニットとすることも可能である。

0055

(i)ステップ901
同期コード検出部11041は、ワードアライン処理部1103から受信した所望の画像データと1H目の同期コード(例えば、1stから4thワードの40ビットで構成される1H目SAV:図6参照)とを比較する。

0056

(ii)ステップ902
同期コード検出部11041は、ステップ901の処理の結果、1H目の同期コード(1H目SAV)を検出できたか判断する。つまり、同期コード検出部11041は、受信した画像データが、固定値である1stワード、2ndワード(例えば、0x003FF)、および3rdワードと、Vブランクか否かを示す情報(V)、画像エリアか否かを示す情報(F)、および同期コード種別を示す情報(H:SAVの場合、H=0)が変動する4thワード(0xA52AA)とで構成された同期コード(1H目SAV)と完全一致するか否か判定する。完全一致する場合(ステップ902でYesの場合)には、処理はステップ903に移行する。一方、1ビットでも異なる場合(ステップ902でNoの場合)には、処理はステップ904に移行する。

0057

(iii)ステップ903
同期コード検出部11041は、1H目の同期コード(1H目SAV)と完全一致するコードが画像データにおいて検出できたことを示すイネーブルフラグ信号(例えば、sav1st=1)をタイミングコントローラ11045に出力する。

0058

(iv)ステップ904
同期コード検出部11041は、1H目の同期コード(1H目SAV)と完全一致するコードが画像データにおいて検出できなかったことを示すイネーブルフラグ信号(例えば、sav1st=0)をタイミングコントローラ11045に出力する。

0059

データ比較処理
図10は、データ比較部11042における処理内容を説明するためのフローチャートである。ここでは、動作主体をデータ比較部11042として各ステップの処理について説明するが、プログラムで比較処理を実現している場合には演算ユニットとすることも可能である。

0060

(i)ステップ1001
データ比較部11042は、ワードアライン処理部1103から受信した所望の画像データと、1H目の同期コード(1H目SAV)に含まれる1stワードと2ndワードから構成される固定コード(例えば、0x003FF)およびHブランキングデータ(例えば、0x07C1F)とを比較する(各ビット単位で一致するか否かを比較)。

0061

(ii)ステップ1002
データ比較部11042は、ステップ1001の比較結果から、画像データとタイミングコードとの一致数(a)と、画像データとHブランキングデータとの一致数(b)を算出する。

0062

(iii)ステップ1003
データ比較部11042は、aがbよりも大きいか(a>b)判定する。a>bである場合(ステップ1003でYesの場合)、処理はステップ1004に移行する。一方、a≦bである場合(ステップ1003でNoの場合)、処理はステップ1005に移行する。

0063

(iv)ステップ1004
データ比較部11042は、a>bであることを示すイネーブル信号(例えば、sav1st_like=1)をタイミングコントローラ11045に出力する。

0064

(v)ステップ1005
データ比較部11042は、a≦bであること(a>bではないこと)を示すイネーブル信号(例えば、sav1st_like=0)をタイミングコントローラ11045に出力する。

0065

<制御信号出力処理>
図11は、タイミングコントローラ11045による、画像処理部1105への制御信号出力処理を説明するためのフローチャートである。ここでは、動作主体をタイミングコントローラ11045として各ステップの処理について説明するが、プログラムで比較処理を実現している場合には演算ユニットとすることも可能である。

0066

(i)ステップ1101
タイミングコントローラ11045は、Hブランキング中の画像データについて、同期コード検出部11041から受信したイネーブルフラグ信号(sav1st信号)と、1H目SAV推測部11044から受信したイネーブルフラグ信号(sav1st_like信号)とが共にイネーブルか(ともにフラグが“1”か)判定する。共にイネーブルである場合(ステップ1101でYesの場合)、処理はステップ1102に移行する。一方、sav1st信号とsav1st_like信号とが一致しない場合(ステップ1101でNoの場合)処理は、ステップ1103に移行する。なお、sav1st信号とsav1st_like信号とが一致しない場合とは、sav1st=0で、sav1st_like=1の場合をいう。また、両者が一致していたとしても、sav1st=0で、sav1st_like=0となることは実用上成立しないため、除かれる。

0067

(ii)ステップ1102
タイミングコントローラ11045は、例えば、同期コード(1H目SAV)が正確に検出できたと判定し、画像処理部1105に対して、当該画像データを信頼性あるフレームとして受信してもよいことを示す情報(例えば、NGフレーム信号=0)を出力する。

0068

画像処理部1105は、同期補償部1104で信頼性があると判断された画像データ(フレームデータ)を受信し、プロセッサ200に対して送信するために必要な画像処理を当該画像データに対して実行し、処理された画像データをプロセッサ200に送信する。

0069

(iii)ステップ1103
タイミングコントローラ11045は、例えば、同期コード(1H目SAV)が正確に検出できなかったと判定し、画像処理部1105に対して、当該画像データにフレームは信頼性が低いことを示す情報(NGフレーム信号=1)を出力する。

0070

画像処理部1105は、タイミングコントローラ11045からのNGフレーム信号=1に応答して、同期補償部1104で信頼性が低いと判断された画像データ(フレームデータ)を受信せず、あるいは受信したとしても正しいフレームデータとしては取り扱わないようにし、プロセッサ200に対して送信するために必要な画像処理を当該画像データに対して実行し、処理された画像データをプロセッサ200に送信する。

0071

以上のように、本実施形態では、所望の画像データと同期コード(1H目SAV))との完全一致を判定するだけでなく、所望の画像データが同期コード(1H目SAV)らしいコード(a>bを満たすコード:1H目SAVに類似するコード)を検出するようにしている。そして、同期コード(1H目SAV)との完全一致があったか否かを示す情報(sav1st信号)と同期コード(1H目SAV)らしいコードが検出できたか否かを示す情報(sav1st_like信号)とに応じて後段の画像処理部1105に当該フレームデータをそのまま用いて良いか、あるいは補正処理や置換処理を実行すべきか通知する。これにより、同期が取れた画像データの伝送を保証し、映像信号を正常に出力できるようになる。

0072

<本開示のまとめ>
本実施形態によれば、同期補償回路の後段に設置された画像処理回路においてフレームデータ処理が行われないという状態の発生を回避することができるようになる。

0073

(i)特定事項
所望の画像データから所定の同期コードを検出し、検出結果に応じた制御情報を画像処理部に送信する同期補償回路であって、
前記所望の画像データが1水平ライン目の同期コードを含むか否か判断し、当該1水平ライン目の同期コードが検出できたか否かを示す第1情報を出力する同期コード検出部と、
ブランキングデータと前記所望の画像データとの一致数を示す第1値と、前記1水平ライン目の同期コードと前記所望の画像データとの一致数を示す第2値との関係から、前記1水平ライン目の同期コードに少なくとも類似するコードを検出したか否かを示す第2情報を出力する同期コード推測部と、
前記第1情報および前記第2情報に基づいて前記制御情報を生成して前記画像処理部に出力するタイミングコントローラと、
を備える同期補償回路。

0074

(ii)特定事項2
特定事項1において、
前記同期コード検出部は、前記所望の画像データが前記1水平ライン目の同期コードと完全に一致するコードを含むか否か判断し、完全一致したことを示すイネーブル信号を前記第1情報として出力する、同期補償回路。

0075

(iii)特定事項3
特定事項1または2において、
前記同期コード推測部は、前記第1値が前記第2値よりも大きい場合に、前記所望の画像データに前記1水平ライン目の同期コードに少なくとも類似するコードを検出できたことを示すイネーブル信号を前記第2情報として出力する、同期補償回路。

0076

(iv)特定事項4
特定事項1から3の何れか1項において、
前記タイミングコントローラは、前記第1情報と前記第2情報とが一致する場合以外は、前記所望の画像データの信頼性が低いことを示す第3情報を前記画像処理部に出力する、同期補償回路。

0077

(v)特定事項5
特定事項4において、
前記タイミングコントローラは、Hブランキング期間中において、前記第1情報と前記第2情報とが一致するか判断する、同期補償回路。

0078

(vi)特定事項6
光を被検体に照射して得られる像を撮像する撮像素子と、
前記撮像素子からの画像データを受信してプロセッサ側に送信する受信回路と、を備え、
前記受信回路は、特定事項1から5の何れか1項に記載の同期補償回路を含む、内視鏡装置。

0079

(vii)特定事項7
特定事項6に記載の内視鏡装置と、
前記内視鏡装置が接続され、前記受信回路から画像データを取得して処理するプロセッサと、
前記プロセッサによって処理された画像を表示する表示装置と、
を備える内視鏡システム。

0080

(viii)特定事項8
撮像素子によって取得された画像データから所定の同期コードを検出し、検出結果に応じた制御情報を画像処理部に送信する同期補償方法であって、
同期コード検出部が、前記画像データが1水平ライン目の同期コードを含むか否か判断し、当該1水平ライン目の同期コードが検出できたか否かを示す第1情報を出力することと、
同期コード推測部が、ブランキングデータと前記画像データとの一致数を示す第1値と、前記1水平ライン目の同期コードと前記画像データとの一致数を示す第2値との関係から、前記1水平ライン目の同期コードに少なくとも類似するコードを検出したか否かを示す第2情報を出力することと、
タイミングコントローラが、前記第1情報および前記第2情報に基づいて前記制御情報を生成して前記画像処理部に出力することと、
を含む同期補償方法。

0081

1電子内視鏡システム
100電子スコープ(内視鏡装置)
200プロセッサ
110受信回路
1104 同期補償部(同期補償回路)
11041同期コード検出部
11042データ比較部
11043 データ一致数加算部
11044 1H目SAV推測部
11045 タイミングコントローラ

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • HOYA株式会社の「 内視鏡装置」が 公開されました。( 2021/04/01)

    【課題・解決手段】付着した異物及び水滴等をきれいに洗浄できる内視鏡装置を提供する。体内に挿入される挿入部(14)の先端に観察窓(132)を有する内視鏡装置(10)において、観察窓(132)の曲面に沿っ... 詳細

  • 株式会社MICOTOテクノロジーの「 内視鏡画像処理システム」が 公開されました。( 2021/04/01)

    【課題】内視鏡画像を用いた内視鏡動作の支援を可能とする技術を提供する。【解決手段】内視鏡画像処理システムは、取得された内視鏡画像を学習済みモデルに対して与えることで、その内視鏡画像を撮像した内視鏡の位... 詳細

  • ソニー株式会社の「 手術支援システム、情報処理装置、及びプログラム」が 公開されました。( 2021/04/01)

    【課題】手術支援システム、情報処理装置、及びプログラムを提供する。【解決手段】手術中の危険状態を示すラベル情報を教師データとして用いて、手術画像群を学習して得られた判定器を記憶する記憶部と、手術画像を... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ