図面 (/)

技術 画像処理装置、方法、及びプログラム

出願人 富士フイルム株式会社
発明者 北村嘉郎
出願日 2013年10月25日 (7年0ヶ月経過) 出願番号 2013-221930
公開日 2015年4月30日 (5年6ヶ月経過) 公開番号 2015-083040
状態 特許登録済
技術分野 磁気共鳴イメージング装置 診断用測定記録装置 放射線診断機器 内視鏡
主要キーワード 挿入向き 許容距離 呼吸フェーズ 撮影向き 挿入角度 近接部分 呼気フェーズ 吸気フェーズ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2015年4月30日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (6)

課題

画像処理装置、方法並びにプログラムにおいて、互いに異なるフェーズの被検体を表す第1画像と第2画像において、仮想的な硬性手術器具の挿入位置と先端位置の相対的関係を対応させて、異なるフェーズの被検体の観察画像を生成する。

解決手段

第1画像21の第1挿入位置QA1と第1先端位置PA1と第1画像21を第2画像22に位置合せするように変形す変形情報に基づいて、第1挿入位置QA1に対応する第2画像22の第2挿入位置QA2を特定し、第1挿入位置QA1から第1先端位置PA1に向かう第1挿入向きVA1に対応する向きが第2挿入位置QA2から第2先端位置PA2に向かう第2挿入向きVA2となるように第2先端位置PA2を特定し、第2の先端位置PA2を視点として第2画像21の対応フェーズの被検体内部を可視化した第2観察画像を生成する。

概要

背景

近年、MDCT(Multi Detector-row Computed Tomography)等の撮影装置モダリティ)の進歩により、質の高い3次元画像データが取得できるようになり、これらの画像データを用いた画像診断では、高精細断面画像が用いられるだけでなく、被検体仮想的・疑似的な3次元画像も用いられるようになっている。

上記のような技術の進歩によって、がんなどの腫瘍の多くが初期段階などの比較的早期において発見されるようになってきている。比較的早期におけるがんは、がんのサイズが小さく、転移リスクが低いため、がんの根治に必要十分な領域を除去する縮小手術による治療が積極的に採用されている。縮小手術の1つである内視鏡下手術は、体への負担が小さいが、内視鏡下の限られた視野内で、周辺臓器や血管を傷つけないように所望の処置を実施することは技術的難易度が高い。このような内視鏡下手術を支援するために、画像認識技術を用いて3次元画像データから臓器などを抽出し、臓器が識別された3次元画像から仮想的・疑似的な3次元画像を生成して表示する技術が提案され、手術前プランニングシミュレーションや手術中のナビゲーションのために利用されている。

特許文献1には、仰臥位腹臥位など被検体を姿勢の異なる状態で撮影した2つの3次元画像を取得し、2つの3次元画像のうちの一方の画像から、任意の視点で仮想内視鏡画像を生成し、他方の画像から、一方の画像に対して設定した視点に対応する点を視点とする仮想内視鏡画像を生成し、生成した2つの画像を表示画面上に同時に表示する技術が開示されている。特許文献2には、左側臥位の被検体を撮影した超音波内視鏡画像と被検体を仰臥位で撮影した3次元画像を取得し、取得した3次元画像の臓器を被検体が左側臥位である場合の臓器となるように3次元画像を補正し、補正した3次元画像から超音波内視鏡画像と対応する位置および向きの断面の画像を生成して表示する技術が開示されている。また、特許文献3には、超音波画像と、超音波画像と位置合わせされるように変形したMR画像(Magnetic Resonance Image)の対応する断面の画像とを比較可能に表示する技術が開示されている。

概要

画像処理装置、方法並びにプログラムにおいて、互いに異なるフェーズの被検体を表す第1画像と第2画像において、仮想的な硬性手術器具の挿入位置と先端位置の相対的関係を対応させて、異なるフェーズの被検体の観察画像を生成する。第1画像21の第1挿入位置QA1と第1先端位置PA1と第1画像21を第2画像22に位置合せするように変形す変形情報に基づいて、第1挿入位置QA1に対応する第2画像22の第2挿入位置QA2を特定し、第1挿入位置QA1から第1先端位置PA1に向かう第1挿入向きVA1に対応する向きが第2挿入位置QA2から第2先端位置PA2に向かう第2挿入向きVA2となるように第2先端位置PA2を特定し、第2の先端位置PA2を視点として第2画像21の対応フェーズの被検体内部を可視化した第2観察画像を生成する。

目的

本発明は、上記に鑑み、互いに異なるフェーズにおける被検体の内部をそれぞれ表す3次元画像において、1つのフェーズに対応する3次元画像に設定された仮想内視鏡装置の視点および撮影向きに基づいて、1つのフェーズにおける第1観察画像を生成し、異なるフェーズに対応する3次元画像において、仮想内視鏡装置などの硬性挿入部を有する医療器具が被検体に挿入される挿入口と先端位置との相対的な関係を対応させて、異なるフェーズにおける観察画像を生成する画像処理装置、方法、及びプログラムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

互いに異なるフェーズにおける被検体の内部をそれぞれ表す、医用画像撮影装置を用いて撮影された3次元画像である第1画像と第2画像を取得する3次元画像取得部と、前記第1画像と前記第2画像の対応する位置を互いに位置合わせするように前記第1画像を変形す変形情報を取得する変形情報取得部と、前記第1画像から、前記被検体の体内に挿入される細長形状の硬性挿入部を有する手術器具の挿入位置である第1の挿入位置と、前記手術器具の先端部が位置する第1の先端位置とを第1観察条件として取得し、該第1観察条件と前記変形情報に基づいて、前記第1の挿入位置に対応する前記第2画像の位置である第2の挿入位置を特定し、前記第1の挿入位置から前記第1の先端位置に向かう第1の挿入向きに対応する向きが、前記第2の挿入位置から前記第2画像において前記手術器具の先端部が位置する第2の先端位置に向かう第2の挿入向きとなるように前記第2の先端位置を特定して、前記第2の挿入位置と前記第2の先端位置を第2観察条件として決定する観察条件決定部と、前記第2観察条件に基づいて、前記第1画像を前記変形情報に基づいて変形した変形第1画像または前記第2画像から、前記第2の先端位置を視点とし、前記第2の先端位置から前記被検体の内部を可視化した第2観察画像を生成する画像生成部とを備えたことを特徴とする画像処理装置

請求項2

前記手術器具が内視鏡装置であり、前記観察条件決定部が、前記第1画像における前記第1の挿入向きと前記内視鏡装置の撮影向きである第1の撮影向きとの相対的な関係と、前記第2画像における前記第2の挿入向きと前記内視鏡装置の撮影向きである第2の撮影向きとの相対的な関係が等しくなるように前記第2の撮影向きを特定し、前記前記画像生成部が、前記第2の先端位置から、前記第2の撮影向きに前記被検体の内部を可視化することにより前記第2観察画像を生成することを特徴とする請求項1記載の画像処理装置。

請求項3

前記観察条件決定部が、前記第1の挿入位置と前記第1の先端位置との間の距離が前記第2の挿入位置と前記第2の先端位置との間の距離と等しくなるように前記第2の先端位置を特定して、前記第2の挿入位置と前記第2の先端位置を第2観察条件として決定することを特徴とする請求項1または2記載の画像処理装置。

請求項4

前記観察条件決定部は、前記第1画像に含まれる所定のランドマークの向きと前記第1の挿入向きとなす角度と、前記第2画像に含まれる前記所定のランドマークに対応するランドマークの向きと前記第2の挿入向きとのなす角度が等しくなるように前記第2の挿入向きを特定することにより、前記第1の挿入向きに対応する向きが前記第2の挿入向きとなるように前記第2の挿入向きを特定することを特徴とする請求項3記載の画像処理装置。

請求項5

前記観察条件決定部が、前記第1の先端位置と対応する前記第2画像の位置を前記第2の先端位置として特定して、前記第2の挿入位置と前記第2の先端位置を第2観察条件として決定することを特徴とする請求項1または2記載の画像処理装置。

請求項6

前記観察条件決定部が、前記第1画像から、複数の前記第1観察条件を取得し、該複数の第1観察条件と前記変形情報に基づいて、前記複数の第1観察条件のそれぞれに対応する複数の前記第2観察条件を決定することを特徴とする請求項1から5のいずれか1項記載の画像処理装置。

請求項7

前記第1画像と前記第2画像が、呼気フェーズ吸気フェーズにおける前記被検体をそれぞれ表していることを特徴とするものであることを特徴とする請求項1から6のいずれか1項に記載の画像処理装置。

請求項8

前記第1画像と前記第2画像が、互いに異なる心臓拍動フェーズにおける前記被検体をそれぞれ表していることを特徴とするものであることを特徴とする請求項1から6のいずれか1項に記載の画像処理装置。

請求項9

前記第1画像と前記第2画像が、互いに異なる姿勢における前記被検体を表していることを特徴とする請求項1から6のいずれか1項に記載の画像処理装置。

請求項10

前記第2の挿入位置と前記第2の先端位置を結ぶ線分が前記第2画像中に含まれる解剖学的構造物所定距離以下であるか否かを判定する判定部をさらに備えたことを特徴とする請求項1から9のいずれか1項に記載の画像処理装置。

請求項11

画像処理装置の作動方法であって、互いに異なるフェーズにおける被検体の内部をそれぞれ表す、医用画像撮影装置を用いて撮影された3次元画像である第1画像と第2画像を取得する3次元画像取得ステップと、前記第1画像と前記第2画像の対応する位置を互いに位置合わせするように前記第1画像を変形する変形情報を取得する変形情報取得ステップと、前記第1画像から、前記被検体の体内に挿入される細長形状の硬性挿入部を有する手術器具の挿入位置である第1の挿入位置と、前記手術器具の先端部が位置する第1の先端位置とを第1観察条件として取得し、該第1観察条件と前記変形情報に基づいて、前記第1の挿入位置に対応する前記第2画像の位置である第2の挿入位置を特定し、前記第1の挿入位置から前記第1の先端位置に向かう第1の挿入向きに対応する向きが、前記第2の挿入位置から前記第2画像において前記手術器具の先端部が位置する第2の先端位置に向かう第2の挿入向きとなるように前記第2の先端位置を特定して、前記第2の挿入位置と前記第2の先端位置を第2観察条件として決定する観察条件決定ステップと、前記第2観察条件に基づいて、前記第1画像を前記変形情報に基づいて変形した変形第1画像または前記第2画像から、前記第2の先端位置を視点とし、前記第2の先端位置から前記被検体の内部を可視化した第2観察画像を生成する画像生成ステップを有することを特徴とする画像処理装置の作動方法。

請求項12

コンピュータに、互いに異なるフェーズにおける被検体の内部をそれぞれ表す、医用画像撮影装置を用いて撮影された3次元画像である第1画像と第2画像を取得する3次元画像取得ステップと、前記第1画像と前記第2画像の対応する位置を互いに位置合わせするように前記第1画像を変形する変形情報を取得する変形情報取得ステップと、前記第1画像から、前記被検体の体内に挿入される細長形状の硬性挿入部を有する手術器具の挿入位置である第1の挿入位置と、前記手術器具の先端部が位置する第1の先端位置とを第1観察条件として取得し、該第1観察条件と前記変形情報に基づいて、前記第1の挿入位置に対応する前記第2画像の位置である第2の挿入位置を特定し、前記第1の挿入位置から前記第1の先端位置に向かう第1の挿入向きに対応する向きが、前記第2の挿入位置から前記第2画像において前記手術器具の先端部が位置する第2の先端位置に向かう第2の挿入向きとなるように前記第2の先端位置を特定して、前記第2の挿入位置と前記第2の先端位置を第2観察条件として決定する観察条件決定ステップと、前記第2観察条件に基づいて、前記第1画像を前記変形情報に基づいて変形した変形第1画像または前記第2画像から、前記第2の先端位置を視点とし、前記第2の先端位置から前記被検体の内部を可視化した第2観察画像を生成する画像生成ステップを実行させることを特徴とする画像処理プログラム

技術分野

0001

本発明は、画像処理装置、方法、及びプログラムに関し、更に詳しくは、被検体の内部を示す3次元画像データから被検体内部を可視化した観察画像を生成する画像処理装置、方法、及びプログラムに関する。

背景技術

0002

近年、MDCT(Multi Detector-row Computed Tomography)等の撮影装置モダリティ)の進歩により、質の高い3次元画像データが取得できるようになり、これらの画像データを用いた画像診断では、高精細断面画像が用いられるだけでなく、被検体の仮想的・疑似的な3次元画像も用いられるようになっている。

0003

上記のような技術の進歩によって、がんなどの腫瘍の多くが初期段階などの比較的早期において発見されるようになってきている。比較的早期におけるがんは、がんのサイズが小さく、転移リスクが低いため、がんの根治に必要十分な領域を除去する縮小手術による治療が積極的に採用されている。縮小手術の1つである内視鏡下手術は、体への負担が小さいが、内視鏡下の限られた視野内で、周辺臓器や血管を傷つけないように所望の処置を実施することは技術的難易度が高い。このような内視鏡下手術を支援するために、画像認識技術を用いて3次元画像データから臓器などを抽出し、臓器が識別された3次元画像から仮想的・疑似的な3次元画像を生成して表示する技術が提案され、手術前プランニングシミュレーションや手術中のナビゲーションのために利用されている。

0004

特許文献1には、仰臥位腹臥位など被検体を姿勢の異なる状態で撮影した2つの3次元画像を取得し、2つの3次元画像のうちの一方の画像から、任意の視点で仮想内視鏡画像を生成し、他方の画像から、一方の画像に対して設定した視点に対応する点を視点とする仮想内視鏡画像を生成し、生成した2つの画像を表示画面上に同時に表示する技術が開示されている。特許文献2には、左側臥位の被検体を撮影した超音波内視鏡画像と被検体を仰臥位で撮影した3次元画像を取得し、取得した3次元画像の臓器を被検体が左側臥位である場合の臓器となるように3次元画像を補正し、補正した3次元画像から超音波内視鏡画像と対応する位置および向きの断面の画像を生成して表示する技術が開示されている。また、特許文献3には、超音波画像と、超音波画像と位置合わせされるように変形したMR画像(Magnetic Resonance Image)の対応する断面の画像とを比較可能に表示する技術が開示されている。

先行技術

0005

特開2012−187161号公報
特開2008−005923号公報
特開2013−000398号公報

発明が解決しようとする課題

0006

一方で、特許文献1乃至2に示されるような、体腔内の湾曲した経路を通過して観察対象を撮影するために、被検体に挿入される挿入部が柔軟性を有する構成とされた軟性内視鏡とは異なり、被検体に挿入される細長形状の硬性挿入部を有する硬性内視鏡装置などの医療器具においては、被検体への挿入口から内視鏡装置の先端部に向かって、柔軟性のない(曲がらない)細長形状の硬性挿入部が配置されるため、挿入口からアクセス可能挿入向きは限定されたものとなる。このため、硬性内視鏡装置を用いた手術において、被検体内部の観察または処置のために、内視鏡装置の先端位置や姿勢(向き)を決定する際に、硬性内視鏡装置などの医療器具の挿入口からの挿入向きなど挿入口と先端位置との相対的な関係も適切に決定される必要がある。

0007

また、手術中など、被検体内部に内視鏡装置などの硬性の医療器具が配置されている期間中に呼吸拍動など被検体内部の解剖学的構造物の変形を生じる複数のフェーズが存在する場合がある。この場合には、同一の被検体を表す3次元画像の異なるフェーズにおいて、所望の処置部に対して適切な位置および距離に内視鏡装置の先端位置と挿入向きが設定されているかそれぞれ確認することが好ましいと考えられる。このため、1つのフェーズの3次元画像において、設定された仮想内視鏡装置の視点と撮影向きに基づいて生成される仮想内視鏡画像などの観察画像を生成表示するだけでなく、他のフェーズの3次元画像においても、対応する挿入口から挿入された仮想内視鏡装置の視点と撮影向きに基づいて仮想内視鏡画像などの観察画像を生成表示して、双方の観察画像に所望の処置部に対して適切な位置および距離に内視鏡装置の先端位置と挿入向きが設定されているか確認することが好ましい。

0008

しかしながら、特許文献1乃至3に示される技術によれば、2つの3次元画像から互いに対応する位置を視点とした2つの仮想内視鏡画像をそれぞれ生成できるが、各生成された仮想内視鏡画像は、仮想的な内視鏡装置として硬性内視鏡装置を用いた場合に、挿入口と先端位置の相対的な関係を対応させているものではない。

0009

本発明は、上記に鑑み、互いに異なるフェーズにおける被検体の内部をそれぞれ表す3次元画像において、1つのフェーズに対応する3次元画像に設定された仮想内視鏡装置の視点および撮影向きに基づいて、1つのフェーズにおける第1観察画像を生成し、異なるフェーズに対応する3次元画像において、仮想内視鏡装置などの硬性挿入部を有する医療器具が被検体に挿入される挿入口と先端位置との相対的な関係を対応させて、異なるフェーズにおける観察画像を生成する画像処理装置、方法、及びプログラムを提供することを目的とする。

課題を解決するための手段

0010

上記課題を解決するために、本発明に係る画像処理装置は、互いに異なるフェーズにおける被検体の内部をそれぞれ表す、医用画像撮影装置を用いて撮影された3次元画像である第1画像と第2画像を取得する3次元画像取得部と、第1画像と第2画像の対応する位置を互いに位置合わせするように第1画像を変形す変形情報を取得する変形情報取得部と、第1画像から、被検体の体内に挿入される細長形状の硬性挿入部を有する手術器具の挿入位置である第1の挿入位置と、手術器具の先端部が位置する第1の先端位置とを第1観察条件として取得し、第1観察条件と変形情報に基づいて、第2画像における第1の挿入位置に対応する位置である第2の挿入位置を特定し、第1の挿入位置から第1の先端位置に向かう第1の挿入向きに対応する向きが、第2の挿入位置から第2画像において手術器具の先端部が位置する第2の先端位置に向かう第2の挿入向きとなるように第2の先端位置を特定して、第2の挿入位置と第2の先端位置を第2観察条件として決定する観察条件決定部と、第2観察条件に基づいて、第1画像を変形情報に基づいて変形した変形第1画像または第2画像から、第2の先端位置を視点とし、第2の先端位置から被検体の内部を可視化した第2観察画像を生成する画像生成部とを備えたことを特徴とする。

0011

また、本発明に係る画像処理装置の作動方法は、互いに異なるフェーズにおける被検体の内部をそれぞれ表す、医用画像撮影装置を用いて撮影された3次元画像である第1画像と第2画像を取得する3次元画像取得ステップと、第1画像と第2画像の対応する位置を互いに位置合わせするように第1画像を変形する変形情報を取得する変形情報取得ステップと、第1画像から、被検体の体内に挿入される細長形状の硬性挿入部を有する手術器具の挿入位置である第1の挿入位置と、手術器具の先端部が位置する第1の先端位置とを第1観察条件として取得し、第1観察条件と変形情報に基づいて、第2画像における第1の挿入位置に対応する位置である第2の挿入位置を特定し、第1の挿入位置から第1の先端位置に向かう第1の挿入向きに対応する向きが、第2の挿入位置から第2画像において手術器具の先端部が位置する第2の先端位置に向かう第2の挿入向きとなるように第2の先端位置を特定して、第2の挿入位置と第2の先端位置を第2観察条件として決定する観察条件決定ステップと、第2観察条件に基づいて、第1画像を変形情報に基づいて変形した変形第1画像または第2画像から、第2の先端位置を視点とし、第2の先端位置から被検体の内部を可視化した第2観察画像を生成する画像生成ステップを有することを特徴とする。

0012

また、本発明に係る画像処理プログラムは、上記方法をコンピュータに実行させることを特徴とするものである。

0013

上記「互いに異なるフェーズにおける被検体の内部をそれぞれ表す第1画像と第2画像」とは、被検体内部の変形状態が互いに異なっている画像であればよいものである。例えば、第1画像と第2画像が、呼気フェーズ吸気フェーズにおける被検体をそれぞれ表すものであってもよく、また、第1画像と第2画像が、互いに異なる心臓の拍動フェーズにおける被検体をそれぞれ表すものでもよい。さらに、第1画像と第2画像が、互いに異なる姿勢における被検体の内部を表すものでもよい。

0014

上記「被検体の体内に挿入される細長形状の硬性挿入部を有する手術器具」とは、例えば、硬性の細長い筒形状の本体部の先端にカメラが配設された硬性内視鏡装置や、硬性の細長い筒形状の本体部の先端にメスニードルなど処置具が配設された硬性処置具などが考えられる。なお、硬性挿入部は、曲がらない構成とされた本体部分の先端に柔軟な部分を備えているものも含む。

0015

また、「手術器具の先端部」は、被検体内部に挿入される硬性挿入部に、所望の観察や処置を行うためのカメラや処置具が配設された部分を意味し、必ずしも手術器具の先端でなくてもよい。

0016

本発明にかかる画像処理装置において、手術器具は内視鏡装置であり、観察条件決定部は、第1画像における第1の挿入向きと内視鏡装置の撮影向きである第1の撮影向きとの相対的な関係と、第2画像における第2の挿入向きと内視鏡装置の撮影向きである第2の撮影向きとの相対的な関係が等しくなるように第2の撮影向きを特定し、画像生成部は、第2の先端位置から、第2の撮影向きに被検体の内部を可視化することにより第2観察画像を生成することが好ましい。

0017

また、本発明にかかる画像処理装置において、観察条件決定部は、第1の挿入位置と第1の先端位置との間の距離が第2の挿入位置と第2の先端位置との間の距離と等しくなるように第2の先端位置を特定して、第2の挿入位置と第2の先端位置を第2観察条件として決定してもよい。あるいは、観察条件決定部は、第1の先端位置と対応する第2画像の位置を第2の先端位置として特定して、第2の挿入位置と第2の先端位置を第2観察条件として決定してもよい。

0018

さらに、本発明にかかる画像処理装置において、観察条件決定部は、第1画像に含まれる所定のランドマークの向きと第1の挿入向きとなす角度と、第2画像に含まれる所定のランドマークに対応するランドマークの向きと第2の挿入向きとのなす角度が等しくなるように第2の挿入向きを特定することにより第1の挿入向きに対応する向きが、第2の挿入向きとなるように第2の挿入向きを特定することが好ましい。

0019

上記「所定のランドマークの向き」とは、3次元画像に含まれる所定のランドマークによって特定される向きであり、例えば、手術器具が挿入される挿入位置における被検体の体表法線の向きとすることができる。なお、3次元画像に含まれる識別可能な特徴部であれば任意の部分をランドマークとして用いることができる。また、フェーズによってランドマークの向きの変動の少ないランドマークを用いることが好ましい。例えば、背骨をランドマークとすることができ、この場合、第N番目椎骨の位置をランドマークとして用いることができる。また、他に脾臓腎臓などの臓器(の中心座標)をランドマークとしてもよい。また、「ランドマークによって特定される向き」は、ランドマークによって特定される向きであればいかなる向きであってもよい。例えば、ランドマークが平たい形状であれば、平たい形状の法線の向きとすることができる。また、ランドマークが長手形状であれば長手形状の軸の向きとすることができる。さらに、「ランドマークによって特定される向き」は、複数のランドマークによって特定される向きであってもよい。この場合、一方の構造物中心点などのランドマークから他方の構造物の中心点などのランドマークに向かう向きとすることができる。

0020

さらに、本発明にかかる画像処理装置において、観察条件決定部は、第1画像から複数の第1観察条件を取得し、複数の第1観察条件と変形情報に基づいて、複数の第1観察条件のそれぞれに対応する複数の第2観察条件を決定することが好ましい。

0021

さらに、本発明にかかる画像処理装置において、第2の挿入位置から第2の視点を結ぶ線分が第2画像中に含まれる解剖学的構造物と所定距離以下であるか否かを判定する判定部をさらに備えることが好ましい。

発明の効果

0022

本発明の画像処理装置、方法、及びプログラムでは、互いに異なるフェーズにおける被検体の内部をそれぞれ表す、医用画像撮影装置を用いて撮影された3次元画像である第1画像と第2画像を取得し、第1画像と第2画像の対応する位置を互いに位置合わせするように第1画像を変形する変形情報を取得し、第1画像から、被検体の体内に挿入される細長形状の硬性挿入部を有する手術器具の挿入位置である第1の挿入位置と、手術器具の先端部が位置する第1の先端位置とを第1観察条件として取得し、第1観察条件と変形情報に基づいて、第2画像における第1の挿入位置に対応する位置である第2の挿入位置を特定し、第1の挿入位置から第1の先端位置に向かう第1の挿入向きに対応する向きが、第2の挿入位置から第2画像において手術器具の先端部が位置する第2の先端位置に向かう第2の挿入向きとなるように第2の先端位置を特定して、第2の挿入位置と第2の先端位置を第2観察条件として決定する。そして、第2観察条件に基づいて、第1画像を変形情報に基づいて変形した変形第1画像または第2画像から、第2の先端位置を視点とし、第2の先端位置から被検体の内部を可視化した第2観察画像を生成する。

0023

このため、第1画像とはフェーズの異なる第2画像において、第1画像における仮想的な医療器具の挿入位置(第1の挿入位置)および挿入向き(第1の挿入向き)と、第2画像における仮想的な医療器具の挿入位置(第2の挿入位置)と挿入向き(第2の挿入向き)を対応させて、第2画像における仮想的な医療器具の先端位置(第2の先端位置)を決定して、第2の先端位置を視点として被検体内部を可視化した第2観察画像を生成することができる。このため、手術中など被検体内部に硬性の挿入部を有する医療器具が配置されている期間中に呼吸や拍動など被検体内部の解剖学的構造物の変形を生じる複数のフェーズが存在する場合であっても、生成された第2観察画像を観察することにより、第2画像に対応するフェーズにおいて被検体内部の処置または観察を実施する際に、被検体内部への挿入位置、先端位置、挿入向きが適切であるかを容易かつ正確に判断可能な有用な情報を提供することができる。

図面の簡単な説明

0024

本発明の一実施形態に係る画像処理装置を示すブロック図。
第1画像において内視鏡装置の先端位置と挿入向きを設定する画面を例示する図(その1)。
第1画像において内視鏡装置の先端位置と挿入向きを設定する画面を例示する図(その2)。
第2画像における内視鏡装置の挿入位置と挿入向きと先端位置を特定する方法を説明するための図。
本発明の一実施形態に係る画像処理装置の動作手順を示すフローチャート

実施例

0025

以下、図面を参照し、本発明の実施の形態を詳細に説明する。図1は、本発明の一実施形態に係る画像処理装置1を備えた画像処理ワークステーション10を示す。

0026

画像処理ワークステーション10は、読影者からの要求に応じて、不図示のモダリティや画像保管サーバから取得した医用画像データに対して画像処理画像解析を含む)を行い、生成された画像を表示するコンピュータであり、CPU,入出力インターフェース通信インターフェースデータバス等を内包するコンピュータ本体である画像処理装置1と、入力装置2(マウスキーボード等)、表示装置3(ディスプレイモニタ)、記憶装置4(主記憶装置補助記憶装置)等の周知のハードウェア構成を備えている。さらに、画像処理ワークステーション10は、周知のオペレーティングシステムや各種アプリケーションソフトウェア等がインストールされたものであり、本発明の画像処理を実行させるためのアプリケーションもインストールされている。これらのソフトウェアは、CD−ROM等の記録媒体からインストールされたものであってもよいし、インターネット等のネットワーク経由で接続されたサーバの記憶装置からダウンロードされた後にインストールされたものであってもよい。

0027

図1に示すように、本実施形態に係る画像処理装置1は、画像取得部11と、変形情報取得部12と、観察条件決定部13と、画像生成部14と、出力部15と、判定部16とを備える。画像処理装置1の各部の機能は、画像処理装置1がCD−ROM等の記録媒体からインストールされたプログラム(画像処理アプリケーション)を実行することによって実現される。

0028

画像取得部11は、記憶装置4から第1画像21および第2画像22を取得する。第1画像21および第2画像22は、それぞれCT装置を用いて撮影された、被検体の内部を示す3次元の画像データである。また、画像取得部11は、第1画像21と第2画像22を同時に取得してもよく、第1画像21と第2画像22のいずれか一方を取得した後に他方の画像を取得してもよい。

0029

本実施形態において、第1画像21と第2画像22は、同一の被検体(人体)の腹部に対して異なる呼吸フェーズで撮影されたデータである。第1画像21は呼気で撮影された画像で、第2画像は吸気で撮影された画像である。双方の画像は同一人物の体腔内を表すものではあるものの、撮影時に呼吸のフェーズが異なるため、双方の画像の間で臓器形状が変形している。

0030

なお、本実施形態に限定されず、第1画像21と第2画像22とは、同一の被検体の内部を撮影した、被検体内部の変形状態が相互に異なる3次元画像データであればいかなる画像であってもよい。例えば、第2画像22として、CT画像、MR画像、3次元超音波画像、PET(Positron Emission Tomography)画像などを適用可能である。また、断層撮影に使用するモダリティは、CT、MRI超音波撮影装置等、3次元画像を撮影可能なものであれば何でもよい。また、第1画像21と第2画像22との組み合わせとして、種々の組み合わせが考えられる。例えば、第1画像21と第2画像22とを、第1画像21と第2画像22を異なる撮影体位で撮影されたデータとしてもよい。あるいは、第1画像21と第2画像22を、異なる心臓の拍動フェーズにおける被検体をそれぞれ表す複数の画像としてもよい。

0031

変形情報取得部12は、第1画像21と第2画像22の対応する位置を互いに位置合わせするように第1画像を変形する変形情報を取得する。

0032

ここでは、第1画像21の各画素にそれぞれの変形量を設定し、各変形量を徐々に変化させながら、第1画像21の各画素を各変形量に基づいて変形した画像と第2画像22との類似度を表す所定の関数最大化(最小化)することにより、第1画像21の各画素と、第1画像21の各画素に対応する第2画像22の各画素とを対応付けし、第1画像21を第2画像22に位置合わせするための各画素の変形量を取得する。そして、第1画像21の各画素の変形量を規定する関数を変形情報として取得する。

0033

なお、非剛体レジストレーション手法とは、一方の画像の各画素を各変形量に基づいて移動させて、2つの画像の類似度を判定する所定の関数を最大化(最小化)することにより、2つの画像を互いに一致させるための上記一方の画像の各画素の変形量を算出する方法である。本実施形態に、2つの画像を互いに位置合わせする非剛体レジストレーション手法であれば、例えば、Rueckert D Sonoda LI,Hayesc,Et al.、「Nonrigid Registration Using Free-Form Deformations:application to breastMRImages」、IEEE transactions on Medical Imaging、1999年、vol.18,No.8,pp.712-721等種々の周知の手法を適用することができる。

0034

観察条件決定部13は、第1画像21から、被検体の体内に挿入される細長形状の硬性挿入部を有する手術器具である仮想内視鏡装置M1(仮想的な硬性内視鏡装置)の仮想的な挿入口の中心位置である第1の挿入位置QA1の座標と、仮想内視鏡装置M1のカメラが配設された位置である第1の先端位置PA1の座標と、第1の挿入位置QA1から第1の先端位置PA1に向かう向きである第1の挿入向き(第1の挿入ベクトルVA1)と、第1の挿入ベクトルVA1に対する相対的なカメラ姿勢である第1の撮影向きとを第1観察条件として取得する。

0035

図2、3は、第1画像21において仮想内視鏡装置M1の挿入位置QA1と先端位置PA1を設定する画面を例示する図である。

0036

図2、3に示すように、ユーザの第1画像21からのボリュームレンダリング法などの擬似3次元画像の生成指示表示指示をマウスなどの入力装置2によって受け付けると、画像生成部14は生成指示に応じた画像を第1画像21から生成し、出力部15は第1画像21から生成された画像を所望の表示パラメータに従って表示画面に表示する。図2の31Aは、被検体の体表Sを可視化するように表示パラメータを設定して被検体を擬似3次元表示した例であり、図3の31Bは、被検体の体表を透明にし、被検体内部を可視化するように表示パラメータを設定して被検体を擬似3次元表示した例である。また、図3には、図3の31Bに示すように配置された仮想内視鏡装置M1の先端位置PA1をカメラ位置(仮想内視鏡画像の視点)とし、設定された仮想内視鏡装置M1のカメラ姿勢(撮影向き)に基づいて被検体内部を可視化するように生成された仮想内視鏡である第1観察画像31を示す。

0037

入力装置2は、表示画面上におけるユーザ入力に基づいて、第1画像21における仮想内視鏡装置M1のカメラ位置と、第1画像21における仮想内視鏡装置M1のカメラ姿勢とを受け付ける。すると、入力装置2の受け付けた情報に基づいて、観察条件決定部13は、仮想内視鏡装置M1のカメラ位置を第1の先端位置PA1として取得し、仮想内視鏡装置M1のカメラ姿勢を硬性内視鏡装置が被検体内部に挿入される向きである第1の挿入向き(第1の挿入ベクトルVA1)として取得する。そして、観察条件決定部13は、第1の挿入ベクトルVA1に平行であり、第1の先端位置PA1を通る直線が被検体の体表Sと交わる交点を、仮想内視鏡装置M1が被検体内部に挿入される第1の挿入位置QA1の座標として取得する。また、観察条件決定部13は、第1の先端位置PA1と第1の挿入位置QA1との距離DA1を算出する。

0038

本実施形態における仮想内視鏡装置M1においては、第1の挿入ベクトルVA1は仮想内視鏡装置M1のカメラの光軸と平行であり、第1の挿入ベクトルVA1を仮想内視鏡装置M1のカメラ姿勢(第1の撮影向き)とみなすことができるものとする。また、第1観察条件において、仮想内視鏡装置M1の画角焦点距離などに応じて、3次元画像から観察画像を生成するためのその他の必要なパラメータが予め設定されており、第1の挿入向きに対する第1の撮影向きの相対的な角度も予め設定されているものとする。

0039

なお、観察条件決定部13は、第1観察条件を取得可能な任意の手法を用いてよい。例えば、第1の観察条件は、上記の例のようにユーザのマニュアル入力により設定された第1観察条件を取得してもよく、第1画像21の処置対象領域を取得して解析し該処置対象領域を撮影可能な内視鏡装置の先端位置と挿入口と挿入向きを自動で設定してもよい。

0040

また、観察条件決定部13は、第1観察条件を取得すると、第1画像21を第2画像22に対応するように変形する変形情報に基づいて、第1の挿入位置QA1の座標に対応する第2画像22の座標を第2の挿入位置QA2の座標として特定する。

0041

そして、観察条件決定部13は、第1の挿入位置QA1から第1の先端位置PA1に向かう第1の挿入ベクトルVA1に対応する向きが、第2の挿入位置QA2から第2画像22において手術器具の先端部が位置する第2の先端位置PA2に向かう第2の挿入ベクトルVA2となり、第1の挿入位置QA1と第1の先端位置PA1との間の距離DA1が第2の挿入位置QA2と第2の先端位置PA2との間の距離DA2と等しくなるように、第2の先端位置PA2を特定して、第2の挿入位置QA2と第2の先端位置PA2を第2観察条件として決定する。

0042

また、観察条件決定部13は、第1の挿入向きと内視鏡装置の撮影向きである第1の撮影向きとの相対的な関係を特定し、第2画像において、第2の挿入向きと内視鏡装置の撮影向きである第2の撮影向きとの相対的な関係が、第1の挿入向きと内視鏡装置の撮影向きである第1の撮影向きとの相対的な関係と等しくなるように第2の撮影向きを特定する。ここでは、第1の挿入ベクトルVA1は仮想内視鏡装置M1のカメラの光軸と平行であり、第1の挿入ベクトルVA1を仮想内視鏡装置M1のカメラ姿勢(第1の撮影向き)とみなしているため、これに対応させて、観察条件決定部13は、第2の挿入ベクトルVA2を、仮想内視鏡装置M1のカメラ姿勢(第2の撮影向き)として決定する。なお、観察条件決定部13は、カメラ姿勢が仮想内視鏡装置M1の硬性挿入部の軸方向(長手方向)に対して45度や90度など所定角度をなすように配設されている場合には、例えば、第1画像21において、第1の挿入ベクトルVA1と内視鏡装置の撮影向きである第1の撮影ベクトル(第1の撮影向き)との角度を取得し、第2画像において、第2の挿入ベクトルVA2と第2の撮影ベクトル(第2の撮影向き)との角度が、第1の挿入ベクトルVA1と第1の撮影ベクトルとの角度と等しくなるように第2の撮影向きを決定する。

0043

図4は、第2画像22における仮想内視鏡装置M1の挿入位置(第2の挿入位置QA2)と挿入向き(第2の挿入ベクトルVA2)と先端位置(第2の先端位置PA2)を特定する方法を説明するための図である。なお、図4は説明のための図であり、各部のサイズ、位置、角度などは実際のものとは異ならせている。観察条件決定部13は、第1の挿入位置QA1に対応する第2の挿入位置QA2を取得すると、第1画像21から第1の挿入位置QA1における被検体の体表Sの法線ベクトルTA1を取得し、第2画像22から第2の挿入位置QA2における被検体の体表Sの法線ベクトルTA2を取得する。

0044

次に、観察条件決定部13は、第2画像22における第2の挿入ベクトルVA2と法線ベクトルTA2とのなす角θA2が、第1画像21における第1の挿入ベクトルVA1と法線ベクトルTA1のなす角θA1と等しくなるように、第2の挿入ベクトルVA2を決定する。ここでは、観察条件決定部13は、QA2からPA2に向かう挿入ベクトルVA2と法線ベクトルTA2との内積が、第1の挿入ベクトルVA1と法線ベクトルTA1との内積と等しくなるように、第2の挿入ベクトルVA2を決定する。

0045

なお、観察条件決定部13は、体表Sの法線ベクトルに換えて、他の所定のランドマークの向きを示すベクトルを基準として、第1画像21の他の所定のランドマークの向きに平行なベクトルと第1の挿入ベクトルVA1のなす角が、第2画像22の他の所定のランドマークに対応する所定のランドマークの向きに平行なベクトルと第2の挿入ベクトルVA2のなす角と等しくなるように第2の挿入ベクトルVA2を決定してもよい。例えば、所定のランドマークとして、フェーズによってランドマークの向きの変動の少ないランドマークを用いることが考えられる。例えば背骨をランドマークとし、第N番目の椎骨の位置を基準に角度を計算してもよい。他に脾臓や腎臓などの臓器(の中心座標)を基準としてもよい。

0046

また、上記「所定のランドマークの向きと第1の挿入向きとのなす角度」とは、所定のランドマークの向きと第1の挿入向きとのなす角度のうち小さい方の角度を意味し、「所定のランドマークの向きと第2の挿入向きとのなす角度」とは、所定のランドマークの向きと第2の挿入向きとのなす角度のうち小さい方の角度を意味する。

0047

そして、観察条件決定部13は、第2の挿入位置QA2から、第2の挿入ベクトルVA2の向きに第1の挿入位置QA1と第1の先端位置PA1との距離DA1離間した位置を第2の先端位置PA2として決定する。以上により、観察条件決定部13は、図4において、θA1=θA2、DA1=DA2となるように第2の先端位置PA2を決定する。

0048

そして、観察条件決定部13は、第2画像22における第2の先端位置PA2と第2の挿入位置QA2と第2の挿入ベクトルVA2と第2の撮影向きを第2観察条件として決定する。また、第2観察条件においても、第1観察条件と同様に、仮想内視鏡装置M1の画角や焦点距離などに応じて、3次元画像から観察画像を生成するためのその他の必要なパラメータが予め設定されているものとする。

0049

また、観察条件決定部13は、第1の挿入向きVA1と対応する向きを第2の挿入向きVA2として決定する方法として、第1画像における仮想内視鏡装置の先端位置を第2画像における座標に変換し、第2画像における挿入位置から変換後の先端位置に向かうベクトルと一致するようにしてもよい。この場合には、観察条件決定部13は、変形情報に基づいて、第1の挿入位置QA1に対応する位置を第2の挿入位置QA2として取得し、第1の先端位置PA1に対応する位置を第2の先端位置PA2として取得し、第2の挿入位置QA2から第2の先端位置PA2に向かう向きを第2の挿入ベクトルVA2として決定すればよい。また、同様に、第1画像における仮想内視鏡装置の重心位置を第2画像における座標に変換し、第2画像における挿入位置から変換後の先端位置に向かうベクトルとしてもよい。これらの場合、この第2観察条件に基づいて、被検体内部を可視化した仮想内視鏡画像である第2観察画像32を生成・表示することにより、第1の挿入位置QA1から第1の先端位置A1(または仮想内視鏡装置の重心位置)に向かう第1の挿入向きVA1と、第2の挿入位置QA2から第2の先端位置A2(または仮想内視鏡装置の重心位置)に向かう第2の挿入向きVA2とを対応させて、被検体内部への挿入位置、先端位置、挿入向きが適切であるかを容易かつ正確に判断可能な有用な情報を提供することができる。

0050

画像生成部14は、第1画像21から、第1観察条件に基づいて、被検体の体腔内部を可視化した仮想内視鏡画像である第1観察画像31を生成し、第2画像22から、第2観察条件に基づいて、被検体内部を可視化した仮想内視鏡画像である第2観察画像32を生成する。第1観察条件と第2観察条件は、仮想内視鏡装置M1の挿入位置QA1、QA2、各挿入位置QA1、QA2からの挿入深さDA1、DA2、各挿入位置QA1、QA2からの挿入向きVA1、VA2、各挿入向きVA1、VA2に対する相対的な撮影向きがそれぞれ互いに対応するものとされている。このため、第1観察画像31と第2観察画像32は、仮想内視鏡装置M1の挿入位置QA1、QA2、各挿入位置QA1、QA2からの挿入深さDA1、DA2、各挿入位置QA1、QA2からの挿入向きVA1、VA2を互いに対応させて、第1画像21の対応フェーズにおける被検体内部と、第2画像22の対応フェーズにおける被検体内部とを略同じ構図で示すものとなり、画像中の臓器の形状が第1画像21と第2画像22のそれぞれの対応フェーズに応じた変形状態となって示された画像となる。画像生成部14は、また、本実施形態の画像処理の過程で必要に応じて、第1の画像21または第2画像22からボリュームレンダリング画像などの所望の画像を生成する。

0051

また、画像生成部14は、変形情報に基づいて第1画像21を変形した変形第1画像21Aを取得し、第2観察条件に基づいて、変形第1画像21Aにおける第2の先端位置PA2を視点とし、第2の撮影向きをカメラ姿勢として被検体の内部を可視化した第2観察画像32を生成してもよい。なお、第2画像22と、変形した変形第1画像21Aとは、対応する画素が同じ位置に配置されているため、第2観察条件に基づいて変形第1画像21Aから生成した観察画像は、第2観察条件に基づいて第2画像22から生成した観察画像32と、同形状の被検体内部を同じ構図で示すものとなる。このため、第2画像22と変形第1画像21Aのいずれから生成された観察画像においても、挿入位置、先端位置、臓器形状等の相対的な位置関係は同じものとなり、第2画像2の対応フェーズにおける被検体内部や仮想的な内視鏡画像の挿入位置、先端位置などを確認するために用いることができる。

0052

出力部15は、画像生成部14が生成した画像を表示装置3へ出力する。表示装置3は、出力部15の要求に応じて、表示画面上に、第1観察画像31および第2観察画像32を表示する。出力部15は、第1観察画像31および第2観察画像32を同時に出力し、表示装置3の表示画面上に、第1観察画像31および第2観察画像32を並列表示させてもよい。あるいは出力部15は、第1観察画像31および第2観察画像32を選択的に出力し、表示装置3の表示画面上に第1観察画像31および第2観察画像32を切り替えて表示させてもよい。また、出力部15は、本実施形態の画像処理の過程で必要に応じて、表示画面への所望の情報の表示を表示装置3に指示する。

0053

判定部16は、第2画像22から任意の方法により抽出された所定の解剖学的構造物(例えば血管、骨、などの臓器)を取得し、第2の挿入位置QA2と第2の先端位置PA2とを結ぶ線分(判定対象線分)が、第2画像22中に含まれる解剖学的構造物と許容できない距離以下に近接しているか否かを判定する。ここでは、判定部16は、判定対象線分と第2画像22における解剖学的構造物との重複部分を、被検体内部の解剖学的構造物と所定の許容距離以下に近接している近接部分として抽出する。判定対象線分と第2画像22における解剖学的構造物が重複していない場合には、近接部分が存在しないものとして判定される。なお、第2の挿入位置QA2と第2の先端位置PA2とを結ぶ線分は、仮想内視鏡装置M1や仮想的な硬性処置具M2などの医療器具の硬性挿入部が配置される位置を示している。硬性挿入部は、被検体内部の安全性の確保のため、処置対象でない血管などの解剖学的構造物とは離間して配置される必要があり、手術シミュレーションにおいて、硬性挿入部が配置される位置を示す判定対象線分が解剖学的構造物と許容できない距離以下とならないように確認することが好ましい。

0054

なお、判定対象線分が第2画像22中に含まれる解剖学的構造物と近接している所定距離以下であるか否かを判定可能であれば、任意の判定法を適用可能である。例えば、判定対象線分上に位置する画素ごとに、臓器中に位置する各画素との距離のうち最短距離を算出し、算出された最短距離が所定の閾値以下である場合に、その画素を近接画素と判定し、判定された近接画素からなる判定対象線分上の部分を近接部分として抽出して近接部分の有無を判定してもよい。

0055

また、判定部16は、判定対象線分が近接部分を有すると判定した場合には、出力部15に警告表示の出力を指示する。出力部15は、判定部16から警告表示の出力指示を受けると、判定部16から近接部分を特定する情報を取得し、警告表示の指示と警告表示に必要な情報を表示装置3に出力する。すると表示装置3は、出力部15から近接部分を取得し、所定の警告形式に従って近接部分を色分けして識別表示することにより警告表示を行う。

0056

また、判定部16は、近接部分の識別表示のために矢印などの指標太線表示など任意の手法を適用可能である。また、判定部16は、近接部分の識別表示と合わせて、または、近接部分の識別表示に換えて任意の警告方法を適用可能である。また、例えば、「近接部分有り」など判定対象線分と解剖学的構造物とが所定距離以下である旨をダイアログボックスで表示してもよく、警告を示す指標を示してもよく、任意の警告表示手法を適用してよい。判定部16は、警告表示と合わせてあるいは警告表示に替えて警告音音声メッセージなど音声で警告を行ってもよい。また、判定部16は、近接部分がある場合に自動的に警告表示をさせるようにしてもよく、ユーザからの要求に応じて判定結果を出力するようにしてもよい。

0057

図5は画像処理装置1の動作手順を示すフローチャートである。画像取得部11は、第1画像21および第2画像22を取得する(ステップS1)。第1画像21および第2画像22は、呼気フェーズと、吸気フェーズにおける2つの3次元画像データである。

0058

変形情報取得部12は、第1画像21および第2画像22に対して画像位置合わせを行い、第1画像21の各画素を第2画像22の対応する各画素の位置に位置させるように第1画像21を変形する変形情報を取得する(ステップS2)。

0059

観察条件決定部13は、第1画像21に対し、図2図3に示すように、表示画面からのユーザの位置の入力に基づいて、仮想内視鏡装置M1の第1の先端位置PA1と、第1の挿入位置QA1と第1の挿入位置QA1から第1の先端位置PA1に向かう第1の挿入ベクトルVA1と第1の挿入ベクトルVA1に対する第1の撮影向きを第1観察条件として取得する。(ステップS3)。

0060

観察条件決定部13は、第1画像21における第1観察条件と変形情報に基づいて、第2画像22における第1の挿入位置QA1に対応する位置である第2の挿入位置QA2を特定する。そして、第1の挿入位置QA1から第1の先端位置PA1に向かう第1の挿入ベクトルVA1に対応する向きが、第2の挿入位置QA2から第2画像22において手術器具の先端部が位置する第2の先端位置PA2に向かう第2の挿入ベクトルVA2となり、第1の挿入位置QA1と第1の先端位置PA1との間の距離DA1が第2の挿入位置QA2と第2の先端位置PA2との間の距離DA2と等しくなるように、第2の先端位置PA2を特定する。そして、図4に示されるように、θA1=θA1、DA1=DA2となるように第2の先端位置PA2が決定される。そして、第2の挿入位置QA2と、第2の先端位置PA2と、第2の挿入位置QA2から第2の先端位置PA2に向かう第2の挿入ベクトルVA2と、第2の挿入ベクトルVA2に対する第2の撮影向きとを第2観察条件として決定する(ステップS4)。

0061

画像生成部14は、第1観察条件に基づいて、第1画像21から第1の先端位置PA1を視点とし、第1の撮影向きをカメラ姿勢として、第1観察画像31を生成し(ステップS5)、第2観察条件に基づいて、第2画像22から第2の先端位置PA2を視点とし、第2の撮影向きをカメラ姿勢として、第2観察画像32を生成する(ステップS6)。

0062

出力部15は、例えばステップS5で生成された第1観察画像31と、ステップS8で生成された第2観察画像32とを同時に表示装置3に出力し、第1観察画像31と第2観察画像32とを表示面上に同時に表示させる(ステップS7)。

0063

次に、判定部16は、第2の先端位置PA2と第2の挿入位置QA2を結ぶ線分(判定対象線分)が第2画像22中に含まれる解剖学的構造物と許容できない距離以下に近接しているか近接部分を有するか否かを判定する。そして、近接部分が存在する場合には(ステップS8,YES)、警告表示を行うよう出力部15に指示する。すると、出力部15が警告表示の指示を表示装置3に出力し、表示装置3が近接部分を色分けして識別表示することにより警告表示を行う(ステップS9)。

0064

本実施形態によれば、第1画像21とはフェーズの異なる第2画像22において、第1画像21における仮想的な医療器具である仮想内視鏡装置M1の挿入位置(第1の挿入位置QA1)および挿入向き(第1の挿入向きVA1)と、第2画像における仮想的な医療器具の挿入位置(第2の挿入位置QA2)と挿入向き(第2の挿入向きVA2)を対応させて、第2画像における仮想的な医療器具の先端位置(第2の先端位置PA2)を決定して、第2の先端位置PA2を視点として被検体内部を可視化した第2観察画像32を生成することができる。このため、第1観察画像31に示される被検体内部と、第2観察画像32に示される被検体内部とは、挿入口からの挿入向きと先端位置が互いに対応した構図で示されたものとなり、双方の画像中の臓器の形状は第1画像21と第2画像22のそれぞれの対応フェーズに応じた変形状態となっている。

0065

また、本実施形態のように、第1画像21とはフェーズの異なる第2画像22において、第1画像21における仮想的な医療器具である仮想内視鏡装置M1の挿入位置(第1の挿入位置QA1)および挿入向き(第1の挿入向きVA1)および挿入深さ(第1の挿入位置と第1の視点との距離DA1)と、第2画像における仮想的な医療器具の挿入位置(第2の挿入位置QA2)と挿入向き(第2の挿入向きVA2)と挿入深さ(第2の挿入位置と第2の視点との距離DA2)を対応させて、第2画像における仮想的な医療器具の先端位置(第2の先端位置PA2)を決定して、第2の先端位置PA2を視点とし、第1の撮影向きに対応する第2の撮影向きに被検体内部を可視化した第2観察画像32を生成した場合には、第1観察画像31に示される被検体内部と、第2観察画像32に示される被検体内部とは、挿入口からの挿入向きと挿入深さと先端位置と撮影向きとが互いに対応した同等の構図で示されたものとなり、双方の画像中の臓器の形状は第1画像21と第2画像22のそれぞれの対応フェーズに応じた変形状態となっている。

0066

従って、本実施形態によれば、手術中など被検体内部に硬性の挿入部を有する医療器具が配置されている期間中に呼吸や拍動など被検体内部の解剖学的構造物の変形を生じる複数のフェーズが存在する場合であっても、生成された第2観察画像32をユーザに観察可能とすることにより、第2画像22に対応するフェーズにおいて被検体内部の処置または観察を実施する際に、被検体内部への挿入位置、先端位置、挿入向きが適切であるかを容易かつ正確に判断可能な有用な情報を提供することができる。

0067

例えば、ユーザは第1観察画像31と第2観察画像32を見比べることで、第1画像21の対応フェーズにおいて設定された仮想内視鏡装置M1の挿入位置QA1と挿入ベクトルVA1と挿入深さDA1を維持した場合、第2画像22の対応フェーズにおいて、被検体内部がフェーズに応じて変形することにより観察画像がどのように変化するかを確認できる。2つの観察画像31、32を表示するのに代えて、第1観察画像31の生成を省略し、第2観察画像32のみを表示面上に表示してもよい。その場合でも、ユーザは、第2観察画像において、第1画像21と異なるフェーズにおいて、被検体内部が変形することにより観察画像がどのように変化するかを確認できる。また、互いに異なる呼吸フェーズや拍動フェーズに対応する第1観察画像31と第2観察画像32を生成して表示した場合には、手術中などに被検体の呼吸による被検体内部の臓器などの変形が生じても、互いに異なるフェーズの両方で被検体内部への挿入位置、先端位置、挿入向きが適切であるかを容易かつ正確に判断可能な有用な情報を提供することができる。また、第1画像と第2画像が、互いに異なる姿勢における被検体を表している場合にも、互いに異なる姿勢の被検体に対応する第1観察画像31と第2観察画像32を生成して表示することによって、姿勢の違いによる被検体内部の臓器などの変形が生じても、互いに異なる姿勢における被検体内部への挿入位置、先端位置、挿入向きが適切であるかを容易かつ正確に判断可能な有用な情報を提供することができる。

0068

また、上記のように、第1の挿入位置QA1における第1画像21の体表Sの法線ベクトルTA1と第1の挿入ベクトルVA1とのなす角度が、第2の挿入位置QA2における第2画像22の体表Sの法線ベクトルTA2と第2の挿入向きVA2とのなす角度と等しくなるように、第2の挿入向きVA2を決定した場合には、異なるフェーズにおいて、仮想内視鏡装置M1の挿入位置における被検体の体表Sに対する挿入角度が同じになるように、第2観察条件を決定することできる。このため、生成された第2観察画像を参考にすることにより、第1画像21の対応フェーズと第2画像22の対応フェーズにおいて、被検体の体表Sに対する挿入角度を一致させた場合の、体腔内部の様子を観察することができる。

0069

また、上記のように、第2の先端位置PA2と第2の挿入位置QA2を結ぶ線分(仮想内視鏡装置などの医療器具の硬性挿入部に相当する部分)が第2画像22中に含まれる解剖学的構造物と許容できない距離以下に近接しているか否かを判定する判定部16を備えた場合には、手術シミュレーションなどにおいて、医療器具の硬性挿入部の配置や挿入経路が適切であるかを判断する有用な情報を提供することができる。また、出力部15が、近接部が存在する場合に、警告表示や警告音などの警告を出力することにより、ユーザに適切に注意喚起することができる。また、近接部分を識別表示した場合には、より容易かつ正確にユーザに近接部分の存在と位置を把握させることができる。

0070

また、複数の医療器具を用いる内視鏡下手術において、硬性内視鏡装置で処置部を観察しつつ、メスやニードルなどの硬性処置具を用いて所望の処置を実施する場合もある。このような場合には、硬性内視鏡装置と硬性処置具のそれぞれに挿入口を設け、それぞれの挿入口から所望の手術器具を適切な位置まで挿入して所望の観察および処置が実施される。このため、上記第1の実施形態を変形した第2実施形態として、観察条件決定部13は第1画像21におけるそれぞれ異なる複数の第1観察条件が設定されている場合、複数の第1観察条件に対応する複数の第2観察条件をそれぞれ決定することが好ましい。以下、第2の実施形態について説明する。

0071

また、第2実施形態において、観察条件決定部13は第1画像21におけるそれぞれ異なる複数の第1観察条件が設定されている場合、複数の第1観察条件に対応する複数の第2観察条件をそれぞれ決定し、画像生成部14が複数の第1観察条件にそれぞれ対応する複数の第1観察画像31と複数の第2観察条件にそれぞれ対応する複数の第2観察画像32を生成し、出力部15が生成された複数の第1観察画像31と複数の第2観察画像32を表示装置3に出力し、表示装置3が複数の第1観察画像31と複数の第2観察画像32を表示する点において第1の実施形態と相違する。またこれらの相違点以外は、画像処理装置1の各部の基本的な機能や構成は共通しており、図5に示す画像処理の流れも共通しているため、図5を用いて第2実施形態の処理の流れを説明し、第2実施形態と第1実施形態の各部の共通の構成、機能、処理については説明を省略し、第2実施形態と第1実施形態の相違部分を中心に説明する。

0072

第2実施形態において、第1画像21と第2画像22の取得処理図5に示すS1)と変形情報取得処理(図5に示すS2)は第1の実施形態と共通する。図5に示すS3の処理について、第2の実施形態における観察条件決定部13は、第1の実施形態と同様にユーザ入力に応じて複数の第1観察条件を取得する。

0073

図5に示すS4の処理について、第2の実施形態における観察条件決定部13は、複数の第1の観察条件を取得し、第1の実施形態と同様に、それぞれの第1の観察条件ごとに対応する第2の観察条件を決定する。図4に互いに異なる2つの第1観察条件が設定されている例を示す。例えば、M1が仮想内視鏡装置を示し、M2がメスなどの他の処置具を示すものと考えることができる。図4を用いて説明すると、観察条件決定部13は、第1の実施形態と同様に、第1画像21における第1の挿入位置QA1、第1の先端位置PA1に基づいて、第2画像22における第2の挿入位置QA2と第2先端位置PA2を決定し、第1の挿入位置QB1と第1の先端位置PB1についても、第1の実施形態と同様に、第1画像21における第1の挿入位置QB1、第1の先端位置PB1に基づいて、第2画像22における第2の挿入位置QB2と第2先端位置PB2を決定する。

0074

詳細には、観察条件決定部13は、第1の挿入位置QB1に対応する第2画像22の第2の挿入位置QB2を特定し、第1の挿入位置QB1における体表Sの法線ベクトルTB1と第2の挿入位置QB2における体表Sの法線ベクトルTB2を取得する。そして、第2画像22における第2の挿入ベクトルVB2と法線ベクトルTB2とのなす角θB2が、第1画像21における第1の挿入ベクトルVB1と法線ベクトルTB1のなす角θB1と等しくなるように、第2の挿入ベクトルVB2を決定する。そして、第2の挿入位置QB2から、第2の挿入ベクトルVB2の向きに第1の挿入位置QB1と第1の先端位置PB1との距離DB1離間した位置を第2の先端位置PB2として決定する。また、観察条件決定部13は、第1の実施形態と同様に、第1の挿入ベクトルVA1に対する第1の撮影向きとの相対的な関係が、第2の挿入ベクトルVA2に対する第2の撮影向きとの相対的な関係と等しくなるように、第2の撮影向きを決定する。以上により、観察条件決定部13は、図4において、θB1=θB2、DB1=DB2となるように第2の先端位置PB2を決定する。観察条件決定部13は、さらなる第1観察条件が存在する場合にも、同様に対応する第2観察条件を決定する。

0075

図5に示すS5の処理について、第2の実施形態における画像生成部14は、複数の第1観察条件にそれぞれ対応する複数の第1観察画像を第1画像21からそれぞれ生成する。図5に示すS6の処理について、第2の実施形態における画像生成部14は、複数の第2観察条件にそれぞれ対応する複数の第2観察画像(第2画像22から生成された画像または変形第1画像21Aから生成された画像)をそれぞれ生成する。そして、図5に示すS7の処理について、出力部15は、生成された複数の第2観察条件に対応する第2観察画像をそれぞれ表示装置3に出力して表示画面に表示させる。なお、画像生成部14と出力部は、複数の第1観察画像31と複数の第2観察画像32の全てについて画像生成処理画像出力処理を行ってもよく、複数の第1観察画像31と複数の第2観察画像32の一部についてのみ画像生成処理と画像出力処理を行ってもよい。

0076

図5に示すS8、S9の処理について、第2の実施形態における判定部16は、複数の第2観察条件に対して個々に第2の挿入位置から第2の先端位置までを結ぶ線分(判定対象線分)が被検体内に含まれる解剖学的構造物と所定距離以下であるかを判定して、複数の判定対象線分のうち近接部分が存在するものがある場合には(図5に示すS8、YES)、近接部分をそれぞれ色分けして識別表示することにより警告表示する(図5に示すS9)。この場合には、複数の挿入位置のそれぞれ挿入される手術器具がそれぞれ臓器に対して適切に離間して配置されているかを容易かつ効率良く把握することができる。なお、判定部16は、複数の判定対象線分のうちの一部についてのみ警告表示をするようにしてもよく、警告表示を行わなくてもよい。

0077

第2の実施形態のように、生成された複数の第2観察条件にそれぞれ対応する複数の第2観察画像をそれぞれ表示装置3に出力して表示画面に表示させることにより、第1画像21と第2画像22にフェーズに応じた被検体内部の変形がある場合にも、硬性挿入部を有する複数の医療器具にそれぞれ対応する複数の挿入位置と挿入位置からの挿入深さや挿入向きが適切に設定されているかを容易かつ効率良く把握することができる。また、内視鏡下手術において、手術の処置目的や処置方法に応じて、硬性内視鏡装置によって複数の処置部の観察または複数の角度から1つの処置部を観察するために、硬性内視鏡装置を複数の挿入口に差し替えて処置部の観察を行う場合がある。このような場合に、複数の第2観察画像を参照することにより、複数の挿入口のそれぞれに対して、硬性内視鏡装置の複数の挿入位置と挿入位置からの挿入深さや挿入向きを対応させて、処置対象に対する距離や観察範囲などを確認することができる。

0078

また、第2の実施形態において、画像生成部14は、第2画像22または変形第1画像21Aから、複数の第2観察条件にそれぞれ対応する複数の第2の挿入位置及び複数の第2の先端位置を視認可能に被検体を表した他の擬似3次元画像をさらに生成し、出力部15は生成された擬似3次元画像を表示装置3に出力して表示画面に表示させてもよい。医師らは、第2画像22に対応するフェーズにおける、複数の第2観察条件にそれぞれ対応する複数の第2の挿入位置及び複数の第2の先端位置を視認可能に被検体を表した擬似3次元画像を観察することにより、第2画像22に対応するフェーズにおける被検体内部の変形状態と、複数の第2観察条件にそれぞれ対応する硬性挿入部を有する手術器具の相対的な配置を容易に把握でき、複数の挿入位置と挿入位置からの挿入深さや挿入向きが適切な位置および向きに配置されているかを容易かつ効率良く判断するために有効な情報を得ることができる。

0079

また、画像処理装置1に入力される画像は2つには限定されず、3以上の画像を画像処理装置1に入力してもよい。例えば3つの画像(第1〜第3画像)を画像処理装置1に入力する場合、画像取得部11は、第1〜第3画像を取得し、変形情報取得部12は第1画像と第2画像とで位置合せを行うと共に、第1画像と第3の画像とで位置合せを行えばよい。また、観察条件決定部13は、第2画像と第3画像の双方において、第1画像において設定された第1観察条件にそれぞれ対応する第2観察条件(第1の先端位置に対応する第2の先端位置、第1の挿入位置に対応する第2の挿入位置)と第3観察条件(第1の先端位置に対応する第3の先端位置、第1の挿入位置に対応する第3の挿入位置)を求めればよい。画像生成部14は、第2画像から第2観察条件に基づく第2観察画像を生成し、第3画像から第3観察条件に基づく第3観察画像を生成すればよい。また、出力部15は、第2観察画像および第3観察画像を表示装置3に出力すればよい。また、判定部16は、第2観察条件(第1の先端位置に対応する第2の先端位置、第1の挿入位置に対応する第2の挿入位置)に基づいて、第2の先端位置と第2の挿入位置を結ぶ判定対象線分について、被検体の解剖学的構造物と所定の閾値以下であるか否かを判定し、第3観察条件(第1の先端位置に対応する第3の先端位置、第1の挿入位置に対応する第3の挿入位置)に基づいて、第3の先端位置と第3の挿入位置を結ぶ判定対象線分について、被検体の解剖学的構造物と所定の閾値以下であるか否かを判定すればよい。

0080

上記各実施形態において、変形情報取得処理(S2)と第1観察条件取得処理(S3)の処理の順番入れ替えてもよい。また、各実施形態において、S8およびS9の処理を省略し、画像処理装置1が判定部16を備えない構成としてもよい。第1観察画像生成処理(S5)は、第1観察条件取得処理(S3)の後で第1観察画像表示処理(S7)の前であれば任意のタイミングで実施してよく、第1観察画像の生成処理(S5)と第1観察画像の表示処理とを省略してもよい。

0081

以上、本発明をその好適な実施形態に基づいて説明したが、本発明の画像処理装置、方法、及びプログラムは、上記実施形態にのみ限定されるものではなく、上記実施形態の構成から種々の修正及び変更を施したものも、本発明の範囲に含まれる。

0082

1画像処理装置
2入力装置
3表示装置
4記憶装置
10画像処理ワークステーション
11画像取得部
12変形情報取得部
13観察条件決定部
14画像生成部
15 出力部
16 判定部
21 第1画像
21A 変形第1画像
22 第2画像
31 第1観察画像
32 第2観察画像
M1硬性内視鏡装置(手術器具)
PA1 第1の先端位置
PA2 第2の先端位置
QA1 第1の挿入位置
QA2 第2の挿入位置
VA1 第1の挿入向き
VA2 第2の挿入向き

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ