図面 (/)

技術 プロジェクションマッピング装置

出願人 富士フイルム株式会社
発明者 古田善工河合智行増田智紀北川潤也新貝安浩
出願日 2018年10月1日 (1年5ヶ月経過) 出願番号 2018-186738
公開日 2019年3月22日 (1年0ヶ月経過) 公開番号 2019-042519
状態 特許登録済
技術分野 電気信号の光信号への変換 手術・診断のための補助具 内視鏡 イメージ処理・作成
主要キーワード 位置画像データ 内部構造情報 コーナ点 生成範囲 幾何学パターン 照射像 相対移動機構 PM装置
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2019年3月22日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

検体内に挿入されている医療機器の先端位置を示す投影画像を被検体の位置や姿勢の変化に合わせて投影可能なプロジェクションマッピング装置を提供する。

解決手段

距離画像を生成する距離画像生成部と、被検体内に挿入されている機器の位置を取得する位置情報取得部と、被検体内での機器の位置を表す位置画像として、被検体の対応部位透過画像撮像する透過画像撮像装置から透過画像を取得する位置画像取得部と、距離画像生成部が生成した距離画像から検出した被検体の表面形状の凹凸に透過画像を合わせた形状に変形して、当該位置に対応する被検体の対応部位の表面形状に対応した投影画像を生成する投影画像生成部と、投影画像生成部が生成した投影画像を対応部位に投影するプロジェクタ装置と、を備える。

概要

背景

医療分野において、プロジェクタ装置を用いて患者に、臓器筋肉、骨、関節、及び血管などの画像を投影投射)する技術が知られている。特許文献1には、サーマルマーカを装着した患者を赤外線カメラ撮像し、この撮像により得られた赤外線画像解析して患者(被検体)の位置及び姿勢推定し、この推定結果に基づき患者の体内情報(臓器等)を患者の位置及び姿勢に合わせて投影する投影システムが開示されている。

特許文献2には、患者の体内に挿入された医療器具外科用器具)の空間座標を検出し、この空間座標の検出結果に基づき、医療機器の位置及び方位等に関する幾何学的なパターンを患者に投影する装置が開示されている。この特許文献2に記載の装置では、患者に投影される幾何学パターンの位置が患者の体内での医療機器の位置(二次元位置)を示し、幾何学パターンの色が患者の体内での医療機器の深さ位置を示す。

概要

検体内に挿入されている医療機器の先端位置を示す投影画像を被検体の位置や姿勢の変化に合わせて投影可能なプロジェクションマッピング装置を提供する。距離画像を生成する距離画像生成部と、被検体内に挿入されている機器の位置を取得する位置情報取得部と、被検体内での機器の位置を表す位置画像として、被検体の対応部位透過画像を撮像する透過画像撮像装置から透過画像を取得する位置画像取得部と、距離画像生成部が生成した距離画像から検出した被検体の表面形状の凹凸に透過画像を合わせた形状に変形して、当該位置に対応する被検体の対応部位の表面形状に対応した投影画像を生成する投影画像生成部と、投影画像生成部が生成した投影画像を対応部位に投影するプロジェクタ装置と、を備える。

目的

なお、第2実施形態では、既述の図10に示した第1実施形態のような投影画像データ24の生成を目的とした

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

検体の表面の空間座標を取得して距離画像を生成する距離画像生成部と、前記被検体内に挿入されている機器の位置を取得する位置情報取得部と、前記被検体内での前記機器の位置を表す位置画像として、前記被検体の対応部位透過画像撮像する透過画像撮像装置から前記透過画像を取得する位置画像取得部と、前記距離画像生成部が生成した前記距離画像から検出した前記被検体の表面形状の凹凸に前記透過画像を合わせた形状に変形して、当該位置に対応する前記被検体の対応部位の表面形状に対応した投影画像を生成する投影画像生成部と、前記投影画像生成部が生成した前記投影画像を表示する表示用光学素子と、前記表示用光学素子に投影光入射させる投影光源と、前記表示用光学素子から出射される前記投影画像を前記対応部位に投影する光学系と、を含むプロジェクタ装置と、を備えるプロジェクションマッピング装置

請求項2

前記距離画像生成部は、測定光を被検体に対して照射する光源と、受光素子を含む距離画像センサと、を備え、前記距離画像生成部は、前記光源から出射され、前記被検体にて反射して前記距離画像センサに入射する前記測定光の受光信号を前記距離画像センサから取得し、前記取得した受光信号に基づいて前記距離画像を生成する請求項1に記載のプロジェクションマッピング装置。

請求項3

前記位置情報取得部は、前記被検体内に挿入されている前記機器の先端位置を取得する請求項1に記載のプロジェクションマッピング装置。

請求項4

前記位置情報取得部は、前記透過画像と、前記被検体内の既知の内部構造とに基づき、前記位置を取得する請求項1から3のいずれか1項に記載のプロジェクションマッピング装置。

請求項5

前記機器は、前記被検体内の既知の経路に沿って挿入されるものであり、前記位置情報取得部は、前記被検体内への前記機器の挿入量を取得し、前記挿入量と前記既知の経路とを比較した結果に基づいて、前記位置を取得する請求項1から4のいずれか1項に記載のプロジェクションマッピング装置。

請求項6

前記機器には、加速度センサ及びジャイロセンサが設けられており、前記位置情報取得部は、前記加速度センサ及び前記ジャイロセンサの出力に基づいて、前記機器が前記被検体に挿入された挿入位置からの前記機器の移動方向及び移動量を検出し、前記移動方向及び前記移動量の検出結果に基づいて前記位置を取得する請求項1から4のいずれか1項に記載のプロジェクションマッピング装置。

請求項7

前記機器には、撮像部が設けられており、前記撮像部が撮像した撮像画像に基づいて前記被検体内での前記機器の挿入経路を示す挿入経路情報を取得する挿入経路情報取得部を有し、前記位置情報取得部は、前記機器が前記被検体に挿入された挿入位置と、前記挿入経路情報取得部により取得された前記挿入経路情報とに基づいて、前記位置を取得する請求項1から4のいずれか1項に記載のプロジェクションマッピング装置。

請求項8

前記光学系の焦点距離と、前記距離画像生成部が生成した前記距離画像が示す前記被検体までの距離と、前記投影画像生成部が生成した前記投影画像とに基づき、前記被検体に投影される前記投影画像の投影範囲を取得する投影範囲取得部と、前記投影範囲取得部が取得した前記投影範囲に対応して、前記距離画像生成部が前記距離画像の生成を行う生成範囲を設定する距離画像生成制御部と、を備える請求項1から7のいずれか1項に記載のプロジェクションマッピング装置。

請求項9

前記投影画像生成部は、前記距離画像から検出した前記被検体の形状と、前記位置情報取得部が取得した前記位置とに基づき前記対応部位の表面形状を識別して、前記表面形状の識別結果に基づき、前記位置画像を前記対応部位に合わせた形状に変形して前記投影画像を生成する請求項1から8のいずれか1項に記載のプロジェクションマッピング装置。

請求項10

前記投影画像生成部は、前記距離画像及び前記位置より判別される前記プロジェクタ装置から前記対応部位までの距離と、前記光学系の焦点距離情報とに基づき、前記表示用光学素子に表示される前記投影画像の表示位置及び大きさを、当該投影画像が当該対応部位に重ねて投影される表示位置及び大きさに決定し、前記表示用光学素子は、前記投影画像生成部が決定した前記表示位置及び大きさで前記投影画像を表示する請求項1から9のいずれか1項に記載のプロジェクションマッピング装置。

技術分野

0001

本発明は、医療機器が挿入されている被検体に画像を投影するプロジェクションマッピング装置に関する。

背景技術

0002

医療分野において、プロジェクタ装置を用いて患者に、臓器筋肉、骨、関節、及び血管などの画像を投影(投射)する技術が知られている。特許文献1には、サーマルマーカを装着した患者を赤外線カメラ撮像し、この撮像により得られた赤外線画像解析して患者(被検体)の位置及び姿勢推定し、この推定結果に基づき患者の体内情報(臓器等)を患者の位置及び姿勢に合わせて投影する投影システムが開示されている。

0003

特許文献2には、患者の体内に挿入された医療器具外科用器具)の空間座標を検出し、この空間座標の検出結果に基づき、医療機器の位置及び方位等に関する幾何学的なパターンを患者に投影する装置が開示されている。この特許文献2に記載の装置では、患者に投影される幾何学パターンの位置が患者の体内での医療機器の位置(二次元位置)を示し、幾何学パターンの色が患者の体内での医療機器の深さ位置を示す。

先行技術

0004

特開2007−151686号公報
特開2002−102251号公報

発明が解決しようとする課題

0005

しかしながら、特許文献1に記載の技術では、患者の位置や姿勢は推定可能であるが、体内情報(臓器等)が投影される患者の投影面(照射面)の形状までは判別できないので、患者の投影面に投影される投影画像照射像)が歪むおそれがある。その結果、患者に投影される投影画像上で体内情報(臓器等)の形状や大きさを再現することができない。

0006

特許文献2に記載の技術では、投影画像として前述の幾何学的パターンを患者に投影しているものの患者の位置を動かさないことが前提であり、幾何学的パターンが投影される患者の投影面(照射面)の形状を判別していない。このため、特許文献2に記載の技術では、患者を動かした場合に幾何学パターンの投影画像の位置がずれたり、上記特許文献1と同様に投影画像に歪みが発生したりするおそれがある。その結果、特許文献2に記載の投影画像では、少なくとも患者の体内に挿入されている医療器具の位置を再現できない場合がある。

0007

本発明はこのような事情に鑑みてなされたものであり、被検体内に挿入されている医療機器の先端位置を示す投影画像を被検体の位置や姿勢の変化に合わせて投影可能なプロジェクションマッピング装置に関する。

課題を解決するための手段

0008

本発明の目的を達成するためのプロジェクションマッピング装置は、測定光を被検体に対して照射する光源と、複数の受光素子が2次元状に配列された距離画像センサと、光源から出射され、被検体にて反射して距離画像センサに入射する測定光の受光信号を距離画像センサから取得し、取得した受光信号に基づいて距離画像を生成する距離画像生成部と、被検体内に挿入されている医療機器の先端位置を取得する位置情報取得部と、被検体内での医療機器の先端位置を表す先端位置画像を取得する先端位置画像取得部と、距離画像生成部が生成した距離画像から検出した被検体の形状と、位置情報取得部が取得した先端位置とに基づき、先端位置画像取得部が取得した先端位置画像から、先端位置に対応する被検体の対応部位表面形状に対応した投影画像を生成する投影画像生成部と、投影画像生成部が生成した投影画像を表示する表示用光学素子と、表示用光学素子に投影光を入射させる投影光源と、表示用光学素子から出射される投影画像を対応部位に投影する投影レンズと、を含むプロジェクタ装置と、を備える。

0009

このプロジェクションマッピング装置によれば、被検体の対応部位の表面形状に対応し且つ被検体内での医療機器の先端位置を表す投影画像を生成して、この投影画像を被検体の対応部位に投影することができる。

0010

本発明の他の態様に係るプロジェクションマッピング装置において、先端位置画像取得部は、先端位置画像として、被検体の対応部位の透過画像を撮像する透過画像撮像装置から透過画像を取得する。これにより、この透過光画像を基に生成された投影画像を被検体の対応部位に投影することができるので、医師は被検体から視線を逸らすことなく(別途モニタで透過光画像を確認することなく)医療機器の挿入を行うことができる。

0011

本発明の他の態様に係るプロジェクションマッピング装置において、位置情報取得部が取得した先端位置と、被検体内の既知の内部構造とに基づき、先端位置画像を生成する先端位置画像生成部を備え、先端位置画像取得部は、先端位置画像生成部から先端位置画像を取得する。これにより、透過光画像の取得を行わなくとも被検体内での医療機器の先端位置を表す先端位置画像を取得することができる。

0012

本発明の他の態様に係るプロジェクションマッピング装置において、位置情報取得部は、透過画像と、被検体内の既知の内部構造とに基づき、先端位置を取得する。これにより、現実撮影された透過光画像から、被検体内での医療機器の正確な先端位置を取得することができる。

0013

本発明の他の態様に係るプロジェクションマッピング装置において、医療機器は、被検体内の既知の経路に沿って挿入されるものであり、位置情報取得部は、被検体内への医療機器の挿入量を取得し、挿入量と既知の経路とを比較した結果に基づいて、先端位置を取得する。これにより、被検体内での医療機器の先端位置を簡単に取得することができる。

0014

本発明の他の態様に係るプロジェクションマッピング装置において、医療機器の先端には、加速度センサ及びジャイロセンサが設けられており、位置情報取得部は、加速度センサ及びジャイロセンサの出力に基づいて、医療機器が被検体に挿入された挿入位置からの医療機器の先端の移動方向及び移動量を検出し、移動方向及び移動量の検出結果に基づいて先端位置を取得する。これにより、被検体内で医療機器の先端位置を自由に移動させた場合でも、被検体内で医療機器の先端位置を確実に取得することができる。

0015

本発明の他の態様に係るプロジェクションマッピング装置において、医療機器の先端には、撮像部が設けられており、撮像部が撮像した撮像画像に基づいて被検体内での医療機器の先端の挿入経路を示す挿入経路情報を取得する挿入経路情報取得部を有し、位置情報取得部は、医療機器が被検体に挿入された挿入位置と、挿入経路情報取得部により取得された挿入経路情報とに基づいて、先端位置を取得する。これにより、被検体内で医療機器の先端位置を自由に移動させた場合でも、被検体内で医療機器の先端位置を確実に取得することができる。

0016

本発明の他の態様に係るプロジェクションマッピング装置において、距離画像の生成前に、光源から被検体に照射される測定光の波長切り替え切替制御部と、切替制御部による測定光の波長の切り替えによって距離画像センサが波長毎に受光した測定光の中で、最も強度が高くなる波長の測定光を光源から照射させる光源制御部と、を備え、距離画像生成部は、光源から被検体に最も強度が高くなる波長の測定光が照射された場合に、距離画像を生成する。これにより、距離画像に基づいた被検体までの距離の判定精度や被検体の形状判定精度を向上させることができる。

0017

本発明の他の態様に係るプロジェクションマッピング装置において、光源は、異なる波長の測定光を被検体に照射する複数の光源ユニットを有しており、切替制御部は、測定光を照射する光源ユニットを切り替え、光源制御部は、最も強度が高くなる波長の測定光を照射する光源ユニットから被検体に測定光を照射させる。これにより、距離画像に基づいた被検体までの距離の判定精度や被検体の形状判定精度を向上させることができる。

0018

本発明の他の態様に係るプロジェクションマッピング装置において、投影レンズの焦点距離と、距離画像生成部が生成した距離画像が示す被検体までの距離と、投影画像生成部が生成した投影画像とに基づき、被検体に投影される投影画像の投影範囲を取得する投影範囲取得部と、投影範囲取得部が取得した投影範囲に対応して、距離画像生成部が距離画像の生成を行う生成範囲を設定する距離画像生成制御部と、を備える。これにより、被検体の全範囲の距離画像を生成する必要がなくなるので、距離画像の生成処理に要する演算量を低減することができる。

0019

本発明の他の態様に係るプロジェクションマッピング装置において、距離画像生成部は、光源から照射され、被検体にて反射して距離画像センサに入射する測定光の飛翔時間に対応する距離情報を示す受光信号を距離画像センサから取得し、距離情報に基づいて距離画像を生成する。

0020

本発明の他の態様に係るプロジェクションマッピング装置において、投影画像生成部は、距離画像から検出した被検体の形状と、位置情報取得部が取得した先端位置とに基づき対応部位の表面形状を識別して、表面形状の識別結果に基づき、先端位置画像を対応部位に合わせた形状に変形して投影画像を生成する。これにより、被検体の対応部位の表面形状に対応した投影画像が生成される。

0021

本発明の他の態様に係るプロジェクションマッピング装置において、投影画像生成部は、距離画像及び先端位置より判別されるプロジェクタ装置から対応部位までの距離と、投影レンズの焦点距離情報とに基づき、表示用光学素子に表示される投影画像の表示位置及び大きさを、投影画像が対応部位に重ねて投影される表示位置及び大きさに決定し、表示用光学素子は、投影画像生成部が決定した表示位置及び大きさで投影画像を表示する。これにより、投影画像を対応部位に重ねて投影することができる。

発明の効果

0022

本発明のプロジェクションマッピング装置は、被検体内に挿入されている医療機器の先端位置を示す投影画像を被検体の位置や姿勢の変化に合わせて投影可能にする。

図面の簡単な説明

0023

本発明のプロジェクションマッピング装置を含む手術支援システムの概略図である。
第1実施形態のプロジェクションマッピング装置の構成を示すブロック図である。
第1実施形態の制御部の機能ブロック図である。
第1実施形態の内部構造情報の一例を示した説明図である。
透過画像データの一例を示した説明図である。
第1実施形態の投影画像生成部による投影画像データの生成処理について説明するための説明図である。
投影画像データに基づく投影画像の患者への投影を説明するための説明図である。
投影画像データに基づく投影画像が患者に投影されている状態を説明するための説明図である。
投影画像生成部による投影画像データの生成処理の変形例について説明するための説明図である。
第1実施形態の手術支援システムのプロジェクションマッピング装置による投影画像の投影処理の流れを示すフローチャートである。
第2実施形態のプロジェクションマッピング装置の構成を示すブロック図である。
先端位置画像生成部による先端位置画像データの生成処理の一例を説明するための説明図である。
第2実施形態の手術支援システムのプロジェクションマッピング装置による投影画像の投影処理の流れを示すフローチャートである。
腹腔鏡を用いた腹腔鏡手術の一例を説明するための説明図である。
第3実施形態のプロジェクションマッピング装置の構成を示すブロック図である。
第3実施形態の位置情報取得部による患者の体内での腹腔鏡の先端位置の取得処理について説明するための説明図である。
第3実施形態の内部構造情報の一例を示した説明図である。
第3実施形態の先端位置画像生成部による先端位置画像データの生成処理を説明するための説明図である。
第3実施形態の投影画像データに基づく投影画像の患者への投影を説明するための説明図である。
第3実施形態の投影画像データに基づく投影画像が患者に投影されている状態を説明するための説明図である。
第4実施形態の手術支援システムのプロジェクションマッピング装置の構成を示すブロック図である。
第4実施形態の位置情報取得部による患者の体内での腹腔鏡の先端位置の取得処理について説明するための説明図である。
第5実施形態の手術支援システムのプロジェクションマッピング装置の構成を示すブロック図である。
距離画像データの生成用のパルス光を出射するLED光源決定処理の流れを示すフローチャートである。
第6実施形態の手術支援システムのプロジェクションマッピング装置の構成を示すブロック図である。
距離画像生成制御部による距離画像データの生成範囲の設定について説明するための説明図である。

実施例

0024

[第1実施形態の手術支援システム(プロジェクションマッピング装置)]
図1は、本発明のプロジェクションマッピング装置を含む手術支援システム10の概略図である。図1に示すように、手術支援システム10は、本発明の被検体である患者9の体内に本発明の医療器具に相当するカテーテル12を挿入した場合に、患者9の体内でのカテーテル12の先端位置を示す画像を、この先端位置に対応する患者9の対応部位に投影する。ここでいう対応部位とは、患者9の体内においてカテーテル12(医療機器)の先端位置が存在する部位である。

0025

手術支援システム10は、患者9を載置する載置台15と、載置台15の下側に配置されたX線管16と、載置台15の上側に配置されたX線平面検出器FPD:Flat Panel Detector)17と、透過画像生成部18と、送り量センサ19と、本発明のプロジェクションマッピング(Projection Mapping)装置20と、を備える。以下、プロジェクションマッピング装置を、適宜「PM装置」と略す。

0026

X線管16及びX線平面検出器17及び透過画像生成部18は、本発明の透過画像を撮像する透過画像撮像装置に相当するものである。X線管16は、載置台15を通して患者9に向けてX線を照射する。なお、図中の符号AXは、X線の照射範囲を示す。X線平面検出器17は、載置台15及び患者9を透過したX線を検出して、検出信号を透過画像生成部18へ出力する。

0027

透過画像生成部18は、X線平面検出器17から入力された検出信号に基づき、本発明の透過画像として、X線画像である透過画像データ22(図5参照)を生成し、透過画像データ22をPM装置20へ出力する。なお、X線管16及びX線平面検出器17及び透過画像生成部18については公知技術であるので、詳細な説明は省略する。

0028

また、X線管16及びX線平面検出器17と、載置台15とは、図示しない相対移動機構により相対移動可能である。このため、X線管16及びX線平面検出器17と、載置台15(患者9)とを相対移動させながら、X線管16によるX線の照射と、X線平面検出器17によるX線の検出と、透過画像生成部18による透過画像データ22(図5参照)の生成とを繰り返すことで、患者9の各部の透過画像データ22が得られる。

0029

本例では、カテーテル12を挿入中に常に前述の対応部位の透過画像データ22が得られるように、患者9の体内でのカテーテル12の先端位置に応じて、X線管16及びX線平面検出器17と、載置台15(患者9)とを相対移動させる。なお、相対移動機構による相対移動は医療スタッフ等が手動で行ってもよいし、或いは後述するように患者9の体内でのカテーテル12の先端位置を取得した結果に基づき、この先端位置に応じた相対移動を相対移動機構に自動で行わせてもよい。

0030

送り量センサ19は、カテーテル12の送り量を検出するセンサである。この送り量センサ19の検出結果に基づき、患者9の体内へのカテーテル12の挿入量を取得することができる。この送り量センサ19は、カテーテル12の送り量の検出結果をPM装置20へ出力する。

0031

PM装置20は、載置台15上の患者9の距離画像データ23(図6参照)を生成する機能と、患者9の体内でのカテーテル12の先端位置を示し且つ前述の対応部位の表面形状に対応した投影画像データ24(図6参照)を生成し、この投影画像データ24に基づく投影画像を患者9の対応部位へ投影する機能と、を有している。図中の符号ATは、距離画像データ23の生成を行う生成範囲を示し、図中の符号APは、投影画像の投影範囲(照射範囲)を示す。

0032

[第1実施形態のPM装置の構成]
図2は、第1実施形態のPM装置20の構成を示すブロック図である。このPM装置20は、前述の距離画像データ23の生成に係る距離画像取得装置20Aと、投影画像データ24に基づく投影画像の投影を行うプロジェクタ装置20Bと、制御部26と、メモリ27と、投影画像生成部28と、入力I/F(interface)29と、を備えている。

0033

距離画像取得装置20Aは、パルス光検出方式の距離画像の取得を行うものであり、タイミングジェネレータ31と、LED(Light Emitting Diode)光源32と、光源ドライバ33と、投影レンズ35と、結像レンズ36と、レンズドライバ37と、距離画像センサ38と、図中「A/D」と表示しているAD(Analog-to-Digital)変換器39と、図中「I/F」と表示しているインターフェース(interface)回路40と、を含む。

0034

タイミングジェネレータ31は、制御部26の制御の下、LED光源32と距離画像センサ38とにそれぞれタイミング信号を出力する。

0035

LED光源32は、本発明の光源に相当するものであり、タイミングジェネレータ31から入力されるタイミング信号に同期して一定のパルス幅のパルス光を発光する。このパルス光は、本発明の測定光に相当するものである。また、本例ではパルス光は近赤外光である。光源ドライバ33は、制御部26の制御の下、LED光源32の駆動を制御する。なお、本発明の光源としてLED以外の光源を使用可能であり、さらに本発明の測定光は近赤外光のパルス光に限定されるものではない。

0036

投影レンズ35は、LED光源32から出射したパルス光を、載置台15上の患者9に向けて照射する。結像レンズ36は、患者9にパルス光が照射された場合、この患者9にて反射されたパルス光を距離画像センサ38に結像させる。レンズドライバ37は、図示しないレンズ駆動部を介して、結像レンズ36のフォーカス制御等を行う。なお、本例ではPM装置20及び載置台15の位置がほぼ固定であるので、載置台15上の患者9に合わせて予めフォーカス調整等が行われている。

0037

距離画像センサ38は、垂直ドライバ及び水平ドライバ等を有するCMOS(Complementary Metal-Oxide Semiconductor)ドライバ、及びタイミングジェネレータ31により駆動されるCMOS型のイメージセンサにより構成されている。なお、距離画像センサ38は、CMOS型に限らず、XYアドレス型、又はCCD(Charge Coupled Device)型のイメージセンサでもよい。

0038

距離画像センサ38は、2次元状に複数の受光素子(フォトダイオード)が配列され、複数の受光素子の入射面側には、LED光源32から発光される近赤外光のパルス光の波長帯域のみを通過させるバンドパスフィルタ、又は可視光を除去する可視光カットフィルタが設けられている。これにより、距離画像センサ38の複数の受光素子は、近赤外光であるパルス光に対して感度をもった画素として機能する。

0039

距離画像センサ38は、タイミングジェネレータ31から入力されるタイミング信号により、LED光源32のパルス光の発光と同期して露光期間露光時間及び露光タイミング)が制御される。距離画像センサ38の各受光素子には、露光期間に入射するパルス光の光量に対応する電荷蓄積される。このようにパルス光検出方式では、患者9までの距離(飛翔時間)が短いほど露光量が多くなり、逆に患者9までの距離(飛翔時間)が遠いほど露光量が少なくなるので、露光量の大きさに応じて患者9までの距離を測定することができる。なお、本例では被検体は患者9であり、手術支援システム10の設置場所病院内であるので、被検体の反射率の違いや外光の影響は考慮しないものとする。

0040

距離画像センサ38からは、患者9にて反射されたパルス光の入射光量に応じた受光信号(画素毎に蓄積された電荷に対応するアナログ信号であり画素信号ともいう)が読み出される。この受光信号は、患者9にて反射して距離画像センサ38に入射するパルス光の飛翔時間に対応する距離情報を示す。

0041

AD変換器39は、距離画像センサ38から読み出された受光信号をデジタル信号に変換してインターフェース回路40へ出力する。なお、CMOS型のイメージセンサには、AD変換器を含むものがあり、この場合にはAD変換器39は省略することができる。インターフェース回路40は、画像入力コントローラとして機能するものであり、AD変換器39から入力されたデジタル信号を制御部26へ出力する。これにより、詳しくは後述するが、制御部26にて距離画像データ23(図3参照)が生成される。

0042

プロジェクタ装置20Bは、所謂単板式の液晶プロジェクタであり、表示用光学素子(光変調素子ともいう)42と、素子ドライバ43と、LED光源44と、光源ドライバ45と、投影レンズ46と、レンズドライバ47と、を含む。

0043

表示用光学素子42は、複数色のカラーフィルタを備えた透過型液晶パネル、或いはダイクロイックミラーマイクロレンズアレイモノクロの透過型の液晶パネルとを組み合わせたカラーフィルレス構造の素子等が用いられる。カラーフィルレス構造の素子は、例えば、R(Red)光、G(Green)光、B(Blue)光をそれぞれ反射する3種類のダイクロイックミラーにより白色光をRGBの3色の光に分光し、3色の光を互いに異なった角度で液晶パネル上のマイクロレンズアレイに入射させる。そして、3色の光をマイクロレンズアレイにより液晶パネルのR用画素、G用画素、B用画素にそれぞれ入射させることによりカラー画像の表示が可能となる。

0044

なお、プロジェクタ装置20Bは、単板式の液晶プロジェクタに限定されるものでなく、色分離光学系及び複数の液晶パネルを備える公知の3板式の液晶プロジェクタであってもよい。また、プロジェクタ装置20Bは、透過型液晶方式に限定されるものではなく、反射型液晶表示方式やDMD(Digital Mirror Device)等を用いた反射型表示方式等の他の各種方式を採用してもよい。

0045

素子ドライバ43は、制御部26の制御の下、表示用光学素子42を制御して、後述の投影画像生成部28が生成した投影画像データ24を表示させる。

0046

LED光源44は、本発明の投影光源に相当するものであり、表示用光学素子42の背面側(投影レンズ46に対向する面とは反対面側)から表示用光学素子42に対して白色光(本発明の投影光)を入射させる。これにより、表示用光学素子42から投影画像データ24に基づく投影画像の像光が出射される。光源ドライバ45は、制御部26の制御の下、LED光源44の駆動を制御する。なお、本発明の投影光源としてLED以外の光源を使用可能である。また、DMD等、R光、B光、G光を時分割で順次投影する表示用光学素子を用いる場合は、投影光源として、R光、B光、G光を時分割で表示用光学素子に順次照射させる光源を使用する。すなわち、本発明の投影光としては、R光、B光、G光などの白色光以外の光を用いることができる。

0047

投影レンズ46は、表示用光学素子42から出射される投影画像の像光を患者9に投影する。レンズドライバ47は、図示しないレンズ駆動部を介して、投影レンズ46のフォーカス制御等を行う。なお、本例ではPM装置20及び載置台15の位置がほぼ固定であるので、載置台15上の患者9に合わせて予めフォーカス調整等が行われている。

0048

制御部26は、データバス49を介して、タイミングジェネレータ31、光源ドライバ33、レンズドライバ37、距離画像センサ38、インターフェース回路40、素子ドライバ43、光源ドライバ45、及びレンズドライバ47等に接続している。この制御部26は、例えばCPU(Central Processing Unit)を含む各種の演算部及び処理部及び記憶部により構成されたものであり、メモリ27から読み出し制御用プログラムやデータを実行することで、PM装置20の全体の動作や処理を統括制御する。また、この制御部26は、詳しくは後述するが、投影画像生成部28による投影画像データ24の生成に用いられるデータや情報の生成及び取得を行う(図3参照)。

0049

メモリ27は、制御部26が処理を実行するための制御用のプログラムの他に、詳しくは後述するが、患者9の体内でのカテーテル12の先端位置に関する情報の取得に用いられる内部構造情報50(本発明の内部構造に相当)及び挿入経路情報51(本発明の既知の経路に相当)を格納している(図3参照)。

0050

投影画像生成部28は、制御部26の制御の下、詳しくは後述するが、制御部26から入力されたデータや情報に基づいて本発明の投影画像である投影画像データ24の生成を行う。

0051

入力I/F29は、前述の透過画像生成部18や送り量センサ19に有線接続又は無線接続する通信インターフェースである。この入力I/F29は、透過画像生成部18から透過画像データ22を取得すると共に、送り量センサ19から送り量の検出結果を取得して、透過画像データ22及び送り量の検出結果を制御部26へ出力する。

0052

図3は、第1実施形態の制御部26の機能ブロック図である。なお、図3中ではデータバス49の図示は省略している。図3に示すように、制御部26は、メモリ27から読み出したプログラムやデータを実行することで、距離画像生成部53、位置情報取得部54、及び先端位置画像取得部55として機能する。

0053

距離画像生成部53は、前述のインターフェース回路40から入力されるデジタル信号に基づき、距離画像データ23を生成する。前述の通り、距離画像センサ38の各受光素子の受光量は患者9までの距離に応じて異なるため、距離画像データ23は、通常の2次元画像データの色や濃淡の代わりに、画素毎に距離画像センサ38から患者9までの距離情報をもったデータ、すなわち、患者9の表面の各点までの距離情報をもったデータであり、患者9までの距離及び患者9の表面形状を表している。距離画像生成部53は、生成した距離画像データ23を投影画像生成部28へ出力する。

0054

位置情報取得部54は、患者9の体内に挿入されているカテーテル12の先端位置を取得する。なお、ここでいう「先端位置」には、先端の向き(方位)に関する情報も含まれる。

0055

本例の位置情報取得部54は、入力I/F29を介して取得した透過画像データ22を用いてカテーテル12の先端位置を取得する方法と、入力I/F29を介して取得した送り量センサ19からの送り量の検出結果を用いてカテーテル12の先端位置を取得する方法とを選択可能である。なお、いずれの方法を選択するのかについては、ユーザが図示しない操作部等を操作して決定する。

0056

位置情報取得部54は、透過画像データ22を用いてカテーテル12の先端位置を取得する方法が選択された場合、この透過画像データ22と、メモリ27に予め格納されている内部構造情報50とに基づいて、カテーテル12の先端位置を取得する。

0057

図4は内部構造情報50の一例を示した説明図である。また、図5は透過画像データ22の一例を示した説明図である。図4に示すように、患者9の体内の血管内にカテーテル12を挿入する場合に用いられる内部構造情報50は、患者9の体内の血管の構造を示す情報である。この内部構造情報50は、患者9に対して事前MRI(Magnetic Resonance Imaging)検査やCT(Computed Tomography)検査を行うことで取得可能である。内部構造情報50を参照することで、患者9の体内の血管の構造が得られる。

0058

図5に示すように、患者9の対応部位の透過画像データ22には、カテーテル12の先端の像と、カテーテル12の先端位置の周辺の血管の像とが含まれる。ここで、透過画像データ22は、既述の通りX線画像であるため、患者9に対して事前にX線を通さない造影剤投与することにより透過画像データ22上で血管の像を映し出すことができる。

0059

図3に戻って、位置情報取得部54は、公知の手法(例えば特開2011−161091号公報参照)により透過画像データ22から血管の像を抽出して、透過画像データ22の血管の像と内部構造情報50が示す患者9の血管構造とをパターンマッチング法により比較する。これにより、位置情報取得部54は、透過画像データ22内の血管が、患者9の体内のどの位置にある血管であるかを識別することができる。

0060

また、透過画像データ22からカテーテル12の像を抽出する方法も公知である(例えば特開2007−229473号公報の段落0005参照)。従って、位置情報取得部54は、血管の識別結果と透過画像データ22内でのカテーテル12の位置とに基づき、患者9の体内に挿入されているカテーテル12の先端位置を取得することができる。

0061

一方、位置情報取得部54は、送り量センサ19からの送り量の検出結果を用いてカテーテル12の先端位置を取得する方法が選択された場合、この検出結果と、メモリ27に予め格納されている挿入経路情報51とに基づいて、カテーテル12の先端位置を取得する。

0062

患者9の体内の血管内にカテーテル12を挿入する場合に用いられる挿入経路情報51は、血管内へのカテーテル12の挿入位置と、このカテーテル12が目的位置に到達するまでに通る血管の経路とを示す情報である。この挿入経路情報51は、前述の内部構造情報50等に基づき医師が事前に決定してメモリ27に格納させておく。

0063

位置情報取得部54は、送り量センサ19からの送り量の検出結果と挿入経路情報51とを比較することで、カテーテル12の先端位置が挿入経路情報51における血管の経路上のいずれにあるのかを識別できる。挿入経路情報51における血管が患者9の体内のいずれに位置するのかは既知であるため、位置情報取得部54は、前述の血管の経路上でのカテーテル12の先端位置から、患者9の体内に挿入されているカテーテル12の先端位置を取得することができる。

0064

位置情報取得部54は、前述のいずれかの方法により患者9の体内でのカテーテル12の先端位置を取得した後、この先端位置を示す先端位置情報を投影画像生成部28へ出力する。

0065

先端位置画像取得部55は、透過画像生成部18から入力I/F29を介して透過画像データ22を取得し、この透過画像データ22を投影画像生成部28へ出力する。この透過画像データ22は、既述の図5に示したように、カテーテル12の先端の像とカテーテル12の先端位置の周辺の血管の像とを含む画像であるので、患者9の体内でのカテーテル12の先端位置を示す本発明の先端位置画像である。なお、本発明の先端位置画像としては、少なくとも先端位置における患者9の体内情報[臓器、筋肉、骨、関節、及び血管など]を含む、又は体内情報が表されている画像であることが好ましい。

0066

図6は、第1実施形態の投影画像生成部28による投影画像データ24の生成処理について説明するための説明図である。図6に示すように、投影画像生成部28は、先端位置画像取得部55により入力された透過画像データ22から、患者9に投影する投影画像データ24であって既述の表示用光学素子42に表示する投影画像データ24を生成する。

0067

具体的に、投影画像生成部28は、距離画像生成部53から入力された距離画像データ23と、位置情報取得部54から入力された先端位置情報とに基づき、カテーテル12の先端位置がある患者9の対応部位(図中の点線枠内に含まれる患者9の部位)の表面形状を識別する。ここでいう対応部位の表面形状とは、PM装置20側から見た患者9の対応部位の表面形状であり、例えばカテーテル12の先端位置が移動していない場合であっても患者の位置や姿勢が変化すれば投影画像生成部28により識別される対応部位の表面形状は変わる。これにより、患者のリアルタイムの位置や姿勢に応じた対応部位の表面形状が識別される。

0068

次いで、投影画像生成部28は、対応部位の表面形状の識別結果に基づき、透過画像データ22を患者9の対応部位に合わせた形状に変形して投影画像データ24を生成する。本例の投影画像生成部28は、透過画像データ22から濃度がほぼ一様な余白領域を検出することで、透過画像データ22から患者9の対応部位に相当する領域を抽出し、抽出し領域の画像データを患者9の対応部位に合わせた形状に変形して投影画像データ24を生成する。

0069

この際に、本例ではX線平面検出器17によるX線の撮像方向と、PM装置20による距離画像データ23の撮像方向とがほぼ同一であるため、透過画像データ22を投影画像データ24に変形す変形処理拡大縮小処理が主になる。一方、X線平面検出器17によるX線の撮像方向と、PM装置20による距離画像データ23の撮像方向とが異なる場合には、拡大縮小処理に加えて射影変換処理などを行う。

0070

また、投影画像生成部28は、距離画像データ23及び先端位置情報から判別されるPM装置20(プロジェクタ装置20B)から患者9の対応部位までの距離と、投影レンズ46の焦点距離情報とに基づき、投影画像データ24に基づく投影画像が患者9の対応部位に重ねて投影されるように、表示用光学素子42上での投影画像データ24の表示位置及び大きさを決定する。そして、投影画像生成部28は、投影画像データ24を前述の素子ドライバ43へ出力する。これにより、素子ドライバ43によって、投影画像生成部28から入力された投影画像データ24が、投影画像生成部28が決定した位置及び大きさで表示用光学素子42に表示される。

0071

図7は、投影画像データ24に基づく投影画像の患者9への投影を説明するための説明図である。図8は、投影画像データ24に基づく投影画像が患者9に投影されている状態を説明するための説明図である。

0072

図7に示すように、表示用光学素子42により投影画像データ24が表示されると、LED光源44から出射された白色光が表示用光学素子42により変調され、投影画像データ24に基づく投影画像の像光が患者9の対応部位に投影される。これにより、図8に示すように、患者9の対応部位上に投影画像データ24に基づく投影画像、すなわち、患者9の体内でのカテーテル12の先端位置を示す画像が投影される。

0073

この際に、投影画像内でのカテーテル12の先端位置が実際の患者9の体内でのカテーテル12の先端位置と一致するように、投影画像生成部28による投影画像データ24の生成と、表示用光学素子42上での投影画像データ24の表示位置及び大きさの決定とを行ってもよい。

0074

図9は、投影画像生成部28による投影画像データ24の生成処理の変形例について説明するための説明図である。

0075

図9に示すように、投影画像生成部28は、前述の位置情報取得部54が取得した先端位置情報と、距離画像データ23と対比することで、距離画像データ23上において患者9の体内に挿入されているカテーテル12の先端位置(図中、十字で表示)を取得する。また、投影画像生成部28は、透過画像データ22からカテーテル12の像を抽出することで、透過画像データ22内でのカテーテル12の先端位置を取得することができる。これにより、投影画像生成部28は、透過画像データ22内でのカテーテル12の先端位置と患者9の体内でのカテーテル12の先端位置とが一致するように、投影画像データ24の生成と投影画像データ24の表示位置及び大きさの決定とを行うことができる。

0076

なお、距離画像生成部53による距離画像データ23の生成、位置情報取得部54による先端位置情報の取得、及び先端位置画像取得部55による透過画像データ22の取得は繰り返し行われ、これに応じて投影画像生成部28による新たな投影画像データ24の生成も繰り返し行われる。その結果、患者9の対応部位に投影される投影画像が更新される。

0077

[第1実施形態の手術支援システムの作用]
次に、図10を用いて上記構成の手術支援システム10の作用について説明を行う。図10は、第1実施形態の手術支援システム10のPM装置20による投影画像の投影処理の流れを示すフローチャートである。なお、患者9の内部構造情報50や挿入経路情報51は予め取得され、メモリ27内に格納されているものとする。

0078

医師による患者9の体内の血管内へのカテーテル12の挿入開始前に手術支援システム10の各部が起動され、その後、医師により患者9の血管内にカテーテル12が挿入される。

0079

手術支援システム10の起動がなされると、X線管16からの患者9の対応部位に対するX線の照射と、X線平面検出器17による患者9を透過したX線の検出と、透過画像生成部18による透過画像データ22の生成とが行われる。透過画像生成部18により生成された透過画像データ22は、入力I/F29を介してPM装置20の制御部26に入力される。これにより、制御部26の先端位置画像取得部55は、患者9の体内でのカテーテル12の先端位置を示す透過画像データ22を取得し、この透過画像データ22を投影画像生成部28へ出力する(ステップS1)。

0080

また、手術支援システム10の起動がなされると、PM装置20の制御部26が光源ドライバ33を制御してLED光源32の駆動を開始する。これにより、LED光源32が、タイミングジェネレータ31から入力されるタイミング信号に同期してパルス光を出射する。そして、LED光源32から出射したパルス光は、投影レンズ35により患者9に向けて照射される(ステップS2)。

0081

患者9に向けて照射されたパルス光は、患者9の体表面にて反射されて結像レンズ36に入射し、この結像レンズ36により距離画像センサ38に結像される。これにより、患者9にて反射されたパルス光が距離画像センサ38で受光される(ステップS3)。そして、患者9にて反射されたパルス光の入射光量に応じた受光信号が距離画像センサ38から読み出され、この受光信号はAD変換器39にてデジタル信号に変換された後、インターフェース回路40を経て制御部26に入力される。

0082

制御部26の距離画像生成部53は、インターフェース回路40から入力されたデジタル信号に基づき距離画像データ23を生成し、この距離画像データ23を投影画像生成部28へ出力する(ステップS4)。なお、ステップS2からステップS4までの処理は、ステップS1の処理の前、或いはステップS1の処理と並行して行ってもよい。

0083

また、位置情報取得部54は、既述の透過画像データ22を用いる方法と、既述の送り量センサ19からの送り量の検出結果を用いる方法とのいずれかを用いて、患者9の体内に挿入されているカテーテル12の先端位置を取得して、先端位置情報を投影画像生成部28へ出力する(ステップS5)。前者の方法を用いた場合には、現実に撮影された透過画像データ22からカテーテル12の正確な先端位置を取得することができる。また、後者の方法を用いた場合にはカテーテル12の先端位置を簡単に取得することができる。

0084

次いで、投影画像生成部28は、既述の図6に示したように、距離画像生成部53から入力された距離画像データ23と、位置情報取得部54から入力される先端位置情報とに基づき、カテーテル12の先端位置がある患者9の対応部位の表面形状を識別する。そして、投影画像生成部28は、対応部位の表面形状の識別結果に基づき、透過画像データ22を患者9の対応部位に合わせた形状に変形して投影画像データ24を生成する(ステップS6)。

0085

また、投影画像生成部28は、投影画像データ24に基づく投影画像が患者9の対応部位に重ねて投影されるように、距離画像データ23及び先端位置情報から判別される患者9の対応部位までの距離と、投影レンズ46の焦点距離情報とに基づき、表示用光学素子42上での投影画像データ24の表示位置及び大きさを決定する。そして、投影画像生成部28は、投影画像データ24を素子ドライバ43へ出力する。

0086

この際に、既述の図9で説明したように、透過画像データ22内でのカテーテル12の先端位置と患者9の体内でのカテーテル12の先端位置とが一致するように、投影画像生成部28による投影画像データ24の生成、表示位置及び大きさの決定を行ってもよい。これにより、患者9に投影される投影画像上で、患者9の体内に挿入されているカテーテル12の位置を忠実に再現することができる。

0087

素子ドライバ43は、投影画像生成部28から入力された投影画像データ24を、投影画像生成部28が決定した位置及び大きさで表示用光学素子42に表示させる。これにより、LED光源44から出射された白色光が表示用光学素子42により変調され、投影画像データ24に基づく投影画像の像光が患者9の対応部位に投影される。その結果、既述の図8に示したように、患者9の対応部位上に投影画像データ24に基づく投影画像が投影され、この投影画像により患者9の体内でのカテーテル12の先端位置が示される(ステップS7)。

0088

以下、投影画像の投影を継続する場合には、前述のステップS1からステップS7までの処理が繰り返し実行される(ステップS8)。その結果、患者9の血管内でのカテーテル12の先端の移動に伴い、投影画像データ24が更新されるともに、この投影画像データ24に基づく投影画像が投影される患者9の対応部位も変化する。

0089

[第1実施形態の効果]
以上のように、第1実施形態の手術支援システム10では、患者9の距離画像データ23と、患者9の体内でのカテーテル12の先端位置を示す先端位置情報とに基づき、透過画像データ22から患者9の対応部位の表面形状に対応した投影画像データ24を生成して、この投影画像データ24の像光を患者9の対応部位に投影するので、患者9を動かした場合でも患者のリアルタイムの位置や姿勢の変化に合わせて、患者9の体内でのカテーテル12の先端位置を表す投影画像を患者9の対応部位に投影することができる。また、患者9の体内に挿入されているカテーテル12の位置を、患者9の体表面上に再現することができる。

0090

また、患者9の対応部位の透過画像データ22から投影画像データ24を生成して、この投影画像データ24に基づく投影画像を患者9に投影しているので、医師は患者9から視線を反らすことなく(別途のモニタを確認することなく)、カテーテル12の挿入を行うことができる。

0091

[第2実施形態の手術支援システム]
次に、第2実施形態の手術支援システム(PM装置)について説明を行う。上記第1実施形態の手術支援システム10では、透過画像データ22を用いて投影画像データ24を生成しているが、第2実施形態の手術支援システム(PM装置)では、既述の図4に示した内部構造情報50を用いて投影画像データ24の生成を行う。

0092

第2実施形態の手術支援システムは、第1実施形態とは異なるPM装置60(図11参照)を備える点を除けば、上記第1実施形態の手術支援システム10と基本的に同じ構成である。このため、上記第1実施形態と機能又は構成上同一のものについては、同一符号を付してその説明は省略する。なお、第2実施形態の手術支援システムでは、透過画像データ22の取得に係る構成は必須ではない。

0093

図11は、第2実施形態のPM装置60の構成を示すブロック図である。図11に示すように、第2実施形態のPM装置60は、制御部26が既述の距離画像生成部53及び位置情報取得部54及び先端位置画像取得部55の他に、先端位置画像生成部62として機能する点を除けば、上記第1実施形態のPM装置20と基本的に同じ構成である。

0094

なお、第2実施形態の位置情報取得部54が、既述の透過画像データ22を用いる方法により患者9の体内に挿入されているカテーテル12の先端位置を取得する場合、位置情報取得部54は、第1実施形態と同様に透過画像データ22の入力を受ける。

0095

先端位置画像生成部62は、位置情報取得部54から取得した先端位置情報と、メモリ27に格納されている内部構造情報50とに基づき、患者9の体内でのカテーテル12の先端位置を表す本発明の先端位置画像である先端位置画像データ64(図12参照)を生成する。

0096

図12は、先端位置画像生成部62による先端位置画像データ64の生成処理の一例を説明するための説明図である。図12に示すように、先端位置画像生成部62は、位置情報取得部54から取得した先端位置情報(図中の十字で表示)に基づき、メモリ27に格納されている内部構造情報50を参照して、患者9の対応部位(図中、点線枠で表示)における血管構造を内部構造情報50から抽出する。そして、先端位置画像生成部62は、抽出した患者9の対応部位の血管構造と、先端位置情報が示す血管内でのカテーテル12とをモデル化したモデル画像仮想画像)を構築することにより、先端位置画像データ64を生成する。

0097

先端位置画像データ64は、カテーテル12の先端のモデル画像とカテーテル12の先端位置の周辺の血管のモデル画像とを含むので、患者9の体内でのカテーテル12の先端位置を示す画像である。

0098

図11に戻って、第2実施形態の先端位置画像取得部55は、先端位置画像生成部62から先端位置画像データ64を取得して、この先端位置画像データ64を投影画像生成部28へ出力する。

0099

第2実施形態の投影画像生成部28は、距離画像データ23及び先端位置情報に基づき、先端位置画像取得部55から入力された先端位置画像データ64から投影画像データ24を生成する。具体的な投影画像データ24の生成方法は、既述の図6に示した第1実施形態と基本的に同じである。なお、これ以降の処理を行う構成は、第1実施形態と同じであるので説明は省略する。

0100

[第2実施形態の手術支援システムの作用]
次に、図13を用いて第2実施形態の手術支援システムの作用について説明を行う。図10は、第2実施形態の手術支援システムのPM装置60による投影画像の投影処理の流れを示すフローチャートである。なお、第2実施形態では、既述の図10に示した第1実施形態のような投影画像データ24の生成を目的とした透過画像データ22(図5参照)の取得は行わないものの、ステップS2からステップS5までの処理は第1実施形態と同じであるので、ここでは説明を省略する。

0101

ステップS5の処理後、先端位置画像生成部62は、位置情報取得部54から取得した先端位置情報に基づき、メモリ27に格納されている内部構造情報50を参照して、患者9の対応部位における血管構造を内部構造情報50から抽出する(ステップS5A)。そして、先端位置画像生成部62は、既述の図12に示したように、抽出した患者9の対応部位の血管構造と、先端位置情報が示す血管内でのカテーテル12とをモデル化したモデル画像を構築することにより、先端位置画像データ64を生成する(ステップS5B)。これにより、第1実施形態のような透過画像データ22を取得する構成を備えていなくとも、カテーテル12の先端位置を示す先端位置画像データ64を取得することができる。

0102

先端位置画像生成部62による先端位置画像データ64の生成が行われると、先端位置画像取得部55は、先端位置画像生成部62から先端位置画像データ64を取得して、この先端位置画像データ64を投影画像生成部28へ出力する。

0103

投影画像生成部28は、第1実施形態と基本的に同じ方法にて、距離画像データ23及び先端位置情報とに基づき、先端位置画像取得部55から入力された先端位置画像データ64から投影画像データ24を生成する(ステップS6A)。

0104

これ以降の処理は、既述の図10に示した第1実施形態と同じであるので、具体的な説明は省略する。

0105

[第2実施形態の効果]
以上のように、第2実施形態の手術支援システムにおいても、患者9の距離画像データ23と、患者9の体内でのカテーテル12の先端位置を示す先端位置情報とに基づき、先端位置画像データ64から患者9の対応部位の表面形状に対応した投影画像データ24を生成して、患者9の対応部位に投影画像データ24の像光を投影するため、上記第1実施形態と同様の効果が得られる。

0106

[第3実施形態の手術支援システム]
次に、第3実施形態の手術支援システムについて説明を行う。上記各実施形態では、患者9の体内に挿入される医療機器として体内の既知の経路(血管等)を通るカテーテル12を例に挙げて説明したが、第3実施形態の手術支援システムでは腹腔鏡65(本発明の医療機器に相当、図14参照)を用いる場合について説明する。

0107

図14は、腹腔鏡65を用いた腹腔鏡手術の一例を説明するための説明図である。図14に示すように、腹腔鏡手術では、患者9の体壁に形成された処置孔にトラカール67を挿置及び固定した状態で、医師がトラカール67の挿入孔を通して患者9の体内(第3実施形態では体腔内)に腹腔鏡65を挿入して腹腔鏡65により体内の臓器の撮像を行う。そして、医師は、腹腔鏡65により得られた臓器の撮像画像を確認しつつ、トラカール67の挿入孔を通して患者9の体内に鉗子などの処置具68を挿入して、処置具68により臓器に対して各種の処置を行う。

0108

第3実施形態の手術支援システムでは、患者9のリアルタイムの位置や姿勢に合わせて、患者9の体内での腹腔鏡65の先端位置を表す投影画像を患者の対応部位に投影する。なお、腹腔鏡65の代わり或いは腹腔鏡65と同時に処置具68の先端位置を表す投影画像を患者9の対応部位に投影してもよいが、本例では説明及び図面の煩雑化を防止するため、腹腔鏡65の先端位置のみを表す投影画像を患者9の対応部位に投影する。

0109

第3実施形態の手術支援システムは、上記各実施形態とは異なるPM装置70(図15参照)を備え且つ送り量センサ19を備えない点を除けば、上記各実施形態のうちの第2実施形態の手術支援システムと基本的に同じ構成である。このため、上記第2実施形態と機能又は構成上同一のものについては、同一符号を付してその説明は省略する。

0110

図15は、第3実施形態のPM装置70の構成を示すブロック図である。図15に示すように、第3実施形態のPM装置70は、制御部26が既述の距離画像生成部53及び先端位置画像取得部55の他に、位置情報取得部72及び先端位置画像生成部73として機能する点を除けば、上記第2実施形態のPM装置60と基本的に同じ構成である。

0111

位置情報取得部72は、患者9の体内に挿入されている腹腔鏡65の先端位置を取得する。この腹腔鏡65の先端部には、撮像レンズ及び各種のイメージセンサを含む撮像部75と、ジャイロセンサ76と、加速度センサ77とが内蔵されている。ジャイロセンサ76は、腹腔鏡65の先端に回転が生じた時に発生する角速度を測定し、その測定信号を入力I/F29へ出力する。加速度センサ77は、腹腔鏡65の先端の加速度(例えばXYZの3軸の加速度)を測定し、その測定信号を入力I/F29へ出力する。

0112

位置情報取得部72は、入力I/F29を介してジャイロセンサ76及び加速度センサ77の測定信号を一定時間間隔ごとに取得する。また、位置情報取得部72は、患者9の体内への腹腔鏡65の挿入位置PS(図16参照)を取得する。この挿入位置PSにおいて腹腔鏡65の一部は患者9の体外にあるので、位置情報取得部72は、例えば距離画像データ23を解析して患者9の体外にある腹腔鏡65(トラカール67)を識別した識別結果に基づき、腹腔鏡65の挿入位置PSを取得することができる。また、腹腔鏡65の挿入位置PSが予め定められている場合には、後述の内部構造情報79(図17参照)上での挿入位置PSを示す空間座標等をPM装置70に入力してもよい。

0113

図16は、第3実施形態の位置情報取得部72による患者9の体内での腹腔鏡65の先端位置の取得処理について説明するための説明図である。図16に示すように、位置情報取得部72は、入力I/F29を介してジャイロセンサ76及び加速度センサ77から一定時間間隔ごとに入力される測定信号に基づき、患者9の体内への腹腔鏡65の挿入位置PSから、腹腔鏡65の先端の移動方向及び移動量(どの方向にどれだけ移動したのか)を検出する。これにより、位置情報取得部72は、患者9の体内に挿入されている腹腔鏡65の先端位置を取得することができ、この先端位置を示す先端位置情報を先端位置画像生成部73及び投影画像生成部28へ出力する。

0114

図15に戻って、先端位置画像生成部73は、位置情報取得部72から取得した先端位置情報と、メモリ27に格納されている内部構造情報79とに基づき、患者9の体内での腹腔鏡65の先端位置を表す本発明の先端位置画像である先端位置画像データ81(図18参照)を生成する。

0115

図17は、第3実施形態の内部構造情報79の一例を示した説明図である。図17に示すように、患者9の体内に腹腔鏡65を挿入する場合の内部構造情報79は、患者9の体内の臓器(心臓肝臓膵臓腎臓等)の配置構造を示す情報である。この内部構造情報79は、上記第1実施形態で説明した内部構造情報50(図4参照)と同様に、患者9に対して事前にMRI検査やCT検査を行うことで取得可能である。内部構造情報79を参照することで、患者9の体内の臓器の配置構造が得られる。

0116

図18は、第3実施形態の先端位置画像生成部73による先端位置画像データ81の生成処理を説明するための説明図である。図18に示すように、先端位置画像生成部73は、位置情報取得部72から取得した先端位置情報(図中の十字で表示)に基づき、メモリ27に格納されている内部構造情報79を参照して、患者9の対応部位(図中、点線枠で表示)における臓器の種類を識別する。なお、第3実施形態における患者9の「対応部位」とは、患者9の体内において腹腔鏡65の先端位置が存在する部位であり、図18では先端位置が「肝臓」と「腸」とにそれぞれある場合を例示している。

0117

そして、先端位置画像生成部73は、患者9の対応部位における臓器の種類の識別結果に基づき、この対応部位の臓器をモデル化したモデル画像(仮想画像)を構築することにより、先端位置画像データ81を生成する。この先端位置画像データ81は、腹腔鏡65の先端位置がある患者9の体内の臓器のモデル画像であるので、患者9の体内での腹腔鏡65の先端位置を示す画像である。なお、位置情報取得部72から取得した先端位置情報に基づき、患者9の体内にある腹腔鏡65のモデル画像を生成し、このモデル画像を先端位置画像データ81に合成表示させてもよい。

0118

図15に戻って、第3実施形態の先端位置画像取得部55は、第2実施形態と基本的に同じであり、先端位置画像生成部73から先端位置画像データ81を取得して、この先端位置画像データ81を投影画像生成部28へ出力する。

0119

第3実施形態の投影画像生成部28は、既述の第1実施形態の図6で説明したように、距離画像データ23及び先端位置情報に基づき、先端位置画像取得部55から入力された先端位置画像データ81から、患者9の対応部位の表面形状に対応する投影画像データ24(図19図20参照)を生成する。

0120

また、第3実施形態の投影画像生成部28は、上記第1実施形態と同様にして投影画像データ24に基づく投影画像が患者9の対応部位に重ねて投影されるように、表示用光学素子42上での投影画像データ24の表示位置及び大きさを決定する。そして、投影画像生成部28は、投影画像データ24を前述の素子ドライバ43へ出力する。

0121

なお、先端位置画像データ81に腹腔鏡65のモデル画像を合成している場合には、既述の第1実施形態の図9で説明したように、投影画像内での腹腔鏡65の先端位置が実際の患者9の体内での先端位置と一致するように、投影画像生成部28による投影画像データ24の生成と、表示用光学素子42上での投影画像データ24の表示位置及び大きさの決定とを行ってもよい。

0122

図19は、第3実施形態の投影画像データ24に基づく投影画像の患者9への投影を説明するための説明図である。図20(A),(B)は、第3実施形態の投影画像データ24に基づく投影画像が患者9に投影されている状態を説明するための説明図である。ここで、図20(A)は腹腔鏡65の先端位置が「腸」にある場合を示し、図20(B)は腹腔鏡65の先端位置が「肝臓」にある場合を示す。

0123

図19に示すように、表示用光学素子42により投影画像データ24が表示されると、LED光源44から出射された白色光が表示用光学素子42により変調され、投影画像データ24に基づく投影画像の像光が患者9の対応部位(図中、点線枠で表示)に投影される。これにより、図20(A),(B)に示すように、患者9の対応部位上に投影画像データ24に基づく投影画像が投影され、この投影画像により患者9の体内での腹腔鏡65の先端位置が示される。

0124

距離画像生成部53による距離画像データ23の生成、位置情報取得部72による先端位置情報の取得、先端位置画像生成部73による先端位置画像データ81の生成、及び先端位置画像取得部55による先端位置画像データ81の取得は繰り返し行われ、これらに応じて投影画像生成部28による新たな投影画像データ24の生成も繰り返し行われる。その結果、患者9の対応部位に投影される投影画像が更新される。これにより、例えば、腹腔鏡65の先端位置が「腸」から「肝臓」に移動した場合、図20(A),(B)に示したように、患者9に投影される投影画像の位置が「腸」に対応する対応部位から「肝臓」に対応する対応部位に移動すると共に、投影画像も「腸」の画像から「肝臓」の画像に切り替わる。

0125

[第3実施形態の手術支援システムの作用]
第3実施形態の手術支援システムの作用、すなわち、投影画像の投影処理の流れについては、既述の第2実施形態の図13に示したフローと基本的に同じである。ただし、第3実施形態のステップS5の処理では、位置情報取得部72は、腹腔鏡65のジャイロセンサ76及び加速度センサ77の測定信号に基づき、患者9の体内に挿入されている腹腔鏡65の先端位置を取得する。また、第3実施形態のステップS5A,S5Bの処理では、先端位置画像生成部73は、位置情報取得部72から取得した先端位置情報に基づき、メモリ27内の内部構造情報79を参照して、先端位置画像データ81を生成する。

0126

[第3実施形態の効果]
以上のように、第3実施形態の手術支援システムにおいても、患者9の距離画像データ23と、患者9の体内での腹腔鏡65の先端位置を示す先端位置情報とに基づき、先端位置画像データ81から患者9の対応部位の表面形状に対応した投影画像データ24を生成して、患者9の対応部位に投影画像データ24の像光を投影するので、上記各実施形態と同様の効果が得られる。

0127

また、腹腔鏡65のジャイロセンサ76及び加速度センサ77の測定信号に基づき、患者9の体内に挿入されている腹腔鏡65の先端位置を取得するので、患者9の体内(体腔内)で腹腔鏡65の先端位置を自由に移動させた場合でも、患者9の体内に挿入されている腹腔鏡65の先端位置を取得することができる。

0128

[第4実施形態の手術支援システム]
次に、第4実施形態の手術支援システムについて説明を行う。上記第3実施形態の手術支援システムのPM装置70の位置情報取得部72は、腹腔鏡65のジャイロセンサ76及び加速度センサ77の測定信号に基づき、患者9の体内に挿入されている腹腔鏡65の先端位置を取得している。これに対して、第4実施形態では腹腔鏡65により撮像された患者9の体内の撮像画像データ83(図21参照)を用いて、患者9の体内に挿入されている腹腔鏡65の先端位置を取得する。

0129

図21は、第4実施形態の手術支援システムのPM装置85の構成を示すブロック図である。図21に示すように、第4実施形態のPM装置85は、制御部26が第3実施形態の位置情報取得部72の代わりに位置情報取得部86として機能する点を除けば、上記第3実施形態のPM装置70と基本的に同じ構成である。このため、上記第3実施形態と機能又は構成上同一のものについては、同一符号を付してその説明は省略する。

0130

位置情報取得部86は、第3実施形態の位置情報取得部72とは異なる方法で、患者9の体内(体腔内)に挿入されている腹腔鏡65の先端位置を取得する。この位置情報取得部86は、腹腔鏡65の撮像部75にて撮像された患者9の体内の撮像画像データ83を、入力I/F29を介して一定時間間隔ごとに取得する。また、位置情報取得部86は、第3実施形態の位置情報取得部72と同様の手法にて、患者9の体内への腹腔鏡65の挿入位置PS(図22参照)を取得する。

0131

図22は、第4実施形態の位置情報取得部86による患者9の体内での腹腔鏡65の先端位置の取得処理について説明するための説明図である。図22に示すように、位置情報取得部86は、入力I/F29を介して撮像部75から一定時間間隔ごとに入力される連続する撮像画像データ83に基づき、挿入位置PSからの腹腔鏡65の先端の挿入経路(移動経路)を示す挿入経路情報88を取得する。すなわち、第4実施形態の位置情報取得部86は、本発明の挿入経路情報取得部86aとして機能する。

0132

具体的に、挿入経路情報取得部86aは、公知のSLAM(Simultaneous Localization and Mapping)技術を用いて、撮像部75から入力される連続する撮像画像データ83に基づいて、挿入位置PSからの腹腔鏡65の先端の挿入経路をマッピング処理する。例えば、挿入経路情報取得部86aは、連続する撮像画像データ83から各々の特徴点画像データ間対応付けが取り易いコーナ点など)を抽出し、連続する撮像画像データ83における各特徴点軌跡を求めることで、腹腔鏡65の先端の挿入経路をマッピング処理する。これにより、挿入位置PSからの腹腔鏡65の先端の挿入経路情報88が取得される。

0133

挿入経路情報88は、腹腔鏡65の先端が挿入位置PSからの移動方向及び移動量(どの方向にどれだけ移動したのか)を示す情報となる。従って、位置情報取得部86は、挿入経路情報取得部86aが取得した挿入経路情報88に基づき、患者9の体内に挿入されている腹腔鏡65の先端位置を取得することができ、この先端位置を示す先端位置情報を先端位置画像生成部73及び投影画像生成部28へ出力する。

0134

なお、先端位置情報の取得以降の処理を行う構成は、上記第3実施形態のPM装置70と基本的に同じであるので、具体的な説明は省略する。

0135

[第4実施形態の手術支援システムの作用]
第4実施形態の手術支援システムの作用、すなわち、投影画像の投影処理の流れについても、第3実施形態と同様に既述の第2実施形態の図13に示したフローと基本的に同じである。ただし、第4実施形態のステップS5の処理では、位置情報取得部86は、腹腔鏡65の撮像部75に撮像された撮像画像データ83と、挿入経路情報取得部86aが取得した挿入経路情報88とに基づいて、患者9の体内に挿入されている腹腔鏡65の先端位置を取得する。

0136

[第4実施形態の効果]
以上のように、第4実施形態の手術支援システムにおいても、患者9の距離画像データ23と、患者9の体内での腹腔鏡65の先端位置を示す先端位置情報とに基づき、先端位置画像データ81から患者9の対応部位の表面形状に対応した投影画像データ24を生成して、患者9の対応部位に投影画像データ24の像光を投影するので、上記各実施形態と同様の効果が得られる。

0137

また、腹腔鏡65により連続撮像された撮像画像データ83に基づき、挿入位置PSからの挿入経路情報88を求めることにより腹腔鏡65の先端位置を取得するので、上記第3実施形態と同様に、患者9の体内(体腔内)で腹腔鏡65の先端位置を自由に移動させた場合でも、患者9の体内に挿入されている腹腔鏡65の先端位置を取得することができる。

0138

[第5実施形態の手術支援システム(PM装置)]
次に、本発明の第5実施形態の手術支援システムについて説明を行う。上記各実施形態の手術支援システムのPM装置は距離画像データ23の取得用にLED光源32を備えている。これに対して、第5実施形態では異なる波長のパルス光(測定光)を照射する複数のLED光源の中から、距離画像センサ38で受光されるパルス光の強度(受光量)が高くなる方のLED光源を用いて患者9にパルス光の照射を行う。

0139

図23は、第5実施形態の手術支援システムのPM装置90の構成を示すブロック図である。図23に示すように、第5実施形態のPM装置90は、異なる波長のパルス光を照射するLED光源32A,32B(本発明の光源ユニットに相当)を備え、且つ制御部26が距離画像生成部53等の他に、光源制御部91として機能する点を除けば上記各実施形態のPM装置と基本的に同じ構成である。このため、上記各実施形態と機能又は構成上同一のものについては、同一符号を付してその説明は省略する。

0140

LED光源32A,32Bは、上記各実施形態のLED光源32と同様に、光源ドライバ33により駆動が制御され、タイミングジェネレータ31から入力されるタイミング信号に同期して一定のパルス幅のパルス光を発光する。

0141

光源制御部91は、光源ドライバ33を制御して、LED光源32A,32Bからのパルス光の照射を制御する。この光源制御部91は、切替制御部92としても機能する。

0142

切替制御部92は、距離画像生成部53による距離画像データ23の生成前(例えば、PM装置90の起動時など)に、LED光源32A,32Bから1つずつ順番にパルス光を照射させることにより、患者9にパルス光を照射するLED光源を切り替える。これにより、PM装置90から患者9に照射されるパルス光の波長が切り替えられる。

0143

このような患者9に照射されるパルス光の波長の切り替えにより、第5実施形態の距離画像センサ38は、結像レンズ36を介して、患者9にて反射されたパルス光を波長毎に受光する。ここで、患者9の体表面(照射面)がパルス光を反射する反射率は、患者9の着用している着衣材質色彩、患者9の肌の色、及び患者9に対するパルス光の入射角度などに応じて、パルス光の波長毎に異なる。このため、患者9にて反射されるパルス光の強度はその波長毎に異なる。

0144

第5実施形態の距離画像センサ38は、タイミングジェネレータ31から入力されるタイミング信号により、LED光源32A,32Bの個々のパルス光の発光と同期して、露光期間が制御される。既述の通り、距離画像センサ38の各受光素子には、露光期間に入射するパルス光の光量に対応する電荷が蓄積される。従って、露光期間に入射するパルス光の入射光量、すわなち、患者9にて反射されるパルス光の強度が高いほど距離画像センサ38の露光量が多くなる。この距離画像センサ38から、患者9にて反射されたパルス光の入射光量(強度)に応じた受光信号がパルス光の波長毎に読み出され、波長毎の受光信号はAD変換器39にてデジタル信号に変換された後、インターフェース回路40を介して光源制御部91に入力される。

0145

光源制御部91は、パルス光の波長毎のデジタル信号に基づき、距離画像センサ38が波長毎に受光したパルス光の強度を比較する。そして、光源制御部91は、距離画像センサ38が波長毎に受光したパルス光の中で、最も強度が高くなる波長のパルス光を出射するLED光源がLED光源32A,32Bのいずれであるかを判定する。次いで、光源制御部91は、最も強度が高くなる波長のパルス光を出射するLED光源を、距離画像データ23の生成用のパルス光を出射するLED光源として決定し、光源ドライバ33を制御して、決定したLED光源からパルス光を出射させる。

0146

第5実施形態の距離画像生成部53は、光源制御部91の制御の下、最も強度が高くなる波長のパルス光を出射するLED光源から患者9に対してパルス光が照射された場合、距離画像センサ38からAD変換器39及びインターフェース回路40を介して入力されたデジタル信号に基づき、距離画像データ23の生成を行う。

0147

なお、距離画像データ23の生成以降の処理を行う構成は、上記各実施形態のPM装置と基本的に同じであるので、具体的な説明は省略する。

0148

[第5実施形態の手術支援システムの作用]
次に、図24を用いて第5実施形態の手術支援システムの作用、すなわち、LED光源の決定処理の流れについて説明する。図24は、距離画像データ23の生成用のパルス光を出射するLED光源の決定処理の流れを示すフローチャートである。

0149

PM装置90の起動がなされると、制御部26の光源制御部91の切替制御部92は、LED光源32A,32Bの中から最初にパルス光を出射するLED光源を選択する(ステップS11)。ここではLED光源32Aが選択されたものとする。次いで、光源制御部91は、光源ドライバ33を制御してLED光源32Aの駆動を開始する。これにより、LED光源32Aが、タイミングジェネレータ31から入力されるタイミング信号に同期してパルス光を出射する。そして、LED光源32Aから出射したパルス光は、投影レンズ35により患者9に向けて照射される(ステップS12)。

0150

患者9に向けて照射されたパルス光は、患者9の体表面にて反射されて結像レンズ36に入射し、この結像レンズ36により距離画像センサ38に結像される。これにより、患者9にて反射されたパルス光が距離画像センサ38で受光される(ステップS13)。そして、距離画像センサ38から患者9にて反射されたパルス光の入射光量に応じた受光信号が読み出され、この受光信号はAD変換器39にてデジタル信号に変換された後、インターフェース回路40を経て光源制御部91に入力される。

0151

次いで、光源制御部91の切替制御部92は、光源ドライバ33を制御してLED光源32Aの駆動を停止すると共に、LED光源32Bの駆動を開始する。すなわち、切替制御部92は、患者9にパルス光を照射するLED光源をLED光源32AからLED光源32Bに切り替える(ステップS14でYES、ステップS15)。

0152

LED光源32Bへの切替後、既述のステップS12及びステップS13の処理が繰り返し実行される。これにより、患者9に向けてLED光源32Bのパルス光が照射されると共に、患者9にて反射されたパルス光の入射光量に応じた受光信号が距離画像センサ38から読み出される。そして、この受光信号はAD変換器39にてデジタル信号に変換された後、インターフェース回路40を経て光源制御部91に入力される。

0153

本例では異なる波長のLED光源32A,32Bを用いるので、光源制御部91は、パルス光の波長毎のデジタル信号に基づき、距離画像センサ38が波長毎に受光したパルス光の強度を比較する(ステップS14でNO、ステップS16)。そして、光源制御部91は、距離画像センサ38が波長毎に受光したパルス光の中で、最も強度が高くなる波長のパルス光を出射するLED光源を判定し、このLED光源を、距離画像データ23の生成用のパルス光を出射するLED光源として決定する(ステップS17)。そして、光源制御部91は、光源ドライバ33を制御して、決定したLED光源からパルス光を出射させる(ステップS18)。

0154

これ以降の処理は、既述の図10又は図13に示したステップS3以降の処理と基本的に同じであるので、ここでは具体的な説明は省略する。

0155

[第5実施形態の効果]
以上のように、第5実施形態の手術支援システムのPM装置90では、異なる波長のパルス光を照射するLED光源32A,32Bの中から、距離画像センサ38で受光されるパルス光の強度(受光量)が高くなる方を用いて患者9にパルス光の照射を行うので、距離画像データ23に基づいた患者9までの距離の判定精度や患者9の形状判定精度を向上させることができる。

0156

<第5実施形態の変形例>
上記第5実施形態のPM装置90には、異なる波長のパルス光を照射するLED光源32A,32Bが設けられているが、波長の異なる3以上のLED光源が設けられていてもよい。この場合には、各LED光源の中から、距離画像センサ38で受光されるパルス光の強度が最も高くなる方のLED光源を用いて患者9にパルス光の照射を行う。

0157

上記第5実施形態では、パルス光を照射するLED光源を切り替えているが、例えば、LED光源から出射されるパルス光の光路上に、異なる波長の光を透過させる複数のフィルタを選択的に配置することにより、患者9に対して照射されるパルス光の波長を切り替えてもよい。

0158

[第6実施形態の手術支援システム(PM装置)]
次に、本発明の第6実施形態の手術支援システムについて説明を行う。上記各実施形態のPM装置では、距離画像生成部53により患者9の全範囲(ほぼ全範囲を含む)の距離画像データ23を生成しているが、第6実施形態の手術支援システムのPM装置100(図25参照)では、患者9に投影される投影画像の投影範囲APに応じて、距離画像データ23の生成範囲ATの設定を行う(図26参照)。

0159

図25は、第6実施形態の手術支援システムのPM装置100の構成を示すブロック図である。図25に示すように、第6実施形態のPM装置100は、メモリ27内に焦点距離情報102を格納すると共に、制御部26が距離画像生成部53等の他に、投影範囲取得部104と距離画像生成制御部105として機能する点を除けば上記第3実施形態のPM装置70と基本的に同じ構成である。このため、上記第3実施形態と機能又は構成上同一のものについては、同一符号を付してその説明は省略する。

0160

焦点距離情報102は、投影レンズ46(図2参照)の焦点距離を示す情報である。本例では、PM装置100と患者9との間の距離は基本的に一定(ほぼ一定を含む)であるので、投影レンズ46の焦点距離についてもPM装置100と患者9との間の距離に応じて予め定められている。

0161

投影範囲取得部104は、メモリ27から読み出した焦点距離情報102と、距離画像生成部53が先に生成した距離画像データ23が示す患者9までの距離と、投影画像生成部28が生成した投影画像データ24(表示用光学素子42上での投影画像データ24の表示位置及び大きさを含む)と、に基づき、PM装置100から患者9に投影される投影画像の投影範囲AP(図26参照)を取得する。そして、投影範囲取得部104は、取得した投影範囲APを距離画像生成制御部105へ出力する。

0162

距離画像生成制御部105は、距離画像生成部53を制御して、距離画像生成部53が距離画像データ23の生成を行う生成範囲AT(図26参照)を設定する。

0163

図26(A),(B)は、距離画像生成制御部105による距離画像データ23の生成範囲ATの設定について説明するための説明図である。図26(A),(B)に示すように、距離画像生成制御部105は、投影範囲取得部104が取得した投影範囲APに対応して、距離画像データ23の生成範囲ATの設定を行う。この生成範囲ATは、投影範囲APよりも予め定めた大きさだけ大きくなるように設定される。そして、距離画像生成制御部105は、設定した生成範囲ATに関する情報を距離画像生成部53へ出力する。

0164

第6実施形態の距離画像生成部53は、距離画像センサ38から読み出され且つAD変換器39及びインターフェース回路40等を介して距離画像生成部53に入力されるデジタル信号の中で、生成範囲ATに対応するデジタル信号に基づき距離画像データ23の生成を行う。これにより、患者9の全範囲の距離画像データ23を生成する必要がなくなるので、距離画像データ23の生成処理に要する演算量を低減することができる。

0165

なお、結像レンズ36(図2参照)がズーム機能を有している場合に、距離画像データ23の生成を行う際に、制御部26によりレンズドライバ37を制御して、画角を生成範囲ATに合わせて変更するズーミング動作を行ってもよい。この場合、距離画像生成部53は、距離画像センサ38から読み出され且つAD変換器39及びインターフェース回路40等を介して距離画像生成部53に入力されるデジタル信号に基づき、距離画像データ23の生成を行う。これにより、距離画像データ23の解像度を上げることができ、患者9までの距離の検出精度や患者9の表面形状の凹凸の検出精度を上げることができる。

0166

また、ズーミング動作を行う場合には、PM装置100にパンチルト機構と、距離画像生成制御部105による生成範囲ATの設定結果に基づき、PM装置100(結像レンズ36)を生成範囲ATの方向に指向させるようにパンチルト機構を駆動するパンチルト制御部とを設けてもよい。

0167

なお、距離画像データ23の生成処理に係る構成以外は、上記第3実施形態のPM装置70と基本的に同じであるので、具体的な説明は省略する。

0168

[第6実施形態の効果]
以上のように、第6実施形態の手術支援システムのPM装置100では、患者9に投影される投影画像の投影範囲APに対応して、距離画像生成部53が距離画像データ23の生成を行う生成範囲ATを設定するので、患者9の全範囲の距離画像データ23を生成する必要がなくなり、距離画像データ23の生成処理に要する演算量を低減することができる。

0169

なお、距離画像生成制御部105が生成範囲ATを設定した際に、画角を生成範囲ATに合わせて変更するズーミング動作を行った場合には、距離画像データ23の解像度を上げることができるので、患者9までの距離の検出精度や患者9の表面形状の凹凸の検出精度を上げることができる。

0170

<第6実施形態の変形例>
上記第6実施形態では、上記第3実施形態の構成に、患者9に投影される投影画像の投影範囲APに応じて距離画像データ23の生成範囲ATの設定を行う構成を組み合わせた例について説明したが、この生成範囲ATの設定を行う構成を他の上記各実施形態の構成に組み合わせてもよい。

0171

[その他]
上記第1実施形態では、透過画像データ22としてX線画像データを例に挙げて説明を行ったが、MRI画像データCT画像データ等の患者9の対応部位の各種透過画像を用いてもよい。

0172

上記第1実施形態及び第2実施形態では、患者9の体内の既知の経路に沿って挿入される医療機器としてカテーテル12を例に挙げて説明を行ったが、上部消化管内視鏡や下部消化管内視鏡を患者9の体内に挿入する場合にも本発明を適用することができる。また、上記第3実施形態以降では、医療機器として腹腔鏡65を例に挙げて説明したが、患者9の体内に挿入される医療機器であれば特に限定はされない。

0173

上記各実施形態のPM装置では、患者9にて反射して距離画像センサ38に入射するパルス光の飛翔時間に対応する距離情報を示す受光信号を距離画像センサ38から読み出し、読み出した受光信号に基づき距離画像データ23を生成する所謂TOF(Time Of Flight)形式の距離画像データ23の取得を行っているが、所謂パターン照射(Projector-Camera)方式の距離画像データ23の取得を行ってもよい。

0174

上記各実施形態では、投影画像生成部28が制御部26と別体に設けられているが、制御部26を投影画像生成部28として機能させてもよい。また、上記各実施形態では、距離画像生成機能と投影画像の投影機能とが一体化しているPM装置を例に挙げて説明を行ったが、距離画像生成機能と投影機能とが別体化していてもよい。

0175

上記各実施形態では、被検体として人間(患者9)を例に挙げて説明を行ったが、人間以外の動物などの各種被検体内に医療機器を挿入する場合にも本発明を適用することができる。

0176

10…手術支援システム,12…カテーテル,18…透過画像生成部,19…送り量センサ,20,60,70,85,90,100…プロジェクションマッピング装置,22…透過画像データ,23…距離画像データ,24…投影画像データ,26…制御部,28…投影画像生成部,32…LED光源,35…投影レンズ,36…結像レンズ,38…距離画像センサ,42…表示用光学素子,44…LED光源,46…投影レンズ,50,79…内部構造情報,51…挿入経路情報,53…距離画像生成部,54,72,86…位置情報取得部,55…先端位置画像取得部,62,73…先端位置画像生成部,64,81…先端位置画像データ,65…腹腔鏡,75…撮像部,76…ジャイロセンサ,77…加速度センサ,83…撮像画像データ,91…光源制御部,92…切替制御部,104…投影範囲取得部,105…距離画像生成制御部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ