図面 (/)

技術 画像処理装置、画像処理方法及び画像処理プログラム

出願人 学校法人慶應義塾
発明者 杉本麻樹島村奨林田哲高橋麻衣子稲見昌彦
出願日 2015年3月20日 (5年9ヶ月経過) 出願番号 2015-057973
公開日 2016年10月6日 (4年2ヶ月経過) 公開番号 2016-174788
状態 特許登録済
技術分野 放射線診断機器
主要キーワード 検出用マーカ マーキング箇所 変形部位 距離画像カメラ ペン型デバイス 切除範囲 赤外線投光器 随時確認
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年10月6日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (14)

課題

物体の実際の部位と断層画像とを自動的に適切に対応付けることができ、医師等の使用者が確認したい物体の実際の部位に対応した断層画像を適切に表示可能な画像処理装置を提供する。

解決手段

複数の撮像用マーカが貼付された物体を撮像した撮像データを記憶する記憶装置2と、物体の複数の撮像用マーカの貼付位置に対応する位置に貼付された複数の検出用マーカを検出する検出装置4と、撮像データに含まれる複数の撮像用マーカの画像上の位置と、検出された複数の検出用マーカの実際の位置とを対応点として、画像上の位置と実際の位置とを座標変換する変換行列を算出する変換行列算出部12と、撮像データに基づいて、算出された変換行列を用いて、物体の指定された実際の部位に応じた断層画像を生成する画像生成部13と、生成された断層画像を表示する表示装置5とを備える。

概要

背景

乳房温存手術においては、根治性と整容性両立させるために、医師には患者病変位置患部)の3次元的な広がりを正確に把握し、適切な切除範囲を設定することが要求される。そこで、一般的には、磁気共鳴画像MRI)装置やコンピュータ断層撮影(CT)装置等の断層画像撮像装置を用いて手術前に患者を撮像し、撮像データを取得しておく。そして、手術中に、撮像データから得られる断層画像表示装置に表示して、医師がこれを随時確認しながら処置が行われる。その際、医師は、処置を行っている患者の実環境における部位と、表示装置に表示される断層画像との対応関係を経験に応じて推定する必要があり、医師には高度な技量が求められる。

乳房温存手術等の手術時に断層画像を表示する画像処理装置として、距離センサにより患者と人の手との相対位置を特定し、特定された相対位置に対応する断層画像を表示する画像処理装置が知られている(特許文献1参照)。特許文献1に記載の画像処理装置によれば、手術中にジェスチャ操作を行うことにより、ジェスチャ操作に応じた断層画像を即座に表示することができる。

しかしながら、特許文献1に記載の画像処理装置では、患者の実際の部位と断層画像との対応付け(位置合わせ)については十分に検討されておらず、医師が確認したい患者の実際の部位と断層画像とを自動的に適切に対応付けることは困難であった。

概要

物体の実際の部位と断層画像とを自動的に適切に対応付けることができ、医師等の使用者が確認したい物体の実際の部位に対応した断層画像を適切に表示可能な画像処理装置を提供する。複数の撮像用マーカが貼付された物体を撮像した撮像データを記憶する記憶装置2と、物体の複数の撮像用マーカの貼付位置に対応する位置に貼付された複数の検出用マーカを検出する検出装置4と、撮像データに含まれる複数の撮像用マーカの画像上の位置と、検出された複数の検出用マーカの実際の位置とを対応点として、画像上の位置と実際の位置とを座標変換する変換行列を算出する変換行列算出部12と、撮像データに基づいて、算出された変換行列を用いて、物体の指定された実際の部位に応じた断層画像を生成する画像生成部13と、生成された断層画像を表示する表示装置5とを備える。

目的

本発明は、物体の実際の部位と断層画像とを自動的に適切に対応付けることができ、使用者が確認したい物体の実際の部位に対応した断層画像を適切に表示可能な画像処理装置、画像処理方法及び画像処理プログラムを提供する

効果

実績

技術文献被引用数
0件
牽制数
1件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

複数の撮像用マーカが貼付された物体撮像することにより取得された撮像データを記憶する記憶装置と、前記物体に貼付された複数の検出用マーカを検出する検出装置と、前記記憶装置に記憶された前記撮像データに含まれる前記複数の撮像用マーカの画像上の位置を読み出して、当該複数の撮像用マーカの画像上の位置と、前記検出された複数の検出用マーカの実際の位置とを対応点として、前記画像上の位置と前記実際の位置とを対応付け変換行列を算出する変換行列算出部と、前記算出された変換行列を用いて、前記物体の指定された実際の部位に応じた断層画像を生成する画像生成部と、前記生成された断層画像を表示する表示装置とを備えることを特徴とする画像処理装置

請求項2

前記複数の撮像用マーカが貼付された位置と同じ位置に前記複数の検出用マーカが貼付されることを特徴とする請求項1に記載の画像処理装置。

請求項3

前記物体の表面の位置を指し示すポインティング装置を更に備え、前記表示装置が、前記生成された断層画像を表示するとともに、前記ポインティング装置により指し示された実際の位置に対応する前記断層画像中の位置にマークを表示することを特徴とする請求項1又は2に記載の画像処理装置。

請求項4

前記表示装置が、複数の端末用マーカが取り付けられたタブレット端末であり、前記検出装置が、前記複数の端末用マーカの位置を検出することにより前記タブレット端末の位置及び姿勢を検出し、前記画像生成部が、前記検出されたタブレット端末の位置及び姿勢に応じて前記断層画像を生成することを特徴とする請求項1〜3のいずれか1項に記載の画像処理装置。

請求項5

前記物体の表面にレーザ光照射するレーザ照射部を更に備え、前記画像生成部が、前記レーザ光の照射位置を含み、前記レーザの照射方向に平行なスライス面の前記断層画像を生成することを特徴とする請求項1〜4のいずれか1項に記載の画像処理装置。

請求項6

前記物体の表面の位置を指し示すポインティング装置を更に備え、前記画像生成部が、前記ポインティング装置により指し示された位置に応じて前記断層画像を生成することを特徴とする請求項1又は2に記載の画像処理装置。

請求項7

前記表示装置が、前記生成された断層画像を前記物体の表面又は前記物体の周辺部に投影するプロジェクタであることを特徴とする請求項1〜3のいずれか1項に記載の画像処理装置。

請求項8

前記表示装置が、前記物体の表面に、前記生成された断層画像を重畳して視認可能に表示するハーフミラーデバイスであることを特徴とする請求項1〜3のいずれか1項に記載の画像処理装置。

請求項9

複数の撮像用マーカが貼付された物体を撮像することにより取得された撮像データを記憶装置に記憶するステップと、前記物体に貼付された複数の検出用マーカを検出するステップと、前記記憶装置に記憶された前記撮像データに含まれる前記複数の撮像用マーカの画像上の位置を読み出して、当該複数の撮像用マーカの画像上の位置と、前記検出された複数の検出用マーカの実際の位置とを対応点として、前記画像上の位置と前記実際の位置とを対応付ける変換行列を算出するステップと、前記算出された変換行列を用いて、前記物体の指定された実際の部位に応じた断層画像を生成するステップと、前記生成された断層画像を表示装置に表示するステップとを含むことを特徴とする画像処理方法

請求項10

複数の撮像用マーカが貼付された物体を撮像することにより取得された撮像データを記憶装置に記憶する手順と、前記物体に貼付された複数の検出用マーカを検出する手順と、前記記憶装置に記憶された前記撮像データに含まれる前記複数の撮像用マーカの画像上の位置を読み出して、当該複数の撮像用マーカの画像上の位置と、前記検出された複数の検出用マーカの実際の位置とを対応点として、前記画像上の位置と前記実際の位置とを対応付ける変換行列を算出する手順と、前記算出された変換行列を用いて、前記物体の指定された実際の部位に応じた断層画像を生成する手順と、前記生成された断層画像を表示装置に表示する手順とをコンピュータに実行させることを特徴とする画像処理プログラム

技術分野

0001

本発明は、表示装置物体断層画像を表示するための画像処理装置画像処理方法及び画像処理プログラムに関する。

背景技術

0002

乳房温存手術においては、根治性と整容性両立させるために、医師には患者病変位置患部)の3次元的な広がりを正確に把握し、適切な切除範囲を設定することが要求される。そこで、一般的には、磁気共鳴画像MRI)装置やコンピュータ断層撮影(CT)装置等の断層画像撮像装置を用いて手術前に患者を撮像し、撮像データを取得しておく。そして、手術中に、撮像データから得られる断層画像を表示装置に表示して、医師がこれを随時確認しながら処置が行われる。その際、医師は、処置を行っている患者の実環境における部位と、表示装置に表示される断層画像との対応関係を経験に応じて推定する必要があり、医師には高度な技量が求められる。

0003

乳房温存手術等の手術時に断層画像を表示する画像処理装置として、距離センサにより患者と人の手との相対位置を特定し、特定された相対位置に対応する断層画像を表示する画像処理装置が知られている(特許文献1参照)。特許文献1に記載の画像処理装置によれば、手術中にジェスチャ操作を行うことにより、ジェスチャ操作に応じた断層画像を即座に表示することができる。

0004

しかしながら、特許文献1に記載の画像処理装置では、患者の実際の部位と断層画像との対応付け(位置合わせ)については十分に検討されておらず、医師が確認したい患者の実際の部位と断層画像とを自動的に適切に対応付けることは困難であった。

先行技術

0005

特開2014−000332号公報

発明が解決しようとする課題

0006

上記問題点を鑑み、本発明は、物体の実際の部位と断層画像とを自動的に適切に対応付けることができ、使用者が確認したい物体の実際の部位に対応した断層画像を適切に表示可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

課題を解決するための手段

0007

本発明の第1の態様は、(a)複数の撮像用マーカが貼付された物体を撮像することにより取得された撮像データを記憶する記憶装置と、(b)物体に貼付された複数の検出用マーカを検出する検出装置と、(c)記憶装置に記憶された撮像データに含まれる複数の撮像用マーカの画像上の位置を読み出して、当該複数の撮像用マーカの画像上の位置と、検出された複数の検出用マーカの実際の位置とを対応点として、画像上の位置と実際の位置とを対応付ける変換行列を算出する変換行列算出部と、(d)算出された変換行列を用いて、物体の指定された実際の部位に応じた断層画像を生成する画像生成部と、(e)生成された断層画像を表示する表示装置とを備える画像処理装置であることを要旨とする。

0008

本発明の第2の態様は、(a)複数の撮像用マーカが貼付された物体を撮像することにより取得された撮像データを記憶装置に記憶するステップと、(b)物体に貼付された複数の検出用マーカを検出するステップと、(c)記憶装置に記憶された撮像データに含まれる複数の撮像用マーカの画像上の位置を読み出して、当該複数の撮像用マーカの画像上の位置と、検出された複数の検出用マーカの実際の位置とを対応点として、画像上の位置と実際の位置とを対応付ける変換行列を算出するステップと、(d)算出された変換行列を用いて、物体の指定された実際の部位に応じた断層画像を生成するステップと、(e)生成された断層画像を表示装置に表示するステップとを含む画像処理方法であることを要旨とする。

0009

本発明の第3の態様は、(a)複数の撮像用マーカが貼付された物体を撮像することにより取得された撮像データを記憶装置に記憶する手順と、(b)物体に貼付された複数の検出用マーカを検出する手順と、(c)記憶装置に記憶された撮像データに含まれる複数の撮像用マーカの画像上の位置を読み出して、当該複数の撮像用マーカの画像上の位置と、検出された複数の検出用マーカの実際の位置とを対応点として、画像上の位置と実際の位置とを対応付ける変換行列を算出する手順と、(d)算出された変換行列を用いて、物体の指定された実際の部位に応じた断層画像を生成する手順と、(e)生成された断層画像を表示装置に表示する手順とをコンピュータに実行させる画像処理プログラムであることを要旨とする。

発明の効果

0010

本発明によれば、物体の実際の部位と断層画像とを自動的に適切に対応付けることができ、使用者が確認したい物体の実際の部位に対応した断層画像を適切に表示可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することができる。

図面の簡単な説明

0011

本発明の実施形態に係る画像処理システムの一例を示すブロック図である。
本発明の実施形態に係る撮像用マーカが患者に貼付された様子を示す模式的な斜視図である。
図3(a)は、本発明の実施形態に係る複数枚の断層画像の一例を示す概略図であり、図3(b)は、本発明の実施形態に係る断層画像の一例を示す概略図である。
本発明の実施形態に係る検出用マーカが患者に貼付された様子を示す模式的な斜視図である。
本発明の実施形態に係る検出装置、表示装置及び入力装置の一例を示す模式的な概略図である。
図6(a)は、本発明の実施形態に係る患者の身体表面レーザ光照射する様子を示す模式的な概略図であり、図6(b)は、図6(a)に対応する模式的な側面図である。
本発明の実施形態に係る表示装置に表示された断層画像の一例を示す模式的な概略図である。
本発明の実施形態に係る画像処理方法のうちの手術前の断層画像撮像装置を用いた撮像処理の手順の一例を説明するためのフローチャートである。
本発明の実施形態に係る画像処理方法のうちの手術前又は手術時の画像処理の手順の一例を説明するためのフローチャートである。
本発明の実施形態の第1の変形例に係る表示装置、入力装置及びポインティング装置の一例を示す模式的な斜視図である。
本発明の実施形態の第1の変形例に係る表示装置に表示された断層画像の一例を示す模式的な概略図である。
本発明の実施形態の第2の変形例に係る表示装置の一例を示す模式的な概略図である。
本発明の実施形態の第3の変形例に係る表示装置に表示された断層画像の一例を示す模式的な概略図である。

実施例

0012

次に、図面を参照して、本発明の実施形態及び第1〜第3の変形例を説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を貼付している。但し、図面は模式的なものであり、厚みと平面寸法との関係、厚みの比率等は現実のものとは異なることに留意すべきである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。

0013

また、以下に示す実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構成部品材質、形状、構造、配置等を下記のものに特定するものではない。本発明の技術的思想は、特許請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更を加えることができる。

0014

<画像処理システム>
本発明の実施形態に係る画像処理システムとして、断層画像撮像装置の撮像対象である物体が患者であり、断層画像撮像装置に得られる医療用の断層画像を患者の実際の部位と位置合わせする場合を一例として説明する。本発明の実施形態に係る画像処理システムは、図1に示すように、画像処理装置10と、断層画像撮像装置3とを備える。画像処理装置10は、中央演算処理装置(CPU)1、記憶装置2、検出装置4、表示装置5及び入力装置6を備える。CPU1と検出装置4及び表示装置5とは有線又は無線で信号を送受信可能である。

0015

断層画像撮像装置3としては、例えばMRI装置CT装置が採用可能である。断層画像撮像装置3は、図2に示すように、複数(7つ)の撮像用マーカ(1次マーカ)M1,M2,M3,…,M7が貼付された患者100の断層画像を撮像する。図2は例えば患部が乳房温存手術を受ける場合を示しており、患者100の胸部周辺に撮像用マーカM1〜M7が貼付されている。撮像用マーカM1〜M7の種類や形状は特に限定されず、例えばオイルマーカが使用可能である。撮像用マーカM1〜M7と後述する検出用マーカとの対応付けのため、撮像用マーカM1〜M7の個数は3つ以上であれば特に限定されない。

0016

撮像用マーカM1〜M7は、患者100の実環境における部位と断層画像とを高精度に対応付けるために、乳首100a周辺等の相対的に変形しやすい部位(以下、「変形部位」という)と、胸骨上や剣状突起上等の相対的に変形しにくい部位(以下、「非変形部位」という)との双方に貼付されることが好ましい。また、撮像用マーカM1〜M7は、非変形部位よりも変形部位に対して相対的に多く付されることが好ましい。

0017

断層画像撮像装置3で撮像する際には、患者100の体位は、サポート器具等を用いて手術時と同じ体位となるように補正(固定)される。断層画像撮像装置3は、撮像用マーカM1〜M7が貼付された患者100の身体を、例えば仰臥位仰向け)で撮像する。断層画像撮像装置3は、図3(a)に示すように、複数枚の断層画像I1,I2,I3,…,In(nは4以上の整数)を取得する。複数枚の断層画像I1〜Inの各画素の位置は、ローカル座標系である撮像画像座標系位置座標(xi,yi,zi)で表される。複数枚の断層画像I1〜Inは撮像データとして図1に示した記憶装置2の撮像データ記憶部21に記憶される。

0018

図3(b)は、複数枚の断層画像I1〜Inのうちの1枚の断層画像I1を模式的に示している。断層画像I1には、図2に示した患者100の身体表面の撮像用マーカM2,M5及び乳首100aを含む部位のスライス面の画像である。図3(b)に示すように、断層画像I1には、乳首100a近傍に撮像用マーカM2,M5が識別可能写り込まれている。

0019

なお、断層画像撮像装置3は、複数枚の断層画像I1〜Inをそのまま撮像データとして撮像データ記憶部21に記憶させる代わりに、複数枚の断層画像I1〜Inからボクセルデータを生成し、生成したボクセルデータを撮像データとして撮像データ記憶部21に記憶させてもよい。

0020

図1に示した検出装置4としては、光学式磁気式又は機械式等の種々の3次元位置検出装置が使用可能である。検出装置4は、図4に示すように患者100に貼付された複数(7つ)の検出用マーカ(2次マーカ)m1,m2,m3,…,m7の3次元位置を検出する。検出用マーカm1〜m7の形状や種類は特に限定されない。本発明の実施形態では、検出装置4が光学式の3次元位置検出装置であり、検出用マーカm1〜m7が光学式マーカ(再帰性反射マーカ)である場合を一例として説明する。

0021

検出用マーカm1〜m7は、患者100の撮像用マーカM1〜M7が貼付された部位と対応する部位(例えば、同じ部位)に貼付されている。例えば、患者100の身体に貼付された撮像用マーカM1〜M7を除去するときにペン等でマーキングし、マーキング箇所に検出用マーカm1〜m7が貼付される。検出装置4により検出用マーカm1〜m7の3次元座標を検出する際に、検出用マーカm1〜m7により校正される面を与えるため、検出用マーカm1〜m7の個数は3つ以上であればよく適宜設定される。

0022

検出装置4は、図5に示すように、赤外線投光器をそれぞれ内蔵した複数(6つ)の赤外線カメラ4a,4b,4c,…,4fを有する。赤外線カメラ4a〜4fは手術室天井等に設置される。赤外線カメラ4a〜4fの3次元位置は既知であり、記憶装置2に予め記憶される。赤外線カメラ4a〜4fにより同じマーカを観測したときに3次元座標を得るために、赤外線カメラ4a〜4fの個数は2つ以上であれば特に限定されず、適宜設定可能である。検出用マーカm1〜m7の位置等の検出装置4により検出される3次元位置は、世界座標系における位置座標(xw,yw,zw)で表すことができる。

0023

図1に示した表示装置5は、断層画像撮像装置3により撮像された撮像データに基づく断層画像を表示する。表示装置5としては、タブレット端末液晶ディスプレイ(LCD)等が使用可能である。表示装置5は、図5に示すように、例えばタブレット端末であり、医師や看護師技師等である使用者101により保持されている。

0024

表示装置5としてのタブレット端末には複数(3つ)の光学式マーカ(以下、「端末用マーカ」という。)m11,m12,m13が取り付けられている。端末用マーカm11〜m13は、検出用マーカm1〜m7と同一の種類であってもよく、異なる種類であってもよい。端末用マーカm11〜m13同士の位置関係及び端末用マーカm11〜m13と表示装置5との位置関係は、検出装置4により観測される際に、端末用マーカm11〜m13が遮蔽され難い(観測し易い)ように設定されることが好ましい。上述した検出用マーカm1〜m7の個数と同様に、端末用マーカm11〜m13の個数は3つ以上であれば特に限定されず、適宜設定可能である。表示装置5の端末用マーカm11〜m13の取り付け位置は既知であり、記憶装置2に予め記憶される。

0025

検出装置4は、端末用マーカm11〜m13の3次元位置を検出することにより、表示装置5の3次元位置及び姿勢を検出する。検出装置4により検出される端末用マーカm11〜m13の3次元位置は、世界座標系における位置座標(xw,yw,zw)で表すことができる。なお、検出装置4は、検出用マーカm1〜m7及び端末用マーカm11〜m13の相対的な位置関係等に応じて、検出用マーカm1〜m7と端末用マーカm11〜m13の両者の位置を同時に区分けして検出可能である。

0026

図1に示した入力装置6は、使用者101が断層画像として確認したい患者100の実環境の指定された部位を指示情報として受け付ける。入力装置6は、図5に示すように、例えば線形レーザポインタであり、表示装置5としてのタブレット端末に装着されている。表示装置5と入力装置6との相対的な位置関係と、表示装置5の姿勢に対するレーザ光の照射方向は既知であり、記憶装置2に予め記憶される。

0027

入力装置6は、図6(a)及び図6(b)に示すように、患者100の身体表面にレーザ光を照射する。レーザ光は、使用者101にとって表示装置5の端面からレーザ光が照射されて見えるように、表示装置5の端面に平行に直線状に所定の長さを有して照射される。この患者100の身体表面のレーザ光の照射位置及び照射方向が、使用者101による指示情報となる。即ち、レーザ光の照射位置を含み、且つレーザ光の照射方向に平行(換言すれば、タブレット端末の表面に平行)なスライス面S1が、使用者101が断層画像として確認したい患者100の実際の指定された部位となる。スライス面S1としては、軸位断や矢状断状断等の任意の断面を設定することができる。

0028

なお、入力装置6としての線形レーザポインタが、表示装置5としてのタブレット端末に外付けされる代わりに、タブレット端末がレーザ照射部を内蔵し、タブレット端末の端面からレーザ光を照射してもよい。また、入力装置6としての線形レーザポインタを表示装置5としてのタブレット端末から取り外し、線形レーザポインタ自体に光学式マーカを取り付け、線形レーザポインタをタブレット端末とは個別に操作してもよい。

0029

また、入力装置6としては、線形レーザポインタ以外にも、キーボードマウス、タブレット端末に表示されるタッチパネル等が使用可能である。そして、使用者101による患者100の実環境における部位を指定する指示情報としては、入力装置6としての線形レーザポインタによるレーザ光の照射位置を用いる代わりに、グラフカル・ユーザ・インターフェースGUI)を介したスクロール等の操作情報を用いてもよい。

0030

また、入力装置6として距離センサを用いて、使用者101の手の位置(ジェスチャ)を指示情報として検出してもよい。また、表示装置5としてのタブレット端末に内蔵された加速度センサを用いて、タブレット端末の姿勢を指示情報として検出してもよい。

0031

図1に示したCPU1は、マーカ位置抽出部11、変換行列算出部12、画像生成部13及び表示制御部14を備え、更に、画像処理装置10全体を制御する制御回路演算回路、データを一時記憶するレジスタ等を有する。なお、CPU1の機能の一部又は全部が、断層画像撮像装置3又は表示装置5等に内蔵されていてもよい。

0032

マーカ位置抽出部11は、記憶装置2から断層画像撮像装置3により取得された複数枚の断層画像I1〜In又はそれから得られたボクセルデータである撮像データを読み出して、撮像データに含まれる画素値輝度値)等に応じて撮像用マーカM1〜M7の画像上の位置を抽出する。抽出された撮像用マーカM1〜M7の画像上の位置は、断層画像撮像装置3のローカル座標系である撮像画像座標系の位置座標(xi,yi,zi)で表すことができる。抽出された撮像用マーカM1〜M7の位置は、マーカ位置記憶部22に記憶される。なお、使用者101等が任意の断層画像から目視で撮像用マーカM1〜M7の位置を特定し、その位置情報が入力装置6からCPU1に入力されることにより、撮像用マーカM1〜M7の位置を抽出してもよい。

0033

変換行列算出部12は、マーカ位置抽出部11等により抽出された撮像用マーカM1〜M7の画像上の位置と、検出装置4により検出された検出用マーカm1〜m7の実際の位置とに基づいて、患者100の実環境における部位と画像上の位置とを対応付ける。即ち、変換行列算出部12は、例えば、撮像用マーカM1〜M7のローカル座標系である撮像画像座標系における位置座標(xi,yi,zi)と、検出用マーカm1〜m7の世界座標系における3次元位置(xw,yw,zw)とを対応点として用いて、実際の位置と画像上の位置とを対応付けるための、世界座標系から撮像画像座標系へ座標変換する、下記式(1)を満たす変換行列Tw→iを算出する。

0034

或いは、変換行列算出部12は、撮像画像座標系から世界座標系へ座標変換する、下記(2)式を満たす変換行列Ti→wを算出する。

0035

変換行列Tw→i及び変換行列Ti→wは、例えば撮像用マーカM1〜M7と検出用マーカm1〜m7との複数点の対応から最小二乗法を用いて算出可能である。また、断層画像及び表示装置5等の位置が、世界座標系又は撮像画像座標系で統一されていれば、変換行列Tw→i及び変換行列Ti→wのいずれを算出してもよい。

0036

画像生成部13は、変換行列算出部12により算出された変換行列Tw→i又は変換行列Ti→wを用いて、使用者101により指定された患者100の実際の部位に応じた断層画像を生成する。画像生成部13は、例えば図6(a)及び図6(b)に示した使用者101が確認したい実際の部位であるスライス面S1の位置座標を、変換行列Ti→wを用いて世界座標系上の位置座標に座標変換する。画像生成部13は更に、撮像データ記憶部21に記憶された撮像データであるボクセルデータから、座標変換した位置座標の画素値を用いて断層画像を生成する。

0037

なお、画像生成部13は、撮像データ記憶部21に記憶された撮像データがボクセルデータではなく複数枚の断層画像の場合、複数枚の断層画像から表示すべき1枚以上の断層画像を選択してもよい。また、画像生成部13により生成される断層画像は複数枚であってもよく、例えば互いに直交する2方向(2枚)の断層画像を生成してもよい。

0038

表示制御部14は、図7に示すように、画像生成部13により生成された断層画像を表示装置5の表示部5aに表示させる。図7に示す断層画像は、図6(a)及び図6(b)に示した検出用マーカm2,m5及び乳首100aを通るスライス面の画像である。画像生成部13により生成される断層画像が複数枚である場合には、表示制御部14は、表示装置5に複数枚の断層画像を交互に、又は縮小して一括に表示してもよく、表示装置5を複数個設けて、当該複数個のそれぞれに各断層画像を表示してもよい。

0039

記憶装置2としては、例えば半導体メモリ磁気ディスク光ディスク等が使用可能である。記憶装置2は、患者100の断層画像を記憶する撮像データ記憶部21と、撮像用マーカM1〜M7の位置を記憶するマーカ位置記憶部22とを備える。記憶装置2は更に、CPU1が実行する画像処理プログラムやプログラムの実行に必要な各種データを記憶する。

0040

<画像処理方法>
次に、図8及び図9のフローチャートを参照しながら、本発明の実施形態に係る画像処理方法の一例を説明する。なお、以下に示す画像処理方法はあくまでも一例であり、この手順に限定されるものではない。

0041

まず、図8のフローチャートを参照しながら、本発明の実施形態に係る画像処理方法のうち、手術前(例えば検査日)に断層画像撮像装置3を用いて断層画像を撮像する処理の一例を説明する。

0042

まず、図2に示すように、患者100の身体表面の患部周辺に複数の撮像用マーカM1〜M7を貼付する。サポート器具等を用いて、患者100の体位を仰臥位等の手術時と同じ体位に固定(補正)する。その状態で、ステップS11において、断層画像撮像装置3が、患者100の身体を撮像し、複数枚の断層画像を取得する。複数枚の断層画像又はそれから生成したボクセルデータが撮像データとして記憶装置2に記憶される。その後、患者100に貼付された撮像用マーカM1〜M7を除去するとともに、撮像用マーカM1〜M7が貼付されていた位置をマーキングする。

0043

ステップS12において、マーカ位置抽出部11が、記憶装置2に記憶された撮像データを読み出して、撮像データの各画素の画素値(輝度値)等に応じて、撮像用マーカM1〜M7の画像上の位置を抽出する。抽出された撮像用マーカM1〜M7の位置はマーカ位置記憶部22に記憶される。なお、ステップS12の手順は、図9のフローチャートのうちステップS23の手順の前に行ってもよい。

0044

次に、図9のフローチャートを参照しながら、手術前又は手術中に断層画像を表示する処理の一例を説明する。ステップS21において、患者100の身体表面のマーキング箇所(換言すれば、撮像用マーカM1〜M7の貼付位置)に複数の検出用マーカm1〜m7を貼付する。検出装置4が、患者100に貼付された検出用マーカm1〜m7の3次元位置を継続的に検出(トラッキング)する。ステップS22において、検出装置4が、端末用マーカm11〜m13の3次元位置を継続的に検出(トラッキング)することにより、表示装置5の世界座標系上の3次元位置及び姿勢を検出する。

0045

ステップS23において、変換行列算出部12が、記憶装置2のマーカ位置記憶部22に記憶された撮像用マーカM1〜M7の画像上の位置を読み出して、撮像用マーカM1〜M7の画像上の位置と、検出装置4により検出された検出用マーカm1〜m7の実環境における位置とを対応点として、画像上の位置と実環境の位置とを対応付けるための、世界座標系から撮像画像座標系へ座標変換する変換行列Tw→i又は撮像画像座標系から世界座標系へ座標変換するTi→wを算出する。

0046

ステップS24において、入力装置6は、使用者101が確認したい患者100の実際の部位を指定する指示情報を受け付ける。画像生成部13は、変換行列算出部12により算出された変換行列Ti→wを用いて、使用者101により指定された実際の部位を世界座標系上の位置に座標変換することにより、指定された実際の部位に対応する断層画像を生成する。ステップS25において、表示制御部14が、画像生成部13により生成された断層画像を表示装置5に表示させる。使用者101は、確認したい部位を指定する指示情報を入力装置6からリアルタイムに入力し、表示装置5に表示された断層画像を確認しながら、処置を行うことができる。

0047

以上説明したように、本発明の実施形態によれば、実環境における患者100の身体上の位置と断層画像とを適切に対応付けることができ、使用者101が確認したい患者100の実際の部位に対応した断層画像をリアルタイムで適切に表示することができる。したがって、患者100の実際の部位と断層画像との対応付けを医師が自ら推定する場合と比較して、医師の負担を軽減することができる。

0048

また、表示装置5としてのタブレット端末の位置及び姿勢に追従するように、レーザ光の照射位置及び照射方向に対応する断層画像を表示装置5に表示するので、使用者101が確認したい患者100の実際の部位を動的に指定しやすく、且つ断層画像と実際の部位との対応関係を使用者101に対してより直感的に把握させることができる。

0049

<画像処理プログラム>
本発明の実施形態に係る画像処理プログラムは、図8及び図9に示した画像処理の手順をCPU1に実行させる。即ち、本発明の実施形態に係る画像処理プログラムは、(a)複数の撮像用マーカM1〜M7が貼付された患者100を撮像することにより取得された撮像データを記憶装置2に記憶する手順と、(b)患者100に貼付された複数の検出用マーカm1〜m7を検出する手順と、(c)記憶装置2に記憶された撮像データに含まれる複数の撮像用マーカM1〜M7の画像上の位置を読み出して、当該複数の撮像用マーカM1〜M7の画像上の位置と、検出された複数の検出用マーカm1〜m7の実際の位置とを対応点として、画像上の位置と実際の位置とを対応付ける変換行列Tw→i及び変換行列Ti→wの少なくとも一方を算出する手順と、(d)算出された変換行列Tw→i及び変換行列Ti→wの少なくとも一方を用いて、患者100の指定された実際の部位に応じた断層画像を生成する手順と、(e)生成された断層画像を表示装置5に表示する手順等をCPU1等のコンピュータに実行させる。本発明の実施形態に係る画像処理プログラムは、図1に示した記憶装置2等の記憶手段に記憶される。

0050

(第1の変形例)
本発明の実施形態の第1の変形例として、図10に示すように、患者100の身体上の位置を指し示すポインティング装置(入力装置)7を更に備える場合を説明する。ポインティング装置7は例えばペン型端末であり、ペン本体71と、ペン本体71の先端に着脱可能なキャップ部72とを備える。キャップ部72は、ペン本体71のペン先(患者100の身体上の位置を指し示す側)とは逆側に装着されている。キャップ部72には、複数(4つ)の光学式マーカ(以下、「ペン用マーカ」という。)m21,m22,m23,m24が取り付けられている。ペン用マーカm21〜m24とペン本体71のペン先との位置関係は既知であり、記憶装置2に予め記憶される。なお、ペン用マーカm21〜m24の個数は、上述した検出用マーカm1〜m7及び端末用マーカm11〜m13の個数と同様に、3つ以上であればよく、適宜設定可能である。

0051

図1に示した検出装置4は、患者100に貼付された検出用マーカm1〜m7の位置及び端末用マーカm11〜m13の位置を検出すると同時に、ペン用マーカm21〜m24の位置を検出することにより、ポインティング装置7が指し示す位置を検出する。

0052

画像生成部13は、変換行列算出部12により算出された変換行列Ti→wを用いて、レーザ光の照射位置で指定される実際の位置を画像上に位置に変換して断層画像を生成する。この際、画像生成部13は、変換行列算出部12により算出された変換行列Tw→iを用いて、ポインティング装置7が指し示す実際の位置を画像上に位置に変換し、ポインティング装置7が指し示す画像上の位置にマークを表示するように断層画像を生成する。

0053

この結果、図11に示すように、表示装置(タブレット端末)5の表示部5aに表示される断層画像中に、ポインティング装置7が指し示す位置(ペン先の位置)に対応する画像上の位置にマークm0が表示される。ポインティング装置7が指し示す位置をレーザ光の照射位置に沿って移動させると、それに伴い断層画像中のマークm0の位置も移動する。マークm0の大きさや形状、色等は適宜設定可能であり、ポインティング装置7が指し示す位置の変化に応じてマークm0の大きさや形状、色等を変化させてもよい。例えば、ポインティング装置7が指し示す位置がレーザ光の照射位置から離れるにつれてマークm0を小さくしてもよい。

0054

第1の変形例に係る画像処理システムの他の構成は、本発明の実施形態に係る構成と同様であるので、重複した説明を省略する。

0055

第1の変形例によれば、ポインティング装置7を更に備え、ポインティング装置7が指し示す位置を断層画像中に表示することにより、実環境における患者100の身体上の位置と断層画像との対応を使用者101等に対してより容易に把握させることができる。ポインティング装置7が実際のマーキング機能を備えるペン型デバイスである場合には、特にマーキングプロセス時に有効である。

0056

なお、ポインティング装置7としては図10に示したペン型の構造に限定されない。例えば、ポインティング装置7が、図10に示したペン用マーカm21〜m24を取り付けた術具であり、術具の先端が指し示す位置を指定位置として断層画像中に表示してもよい。また、ポインティング装置7が、図10に示したペン用マーカm21〜m24を取り付けたキャップ部72のみの構造であり、ペン用マーカm21〜m24のうちの1つの位置を指し示す位置として断層画像中に表示してもよい。

0057

また、画像生成部13は、表示装置5の位置及び姿勢に応じた断層画像を生成する代わりに、ポインティング装置7が指し示す位置に応じた断層画像を生成してもよい。例えば、画像生成部13は、ポインティング装置7が指し示す位置を含む、予め設定された方向の断面画像を生成してもよい。また、画像生成部13は、ポインティング装置7が指し示す位置をそれぞれ含み、互いに直交する2方向の断層画像を生成してもよい。更に、画像生成部13は、ポインティング装置7が指し示す位置を含み、且つポインティング装置7の姿勢に応じた方向の断層画像を生成してもよい。

0058

(第2の変形例)
本発明の実施形態の第2の変形例として、図1に示した表示装置5が、図12に示すように、画像生成部13により生成された断層画像を投影するプロジェクタである場合を説明する。表示装置5としてのプロジェクタは、例えば手術室の天井等に設置される。表示装置5の3次元位置は既知であり、図1に示した記憶装置2に記憶される。

0059

図12に示すように、使用者101は、ポインティング装置(入力装置)7を用いて患者100の身体上の位置を指し示す。画像生成部13は、ポインティング装置7により指定された位置に対応する断層画像を生成する。表示装置5は、画像生成部13により生成された断層画像を患者100の身体上に投影する。なお、表示装置5により断層画像を投影する位置は、患者100の身体上に限定されず、例えば患者100が載置されている手術台等の患者100の身体の周辺部に投影してもよい。表示装置5が投影する位置は、ローカル座標系であるプロジェクタ座標系の位置座標(xp,yp,zp)で表される。

0060

変換行列算出部12は、例えば、本発明の実施形態と同様に、撮像画像座標系から世界座標系へ座標変換する上記(2)式を満たす変換行列Ti→wを算出するとともに、表示装置5の3次元位置等に基づいて、世界座標系から表示装置5のローカル座標系であるプロジェクタ座標系へ座標変換する変換行列Tw→pを更に算出する。

0061

画像生成部13は、変換行列算出部12により算出された変換行列Ti→w及び変換行列Tw→pを用いて、下記式(3)のように、患者100の実際の位置座標をプロジェクタ座標系へ座標変換することにより、プロジェクタ用の断層画像を生成する。

0062

表示制御部14は、表示装置5に断層画像を投影位置(xp,yp,zp)へ投影して表示させる。第2の変形例に係る画像処理システムの他の構成は、本発明の実施形態に係る構成と同様であるので、重複した説明を省略する。

0063

第2の変形例によれば、表示装置5としてのプロジェクタが患者100の身体上に断層画像を投影して重畳させることにより、使用者101は患者100の身体と断層画像との対応関係をより容易に把握することができる。また、表示装置5としてのプロジェクタが手術台等の患者100の身体の近傍に断層画像を投影することにより、使用者101は患者100から視線を大きく移動させることなく、断層画像を容易に確認することができる。

0064

(第3の変形例)
本発明の実施形態の第3の変形例として、図1に示した表示装置5が、ハーフミラーデバイスである場合を説明する。表示装置5としてのハーフミラーデバイスは、図13に示すように、ハーフミラー5xと、ハーフミラー5xの表面に対して所定の角度θだけ傾けて配置された表示部5yとを備える。

0065

画像生成部13は、ハーフミラー5xの裏面に対して所定の角度θだけ傾けた平面S2で患者100をスライスした断層画像を生成する。表示部5yは、画像生成部13により生成された断層画像を表示する。ハーフミラー5xは、患者100側からの入射光を透過する一方、表示部5yからの入射光を所定の角度αで反射する。このため、使用者101は、患者100の実際の身体に、ハーフミラー5xで反射された断層画像が重畳するように視認することができる。

0066

第3の変形例に係る画像処理システムの他の構成は、本発明の実施形態に係る構成と同様であるので、重複した説明を省略する。

0067

第3の変形例によれば、表示装置5としてハーフミラーデバイスを用いることにより、使用者101が患者100の実際の身体に断層画像を重畳して視認することができるので、使用者101は患者100の実際の身体と断層画像との対応関係をより容易に把握することができる。

0068

(その他の実施形態)
上記のように、本発明は実施形態及び第1〜第3の変形例によって記載したが、この開示の一部をなす論述及び図面は本発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。

0069

例えば、検出用マーカm1〜m7は、撮像用マーカM1〜M7と厳密に同じ位置・形状でなくてもよく、許容される範囲で誤差があってもよい。また、撮像用マーカM1〜M7の位置に対する相対座標が既知であれば、撮像用マーカM1〜M7が貼付された部位とは異なる位置・形状の検出用マーカm1〜m7を貼付してもよい。

0070

また、撮像用マーカM1〜M7及び検出用マーカm1〜m7を患者100の身体の変形部位と非変形部位の双方に設けることで、患部の変形を検出して、それに応じた断層画像の変形を行った表示を行ってもよい。この際に、距離画像カメラ等を用いて患部形状を検出して、変形の検出の精度を向上させてもよい。

0071

本発明は、手術の際に患者(被検体)の断層画像を表示する画像処理システムに利用可能であり、乳がん手術の他、全ての臓器に関する手術時にも利用可能である。また、MRIやCT等で撮像する断層画像は医療用断層画像に限定されず、断層画像の撮像対象も、人体以外の生体や、更には生体以外の物体であってもよい。即ち、本発明は、MRIやCT等の断層画像を表示することにより物体の内部状態検査診断するシステムにおいて、実際の物体の位置と断層画像を対比して検査・診断を行なう場合にも利用可能である。

0072

1…中央演算処理装置(CPU)
2…記憶装置
3…断層画像撮像装置
4…検出装置
5…表示装置
5a,5y…表示部
5x…ハーフミラー
6…入力装置
7…ポインティング装置
10…画像処理装置
11…マーカ位置抽出部
12…変換行列算出部
13…画像生成部
14…表示制御部
21…撮像データ記憶部
22…マーカ位置記憶部
71…ペン本体
72…キャップ部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ