図面 (/)

この項目の情報は公開日時点(2014年5月12日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (13)

課題

測定機器からの画像データと、三次元形状モデルの画像データとを適切に重畳表示できるようにする。

解決手段

基準時刻における物体の断面を撮影した入力画像の2つの第1制御点の各々に対応する、物体のモデルの断面であるモデル断面における第2制御点の指定を受け付け、基準時刻における第1制御点と第2制御点とが重なるように、モデル断面に対して第1変形処理を実行し、基準時刻における入力画像及び第1変形処理後のモデル断面を重ね合わせて表示し、基準時刻より後の第2時刻における2つの第1制御点の一方と、対応する第1変形処理後のモデル断面の第2制御点とが一致し、上記2つの第1制御点を結ぶ直線上に、第2時刻における他方の第1制御点に対応する第1変形処理後のモデル断面の第2制御点が載るように、第2時刻におけるモデル断面に対して第2変形処理を実行し、第2時刻における入力画像と、第2変形処理後のモデル断面とを重ね合わせて表示する。

概要

背景

近年、人間の臓器、特に心臓について様々な分析が行われている。具体的には、電気的な信号により収縮する心臓の心筋により、全身に向けて血液が拍出されるが、この心臓の現象再現する数値解析が行われている。そして、数値解析の結果により心筋の挙動を、3次元コンピュータグラフィックス技術を用いて表示する。

一方、医療現場において、医療向け測定機器である超音波エコー装置MRI(Magnetic Resonance Imaging)装置、CTスキャン(Computed Tomography scan)装置等を利用して、心臓の心筋の断面等、臓器の情報を直接測定することが行われている。心筋の断面の情報は、一般的には2次元の画像データである。

両方とも心筋の挙動を表すものであるから、両方の結果を対比したいという要望があっても、両者のデータ形式は異なっているので、左右に並べることはできても、両者を時間経過に従って適切な位置に配置して重畳して表示することは容易ではない。特に、超音波エコー装置を用いた超音波検査においては、超音波を用いて測定を行うことのみならず、測定を行う医者が超音波を発するプローブ患者胸部腹部に当てることにより測定を行うため、測定した画像が歪みやすいという問題や断面が固定されずに揺らぎが起こるという問題がある。

概要

測定機器からの画像データと、三次元形状モデルの画像データとを適切に重畳表示できるようにする。基準時刻における物体の断面を撮影した入力画像の2つの第1制御点の各々に対応する、物体のモデルの断面であるモデル断面における第2制御点の指定を受け付け、基準時刻における第1制御点と第2制御点とが重なるように、モデル断面に対して第1変形処理を実行し、基準時刻における入力画像及び第1変形処理後のモデル断面を重ね合わせて表示し、基準時刻より後の第2時刻における2つの第1制御点の一方と、対応する第1変形処理後のモデル断面の第2制御点とが一致し、上記2つの第1制御点を結ぶ直線上に、第2時刻における他方の第1制御点に対応する第1変形処理後のモデル断面の第2制御点が載るように、第2時刻におけるモデル断面に対して第2変形処理を実行し、第2時刻における入力画像と、第2変形処理後のモデル断面とを重ね合わせて表示する。

目的

Yoko Eto, et. al., Automated Mitral Annular Tracking: A Novel Method for Evaluating Mitral Annular Motion Using Two-dimensional Echocardiography, Journal of the American Society of Echocardiography, pp.306-312, Volume 18 Number 4, (2005)






従って、本技術の目的は、一側面によれば、測定機器が出力した画像データと、生成した三次元の形状モデルの画像データとを、適切に重畳表示できるようにするための技術を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

コンピュータに、基準時刻における物体の断面を撮影した入力画像の2つの第1の制御点の各々に対応する、生成された物体のモデルの断面であるモデル断面における第2の制御点の指定を受け付けさせ、前記基準時刻における前記第1の制御点と対応する前記第2の制御点とが重なるように、前記モデル断面に対して拡大又は縮小を含む第1の変形処理を実行させ、前記基準時刻における前記入力画像及び前記第1の変形処理後のモデル断面を重ね合わせて表示させ、前記基準時刻より後の第2の時刻における2つの第1の制御点の一方と、対応する前記第1の変形処理後のモデル断面の第2の制御点とが一致し、且つ、前記2つの第1の制御点を結ぶ直線上に、前記第2の時刻における他方の第1の制御点に対応する前記第1の変形処理後のモデル断面の第2の制御点が載るように、前記第2の時刻におけるモデル断面に対して第2の変形処理を実行させ、前記第2の時刻における前記入力画像と、前記第2の変形処理後のモデル断面とを重ね合わせて表示させることを特徴とする画像処理プログラム

請求項2

前記画像処理プログラムはさらに、前記コンピュータに、前記入力画像が入力される時間間隔又は前記モデル断面が生成される時間間隔に応じて、入力画像又はモデル断面を抽出させることを特徴とする請求項1記載の画像処理プログラム。

請求項3

前記第1の変形処理を実行する処理において、前記コンピュータに、各時刻におけるモデル断面を生成させるとともに、前記第1の変形処理を各時刻におけるモデル断面に対して実行させることを特徴とする請求項2記載の画僧処理プログラム

請求項4

コンピュータが、基準時刻における物体の断面を撮影した入力画像の2つの第1の制御点の各々に対応する、生成された物体のモデルの断面であるモデル断面における第2の制御点の指定を受け付け、前記基準時刻における前記第1の制御点と前記第2の制御点とが重なるように、前記モデル断面に対して拡大又は縮小を含む第1の変形処理を実行し、前記基準時刻における前記入力画像及び前記第1の変形処理後のモデル断面を重ね合わせて表示し、前記基準時刻より後の第2の時刻における2つの第1の制御点の一方と、対応する前記第1の変形処理後のモデル断面の第2の制御点とが一致し、且つ、前記2つの第1の制御点を結ぶ直線上に、前記第2の時刻における他方の第1の制御点に対応する前記第1の変形処理後のモデル断面の第2の制御点が載るように、前記第2の時刻におけるモデル断面に対して第2の変形処理を実行し、前記第2の時刻における前記入力画像と、前記第2の変形処理後のモデル断面とを重ね合わせて表示することを特徴とする画像処理方法

請求項5

基準時刻における物体の断面を撮影した入力画像の2つの第1の制御点の各々に対応する、生成された物体のモデルの断面であるモデル断面における第2の制御点の指定を受け付ける受付部と、前記基準時刻における前記第1の制御点と前記第2の制御点とが重なるように、前記モデル断面に対して拡大又は縮小を含む第1の変形処理を実行するとともに、前記基準時刻より後の第2の時刻における2つの第1の制御点の一方と、対応する前記第1の変形処理後のモデル断面の第2の制御点とが一致し、且つ、前記2つの第1の制御点を結ぶ直線上に、前記第2の時刻における他方の第1の制御点に対応する前記第1の変形処理後のモデル断面の第2の制御点が載るように、前記第2の時刻におけるモデル断面に対して第2の変形処理を実行する変形処理部と、前記基準時刻における前記入力画像及び前記第1の変形処理後のモデル断面を重ね合わせて表示するとともに、前記第2の時刻における前記入力画像と、前記第2の変形処理後のモデル断面とを重ね合わせて表示する表示部を有することを特徴とする画像処理装置

技術分野

0001

本技術は、表示処理プログラム表示処理方法及び表示処理装置に関する。

背景技術

0002

近年、人間の臓器、特に心臓について様々な分析が行われている。具体的には、電気的な信号により収縮する心臓の心筋により、全身に向けて血液が拍出されるが、この心臓の現象再現する数値解析が行われている。そして、数値解析の結果により心筋の挙動を、3次元コンピュータグラフィックス技術を用いて表示する。

0003

一方、医療現場において、医療向け測定機器である超音波エコー装置MRI(Magnetic Resonance Imaging)装置、CTスキャン(Computed Tomography scan)装置等を利用して、心臓の心筋の断面等、臓器の情報を直接測定することが行われている。心筋の断面の情報は、一般的には2次元の画像データである。

0004

両方とも心筋の挙動を表すものであるから、両方の結果を対比したいという要望があっても、両者のデータ形式は異なっているので、左右に並べることはできても、両者を時間経過に従って適切な位置に配置して重畳して表示することは容易ではない。特に、超音波エコー装置を用いた超音波検査においては、超音波を用いて測定を行うことのみならず、測定を行う医者が超音波を発するプローブ患者胸部腹部に当てることにより測定を行うため、測定した画像が歪みやすいという問題や断面が固定されずに揺らぎが起こるという問題がある。

先行技術

0005

Yoko Eto, et. al., Automated Mitral Annular Tracking: A Novel Method for Evaluating Mitral Annular Motion Using Two-dimensional Echocardiography, Journal of the American Society of Echocardiography, pp.306-312, Volume 18 Number 4, (2005)

発明が解決しようとする課題

0006

従って、本技術の目的は、一側面によれば、測定機器が出力した画像データと、生成した三次元の形状モデルの画像データとを、適切に重畳表示できるようにするための技術を提供することである。

課題を解決するための手段

0007

本技術に係る表示処理方法は、(A)基準時刻における物体の断面を撮影した入力画像の2つの第1の制御点の各々に対応する、生成された物体のモデルの断面であるモデル断面における第2の制御点の指定を受け付け、(B)基準時刻における第1の制御点と第2の制御点とが重なるように、モデル断面に対して拡大又は縮小を含む第1の変形処理を実行し、(C)基準時刻における入力画像及び第1の変形処理後のモデル断面を重ね合わせて表示し、(D)基準時刻より後の第2の時刻における2つの第1の制御点の一方と、対応する第1の変形処理後のモデル断面の第2の制御点とが一致し、且つ、上記2つの第1の制御点を結ぶ直線上に、第2の時刻における他方の第1の制御点に対応する第1の変形処理後のモデル断面の第2の制御点が載るように、第2の時刻におけるモデル断面に対して第2の変形処理を実行し、(E)第2の時刻における入力画像と、第2の変形処理後のモデル断面とを重ね合わせて表示する処理を含む。

発明の効果

0008

測定機器が出力した画像データと、生成した三次元の形状モデルの画像データとを、適切に重畳表示できるようになる。

図面の簡単な説明

0009

図1は、実施の形態に係る表示処理装置の機能ブロック図である。
図2は、心臓の断面の画像の一例を示す図である。
図3は、実施の形態に係る処理の処理フローを示す図である。
図4は、タイムステップ調整処理を模式的に示す図である。
図5は、形状モデルの断面の一例を示す図である。
図6は、画像に対する制御点の設定例を示す図である。
図7は、形状モデルの断面に対する制御点の設定例を示す図である。
図8は、最初の重畳表示の一例を示す図である。
図9Aは、第1の変形処理の結果の一例を示す図である。
図9Bは、第2の変形処理の初期段階の一例を示す図である。
図9Cは、第2の変形処理の最終段階の一例を示す図である。
図10は、コンピュータの機能ブロック図である。

実施例

0010

本技術の実施の形態に係る表示処理装置の機能ブロック図を図1に示す。表示処理装置100は、超音波エコー装置、MRI(Magnetic Resonance Imaging)装置、CTスキャン(Computed Tomography scan)装置等の測定機器200に接続されており、入力部140及び表示部150も接続されている。また、表示処理装置100は、測定機器200から受信した画像データを格納する画像データ格納部110と、3次元の形状モデルのデータを格納する形状モデルデータ格納部120と、処理途中のデータを格納するデータ格納部130と、本実施の形態に係る処理を実行する処理部160とを有する。

0011

画像データ格納部110には、例えば、測定機器200が出力した、所定時間間隔で並べられた複数フレームの画像データが格納される。一例として、超音波エコー装置が出力した超音波エコーによる1つのフレームの画像データを図2に示す。図2に示された画像データは、心臓の断面を撮影したものであるが、プローブを医師が固定するため、呼吸や医師自身の影響により断面位置が空間に固定されているとは限らない。また、超音波のレンズ効果のため、心筋の位置が正しく元の心筋の位置であるとは限らない。本実施の形態では、超音波エコー装置等が出力した画像データと生成された形状モデルデータとを重畳する場合を例として説明を行うが、MRI装置CTスキャン装置等が出力した画像データと生成された形状モデルデータとを重畳する場合にも適用できることはもちろんである。

0012

形状モデルデータ格納部120には、例えば心臓の場合には、心臓一拍分の期間における、生成された時系列の形状モデルデータ(例えば四面体要素データ)が格納されている。形状モデルデータには、例えば形状を特定するために必要な四面体要素の各頂点座標要素情報、要素上の物理値等を含む。

0013

処理部160は、タイムステップ調整部161と、断面生成部162と、制御点設定部163と、変形処理部164と、重畳処理部165とを有する。また、制御点設定部163は、制御点生成部1631を含む場合がある。

0014

タイムステップ調整部161は、例えば心臓一拍分の期間における画像のフレーム数と形状モデルのタイムステップ数とは異なっているので、例えば画像フレームに合わせて形状モデルのデータを抽出する。

0015

断面生成部162は、ユーザからの指示に応じて画像データ格納部110に格納されている画像が示している心臓の断面に対応する断面についてのデータを、形状モデルのデータから生成する。

0016

制御点設定部163は、例えばユーザからの指示に応じて、各フレームの画像上に2点、形状モデルの断面上に対応する2点を制御点として設定する。なお、制御点生成部1631は、心臓の場合には画像から弁輪に対応する点を自動的に抽出する。従って、弁輪を制御点に設定する場合には制御点生成部1631に制御点を設定させればよい。その他の点を制御点に設定する場合には、ユーザが指示する。

0017

変形処理部164は、例えば形状モデルの断面のデータに対して、回転、平行移動拡大縮小のうち少なくともいずれかを必要に応じて実行する。例えば、超音波エコー装置等が出力した画像データと生成された形状モデルデータとを重畳する場合、変形処理部164は、形状モデルデータを画像データに重畳できるように変形処理を行う。変形処理部164は、基準時刻(例えば最初の時刻)についての変形処理に加えて、基準時刻より後の時刻における回転と平行移動との少なくともいずれかについての変形処理を実行する。

0018

重畳処理部165は、各フレームについて、変形処理部164による変形処理後の形状モデルの断面のデータと、画像データとを重畳した上で、表示部150に表示させる。

0019

次に、図3乃至図9Cを用いて表示処理装置100の処理内容について説明する。

0020

まず、処理部160のタイムステップ調整部161は、画像データ格納部110に格納されている画像のフレーム間隔と、形状モデルデータ格納部120に格納されている形状モデルの時間間隔とから、画像及び形状モデルのタイムステップを調整する処理を実行する(図3:ステップS1)。一般に、画像のフレーム間隔の方が長いので、例えば画像のフレーム間隔に合うように、形状モデルのデータを抽出する。この処理については、図4に模式的に示す。例えば心臓一拍分の画像データ及び形状モデルのデータを並べると、画像のフレーム数よりも多くのタイムステップの形状モデルが用意されている。そこで、画像の各フレームと同時刻(縦方向点線)の形状モデルのデータを抽出することで、重畳用形状モデルとして用いる。図4の例では、同時刻の形状モデルのデータが存在する例を示しているが、存在しない場合には例えばその時刻の前後の形状モデルを補間することで、同時刻の形状モデルのデータを生成する。但し、時刻の差が小さい場合には、補間せずにその時刻の形状モデルを抽出するようにしても良い。また、画像フレームの間隔の方が短い場合には、画像フレームを形状モデルの時刻に合わせて抽出するようにしても良い。

0021

次に、処理部160の断面生成部162は、ユーザに対して、画像データが表している物体の断面に対応する断面を、形状モデルに対して指示するように促し、形状モデルの断面についてユーザの指示を受け付けると(ステップS3)、当該指示に従って形状モデルに対する断面のデータを生成し、例えばデータ格納部130に格納する(ステップS5)。

0022

超音波エコーの画像は平面内の臓器の移動は含まれるが、画像平面垂直方向については撮影時の揺らぎが含まれないと考えれば、空間固定のデータとみることができる。そのため、例えば基準時刻(例えば開始時刻)における形状モデルの対応する断面を特定し、特定した形状モデルの対応する断面を固定して以下の処理を実行する。

0023

例えば超音波エコーで心臓を測定する場合、一般的に、傍胸骨左縁長軸断層像、傍胸骨左縁短軸断層像(例えば、大動脈ベル心尖部レベル、乳頭筋レベル、僧帽弁レベルなど)、心尖部四腔像、心尖部二腔像、経食道像などが測定されることが多いので、対応する断面を形状モデルに対して指定する。

0024

形状モデルの断面のデータを生成する処理自体は従来から行われている処理(例えばAVS社のAVS/Express、Kitware社のParaviewなどに備えられた機能)であり、ここでは詳細な説明は省略する。

0025

例えば、図5に示すような形状モデルの断面のデータが生成される。ここでは、ステップS1で抽出された重畳用形状モデルの各々について断面のデータを生成する。断面のデータは、例えば三角形要素等で表される。

0026

次に、制御点設定部163は、画像及び形状モデルの断面の各々対応する2つの制御点を設定する処理を実行する(ステップS7)。上でも述べたように、心臓の場合、弁輪については自動的に画像から抽出することができるので、ユーザが入力部140から弁輪を制御点として指定すれば、制御点生成部1631は、各フレームの画像から弁輪に対応する制御点を特定する。例えば、Yoko Eto, et. al., Automated Mitral Annular Tracking: A Novel Method for Evaluating Mitral Annular Motion Using Two-dimensional Echocardiography, Journal of the American Society of Echocardiography, pp.306-312, Volume 18 Number 4, (2005)を参照のこと。

0027

図2のような画像の場合には、図6に示すような制御点Index11及び12が特定される。但し、ユーザが、弁輪を制御点とする場合及びその他の点を制御点とする場合も個別に指定するようにしても良い。さらに、図7に模式的に示すように、形状モデルの断面においても、ユーザの指定に応じて制御点Index11に対応する制御点Index21を設定し、制御点Index12に対応する制御点Index22を設定する。なお、基準時刻における形状モデルの断面における三角形要素の頂点に制御点を設定すれば、同じ三角形要素の同じ頂点が、基準時刻より後の時刻においても選択されたことになる。但し、重畳用形状モデルの各断面について、ユーザの指定により制御点を設定するようにしても良い。

0028

その後、変形処理部164は、各時刻における重畳用形状モデルの断面に対して、対応する制御点を一致させるように平行移動、回転、スケーリングのうち少なくとも1つを含む第1の変形処理を実行し、処理結果を例えばデータ格納部130に格納する(ステップS9)。

0029

より具体的には、基準時刻における画像における制御点Index11の座標を(xI_Index11,yI_Index11)とし、制御点Index12の座標を(xI_Index12,yI_Index12)とし、基準時刻における画像における制御点Index21の座標を(xI_Index21,yI_Index21)とし、制御点Index22の座標を(xI_Index22,yI_Index22)とする。そうすると、スケールパラメータSx及びSyは、以下のように算出される。

0030

このようなスケールパラメータによって拡大又は縮小した後に、制御点Index21が制御点Index11に一致し、制御点Index22が制御点Index12に一致するように、平行移動及び回転を行わせる。この変形処理を行う演算についてはよく知られているのでここでは説明は省略する。

0031

このような第1の変形処理は基本的な重ね合わせのための処理であるから、基準時刻以外の時刻における重畳用形状モデルの断面についても、第1の変形処理を実施する。但し、基準時刻以外の時刻についてはスケーリングのみを実施して、平行移動及び回転についてはこの段階では行わないようにしても良い。さらに、スケーリングをも、制御点を一致させるなどの演算の直前に行うようにしても良い。

0032

そして、重畳処理部165は、同時刻についての画像及び第1の変形処理後の断面とを重畳させて表示データを生成し、表示部150に出力する(ステップS11)。

0033

例えば基準時刻においては、図8に示すような重畳表示が行われるようになる。図7の例でも示しているように、画像データが見やすくなるように、重畳用形状モデルの断面については、輪郭のみを表示するようになっている。輪郭内部については、どのような表示にするかは、ユーザにより選択させるようにして、所定の色にて塗りつぶすようにしてもよい。

0034

そして、処理部160は、処理終了がユーザにより指示されるなど、処理終了となるイベントを検出したか判断する(ステップS13)。処理終了のイベントが検出されれば、処理を終了する。

0035

一方、処理終了でなければ、変形処理部164は、画像データ格納部110において次の時刻の画像データとデータ格納部130における重畳用形状モデルの断面のデータとを特定する(ステップS15)。そして、変形処理部164は、一方の制御点(例えば制御点Index22)を画像における対応する制御点(例えば制御点Index12)に固定し、他方の制御点(例えば制御点Index21)を、画像における2つの制御点を結ぶ直線上に載るように、重畳用形状モデルの断面に対して平行移動と回転の少なくとも1つを実行する第2の変形処理を実行する(ステップS17)。

0036

弁輪の大きさは心臓の動きによって変化するので、例えば弁輪を制御点にしている場合、基準時刻より後の時刻における画像及び重畳用形状モデルの断面の対応する制御点を一致させるためには、その都度スケーリングをも実行することになる。本実施の形態では、処理を簡略化するため、スケーリングは基準時刻におけるスケールパラメータによって第1の変形処理で行い、第2の変形処理では、平行移動と回転との少なくともいずれかで対処する。但し、スケールパラメータによる第1の変形処理を第2の変形処理が含むようにしても良い。

0037

例えば、第1の変形処理で図9Aに示すように重畳用形状モデルの断面Xが配置されている場合には、図9Bに示すように画像における制御点Index12と同時刻の重畳用形状モデルの断面Xにおける対応する制御点Index22とを一致させるように平行移動させる。また、制御点Index11とIndex12とを結ぶ直線上に、重畳用形状モデルの断面Xにおける制御点Index21が載るように、制御点Index22を中心に角度θ分だけ回転させる。そうすると、図9Cに示すように制御点Index11と制御点Index21とが重なることはないが、おおよそ同じ位置に配置されるようになる。また、2つの制御点Index11及びIndex12を通過する直線と2つの制御点Index21及びIndex22を通過する直線とが同じ方向になる。

0038

その後処理はステップS11に移行する。すなわち、重畳処理部165は、第2の変形処理後の断面のデータと、画像データとを重畳して表示するデータを生成する。

0039

このような処理を繰り返すことによって、測定機器200から得られた画像と、形状モデルの同じ断面のデータとを分かり易く重畳表示できるようになる。

0040

以上本技術の実施の形態を説明したが、本技術はこれに限定されるものではない。例えば、機能ブロック図は一例であって、異なるモジュール構成を採用するようにしても良い。また、処理フローについても同様の処理結果が得られれば、ステップの順番入れ替えたり、複数のステップを並列実行するようにしても良い。

0041

例えば重畳用形状モデルの断面に対して第1の変形処理及び第2の変形処理を実行する例を示したが、画像に対して実行するようにしても良い。この際には、基準は重畳用形状モデルの断面である。

0042

また、基準時刻以外の時刻の断面に対して第1の変形処理をステップS9では行わずに、ステップS17において第2の変形処理と共に実行するようにしても良い。さらに、この場合には、弁輪など自動的に画像から制御点を抽出する場合には、この処理についても基準時刻以外の時刻におけるフレームの画像については、ステップS15より後に実行するようにしても良い。

0043

なお、上で述べた表示処理装置100は、例えばコンピュータ装置であって、図10に示すように、メモリ2501とCPU2503とハードディスクドライブ(HDD)2505と表示装置2509に接続される表示制御部2507とリムーバブルディスク2511用のドライブ装置2513と入力装置2515とネットワークに接続するための通信制御部2517とがバス2519で接続されている。オペレーティング・システム(OS:Operating System)及び本実施例における処理を実施するためのアプリケーションプログラムは、HDD2505に格納されており、CPU2503により実行される際にはHDD2505からメモリ2501に読み出される。CPU2503は、アプリケーション・プログラムの処理内容に応じて表示制御部2507、通信制御部2517、ドライブ装置2513を制御して、所定の動作を行わせる。また、処理途中のデータについては、主としてメモリ2501に格納されるが、HDD2505に格納されるようにしてもよい。本技術の実施例では、上で述べた処理を実施するためのアプリケーション・プログラムはコンピュータ読み取り可能なリムーバブル・ディスク2511に格納されて頒布され、ドライブ装置2513からHDD2505にインストールされる。インターネットなどのネットワーク及び通信制御部2517を経由して、HDD2505にインストールされる場合もある。このようなコンピュータ装置は、上で述べたCPU2503、メモリ2501などのハードウエアとOS及びアプリケーション・プログラムなどのプログラムとが有機的に協働することにより、上で述べたような各種機能を実現する。

0044

以上述べた本実施の形態をまとめると、以下のようになる。

0045

本実施の形態の第1の態様に係る表示処理方法は、(A)基準時刻における物体の断面の画像における2つの第1の制御点の各々に対応する、基準時刻における物体のモデルにおける上記物体の断面に対応する第2の断面における第2の制御点の指定を受け付け、(B)第1の制御点と対応する第2の制御点とが重なるように、基準時刻における物体のモデルの第2の断面に対して拡大又は縮小を含む第1の変形処理を実行し、(C)基準時刻における物体の断面の画像及び第1の変形処理後の物体のモデルの第2の断面を重ね合わせて表示し、(D)基準時刻より後の第2の時刻における物体の断面の画像における一方の第1の制御点と、第2の時刻における上記拡大又は縮小がなされた物体のモデルの第2の断面において対応する第2の制御点とが一致し、且つ、第1の制御点を結ぶ直線上に、他方の第1の制御点に対応する、第2の時刻における上記拡大又は縮小された物体のモデルの第2の断面における第2の制御点が載るように、第2の時刻における物体のモデルの第2の断面に対して第2の変形処理を実行し、(E)第2の時刻における物体の断面の画像と、第2の時刻における上記第2の変形処理が行われた物体の第2の断面とを重ね合わせて表示する処理を含む。

0046

このようにすれば、第2の時刻以降についても簡易な処理で、物体のモデルの断面と物体の断面の画像とを適切に重ね合わせることができるようになる。

0047

また、第1の態様に係る表示処理方法は、物体の断面の画像の時間間隔又は物体のモデルのデータの時間間隔に応じて、同時刻の物体の断面の画像又は物体のモデルのデータを抽出する処理をさらに含むようにしても良い。例えば、間隔が長い方に合わせて、間隔が短い方のデータを抽出するようにしても良い。

0048

さらに、上で述べた第1の変形処理を実行する処理において、各時刻について物体のモデルにおける第2の断面のデータを生成し、第1の変形処理を各時刻についての物体のモデルの第2の断面に対して実行するようにしても良い。このようにすれば、第2の変形処理を高速に行うことができるようになる。なお、基準時刻以外の時刻の物体のモデルの第2の断面については、上記拡大又は縮小のみを実行するようにしても良い。上記拡大又は縮小についても、第1の変形処理ではなく第2の変形処理の一部として実行する場合もある。

0049

本実施の形態の第2の態様に係る表示処理方法は、(A)基準時刻における物体の断面の画像における2つの第1の制御点の各々に対応する、基準時刻における物体のモデルにおける物体の断面に対応する第2の断面における第2の制御点の指定を受け付け、(B)第1の制御点と対応する第2の制御点とが重なるように、基準時刻における物体の断面の画像に対して拡大又は縮小を含む第1の変形処理を実行し、(C)基準時刻における物体のモデルの第2の断面及び第1の変形処理後の物体の断面の画像を重ね合わせて表示し、(D)基準時刻より後の第2の時刻における物体のモデルの第2の断面における一方の第2の制御点と、第2の時刻における上記拡大又は縮小された物体の断面の画像において対応する第1の制御点とが一致し、且つ、上記物体のモデルの第2の断面における第2の制御点を結ぶ直線上に、他方の第2の制御点に対応する、第2の時刻における上記拡大又は縮小された物体の断面の画像における第1の制御点が載るように、第2の時刻における物体の断面の画像に対して第2の変形処理を実行し、(E)第2の時刻における物体のモデルの断面と、第2の時刻における上記第2の変形処理が行われた物体の断面の画像とを重ね合わせて表示する処理を含む。

0050

物体の断面の画像を主要な処理対象とするようにしても良い。

0051

なお、上で述べたような処理をコンピュータに実施させるためのプログラムを作成することができ、当該プログラムは、例えばフレキシブル・ディスク、CD−ROMなどの光ディスク光磁気ディスク半導体メモリ(例えばROM)、ハードディスク等のコンピュータ読み取り可能な記憶媒体又は記憶装置に格納される。なお、処理途中のデータについては、RAM等の記憶装置に一時保管される。

0052

以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。

0053

(付記1)
コンピュータに、
基準時刻における物体の断面を撮影した入力画像の2つの第1の制御点の各々に対応する、生成された物体のモデルの断面であるモデル断面における第2の制御点の指定を受け付けさせ、
前記基準時刻における前記第1の制御点と対応する前記第2の制御点とが重なるように、前記モデル断面に対して拡大又は縮小を含む第1の変形処理を実行させ、
前記基準時刻における前記入力画像及び前記第1の変形処理後のモデル断面を重ね合わせて表示させ、
前記基準時刻より後の第2の時刻における2つの第1の制御点の一方と、対応する前記第1の変形処理後のモデル断面の第2の制御点とが一致し、且つ、前記2つの第1の制御点を結ぶ直線上に、前記第2の時刻における他方の第1の制御点に対応する前記第1の変形処理後のモデル断面の第2の制御点が載るように、前記第2の時刻におけるモデル断面に対して第2の変形処理を実行させ、
前記第2の時刻における前記入力画像と、前記第2の変形処理後のモデル断面とを重ね合わせて表示させることを特徴とする画像処理プログラム

0054

(付記2)
前記画像処理プログラムはさらに、
前記コンピュータに、
前記入力画像が入力される時間間隔又は前記モデル断面が生成される時間間隔に応じて、入力画像又はモデル断面を抽出させることを特徴とする付記1記載の画像処理プログラム。

0055

(付記3)
前記第1の変形処理を実行する処理において、
前記コンピュータに、
各時刻におけるモデル断面を生成させるとともに、前記第1の変形処理を各時刻におけるモデル断面に対して実行させることを特徴とする
付記2記載の画僧処理プログラム

0056

(付記4)
コンピュータが、
基準時刻における物体の断面を撮影した入力画像の2つの第1の制御点の各々に対応する、生成された物体のモデルの断面であるモデル断面における第2の制御点の指定を受け付け、
前記基準時刻における前記第1の制御点と前記第2の制御点とが重なるように、前記モデル断面に対して拡大又は縮小を含む第1の変形処理を実行し、
前記基準時刻における前記入力画像及び前記第1の変形処理後のモデル断面を重ね合わせて表示し、
前記基準時刻より後の第2の時刻における2つの第1の制御点の一方と、対応する前記第1の変形処理後のモデル断面の第2の制御点とが一致し、且つ、前記2つの第1の制御点を結ぶ直線上に、前記第2の時刻における他方の第1の制御点に対応する前記第1の変形処理後のモデル断面の第2の制御点が載るように、前記第2の時刻におけるモデル断面に対して第2の変形処理を実行し、
前記第2の時刻における前記入力画像と、前記第2の変形処理後のモデル断面とを重ね合わせて表示することを特徴とする画像処理方法

0057

(付記5)
基準時刻における物体の断面を撮影した入力画像の2つの第1の制御点の各々に対応する、生成された物体のモデルの断面であるモデル断面における第2の制御点の指定を受け付ける受付部と、
前記基準時刻における前記第1の制御点と前記第2の制御点とが重なるように、前記モデル断面に対して拡大又は縮小を含む第1の変形処理を実行するとともに、前記基準時刻より後の第2の時刻における2つの第1の制御点の一方と、対応する前記第1の変形処理後のモデル断面の第2の制御点とが一致し、且つ、前記2つの第1の制御点を結ぶ直線上に、前記第2の時刻における他方の第1の制御点に対応する前記第1の変形処理後のモデル断面の第2の制御点が載るように、前記第2の時刻におけるモデル断面に対して第2の変形処理を実行する変形処理部と、
前記基準時刻における前記入力画像及び前記第1の変形処理後のモデル断面を重ね合わせて表示するとともに、前記第2の時刻における前記入力画像と、前記第2の変形処理後のモデル断面とを重ね合わせて表示する表示部を有することを特徴とする画像処理装置

0058

100表示処理装置
110 画像データ格納部
120形状モデルデータ格納部
130 データ格納部
140 入力部
150 表示部
160 処理部
161タイムステップ調整部
162 断面生成部
163制御点設定部
164変形処理部
165重畳処理部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ