図面 (/)

技術 画像処理装置、画像処理方法及びプログラム

出願人 キヤノン株式会社
発明者 音丸格宮狭和大佐藤清秀
出願日 2016年7月22日 (5年1ヶ月経過) 出願番号 2016-144831
公開日 2017年2月16日 (4年6ヶ月経過) 公開番号 2017-035467
状態 特許登録済
技術分野 画像処理 超音波診断装置 閉回路テレビジョンシステム 磁気共鳴イメージング装置 イメージ分析
主要キーワード 対応断面 評価対象範囲 順序決定手順 評価対象領域 算出対象領域 変位場 グリッド領域 次変形
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年2月16日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (13)

課題

第1の画像と第2の画像の位置合わせに時間がかかるアルゴリズムを用いた場合でも、位置合わせ結果を取得するための待ち時間を低減することができる画像処理装置を提供することを課題とする。

解決手段

画像処理装置は、第1の画像と第2の画像の間の変形を算出する画像処理装置であって、前記第2の画像を分割した複数の部分領域の算出順序を決定する算出順序決定部(103)と、前記算出順序決定部により決定された部分領域の算出順序で、前記部分領域ごとに前記第1の画像と前記第2の画像の間の変形を算出する算出部(104)と、前記算出部により算出された部分領域の変形を基に、前記第1の画像を変形させた変形画像を生成する変形画像生成部(105)と、前記変形画像生成部により生成された変形画像を表示部に表示させる表示制御部(107)とを有する。

概要

背景

医療用画像を用いた画像診断において、医師は、複数の撮像装置モダリティ)等で撮像された画像を対比しながら診断を行う。しかしながら、画像間で被検体姿勢や形状が異なるため、病変部の同定や対比を行うことが困難である。そこで、複数の画像間の位置合わせを行うことが試みられている。複数の画像を位置合わせする方法として、非特許文献1には、2枚の画像の類似度コスト関数として、繰り返し計算に基づく非線形な最適化を行う技術が開示されている。

概要

第1の画像と第2の画像の位置合わせに時間がかかるアルゴリズムを用いた場合でも、位置合わせ結果を取得するための待ち時間を低減することができる画像処理装置を提供することを課題とする。画像処理装置は、第1の画像と第2の画像の間の変形を算出する画像処理装置であって、前記第2の画像を分割した複数の部分領域の算出順序を決定する算出順序決定部(103)と、前記算出順序決定部により決定された部分領域の算出順序で、前記部分領域ごとに前記第1の画像と前記第2の画像の間の変形を算出する算出部(104)と、前記算出部により算出された部分領域の変形を基に、前記第1の画像を変形させた変形画像を生成する変形画像生成部(105)と、前記変形画像生成部により生成された変形画像を表示部に表示させる表示制御部(107)とを有する。

目的

本発明の目的は、第1の画像と第2の画像の位置合わせにかかる時間を低減することができる画像処理装置、画像処理方法及びプログラムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

第1の画像と第2の画像の間の変形を算出する画像処理装置であって、前記第2の画像を分割した複数の部分領域の算出順序を決定する算出順序決定部と、前記算出順序決定部により決定された部分領域の算出順序で、前記部分領域ごとに前記第1の画像と前記第2の画像の間の変形を算出する算出部と、前記算出部により算出された部分領域の変形を基に、前記第1の画像を変形させた変形画像を生成する変形画像生成部と、前記変形画像生成部により生成された変形画像を表示部に表示させる表示制御部とを有することを特徴とする画像処理装置。

請求項2

前記算出部がすべての部分領域の変形の算出を終了する前に、前記変形画像生成部は、前記算出部が変形の算出を終了した一部の前記部分領域に対応する前記第1の画像の変形画像を生成し、前記表示制御部は、前記変形画像生成部により生成された前記一部の部分領域に対応する前記第1の画像の変形画像を前記表示部に表示させることを特徴とする請求項1記載の画像処理装置。

請求項3

前記算出部がすべての部分領域の変形の算出を終了する前に、前記複数の部分領域の算出順序の変更が指示されると、前記算出部は、前記変形の算出を中断し、前記算出順序決定部は、前記複数の部分領域の算出順序を変更し、前記算出部は、前記変更された算出順序で、前記第1の画像と前記第2の画像の前記部分領域の間の変形を算出することを特徴とする請求項1又は2記載の画像処理装置。

請求項4

前記表示制御部は、前記変形画像及び前記第2の画像を前記表示部に表示させることを特徴とする請求項1又は2記載の画像処理装置。

請求項5

前記第1の画像及び前記第2の画像は、異なる条件で撮像された3次元断層画像であるであることを特徴とする請求項1〜4のいずれか1項に記載の画像処理装置。

請求項6

前記表示制御部は、前記変形画像として、前記第1の画像の変形画像の断面画像を前記表示部に表示させることを特徴とする請求項5記載の画像処理装置。

請求項7

前記部分領域は、前記第2の画像を構成する断面又は断面群であり、前記表示制御部は、前記算出部が算出済みの断面の範囲を前記表示部に表示させることを特徴とする請求項6記載の画像処理装置。

請求項8

前記表示制御部が前記表示部に表示させる前記断面画像は着目断面の断面画像であり、前記表示制御部は、前記着目断面の位置を示す情報と、前記算出済みの断面の範囲を示す情報とを関連付けて前記表示部に表示させることを特徴とする請求項7記載の画像処理装置。

請求項9

前記部分領域は、前記第2の画像を構成する断面又は断面群であり、前記第2の画像上の着目断面を取得する着目領域取得部をさらに有し、前記算出順序決定部は、前記着目断面を含む部分領域を最先にして、前記複数の部分領域の算出順序を決定することを特徴とする請求項5記載の画像処理装置。

請求項10

前記第1の画像上の点と前記第2の画像上の点とを対応付け対応点を取得する対応点取得部をさらに有し、前記算出部は、前記対応点に基づいて、前記部分領域ごとに前記第1の画像と前記第2の画像の間の変形を算出することを特徴とする請求項1記載の画像処理装置。

請求項11

前記第1の画像上の点と前記第2の画像上の点とを対応付ける対応点を取得する対応点取得部をさらに有し、前記算出順序決定部は、前記複数の部分領域の中で前記対応点の密度が高い部分領域ほど算出順序が早くなるように、複数の部分領域の算出順序を決定することを特徴とする請求項1記載の画像処理装置。

請求項12

前記算出順序決定部は、前記複数の部分領域の中でエッジが多い部分領域ほど前記算出順序が早くなるように、複数の部分領域の算出順序を決定することを特徴とする請求項1記載の画像処理装置。

請求項13

前記算出順序決定部は、前記複数の部分領域の中で前記第1の画像と前記第2の画像の部分領域の間の類似度が低い部分領域ほど前記算出順序が早くなるように、複数の部分領域の算出順序を決定することを特徴とする請求項1記載の画像処理装置。

請求項14

第1の画像と第2の画像の間の変形を算出する画像処理装置であって、前記第2の画像上の着目断面を取得する着目領域取得部と、前記着目断面を最先にして、算出順序を決定する算出順序決定部と、前記算出順序決定部により決定された算出順序で、前記第1の画像と前記第2の画像の間の変形を算出する算出部と、前記算出部により算出された変形を基に、前記第1の画像を変形させた変形画像を生成する変形画像生成部と、前記変形画像生成部により生成された変形画像を表示部に表示させる表示制御部とを有することを特徴とする画像処理装置。

請求項15

第1の画像と第2の画像の間の変形を算出する画像処理方法であって、算出順序決定部により、前記第2の画像を分割した複数の部分領域の算出順序を決定する算出順序決定ステップと、算出部により、前記算出順序決定ステップで決定された部分領域の算出順序で、前記部分領域ごとに前記第1の画像と前記第2の画像の間の変形を算出する算出ステップと、変形画像生成部により、前記算出ステップで算出された部分領域の変形を基に、前記第1の画像を変形させた変形画像を生成する変形画像生成ステップと、表示制御部により、前記変形画像生成ステップで生成された変形画像を表示部に表示させる表示制御ステップとを有することを特徴とする画像処理方法。

請求項16

第1の画像と第2の画像の間の変形を算出する画像処理方法であって、着目領域取得部により、前記第2の画像上の着目断面を取得する着目領域取得ステップと、算出順序決定部により、前記着目断面を最先にして、算出順序を決定する算出順序決定ステップと、算出部により、前記算出順序決定ステップで決定された算出順序で、前記第1の画像と前記第2の画像の間の変形を算出する算出ステップと、変形画像生成部により、前記算出ステップで算出された変形を基に、前記第1の画像を変形させた変形画像を生成する変形画像生成ステップと、表示制御部により、前記変形画像生成ステップで生成された変形画像を表示部に表示させる表示制御ステップとを有することを特徴とする画像処理方法。

請求項17

第1の画像と第2の画像の間の変形を算出するプログラムであって、前記第2の画像を分割した複数の部分領域の算出順序を決定する算出順序決定ステップと、前記算出順序決定ステップで決定された部分領域の算出順序で、前記部分領域ごとに前記第1の画像と前記第2の画像の間の変形を算出する算出ステップと、前記算出ステップで算出された部分領域の変形を基に、前記第1の画像を変形させた変形画像を生成する変形画像生成ステップと、前記変形画像生成ステップで生成された変形画像を表示部に表示させる表示制御ステップとをコンピュータに実行させるためのプログラム。

請求項18

第1の画像と第2の画像の間の変形を算出するプログラムであって、前記第2の画像上の着目断面を取得する着目領域取得ステップと、前記着目断面を最先にして、算出順序を決定する算出順序決定ステップと、前記算出順序決定ステップで決定された算出順序で、前記第1の画像と前記第2の画像の間の変形を算出する算出ステップと、前記算出ステップで算出された変形を基に、前記第1の画像を変形させた変形画像を生成する変形画像生成ステップと、前記変形画像生成ステップで生成された変形画像を表示部に表示させる表示制御ステップとをコンピュータに実行させるためのプログラム。

技術分野

0001

本発明は、画像処理装置画像処理方法及びプログラムに関する。

背景技術

0002

医療用画像を用いた画像診断において、医師は、複数の撮像装置モダリティ)等で撮像された画像を対比しながら診断を行う。しかしながら、画像間で被検体姿勢や形状が異なるため、病変部の同定や対比を行うことが困難である。そこで、複数の画像間の位置合わせを行うことが試みられている。複数の画像を位置合わせする方法として、非特許文献1には、2枚の画像の類似度コスト関数として、繰り返し計算に基づく非線形な最適化を行う技術が開示されている。

先行技術

0003

D.Rueckert, L.Sonoda, C.Hayes, D.Hill, M.Leach,and D.Hawkes,"Nonrigid registration using free−form deformations: application to breastMRimages",IEEE med. imag.,vol.18(8),pp.712−721,1999.

発明が解決しようとする課題

0004

しかしながら、繰り返し計算に基づく非線形な最適化を行う位置合わせアルゴリズムは、多大な計算量を要する場合がある。このような計算量が多いアルゴリズムを位置合わせに用いる場合、ユーザが確認したい領域の位置合わせ結果を表示するまでに時間がかかる課題がある。

0005

本発明の目的は、第1の画像と第2の画像の位置合わせにかかる時間を低減することができる画像処理装置、画像処理方法及びプログラムを提供することである。

課題を解決するための手段

0006

本発明の画像処理装置は、第1の画像と第2の画像の間の変形を算出する画像処理装置であって、前記第2の画像を分割した複数の部分領域の算出順序を決定する算出順序決定部と、前記算出順序決定部により決定された部分領域の算出順序で、前記部分領域ごとに前記第1の画像と前記第2の画像の間の変形を算出する算出部と、前記算出部により算出された部分領域の変形を基に、前記第1の画像を変形させた変形画像を生成する変形画像生成部と、前記変形画像生成部により生成された変形画像を表示部に表示させる表示制御部とを有することを特徴とする。

発明の効果

0007

第1の画像と第2の画像の位置合わせにかかる時間を低減することが可能になる。

図面の簡単な説明

0008

第1の実施形態に係る画像処理装置の構成例を示す図である。
第1の実施形態に係る処理手順を示すフローチャートである。
第1の実施形態に係る入力画像表示時の表示部の画面構成を示す図である。
FFDにおける変形表現性質を示す模式図である。
FFDを用いた変位場算出の手順を説明するための模式図である。
第1の実施形態に係る変形画像表示時の表示部の画面構成を示す図である。
第2の実施形態に係る画像処理装置の構成例を示す図である。
第2の実施形態に係る処理手順を示すフローチャートである。
第2の実施形態に係る入力画像表示時の表示部の画面構成を示す図である。
第3の実施形態に係る変位場算出順序決定手順を示す模式図である。
変位場算出における着目領域を算出する処理手順を説明する図である。
変位場算出対象領域を示す図である。

実施例

0009

以下、図面を参照して、本発明の実施形態を例示的に詳しく説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。

0010

(第1の実施形態)
本発明の第1の実施形態に係る画像処理装置は、2枚の画像間の位置合わせを行うものである。画像処理装置は、第1の変形状態で撮像した画像(以下、第1の画像と呼ぶ)を変形させて第2の変形状態で撮像した画像(以下、第2の画像と呼ぶ)に位置合わせするための変位場(変形)を算出する(すなわち、画像間の変形推定を行う)。画像処理装置は、変位場を算出する算出処理において、画像全体に対して適用される最終的な変位場(以下、最終変位場と呼ぶ)とは異なる、画像の特定の断面に近い領域から順に局所的な変位場を算出する。そして、上記の局所的な変位場によって算出された変形画像を表示する。これにより、最終変位場の算出の最中であっても、ユーザが着目する断面(着目断面)に対しては、変形結果を確認することが可能となる。

0011

本実施形態では、変位場を表現するモデルは「コンパクトサポート」な性質をもつものを採用する。これは、変位場を表現するモデルが多数のパラメータで表現されるときに、夫々のパラメータは画像内のある局所領域の変形にのみ影響を与えるという性質である。このことで、画像内の局所領域ごとに変位場を独立して算出することが可能となる。

0012

本実施形態では、コンパクトサポートな変位場表現モデルとして、FFD(Free form deformation)を用いる。これは、画像空間中にグリッド状に配置される「制御点」に割り当てられた「制御量」を用いてパラメトリックに変形を表現する手法である。FFDを用いた画像の変形は、例えば非特許文献1等によって公知である。FFDを用いた変形の表現において重要なのは、ある座標位置変位を表現するために必要な制御点は、その座標位置周辺少数制御点群に限られる、という性質を持つということである。以下では、前記性質を、コンパクトサポートな性質と呼ぶ。

0013

図4は、FFDにおけるコンパクトサポートな性質を説明するための模式図である。なお、本実施形態では、3次元画像処理対象としており、変形も3次元空間上で表現されるが、ここでは説明の都合上2次元画像で示す。いま、画像空間中に、36個の制御点P={p1,…,p36}があり、この制御点Pを用いて画像上の座標位置cs=(xs,ys)の変位を表現するとする。FFDによる変形表現の基底関数として、3次のBスプライン関数を用いる場合を説明する。その場合、位置csの変位に関与する制御点群Ptは、各軸方向におけるcsの前後2点、すなわちPt={p8,…,p11,p14,…,p17,p20,…,p23,p26,…,p29}である。Ptに含まれる制御点群を、図4黒丸で示している。このように、ある座標位置の変位を算出するためには、その座標位置近傍の制御点群のみを考慮すればよく、それ以外の制御点群は無視できる。この性質があるために、ある局所領域の変位場を算出するためには、領域周辺の制御点群のみを考慮すればよいことが分かる。

0014

本実施形態に係る画像処理装置は、ユーザが指定する断面を着目領域(着目断面)として、該着目領域に基づき、第2の画像における全ての領域に対して変位場算出の順序を設定する。画像領域は、「変形に関与する制御点群が同じである」断面の集合を一つの部分領域として、複数の部分領域に分割される。このとき、着目領域が含まれる部分領域(以下、優先部分領域とする)は最も順序が早くなる。そして、着目領域に近い部分領域であればあるほど、早い順序が設定される。そして、着目領域に対する変位場算出が完了すると、算出された変位場をただちに第1の画像に適用して変形させた画像(変形画像)が表示部に表示される。また、変位場算出の途中にユーザの指示によって着目領域を変更した場合には、変更後の着目領域に基づいて変位場算出の順序が再設定される。このようにして、全領域の変位場算出が完了するのを待つことなく、ユーザが指定する着目領域については、どのタイミングでも、最優先で変位場算出処理が行われる。本実施形態に係る画像処理装置は、以上のような特徴的な処理を実行して、2枚の画像間の位置合わせを行う。

0015

ここで、「変位場」とは、第2の画像上のある位置が、第1の画像上のどの位置と対応しているか(すなわち、画像上の夫々の点が画像間でどのように変位しているか)を示すものである。例えば、第2の画像における全ボクセルの座標位置について夫々、第1の画像のどの位置と対応しているかを表したデータの集合として表現される。

0016

変位場算出は、例えば2枚の画像の間の類似度を最大化することを拘束条件として行われるものとする。類似度の算出には、例えばSSD(Sum of Squared Differnce)、相互相関相互情報量といった種々の公知の方法が利用可能である。以下、図1図6を用いて、本実施形態に係る画像処理装置の構成及び処理を説明する。

0017

図1は、本実施形態に係る画像処理システムの構成例を示す図である。画像処理システムは、画像処理装置100、データサーバ150、操作部160及び表示部170を有する。画像処理装置100は、データサーバ150、操作部160、及び表示部170に接続されている。

0018

データサーバ150が保持する第1の画像及び第2の画像は、異なる条件(異なるモダリティ、撮影モード、日時、体位等)で被検体を予め撮像して得られた3次元断層画像である。3次元断層画像を撮像する画像撮像装置(モダリティ)は、例えば、MRI装置放射線CT装置、3次元超音波撮影装置光音響トモグラフィ装置、陽電子放射断層撮像装置(PET)/単一光子放射断層撮影装置SPECT)、OCT装置などであってもよい。

0019

第1の画像及び第2の画像は、例えば、異なるモダリティや異なる撮影モードで同時期に撮像されたものであってもよい。また、経過観察のために同一患者を同一モダリティ、同一体位で異なる日時に撮像した画像であってもよい。なお、第1の画像及び第2の画像は、2次元断面画像の集合として構成されており、各2次元断面画像の位置及び姿勢は、基準座標系(被検体を基準とした空間中の座標系)に変換した上でデータサーバ150に保持されているものとする。基準座標系で表現された第1の画像及び第2の画像は、データ取得部106を介して画像処理装置100に入力される。

0020

操作部160は、ユーザによるマウスキーボードや表示部170が備えるGUIに対する操作を受け付けて、後述する着目領域取得部102を介して、画像中のどの断面を着目領域(着目断面)として指定するかを画像処理装置100に入力する。ここで、着目領域は、第2の画像上で指定するものとする。詳細は後述するが、上記着目領域の取得は、変位場算出の最中であっても可能とする。変位場算出の最中に着目領域が変更された場合、更新後の情報が画像処理装置100に入力され、変位場算出の順序が再設定される。

0021

表示部170は、画像処理装置100が生成する表示画像や、変位場算出の進捗状況といった各種の情報を表示する。また、表示部170には、ユーザからの指示を取得するためのGUIも配置されている。

0022

画像処理装置100は、着目領域取得部102、算出順序決定部103、変位場算出部104、変形画像生成部105、データ取得部106、及び表示制御部107を有する。データ取得部106は、データサーバ150から入力される第1の画像及び第2の画像を取得し、第1の画像及び第2の画像を変位場算出部104及び表示制御部107へ出力する。

0023

着目領域取得部102は、操作部160から、第2の画像上における着目領域(着目断面)を取得する。着目領域取得部102は、例えば、ユーザの指示に従って、第2の画像上における着目領域を取得して、その位置情報を不図示の記憶部に格納し、記憶部に格納されている着目領域の位置情報を、算出順序決定部103へ出力する。

0024

算出順序決定部103は、着目領域の位置情報に基づいて、第2の画像を分割した複数の部分領域について、変位場の算出順序を決定し、決定された部分領域ごとの変位場算出順序を、変位場算出部104へ出力する。

0025

変位場算出部104は、算出順序決定部103により決定された部分領域の算出順序で、部分領域ごとに第1の画像と第2の画像の間の変位場(変形)を算出する。変位場算出部104は、まず、算出順序決定部103で決定された変位場算出順序に基づき、変位場算出対象とする部分領域(変位場算出対象領域)を決定する。そして、変位場算出部104は、その変位場算出対象領域に対してのみ変位場算出を行い、その算出結果を不図示の記憶部に記憶し、その算出結果を変形画像生成部105へ出力する。変位場算出方法の詳細は、図2で示すフローチャートのステップS2040に対する説明で示す。

0026

変形画像生成部105は、変位場算出部104により算出された部分領域の変位場を基に、第2の画像の着目断面に対応する第1の画像の部分領域を変形させた、該着目断面の第1の画像における対応断面画像(変形画像)を生成する。そして、変形画像生成部105は、その生成した変形画像を表示制御部107へ出力する。なお、第2の画像の着目断面の画像と変形画像との差分画像を生成し、これを変形画像の代わりに表示すべき画像として表示制御部107へ出力してもよい。

0027

表示制御部107は、第2の画像上の着目断面の画像と、変形画像生成部105により生成された該着目断面の第1の画像における対応断面画像(変形画像)を、表示部170に表示させるための表示制御を行う。

0028

図2は、画像処理装置100が行う画像処理方法の処理手順を示すフローチャートである。まず、ステップS2000では、データ取得部106は、データサーバ150から、第1の画像及び第2の画像を取得する。なお、前述の通り、第1の画像と第2の画像は、ともに、複数の断面画像から構成される3次元画像である。なお、夫々の画像が患者情報診断情報等の付帯情報を備えている場合には、データ取得部106は、それらの付帯情報も同時に取得する。

0029

次に、ステップS2010では、着目領域取得部102は、ユーザの指示に従って、操作部160から、第2の画像上のどの断面を着目領域(着目断面)として指定するかという情報を取得する。

0030

図3に、着目領域取得時に表示部170に表示される表示画面301の例を示す。表示制御部107は、ユーザの指示に従って、第1の画像と第2の画像から所定の断面画像をそれぞれ生成して、第1の断面画像302及び第2の断面画像303として、それぞれを表示部170の表示画面301内に表示させる。表示画面301において、ユーザは、着目断面設定スライダ304(バー306とつまみ307で構成される)を操作して、第2の断面画像303の表示を切り替え、優先的に変形結果を観察したい断面画像を探す。そして、着目領域取得部102は、ユーザによる位置合わせ開始ボタン305の押下を受け付けた時に表示中の断面を着目領域(着目断面)として、その位置情報を保存する。そして、画像処理装置100は、ステップS2020へ処理を進める。

0031

なお、上記の操作方法は一例であり、3次元画像から特定の断面画像指定を実現する任意の操作方法を用いる構成であってもよい。例えば、スライダを操作する代わりに、第2の断面画像303の表示領域上でマウスのホイールを操作することによって断面画像を切り替える方法をとることも可能である。また、表示断面を着目断面とする以外にも、断面の識別子(スライス番号)をユーザが直接指定することによって着目断面を指定してもよい。なお、ステップS2000で取得した第2の画像の付帯情報として、第2の画像上における注目すべき断面の情報が保持されている場合には、当該断面を着目断面として設定してもよい。また、ステップS2000で取得した第2の画像の付帯情報として、腫瘍解剖学的部位乳頭など)等の被検体中の注目部位を表す領域や座標の情報が含まれている場合には、当該領域や座標を含む断面を着目断面として設定するようにしてもよい。

0032

ステップS2020では、算出順序決定部103は、ステップS2010で取得した(あるいはステップS2080で変更した)着目領域の位置情報に基づき、第2の画像の全領域について、変位場算出の順序を決定する。なお、本ステップの処理を2回目以降に行う場合であって、かつ、前回から着目領域が変更されていない場合には、本ステップの処理を省略できる。

0033

図5は、変位場算出順序決定方法を説明するための模式図である。図5では、第2の画像及びFFDの制御点群を、断面と平行な方向(Y軸方向)からみた2次元模式図で示している。すなわち、2次元画像である各断面(S1,…,S8)は、図5では直線として表示されている。また、第2の画像を構成する各断面は、X・Y平面に平行な画像であるとする。いま、ステップS2010で選択された着目断面は、S4であるとする。

0034

算出順序決定部103は、まず、FFDの制御点群が配置されているグリッドに基づいて、「変形に関与する制御点群が同じである」部分領域を算出する。すなわち、算出順序決定部103は、第2の画像を複数の部分領域に分割する。この部分領域は、断面の集合である。図5において、部分領域は、灰色で塗りつぶされた領域として示されており、Ω1,…,Ω4が、算出された部分領域である。図5では、部分領域Ω1には断面S1とS2、部分領域Ω2には断面S3とS4、部分領域Ω3には断面S5とS6、部分領域Ω4には断面S7とS8がそれぞれ含まれている。部分領域Ω1〜Ω4は、それぞれ、第2の画像を構成する断面又は断面群を含む。次に、算出順序決定部103は、上記の部分領域のそれぞれに対して、変位場算出順序を決定する。特に、算出順序決定部103は、着目領域を含む部分領域を最先(第1位)にして、最先に変位場算出を行う部分領域を優先部分領域として設定する。図5では、着目断面S4が含まれる部分領域Ω2が優先部分領域である。以降、算出順序決定部103は、着目断面S4からの最短距離が近い順に、部分領域の変位場算出の順序を設定する。図5の場合、部分領域Ω3が第2位、部分領域Ω1が第3位、そして部分領域Ω4が第4位である。算出順序決定部103は、このようにして設定された順序情報を、不図示の記憶装置に格納する。

0035

なお、上記の記述では、同一の制御点群が変形に関与する領域は、すべて同じ部分領域に属する場合を例に説明したが、部分領域の分割単位をさらに細かくする構成をとることも可能である。この場合、例えば、図5における部分領域Ω1を2分割・3分割といったさらに細かい単位に分割する。この処理方法によると、一度に変位場算出を行う部分領域が小さくなるため、部分領域あたりの変位場算出における計算量を削減することが可能となる。

0036

次に、ステップS2030では、変位場算出部104は、変位場算出に先立って、第2の画像上のどの部分領域を変位場算出の処理を行う対象領域(変位場算出対象領域)Ωtとするかを決定する。変位場算出対象領域Ωtの決定は、以下の手順で行う。まず、第2の画像上のどの部分領域が変位場算出済みで、どの部分領域が変位場未算出であるかという情報が、不図示の記憶装置に格納されているものとする。さらに、ステップS2020で示した通り、第2の画像のすべての部分領域について、変位場算出の順序が不図示の記憶装置に格納されている。変位場算出部104は、これらの情報に基づき、まだ変位場が算出されておらず、かつ変位場算出順序が最も早い部分領域を変位場算出対象領域Ωtとする。

0037

次に、ステップS2040では、変位場算出部104は、ステップS2030で選択した変位場算出対象領域に対する変位場算出を開始する。ただし、本ステップの処理を2回目以降に行う場合であって、かつ、変位場算出処理中の対象領域が存在する場合には、変位場算出部104は、まず、ステップS2030で選択した変位場算出対象領域Ωtが、変位場算出処理中の対象領域と同一か否かの判定を行う。そして、変位場算出部104は、変位場算出対象領域Ωtが同一の場合(優先処理すべき部分領域に変更が無い場合)には、変位場算出処理中の対象領域の変位場算出処理をそのまま継続する。一方、変位場算出対象領域Ωtが同一でない場合(優先処理すべき部分領域に変更がある場合)には、変位場算出処理中の対象領域の変位場算出処理を中断し、新たな変位場算出対象領域Ωtに対する処理を開始する。なお、変位場算出処理を中断する場合、変位場算出部104は、その時点までの繰り返し最適化の途中経過で算出された制御量を、いったん不図示の記憶装置に格納する。その一方で、変位場算出部104は、該変位場算出対象領域が変位場算出済みかどうかの情報は「未算出」のままとする。その後、ステップS2040では、再び該変位場算出対象領域が変位場算出対象領域Ωtとして選択された場合、変位場算出部104は、不図示の記憶装置に格納されている最適化途中の制御量を読み込み、その制御量を初期値として、変位場算出処理を再開する。

0038

変位場算出部104は、第2の画像全体に対して変位場算出を行う場合と比べ、特定の領域のみを変位場算出対象とすることで、計算量を少なく抑えることができる。ここで注意すべき点は、ステップS2040では、変位場算出が完了するのを待つことなく、次のステップS2050へと遷移するという点である。これは、変位場算出処理は、バックグラウンドで動作し、変位場算出が行われている間も着目断面切り替えといったユーザによる操作を受け付けることを意味する。バックグラウンドで動作している変位場算出処理が完了したか否かの判定は、後述するステップS2050で行われる。

0039

以下、[1]変位場算出における前提条件説明、[2]変位場算出処理手順の順で、ステップS2040の処理内容を詳述する。

0040

変位場算出における前提条件として挙げられるのは、本実施形態で算出される変位場は「逆方向の」変位場(以下、「逆変位場」と呼ぶ)である、という点である。逆変位場とは、「第2の画像から第1の画像へと向かう変位場」を指し、「第2の画像上の全ボクセル座標について、第1の画像のどの座標位置と対応しているか」を表現するものである。変形位置合わせにおいて、算出する変位場が逆変位場であることは一般的である。なぜなら、第1の画像を変形させた変形画像を生成するために必要なのは、「第2の画像におけるあるボクセルと対応する、第1の画像上の位置における輝度値」という、「逆方向の変位情報」だからである。このように、本実施形態で算出される変位場は逆変位場であるため、グリッド状に配置されるFFDの制御点群は、第2の画像上に配置される。このため、変位場算出の間中、第1の画像が変形前の状態から順次変形したとしても、制御点群のグリッドは変化せず、同一である。

0041

ここで、図5を用いて、変位場の算出方法を説明する。いま、図5において、変位場算出対象領域は、Ω2であるとする。そして、第2の画像上には、制御点群P={p1,…,p20}が配置されているとする。ここで、ある制御点pkにおける制御量vkは、次式(1)に示す3次元ベクトルで表される。

0042

0043

ここで、vxk、vyk、vzkは、それぞれ、X・Y・Z軸方向の制御量である。変位場算出対象領域Ωtの変形に関与する制御点の集合をPt、変形に関与しない制御点の集合をPuとすると、全ての制御点は、Pt・Puのいずれかに属することになる。図5の場合、領域Ω2に関するPt、Puは、それぞれ以下の通りである。

0044

0045

そして、制御点群Ptがもつ制御量を一列に並べたベクトルをvtとする。変形に関与する制御点群がもつ制御量vtを用いて、変位場算出におけるコスト関数は、次式(2)で表される。

0046

0047

ここで、Ωtは変位場算出対象領域(図5ではΩ2)であり、Im(x)・If(x)は、それぞれ、第1の画像・第2の画像の座標位置xにおける輝度値を取得する関数である。また、D(x、v)は、制御量ベクトルvを用いて座標位置xの変位先を求める関数である。この式(2)は、第1の画像の変形画像と第2の画像とのSSD(Sum of squared difference)をΩt内で求めることを意味する。変位場算出とは、上記のコスト関数の値が最小となる制御量vtを求めることを意味する。すなわち、ステップS2040において、変位場算出部104は、変位場算出対象領域Ωtにおける変位場の算出処理として、式(2)のコスト関数を最小にする制御量vtを求める処理を開始する。最適なvtを算出するために、変位場算出部104は、最急降下法共役勾配法といった公知の最適化手法を用いることが可能である。算出された、制御点群Ptのそれぞれの制御点に対する制御量は、不図示の記憶装置に格納される。

0048

変位場算出における特別な場合として、制御量算出対象の制御点群Ptの中に、今までに変位場算出に使われたことがあり、既に制御量の値が格納されている制御点が存在する場合がある。例えば、図5において、部分領域Ω2に対する変位場算出が終わった状態で、部分領域Ω3に対する変位場算出を行うとする。部分領域Ω3の変形に関与する制御点群p5〜p20のうち、制御点p5〜p16については、部分領域Ω2に対する変位場算出の段階ですでに制御量が算出済みである。このように、ある制御点が複数の部分領域の変形に関与する場合は、変位場算出部104は、変位場算出の順序に応じて、それぞれの断面画像に対して算出される制御量の値を重みづけることで、新しい制御量を算出する。

0049

上記の場合の処理手順を具体的に説明する。いま、第2の画像に、変位場算出順序が早い順に、N個の部分領域Ω1,…,ΩNの変形に関与する制御点pがあるとする。そして、各部分領域の変位場算出順序をそれぞれ、j1,j2,…,jN(j1<j2<…<jN)とする。このとき、変位場算出部104は、調整後の制御点pの制御量vを次式によって算出する。

0050

0051

ここで、vΩkは、部分領域Ωkに対する変位場算出によって得られた制御量である。すなわち、式(3)は、変位場算出順序に応じて制御量vΩ1,…,vΩNを加重平均したものを新たな制御量vとすることを意味する。変位場算出順序が早ければ、つまり、変位場算出順序jの値が小さければ、式(3)における該当する項の係数の値は大きくなり、変位場算出順序が遅ければ係数の値は小さくなる。このように、変位場算出順序に従って重みを与えるので、より変位場算出順序が早い部分領域に対する制御量の値が、より重視される。これにより、ある制御点が複数の断面画像の変形算出に関与する場合であっても、関与する全断面画像における変位場算出結果が反映された制御量を求めることができる。

0052

なお、コスト関数として、変位場算出部104は、SSDに限らず、正規化相互相関、相互情報量といった他の類似度尺度を用いることが可能である。また、2枚の画像間の類似度に限らず、画像から抽出される解剖学的特徴点位置誤差を評価する尺度を用いることが可能である。

0053

変位場算出部104は、変位場算出対象領域Ωtの変形に関与する制御点群に対して制御量が算出された後、それら制御量の値から変位場を算出し、部分領域番号インデックスとともに不図示の記憶部に格納する。

0054

次に、ステップS2050では、変位場算出部104は、着目領域の変位場が算出済みであるか否かの判定を行う。判定は、不図示の記憶部に、着目領域を含む部分領域(優先部分領域)のインデックスに対応する変位場データが格納されているか否かによって行う。変位場が算出済みであると判定した場合に(S2050のYes)、画像処理装置100は、処理をステップS2060へ進める。一方、変位場が算出済みでないと判定した場合に(S2050のNo)、画像処理装置100は、処理をS2080へ進める。

0055

ステップS2060では、変形画像生成部105は、ステップS2040で算出された変位場に基づいて、第2の画像の着目断面に対応する第1の画像の部分領域を変形させた変形画像(該着目断面の第1の画像における対応断面画像)を生成する。変形画像についての説明を補足する。ステップS2040の説明で述べた通り、本実施形態で算出される変位場は、第2の画像から第1の画像へと向かう逆変位場である。第2の画像における着目断面をSkとしたとき、第1の画像を変形させた変形画像Im'は、次式(4)で表される。

0056

0057

すなわち、第2の画像の着目断面上の夫々の座標xについて、第1の画像上における対応座標D(x,Pt)を求め、その座標の輝度値Im(D(x,Pt))を、生成する変形画像の座標xの輝度値Im'(x)とする処理を実行する。

0058

次に、ステップS2070では、表示制御部107は、変形画像生成部105によって生成された変形画像を表示部170に表示させる。そして、画像処理装置100は、処理をステップS2080へ進める。

0059

図6は、変形画像表示時の表示部170に表示される表示画面301の例である。表示制御部107は、着目断面取得時(図3)の場合と同様に、第1の断面画像302と第2の断面画像303を表示部170に表示させる。それとともに、表示制御部107は、ステップS2060で変形画像生成部105が生成した変形後の断面画像601(変形画像)を表示部170に表示させる。それに加えて、表示制御部107は、変位場算出部104が変位場算出済みの断面の範囲を示す情報を、着目断面の位置を示す情報と関連付けて表示部170に表示する。例えば、表示制御部107は、着目断面の指定を行う着目断面設定スライダ304上に、変位場算出済みの断面群に対応する領域の情報を提示する。例えば、変位場算出済みの断面群に対応するバー306上の領域を、一定の色で塗りつぶす処理を行う。この処理は、表示制御部107が不図示の記憶部から変位場算出済みの部分領域のインデックスを取得することで行う。図6に示す表示例では、着目断面設定スライダ304上に灰色で示されている塗りつぶし領域602の領域に存在する断面が、変位場算出済みの断面である。

0060

なお、上記の表示方法は一例であり、変形状態及び変形済みの断面画像を示す任意の表示方法を用いる構成であってもよい。例えば、変形画像の代わりに断面画像中の各ボクセルにおける変位量の強度を輝度値とした「変位場画像」を表示する方法をとることも可能である。

0061

ステップS2080では、着目領域取得部102は、ユーザの操作による着目断面の変更処理を受け付ける。ステップS2040の説明で述べた通り、画像処理装置100は、変位場算出対象領域Ωtに対する変位場を算出している最中も、ユーザによって着目領域取得部102に入力される操作(第2の断面画像の表示断面を切り替える操作)を受け付けている。着目領域取得部102は、表示断面が切り替えられると、該表示断面が新たな着目領域(着目断面)として指定された(着目領域が切り替えられた)と判定して、不図示の記憶装置に格納されている着目領域の位置情報を更新する。

0062

次に、ステップS2110では、画像処理装置100は、第2の画像の全部分領域について変位場算出が完了したか否かの判定を行う。全部分領域に対して変位場算出処理が完了したと判定された場合(S2110のYes)、画像処理装置100は、処理をステップS2120へ進める。完了していないと判定された場合(S2110のNo)、画像処理装置100は、処理をステップS2020へ戻す。そして、着目領域が変更されている場合には変形場算出順序の再設定を行い、次の変位場算出順序の部分領域について、変位場算出処理を実行する。

0063

以上のように、変位場算出部104がすべての部分領域の変形の算出を終了する前に、ステップS2060〜S2080の処理が行われる。ステップS2060では、変形画像生成部105は、変位場算出部104が変形の算出を終了した一部の部分領域に対応する第1の画像の変形画像を生成する。ステップS2070では、表示制御部107は、変形画像生成部105により生成された一部の部分領域に対応する第1の画像の変形画像を表示させる。ステップS2080では、着目領域取得部102は、複数の部分領域の算出順序の変更が指示される。すると、変位場算出部104は、変形の算出を中断する。その後のステップS2020では、算出順序決定部103は、複数の部分領域の算出順序を変更する。その後のステップS2040では、変位場算出部104は、その変更された算出順序で、第1の画像と第2の画像の部分領域の間の変形を算出する。

0064

ステップS2120では、変形画像生成部105は、不図示の記憶装置に格納されている、最終的に最適化された全制御点の制御量を用いて第1の画像全体を変形させた3次元の変形画像を生成する。本ステップの処理は、算出対象とするボクセル位置xが第2の画像の画像領域全体であり、変形算出に使用する制御量Ptが、全制御点の制御量であることを除けば、ステップS2060における数式(4)で実現される処理内容と同様である。

0065

次に、ステップS2130では、表示制御部107は、ステップS2120において変形画像生成部105によって生成された、最終的な変形画像を表示部170に表示させる。本ステップの処理は、ステップS2070の処理と同様である。変形画像の表示後、操作部160が、ユーザの操作によって「変形画像確認の終了」を受け付けた後、画像処理装置100の処理は終了する。

0066

本実施形態によれば、変位場算出処理に時間がかかるアルゴリズムを採用した場合でも、ユーザは画像全体の変位場算出処理が終わるのを待つことなく、優先する領域の変形結果を確認することが可能となる。

0067

(第1の実施形態の第1の変形例)
上記では、変位場算出(ステップS2040)で、ある制御点が複数の部分領域の変位場算出に関与する場合において、2つ目以降の部分領域に対する変位場を求める際には、それぞれの部分領域に対して算出した変位場を加重平均する場合を例に説明した。しかし、加重平均を行わずに、単に、すべての制御量を平均した値を新たな制御量とする構成であってもよい。この場合、着目領域の切り替えによって部分領域の算出順位が更新された場合であっても、制御量を再計算する必要がないため、計算量を削減することができる。

0068

(第1の実施形態の第2の変形例)
他にも、加重平均ではなく、式(2)におけるコスト計算対象とする部分領域を順次拡大させながら、制御量を算出する構成であってもよい。この場合、変位場算出部104は、まず、変位場算出順序が最も早い部分領域に対して制御量を求める。次に、変位場算出部104は、その制御量を初期値とした上で、変位場算出順序が最も早い部分領域と次の変位場算出順序の部分領域の両方を変位場算出対象領域として制御量を求める。変位場算出部104は、この処理を順次繰り返してゆき、最終的には、全ての部分領域を同時に評価して制御量算出を行う。これにより、同時に評価すべき部分領域の数が増えることによって計算量は増大するものの、算出される制御量が少なくとも局所的最適解であることが保証されるため、より精度の高い制御量算出が可能になる。

0069

(第1の実施形態の第3の変形例)
他にも、変位場算出部104は、ある制御点における制御量を算出する際に、該制御点が関与する全ての部分領域を同時評価する構成であってもよい。図12は、ある部分領域が変位場算出対象領域Ωtとして選択されたときの、「制御点Ptが関与する全ての部分領域」を表す模式図である。図12は、図5と同様に、第2の画像及びFFDの制御点群を、断面と平行な方向(Y軸方向)からみた2次元模式図で示している。いま、変位場評価対象領域がΩt(図12濃い灰色で示された領域)であるとする。このとき、Ωtの変形に関与する制御点群Ptは、図12において黒点で示されている20点である。このとき、変位場算出部104は、上記の制御点群Ptが影響を及ぼす領域ΩTを算出する。図12の場合、ΩTは薄い灰色で示された領域である。そして、変位場算出を行う場合には、変位場算出部104は、領域ΩTを式(2)におけるコスト計算対象領域とする。別の部分領域が変位場算出対象領域として選ばれ、変位場算出対象領域の変形に既に制御量が算出済みの制御点が関与している場合、該制御点は最適化対象としない。

0070

第3の変形例では、ある制御点の制御量を算出する際に、該制御点が影響を及ぼす最も広い範囲を同時にコスト計算対象とするため、画像全体を同時に評価した場合と同一の制御量を算出することができる。この場合の制御量算出は、最初から画像全体を評価対象として局所的最適解を算出することに相当する。これは、評価対象範囲を順次拡大してゆく第2の変形例の場合と比較すると、大域的最適解からかけ離れた不適切な局所的最適解に落ち込みづらくなるという効果がある。このように、第3の変形例における実施方法をもちいることで、計算コストは増大するものの、第1及び第2の変形例よりもより精度の高い変位場算出を行うことが可能となる。

0071

(第2の実施形態)
第1の実施形態では、ステップS2040における変位場算出において、第1の画像と第2の画像の間の類似度をコスト計算に使用する場合を例として説明した。加えて、第1の実施形態では、ユーザができる操作は着目断面を切り替えて変位場算出結果を観察することのみであった。

0072

本発明の第2の実施形態に係る画像処理装置は、第1の画像と第2の画像の間で対応する点の位置情報(対応点情報)を変形推定に用い、それら対応点情報をユーザが対話的補正する場合に好適な機能を有することを主な特徴とする。対応点情報を用いた位置合わせにおいて、変位場を対話的に補正する場合に、補正後の変位場を、ユーザの着目断面に近い領域から算出し、変形画像を表示する。対応点情報は、手動又は自動で入力される。変位場算出では、コスト関数の一部又は全部がこれら対応点情報に基づいて定義され、変位場算出の間、ユーザによる操作を受け付けて対応点情報の補正を行う。以下、本実施形態に係る画像処理装置について、第1の実施形態との相違部分についてのみ説明する。

0073

図7は、本発明の第2の実施形態に係る画像処理システムの構成例を示す図である。図7の画像処理システムは、図1の画像処理システムに対し、操作部160及び画像処理装置100の代わりに、操作部760及び画像処理装置700が設けられる。画像処理装置700は、着目領域取得部102、算出順序決定部103、変形画像生成部105及びデータ取得部106の他、変位場算出部704、表示制御部707、対応点取得部708及び補正判定部709を有する。なお、図7において、図1と同じ部分については、同じ参照番号を付けており、その説明を省略する。

0074

操作部760は、第1の実施形態における操作部160と同様に、着目断面の情報を画像処理装置700に入力する。さらに、操作部760は、ユーザによるマウスやキーボードの操作を受け付けて、ユーザが指定する対応点を、対応点取得部708を介して画像処理装置700に入力する。また、変位場算出の最中には、操作部760は、ユーザによるGUIの操作を受け付けて、補正を行うか否かの判定情報を、補正判定部709を介して画像処理装置700に入力する。

0075

対応点取得部708は、操作部760から、第1の画像の画像上の点と第2の画像の画像上の点とを対応付ける複数の対応点(対応点群情報)を取得する。対応点取得部708は、ユーザの指示に従って、第1の画像及び第2の画像上における対応点を取得して、不図示の記憶部に格納する。また、対応点取得部708は、ユーザの指示に従って、記憶部に格納されている対応点群の追加、削除、あるいは位置変更を行う。そして、対応点取得部708は、記憶部に格納されている対応点群情報を、変位場算出部704へ出力する。

0076

補正判定部709は、操作部760から入力した判定情報を基に、実行中の変位場算出に介入して対応点群の補正を行うか否かの判定を行う。そして、補正判定部709は、補正を行うか否かの判定情報を、変位場算出部704へ出力する。

0077

変位場算出部704は、第1の実施形態における変位場算出部104と同様に、第1の画像と第2の画像の間の変位場(変形)を算出する。ただし、本実施形態では、変位場算出部704は、対応点取得部708から入力した対応点群情報を拘束条件として変位場算出を行う。また、変位場算出部704は、補正判定部709から補正を行うか否かの判定情報を受け付けて、補正を行うと判定された場合に、変位場算出を中断する。例えば、補正部(対応点取得部708、GUI906(図9))による補正が完了した後、変位場算出部704は、補正された対応点群情報に基づいて、変位場(変形)を算出する処理を再開する。

0078

表示制御部707は、第1の実施形態における表示制御部107と同様に、第1の画像、第2の画像、そして第1の画像を変形させた変形画像を表示部170に表示させる制御を行う。それに加えて、表示制御部707は、ユーザから対応点入力や補正に関する指示を取得するためのGUIを表示部170に表示させる制御を行う。

0079

図8は、画像処理装置700が行う全体の処理手順を示すフローチャートである。ステップS8000、S8020〜S8040、S8060〜S8090、S8120〜S8140の処理は、第1の実施形態の図2におけるステップS2000、S2010〜S2030、S2050〜S2080、S2110〜S2130とそれぞれ同様である。

0080

ステップS8000の後、ステップS8010では、対応点取得部708は、ユーザの指示に従って、第1の画像と第2の画像との間の対応点を取得する。図9に、対応点取得時に表示部170に表示される表示画面301の例を示す。表示制御部707は、ユーザの指示に従って第1の画像と第2の画像から所定の断面画像をそれぞれ生成して、第1の断面画像302及び第2の断面画像303として、それぞれを表示部170の表示画面301内に表示させる。ユーザは、マウスカーソル909を操作し、まず第1の断面画像302上で、特徴的な位置をクリックして、注目点として入力する。第1の画像上の対応点907が、注目点の一例である。「特徴的な位置」とは、乳腺MRI画像を例にとると、例えば、乳頭位置血管分岐位置、乳腺脂肪境界における突起状の位置などである。

0081

その後、同様に、ユーザは、マウスカーソル909を操作して、第2の断面画像303において、第1の画像上の対応点907と対応する点の位置をクリックする。第2の画像上の対応点908が、その点に相当する。このようにして、ユーザは、対応点(両画像で対応する点の対)を入力する。対応点取得部708は、このようにしてユーザが入力した対応点の情報(第1の画像と第2の画像において対応する点の座標の組)を取得し、不図示の記憶部が保持する対応点群情報に追加する。そして、ユーザが複数の対応点を入力し終えた後に、画像処理装置700は、ステップS8020へ処理を進める。

0082

なお、上記の操作方法は一例であり、対応点の入力を実現する任意の操作方法を用いる構成であってもよい。また、インタレストオペレータ等の画像特徴点抽出処理によって対応点候補自動抽出し、その中からユーザが対応点を選択する構成であってもよい。

0083

ステップS8040の後、ステップS8050では、変位場算出部704は、第1の実施形態と同様に、対象領域に対する変位場を表現する制御量ベクトルを算出する。本実施形態が第1の実施形態と異なるのは、コスト関数として画像間類似度でなく、対応点同士の距離値を用いる点である。
変位場算出部704の制御量算出のためのコスト関数は、以下の式(5)で表される。

0084

0085

ここで、Ntは、前ステップまでに取得した対応点群のうちの、第2の画像における対応点が変位場算出対象領域Ωtに含まれる対応点の数である。また、x1i、x2iは、それぞれ、上記の条件を満たすNt個の対応点群の、第1の画像、第2の画像におけるi番目の対応点の座標を表す。この計算は、変形後の対応点間の距離値の平均値コストとすることを意味する。ステップS8050では、変位場算出部704は、変位場算出対象領域Ωtにおける変位場の算出処理として、変位場算出対象領域Ωtの変形に関与する制御点群Ptの制御量vtを未知パラメータとして、式(5)のコスト関数を最小にする制御量vtを求める。なお、コスト関数は、上式(5)に示した以外の、対応点に基づく公知の何れのコスト関数を用いてもよい。例えば、コスト関数は、上式(5)に示すようなデータ項のみをコストとする関数ではなく、変形の滑らかさ等を評価する正則化項をさらに含んだ関数であってもよい。また、コスト関数は、第1の実施形態で用いた画像類似度をさらに含んだ関数であってもよい。

0086

ここで、後述するステップS8100で対応点群が補正された場合、変位場算出部704は、その都度補正された情報に基づいて上式(5)で表すコスト関数を更新する。そして、変位場算出部704は、その更新したコスト関数に基づいて変位場を算出する。対応点群が更新された結果、変位場算出対象領域Ωt内に含まれる対応点群が変化した場合には、変位場算出部704は、対象領域に対する変位場が既に算出されていても、その算出結果は破棄して、再び変位場算出を実行する。その後、画像処理装置700は、ステップS8060へ処理を進める。

0087

ステップS8090の後、ステップS8100では、補正判定部709は、図9の位置合わせ中断ボタン911の押下の有無に応じて、現在の変位場算出処理を中断して、対応点群の補正を行うか否かの判定を行う。対応点を補正すると判定した場合(S8100のNo)、補正判定部709は、処理をステップS8110へ進める。一方、対応点を補正しないと判定した場合(S8100のYes)、補正判定部709は、処理をステップS8120へ進める。

0088

ステップS8110では、対応点取得部708は、ユーザの指示に従って、不図示の記憶部に格納されている対応点群情報を取得して、対応点群情報を補正する。この処理によって、変位場算出に使用されている対応点群情報が更新される。対応点取得部708は、更新した対応点群情報を変位場算出部704へ出力する。対応点取得部708及び図9のGUI906は、操作入力に基づいて対応点群情報を補正する補正部として機能する。補正部(対応点取得部708、GUI906)が補正を行う際に、変位場算出処理の中断を指示する位置合わせ中断ボタン911の操作入力に従って、変位場算出部704は変位場(変形)を算出するための算出処理を中断する。また、補正部(対応点取得部708、GUI906)による補正が完了した後、中断した算出処理の再開を指示する位置合わせ再開ボタン910の操作入力に従って、変位場算出部704は、変位場(変形)を算出する算出処理を再開する。ステップS8110の後、画像処理装置700は、ステップS8020へ処理を進める。

0089

図9は、対応点群の補正を行う場合の表示画面301の例を示す図である。ユーザは、まず、対応点補正の方法を選択するためのGUI906を用いて、「Add(追加)」、「Delete(削除)」、「Move(移動)」のうちのどの操作を行おうとしているか、指定する。その後、ユーザは、マウスカーソル909を操作して、対応点群の補正を行う。「追加」操作を行う場合、ステップS8010における操作と同様に、第1の断面画像302と第2の断面画像303でそれぞれ対応する点の位置を指定する。「削除」操作を行う場合、いずれかの断面画像で削除したい対応点を指定した後、キーボードの操作等で削除処理を実行する。「移動」操作を行う場合、いずれかの断面画像で移動させたい対応点を指定した後、マウスポインタドラッグさせることで点を移動させる。対応点取得部708は、このようにしてユーザが入力した対応点を補正するための情報を対応点情報として取得し、取得した対応点情報に応じて、不図示の記憶部が保持する対応点群情報を修正(追加、削除、変更)する。そして、ユーザが対応点の補正を完了した後に、位置合わせ再開ボタン910の押下を受け付けた時、画像処理装置800は、ステップS8020へ処理を進める。なお、上記の操作方法はあくまで一例であり、上記の操作を実現する任意の操作方法を用いる構成であってもよい。

0090

本実施形態によれば、画像類似度だけではなく、対応点群情報に基づいて変位場算出を行うことが可能となる。それに加えて、変位場算出の最中であっても、対応点群をインタラクティブに補正することが可能となる。

0091

(第3の実施形態)
第1及び第2の実施形態では、ユーザが設定する着目断面を最優先として、断面の集合を部分領域の単位として変位場算出順序を設定する場合を例として説明した。これに対し、本発明の第3の実施形態に係る画像処理装置は、変位場算出順序を、第1の画像と第2の画像に入力されている対応点情報の密度に応じて決定することを主な特徴とする。密に対応点が入力されている領域は、ユーザが変形結果を確認したい解剖学的特徴が多いと判断できる。そのため、変位場算出の優先度が高いと判断される。一方で、対応点が疎である領域は、変位場算出の優先度が低いと判断される。

0092

以下、本実施形態に係る画像処理装置について、第2の実施形態との相違部分についてのみ説明する。なお、本実施形態における画像処理装置700の構成は、図7と同様であるが、算出順序決定部103の処理のみが異なっている。

0093

算出順序決定部103は、対応点取得部708から対応点群情報を取得し、その分布に基づいて、部分領域ごとの「対応点密度」を算出する。そして、算出順序決定部103は、算出された部分領域ごとの対応点密度に基づき、変位場算出の順序を決定する。第1及び第2の実施形態の場合とは異なり、ユーザが指定した着目領域の情報は考慮しない。そして、算出順序決定部103は、決定された部分領域ごとの変位場算出順序を、変位場算出部704へ出力する。

0094

本実施形態における画像処理装置700が行う全体の処理手順は、図8と同様であり、ステップS8030の処理内容が異なっている。以下、ステップS8030において算出順序決定部103が行う処理について説明する。

0095

ステップS8030では、算出順序決定部103は、対応点取得部708から取得された対応点群情報に基づき、部分領域ごとの「対応点密度」を算出する。その後、算出順序決定部103は、複数の部分領域の中で対応点の密度の高い部分領域ほど変位場算出順序が早くなるように、複数の部分領域の変位場算出順序を決定する。

0096

図10は、上記の「対応点密度」の算出方法を具体的に説明するための図であり、図5と同様に、第2の画像をY軸方向から見た2次元模式図が示されている。また、第2の画像には、c1,…,c18まで、18点の対応点が入力されている。各断面画像のX・Y軸方向の長さはそれぞれ、lx、lyであるとする。すなわち、2次元画像である各断面画像の面積はlx×lyである。そして、各部分領域Ω1、Ω2、Ω3、Ω4のZ軸方向の長さ(スラブ厚)はΔdであるとする。

0097

上記の前提条件において、各部分領域の対応点密度を算出する。図10の例において、各部分領域Ω1〜Ω4に含まれている対応点の数を数えると、Ω1が3点、Ω2が4点、Ω3が6点、Ω4が5点である。ここでは、一般化して、部分領域Ωに含まれる対応点の集合をCΩ、集合CΩの要素数を|CΩ|と表記する。このとき、部分領域Ωの対応点密度M(Ω)は、以下の式(6)で表される。

0098

0099

算出順序決定部103は、上式(6)に従って、部分領域ごとに対応点密度M(Ω)を算出する。その後、算出順序決定部103は、対応点密度M(Ω)が高い順に、部分領域の変位場算出順序を設定する。図10で示す例の場合、上式(6)の分母は、いずれの部分領域でも同一であるため、変位場算出順序は、早い順にΩ3、Ω4、Ω2、Ω1となる。

0100

また、着目領域取得部102は、個々の対応点において「重要度」という値を設定し、算出順序決定部103は、この重要度に応じて対応点に重み付けをして、対応点密度を算出することが可能である。重要度は、ステップS8010及びステップS8110で対応点を取得する際に、ユーザの操作に従って取得する。例えば、ユーザが対応点を指定するためにマウスで画像中の点をクリックする際に、同時にキーボードの特定のキーの押下を受け付けることで、重要度を設定する。例えば、「1」キーを押下しながら対応点を指定した場合、重要度1、「2」キーを押下しながら対応点を指定した場合、重要度2の対応点として取得される。この場合、ユーザがどの対応点をより重視しているかという情報を、算出順序決定に反映させることができる。

0101

本実施形態によれば、変位場算出における算出順序決定を、入力されている対応点情報に基づいて行うことが可能となる。それにより、密に対応点が入力され、ユーザの関心が高いと考えられる領域の変形結果を、いち早く表示させることが可能となる。

0102

(第3の実施形態の変形例)
第3の実施形態では、第1の画像と第2の画像に対して入力された対応点情報に基づいて、変位場算出の順序を決定する場合を例に説明した。しかし、対応点情報を利用せずに変位場算出の順序を決定する構成であってもよい。例えば、第2の画像上の全ての部分領域に対して、それぞれの部分領域と対応する第1の画像の部分領域の間の画像類似度を算出し、類似度が低い部分領域から順番に変位場算出するようにしてもよい。算出順序決定部103は、複数の部分領域の中で第1の画像と第2の画像の部分領域の間の類似度が低い部分領域ほど変位場算出順序が早くなるように、複数の部分領域の変位場算出順序を決定する。この場合、第1の画像と第2の画像の差異が小さく、変形させてもほとんど結果が変わらない部分領域は後回しにされ、第1の画像と第2の画像の差異が大きく、変位場算出の効果が大きい部分領域は優先的に変位場算出が行われる。これによって、変位場算出を全領域に対して行わなくても、早い段階でおおよその変形結果を確認できるという効果がある。

0103

他にも、第2の画像の各部分領域に対して、エッジ抽出等の画像処理を施し、それによって得られる画像特徴に応じて変位場算出の順序を決定してもよい。例えば、エッジと判定されるボクセルが多く含まれる部分領域は優先度を高くし、そうでない部分領域は優先度を低くするようにしてもよい。算出順序決定部103は、複数の部分領域の中でエッジが多い部分領域ほど変位場算出順序が早くなるように、複数の部分領域の変位場算出順序を決定する。この場合、エッジ等を多く含む特徴的な領域から優先して変位場算出が行われるため、画像類似度に基づく場合と同様に、早い段階でおおよその変形結果を確認できるという効果がある。

0104

本変形例によれば、ユーザによって入力される対応点情報がなくても、入力される画像の特徴に基づいて変位場算出の順序を決定することが可能となる。

0105

(第4の実施形態)
第1〜第3の実施形態では、変位場算出順序の決定や、変位場算出処理は、第2の画像における断面の集合(スラブ)を単位として行う場合を例に挙げて説明した。これに対し、本発明の第4の実施形態に係る画像処理装置は、変位場算出を行う部分領域を断面の集合に限定せず、任意の部分領域とすることを主な特徴とする。本実施形態に係る画像処理装置は、ユーザによる操作を受け付けて、第1の実施形態における着目断面の取得の代わりに、最優先で変形結果を確認する「着目領域」を指定する。そして、その着目領域の変位場算出に関与する制御点群の制御量を、最優先で算出する。着目領域に含まれないその他の領域については、着目領域からの距離に応じて、変位場算出の順序を決定する。

0106

以下、本実施形態に係る画像処理装置について、第1の実施形態との相違部分についてのみ説明する。なお、本実施形態に係る画像処理装置100の構成は、図1と同様であるが、着目領域取得部102、算出順序決定部103、変位場算出部104の処理が異なっている。

0107

着目領域取得部102は、ユーザの指示に従って、第2の画像中で特に優先して変形結果を確認したい着目領域を取得する。そして、着目領域取得部102は、その着目領域に含まれる第2の画像のボクセル群座標値の情報を不図示の記憶部に格納する。そして、着目領域取得部102は、記憶部に格納されているボクセル群の座標値を、算出順序決定部103へ出力する。

0108

算出順序決定部103は、着目領域の情報に基づいて、第2の画像の全領域について、変位場の算出順序を決定する。そして、算出順序決定部103は、決定された変位場算出順序を、変位場算出部104へ出力する。

0109

変位場算出部104は、第1の画像と第2の画像との間の変位場(変形)を算出する。変位場算出部104は、まず、算出順序決定部103で決定された部分領域ごとの変位場算出順序に基づき、変位場算出対象とする部分領域(変位場算出対象領域)を決定する。そして、変位場算出部104は、その変位場算出対象領域に対してのみ変位場算出を行い、算出結果を不図示の記憶部に記憶する。また、変位場算出部104は、その算出結果を変形画像生成部105へ出力する。

0110

また、本実施形態に係る画像処理装置100が行う全体の処理手順は、図2と同様であり、ステップS2010とステップS2020の処理内容が異なっている。以下、それぞれのステップにおける処理内容について説明する。

0111

ステップS2010では、着目領域取得部102は、ユーザの指示に従って、第2の画像上のどの領域を着目領域として取得するかという情報を取得する。その後、着目領域取得部102は、FFDの制御点群が配置されているグリッドに基づいて、着目領域を内包する制御点グリッド領域を算出し、その制御点グリッド領域を変位場算出における着目領域として取得する。

0112

着目領域の指定は、例えば、以下の手順で行われる。まず、着目領域取得部102は、ユーザによるマウスやキーボードの操作を受け付けて、着目領域の中心点を取得する。着目領域の中心点とは、例えば、腫瘍領域を含む乳腺MRI画像における腫瘍領域の中心位置である。次に、着目領域取得部102は、同様に、ユーザによるマウスやキーボードの操作を受け付けて、着目領域の半径の長さを取得する。このようにして、着目領域取得部102は、第2の画像において、球状の着目領域を設定することができる。

0113

なお、上記の操作方法は一例であり、3次元画像から着目領域の指定を実現する任意の操作方法を用いる構成であってもよい。例えば、市販ペイントソフトの機能として公知である、フリーハンドで任意の領域を塗りつぶす機能によって着目領域を指定する方法をとることも可能である。また、ステップS2000で取得した第2の画像の付帯情報として、腫瘍や解剖学的部位(乳頭など)等の注目部位を表す領域や座標の情報が含まれている場合には、当該領域や座標を着目領域として設定するようにしてもよい。

0114

図11は、ユーザの操作を受け付けて取得された着目領域から、変位場算出における着目領域を算出する処理手順を説明する模式図である。図11は、第1の実施形態における図5と同様に、第2の画像及びFFDの制御点群を、断面と平行な方向(Y軸方向)からみた2次元模式図で示している。

0115

着目領域取得部102は、まず、FFDの制御点群が配置されているグリッドに基づいて、「変形に関与する制御点群が同じである」部分領域を算出する。第1の実施形態の場合と異なり、ここで算出する部分領域は、制御点群のグリッドに囲まれた直方体状の領域である。図11で、灰色に塗りつぶされている領域Ωa及びΩbが、算出された部分領域の例である。図11では、Ωa・Ωbのみを部分領域の例として示しているが、実際の処理では、算出順序決定部103は、部分領域の算出を画像全体にわたって行い、第2の画像の全領域を直方体状の部分領域に分割する。

0116

次に、着目領域取得部102は、ユーザの操作を受け付けて取得された着目領域を内包する、部分領域の集合を算出する。図11で、濃い灰色で塗りつぶされた円状の領域が、ステップS2010で取得する着目領域の例である。算出順序決定部103は、この着目領域が一部でも含まれている部分領域を、全てまとめて、新たな着目領域として取得する。図11で、薄い灰色で塗りつぶされている領域Ωtが取得した着目領域の例である。

0117

ステップS2020では、算出順序決定部103は、ステップS2010で得た着目領域の情報に基づき、第2の画像の全領域について、変位場算出の順序を決定する。

0118

図11を用いて、変位場算出順序決定方法を説明する。ステップS2010における着目領域取得部102の処理によって、着目領域Ωtが算出されている。このとき、まず、算出順序決定部103は、着目領域Ωtを最優先で変位場算出を行う領域として設定する。次に、算出順序決定部103は、着目領域Ωt以外の全ての部分領域について、算出順序を決定する。算出順序決定は、部分領域の重心間の距離を比較することで行う。例えば、図11の部分領域ΩaとΩbの算出順序を比較する場合、ΩtとΩaの重心同士の距離は、ΩtとΩbの重心同士の距離よりも大きい。この場合、算出順序決定部103は、領域Ωbの算出順序を領域Ωaの算出順序よりも早い順序に設定する。算出順序決定部103は、このようにして第2の画像の部分領域に対して設定された順序情報を、不図示の記憶装置に格納する。

0119

本実施形態によれば、変位場算出における単位が断面の集合に限定されないため、例えば、いち早く変形を確認したい範囲が多数の断面にまたがっている場合であっても、変形結果を確認できるようになるまでの時間を短縮することが可能となる。

0120

(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。

0121

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

0122

100画像処理装置、103 算出順序決定部、104変位場算出部、105変形画像生成部、107表示制御部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ