図面 (/)

技術 形状データ生成方法及び装置

出願人 富士通株式会社国立大学法人東京大学
発明者 中川真智子畠中耕平久田俊明杉浦清了鷲尾巧岡田純一
出願日 2012年7月23日 (8年3ヶ月経過) 出願番号 2014-526631
公開日 2016年7月7日 (4年4ヶ月経過) 公開番号 WO2014-016894
状態 特許登録済
技術分野 イメージ処理・作成 イメージ生成
主要キーワード 変形回数 正規格子 メッシュ処理 標準形状 メッシュ要素 閉曲面 三角形要素 八分木
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年7月7日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題・解決手段

形状データ生成方法は、画像データにより特定される変形目標の形状である目標形状に対して、当該目標形状と同じトポロジを有する単純な形状を有する入力形状を設定し、入力形状の複数の頂点から、法線が目標形状と交点を有するという条件を含む所定の条件を満たす第1の頂点を特定し、特定された第1の頂点を、当該第1の頂点についての法線の方向に、目標形状までの距離より短い第1の距離移動させるように、入力形状を変形し、変形後の入力形状を処理対象の入力形状に変更して第1の頂点の特定及び入力形状の変更を所定回数実行する処理を含む。

概要

背景

近年、HPC(High Performance Computing)技術による計算機演算能力の向上に伴い、人体心臓等の臓器動き再現する生体シミュレーションが注目されている。この生体シミュレーションを実行するために、複雑な内部情報を有する3次元の臓器等の形状データを用いる場合がある。

臓器等の形状データを生成するために、臓器を表す標準的な形状を、画像データが表す臓器の形状に変形する方法が知られている。

この方法では、例えば、標準的な形状における点と目標となる形状における点との対応付けを行うことにより変形を行うが、対応付けを行う点を適切に設定しなければ変形がうまく行われないという問題がある。

また、心臓などの臓器の場合、標準形状と個々の患者についての目標形状とに大きな差があることもあり、血管位置等の差などから、標準形状から精度良く変形できない場合があることも分かってきた。

概要

形状データ生成方法は、画像データにより特定される変形目標の形状である目標形状に対して、当該目標形状と同じトポロジを有する単純な形状を有する入力形状を設定し、入力形状の複数の頂点から、法線が目標形状と交点を有するという条件を含む所定の条件を満たす第1の頂点を特定し、特定された第1の頂点を、当該第1の頂点についての法線の方向に、目標形状までの距離より短い第1の距離移動させるように、入力形状を変形し、変形後の入力形状を処理対象の入力形状に変更して第1の頂点の特定及び入力形状の変更を所定回数実行する処理を含む。

目的

特開2002−329216号公報
特開2010−61431号公報
特開2001−34774号公報
特開2007−98028号公報




Fred L. Bookstein "Principal Warps: Thin-Plate Splines and the Decomposition of Deformation",IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE. VOL. 11, NO. 6, PP. 567-585, JUNE 1989
"Laplacian surface editing", SGP '04 Proceedings of the 2004 Eurographics/ACMSIGGRAPH symposium on Geometry processing, O. Sorkine Tel Aviv University D. Cohen-Or Tel Aviv University Y. Lipman Tel Aviv University M. Alexa Darmstadt University of Technology C. Roessl Max-Planck Institut fuer Informatik, Saarbruecken H.-P. Seidel Max-Planck Institut fuer Informatik, Saarbruecken






従って、本技術の目的は、一側面として、高精度の三次元形状データを生成するための新規な技術を提供する

効果

実績

技術文献被引用数
0件
牽制数
1件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

コンピュータに、画像データにより特定される変形目標の形状である目標形状に対して、当該目標形状と同じトポロジを有する単純な形状を有する入力形状を設定させ、前記入力形状の複数の頂点から、法線が前記目標形状と交点を有するという条件を含む所定の条件を満たす第1の頂点を特定させ、特定された前記第1の頂点を、当該第1の頂点についての法線の方向に、前記目標形状までの距離より短い第1の距離移動させるように、前記入力形状を変形させ、変形後の入力形状を処理対象の入力形状に変更して前記第1の頂点の特定及び前記入力形状の変更を所定回数実行させる形状データ生成プログラム

請求項2

前記入力形状の変形において、変形後の形状における複数のメッシュ要素のうち、面積閾値を超えるメッシュ要素及び周辺のメッシュ要素についてメッシュ分割処理を実行する請求項1記載の形状データ生成プログラム。

請求項3

前記入力形状の設定において、前記目標形状が三次元閉曲面であれば、球状の入力形状を、前記目標形状に合わせて縮小又は拡大して前記目標形状の重心位置に配置する請求項1又は2記載の形状データ生成プログラム。

請求項4

前記入力形状の設定において、前記目標形状が開口部を有する三次元曲面であれば、平板の入力形状を、前記開口部に合わせて変形し、前記入力形状の変形において、前記開口部に合わせて変形された前記入力形状のエッジ部分を固定させる請求項1又は2記載の形状データ生成プログラム。

請求項5

前記コンピュータに、さらに、第2の画像データにより特定され且つ前記目標形状に対して追加部分が付加された第2の目標形状に対して、前記第1の頂点の特定及び前記入力形状の変更を所定回数実行させた後の形状である第2の入力形状であって前記第2の目標形状の前記追加部分との境界面の外周エッジに移動させない固定点が設定された前記第2の入力形状を配置させ、前記第2の入力形状の複数の頂点から、法線が前記第2の目標形状と交点を有するという条件を含む前記所定の条件を満たす第2の頂点を特定させ、特定された前記第2の頂点を、当該第2の頂点についての法線の方向に、前記第2の目標形状までの距離より短い第2の距離移動させるように、前記固定点を除き前記第2の入力形状を変形させ、変形後の第2の入力形状を処理対象の第2の入力形状に変更して前記第2の頂点の特定及び前記第2の入力形状の変更を第2の所定回数実行させる請求項1乃至4のいずれか1つ記載の形状データ生成プログラム。

請求項6

前記第1の頂点の特定又は前記第2の頂点の特定において、着目した頂点を当該着目した頂点についての法線の方向へ第3の距離移動させ、移動先の点が前記画像データ又は前記第2の画像データにより特定されるボクセル空間に含まれるかを判断し、前記移動先の点が前記ボクセル空間に含まれると判断された場合、前記着目した頂点についての法線ベクトルと前記移動先の点についての法線ベクトルとの内積に基づき、前記移動先の点が前記入力形状又は前記第2の入力形状を貫通したか判断し、前記移動先の点が前記入力形状又は前記第2の入力形状を貫通していないと判断された場合、前記移動先の点における輝度値と前記着目した頂点における輝度値とを比較し、輝度値が変化したか判断し、前記輝度値が変化したと判断された場合、前記着目した頂点についての法線が前記目標形状又は前記第2の目標形状と交点を有するという条件を満たすと判定し、前記移動先の点が前記ボクセル空間に含まれないと判断された場合又は前記移動先の点が前記入力形状又は前記第2の入力形状を貫通したと判断された場合、前記着目した頂点についての法線が前記入力形状又は前記第2の入力形状と交点を有するという条件を満たさないと判定し、前記輝度値が変化していないと判断された場合、前記移動先の点が前記画像データ又は前記第2の画像データにより特定されるボクセル空間に含まれるかの判断以降の処理を前記移動先の点について再度実行する請求項1乃至5のいずれか1つ記載の形状データ生成方法

請求項7

コンピュータが、画像データにより特定される変形目標の形状である目標形状に対して、当該目標形状と同じトポロジを有する単純な形状を有する入力形状を設定し、前記入力形状の複数の頂点から、法線が前記目標形状と交点を有するという条件を含む所定の条件を満たす第1の頂点を特定し、特定された前記第1の頂点を、当該第1の頂点についての法線の方向に、前記目標形状までの距離より短い第1の距離移動させるように、前記入力形状を変形し、変形後の入力形状を処理対象の入力形状に変更して前記第1の頂点の特定及び前記入力形状の変更を所定回数実行する処理を実行する形状データ生成方法。

請求項8

画像データにより特定される変形目標の形状である目標形状に対して、当該目標形状と同じトポロジを有する単純な形状を有する入力形状を設定する設定部と、前記入力形状の複数の頂点から、法線が前記目標形状と交点を有するという条件を含む所定の条件を満たす第1の頂点を特定する特定部と、特定された前記第1の頂点を、当該第1の頂点についての法線の方向に、前記目標形状までの距離より短い第1の距離移動させるように、前記入力形状を変形する変形部と、変形後の入力形状を処理対象の入力形状に変更して前記特定部及び前記変形部を所定回数動作させる処理部と、を有する形状データ生成装置

技術分野

0001

本技術は、形状データ生成技術に関する。

背景技術

0002

近年、HPC(High Performance Computing)技術による計算機演算能力の向上に伴い、人体心臓等の臓器動き再現する生体シミュレーションが注目されている。この生体シミュレーションを実行するために、複雑な内部情報を有する3次元の臓器等の形状データを用いる場合がある。

0003

臓器等の形状データを生成するために、臓器を表す標準的な形状を、画像データが表す臓器の形状に変形する方法が知られている。

0004

この方法では、例えば、標準的な形状における点と目標となる形状における点との対応付けを行うことにより変形を行うが、対応付けを行う点を適切に設定しなければ変形がうまく行われないという問題がある。

0005

また、心臓などの臓器の場合、標準形状と個々の患者についての目標形状とに大きな差があることもあり、血管位置等の差などから、標準形状から精度良く変形できない場合があることも分かってきた。

0006

特開2002−329216号公報
特開2010−61431号公報
特開2001−34774号公報
特開2007−98028号公報

先行技術

0007

Fred L. Bookstein "Principal Warps: Thin-Plate Splines and the Decomposition of Deformation",IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE. VOL. 11, NO. 6, PP. 567-585, JUNE 1989
"Laplacian surface editing", SGP '04 Proceedings of the 2004 Eurographics/ACMSIGGRAPH symposium on Geometry processing, O. Sorkine Tel Aviv University D. Cohen-Or Tel Aviv University Y. Lipman Tel Aviv University M. Alexa Darmstadt University of Technology C. Roessl Max-Planck Institut fuer Informatik, Saarbruecken H.-P. Seidel Max-Planck Institut fuer Informatik, Saarbruecken

発明が解決しようとする課題

0008

従って、本技術の目的は、一側面として、高精度の三次元形状データを生成するための新規な技術を提供することである。

課題を解決するための手段

0009

本技術の一態様に係る形状データ生成方法は、(A)画像データにより特定される変形目標の形状である目標形状に対して、当該目標形状と同じトポロジを有する単純な形状を有する入力形状を設定し、(B)入力形状の複数の頂点から、法線が目標形状と交点を有するという条件を含む所定の条件を満たす第1の頂点を特定し、(C)特定された第1の頂点を、当該第1の頂点についての法線の方向に、目標形状までの距離より短い第1の距離移動させるように、入力形状を変形し、(D)変形後の入力形状を処理対象の入力形状に変更して第1の頂点の特定及び入力形状の変更を所定回数実行する処理を含む。

発明の効果

0010

高精度の3次元形状データを生成することができるようになる。

図面の簡単な説明

0011

図1は、第1の実施の形態に係る形状データ生成装置機能ブロック図である。
図2は、セグメント画像データの一例を示す図である。
図3は、入力形状の一例である球を示す図である。
図4は、第1の実施の形態におけるメイン処理フローを示す図である。
図5は、入力形状の初期配置を示す図である。
図6は、変形処理の処理フローを示す図である。
図7は、ランドマーク設定処理の処理フローを示す図である。
図8は、境界点探索処理の処理フローを示す図である。
図9は、頂点vの位置と輝度値との関係について説明するための図である。
図10は、頂点vの位置と輝度値との関係について説明するための図である。
図11は、探索点変形前形状を貫通するケースの一例を示す図である。
図12は、探索点が変形前形状を貫通するケースの一例を示す図である。
図13は、境界点の探索を説明するための図である。
図14は、従来の問題点を示す図である。
図15は、本実施の形態における変形処理を説明するための図である。
図16は、デローニ三角形分割を説明するための図である。
図17は、デローニ三角形分割を説明するための図である。
図18は、デローニ三角形分割を説明するための図である。
図19は、デローニ三角形分割を説明するための図である。
図20は、メッシュ再分割を行わない場合の形状データの一例を示す図である。
図21は、メッシュ再分割を行った場合の形状データの一例を示す図である。
図22は、開口部を有する目標形状の一例を示す図である。
図23は、円板状の入力形状の一例を示す図である。
図24は、第2の実施の形態に係るメインの処理フローを示す図である。
図25は、入力形状にソースランドマークを設定した例を示す図である。
図26は、目標形状にターゲットランドマークを設定した例を示す図である。
図27は、第2の実施の形態における最初の変形処理を説明するための図である。
図28は、第2の実施の形態における最初の変形処理を実施した後の状態を示す図である。
図29は、第2の実施の形態の処理結果の一例を示す図である。
図30は、第3の実施の形態における目標形状を示す図である。
図31は、第3の実施の形態に係る形状データ生成装置の機能ブロック図である。
図32は、第3の実施の形態に係るメインの処理フローを示す図である。
図33は、第3の実施の形態における第2の変形処理の前の状態を説明するための図である。
図34は、第3の実施の形態における第2の変形処理の前の状態を説明するための図である。
図35は、第3の実施の形態における第2の変形処理の前の状態を説明するための図である。
図36は、第3の実施の形態の処理結果を示す図である。
図37は、第3の実施の形態の処理結果を示す図である。
図38は、コンピュータの機能ブロック図である。

実施例

0012

[実施の形態1]
図1に、本技術の第1の実施の形態に係る形状データ生成装置の機能ブロック図を示す。形状データ生成装置100は、画像データ格納部101と、入力形状データ格納部102と、変形処理部103と、ランドマークデータ格納部104と、変形形状データ格納部105と、出力処理部106と、表示部107と、入力部108とを有する。

0013

変形処理部103は、初期設定部1031と、ランドマーク設定部1032と、変形部1033と、メッシュ処理部1034とを有する。

0014

画像データ格納部101には、セグメント画像データが格納されている。セグメント画像データは、特定の患者の心臓等のCT(Computed Tomography)画像等に対して、部位毎に境界の内部を異なる輝度値で塗りつぶす処理を施すことにより得られる。例えば図2に模式的に示すようなセグメント画像データを積層することにより、変形の目標となる形状である目標形状の三次元のデータが得られる。図2の例では、下から(a)(b)(c)(d)の順番で積層される。

0015

入力形状データ格納部102には、変形される形状である入力形状の三次元データが格納される。なお、本実施の形態では、心臓などの標準形状を入力形状には使わずに、表現したい形状と同様なトポロジを有する最も特徴の無い単純な形状を入力形状として用いる。このような入力形状は、三次元閉曲面であれば球状の入力形状であり、開口部を有する三次元曲面であれば、円板状の入力形状である。本実施の形態では、目標形状が三次元閉曲面である例を説明するので、入力形状は球となる。例えば、図3に示すような表面がメッシングされた球が用いられる。

0016

変形処理部103は、入力形状を目標形状に変形する処理を行う。具体的には、変形処理部103の初期設定部1031は、目標形状に対して入力形状を配置する処理を実行する。ランドマーク設定部1032は、入力形状又は変形後の入力形状に対してランドマークを設定する処理を実行する。変形部1033は、TPSWarpによる変形処理を実行する。TPSWarp処理については、Fred L. Bookstein "Principal Warps: Thin-Plate Splines and the Decomposition of Deformation",IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE. VOL. 11, NO. 6, PP. 567-585, JUNE 1989に詳細が説明されているので、ここでは詳細な説明を省略する。

0017

メッシュ処理部1034は、例えばDelaunay(デローニ)三角形分割技術に従って、メッシュ再分割処理を実行する。Delaunay三角形分割については、よく知られているので詳細な説明は省略する。

0018

ランドマークデータ格納部104は、ランドマーク設定部1032により設定され且つ変形部1033での変更処理において用いられるランドマークのデータを格納する。

0019

変形形状データ格納部105は、変形処理途中の形状データ及び変形処理完了後の形状データを格納する。出力処理部106は、変形形状データ格納部105に格納されている変形処理完了後の形状データを、表示部107に表示するためのデータを生成し、表示部107に出力する。

0020

入力部108は、ユーザから変形処理部103に対する指示などを受け付け、変形処理部103に出力する。

0021

次に、図4乃至図21を用いて、形状データ生成装置100の処理内容を説明する。

0022

例えば、ユーザから目標形状が右心房などの三次元閉曲面である旨の指示を入力部108から受け付けると、変形処理部103の初期設定部1031は、画像データ格納部101に格納されている画像データから目標形状を特定し、入力形状データ格納部102から球状の入力形状のデータを読み出して目標形状に合わせて入力形状を拡大又は縮小し、目標形状の重心位置と入力形状の重心位置が一致するように配置する(図4:ステップS1)。

0023

より詳しくは、目標形状を囲う最小の直方体バウンディングボックス)を特定し、当該バウンディングボックスのx軸、y軸及びz軸の辺の長さの平均値を算出する。そして、当該平均値の長さを有する立方体に入るように、入力形状である球を拡大又は縮小する。但し、バウンディングボックスに入るように、3方向で異なる拡大又は縮小率で球に対してスケール変換を実行するようにしても良い。

0024

なお、等スケールで拡大又は縮小する場合には、例えば図5に示すように初期配置がなされる。図5は、例えば右心房である目標形状10に対して球11が、それらの重心が一致するように配置されている状態を示している。

0025

次に、変形処理部103は、変形処理を実行し、変形処理完了後の形状データを変形形状データ格納部105に格納する(ステップS3)。変形処理については、後に詳しく述べる。

0026

その後、出力処理部106は、変形処理完了後の3次元形状データを表示部107に表示するための処理を行う(ステップS5)。

0027

次に、図6乃至図21を用いて変形処理について説明する。

0028

まず、変形処理部103は、変形回数カウントするための変数tの初期値をt=0と設定する(図6:ステップS21)。次に、変形処理部103は、変数tをt=t+1と増分することにより変形回数をカウントするとともに、また変数mの初期値をm=0と設定する(ステップS23)。mは、処理した頂点数をカウントするための変数である。

0029

そして、変形処理部103は、変数mをm=m+1と増分し(ステップS25)、変形処理部103のランドマーク設定部1032は、ランドマーク設定処理を実行する(ステップS27)。ランドマーク設定処理については、図7乃至図13を用いて説明する。

0030

まず、ランドマーク設定部1032は、入力形状又は前回変形後の入力形状のデータから、頂点vをランダムに1つ特定する(図7:ステップS41)。同じ頂点を選択する意味はないので、例えばtの値が変化しない間で未選択の頂点を選択する。

0031

そして、ランドマーク設定部1032は、ランドマークデータ格納部104に格納されている各ソースランドマークと頂点vとの間のユークリッド距離をそれぞれ算出する。そして、ランドマーク設定部1032は、頂点vと各ソースランドマークとのユークリッド距離のうち最小のものが、閾値D以下であるか判断する(ステップS43)。ステップS43は、頂点vを入力形状又は前回変形後の入力形状において可能な限り均等に配置するために行われる処理である。ステップS43においては、以下の式を満たすか否かを判断する。

0032

0033

ここで、d(v、vi)は、点vと点viとの間のユークリッド距離を表す。viは、ソースランドマークである。但し、初回は、ソースランドマークが設定されていないので、ユークリッド距離は閾値Dを超えると判断するものとする。

0034

頂点vと各ソースランドマークとのユークリッド距離のうち最小のものが閾値D以下であると判断された場合(ステップS43:Yesルート)、呼出元の処理に戻る。一方、頂点vと各ソースランドマークとのユークリッド距離のうち最小のものが閾値Dより大きいと判断された場合(ステップS43:Noルート)、ランドマーク設定部1032は、境界点探索処理を実行する(ステップS45)。境界点探索処理については、図8乃至図13を用いて説明する。

0035

まず、ランドマーク設定部1032は、頂点vの単位法線ベクトルn(v)を算出する(図8:ステップS61)。ここで、n(v)は、頂点v(∈H)での面Hに対する単位法線ベクトルである。単位法線ベクトルとは、長さが1の法線ベクトルをいう。なお、H(⊂V)は、入力形状又は前回変形後の入力形状の形状面を表し、V(⊂R3)はセグメント画像データにより特定されるボクセル空間である。また、R3は、実数空間を表す。ここでは簡単化のため、セグメント画像データは、0又は1の2値を取るものとするが、0又は1以外の値を取るものであっても良いし、2値以上の多値を取るものであっても良い。また、ボクセルは、デジタルデータの立体表現において、その最小の立方体(正規格子)の単位を示す。

0036

また、ランドマーク設定部1032は、頂点vが目標形状の内側に存在するか判断する(ステップS63)。ステップS63においては、以下の式を満たすか否かを判断する。

0037

0038

ここで、ボクセル空間Vから実数空間Rへの写像f:V→Rは以下のように定義される。この写像fにより、ボクセル空間Vに含まれるセグメント画像データの要素が実数空間Rに対応付けられる。

0039

0040

ここで、Iは点p(∈V)を含むボクセルの輝度値である。

0041

図9及び図10を用いて、ステップS63の処理について説明する。図9に示すように、頂点vに対応するボクセル空間の輝度値f(v)が0より大きい場合には、頂点vが目標形状の内側に存在する。そこで、後に説明するステップS75の処理において係数kを1ずつインクリメントするように設定することで、目標形状の内から外へ向かう方向に境界点を探索する。一方、図10に示すように、頂点vに対応するボクセル空間の輝度値f(v)が0になる場合には、頂点vが目標形状の外側に存在する。そこで、後に述べるステップS89の処理において係数kを1ずつデクリメントするように設定することで、目標形状の外から内へ向かう方向に境界点を探索する。

0042

そして、頂点vが目標形状の内側に存在すると判断された場合(ステップS63:Yesルート)、ランドマーク設定部1032は、係数kをk=0と設定する(ステップS65)。また、ランドマーク設定部1032は、境界点であるかどうかを判定する点(以下、探索点と呼ぶ)を以下のように設定する(ステップS67)。

0043

0044

そして、ランドマーク設定部1032は、断層画像データにより特定されるボクセル空間内に探索点が存在するか判断する(ステップS69)。ステップS69においては、以下の式を満たすか判断する。

0045

0046

断層画像データにより特定されるボクセル空間内に探索点が存在しないと判断された場合(ステップS69:Noルート)、呼出元の処理に戻る。探索点がボクセル空間外に達したため、頂点vについての法線と目標形状とが交点を有さないと判断できるためである。

0047

一方、断層画像データにより特定されるボクセル空間内に探索点が存在すると判断された場合(ステップS69:Yesルート)、ランドマーク設定部1032は、探索点が変形前形状(入力形状又は前回変形後の入力形状)を貫通したか判断する(ステップS71)。ステップS71においては、以下の式を満たすか判断する。

0048

0049

ここで、写像g:V→R3は以下のように定義される。この写像gにより、ボクセル空間Vに含まれるセグメント画像データの要素が実数空間R3に対応付けられる。

0050

0051

ここで、写像gの制限g|Hはn(v)になることに注意する。

0052

図11及び図12を用いて、ステップS71の処理について説明する。探索点が境界点に達する前に変形前形状(入力形状又は前回変形後の入力形状)を貫通するような場合には、境界点の探索を適切に行えていない可能性がある。探索点が境界点に達する前に変形前形状を貫通するような場合とは、例えば、図11に示したような場合と、図12に示したような場合とが考えられる。すなわち、目標形状に対する変形前形状の変形度合いにより探索方向に境界点が存在しない場合が考えられる。いずれのケースにおいても、境界点を検出できないか、又は適切でない位置に境界点を検出してしまう可能性がある。そこで、ステップS71においては、頂点vについての法線ベクトルと探索点についての法線ベクトルとの内積を算出し、内積が0より小さい(すなわち、法線ベクトルのなす角が90度より大きい)場合に、探索点が変形前形状を貫通したと判断している。

0053

図8の説明に戻り、探索点が変形前形状を貫通したと判断された場合(ステップS71:Yesルート)、適切な境界点を検出できないので、呼出元の処理に戻る。一方、探索点が変形前形状を貫通していないと判断された場合(ステップS71:Noルート)、ランドマーク設定部1032は、探索点に対応するボクセル空間の輝度値と頂点vに対応するボクセル空間の輝度値とを比較し、輝度値が有意に、すなわち許容値以上に変化したかを判断する(ステップS73)。ステップS73においては、以下の式を満たすか判断する。

0054

0055

そして、輝度値が有意には変化していないと判断された場合(ステップS73:Noルート)、ランドマーク設定部1032は、係数kをk=k+1とインクリメントし(ステップS75)、ステップS67の処理に戻る。

0056

このようにすると、図13に示すように、頂点vから法線方向へ1ボクセル分ずつ探索点を移動させつつ、境界点が存在するかを判定することができる。

0057

一方、輝度値が有意に変化したと判断された場合(ステップS73:Yesルート)、ランドマーク設定部1032は、探索点を境界点に設定する(ステップS77)。ステップS77においては、探索点のデータ(例えばkの値)をメインメモリ等の記憶装置に格納しておく。そして呼出元の処理に戻る。

0058

これに対して、ステップS63において、頂点vが目標形状の外側に存在すると判断された場合(ステップS63:Noルート)に行われる処理について説明する。この場合の処理は、上で述べた処理とは探索方向が異なるだけであるから、基本的な処理の内容は上で述べたとおりである。すなわち、ステップS79の処理はステップS65の処理と同様であり、ステップS81の処理はステップS67の処理と同様であり、ステップS83の処理はステップS69の処理と同様であり、ステップS85の処理はステップS71の処理と同様であり、ステップS87の処理はステップS73の処理と同様である。従って、ステップS79乃至S87の処理の詳細な説明は省略する。

0059

そして、ステップS89において、ランドマーク設定部1032は、係数kをk=k−1とデクリメントし(ステップS89)、ステップS81の処理に戻る。これにより、探索点が、目標形状の外側から内側へ向かう法線方向に1ボクセル分移動される。また、ステップS91の処理は、ステップS77の処理と同様である。

0060

以上のような処理を実施することにより、頂点vについての法線と目標形状との交点(すなわち境界点)を検出することができるようになる。

0061

図7の説明に戻り、ランドマーク設定部1032は、境界点探索処理において境界点が検出されたか判断する(ステップS47)。境界点が検出されていないと判断された場合(ステップS47:Noルート)、次の頂点について処理するため、呼出元の処理に戻る。

0062

一方、境界点が検出されたと判断された場合(ステップS47:Yesルート)、ランドマーク設定部1032は、頂点vと境界点v+kn(v)とを結ぶ線分内分点をターゲットランドマークに設定する(ステップS49)。具体的には、ターゲットランドマークは以下のような点に設定される。

0063

0064

そして、ランドマーク設定部1032は、頂点vをソースランドマークに設定する(ステップS51)。ソースランドマークについては頂点識別子のデータをランドマークデータ格納部104に格納し、対応するターゲットランドマークについては座標データをランドマークデータ格納部104に格納する。ソースランドマークの座標データについては、ソースランドマークの識別子を用いて、入力形状を処理する場合には入力形状データ格納部102から読み出し、前回変形後の入力形状を処理する場合には変形形状データ格納部105から読み出して用いる。ソースランドマークについては、ステップS43で用いられるが、過去に設定されたソースランドマークが処理対象となる。ステップS49及びS51で設定されたソースランドマーク及びターゲットランドマークの対については、次のステップS31でのみ用いられる。

0065

以上のような処理を実行することにより、変形前の形状(入力形状又は前回変形後の入力形状)における頂点と目標形状における境界点とを結ぶ線分の内分点を、ターゲットランドマークに設定することができるようになる。

0066

図6の説明に戻り、変形処理部103は、変数mについてm<Nであるか判断する(ステップS29)。ここで、Nは、予め設定された整数である。m<Nであると判断された場合(ステップS29:Yesルート)、次の頂点について処理するため、ステップS25の処理に戻る。

0067

一方、変数mについてm<Nではないと判断された場合(ステップ29:Noルート)、変形処理部103の変形部1033は、ランドマークデータ格納部104に格納されている、同じtについて設定された、ソースランドマーク及びターゲットランドマークの対のデータに従い、TPSWarpによる変形処理を実行し、変形後の形状データを変形形状データ格納部105に格納する(ステップS31)。

0068

図14に示すように、ソースランドマークを変形前の形状に配置し、ソースランドマークの法線と目標形状との交点にターゲットランドマークを配置し、TPSWarpによる変形処理を行うことが考えられる。しかしながら、図14に示すように、法線が交差するような状況が発生すると、変形後の形状には、目標形状とは異なる不自然な形状が生じてしまうことがある。

0069

そこで、本実施の形態における変形処理においては、図15に示すように、変形前の形状に配置されたソースランドマーク(ドットによるハッチング付き丸)と、ソースランドマークの法線と目標形状との交点とを結ぶ線分を内分する点(一点鎖線上の点)に、ターゲットランドマーク(クロスハッチング付き丸)を配置し、TPSWarpによる変形処理を行う。この変形処理で得られた変形後形状においてソースランドマーク(ドットによるハッチング付き丸)を再度設定して、ソースランドマークの法線と目標形状との交点とを結ぶ線分を内分する点にターゲットランドマークを配置して、TPSWarpによる変形処理を行う。このような変形処理を繰り返し行うことにより、徐々に目標形状に近付けていく。これにより、変形後の形状に不自然な形状が生じにくくなり、また法線の方向が本来目標とすべき部分に向きやすくなる。なお、内分比は徐々に大きくなるが、ソースランドマークとターゲットランドマークとの距離も短くなるので、適切な変形が行われる。

0070

そして、変形処理部103のメッシュ処理部1034は、変形形状データ格納部105に格納された、今回の変形後の形状データについて、メッシュ再分割処理を実行し、処理結果を変形形状データ格納部105に格納する(ステップS33)。

0071

目標形状が複雑であるほど変形の際メッシュ要素の形状に偏りが生じるため、本実施の形態では、変形を繰り返しながらメッシュ要素の面積が所定の閾値を超えるメッシュ要素及び周辺のメッシュ要素についてはメッシュの細分化を行う処理としてメッシュ再分割処理を行う。メッシュ要素の細分化を行うことで、メッシュの形状の偏りのためアスペクト比が悪化して滑らかな形状が保てなくなる等の現象を防ぐことが出来る。また、メッシュ要素で区画される曲面を描画する場合には、その精度はメッシュ要素の細かさ(メッシュ解像度とも呼ぶ)に依存するため、メッシュ再分割処理を行うことで、任意形状を精度良く表現することが出来る。

0072

特に、特徴の無い単純な形状を用いているため変形に偏りが生じ、結果としてメッシュの不均等が起こりやすい。よって、例えば変形前のメッシュ要素のサイズよりも大きくなったメッシュ要素については、当該メッシュ要素等を再分割することによって不都合を解消する。

0073

メッシュ再分割処理におけるメッシュ分割手法には、八分木メッシュ分割法やDelaunay三角形分割等様々な手法がある。Delaunay三角分割はよく知られているが、一例として、ここで簡単に説明しておく。まず、面積が所定の閾値を超えるメッシュ要素の内部に新たな点aを追加する。図16の例では、面積とは関係なく点aが設定されているが、面積が所定の閾値を超えるメッシュ要素内部に新たな点aを設定する。次に、各メッシュ要素の外接円を描き、点aを内包するメッシュ要素を特定する。図17の例では、ハッチングが付された3つのメッシュ要素が特定される。これらのメッシュ要素で多角形を生成し(図18)、この多角形の頂点と点aとで、多角形を三角形に分割する(図19)。このような処理を行えば、おおよそ均一サイズの三角形が含まれる三角形メッシュが生成されるようになる。

0074

そして、変形処理部103は、変数tについてt<Tであるか判断する(ステップS35)。t<Tであると判断された場合(ステップS33:Yesルート)、さらに変形処理を行うため、ステップS23の処理に戻る。なお、Tは総変形回数であり、予め管理者等により設定される(例えばT=500)。

0075

一方、変数tについてt<Tでないと判断された場合(ステップS35:Noルート)、T回の変形が終了したため、呼出元の処理に戻る。

0076

以上のような処理を実行することにより、精度の高い3次元形状データを得ることができるようになる。

0077

例えば、ステップS33のメッシュ再分割処理を実施しないと、図20に示すような三次元形状データが得られる。図20から分かるように、メッシュ要素のサイズは不均一で精度の低い三次元形状データが得られている。一方、ステップS33のメッシュ再分割処理を実施すれば、図21に示すような三次元形状データが得られる。細かい三角形要素により精度の高い三次元形状データが得られていることが分かる。

0078

[実施の形態2]
本実施の形態では、目標形状として開口部を有する三次元曲面を想定する。わかりにくい部分もあるが、図22に示すような目標形状を想定する。この目標形状において点線で囲った部分が開口部である。

0079

この場合、本実施の形態では、例えば図23に示すような円板状の入力形状を用いる。図23ではメッシングされていないように見えるが、メッシングされているものとする。

0080

このような場合に、図1に示した形状データ生成装置100は、図24乃至図29で示すような処理を実施する。

0081

まず、ユーザから目標形状が開口を有する三次元曲面である旨の指示を入力部108から受け付けると、変形処理部103の初期設定部1031は、入力形状データ格納部102に格納されている円板状の入力形状のデータを読み出し、その円板の外周エッジに等間隔でソースランドマークを設定する(図24:ステップS101)。例えば、図25に模式的に示すように、円板の外周上に球形のソースランドマークが設定される。なお、ソースランドマークについては、その頂点識別子が、ランドマークデータ格納部104に格納されている。なお、本ステップで設定されたソースランドマークは、固定点として以下の処理で扱われる。

0082

さらに、初期設定部1031は、画像データ格納部101に格納されている画像データから目標形状を特定し、当該目標形状の開口部の外周エッジに等間隔に、入力形状に設定したソースランドマーク数と同数のターゲットランドマークを設定する(ステップS103)。ターゲットランドマークについては、その頂点座標のデータが、ランドマークデータ格納部104に格納される。図26に模式的に示すように、開口部の外周エッジに、球形のターゲットランドマークが等間隔及び同数設定される。

0083

そうすると、初期設定部1031は、変形部1033に対して、ソースランドマークをターゲットランドマークの位置に移動するように、TPSWarpによる変形処理を実行させ、変形後の形状データを変形形状データ格納部105に格納する(ステップS105)。図27に、本変形処理を模式的に示す。図27の左側は、変形前の状態を示しており、入力形状の外周エッジ21に等間隔に配置されたソースランドマークを、目標形状の開口部の外周エッジ22に等間隔に配置されたターゲットランドマークに向けて1回で変形する。そうすると、図27の右側に示すように、ソースランドマークがターゲットランドマークの位置に移動して、その他の入力形状の外周エッジ21はおおよそ目標形状の開口部の外周エッジ22に一致するように変形される。図25及び図26の例では、図28に模式的に示すような状態が得られる。図28の例では、上面において塗りつぶされた部分が入力形状に相当する。

0084

そして、変形処理部103は、変形処理を実行する(ステップS107)。基本的な処理の流れは、図6乃至図8の処理を行うことになる。但し、第1の実施の形態と異なる点は、既に1回変形処理が行われている点、既にソースランドマークが設定されている点、当該ソースランドマークは固定点である点が異なる。既に1回変形処理が行われている点については、処理の流れとしては、t=1の場合においてもランドマーク設定処理において変形形状データ格納部105に格納されている前回変形後の入力形状のデータを用いる点が異なる。

0085

既にソースランドマークが設定されている点は、処理の流れとしてはステップS43において初回でもユークリッド距離が算出される点で異なる。ソースランドマークが固定点である点については、ステップS31における変形処理において固定点の座標データは変更されないという点で異なる。

0086

それ以外の処理については第1の実施の形態と同様である。

0087

そして、出力処理部106は、変形形状データ格納部105に格納されている変形後の形状データを表示部107に表示するための処理を実行する(ステップS109)。

0088

例えば上で述べた例では、図29に示すような処理結果が得られる。図29の例では、おおよそ均等なメッシュ要素で形成された形状データが得られていることが分かる。

0089

[実施の形態3]
心房は、心室に比して、肺静脈大静脈などの血管に繋がっており複雑な形状を有している。そこで、図30に示すように、右心房から大静脈31が伸びている形状を目標形状の一例として処理を行う例を説明する。

0090

本実施の形態に係る形状データ生成装置200の機能ブロック図を図31に示す。なお、図1に示した形状データ生成装置100とほぼ同様の機能を有する場合には同じ参照符号を付している。形状データ生成装置200は、画像データ格納部101bと、入力形状データ格納部102と、変形処理部103bと、ランドマークデータ格納部104と、固定点データ格納部201と、変形形状データ格納部105と、出力処理部106bと、表示部107と、入力部108とを有する。

0091

画像データ格納部101bには、右心房のみについての第1のセグメント画像データと、右心房及び血管についての第2のセグメント画像データとが両方格納されている。

0092

固定点データ格納部201は、以下で述べるように1回目の変形処理を実施することで得られる変形後入力形状と血管との境界部分における外周エッジに設定される固定点のデータを格納する。

0093

出力処理部106bは、変形処理部103bからの指示に応じて、1回目の変形処理を実施することで得られる変形後入力形状を表示部107に出力する場合もある。

0094

さらに、変形処理部103bは、初期設定部1031と、ランドマーク設定部1032と、変形部1033と、メッシュ処理部1034と、第2初期設定部1035とを有する。第2初期設定部1035は、2回目の変形処理の前に行われる設定処理を実行する。

0095

次に、図32乃至図37を用いて、本実施の形態に係る処理を説明する。

0096

例えば、ユーザから本実施の形態に係る処理の開始指示を入力部108から受け付けると、変形処理部103bの初期設定部1031は、画像データ格納部101bに格納されている第1のセグメント画像データから血管等を含まない右心房などの目標形状を特定し、入力形状データ格納部102から球状の入力形状のデータを読み出して目標形状に合わせて入力形状を拡大又は縮小し、目標形状の重心位置と入力形状の重心位置が一致するように配置する(図32:ステップS201)。本ステップは、図4のステップS1と同様の処理である。

0097

次に、変形処理部103bは、第1変形処理を実行し、変形処理完了後の形状データを変形形状データ格納部105に格納する(ステップS203)。第1変形処理については、図4のステップS3と同様であり、図6乃至図8を用いて説明された処理を実行する。

0098

次に、第2初期設定部1035は、変形形状データ格納部105に格納されている第1変形処理の処理結果である変形後入力形状を、画像データ格納部101bに格納されている第2セグメント画像データから特定される右心房及び血管を含む第2の目標形状に重畳させるように配置する(ステップS205)。重畳した状態はわかりにくいが、図33に示すような状態となる。図33の例では丸印で囲われた部分が、血管の部分であり、この部分は第1の変形処理による変形後入力形状との差分に相当する。

0099

そして、第2初期設定部1035は、変形後入力形状において、当該変形後入力形状と第2の目標形状との境界面の外周エッジに固定点を設定し、当該固定点のデータを固定点データ格納部201に格納する(ステップS207)。例えば、固定点の頂点識別子のデータを、固定点データ格納部201に格納する。

0100

図33の丸印で囲まれた部分を拡大すると図34に示すようになる。図34の例では、変形後入力形状と第2の目標形状との境界面40が特定されるようになる。そうすると、この境界面40の外周エッジに、例えば等距離で丸印の固定点を設定する。なお、変形形状データ格納部105に格納されている第1の変形処理の処理結果及び第2の目標形状とを表示部107に表示して、ユーザに入力部108を介して固定点を設定させるようにしても良い。固定点が設定された変形後入力形状の一例を図35に示す。固定点は球で表されているが、図35では強調表示されている。なお、球で囲まれた内部の面にも三角形メッシュ要素が形成されている。

0101

そして、変形処理部103bは、第2変形処理を実施し、処理結果を変形形状データ格納部105に格納する(ステップS209)。基本的には、第1の実施の形態に係る変形処理と同様である。

0102

但し、固定点データ格納部201に格納されている固定点については移動させないので、ステップS31において、固定点データ格納部201に識別子が登録されている頂点についてはその位置を移動させないようにする。

0103

そして、出力処理部106bは、変形形状データ格納部105に格納されている変形後の形状データを表示部107に表示するための処理を実行する(ステップS211)。

0104

例えば上で述べた例では、図36に示すような処理結果が得られる。図36は強調表示した固定点を示したままであるが、固定点は実際には見えない。すなわち、図37に示すような三次元形状データが第2変形処理の変形後入力形状のデータとして得られる。

0105

このように複雑な形状であっても精度良く形状データを生成することができるようになる。

0106

以上本技術の実施の形態を説明したが、本技術はこのような実施の形態に限定されるものではない。例えば、上で説明した図1及び図31に示された機能ブロック図は一例であって、必ずしも実際のプログラムモジュール構成とは一致しない場合もある。

0107

また、処理フローについても、処理結果が変わらない限り、ステップの順番を入れ替えたり、複数のステップを並列実行するようにしても良い。

0108

さらに、上では心臓特に右心房を一例に説明したが、他の心房や心室、その他の臓器でも同様に処理できる。

0109

なお、上で述べた形状データ生成装置100及び200は、コンピュータ装置であって、図38に示すように、メモリ2501とCPU2503とハードディスクドライブ(HDD)2505と表示装置2509に接続される表示制御部2507とリムーバブルディスク2511用のドライブ装置2513と入力装置2515とネットワークに接続するための通信制御部2517とがバス2519で接続されている。オペレーティング・システム(OS:Operating System)及び本実施例における処理を実施するためのアプリケーションプログラムは、HDD2505に格納されており、CPU2503により実行される際にはHDD2505からメモリ2501に読み出される。CPU2503は、アプリケーション・プログラムの処理内容に応じて表示制御部2507、通信制御部2517、ドライブ装置2513を制御して、所定の動作を行わせる。また、処理途中のデータについては、主としてメモリ2501に格納されるが、HDD2505に格納されるようにしてもよい。本技術の実施例では、上で述べた処理を実施するためのアプリケーション・プログラムはコンピュータ読み取り可能なリムーバブル・ディスク2511に格納されて頒布され、ドライブ装置2513からHDD2505にインストールされる。インターネットなどのネットワーク及び通信制御部2517を経由して、HDD2505にインストールされる場合もある。このようなコンピュータ装置は、上で述べたCPU2503、メモリ2501などのハードウエアとOS及びアプリケーション・プログラムなどのプログラムとが有機的に協働することにより、上で述べたような各種機能を実現する。

0110

以上述べた本実施の形態をまとめると以下のようになる。

0111

本実施の形態に係る形状データ生成方法は、(A)画像データにより特定される変形目標の形状である目標形状に対して、当該目標形状と同じトポロジを有する単純な形状を有する入力形状を設定し、(B)入力形状の複数の頂点から、法線が目標形状と交点を有するという条件を含む所定の条件を満たす第1の頂点を特定し、(C)特定された第1の頂点を、当該第1の頂点についての法線の方向に、目標形状までの距離より短い第1の距離移動させるように、入力形状を変形し、(D)変形後の入力形状を処理対象の入力形状に変更して第1の頂点の特定及び入力形状の変更を所定回数実行する処理を含む。

0112

このような入力形状を用いることで、精度良く目標形状と同様の形状を有する形状データを生成できるようになる。

0113

なお、上で述べた入力形状の変形において、変形後の形状における複数のメッシュ要素のうち、面積が閾値を超えるメッシュ要素及び周辺のメッシュ要素についてメッシュ再分割処理を実行するようにしても良い。このようにメッシュ再分割処理を実施することで、おおよそ均一なサイズを有するメッシュ要素が生成されることになるので、滑らかな形状を生成できるようになる。特に、上で述べたような入力形状の場合には、不均一なメッシュ要素が生成されるケースが多くなるので、このような処理は精度の良い形状データを生成するために有効である。

0114

さらに、上で述べた入力形状の設定において、目標形状が三次元閉曲面であれば、球状の入力形状を、目標形状に合わせて縮小又は拡大して目標形状の重心位置に配置するようにしても良い。このようにすれば、三次元閉曲面であっても適切に変形処理を実行できるようになる。

0115

また、上で述べた入力形状の設定において、目標形状が開口部を有する三次元曲面であれば、平板の入力形状を、開口部に合わせて変形するようにしても良い。この場合、上で述べた入力形状の変形において、開口部に合わせて変形された入力形状のエッジ部分を固定させるようにしても良い。このようにすれば、開口部を有するような三次元曲面であっても適切に変形処理を実行できるようになる。

0116

さらに、本形状データ生成方法は、(E)第2の画像データにより特定され且つ目標形状に対して追加部分が付加された第2の目標形状に対して、第1の頂点の特定及び入力形状の変更を所定回数実行させた後の形状である第2の入力形状であって第2の目標形状の追加部分との境界面の外周エッジに移動させない固定点が設定された第2の入力形状を配置させ、(F)第2の入力形状の複数の頂点から、法線が第2の目標形状と交点を有するという条件を含む所定の条件を満たす第2の頂点を特定させ、(G)特定された第2の頂点を、当該第2の頂点についての法線の方向に、第2の目標形状までの距離より短い第2の距離移動させるように、固定点を除き第2の入力形状を変形させ、(H)変形後の第2の入力形状を処理対象の第2の入力形状に変更して第2の頂点の特定及び第2の入力形状の変更を第2の所定回数実行させるようにしても良い。

0117

複雑な形状を有する形状データを生成する場合には、2段階で変形処理を実行すれば精度の良い形状データを生成できるようになる。

0118

さらに、上で述べた第1の頂点の特定又は第2の頂点の特定において、(X1)着目した頂点を当該着目した頂点についての法線の方向へ第3の距離移動させ、移動先の点が前記画像データ又は前記第2の画像データにより特定されるボクセル空間に含まれるかを判断し、(X2)移動先の点がボクセル空間に含まれると判断された場合、着目した頂点についての法線ベクトルと移動先の点についての法線ベクトルとの内積に基づき、移動先の点が入力形状又は第2の入力形状を貫通したか判断し、(X3)移動先の点が入力形状又は第2の入力形状を貫通していないと判断された場合、移動先の点における輝度値と着目した頂点における輝度値とを比較し、輝度値が変化したか判断し、(X4)輝度値が変化したと判断された場合、着目した頂点についての法線が目標形状又は第2の目標形状と交点を有するという条件を満たすと判定し、(X5)移動先の点がボクセル空間に含まれないと判断された場合又は移動先の点が入力形状又は第2の入力形状を貫通したと判断された場合、着目した頂点についての法線が入力形状又は第2の入力形状と交点を有するという条件を満たさないと判定し、(X6)輝度値が変化していないと判断された場合、移動先の点が画像データ又は第2の画像データにより特定されるボクセル空間に含まれるかの判断以降の処理を移動先の点について再度実行するようにしても良い。

0119

このようにすれば、第1の頂点についての法線が第2の形状と交点を有するか否かを適切に判定することができるようになる。

0120

なお、上記方法による処理をコンピュータに行わせるためのプログラムを作成することができ、当該プログラムは、例えばフレキシブルディスクCD−ROM光磁気ディスク半導体メモリ、ハードディスク等のコンピュータ読み取り可能な記憶媒体又は記憶装置に格納される。尚、中間的な処理結果はメインメモリ等の記憶装置に一時保管される。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ