技術 医用画像処理装置

0001

本発明の実施形態は、医用画像処理装置に関する。

0002

医用分野では、超音波プローブの複数の振動子（圧電振動子）を用いて発生させた超音波を利用して、被検体内部を画像化する超音波診断装置が使用されている。超音波診断装置は、超音波診断装置に接続された超音波プローブから被検体内に超音波を送信させ、反射波に基づくエコー信号を生成し、画像処理によって所望の超音波画像を得る。

0003

超音波診断装置を用いた造影検査では、造影剤注入後は、造影剤による腫瘍の染影の程度によって複数の時相帯に分類される。例えば、撮像部位が肝臓である場合、造影剤の注入開始からの経過時間に従って、早期血管相、動脈優位相、門脈優位相、及び後血管相等の時相帯に分類される。これら時相帯で得られた造影画像データや、異なる複数の時相帯で得られた複数の造影画像データにより、リアルタイムで、又は、保存画像による後処理で、腫瘍の確定診断が実施されている。

0004

米国特許出願公開第２０１１／０２８２１９４号明細書

0005

本発明が解決しようとする課題は、医師等の操作者の経験や主観によらない腫瘍の確定診断を可能にすることである。

0006

実施形態に係る医用画像処理装置は、画像取得部と、処理部とを備える。画像取得部は、被検体の撮像により生成された造影画像データを取得する。処理部は、造影画像データに基づいて、当該造影画像データに含まれる病変部位の造影剤による染影状態により分類される時相帯情報を生成するための学習済みモデルに対して、造影画像データを入力することで、時相帯情報を生成する。

0007

図１は、実施形態に係る医用画像処理装置を備えた超音波診断装置の構成を示す概略図。
図２は、実施形態に係る医用画像処理装置を備えた超音波診断装置の機能を示すブロック図。
図３は、実施形態に係る医用画像処理装置を備えた超音波診断装置の動作をフローチャートとして示す図。
図４（Ａ）は、実施形態に係る医用画像処理装置における、学習時におけるデータフローの一例を示す説明図であり、図４（Ｂ）は、実施形態に係る医用画像処理装置における、トレーニングデータの例を表として示す図。
図５は、実施形態に係る医用画像処理装置における、運用時におけるデータフローの一例を示す説明図。
図６は、実施形態に係る医用画像処理装置における、造影画像データの動画像データへの関連付の概念を示す図。
図７（Ａ）は、実施形態に係る医用画像処理装置における、第１の時相帯の場合の、学習時におけるデータフローの一例を示す説明図であり、図７（Ｂ）は、実施形態に係る医用画像処理装置における、第２の時相帯の場合の、学習時におけるデータフローの一例を示す説明図。
図８（Ａ）は、実施形態に係る医用画像処理装置における、第１の時相帯の場合の、運用時におけるデータフローの一例を示す説明図であり、図８（Ｂ）は、実施形態に係る医用画像処理装置における、第２の時相帯の場合の、運用時におけるデータフローの一例を示す説明図。
図９（Ａ）は、実施形態に係る医用画像処理装置における、学習時におけるデータフローの一例を示す説明図であり、図９（Ｂ）は、実施形態に係る医用画像処理装置における、トレーニングデータの例を表として示す図。
図１０は、実施形態に係る医用画像処理装置を備えた超音波診断装置の機能を示すブロック図。
図１１は、実施形態に係る医用画像処理装置を備えた超音波診断装置の動作をフローチャートとして示す図。
図１２（Ａ）は、実施形態に係る医用画像処理装置における、学習時におけるデータフローの一例を示す説明図であり、図１２（Ｂ）は、実施形態に係る医用画像処理装置における、トレーニングデータの例を表として示す図。
図１３は、実施形態に係る医用画像処理装置における、運用時におけるデータフローの一例を示す説明図。
図１４は、実施形態に係る医用画像処理装置における、診断結果の表示例を示す図。
図１５（Ａ）は、実施形態に係る医用画像処理装置における、第１の時相帯以前に対応する複数の時相帯を組み合わせる場合の、学習時におけるデータフローの一例を示す説明図であり、図１５（Ｂ）は、実施形態に係る医用画像処理装置における、第２の時相帯以前に対応する複数の時相帯を組み合わせる場合の、学習時におけるデータフローの一例を示す説明図。
図１６（Ａ）は、実施形態に係る医用画像処理装置における、第１の時相帯以前に対応する複数の時相帯を組み合わせる場合の、運用時におけるデータフローの一例を示す説明図であり、図１６（Ｂ）は、実施形態に係る医用画像処理装置における、第２の時相帯以前に対応する複数の時相帯を組み合わせる場合の、運用時におけるデータフローの一例を示す説明図。
図１７（Ａ），（Ｂ）は、実施形態に係る医用画像処理装置における、時相の設定画面の一例を示す図。
図１８は、実施形態に係る医用画像処理装置における、確定診断結果データの表示例を示す図。
図１９は、実施形態に係る医用画像処理装置を備えた医用画像表示装置の構成を示す概略図。
図２０は、実施形態に係る医用画像処理装置を備えた医用画像表示装置の機能を示すブロック図。

0008

以下、図面を参照しながら、医用画像処理装置の実施形態について詳細に説明する。

0009

実施形態に係る医用画像処理装置は、造影画像データを取得可能な医用画像生成装置（「モダリティ」とも呼ばれる）、例えば、超音波診断装置や、Ｘ線ＣＴ（Computed Tomography）装置や、ＭＲＩ（Magnetic Resonance Imaging）装置等に備えられる。実施形態に係る医用画像処理装置は、医用画像生成装置（又は、医用画像管理装置）からネットワークを介して造影画像データを取得可能な医用画像表示装置、例えば、ワークステーション等に備えられる。又は、実施形態に係る医用画像処理装置は、医用画像生成装置（又は、医用画像管理装置）から可搬型記録媒体を介して造影画像データを取得可能なオフラインの医用画像表示装置に備えられる。

0010

医用画像処理装置が、医用画像生成装置としての超音波診断装置に備えられる場合、肝臓の造影スキャンにより、造影剤注入後の時相帯を、複数の時相帯（例えば、早期血管相と、動脈優位相と、門脈優位相、後血管相等）に分類することができる。医用画像生成装置としてのＸ線ＣＴ装置に備えられる場合、肝臓の造影スキャンにより、造影剤注入後の時相帯を、複数の時相帯（例えば、動脈優位相と、門脈優位相と、平衡相等）に分類することができる。また、医用画像処理装置が、医用画像生成装置としてのＭＲＩ装置に備えられる場合、肝臓の造影スキャンにより、造影剤注入後の時相帯を、複数の時相帯（例えば、ダイナミック相と、肝細胞造影相等）に分類することができる。

0011

以下、第１〜第８の実施形態において、医用画像処理装置が超音波診断装置に備えられる場合を例にとって説明する。第９の実施形態において、医用画像処理装置が医用画像表示装置に備えられる場合を例にとって説明する。

0012

また、撮像部位が肝臓である場合について説明する。しかしながら、その場合に限定されるものではない。例えば、撮像部位は、病変部位の造影剤による特定の染影状態を特定し得る乳腺、膵臓等の組織であってもよい。

0013

１．第１の実施形態に係る医用画像処理装置
図１は、第１の実施形態に係る医用画像処理装置を備えた超音波診断装置の構成を示す概略図である。

0014

図１は、第１の実施形態に係る医用画像処理装置を備えた超音波診断装置１０を示す。また、図１は、超音波プローブ２０と、入力インターフェース３０と、ディスプレイ４０とを示す。なお、超音波診断装置１０に、超音波プローブ２０と、入力インターフェース３０と、ディスプレイ４０とのうちの少なくとも１個を加えた装置を超音波診断装置と称する場合もある。以下の説明では、超音波診断装置の外部に、超音波プローブ２０と、入力インターフェース３０と、ディスプレイ４０との全てが備えられる場合について説明する。

0015

超音波診断装置１０は、送受信回路１１と、Ｂモード処理回路１２と、ドプラ処理回路１３と、画像生成回路１４と、画像メモリ１５と、ネットワークインターフェース１６と、処理回路１７と、メインメモリ１８とを備える。回路１１〜１４は、特定用途向け集積回路（ＡＳＩＣ:Application Specific IntegratedCircuit）等によって構成されるものである。しかしながら、その場合に限定されるものではなく、回路１１〜１４の機能の全部又は一部は、処理回路１７がプログラムを実行することで実現されるものであってもよい。また、処理回路１７と、メインメモリ１８とにより、第１の実施形態に係る医用画像処理装置Ｍ１が構成される。なお、処理回路１７と、メインメモリ１８とに、入力インターフェース３０と、ディスプレイ４０との少なくとも一方を加えたものにより、第１の実施形態に係る医用画像処理装置Ｍ１が構成されてもよい。

0016

送受信回路１１は、送信回路と受信回路とを有する（図示省略）。送受信回路１１は、処理回路１７による制御の下、超音波の送受信における送信指向性と受信指向性とを制御する。なお、送受信回路１１が超音波診断装置１０に設けられる場合について説明するが、送受信回路１１は、超音波プローブ２０に設けられてもよいし、超音波診断装置１０と超音波プローブ２０との両方に設けられてもよい。なお、送受信回路１１は、送受信部の一例である。

0017

送信回路は、パルス発生回路と、送信遅延回路と、パルサ回路等を有し、超音波振動子に駆動信号を供給する。パルス発生回路は、所定のレート周波数で、送信超音波を形成するためのレートパルスを繰り返し発生する。送信遅延回路は、超音波プローブ２０の超音波振動子から発生される超音波をビーム状に集束して送信指向性を決定するために必要な圧電振動子ごとの遅延時間を、パルス発生回路が発生する各レートパルスに対し与える。また、パルサ回路は、レートパルスに基づくタイミングで、超音波振動子に駆動パルスを印加する。送信遅延回路は、各レートパルスに対し与える遅延時間を変化させることで、圧電振動子面から送信される超音波ビームの送信方向を任意に調整する。

0018

受信回路は、アンプ回路と、Ａ／Ｄ（Analog to Digital）変換器と、加算器等を有し、超音波振動子が受信したエコー信号を受け、このエコー信号に対して各種処理を行ってエコーデータを生成する。アンプ回路は、エコー信号をチャンネル毎に増幅してゲイン補正処理を行う。Ａ／Ｄ変換器は、ゲイン補正されたエコー信号をＡ／Ｄ変換し、デジタルデータに受信指向性を決定するのに必要な遅延時間を与える。加算器は、Ａ／Ｄ変換器によって処理されたエコー信号の加算処理を行ってエコーデータを生成する。加算器の加算処理により、エコー信号の受信指向性に応じた方向からの反射成分が強調される。

0019

Ｂモード処理回路１２は、処理回路１７による制御の下、受信回路からエコーデータを受信し、対数増幅、及び包絡線検波処理等を行って、信号強度が輝度の明るさで表現されるデータ（２Ｄ又は３Ｄデータ）を生成する。このデータは、一般に、Ｂモードデータと呼ばれる。なお、Ｂモード処理回路１２は、Ｂモード処理部の一例である。

0020

なお、Ｂモード処理回路１２は、フィルタ処理により、検波周波数を変化させることで、画像化する周波数帯域を変えることができる。Ｂモード処理回路１２のフィルタ処理機能を用いることにより、コントラストハーモニックイメージング（ＣＨＩ：Contrast Harmonic Imaging）や、ティッシュハーモニックイメージング（ＴＨＩ：Tissue Harmonic Imaging）等のハーモニックイメージングを実行可能である。すなわち、Ｂモード処理回路１２は、造影剤が注入された被検体の反射波データから、造影剤（微小気泡、バブル）を反射源とするハーモニック成分の反射波データ（高調波データ又は分周波データ）と、被検体内の組織を反射源とする基本波成分の反射波データ（基本波データ）とを分離することができる。Ｂモード処理回路１２は、また、ハーモニック成分の反射波データ（受信信号）から、造影画像データを生成するためのＢモードデータを生成することができ、また、基本波成分の反射波データ（受信信号）から、基本波（ファンダメンタル）画像データを生成するためのＢモードデータを生成することができる。

0021

ドプラ処理回路１３は、処理回路１７による制御の下、受信回路からのエコーデータから速度情報を周波数解析し、平均速度、分散、パワー等の移動体の移動情報を多点について抽出したデータ（２Ｄ又は３Ｄデータ）を生成する。このデータは、一般に、ドプラデータと呼ばれる。ここで、移動体とは、例えば、血流や、心壁等の組織、造影剤である。なお、ドプラ処理回路１３は、ドプラ処理部の一例である。

0022

画像生成回路１４は、処理回路１７による制御の下、超音波プローブ２０が受信したエコー信号に基づいて、所定の輝度レンジで表現された超音波画像データを生成する。例えば、画像生成回路１４は、超音波画像データとして、Ｂモード処理回路１２によって生成された２ＤのＢモードデータから反射波の強度を輝度にて表した２ＤのＢモード画像データを生成する。また、画像生成回路１４は、超音波画像として、ドプラ処理回路１３によって生成された２Ｄのドプラデータから移動態情報を表す平均速度画像、分散画像、パワー画像、又は、これらの組み合わせ画像としての２Ｄのカラードプラ画像データを生成する。以下、２ＤのＢモード画像データや、２Ｄのカラードプラ画像データ等の２Ｄの超音波画像データを、単に「２Ｄ画像データ」と呼ぶ。

0023

ここで、画像生成回路１４は、一般的には、超音波走査の走査線信号列を、テレビ等に代表されるビデオフォーマットの走査線信号列に変換（スキャンコンバート）し、表示用の画像データを生成する。具体的には、画像生成回路１４は、超音波プローブ２０による超音波の走査形態に応じて座標変換を行なうことで、表示用の画像データを生成する。また、画像生成回路１４は、スキャンコンバート以外に、種々の画像処理として、例えば、スキャンコンバート後の複数の画像フレームを用いて、輝度の平均値画像を再生成する画像処理（平滑化処理）や、画像内で微分フィルタを用いる画像処理（エッジ強調処理）等を行なう。また、画像生成回路１４は、超音波画像データに、種々のパラメータの文字情報、目盛り、ボディーマーク等を合成する。

0024

すなわち、Ｂモードデータ及びドプラデータは、スキャンコンバート処理前の画像データであり、画像生成回路１４が生成するデータは、スキャンコンバート処理後の表示用の画像データである。なお、Ｂモードデータ及びドプラデータは、生データ（Raw Data）とも呼ばれる。画像生成回路１４は、スキャンコンバート処理前の２Ｄ画像データから、表示用の２Ｄ画像データを生成する。

0025

更に、画像生成回路１４は、Ｂモード処理回路１２によって生成された３ＤのＢモードデータに対して座標変換を行なうことで、３ＤのＢモード画像データを生成する。また、画像生成回路１４は、ドプラ処理回路１３によって生成された３Ｄのドプラデータに対して座標変換を行なうことで、３Ｄのドプラ画像データを生成する。画像生成回路１４は、３ＤのＢモード画像データや３Ｄドプラ画像データを３Ｄの超音波画像データ（ボリュームデータ）として生成する。

0026

さらに、画像生成回路１４は、３Ｄ画像データをディスプレイ４０にて表示するための各種の２Ｄ画像データを生成するために、３Ｄ画像データに対してレンダリング処理を行なう。また、画像生成回路１４は、レンダリング処理として、例えば、３Ｄの情報を反映した２Ｄ画像データを生成するボリュームレンダリング（ＶＲ：Volume Rendering）処理を行う。また、画像生成回路１４は、断面再構成法（ＭＰＲ：Multi Planer Reconstruction）を行なって３Ｄ画像データからＭＰＲ画像データを生成する処理を行う。なお、画像生成回路１４は、画像生成部の一例である。

0027

画像メモリ１５は、１フレーム当たり２軸方向に複数のメモリセルを備え、それを複数フレーム分備えたメモリである２次元メモリを含む。画像メモリ１５としての２次元メモリは、処理回路１７の制御による制御の下、画像生成回路１４によって生成された１フレーム、又は、複数フレームに係る２Ｄ画像データを記憶する。なお、画像メモリ１５は、記憶部の一例である。

0028

画像生成回路１４は、処理回路１７による制御の下、画像メモリ１５としての２次元メモリに配列された２Ｄ画像データに対し、必要に応じて補間処理を行う３次元再構成を行うことで、画像メモリ１５としての３次元メモリ内に２Ｄ画像データを３Ｄ画像データとして生成する。補間処理方法としては、公知の技術が用いられる。

0029

画像メモリ１５は、３軸方向（Ｘ軸、Ｙ軸、及びＺ軸方向）に複数のメモリセルを備えたメモリである３次元メモリを含む場合もある。画像メモリ１５としての３次元メモリは、処理回路１７の制御による制御の下、画像生成回路１４によって生成された２Ｄ画像データを３Ｄ画像データとして記憶する。

0030

ネットワークインターフェース１６は、ネットワークの形態に応じた種々の情報通信用プロトコルを実装する。ネットワークインターフェース１６は、この各種プロトコルに従って、超音波診断装置１０と、外部の医用画像管理装置６０及び医用画像表示装置７０等の他の機器とを接続する。この接続には、電子ネットワークを介した電気的な接続等を適用することができる。ここで、電子ネットワークとは、電気通信技術を利用した情報通信網全般を意味し、無線／有線の病院基幹のＬＡＮ（Local Area Network）やインターネット網のほか、電話通信回線網、光ファイバ通信ネットワーク、ケーブル通信ネットワーク及び衛星通信ネットワーク等を含む。

0031

また、ネットワークインターフェース１６は、非接触無線通信用の種々のプロトコルを実装してもよい。この場合、超音波診断装置１０は、例えば超音波プローブ２０と、ネットワークを介さず直接にデータ送受信することができる。なお、ネットワークインターフェース１６は、ネットワーク接続部の一例である。

0032

処理回路１７は、専用又は汎用のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processor Unit）、又はＧＰＵ（Graphics Processing Unit）の他、ＡＳＩＣ、及び、プログラマブル論理デバイス等を意味する。プログラマブル論理デバイスとしては、例えば、単純プログラマブル論理デバイス（ＳＰＬＤ：Simple Programmable Logic Device）、複合プログラマブル論理デバイス（ＣＰＬＤ：Complex Programmable Logic Device）、及び、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Field Programmable Gate Array）等が挙げられる。

0033

また、処理回路１７は、単一の回路によって構成されてもよいし、複数の独立した回路要素の組み合わせによって構成されてもよい。後者の場合、メインメモリ１８は回路要素ごとに個別に設けられてもよいし、単一のメインメモリ１８が複数の回路要素の機能に対応するプログラムを記憶するものであってもよい。

0034

メインメモリ１８は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、ハードディスク、光ディスク等によって構成される。メインメモリ１８は、ＵＳＢ（Universal Serial Bus）メモリ及びＤＶＤ（Digital Video Disk）等の可搬型メディアによって構成されてもよい。メインメモリ１８は、処理回路１７において用いられる各種処理プログラム（アプリケーションプログラムの他、ＯＳ（Operating System）等も含まれる）や、プログラムの実行に必要なデータを記憶する。また、ＯＳに、操作者に対するディスプレイ４０への情報の表示にグラフィックを多用し、基礎的な操作を入力インターフェース３０によって行うことができるＧＵＩ（Graphical User Interface）を含めることもできる。なお、メインメモリ１８は、記憶部の一例である。

0035

超音波プローブ２０は、前面部に複数個の微小な振動子（圧電素子）を備え、撮像部位を含む領域に対して超音波の送受波を行う。各振動子は電気音響変換素子であり、送信時には電気パルスを超音波パルスに変換し、また、受信時には反射波を電気信号（受信信号）に変換する機能を有する。超音波プローブ２０は小型、軽量に構成されており、ケーブル（又は無線通信）を介して超音波診断装置１０に接続される。

0036

超音波プローブ２０は、スキャン方式の違いにより、リニア型、コンベックス型、及びセクタ型等の種類に分けられる。また、超音波プローブ２０は、アレイ配列次元の違いにより、アジマス方向に１次元（１Ｄ）的に複数個の振動子が配列された１Ｄアレイプローブと、アジマス方向かつエレベーション方向に２次元（２Ｄ）的に複数個の振動子が配列された２Ｄアレイプローブとの種類に分けられる。なお、１Ｄアレイプローブは、エレベーション方向に少数の振動子が配列されたプローブを含む。

0037

ここで、パノラミックスキャン等の撮像が実行される場合、超音波プローブ２０として、リニア型、コンベックス型、及びセクタ型等のスキャン方式を備えた２Ｄアレイプローブが利用される。又は、撮像が実行される場合、超音波プローブ２０として、リニア型、コンベックス型、及びセクタ型等のスキャン方式を備え、エレベーション方向に機械的に揺動する機構を備えた１Ｄプローブが利用される。後者のプローブは、メカ４Ｄプローブとも呼ばれる。

0038

入力インターフェース３０は、操作者によって操作が可能な入力デバイスと、入力デバイスからの信号を入力する入力回路とを含む。入力デバイスは、トラックボール、スイッチ、マウス、キーボード、操作面に触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一化されたタッチスクリーン、光学センサを用いた非接触入力デバイス、及び音声入力デバイス等によって実現される。操作者により入力デバイスが操作されると、入力回路はその操作に応じた信号を生成して処理回路１７に出力する。なお、入力インターフェース３０は、入力部の一例である。

0039

ディスプレイ４０は、例えば液晶ディスプレイやＯＬＥＤ（Organic Light Emitting Diode）ディスプレイ等の一般的な表示出力装置により構成される。ディスプレイ４０は、処理回路１７の制御に従って各種情報を表示する。なお、ディスプレイ４０は、表示部の一例である。

0040

また、図１は、超音波診断装置１０の外部機器である医用画像管理装置６０及び医用画像表示装置７０を示す。医用画像管理装置６０は、例えば、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）サーバであり、ネットワークＮを介してデータ送受信可能に超音波診断装置１０等の機器に接続される。医用画像管理装置６０は、超音波診断装置１０によって生成された超音波画像等の医用画像をＤＩＣＯＭファイルとして管理する。

0041

医用画像表示装置７０は、ネットワークＮを介してデータ送受信可能に超音波診断装置１０や医用画像管理装置６０等の機器に接続される。医用画像表示装置７０としては、例えば、超音波診断装置１０によって生成された超音波画像に対して各種画像処理を施すワークステーションや、タブレット端末等の携帯型情報処理端末等が挙げられる。なお、医用画像表示装置７０はオフラインの装置であって、超音波診断装置１０によって生成された超音波画像を可搬型の記憶媒体を介して読み出し可能な装置であってもよい。

0042

続いて、医用画像処理装置Ｍ１を備えた超音波診断装置１０の機能について説明する。
図２は、医用画像処理装置Ｍ１を備えた超音波診断装置１０の機能を示すブロック図である。

0043

処理回路１７は、メインメモリ１８に記憶された、又は、処理回路１７内に直接組み込まれたプログラムを読み出して実行することで、画像取得機能１７１と、必要性情報生成機能１７２と、保存制御機能１７３とを実現する。以下、機能１７１〜１７３がソフトウェア的に機能する場合を例に挙げて説明するが、機能１７１〜１７３の全部又は一部は、超音波診断装置１０にＡＳＩＣ等の回路等として設けられるものであってもよい。

0044

画像取得機能１７１は、送受信回路１１と、Ｂモード処理回路１２と、ドプラ処理回路１３と、画像生成回路１４等を制御して、超音波プローブ２０を用いた超音波撮像を実行させて時系列で複数の超音波画像データ（例えば、造影画像データ）を取得する機能を含む。画像取得機能１７１は、画像取得部の一例である。

0045

ここで、各造影画像データに、当該造影画像データに含まれる病変部位の造影剤による染影状態により分類される時相帯に関する情報（以下、「時相帯」又は「時相帯情報」と称する）を紐づけることも可能である。時相帯情報は、一般的には、造影剤の注入開始を基準とした経過時間に応じて分類されるものだからである。ここで、時相帯情報とは、早期血管相と、動脈優位相と、門脈優位相と、後血管相等を意味する。

0046

必要性情報生成機能１７２は、各時相帯に係る複数の造影画像データの中の、腫瘍の確定診断で必要となる造影画像データに基づいて、保存の必要性に関する情報（必要性情報）を生成するための学習済みモデルに対して、被検体の造影画像データを入力することで、被検体の造影画像データの保存の必要性情報を生成する機能を含む。なお、必要性情報生成機能１７２は、処理部の一例である。

0047

保存制御機能１７３は、必要性情報生成機能１７２によって生成された必要性情報に従って、被検体の当該造影画像データのメインメモリ１８への保存を制御する機能を含む。また、保存制御機能１７３は、超音波撮像により生成された被検体の複数フレームの造影画像データのうち、保存の必要があると判断された造影画像データを、複数フレームの造影画像データからなる動画像データと関連付けてメインメモリ１８に保存する機能を有することが好適である。その場合、超音波診断装置１０や医用画像表示装置７０で動画像データを参照する医師等の操作者は、抽出されたフレームの造影画像データを容易に参照することができる。なお、保存制御機能１７３は、保存制御部の一例である。

0048

機能１７１〜１７３の詳細については、図３〜図９を用いて説明する。

0049

図３は、医用画像処理装置Ｍ１を備えた超音波診断装置１０の動作をフローチャートとして示す図である。図３において、「ＳＴ」に数字を付した符号はフローチャートの各ステップを示す。

0050

まず、画像取得機能１７１は、造影剤の注入を開始し（ステップＳＴ１）、送受信回路１１と、Ｂモード処理回路１２と、ドプラ処理回路１３と、画像生成回路１４等を制御して、超音波プローブ２０を用いた超音波撮像（例えば、ＣＨＩ（Contrast Harmonic Imaging））を開始させる（ステップＳＴ２）。画像取得機能１７１は、画像生成回路１４等を制御して、造影画像データを生成して画像メモリ１５に記憶させる（ステップＳＴ３）。また、画像取得機能１７１は、ステップＳＴ３によって生成された造影画像データをディスプレイ４０にライブ表示させる（ステップＳＴ４）。

0051

必要性情報生成機能１７２は、ステップＳＴ３によって生成された最新フレームの造影画像データに基づいて、当該造影画像データの保存に関する必要性情報を生成する（ステップＳＴ５）。ここで、各造影画像データに、「時相帯情報」を紐づけることも可能である。

0052

ここで、必要性情報生成機能１７２は、造影画像データに基づいて当該造影画像データの保存に関する必要性情報を生成する処理を行うものである。この処理には、例えば造影画像データと保存に関する必要性情報とを関連付けたルックアップテーブル（ＬＵＴ）が用いられてもよい。また、この処理には、機械学習が用いられてもよい。また、機械学習としてＣＮＮ（畳み込みニューラルネットワーク）や畳み込み深層信念ネットワーク（ＣＤＢＮ：Convolutional Deep Belief Network）等の、多層のニューラルネットワークを用いた深層学習が用いられてもよい。

0053

第１の実施形態の説明では、必要性情報生成機能１７２がニューラルネットワークＮ１を含み、深層学習を用いて、造影画像データに基づいて、当該造影画像データの保存に関する必要性情報を生成する場合の例を示す。

0054

図４（Ａ）は、学習時におけるデータフローの一例を示す説明図である。図４（Ｂ）は、トレーニングデータの例を表として示す図である。なお、図４（Ｂ）では、各造影画像データに、当該造影画像データに含まれる病変部位の造影剤による染影状態により分類される時相帯情報が紐づけられている。必要性情報生成機能１７２が、画像取得機能１７１で順次取得される複数の造影画像データについて、略リアルタイム（又は、ライブ）で必要性情報を生成する場合、各造影画像データに時相帯情報を紐付けることができる。なお、「略リアルタイム」は、超音波の送信と同時に超音波画像を生成（又は、表示）する場合に加え、超音波の送信から超音波画像を生成（又は、表示）するまでの処理時間の分だけ、超音波の送信から超音波画像を生成（又は、表示）するまでにタイムラグがある場合を含む。

0055

必要性情報生成機能１７２は、トレーニングデータが多数入力されて学習を行うことにより、パラメータデータＰ１を逐次的に更新する。トレーニングデータは、トレーニング入力データとしての造影画像データＳ１，Ｓ２，Ｓ３，…と、必要性情報Ｔ１，Ｔ２，Ｔ３，…との組みからなる。造影画像データＳ１，Ｓ２，Ｓ３，…は、トレーニング入力データ群Ｓを構成する。必要性情報Ｔ１，Ｔ２，Ｔ３，…は、トレーニング出力データ群Ｔを構成する。

0056

必要性情報生成機能１７２は、トレーニングデータが入力されるごとに、造影画像データＳ１，Ｓ２，Ｓ３，…をニューラルネットワークＮ１で処理した結果が必要性情報Ｔ１，Ｔ２，Ｔ３，…に近づくようにパラメータデータＰ１を更新していく、いわゆる学習を行う。一般に、パラメータデータＰ１の変化割合が閾値以内に収束すると、学習は終了と判断される。以下、学習後のパラメータデータＰ１を特に学習済みパラメータデータＰ１´（図５に図示）という。

0057

なお、トレーニング入力データの種類と図５に示す運用時の入力データの種類は一致させるべきことに注意する。例えば、運用時の入力データが被検体の造影画像データである場合は、学習時のトレーニング入力データ群Ｓもまた、造影画像データとする。

0058

また、「画像データ」は、超音波診断装置等の医用画像生成装置が生成する生データを含む。すなわち、ニューラルネットワークＮ１の入力データは、スキャンコンバート前の生データであってもよい。

0059

図５は、運用時におけるデータフローの一例を示す説明図である。

0060

運用時には、必要性情報生成機能１７２は、学習済みモデルＤ１に、診断対象となる被検体の造影画像データＳａを入力し、学習済みパラメータデータＰ１´を用いて被検体の造影画像データの保存に関する必要性情報Ｔａを出力する。

0061

なお、ニューラルネットワークＮ１と学習済みパラメータデータＰ１´は、学習済みモデルＤ１を構成する。ニューラルネットワークＮ１は、プログラムの形態でメインメモリ１８に記憶される。学習済みパラメータデータＰ１´は、メインメモリ１８に記憶されてもよいし、ネットワークＮを介して超音波診断装置１０と接続された記憶媒体に記憶されてもよい。この場合、処理回路１７のプロセッサにより実現される必要性情報生成機能１７２は、メインメモリ１８から学習済みモデルＤ１を読み出して実行することで、造影画像データに基づいて、保存に関する必要性情報を生成する。なお、学習済みモデルＤ１は、ＡＳＩＣ（Application Specific IntegratedCircuit）、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路によって構築されてもよい。

0062

なお、必要性情報生成機能１７２を含む学習済みモデルＤ１が出力する被検体の造影画像データの保存に関する必要性情報Ｔａは、例えば、必要「１」か不要「０」かのいずれかを示すデータであればよい。

0063

また、必要性情報生成機能１７２による判断精度を向上させるように、入力データとして、造影画像データに加えて、撮影対象の身長、体重、既往歴、及び血縁者の病歴の少なくとも１つを含む識別情報を用いてもよい。

0064

この場合、学習時には、トレーニング入力データとしての造影画像データＳ１，Ｓ２，Ｓ３，…のそれぞれの撮影対象者の識別情報も、トレーニング入力データとしてニューラルネットワークＮ１に入力する。運用時には、必要性情報生成機能１７２は、メインメモリ１８から読み出した学習済みモデルＤ１に対して診断対象となる被検体の造影画像データＳａと共に被検体の識別情報を入力することで、被検体の造影画像データの保存に関する必要性情報Ｔａを出力する。入力データとして造影画像データと撮影対象者の識別情報とを用いることで、撮影対象者のタイプに応じた学習を行った学習済みパラメータデータＰ１´を生成することができるため、造影画像データのみを入力データとする場合に比べて診断精度を向上させることができる。

0065

図３の説明に戻って、保存制御機能１７３は、ステップＳＴ５によって生成された保存に関する必要性情報に従って、ステップＳＴ３によって生成された造影画像データの保存の必要があるか否かを判断する（ステップＳＴ６）。ステップＳＴ６の判断にてＹＥＳ、つまり、ステップＳＴ３によって生成された造影画像データの保存の必要があると判断された場合、保存制御機能１７３は、ステップＳＴ３によって生成された造影画像データをメインメモリ１８に保存する（ステップＳＴ７）。ステップＳＴ７の保存は、ステップＳＴ３による記憶とは別に行われる。なお、保存制御機能１７３は、保存の必要があると判断された造影画像データを、複数フレームの造影画像データからなる動画像データと関連付けてメインメモリ１８に保存する機能を有することが好適である。

0066

図６は、造影画像データの動画像データへの関連付の概念を示す図である。

0067

図６に示すように、保存に関する必要性ありと判断された被検体の造影画像データは、複数フレームの造影画像データからなる動画像データと関連付けてメインメモリ１８に保存される。各時相帯において少なくとも１つの造影画像データについて保存の必要ありと判断されることが好適である。

0068

図３の説明に戻って、ステップＳＴ７の後と、ステップＳＴ６の判断にてＮＯ、つまり、ステップＳＴ３によって生成された造影画像データの保存の必要がないと判断された場合、画像取得機能１７１は、ステップＳＴ２によって開始された超音波撮像を終了するか否かを判断する（ステップＳＴ８）。

0069

ステップＳＴ８の判断にてＮＯ、即ち、ステップＳＴ２によって開始された超音波撮像を終了しないと判断された場合、画像取得機能１７１は、画像生成回路１４等を制御して、次のフレームについて、造影画像データを生成して画像メモリ１５に記憶させる（ステップＳＴ３）。つまり、超音波撮像が継続される。

0070

一方で、ステップＳＴ８の判断にてＹＥＳ、即ち、ステップＳＴ２によって開始された超音波撮像を終了すると判断された場合、画像取得機能１７１は、操作者が入力インターフェース３０を介して終了指示を行ったと判断して、超音波撮像を終了させる。

0071

つまり、図３に示すフローチャートによると、超音波診断装置１０は、ステップＳＴ３〜ＳＴ８のセットを繰り返すことで、フレームごとに、保存に関する必要性情報を生成して、それに従った保存を行うことになる。

0072

なお、造影画像データは、１フレーム画像データである場合に限定されるものではない。造影画像データは、連続する複数のフレームによって構成される動画像データであってもよい。その場合、現在までの複数の造影画像データからなる動画像データをトレーニング入力データとし、診断対象となる被検体の動画像データを造影画像データＳａとして学習済みモデルＤ１の入力とする。これにより、造影剤に含まれるバブルの動的な動きを学習することができる。

0073

また、図３に示すフローチャートによれば、必要性情報生成機能１７２は、連続する各フレームの造影画像データが生成される度に必要性情報を生成することになるが、その場合に限定されるものではない。例えば、必要性情報生成機能１７２は、一定のフレーム間隔をおいて生成された各フレームの造影画像データが生成される度に必要性情報を生成してもよいし、各時相帯の最初の１フレームの造影画像データが生成される度に必要性情報を生成してもよい。

0074

医用画像処理装置Ｍ１によれば、フレーム全体の動画像データとは別に診断に必要と推測される造影画像データを保存することにより、保存画像による後処理で、医師等の操作者の経験や主観によらない腫瘍の確定診断を可能にすると共に、診断時間の短縮を実現することができる。

0075

２．第２の実施形態に係る医用画像処理装置
前述の第１の実施形態では、時相帯を問わず、１つのニューラルネットワークを構成するもの、つまり、必要性情報生成機能１７２が、１個の学習済みモデルに対して、各時相帯に係る被検体の造影画像データを入力することで、各時相帯に係る被検体の造影画像データの保存に関する必要性情報を生成するものとして説明した。しかしながら、その場合に限定されるものではない。

0076

例えば、時相帯ごとに１つのニューラルネットワークを構成するもの、つまり、必要性情報生成機能１７２が、複数の時相帯に対応する複数の学習済みモデルのうち時相帯が対応する学習済みモデルに対して、被検体の造影画像データを入力することで、被検体の造影画像データの保存に関する必要性情報を生成するものであってもよい。その場合を、第２の実施形態に係る医用画像処理装置Ｍ２（図１及び図２に図示）として説明する。

0077

医用画像処理装置Ｍ２の構成及び機能は、図１及び図２に示すものと同等であり、医用画像処理装置Ｍ２の動作は、図３に示すものと同等であるので、説明を省略する。

0078

図２に示す必要性情報生成機能１７２は、図３に示すステップＳＴ５において、ステップＳＴ３によって生成された最新フレームの造影画像データに基づいて、当該造影画像データの保存に関する必要性情報を生成する。

0079

ここで、必要性情報生成機能１７２は、対象フレームに該当する時相帯に応じて、保存に関する必要性情報を生成する処理を行うものである。この処理には、例えば、造影画像データと保存に関する必要性情報とを関連付けた時相帯ごとのルックアップテーブルが用いられてもよい。また、この処理には、機械学習が用いられてもよい。また、機械学習としてＣＮＮや畳み込み深層信念ネットワーク等の、多層のニューラルネットワークを用いた深層学習が用いられてもよい。

0080

第２の実施形態の説明では、必要性情報生成機能１７２が複数のニューラルネットワークＮ２（例えば、（図７（Ａ），（Ｂ）等に図示する「Ｎ２１」、「Ｎ２２」））を含み、深層学習を用いて、造影画像データに基づいて、保存に関する必要性情報を生成する場合の例を示す。

0081

図７（Ａ）は、第１の時相帯の場合の、学習時におけるデータフローの一例を示す説明図である。図７（Ｂ）は、第２の時相帯の場合の、学習時におけるデータフローの一例を示す説明図である。

0082

図７（Ａ）について説明する。必要性情報生成機能１７２は、第１の時相帯で生成された造影画像データがトレーニングデータとして多数入力されて学習を行うことにより、パラメータデータＰ２１を逐次的に更新する。トレーニングデータは、トレーニング入力データとしての、第１の時相帯で生成された造影画像データＵ１，Ｕ２，Ｕ３，…と、保存の必要性情報Ｖ１，Ｖ２，Ｖ３，…との組みからなる。第１の時相帯で生成された造影画像データＵ１，Ｕ２，Ｕ３，…は、トレーニング入力データ群Ｕを構成する。保存の必要性情報Ｖ１，Ｖ２，Ｖ３，…は、トレーニング出力データ群Ｖを構成する。

0083

必要性情報生成機能１７２は、トレーニングデータが入力されるごとに、第１の時相帯で生成された造影画像データＵ１，Ｕ２，Ｕ３，…をニューラルネットワークＮ２１で処理した結果が保存に関する必要性情報Ｖ１，Ｖ２，Ｖ３，…に近づくようにパラメータデータＰ２１を更新していく、いわゆる学習を行う。一般に、パラメータデータＰ２１の変化割合が閾値以内に収束すると、学習は終了と判断される。以下、学習後のパラメータデータＰ２１を特に学習済みパラメータデータＰ２１´（図８（Ａ）に図示）という。

0084

なお、トレーニング入力データの種類と図８（Ａ）に示す運用時の入力データの種類は一致させるべきことに注意する。例えば、運用時の入力データが被検体の造影画像データである場合は、学習時のトレーニング入力データ群Ｕもまた、造影画像データとする。

0085

また、「画像データ」は、超音波診断装置等の医用画像生成装置が生成する生データを含む。すなわち、ニューラルネットワークＮ２１の入力データは、スキャンコンバート前の生データであってもよい。

0086

一方で、図７（Ｂ）について説明する。図７（Ａ）の場合と同様に、必要性情報生成機能１７２は、第２の時相帯で生成された造影画像データがトレーニングデータとして多数入力されて学習を行うことにより、パラメータデータＰ２２を逐次的に更新する。

0087

図８（Ａ）は、第１の時相帯の場合の、運用時におけるデータフローの一例を示す説明図である。図８（Ｂ）は、第２の時相帯の場合の、運用時におけるデータフローの一例を示す説明図である。

0088

図８（Ａ）について説明する。運用時には、必要性情報生成機能１７２は、診断対象となる被検体の対象フレーム（例えば、最新フレーム）に対応する時相帯を得る。そして、必要性情報生成機能１７２は、当該時相帯が第１の時相帯であると判断する場合に、学習済みモデルＤ２１に、造影画像データＵａを入力し、学習済みパラメータデータＰ２１´を用いて被検体の造影画像データの保存に関する必要性情報Ｖａを出力する。

0089

なお、ニューラルネットワークＮ２１と学習済みパラメータデータＰ２１´は、学習済みモデルＤ２１を構成する。ニューラルネットワークＮ２１は、プログラムの形態でメインメモリ１８に記憶される。学習済みパラメータデータＰ２１´は、メインメモリ１８に記憶されてもよいし、ネットワークＮを介して超音波診断装置１０と接続された記憶媒体に記憶されてもよい。この場合、処理回路１７のプロセッサにより実現される必要性情報生成機能１７２は、メインメモリ１８から学習済みモデルＤ２１を読み出して実行することで、造影画像データに基づいて、当該造影画像データの保存に関する必要性情報を生成する。なお、学習済みモデルＤ２１は、ＡＳＩＣ、ＦＰＧＡ等の集積回路によって構築されてもよい。

0090

なお、必要性情報生成機能１７２を含む学習済みモデルＤ２１が出力する被検体の造影画像データの保存に関する必要性情報Ｖａは、例えば、必要「１」か不要「０」かのいずれかを示すデータであればよい。

0091

また、必要性情報生成機能１７２による判断精度を向上させるように、入力データとして、造影画像データに加えて撮影対象の身長、体重、既往歴、及び血縁者の病歴の少なくとも１つを含む識別情報を用いてもよい。

0092

一方で、図８（Ｂ）について説明する。図８（Ａ）の場合と同様に、運用時には、必要性情報生成機能１７２は、診断対象となる被検体の対象フレーム（例えば、最新フレーム）に対応する時相帯を得る。そして、必要性情報生成機能１７２は、当該時相帯が第２の時相帯であると判断する場合に、学習済みモデルＤ２２に、造影画像データＷａを入力し、学習済みパラメータデータＰ２２´を用いて被検体の造影画像データの保存に関する必要性情報Ｘａを出力する。

0093

なお、造影画像データは、１フレーム画像データである場合に限定されるものではない。造影画像データは、連続する複数のフレームによって構成される、時相帯毎の動画像データであってもよい。その場合、第１の時相帯に係る動画像データを、第１の時相帯に係るトレーニング入力データとし、被検体の、第１の時相帯に係る動画像データＵａを、学習済みモデルＤ２１に入力する。また、第２の時相帯に係る動画像データを、第２の時相帯に係るトレーニング入力データとし、被検体の、第２の時相帯に係る動画像データＷａを学習済みモデルＤ２２に入力する。これらにより、造影剤に含まれるバブルの動的な動きを学習することができる。

0094

また、造影画像データは、連続する複数のフレームによって構成される、インデックスで複数の時相帯に分けれる１つの動画像データであってもよい。その場合、インデックスによって分けられる第１の時相帯に係る動画像の部分データを、第１の時相帯に係るトレーニング入力データとし、被検体の、第１の時相帯に係る動画像の部分データＵａを学習済みモデルＤ２１に入力する。

0095

医用画像処理装置Ｍ２によれば、時相帯ごとに１つの学習済みモデルを構築・運用することで、医用画像処理装置Ｍ１による効果に加え、より確度の高い保存精度を得ることができる。

0096

３．第３の実施形態に係る医用画像処理装置
前述の第１の実施形態では、時相帯を問わず、１つのニューラルネットワークを構成するもの、第２の実施形態では、時相帯ごとに１つのニューラルネットワークを構成するものとして説明したが、その場合に限定されるものではない。

0097

例えば、腫瘍のカテゴリー分類を問わず、１つのニューラルネットワークを構成するもの、つまり、必要性情報生成機能１７２が、１個の学習済みモデルに対して、腫瘍の各カテゴリー分類に係る被検体の造影画像データを入力することで、各カテゴリー分類に係る被検体の造影画像データの保存に関する必要性情報を生成するものであってもよい。

0098

また、例えば、腫瘍のカテゴリー分類ごとに１つのニューラルネットワークを構成するもの、つまり、必要性情報生成機能１７２が、腫瘍の複数のカテゴリー分類に対応する複数の学習済みモデルのうちカテゴリー分類が対応する学習済みモデルに対して、被検体の造影画像データを入力することで、被検体の造影画像データの保存に関する必要性情報を生成するものであってもよい。その場合を、第３の実施形態に係る医用画像処理装置Ｍ３（図１及び図２に図示）として説明する。

0099

医用画像処理装置Ｍ３の構成及び機能は、図１及び図２に示すものと同等であり、医用画像処理装置Ｍ３の動作は、図３に示すものと同等であるので、説明を省略する。

0100

その場合、必要性情報生成機能１７２は、腫瘍の第１のカテゴリー分類に係る造影画像データに基づいて保存に関する必要性情報を生成する第１の学習済みモデルに対して、第１のカテゴリー分類に係る被検体の造影画像データを入力することで、被検体の造影画像データの保存に関する必要性情報を生成する。一方で、必要性情報生成機能１７２は、腫瘍の第２のカテゴリー分類に係る造影画像データに基づいて保存に関する必要性情報を生成する第２の学習済みモデルに対して、第２のカテゴリー分類に係る被検体の造影画像データを入力することで、被検体の造影画像データの保存に関する必要性情報を生成する。

0101

なお、腫瘍のカテゴリー分類に関する情報は、例えば、ＨＣＣ（肝細胞癌）、Ｍｅｔａ（転移性肝腫瘍）、Ｈｅｍａ（肝血管腫）、及びＦＮＨ（限局性結節）等である。

0102

第３の実施形態に係る医用画像処理装置Ｍ３によれば、腫瘍のカテゴリー分類ごとに１つの学習済みモデルＤ３を構築・運用することで、医用画像処理装置Ｍ１による効果に加え、より確度の高い保存精度を得ることができる。

0103

４．第１の変形例
前述の第１〜第３の実施形態に係る医用画像処理装置Ｍ１〜Ｍ３において、トレーニング入力データや学習済みモデルへの入力が、造影画像データである場合や、造影画像データと識別情報等の付帯情報とである場合について説明したが、その場合に限定されるものではない。トレーニング入力データや学習済みモデルへの入力に、Ｂモード画像データ、カラードプラ画像データ、及びパワードプラ画像データのうち少なくとも１つの画像データを加えてもよい。

0104

なお、Ｂモード画像データは、ＣＨＩによる造影画像データとは別の撮像で生成されたいわゆるＢモード画像データや、基本波成分の反射波データ（受信信号）から生成された、造影画像と同一のスキャンで生成されたファンダメンタル画像データ等を含む。

0105

第１〜第３の実施形態に係る医用画像処理装置Ｍ１〜Ｍ３の第１の変形例によれば、医用画像処理装置Ｍ１〜Ｍ３による効果に加え、より確度の高い診断結果を得ることができる。

0106

５．第２の変形例
前述の第１の実施形態において、トレーニング出力データが、保存の必要性情報である場合について説明したが、その場合に限定されるものではない。トレーニング出力データに、必要性情報の他、時相帯情報及び確定診断結果データのうち少なくとも１つを加えてもよい。時相帯情報の例について、後述の第４の実施形態で説明する。

0107

確定診断結果データは、例えば、良性か悪性かのいずれかを示すデータであってもよいし、ＨＣＣ、Ｍｅｔａ、Ｈｅｍａ、及びＦＮＨ等のカテゴリー分類のいずれに属するかを示すデータであってもよいし、カテゴリー分類の可能性をパーセントで示すデータ（例えば、良性ｘ％、悪性ｙ％）であってもよい。さらに、カテゴリー分類は、ＨＣＣ等をさらに細分化した分化度（高分化、低分化等）であってもよい。

0108

医用画像処理装置Ｍ１〜Ｍ３（変形例含む）によれば、医師等の操作者の経験や主観によらない腫瘍の確定診断を可能にすると共に、診断時間の短縮を実現することができる。

0109

６．第４の実施形態に係る医用画像処理装置
以上の第１〜第３の実施形態では、画像取得機能１７１がライブで造影画像データを取得し、必要性情報生成機能１７２が略リアルタイムで各造影画像データの必要性情報を生成する場合について説明した。つまり、各造影画像データの時相帯情報が既知の場合である。ここでは、各造影画像データの時相帯情報が不知の場合について、第４の実施形態に係る医用画像処理装置Ｍ４（図１及び図２に図示）として説明する。各造影画像データの時相帯情報が不知の場合は、画像取得機能１７１が撮像終了後に画像メモリ１５から複数の造影画像データを取得し、必要性情報生成機能１７２が、複数の造影画像データに基づいてポストプロセス（後処理）で必要性情報を生成する場合はもちろん、必要性情報生成機能１７２が略リアルタイムで必要性情報を生成する場合も含み得る。

0110

必要性情報生成機能１７２は、画像取得機能１７１によって取得された造影画像データに基づいて、当該造影画像データに含まれる病変部位の造影剤による染影状態により分類される時相帯情報を生成するための学習済みモデルに対して、造影画像データを入力することで、時相帯情報を生成する。

0111

図９（Ａ）は、運用時におけるデータフローの一例を示す説明図である。

0112

図９（Ａ）について説明する。必要性情報生成機能１７２は、所定のフレームに係る造影画像データがトレーニングデータとして多数入力されて学習を行うことにより、パラメータデータＰ４を逐次的に更新する。トレーニングデータは、トレーニング入力データとしての、各フレームの造影画像データＳ１，Ｓ２，Ｓ３，…と、時相帯情報Ｙ１，Ｙ２，Ｙ３，…との組みからなる。造影画像データＳ１，Ｓ２，Ｓ３，…は、トレーニング入力データ群Ｓを構成する。時相帯情報Ｙ１，Ｙ２，Ｙ３，…は、トレーニング出力データ群Ｙを構成する。

0113

必要性情報生成機能１７２は、トレーニングデータが入力されるごとに、造影画像データＳ１，Ｓ２，Ｓ３，…をニューラルネットワークＮ４で処理した結果が保存に関する時相帯情報Ｙ１，Ｙ２，Ｙ３，…に近づくようにパラメータデータＰ４を更新していく、いわゆる学習を行う。一般に、パラメータデータＰ４の変化割合が閾値以内に収束すると、学習は終了と判断される。以下、学習後のパラメータデータＰ４を特に学習済みパラメータデータＰ４´という。

0114

なお、トレーニング入力データの種類と図９（Ｂ）に示す運用時の入力データの種類は一致させるべきことに注意する。例えば、運用時の入力データが被検体の造影画像データである場合は、学習時のトレーニング入力データ群Ｓもまた、造影画像データとする。

0115

また、「画像データ」は、超音波診断装置等の医用画像生成装置が生成する生データを含む。すなわち、ニューラルネットワークＮ４の入力データは、スキャンコンバート前の生データであってもよい。

0116

一方で、図９（Ｂ）について説明する。図９（Ａ）の場合と同様に、必要性情報生成機能１７２は、造影画像データがトレーニングデータとして多数入力されて学習を行うことにより、パラメータデータＰ４を逐次的に更新する。

0117

図９（Ｂ）は、第１の時相帯の場合の、運用時におけるデータフローの一例を示す説明図である。

0118

図９（Ｂ）について説明する。運用時には、必要性情報生成機能１７２は、診断対象となる被検体の対象フレームに対応する造影画像データＳａを入力し、学習済みパラメータデータＰ４´を用いて被検体の造影画像データの保存に関する時相帯情報Ｙａを出力する。

0119

なお、ニューラルネットワークＮ４と学習済みパラメータデータＰ４´は、学習済みモデルＤ４を構成する。ニューラルネットワークＮ４は、プログラムの形態でメインメモリ１８に記憶される。学習済みパラメータデータＰ４´は、メインメモリ１８に記憶されてもよいし、ネットワークＮを介して超音波診断装置１０と接続された記憶媒体に記憶されてもよい。この場合、処理回路１７のプロセッサにより実現される必要性情報生成機能１７２は、メインメモリ１８から学習済みモデルＤ４を読み出して実行することで、造影画像データに基づいて、当該造影画像データの時相帯情報を生成する。なお、学習済みモデルＤ４は、ＡＳＩＣ、ＦＰＧＡ等の集積回路によって構築されてもよい。

0120

また、必要性情報生成機能１７２による判断精度を向上させるように、入力データとして、造影画像データに加えて撮影対象の身長、体重、既往歴、及び血縁者の病歴の少なくとも１つを含む識別情報を用いてもよい。

0121

これにより、各造影画像データの時相帯情報が既知となる。必要性情報生成機能１７２は、第１〜第３の実施形態で説明したように、複数の造影画像データと、それらの時相帯情報とに基づいて、必要性情報を生成するための学習済みモデルに対して、被検体の造影画像データを入力することで、被検体の造影画像データの保存の必要性情報を生成することができる。つまり、第４の実施形態を、第１〜第３の実施形態のいずれかに適用することができる。

0122

医用画像処理装置Ｍ４によれば、造影剤注入開始を基準とする経過時間のみならず、造影画像データから時相帯情報を推測することができる。また、推測された時相帯情報を第１〜第３の実施形態に適用することで、撮像終了後のポストプロセスで、医師等の操作者の経験や主観によらない腫瘍の確定診断を可能にすると共に、診断時間の短縮を実現することができる。

0123

７．第５の実施形態に係る医用画像処理装置
前述の第１〜第４の実施形態では、各造影画像データの時相帯情報の設定や、各造影画像データの必要性情報の設定を特徴とするものである。本実施形態は、前述の各造影画像データの時相帯情報又は必要性情報に基づいて、腫瘍に関する被検体の診断結果データを生成するものである。この場合について、第５の実施形態に係る医用画像処理装置Ｍ５（図１に図示）として説明する。

0124

第５の実施形態に係る医用画像処理装置Ｍ５の構成は、図１に示すものと同等であるので、説明を省略する。

0125

図１０は、医用画像処理装置Ｍ５の機能を示すブロック図である。

0126

処理回路１７は、メインメモリ１８に記憶された、又は、処理回路１７内に直接組み込まれたプログラムを読み出して実行することで、画像取得機能１７１と、診断結果生成機能１７４と、出力制御機能１７５とを実現する。以下、機能１７１，１７４，１７５がソフトウェア的に機能する場合を例に挙げて説明するが、機能１７１，１７４，１７５の全部又は一部は、超音波診断装置１０にＡＳＩＣ等の回路等として設けられるものであってもよい。

0127

なお、図１０において、図２に示す部材と同一部材には同一符号を付して説明を省略する。

0128

診断結果生成機能１７４は、異なる複数の時相帯に係る複数の造影画像データに基づいて腫瘍に関する診断結果データを生成するための学習済みモデルに対して、複数の時相帯に係る被検体の複数の造影画像データを入力することで、病変部位の種類に係る情報（例えば、腫瘍に関する被検体の診断結果データ）を生成する機能を含む。なお、診断結果生成機能１７４は、診断結果生成部の一例である。

0129

出力制御機能１７５は、診断結果生成機能１７４によって生成された診断結果データをディスプレイ４０に表示させ、又は、スピーカ（図示省略）を介して音声出力することにより医師等の操作者に診断結果データを提示する機能を含む。なお、出力制御機能１７５は、出力制御部の一例である。

0130

機能１７１，１７４，１７５の詳細については、図１１〜図１７を用いて説明する。

0131

続いて、超音波診断装置１０の動作について説明する。ここでは、異なるｎ（ｎ＝２，３，４，…）個の時相帯として異なる２個（又は３個）の時相帯の組み合わせを例にとって説明するが、その場合に限定されるものではない。異なる複数の時相帯は、例えば、異なる４個以上の時相帯の組み合わせであってもよい。

0132

図１１は、超音波診断装置１０の動作をフローチャートとして示す図である。図１１において、「ＳＴ」に数字を付した符号はフローチャートの各ステップを示す。

0133

図１１において、図３と同一ステップには同一符号を付して説明を省略する。

0134

ステップＳＴ４に続き、診断結果生成機能１７４は、ステップＳＴ３によって生成された造影画像データの時相が、造影剤注入後の２番目以降の時相帯に係るか否かを判断する（ステップＳＴ１５）。造影剤注入後は、造影剤による腫瘍の染影の程度によって複数の時相帯に分類される。例えば、撮像部位が肝臓である場合、造影剤の注入開始からの経過時間に従って、早期血管相、動脈優位相、門脈優位相、及び後血管相等の時相帯に分類される。

0135

ステップＳＴ１５の判断にてＮＯ、つまり、ステップＳＴ３によって生成された造影画像データの時相が、造影剤注入後の最初の時相帯（例えば、早期血管相）に係ると判断される場合、画像取得機能１７１は、画像生成回路１４等を制御して、次のフレームについて、造影画像データを生成して画像メモリ１５に記憶させる（ステップＳＴ３）。

0136

一方で、ステップＳＴ１５の判断にてＹＥＳ、つまり、ステップＳＴ３によって生成された造影画像データの時相が、造影剤注入後の２番目以降の時相帯（例えば、動脈優位相）に係ると判断される場合、診断結果生成機能１７４は、ステップＳＴ３によって生成された最新フレームの造影画像データと、画像メモリ１５に記載されている過去フレームの造影画像データとに基づいて、腫瘍に関する診断結果データを生成する（ステップＳＴ１６）。ここで、過去フレームの造影画像データは、最新フレームの時相帯とは異なる時相帯に係るフレームの画像データである。

0137

ここで、診断結果生成機能１７４は、異なる２個の時相帯でそれぞれ生成された２個の造影画像データの組み合わせに基づいて腫瘍に関する診断結果データを生成する処理を行うものである。この処理には、例えば、２個の時相帯でそれぞれ生成された２個の造影画像データの組み合わせと腫瘍に関する診断結果データとを関連付けたルックアップテーブル（ＬＵＴ）が用いられてもよい。また、この処理には、機械学習が用いられてもよい。また、機械学習としてＣＮＮや畳み込み深層信念ネットワーク等の、多層のニューラルネットワークを用いた深層学習が用いられてもよい。

0138

第５の実施形態の説明では、診断結果生成機能１７４がニューラルネットワークＮ５を含み、深層学習を用いて、２個の時相帯でそれぞれ生成された２個の造影画像データ（第１の時相帯に係る１個の造影画像データと第２の時相帯に係る１個の造影画像データ）の組み合わせに基づいて、腫瘍に関する診断結果データを生成する場合の例を示す。
図１２（Ａ）は、学習時におけるデータフローの一例を示す説明図である。図１２（Ｂ）は、トレーニングデータの例を表として示す図である。

0139

診断結果生成機能１７４は、トレーニングデータが多数入力されて学習を行うことにより、パラメータデータＰ５を逐次的に更新する。トレーニングデータは、トレーニング入力データとしての２個の時相帯でそれぞれ生成された２個の造影画像データの組み合わせＦ１，Ｆ２，Ｆ３，…と、理想的な診断結果Ｇ１，Ｇ２，Ｇ３，…との組みからなる。２個の時相帯でそれぞれ生成された２個の造影画像データの組み合わせＦ１，Ｆ２，Ｆ３，…は、トレーニング入力データ群Ｆを構成する。理想的な診断結果Ｇ１，Ｇ２，Ｇ３，…は、トレーニング出力データ群Ｇを構成する。理想的な診断結果Ｇ１，Ｇ２，Ｇ３，…はそれぞれ、対応する組み合わせＦ１，Ｆ２，Ｆ３，…の撮影対象者から組織を取り出して診断することで確定した腫瘍に関する確定診断結果であるとよい。

0140

診断結果生成機能１７４は、トレーニングデータが入力されるごとに、２個の時相帯でそれぞれ生成された２個の造影画像データの組み合わせＦ１，Ｆ２，Ｆ３，…をニューラルネットワークＮ５で処理した結果が腫瘍に関する確定診断結果Ｇ１，Ｇ２，Ｇ３，…に近づくようにパラメータデータＰ５を更新していく、いわゆる学習を行う。一般に、パラメータデータＰ５の変化割合が閾値以内に収束すると、学習は終了と判断される。以下、学習後のパラメータデータＰ５を特に学習済みパラメータデータＰ５´（図１３に図示）という。

0141

なお、トレーニング入力データの種類と図１３に示す運用時の入力データの種類は一致させるべきことに注意する。例えば、運用時の入力データが被検体の造影画像データである場合は、学習時のトレーニング入力データ群Ｆもまた、造影画像データとする。

0142

また、「画像データ」は、超音波診断装置等の医用画像生成装置が生成する生データを含む。すなわち、ニューラルネットワークＮ５の入力データは、スキャンコンバート前の生データであってもよい。

0143

図１３は、運用時におけるデータフローの一例を示す説明図である。

0144

運用時には、診断結果生成機能１７４は、学習済みモデルＤ５に、診断対象となる被検体の、２個の時相帯でそれぞれ生成された２個の造影画像データの組み合わせＦａを入力し、学習済みパラメータデータＰ５´を用いて被検体の腫瘍に関する診断結果データＧａを出力する。

0145

なお、ニューラルネットワークＮ５と学習済みパラメータデータＰ５´は、学習済みモデルＤ５を構成する。ニューラルネットワークＮ５は、プログラムの形態でメインメモリ１８に記憶される。学習済みパラメータデータＰ５´は、メインメモリ１８に記憶されてもよいし、ネットワークＮを介して超音波診断装置１０と接続された記憶媒体に記憶されてもよい。この場合、処理回路１７のプロセッサにより実現される診断結果生成機能１７４は、メインメモリ１８から学習済みモデルＤ５を読み出して実行することで、２個の時相帯でそれぞれ生成された２個の造影画像データの組み合わせに基づいて、腫瘍に関する診断結果データを生成する。なお、学習済みモデルＤ５は、ＡＳＩＣ、ＦＰＧＡ等の集積回路によって構築されてもよい。

0146

なお、診断結果生成機能１７４を含む学習済みモデルＤ５が出力する被検体の腫瘍に関する診断結果データＧａは、例えば、良性か悪性かのいずれかを示すデータであってもよいし、ＨＣＣ（肝細胞癌）、Ｍｅｔａ（転移性肝腫瘍）、Ｈｅｍａ（肝血管腫）、及びＦＮＨ（限局性結節）等のカテゴリー分類のいずれに属するかを示すデータであってもよいし、カテゴリー分類の可能性をパーセントで示すデータ（例えば、良性ｘ％、悪性ｙ％）であってもよい。さらに、カテゴリー分類は、ＨＣＣ等をさらに細分化した分化度（高分化、低分化等）であってもよい。

0147

また、診断結果生成機能１７４による腫瘍に関する診断精度を向上させるように、入力データとして、２個の造影画像データの組み合わせに加えて、撮影対象の身長、体重、既往歴、及び血縁者の病歴の少なくとも１つを含む識別情報を用いてもよい。

0148

この場合、学習時には、トレーニング入力データとしての２個の時相帯でそれぞれ生成された２個の造影画像データの組み合わせＦ１，Ｆ２，Ｆ３，…のそれぞれの撮影対象者の識別情報も、トレーニング入力データとしてニューラルネットワークＮ５に入力する。運用時には、診断結果生成機能１７４は、メインメモリ１８から読み出した学習済みモデルＤ５に対して診断対象となる被検体の２個の時相帯でそれぞれ生成された２個の造影画像データの組み合わせＦａと共に被検体の識別情報を入力することで、被検体の腫瘍に関する診断結果データＧａを出力する。入力データとして２個の時相帯でそれぞれ生成された２個の造影画像データの組み合わせと撮影対象者の識別情報とを用いることで、撮影対象者のタイプに応じた学習を行った学習済みパラメータデータＰ５´を生成することができるため、２個の時相帯でそれぞれ生成された２個の造影画像データの組み合わせのみを入力データとする場合に比べて診断精度を向上させることができる。

0149

図１１の説明に戻って、出力制御機能１７５は、ステップＳＴ１６によって生成された診断結果データをディスプレイ４０に表示させる（ステップＳＴ１７）。又は、出力制御機能１７５は、スピーカ（図示省略）を介して音声出力することにより医師等の操作者に診断結果データを提示する。

0150

図１４は、診断結果の表示例を示す図である。

0151

図１４に示すように、表示画面は、最新フレームの造影画像データに基づく画像と、それに組み合わされた過去フレームの造影画像データに基づく画像と、診断結果生成機能１７４の出力である診断結果データとを含む。診断結果として、カテゴリー分類の可能性をパーセントで示すデータを含む。

0152

図１１の説明に戻って、画像取得機能１７１は、ステップＳＴ２によって開始された超音波撮像を終了するか否かを判断する（ステップＳＴ１８）。

0153

ステップＳＴ１８の判断にてＮＯ、即ち、ステップＳＴ２によって開始された超音波撮像を終了しないと判断された場合、画像取得機能１７１は、画像生成回路１４等を制御して、次のフレームについて、造影画像データを生成して画像メモリ１５に記憶させる（ステップＳＴ３）。つまり、超音波撮像が継続される。

0154

一方で、ステップＳＴ１８の判断にてＹＥＳ、即ち、ステップＳＴ２によって開始された超音波撮像を終了すると判断された場合、画像取得機能１７１は、操作者が入力インターフェース３０を介して終了指示を行ったと判断して、超音波撮像を終了させる。

0155

つまり、図１１に示すフローチャートによると、超音波診断装置１０は、２番目以降の時相帯においてステップＳＴ３，ＳＴ４，ＳＴ１５〜ＳＴ１８のセットを繰り返すことで、フレームごとに、腫瘍に関する診断結果データを生成して表示することになる。

0156

なお、造影画像データは、１フレーム画像データである場合に限定されるものではない。造影画像データは、連続する複数のフレームによって構成される動画像データであってもよい。その場合、２個の動画像データの組み合わせをトレーニング入力データとし、診断対象となる被検体の２個の動画像データの組み合わせＦａを学習済みモデルＤ５の入力とする。これにより、造影剤に含まれるバブルの動的な動きを学習することができる。

0157

また、図１１に示すフローチャートによれば、診断結果生成機能１７４は、連続する各フレームの造影画像データが生成される度に診断結果データを生成することになるが、その場合に限定されるものではない。例えば、診断結果生成機能１７４は、一定のフレーム間隔をおいて生成された各フレームの造影画像データが生成される度に診断結果データを生成してもよいし、各時相帯の最初の１フレームの造影画像データが生成される度に診断結果データを生成してもよい。

0158

医用画像処理装置Ｍ５によれば、異なる複数の時相帯で得られた複数の造影画像データに基づく腫瘍の確定診断を支援することができるので、リアルタイムで医師等の操作者の経験や主観によらない腫瘍の確定診断が可能となる。

0159

８．第６の実施形態に係る医用画像処理装置
前述の第５の実施形態では、時相帯を問わず、１つのニューラルネットワークを構成するもの、つまり、診断結果生成機能１７４が、１個の学習済みモデルに対して、各時相帯に係る被検体の造影画像データを入力することで、各時相帯に係る被検体の診断結果データを生成するものとして説明した。しかしながら、その場合に限定されるものではない。

0160

例えば、所定の時相帯以前に係る複数の時相帯の組み合わせに基づいて１つのニューラルネットワークを構成すると共に、別の時相帯以前に係る複数の時相帯の組み合わせに基づいて１つのニューラルネットワークを構成するものであってもよい。つまり、診断結果生成機能１７４は、複数の時相帯に係る複数の造影画像データの組み合わせに対応する複数の学習済みモデルのうち組み合わせが対応する学習済みモデルに対して、被検体の複数の造影画像データの組み合わせを入力することで、被検体の診断結果データを生成する。その場合を、第６の実施形態に係る医用画像処理装置Ｍ６（図１及び図１０に図示）として説明する。

0161

医用画像処理装置Ｍ６の構成及び機能は、図１及び図１０に示すものと同等であり、医用画像処理装置Ｍ６の動作は、図１１に示すものと同等であるので、説明を省略する。

0162

図１０に示す診断結果生成機能１７４は、図１１に示すステップＳＴ１６において、ステップＳＴ３によって生成された最新フレームの造影画像データと、画像メモリ１５に記載されている過去フレームの造影画像データとの組み合わせに基づいて、腫瘍に関する診断結果データを生成する。

0163

ここで、診断結果生成機能１７４は、対象フレームが、第１の時相帯の場合とその次の第２の時相帯の場合とで区別して処理を行う。診断結果生成機能１７４は、対象フレームが第１の時相帯の場合には、第１の時相帯以前に係るｎ個の時相帯に対応するｎ個の造影画像データの組み合わせに基づいて腫瘍に関する診断結果データを生成する処理を行い、対象フレームが第２の時相帯の場合には、第２の時相帯以前に係るｎ＋１個の時相帯に対応するｎ＋１個の造影画像データの組み合わせに基づいて腫瘍に関する診断結果データを生成する処理を行うものである。

0164

この処理には、例えば、第１の時相帯以前の、２個の時相帯でそれぞれ生成された２個の造影画像データの組み合わせと腫瘍に関する診断結果データとを関連付けたルックアップテーブルと、第２の時相帯以前の、３個の時相帯でそれぞれ生成された３個の造影画像データの組み合わせと腫瘍に関する診断結果データとを関連付けたルックアップテーブルとが用いられてもよい。また、この処理には、機械学習が用いられてもよい。また、機械学習としてＣＮＮや畳み込み深層信念ネットワーク等の、多層のニューラルネットワークを用いた深層学習が用いられてもよい。

0165

第６の実施形態の説明では、診断結果生成機能１７４が複数のニューラルネットワークＮ６（例えば、（図１５（Ａ），（Ｂ）等に図示する「Ｎ６１」、「Ｎ６２」））を含み、深層学習を用いて、ｎ個の時相帯でそれぞれ生成されたｎ個の造影画像データの組み合わせに基づいて、腫瘍に関する診断結果データを生成する場合の例を示す。

0166

図１５（Ａ）は、第１の時相帯以前に対応する複数の時相帯を組み合わせる場合の、学習時におけるデータフローの一例を示す説明図である。図１５（Ｂ）は、第２の時相帯以前に対応する複数の時相帯を組み合わせる場合の、学習時におけるデータフローの一例を示す説明図である。

0167

図１５（Ａ）について説明する。診断結果生成機能１７４は、第１の時相帯以前に係るトレーニングデータが多数入力されて学習を行うことにより、パラメータデータＰ６１を逐次的に更新する。トレーニングデータは、トレーニング入力データとしての、第１の時相帯、例えば動脈優位相以前における２個の早期血管相と動脈優位相とでそれぞれ生成された２個の造影画像データの組み合わせＨ１，Ｈ２，Ｈ３，…と、理想的な診断結果Ｉ１，Ｉ２，Ｉ３，…との組みからなる。動脈優位相以前における２個の早期血管相と動脈優位相でそれぞれ生成された２個の造影画像データの組み合わせＨ１，Ｈ２，Ｈ３，…は、トレーニング入力データ群Ｈを構成する。理想的な診断結果Ｉ１，Ｉ２，Ｉ３，…は、トレーニング出力データ群Ｉを構成する。理想的な診断結果Ｉ１，Ｉ２，Ｉ３，…はそれぞれ、対応する組み合わせＨ１，Ｈ２，Ｈ３，…の撮影対象者から組織を取り出して診断することで確定した腫瘍に関する確定診断結果であるとよい。

0168

診断結果生成機能１７４は、トレーニングデータが入力されるごとに、動脈優位相以前における２個の早期血管相と動脈優位相とでそれぞれ生成された２個の造影画像データの組み合わせＨ１，Ｈ２，Ｈ３，…をニューラルネットワークＮ６１で処理した結果が腫瘍に関する確定診断結果Ｉ１，Ｉ２，Ｉ３，…に近づくようにパラメータデータＰ６１を更新していく、いわゆる学習を行う。一般に、パラメータデータＰ６１の変化割合が閾値以内に収束すると、学習は終了と判断される。以下、学習後のパラメータデータＰ６１を特に学習済みパラメータデータＰ６１´（図１６（Ａ）に図示）という。

0169

なお、トレーニング入力データの種類と図１６（Ａ）に示す運用時の入力データの種類は一致させるべきことに注意する。例えば、運用時の入力データが被検体の造影画像データである場合は、学習時のトレーニング入力データ群Ｈもまた、造影画像データとする。

0170

また、「画像データ」は、超音波診断装置等の医用画像生成装置が生成する生データを含む。すなわち、ニューラルネットワークＮ６１の入力データは、スキャンコンバート前の生データであってもよい。

0171

一方で、図１５（Ｂ）について説明する。図１５（Ａ）の場合と同様に、診断結果生成機能１７４は、第２の時相帯以前に係るトレーニングデータが多数入力されて学習を行うことにより、パラメータデータＰ６２を逐次的に更新する。診断結果生成機能１７４は、トレーニングデータが入力されるごとに、門脈優位相以前における３個の早期血管相と動脈優位相と門脈優位相でそれぞれ生成された３個の造影画像データの組み合わせＪ１，Ｊ２，Ｊ３，…をニューラルネットワークＮ６２で処理した結果が腫瘍に関する確定診断結果Ｋ１，Ｋ２，Ｋ３，…に近づくようにパラメータデータＰ６２を更新していく、いわゆる学習を行う。

0172

図１６（Ａ）は、第１の時相帯以前に対応する複数の時相帯を組み合わせる場合の、運用時におけるデータフローの一例を示す説明図である。図１６（Ｂ）は、第２の時相帯以前に対応する複数の時相帯を組み合わせる場合の、運用時におけるデータフローの一例を示す説明図である。

0173

図１６（Ａ）について説明する。運用時には、診断結果生成機能１７４は、診断対象となる被検体の対象フレーム（例えば、最新フレーム）に対応する時相帯を得る。そして、診断結果生成機能１７４は、当該時相帯が第１の時相帯、例えば、動脈優位相であると判断する場合に、学習済みモデルＤ６１に、動脈優位相以前の２個の早期血管相と動脈優位相とでそれぞれ生成された２個の造影画像データの組み合わせＨａを入力し、学習済みパラメータデータＰ６１´を用いて被検体の腫瘍に関する診断結果データＩａを出力する。

0174

なお、ニューラルネットワークＮ６１と学習済みパラメータデータＰ６１´は、学習済みモデルＤ６１を構成する。ニューラルネットワークＮ６１は、プログラムの形態でメインメモリ１８に記憶される。学習済みパラメータデータＰ６１´は、メインメモリ１８に記憶されてもよいし、ネットワークＮを介して超音波診断装置１０と接続された記憶媒体に記憶されてもよい。この場合、処理回路１７のプロセッサにより実現される診断結果生成機能１７４は、メインメモリ１８から学習済みモデルＤ６１を読み出して実行することで、２個の早期血管相と動脈優位相とでそれぞれ生成された２個の造影画像データの組み合わせに基づいて、腫瘍に関する診断結果データを生成する。なお、学習済みモデルＤ６１は、ＡＳＩＣ、ＦＰＧＡ等の集積回路によって構築されてもよい。

0175

なお、診断結果生成機能１７４を含む学習済みモデルＤ６１が出力する被検体の腫瘍に関する診断結果データＩａは、例えば、良性か悪性かのいずれかを示すデータであってもよいし、ＨＣＣ、Ｍｅｔａ、Ｈｅｍａ、及びＦＮＨ等のカテゴリー分類のいずれに属するかを示すデータであってもよいし、カテゴリー分類の可能性をパーセントで示すデータ（例えば、良性ｘ％、悪性ｙ％）であってもよい。さらに、カテゴリー分類は、ＨＣＣ等をさらに細分化した分化度（高分化、低分化等）であってもよい。

0176

また、診断結果生成機能１７４による腫瘍に関する診断精度を向上させるように、入力データとして、造影画像データに加えて撮影対象の身長、体重、既往歴、及び血縁者の病歴の少なくとも１つを含む識別情報を用いてもよい。

0177

一方で、図１６（Ｂ）について説明する。図１６（Ａ）の場合と同様に、運用時には、診断結果生成機能１７４は、診断対象となる被検体の対象フレーム（例えば、最新フレーム）に対応する時相帯を得る。そして、診断結果生成機能１７４は、当該時相帯が第２の時相帯、例えば、門脈優位相であると判断する場合に、学習済みモデルＤ６２に、３個の早期血管相と動脈優位相と門脈優位相とでそれぞれ生成された３個の造影画像データの組み合わせＪａを入力し、学習済みパラメータデータＰ６２´を用いて被検体の腫瘍に関する診断結果データＫａを出力する。

0178

なお、医用画像処理装置Ｍ６では、複数の時相帯からなる組み合わせを２個又は３個に分類し、それぞれについてニューラルネットワークを構成するものとして説明したが、その場合に限定されるものではない。例えば、４個以上の時相帯の組み合わせごとに異なるニューラルネットワークを構成するものであってもよい。又は、特徴的な時相帯の組み合わせのみに基づいて１つニューラルネットワークを構成するものであってもよい。

0179

前者について、例えば、２個の早期血管相と動脈優位相との組み合わせについて１つのニューラルネットワークを構成し、３個の早期血管相と動脈優位相と門脈優位相との組み合わせについて１つのニューラルネットワークを構成し、４個の早期血管相と動脈優位相と門脈優位相と後血管相との組み合わせについて１つのニューラルネットワークを構成する。診断対象となる被検体の対象フレーム（例えば、最新フレーム）に対応する時相帯が動脈優位相である場合には２個の早期血管相と動脈優位相との組み合わせに基づくニューラルネットワークを利用し、時相が進んで対象フレームに対応する時相帯が門脈優位相となった場合には３個の早期血管相と動脈優位相と門脈優位相との組み合わせに基づくニューラルネットワークを利用することになり、時相がさらに進んで対象フレームに対応する時相帯が後血管相となった場合には４個の早期血管相と動脈優位相と門脈優位相と後血管相との組み合わせに基づくニューラルネットワークを利用する。

0180

これにより、造影剤の注入開始からの時相が進むと入力画像の数が増えていき、適用するニューラルネットワークがリアルタイムで変化することになる。

0181

また、第６の実施形態において生成された被検体の診断結果データを、第５の実施形態において生成された被検体の診断結果データと共に出力するように構成してもよいことは言うまでもない。

0182

さらに、造影画像データは、１フレーム画像データである場合に限定されるものではない。造影画像データは、連続する複数のフレームによって構成される、時相帯毎の動画像データであってもよい。その場合、早期血管相に係る動画像データと動脈優位相に係る動画像データとの組み合わせを、第１のトレーニング入力データとし、被検体の、早期血管相に係る動画像データと動脈優位相に係る動画像データとの組み合わせＨａを学習済みモデルＤ６１に入力する。また、早期血管相に係る動画像データと動脈優位相に係る動画像データと門脈優位相の動画像データとの組み合わせを、第２のトレーニング入力データとし、被検体の、早期血管相に係る動画像データと動脈優位相に係る動画像データと門脈優位相の動画像データとの組み合わせＪａを学習済みモデルＤ６２に入力する。これらにより、造影剤に含まれるバブルの動的な動きを学習することができる。

0183

また、造影画像データは、連続する複数のフレームによって構成される、インデックスで複数の時相帯に分けれる１つの動画像データであってもよい。その場合、インデックスによって分けられる早期血管相に係る動画像の部分データと、インデックスによって分けられる動脈優位相に係る動画像の部分データとの組み合わせを、第１のトレーニング入力データとし、被検体の、インデックスによって分けられる早期血管相に係る動画像の部分データと、インデックスによって分けられる動脈優位相に係る動画像の部分データとの組み合わせＨａを学習済みモデルＤ６１に入力する。

0184

医用画像処理装置Ｍ６によれば、医用画像処理装置Ｍ５による効果に加え、より確度の高い診断結果を得ることができる。

0185

９．第７の実施形態に係る医用画像処理装置
前述の第５及び第６の実施形態では、画像取得機能１７１がライブで造影画像データを取得し、造影画像データが取得される都度、診断結果生成機能１７４が略リアルタイムで被検体の確定診断結果データを生成する場合について説明した。しかしながら、その場合に限定されるものではない。

0186

例えば、操作者が、ディスプレイ４０に表示される画面を操作することで、被検体の確定診断結果データを生成する処理を行うようにしてもよい。その場合を、第７の実施形態に係る医用画像処理装置Ｍ７（図１及び図１０に図示）として説明する。

0187

第７の実施形態に係る医用画像処理装置Ｍ７の構成及び機能は、図１及び図１０に示すものと同等であり、第７の実施形態に係る医用画像処理装置Ｍ７の動作は、図１１に示すものと同等であるので、説明を省略する。

0188

図１１に示すステップＳＴ１５において、入力インターフェース３０を介した操作により、早期血管相の中のある時相に加え、動脈優位相の中のある時相が設定される。診断結果生成機能１７４は、早期血管相の中のある時相に加え、動脈優位相の中のある時相が設定されると、設定された時相の造影画像データの組み合わせを、学習済みモデルＤ５（図１３に図示）又は学習済みモデルＤ６１（図１６（Ａ）に図示）に入力することで、被検体の確定診断結果データを生成する。

0189

図１７は、時相の設定画面の一例を示す図である。

0190

図１７（Ａ）の上段は、ライブ表示される造影画像データを示す。図１７（Ａ）の下段は、造影剤注入開始を基準とした経過時間によって予め決まる時相帯と、造影剤注入開始を基準とした実際の経過時間（タイムスライダ）と、「設定」ボタンとを示す。

0191

操作者は、タイムスライダを確認しながら、各時相帯において診断に有効な造影画像データがライブ画像として現れたら、入力インターフェース３０を介して「設定」ボタンをクリックする。早期血管相において「設定」ボタンがクリックされると、早期血管相の中のある時相が設定される。そして、設定された時相を視認可能なように、タイムスライダの該当時相にマークが示され、その時相における造影像データが静止画として右上に表示される。

0192

撮像時間が経過し、動脈優位相のある時相で「設定」ボタンがクリックされると、動脈優位相の中のある時相が設定される。この入力インターフェース３０を介した造影画像データの設定により、診断結果生成機能１７４は、当該造影画像データに対応する時相帯情報を、学習済みモデルに入力する時相帯情報として設定することができる。
図１７（Ｂ）は、図１７（Ａ）と同様に、ライブ表示される造影画像データと、時相帯と、タイムスライダと、「設定」ボタンとを示す。

0193

操作者は、タイムスライダを確認しながら、各時相帯において診断に有効な造影画像データがライブ画像として現れたら、入力インターフェース３０を介して「設定」ボタンをクリックする。加えて、診断に有効な造影画像データが消滅したら、入力インターフェース３０を介して「設定」ボタンをクリックする。早期血管相において「設定」ボタンが２回クリックされると、早期血管相の中のある時相幅が設定される。そして、設定された時相幅を視認可能なように、タイムスライダの該当２時相にマークが示され、その２時相間における複数の造影像データが動画として右上に表示される。

0194

撮像時間が経過し、動脈優位相のある時相で「設定」ボタンが２回クリックされると、動脈優位相の中のある時相幅が設定される。この入力インターフェース３０を介した造影画像データの設定により、診断結果生成機能１７４は、当該造影画像データに対応する時相帯情報を、学習済みモデルに入力する時相帯情報として設定することができる。

0195

また、設定画面上には、設定された造影画像データの組み合わせに従って生成された確定診断結果データを都度表示するように構成されてもよい。その場合の例について、図１８に示す。

0196

図１８は、確定診断結果データの表示例を示す図である。

0197

図１８は、図１７（Ａ）の時相の設定画面上で設定された時相に係る造影画像データの組み合わせに応じて生成される確定診断結果データを示す。図１７（Ｂ）についても、同様に、確定診断結果データを表示し得るものとする。

0198

動脈優位相のある時相が設定された時点で、診断結果生成機能１７４は、早期血管相の中で設定された時相の造影画像データと、動脈優位相の中で設定された時相の造影画像データとの組み合わせに基づいて、確定診断結果データ「ＨＣＣ：３０％」と、「Ｍｅｔａ：１０％」とを生成する。出力制御機能１７５は、確定診断結果データ「ＨＣＣ：３０％」と、「Ｍｅｔａ：１０％」とを、図１８の下段に示すようにディスプレイ４０に表示させる。

0199

医用画像処理装置Ｍ７によれば、学習済みモデルに入力するデータを厳選することができるので、医用画像処理装置Ｍ５による効果に加え、より高速に診断結果を得ることができ、また、ハードウェア資源を節約することもできる。

0200

１０．第８の実施形態に係る医用画像処理装置
前述の第５〜第７の実施形態では、画像取得機能１７１がライブで造影画像データを取得し、診断結果生成機能１７４が略リアルタイムで被検体の確定診断結果データを生成する場合について説明した。つまり、各造影画像データの時相帯情報が既知の場合である。ここでは、各造影画像データの時相帯情報が不知の場合について、第８の実施形態に係る医用画像処理装置Ｍ８（図１及び図１０に図示）として説明する。各造影画像データの時相帯情報が不知の場合は、画像取得機能１７１が撮像終了後に画像メモリ１５から複数の造影画像データを取得し、診断結果生成機能１７４が、複数の造影画像データに基づいてポストプロセスで確定診断結果データを生成する場合はもちろん、診断結果生成機能１７４が略リアルタイムで確定診断結果データを生成する場合も含み得る。

0201

診断結果生成機能１７４は、画像取得機能１７１によって取得された造影画像データに基づいて、当該造影画像データに含まれる病変部位の造影剤による染影状態により分類される時相帯情報を生成するための学習済みモデルに対して、造影画像データを入力することで、時相帯情報を生成する。

0202

なお、医用画像処理装置Ｍ７における時相帯情報の生成方法は、図９（Ａ），（Ｂ）を用いて説明したものと同等であるので、説明を省略する。医用画像処理装置Ｍ７における時相帯情報の生成方法は、図９（Ａ），（Ｂ）に示す「必要性情報生成機能１７２」が「診断結果生成機能１７４」に置換されるだけに過ぎない。

0203

医用画像処理装置Ｍ８によれば、造影剤注入開始を基準とする経過時間のみならず、造影画像データから時相帯情報を推測することができる。また、推測された時相帯情報を第５〜第７の実施形態に適用することで、撮像終了後のポストプロセスで、医師等の操作者の経験や主観によらない腫瘍の確定診断が可能となる。

0204

１１．第１の変形例
前述の第５〜第８の実施形態において、トレーニング入力データや学習済みモデルへの入力が、ｎ個の時相帯でそれぞれ生成されたｎ個の造影画像データの組み合わせである場合や、ｎ個の時相帯でそれぞれ生成されたｎ個の造影画像データの組み合わせと識別情報等の付帯情報とである場合について説明したが、その場合に限定されるものではない。トレーニング入力データや学習済みモデルへの入力に、Ｂモード画像データ、カラードプラ画像データ、及びパワードプラ画像データのうち少なくとも１つの画像データを加えてもよい。

0205

加えられる画像データは、対応する１時相帯に係る画像データであってもよいし、対応する２個の時相帯でそれぞれ生成された２個の画像データであってもよい。なお、Ｂモード画像データは、ＣＨＩによる造影画像データとは別の撮像で生成されたいわゆるＢモード画像データや、基本波成分の反射波データ（受信信号）から生成された、造影画像と同一のスキャンで生成されたファンダメンタル画像データ等を含む。

0206

医用画像処理装置Ｍ５〜Ｍ８の第１の変形例によれば、医用画像処理装置Ｍ５〜Ｍ８による効果に加え、より確度の高い診断結果を得ることができる。

0207

１２．第２の変形例
前述の第５〜第８の実施形態に係る医用画像処理装置Ｍ５〜Ｍ８において、トレーニング入力データや学習済みモデルへの入力が、２個の時相帯でそれぞれ生成された２個の造影画像データの組み合わせである場合や、２個の時相帯でそれぞれ生成された２個の造影画像データの組み合わせと識別情報等の付帯情報とである場合について説明したが、その場合に限定されるものではない。トレーニング入力データや学習済みモデルへの入力に、バブルのトラッキング軌跡を表した画像データであるＢＴＩ（Bubble Tracking Imaging）画像データを加えてもよい。

0208

加えられるＢＴＩ画像データは、対応する１時相帯に係り、当該フレームまでのバブルの軌跡を示す画像データである。

0209

なお、トレーニング入力データや学習済みモデルへの入力として、２個の時相帯でそれぞれ生成された２個の造影画像データの組み合わせにＢＴＩ画像データを加える場合について説明したが、その場合に限定されるものではない。トレーニング入力データや学習済みモデルへの入力として、２個の時相帯でそれぞれ生成された２個の造影画像データの組み合わせに代え、ＢＴＩ画像データを採用してもよい。

0210

第５〜第８の実施形態に係る医用画像処理装置Ｍ５〜Ｍ８の第２の変形例によれば、医用画像処理装置Ｍ５〜Ｍ８による効果に加え、より確度の高い診断結果を得ることができる。

0211

１３．第３の変形例
前述の第５〜第８の実施形態では、ライブで組み合わせが発生する度に確定診断結果データを生成するものとして説明したが、その場合に限定されるものではない。

0212

なお、図１７及び図１８を用いて、画像取得機能１７１がライブで造影画像データを取得し、診断結果生成機能１７４が略リアルタイムで確定診断結果データを生成する場合について説明した。しかしながら、その場合に限定されるものではなく、画像取得機能１７１が撮像終了後に画像メモリ１５から複数の造影画像データを取得し、診断結果生成機能１７４が、複数の造影画像データの組み合わせに基づいてポストプロセスで確定診断結果データを生成してもよい。

0213

例えば、前述の第１〜第４の実施形態に係る医用画像処理装置Ｍ１〜Ｍ４で生成された必要性情報に基づいて、腫瘍に関する被検体の診断結果データを生成してもよい。

0214

１４．第９の実施形態に係る医用画像処理装置
図１９は、第９の実施形態に係る医用画像処理装置を備えた医用画像表示装置の構成を示す概略図である。

0215

図１９は、第９の実施形態に係る医用画像処理装置Ｍ９を備えた医用画像表示装置７０を示す。医用画像表示装置７０は、医用画像管理装置（画像サーバ）や、ワークステーションや、読影端末等であり、ネットワークを介して接続された医用画像システム上に設けられる。なお、医用画像表示装置７０は、オフラインの装置であってもよい。

0216

医用画像表示装置７０は、処理回路７１と、メモリ７２と、入力インターフェース７３と、ディスプレイ７４と、ネットワークインターフェース７５とを備える。なお、処理回路７１と、メモリ７２とにより、医用画像処理装置Ｍ９が構成される。又は、処理回路７１と、メモリ７２とに、入力インターフェース７３と、ディスプレイ７４との少なくとも一方を加えたものにより、医用画像処理装置Ｍ９が構成されてもよい。

0217

なお、処理回路７１と、メモリ７２と、入力インターフェース７３と、ディスプレイ７４とは、図１及び図１０に示す処理回路１７と、メインメモリ１８と、入力インターフェース３０と、ディスプレイ４０と同等の構成を有するものとして説明を省略する。

0218

ネットワークインターフェース７５は、パラレル接続仕様やシリアル接続仕様に合わせたコネクタによって構成される。医用画像表示装置７０が医用画像システム上に設けられる場合、ネットワークインターフェース７５は、ネットワーク上の外部装置と情報の送受信を行なう。例えば、ネットワークインターフェースは、処理回路７１の制御の下、外部装置から、造影画像データ等の医用画像データを受信する。

0219

続いて、医用画像処理装置Ｍ９を備えた医用画像表示装置７０の機能について説明する。

0220

図２０は、医用画像処理装置Ｍ９を備えた医用画像表示装置７０の機能を示すブロック図である。

0221

処理回路７１は、メモリ７２に記憶されたプログラムを実行することで、画像取得機能７１１と、必要性情報生成機能７１２と、保存制御機能７１３と、診断結果生成機能７１４と、出力制御機能７１５とを実現する。なお、機能７１１〜７１５の全部又は一部は、医用画像処理装置Ｍ９のプログラムの実行により実現される場合に限定されるものではなく、医用画像表示装置７０にＡＳＩＣ等の回路として備えられる場合であってもよい。

0222

画像取得機能７１１は、ネットワークインターフェース７５を介して医用画像管理装置６０又は超音波診断装置１０から、造影画像データを取得する機能を含む。なお、画像取得機能７１１は、画像取得部の一例である。

0223

必要性情報生成機能７１２は、図２に示す必要性情報生成機能１７２と同等の機能を含む。なお、必要性情報生成機能７１２は、処理部の一例である。

0224

保存制御機能７１３は、図２に示す保存制御機能１７３と同等の機能を含む。なお、保存制御機能７１３は、保存制御部の一例である。

0225

診断結果生成機能７１４は、図１０に示す診断結果生成機能１７４と同等の機能を含む。なお、診断結果生成機能７１４は、処理部の一例である。

0226

出力制御機能７１５は、図１０に示す出力制御機能１７５と同等の機能を含む。なお、出力制御機能７１５は、出力制御部の一例である。

0227

医用画像処理装置Ｍ９は、ネットワークＮを介して超音波診断装置１０を遠隔で制御する場合に、超音波診断装置１０からライブ画像を取得して、ライブ画像としての造影画像データを用いて、必要性情報や、確定診断結果データを生成することができる。また、医用画像処理装置Ｍ９は、ネットワークＮを介して超音波診断装置１０又は医用画像管理装置６０から、撮影終了後の造影画像データを取得して、ポストスポセスで必要性情報や、確定診断結果データを生成することができる。なお、医用画像表示装置７０の動作については、図３又は図１１に示す超音波診断装置１０の動作と同等であるので、説明を省略する。

0228

医用画像処理装置Ｍ９によれば、医用画像生成装置とは別の装置で、医師等の操作者の経験や主観によらない腫瘍の確定診断が可能となる。また、医用画像処理装置Ｍ９によれば、異なる複数の時相帯で得られた複数の造影画像データに基づく腫瘍の確定診断を支援することができるので、医師等の操作者の経験や主観によらない腫瘍の確定診断が可能となる。

0229

以上説明した少なくとも１つの実施形態によれば、医師等の操作者の経験や主観によらない腫瘍の確定診断が可能となる。

0230

なお、画像取得機能１７１，７１１は、画像取得部の一例である。必要性情報生成機能１７２，７１２は、処理部の一例である。保存制御機能１７３，７１３は、保存制御部の一例である。診断結果生成機能１７４，７１４は、処理部の一例である。出力制御機能１７５，７１５は、出力制御部の一例である。

0231

なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

0232

Ｍ１〜Ｍ９医用画像処理装置
１７，７１処理回路
１７１，７１１画像取得機能
１７２，７１２ 必要性情報生成機能
１７３，７１３保存制御機能
１７４，７１４診断結果生成機能
１７５，７１５ 出力制御機能