図面 (/)

この項目の情報は公開日時点(2020年9月17日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

医師等の操作者の経験や主観によらない腫瘍確定診断を可能にすること。

解決手段

本実施形態に係る医用画像処理装置は、画像取得部と、処理部とを備える。画像取得部は、被検体撮像により生成された造影画像データを取得する。処理部は、造影画像データに基づいて、当該造影画像データに含まれる病変部位造影剤による染影状態により分類される時相帯情報を生成するための学習済みモデルに対して、造影画像データを入力することで、時相帯情報を生成する。

概要

背景

医用分野では、超音波プローブの複数の振動子圧電振動子)を用いて発生させた超音波を利用して、被検体内部を画像化する超音波診断装置が使用されている。超音波診断装置は、超音波診断装置に接続された超音波プローブから被検体内に超音波を送信させ、反射波に基づくエコー信号を生成し、画像処理によって所望の超音波画像を得る。

超音波診断装置を用いた造影検査では、造影剤注入後は、造影剤による腫瘍染影の程度によって複数の時相帯に分類される。例えば、撮像部位肝臓である場合、造影剤の注入開始からの経過時間に従って、早期血管相動脈優位相、門脈優位相、及び後血管相等の時相帯に分類される。これら時相帯で得られた造影画像データや、異なる複数の時相帯で得られた複数の造影画像データにより、リアルタイムで、又は、保存画像による後処理で、腫瘍の確定診断が実施されている。

概要

医師等の操作者の経験や主観によらない腫瘍の確定診断を可能にすること。本実施形態に係る医用画像処理装置は、画像取得部と、処理部とを備える。画像取得部は、被検体撮像により生成された造影画像データを取得する。処理部は、造影画像データに基づいて、当該造影画像データに含まれる病変部位の造影剤による染影状態により分類される時相帯情報を生成するための学習済みモデルに対して、造影画像データを入力することで、時相帯情報を生成する。

目的

本発明が解決しようとする課題は、医師等の操作者の経験や主観によらない腫瘍の確定診断を可能にすることである

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

検体撮像により生成された造影画像データを取得する画像取得部と、前記造影画像データに基づいて、当該造影画像データに含まれる病変部位造影剤による染影状態により分類される時相帯情報を生成するための学習済みモデルに対して、前記造影画像データを入力することで、前記時相帯情報を生成する処理部と、を有する医用画像処理装置

請求項2

前記処理部は、前記学習済みモデルを第1の学習済みモデルとし、前記造影画像データに基づいて、前記造影画像データの保存に関する必要性情報を生成するための第2の学習済みモデルに対して、前記造影画像データを入力することで、前記必要性情報を生成し、前記必要性情報により保存の必要があると判断された造影画像データを前記第1の学習済みモデルに入力する、請求項1に記載の医用画像処理装置。

請求項3

前記第2の学習済みモデルは、複数の時相帯情報に係る前記複数の造影画像データに基づく1つの学習済みモデルであり、前記処理部は、前記1つの学習済みモデルに対して、前記造影画像データを入力することで、前記必要性情報を取得する、請求項2に記載の医用画像処理装置。

請求項4

前記第2の学習済みモデルは、複数の時相帯情報に係る前記複数の造影画像データの組み合わせに対応する複数の学習済みモデルであり、前記処理部は、前記複数の学習済みモデルのうち時相帯が対応する学習済みモデルに対して、前記複数の造影画像データの組み合わせを入力することで、前記必要性情報を取得する、請求項2に記載の医用画像処理装置。

請求項5

前記処理部は、前記必要性情報に従って、前記造影画像データを記憶部に保存する、請求項2に記載の医用画像処理装置。

請求項6

前記第2の学習済みモデルは、Bモード画像データ、カラードプラ画像データ、及びパワードプラ画像データのうち少なくとも1つの追加画像データにさらに基づくものであり、前記処理部は、前記第2の学習済みモデルに対して、前記被検体の追加画像データをさらに入力することで、前記必要性情報を生成する、請求項2に記載の医用画像処理装置。

請求項7

前記造影画像データは、フレーム画像データ、又は、動画像データである、請求項1に記載の医用画像処理装置。

請求項8

前記画像取得部は、前記被検体の撮像として、肝臓超音波撮像により生成された造影画像データを取得する、請求項1に記載の医用画像処理装置。

請求項9

被検体の撮像により生成された造影画像データを取得する画像取得部と、前記造影画像データと、当該造影画像データに含まれる病変部位の造影剤による染影状態により分類される時相帯情報とに基づいて学習済みモデルを生成する処理部と、を有する医用画像処理装置。

請求項10

被検体の撮像により生成された複数の時相帯に係る複数の造影画像データを取得する画像取得部と、前記複数の造影画像データと、前記複数の造影画像データにそれぞれ対応し、当該造影画像データに含まれる病変部位の造影剤による染影状態により分類される複数の時相帯情報とに基づいて、前記病変部位の種類に係る情報を取得するための学習済みモデルに対して、前記複数の造影画像データと、前記複数の造影画像データにそれぞれ対応する前記複数の時相帯情報とを入力することで、前記病変部位の種類に係る情報を取得する処理部と、を有する医用画像処理装置。

請求項11

前記処理部は、前記学習済みモデルを第1の学習済みモデルとし、前記複数の造影画像データの各造影画像データに基づいて、当該造影画像データに含まれる前記時相帯情報を生成するための第2の学習済みモデルに対して、前記各造影画像データを入力することで、前記時相帯情報を生成する、請求項10に記載の医用画像処理装置。

請求項12

前記処理部は、複数の造影画像データを複数の時相帯情報とともに表示部にライブ表示し、入力インターフェースを介した造影画像データの設定により、当該造影画像データに対応する時相帯情報を、前記学習済みモデルに入力する時相帯情報として設定する、請求項10に記載の医用画像処理装置。

請求項13

前記処理部は、複数の造影画像データからなる動画像データを複数の時相帯情報とともに表示部に表示し、入力インターフェースを介した造影画像データの設定により、当該造影画像データに対応する時相帯情報を、前記学習済みモデルに入力する時相帯情報として設定する、請求項10に記載の医用画像処理装置。

請求項14

前記取得された病変部位の種類に係る情報を表示部に表示させる出力制御部、をさらに有する請求項10に記載の医用画像処理装置。

請求項15

前記学習済みモデルは、Bモード画像データ、カラードプラ画像データ、及びパワードプラ画像データのうち少なくとも1個の追加画像データにさらに基づくものであり、前記処理部は、前記学習済みモデルに対して、前記被検体の追加画像データをさらに入力することで、前記病変部位の種類に係る情報を取得する、請求項10に記載の医用画像処理装置。

請求項16

前記学習済みモデルは、バブルトラッキング軌跡を表したトラッキング画像データにさらに基づくものであり、前記処理部は、前記学習済みモデルに対して、前記被検体のトラッキング画像データをさらに入力することで、前記病変部位の種類に係る情報を取得する、請求項10に記載の医用画像処理装置。

請求項17

前記複数の造影画像データのそれぞれは、フレーム画像データ、又は、動画像データである、請求項10に記載の医用画像処理装置。

請求項18

前記学習済みモデルは、前記複数の時相帯情報に係る前記複数の造影画像データに基づく1個の学習済みモデルであり、前記処理部は、前記1個の学習済みモデルに対して、前記複数の造影画像データと、前記複数の造影画像データにそれぞれ対応する前記複数の時相帯情報とを入力することで、前記病変部位の種類に係る情報を取得する、請求項10に記載の医用画像処理装置。

請求項19

前記学習済みモデルは、前記複数の時相帯情報に係る前記複数の造影画像データの組み合わせに対応する複数の学習済みモデルであり、前記処理部は、前記複数の学習済みモデルのうち組み合わせが対応する学習済みモデルに対して、前記複数の造影画像データを入力することで、前記病変部位の種類に係る情報を取得する、請求項10に記載の医用画像処理装置。

請求項20

前記処理部は、前記被検体の撮像として、肝臓の超音波撮像により生成された造影画像データを取得する、請求項10に記載の医用画像処理装置。

請求項21

被検体の撮像により生成された複数の時相帯に係る複数の造影画像データを取得する画像取得部と、前記複数の造影画像データと、前記複数の造影画像データにそれぞれ対応し、当該造影画像データに含まれる病変部位の造影剤による染影状態により分類される複数の時相帯情報とに基づいて、前記病変部位の種類に係る情報を取得するための学習済みモデルを生成する処理部と、を有する医用画像処理装置。

技術分野

0001

本発明の実施形態は、医用画像処理装置に関する。

背景技術

0002

医用分野では、超音波プローブの複数の振動子圧電振動子)を用いて発生させた超音波を利用して、被検体内部を画像化する超音波診断装置が使用されている。超音波診断装置は、超音波診断装置に接続された超音波プローブから被検体内に超音波を送信させ、反射波に基づくエコー信号を生成し、画像処理によって所望の超音波画像を得る。

0003

超音波診断装置を用いた造影検査では、造影剤注入後は、造影剤による腫瘍染影の程度によって複数の時相帯に分類される。例えば、撮像部位肝臓である場合、造影剤の注入開始からの経過時間に従って、早期血管相動脈優位相、門脈優位相、及び後血管相等の時相帯に分類される。これら時相帯で得られた造影画像データや、異なる複数の時相帯で得られた複数の造影画像データにより、リアルタイムで、又は、保存画像による後処理で、腫瘍の確定診断が実施されている。

先行技術

0004

米国特許出願公開第2011/0282194号明細書

発明が解決しようとする課題

0005

本発明が解決しようとする課題は、医師等の操作者の経験や主観によらない腫瘍の確定診断を可能にすることである。

課題を解決するための手段

0006

実施形態に係る医用画像処理装置は、画像取得部と、処理部とを備える。画像取得部は、被検体撮像により生成された造影画像データを取得する。処理部は、造影画像データに基づいて、当該造影画像データに含まれる病変部位の造影剤による染影状態により分類される時相帯情報を生成するための学習済みモデルに対して、造影画像データを入力することで、時相帯情報を生成する。

図面の簡単な説明

0007

図1は、実施形態に係る医用画像処理装置を備えた超音波診断装置の構成を示す概略図。
図2は、実施形態に係る医用画像処理装置を備えた超音波診断装置の機能を示すブロック図。
図3は、実施形態に係る医用画像処理装置を備えた超音波診断装置の動作をフローチャートとして示す図。
図4(A)は、実施形態に係る医用画像処理装置における、学習時におけるデータフローの一例を示す説明図であり、図4(B)は、実施形態に係る医用画像処理装置における、トレーニングデータの例を表として示す図。
図5は、実施形態に係る医用画像処理装置における、運用時におけるデータフローの一例を示す説明図。
図6は、実施形態に係る医用画像処理装置における、造影画像データの動画像データへの関連付の概念を示す図。
図7(A)は、実施形態に係る医用画像処理装置における、第1の時相帯の場合の、学習時におけるデータフローの一例を示す説明図であり、図7(B)は、実施形態に係る医用画像処理装置における、第2の時相帯の場合の、学習時におけるデータフローの一例を示す説明図。
図8(A)は、実施形態に係る医用画像処理装置における、第1の時相帯の場合の、運用時におけるデータフローの一例を示す説明図であり、図8(B)は、実施形態に係る医用画像処理装置における、第2の時相帯の場合の、運用時におけるデータフローの一例を示す説明図。
図9(A)は、実施形態に係る医用画像処理装置における、学習時におけるデータフローの一例を示す説明図であり、図9(B)は、実施形態に係る医用画像処理装置における、トレーニングデータの例を表として示す図。
図10は、実施形態に係る医用画像処理装置を備えた超音波診断装置の機能を示すブロック図。
図11は、実施形態に係る医用画像処理装置を備えた超音波診断装置の動作をフローチャートとして示す図。
図12(A)は、実施形態に係る医用画像処理装置における、学習時におけるデータフローの一例を示す説明図であり、図12(B)は、実施形態に係る医用画像処理装置における、トレーニングデータの例を表として示す図。
図13は、実施形態に係る医用画像処理装置における、運用時におけるデータフローの一例を示す説明図。
図14は、実施形態に係る医用画像処理装置における、診断結果の表示例を示す図。
図15(A)は、実施形態に係る医用画像処理装置における、第1の時相帯以前に対応する複数の時相帯を組み合わせる場合の、学習時におけるデータフローの一例を示す説明図であり、図15(B)は、実施形態に係る医用画像処理装置における、第2の時相帯以前に対応する複数の時相帯を組み合わせる場合の、学習時におけるデータフローの一例を示す説明図。
図16(A)は、実施形態に係る医用画像処理装置における、第1の時相帯以前に対応する複数の時相帯を組み合わせる場合の、運用時におけるデータフローの一例を示す説明図であり、図16(B)は、実施形態に係る医用画像処理装置における、第2の時相帯以前に対応する複数の時相帯を組み合わせる場合の、運用時におけるデータフローの一例を示す説明図。
図17(A),(B)は、実施形態に係る医用画像処理装置における、時相の設定画面の一例を示す図。
図18は、実施形態に係る医用画像処理装置における、確定診断結果データの表示例を示す図。
図19は、実施形態に係る医用画像処理装置を備えた医用画像表示装置の構成を示す概略図。
図20は、実施形態に係る医用画像処理装置を備えた医用画像表示装置の機能を示すブロック図。

実施例

0008

以下、図面を参照しながら、医用画像処理装置の実施形態について詳細に説明する。

0009

実施形態に係る医用画像処理装置は、造影画像データを取得可能な医用画像生成装置(「モダリティ」とも呼ばれる)、例えば、超音波診断装置や、X線CT(Computed Tomography)装置や、MRI(Magnetic Resonance Imaging)装置等に備えられる。実施形態に係る医用画像処理装置は、医用画像生成装置(又は、医用画像管理装置)からネットワークを介して造影画像データを取得可能な医用画像表示装置、例えば、ワークステーション等に備えられる。又は、実施形態に係る医用画像処理装置は、医用画像生成装置(又は、医用画像管理装置)から可搬型記録媒体を介して造影画像データを取得可能なオフラインの医用画像表示装置に備えられる。

0010

医用画像処理装置が、医用画像生成装置としての超音波診断装置に備えられる場合、肝臓の造影スキャンにより、造影剤注入後の時相帯を、複数の時相帯(例えば、早期血管相と、動脈優位相と、門脈優位相、後血管相等)に分類することができる。医用画像生成装置としてのX線CT装置に備えられる場合、肝臓の造影スキャンにより、造影剤注入後の時相帯を、複数の時相帯(例えば、動脈優位相と、門脈優位相と、平衡相等)に分類することができる。また、医用画像処理装置が、医用画像生成装置としてのMRI装置に備えられる場合、肝臓の造影スキャンにより、造影剤注入後の時相帯を、複数の時相帯(例えば、ダイナミック相と、肝細胞造影相等)に分類することができる。

0011

以下、第1〜第8の実施形態において、医用画像処理装置が超音波診断装置に備えられる場合を例にとって説明する。第9の実施形態において、医用画像処理装置が医用画像表示装置に備えられる場合を例にとって説明する。

0012

また、撮像部位が肝臓である場合について説明する。しかしながら、その場合に限定されるものではない。例えば、撮像部位は、病変部位の造影剤による特定の染影状態を特定し得る乳腺膵臓等の組織であってもよい。

0013

1.第1の実施形態に係る医用画像処理装置
図1は、第1の実施形態に係る医用画像処理装置を備えた超音波診断装置の構成を示す概略図である。

0014

図1は、第1の実施形態に係る医用画像処理装置を備えた超音波診断装置10を示す。また、図1は、超音波プローブ20と、入力インターフェース30と、ディスプレイ40とを示す。なお、超音波診断装置10に、超音波プローブ20と、入力インターフェース30と、ディスプレイ40とのうちの少なくとも1個を加えた装置を超音波診断装置と称する場合もある。以下の説明では、超音波診断装置の外部に、超音波プローブ20と、入力インターフェース30と、ディスプレイ40との全てが備えられる場合について説明する。

0015

超音波診断装置10は、送受信回路11と、Bモード処理回路12と、ドプラ処理回路13と、画像生成回路14と、画像メモリ15と、ネットワークインターフェース16と、処理回路17と、メインメモリ18とを備える。回路11〜14は、特定用途向け集積回路ASIC:Application Specific IntegratedCircuit)等によって構成されるものである。しかしながら、その場合に限定されるものではなく、回路11〜14の機能の全部又は一部は、処理回路17がプログラムを実行することで実現されるものであってもよい。また、処理回路17と、メインメモリ18とにより、第1の実施形態に係る医用画像処理装置M1が構成される。なお、処理回路17と、メインメモリ18とに、入力インターフェース30と、ディスプレイ40との少なくとも一方を加えたものにより、第1の実施形態に係る医用画像処理装置M1が構成されてもよい。

0016

送受信回路11は、送信回路受信回路とを有する(図示省略)。送受信回路11は、処理回路17による制御の下、超音波の送受信における送信指向性受信指向性とを制御する。なお、送受信回路11が超音波診断装置10に設けられる場合について説明するが、送受信回路11は、超音波プローブ20に設けられてもよいし、超音波診断装置10と超音波プローブ20との両方に設けられてもよい。なお、送受信回路11は、送受信部の一例である。

0017

送信回路は、パルス発生回路と、送信遅延回路と、パルサ回路等を有し、超音波振動子駆動信号を供給する。パルス発生回路は、所定のレー周波数で、送信超音波を形成するためのレートパルスを繰り返し発生する。送信遅延回路は、超音波プローブ20の超音波振動子から発生される超音波をビーム状に集束して送信指向性を決定するために必要な圧電振動子ごとの遅延時間を、パルス発生回路が発生する各レートパルスに対し与える。また、パルサ回路は、レートパルスに基づくタイミングで、超音波振動子に駆動パルス印加する。送信遅延回路は、各レートパルスに対し与える遅延時間を変化させることで、圧電振動子面から送信される超音波ビーム送信方向を任意に調整する。

0018

受信回路は、アンプ回路と、A/D(Analog to Digital)変換器と、加算器等を有し、超音波振動子が受信したエコー信号を受け、このエコー信号に対して各種処理を行ってエコーデータを生成する。アンプ回路は、エコー信号をチャンネル毎に増幅してゲイン補正処理を行う。A/D変換器は、ゲイン補正されたエコー信号をA/D変換し、デジタルデータに受信指向性を決定するのに必要な遅延時間を与える。加算器は、A/D変換器によって処理されたエコー信号の加算処理を行ってエコーデータを生成する。加算器の加算処理により、エコー信号の受信指向性に応じた方向からの反射成分が強調される。

0019

Bモード処理回路12は、処理回路17による制御の下、受信回路からエコーデータを受信し、対数増幅、及び包絡線検波処理等を行って、信号強度輝度の明るさで表現されるデータ(2D又は3Dデータ)を生成する。このデータは、一般に、Bモードデータと呼ばれる。なお、Bモード処理回路12は、Bモード処理部の一例である。

0020

なお、Bモード処理回路12は、フィルタ処理により、検波周波数を変化させることで、画像化する周波数帯域を変えることができる。Bモード処理回路12のフィルタ処理機能を用いることにより、コントラストハーモニックイメージング(CHI:Contrast Harmonic Imaging)や、ティッシュハーモニックイメージング(THI:Tissue Harmonic Imaging)等のハーモニックイメージングを実行可能である。すなわち、Bモード処理回路12は、造影剤が注入された被検体の反射波データから、造影剤(微小気泡バブル)を反射源とするハーモニック成分の反射波データ(高調波データ又は分周波データ)と、被検体内の組織を反射源とする基本波成分の反射波データ(基本波データ)とを分離することができる。Bモード処理回路12は、また、ハーモニック成分の反射波データ(受信信号)から、造影画像データを生成するためのBモードデータを生成することができ、また、基本波成分の反射波データ(受信信号)から、基本波(ファンダメンタル)画像データを生成するためのBモードデータを生成することができる。

0021

ドプラ処理回路13は、処理回路17による制御の下、受信回路からのエコーデータから速度情報周波数解析し、平均速度、分散、パワー等の移動体移動情報多点について抽出したデータ(2D又は3Dデータ)を生成する。このデータは、一般に、ドプラデータと呼ばれる。ここで、移動体とは、例えば、血流や、心壁等の組織、造影剤である。なお、ドプラ処理回路13は、ドプラ処理部の一例である。

0022

画像生成回路14は、処理回路17による制御の下、超音波プローブ20が受信したエコー信号に基づいて、所定の輝度レンジで表現された超音波画像データを生成する。例えば、画像生成回路14は、超音波画像データとして、Bモード処理回路12によって生成された2DのBモードデータから反射波の強度を輝度にて表した2DのBモード画像データを生成する。また、画像生成回路14は、超音波画像として、ドプラ処理回路13によって生成された2Dのドプラデータから移動態情報を表す平均速度画像分散画像パワー画像、又は、これらの組み合わせ画像としての2Dのカラードプラ画像データを生成する。以下、2DのBモード画像データや、2Dのカラードプラ画像データ等の2Dの超音波画像データを、単に「2D画像データ」と呼ぶ。

0023

ここで、画像生成回路14は、一般的には、超音波走査走査線信号列を、テレビ等に代表されるビデオフォーマットの走査線信号列に変換(スキャンコンバート)し、表示用の画像データを生成する。具体的には、画像生成回路14は、超音波プローブ20による超音波の走査形態に応じて座標変換を行なうことで、表示用の画像データを生成する。また、画像生成回路14は、スキャンコンバート以外に、種々の画像処理として、例えば、スキャンコンバート後の複数の画像フレームを用いて、輝度の平均値画像再生成する画像処理(平滑化処理)や、画像内で微分フィルタを用いる画像処理(エッジ強調処理)等を行なう。また、画像生成回路14は、超音波画像データに、種々のパラメータ文字情報目盛りボディーマーク等を合成する。

0024

すなわち、Bモードデータ及びドプラデータは、スキャンコンバート処理前の画像データであり、画像生成回路14が生成するデータは、スキャンコンバート処理後の表示用の画像データである。なお、Bモードデータ及びドプラデータは、生データ(Raw Data)とも呼ばれる。画像生成回路14は、スキャンコンバート処理前の2D画像データから、表示用の2D画像データを生成する。

0025

更に、画像生成回路14は、Bモード処理回路12によって生成された3DのBモードデータに対して座標変換を行なうことで、3DのBモード画像データを生成する。また、画像生成回路14は、ドプラ処理回路13によって生成された3Dのドプラデータに対して座標変換を行なうことで、3Dのドプラ画像データを生成する。画像生成回路14は、3DのBモード画像データや3Dドプラ画像データを3Dの超音波画像データ(ボリュームデータ)として生成する。

0026

さらに、画像生成回路14は、3D画像データをディスプレイ40にて表示するための各種の2D画像データを生成するために、3D画像データに対してレンダリング処理を行なう。また、画像生成回路14は、レンダリング処理として、例えば、3Dの情報を反映した2D画像データを生成するボリュームレンダリングVR:Volume Rendering)処理を行う。また、画像生成回路14は、断面再構成法(MPR:Multi Planer Reconstruction)を行なって3D画像データからMPR画像データを生成する処理を行う。なお、画像生成回路14は、画像生成部の一例である。

0027

画像メモリ15は、1フレーム当たり2軸方向に複数のメモリセルを備え、それを複数フレーム分備えたメモリである2次元メモリを含む。画像メモリ15としての2次元メモリは、処理回路17の制御による制御の下、画像生成回路14によって生成された1フレーム、又は、複数フレームに係る2D画像データを記憶する。なお、画像メモリ15は、記憶部の一例である。

0028

画像生成回路14は、処理回路17による制御の下、画像メモリ15としての2次元メモリに配列された2D画像データに対し、必要に応じて補間処理を行う3次元再構成を行うことで、画像メモリ15としての3次元メモリ内に2D画像データを3D画像データとして生成する。補間処理方法としては、公知の技術が用いられる。

0029

画像メモリ15は、3軸方向(X軸、Y軸、及びZ軸方向)に複数のメモリセルを備えたメモリである3次元メモリを含む場合もある。画像メモリ15としての3次元メモリは、処理回路17の制御による制御の下、画像生成回路14によって生成された2D画像データを3D画像データとして記憶する。

0030

ネットワークインターフェース16は、ネットワークの形態に応じた種々の情報通信用プロトコル実装する。ネットワークインターフェース16は、この各種プロトコルに従って、超音波診断装置10と、外部の医用画像管理装置60及び医用画像表示装置70等の他の機器とを接続する。この接続には、電子ネットワークを介した電気的な接続等を適用することができる。ここで、電子ネットワークとは、電気通信技術を利用した情報通信網全般を意味し、無線有線病院基幹のLAN(Local Area Network)やインターネット網のほか、電話通信回線網光ファイバ通信ネットワークケーブル通信ネットワーク及び衛星通信ネットワーク等を含む。

0031

また、ネットワークインターフェース16は、非接触無線通信用の種々のプロトコルを実装してもよい。この場合、超音波診断装置10は、例えば超音波プローブ20と、ネットワークを介さず直接にデータ送受信することができる。なお、ネットワークインターフェース16は、ネットワーク接続部の一例である。

0032

処理回路17は、専用又は汎用のCPU(Central Processing Unit)、MPU(Micro Processor Unit)、又はGPU(Graphics Processing Unit)の他、ASIC、及び、プログラマブル論理デバイス等を意味する。プログラマブル論理デバイスとしては、例えば、単純プログラマブル論理デバイス(SPLD:Simple Programmable Logic Device)、複合プログラマブル論理デバイス(CPLD:Complex Programmable Logic Device)、及び、フィールドプログラマブルゲートアレイFPGA:Field Programmable Gate Array)等が挙げられる。

0033

また、処理回路17は、単一の回路によって構成されてもよいし、複数の独立した回路要素の組み合わせによって構成されてもよい。後者の場合、メインメモリ18は回路要素ごとに個別に設けられてもよいし、単一のメインメモリ18が複数の回路要素の機能に対応するプログラムを記憶するものであってもよい。

0034

メインメモリ18は、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子ハードディスク光ディスク等によって構成される。メインメモリ18は、USB(Universal Serial Bus)メモリ及びDVD(Digital Video Disk)等の可搬型メディアによって構成されてもよい。メインメモリ18は、処理回路17において用いられる各種処理プログラムアプリケーションプログラムの他、OS(Operating System)等も含まれる)や、プログラムの実行に必要なデータを記憶する。また、OSに、操作者に対するディスプレイ40への情報の表示にグラフィックを多用し、基礎的な操作を入力インターフェース30によって行うことができるGUI(Graphical User Interface)を含めることもできる。なお、メインメモリ18は、記憶部の一例である。

0035

超音波プローブ20は、前面部に複数個微小な振動子(圧電素子)を備え、撮像部位を含む領域に対して超音波の送受波を行う。各振動子電気音響変換素子であり、送信時には電気パルス超音波パルスに変換し、また、受信時には反射波を電気信号(受信信号)に変換する機能を有する。超音波プローブ20は小型、軽量に構成されており、ケーブル(又は無線通信)を介して超音波診断装置10に接続される。

0036

超音波プローブ20は、スキャン方式の違いにより、リニア型コンベックス型、及びセクタ型等の種類に分けられる。また、超音波プローブ20は、アレイ配列次元の違いにより、アジマス方向に1次元(1D)的に複数個の振動子が配列された1Dアレイプローブと、アジマス方向かつエレベーション方向に2次元(2D)的に複数個の振動子が配列された2Dアレイプローブとの種類に分けられる。なお、1Dアレイプローブは、エレベーション方向に少数の振動子が配列されたプローブを含む。

0037

ここで、パノラミクスキャン等の撮像が実行される場合、超音波プローブ20として、リニア型、コンベックス型、及びセクタ型等のスキャン方式を備えた2Dアレイプローブが利用される。又は、撮像が実行される場合、超音波プローブ20として、リニア型、コンベックス型、及びセクタ型等のスキャン方式を備え、エレベーション方向に機械的に揺動する機構を備えた1Dプローブが利用される。後者のプローブは、メカ4Dプローブとも呼ばれる。

0038

入力インターフェース30は、操作者によって操作が可能な入力デバイスと、入力デバイスからの信号を入力する入力回路とを含む。入力デバイスは、トラックボール、スイッチ、マウスキーボード、操作面に触れることで入力操作を行うタッチパッド表示画面とタッチパッドとが一化されたタッチスクリーン光学センサを用いた非接触入力デバイス、及び音声入力デバイス等によって実現される。操作者により入力デバイスが操作されると、入力回路はその操作に応じた信号を生成して処理回路17に出力する。なお、入力インターフェース30は、入力部の一例である。

0039

ディスプレイ40は、例えば液晶ディスプレイやOLED(Organic Light Emitting Diode)ディスプレイ等の一般的な表示出力装置により構成される。ディスプレイ40は、処理回路17の制御に従って各種情報を表示する。なお、ディスプレイ40は、表示部の一例である。

0040

また、図1は、超音波診断装置10の外部機器である医用画像管理装置60及び医用画像表示装置70を示す。医用画像管理装置60は、例えば、DICOM(Digital Imaging and Communications in Medicine)サーバであり、ネットワークNを介してデータ送受信可能に超音波診断装置10等の機器に接続される。医用画像管理装置60は、超音波診断装置10によって生成された超音波画像等の医用画像DICOMファイルとして管理する。

0041

医用画像表示装置70は、ネットワークNを介してデータ送受信可能に超音波診断装置10や医用画像管理装置60等の機器に接続される。医用画像表示装置70としては、例えば、超音波診断装置10によって生成された超音波画像に対して各種画像処理を施すワークステーションや、タブレット端末等の携帯型情報処理端末等が挙げられる。なお、医用画像表示装置70はオフラインの装置であって、超音波診断装置10によって生成された超音波画像を可搬型記憶媒体を介して読み出し可能な装置であってもよい。

0042

続いて、医用画像処理装置M1を備えた超音波診断装置10の機能について説明する。
図2は、医用画像処理装置M1を備えた超音波診断装置10の機能を示すブロック図である。

0043

処理回路17は、メインメモリ18に記憶された、又は、処理回路17内に直接組み込まれたプログラムを読み出して実行することで、画像取得機能171と、必要性情報生成機能172と、保存制御機能173とを実現する。以下、機能171〜173がソフトウェア的に機能する場合を例に挙げて説明するが、機能171〜173の全部又は一部は、超音波診断装置10にASIC等の回路等として設けられるものであってもよい。

0044

画像取得機能171は、送受信回路11と、Bモード処理回路12と、ドプラ処理回路13と、画像生成回路14等を制御して、超音波プローブ20を用いた超音波撮像を実行させて時系列で複数の超音波画像データ(例えば、造影画像データ)を取得する機能を含む。画像取得機能171は、画像取得部の一例である。

0045

ここで、各造影画像データに、当該造影画像データに含まれる病変部位の造影剤による染影状態により分類される時相帯に関する情報(以下、「時相帯」又は「時相帯情報」と称する)をづけることも可能である。時相帯情報は、一般的には、造影剤の注入開始を基準とした経過時間に応じて分類されるものだからである。ここで、時相帯情報とは、早期血管相と、動脈優位相と、門脈優位相と、後血管相等を意味する。

0046

必要性情報生成機能172は、各時相帯に係る複数の造影画像データの中の、腫瘍の確定診断で必要となる造影画像データに基づいて、保存の必要性に関する情報(必要性情報)を生成するための学習済みモデルに対して、被検体の造影画像データを入力することで、被検体の造影画像データの保存の必要性情報を生成する機能を含む。なお、必要性情報生成機能172は、処理部の一例である。

0047

保存制御機能173は、必要性情報生成機能172によって生成された必要性情報に従って、被検体の当該造影画像データのメインメモリ18への保存を制御する機能を含む。また、保存制御機能173は、超音波撮像により生成された被検体の複数フレームの造影画像データのうち、保存の必要があると判断された造影画像データを、複数フレームの造影画像データからなる動画像データと関連付けてメインメモリ18に保存する機能を有することが好適である。その場合、超音波診断装置10や医用画像表示装置70で動画像データを参照する医師等の操作者は、抽出されたフレームの造影画像データを容易に参照することができる。なお、保存制御機能173は、保存制御部の一例である。

0048

機能171〜173の詳細については、図3図9を用いて説明する。

0049

図3は、医用画像処理装置M1を備えた超音波診断装置10の動作をフローチャートとして示す図である。図3において、「ST」に数字を付した符号はフローチャートの各ステップを示す。

0050

まず、画像取得機能171は、造影剤の注入を開始し(ステップST1)、送受信回路11と、Bモード処理回路12と、ドプラ処理回路13と、画像生成回路14等を制御して、超音波プローブ20を用いた超音波撮像(例えば、CHI(Contrast Harmonic Imaging))を開始させる(ステップST2)。画像取得機能171は、画像生成回路14等を制御して、造影画像データを生成して画像メモリ15に記憶させる(ステップST3)。また、画像取得機能171は、ステップST3によって生成された造影画像データをディスプレイ40にライブ表示させる(ステップST4)。

0051

必要性情報生成機能172は、ステップST3によって生成された最新フレームの造影画像データに基づいて、当該造影画像データの保存に関する必要性情報を生成する(ステップST5)。ここで、各造影画像データに、「時相帯情報」を紐づけることも可能である。

0052

ここで、必要性情報生成機能172は、造影画像データに基づいて当該造影画像データの保存に関する必要性情報を生成する処理を行うものである。この処理には、例えば造影画像データと保存に関する必要性情報とを関連付けたルックアップテーブル(LUT)が用いられてもよい。また、この処理には、機械学習が用いられてもよい。また、機械学習としてCNN(畳み込みニューラルネットワーク)や畳み込み深層信念ネットワーク(CDBN:Convolutional Deep Belief Network)等の、多層のニューラルネットワークを用いた深層学習が用いられてもよい。

0053

第1の実施形態の説明では、必要性情報生成機能172がニューラルネットワークN1を含み、深層学習を用いて、造影画像データに基づいて、当該造影画像データの保存に関する必要性情報を生成する場合の例を示す。

0054

図4(A)は、学習時におけるデータフローの一例を示す説明図である。図4(B)は、トレーニングデータの例を表として示す図である。なお、図4(B)では、各造影画像データに、当該造影画像データに含まれる病変部位の造影剤による染影状態により分類される時相帯情報が紐づけられている。必要性情報生成機能172が、画像取得機能171で順次取得される複数の造影画像データについて、略リアルタイム(又は、ライブ)で必要性情報を生成する場合、各造影画像データに時相帯情報を紐付けることができる。なお、「略リアルタイム」は、超音波の送信と同時に超音波画像を生成(又は、表示)する場合に加え、超音波の送信から超音波画像を生成(又は、表示)するまでの処理時間の分だけ、超音波の送信から超音波画像を生成(又は、表示)するまでにタイムラグがある場合を含む。

0055

必要性情報生成機能172は、トレーニングデータが多数入力されて学習を行うことにより、パラメータデータP1を逐次的に更新する。トレーニングデータは、トレーニング入力データとしての造影画像データS1,S2,S3,…と、必要性情報T1,T2,T3,…との組みからなる。造影画像データS1,S2,S3,…は、トレーニング入力データ群Sを構成する。必要性情報T1,T2,T3,…は、トレーニング出力データ群Tを構成する。

0056

必要性情報生成機能172は、トレーニングデータが入力されるごとに、造影画像データS1,S2,S3,…をニューラルネットワークN1で処理した結果が必要性情報T1,T2,T3,…に近づくようにパラメータデータP1を更新していく、いわゆる学習を行う。一般に、パラメータデータP1の変化割合閾値以内に収束すると、学習は終了と判断される。以下、学習後のパラメータデータP1を特に学習済みパラメータデータP1´(図5に図示)という。

0057

なお、トレーニング入力データの種類と図5に示す運用時の入力データの種類は一致させるべきことに注意する。例えば、運用時の入力データが被検体の造影画像データである場合は、学習時のトレーニング入力データ群Sもまた、造影画像データとする。

0058

また、「画像データ」は、超音波診断装置等の医用画像生成装置が生成する生データを含む。すなわち、ニューラルネットワークN1の入力データは、スキャンコンバート前の生データであってもよい。

0059

図5は、運用時におけるデータフローの一例を示す説明図である。

0060

運用時には、必要性情報生成機能172は、学習済みモデルD1に、診断対象となる被検体の造影画像データSaを入力し、学習済みパラメータデータP1´を用いて被検体の造影画像データの保存に関する必要性情報Taを出力する。

0061

なお、ニューラルネットワークN1と学習済みパラメータデータP1´は、学習済みモデルD1を構成する。ニューラルネットワークN1は、プログラムの形態でメインメモリ18に記憶される。学習済みパラメータデータP1´は、メインメモリ18に記憶されてもよいし、ネットワークNを介して超音波診断装置10と接続された記憶媒体に記憶されてもよい。この場合、処理回路17のプロセッサにより実現される必要性情報生成機能172は、メインメモリ18から学習済みモデルD1を読み出して実行することで、造影画像データに基づいて、保存に関する必要性情報を生成する。なお、学習済みモデルD1は、ASIC(Application Specific IntegratedCircuit)、FPGA(Field Programmable Gate Array)等の集積回路によって構築されてもよい。

0062

なお、必要性情報生成機能172を含む学習済みモデルD1が出力する被検体の造影画像データの保存に関する必要性情報Taは、例えば、必要「1」か不要「0」かのいずれかを示すデータであればよい。

0063

また、必要性情報生成機能172による判断精度を向上させるように、入力データとして、造影画像データに加えて、撮影対象身長、体重、既往歴、及び血縁者の病歴の少なくとも1つを含む識別情報を用いてもよい。

0064

この場合、学習時には、トレーニング入力データとしての造影画像データS1,S2,S3,…のそれぞれの撮影対象者の識別情報も、トレーニング入力データとしてニューラルネットワークN1に入力する。運用時には、必要性情報生成機能172は、メインメモリ18から読み出した学習済みモデルD1に対して診断対象となる被検体の造影画像データSaと共に被検体の識別情報を入力することで、被検体の造影画像データの保存に関する必要性情報Taを出力する。入力データとして造影画像データと撮影対象者の識別情報とを用いることで、撮影対象者のタイプに応じた学習を行った学習済みパラメータデータP1´を生成することができるため、造影画像データのみを入力データとする場合に比べて診断精度を向上させることができる。

0065

図3の説明に戻って、保存制御機能173は、ステップST5によって生成された保存に関する必要性情報に従って、ステップST3によって生成された造影画像データの保存の必要があるか否かを判断する(ステップST6)。ステップST6の判断にてYES、つまり、ステップST3によって生成された造影画像データの保存の必要があると判断された場合、保存制御機能173は、ステップST3によって生成された造影画像データをメインメモリ18に保存する(ステップST7)。ステップST7の保存は、ステップST3による記憶とは別に行われる。なお、保存制御機能173は、保存の必要があると判断された造影画像データを、複数フレームの造影画像データからなる動画像データと関連付けてメインメモリ18に保存する機能を有することが好適である。

0066

図6は、造影画像データの動画像データへの関連付の概念を示す図である。

0067

図6に示すように、保存に関する必要性ありと判断された被検体の造影画像データは、複数フレームの造影画像データからなる動画像データと関連付けてメインメモリ18に保存される。各時相帯において少なくとも1つの造影画像データについて保存の必要ありと判断されることが好適である。

0068

図3の説明に戻って、ステップST7の後と、ステップST6の判断にてNO、つまり、ステップST3によって生成された造影画像データの保存の必要がないと判断された場合、画像取得機能171は、ステップST2によって開始された超音波撮像を終了するか否かを判断する(ステップST8)。

0069

ステップST8の判断にてNO、即ち、ステップST2によって開始された超音波撮像を終了しないと判断された場合、画像取得機能171は、画像生成回路14等を制御して、次のフレームについて、造影画像データを生成して画像メモリ15に記憶させる(ステップST3)。つまり、超音波撮像が継続される。

0070

一方で、ステップST8の判断にてYES、即ち、ステップST2によって開始された超音波撮像を終了すると判断された場合、画像取得機能171は、操作者が入力インターフェース30を介して終了指示を行ったと判断して、超音波撮像を終了させる。

0071

つまり、図3に示すフローチャートによると、超音波診断装置10は、ステップST3〜ST8のセットを繰り返すことで、フレームごとに、保存に関する必要性情報を生成して、それに従った保存を行うことになる。

0072

なお、造影画像データは、1フレーム画像データである場合に限定されるものではない。造影画像データは、連続する複数のフレームによって構成される動画像データであってもよい。その場合、現在までの複数の造影画像データからなる動画像データをトレーニング入力データとし、診断対象となる被検体の動画像データを造影画像データSaとして学習済みモデルD1の入力とする。これにより、造影剤に含まれるバブルの動的な動きを学習することができる。

0073

また、図3に示すフローチャートによれば、必要性情報生成機能172は、連続する各フレームの造影画像データが生成される度に必要性情報を生成することになるが、その場合に限定されるものではない。例えば、必要性情報生成機能172は、一定のフレーム間隔をおいて生成された各フレームの造影画像データが生成される度に必要性情報を生成してもよいし、各時相帯の最初の1フレームの造影画像データが生成される度に必要性情報を生成してもよい。

0074

医用画像処理装置M1によれば、フレーム全体の動画像データとは別に診断に必要と推測される造影画像データを保存することにより、保存画像による後処理で、医師等の操作者の経験や主観によらない腫瘍の確定診断を可能にすると共に、診断時間の短縮を実現することができる。

0075

2.第2の実施形態に係る医用画像処理装置
前述の第1の実施形態では、時相帯を問わず、1つのニューラルネットワークを構成するもの、つまり、必要性情報生成機能172が、1個の学習済みモデルに対して、各時相帯に係る被検体の造影画像データを入力することで、各時相帯に係る被検体の造影画像データの保存に関する必要性情報を生成するものとして説明した。しかしながら、その場合に限定されるものではない。

0076

例えば、時相帯ごとに1つのニューラルネットワークを構成するもの、つまり、必要性情報生成機能172が、複数の時相帯に対応する複数の学習済みモデルのうち時相帯が対応する学習済みモデルに対して、被検体の造影画像データを入力することで、被検体の造影画像データの保存に関する必要性情報を生成するものであってもよい。その場合を、第2の実施形態に係る医用画像処理装置M2(図1及び図2に図示)として説明する。

0077

医用画像処理装置M2の構成及び機能は、図1及び図2に示すものと同等であり、医用画像処理装置M2の動作は、図3に示すものと同等であるので、説明を省略する。

0078

図2に示す必要性情報生成機能172は、図3に示すステップST5において、ステップST3によって生成された最新フレームの造影画像データに基づいて、当該造影画像データの保存に関する必要性情報を生成する。

0079

ここで、必要性情報生成機能172は、対象フレームに該当する時相帯に応じて、保存に関する必要性情報を生成する処理を行うものである。この処理には、例えば、造影画像データと保存に関する必要性情報とを関連付けた時相帯ごとのルックアップテーブルが用いられてもよい。また、この処理には、機械学習が用いられてもよい。また、機械学習としてCNNや畳み込み深層信念ネットワーク等の、多層のニューラルネットワークを用いた深層学習が用いられてもよい。

0080

第2の実施形態の説明では、必要性情報生成機能172が複数のニューラルネットワークN2(例えば、(図7(A),(B)等に図示する「N21」、「N22」))を含み、深層学習を用いて、造影画像データに基づいて、保存に関する必要性情報を生成する場合の例を示す。

0081

図7(A)は、第1の時相帯の場合の、学習時におけるデータフローの一例を示す説明図である。図7(B)は、第2の時相帯の場合の、学習時におけるデータフローの一例を示す説明図である。

0082

図7(A)について説明する。必要性情報生成機能172は、第1の時相帯で生成された造影画像データがトレーニングデータとして多数入力されて学習を行うことにより、パラメータデータP21を逐次的に更新する。トレーニングデータは、トレーニング入力データとしての、第1の時相帯で生成された造影画像データU1,U2,U3,…と、保存の必要性情報V1,V2,V3,…との組みからなる。第1の時相帯で生成された造影画像データU1,U2,U3,…は、トレーニング入力データ群Uを構成する。保存の必要性情報V1,V2,V3,…は、トレーニング出力データ群Vを構成する。

0083

必要性情報生成機能172は、トレーニングデータが入力されるごとに、第1の時相帯で生成された造影画像データU1,U2,U3,…をニューラルネットワークN21で処理した結果が保存に関する必要性情報V1,V2,V3,…に近づくようにパラメータデータP21を更新していく、いわゆる学習を行う。一般に、パラメータデータP21の変化割合が閾値以内に収束すると、学習は終了と判断される。以下、学習後のパラメータデータP21を特に学習済みパラメータデータP21´(図8(A)に図示)という。

0084

なお、トレーニング入力データの種類と図8(A)に示す運用時の入力データの種類は一致させるべきことに注意する。例えば、運用時の入力データが被検体の造影画像データである場合は、学習時のトレーニング入力データ群Uもまた、造影画像データとする。

0085

また、「画像データ」は、超音波診断装置等の医用画像生成装置が生成する生データを含む。すなわち、ニューラルネットワークN21の入力データは、スキャンコンバート前の生データであってもよい。

0086

一方で、図7(B)について説明する。図7(A)の場合と同様に、必要性情報生成機能172は、第2の時相帯で生成された造影画像データがトレーニングデータとして多数入力されて学習を行うことにより、パラメータデータP22を逐次的に更新する。

0087

図8(A)は、第1の時相帯の場合の、運用時におけるデータフローの一例を示す説明図である。図8(B)は、第2の時相帯の場合の、運用時におけるデータフローの一例を示す説明図である。

0088

図8(A)について説明する。運用時には、必要性情報生成機能172は、診断対象となる被検体の対象フレーム(例えば、最新フレーム)に対応する時相帯を得る。そして、必要性情報生成機能172は、当該時相帯が第1の時相帯であると判断する場合に、学習済みモデルD21に、造影画像データUaを入力し、学習済みパラメータデータP21´を用いて被検体の造影画像データの保存に関する必要性情報Vaを出力する。

0089

なお、ニューラルネットワークN21と学習済みパラメータデータP21´は、学習済みモデルD21を構成する。ニューラルネットワークN21は、プログラムの形態でメインメモリ18に記憶される。学習済みパラメータデータP21´は、メインメモリ18に記憶されてもよいし、ネットワークNを介して超音波診断装置10と接続された記憶媒体に記憶されてもよい。この場合、処理回路17のプロセッサにより実現される必要性情報生成機能172は、メインメモリ18から学習済みモデルD21を読み出して実行することで、造影画像データに基づいて、当該造影画像データの保存に関する必要性情報を生成する。なお、学習済みモデルD21は、ASIC、FPGA等の集積回路によって構築されてもよい。

0090

なお、必要性情報生成機能172を含む学習済みモデルD21が出力する被検体の造影画像データの保存に関する必要性情報Vaは、例えば、必要「1」か不要「0」かのいずれかを示すデータであればよい。

0091

また、必要性情報生成機能172による判断精度を向上させるように、入力データとして、造影画像データに加えて撮影対象の身長、体重、既往歴、及び血縁者の病歴の少なくとも1つを含む識別情報を用いてもよい。

0092

一方で、図8(B)について説明する。図8(A)の場合と同様に、運用時には、必要性情報生成機能172は、診断対象となる被検体の対象フレーム(例えば、最新フレーム)に対応する時相帯を得る。そして、必要性情報生成機能172は、当該時相帯が第2の時相帯であると判断する場合に、学習済みモデルD22に、造影画像データWaを入力し、学習済みパラメータデータP22´を用いて被検体の造影画像データの保存に関する必要性情報Xaを出力する。

0093

なお、造影画像データは、1フレーム画像データである場合に限定されるものではない。造影画像データは、連続する複数のフレームによって構成される、時相帯毎の動画像データであってもよい。その場合、第1の時相帯に係る動画像データを、第1の時相帯に係るトレーニング入力データとし、被検体の、第1の時相帯に係る動画像データUaを、学習済みモデルD21に入力する。また、第2の時相帯に係る動画像データを、第2の時相帯に係るトレーニング入力データとし、被検体の、第2の時相帯に係る動画像データWaを学習済みモデルD22に入力する。これらにより、造影剤に含まれるバブルの動的な動きを学習することができる。

0094

また、造影画像データは、連続する複数のフレームによって構成される、インデックスで複数の時相帯に分けれる1つの動画像データであってもよい。その場合、インデックスによって分けられる第1の時相帯に係る動画像の部分データを、第1の時相帯に係るトレーニング入力データとし、被検体の、第1の時相帯に係る動画像の部分データUaを学習済みモデルD21に入力する。

0095

医用画像処理装置M2によれば、時相帯ごとに1つの学習済みモデルを構築・運用することで、医用画像処理装置M1による効果に加え、より確度の高い保存精度を得ることができる。

0096

3.第3の実施形態に係る医用画像処理装置
前述の第1の実施形態では、時相帯を問わず、1つのニューラルネットワークを構成するもの、第2の実施形態では、時相帯ごとに1つのニューラルネットワークを構成するものとして説明したが、その場合に限定されるものではない。

0097

例えば、腫瘍のカテゴリー分類を問わず、1つのニューラルネットワークを構成するもの、つまり、必要性情報生成機能172が、1個の学習済みモデルに対して、腫瘍の各カテゴリー分類に係る被検体の造影画像データを入力することで、各カテゴリー分類に係る被検体の造影画像データの保存に関する必要性情報を生成するものであってもよい。

0098

また、例えば、腫瘍のカテゴリー分類ごとに1つのニューラルネットワークを構成するもの、つまり、必要性情報生成機能172が、腫瘍の複数のカテゴリー分類に対応する複数の学習済みモデルのうちカテゴリー分類が対応する学習済みモデルに対して、被検体の造影画像データを入力することで、被検体の造影画像データの保存に関する必要性情報を生成するものであってもよい。その場合を、第3の実施形態に係る医用画像処理装置M3(図1及び図2に図示)として説明する。

0099

医用画像処理装置M3の構成及び機能は、図1及び図2に示すものと同等であり、医用画像処理装置M3の動作は、図3に示すものと同等であるので、説明を省略する。

0100

その場合、必要性情報生成機能172は、腫瘍の第1のカテゴリー分類に係る造影画像データに基づいて保存に関する必要性情報を生成する第1の学習済みモデルに対して、第1のカテゴリー分類に係る被検体の造影画像データを入力することで、被検体の造影画像データの保存に関する必要性情報を生成する。一方で、必要性情報生成機能172は、腫瘍の第2のカテゴリー分類に係る造影画像データに基づいて保存に関する必要性情報を生成する第2の学習済みモデルに対して、第2のカテゴリー分類に係る被検体の造影画像データを入力することで、被検体の造影画像データの保存に関する必要性情報を生成する。

0101

なお、腫瘍のカテゴリー分類に関する情報は、例えば、HCC(肝細胞癌)、Meta(転移性肝腫瘍)、Hema(肝血管腫)、及びFNH(限局性結節)等である。

0102

第3の実施形態に係る医用画像処理装置M3によれば、腫瘍のカテゴリー分類ごとに1つの学習済みモデルD3を構築・運用することで、医用画像処理装置M1による効果に加え、より確度の高い保存精度を得ることができる。

0103

4.第1の変形例
前述の第1〜第3の実施形態に係る医用画像処理装置M1〜M3において、トレーニング入力データや学習済みモデルへの入力が、造影画像データである場合や、造影画像データと識別情報等の付帯情報とである場合について説明したが、その場合に限定されるものではない。トレーニング入力データや学習済みモデルへの入力に、Bモード画像データ、カラードプラ画像データ、及びパワードプラ画像データのうち少なくとも1つの画像データを加えてもよい。

0104

なお、Bモード画像データは、CHIによる造影画像データとは別の撮像で生成されたいわゆるBモード画像データや、基本波成分の反射波データ(受信信号)から生成された、造影画像と同一のスキャンで生成されたファンダメンタル画像データ等を含む。

0105

第1〜第3の実施形態に係る医用画像処理装置M1〜M3の第1の変形例によれば、医用画像処理装置M1〜M3による効果に加え、より確度の高い診断結果を得ることができる。

0106

5.第2の変形例
前述の第1の実施形態において、トレーニング出力データが、保存の必要性情報である場合について説明したが、その場合に限定されるものではない。トレーニング出力データに、必要性情報の他、時相帯情報及び確定診断結果データのうち少なくとも1つを加えてもよい。時相帯情報の例について、後述の第4の実施形態で説明する。

0107

確定診断結果データは、例えば、良性悪性かのいずれかを示すデータであってもよいし、HCC、Meta、Hema、及びFNH等のカテゴリー分類のいずれに属するかを示すデータであってもよいし、カテゴリー分類の可能性をパーセントで示すデータ(例えば、良性x%、悪性y%)であってもよい。さらに、カテゴリー分類は、HCC等をさらに細分化した分化度(高分化低分化等)であってもよい。

0108

医用画像処理装置M1〜M3(変形例含む)によれば、医師等の操作者の経験や主観によらない腫瘍の確定診断を可能にすると共に、診断時間の短縮を実現することができる。

0109

6.第4の実施形態に係る医用画像処理装置
以上の第1〜第3の実施形態では、画像取得機能171がライブで造影画像データを取得し、必要性情報生成機能172が略リアルタイムで各造影画像データの必要性情報を生成する場合について説明した。つまり、各造影画像データの時相帯情報が既知の場合である。ここでは、各造影画像データの時相帯情報が不知の場合について、第4の実施形態に係る医用画像処理装置M4(図1及び図2に図示)として説明する。各造影画像データの時相帯情報が不知の場合は、画像取得機能171が撮像終了後に画像メモリ15から複数の造影画像データを取得し、必要性情報生成機能172が、複数の造影画像データに基づいてポストプロセス(後処理)で必要性情報を生成する場合はもちろん、必要性情報生成機能172が略リアルタイムで必要性情報を生成する場合も含み得る。

0110

必要性情報生成機能172は、画像取得機能171によって取得された造影画像データに基づいて、当該造影画像データに含まれる病変部位の造影剤による染影状態により分類される時相帯情報を生成するための学習済みモデルに対して、造影画像データを入力することで、時相帯情報を生成する。

0111

図9(A)は、運用時におけるデータフローの一例を示す説明図である。

0112

図9(A)について説明する。必要性情報生成機能172は、所定のフレームに係る造影画像データがトレーニングデータとして多数入力されて学習を行うことにより、パラメータデータP4を逐次的に更新する。トレーニングデータは、トレーニング入力データとしての、各フレームの造影画像データS1,S2,S3,…と、時相帯情報Y1,Y2,Y3,…との組みからなる。造影画像データS1,S2,S3,…は、トレーニング入力データ群Sを構成する。時相帯情報Y1,Y2,Y3,…は、トレーニング出力データ群Yを構成する。

0113

必要性情報生成機能172は、トレーニングデータが入力されるごとに、造影画像データS1,S2,S3,…をニューラルネットワークN4で処理した結果が保存に関する時相帯情報Y1,Y2,Y3,…に近づくようにパラメータデータP4を更新していく、いわゆる学習を行う。一般に、パラメータデータP4の変化割合が閾値以内に収束すると、学習は終了と判断される。以下、学習後のパラメータデータP4を特に学習済みパラメータデータP4´という。

0114

なお、トレーニング入力データの種類と図9(B)に示す運用時の入力データの種類は一致させるべきことに注意する。例えば、運用時の入力データが被検体の造影画像データである場合は、学習時のトレーニング入力データ群Sもまた、造影画像データとする。

0115

また、「画像データ」は、超音波診断装置等の医用画像生成装置が生成する生データを含む。すなわち、ニューラルネットワークN4の入力データは、スキャンコンバート前の生データであってもよい。

0116

一方で、図9(B)について説明する。図9(A)の場合と同様に、必要性情報生成機能172は、造影画像データがトレーニングデータとして多数入力されて学習を行うことにより、パラメータデータP4を逐次的に更新する。

0117

図9(B)は、第1の時相帯の場合の、運用時におけるデータフローの一例を示す説明図である。

0118

図9(B)について説明する。運用時には、必要性情報生成機能172は、診断対象となる被検体の対象フレームに対応する造影画像データSaを入力し、学習済みパラメータデータP4´を用いて被検体の造影画像データの保存に関する時相帯情報Yaを出力する。

0119

なお、ニューラルネットワークN4と学習済みパラメータデータP4´は、学習済みモデルD4を構成する。ニューラルネットワークN4は、プログラムの形態でメインメモリ18に記憶される。学習済みパラメータデータP4´は、メインメモリ18に記憶されてもよいし、ネットワークNを介して超音波診断装置10と接続された記憶媒体に記憶されてもよい。この場合、処理回路17のプロセッサにより実現される必要性情報生成機能172は、メインメモリ18から学習済みモデルD4を読み出して実行することで、造影画像データに基づいて、当該造影画像データの時相帯情報を生成する。なお、学習済みモデルD4は、ASIC、FPGA等の集積回路によって構築されてもよい。

0120

また、必要性情報生成機能172による判断精度を向上させるように、入力データとして、造影画像データに加えて撮影対象の身長、体重、既往歴、及び血縁者の病歴の少なくとも1つを含む識別情報を用いてもよい。

0121

これにより、各造影画像データの時相帯情報が既知となる。必要性情報生成機能172は、第1〜第3の実施形態で説明したように、複数の造影画像データと、それらの時相帯情報とに基づいて、必要性情報を生成するための学習済みモデルに対して、被検体の造影画像データを入力することで、被検体の造影画像データの保存の必要性情報を生成することができる。つまり、第4の実施形態を、第1〜第3の実施形態のいずれかに適用することができる。

0122

医用画像処理装置M4によれば、造影剤注入開始を基準とする経過時間のみならず、造影画像データから時相帯情報を推測することができる。また、推測された時相帯情報を第1〜第3の実施形態に適用することで、撮像終了後のポストプロセスで、医師等の操作者の経験や主観によらない腫瘍の確定診断を可能にすると共に、診断時間の短縮を実現することができる。

0123

7.第5の実施形態に係る医用画像処理装置
前述の第1〜第4の実施形態では、各造影画像データの時相帯情報の設定や、各造影画像データの必要性情報の設定を特徴とするものである。本実施形態は、前述の各造影画像データの時相帯情報又は必要性情報に基づいて、腫瘍に関する被検体の診断結果データを生成するものである。この場合について、第5の実施形態に係る医用画像処理装置M5(図1に図示)として説明する。

0124

第5の実施形態に係る医用画像処理装置M5の構成は、図1に示すものと同等であるので、説明を省略する。

0125

図10は、医用画像処理装置M5の機能を示すブロック図である。

0126

処理回路17は、メインメモリ18に記憶された、又は、処理回路17内に直接組み込まれたプログラムを読み出して実行することで、画像取得機能171と、診断結果生成機能174と、出力制御機能175とを実現する。以下、機能171,174,175がソフトウェア的に機能する場合を例に挙げて説明するが、機能171,174,175の全部又は一部は、超音波診断装置10にASIC等の回路等として設けられるものであってもよい。

0127

なお、図10において、図2に示す部材と同一部材には同一符号を付して説明を省略する。

0128

診断結果生成機能174は、異なる複数の時相帯に係る複数の造影画像データに基づいて腫瘍に関する診断結果データを生成するための学習済みモデルに対して、複数の時相帯に係る被検体の複数の造影画像データを入力することで、病変部位の種類に係る情報(例えば、腫瘍に関する被検体の診断結果データ)を生成する機能を含む。なお、診断結果生成機能174は、診断結果生成部の一例である。

0129

出力制御機能175は、診断結果生成機能174によって生成された診断結果データをディスプレイ40に表示させ、又は、スピーカ(図示省略)を介して音声出力することにより医師等の操作者に診断結果データを提示する機能を含む。なお、出力制御機能175は、出力制御部の一例である。

0130

機能171,174,175の詳細については、図11図17を用いて説明する。

0131

続いて、超音波診断装置10の動作について説明する。ここでは、異なるn(n=2,3,4,…)個の時相帯として異なる2個(又は3個)の時相帯の組み合わせを例にとって説明するが、その場合に限定されるものではない。異なる複数の時相帯は、例えば、異なる4個以上の時相帯の組み合わせであってもよい。

0132

図11は、超音波診断装置10の動作をフローチャートとして示す図である。図11において、「ST」に数字を付した符号はフローチャートの各ステップを示す。

0133

図11において、図3と同一ステップには同一符号を付して説明を省略する。

0134

ステップST4に続き、診断結果生成機能174は、ステップST3によって生成された造影画像データの時相が、造影剤注入後の2番目以降の時相帯に係るか否かを判断する(ステップST15)。造影剤注入後は、造影剤による腫瘍の染影の程度によって複数の時相帯に分類される。例えば、撮像部位が肝臓である場合、造影剤の注入開始からの経過時間に従って、早期血管相、動脈優位相、門脈優位相、及び後血管相等の時相帯に分類される。

0135

ステップST15の判断にてNO、つまり、ステップST3によって生成された造影画像データの時相が、造影剤注入後の最初の時相帯(例えば、早期血管相)に係ると判断される場合、画像取得機能171は、画像生成回路14等を制御して、次のフレームについて、造影画像データを生成して画像メモリ15に記憶させる(ステップST3)。

0136

一方で、ステップST15の判断にてYES、つまり、ステップST3によって生成された造影画像データの時相が、造影剤注入後の2番目以降の時相帯(例えば、動脈優位相)に係ると判断される場合、診断結果生成機能174は、ステップST3によって生成された最新フレームの造影画像データと、画像メモリ15に記載されている過去フレームの造影画像データとに基づいて、腫瘍に関する診断結果データを生成する(ステップST16)。ここで、過去フレームの造影画像データは、最新フレームの時相帯とは異なる時相帯に係るフレームの画像データである。

0137

ここで、診断結果生成機能174は、異なる2個の時相帯でそれぞれ生成された2個の造影画像データの組み合わせに基づいて腫瘍に関する診断結果データを生成する処理を行うものである。この処理には、例えば、2個の時相帯でそれぞれ生成された2個の造影画像データの組み合わせと腫瘍に関する診断結果データとを関連付けたルックアップテーブル(LUT)が用いられてもよい。また、この処理には、機械学習が用いられてもよい。また、機械学習としてCNNや畳み込み深層信念ネットワーク等の、多層のニューラルネットワークを用いた深層学習が用いられてもよい。

0138

第5の実施形態の説明では、診断結果生成機能174がニューラルネットワークN5を含み、深層学習を用いて、2個の時相帯でそれぞれ生成された2個の造影画像データ(第1の時相帯に係る1個の造影画像データと第2の時相帯に係る1個の造影画像データ)の組み合わせに基づいて、腫瘍に関する診断結果データを生成する場合の例を示す。
図12(A)は、学習時におけるデータフローの一例を示す説明図である。図12(B)は、トレーニングデータの例を表として示す図である。

0139

診断結果生成機能174は、トレーニングデータが多数入力されて学習を行うことにより、パラメータデータP5を逐次的に更新する。トレーニングデータは、トレーニング入力データとしての2個の時相帯でそれぞれ生成された2個の造影画像データの組み合わせF1,F2,F3,…と、理想的な診断結果G1,G2,G3,…との組みからなる。2個の時相帯でそれぞれ生成された2個の造影画像データの組み合わせF1,F2,F3,…は、トレーニング入力データ群Fを構成する。理想的な診断結果G1,G2,G3,…は、トレーニング出力データ群Gを構成する。理想的な診断結果G1,G2,G3,…はそれぞれ、対応する組み合わせF1,F2,F3,…の撮影対象者から組織を取り出して診断することで確定した腫瘍に関する確定診断結果であるとよい。

0140

診断結果生成機能174は、トレーニングデータが入力されるごとに、2個の時相帯でそれぞれ生成された2個の造影画像データの組み合わせF1,F2,F3,…をニューラルネットワークN5で処理した結果が腫瘍に関する確定診断結果G1,G2,G3,…に近づくようにパラメータデータP5を更新していく、いわゆる学習を行う。一般に、パラメータデータP5の変化割合が閾値以内に収束すると、学習は終了と判断される。以下、学習後のパラメータデータP5を特に学習済みパラメータデータP5´(図13に図示)という。

0141

なお、トレーニング入力データの種類と図13に示す運用時の入力データの種類は一致させるべきことに注意する。例えば、運用時の入力データが被検体の造影画像データである場合は、学習時のトレーニング入力データ群Fもまた、造影画像データとする。

0142

また、「画像データ」は、超音波診断装置等の医用画像生成装置が生成する生データを含む。すなわち、ニューラルネットワークN5の入力データは、スキャンコンバート前の生データであってもよい。

0143

図13は、運用時におけるデータフローの一例を示す説明図である。

0144

運用時には、診断結果生成機能174は、学習済みモデルD5に、診断対象となる被検体の、2個の時相帯でそれぞれ生成された2個の造影画像データの組み合わせFaを入力し、学習済みパラメータデータP5´を用いて被検体の腫瘍に関する診断結果データGaを出力する。

0145

なお、ニューラルネットワークN5と学習済みパラメータデータP5´は、学習済みモデルD5を構成する。ニューラルネットワークN5は、プログラムの形態でメインメモリ18に記憶される。学習済みパラメータデータP5´は、メインメモリ18に記憶されてもよいし、ネットワークNを介して超音波診断装置10と接続された記憶媒体に記憶されてもよい。この場合、処理回路17のプロセッサにより実現される診断結果生成機能174は、メインメモリ18から学習済みモデルD5を読み出して実行することで、2個の時相帯でそれぞれ生成された2個の造影画像データの組み合わせに基づいて、腫瘍に関する診断結果データを生成する。なお、学習済みモデルD5は、ASIC、FPGA等の集積回路によって構築されてもよい。

0146

なお、診断結果生成機能174を含む学習済みモデルD5が出力する被検体の腫瘍に関する診断結果データGaは、例えば、良性か悪性かのいずれかを示すデータであってもよいし、HCC(肝細胞癌)、Meta(転移性肝腫瘍)、Hema(肝血管腫)、及びFNH(限局性結節)等のカテゴリー分類のいずれに属するかを示すデータであってもよいし、カテゴリー分類の可能性をパーセントで示すデータ(例えば、良性x%、悪性y%)であってもよい。さらに、カテゴリー分類は、HCC等をさらに細分化した分化度(高分化、低分化等)であってもよい。

0147

また、診断結果生成機能174による腫瘍に関する診断精度を向上させるように、入力データとして、2個の造影画像データの組み合わせに加えて、撮影対象の身長、体重、既往歴、及び血縁者の病歴の少なくとも1つを含む識別情報を用いてもよい。

0148

この場合、学習時には、トレーニング入力データとしての2個の時相帯でそれぞれ生成された2個の造影画像データの組み合わせF1,F2,F3,…のそれぞれの撮影対象者の識別情報も、トレーニング入力データとしてニューラルネットワークN5に入力する。運用時には、診断結果生成機能174は、メインメモリ18から読み出した学習済みモデルD5に対して診断対象となる被検体の2個の時相帯でそれぞれ生成された2個の造影画像データの組み合わせFaと共に被検体の識別情報を入力することで、被検体の腫瘍に関する診断結果データGaを出力する。入力データとして2個の時相帯でそれぞれ生成された2個の造影画像データの組み合わせと撮影対象者の識別情報とを用いることで、撮影対象者のタイプに応じた学習を行った学習済みパラメータデータP5´を生成することができるため、2個の時相帯でそれぞれ生成された2個の造影画像データの組み合わせのみを入力データとする場合に比べて診断精度を向上させることができる。

0149

図11の説明に戻って、出力制御機能175は、ステップST16によって生成された診断結果データをディスプレイ40に表示させる(ステップST17)。又は、出力制御機能175は、スピーカ(図示省略)を介して音声出力することにより医師等の操作者に診断結果データを提示する。

0150

図14は、診断結果の表示例を示す図である。

0151

図14に示すように、表示画面は、最新フレームの造影画像データに基づく画像と、それに組み合わされた過去フレームの造影画像データに基づく画像と、診断結果生成機能174の出力である診断結果データとを含む。診断結果として、カテゴリー分類の可能性をパーセントで示すデータを含む。

0152

図11の説明に戻って、画像取得機能171は、ステップST2によって開始された超音波撮像を終了するか否かを判断する(ステップST18)。

0153

ステップST18の判断にてNO、即ち、ステップST2によって開始された超音波撮像を終了しないと判断された場合、画像取得機能171は、画像生成回路14等を制御して、次のフレームについて、造影画像データを生成して画像メモリ15に記憶させる(ステップST3)。つまり、超音波撮像が継続される。

0154

一方で、ステップST18の判断にてYES、即ち、ステップST2によって開始された超音波撮像を終了すると判断された場合、画像取得機能171は、操作者が入力インターフェース30を介して終了指示を行ったと判断して、超音波撮像を終了させる。

0155

つまり、図11に示すフローチャートによると、超音波診断装置10は、2番目以降の時相帯においてステップST3,ST4,ST15〜ST18のセットを繰り返すことで、フレームごとに、腫瘍に関する診断結果データを生成して表示することになる。

0156

なお、造影画像データは、1フレーム画像データである場合に限定されるものではない。造影画像データは、連続する複数のフレームによって構成される動画像データであってもよい。その場合、2個の動画像データの組み合わせをトレーニング入力データとし、診断対象となる被検体の2個の動画像データの組み合わせFaを学習済みモデルD5の入力とする。これにより、造影剤に含まれるバブルの動的な動きを学習することができる。

0157

また、図11に示すフローチャートによれば、診断結果生成機能174は、連続する各フレームの造影画像データが生成される度に診断結果データを生成することになるが、その場合に限定されるものではない。例えば、診断結果生成機能174は、一定のフレーム間隔をおいて生成された各フレームの造影画像データが生成される度に診断結果データを生成してもよいし、各時相帯の最初の1フレームの造影画像データが生成される度に診断結果データを生成してもよい。

0158

医用画像処理装置M5によれば、異なる複数の時相帯で得られた複数の造影画像データに基づく腫瘍の確定診断を支援することができるので、リアルタイムで医師等の操作者の経験や主観によらない腫瘍の確定診断が可能となる。

0159

8.第6の実施形態に係る医用画像処理装置
前述の第5の実施形態では、時相帯を問わず、1つのニューラルネットワークを構成するもの、つまり、診断結果生成機能174が、1個の学習済みモデルに対して、各時相帯に係る被検体の造影画像データを入力することで、各時相帯に係る被検体の診断結果データを生成するものとして説明した。しかしながら、その場合に限定されるものではない。

0160

例えば、所定の時相帯以前に係る複数の時相帯の組み合わせに基づいて1つのニューラルネットワークを構成すると共に、別の時相帯以前に係る複数の時相帯の組み合わせに基づいて1つのニューラルネットワークを構成するものであってもよい。つまり、診断結果生成機能174は、複数の時相帯に係る複数の造影画像データの組み合わせに対応する複数の学習済みモデルのうち組み合わせが対応する学習済みモデルに対して、被検体の複数の造影画像データの組み合わせを入力することで、被検体の診断結果データを生成する。その場合を、第6の実施形態に係る医用画像処理装置M6(図1及び図10に図示)として説明する。

0161

医用画像処理装置M6の構成及び機能は、図1及び図10に示すものと同等であり、医用画像処理装置M6の動作は、図11に示すものと同等であるので、説明を省略する。

0162

図10に示す診断結果生成機能174は、図11に示すステップST16において、ステップST3によって生成された最新フレームの造影画像データと、画像メモリ15に記載されている過去フレームの造影画像データとの組み合わせに基づいて、腫瘍に関する診断結果データを生成する。

0163

ここで、診断結果生成機能174は、対象フレームが、第1の時相帯の場合とその次の第2の時相帯の場合とで区別して処理を行う。診断結果生成機能174は、対象フレームが第1の時相帯の場合には、第1の時相帯以前に係るn個の時相帯に対応するn個の造影画像データの組み合わせに基づいて腫瘍に関する診断結果データを生成する処理を行い、対象フレームが第2の時相帯の場合には、第2の時相帯以前に係るn+1個の時相帯に対応するn+1個の造影画像データの組み合わせに基づいて腫瘍に関する診断結果データを生成する処理を行うものである。

0164

この処理には、例えば、第1の時相帯以前の、2個の時相帯でそれぞれ生成された2個の造影画像データの組み合わせと腫瘍に関する診断結果データとを関連付けたルックアップテーブルと、第2の時相帯以前の、3個の時相帯でそれぞれ生成された3個の造影画像データの組み合わせと腫瘍に関する診断結果データとを関連付けたルックアップテーブルとが用いられてもよい。また、この処理には、機械学習が用いられてもよい。また、機械学習としてCNNや畳み込み深層信念ネットワーク等の、多層のニューラルネットワークを用いた深層学習が用いられてもよい。

0165

第6の実施形態の説明では、診断結果生成機能174が複数のニューラルネットワークN6(例えば、(図15(A),(B)等に図示する「N61」、「N62」))を含み、深層学習を用いて、n個の時相帯でそれぞれ生成されたn個の造影画像データの組み合わせに基づいて、腫瘍に関する診断結果データを生成する場合の例を示す。

0166

図15(A)は、第1の時相帯以前に対応する複数の時相帯を組み合わせる場合の、学習時におけるデータフローの一例を示す説明図である。図15(B)は、第2の時相帯以前に対応する複数の時相帯を組み合わせる場合の、学習時におけるデータフローの一例を示す説明図である。

0167

図15(A)について説明する。診断結果生成機能174は、第1の時相帯以前に係るトレーニングデータが多数入力されて学習を行うことにより、パラメータデータP61を逐次的に更新する。トレーニングデータは、トレーニング入力データとしての、第1の時相帯、例えば動脈優位相以前における2個の早期血管相と動脈優位相とでそれぞれ生成された2個の造影画像データの組み合わせH1,H2,H3,…と、理想的な診断結果I1,I2,I3,…との組みからなる。動脈優位相以前における2個の早期血管相と動脈優位相でそれぞれ生成された2個の造影画像データの組み合わせH1,H2,H3,…は、トレーニング入力データ群Hを構成する。理想的な診断結果I1,I2,I3,…は、トレーニング出力データ群Iを構成する。理想的な診断結果I1,I2,I3,…はそれぞれ、対応する組み合わせH1,H2,H3,…の撮影対象者から組織を取り出して診断することで確定した腫瘍に関する確定診断結果であるとよい。

0168

診断結果生成機能174は、トレーニングデータが入力されるごとに、動脈優位相以前における2個の早期血管相と動脈優位相とでそれぞれ生成された2個の造影画像データの組み合わせH1,H2,H3,…をニューラルネットワークN61で処理した結果が腫瘍に関する確定診断結果I1,I2,I3,…に近づくようにパラメータデータP61を更新していく、いわゆる学習を行う。一般に、パラメータデータP61の変化割合が閾値以内に収束すると、学習は終了と判断される。以下、学習後のパラメータデータP61を特に学習済みパラメータデータP61´(図16(A)に図示)という。

0169

なお、トレーニング入力データの種類と図16(A)に示す運用時の入力データの種類は一致させるべきことに注意する。例えば、運用時の入力データが被検体の造影画像データである場合は、学習時のトレーニング入力データ群Hもまた、造影画像データとする。

0170

また、「画像データ」は、超音波診断装置等の医用画像生成装置が生成する生データを含む。すなわち、ニューラルネットワークN61の入力データは、スキャンコンバート前の生データであってもよい。

0171

一方で、図15(B)について説明する。図15(A)の場合と同様に、診断結果生成機能174は、第2の時相帯以前に係るトレーニングデータが多数入力されて学習を行うことにより、パラメータデータP62を逐次的に更新する。診断結果生成機能174は、トレーニングデータが入力されるごとに、門脈優位相以前における3個の早期血管相と動脈優位相と門脈優位相でそれぞれ生成された3個の造影画像データの組み合わせJ1,J2,J3,…をニューラルネットワークN62で処理した結果が腫瘍に関する確定診断結果K1,K2,K3,…に近づくようにパラメータデータP62を更新していく、いわゆる学習を行う。

0172

図16(A)は、第1の時相帯以前に対応する複数の時相帯を組み合わせる場合の、運用時におけるデータフローの一例を示す説明図である。図16(B)は、第2の時相帯以前に対応する複数の時相帯を組み合わせる場合の、運用時におけるデータフローの一例を示す説明図である。

0173

図16(A)について説明する。運用時には、診断結果生成機能174は、診断対象となる被検体の対象フレーム(例えば、最新フレーム)に対応する時相帯を得る。そして、診断結果生成機能174は、当該時相帯が第1の時相帯、例えば、動脈優位相であると判断する場合に、学習済みモデルD61に、動脈優位相以前の2個の早期血管相と動脈優位相とでそれぞれ生成された2個の造影画像データの組み合わせHaを入力し、学習済みパラメータデータP61´を用いて被検体の腫瘍に関する診断結果データIaを出力する。

0174

なお、ニューラルネットワークN61と学習済みパラメータデータP61´は、学習済みモデルD61を構成する。ニューラルネットワークN61は、プログラムの形態でメインメモリ18に記憶される。学習済みパラメータデータP61´は、メインメモリ18に記憶されてもよいし、ネットワークNを介して超音波診断装置10と接続された記憶媒体に記憶されてもよい。この場合、処理回路17のプロセッサにより実現される診断結果生成機能174は、メインメモリ18から学習済みモデルD61を読み出して実行することで、2個の早期血管相と動脈優位相とでそれぞれ生成された2個の造影画像データの組み合わせに基づいて、腫瘍に関する診断結果データを生成する。なお、学習済みモデルD61は、ASIC、FPGA等の集積回路によって構築されてもよい。

0175

なお、診断結果生成機能174を含む学習済みモデルD61が出力する被検体の腫瘍に関する診断結果データIaは、例えば、良性か悪性かのいずれかを示すデータであってもよいし、HCC、Meta、Hema、及びFNH等のカテゴリー分類のいずれに属するかを示すデータであってもよいし、カテゴリー分類の可能性をパーセントで示すデータ(例えば、良性x%、悪性y%)であってもよい。さらに、カテゴリー分類は、HCC等をさらに細分化した分化度(高分化、低分化等)であってもよい。

0176

また、診断結果生成機能174による腫瘍に関する診断精度を向上させるように、入力データとして、造影画像データに加えて撮影対象の身長、体重、既往歴、及び血縁者の病歴の少なくとも1つを含む識別情報を用いてもよい。

0177

一方で、図16(B)について説明する。図16(A)の場合と同様に、運用時には、診断結果生成機能174は、診断対象となる被検体の対象フレーム(例えば、最新フレーム)に対応する時相帯を得る。そして、診断結果生成機能174は、当該時相帯が第2の時相帯、例えば、門脈優位相であると判断する場合に、学習済みモデルD62に、3個の早期血管相と動脈優位相と門脈優位相とでそれぞれ生成された3個の造影画像データの組み合わせJaを入力し、学習済みパラメータデータP62´を用いて被検体の腫瘍に関する診断結果データKaを出力する。

0178

なお、医用画像処理装置M6では、複数の時相帯からなる組み合わせを2個又は3個に分類し、それぞれについてニューラルネットワークを構成するものとして説明したが、その場合に限定されるものではない。例えば、4個以上の時相帯の組み合わせごとに異なるニューラルネットワークを構成するものであってもよい。又は、特徴的な時相帯の組み合わせのみに基づいて1つニューラルネットワークを構成するものであってもよい。

0179

前者について、例えば、2個の早期血管相と動脈優位相との組み合わせについて1つのニューラルネットワークを構成し、3個の早期血管相と動脈優位相と門脈優位相との組み合わせについて1つのニューラルネットワークを構成し、4個の早期血管相と動脈優位相と門脈優位相と後血管相との組み合わせについて1つのニューラルネットワークを構成する。診断対象となる被検体の対象フレーム(例えば、最新フレーム)に対応する時相帯が動脈優位相である場合には2個の早期血管相と動脈優位相との組み合わせに基づくニューラルネットワークを利用し、時相が進んで対象フレームに対応する時相帯が門脈優位相となった場合には3個の早期血管相と動脈優位相と門脈優位相との組み合わせに基づくニューラルネットワークを利用することになり、時相がさらに進んで対象フレームに対応する時相帯が後血管相となった場合には4個の早期血管相と動脈優位相と門脈優位相と後血管相との組み合わせに基づくニューラルネットワークを利用する。

0180

これにより、造影剤の注入開始からの時相が進むと入力画像の数が増えていき、適用するニューラルネットワークがリアルタイムで変化することになる。

0181

また、第6の実施形態において生成された被検体の診断結果データを、第5の実施形態において生成された被検体の診断結果データと共に出力するように構成してもよいことは言うまでもない。

0182

さらに、造影画像データは、1フレーム画像データである場合に限定されるものではない。造影画像データは、連続する複数のフレームによって構成される、時相帯毎の動画像データであってもよい。その場合、早期血管相に係る動画像データと動脈優位相に係る動画像データとの組み合わせを、第1のトレーニング入力データとし、被検体の、早期血管相に係る動画像データと動脈優位相に係る動画像データとの組み合わせHaを学習済みモデルD61に入力する。また、早期血管相に係る動画像データと動脈優位相に係る動画像データと門脈優位相の動画像データとの組み合わせを、第2のトレーニング入力データとし、被検体の、早期血管相に係る動画像データと動脈優位相に係る動画像データと門脈優位相の動画像データとの組み合わせJaを学習済みモデルD62に入力する。これらにより、造影剤に含まれるバブルの動的な動きを学習することができる。

0183

また、造影画像データは、連続する複数のフレームによって構成される、インデックスで複数の時相帯に分けれる1つの動画像データであってもよい。その場合、インデックスによって分けられる早期血管相に係る動画像の部分データと、インデックスによって分けられる動脈優位相に係る動画像の部分データとの組み合わせを、第1のトレーニング入力データとし、被検体の、インデックスによって分けられる早期血管相に係る動画像の部分データと、インデックスによって分けられる動脈優位相に係る動画像の部分データとの組み合わせHaを学習済みモデルD61に入力する。

0184

医用画像処理装置M6によれば、医用画像処理装置M5による効果に加え、より確度の高い診断結果を得ることができる。

0185

9.第7の実施形態に係る医用画像処理装置
前述の第5及び第6の実施形態では、画像取得機能171がライブで造影画像データを取得し、造影画像データが取得される都度、診断結果生成機能174が略リアルタイムで被検体の確定診断結果データを生成する場合について説明した。しかしながら、その場合に限定されるものではない。

0186

例えば、操作者が、ディスプレイ40に表示される画面を操作することで、被検体の確定診断結果データを生成する処理を行うようにしてもよい。その場合を、第7の実施形態に係る医用画像処理装置M7(図1及び図10に図示)として説明する。

0187

第7の実施形態に係る医用画像処理装置M7の構成及び機能は、図1及び図10に示すものと同等であり、第7の実施形態に係る医用画像処理装置M7の動作は、図11に示すものと同等であるので、説明を省略する。

0188

図11に示すステップST15において、入力インターフェース30を介した操作により、早期血管相の中のある時相に加え、動脈優位相の中のある時相が設定される。診断結果生成機能174は、早期血管相の中のある時相に加え、動脈優位相の中のある時相が設定されると、設定された時相の造影画像データの組み合わせを、学習済みモデルD5(図13に図示)又は学習済みモデルD61(図16(A)に図示)に入力することで、被検体の確定診断結果データを生成する。

0189

図17は、時相の設定画面の一例を示す図である。

0190

図17(A)の上段は、ライブ表示される造影画像データを示す。図17(A)の下段は、造影剤注入開始を基準とした経過時間によって予め決まる時相帯と、造影剤注入開始を基準とした実際の経過時間(タイムスライダ)と、「設定」ボタンとを示す。

0191

操作者は、タイムスライダを確認しながら、各時相帯において診断に有効な造影画像データがライブ画像として現れたら、入力インターフェース30を介して「設定」ボタンをクリックする。早期血管相において「設定」ボタンがクリックされると、早期血管相の中のある時相が設定される。そして、設定された時相を視認可能なように、タイムスライダの該当時相にマークが示され、その時相における造影像データが静止画として右上に表示される。

0192

撮像時間が経過し、動脈優位相のある時相で「設定」ボタンがクリックされると、動脈優位相の中のある時相が設定される。この入力インターフェース30を介した造影画像データの設定により、診断結果生成機能174は、当該造影画像データに対応する時相帯情報を、学習済みモデルに入力する時相帯情報として設定することができる。
図17(B)は、図17(A)と同様に、ライブ表示される造影画像データと、時相帯と、タイムスライダと、「設定」ボタンとを示す。

0193

操作者は、タイムスライダを確認しながら、各時相帯において診断に有効な造影画像データがライブ画像として現れたら、入力インターフェース30を介して「設定」ボタンをクリックする。加えて、診断に有効な造影画像データが消滅したら、入力インターフェース30を介して「設定」ボタンをクリックする。早期血管相において「設定」ボタンが2回クリックされると、早期血管相の中のある時相幅が設定される。そして、設定された時相幅を視認可能なように、タイムスライダの該当2時相にマークが示され、その2時相間における複数の造影像データが動画として右上に表示される。

0194

撮像時間が経過し、動脈優位相のある時相で「設定」ボタンが2回クリックされると、動脈優位相の中のある時相幅が設定される。この入力インターフェース30を介した造影画像データの設定により、診断結果生成機能174は、当該造影画像データに対応する時相帯情報を、学習済みモデルに入力する時相帯情報として設定することができる。

0195

また、設定画面上には、設定された造影画像データの組み合わせに従って生成された確定診断結果データを都度表示するように構成されてもよい。その場合の例について、図18に示す。

0196

図18は、確定診断結果データの表示例を示す図である。

0197

図18は、図17(A)の時相の設定画面上で設定された時相に係る造影画像データの組み合わせに応じて生成される確定診断結果データを示す。図17(B)についても、同様に、確定診断結果データを表示し得るものとする。

0198

動脈優位相のある時相が設定された時点で、診断結果生成機能174は、早期血管相の中で設定された時相の造影画像データと、動脈優位相の中で設定された時相の造影画像データとの組み合わせに基づいて、確定診断結果データ「HCC:30%」と、「Meta:10%」とを生成する。出力制御機能175は、確定診断結果データ「HCC:30%」と、「Meta:10%」とを、図18の下段に示すようにディスプレイ40に表示させる。

0199

医用画像処理装置M7によれば、学習済みモデルに入力するデータを厳選することができるので、医用画像処理装置M5による効果に加え、より高速に診断結果を得ることができ、また、ハードウェア資源を節約することもできる。

0200

10.第8の実施形態に係る医用画像処理装置
前述の第5〜第7の実施形態では、画像取得機能171がライブで造影画像データを取得し、診断結果生成機能174が略リアルタイムで被検体の確定診断結果データを生成する場合について説明した。つまり、各造影画像データの時相帯情報が既知の場合である。ここでは、各造影画像データの時相帯情報が不知の場合について、第8の実施形態に係る医用画像処理装置M8(図1及び図10に図示)として説明する。各造影画像データの時相帯情報が不知の場合は、画像取得機能171が撮像終了後に画像メモリ15から複数の造影画像データを取得し、診断結果生成機能174が、複数の造影画像データに基づいてポストプロセスで確定診断結果データを生成する場合はもちろん、診断結果生成機能174が略リアルタイムで確定診断結果データを生成する場合も含み得る。

0201

診断結果生成機能174は、画像取得機能171によって取得された造影画像データに基づいて、当該造影画像データに含まれる病変部位の造影剤による染影状態により分類される時相帯情報を生成するための学習済みモデルに対して、造影画像データを入力することで、時相帯情報を生成する。

0202

なお、医用画像処理装置M7における時相帯情報の生成方法は、図9(A),(B)を用いて説明したものと同等であるので、説明を省略する。医用画像処理装置M7における時相帯情報の生成方法は、図9(A),(B)に示す「必要性情報生成機能172」が「診断結果生成機能174」に置換されるだけに過ぎない。

0203

医用画像処理装置M8によれば、造影剤注入開始を基準とする経過時間のみならず、造影画像データから時相帯情報を推測することができる。また、推測された時相帯情報を第5〜第7の実施形態に適用することで、撮像終了後のポストプロセスで、医師等の操作者の経験や主観によらない腫瘍の確定診断が可能となる。

0204

11.第1の変形例
前述の第5〜第8の実施形態において、トレーニング入力データや学習済みモデルへの入力が、n個の時相帯でそれぞれ生成されたn個の造影画像データの組み合わせである場合や、n個の時相帯でそれぞれ生成されたn個の造影画像データの組み合わせと識別情報等の付帯情報とである場合について説明したが、その場合に限定されるものではない。トレーニング入力データや学習済みモデルへの入力に、Bモード画像データ、カラードプラ画像データ、及びパワードプラ画像データのうち少なくとも1つの画像データを加えてもよい。

0205

加えられる画像データは、対応する1時相帯に係る画像データであってもよいし、対応する2個の時相帯でそれぞれ生成された2個の画像データであってもよい。なお、Bモード画像データは、CHIによる造影画像データとは別の撮像で生成されたいわゆるBモード画像データや、基本波成分の反射波データ(受信信号)から生成された、造影画像と同一のスキャンで生成されたファンダメンタル画像データ等を含む。

0206

医用画像処理装置M5〜M8の第1の変形例によれば、医用画像処理装置M5〜M8による効果に加え、より確度の高い診断結果を得ることができる。

0207

12.第2の変形例
前述の第5〜第8の実施形態に係る医用画像処理装置M5〜M8において、トレーニング入力データや学習済みモデルへの入力が、2個の時相帯でそれぞれ生成された2個の造影画像データの組み合わせである場合や、2個の時相帯でそれぞれ生成された2個の造影画像データの組み合わせと識別情報等の付帯情報とである場合について説明したが、その場合に限定されるものではない。トレーニング入力データや学習済みモデルへの入力に、バブルのトラッキング軌跡を表した画像データであるBTI(Bubble Tracking Imaging)画像データを加えてもよい。

0208

加えられるBTI画像データは、対応する1時相帯に係り、当該フレームまでのバブルの軌跡を示す画像データである。

0209

なお、トレーニング入力データや学習済みモデルへの入力として、2個の時相帯でそれぞれ生成された2個の造影画像データの組み合わせにBTI画像データを加える場合について説明したが、その場合に限定されるものではない。トレーニング入力データや学習済みモデルへの入力として、2個の時相帯でそれぞれ生成された2個の造影画像データの組み合わせに代え、BTI画像データを採用してもよい。

0210

第5〜第8の実施形態に係る医用画像処理装置M5〜M8の第2の変形例によれば、医用画像処理装置M5〜M8による効果に加え、より確度の高い診断結果を得ることができる。

0211

13.第3の変形例
前述の第5〜第8の実施形態では、ライブで組み合わせが発生する度に確定診断結果データを生成するものとして説明したが、その場合に限定されるものではない。

0212

なお、図17及び図18を用いて、画像取得機能171がライブで造影画像データを取得し、診断結果生成機能174が略リアルタイムで確定診断結果データを生成する場合について説明した。しかしながら、その場合に限定されるものではなく、画像取得機能171が撮像終了後に画像メモリ15から複数の造影画像データを取得し、診断結果生成機能174が、複数の造影画像データの組み合わせに基づいてポストプロセスで確定診断結果データを生成してもよい。

0213

例えば、前述の第1〜第4の実施形態に係る医用画像処理装置M1〜M4で生成された必要性情報に基づいて、腫瘍に関する被検体の診断結果データを生成してもよい。

0214

14.第9の実施形態に係る医用画像処理装置
図19は、第9の実施形態に係る医用画像処理装置を備えた医用画像表示装置の構成を示す概略図である。

0215

図19は、第9の実施形態に係る医用画像処理装置M9を備えた医用画像表示装置70を示す。医用画像表示装置70は、医用画像管理装置(画像サーバ)や、ワークステーションや、読影端末等であり、ネットワークを介して接続された医用画像システム上に設けられる。なお、医用画像表示装置70は、オフラインの装置であってもよい。

0216

医用画像表示装置70は、処理回路71と、メモリ72と、入力インターフェース73と、ディスプレイ74と、ネットワークインターフェース75とを備える。なお、処理回路71と、メモリ72とにより、医用画像処理装置M9が構成される。又は、処理回路71と、メモリ72とに、入力インターフェース73と、ディスプレイ74との少なくとも一方を加えたものにより、医用画像処理装置M9が構成されてもよい。

0217

なお、処理回路71と、メモリ72と、入力インターフェース73と、ディスプレイ74とは、図1及び図10に示す処理回路17と、メインメモリ18と、入力インターフェース30と、ディスプレイ40と同等の構成を有するものとして説明を省略する。

0218

ネットワークインターフェース75は、パラレル接続仕様シリアル接続仕様に合わせたコネクタによって構成される。医用画像表示装置70が医用画像システム上に設けられる場合、ネットワークインターフェース75は、ネットワーク上の外部装置と情報の送受信を行なう。例えば、ネットワークインターフェースは、処理回路71の制御の下、外部装置から、造影画像データ等の医用画像データを受信する。

0219

続いて、医用画像処理装置M9を備えた医用画像表示装置70の機能について説明する。

0220

図20は、医用画像処理装置M9を備えた医用画像表示装置70の機能を示すブロック図である。

0221

処理回路71は、メモリ72に記憶されたプログラムを実行することで、画像取得機能711と、必要性情報生成機能712と、保存制御機能713と、診断結果生成機能714と、出力制御機能715とを実現する。なお、機能711〜715の全部又は一部は、医用画像処理装置M9のプログラムの実行により実現される場合に限定されるものではなく、医用画像表示装置70にASIC等の回路として備えられる場合であってもよい。

0222

画像取得機能711は、ネットワークインターフェース75を介して医用画像管理装置60又は超音波診断装置10から、造影画像データを取得する機能を含む。なお、画像取得機能711は、画像取得部の一例である。

0223

必要性情報生成機能712は、図2に示す必要性情報生成機能172と同等の機能を含む。なお、必要性情報生成機能712は、処理部の一例である。

0224

保存制御機能713は、図2に示す保存制御機能173と同等の機能を含む。なお、保存制御機能713は、保存制御部の一例である。

0225

診断結果生成機能714は、図10に示す診断結果生成機能174と同等の機能を含む。なお、診断結果生成機能714は、処理部の一例である。

0226

出力制御機能715は、図10に示す出力制御機能175と同等の機能を含む。なお、出力制御機能715は、出力制御部の一例である。

0227

医用画像処理装置M9は、ネットワークNを介して超音波診断装置10を遠隔で制御する場合に、超音波診断装置10からライブ画像を取得して、ライブ画像としての造影画像データを用いて、必要性情報や、確定診断結果データを生成することができる。また、医用画像処理装置M9は、ネットワークNを介して超音波診断装置10又は医用画像管理装置60から、撮影終了後の造影画像データを取得して、ポストスポセスで必要性情報や、確定診断結果データを生成することができる。なお、医用画像表示装置70の動作については、図3又は図11に示す超音波診断装置10の動作と同等であるので、説明を省略する。

0228

医用画像処理装置M9によれば、医用画像生成装置とは別の装置で、医師等の操作者の経験や主観によらない腫瘍の確定診断が可能となる。また、医用画像処理装置M9によれば、異なる複数の時相帯で得られた複数の造影画像データに基づく腫瘍の確定診断を支援することができるので、医師等の操作者の経験や主観によらない腫瘍の確定診断が可能となる。

0229

以上説明した少なくとも1つの実施形態によれば、医師等の操作者の経験や主観によらない腫瘍の確定診断が可能となる。

0230

なお、画像取得機能171,711は、画像取得部の一例である。必要性情報生成機能172,712は、処理部の一例である。保存制御機能173,713は、保存制御部の一例である。診断結果生成機能174,714は、処理部の一例である。出力制御機能175,715は、出力制御部の一例である。

0231

なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

0232

M1〜M9医用画像処理装置
17,71処理回路
171,711画像取得機能
172,712 必要性情報生成機能
173,713保存制御機能
174,714診断結果生成機能
175,715 出力制御機能

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ