図面 (/)

技術 画像解析装置、画像診断装置、モデル学習装置、及びROI設定プログラム

出願人 キヤノンメディカルシステムズ株式会社
発明者 宮木啓介渡辺正毅五十嵐悠本庄泰徳高田優子
出願日 2018年12月11日 (2年0ヶ月経過) 出願番号 2018-231421
公開日 2020年6月18日 (6ヶ月経過) 公開番号 2020-092767
状態 未査定
技術分野 超音波診断装置
主要キーワード 内部記憶回路 集積回路記憶装置 機械学習モデル データ保管装置 合成関数 Bモード 臨床アプリケーション 状態評価
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年6月18日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

医用画像に関心領域を設定する手間を軽減すること。

解決手段

実施形態によれば、画像解析装置は、設定部を備える。設定部は、予め設定された領域に所定の臓器を含む医用画像データ学習済みモデルに入力し、前記学習済みモデルからの出力結果に基づき、前記医用画像データにおける前記臓器へ関心領域を設定する。

概要

背景

超音波診断装置では、例えば、超音波画像内において複数の臓器に設定された関心領域(ROI)内の特徴量の関係から、少なくともいずれかの臓器の状態を評価する機能がある。具体的には、肝臓等の複数の臓器を含むBモード画像において、少なくとも肝臓を含む複数の臓器に設定されたROI内輝度値の関係から、肝炎、及び脂肪肝等の度合いを評価する臨床アプリケーションがある。

上記評価機能を実行する場合、医師等の操作者は、画像中に含まれる臓器の適切な位置に、適切な大きさで、ROIを設定する必要がある。しかしながら、評価機能を実行する度に、画像中に含まれる臓器に適切にROIを設定するのは手間がかかる。

概要

医用画像に関心領域を設定する手間を軽減すること。 実施形態によれば、画像解析装置は、設定部を備える。設定部は、予め設定された領域に所定の臓器を含む医用画像データ学習済みモデルに入力し、前記学習済みモデルからの出力結果に基づき、前記医用画像データにおける前記臓器へ関心領域を設定する。

目的

特許第5619191号公報






発明が解決しようとする課題は、医用画像に関心領域を設定する手間を軽減することである

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

予め設定された領域に所定の臓器を含む医用画像データ学習済みモデルに入力し、前記学習済みモデルからの出力結果に基づき、前記医用画像データにおける前記臓器へ関心領域を設定する設定部を具備する画像解析装置

請求項2

前記設定部は、前記学習済みモデルから出力される座標情報に基づき、前記臓器へ関心領域を設定する請求項1記載の画像解析装置。

請求項3

前記設定部は、前記学習済みモデルから出力される複数の座標情報群毎に、前記臓器毎の関心領域を設定する請求項2記載の画像解析装置。

請求項4

前記設定部は、前記学習済みモデルから出力される座標情報に基づいて第1関心領域を設定し、前記第1関心領域内に、前記臓器毎の関心領域としての第2関心領域を設定する請求項2記載の画像解析装置。

請求項5

前記設定部は、前記臓器毎の関心領域内の特徴量が一様となるように、前記臓器毎の関心領域の少なくともいずれかの位置を調整する請求項3又は4記載の画像解析装置。

請求項6

前記設定部は、前記医用画像データが超音波画像データである場合、深さを維持する方向に前記位置を調整する請求項5記載の画像解析装置。

請求項7

前記設定部は、前記学習済みモデルから出力される第1臓器に関する座標情報に基づいて前記第1臓器の関心領域を設定し、前記第1臓器の関心領域に基づき、第2臓器の関心領域を設定する請求項2記載の画像解析装置。

請求項8

前記設定部は、前記第2臓器の関心領域内の特徴量が一様となるように、前記第2臓器の関心領域を設定する請求項7記載の画像解析装置。

請求項9

前記設定部は、前記医用画像データが超音波画像データである場合、前記第2臓器の関心領域を、前記第1臓器の関心領域と同一の深さとなるように設定する請求項7又は8に記載の画像解析装置。

請求項10

複数の医用画像データから、前記予め設定された領域に所定の臓器を含む医用画像データを選択する前処理部をさらに具備する請求項1乃至9のいずれかに記載の画像解析装置。

請求項11

予め設定された領域に所定の臓器を含む医用画像データを学習済みモデルに入力し、前記学習済みモデルからの出力結果に基づき、前記医用画像データにおける前記臓器へ関心領域を設定する設定部を具備する画像診断装置

請求項12

音波放射し、放射した超音波の反射波を受信する超音波プローブをさらに具備し、前記医用画像データは、前記反射波に基づいて生成される超音波画像データである請求項11記載の画像診断装置。

請求項13

予め設定された領域に所定の臓器を含む医用画像データを入力とし、前記臓器の関心領域に関する位置情報正解出力とする学習データに基づき、学習済みモデルを生成するモデル学習装置

請求項14

予め設定された領域に所定の臓器を含む医用画像データを学習済みモデルに入力し、前記学習済みモデルからの出力結果に基づき、前記医用画像データにおける前記臓器へ関心領域を設定する処理をプロセッサに実行させるROI設定プログラム

技術分野

0001

本発明の実施形態は、画像解析装置画像診断装置モデル学習装置、及びROI設定プログラムに関する。

背景技術

0002

超音波診断装置では、例えば、超音波画像内において複数の臓器に設定された関心領域(ROI)内の特徴量の関係から、少なくともいずれかの臓器の状態を評価する機能がある。具体的には、肝臓等の複数の臓器を含むBモード画像において、少なくとも肝臓を含む複数の臓器に設定されたROI内輝度値の関係から、肝炎、及び脂肪肝等の度合いを評価する臨床アプリケーションがある。

0003

上記評価機能を実行する場合、医師等の操作者は、画像中に含まれる臓器の適切な位置に、適切な大きさで、ROIを設定する必要がある。しかしながら、評価機能を実行する度に、画像中に含まれる臓器に適切にROIを設定するのは手間がかかる。

先行技術

0004

特許第5619191号公報

発明が解決しようとする課題

0005

発明が解決しようとする課題は、医用画像に関心領域を設定する手間を軽減することである。

課題を解決するための手段

0006

実施形態によれば、画像解析装置は、設定部を備える。設定部は、予め設定された領域に所定の臓器を含む医用画像データ学習済みモデルに入力し、前記学習済みモデルからの出力結果に基づき、前記医用画像データにおける前記臓器へ関心領域を設定する。

図面の簡単な説明

0007

図1は、第1の実施形態に係る画像解析装置が設けられる病院内のシステム機能構成を示すブロック図である。
図2は、図1に示される画像解析装置の機能構成を表すブロック図である。
図3は、学習済みモデルを生成する医用情報処理システムの構成を表す図である。
図4は、図3で示されるモデル学習装置で入力として扱われる医用画像を表す図である。
図5は、図3で示されるモデル学習装置で正解出力として扱われるROIの位置情報を表す図である。
図6は、図2で示される処理回路が学習済みモデルを利用したROI設定処理を実行する際の動作を表すフローチャートである。
図7は、学習済みモデルに入力されるBモード画像、及び学習済みモデルから出力される座標情報に基づく点を表す図である。
図8は、2つの円形ROIが設置されたBモード画像を表す図である。
図9は、図6で示されるフローチャートの変形例を表す図である。
図10は、処理回路による円形ROIの移動を表す図である。
図11は、第2の実施形態においてモデル学習装置で正解出力として扱われるROIの位置情報を表す図である。
図12は、第2の実施形態に係る処理回路が学習済みモデルを利用したROI設定処理を実行する際の動作を表すフローチャートである。
図13は、学習済みモデルに入力されるBモード画像、及び学習済みモデルから出力される座標情報に基づく点を表す図である。
図14は、第1円形ROIが設置されたBモード画像を表す図である。
図15は、2つの第2円形ROIが設置されたBモード画像を表す図である。
図16は、第3の実施形態においてモデル学習装置で正解出力として扱われるROIの位置情報を表す図である。
図17は、第3の実施形態に係る処理回路が学習済みモデルを利用したROI設定処理を実行する際の動作を表すフローチャートである。
図18は、学習済みモデルに入力されるBモード画像、及び学習済みモデルから出力される座標情報に基づく点を表す図である。
図19は、腎臓内に円形ROIが設置されたBモード画像を表す図である。
図20は、2つの円形ROIが設置されたBモード画像を表す図である。
図21は、医用画像診断装置としての超音波診断装置の機能構成を表すブロック図である。

実施例

0008

以下、実施の形態について、図面を参照して説明する。

0009

(第1の実施形態)
図1は、第1の実施形態に係る画像解析装置が設けられる病院内のシステムの機能構成の例を示すブロック図である。図1に示されるシステムは、画像解析装置10、医用画像診断装置20、医用画像管理システムPACS:Picture Archiving and Communication System)30、及び通信端末40を具備する。画像解析装置10、医用画像診断装置20、医用画像管理システム30、及び通信端末40は、LAN(Local Area Network)等の病院内ネットワークを介してデータ通信可能に接続されている。このとき、病院内ネットワークへの接続は、有線接続、及び無線接続を問わない。

0010

なお、図1では、画像解析装置10、医用画像診断装置20、医用画像管理システム30、及び通信端末40が病院内ネットワークに接続される場合を例に示しているが、これに限定されない。セキュリティが確保されるのであれば、接続される回線は病院内ネットワークに限定されない。例えば、VPN(Virtual Private Network)等を介し、インターネット等、公衆通信回線に接続するようにしても構わない。

0011

医用画像診断装置20は、被検体撮影することにより医用画像データを発生する装置である。医用画像診断装置20は、例えば、X線診断装置X線CT装置、MRI装置、超音波診断装置、SPECT(Single Photon Emission Computed Tomography)装置、PET(Positron Emission computed Tomography)装置、SPECT装置とX線CT装置とが一体化されたSPECT−CT装置PET装置とX線CT装置とが一体化されたPET−CT装置、PET装置とMRI装置とが一体化されたPET−MRI装置、又はこれらの装置群等である。

0012

医用画像診断装置20は、撮像オーダを受信すると、受信した撮像オーダ、及び撮影の対象となる患者に関する患者情報に基づいて患者を撮影し、医用画像データを生成する。医用画像データは、再構成後のデータであってもよいし、再構成前の生データであっても構わない。医用画像診断装置20は、生成した医用画像データを、例えば、DICOM(Digital Imaging and Communication Medicine)規格に則った画像ファイルに変換する。画像ファイルは、医用画像データと、医用画像データに付加される付帯情報を含む。付帯情報は、医用画像データを管理するための情報であり、例えば、検査UID、検査日検査時刻、及び患者ID等が含まれる。検査UIDは、検査を一意に特定可能な識別子である。

0013

医用画像管理システム30は、医用画像データを管理するシステムである。医用画像管理システム30で管理される医用画像データには、例えば、医用画像診断装置20で生成された医用画像データ、及び外部から提供された医用画像データを含む。

0014

通信端末40は、医療スタッフがLANに接続されているシステム及び装置等へアクセスするための端末、例えば、ビューワである。なお、図1では、通信端末40が医用画像管理システム30に属さず、画像解析装置10に直接接続されていない場合を示しているが、これに限定されない。通信端末40は、医療スタッフが使用可能であれば、医用画像管理システム30に属していても構わないし、画像解析装置10に直接接続されていても構わない。

0015

画像解析装置10は、医用画像データを解析する装置である。例えば、画像解析装置10は、医用画像診断装置20で生成された医用画像データ、又は医用画像管理システム30で管理されている医用画像データに関心領域(ROI)を設定し、設定したROI内の特徴量に基づいて患者の状態を評価する。

0016

図2は、図1に示される画像解析装置10の機能構成の例を表すブロック図である。図2に示される画像解析装置10は、処理回路11、メモリ12、及び通信インタフェース13を有する。処理回路11、メモリ12、及び通信インタフェース13は、例えば、バスを介して互いに通信可能に接続されている。

0017

処理回路11は、画像解析装置10の中枢として機能するプロセッサである。処理回路11は、メモリ12等に記憶されているプログラムを実行することにより、当該プログラムに対応する機能を実現する。

0018

メモリ12は、種々の情報を記憶するROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)、SSD(Solid State Drive)、及び集積回路記憶装置等の記憶装置である。また、メモリ12は、CD−ROMドライブDVDドライブ、及びフラッシュメモリ等の可搬性記憶媒体との間で種々の情報を読み書きする駆動装置等であってもよい。なお、メモリ12は、必ずしも単一の記憶装置により実現される必要は無い。例えば、メモリ12は、複数の記憶装置により実現されても構わない。また、メモリ12は、画像解析装置10にネットワークを介して接続された他のコンピュータ内にあってもよい。

0019

メモリ12は、本実施形態に係るROI設定プログラム、及び状態評価プログラム等を記憶している。なお、これらのプログラムは、例えば、メモリ12に予め記憶されていてもよい。また、例えば、非一過性記憶媒体に記憶されて配布され、非一過性の記憶媒体から読み出されてメモリ12にインストールされてもよい。

0020

また、メモリ12は、例えば、機械学習により生成された識別器としての学習済みモデル121を記憶している。学習済みモデル121は、計算モデルの一例である。本実施形態において、学習済みモデルとは、モデル学習プログラムに従って機械学習モデルに機械学習を行わせることで生成されるモデルを表す。学習済みモデル121は、例えば、医用画像に基づいてROIを設定するためのモデルであり、以下のように生成されて画像解析装置10のメモリ12に記憶される。

0021

図3は、学習済みモデル121を生成する医用情報処理システムの構成例を表す模式図である。図3に示される医用情報処理システムは、画像解析装置10、学習データ保管装置50、及びモデル学習装置60を有する。画像解析装置10、学習データ保管装置50、及びモデル学習装置60は、例えば、ケーブル又は通信ネットワークを介して通信可能に接続されている。

0022

学習データ保管装置50は、複数の学習サンプルを含む学習データを記憶する。例えば、学習データ保管装置50は、大容量記憶装置が内蔵されたコンピュータである。また、学習データ保管装置50は、コンピュータにケーブルや通信ネットワークを介して通信可能に接続された大容量記憶装置であってもよい。当該記憶装置としては、HDD(Hard Disk Drive)、SSD(Solid State Drive)、集積回路記憶装置等が適宜利用可能である。

0023

モデル学習装置60は、学習データ保管装置50に記憶された学習データに基づいて、モデル学習プログラムに従い機械学習モデルに機械学習を行わせることで、学習済みモデル121を生成する。本実施形態において、機械学習のアルゴリズムとして、判別分析ロジスティック回帰サポートベクターマシンニューラルネットワーク、Randomized Trees、又は部分空間法等が挙げられる。モデル学習装置60は、例えば、CPU(Central Processing Unit)及びGPU(Graphics Processing Unit)等のプロセッサを有するワークステーション等のコンピュータである。

0024

学習済みモデル121の画像解析装置10への供給は、画像解析装置10の製造以降の如何なる時点で行われてもよい。例えば、製造から医用施設等への据付の間の任意の時点でもよいし、メンテナンス時でもよい。供給された学習済みモデル121は、画像解析装置10のメモリ12に記憶される。

0025

本実施形態に係る学習済みモデル121は、例えば、複数の臓器が表された領域を含む医用画像データを入力としてROIを設置する位置を出力する、複数の関数が合成されたパラメータ付き合成関数である。パラメータ付き合成関数は、複数の調整可能な関数及びパラメータの組合せにより定義される。本実施形態に係る学習済みモデル121は、上記の要請を満たす如何なるパラメータ付き合成関数であってもよい。

0026

パラメータ付き合成関数は、パラメータをどのように選ぶかで、関数としての形を変える。例えば、学習済みモデル121が、層状に並べた隣接層間のみ結合した構造を持ち、情報が入力層側から出力層側に一方向に伝播するネットワーク、すなわち、順伝播型の多層化ネットワークである場合、構成するパラメータを適切に設定することで、出力層から好ましい結果を出力することが可能な関数を定義することができる。

0027

パラメータは、学習データと誤差関数とを用いた学習を実行することで設定される。学習データは、例えば、所定の入力xn、この入力に対する望ましい結果(正解出力)dnを出力とした学習サンプル(xn,dn)の集合D(n=1,・・・,S)である。誤差関数は、xnを入力した多層化ネットワークからの出力と正解出力dnとの近さを表す関数である。パラメータは、学習サンプル毎に、例えば、誤差関数を極小にする値が決定される。なお、パラメータを決定する際の計算量を抑制するため、誤差逆伝播法が用いられてもよい。

0028

より具体的には、本実施形態に係るモデル学習装置60は、例えば、予め設定された領域に所定の臓器を含む医用画像データを入力、この医用画像データに含まれる臓器に対して設定されるROIの位置情報を正解出力とした学習データに基づいて機械学習を実施する。

0029

図4は、図3で示されるモデル学習装置60で入力として扱われる医用画像データに基づく医用画像の例を表す図である。図4に示される医用画像では、画面の左上の領域に肝臓が含まれ、右下の領域に腎臓が含まれている。なお、医用画像に含まれる臓器の種類、及び配置は、学習データの入力で共通していれば、図4で記載されるものに限定されない。例えば、肝臓と脾臓とでもよく、また、肝臓、腎臓、及び脾臓であってもよい。

0030

図5は、図3で示されるモデル学習装置60で正解出力として扱われるROIの位置情報の例を表す図である。図5では、図4に示される画像に対し、8個の点の座標がROIの位置情報として設定される。図5において、点P1〜P4は、肝臓内の領域の適当な位置に置かれた円形ROIが内接する正方形の各頂点である。また、点P5〜P8は、腎臓内の領域の適当な位置に置かれた円形ROIが内接する正方形の各頂点である。なお、ROIの位置情報は、ROIの位置が特定でき、学習データの正解出力で共通していれば、円形ROIが内接する正方形の各頂点の座標に限定されない。例えば、円形ROIの中心座標、及び半径であっても構わない。また、円形ROIが外接する正方形の各頂点の座標であっても構わない。

0031

モデル学習装置60は、学習データに基づき、例えば、入力された医用画像データに基づいてROIの位置を決定する学習済みモデル121を生成する。

0032

図2に示される通信インタフェース13は、病院内ネットワークを介して接続された医用画像診断装置20、及び医用画像管理システム30との間でデータ通信を行う。通信インタフェース13は、例えば、予め設定されている既知の規格、例えば、DICOMに準拠してデータ通信を行う。

0033

なお、画像解析装置10は、入力インタフェースを有していてもよい。入力インタフェースは、ユーザから各種の入力操作受け付け、受け付けた入力操作を電気信号に変換して処理回路11へ出力する。入力インタフェースは、例えば、マウスキーボードトラックボール、スイッチ、ボタンジョイスティックタッチパッド、及び操作面へ触れることで指示が入力されるタッチパネル等の入力機器に接続されている。また、入力インタフェースに接続される入力機器は、ネットワーク等を介して接続された他のコンピュータに設けられた入力機器でもよい。

0034

また、画像解析装置10は、ディスプレイを有していてもよい。ディスプレイは、処理回路11からの指示に従って種々の情報を表示する。また、ディスプレイは、ユーザからの各種操作を受け付けるためのGUI(Graphical User Interface)等を表示してもよい。ディスプレイは、例えば、CRT(Cathode Ray Tube)ディスプレイ、液晶ディスプレイ有機ELディスプレイLEDディスプレイ、及びプラズマディスプレイ等、任意のディスプレイが適宜利用可能である。

0035

図2に示される処理回路11は、メモリ12に記憶されているROI設定プログラム、及び状態評価プログラム等を実行することで、当該プログラムに対応する機能を実現する。例えば、処理回路11は、ROI設定プログラムを実行することで、ROI設定機能111を有する。また、処理回路11は、状態評価プログラムを実行することで、解析機能112、及び表示制御機能113を有する。なお、本実施形態では、単一のプロセッサによってROI設定機能111、解析機能112、及び表示制御機能113が実現される場合を説明するが、これに限定されない。例えば、複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することによりROI設定機能111、解析機能112、及び表示制御機能113を実現しても構わない。

0036

ROI設定機能111は、医用画像データを入力として学習済みモデル121を用い、医用画像データに対するROIを設定する機能であり、設定部の一例である。具体的には、例えば、ROI設定機能111において処理回路11は、操作者により指定された医用画像データを、メモリ12に記憶されている学習済みモデル121に入力する。医用画像データには、例えば、超音波画像データ、CT(Computed Tomography)画像データ、X線画像データMRI(Magnetic Resonance Imaging)画像データ、及びPET(Positron Emission computed Tomography)画像データ等が含まれる。処理回路11は、学習済みモデル121から出力される、医用画像データについてのROIの位置情報に基づき、医用画像データについてのROIを設定する。

0037

解析機能112は、ROI内の特徴量の関係から、医用画像データに含まれる少なくともいずれかの臓器の状態を評価する機能である。

0038

表示制御機能113は、評価した臓器の状態に関する表示を制御する機能である。具体的には、例えば、表示制御機能113において処理回路11は、解析機能112により評価された臓器の状態を表示するための画像データを生成する。また、処理回路11は、識別理由の変更を指示するためのGUIを表示する。

0039

次に、以上のように構成された画像解析装置10によるROI設定動作を、処理回路11の処理手順に従って説明する。
図6は、図2で示される処理回路11が学習済みモデル121を利用したROI設定処理を実行する際の動作の例を表すフローチャートである。なお、図6の説明では、医用画像データが超音波診断装置により生成されるBモード画像データである場合を例に説明する。このとき、学習済みモデル121は、Bモード画像データを入力とし、このBモード画像データに基づくBモード画像上でROIを規定する位置情報を正解出力とする学習データに基づいて生成されたものとする。入力として利用されるBモード画像では、左上の領域に肝臓が含まれ、右下の領域に腎臓が含まれる。また、Bモード画像上でROIを規定する位置情報は、肝臓及び腎臓内の領域の適当な位置に置かれた円形ROIが内接する正方形の各頂点の座標として表される。

0040

まず、通信端末40を操作する操作者から、Bモード画像データが指定され、指定されたBモード画像データについて、例えば、肝臓の状態を評価するアプリケーション起動指示が入力される。起動指示が入力されると、画像解析装置10の処理回路11は、ROI設定プログラムをメモリ12から読み出し、読み出したROI設定プログラムを実行する。処理回路11がROI設定プログラムを実行すると、図6に示される処理が開始される。

0041

図6において、処理回路11は、ROI設定機能111を実行する。ROI設定機能111を実行すると処理回路11は、操作者により指定されたBモード画像データを、医用画像診断装置20、又は医用画像管理システム30から読み出し、読み出した学習済みモデル121に入力する(ステップS61)。学習済みモデル121からは、入力されたBモード画像データに基づく8点の座標がROIの位置情報として出力される(ステップS62)。

0042

図7は、学習済みモデル121に入力されるBモード画像データに基づくBモード画像の例、及び学習済みモデル121から出力される座標情報に基づく点の例を表す図である。図7の左図は、例えば、コンベックスプローブを使用して取得され、学習済みモデル121に入力されるBモード画像を表す。図7に示されるBモード画像では、左上の領域に肝臓が含まれ、右下の領域に腎臓が含まれる。図7の右図は、学習済みモデル121から出力される座標情報に基づく点P9〜P16を表す。

0043

学習済みモデル121から点P9〜P16についての座標情報が出力されると、処理回路11は、これらの座標情報に基づき円形ROIを生成し、生成した円形ROIを、Bモード画像上に設置する(ステップS63)。具体的には、例えば、処理回路11は、点P9〜点P12を一つの群と見なし、点P9〜点P12の座標情報に基づき、点P9〜点P12を頂点とする正方形を生成する。処理回路11は、生成した正方形に内接する円を生成し、この円を肝臓についての円形ROIC1とする。処理回路11は、生成した円形ROIC1を、Bモード画像上の対応する位置に設置する。

0044

また、処理回路11は、点P13〜点P16を一つの群と見なし、点P13〜点P16の座標情報に基づき、点P13〜点P16を頂点とする正方形を生成する。処理回路11は、生成した正方形に内接する円を生成し、この円を腎臓についての円形ROIC2とする。処理回路11は、生成した円形ROIC2を、Bモード画像上の対応する位置に設置する。

0045

図8は、円形ROIC1,C2が設置されたBモード画像の例を表す図である。図8によれば、点P9〜P12から生成された円形ROIC1が肝臓に設置され、点P13〜P16から生成された円形ROIC2が腎臓に設置されている。円形ROIC1を肝臓に設置し、円形ROIC2を腎臓に設置すると、処理回路11は、図6に示される処理を終了させる。

0046

処理回路11は、例えば、図6に示されるROI設定処理が終了すると、解析機能112を実行する。解析機能112を実行すると処理回路11は、円形ROIC1,C2内の各画素の輝度値を取得する。処理回路11は、円形ROIC1内の輝度値と、円形ROIC2内の輝度値との関係から、Bモード画像に含まれる肝臓の状態、例えば、肝炎及び脂肪肝等の度合いを評価する。例えば、処理回路11は、円形ROIC1内の各画素の輝度値の合計値と、円形ROIC2内の各画素の輝度値の合計値とを比較することで、肝炎及び脂肪肝等の度合いを評価する。

0047

処理回路11は、Bモード画像に含まれる肝臓の状態を評価すると、表示制御機能113を実行する。表示制御機能113を実行すると処理回路11は、評価結果を表示するための画像データを生成する。処理回路11は、生成した画像データを通信端末40へ出力する。

0048

以上のように、本実施形態では、処理回路11は、ROI設定機能111において、医用画像データを学習済みモデル121へ入力することで、医用画像データに含まれる臓器にROIを設置するようにしている。これにより、実際の検査において、臓器の状態を評価するアプリケーションを起動すると、臓器内の適切な位置に、適切な大きさのROIが設置された状態で医用画像が表示されるようになる。

0049

(変形例1)
臓器内に設置したROIに血管等の構造物が含まれていると、解析機能112による臓器の評価が正しくなされない場合がある。臓器内に設置したROIから正確な特徴量が取得できないからである。そこで、変形例1では、ROI設定処理において、臓器内の構造物も考慮してROIを設置する場合を説明する。

0050

図9は、図6で示されるフローチャートの変形例を表す。なお、図9の説明においても、図6の説明と同様に、医用画像データが超音波診断装置により生成されるBモード画像データである場合を例に説明する。

0051

図9において、処理回路11は、図6に示されるステップS61〜S63と同様の処理を経て、Bモード画像上に円形ROIC1,C2を設置する。続いて、処理回路11は、円形ROIC1内の輝度値の分布と、円形ROIC2内の輝度値の分布とが一様であるか否かを判断する(ステップS91)。

0052

具体的には、例えば、処理回路11は、肝臓に設置された円形ROIC1内の各画素の輝度値を取得し、取得した各画素の輝度値に基づき、円形ROIC1内の輝度値の分布を表す指標値を算出する。処理回路11は、算出した指標値に基づき、円形ROIC1内で所定の輝度値が一様に分布しているか否かを判断する。

0053

また、例えば、処理回路11は、腎臓に設置された円形ROIC2内の各画素の輝度値を取得し、取得した各画素の輝度値に基づき、円形ROIC2内の輝度値の分布を表す指標値を算出する。処理回路11は、算出した指標値に基づき、円形ROIC2内で所定の輝度値が一様に分布しているか否かを判断する。円形ROIC1内と、円形ROIC2内との両方で、輝度値の分布が一様である場合(ステップS91のYes)、処理回路11は、処理を終了させる。

0054

円形ROIC1内と、円形ROIC2内とのうち、少なくともいずれか一方で輝度値の分布が一様でない場合(ステップS91のNo)、処理回路11は、輝度値の分布が一様でない判断した少なくとも一方の円形ROIを予め設定した量だけ移動させる(ステップS92)。このとき、処理回路11は、体表からの深さが維持されるように円形ROIを移動させる。Bモード画像において、体表からの深さに応じて反射波減衰が変化するからである。

0055

図10は、処理回路11が円形ROIを移動させる例を表す概略図である。図10は、例えば、コンベックスプローブを使用して取得されるBモード画像上での円形ROIの移動を表している。図10において、円形ROIが移動する方向は、円弧状の平面波波形に沿った方向となる。なお、Bモード画像が、例えば、リニアプローブを使用して取得される場合、円形ROIが移動する方向は、直線状の平面波の波形に沿った方向となる。すなわち、円形ROIが移動する方向は、水平方向となる。

0056

なお、円形ROI内の輝度分布を一様とするための動作は、円形ROIの移動に限定されない。処理回路11は、円形ROIを小さくするようにしてもよい。

0057

処理回路11は、ステップS91において、円形ROIC1内と、円形ROIC2内との両方で輝度値の分布が一様となるまでステップS91,S92を繰り返す。

0058

以上のように、変形例1では、処理回路11は、ROI設定機能111において、円形ROIC1,C2内の輝度分布が一様となるまで円形ROIC1,C2の位置を微調整するようにしている。これにより、設置される円形ROIC1,C2内には構造物が含まれなくなり、解析機能112による臓器の評価が正しくなされるようになる。

0059

(第2の実施形態)
第1の実施形態では、左上の領域に肝臓が含まれ、右下の領域に腎臓が含まれる医用画像を入力とし、8点の座標情報を正解出力とした学習データに基づいて生成された学習済みモデル121を使用する場合を例に説明した。第2の実施形態では、左上の領域に肝臓が含まれ、右下の領域に腎臓が含まれる医用画像を入力とし、4点の座標情報を正解出力とした学習データに基づいて生成された学習済みモデル121を使用する。

0060

図11は、第2の実施形態においてモデル学習装置60で正解出力として扱われるROIの位置情報の例を表す図である。図11では、図4に示される、左上の領域に肝臓が含まれ、右下の領域に腎臓が含まれる医用画像に対し、4点の座標がROIの位置情報として設定される。図11において、点P17〜P20は、2つの臓器、すなわち、肝臓及び腎臓をまたがるように置かれた第1円形ROIが内接する正方形の各頂点である。なお、ROIの位置情報は、学習データの正解出力で共通していれば、第1円形ROIが内接する正方形の各頂点の座標に限定されない。例えば、第1円形ROIの中心座標、及び半径であっても構わない。

0061

モデル学習装置60は、学習データに基づき、例えば、入力された医用画像データに基づいて第1円形ROIの位置を決定する学習済みモデル121を生成する。

0062

第2の実施形態に係る処理回路11は、メモリ12に記憶されているROI設定プログラム、及び状態評価プログラム等を実行することで、当該プログラムに対応する機能を実現する。例えば、処理回路11は、ROI設定プログラム、及び状態評価プログラム等を実行することで、ROI設定機能111、解析機能112、及び表示制御機能113を有する。

0063

ROI設定機能111は、医用画像データを入力として学習済みモデル121を用い、医用画像データに対するROIを設定する機能であり、設定部の一例である。具体的には、例えば、ROI設定機能111において処理回路11は、操作者により指定された医用画像データを、メモリ12に記憶されている学習済みモデル121に入力する。処理回路11は、学習済みモデル121から出力される、医用画像データについての第1円形ROIの位置情報に基づき、医用画像データに含まれる複数の臓器についてのROIを設定する。

0064

次に、第2の実施形態における画像解析装置10によるROI設定動作を、処理回路11の処理手順に従って説明する。
図12は、第2の実施形態に係る処理回路11が学習済みモデル121を利用したROI設定処理を実行する際の動作の例を表すフローチャートである。なお、図12の説明では、医用画像データが超音波診断装置により生成されるBモード画像データである場合を例に説明する。このとき、学習済みモデル121は、Bモード画像データを入力とし、このBモード画像データに基づくBモード画像上で第1円形ROIを規定する位置情報を正解出力とする学習データに基づいて生成されたものとする。入力として利用されるBモード画像では、左上の領域に肝臓が含まれ、右下の領域に腎臓が含まれる。

0065

図12において、図6に示されるステップS61と同様の手順でBモード画像データを学習済みモデル121に入力すると、学習済みモデル121から、入力されたBモード画像データに基づく4点の座標が第1円形ROIの位置情報として出力される(ステップS121)。

0066

図13は、学習済みモデル121に入力されるBモード画像データに基づくBモード画像の例、及び学習済みモデル121から出力される座標情報に基づく点の例を表す図である。図13の左図は、例えば、コンベックスプローブを使用して取得され、学習済みモデル121に入力されるBモード画像を表す。図13に示されるBモード画像では、左上の領域に肝臓が含まれ、右下の領域に腎臓が含まれる。図13の右図は、学習済みモデル121から出力される座標情報に基づく点P21〜P24を表す。

0067

学習済みモデル121から点P21〜P24についての座標情報が出力されると、処理回路11は、これらの座標情報に基づき第1円形ROIを生成し、生成した第1円形ROIを、Bモード画像上に設置する(ステップS122)。具体的には、例えば、処理回路11は、点P21〜点P24の座標情報に基づき、点P21〜点P24を頂点とする正方形を生成する。処理回路11は、生成した正方形に内接する円を生成し、この円を肝臓及び腎臓をまたがる第1円形ROIC3とする。処理回路11は、生成した第1円形ROIC3を、Bモード画像上の対応する位置に設置する。

0068

図14は、第1円形ROIC3が設置されたBモード画像の例を表す図である。図14によれば、点P21〜P24から生成された第1円形ROIC3が肝臓及び腎臓にまたがって設置されている。

0069

第1円形ROIC3を肝臓及び腎臓にまたがって設置すると、処理回路11は、第1円形ROIC3に基づいて第2円形ROIを生成し、生成した第2円形ROIを、画像上に設置する(ステップS123)。具体的には、例えば、処理回路11は、第1円形ROIC3に内接し、かつ、以下の条件を満たすように、第2円形ROIC4,C5を生成する。条件とは、例えば、肝臓と腎臓との境界領域近傍に設けられること、大きさが等しいこと、設置される深さが等しいことである。処理回路11は、生成した第2円形ROIC4,C5を、Bモード画像上の対応する位置に設置する。

0070

図15は、第2円形ROIC4,C5が設置されたBモード画像の例を表す図である。図15によれば、第2円形ROIC4は、第1円形ROIC3に内接し、肝臓内の肝臓と腎臓との境界領域近傍に設けられている。また、第2円形ROIC5は、第1円形ROIC3に内接し、腎臓内の肝臓と腎臓との境界領域近傍に設けられている。また、第2円形ROIC4,C5は、大きさが等しく、同一の深さの領域に設置されている。

0071

なお、Bモード画像が、例えば、リニアプローブを使用して取得される場合、平面波は円弧状ではなく、直線状となる。この場合、第2円形ROIC4,C5は、この直線状の平面波を考慮した同一の深さで設けられることになる。

0072

以上のように、第2の実施形態では、処理回路11は、ROI設定機能111において、医用画像データを学習済みモデル121へ入力することで、医用画像データに含まれる臓器をまたぐ第1円形ROIC3を設置する。そして、処理回路11は、第1円形ROIC3に基づき、第2円形ROIC4,C5を臓器毎に設置するようにしている。これにより、肝臓内に設置するROIを機械学習で推定することが困難である場合であっても、臓器内の適切な位置に、適切な大きさのROIを設置することが可能となる。

0073

なお、処理回路11は、ステップS123で設定された第2円形ROIC4,C5の位置を、図9のステップS91,S92と同様に、第2円形ROIC4,C5内の特徴量が一様になるまで、同一深さを維持して微調整してもよい。

0074

(第3の実施形態)
第2の実施形態では、左上の領域に肝臓が含まれ、右下の領域に腎臓が含まれる医用画像を入力とし、肝臓及び腎臓にまたがる領域を規定する4点の座標情報を正解出力とした学習データに基づいて生成された学習済みモデル121を使用する場合を例に説明した。第3の実施形態では、左上の領域に肝臓が含まれ、右下の領域に腎臓が含まれる医用画像を入力とし、腎臓内の4点の座標情報を正解出力とした学習データに基づいて生成された学習済みモデル121を使用する。

0075

図16は、第3の実施形態においてモデル学習装置60で正解出力として扱われるROIの位置情報の例を表す図である。図16では、図4に示される、左上の領域に肝臓が含まれ、右下の領域に腎臓が含まれる医用画像に対し、4点の座標が腎臓内のROIの位置情報として設定される。図16において、点P25〜P28は、腎臓に置かれた円形ROIが内接する正方形の各頂点である。なお、ROIの位置情報は、学習データの正解出力で共通していれば、円形ROIが内接する正方形の各頂点の座標に限定されない。例えば、円形ROIの中心座標、及び半径であっても構わない。

0076

モデル学習装置60は、学習データに基づき、例えば、入力された医用画像データに基づいてROIの位置を決定する学習済みモデル121を生成する。

0077

第3の実施形態に係る処理回路11は、メモリ12に記憶されているROI設定プログラム、及び状態評価プログラム等を実行することで、当該プログラムに対応する機能を実現する。例えば、処理回路11は、ROI設定プログラム、及び状態評価プログラム等を実行することで、ROI設定機能111、解析機能112、及び表示制御機能113を有する。

0078

ROI設定機能111は、医用画像データを入力として学習済みモデル121を用い、医用画像データに対するROIを設定する機能であり、設定部の一例である。具体的には、例えば、ROI設定機能111において処理回路11は、操作者により指定された医用画像データを、メモリ12に記憶されている学習済みモデル121に入力する。処理回路11は、学習済みモデル121から出力される腎臓内のROIの位置情報に基づき、医用画像データに含まれる複数の臓器についてのROIを設定する。

0079

次に、第3の実施形態における画像解析装置10によるROI設定動作を、処理回路11の処理手順に従って説明する。
図17は、第3の実施形態に係る処理回路11が学習済みモデル121を利用したROI設定処理を実行する際の動作の例を表すフローチャートである。なお、図17の説明では、医用画像データが超音波診断装置により生成されるBモード画像データである場合を例に説明する。このとき、学習済みモデル121は、Bモード画像データを入力とし、このBモード画像データに基づくBモード画像上で腎臓内のROIを規定する位置情報を正解出力とする学習データに基づいて生成されたものとする。入力として利用されるBモード画像では、左上の領域に肝臓が含まれ、右下の領域に腎臓が含まれる。

0080

図17において、図6に示されるステップS61と同様の手順でBモード画像データを学習済みモデル121に入力すると、学習済みモデル121から、入力されたBモード画像データに基づく4点の座標が腎臓内のROIの位置情報として出力される(ステップS171)。

0081

図18は、学習済みモデル121に入力されるBモード画像データに基づくBモード画像の例、及び学習済みモデル121から出力される座標情報に基づく点の例を表す図である。図18の左図は、例えば、コンベックスプローブを使用して取得され、学習済みモデル121に入力されるBモード画像を表す。図18に示されるBモード画像では、左上の領域に肝臓が含まれ、右下の領域に腎臓が含まれる。図18の右図は、学習済みモデル121から出力される座標情報に基づく点P29〜P32を表す。

0082

学習済みモデル121から点P29〜P32についての座標情報が出力されると、処理回路11は、これらの座標情報に基づき円形ROIを生成し、生成した円形ROIを、Bモード画像上に設置する(ステップS172)。具体的には、例えば、処理回路11は、点P29〜点P32の座標情報に基づき、点P29〜点P32を頂点とする正方形を生成する。処理回路11は、生成した正方形に内接する円を生成し、この円を腎臓の円形ROIC6とする。処理回路11は、生成した円形ROIC6を、Bモード画像上の対応する位置に設置する。

0083

図19は、円形ROIC6が設置されたBモード画像の例を表す図である。図19によれば、点P29〜P32から生成された円形ROIC6が腎臓内に設置されている。

0084

円形ROIC6を設置すると、処理回路11は、円形ROIC6と対応する円形ROIを生成し、生成した円形ROIを、Bモード画像上に設置する(ステップS173)。具体的には、例えば、処理回路11は、円形ROIC6と対応する円形ROIC7を、以下の条件を満たすように円形ROIC6を移動させることで生成する。条件とは、例えば、肝臓と腎臓との境界領域近傍に設けられること、大きさが等しいこと、設置される深さが等しいこと、円形ROI内の特徴量が一様であることである。処理回路11は、生成した円形ROIC7を、Bモード画像上の対応する位置に設置する。

0085

図20は、円形ROIC6,C7が設置されたBモード画像の例を表す図である。図20によれば、円形ROIC6は、腎臓内の肝臓と腎臓との境界領域近傍に設けられている。また、円形ROIC7は、肝臓内の肝臓と腎臓との境界領域近傍に設けられている。また、円形ROIC6,C7は、大きさが等しく、同一の深さの領域に設置されている。

0086

なお、Bモード画像が、例えば、リニアプローブを使用して取得される場合、平面波は円弧状ではなく、直線状となる。この場合、円形ROIC7は、円形ROIC6に基づき、この直線状の平面波を考慮した同一の深さで設けられることになる。

0087

以上のように、第3の実施形態では、処理回路11は、ROI設定機能111において、医用画像データを学習済みモデル121へ入力することで、医用画像データに含まれる腎臓内の円形ROIC6を設置する。そして、処理回路11は、円形ROIC6に基づき、肝臓内に円形ROIC7を設置するようにしている。これにより、肝臓内に構造物が存在する場合であっても、肝臓内の構造物を避けて臓器内の適切な位置に、適切な大きさのROIを設置することが可能となる。

0088

なお、上記実施形態では、医用画像データが超音波診断装置により生成されるBモード画像データである場合を例に説明したが、医用画像データは、超音波診断装置により生成されるカラードプラ画像データであってもよい。

0089

また、上記実施形態では、医用画像データが超音波診断装置により生成される2次元Bモード画像データである場合を例に説明したが、医用画像データは、超音波診断装置により生成される3次元Bモード画像データ、又は3次元カラードプラ画像データであってもよい。

0090

また、上記実施形態では、医用画像データに含まれる臓器に対して設定されるROIの位置情報を正解出力とした学習データに基づいて機械学習を実施する場合を例に説明した。しかしながら、正解出力はこれに限定されない。適当なROIが設置された医用画像を正解出力としても構わない。

0091

また、上記実施形態では、予め設定された領域に所定の臓器を含む医用画像データを入力とする場合を例に説明した。しかしながら、これに限定されない。処理回路11が、例えば、複数の医用画像データから、予め設定された領域に所定の臓器を含む医用画像データを選択する前処理機能を有していても構わない。前処理機能は、例えば、メモリ12に記憶される、前処理用の学習済みモデルを利用することにより実現される。前処理用の学習済みモデルは、例えば、複数の医用画像データを入力とし、予め設定された領域に所定の臓器を含む医用画像データを正解出力とした学習データに基づいて生成される。

0092

処理回路11は、前処理機能を実行することで、複数の医用画像データを前処理用の学習済みモデルに入力し、当該学習済みモデルから出力される、予め設定された領域に所定の臓器を含む医用画像データを取得する。すなわち、例えば、処理回路11は、複数の医用画像データから、左上の領域に肝臓が含まれ、右下の領域に腎臓が含まれる医用画像データを抽出する。

0093

また、上記実施形態では、画像解析装置10が医用画像診断装置20と別々の装置として構成される場合を例に説明した。しかしながら、これに限定されない。画像解析装置10が有する処理回路11が実行するROI設定機能111、及び解析機能112は、医用画像診断装置で実行されても構わない。

0094

図21は、ROI設定機能111、及び解析機能112を含む、医用画像診断装置としての超音波診断装置20Aの機能構成の例を表すブロック図である。図21によれば、超音波診断装置20Aは、装置本体21、及び超音波プローブ22を有する。超音波プローブ22は、被検体Pに対して超音波放射し、放射した超音波の反射波を受信する。

0095

装置本体21は、内部記憶回路211、及び処理回路212等を有する。内部記憶回路211は、種々の情報を記憶するROM、RAM、HDD、SSD、及び集積回路記憶装置等の記憶装置であり、例えば、所定のプログラム、及び機械学習により生成された識別器としての学習済みモデル121等を記憶している。

0096

処理回路212は、例えば、超音波診断装置20Aの中枢として機能するプロセッサである。処理回路212は、内部記憶回路211に記憶されているプログラムを実行することで、超音波プローブ22で受信された反射波に基づく超音波画像データを生成する。また、処理回路212は、内部記憶回路211に記憶されているプログラムを実行することで、例えば、ROI設定機能111、及び解析機能112等の機能を実現する。

0097

また、上記実施形態では、モデル学習装置60が、学習データに基づいて、モデル学習プログラムに従い機械学習モデルに機械学習を行わせることで、学習済みモデル121を生成する場合を例に説明した。しかしながら、これに限定されない。学習済みモデル121を生成するモデル生成機能は、画像解析装置10の処理回路11が有してもよいし、超音波診断装置20Aの処理回路212が有してもよい。

0098

以上説明した少なくとも1つの実施形態によれば、ROIの位置決定の手間を短縮でき、操作性を向上させることができる。また、医者の経験に依らない診断が可能になる。

0099

実施形態の説明において用いた「プロセッサ」という文言は、例えば、CPU(central processing unit)、GPU(Graphics Processing Unit)、或いは、特定用途向け集積回路(Application Specific IntegratedCircuit:ASIC))、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等の回路を意味する。プロセッサは記憶回路に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。なお、上記各実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて1つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、上記各実施形態における複数の構成要素を1つのプロセッサへ統合してその機能を実現するようにしてもよい。

0100

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

0101

10…画像解析装置
11…処理回路
12…メモリ
13…通信インタフェース
20…医用画像診断装置
20A…超音波診断装置
21…装置本体
22…超音波プローブ
30…医用画像管理システム
40…通信端末
50…学習データ保管装置
60…モデル学習装置
111…ROI設定機能
112…解析機能
113…表示制御機能
121…学習済みモデル
211…内部記憶回路
212…処理回路

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ