図面 (/)

技術 医用画像表示装置及び読影レポート作成支援装置

出願人 キヤノンメディカルシステムズ株式会社
発明者 松江健治土井泰法佐藤勝則森島大静鈴木秀行
出願日 2016年8月15日 (5年0ヶ月経過) 出願番号 2016-159134
公開日 2018年2月22日 (3年6ヶ月経過) 公開番号 2018-028562
状態 特許登録済
技術分野 デジタル計算機のユーザインターフェイス 音声入出力 医療・福祉事務 放射線診断機器 音声認識
主要キーワード 再現ボタン 初期表示設定 初期表示画像 ケーブル通信ネットワーク 発生態様 文字型 着眼点 相対的変化
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2018年2月22日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (15)

課題

音声入力により従来技術よりも所見を効率的に作成できる医用画像表示装置及び読影レポート作成支援装置を提供する。

解決手段

一実施形態に係る医用画像表示装置は、医用画像の所見に含まれるキーワードと、前記キーワードの意味を直感的に表す視覚情報とを記憶する記憶部と、前記キーワードに対応する音声を認識する音声入力部と、前記キーワードが発話されたときに前記キーワードに対応する前記視覚情報を前記医用画像に重ね合わせて表示する表示部と、を備える。

概要

背景

画像診断では、診断に有効と考えられる代表的な画像であるキー画像医用画像の中から選択され、そのキー画像において観察される所見が記載された読影レポートが作成される。近年、医用画像取得装置高性能化により、短時間で大量の医用画像を容易に取得可能となった。そのため、読影医は、読影レポートの作成において大量の医用画像を観察することになり、読影レポートの作成は、画像診断における大きな負担となっていた。

そこで、読影レポートを作成する読影医等の医師作業負担の軽減及び効率化のため、音声による入力インタフェースが利用されるようになった。音声入力では、例えば、入力された音声の波形と、ひな形の波形とのパターンマッチングを行う音声認識処理により音声が文字列に変換される。

しかしながら、音声入力を使う場合、音声認識の精度によっては誤入力が発生する。その場合、入力の誤りを確認して修正する手間が生じてしまう。

そこで、従来技術では、音声による入力において、これから入力される入力内容文字型を予め判定することで、音声認識による入力精度を向上させた医用診断レポートシステムが提供されている。

概要

音声入力により従来技術よりも所見を効率的に作成できる医用画像表示装置及び読影レポート作成支援装置を提供する。一実施形態に係る医用画像表示装置は、医用画像の所見に含まれるキーワードと、前記キーワードの意味を直感的に表す視覚情報とを記憶する記憶部と、前記キーワードに対応する音声を認識する音声入力部と、前記キーワードが発話されたときに前記キーワードに対応する前記視覚情報を前記医用画像に重ね合わせて表示する表示部と、を備える。

目的

本発明が解決しようとする課題は、音声入力により従来技術よりも所見を効率的に作成できる医用画像表示装置及び読影レポート作成支援装置を提供する

効果

実績

技術文献被引用数
0件
牽制数
1件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

医用画像所見に含まれるキーワードと、前記キーワードの意味を直感的に表す視覚情報とを記憶する記憶部と、前記キーワードに対応する音声を認識する音声入力部と、前記キーワードが発話されたときに前記キーワードに対応する前記視覚情報を前記医用画像に重ね合わせて表示する表示部と、を備える医用画像表示装置

請求項2

前記視覚情報は、図形、前記図形の動作、色、明度、又は彩度の少なくとも1つにより、前記キーワードが表す前記医用画像の状態変化又は形態変化視覚的に表す情報である、請求項1に記載の医用画像表示装置。

請求項3

前記視覚情報は、前記キーワードが発話されたときに瞬間的に表示される、請求項1又は請求項2に記載の医用画像表示装置。

請求項4

前記記憶部は、前記キーワードを入力履歴として記憶し、前記表示部は、前記入履歴を一覧で表示する、請求項1乃至請求項3のいずれか1項に記載の医用画像表示装置。

請求項5

前記記憶部は、前記キーワードが入力されたときの前記医用画像の表示設定を記憶し、前記表示部は、前記表示設定に基づいて前記入力履歴から選択されたキーワードが入力されたときの前記医用画像の表示状態再現する、請求項4に記載の医用画像表示装置。

請求項6

前記記憶部は、前記所見の入力候補となる所見用語候補を記憶し、前記表示部は、前記キーワードに基づいて前記所見用語候補を表示し、前記所見用語候補から選択された用語に基づいて文章として生成した前記所見を表示する、請求項4に記載の医用画像表示装置。

請求項7

音声で入力されたキーワードに対応する視覚情報を出力する情報処理装置から所見に含まれる複数のキーワードを取得して入力履歴として記憶する記憶部と、前記入力履歴を一覧で表示する表示部と、を備える読影レポート作成支援装置

請求項8

前記記憶部は、前記所見の入力候補となる所見用語候補を記憶し、前記表示部は、前記キーワードに基づいて前記所見用語候補を表示し、前記所見用語候補から選択された用語に基づいて文章として生成した前記所見を表示する、請求項7に記載の読影レポート作成支援装置。

技術分野

0001

本発明の実施形態は、医用画像表示装置及び読影レポート作成支援装置に関する。

背景技術

0002

画像診断では、診断に有効と考えられる代表的な画像であるキー画像医用画像の中から選択され、そのキー画像において観察される所見が記載された読影レポートが作成される。近年、医用画像取得装置高性能化により、短時間で大量の医用画像を容易に取得可能となった。そのため、読影医は、読影レポートの作成において大量の医用画像を観察することになり、読影レポートの作成は、画像診断における大きな負担となっていた。

0003

そこで、読影レポートを作成する読影医等の医師作業負担の軽減及び効率化のため、音声による入力インタフェースが利用されるようになった。音声入力では、例えば、入力された音声の波形と、ひな形の波形とのパターンマッチングを行う音声認識処理により音声が文字列に変換される。

0004

しかしながら、音声入力を使う場合、音声認識の精度によっては誤入力が発生する。その場合、入力の誤りを確認して修正する手間が生じてしまう。

0005

そこで、従来技術では、音声による入力において、これから入力される入力内容文字型を予め判定することで、音声認識による入力精度を向上させた医用診断レポートシステムが提供されている。

先行技術

0006

特開2004−118098号公報

発明が解決しようとする課題

0007

本発明が解決しようとする課題は、音声入力により従来技術よりも所見を効率的に作成できる医用画像表示装置及び読影レポート作成支援装置を提供することである。

課題を解決するための手段

0008

一実施形態に係る医用画像表示装置は、医用画像の所見に含まれるキーワードと、前記キーワードの意味を直感的に表す視覚情報とを記憶する記憶部と、前記キーワードに対応する音声を認識する音声入力部と、前記キーワードが発話されたときに前記キーワードに対応する前記視覚情報を前記医用画像に重ね合わせて表示する表示部と、を備える。

図面の簡単な説明

0009

医用画像の表示方法及び読影レポートの作成方法の一例を説明する図。
第1の実施形態に係る医用画像表示装置の構成例を示すブロック図。
第1の実施形態に係る医用画像表示装置の動作の一例を示すフローチャート
第1の実施形態におけるキーワードに基づく視覚情報の選択方法を説明する表。
第1の実施形態において表示される視覚情報の第1の表示例。
第1の実施形態において表示される視覚情報の第2の表示例。
第2の実施形態に係る医用画像表示装置の構成例を示すブロック図。
第2の実施形態に係る医用画像表示装置の動作の一例を示すフローチャート。
第2の実施形態における医用画像の表示設定の変更を説明する模式図。
第2の実施形態において記憶される医用画像の表示設定を示す表。
第2の実施形態における入力履歴の表示及び医用画像の表示状態再現を説明する模式図。
第3の実施形態に係る医用画像表示装置の構成例を示すブロック図。
第3の実施形態に係る医用画像表示装置の動作の一例を示すフローチャート。
第3の実施形態におけるキーワードに基づく所見の生成方法を説明する模式図。

実施例

0010

図1を参照して読影レポート作成における問題点及び本発明者らの着眼点を説明した後、本発明の実施形態について説明する。

0011

図1は、医用画像の表示方法及び読影レポートの作成方法の一例を説明する図である。図1の左側は読影レポート作成画面D1を示し、図1の右側は医用画像表示画面D2を示している。読影レポート作成画面D1は、読影レポートを作成するための画面であり、医用画像表示画面D2は、医用画像を表示するための画面である。

0012

なお、図1は、読影レポート作成画面D1と医用画像表示画面D2とが、2つのディスプレイにそれぞれ表示される例を示すが、両画面が同一のディスプレイに表示される構成でもよい。

0013

図1の読影レポート作成画面D1の例では、上部には患者情報及び検査情報が表示され、下部には、キー画像IM11及び所見入力欄R1が表示される。また、医用画像表示画面D2の上部には、患者情報及び医用画像の拡大縮小画像処理を実行するためのグラフィカルユーザインターフェースGUI:Graphical User Interface)が表示される。医用画像表示画面D2の下部には、読影対象として胸部体軸断面(アキシャル断面)を示す医用画像IM21及びIM22と、腹胸部の状断面(コロナル断面)を示す医用画像IM23及びIM24との4つの医用画像が表示される。

0014

X線CT撮像では、1回の撮像において数百枚のスライス画像が取得される場合がある。1回の撮像で取得された医用画像が複数のスライス画像から構成される場合、読影医は、例えば、マウスなどの入力装置ホイールなどを用いて複数のスライス画像を順番に表示して病変箇所探す。3次元X線CT撮像で取得されるボリュームデータに対して、例えば、アキシャル断面やコロナル断面のような任意断面再構成する画像処理を実行することで、複数のスライス画像を含む複数の医用画像を生成できる。

0015

図1の例では、医用画像IM21及びIM23のペアと、医用画像IM22及びIM24のペアとは、同一の被検体について異なる検査でそれぞれ取得された医用画像のペアである。このように、医用画像の読影は、今回の検査と前回の検査との変化を観察する比較読影と呼ばれる方法で行われる場合がある。比較読影では、今回の検査で取得された医用画像と前回の検査で取得された医用画像とを同期させて表示し、前回の検査と今回の検査との違いを観察する。

0016

このように、読影医は、医用画像表示画面D2に表示された医用画像から病変を特定する。読影医は、特定された病変に関する所見を読影レポート作成画面D1の所見入力欄R1に記入する。例えば、比較読影の場合、読影医は、前回の検査と今回の検査とを比較して病変の大きさや形状がどのように変化したかを観察し、観察された内容を所見として所見入力欄R1に記入する。

0017

読影医は、医用画像から観察される内容を所見記入欄R1に記入する場合、医用画像表示画面D1から視線を外すことになる。また、所見を入力した後、読影を再開する場合、読影医は、読影レポート作成画面D1から医用画像表示画面へと視線を移動させることになる。したがって、図1の下部に示す両矢印のように、読影医の視線は、読影レポート作成画面D1と医用画像表示画面D2とを行き来することとなる。

0018

しかしながら、医用画像表示画面D2から一度視線を外してしまうと、注視していた箇所をすぐに特定できなくなる場合や、注目していた微細な病変を見失ってしまう場合がある。音声入力を用いれば、所見入力欄R1に視線を移さずに医用画像を見ながら所見を入力することができる。しかしながら、音声入力では、音声認識処理の精度に依存してユーザが発声した内容とは異なる文字列が所見入力欄R1に入力される場合がある。

0019

したがって、読影医は、所見入力欄R1に表示された内容に誤入力がないかを確認することになる。そのため、読影医は、医用画像表示画面D2から読影レポート作成画面D1へと視線を移動させる。

0020

また、同一のディスプレイに読影レポート作成画面D1及び医用画像表示画面D2を表示させ、表示画面を切り替えながら読影レポートを作成する場合も同様である。この場合、医用画像表示画面D2を最小化して、読影レポート作成画面D1をディスプレイに表示し所見を入力することとなり、読影医が医用画像から視線を外す時間は上述の場合と比較して長くなる。

0021

医用画像内で観察される病変が微細である場合、或いは、以前からの変化が軽微である場合、注目していた病変から一旦視線を外すと、再び同じ病変に視線を戻すのに時間がかかることがある。このように、医用画像から視線を外してしまうと、読影が中断し読影を再開するのに時間がかかり、読影の効率を低下させる場合がある。

0022

そこで、本発明者らは上記問題点を解決するため、予め登録されたキーワードに対応する視覚情報を医用画像表示画面D2上に表示することで、音声入力が成功したことをユーザに通知する構成を出した。かかる構成によれば、ユーザは、医用画像表示画面D2から読影レポート作成画面D1へと視線を移動することなく所見を入力できる。

0023

以下、医用画像表示装置及び読影レポート作成支援装置の各実施形態を図面を参照して説明する。

0024

[第1の実施形態]
第1の実施形態は、音声入力されたキーワードに対応する視覚情報を医用画像上に表示することで、入力が正しく行われたか否かをユーザに通知可能な医用画像表示装置及び読影レポート作成支援装置に関する。

0025

(1)構成
図2は、第1の実施形態に係る医用画像表示装置の構成例を示すブロック図である。医用画像表示装置1Aは、ディスプレイ11a、ディスプレイ11b、処理回路12a、記憶回路13a、入力回路14、及び音声入力回路15を備える。

0026

医用画像表示装置1Aは、不図示の通信制御装置を介して電子ネットワーク経由で画像保管通信システムPACS:Picture Archiving and Communication Systems)2に接続される。PACS2には、例えばX線CT装置や磁気共鳴イメージングMRI:Magnetic Resonance Imaging)装置などのモダリティで取得された医用画像や、医用画像表示装置1Aで作成された読影レポートが保存される。

0027

なお、通信制御装置は、ネットワーク形態に応じた種々の通信プロトコル実装する。ここで、電子ネットワークとは、電気通信技術を利用した情報通信網全体を意味し、病院基幹LAN、無線有線LANやインターネット網電話通信回線網光ファイバー通信ネットワークケーブル通信ネットワーク、及び衛星通信ネットワークなどを含む。

0028

医用画像表示装置1Aは、読影レポート作成画面D1を表示するディスプレイ11aと、医用画像を表示するディスプレイ11bとを備える。

0029

ディスプレイ11a及びディスプレイ11bは、液晶ディスプレイパネルプラズマディスプレイパネル、及び有機EL(Electro Luminescence)パネル等の表示デバイスである。ディスプレイ11a及びディスプレイ11bは、処理回路12aの制御に従って、読影レポートや医用画像を表示する。

0030

医用画像表示装置1Aの処理回路12aは、共通信号伝送路としてのシステムバスを介して、医用画像表示装置1Aを構成する各ハードウェア構成要素相互接続される。

0031

処理回路12aは、専用のハードウェアで構成してもよいし、内蔵のプロセッサによるソフトウェア処理で後述する各種機能を実現するように構成してもよい。ここでは一例として、処理回路12aがプロセッサによるソフトウェア処理によって各種機能を実現する場合について説明する。

0032

なお、上記説明におけるプロセッサとは、専用又は汎用のCPU(Central Processing Unit)、GPU(Graphics Processing Unit)、特定用途向け集積回路ASIC:Application Specific IntegratedCircuit)、プログラマブル論理デバイス、及びフィールドプログラマブルゲートアレイFPGA:Field Programmable Gate Array)などの回路を意味する。上記プログラマブル論理デバイスとしては、例えば、単純プログラマブル論理デバイス(SPLD:Simple Programmable Logic Device)、複合プログラマブル論理デバイス(CPLD:Complex Programmable Logic Device)などが挙げられる。処理回路12aは、記憶回路13aに記憶されたプログラム又は処理回路12aのプロセッサ内に直接組み込まれたプログラムを読み出し実行することで各機能を実現する。

0033

また、処理回路12aは、単一のプロセッサによって構成されてもよいし、複数の独立したプロセッサの組合せによって構成されてもよい。後者の場合、複数のプロセッサにそれぞれ対応する複数の記憶回路が設けられると共に、各プロセッサにより実行されるプログラムが当該プロセッサに対応する記憶回路に記憶される構成でもよい。別の例としては、1個の記憶回路が複数のプロセッサの各機能に対応するプログラムを一括的に記憶する構成でもよい。

0034

処理回路12aは、レポート作成機能121a、判定機能122a、及び表示機能123aを実現する。レポート作成機能121a、判定機能122a、及び表示機能123aは、記憶回路13aに格納されているプログラムを処理回路12aのプロセッサが実行することによって実現される機能である。

0035

レポート作成機能121aは、ユーザである読影医の入力に応じて読影レポートを作成する機能である。読影レポートには、キー画像と、そのキー画像に観察される所見とが記載される。したがって、レポート作成機能121aは、選択されたキー画像と、そのキー画像に関連付けされた所見とが入力された読影レポートを作成する。レポート作成機能121aは、作成された読影レポートを電子ネットワーク経由でPACS2に送信する。

0036

判定機能122aは、音声により入力されたキーワードと予め登録されたキーワードとが一致するか否かを判定する。判定機能122aは、音声により入力されたキーワードを音声認識処理により文字列に変換し、予め登録されたキーワードの中に当該文字列に一致するキーワードがあるか否か判定する。

0037

なお、予め登録されたキーワードは、例えば、所見を構成する文章に頻繁に使用される用語又は所見のひな型などの所見を構成する文章に含まれ得る用語のことである。ここで、「予め」とは、例えば、医用画像表示装置1Aの据え付け調整時など、医用画像の読影開始前のことである。

0038

また、判定機能122aは、キーワードに対応する視覚情報を特定し、表示機能123aに通知する。判定機能122aにおける視覚情報の特定方法の詳細については後述の図4で説明する。

0039

表示機能123aは、ディスプレイ11bに医用画像を表示させ、キーワードに対応する視覚情報を医用画像上に表示する。視覚情報は、キーワードの意味を直感的に表現する情報である。即ち、視覚情報は、視覚などの人間の感覚によってキーワードの意味を容易に推定させる情報であって、視覚情報を注視せずとも当該視覚情報が表すキーワードの意味が理解できる。また、視覚情報は、ユーザが視覚情報とキーワードとの関連付けを記憶していなくても、キーワードの意味をユーザに想起させることができる情報である。ここで「直感的」とは、例えば、文字情報の表示や音声出力を行うことなく、順次表示される複数の画像間の変化のみによりキーワードの意味を想起させることである。

0040

また、視覚情報は、例えば、キーワードが表す医用画像上の病変の状態変化又は形態変化を視覚的に表現する視覚効果を発揮する情報である。ユーザにより音声入力されたキーワードが医用画像表示装置1Aにおいて正しく入力されたことを、表示機能123aは、ディスプレイ11bに視覚情報を表示することでユーザに通知する。表示機能123aの詳細については、後述の図5及び図6で説明する。

0041

医用画像表示装置1Aの記憶回路13aは、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)などの半導体メモリ素子や、ハードディスク光ディスクなどによって構成される。記憶回路13aは、USB(Universal Serial Bus)メモリ及びDVD(Digital Video Disk)などの可搬型メディアによって構成されてもよい。

0042

記憶回路13aは、処理回路12aにおいて実行される各種プログラム(アプリケーションプログラムの他、オペレーティングシステム等も含まれる)、プログラムの実行に必要なデータ、及び画像データを記憶する。また、記憶回路13aは、オペレーティングシステムを制御するための各種コマンドを記憶してもよい。また、音声入力回路15から入力された音声を解析するための音声認識プログラムや、入力回路15からの入力を支援するGUI(Graphical User Interface)のプログラムを記憶してもよい。

0043

記憶回路13aは、第1の記憶領域131a及び第2の記憶領域132aを有する。なお、第1の記憶領域131a及び第2の記憶領域132aは、記憶回路13aとは別の記憶回路により構成されてもよい。

0044

第1の記憶領域131aは、予め登録されたキーワードである登録キーワードを記憶する。所見に使用される用語は、健康診断の場合や読影チェックリストを用いる場合など、検査の種類に応じてある程度予測できる。また、過去に作成された所見や学会により公開されている所見テンプレートに含まれる用語を登録キーワードとして利用することもできる。このように、登録キーワードは、所見を構成する文章に含まれ得る用語のことである。登録キーワードは、ユーザにより予め設定されてもよいし、定期的に更新されてもよい。

0045

第2の記憶領域132aは、視覚情報を記憶する。視覚情報は、図形や当該図形の動作や変換などの組合せをディスプレイ11b上に表示することで、入力されたキーワードを視覚的に表す視覚効果を発揮させる情報である。視覚情報は、どのような図形を画面上でどのように動作させるかが規定されたデータを視覚情報項目ごとに含む。視覚情報は、例えば、色、明度、又は彩度や、輪郭などの図形そのもののデータ、図形の移動方向などの図形の動作、図形の色の変化、図形の表示位置、又は図形の表示時間を規定したアルゴリズムを含む。或いは、以上のような図形に関するデータ、アニメーションイラスト、又は画像データなどの電子ファイルであってもよい。

0046

医用画像表示装置1Aの音声入力回路15は、不図示のマイク及びアナログデジタル(A/D:Analog-to-digital)変換器を備える。音声入力回路15のマイクにより検出された音声は、A/D変換器によりデジタル変換され、デジタル音声信号に変換される。音声入力回路15は、デジタル音声信号を判定機能122aに出力し、判定機能122aは、入力されたデジタル音声信号を音声認識処理により文字列データに変換する。

0047

入力回路15は、例えば、キーボード、マウス、ジョイスティック、又はトラックボール等の入力デバイスを有する。入力回路15は、入力デバイスを介してユーザの入力を受け付けるものである。操作者により入力デバイスが操作されると、入力回路15は、その操作に応じた入力信号を生成し、この入力信号を処理回路12aに出力する。

0048

(2)動作
図3は、第1の実施形態に係る医用画像表示装置1Aの動作の一例を示すフローチャートである。図3のフローチャートの各ステップにおける処理は、処理回路12aが記憶回路13aから判定機能122a及び表示機能123aに対応する所定のプログラムを呼出し、これらのプログラムを実行することにより実現される。以下、図4を適時参照しつつ、図3のフローチャートのステップ番号に従って、第1の実施形態に係る医用画像表示装置1Aの動作を説明する。

0049

ステップST101において、表示機能123aは、PACS2から電子ネットワーク経由で取得した医用画像をディスプレイ11bに表示する。

0050

ステップST103において、ユーザは、音声によりキーワードを入力する。ユーザは、ディスプレイ11bに表示された医用画像を観察しつつ、発見した内容に関連するキーワードを発声する。キーワードは所見に含まれる用語であり、発見した内容を文章化する上で中心となる用語である。例えば、比較読影の場合は、前回の検査と今回の検査とで共通して観察される病変がどのように変化したかを表す用語がキーワードとして入力される。

0051

音声入力されたキーワードは、マイクを備える音声入力回路15を介して医用画像表示装置1Aに入力される。入力された音声は、A/D変換器によりデジタル音声信号に変換され、判定機能122aに出力される。判定機能122aの音声認識処理は、デジタル音声信号を文字列データに変換する。

0052

ステップST105において、判定機能122aは、入力されたキーワードと登録キーワードとが一致するか否かを判定する。入力されたキーワードが登録キーワードに一致する場合、YESの方向に分岐しステップST107に進む。この場合、判定機能122aは、読影レポート作成画面D1の所見入力欄R1に入力されたキーワードを表示するように構成されてもよい。

0053

一方、入力されたキーワードが登録キーワード以外の場合、NOの方向に分岐しステップST103に戻る。ユーザは、音声を入力しても視覚情報が表示されない場合、音声入力に何らかの誤りがあったと判断し、音声入力を再度行う。

0054

なお、入力されたキーワードが登録キーワード以外の場合、キーボードなどの入力装置によりキーワードを入力できるように医用画像表示装置1Aを構成してもよい。例えば、テキスト入力と音声入力とを選択できるボタンを医用画像表示画面D2上に表示してもよいし、音声入力が所定の回数失敗した場合、テキスト入力に自動的に切り替わるように医用画像表示装置1Aを構成してもよい。

0055

ステップST107において、判定機能122aは、入力されたキーワードに対応する視覚情報を選択する。

0056

図4は、第1の実施形態におけるキーワードに基づく視覚情報の選択方法を説明する表である。図4の表は、登録キーワードと視覚情報との対応関係を示している。図4の表の左側の列は、登録キーワードを示し、右側の列は、視覚情報を示している。

0057

図4の表に示すように、登録キーワードには、「膨張」、「増加」、「石灰化」、「狭窄」のように所見に含まれる用語が含まれる。

0058

図4の表では、登録キーワードに対して上から順に視覚情報VI1〜VI4がそれぞれ割り当てられている。図4に示した登録キーワード及び視覚情報は、医用画像表示装置1Aの記憶回路13aに予め記憶されている。

0059

なお、登録キーワードと視覚情報との対応付けについては、ユーザが予め設定できるよう医用画像表示装置1Aを構成してもよい。ここで「予め」とは前述同様である。また、登録キーワードや視覚情報を追加的に登録できるように医用画像表示装置1Aを構成してもよい。さらに、登録キーワードや視覚情報は、電子ネットワーク経由でダウンロードされてもよい。

0060

判定機能122aは、音声入力されたキーワードに基づいて変換された文字列が、登録キーワードに一致するか否かを判定し、音声入力されたキーワードに対応する視覚情報を選択する。具体的には、ユーザにより「膨張」というキーワードが音声入力された場合、判定機能122aは、図4に示す表の登録キーワードの中から、「膨張」に一致する登録キーワードが存在するか否か判定する。図4の表の左側の1段目が「膨張」であり、判定機能122aは、音声入力されたキーワードが登録キーワードと一致すると判定する。続いて、判定機能122aは、「膨張」に対応する視覚情報を図4の表から選択する。図4の1段目に示すように、「膨張」に対応する視覚情報は、「視覚情報VI1」である。

0061

なお、登録キーワードは図4の用語には限定されない。例えば、登録キーワードは、上述のような医用画像に観察される病変の形状変化や状態変化を示す他の用語であってもよいし、過去に作成された所見や学会により公開されている所見テンプレートに含まれる用語であってもよい。また、検査の種類や検査項目に応じた用語を登録キーワードとして利用してもよい。

0062

このように、ステップST103〜ST107において、判定機能122aは、音声入力されたキーワードが登録キーワードに一致するかを判定すると共に、音声入力されたキーワードに対応する視覚情報を特定する。

0063

図3に戻ってフローチャートの説明を続ける。

0064

ステップST109において、表示機能123aは、視覚情報を医用画像に重ね合わせて表示する。

0065

以上が、第1の実施形態のフローチャートの説明である。以下、図5及び図6を用いて、表示機能123aにより表示される視覚情報について補足的に説明する。

0066

図5は、第1の実施形態において表示される視覚情報の第1の表示例である。図5は、一連の動作を示す時系列的な3画像により、図4のキーワード「膨張」に対応する視覚情報VI1が表示される例を示す。

0067

図5の左端の初期表示は、視覚情報が表示される前の医用画像が表示された状態を示している。図5の左から2番目から順に示す第1の画像IM21a、第2の画像IM21b、及び第3の画像IM21cは、視覚情報IV1を構成する画像の例を示している。第1の画像IM21aは、医用画像の中心にリング状の図形が表示される例を示しており、第2の画像IM21b及び第3の画像IM2cは、リング状の図形が医用画像の外側に向かって大きくなる画像を示している。

0068

ユーザは、医用画像IM21が初期表示された状態或いはタイミングで、キーワードである「膨張」を音声により入力する。ユーザが発声したキーワードが医用画像表示装置1Aにおいて正しく認識された場合、判定機能122aにより選択された視覚情報VI1に対応する第1〜第3の画像が、医用画像に重ね合わせて表示される。

0069

このように、視覚情VI1を構成する第1の画像IM21a、第2の画像IM21b、及び第3の画像IM21cの3画像が時系列的に連続して表示されることで、キーワード「膨張」に対応する視覚効果が発揮される。

0070

図5は説明の便宜上、視覚情報VI1を3つの画像に分けて説明したが、実際はアニメーションであり第1の画像IM21aから第3の画像IM21cは連続的に表示され、リング状の図形はディスプレイ11b上で滑らかに動く。例えば、第1の画像IM21aに示したリング状の図形は、医用画像の中心に出現し、医用画像の外側に向かって広がっていくように動く。

0071

なお、図5の右下は、図5の左上の初期表示と同じ表示である。視覚情報は、瞬間的に表示され、図5の右下の初期表示と同じ表示に戻る。ここで「瞬間的に」とは、例えば、1秒、2秒といった短期間、即ち、人間が知覚可能な短期間内を意味する。また、視覚情報の表示時間については、ユーザが予め設定できるように医用画像表示装置1Aを構成してもよい。

0072

図5に示すように、リング状の図形が大きく広がっていく状態を表示することにより「膨張」というキーワードの意味を視覚的に表現している。このように、視覚情報は、文字情報の表示や音声出力を行うことなく、時系列的に表示される複数の画像間の相対的変化のみにより「膨張」の意味を想起可能な情報である。

0073

なお、図5では、ユーザが読影中の医用画像を予め選択した状態で、読影を開始する場合を示している。例えば、図1に示すように医用画像表示画面D2は、ディスプレイ11bを複数の領域に分割して、複数の医用画像を表示する場合がある。この場合、視覚情報は、医用画像表示画面D2であればどこに表示されてもよいし、ユーザが選択した医用画像上に表示されてもよい。

0074

例えば、医用画像表示装置1Aのディスプレイ11b上に、ディスプレイ11bの前に座ったユーザの眼球運動を記録するカメラを設け、記録したユーザの眼球運動に基づいて測定されるユーザの視線方向に視覚情報を表示するよう医用画像表示装置1Aを構成してもよい。また、ユーザがマウスなどの入力装置を介して選択した位置に視覚情報を表示するように医用画像表示装置1Aを構成してもよい。

0075

図6は、第1の実施形態において表示される視覚情報の第2の表示例である。図6は、キーワード「増加」に対応する視覚情報IV2の表示例である。図6では、図5と異なり、ユーザが選択した位置に視覚情報が表示される例を示している。ユーザが選択した位置とは、例えば、マウスなどの入力装置で医用画像を操作した座標である。ユーザがキーワードを発話する直前入力操作に基づいて検出された座標を表示位置として、視覚情報を表示してもよい。

0076

図6では、左端の初期表示に示すように、ユーザがマウスなどの入力装置を操作してカーソルを示す矢印A21を医用画像の右下の位置に表示した場合を例として説明する。

0077

図6の左から2番目に示した第1の画像IM21dは、矢印A21の先端の位置を中心として、2つのリング状の図形が表示される例を示している。図6の左から3番目の第2の画像IM21eは、第1の画像IM21dに表示された2つのリング状の図形に加えて、さらに2つのリング状の図形が矢印A21を中心に表示される。図6の左から4番目の第3の画像IM21fは、第2の画像IM21eに表示された4つのリング状の図形に加えて、さらに2つのリング状の図形が矢印A21を中心に表示される例を示している。

0078

図6も説明の便宜上、視覚情報VI2を3つの画像に分けて説明したが、視覚情報VI2は、図5と同様に、第1の画像IM21d、第2の画像IM21e、第3の画像IM21fが連続的に表示され、左上の初期表示と同じ表示に戻る。

0079

なお、視覚情報は図5及び図6のように徐々に変化する複数の画像を変化の初期段階から順番に表示する態様には限定されない。例えば、登録キーワードが図4の3段目の「石灰化」の場合、灰色の図形が瞬間的に表示されるように医用画像表示装置1Aを構成してもよい。また、図4の4段目の「狭窄」の場合、リング状の図形が左右に潰れた画像が瞬間的に表示されてもよい。さらに、MRIで取得された医用画像では撮像方法に応じて病変部位が高信号に描出される。そこで、「高信号」に対応する視覚情報として白い図形を瞬間的に表示するように構成してもよい。

0080

このように、第1の実施形態に係る医用画像表示装置1Aは、音声によりキーワードが正しく入力できたか否かを視覚情報の表示によりユーザに通知する。したがって、ユーザは、読影中の医用画像から目を離すことなく所見を構成するキーワードを入力することができる。そのため、医用画像において注視していた箇所を見失うことなく効率的に読影を進めることができる。

0081

なお上述では、医用画像表示装置1Aが医用画像表示機能とレポート作成機能とを両方備える例を説明したが、両機能は別々の装置で実現されてもよい。例えば、レポート作成機能を備える読影レポート作成支援装置3Aを別途設け、医用画像表示装置1Aが医用画像表示機能を有すると共に読影レポート作成支援装置3Aと通信する構成でもよい。具体的には、図2において一点鎖線の枠内に示すように、ディスプレイ11a、処理回路12a、入力回路14、及び不図示の記憶回路を備える読影レポート作成支援装置3Aが上述の医用画像表示装置1Aと同様に読影レポートを作成する構成でもよい。

0082

[第2の実施形態]
第2の実施形態は、第1の実施形態の構成に加えて、音声入力されたキーワードを入力履歴として保存すると共に、入力履歴から選択されたキーワードが入力されたときの表示状態を再現する医用画像表示装置及び読影レポート作成支援装置に関する。

0083

第2の実施形態は、図2で示した第1の実施形態の医用画像表示装置1Aとは構成が若干異なる。そこで、図7に示すように、第2の実施形態に係る医用画像表示装置1Bについて、第1の実施形態とは異なる部分には、第1の実施形態とは異なる符号を付す。なお、この点は、第3の実施形態に関しても同様である。

0084

(1)構成
図7は、第2の実施形態に係る医用画像表示装置1Bの構成例を示すブロック図である。

0085

図7に示すように、医用画像表示装置1Bの処理回路12bは、レポート作成機能121a、判定機能122b、及び表示機能123bを実現する。レポート作成機能121a、判定機能122b、及び表示機能123bは、記憶回路13bに格納されているプログラムを処理回路12bのプロセッサが実行することによって実現される機能である。

0086

判定機能122bは、第1の実施形態で説明した判定機能122aに加えて、以下の機能を有する。即ち、ユーザにより入力されたキーワードが登録キーワードに一致する場合、入力されたキーワードを入力履歴として記憶回路13bに保存する。

0087

表示機能123bは、第1の実施形態で説明した表示機能123aに加えて、医用画像の表示設定を記憶回路13bに保存する機能を有する。表示機能123bにおける表示設定の保存機能の詳細については後述の図9及び図10で説明する。

0088

さらに、表示機能123bは、医用画像表示画面D2又は読影レポート作成画面D1に入力履歴を表示する。表示機能123bにおける入力履歴の表示の詳細については後述の図11で説明する。

0089

医用画像表示装置1Bの記憶回路13bは、第1の実施形態で説明した第1の記憶領域131a及び第2の記憶領域132aに加えて、第3の記憶領域133b及び第4の記憶領域134bをさらに有する。なお、第3の記憶領域133b及び第4の記憶領域134bは、記憶回路13aとは別の記憶回路により構成されてもよい。

0090

第3の記憶領域133bは、ユーザが音声入力した登録キーワードと一致するキーワードを入力順に記録した入力履歴を記憶する。

0091

第4の記憶領域134bは、キーワードが入力されたときの医用画像の表示設定を記憶する。

0092

(2)動作
図8は、第2の実施形態に係る医用画像表示装置1Bの動作の一例を示すフローチャートである。図8のフローチャートの各ステップにおける処理は、処理回路12bが記憶回路13bから判定機能122b及び表示機能123bに対応する所定のプログラムを呼出し、これらのプログラムを実行することにより実現される。以下、図9及び図10を適宜参照しつつ、図8のフローチャートのステップ番号に従って、第2の実施形態に係る医用画像表示装置1Bの動作を説明する。なお、第1の実施形態における図3の各ステップと同一処理を実行するステップには、同一の符号を付し、重複する説明を省略する。

0093

ステップST201において、ユーザは、読影対象となる医用画像を選択する。

0094

ステップST203において、ユーザは、選択した医用画像の表示設定を変更する。

0095

図9は、第2の実施形態における医用画像の表示設定の変更を説明する模式図である。図9の左側に示した医用画像IM21は、初期表示設定で表示された初期表示画像である。初期表示設定は、例えば、医用画像表示装置1Bの据え付け調整時に技師により設定された設定内容であってもよいし、医用画像を表示する前にユーザが設定した設定内容であってもよい。図9の右側は、医用画像の表示設定の変更後の表示例を示している。

0096

図9の左側の医用画像IM21の表示設定は、図9の医用画像IM21の下部に示すように、上から、スライス番号が12/50、表示サイズが512×512、ウィンドウレベル(WL:Window Level)が321、ウィンドウ幅(WW:Window Width)が555、拡大率が100%、表示位置が(X1、Y1)、画像処理が画像処理Aである。

0097

スライス番号12/50は、スライス数50枚のうち12枚目のスライス番号の画像であることを示す。表示サイズは、例えば、ピクセルで示され、ディスプレイ11bの画面上に表示する際の医用画像の大きさを示している。WW及びWLは、画像のコントラスト調整値である。例えばCT画像では、骨、臓器、又は血管などの観察対象に応じて画像のコントラストを調整することで対象となる部位を観察できる。表示位置は、例えば、ディスプレイ11b上に表示された医用画像の左上の座標や医用画像の中心座標などにより特定される。画像処理には、例えば、X線CT装置で収集した投影データに対して実行される再構成処理補正処理、及び補間処理、又は再構成画像に対する補正処理や読影の目的に応じた医用画像の加工処理などが含まれる。

0098

図9の右側は、初期表示された医用画像を1.5倍に拡大し、当該医用画像の表示位置を左に移動した例を示している。したがって、図9の右側の医用画像IM21gの表示設定は、医用画像IM21gの下部に示すように、初期表示の表示設定に対して拡大率が150%、表示位置が(X2、Y2)に変更されている。なお、表示設定の変更は、例えば、マウスなどの入力装置や、医用画像表示画面D2の右上に表示されたボタン又はツールバーなどのGUIにより実行される。

0099

以上が、表示設定を変更するステップST203の説明である。図8に戻ってフローチャートの説明を続ける。

0100

ステップST203の後、第1の実施形態と同様のステップST103及びST105において、音声入力されたキーワードに対する判定処理が実行される。ステップST105においてYESと判定された場合、ステップST205に進み、それ以外の場合、ステップST209に進む。なお、ステップST205においてNOと判定された場合、第1の実施形態と同様にステップST103に戻るよう医用画像表示装置1Bを構成してもよい。

0101

ステップST205において、表示機能123bは、キーワードが入力されたときの医用画像の表示設定を記憶する。

0102

図10は、第2の実施形態において記憶される医用画像の表示設定を示す表である。図10の上から1段目は、入力履歴、キーワード、画像ID、及び表示設定などの項目を左から順に示す。表示設定は、ここでは一例として、スライス番号、表示サイズ、コントラスト(WL、WW)、拡大率(%)、表示位置、及び画像処理を含む。図10の表の上から2段目は入力IP1を示し、3段目は入力IP2を示し、図10の表は、2つのキーワードが入力されたときの表示設定がそれぞれ記憶されている例を示している。

0103

入力IP1のキーワードは「膨張」である。入力IP1に対応する図10の2段目の行は、図9の右側に示された医用画像IM21gが表示された状態で、「膨張」というキーワードが入力されたときの表示設定を示している。即ち、表示機能123bは、キーワードが入力されたときの表示設定を記憶する。

0104

入力IP2に対応する図10の3段目は、2段目と同じ画像IDで異なるスライス番号の医用画像について、「増加」というキーワードが入力されたときの表示設定を示している。図10の3段目の表示設定は、2段目の表示設定と比較して、表示サイズは同じだが、コントラスト、拡大率、表示位置、及び画像処理が異なる。

0105

以上が、表示設定を保存するステップST205の説明である。図8に戻ってフローチャートの説明を続ける。

0106

ステップST207において、判定機能122bは、入力されたキーワードを入力履歴として記憶回路13bに保存する。

0107

なお、ステップST205の表示設定の保存処理及びステップST207の入力履歴の保存処理の順番は、図8順序には限定されない。ステップST205の処理とステップST207の処理とは実行順序が逆でもよいし、同時に実行されてもよい。

0108

ステップST209において、医用画像表示装置1Bは、ユーザによる医用画像の読影が終了したか否かを判定する。終了したと判定された場合、YESの方向に分岐しステップST211に進む。

0109

なお、読影終了は、例えば、ユーザにより「読影終了」と音声により入力されることで判定されてもよいし、医用画像表示画面D2に表示された読影終了ボタンが押下されることにより判定されてもよい。一方、ユーザによる医用画像の読影が終了していないと判定された場合、NOの方向に分岐しステップST201に戻る。

0110

ステップST211において、表示機能123bは、入力履歴を表示する。入力履歴は、読影レポート作成画面D1又は医用画像表示画面D2の少なくとも一方に表示される。

0111

ステップST213において、ユーザは、入力履歴の中からキーワードを1つ選択する。

0112

ステップST215において、表示機能123bは、選択されたキーワードが入力されたときの表示設定で医用画像を表示する。即ち、表示機能123bは、選択されたキーワードに対応する表示設定を記憶回路13bから読み出し、医用画像に当該表示設定を適用することで、選択されたキーワードが入力されたときの医用画像の表示状態を再現する。

0113

以上が図8のフローチャートの説明である。以下、図11を参照しつつ、入力履歴から選択されたキーワードの表示設定で医用画像が表示されるステップST213〜ST215の処理について補足する。

0114

図11は、第2の実施形態における入力履歴の表示及び医用画像の表示状態の再現を説明する模式図である。図11の左側は、読影終了直後に入力履歴が表示された例を示している。図11に示すように、入力履歴は、読影対象の医用画像上に表示されてもよいし、読影対象の医用画像の表示領域以外の領域に表示されてもよい。また、読影レポート作成画面D1の所見入力欄R1に入力履歴が表示されるように表示機能123bが構成されてもよい。

0115

図11の左側は、医用画像IM21上に入力履歴H1が表示される例を示し、図11の右側の医用画像IM21hは、入力履歴H1から選択されたキーワードが入力されたときの表示設定で表示された医用画像の例を示している。

0116

入力履歴H1は、入力IP1「膨張」及び入力IP2「増加」の2つのキーワードを表示している。入力履歴H1の入力IP1及び入力IP2の右側には、それぞれ表示状態再現ボタンG11及びG12が表示される。表示状態再現ボタンが押下されると、表示機能123bは、表示状態再現ボタンに対応するキーワードが入力されたときに保存された表示設定で医用画像を表示する。即ち、表示機能123bは、入力履歴H1から選択されたキーワードが入力されたときの表示状態を再現する。

0117

図11に示すように、入力IP1「膨張」の右側に表示された表示状態再現ボタンG11が押下されると、医用画像IM21hが表示される。医用画像IM21hは、「膨張」というキーワードが入力されたときに医用画像表示画面D2に表示されていた図9の医用画像IM21gと同じ表示設定で表示された画像である。入力IP1「膨張」は、図9の右側に示した医用画像IM21gが表示された状態で入力されたキーワードである。当該キーワードが入力されたときの表示設定は、図10の表に示すように記憶回路13bに記憶されている。

0118

表示機能123bは、表示状態再現ボタンG11が押下されたタイミングで、記憶回路13bに記憶されている入力IP1「膨張」に対応する表示設定を読み出し、医用画像に当該表示設定を適用してディスプレイ11bに表示する。

0119

なお、表示設定には、アノテーション記入位置及びアノテーションの記入内容など、医用画像に対して読影中に付加された情報や、医用画像のソート条件などの医用画像を読影する上で入力される種々の設定情報が含まれてもよい。上述同様に当該設定情報を用いて表示状態を再現するよう医用画像表示装置1Bを構成してもよい。

0120

なお、入力履歴H1は、読影レポート作成画面D1の所見入力欄R1に表示されてもよい。この場合、表示状態再現ボタンG11を押下すると、医用画像表示画面D2上に表示された医用画像の表示設定が、選択されたキーワードが入力されたときの表示設定に変更されるよう医用画像表示装置1Bが構成されてもよい。

0121

上記説明では、入力されたキーワードとキーワードが入力されたときの表示設定とを対応付けて保存する例を示したが、表示状態を再現する方法はこの態様には限定されない。キーワードが入力されたときのディスプレイ11bの表示状態を画像として記憶するように医用画像表示装置1Bを構成してもよい。

0122

さらに、医用画像表示装置1Bは、キーワードが入力されたときのスライス画像をキー画像の候補として読影レポート作成画面D1に表示するように構成されてもよい。また、ユーザは、医用画像において病変が存在する範囲などに関心領域(ROI:Region of Interest)を設定し、病変箇所を示すアノテーションと呼ばれる目印を付与する場合がある。ROIやアノテーションが付与されたスライス画像は、キー画像の候補となる画像である。このように、ROIやアノテーションが付与されたスライス画像をキーワードと対応付けて記憶し、読影レポート作成画面D1にキー画像候補として表示するように医用画像表示装置1Bを構成してもよい。キーワードと共にキー画像候補を表示することで読影レポートを効率化に作成できる。

0123

このように第2の実施形態に係る医用画像表示装置1Bによれば、第1の実施形態と同様の効果を得ることができる。加えて、第2の実施形態では、読影終了後に入力履歴を表示できるため、ユーザは入力履歴を確認することができる。ユーザは、入力履歴を確認し、キーワードを取捨選択し、或いは、キーワードの入力順序入れ替えることで、所見を効率的に作成することができる。

0124

さらに、医用画像表示装置1Bにおいてキーワードが入力されたときの表示状態を再現できることにより、ユーザは、どのような状況でキーワードを入力したかを確認した上で、所見を入力することができる。また、医用画像表示装置1Bにおいてキーワードが入力されたときの表示状態が再現されることで、ユーザは、読影レポートに添付するキー画像を容易に選択することができ、読影レポート作成の効率化に貢献する。

0125

なお、第2の実施形態における入力履歴は、医用画像表示装置1Bと別の装置として設けられた読影レポート作成支援装置3Bに表示されてもよい。具体的には、図7において一点鎖線の枠内に示すように、読影レポート作成支援装置1Bは、ディスプレイ11a、処理回路12b、入力回路14、及び不図示の記憶回路を備える。読影レポート作成支援装置3Bは、医用画像表示装置1Bに記憶された入力履歴を、例えば、電子ネットワーク経由で医用画像表示装置1Bから取得してもよい。読影レポート作成支援装置3Bは、上述同様に取得した入力履歴をディスプレイ11aに表示された読影レポート作成画面D1の所見入力欄R1に表示する。また、読影レポート作成支援装置3Bの処理回路12bが判定機能122bを実行し、読影レポート作成支援装置3Bの記憶回路に入力履歴を保存する構成でもよい。

0126

[第3の実施形態]
第3の実施形態は、第2の実施形態の構成に加えて、入力履歴から所見を生成する医用画像表示装置及び読影レポート作成支援装置に関する。第3の実施形態では、医用画像表示装置1Bの符号を1Cとし、読影レポート作成支援装置3Bを3Cとして、第2の実施形態と異なる部分のみを説明する。

0127

(1)構成
図12は、第3の実施形態に係る医用画像表示装置1Cの構成例を示すブロック図である。図12の医用画像表示装置1Cの処理回路12cは、前述のレポート作成機能121a及び判定機能122bに加え、所見用語候補生成機能124c及び表示機能123cを実現する。所見用語候補生成機能124c及び表示機能123cは、記憶回路13cに格納されているプログラムを処理回路12cのプロセッサが実行することによって実現される機能である。

0128

所見用語候補生成機能124cは、記憶回路13cに記憶されている所見用語候補の中からキーワードに対応する所見用語候補を抽出する。また、ディスプレイに表示された所見用語候補から選択された用語に基づいて文章で構成された所見を生成する。キーワードに基づく所見の生成方法の詳細については後述の図14で説明する。

0129

表示機能123cは、第2の実施形態で説明した表示機能123bに加えて、所見用語候補を読影レポート作成画面D1又は医用画像表示画面D2に表示する機能を有する。所見用語候補は、例えばプルダウンメニューなどのGUIによりユーザが選択可能な態様で表示される。ユーザは、プルダウンメニューにより表示された所見用語候補の選択肢の中から、所見を構成する用語を選択する。所見用語候補の表示態様の詳細については後述の図14で説明する。

0130

図12の医用画像表示装置1Cの記憶回路13cは、前述の第1の記憶領域131a、第2の記憶領域132a、第3の記憶領域133b、及び第4の記憶領域134bに加えて、第5の記憶領域135cをさらに有する。第5の記憶領域135cは、記憶回路13aとは別の記憶回路により構成されてもよい。

0131

第5の記憶領域135cは、文章で構成される所見の入力候補となる用語を記憶する。所見用語候補は、登録キーワード以外の所見を構成する用語であり、例えば、部位名、病変の種類、及び病変の異常度を示す用語などが含まれる。所見用語候補は、例えば、既に作成済みの読影レポートに含まれる所見内容を解析することによって得られた用語であってもよいし、過去に作成された所見や学会により公開されている所見テンプレートに含まれる用語であってもよい。

0132

所見用語候補は、予め医用画像表示装置1Cの第5の記憶領域135cに記憶されている。ここでの「予め」とは、前述同様である。なお、所見用語候補については、電子ネットワーク経由でダウンロードされるように医用画像表示装置1Cが構成されもよいし、定期的に更新されるように医用画像表示装置1Cが構成されてもよい。

0133

(2)動作
図13は、第3の実施形態に係る医用画像表示装置1Cの動作の一例を示すフローチャートである。図13のフローチャートの各ステップにおける処理は、処理回路12cが記憶回路13cから所見用語候補生成機能124c及び表示機能123cに対応する所定のプログラムを呼出し、これらのプログラムを実行することにより実現される。また、図13のフローチャートは、キーワードの入力完了後、即ち、読影終了後からの処理を示す。以下、図13のフローチャートのステップ番号に従って、第3の実施形態に係る医用画像表示装置1Cの動作を説明する。

0134

ステップST301において、表示機能123cは、入力履歴を表示する。入力履歴は、読影レポート作成画面D1又は医用画像表示画面D2のいずれか一方に表示される。

0135

ステップST303において、ユーザは、入力履歴から所見の生成対象となるキーワードを選択する。

0136

ステップST305において、所見用語候補生成機能124cは、選択されたキーワードに基づいて所見用語候補を記憶回路13cから選択する。所見用語候補は、過去に作成された所見や学会により公開されている所見テンプレートに含まれる用語に基づいて記憶回路13cに記憶されている。表示機能123cは、所見用語候補を表示し、ユーザは、所見用語候補の中から所見を構成する用語を選択する。

0137

ステップST307において、所見用語候補生成機能124cは、所見用語候補の中から選択された用語に基づいて所見を生成する。また、選択された所見用語候補に応じて、さらに所見用語候補を表示するように構成してもよい。所見用語候補生成機能124cは、ユーザにより選択された用語に基づいて文章で構成された所見のテキストデータを生成する。

0138

ステップST309において、表示機能123cは、生成された所見を表示する。生成された所見のテキストデータは、所見入力欄R1に表示される。なお、入力履歴が医用画像表示画面D2に表示された場合は、医用画像表示画面D2に表示されてもよい。

0139

以上が図13のフローチャートの説明である。以下、図14にてステップST305〜ST309の所見生成処理について補足する。

0140

図14は、第3の実施形態におけるキーワードに基づく所見の生成方法を説明する模式図である。図14の左端には入力履歴H2が表示されている。図14の入力履歴H2は、入力IP1「膨張」及び入力IP2「増加」の2つのキーワードが入力された例を示している。

0141

図14の入力履歴に示されたキーワードの右側には、所見生成ボタンG21及びG22が示されている。ユーザは選択したキーワードの右側に表示された所見生成ボタンを押下することで、所見を生成することができる。

0142

図14は、入力履歴H2の上段に示した入力IP1「膨張」の右側に表示された所見生成ボタンG21が押下された例を示している。以下、キーワード「膨張」に基づいて所見を生成する方法を具体的に説明する。キーワードは、当該キーワードが入力されたときの医用画像に関連付けされて記憶されている。以下医用画像IM21の胸部のアキシャル断面を観察して入力されたキーワードが「膨張」であり、「膨張」を含む所見が解剖学的部位、疾患の種類、及び診断に対する読影医の確信度の各項目からなる例を説明する。

0143

図14は、3つの所見用語候補選択欄G23、G24、及びG25を表示するプルダウンメニューが例示されている。所見用語候補を選択するプルダウンメニューは、所見生成ボタンを押下したタイミングですべて表示されるように構成されてもよいし、順番に表示されるように構成されてもよい。即ち、所見用語候補選択欄G23が表示され、表示された所見用語候補から用語が選択された後、所見用語候補選択欄G24が表示されるように所見用語候補生成機能124cを構成してもよい。以下、所見用語候補選択欄G23〜G25が順に表示される例を説明する。

0144

図14の所見用語候補選択欄G23は、所見を構成する解剖学的部位を所見用語候補として表示する。キーワード「膨張」に関連付けされた胸部のアキシャル断面の医用画像IM21には、食道心臓静脈などの様々な臓器が存在する。医用画像に含まれる解剖学的部位は、例えば、パターンマッチングにより特定される。パターンマッチングとは、臓器の形状、臓器間の相対的な位置関係、血管の配置、又は血管同士の相対的位置関係などを含む標準的な人体モデルテンプレート画像データに基づいて、医用画像から解剖学的な特徴点をそれぞれ抽出する方法のことである。パターンマッチングにより抽出された特徴点に基づいて医用画像に含まれる解剖学的部位が特定される。

0145

図14の所見用語候補選択欄G23に示すように、所見用語候補生成機能124cは、キーワードに関連付けされた医用画像から特定された解剖学的部位を所見用語候補として読影レポート作成画面D1又は医用画像表示画面D2に表示する。図14の所見用語候補選択欄G23は、胸部のアキシャル断面から抽出された「右肺」、「左肺」、及び「食道」を所見用語候補として表示する例を示している。

0146

図14の例では、「右肺」、「左肺」、及び「食道」のうち、ユーザが「右肺」を選択した例を示している。図14では、選択された項目をグレースケールハッチングを付して非選択の項目と区別して示す。

0147

なお、解剖学的部位は、キーワードに関連付けされた医用画像、医用画像に関連付けされた検査情報又は患者情報などの医療情報に基づいて所見用語候補生成機能124cにより選択されてもよい。また、第5の記憶領域135cは、キーワード、検査の種類、又は解剖学的部位に応じて、所見用語候補選択欄G23に表示する所見用語候補の組合せを記憶していてもよい。さらに、解剖学的部位は、ROIやアノテーションが付与された位置に基づいて表示されてもよい。

0148

図14の所見用語候補選択欄G24は、疾患に関連する所見用語候補がプルダウンメニューで表示される例を示している。所見用語候補選択欄G24には、「腫瘍」及び「嚢胞」が表示されている。疾患に関連する所見用語候補は、図14で示した用語には限定されない。疾患に関連する所見用語候補には、例えば、膿瘍腺腫、及び出血といった他の用語が含まれ、解剖学的部位、検査の種類、又は患者既往歴などの医療情報に応じた用語が表示される。図14の例では、「腫瘍」が選択され、グレースケールのハッチングで示されている。

0149

図14の所見用語候補選択欄G25は、読影医の確信度に関連する所見用語候補がプルダウンメニューで表示される例を示している。所見用語候補選択欄G25には、「明らか」、「疑い(強)」、及び「疑い(弱)」が表示されている。

0150

「疑い(強)」は、確信度が高いことを示す。「疑い(強)」は、例えば、画像診断では疾患が確認される場合であっても、診断基準に準じて血液検査など他の検査と併せて確定診断とすべき場合などに選択される用語である。

0151

一方、「疑い(弱)」は、画像診断では明確な疾患と判断できないが、正常と断定することもできない場合に選択される用語である。図14の例では、「明らか」が選択され、グレースケールのハッチングで示されている。

0152

所見用語候補生成機能124cは、所見用語選択欄G23〜G25に表示された所見用語候補から選択された「右肺」、「腫瘍」、及び「明らか」と、入力されたキーワード「膨張」に基づいて所見を生成する。図14の下部の所見R2に示すように、所見用語候補生成機能124cは、「右肺部に、腫瘍の明らかな膨張を認めます。」という文章を所見として生成する。第5の記憶領域135cには、例えば、日本語英語などの各言語の文章のテンプレートが記憶されている。所見用語候補生成機能124cは、選択された用語の組合せに応じたテンプレートを第5の記憶領域135cから読み出し、読み出したテンプレートに基づいて所見の文章データを生成する。また、所見に対応する文章を第5の記憶領域135cに蓄積すると共に、選択された用語を含む文章を所見用語候補生成機能124cが検索して所見として表示するように医用画像表示装置1Cを構成してもよい。

0153

なお、所見用語候補選択欄の種類は、図14表示内容には限定されない。例えば、再発原発、又は転移などの腫瘍の発生態様を所見用語選択欄に表示してもよい。所見用語候補選択欄は、検査の種類や患者の既往歴などに応じてその組合せが予め規定されていてもよい。なお、ここでの「予め」は、前述同様である。

0154

このように、第3の実施形態に係る医用画像表示装置1Cによれば、第2の実施形態と同様の効果を得ることができる。加えて、第3の実施形態では、入力したキーワードに基づいて表示される所見用語候補を選択するだけで所見を自動的に生成できる。したがって、医用画像表示装置1Cは、読影レポート作成の効率化を支援することができる。さらに、医用画像表示装置1Cは、所見用語候補の中から選択された用語に基づいて所見の文章データを生成する。したがって、所見に使用される用語や表記統一することができるため、読影レポートの品質の向上に寄与する。

0155

なお、第3の実施形態における所見用語候補は、医用画像表示装置1Cとは別に設けられた読影レポート作成支援装置3Cによって処理されてもよい。具体的には、図12において一点鎖線の枠内に示すように、読影レポート作成支援装置3Cは、ディスプレイ11a、処理回路12c、入力回路14、及び不図示の記憶回路を備える。この構成では、読影レポート作成支援装置3Cの処理回路12cが所見用語候補生成機能124c及び表示機能123cを実行する。この場合、読影レポート作成支援装置3Cが表示する読影レポート作成画面D1に所見用語候補が表示され、生成された所見が所見入力欄R1に表示される。

0156

以上述べた少なくとも一つの実施形態の医用画像表示装置及び読影レポート作成支援装置によれば、音声入力により従来技術よりも所見を効率的に作成することが可能となる。

0157

なお、請求項の用語と、実施形態との対応関係は、例えば以下の通りである。記憶回路13a、13b、13cは、請求項記載の記憶部の一例である。また、ディスプレイ11a、11bは、請求項記載の表示部の一例である。また、音声入力回路15は、請求項記載の音声入力部の一例である。

0158

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

0159

1A、1B、1C…医用画像表示装置
12a、12b、12c…処理回路
15…音声入力回路

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ