技術 医用情報処理システム、および医用情報処理装置

0001

本発明の実施形態は、医用情報処理システム、および医用情報処理装置に関する。

0002

Ｘ線ＣＴ（Computed Tomography）装置やＭＲ（Magnetic Resonance）装置などの診断装置によって生成された医用画像データは、圧縮された状態でサーバなどに保管される場合がある。医用画像データをどの程度の圧縮率で圧縮するかを検討した種々の文献が公知となっている。しかしながら、従来の技術では、圧縮された画像を展開した画像の画質を好適に調整することを主眼として圧縮処理の内容が設定されていないため、圧縮が不十分になったり、展開後の画像の画質が低下してしまったりする場合があった。

0003

米国特許出願公開第２０１５／０１７２６８１号明細書
米国特許第９１１１３４５号明細書
米国特許第６６０８９１５号明細書

0004

本発明が解決しようとする課題は、展開後の画質を所望のレベルに維持しつつ、リソースの消費を低減することである。

0005

実施形態の医用情報処理システムは、第１処理部と、第２処理部とをもつ。第１処理部は、第１ノード数の入力層、第２ノード数の出力層、及び前記入力層と前記出力層の間の層であり、前記第１ノード数及び前記第２ノード数より少ないノード数の中間層を含み、前記入力層に第１医用画像データを入力することで前記出力層から第２医用画像データを出力するように学習された学習済みモデルを、前記中間層を境に分割した二つの学習済みモデルのうち、前記入力層及び前記中間層を含む圧縮用モデルに対して、第３医用画像データを入力することで、前記第３医用画像データよりデータ量が小さい中間データを出力する。第２処理部は、前記二つの学習済みモデルのうち、前記出力層を含む展開用モデルに対して、ネットワークを介して前記第１処理部から取得した前記中間データを入力することで、前記中間データよりデータ量が大きい第４医用画像データを出力する。

0006

医用情報処理システム１００の構成の一例を示す図。
診断装置２００に相当するＸ線ＣＴ装置１の構成図。
画像再生装置３００に相当する端末装置８０の構成図。
学習済みモデルを生成する情報処理装置５００の構成図。
処理回路５１０の機能について説明するための図。
画像圧縮機能５７の機能を簡易に示す図。
画像展開機能９１の機能を簡易に示す図。
処理回路５１０により実行される処理の流れの一例を示すフローチャート。
第２実施形態に係る情報処理装置５００Ａの構成図。
パラメータ最適化機能５１３Ａの機能について説明するための図。
出力画像画質調整部５１２Ｂの処理について説明するための図。

0007

以下、実施形態の医用情報処理システム、および医用情報処理装置を、図面を参照して説明する。医用情報処理システムは、一以上のプロセッサにより実現される。医用情報処理システムは、例えば、第１処理部と第２処理部を含む。第１処理部と第２処理部のそれぞれは、別体の装置により実現されてもよいし、一つの装置により実現されてもよい。以下の説明における医用画像データは、二次元データ（平面データ）であってもよいし、三次元データ（ボリュームデータ）であってもよい。

0008

図１は、医用情報処理システム１００の構成の一例を示す図である。医用情報処理システム１００は、例えば、第１処理部を備える診断装置２００と、第２処理部を備える画像再生装置３００とにより実現される。この例において、診断装置２００と画像再生装置３００のそれぞれは、医用情報処理装置の一例である。

0009

診断装置２００は、Ｘ線ＣＴ装置、ＭＲ装置、ＰＥＴ装置、ＳＰＥＣＴ装置、超音波診断装置、核医学診断装置など、医用画像データを生成することができる任意の装置である。診断装置２００の第１処理部は、生成した医用画像データ（第３医用画像データ）を圧縮用モデルに入力することで、医用画像データよりデータ量が小さい中間データを出力する。診断装置２００は、ネットワークＮＷを介して中間データをデータベースサーバ４００に送信し、中間データをデータベースサーバ４００に格納させる。ネットワークＮＷは、例えば、ＷＡＮ（Wide Area Network）やＬＡＮ（Local Area Network）、インターネットなどを含む。

0010

画像再生装置３００は、診断装置２００が生成した医用画像データに基づく医用画像を閲覧可能にする装置である。画像再生装置３００は、診断装置１００と同じ施設（例えば病院）に設置されてもよいし、診断装置１００とは異なる施設に設置されてもよい。また、画像再生装置３００は、診断装置２００に包含される装置であってもよい。画像再生装置３００は、ネットワークＮＷを介して中間データをデータベースサーバ４００から取得し、中間データを展開用モデルに入力することで、中間データよりデータ量が大きい閲覧用医用画像データ（第４医用画像データ）を出力し、閲覧用医用画像データを表示装置に表示させる。

0011

圧縮用モデルは、学習済みモデルを中間層を境に分割した２つの学習済みモデルのうち、入力層及び中間層を含むものである。展開用モデルは、学習済みモデルを中間層を境に分割した２つの学習済みモデルのうち、出力層を含むものである。学習済みモデルは、圧縮用モデルと展開用モデルに分けて学習されるのではなく、分割される前のモデルとして一体に学習される。これによって、医用情報処理システム１００は、展開後の画質を維持しつつ、適切な度合いで圧縮処理を行うことができる。

0012

図１に示す第１処理部と第２処理部の配置はあくまで一例であり、これらは任意の箇所に配置することができる。例えば、第１処理部は診断装置とは別の装置により実現されてもよいし、データベースサーバ４００が第１処理部および／または第２処理部の機能を有してもよい。

0013

以下、診断装置２００がＸ線ＣＴ装置であり、画像再生装置３００がＸ線ＣＴ装置と同じ施設に設置される端末装置であるものとして、具体的な態様の一例について説明する。

0014

＜第１実施形態＞
［Ｘ線ＣＴ装置］
図２は、診断装置２００に相当するＸ線ＣＴ装置１の構成図である。Ｘ線ＣＴ装置１は、例えば、架台装置１０と、寝台装置３０と、コンソール装置４０とを有する。図２では、説明の都合上、架台装置１０をＺ軸方向から見た図とＸ軸方向から見た図の双方を掲載しているが、実際には、架台装置１０は一つである。実施形態では、非チルト状態での回転フレーム１７の回転軸または寝台装置３０の天板３３の長手方向をＺ軸方向、Ｚ軸方向に直交し、床面に対して水平である軸をＸ軸方向、Ｚ軸方向に直交し、床面に対して垂直である方向をＹ軸方向とそれぞれ定義する。

0015

架台装置１０は、例えば、Ｘ線管１１と、ウェッジ１２と、コリメータ１３と、Ｘ線高電圧装置１４と、Ｘ線検出器１５と、データ収集システム（以下、ＤＡＳ：Data Acquisition System）１６と、回転フレーム１７と、制御装置１８とを有する。

0016

Ｘ線管１１は、Ｘ線高電圧装置１４からの高電圧の印加により、陰極（フィラメント）から陽極（ターゲット）に向けて熱電子を照射することでＸ線を発生させる。Ｘ線管１１は、真空管を含む。例えば、Ｘ線管１１は、回転する陽極に熱電子を照射することでＸ線を発生させる回転陽極型のＸ線管である。

0017

ウェッジ１２は、Ｘ線管１１から被検体Ｐに照射されるＸ線量を調節するためのフィルタである。ウェッジ１２は、Ｘ線管１１から被検体Ｐに照射されるＸ線量の分布が予め定められた分布になるように、自身を透過するＸ線を減衰させる。ウェッジ１２は、ウェッジフィルタ（wedge filter）、ボウタイフィルタ（bow-tie filter）とも呼ばれる。ウェッジ１２は、例えば、所定のターゲット角度や所定の厚みとなるようにアルミニウムを加工したものである。

0018

コリメータ１３は、ウェッジ１２を透過したＸ線の照射範囲を絞り込むための機構である。コリメータ１３は、例えば、複数の鉛板の組み合わせによってスリットを形成することで、Ｘ線の照射範囲を絞り込む。コリメータ１３は、Ｘ線絞りと呼ばれる場合もある。コリメータ１３の絞り込み範囲は、機械的に駆動可能であってよい。

0019

Ｘ線高電圧装置１４は、例えば、高電圧発生装置と、Ｘ線制御装置とを有する。高電圧発生装置は、変圧器（トランス）および整流器などを含む電気回路を有し、Ｘ線管１１に印加する高電圧を発生させる。Ｘ線制御装置は、Ｘ線管１１に発生させるべきＸ線量に応じて高電圧発生装置の出力電圧を制御する。高電圧発生装置は、上述した変圧器によって昇圧を行うものであってもよいし、インバータによって昇圧を行うものであってもよい。Ｘ線高電圧装置１４は、回転フレーム１７に設けられてもよいし、架台装置１０の固定フレーム（不図示）の側に設けられてもよい。

0020

Ｘ線検出器１５は、Ｘ線管１１が発生させ、被検体Ｐを通過して入射したＸ線の強度を検出する。Ｘ線検出器１５は、検出したＸ線の強度に応じた電気信号（光信号などでもよい）をＤＡＳ１８に出力する。Ｘ線検出器１５は、例えば、複数のＸ線検出素子列を有する。複数のＸ線検出素子列のそれぞれは、Ｘ線管１１の焦点を中心とした円弧に沿ってチャネル方向に複数のＸ線検出素子が配列されたものである。複数のＸ線検出素子列は、スライス方向（列方向、ｒｏｗ方向）に配列される。

0021

Ｘ線検出器１５は、例えば、グリッドと、シンチレータアレイと、光センサアレイとを有する間接型の検出器である。シンチレータアレイは、複数のシンチレータを有する。それぞれのシンチレータは、シンチレータ結晶を有する。シンチレータ結晶は、入射するＸ線の強度に応じた光量の光を発する。グリッドは、シンチレータアレイのＸ線が入射する面に配置され、散乱Ｘ線を吸収する機能を有するＸ線遮蔽板を有する。なお、グリッドは、コリメータ（一次元コリメータまたは二次元コリメータ）と呼ばれる場合もある。光センサアレイは、例えば、光電子増倍管（フォトマルチプライヤー：ＰＭＴ）等の光センサを有する。光センサアレイは、シンチレータにより発せられる光の光量に応じた電気信号を出力する。Ｘ線検出器１５は、入射したＸ線を電気信号に変換する半導体素子を有する直接変換型の検出器であってもかまわない。

0022

ＤＡＳ１６は、例えば、増幅器と、積分器と、Ａ／Ｄ変換器とを有する。増幅器は、Ｘ線検出器１５の各Ｘ線検出素子により出力される電気信号に対して増幅処理を行う。積分器は、増幅処理が行われた電気信号をビュー期間（後述）に亘って積分する。Ａ／Ｄ変換器は、積分結果を示す電気信号をデジタル信号に変換する。ＤＡＳ１６は、デジタル信号に基づく検出データをコンソール装置４０に出力する。検出データは、生成元のＸ線検出素子のチャンネル番号、列番号、及び収集されたビューを示すビュー番号により識別されたＸ線強度のデジタル値である。ビュー番号は、回転フレーム１７の回転に応じて変化する番号であり、例えば、回転フレーム１７の回転に応じてインクリメントされる番号である。従って、ビュー番号は、Ｘ線管１１の回転角度を示す情報である。ビュー期間とは、あるビュー番号に対応する回転角度から、次のビュー番号に対応する回転角度に到達するまでの間に収まる期間である。ＤＡＳ１６は、ビューの切り替わりを、制御装置１８から入力されるタイミング信号によって検知してもよいし、内部のタイマーによって検知してもよいし、図示しないセンサから取得される信号によって検知してもよい。フルスキャンを行う場合においてＸ線管１１によりＸ線が連続曝射されている場合、ＤＡＳ１６は、全周囲分（３６０度分）の検出データ群を収集する。ハーフスキャンを行う場合においてＸ線管１１によりＸ線が連続曝射されている場合、ＤＡＳ１６は、半周囲分（１８０度分）の検出データを収集する。

0023

回転フレーム１７は、Ｘ線管１１、ウェッジ１２、およびコリメータ１３と、Ｘ線検出器１５とを対向支持する円環状の部材である。回転フレーム１７は、固定フレームによって、内部に導入された被検体Ｐを中心として回転自在に支持される。回転フレーム１７は、更にＤＡＳ１６を支持する。ＤＡＳ１６が出力する検出データは、回転フレーム１７に設けられた発光ダイオード（ＬＥＤ）を有する送信機から、光通信によって、架台装置１０の非回転部分（例えば固定フレーム）に設けられたフォトダイオードを有する受信機に送信され、受信機によってコンソール装置４０に転送される。なお、回転フレーム１７から非回転部分への検出データの送信方法として、前述の光通信を用いた方法に限らず、非接触型の任意の送信方法を採用してよい。回転フレーム１７は、Ｘ線管１１などを支持して回転させることができるものであれば、円環状の部材に限らず、アームのような部材であってもよい。

0024

Ｘ線ＣＴ装置１は、例えば、Ｘ線管１１とＸ線検出器１５の双方が回転フレーム１７によって支持されて被検体Ｐの周囲を回転するＲｏｔａｔｅ／Ｒｏｔａｔｅ−ＴｙｐｅのＸ線ＣＴ装置（第３世代ＣＴ）であるが、これに限らず、円環状に配列された複数のＸ線検出素子が固定フレームに固定され、Ｘ線管１１が被検体Ｐの周囲を回転するＳｔａｔｉｏｎａｒｙ／Ｒｏｔａｔｅ−ＴｙｐeのＸ線ＣＴ装置（第４世代ＣＴ）であってもよい。

0025

制御装置１８は、例えば、ＣＰＵ（Central Processing Unit）などのプロセッサを有する処理回路と、モータやアクチュエータなどを含む駆動機構とを有する。制御装置１８は、コンソール装置４０または架台装置１０に取り付けられた入力インターフェース４３からの入力信号を受け付けて、架台装置１０および寝台装置３０の動作を制御する。例えば、制御装置１８は、回転フレーム１７を回転させたり、架台装置１０をチルトさせたり、寝台装置３０の天板３３を移動させたりする。架台装置１０をチルトさせる場合、制御装置１８は、入力インターフェース４３に入力された傾斜角度（チルト角度）に基づいて、Ｚ軸方向に平行な軸を中心に回転フレーム１７を回転させる。制御装置１８は、図示しないセンサの出力等によって回転フレーム１７の回転角度を把握している。また、制御装置１８は、回転フレーム１７の回転角度を随時、スキャン制御機能５５に提供する。制御装置１８は、架台装置１０に設けられてもよいし、コンソール装置４０に設けられてもよい。

0026

寝台装置３０は、スキャン対象の被検体Ｐを載置して移動させ、架台装置１０の回転フレーム１７の内部に導入する装置である。寝台装置３０は、例えば、基台３１と、寝台駆動装置３２と、天板３３と、支持フレーム３４とを有する。基台３１は、支持フレーム３４を鉛直方向（Ｙ軸方向）に移動可能に支持する筐体を含む。寝台駆動装置３２は、モータやアクチュエータを含む。寝台駆動装置３２は、被検体Ｐが載置された天板３３を、支持フレーム３４に沿って、天板３３の長手方向（Ｚ軸方向）に移動させる。天板３３は、被検体Ｐが載置される板状の部材である。

0027

寝台駆動装置３２は、天板３３だけでなく、支持フレーム３４を天板３３の長手方向に移動させてもよい。また、上記とは逆に、架台装置１０がＺ軸方向に移動可能であり、架台装置１０の移動によって回転フレーム１７が被検体Ｐの周囲に来るように制御されてもよい。また、架台装置１０と天板３３の双方が移動可能な構成であってもよい。また、Ｘ線ＣＴ装置１は、被検体Ｐが立位または座位でスキャンされる方式の装置であってもよい。この場合、Ｘ線ＣＴ装置１は、寝台装置３０に代えて被検体支持機構を有し、架台装置１０は、回転フレーム１７を、床面に垂直な軸方向を中心に回転させる。

0028

コンソール装置４０は、例えば、メモリ４１と、ディスプレイ４２と、入力インターフェース４３と、処理回路５０とを有する。実施形態では、コンソール装置４０は架台装置１０とは別体として説明するが、架台装置１０にコンソール装置４０の各構成要素の一部または全部が含まれてもよい。

0029

メモリ４１は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。メモリ４１は、例えば、検出データや投影データ、再構成画像データ、ＣＴ画像データ、圧縮用モデル４１Ａ等を記憶する。これらのデータは、メモリ４１ではなく（或いはメモリ４１に加えて）、Ｘ線ＣＴ装置１が通信可能な外部メモリに記憶されてもよい。外部メモリは、例えば、外部メモリを管理するクラウドサーバが読み書きの要求を受け付けることで、クラウドサーバによって制御されるものである。

0030

ディスプレイ４２は、各種の情報を表示する。例えば、ディスプレイ４２は、処理回路によって生成された医用画像（ＣＴ画像）や、操作者による各種操作を受け付けるＧＵＩ（Graphical User Interface）画像等を表示する。ディスプレイ４２は、例えば、液晶ディスプレイやＣＲＴ（Cathode Ray Tube）、有機ＥＬ（Electroluminescence）ディスプレイ等である。ディスプレイ４２は、架台装置１０に設けられてもよい。ディスプレイ４２は、デスクトップ型でもよいし、コンソール装置４０の本体部と無線通信可能な表示装置（例えばタブレット端末）であってもよい。

0031

入力インターフェース４３は、操作者による各種の入力操作を受け付け、受け付けた入力操作の内容を示す電気信号を処理回路５０に出力する。例えば、入力インターフェース４３は、検出データまたは投影データ（後述）を収集する際の収集条件、ＣＴ画像を再構成する際の再構成条件、ＣＴ画像から後処理画像を生成する際の画像処理条件などの入力操作を受け付ける。例えば、入力インターフェース４３は、マウスやキーボード、タッチパネル、ドラッグボール、スイッチ、ボタン、ジョイスティック、カメラ、赤外線センサ、マイク等により実現される。入力インターフェース４３は、架台装置１０に設けられてもよい。また、入力インターフェース４３は、コンソール装置４０の本体部と無線通信可能な表示装置（例えばタブレット端末）により実現されてもよい。

0032

ネットワーク接続回路４４は、例えば、プリント回路基板を有するネットワークカード、或いは無線通信モジュール等を含む。ネットワーク接続回路４４は、接続する対象のネットワークの形態に応じた情報通信用プロトコルを実装する。

0033

処理回路５０は、Ｘ線ＣＴ装置１の全体の動作を制御する。処理回路５０は、第１処理部の一例である。処理回路５０は、例えば、システム制御機能５１、前処理機能５２、再構成処理機能５３、画像処理機能５４、スキャン制御機能５５、表示制御機能５６などを実行する。これらの構成要素は、例えば、ハードウェアプロセッサがメモリ４１に格納されたプログラム（ソフトウェア）を実行することにより実現される。ハードウェアプロセッサとは、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、特定用途向け集積回路（Application Specific IntegratedCircuit;ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device; ＳＰＬＤ）または複合プログラマブル論理デバイス（Complex Programmable Logic Device; ＣＰＬＤ）、フィールドプログラマブルゲートアレイ（Field Programmable Gate Array;ＦＰＧＡ））などの回路（circutry）を意味する。メモリ４１にプログラムを記憶させる代わりに、ハードウェアプロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合、ハードウェアプロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。ハードウェアプロセッサは、単一の回路として構成されるものに限らず、複数の独立した回路を組み合わせて１つのハードウェアプロセッサとして構成され、各機能を実現するようにしてもよい。また、複数の構成要素を１つのハードウェアプロセッサに統合して各機能を実現するようにしてもよい。

0034

コンソール装置４０または処理回路５０が有する各構成要素は、分散化されて複数のハードウェアにより実現されてもよい。処理回路５０は、コンソール装置４０が有する構成ではなく、コンソール装置４０と通信可能な処理装置によって実現されてもよい。処理装置は、例えば、一つのＸ線ＣＴ装置と接続されたワークステーション、或いは、複数のＸ線ＣＴ装置に接続され、以下に説明する処理回路５０と同等の処理を一括して実行する装置（例えばクラウドサーバ）である。

0035

システム制御機能５１は、入力インターフェース４３が受け付けた入力操作に基づいて、処理回路５０の各種機能を制御する。

0036

前処理機能５２は、ＤＡＳ１６により出力された検出データに対して対数変換処理やオフセット補正処理、チャネル間の感度補正処理、ビームハードニング補正等の前処理を行い、投影データを生成する。

0037

再構成処理機能５３は、前処理機能５２によって生成された投影データに対して、フィルタ補正逆投影法や逐次近似再構成法等による再構成処理を行って、ＣＴ画像データを生成し、生成したＣＴ画像データをメモリ４１に記憶させる。

0038

画像処理機能５４は、入力インターフェース４３が受け付けた入力操作に基づいて、ＣＴ画像データを公知の方法により、三次元画像データや任意断面の断面像データに変換する。三次元画像データへの変換は、前処理機能５２によって行われてもよい。

0039

スキャン制御機能５５は、Ｘ線高電圧装置１４、ＤＡＳ１６、制御装置１８、および寝台駆動装置３２に指示することで、架台装置１０における検出データの収集処理を制御する。スキャン制御機能５５は、位置決め画像を収集する撮影、および診断に用いる画像を撮影する際の各部の動作をそれぞれ制御する。

0040

表示制御機能５６は、各種画像をディスプレイ４２に表示させる。

0041

上記構成により、Ｘ線ＣＴ装置１は、ヘリカルスキャン、コンベンショナルスキャン、ステップアンドシュートなどのスキャン態様で被検体Ｐのスキャンを行う。ヘリカルスキャンとは、天板３３を移動させながら回転フレーム１７を回転させて被検体Ｐをらせん状にスキャンする態様である。コンベンショナルスキャンとは、天板３３を静止させた状態で回転フレーム１７を回転させて被検体Ｐを円軌道でスキャンする態様である。ステップアンドシュートとは、天板３３の位置を一定間隔で移動させて、コンベンショナルスキャンを複数のスキャンエリアで行う態様である。

0042

画像圧縮機能５７は、メモリ４１に記憶された圧縮用モデル４１Ａを用いて、各種画像を圧縮し、中間データを生成する。画像圧縮機能５７は、生成した中間データを、ネットワーク接続回路４４を用いて、ネットワークＮＷを介してデータベースサーバ４００に送信する。中間データの生成処理の詳細については後述する。

0043

［端末装置］
図３は、画像再生装置３００に相当する端末装置８０の構成図である。端末装置８０は、例えば、メモリ８１と、ディスプレイ８２と、入力インターフェース８３と、ネットワーク接続回路８４と、処理回路９０とを備える。

0044

メモリ８１は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。メモリ８１は、例えば、展開用モデル８１Ａを記憶する。展開用モデル８１Ａなどのデータは、メモリ８１ではなく（或いはメモリ８１に加えて）、端末装置８０が通信可能な外部メモリに記憶されてもよい。

0045

ディスプレイ８２は、各種の情報を表示する。例えば、ディスプレイ８２は、処理回路によって展開された医用画像（ＣＴ画像）や、操作者による各種操作を受け付けるＧＵＩ画像等を表示する。ディスプレイ８２は、例えば、液晶ディスプレイやＣＲＴ、有機ＥＬディスプレイ等である。

0046

入力インターフェース８３は、操作者による各種の入力操作を受け付け、受け付けた入力操作の内容を示す電気信号を処理回路９０に出力する。例えば、入力インターフェース８３は、画像を展開する際の各種設定などを受け付ける。例えば、入力インターフェース８３は、マウスやキーボード、タッチパネル、ドラッグボール、スイッチ、ボタン、ジョイスティック、カメラ、赤外線センサ、マイク等により実現される。

0047

ネットワーク接続回路８４は、例えば、プリント回路基板を有するネットワークカード、或いは無線通信モジュール等を含む。ネットワーク接続回路８４は、接続する対象のネットワークの形態に応じた情報通信用プロトコルを実装する。

0048

処理回路９０は、第２処理部の一例である。処理回路９０は、例えば、画像展開機能９１、表示制御機能９２などを実行する。これらの構成要素は、例えば、ハードウェアプロセッサがメモリ８１に格納されたプログラム（ソフトウェア）を実行することにより実現される。ハードウェアプロセッサについては前述の通りである。メモリ８１にプログラムを記憶させる代わりに、ハードウェアプロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合、ハードウェアプロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。ハードウェアプロセッサは、単一の回路として構成されるものに限らず、複数の独立した回路を組み合わせて１つのハードウェアプロセッサとして構成され、各機能を実現するようにしてもよい。また、複数の構成要素を１つのハードウェアプロセッサに統合して各機能を実現するようにしてもよい。

0049

画像展開機能９１は、ネットワーク接続回路８４を用いて、ネットワークＮＷを介してデータベースサーバ４００から中間データを取得し、中間データを展開用モデル８１Ａに入力することで、中間データよりデータ量が大きい閲覧用医用画像データを出力する。表示制御機能９２は、閲覧用医用画像データに基づく画像をディスプレイ８２に表示させる。

0050

［各種モデルについて］
以下、圧縮用モデル４１Ａ、展開用モデル８１Ａ、並びにこれらの元となる学習済みモデルの生成および利用について説明する。学習済みモデルは、任意の情報処理装置によって生成される。図４は、学習済みモデルを生成する情報処理装置５００の構成図である。情報処理装置５００は、例えば、メモリ５０１と、ディスプレイ５０２と、入力インターフェース５０３と、ネットワーク接続回路５０４と、処理回路５１０とを備える。

0051

メモリ５０１は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。メモリ５０１は、例えば、学習データ５０１Ａを記憶する。学習データ５０１Ａなどのデータは、メモリ５０１ではなく（或いはメモリ５０１に加えて）、情報処理装置５００が通信可能な外部メモリに記憶されてもよい。

0052

ディスプレイ５０２は、各種の情報を表示する。例えば、ディスプレイ５０２は、処理回路によって展開された閲覧用医用画像や、操作者による各種操作を受け付けるＧＵＩ画像等を表示する。ディスプレイ５０２は、例えば、液晶ディスプレイやＣＲＴ、有機ＥＬディスプレイ等である。

0053

入力インターフェース５０３は、操作者による各種の入力操作を受け付け、受け付けた入力操作の内容を示す電気信号を処理回路５１０に出力する。例えば、入力インターフェース５１０は、機械学習モデルの初期設定などを受け付ける。例えば、入力インターフェース８３は、マウスやキーボード、タッチパネル、ドラッグボール、スイッチ、ボタン、ジョイスティック、カメラ、赤外線センサ、マイク等により実現される。

0054

ネットワーク接続回路５０４は、例えば、プリント回路基板を有するネットワークカード、或いは無線通信モジュール等を含む。ネットワーク接続回路５０４は、接続する対象のネットワークの形態に応じた情報通信用プロトコルを実装する。

0055

処理回路５１０は、例えば、機械学習モデル設定機能５１１、パラメータ最適化機能５１３、モデル分割機能５１４などを実行する。これらの構成要素は、例えば、ハードウェアプロセッサがメモリ５０１に格納されたプログラム（ソフトウェア）を実行することにより実現される。ハードウェアプロセッサについては前述の通りである。メモリ５０１にプログラムを記憶させる代わりに、ハードウェアプロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合、ハードウェアプロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。ハードウェアプロセッサは、単一の回路として構成されるものに限らず、複数の独立した回路を組み合わせて１つのハードウェアプロセッサとして構成され、各機能を実現するようにしてもよい。また、複数の構成要素を１つのハードウェアプロセッサに統合して各機能を実現するようにしてもよい。処理回路５１０は、第３処理部の一例である。

0056

図５は、処理回路５１０の機能について説明するための図である。処理回路５１０は、機械学習モデルＬＭに対して、複数セットの入力側の学習データおよび出力側の学習データ（教師データ、正解データ、ラベル）を適用し、バックプロパゲーション（誤差逆伝播法）などの手法によって、機械学習モデルＬＭの出力と出力側の学習データとの残差が小さくなるように、機械学習モデルＬＭのパラメータを調整する。入力側の学習データは、第１医用画像データの一例であり、出力側の学習データは、第２医用画像データの一例である。

0057

機械学習モデルＬＭは、第１ノード数の入力層ＩＬ、第２ノード数の出力層ＯＬ、及び入力層と出力層の間の層であり、第１ノード数と第２ノード数とのいずれよりも少ないノード数の中間層ＭＬを含む。学習済みモデルＴＭの構造も同様である。図５では、図示を簡便にするために入力層ＩＬと一つの中間層ＭＬと出力層ＬＭのみ示しているが、実際には複数層の中間層が存在してよい。図示するノード数は実際よりも少ないものとなっている。機械学習モデルＬＭは、全結合のニューラルネットワークに限らず、任意の結合構造を有してもよい。機械学習モデルは、例えば、ＣＮＮ（Convolution Neural Network）を利用したＤＮＮ（Deep Neural Network）である。

0058

入力側の学習データは、学習データ５０１Ａとしてメモリ５１０に格納されている複数の医用画像データであり、Ｘ線ＣＴ装置１などの診断装置２００が生成した医用画像データである。第１実施形態において、入力側の学習データと出力側の学習データは同じものが使用される。従って、第１実施形態において第１ノード数と第２ノード数は同じである。

0059

機械学習モデル設定機能５１１は、入力インターフェース５０３に対してなされた設定操作等に基づいて、機械学習モデルＬＭの初期設定を行う。初期設定とは、例えば、ニューラルネットワークのノード数や結合関係、層の数などを設定することである。これらの初期設定は、機械学習モデル設定機能５１１が要求圧縮率に基づいて自動的に行ってもよい。

0060

パラメータ最適化機能５１３は、前述したバックプロパゲーションなどの処理を行って、機械学習モデルＬＭのパラメータを調整する。所定セット数の学習データについて学習が行われると、最終時点の機械学習モデルＬＭが学習済みモデルＴＭとなる。

0061

モデル分割機能５１４は、学習済みモデルＴＭを分割し、圧縮用モデルＣＭと展開用モデルＥＭを生成する。圧縮用モデルＣＭは、第１ノード数の入力層ＩＬに対して医用画像データ（第３医用画像データ）が入力されると、入力された医用画像データよりもデータ量が小さい中間データを出力するものである。中間データを出力する中間層、すなわち圧縮用モデルＣＭと展開用モデルＥＭの境界となる中間層は、学習済みモデルＴＭのうち最もノード数が少ない層であってもよいし、最もノード数が少ない層よりも入力層または出力層の側に偏した層であってもよい。図５の例では、中間データを出力する中間層が、最もノード数が少ない層よりも出力層の側に偏した層となっている。

0062

情報処理装置５００が生成した圧縮用モデルＣＭは、Ｘ線ＣＴ装置１のメモリ４１に圧縮用モデル４１Ａとして格納される。画像圧縮機能５７は、Ｘ線ＣＴ装置１が生成した医用画像データを圧縮用モデル４１Ａに入力することで中間データを生成し、中間データをデータベースサーバ４００に送信する。図６は、画像圧縮機能５７の機能を簡易に示す図である。

0063

情報処理装置５００が生成した展開用モデルＥＭは、端末装置８０のメモリ８１に展開用モデル８１Ａとして格納される。画像展開機能９１は、ネットワーク接続回路８４を用いて、ネットワークＮＷを介してデータベースサーバ４００から中間データを取得し、中間データを展開用モデル８１Ａに入力することで、中間データよりデータ量が大きい医用画像データ（第４医用画像データ）を出力する。図７は、画像展開機能９１の機能を簡易に示す図である。このように展開された医用画像データは、Ｘ線ＣＴ装置１において生成された医用画像データに近いものになるように学習されたものであるため、これに近い視認性を有するものとなる。この結果、医用情報処理システムは、展開後の画質を所望のレベルに維持することができる。また、圧縮用モデルＣＭは、展開後の画質の維持を実現可能な範囲内で、入力された医用画像データよりもデータ量が小さい中間データを出力するものである。この結果、医用情報処理システムは、通信やデータ記憶に関するリソースの消費を低減することができる。

0064

上記の説明において、機械学習モデルおよび学習済みもでるにおける中間層は、入力層および出力層に比してノード数が少ないものとしたが、これに代えて（或いは加えて）、中間層は入力層および出力層に比してノードが保持するビット数（桁数）が少なくなるように設定されたものであってもよい。第２実施形態以降についても同様である。

0065

機械学習モデル設定機能５１１は、機械学習モデルの設定を固定的に行うのではなく、学習結果に基づいて動的に再設定を行ってもよい。図８は、処理回路５１０により実行される処理の流れの一例を示すフローチャートである。

0066

まず、機械学習モデル設定機能５１１が、機械学習モデルの初期設定を行う（ステップＳ１）。初期設定は、例えば、要求圧縮率を満たすように、中間層のノード数が十分に少なくなるように行われる。

0067

次に、パラメータ最適化機能５１３が機械学習を実施する（ステップＳ２）。次に、機械学習モデル設定機能５１１が、出力層の値と、出力側の学習データとの残差（例えば要素ごとの誤差の二乗和）が閾値以下であるか否かを判定する（ステップＳ３）。残差が閾値を超える場合、機械学習モデル設定機能５１１が、機械学習モデルの中間層のノード数を増やして（且つ／または中間層のノードが保持するビット数を増やして）機械学習モデルを再設定し（Ｓ４）、パラメータ最適化機能５１３が再度、機械学習を実施する（ステップＳ２）。

0068

上記のように一回以上、機械学習が実行された結果、残差が閾値以下となると、パラメータ最適化機能５１３が、最終時点の機械学習モデルを学習済みモデルとして確定する（ステップＳ５）。そして、モデル分割機能５１４が、学習済みモデルを分割して圧縮用モデルと展開用モデルを生成する。係る処理によって、展開後の画質を所望のレベルに維持することができる。なお、図８に示す処理に代えて、残差が閾値以下である限り、ノード数またはビット数を徐々に減らす方向で処理を行ってもよいし、ノード数またはビット数を増やしたり減らしたりして微調整する処理を行ってもよい。

0069

以上説明した第１実施形態の医用情報処理システムによれば、一体に学習された学習済みモデルを中間層を境に分割した２つの学習済みモデルのうち、入力層及び中間層を含む圧縮用モデルと、出力層を含む展開用モデルとをそれぞれ用いて圧縮および展開を行うため、展開後の画質を所望のレベルに維持しつつ、リソースの消費を低減することができる。

0070

＜第２実施形態＞
以下、第２実施形態について説明する。第２実施形態では、学習済みモデルの生成過程が第１実施形態と異なる。従って、係る相違点を中心に説明する。図９は、第２実施形態に係る情報処理装置５００Ａの構成図である。情報処理装置５００Ａは、第１実施形態の情報処理装置５００と比較すると、出力画像画質調整部５１２を更に備える。また、パラメータ最適化機能の機能が第１実施形態と異なるため、パラメータ最適化機能５１３Ａと表記する。

0071

第２実施形態において、入力側の学習データには、診断対象の部位（例えば、頭部、肝臓、肺野、心臓など）、および／または診断の目的などの属性が付与されている。出力画像画質調整部５１２は、この属性に応じて出力側の学習データの画質を調整する。例えば、出力画像画質調整部５１２は、冠動脈や肺野など、詳細な構造を見る必要がある部位の場合には画質が高く、肝臓や心筋など、構造を画像にした場合に低周波な形態となる部位の場合には画質が低くなるように、出力側の学習データの画質を調整する。出力画像画質調整部５１２は、画質の高い学習データを用意する場合、入力側の学習データをそのまま出力側の学習データとして使用したり、入力側の学習データに対してノイズ低減処理を行った画像データを出力側の学習データとしたりする。一方、出力画像画質調整部５１２は、画質の低い出力側の学習データを用意する場合、入力側の学習データに対してＦＦＴ（Fast Fourier Transform）処理を行った画像データを出力側の学習データとしたり、入力側の学習データに対してローパスフィルタ処理を行った画像データを出力側の学習データとしたりする。これによって、高画質用の学習済みモデルと、低画質用の学習済みモデルが生成されることになる。以下の説明では、画質の高い学習データと画質の低い学習データの二種類の学習データが、出力画像画質調整部５１２によって用意されるものとする。が、画質による分類は三種類以上であってもよい。画質の高い学習データは、第２医用画像データの一例であり、画質の低い学習データは、第５医用画像データの一例である。なお、人の感覚では、ノイズを低減した低解像度の画像の方が視認性が良いと感じる場合があるが、本明細書において「画質が高い」とは「高解像度であること」を意味するものとする。

0072

第２実施形態に係るパラメータ最適化機能５１３Ａは、例えば、高画質用の学習済みモデルと、低画質用の学習済みモデルとで、圧縮用モデルに相当する部分が同じになるように機械学習を行う。具体的に、パラメータ最適化機能５１３Ａは、まず高画質用の学習済みモデルを生成した後、圧縮用モデルに相当する部分を固定して機械学習を行って低画質用の学習済みモデルを生成する。なお、この順序は逆でもよい。

0073

図１０は、パラメータ最適化機能５１３Ａの機能について説明するための図である。まず、パラメータ最適化機能５１３Ａは、第１実施形態と同様に、入力側の学習データと出力側の学習データを用いて第１段階の機械学習を行う。このとき、出力側の学習データは、第２段階の機械学習に用いられるものよりも画質が高い学習データである。例えば、第１段階の機械学習では、入力側の学習データと出力側の学習データは同じものが使用される。パラメータ最適化機能５１３は、前述したバックプロパゲーションなどの処理を行って、機械学習モデルＬＭ１のパラメータを調整する。所定セット数の学習データについて学習が行われると、最終時点の機械学習モデルＬＭ１が学習済みモデルＴＭ１となる。学習済みモデルＴＭ１は、圧縮用モデルＣＭと、展開用モデルＥＭ１とに分割される。

0074

次に、パラメータ最適化機能５１３Ａは、入力側の学習データとして第１段階の機械学習と同じものを用いると共に、第１段階の機械学習よりも画質の低い学習データを用いた第２段階の機械学習を行う。このとき、パラメータ最適化機能５１３Ａは、学習済みモデルＴＭ１のうち圧縮用モデルＣＭの部分を引き継いだ機械学習モデルＬＭ２を使用し、圧縮用モデルＥＭの部分を固定して（誤差を伝播させず）、機械学習を行う。機械学習モデルＬＭ２のうち圧縮用モデルＣＭの部分の入力層のノード数は、第１段階における機械学習モデルＬＭ１の入力層のノード数と同じである。機械学習モデルＬＭ２のうち展開用モデルＬＭ２の部分の出力層のノード数（第３ノード数の一例）は、第１段階における機械学習モデルＬＭ１の出力層のノード数と同じであってもよいし、異なってもよい（より少なくてもよい）。所定セット数の学習データについて学習が行われると、最終時点の機械学習モデルＬＭ２が学習済みモデルＴＭ２となる。圧縮用モデルＣＭは第１段階と変わらないため、学習済みモデルＴＭ２から展開用モデルＥＭ２が切り出される。

0075

情報処理装置５００Ａが生成した圧縮用モデルＣＭは、Ｘ線ＣＴ装置１のメモリ４１に圧縮用モデル４１Ａとして格納される。情報処理装置５００Ａが生成した展開用モデルＥＭ１およびＥＭ２は、端末装置８０のメモリ８１に二種類の展開用モデル８１Ａとして格納される。二種類の展開用モデル８１Ａは、高画質な画像を展開するモデルと、低画質な画像を展開するモデルである。端末装置８０の利用者は、用途に応じてモデルを使い分けることで、所望の画質の医用画像をディスプレイ８２に表示させることができる。

0076

以上説明した第２実施形態によれば、第１実施形態と同様に、展開後の画質を所望のレベルに維持しつつ、リソースの消費を低減することができる。また、第２実施形態によれば、展開後の画質の異なる二種類以上の展開用モデルを用意することで、所望の画質の医用画像を表示させることができる。

0077

＜第３実施形態＞
以下、第３実施形態について説明する。第３実施形態において、出力側の学習データは、入力側の学習データの一部に対して処理を行うことで得られる。より具体的に、入力側の学習データが、第１部位と第２部位を含む複数の部位を含む場合に、出力側の学習データは、入力側の学習データに対して、第１部位と第２部位とで画質を異ならせる処理を施すことで得られる。画質を異ならせる処理を施すとは、一方にフィルタ処理やＦＦＴ処理などの処理を行うと共に他方には行わないことを意味してもよいし、双方にフィルタ処理やＦＦＴ処理などの処理を行うが、処理の度合いや種類を異ならせることを意味してもよい。

0078

以下、構成について図示しないが、第３実施形態に係る情報処理装置を情報処理装置５００Ｂと称し、第３実施形態に係る出力画像画質調整部を出力画像画質調整部５１２Ｂと称する。出力画像画質調整部５１２Ｂは、入力側の学習データに対して、部位ごとに処理を行ったり、行わなかったりする。図１１は、出力画像画質調整部５１２Ｂの処理について説明するための図である。本図は、学習データが、胸部検査に係るアキシャル断面である例を示している。この学習データにおける領域Ａ１には、肺野が映されている。肺野はコントラストが高く、且つ微細構造であるため、出力画像画質調整部５１２Ｂは領域Ａ１について画質を高く維持する。領域Ａ２には、冠動脈が映されている。冠動脈は詳細な形状を視認することが好ましいため、出力画像画質調整部５１２Ｂは領域Ａ２について画質を高く維持する。領域Ａ３には、心筋が映されている。心筋は比較的均一な構造を有しているため、出力画像画質調整部５１２Ｂは領域Ａ３について画質を低くする。

0079

係る処理を行う上で、学習データにおける各画素、或いは画素群には、部位を示すラベルが付与されていると好適である。ラベルは、任意の装置において、画像から解剖学的な特徴点を抽出することで部位を自動的に特定する技術を利用して付与される。こうすれば、出力画像画質調整部５１２Ｂは、利用者による部位の指定を受けることなく、自動的に処理を進行させることができる。これに限らず、情報処理装置５００Ｂが、入力インターフェース５０３に対する部位の指定を受け付けるようにしてもよい。

0080

なお、例えば、冠動脈に対応する領域を設定する際に、辺縁や石灰化も含めて画質を高くすることが望ましいため、冠動脈などの特定の部位に関しては、ラベルが示す領域、或いは利用者が指定した領域から領域拡張を行うと好適である。

0081

このように出力側の学習データを設定することで、画質が低くなるように学習された部位に関しては、中間データにおいても、展開後の画像においても画質が低くなることが想定される。この結果、詳細な観察が不要な部位に関しては、圧縮度合いを高くすることができるため、リソースの消費を効果的に低減することができる。また、詳細な観察が必要な部位に関しては、圧縮度合いを低くすることができるため、展開後の画質を所望のレベルに維持することができる。

0082

以上説明した第３実施形態によれば、展開後の画質を所望のレベルに維持しつつ、リソースの消費を更に効果的に低減することができる。

0083

上記各実施形態において、運用時（Ｘ線ＣＴ装置が医用画像データを圧縮したり、端末装置が医用画像データを展開したりするとき）における学習済みモデルの更新について言及していないが、学習時だけでなく、これらの装置の運用時にも、例えば再構成された画像と展開された画像の差分が小さければ、圧縮用モデルまたは展開用モデルのビット数を減らすなどの調整を行うことが可能である。

0084

以上説明した少なくともひとつの実施形態によれば、第１ノード数の入力層、第２ノード数の出力層、及び入力層と出力層の間の層であり、第１ノード数及び第２ノード数より少ないノード数の中間層を含み、入力層に第１医用画像データを入力することで出力層から第２医用画像データを出力するように学習された学習済みモデルを、中間層を境に分割した二つの学習済みモデルのうち、入力層及び中間層を含む圧縮用モデルに対して、第３医用画像データを入力することで、第３医用画像データよりデータ量が小さい中間データを出力する第１処理部（例えば処理回路５０）と、二つの学習済みモデルのうち、出力層を含む展開用モデルに対して、ネットワークを介して第１処理部から取得した中間データを入力することで、中間データよりデータ量が大きい第４医用画像データを出力する第２処理部（例えば処理回路９０）と、を持つことにより、展開後の画質を所望のレベルに維持しつつ、リソースの消費を低減することができる。

0085

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

0086

１Ｘ線ＣＴ装置
１０架台装置
３０寝台装置
４０コンソール装置
４１メモリ
４１Ａ圧縮用モデル
５０処理回路
５７画像圧縮機能
８０端末装置
８１ メモリ
８１Ａ展開用モデル
９０ 処理回路
１００医用情報処理システム
２００診断装置
３００画像再生装置
５００情報処理装置
５１０ 処理回路