図面 (/)

技術 医用画像処理装置及び方法、機械学習システム、プログラム並びに記憶媒体

出願人 富士フイルム株式会社
発明者 川原岬三浦悟朗内藤慧加門駿平大酒正明
出願日 2019年6月10日 (2年4ヶ月経過) 出願番号 2020-527357
公開日 2021年7月8日 (3ヶ月経過) 公開番号 WO2020-003990
状態 未査定
技術分野 放射線診断機器 イメージ分析
主要キーワード 被評価対象 問題部位 通信判定処理 学習用データセット パラメータ差分 学習エンジン データ収容 発明態様
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2021年7月8日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (9)

課題・解決手段

通信量を抑制でき、機械学習装置にて行う再学習又は追加学習の処理の負担を軽減することができる医用画像処理装置及び方法、機械学習システム並びにプログラムを提供する。医用画像処理装置(13)は、入力された医用画像を基に、第1のコンピュータ支援診断装置の追加学習を行う学習器(26)と、追加学習によって得られる第2のコンピュータ支援診断装置と第1のコンピュータ支援診断装置とを比較して、追加学習の学習差分情報が第1のコンピュータ支援診断装置の性能向上に寄与するか否かを評価する評価部と、評価結果を基に、学習差分情報の通信の要否を判定する通信判定部と、通信判定部の判定結果に従い、学習差分情報を出力する通信部(34)と、を備える。

概要

背景

医療現場において、内視鏡診断超音波診断X線画像診断、或いはCT(Computerized Tomography)画像診断など医用画像診断の重要性は高い。例えば、特許文献1−3に記載されているように、コンピュータを用いて医用画像を解析して診断を支援するCADシステムには、機械学習を利用した画像認識手法が用いられる。

特許文献1には、医用画像の撮影部位判別するクラス分類を行う識別器を備えた医用画像システムが記載されており、識別器は、機械学習の手法を用いて構成される。特許文献1に記載の医用画像システムは、既存の識別器と、1つ以上の新規の識別器の性能を比較して、判別精度が最大の識別器に切り替える構成を備えている。「識別器」は、認識器同義である。

特許文献2には、医用画像中問題部位を自動的に検出し、検出された問題部位をマークと共に表示するCADシステムが記載されている。特許文献2に記載のCADシステムは、学習エンジンを含み、問題部位を検出するプロセスに用いる分類モデル等の知識ベースを改善する機械学習を行う。

特許文献3には、医用画像を含む症例データを用いて診断知識更新する機能、及び、診断知識を用いて症例データを識別する機能を有する診断支援装置が記載されている。特許文献3における「診断支援装置」は、CAD装置に対応する用語と理解される。

概要

通信量を抑制でき、機械学習装置にて行う再学習又は追加学習の処理の負担を軽減することができる医用画像処理装置及び方法、機械学習システム並びにプログラムを提供する。医用画像処理装置(13)は、入力された医用画像を基に、第1のコンピュータ支援診断装置の追加学習を行う学習器(26)と、追加学習によって得られる第2のコンピュータ支援診断装置と第1のコンピュータ支援診断装置とを比較して、追加学習の学習差分情報が第1のコンピュータ支援診断装置の性能向上に寄与するか否かを評価する評価部と、評価結果を基に、学習差分情報の通信の要否を判定する通信判定部と、通信判定部の判定結果に従い、学習差分情報を出力する通信部(34)と、を備える。

目的

本発明はこのような事情に鑑みてなされたもので、通信量を抑制でき、機械学習装置にて行う再学習又は追加学習の処理の負担を軽減することができる医用画像処理装置及び方法、機械学習システム並びにプログラムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

入力された医用画像を基に、第1のコンピュータ支援診断装置追加学習を行う学習器と、前記学習器を用いた前記追加学習によって得られる第2のコンピュータ支援診断装置と前記第1のコンピュータ支援診断装置とを比較して、前記追加学習の学習差分情報が前記第1のコンピュータ支援診断装置の性能向上に寄与するか否かを評価する評価部と、前記評価部の評価結果を基に、前記学習差分情報の通信の要否を判定する通信判定部と、前記通信判定部の判定結果に従い、前記学習差分情報を出力する通信部と、を備える医用画像処理装置

請求項2

前記医用画像の特徴量情報を出力する特徴量抽出部と、前記特徴量情報に基づいて認識処理を行う認識処理部と、をさらに備え、前記学習器は、前記特徴量情報と、前記認識処理部の認識結果とに基づいて前記追加学習を行う請求項1に記載の医用画像処理装置。

請求項3

前記第1のコンピュータ支援診断装置のパラメータ情報を記憶しておく第1の情報記憶部をさらに備える請求項1又は2に記載の医用画像処理装置。

請求項4

前記学習差分情報が、前記第1のコンピュータ支援診断装置のパラメータ情報と、前記第2のコンピュータ支援診断装置のパラメータ情報との差分を示すパラメータ差分情報を含む請求項1から3のいずれか一項に記載の医用画像処理装置。

請求項5

前記学習差分情報が、前記第2のコンピュータ支援診断装置のパラメータ情報を含む請求項1から3のいずれか一項に記載の医用画像処理装置。

請求項6

前記学習差分情報が、前記特徴量情報を含む請求項2に記載の医用画像処理装置。

請求項7

前記学習差分情報が、前記追加学習に供された前記医用画像を含む請求項1から6のいずれか一項に記載の医用画像処理装置。

請求項8

前記第1のコンピュータ支援診断装置は、予め第1の学習用データセットを用いて機械学習を行うことによって作成された第1の認識器であり、前記第2のコンピュータ支援診断装置は、前記第1の認識器のパラメータが変更された第2の認識器である請求項1から7のいずれか一項に記載の医用画像処理装置。

請求項9

請求項1から8のいずれか一項に記載の医用画像処理装置と、前記通信部から出力された前記学習差分情報を受信して、前記学習差分情報を含む学習用のデータを収集する情報処理装置と、を備える機械学習システム

請求項10

前記情報処理装置は、前記受信した前記学習差分情報を用いて前記第1のコンピュータ支援診断装置の学習処理を行う学習処理部を含む請求項9に記載の機械学習システム。

請求項11

前記情報処理装置は、前記受信した前記学習差分情報を記憶しておく第2の情報記憶部をさらに備える請求項9又は10に記載の機械学習システム。

請求項12

医用画像処理装置が実施する医用画像処理方法であって、医用画像を取得するステップと、前記取得された前記医用画像を基に、学習器を用いて第1のコンピュータ支援診断装置の追加学習を行うステップと、前記学習器を用いた前記追加学習によって得られる第2のコンピュータ支援診断装置と前記第1のコンピュータ支援診断装置とを比較して、前記追加学習の学習差分情報が前記第1のコンピュータ支援診断装置の性能向上に寄与するか否かを評価するステップと、前記評価によって得られる評価結果を基に、前記学習差分情報の通信の要否を判定するステップと、前記判定によって得られる判定結果に従い、前記学習差分情報を通信部から出力するステップと、を含む医用画像処理方法。

請求項13

コンピュータに、入力された医用画像を基に、第1のコンピュータ支援診断装置の追加学習を行う学習器の機能と、前記学習器を用いた前記追加学習によって得られる第2のコンピュータ支援診断装置と前記第1のコンピュータ支援診断装置とを比較して、前記追加学習の学習差分情報が前記第1のコンピュータ支援診断装置の性能向上に寄与するか否かを評価する機能と、前記評価によって得られる評価結果を基に、前記学習差分情報の通信の要否を判定する機能と、前記判定によって得られる判定結果に従い、前記学習差分情報を通信部から出力する機能と、を実現させるためのプログラム

請求項14

非一時的かつコンピュータ読取可能な記憶媒体であって、前記記憶媒体に格納された指令がコンピュータによって読み取られた場合に、入力された医用画像を基に、第1のコンピュータ支援診断装置の追加学習を行う学習器の機能と、前記学習器を用いた前記追加学習によって得られる第2のコンピュータ支援診断装置と前記第1のコンピュータ支援診断装置とを比較して、前記追加学習の学習差分情報が前記第1のコンピュータ支援診断装置の性能向上に寄与するか否かを評価する機能と、前記評価によって得られる評価結果を基に、前記学習差分情報の通信の要否を判定する機能と、前記判定によって得られる判定結果に従い、前記学習差分情報を通信部から出力する機能と、をコンピュータに実行させる記憶媒体。

技術分野

0001

本発明は、医用画像処理装置及び方法、機械学習システム並びにプログラム係り、特に、コンピュータ支援診断CAD:Computer-Aided Diagnosis)に適用される機械学習技術に関する。

背景技術

0002

医療現場において、内視鏡診断超音波診断X線画像診断、或いはCT(Computerized Tomography)画像診断など医用画像診断の重要性は高い。例えば、特許文献1−3に記載されているように、コンピュータを用いて医用画像を解析して診断を支援するCADシステムには、機械学習を利用した画像認識手法が用いられる。

0003

特許文献1には、医用画像の撮影部位判別するクラス分類を行う識別器を備えた医用画像システムが記載されており、識別器は、機械学習の手法を用いて構成される。特許文献1に記載の医用画像システムは、既存の識別器と、1つ以上の新規の識別器の性能を比較して、判別精度が最大の識別器に切り替える構成を備えている。「識別器」は、認識器同義である。

0004

特許文献2には、医用画像中問題部位を自動的に検出し、検出された問題部位をマークと共に表示するCADシステムが記載されている。特許文献2に記載のCADシステムは、学習エンジンを含み、問題部位を検出するプロセスに用いる分類モデル等の知識ベースを改善する機械学習を行う。

0005

特許文献3には、医用画像を含む症例データを用いて診断知識更新する機能、及び、診断知識を用いて症例データを識別する機能を有する診断支援装置が記載されている。特許文献3における「診断支援装置」は、CAD装置に対応する用語と理解される。

先行技術

0006

国際公開第2010/05034号
特表2007−528746号公報
特開2015−116319号公報

発明が解決しようとする課題

0007

深層学習をはじめとする画像の機械学習装置では、機械学習装置によって認識処理部を作成するために学習用データ収集する必要がある。しかし、学習には良質な学習用データを多量に必要とする。このため、医用画像の場合、例えば、病院内で新たに作成された医用画像を学習に用いるためのデータとして記憶しておく画像記憶部を持つエッジデバイスを病院内に各1つ又は複数設置し、複数の病院の各エッジデバイスから分散して学習用データを収集するシステム構築される。すなわち、複数のエッジデバイスの各々において新たに取得された医用画像を基に学習用データを作成し、各エッジデバイスで作成された学習用データを病院外の施設などに送って集約する。

0008

そして、病院外システムでは、このようにして集められた多数の学習用データの精度を評価して、教師画像作成部にて教師データを作成し、機械学習装置を用いてCADモジュールを作成する。CADモジュールは、CADシステムの認識処理部に用いられるプログラムモジュールであってよい。CADモジュールは、「CAD装置」、「認識モデル」、又は「認識器」などの用語で置き換えてもよい。

0009

上記に説明したような仕組みの場合、個々の画像記憶部を持つエッジデバイスから収集した学習用の画像を一括再学習又は追加学習する学習処理を機械学習装置において実施するためには、膨大な処理能力と時間が必要である。また、各エッジデバイスから病院外のシステムに通信回線を介して伝送する学習用データの通信量も膨大なものになる。

0010

本発明はこのような事情に鑑みてなされたもので、通信量を抑制でき、機械学習装置にて行う再学習又は追加学習の処理の負担を軽減することができる医用画像処理装置及び方法、機械学習システム並びにプログラムを提供することを目的とする。

課題を解決するための手段

0011

課題を解決するために、次の発明態様を提供する。

0012

態様1に係る医用画像処理装置は、入力された医用画像を基に、第1のコンピュータ支援診断装置の追加学習を行う学習器と、学習器を用いた追加学習によって得られる第2のコンピュータ支援診断装置と第1のコンピュータ支援診断装置とを比較して、追加学習の学習差分情報が第1のコンピュータ支援診断装置の性能向上に寄与するか否かを評価する評価部と、評価部の評価結果を基に、学習差分情報の通信の要否を判定する通信判定部と、通信判定部の判定結果に従い、学習差分情報を出力する通信部と、を備える。

0013

態様1によれば、医用画像処理装置に学習器が搭載され、入力された医用画像を用いて医用画像処理装置の内部で、第1のコンピュータ支援診断装置の追加学習を行い、追加学習の効果を評価することで、第1のコンピュータ支援診断装置の性能向上に寄与し得る良質な学習用のデータとしての学習差分情報を選択的に通信することができる。態様1によれば、性能向上に寄与しないデータ又は寄与の程度が極めて小さいデータについて通信による出力を回避することができる。これにより、無駄な信号処理を削減でき、通信量を削減できる。

0014

また、態様1に係る医用画像処理装置から出力された学習差分情報を受信してデータを収集する外部の情報処理装置における学習用データ作成処理の負担が軽減され、外部の装置にて行う再学習又は追加学習の処理を軽量化できる。

0015

「追加学習」は、既に実施された学習によって獲得されているコンピュータ支援診断の性能を更新するために、追加的に行われる学習を意味している。「追加学習」は、バッチ学習によって実施されてもよいし、オンライン学習によって実施されてもよい。オンライン学習は逐次学習と同義である。

0016

医用画像処理装置は、単一の装置として構成されてもよいし、複数の装置を組み合わせて構成されてもよい。例えば、医用画像処理装置は、1台又は複数台のコンピュータを用いて実現し得る。「装置」は、「システム」及び「モジュール」の概念を含む。「データ」は「情報」及び「信号」の概念を含む。

0017

「医用画像」には、内視鏡画像CT画像、X線画像、超音波診断画像MRI(Magnetic Resonance Imaging)画像、PET(Positron Emission Tomography)画像、SPECT(Single Photon Emission Computed Tomography)画像、又は、眼底画像など、様々な種類の画像があり得る。

0018

態様2は、態様1の医用画像処理装置において、医用画像の特徴量情報を出力する特徴量抽出部と、特徴量情報に基づいて認識処理を行う認識処理部と、をさらに備え、学習器は、特徴量情報と、認識処理部の認識結果とに基づいて追加学習を行う構成であってよい。

0019

「認識」という用語は、識別、判別、推論推定、検出、及び領域抽出などの概念を含む。「認識処理部」は、認識器、識別器、判別器検出器、及び認識モデルなどの概念を含む。「認識モデル」は、機械学習によって一応の認識性能を獲得した学習済みモデルである。認識モデルは、認識処理を行うプログラムモジュールと理解してもよい。

0020

態様3は、態様1又は態様2の医用画像処理装置において、第1のコンピュータ支援診断装置のパラメータ情報を記憶しておく第1の情報記憶部をさらに備える構成であってよい。

0021

態様4は、態様1から態様3のいずれか一態様の医用画像処理装置において、学習差分情報が、第1のコンピュータ支援診断装置のパラメータ情報と、第2のコンピュータ支援診断装置のパラメータ情報との差分を示すパラメータ差分情報を含む構成であってよい。

0022

態様4によれば、通信量をより一層削減することができる。

0023

態様5は、態様1から態様3のいずれか一態様の医用画像処理装置において、学習差分情報が、第2のコンピュータ支援診断装置のパラメータ情報を含む構成であってよい。

0024

態様6は、態様2の医用画像処理装置において、学習差分情報が、特徴量情報を含む構成であってよい。

0025

医用画像から抽出された特徴量情報を学習用データとして用いることにより、医用画像そのものを通信する場合と比較して、通信量を抑制することができる。

0026

態様7は、態様1から態様6のいずれか一態様の医用画像処理装置において、学習差分情報が、追加学習に供された医用画像を含む構成であってよい。

0027

態様8は、態様1から態様7のいずれか一態様の医用画像処理装置において、第1のコンピュータ支援診断装置は、予め第1の学習用データセットを用いて機械学習を行うことによって作成された第1の認識器であり、第2のコンピュータ支援診断装置は、第1の認識器のパラメータが変更された第2の認識器である構成であってよい。

0028

態様9に係る機械学習システムは、態様1から態様8のいずれか一態様の医用画像処理装置と、通信部から出力された学習差分情報を受信して、学習差分情報を含む学習用のデータを収集する情報処理装置と、を備える。

0029

医用画像処理装置と情報処理装置とは、通信可能に接続され得る。ここでいう「接続」は、通信回線を介した接続の概念を含む。「接続」には、有線接続無線接続の両方の概念が含まれる。

0030

機械学習システムは、複数の医用画像処理装置と、少なくとも1つの情報処理装置と、を含んで構成されてよい。かかる態様によれば、複数の医用画像処理装置から効率よく良質な学習用のデータを収集することが可能である。

0031

態様10は、態様9の機械学習システムにおいて、情報処理装置は、受信した学習差分情報を用いて第1のコンピュータ支援診断装置の学習処理を行う学習処理部を含む構成であってよい。

0032

態様10における情報処理装置は、機械学習装置として機能する。態様10によれば、機械学習装置における再学習又は追加学習の処理の負担が軽減される。

0033

態様11は、態様9又は態様10の機械学習システムにおいて、情報処理装置は、受信した学習差分情報を記憶しておく第2の情報記憶部をさらに備える。

0034

態様11における情報処理装置は、機械学習装置として機能する。態様11によれば、機械学習装置における再学習又は追加学習の処理の負担が軽減される。

0035

態様12に係る医用画像処理方法は、医用画像処理装置が実施する医用画像処理方法であって、医用画像を取得するステップと、取得された医用画像を基に、学習器を用いて第1のコンピュータ支援診断装置の追加学習を行うステップと、学習器を用いた追加学習によって得られる第2のコンピュータ支援診断装置と第1のコンピュータ支援診断装置とを比較して、追加学習の学習差分情報が第1のコンピュータ支援診断装置の性能向上に寄与するか否かを評価するステップと、評価によって得られる評価結果を基に、学習差分情報の通信の要否を判定するステップと、判定によって得られる判定結果に従い、学習差分情報を通信部から出力するステップと、を含む。

0036

態様12の医用画像処理方法において、態様2から態様10にて特定した事項と同様の事項を適宜組み合わせることができる。その場合、装置の構成において特定される処理や動作を担う手段としての処理部や機能部の要素は、これに対応する処理や動作のステップ(工程)の要素として把握することができる。また、態様12医用画像処理方法は、医用画像処理装置の作動方法と理解してもよい。

0037

態様13に係るプログラムは、コンピュータに、入力された医用画像を基に、第1のコンピュータ支援診断装置の追加学習を行う学習器の機能と、学習器を用いた追加学習によって得られる第2のコンピュータ支援診断装置と第1のコンピュータ支援診断装置とを比較して、追加学習の学習差分情報が第1のコンピュータ支援診断装置の性能向上に寄与するか否かを評価する機能と、評価によって得られる評価結果を基に、学習差分情報の通信の要否を判定する機能と、判定によって得られる判定結果に従い、学習差分情報を通信部から出力する機能と、を実現させるためのプログラムである。

0038

態様13のプログラムにおいて、態様2から態様10にて特定した事項と同様の事項を適宜組み合わせることができる。その場合、装置の構成において特定される処理や動作を担う手段としての処理部や機能部の要素は、これに対応する処理や動作のステップ或いは機能を実現するプログラム要素として把握することができる。

0039

本開示の他の態様に係る医用画像処理装置は、少なくとも1つのプロセッサを含み、プロセッサは、入力された医用画像を基に、第1のコンピュータ支援診断装置の追加学習を行う学習器の処理と、学習器を用いた追加学習によって得られる第2のコンピュータ支援診断装置と第1のコンピュータ支援診断装置とを比較して、追加学習の学習差分情報が第1のコンピュータ支援診断装置の性能向上に寄与するか否かを評価する評価処理と、評価処理の評価結果を基に、学習差分情報の通信の要否を判定する通信判定処理と、通信判定処理の判定結果に従い、学習差分情報を出力する通信処理と、を行う医用画像処理装置である。

発明の効果

0040

本発明によれば、通信量を削減することができ、良質な学習用のデータを効率よく収集することができる。また、本発明によれば、医用画像処理装置から収集した学習用のデータを用いて機械学習装置において実施する再学習又は追加学習の処理の負担を軽減することが可能になる。

図面の簡単な説明

0041

図1は、第1実施形態に係る医用画像処理装置を含む機械学習システムの機能を概略的に示すブロック図である。
図2は、医用画像処理装置の動作例を示すフローチャートである。
図3は、病院外システムの情報処理装置の動作例を示すフローチャートである。
図4は、第2実施形態に係る医用画像処理装置を含む機械学習システムの機能を概略的に示すブロック図である。
図5は、第3実施形態に係る医用画像処理装置を含む機械学習システムの機能を概略的に示すブロック図である。
図6は、機械学習システムの他の形態例を示すブロック図である。
図7は、複数の病院内システムと1つの病院外システムとを組み合わせて構成される機械学習システムの概要を示すブロック図である。
図8は、コンピュータのハードウェア構成の例を示すブロック図である。

実施例

0042

以下、添付図面に従って本発明の好ましい実施形態について詳説する。

0043

《第1実施形態》図1は、第1実施形態に係る医用画像処理装置を含む機械学習システムの全体構成を概略的に示すブロック図である。機械学習システム10は、既存のCADモジュールの性能向上に寄与する新しい学習用データの収集と、収集した学習用データを用いて既存のCADモジュールに対する再学習又は追加学習の学習処理を行い、既存のCADモジュールよりも性能を改善した新規のCADモジュールを作成する処理と、を実施する情報処理システムである。

0044

「CADモジュールの性能」とは、CADモジュールの認識精度、或いは診断精度を意味する。CADモジュールの性能を「CAD性能」と表記する場合がある。既存のCADモジュールは「第1のコンピュータ支援診断装置」及び「第1の認識器」の一例である。

0045

既存のCADモジュールは、既に実施された機械学習によって認識性能を獲得した学習済みモデルである。認識処理を行う学習済みモデルを「認識モデル」という。既存のCADモジュールとしての初期の認識性能を獲得するために行われた学習を「第1の学習」という。既存のCADモジュールの第1の学習に用いた学習用データセットを「第1の学習用データセット」という。第1の学習用データセットは、予め用意された学習用データセットであってよい。

0046

機械学習システム10は、病院内システム12と、病院外システム14とを含む。病院内システム12は、病院内に設置されるエッジデバイスである医用画像処理装置13を含む。なお、「病院」は、病院、診療所、健診センタ、及びこれらに類するその他の医療機関の概念を含む。病院外システム14は、病院外の施設に設置される情報処理装置15を含む。医用画像処理装置13と情報処理装置15は、通信回線を介して接続される。なお、図1において通信回線の図示は省略されている。

0047

医用画像処理装置13は、1台又は複数台のコンピュータを用いて構成することができる。医用画像処理装置13の機能を概説すると、医用画像処理装置13は、図示せぬ医用画像撮影装置を用いて撮影された医用画像のデータを取得し、取得した医用画像から抽出される特徴量情報を用いて追加学習を実施する。また、医用画像処理装置13は、追加学習の結果を評価して、その評価結果を基に、CADモジュールの性能向上に真に寄与する学習用情報を選択的に病院外システム14に通信する。

0048

医用画像撮影装置は、例えば、内視鏡スコープX線撮影装置CT撮影装置、MRI(magnetic resonance imaging)撮影装置核医学診断装置、若しくは、眼底カメラのうちの1つ又は組み合わせであってよい。本実施形態においては、医用画像の一例として、内視鏡スコープを用いて撮影された内視鏡画像を例に説明する。この場合の医用画像処理装置13は、内視鏡スコープと接続されるプロセッサ装置であってもよいし、プロセッサ装置から医用画像のデータを収集する画像取込端末、若しくは、画像情報管理装置などであってもよい。

0049

医用画像処理装置13は、被評価対象CAD情報保持部20、特徴量抽出部22、認識処理部24、学習器26、CAD評価部28、学習差分情報作成部30、処理部32及び通信部34を含む。

0050

被評価対象CAD情報保持部20は、被評価対象CAD情報を保持しておく記憶装置である。被評価対象CAD情報とは、学習器26を用いて追加学習を行ったCADモジュールとの比較評価の対象となるCADモジュールの情報である。被評価対象CAD情報は、既存のCADモジュールのパラメータ情報を含む。CADモジュールにおける処理アルゴリズムのパラメータは、パラメータ情報の一例である。CADモジュールの内容を特定するパラメータ情報をCADパラメータという。CADパラメータは、例えば、ニューラルネットワークモデルにおけるノード間の結合の重み、及びノードのバイアスなどを含む。

0051

被評価対象CAD情報保持部20は、例えば、ハードディスク装置光ディスク光磁気ディスク、若しくは半導体メモリ、又はこれらの適宜の組み合わせを用いて構成される記憶装置を用いて構成される。被評価対象CAD情報保持部20は、「第1の情報記憶部」の一例である。

0052

特徴量抽出部22は、入力された医用画像を処理して特徴量を抽出する処理を行う。特徴量抽出部22は、例えば、機械学習によって学習済みの畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)の低次層の部分であってよい。CNNの低次層は、画像の特徴量を抽出するため、特徴量抽出部22として利用できる。特徴量抽出部22は、医用画像から抽出された特徴量情報を出力する。特徴量情報は、例えば、複数チャネル特徴マップであってよい。特徴量抽出部22によって抽出された特徴量情報は、認識処理部24と学習器26の各々に送られる。

0053

認識処理部24には、既存のCADモジュールと同じCADモジュールが適用される。認識処理部24は、例えば、クラス分類のタスクを行うCNNの高次層の部分であってよい。或いはまた、認識処理部24は、セグメンテーションのタスクを行う階層型ネットワークの高次層の部分であってもよい。なお、認識処理部24は、ニューラルネットワークのモデルに限らず、サポートベクタマシンSVM:Support Vector Machine)など、学習によって性能向上が可能な他のモデルであってもよい。

0054

認識処理部24は、特徴量抽出部22によって抽出された特徴量情報を基に、クラス分類のタスク、若しくは、セグメンテーションのタスクなどの認識処理を行い、認識結果を出力する。認識処理部24の認識結果は、学習器26に入力される。

0055

学習器26は、その内部に学習モデルを含んでおり、特徴量抽出部22から得られる特徴量情報と、認識処理部24から得られた認識結果とを学習用データとして用いて、学習モデルの追加学習を行う。学習モデルは、認識処理部24と同じものであってよく、認識処理部24と兼用してもよい。学習モデルは、初期の状態において、既存のCADモジュールと同じモデルであってよい。学習器26の学習モデルは、追加学習が行われることによってパラメータが更新される。

0056

すなわち、学習器26を用いて追加学習が実施され、学習モデルは、新しいCADパラメータに更新される。なお、学習器26は、バッチ学習を実施してもよいし、オンライン学習を実施してもよい。学習器26によって作成された新しいCADパラメータを「新CADパラメータ」という。学習器26にて作成された新CADパラメータはCAD評価部28に送られる。新CADパラメータによって特定されるCADモジュールは「第2のコンピュータ支援診断装置」及び「第2の認識器」の一例である。

0057

CAD評価部28は、学習器26によって学習された新CADパラメータで特定される学習後のCADモジュールの性能と、被評価対象CAD情報保持部20に保持されているCADパラメータで特定される既存のCADモジュールの性能とを比較して、学習器26における追加学習に用いた情報がCAD性能の向上に寄与するかどうかを評価する。CAD評価部28におけるモデル性能を評価する指標は、「感度」、「特異度」、若しくは「正確度」などに代表される公知の指標の1つ又は複数の組み合わせを用いることができる。CAD評価部28の評価結果は、学習差分情報作成部30に送られる。CAD評価部28は「評価部」の一例である。

0058

学習差分情報作成部30は、CAD評価部28から出力される評価結果に応じて、学習差分情報を病院外システム14に送信するか否か、つまり通信の要否を判定し、送信を行うと判定した場合には、通信用の学習差分情報を作成する。学習差分情報作成部30は、通信の要否を判定する「通信判定部」の一例である。なお、CAD評価部28が通信判定の機能を含んでもよい。

0059

ここで、「学習差分情報」とは、学習前のCADモジュールと学習後のCADモジュールの「差異」を再現することができる情報を意味する。つまり、学習差分情報は、学習前の既存のCADモジュールと学習後の新しいCADモジュールの「差異」を生むもとになる情報である。

0060

「学習差分情報」という用語の概念には、下記に例示する形態1〜4が含まれる。

0061

[形態1]学習差分情報は、学習前の既存のCADパラメータと学習後の新CADパラメータの差分、つまり変化分を表すパラメータ差分情報であってもよい。既存のCADパラメータが既知である条件の下では、パラメータ差分情報があれば、学習後の新しいCADモジュールを再現することができる。

0062

[形態2]学習差分情報は、学習後の新CADパラメータそのものであってよい。新CADパラメータがあれば、学習後の新しいCADモジュールを再現することができる。

0063

[形態3]学習差分情報は、学習器26での追加学習において入力として用いた特徴量情報であってよい。追加学習に用いた学習用データとしての特徴量情報を用いて、学習器26と同様の学習処理を実施することにより、学習器26での学習結果と同様の学習後の新しいCADモジュールを再現することができる。

0064

[形態4]学習差分情報は、学習器26での追加学習において入力として用いた特徴量情報を抽出した元の医用画像のセットであってよい。医用画像に対して特徴量抽出部22と同じ処理を行うことにより医用画像から特徴量情報を作成できるため、上記[形態3]と同様の特徴量情報のセットを再現でき、さらに、学習器26と同じ学習後の新しいCADモジュールを再現することができる。

0065

上記に例示した[形態1]〜[形態4]のうち、通信量が最も少ない形態は、[形態1]である。通信量が少ないものから[形態1]→[形態2]→[形態3]→[形態4]の順に、通信量が増大する傾向にある。第1実施形態では、[形態1]の学習差分情報が用いられる。

0066

すなわち、図1に示す学習差分情報作成部30は、被評価対象CAD情報保持部20から読み出された既存のCADパラメータと、学習器26から得られた新CADパラメータとの差分を表す学習差分情報としてのパラメータ差分情報を作成する。学習差分情報作成部30にて作成された学習差分情報は、処理部32に送られる。学習差分情報作成部30と処理部32との組み合わせは学習用データ作成部としての役割を果たす。

0067

処理部32は、通信部34の通信形式適合した信号変換を行う通信信号処理部である。処理部32は、被評価対象CAD情報保持部20から被評価対象CAD情報を取得することができる。学習差分情報及び被評価対象CAD情報は、処理部32において所要の信号変換が施されて通信部34から送信される。通信部34は、通信インターフェースであり、図示せぬ通信回線に接続される。

0068

病院外システム14の情報処理装置15は、通信部42と、学習処理部46と、を含む。通信部42は、通信部34と同様の通信インターフェースであり、図示せぬ通信回線に接続される。

0069

学習処理部46は、医用画像処理装置13から収集した学習差分情報を含む学習用データを用いて機械学習を行う。学習処理部46は、既存のCADモジュールに対して再学習又は追加学習の処理を行い、CAD性能を改善した新しいCADモジュールを作成する。

0070

学習処理部46にて作成された新しいCADモジュールは、既存のCADモジュールに代替するアップデータされたCADモジュールとして、適宜の時期に提供することができる。情報処理装置15は、学習用データを収集する学習用データ収集装置として機能する。また、情報処理装置15は、収集した学習用データを用いて機械学習を行う機械学習装置として機能する。なお、既存のCADモジュールを作成するための第1の学習は、学習処理部46を用いて実施されてもよいし、図示せぬ別の機械学習装置を用いて実施されてもよい。

0071

〈医用画像処理装置13が実施する医用画像処理方法の説明〉図2は、医用画像処理装置13の動作例を示すフローチャートである。図2に示す各ステップは、医用画像処理装置13を構成するコンピュータがプログラムに従って実行する。

0072

ステップS102において、医用画像処理装置13は、医用画像を取得する。

0073

ステップS104において、医用画像処理装置13は、取得した医用画像から特徴量を抽出して特徴量情報を作成する。医用画像処理装置13の特徴量抽出部22が出力する特徴量情報は、追加学習の入力として利用される。

0074

ステップS106において、医用画像処理装置13は、特徴量情報を用いて認識処理を行う。医用画像処理装置13の認識処理部24は、入力された特徴量情報に応じた認識結果を出力する。

0075

ステップS108において、医用画像処理装置13は、特徴量情報と認識結果とを用いて、既存のCADモジュールについての追加学習を行う。医用画像処理装置13の学習器26において追加学習を実施することにより、新CADパラメータが作成される。

0076

ステップS110において、医用画像処理装置13は、追加学習によって得られた新しいCADモジュールと、既存のCADモジュールとを比較して、CAD性能を評価する。医用画像処理装置13のCAD評価部28は、追加学習に用いた情報がCAD性能の向上に寄与するか否かの評価をする。

0077

ステップS112において、医用画像処理装置13は、ステップS110の評価結果を基に、学習差分情報を外部に送信するか否かの通信判定を行う。

0078

ステップS112の判定結果がYes判定である場合、すなわち、外部に送信する判定した場合、ステップS114に進む。

0079

ステップS114において、医用画像処理装置13は、外部に出力するための学習差分情報を作成する。

0080

そして、ステップS114において、医用画像処理装置13は、作成した学習差分情報を送信する。

0081

その一方、ステップS112の判定結果がNo判定である場合、すなわち、外部に送信する必要がないと判定した場合、医用画像処理装置13は、ステップS114及びステップS116の処理を省略して、図2のフローチャートを終了する。

0082

図3は、病院外システム14の情報処理装置15の動作例を示すフローチャートである。図3に示す各ステップは、情報処理装置15を構成するコンピュータがプログラムに従って実行する。

0083

ステップS202において、情報処理装置15は、通信部42を介して学習差分情報を受信する。

0084

ステップS204において、情報処理装置15は、受信した学習差分情報を記憶する。情報処理装置15は、記憶装置を備えており、医用画像処理装置13から受信した学習差分情報は記憶装置に格納される。

0085

ステップS206において、情報処理装置15は、医用画像処理装置13から受信した学習差分情報を学習用データとして利用して学習処理を行う。情報処理装置15の学習処理部46は、学習差分情報を用いて、既存のCADモジュールの再学習又は追加学習を行う。なお、学習処理部46は、学習差分情報に加えて、既存のCADモジュールを作成する際に使用した第1の学習用データセットを利用してもよい。ステップS206の学習処理は、バッチ学習であってもよいし、オンライン学習であってもよい。ステップS206の学習処理を経て、CAD性能が改善された新しいCADモジュールが作成される。

0086

ステップS208において、情報処理装置15は、作成された新しいCADモジュールのCAD情報を出力する。ここでいうCAD情報の「出力」には、例えば、通信部42を介してデータを送信する態様、若しくは、外部記憶装置にCAD情報を記憶させるためにデータを出力する態様などが含まれる。

0087

情報処理装置15にて作成された新たなCADモジュールのCAD情報を医用画像処理装置13に送り、この新たなCADモジュールを「既存のCADモジュール」に置き換えて、「既存のCADモジュール」を更新してもよい。情報処理装置15から出力される新たなCADモジュールのCAD情報は、医用画像処理装置13における「被評価対象CAD情報」になり得る。

0088

また、情報処理装置15にて作成された新たなCADモジュールのCAD情報を、外部記憶装置に記憶させ、外部記憶装置を通じて、配布することも可能である。

0089

ステップS208の後、図3のフローチャートを終了する。

0090

上述した構成の第1実施形態によれば、医用画像処理装置13と情報処理装置15との間の通信量を抑制することができ、情報処理装置15における学習処理の負担を軽減することができる。

0091

《第2実施形態》図4は、第2実施形態に係る医用画像処理装置を含む機械学習システムの全体構成を概略的に示すブロック図である。図4において、図1に示した構成と同一又は類似の要素には同一の符号を付し、重複する説明を省略する。図1との相違点を説明する。

0092

図4に示す機械学習システム60は、図1で説明した医用画像処理装置13に代えて、医用画像処理装置63を含む。第2実施形態に係る医用画像処理装置63は、学習差分情報として[形態3]で説明した特徴量情報を用いる。すなわち、医用画像処理装置63は、学習差分情報として特徴量情報を病院外システム14の情報処理装置15に送信する。

0093

医用画像処理装置63は、図1の学習差分情報作成部30と処理部32に代えて、処理部31を含む。図4に示す処理部31は、CAD評価部28の評価結果に基づき、特徴量情報の通信判定を行う。通信判定の結果、送信すべき特徴量情報であると判定した場合、処理部31は、特徴量抽出部22から出力された特徴量情報を通信部34に送る。処理部31は「通信判定部」の一例である。他の構成及び動作は、第1実施形態と同様である。

0094

《第3実施形態》図5は、第3実施形態に係る医用画像処理装置を含む機械学習システムの全体構成を概略的に示すブロック図である。図5において、図1に示した構成と同一又は類似の要素には同一の符号を付し、重複する説明を省略する。図1との相違点を説明する。

0095

図5に示す機械学習システム70は、図1で説明した医用画像処理装置13に代えて、医用画像処理装置73と、複数のデバイス74A、74B、74Cとを含む。

0096

医用画像処理装置73は、複数のデバイス74A、74B、74Cと接続される。図5では3つのデバイス74A、74B、74Cを示すが、デバイスの個数は限定されない。複数のデバイス74A、74B、74Cの各々は、例えば、内視鏡のプロセッサ装置であってよい。医用画像処理装置73は、例えば、複数のプロセッサ装置からデータを集めるデータ収容システム又はデータ管理システムであってよい。

0097

デバイス74Aは、特徴量抽出部22A及び認識処理部24Aを含む。デバイス74Bは、特徴量抽出部22B及び認識処理部24Bを含む。デバイス74Cは、特徴量抽出部22C及び認識処理部24Cを含む。

0098

特徴量抽出部22A、22B、22Cの各々は、図1で説明した特徴量抽出部22と同様の構成である。認識処理部24A、24B、24Cの各々は、図1で説明した認識処理部24と同様の構成である。

0099

医用画像処理装置73は、被評価対象CAD情報保持部20、学習器26、CAD評価部28、学習差分情報作成部30、処理部32及び通信部34を含む。

0100

学習器26は、各デバイス74A、74B、74Cから特徴量情報及び認識結果を取得して、新たなCADパラメータを作成する。

0101

CAD評価部28は、複数のデバイス74A、74B、74Cの各々から得られる情報を用いてそれぞれ作成された複数の新CADパラメータについて、それぞれ評価を行い、評価が良好であるものを選択的に送信の対象とする。例えば、複数の新CADパラメータのうち、性能が上位であるものを1つだけ、または上位の2つだけを選択的に送信の対象としてよい。他の構成は第1実施形態と同様である。

0102

《変形例1》 第1実施形態から第3実施形態の各実施形態では、病院内システム12のエッジデバイスである医用画像処理装置と、病院外システム14の情報処理装置とが1対1で接続されている例を説明したが、複数の医用画像処理装置(エッジデバイス)が、病院外システム14の情報処理装置と複数対1の関係で接続されてよい。

0103

図6に、機械学習システムの他の形態例を示す。図6は、病院内システム12に複数のエッジデバイスが含まれている例を示すブロック図である。図6において、図1と同一又は類似の要素には同一の符号を付し、重複する説明は省略する。

0104

病院内システム12は、複数のエッジデバイス16を含み、各エッジデバイスは、通信回線18を介して病院外システム14と接続される。図6では、2つのエッジデバイス16を例示し、それぞれ「E1」、「E2」と表記した。各エッジデバイス16の構成は、図1の医用画像処理装置13の構成と同様である。

0105

病院外システム14の情報処理装置15は、情報記憶部44を含む。情報記憶部44は、例えば、ハードディスク装置、光ディスク、光磁気ディスク、若しくは半導体メモリ、又はこれらの適宜の組み合わせを用いて構成される記憶装置を用いて構成される。情報記憶部44は「第2の情報記憶部」の一例である。情報記憶部44は、第1の学習に用いた第1の学習用データセットを保持していてもよい。

0106

通信部42を介して取得した情報は、情報記憶部44に保存される。また、学習処理部46によって作成された新たなCAD情報は、情報記憶部44に保存される。

0107

《変形例2》図7は、複数の病院内システムと1つの病院外システムとを組み合わせて構成される機械学習システムの概要を示すブロック図である。図7において、図1及び図6と同一又は類似の要素には同一の符号を付し、重複する説明は省略する。

0108

図7に示すように、複数の病院内システム12と、1つの病院外システム14とが複数対1の関係で接続されてもよい。また、図6で説明したとおり、病院内システム12の各々は、1つ又は複数のエッジデバイスを含む。図7においては、複数の病院内システム12の各々を「IHS1」、「IHS2」・・・「IHSn」と表記した。

0109

また、それぞれの病院内システム12に含まれるエッジデバイス16を「E11」、「E12」、「E21」、「En1」、「Enm」と表記した。「n」は病院内システム12を特定するインデックス番号であり、「m」は1つの病院内システム12におけるエッジデバイス16を特定するインデックス番号である。

0110

図7に示す構成によれば、多数のエッジデバイス16から良質な学習用データを効率よく、収集することができ、多量の学習用データを得ることができる。

0111

《各処理部及び制御部のハードウェア構成について》 各実施形態で説明した特徴量抽出部22、認識処理部24、学習器26、CAD評価部28、学習差分情報作成部30、処理部31、32、通信部34、42、及び学習処理部46などの各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。

0112

各種のプロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、画像処理特化したプロセッサであるGPU(Graphics Processing Unit)、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific IntegratedCircuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

0113

1つの処理部は、これら各種のプロセッサのうちの1つで構成されていてもよいし、同種又は異種の2つ以上のプロセッサで構成されてもよい。例えば、1つの処理部は、複数のFPGA、或いは、CPUとFPGAの組み合わせ、又はCPUとGPUの組み合わせによって構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第一に、クライアントサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第二に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(IntegratedCircuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。

0114

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)である。

0115

《コンピュータのハードウェア構成の例》図8は、医用画像処理装置及び情報処理装置画像の機能の一部又は全部を実現する装置として用いることができるコンピュータのハードウェア構成の例を示すブロック図である。コンピュータには、デスクトップ型ノート型、又はタブレット型など、各種形態のコンピュータが含まれる。また、コンピュータは、サーバコンピュータであってもよいし、マイクロコンピュータであってもよい。

0116

コンピュータ500は、CPU502と、メモリ504と、GPU506と、記憶装置508と、入力インターフェース部510と、ネットワーク接続用の通信インターフェース部512と、表示制御部514と、周辺機器用インターフェース部516と、バス518と、を備える。図8において「IF」の表記は「インターフェース」を表す。

0117

記憶装置508は、例えば、ハードディスク装置を用いて構成されてよい。記憶装置508には、学習処理及び/又は認識処理等の画像処理に必要な各種プログラムやデータ等が記憶されている。記憶装置508に記憶されているプログラムがメモリ504にロードされ、これをCPU502が実行することにより、コンピュータは、プログラムで規定される各種の処理を行う手段として機能する。

0118

入力装置520は入力インターフェース部510に接続される。入力装置520は、例えば、操作ボタンキーボードマウスタッチパネル、若しくは、音声入力装置、又はこれらの適宜の組み合わせであってよい。ユーザは、入力装置520を操作することにより、各種の指示を入力することができる。

0119

表示装置530は表示制御部514に接続される。表示装置530は、例えば、液晶ディスプレイ有機EL(organic electro-luminescence:OEL)ディスプレイ、若しくは、プロジェクタ、又はこれらの適宜の組み合わせであってよい。

0120

《コンピュータを動作させるプログラムについて》 上述の各実施形態で説明した医用画像処理装置の処理機能、及び情報処理装置の学習用データの収集機能及び学習機能のうち少なくとも1つの機能をコンピュータに実現させるプログラムを光ディスク、磁気ディスク、若しくは、半導体メモリその他の有体物たる非一時的な情報記憶媒体であるコンピュータ可読媒体に記録し、この情報記憶媒体を通じてプログラムを提供することが可能である。またこのような有体物たる非一時的な情報記憶媒体にプログラムを記憶させて提供する態様に代えて、インターネットなどの電気通信回線を利用してプログラム信号ダウンロードサービスとして提供することも可能である。

0121

《実施形態及び変形例等の組み合わせについて》 上述した各実施形態で説明した構成要素、及び変形例で説明した構成要素は、適宜組み合わせて用いることができ、また、一部の構成要素を置き換えることもできる。

0122

例えば、医用画像処理装置13は、パラメータ差分情報と特徴量情報を病院外システム14に送信してもよい。また、医用画像処理装置13は、新CADパラメータと特徴量情報を病院外システム14に送信してもよい。

0123

[その他] 以上説明した本発明の実施形態は、本発明の趣旨を逸脱しない範囲で、適宜構成要件を変更、追加、又は削除することが可能である。本発明は以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で同等関連分野の通常の知識を有する者により、多くの変形が可能である。

0124

10機械学習システム12病院内システム13医用画像処理装置14病院外システム15情報処理装置16エッジデバイス18通信回線20被評価対象CAD情報保持部22、22A、22B、22C特徴量抽出部24、24A、24B、24C認識処理部26学習器28CAD評価部30学習差分情報作成部31、32 処理部34、42通信部44情報記憶部46学習処理部60 機械学習システム63 医用画像処理装置70 機械学習システム73 医用画像処理装置74A、74B、74Cデバイス500コンピュータ502 CPU504メモリ506 GPU508記憶装置510入力インターフェース部512通信インターフェース部514表示制御部516周辺機器用インターフェース部518バス520入力装置530表示装置S102〜S110 医用画像処理装置が実施する処理のステップS202〜S208 情報処理装置が実施する処理のステップ

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • クラリオン株式会社の「 画像処理装置及び画像処理方法」が 公開されました。( 2021/08/19)

    【課題】路面を区画する境界線の検出を、高精度に行うことが可能な画像処理装置及び画像処理方法を提供する。【解決手段】画像処理装置100は、画像を走査して、画像信号に含まれる輝度が閾値よりも大きく変化する... 詳細

  • 北京太坦科技有限公司の「 清掃制御方法」が 公開されました。( 2021/08/19)

    【課題】障害物の検出がより包括的になり、スマート掃除ロボットが清掃経路をより適時に変更することを容易にする、スマート掃除ロボットに用いられる清掃制御方法を提供する。【解決手段】撮像された画像から前景物... 詳細

  • 株式会社デンソーテンの「 画像生成装置および画像生成方法」が 公開されました。( 2021/08/19)

    【課題】対象部品の不良品が無くても不良品画像を生成することができる画像生成装置および画像生成方法を提供すること。【解決手段】実施形態に係る画像生成装置は、第1抽出部と、第2抽出部と、生成部とを備える。... 詳細

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ