図面 (/)

技術 画像処理装置および画像処理方法

出願人 キヤノン株式会社
発明者 山添学岩瀬好彦高橋理宇眞内田弘樹富田律也
出願日 2019年10月3日 (1年4ヶ月経過) 出願番号 2019-183351
公開日 2020年10月8日 (4ヶ月経過) 公開番号 2020-163100
状態 未査定
技術分野 光学的手段による材料の調査、分析
主要キーワード 隅角領域 アラインメント動作 上下範囲 エリア光 解析マップ 深層側 加算平均後 システムトラブル
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年10月8日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (16)

課題

解析処理等の対象となる関心領域を好適に設定可能に構成する。

解決手段

画像処理装置は、光干渉断層計によって取得した被検体における互いに対応する領域のOCT画像及びOCTA画像を用いて、操作者の指示に応じて変更可能な透過率によりブレンド処理して得たブレンド画像を、表示手段に表示させる表示制御手段と、表示されたブレンド画像に関心領域を設定する設定手段と、OCT画像とOCTA画像とのうち少なくとも一つの画像における該設定された関心領域に対して処理を実行する実行手段と、を備える。

概要

背景

OCTなどの医用断層画像撮影装置網膜層内部の状態を三次元的に観察することが可能であり、例えばAMDのような眼科網膜疾患診断をより有用である。近年、臨床現場で用いられているOCTには、例えば、高速に画像を取得する方法として、広帯域光源を用い、分光器インターフェログラムを取得するSD−OCT(Spectral domain OCT)、と光源として高速波長掃引光源を用いることで、単一チャネル光検出器スペクトル干渉計測する手法によるSS−OCT(Swept Source OCT)の2方式に大別されるが、最近は両方式のOCTにおいて、造影剤を用いない血管を造影するOCT血管造影法(OCT Angiography:OCTA)が注目されてきた。OCTAは、OCTにより取得したOCT画像からモーションコントラストデータを生成する。ここで、モーションコントラストデータとは、測定対象の同一断面をOCTで繰り返し撮影し、その撮影間における測定対象の時間的な変化を検出したデータであり、例えば、複素OCT信号位相ベクトル、強度の時間的な変化を差、比率、又は相関等から計算される。

またOCTA画像の表示に際しては、取得された三次元OCT画像から算出された三次元モーションコントラストデータを二次元平面に投影することにより二次元化したOCTA正面画像として表示されることが通例となりつつあるが、この際、投影するモーションコントラストデータの深さ方向の範囲を指定することで二次元正面画像を生成する技術が特許文献1に開示されている。

概要

解析処理等の対象となる関心領域を好適に設定可能に構成する。画像処理装置は、光干渉断層計によって取得した被検体における互いに対応する領域のOCT画像及びOCTA画像を用いて、操作者の指示に応じて変更可能な透過率によりブレンド処理して得たブレンド画像を、表示手段に表示させる表示制御手段と、表示されたブレンド画像に関心領域を設定する設定手段と、OCT画像とOCTA画像とのうち少なくとも一つの画像における該設定された関心領域に対して処理を実行する実行手段と、を備える。

目的

本発明の目的の一つは、上記課題に鑑みてなされたものであり、解析処理等の対象となる関心領域を好適に設定可能に構成することである

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

光干渉断層計によって取得した被検体における互いに対応する領域のOCT画像OCTA画像との少なくともいずれか一方に対して処理を行うための画像処理装置であって、前記OCT画像及び前記OCTA画像を用いて所定の透過率によりブレンド処理して得たブレンド画像を生成するブレンド処理手段と、前記生成されたブレンド画像を表示手段に表示させる表示制御手段と、前記所定の透過率を設定する透過率設定手段と、前記処理を行う対象として前記OCT画像と前記OCTA画像との少なくともいずれか一方を指定する指定手段と、前記指定された対象画像に対して行う解析または処理のいずれかを選択する選択手段と、前記表示されたブレンド画像に関心領域を設定する設定手段と、前記指定された対象画像における前記設定された関心領域に対して、前記選択された処理を実行する実行手段と、を備える画像処理装置。

請求項2

前記OCT画像とOCTA画像との少なくともいずれか一方の画像は、画素ごとに2つ以上の分類を示す属性を有し、前記ブレンド処理手段は、前記属性と前記所定の透過率に基づいてブレンド画像を生成する請求項1に記載の画像処理装置。

請求項3

前記属性を有する画像は、該画像の画素値に基づいて分類される属性を有する請求項2に記載の画像処理装置。

請求項4

前記属性は、前記画素値が閾値を超えるか否かに基づいて設定される請求項3に記載の画像処理装置。

請求項5

前記属性を有する画像は、該画像のあらかじめ設定された部分領域に対応して設定された属性を有する請求項2乃至4のいずれか1項に記載の画像処理装置。

請求項6

前記設定手段は、前記部分領域を設定する請求項5に記載の画像処理装置。

請求項7

前記属性を有する画像がOCTA画像である場合、前記属性は、画素が血管であるという確からしさに基づく属性である請求項2乃至6のいずれか1項に記載の画像処理装置。

請求項8

前記ブレンド処理手段は、前記属性が所定の分類を示す属性である場合、前記属性を有する画像の前記画素に対応する前記透過率を0または1に固定する請求項2乃至7のいずれか1項に記載の画像処理装置。

請求項9

光干渉断層計によって取得した被検体における互いに対応する領域のOCT画像及びOCTA画像を用いて、操作者の指示に応じて変更可能な透過率によりブレンド処理して得たブレンド画像を、表示手段に表示させる表示制御手段と、前記表示されたブレンド画像に関心領域を設定する設定手段と、前記OCT画像と前記OCTA画像とのうち少なくとも一つの画像における前記設定された関心領域に対して処理を実行する実行手段と、を備える画像処理装置。

請求項10

前記表示制御手段は、前記設定された関心領域に対する解析処理の結果を前記表示手段に表示させる請求項1乃至9のいずれか1項に記載の画像処理装置。

請求項11

医用画像を入力データとし、前記ブレンド処理に用いられる透過率を正解データとする学習データにより学習して得た学習済モデルを用いて、前記OCT画像と前記OCTA画像とのうち少なくとも一つの画像から、新たな透過率が設定されるように構成される請求項1乃至10のいずれか1項に記載の画像処理装置。

請求項12

前記学習済モデルは、検者からの指示に応じて設定された透過率を正解データとする学習データにより追加学習して得た学習済モデルである請求項11に記載の画像処理装置。

請求項13

前記学習済モデルは、検者からの指示に応じて前記新たな透過率から変更された透過率を正解データとする学習データにより追加学習して得た学習済モデルである請求項11または12に記載の画像処理装置。

請求項14

前記ブレンド処理は、前記OCT画像と前記OCTA画像との互いに対応する位置の画素値を加重平均処理することにより実行される請求項1乃至13のいずれか1項に記載の画像処理装置。

請求項15

被検体における互いに対応する領域の第1の医用画像と前記第1の医用画像とは異なる種類の第2の医用画像とを用いて、操作者の指示に応じて変更可能な透過率によりブレンド処理して得たブレンド画像を、表示手段に表示させる表示制御手段と、前記表示されたブレンド画像に関心領域を設定する設定手段と、前記第1の医用画像と前記第2の医用画像とのうち少なくとも一つの画像における前記設定された関心領域に対して処理を実行する実行手段と、を備える画像処理装置。

請求項16

前記表示制御手段は、被検体の医用画像を学習して得た高画質化用の学習済モデルを用いて、前記ブレンド処理される複数の医用画像のうち少なくとも一つの医用画像から得た該少なくとも一つの医用画像よりも高画質な医用画像を、前記表示手段に表示させる請求項1乃至15のいずれか1項に記載の画像処理装置。

請求項17

前記表示制御手段は、前記高画質化用の学習済モデルとは異なる学習済モデルを用いて、前記少なくとも一つの医用画像から得た画像解析結果を、前記表示手段に表示させる請求項16に記載の画像処理装置。

請求項18

前記表示制御手段は、前記高画質化用の学習済モデルとは異なる学習済モデルを用いて、前記少なくとも一つの医用画像から得た診断結果を、前記表示手段に表示させる請求項16または17に記載の画像処理装置。

請求項19

前記表示制御手段は、敵対的生成ネットワーク又はオートエンコーダを用いて前記少なくとも一つの医用画像から得た医用画像と、前記少なくとも一つの医用画像との差に関する情報を、異常部位に関する情報として前記表示手段に表示させる請求項16乃至18のいずれか1項の記載の画像処理装置。

請求項20

前記表示制御手段は、前記高画質化用の学習済モデルとは異なる学習済モデルを用いて、前記少なくとも一つの医用画像から得た類似症例画像を、前記表示手段に表示させる請求項16乃至19のいずれか1項に記載の画像処理装置。

請求項21

光干渉断層計によって取得した被検体における互いに対応する領域のOCT画像及びOCTA画像を用いて、操作者の指示に応じて変更可能な透過率によりブレンド処理して得たブレンド画像を、表示手段に表示させる工程と、前記表示されたブレンド画像に関心領域を設定する工程と、前記OCT画像と前記OCTA画像とのうち少なくとも一つの画像における前記設定された関心領域に対して処理を実行する工程と、を含む画像処理方法

請求項22

被検体における互いに対応する領域の第1の医用画像と前記第1の医用画像とは異なる種類の第2の医用画像とを用いて、操作者の指示に応じて変更可能な透過率によりブレンド処理して得たブレンド画像を、表示手段に表示させる工程と、前記表示されたブレンド画像に関心領域を設定する工程と、前記第1の医用画像と前記第2の医用画像とのうち少なくとも一つの画像における前記設定された関心領域に対して処理を実行する工程と、を含む画像処理方法。

請求項23

請求項21または22に記載の画像処理方法の各工程をコンピュータに実行させることを特徴とするプログラム

技術分野

0001

本発明は、光干渉断層計OCT;Optical Coherence Tomography)によって取得した被検体断層画像に対して処理を行う画像処理装置および画像処理方法に関する。

背景技術

0002

OCTなどの医用断層画像撮影装置網膜層内部の状態を三次元的に観察することが可能であり、例えばAMDのような眼科網膜疾患診断をより有用である。近年、臨床現場で用いられているOCTには、例えば、高速に画像を取得する方法として、広帯域光源を用い、分光器インターフェログラムを取得するSD−OCT(Spectral domain OCT)、と光源として高速波長掃引光源を用いることで、単一チャネル光検出器スペクトル干渉計測する手法によるSS−OCT(Swept Source OCT)の2方式に大別されるが、最近は両方式のOCTにおいて、造影剤を用いない血管を造影するOCT血管造影法(OCT Angiography:OCTA)が注目されてきた。OCTAは、OCTにより取得したOCT画像からモーションコントラストデータを生成する。ここで、モーションコントラストデータとは、測定対象の同一断面をOCTで繰り返し撮影し、その撮影間における測定対象の時間的な変化を検出したデータであり、例えば、複素OCT信号位相ベクトル、強度の時間的な変化を差、比率、又は相関等から計算される。

0003

またOCTA画像の表示に際しては、取得された三次元OCT画像から算出された三次元モーションコントラストデータを二次元平面に投影することにより二次元化したOCTA正面画像として表示されることが通例となりつつあるが、この際、投影するモーションコントラストデータの深さ方向の範囲を指定することで二次元正面画像を生成する技術が特許文献1に開示されている。

先行技術

0004

特開2017−6179号公報

発明が解決しようとする課題

0005

しかしながら、OCTデータまたはモーションコントラストデータの解析処理等については、種々の面で改善の余地があり得る。例えば、OCTデータまたはモーションコントラストデータの解析処理等の対象となる関心領域を設定する際に、各々の正面画像だけでは適切な設定が難しい場合があった。

0006

本発明の目的の一つは、上記課題に鑑みてなされたものであり、解析処理等の対象となる関心領域を好適に設定可能に構成することである。

課題を解決するための手段

0007

本発明に係る画像処理装置の一つは、
光干渉断層計によって取得した被検体における互いに対応する領域のOCT画像及びOCTA画像を用いて、操作者の指示に応じて変更可能な透過率によりブレンド処理して得たブレンド画像を、表示手段に表示させる表示制御手段と、前記表示されたブレンド画像に関心領域を設定する設定手段と、前記OCT画像と前記OCTA画像とのうち少なくとも一つの画像における前記設定された関心領域に対して解析または処理を実行する実行手段と、を備える。

発明の効果

0008

本発明の一つによれば、解析処理等の対象となる関心領域を好適に設定可能に構成することができる。

図面の簡単な説明

0009

第1の実施形態に係る画像処理装置の構成を示すブロック図である。
第1の実施形態に係る断層画像撮影装置を説明する図である。
視神経乳頭の正面画像を表示する表示画面と、透過処理で得たブレンド画像を表示する表示画面を説明する図である。
第1の実施形態に係る画像処理装置の構成を示すブロック図である。
第1の実施形態に係る解析処理を示すフローチャートである。
第4の実施形態に係る高画質化処理に関するニューラルネットワークの構成の一例を示す。
第4の実施形態に係る画像処理の流れの一例を示すフロー図である。
第4の実施形態に係る高画質化処理に関するニューラルネットワークの構成の一例を示す。
変形例6に係る機械学習エンジンとして用いられるニューラルネットワークの構成の一例を示す。
変形例6に係る機械学習エンジンとして用いられるニューラルネットワークの構成の一例を示す。
第5の実施形態に係るユーザーインターフェースの一例を示す。
高画質化処理に関する教師画像の一例を示す。
高画質化処理に関する入力画像の一例を示す。
第5の実施形態に係るユーザーインターフェースの一例を示す。
第4の実施形態に係る高画質化処理に関するニューラルネットワークの構成の一例を示す。

実施例

0010

[第1の実施形態]
本実施形態に係る画像処理装置は、OCTAデータの解析に対してOCTデータの正面画像を参照しながら、解析位置解析領域を設定しながら解析処理を行う場合について説明する。以下、図面を参照しながら、本発明の第1の実施形態に係る画像処理装置を備える画像処理システムについて説明する。

0011

(画像処理装置の構成)
本実施形態の画像処理装置101の構成と他機器との接続について図1を用いて説明する。画像処理装置101は断層画像撮影装置100に接続されたパーソナルコンピュータ(PC)であり、各機能ブロックである、画像取得部101−01、撮影制御部101−03、画像処理部101−04、表示制御部101−05の有する各機能は、図示しない演算処理装置CPUが記憶部101−02に記憶されたソフトウェアモジュールを実行することで実現される。もちろん本発明はこのようなPCの構成に限定されず、例えば画像処理部101−04をASIC等の専用のハードウェアで実現してもよいし、表示制御部101−05をCPUとは異なるGPU等の専用プロセッサを用いて実現してもよい。さらに断層画像撮影装置100と画像処理装置101との接続はネットワークを介した構成であってもよいし、外部記憶部102もネットワークワーク上に置き、データを複数の画像処理装置で共有できるように構成してもよい。

0012

画像取得部101−01は被検体を断層画像撮影装置100により撮影したSLO眼底像や断層画像の信号データを取得し画像を生成する機能ブロックであり、断層画像生成部101—11及びモーションコントラストデータ生成部101−12を有する。断層画像生成部101—11は断層画像撮影装置100により撮影された断層画像の信号データ(干渉信号)を取得して信号処理により断層画像を生成し、生成した断層画像を記憶部101−02に格納する。モーションコントラストデータ生成部101−12は、断層画像生成部101—11が生成した同一部位(被検体における互いに対応する領域)の複数の断層画像に基づいて、モーションコントラストデータを生成する。

0013

まず断層画像生成部101−11は画像取得部101−01が取得した干渉信号に対して波数変換及び高速フーリエ変換FFT;Fast Fourier Transform)、絶対値変換振幅の取得)を行うことで1クラスタ分の断層画像を生成する。

0014

次に位置合わせ部101−41は同一クラスタに属する断層画像同士を位置合わせし、重ねあわせ処理を行う。画像特徴取得部101−44が該重ね合わせ断層画像から層境界データを取得する。本実施形態では層境界の取得法として可変形状モデルを用いるが、任意の公知の層境界取得手法を用いてもよい。なお層境界の取得処理は必須ではなく、例えばモーションコントラスト画像の生成を三次元のみで行い、深度方向に投影した二次元のモーションコントラスト画像を生成しない場合には層境界の取得処理は省略できる。モーションコントラストデータ生成部101−12が同一クラスタ内の隣接する断層画像間でモーションコントラストを算出する。本実施形態では、モーションコントラストとして脱相関値Mxyを以下の式(1)に基づき求める。

0015

0016

ここで、Axyは断層画像データAの位置(x,y)における(FFT処理後の複素数データの)振幅、Bxyは断層データBの同一位置(x,y)における振幅を示している。0≦Mxy≦1であり、両振幅値差異が大きいほど1に近い値をとる。式(1)のような脱相関演算処理を(同一クラスタに属する)任意の隣接する断層画像間で行い、得られた(1クラスタあたりの断層画像数−1)個のモーションコントラスト値の平均を画素値として持つ画像を最終的なモーションコントラスト画像として生成する。

0017

なお、ここではFFT処理後の複素数データの振幅に基づいてモーションコントラストを計算したが、モーションコントラストの計算法は上記に限定されない。例えば複素数データの位相情報に基づいてモーションコントラストを計算してもよいし、振幅と位相の両方の情報に基づいてモーションコントラストを計算してもよい。あるいは、複素数データの実部虚部に基づいてモーションコントラストを計算してもよい。

0018

また、本実施形態ではモーションコントラストとして脱相関値を計算したが、モーションコントラストの計算法はこれに限定されない。例えば二つの値の差分に基づいてモーションコントラストを計算してもよいし、二つの値の比に基づいてモーションコントラストを計算してもよい。

0019

さらに、上記では取得された複数の脱相関値の平均値を求めることで最終的なモーションコントラスト画像を得ているが、本発明はこれに限定されない。例えば取得された複数の脱相関値の中央値、あるいは最大値を画素値として持つ画像を最終的なモーションコントラスト画像として生成してもよい。

0020

撮影制御部101−03は、断層画像撮影装置100に対する撮影制御を行う機能ブロックであり、断層画像撮影装置100に対して撮影パラメータの設定に関して指示することや、撮影の開始もしくは終了に関して指示することも含まれる。画像処理部101−04は、位置合わせ部101−41、合成部101−42、補正部101−43、画像特徴取得部101−44、投影部101−45、解析部101−46を有する機能ブロックである。合成部101−42は、例えば、合成法指定部101−421、同一モダリティ画像合成部101−422、異なる種類のモダリティ画像合成部101−423を有する。合成部101−42は、複数の二次元画像からひとつの画像を合成する。具体的には、合成法指定部101−421は合成対象画像の種類(断層画像/モーションコントラスト画像/断層画像及びモーションコントラスト画像)と、合成処理法(重ね合わせ/貼り合わせ/並置表示)を指定する。同一モダリティ画像合成部101−422は、断層画像間、もしくはモーションコントラスト画像間の合成処理を行う。複数モダリティ画像合成部101−423は、断層画像—モーションコントラスト画像間の合成処理を行う。ここで、合成部101−42は、モーションコントラストデータを高画質化する高画質化手段の一例である。なお、本実施形態においても、高画質化手段による処理として、合成部101−42による処理の他に、例えば、後述する第4の実施形態における機械学習による高画質化処理を適用することが可能である。また、補正部101−43は、モーションコントラスト画像内に生じるプロジェクションアーティファクトを抑制する処理を行う。ここで、プロジェクションアーティファクトは、網膜表層血管内のモーションコントラストが深層側(網膜深層網膜外層脈絡膜)に映り込み、実際には血管の存在しない深層側の領域に高い脱相関値が生じる現象を指す。例えば、補正部は、合成されたモーションコントラストデータにおけるプロジェクションアーティファクトを低減する処理を行う。すなわち、補正部101−43は、合成されたモーションコントラストデータに対してプロジェクションアーティファクトを低減する処理を行う処理手段の一例に相当する。また、投影部101−45は、画像特徴取得部101−44が取得した境界位置に基づく深度範囲で断層画像もしくはモーションコントラスト画像を投影し、輝度正面画像(輝度断層画像)もしくはモーションコントラスト正面画像を生成する。このとき、任意の深度範囲で投影してよいが、本実施形態においては、網膜表層及び網膜外層の深度範囲で2種類の正面合成モーションコントラスト画像を生成する。また、投影法としては、最大値投影MIP;Maximum Intensity Projection)・平均値投影(AIP;Average Intensity Projection)のいずれかを選択することができる。ここで、モーションコントラスト正面画像を生成するための投影範囲は、不図示の選択リスト等に表示された既定の深度範囲セットから操作者が選択することにより変更することができる。また、投影範囲の指定に用いる層境界の種類とオフセット位置をユーザーインターフェースから変更したり、断層画像上に重畳された層境界データを入力部103から操作して移動させたりすることで、投影範囲を変更することができる。なお、表示部104に表示されるモーションコントラスト画像は、モーションコントラスト正面画像に限定されるものではなく、三次元的にレンダリングした三次元モーションコントラスト画像を表示してもよい。さらに、上述した投影法やプロジェクションアーティファクト抑制処理の有無を、例えばコンテキストメニューのようなユーザーインターフェースから選択することにより変更してもよい。例えば、プロジェクションアーティファクト抑制処理後のモーションコントラスト画像を三次元画像として表示部104に表示してもよい。また、解析部101−46は、強調部101−461、抽出部101−462、計測部101−463、比較部101−464を有する機能ブロックである。ここで、抽出部101−462は、断層画像から網膜や脈絡膜の層境界、篩状板の前面や後面の境界、中心窩視神経乳頭中心の位置を取得する。また、抽出部101−462は、モーションコントラスト正面画像から血管領域を抽出する。計測部101−463は、抽出された該血管領域や該血管領域を細線化することで取得した血管中心線データを用いて血管密度等の計測値を算出する。

0021

画像処理装置101は、インターフェースを介して断層画像撮影装置100、外部記憶部102、入力部103、表示部104と接続されることにより構成されている。画像処理装置101は、ステージ部100−2の制御、アラインメント動作の制御を行う。外部記憶部102は、断層撮像用のプログラム、被検眼の情報(患者の氏名、年齢性別など)と、撮影した画像(断層画像及びSLO画像・OCTA画像)や合成画像、撮影パラメータ、過去検査の画像データや計測データ、操作者が設定したパラメータなどを関連付けて保持している。

0022

入力部103はコンピュータへの指示を行うための、例えば、マウスキーボードタッチ操作画面などであり、操作者は、入力部103を介して、画像処理装置101や断層画像撮影装置100へ指示を行う。表示部104は、例えばモニタであり、タッチUIがあってもよい。

0023

(断層画像撮影装置の構成)
断層画像撮影装置100は、眼部の断層画像を撮影する装置である。本実施形態の断層画像撮影装置100における測定光学系及び分光器の構成について図2を用いて説明する。

0024

本実施形態においては、断層画像撮影装置100としてSD−OCTを用いるものとする。これに限らず、例えばSS−OCTを用いて構成してもよい。

0025

測定光学系100−1は前眼部像、被検眼のSLO眼底像、断層画像を取得するための光学系である。ステージ部100−2は、測定光学系100−1を前後左右に移動可能にする。ベース部100−3は、後述の分光器を内蔵している。

0026

まず、測定光学系100−1の内部について説明する。被検眼200に対向して対物レンズ201が設置され、その光軸上に第1ダイクロイックミラー202及び第2ダイクロイックミラー203が配置されている。これらのダイクロイックミラーによってOCT光学系光路250、SLO光学系固視灯用の光路251、及び前眼観察用の光路252とに波長帯域ごとに分岐される。SLO光学系と固視灯用の光路251は、SLO走査手段204、レンズ205及び206、ミラー207、第3ダイクロイックミラー208、APD(Avalanche Photodiode)209、SLO光源210、固視灯211を有している。ミラー207は、穴あきミラーや中空のミラーが蒸着されたプリズムであり、SLO光源210による照明光と、被検眼からの戻り光とを分離する。第3ダイクロイックミラー208はSLO光源210の光路と固視灯211の光路とに波長帯域ごとに分離する。SLO走査手段204は、SLO光源210から発せられた光を被検眼200上で走査するものであり、X方向に走査するXスキャナ、Y方向に走査するYスキャナから構成されている。本実施形態では、Xスキャナは高速走査を行う必要があるためポリゴンミラーで、Yスキャナはガルバノミラーによって構成されている。レンズ205はSLO光学系及び固視灯211の焦点合わせのため、不図示のモータによって駆動される。SLO光源210は780nm付近波長の光を発生する。APD209は、被検眼からの戻り光を検出する。固視灯211は可視光を発生して被検者の固視を促すものである。SLO光源210から発せられた光は、第3ダイクロイックミラー208で反射され、ミラー207を通過し、レンズ206及び205を通ってSLO走査手段204によって被検眼200上で走査される。被検眼200からの戻り光は、照明光と同じ経路を戻った後、ミラー207によって反射され、APD209へと導かれ、SLO眼底像が得られる。固視灯211から発せられた光は、第3ダイクロイックミラー208、ミラー207を透過し、レンズ206及び205を通り、SLO走査手段204によって被検眼200上の任意の位置に所定の形状を作り、被検者の固視を促す。前眼観察用の光路252には、レンズ212及び213、スプリットプリズム214、赤外光を検知する前眼部観察用のCCD215が配置されている。このCCD215は、不図示の前眼部観察用照射光の波長、具体的には970nm付近に感度を持つものである。スプリットプリズム214は、被検眼200の瞳孔と共役な位置に配置されており、被検眼200に対する測定光学系100−1のZ軸方向(光軸方向)の距離を、前眼部のスプリット像として検出できる。OCT光学系の光路250は前述の通りOCT光学系を構成しており、被検眼200の断層画像を撮影するためのものである。より具体的には、断層画像を形成するための干渉信号を得るものである。XYスキャナ216は光を被検眼200上で走査するためのものであり、図2(b)では1枚のミラーとして図示されているが、実際はXY2軸方向の走査を行うガルバノミラーである。レンズ217及び218のうち、レンズ217については光カプラー219に接続されているファイバー224から出射するOCT光源220からの光を、被検眼200に焦点合わせするために不図示のモータによって駆動される。この焦点合わせによって、被検眼200からの戻り光は同時にファイバー224の先端に、スポット状に結像されて入射されることとなる。次に、OCT光源220からの光路と参照光学系、分光器の構成について説明する。220はOCT光源、221は参照ミラー、222は分散補償硝子、223はレンズ、219は光カプラー、224から227は光カプラーに接続されて一体化しているシングルモード光ファイバー、230は分光器である。これらの構成によってマイケルソン干渉計を構成している。OCT光源220から出射された光は、光ファイバー225を通じ、光カプラー219を介して光ファイバー224側の測定光と、光ファイバー226側の参照光とに分割される。測定光は前述のOCT光学系光路を通じ、観察対象である被検眼200に照射され、被検眼200による反射や散乱により同じ光路を通じて光カプラー219に到達する。一方、参照光は光ファイバー226、レンズ223、測定光と参照光の波長分散を合わせるために挿入された分散補償ガラス222を介して参照ミラー221に到達し反射される。そして同じ光路を戻り、光カプラー219に到達する。光カプラー219によって、測定光と参照光は合波され干渉光となる。ここで、測定光の光路長と参照光の光路長がほぼ同一となったときに干渉を生じる。参照ミラー221は、不図示のモータおよび駆動機構によって光軸方向に調整可能に保持され、測定光の光路長に参照光の光路長を合わせることが可能である。干渉光は光ファイバー227を介して分光器230に導かれる。また、偏光調整部228、229は、各々光ファイバー224、226中に設けられ、偏光調整を行う。これらの偏光調整部は光ファイバーをループ状に引きまわした部分を幾つか持っている。このループ状の部分をファイバーの長手方向を中心として回転させることでファイバーに捩じりを加え、測定光と参照光の偏光状態を各々調整して合わせることができる。分光器230はレンズ232、234、回折格子233、ラインセンサ231から構成される。

0027

光ファイバー227から出射された干渉光はレンズ234を介して平行光となった後、回折格子233で分光され、レンズ232によってラインセンサ231に結像される。次に、OCT光源220の周辺について説明する。OCT光源220は、代表的な低コヒーレント光源であるSLD(Super Luminescent Diode)である。中心波長は855nm、波長バンド幅は約100nmである。ここで、バンド幅は、得られる断層画像の光軸方向の分解能に影響するため、重要なパラメータである。光源の種類は、ここではSLDを選択したが、低コヒーレント光が出射できればよく、ASE(Amplified Spontaneous Emission)等を用いることができる。中心波長は眼を測定することを鑑みると近赤外光が適する。また、中心波長は得られる断層画像の横方向の分解能に影響するため、なるべく短波長であることが望ましい。双方の理由から中心波長は855nmとした。本実施形態では干渉計としてマイケルソン干渉計を用いたが、マッハツェンダー干渉計を用いてもよい。測定光と参照光との光量差に応じて、光量差が大きい場合にはマッハツェンダー干渉計を、光量差が比較的小さい場合にはマイケルソン干渉計を用いることが望ましい。

0028

(OCTAデータの解析処理)
以下、具体的にOCTモションコントラストデータを対象とする解析処理について説明するが、実施形態の説明の中で使用する用語について簡単に定義しておく。まず、三次元ボリュームデータの情報をOCTデータまたはOCTAデータと表記する。次に、ボリュームデータから取り出せる二次元情報をOCT画像またはOCTA画像とし、特に、指定した深さ方向の範囲でボリュームデータを投影して作成した画像をOCT正面画像またはOCTA正面画像と表記する。また、深さ方向のデータを含む二次元情報を断層画像と表記する。

0029

図3(a)は視神経乳頭(ONH;Optive Nerve Head)のOCTA正面画像301を示している。スライドバー302は初期値として透過率0%を示しており、これは後述するOCT正面画像の透過率である。ここで、スライドバー302の透過率は前回設定された透過率を記憶してもよいし、別のOCTA正面画像に切り替えるときに初期値0%に戻してもよい。

0030

ONHの血管機能緑内障進行状況と密接な関係があることが知られており、その血管機能不全を定量的に解析することは臨床的な価値が大きいと言われている。ところが、神経管開口部(NCO;Neural Canal Opening)の境界を、OCTA正面画像上で設定することはやや難しい。OCT正面画像であればNCOの視認性があがるため解析領域を設定しやすくなる。緑内障においては、ONH循環障害役割を評価するためには、微小循環に関しても信頼できる情報が得られることが重要となる。

0031

図3(b)は一例として、操作者がスライドバー302を60%に設定した場合を示している。OCTA正面画像と、それとは異なる第2のOCT正面画像から、設定された透過率に基づいて生成された画像303が表示される。すなわち、光干渉断層計によって取得した被検体の同一箇所のOCT画像及びOCT画像を用いて、変更可能な透過率に基づいてブレンド処理されたブレンド画像が生成される。そして、設定された解析領域304に対する解析処理が実行される。具体的には、図1および図4を参照しながら本実施形態の画像処理装置101の画像処理システムについて説明する。まず、操作者が対象画像として指定した深さ方向の範囲のOCTA正面画像を指定すると、記憶部101−02に記憶されているOCTA正面画像および第2の医用画像となるOCT正面画像が取得される。OCTA正面画像とOCT正面画像と深さ方向の範囲は必ずしも一致する必要はない。操作者がそれぞれ異なる深さ方向の範囲を指定することも可能である。透過率設定部402において、操作者がスライドバー302で設定した位置に基づいて透過率を設定し、第2の医用画像(ここではOCT正面画像)の透過係数α(0≦α≦1)を決定する。ここで、透過処理は一般的なアルファブレンド処理を用いて、画素ごとに2枚の画像の加重平均を行う。例えば、ブレンド処理は、OCT画像とOCTA画像との互いに対応する位置の画素値を加重平均処理することにより実行される。

0032

透過画像)=(第1の医用画像)×(1−α)+(第2の医用画像)×α…(式2)
ブレンド処理部403は、上記の(式2)に基づくブレンド画像(以下、透過画像と表記)を生成し、表示制御部101−05は、生成されたブレンド画像を表示部104に表示させる。操作者は、表示部104に表示された透過画像を確認しながら、所望の透過画像となるまで透過率を変更してもよい。また、操作者は視認性を確認しながら、画像の深さ方向の範囲を変更してもよい。

0033

次に、ROI設定部404は、透過画像上で解析を行う関心領域(ROI;Region of Interest)を設定する。ROI情報は中心位置と大きさのようなパラメータとして設定されてもよいし、一般的な形状(例えば、円、楕円矩形など)で設定されてもよい。また、ROI情報は自由領域として複数の制御点によるスプライン曲線などを用いた領域として設定されてもよい。ROI情報は透過画像上に重畳表示すればよい。さらに、設定されてROIが所望の領域であるかを確認するために、ROI情報を重畳表示した状態で、操作者が透過率を変更して透過画像を更新することもできる。このように、OCT正面画像の透過率を適宜変更することによって微小循環の状態またはNCO境界の視認性を調整することができる。

0034

最後に、画像における関心領域に対して処理を実行する実行手段の一例である解析部101−46は、種々の画像解析を実行する。解析の種別は、操作者が指定してもよいし、あらかじめ設定された解析でもよい。抽出部101−462が解析の種別に応じた画像の特徴量を抽出し、計測部101−463が種々の計測を行う。解析結果は表示部104に表示される。例えば、操作者は設定したROI情報に基づいた血管抽出処理を指示する。抽出部101−462は、OCTA正面画像を用いて、血管領域と非血管領域との判別処理による血管抽出を実行する。判別処理としては、一例として、閾値処理を用いて所定の閾値を満たす画素を血管領域として抽出すればよい。閾値は、あらかじめ設定された固定値でもよいし、被検者が任意に設定してもよい。また、閾値はOCTA正面画像に応じて所定のアルゴリズム(例えばヒストグラム解析)に基づいて適応的に設定されてもよい。血管抽出処理は血管/非血管の2値情報として表してもよいし、血管らしさの尺度(例えば、閾値からの距離)で連続値としてもよい。血管領域に関しては、特定の色情報を付加してもよいし、連続値とする場合には、所定のグラデーションで色情報を付加してもよい。血管情報を示す色やグラデーションは赤系統に限らず操作者が自由に選択できるようにしてもよい。

0035

また、OCTAデータに基づいて血管の深度に応じて色を付加してもよい。このように血管に色をつけることで、操作者がROIを設定する際の画像がより分かりやすいものとなる。もちろん、OCTAデータから血管抽出を行ってもよい。三次元情報として血管を抽出すれば、血管の位置や太さなどから色情報を付加することも可能となる。

0036

表示制御部101−05は、抽出部101−462により抽出された血管情報に基づいて血管計測を行って、表示部104に表示させる。血管計測は、例えば、血管密度や血管面積などを用いればよい。血管領域の密度としては、例えば、ROIの領域全体における血管領域の比率を算出することによって、単位面積当たりの血管の面積が求められる。血管計測においては、これに限定されるわけではなく、血管総量、血管蛇行性等であってもよい。

0037

さらに、ROIを複数の領域に分割して、それぞれの領域ごとの計測値の差分や比率を算出してもよい。こうすることで、例えば、血管の対称性などを評価することができる。血管密度は、所定の面積ごとの密度を色データに対応づけることでカラーマップ画像として解析結果として表示してもよい。カラーマップ画像とOCTA正面画像を所定の透過率(例えば50%)でブレンド表示してもよい。また、OCTA正面画像とOCT正面画像のブレンド画像とカラーマップ画像をブレンド表示してもよい。カラーマップ画像に対する透過率は固定でもよいし、操作者が指定できるようにしてもよい。

0038

なお、被検者のフォローアップとして、定期的な検査を行い、それぞれの解析結果を時系列的に並べる経過観察の表示画面を表示してもよい。その場合、比較部101−464において、解析結果の比較が行われ、さらに、強調部101−461において変化したところを強調して表示してもよい。

0039

(視神経乳頭の解析処理手順)
次に、図5を参照して本実施形態の画像処理装置101の処理手順を示す。S501において、視神経乳頭(ONH)のOCTA正面画像に対するOCT正面画像の透過率αGUI設定値に基づいて変更される。ここでαは0から1の実数とする。ただし、GUI上はパーセント表記などでもよい。S502において、変更された透過率に基づいて、2枚の画像の透過処理が行われ、透過画像が画面上に表示される。S503において、操作者が透過画像を確認しながら、ROI設定が行いやすい透過率を決定する。続いて、S504において、解析位置または解析領域であるROIが設定される。S505において、設定されたROI情報に基づいた血管抽出処理が指示される。最後に、S506において、視神経乳頭(ONH)の血管計測が行われ、その結果が画面上に表示される。

0040

以上、視神経乳頭(ONH)の解析を例に説明を行ったが、被検眼の黄斑部の解析や中心窩無血管領域の検出などでもよい。例えば、黄斑部の深い層での新生血管を解析するとき、OCTA正面画像に対応する層ではなく表層のOCT正面画像に対して透過処理をすることで黄斑部のROI設定が容易になる。つまり、OCTA正面画像とOCT正面画像の層は必ずしも一致している必要はなく、それぞれ異なる層の画像間で透過処理してもよい。

0041

(中心窩無血管領域の解析)
以下で、中心窩無血管領域(FAZ;Foveal Avascular Zone)の検出に関して説明する。FAZは無血管領域で輝度が低いため、例えば、FAZ解析領域の中心点を基準として、周辺部での輝度の連結性を判定することによってFAZを抽出する。抽出方法既知の手法のいずれかで行えばよく、例えば、領域拡張法による抽出や、Snakeのような動的輪郭モデルによる抽出などがある。なお、上記解析処理は、血管に限定されるものではなく、脈管解析領域としての脈管解析(例えば、リンパ管)にも適用できる。さらに、本実施形態においては、OCTA正面画像を例として説明したが、モーションコントラストデータの次数を限定するものではない。例えば、OCTAデータとOCTデータから加重平均した三次元情報を生成し、三次元のROIを設定してもよい。もちろん、モーションコントラストデータとしては、1次元モーションコントラストデータ、二次元モーションコントラストデータであってもよい。

0042

さらに、断層画像に対してROIの設定を行うことも可能である。図3(a)のチェックボタン305をオンにすると、OCTA正面画像上にライン306を表示する。操作者は、このラインをマウスでドラックしながらライン306の位置を上下に移動できる。その操作に連動して、断層画像307が対応する断層画像に更新される。設定されたROI304とライン306の交点を、断層画像307上に垂直方向のライン308として表示してもよい。操作者は、ライン308をマウスでドラッグしながら左右に移動することで、断層画像で確認しながらROIを調整してもよい。ライン308での調整に従って、ROI304の形状が滑らかにつながるように変更する。また、断層画像でのROI調整がROI304の形状として破綻しない範囲にライン308の可動域を抑制してもよい。

0043

また、図示は行わないが、断層画像307においてもOCTA断層画像とOCT断層画像をブレンド表示してもよい。この場合、スライドバー302を共通に利用してもよいし、個別にスライドバーを追加してもよい。特に、健常眼ではないデータにおいては、OCT断層画像の透過率を高くすることで、OCTA断層画像上に抽出されている血管が適切であるかの確認がある程度まで可能な場合がある。すなわち、OCTAデータとOCTデータそれぞれの断層画像間で透過処理を行いながら、より詳細なROIが設定されてもよい。

0044

また、透過処理に用いる第2の医用画像としては、SLOや眼底カメラの画像であってもよい。あるいは、別の層のOCTA正面画像であってもよい。この場合は、透過処理を行う画像間で、位置的なレジストレーションが行われていることが望ましい。

0045

さらに、透過処理に用いる画像としては2枚に限定されるわけではない。場合によっては、第3の医用画像を重みづけ加算で加えることも考えられる。例えば、第1の透過率により第1の医用画像及び第2の医用画像をブレンド処理して得た第1のブレンド画像と第3の医用画像とが第2の透過率によりブレンド処理されることにより、第2のブレンド画像が取得されるように構成されてもよい。

0046

[第2の実施形態]
本実施形態に係る画像処理装置は、OCTデータに対してOCTA正面画像を参照しながら、解析位置や解析領域を設定しながら解析処理を行う場合について説明する。

0047

OCTデータからは、視神経繊維層の厚みや視神経乳頭の凹み具合眼球形状の曲率などが解析できる。このように層厚情報や眼球の曲率情報から種々の疾患の状態を知ることができる。また、層厚情報や曲率情報は、厚みや曲率を色のグラデーションとして表したカラーマップ化して画像として表示してもよいし、ROIを複数の領域に分割してそれぞれの平均値を表示してもよい。

0048

あるいは、篩状板の状態を解析することも緑内障などの診断に有益であると考えられている。具体的には、OCTデータの断層画像に適切なセグメンテーション処理を施すことで、篩状板の厚みを計測することもできる。

0049

被検眼によっては、より厳密な血管情報と比較しながらROIを設定することで有効な解析を行うことができる場合がある。例えば、強度近視の場合には、眼球の形状にひずみを持っているので、OCT正面画像に、指定された透過率でOCTA正面画像を透過処理することで、血管情報を同時に確認しながらROIの設定が可能となる。その設定されたROIに基づいて、層厚や曲率などが解析可能となる。

0050

あるいは、OCT正面画像または解析結果の画像にOCTA正面画像を透過処理すれば、ROIの設定以外でも、複合的な判断を行う場合にも本発明は利用可能である。

0051

具体的には、層厚のカラーマップ画像に対して、OCTA正面画像を透過処理することで、操作者は、例えば層厚の低い領域での血管の状態を視認することができる。曲率などのカラーマップ画像でも同様である。あるいは、篩状板の解析結果を確認するときに、指定した透過率で血管情報を加えることで、篩状板の厚みと篩状板に入る血流の状態を同時に確認できる。

0052

モーションコントラストデータの場合、血管の漏れ血流量の少ない場所は血管の視認は比較的困難である。そのため、より厳密に血流情報を透過処理したい場合には、第2の医用画像としてフルオレセインインドシアニングリーンなどによる蛍光眼底造影検査による画像を用いてもよい。

0053

以上、本実施形態ではOCTデータの解析について説明を行ったが、解析方法に関しては、これに限定されないことは言うまでもない。また、透過処理を行う第1の医用画像は、OCT正面画像に限定されるものではなく、解析結果を可視化した画像であってもよい。第1の実施形態と同様に、断層画像を利用してもよい。さらに、透過処理を行う第2の医用画像もOCTA正面画像に限定されるものでなく、第1の医用画像と異なる種類の画像であればよい。このとき、第1の医用画像と第2の医用画像とは、被検体における互いに対応する領域の画像であればよい。

0054

[第3の実施形態]
本実施形態に係る画像処理装置は、上述した様々な実施形態における透過処理について、画素ごとに適応的に透過率を変更する場合について説明する。例えば、OCTA正面画像とOCT正面画像を透過処理する場合に、重要となるのは血管の情報である。

0055

そこで、透過処理を行う際に、画素ごとに血管領域か非血管領域か分類属性としてあらかじめ与えることで、透過処理の方法を切り替える。血管領域の抽出については、第1の実施形態で説明した通りである。最も単純には、血管領域の画素には、透過処理を行わない属性を与え、非血管領域の画素には透過処理を行う属性を与える。血管属性を決定するための閾値は、画面上で操作者が指定できるようにしてもよい。変更された閾値によって属性情報が変更され、変更された属性に基づいて透過処理が更新される。なお、属性決定のための閾値は、複数指定できてもよく、例えば、指定された閾値間の範囲で血管か非血管を分離して属性が与えられてもよい。

0056

こうすることで、血管情報は透過処理を行わず、非血管領域の画素にのみ、第2の医用画像を透過処理することが可能となる。あるいは、血管領域の属性をもつ画素に対しては、透過処理の透過率を抑制する形で透過処理を行ってもよい。例えば、操作者が第2の医用画像の透過率をαとした場合には、非血管領域はαで透過処理を行い、血管領域はα/2などに抑制して透過処理を行うなどが考えられる。この抑制方法は、あらかじめ決めた所定の比でもよいし、透過率αに基づく関数を用意しても構わない。

0057

また、血管領域か非血管領域を、血管らしさの尺度に関して連続値として別に保持してもよい。この場合には、例えば、操作者が指定する最大の透過率に対する血管属性の最大透過率をあらかじめ設定し、操作者が指定した透過率に対して、血管らしさの数値に基づいて透過率を決定してもよい。透過処理方法は、これに限定されるものではなく画素ごとの属性情報に基づいたものであれば、種々の変形は可能である。

0058

さらに、複数の属性を保持してもよい。OCTA正面画像の場合、OCTAデータの深さ方向に対して、少なくとも2つの範囲、例えば、浅い部分と深い部分に分けて血管の属性を管理する。操作者は、GUI上の指示で、瞬時にどちらの属性を利用するかを切り替えられるようにしてもよい。

0059

なお、上記説明では、血管領域と非血管領域に基づいて画素に属性を与えることを示したが、これに限定されず、様々な属性を適用可能である。例えば、第2の医用画像で特定の信号値(例えば、0)となる画素については透過処理を行わない属性を与えてもよい。あるいは、属性をあらかじめ設定した部分領域に対して与えてもよい。例えば、出血が認められる領域をGUI上でマニュアル指定することで、出血領域非出血領域に基づく属性を各画素に与えてもよい。

0060

さらに、OCTAデータには血管の深さ情報が得られるので、血管の深度情報に基づいて属性値を設定してもよい。モーションコントラスト正面画像になったときに血管が重なっている場合には、最大値または最小値を用いる、あるいは平均値を用いるなどあらかじめ決めておけばよい。また、OCTデータには、層厚情報があるため層厚に基づいた属性を設定してもよい。

0061

なお、属性情報としては、第1の医用画像と第2の医用画像それぞれに付与してもよいし、いずれか一方だけに付与してもよい。また透過処理に関しては、上述した方法に限定されるものではなく、少なくとも一方に設定された属性情報に基づく処理として、当業者であれば種々の変形が可能である。

0062

以上、上記のそれぞれの実施形態においては、眼部の医用画像処理を例に説明をしたが、光干渉断層計によって取得される医用画像データ(例えば、皮膚組織のモーションコントラストデータ)に対しても適用可能である。

0063

[第4の実施形態]
以下、図6図7及び図8を参照して、第4の実施形態による医用画像処理装置について説明する。本実施形態に係る画像処理装置101は、モーションコントラストデータを高画質化する高画質化手段として、例えば、上述した合成部101−42の代わりに、機械学習による高画質化処理を適用するための高画質化部(不図示)を備える。このとき、画像処理装置101(あるいは画像処理部101−04)における高画質化部には高画質化エンジンが備えられている。本実施形態に係る高画質化エンジンの備える高画質化手法では、機械学習アルゴリズムを用いた処理を行う。

0064

本実施形態では、機械学習アルゴリズムに係る機械学習モデルトレーニングに、処理対象として想定される特定の撮影条件を持つ低画質画像である入力データと、入力データに対応する高画質画像である出力データのペア群で構成された教師データを用いる。なお、特定の撮影条件には、具体的には、予め決定された撮影部位撮影方式撮影画角、及び画像サイズ等が含まれる。

0065

ここで、機械学習モデルとは、任意の機械学習アルゴリズムに対して、事前に適切な教師データ(学習データ)を用いてトレーニング(学習)を行ったモデルである。教師データは、一つ以上の、入力データと出力データ(正解データ)とのペア群で構成される。なお、教師データを構成するペア群の入力データと出力データの形式や組み合わせは、一方が画像で他方が数値であったり、一方が複数の画像群で構成され他方が文字列であったり、双方が画像であったりする等、所望の構成に適したものであってよい。

0066

具体的には、例えば、OCTによって取得された画像と、該画像に対応する撮影部位ラベルとのペア群によって構成された教師データ(以下、第1の教師データ)が挙げられる。なお、撮影部位ラベルは部位を表すユニークな数値や文字列である。また、その他の教師データの例として、OCTの通常撮影によって取得されたノイズの多い低画質画像と、OCTにより複数回撮影して高画質化処理した高画質画像とのペア群によって構成されている教師データ(以下、第2の教師データ)等が挙げられる。

0067

このとき、機械学習モデルに入力データを入力すると、該機械学習モデルの設計に従った出力データが出力される。機械学習モデルは、例えば、教師データを用いてトレーニングされた傾向に従って、入力データに対応する可能性の高い出力データを出力する。また、機械学習モデルは、例えば、教師データを用いてトレーニングされた傾向に従って、出力データの種類のそれぞれについて、入力データに対応する可能性を数値として出力する等を行うことができる。具体的には、例えば、第1の教師データでトレーニングされた機械学習モデルにOCTによって取得された画像を入力すると、機械学習モデルは、該画像に撮影されている撮影部位の撮影部位ラベルを出力したり、撮影部位ラベル毎の確率を出力したりする。また、例えば、第2の教師データでトレーニングされた機械学習モデルにOCTの通常撮影によって取得されたノイズの多い低画質画像を入力すると、機械学習モデルは、OCTにより複数回撮影して高画質化処理された画像相当の高画質画像を出力する。なお、機械学習モデルについては、品質保持の観点から、自身が出力した出力データを教師データとして用いないように構成することができる。

0068

また、機械学習アルゴリズムは、畳み込みニューラルネットワーク(CNN)等のディープラーニングに関する手法を含む。ディープラーニングに関する手法においては、ニューラルネットワークを構成する層群ノード群に対するパラメータの設定が異なると、教師データを用いてトレーニングされた傾向を出力データに再現可能な程度が異なる場合がある。例えば、第1の教師データを用いたディープラーニングの機械学習モデルにおいては、より適切なパラメータが設定されていると、正しい撮影部位ラベルを出力する確率がより高くなる場合がある。また、例えば、第2の教師データを用いたディープラーニングの機械学習モデルにおいては、より適切なパラメータが設定されていると、より高画質な画像を出力できる場合がある。

0069

具体的には、CNNにおけるパラメータは、例えば、畳み込み層に対して設定される、フィルタカーネルサイズ、フィルタの数、ストライドの値、及びダイレーションの値、並びに全結合層の出力するノードの数等を含むことができる。なお、パラメータ群やトレーニングのエポック数は、教師データに基づいて、機械学習モデルの利用形態に好ましい値に設定することができる。例えば、教師データに基づいて、正しい撮影部位ラベルをより高い確率で出力したり、より高画質な画像を出力したりできるパラメータ群やエポック数を設定することができる。

0070

このようなパラメータ群やエポック数の決定方法の一つを例示する。まず、教師データを構成するペア群の7割をトレーニング用とし、残りの3割を評価用としてランダムに設定する。次に、トレーニング用のペア群を用いて機械学習モデルのトレーニングを行い、トレーニングの各エポックの終了時に、評価用のペア群を用いてトレーニング評価値を算出する。トレーニング評価値とは、例えば、各ペアを構成する入力データをトレーニング中の機械学習モデルに入力したときの出力と、入力データに対応する出力データとを損失関数によって評価した値群の平均値である。最後に、最もトレーニング評価値が小さくなったときのパラメータ群及びエポック数を、当該機械学習モデルのパラメータ群やエポック数として決定する。なお、このように、教師データを構成するペア群をトレーニング用と評価用とに分けてエポック数の決定を行うことによって、機械学習モデルがトレーニング用のペア群に対して過学習してしまうことを防ぐことができる。

0071

また、高画質化エンジン(高画質化用の学習済モデル)とは、入力された低画質画像を高画質化した高画質画像を出力するモジュールのことである。ここで、本明細書における高画質化とは、入力された画像を画像診断により適した画質の画像に変換することをいい、高画質画像とは、画像診断により適した画質の画像に変換された画像をいう。また、低画質画像とは、例えば、X線撮影、CT、MRI、OCT、PET、若しくはSPECT等により取得された二次元画像や三次元画像、又は連続撮影したCTの三次元動画像等の特に高画質になるような設定をされずに撮影されたものである。具体的には、低画質画像は、例えば、X線撮影装置やCTによる低線量での撮影や、造影剤を使用しないMRIによる撮影、OCTの短時間撮影等によって取得される画像、及び少ない撮影回数で取得されたOCTA画像等を含む。

0072

また、画像診断に適した画質の内容は、各種の画像診断で何を診断したいのかということに依存する。そのため一概には言えないが、例えば、画像診断に適した画質は、ノイズが少なかったり、高コントラストであったり、撮影対象を観察しやすい色や階調で示していたり、画像サイズが大きかったり、高解像度であったりする画質を含む。また、画像生成過程で描画されてしまった実際には存在しないオブジェクトやグラデーションが画像から除去されているような画質を含むことができる。

0073

また、ノイズが少なかったり、高コントラストであったりする高画質画像を、OCTA等の画像の血管解析処理や、CTやOCT等の画像の領域セグメンテーション処理等の画像解析に利用すると、低画質画像を利用するよりも精度よく解析が行えることが多い。そのため、高画質化エンジンによって出力された高画質画像は、画像診断だけでなく、画像解析にも有用である場合がある。

0074

本実施形態における高画質化手法を構成する画像処理手法では、ディープラーニング等の各種機械学習アルゴリズムを用いた処理を行う。なお、当該画像処理手法では、機械学習アルゴリズムを用いた処理に加えて、各種画像フィルタ処理類似画像に対応する高画質画像のデータベースを用いたマッチング処理、及び知識ベース画像処理等の既存の任意の処理を行ってもよい。

0075

特に、二次元画像を高画質化するCNNの構成例として、図6に示す構成がある。当該CNNの構成には、複数の畳み込み処理ブロック100群が含まれる。畳み込み処理ブロック100は、畳み込み(Convolution)層101と、バッチ正規化(Batch Normalization)層102と、正規化線形関数(RectifierLinear Unit)を用いた活性化層103とを含む。また、当該CNNの構成には、合成(Merger)層104と、最後の畳み込み層105が含まれる。合成層104は、畳み込み処理ブロック100の出力値群と画像を構成する画素値群とを連結したり、加算したりして合成する。最後の畳み込み層105は、合成層104で合成された、高画質画像Im120を構成する画素値群を出力する。このような構成では、入力された画像Im110を構成する画素値群が畳み込み処理ブロック100群を経て出力された値群と、入力された画像Im110を構成する画素値群とが、合成層104で合成される。その後、合成された画素値群は最後の畳み込み層105で高画質画像Im120に成形される。
なお、例えば、畳み込み処理ブロック100の数を16とし、畳み込み層101群のパラメータとして、フィルタのカーネルサイズを幅3画素、高さ3画素、フィルタの数を64とすることで、一定の高画質化の効果を得られる。しかしながら、実際には上記の機械学習モデルの説明において述べた通り、機械学習モデルの利用形態に応じた教師データを用いて、より良いパラメータ群を設定することができる。なお、三次元画像や四次元画像を処理する必要がある場合には、フィルタのカーネルサイズを三次元や四次元に拡張してもよい。

0076

また、本実施形態に係る高画質化部におけるCNNの構成例の別の例として、図15を用いて説明をする。図15は、高画質化部における機械学習モデル構成の一例を示している。図15で示す構成は、入力値群を加工して出力する処理を担う、複数の層群によって構成される。なお、前記構成に含まれる層の種類としては、図15に示すように、畳み込み(Convolution)層、ダウンサンプリング(Downsampling)層、アップサンプリング(Upsampling)層、合成(Merger)層がある。畳み込み層は、設定されたフィルタのカーネルサイズ、フィルタの数、ストライドの値、ダイレーションの値等のパラメータに従い、入力値群に対して畳み込み処理を行う層である。なお、入力される画像の次元数に応じて、前記フィルタのカーネルサイズの次元数も変更してもよい。ダウンサンプリング層は、入力値群を間引いたり、合成したりすることによって、出力値群の数を入力値群の数よりも少なくする処理である。具体的には、例えば、Max Pooling処理がある。アップサンプリング層は、入力値群を複製したり、入力値群から補間した値を追加したりすることによって、出力値群の数を入力値群の数よりも多くする処理である。具体的には、例えば、線形補間処理がある。合成層は、ある層の出力値群や画像を構成する画素値群といった値群を、複数のソースから入力し、それらを連結したり、加算したりして合成する処理を行う層である。このような構成では、入力された画像Im2410を構成する画素値群が畳み込み処理ブロックを経て出力された値群と、入力された画像Im2410を構成する画素値群が、合成層で合成される。その後、合成された画素値群は最後の畳み込み層で高画質画像Im2420に成形される。なお、図示はしないが、CNNの構成の変更例として、例えば、畳み込み層の後にバッチ正規化(Batch Normalization)層や、正規化線形関数(Rectifier Linear Unit)を用いた活性化層を組み込む等をしてもよい。

0077

ここで、GPUは、データをより多く並列処理することで効率的な演算を行うことができる。このため、ディープラーニングのような学習モデルを用いて複数回に渡り学習を行う場合には、GPUで処理を行うことが有効である。そこで、本実施形態では、学習部(不図示)の一例である画像処理部101−04による処理には、CPUに加えてGPUを用いる。具体的には、学習モデルを含む学習プログラムを実行する場合に、CPUとGPUが協働して演算を行うことで学習を行う。なお、学習部の処理は、CPUまたはGPUのみにより演算が行われてもよい。また、高画質化部も、学習部と同様にGPUを用いてもよい。また、学習部は、不図示の誤差検出部と更新部とを備えてもよい。誤差検出部は、入力層に入力される入力データに応じてニューラルネットワークの出力層から出力される出力データと、正解データとの誤差を得る。誤差検出部は、損失関数を用いて、ニューラルネットワークからの出力データと正解データとの誤差を計算するようにしてもよい。また、更新部は、誤差検出部で得られた誤差に基づいて、その誤差が小さくなるように、ニューラルネットワークのノード間の結合重み付け係数等を更新する。この更新部は、例えば、誤差逆伝播法を用いて、結合重み付け係数等を更新する。誤差逆伝播法は、上記の誤差が小さくなるように、各ニューラルネットワークのノード間の結合重み付け係数等を調整する手法である。

0078

なお、CNNを用いた画像処理等、一部の画像処理手法を利用する場合には画像サイズについて注意する必要がある。具体的には、高画質画像の周辺部が十分に高画質化されない問題等の対策のため、入力する低画質画像と出力する高画質画像とで異なる画像サイズを要する場合があることに留意すべきである。

0079

明瞭な説明のため、本実施形態において明記はしないが、高画質化エンジンに入力される画像と出力される画像とで異なる画像サイズを要する高画質化エンジンを採用した場合には、適宜画像サイズを調整しているものとする。具体的には、機械学習モデルをトレーニングするための教師データに用いる画像や、高画質化エンジンに入力される画像といった入力画像に対して、パディングを行ったり、該入力画像の周辺の撮影領域を結合したりして、画像サイズを調整する。なお、パディングを行う領域は、効果的に高画質化できるように高画質化手法の特性に合わせて、一定の画素値で埋めたり、近傍画素値で埋めたり、ミラーパディングしたりする。

0080

また、高画質化手法は、一つの画像処理手法だけで実施されることもあるし、二つ以上の画像処理手法を組み合わせて実施されることもある。また、複数の高画質化手法群を並列に実施し、複数の高画質画像群を生成した上で、最も高画質な高画質画像を最終的に高画質画像として選択することもある。なお、最も高画質な高画質画像の選択は、画質評価指数を用いて自動的に行われてもよいし、任意の表示部等に備えられたユーザーインターフェースに複数の高画質画像群を表示して、検者ユーザー)の指示に応じて行われてもよい。

0081

なお、高画質化していない入力画像の方が、画像診断に適している場合もあるので、最終的な画像の選択の対象には入力画像を加えてよい。また、高画質化エンジンに対して、低画質画像とともにパラメータを入力してもよい。高画質化エンジンに対して、入力画像とともに、例えば、高画質化を行う程度を指定するパラメータや、画像処理手法に用いられる画像フィルタサイズを指定するパラメータを入力してもよい。

0082

ここで、本実施形態において、教師データの入力データは、断層画像撮影装置100と同じ機種、断層画像撮影装置100と同じ設定により取得された低画質画像である。また、教師データの出力データは、断層画像と同じ機種が備える設定や画像処理により取得された高画質画像である。具体的には、出力データは、例えば、複数回撮影することにより取得した画像(元画像)群に対して加算平均等の重ね合わせ処理を行うことにより得られる高画質画像(重ね合わせ画像)である。ここで、高画質画像と低画質画像についてOCTAのモーションコントラストデータを例として説明をする。ここで、モーションコントラストデータとは、OCTA等で用いられる、撮影対象の同一箇所を繰り返し撮影し、その撮影間における撮影対象の時間的な変化を検出したデータである。このとき、算出したモーションコントラストデータ(3次元の医用画像データの一例)のうち、撮影対象の深さ方向における所望の範囲のデータを用いて正面画像を生成することで、OCTAのEn−Face画像(モーションコントラスト正面画像)を生成することができる。なお、以下では同一箇所におけるOCTデータを繰り返し撮影することをNOR(Number Of Repeat)と呼ぶ。

0083

本実施形態において、重ね合わせ処理による高画質画像と低画質画像の生成例として異なる2種類の方法について図12を用いて説明をする。

0084

第一の方法は、高画質画像の例として、撮影対象の同一箇所を繰り返し撮影したOCTデータから生成するモーションコントラストデータに関して、図12(a)を用いて説明する。図12(a)において、Im2810は3次元のモーションコントラストデータ、Im2811は3次元のモーションコントラストデータを構成する2次元のモーションコントラストデータを示す。そして、Im2811−1〜Im2811−3は、Im2811を生成するためのOCT断層画像(Bスキャン)を示している。ここで、NORとは、図12(a)においては、Im2811−1〜Im2811−3におけるOCT断層画像の数の事を示し、図の例においてNORは3である。Im2811−1〜Im2811−3は所定の時間間隔(Δt)で撮影される。なお、同一箇所とは被検眼の正面方向(X−Y)において、1ラインの事を示し、図12(a)においては、Im2811の箇所に相当する。なお、正面方向は、深さ方向に対して交差する方向の一例である。モーションコントラストデータは時間的な変化を検出したデータであるため、このデータを生成するためには、少なくともNORは2回とする必要がある。例えば、NORが2の場合には、1つのモーションコントラストデータが生成される。NORが3の場合には、隣接する時間間隔(1回目と2回目、2回目と3回目)のOCTのみでモーションコントラストデータを生成する場合には、2つのデータが生成される。離れた時間間隔(1回目と3回目)のOCTデータも用いてモーションコントラストデータを生成する場合には、合計3つのデータが生成される。すなわち、NORを3回、4回、・・・と増やしていくと、同一箇所におけるモーションコントラストのデータ数も増加する。同一箇所を繰り返し撮影して取得した複数のモーションコントラストデータを位置合わせして加算平均等の重ね合わせ処理をすることで、高画質なモーションコントラストデータを生成することが出来る。そのため、NORを少なくとも3回以上とし、5回以上とするのが望ましい。一方、これに対応する低画質画像の例としては、加算平均等の重ね合わせ処理を行う前のモーションコントラストデータとする。この場合、低画質画像は加算平均等の重ね合わせ処理を行う際の基準画像とするのが望ましい。重ね合わせ処理をする際に、基準画像に対して対象画像の位置や形状を変形して位置合わせを行っておけば、基準画像と重ね合わせ処理後の画像とでは空間的な位置ずれがほとんどない。そのため、容易に低画質画像と高画質画像のペアとすることが出来る。なお、基準画像ではなく位置合わせの画像変形処理を行った対象画像を低画質画像としてもよい。元画像群(基準画像と対象画像)のそれぞれを入力データ、対応する重ね合わせ画像を出力データとすることで、複数のペア群を生成することができる。例えば、15の元画像群から1の重ね合わせ画像を得る場合、元画像群のうちの一つ目の元画像と重ね合わせ画像とのペア、元画像群のうちの二つ目の元画像と重ね合わせ画像とのペアを生成することができる。このように、15の元画像群から1の重ね合わせ画像を得る場合には、元画像群のうちの一つの画像と重ね合わせ画像による15のペア群が生成可能である。なお、主走査(X)方向に同一箇所を繰り返し撮影し、それを副走査(Y)方向にずらしながらスキャンをすることで3次元の高画質データを生成することが出来る。

0085

また、第二の方法は、撮影対象の同一領域を複数回撮影したモーションコントラストデータを重ね合わせ処理することで高画質画像を生成する処理に関して、図12(b)を用いて説明する。なお、同一領域とは被検眼の正面方向(X−Y)において、3×3mmや10×10mmのような領域の事を示し、断層画像の深さ方向を含めて3次元のモーションコントラストデータを取得することを意味する。同一領域を複数回撮影して重ね合わせ処理を行う際には、1回あたりの撮影を短くするため、NORは2回か3回とすることが望ましい。また、高画質な3次元モーションコントラストデータを生成するために、同一領域の3次元データを少なくとも2データ以上取得する。図12(b)では、複数の3次元モーションコントラストデータの例を示している。Im2820〜Im2840は、図12(a)で説明したのと同様に3次元のモーションコントラストデータである。これら2データ以上の3次元モーションコントラストデータを用いて、正面方向(X−Y)と深度方向(Z)の位置合わせ処理を行い、それぞれのデータにおいてアーティファクトとなるデータを除外した後に、平均化処理を行う。それによりアーティファクトの除外された1つの高画質な3次元モーションコントラストデータを生成することが出来る。3次元モーションコントラストデータから任意の平面を生成することで高画質画像となる。一方、これに対応する低画質画像は加算平均等の重ね合わせ処理を行う際の基準データから生成する任意の平面とするのが望ましい。第一の方法で説明したように、基準画像と加算平均後の画像とでは空間的な位置ずれがほとんどないため、容易に低画質画像と高画質画像のペアとすることが出来る。なお、基準データではなく位置合わせの画像変形処理を行った対象データから生成した任意の平面を低画質画像としてもよい。

0086

第一の方法は、撮影自体が1回で終了するため被験者の負担は少ない。しかし、NORの回数を増やすほど1回の撮影時間が長くなってしまう。また、撮影途中に目の混濁睫毛などのアーティファクトが入った場合には必ずしも良い画像が得られるとは限らない。第二の方法は、複数回撮影を行うため被験者の負担は少し増えてしまう。しかし、1回の撮影時間が短く済むのと、1回の撮影でアーティファクトが入ったとしても、別の撮影でアーティファクトが写らなければ最終的にはアーティファクトの少ないきれいな画像を得ることが出来る。これらの特徴を鑑みて、データを集める際には被験者の状況に合わせて任意の方法を選択する。

0087

本実施形態では、モーションコントラストデータを例として説明をしたがこれに限らない。モーションコントラストデータを生成するためにOCTデータを撮影しているため、OCTデータでも上記の方法で同じことが可能である。さらに、本実施形態においてトラッキング処理について説明を省略したが、被検眼の同一箇所や同一領域を撮影するため、被検眼のトラッキングを行いながら撮影を行うことが望ましい。

0088

本実施形態において、3次元の高画質データと低画質データのペアが出来ているため、ここから任意の2次元画像のペアを生成することが出来る。これに関して、図13を用いて説明をする。例えば、対象画像をOCTAのEn−Face画像とする場合、3次元データから所望の深度範囲でOCTAのEn−Face画像を生成する。所望の深度範囲とは、図12においてZ方向における範囲の事を示す。ここで生成するOCTAのEn−Face画像の例を図13(a)に示す。OCTAのEn−Face画像としては、表層(Im2910)、深層(Im2920)、外層(Im2930)、脈絡膜血管網(Im2940)など、異なる深度範囲で生成したOCTAのEn−Face画像を用いて学習を行う。なお、OCTAのEn−Face画像の種類はこれに限らず、基準となる層とオフセットの値を変えて異なる深度範囲を設定したOCTAのEn−Face画像を生成して種類を増やしてもよい。学習を行う際には、異なる深さのOCTAのEn−Face画像毎に別々に学習をしてもよいし、異なる深度範囲の画像を複数組み合わせて(例えば、表層側と深層側で分ける)学習してもよいし、全ての深度範囲のOCTAのEn−Face画像を一緒に学習させるようにしてもよい。OCTデータから生成する輝度のEn−Face画像の場合も、OCTAのEn−Faceと同様に、任意の深度範囲から生成した複数のEn−Face画像を用いて学習を行う。例えば、高画質化エンジンが、被検眼の異なる深度範囲に対応する複数のモーションコントラスト正面画像を含む学習データを用いて得た機械学習エンジンを含む場合を考える。このとき、取得部は、異なる深度範囲を含む長い深度範囲のうち一部の深度範囲に対応するモーションコントラスト正面画像を第1の画像として取得することができる。すなわち、学習データに含まれる複数のモーションコントラスト正面画像に対応する複数の深度範囲とは異なる深度範囲に対応するモーションコントラスト正面画像を、高画質化時の入力画像とすることができる。もちろん、学習時と同じ深度範囲のモーションコントラスト正面画像を、高画質化時の入力画像としてもよい。また、一部の深度範囲は、検者がユーザーインターフェース上の任意のボタンを押す等に応じて設定されてもよいし、自動的に設定されてもよい。なお、上述した内容は、モーションコントラスト正面画像に限るものではなく、例えば、輝度のEn−Face画像に対しても適用することができる。

0089

なお、処理対象の画像が断層画像である場合、BスキャンであるOCT断層画像やモーションコントラストデータの断層画像を用いて学習を行う。これに関して、図13(b)を用いて説明をする。図13(b)において、Im2951〜Im2953はOCTの断層画像である。図13(b)において画像が異なるのは、副走査(Y)方向の位置が異なる場所の断層画像を示しているからである。断層画像においては、副走査方向の位置の違いを気にせずに一緒に学習をするようにしてもよい。ただし、撮影部位(例えば、黄斑部中心、視神経乳頭部中心)が異なる場所を撮影した画像の場合には、部位ごとに別々に学習をするようにしてもよいし、撮影部位を気にせずに一緒に学習をするようにしてもよい。なお、OCT断層画像と、モーションコントラストデータの断層画像においては画像特徴量が大きく異なるので別々に学習を行う方がよい。

0090

重ね合わせ処理を行った重ね合わせ画像は、元画像群で共通して描出された画素が強調されるため、画像診断に適した高画質画像になる。この場合には、生成される高画質画像は、共通して描出された画素が強調された結果、低輝度領域高輝度領域との違いがはっきりした高コントラストな画像になる。また、例えば、重ね合わせ画像では、撮影毎に発生するランダムノイズが低減されたり、ある時点の元画像ではうまく描出されなかった領域が他の元画像群によって補間されたりすることができる。

0091

また、機械学習モデルの入力データを複数の画像で構成する必要がある場合には、元画像群から必要な数の元画像群を選択し、入力データとすることができる。例えば、15の元画像群から1の重ね合わせ画像を得る場合において、機械学習モデルの入力データとして2の画像が必要であれば、105(15C2=105)のペア群を生成可能である。

0092

なお、教師データを構成するペア群のうち、高画質化に寄与しないペアは教師データから取り除くことができる。例えば、教師データのペアを構成する出力データである高画質画像が画像診断に適さない画質である場合には、当該教師データを用いて学習した高画質化エンジンが出力する画像も画像診断に適さない画質になってしまう可能性がある。そのため、出力データが画像診断に適さない画質であるペアを教師データから取り除くことで、高画質化エンジンが画像診断に適さない画質の画像を生成する可能性を低減させることができる。

0093

また、ペアである画像群の平均輝度輝度分布が大きく異なる場合には、当該教師データを用いて学習した高画質化エンジンが、低画質画像と大きく異なる輝度分布を持つ画像診断に適さない画像を出力する可能性がある。このため、平均輝度や輝度分布が大きく異なる入力データと出力データのペアを教師データから取り除くこともできる。

0094

さらに、ペアである画像群に描画される撮影対象の構造や位置が大きく異なる場合には、当該教師データを用いて学習した高画質化エンジンが、低画質画像と大きく異なる構造や位置に撮影対象を描画した画像診断に適さない画像を出力する可能性がある。このため、描画される撮影対象の構造や位置が大きく異なる入力データと出力データのペアを教師データから取り除くこともできる。また、高画質化エンジンについて、品質保持の観点から、自身が出力する高画質画像を教師データとして用いないように構成することができる。

0095

このように機械学習を行った高画質化エンジンを用いることで、画像処理装置101(あるいは画像処理部101−04)における高画質化部は、一回の撮影で取得された医用画像が入力された場合に、重ね合わせ処理によって高コントラスト化やノイズ低減等が行われたような高画質画像を出力することができる。このため、高画質化部は、入力画像である低画質画像に基づいて、画像診断に適した高画質画像を生成することができる。

0096

次に、図7のフロー図を参照して、本実施形態に係る一連の画像処理について説明する。図7は本実施形態に係る一連の画像処理のフロー図である。まず、本実施形態に係る一連の画像処理が開始されると、処理はステップS510に移行する。

0097

ステップS510では、画像取得部101−01が、回路やネットワークを介して接続された断層画像撮影装置100から、断層画像撮影装置100が撮影した画像を入力画像として取得する。なお、画像取得部101−01は、断層画像撮影装置100からの要求に応じて、入力画像を取得してもよい。このような要求は、例えば、断層画像撮影装置100が画像を生成した時、断層画像撮影装置100が生成した画像を断層画像撮影装置100が備える記憶装置に保存する前や保存した後、保存された画像を表示部104に表示する時、画像解析処理に高画質画像を利用する時等に発行されてよい。

0098

なお、画像取得部101−01は、断層画像撮影装置100から画像を生成するためのデータを取得し、画像処理装置101が当該データに基づいて生成した画像を入力画像として取得してもよい。この場合、画像処理装置101が各種画像を生成するための画像生成方法としては、既存の任意の画像生成方法を採用してよい。

0099

ステップS520では、画像処理装置101における撮影条件取得部(不図示)が、入力画像の撮影条件群を取得する。具体的には、入力画像のデータ形式に応じて、入力画像を構成するデータ構造に保存された撮影条件群を取得する。なお、上述のように、入力画像に撮影条件が保存されていない場合には、撮影条件取得部は、断層画像撮影装置100や不図示の画像管理システムから撮影条件群を含む撮影情報群を取得することができる。

0100

ステップS530においては、画像処理装置101における高画質化可否判定部(不図示)が、取得された撮影条件群を用いて、画像処理装置101(あるいは画像処理部101−04)における高画質化部に備える高画質化エンジンによって入力画像を高画質化可能であるか否かを判定する。具体的には、高画質化可否判定部は、入力画像の撮影部位、撮影方式、撮影画角、及び画像サイズが、高画質化エンジンによって対処可能な条件と一致するか否かを判定する。

0101

高画質化可否判定部が、すべての撮影条件を判定し、対処可能と判定された場合には、処理はステップS540に移行する。一方、高画質化可否判定部が、これら撮影条件に基づいて、高画質化エンジンが入力画像を対処不可能であると判定した場合には、処理はステップS550に移行する。

0102

なお、画像処理装置101の設定や実装形態によっては、撮影部位、撮影方式、撮影画角、及び画像サイズのうちの一部に基づいて入力画像が処理不可能であると判定されたとしても、ステップS540における高画質化処理が実施されてもよい。例えば、高画質化エンジンが、被検者のいずれの撮影部位に対しても網羅的に対応可能であると想定され、入力データに未知の撮影部位が含まれていたとしても対処可能であるように実装されている場合等には、このような処理を行ってもよい。また、高画質化可否判定部は、所望の構成に応じて、入力画像の撮影部位、撮影方式、撮影画角、及び画像サイズのうちの少なくとも一つが高画質化エンジンによって対処可能な条件と一致するか否かを判定してもよい。

0103

ステップS540においては、高画質化部が、高画質化エンジンを用いて、入力画像を高画質化し、入力画像よりも画像診断に適した高画質画像を生成する。具体的には、高画質化部は、入力画像を高画質化エンジンに入力し、高画質化された高画質画像を生成させる。高画質化エンジンは、教師データを用いて機械学習を行った機械学習モデルに基づいて、入力画像を用いて重ね合わせ処理を行ったような高画質画像を生成する。このため、高画質化エンジンは、入力画像よりも、ノイズ低減されたり、コントラスト強調されたりした高画質画像を生成することができる。

0104

なお、画像処理装置101の設定や実装形態によっては、高画質化部が、撮影条件群に応じて、高画質化エンジンに入力画像とともにパラメータを入力して、高画質化の程度等を調節してもよい。また、高画質化部は、検者の入力に応じたパラメータを高画質化エンジンに入力画像とともに入力して高画質化の程度等を調整してもよい。

0105

ステップS550では、表示制御部101−05が、ステップS540において高画質画像が生成されていれば、高画質画像を出力して、表示部104に表示させる。一方、ステップS530において高画質化処理が不可能であるとされていた場合には、入力画像を出力し、表示部104に表示させる。なお、表示制御部101−05は、表示部104に出力画像を表示させるのに代えて、断層画像撮影装置100や他の装置に出力画像を表示させたり、記憶させたりしてもよい。また、表示制御部101−05は、画像処理装置101の設定や実装形態によっては、出力画像を断層画像撮影装置100や他の装置が利用可能なように加工したり、画像管理システム等に送信可能なようにデータ形式を変換したりしてもよい。

0106

上記のように、本実施形態に係る画像処理装置101は、画像取得部101−01と、高画質化部とを備える。画像取得部101−01は、被検者の所定部位の画像である入力画像(第1の画像)を取得する。高画質化部は、機械学習エンジンを含む高画質化エンジンを用いて、入力画像から、入力画像と比べてノイズ低減及びコントラスト強調のうちの少なくとも一つがなされた高画質画像(第2の画像)を生成する。高画質化エンジンは、重ね合わせ処理により得られた画像を学習データとした機械学習エンジンを含む。

0107

当該構成により、本実施形態に係る画像処理装置101は、入力画像から、ノイズが低減されていたり、コントラストが強調されていたりする高画質画像を出力することができる。このため、画像処理装置101は、より明瞭な画像や観察したい部位や病変が強調されている画像等の画像診断に適した画像を、従来と比べて、撮影者や被検者の侵襲性を高めたり、労力を増したりすることなく、より少ない代償で取得することができる。

0108

また、画像処理装置101は、入力画像に対して、高画質化エンジンを用いて高画質画像を生成できる否かを判定する高画質化可否判定部を更に備える。高画質化可否判定部は、入力画像の撮影部位、撮影方式、撮影画角、及び画像サイズの少なくとも一つに基づいて当該判定を行う。

0109

当該構成により、本実施形態に係る画像処理装置101は、高画質化部が処理できない入力画像を高画質化処理から省くことができ、画像処理装置101の処理負荷エラーの発生を低減させることができる。

0110

なお、本実施形態においては、表示制御部101−05は、生成された高画質画像を表示部104に表示させる構成としたが、表示制御部101−05の動作はこれに限られない。例えば、表示制御部101−05は、高画質画像を断層画像撮影装置100や画像処理装置101に接続される他の装置に出力することもできる。このため、高画質画像は、これらの装置のユーザーインターフェースに表示されたり、任意の記憶装置に保存されたり、任意の画像解析に利用されたり、画像管理システムに送信されたりすることができる。

0111

本実施形態においては、高画質化可否判定部が、高画質化エンジンによって高画質化可能な入力画像であるか否かを判定して、高画質化可能な入力画像であれば高画質化部が高画質化を行った。これに対し、断層画像撮影装置100によって、高画質化可能な撮影条件でのみ撮影が行なわれる等の場合には、断層画像撮影装置100から取得した画像を無条件に高画質化してもよい。この場合には、図8に示すように、ステップS520とステップS530の処理を省き、ステップS510の次にステップS540を実施することができる。

0112

なお、本実施形態においては、表示制御部101−05が、表示部104に高画質画像を表示させる構成とした。しかしながら、表示制御部101−05は、検者からの指示に応じて、高画質画像を表示部104に表示させてもよい。例えば、表示制御部101−05は、検者が表示部104のユーザーインターフェース上の任意のボタンを押すことに応じて、高画質画像を表示部104に表示させてもよい。この場合、表示制御部101−05は、入力画像と切り替えて高画質画像を表示させてもよいし、入力画像と並べて高画質画像を表示させてもよい。

0113

さらに、表示制御部101−05は、表示部104に高画質画像を表示させる際に、表示されている画像が機械学習アルゴリズムを用いた処理により生成された高画質画像であることを示す表示を高画質画像とともに表示させてもよい。この場合には、ユーザは、当該表示によって、表示された高画質画像が撮影によって取得した画像そのものではないことが容易に識別できるため、誤診断を低減させたり、診断効率を向上させたりすることができる。なお、機械学習アルゴリズムを用いた処理により生成された高画質画像であることを示す表示は、入力画像と当該処理により生成された高画質画像とを識別可能な表示であればどのような態様のものでもよい。

0114

また、表示制御部101−05は、機械学習アルゴリズムを用いた処理により生成された高画質画像であることを示す表示について、機械学習アルゴリズムがどのような教師データによって学習を行ったものであるかを示す表示を表示部104に表示させてもよい。当該表示としては、教師データの入力データと出力データの種類の説明や、入力データと出力データに含まれる撮影部位等の教師データに関する任意の表示を含んでよい。

0115

本実施形態に係る高画質化エンジンでは、教師データの出力データとして、重ね合わせ画像を用いたが、教師データはこれに限られない。教師データの出力データとして、高画質画像を得る手段である、重ね合わせ処理や、後述する処理群、後述する撮影方法のうち、少なくとも一つを行うことで得られる高画質画像を用いてもよい。

0116

例えば、教師データの出力データとして、元画像群に対して最大事後確率推定処理(MAP推定処理)を行うことで得られる高画質画像を用いてもよい。MAP推定処理では、複数の低画質画像における各画素値の確率密度から尤度関数を求め、求めた尤度関数を用いて真の信号値(画素値)を推定する。

0117

MAP推定処理により得られた高画質画像は、真の信号値に近い画素値に基づいて高コントラストな画像となる。また、推定される信号値は、確率密度に基づいて求められるため、MAP推定処理により得られた高画質画像では、ランダムに発生するノイズが低減される。このため、MAP推定処理により得られた高画質画像を教師データとして用いることで、高画質化エンジンは、入力画像から、ノイズが低減されたり、高コントラストとなったりした、画像診断に適した高画質画像を生成することができる。なお、教師データの入力データと出力データのペアの生成方法は、重ね合わせ画像を教師データとした場合と同様の方法で行われてよい。

0118

また、教師データの出力データとして、元画像に平滑化フィルタ処理を適用した高画質画像を用いてもよい。この場合には、高画質化エンジンは、入力画像から、ランダムノイズが低減された高画質画像を生成することができる。さらに、教師データの出力データとして、元画像に階調変換処理を適用した画像を用いてもよい。この場合には、高画質化エンジンは、入力画像から、コントラスト強調された高画質画像を生成することができる。なお、教師データの入力データと出力データのペアの生成方法は、重ね合わせ画像を教師データとした場合と同様の方法で行われてよい。

0119

なお、教師データの入力データは、断層画像撮影装置100と同じ画質傾向を持つ撮影装置から取得された画像でもよい。また、教師データの出力データは、逐次近似法等の高コストな処理によって得られた高画質画像であってもよいし、入力データに対応する被検者を、断層画像撮影装置100よりも高性能な撮影装置で撮影することで取得した高画質画像であってもよい。さらに、出力データは、ルールベースによるノイズ低減処理を行うことによって取得された高画質画像であってもよい。ここで、ノイズ低減処理は、例えば、低輝度領域内に現れた明らかにノイズである1画素のみの高輝度画素を、近傍の低輝度画素値の平均値に置き換える等の処理を含むことができる。このため、高画質化エンジンは、入力画像の撮影に用いられる撮影装置よりも高性能な撮影装置によって撮影された画像、又は入力画像の撮影工程よりも工数の多い撮影工程で取得された画像を学習データとしてもよい。例えば、高画質化エンジンは、モーションコントラスト正面画像を入力画像とする場合、入力画像のOCTA撮影に用いられるOCT撮影装置よりも高性能なOCT撮影装置によってOCTA撮影されて得た画像、又は入力画像のOCTA撮影工程よりも工数の多いOCTA撮影工程で取得されて得た画像を学習データとしてもよい。

0120

なお、本実施形態の説明では省略したが、教師データの出力データとして用いられる、複数の画像から生成された高画質画像は、位置合わせ済みの複数の画像から生成されることができる。当該位置合わせ処理としては、例えば、複数の画像のうちの一つをテンプレートとして選択し、テンプレートの位置と角度を変えながらその他の画像との類似度を求め、テンプレートとの位置ずれ量を求め、位置ずれ量に基づいて各画像を補正してよい。また、その他の既存の任意の位置合わせ処理を行ってもよい。

0121

なお、三次元画像を位置合わせする場合には、三次元画像を複数の二次元画像に分解し、二次元画像毎に位置合わせしたものを統合することで、三次元画像の位置合わせを行ってもよい。また、二次元画像を一次元画像に分解し、一次元画像毎に位置合わせしたものを統合することで、二次元画像の位置合わせを行ってもよい。なお、画像ではなく、画像を生成するためのデータに対して、これら位置合わせを行ってもよい。

0122

また、本実施形態では、高画質化可否判定部が高画質化部によって入力画像が対処可能であると判断したら、処理がステップS540に移行して、高画質化部による高画質化処理が開始された。これに対し、表示制御部101−05が高画質化可否判定部による判定結果を表示部104に表示させ、高画質化部が検者からの指示に応じて高画質化処理を開始してもよい。この際、表示制御部101−05は、判定結果とともに、入力画像や入力画像について取得した撮影部位等の撮影条件を表示部104に表示させることができる。この場合には、検者によって判定結果が正しいか否かが判断された上で、高画質化処理が行われるため、誤判定に基づく高画質化処理を低減させることができる。

0123

また、高画質化可否判定部による判定を行わず、表示制御部101−05が入力画像や入力画像について取得した撮影部位等の撮影条件を表示部104に表示させ、高画質化部が検者からの指示に応じて高画質化処理を開始してもよい。

0124

[第5の実施形態]
次に、図14を参照して、第5の実施形態に係る画像処理装置について説明する。本実施形態では、画像処理装置101(あるいは画像処理部101−04)における高画質化部での処理結果を表示制御部101−05が表示部104に表示を行う例について説明を行う。なお、本実施形態では、図14を用いて説明を行うが表示画面はこれに限らない。経過観察のように、異なる日時で得た複数の画像を並べて表示する表示画面においても同様に高画質化処理は適用可能である。また、撮影確認画面のように、検者が撮影直後に撮影成否を確認する表示画面においても同様に高画質化処理は適用可能である。

0125

特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第1の実施形態等に係る画像処理装置101と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第1の実施形態等に係る画像処理装置との違いを中心として説明する。

0126

表示制御部101−05は、高画質化部が生成した複数の高画質画像や高画質化を行っていない低画質画像を表示部104に表示させることができる。これにより、検者の指示に応じて低画質画像、高画質画像をそれぞれ出力することができる。

0127

以下、図14を参照して、当該インターフェース3400の一例を示す。3400は画面全体、3401は患者タブ、3402は撮影タブ、3403はレポートタブ、3404は設定タブを表し、3403のレポートタブにおける斜線は、レポート画面アクティブ状態を表している。本実施形態においては、レポート画面を表示する例について説明をする。Im3405はSLO画像、Im3406は、Im3407に示すOCTAのEn−Face画像をSLO画像Im3405に重畳表示している。ここでSLO画像とは、不図示のSLO(Scanning Laser Ophthalmoscope:走査型検眼鏡)光学系によって取得した眼底の正面画像である。Im3407とIm3408はOCTAのEn−Face画像、Im3409は輝度のEn−Face画像、Im3411とIm3412は断層画像を示している。3413と3414は、それぞれIm3407とIm3408に示したOCTAのEn−Face画像の上下範囲境界線を断層画像に重畳表示している。ボタン3420は、高画質化処理の実行を指定するためのボタンである。もちろん、後述するように、ボタン3420は、高画質画像の表示を指示するためのボタンであってもよい。

0128

本実施形態において、高画質化処理の実行はボタン3420を指定して行うか、データベースに保存(記憶)されている情報に基づいて実行の有無を判断する。初めに、検者からの指示に応じてボタン3420を指定することで高画質画像の表示と低画質画像の表示を切り替える例について説明をする。なお、高画質化処理の対象画像はOCTAのEn−Face画像として説明する。検者がレポートタブ3403を指定してレポート画面に遷移した際には、低画質なOCTAのEn−Face画像Im3407とIm3408を表示する。その後、検者がボタン3420を指定することで、高画質化部は画面に表示している画像Im3407とIm3408に対して高画質化処理を実行する。高画質化処理が完了後、表示制御部101−05は高画質化部が生成した高画質画像をレポート画面に表示する。なお、Im3406は、Im3407をSLO画像Im3405に重畳表示しているものであるため、Im3406も高画質化処理した画像を表示する。そして、ボタン3420の表示をアクティブ状態に変更し、高画質化処理を実行したことが分かるような表示をする。ここで、高画質化部における処理の実行は、検者がボタン3420を指定したタイミングに限る必要はない。レポート画面を開く際に表示するOCTAのEn−Face画像Im3407とIm3408の種類は事前に分かっているため、レポート画面に遷移する際に高画質化処理を実行してもよい。そして、ボタン3420が押下されたタイミングで、表示制御部101−05が高画質画像をレポート画面に表示するようにしてもよい。さらに、検者からの指示に応じて、又はレポート画面に遷移する際に高画質化処理を行う画像の種類は2種類である必要はない。表示する可能性の高い画像、例えば、図13で示したような表層(Im2910)、深層(Im2920)、外層(Im2930)、脈絡膜血管網(Im2940)などの複数のOCTAのEn−Face画像に対して処理を行うようにしてもよい。この場合、高画質化処理をして得た画像を一時的にメモリに記憶、あるいはデータベースに記憶しておくようにしてもよい。

0129

次に、データベースに保存(記憶)されている情報に基づいて高画質化処理を実行する場合について説明をする。データベースに高画質化処理の実行を行う状態が保存されている場合、レポート画面に遷移した際に、高画質化処理を実行して得た高画質画像をデフォルトで表示する。そして、ボタン3420がアクティブ状態としてデフォルトで表示されることで、検者に対しては高画質化処理を実行して得た高画質画像が表示されていることが分かるように構成することができる。検者は、高画質化処理前の低画質画像を表示したい場合には、ボタン3420を指定してアクティブ状態を解除することで、低画質画像を表示することが出来る。高画質画像に戻したい場合、検者はボタン3420を指定する。データベースへの高画質化処理の実行有無は、データベースに保存されているデータ全体に対して共通、及び撮影データ毎(検査毎)など、階層別に指定するものとする。例えば、データベース全体に対して高画質化処理を実行する状態を保存してある場合において、個別の撮影データ(個別の検査)に対して、検者が高画質化処理を実行しない状態を保存した場合、その撮影データを次回表示する際には高画質化処理を実行しない状態で表示を行う。撮影データ毎(検査毎)に高画質化処理の実行状態を保存するために、不図示のユーザーインターフェース(例えば、保存ボタン)を用いてもよい。また、他の撮影データ(他の検査)や他の患者データに遷移(例えば、検者からの指示に応じてレポート画面以外の表示画面に変更)する際に、表示状態(例えば、ボタン3420の状態)に基づいて、高画質化処理の実行を行う状態が保存されるようにしてもよい。これにより、撮影データ単位検査単位)で高画質化処理実行の有無が指定されていない場合、データベース全体に対して指定されている情報に基づいて処理を行い、撮影データ単位(検査単位)で指定されている場合には、その情報に基づいて個別に処理を実行することが出来る。

0130

本実施形態におけるOCTAのEn−Face画像として、Im3407とIm3408を表示する例を示しているが、表示するOCTAのEn−Face画像は検者の指定により変更することが可能である。そのため、高画質化処理の実行が指定されている時(ボタン3420がアクティブ状態)における画像の変更について説明をする。

0131

画像の変更は、不図示のユーザーインターフェース(例えば、コンボボックス)を用いて変更を行う。例えば、検者が画像の種類を表層から脈絡膜血管網に変更した時に、高画質化部は脈絡膜血管網画像に対して高画質化処理を実行し、表示制御部101−05は高画質化部が生成した高画質な画像をレポート画面に表示する。すなわち、表示制御部101−05は、検者からの指示に応じて、第1の深度範囲の高画質画像の表示を、第1の深度範囲とは少なくとも一部が異なる第2の深度範囲の高画質画像の表示に変更してもよい。このとき、表示制御部101−05は、検者からの指示に応じて第1の深度範囲が第2の深度範囲に変更されることにより、第1の深度範囲の高画質画像の表示を、第2の深度範囲の高画質画像の表示に変更してもよい。なお、上述したようにレポート画面遷移時に表示する可能性の高い画像に対しては、既に高画質画像が生成済みである場合、表示制御部101−05は生成済みの高画質な画像を表示すればよい。なお、画像の種類の変更方法は上記したものに限らず、基準となる層とオフセットの値を変えて異なる深度範囲を設定したOCTAのEn−Face画像を生成することも可能である。その場合、基準となる層、あるいはオフセット値が変更された時に、高画質化部は任意のOCTAのEn−Face画像に対して高画質化処理を実行し、表示制御部101−05は高画質な画像をレポート画面に表示する。基準となる層、オフセット値の変更は、不図示のユーザーインターフェース(例えば、コンボボックスやテキストボックス)を用いて行われることができる。また、断層画像Im3411とIm3412に重畳表示している境界線3413と3414のいずれかをドラッグ(層境界を移動)することで、OCTAのEn−Face画像の生成範囲を変更することが出来る。境界線をドラッグによって変更する場合、高画質化処理の実行命令が連続的に実施される。そのため、高画質化部は実行命令に対して常に処理を行ってもよいし、ドラッグによる層境界の変更後に実行するようにしてもよい。あるいは、高画質化処理の実行は連続的に命令されるが、次の命令が来た時点で前回の命令をキャンセルし、最新の命令を実行するようにしてもよい。なお、高画質化処理には比較的時間がかかる場合がある。このため、上述したどのようなタイミングで命令が実行されたとしても、高画質画像が表示されるまでに比較的時間がかかる場合がある。そこで、検者からの指示に応じてOCTAのEn−Face画像を生成するための深度範囲が設定されてから、高画質画像が表示されるまでの間、該設定された深度範囲に対応するOCTAのEn−Face画像(低画質画像)が表示されてもよい。すなわち、上記深度範囲が設定されると、該設定された深度範囲に対応するOCTAのEn−Face画像(低画質画像)が表示され、高画質化処理が終了すると、該OCTAのEn−Face画像(該低画質画像)の表示が高画質画像の表示に変更されるように構成されてもよい。また、上記深度範囲が設定されてから、高画質画像が表示されるまでの間、高画質化処理が実行されていることを示す情報が表示されてもよい。なお、これらは、高画質化処理の実行が既に指定されている状態(ボタン3420がアクティブ状態)を前提とする場合だけでなく、例えば、検者からの指示に応じて高画質化処理の実行が指示された際に、高画質画像が表示されるまでの間においても、適用することが可能である。

0132

本実施形態では、OCTAのEn−Face画像として、Im3407とIm3408に異なる層を表示し、低画質と高画質な画像は切り替えて表示する例を示したが、これに限らない。例えば、Im3407には低画質なOCTAのEn−Face画像、Im3408には高画質なOCTAのEn−Face画像を並べて表示するようにしてもよい。画像を切り替えて表示する場合には、同じ場所で画像を切り替えるので変化がある部分の比較を行いやすく、並べて表示する場合には、同時に画像を表示することが出来るので画像全体を比較しやすい。

0133

ここで、解析部101−46が、高画質化処理により生成された高画質画像を画像解析してもよい。高画質化したOCTAのEn−Face画像における画像解析としては、任意の2値化処理を適用することで、画像から血管相当の箇所(血管領域)を検出することが出来る。検出した血管相当の箇所が画像に対して占める割合を求めることで面積密度を解析することが出来る。また、2値化処理した血管相当の箇所を細線化することで、線幅1画素の画像とし、太さに依存しない血管が占める割合(スケルトン密度ともいう)を求めることも出来る。これらの画像を用いて、無血管領域(FAZ)の面積や形状(円形度など)を解析するようにしてもよい。解析の方法として、画像全体から上述した数値を計算するようにしてもよいし、不図示のユーザーインターフェースを用いて、検者(ユーザー)の指示に基づいて、指定された関心領域(ROI)に対して数値を計算するようにしてもよい。ROIの設定は必ずしも検者に指定されるだけではなく、自動的に所定の領域が指定されるものであってもよい。ここで、上述した各種パラメータは、血管に関する解析結果の一例であって、血管に関するパラメータであれば、何でもよい。なお、解析部101−46は複数の画像解析処理を行ってもよい。すなわち、ここではOCTAのEn−Face画像に関して解析する例を示したが、これだけではなく、同時にOCTにより取得された画像に対する、網膜層のセグメンテーション、層厚計測、乳頭三次元形状解析、篩状板解析などを行ってもよい。これに関連して、解析部101−46は、任意の入力装置を介した検者からの指示に応じて、複数の画像解析処理のうちの一部又は全部を行ってもよい。

0134

このとき、表示制御部101−05が、高画質化部によって生成された高画質画像及び解析部101−46による解析結果を表示部104に表示させる。なお、表示制御部101−05は高画質画像及び解析結果を別々の表示部や装置に出力してもよい。また、表示制御部101−05は、解析結果のみを表示部104に表示させてもよい。さらに、解析部101−46が複数の解析結果を出力する場合には、表示制御部101−05は、複数の解析結果の一部又は全部を表示部104やその他の装置に出力してもよい。例えば、OCTAのEn−Face画像における血管に関する解析結果を2次元マップとして表示部104に表示させてもよい。また、OCTAのEn−Face画像における血管に関する解析結果を示す値をOCTAのEn−Face画像に重畳して表示部104に表示させてもよい。このように、本実施形態に係る画像処理装置101では、画像解析に高画質画像を用いるため、解析の精度を向上させることができる。

0135

次に、画面遷移における高画質化処理の実行について、図14(a)と(b)を用いて説明を行う。図14(a)は、図14(b)におけるOCTA画像を拡大表示した画面例である。図14(a)においても、図14(b)と同様にボタン3420を表示する。図14(b)から図14(a)への画面遷移は、例えば、OCTA画像をダブルクリックすることで遷移し、図14(a)から図14(b)へは閉じるボタン3430で遷移する。なお、画面遷移に関しては、ここで示した方法に限らず、不図示のユーザーインターフェースを用いてもよい。

0136

画面遷移の際に高画質化処理の実行が指定されている場合(ボタン3420がアクティブ)、画面遷移時においてもその状態を保つ。すなわち、図14(b)の画面で高画質画像を表示している状態で図14(a)の画面に遷移する場合、図14(a)の画面においても高画質画像を表示する。そして、ボタン3420はアクティブ状態にする。図14(a)から図14(b)へ遷移する場合にも同様である。図14(a)において、ボタン3420を指定して低画質画像に表示を切り替えることもできる。

0137

画面遷移に関して、ここで示した画面に限らず、経過観察用の表示画面、又はパノラマ用の表示画面など同じ撮影データを表示する画面への遷移であれば、高画質画像の表示状態を保ったまま遷移を行う。すなわち、遷移後の表示画面において、遷移前の表示画面におけるボタン3420の状態に対応する画像が表示される。例えば、遷移前の表示画面におけるボタン3420がアクティブ状態であれば、遷移後の表示画面において高画質画像が表示される。また、例えば、遷移前の表示画面におけるボタン3420のアクティブ状態が解除されていれば、遷移後の表示画面において低画質画像が表示される。なお、経過観察用の表示画面におけるボタン3420がアクティブ状態になると、経過観察用の表示画面に並べて表示される異なる日時(異なる検査日)で得た複数の画像が高画質画像に切り換わるようにしてもよい。すなわち、経過観察用の表示画面におけるボタン3420がアクティブ状態になると、異なる日時で得た複数の画像に対して一括で反映されるように構成してもよい。

0138

ここで、経過観察用の表示画面の例を、図11に示す。検者からの指示に応じてタブ3801が選択されると、図11のように、経過観察用の表示画面が表示される。このとき、計測対象領域の深度範囲を、リストボックスに表示された既定の深度範囲セット(3802及び3803)から検者が選択することで変更できる。例えば、リストボックス3802では網膜表層が選択され、また、リストボックス3803では網膜深層が選択されている。上側の表示領域には網膜表層のモーションコントラスト画像の解析結果が表示され、また、下側の表示領域には網膜深層のモーションコントラスト画像の解析結果が表示されている。すなわち、深度範囲が選択されると、異なる日時の複数の画像について、選択された深度範囲の複数のモーションコントラスト画像の解析結果の並列表示に一括して変更される。

0139

このとき、解析結果の表示を非選択状態にすると、異なる日時の複数のモーションコントラスト画像の並列表示に一括して変更されてもよい。そして、検者からの指示に応じてボタン3420が指定されると、複数のモーションコントラスト画像の表示が複数の高画質画像の表示に一括して変更される。

0140

また、解析結果の表示が選択状態である場合には、検者からの指示に応じてボタン3420が指定されると、複数のモーションコントラスト画像の解析結果の表示が複数の高画質画像の解析結果の表示に一括して変更される。ここで、解析結果の表示は、解析結果を任意の透明度により画像に重畳表示させたものであってもよい。このとき、解析結果の表示への変更は、例えば、表示されている画像に対して任意の透明度により解析結果を重畳させた状態に変更したものであってもよい。また、解析結果の表示への変更は、例えば、解析結果と画像とを任意の透明度によりブレンド処理して得た画像(例えば、二次元マップ)の表示への変更であってもよい。

0141

また、深度範囲の指定に用いる層境界の種類とオフセット位置をそれぞれ、3805,3806のようなユーザーインターフェースから一括して変更することができる。なお、断層画像も一緒に表示させ、断層画像上に重畳された層境界データを検者からの指示に応じて移動させることにより、異なる日時の複数のモーションコントラスト画像の深度範囲を一括して変更されてもよい。このとき、異なる日時の複数の断層画像を並べて表示し、1つの断層画像上で上記移動が行われると、他の断層画像上でも同様に層境界データが移動されてもよい。また、画像投影法やプロジェクションアーティファクト抑制処理の有無を、例えば、コンテキストメニューのようなユーザーインターフェースから選択することにより変更してもよい。また、選択ボタン3807を選択して選択画面を表示させ、該選択画面上に表示された画像リストから選択された画像が表示されてもよい。なお、図11の上部に表示されている矢印3804は現在選択されている検査であることを示す印であり、基準検査(Baseline)はFollow−up撮影の際に選択した検査(図11の一番左側の画像)である。もちろん、基準検査を示すマークを表示部104に表示させてもよい。

0142

また、「Show Difference」チェックボックス3808が指定された場合には、基準画像上に基準画像に対する計測値分布マップもしくはセクタマップ)を表示する。さらに、この場合には、それ以外の検査日に対応する領域に基準画像に対して算出した計測値分布と当該領域に表示される画像に対して算出した計測分布との差分計測値マップを表示する。計測結果としては、レポート画面上にトレンドグラフ経時変化計測によって得られた各検査日の画像に対する計測値のグラフ)を表示させてもよい。すなわち、異なる日時の複数の画像に対応する複数の解析結果の時系列データ(例えば、時系列グラフ)が表示されてもよい。このとき、表示されている複数の画像に対応する複数の日時以外の日時に関する解析結果についても、表示されている複数の画像に対応する複数の解析結果と判別可能な状態で(例えば、時系列グラフ上の各点の色が画像の表示の有無で異なる)時系列データとして表示させてもよい。また、該トレンドグラフの回帰直線曲線)や対応する数式をレポート画面に表示させてもよい。

0143

本実施形態においては、モーションコントラスト画像に関して説明を行ったが、これに限らない。本実施形態に係る表示、高画質化、及び画像解析等の処理に関する画像は、断層画像でもよい。さらには、断層画像だけではなく、SLO画像、眼底写真、又は蛍光眼底写真など、異なる画像であっても構わない。その場合、高画質化処理を実行するためのユーザーインターフェースは、種類の異なる複数の画像に対して高画質化処理の実行を指示するもの、種類の異なる複数の画像から任意の画像を選択して高画質化処理の実行を指示するものがあってもよい。

0144

このような構成により、本実施形態に係る高画質化部(不図示)が処理した画像を表示制御部101−05が表示部104に表示することができる。このとき、上述したように、高画質画像の表示、解析結果の表示、表示される正面画像の深度範囲等に関する複数の条件のうち少なくとも1つが選択された状態である場合には、表示画面が遷移されても、選択された状態が維持されてもよい。

0145

また、上述したように、複数の条件のうち少なくとも1つが選択された状態である場合には、他の条件が選択された状態に変更されても、該少なくとも1つが選択された状態が維持されてもよい。例えば、表示制御部101−05は、解析結果の表示が選択状態である場合に、検者からの指示に応じて(例えば、ボタン3420が指定されると)、低画質画像の解析結果の表示を高画質画像の解析結果の表示に変更してもよい。また、表示制御部101−05は、解析結果の表示が選択状態である場合に、検者からの指示に応じて(例えば、ボタン3420の指定が解除されると)、高画質画像の解析結果の表示を低画質画像の解析結果の表示に変更してもよい。

0146

また、表示制御部101−05は、高画質画像の表示が非選択状態である場合に、検者からの指示に応じて(例えば、解析結果の表示の指定が解除されると)、低画質画像の解析結果の表示を低画質画像の表示に変更してもよい。また、表示制御部101−05は、高画質画像の表示が非選択状態である場合に、検者からの指示に応じて(例えば、解析結果の表示が指定されると)、低画質画像の表示を低画質画像の解析結果の表示に変更してもよい。また、表示制御部101−05は、高画質画像の表示が選択状態である場合に、検者からの指示に応じて(例えば、解析結果の表示の指定が解除されると)、高画質画像の解析結果の表示を高画質画像の表示に変更してもよい。また、表示制御部101−05は、高画質画像の表示が選択状態である場合に、検者からの指示に応じて(例えば、解析結果の表示が指定されると)、高画質画像の表示を高画質画像の解析結果の表示に変更してもよい。

0147

また、高画質画像の表示が非選択状態で且つ第1の種類の解析結果の表示が選択状態である場合を考える。この場合には、表示制御部101−05は、検者からの指示に応じて(例えば、第2の種類の解析結果の表示が指定されると)、低画質画像の第1の種類の解析結果の表示を低画質画像の第2の種類の解析結果の表示に変更してもよい。また、高画質画像の表示が選択状態で且つ第1の種類の解析結果の表示が選択状態である場合を考える。この場合には、表示制御部101−05は、検者からの指示に応じて(例えば、第2の種類の解析結果の表示が指定されると)、高画質画像の第1の種類の解析結果の表示を高画質画像の第2の種類の解析結果の表示に変更してもよい。

0148

なお、経過観察用の表示画面においては、上述したように、これらの表示の変更が、異なる日時で得た複数の画像に対して一括で反映されるように構成してもよい。ここで、解析結果の表示は、解析結果を任意の透明度により画像に重畳表示させたものであってもよい。このとき、解析結果の表示への変更は、例えば、表示されている画像に対して任意の透明度により解析結果を重畳させた状態に変更したものであってもよい。また、解析結果の表示への変更は、例えば、解析結果と画像とを任意の透明度によりブレンド処理して得た画像(例えば、二次元マップ)の表示への変更であってもよい。

0149

(変形例1)
上述した実施形態において、表示制御部101−05は、高画質化部によって生成された高画質画像と入力画像のうち、検者からの指示に応じて選択された画像を表示部104に表示させることができる。また、表示制御部101−05は、検者からの指示に応じて、表示部104上の表示を撮影画像(入力画像)から高画質画像に切り替えてもよい。すなわち、表示制御部101−05は、検者からの指示に応じて、低画質画像の表示を高画質画像の表示に変更してもよい。また、表示制御部101−05は、検者からの指示に応じて、高画質画像の表示を低画質画像の表示に変更してもよい。

0150

さらに、画像処理装置101(あるいは画像処理部101−04)における高画質化部が、高画質化エンジン(高画質化用の学習済モデル)による高画質化処理の開始(高画質化エンジンへの画像の入力)を検者からの指示に応じて実行し、表示制御部101−05が、高画質化部によって生成された高画質画像を表示部104に表示させてもよい。これに対し、撮影装置(断層画像撮影装置100)によって入力画像が撮影されると、高画質化エンジンが自動的に入力画像に基づいて高画質画像を生成し、表示制御部101−05が、検者からの指示に応じて高画質画像を表示部104に表示させてもよい。ここで、高画質化エンジンとは、上述した画質向上処理(高画質化処理)を行う学習済モデルを含む。

0151

なお、これらの処理は解析結果の出力についても同様に行うことができる。すなわち、表示制御部101−05は、検者からの指示に応じて、低画質画像の解析結果の表示を高画質画像の解析結果の表示に変更してもよい。また、表示制御部101−05は、検者からの指示に応じて、高画質画像の解析結果の表示を低画質画像の解析結果の表示に変更してもよい。もちろん、表示制御部101−05は、検者からの指示に応じて、低画質画像の解析結果の表示を低画質画像の表示に変更してもよい。また、表示制御部101−05は、検者からの指示に応じて、低画質画像の表示を低画質画像の解析結果の表示に変更してもよい。また、表示制御部101−05は、検者からの指示に応じて、高画質画像の解析結果の表示を高画質画像の表示に変更してもよい。また、表示制御部101−05は、検者からの指示に応じて、高画質画像の表示を高画質画像の解析結果の表示に変更してもよい。

0152

また、表示制御部101−05は、検者からの指示に応じて、低画質画像の解析結果の表示を低画質画像の他の種類の解析結果の表示に変更してもよい。また、表示制御部101−05は、検者からの指示に応じて、高画質画像の解析結果の表示を高画質画像の他の種類の解析結果の表示に変更してもよい。

0153

ここで、高画質画像の解析結果の表示は、高画質画像の解析結果を任意の透明度により高画質画像に重畳表示させたものであってもよい。また、低画質画像の解析結果の表示は、低画質画像の解析結果を任意の透明度により低画質画像に重畳表示させたものであってもよい。このとき、解析結果の表示への変更は、例えば、表示されている画像に対して任意の透明度により解析結果を重畳させた状態に変更したものであってもよい。また、解析結果の表示への変更は、例えば、解析結果と画像とを任意の透明度によりブレンド処理して得た画像(例えば、二次元マップ)の表示への変更であってもよい。

0154

また、上述した様々な実施形態において、設定される関心領域に対して実行される処理は、解析処理に限らず、例えば、画像処理であってもよい。画像処理としては、例えば、コントラスト処理、階調変換処理、超解像度処理平滑化処理等であれば、何でもよい。また、他の表示画面に遷移した後も、遷移前に設定された透過率によりブレンド処理して得たブレンド画像を表示してもよい。例えば、経過観察の表示画面に遷移した後、異なる日時に得た複数の画像として、遷移前に設定された透過率によりブレンド処理して得た複数のブレンド画像が並べて表示されてもよい。また、経過観察の表示画面にも同様のスライドバーが表示され、検者からの指示に応じて透過率が設定(変更)されると、設定された透過率が異なる日時に得た複数の画像に対して一括して反映されてもよい。すなわち、透過率が設定(変更)されると、設定された透過率によりブレンド処理して得た複数のブレンド画像が表示されてもよい。なお、ブレンド処理は、これらの表示画面に限らず、撮影確認画面、レポート画面、撮影前の各種調整用プレビュー画面(各種のライブ動画像が表示される表示画面)等の少なくとも1つの表示画面において実行可能であればよい。

0155

(変形例2)
上述した様々な実施形態及び変形例において、ブレンド処理に用いられる透過率(透過係数)は、検者からの指示だけによって設定されることに限らず、自動的に設定されてもよいし、半自動で設定されてもよい。例えば、互いに対応する領域のOCT画像及びOCTA画像の少なくとも1つ等の医用画像を入力データとし、検者からの指示に応じて設定された透過率を正解データ(教師データ)とする学習データにより機械学習して得た学習済モデルが用いられてもよい。すなわち、透過率設定部が、互いに対応する領域のOCT画像及びOCTA画像の少なくとも1つ等の医用画像から、上記学習済モデルを用いて、新たな透過率を生成するように構成されてもよい。このとき、上記学習済モデルは、例えば、検者からの指示に応じて決定(変更)された透過率を正解データとする学習データにより追加学習して得た学習済モデルであってもよい。また、上記学習済モデルは、例えば、検者からの指示に応じて該新たな透過率(学習済モデルを用いて得た透過率)から変更された透過率を正解データとする学習データにより追加学習して得た学習済モデルであってもよい。これにより、例えば、医用画像に対して検者が好む透過率の傾向が考慮された新たな透過率を取得することができる。すなわち、検者にカスタマイズされた透過率設定部を精度良く構成することができる。このため、検者の診断効率を向上することができる。なお、互いに対応する領域のOCT画像及びOCTA画像は、例えば、共通する干渉信号の少なくとも一部を用いて得られた画像であってもよい。

0156

ここで、上記学習済モデルは、学習データを用いた機械学習により得ることができる。機械学習には、例えば、多階層のニューラルネットワークから成る深層学習(Deep Learning)がある。また、多階層のニューラルネットワークの少なくとも一部には、例えば、畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)を機械学習モデルとして用いることができる。また、多階層のニューラルネットワークの少なくとも一部には、オートエンコーダ自己符号化器)に関する技術が用いられてもよい。また、学習には、バックプロパゲーション(誤差逆伝搬法)に関する技術が用いられてもよい。ただし、機械学習としては、深層学習に限らず、画像等の学習データの特徴量を学習によって自ら抽出(表現)可能なモデルを用いた学習であれば何でもよい。また、学習済モデルとは、任意の機械学習アルゴリズムによる機械学習モデルに対して、事前に適切な学習データを用いてトレーニングした(学習を行った)モデルである。ただし、学習済モデルは、それ以上の学習を行わないものではなく、追加の学習を行うこともできるものとする。また、学習データとは、入力データ及び出力データ(正解データ)のペアで構成される。ここで、学習データを教師データという場合もあるし、あるいは、正解データを教師データという場合もある。また、学習済モデルは、追加学習により更新されることで、例えば、操作者に適したモデルとしてカスタマイズされてもよい。もちろん、本変形例における学習済モデルは、追加学習して得た学習済モデルには限定されず、医用画像と透過率に関する情報とを含む学習データにより学習して得た学習済モデルであれば何でもよい。

0157

また、上述した学習済モデルは、被検者の所定部位の異なる種類の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。このとき、学習データに含まれる入力データは、例えば、眼底のモーションコントラスト正面画像及び輝度正面画像(あるいは輝度断層画像)をセットとする入力データや、眼底の断層画像(Bスキャン画像)及びカラー眼底画像(あるいは蛍光眼底画像)をセットとする入力データ等が考えられる。また、異なる種類の複数の医療画像は、異なるもモダリティ、異なる光学系、異なる原理等により取得されたものであれば何でもよい。また、上述した学習済モデルは、被検者の異なる部位の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。このとき、学習データに含まれる入力データは、例えば、眼底の断層画像(Bスキャン画像)と前眼部の断層画像(Bスキャン画像)とをセットとする入力データや、眼底の黄斑の三次元OCT画像と眼底の視神経乳頭のサークルスキャン(またはラスタースキャン)断層画像とをセットとする入力データ等が考えられる。なお、学習データに含まれる入力データは、被検者の異なる部位及び異なる種類の複数の医用画像であってもよい。このとき、学習データに含まれる入力データは、例えば、前眼部の断層画像とカラー眼底画像とをセットとする入力データ等が考えられる。また、上述した学習済モデルは、被検者の所定部位の異なる撮影画角の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。また、学習データに含まれる入力データは、パノラマ画像のように、所定部位を複数領域に時分割して得た複数の医用画像を貼り合わせたものであってもよい。また、学習データに含まれる入力データは、被検者の所定部位の異なる日時の複数の医用画像をセットとする入力データであってもよい。

0158

なお、上述した学習済モデルを用いて得た新たな透過率を初期設定として、検者からの指示に応じて、透過率を変更可能に構成してもよい。また、検者からの指示に応じて、変更された透過率を追加学習の学習データとして用いるか否かを選択可能に構成してもよい。また、ブレンド画像上でROIが設定されることにより、ROIが設定されたときに設定(変更)された透過率を追加学習の学習データとして用いることも連動して選択されるように構成されてもよい。

0159

(変形例3)
上述した様々な実施形態及び変形例における表示制御部101−05は、表示画面のレポート画面において、所望の層の層厚や各種の血管密度等の解析結果を表示させてもよい。また、視神経乳頭部、黄斑部、血管領域、神経線維束硝子体領域、黄斑領域、脈絡膜領域、強膜領域、篩状板領域網膜層境界、網膜層境界端部、視細胞血球血管壁血管内壁境界、血管外側境界、神経節細胞角膜領域隅角領域シュレム管等の少なくとも1つを含む注目部位に関するパラメータの値(分布)を解析結果として表示させてもよい。このとき、例えば、各種のアーティファクトの低減処理が適用された医用画像を解析することで、精度の良い解析結果を表示させることができる。なお、アーティファクトは、例えば、血管領域等による光吸収により生じる偽像領域や、プロジェクションアーティファクト、被検眼の状態(動き瞬き等)によって測定光の主走査方向に生じる正面画像における帯状のアーティファクト等であってもよい。また、アーティファクトは、例えば、被検者の所定部位の医用画像上に撮影毎にランダムに生じるような写損領域であれば、何でもよい。また、上述したような様々なアーティファクト(写損領域)の少なくとも1つを含む領域に関するパラメータの値(分布)を解析結果として表示させてもよい。また、ドルーゼン、新生血管、白斑硬性白斑)、シュードドルーゼン等の異常部位等の少なくとも1つを含む領域に関するパラメータの値(分布)を解析結果として表示させてもよい。
また、解析結果は、解析マップや、各分割領域に対応する統計値を示すセクタ等で表示されてもよい。なお、解析結果は、医用画像の解析結果を学習データとして学習して得た学習済モデル(解析結果生成エンジン、解析結果生成用の学習済モデル)を用いて生成されたものであってもよい。このとき、学習済モデルは、医用画像とその医用画像の解析結果とを含む学習データや、医用画像とその医用画像とは異なる種類の医用画像の解析結果とを含む学習データ等を用いた学習により得たものであってもよい。また、学習済モデルは、輝度正面画像及びモーションコントラスト正面画像のように、所定部位の異なる種類の複数の医用画像をセットとする入力データを含む学習データを用いた学習により得たものであってもよい。ここで、輝度正面画像は断層画像のEn−Face画像に対応し、モーションコントラスト正面画像はOCTAのEn−Face画像に対応する。また、高画質化用の学習済モデルにより生成された高画質画像を用いて得た解析結果が表示されるように構成されてもよい。なお、高画質化用の学習済モデルは、第一の画像を入力データとし、第一の画像よりも高画質な第二の画像を正解データとする学習データを学習して得たものであってもよい。このとき、第二の画像は、例えば、複数の第一の画像の重ね合わせ処理(例えば、位置合わせして得た複数の第一の画像の平均化処理)等によって、高コントラスト化やノイズ低減等が行われたような高画質な画像であってもよい。

0160

また、学習データに含まれる入力データとしては、高画質化用の学習済モデルにより生成された高画質画像であってもよいし、低画質画像と高画質画像とのセットであってもよい。また、学習データは、例えば、解析領域を解析して得た解析値(例えば、平均値や中央値等)、解析値を含む表、解析マップ、画像におけるセクタ等の解析領域の位置等の少なくとも1つを含む情報を(教師あり学習の)正解データとして、入力データにラベル付けアノテーション)したデータであってもよい。なお、検者からの指示に応じて、解析結果生成用の学習済モデルにより得た解析結果が表示されるように構成されてもよい。例えば、画像処理部101−04は、(高画質化用の学習済モデルとは異なる)解析結果生成用の学習済モデルを用いて、ブレンド処理される複数の医用画像のうち少なくとも一つの医用画像から、該少なくとも一つの医用画像に関連する画像解析結果を生成することができる。また、例えば、表示制御部101−05は、上記少なくとも一つの医用画像から解析結果生成用の学習済モデルを用いて得た画像解析結果を表示部104に表示させることができる。

0161

また、上述した様々な実施形態及び変形例における表示制御部101−05は、表示画面のレポート画面において、緑内障や加齢黄斑変性等の種々の診断結果を表示させてもよい。このとき、例えば、上述したような各種のアーティファクトの低減処理が適用された医用画像を解析することで、精度の良い診断結果を表示させることができる。また、診断結果としては、特定された異常部位等の位置が画像上に表示されてもよいし、また、異常部位の状態等が文字等によって表示されてもよい。また、異常部位等の分類結果(例えば、Curtin分類)が診断結果として表示されてもよい。また、分類結果としては、例えば、異常部位毎の確からしさを示す情報(例えば、割合を示す数値)が表示されてもよい。また、医師が診断を確定させる上で必要な情報が診断結果として表示されてもよい。上記必要な情報としては、例えば、追加撮影等のアドバイスが考えられる。例えば、OCTA画像における血管領域に異常部位が検出された場合には、OCTAよりも詳細に血管を観察可能な造影剤を用いた蛍光撮影を追加で行う旨が表示されてもよい。

0162

なお、診断結果は、医用画像の診断結果を学習データとして学習して得た学習済モデル(診断結果生成エンジン、診断結果生成用の学習済モデル)を用いて生成されたものであってもよい。また、学習済モデルは、医用画像とその医用画像の診断結果とを含む学習データや、医用画像とその医用画像とは異なる種類の医用画像の診断結果とを含む学習データ等を用いた学習により得たものであってもよい。また、高画質化用の学習済モデルにより生成された高画質画像を用いて得た診断結果が表示されるように構成されてもよい。例えば、画像処理部101−04は、(高画質化用の学習済モデルとは異なる)診断結果生成用の学習済モデルを用いて、ブレンド処理される複数の医用画像のうち少なくとも一つの医用画像から、該少なくとも一つの医用画像に関連する診断結果を生成することができる。また、例えば、表示制御部101−05は、上記少なくとも一つの医用画像から診断結果生成用の学習済モデルを用いて得た診断結果を表示部104に表示させることができる。

0163

また、学習データに含まれる入力データとしては、高画質化用の学習済モデルにより生成された高画質画像であってもよいし、低画質画像と高画質画像とのセットであってもよい。また、学習データは、例えば、診断名、病変(異常部位)の種類や状態(程度)、画像における病変の位置、注目領域に対する病変の位置、所見読影所見等)、診断名の根拠肯定的な医用支援情報等)、診断名を否定する根拠(否定的な医用支援情報)等の少なくとも1つを含む情報を(教師あり学習の)正解データとして、入力データにラベル付け(アノテーション)したデータであってもよい。なお、検者からの指示に応じて、診断結果生成用の学習済モデルにより得た診断結果が表示されるように構成されてもよい。

0164

また、上述した様々な実施形態及び変形例における表示制御部101−05は、表示画面のレポート画面において、上述したような注目部位、アーティファクト、異常部位等の物体認識結果(物体検出結果)やセグメンテーション結果を表示させてもよい。このとき、例えば、画像上の物体の周辺に矩形の枠等を重畳して表示させてもよい。また、例えば、画像における物体上に色等を重畳して表示させてもよい。なお、物体認識結果やセグメンテーション結果は、物体認識やセグメンテーションを示す情報を正解データとして医用画像にラベル付け(アノテーション)した学習データを学習して得た学習済モデル(物体認識エンジン、物体認識用の学習済モデル、セグメンテーションエンジン、セグメンテーション用の学習済モデル)を用いて生成されたものであってもよい。なお、上述した解析結果生成や診断結果生成は、上述した物体認識結果やセグメンテーション結果を利用することで得られたものであってもよい。例えば、物体認識やセグメンテーションの処理により得た注目部位に対して解析結果生成や診断結果生成の処理を行ってもよい。

0165

また、異常部位を検出する場合には、画像処理部101−04は、敵対的生成ネットワーク(GAN:Generative Adversarial Netwoks)や変分オートエンコーダ(VAE:Variational auto−encoder)を用いてもよい。例えば、断層画像の生成を学習して得た生成器と、生成器が生成した新たな断層画像と本物の眼底正面画像との識別を学習して得た識別器とからなるDCGAN(Deep Convolutional GAN)を機械学習モデルとして用いることができる。

0166

DCGANを用いる場合には、例えば、識別器が入力された断層画像をエンコードすることで潜在変数にし、生成器が潜在変数に基づいて新たな断層画像を生成する。その後、入力された断層画像と生成された新たな断層画像との差分を異常部位として抽出することができる。また、VAEを用いる場合には、例えば、入力された断層画像をエンコーダーによりエンコードすることで潜在変数にし、潜在変数をデコーダーによりデコードすることで新たな断層画像を生成する。その後、入力された断層画像と生成された新たな断層画像像との差分を異常部位として抽出することができる。なお、入力データの例として断層画像を例として説明したが、眼底画像や前眼の正面画像等を用いてもよい。

0167

さらに、画像処理部101−04は、畳み込みオートエンコーダ(CAE:Convolutional Auto−Encoder)を用いて、異常部位を検出してもよい。CAEを用いる場合には、学習時に入力データ及び出力データとして同じ画像を学習させる。これにより、推定時に異常部位がある画像をCAEに入力すると、学習の傾向に従って異常部位がない画像が出力される。その後、CAEに入力された画像とCAEから出力された画像の差分を異常部位として抽出することができる。なお、この場合にも、断層画像だけでなく、眼底画像や前眼の正面画像等を入力データとして用いてもよい。

0168

これらの場合、画像処理部101−04は、セグメンテーション処理等により特定した異なる領域それぞれについて敵対的生成ネットワーク又はオートエンコーダを用いて得た医用画像と、該敵対的生成ネットワーク又はオートエンコーダに入力された医用画像との差に関する情報を異常部位に関する情報として生成することができる。これにより、画像処理部101−04は、高速に精度よく異常部位を検出することが期待できる。ここで、オートエンコーダには、VAEやCAE等が含まれる。例えば、画像処理部101−04は、ブレンド処理される複数の医用画像のうち少なくとも一つの医用画像から敵対的生成ネットワーク又はオートエンコーダを用いて得た医用画像と、該少なくとも一つの医用画像との差に関する情報を、異常部位に関する情報として生成することができる。また、例えば、表示制御部101−05は、上記少なくとも一つの医用画像から敵対的生成ネットワーク又はオートエンコーダを用いて得た医用画像と、該少なくとも一つの医用画像との差に関する情報を、異常部位に関する情報として表示部104に表示させることができる。

0169

また、疾病眼では、疾病の種類に応じて画像特徴が異なる。そのため、上述した様々な実施形態や変形例において用いられる学習済モデルは、疾病の種類毎又は異常部位毎にそれぞれ生成・用意されてもよい。この場合には、例えば、画像処理装置101は、操作者からの被検眼の疾病の種類や異常部位等の入力(指示)に応じて、処理に用いる学習済モデルを選択することができる。なお、疾病の種類や異常部位毎に用意される学習済モデルは、網膜層の検出や領域ラベル画像等の生成に用いられる学習済モデルに限られず、例えば、画像の評価用のエンジンや解析用のエンジン等で用いられる学習済モデルであってもよい。このとき、画像処理装置101は、別に用意された学習済モデルを用いて、画像から被検眼の疾病の種類や異常部位を識別してもよい。この場合には、画像処理装置101は、当該別に用意された学習済モデルを用いて識別された疾病の種類や異常部位に基づいて、上記処理に用いる学習済モデルを自動的に選択することができる。なお、当該被検眼の疾病の種類や異常部位を識別するための学習済モデルは、断層画像や眼底画像等を入力データとし、疾病の種類やこれら画像における異常部位を出力データとした学習データのペアを用いて学習を行ってよい。ここで、学習データの入力データとしては、断層画像や眼底画像等を単独で入力データとしてもよいし、これらの組み合わせを入力データとしてもよい。

0170

また、特に診断結果生成用の学習済モデルは、被検者の所定部位の異なる種類の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。このとき、学習データに含まれる入力データとして、例えば、眼底のモーションコントラスト正面画像及び輝度正面画像(あるいは輝度断層画像)をセットとする入力データが考えられる。また、学習データに含まれる入力データとして、例えば、眼底の断層画像(Bスキャン画像)及びカラー眼底画像(あるいは蛍光眼底画像)をセットとする入力データ等も考えられる。また、異なる種類の複数の医療画像は、異なるモダリティ、異なる光学系、又は異なる原理等により取得されたものであれば何でもよい。

0171

また、特に診断結果生成用の学習済モデルは、被検者の異なる部位の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。このとき、学習データに含まれる入力データとして、例えば、眼底の断層画像(Bスキャン画像)と前眼部の断層画像(Bスキャン画像)とをセットとする入力データが考えられる。また、学習データに含まれる入力データとして、例えば、眼底の黄斑の三次元OCT画像(三次元断層画像)と眼底の視神経乳頭のサークルスキャン(又はラスタースキャン)断層画像とをセットとする入力データ等も考えられる。

0172

なお、学習データに含まれる入力データは、被検者の異なる部位及び異なる種類の複数の医用画像であってもよい。このとき、学習データに含まれる入力データは、例えば、前眼部の断層画像とカラー眼底画像とをセットとする入力データ等が考えられる。また、上述した学習済モデルは、被検者の所定部位の異なる撮影画角の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。また、学習データに含まれる入力データは、パノラマ画像のように、所定部位を複数領域に時分割して得た複数の医用画像を貼り合わせたものであってもよい。このとき、パノラマ画像のような広画角画像を学習データとして用いることにより、狭画角画像よりも情報量が多い等の理由から画像の特徴量を精度良く取得できる可能性があるため、各処理の結果を向上することができる。例えば、推定時(予測時)において、広画角画像における複数の位置で異常部位が検出された場合に、各異常部位の拡大画像を順次表示可能に構成させる。これにより、複数の位置における異常部位を効率よく確認することができるため、例えば、検者の利便性を向上することができる。このとき、例えば、異常部位が検出された広画角画像上の各位置を検者が選択可能に構成され、選択された位置における異常部位の拡大画像が表示されるように構成されてもよい。また、学習データに含まれる入力データは、被検者の所定部位の異なる日時の複数の医用画像をセットとする入力データであってもよい。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ