図面 (/)

技術 医用画像処理装置、医用画像処理方法及びプログラム

出願人 キヤノン株式会社
発明者 岩瀬好彦山添学内田弘樹富田律也
出願日 2019年10月3日 (1年4ヶ月経過) 出願番号 2019-183346
公開日 2020年10月8日 (4ヶ月経過) 公開番号 2020-166813
状態 未査定
技術分野 磁気共鳴イメージング装置 放射線診断機器 画像処理 イメージ分析
主要キーワード 隅角領域 差分変化 上下範囲 データ処理手法 スキャン密度 解析マップ 深層側 加算平均後
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年10月8日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

従来よりも画像診断に適した画像を生成することができる医用画像処理装置を提供する。

解決手段

医用画像処理装置は、被検者所定部位医用画像である第1の画像を取得する取得部と、医用画像の少なくとも一部の領域の状態に応じたノイズが該少なくとも一部の領域に付加された学習データを用いて得た機械学習エンジンを含む高画質化エンジンを用いて、第1の画像から、該第1の画像と比べて高画質化された第2の画像を生成する高画質化部と、を備える。

概要

背景

医療分野においては、被検者の疾患を特定したり、疾患の程度を観察したりするために、様々な撮影装置によって画像が取得され、医療従事者による画像診断が行われている。撮影装置の種類には、例えば放射線科分野では、X線撮影装置X線コンピュータ断層撮影(CT)装置、磁気共鳴イメージングMRI)装置、陽電子放出断層撮影(PET)装置、及び単一光子放射断層撮影SPECT)装置等がある。また、例えば眼科分野では、眼底カメラ走査型レーザ検眼鏡SLO)、光コヒーレンストモグラフィOCT)装置、及びOCTアンギオグラフィ(OCTA)装置がある。

画像診断を正確に行ったり、短時間で完了したりするためには、撮影装置によって取得される画像のノイズの少なさや解像度空間分解能の高さ、適切な階調といった画質の高さが重要となる。また、観察したい部位や病変が強調されている画像も役に立つことがある。

しかしながら、多くの撮影装置においては、画質が高いなどの、画像診断に適した画像を取得するためになんらかの代償が必要である。例えば、画質が高い画像を取得するために高性能な撮影装置を購入する方法があるが、低性能なものよりも多くの投資が必要になる場合が多い。

また、例えばCTでは、ノイズが少ない画像を取得するために被検者の被曝線量を増やさなければならない場合がある。また、例えばMRIでは、観察したい部位が強調された画像を取得するために副作用リスクがある造影剤を使用する場合がある。また、例えばOCTでは、撮影する領域が広かったり、高い空間分解能が必要であったりする場合には、撮影時間がより長くなる場合がある。また、例えば、一部の撮影装置では、画質が高い画像を取得するために複数回画像を取得する必要があり、その分撮影に時間がかかる。

特許文献1には、医用技術の急激な進歩や緊急時の簡易な撮影に対応するため、以前に取得した画像を、人工知能エンジンによって、より解像度の高い画像に変換する技術が開示されている。このような技術によれば、例えば、代償の少ない簡易な撮影によって取得された画像をより解像度の高い画像に変換することができる。

概要

従来よりも画像診断に適した画像を生成することができる医用画像処理装置を提供する。医用画像処理装置は、被検者の所定部位医用画像である第1の画像を取得する取得部と、医用画像の少なくとも一部の領域の状態に応じたノイズが該少なくとも一部の領域に付加された学習データを用いて得た機械学習エンジンを含む高画質化エンジンを用いて、第1の画像から、該第1の画像と比べて高画質化された第2の画像を生成する高画質化部と、を備える。

目的

本発明の目的の一つは、従来よりも画像診断に適した画像を生成することができる医用画像処理装置、医用画像処理方法及びプログラムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

被検者所定部位医用画像である第1の画像を取得する取得部と、医用画像の少なくとも一部の領域の状態に応じたノイズが該少なくとも一部の領域に付加された学習データを用いて得た機械学習エンジンを含む高画質化エンジンを用いて、前記第1の画像から、該第1の画像と比べて高画質化された第2の画像を生成する高画質化部と、を備える、医用画像処理装置

請求項2

前記高画質化エンジンは、医用画像の少なくとも一部の領域の画素値に応じた大きさのノイズが該少なくとも一部の領域に付加された学習データを用いて得た機械学習エンジンを含む、請求項1に記載の医用画像処理装置。

請求項3

前記高画質化エンジンは、互いに異なるパターンのノイズが付加された複数の医用画像をペア画像として含む学習データを用いて得た機械学習エンジンを含む、請求項1又は2に記載の医用画像処理装置。

請求項4

前記高画質化エンジンは、重ね合わせ処理により得られた医用画像に対して、互いに異なるパターンのノイズを付加して得た複数の医用画像をペア画像として含む学習データを用いて得た機械学習エンジンを含む、請求項1乃至3のいずれか一項に記載の医用画像処理装置。

請求項5

前記高画質化エンジンは、複数の医用画像に対応する複数の統計値分布に応じた大きさのノイズが該複数の医用画像に付加された複数の医用画像を含む学習データを用いて得た機械学習エンジンを含む、請求項1乃至4のいずれか一項に記載の医用画像処理装置。

請求項6

前記高画質化エンジンは、被検者の所定部位の複数の深度範囲に対応する複数の前記分布に応じた大きさのノイズを付加して得た該複数の深度範囲に対応する複数の医用画像を含む学習データを用いて得た機械学習エンジンを含む、請求項5に記載の医用画像処理装置。

請求項7

前記第1の画像は、医用画像における少なくとも一部の領域の画素値を上げるように又は下げるように補正して得た医用画像であり、前記第1の画像が画素値を上げるように補正して得た医用画像である場合には、前記第2の画像の画素値を下げるように補正が行われ、前記第1の画像が画素値を下げるように補正して得た医用画像である場合には、前記第2の画像の画素値を上げるように補正が行われる、請求項1乃至6のいずれか一項に記載の医用画像処理装置。

請求項8

前記高画質化エンジンは、高解像度化処理又は低解像度化処理によって生成された医用画像を含む学習データを用いて得た機械学習エンジンを含む、請求項1乃至7のいずれか一項に記載の医用画像処理装置。

請求項9

検者からの指示に応じて、被検者の所定部位の3次元医用画像データにおける該所定部位の深度範囲のうち一部の深度範囲を指定する指定手段を更に備え、前記取得部は、前記指定された一部の深度範囲に対応する正面画像を前記第1の画像として取得し、前記高画質化エンジンは、被検者の所定部位の複数の深度範囲に対応する複数の正面画像を含む学習データを用いて得た機械学習エンジンを含み、請求項1乃至8のいずれか一項に記載の医用画像処理装置。

請求項10

前記指定された一部の深度範囲に対応する互いに隣接する複数の正面画像の一部の領域が重複するように前記所定部位の深さ方向に交差する方向における前記所定部位の異なる位置を撮影して得た複数の前記第1の画像であって、該複数の第1の画像から得た複数の前記第2の画像を用いて広画角画像を生成する広画角画像生成部を更に備える、請求項9に記載の医用画像処理装置。

請求項11

前記高画質化エンジンは、被検者の所定部位の複数の深度範囲に対応する複数の正面画像を学習データとして学習して得た機械学習エンジンを含み、前記取得部は、被検者の所定部位の3次元データの少なくとも一部を用いて得た正面画像であって、複数の深度範囲に対応する複数の正面画像を前記第1の画像として取得し、前記高画質化部は、前記高画質化エンジンを用いて、前記第1の画像から、該第1の画像と比べて高画質化された複数の画像を前記第2の画像として生成する、請求項1乃至8のいずれか一項に記載の医用画像処理装置。

請求項12

前記高画質化エンジンは、前記複数の深度範囲のうち少なくとも2つの深度範囲それぞれに対して異なる大きさのノイズが付加された前記複数の正面画像を含む学習データを用いて得た機械学習エンジンを含む、請求項9乃至11のいずれか一項に記載の医用画像処理装置。

請求項13

被検者の所定部位の医用画像である第1の画像を取得する取得部と、機械学習エンジンを含む高画質化エンジンを用いて、前記第1の画像から、該第1の画像と比べて高画質化された第2の画像を生成する高画質化部と、前記第1の画像と前記第2の画像とのうち少なくとも一つの画像における少なくとも一部の領域に関する情報を用いて得た割合により前記第1の画像と前記第2の画像とを合成して得た合成画像を表示部に表示させる表示制御部と、を備える、医用画像処理装置。

請求項14

前記第1の画像と前記第2の画像とを合成する割合は、前記少なくとも一部の領域における画素値を前記情報として用いることにより得られる、請求項13に記載の医用画像処理装置。

請求項15

前記高画質化エンジンは、前記第1の画像のOCTA撮影に用いられるOCT撮影装置よりも高性能なOCT撮影装置によってOCTA撮影されて得た画像、又は前記第1の画像のOCTA撮影工程よりも工数の多いOCTA撮影工程で取得されて得た画像を含む学習データを用いて得た機械学習エンジンを含む、請求項1乃至14のいずれか一項に記載の医用画像処理装置。

請求項16

前記高画質化部は、前記第1の画像を複数の二次元の画像に分割して前記高画質化エンジンに入力し、前記高画質化エンジンからの複数の出力画像統合することで、前記第2の画像を生成する、請求項1乃至15のいずれか一項に記載の医用画像処理装置。

請求項17

前記高画質化エンジンは、互いの位置関係が対応する複数の医用画像をペア画像として含む学習データを用いて得た機械学習エンジンを含み、前記高画質化部は、前記ペア画像の画像サイズに対応する画像サイズで、前記第1の画像を前記複数の二次元の画像に分割して前記高画質化エンジンに入力する、請求項16に記載の医用画像処理装置。

請求項18

前記高画質化エンジンは、医用画像と該医用画像の外部の周辺とを含む領域に対して、隣接する部分領域の一部が互いに重複するように設定された複数の部分領域の画像を含む学習データを用いて得た機械学習エンジンを含む、請求項16又は17に記載の医用画像処理装置。

請求項19

前記高画質化エンジンは、重ね合わせ処理により得られた医用画像を含む学習データを用いて得た機械学習エンジンを含む、請求項1乃至18のいずれか一項に記載の医用画像処理装置。

請求項20

被検者の所定部位の医用画像である第1の画像を取得することと、医用画像の少なくとも一部の領域の状態に応じたノイズが該少なくとも一部の領域に付加された学習データを用いて得た機械学習エンジンを含む高画質化エンジンを用いて、前記第1の画像から、該第1の画像と比べて高画質化された第2の画像を生成することと、を含む、医用画像処理方法

請求項21

被検者の所定部位の医用画像である第1の画像を取得することと、機械学習エンジンを含む高画質化エンジンを用いて、前記第1の画像から、該第1の画像と比べて高画質化された第2の画像を生成することと、前記第1の画像と前記第2の画像とのうち少なくとも一つの画像における少なくとも一部の領域に関する情報を用いて得た割合により前記第1の画像と前記第2の画像とを合成して得た合成画像を表示部に表示させることと、を含む、医用画像処理方法。

請求項22

プロセッサーによって実行されると、該プロセッサーに請求項20又は21に記載の医用画像処理方法の各工程を実行させる、プログラム

技術分野

0001

本発明は、医用画像処理装置医用画像処理方法及びプログラムに関する。

背景技術

0002

医療分野においては、被検者の疾患を特定したり、疾患の程度を観察したりするために、様々な撮影装置によって画像が取得され、医療従事者による画像診断が行われている。撮影装置の種類には、例えば放射線科分野では、X線撮影装置X線コンピュータ断層撮影(CT)装置、磁気共鳴イメージングMRI)装置、陽電子放出断層撮影(PET)装置、及び単一光子放射断層撮影SPECT)装置等がある。また、例えば眼科分野では、眼底カメラ走査型レーザ検眼鏡SLO)、光コヒーレンストモグラフィOCT)装置、及びOCTアンギオグラフィ(OCTA)装置がある。

0003

画像診断を正確に行ったり、短時間で完了したりするためには、撮影装置によって取得される画像のノイズの少なさや解像度空間分解能の高さ、適切な階調といった画質の高さが重要となる。また、観察したい部位や病変が強調されている画像も役に立つことがある。

0004

しかしながら、多くの撮影装置においては、画質が高いなどの、画像診断に適した画像を取得するためになんらかの代償が必要である。例えば、画質が高い画像を取得するために高性能な撮影装置を購入する方法があるが、低性能なものよりも多くの投資が必要になる場合が多い。

0005

また、例えばCTでは、ノイズが少ない画像を取得するために被検者の被曝線量を増やさなければならない場合がある。また、例えばMRIでは、観察したい部位が強調された画像を取得するために副作用リスクがある造影剤を使用する場合がある。また、例えばOCTでは、撮影する領域が広かったり、高い空間分解能が必要であったりする場合には、撮影時間がより長くなる場合がある。また、例えば、一部の撮影装置では、画質が高い画像を取得するために複数回画像を取得する必要があり、その分撮影に時間がかかる。

0006

特許文献1には、医用技術の急激な進歩や緊急時の簡易な撮影に対応するため、以前に取得した画像を、人工知能エンジンによって、より解像度の高い画像に変換する技術が開示されている。このような技術によれば、例えば、代償の少ない簡易な撮影によって取得された画像をより解像度の高い画像に変換することができる。

先行技術

0007

特開2018−5841号公報

発明が解決しようとする課題

0008

しかしながら、解像度の高い画像であっても、画像診断に適した画像とは言えない場合もある。例えば、解像度が高い画像であっても、ノイズが多い場合やコントラストが低い場合等には観察すべき対象が適切に把握できないことがある。

0009

これに対し、本発明の目的の一つは、従来よりも画像診断に適した画像を生成することができる医用画像処理装置、医用画像処理方法及びプログラムを提供することである。

課題を解決するための手段

0010

本発明の一実施態様に係る医用画像処理装置は、被検者の所定部位医用画像である第1の画像を取得する取得部と、医用画像の少なくとも一部の領域の状態に応じたノイズが該少なくとも一部の領域に付加された学習データを用いて得た機械学習エンジンを含む高画質化エンジンを用いて、前記第1の画像から、該第1の画像と比べて高画質化された第2の画像を生成する高画質化部と、を備える。

0011

また、本発明の他の実施態様に係る医用画像処理方法は、被検者の所定部位の医用画像である第1の画像を取得することと、医用画像の少なくとも一部の領域の状態に応じたノイズが該少なくとも一部の領域に付加された学習データを用いて得た機械学習エンジンを含む高画質化エンジンを用いて、前記第1の画像から、該第1の画像と比べて高画質化された第2の画像を生成することと、を含む。

発明の効果

0012

本発明の一つによれば、従来よりも画像診断に適した画像を生成することができる。

図面の簡単な説明

0013

高画質化処理に関するニューラルネットワークの構成の一例を示す。
撮影箇所推定処理に関するニューラルネットワークの構成の一例を示す。
画像の真贋評価処理に関するニューラルネットワークの構成の一例を示す。
第1の実施形態に係る画像処理装置の概略的な構成の一例を示す。
第1の実施形態に係る画像処理の流れの一例を示すフロー図である。
第1の実施形態に係る画像処理の流れの別例を示すフロー図である。
第2の実施形態に係る画像処理の流れの一例を示すフロー図である。
第4の実施形態に係る画像処理を説明するための図である。
第4の実施形態に係る高画質化処理の流れの一例を示すフロー図である。
第5の実施形態に係る画像処理を説明するための図である。
第5の実施形態に係る高画質化処理の流れの一例を示すフロー図である。
第6の実施形態に係る画像処理を説明するための図である。
第6の実施形態に係る高画質化処理の流れの一例を示すフロー図である。
第6の実施形態に係る画像処理を説明するための図である。
第7の実施形態に係る画像処理装置の概略的な構成の一例を示す。
第7の実施形態に係る画像処理の流れの一例を示すフロー図である。
第7の実施形態に係るユーザーインターフェースの一例を示す。
第9の実施形態に係る画像処理装置の概略的な構成の一例を示す。
第9の実施形態に係る画像処理の流れの一例を示すフロー図である。
第12の実施形態に係る画像処理装置の概略的な構成の一例を示す。
第13の実施形態に係る高画質化処理の流れの一例を示すフロー図である。
第13の実施形態に係る高画質化処理の流れの別例を示すフロー図である。
第17の実施形態に係る画像処理装置の概略的な構成の一例を示す。
第17の実施形態に係る画像処理の流れの一例を示すフロー図である。
高画質化処理に関するニューラルネットワークの構成の一例を示す。
第19の実施形態に係る画像処理装置の概略的な構成の一例を示す。
第19の実施形態に係る画像処理の流れの一例を示すフロー図である。
第21の実施形態に係る画像処理の流れの一例を示すフロー図である。
高画質化処理に関する教師画像の一例を示す。
高画質化処理に関する入力画像の一例を示す。
第22の実施形態に係る画像処理装置の概略的な構成の一例を示す。
第22の実施形態に係る画像処理の流れの一例を示すフロー図である。
第22の実施形態に係る広画角画像を説明するための図である。
第23の実施形態に係る高画質化処理を説明するための図である。
第24の実施形態に係るユーザーインターフェースの一例を示す。
第25の実施形態に係る画像処理装置の概略的な構成の一例を示す。
変形例6に係る機械学習エンジンとして用いられるニューラルネットワークの構成の一例を示す。
変形例6に係る機械学習エンジンとして用いられるニューラルネットワークの構成の一例を示す。
第24の実施形態に係るユーザーインターフェースの一例を示す。
第26の実施形態に係る学習データの平均輝度分布に関する一例を示す。
第27の実施形態に係るヒストグラム平均化法によって、入力信号補正するための補正曲線の一例を示す。
第27の実施形態に係る高画質化処理の流れの一例を示すフロー図である。
第28の実施形態に係るフィルタ係数の一例を示す。
第27の実施形態に係る画像処理装置の概略的な構成の一例を示す。

実施例

0014

以下、本発明を実施するための例示的な実施形態を、図面を参照して詳細に説明する。ただし、以下の実施形態で説明する寸法、材料、形状、及び構成要素の相対的な位置等は任意であり、本発明が適用される装置の構成又は様々な条件に応じて変更できる。また、図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。

0015

<用語の説明>
まず、本明細書において用いられる用語について説明する。

0016

本明細書におけるネットワークでは、各装置は有線又は無線回線で接続されてよい。ここで、ネットワークにおける各装置を接続する回線は、例えば、専用回線ローカルエリアネットワーク(以下、LANと表記)回線、無線LAN回線インターネット回線、Wi−Fi(登録商標)、及びBluetooth(登録商標)等を含む。

0017

医用画像処理装置は、相互に通信が可能な2以上の装置によって構成されてもよいし、単一の装置によって構成されてもよい。また、医用画像処理装置の各構成要素は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等のプロセッサーによって実行されるソフトウェアモジュールにより構成されてよい。また、当該各構成要素は、ASIC等の特定の機能を果たす回路等によって構成されてもよい。また、他の任意のハードウェアと任意のソフトウェアとの組み合わせにより構成されてもよい。

0018

また、下記実施形態による医用画像処理装置又は医用画像処理方法によって処理される医用画像は、任意のモダリティ(撮影装置、撮影方法)を用いて取得された画像を含む。処理される医用画像は、任意の撮影装置等で取得された医用画像や下記実施形態による医用画像処理装置又は医用画像処理方法によって作成された画像を含むことができる。

0019

さらに、処理される医用画像は、被検者(被検体)の所定部位の画像であり、所定部位の画像は被検者の所定部位の少なくとも一部を含む。また、当該医用画像は、被検者の他の部位を含んでもよい。また、医用画像は、静止画像又は動画像であってよく、白黒画像又はカラー画像であってもよい。さらに医用画像は、所定部位の構造(形態)を表す画像でもよいし、その機能を表す画像でもよい。機能を表す画像は、例えば、OCTA画像、ドップラーOCT画像fMRI画像、及び超音波ドップラー画像等の血流動態血流量血流速度等)を表す画像を含む。なお、被検者の所定部位は、撮影対象に応じて決定されてよく、人眼(被検眼)、脳、、腸、心臓すい臓腎臓、及び肝臓等の臓器、頭部、胸部、脚部、並びに腕部等の任意の部位を含む。

0020

また、医用画像は、被検者の断層画像であってもよいし、正面画像であってもよい。正面画像は、例えば、眼底正面画像や、前眼部の正面画像、蛍光撮影された眼底画像、OCTで取得したデータ(3次元のOCTデータ)について撮影対象の深さ方向における少なくとも一部の範囲のデータを用いて生成したEn−Face画像を含む。なお、En−Face画像は、3次元のOCTAデータ(3次元のモーションコントラストデータ)について撮影対象の深さ方向における少なくとも一部の範囲のデータを用いて生成したOCTAのEn−Face画像(モーションコントラスト正面画像)であってもよい。また、3次元のOCTデータや3次元のモーションコントラストデータは、3次元の医用画像データの一例である。

0021

また、撮影装置とは、診断に用いられる画像を撮影するための装置である。撮影装置は、例えば、被検者の所定部位に光、X線等の放射線電磁波、又は超音波等を照射することにより所定部位の画像を得る装置や、被写体から放出される放射線を検出することにより所定部位の画像を得る装置を含む。より具体的には、以下の実施形態に係る撮影装置は、少なくとも、X線撮影装置、CT装置MRI装置PET装置SPECT装置、SLO装置、OCT装置、OCTA装置、眼底カメラ、及び内視鏡等を含む。

0022

なお、OCT装置としては、タイムドメインOCT(TD−OCT)装置やフーリエドメインOCT(FD−OCT)装置を含んでよい。また、フーリエドメインOCT装置はスペクトラルドメインOCT(SD−OCT)装置や波長掃引型OCT(SS−OCT)装置を含んでよい。また、SLO装置やOCT装置として、波面補償光学系を用いた波面補償SLO(AO−SLO)装置や波面補償OCT(AO−OCT)装置等を含んでよい。また、SLO装置やOCT装置として、偏光位相差や偏光解消に関する情報を可視化するための偏光SLO(PS−SLO)装置や偏光OCT(PS−OCT)装置等を含んでよい。

0023

画像管理システムは、撮影装置によって撮影された画像や画像処理された画像を受信して保存する装置及びシステムである。また、画像管理システムは、接続された装置の要求に応じて画像を送信したり、保存された画像に対して画像処理を行ったり、画像処理の要求を他の装置に要求したりすることができる。画像管理システムとしては、例えば、画像保存通信システム(PACS)を含むことができる。特に、下記実施形態に係る画像管理システムは、受信した画像とともに関連付けられた被検者の情報や撮影時間などの各種情報も保存可能なデータベースを備える。また、画像管理システムはネットワークに接続され、他の装置からの要求に応じて、画像を送受信したり、画像を変換したり、保存した画像に関連付けられた各種情報を送受信したりすることができる。

0024

撮影条件とは、撮影装置によって取得された画像の撮影時の様々な情報である。撮影条件は、例えば、撮影装置に関する情報、撮影が実施された施設に関する情報、撮影に係る検査の情報、撮影者に関する情報、及び被検者に関する情報等を含む。また、撮影条件は、例えば、撮影日時、撮影部位名、撮影領域、撮影画角撮影方式、画像の解像度や階調、画像サイズ、適用された画像フィルタ、画像のデータ形式に関する情報、及び放射線量に関する情報等を含む。なお、撮影領域には、特定の撮影部位からずれた周辺の領域や複数の撮影部位を含んだ領域等が含まれることができる。

0025

撮影条件は、画像を構成するデータ構造中に保存されていたり、画像とは別の撮影条件データとして保存されていたり、撮影装置に関連するデータベースや画像管理システムに保存されたりすることができる。そのため、撮影条件は、撮影装置の撮影条件の保存手段に対応した手順により取得することができる。具体的には、撮影条件は、例えば、撮影装置が出力した画像のデータ構造を解析したり、画像に対応する撮影条件データを取得したり、撮影装置に関連するデータベースから撮影条件を取得するためのインターフェースアクセスする等により取得される。

0026

なお、撮影装置によっては、保存されていない等の理由で取得できない撮影条件も存在する。例えば、撮影装置に特定の撮影条件を取得したり保存したりする機能が無い、又はそのような機能が無効にされている場合である。また、例えば、撮影装置や撮影に関係の無い撮影条件であるとして保存しないようになっている場合もある。さらに、例えば、撮影条件が隠蔽されていたり、暗号化されていたり、権利が無いと取得できないようになっていたりする場合等もある。ただし、保存されていない撮影条件であっても取得できる場合がある。例えば、画像解析を実施することによって、撮影部位名や撮影領域を特定することができる。

0027

機械学習モデルとは、任意の機械学習アルゴリズムに対して、事前に適切な教師データ(学習データ)を用いてトレーニング(学習)を行ったモデルである。教師データは、一つ以上の、入力データと出力データ(正解データ)とのペア群で構成される。なお、教師データを構成するペア群の入力データと出力データの形式や組み合わせは、一方が画像で他方が数値であったり、一方が複数の画像群で構成され他方が文字列であったり、双方が画像であったりする等、所望の構成に適したものであってよい。

0028

具体的には、例えば、OCTによって取得された画像と、該画像に対応する撮影部位ラベルとのペア群によって構成された教師データ(以下、第1の教師データ)が挙げられる。なお、撮影部位ラベルは部位を表すユニークな数値や文字列である。また、その他の教師データの例として、OCTの通常撮影によって取得されたノイズの多い低画質画像と、OCTにより複数回撮影して高画質化処理した高画質画像とのペア群によって構成されている教師データ(以下、第2の教師データ)等が挙げられる。

0029

機械学習モデルに入力データを入力すると、該機械学習モデルの設計に従った出力データが出力される。機械学習モデルは、例えば、教師データを用いてトレーニングされた傾向に従って、入力データに対応する可能性の高い出力データを出力する。また、機械学習モデルは、例えば、教師データを用いてトレーニングされた傾向に従って、出力データの種類のそれぞれについて、入力データに対応する可能性を数値として出力する等を行うことができる。具体的には、例えば、第1の教師データでトレーニングされた機械学習モデルにOCTによって取得された画像を入力すると、機械学習モデルは、該画像に撮影されている撮影部位の撮影部位ラベルを出力したり、撮影部位ラベル毎の確率を出力したりする。また、例えば、第2の教師データでトレーニングされた機械学習モデルにOCTの通常撮影によって取得されたノイズの多い低画質画像を入力すると、機械学習モデルは、OCTにより複数回撮影して高画質化処理された画像相当の高画質画像を出力する。なお、機械学習モデルについては、品質保持の観点から、自身が出力した出力データを教師データとして用いないように構成することができる。

0030

また、機械学習アルゴリズムは、畳み込みニューラルネットワーク(CNN)等のディープラーニングに関する手法を含む。ディープラーニングに関する手法においては、ニューラルネットワークを構成する層群ノード群に対するパラメータの設定が異なると、教師データを用いてトレーニングされた傾向を出力データに再現可能な程度が異なる場合がある。例えば、第1の教師データを用いたディープラーニングの機械学習モデルにおいては、より適切なパラメータが設定されていると、正しい撮影部位ラベルを出力する確率がより高くなる場合がある。また、例えば、第2の教師データを用いたディープラーニングの機械学習モデルにおいては、より適切なパラメータが設定されていると、より高画質な画像を出力できる場合がある。

0031

具体的には、CNNにおけるパラメータは、例えば、畳み込み層に対して設定される、フィルタカーネルサイズ、フィルタの数、ストライドの値、及びダイレーションの値、並びに全結合層の出力するノードの数等を含むことができる。なお、パラメータ群やトレーニングのエポック数は、教師データに基づいて、機械学習モデルの利用形態に好ましい値に設定することができる。例えば、教師データに基づいて、正しい撮影部位ラベルをより高い確率で出力したり、より高画質な画像を出力したりできるパラメータ群やエポック数を設定することができる。

0032

このようなパラメータ群やエポック数の決定方法の一つを例示する。まず、教師データを構成するペア群の7割をトレーニング用とし、残りの3割を評価用としてランダムに設定する。次に、トレーニング用のペア群を用いて機械学習モデルのトレーニングを行い、トレーニングの各エポックの終了時に、評価用のペア群を用いてトレーニング評価値を算出する。トレーニング評価値とは、例えば、各ペアを構成する入力データをトレーニング中の機械学習モデルに入力したときの出力と、入力データに対応する出力データとを損失関数によって評価した値群の平均値である。最後に、最もトレーニング評価値が小さくなったときのパラメータ群及びエポック数を、当該機械学習モデルのパラメータ群やエポック数として決定する。なお、このように、教師データを構成するペア群をトレーニング用と評価用とに分けてエポック数の決定を行うことによって、機械学習モデルがトレーニング用のペア群に対して過学習してしまうことを防ぐことができる。

0033

高画質化エンジン(高画質化用の学習済モデル)とは、入力された低画質画像を高画質化した高画質画像を出力するモジュールのことである。ここで、本明細書における高画質化とは、入力された画像を画像診断により適した画質の画像に変換することをいい、高画質画像とは、画像診断により適した画質の画像に変換された画像をいう。また、低画質画像とは、例えば、X線撮影、CT、MRI、OCT、PET、若しくはSPECT等により取得された二次元画像三次元画像、又は連続撮影したCTの三次元動画像等の特に高画質になるような設定をされずに撮影されたものである。具体的には、低画質画像は、例えば、X線撮影装置やCTによる低線量での撮影や、造影剤を使用しないMRIによる撮影、OCTの短時間撮影等によって取得される画像、及び少ない撮影回数で取得されたOCTA画像等を含む。

0034

また、画像診断に適した画質の内容は、各種の画像診断で何を診断したいのかということに依存する。そのため一概には言えないが、例えば、画像診断に適した画質は、ノイズが少なかったり、高コントラストであったり、撮影対象を観察しやすい色や階調で示していたり、画像サイズが大きかったり、高解像度であったりする画質を含む。また、画像生成過程で描画されてしまった実際には存在しないオブジェクトグラデーションが画像から除去されているような画質を含むことができる。

0035

また、ノイズが少なかったり、高コントラストであったりする高画質画像を、OCTA等の画像の血管解析処理や、CTやOCT等の画像の領域セグメンテーション処理等の画像解析に利用すると、低画質画像を利用するよりも精度よく解析が行えることが多い。そのため、高画質化エンジンによって出力された高画質画像は、画像診断だけでなく、画像解析にも有用である場合がある。

0036

下記の実施形態における高画質化手法を構成する画像処理手法では、ディープラーニング等の各種機械学習アルゴリズムを用いた処理を行う。なお、当該画像処理手法では、機械学習アルゴリズムを用いた処理に加えて、各種画像フィルタ処理類似画像に対応する高画質画像のデータベースを用いたマッチング処理、及び知識ベース画像処理等の既存の任意の処理を行ってもよい。

0037

特に、二次元画像を高画質化するCNNの構成例として、図1に示す構成がある。当該CNNの構成には、複数の畳み込み処理ブロック100群が含まれる。畳み込み処理ブロック100は、畳み込み(Convolution)層101と、バッチ正規化(Batch Normalization)層102と、正規化線形関数(RectifierLinear Unit)を用いた活性化層103とを含む。また、当該CNNの構成には、合成(Merger)層104と、最後の畳み込み層105が含まれる。合成層104は、畳み込み処理ブロック100の出力値群と画像を構成する画素値群とを連結したり、加算したりして合成する。最後の畳み込み層105は、合成層104で合成された、高画質画像Im120を構成する画素値群を出力する。このような構成では、入力された画像Im110を構成する画素値群が畳み込み処理ブロック100群を経て出力された値群と、入力された画像Im110を構成する画素値群とが、合成層104で合成される。その後、合成された画素値群は最後の畳み込み層105で高画質画像Im120に成形される。

0038

なお、例えば、畳み込み処理ブロック100の数を16とし、畳み込み層101群のパラメータとして、フィルタのカーネルサイズを幅3画素、高さ3画素、フィルタの数を64とすることで、一定の高画質化の効果を得られる。しかしながら、実際には上記の機械学習モデルの説明において述べた通り、機械学習モデルの利用形態に応じた教師データを用いて、より良いパラメータ群を設定することができる。なお、三次元画像や四次元画像を処理する必要がある場合には、フィルタのカーネルサイズを三次元や四次元に拡張してもよい。

0039

なお、CNNを用いた画像処理等、一部の画像処理手法を利用する場合には画像サイズについて注意する必要がある。具体的には、高画質画像の周辺部が十分に高画質化されない問題等の対策のため、入力する低画質画像と出力する高画質画像とで異なる画像サイズを要する場合があることに留意すべきである。

0040

明瞭な説明のため、後述の実施形態において明記はしないが、高画質化エンジンに入力される画像と出力される画像とで異なる画像サイズを要する高画質化エンジンを採用した場合には、適宜画像サイズを調整しているものとする。具体的には、機械学習モデルをトレーニングするための教師データに用いる画像や、高画質化エンジンに入力される画像といった入力画像に対して、パディングを行ったり、該入力画像の周辺の撮影領域を結合したりして、画像サイズを調整する。なお、パディングを行う領域は、効果的に高画質化できるように高画質化手法の特性に合わせて、一定の画素値で埋めたり、近傍画素値で埋めたり、ミラーパディングしたりする。

0041

また、高画質化手法は、一つの画像処理手法だけで実施されることもあるし、二つ以上の画像処理手法を組み合わせて実施されることもある。また、複数の高画質化手法群を並列に実施し、複数の高画質画像群を生成した上で、最も高画質な高画質画像を最終的に高画質画像として選択することもある。なお、最も高画質な高画質画像の選択は、画質評価指数を用いて自動的に行われてもよいし、任意の表示部等に備えられたユーザーインターフェースに複数の高画質画像群を表示して、検者ユーザー)の指示に応じて行われてもよい。

0042

なお、高画質化していない入力画像の方が、画像診断に適している場合もあるので、最終的な画像の選択の対象には入力画像を加えてよい。また、高画質化エンジンに対して、低画質画像とともにパラメータを入力してもよい。高画質化エンジンに対して、入力画像とともに、例えば、高画質化を行う程度を指定するパラメータや、画像処理手法に用いられる画像フィルタサイズを指定するパラメータを入力してもよい。

0043

撮影箇所推定エンジンとは、入力された画像の撮影部位や撮影領域を推定するモジュールのことである。撮影箇所推定エンジンは、入力された画像に描画されている撮影部位や撮影領域がどこであるか、又は必要な詳細レベルの撮影部位ラベルや撮影領域ラベル毎に、該撮影部位や撮影領域である確率を出力することができる。

0044

撮影部位や撮影領域は、撮影装置によっては撮影条件として保存していない、又は撮影装置が取得できず保存できていない場合がある。また、撮影部位や撮影領域が保存されていても、必要な詳細レベルの撮影部位や撮影領域が保存されていない場合もある。例えば、撮影部位として“後眼部”と保存されているだけで、詳細には“黄斑部”なのか、“視神経乳頭部”なのか、又は、“黄斑部及び視神経乳頭部”なのか、“その他”なのかが分からないことがある。また、別の例では、撮影部位として“乳房”と保存されているだけで、詳細には“右乳房”なのか、“左乳房”なのか、又は、“両方”なのかが分からないことがある。そのため、撮影箇所推定エンジンを用いることで、これらの場合に入力画像の撮影部位や撮影領域を推定することができる。

0045

撮影箇所推定エンジンの推定手法を構成する画像及びデータ処理手法では、ディープラーニング等の各種機械学習アルゴリズムを用いた処理を行う。なお、当該画像及びデータ処理手法では、機械学習アルゴリズムを用いた処理に加えて又は代えて、自然言語処理、類似画像及び類似データのデータベースを用いたマッチング処理、知識ベース処理等の既存の任意の推定処理を行ってもよい。なお、機械学習アルゴリズムを用いて構築した機械学習モデルをトレーニングする教師データは、撮影部位や撮影領域のラベルが付けられた画像とすることができる。この場合には、教師データの画像を入力データ、撮影部位や撮影領域のラベルを出力データとする。

0046

特に、二次元画像の撮影箇所を推定するCNNの構成例として、図2に示す構成がある。当該CNNの構成には、畳み込み層201とバッチ正規化層202と正規化線形関数を用いた活性化層203とで構成された複数の畳み込み処理ブロック200群が含まれる。また、当該CNNの構成には、最後の畳み込み層204と、全結合(Full Connection)層205と、出力層206が含まれる。全結合層205は畳み込み処理ブロック200の出力値群を全結合する。また、出力層206は、Softmax関数を利用して、入力画像Im210に対する、想定される撮影部位ラベル毎の確率を推定結果(Result)207として出力する。このような構成では、例えば、入力画像Im210が“黄斑部”を撮影した画像であれば、“黄斑部に対応する撮影部位ラベルについて最も高い確率が出力される。

0047

なお、例えば、畳み込み処理ブロック200の数を16、畳み込み層201群のパラメータとして、フィルタのカーネルサイズを幅3画素、高さ3画素、フィルタの数を64とすることで、一定の精度で撮影部位を推定することができる。しかしながら、実際には上記の機械学習モデルの説明において述べた通り、機械学習モデルの利用形態に応じた教師データを用いて、より良いパラメータ群を設定することができる。なお、三次元画像や四次元画像を処理する必要がある場合には、フィルタのカーネルサイズを三次元や四次元に拡張してもよい。なお、推定手法は、一つの画像及びデータ処理手法だけで実施されることもあるし、二つ以上の画像及びデータ処理手法を組み合わせて実施されることもある。

0048

画質評価エンジンとは、入力された画像に対する画質評価指数を出力するモジュールのことである。画質評価指数を算出する画質評価処理手法では、ディープラーニング等の各種機械学習アルゴリズムを用いた処理を行う。なお、当該画質評価処理手法では、画像ノイズ計測アルゴリズム、及び類似画像や基底画像に対応する画質評価指数のデータベースを用いたマッチング処理等の既存の任意の評価処理を行ってもよい。なお、これらの評価処理は、機械学習アルゴリズムを用いた処理に加えて又は代えて行われてよい。

0049

例えば、画質評価指数は機械学習アルゴリズムを用いて構築した機械学習モデルより得ることができる。この場合、機械学習モデルをトレーニングする教師データを構成するペアの入力データは、事前に様々な撮影条件によって撮影された低画質画像群と高画質画像群とで構成される画像群である。また、機械学習モデルをトレーニングする教師データを構成するペアの出力データは、例えば、画像診断を行う検者が入力データの画像群のそれぞれについて設定した画質評価指数群である。

0050

本発明の説明における真贋評価エンジンとは、入力された画像の描画を評価して、対象の撮影装置によって撮影され取得された画像か否かを、ある程度の精度で評価するモジュールである。真贋評価処理手法では、ディープラーニング等の各種機械学習アルゴリズムを用いた処理を行う。なお、真贋評価処理手法では、機械学習アルゴリズムを用いた処理に加えて又は代えて、知識ベース処理等の既存の任意の評価処理を行ってもよい。

0051

例えば、真贋評価処理は機械学習アルゴリズムを用いて構築した機械学習モデルにより実施することができる。まず、機械学習モデルの教師データについて説明する。教師データには、事前に様々な撮影条件によって撮影された高画質画像群と対象の撮影装置によって撮影され取得されたことを表すラベル(以下、真作ラベル)とのペア群が含まれる。また、教師データには、高画質化エンジン(第1レベルの高画質化エンジン)に低画質画像を入力して生成した高画質画像群と対象の撮影装置によって撮影され取得されていないことを表すラベル(以下、贋作ラベル)とのペア群が含まれる。このような教師データを用いてトレーニングした機械学習モデルは、第1レベルの高画質化エンジンが生成する高画質画像が入力されると贋作ラベルを出力する。

0052

特に、二次元画像の真贋評価処理を行うCNNの構成例として、図3に示す構成がある。当該CNNの構成には、畳み込み層301と、バッチ正規化層302と、正規化線形関数を用いた活性化層303とで構成された複数の畳み込み処理ブロック300群が含まれる。また、当該CNNの構成には、最後の畳み込み層304と、全結合層305と、出力層306が含まれる。全結合層305は、畳み込み処理ブロック300の出力値群を全結合する。また、出力層306は、Sigmoid関数を利用して、入力画像Im310に対して、真作ラベルを表す1の値(真)又は贋作ラベルを表す0の値()を、真贋評価処理の結果(Result)307として出力する。

0053

なお、畳み込み処理ブロック300の数を16、畳み込み層301群のパラメータとして、フィルタのカーネルサイズを幅3画素、高さ3画素、フィルタの数を64とすることで、一定の精度で正しい真贋評価処理の結果を得られる。しかしながら、実際には上記の機械学習モデルの説明において述べた通り、機械学習モデルの利用形態に応じた教師データを用いて、より良いパラメータ群を設定することができる。なお、三次元画像や四次元画像を処理する必要がある場合には、フィルタのカーネルサイズを三次元や四次元に拡張してもよい。

0054

真贋評価エンジンは、第1レベルの高画質化エンジンよりも高度に高画質化する高画質化エンジン(第2レベルの高画質化エンジン)が生成する高画質画像が入力されると真作ラベルを出力することがある。つまり、真贋評価エンジンは入力された画像に対し、確実に撮影装置によって撮影され取得された画像か否かを評価できるわけではないが、撮影装置によって撮影され取得された画像らしさを持つ画像か否かを評価できる。この特性を利用して、真贋評価エンジンに高画質化エンジンが生成した高画質画像を入力することで、高画質化エンジンが生成した高画質画像が十分に高画質化されているか否かを評価できる。

0055

また、高画質化エンジンの機械学習モデルと真贋評価エンジンの機械学習モデルとを協調させてトレーニングすることによって、双方のエンジンの効率や精度を向上させてもよい。この場合には、まず、高画質化エンジンが生成する高画質画像を真贋評価エンジンに評価させると真作ラベルが出力されるように、該高画質化エンジンの機械学習モデルをトレーニングする。また、並行して、高画質化エンジンが生成する画像を真贋評価エンジンに評価させると贋作ラベルを出力するように、該真贋評価エンジンの機械学習モデルをトレーニングさせる。さらに、並行して、撮影装置によって取得された画像を真贋評価エンジンに評価させると真作ラベルを出力するように、該真贋評価エンジンの機械学習モデルをトレーニングさせる。これによって、高画質化エンジンと真贋評価エンジンの効率や精度が向上する。

0056

<第1の実施形態>
以下、図4及び5を参照して、第1の実施形態による医用画像処理装置について説明する。図4は、本実施形態に係る画像処理装置の概略的な構成の一例を示す。

0057

画像処理装置400は、撮影装置10及び表示部20に、回路やネットワークを介して接続されている。また、撮影装置10及び表示部20が直接接続されていてもよい。なお、これらの装置は本実施形態では別個の装置とされているが、これらの装置の一部又は全部を一体的に構成してもよい。また、これらの装置は、他の任意の装置と回路やネットワークを介して接続されてもよいし、他の任意の装置と一体的に構成されてもよい。

0058

画像処理装置400には、取得部401と、撮影条件取得部402と、高画質化可否判定部403と、高画質化部404と、出力部405(表示制御部)とが設けられている。なお、画像処理装置400は、これら構成要素のうちの一部が設けられた複数の装置で構成されてもよい。取得部401は、撮影装置10や他の装置から各種データや画像を取得したり、不図示の入力装置を介して検者からの入力を取得したりすることができる。なお、入力装置としては、マウスキーボードタッチパネル及びその他任意の入力装置を採用してよい。また、表示部20をタッチパネルディスプレイとして構成してもよい。

0059

撮影条件取得部402は、取得部401が取得した医用画像(入力画像)の撮影条件を取得する。具体的には、医用画像のデータ形式に応じて、医用画像を構成するデータ構造に保存された撮影条件群を取得する。なお、医用画像に撮影条件が保存されていない場合には、取得部401を介して、撮影装置10や画像管理システムから撮影条件群を含む撮影情報群を取得することができる。

0060

高画質化可否判定部403は、撮影条件取得部402によって取得された撮影条件群を用いて高画質化部404によって医用画像が対処可能であるか否かを判定する。高画質化部404は、対処可能である医用画像について高画質化を行い、画像診断に適した高画質画像を生成する。出力部405は、高画質化部404が生成した高画質画像や入力画像、各種情報等を表示部20に表示させる。また、出力部405は、生成された高画質画像等を画像処理装置400に接続される記憶装置(記憶部)に記憶させてもよい。

0061

次に、高画質化部404について詳細に説明する。高画質化部404には高画質化エンジンが備えられている。本実施形態に係る高画質化エンジンの備える高画質化手法では、機械学習アルゴリズムを用いた処理を行う。

0062

本実施形態では、機械学習アルゴリズムに係る機械学習モデルのトレーニングに、処理対象として想定される特定の撮影条件を持つ低画質画像である入力データと、入力データに対応する高画質画像である出力データのペア群で構成された教師データを用いる。なお、特定の撮影条件には、具体的には、予め決定された撮影部位、撮影方式、撮影画角、及び画像サイズ等が含まれる。

0063

本実施形態において、教師データの入力データは、撮影装置10と同じ機種、撮影装置10と同じ設定により取得された低画質画像である。また、教師データの出力データは、撮影装置10と同じ機種が備える設定や画像処理により取得された高画質画像である。具体的には、出力データは、例えば、複数回撮影することにより取得した画像(元画像)群に対して加算平均等の重ね合わせ処理を行うことにより得られる高画質画像(重ね合わせ画像)である。ここで、高画質画像と低画質画像についてOCTAのモーションコントラストデータを例として説明をする。ここで、モーションコントラストデータとは、OCTA等で用いられる、撮影対象の同一箇所を繰り返し撮影し、その撮影間における撮影対象の時間的な変化を検出したデータである。このとき、算出したモーションコントラストデータ(3次元の医用画像データの一例)のうち、撮影対象の深さ方向における所望の範囲のデータを用いて正面画像を生成することで、OCTAのEn−Face画像(モーションコントラスト正面画像)を生成することができる。なお、以下では同一箇所におけるOCTデータを繰り返し撮影することをNOR(Number Of Repeat)と呼ぶ。

0064

本実施形態において、重ね合わせ処理による高画質画像と低画質画像の生成例として異なる2種類の方法について図28を用いて説明をする。

0065

第一の方法は、高画質画像の例として、撮影対象の同一箇所を繰り返し撮影したOCTデータから生成するモーションコントラストデータに関して、図28(a)を用いて説明する。図28(a)において、Im2810は3次元のモーションコントラストデータ、Im2811は3次元のモーションコントラストデータを構成する2次元のモーションコントラストデータを示す。そして、Im2811−1〜Im2811−3は、Im2811を生成するためのOCT断層画像(Bスキャン)を示している。ここで、NORとは、図28(a)においては、Im2811−1〜Im2811−3におけるOCT断層画像の数の事を示し、図の例においてNORは3である。Im2811−1〜Im2811−3は所定の時間間隔(Δt)で撮影される。なお、同一箇所とは被検眼の正面方向(X−Y)において、1ラインの事を示し、図28(a)においては、Im2811の箇所に相当する。なお、正面方向は、深さ方向に対して交差する方向の一例である。モーションコントラストデータは時間的な変化を検出したデータであるため、このデータを生成するためには、少なくともNORは2回とする必要がある。例えば、NORが2の場合には、1つのモーションコントラストデータが生成される。NORが3の場合には、隣接する時間間隔(1回目と2回目、2回目と3回目)のOCTのみでモーションコントラストデータを生成する場合には、2つのデータが生成される。離れた時間間隔(1回目と3回目)のOCTデータも用いてモーションコントラストデータを生成する場合には、合計3つのデータが生成される。すなわち、NORを3回、4回、・・・と増やしていくと、同一箇所におけるモーションコントラストのデータ数も増加する。同一箇所を繰り返し撮影して取得した複数のモーションコントラストデータを位置合わせして加算平均等の重ね合わせ処理をすることで、高画質なモーションコントラストデータを生成することが出来る。そのため、NORを少なくとも3回以上とし、5回以上とするのが望ましい。一方、これに対応する低画質画像の例としては、加算平均等の重ね合わせ処理を行う前のモーションコントラストデータとする。この場合、低画質画像は加算平均等の重ね合わせ処理を行う際の基準画像とするのが望ましい。重ね合わせ処理をする際に、基準画像に対して対象画像の位置や形状を変形して位置合わせを行っておけば、基準画像と重ね合わせ処理後の画像とでは空間的な位置ずれがほとんどない。そのため、容易に低画質画像と高画質画像のペアとすることが出来る。なお、基準画像ではなく位置合わせの画像変形処理を行った対象画像を低画質画像としてもよい。元画像群(基準画像と対象画像)のそれぞれを入力データ、対応する重ね合わせ画像を出力データとすることで、複数のペア群を生成することができる。例えば、15の元画像群から1の重ね合わせ画像を得る場合、元画像群のうちの一つ目の元画像と重ね合わせ画像とのペア、元画像群のうちの二つ目の元画像と重ね合わせ画像とのペアを生成することができる。このように、15の元画像群から1の重ね合わせ画像を得る場合には、元画像群のうちの一つの画像と重ね合わせ画像による15のペア群が生成可能である。なお、主走査(X)方向に同一箇所を繰り返し撮影し、それを副走査(Y)方向にずらしながらスキャンをすることで3次元の高画質データを生成することが出来る。

0066

第二の方法は、撮影対象の同一領域を複数回撮影したモーションコントラストデータを重ね合わせ処理することで高画質画像を生成する処理に関して、図28(b)を用いて説明する。なお、同一領域とは被検眼の正面方向(X−Y)において、3×3mmや10×10mmのような領域の事を示し、断層画像の深さ方向を含めて3次元のモーションコントラストデータを取得することを意味する。同一領域を複数回撮影して重ね合わせ処理を行う際には、1回あたりの撮影を短くするため、NORは2回か3回とすることが望ましい。また、高画質な3次元モーションコントラストデータを生成するために、同一領域の3次元データを少なくとも2データ以上取得する。図28(b)では、複数の3次元モーションコントラストデータの例を示している。Im2820〜Im2840は、図28(a)で説明したのと同様に3次元のモーションコントラストデータである。これら2データ以上の3次元モーションコントラストデータを用いて、正面方向(X−Y)と深度方向(Z)の位置合わせ処理を行い、それぞれのデータにおいてアーティファクトとなるデータを除外した後に、平均化処理を行う。それによりアーティファクトの除外された1つの高画質な3次元モーションコントラストデータを生成することが出来る。3次元モーションコントラストデータから任意の平面を生成することで高画質画像となる。一方、これに対応する低画質画像は加算平均等の重ね合わせ処理を行う際の基準データから生成する任意の平面とするのが望ましい。第一の方法で説明したように、基準画像と加算平均後の画像とでは空間的な位置ずれがほとんどないため、容易に低画質画像と高画質画像のペアとすることが出来る。なお、基準データではなく位置合わせの画像変形処理を行った対象データから生成した任意の平面を低画質画像としてもよい。

0067

第一の方法は、撮影自体が1回で終了するため被験者の負担は少ない。しかし、NORの回数を増やすほど1回の撮影時間が長くなってしまう。また、撮影途中に目の混濁睫毛などのアーティファクトが入った場合には必ずしも良い画像が得られるとは限らない。第二の方法は、複数回撮影を行うため被験者の負担は少し増えてしまう。しかし、1回の撮影時間が短く済むのと、1回の撮影でアーティファクトが入ったとしても、別の撮影でアーティファクトが写らなければ最終的にはアーティファクトの少ないきれいな画像を得ることが出来る。これらの特徴を鑑みて、データを集める際には被験者の状況に合わせて任意の方法を選択する。

0068

本実施形態では、モーションコントラストデータを例として説明をしたがこれに限らない。モーションコントラストデータを生成するためにOCTデータを撮影しているため、OCTデータでも上記の方法で同じことが可能である。さらに、本実施形態においてトラッキング処理について説明を省略したが、被検眼の同一箇所や同一領域を撮影するため、被検眼のトラッキングを行いながら撮影を行うことが望ましい。

0069

本実施形態において、3次元の高画質データと低画質データのペアが出来ているため、ここから任意の2次元画像のペアを生成することが出来る。これに関して、図29を用いて説明をする。例えば、対象画像をOCTAのEn−Face画像とする場合、3次元データから所望の深度範囲でOCTAのEn−Face画像を生成する。所望の深度範囲とは、図28においてZ方向における範囲の事を示す。ここで生成するOCTAのEn−Face画像の例を図29(a)に示す。OCTAのEn−Face画像としては、表層(Im2910)、深層(Im2920)、外層(Im2930)、脈絡膜血管網(Im2940)など、異なる深度範囲で生成したOCTAのEn−Face画像を用いて学習を行う。なお、OCTAのEn−Face画像の種類はこれに限らず、基準となる層とオフセットの値を変えて異なる深度範囲を設定したOCTAのEn−Face画像を生成して種類を増やしてもよい。学習を行う際には、異なる深さのOCTAのEn−Face画像毎に別々に学習をしてもよいし、異なる深度範囲の画像を複数組み合わせて(例えば、表層側深層側で分ける)学習してもよいし、全ての深度範囲のOCTAのEn−Face画像を一緒に学習させるようにしてもよい。OCTデータから生成する輝度のEn−Face画像の場合も、OCTAのEn−Faceと同様に、任意の深度範囲から生成した複数のEn−Face画像を用いて学習を行う。例えば、高画質化エンジンが、被検眼の異なる深度範囲(複数の深度範囲)に対応する複数のモーションコントラスト正面画像を含む学習データを用いて得た機械学習エンジンを含む場合を考える。このとき、取得部は、異なる深度範囲(複数の深度範囲)を含む長い深度範囲のうち一部の深度範囲に対応するモーションコントラスト正面画像を第1の画像として取得することができる。すなわち、学習データに含まれる複数のモーションコントラスト正面画像に対応する複数の深度範囲とは異なる深度範囲に対応するモーションコントラスト正面画像を、高画質化時の入力画像とすることができる。もちろん、学習時と同じ深度範囲のモーションコントラスト正面画像を、高画質化時の入力画像としてもよい。また、一部の深度範囲は、検者がユーザーインターフェース上の任意のボタンを押す等に応じて設定されてもよいし、自動的に設定されてもよい。また、高画質化時において、複数の深度範囲に対応する複数のモーションコントラスト正面画像が共通の高画質化エンジンに対する入力画像であってもよく、このとき、入力画像に比べて高画質化された複数の画像が生成されるように構成することができる。なお、上述した内容は、モーションコントラスト正面画像に限るものではなく、例えば、輝度のEn−Face画像に対しても適用することができる。

0070

なお、処理対象の画像が断層画像である場合、BスキャンであるOCT断層画像やモーションコントラストデータの断層画像を用いて学習を行う。これに関して、図29(b)を用いて説明をする。図29(b)において、Im2951〜Im2953はOCTの断層画像である。図29(b)において画像が異なるのは、副走査(Y)方向の位置が異なる場所の断層画像を示しているからである。断層画像においては、副走査方向の位置の違いを気にせずに一緒に学習をするようにしてもよい。ただし、撮影部位(例えば、黄斑部中心、視神経乳頭部中心)が異なる場所を撮影した画像の場合には、部位ごとに別々に学習をするようにしてもよいし、撮影部位を気にせずに一緒に学習をするようにしてもよい。なお、OCT断層画像と、モーションコントラストデータの断層画像においては画像特徴量が大きく異なるので別々に学習を行う方がよい。

0071

重ね合わせ処理を行った重ね合わせ画像は、元画像群で共通して描出された画素が強調されるため、画像診断に適した高画質画像になる。この場合には、生成される高画質画像は、共通して描出された画素が強調された結果、低輝度領域高輝度領域との違いがはっきりした高コントラストな画像になる。また、例えば、重ね合わせ画像では、撮影毎に発生するランダムノイズが低減されたり、ある時点の元画像ではうまく描出されなかった領域が他の元画像群によって補間されたりすることができる。

0072

また、機械学習モデルの入力データを複数の画像で構成する必要がある場合には、元画像群から必要な数の元画像群を選択し、入力データとすることができる。例えば、15の元画像群から1の重ね合わせ画像を得る場合において、機械学習モデルの入力データとして2の画像が必要であれば、105(15C2=105)のペア群を生成可能である。

0073

なお、教師データを構成するペア群のうち、高画質化に寄与しないペアは教師データから取り除くことができる。例えば、教師データのペアを構成する出力データである高画質画像が画像診断に適さない画質である場合には、当該教師データを用いて学習した高画質化エンジンが出力する画像も画像診断に適さない画質になってしまう可能性がある。そのため、出力データが画像診断に適さない画質であるペアを教師データから取り除くことで、高画質化エンジンが画像診断に適さない画質の画像を生成する可能性を低減させることができる。

0074

また、ペアである画像群の平均輝度や輝度分布が大きく異なる場合には、当該教師データを用いて学習した高画質化エンジンが、低画質画像と大きく異なる輝度分布を持つ画像診断に適さない画像を出力する可能性がある。このため、平均輝度や輝度分布が大きく異なる入力データと出力データのペアを教師データから取り除くこともできる。

0075

さらに、ペアである画像群に描画される撮影対象の構造や位置が大きく異なる場合には、当該教師データを用いて学習した高画質化エンジンが、低画質画像と大きく異なる構造や位置に撮影対象を描画した画像診断に適さない画像を出力する可能性がある。このため、描画される撮影対象の構造や位置が大きく異なる入力データと出力データのペアを教師データから取り除くこともできる。また、高画質化エンジンについて、品質保持の観点から、自身が出力する高画質画像を教師データとして用いないように構成することができる。

0076

このように機械学習を行った高画質化エンジンを用いることで、高画質化部404は、一回の撮影で取得された医用画像が入力された場合に、重ね合わせ処理によって高コントラスト化やノイズ低減等が行われたような高画質画像を出力することができる。このため、高画質化部404は、入力画像である低画質画像に基づいて、画像診断に適した高画質画像を生成することができる。

0077

次に、図5のフロー図を参照して、本実施形態に係る一連の画像処理について説明する。図5は本実施形態に係る一連の画像処理のフロー図である。まず、本実施形態に係る一連の画像処理が開始されると、処理はステップS510に移行する。

0078

ステップS510では、取得部401が、回路やネットワークを介して接続された撮影装置10から、撮影装置10が撮影した画像を入力画像として取得する。なお、取得部401は、撮影装置10からの要求に応じて、入力画像を取得してもよい。このような要求は、例えば、撮影装置10が画像を生成した時、撮影装置10が生成した画像を撮影装置10が備える記憶装置に保存する前や保存した後、保存された画像を表示部20に表示する時、画像解析処理に高画質画像を利用する時等に発行されてよい。

0079

なお、取得部401は、撮影装置10から画像を生成するためのデータを取得し、画像処理装置400が当該データに基づいて生成した画像を入力画像として取得してもよい。この場合、画像処理装置400が各種画像を生成するための画像生成方法としては、既存の任意の画像生成方法を採用してよい。

0080

ステップS520では、撮影条件取得部402が、入力画像の撮影条件群を取得する。具体的には、入力画像のデータ形式に応じて、入力画像を構成するデータ構造に保存された撮影条件群を取得する。なお、上述のように、入力画像に撮影条件が保存されていない場合には、撮影条件取得部402は、撮影装置10や不図示の画像管理システムから撮影条件群を含む撮影情報群を取得することができる。

0081

ステップS530においては、高画質化可否判定部403が、取得された撮影条件群を用いて、高画質化部404に備える高画質化エンジンによって入力画像を高画質化可能であるか否かを判定する。具体的には、高画質化可否判定部403は、入力画像の撮影部位、撮影方式、撮影画角、及び画像サイズが、高画質化エンジンによって対処可能な条件と一致するか否かを判定する。

0082

高画質化可否判定部403が、すべての撮影条件を判定し、対処可能と判定された場合には、処理はステップS540に移行する。一方、高画質化可否判定部403が、これら撮影条件に基づいて、高画質化エンジンが入力画像を対処不可能であると判定した場合には、処理はステップS550に移行する。

0083

なお、画像処理装置400の設定や実装形態によっては、撮影部位、撮影方式、撮影画角、及び画像サイズのうちの一部に基づいて入力画像が処理不可能であると判定されたとしても、ステップS540における高画質化処理が実施されてもよい。例えば、高画質化エンジンが、被検者のいずれの撮影部位に対しても網羅的に対応可能であると想定され、入力データに未知の撮影部位が含まれていたとしても対処可能であるように実装されている場合等には、このような処理を行ってもよい。また、高画質化可否判定部403は、所望の構成に応じて、入力画像の撮影部位、撮影方式、撮影画角、及び画像サイズのうちの少なくとも一つが高画質化エンジンによって対処可能な条件と一致するか否かを判定してもよい。

0084

ステップS540においては、高画質化部404が、高画質化エンジンを用いて、入力画像を高画質化し、入力画像よりも画像診断に適した高画質画像を生成する。具体的には、高画質化部404は、入力画像を高画質化エンジンに入力し、高画質化された高画質画像を生成させる。高画質化エンジンは、教師データを用いて機械学習を行った機械学習モデルに基づいて、入力画像を用いて重ね合わせ処理を行ったような高画質画像を生成する。このため、高画質化エンジンは、入力画像よりも、ノイズ低減されたり、コントラスト強調されたりした高画質画像を生成することができる。

0085

なお、画像処理装置400の設定や実装形態によっては、高画質化部404が、撮影条件群に応じて、高画質化エンジンに入力画像とともにパラメータを入力して、高画質化の程度等を調節してもよい。また、高画質化部404は、検者の入力に応じたパラメータを高画質化エンジンに入力画像とともに入力して高画質化の程度等を調整してもよい。

0086

ステップS550では、出力部405が、ステップS540において高画質画像が生成されていれば、高画質画像を出力して、表示部20に表示させる。一方、ステップS530において高画質化処理が不可能であるとされていた場合には、入力画像を出力し、表示部20に表示させる。なお、出力部405は、表示部20に出力画像を表示させるのに代えて、撮影装置10や他の装置に出力画像を表示させたり、記憶させたりしてもよい。また、出力部405は、画像処理装置400の設定や実装形態によっては、出力画像を撮影装置10や他の装置が利用可能なように加工したり、画像管理システム等に送信可能なようにデータ形式を変換したりしてもよい。

0087

上記のように、本実施形態に係る画像処理装置400は、取得部401と、高画質化部404とを備える。取得部401は、被検者の所定部位の画像である入力画像(第1の画像)を取得する。高画質化部404は、機械学習エンジンを含む高画質化エンジンを用いて、入力画像から、入力画像と比べてノイズ低減及びコントラスト強調のうちの少なくとも一つがなされた高画質画像(第2の画像)を生成する。高画質化エンジンは、重ね合わせ処理により得られた画像を学習データとした機械学習エンジンを含む。

0088

当該構成により、本実施形態に係る画像処理装置400は、入力画像から、ノイズが低減されていたり、コントラストが強調されていたりする高画質画像を出力することができる。このため、画像処理装置400は、より明瞭な画像や観察したい部位や病変が強調されている画像等の画像診断に適した画像を、従来と比べて、撮影者や被検者の侵襲性を高めたり、労力を増したりすることなく、より少ない代償で取得することができる。

0089

また、画像処理装置400は、入力画像に対して、高画質化エンジンを用いて高画質画像を生成できる否かを判定する高画質化可否判定部403を更に備える。高画質化可否判定部403は、入力画像の撮影部位、撮影方式、撮影画角、及び画像サイズの少なくとも一つに基づいて当該判定を行う。

0090

当該構成により、本実施形態に係る画像処理装置400は、高画質化部404が処理できない入力画像を高画質化処理から省くことができ、画像処理装置400の処理負荷エラーの発生を低減させることができる。

0091

なお、本実施形態においては、出力部405(表示制御部)は、生成された高画質画像を表示部20に表示させる構成としたが、出力部405の動作はこれに限られない。例えば、出力部405は、高画質画像を撮影装置10や画像処理装置400に接続される他の装置に出力することもできる。このため、高画質画像は、これらの装置のユーザーインターフェースに表示されたり、任意の記憶装置に保存されたり、任意の画像解析に利用されたり、画像管理システムに送信されたりすることができる。

0092

本実施形態においては、高画質化可否判定部403が、高画質化エンジンによって高画質化可能な入力画像であるか否かを判定して、高画質化可能な入力画像であれば高画質化部404が高画質化を行った。これに対し、撮影装置10によって、高画質化可能な撮影条件でのみ撮影が行なわれる等の場合には、撮影装置10から取得した画像を無条件に高画質化してもよい。この場合には、図6に示すように、ステップS520とステップS530の処理を省き、ステップS510の次にステップS540を実施することができる。

0093

なお、本実施形態においては、出力部405が、表示部20に高画質画像を表示させる構成とした。しかしながら、出力部405は、検者からの指示に応じて、高画質画像を表示部20に表示させてもよい。例えば、出力部405は、検者が表示部20のユーザーインターフェース上の任意のボタンを押すことに応じて、高画質画像を表示部20に表示させてもよい。この場合、出力部405は、入力画像と切り替えて高画質画像を表示させてもよいし、入力画像と並べて高画質画像を表示させてもよい。

0094

さらに、出力部405は、表示部20に高画質画像を表示させる際に、表示されている画像が機械学習アルゴリズムを用いた処理により生成された高画質画像であることを示す表示を高画質画像とともに表示させてもよい。この場合には、ユーザーは、当該表示によって、表示された高画質画像が撮影によって取得した画像そのものではないことが容易に識別できるため、誤診断を低減させたり、診断効率を向上させたりすることができる。なお、機械学習アルゴリズムを用いた処理により生成された高画質画像であることを示す表示は、入力画像と当該処理により生成された高画質画像とを識別可能な表示であればどのような態様のものでもよい。

0095

また、出力部405は、機械学習アルゴリズムを用いた処理により生成された高画質画像であることを示す表示について、機械学習アルゴリズムがどのような教師データによって学習を行ったものであるかを示す表示を表示部20に表示させてもよい。当該表示としては、教師データの入力データと出力データの種類の説明や、入力データと出力データに含まれる撮影部位等の教師データに関する任意の表示を含んでよい。

0096

本実施形態に係る高画質化エンジンでは、教師データの出力データとして、重ね合わせ画像を用いたが、教師データはこれに限られない。教師データの出力データとして、高画質画像を得る手段である、重ね合わせ処理や、後述する処理群、後述する撮影方法のうち、少なくとも一つを行うことで得られる高画質画像を用いてもよい。

0097

例えば、教師データの出力データとして、元画像群に対して最大事後確率推定処理(MAP推定処理)を行うことで得られる高画質画像を用いてもよい。MAP推定処理では、複数の低画質画像における各画素値の確率密度から尤度関数を求め、求めた尤度関数を用いて真の信号値(画素値)を推定する。

0098

MAP推定処理により得られた高画質画像は、真の信号値に近い画素値に基づいて高コントラストな画像となる。また、推定される信号値は、確率密度に基づいて求められるため、MAP推定処理により得られた高画質画像では、ランダムに発生するノイズが低減される。このため、MAP推定処理により得られた高画質画像を教師データとして用いることで、高画質化エンジンは、入力画像から、ノイズが低減されたり、高コントラストとなったりした、画像診断に適した高画質画像を生成することができる。なお、教師データの入力データと出力データのペアの生成方法は、重ね合わせ画像を教師データとした場合と同様の方法で行われてよい。

0099

また、教師データの出力データとして、元画像に平滑化フィルタ処理を適用した高画質画像を用いてもよい。この場合には、高画質化エンジンは、入力画像から、ランダムノイズが低減された高画質画像を生成することができる。さらに、教師データの出力データとして、元画像に階調変換処理を適用した画像を用いてもよい。この場合には、高画質化エンジンは、入力画像から、コントラスト強調された高画質画像を生成することができる。なお、教師データの入力データと出力データのペアの生成方法は、重ね合わせ画像を教師データとした場合と同様の方法で行われてよい。

0100

なお、教師データの入力データは、撮影装置10と同じ画質傾向を持つ撮影装置から取得された画像でもよい。また、教師データの出力データは、逐次近似法等の高コストな処理によって得られた高画質画像であってもよいし、入力データに対応する被検者を、撮影装置10よりも高性能な撮影装置で撮影することで取得した高画質画像であってもよい。さらに、出力データは、ルールベースによるノイズ低減処理を行うことによって取得された高画質画像であってもよい。ここで、ノイズ低減処理は、例えば、低輝度領域内に現れた明らかにノイズである1画素のみの高輝度画素を、近傍の低輝度画素値の平均値に置き換える等の処理を含むことができる。このため、高画質化エンジンは、入力画像の撮影に用いられる撮影装置よりも高性能な撮影装置によって撮影された画像、又は入力画像の撮影工程よりも工数の多い撮影工程で取得された画像を学習データとしてもよい。例えば、高画質化エンジンは、モーションコントラスト正面画像を入力画像とする場合、入力画像のOCTA撮影に用いられるOCT撮影装置よりも高性能なOCT撮影装置によってOCTA撮影されて得た画像、又は入力画像のOCTA撮影工程よりも工数の多いOCTA撮影工程で取得されて得た画像を学習データとしてもよい。

0101

なお、本実施形態の説明では省略したが、教師データの出力データとして用いられる、複数の画像から生成された高画質画像は、位置合わせ済みの複数の画像から生成されることができる。当該位置合わせ処理としては、例えば、複数の画像のうちの一つをテンプレートとして選択し、テンプレートの位置と角度を変えながらその他の画像との類似度を求め、テンプレートとの位置ずれ量を求め、位置ずれ量に基づいて各画像を補正してよい。また、その他の既存の任意の位置合わせ処理を行ってもよい。

0102

なお、三次元画像を位置合わせする場合には、三次元画像を複数の二次元画像に分解し、二次元画像毎に位置合わせしたものを統合することで、三次元画像の位置合わせを行ってもよい。また、二次元画像を一次元画像に分解し、一次元画像毎に位置合わせしたものを統合することで、二次元画像の位置合わせを行ってもよい。なお、画像ではなく、画像を生成するためのデータに対して、これら位置合わせを行ってもよい。

0103

また、本実施形態では、高画質化可否判定部403が高画質化部404によって入力画像が対処可能であると判断したら、処理がステップS540に移行して、高画質化部404による高画質化処理が開始された。これに対し、出力部405が高画質化可否判定部403による判定結果を表示部20に表示させ、高画質化部404が検者からの指示に応じて高画質化処理を開始してもよい。この際、出力部405は、判定結果とともに、入力画像や入力画像について取得した撮影部位等の撮影条件を表示部20に表示させることができる。この場合には、検者によって判定結果が正しいか否かが判断された上で、高画質化処理が行われるため、誤判定に基づく高画質化処理を低減させることができる。

0104

また、高画質化可否判定部403による判定を行わず、出力部405が入力画像や入力画像について取得した撮影部位等の撮影条件を表示部20に表示させ、高画質化部404が検者からの指示に応じて高画質化処理を開始してもよい。

0105

<第2の実施形態>
次に、図4及び7を参照して、第2の実施形態に係る画像処理装置について説明する。第1の実施形態では、高画質化部404は、一つの高画質化エンジンを備えていた。これに対して、本実施形態では、高画質化部が、異なる教師データを用いて機械学習を行った複数の高画質化エンジンを備え、入力画像に対して複数の高画質画像を生成する。

0106

特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第1の実施形態に係る画像処理装置400と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第1の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は、第1の実施形態に係る画像処理装置の構成と同様であるため、図4に示す構成について同一の参照符号を用いて示し、説明を省略する。

0107

本実施形態に係る高画質化部404には、それぞれ異なる教師データを用いて機械学習が行われた二つ以上の高画質化エンジンが備えられている。ここで、本実施形態に係る教師データ群作成方法について説明する。具体的には、まず、様々な撮影部位が撮影された、入力データとしての元画像と出力データとしての重ね合わせ画像のペア群を用意する。次に、撮影部位毎にペア群をグルーピングすることで、教師データ群を作成する。例えば、第1の撮影部位を撮影して取得されたペア群で構成される第1の教師データ、第2の撮影部位を撮影して取得されたペア群で構成される第2の教師データというように、教師データ群を作成する。

0108

その後、各教師データを用いて別々の高画質化エンジンに機械学習を行わせる。例えば、第1の教師データでトレーニングされた機械学習モデルに対応する第1の高画質化エンジン、第2の教師データでトレーニングされた機械学習モデルに対応する第2の高画質化エンジンというように高画質化エンジン群を用意する。

0109

このような高画質化エンジンは、それぞれ対応する機械学習モデルのトレーニングに用いた教師データが異なるため、高画質化エンジンに入力される画像の撮影条件によって、入力画像を高画質化できる程度が異なる。具体的には、第1の高画質化エンジンは、第1の撮影部位を撮影して取得された入力画像に対しては高画質化の程度が高く、第2の撮影部位を撮影して取得された画像に対しては高画質化の程度が低い。同様に、第2の高画質化エンジンは、第2の撮影部位を撮影して取得された入力画像に対しては高画質化の程度が高く、第1の撮影部位を撮影して取得された画像に対しては高画質化の程度が低い。

0110

教師データのそれぞれが撮影部位によってグルーピングされたペア群で構成されることにより、該ペア群を構成する画像群の画質傾向が似る。このため、高画質化エンジンは対応する撮影部位であれば、第1の実施形態に係る高画像化エンジンよりも効果的に高画質化を行うことができる。なお、教師データのペアをグルーピングするための撮影条件は、撮影部位に限られず、撮影画角であったり、画像の解像度であったり、これらのうちの二つ以上の組み合わせであったりしてもよい。

0111

以下、図7を参照して、本実施形態に係る一連の画像処理について説明する。図7は、本実施形態に係る一連の画像処理のフロー図である。なお、ステップS710及びステップS720の処理は、第1の実施形態に係るステップS510及びステップS520と同様であるため、説明を省略する。なお、入力画像に対して、無条件で高画質化する場合には、ステップS720の処理の後に、ステップS730の処理を省き、処理をステップS740に移行してよい。

0112

ステップS720において入力画像の撮影条件が取得されると、処理はステップS730に移行する。ステップS730においては、高画質化可否判定部403が、ステップS720において取得した撮影条件群を用いて、高画質化部404が備える高画質化エンジン群のいずれかが、入力画像を対処可能であるか否かを判定する。

0113

高画質化可否判定部403が、高画質化エンジン群のいずれも入力画像を対処不可能であると判定した場合には、処理はステップS760に移行する。一方で、高画質化可否判定部403が、高画質化エンジン群のいずれかが入力画像を対処可能であると判定した場合には、処理はステップS740に移行する。なお、画像処理装置400の設定や実装形態によっては、第1の実施形態と同様に、高画質化エンジンによって一部の撮影条件が対処不可能であると判定されたとしても、ステップS740を実施してもよい。

0114

ステップS740においては、高画質化部404が、ステップS720で取得した入力画像の撮影条件及び高画質化エンジン群の教師データの情報に基づいて、高画質化エンジン群から高画質化処理を行う高画質化エンジンを選択する。具体的には、例えば、ステップS720において取得した撮影条件群のうちの撮影部位に対して、同撮影部位又は周囲の撮影部位に関する教師データの情報を有し、高画質化の程度が高い高画質化エンジンを選択する。上述の例では、撮影部位が第1の撮影部位である場合には、高画質化部404は第1の高画質化エンジンを選択する。

0115

ステップS750では、高画質化部404が、ステップS740において選択した高画質化エンジンを用いて、入力画像を高画質化した高画質画像を生成する。その後、ステップS760において、出力部405は、ステップS750において高画質画像が生成されていれば、高画質画像を出力して、表示部20に表示させる。一方、ステップS730において高画質化処理が不可能であるとされていた場合には、入力画像を出力し、表示部20に表示させる。なお、出力部405は、高画質画像を表示部20に表示させる際、高画質化部404によって選択された高画質化エンジンを用いて生成された高画質画像であることを表示させてもよい。

0116

上記のように、本実施形態に係る高画質化部404は、それぞれ異なる学習データを用いて学習を行った複数の高画質化エンジンを備える。ここで、複数の高画質化エンジンの各々は、それぞれ撮影部位、撮影画角、異なる深度の正面画像、及び画像の解像度のうちの少なくとも一つについての異なる学習データを用いて学習を行ったものである。高画質化部404は、入力画像の撮影部位、撮影画角、異なる深度の正面画像、及び画像の解像度のうちの少なくとも一つに応じた高画質化エンジンを用いて、高画質画像を生成する。

0117

このような構成により、本実施形態に係る画像処理装置400は、より効果的な高画質画像を生成することができる。

0118

本実施形態では、高画質化部404が、入力画像の撮影条件に基づいて高画質化処理に用いる高画質化エンジンを選択したが、高画質化エンジンの選択処理はこれに限られない。例えば、出力部405が、取得した入力画像の撮影条件と高画質化エンジン群を表示部20のユーザーインターフェースに表示させ、検者からの指示に応じて、高画質化部404が高画質化処理に用いる高画質化エンジンを選択してもよい。なお、出力部405は、高画質化エンジン群とともに各高画質化エンジンの学習に用いた教師データの情報を表示部20に表示させてもよい。なお、高画質化エンジンの学習に用いた教師データの情報の表示態様は任意であってよく、例えば、学習に用いた教師データに関連する名称を用いて高画質化エンジン群を表示してもよい。

0119

また、出力部405が、高画質化部404によって選択された高画質化エンジンを表示部20のユーザーインターフェースに表示させ、検者からの指示を受け付けてもよい。この場合、高画質化部404は、検者からの指示に応じて、当該高画質化エンジンを高画質化処理に用いる高画質化エンジンとして最終的に選択するか否かを判断してもよい。

0120

なお、出力部405は、第1の実施形態と同様に、生成された高画質画像を撮影装置10や画像処理装置400に接続される他の装置に出力してもよい。また、高画質化エンジンの教師データの出力データは、第1の実施形態と同様に、重ね合わせ処理を行った高画質画像に限られない。すなわち、重ね合わせ処理やMAP推定処理、平滑化フィルタ処理、階調変換処理、高性能な撮影装置を用いた撮影、高コストな処理、ノイズ低減処理といった処理群や撮影方法のうち、少なくとも一つを行うことによって得られた高画質画像を用いてもよい。

0121

<第3の実施形態>
次に、図4及び7を参照して、第3の実施形態に係る画像処理装置について説明する。第1及び2の実施形態では、撮影条件取得部402は、入力画像のデータ構造等から撮影条件群を取得する。これに対して、本実施形態では、撮影条件取得部は、撮影箇所推定エンジンを用いて、入力画像の撮影部位又は撮影領域を入力画像に基づいて推定する。

0122

特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第2の実施形態に係る画像処理装置400と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第2の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は、第1及び2の実施形態に係る画像処理装置の構成と同様であるため、図4に示す構成について同一の参照符号を用いて示し、説明を省略する。

0123

本実施形態に係る撮影条件取得部402には、取得部401が取得した入力画像に描画されている撮影部位又は撮影領域を推定する撮影箇所推定エンジンが備えられている。本実施形態に係る撮影箇所推定エンジンの備える撮影箇所の推定手法では、機械学習アルゴリズムを用いた推定処理を行う。

0124

本実施形態では、機械学習アルゴリズムを用いた撮影箇所推定手法に係る機械学習モデルのトレーニングには、画像である入力データと、入力データに対応する撮影部位ラベルや撮影領域ラベルである出力データとのペア群で構成された教師データを用いる。ここで、入力データとは、処理対象(入力画像)として想定される特定の撮影条件を持つ画像のことである。入力データとしては、撮影装置10と同じ画質傾向を持つ撮影装置から取得された画像であることが好ましく、撮影装置10と同じ設定をされた同じ機種であるとよりよい。出力データである撮影部位ラベルや撮影領域ラベルの種類は、入力データに少なくとも一部が含まれている撮影部位や撮影領域であってよい。出力データである撮影部位ラベルの種類は、例えば、OCTであれば、“黄斑部”、“視神経乳頭部”、“黄斑部及び視神経乳頭部”、並びに“その他”等であってよい。

0125

本実施形態に係る撮影箇所推定エンジンは、このような教師データを用いた学習を行ったことにより、入力された画像に描画されている撮影部位や撮影領域がどこであるかを出力することができる。また、撮影箇所推定エンジンは、必要な詳細レベルの撮影部位ラベルや撮影領域ラベル毎に、該撮影部位や撮影領域である確率を出力することもできる。撮影箇所推定エンジンを用いることで、撮影条件取得部402は、入力画像に基づいて、入力画像の撮影部位や撮影領域を推定し、入力画像についての撮影条件として取得することができる。なお、撮影箇所推定エンジンが撮影部位ラベルや撮影領域ラベル毎に、該撮影部位や撮影領域である確率を出力する場合には、撮影条件取得部402は、最も確率の高い撮影部位や撮影領域を入力画像の撮影条件として取得する。

0126

次に、第2の実施形態と同様に、図7のフロー図を参照して、本実施形態に係る一連の画像処理について説明する。なお、本実施形態に係るステップS710、及びステップS730〜ステップS760の処理は、第2の実施形態におけるこれらの処理と同様であるため、説明を省略する。なお、入力画像に対して、無条件で高画質化する場合には、ステップS720の処理の後に、ステップS730の処理を省き、処理をステップS740に移行してよい。

0127

ステップS710において入力画像が取得されると、処理はステップS720に移行する。ステップS720では、撮影条件取得部402が、ステップS710において取得した入力画像の撮影条件群を取得する。

0128

具体的には、入力画像のデータ形式に応じて、入力画像を構成するデータ構造に保存された撮影条件群を取得する。また、撮影条件群に撮影部位や撮影領域に関する情報が含まれていない場合、撮影条件取得部402は撮影箇所推定エンジンに入力画像を入力し、入力画像がどの撮影部位を撮影して取得されたものなのかを推定する。具体的には、撮影条件取得部402は、撮影箇所推定エンジンに入力画像を入力し、撮影部位ラベル群のそれぞれに対して出力された確率を評価し、最も確率の高い撮影部位を入力画像の撮影条件として設定・取得する。

0129

なお、入力画像に撮影部位や撮影領域以外の撮影条件が保存されていない場合には、撮影条件取得部402は、撮影装置10や不図示の画像管理システムから撮影条件群を含む撮影情報群を取得することができる。

0130

以降の処理は、第2実施形態に係る一連の画像処理と同様であるため説明を省略する。

0131

上記のように、本実施形態に係る撮影条件取得部402は、入力画像の撮影部位及び撮影領域のうちの少なくとも一方を推定する推定部として機能する。撮影条件取得部402は、撮影部位や撮影領域のラベルが付けられた画像を学習データとした撮影箇所推定エンジンを含み、撮影箇所推定エンジンに入力画像を入力することで、入力画像の撮影部位や撮影領域を推定する。

0132

これにより、本実施形態に係る画像処理装置400は、入力画像の撮影部位や撮影領域についての撮影条件を入力画像に基づいて取得することができる。

0133

なお、本実施形態では、撮影条件取得部402は、撮影条件群に撮影部位や撮影領域に関する情報が含まれていない場合に撮影箇所推定エンジンを用いて入力画像の撮影部位や撮影領域について推定を行った。しかしながら、撮影箇所推定エンジンを用いて撮影部位や撮影領域について推定を行う状況はこれに限られない。撮影条件取得部402は、入力画像のデータ構造に含まれる撮影部位や撮影領域についての情報が、必要な詳細レベルの情報として不足している場合にも、撮影箇所推定エンジンを用いて撮影部位や撮影領域について推定を行ってもよい。

0134

また、入力画像のデータ構造に撮影部位や撮影領域についての情報が含まれているか否かとは無関係に、撮影条件取得部402が撮影箇所推定エンジンを用いて入力画像の撮影部位や撮影領域を推定してもよい。この場合、出力部405が、撮影箇所推定エンジンから出力された推定結果と入力画像のデータ構造に含まれる撮影部位や撮影領域についての情報を表示部20に表示させ、撮影条件取得部402が検者の指示に応じて、これらの撮影条件を決定してもよい。

0135

なお、出力部405は、第1の実施形態と同様に、生成された高画質画像を撮影装置10や画像処理装置400に接続される他の装置に出力してもよい。また、高画質化エンジンの教師データの出力データは、第1の実施形態と同様に、重ね合わせ処理を行った高画質画像に限られない。すなわち、重ね合わせ処理やMAP推定処理、平滑化フィルタ処理、階調変換処理、高性能な撮影装置を用いた撮影、高コストな処理、ノイズ低減処理といった処理群や撮影方法のうち、少なくとも一つを行うことによって得られた高画質画像を用いてもよい。

0136

<第4の実施形態>
次に、図4、5、8及び9を参照して、第4の実施形態に係る画像処理装置について説明する。本実施形態では、高画質化部が、入力画像を高画質化エンジンが対処可能な画像サイズになるように、入力画像を拡大又は縮小する。また、高画質化部は、高画質化エンジンからの出力画像を、出力画像の画像サイズが入力画像の画像サイズになるように縮小又は拡大して高画質画像を生成する。

0137

特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第1の実施形態に係る画像処理装置400と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第1の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は、第1の実施形態に係る画像処理装置の構成と同様であるため、図4に示す構成について同一の参照符号を用いて示し、説明を省略する。

0138

本実施形態に係る高画質化部404には、第1の実施形態に係る高画質化エンジンと同様の、高画質化エンジンが備えられている。ただし、本実施形態では、高画質化エンジンの学習に用いる教師データとして、入力データの画像及び出力データの画像を一定の画像サイズになるように拡大又は縮小した画像群により構成した、入力データと出力データのペア群を用いている。

0139

ここで、図8を参照して、本実施形態に係る高画質化エンジンの教師データについて説明する。図8に示すように、例えば、教師データについて設定された一定の画像サイズより小さな低画質画像Im810と高画質画像Im820とがある場合を考える。この場合、教師データについて設定された一定の画像サイズとなるように、低画質画像Im810及び高画質画像Im820のそれぞれを拡大する。そして、拡大した低画質画像Im811と拡大した高画質画像Im821とをペアとして、当該ペアを教師データの一つとして用いる。

0140

なお、第1の実施形態と同様に、教師データの入力データには、処理対象(入力画像)として想定される特定の撮影条件を持つ画像を用いるが、当該特定の撮影条件は、予め決定された撮影部位、撮影方式、及び撮影画角である。つまり、本実施形態に係る当該特定の撮影条件には、第1の実施形態と異なり、画像サイズは含まれない。

0141

本実施形態に係る高画質化部404は、このような教師データで学習が行われた高画質化エンジンを用いて、入力画像を高画質化して高画質画像を生成する。この際、高画質化部404は、入力画像を教師データについて設定された一定の画像サイズになるように拡大又は縮小した変形画像を生成し、変形画像を高画質化エンジン入力する。また、高画質化部404は、高画質化エンジンからの出力画像を入力画像の画像サイズになるように縮小又は拡大し、高画質画像を生成する。このため、本実施形態に係る高画質化部404は、第1の実施形態では対処できなかった画像サイズの入力画像であっても、高画質化エンジンによって高画質化して高画質画像を生成することができる。

0142

次に、図5及び9を参照して、本実施形態に係る一連の画像処理について説明する。図9は、本実施形態に係る高画質化処理のフロー図である。なお、本実施形態に係るステップS510、ステップS520、及びステップS550の処理は、第1の実施形態におけるこれらの処理と同様であるため、説明を省略する。なお、入力画像に対して、画像サイズ以外の撮影条件について無条件で高画質化する場合には、ステップS520の処理の後に、ステップS530の処理を省き、処理をステップS540に移行してよい。

0143

ステップS520において、第1の実施形態と同様に、撮影条件取得部402が入力画像の撮影条件群を取得したら処理はステップS530に移行する。ステップS530では、高画質化可否判定部403が、取得された撮影条件群を用いて、高画質化部404に備える高画質化エンジンが入力画像を対処可能であるか否かを判定する。具体的には、高画質化可否判定部403は、入力画像の撮影条件について、高画質化エンジンが対処可能な、撮影部位、撮影方式、及び撮影画角であるか否かを判定する。高画質化可否判定部403は、第1の実施形態と異なり、画像サイズは判定しない。

0144

高画質化可否判定部403が、撮影部位、撮影方式、及び撮影画角について判定し、入力画像が対処可能と判定された場合には、処理はステップS540に移行する。一方、高画質化可否判定部403が、これら撮影条件に基づいて、高画質化エンジンが入力画像を対処不可能であると判定した場合には、処理はステップS550に移行する。なお、画像処理装置400の設定や実装形態によっては、撮影部位、撮影方式、及び撮影画角のうちの一部に基づいて入力画像が処理不可能であると判定されたとしても、ステップS540における高画質化処理が実施されてもよい。

0145

処理がステップS540に移行すると、図9に示される本実施形態に係る高画質化処理が開始される。本実施形態に係る高画質化処理では、まず、ステップS910において、高画質化部404が、入力画像を教師データについて設定された一定の画像サイズに拡大又は縮小し、変形画像を生成する。

0146

次に、ステップS920において、高画質化部404は、生成した変形画像を高画質化エンジンに入力し高画質化された高画質な変形画像を取得する。

0147

その後、ステップS930において、高画質化部404は、高画質な変形画像を入力画像の画像サイズに縮小又は拡大し、高画質画像を生成する。高画質化部404がステップS930において高画質画像を生成したら、本実施形態に係る高画質化処理は終了し、処理はステップS550に移行する。ステップS550の処理は、第1の実施形態のステップS550と同様であるため説明を省略する。

0148

上記のように、本実施形態に係る高画質化部404は、入力画像の画像サイズを、高画質化エンジンが対処可能な画像サイズに調整して高画質化エンジンに入力する。また、高画質化部404は、高画質化エンジンからの出力画像を入力画像の元の画像サイズに調整することで高画質画像を生成する。これにより、本実施形態の画像処理装置400は、高画質化エンジンを用いて、第1の実施形態では対処できなかった画像サイズの入力画像についても高画質化して、画像診断に適切な高画質画像を生成することができる。

0149

なお、出力部405は、第1の実施形態と同様に、生成された高画質画像を撮影装置10や画像処理装置400に接続される他の装置に出力してもよい。また、高画質化エンジンの教師データの出力データは、第1の実施形態と同様に、重ね合わせ処理を行った高画質画像に限られない。すなわち、重ね合わせ処理やMAP推定処理、平滑化フィルタ処理、階調変換処理、高性能な撮影装置を用いた撮影、高コストな処理、ノイズ低減処理といった処理群や撮影方法のうち、少なくとも一つを行うことによって得られた高画質画像を用いてもよい。

0150

<第5の実施形態>
次に、図4、5、10及び11を参照して、第5の実施形態に係る画像処理装置について説明する。本実施形態では、高画質化部が、高画質化エンジンによる一定の解像度を基準とした高画質化処理により高画質画像を生成する。

0151

特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第1の実施形態に係る画像処理装置400と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第1の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は、第1の実施形態に係る画像処理装置の構成と同様であるため、図4に示す構成について同一の参照符号を用いて示し、説明を省略する。

0152

本実施形態に係る高画質化部404には、第1の実施形態と同様の、高画質化エンジンが備えられている。ただし、本実施形態では、高画質化エンジンの学習に用いる教師データが第1の実施形態における教師データと異なる。具体的には、教師データの入力データと出力データとのペア群を構成する画像群の解像度が一定の解像度となるような画像サイズに当該画像群を拡大又は縮小した後、十分に大きい一定の画像サイズとなるようにパディングしている。ここで、画像群の解像度とは、例えば、撮影装置の空間分解能や撮影領域に対する解像度をいう。

0153

ここで、図10を参照して、本実施形態に係る高画質化エンジンの教師データについて説明する。図10に示すように、例えば、教師データについて設定された一定の解像度より低い解像度を持つ低画質画像Im1010と高画質画像Im1020とがある場合を考える。この場合、教師データについて設定された一定の解像度となるように、低画質画像Im1010と高画質画像Im1020のそれぞれを拡大する。さらに、拡大された低画質画像Im1010と高画質画像Im1020のそれぞれについて、教師データについて設定された一定の画像サイズとなるようにパディングする。そして、拡大及びパディングが行われた低画質画像Im1011と高画質画像Im1021とをペアとし、当該ペアを教師データの一つとして用いる。

0154

なお、教師データについて設定された一定の画像サイズとは、処理対象(入力画像)として想定される画像を一定の解像度となるように拡大又は縮小したときの最大となりうる画像サイズである。当該一定の画像サイズが十分に大きくない場合には、高画質化エンジンに入力された画像を拡大したときに、機械学習モデルが対処不可能な画像サイズとなる可能性がある。

0155

また、パディングが行われる領域は、効果的に高画質化できるように機械学習モデルの特性に合わせて、一定の画素値で埋めたり、近傍画素値で埋めたり、ミラーパディングしたりする。なお、第1の実施形態と同様に、入力データには、処理対象として想定される特定の撮影条件を持つ画像を用いるが、当該特定の撮影条件は、予め決定された撮影部位、撮影方式、撮影画角である。つまり、本実施形態に係る当該特定の撮影条件には、第1の実施形態と異なり、画像サイズは含まれない。

0156

本実施形態に係る高画質化部404は、このような教師データで学習が行われた高画質化エンジンを用いて、入力画像を高画質化して高画質画像を生成する。この際、高画質化部404は、入力画像を教師データについて設定された一定の解像度になるように拡大又は縮小した変形画像を生成する。また、高画質化部404は、変形画像について、教師データについて設定された一定の画像サイズとなるようにパディングを行ってパディング画像を生成し、パディング画像を高画質化エンジン入力する。

0157

また、高画質化部404は、高画質化エンジンから出力された高画質なパディング画像について、パディングを行った領域分だけトリミングし、高画質な変形画像を生成する。その後、高画質化部404は、生成した高画質な変形画像を入力画像の画像サイズになるように縮小又は拡大し、高画質画像を生成する。

0158

このため、本実施形態に係る高画質化部404は、第1の実施形態では対処できなかった画像サイズの入力画像であっても、高画質化エンジンによって高画質化して高画質画像を生成することができる。

0159

次に、図5及び11を参照して、本実施形態に係る一連の画像処理について説明する。図11は、本実施形態に係る高画質化処理のフロー図である。なお、本実施形態に係るステップS510、ステップS520、及びステップS550の処理は、第1の実施形態におけるこれらの処理と同様であるため、説明を省略する。なお、入力画像に対して、画像サイズ以外の撮影条件について無条件で高画質化する場合には、ステップS520の処理の後に、ステップS530の処理を省き、処理をステップS540に移行してよい。

0160

ステップS520において、第1の実施形態と同様に、撮影条件取得部402が入力画像の撮影条件群を取得したら、処理はステップS530に移行する。ステップS530では、高画質化可否判定部403が、取得された撮影条件群を用いて、高画質化部404に備える高画質化エンジンが入力画像を対処可能であるか否かを判定する。具体的には、高画質化可否判定部403は、入力画像の撮影条件について、高画質化エンジンが対処可能な、撮影部位、撮影方式、及び撮影画角であるか否かを判定する。高画質化可否判定部403は、第1の実施形態と異なり、画像サイズは判定しない。

0161

高画質化可否判定部403が、撮影部位、撮影方式、及び撮影画角について判定し、入力画像が対処可能と判定された場合には、処理はステップS540に移行する。一方、高画質化可否判定部403が、これら撮影条件に基づいて、高画質化エンジンが入力画像を対処不可能であると判定した場合には、処理はステップS550に移行する。なお、画像処理装置400の設定や実装形態によっては、撮影部位、撮影方式、及び撮影画角のうちの一部に基づいて入力画像が処理不可能であると判定されたとしても、ステップS540における高画質化処理が実施されてもよい。

0162

処理がステップS540に移行すると、図11に示される本実施形態に係る高画質化処理が開始される。本実施形態に係る高画質化処理では、まず、ステップS1110において、高画質化部404が、入力画像を教師データについて設定された一定の解像度となるように拡大又は縮小し、変形画像を生成する。

0163

次に、ステップS1120において、高画質化部404は、生成した変形画像について、教師データについて設定された画像サイズとなるように、パディングを行ってパディング画像を生成する。この際、高画質化部404は、パディングを行う領域について、効果的に高画質化できるように機械学習モデルの特性に合わせて、一定の画素値で埋めたり、近傍画素値で埋めたり、ミラーパディングしたりする。

0164

ステップS1130では、高画質化部404がパディング画像を高画質化エンジンに入力し高画質化された高画質なパディング画像を取得する。

0165

次に、ステップS1140において、高画質化部404は、高画質なパディング画像について、ステップS1120でパディングを行った領域分だけトリミングを行い、高画質な変形画像を生成する。

0166

その後、ステップS1150において、高画質化部404は、高画質な変形画像を入力画像の画像サイズに縮小又は拡大し、高画質画像を生成する。高画質化部404がステップS1130において高画質画像を生成したら、本実施形態に係る高画質化処理は終了し、処理はステップS550に移行する。ステップS550の処理は、第1の実施形態のステップS550と同様であるため説明を省略する。

0167

上記のように、本実施形態による高画質化部404は、入力画像の解像度が所定の解像度となるように、入力画像の画像サイズを調整する。また、高画質化部404は、画像サイズが調整された入力画像について、調整された画像サイズが高画質化エンジンによって対処可能な画像サイズとなるように、パディングを行ったパディング画像を生成し、パディング画像を高画質化エンジンに入力する。その後、高画質化部404は、高画質化エンジンからの出力画像について、パディングを行った領域分だけトリミングを行う。そして、高画質化部404は、トリミングが行われた画像の画像サイズを、入力画像の元の画像サイズに調整することで高画質画像を生成する。

0168

これにより、本実施形態の高画質化部404は、第1の実施形態では対処できなかった画像サイズの入力画像であっても、高画質化エンジンによって高画質化して高画質画像を生成することができる。また、解像度を基準とした教師データで学習した高画質化エンジンを用いることで、単純に同一な画像サイズの画像を処理する第4の実施形態に係る高画質化エンジンよりも、効率よく入力画像を高画質化できる場合がある。

0169

なお、出力部405は、第1の実施形態と同様に、生成された高画質画像を撮影装置10や画像処理装置400に接続される他の装置に出力してもよい。また、高画質化エンジンの教師データの出力データは、第1の実施形態と同様に、重ね合わせ処理を行った高画質画像に限られない。すなわち、重ね合わせ処理やMAP推定処理、平滑化フィルタ処理、階調変換処理、高性能な撮影装置を用いた撮影、高コストな処理、ノイズ低減処理といった処理群や撮影方法のうち、少なくとも一つを行うことによって得られた高画質画像を用いてもよい。

0170

<第6の実施形態>
次に、図4、5、12及び13を参照して、第6の実施形態に係る画像処理装置について説明する。本実施形態では、高画質化部が、入力画像を一定の画像サイズの領域毎に高画質化することにより高画質画像を生成する。

0171

特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第1の実施形態に係る画像処理装置400と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第1の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は、第1の実施形態に係る画像処理装置の構成と同様であるため、図4に示す構成について同一の参照符号を用いて示し、説明を省略する。

0172

本実施形態に係る高画質化部404には、第1の実施形態と同様の、高画質化エンジンが備えられている。ただし、本実施形態では、高画質化エンジンの学習に用いる教師データが第1の実施形態における教師データと異なる。具体的には、教師データを構成する、低画質画像である入力データと高画質画像である出力データとのペア群を、低画質画像及び高画質画像における、位置関係が対応する一定の画像サイズの矩形領域画像によって構成している。なお、矩形領域は、部分領域の一例であり、矩形である必要はなく、どのような形状であってもよい。

0173

ここで、図12を参照して、本実施形態に係る高画質化エンジンの教師データについて説明する。図12に示すように、教師データを構成するペア群の一つに、例えば、低画質画像である元画像Im1210と、高画質画像である重ね合わせ画像Im1220があるとした場合を考える。この場合、第1の実施形態においては、教師データの入力データをIm1210、出力データをIm1220とした。

0174

これに対し、本実施形態においては、元画像Im1210のうちの矩形領域画像R1211を入力データとし、重ね合わせ画像Im1220において矩形領域画像R1211と同じ撮影領域である矩形領域画像R1221を出力データとする。そして、入力データである矩形領域画像R1211と出力データである矩形領域画像R1221によって教師データのペア(以下、第1の矩形領域画像ペア)を構成する。ここで、矩形領域画像R1211と矩形領域画像R1221は、一定の画像サイズの画像とされる。なお、元画像Im1210と重ね合わせ画像Im1220は任意の方法により位置合わせされてよい。また、矩形領域画像R1211と矩形領域画像R1221の対応する位置関係はテンプレートマッチングなどの任意の方法によって特定されてよい。なお、高画質化エンジンの設計によっては、入力データと出力データの、それぞれの画像サイズや次元数は異なっていてもよい。例えば、処理対象がOCTの画像である場合に、入力データがBスキャン画像(二次元画像)の一部であるとき、出力データがAスキャン画像(一次元画像)の一部であってもよい。

0175

矩形領域画像R1211,R1221に関する一定の画像サイズは、例えば、処理対象(入力画像)として想定される画像の画像サイズ群について、対応する各次元の画素数群の公約数から決定することができる。この場合には、高画質化エンジンが出力する矩形領域画像群の位置関係が重なることを防ぐことができる。具体的に、例えば、処理対象として想定される画像が二次元画像であり、画像サイズ群のうちの第1の画像サイズが幅500画素、高さ500画素であり、第2の画像サイズが幅100画素、高さ100画素である場合を考える。ここで、各辺の公約数から、矩形領域画像R1211,R1221に関する一定の画像サイズを選択する。この場合には、例えば、一定の画像サイズを、幅100画素、高さ100画素や、幅50画素、高さ50画素や、幅25画素、高さ25画素等から選択する。

0176

処理対象として想定される画像が三次元である場合には、幅、高さ、奥行きに関して画素数を決定する。なお、矩形領域は、入力データに対応する低画質画像と出力データに対応する高画質画像のペアの一つに対して、複数設定可能である。このため、例えば、元画像Im1210のうちの矩形領域画像R1212を入力データ、重ね合わせ画像Im1220において矩形領域画像R1212と同じ撮影領域である矩形領域画像R1222を出力データとする。そして、入力データである矩形領域画像R1212と出力データである矩形領域画像R1222によって教師データのペアを構成する。これにより、第1の矩形領域画像ペアとは別の矩形領域画像ペアを作成できる。

0177

なお、矩形領域の画像を異なる座標の画像に変えながら多数の矩形領域画像のペアを作成することで教師データを構成するペア群を充実させることができ、当該教師ペアを用いて学習を行った高画質化エンジンによって効率的な高画質化が期待できる。ただし、機械学習モデルの高画質化に寄与しないペアは教師データに加えないようにすることができる。例えば、ペアを構成する出力データである高画質画像から作成した矩形領域画像が診断に適さない画質である場合には、そのような教師データを用いて学習を行った高画質化エンジンが出力する画像も画像診断に適さない画質になってしまう可能性がある。そのため、そのような高画質画像を含むペアを教師データから取り除くことができる。

0178

また、例えば、ペアである、低画質画像から作成した矩形領域画像と高画質画像から作成した矩形領域画像の平均輝度や輝度分布が大きく異なる場合も、そのようなペアを教師データから取り除くことができる。そのような教師データを用いて学習を行うと、高画質化エンジンが入力画像と大きく異なる輝度分布を持つ画像診断に適さない画像を出力してしまう可能性がある。

0179

さらに、例えば、ペアである、低画質画像から作成した矩形領域画像と高画質画像から作成した矩形領域画像とに描画される撮影対象の構造や位置が大きく異なる場合を考える。この場合には、そのような教師データを用いて学習を行った高画質化エンジンが入力画像と大きく異なる構造や位置に撮影対象を描画した画像診断に適さない画像を出力してしまう可能性がある。そのため、このようなペアを教師データから取り除くこともできる。

0180

なお、第1の実施形態と同様に、教師データの入力データには、処理対象として想定される特定の撮影条件を持つ画像を用いるが、当該特定の撮影条件は、予め決定された撮影部位、撮影方式、及び撮影画角である。つまり、本実施形態に係る当該特定の撮影条件には、第1の実施形態と異なり、画像サイズは含まれない。

0181

本実施形態に係る高画質化部404は、このような教師データで学習が行われた高画質化エンジンを用いて、入力画像を高画質化して高画質画像を生成する。この際、高画質化部404は、入力された画像を、隙間なく連続する、教師データについて設定された一定の画像サイズの矩形領域画像群に分割する。高画質化部404は、分割した矩形領域画像群のそれぞれを高画質化エンジンにより高画質化し、高画質な矩形領域画像群を生成する。その後、高画質化部404は、生成した高画質な矩形領域画像群を、入力画像の位置関係に応じて配置して結合し、高画質画像を生成する。ここで、学習時には、ペア画像である入力データと出力データとの互いの位置関係が対応していれば、それぞれの矩形領域を低画質画像及び高画質画像における任意の場所から切り出して(抽出して)もよい。一方、高画質化時には、入力画像を隙間なく連続する矩形領域画像群に分割してもよい。また、学習時の各ペア画像の画像サイズと、高画質化時の各矩形領域画像の画像サイズとが互いが対応する(例えば、同一となる)ように設定されてもよい。これらにより、学習効率を上げつつ、無駄な計算や足りない所が出てくると画像にならないという問題が生じないようにすることができる。

0182

このように、本実施形態の高画質化部404は、入力された画像を矩形領域単位で高画質化し、高画質化した画像を結合することで、第1の実施形態では対処できなかった画像サイズの画像をも高画質化して高画質画像を生成することができる。

0183

次に、図5、13及び14を参照して、本実施形態に係る一連の画像処理について説明する。図13は、本実施形態に係る高画質化処理のフロー図である。なお、本実施形態に係るステップS510、ステップS520、及びステップS550の処理は、第1の実施形態におけるこれらの処理と同様であるため、説明を省略する。なお、入力画像に対して、画像サイズ以外の撮影条件について無条件で高画質化する場合には、ステップS520の処理の後に、ステップS530の処理を省き、処理をステップS540に移行してよい。

0184

ステップS520において、第1の実施形態と同様に、撮影条件取得部402が入力画像の撮影条件群を取得したら、処理はステップS530に移行する。ステップS530では、高画質化可否判定部403が、取得された撮影条件群を用いて、高画質化部404に備える高画質化エンジンが入力画像を対処可能であるか否かを判定する。具体的には、高画質化可否判定部403は、入力画像の撮影条件について、高画質化エンジンが対処可能な、撮影部位、撮影方式、及び撮影画角であるか否かを判定する。高画質化可否判定部403は、第1の実施形態と異なり、画像サイズは判定しない。

0185

高画質化可否判定部403が、撮影部位、撮影方式、及び撮影画角について判定し、入力画像が対処可能と判定された場合には、処理はステップS540に移行する。一方、高画質化可否判定部403が、これら撮影条件に基づいて、高画質化エンジンが入力画像を対処不可能であると判定した場合には、処理はステップS550に移行する。なお、画像処理装置400の設定や実装形態によっては、撮影部位、撮影方式、及び撮影画角のうちの一部に基づいて入力画像が処理不可能であると判定されたとしても、ステップS540における高画質化処理が実施されてもよい。

0186

処理がステップS540に移行すると、図13に示される本実施形態に係る高画質化処理が開始される。これについて図14を用いて説明をする。本実施形態に係る高画質化処理では、まず、ステップS1310において、図14(a)に示すように、入力画像を隙間なく連続する、教師データについて設定された一定の画像サイズ(R1411に示すサイズ)の矩形領域画像群に分割する。ここで、図14(a)は、入力画像Im1410を一定の画像サイズの矩形領域画像R1411〜R1426群に分割した一例を示す。なお、上述のように、高画質化エンジンの設計によっては、高画質化エンジンの入力画像と出力画像の、それぞれの画像サイズや次元数が異なってもよい。この場合には、ステップS1320において生成される結合された高画質画像に欠損が無いように、入力画像の分割位置重複させたり、分離させたりして、調整することができる。図14(b)には分割位置を重複させる例を示す。図14(b)において、R1411’、R1412’が重複した領域を示している。煩雑になるため図示はしないが、R1413〜R1426においても同様な重複領域R1413’〜R1426’を持つものとする。なお、図14(b)の場合の教師データについて設定される矩形領域サイズは、R1411’に示すサイズである。入力画像Im1410の画像外部の周辺(上下左右端)においてはデータが存在しないため、一定の画素値で埋めたり、近傍画素値で埋めたり、ミラーパディングしたりする。また、高画質化エンジンによっては、フィルタ処理により画像内部の周辺(上下左右端)では、高画質化の精度が低下する場合がある。そのため、図14(b)のように分割位置を重複して矩形領域画像を設定し、最終的な画像としては矩形領域画像の一部をトリミングして合成するようにしてもよい。高画質化エンジンの特性に応じて、矩形領域のサイズを設定する。なお、図14(a)、(b)にはOCTの断層画像を例示したが、図14(c)、(d)に示すように入力画像(Im1450)はOCTAのEn−Face画像のような正面画像でもよく、同様の処理が可能である。なお、矩形領域画像のサイズは、対象とする画像や高画質化エンジンの種類に応じて適切に設定を行う。

0187

次に、ステップS1320において、高画質化部404は、矩形領域画像R1411〜R1426群、あるいは重複領域を設定している場合は矩形領域画像R1411’〜R1426’群のそれぞれを高画質化エンジンにより高画質化し、高画質な矩形領域画像群を生成する。

0188

そして、ステップS1330において、高画質化部404は、生成した高画質な矩形領域画像群のそれぞれを、入力画像について分割した矩形領域画像R1411〜R1426群のそれぞれと同様の位置関係に配置して結合し、高画質画像を生成する。重複領域を設定している場合には、矩形領域画像R1411’〜R1426’それぞれと同様の位置関係に配置した後に矩形領域画像R1411〜R1426を切り出して結合し、高画質画像を生成する。なお、重複領域を利用して矩形領域画像R1411’〜R1426’の輝度値を補正するようにしてもよい。例えば、基準とする矩形領域画像を任意に設定する。そして、基準矩形画像と重複する領域のある隣接矩形画像において、同じ座標点の輝度値を計測することで、隣接画像間における輝度値の差(比率)が分かる。同様に、全ての画像においても重複領域における輝度値の差(比率)を求めることで、全体として輝度値のムラを無くすように補正を行うことが可能となる。なお、輝度値補正に重複領域を全て利用する必要はなく、重複領域の一部(周辺部数ピクセル)は使用しなくてもよい。

0189

上記のように、本実施形態に係る高画質化部404は、入力画像を所定の画像サイズの複数の矩形領域画像(第3の画像)R1411〜R1426に分割する。その後、高画質化部404は、分割した複数の矩形領域画像R1411〜R1426を高画質化エンジンに入力して複数の第4の画像を生成し、複数の第4の画像を統合することで、高画質画像を生成する。なお、統合時に矩形領域群間で位置関係が重なる場合には、該矩形領域群の画素値群を統合したり、上書きしたりすることができる。

0190

これにより、本実施形態の高画質化部404は、第1の実施形態では対処できなかった画像サイズの入力画像であっても、高画質化エンジンによって高画質化して高画質画像を生成することができる。また、教師データを、低画質画像及び高画質画像を所定の画像サイズに分割した複数の画像から作成すると、少ない画像から多くの教師データを作成することができる。そのため、この場合には、教師データを作成するための低画質画像及び高画質画像の数を少なくすることができる。

0191

なお、出力部405は、第1の実施形態と同様に、生成された高画質画像を撮影装置10や画像処理装置400に接続される他の装置に出力してもよい。また、高画質化エンジンの教師データの出力データは、第1の実施形態と同様に、重ね合わせ処理を行った高画質画像に限られない。すなわち、重ね合わせ処理やMAP推定処理、平滑化フィルタ処理、階調変換処理、高性能な撮影装置を用いた撮影、高コストな処理、ノイズ低減処理といった処理群や撮影方法のうち、少なくとも一つを行うことによって得られた高画質画像を用いてもよい。

0192

<第7の実施形態>
次に、図15〜17を参照して、第7の実施形態に係る画像処理装置について説明する。本実施形態では、画質評価部が、検者の指示に応じて、複数の高画質化エンジンから出力された複数の高画質画像のうち最も高画質な画像を選択する。

0193

特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第1の実施形態に係る画像処理装置400と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第1の実施形態に係る画像処理装置との違いを中心として説明する。

0194

図15は、本実施形態に係る画像処理装置1500の概略的な構成を示す。本実施形態に係る画像処理装置1500には、取得部401、撮影条件取得部402、高画質化可否判定部403、高画質化部404、及び出力部405に加えて、画質評価部1506が設けられている。なお、画像処理装置1500は、これら構成要素のうちの一部が設けられた複数の装置で構成されてもよい。ここで、取得部401、撮影条件取得部402、高画質化可否判定部403、高画質化部404、及び出力部405は、第1の実施形態に係る画像処理装置の構成と同様であるため、図4に示す構成について同一の参照符号を用いて示し、説明を省略する。

0195

また、画像処理装置1500は、第1の実施形態に係る画像処理装置400と同様に撮影装置10、表示部20及び不図示の他の装置と、任意の回路やネットワークを介して接続されてよい。また、これらの装置は、他の任意の装置と回路やネットワークを介して接続されてもよいし、他の任意の装置と一体的に構成されてもよい。なお、これらの装置は本実施形態では別個の装置とされているが、これらの装置の一部又は全部を一体的に構成してもよい。

0196

本実施形態に係る高画質化部404には、それぞれ異なる教師データを用いて機械学習が行われた二つ以上の高画質化エンジンが備えられている。ここで、本実施形態に係る教師データ群の作成方法について説明する。具体的には、まず、様々な撮影条件によって撮影された、低画質画像である入力データと高画質画像である出力データのペア群を用意する。次に、任意の撮影条件の組み合わせによってペア群をグルーピングすることで、教師データ群を作成する。例えば、第1の撮影条件の組み合わせによって取得されたペア群で構成される第1の教師データ、第2の撮影条件の組み合わせによって取得されたペア群で構成される第2の教師データというように、教師データ群として作成する。

0197

その後、各教師データを用いて別々の高画質化エンジンに機械学習を行わせる。例えば、第1の教師データでトレーニングされた機械学習モデルに対応する第1の高画質化エンジン、第1の教師データでトレーニングされた機械学習モデルに対応する第1の高画質化エンジンというように高画質化エンジン群を用意する。

0198

このような高画質化エンジンは、それぞれ対応する機械学習モデルのトレーニングに用いた教師データが異なるため、高画質化エンジンに入力される画像の撮影条件によって、入力画像を高画質化できる程度が異なる。具体的には、第1の高画質化エンジンは、第1の撮影条件の組み合わせで撮影して取得された入力画像に対しては高画質化の程度が高く、第2の撮影条件の組み合わせで撮影して取得された画像に対しては高画質化の程度が低い。同様に、第2の高画質化エンジンは、第2の撮影条件で撮影して取得された入力画像に対しては高画質化の程度が高く、第1の撮影条件で撮影して取得された画像に対しては高画質化の程度が低い。

0199

教師データのそれぞれが撮影条件の組み合わせによってグルーピングされたペア群で構成されることにより、該ペア群を構成する画像群の画質傾向が似る。このため、高画質化エンジンは対応する撮影条件の組み合わせであれば、第1の実施形態に係る高画像化エンジンよりも効果的に高画質化を行うことができる。なお、教師データのペアをグルーピングするための撮影条件の組み合わせは、任意であってよく、例えば、撮影部位、撮影画角、及び画像の解像度のうちの二つ以上の組み合わせであってよい。また、教師データのグルーピングを、第2の実施形態と同様に、一つの撮影条件に基づいて行ってもよい。

0200

画質評価部1506は、高画質化部404が、複数の高画質化エンジンを用いて生成した複数の高画質画像について、検者の指示に応じて、最も画質の高い高画質画像を選択する。

0201

出力部405は、画質評価部1506が選択した高画質画像を表示部20に表示させたり、他の装置に出力したりすることができる。なお、出力部405は、高画質化部404が生成した複数の高画質画像を表示部20に表示させることができ、画質評価部1506は、表示部20を確認した検者からの指示に応じて最も画質の高い高画質画像を選択することができる。

0202

これにより、画像処理装置1500は、複数の高画質化エンジンを用いて生成された複数の高画質画像のうち、検者の指示に応じた最も画質の高い高画質画像を出力することができる。

0203

以下、図16及び17を参照して、本実施形態に係る一連の画像処理について説明する。図16は、本実施形態に係る一連の画像処理のフロー図である。なお、本実施形態に係るステップS1610及びステップS1620の処理は、第1の実施形態におけるステップS510及びステップS520での処理と同様であるため、説明を省略する。なお、入力画像に対して、撮影条件について無条件で高画質化する場合には、ステップS1620の処理の後に、ステップS1630の処理を省き、処理をステップS1640に移行してよい。

0204

ステップS1620において、第1の実施形態と同様に、撮影条件取得部402が入力画像の撮影条件群を取得したら、処理はステップS1630に移行する。ステップS1630では、高画質化可否判定部403が、第2の実施形態と同様に、取得された撮影条件群を用いて、高画質化部404に備える高画質化エンジンのいずれかが入力画像を対処可能であるか否かを判定する。

0205

高画質化可否判定部403が、高画質化エンジン群のいずれも入力画像を対処不可能であると判定した場合には、処理はステップS1660に移行する。一方で、高画質化可否判定部403が、高画質化エンジン群のいずれかが入力画像を対処可能であると判定した場合には、処理はステップS1640に移行する。なお、画像処理装置400の設定や実装形態によっては、第1の実施形態と同様に、高画質化エンジンによって一部の撮影条件が対処不可能であると判定されたとしても、ステップS1640を実施してもよい。

0206

ステップS1640においては、高画質化部404が、高画質化エンジン群のそれぞれにステップS1610において取得した入力画像を入力し、高画質画像群を生成する。

0207

ステップS1650では、画質評価部1506が、ステップS1640において生成された高画質画像群のうち最も高画質な画像を選択する。具体的には、まず、出力部405が、ステップS1640で生成された高画質画像群を、表示部20のユーザーインターフェースに表示させる。

0208

ここで、図17に当該インターフェースの一例を示す。当該インターフェースには、入力画像Im1710、及び高画質化エンジン群のそれぞれが出力した高画質画像Im1720,Im1730,Im1740,Im1750のそれぞれが表示される。検者は不図示の任意の入力装置を操作して、画像群(高画質画像Im1720〜Im1750)のうち、最も高画質、つまり、最も画像診断に適した画像を指示する。なお、高画質化エンジンによって高画質化していない入力画像の方が、画像診断に適している可能性もあるので、検者による指示の対象となる画像群に入力画像を加えてもよい。

0209

その後、画質評価部1506は、検者によって指示された高画質画像を最も高画質な画像として選択する。

0210

ステップS1660においては、出力部405が、ステップS1650において選択された画像を表示部20に表示させたり、他の装置に出力したりする。ただし、ステップS1630において、入力画像が処理不可能であると判定されている場合には、出力部405は、入力画像を出力画像として出力する。なお、出力部405は、検者によって入力画像が指示された場合や、入力画像が処理不可能であった場合には、表示部20に出力画像が入力画像と同じであることを表示させてもよい。

0211

上記のように、本実施形態に係る高画質化部404は、複数の高画質化エンジンを用いて、入力画像から複数の高画質画像を生成し、画像処理装置1500の出力部405は、検者の指示に応じて、複数の高画質画像のうち少なくとも一つの画像を出力する。特に、本実施形態では、出力部405は、検者の指示に応じて、最も高画質な画像を出力する。これにより、画像処理装置1500は、複数の高画質化エンジンを用いて生成された複数の高画質画像のうち、検者の指示に応じた画質の高い高画質画像を出力することができる。

0212

なお、出力部405は、第1の実施形態と同様に、生成された高画質画像を撮影装置10や画像処理装置1500に接続される他の装置に出力してもよい。また、高画質化エンジンの教師データの出力データは、第1の実施形態と同様に、重ね合わせ処理を行った高画質画像に限られない。すなわち、重ね合わせ処理やMAP推定処理、平滑化フィルタ処理、階調変換処理、高性能な撮影装置を用いた撮影、高コストな処理、ノイズ低減処理といった処理群や撮影方法のうち、少なくとも一つを行うことによって得られた高画質画像を用いてもよい。

0213

<第8の実施形態>
次に、図15及び16を参照して、第8の実施形態に係る画像処理装置について説明する。本実施形態では、画質評価部が、画質評価エンジンを用いて、複数の高画質化エンジンから出力された複数の高画質画像のうち最も高画質な画像を選択する。

0214

特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第7の実施形態に係る画像処理装置1500と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第7の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は、第7の実施形態に係る画像処理装置の構成と同様であるため、図15に示す構成について同一の参照符号を用いて示し、説明を省略する。

0215

本実施形態に係る画質評価部1506には、入力された画像の画質を評価する画質評価エンジンが備えられている。画質評価エンジンは入力された画像に対する画質評価指数を出力する。本実施形態に係る画質評価エンジンにおいて画質評価指数を算出する画質評価処理手法は、機械学習アルゴリズムを用いて構築した機械学習モデルを用いる。機械学習モデルをトレーニングする教師データを構成するペアの入力データは、事前に様々な撮影条件によって撮影された低画質画像群と高画質画像群とで構成される画像群である。また、機械学習モデルをトレーニングする教師データを構成するペアの出力データは、例えば、画像診断を行う検者が入力データの画像群のそれぞれについて設定した画質評価指数群である。

0216

次に図16を参照して、本実施形態に係る一連の画像処理について説明する。なお、本実施形態に係るステップS1610、ステップS1620、ステップS1630、及びステップS1660の処理は、第7の実施形態におけるこれらの処理と同様であるため、説明を省略する。なお、入力画像に対して、撮影条件について無条件で高画質化する場合には、ステップS1620の処理の後に、ステップS1630の処理を省き、処理をステップS1640に移行してよい。

0217

ステップS1630において、第7の実施形態と同様に、高画質化可否判定部403が、高画質化エンジン群のいずれかが入力画像を対処可能であると判定した場合には、処理はステップS1640に移行する。なお、画像処理装置400の設定や実装形態によっては、第1の実施形態と同様に、高画質化エンジンによって一部の撮影条件が対処不可能であると判定されたとしても、ステップS1640を実施してもよい。

0218

ステップS1640においては、高画質化部404が、高画質化エンジン群のそれぞれにステップS1610において取得した入力画像を入力し、高画質画像群を生成する。

0219

ステップS1650では、画質評価部1506が、ステップS1640において生成された高画質画像群のうち最も高画質な画像を選択する。具体的には、まず、画質評価部1506が、ステップS1640で生成された高画質画像群を、画質評価エンジンに入力する。画質評価エンジンは、入力された各高画質画像について、学習に基づいて、画質評価指数を算出する。画質評価部1506は、算出された画質評価指数のうち最も高い画質評価指数が算出された高画質画像を選択する。なお、高画質化エンジンによって高画質化していない入力画像の方が、画像診断に適している可能性もあるので、画質評価部1506は、画質評価エンジンに入力画像も入力し、入力画像に対する画質評価指数も選択に加えてもよい。ステップS1660は、第7の実施形態のステップS1660と同様であるため説明を省略する。

0220

上記のように、本実施形態に係る画像処理装置1500は、高画質画像の画質を評価する画質評価部1506を更に備える。高画質化部404は、複数の高画質化エンジンを用いて、入力画像から複数の高画質画像を生成し、画像処理装置1500の出力部405は、画質評価部1506による評価結果に応じて、複数の高画質画像のうち少なくとも一つの画像を出力する。特に、本実施形態に係る画質評価部1506は、所定の評価手法による評価値を学習データとした画質評価エンジンを含む。画質評価部1506は、複数の高画質画像のうち、画質評価部1506による画質評価エンジンを用いた評価の結果が最も高い高画質画像を選択する。出力部405は、画質評価部1506によって選択された最も評価値が高い高画質画像を出力する。

0221

これにより、本実施形態に係る画像処理装置1500では、画質評価エンジンの出力に基づいて、複数の高画質画像から最も画像診断に適した高画質画像を容易に出力することができる。

0222

なお、本実施形態では、画質評価部1506が画質評価エンジンによって出力される画質評価指数のうち最も高い画質評価指数の高画質画像を選択し、出力部405が選択された高画質画像を表示部20に表示させた。しかしながら、画質評価部1506の構成はこれに限られない。例えば、画質評価部1506は画質評価エンジンによって出力される画質評価指数のうち上位いくつかの画質評価指数の高画質画像を選択し、出力部405が選択された高画質画像を表示部20に表示させてもよい。また、出力部405が、画質評価エンジンによって出力された画質評価指数を対応する高画質画像とともに表示部20に表示させ、画質評価部1506が検者の指示に応じて、最も高画質な画像を選択してもよい。

0223

なお、出力部405は、第1の実施形態と同様に、生成された高画質画像を撮影装置10や画像処理装置1500に接続される他の装置に出力してもよい。また、高画質化エンジンの教師データの出力データは、第1の実施形態と同様に、重ね合わせ処理を行った高画質画像に限られない。すなわち、重ね合わせ処理やMAP推定処理、平滑化フィルタ処理、階調変換処理、高性能な撮影装置を用いた撮影、高コストな処理、ノイズ低減処理といった処理群や撮影方法のうち、少なくとも一つを行うことによって得られた高画質画像を用いてもよい。

0224

<第9の実施形態>
次に、図18及び19を参照して、第9の実施形態に係る画像処理装置について説明する。本実施形態では、真贋評価部が、真贋評価エンジンを用いて、高画質化部404によって生成された高画質画像が十分に高画質化されたものであるか否かを評価する。

0225

特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第1の実施形態に係る画像処理装置400と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第1の実施形態に係る画像処理装置との違いを中心として説明する。

0226

図18は、本実施形態に係る画像処理装置1800の概略的な構成を示す。本実施形態に係る画像処理装置1800には、取得部401、撮影条件取得部402、高画質化可否判定部403、高画質化部404、及び出力部405に加えて、真贋評価部1807が設けられている。なお、画像処理装置1800は、これら構成要素のうちの一部が設けられた複数の装置で構成されてもよい。ここで、取得部401、撮影条件取得部402、高画質化可否判定部403、高画質化部404、及び出力部405は、第1の実施形態に係る画像処理装置の構成と同様であるため、図4に示す構成について同一の参照符号を用いて示し、説明を省略する。

0227

また、画像処理装置1800は、第1の実施形態に係る画像処理装置400と同様に撮影装置10、表示部20及び不図示の他の装置と、任意の回路やネットワークを介して接続されてよい。また、これらの装置は、他の任意の装置と回路やネットワークを介して接続されてもよいし、他の任意の装置と一体的に構成されてもよい。なお、これらの装置は本実施形態では別個の装置とされているが、これらの装置の一部又は全部を一体的に構成してもよい。

0228

真贋評価部1807には、真贋評価エンジンが備えられている。真贋評価部1807は、真贋評価エンジンを用いて、高画質化エンジンが生成した高画質画像が十分に高画質化されているか否かを評価する。本実施形態に係る真贋評価エンジンにおける真贋評価処理手法は、機械学習アルゴリズムを用いて構築した機械学習モデルを用いる。

0229

機械学習モデルをトレーニングする教師データには、事前に様々な撮影条件によって撮影された高画質画像群と対象の撮影装置によって撮影され取得されたことを表すラベル(以下、真作ラベル)とのペア群が含まれる。また、教師データには、高画質化の精度の悪い高画質化エンジンに低画質画像を入力して生成した高画質画像群と対象の撮影装置によって撮影され取得されていないことを表すラベル(以下、贋作ラベル)とのペア群が含まれる。

0230

このような教師データを用いて学習が行われた真贋評価エンジンは、入力された画像に対し、確実に撮影装置によって撮影され取得された画像か否かを評価できるわけではないが、撮影装置によって撮影され取得された画像らしさを持つ画像か否かを評価できる。この特性を利用して、真贋評価部1807は、真贋評価エンジンに高画質化部404が生成した高画質画像を入力することで、高画質化部404が生成した高画質画像が十分に高画質化されているか否かを評価できる。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ