図面 (/)

技術 内視鏡画像処理システム

出願人 株式会社MICOTOテクノロジー国立大学法人鳥取大学
発明者 下田智大植木賢藤井政至古賀敦朗上原一剛
出願日 2019年9月20日 (1年10ヶ月経過) 出願番号 2019-172325
公開日 2021年4月1日 (3ヶ月経過) 公開番号 2021-048927
状態 特許登録済
技術分野 内視鏡 教示用装置 イメージ分析
主要キーワード 単位画像領域 自己判定 長けた 推論精度 観察ポイント 領域位置データ 構成要素群 特定局
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2021年4月1日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (12)

課題

内視鏡画像を用いた内視鏡動作の支援を可能とする技術を提供する。

解決手段

内視鏡画像処理システムは、取得された内視鏡画像を学習済みモデルに対して与えることで、その内視鏡画像を撮像した内視鏡の位置及び方向を示す位置情報及び向き情報を取得し、取得された位置情報及び向き情報と当該内視鏡画像とを関連付けて格納し、当該学習済みモデルは、教師用内視鏡画像を撮像した内視鏡の位置及び向きの正解をその教師用内視鏡画像に対して関連付けた複数の教師データに基づいて機械学習されている。

概要

背景

医療現場において内視鏡は広く普及しており、上部消化管内視鏡大腸内視鏡、気管支鏡胸腔鏡血管内視鏡カプセル内視鏡など、臓器や使用目的に応じて多くの種類の内視鏡が提供されている。また、臓器内の映像を見ることができるだけでなく、組織採取ポリープ切除等を可能とする内視鏡もある。

内視鏡検査では、臓器内を損傷させることなく内視鏡の挿入部を臓器内に挿入させ、病変を逃さず発見しなければならないところ、そのような内視鏡手技には高度な技能が必要となる。
そこで、下記特許文献1では、各病理タイプに分類された学習用画像群を保存しておき、得られた内視鏡画像識別対象領域の画像とその学習用画像群との特徴量マッチングによって各病理タイプを識別する内視鏡画像診断支援システムが提案されている。

概要

内視鏡画像を用いた内視鏡動作の支援を可能とする技術を提供する。内視鏡画像処理システムは、取得された内視鏡画像を学習済みモデルに対して与えることで、その内視鏡画像を撮像した内視鏡の位置及び方向を示す位置情報及び向き情報を取得し、取得された位置情報及び向き情報と当該内視鏡画像とを関連付けて格納し、当該学習済みモデルは、教師用内視鏡画像を撮像した内視鏡の位置及び向きの正解をその教師用内視鏡画像に対して関連付けた複数の教師データに基づいて機械学習されている。

目的

本発明は、このような事情に鑑みてなされたものであり、内視鏡画像を用いた内視鏡動作の支援を可能とする技術を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

管腔臓器内の内視鏡により撮像された内視鏡画像を取得する画像取得手段と、第一の学習済みモデルに対して前記取得された内視鏡画像を与えることで、該内視鏡画像を撮像した内視鏡の位置及び方向を示す位置情報及び向き情報を取得する第一モデル処理手段と、前記取得された位置情報及び向き情報と前記取得された内視鏡画像とを関連付けて格納する格納手段と、を備え、前記第一の学習済みモデルは、教師用内視鏡画像を撮像した内視鏡の位置及び向きの正解を該教師用内視鏡画像に対して関連付けた複数の教師データに基づいて、機械学習されている、内視鏡画像処理システム

請求項2

前記複数の教師データにおける内視鏡の位置及び向きの正解は、管腔臓器を長軸方向に仮想的に区分けした複数領域の各々を位置情報として識別し得る領域位置データの正解、及び各領域にそれぞれ仮想的に設定される三次元直交軸で示される各方向を識別し得る領域方向データの正解であり、前記第一モデル処理手段は、前記取得された内視鏡画像に対応する領域位置データ及び領域方向データを前記位置情報及び前記向き情報として取得する、請求項1に記載の内視鏡画像処理システム。

請求項3

前記画像取得手段により取得される内視鏡画像は、生体の管腔臓器内又は生体の管腔臓器を模した管腔臓器モデル内の内視鏡により撮像された画像であり、前記複数の教師データは、前記管腔臓器モデル内で内視鏡により撮像された複数の教師用内視鏡画像を含む、請求項1又は2に記載の内視鏡画像処理システム。

請求項4

生体の管腔臓器を模した管腔臓器モデルの複数の所定部位に設けられた各センサからの内視鏡の存在検出情報を取得する検出情報得手段、を更に備え、前記画像取得手段により取得される内視鏡画像は、前記管腔臓器モデル内の内視鏡により撮像された画像であり、前記複数の教師データの教師用内視鏡画像は、前記管腔臓器モデル内で内視鏡により撮像された画像であり、前記第一モデル処理手段は、前記取得された存在検出情報を更に用いて、前記位置情報及び前記向き情報を取得する、請求項1又は2に記載の内視鏡画像処理システム。

請求項5

第二の学習済みモデルに対して前記取得された内視鏡画像を与えることで、該内視鏡画像に対応する領域指定データを取得する第二モデル処理手段と、前記取得された領域指定データに基づいて、前記取得された内視鏡画像内の該領域指定データで指定される画像領域に関する内視鏡のガイド情報を生成する出力処理手段と、を更に備え、前記第二の学習済みモデルは、各教師用内視鏡画像に対して領域指定データの正解をそれぞれ関連付けた複数の教師データを用いて機械学習されている、請求項1から4のいずれか一項に記載の内視鏡画像処理システム。

請求項6

前記第二の学習済みモデルは、各教師用内視鏡画像に対して内視鏡のジョブ情報タグ付けされた特定画像領域を指定する第二領域指定データの正解をそれぞれ関連付けた複数の教師データを用いて機械学習されており、前記第二モデル処理手段は、前記領域指定データと共に、前記領域指定データに対応するジョブ情報を更に取得し、前記出力処理手段は、前記ジョブ情報を更に用いて、該ジョブ情報に対応する表示形態で、前記取得された領域指定データで指定される画像領域を示す表示を前記ガイド情報として前記取得された内視鏡画像に付加する、請求項5に記載の内視鏡画像処理システム。

請求項7

前記出力処理手段は、前記取得された内視鏡画像内における前記取得された領域指定データで示される画像領域に向かう方向表示を該内視鏡画像に重畳表示させる、請求項5又は6に記載の内視鏡画像処理システム。

請求項8

前記出力処理手段は、前記取得された内視鏡画像内における前記取得された領域指定データで示される画像領域が、該内視鏡画像における所定位置又は所定大きさとなったことを報知する報知表示を出力する、請求項5から7のいずれか一項に記載の内視鏡画像処理システム。

請求項9

前記格納手段は、前記取得された領域指定データに基づいて、内視鏡で撮像記録されたと推定される臓器部位履歴情報である撮像記録情報を保持し、前記出力処理手段は、前記撮像記録情報で示される臓器部位の履歴情報に基づいて、撮像記録すべき臓器部位群の中から撮像記録がなされていない臓器部位を特定する、請求項5から8のいずれか一項に記載の内視鏡画像処理システム。

請求項10

前記出力処理手段は、前記画像取得手段により逐次取得される内視鏡画像に基づいて、内視鏡が管腔臓器内で所定時間停滞していることを検出することを契機に、前記ガイド情報を付加した表示を出力する、請求項5から9のいずれか一項に記載の内視鏡画像処理システム。

請求項11

第二の学習済みモデルに対して前記取得された内視鏡画像を与えることで、該内視鏡画像に対応する第一領域指定データを取得する第二モデル処理手段と、第三の学習済みモデルに対して前記取得された内視鏡画像を与えることで、該内視鏡画像に対応する第二領域指定データ及び該第二領域指定データに対応するジョブ情報を取得する第三モデル処理手段と、前記第二の学習済みモデル及び前記第三の学習済みモデルの各出力に基づいて、前記取得された第一領域指定データか、前記取得された第二領域指定データ及びジョブ情報かのいずれか一方を選択し、前記取得された内視鏡画像内の該選択された該第一領域指定データ又は該第二領域指定データで指定される画像領域に関する内視鏡のガイド情報を生成する出力処理手段と、を更に備え、前記第二の学習済みモデルは、各教師用内視鏡画像に対して第一領域指定データの正解をそれぞれ関連付けた複数の教師データを用いて機械学習されており、前記第三の学習済みモデルでは、各教師用内視鏡画像に対して内視鏡のジョブ情報でタグ付けされた特定画像領域を指定する第二領域指定データの正解をそれぞれ関連付けた複数の教師データを用いて機械学習されている、請求項1から4のいずれか一項に記載の内視鏡画像処理システム。

技術分野

0001

本発明は、内視鏡撮像された画像(内視鏡画像表記する)を処理する技術に関する。

背景技術

0002

医療現場において内視鏡は広く普及しており、上部消化管内視鏡大腸内視鏡、気管支鏡胸腔鏡血管内視鏡カプセル内視鏡など、臓器や使用目的に応じて多くの種類の内視鏡が提供されている。また、臓器内の映像を見ることができるだけでなく、組織採取ポリープ切除等を可能とする内視鏡もある。

0003

内視鏡検査では、臓器内を損傷させることなく内視鏡の挿入部を臓器内に挿入させ、病変を逃さず発見しなければならないところ、そのような内視鏡手技には高度な技能が必要となる。
そこで、下記特許文献1では、各病理タイプに分類された学習用画像群を保存しておき、得られた内視鏡画像の識別対象領域の画像とその学習用画像群との特徴量マッチングによって各病理タイプを識別する内視鏡画像診断支援システムが提案されている。

先行技術

0004

特開2015−146970号公報

発明が解決しようとする課題

0005

上述のシステムによれば、内視鏡画像における病変の発見精度を向上させることができる。
しかしながら、病変が発見可能に写る内視鏡画像を撮像するには、内視鏡を適切に動作させる必要がある。
一方で、研修医が内視鏡を適切に動作させる手技を習得しようとした場合、指導医の下で訓練を受けなければならず、指導医の負担の増加などの問題が生じている。また、医師が自身で操作する内視鏡の動作の良し悪しや自身の内視鏡手技の習熟度自己判定できないといった問題もある。

0006

本発明は、このような事情に鑑みてなされたものであり、内視鏡画像を用いた内視鏡動作の支援を可能とする技術を提供する。

課題を解決するための手段

0007

本発明の一側面に係る内視鏡画像処理システムは、以下の構成を採用する。即ち、当該内視鏡画像処理システムは、管腔臓器内の内視鏡により撮像された内視鏡画像を取得する画像取得手段と、第一の学習済みモデルに対して当該取得された内視鏡画像を与えることで、その内視鏡画像を撮像した内視鏡の位置及び方向を示す位置情報及び向き情報を取得する第一モデル処理手段と、取得された位置情報及び向き情報と当該内視鏡画像とを関連付けて格納する格納手段とを備えており、当該第一の学習済みモデルは、教師用内視鏡画像を撮像した内視鏡の位置及び向きの正解をその教師用内視鏡画像に対して関連付けた複数の教師データに基づいて、機械学習されている。
当該内視鏡画像処理システムは、一つの装置であってもよいし、複数の装置であってもよい。
また、第一の学習済みモデルは、当該内視鏡画像処理システム内に設けられていてもよいし、外部に設けられていてもよい。
また、当該内視鏡画像処理システムでの処理対象となる内視鏡画像を撮像する内視鏡は、上部消化管内視鏡、大腸内視鏡、気管支鏡、胸腔鏡、血管内視鏡、カプセル内視鏡などであり、限定されない。
内視鏡画像に写る管腔臓器は、人体模型における臓器を模した臓器モデルであってもよいし、生体の実管腔臓器であってもよい。

発明の効果

0008

本発明によれば、内視鏡画像を用いた内視鏡動作の支援を可能とする技術を提供することができる。

図面の簡単な説明

0009

本実施形態に係る内視鏡手技トレーナーシステムの一部の外観を示す図である。
本実施形態に係る内視鏡手技トレーナーシステムの制御構成概念的に示す図である。
制御部により実現されるソフトウェア構成を概念的に示すブロック図である。
ポジショニングAIモデルで用いられる領域位置データを説明するための食道及び十二指腸の模式図である。
ポジショニングAIモデルで用いられる領域方向データを説明するための胃の輪切り断面模式図である。
第一ガイドAIモデルで用いられる第一領域指定データを説明するための図である。
第二ガイドAIモデルで推論される第二領域指定データを説明するための図である。
内視鏡のガイド情報の表示例を示す図である。
観察ポイントガイド表示の例を示す図である。
制御部の動作例を示すフローチャートである。
他の実施形態に係る内視鏡システムの制御構成を概念的に示す図である。

実施例

0010

以下、本発明の実施形態について図面を用いて説明する。以下に挙げる実施形態は例示であり、本発明は以下の実施形態の構成に限定されない。

0011

以下、本発明の実施形態としての内視鏡手技トレーナーシステムについて説明する。
図1は、本実施形態に係る内視鏡手技トレーナーシステムの一部の外観を示す図である。
図2は、本実施形態に係る内視鏡手技トレーナーシステムの制御構成を概念的に示す図である。
本実施形態に係る内視鏡手技トレーナーシステム(以降、本システムと表記する)1は、主に、人体模型3、入出力パネル5、制御部10などにより構成されており、内視鏡手技の個人学習及び個人訓練を可能とする。具体的には、本システム1では、訓練を受ける人(以降、トレーニーと表記する)は、人体模型3を用いて内視鏡手技を実際に訓練しながら、入出力パネル5等に出力されるガイド情報を参照することで内視鏡手技を自主学習することができる。
このように、本システム1は、研修医のようなトレーニーに対して内視鏡手技の指導を行うことができるため、指導医の負担を軽減することができる。
以下には、主に、上部消化管内視鏡の手技に関する構成を中心に説明するものとする。但し、本システム1により自主学習及び自主訓練が可能となる医療手技は、大腸内視鏡検査小腸内視鏡検査、胆・内視鏡検査、これらの内視鏡治療の手技も含まれるし、その他の挿管に関する手技も含まれ得る。

0012

〔人体模型〕
人体模型3は、訓練を受ける人(以降、トレーニーと表記する)により操作される人型モデルであり、人体外形及び内臓を模した形状を有している。本実施形態では、人体模型3は、図1に示されるように、人体全体の外形模擬していると共に、内臓として、口腔鼻腔咽頭喉頭気管、食道、気管支、胃、及び十二指腸といった管腔臓器の形状を内部で模擬している。
人体模型3は、訓練目的の手技に対応する姿勢台座部上に載置される。例えば、気管挿管の訓練時には、人体模型3は仰向け姿勢で台座部上に載置され、内視鏡手技の訓練時には、図1に示されるように、人体模型3は横向き姿勢で台座部上に載置される。

0013

人体模型3の体外表面は、人体外形を模した皮膚シートに覆われており、頭部にはウィッグが装着されている。
皮膚シートは、シリコーンゴム等の柔軟性を有する素材により形成されている。ここでの柔軟性とは、折り曲げたとしても破断、損傷などを生じ難い特性を意味し、伸縮性及び弾性のいずれか一方又は両方の特性を含んでいてもよい。

0014

人体模型3における皮膚シートの内側の内部構造は、体内器官構造や骨格ベース部などにより構成される。骨格ベース部は、人体模型3の形状の基礎となる骨組みを形成する構成要素群であり、金属や合成樹脂などの被訓練者による操作に耐え得る強度及び硬度を有する材質で形成される。骨格ベース部には、頭蓋骨頸椎等に相当する骨格部材が含まれる。
体内器官構造は、管腔臓器を模した形状を有する構成要素群であり、任意の位置及び方法で骨格ベース部に連結固定されている。体内器官構造には、体内造形部(図示せず)が含まれる。

0015

本実施形態において、体内造形部は、口腔、鼻腔、口腔、咽頭、喉頭、気管、食道、胃、十二指腸を模擬した口腔モデル、鼻腔モデル、咽頭モデル、喉頭モデル、気管モデル、食道モデル、胃モデル、及び十二指腸モデルを含む。
このような体内造形部は、シリコーンゴムのような生体の管腔臓器に近い柔軟性を有する素材により形成される。また、体内造形部は、管腔臓器をリアル再現するには、可能な限り繋ぎ目をなくすように、柔軟性材料を用いて一体成形されることが好ましい。

0016

このように、人体模型3では、骨格ベース部及び体内器官構造が生体を高精度に模擬していることが好ましいが、本実施形態は、人体模型3の具体的な形状や素材、製造方法等を限定するわけではない。本実施形態は、公知の様々な人体模型3を利用することができる。
例えば、訓練対象とする医療手技に応じて、人体模型3は、上半身だけの人体外形を模擬していてもよいし、体内造形部として、大腸、小腸、胆嚢胆管等の消化管や、尿管膀胱尿道等の尿路系などの他の管腔臓器が模擬されていてもよい。

0017

本実施形態では、体内造形部の所定の複数部位に、体内造形部内に挿入される内視鏡の存在を検出するための物体検出センサが設けられている。各物体検出センサは、内視鏡操作者に違和感を与えないように、挿入された内視鏡に接触しない位置(例えば、管腔臓器モデルの管腔画定する内壁面よりも外側)にそれぞれ設けられる。本実施形態では、当該物体検出センサには、光電センサが利用されており、食道入口部、胃食道接合部、及び十二指腸下降脚部に設けられている。
但し、物体検出センサは、設けられなくてもよいし、本実施形態とは異なる部位に設けられてもよいし、その数も限定されない。また、物体検出センサによる物体検出原理も限定されない。

0018

〔制御構成〕
制御部10は、本システム1の制御を司る構成であり、PC(Personal Computer)のようないわゆるコンピュータであってもよいし、組込みシステムであってもよいし、制御基板であってもよい。
制御部10は、入出力パネル5やスピーカ6等と共に、人体模型3が載置される台座部を持つ機器搭載台内に収容される。
制御部10は、図2に示されるように、ハードウェア構成として、プロセッサ11、メモリ12、入出力インタフェース(I/F)ユニット13等を有している。
プロセッサ11は、一般的な一以上のCPU又はMPU(Micro Processing Unit)であってもよいし、それに替え又はそれと共に、特定用途向け集積回路ASIC)、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)、FPGA(Field Programmable Gate Array)等であってもよい。

0019

メモリ12は、RAM(Random Access Memory)及びROM(Read Only Memory)であり、補助記憶装置ハードディスク等)を含んでもよい。メモリ12には、本システム1の各種機能を実現する制御プログラムが格納される。制御プログラムには、AI(Artificial Intelligence)モデルも含まれる。
ここで、AIモデルとは、機械学習(Machine Learning(ML))モデル、学習済みモデルとも表記可能であり、コンピュータプログラムパラメータとの組合せ、或いは複数の関数とパラメータとの組合せとも表記可能である。
本実施形態は、教師有り機械学習のAIモデルであれば、そのAIモデルの構造や学習アルゴリズムを限定しない。例えば、AIモデルは、入力層、中間層(隠れ層)及び出力層の各層において複数のノードエッジで連結されている構造を持ち、各ノードの値がそのノードに接続される他のノードの値及びエッジの重み(パラメータ)から活性化関数で算出されるニューラルネットワークNN)又はディープニューラルネットワーク(DNN)と呼ばれるモデルで実現されてもよい。また、本実施形態では、AIモデルは、内視鏡画像を用いるため、畳み込みニューラルネットワーク(CNN)で実現されてもよい。
本明細書における「AIモデル」は、ニューラルネットワークで構築される場合で、かつ、入力層、中間層及び出力層を一つのニューラルネットワークの単位と捉えた場合に、一つのニューラルネットワークを指してもよいし、複数のニューラルネットワークの組合せを指してもよい。

0020

入出力I/Fユニット13は、プロセッサ11で処理すべき又は処理された信号の入力又は出力を制御する機器であり、入出力パネル5等のユーザインタフェース装置、スピーカ6、センサ群7、内視鏡8等に接続される。内視鏡8やセンサ群7等と入出力I/Fユニット13との接続形態は、有線のみならず、通信可能に無線で接続されていてもよい。また、入出力I/Fユニット13は、他のコンピュータや機器との通信を行う通信ユニットを含んでもよく、可搬型記録媒体等にも接続され得る。

0021

センサ群7は、人体模型3の内部又は外部に設けられた複数の各種センサであり、上述した物体検出センサを含む。センサ群7は、体内造形部の所定部位に設けられた圧力センサ、体内造形部の管腔内の気圧を検知する気圧センサなどの物体検出センサ以外のセンサを含んでもよい。
入出力パネル5は、機器搭載台の上方に設置されており、訓練メニュー、本システム1の動作モード、実施内容、評価結果などを表示する表示装置、及び表示装置に表示された画面を操作するための入力装置を含む。図1の例では、入出力パネル5は、表示装置と入力装置とが一体化されたタッチパネルとして実現されている。入出力パネル5の表示内容等については後述する。

0022

本実施形態において入出力I/Fユニット13に接続される内視鏡8は、上部消化管内視鏡である。上部消化管内視鏡は、先端部及び湾曲部を含む挿入部、先端部及び湾曲部に対して各種操作を行うための操作部、画像処理装置等から構成される。操作部には、アングルノブ(左右アングル及び上下アングル)、吸引ボタン、送気・送水ボタン鉗子の挿入口等が設けられている。但し、入出力I/Fユニット13に接続される内視鏡8は、上部消化管内視鏡以外の、大腸内視鏡、気管支鏡、胸腔鏡、血管内視鏡等であってもよい。
また、制御部10は、図2に図示されていないハードウェア要素を含んでもよく、制御部10のハードウェア構成は制限されない。

0023

プロセッサ11によりメモリ12に格納される制御プログラムが実行されることにより、制御部10は、センサ群7及び内視鏡8からの入力信号を受けつつ、入出力パネル5への表示出力、入出力パネル5からの入力情報の取得、スピーカ6からの音声出力制御等を行う。
当該制御プログラムは、出荷時に予め格納されてもいてもよいし、CD(Compact Disc)、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから入出力I/Fユニット13を介してインストールされ、メモリ12に格納されてもよい。

0024

〔ソフトウェア構成〕
図3は、制御部10により実現されるソフトウェア構成を概念的に示すブロック図である。
プロセッサ11によりメモリ12に格納される制御プログラムが実行されることにより、制御部10は、図3に示されるようなソフトウェア構成を実現する。具体的には、制御部10は、ソフトウェア構成として、画像処理モジュール21、AI処理モジュール22、格納処理モジュール23、出力処理モジュール24等を有している。画像処理モジュール21は画像取得手段と表記することができ、AI処理モジュール22は第一、第二又は第三モデル処理手段と表記することができ、格納処理モジュール23は格納手段と表記することができ、出力処理モジュール24は出力処理手段と表記することができる。
但し、図3に示される各ソフトウェア構成要素は、説明の便宜のために概念的にそれぞれ分けて示したものであるため、制御部10で実現されるソフトウェア構成は、図3に示されるような各構成要素に明確に区分けされていなくてもよい。

0025

本システム1は、トレーニーによる内視鏡手技の個人学習及び個人訓練を可能とするべく、上述のようなソフトウェア構成に基づく制御部10の動作により、内視鏡8の位置及び向きの推定、及び内視鏡8のガイドを行う。
ここで「内視鏡の位置及び向き」とは、具体的には、人体模型3の管腔臓器モデル(ここでは主に食道モデル、胃モデル及び十二指腸モデル)内に挿入された内視鏡8の先端部に設けられた撮像素子の位置及び撮像方向を意味する。
内視鏡8のガイドでは、その時々で内視鏡8の先端部が何をすべきかを案内又は指導する情報が出力される。トレーニーは、本システム1で出力される内視鏡8のガイド情報を参照しながら、内視鏡8を操作することで、指導医なく、内視鏡手技を独自に学習及び訓練することができる。
以下、制御部10で実行される「内視鏡の位置及び向きの推定」に係る処理、及び「内視鏡のガイド」に係る処理について詳述する。

0026

制御部10が当該処理を実行するにあたり、ポジショニングAIモデル31、第一ガイドAIモデル32、及び第二ガイドAIモデル33がメモリ12に格納されている。ポジショニングAIモデル31、第一ガイドAIモデル32、及び第二ガイドAIモデル33は、第一、第二、又は第三の学習済みモデルと表記することができる。
ポジショニングAIモデル31、第一ガイドAIモデル32、及び第二ガイドAIモデル33は、教師有りの機械学習アルゴリズム学習済みのAIモデルである。以降、ポジショニングAIモデル31は、P−AIモデル31と表記され、第一ガイドAIモデル32は、G1−AIモデル32と表記され、第二ガイドAIモデル33は、G2−AIモデル33と表記される。
制御部10の上記処理を説明する前に、まず、これら各AIモデルについて説明する。

0027

P−AIモデル31は、内視鏡で撮像された画像である内視鏡画像を入力して、その内視鏡画像に対応する領域位置データ及び領域方向データを推論する画像分類タイプのAIモデルである。P−AIモデル31は、第一の学習済みモデルに相当する。
「領域位置データ」とは、管腔臓器を長軸方向に仮想的に区分けした複数の臓器領域の中からP−AIモデル31の推論結果に基づいて特定される一以上の各臓器領域を内視鏡8の位置情報としてそれぞれ識別し得るデータであり、管腔臓器内における内視鏡8の先端部の位置を特定するためのデータである。
「領域方向データ」とは、管腔臓器を長軸方向に仮想的に区分けした各臓器領域にそれぞれ仮想的に設定される三次元直交軸で示される複数方向(本実施形態では六方向)の中からP−AIモデル31の推論結果に基づいて特定される一以上の各方向を内視鏡8の方向情報としてそれぞれ識別し得るデータであり、管腔臓器内における内視鏡8の先端部の向きを特定するためのデータである。

0028

図4は、ポジショニングAIモデル31で用いられる領域位置データを説明するための食道、胃及び十二指腸の模式図であり、図5は、ポジショニングAIモデル31で用いられる領域方向データを説明するための胃の輪切りの断面模式図である。
本実施形態では、食道、胃及び十二指腸からなる管腔臓器が、長軸方向に、口側食道部E0、胃側食道部E1、穹窿部E2、胃体部E3、胃角部E4、前庭部E5、十二指腸球部E6、十二指腸下行脚E7、及び下十二指腸角E8の各臓器領域に仮想的に区分けされる。なお、図4には、口側食道部E0及び下十二指腸角E8は図示されていない。
領域位置データは、これら複数の臓器領域の中からP−AIモデル31の推論結果に基づいて特定される一以上の各臓器領域を内視鏡8の位置情報としてそれぞれ識別し得るデータであり、例えば、E0からE8の数値或いは文字列で示される。

0029

図5には、胃体部E3に仮想的に設定される三次元直交軸で示される六方向が示されている。具体的には、胃体部E3の輪切り断面における、後壁から前壁へ向かう方向(以降、前壁方向と表記する)D1、前壁から後壁へ向かう方向(以降、後壁方向と表記する)D2、大弯から小弯へ向かう方向(以降、小弯方向と表記する)D3、小弯から大弯へ向かう方向(以降、大弯方向と表記する)D4、食道側から十二指腸側へ向かう方向(以降、挿入方向と表記する)D5、十二指腸側から食道側へ向かう方向(以降、引き抜き方向と表記する)D6が示されている。
領域方向データは、臓器領域ごとの当該三次元直交軸で示される六方向の中からP−AIモデル31の推論結果に基づいて特定される一以上の各方向を識別し得るデータであり、例えば、D1からD6の数値或いは文字列で示される。三次元直交軸は、胃体部E3のみでなく、他の各臓器領域についてもそれぞれ仮想的に設定され、管腔臓器は直線状に延びているわけではないため、臓器領域ごとに設定される各方法はそれぞれ異なる場合もある。
また、領域方向データは、方向指定なしを示すデータを含んでもよい。

0030

P−AIモデル31は、領域位置データの正解と領域方向データの正解とを教師用内視鏡画像に対して関連付けた複数の教師データに基づいて、機械学習されている。具体的には、複数の教師用内視鏡画像が準備され、各教師用内視鏡画像を撮像した内視鏡の位置及び方向が(例えば人により)上述した領域位置データ及び領域方向データを用いてそれぞれ特定され、特定された領域位置データ及び領域方向データ(正解データ)で各教師用内視鏡画像に対してタグ付けがなされることで、複数の教師データが生成される。P−AIモデル31は、このようにして生成された複数の教師データを用いて所定の機械学習アルゴリズムにより学習される。例えば、P−AIモデル31は、画像分類に適したCNNの公知の学習アルゴリズムで学習される。

0031

ここで、教師用内視鏡画像は、内視鏡手技に長けた熟練医師が人体模型3を用いて内視鏡手技を実際に行うことで収集することができる。一人の熟練医師による複数回の内視鏡手技により複数パターンの教師用内視鏡画像群が収集されてもよいし、複数人の熟練医師による複数回の内視鏡手技により複数パターンの教師用内視鏡画像群が収集されてもよい。
本実施形態では、人体模型3の管腔臓器モデルが用いられることで、当該教師用内視鏡画像を容易に収集することができると共に、領域位置データ及び領域方向データの正解データについても容易に特定することができる。

0032

このように学習済みのP−AIモデル31は、人体模型3内に挿入された内視鏡8で撮像された画像である内視鏡画像が入力されると、管腔臓器の各臓器領域についての確率値及び三次元直交軸で示される六方向の各々の確率値をそれぞれ出力する。具体的には、入力された内視鏡画像が当該各領域(口側食道部E0、胃側食道部E1、穹窿部E2、胃体部E3、胃角部E4、前庭部E5、十二指腸球部E6、十二指腸下行脚E7、及び下十二指腸角E8)に分類される確率値、及び当該内視鏡画像が当該六方向(前壁方向D1、後壁方向D2、小弯方向D3、大弯方向D4、挿入方向D5、及び引き抜き方向D6)に分類される確率値がそれぞれ算出される。言い換えれば、各臓器領域の確率値は、その臓器領域(位置)に内視鏡8が存在している確度を示しており、各方向の確率値は、内視鏡8が向いている方向の確度を示している。

0033

これにより、領域位置データは、P−AIモデル31の推論結果である臓器領域ごとの確率値に基づいて、所定閾値以上の確率値を持つ一以上の臓器領域を識別し得るデータ、或いは、最大確率値を持つ臓器領域を識別し得るデータとして取得される。領域方向データは、P−AIモデル31の推論結果である方向ごとの確率値に基づいて、所定閾値以上の確率値を持つ一以上の方向を識別し得るデータ、或いは、最大確率値を持つ方向を識別し得るデータとして取得される。

0034

G1−AIモデル32は、内視鏡画像を入力して、その内視鏡画像に対応する第一領域指定データを推論する画像分類タイプのAIモデルである。G1−AIモデル32は、第二の学習済みモデルに相当する。
「第一領域指定データ」とは、G1−AIモデル32に入力される内視鏡画像内の或る画像領域を指定する(指し示す)データである。本実施形態では、第一領域指定データで指定される画像領域は、その内視鏡画像を撮像している内視鏡8が進むべきルートに対応する画像領域とされる。但し、第一領域指定データで指定される画像領域は、このような例に限定されず、内視鏡8で何かをすべき場所(ポイント)に対応する画像領域とされてもよい。例えば、観察すべきポイント(撮像記録すべき部位)に対応する画像領域、何らかの治療を施すべき或いは組織採取を行うべきポイント(部位)に対応する画像領域が第一領域指定データで指定されてもよい。
以降、内視鏡8で観察すべき或いは撮像記録すべき部位を観察ポイントと表記する場合がある。

0035

図6は、第一ガイドAIモデル32で用いられる第一領域指定データを説明するための図である。
G1−AIモデル32に入力される内視鏡画像は、予め決められたサイズ及び形状に正規化されており、図6に示されるように、予め決められた格子線で複数の単位画像領域に仮想的に区分けされる。図6の例では、縦5つ及び横5つの25個の単位画像領域に区分けされている。
第一領域指定データでは、いずれか一つの単位画像領域、又は、上下、左右若しくは斜めに隣接するいずれか二つの単位画像領域が、画像領域として指定される。第一領域指定データは、例えば、「縦,横」の座標値で示される。例えば、縦の上から3番目で横の左から4番目の単位画像領域からなる画像領域を示す第一領域指定データは、「3,4」で示され、縦の上から2番目で横の左から3番目及び4番目の二つの単位画像領域からなる画像領域を示す第一領域指定データは、「2,3−2,4」で示される。
本実施形態では、各単位画像領域は、格子線で区切られた四角形状を有しているが、単位画像領域の形状や大きさは限定されず、円形状であっても、三角形状であってもよい。

0036

G1−AIモデル32は、各教師用内視鏡画像に対して第一領域指定データの正解をそれぞれ関連付けた複数の教師データを用いて機械学習されている。具体的には、複数の教師用内視鏡画像が準備され、各教師用内視鏡画像に関してその画像を撮像した内視鏡が進むべきルートに対応する画像領域が(例えば人により)それぞれ特定され、特定された画像領域を指定する第一領域指定データの正解で各教師用内視鏡画像に対してタグ付けがなされることで、複数の教師データが生成される。G1−AIモデル32は、このようにして生成された複数の教師データを用いて所定の機械学習アルゴリズムにより学習される。例えば、G1−AIモデル32は、P−AIモデル31と同様の画像分類に適したCNNの公知の学習アルゴリズムで学習される。
教師用内視鏡画像の収集方法については、P−AIモデル31と同様であればよい。

0037

このように学習済みのG1−AIモデル32は、人体模型3内に挿入された内視鏡8で撮像された画像である内視鏡画像が入力されると、その内視鏡画像における各画像領域についての確率値をそれぞれ出力する。例えば、G1−AIモデル32は、図6の格子線で区分けされた一つずつの単位画像領域に加え、左右に隣接する二つの単位画像領域の全組合せ、上下に隣接する二つの単位画像領域の全組合せ、及び斜めに隣接する二つの単位画像領域の全組合せのそれぞれの画像領域について、確率値を出力する。
つまり、各画像領域の確率値は、対象となる内視鏡画像の各画像領域が進むべきルート或いは何かをすべき場所である確度を示している。
これにより、領域指定データは、G1−AIモデル32の推論結果である画像領域ごとの確率値に基づいて、所定閾値以上の確率値を持つ一以上の画像領域を指定するデータ、或いは、最大確率値を持つ画像領域を指定するデータとして取得される。

0038

G2−AIモデル33は、内視鏡画像を入力して、その内視鏡画像内において、予め決められたジョブ情報でタグ付けされた画像領域を検出する画像検出タイプのAIモデルである。これにより、後述するAI処理モジュール22は、G2−AIモデル33に対して内視鏡画像を与えることで、その内視鏡画像内において検出された画像領域を指定する第二領域指定データと、その第二領域指定データに対応するジョブ情報を取得することができる。G2−AIモデル33もまた第二の学習済みモデルに相当する。
「第二領域指定データ」は、内視鏡画像内の或る画像領域を指定する(指し示す)データである点において上述の第一領域指定データと同意である。しかしながら、AIモデルのタイプが異なること、第二領域指定データにはジョブ情報が対応付けられることなどから、ここでは説明を分かり易くするために、第一領域指定データと区別して第二領域指定データと表記するものとする。第二領域指定データは、BoundingBoxと呼ばれることもある。
但し、後述の説明で「領域指定データ」と表記した場合には、第一領域指定データ又は第二領域指定データのいずれか一方又は両方を意味するものとする。
ここで第二領域指定データの「ジョブ情報」とは、第二領域指定データで指定される画像領域に対応するタグ情報であって、内視鏡8が進むべきルートを示す或いは内視鏡8で何かをすべき場所(ポイント)を示す情報である。例えば、ジョブ情報は、観察ポイントを示してもよいし、何らかの治療を施すべき或いは組織採取を行うべきポイント(部位)を示してもよい。

0039

G2−AIモデル33は、各教師用内視鏡画像に対して、ジョブ情報がタグ付けされた第二領域指定データの正解をそれぞれ関連付けた複数の教師データを用いて機械学習されている。具体的には、複数の教師用内視鏡画像が準備され、必要となるタグが準備される。ここでのタグは、上述のジョブ情報であり、内視鏡8が進むべきルートを示すタグ、観察ポイントを示すタグ、組織採取を行うべきポイントを示すタグ等が準備される。そして、各教師用内視鏡画像に関して当該準備されたタグ(ジョブ情報)に対応する画像領域があればその画像領域が(例えば人により)タグごとに指定されることで、複数の教師データが生成される。G2−AIモデル33は、このようにして生成された複数の教師データを用いて所定の機械学習アルゴリズムにより学習される。例えば、G2−AIモデル33は、画像検出に適したCNNの公知の学習アルゴリズムで学習される。
教師用内視鏡画像の収集方法については、P−AIモデル31やG1−AIモデル32と同様であればよい。

0040

図7は、第二ガイドAIモデル33で推論される第二領域指定データを説明するための図である。
図7の例では、5つの画像領域B1、B2、B3、B4及びB5が検出されており、各画像領域をそれぞれ指定する5つの第二領域指定データが表されている。画像領域B1は、大弯ひだの観察ポイントを示すジョブ情報でタグ付けされており、画像領域B2は、胃角部の観察ポイントを示すジョブ情報でタグ付けされており、画像領域B4は、幽門の観察ポイントを示すジョブ情報でタグ付けされている。画像領域B5は、潰瘍の組織採取を示すジョブ情報でタグ付けされており、画像領域B3は、次に進むべきルートを示すジョブ情報でタグ付けされている。

0041

このように学習済みのG2−AIモデル33は、人体模型3内に挿入された内視鏡8で撮像された画像である内視鏡画像が入力されると、その内視鏡画像内における、ジョブ情報で予めタグ付けされている画像領域ごとの検出結果と、検出された画像領域を指定する第二領域指定データとをそれぞれ出力する。画像領域ごとの検出結果は、画像領域ごとの存在確率値であってもよいし、画像領域ごとの検出の有無であってもよい。前者の場合には、所定閾値以上の存在確率値を持つ画像領域が検出された画像領域とされてもよい。
このように学習済みのG2−AIモデル33によれば、入力された内視鏡画像から、予めタグ付けされた複数の特定局所画像のいずれかと同一又は近似する画像領域が検出され、その検出された画像領域を指定する第二領域指定データと、それに対応する特定局所画像のタグ(ジョブ情報)とが取得される。

0042

〔内視鏡の位置及び向きの推定〕
上述のような学習済みのP−AIモデル31を用いて、制御部10は、内視鏡8の位置及び向きを推定する。以下、制御部10により実行される内視鏡8の位置及び向きの推定に係る処理について詳述する。

0043

制御部10は、入出力I/Fユニット13を介して接続されている内視鏡8の画像処理装置から、内視鏡8の先端部に設けられている撮像素子で撮像された映像信号を受信している。
画像処理モジュール21は、その映像信号から得られる内視鏡映像画像フレーム(内視鏡画像)を取得する。画像処理モジュール21は、当該内視鏡映像を所定周期間引いて内視鏡画像を逐次取得することもできる。
画像処理モジュール21は、取得された内視鏡画像をP−AIモデル31の入力用に正規化する。例えば、画像処理モジュール21は、取得された内視鏡画像に対してトリミングサイズ調整を行うことができる。

0044

AI処理モジュール22は、画像処理モジュール21で取得されかつ正規化された内視鏡画像をP−AIモデル31に入力することで、その内視鏡画像に対応する領域位置データ及び領域方向データを取得する。具体的には、P−AIモデル31は、入力された内視鏡画像に関して、管腔臓器の各臓器領域についての確率値、及び三次元直交軸で示される各方向についての確率値をそれぞれ算出する。例えば、口側食道部E0、胃側食道部E1、穹窿部E2、胃体部E3、胃角部E4、前庭部E5、十二指腸球部E6、十二指腸下行脚E7、及び下十二指腸角E8の各臓器領域についての確率値、並びに、前壁方向D1、後壁方向D2、小弯方向D3、大弯方向D4、挿入方向D5、及び引き抜き方向D6の各方向についての確率値がそれぞれ算出される。

0045

AI処理モジュール22は、P−AIモデル31の算出結果である臓器領域ごとの確率値に基づいて、最大確率値を持つ臓器領域を識別し得るデータを領域位置データとして取得し、更に、P−AIモデル31の算出結果である三次元直交軸で示される方向ごとの確率値に基づいて、最大確率値を持つ方向を識別し得るデータを領域方向データとして取得する。ここで、AI処理モジュール22は、所定閾値以上の確率値を持つ一以上の臓器領域を識別し得るデータを領域位置データとして取得し、所定閾値以上の確率値を持つ一以上の方向を識別し得るデータを領域方向データとして取得することもできる。
本実施形態では、AI処理モジュール22は、その領域位置データ及び領域方向データに関してそれぞれ算出された確率値も合わせて取得しておく。

0046

格納処理モジュール23は、AI処理モジュール22により取得された領域位置データ及び領域方向データと、それらデータに対応する内視鏡画像とを関連付けてメモリ12に格納する。格納処理モジュール23は、後で再生可能となるように、領域位置データ及び領域方向データと内視鏡画像とを関連付けてメモリ12に格納することもできるし、内視鏡画像の表示と共に、領域位置データ及び領域方向データで示される内視鏡8の位置情報及び向き情報を表示するために、双方を関連付けて一時的にメモリ12に格納し、すぐに削除するようにしてもよい。

0047

出力処理モジュール24は、内視鏡8の画像処理装置から受信される映像信号に基づいて、入出力パネル5の表示装置に内視鏡映像を表示しながら、或る画像フレーム(内視鏡画像)が表示されるタイミングで、その内視鏡画像に関して取得された領域位置データ及び領域方向データで示される内視鏡8の位置情報及び向き情報を入出力パネル5の表示装置に表示する。
内視鏡8の位置情報及び向き情報は、文字で表示されてもよいし、管腔臓器の模式図に対して内視鏡8の位置及び向きを把握可能な表示を付すことで表示されてもよい。

0048

〔内視鏡のガイド〕
上述のような学習済みのG1−AIモデル32及びG2−AIモデル33を用いて、制御部10は、内視鏡8のガイドを行う。以下、制御部10により実行される内視鏡8のガイドに係る処理について詳述する。
内視鏡8のガイドに係る処理は、上述の内視鏡8の位置及び向きの推定に係る処理と並列に実行される。なお、画像処理モジュール21による内視鏡画像の取得方法については上述のとおりである。

0049

本実施形態では、AI処理モジュール22は、画像処理モジュール21で取得されかつ正規化された内視鏡画像をG1−AIモデル32及びG2−AIモデル33の両方に入力する。これにより、G1−AIモデル32及び第二ガイドAIモデル33が並列に実行される。
G1−AIモデル32は、入力された内視鏡画像における各画像領域についての確率値をそれぞれ算出する。例えば、G1−AIモデル32は、図6の格子線で区分けされた一つずつの単位画像領域に加え、左右に隣接する二つの単位画像領域の全組合せ、上下に隣接する二つの単位画像領域の全組合せ、及び斜めに隣接する二つの単位画像領域の全組合せのそれぞれの画像領域について、確率値を出力する。
G2−AIモデル33は、入力された内視鏡画像内における、ジョブ情報で予めタグ付けされている画像領域ごとの検出結果と、検出された画像領域を指定する第二領域指定データとをそれぞれ算出する。例えば、画像領域ごとの検出結果は、所定閾値以上の存在確率値を持つか否かに基づいて、各画像領域の検出の有無を示す。

0050

ここで、G1−AIモデル32及びG2−AIモデル33の推論精度は、入力される内視鏡画像によって相互に異なる場合がある。例えば、内視鏡画像の特定の画像領域を検出するG2−AIモデル33は、画像特徴となる全輪郭を含む内視鏡画像に対しては検出精度が高いが、輪郭を部分的にのみ含む内視鏡画像では検出精度が劣化する傾向にある。一方で、入力される内視鏡画像を画像領域で分類するG1−AIモデル32においても、入力される内視鏡画像によって分類精度が劣化する場合がある。
そこで、本実施形態では、G1−AIモデル32及びG2−AIモデル33の両方を並列に実行して、いずれか一方の出力を用いることで、高い推論精度を維持する。例えば、G1−AIモデル32により算出された画像領域ごとの確率値の最大値が所定閾値よりも低い場合には、G2−AIモデル33の出力を用い、当該最大値が所定閾値以上となる場合には、G1−AIモデル32の出力を用いるようにする。

0051

このように、AI処理モジュール22は、G1−AIモデル32及びG2−AIモデル33のいずれか一方から領域指定データを取得する。具体的には、G1−AIモデル32の出力を用いる場合には、AI処理モジュール22は、G1−AIモデル32により算出された画像領域ごとの確率値に基づいて、最大確率値を持つ画像領域を指定する第一領域指定データを取得する。ここで、AI処理モジュール22は、所定閾値以上の確率値を持つ一以上の画像領域を指定する第一領域指定データを取得することもできる。
本実施形態では、AI処理モジュール22は、その第一領域指定データに関して算出された確率値も合わせて取得しておく。
G2−AIモデル33の出力を用いる場合には、AI処理モジュール22は、G2−AIモデル33により出力される、当該内視鏡画像内における、ジョブ情報で予めタグ付けされている画像領域ごとの検出結果と、検出された画像領域を指定する第二領域指定データとをそれぞれ取得する。更に、AI処理モジュール22は、検出された画像領域を指定する第二領域指定データに付与されているタグ(ジョブ情報)も取得する。

0052

ところで、G1−AIモデル32から取得される第一領域指定データが内視鏡8が進むべきルートに対応する画像領域を指定している場合で、G2−AIモデル33で各画像領域にタグ付けされているジョブ情報が当該ルートに加えて内視鏡8で何かすべき場所(ポイント)等のようなルート以外の情報を示す場合がある。この場合には、内視鏡8が進むべきルートについては、上述のようにG1−AIモデル32又はG2−AIモデル33のいずれか一方の出力を用い、それ以外のジョブ情報についてはG2−AIモデル33の出力を固定的に用いるようにしてもよい。

0053

また、本実施形態では、上述のとおり、G1−AIモデル32及びG2−AIモデル33が共に利用されたが、内視鏡画像が写す管腔臓器内の位置に応じて、G1−AIモデル32とG2−AIモデル33とが切り替えて用いられるようにしてもよい。この場合、AI処理モジュール22は、P−AIモデル31の推論結果を用いて推定された内視鏡8の位置に応じて、G1−AIモデル32とG2−AIモデル33とを切り替えて用いればよい。例えば、内視鏡8の位置が胃である場合には、G1−AIモデル32及び第二ガイドAIモデル33の両方が利用され、内視鏡8の位置が食道又は十二指腸である場合には、G2−AIモデル33が利用されるようにしてもよい。

0054

出力処理モジュール24は、上述したとおり入出力パネル5の表示装置に内視鏡映像を表示しながら、対象となる画像フレーム(内視鏡画像)が表示されるタイミングで、AI処理モジュール22により取得された領域指定データに基づいてその内視鏡画像に内視鏡8のガイド情報を付加した表示を当該表示装置に表示する。
本実施形態において表示されるガイド情報には、内視鏡8が進むべきルート又は方向をガイドする情報、観察や、組織採取や治療等のように内視鏡8で何かをすべき場所(ポイント)をガイドする情報等がある。

0055

具体的には、出力処理モジュール24は、画像処理モジュール21より取得された内視鏡画像内におけるAI処理モジュール22により取得された領域指定データで示される画像領域に向かう方向表示をその内視鏡画像に重畳表示させる。
この方向表示は、明確に特定画像領域を指し示すように表示されてもよいし、上方、下方、左方、右方といった程度の方向を指し示す表示であってもよい。

0056

また、出力処理モジュール24は、G2−AIモデル33から第二領域指定データを取得すると共に、その第二領域指定データに対応するジョブ情報を更に取得する場合には、そのジョブ情報に対応する表示形態で、その第二領域指定データで指定される画像領域を示す表示を内視鏡8のガイド情報として内視鏡画像に付加することもできる。
例えば、ジョブ情報が内視鏡8の進むべきルートを示している場合には、第二領域指定データで示される画像領域に向かう方向表示(例えば矢印表示等)が内視鏡画像に付加される。また、ジョブ情報が観察ポイントを示している場合には、第二領域指定データで示される画像領域上にマーカ表示が付されてもよい。

0057

図8は、内視鏡のガイド情報の表示例を示す図である。
図8の例では、内視鏡8の進むべきルートに対応する画像領域に向かう矢印表示G1が内視鏡画像に重畳されている。加えて、観察ポイントに対応する画像領域にマーカG2が付されると共に、より把握し易いようにそのマーカG2の周囲に環状破線G3が表示されている。
但し、本実施形態におけるガイド情報の表示は、図8の例に限定されない。

0058

ここで内視鏡検査のマニュアルでは、病変の看過を防ぐべく、観察ポイントが多数決められている。観察ポイントは、少し離れた位置からの観察だけでなく、接近して細部の観察も必要となる。そこで、本実施形態では、観察ポイントのような画像領域が第一領域指定データ又は第二領域指定データで指定されている場合には、その画像領域が内視鏡画像内で或る程度の大きさでかつ中央の位置に配置されるようにガイドする。
例えば、出力処理モジュール24は、当該取得された内視鏡画像内における当該取得された領域指定データで示される画像領域が、その内視鏡画像における所定位置又は所定の大きさとなったことを報知する報知表示を出力する。これは、取得された内視鏡画像に関して、観察ポイントに相当する画像領域を指定する領域指定データが取得された時点、即ち、当該内視鏡画像に観察ポイントが現れた時点で、報知表示を出力することも含む。
この報知表示は、観察ポイントに相当する画像領域が内視鏡画像内に現れた、或い内視鏡画像内で所定位置又は所定の大きさになったことを見る者が把握できれば、どのような表示内容及び表示形態であってもよい。

0059

図9は、観察ポイントのガイド表示の例を示す図である。
図9の例では、出力処理モジュール24は、AI処理モジュール22により取得された領域指定データにより指定される画像領域B10が観察ポイントに相当する場合に、次のようにガイド表示を行う。即ち、出力処理モジュール24は、照準表示F1、F2及びF3を内視鏡映像に重畳表示し、所定位置に示される照準表示F2の枠内で当該画像領域B10が所定の大きさになったタイミングでその内視鏡画像を静止画像G4とし、その静止画像G4を回転及び縮小させながらフレームアウトする演出を行う。
この表示におけるフレームアウト演出は、領域指定データで示される画像領域が内視鏡画像における所定位置又は所定の大きさとなったことを報知する報知表示に相当すると捉えることもできるし、当該表示における照準表示F1、F2及びF3の表示が、当該報知表示に相当すると捉えることもできる。後者の場合、出力処理モジュール24は、観察ポイントに対応する領域指定データがAI処理モジュール22により取得された時点で、照準F1、F2及びF3を表示させてもよいし、その領域指定データにより指定される画像領域B10が所定位置又は所定大きさとなった場合に、照準F1、F2及びF3を表示させてもよい。
但し、当該報知表示の内容及び表示形態はこのような例に限定されない。

0060

上述のようなガイド情報は、画像処理モジュール21により領域指定データが取得された場合に、常に表示されてもよい。しかしながら、ガイド情報が頻繁に表示された場合、トレーニーの熟練度が或る程度上がると、ガイド情報が邪魔になりトレーニーに不快感を与える可能性がある。
そこで、出力処理モジュール24は、画像処理モジュール21により逐次取得される内視鏡画像に基づいて、内視鏡8が管腔臓器内で所定時間停滞していることを検出することを契機に、当該ガイド情報を付加した表示を出力するようにしてもよい。
この場合には、例えば、内視鏡画像の内容が所定時間ほとんど変わらないことを検出することで、内視鏡8が管腔臓器内で所定時間停滞していることを検出することができる。内視鏡8が或る程度の時間停滞しているということは、トレーニーが内視鏡手技に戸惑っている可能性がある。
上述のように内視鏡8が管腔臓器内で所定時間停滞していることを検出することを契機に、当該ガイド情報を付加した表示を出力することで、トレーニーが戸惑っている場合にのみ当該ガイド情報を表示することができるため、ガイド情報が邪魔になりトレーニーに不快感を与えることを防ぐことができる。

0061

内視鏡手技のマニュアルでは、上述したように多数の観察ポイントが決められていると共に、各観察ポイントを撮像記録して静止画を残すことが推奨されている。
そこで、制御部10(格納処理モジュール23)は、内視鏡8で撮像記録されたと推定される臓器部位履歴情報である撮像記録情報を保持するようにしてもよい。この場合、出力処理モジュール24は、撮像記録すべき臓器部位群の情報を用いて、撮像記録情報で示される臓器部位の履歴情報に基づいて、撮像記録すべき臓器部位群の中から撮像記録がなされていない臓器部位を特定することができる。更に、出力処理モジュール24は、撮像記録がなされていない臓器部位を特定した場合、その旨或いは特定された臓器部位を示す情報を入出力パネル5の表示装置に表示することもできる。
このようにすれば、トレーニーに対して、撮像記録漏れを指摘することができる。

0062

内視鏡8で撮像記録されたと推定される臓器部位は、次のように特定することができる。
内視鏡8の操作部に設けられている静止画像の記録を指示するスイッチの操作を示す信号が入出力I/Fユニット13で受信できる場合には、その信号が受信されたタイミングに対応する内視鏡画像に関して取得された領域位置データ、若しくは、第一領域指定データ、又は第二領域指定データ及びジョブ情報により、当該臓器部位の特定が可能である。
また、G2−AIモデル33の出力により観察ポイント(撮像記録すべき臓器部位)を示すジョブ情報でタグ付けされた画像領域が検出されかつその画像領域を指定する第二領域指定データが取得された場合には、その第二領域指定データで示される画像領域が内視鏡画像における所定位置又は所定大きさとなったことを検出することで、その観察ポイントに対応する臓器部位が撮像記録されたと推定することができる。
更に言えば、各観察ポイントに相当する特定臓器部位が所定位置及び所定大きさで写る内視鏡画像を教師用内視鏡画像とし、その教師用内視鏡画像に対して特定臓器部位ごとの撮像記録を示す撮像記録データでタグ付けした教師データで機械学習されているAIモデルを用いることで、内視鏡8で撮像記録されたと推定される臓器部位を特定することもできる。この場合、内視鏡画像をそのAIモデルに与えることで撮像記録データが取得された場合に、その撮像記録データに基づいて、内視鏡8で撮像記録されたと推定される臓器部位の履歴情報である撮像記録情報を保持することができる。

0063

〔制御部の動作例〕
図10は、制御部10の動作例を示すフローチャートである。図10で示される各工程の詳しい動作内容については上述したとおりであるため、ここでは、制御部10の動作の流れを中心に説明するものとする。
制御部10は、入出力I/Fユニット13を介して接続されている内視鏡8の画像処理装置から、内視鏡の映像信号を受信しており、この映像信号から得られる内視鏡映像を入出力パネル5の表示装置に表示している。
制御部10は、当該内視鏡映像の画像フレーム(内視鏡画像)を所定周期で間引いて逐次取得し(S101)、内視鏡画像を取得する度に、図10に示される動作フローを実行する。工程(S101)では、制御部10は、その内視鏡画像を各種AIモデルの入力用に正規化することもできる。

0064

制御部10は、(S101)で取得された内視鏡画像をP−AIモデル31、G1−AIモデル32及びG2−AIモデル33へそれぞれ入力する(S110)、(S121)及び(S122)。ここでは、P−AIモデル31、G1−AIモデル32及びG2−AIモデル33には同一の内視鏡画像を入力する例を示すが、各AIモデルには、内視鏡映像の画像フレームからそれぞれ異なる周期で間引いて取得される相互に異なる内視鏡画像が入力されてもよい。
これにより、P−AIモデル31、G1−AIモデル32及びG2−AIモデル33は、略並列に実行される。

0065

制御部10は、P−AIモデル31の算出結果に基づいて領域位置データ及び領域方向データを取得する(S111)。このとき、P−AIモデル31により出力される臓器領域ごとの確率値の最大値又は方向ごとの確率値の最大値が所定閾値よりも低い場合には、制御部10は、(S101)で取得された内視鏡画像に関しては、領域位置データ又は領域方向データを取得しないようにしてもよい。
制御部10は、内視鏡映像に加えて、(S111)で取得された領域位置データ及び領域方向データで示される内視鏡8の位置情報及び向き情報を入出力パネル5の表示装置に表示する(S112)。

0066

上述のような動作に並行して、制御部10は、G1−AIモデル32及びG2−AIモデル33の出力を参照して次のように動作する。
制御部10は、G2−AIモデル33の出力に基づいて、ジョブ情報で予めタグ付けされている画像領域ごとの検出結果を判定し(S123)、更に、G1−AIモデル32の出力に基づいて、第一領域指定データの取得の可否を判定する(S124)及び(S131)。第一領域指定データの取得の可否は、各画像領域についての確率値の最大値が所定閾値以上か否かで判定することができる。当該最大値が所定閾値以上であれば、第一領域指定データの取得可能と判定し、そうでなければ、第一領域指定データの取得不可と判定することができる。

0067

制御部10は、検出された画像領域が有り、かつ第一領域指定データが取得可能である場合には(S123;YES)(S124;YES)、G1−AIモデル32又はG2−AIモデル33の出力を選択する必要があるか否かを判定する(S125)。例えば、G2−AIモデル33で検出された画像領域に対応するジョブ情報(タグ)がG1−AIモデル32で分類される画像領域の意味情報(例えば、内視鏡8を進めるべきルート或いは観察ポイント)と一致する場合には、選択する必要有りと判定され(S125;YES)、異なる場合には、選択する必要無しと判定されればよい(S125;NO)。
選択する必要があると判定された場合(S125;YES)、制御部10は、G1−AIモデル32の出力又はG2−AIモデル33の出力のいずれか一方を選択する(S126)。これにより、第一領域指定データ又は第二領域指定データのいずれか一方が選択される。例えば、第一領域指定データで指定される画像領域の確率値が所定閾値以上であれば、G1−AIモデル32の出力である第一領域指定データが取得され、そうでなければ、G2−AIモデル33の出力である第二領域指定データ及びそれに対応するジョブ情報が取得されてもよい。

0068

選択する必要無しと判定された場合には(S125;NO)、制御部10は、G1−AIモデル32の出力である第一領域指定データ及びG2−AIモデル33の出力である第二領域指定データ及びそれに対応するジョブ情報を取得する(S128)。
また、検出された画像領域が有り、かつ第一領域指定データが取得不可である場合には(S123;YES)(S124;NO)、制御部10は、G2−AIモデル33の出力である第二領域指定データ及びそれに対応するジョブ情報を取得する(S127)。
また、検出された画像領域がなく、かつ一領域指定データが取得可能である場合には(S123;NO)(S131;YES)、制御部10は、G1−AIモデル32の出力である第一領域指定データを取得する(S132)。なお、検出された画像領域がなく、かつ第一領域指定データが取得不可である場合には(S123;NO)(S124;NO)、制御部10は、ガイド情報を表示することなく処理を終える。

0069

制御部10は、第一領域指定データ若しくは第二領域指定データのいずれか一方又は両方を取得すると、内視鏡映像に加えて、取得された領域指定データに基づいてガイド情報を入出力パネル5の表示装置に表示する(S129)。ガイド情報の表示については、上述したとおりである。

0070

但し、制御部10の動作フローは図10に示される例に限定されない。図10に示されるフローチャートでは、複数の工程(処理)が順番に記載されているが、各工程の実行順序は、その記載の順番に制限されない。また、G1−AIモデル32及びG2−AIモデル33の出力結果の利用方法図10に示される例に限定されない。更に、P−AIモデル31、G1−AIモデル32及びG2−AIモデル33のいずれか一つ又はいずれか複数は、他のAIモデルと並列に実行されず、前後して実行されてもよい。図示される工程の順番は内容的に支障のない範囲で変更することができる。

0071

[変形例]
上述した本システム1の内容は、あくまで一例であり、部分的に適宜変更可能である。
例えば、上述した本システム1では、内視鏡8が入出力I/Fユニット13に接続されていたが、内視鏡8は接続されていなくてもよい。例えば、内視鏡8で撮像された内視鏡映像の動画データが可搬型記憶媒体又は外部の装置(PC等)に保存された後、その可搬型記録媒体又は通信を介して制御部10のメモリ12に格納され、その動画データから得られる内視鏡画像が上述のように処理されてもよい。

0072

また、上述した本システム1では、内視鏡画像のみを用いて、内視鏡8の位置情報及び向き情報、並びにガイド情報が取得されたが、内視鏡画像に加えて他の情報を更に用いるようにしてもよい。
例えば、制御部10は、人体模型3の体内造形部の所定部位(例えば食道入口部、胃食道接合部、及び十二指腸下降脚部)に設けられた物体検出センサの検出情報を更に用いるようにしてもよい。これによれば、当該所定部位を内視鏡8の先端部が通過したことは、正確な情報として捉えることができる。即ち、制御部10は、管腔臓器モデルの複数の所定部位に設けられた各センサからの内視鏡の存在検出情報を取得する検出情報取得手段をソフトウェア要素として備えていてもよい。
この場合、人体模型3の物体検出センサによる内視鏡8の検出情報を用いることで、P−AIモデル31の推論結果として得られる領域位置データが正しいか否かが確認可能である。そのため、AI処理モジュール22は、その検出情報に基づいてP−AIモデル31の出力から得られる領域位置データの正誤を判定し、補正することもできる。例えば、AI処理モジュール22は、検出情報と合致する位置を示し最大の確率値を持つ領域位置データを取得するようにしてもよい。
また、物体検出センサが設けられた部位間の臓器領域ごとにAIモデルを設け、制御部10は、物体検出センサの検出情報を用いて利用するAIモデルを切り替えることもできる。例えば、食道入口部から胃食道接合部までの間のAIモデル、及び胃食道接合部から十二指腸下降脚部までの間のAIモデルが設けられる。これは、P−AIモデル31のみならず、G1−AIモデル32及びG2−AIモデル33についても臓器領域ごとのAIモデルに分割されてもよい。
また、P−AIモデル31が、内視鏡画像と物体検出センサの検出情報を入力とし、臓器領域ごとの確率値及び方向ごとの確率値を出力するように形成することもできる。
このようにより正確な物体検出センサの検出情報を更に用いることで、各種AIモデルの推論精度を向上させることができる。

0073

また、上述の実施形態では特に触れなかったが、制御部10は、P−AIモデル31、G1−AIモデル32及びG2−AIモデル33の推論結果の誤り自動判定することもできる。
例えば、順次処理対象とされる時系列に隣接する3つの内視鏡画像に関するAIモデルの各出力を比較して、中間の内視鏡画像に関する出力がその前後の内視鏡画像に関する出力と著しく異なる場合に、当該中間の内視鏡画像に関する出力は誤りと判定することができる。時系列で隣接する内視鏡画像の時間間隔は1秒未満となるため、中間の内視鏡画像に関してAIモデルが或る程度の信頼度を持つ出力をしているにも関わらず、その出力が前後の内視鏡画像に関する出力と著しく異なることは、誤判定の可能性が高い。仮に高速に内視鏡8を移動させた場合、内視鏡画像はブレにより鮮明な画像とはならず、そのような内視鏡画像をAIモデルに入力した場合には推論不可能となるはずである。

0074

このため、具体的には、制御部10は、中間の内視鏡画像に対してP−AIモデル31の出力から得られる領域位置データ又は領域方向データが前後の内視鏡画像に対して得られる領域位置データ又は領域方向データと著しく異なる場合には、中間の内視鏡画像に関する出力は誤りと判定する。同様に、制御部10は、中間の内視鏡画像に対してG1−AIモデル32又はG2−AIモデル33の出力から得られる領域指定データが前後の内視鏡画像に対して得られる領域指定データと著しく異なる画像領域を指定している場合には、中間の内視鏡画像に関する出力は誤りと判定する。
このように各AIモデルは或る程度の信頼度で出力しているにも関わらず、誤りと判定された場合、制御部10は、その出力を利用しないようにすればよい。

0075

更に言えば、制御部10は、誤りと判定されたAIモデルの出力を、前後の内視鏡画像に関するAIモデルの出力から自動で生成することもできる。例えば、前後の内視鏡画像に関するP−AIモデル31の出力に基づいて取得された領域位置データ又は領域方向データから、内視鏡は高速に移動しないことを前提に、その中間の内視鏡画像に関する領域位置データ及び領域方向データは予測することができる。G1−AIモデル32又はG2−AIモデル33の出力に基づいて取得される領域指定データについても同様である。例えば、前後の内視鏡画像に関して取得された領域指定データで指定される画像領域間の中間位置の画像領域を指定する領域指定データが当該中間の内視鏡画像に対応するデータとして生成されてもよい。

0076

また、制御部10は、誤りと判定された際の当該中間の内視鏡画像と、上述のように前後の内視鏡画像に関するAIモデルの出力から自動で生成された当該中間の内視鏡画像に関するAIモデルの出力とを関連付けて保持しておく。これにより、このように保持しておいた内視鏡画像と自動生成されたAIモデルの出力とをAIモデルの再学習時の教師データとして用いることもできる。
このようなAIモデルの再学習は、本システム1がトレーニーにより利用されない時間帯に自動で実行されてもよい。

0077

また、上述した内視鏡手技トレーナ—システム(本システム1)は、本発明の実施形態の一例である。
本システム1は、人体模型3の臓器モデルを備えており、その臓器モデルを用いた内視鏡手技の自主学習及び自主訓練を可能としていたが、本発明の実施形態としては、内視鏡手技の学習又は訓練を目的とするものに限らず、内視鏡8そのものであってもよい。
図11は、他の実施形態に係る内視鏡システム80(内視鏡8)の制御構成を概念的に示す図である。
内視鏡システム80は、先端部及び湾曲部を含む挿入部、先端部及び湾曲部に対して各種操作を行うための操作部、画像処理装置82、表示装置83等から構成されている。先端部には内視鏡撮像部81が設けられており、内視鏡撮像部81及び表示装置83は、ケーブル等により画像処理装置82に接続されている。
画像処理装置82は、プロセッサ85、メモリ86、入出力インタフェース(I/F)ユニット87等を有しており、メモリ86に格納されている制御プログラム及びAIモデルがプロセッサ85で実行されることで、上述の制御部10と同様の処理が実現されればよい。
画像処理装置82のソフトウェア構成は、図3に示される制御部10のソフトウェア構成と同様であればよい。画像処理装置82は、内視鏡画像処理装置或いは内視鏡画像処理システムと表記することもできる。

0078

内視鏡システム80において、画像処理装置82で取得される内視鏡画像は、人体模型3の管腔臓器モデルを撮像した画像であってもよいし、生体の管腔臓器を撮像した画像であってもよいし、それら両方であってもよい。但し、生体の管腔臓器を内視鏡撮像部81で撮像した内視鏡画像を処理対象とする場合には、P−AIモデル31、G1−AIモデル32及びG2−AIモデル33は、生体の管腔臓器を撮像した教師用内視鏡画像を用いて機械学習されていることが望ましい。その教師用内視鏡画像に対応する領域位置データの正解及び領域方向データの正解、並びに教師用内視鏡画像に対応する領域指定データの正解やそれに対する内視鏡のジョブ情報は、その教師用内視鏡画像を複数の熟練医師で確認することで生成することができる。
また、P−AIモデル31、G1−AIモデル32及びG2−AIモデル33は、上述の本システム1と同様に、人体模型3の管腔臓器モデルを撮像した教師用内視鏡画像を用いて機械学習させた上で、生体の管腔臓器を撮像した教師用内視鏡画像を用いて更に機械学習させるようにしてもよい。更に言えば、様々な形状、大きさ及び態様の管腔臓器を模した複数タイプの管腔臓器モデルを準備し、それら複数タイプの管腔臓器モデルを切り替えながら撮像した教師用内視鏡画像を用いて機械学習させることも可能である。
このようにすれば、P−AIモデル31などの各種AIモデルの推定精度を向上することができる。

0079

また、磁気センサ連携して内視鏡先端部の位置及び向きを取得可能な内視鏡システムを用いて教師用内視鏡画像を収集すると共に、その内視鏡システムで取得された内視鏡先端部の位置情報及び向き情報を収集し、それらを関連付けた複数の教師用データを用いて、P−AIモデル31を機械学習させることもできる。この場合は、上述した「領域位置データ」及び「領域方向データ」よりも細分化された位置情報及び向き情報でP−AIモデル31を学習させることができ、そのように細分化された位置情報及び向き情報が取得可能となる。

0080

また、内視鏡システム80は、カプセル内視鏡のシステムであってもよい。この場合、内視鏡撮像部81は、内視鏡先端部に設けられるわけではなく、カプセル内視鏡自体に設けられ、画像処理装置82と無線通信により接続されればよい。
また、内視鏡システム80は、表示装置83を備える必要もない。P−AIモデル31から取得される領域位置データ及び領域方向データは、対象の内視鏡画像と関連付けられて、メモリ86に格納されればよい。同様に、G1−AIモデル32及びG2−AIモデル33から取得される領域指定データについても、対象の内視鏡画像と関連付けられて、メモリ86に格納されればよい。
また、生成されたガイド情報は、内視鏡における先端部及び湾曲部を含む挿入部、又はカプセル内視鏡自体を自動で動作させるための情報として利用されてもよい。

0081

上述した各実施形態の内容は、次のように特定することもできる。
(付記1)管腔臓器内の内視鏡により撮像された内視鏡画像を取得する画像取得手段と、
学習済みモデルに対して前記取得された内視鏡画像を与えることで、該内視鏡画像に対応する領域指定データを取得するモデル処理手段と、
前記取得された領域指定データに基づいて、前記取得された内視鏡画像内の該領域指定データで指定される画像領域に関する内視鏡のガイド情報を該内視鏡画像に付加した表示を出力する出力処理手段と、
を備え、
前記学習済みモデルは、各教師用内視鏡画像に対して領域指定データの正解をそれぞれ関連付けた複数の教師データを用いて機械学習されている、
内視鏡画像処理システム。

0082

1内視鏡手技トレーナ—システム(本システム)、3人体模型、5入出力パネル、6スピーカ、7センサ群、8 内視鏡、10 制御部、11プロセッサ、12メモリ、13入出力I/Fユニット、21画像処理モジュール、22AI処理モジュール、23格納処理モジュール、24出力処理モジュール、31ポジショニングAIモデル(P−AIモデル)、32 第一ガイドAIモデル(G1−AIモデル)、33 第二ガイドAIモデル(G2−AIモデル)、80内視鏡システム、81 内視鏡撮像部、82画像処理装置、83表示装置、85 プロセッサ、86 メモリ、87 入出力I/Fユニット

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ