図面 (/)

技術 映像医療機器により取得した画像を特徴づける方法およびシステム

出願人 マウナケアテクノロジーズ
発明者 リナード、ニコラスアンドレ、バーバラドーゲット、ジュリアンベルコーテレン、トム
出願日 2014年10月13日 (7年1ヶ月経過) 出願番号 2016-521325
公開日 2016年11月4日 (5年0ヶ月経過) 公開番号 2016-533782
状態 特許登録済
技術分野 内視鏡 画像処理 イメージ分析
主要キーワード 局所的空間 比例因子 円形バンド 単純閾 モデリングエラー 英数字値 グリッド距離 フラット領域
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年11月4日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (11)

解決手段

第1の態様によれば、本発明は、映像医療機器により順次取得された画像を特徴づけることによって、臨床意思決定サポートする方法に関する。本方法は、少なくとも1つの画像の定量的基準を定義するステップと、バッファに順次画像を格納するステップと、バッファ内の各画像(10)に対して、第1のアルゴリズムを使用して、前記画像の定量的基準に基づいて少なくとも1つの出力を自動的に判断するステップと、前記出力をタイムライン(11)に貼り付けるステップとを備える。

概要

背景

映像取得装置は、大量のデータを生成する。このデータを効率的に使用することが、映像編集映像要約、ならびに映像管理および解析に関する他の多くの用途に対して重要である。

Koprinskaa et al.,("Temporal video segmentation:A survey.",Signal Processing:Image Communication,16(5),477-500(2001))で示されたように、時間的映像セグメンテーションは、ほとんどの既存の映像管理ツールで重要なステップである。多くの異なる種類のアルゴリズムが、時間的セグメンテーションを実行するために開発されてきた。

初期の技術は、ピクセル差を使用したカット境界検出もしくは画像グループ化、ヒストグラム比較、エッジ差、およびモーション解析などに焦点を当てていたが、米国特許第7783106B2号明細書および米国特許第8363960B2号明細書などのより最近の方法では、同じ目的を達成するために、画像類似性メトリックス分類、およびクラスタリングも使用している。

Sun,Z.et al.("Removal of non−informative frames for wireless capsule endoscopy video segmentation",Proc.ICAL pp.294−299(2012))およびOh,J.−H.et al.("Informative frame classification for endoscopy video",Medical Image Analysis,11(2),110−127(2007))による用途において、時間的映像セグメンテーションの問題は、情報画像ノイズ画像との間を区別する分類問題として再定式化することができる。

米国特許第20070245242A1号明細書において、時間的映像セグメンテーションは、映像要約を生成するように、シーン間類似性の計算と結びつけられてきた。

医療機器分野において、特に、内視鏡の分野において、動きパターンの評価は、長い映像の解析において、重要な役割を担ってきた。

米国特許第7200253B2号明細書では、摂取可能撮像カプセル動きを評価し、時間に対して動き情報を表示するシステムが開示されている。

同様の動き情報は、米国特許第20100194869A1号明細書において、内視鏡映像の時間的映像セグメンテーションのために使用された。映像の内容の高速スクリーニングは、各時間的セグメントの第1の画像を表示することのみによって実現され、したがって、他の全ての画像をスキップする。

画像をスキップすることなく内視鏡での高速映像スクリーニングで同じ目的に対処するために、米国特許第20100194869A1号明細書では、推定された動きに反比例する再生速度を計算するために動き評価に依存している。

映像モザイクツールに依存することにより、連続した画像が重複している内視鏡による映像の効率的な表示が、米国特許第8218901B2号明細書で開示されている。

内視鏡映像全体の解釈を容易にするために、Andre,B.et al.("A Smart Atlas for Endomicroscopy using Automated Video Retrieval",Medical Image Analysis,15(4),460−476(2011))は、現在の映像に関して視覚的に同様だが、注釈付きの例を表示するよう、現在の映像と、外部データベースからの映像との間の視覚的な類似性に依存する方法を提案した。

意味情報との視覚的類似性補完するための同様の手法が、Andre,B.et al.("Learning Semantic and Visual Similarity for Endomicroscopy Video Retrieval",IEEE Transactions on Medical Imaging,31(6),1276−1288(2012))により開示されている。関連したトピック(Andre,B.et al."An image retrieval approach to setup difficulty levels in training systems for endomicroscopy diagnosis",MICCAI(pp.480−487).Beijing:LNCS(2010))について、所与の内視鏡映像の解釈に関連付けられた難易度を評価する手段が提示されている。

臨床的状況では、映像解析は、一連の手順の間に実行される必要があるだろう。計算時間の問題を回避するために、(米国特許第20110274325A1号明細書では)画像取得を続けながら、計算集約タスクを実行するために連続画像フリーズバッファ活用する方法が開示されている。

上述の作業で示すように、先行技術は、医療機器で取得される映像を効率的に使用することに対して実際に必要性が存在していることを示している。映像データを効率的に使用することは、臨床的状況および非臨床的状況の両方で扱われてきたが、以前の手法は、医療機器で取得した映像を構成する画像の解釈可能性を特徴づけるための方法を教示しない。

概要

第1の態様によれば、本発明は、映像医療機器により順次取得された画像を特徴づけることによって、臨床意思決定サポートする方法に関する。本方法は、少なくとも1つの画像の定量的基準を定義するステップと、バッファに順次画像を格納するステップと、バッファ内の各画像(10)に対して、第1のアルゴリズムを使用して、前記画像の定量的基準に基づいて少なくとも1つの出力を自動的に判断するステップと、前記出力をタイムライン(11)に貼り付けるステップとを備える。

目的

本発明の目的の1つは、映像医療機器で取得したデータの利用の効率を向上することである

効果

実績

技術文献被引用数
1件
牽制数
1件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

映像医療機器により順次取得される画像を特徴づけることによって臨床意思決定サポートする方法であって、少なくとも1つの画像の定量的基準を定義するステップと、バッファに順次画像を格納するステップと、前記バッファ内の各画像に対して、第1のアルゴリズムを使用して、前記画像の定量的基準に基づいて、少なくとも1つの出力を自動的に判断するステップと、前記出力をタイムラインに貼り付けるステップとを備える、方法。

請求項2

前記第1のアルゴリズムの少なくとも1つの出力が、一組みの離散値内の値であり、前記タイムラインが、等しい出力を伴う連続した画像に対応する時間的領域で形成される、請求項1に記載の方法。

請求項3

前記第1のアルゴリズムの少なくとも1つの出力が、連続的なスカラまたはベクトル値である、請求項1に記載の方法。

請求項4

少なくとも1つの時間的領域を選択するステップと、前記時間的領域に対応する前記画像を前記バッファから抽出するステップと、をさらに備える、請求項3に記載の方法。

請求項5

少なくとも1つの出力をもたらす第2のアルゴリズムを使用して前記抽出された画像を処理するステップと、前記第2のアルゴリズムの前記出力を表示するステップと、をさらに備える、請求項4に記載の方法。

請求項6

前記第2のアルゴリズムが、コンテンツベース画像または映像検索アルゴリズムである、請求項5に記載の方法。

請求項7

前記第2のアルゴリズムが、画像または映像分類に基づく、請求項5に記載の方法。

請求項8

前記第2のアルゴリズムが、画像または映像モザイクアルゴリズムである、請求項5に記載の方法。

請求項9

前記第1のアルゴリズムまたは第2のアルゴリズムの少なくとも一方が、外部データベースを使用する、請求項1から8のいずれか一項に記載の方法。

請求項10

前記第1のアルゴリズムまたは第2のアルゴリズムの少なくとも一方が、機械学習に基づく、請求項1から9のいずれか一項に記載の方法。

請求項11

前記定量的基準は、動力学的安定性、画像間の類似性カテゴリに属する確率、画像または映像の特性、画像または映像の非特性、画質アーチファクトの存在、の中の1つである、請求項1から10のいずれか一項に記載の方法。

技術分野

0001

本発明は、一般に、画像および映像処理に関し、特に、順次取得された画像、特に、映像医療機器を介して取得された画像の解釈可能性を特徴づけるステムおよび方法に関する。

背景技術

0002

映像取得装置は、大量のデータを生成する。このデータを効率的に使用することが、映像編集映像要約、ならびに映像管理および解析に関する他の多くの用途に対して重要である。

0003

Koprinskaa et al.,("Temporal video segmentation:A survey.",Signal Processing:Image Communication,16(5),477-500(2001))で示されたように、時間的映像セグメンテーションは、ほとんどの既存の映像管理ツールで重要なステップである。多くの異なる種類のアルゴリズムが、時間的セグメンテーションを実行するために開発されてきた。

0004

初期の技術は、ピクセル差を使用したカット境界検出もしくは画像グループ化、ヒストグラム比較、エッジ差、およびモーション解析などに焦点を当てていたが、米国特許第7783106B2号明細書および米国特許第8363960B2号明細書などのより最近の方法では、同じ目的を達成するために、画像類似性メトリックス分類、およびクラスタリングも使用している。

0005

Sun,Z.et al.("Removal of non−informative frames for wireless capsule endoscopy video segmentation",Proc.ICAL pp.294−299(2012))およびOh,J.−H.et al.("Informative frame classification for endoscopy video",Medical Image Analysis,11(2),110−127(2007))による用途において、時間的映像セグメンテーションの問題は、情報画像ノイズ画像との間を区別する分類問題として再定式化することができる。

0006

米国特許第20070245242A1号明細書において、時間的映像セグメンテーションは、映像要約を生成するように、シーン間類似性の計算と結びつけられてきた。

0007

医療機器分野において、特に、内視鏡の分野において、動きパターンの評価は、長い映像の解析において、重要な役割を担ってきた。

0008

米国特許第7200253B2号明細書では、摂取可能撮像カプセル動きを評価し、時間に対して動き情報を表示するシステムが開示されている。

0009

同様の動き情報は、米国特許第20100194869A1号明細書において、内視鏡映像の時間的映像セグメンテーションのために使用された。映像の内容の高速スクリーニングは、各時間的セグメントの第1の画像を表示することのみによって実現され、したがって、他の全ての画像をスキップする。

0010

画像をスキップすることなく内視鏡での高速映像スクリーニングで同じ目的に対処するために、米国特許第20100194869A1号明細書では、推定された動きに反比例する再生速度を計算するために動き評価に依存している。

0011

映像モザイクツールに依存することにより、連続した画像が重複している内視鏡による映像の効率的な表示が、米国特許第8218901B2号明細書で開示されている。

0012

内視鏡映像全体の解釈を容易にするために、Andre,B.et al.("A Smart Atlas for Endomicroscopy using Automated Video Retrieval",Medical Image Analysis,15(4),460−476(2011))は、現在の映像に関して視覚的に同様だが、注釈付きの例を表示するよう、現在の映像と、外部データベースからの映像との間の視覚的な類似性に依存する方法を提案した。

0013

意味情報との視覚的類似性補完するための同様の手法が、Andre,B.et al.("Learning Semantic and Visual Similarity for Endomicroscopy Video Retrieval",IEEE Transactions on Medical Imaging,31(6),1276−1288(2012))により開示されている。関連したトピック(Andre,B.et al."An image retrieval approach to setup difficulty levels in training systems for endomicroscopy diagnosis",MICCAI(pp.480−487).Beijing:LNCS(2010))について、所与の内視鏡映像の解釈に関連付けられた難易度を評価する手段が提示されている。

0014

臨床的状況では、映像解析は、一連の手順の間に実行される必要があるだろう。計算時間の問題を回避するために、(米国特許第20110274325A1号明細書では)画像取得を続けながら、計算集約タスクを実行するために連続画像フリーズバッファ活用する方法が開示されている。

0015

上述の作業で示すように、先行技術は、医療機器で取得される映像を効率的に使用することに対して実際に必要性が存在していることを示している。映像データを効率的に使用することは、臨床的状況および非臨床的状況の両方で扱われてきたが、以前の手法は、医療機器で取得した映像を構成する画像の解釈可能性を特徴づけるための方法を教示しない。

発明が解決しようとする課題

0016

本発明の目的の1つは、映像医療機器で取得したデータの利用の効率を向上することである。

課題を解決するための手段

0017

この目的のため、臨床意思決定サポートするために、画像の解釈可能性を特徴づけるシステムおよび方法を開示する。本明細書で開示する方法は、映像医療機器により順次取得される画像の特性に基づき、以下を備える。
・解釈可能性基準とも称する、少なくとも1つの画像の定量的基準を定義するステップ
・順次画像をバッファに格納するステップ
・バッファ内の各画像に対して、第1のアルゴリズムを使用して、前記解釈可能性基準に基づいて少なくとも1つの出力を決定するステップ
・前記出力をタイムラインに貼り付けるステップ
これにより、医療映像データの利用者は、取得のほとんどの解釈可能部分について注意を集中することが可能になる。

0018

画像を取得するための映像医療機器は、当業者にとって既知の任意の機器とすることができ、その例には、限定するものではないが、内視顕微鏡光コヒーレンス断層撮影装置、古典的な内視鏡、高精細内視鏡、狭帯域撮像内視鏡、FICE(登録商標)内視鏡、ダブルバルーン小腸内視鏡、ズーム内視鏡、蛍光内視鏡、2D/3D超音波撮像エコー内視鏡、または他の任意の介入的撮像モダリティなどがある。

0019

変形例によれば、本方法は、前記タイムラインと共に前記バッファの画像を表示するステップをさらに備える。有利には、本方法は、前記タイムラインのカーソルを使用してタイムライン内で表示画像の位置を示すステップをさらに備える。

0020

第1のアルゴリズムの出力は、一組みの離散値の中の値とすることができる。この値は、典型的に、英数字値とすることができる。この場合、タイムラインは、等しい出力を有する連続画像に対応する時間的領域で形成することができる。これらの時間的領域は、関心映像の時間的分類または時間的セグメンテーションを構成することができる。二進出力の特定の場合において、これらの時間的領域は、関心映像の時間的二進セグメンテーションを構成することができる。

0021

第1のアルゴリズムの出力はまた、連続的なスカラ値またはベクトル値とすることができる。場合によっては、アルゴリズムは、2つの異なる出力を有する可能性があり、一方は離散値、他方は連続的なスカラ値またはベクトル値である。診断に関連した1つの例には、第1の離散的出力が予測診断クラスを示し、一方、他の連続的な出力が、各所定の診断クラスに属する確率を示すであろう。

0022

変形例によれば、第1のアルゴリズムの出力の値は、色によって表され、前記色は、表示されたタイムライン上で重ね合わされる。第1のアルゴリズムの出力の値は、現在表示されている画像の側に表示してもよい。

0023

変形例によれば、等しい出力を有する連続画像に対応する時間的領域が定義された場合、本方法は、少なくとも1つの時間的領域を選択するステップと、前記時間的領域に対応する画像をバッファから抽出するステップとをさらに備えることができる。抽出画像は、例えば、ストレージ装置に格納することができる。抽出画像はまた、第2のアルゴリズムを使用して処理することができ、第2のアルゴリズムの出力が表示される。例えば、第2のアルゴリズムはコンテンツベース映像もしくは画像検索アルゴリズム、画像もしくは映像モザイクアルゴリズム、または画像もしくは映像分類アルゴリズムなどとすることができる。

0024

少なくとも1つの時間的領域の選択は、完全に自動で実行することができ、または何らかの利用者との対話処理に依存することもできる。例えば、第2のアルゴリズムは、全てのセグメント化された時間的領域に対して、画像の完全な組を使用することができる。第2のアルゴリズムは、単純な選択アルゴリズムに基づいてもよく、または選択された領域を選ぶために利用者との対話処理を要求してもよい。

0025

変形例によれば、第1のアルゴリズムは、バッファの各画像と関連付けられた中間結果を生成することができる。したがって、本方法は、内部データベースに前記中間結果を格納するステップを備えることができる。例えば、内部データベースは、バッファの各アップデートの際にアップデートすることができる。変形例によれば、第1のアルゴリズムは、内部データベースの中間結果を使用することができる。

0026

時間的領域に対応する画像が第2のアルゴリズムを使用して抽出および処理された場合、前記第2のアルゴリズムは、内部データベースの中間結果を使用することができる。

0027

変形例によれば、解釈可能性基準は、動力学的安定性とすることができる。

0028

例えば、動力学的安定性は、特徴一致の解析を使用して評価することができる。特徴は、規則的な、または摂動グリッド位置付けることができる。例えば、グリッドの摂動は、局所的画像突極性によって引き起こされる。

0029

投票マップは、動力学的安定性を判断する投票数を選択およびカウントするために使用することができる。

0030

動力学的安定性は、最初に連続する画像のペアワイズ方式で実行することができ、信号処理ステップは、動力学的安定性の出力を提供するために、最初の動力学的安定性信号について実行することができる。

0031

対象となる臨床用途により、解釈可能性基準は、非限定リスト、すなわち、動力学的安定性、画像間の類似性、例えば、バッファ内の画像間の類似性、カテゴリに属する確率、例えば、所定の組のカテゴリの所与のカテゴリに属する確率、画像の品質、診断もしくは意味解釈を提案することの困難さ、画像の特性もしくは非特性、または画像のあいまいさの中の少なくとも1つとすることができる。

0032

さらに、解釈可能性基準は、バッファ内の画像と、外部データベース内の画像との間の類似性を使用することができる。

0033

本発明の上記および他の目的、特徴、動作効果、ならびに利点は、以下の説明および添付図面から明らかになるであろう。

図面の簡単な説明

0034

充分な解釈可能性の時間的領域を強調するタイムラインに関して表示されている医療機器により取得された映像の模式図である。

0035

離散値によりラベル付けされた時間的領域を強調するタイムラインに関して表示されている医療機器により取得された映像の模式図である。

0036

連続的な出力の時間的進展を表すタイムラインに関して表示されている医療機器により取得された映像の模式図である。

0037

充分な解釈可能性の時間的領域を強調するタイムラインに関して表示されている医療機器により取得された映像の模式図である。
現在の時間的領域に関する類似性基準により外部データベースから選択された映像および追加のメタデータを備える一組みのケースを示す図である。

0038

連続する画像の一致および一致品質に基づく閾値選定を示す図である。

0039

ローカル画像記述子位置決めするための改良方式を示す図である。
ローカル画像記述子を位置決めするための改良方式を示す図である。

0040

外れ値除去のための初期解釈可能ラベルタイムラインの処理を示す図である。
外れ値除去のための初期解釈可能ラベルタイムラインの処理を示す図である。

実施例

0041

動作の基本モードでは、医療映像取得装置は、本システムへの入力として機能する。リアルタイム映像処理を取得中に実行することができ、画像を表示することができる。その間に、画像は、有限の先入れ先出し(FIFO)バッファに待ち行列に入れられ、リアルタイム計算の予想結果を、内部データベースに格納することができる。

0042

動作の第2のモードでは、本システムは、入力として映像医療機器により以前に記録された映像を使用することができる。この場合、映像を構成する画像はまた、FIFOバッファに待ち行列に入れられる。リアルタイム計算を取得中に実行し、画像と共に記録する場合、計算の結果を内部データベースにロードすることができる。

0043

動作の両方のモードで、内部データベースは、画像バッファがアップデートされる度にアップデートされるであろう。

0044

入力バッファに格納された画像のレビュー時に、本システムは、バッファを構成する画像の解釈可能性を自動的に特徴づけ、バッファ内の画像の内容に対応するタイムラインに出力を貼り付ける。解釈可能性の特徴は、以前に実行したリアルタイム計算、および後処理計算に依存してもよい。

0045

対象となる臨床用途に応じて、解釈可能性は、さまざまな基盤基準により特徴づけることができる。これらの基準は、限定するものではないが、以下のさまざまな概念に関することができる。
・動力学的安定性
・バッファ内の画像の類似性
・以前の画像に対して画像によってカバーされていない新規情報の量
画質
アーチファクトの存在および重要性
・撮像されたアーチファクトの性質および種類
・所定の組のカテゴリ内の所与のカテゴリ、例えば、診断クラスに属する確率
・画像の特性もしくは非特性
・画像のあいまいさ、例えば、一組みの診断クラスに関する視覚的あいまいさ
・診断もしくは意味解釈を提案することの困難さ

0046

内視鏡において、撮像プローブは、典型的に、画像を取得するために、組織と接触して、または組織に近接して配置される。リアルタイム収集を、視野域を横切るミラースキャニングにより実行することができる。ミラースキャニングの間、組織に対してプローブが連続的に動くため、画像は、動きアーチファクトを受ける。これらのアーチファクトの大きさは、典型的に、画像の解釈可能性と相関する。実際に、あまりに多くの動きが観測された場合、組織の細胞構造が強く歪む可能性があり、画像を解釈困難にする可能性がある。

0047

ほとんどの映像医療機器において、利用者は、撮像プローブまたは撮像検出器患者上に、または患者内に誘導し、領域の関心度および解釈可能性に関連した領域に、ある時間の間、留める。

0048

したがって、本発明のいくつかの実施形態において、解釈可能性は、対象物に対する撮像プローブの動きの関数とすることができる。言い換えると、いくつかの実施形態において、解釈可能性は、動力学的安定性の点から特徴づけることができる。

0049

他の状況において、解釈可能性を、モデルベース計算機能に関連付けることは、実行するには複雑である可能性がある。しかしながら、画像の外部データベースが、専門家の利用者によって何らかの解釈可能性基準に従って以前に取得および注釈付けされている場合がある可能性がある。本発明の他の実施形態において、機械学習アルゴリズムを使用して、利用可能な注釈付き外部データベースから学習することによって、新規画像の解釈可能性を推測することができる。

0050

さらに他の状況において、映像の解釈可能性は、映像医療機器で取得された画像の変動を識別することに依存する可能性がある。この場合、利用者は、同様の画像が互いにグループ化されていることに関心があるであろう。本発明の実施形態は、それらの類似性に従って画像をクラスタリングすることによって解釈可能性を特徴づけるよう学習する、他の形式機械を使用してもよい。

0051

いくつかの視覚化技術を使用して、少なくとも1つの画像特徴出力を表示することができ、一方、利用者は、すでに記録された映像の再生、バッファされた映像の再生、または映像医療機器によって現在取得されている画像の視覚化を行う。バッファに格納された各画像に対して、計算された出力値は、文字もしくはラベルなどの離散的な情報、または連続的なスカラもしくはベクトル値とすることができる。

0052

図1から図4に示したように、出力値は、映像のタイムライン11に貼り付けることができ、タイムライン11は、タイムライン11における表示画像10の時間を示す時間カーソル15を備える。本発明の一実施形態によれば、映像の全ての画像に対して計算された出力値を表す色が、映像のタイムラインに直接重ね合わされ、映像内の画像の解釈可能性についての時系列ビューを利用者に提供する。出力値を説明する凡例はまた、利用者が理解しやすくなるように表示することができる。

0053

現在の表示画像10に対して計算された出力値、またはこの値を表す色はまた、現在の表示画像の側に表示して、図2に示すように(要素29)、現在の時間カーソル15によって隠されている可能性のある出力値を複製することができる。

0054

離散化出力の場合、各出力値は、ある所定の色によって表すことができる。図1は、二進出力がタイムライン11内に所定のグレイ12色またはホワイト14色によって表された場合を示す。タイムライン内の所与の位置でのグレイ(または、ホワイト)色は、例えば、映像のこの位置での画像が充分な(または、不充分な)品質であることを示すことができ、または以前の画像に対して動力学的に安定(または、不安定)であることを示すことができる。

0055

図2は、出力が4つの別々の値に離散化された場合を示し、その値のそれぞれが、別々の色、すなわち、ホワイト24、ライトグレイ(ドット)28、ダークグレイ波線)22、またはブラックハッチ)26によって表される。出力値の間に順序関係が存在する場合、この順序は、値がマッピングされたグレイレベルの間で、保持することができる。そうでない場合、ランダム順序を選ぶことができる。これらの4つのグレイ値は、例えば、完全に解釈不可能、解釈困難、部分的に解釈可能、完全に解釈可能といった、4つの解釈可能レベルを表すことができる。これらの4つのグレイ値はまた、例えば、充分に解釈可能ではない、充分に解釈可能で組織タイプAに属する、充分に解釈可能で組織タイプBに属する、充分に解釈可能で組織タイプCに属する、を表すことができ、これらの3つの組織タイプの間には順序関係は存在しない。

0056

連続的な出力の場合(図3)、各出力値は、例えば、RGB、HSL、HSV、またはYUVトリプレット値に出力値をマッピングすることによって自動的に判断することができる色によって、依然として表すことができる。ルックアップテーブルを使用して、連続的な出力を色に変換することができる。出力がn次元ベクトル(n≦3)である場合、同じマッピング処理適合させることができる。出力がn次元ベクトル(n>3)である場合、マッピング処理は、例えば、3次元主成分解析から計算することができる。連続的な色値32は、例えば、画質、または以前の画像内の局所的領域と一致する画像内の局所的領域の割合を示すことができる。図3は、そのような視覚化により、利用者が、映像内の連続的な画像解釈可能性値の時間的進展を理解することを可能にすることができる方法を示す。

0057

利用者が現在取得している画像の視覚化だけを行っている特定の場合において、少なくとも1つの出力値が、この画像に対して実行中に計算することができる。前記出力値、すなわち、この値を表す色は、この現在取得中の画像の側に表示することができる。

0058

多くの場合、映像データの利用者は、直接に医師であるだけでなく、第2の計算アルゴリズムであってもよい。特徴づけられた解釈可能性を使用して、適切な解釈可能性の時間的領域で単独でさらなる計算を実行する、本発明の一実施形態を開示する。

0059

離散的出力がタイムラインに貼り付けられた場合、時間的領域は、等しい出力値を有する連続的な画像に対応する最大のセグメントとしてタイムラインにおいて定義することができる。現在の時間的領域は、現在の時間カーソルが属する時間的領域として定義される。その場合、利用者との対話処理を定義することができ、利用者に、潜在的に以下のことを可能にする。
・少なくとも1つの出力の表示を無効または可能にする
・現在の時間的領域とは異なる時間的領域に属する最も近い次の時点に、時間カーソルを移動する
・現在の時間的領域とは異なる時間的領域に属する最も近い以前の時点に、時間カーソルを移動する
・少なくとも1つの時間的領域を選択する
・時間的領域を修正および変更する
・選択された時間的領域と関連付けられた画像をストレージ装置に格納し、場合によっては、それら画像に注釈を付ける
・現在の時間的領域で、または利用者によって選択された少なくとも1つの時間的領域で、少なくとも1つの第2のアルゴリズムを起動する前記第2のアルゴリズムは、入力として、時間的領域と関連付けられた画像サブシーケンスを使用する。第2のアルゴリズムは、例えば、これらの入力画像サブシーケンスを分類するステップまたはモザイク化するステップで構成することができる。
・少なくとも1つの第2のアルゴリズムによって生成された少なくとも1つの出力を視覚化するステップであり、前記第2のアルゴリズムは、潜在的に、現在の時間的領域で自動的に起動する。有利には、この第2の出力は、何らの利用者との対話処理無しに、自動的に表示してもよい。

0060

第2のアルゴリズムによるこの状況では、解釈可能性はまた、データを後続の計算で使用する方法の点から定義することができる。専用の映像モザイク化技術を使用して、映像シーケンスから多くの連続した画像を整列および融合することによって映像の視野域を広くすることができる。この処理は、連続した画像が充分な重なりを共有し、撮像装置関心対象物との間に何らかの動きが観測された場合にのみ働く。本発明の一実施形態において、解釈可能性は、動力学的安定性という点から定義することができ、映像モザイク化ツールが充分な解釈可能性の領域で適用することができる。

0061

別の実施形態によれば、映像モザイク化を少なくとも2つの映像サブシーケンスに適用して、より大きな視野域画像を生成した場合、画像モザイク化技術を後に使用して、一致する画像モザイクを検出および関連付け、空間的にそれらを登録し、融合して、さらに大きな視野角の画像を生成することができる。一致するモザイクの検出はまた、利用者との対話処理に依存してもよい。

0062

映像医療機器で取得した映像シーケンスの解釈を容易にするために、コンテンツベース映像検索ツールを、類似性ベース推論を活用する手段として使用することができる。所与の映像シーケンスに対して、医師には、外部データベースから、映像シーケンスと視覚的に同様で、専門家によって以前に注釈付けられたケースの組を提示することができる。医療機器で取得した映像シーケンスは、可変解釈可能性の部分を含んでもよいし、異なる組織型の組み合わせを含んでもよい。したがって、これらのコンテンツベース映像検索ツールの関連性は、リクエストとして、解釈可能性の点から一致している映像の部分を選ぶことに決定的に依存する可能性がある。本発明の一実施形態において、解釈可能性特徴を使用して、入力映像を、解釈可能性が充分なサブ部分に分割し、前記サブ部分は、コンテンツベース映像検索アルゴリズムのための少なくとも1つのクエリ構築するために使用される。

0063

一変形例によれば、サブ部分は、コンテンツベース映像検索アルゴリズムのためにクエリを生成するために異なる方法で使用することができる。例えば、各サブ部分を使用して、独立クエリを生成することができる。あるいは、全ての組のサブ部分を使用して、単一クエリを生成してもよい。それでもなお、利用者は、これらのサブ部分のサブセットを選択して、単一クエリを生成するよう要求することができる。

0064

別の変形例によれば、利用者はまた、第2のアルゴリズムを再開する前に、第1のアルゴリズムによってもたらされた時間的セグメンテーションを修正することができる。

0065

図4Aおよび図4Bは、第2のアルゴリズムが、関心映像の現在の時間的領域で起動されているコンテンツベース映像検索処理である場合を示す。第2のアルゴリズムによって生成され、利用者に表示される出力は、3つの参照映像(41、42、43)とそれらに対する注釈(44、45、46)から成り、注釈は、例えば、基準映像の診断クラスを含む。参照映像は、図4Aでカーソル15によって選択された現在の時間的領域と関連付けられた隣接画像の組と最も視覚的に類似するよう外部データベースから抽出されている。

0066

別の実施形態によれば、離散的ラベルの場合には、本発明はまた、各領域で第2のアルゴリズムを自動的に実行することを可能にする。

0067

別の実施形態によれば、離散的ラベルの場合には、本発明はまた、全てのラベル付けされた領域のコンテンツを独立して、自動的に格納することが可能であり、二進ラベルのサブケースでは、所与のラベルに対応する連結した全ての時間的領域を、ストレージ装置に格納することを可能にする。
[動力学的安定性]

0068

画像登録ベース手法を使用して、映像シーケンス内の動力学的に安定した時間的領域を識別することができる。これは、例えば、時間的に連続した画像を実際に登録して、次いで、登録アルゴリズムによって発見された空間変換の品質を解析することによって、実行することができる。

0069

別の例は、画像登録アルゴリズムのステップのサブセットのみを使用し、このサブセットによってもたらされる結果の品質を解析することである。これは、特徴一致ベースアルゴリズムの場合に実行することができ、特徴一致と空間変換モデルとの整合性を見ることにより、動力学的安定性についての情報を推測することを可能にする。

0070

同じ特徴一致を、局所的整合性の点から解析し、空間変換に対するモデリングエラーに対するより堅実な結果を取得してもよい。

0071

(Vercauteren,Perchant,Lacombe,& Savoire,2011で)提示されたような、同時に複数の画像を登録する、より高度な方法を使用して、動力学的安定性を推測してもよい。

0072

図5は、特徴のグリッドに依存して動力学的安定性を解析するための1つの可能な実施形態をより詳細に示す。バッファに格納された一連の順次画像51の各画像52は、画像上の空間位置のグリッド(57)と関連付けられる(ステップI)。グリッド(57)の各点(58)は、その点の周りの所与のスケールを有する局所的空間領域と関連付けられており、同様に、各領域は、記述子、すなわち、数値署名と関連付けられる。ある画像からの各記述子を、以前の画像からの数値的に同様の記述子に一致させること(ステップIII)により、画像(54)内のグリッド(59)の各点を、以前の画像(53)のグリッド(57)上の別の点に一致させることを可能にし、前記一致点は、記述子が同様であるために視覚的に同様である局所的領域と関連付けられる。その場合、一致の解析は、所定の空間変換モデルに対する局所的整合性または整合性を評価するよう実行される。整合性があまりに低いと推定された場合、画像は、以前の画像に対して動力学的に不安定であると考えられる。

0073

画像を記述子のグリッドとして示すことは、高密度局所画像記述、または、略して、高密度記述としばしば称される。互換的に、これらの手法に対して、グリッドベースという用語を使用する可能性もある。グリッドの各点はまた、キー点と称する可能性もある。

0074

グリッドベース局所画像記述に依存することの利点の1つは、同じ記述子を、映像シーケンスの安定性を特徴づけること、およびコンテンツベース映像検索タスクを実行することの両方に使用することができることである。これにより、どちらのタスクを実行する場合でも、計算時間を節約することが可能となる。

0075

局所画像記述は、グリッドベースであるかを問わず、コンピュータビジョンパターン認識、および医療撮像で広く使われており、さまざまな目的を担っている。多くのさまざまな記述子が、現在利用可能であり、そのような識別子には、これらに限定するものではないが、LBP、SIFT、SURFT、HoG、およびGLOHなどがある。正確な適用に応じて、さまざまな計算要件性能要件実装要件の容易化などを各オプションに繋げることができる。

0076

キー点ローカライゼーションは、コンピュータビジョンで非常に重要なこともある。大抵の場合、キー点の規則的なグリッドは、最も一般的な選択ではない。状況によっては、キー点が、最大突出点に正確に配置されていることが有利である。

0077

典型的に、画像の1次および2次の微分を使用して、最大突出点を検出し、対応する局所的位置のスケールを推定することができる。例えば、周知のHarris検出器は、ヘッセ行列トレースを使用して、角を検出する。他の検出器は、ヘッセ行列の行列式であるラプラシアン推定器を使用する。最大突出点が検出された場合、キー点は、突極性検出器によってもたらされたスケールにより対応する位置に設定することができる。

0078

グリッドの場合と同様に、突出点から生じたキー点は、次いで、局所画像記述子を計算するために使用することができる。その場合、相違推定値を、記述子の間で計算することができ、キー点一致が得られ、これを変換モデルによって解析または調整することができる。変換モデルの例には、これらに限定するものではないが、カメラ用途に適した投影モデル、どちらも顕微鏡用途に適した移動モデルおよび剛体変換モデル、ならびに組織の歪みを包含することができる変形可能モデルがある。

0079

キー点一致方法には、典型的に、いくつかの制約がある。例えば、一致率を良好にするには、充分突出点にキー点をローカライズするだけでなく、画像領域全体にわたって分散させる必要がある場合が多い。

0080

キー点を充分突出点に配置させることは、典型的に、撮像パラメータの変更に関して、キー点のローカライゼーションをより堅実にする。したがって、これにより、キー点一致をより正確にすることによって、登録アルゴリズムの性能を向上することができる。

0081

キー点一致処理の間、キー点を多くの他のキー点と関連付けようとしながら単一のレスポンスを有することは、より良好であることが多い。画像内にキー点の無い空間領域が無いようにすることが望ましいことも多い。これは、キー点の良好な分布を必要とする。

0082

これらに限定されないが、以下を含むさまざまな取得の影響の下で不変である記述子を選ぶこともまた有利であることが多い。
強度変化観測された画像信号は、実際、全体的および局所的光反射照射の強度、光退色効果、および撮像アーチファクトなどに応じて変化する可能性がある。
・空間の歪み記載された領域の観測された形態は、視点に応じて変化する可能性があり、組織は、呼吸心拍計器との接触によりさまざまな画像の間で変化する可能性があり、利用者は、計器の倍率を変える可能性があり、および装置はアーチファクトを生成する可能性などがある。

0083

状況によっては、記述および相違点測定処理は、人間の視覚をできる限り模倣することから利益を得ることができる。ほとんどの場合、ある画像から別の画像に正確に関連した領域に関して充分な記述−相違点の組を選ぶことは、少なくとも最も頻繁に有利である。

0084

突出点の検出と、その後に続く標準的な局所的領域記述が、いくつかの用途における制約のほとんどに答えるが、多くのさまざまな医療撮像問題について良好に分散された突出領域を発見することに失敗することを示している。医療画像は、実際に、滑らかであるが、表面がでこぼこであることも多く、多くのコンピュータビジョンの特定のツールが必要とする角のエッジがないことも多い。

0085

医療撮像の状況でのこれらの制約に答えるために、医療画像に固定スケールでグリッドベース記述を適用することが、しばしば興味深い選択肢となる。情報は、実際に、多くの医療画像内のあらゆる場所に分散させることができる。

0086

登録のためにグリッドベース記述に依存することは、困難なタスクであると考えられることが多い。突極性検出ベース方法と比較すると、記述−相違点の組の選択は、一致の正確度により影響する。本方法によって扱われる必要のある非常に多くの数の外れ値一致も生成する。

0087

臨床分野で使用される何らかの撮像走査装置はまた、かなり強い動きアーチファクトに繋がる可能性がある。組織が撮像プローブと接した場合、これは、予測することが複雑であるか、または予期しない変形をもたらす可能性がある。

0088

以下において、1つの例示的な記述子、すなわち、いくつかの医療撮像問題について効果的であると示されているSIFT記述子に注目し、局所的画像記述子の概念のいくつかを説明する。他の任意の局所的画像記述子を使用してもよいことを想起すべきである。

0089

SIFT(Scale Invariant Feature Transform)アルゴリズムは、キー点検出および画像記述の両方を含む。グリッドベース記述手法では、キー点検出は、要求されない可能性があり、SIFTの記述子部分のみが使用される可能性がある。

0090

勾配情報を使用して、画像の局所的領域について記述することができる。より具体的には、指向性勾配のヒストグラム(histograms of oriented gradients)は、効率的な結果を示している。局所的画像領域内で、ヒストグラムは、局所的領域のさまざまなサブ領域で生成され、いくつかの離散化配向ビンに従ってサブ領域における勾配の強さをまとめることができる。その場合、全体の局所的画像領域は、所定の順序で全てのサブ領域ヒストグラムを連結する1つの最終ヒストグラムによって記述することができる。

0091

窓化の概念はまた、記述子上の勾配の大きさの寄与により良好に重み付けするために重要な役割を果たすことが多い。窓化は、典型的に記述子全体に適用される。ガウス核は、最も一般的な窓化選択であるが、他の種類の窓(ブラックマンハミングコサインなど)を使用してもよい。

0092

ガウス窓は、有限のサポートを有し、その実際の実装態様は、切り捨て、または再帰的フィルタリングなどの、近似の、またはより複雑な形式に依存するであろう。多くの場合において、ガウス窓の標準偏差σに依存する距離の後のガウス窓のサポートを切り捨てることは有利であろう。典型的には、切り捨て距離rは、σに比例するよう選択することができる。例えば、通常、r=σ/2を使用するが、他の任意の関係を使用することもできる。

0093

窓化方針が定義されると、窓化値を、最終ヒストグラム生成の間に、窓化関数に従って、各勾配情報を重み付けすることによって、記述子の生成で使用することができる。

0094

場合によっては、画像の任意の回転下で、不変である局所記述子を取得することが有利である可能性がある。このことは、これらに限定されないが、以下を含む多くの他の手段によって実現してもよい。
・局所的領域全体の中の配向のモードまたは平均を発見すること、およびこの主配向に従って領域または勾配値再配向すること
サブ領域内の局所的領域を細分割するために円形バンドを使用すること

0095

記述子領域に対する主配向を定義することは、例えば、記述子の局所的領域全体について第1の勾配配向ヒストグラムを計算することによって行うことができる。このヒストグラム生成処理は、サブ領域ヒストグラム生成処理とは異なる可能性があり、そのようなサブ領域ヒストグラム生成処理には、例えば、以下がある。
・主配向を計算するために使用される角度ビンの数は、サブ領域ヒストグラムを計算するために使用される角度ビンの数より多いことが有利であろう。これにより、回転変化に対してより高い不変性をもたらす可能性のある、より正確な再配向方針を有することを可能にすることができる。
・別の窓化関数を使用して、各勾配サンプルの寄与に重み付けしてもよい。

0096

主配向が局所的領域全体の配向ヒストグラムのモードとして定義された場合、この勾配ヒストグラムにおける最も高いピークが、この主配向の値をもたらす。同様に、平均値が必要とされる可能性があり。その場合、勾配ヒストグラムでの内側平均を使用することは、360°の角度のラッピングを考慮するために有利であろう。ピークを発見することはまた、サブビン正確度により、および潜在的により堅実な手法で、ピークの位置を識別するために、スプラインまたはガウスなどの局所的モデルを当てはめることによって、ある形式の正規化を使用することから利益を得ることができる。

0097

モードが定義のために使用される場合、選択されたモードごとに1つの、いくつかの記述子を生成するためにいくつかの異なるモードを使用することが望まれる可能性もある。いくつかのモードを選択することは、例えば、最高ピーク二次ピークとの間の比較に基づいて行うことができる。二次ピークの高さが最も高い高さに充分近い場合、例えば、その数分の一より大きい場合、その状態を保持することに関心を持つであろう。対応する閾値を決定することは、異なる手段により実行してもよく、そのような手段は、これらに限定するものではないが、経験則試行錯誤、相互検証、および最適化などを含む。

0098

主配向が与えられた場合、サンプル勾配配向値は、角度差およびトリリニア補間を使用して、サブ領域の勾配ヒストグラムに分散させることができる。したがって、サンプルの位置および角度は、補間の間に考慮することができる。

0099

円形切り捨ておよび円形対称窓化関数を使用することの利点の1つは、サンプルが再配向後の切り捨て領域の内側にあるか、外側にあるかのチェックを無くすることを可能にすることによって、一部の計算時間を節約することを可能にすることである。

0100

再配向は、必ずしも必要であるわけではないことに留意されたい。例えば、映像の連続画像間に顕著な回転を観測することができない場合、またはほとんど観測されない場合、回転不変性は、より高い計算要件に繋がる可能性があるので、無用であるか、または有害ですらある可能性がある。連続画像に顕著な回転が存在しないことは、例えば、内視鏡映像において、標準的な場合である。実際に、撮像プローブは、典型的に、トルクに対して高い抵抗を有する。したがって、組織に対する撮像プローブの回転は、多くの場合、無視することができる。

0101

局所的記述子における重要な概念の1つは、観察の少なくとも1つのスケールの決定である。このスケールは、用途固有の知識のおかげで、自動的に定義することができるか、固定することができる。キー点検出の状況では、スケールは、典型的には、検出処理の間に判断される。グリッドベース手法の状況では、所定のスケールを固定することは、より自然な選択であると理解されるであろう。しかしながら、他の選択を行ってもよい。

0102

前述のように、所定のスケールを選択することは、用途固有の知識に従って実行することができる。例えば、内視鏡を使用する場合、少数細胞のみに焦点を当てる数ミクロン、および細胞構造パターンに焦点を当てる数十ミクロンなどの、解剖学的に意味のあるスケールに関連した1つまたは複数のスケールを使用することが有利であろう。

0103

本発明の別の実施形態によれば、少なくとも1つの最適なスケールを、所与のスケールで何らかの形式の画像内エネルギーを最適化することによって、または所与のスケールで画像全体にわたって平均突極性を最適化することによって、画像の全体の組でトレーニングデータベースの検出をしてもよい。

0104

あるスケールが与えられた場合、所与の固定ピクセルサイズで画像パッチに局所的画像領域を再サンプリングすることが有利であろう。これは、標準スケールスペース手法で実行することができる。画像I(x,y)の典型的なスケールスペース変換は、L(x,y,s)=G(x,y,s)○I(x,y)によって定義することができ、ここで、sは、スケール因子であり、○は、xおよびyでの畳み込み演算であり、Gは、2Dガウス関数である。このスケール−スペースを使用して、所望の固定サイズに局所的領域をダウンサンプリングする前に、局所的流域平滑化する。

0105

入力画像が、光学部品の品質、および画像再構築処理などの、何らかのパラメータから生じるあるσ0によってすでに自然に平滑化されたと考えることが有利であろう。ダウンスケーリングする前に画像を平滑化するために使用される標準偏差の値は、例えば、sを直接使用する代わりに√(s−σ0)を使用することによって、この自然な平滑化を判断することができる。

0106

グリッドベース手法がとられ、観測の固定スケールが提供された場合、画像内に実際に存在する全ての可能な構造を取得するのに充分小さいが、計算要件を削減するのに充分大きいグリッドステップを選択することが有利であろう。

0107

有利な選択の1つは、スケール因子に比例するようグリッドステップを選択することとすることができる。計算コストを減らすために、整数比例因子を選択することもまた有利であろう。このように、再サンプリングされたピクセルおよび局所的記述子に対するサンプルは、共存する。したがって、サンプル補間のステップの1つは、避けることができる。

0108

グリッド手法は、正確で効率的な結果を示すことが多いが、状況によっては、グリッドからの一致結果を修正するのに有利であろう。実際に、一致の正確度は、グリッドステップに限定される。グリッドステップを減らすことはオプションであるが、これは、計算コストを増大させるという代価払うことになる。本発明の一実施形態において、ディザリングの形式は、量子化誤差ランダム化するため、したがって、その平均を下げるためにグリッド点位置で使用することができる。

0109

図6に示したように、意図的なノイズを規則的なグリッド(62)の点位置63に加えて、乱れたグリッド64を生成することができる。このノイズの標準偏差は、元のグリッドに充分近い乱れたグリッド64の点位置65を保持するために、元のグリッド62ステップの4分の1未満であることが好ましい。これは、場合によっては、画像全体の有効範囲を充分にすることを保証するために重要である。

0110

別の実施形態において、元の点は、シード点で見られ、それぞれ、ノイズのさまざまなインスタンスでいくつかの点を生成することができる。シード点ごとに1つのノイズインスタンスを選択することは、単純な乱れグリッドに繋がるが、最も多くのインスタンスを選択することは有益である可能性がある。

0111

さらに別の実施形態において、グリッド点位置に加えられたノイズは、ランダムでは生成されないが、基盤画像に対応する突極性マップによって駆動される。点の元の規則的なグリッドから開始すると、各グリッド点は、隣接する突出画像点によって引きつけられ、元の位置によって引きつけられる。2つの引きつけ間の競合により、乱れたグリッド点の最終位置を定義する。同様に、グリッド点の間に反発力を加える。この手法の場合、記述子は、画像にわたって良好に分散されるが、画像内の突出点にも焦点を当て、潜在的に、より正確な一致を行う。

0112

より詳細には、1つの例示的な構成により、元のグリッド点への引きつけは、その点が制限された円形領域内にある限り、引きつけがない場合、二進とすることができ、その点が制限領域の外にある場合、引きつけは無限とすることができる。何らのグリッド点反発力も使用しない場合、グリッド点は、制限領域内の最も突出した画像点と共存してしまうであろう。

0113

画像突極性マップの導出は、限定するものではないが、2次微分ベース基準や情報理論的基準などの、標準突極性基準を使用して行うことができる。

0114

図5に示したように、画像記述54が利用可能である場合、この画像の記述子59は、バッファ内の以前の画像53の記述子57に一致させることができる。一致の組(II)は、ここで、これらの2つの画像間で動きが安定していたかどうかを評価するために解析することができる。

0115

良好な記述子一致を発見するために、可能な選択の1つは、相違点測定によってもたらされるようなk個の最近接記述子に依存することである。最近接点を活用するためにいくつかのアルゴリズム手法を開示する。

0116

2つの記述子の間の相違点を観測するために、ユークリッド距離が最も単純な選択であり、しばしば充分な結果をもたらす。しかしながら、距離、疑似距離、またはより特別なアルゴリズムによる他の相違点測定を使用してもよく、そのような相違点測定には、これらに限定するものではないが、χ2、マハラノビス距離、およびEarth Mover’s Distance(EMD)などがある。状況によっては、そのような相違点測定を使用することは、潜在的に、特徴一致のためにより良好な結果に繋がる可能性がある。

0117

ユーグリッド距離は、任意の寸法の任意の点を比較するために広く使用される。しかしながら、記述子は、正規化してもよく、例えば、関心領域内の勾配の局所的分布を表すことができる。この状況において、記述子の間の相違点測定は、EMDなどの確率密度関連距離に依存することから利益を得ることができる。

0118

上記の場合でも、ユーグリッド距離または二乗ユークリッド距離は、計算上の理由のために関心が高いであろう。

0119

相違点測定の場合、2組の記述子の間の全ての可能なペアの相違点を計算することができる。これは、相違点マトリクスDの生成を可能にし、D(i,j)=相違(第1の組からのi番目の記述子,第2の組からのj番目の記述子)である。これは、場合によっては、2つの問題を引き起こす。第1の問題は、Dマトリクスを生成するための計算が複雑であることである。第2の問題は、この処理が、多数の外れ値を生成する可能性があることである。両方の態様を改善することが有用であろう。計算コストを減らすために、例えば、正確な最近傍ツールではなく近似最近傍ツールに依存することによって、一致での何らかの誤差許容することができる。外れ値の数を減らすために、例えば、有用な一致のリストに加える前に、各一致を検証することが可能である。そのようなステップは、最も近い一致に集中するだけでなく、k個の最も近い一致を探すことも必要とする可能性がある。

0120

ずくの方法による取組みの計算の複雑度を見ると、N個の記述子の2組にわたってk個の最良一致を探すことを考える場合、各記述子は同じサイズnを有し、力ずくの方法のk最近傍(k−NN検索アルゴリズムの複雑度は、正確に、O((C(n)+k).N2)であり、C(n)は、相違点測定のコストである。ユークリッド距離の場合では、C(n)は、nにほぼ等しい。k個のより良好な結果を得るために各行を部分的にソートするためのコストは、平均でO(kN)である。したがって、正確な検索の複雑度は、O((n+k).N2)である。

0121

計算の複雑度を下げるために、近似最近傍法を使用してもよい。このように減らすことは、例えば、データパーティショニングに依存することによって実現することができる。二進n−dツリーは、次元nの別々の点に構築される。これは、葉の主要な点が子に到達するまで、各子に対して再帰的に行われる。クラスタリングとして中央値分割を使用しながらこのツリーを構築することは、θ(nNlog2(N))の線形複雑度を有する。任意のクラスタリング方法を、二進ツリーにデータを分割するために使用することができることに留意されたい。一般的に、単純な中央値分割が典型的に使用されるが、階層的K平均法または他のクラスタリングアルゴリズムもまた、この特定の用途のために広く使用されている。

0122

n−dツリーが構築されると、検索アルゴリズムが、ツリーのトップから、最後の葉に走り、第1の最近接点に達する。Nクエリのk個の最近接点を近似的に検索することの複雑度は、ほぼO(kNlog(N))である。n−dツリー構造およびn−dツリーでの近似検索の複雑度は、O((n+k)Nlog(N))である。

0123

演算の基本モードでは、一致のために画像の各ペアに対して、第1の(または、第2の)画像に対してn−dツリーを構築し、第2の(または、第1の)画像からの各記述子を、このn−dツリーにおけるk個の最近接記述子に一致させることができる。どちらの順序も、必要であれば、同時に実行してもよい。

0124

計算時間をさらに節約するために、2つの画像ごとのみに、1つのn−dツリーを構築することが有利であろう。これは、n−dツリーを生成するために2つの画像のどちらを使用するかを選択することができる場合に実現することができる。実際に、n−dツリーを生成するために第2の画像を選択することによって開始することができ、次いで、第3の画像が第2の画像に対して一致した場合、第2の画像に対するn−dツリーは、すでに利用可能であるとして使用される。第4の画像が第3の画像と一致する場合、新規n−dツリーを、第4の画像のために構築し、以下同様である。

0125

ある画像ペアから次へn−dツリーを移動するために、本発明は、有利には、上記した内部データベースを活用することができる。

0126

力ずくの手法またはより進歩した手法の場合、第1の組における各記述子は、第2の組における最近接記述子と関連付けられることができる。この一致は、必ずしも対称的ではない。有利には、対称性チェック機能を使用して、一致を検証し、外れ値を除外することが可能である。第2の組において、第1の組からの記述子の、最良一致の場合、第1の組において、第2の組の記述子に最も近い記述子が、第1の組からの最初の記述子と正確に同じ記述子である場合、一致が検証されるであろう。対称性チェックの実装は、画像ごとに1つのn−dツリーを構築および格納することから利益を得ることができる。

0127

対称性チェックにより多くの外れ値を除外することができる可能性があるが、場合によっては、外れ値除去をさらに修正することが有益である可能性がある。誤関連のほとんどを除去することは、一致のより容易で、より正確で、より堅実な分析をもたらすことを可能にする。誤一致をもたらす典型的なケースは、これらに限定するわけではないが、以下を含む。
・重複記述子の不足2つの連続した画像に関係する任意の自明でない空間変換の場合、連続した画像の間に重複が存在する可能性があるが、ほとんどの場合において、第2の画像内に存在しない第1の画像における空間領域が存在するであろう。非重複領域におけるそれらの記述子に対して、関連付けられるべき他の画像内に良好な記述子が存在しない。
フラット記述子画像内に非常に少ないコントラストまたはフラット領域を伴う領域は、任意の信頼できる勾配情報を有さない。勾配の分布は均一であり、撮像システムの固有ノイズによって駆動される。これは、フラット領域の間のランダム一致に繋がる可能性がある。同じ問題は、単一方向に沿ってのみコントラストを示す領域に対するあまり厳正ではない方法で現れる可能性がある。これは、いわゆる、窓問題である。

0128

上記で開示した対称性は、これら2つのカテゴリにおける多くの外れ値を除外するのに役立つであろうことに留意されたい。しかしながら、他の方法がより有益である可能性もある。撮像装置の中には、実際に、キャリブレーション不確かさビネット効果、および光学部品の傷などのため、画像の上部に静的ノイズパターンを生成する可能性のあるものがある。この設定のセットアップでは、何ら有用なコントラストを有さない画像が、依然として、上述のアーチファクトのいくつかから生じる小コントラストを有する。したがって、フラット領域は、完全にフラットではない可能性がある。その場合、その静的ノイズからの弱い勾配情報は、記述子と関連付けられながら、考慮することができる。これらの悪い一致は、場合によっては、対称性によって除去されず、識別に向けて一致にバイアスかけられるであろう。

0129

一致が信頼できると判断するために、現在の記述子と他の組における最近接記述子との相違点と、第2の最近接記述子との相違点との間の比率分析が提案されている。キー点検出を使用する場合に、このことは実際に良好に機能するが、このことは、重複領域を記述することができ、したがって、同様の記述子を有することができる場合のグリッドにおいて、適切に動作しない。キー点検出は、全ての局所的領域が、入力画像内のほとんどの非重複領域を説明することを確実にする記述子位置に繋がることができる。グリッドベース画像記述手法を使用する場合、記述子によってカバーされる領域は、無視できない重複を有する可能性がある。例えば、重複の約80%が有益であると思われる場合がある。その場合、2つの空間隣接局所的領域の記述子が同様であろうことを意味する。したがって、最近接記述子および第2の最近接記述子は、同様に、現在の記述子と非常に類似した相違点を有するであろう。

0130

本発明の一実施形態によれば、現在の記述子と他の組の最近接記述子との相違点と、k番目の最近接記述子との相違点との間の比率分析を使用することができる。kの選択は、グリッドの構造を念頭におきながら行う必要がある。例えば、k=5(または、k=9)を選択することは、最良一致のために直接4連結(または、8連結)グリッド点が考慮されないことを保証する。この比率の閾値により、正常値のほとんどを保持しながら、多くの外れ値を除外することを可能にすることができる。

0131

そのような比率分析は、有用な結果をもたらす。というのも、正確な一致と最近接の不正確な一致との比較により、不正確な一致と、最近接の他の不正確な一致との比較より大きな差異が導かれるためである。標準手法では、比較点として第1の最近接一致を使用していたが、本開示では、k番目の一致を使用することで、正しい一致と高い重複を有する領域からのほぼ全ての正しい一致を考慮に入れることを避ける。前述のように、使用される記述子グリッドの密度に依存するパラメータkを適合させることは有益である。グリッドが高密度になれば、比率で使用される第2の記述子を探すことがさらに必要になる。

0132

本発明の別の実施形態によれば、所与の閾値を超える相違点を有する全ての一致を取り除くことも可能である。閾値は、全体的に所定の閾値とすることができ、相違について観測された統計に基づいて所与のペアの画像に対して全体的に計算することができ、またはある点の局所的近傍で観察された相違に基づいて局所的に計算することができる。局所的画像領域記述子の実際のコンテンツを考慮する、より複雑なオプションも想起することができる。

0133

連続した画像のペアおよびフィルタリングされた一致の組の場合、それらを解析して、ある画像から他の画像への動力学的安定性を評価することを続けることができる。

0134

一実施形態によれば、一致の解析は、その一致が、離散化空間変換パラメータの組内で投票する、したがって、投票マップを生成することなどのように実行される。充分な数の投票数を有するパラメータは、均一な投票と考えられる。その場合、均一な投票と不均一な投票との間のパーセンテージは、動力学的安定性に対する信頼性評価として使用される。

0135

連続する画像のペアとフィルタリングされた一致の組とが与えられた場合、画像を登録、または整列することを可能にする空間変換を推定することを望む可能性がある。医療画像の場合、そのような登録は、これらに限定されないが、以下の理由のいくつかにより、潜在的に困難なタスクになることが多い。

0136

異なる時点で同じ組織領域を撮像する場合、観測される画像信号は、正反射、光退色、血管新生もしくは酸化の変化、および励起光の量の変化などにより変化する可能性がある。

0137

他の機器の存在、血液および他の生体液体の存在、スモーク、ならびに排泄物などの存在のため、オクルージョンが発生する可能性がある。

0138

組織構造はまた、呼吸、心拍、患者の動きもしくは組織と機器との接触などにより、変形する可能性があり、撮像プローブを含む。したがって、局所的変形は、2つの連続した画像を登録している間、考慮する必要がある可能性がある。

0139

撮像装置はまた、場合によっては、あまりに複雑で、ペアの画像登録のタスクのために適切にモデル化されない可能性がある独自の動きアーチファクトを生成する可能性がある。例えば、撮像走査装置の場合では、所与の画像に対する撮像視野域の走査を、鏡により実行することができる。これは、異なる時点で各ピクセルを取得してもよいことを意味する。撮像プローブが組織に対して移動している場合、視野域内で変動している強い歪みが引き起こされる可能性がある。場合によっては、組織に対する撮像プローブの移動が、画像を取得している間一定である場合、歪みをモデル化し、補償することができる。しかしながら、大抵の場合、特に、移動が迅速になる場合に、プローブの動きがより複雑になり、容易にモデル化できない。

0140

状況によっては、撮像装置は、画像を生成するために画像再構築およびキャリブレーション情報に依存する。キャリブレーションは、不正確である可能性があり、時間とともに変化する可能性さえある。このことは、画像登録をバイアスする可能性のある静的ノイズパターンに繋がる可能性があり、または画像登録のタスクを複雑にする可能性のある視覚的外観の変化に繋がる可能性がある。

0141

大抵の場合、撮像装置は、画像登録処理ガイドするのに有用であろうトラッキング情報を何ら有していない。また、トラッキング情報が利用可能である場合でも、その正確度は、視野域に比べてかなり大きい可能性がある。これは、特に、内視鏡の分野で真であるが、患者の動きのためほとんどの撮像装置に対して保持されるであろう。

0142

場合によっては、上記の理由が依然として存在する場合でさえも、画像に対するそれらの影響は充分に小さく、画像間の空間変換を直接推定し、動力学的安定性について判断するための結果を解析することができる。同じ理由が画像についてより大きな影響を有する他の場合では、そのような手法は、小さな割合の画像ペアに対してのみ行うことができる。したがって、これは、動力学的安定性の推定における不安定性に向けてバイアスをかけることに繋がる可能性がある。実際に、画像の間の全体的な動きが平滑であると考えることができるが、画像の多くのペアが、潜在的に、適切に登録されない可能性がある。

0143

本発明の一実施形態によれば、空間変換モデルを発見することが、動力学的解析を推定するのに充分である場合に焦点を当てる。空間変換は、これらに限定するものではないが、移動、剛体変形アフィン変換射影変換、および動きによる歪みを考慮に入れるためにねじれ変形を伴う移動などを含む、古典的な、または古典的ではないモデルのいくつかとすることができる。この状況では、一致は、変換モデルを適合するため入力データとして働くことができる。勾配降下およびシミュレテッドアニーリングなど、またはRANSAC、MSACなどのランダムサンプリング法、最小二乗フィッティング、最小トリミング二乗加重最小二乗フィッティング、ならびにL1フィッティングなどのような、最適化ベース方式を、全て使用することができる。空間変換モデルを次第に修正するもののような、階層的フィッティング手法もまた、より堅実な結果をもたらす助けとなるであろう。

0144

その場合、動力学的安定性は、最終空間変換モデルに対する正常値の数を見ることによって、および一致の総数もしくは保持された一致の総数と比較することによって、評価することができる。

0145

動力学的安定性はまた、最終空間変換を使用することによって、および標的画像を他の画像上にワーピングした後で画像の間の重複の領域について類似性スコアを計算することによって、評価することができる。類似性スコアは、医療撮像で使用される標準的な、または標準的でない類似性スコアの1つとすることができ、これらに限定するものではないが、平方差の和、正規化相関相互情報、および正規化勾配場などが含まれる。

0146

この場合、動力学的安定性は、登録類似性スコアによって評価される。類似性スコアを最適化する登録への直接手法も可能であり、場合によっては、より良好な結果に繋がる可能性があることに留意されたい。他の場合によっては、動力学的安定性が類似性スコアの点から評価された場合でも、特徴一致ルートに進むことが、極小値で捕らえられる傾向が低い、より堅実な結果に繋がる可能性がある。正確な実装態様によっては、計算コストが、選択したルートによって大きく変化する可能性もある。

0147

変換モデルを一致データに適合することは、場合によっては、実に効果的であろうが、モデルを定義することがあまりに複雑で、実際には使用できない場合もあるだろう。本発明の別の実施形態によれば、動力学的安定性に対する2つの連続した画像の間の一致を解析するためのより局所的な手法を使用することができる。有利には、本発明は、空間変換の正確なモデルに焦点を当てないが、画像間の相当に空間的に均一な空間変換を有する確率を評価することを可能にする。このため、記述子一致によってもたらされる局所的移動に依存する類似性スコアを提案する。

0148

本発明の一実施形態によれば、連続する画像の間の類似性スコアは、投票マップを介して生成することができる。投票マップは、一致した記述子によって発見された各局所的移動の寄与度をまとめた2Dヒストグラムである。寄与度は、関連付けの品質によって、2つの一致した記述子の間の相違点の関数によって重み付けすることができ、または全てが単位重量を単純に有することができる。

0149

投票マップは、離散化投票ビンを使用する。有利には、画像記述に対する規則的なグリッドの場合、投票マップの解像度は、記述グリッドの解像度と等しくなるように選択することができる。この場合、投票マップのサイズは、典型的に、第1の画像における1つのグリッド点から、他の画像における別のグリッド点への全ての可能な移動を可能にするよう、グリッドの2倍のサイズとする。

0150

摂動グリッドの場合では、またはキー点検出の場合では、投票マップの解像度を選択することは、必要な正確度に従って行うことができる。

0151

2つの画像の間の重複は、移動の振幅に依存することに留意されたい。そのため、全ての移動が、同じ最大数の投票を受け取ることができるわけではない。実際に、単純な構成において、識別変換のみが、全ての投票を受け取る可能性がある。一次元での半分の視野域の移動を考慮する場合、および矩形画像を使用する場合、重複は、半分の一致のみが正確な移動に対して投票することができることを意味する半分の画像に対応する。

0152

この潜在的バイアスを考慮するために、投票マップは、投票ビンごとの最大数の潜在票に従って、さらに重み付けすることができる。有利には、投票マップにおける所与の移動に対する最大数の潜在票は、画像記述のために使用されるグリッドの空間編成を示す2つのマスク画像の畳み込みにより計算することができる。

0153

撮像装置によっては、画像の視野域は、四角ではないが、典型的には、円形、または他の任意の形態とすることができる。投票マップの正規化を計算するために、全ての有効な記述子が1で満たされ、無効な記述子が0で満たされたマスク画像を生成することができる。

0154

マスクの畳み込みの後、各可能な移動に対する最大数の寄与因子にわたる潜在的寄与因子の比率を含む寄与マップを取得する。その値は、0と1の間である。本発明の一実施形態によれば、充分な数の記述子一致によって投票することができる移動のみを考慮することが望まれる可能性がある。

0155

投票マップは、以下のように正規化することができる。投票マップにおける各エントリは、寄与マップの値が所与の閾値を超える場合に寄与マップの値によって割算されるか、そうでない場合は(すなわち、寄与マップの値が閾値未満である場合)0を割り当てられる。

0156

正規化投票マップが計算されると、空間変換が移動によって良好に表すことができる場合に、典型的に、期待される移動の周りの投票マップに主なピークが観測される。

0157

非線形変換を含む、より複雑な空間変換の場合、典型的に、多くのピークが、正規化されているかいないかに関わらず、投票マップ内に現れる。本発明の一実施形態によれば、全てのピークは、動力学的安定性を評価するために考慮される。このため、投票マップの値に関する単純な閾値が、充分均一である全ての投票を選択するために使用することができる。その場合、選択された均一投票に対応する投票マップにおける全ての値を、動力学的安定性に関連した全体的な整合性を評価するためにまとめることができる。

0158

以前の手法では、ある程度拡張された局所的画像領域で共有された移動のみを考慮することを保証することができる。これは、必要とされるほとんどの重要な変換をカバーすることができるが、場合によっては、より洗練された手法が必要とされる可能性がある。本発明の別の実施形態によれば、一致は、以下のルールに従って選択される。一致の近傍を考えると、単純な変換モデルの堅実な推定を実行する。この近傍に対する中心一致は、モデル変換への距離に応じて選択することができる。この方法では、局所的に均一な一致のみが、全体的な整合性を評価するために保持される。

0159

有利には、選択などの、局所的空間変換のモデルに依存することは、一致によって生成される変位場の単純な平滑化、フィルタリング、または正規化によることによって実行することができる。

0160

連続した画像の間の空間変換の整合性が計算されると、整合性についての単純閾値が、動力学的安定性の指標として使用することができる。

0161

計算の複雑度をさらに減らすために、マルチスケール手法を使用することができる。第1のステップとして、記述子の粗いグリッドを使用することができる。低粒度とは、このグリッドから生じた推定があまり正確ではないことを意味するが、記述子の数の減少は、アルゴリズムを遥かに高速に実行させる。粗いグリッドを使用して発見された結果の場合、一致の検出が容易である画像ペアと、容易には一致できない画像ペアとをすでに検出することができる。容易ではない画像ペアの場合、細かいグリッドを使用してアルゴリズムを実行することができる。有利には、容易に画像ペアを区別するため、かなり保守的なルールを使用して決定することができる。

0162

比較のために粗いグリッドと、次いで細かいグリッドとを使用する代わりに、本発明は、内部データベースが細かいグリッドから構築されたn−dツリーを保存するために使用された場合にも同様のスピードアップを実現することができる。これが実行された場合、ある画像における粗いグリッドは、他の画像の細かいグリッドに、効率的に一致させることができる。これは、記述子の2つの粗いグリッドを使用することが、離散化誤差が増加することを意味するので、有利である。したがって、グリッドが、あまりにもひどく誤一致し、アルゴリズムが、安定した連続画像のペアを正確に示さないかもしれないという可能性があるであろう。しかしながら、記述子の1つの細かいグリッドを使用することによって、離散化誤差が、完全な細かいグリッドの場合と同様に保たれる。1つの粗いグリッドを使用する場合により高くなるのは、投票マップにおけるノイズのみである。

0163

いくつかの記述スケールを使用する場合、同じ一連の手順を、粗いスケールから細かいスケールに移動し、スケールが動力学的安定性の確信的推定を行うことを可能にする場合いつでも停止される、標準マルチスケール方式で適用してもよい。

0164

別の実施形態によれば、いくつかのスケールを同時に使用して、上記の解析を多値解析で実行することによって拡張することができるマルチスケール投票マップを生成することができる。

0165

連続した画像の安定性を超えて、動力学的安定性の概念は、安定したサブシーケンスがただ1つの、または少数の分離画像に制限されるべきではなく、ただ1つの、または少数の不安定画像によって分けられた安定したサブシーケンスが接合されるべきである、という考えをカバーすることが好ましい可能性がある。

0166

この目的のために、図7Aおよび図7Bで示すように、本発明の一実施形態によれば、時間的領域における数学的形態学的演算を使用することができる。連続した画像の解析が、動力学的安定性の二進情報(71、72)を伴うタイムラインに繋がった場合、形態学的閉演算(図7Aに示す)を使用して、安定したサブシーケンスの間の小さなギャップ(73)を満たすことができ、一方、形態学的開演算(図7Bに示す)を使用して、安定している(75)が、あまりに短いサブシーケンスを除外することができる。

0167

図7Aおよび図7Bに示したように、この手法は、初期の時間的セグメンテーションにおける偽陰性および偽陽性のいくつかを避けることを可能にすることができる。

0168

数学的形態学的演算の前に画像ペア動力学的安定性解析の結果を二値化する代わりに、本発明はまた、動力学的解析の連続出力について、直接、信号処理ツールを使用することを可能にする。単純なガウススムージンググレースケールモルフォロジー反復法、およびグラフカットなどを、この目的のために使用することができる。グラフカット手法の場合、1つの可能性のある実施形態では、正規化因子(平滑化)として2つの連続した画像の間の連続的な動力学的安定性解析(または、その伝達関数)を使用し、データとして、定数因子前処理結果、または画像もしくは一致の標準偏差などの他の任意のデータ駆動信号などを使用することができる。
[高度内部データベースの使用]

0169

一実施形態によれば、本発明は、その場で、現在取得した画像を処理することができる。最初は空である内部データベースが生成され、以前に取得した画像のその場での処理の結果によって、次第に満たすことができる。この内部データベースは、画像バッファの各アップデートの際にアップデートすることができる。

0170

内部データベースは、領域レベルで、画像レベルで、または映像サブシーケンスレベルで、計算することができる中間結果を格納することができる。前記の中間結果は、これらに限定するものではないが、以下を含むことができる。
・全体的および局所的視覚特性
・全体的および局所的フレーム類似性距離
・全体的および局所的変位領域
視覚特性クラスタリングから構築されるvisual word
視覚的署名
・映像サブシーケンスの間の類似性距離
・関心映像の映像サブシーケンスから、外部データベースの映像への類似性距離
・すでに取得および注釈付けされた画像または映像を含む外部データベースから抽出された事後知識情報

0171

例えば、内部データベースは、格納された中間結果の生成および処理をサポートする、k−dツリーまたはランダムフォレストなどの、グラフベース構造を含むことができる。前記処理は、これらに限定されないが、以下を含む。
・視覚特性のクラスタリング
・映像サブシーケンスと関連付けられた視覚的署名の計算
・視覚的署名の間の距離の計算
分類ベース方式および回帰ベース方式]

0172

一実施形態によれば、離散的出力の場合では、本発明の第1のアルゴリズムは、画像に対応するラベルを推定するために分類子を使用することができる。分類子は、単純なルールベースのものとしてもよく、または外部訓練データベースから訓練される機械学習に依存してもよく、画像の組が、ラベルまたは注釈などのグラウンドトルースデータと関連付けられる。

0173

別の実施形態によれば、連続的出力の場合では、本発明の第1のアルゴリズムは、画像に対応するラベルまたは連続的出力を推定するために、回帰アルゴリズムを使用することができる。回帰アルゴリズムは、単純最小二乗回帰アルゴリズムとしてもよく、または外部訓練データベースから訓練される機械学習に依存してもよく、画像の組が、連続的なグラウンドトルースデータと関連付けられる。

0174

分類または回帰のために第1のアルゴリズムによって潜在的に使用される機械学習ツールは、例えば、サポートベクターマシンアダプティブブースト、k最近傍投票によってフォローされるコンテンツベース画像検索、人工ニューラルネットワーク、およびランダムフォレストなどに基づくことができる。
[視覚的類似性評価およびクラスタリング]

0175

一実施形態によれば、本発明は、関心映像の画像コンテンツのみに依存することによって、完全に教師無しの方法で動作することができる。

0176

第1のアルゴリズムは、入力として、バッファに格納された全ての画像をとり、出力として、各画像と関連付けられたクラスタをもたらす、完全に教師無しのクラスタリングアルゴリズムとすることができる。一実施形態によれば、画像と関連付けられたクラスタは、映像バッファ内の画像に対応する位置でタイムライン上に重ね合わせることができる色にマッピングすることができる。

0177

教師無しクラスタリングアルゴリズムは、K平均クラスタリング、階層的クラスタリング平均シフト(Mean Shift)クラスタリング、グラフカット、ランダムフォレストベースクラスタリング、Random Ferns、または他の任意の標準クラスタリングアルリズムに基づくことができる。クラスタリングアルゴリズムは、内部データベースに格納された中間結果を使用することができる。

0178

一実施形態によれば、視覚的署名は、bag−of−visual−words、Haralick特徴、もしくは不変散乱畳み込みネットワークなどの、任意の適切な技術を使用して、訓練データベースとして内部データベースに依存する、バッファに格納された各画像に対して構築される。その場合、画像の教師無しクラスタリングは、それらの視覚的署名に基づいて実行することができる。
[解釈可能性特徴と第2のアルゴリズムとの結合]

0179

第1のアルゴリズムが、各画像に対して、少なくとも1つの離散的出力をもたらした場合、第2のアルゴリズムは、等しい出力の連続的な画像で造られた映像サブシーケンスに適用され、表示すべき少なくとも1つの出力をもたらすことができる。上記のように、そのような離散的出力は、関心映像の時間的セグメンテーションと称することができる。第2のアルゴリズムは、第1のアルゴリズムの少なくとも1つの出力、内部データベースに格納された中間結果、および外部データベースに格納されたデータなどを使用することができる。

0180

一実施形態によれば、第1のアルゴリズムは、関心映像において、第2のアルゴリズムに対して最適なクエリである映像サブシーケンスを検出する手段を提供する。

0181

第2のアルゴリズムは、これらに限定されないが、以下を含む。
・少なくとも1つの映像サブシーケンスからより大きな視野域の画像を生成するための画像または映像モザイク
・例えば、関連映像を視覚的シーンクラスタ化するための、映像サブシーケンスの教師無しクラスタリング、
・例えば、各映像サブシーケンスの視覚的非特性を推定するための、映像サブシーケンスの教師無し特徴づけ
・例えば、予測診断もしくは病理学的クラスおよび予測の信頼レベルを、映像サブシーケンスと、または完全な関心映像と、関連付けるための、映像サブシーケンスの教師あり分類
・例えば、所与の病理学的クラスに属する各映像サブシーケンスの完全な関心映像の確率を推定する、映像サブシーケンスの教師あり回帰
・例えば、各映像サブシーケンスの、または診断もしくは病理学的クラスの組に対する完全な関心映像の、視覚的あいまいさを推定するための、映像サブシーケンスの教師あり特徴づけ
・例えば、クエリと視覚的に同様のすでに注釈付けされた映像を外部データベースから抽出するための、クエリとしての少なくとも1つの映像サブシーケンスを伴う、コンテンツベース映像または画像検索

0182

一実施形態によれば、第2のアルゴリズムがコンテンツベース検索アルゴリズムである場合、本発明により、利用者が、典型的には、医師が、第1のアルゴリズムの結果から、半自動化方式で第2のアルゴリズムに対して再生可能クエリを効率的に生成することを可能にする。状況によっては、これにより、クエリとしてアンカット映像を使用する場合と比較する場合、または完全自動化クエリ構造と比較する場合、検索機能強化することを可能とすることができる。そのような半自動化手法により、専門家によって慎重に構成されたクエリの性能に迫ることも可能になる可能性がある。

0183

これを実現するために、本クエリ構造手法は、2つのステップに分解することができる。第1のステップにおいて、関心サブシーケンスのセットへの元の映像の自動化時間的セグメンテーションが、動力学的安定性または画質評価などの、上記した方法のいずれかにより、実行することができる。第2のステップは、セグメント化されたサブシーケンスのサブセットの高速利用者選択から成る。医師は、第1のステップによって提供されたサブシーケンスを保持または破棄するよう、単純に求められるであろう。可能なサブシーケンスのそれぞれが、異なる組織型の画像を潜在的に備えることができるが、セグメンテーションステップは、典型的に、元のアンカット映像よりもずっとつじつまの合う各サブシーケンスを生成する。したがって、簡易化された利用者との対話処理によって、高速および再生可能なクエリ構造が可能となり、医師が、選択されたサブシーケンス内の、および選択されたサブシーケンスの間の充分な視覚的類似性を伴いクエリを構築することを可能にする。

0184

一変形例において、利用者は、各セグメント化されたサブシーケンスを簡潔再調査し、自身が興味のあるものについてクリックすることを求められる。この全てを一連の手順の間に実行することができるので、時間的セグメンテーションは、有利には、リアルタイムで適合可能とすることができる。

0185

サブシーケンスの利用者が選択したサブセットの場合、本発明は、このサブセットを使用して、コンテンツベース検索アルゴリズムが外部データベースを照会するための視覚的署名を生成することができる。その場合、最も視覚的に類似する場合が、貼り付けられ得る任意の潜在的な注釈と共に、医師に提示され得る。

0186

一変形例において、bag of visual words方法、Haralick特徴、または他の任意の適合可能な方法を使用して、選択された映像サブシーケンス内の各画像に対して、画像ごとに1つの署名を計算することができる。これらの署名を平均化することによって、各サブシーケンスおよび各映像は、検索目的で使用することができる視覚的署名と関連付けることができる。

0187

別の変形例において、映像ごとに1つの署名を計算するのではなく、各サブシーケンスは、次いで、検索目的で使用することができる1つの視覚的署名に関連付けることができる。その場合、全てのサブシーケンスに対して検索された場合は、それらの対応する初期サブシーケンスクエリと視覚的な類似性によって、プールおよび再利用することができる。

0188

上記から明確になるであろうように、計算上の理由のため、第1のアルゴリズムと第2のアルゴリズムとの両方が、同じ中間計算に依存する場合、そのような計算は、一度に1回だけ実行してもよく、2つのアルゴリズム間で共有してもよい。例えば、これは、動力学的安定性に基づく時間的セグメンテーションおよびbag of wordsに基づくコンテンツベース検索の両方に対して、SIFTおよびSURFなどの規則的な高密度グリッドなどの、特徴記述子の共通組に依存する場合である。

0189

本発明の上記説明は、当業者が、最良の態様であると現在考えられるものを作成および使用することを可能にするが、当業者は、本明細書における特定の実施形態、方法、および例示の変形、組み合わせ、および均等物の存在を理解および認識するであろう。したがって、本発明は、上記で説明した実施形態、方法、および例によって限定されず、開示したような本発明の範囲および主旨内の全ての実施形態および方法によって限定される。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ