図面 (/)

技術 ハイパースペクトル画像のシグネチャーのマッチングの信頼度を評価する方法

出願人 ジーイー・アビエイション・システムズ・エルエルシー
発明者 アナ・イザベル・デル・アモベンジャミン・トーマス・オッチピンティエリック・ダニエル・ビューラーコンラッド・ロバート・クチンスキー
出願日 2013年8月5日 (7年6ヶ月経過) 出願番号 2013-161941
公開日 2014年2月27日 (6年11ヶ月経過) 公開番号 2014-038614
状態 特許登録済
技術分野 イメージ分析
主要キーワード リモートセンシングシステム スペクトルマッチ スペクトルシグネチャ 汎用コンピュータ機器 ハイパースペクトル画像 Ni個 対象テンプレート 最小絶対値
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2014年2月27日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (6)

課題

解決手段

少なくとも一つの追跡対象物シグネチャーの組を選択すること、前記少なくとも一つの追跡対象物の前記シグネチャーの組に対応するハイパースペクトル画像テンプレートのシグネチャーの組を選択すること、前記少なくとも一つの追跡対象物の前記シグネチャーの組のピクセル値と、前記ハイパースペクトル画像テンプレートの前記シグネチャーの組のピクセル値との差の絶対値を定めること、最大絶対値最小絶対値の差を1から減算することによってマッチング度を定めること、並びに、前記少なくとも一つの追跡対象物の画像が前記ハイパースペクトル画像テンプレートにどの程度近似しているかの信頼度を判定するために、前記マッチング度を前記少なくとも一つの追跡対象物の画像のピクセル数正規化すること、を含む。

概要

背景

ハイパースペクトル画像リモートセンシングシステムの環境については、Manolakis,D.、Marden,D.、及びShaw,G.著の「自動対象検出アプリケーションのためのハイパースペクトル画像の処理(Hyperspectral Image Processing for Automatic Target Detection Applications)」(リンカーン研究所ジャーナル、2003年、第14巻、79〜82ページ)に詳述されている。画像センサは、ハイパースペクトルエネルギーの大きさを記録するピクセルを有する。ハイパースペクトル画像装置は、ピクセル配列のエネルギーを記録するが、そのピクセルの配列は、空間情報をピクセルの配列形状から取得し、且つ、スペクトル情報を各ピクセル内で多くの隣接するハイパースペクトルバンド計測して取得している。空間及びスペクトル情報の更なる処理は、リモートセンシングシステムの個別の用途によって決まる。

遠隔で検出されるハイパースペクトル画像は、環境や土地利用監視偵察査察を含む広い範囲での利用において貴重であることがわかっている。ハイパースペクトル画像は、空間情報とスペクトル情報の両方を含む画像データを提供する。この種類の情報は、遠隔検出や追跡作業に利用可能である。具体的には、一組の視覚センサ無人航空機UAV)や地上局のようなプラットフォームに取り付けてハイパースペクトル画像のビデオを取得し、スペクトルビデオ一連アルゴリズムを適用し、フレームごとに対象物を検出したり追跡したりする。

スペクトルに基づいた処理アルゴリズムが、類似のスペクトル特性シグネチャーを有するピクセルを分類したりグループ化したりするために開発されている。ある場面での対象物の数や大きさが小さすぎて、対象物を種類ごとに分類するために必要な統計的な性質の判定を裏付けることができないような場合に、このような方法だけでの処理では、対象の追跡及び検出用途には向かない。しかし、通常のハイパースペクトル画像の空間処理能は、ハイパースペクトル画像を収集する通常のシステム空間分解能が低いことによって低下する。結果として、ハイパースペクトル画像を収集し処理する遠隔検出システムは、解像された対象が1つ以上のピクセルで撮像された物体であるとき、解像された対象と解像されていない対象の両方が最大限に検出されるように、スペクトル分解能と空間分解能がトレードオフするようにして開発された。このように、スペクトル技術では対象のシグネチャーによって解像されていない対象を検出し、空間技術では対象の形状によって解像された対象を検出することができる。

多数のハイパースペクトル検索アルゴリズムが対象物を検出する目的でハイパースペクトル画像処理の中で開発され用いられてきた。これらのハイパースペクトル検索アルゴリズムは、通常は画像の中の対象候補の統計的な特性を利用するように設計され、通常は周知の統計学概念に基づいている。例えば、マハラノビス距離は、類似性に関する統計学の一方法であり、ハイパースペクトルピクセルシグネチャーにも適用される。マハラノビス距離は、シグネチャーを既知の種類のシグネチャーの平均や標準偏差と比較して検証することによってそのシグネチャーの類似性を測定する。

他の既知の方法に、スペクトラル角度マッピング(SAM)、スペクトラル情報ダイバージェンス(SID)、ゼロ平均差領域(ZMDA)とバタチャリヤ距離がある。SAMは、各スペクトルをベクトルとして扱いベクトル間の角度を計算することによって、対象候補のシグネチャーを既知のシグネチャーと比較する方法である。SAMではベクトルの方向だけを使いベクトルの大きさは使わないので、この方法は照度の変化には影響されない。SIDは、スペクトル間の確率的な不一致相違を計測することによって、対象候補のシグネチャーを既知のシグネチャーと比較する方法である。ZMDAでは、対象候補のシグネチャーと既知のシグネチャーを、それらの分散によって正規化し、その差を演算するが、その差は二つのベクトル間の領域に対応している。バタチャリヤ距離はマハラノビス距離に似ているが、対象候補のシグネチャーの組の間の距離を既知の種類のシグネチャーに照らして計測するのに使用される。

概要

ハイパースペクトル画像テンプレートマッチングする信頼度リアルタイムで評価する方法を提供する。少なくとも一つの追跡対象物のシグネチャーの組を選択すること、前記少なくとも一つの追跡対象物の前記シグネチャーの組に対応するハイパースペクトル画像テンプレートのシグネチャーの組を選択すること、前記少なくとも一つの追跡対象物の前記シグネチャーの組のピクセル値と、前記ハイパースペクトル画像テンプレートの前記シグネチャーの組のピクセル値との差の絶対値を定めること、最大絶対値最小絶対値の差を1から減算することによってマッチング度を定めること、並びに、前記少なくとも一つの追跡対象物の画像が前記ハイパースペクトル画像テンプレートにどの程度近似しているかの信頼度を判定するために、前記マッチング度を前記少なくとも一つの追跡対象物の画像のピクセル数に正規化すること、を含む。

目的

ハイパースペクトル画像は、空間情報とスペクトル情報の両方を含む画像データを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

少なくとも一つの追跡対象物シグネチャーの組を選択すること、前記少なくとも一つの追跡対象物の前記シグネチャーの組に対応するハイパースペクトル画像テンプレートのシグネチャーの組を選択すること、前記少なくとも一つの追跡対象物の前記シグネチャーの組のピクセル値と、前記ハイパースペクトル画像テンプレートの前記シグネチャーの組のピクセル値との差の絶対値を定めること、最大絶対値最小絶対値の差を1から減算することによってマッチング度を定めること、並びに、前記少なくとも一つの追跡対象物の画像が前記ハイパースペクトル画像テンプレートにどの程度近似しているかの信頼度を判定するために、前記マッチング度を前記少なくとも一つの追跡対象物の画像のピクセル数正規化することを含む、少なくとも一つの追跡対象物を追跡しながら、画像センサピクセルによって輪郭が示される少なくとも一つの追跡対象物のハイパースペクトル画像のシグネチャーが、ハイパースペクトル画像テンプレートにマッチングする信頼度を、リアルタイムで評価する方法。

請求項2

前記ハイパースペクトル画像は、ハイパースペクトルイメージングビデオカメラ収集されたビデオの1フレームである、請求項1に記載の方法。

請求項3

前記少なくとも一つの追跡対象物は、可能性のある物体の組である、請求項1に記載の方法。

請求項4

前記シグネチャーの組は、ハイパースペクトル的なデータと空間的なデータの両方を含む、請求項1に記載の方法。

請求項5

空間的にマッチングする前記シグネチャーの割合を判定するステップと、最大絶対値と最小絶対値の差を1から減算することによってマッチング度を定める前記ステップを、前記シグネチャーの割合に適用するステップと、を更に含む、請求項1に記載の方法。

技術分野

0001

本発明は、ハイパースペクトル画像シグネチャーマッチング信頼度を評価する方法に関する。

背景技術

0002

ハイパースペクトル画像のリモートセンシングシステムの環境については、Manolakis,D.、Marden,D.、及びShaw,G.著の「自動対象検出アプリケーションのためのハイパースペクトル画像の処理(Hyperspectral Image Processing for Automatic Target Detection Applications)」(リンカーン研究所ジャーナル、2003年、第14巻、79〜82ページ)に詳述されている。画像センサは、ハイパースペクトルエネルギーの大きさを記録するピクセルを有する。ハイパースペクトル画像装置は、ピクセル配列のエネルギーを記録するが、そのピクセルの配列は、空間情報をピクセルの配列形状から取得し、且つ、スペクトル情報を各ピクセル内で多くの隣接するハイパースペクトルバンド計測して取得している。空間及びスペクトル情報の更なる処理は、リモートセンシングシステムの個別の用途によって決まる。

0003

遠隔で検出されるハイパースペクトル画像は、環境や土地利用監視偵察査察を含む広い範囲での利用において貴重であることがわかっている。ハイパースペクトル画像は、空間情報とスペクトル情報の両方を含む画像データを提供する。この種類の情報は、遠隔検出や追跡作業に利用可能である。具体的には、一組の視覚センサ無人航空機UAV)や地上局のようなプラットフォームに取り付けてハイパースペクトル画像のビデオを取得し、スペクトルビデオ一連アルゴリズムを適用し、フレームごとに対象物を検出したり追跡したりする。

0004

スペクトルに基づいた処理アルゴリズムが、類似のスペクトル特性やシグネチャーを有するピクセルを分類したりグループ化したりするために開発されている。ある場面での対象物の数や大きさが小さすぎて、対象物を種類ごとに分類するために必要な統計的な性質の判定を裏付けることができないような場合に、このような方法だけでの処理では、対象の追跡及び検出用途には向かない。しかし、通常のハイパースペクトル画像の空間処理能は、ハイパースペクトル画像を収集する通常のシステム空間分解能が低いことによって低下する。結果として、ハイパースペクトル画像を収集し処理する遠隔検出システムは、解像された対象が1つ以上のピクセルで撮像された物体であるとき、解像された対象と解像されていない対象の両方が最大限に検出されるように、スペクトル分解能と空間分解能がトレードオフするようにして開発された。このように、スペクトル技術では対象のシグネチャーによって解像されていない対象を検出し、空間技術では対象の形状によって解像された対象を検出することができる。

0005

多数のハイパースペクトル検索アルゴリズムが対象物を検出する目的でハイパースペクトル画像処理の中で開発され用いられてきた。これらのハイパースペクトル検索アルゴリズムは、通常は画像の中の対象候補の統計的な特性を利用するように設計され、通常は周知の統計学概念に基づいている。例えば、マハラノビス距離は、類似性に関する統計学の一方法であり、ハイパースペクトルピクセルシグネチャーにも適用される。マハラノビス距離は、シグネチャーを既知の種類のシグネチャーの平均や標準偏差と比較して検証することによってそのシグネチャーの類似性を測定する。

0006

他の既知の方法に、スペクトラル角度マッピング(SAM)、スペクトラル情報ダイバージェンス(SID)、ゼロ平均差領域(ZMDA)とバタチャリヤ距離がある。SAMは、各スペクトルをベクトルとして扱いベクトル間の角度を計算することによって、対象候補のシグネチャーを既知のシグネチャーと比較する方法である。SAMではベクトルの方向だけを使いベクトルの大きさは使わないので、この方法は照度の変化には影響されない。SIDは、スペクトル間の確率的な不一致相違を計測することによって、対象候補のシグネチャーを既知のシグネチャーと比較する方法である。ZMDAでは、対象候補のシグネチャーと既知のシグネチャーを、それらの分散によって正規化し、その差を演算するが、その差は二つのベクトル間の領域に対応している。バタチャリヤ距離はマハラノビス距離に似ているが、対象候補のシグネチャーの組の間の距離を既知の種類のシグネチャーに照らして計測するのに使用される。

先行技術

0007

米国特許第7212652号明細書

0008

本発明は、少なくとも一つの追跡対象物を追跡しながら、画像センサのピクセルによって輪郭が示される少なくとも一つの追跡対象物のハイパースペクトル画像のシグネチャーが、ハイパースペクトル画像テンプレートにマッチングする信頼度をリアルタイムで評価する方法に関する。この方法は、少なくとも一つの追跡対象物のシグネチャーの組を選択すること、少なくとも一つの追跡対象物のシグネチャーの組に対応するハイパースペクトル画像テンプレートのシグネチャーの組を選択すること、少なくとも一つの追跡対象物のシグネチャーの組のピクセル値とハイパースペクトル画像テンプレートのシグネチャーの組のピクセル値との差の絶対値を定めること、最大絶対値最小絶対値の差を1から減算してマッチング度を定めること、並びに、少なくとも一つの追跡対象物の画像がハイパースペクトル画像テンプレートにどの程度近似しているかの信頼度を判定するために、そのマッチング度を少なくとも一つの追跡対象物の画像のピクセル数に正規化すること、を含む。

図面の簡単な説明

0009

本発明の第1の実施例における、ハイパースペクトル画像内の監視対象物の追跡及び検出確率を判定する方法の線図である。
本発明の一実施例における、ハイパースペクトル検索アルゴリズムを選択する方法の線図である。
本発明の一実施例における、ハイパースペクトル検索アルゴリズムの許容誤差を選択する方法の線図である。
本発明の一実施例における、ハイパースペクトル画像撮影システムが2つの対象物を検出し追跡するシナリオを示す。
本発明の一実施例における、ハイパースペクトル画像撮影システムが追跡した対象物の変化を検出するシナリオを示す。

実施例

0010

背景技術と以下の記述において、本明細書に記載の技術を完全に理解できるように、説明目的で多くの具体的な詳細を記載する。しかし、これらの具体的な詳細なしで実施形態を実施可能であることは、当業者には明らかである。また、実施形態の説明を簡単にするために、構造や装置を略図で示している。

0011

図面を参照しながら実施例を説明する。これらの図はここに記載されているモジュール、方法、コンピュータプログラム製品を実施する具体的な実施形態の詳細を示している。しかし、これらの実施形態は、図面に示したものだけに限定されないと解釈されたい。コンピュータ読み取り可能媒体に本方法及びコンピュータプログラム製品を使用して、作業を遂行する。これらの実施例は、既存のコンピュータプロセッサを使用したり、本目的或いは他の目的のために組み込まれた専用コンピュータプロセッサや、ハードウェアに組み込まれたシステムを使用したりすることで実施される。

0012

上記のように、本明細書に記載の実施例は、コンピュータ実行可能な命令データ構造を格納したコンピュータ読み取り可能媒体を含む、コンピュータプログラム製品を含む。このようなコンピュータ読み取り可能媒体は、汎用或いは専用コンピュータプロセッサを有するコンピュータでアクセス可能な媒体であればよい。例として、このようなコンピュータ読み取り可能媒体は、RAM、ROM、EPROM、EEPROM、CD−ROMや他の光ディスク記憶装置磁気ディスク記憶装置や他の磁気ディスク記憶装置、或いは、必要なプログラムコードをコンピュータ実行可能命令やデータ構造といった形で保持し格納するために用いられて、汎用或いは専用コンピュータやプロセッサを有するコンピュータでアクセスできる媒体を含む。情報がネットワークや他の通信の接続(有線無線、或いは有線と無線の組み合わせ)を使ってコンピュータに転送や送信されると、コンピュータはその接続を適宜コンピュータ読み取り可能媒体とみなす。従ってこのような接続はコンピュータ読み取り可能媒体とよばれる。上記のものの組み合わせもコンピュータ読み取り可能媒体の範囲に含まれる。コンピュータ実行可能命令は、例えば命令やデータから構成され、その命令やデータによって汎用コンピュータや専用コンピュータ、或いは専用のプロセッサに、或る機能や複数の機能を実施させる。

0013

実施例では一般的な方法をステップ形式で記載しているが、その方法ステップは、一実施例においてはプログラム製品によって実施され、このプログラム製品には、例えば、ネットワーク化された環境にあるコンピュータによって実行されるプログラムモジュールの形式の、プログラムコードのようなコンピュータ実行可能な命令が含まれる。一般的に、プログラムモジュールは、ルーチンプログラム、目的、構成要素、データ構造等を含むが、これらは特定のタスクを実行するという技術的効果を奏し、特定の抽象データ型実装するものである。コンピュータ実行可能な命令、関連するデータ構造、そしてプログラムモジュールは、本明細書で開示する方法のステップを実行するためのプログラムコードの例である。このような実行可能な命令や関連するデータ構造の特定の配列は、かかるステップに記載されている機能を実行するための対応する動作の例を示している。

0014

実施例は、プロセッサを有する一以上のリモートコンピュータとの論理的な接続を用いるネットワーク化された環境の中で実践される。論理的接続には、ローカルエリアネットワーク(LAN)や広域ネットワークWAN)が含まれるが、ここではこれらを例として示しているので、それに限定されるものではない。このようなネットワーク化された環境は、オフィス全体や企業全体のコンピュータネットワークイントラネットインターネットでは普通のことであり、種々の異なった通信プロトコルを使用することもある。当業者はこのようなネットワークを利用したコンピュータ環境には、一般的にパーソナルコンピュータ携帯機器マルチプロセッサシステムマイクロプロセッサ、或いはプログラム可能家庭用電化製品ネットワーク接続可能なパーソナルコンピュータ、ミニコンピュータメインフレームコンピュータ等を含む、多くの種類のコンピュータシステム形態があると理解されよう。

0015

実施例は、タスクが通信ネットワークを通して接続された(有線或いは無線の接続、又は有線と無線接続の組み合わせによって接続された)ローカルプロセッサリモートプロセッサによって実行される分散型コンピュータ環境においても実施できる。分散型コンピュータ環境においては、プログラムモジュールはローカルメモリ装置とリモートメモリ装置の両方に配置される。

0016

実施例の全部の或いは一部分を実行する例となるシステムは、コンピュータの形をとる汎用コンピュータ機器を含むが、それはプロセッシングユニットシステムメモリ、そしてシステムメモリとプロセッシングユニットを含む様々なシステムコンポーネントを結ぶシステムバスから構成される。システムメモリには読み出し専用メモリ(ROM)とランダムアクセスメモリ(RAM)が含まれる。コンピュータもまた、磁気ハードディスクからの読み取りや書き込みのための磁気ハードディスクドライブ着脱式磁気ディスクからの読み取りや書き込みのための磁気ディスクドライブ、そしてCD−ROMや他の光媒体のような脱着式光ディスクからの読み取りや書き込みのための光ディスクドライブを含む。これらのドライブや関連するコンピュータ読み取り可能媒体は、コンピュータ実行可能な命令、データ構造、プログラムモジュールやコンピュータの他のデータの不揮発性記憶装置となっている。

0017

本実施例において開示する方法の技術的効果には、ハイパースペクトル画像内の対象物を検出する作業の自動化とその検出に対する信用度割り当てることを含む。また、この方法は既存のシグネチャーマッチングの技術を、検出された対象物と最も知られているシグネチャーを空間的及びスペクトル的に自動でリアルタイムに比較することによって改良するものである。この技術はスペクトルキューブ配列から合成画像を作成できるシステムであれば、使用可能である。

0018

図1は、本発明の第1実施例におけるハイパースペクトル画像内の監視対象物の追跡を行い、当該対象物の検出確率を判定する方法10の線図である。遠隔で検出された、単一の画像又はハイパースペクトルビデオを含むハイパースペクトル画像は、ステップ12でハイパースペクトル画像を処理可能なプロセッサに入力される。プロセッサはステップ12でハイパースペクトルデータ受け取り、ステップ14では、ノイズフィルタリングコーナー検出、画像レジストレーションホモグラフィー、フレームアライメントといった一連の周知の画像処理ステップであるがそれらに限定されない一連の画像処理ステップを実行してデータセットを幾つかのハイパースペクトル画像フレームに処理する。プロセッサはステップ16で検索アルゴリズムを使用してハイパースペクトル画像フレーム内の追跡対象の中から対象候補を選択する。この対象候補と追跡された物体は、実在する対象物のハイパースペクトル画像を表すピクセルのセットとなっている。例えば、動いている対象を探すために作成されたハイパースペクトル画像を収集するシステムでは、対象候補は動いている物体である。この例では、プロセッサはハイパースペクトル画像内の動く物体を識別するための最小の判別特性を計算によって検索する。他の例では、ハイパースペクトル画像を収集するシステムのユーザー手動ディスプレイのピクセルを選択し、対応するシグネチャーを識別して分析する。

0019

プロセッサは更にステップ18でハイパースペクトル画像のフレームごとに、選択された対象候補を追跡する。プロセッサは、ステップ20において、選択された対象候補とテンプレートテータベース28に格納された既知の対象である基準対象テンプレートと比較する。この基準対象テンプレートは予め設定されたピクセルのセットであり、実在する対象物のハイパースペクトル画像を表す。

0020

ステップ22では、プロセッサが照合のための比較をする。選択された対象候補がテンプレートデータベース28の基準対象テンプレートと一致する場合、プロセッサは、ステップ24で選択された対象候補と基準対象テンプレートのマッチング度と、選択された対象候補が検出される確率を判定する。選択された対象候補がテンプレートと一致しない場合は、プロセッサはステップ30で選択された対象候補を新しい基準対象テンプレートとみなすか、或いはステップ32でその対象候補を切り捨てる。その選択された対象候補をステップ30で新しいテンプレートとみなす場合は、プロセッサは新しい対象に関するデータを対象テンプレートデータベース28に追加する。

0021

ステップ24におけるマッチング度と検出確率の判定後、プロセッサはステップ26でその確率と閾値を比較する。確率が当該閾値を超えている場合は、ステップ34の措置をとる。超えていない場合、プロセッサは、ステップ18で選択された対象候補の追跡を続ける。

0022

特定の基準対象テンプレートを基準対象テンプレートデータベース28から指定して、ステップ20で対象候補と比較した後、プロセッサはステップ24でマッチング度と検出確率を計算する。まずステップ24で、選択された対象候補内に現れるトップスクトルシグネチャーと基準対象テンプレートの輪郭を示すトップスペクトルシグネチャーを比較し、次にそれを空間的にマッチングさせて、マッチング度と検出確率によって、選択された対象候補が特定の基準対象テンプレートとマッチングする確率を判定する。

0023

ステップ24でマッチング度と検出確率を判定する方法を実行するプロセッサは、まず、選択された対象候補と基準対象テンプレートの両方に現れるトップシグネチャーの組を判定する。次にプロセッサは、トップシグネチャーの分布を、選択された対象候補と基準対象テンプレートの両方のピクセル数に基づいて計算する。これを行うための最初のステップは、基準対象テンプレートにあるピクセルのある割合を占めている基準対象テンプレート内のシグネチャーの組を判定し、基準対象テンプレート内の各シグネチャーの割合を判定することである。ステップ24を実行するプロセッサは、次に、選択された対象候補のシグネチャーの分布を判定する。各シグネチャーのピクセルの分布が基準対象テンプレートのシグネチャーの分布に類似している場合、プロセッサは、両方の類似しているシグネチャーのピクセルの最大差最小差を考慮して、各シグネチャーのマッチング度を計算する。プロセッサは、ハイパースペクトルピクセルの分布の類似性を一以上の方法を用いて計算する。類似性を判定する方法には、SAM、SID、ZMDA、バタチャリヤ距離が含まれる。プロセッサは、実装に応じて類似性を判定する他の方法を使うこともある。

0024

仮にSi={s1,s2,・・・,sp}を対象のシグネチャーの集合であるとする。そしてxijがハイパースペクトルフレームの2次元空間表現ではijという位置にあるピクセルとする。qがハイパースペクトル画像のスペクトルバンドの数を表す場合、ピクセルxijは、xb1,xb2,・・・,xbqという値の組を有する、サブピクセルの配列から構成されている。したがって、各ピクセルは、ピクセルが表す空間的位置の各スペクトルバンドに関連づけられたサブピクセルを含む。

0025

ここで、簡略にするために、一つの選択された対象候補を対象物Oiとし、Oiは対象Tとして参照される基準テンプレート対象と空間的にマッチングしている。対象TのR%のトップシグネチャーの組が対象物Oiにλという同様の割合で存在する場合は、対象物Oiはスペクトル的にも対象Tと信用度Cでマッチングしている。目標は対象物と対象を空間的にもスペクトル的にもマッチングさせること、即ち対象物と対象の形状とシグネチャーが類似しているということである。

0026

仮にNiを対象物Oiのピクセル数とする。r<pであるがrは対象物Oiのピクセルの組の基数やサイズを規定しni1,ni2,・・・,nirは、類似したシグネチャーs1,s2,・・・,srを示すとする。ステップ24を実行するプロセッサは、対象物OiのトップR%のスペクトルシグネチャーが対象物OjのトップR%のシグネチャーとマッチングしている場合、2つの対象物OiとOjが、スペクトルマッチしているとみなす。{ni1,ni2,・・・,nir}と{nj1,nj2,・・・,njr}としてそれぞれ表される対象物OiとOjの全ての選択された数のトップシグネチャーがそれぞれ:

0027

で表される場合2つの対象物OiとOjは厳密にλという同じ割合でマッチングしている。
各シグネチャーlのマッチング度は次のように定められる。

0028

この方法では各シグネチャーlのマッチング度を求めるために他の定義を使用することもある。ステップ24でマッチング度を判定するのに使う定義は、周知のファジー測度数学的定義に合致してなければならない。

0029

最後に、ステップ24で方法を実行するプロセッサは、テンプレート内のシグネチャーの組と対象物のシグネチャーの組の類似性に基づいて検出確率を計算する。対象物OiにはNi個のピクセルがあり、対象物OjにはNj個のピクセルがあるとすると、プロセッサはステップ24でマッチング度と各シグネチャーにマッチングするピクセルの数に基づいて検出確率を計算する。プロセッサはマッチング度を対象物のピクセルの数に正規化して検出確率を算出し、選択された対象候補の物体の画像とハイパースペクトル画像の基準対象テンプレートがどの程度近似しているかという信用度を判定する。対象物OiのNi|s個のピクセルがシグネチャーsとλという同じ割合でマッチングする場合、TMとして参照される検出確率は次のように算出される。

0030

ステップ26では、対象テンプレートにマッチングしている選択された対象候補の検出確率TMを閾値と比較する。ステップ26で示すようにプロセッサはTM−1を計算して閾値εと比較する。TM−1がこの閾値εを超えている場合、プロセッサはステップ34で措置をとる。超えていない場合、プロセッサはステップ18に戻って選択された対象候補の追跡を続ける。この閾値の値εは、ステップ22の照合アルゴリズムの実行とステップ16の検索アルゴリズムと、ハイパースペクトル画像の場面での対象物の速度のような、特定の対象候補とデータベース28の基準対象テンプレートに関連する情報に基づいて選択される。

0031

TMの値によって様々な信用度が定義づけられる。例えば、TMが0.35未満の場合、信用度は非常に低い。TMが0.35と0.60の間の場合、信用度は低く、TMが0.60と0.75の間の場合、信用度は中程度で、TMが0.75と0.85の間の場合、信用度は中程度より少し高い。TMが0.85よりも大きい場合、信用度は高いことになる。マッチングする確率が高くなるほど、その結果はTMのレベルでマッピングされた一連の色で反復表示され、検出された信用度の高い対象と信用度の低い対象とを区別する。例えば、検出された信用度の高い対象の画像の全てのピクセルを、ディスプレイでは赤で色付けできる。実際の実施に応じて他の閾値や信用度や表示方法が用いられる。

0032

プロセッサがステップ12でデータを受け取り、それをステップ14でハイパースペクトル画像フレームのセットに処理してから、ステップ16で次にハイパースペクトルフレームから対象候補を選択する。プロセッサは、ステップ16で対象候補を選択するために、ハイパースペクトルデータの検索アルゴリズムを選択してこれを使用する。ハイパースペクトルデータの次元は、主成分分析、特性の抽出やエントロピー測定やその他を含む、周知の次元縮小法を使って縮小される。図2は本発明の一実施例におけるハイパースペクトルデータの検索アルゴリズムを選択する方法100の線図である。ハイパースペクトルデータの検索アルゴリズムを選択するために、方法100を実行するプロセッサは、最初にステップ110でハイパースペクトルフレームの特性をデータベースに保存する。次にステップ112でハイパースペクトルフレームの特性を評価する。ステップ112で、その特性がハイパースペクトルフレームにとって有意であると評価された場合、ステップ116でデータに検索アルゴリズムを適用してフレームの対象候補を区別する。ステップ112で、その特性がハイパースペクトルフレームにとっては有意でないと評価された場合は、プロセッサはステップ114で第2の特性を評価する。ステップ114で第2の特性がハイパースペクトルフレームとして有意な場合は、プロセッサはステップ120で第2のスペクトル検索アルゴリズムをデータに適用してフレームの対象候補を区別する。ステップ114において第2の特性がフレームにとって有意でないと評価された場合、プロセッサはステップ118で第3の特性を評価する。ステップ118で第3の特性がハイパースペクトルフレームとして有意であると評価された場合、プロセッサはステップ122で第3の検索アルゴリズムをデータに適用してハイパースペクトルフレームの対象候補を区別する。プロセッサがステップ118で第3の特性がハイパースペクトルフレームとして有意でないと評価した場合、ステップ124でデータにデフォルト検索アルゴリズムを適用する。

0033

最初に、ステップ110でプロセッサは、ハイパースペクトルフレームの特性を判定する。プロセッサは、ハイパースペクトルの特性を後の検索アルゴリズムを選択する際の処理に使えるように、そのハイパースペクトルフレームの特性をステップ110で保存する。特性の例としては、撮像された場面の照度のばらつき、類似するシグネチャーを有するピクセルのばらつきや基準対象テンプレート内の独特なシグネチャーの数が含まれる。ハイパースペクトルフレームの特性は他にも考えられ、これらの例に限定されるものではない。

0034

ステップ112でのハイパースペクトルフレームの第1特性の評価に基づいて、プロセッサは、第1特性を有するハイパースペクトルデータに適しているとわかっている検索アルゴリズムをステップ116で適用する。ステップ112でハイパースペクトルフレームの第1特性を評価したときに、第1の検索アルゴリズムがそのハイパースペクトルフレームには適さない場合、プロセッサは、ステップ110で保存されていたフレーム特性にアクセスして、ステップ114で第2のフレーム特性を評価する。一例としては、第1特性がハイパースペクトルフレームの撮像された場面の照度のばらつきであり得る。プロセッサは、撮像された場面の照度のばらつきを判定するためにハイパースペクトルフレームの特性にアクセスする。プロセッサは、ばらつきが大きいか小さいかを判定する。方法の実施に応じて他のフレーム特性を第1のフレーム特性として使用することもある。

0035

第1のハイパースペクトルフレームの特性が有意であると評価された場合、プロセッサはハイパースペクトルフレームとその対象候補を処理するためにステップ116で第1の検索アルゴリズムを使う。この例では、撮像された場面の照度のばらつきが大きいと算出された場合、最良の結果を得るためにSAMに基づく検索アルゴリズムを使って撮像された場面を処理する。ここでは、その実施によってはSID、マハラノビス距離、ZMDA、バタチャリヤ距離を含み、またそれ以外のものも含む分類方法に基づく他の検索アルゴリズムも用いられる。

0036

ステップ114でのハイパースペクトルフレームの第2特性の評価に基づいて、プロセッサは第2特性を有するハイパースペクトルデータに適しているとわかっている検索アルゴリズムをステップ120で適用する。ステップ114でハイパースペクトルフレームの第2特性を評価したときに、第2の検索アルゴリズムがそのハイパースペクトルフレームには適していない場合、プロセッサは、ステップ110で保存されていたフレーム特性にアクセスして、ステップ118で第3のフレーム特性を評価する。一例としては、第2特性が類似のシグネチャーを有するピクセルのばらつきであり得る。プロセッサは類似のシグネチャーを有するピクセルのばらつきを判定するためにハイパースペクトルフレームの特性にアクセスする。プロセッサは、ばらつきが大きいか小さいかを判定する。実施によっては他のフレーム特性を第2のフレーム特性として用いることもある。

0037

第2のハイパースペクトルフレーム特性が有意であると評価された場合、プロセッサはハイパースペクトルフレームとその対象候補を処理するためにステップ120で第2の検索アルゴリズムを使用する。この例では、類似のシグネチャーを有するピクセルのばらつきが大きいと算出された場合、最良の結果を得るためにSIDに基づく検索アルゴリズムを使って、撮像されたシーンを処理する。ここでは、その実施によってはSAM、マハラノビス距離、ZMDA、やバタチャリヤ距離を含み、またそれ以外のものも含む類似性や距離測定に基づく他の検索アルゴリズムも用いられる。

0038

ステップ118でのハイパースペクトルフレームの第3の特性の評価に基づいて、プロセッサは第3特性を有するハイパースペクトルデータに適するとわかっている検索アルゴリズムをステップ122で適用する。ステップ118でハイパースペクトルフレームの第3の特性を評価したときに、第3の検索アルゴリズムがそのハイパースペクトルフレームには適さない場合、プロセッサはハイパースペクトルフレームを処理するためにステップ124でデフォルト検索アルゴリズムを適用する。一例では、第3の特性が基準対象テンプレート内に固有のシグネチャーの数であり得る。プロセッサは、基準対象テンプレート内の独特なシグネチャーの数を判定するために以前に追跡した対象と対応する基準対象テンプレートを含むハイパースペクトルフレームの特性にアクセスする。プロセッサは、基準対象テンプレート内の独特なシグネチャーの数が多いか少ないかを判定する。方法の実施に応じて他のフレーム特性が第3のフレーム特性として用いられることもある。

0039

第3のハイパースペクトルフレームの特性が有意であると評価された場合、プロセッサはハイパースペクトルフレームとその対象候補を処理するためにステップ122で第3の検索アルゴリズムを使用する。この例では、基準対象テンプレート内の独特のシグネチャーの数が多いと算出された場合、最良の結果を得るためにマハラノビス距離に基づく検索アルゴリズムを使って、撮像された場面を処理する。この方法では、その実施によってはSAM、SID、ZMDA、やバタチャリヤ距離を含み、またそれ以外のものも含む類似性や距離測定に基づく他の検索アルゴリズムも用いられる。

0040

全てのフレーム特性を使い切ると、プロセッサはステップ124でデフォルト検索アルゴリズムを用いてハイパースペクトルフレームとその対象候補を処理する。デフォルト検索アルゴリズムは、SAM、SID、マハラノビス距離、ZMDA、バタチャリヤ距離に基づいている。実装によっては、他の検索アルゴリズムがデフォルト検索アルゴリズムとして用いられることもある。

0041

方法100では他のフレーム特性やその評価を使ってステップを追加することもある。フレーム特性は、ステップ112、114、118で既に開示されている判定ステップの後に続く判定ステップの中に組み込まれる。また、プロセッサは、特定の検索アルゴリズムがハイパースペクトルフレームを処理するのに最適に活用されているかを判定するために多数のフレームの特性を評価する。

0042

方法100では検索アルゴリズムを追加して実行することもある。例えばプロセッサは多数の検索アルゴリズムを同時にハイパースペクトルフレームに適用して、多数の検索アルゴリズムで同時に処理して得られた多くの結果を、多基準意思決定手順を用いて一つの結果にする作業を行う。

0043

図3は、検索アルゴリズムの許容誤差を選択する方法200の線図である。図2のステップ116、120、122、と124において、選択された検索アルゴリズムを使ってハイパースペクトルフレームを処理するとき、所定のアルゴリズムのパラメータや許容誤差はステップ210で最初はデフォルト値や或る値に設定されている。ステップ212でデフォルトの許容誤差を有する検索アルゴリズムを使ってハイパースペクトルフレームのデータを処理する。ステップ216では、ハイパースペクトルフレームの対象候補を基準対象テンプレートにマッチングさせる、ハイパースペクトルフレームのハイパースペクトルピクセルの数を、選択された検索アルゴリズムによって計算する。対象候補を基準対象テンプレートにマッチングさせるハイパースペクトルピクセルの数が少な過ぎる場合は、ステップ218でプロセッサは、選択された検索アルゴリズムの許容誤差を緩和し、ステップ212でフレームを、修正された許容誤差の検索アルゴリズムで再度処理する。対象候補を基準対象テンプレートにマッチングさせるハイパースペクトルピクセルの数が多すぎる場合は、ステップ214でプロセッサは、選択された検索アルゴリズムの許容誤差を狭め、ステップ212においてフレームを、修正された許容誤差の検索アルゴリズムで再度処理する。マッチングさせるハイパースペクトルピクセルの数が許容範囲内である場合、ステップ220でプロセッサは、マッチングするハイパースペクトルピクセルの位置とシグネチャーを保存する。

0044

ステップ216でマッチングするピクセル数が許容範囲内になるまで、プロセッサはステップ214と218で検索アルゴリズムの許容誤差を修正するステップと、その後、ステップ212で選択された検索アルゴリズムを使ってハイパースペクトルフレームを処理するステップを繰り返す。

0045

本発明の第1実施例における図1のハイパースペクトル画像内の監視対象の追跡と検出確率の判定の方法10では、基準対象テンプレートデータベース28の既知のテンプレートに対する対象候補のスペクトル的と空間的なパラメータの分析に基づいて、対象候補の検出確率がステップ26で閾値を超えている場合、図1のステップ34の措置をとるように命令する。この時、各対象候補は個々に関連付けられた固有の識別子を有する。図1の方法10を実行するプロセッサが、スペクトル的及び空間的な特性の変化による対象候補の逸脱を検出した場合、プロセッサは自発的にこの逸脱を対象候補の過程における重大なイベントとしてマークする。プロセッサは識別子を割り当てて、逸脱が検出された対象を新しい対象物として識別する。プロセッサは全ての対象に起きたイベントを集めて再評価するが、このとき、プロセッサが追跡された対象物に新しい識別子又は既存の識別子を関連付けたことをオペレータが評価して補正することもありうる。

0046

図1の方法10を実行するプロセッサは、図1のステップ16で対象を選択する時点で対象候補のハイパースペクトル的及び空間的な情報及び特性について、図1の対象テンプレートデータベースにエントリを作成できる。図1の対象テンプレートデータベース28は、ハイパースペクトル画像内の対象候補をプロセッサが追跡しているときに、ハイパースペクトル的及び空間的な情報に加えて時間の情報を記憶できる。プロセッサが対象候補を追跡するのに用いられたスペクトル的と空間的なパラメータに図1のステップ20で逸脱を検出した場合、図1のデータベース28に、後に再検討するときに使うために、イベントとしてその逸脱を分類する情報を記憶する。更にプロセッサは、本来の対象とはかなり違うパラメータを有する新しい対象物体に、同じ又は新しい固有の識別子を関連付ける。イベントに指定するか否かの判定では、信頼度の測定値に基づいてパラメータからの逸脱が大きいかを判定する。信頼度の測定には、空間的、スペクトル的、又はその両方で定められるパラメータを用い、ハイパースペクトル的及び空間的な情報の誤差を確実に感知する。

0047

対象候補のパラメータが予め設定されていたパラメータから大きくかけ離れて、イベントとされるシナリオが多くある。そのようなシナリオとは、追跡対象物が、他の対象物に邪魔された場合、一つの追跡対象物が複数の別個の対象物に分割した場合、或いは、例えば追跡対象物が影に入って、色やコントラスト輝度のような対象物のスペクトル特性が大きく変わった場合である。他のシナリオも考えられ、これら上記のものに限られない。プロセッサがこのようなイベントの前後で対象候補を結び付けることができない場合、イベントが起きる前に対象候補に使われていた同じ識別子をイベント後の一つ以上の新しい対象候補に関連付けて、対象を見失ったり、誤って表示したりしないようにする。

0048

図4A図4Bはこのようなシナリオの例である。図4Aはシナリオ300という例を示している。ここでは本発明の一実施例におけるハイパースペクトル画像内の監視対象を追跡し検出確率を判定する方法によって道路走行中の2台の車両310、312を検出したというシナリオを示している。図1の方法10を実行するプロセッサは、図1のステップ12で、受け付けたハイパースペクトルデータを図1のステップ14で一連のハイパースペクトルフレームに処理し図1のステップ16で対象候補を選択する。図1のステップ20で、対象候補を図1の基準対象テンプレートデータベース28と比較すると、図1のステップ24でマッチングの度合と検出確率の計算の結果有意であるため、図1のステップ34の措置を取る。プロセッサは各車両310、312に対象識別子を割り当て、その対象識別子は図1の基準対象テンプレートデータベース28に格納される。

0049

図4Bは本発明の一実施例におけるハイパースペクトル画像内の監視対象を追跡し検出確率を判定する方法によって追跡対象の変化を検出するシナリオである。図4Bでは、以前に図4Aで対象候補として認識されていた内の一台の車両310が木324の影318を走行して、図4Aで追跡されている車両310のスペクトル特性とは大きく変化してしまったというイベントを表している。更に、第2の類似の車両が、図4Aで以前に追跡されていた車両310の隣を走行中である。図1の方法10を実行するプロセッサは、車両314と316の車両のどちらが図4Aで追跡されて特定されていた車両310であるかを識別して、低い信用度であるとした。プロセッサは図1のステップ34で措置を取り、両車両314と316が以前追跡されていた車両の識別子に関連付けられていた識別子を有すると判定して、両方の対象について、イベントの時間を図1のデータベース28にロギングする。

0050

図4Aで、以前に識別されていた第2の車両312が駐車場で止まり、乗客322が止まった車両320から出た。プロセッサは図4Aの元の対象物である車両312が2つの別個の追跡対象に分割されたというイベントを検出し識別する。プロセッサは図1のステップ34で措置を取り、車両320と人間322がイベントの発生前図4Aの車両312に関連付けられていた識別子を有すると識別し、図1のデータベース28にイベントの時間をロギングする。

0051

イベントの情報を記憶することとイベントに関連付けられた識別子を作成することの利点は、このシステムのオペレータが識別子に関連付けられた対象のイベントの履歴を呼び出せることである。オペレータは、識別子や関連付けられた識別子を有する全ての追跡されている対象物をその履歴と一緒に分析し見直すことができる。イベント履歴には追跡対象の識別子がこのシステムによって修正されることになった全てのイベントに関する全てのデータが含まれる。更に、イベントにおいて対象に関連付けられた識別子が誤りである場合、オペレータは手動でシステムを修正することができる。

0052

本明細書では、実施例を使用して最良の態様を含めた本発明を開示し、且つ全ての当業者が、装置又はシステムを作製及び使用すること、並びにこれに含まれるあらゆる方法を実行したりすることを含め、本発明を実施できるようにしている。本発明の特許請求の範囲は請求項によって定義されており、当業者に想到される他の実施例も含み得る。他のこのような実施例は、それらが特許請求の範囲の文言と相違ない構成要素を有する場合、或いはそれらが特許請求の範囲の文言と実質的に相違ない同等な構成要素を含んでいる場合、特許請求の範囲内にあることを意図する。

0053

10ハイパースペクトル画像における監視対象を追跡して検出確率を判定する方法
12 データを受け取るステップ
14ハイパースペクトルフレームのセットを処理するステップ
16対象候補を選択するステップ
18 選択された対象物を追跡するステップ
20データベース中のテンプレートと比較するステップ
22マッチングを判定するステップ
24マッチング度と検出確率を判定するステップ
26 検出確率が閾値を超えているか否かを判定するステップ
28テンプレートデータベース
30 新しいテンプレートを作成するか否かを判定するステップ
32テンプレート候補を切り捨てるステップ
34 検出に基づいて措置を取るステップ
100 ハイパースペクトル検索アルゴリズムを選択する方法
110 フレームの特性を保存するステップ
112 第1のフレームの特性にアクセスするステップ
114 第2のフレームの特性にアクセスするステップ
116 第1の検索アルゴリズムを用いるステップ
118 第3のフレームの特性にアクセスするステップ
120 第2の検索アルゴリズムを用いるステップ
122 第3の検索アルゴリズムを用いるステップ
124デフォルトの検索アルゴリズムを用いるステップ
200 ハイパースペクトル検索アルゴリズムの許容誤差を選択する方法
210初期の許容誤差をデフォルト値に設定するステップ
212 選択されたアルゴリズムを実行するステップ
214 許容誤差を狭めるステップ
216 マッチングするピクセル数を判定するステップ
218 許容誤差を緩和するステップ
220ピクセルの位置とシグネチャーを保存するステップ
300 2つの対象物がハイパースペクトルイメージングシステムによって検出され、追跡されるシナリオ
310、312、314、316、320追跡対象の車両
318 影
322 人間
324 木

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ