図面 (/)

技術 空間的およびスペクトル的物体モデルを生成する方法

出願人 ジーイー・アビエイション・システムズ・エルエルシー
発明者 エリック・ダニエル・ビューラーベンジャミン・トーマス・オッチピンティ
出願日 2014年2月12日 (7年0ヶ月経過) 出願番号 2014-023964
公開日 2014年11月13日 (6年3ヶ月経過) 公開番号 2014-212509
状態 未査定
技術分野 スタジオ装置 イメージ分析
主要キーワード 静止プラットフォーム 可動プラットフォーム スペクトルシグネチャ ハイパースペクトルカメラ ハイパースペクトル画像 搭載システム データキューブ テクスチャ特性
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2014年11月13日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (5)

課題

ハイパースペクトル撮像装置を使用して物体分光反射率プロファイルを改善する方法を提供する。

解決手段

特に、物体とハイパースペクトル撮像装置との間に相対運動があるとき、物体の一連ハイパースペクトル画像を取得することと、相対運動の1つまたは複数のパラメータを測定することと、一連の各ハイパースペクトル画像において物体の方向を測定するためにパラメータをマッピングすることと、一連の各ハイパースペクトル画像において物体の2つ以上の空間部を識別することと、各空間部にスペクトルシグネチャ割り当てることと、方向、空間部、およびスペクトルシグネチャから多次元分光反射率プロファイルを生成することとを含む。

概要

背景

ハイパースペクトルカメラは、映像フレームレートハイパースペクトル画像フレーム、またはデータキューブ(datacube)を取り込むことができる。こうしたカメラは、高い空間分解能およびスペクトル分解能の画像を取得する。コンピュータビジョンおよびスペクトル解析に関連する技術と組み合わせて、ハイパースペクトルカメラのオペレータは、撮像された物体の検出、追跡、および識別に関連する監視応用に関与してきた。

概要

ハイパースペクトル撮像装置を使用して物体の分光反射率プロファイルを改善する方法を提供する。特に、物体とハイパースペクトル撮像装置との間に相対運動があるとき、物体の一連のハイパースペクトル画像を取得することと、相対運動の1つまたは複数のパラメータを測定することと、一連の各ハイパースペクトル画像において物体の方向を測定するためにパラメータをマッピングすることと、一連の各ハイパースペクトル画像において物体の2つ以上の空間部を識別することと、各空間部にスペクトルシグネチャ割り当てることと、方向、空間部、およびスペクトルシグネチャから多次元分光反射率プロファイルを生成することとを含む。

目的

方法およびコンピュータプログラム製品は、その動作を行うためにいかなる機械可読媒体上にも提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

ハイパースペクトル撮像装置を使用して物体分光反射率プロファイルを改善する方法であって、前記物体と前記ハイパースペクトル撮像装置との間に相対運動があるとき、前記物体の一連ハイパースペクトル画像を取得するステップと、前記相運動の少なくとも1つのパラメータを測定するステップと、前記一連の各ハイパースペクトル画像において前記物体の方向を測定するために前記少なくとも1つのパラメータをマッピングするステップと、前記一連の各ハイパースペクトル画像における前記物体の少なくとも2つの空間部を識別するステップと、前記各空間部にスペクトルシグネチャ割り当てるステップと、前記方向、前記少なくとも2つの空間部、および前記スペクトルシグネチャから、多次元分光反射率プロファイルを生成するステップとを含む、方法。

請求項2

多次元分光反射率プロファイルを生成する前記ステップが、前記少なくとも2つの空間部の大きさおよび形状を測定するステップを含む、請求項1記載の方法。

請求項3

前記多次元分光反射率プロファイルを生成する前記ステップが、以前に生成した多次元分光反射率プロファイルを更新するステップと、前記ハイパースペクトル画像の累積時間に基づいて前記スペクトルシグネチャに重み付けするステップとを含む、請求項1記載の方法。

請求項4

前記ハイパースペクトル撮像装置が静止しており、前記物体が移動している、請求項1記載の方法。

請求項5

前記ハイパースペクトル撮像装置が移動しており、前記物体が静止している、請求項1記載の方法。

請求項6

前記ハイパースペクトル撮像装置および前記物体が移動している、請求項1記載の方法。

請求項7

前記少なくとも1つのパラメータが、オイラー角を含む、請求項1記載の方法。

請求項8

前記少なくとも1つのパラメータが、方向ベクトルを含む、請求項1記載の方法。

請求項9

前記多次元分光反射率プロファイルに基づいて、前記一連のハイパースペクトル画像中の前記物体を分類するステップをさらに含む、請求項1記載の方法。

請求項10

前記多次元分光反射率プロファイルに基づいて、連続する一連のハイパースペクトル画像中の前記物体を再取得するステップをさらに含む、請求項1記載の方法。

技術分野

0001

本発明は、物体分光反射率プロファイルを改善する方法に関する。

背景技術

0002

ハイパースペクトルカメラは、映像フレームレートハイパースペクトル画像フレーム、またはデータキューブ(datacube)を取り込むことができる。こうしたカメラは、高い空間分解能およびスペクトル分解能の画像を取得する。コンピュータビジョンおよびスペクトル解析に関連する技術と組み合わせて、ハイパースペクトルカメラのオペレータは、撮像された物体の検出、追跡、および識別に関連する監視応用に関与してきた。

先行技術

0003

米国特許第8,094,893号明細書

0004

本発明の1つの態様は、ハイパースペクトル撮像装置を使用して物体の分光反射率プロファイルを改善する方法に関する。この方法は、物体とハイパースペクトル撮像装置との間に相対運動があるとき、物体の一連のハイパースペクトル画像を取得することと、相対運動の少なくとも1つのパラメータを測定することと、一連の各ハイパースペクトル画像における物体の方向(orientation)を測定するために少なくとも1つのパラメータをマッピングすることと、一連の各ハイパースペクトル画像において物体の少なくとも2つの空間部を識別することと、各空間部にスペクトルシグネチャ(spectral signature)を割り当てることと、方向、少なくとも2つの空間部、およびスペクトルシグネチャから多次元分光反射率プロファイルを生成することとを含む。

図面の簡単な説明

0005

本発明の一実施形態により空間的およびスペクトル的物体モデルを生成する方法を示すフローチャートである。
2つの例示的な移動中のプラットフォームが車両のハイパースペクトル画像を取り込むシナリオを示す図である。
例示的なプラットフォームが移動中の車両のハイパースペクトル画像を取り込むシナリオを示す図である。
分光反射率プロファイルを生成するために使用される撮像された車両の空間分割(spatial portioning)を説明する図である。

実施例

0006

背景および次の記述では、本明細書に記載する技術を十分に理解できるように、説明の目的で数多くの特定の詳細を示す。しかしながら、当業者には明らかであるように、例示的な実施形態は、これらの具体的な詳細なしに実行することができる。他の例では、例示的な実施形態の説明を容易にするために、構造および装置を略図の形で示す。

0007

図面を参照して例示的な実施形態を説明する。これらの図面は、本明細書に記載するモジュール、方法、またはコンピュータプログラム製品を実施する特定の実施形態のいくつかの詳細を示す。しかしながら、図面は、図面に存在する可能性があるいかなる制限も課していると解釈されるべきではない。方法およびコンピュータプログラム製品は、その動作を行うためにいかなる機械可読媒体上にも提供することができる。諸実施形態は、既存のコンピュータプロセッサを使用して、あるいはこの目的または別の目的のために組み込まれた特殊用途のコンピュータプロセッサによって、あるいはハードウェアシステムによって、実施することができる。

0008

上記のように、本明細書に記載する実施形態は、機械実行可能な命令またはデータ構造を保持するまたは保有するための機械可読媒体を備えるコンピュータプログラム製品を含むことができる。このような機械可読媒体は、汎用のまたは特殊用途のコンピュータまたはプロセッサを備えた他の機械によってアクセスすることができるいかなる入手可能な媒体とすることもできる。一例として、このような機械可読媒体は、RAM、ROM、EPROM、EEPROM、CD−ROMもしくは他の光ディスク記憶装置磁気ディスク記憶装置もしくは他の磁気記憶装置、あるいは、所望のプログラムコードを機械実行可能命令もしくはデータ構造の形態で保持するもしくは格納するために使用することができ、汎用のもしくは特殊用途のコンピュータ、またはプロセッサを備えた他の機械によってアクセスすることができる他のいかなる媒体も含むことができる。情報がネットワークまたは別の通信接続有線無線、もしくは有線と無線の組み合わせ)によって機械に転送されるとき、機械は、この接続を適切に機械可読媒体と考える。したがって、このようないかなる接続も、適切に機械可読媒体と呼ばれる。上記のものの組み合わせもまた、機械可読媒体の範囲内に含まれる。機械実行可能命令は、例えば、汎用コンピュータ、特殊用途コンピュータ、または特殊用途処理装置に、ある機能もしくは機能群を実行させる命令およびデータを含む。

0009

例えば、ネットワーク化された環境において機械によって実行されるプログラムモジュールの形態で、プログラムコードのような、機械実行可能命令を含むプログラム製品によって1つの実施形態で実施することができる方法のステップの一般的な文脈において、諸実施形態を説明する。一般的には、プログラムモジュールは、特定のタスクを実行する技術的効果を有する、ルーチンプログラムオブジェクトコンポーネント、データ構造などを含む、または特定の抽象データ型実装する。機械実行可能命令、関連するデータ構造、およびプログラムモジュールは、本明細書に開示する方法のステップを実行するためのプログラムコードの例を表わす。このような実行可能命令または関連するデータ構造の特定のシーケンスは、このようなステップで説明する機能を実行するための対応する行為の例を表わす。

0010

諸実施形態は、プロセッサを有する1つまたは複数のリモートコンピュータへの論理接続を使用するネットワーク化された環境で実行することができる。論理接続は、本明細書で例として、限定ではなく提示するローカルエリアネットワーク(LAN)およびワイドエリアネットワークWAN)を含むことができる。このようなネットワーク環境は、オフィス全体もしくは企業全体のコンピュータネットワークイントラネット、およびインターネットにおいて一般的であり、多種多様通信プロトコルを使用することができる。このようなネットワークコンピューティング環境が一般的には、パーソナルコンピュータハンドヘルドデバイスマルチプロセッサシステムマイクロプロセッサベースのまたはプログラム可能家庭用電化製品、ネットワークPC、ミニコンピュータメインフレームコンピュータなど、多くのタイプのコンピュータシステム構成を含むことを当業者は理解するであろう。

0011

諸実施形態はまた、通信網を介して(配線リンク無線リンクによって、または配線リンクもしくは無線リンクの組合せによって)リンクされたローカルおよびリモート処理デバイスがタスクを実行する分散コンピューティング環境で実施することができる。分散型コンピューティング環境では、プログラムモジュールを、ローカルとリモートの両方のメモリ記憶装置に配置することができる。

0012

例示的実施形態の全体または一部を実行するための例示的システムは、処理装置と、システムメモリと、システムメモリを含む様々なシステム構成要素を処理装置に結合するシステムバスとを含む、コンピュータの形態の汎用コンピューティングデバイスを含むことができる。システムメモリは、読み出し専用メモリ(ROM)と、ランダムアクセスメモリ(RAM)とを含むことができる。コンピュータは、磁気ハードディスクへの読み書き操作を行うための磁気ハードディスクドライブと、リムーバブル磁気ディスクへの読み書き操作を行うための磁気ディスクドライブと、CD−ROMまたは他の光媒体のようなリムーバブル光ディスクへの読み書き操作を行うための光ディスクドライブとを含むこともできる。ドライブおよびドライブに関連する機械可読媒体は、機械実行可能命令、データ構造、プログラムモジュール、および他のデータの不揮発性記憶装置をコンピュータに提供する。

0013

諸実施形態で開示する方法の技術的効果は、物体の検出、追跡、および識別のための遠隔撮像システム有用性および性能を高めることを含む。本発明の方法によって生成される多次元分光反射率プロファイルを実現するハイパースペクトル追跡システムは、再取得または物体のシグネチャ予測中に一般的に発生する誤検出および検出漏れを確実に軽減することができる。例えば、多次元分光反射率プロファイルを空間追跡技術と融合すると、オクルージョン(occlusion)による伝統的な空間追跡の際のエラーが減少する。多次元分光反射率プロファイルは、撮像された対象の物体の寿命特性(life characteristics)プロファイルを提供する。このプロファイルから、ハイパースペクトル追跡システムのオペレータは、物体の動き方、物体が動くときの物体の見え方、物体の大きさ、物体の反対側の違いなどを含む、物体の特性を明らかにし、推論することができる。

0014

図1は、本発明の一実施形態により空間的およびスペクトル的物体モデルを生成する方法を示すフローチャートである。最初にステップ100において、ハイパースペクトル撮像装置101が、空間的にもスペクトル的にも分解される画像を取り込むことによって、対象の物体を捕捉し、追跡することができる。ハイパースペクトル撮像装置101は、凝視アレイのハイパースペクトルビデオカメラであることが好ましい。しかしながら、他の知られているハイパースペクトル撮像装置101には、高速走査スペクトルカメラと共に、凝視型アレイのカラーパンクロ一体型カメラを含むことができる。

0015

ハイパースペクトル撮像装置101は、例えばモバイルプラットフォーム200上で静止している、または静止プラットフォーム300上で移動できる、またはその任意の組合せとすることができる。例えば図2に示すように、ハイパースペクトル撮像装置101は、可動プラットフォーム200上において、対象の物体212を撮像することができ、撮像エリア202、204、206、208のフットプリント(footprint)は、プラットフォーム200の移動の結果、幾分移動する。プラットフォームの移動は、ハイパースペクトル撮像装置101が通過する弧220、ハイパースペクトル撮像装置101が通過する直線210、またはプラットフォーム200の操作性によって決定されるいかなる動きにもなり得る。例えば図3に示すように、静止プラットフォーム300において、ハイパースペクトル撮像装置101は、対象の物体310を追跡し、撮像するために、プラットフォーム300上で単一軸の回転によって移動することができる。この場合、撮像フットプリント312、314、316は、対象の物体310を撮像するために弧318を辿る。多くの場合、対象の物体310は、フットプリントの同じ弧318を辿らず、その場合、フットプリントの視点(perspective)が変わることになる。なお、対象の物体212、310は、静止している、または動いている場合がある。ハイパースペクトル撮像装置101と撮像される対象の物体212、310との相対運動により、ハイパースペクトル撮像装置101と対象の物体212、310との間の視点が変わることは明らかであろう。結果として、対象の物体212、310の観察される分光反射率は、相対的視点が変化することに応じて、少なくとも一部変化する。

0016

再び図1を参照すると、ステップ102において、ハイパースペクトル撮像装置101が、一連のハイパースペクトル画像103を取得することができる。プラットフォームに搭載されたプロセッサは、一連のハイパースペクトル画像103の処理を行うことができる、または第2のプロセッサもしくは処理システム(まとめて「プロセッサ」と呼ぶ)によって処理するために一連のハイパースペクトル画像103を遠隔位置に送るよう命令することができる。一連のハイパースペクトル画像103間のアライメントを決定するために、プロセッサは、例えば、プラットフォームの移動によって導入された可能性がある動きおよびジッタ打ち消すように、画像安定化技術を使用して一連のハイパースペクトル画像103をフレーム間でシフトすることができる。物体の一連のハイパースペクトル画像103には、対象の物体212、310とハイパースペクトル撮像装置101との間に相対運動がある可能性がある。

0017

ステップ104において、プロセッサは、対象の物体212、310とハイパースペクトル撮像装置101との間の相対運動の少なくとも1つのパラメータ105を測定することができる。例えば、プロセッサは、相対位置および絶対位置を測定する、搭載センサ測位システムからのデータを使用することができる。例示的搭載システムは、GPSのような絶対位置決めシステムと組み合わせて、慣性航行システムのような相対位置決めシステムを含むことができる。搭載位置決めデータと併せて、プロセッサは、一連のハイパースペクトル画像103中の差を確認して、対象の物体212、310の動きを推論し、ハイパースペクトル撮像装置101から対象の物体212、310までの範囲を推定することができる。プロセッサは、相対運動をハイパースペクトル撮像装置101と対象の物体212、310との間の回転変化(すなわち、ロールピッチ、ヨー)および並進変化(すなわち、x、y、z)として測定することができる。プロセッサは、オイラー角および方向ベクトルを用いて、相対運動をパラメータで表すことができる。実行に応じて、ハイパースペクトル撮像装置101と対象の物体212、310との間の相対運動の他のパラメータ化が適用されることもある。プロセッサは、ステップ106において一連の各ハイパースペクトル画像で物体212、310の方向107を測定するために、物体212、310とハイパースペクトル撮像装置101との間の相対運動のパラメータ105をマッピングすることができる。

0018

一連のハイパースペクトル画像103のそれぞれにおいて対象の物体212、310の方向107を判断すると、ステップ108におけるプロセッサは、一連のハイパースペクトル画像103のそれぞれにおいて対象の物体212、310の空間部109を識別することができる。次いで、ステップ110においてプロセッサは、一連のハイパースペクトル画像103のそれぞれにおいて対象の物体212、310の各空間部109にスペクトルシグネチャ111を割り当てることができる。対象の物体212、310の空間部109へのスペクトルシグネチャ111の割当てに基づいて、プロセッサは、ステップ112において、多次元分光反射率プロファイル113を生成することができる。分光反射率プロファイル113の次元は、物体212、310の方向107、空間部109、および空間部109と関連するスペクトルシグネチャ111によって判断される。したがって、多次元分光反射率プロファイル113は、物体の空間的、または幾何学的描写と併せて、対象の物体212、310の分光反射率シグネチャ111と、分光反射率シグネチャ111間の空間的関係との両方を描写することができる。

0019

例示のために、図4は、3つの異なる方向400、402、404についての撮像した車両212または310の空間分割を示している。方向400における車両の第1の撮像面に対して、プロセッサは4つの空間部410、412、414、416を識別する。方向402における車両の第2の撮像面に対して、プロセッサは4つの空間部418、420、422、424を識別する。方向404における車両の第3の撮像面に対して、プロセッサは4つの空間部426、428、430、432を識別する。プロセッサは次に、空間部のそれぞれにハイパースペクトル画像に基づいてスペクトルシグネチャを割り当てる。この例では、3つの撮像方向のそれぞれに4つの別個のスペクトルシグネチャ、合計12の別個のスペクトルシグネチャが存在することになる。したがって、この説明では、多次元分光反射率プロファイル113は、3つの方向を含み、それぞれが4つの空間部109を有し、各空間部が1つの対応する分光反射率シグネチャ111を有する。

0020

図1戻り、多次元分光反射率プロファイル113が生成されると、プロセッサは一連のハイパースペクトル画像103中の対象の物体212、310を分類することができる。多次元分光反射率プロファイル113は、対象の物体212、310の空間次元および分光テクスチャの内容を符号化する。プロセッサは、さらなる処理技術を実行して、対象の物体212、310の空間部109の大きさおよび形状を、テクスチャ特性と併せて、測定することができる。

0021

ステップ114においてこの方法が完了すると、ハイパースペクトル撮像装置101は、連続した一連のハイパースペクトル画像103において対象の物体212、310を再取得することができる。プロセッサは、ハイパースペクトル画像を連続的に集めることによって、物体の多次元分光反射率プロファイル113を改善することができる。最初のパスは、物体の観測されない方向を生じる可能性があるが、次に続くパスが、以前観測されなかった方向について多次元分光反射率プロファイル113のモデルを埋め始める可能性がある。

0022

逆に、プロセッサは、以前観測された方向について、多次元分光反射率プロファイル113を改善することができる。プロセッサが以前に観測した方向で物体を再取得するとき、プロセッサは、ハイパースペクトル画像の蓄積時間(integration time)に基づいてスペクトルシグネチャ111を重み付けすることによって、以前生成した多次元分光反射率プロファイル113を更新することができる。例えば、所与の方向107の所与の空間部109が、スペクトルシグネチャ111を測定するために以前に0.1秒間観測され、その後、さらなる測定が0.2秒間行われる場合、多次元分光反射率プロファイル113における方向107の空間部109のスペクトルシグネチャは、新しい測定を古い測定の2倍の重みで重み付けするように調整されることが可能である。

0023

この明細書は、最良のモードを含む本発明を開示するために、またいかなる当業者も、任意のデバイスまたはシステムを作成して使用すること、および組み込まれた任意の方法を行うことなど、本発明を実践できるようにするために、例を使用している。本発明の特許可能な範囲は、特許請求の範囲によって定義され、当業者であれば思い付く他の例も含むことができる。このような他の例が、特許請求の範囲の文字通りの言葉と違わない構造的要素を有する場合、または、特許請求の範囲の文字通りの言葉とはわずかな違いのある等価な構造的要素を含む場合、これらは特許請求の範囲の範囲内であるものとする。

0024

100 方法の開始
101ハイパースペクトル撮像装置
102一連のハイパースペクトル画像を取得する
103 一連のハイパースペクトル画像
104相対運動を測定する
105 相対運動の1つのパラメータ
106撮像された物体の方向を判断する
107 物体の方向
108 物体の空間部を識別する
109 空間部
110スペクトルシグネチャを物体に割り当てる
111 スペクトルシグネチャ
112 物体の多次元分光反射率プロファイルを生成する
113 多次元分光反射率プロファイル
114 方法の終了
200 ハイパースペクトル撮像装置のプラットフォーム
200、204、206、208撮像エリアのフットプリント
210撮像装置が通過する直線
220 撮像装置が通過する弧
212 撮像した車両
300 ハイパースペクトル撮像装置のプラットフォーム
310 撮像した車両
312、314、316 撮像エリアのフットプリント
318 フットプリントの弧長
400、402、404 ある方向における車両の撮像面
410、412、414、416 ある方向における車両の撮像面の空間部
418、420、422、424 ある方向における車両の撮像面の空間部
426、428、430、432 ある方向における車両の撮像面の空間部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ