図面 (/)

技術 カメラを基にしたオブジェクトの分析のためのシステム、方法及びプログラム製品

出願人 ゼネラル・エレクトリック・カンパニイ
発明者 ジャンフランコ・ドレットーイー・ヤオ
出願日 2010年8月17日 (10年3ヶ月経過) 出願番号 2010-181999
公開日 2011年2月24日 (9年9ヶ月経過) 公開番号 2011-040070
状態 特許登録済
技術分野 イメージ分析
主要キーワード 従属部品 牽引トレーラ ユークリッド幾何 画像モーメント 中心モーメント 予備計算 平均性 回転不変性
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2011年2月24日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (7)

課題

オブジェクト認識オブジェクト検出及び/又はオブジェクト分類を含むカメラを基にしたオブジェクト分析のためのシステム、方法及びプログラム製品を提供する。

解決手段

カメラ・システムから得られた画像中のオブジェクトを分析するための模範的な実施形態のコンピュータ化方法では、カメラ・システムから複数の画素を持つ画像を受け取り、各画素のために一群の特徴を計算し、前記一群の特徴及び前記画像の幾何学的中心から一群の特徴の半径方向モーメント導出するか、又は前記一群の特徴から一群の特徴の中心モーメントを導出し、前記画像の面積と前記導出された一群の特徴のモーメントのいずれかとに基づいて正規化記述子を計算し、正規化記述子に基づいて、コンピュータにより、前記画像中の少なくとも1つのオブジェクトを認識し、検出し及び/又は分類する。

概要

背景

カメラ監視システムは益々「知能的」になっている。と云うのは、これらのカメラ・システムから得られる画像及びデータが、カメラで得られたデータ(すなわち、ビデオ)についての人による観察及び分析を(少なくとも部分的に)必要とせずに益々分析可能になっているからである。

どんな種類の自動ビデオ分析でも、ビデオ中オブジェクト(1つ又は複数)を効果的に認識し、検出し及び/又は分類する能力に様々な因子が悪影響を及ぼすことがある。正確で有効なオブジェクト分析に影響を及ぼす虞のある因子には、場面の照度、場面のスケール、及びカメラ(1つ又は複数)の回転が挙げられる。

従って、オブジェクトの認識、検出及び/又は分類を含めてカメラ・システムの「知能」及びオブジェクト分析の改善が現在必要とされている。

概要

オブジェクト認識オブジェクト検出及び/又はオブジェクト分類を含むカメラを基にしたオブジェクトの分析のためのシステム、方法及びプログラム製品を提供する。カメラ・システムから得られた画像中のオブジェクトを分析するための模範的な実施形態のコンピュータ化方法では、カメラ・システムから複数の画素を持つ画像を受け取り、各画素のために一群の特徴を計算し、前記一群の特徴及び前記画像の幾何学的中心から一群の特徴の半径方向モーメント導出するか、又は前記一群の特徴から一群の特徴の中心モーメントを導出し、前記画像の面積と前記導出された一群の特徴のモーメントのいずれかとに基づいて正規化記述子を計算し、正規化記述子に基づいて、コンピュータにより、前記画像中の少なくとも1つのオブジェクトを認識し、検出し及び/又は分類する。

目的

本発明の別の一面によれば、カメラ・システムから得られた画像の中のオブジェクトを分析するための方法を提供する

効果

実績

技術文献被引用数
0件
牽制数
1件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

カメラ・システムから得られた画像の中のオブジェクト分析するためのコンピュータ化方法であって、カメラ・システムから複数の画素を持つ少なくとも1つの画像を受け取る段階と、前記複数の画素の各々の画素のために一群の特徴を計算する段階と、前記一群の特徴及び前記少なくとも1つの画像の幾何学的中心から一群の特徴の半径方向モーメント導出する行為、及び前記一群の特徴から一群の特徴の中心モーメントを導出する行為の内の一方を行う段階と、前記少なくとも1つの画像の面積と、前記導出された一群の特徴の半径方向モーメント及び前記導出された一群の特徴の中心モーメントの内の一方とに基づいて、正規化記述子を計算する段階と、正規化記述子に基づいて、コンピュータにより、前記少なくとも1つの画像中の少なくとも1つのオブジェクトを認識する行為、前記少なくとも1つの画像中の少なくとも1つのオブジェクトを検出する行為、及び前記少なくとも1つの画像中の少なくとも1つのオブジェクトを分類する行為の内の少なくとも1つを行う段階とを有するコンピュータ化方法。

請求項2

前記少なくとも1つのオブジェクトは車両である、請求項1記載の方法。

請求項3

前記カメラ・システムの一部分が空中ビデオ装置を含んでいる、請求項1記載の方法。

請求項4

更に、前記コンピュータから、前記認識されたオブジェクト、前記検出されたオブジェクト及び前記分類されたオブジェクトの内の1つの識別表示を出力する段階を含んでいる請求項1記載の方法。

請求項5

前記少なくとも1つの画像は画像領域を有している、請求項1記載の方法。

請求項6

前記導出する段階はユーザー選択可能な次数を有している、請求項1記載の方法。

請求項7

前記一群の特徴は等方性である、請求項1記載の方法。

請求項8

前記一群の特徴は異方性である、請求項1記載の方法。

請求項9

カメラ・システムから得られた画像の中のオブジェクトを分析するためのシステムであって、カメラ・システムから複数の画素を持つ少なくとも1つの画像を受け取るシステムと、前記複数の画素の各々の画素のために一群の特徴を計算するシステムと、前記一群の特徴及び前記少なくとも1つの画像の幾何学的中心から一群の特徴の半径方向モーメントを導出する行為、及び前記一群の特徴から一群の特徴の中心モーメントを導出する行為の内の一方を行うシステムと、前記少なくとも1つの画像の面積と、前記導出された一群の特徴の半径方向モーメント及び前記導出された一群の特徴の中心モーメントの内の一方とに基づいて、正規化記述子を計算するシステムと、前記正規化記述子に基づいて、前記少なくとも1つの画像中の少なくとも1つのオブジェクトを認識する行為、前記少なくとも1つの画像中の少なくとも1つのオブジェクトを検出する行為、及び前記少なくとも1つの画像中の少なくとも1つのオブジェクトを分類する行為の内の少なくとも1つを行うシステムと、を有する、画像のオブジェクトを分析するためのシステム。

請求項10

更に、カメラ・システムを有している請求項9記載のシステム。

技術分野

0001

本発明は、一般的に云えば、インテリジェントカメラ・システムに関し、より具体的には、カメラ・システムを用いてオブジェクト分析を改善することのできるシステム、方法及びプログラム製品に関するものである。

背景技術

0002

カメラ監視システムは益々「知能的」になっている。と云うのは、これらのカメラ・システムから得られる画像及びデータが、カメラで得られたデータ(すなわち、ビデオ)についての人による観察及び分析を(少なくとも部分的に)必要とせずに益々分析可能になっているからである。

0003

どんな種類の自動ビデオ分析でも、ビデオ中のオブジェクト(1つ又は複数)を効果的に認識し、検出し及び/又は分類する能力に様々な因子が悪影響を及ぼすことがある。正確で有効なオブジェクト分析に影響を及ぼす虞のある因子には、場面の照度、場面のスケール、及びカメラ(1つ又は複数)の回転が挙げられる。

0004

従って、オブジェクトの認識、検出及び/又は分類を含めてカメラ・システムの「知能」及びオブジェクト分析の改善が現在必要とされている。

先行技術

0005

米国特許第7269285号

0006

本発明は、カメラ・システムの「知能(intelligence)」を改善することによって、カメラ・システムにおける上記の欠点の少なくとも幾分かを克服する。より詳しく述べると、本発明は、オブジェクト認識オブジェクト検出及びオブジェクト分類を含むオブジェクト分析を改善するためのシステム、方法及びプログラム製品を対象とする。

0007

従って、本発明の一面によれば、カメラ・システムから得られた画像の中のオブジェクトを分析するためのコンピュータ化方法が提供される。このコンピュータ化方法は、カメラ・システムから複数の画素を持つ少なくとも1つの画像を受け取る段階と、前記複数の画素の各々の画素のために一群(pool)の特徴(feature) を計算する段階と、前記一群の特徴及び前記少なくとも1つの画像の幾何学的中心から一群の特徴の半径方向モーメント導出する行為、及び前記一群の特徴から一群の特徴の中心モーメントを導出する行為の内の一方を行う段階と、前記少なくとも1つの画像の面積と前記導出された一群の特徴の半径方向モーメント及び前記導出された一群の特徴の中心モーメントの内の一方とに基づいて正規化記述子を計算する段階と、正規化記述子に基づいて、コンピュータにより、前記少なくとも1つの画像中の少なくとも1つのオブジェクトを認識する行為、前記少なくとも1つの画像中の少なくとも1つのオブジェクトを検出する行為、及び前記少なくとも1つの画像中の少なくとも1つのオブジェクトを分類する行為の内の少なくとも1つを行う段階とを有する。

0008

本発明の別の一面によれば、カメラ・システムから得られた画像の中のオブジェクトを分析するためのコンピュータ化方法が提供される。このコンピュータ化方法は、カメラ・システムから複数の画素を持つ少なくとも1つの画像を受け取る段階と、前記複数の画素の各々の画素のために一群の特徴を計算する段階と、前記一群の特徴から一群の特徴の中心モーメントを導出する段階と、前記一群の特徴の中心モーメントに基づいて一群の中心モーメント不変量を計算する段階と、前記少なくとも1つの画像の面積及び前記一群の特徴の中心モーメントに基づいて正規化記述子を計算する段階と、前記正規化記述子に基づいて、コンピュータにより、前記少なくとも1つの画像中の少なくとも1つのオブジェクトを認識する行為、前記少なくとも1つの画像中の少なくとも1つのオブジェクトを検出する行為、及び前記少なくとも1つの画像中の少なくとも1つのオブジェクトを分類する行為の内の少なくとも1つを行う段階とを有する。

0009

本発明の別の一面によれば、カメラ・システムから得られた画像の中のオブジェクトを分析するための方法を提供するコンピュータ実行可能な命令を持つコンピュータ読取り可能な媒体が提供される。前記方法は、カメラ・システムから複数の画素を持つ少なくとも1つの画像を受け取る段階と、前記複数の画素の各々の画素のために一群の特徴を計算する段階と、前記一群の特徴及び前記少なくとも1つの画像の幾何学的中心から一群の特徴の半径方向モーメントを導出する行為、及び前記一群の特徴から一群の特徴の中心モーメントを導出する行為の内の一方を行う段階と、前記少なくとも1つの画像の面積と前記導出された一群の特徴の半径方向モーメント及び前記導出された一群の特徴の中心モーメントの内の一方とに基づいて正規化記述子を計算する段階と、正規化記述子に基づいて、コンピュータにより、前記少なくとも1つの画像中の少なくとも1つのオブジェクトを認識する行為、前記少なくとも1つの画像中の少なくとも1つのオブジェクトを検出する行為、及び前記少なくとも1つの画像中の少なくとも1つのオブジェクトを分類する行為の内の少なくとも1つを行う段階とを有する。

0010

本発明の別の一面によれば、カメラ・システムから得られた画像の中のオブジェクトを分析するためのシステムが提供される。このシステムは、カメラ・システムから複数の画素を持つ少なくとも1つの画像を受け取るシステムと、前記複数の画素の各々の画素のために一群の特徴を計算するシステムと、前記一群の特徴及び前記少なくとも1つの画像の幾何学的中心から一群の特徴の半径方向モーメントを導出する行為、及び前記一群の特徴から一群の特徴の中心モーメントを導出する行為の内の一方を行うシステムと、前記少なくとも1つの画像の面積と前記導出された一群の特徴の半径方向モーメント及び前記導出された一群の特徴の中心モーメントの内の一方とに基づいて正規化記述子を計算するシステムと、前記正規化記述子に基づいて、前記少なくとも1つの画像中の少なくとも1つのオブジェクトを認識する行為、前記少なくとも1つの画像中の少なくとも1つのオブジェクトを検出する行為、及び前記少なくとも1つの画像中の少なくとも1つのオブジェクトを分類する行為の内の少なくとも1つを行うシステムとを有する。

0011

本発明の様々な他の特徴及び利点は、以下の詳しい説明及び図面から明らかになろう。

0012

図面は、本発明を実施するために現在考えられる実施形態を例示している。

図面の簡単な説明

0013

図1は、本発明の様々な面を取り入れた、カメラを基にしたオブジェクトを分析するためのシステムの概略図である。
図2Aは、本発明の一実施形態に従ったシステムによって用いることのできる様々な回転角度の1つでの空中撮影画像である。
図2Bは、本発明の一実施形態に従ったシステムによって用いることのできる様々な回転角度の別の1つでの空中撮影画像である。
図2Cは、本発明の一実施形態に従ったシステムによって用いることのできる様々な回転角度の別の1つでの空中撮影画像である。
図2Dは、本発明の一実施形態に従ったシステムによって用いることのできる様々な回転角度の別の1つでの空中撮影画像である。
図3は、本発明の様々な面を取り入れた、カメラを基にしたオブジェクトを分析するためのシステムの概略図である。

実施例

0014

本発明の様々な面では、カメラ・システムを用いる従来のシステムに対して様々な利点を提供する。本発明によるシステム、方法及びプログラム製品は、カメラ・システムから得られたデータ(例えば、ビデオ、画像、画像領域など)の中のオブジェクト(例えば、車両、人間など)をより効果的に分析することができる。本発明の様々な面での改善には、ノイズ及び画像変換(例えば、照度変動カメラ回転変動、スケール変動など)に対して、より容易にオブジェクトを検出し、オブジェクトを分類し及び/又はオブジェクトを認識する能力が含まれる。本発明の様々な面を用いるカメラ・システムの「知能」は効果的に増大する。

0015

本発明の様々な面は、例えば、オブジェクトを検出し、オブジェクトを分類し及び/又はオブジェクトを認識することを含めて、より効率よくオブジェクトを分析する能力を含む。実施形態の下で分析することのできるオブジェクトは、事実上、カメラ・システムから得られたる車両、人などを含む任意の物とすることができる。

0016

オブジェクト検出は、特定のクラスに属するオブジェクトが画像中にどれほどの量あるか、特定のクラス内のオブジェクト(1つ又は複数)が画像の中のどの場所にあるか、及び/又は画像中のオブジェクト(1つ又は複数)のおおよその大きさがどれほどであるかを決定する能力を含む。例えば、単一の画像について、オブジェクト検出は、所与のクラス(例えば、可能性のある全ての車両を含むクラス)に属しているオブジェクトを検出することを含むことができる。

0017

オブジェクト分類は、検出されたオブジェクトがN個のオブジェクト・クラスの内のどのクラスに属しているかを決定するする能力を含む。例えば、N個のクラスのオブジェクトが検出可能である(例えば、N=3であり、その第1のクラスが全てのスポーツ用多目的車を含み、第2のクラスが全てのセダンを含み、第3のクラスが全てのトラックを含む)と仮定する。そこで、単一の画像について、オブジェクト分類は、検出されたオブジェクトがN個のクラスの内のどのクラスに属しているか分類することができる。例えば、画像中に車両Wが含まれている場合、オブジェクト分類は、その車両がスポーツ用多目的車、セダン又はトラックであるかどうか決定することができる。

0018

オブジェクト認識は、検出されたオブジェクトが、収集されたオブジェクトの画像のライブラリーからの同じ特定のオブジェクトであるかどうか決定する能力を含む。例えば、新しい画像が或るオブジェクトを含んでいる場合、オブジェクト認識は、該画像中に含まれたオブジェクトが、収集されたライブラリーに予め存在する同じ特定のオブジェクトを表しているかどうか認識することを含む。例えば、車両に関して、特定の所有者のスポーツ用多目的車(例えば、2005年型、ダークブルーの、ルーフ・ラック付きホンダ・エレメントEX)をユーザーが認識しようとしていると仮定する。オブジェクト認識は、収集されたオブジェクト(例えば、車両)の画像のライブラリーに基づいて、受け取った画像(1つ又は複数)中にその特定の所有者のスポーツ用多目的車が存在するかどうか適切に決定することができる。オブジェクト認識は、たとえ画像ライブラリーが、例えば、同じ属性(例えば、2005年型、ダークブルー、スポーツ用多目的車、ホンダ製、エレメント・モデル、エレメントEXモデル、及び同様なもの)を持つ他の車両の画像を含んでいる場合でも、画像(1つ又は複数)中に、例えば、所有者の2005年型、ダークブルーの、ルーフ・ラック付きホンダ・エレメントEXを認識する能力を含むことができる。オブジェクト認識は、オブジェクトのクラス又はオブジェクト分類に拘りなく、収集されたライブラリーに含まれている特定のオブジェクトが画像(1つ又は複数)中に含まれている(又は含まれていない)ことを認識することを含む。

0019

本発明の様々な面では、一群の画像特徴画像モーメントを適用するという考え方に基づいた新しいクラスの外観記述子(appearance descriptor) を含む。画像モーメント及び画像特徴の注意深い設計によって、記述子はスケール及び回転不変にし、また照度変化に対してロバスト頑強)にすることができる。また様々な面では、積分表現に基づいている高速計算手順を含む。それらの不変性は、それらを、例えば、スケール及び回転不変性が屡々重要である空中ビデオからの車両検出の用途に適したものとする。

0020

外観記述子の設計は、ここ10年間にかなりの注目を集めた。その理由は、多くの実際の用途では、画像特徴整合からオブジェクト整合に及ぶタスク、又はオブジェクト検出からオブジェクト・カテゴリー認識に及ぶタスクを支援するために記述子の計算を必要とするからである。記述子の重要な属性はその弁別性であるが、しかし、別の問題は、照度及び視点変動に起因した、ノイズ及び画像変換に関するその頑強さである。記述子の計算量はまた主要な属性である。これは、実行時と共にトレーニング段階(例えば、特徴選択)の際に問題になることがある。実際に、殆ど全てのタスクは、幾つかの画像領域に対応するデータから大量の統計値(すなわち、外観記述子)の計算を必要とする。本発明の様々な面では、計算効率、スケール及び回転変換に対する不変性などの問題に対処する一クラスの新しい記述子を導入する。

0021

本発明の様々な面では、画像特徴のモーメントを導入し、これは、画像空間から、全ての画素の各々が画像特徴ベクトル割り当てられる場合に画像の所望の局部的記述を含んでいる空間へのマップの設計を可能にする。本発明の様々な面では、回転不変性について検討して、新しい一群の等方性特徴を提供する。

0022

本発明の実施形態は、3つの異なる外観記述子を含む。これらの記述子は全てスケール不変であり、また画像特徴の等方性に依存して回転不変にすることができる。どんな場合でも、第1の外観記述子は、所与の領域の画像特徴の中心モーメントを計算する。第2の外観記述子は、全ての画像特徴に対して計算された一組の不変量である。第3の外観記述子は、画像特徴の半径方向モーメントを計算する。

0023

計算効率は、積分画像表現の使用を画像特徴のモーメントの計算へ拡張する手順を設計することによって、本発明の様々な面で対処する。所与の画像について、これは、多数の量の予備計算を法として、一定時間内で新しい記述子の計算を可能にする。

0024

本発明の様々な面では、スケール及び回転に対する不変性の問題に注目する新しいクラスの記述子を含み、そのために新しい一組の画像特徴が生成される。様々な面ではまた、一定時間内で記述子の計算を可能にする新しい手順が含まれる。これは予備計算段階後に得られ、そのコストは画像特徴の次元数線形に比例し、二次式的に比例しない。

0025

本発明の一実施形態は、空中ビデオからの車両検出の問題に対処する。記述子は、サポートベクターマシーンSVM)のような分類子(classifier)と共に用いると最も効率がよいので、従来の方法よりも優れている。

0026

〔画像特徴のモーメント〕
画像特徴及び画像特徴のモーメントが、本書で開示するように定義される。

0027

Iを、全ての

0028

について定義された単色画像又はRGB画像であるとする。Φは、I、すなわち画素(x,y)をd次元の画像特徴ベクトルにマッピングする一般的フィルタリング演算である。

0029

画像Iの回転が画素(x,y)を中心にして演算される。fi (x,y)が回転に基づいて変化しなかった場合、それは等方性特徴である。そうでない場合は、fi は異方性である。例えば、Ix ≒∂I/∂xは異方性特徴であるが、画像勾配|▽I|の大きさは等方性特徴である。全てのモーメントの集合は、2つの変数を持つ多項式の空間上への画像特徴の投影である。

0030

p及びqが負でない整数であるとして、次数n=p+qの画像特徴fのモーメントmpqは、次のように定義される。

0031

ここで、従来ではモーメントの定義は全て画像特徴を確率密度と見なしていることに注意されたい。しかしながら、本発明の様々な面では、画像特徴は確率密度として取り扱われない。{fi }が区分的に連続であって、有界支持を持つ限り、全ての次数のモーメントが存在して、一意的に決定される。全ての実際的事例では、これらの条件は広く満たされる。

0032

本発明の様々な面ではまた、表記法mn ≒[m0nT ,...,mn0T ]T を導入し、これは次数nのn+1個のモーメントの規則正しい配列を表す。

0033

同様に、μpqは、成分μpq,iを持つ、次数n=p+q≧2の画像特徴fの中心モーメントであり、次のように定義される。

0034

表記法μn ≒[μ0nT ,...,μn0T ]T は、次数nのn+1個の中心モーメントの規則正しい配列を表す。

0035

μ2 及びμ3 から、特徴fの並進及び回転に対して不変である7つの異なる統計値(ふー(Hu)の不変量として知られている)を抽出することが可能である。それらは、

0036

として表され、またそれらは、次のように定義された成分を持つベクトルである。

0037

τ1,i =μ20,i+μ02,i 、
τ2,i=(μ20,i−μ02,i)2 +4(μ11,i)2 、
τ3,i=(μ30,i−3μ12,i)2 +(3μ21,i−μ03,i)2 、
τ4,i=(μ30,i+μ12,i)2 +(μ21,i+μ03,i)2 、
τ5,i=(μ30,i−3μ12,i)(μ30,i+μ12,i)[(μ30,i+μ12,i)2 −
3(μ21,i+μ03,i)2 ]+(3μ21,i+μ03,i)(μ21,i+μ03,i)
[3(μ30,i+μ12,i)2 -(μ21,i+μ03,i)2 ] 、
τ6,i=(μ20,i−μ02,i)[(μ30,i+μ12,i)2 -(μ21,i+μ03,i)2 ]+
4 μ11,i(μ30,i+μ12,i)(μ21,i+μ03,i)、
τ7,i=(3μ21,i−3μ03,i)(μ30,i+μ12,i)[(μ30,i+μ12,i)2 −
3(μ21,i+μ03,i)2 ]-(3μ30,i+μ12,i)(μ21,i+μ03,i)
[3(μ30,i+μ12,i)2 -(μ21,i+μ03,i)2 ] (4)
次数n≧1の画像特徴fの半径方向モーメントは次のように定義される。

0038

ここで、

0039

は、ドメインΩの幾何学的中心を表す。これらのモーメントは、特徴fの回転に対して不変であるという基本的属性を持つ。

0040

〔外観記述子〕
D⊂Ωは単純に接続されたドメインであり、ここで|D|はドメインの面積を表す。
外観記述子について、画像特徴{f(x,y)|(x,y)∈D}を記述子ベクトル

0041

にマッピングするオペレータを考察する。本発明の様々な面では、本書で述べる画像特徴のモーメントに基づいて3つの外観記述子を、以下のように定義する。

0042

〈1〉中心モーメント(CM)記述子:
ドメインDに対して計算された画像特徴の中心モーメント{μi }の集合から、次数n≧2の中心モーメント記述子は、JCM=[(n2 +3n−4)/2]d成分を持つ次のベクトルとして定義される。

0043

〈2〉中心モーメント不変(CMI)記述子:
ドメインDに対して計算された画像特徴の中心モーメント不変量{τi }の集合から、中心モーメント不変記述子は次のように定義される。

0044

これは、JCMI=7d成分を持つベクトルである。

0045

〈3〉半径方向モーメント(RM)記述子:
ドメインDに対して計算された画像特徴の半径方向モーメント{mi }の集合から、次数n≧1の半径方向モーメント記述子は次のように定義される。

0046

これは、JRM=nd成分を持つベクトルである。

0047

〈4〉領域共分散(RC)記述子:
上述の3つの外観記述子の実行可能性を試験する際に、以下の領域共分散(RC)記述子が比較として用いられた。領域D上の画像特徴fの共分散行列は次のように定義される。

0048

ここで、

0049

は、Dに対する平均画像特徴ベクトルである。kf が正定値対称行列であるとすると、領域共分散記述子は、kf のJRC=(d2 +d)/2個の独立項を含むベクトルyRCによって与えられる。

0050

〔外観記述子属性〕
4つの全ての記述子は画像の有効で且つ非常に低い次元の表現、特にRMを提供することができる。対照的に、結合ヒストグラムによる広く用いられている表現では、α〜Oである、次元数

0051

を持つ記述子が生じたであろう。

0052

CM、CMI及びRMにおいて、画像特徴は確率分布と見なされており、記述子は、特徴が計算のドメインに対してどのように分布しているかを集約する。RCでは、画像特徴はランダム・ベクトルと見なされており、その記述子はその共分散である。もし特徴が空間情報を含んでいる場合には、RCはこの情報を他の特徴と相関させる。

0053

全ての記述子は、複数の特徴の情報を融合する適切な方法を提供する。RCが各対の画像特徴の間の相関を内在的に計算することによって上記のことを行っている間に、CM、CMI及びRMは、幾つかの画像特徴を他のものの組合せになるように設定することによって上記のことを可能にする。本発明の様々な面では、3つの新しい記述子(すなわち、CM、CMI、RM)の次元数は、RCにおけるように二次式的ではなく、dに線形に比例する。

0054

所与の時点において、Dが一様な背景の上にオブジェクトを含んでおり、その後の時点でオブジェクトが並進したが、まだDの内部にあると仮定する。全ての記述子は、RMを除いて、このような並進に対して不変であり、RMはDの幾何学的中心に対して計算される。このような場合、RMは、特定のオブジェクトを局在化するための良好な記述子になり得る。

0055

全ての画素における特徴が、スケール不変である情報を符号化すると仮定すると、式6、7、8及び9で演算された|D|に対する正規化により、全ての記述子がスケール不変にされる。しかしながら、完全にスケール不変である特徴がない場合でも、スケールに関して非常に高度の不変性を達成することが可能であることに注意されたい。

0056

このようなとき、以下の事実が生じる。すなわち、(a)画像特徴{fi }が全て等方性であれば、CMI、RM及びRCは回転不変である。(b){fi }の幾分かが異方性であれば、CMI、RM及びRCは回転不変ではない。(c){fi }の性質に拘わらず、CMは回転不変ではない。従って、用途に依存して、回転不変性(分散)は必要条件であったり無かったりする。

0057

全ての記述子は照度不変性問題を画像特徴の設計に委ねている。RCはまた、特徴に付加的な変動を引き起こす照度変化に対して不変である。これは、中間の特徴が記述子計算から除かれているからである。

0058

〔画像特徴の集合〕
本発明の様々な面では、画像特徴の集合を生成するためにフィルタリング処理を用いることができる。例えば、2組のフィルタΦA 及びΦI を用いることができ、そこで、ΦA は異方性特徴の集合であり、またΦI は等方性特徴の集合である。

0059

1組のフィルタΦA は、画像特徴が次のように計算されるようになっている。

0060

ここで、R、G及びBは画像IのRGBカラーチャンネルであり、また他の量は画像強度の第1及び第2次偏導関数の大きさである。これは照度でもなく、また特徴のスケール不変集合でもない。最終的に、RC記述子が計算されたときのみ、x及びyが存在する。

0061

1組のフィルタΦI は、画像特徴が次のように計算されるようになっている。

0062

ここで、

0063

RGBカラー・チャンネル、及び画像強度の勾配の大きさである。前述と同様に、RC記述子が計算されたときのみ、

0064

が存在する。最後の3つの特徴は形状パラメータであり、画像強度によって生成された3D形状の局部的記述、すなわち、

0065

を与える。

0066

主曲率κ1 及びκ2 の極座標での表現であり、他方、sは形状係数であり、これはまたスケール不変である。それらは、次のように定義された高速の手順により計算することができる。

0067

ΦI は、特徴の照度不変集合ではない。RGBチャンネルをそれぞれのチャンネルの対数ラプラシアンと置き換えることによって、照度頑強性を増大させることができる。対数の後の任意の微分により乗法性照度変化を相殺して、加法的なものを著しく低減させる。これらの修正を行った実験は首尾よく行われた。

0068

〔積分表現による高速アルゴリズム
Ωに対して定義された画像Iは、積分画像として知られており、それは

0069

のように表される。この表現は、O(1)個のオペレーションにより任意の矩形のドメインに対する画像の積分を計算することを可能にする。ここで、Dの面積=[x’,x”]×[y’,y”]は、|D|=A(x’,y’)−A(x”,y’)+A(x”,y”)−A(x’,y”)として計算することができることに留意されたい。上式で、

0070

であり、これは便宜的に予備計算できる。この表現は、CM、CMI及びRM記述子を計算するための高速アルゴリズムを導出するために用いることができる。

0071

〈2〉CM記述子:
yCMを計算するために、モーメントの集合{μpq|p+q=2,...,n}を用いることができる。2項定理により、次のようにモーメントを中心モーメントに関連付けることができる。

0072

従って、中心モーメントはモーメントの集合{mpq|p+q=0,...,n}から計算することができる。次いで、該モーメントは、次式を定義することによって積分表現を利用することができる。

0073

そして、Dに対するモーメントは次のように計算することができる。

0074

ここで、式(16)における量up vq は、便宜的に予備計算することができる。最後に、計算全体は、式(16)のために[(n2 +3n+2)/2]dの積分表現の初期形成を必要とし、それらの各々はドメインΩに対する1回のパスで計算することができ、そこで、各記述子はO(n2 d)個のオペレーションの一定計算量で求められる。

0075

〈3〉CMI記述子:
yCMI を計算するために、中心モーメントμ2 及びμ3 を必要とし、これらは上述した手順で計算することができ、それらから不変量の集合{τi }を計算することができる。計算全体は、10dの積分画像の初期形成を必要とし、各記述子はO(d)個のオペレーションの一定計算量で求められる。

0076

〈4〉RM記述子:
yRMを計算するために、m1 ,...,mn を必要とする。2項定理により、次のようにモーメントを半径方向モーメントに関連付けることができる。

0077

ここで、

0078

である。従って、半径方向モーメントは{mpq|p+q=0,...,2n}から計算することができ、次にそれは前に説明したように計算することができる。計算全体は、式(16)のために(2n2 +2n+1)dの積分表現の初期形成を必要とし、各記述子はO(nd)個のオペレーションの一定計算量で求められる。

0079

表1は、画像特徴の数d及び記述子次数nの関数として、記述子長さ、計算すべき積分表現の数(パス数)、並びに一つの記述子当りのオペレーションの数についての一覧表を示す。

0080

表1は、4つの記述子の主要な計算特性をまとめて示している。ここで、強力な記述子を得るのにn=2又は3で充分であり得ることに気付かれよう。nが固定されている場合、計算すべき積分表現の数は、RC記述子についてはO(d2 )であり、他の3つの記述子についてはO(d)である。同じことが、予備計算段階後に1つの記述子を計算するためのオペレーションの数に当てはまり、それはRC記述子についてはO(d2 )であり、他の全ての記述子についてはO(d)である。ここでまた、nが小さい場合、RM記述子が非常に短いことに留意されたい。

0081

〔実験例〕
方性画像特徴ΦA 及び等方性画像特徴ΦI と組み合わせて、RC記述子、次数3のCM記述子、CMI記述子及び次数2のRM記述子の性能を分析するため実験を行った。試験台としての用途は、空中ビデオからの車両検出であった。引き窓方式を採用して、全ての画素において、方形画像面積に対する記述子を5つの異なるスケールで計算して、スコアを出力するSVM分類子に供給する。形態学フィルタリング及び連結成分を、閾値弁別されたスコアに対して計算し、これにより車両スケールを調整し、検出を行った。

0082

CM、CMI及びRM記述子を用いる全ての実験で、SVM分類子を展開した。RC記述子を用いる全ての実験では、核(−γd(y,y’)2 )を持つSVMが展開される。ここで、d(y,y’)は、関連した多様体曲率を考慮する正定値共分散行列についての測定基準である。実験はまた、共分散行列の空間の既知の構造が与えられると、単純線形SVMが最適と云えないことを証明した。定数γは試行錯誤によって最適化される。

0083

様々な回転角度に取り付けられたカメラから収集した複数の幹線道路交通シーケンスより成るデータセットを使用した。具体的に述べると、これらのシーケンスは、0°、20°、35°、65°及び90°に回転させたカメラにより収集された。例えば、図2A図2Dを参照されたい。これらの図は、様々な角度(例えば、図2Aの0°、図2Bの45°、図2Cの65°、及び図2Dの90°)に回転させて得られた空中撮影画像70を示している。各ビデオについて、幹線道路に沿って移動する各車両(オブジェクト72,74)の周りに矩形の関心領域(ROI)を記録することによって、車両の地上較正位置及びサイズを手動注釈付けし、その結果、全部で約47000の異なるROI(590の異なる車両に対応する)が得られた。ROIのサイズは、車両の種類に依存して約30×20から120×40画素に変化する。

0084

全ての記述子について、分類子出力の受信動作特性(ROC)曲線が、正及び負のラベル付けしたサンプル(すなわち、それぞれ車両を含んでいるROI又は含んでいないROI)に対応して、与えられた。全てのサンプルについてカメラ回転量が知られているので、各回転角度に対応する複数のROC曲線を引くことが可能である。最適な全ての記述子について、全てのカメラ回転量に対して評価されたROC曲線が与えられ、また回転に起因にしてどの程度の変動が予測され得るかを表す一標準偏差の上限及び下限が付加される。

0085

0°に回転させたシーケンスから、5重相互妥当性確認した正及び負のサンプルが使用された。その上、妥当性確認は、試験グループに合成的に回転させたサンプルを加えることによって行われ、回転は0°と180°との間の範囲内で一様に、20°の間隔でサンプリングした。

0086

特徴に関係なく、CM記述子は回転に非常に敏感であり、これはその理論的属性と一致する。RC記述子は、それが異方性特徴を使用するとき、回転に非常に敏感であり、また等方性特徴の場合は不変になり、性能が著しく増大する。再度述べると、これはその属性と一致する。CMI及びRM記述子は、特徴に関係なく、最良実行体(performer) である。それらは、ΦA からΦI へ切り換えることによって改善し、またそれらは、ΦA が使用されるときに回転不変でなくても、回転変動に対して限られた敏感さを示す。

0087

次の特徴の群;

0088

についてのCMI記述子の性能を分析した。ΦC は等方性であり、これはCMI及びRMを回転不変にし、またそれらの良好な性能を説明している。対照的に、Φg は異方性であり、これは性能を劣化させ且つ回転に対する敏感さを大きくする。ΦC をΦg で増強してΦA を形成したとき、有意な改善も劣化も観察されなかった。これは、CMI及びRMの比較的良好な性能を説明しており、それはR、G及びB画像特徴の優勢性に起因する。ΦI を分解したとき、Φs が等方性であり、従って、CMI及びRMが回転不変であり、性能がΦC の場合を越えることもあることに注意されたい。従って、ΦC をΦs で増強してΦI を形成したとき、最良の性能が得られる。この分析は、一群の特徴Φs を付加することの重要性を強調しており、Φs の付加がΦg の付加よりも一層有効であることを証明した。

0089

0°に回転させたシーケンスから、トレーニングのために正及び負のサンプルを使用し、且つ20°、45°、65°及び90°に回転させたシーケンスからのサンプルを試験のために使用した。これは、記述子計算に影響を及ぼす新しいノイズ源を含んでいる実際の回転させた画像データにより妥当性確認を行うので、より興味深いやり方である。

0090

記述子は一般に、合成的に回転させた試験サンプルの場合に機能したように、カメラの回転に対する敏感さを増大して、正確に機能する。具体的に述べると、等方性特徴を持つ場合でも、RC記述子の平均性能に明らかな劣化がある。また、等方性特徴を持つCMIはほんの僅か性能が低下すると思われるのに対して、RMはこの合成データから実際のデータへの切換えに最も影響されないと思われる。

0091

0°に回転させたシーケンスからの正及び負のサンプルと共に、合成的に回転させた正及び負のサンプルをトレーニングのためにを使用し、且つ20°、45°、65°及び90°に回転させたシーケンスからのサンプルを試験のために使用した。

0092

ΦA により、全ての記述子は性能を改善し、RCの場合は著しく、またCMの場合はそれ以上にさえも改善する。これは、カメラの回転に対するそれらの敏感さを考えると、予測されたものであり、敏感さはより豊富なトレーニング・データセットによって平滑化される。ΦI により、CMは有意に改善する。RC、CMI及びRMが回転不変であると想定されるので、それらの性能は僅かな変化しか受けない。全体として、全ての可能な回転を含むトレーニングの場合でも、CM及びRC記述子よりもCMI記述子の方が性能が優れており、それ以上にRM記述子が優れている。

0093

表2は、ROCの下の面積を示し且つRC、CM、CMI及びRM記述子の間の比較を示す。包括的性パラメータとして、表2は、ROC曲線の下の面積AROC を、カメラ回転に起因した対応する標準偏差σAROCと共に示す(すなわち、AROC ±σAROC)。AROC がより大きいことは、同じ偽陽性率で真の陽性率がより大きくなる、従って性能が一層良好になることを示唆している。表により、等方性特徴を持つCMI及び(それ以上に)RM記述子が最良の実行体であることが確認される。

0094

分類子を、0°に回転させたシーケンスからのサンプルのみによってトレーニングした。スペース制約により、等方性特徴を持つRC、CMI及びRM記述子についての結果のみを示す。画像により、カメラ回転に対してRM記述子の優れた頑強さがもたらされる。幹線道路上の車両のみが検出され、このことが、幹線道路の外側の面積を用いて負のサンプルを生成したことによるものであることに注意されたい。線形SVMの使用により、RC記述子についてSVMを用いた場合と比べると(これは、共分散行列の間の測地的距離の計算を必要とする)、トレーニング及び試験の両方の際に、10倍のスピードアップの改善が得られることに注意されたい。

0095

図2A図2D静止カメラから送られてきた画像を示しているが、検出器運動情報を利用するものではなく、検出器は、ビデオの整合を必要とせずに、カメラが移動しているときに使用することができることに注意されたい。

0096

最後に、この作業において、不変性を2つのやり方で、すなわち、(a)それらを記述子設計に取り入れることによって、また(b)人為的に変換されたサンプルを生成することにより、それらをSVMに取り入れることによって、取り扱った。(a)の方が(b)よりも効果的であることが分かった。

0097

それにより、相異なる視点からトレーニング・データを収集する負担が軽減され、データ処理量が低減され、また一方では、視点の変化には関係なく、頑強な性能が生じる。

0098

本発明の様々な面では、一群の画像特徴に画像モーメントを適用するという考え方に基づいて新しいクラスの外観記述子を提供した。画像モーメント及び画像特徴の注意深い設計によって、スケール及び回転不変外観記述子を生成することができ、それらはまた照度変化に対して頑強(ロバスト)にすることができる。積分表現が、これらの記述子を計算するための高速の手順を設計するために利用され、また積分表現が魅力的な計算量低減属性を持つことが見出された。本質的に、記述子は、ユークリッド幾何及び線形分類子が分類目的のためにそれらを効果的に利用するのに充分である空間内に所在する。広範な実験を実施したことにより、どの記述子がスケール及び回転変動に対して最も頑強であるのかを定め、また半径方向モーメントに基づいた最良の記述子が、空中ビデオにおける車両検出のためのよく知られている領域共分散記述子よりもかなり性能が優れていることを見出した。本発明の様々な面では、前記のクラスの記述子は、実時間人間検出やオブジェクト・カテゴリー認識のような多くの他の用途において有効な構成要素になることができる。

0099

図1について説明すると、本発明の実施形態に従った、オブジェクトを分析するためのシステム、すなわち、システム10が示されている。システム10は、カメラ・システム110と相互作用し且つカメラ・システム110から複数の画像を受け取るコンピュータ20を含む。一実施形態では、カメラ・システム110は、(例えば、ヘリコプターに取り付けられた)少なくとも1つの空中カメラ102、少なくとも1つの固定又は静止カメラ104、及び少なくとも1つのパン−傾斜−ズーム(PTZ)カメラ106を含むことができる。カメラ・システム110内に示されたカメラ(1つ又は複数)の数及び種類は、本発明で制限することを意味していない。本発明の様々な面では、他の数、種類及び場所を用いることができることは明らかである。

0100

図1及び図3を参照して説明すると、システム10及びそのコンピュータ20は、最終的には、カメラ・システム110から受け取った画像中のオブジェクトを分析することができる。各々の画像は複数の画素を有する。画像は1つ以上の画像領域を有することができる。

0101

コンピュータ20は、受け取った画像又は画像領域中のオブジェクト(1つ又は複数)を認識し、検出し及び/又は分類するためのオブジェクト分析器22を有する。オブジェクト分析器22は、特徴群モジュール24と、モーメント群計算器30と、正規化記述子モジュール40とを有することができる。

0102

図3に示されているように、コンピュータ20内のオブジェクト分析器22は、カメラ・システム110から複数の画素を持つ少なくとも1つの画像を受け取る。オブジェクト分析器22は、最終的に、画像(1つ又は複数)中のオブジェクト(1つ又は複数)を分析する際にRM、CMI及び/又はCMの内の少なくとも1つを見つけ又は計算する。

0103

カメラ・システム110から画像(1つ又は複数)を受け取った後に、オブジェクト分析器22がRMを計算している場合、特徴群モジュール24が該画像(1つ又は複数)中の複数の画素の内の各々の画素のために一群の特徴を計算する。オブジェクト分析器22はまた画像(1つ又は複数)の幾何学的中心を計算する。モーメント群計算器30が、前記一群の特徴及び前記計算された幾何学的中心から一群の特徴の半径方向モーメントを導出する。正規化記述子モジュール40が次いで、式(8)に示されているように、前記導出された一群の特徴の半径方向モーメントに基づいて正規化記述子を計算する。

0104

カメラ・システム110から画像(1つ又は複数)を受け取った後に、オブジェクト分析器22がCMIを計算している場合、特徴群モジュール24が該画像(1つ又は複数)中の複数の画素の内の各々の画素のために一群の特徴を計算する。モーメント群計算器30が、前記一群の特徴から一群の特徴の中心モーメントを導出する。正規化記述子モジュール40が次いで、式(7)に示されているように、前記導出された一群の特徴の中心モーメントに基づいて正規化記述子を計算する。

0105

カメラ・システム110から画像(1つ又は複数)を受け取った後に、オブジェクト分析器22がCMを計算している場合、特徴群モジュール24が該画像(1つ又は複数)中の複数の画素の内の各々の画素のために一群の特徴を計算する。オブジェクト分析器22はまた、画像(1つ又は複数)の面積を計算する。モーメント群計算器30が、前記一群の特徴及び前記計算された面積から一群の特徴の中心モーメントを導出する。正規化記述子モジュール40が次いで、前記導出された一群の特徴の中心モーメント及び前記画像(1つ又は複数)の面積に基づいて正規化記述子を計算する。

0106

正規化記述子(例えば、RM、CMI、CM)のどれが計算されるかに応じて、更なる決定が行われた。すなわち、RMを計算する場合、一群の特徴が等方性であるとき、導出された一群の特徴の半径方向モーメントは回転不変であること、及び一群の特徴の半径方向モーメントの導出がユーザー選択可能な次数であってよいことが決定された。同様に、CMIを計算する場合、一群の特徴が等方性であるとき、導出された一群の特徴の中心モーメントがまた回転不変であること、及び一群の特徴の中心モーメントの導出が固定次数を持つことが決定された。同様に、CMを計算する場合、一群の特徴が等方性であること、及び一群の特徴の中心モーメントの導出がユーザー選択可能な次数であってよいことが決定された。

0107

いずれの場合でも、正規化記述子が正規化記述子モジュール40によって計算されると、コンピュータ20はまた、現在既知の又は後で開発された方法を用いて、受け取った画像(1つ又は複数)及び/又は画像領域(1つ又は複数)中のオブジェクト(1つ又は複数)を認識、検出及び/又は分類するように、正規化記述子を画像及びデータのライブラリーと比較することができる。

0108

コンピュータ技術分野の当業者には、説明したように生成されるソフトウエアを、マイクロプロセッサのような汎用又は専用コンピュータ装置と組み合わせて、本発明の実施形態を具現化するコンピュータ・システム又はコンピュータ・サブシステムを生成することができよう。本発明の実施形態に従った装置又はシステムは、限定するものではないが、中央処理装置(CPRU)、メモリ記憶装置通信リンク及び装置、サーバー、I/O装置、或いは本発明の実施形態を含むソフトウエア、ファームウエアハードウエア又はそれらのサブセットの任意の組合せで構成された1つ以上の処理システムの任意の従属部品を含んでいる1つ以上の処理システムであってよい。

0109

本発明の一実施形態に従ったコンピュータ・プログラム製品は、本発明の発見法を含む社会的ネットワーク発見する方法を遂行させるようにコンピュータ・システム上で実行可能である。コンピュータ・システムは、マイクロプロセッサと、入力装置と、表示装置と、インタネットワークか又はイーサーネット及びイントラネットのようなネットワークのいずれかに対するインターフェースとを含む。マイクロプロセッサは通信母線に接続される。コンピュータはまた、メモリを含む。メモリは、ランダム・アクセス・メモリ(RAM)及び読出し専用メモリ(ROM)を含むことができる。コンピュータ・システムは更に記憶装置を含む。記憶装置は、ハードディスク駆動装置、或いはフレキシブルディスク駆動装置又は光ディスク駆動装置のような取外し可能なディスク駆動装置とすることができる。記憶装置はまた、コンピュータ・プログラム又は他の命令をコンピュータ・システムにロードするための他の同様な手段であってよい。コンピュータ・システムはまた通信ユニットを含む。通信ユニットは、コンピュータがI/Oインターフェースを介して他のデータベース及びインターネットに接続できるようにする。通信ユニットは、他のデータベースからデータを受信すると共に伝送することができる。通信ユニットは、コンピュータ・システムをデータベースとLAN、MANWAN及びインターネットのようなネットワークとに接続できるようにするモデム、イーサーネット・カード又は任意の同様な装置を含むことができる。コンピュータ・システムは、I/Oインターフェースを介して該システムにアクセス可能である入力装置によりユーザーからの入力を容易にする。様々なモジュールはまた、ハードウエア・ユニットの形態であってよい。

0110

コンピュータ・システムは、入力データを処理するために1つ以上の記憶素子に記憶されている一組の命令を実行する。一組の命令はプログラム命令手段であってよい。記憶素子はまた、要望されるとおりにデータ又は他の情報を保持することができる。記憶素子は、処理装置に存在する情報源又は物理的メモリの形態であってよい。

0111

一組の命令は、本発明の一実施形態の方法を構成する工程のような特定のタスクを遂行するように処理装置に命令する様々なコマンドを含むことができる。一組の命令はソフトウエア・プログラムの形態であってよい。更に、ソフトウエアは、一群の別々のプログラム、より大きいプログラムを持つプログラム・モジュール、又はプログラム・モジュールの一部の形態であってよい。ソフトウエアはまた、オブジェクト指向プログラミングの形態のモジュール式プログラミングを含むことができる。処理装置による入力データの処理は、ユーザーの指令、以前の処理の結果、又は別の処理装置によってなされた要求に応答するものであってよい。

0112

従って、本発明の一実施形態によれば、カメラ・システムから得られた画像の中のオブジェクトを分析するためのコンピュータ化方法が提供される。このコンピュータ化方法は、カメラ・システムから複数の画素を持つ少なくとも1つの画像を受け取る段階と、前記複数の画素の各々の画素のために一群の特徴を計算する段階と、前記一群の特徴及び前記少なくとも1つの画像の幾何学的中心から一群の特徴の半径方向モーメントを導出する行為、及び前記一群の特徴から一群の特徴の中心モーメントを導出する行為の内の一方を行う段階と、前記少なくとも1つの画像の面積と前記導出された一群の特徴の半径方向モーメント及び前記導出された一群の特徴の中心モーメントの内の一方とに基づいて正規化記述子を計算する段階と、正規化記述子に基づいて、コンピュータにより、前記少なくとも1つの画像中の少なくとも1つのオブジェクトを認識する行為、前記少なくとも1つの画像中の少なくとも1つのオブジェクトを検出する行為、及び前記少なくとも1つの画像中の少なくとも1つのオブジェクトを分類する行為の内の少なくとも1つを行う段階とを有する。

0113

本発明の別の実施形態によれば、カメラ・システムから得られた画像の中のオブジェクトを分析するためのコンピュータ化方法が提供される。このコンピュータ化方法は、カメラ・システムから複数の画素を持つ少なくとも1つの画像を受け取る段階と、前記複数の画素の各々の画素のために一群の特徴を計算する段階と、前記一群の特徴から一群の特徴の中心モーメントを導出する段階と、前記一群の特徴の中心モーメントに基づいて一群の中心モーメント不変量を計算する段階と、前記少なくとも1つの画像の面積及び前記一群の特徴の中心モーメントに基づいて正規化記述子を計算する段階と、前記正規化記述子に基づいて、コンピュータにより、前記少なくとも1つの画像中の少なくとも1つのオブジェクトを認識する行為、前記少なくとも1つの画像中の少なくとも1つのオブジェクトを検出する行為、及び前記少なくとも1つの画像中の少なくとも1つのオブジェクトを分類する行為の内の少なくとも1つを行う段階とを有する。

0114

本発明の別の実施形態によれば、カメラ・システムから得られた画像の中のオブジェクトを分析するための方法を提供するコンピュータ実行可能な命令を持つコンピュータ読取り可能な媒体が提供される。前記方法は、カメラ・システムから複数の画素を持つ少なくとも1つの画像を受け取る段階と、前記複数の画素の各々の画素のために一群の特徴を計算する段階と、前記一群の特徴及び前記少なくとも1つの画像の幾何学的中心から一群の特徴の半径方向モーメントを導出する行為、及び前記一群の特徴から一群の特徴の中心モーメントを導出する行為の内の一方を行う段階と、前記少なくとも1つの画像の面積と前記導出された一群の特徴の半径方向モーメント及び前記導出された一群の特徴の中心モーメントの内の一方とに基づいて正規化記述子を計算する段階と、正規化記述子に基づいて、コンピュータにより、前記少なくとも1つの画像中の少なくとも1つのオブジェクトを認識する行為、前記少なくとも1つの画像中の少なくとも1つのオブジェクトを検出する行為、及び前記少なくとも1つの画像中の少なくとも1つのオブジェクトを分類する行為の内の少なくとも1つを行う段階とを有する。

0115

本発明の別の実施形態によれば、カメラ・システムから得られた画像の中のオブジェクトを分析するためのシステムが提供される。このシステムは、カメラ・システムから複数の画素を持つ少なくとも1つの画像を受け取るシステムと、前記複数の画素の各々の画素のために一群の特徴を計算するシステムと、前記一群の特徴及び前記少なくとも1つの画像の幾何学的中心から一群の特徴の半径方向モーメントを導出する行為、及び前記一群の特徴から一群の特徴の中心モーメントを導出する行為の内の一方を行うシステムと、前記少なくとも1つの画像の面積と前記導出された一群の特徴の半径方向モーメント及び前記導出された一群の特徴の中心モーメントの内の一方とに基づいて正規化記述子を計算するシステムと、前記正規化記述子に基づいて、前記少なくとも1つの画像中の少なくとも1つのオブジェクトを認識する行為、前記少なくとも1つの画像中の少なくとも1つのオブジェクトを検出する行為、及び前記少なくとも1つの画像中の少なくとも1つのオブジェクトを分類する行為の内の少なくとも1つを行うシステムとを有する。

0116

本発明を好ましい実施態様に関して説明したが、明確に述べたものとは別に、様々な等価な構成、変更及び修正が特許請求の範囲内で可能であることが認められよう。

0117

10カメラを基にしたオブジェクトの分析システム
20コンピュータ
50風景
52 橋/障害物
54道路/幹線道路
60牽引トレーラ
62乗用車
64スポーツ用多目的車
70空中撮影画像
72 第1のオブジェクト
74 第2のオブジェクト
110 カメラ・システム
102 空中カメラ
104固定カメラ
106 PTZカメラ

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • アースアイズ株式会社の「 監視装置、監視システム、及び、監視方法」が 公開されました。( 2020/09/24)

    【課題】2次元画像を用いた監視装置において、監視対象とした「人」が行う監視対象とした「物」に対する不定形な一般的動作を抽出して、監視対象とした「人」が、監視対象とした「物」に対して不審度の高い所定の行... 詳細

  • 株式会社日立ハイテクノロジーズの「 電子ビーム装置及び画像処理方法」が 公開されました。( 2020/09/24)

    【課題】電子ビーム装置において、シフト量がサブピクセル量となった場合でも、画像を移動させたことによる測長値の変化を防止する。【解決手段】画素補間フィルタにより画像を画素間の画素シフト量だけシフトさせる... 詳細

  • 株式会社NGRの「 パターンマッチング方法」が 公開されました。( 2020/09/24)

    【課題】正しいマッチング位置を決定することができるパターンマッチング方法を提供する。【解決手段】パターンマッチング方法は、画像200上のパターンと、対応するCADパターン210とのマッチングを実施し、... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ