図面 (/)

技術 画像アウトラインを記述するシステム及び方法

出願人 アセルサン・エレクトロニク・サナイ・ヴェ・ティジャレット・アノニム・シルケティ
発明者 エルデム・アカグンドゥツ
出願日 2013年4月1日 (8年5ヶ月経過) 出願番号 2016-504763
公開日 2016年7月14日 (5年1ヶ月経過) 公開番号 2016-520897
状態 特許登録済
技術分野 FAX原画の編集 イメージ分析
主要キーワード 曲率領域 初期曲線 スケール間隔 特徴密度 平面曲線 赤外線撮像システム 連続曲線 外形画像
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年7月14日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (6)

課題・解決手段

本発明は二値シルエット画像から記述子構築する画像処理及び方法の分野に関する。本方法は、閉じた平面曲線媒介変数方程式を受信するステップと、等しい区間を有する閉じた平面曲線上のノードを選択するステップと、曲線上のノードの連続スケールスペースを生成して各オクターブ後段でそれをダウンサンプリングするステップと、オリエンテーションベクトルとオリエンテーション角度値を計算するステップと、互いの上部に各オリエンテーション角度値を積み重ねることから取得される行列であるオリエンテーションスケールスペースを生成するステップと、全てのオリエンテーションベクトル及びそれらのパラメータの位置及びスケールを含む記述子を用いてアウトライン表現するステップとを備える。本方法はさらに、記述子を、種々のアウトラインに属する以前に記録された各記述子と比較して良好なマッチングを有する記述子を発見するステップを備える。

概要

背景

静止画像又はビデオフレーム上のオブジェクト(又は等価的に「ターゲット」)を識別する複数の方法及び複数のモデルがあることが知られている。そのような方法は例えば、対象としている場面(scene)の赤外線画像を取得するセンサがある赤外線探査(infrared search)及び追跡(IRST)システム(tracking(IRST)system)において用いられ、一般的に、これらの画像はグレースケールフォーマットに変換される。この画像は、種々の位置において赤外線強度表現する画素2次元配列を備える。現在、複数の入力オブジェクトの複数のアウトライン(outline)の複数の特徴を抽出及びマッチングする複数のシステム及び複数の方法がある。これらのシステムは例えば既知の種類のターゲットを決定するために使用され、すると結果的にそれを解釈することが可能となる。そのような方法において、異なる複数のアウトラインを効率的に表現して、少ない容量においてそれらを格納するとともに探索処理の速度を向上させることを可能とすることが望まれる。

1つのそのような既知の方法は曲率スケールスペース(curvature scale space、CSS)を使用し、閉じた曲線であるオブジェクトのアウトラインはCSSを生成するために使用される。この目的のために、オブジェクトの外形(contour)上の曲線をフィッティング(fit)するためのもう1つの初期計算は一般的に、対象としているオブジェクトの二値シルエット画像に対して適用される。この既知の方法において、複数の曲率値の円(circle of curvature value)は閉じた曲線にわたって計算されて、複数のオブジェクト記述子(object descriptor)はアウトラインのスケールスペース(Scale Space)表現から導出される。これらはグラフによって表現されて、このグラフ上のピーク値特徴パラメータとして用いられる。そのような表現を用いて、画像上の種々の形状(shape)は、識別され、マッチングされ、又は位置合わせされることが可能である。CSS方法に関する主な問題点の1つは、CSS方法がシルエット曲線に対する計算の始点に依存していることである。シルエットは画像上のオブジェクトの周囲の閉じた曲線であるために、当該シルエットは定義された始点を有さず、また、このことは、複数のアウトラインをマッチング又は認識する必要がある場合において問題点を構成する。この問題点の解決方法として、ピーク値は現在複数の形状のマッチングのために用いられており、当該ピーク値はアウトラインのノイズ及び誤った分割(セグメンテーション(segmentation))の影響を受ける。アウトラインが軽微誤差を有して抽出される場合、その結果はそのようなアプローチを用いて著しく変化し得る。

もう1つの現在使用される方法は、CSS技術によって取得されるグラフ上の複数のピークの間で順序づけを実施する。例えば、複数のピーク座標(ピークコーディネート、peak coordinate)は、現在の実施における複数のピークの高さに関して順序づけられる。さらにもう1つの技術は、最大ピークを始点として用いており、またそのようなピークから開始するアウトラインを表現している。さらに、これらの方法は、ノイズ及び誤った分割、又は誤った曲線フィッティング(curve fitting)の傾向がある。

他方、よく知られたスケール不変特徴変換(Scale Invariant Feature Transform、SIFT)方法は、2次元(2D)グレースケール画像のスケールスペース表現を使用し、一般的に画素画像(pixel image)上の複数のオブジェクトの代表の特徴は、スケールスペースを形成する複数のガウス画像(Gaussian image)の差分を計算することによって発見される。この2次元方法を用いて、画素画像上の種々のオブジェクトは、複数の凸点(salient points)のリストによって表現されることが可能であり、比較され、識別され、又はマッチングされることが可能である。CSSアウトライン特徴抽出方法の不利な点、及びオブジェクトのアウトラインのみを表現する特徴点を発見するためのSIFT方法の無力な点は、新しい方法を必要とする。赤外線撮像システムなどのいくつかの応用において、画像上のターゲット又はオブジェクトは一般的に、そのアウトライン上にその特徴を有する。さらにまた、いくつかのオブジェクトは完全な表現を必要としないが、そのアウトラインのみによって識別可能である。アウトライン上のみの特徴点を格納することは少ない容量しか要さず、探索及びマッチングが非常に高速となる。

現行の方法は、それら自身上のシルエット画像外形特徴(silhouette image contour features)の抽出、表現、及びマッチングの、信頼性のある効率的な方法を提供しておらず、新しい方法は本明細書において導入される。

従来技術の出願である英国特許文献GB2393012(特許文献1)は、2次元アウトラインを探索する方法を開示する。本方法は、クエリ(query)を入力するステップと、オブジェクトのアウトラインの曲率スケールスペース表現から当該アウトラインの記述子を導出するステップとを含み、CSS表現の複数のピーク座標値(peak co−ordinate value)はピークの複数の最高値に基づいて順序づけられる。

従来技術の出願である米国特許文献US7430303(特許文献2)は、画像の複数のジェスチャ特徴(gesture feature)を抽出及びマッチングする方法を開示する。本方法において、ジェスチャ画像の二値外形画像によって形成される閉じた曲線は、曲率スケールスペース(CSS)画像を形成するために使用され、複数の特徴パラメータは、第1の複数のピークを抽出することによって決定される。

従来技術の出願である米国特許文献US6711293(特許文献3)は、初期画像ぼかしてぼかし画像(blurred image)を生成して初期画像からぼかし画像を減算して差分画像(difference image)を生成することで、複数の差分画像を生成することによって、画像におけるスケール不変特徴を識別する方法及び装置を開示する。

「画像上のオブジェクトアウトラインのスケール不変特徴を識別するシステム及び方法(“System And Method For Identifying Scale Invariant Features Of Object Outlines On Images”)」なるタイトルの番号PCT/IB2012/050883の出願(特許文献4)は主に、閉じた複数の平面曲線(シルエット)からの複数のスケール不変特徴(scale invariant feature)を抽出すること及び複数の「シルエット特徴ヒストグラム(silhouette feature histogram)」上のこれらの特徴を表現することに注目している。システム及び方法における3つの主なステップは、曲線抽出(curve extraction)、特徴抽出(feature extraction)、及び記述子構築(descriptor construction)として定義されてもよい。

曲線抽出ステップは、連続曲線(continuous curve)をシルエットの複数の外形上にフィッティングするステップと、この連続曲線を弧長(arc−length)サンプリングするステップを含む。次のステップである特徴抽出のステップは、このスケールスペースにおける曲率スケールスペース構築(curvature scale space construction)及び特徴選択を含む。最終ステップである記述子構築は、抽出された複数のフレームを、長方形(rectangular)(又は放射状(radial))画像上の複数の画素として使用する。なお、当該長方形(又は放射状)画像において、各画素の位置は(曲線上にわたる)複数の特徴位置及び(曲率スケールスペースにおいて)複数のスケールを指定して、各画素の色は(曲線平面上の)各特徴のオリエンテーションを表す。この最終ステップにおいて、これらの画像は、複数のオブジェクト認識タスク(object regognition task)を完遂するように、回転及び開始不変方法(rotation and starting invariant manner)を用いて互いにマッチングされる。

本技術は十分な結果を与える。しかしながら、技術の性質により、得られる複数の特徴は一般的に、平面曲線上の複数の高曲率領域から抽出される。従って、相対的により滑らかな複数のシルエットからは、より少ない数の特徴が抽出される。この場合には、抽出される特徴の数が相対的に少ないため、記述子画像(descriptor image)は疎(sparse)(大抵の場合は複数の空の画素(empty pixel)を含む)になる。相対的に異なる特徴密度を有する2つの記述子画像をマッチングさせること、言い換えれば一方がより滑らかであり且つ他方が非常に巻いている(カールしている、curly)2つのシルエットをマッチングさせることは、非効率的になり得る。

概要

本発明は二値シルエット画像から記述子を構築する画像処理及び方法の分野に関する。本方法は、閉じた平面曲線の媒介変数方程式を受信するステップと、等しい区間を有する閉じた平面曲線上のノードを選択するステップと、曲線上のノードの連続スケールスペースを生成して各オクターブ後段でそれをダウンサンプリングするステップと、オリエンテーションベクトルとオリエンテーション角度値を計算するステップと、互いの上部に各オリエンテーション角度値を積み重ねることから取得される行列であるオリエンテーションスケールスペースを生成するステップと、全てのオリエンテーションベクトル及びそれらのパラメータの位置及びスケールを含む記述子を用いてアウトラインを表現するステップとを備える。本方法はさらに、記述子を、種々のアウトラインに属する以前に記録された各記述子と比較して良好なマッチングを有する記述子を発見するステップを備える。

目的

本発明の目的は、シルエット画像のスケール及び解像度(resolution)から独立して、信頼性を有して効率的に、複数のシルエット画像外形オリエンテーションを抽出、表現、及びマッチングする方法を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

閉じた平面曲線媒介変数方程式を受信するステップ(101)と、複数の等しい区間を有する前記閉じた平面曲線上の複数のノードを選択するステップ(102)と、前記平面曲線をガウスフィルタと逐次的に畳み込むことによって前記曲線上の前記複数のノードの連続スケールスペースを生成して、各オクターブ後段で当該平面曲線をダウンサンプリングするステップ(103)と、各オクターブの各区間における各サンプリングされた点に対して、複数のオリエンテーションベクトル及び複数のオリエンテーション角度値を計算するステップ(104)と、互いの上部に各オリエンテーション角度値を積み重ねることから取得される行列であるオリエンテーションスケールスペース(OSS)を生成するステップ(105)と、全てのオリエンテーションベクトル並びにそれらのそれぞれのパラメータの位置及びスケールを含む記述子を用いてアウトライン表現するステップ(106)と、の複数のステップによって特徴付けられる画像アウトラインを記述する方法(100)。

請求項2

入力画像から二値画像を生成してオブジェクト境界上の曲線をフィッティングする画像前処理演算は、「閉じた平面曲線の媒介変数方程式を受信するステップ(101)」の前に実施される、ことを特徴とする請求項1記載の画像アウトラインを記述する方法(100)。

請求項3

「前記平面曲線をガウスフィルタと逐次的に畳み込むことによって前記曲線上の前記複数のノードの連続スケールスペースを生成して、各オクターブの後段で当該平面曲線をダウンサンプリングするステップ(103)」において、前記平面曲線は半分にダウンサンプリングされる、ことを特徴とする請求項1記載の画像アウトラインを記述する方法(100)。

請求項4

連続スケールスペースは、ステップ(103)において各オクターブにわたって前記平面曲線をガウスフィルタと畳み込むことによって、生成される、ことを特徴とする請求項1記載の画像アウトラインを記述する方法(100)。

請求項5

サンプリングされた点のオリエンテーションベクトルを取得し、当該オリエンテーションベクトルは前記点における接線に直交する単位ベクトルであるステップ、によって特徴付けられる、請求項1記載の画像アウトラインを記述する方法(100)。

請求項6

記述子を、種々のアウトラインに属する以前に記録された各記述子と比較して、良好なマッチングを有する少なくとも1つの記述子を発見するステップ(107)、によって特徴付けられる、請求項1記載の画像アウトラインを記述する方法(100)。

請求項7

「全てのオリエンテーションベクトル並びにそれらのそれぞれのパラメータの位置及びスケールを含む記述子を用いてアウトラインを表現するステップ(106)」において、前記複数の記述子は複数の放射状の配列として表現され、当該配列において、中心からの半径方向の距離はスケール値を表し、当該中心の周囲の回転はアウトライン曲線パラメータを表し、そして各点における値は前記サンプリングされた点のオリエンテーションを表す、ことを特徴とする請求項1記載の画像アウトラインを記述する方法(100)。

請求項8

「全てのオリエンテーションベクトル並びにそれらのそれぞれのパラメータの位置及びスケールを含む記述子を用いてアウトラインを表現するステップ(106)」において、前記放射状の配列は2次元カラー画像上でエンコードされて、複数の前記サンプリングされた点のオリエンテーションを表す複数の2次元ベクトルは、配置された点の色を用いてエンコードされる、ことを特徴とする請求項7記載の画像アウトラインを記述する方法(100)。

請求項9

「記述子を、種々のアウトラインに属する以前に記録された各記述子と比較して、良好なマッチングを有する少なくとも1つの記述子を発見するステップ(109)」において、複数の記述子対は、同一の中心の周囲での複数の放射状の配列の全ての可能な回転において差分を発見することによって、比較される、ことを特徴とする請求項7記載の画像アウトラインを記述する方法(100)。

請求項10

「記述子を、種々のアウトラインに属する以前に記録された各記述子と比較して、良好なマッチングを有する少なくとも1つの記述子を発見するステップ(107)」において、前記複数の記述子のうちの1つの複数のオリエンテーション値は、複数の放射状の配列の少なくとも1つの相対的な回転に対して循環的に変化される、ことを特徴とする請求項7記載の画像アウトラインを記述する方法(100)。

請求項11

「全てのオリエンテーションベクトル並びにそれらのそれぞれのパラメータの位置及びスケールを含む記述子を用いてアウトラインを表現するステップ(106)」において、全てのサンプリングされた点の全ての位置、スケール、及オリエンテーション値を使用して好ましい解像度(M*N)を有する長方形記述子を生成し、水平軸(H)は複数のスケールレベル値を表し且つ垂直軸(V)は複数の曲線パラメータを表すステップ、を特徴とする請求項1記載の画像アウトラインを記述する方法(100)。

請求項12

「全てのオリエンテーションベクトル並びにそれらのそれぞれのパラメータの位置及びスケールを含む記述子を用いてアウトラインを表現するステップ(106)」において、ビンが色の円(複数の色相値)を表す点のオリエンテーション角度をマッピングすることによって、生成される記述子におけるビンの色を決定するステップ、を特徴とする請求項11記載の画像アウトラインを記述する方法(100)。

請求項13

「記述子を、種々のアウトラインに属する以前に記録された各記述子と比較して、良好なマッチングを有する少なくとも1つの記述子を発見するステップ(107)」において、比較時に最小の差分を与える対は、最良のマッチングを与えることとなる、ことを特徴とする請求項7記載の画像アウトラインを記述する方法(100)。

請求項14

請求項1〜13のうちのいずれか一項記載のステップ(101)から(108)によって決定される複数のアウトライン記述子とそれぞれのアウトラインとを、複数の原画素画像とともに格納するように構成された、少なくとも1つの特徴及び画像データベース(2)と、特徴及び画像データベース(1)に接続されるとともに、アウトラインの媒介変数方程式を受信して、当該アウトラインを入力として使用して請求項1〜13のうちのいずれか一項記載の画像アウトラインを記述すること(100)を実施するように構成された、少なくとも1つの処理ユニット(3)と、によって特徴付けられる、画像アウトラインを記述するシステム(1)。

技術分野

0001

本発明は、二値シルエット画像(binary silhouette images)から記述子(descriptor)を構築する画像処理及び方法の分野に関する。

背景技術

0002

静止画像又はビデオフレーム上のオブジェクト(又は等価的に「ターゲット」)を識別する複数の方法及び複数のモデルがあることが知られている。そのような方法は例えば、対象としている場面(scene)の赤外線画像を取得するセンサがある赤外線探査(infrared search)及び追跡(IRST)システム(tracking(IRST)system)において用いられ、一般的に、これらの画像はグレースケールフォーマットに変換される。この画像は、種々の位置において赤外線強度表現する画素2次元配列を備える。現在、複数の入力オブジェクトの複数のアウトライン(outline)の複数の特徴を抽出及びマッチングする複数のシステム及び複数の方法がある。これらのシステムは例えば既知の種類のターゲットを決定するために使用され、すると結果的にそれを解釈することが可能となる。そのような方法において、異なる複数のアウトラインを効率的に表現して、少ない容量においてそれらを格納するとともに探索処理の速度を向上させることを可能とすることが望まれる。

0003

1つのそのような既知の方法は曲率スケールスペース(curvature scale space、CSS)を使用し、閉じた曲線であるオブジェクトのアウトラインはCSSを生成するために使用される。この目的のために、オブジェクトの外形(contour)上の曲線をフィッティング(fit)するためのもう1つの初期計算は一般的に、対象としているオブジェクトの二値シルエット画像に対して適用される。この既知の方法において、複数の曲率値の円(circle of curvature value)は閉じた曲線にわたって計算されて、複数のオブジェクト記述子(object descriptor)はアウトラインのスケールスペース(Scale Space)表現から導出される。これらはグラフによって表現されて、このグラフ上のピーク値特徴パラメータとして用いられる。そのような表現を用いて、画像上の種々の形状(shape)は、識別され、マッチングされ、又は位置合わせされることが可能である。CSS方法に関する主な問題点の1つは、CSS方法がシルエット曲線に対する計算の始点に依存していることである。シルエットは画像上のオブジェクトの周囲の閉じた曲線であるために、当該シルエットは定義された始点を有さず、また、このことは、複数のアウトラインをマッチング又は認識する必要がある場合において問題点を構成する。この問題点の解決方法として、ピーク値は現在複数の形状のマッチングのために用いられており、当該ピーク値はアウトラインのノイズ及び誤った分割(セグメンテーション(segmentation))の影響を受ける。アウトラインが軽微誤差を有して抽出される場合、その結果はそのようなアプローチを用いて著しく変化し得る。

0004

もう1つの現在使用される方法は、CSS技術によって取得されるグラフ上の複数のピークの間で順序づけを実施する。例えば、複数のピーク座標(ピークコーディネート、peak coordinate)は、現在の実施における複数のピークの高さに関して順序づけられる。さらにもう1つの技術は、最大ピークを始点として用いており、またそのようなピークから開始するアウトラインを表現している。さらに、これらの方法は、ノイズ及び誤った分割、又は誤った曲線フィッティング(curve fitting)の傾向がある。

0005

他方、よく知られたスケール不変特徴変換(Scale Invariant Feature Transform、SIFT)方法は、2次元(2D)グレースケール画像のスケールスペース表現を使用し、一般的に画素画像(pixel image)上の複数のオブジェクトの代表の特徴は、スケールスペースを形成する複数のガウス画像(Gaussian image)の差分を計算することによって発見される。この2次元方法を用いて、画素画像上の種々のオブジェクトは、複数の凸点(salient points)のリストによって表現されることが可能であり、比較され、識別され、又はマッチングされることが可能である。CSSアウトライン特徴抽出方法の不利な点、及びオブジェクトのアウトラインのみを表現する特徴点を発見するためのSIFT方法の無力な点は、新しい方法を必要とする。赤外線撮像システムなどのいくつかの応用において、画像上のターゲット又はオブジェクトは一般的に、そのアウトライン上にその特徴を有する。さらにまた、いくつかのオブジェクトは完全な表現を必要としないが、そのアウトラインのみによって識別可能である。アウトライン上のみの特徴点を格納することは少ない容量しか要さず、探索及びマッチングが非常に高速となる。

0006

現行の方法は、それら自身上のシルエット画像外形特徴(silhouette image contour features)の抽出、表現、及びマッチングの、信頼性のある効率的な方法を提供しておらず、新しい方法は本明細書において導入される。

0007

従来技術の出願である英国特許文献GB2393012(特許文献1)は、2次元アウトラインを探索する方法を開示する。本方法は、クエリ(query)を入力するステップと、オブジェクトのアウトラインの曲率スケールスペース表現から当該アウトラインの記述子を導出するステップとを含み、CSS表現の複数のピーク座標値(peak co−ordinate value)はピークの複数の最高値に基づいて順序づけられる。

0008

従来技術の出願である米国特許文献US7430303(特許文献2)は、画像の複数のジェスチャ特徴(gesture feature)を抽出及びマッチングする方法を開示する。本方法において、ジェスチャ画像の二値外形画像によって形成される閉じた曲線は、曲率スケールスペース(CSS)画像を形成するために使用され、複数の特徴パラメータは、第1の複数のピークを抽出することによって決定される。

0009

従来技術の出願である米国特許文献US6711293(特許文献3)は、初期画像ぼかしてぼかし画像(blurred image)を生成して初期画像からぼかし画像を減算して差分画像(difference image)を生成することで、複数の差分画像を生成することによって、画像におけるスケール不変特徴を識別する方法及び装置を開示する。

0010

「画像上のオブジェクトアウトラインのスケール不変特徴を識別するシステム及び方法(“System And Method For Identifying Scale Invariant Features Of Object Outlines On Images”)」なるタイトルの番号PCT/IB2012/050883の出願(特許文献4)は主に、閉じた複数の平面曲線(シルエット)からの複数のスケール不変特徴(scale invariant feature)を抽出すること及び複数の「シルエット特徴ヒストグラム(silhouette feature histogram)」上のこれらの特徴を表現することに注目している。システム及び方法における3つの主なステップは、曲線抽出(curve extraction)、特徴抽出(feature extraction)、及び記述子構築(descriptor construction)として定義されてもよい。

0011

曲線抽出ステップは、連続曲線(continuous curve)をシルエットの複数の外形上にフィッティングするステップと、この連続曲線を弧長(arc−length)サンプリングするステップを含む。次のステップである特徴抽出のステップは、このスケールスペースにおける曲率スケールスペース構築(curvature scale space construction)及び特徴選択を含む。最終ステップである記述子構築は、抽出された複数のフレームを、長方形(rectangular)(又は放射状(radial))画像上の複数の画素として使用する。なお、当該長方形(又は放射状)画像において、各画素の位置は(曲線上にわたる)複数の特徴位置及び(曲率スケールスペースにおいて)複数のスケールを指定して、各画素の色は(曲線平面上の)各特徴のオリエンテーションを表す。この最終ステップにおいて、これらの画像は、複数のオブジェクト認識タスク(object regognition task)を完遂するように、回転及び開始不変方法(rotation and starting invariant manner)を用いて互いにマッチングされる。

0012

本技術は十分な結果を与える。しかしながら、技術の性質により、得られる複数の特徴は一般的に、平面曲線上の複数の高曲率領域から抽出される。従って、相対的により滑らかな複数のシルエットからは、より少ない数の特徴が抽出される。この場合には、抽出される特徴の数が相対的に少ないため、記述子画像(descriptor image)は疎(sparse)(大抵の場合は複数の空の画素(empty pixel)を含む)になる。相対的に異なる特徴密度を有する2つの記述子画像をマッチングさせること、言い換えれば一方がより滑らかであり且つ他方が非常に巻いている(カールしている、curly)2つのシルエットをマッチングさせることは、非効率的になり得る。

0013

英国特許第2393012号公報
米国特許第7430303号公報
米国特許第6711293号公報
国際出願第PCT/IB2012/050883号

先行技術

0014

Freeman Chain code 1961

発明が解決しようとする課題

0015

本発明の目的は、シルエット画像のスケール及び解像度(resolution)から独立して、信頼性を有して効率的に、複数のシルエット画像外形オリエンテーションを抽出、表現、及びマッチングする方法を提供することにある。

0016

もう1つの本発明の目的は、十分に彩度を示す(fully saturated)記述子を用いて、シルエット画像を抽出、表現、及びマッチングする方法を提供することにある。

課題を解決するための手段

0017

非効率の問題点を解決するために、本技術の特徴抽出ステップ(第2のステップ)は、一定の数の特徴がシルエット全体及び全てのスケールレベルから抽出されるように変更されてもよい。すると、記述子画像は、十分に密(fully dense)になることとなり、2つの異なるシルエットの間のマッチングの問題点はより効率的となる。

0018

この目的のために、新しい技術は提案される。新しい技術は、「画像上のオブジェクトアウトラインのスケール不変特徴を識別するシステム及び方法(“System and Method for Identifying Scale Invariant Features of Object Outlines on Images”)」なるタイトルの出願(特許文献4)と同一の第1及び第3のステップを含む。しかしながら、第2のステップである特徴抽出のステップは、複数のオリエンテーション角度(orientation angle)が曲線の全てのスケールレベルの全てのサンプリングされた点から抽出されるように変更される。オリエンテーション角度はオリエンテーションベクトル(orientation vector)とx軸との間の角度であり、ここで、オリエンテーションベクトルは、そのような点における接線に直交する単位ベクトル(unit vector)である。全てのスケールレベルにおける全ての点の複数のスケール、複数の位置、及び複数のオリエンテーションを使用することで、前述の技術の第3のステップにおいて与えられる同一の記述子は構築される。この新しい記述子は空の画素を含まない。

0019

本発明の目的は、シルエット画像のスケール及び解像度から独立して、信頼性を有して効率的に、複数のシルエット画像外形オリエンテーションを抽出、表現、及びマッチングする方法を提供することにある。

0020

もう1つの本発明の目的は、十分に彩度を示す記述子を用いて、シルエット画像を抽出、表現、及びマッチングする方法を提供することにある。

0021

「画像上のオブジェクトアウトラインのスケール不変特徴を識別するシステム及び方法(“System and Method for Identifying Scale Invariant Features of Object Outlines on Images”)」なるタイトルの出願(特許文献4)及び本出願の、類似のステップである特徴抽出のステップは、さらなる複数の差異を有する。スケールスペースからの選択された複数の特徴の数は、出願番号PCT/IB2012/050883(特許文献4)においては予測可能(predictable)ではない。予測不可能な数の特徴から生成される記述子の例(例1(表1))が以下にある。

0022

例1

0023

予測不可能性は記述子において複数の空の画素をもたらす。

0024

しかしながら、曲線の全てのスケールレベルの全てのサンプリングされる点から抽出される、選択される複数の特徴(複数のオリエンテーション角度)の数は、ユーザによって決定される。本出願の1つの実施形態において上述の数は512である。十分に彩度を示す記述子の例(例2(表2))がある。

0025

例2

0026

本出願は、例1に見られる、より少ない特徴及び複数の空の画素の技術的な問題点を克服するために提案される。新たに提案される技術を用いると、記述子構築ステップは同一であるが、構築された複数の記述子は、例1及び例2から見られるように厳密に異なる。

0027

「画像上のオブジェクトアウトラインのスケール不変特徴を識別するシステム及び方法(“System and Method for Identifying Scale Invariant Features of Object Outlines on Images”)」なるタイトルの出願(特許文献4)及び本出願の技術が同一のデータベース上で実行される場合、以下の図形的(グラフィカル,graphical)な結果が得られる。

0029

グラフィック2

0030

グラフィック1(表3)は、新たに提案された技術の結果であり、グラフィック2(表4)は先の出願の結果である。これらの結果は、8隻ののシルエットを有するデータベースから得られ、新しい技術の結果は非常によりよく成功している。複数の例及び複数のグラフィックは、詳細な説明が読まれるとき、より理解されるであろう。

図面の簡単な説明

0031

好ましい実施形態のシステムの概略図である。
2つの代表のオクターブ、それらのそれぞれのスケールスペース、複数のオリエンテーションベクトル、及びオリエンテーションスケールスペースグラフィックの図である。
本発明に係る、単一の点に対して抽出された概略の放射状の記述子である。
本発明に係る、単一の点に対して抽出された概略の長方形の記述子である。
本発明の好ましい方法のフローチャートである。

実施例

0032

本発明の目的の達成を実現する本システム及び方法は、添付の図面において示される。

0033

画像アウトライン(image outline)を記述する方法(100)は基本的に以下の複数のステップを備える。すなわち、本方法(100)は、
閉じた平面曲線の媒介変数方程式(parametric equation)を受信するステップ(101)と、
複数の等しい区間(interval)を有する閉じた平面曲線上の複数のノードを選択するステップ(102)と、
平面曲線をガウスフィルタと逐次的に畳み込むことによって曲線上の複数のノードの連続スケールスペース(continuous scale space)を生成して、各オクターブ(octave)の後段で当該平面曲線をダウンサンプリング(down−sampling)するステップ(103)と、
各オクターブの各区間における各サンプリングされた点に対して、複数のオリエンテーションベクトル及び複数のオリエンテーション角度値(orientation algle value)を計算するステップ(104)と、
互いの上部に各オリエンテーション角度値を積み重ねることから取得される行列であるオリエンテーションスケールスペース(Orientation Scale Space、OSS)を生成するステップ(105)と、
全てのオリエンテーションベクトル並びにそれらのそれぞれのパラメータの位置及びスケールを含む記述子を用いてアウトラインを表現するステップ(106)と、
を備える。

0034

まず、ステップ(101)において、記述子を用いてマッチングされ、識別され、又は表現されることとなる形状のアウトラインを表現する閉じた平面曲線の媒介変数方程式は受信される。赤外線探査及び追跡(IRST)システムの場合において、生の入力データ(raw input data)は2次元グレースケール画素画像になり、各画素は対象としている場面におけるそのような位置に対する赤外線密度(infrared density)を表現する。画像上のオブジェクト(又は等価的にターゲット)のアウトラインを発見することを可能とするために、単純なアプローチは、カットアウトフィルタ(cutout filter)を使用して当該画像を前処理することによって、当該画像を二値画像として表現している。二値画像を生成するための既知の複数の方法及び複数のアルゴリズムがあり、これらの方法及びアルゴリズムにおいて、オブジェクトはその影(shadow)又はシルエット(白い背景上の黒い領域)によってのみ表現されるとともに、これらは複数の赤外線グレースケール画像に対して適用することが簡単である。これらの現実世界の問題点は通常、二値シルエット画素画像などの離散的形式で複数の信号を提供する。スケール及び解像度から独立したその複数の特徴を表現することが要求される場合、連続表現(continuous representation)が必要とされ、連続表現が要求される場合、シルエットは、スプライン(spline)又は多項式のような曲線モデルにフィッティングされる必要がある。

0035

この演算は自明ではあるが、フィッティング方法及び関連するパラメータの選択は非常に重要である。本発明の方法の好ましい構成において、画像アウトライン上の複数の隣接画素(neighbouring pixel)の表現であるチェインコーディング(chain coding)[Freeman Chain code 1961(非特許文献1)]は、二値画像におけるシルエットを閉じたB−スプラインにフィッティングするために使用される。複数のチェインコードは、2個の画素(1又は√2単位)の間の実際の距離を示し、これらの距離はk次B−スプラインを所与のシルエットにフィッティングしてそのアウトラインを発見するときに使用される。シルエットの連続表現は必然的に必要とされる。なぜならば、閉じた曲線の複数の点の一様にサンプリングされた集合を使用することは、我々が信号の一様なスケールスペースを構築することを可能にするからである。

0036

入力シルエットに属する複数の画素は曲線上にわたって一様にサンプリングされず、画素の数は任意であり、これはフィッティングされるスプライン曲線上でサンプリングされた好ましくは一定の数の点を必要とし、そしてスプライン関数から任意の数の点の一様にサンプリングされた点集合を取得してもよい。なお、このことはステップ(102)において実行される。形状のアウトラインを表現する曲線は閉じた平面曲線であり、このことは当該閉じた平面曲線が対象としているシルエットの周囲のループを形成する同一の点において開始及び終了して同一平面上の複数の点を表現することを意味する。ステップ(102)において、曲線は、各分割位置において「複数のノード」又は複数のサンプル点(sample point)を有する複数の等しい区分(section)に分割される。低解像度画像に対して分割(division)を過度に行うことは結果を改善しないが複雑性を増加させるため、分割の数は初期画像(initial image)(シルエット画像)の解像度に依存してもよい。閉じた媒介変数スプライン関数は、(直感的には0及び1の間の実数である)パラメータが与えられたそれぞれのアウトラインに沿った位置を与えるであろう。また、全てのノードはこのパラメータに関連する値を有するであろう。

0037

曲線上の複数のノードの連続スケールスペースは、ステップ(103)において生成される。これは前述の複数のCSS方法に類似するように思われ得るが、特徴抽出及び関連する複数の中間ステップは大きく異なる。

0038

好ましい構成において、平面曲線は、少なくとも1つのオクターブを生成して、半分にダウンサンプリングされる。閉じた媒介変数曲線の場合において、ダウンサンプリングは、等しく分割されたサンプル点(ノード)の数を減少させることによって適用される。好ましい構成において、ノードは、曲線に沿う1つのノードを飛ばして進む(スキップする、skip)ことによって除去され、このことは全ての奇数又は偶数のノードが捨てられることを意味する。各オクターブを通して、連続スケールスペースは、好ましい実施形態において、平面曲線をガウスフィルタと畳み込むことによって生成される。すると、曲線のスケールスペースは構築されるであろう。そして実際このスケールスペース全体は、各オクターブ間でスケール間隔(scale gap)が好ましくは複数のオクターブ内のガウスフィルタリング(Gaussian filtering)と同一であるようにスケールの数が調整されるとき、連続スケールスペースを作成されることが可能である。ガウスフィルタは平面曲線に沿って適用されて、従って、標準偏差σを有する単一の生のフィルタ(raw filter)である(曲線は実際には、決められた始点及び単一のパラメータを有する1次元である)。原曲線(original curve)は閉じた曲線であるため、始点はあらかじめ指定される必要がある。図2を参照して、第一列は各スケールに対するアウトラインを表現し、最も下のものは原入力アウトライン(original input outline)である。入力アウトラインは複数のガウスフィルタと畳み込まれるため、より高い複数のスケールが取得され、第1のオクターブ(F)が生成される。第2のオクターブ(S)は、半分にダウンサンプリングされる初期アウトラインを使用して再び生成され、このことは第2のオクターブ(S)の複数のアウトラインにおいてより少しのノードしか存在しないことを意味する。第2のオクターブ(S)の複数のサブスケール(sub−scale)は、ダウンサンプリングされたアウトラインをさらに畳み込むことによって生成される。このスケールスペース生成は、前段のオクターブのダウンサンプリングされたアウトラインを次段のオクターブのための開始アウトラインとして使用して、必要に応じてさらなる複数のオクターブのために反復される。ダウンサンプリングの正しい配置及び複数のパラメータのフィルタリングを用いて、上述の通り、連続スケールスペースは生成される。

0039

曲線L(r,σ)のスケールスペースは、
L(r,σ)=g(r,σ)*C(r)
として定義される。L(r,σ)は可変スケールガウス関数g(r,σ)の媒介変数曲線C(r)との畳み込みである。

0040

次のステップは、各オクターブの各区間における各サンプリングされた点に対する複数のオリエンテーションベクトル及び複数のオリエンテーション角度値の計算である(104)。図2を参照して、中央の列は、各オクターブの各区間における各サンプリングされた点に対して計算された複数のオリエンテーションベクトルを示す。

0041

サンプリングされた点におけるオリエンテーション角度は、オリエンテーションベクトルとx軸(X)と間の角度として定義され、ここで、オリエンテーションベクトルはそのような点における接線に対する単位ベクトルである。オリエンテーション角度値は以下のように計算される。

0042

及び



は、曲線パラメータrに沿ったC(r)のx成分及びy成分の1階微分である。O(r)は0ラジアンから2πラジアンまでの値をとるため、atan2関数が用いられる。

0043

スケールスペースの各オクターブに対して、初期曲線は複数のガウシアン(Gaussian)と反復的に畳み込まれ、図2の左の列に示されるスケールスペース曲線の集合を生成する。各オクターブの後段で曲線は半分にダウンサンプリングされて、処理は反復される。次いで、各サンプリングされた点に対する複数のオリエンテーションベクトルは計算される(図2の中央の列)。この方法によって、複数のオリエンテーションベクトルのスケールスペースは取得される。

0044

局所的な情報が抽出されることとなる最終スケールスペースは、互いの上部に各オリエンテーション角度値を積み重ねることから取得される(105)。そして、(o.s)x(512)オリエンテーション値の行列は取得される。ここで、oはオクターブの数であり、sはオクターブの区間の数である。この行列はオリエンテーションスケールスペース(OSS)と呼ばれ、また図2の右の列において図示される。

0045

キーポイント(key point)の周囲の記述子を使用すると、複数の認識タスクは、バッグオブフィーチャーズ(Bag−of−Features)に基づく方法を用いて実行可能である。しかしながら、画像のテクスチャの詳細度が低い場合(例えば、遠くからの船の赤外線(IR)画像)、複数の記述子はほとんど使用できない。そのような理由により、複数のシルエットは通常これらの場合において好ましい。3つのパラメータを含むそのような複数の記述子を使用してステップ(101)から(106)までに従ってアウトラインに属する複数のオリエンテーション集合を抽出することで、異なる複数の形状に属する種々のアウトラインを含むデータベースを生成することが可能であり、またそれらを比較又はマッチングすることが可能である。さらにまた、閉じた媒介変数アウトライン曲線が受信される場合、その記述子をデータベースにおける全ての記述子と比較して、アウトラインがどのような形状に属するかを決定することが可能である。さらなるステップ(107)において、記述子は、種々のアウトラインに属する以前に記録された各記述子と比較されて、良好なマッチングを有する少なくとも1つの記述子が発見される。

0046

曲線フィッティングスキームに依存して曲線の始点は異なってもよく、従ってその方法はシルエットの回転のもとで変化する。しかしながら、この依存性は特別な表現によって操作される。ステップ(106)において、2次元(2D)画像は、全てのサンプリングされた点の全ての位置、スケール及びオリエンテーション値を使用して放射状の記述子(radial descriptor)として生成される。この(2D)画像において、中心点(C)は、サンプリングされた複数の点の最も高い利用可能なスケール値を表現し、複数のスケール値は、当該中心点(C)が方向(L)の外部へ向けて移動するにつれて半径方向に減少する。全ての抽出された複数のキーポイントは記述子画像上の放射状の領域(radial region)に対応する。半径方向の線(radial line)から開始して、方向(R)の中心点(C)の周囲の回転は曲線パラメータを表現し、同一の位置において開始及び終了する。また、サンプリングされた複数の点は、それらのスケール値及び曲線パラメータに一致(マッチング、matching)する位置において、ドット(D)として配置される。複数のオリエンテーションを表現する複数の2次元ベクトルは、好ましい構成において、配置されたドット(D)の色を用いてエンコードされる。さらに、連続的な色の輪(continuous color wheel)に沿った特徴ノードの回転を用いて色相が変化するように複数の色が選択される場合、ステップ(109)における比較は以下に説明されるように簡単化される。例えば、0°及び360°が赤色で表現されて、120°が純粋な緑色で表現されて、240°が純粋な青色で表現されて、そして中間の領域が線形的に補間される場合、連続的な色の輪が得られる。ここで、オリエンテーションベクトルを表現する複数の値は複数の色である必要はなく、複数の値が最大値(我々の例に対しては360°)に到達した後において開始から反復している限り、任意の値は2次元配列を生成するために使用可能である。複数の色は、複数の記述子を人間が読めるようにするために使用され、これはまた、複数の記述子を通常の色づけされた複数の赤緑青(RGB)画像ファイルとしてエンコードされるようにする(図3)。

0047

長方形記述子は本発明のもう1つの実施形態において使用可能である(図4)。ステップ(106)において、2次元(2D)画像は、全てのサンプリングされた点の全ての位置、スケール及びオリエンテーション値を使用してM*N長方形記述子として生成される。この2D画像において、水平軸(H)は複数のスケールレベル値を表し、また垂直軸(V)は複数の曲線パラメータを表す。水平軸(H)は、複数のオリエンテーションベクトルの複数の媒介変数の位置(parametric positions)を与える。閉じた曲線が変数r[0,1]を用いてパラメトライズされると仮定すると、rをM個のビン(好ましい実施形態において36個)に量子化することによって、複数のオリエンテーションベクトルの位置は水平軸(H)に沿って分配される。垂直軸(V)はスケールレベルを表す。スケールパラメータは、OSSの数であるオクターブの好ましい数によって制限される。複数のスケールレベル値は、N個(好ましい実施形態において18個)のビンに量子化されて、垂直軸に沿って分配される。垂直軸の最低のビンは、最も高い可能なスケールパラメータ値を表し、スケールパラメータは、垂直軸の最高のビンに向けて減少する。ビンの色は、ビンが表現する点のオリエンテーション角度(0°>O(r)>2π°)に従って決定される。O(r)を色の円(color circle)(複数の色相値(hue value))にマッピングすることによって、複数のオリエンテーション角度が示される。ここで、O(r)=0°=2π°は好ましい実施形態において赤色に対応する。従って、記述子は十分に彩度を示す。

0048

ステップ(107)において、同一のサイズの複数の画像としてエンコードされた全ての特徴パラメータを用いて2つの記述子を比較する場合、それらは、画像の中心(最も高いスケール数ポイント(highest scale number point))を一致させて互いに重ねられて、複数のオリエンテーションコンポーネントが減算される。この比較は、他の画像上の各画像の全ての可能な回転に対して行われ、このことはアウトラインに沿った複数の特徴点の可能な複数の位置を与えることとなる。さらに、1つの配列の複数のオリエンテーション値はまた、各位置において同一の量を有する全ての可能な値に対して変化され、異なる複数の特徴点オリエンテーションはまた考慮される。カラー画像の場合において、画像上の全ての値は同一の量だけ増加又は減少されるため、1つの画像の複数の色は、それらの相対的な複数のオリエンテーションを変更すること無く、複数の特徴点の可能な複数のオリエンテーションを与えることとなる選択される色の輪に従って変化される。比較に対する最小の差分を与える複数の対はアウトラインの最良のマッチングを与えることとなる。そのような複数の画像を生成するために必要とされる解像度が低いことを考慮すると、マッチング処理は、大きなデータベースにおいてアウトラインを識別するためには十分に高速である。

0049

ステップ(106)において、複数の記述子は中心からの半径方向の距離がサンプリングされる点のスケール値を表現する複数の放射状の配列(radial array)として表現され、この中心の周囲の回転はアウトライン曲線パラメータを表現し、そして各点における値はオリエンテーションを表現すると言うことができる。複数の記述子対(descriptor pair)は、全ての可能な相対的な特徴オリエンテーション値を用いて同一の中心の周囲の全ての可能な回転において比較され、これはオリエンテーション値が2つの異なる値において同一の特徴オリエンテーションを表現するスキームにおいて変化され、また1つの放射状の配列を通して同一の量が増加され又は減少されこれが反復して、最高値又は最低値に到達する。これは複数の特徴の相対的な複数のオリエンテーションが循環する値と同一のままであることを確実にする。好ましい構成において、放射状の配列は、2次元カラー画像上でエンコードされる。

0050

従来技術の当業者は、この方法(100)を使用して、媒介変数方程式が既知であるアウトラインの記述子が抽出されてスケール及びオリエンテーションから不変な記述子のリストと比較されることが可能であることを理解すべきである。入力アウトラインは従って識別可能又はマッチング可能であり、あるいは、所与のアウトラインは、方法(100)を使用して異なる複数のオブジェクトの異なる複数のアウトラインを表現する複数の記述子のデータベースにおいて探索可能である。さらに、このデータベースは、方法(100)の複数のステップのうちのいくつか、すなわちステップ(101)から(106)までのうちのいくつかを使用して生成可能である(図3)。

0051

画像アウトラインのスケール不変特徴を識別するシステム(1)は基本的に以下を備える。すなわち本システムは基本的に、
複数の原画素画像とともに、複数のアウトライン記述子及びそれぞれの複数のアウトラインを格納するように構成された、少なくとも1つの特徴及び画像データベース(2)と、
特徴及び画像データベース(1)に接続されるとともに、アウトラインの媒介変数方程式を受信してこの曲線を入力として使用して画像アウトラインのスケール不変特徴を識別する方法(100)を実施するように構成された、少なくとも1つの処理ユニット(3)と、
を備える。

0052

本発明の好ましい実施形態において、処理ユニット(3)は、平面アウトラインの少なくとも1つの媒介変数方程式を受信するように構成される。画像処理分野の当業者は、このシステム(1)及び方法(100)が画素画像の列に対して応用されて、複数のアウトラインを有する複数のオブジェクトが継続的にモニターされることが可能であることを理解するべきである。本発明のシステム(1)のもう1つの実施形態において、処理ユニット(3)は、記録されたフレーム又はライブビデオストリームフレームからの少なくとも1つの画像を受信して、2次元画素画像を前処理して平面閉媒介変数アウトラインを取得する手段を有するように構成される。従って、処理ユニット(3)は、優先的には赤外線映像カメラであるカメラに接続可能に構成される(図1)。

0053

アウトラインの受信時に、処理ユニット(3)はそのアウトラインを使用して、ステップ(101)から(106)に従って上述のごとく記述子を抽出して、当該処理ユニット(3)は、特徴及び画像データベース(2)におけるこのアウトライン、その記述子、及び(もし存在するならば)原画像(original image)を格納するように構成される。さらなるステップ(107)が実行される場合、特徴及び画像データベース(2)におけるデータを使用することで、システム(1)は、入力アウトラインを全ての記録された複数のアウトラインと比較して良好なマッチングを有する少なくとも1つの結果を発見することが可能である。従来技術において周知であるように、複数の結果は、識別されるアウトライン及び/又は画像を示す任意のインタフェース装置出力可能である。このシステム(1)は、複数の2D画像の複数のアウトライン特徴を使用して当該複数の2D画像上の複数のオブジェクト又は形状を識別することを目的とする任意の装置に応用可能である。インタフェース装置は、モニター、ディスプレイ、又はプリンターのうちのいずれであることも可能であり、あるいは、複数の結果は任意の他の処理システムの入力として使用される。

0054

結論として、オリエンテーション、スケール、及び解像度から独立した複数のシルエット画像外形特徴を抽出、表現、及びマッチングするための信頼性があり且つ効率的な方法はこのシステム(1)及び方法(100)を用いて取得される。

0055

これらの基本的な概念の範囲内において、本発明の「画像アウトラインを記述するシステム及び方法」(1),(100)の幅広い種々の実施形態を展開することが可能である。本発明は、明細書で説明される例に限定されることはできず、本質的に特許請求の範囲に従う。

0056

図面において示される複数の構成要素は個々に符号が振られ、ここで、複数の符号は以下を参照する。

0057

1.画像アウトラインを記述するシステム
2.特徴及び画像データベース
3.処理ユニット
C.中心点
D.ドット
F.第1のオクターブ
L.スケールレベル方向
S.第2のオクターブ
R.曲線パラメータ方向
X.X軸
B.ビン
H.水平軸
V.垂直軸
100.画像アウトラインを記述する方法

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ