図面 (/)

技術 キーポイント識別

出願人 テレコム・イタリア・エッセ・ピー・アー
発明者 バレストリ,マッシモフランシニ,ジャンルーカレプソイ,スキャルグ
出願日 2014年7月23日 (5年0ヶ月経過) 出願番号 2016-528521
公開日 2016年9月8日 (2年10ヶ月経過) 公開番号 2016-527634
状態 特許登録済
技術分野 イメージ分析
主要キーワード 代表パラメータ 離散的表現 局所的最大 三次多項式 スケールσ 出力分岐 近似行列 フィルタリングパラメータ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年9月8日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題・解決手段

一組の画素を備えるデジタル画像キーポイント識別するための方法が、提案される。各画素は、それに関連して画像代表パラメータのそれぞれの値を有する。前記方法は、フィルタ処理画像近似するステップを含む。前記フィルタ処理画像は、フィルタリングパラメータに依存し、画像の各画素について画素の代表パラメータの値のフィルタ処理値を計算するためのフィルタリングパラメータに依存するフィルタリング関数を備える。近似する前記ステップは、a)一組の基礎フィルタ処理画像を生成するステップであって、各基礎フィルタ処理画像は、フィルタリングパラメータのそれぞれの値でフィルタ処理された画像である、ステップと、b)前記組の画素の少なくともサブセットの各画素について、基礎フィルタ処理画像に基づいてそれぞれの近似関数を用いてフィルタリング関数を近似するステップであって、前記近似関数は、フィルタリングパラメータの所定範囲内のフィルタリングパラメータの関数である、ステップとを含み、本方法はさらに、前記サブセットの各画素について、もし近似関数が、前記所定範囲に内在するそれぞれの部分範囲におけるフィルタリングパラメータに関してまた全体的極でもある局所的極を有するならば、当該各画素をキーポイント候補と識別するステップを含む。キーポイント候補と識別される各画素について、本方法はさらに、c)画素の全体的極に対応するフィルタリングパラメータの値における近似関数によって仮定される値を、画像の隣接画素のそれぞれの全体的極のフィルタリングパラメータの値における当該隣接画素の近似関数によって仮定される値と比較するステップと、d)当該各画素をこの比較に基づいて選択するステップとを含む。

概要

背景

[0002]画像解析の分野では、複数の点(画素)(各々が輝度などの画像を代表する物理的パラメータのそれぞれの値によって特徴付けられる)によって形成される画像をいくつかの種類の処理(別の画像との比較など)に出す前に、この画像に表される顕著な細部の位置およびサイズの識別を行うことは、有利である。画像解析の分野では、画像の「顕著な細部」によって、物体視点照明およびカメラの種類に変化がある場合でさえ容易に検出可能である、画像に含まれるその物体の一部分が、意図される。

[0003]数年前までは、画像の顕著な細部の位置を識別することは可能であったが、しかしそれらのサイズはそうでなかった。より詳細には、画像の顕著な細部の場所の識別は、画像の関連する顕著な点(専門用語ではキーポイント)の識別を通じて行われ、それは、顕著な細部の中心に実質的に対応する。円形形状を有する細部の場合、キーポイントは、細部の中心と一致し、一方異なる形状を有する細部の場合、キーポイントの位置は、細部の実際の中心から外れることもある。

[0004]最近、画像キーポイント識別に加えて、そのおかげでまた各キーポイントと関連する顕著な細部のサイズも決定することが可能である手順が、開発された。

[0005]現在は、顕著な細部の位置およびサイズを識別するために使用される方法は、「スケールスペース」の概念に基づいており、それは、画像への徐々に強くなる一連フィルタリングの適用を提供する。画像に適用されるフィルタリングは典型的には、画像点の物理的パラメータ(例えば、輝度)の値について微分演算を行うフィルタリングである。典型的には、そのようなフィルタリングは、ガウシアン関数に基づいており、そのフィルタリング強度は、フィルタリングパラメータσ(ガウシアン関数の標準偏差)によって支配され、フィルタリングパラメータσが、高いほど、ガウシアンは、より平坦で、より広く、ガウシアンは、より強い平滑化効果を有する。座標(x、y)の画素の行列によって形成される画像のスケールスペースは、徐々に強くなるフィルタ(すなわち、徐々に大きくなる値のσを有する)を適用して出発画像から得られるフィルタ処理画像の組(輝度の観点から)によって形成される空間であり、従って三次元(x、y、σ)空間である。

[0006]理論(例えばT.Linderberg(1992)、「Sacle−space behavior of local extrema and blobs(局所的極および斑点のスケールスペース挙動)」、J.of Mathematical Imaging and Vision、1(1)、65〜99頁を参照のこと)は、もしあなたが空間(x、y、σ)に属する点(xp、yp、σp)についてフィルタ処理画像の極値(σに関して)を有するならば、すなわち点(xp、yp、σp)を取り囲む空間(x、y、σ)の一部分において最大値または最小値(σに関して)を有するならば、その時その点は、顕著な細部と関連付けられ、その中心座標は、(xp、yp)であり、サイズは、σpに比例することを述べる。その細部のサイズ(直径)(個数または画素数単位で)は、2*sqrt(2)*σpに等しい。

[0007]従って、スケールスペースにおけるすべての極点(extreme point)を識別することによって、画像の顕著な細部の位置およびサイズが、得られる。

[0008]スケールスペースにおける極点を見いだすために、既知の方法(Lowe、David G.の文献「Object recognition from local scale−invariant features(局所的スケール不変特徴からの物体認識)」、Proceedings of the International Conference on Computer Vision 2.1150〜1157頁において1999年に述べられたデスクリプタ「Scale−Invariant Feature Transform(スケール不変特徴変換)」、SIFTおよび米国特許第6,711,293号の主題を使用する方法など)は、増加する値のσでフィルタ処理された一連の画像を考え、σでフィルタ処理された画像の各点について、それらの値を同じ画像の8つの隣接点の値ならびにそのひと続きにおけるσの前の値および次の値に対応するフィルタ処理画像に存在する18(9+9)個の隣接点の値と比較する。もしこの点が、すべての隣接点よりも小さいまたは大きいならば、その時その点は、空間x、y、σの極(extreme)であり、キーポイントとなる候補である。エッジに沿った細部の場所は、同じシーン描写する異なる画像において容易に変わる可能性があるから、低コントラストを有する画像の部分に対応する点およびエッジに似た構造体上にある点を排除することが、知られているので(例えば、Lowe、DG、「Distinctive Image Features from Scale−Invariant Keypoints(スケール不変キーポイントからの際立った画像特徴)」、International Journal of Computer Vision、60、2、91〜110頁、2004年を参照のこと)、この点は、単に候補にすぎない。その点は、従って信頼性がなく、従って廃棄される。

概要

一組の画素を備えるデジタル画像のキーポイントを識別するための方法が、提案される。各画素は、それに関連して画像代表パラメータのそれぞれの値を有する。前記方法は、フィルタ処理画像を近似するステップを含む。前記フィルタ処理画像は、フィルタリングパラメータに依存し、画像の各画素について画素の代表パラメータの値のフィルタ処理値を計算するためのフィルタリングパラメータに依存するフィルタリング関数を備える。近似する前記ステップは、a)一組の基礎フィルタ処理画像を生成するステップであって、各基礎フィルタ処理画像は、フィルタリングパラメータのそれぞれの値でフィルタ処理された画像である、ステップと、b)前記組の画素の少なくともサブセットの各画素について、基礎フィルタ処理画像に基づいてそれぞれの近似関数を用いてフィルタリング関数を近似するステップであって、前記近似関数は、フィルタリングパラメータの所定範囲内のフィルタリングパラメータの関数である、ステップとを含み、本方法はさらに、前記サブセットの各画素について、もし近似関数が、前記所定範囲に内在するそれぞれの部分範囲におけるフィルタリングパラメータに関してまた全体的極でもある局所的極を有するならば、当該各画素をキーポイント候補と識別するステップを含む。キーポイント候補と識別される各画素について、本方法はさらに、c)画素の全体的極に対応するフィルタリングパラメータの値における近似関数によって仮定される値を、画像の隣接画素のそれぞれの全体的極のフィルタリングパラメータの値における当該隣接画素の近似関数によって仮定される値と比較するステップと、d)当該各画素をこの比較に基づいて選択するステップとを含む。

目的

[0005]現在は、顕著な細部の位置およびサイズを識別するために使用される方法は、「スケールスペース」の概念に基づいており、それは、画像への徐々に強くなる一連のフィルタリングの適用を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

一組の画素を含むデジタル画像キーポイント識別するための方法であって、各画素は、それに関連して画像代表パラメータのそれぞれの値を有し、前記方法は、−フィルタ処理画像近似するステップであって、前記フィルタ処理画像は、フィルタリングパラメータに依存し、前記画像の各画素についてフィルタリング関数を含み、該フィルタリング関数は、前記フィルタリングパラメータに依存して、前記画素の前記代表パラメータの値のフィルタ処理値を計算し、近似する前記ステップは、a)一組の基礎フィルタ処理画像を生成するステップであって、各基礎フィルタ処理画像は、前記フィルタリングパラメータのそれぞれの値でフィルタ処理された画像である、ステップと、b)前記一組の画素の少なくともサブセットの各画素について、前記基礎フィルタ処理画像に基づいてそれぞれの近似関数を用いて前記フィルタリング関数を近似するステップであって、前記近似関数は、前記フィルタリングパラメータの所定範囲内の前記フィルタリングパラメータの関数である、ステップとを含む、ステップと、−前記サブセットの各画素について、前記近似関数が局所的極を有する場合に、当該画素をキーポイント候補と識別するステップであって、前記局所的極は、前記所定範囲に内在するそれぞれの部分範囲の前記フィルタリングパラメータに関して全体的極でもある、ステップと、−キーポイント候補と識別される各画素について、c)前記画素の前記全体的極に対応する前記フィルタリングパラメータの値における前記近似関数によって仮定される値を、前記画像の隣接画素の、該隣接画素のそれぞれの全体的極の前記フィルタリングパラメータの値における前記近似関数によって仮定される値と比較するステップと、d)当該画素をこの比較に基づいて選択するステップとを含む、方法。

請求項2

請求項1に記載の方法であって、前記基礎フィルタ処理画像に基づいてそれぞれの近似関数を用いて前記フィルタリング関数を近似する前記ステップは、前記基礎フィルタ処理画像の線形結合に基づいて前記近似関数を計算するステップを含む、方法。

請求項3

請求項2に記載の方法であって、前記近似関数は、前記基礎フィルタ処理画像の前記線形結合のさらなる近似に基づく、方法。

請求項4

請求項3に記載の方法であって、前記近似関数は、前記フィルタリングパラメータを変数として有する多項式である、方法。

請求項5

請求項4に記載の方法であって、前記多項式の係数は、前記基礎フィルタ処理画像および前記線形結合の重みの近似に基づいて計算される、方法。

請求項6

請求項1から5のいずれか一項に記載の方法であって、選択された画素から、画素であって、該画素の前記全体的極に対応する前記フィルタリングパラメータにおける前記近似関数によって仮定される値が、第1のしきい値よりも小さい絶対値を有する前記画素を廃棄するステップをさらに含む方法。

請求項7

請求項1から6のいずれか一項に記載の方法であって、−選択された各画素について、表面の主曲率および二次曲率を計算するステップであって、前記表面は、選択された当該画素に中心があるパッチに含まれる画像の画素における前記フィルタリング関数によって形成された、ステップと、−前記主曲率と前記二次曲率との間の比に基づいて、選択された画素から/において当該画素を廃棄する/維持するステップとをさらに含む方法。

請求項8

請求項1から7のいずれか一項に記載の方法であって、−選択された各画素について、対応する前記全体的極における前記フィルタリングパラメータに関する前記近似関数の二次導関数によって仮定される値を計算するステップと、−前記二次導関数によって仮定される当該値に基づいて、選択された画素から/において当該画素を廃棄する/維持するステップとをさらに含む方法。

請求項9

請求項1から8のいずれか一項に記載の方法であって、キーポイントを識別する前記ステップは、さらに、前記フィルタリングパラメータの同じ所定範囲を使用して、前記画像の少なくとも拡大または縮小バージョンについて繰り返される、方法。

請求項10

請求項9に記載の方法であって、−前記基礎フィルタ処理画像の前記フィルタリングパラメータの値の少なくとも1つは、他の基礎フィルタ処理画像の前記フィルタリングパラメータの値の中の最低値二倍に等しく、−前記画像の前記拡大または縮小バージョンは、前記フィルタリングパラメータの最低値を有する前記基礎フィルタ処理画像の近似バージョンから出発して前記基礎フィルタ処理画像を近似することによって得られ、前記基礎フィルタ処理画像の前記近似バージョンは、前記フィルタリングパラメータの最低値の二倍である前記フィルタリングパラメータの値で前記基礎フィルタ処理画像をアンダーサンプリングすることによって近似される、方法。

請求項11

請求項1から10のいずれか一項に記載の方法であって、前記フィルタ処理画像は、ガウシアンラプラシアン演算に基づくフィルタまたはガウシアンの差分に基づくフィルタの適用に基づき、前記フィルタリングパラメータは、ガウシアン関数標準偏差である、方法。

請求項12

請求項4若しくは5、または、請求項4に従属する場合の請求項6から11のいずれか一項に記載の方法であって、前記多項式は、前記フィルタリングパラメータに関して三次多項式である、方法。

請求項13

請求項1から12のいずれか一項に記載の方法であって、前記画像の各画素は、前記画像における前記画素の場所を識別する少なくとも1つの対応する座標を有し、前記方法は、さらに、選択された各画素について、さらなる近似関数に基づいて座標の対応する変化を計算することによって当該各画素の前記少なくとも1つの座標を変更するステップであって、前記さらなる近似関数は、座標の前記変化に関して前記画素における前記フィルタリング関数を近似する、ステップを含み、前記さらなる近似関数は、1)選択された当該画素の前記全体的極に対応する前記フィルタリングパラメータの値における選択された前記画素の前記フィルタリング関数と、2)選択された前記画素の前記全体的極に対応する前記フィルタリングパラメータの値における前記画像の選択された前記画素に隣接する画素の前記フィルタリング関数とに基づく、方法。

請求項14

請求項13に記載の方法であって、前記座標の変化を計算する前記ステップは、前記座標の変化に関して前記さらなる近似関数において最大または最小点を識別するステップと、識別された前記最大または最小点に基づいて当該座標の変化を設定するステップとを含む、方法。

技術分野

0001

[0001]本発明は、画像の解析の分野に関する。

背景技術

0002

[0002]画像解析の分野では、複数の点(画素)(各々が輝度などの画像を代表する物理的パラメータのそれぞれの値によって特徴付けられる)によって形成される画像をいくつかの種類の処理(別の画像との比較など)に出す前に、この画像に表される顕著な細部の位置およびサイズの識別を行うことは、有利である。画像解析の分野では、画像の「顕著な細部」によって、物体視点照明およびカメラの種類に変化がある場合でさえ容易に検出可能である、画像に含まれるその物体の一部分が、意図される。

0003

[0003]数年前までは、画像の顕著な細部の位置を識別することは可能であったが、しかしそれらのサイズはそうでなかった。より詳細には、画像の顕著な細部の場所の識別は、画像の関連する顕著な点(専門用語ではキーポイント)の識別を通じて行われ、それは、顕著な細部の中心に実質的に対応する。円形形状を有する細部の場合、キーポイントは、細部の中心と一致し、一方異なる形状を有する細部の場合、キーポイントの位置は、細部の実際の中心から外れることもある。

0004

[0004]最近、画像キーポイント識別に加えて、そのおかげでまた各キーポイントと関連する顕著な細部のサイズも決定することが可能である手順が、開発された。

0005

[0005]現在は、顕著な細部の位置およびサイズを識別するために使用される方法は、「スケールスペース」の概念に基づいており、それは、画像への徐々に強くなる一連フィルタリングの適用を提供する。画像に適用されるフィルタリングは典型的には、画像点の物理的パラメータ(例えば、輝度)の値について微分演算を行うフィルタリングである。典型的には、そのようなフィルタリングは、ガウシアン関数に基づいており、そのフィルタリング強度は、フィルタリングパラメータσ(ガウシアン関数の標準偏差)によって支配され、フィルタリングパラメータσが、高いほど、ガウシアンは、より平坦で、より広く、ガウシアンは、より強い平滑化効果を有する。座標(x、y)の画素の行列によって形成される画像のスケールスペースは、徐々に強くなるフィルタ(すなわち、徐々に大きくなる値のσを有する)を適用して出発画像から得られるフィルタ処理画像の組(輝度の観点から)によって形成される空間であり、従って三次元(x、y、σ)空間である。

0006

[0006]理論(例えばT.Linderberg(1992)、「Sacle−space behavior of local extrema and blobs(局所的極および斑点のスケールスペース挙動)」、J.of Mathematical Imaging and Vision、1(1)、65〜99頁を参照のこと)は、もしあなたが空間(x、y、σ)に属する点(xp、yp、σp)についてフィルタ処理画像の極値(σに関して)を有するならば、すなわち点(xp、yp、σp)を取り囲む空間(x、y、σ)の一部分において最大値または最小値(σに関して)を有するならば、その時その点は、顕著な細部と関連付けられ、その中心座標は、(xp、yp)であり、サイズは、σpに比例することを述べる。その細部のサイズ(直径)(個数または画素数単位で)は、2*sqrt(2)*σpに等しい。

0007

[0007]従って、スケールスペースにおけるすべての極点(extreme point)を識別することによって、画像の顕著な細部の位置およびサイズが、得られる。

0008

[0008]スケールスペースにおける極点を見いだすために、既知の方法(Lowe、David G.の文献「Object recognition from local scale−invariant features(局所的スケール不変特徴からの物体認識)」、Proceedings of the International Conference on Computer Vision 2.1150〜1157頁において1999年に述べられたデスクリプタ「Scale−Invariant Feature Transform(スケール不変特徴変換)」、SIFTおよび米国特許第6,711,293号の主題を使用する方法など)は、増加する値のσでフィルタ処理された一連の画像を考え、σでフィルタ処理された画像の各点について、それらの値を同じ画像の8つの隣接点の値ならびにそのひと続きにおけるσの前の値および次の値に対応するフィルタ処理画像に存在する18(9+9)個の隣接点の値と比較する。もしこの点が、すべての隣接点よりも小さいまたは大きいならば、その時その点は、空間x、y、σの極(extreme)であり、キーポイントとなる候補である。エッジに沿った細部の場所は、同じシーン描写する異なる画像において容易に変わる可能性があるから、低コントラストを有する画像の部分に対応する点およびエッジに似た構造体上にある点を排除することが、知られているので(例えば、Lowe、DG、「Distinctive Image Features from Scale−Invariant Keypoints(スケール不変キーポイントからの際立った画像特徴)」、International Journal of Computer Vision、60、2、91〜110頁、2004年を参照のこと)、この点は、単に候補にすぎない。その点は、従って信頼性がなく、従って廃棄される。

発明が解決しようとする課題

0009

[0009]本出願者は、画像のキーポイントの識別のための最新技術において知られている手法が、画像をフィルタ処理するためにσの値の限られたサブセットを使用して、σが変化するときにフィルタ処理画像の離散的表現だけを得ることに気付いた。

0010

[0010]しかしながら、本出願者は、必要とされる計算の量を低減しながら、画像のキーポイントをより正確にかつ効果的に識別するために、一般的フィルタ処理画像を、σの離散値の比較的小さい組に対してだけでなく、σに関して連続性を有するそれを表すように近似することが可能であることを観察した。

課題を解決するための手段

0011

[0011]本発明の態様は、一組の画素を備えるデジタル画像のキーポイントを識別するための方法に言及する。各画素は、それに関連して画像代表パラメータのそれぞれの値を有する。前記方法は、フィルタ処理画像を近似するステップを含む。前記フィルタ処理画像は、フィルタリングパラメータに依存し、画像の各画素について画素の代表パラメータの値のフィルタ処理値を計算するためのフィルタリングパラメータに依存するフィルタリング関数を備える。近似する前記ステップは、
a)一組の基礎フィルタ処理画像を生成するステップであって、各基礎フィルタ処理画像は、フィルタリングパラメータのそれぞれの値でフィルタ処理された画像である、ステップと、
b)前記組の画素の少なくともサブセットの各画素について、基礎フィルタ処理画像に基づいてそれぞれの近似関数を用いてフィルタリング関数を近似するステップであって、前記近似関数は、フィルタリングパラメータの所定範囲内のフィルタリングパラメータの関数である、ステップとを含む。

0012

[0012]本方法はさらに、前記サブセットの各画素について、もし近似関数が、前記所定範囲に内在するそれぞれの部分範囲におけるフィルタリングパラメータに関してまた全体的極でもある局所的極を有するならば、当該各画素をキーポイント候補と識別するステップを含む。

0013

[0013]キーポイント候補と識別される各画素について、本方法はさらに、
c)画素の全体的極に対応するフィルタリングパラメータの値における近似関数によって仮定される値を、画像の隣接画素のそれぞれの全体的極のフィルタリングパラメータの値における当該隣接画素の近似関数によって仮定される値と比較するステップと、
d)当該各画素をこの比較に基づいて選択するステップとを含む。

0014

[0014]本発明の実施形態によると、基礎フィルタ処理画像に基づいてそれぞれの近似関数を用いてフィルタリング関数を近似する前記ステップは、前記基礎フィルタ処理画像の線形結合に基づいて前記近似関数を計算するステップを含む。

0015

[0015]本発明の実施形態によると、前記近似関数は、前記基礎フィルタ処理画像の前記線形結合のさらなる近似に基づいている。

0016

[0016]本発明の実施形態によると、前記近似関数は、フィルタリングパラメータを変数として有する多項式である。

0017

[0017]本発明の実施形態によると、前記多項式の係数は、基礎フィルタ処理画像および前記線形結合の重みの近似に基づいて計算される。

0018

[0018]本発明の実施形態によると、本方法はさらに、画素の全体的極に対応するフィルタリングパラメータにおける近似関数によって仮定される値が、第1のしきい値よりも小さい絶対値を有するところの画素を選択された画素から廃棄するステップを含む。

0019

[0019]本発明の実施形態によると、本方法はさらに、
− 選択された各画素について、選択された当該各画素に中心があるパッチに含有される画像の画素におけるフィルタリング関数によって形成される表面の主曲率および二次曲率を計算するステップと、
− 主曲率と二次曲率との間の比に基づいて、選択された画素から/に当該各画素を廃棄する/維持するステップとを含む。

0020

[0020]本発明の実施形態によると、本方法はさらに、
− 選択された各画素について、対応する全体的極におけるフィルタリングパラメータに関する近似関数の二次導関数によって仮定される値を計算するステップと、
− 二次導関数によって仮定される当該値に基づいて、選択された画素から/に当該各画素を廃棄する/維持するステップとを含む。

0021

[0021]本発明の実施形態によると、キーポイントを識別する前記ステップはさらに、フィルタリングパラメータの同じ所定範囲を使用して、画像の少なくとも拡大・縮小バージョンについて繰り返される。

0022

[0022]本発明の実施形態によると、
−基礎フィルタ処理画像のフィルタリングパラメータの値の少なくとも1つは、他の基礎フィルタ処理画像のフィルタリングパラメータの値の中の最低値二倍に等しく、
− 画像の前記拡大・縮小バージョンは、フィルタリングパラメータの最低値を有する基礎フィルタ処理画像の近似バージョンから出発して基礎フィルタ処理画像を近似することによって得られ、基礎フィルタ処理画像の前記近似バージョンは、フィルタリングパラメータの最低値の二倍であるフィルタリングパラメータの値で基礎フィルタ処理画像をアンダーサンプリングすることによって近似される。

0023

[0023]本発明の実施形態によると、前記フィルタ処理画像は、ガウシアンのラプラシアン演算に基づくフィルタまたはガウシアンの差分に基づくフィルタの適用に基づいており、前記フィルタリングパラメータは、ガウシアン関数の標準偏差である。

0024

[0024]本発明の実施形態によると、前記多項式は、フィルタリングパラメータに関する三次多項式である。

0025

[0025]本発明の実施形態によると、画像の各画素は、画像の画素の場所を識別する少なくとも1つの対応する座標を有し、前記方法はさらに、選択された各画素について、座標の対応する変化に関して画素におけるフィルタリング関数を近似するさらなる近似関数に基づいて座標の当該変化を計算することによって当該各画素の前記少なくとも1つの座標を変更するステップを含み、前記さらなる近似関数は、
1)選択された当該各画素の全体的極に対応するフィルタリングパラメータの値における選択された画素のフィルタリング関数に、かつ
2)選択された画素の全体的極に対応するフィルタリングパラメータの値における画像の選択された画素に隣接する画素のフィルタリング関数に基づいている。

0026

[0026]本発明の実施形態によると、座標の変化を計算する前記ステップは、座標の変化に関するさらなる近似関数における最大または最小点を識別するステップ、および識別された最大または最小点に基づいて座標の当該変化を設定するステップを含む。

0027

[0027]本発明のこれらの特徴および利点ならびにさらなる特徴および利点は、例としてであって限定でない、付随する図面と併せて読むべきいくつかの実施形態の下記の説明から明らかにされることになる。

図面の簡単な説明

0028

輝度信号を座標の関数として示すグラフである。
異なる増加する値のσについて、対応するLoGフィルタおよびこのLoGフィルタを通じてフィルタ処理された図1Aの信号を示す図である。
その各点がそれぞれの輝度値を有する、二次元画像を示す図である。
増加する値のσについて、対応するLoGフィルタおよびLoGフィルタを通じてフィルタ処理された図2Aの画像を示す図である。
4つの基礎フィルタLoGBを例示する図である。
本発明の一実施形態による線形結合を用いて近似されたLoGフィルタが、明示的に計算されたそれにどの程度似ているかを示す図である。
4つの基礎フィルタLoGの線形結合の重みが、一般的LoGフィルタを得るためにσの関数においてどのように変化するかを示す略図を例示する図である。
2.5に等しいσを有するフィルタLoGとの畳み込みを通じてフィルタ処理された図2Aの画像を示す図である。
本発明の実施形態による近似関数を用いて2.5に等しいσでLoGフィルタを近似してフィルタ処理された図2Aの画像を示す図である。
図4Aの画像と図4Bの画像との間の差から生じる画像である。
本発明の実施形態による画像のキーポイントを識別するためのプロセスを機能ブロックの観点から例示する流れ図を示す図である。
本発明の実施形態による画像のキーポイントを識別するためのプロセスを機能ブロックの観点から例示する流れ図を示す図である。
グレースケールを用いて、図2Aの例示的画像の各点について本発明の実施形態による近似関数によって仮定される最大値の例を示す図である。
グレースケールを用いて、図2Aの画像の各点について本発明の実施形態による近似関数によって仮定される最小値の例を示す図である。
図2Aの画像の点が、潜在的キーポイントとなる候補である最大の点であるという例を示す図である。
図2Aの画像の点が、潜在的キーポイントとなる候補である最小の点であるという例を示す図である。
図7Aは、本発明の実施形態による、隣接点との比較の手順が実行された後になお潜在的キーポイントと考えられる最大の対応する点を示す図である。図7Bは、本発明の実施形態による、隣接点との比較の手順が実行された後になお潜在的キーポイントと考えられる最小の対応する点を示す図である。
図8Aは、図2の画像の第1のオクターブにおいてキーポイントと識別される点を示す図である。図8Bは、図2の画像の5つの考察されるオクターブにおいてキーポイントと識別される点を示す図である。

実施例

0029

[0028]典型的には、画像に適用されるガウシアン関数に基づくフィルタは、ガウシアンのラプラシアン演算(「Laplacian Of Gaussian」、LoG)またはガウシアンの差分(「Difference Of Gaussian」、DoG)であってもよい。ガウシアンの差分は、ガウシアンのラプラシアン演算を近似するが、しかし計算理由のために採用することが、便利なこともある。その結果、本明細書では、LoGフィルタを使用する演算にいつも言及されることになるが、等価な考察は、DoGフィルタの場合にも当てはまる

0030

[0029]LoGフィルタリング適用を用いる顕著な細部の識別の根底にあるメカニズムを示すために、2つの例が、今から提示されることになり、図1Aおよび図1Bに示される第1の例では、簡単にするために、二次元画像の代わりに、一次元輝度信号が、考えられ、一方図2Aおよび図2Bに示される第2の例は、二次元画像に言及する。

0031

[0030]第1の例を参照すると、図1Aは、単一x座標の関数として輝度値を示すグラフであり、図1Aのグラフを観察すると、信号の2つのピークに対応する2つの顕著な細部の存在に早くも気付くことが可能である。これらの2つの顕著な細部が、中心座標だけでなく、またサイズも識別することを可能にするLoGフィルタリング手順によってどのように識別され得るかを見るために、図1Bが、参照されることになり、それは、異なる増加する値のσ(σ=2、σ=6、σ=10、σ=14、σ=18、σ=22)について、対応するLoGフィルタ(図の左側の)およびこのLoGフィルタを通じてフィルタ処理された図1Aの信号(図の右側の)を示す。考察される例では、2つの極が、識別されてもよく、すなわちσ=6のときにx=210に第1の極、およびσ=14のときにx=110に第2の極がある。これらの極は、2つの顕著な細部の存在を示し、その中心は、210および110点(またはもしそれが画像であるならば画素)にあり、その幅は、関係式、顕著な点の直径=2*sqrt(2)*σを使用すると、約16.87および39.59点である。

0032

[0031]第2の例を参照すると、図2Aは、二次元画像を示し、その各点は、それぞれの輝度値を有し、一方図2Bは、増加する値のσ(σ=2、σ=9、σ=16、σ=23)について、対応するLoGフィルタ(図の右側の)およびそのようなLoGフィルタを通じてフィルタ処理された図2Aの画像(図の左側の)を示す。単語「SCUOLA」の隣の三日月形の窓は、中心に約19画素の高さを有する顕著な細部であり、容易に検出可能なはっきりと分かる形を有する。これは、窓の中央では、画像へのLoGフィルタ適用の結果が、19/(2*sqrt(2))=6.46に等しいσにおいて最大値を有することを意味する。実際、窓の中心では、フィルタリングの結果として得られる最高値(最高の明るさ)が、σ=9を有するLoGフィルタ、すなわち、4つの用いられたLoGフィルタのうちで6.46により近いσ値を有するLoGフィルタに対応するそれであることが観察されてもよい。

0033

[0032]LoGフィルタは、σが増加するにつれてサイズがかなり増加する傾向があるので(σ=50の場合、フィルタは、ほとんど500×500点の行列で表せる)、上で述べられた処理は有利には、計算の数を低減するために、オクターブ手法を使用することによって行われてもよい。オクターブ処理は、原画像についてσ=σ*を有するフィルタの結果が、50%に縮小された画像についてσ=σ*/2を有するフィルタで再現され得るという観察に基づいている。オクターブ処理では、区間が、σについて固定され、フィルタ処理画像が、その範囲に入るいくつかのσで調べられ、次いで画像は、同じ種類の解析を低減画像について繰り返すこと(同じフィルタリングを行うこと)によって50%に縮小される。そのプロセスは、縮小された画像が所定のしきい値よりも小さいサイズを有するまで繰り返される。例えば、VGA画像(640×480)から出発し、画像のより短い辺が20画素よりも少なくなるときにそのプロセスを終了すると、5オクターブが、得られる(640×480、320×240、160×120、80×60、40×30)。

0034

[0033]本発明の実施形態による解決策の基本概念の1つは、これ以降基礎フィルタと呼ばれる、n個の異なるσ=σi(i=1、2、・・・、n)を有する前に計算されたn個のフィルタLoGB(x、y、σi)の線形結合としてLoGフィルタ(x、y、σ)(ただし、x、yは、画像の空間座標(すなわち、画像を形成する点または画素)であり、σは、スケールスペースを規定するx、y、σを有するガウシアンの標準偏差である)を近似することが可能であるという観察から生じており、すなわち、
(1):LoG(x、y、σ)≒p1(σ)LoGB(x、y、σ1)+p2(σ)LoGB(x、y、σ2)+p3(σ)LoGB(x、y、σ3)+・・・+pn(σ)LoGB(x、y、σn)、
ただしp1(σ)、p2(σ)、・・・、pn(σ)は、この説明の後に示されることになるように、その値がσの関数である重みである。xおよびyからの空間依存性は、簡単にするために省略されている。

0035

[0034]図3Aに示される例を参照すると、σ1=1.8、σ2=2.846、σ3=3.6、およびσ4=4.2214を有する4つの基礎フィルタLoGB(σ1)、LoGB(σ2)、LoGB(σ3)、LoGB(σ4)を計算したと想定される。これらの4つの基礎フィルタLoGBの線形結合を作ると、LoGフィルタを、
(2):LoG(x、y、σ)≒p1(σ)LoGB(x、y、1.8)+p2(σ)LoGB(x、y、2846)+p3(σ)LoGB(x、y、3.6)+p4(σ)LoGB(x、y、4.2214)、
として近似することが可能である。

0036

[0035]関係式(2)を使用すると、例えば2.5に等しいσを有するLoGフィルタの良好な近似、
(3):LoG(x、y、2.5)≒0.0161LoGB(x、y、1.8)+0.2501LoGB(x、y、2.846)−0.187LoGB(x、y、3.6)+0.0836LoGB(x、y、4.2214)、
を得ることが可能である。

0037

[0036]図3Bでは、線形結合によって近似されたLoGフィルタ(図の右側の)が、明示的に計算されたそれ(図の左側の)にどの程度似ているかを観察することが可能である。

0038

[0037]重みp1(σ)、p2(σ)、・・・、pn(σ)は、線形方程式系
(4):Ap=b
解くことによって計算され、
ただし、
− Aは、基礎フィルタLoGBの数n(考察される例では、4)に等しい列の数を有する行列であり、それでの各列は、対応する基礎フィルタLoGBを表す。一般的LoGフィルタは、m×mの正方行列(そこでは各要素は1つの画素に対応する)を用いて表せると仮定すると、Aの各列は、各基礎フィルタLoGBの行列の列を縦列に並べることによって構築され、m2要素の対応する列ベクトルを得る。

0039

− bは、近似すべきLoGフィルタを表すm2要素の列ベクトルである。

0040

− pは、その系を解くことによって決定される重みp1(σ)、p2(σ)、・・・、pn(σ)(考察される例では、p1、p2、p3、p4)を含有するn個の要素のベクトルである。

0041

[0038]その系を解くために、本発明の実施形態によると、既知の最小二乗法または、例えば「シミュレテッドアニーリング」として知られる方法(これに関しては、例えばKirkpatrick、S.、Gelatt、CD、Vecchi、MP(1983)、「Optimization by Simulated Annealing(シミュレーテッドアニーリングによる最適化)」、Science 220(4598)、671〜680頁を参照のこと)のような、観察される値と近似される値との間の差のノルムを低減することを可能にする任意の他の方法を使用することが可能である。

0042

[0039]それぞれのσ=σ’1、σ’2、・・・、σ’qを有し、関係式(4)に基づいて近似すべきq個のLoGフィルタの組を選択することによって、n個の基礎フィルタLoGBの各々について行および近似すべきq個のLoGフィルタの各々について列を有し、下記の関係式、
(5)AW=D、
に従ってそのような列に対応するLoGフィルタを近似するために各列について重みp1(σ)、p2(σ)、・・・、pn(σ)を含有する重み行列Wを計算することが可能であり、
ただしDは、q個のLoGフィルタ(σ’j)(j=1、2、・・・、q)を含有する行列である。

0043

[0040]n個の基礎フィルタLoGBのそれぞれについて重み行列Wの対応する要素を挿入すると、その時重みp1(σ)、p2(σ)、・・・、pn(σ)がσに関してどのように変化するかを決定することが可能である。重みp1(σ)、p2(σ)、・・・、pn(σ)の傾向がσに関して近似されるその正確さは、関係式(5)において考察されるLoGフィルタの数qに依存する(qが高いほど、近似はより良好である)。

0044

[0041]図3Cは、前に考察された例の重みp1(σ)、p2(σ)、p3(σ)、p4(σ)がσの関数としてどのように変化するかを示す図を例示する。この場合、曲線は、各重みについて13個の異なるσ=σ’1、σ’2、・・・、σ’q(すなわち、q=13)にそれぞれ対応する13点を挿入することによって生成された。

0045

[0042]画像をLoG(σ)フィルタでフィルタ処理するために、LoGフィルタの畳み込みが、この画像Iについて行われ、
(6):L(σ)=LoG(σ)*I、
ただしL(σ)は、画像に適用されたLoGフィルタの結果であり(これ以降、単に「フィルタ処理画像」と呼ばれる)、*は、畳み込み符号である。

0046

[0043]畳み込みは、線形演算子であるので、そのような特性を利用することによって、有利には任意のフィルタ処理画像L(σ)(すなわち、任意のσに対応するフィルタリングについて)の近似を、明示的にそれを計算する必要なく得ることが可能である。実際、そのような特性を利用し、関係式(1)を関係式(6)に代入することによって、下記の関係式が、得られる。

0047

(7):L(x、y、σ)≒p1(σ)L(x、y、σ1)+p2(σ)L(x、y、σ2)+p3(σ)L(x、y、σ3)+・・・+pn(σ)L(x、y、σn)
[0044]言い換えれば、本発明の実施形態による解決策のおかげで、n個の基礎フィルタLoGB(σi)を使用してn個のフィルタ処理画像L(σi)(i=1、2、・・・、n)を得るために低減した回数(すなわち、n)についてフィルタリングを明示的に計算し、これらのフィルタ処理画像L(σi)から出発して一般的フィルタ処理画像L(σ)を近似するために関係式(7)を利用すれば十分である。

0048

[0045]従って、フィルタ処理画像L(σ)への近似を得るためには、必要とされる正確さの要求を満たすために十分に大きいσのある組についてn個の重みpi(σ)の値を与える重み行列Wを一度計算すれば十分である(すなわち、十分な数qのLoGフィルタを含有する行列Dを考えることによって)。

0049

[0046]本発明の実施形態による解決策の第2の基本的概念は、σの値の連続的な組に依存するフィルタリング近似関数を用いて一般的フィルタ処理画像L(σ)を近似することを提供する。

0050

[0047]本発明の実施形態によると、近似関数は、次数rの多項式であるが、等価な考察は、この近似関数が異なる関数、例えば関数alog(σ)+bσ2+cσ+dである場合にも当てはまる。しかしながら、多項式の選択は、多項式が、計算が速く、容易に導き出せ、特異点がないので、扱いやすいという点で有利である。

0051

[0048]本発明の一実施形態による近似関数を次数rの多項式として計算するために、重み行列Wは次に、下記の方法で近似され、
(8):SF=WT、
ただしSは、サイズq×(r+1)の行列であり、

0052

0053

ただし表記(σ’1)rは、「σ’1がr乗される(σ’1 raised to r)」ことを意味し、
Fは、σ=σ’1、σ’2、・・・、σ’qをそれぞれ有するLoGフィルタを近似するために使用すべき重み行列Wの重みをσ’1、σ’2、・・・、σ’qでの次数rの多項式によって近似するのに役立つ近似の値を含有する行列である。より詳細には、近似行列Fは、次元(r+1)×nの行列であり、そこではFの各列は、Sの列の線形結合を作るために使用される。Fのi番目の列を乗じた行列Sは、WTのi番目の列に含有される重みを近似するベクトルである。Fのk番目の列およびi番目の行の一般的要素は、(σ’i)(r−k+1)に対応するSのk番目の列の線形結合に使用される値である。系(8)を解くために、本発明の実施形態によると、既知の最小二乗法または観察される値と近似される値との間の差のノルムを低減することを可能にする任意の他の方法を使用することが可能である。

0054

[0049]関係式(8)を関係式(5)に代入すると、
(10):AFTST≒D
が得られる。

0055

[0050]それ故に、関係式(10)に基づいて、本発明の実施形態によると、以下で、

0056

0057

と示されるように、行列FTとの乗算を用い、その結果をσでの次数rの多項式の係数として使用することによって行列Aに含有される基礎フィルタLoGB(σi)の値の線形結合を作る、任意のσを有するフィルタLoG(σ)を近似することが可能であり、
ただし(:)は、その表記に先行する行列が、行列の様々な列を縦列に並べることによって得られるベクトルに変換されることを示す表記である。

0058

[0051]行列Aに含有される基礎フィルタLoGB(σi)によって形成される基底所与として、行列Fは、一度だけ計算され、任意のフィルタLoG(σ)を近似するために使用されることが、留意されるべきである。

0059

[0052]前になされたように、畳み込みの線形特性を使用し、関係式(11)を関係式(6)に代入すると、

0060

0061

が得られ、
ただしL(σ)は、フィルタLoG(σ)でフィルタ処理された一般的画像を表し、L(σi)(i=1、2、・・・、n)は、n個の基礎フィルタLoGB(σi)を用いてフィルタ処理された画像を表す。

0062

[0053]言い換えれば、関係式(12)を展開すると、本発明の一実施形態によると、一般的フィルタ処理画像L(x、y、σ)は、下記の近似関数で近似されてもよく、
(13):L(x、y、σ)≒cr(x、y)σr+c(r−1)(x、y)σ(r−1)+・・・+c1(x、y)σ+c0(x、y)、
ただし近似関数の多項式の(r+1)個の係数cr、・・・、c0は、n個の基礎フィルタLoGB(σi)を使用してフィルタ処理された画像L(σi)(i=1、2、・・・、n)および行列Fの関数であり、xおよびy座標の関数として画素ごとに変化する。この近似は、σが単一オクターブ内で変えられる区間(その端は、設定されてもよいパラメータである)において有効である。

0063

[0054]一実施形態によると、計算の複雑さと近似の正確さとの間の良好な妥協であることが見出されるように、近似関数の多項式の次数rは有利には、3に等しい。具体的には、r=3については、一般的フィルタ処理画像L(x、y、σ)は、下記の近似関数で近似されてもよい。

0064

(14):L(x、y、σ)≒c3(x、y)σ3+c2(x、y)σ2+c1(x、y)σ+c0(x、y)
[0055]三次多項式としての近似関数によって得られる近似の良好さを知るために、2.5に等しいσを有するLoGフィルタとの畳み込みを通じて図2Aの画像から得られるフィルタ処理画像を表示する図4Aを、σi=1.8、2.846、3.6、および4.2214を有する4つの基礎フィルタLoGB(σi)を使用して近似関数(14)を用いて2.5に等しいσを有するLoGフィルタを近似することによって図2Aの同じ画像から得られるフィルタ処理画像を表す図4Bと比較されたい。図4Cは、図4Aの画像と図4Bの画像との間の差から生じる画像である。図4Cを観察することによって分かるように、LoGとの明示的な畳み込みを用いてフィルタ処理された画像(図4A)と近似関数(14)を用いてフィルタ処理された画像(図4B)との間の差は、ゼロに近い。

0065

[0056]以下で詳細に述べられることになるように、本発明の一実施形態によると、今しがた述べられた近似関数のツールは有利には、任意のデジタル画像Iにおいて、その後の画像解析を行うために利用すべきキーポイントの組を識別するために使用される。

0066

[0057]本発明の一実施形態によるデジタル画像Iのキーポイントの識別のプロセスは、図5A図5Bに示される流れ図100に機能ブロックの観点から例示される。

0067

[0058]このプロセスの機能ブロックを詳細に説明することに進む前に、近似関数の構築は、近似行列Fの使用を必要とし(関係式(12)を参照のこと)、それは有利には、例えば訓練の前の段階の間に一度計算され、次いで任意の画像Iに適用される任意のフィルタLoG(σ)を近似するために使用されるということが、留意されるべきである。この訓練段階の間に、σi<σi+1について、n個の基礎フィルタLoGB(σi)(i=1、2、・・・、n)の組、およびq個のフィルタLoG(σ’j)(j=1、2、・・・、q)の組を選択し、近似行列Fを前に述べられたように計算する(関係式(10)を参照のこと)。

0068

[0059]今から図5A図5Bを見ると、プロセスの第1段階は、一般的画像Iから出発して、n個の基礎フィルタLoGB(σi)を用いてフィルタ処理されたn個の対応する画像が、計算され、すなわちL(σi)(i=1、2、・・・、n)が、計算されるということを提供する(ブロック102)。

0069

[0060]この時点(ブロック104)において、σの作業範囲が、選択され、そこでは下記の演算を行う。下記の説明で明らかになるように、作業範囲の下端としてσi=1、および作業範囲の上端としてσi=nを選択すると、プロセスの後の段階においていくつかの計算をすることを回避することが可能である。

0070

[0061]調整点(xt=0、yt=0)などの、画像Iの点(xt、yt)が次いで、ブロック108〜124に関係する演算をそれについて行うために選択される(ブロック106)。

0071

[0062]選択点(xt、yt)におけるフィルタ処理画像L(xt、yt、σ)が次いで、x=xtおよびy=ytについての関係式(12)を使用して近似関数(例えば、次数rの多項式)を計算することによって近似される(ブロック108)。例えば、r=3の場合、フィルタ処理画像L(xt、yt、σ)は、次のσの三次多項式関数((xt、yt)に依存する係数を有する):c3(xt、yt)σ3+c2(xt、yt)σ2+c1(xt、yt)σ+c0(xt、yt)によって近似される。

0072

[0063]キーポイントであるべき画像の点に対する必要条件は、その点が、この点を取り囲むスケールスペース(x、y、σ)の一部分に極値を有するということである。本発明の実施形態によると、フィルタ処理画像L(x、y、σ)が、σに依存する近似関数によって近似されるという事実のおかげで、点が極値を有するかどうかを決定することは有利には、この点の近似関数のσにおける傾向を隣接点の近似関数のσにおける傾向と比較して行われてもよい。

0073

[0064]こういうわけで、次のステップ(ブロック110)では、近似関数の一次導関数が、σに関して計算され、可能性のある局所的な最大または最小点を識別するために、この導関数が、考察されるσ範囲において(端を除いて)ゼロに等しい値を仮定するかどうかのチェック、および肯定的な場合は、それがどこかのチェックが、行われる。多項式を近似関数として使用すると、非常に迅速に導関数を容易に計算することが可能である。考察される例を参照すると、点(xt、yt)におけるフィルタ処理画像L(xt、yt、σ)の一次導関数は、3c3(xt、yt)σ2+2c2(xt、yt)σ+c1(xt、yt)に等しい。

0074

[0065]もしこの一次導関数が、σ範囲(この範囲の端を除く)の少なくとも1つの点σmにおいて値ゼロを仮定するならば(ブロック112の出力分岐Y)、プロセスは、前記少なくとも1つのσmにおける近似関数によって仮定される値を計算すること(ブロック114)、および近似関数のこの値を、考察されるσ範囲の端と対応して同じ近似関数によって仮定される値と比較すること(ブロック116)を提供する。もしブロック104において決定されるσ範囲が、下端としてσi=1、および上端としてσi=nを有するならば、その範囲の端における近似関数の値は、基礎フィルタLoGB(σ1)、LoGB(σn)を通じてフィルタ処理画像L(σ1)、L(σn)としてブロック102においてすでに計算されているので(近似なしに)、これらの値を計算しなければならない必要さえない。

0075

[0066]ブロック116において行われる比較を通じて、σmがまた、考察されるσ範囲において近似関数の全体的最大(もしくは最小)点でもあるかどうか、またはそれが、局所的最大(もしくは最小)点だけであるかどうかを決定することが可能である。

0076

[0067]もしσmが、σに関して全体的最大(または最小)点近似関数であると決定されるならば(ブロック118の出力分岐Y)、その時近似関数の現在の係数cr、・・・、c0の値を決定した対応する選択点(xt、yt)は、潜在的キーポイントである。この場合(ブロック120)、その点の座標(xt、yt)、値σmおよびσmについて計算された近似関数の値は、「潜在的キーポイント」の表と識別される第1の表の要素に挿入される。第1の表に属する点の各々について、2*sqrt(2)*σmに等しい、その点と関連する顕著な細部の直径の評価もまた得られることが、留意されるべきである。

0077

[0068]もし代わりにσmが、σに関して近似関数の全体的最大(もしくは最小)点でないならば(ブロック118の出力分岐N)、または近似関数の導関数が、σ範囲(この範囲の端を除いて)における少なくとも1つの点σmにおいてゼロ値を仮定しない場合には(ブロック112の出力分岐N)、その時近似関数の現在の係数cr、・・・、c0の値を決定した対応する選択点(xt、yt)は、潜在的キーポイントであるはずがない。この場合、(ブロック122)その点の座標(xt、yt)およびσmについて計算された近似関数の値は、「廃棄された点」の表と識別される第2の表の要素に挿入される。

0078

[0069]本発明の別の実施形態によると、点が、潜在的キーポイントと考えられ、次いでそれが、第1の表に挿入されるためには、対応する全体的最大(または最小)点σmはさらに、ブロック104において選択された作業範囲のサブセットに含まれるという条件を満たさなければならず、そのようなサブセットは、σi=1よりも大きい下端およびσi=nよりも小さい上端を有する。このように、約0.1(σに関して)の最小サイズを有する近傍などの、十分に大きいσmの近傍においてその近似関数の挙動が知られているσmにおいて起こるのは、最大または最小点だけである(In this way,only the maximum or minimum points that happens in σm of which the behavior of the approximation functions are known in a neighborhood of σm that is sufficiently large,such as a neighborhood having a minimum size of about 0.1(with respect to σ))。

0079

[0070]また、キーポイントの正しい識別を危うくすることもあり得るアーチファクトの発生を防止するためにも、画像の境界に属する画像点は、可能性のある全体的最大(または最小)点の存在にかかわらず、直接廃棄され(従って第2の表に挿入される)。

0080

[0071]座標(xt、yt)の各点について、より多くの最大点および/または最小点があることは、可能であることが、留意されるべきである。この場合、最大点の場合には、より高いL(xt、yt、σ)値を有する点だけが、考えられてもよく、一方最小点の場合には、より低いL(xt、yt、σ)値を有する点だけが、考えられてもよい。

0081

[0072]本発明のさらなる実施形態によると、各点についてσの同じ作業範囲を使用する代わりに、それぞれの異なる作業範囲を使用することが可能である。例えば、近似関数の局所的最大(または最小)点は、σmを含みかつσmに依存する端を有する作業範囲の部分区間であるσ範囲に関して全体的最大(または最小)と考えられてもよい。この時点において、チェックが、選択点(xt、yt)が画像Iの最終点であるか否かを決定するために行われる(ブロック124)。

0082

[0073]否定的な場合には(ブロック124の出力分岐N)、画像の新しい点(xt、yt)が、選択され(ブロック126)、上で述べられた演算が、新しい点について繰り返される(ブロック108に戻る)。

0083

[0074]肯定的な場合には(ブロック124の出力分岐Y)、画像のすべての点が、第1または第2の表に分類される。

0084

[0075]図6Aは、グレースケールを用いて、例示的図2Aの画像の各点について近似関数によって仮定される最大値の例を示し、そこではより明るい色は、より高い値に対応する。図6Bは、グレースケールを用いて、図2Aの画像の各点について近似関数によって仮定される最小値の例を示し、そこではまたこの場合も、より明るい色は、より高い値に対応する。図6Cおよび図6Dは、図2Aの画像の点が、潜在的キーポイント(すなわち、第1の表に含まれた点)となる候補であるそれぞれ最大点および最小点である例を黒で示す。

0085

[0076]本発明の実施形態によると、図5A図5Bのキーポイントの識別のプロセスのその後の演算は、近似関数において最大を有する第1の表に属する画像の各点(xt、yt)について、識別される最大の値σmにおける前記点の近似関数の値がまた、画像のその点に隣接する8つの点の近似関数によって仮定される最大値よりも大きいかどうかも検証することを提供する。同様に、近似関数において最小を有する第1の表に属する画像の各点(xt、yt)について、識別される最小の値σmにおけるその点の近似関数の値がまた、画像のその点に隣接する8つの点の近似関数によって仮定される最小値よりも小さいかどうかも検証される。

0086

[0077]最大点を考えると(同様の考察はまた、最小点に当てはまることもある)、本発明の一実施形態によると、点(xt、yt)が、第1の表から選択され(ブロック128)、その点の近似関数の最大値(第1の表の対応する要素から得られる)は、画像の8つの隣接点の近似関数の最大値(第1および/または第2の表のそれらの隣接点に対応する要素によって得られる)と比較される(ブロック130)。8つの隣接点のそれぞれは、次には潜在的キーポイント(この場合、その点は、第1の表に記載される)またはすでに廃棄された点(この場合、その点は、第2の表に記載される)である可能性があると強調される。もし選択点における近似関数の最大値が、隣接点の近似関数のすべての最大値よりも大きいように見えるならば(ブロック132の出力分岐Y)、その時その点はなお、潜在的キーポイントと考えられ、従ってそれは、第1の表に残される(ブロック134)。もし選択点における近似関数の最大値が、隣接点の近似関数のすべての最大値よりも大きくないならば(ブロック132の出力分岐N)、その時その点はもはや、潜在的キーポイントと考えられるべきでなく、従ってそれは、第1の表から除去され、第2の表に挿入される(ブロック136)。チェックが次いで、第1の表に記載されるすべての点が比較されたか否かを決定するために行われる。否定的な場合には(ブロック138の出力分岐N)、新しい点が、第1の表から選択され(ブロック140)、ブロック132〜136の演算が、この新しい点について再び実行される。肯定的な場合には(ブロック138の出力分岐Y)、潜在的キーポイントの初期選別が、終了した。

0087

[0078]本発明の実施形態による解決策を使用すると、画像の一般的な点におけるフィルタ処理画像の挙動を隣接点におけるフィルタ処理画像の挙動に関して、単にその点の近似関数の傾向を隣接点の近似関数の傾向と比較することによって、速くかつ効率的に評価することが可能であった。

0088

[0079]図6Cおよび図6Dに示される例に戻ると、図7Aおよび図7Bは、ブロック130〜140の手順が実行された後、第1の表に残っている(すなわち、なお潜在的キーポイントである)対応する最大点および最小点をそれぞれ黒色で示す。

0089

[0080]本発明の実施形態によると、第1の表に残っている潜在的キーポイントはこれ以降、それらが最大または最小点であるという事実とは無関係に考えられる。

0090

[0081]本発明の実施形態によるキーポイント識別手順はさらに、貧弱な安定性を有すると思われるそれらの点を、すなわち、異なる方法でまたは異なる照明条件でそのシーンを観察すると、それらがその上にある物体に関して位置を変える可能性がある、またはもはや検出されない可能性があるシーンの要素に属するキーポイントを潜在的キーポイントの第1の表から除去するステップを含む。本発明の実施形態によると、安定性は、下記の3つの安定性試験の1つまたは複数を実行することによって決定される。

0091

[0082]本発明の一実施形態による第1の安定性試験(ブロック142)は、あるしきい値よりも小さい対応するσmにおいて計算された近似関数の絶対値を有する点を第1の表から廃棄することを提供する。これらの点は、最小コントラスト(しきい値によって決定される)よりも低いコントラストを有する画像の領域に属する。この検証はまた、近似関数を用いて実行された近似という理由だけでキーポイントと識別された可能性のある点を排除することも可能にする。実際には、一様な色を有する領域(それ故に非常に低いコントラストを有する領域)の対応において、σが変化するときに前記領域に属する点におけるフィルタリングの結果は、ほとんど一定でかつゼロに近い値を有するはずであり、従って平坦な傾向を有するはずであるが、しかし近似関数を利用する近似は、その近似によって導入されるだけのゼロに近い局所的最大または最小を生成する(特にもし近似関数が多項式であるならば)傾向があり、それは、その点が廃棄される代わりにキーポイントとして分類されることを可能にすることもある。

0092

[0083]本発明の一実施形態による第2の安定性試験(ブロック144)は、第1の表の各点について、この点に中心がある画像の3×3画素のパッチにおいて、そのパッチに属する点における関数L(x、y、σ)によって形成される表面の主曲率および二次曲率(第1の主曲率に直交する)を計算すること、ならびにそれらの2つの曲率を比較し、その比を計算することを提供する。もし2つの曲線が似ているように見えるならば、その点が、その位置が良く規定される画像の領域に入り、その点が、第1の表に残されることを意味し、一方もし2つの曲線が、著しく異なるならば、その点が、ボード(board)に似た画像の領域に入り、従ってその場所または存在が、シーンがどのように観察されるかに応じてかなり変わるので、まったく信頼できないことを意味する。この最後の場合、その点は、第1の表から除去される。この試験はまた、キーポイントの識別のための既知の手順においても使用されるが、しかし曲率を計算するために使用される点のパッチがすでにフィルタ処理された画像に属する後者と異なり、本発明の実施形態によると、パッチはその時、細部が実際に属するスケールにおいて表面のより正確な像を有するために、考察される点のσmにおいてその点のフィルタ処理画像を計算することによって構築される。

0093

[0084]本発明の一実施形態による第3の安定性試験(ブロック146)は、その点のσmの対応において計算される近似関数の二次導関数によって与えられる、関数L(x、y、σ)の曲率(σにおける)の値を計算することを提供する。三次多項式に対応する近似関数の前に考察された例を参照すると、点σmにおける関数L(xt、yt、σ)の曲率は、L’’(xt、yt、σm)=6c3(xt、yt)σm+2c2(xt、yt)に等しい。もし曲率の絶対値が、しきい値よりも大きいならば、その時その点は、安定であると考えられ、従って第1の表に残される。もし曲率の絶対値が、しきい値よりも小さくなるならば、その時その点は、不安定であると考えられ、従って第1の表から除去される。

0094

[0085]計算を低減するために、キーポイントを識別するためのプロセスは有利には、オクターブ手法で、すなわちσの同じ作業範囲をいつも使用して、ますます拡大・縮小される画像Iのバージョンについて今まで述べられたすべての演算を繰り返すことによって行われる。

0095

[0086]こういうわけで、本発明の一実施形態によると、今まで述べられた演算を行った後、第1の表に記載される点の座標の改善が、実行される(ブロック148)。ここまでは、実際には、第1の表に記載される各点の座標(xt、yt)は、原画像Iの画素の現実整数座標に対応する。もし前記改善が、実行されなかったならば、画像が、画像の元のサイズの半分だけ、4分の1だけ、8分の1だけなどに縮小され、最大解像度に戻される、より高いオクターブにおいて識別される点の座標は、対応する顕著な細部と中心が合わないキーポイントの識別を引き起こすことになる。座標の改善段階は、顕著な細部の中心をより正確に決定することに向けられる。

0096

[0087]この改善を実行するために、本発明の実施形態によると、前述であらわにされたそれに似た手法は、σが変化するときにある点におけるフィルタ処理画像を近似関数で近似することである。この場合、近似されるものは代わりに、空間座標xt−uおよびyt−vが、第1の表に記載される一般的な点(xt、yt)の近傍で変化し、σを対応するσm値に固定するときのフィルタ処理画像である。

0097

[0088]例えば、本発明の一実施形態によると、xおよびyが変化するときにフィルタ処理された画像は、近似関数、例えば2つの変数uおよびvでの二次多項式によって近似されてもよい。

0098

(15):L(xt−u、yt−v、σ)≒l5(xt、yt、σ)u2+l4(xt、yt、σ)v2+l3(xt、yt、σ)uv+l2(xt、yt、σ)u+l1(xt、yt、σ)v+l0(xt、yt、σ)
[0089]すでに述べられたそれに似た方法で、近似関数の係数は、LoGフィルタリングによって得られるいくつかのフィルタ処理画像の線形結合として計算される。例えば、本発明の実施形態によると、係数は、値σmにおける(すなわち、主曲率および二次曲率の比を計算するために使用されるパッチの値における)σについて、点(xt、yt)に中心がある3×3点におけるフィルタ処理画像の結合である。一般化すると、係数を得るために、近似行列Gが、上に述べられた近似行列Fの同じ方法で構築され、前記行列は、パッチのLoGフィルタを乗じられる。近似関数は次いで、uに関する一次導関数およびvに関する一次導関数がゼロに等しい点に対応する最大または最小(点(xt、yt)が最大または最小と識別されたかに応じて)の識別のための演算を受ける。点(xt、yt)に中心があるパッチであると、ゼロに等しいuに関する一次導関数およびvに関する一次導関数を課すことによって与えられる系を解くuおよびvは、座標(xt、yt)に適用すべきシフトを提供する。本発明の実施形態によると、もしシフトが、少なくともuまたはvに沿って画像の画素の絶対値においてより大きく計算されるならば、その時その点は、第1の表から廃棄される。この最後の事象は、まれであるが、しかしスケールスペース(x、y、σ)における極の識別のプロセス全体は、初めにσに沿って、次いでxおよびyに沿って作業することによって起こったので、なお起こることもある。本発明の実施形態によると、もし必要とされる計算および手順の複雑さを増加させるとすれば、フィルタ処理画像をx、y、およびσの単一関数で近似することが可能であることになる。

0099

[0090]この時点では、第1の表に残るすべての点は、考察されるオクターブにおいて画像Iのキーポイントと識別される(ブロック150)。各キーポイントについて、画像でのそれの位置(おそらくはブロック148の改善段階に従って変更される、座標(xt、yt))、および関連する顕著な細部のサイズ(2*sqrt(2)*σmに等しい)の両方が、知られている。

0100

[0091]図8Aは、図2Aに示される例示的画像の第1のオクターブにおいてキーポイントと識別される点を示す。各キーポイントは、キーポイントの位置に中心がある円で識別され、関連する顕著な細部の直径に比例する直径を有する。

0101

[0092]図5A図5Bに戻ると、この時点では、今までに考察されたオクターブが、選択されたオクターブの組(例えば、5つのオクターブ)の最後の1つであるかどうかが、検証される。肯定的な場合には(ブロック151の出力分岐Y)、本プロセスは、終了され、さもなければ(ブロック151の出力分岐N)画像の拡大・縮小バージョンが、次のオクターブに移るために計算され(ブロック152)、次いでキーポイント識別プロセスが、新しいオクターブにおいて繰り返される(ブロック102に戻る)。十分な数(例えば5)のオクターブについて本プロセスを繰り返した後、キーポイント識別プロセスは、終了される。

0102

[0093]図8Bは、図2Aに示されるサンプル画像のすべての考察されたオクターブ(考察された例では5)においてキーポイントと識別される点を示す。

0103

[0094]本発明の実施形態によると、次のオクターブに対応する拡大・縮小画像直接計算する代わりに、画像の拡大・縮小バージョンが、基礎フィルタLoGB(σi)のためのσiを、そのようなσiの1つが第1のσi=1(それは考察されるσiの中の最低である)の二倍に等しいように選択することによって近似されてもよく、フィルタ処理画像は、σ1の二倍であるそのようなσiでアンダーサンプリングされてもよい(水平にも垂直にも2ごとに1つの画素を取り)。このようにして、50%に縮小された画像が、もし基礎フィルタLoGB(σ1)でフィルタ処理されたならば、どのような結果となるかの良好な近似が、得られる。アンダーサンプリングについては、従って、第1の基礎フィルタLoGB(σ1)でフィルタ処理された次のオクターブの画像が、得られる。一般的基礎フィルタLoGB(σi)に対応する50%に縮小された画像のフィルタリングは、前の基礎フィルタLoGB(σi−1)でフィルタ処理された50%に縮小された画像をフィルタ処理することによって得られる。様々なオクターブにおいて抽出されたキーポイントのx、y座標およびスケールσは、その後原画像Iのサイズに報告される。

0104

[0095]前の説明は、本発明の様々な実施形態を詳細に示し、説明するが、しかしながら、添付の請求項によって規定される範囲から逸脱することなく、述べられた実施形態へのいくつかの可能な変更、ならびに本発明の異なる実施形態がある。

0105

[0096]例えば、本説明において、すべての画像点(それのエッジにある点を除いて)について演算を行うことを計画するキーポイントの識別のための手順への言及が、なされるが、同様の考察は、その点のサブセットだけがそのような演算を受ける場合に当てはまることもある。

0106

[0097]さらに、本説明では、LoGまたはDoGに基づくフィルタへの言及が、なされ、その場合そのようなフィルタのフィルタリング強度を決定するフィルタリングパラメータは、ガウシアン関数の標準偏差であるが、同様の考察は、フィルタが、画像の平滑化バージョンの差に基づいて得られる場合にも当てはまる。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ