技術 ビデオにおける動きアクティビティの記述方法

0001

本発明は、連続したビデオフレームから特徴を抽出することに関し、特に、圧縮されたビデオ信号から“動き（ｍｏｔｉｏｎ ａｃｔｉｖｉｔｙ）”を抽出する方法に関するものである。

0002

動画像符号化専門家グループ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ））により、デジタルカラービデオ信号の帯域幅を圧縮するための基本的な規格が採用されている。ＭＰＥＧ規格では、画像のフルフレームに対してとびとびにのみ情報を展開することにより、高圧縮率を達成させている。フル画像フレーム、すなわち、フレーム内符号化フレーム（ｉｎｔｒａ−ｃｏｄｅｄｆｒａｍｅ）は、しばしば「Ｉフレーム」または「アンカフレーム」と呼ばれ、他のいかなるフレームからも独立したフルフレーム情報を含んでいる。画像差フレーム、すなわち、フレーム間符号化フレーム（ｉｎｔｅｒ−ｃｏｄｅｄｆｒａｍｅ）は、しばしば「Ｂフレーム」及び「Ｐフレーム」あるいは「予測符号化フレーム（ｐｒｅｄｉｃｔｉｖｅ ｆｒａｍｅ）」と呼ばれ、Ｉフレーム間で符号化され、参照フレームに関する画像差すなわち残余のみを表したものである。

0003

一般に、連像したビデオ信号（以下、ビデオシーケンスとする。）の各フレームは、より小さいブロックの画像素子（ｐｉｃｔｕｒｅ ｅｌｅｍｅｎｔ）、すなわち、画素（ｐｉｘｅｌ）データに分割される。各ブロックには、統計的に依存した空間的ドメイン画素を、独立した周波数ドメインＤＣＴ係数に変換する、離散コサイン変換（ＤＣＴ）関数が施される。８×８または１６×１６ブロックの画素は、「マクロブロック」と呼ばれるが、それらにそれぞれＤＣＴ関数が施されることにより、符号化信号が供給される。

0004

ＤＣＴ係数は、通常、マクロブロックにおいてわずかな係数のみがピクチャ情報の主要部分を表すよう、エネルギ集中されている。例えば、マクロブロックが物体の輪郭（エッジ）の境界を含む場合、変換後の、すなわち、ＤＣＴ係数によって表されるそのブロックのエネルギは、ＤＣＴ係数の行列を通して相対的に大きいＤＣ係数とランダムに分散したＡＣ係数とを含む。

0005

一方、エッジの無いマクロブロックは、通常、同様に大きいＤＣ係数と、そのブロックに関連付けられた他の係数より実質的に大きい隣接した数個のＡＣ係数とによって特徴付けられる。一般に、ＤＣＴ係数は、送信媒体に対し、適応量子化が施され、その後、ランレングスおよび可変長符号化が施される。このため、送信されたデータのマクロブロックは、一般に、８×８行列より少ないコードワード（ｃｏｄｅｗｏｒｄ）を含む。

0006

フレーム間符号化フレームデータ、すなわち符号化されたＰまたはＢフレームデータのマクロブロックは、マクロブロックにおける予測された画素と実際の画素との間の差のみをあらわすＤＣＴ係数を含む。また、フレーム内符号化およびフレーム間符号化フレームデータのマクロブロックは、採用される量子化のレベル、マクロブロックアドレスまたはロケーションインジケータおよびマクロブロックタイプ等の情報も含む。後者の情報は、しばしば「ヘッダ」または「オーバヘッド」情報と呼ばれる。

0007

各Ｐフレームは、最後に現れたＩまたはＰフレームから予測される。各Ｂフレームは、それが間に配置されているＩまたはＰフレームから予測される。予測符号化プロセスには、しばしば「動きベクトル」と呼ばれる変位ベクトルを生成することが含まれる。これは、現在符号化されているＢまたはＰフレームのマクロブロックと最も近接して一致するＩフレームのマクロブロックに対する変位の大きさを示す。Ｉフレームにおける一致したブロックの画素データが、画素毎に、符号化されているＰまたはＢフレームのブロックから引出されることにより、残余が得られる。変換された残余およびベクトルは、ＰおよびＢフレームに対して符号化データの一部を形成する。

0008

ＩＳＯＭＰＥＧ−１およびＭＰＥＧ−２等の他の従来のビデオ規格は、本来ビデオ信号の時間的および空間的圧縮を扱う比較的低レベルの仕様である。これらの規格を用いて、広範囲のアプリケーションに亙って高圧縮率を達成することができる。ＭＰＥＧ−４等のより新しいビデオ符号化規格（「Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ−−Ｇｅｎｅｒｉｃ ｃｏｄｉｎｇ ｏｆ ａｕｄｉｏ／ｖｉｓｕａｌ ｏｂｊｅｃｔｓ」ＩＳＯ／ＩＥＣＦＤＩＳ１４４９６−２（ＭＰＥＧ４ Ｖｉｓｕａｌ）、Ｎｏｖ．１９９８を参照）により、任意形状の物体を別々のビデオオブジェクトプレーン（ＶＯＰ）として符号化および復号化することができる。これら新しい規格は、インタラクティブビデオ等、自然および人工の材料が統合され、アクセスが多方向（ｕｎｉｖｅｒｓａｌ）のマルチメディアアプリケーションを可能にすることが意図されている。例えば、特定のタイプのビデオオブジェクトから特徴を抽出するか、または特定のクラスのビデオオブジェクトに対して実行することが望まれる場合がある。

0009

インターネット上のビデオ配信等、新しいデジタルビデオサービスの出現に伴い、例えばアクティビティの識別等、フレームレベルかまたはオブジェクトレベルで、ビデオシーケンスにおける情報を識別する信号処理技術に対する必要性が高まっている。
特徴抽出

0010

圧縮データからビデオを索引付けするための特徴抽出における従来の方法は、本来、ＤＣ係数抽出に重きをおいていた。「Ｒａｐｉｄ Ｓｃｅｎｅ Ａｎａｌｙｓｉｓ ｏｎ Ｃｏｍｐｒｅｓｓｅｄ Ｖｉｄｅｏ」（ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎＣｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ，Ｖｏｌ．５，Ｎｏ．６，Ｄｅｃｅｍｂｅｒ １９９５，ｐｐ．５３３−５４４）と題された論文において、ＹｅｏおよびＬｉｕは、ＭＰＥＧ−２圧縮ビデオドメインにおけるシーン変化検出の方法を記述している。また、その著者達は、圧縮されていない画像データ全体のシーケンスに基づいてシーン変化を検出するこれまでの努力および他の種々の圧縮ビデオ処理技術を再検討している。ＹｅｏおよびＬｉｕは、シーン分析操作を容易にするために、いわゆるＤＣ画像である原画像の空間的に低減されたバージョンと圧縮ビデオから抽出されたＤＣシーケンスとを使用することを示した。それら「ＤＣ画像」は、原画像のブロックにおける画素の平均値である画素から作成されており、ＤＣシーケンスは、ＤＣ画像の数の低減された画素の組合せである。なお、ＤＣ画像抽出ベースの技術は、Ｉフレームに対して適している。それは、ＩフレームからＤＣ値を抽出することが、比較的簡単だからである。しかしながら、他のタイプのフレームに対しては、追加の計算が必要である。

0011

Ｐｒｏｃ．ＳＰＩＥＣｏｎｆ．ｏｎ Ｓｔｏｒａｇｅ ａｎｄ Ｒｅｔｒｉｅｖａｌ ｆｏｒ Ｉｍａｇｅ ａｎｄ Ｖｉｄｅｏ Ｄａｔａｂａｓｅｓ，Ｊａｎｕａｒｙ １９９８で発表された論文において、Ｗｏｎ等は、ＤＣ係数で費やされたビットを利用してフレーム内のエッジを位置付けることにより、圧縮されたＭＰＥＧ−２ビデオから特徴を抽出する方法を述べている。しかしながら、彼らの研究は、Ｉフレームのみに限定されている。

0012

Ｋｏｂｌａ等は、同じ会報において、Ｙｅｏ等のＤＣ画像抽出を用いてビデオクリップを特徴付けるビデオトレイルを形成する方法を述べている。

0013

Ｆｅｎｇ等（ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，Ｖｏｌ．ＩＩ，ｐｐ．８２１−８２４，Ｓｅｐｔ．１６−１９，１９９６）は、ＤＣ画像を抽出することなく、ＭＰＥＧ−２フレームのマクロブロックに亙ってビットアロケーション（ビットの割り当て）を使用することにより、急なシーンの変化を検出した。Ｆｅｎｇ等の技術は、圧縮ビットストリームを解析するために必要である以上に重要な計算が必要でないため、計算上最も簡単である。

0014

１９９９年１月１４日に出願された「Ｍｅｔｈｏｄｓｏｆ ｓｃｅｎｅ ｃｈａｎｇｅ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｆａｄｅ ｄｅｔｅｃｔｉｏｎ ｆｏｒ ｉｎｄｅｘｉｎｇ ｏｆ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅｓ」と題された米国特許出願第０９／２３１，６９８号および１９９９年１月２５日に出願された「Ｍｅｔｈｏｄｓ ｏｆ Ｆｅａｔｕｒｅ Ｅｘｔｒａｃｔｉｏｎ ｆｏｒ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅｓ」と題された米国特許出願第０９／２３６，８３８は、Ｆｅｎｇ等の方法とＹｅｏ等の方法のいくつかの態様に基づいて正確かつ簡単なシーン変化検出を行う、計算上簡単な技術を述べている。推測されるシーンまたはオブジェクトの変化が、ＤＣ画像抽出ベースの技術を使用することにより、連続フレームのグループに正確に位置付けられると、位置付けられたシーンの付近のＰまたはＢフレーム情報に対する、適当なビットアロケーションベースの技術および／または適当なＤＣ残余係数処理技術のアプリケーションは、その切点を迅速かつ正確に位置付ける。この組み合わされた技術は、ＭＰＥＧ−２フレームシーケンスまたはＭＰＥＧ−４複数オブジェクトシーケンスのいずれに対して適用可能である。ＭＰＥＧ−４の場合、各オブジェクトの領域を重み係数として用いて、フレームの各オブジェクトにおける変化の重み付け合計を使用することが有利である。

0015

１９９９年７月１日にＤｉｖａｋａｒａｎ等によって出願された「Ｃｏｍｐｒｅｓｓｅｄ Ｂｉｔ−Ｓｔｒｅａｍ Ｓｅｇｍｅｎｔ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ａｎｄ ｄｅｓｃｒｉｐｔｏｒ」と題された米国特許出願第０９／３４５，４５２号は、フレーム間符号化フレームの変位の大きさを、フレーム間符号化フレームに関連する圧縮ビットストリームにおけるビットに基づいて決定する技術を述べている。フレーム間符号化フレームは、マクロブロックを含む。各マクロブロックは、そのマクロブロックから最も近接して一致するフレーム内符号化フレームへの変位を表すフレーム間符号化フレームビットのそれぞれの部分に関連付けられている。変位の大きさは、フレーム間符号化フレームに関連付けられたすべてのマクロブロックの変位量の平均である。平均変位量より小さいそれらマクロブロックの変位量は、０に設定される。０の大きさのマクロブロックのランレングスの数は、最初のフレーム間符号化フレームを識別するために決定されかつ使用される。
動きアクティビティ

0016

これまで行われた研究は、動き情報を抽出することと、シーン変化を検出する等の低レベルアプリケーションに対する動き情報を使用することと、に焦点が当てられていた。そのため、より高レベルのアプリケーションに対する特徴抽出が未だに必要とされている。例えば、ビデオシーケンスにおける動きアクティビティの空間的分布の性質を示す特徴を抽出する必要がある。

0017

ビデオまたはアニメーションシーケンスは、低速なシーケンス、高速なペースのシーケンス、断続的なシーケンス等として知覚することができる。アクティビティの特徴は、この、ビデオセグメントにおける「アクションの強度」または「アクションのペース」の直観的概念を捉える。高「アクティビティ」および低「アクティビティ」の例は、それぞれ、スポーツイベントと画面に登場する話し手である。

0018

適切な動きアクティビティ記述子により、ビデオブラウジング、サーベイランス、ビデオコンテントリパーパシングおよびビデオデータベースのコンテントベースの間合せ等のアプリケーションが可能となる。例えば、ビデオブラウジングでは、アクティビティ特徴により、アクティビティの広い記述に基づいてビデオコンテントのクラスタ化を可能にすることができる。これらアプリケーションに対し、動きアクティビティの強度だけでなく、アクティビティの空間的および時間的分布等のアクティビティの他の属性を用いる必要がある。

0019

本発明は、ビデオシーケンスにおける動きアクティビティの空間的分布に対する記述子を提供する。本発明は、ビデオのフレームにおけるマクロブロックの動きアクティビティの強度の測度として、ビデオシーケンスから抽出される動きベクトルの大きさを使用する。所定のＰフレームの各マクロブロックに対し、動きベクトルの大きさを含む動きアクティビティ行列Ｃｍｖが構成される。

0020

動きアクティビティ行列に対し、閾値が決定される。１つの実施の形態において、閾値は、各マクロブロックに対する平均値Ｃｍｖａｖｇである。閾値より小さいＣｍｖの要素はすべて０に設定される。また、他の閾値を使用することも可能である。閾値は、ノイズに対する頑強性を提供するために、平均にある経験的に決定された定数を足したものとすることができる。また、動きベクトルの大きさの中央値も使用することができる。これにより、少しの大きい値がその平均に基づく閾値に対して不当に影響することが防止される。また、最も一般的な動きベクトルの大きさ、すなわちモードを使用することも可能である。これは基本的にクラスタ化の問題であるため、ニューラルネットおよびベクトルサポートマシン等、Ｋ平均に基づく周知のクラスタ化技術のいずれかを用いることにより、動きベクトルをそれらの大きさに基づいて２つのカテゴリに分割することも可能である。この場合、２つのクラスタ間の境界を閾値として使用することができる。

0021

次に、ビデオシーケンス全体に対してヒストグラムが構成される。ヒストグラムの「区間（ｂｉｎ）」は、閾値が決定された行列における非ゼロ値の明瞭な連結領域のエリアに対する統計量を蓄積する。他の閾値決定プロセスが、ヒストグラムに適用され、ヒストグラムは、非ゼロ動きの平均サイズに対して基準化され、それによりフレームのサイズに関して正規化される。

0022

重畳的な類似性測定により、本発明の記述子は、最新のＭＰＥＧ−７実験モデルにおける空間的アクティビティ記述子より優れた適合率−再現率性能を有する。

0023

また、本記述子の明瞭な無相関部分におけるカメラ動きおよび非カメラ動きの影響を捕らえることが可能である。特徴抽出は、圧縮ドメインにおいて行われるため、従来技術による非圧縮ビデオシーケンスからの特徴抽出より高速に実行することができる。

0024

およそ１４時間の種類の異なるＭＰＥＧ−１符号化されたビデオコンテントを含む、ＭＰＥＧ−７テストコンテントセットに基づくテストにおいて、本記述子により、ビデオの高速かつ正確な索引付けが可能となる。記述子は、フレームサイズ、フレーム率、符号化ビットレート、符号化フォーマット等の符号化パラメータにおけるノイズおよび変化に対して頑強である。これは、同じプログラム内の意味論的一致を与える低レベル非意味論的記述子であり、そのため、ビデオブラウジング等のアプリケーションに非常に適している。

0025

より詳細には、本発明は、ビデオシーケンスにおける動きアクティビティを記述する方法を提供する。ビデオシーケンスに対し、動きアクティビティ行列が決定される。動きアクティビティ行列に対する閾値が決定される。少なくとも閾値に等しい動きベクトルの連結領域が識別され、そのサイズが測定される。ビデオシーケンス全体に対し、連結領域のサイズの分布のヒストグラムが構成される。動きアクティビティ記述子におけるビデオシーケンスの空間的分布を特徴付けるために、ヒストグラムが正規化される。

0026

図１は、本発明による動きアクティビティの空間的分布を記述する方法１００を示す。本発明では、圧縮ビデオシーケンスのＰフレームにおいてブロック動きベクトルの大きさの平均をとることにより、ビデオフレームまたはビデオオブジェクトのマクロブロック（Ｃｍｖａｖｇ）毎の平均の動きベクトルの大きさを決定する。このプロセスは、参照をもってその開示内容が本明細書に援用されたものとする、１９９９年１月２５日にＤｉｖａｋａｒａｎ等によって出願された「Ｍｅｔｈｏｄ ｏｆ Ｆｅａｔｕｒｅ Ｅｘｔｒａｃｔｉｏｎ ｏｆ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅｓ」と題された米国特許出願第０９／２３６，８３８号に述べられている。

0027

要するに、ビデオシーケンス１０１の各ビデオフレームまたはオブジェクトについて、ステップ１１０では、動きアクティビティ行列Ｃｍｖ１０２を決定する。
ここで、（ｘｉ，ｊ，ｙｉ，ｊ）は、（ｉ，ｊ）番目のブロックに関連する動きベクトルである。

0028

この決定では、Ｐフレーム／オブジェクトのみを考慮しており、以下のステップにおいて１つのフレームの記述子を構成する。フレーム内符号化ブロックの場合、Ｒ（ｉ，ｊ）＝０である。

0029

ステップ１２０では、閾値Ｔ１０３を決定する。使用することができる１つの閾値は、フレーム／オブジェクトのマクロブロック毎の平均の動きベクトルの大きさである。平均Ｃｍｖａｖｇ１０３は、以下のように与えられる。
ここで、Ｍはマクロブロックの幅、Ｎはマクロブロックの高さである。

0030

また、他の閾値を使用することもできる。ノイズに対する頑強性を提供するために、閾値を、平均にある経験的に決定された定数を足したものとすることができる。また、動きベクトルの大きさの中央値を用いることも可能である。これにより、少しの大きい値が平均に基づく閾値に不当に影響を与えることが防止される。また、最も一般的な動きベクトルの大きさ、すなわちモードを使用することもできる。これは、基本的にクラスタ化の問題であるため、ニューラルネットおよびベクトルサポートマシン等、Ｋ平均に基づく周知のクラスタ化技術のうちのいずれかを用いることによって、動きベクトルをそれらの大きさに基づいて２つのカテゴリに分割することができ、閾値として２つのクラスタの間の境界を使用することができる。

0031

次に、ステップ１３０では、Ｃｍｖｔｈｒｅｓｈ１０４として、閾値１０３より大きい動きを有するアクティビティ行列Ｃｍｖの特徴を識別する。閾値Ｔは、以下のようにＣｍｖに対して与えられる。
すなわち、動きアクティビティベクトル行列の要素が閾値１０３より小さい場合、要素をゼロに設定する。

0032

ステップ１４０では、アクティビティ行列における非ゼロ値の連結領域１０５のエリア（サイズ）を識別し測定する。すなわち、少なくとも平均の動きベクトルの大きさほど大きい動きベクトルを有する非常に隣接しているマクロブロックを識別し、かかる領域のマクロブロックの数を計数することにより領域のサイズ（エリア）を測定する。

0033

ステップ１５０では、ビデオシーケンス全体に対し非ゼロ連結領域のヒストグラムＨ１０６を構成する。ヒストグラムの区間の幅は、対数的尺度に従って均一でない。サンプルヒストグラムとして図３（ａ）〜図３（ｃ）を参照する。区間は、非ゼロ動きの小さいエリア、中間のエリアおよび大きいエリアに対して大まかに分類することができる。

0034

フレームのエリアの半分より大きい非ゼロ動きのエリアは、通常、カメラパン等のグローバル動きを示唆する。従って、ヒストグラムの最後の２つの区間を、ビデオシーケンスにおけるカメラの動きのインジケータとして使用することができる。

0035

ステップ１６０において、ヒストグラム１０６が、各区間の非ゼロ動きエリアの平均により基準化されることにより、以下のように表される基準化されたヒストグラムｈ１０７がもたらされる。
各区間の値、すなわち、特定のサイズの領域の数は、ヒストグラムの連結領域の平均サイズによって割られて丸められる。区間における非ゼロ動きエリアの絶対数よりも区間における非ゼロ動きエリアの存在を強調するために、区間の値に対するコンパンダとして、平方根演算が使用される。

0036

正規化されたヒストグラムｈ１０７は、ビデオ１０１における動きの空間的分布に対する記述子となる。任意に、ｈ１０７と共に平均動きベクトルＣｍｖａｖｇ１０３を使用することにより、結合された記述子１０９を生成することも可能である。
ビデオマッチングのための記述子の使用

0037

記述子ｈ１０７を使用して、ビデオを比較することができる。図２に示すように、記述子の値をマッチングするために重み付け相関比較手続き２００を使用する。非ゼロ動きエリアは、許容できる一致に対して厳密に一致する必要はないため、ヒストグラムの１シフトしたバージョンの間の距離を考慮することもできる。しかしながら、ヒストグラムのシフトされたバージョンを使用することで距離が決定される場合、厳密な一致に有利であるようにｗ＞１の乗算因子を使用する。

0038

従って、ステップ２１０〜２１２において、第１のヒストグラムＨ１２０１を左シフトし、右シフトし、およびシフトしないことにより、それぞれＨ１Ｌ２２０、Ｈ１Ｒ２２１およびＨ１２２２を生成する。ステップ２３０〜２３２において、ヒストグラム２２０の各々が第２のヒストグラムＨ２２０２と比較されることにより、それぞれＤ（Ｈ１Ｌ，Ｈ２）２４０、Ｄ（Ｈ１Ｒ，Ｈ２）２４１およびＤ（Ｈ１，Ｈ２）２４２が決定される。上述したように、ステップ２５０〜２５２において、ｗにより距離が重み付けされる。

0039

この時点で、２つのヒストグラム２０１〜２０２の間の最終的な距離を、少なくとも２つの可能な方法で決定することができる。ステップ２６０では、重み付けされた距離の最短距離Ｄｍｉｎ（Ｈ１，Ｈ２）２７０をとる。ステップ２６１では、ヒストグラム間の距離として合計Ｄｓｕｍ（Ｈ１，Ｈ２）２７１をとる。

0040

なお、他の代替態様は、上述した代替態様の組合せである。例えば、距離Ｄ（Ｈ１Ｌ，Ｈ２）２４０，Ｄ（Ｈ１Ｒ，Ｈ２）２４１の最小値をＤ（Ｈ１，Ｈ２）２４２に加算することにより、２つのヒストグラム間の距離を計算することができる。また、これは、第２の代替態様において使用される重みの非線形生成の一例としてみなすことも可能である。
ＭＰＥＧ−７ビデオテストセットによる結果

0041

上述したような本発明による記述子を、ＭＰＥＧ−１、すなわちＭＰＥＧ−７テストセットからの「Ｖ３」ビデオシーケンスに適用する。表１に、いくつかの検索の例を示す。

0042

表１から分かるように、本発明による動きアクティビティ記述子により、ビデオシーケンス内の意味論的ショット分類およびマッチングが可能となる。本発明による記述子は、一貫して、表２に示すようなビデオシーケンス内の１／１０〜５／５の範囲の適合率の値を取得する。

0043

例えば、スペインのニュースシーケンスで、総合司会者を捜す場合、１０／１０適合率および１／３０再現率を得る。なお、１０の一致しか検索しないため、再現率は多くても１０／（あり得る正確な一致の合計数）であるように制限される。サッカーショットを捜す場合、適合率は３／１０に低減されるが、再現率は０．３に増大する。テストコンテントを用いた本発明の実験は、本発明による記述子により、同様の時間および空間上のアクティビティを有するショットを一致させることができる、ということを示している。同じプログラム内であれば、意味論的分類が、時間および空間上のアクティビティの強度および分布という意味で広く分割され、本発明による記述子が適切に作用する。

0044

表１と対応するヒストグラム３０１〜３０３の図３（ａ）〜図３（ｃ）において、スペインのニュースを用いた本発明による結果を示す。他のニュースプログラムでも同様の結果が得られる。また、パンが１つの大きい非ゼロ動きを生成するため、本発明による非ゼロ動き構造を有するパン等のカメラ動きを検出することができる。本発明による記述子は１つのショットにおいてカメラ動きのセグメントを分離するため、カメラ動きと非カメラ動きとを別々に検出することができる。これにより、ＭＰＥＧ−７ＸＭにおける現存の空間的動きアクティビティ記述子に改良を加えることができる。

0045

ビデオシーケンスにおけるアクティビティの空間的分布を特徴付ける動き記述子を示した。本発明による記述子は、パラメータ変化を符号化することに対する頑強性、適合率−再現率、カメラ動きおよび非カメラ動きの検出および分析等に関して、ＭＰＥＧ−７ＸＭによって提案される規格において、現存の空間的アクティビティ記述子より性能が優れている。本発明による記述子は、圧縮ビデオに使用するため、抽出簡潔性においてＭＰＥＧ−７記述子に匹敵する。また、本発明による非ゼロ動きフレームワークにおいて、動きベクトルを符号化するためにとられるビット等、動きベクトルの大きさの間接的かつ計算上より簡単な測度も、有効性は低くなるが、使用することが可能であることも分かっている。

0046

動きベクトルの大きさに対し閾値決定手続きを使用することにより、フレーム内のアクティビティの領域または「非ゼロ動き」を識別する。そして、これら領域のエリアを使用することにより、非ゼロ動きエリアの「閾値が与えられた」ヒストグラムを決定する。このヒストグラムを、ビデオショットに対する「記述子」として使用する。「領域のエリア」方法は、ランレングスと異なる領域サイズの直接の測定であり、フレーム率、フレームサイズ等の符号化パラメータに関してより容易に正規化されるため、より有効である。更に、記述子は、オブジェクト変換、回転等に対してより頑強である。記述子は、ショット内のカメラ動きと非カメラ動きとを切離すことにより、より正確なアクティビティ記述を提供する。このように、本発明により、マッチングおよび探索によく適しているビデオショットのための記述子が提供される。

0047

本発明は、好ましい実施の形態の実施例として述べられてきたが、本発明の精神および範囲内で種々の他の適用および変更を行うことができる、ということは理解されなければならない。従って、添付の特許請求の範囲の目的は、本発明の真の精神および範囲内にあるものとしてかかるすべての変形および変更をカバーすることである。
産業上の利用の可能性

0048

以上のように、この発明に関わるビデオにおける動きアクティビティの記述方法は、ビデオに対し動きアクティビティ行列を決定するステップと、動きアクティビティ行列のための閾値を決定するステップと、少なくとも閾値に等しい動きベクトルを有する連結領域を識別するステップと、連結領域のサイズを測定するステップと、ビデオの上記連結領域のヒストグラムを構成するステップと、ヒストグラムを正規化することにより、動きアクティビティ記述子においてビデオの空間的記述を特徴付けるステップとを備えているので、優れた適合率−再現率性能を有する。