図面 (/)

技術 ビデオにおける動きアクティビティの記述方法

出願人 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド
発明者 ディヴァカランアジェイペーカーカディア・エースンハイファン
出願日 2001年1月30日 (20年3ヶ月経過) 出願番号 2001-556982
公開日 2003年6月24日 (17年10ヶ月経過) 公開番号 WO2001-057802
状態 特許登録済
技術分野 TV信号の圧縮,符号化方式 TV信号の圧縮,符号化方式 イメージ分析
主要キーワード 平均変位量 エネルギ集中 アンカフレーム 重み付け合計 相関比 シーン分析 インタラクティブビデオ 平方根演算
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2003年6月24日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (4)

課題・解決手段

本方法は、ビデオシーケンスにおける動きアクティビティ記述する。ビデオシーケンスに対して、動きアクティビティ行列が決定される。動きアクティビティ行列に対する閾値が決定される。少なくとも閾値に等しい動きベクトル連結領域識別され、そのサイズが測定される。ビデオシーケンス全体に対し、連結領域のサイズの分布ヒストグラムが構成される。ヒストグラムが正規化されることにより、動きアクティビティ記述子におけるビデオシーケンスの空間的分布特徴付けられる。

概要

背景

概要

本方法は、ビデオシーケンスにおける動きアクティビティ記述する。ビデオシーケンスに対して、動きアクティビティ行列が決定される。動きアクティビティ行列に対する閾値が決定される。少なくとも閾値に等しい動きベクトル連結領域識別され、そのサイズが測定される。ビデオシーケンス全体に対し、連結領域のサイズの分布ヒストグラムが構成される。ヒストグラムが正規化されることにより、動きアクティビティ記述子におけるビデオシーケンスの空間的分布特徴付けられる。

目的

効果

実績

技術文献被引用数
2件
牽制数
4件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

ビデオにおける動きアクティビティ記述方法であって、ビデオに対し動きアクティビティ行列を決定するステップと、上記動きアクティビティ行列のための閾値を決定するステップと、少なくとも上記閾値に等しい動きベクトルを有する連結領域識別するステップと、上記連結領域のサイズを測定するステップと、上記ビデオの上記連結領域のヒストグラムを構成するステップと、上記ヒストグラムを正規化することにより、動きアクティビティ記述子において上記ビデオの空間的記述特徴付けるステップとを備えたことを特徴とする方法。

請求項2

上記ビデオの各フレームは、複数のマクロブロックを含み、各マクロブロックは、動きベクトルを含み、上記フレームの上記マクロブロックの上記動きベクトルは、上記動きアクティビティ行列を決定することを特徴とする請求項1記載の方法。

請求項3

上記連結領域は、少なくとも上記閾値に等しい動きベクトルを有するマクロブロックに隣接しており、各領域のサイズは、上記領域内のマクロブロックの数に等しいことを特徴とする請求項2記載の方法。

請求項4

上記閾値は、平均の動きベクトルの大きさであることを特徴とする請求項3記載の方法。

請求項5

上記閾値は、上記平均の動きベクトルの大きさに予め決められた定数を足したものであることを特徴とする請求項4記載の方法。

請求項6

上記閾値は、上記動きベクトルの大きさの中央値であることを特徴とする請求項3記載の方法。

請求項7

上記閾値は、最も一般的な動きベクトルの大きさであることを特徴とする請求項3記載の方法。

請求項8

上記閾値は、動きベクトルの大きさの2つのクラスタの間の境界であることを特徴とする請求項3記載の方法。

請求項9

上記ヒストグラムは、複数の区間を有し、上記区間は、対数的尺度に従うことを特徴とする請求項1記載の方法。

請求項10

上記フレームの領域の半分より大きい連結領域は、グローバル動きを示すことを特徴とする請求項2記載の方法。

請求項11

上記正規化は、上記ヒストグラムの連結領域の平均のサイズにより各区間の値を割って丸めることと、上記区間の上記値に対しコンパンダとして平方根演算を適用することとを更に備えたことを特徴とする請求項9記載の方法。

請求項12

第1のヒストグラムから導出される第1の動きアクティビティ記述子により第1のビデオを記述するステップと、第2のヒストグラムから導出される第2の動きアクティビティ記述子により第2のビデオを記述するステップと、上記第1および第2の動きアクティビティ記述子を比較することにより上記第1および第2のビデオを一致させるステップとを更に備えたことを特徴とする請求項1記載の方法。

請求項13

上記第1のヒストグラムを左シフトさせるステップと、上記第1のヒストグラムを右シフトさせるステップと、上記第1のヒストグラムをシフトさせないステップと、上記左シフトさせた第1のヒストグラム、上記右シフトさせた第1のヒストグラム、および、上記シフトさせなかった第1のヒストグラムを、第2のヒストグラムと比較することにより、それぞれ、第1、第2および第3の距離を生成するステップと、上記第1、第2および第3の距離に重み付けするステップとを更に備えたことを特徴とする請求項12記載の方法。

請求項14

上記第1および第2のビデオの間の最終的な距離として、前記重み付けされた第1、第2および第3の距離の最小値を選択するステップを更に備えたことを特徴とする請求項13記載の方法。

請求項15

上記第1、第2および第3の重み付けされた距離を合計することにより、上記第1および第2のビデオの間の最終的な距離を決定するステップを更に備えたことを特徴とする請求項13記載の方法。

技術分野

0001

本発明は、連続したビデオフレームから特徴を抽出することに関し、特に、圧縮されたビデオ信号から“動き(motion activity)”を抽出する方法に関するものである。

背景技術

0002

動画像符号化専門家グループ(Motion Picture Experts Group(MPEG))により、デジタルカラービデオ信号の帯域幅を圧縮するための基本的な規格が採用されている。MPEG規格では、画像のフルフレームに対してとびとびにのみ情報を展開することにより、高圧縮率を達成させている。フル画像フレーム、すなわち、フレーム内符号化フレーム(intra−codedframe)は、しばしば「Iフレーム」または「アンカフレーム」と呼ばれ、他のいかなるフレームからも独立したフルフレーム情報を含んでいる。画像差フレーム、すなわち、フレーム間符号化フレーム(inter−codedframe)は、しばしば「Bフレーム」及び「Pフレーム」あるいは「予測符号化フレーム(predictive frame)」と呼ばれ、Iフレーム間で符号化され、参照フレームに関する画像差すなわち残余のみを表したものである。

0003

一般に、連像したビデオ信号(以下、ビデオシーケンスとする。)の各フレームは、より小さいブロックの画像素子(picture element)、すなわち、画素(pixel)データに分割される。各ブロックには、統計的に依存した空間的ドメイン画素を、独立した周波数ドメインDCT係数に変換する、離散コサイン変換(DCT)関数が施される。8×8または16×16ブロックの画素は、「マクロブロック」と呼ばれるが、それらにそれぞれDCT関数が施されることにより、符号化信号が供給される。

0004

DCT係数は、通常、マクロブロックにおいてわずかな係数のみがピクチャ情報の主要部分を表すよう、エネルギ集中されている。例えば、マクロブロックが物体輪郭エッジ)の境界を含む場合、変換後の、すなわち、DCT係数によって表されるそのブロックのエネルギは、DCT係数の行列を通して相対的に大きいDC係数ランダムに分散したAC係数とを含む。

0005

一方、エッジの無いマクロブロックは、通常、同様に大きいDC係数と、そのブロックに関連付けられた他の係数より実質的に大きい隣接した数個のAC係数とによって特徴付けられる。一般に、DCT係数は、送信媒体に対し、適応量子化が施され、その後、ランレングスおよび可変長符号化が施される。このため、送信されたデータのマクロブロックは、一般に、8×8行列より少ないコードワード(codeword)を含む。

0006

フレーム間符号化フレームデータ、すなわち符号化されたPまたはBフレームデータのマクロブロックは、マクロブロックにおける予測された画素と実際の画素との間の差のみをあらわすDCT係数を含む。また、フレーム内符号化およびフレーム間符号化フレームデータのマクロブロックは、採用される量子化のレベルマクロブロックアドレスまたはロケーションインジケータおよびマクロブロックタイプ等の情報も含む。後者の情報は、しばしば「ヘッダ」または「オーバヘッド」情報と呼ばれる。

0007

各Pフレームは、最後に現れたIまたはPフレームから予測される。各Bフレームは、それが間に配置されているIまたはPフレームから予測される。予測符号化プロセスには、しばしば「動きベクトル」と呼ばれる変位ベクトルを生成することが含まれる。これは、現在符号化されているBまたはPフレームのマクロブロックと最も近接して一致するIフレームのマクロブロックに対する変位の大きさを示す。Iフレームにおける一致したブロックの画素データが、画素毎に、符号化されているPまたはBフレームのブロックから引出されることにより、残余が得られる。変換された残余およびベクトルは、PおよびBフレームに対して符号化データの一部を形成する。

0008

ISOMPEG−1およびMPEG−2等の他の従来のビデオ規格は、本来ビデオ信号の時間的および空間的圧縮を扱う比較的低レベル仕様である。これらの規格を用いて、広範囲アプリケーションに亙って高圧縮率を達成することができる。MPEG−4等のより新しいビデオ符号化規格(「Information Technology−−Generic coding of audio/visual objects」ISO/IECFDIS14496−2(MPEG4 Visual)、Nov.1998を参照)により、任意形状の物体を別々のビデオオブジェクトプレーン(VOP)として符号化および復号化することができる。これら新しい規格は、インタラクティブビデオ等、自然および人工の材料が統合され、アクセスが多方向(universal)のマルチメディアアプリケーションを可能にすることが意図されている。例えば、特定のタイプのビデオオブジェクトから特徴を抽出するか、または特定のクラスのビデオオブジェクトに対して実行することが望まれる場合がある。

0009

インターネット上のビデオ配信等、新しいデジタルビデオサービス出現に伴い、例えばアクティビティ識別等、フレームレベルかまたはオブジェクトレベルで、ビデオシーケンスにおける情報を識別する信号処理技術に対する必要性が高まっている。
特徴抽出

0010

圧縮データからビデオ索引付けするための特徴抽出における従来の方法は、本来、DC係数抽出に重きをおいていた。「Rapid Scene Analysis on Compressed Video」(IEEE Transactions onCircuits and Systems for Video Technology,Vol.5,No.6,December 1995,pp.533−544)と題された論文において、YeoおよびLiuは、MPEG−2圧縮ビデオドメインにおけるシーン変化検出の方法を記述している。また、その著者達は、圧縮されていない画像データ全体シーケンスに基づいてシーン変化を検出するこれまでの努力および他の種々の圧縮ビデオ処理技術を再検討している。YeoおよびLiuは、シーン分析操作を容易にするために、いわゆるDC画像である原画像の空間的に低減されたバージョンと圧縮ビデオから抽出されたDCシーケンスとを使用することを示した。それら「DC画像」は、原画像のブロックにおける画素の平均値である画素から作成されており、DCシーケンスは、DC画像の数の低減された画素の組合せである。なお、DC画像抽出ベースの技術は、Iフレームに対して適している。それは、IフレームからDC値を抽出することが、比較的簡単だからである。しかしながら、他のタイプのフレームに対しては、追加の計算が必要である。

0011

Proc.SPIEConf.on Storage and Retrieval for Image and Video Databases,January 1998で発表された論文において、Won等は、DC係数で費やされたビットを利用してフレーム内のエッジを位置付けることにより、圧縮されたMPEG−2ビデオから特徴を抽出する方法を述べている。しかしながら、彼らの研究は、Iフレームのみに限定されている。

0012

Kobla等は、同じ会報において、Yeo等のDC画像抽出を用いてビデオクリップを特徴付けるビデオトレイルを形成する方法を述べている。

0013

Feng等(IEEE International Conference on Image Processing,Vol.II,pp.821−824,Sept.16−19,1996)は、DC画像を抽出することなく、MPEG−2フレームのマクロブロックに亙ってビットアロケーション(ビットの割り当て)を使用することにより、急なシーンの変化を検出した。Feng等の技術は、圧縮ビットストリーム解析するために必要である以上に重要な計算が必要でないため、計算上最も簡単である。

0014

1999年1月14日に出願された「Methodsof scene change detection and fade detection for indexing of video sequences」と題された米国特許出願第09/231,698号および1999年1月25日に出願された「Methods of Feature Extraction for Video Sequences」と題された米国特許出願第09/236,838は、Feng等の方法とYeo等の方法のいくつかの態様に基づいて正確かつ簡単なシーン変化検出を行う、計算上簡単な技術を述べている。推測されるシーンまたはオブジェクトの変化が、DC画像抽出ベースの技術を使用することにより、連続フレームのグループに正確に位置付けられると、位置付けられたシーンの付近のPまたはBフレーム情報に対する、適当なビットアロケーションベースの技術および/または適当なDC残余係数処理技術のアプリケーションは、その切点を迅速かつ正確に位置付ける。この組み合わされた技術は、MPEG−2フレームシーケンスまたはMPEG−4複数オブジェクトシーケンスのいずれに対して適用可能である。MPEG−4の場合、各オブジェクトの領域を重み係数として用いて、フレームの各オブジェクトにおける変化の重み付け合計を使用することが有利である。

0015

1999年7月1日にDivakaran等によって出願された「Compressed Bit−Stream Segment Identification and descriptor」と題された米国特許出願第09/345,452号は、フレーム間符号化フレームの変位の大きさを、フレーム間符号化フレームに関連する圧縮ビットストリームにおけるビットに基づいて決定する技術を述べている。フレーム間符号化フレームは、マクロブロックを含む。各マクロブロックは、そのマクロブロックから最も近接して一致するフレーム内符号化フレームへの変位を表すフレーム間符号化フレームビットのそれぞれの部分に関連付けられている。変位の大きさは、フレーム間符号化フレームに関連付けられたすべてのマクロブロックの変位量の平均である。平均変位量より小さいそれらマクロブロックの変位量は、0に設定される。0の大きさのマクロブロックのランレングスの数は、最初のフレーム間符号化フレームを識別するために決定されかつ使用される。
動きアクティビティ

0016

これまで行われた研究は、動き情報を抽出することと、シーン変化を検出する等の低レベルアプリケーションに対する動き情報を使用することと、に焦点が当てられていた。そのため、より高レベルのアプリケーションに対する特徴抽出が未だに必要とされている。例えば、ビデオシーケンスにおける動きアクティビティ空間的分布性質を示す特徴を抽出する必要がある。

0017

ビデオまたはアニメーションシーケンスは、低速なシーケンス、高速ペースのシーケンス、断続的なシーケンス等として知覚することができる。アクティビティの特徴は、この、ビデオセグメントにおける「アクションの強度」または「アクションのペース」の直観概念を捉える。高「アクティビティ」および低「アクティビティ」の例は、それぞれ、スポーツイベント画面に登場する話し手である。

0018

適切な動きアクティビティ記述子により、ビデオブラウジングサーベイランスビデオコンテントリパーパシングおよびビデオデータベースコンテントベースの間合せ等のアプリケーションが可能となる。例えば、ビデオブラウジングでは、アクティビティ特徴により、アクティビティの広い記述に基づいてビデオコンテントのクラスタ化を可能にすることができる。これらアプリケーションに対し、動きアクティビティの強度だけでなく、アクティビティの空間的および時間的分布等のアクティビティの他の属性を用いる必要がある。

発明の開示

0019

本発明は、ビデオシーケンスにおける動きアクティビティの空間的分布に対する記述子を提供する。本発明は、ビデオのフレームにおけるマクロブロックの動きアクティビティの強度の測度として、ビデオシーケンスから抽出される動きベクトルの大きさを使用する。所定のPフレームの各マクロブロックに対し、動きベクトルの大きさを含む動きアクティビティ行列Cmvが構成される。

0020

動きアクティビティ行列に対し、閾値が決定される。1つの実施の形態において、閾値は、各マクロブロックに対する平均値Cmvavgである。閾値より小さいCmvの要素はすべて0に設定される。また、他の閾値を使用することも可能である。閾値は、ノイズに対する頑強性を提供するために、平均にある経験的に決定された定数を足したものとすることができる。また、動きベクトルの大きさの中央値も使用することができる。これにより、少しの大きい値がその平均に基づく閾値に対して不当に影響することが防止される。また、最も一般的な動きベクトルの大きさ、すなわちモードを使用することも可能である。これは基本的にクラスタ化の問題であるため、ニューラルネットおよびベクトルサポートマシン等、K平均に基づく周知のクラスタ化技術のいずれかを用いることにより、動きベクトルをそれらの大きさに基づいて2つのカテゴリに分割することも可能である。この場合、2つのクラスタ間の境界を閾値として使用することができる。

0021

次に、ビデオシーケンス全体に対してヒストグラムが構成される。ヒストグラムの「区間(bin)」は、閾値が決定された行列における非ゼロ値の明瞭な連結領域エリアに対する統計量蓄積する。他の閾値決定プロセスが、ヒストグラムに適用され、ヒストグラムは、非ゼロ動きの平均サイズに対して基準化され、それによりフレームのサイズに関して正規化される。

0022

重畳的な類似性測定により、本発明の記述子は、最新のMPEG−7実験モデルにおける空間的アクティビティ記述子より優れた適合率再現率性能を有する。

0023

また、本記述子の明瞭な無相関部分におけるカメラ動きおよび非カメラ動きの影響を捕らえることが可能である。特徴抽出は、圧縮ドメインにおいて行われるため、従来技術による非圧縮ビデオシーケンスからの特徴抽出より高速に実行することができる。

0024

およそ14時間の種類の異なるMPEG−1符号化されたビデオコンテントを含む、MPEG−7テストコンテントセットに基づくテストにおいて、本記述子により、ビデオの高速かつ正確な索引付けが可能となる。記述子は、フレームサイズフレーム率符号化ビットレート符号化フォーマット等の符号化パラメータにおけるノイズおよび変化に対して頑強である。これは、同じプログラム内の意味論的一致を与える低レベル非意味論的記述子であり、そのため、ビデオブラウジング等のアプリケーションに非常に適している。

0025

より詳細には、本発明は、ビデオシーケンスにおける動きアクティビティを記述する方法を提供する。ビデオシーケンスに対し、動きアクティビティ行列が決定される。動きアクティビティ行列に対する閾値が決定される。少なくとも閾値に等しい動きベクトルの連結領域が識別され、そのサイズが測定される。ビデオシーケンス全体に対し、連結領域のサイズの分布のヒストグラムが構成される。動きアクティビティ記述子におけるビデオシーケンスの空間的分布を特徴付けるために、ヒストグラムが正規化される。

発明を実施するための最良の形態

0026

図1は、本発明による動きアクティビティの空間的分布を記述する方法100を示す。本発明では、圧縮ビデオシーケンスのPフレームにおいてブロック動きベクトルの大きさの平均をとることにより、ビデオフレームまたはビデオオブジェクトのマクロブロック(Cmvavg)毎の平均の動きベクトルの大きさを決定する。このプロセスは、参照をもってその開示内容が本明細書に援用されたものとする、1999年1月25日にDivakaran等によって出願された「Method of Feature Extraction of Video Sequences」と題された米国特許出願第09/236,838号に述べられている。

0027

要するに、ビデオシーケンス101の各ビデオフレームまたはオブジェクトについて、ステップ110では、動きアクティビティ行列Cmv102を決定する。
ここで、(xi,j,yi,j)は、(i,j)番目のブロックに関連する動きベクトルである。

0028

この決定では、Pフレーム/オブジェクトのみを考慮しており、以下のステップにおいて1つのフレームの記述子を構成する。フレーム内符号化ブロックの場合、R(i,j)=0である。

0029

ステップ120では、閾値T103を決定する。使用することができる1つの閾値は、フレーム/オブジェクトのマクロブロック毎の平均の動きベクトルの大きさである。平均Cmvavg103は、以下のように与えられる。
ここで、Mはマクロブロックの幅、Nはマクロブロックの高さである。

0030

また、他の閾値を使用することもできる。ノイズに対する頑強性を提供するために、閾値を、平均にある経験的に決定された定数を足したものとすることができる。また、動きベクトルの大きさの中央値を用いることも可能である。これにより、少しの大きい値が平均に基づく閾値に不当に影響を与えることが防止される。また、最も一般的な動きベクトルの大きさ、すなわちモードを使用することもできる。これは、基本的にクラスタ化の問題であるため、ニューラルネットおよびベクトルサポートマシン等、K平均に基づく周知のクラスタ化技術のうちのいずれかを用いることによって、動きベクトルをそれらの大きさに基づいて2つのカテゴリに分割することができ、閾値として2つのクラスタの間の境界を使用することができる。

0031

次に、ステップ130では、Cmvthresh104として、閾値103より大きい動きを有するアクティビティ行列Cmvの特徴を識別する。閾値Tは、以下のようにCmvに対して与えられる。
すなわち、動きアクティビティベクトル行列の要素が閾値103より小さい場合、要素をゼロに設定する。

0032

ステップ140では、アクティビティ行列における非ゼロ値の連結領域105のエリア(サイズ)を識別し測定する。すなわち、少なくとも平均の動きベクトルの大きさほど大きい動きベクトルを有する非常に隣接しているマクロブロックを識別し、かかる領域のマクロブロックの数を計数することにより領域のサイズ(エリア)を測定する。

0033

ステップ150では、ビデオシーケンス全体に対し非ゼロ連結領域のヒストグラムH106を構成する。ヒストグラムの区間の幅は、対数的尺度に従って均一でない。サンプルヒストグラムとして図3(a)〜図3(c)を参照する。区間は、非ゼロ動きの小さいエリア、中間のエリアおよび大きいエリアに対して大まかに分類することができる。

0034

フレームのエリアの半分より大きい非ゼロ動きのエリアは、通常、カメラパン等のグローバル動き示唆する。従って、ヒストグラムの最後の2つの区間を、ビデオシーケンスにおけるカメラの動きのインジケータとして使用することができる。

0035

ステップ160において、ヒストグラム106が、各区間の非ゼロ動きエリアの平均により基準化されることにより、以下のように表される基準化されたヒストグラムh107がもたらされる。
各区間の値、すなわち、特定のサイズの領域の数は、ヒストグラムの連結領域の平均サイズによって割られて丸められる。区間における非ゼロ動きエリアの絶対数よりも区間における非ゼロ動きエリアの存在を強調するために、区間の値に対するコンパンダとして、平方根演算が使用される。

0036

正規化されたヒストグラムh107は、ビデオ101における動きの空間的分布に対する記述子となる。任意に、h107と共に平均動きベクトルCmvavg103を使用することにより、結合された記述子109を生成することも可能である。
ビデオマッチングのための記述子の使用

0037

記述子h107を使用して、ビデオを比較することができる。図2に示すように、記述子の値をマッチングするために重み付け相関比手続き200を使用する。非ゼロ動きエリアは、許容できる一致に対して厳密に一致する必要はないため、ヒストグラムの1シフトしたバージョンの間の距離を考慮することもできる。しかしながら、ヒストグラムのシフトされたバージョンを使用することで距離が決定される場合、厳密な一致に有利であるようにw>1の乗算因子を使用する。

0038

従って、ステップ210〜212において、第1のヒストグラムH1201を左シフトし、右シフトし、およびシフトしないことにより、それぞれH1L220、H1R221およびH1222を生成する。ステップ230〜232において、ヒストグラム220の各々が第2のヒストグラムH2202と比較されることにより、それぞれD(H1L,H2)240、D(H1R,H2)241およびD(H1,H2)242が決定される。上述したように、ステップ250〜252において、wにより距離が重み付けされる。

0039

この時点で、2つのヒストグラム201〜202の間の最終的な距離を、少なくとも2つの可能な方法で決定することができる。ステップ260では、重み付けされた距離の最短距離Dmin(H1,H2)270をとる。ステップ261では、ヒストグラム間の距離として合計Dsum(H1,H2)271をとる。

0040

なお、他の代替態様は、上述した代替態様の組合せである。例えば、距離D(H1L,H2)240,D(H1R,H2)241の最小値をD(H1,H2)242に加算することにより、2つのヒストグラム間の距離を計算することができる。また、これは、第2の代替態様において使用される重みの非線形生成の一例としてみなすことも可能である。
MPEG−7ビデオテストセットによる結果

0041

上述したような本発明による記述子を、MPEG−1、すなわちMPEG−7テストセットからの「V3」ビデオシーケンスに適用する。表1に、いくつかの検索の例を示す。

0042

表1から分かるように、本発明による動きアクティビティ記述子により、ビデオシーケンス内の意味論的ショット分類およびマッチングが可能となる。本発明による記述子は、一貫して、表2に示すようなビデオシーケンス内の1/10〜5/5の範囲の適合率の値を取得する。

0043

例えば、スペインニュースシーケンスで、総合司会者を捜す場合、10/10適合率および1/30再現率を得る。なお、10の一致しか検索しないため、再現率は多くても10/(あり得る正確な一致の合計数)であるように制限される。サッカーショットを捜す場合、適合率は3/10に低減されるが、再現率は0.3に増大する。テストコンテントを用いた本発明の実験は、本発明による記述子により、同様の時間および空間上のアクティビティを有するショットを一致させることができる、ということを示している。同じプログラム内であれば、意味論的分類が、時間および空間上のアクティビティの強度および分布という意味で広く分割され、本発明による記述子が適切に作用する。

0044

表1と対応するヒストグラム301〜303の図3(a)〜図3(c)において、スペインのニュースを用いた本発明による結果を示す。他のニュースプログラムでも同様の結果が得られる。また、パンが1つの大きい非ゼロ動きを生成するため、本発明による非ゼロ動き構造を有するパン等のカメラ動きを検出することができる。本発明による記述子は1つのショットにおいてカメラ動きのセグメントを分離するため、カメラ動きと非カメラ動きとを別々に検出することができる。これにより、MPEG−7XMにおける現存の空間的動きアクティビティ記述子に改良を加えることができる。

0045

ビデオシーケンスにおけるアクティビティの空間的分布を特徴付ける動き記述子を示した。本発明による記述子は、パラメータ変化を符号化することに対する頑強性、適合率−再現率、カメラ動きおよび非カメラ動きの検出および分析等に関して、MPEG−7XMによって提案される規格において、現存の空間的アクティビティ記述子より性能が優れている。本発明による記述子は、圧縮ビデオに使用するため、抽出簡潔性においてMPEG−7記述子に匹敵する。また、本発明による非ゼロ動きフレームワークにおいて、動きベクトルを符号化するためにとられるビット等、動きベクトルの大きさの間接的かつ計算上より簡単な測度も、有効性は低くなるが、使用することが可能であることも分かっている。

0046

動きベクトルの大きさに対し閾値決定手続きを使用することにより、フレーム内のアクティビティの領域または「非ゼロ動き」を識別する。そして、これら領域のエリアを使用することにより、非ゼロ動きエリアの「閾値が与えられた」ヒストグラムを決定する。このヒストグラムを、ビデオショットに対する「記述子」として使用する。「領域のエリア」方法は、ランレングスと異なる領域サイズの直接の測定であり、フレーム率、フレームサイズ等の符号化パラメータに関してより容易に正規化されるため、より有効である。更に、記述子は、オブジェクト変換、回転等に対してより頑強である。記述子は、ショット内のカメラ動きと非カメラ動きとを切離すことにより、より正確なアクティビティ記述を提供する。このように、本発明により、マッチングおよび探索によく適しているビデオショットのための記述子が提供される。

0047

本発明は、好ましい実施の形態の実施例として述べられてきたが、本発明の精神および範囲内で種々の他の適用および変更を行うことができる、ということは理解されなければならない。従って、添付の特許請求の範囲の目的は、本発明の真の精神および範囲内にあるものとしてかかるすべての変形および変更をカバーすることである。
産業上の利用の可能性

0048

以上のように、この発明に関わるビデオにおける動きアクティビティの記述方法は、ビデオに対し動きアクティビティ行列を決定するステップと、動きアクティビティ行列のための閾値を決定するステップと、少なくとも閾値に等しい動きベクトルを有する連結領域を識別するステップと、連結領域のサイズを測定するステップと、ビデオの上記連結領域のヒストグラムを構成するステップと、ヒストグラムを正規化することにより、動きアクティビティ記述子においてビデオの空間的記述を特徴付けるステップとを備えているので、優れた適合率−再現率性能を有する。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ