図面 (/)

技術 一連の画像に現れる物体の動きを表現する方法、一連の画像中の画像における物体の選択を識別する方法、画像に対応する信号を処理することによって一連の画像を探索する方法、及び装置

出願人 ミツビシ・エレクトリック・アールアンドディー・センター・ヨーロッパ・ビーヴィ
発明者 レスゼク・シープリンスキーホーマン・デイビス
出願日 2003年11月5日 (15年10ヶ月経過) 出願番号 2003-375742
公開日 2004年6月3日 (15年3ヶ月経過) 公開番号 2004-158014
状態 特許登録済
技術分野 イメージ分析
主要キーワード 軌跡関数 剛体物 面積誤差 置換ベクトル 補間モデル 二次近似 二次元関数 代表領域
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2004年6月3日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (9)

課題

特に像軌跡の場合に、動き表現する正確度を向上させることである。

解決手段

一連の画像に現れる物体の動きを表現する方法は、各画像について、物体の場所を表す代表点のセットを導き出すステップと、上記一連の画像の中の2枚以上の画像における代表点の軌跡を表す近似関数を導き出すステップと、画像の代表点について、上記近似関数の誤差値を算出するステップとを含み、誤差値は、代表点によって表される物体の面積と、代表点が各近似関数値で置き換えられた物体の面積との差分に基づくことを特徴とする。

概要

背景

画像または一連の画像における物体表現を導き出す様々な技法が知られている。このような表現は、たとえば、探索・検索目的のために画像にインデックスを付与するにあたって有用である。主観的であり、かつ労働集約的なテキストベースインデックス付与の後には、色、形状、および輪郭線等、物体の固有属性に基づくインデックス付与が続けられた。さらに進んだ発展は、一連の画像における物体の動きを表現することであった。このような表現の非常に重要な側面は、導入される近似誤差を最小化しながら、必要な帯域幅および記憶領域を最小化する効率的な符号化である。

動きを表現する第1の既知の技法は、パラメータ軌跡(parameter trajectory)として知られている。この技法では、物体全体の動きが、回転および平行移動等、1つまたは複数のパラメータを使用して表現される。たとえば、フレーム中の頂点基準フレーム中の頂点の間の置換ベクトルが導き出され、これを使用して、アフィン変換移動等、既知の動きモデルの式を解く。この技法により比較的コンパクトな表現が生成されるが、この技法は剛体物体、および動きモデル(たとえば、アフィン変換)がわかっている場合に制限される。

動きを表現する別の既知の技法は、像軌跡(figure trajectory)として知られている。この技法では、物体の動きが、いくつかの代表点それぞれの軌跡により独立して表現される。より具体的には、各代表点座標が一連のフレームを通してトラッキングされ、各代表点の各座標の軌跡を近似する関数が導き出される。関数近似は、一次近似二次近似、またはスプライン関数近似等、既知の技法を用いて行われる。像軌跡は、未知の、かつ/または複雑な動きを有する剛体物体の動きを含め、様々な種類の動きに使用することが可能である。

両方の技術において、物体が比較的複雑な輪郭線を有する場合、より複雑な物体の輪郭線を近似した矩形楕円、または多角形等の参照領域でこの物体を表現することができる。多角形の場合、代表点は頂点であることができる。同様に、矩形の場合、代表点は4つの頂点のうちの3つに制限されうる。これは、4番目の頂点の位置は、その他の3つの頂点の位置から算出することができるためである。楕円の場合、矩形に外接する3つの頂点を代表点として選択することができる。

上に概説した像軌跡およびパラメータ軌跡に類似する一連の画像における物体の動きを表現する方法が開示されている(例えば、特許文献1及び特許文献2参照)。特許文献2及び特許文献1それぞれには、物体の代表領域をどのように導き出すか(多角形近似アルゴリズム)およびフレーム中の代表点をどのように別のフレーム中の代表点と関連付けるか(対応決定アルゴリズム)についてもより詳細に開示されている。

像軌跡では、時空的補間アルゴリズムとして知られている関数近似は、抽出誤差しきい値(EET)が所定のしきい値よりも大きくなるまで、近似関数の間隔を延長することを含む。

このアルゴリズムでは、補間の初期値は最初の2つの点に設定される。次に、補間を広げて一度に1点ずつ追加していき、ついに補間のEETが予め規定されたしきい値よりも大きくなる。その点で、新しい補間間隔が開始される。この手順はすべての点が処理されるまで繰り返される。補間モデル変数値と良好にマッチングした場合、このアルゴリズムにより少数の長い補間間隔が得られる。反対に、マッチングが不良の場合、多数の短い補間間隔が得られることになる。

このアルゴリズムについて正しく説明するため、以下の表記を定義する。d(>0)を変数次元)の数とし、時間tでのj番目の変数の値をvt(j)(j=1,2,・・・,d)で表す。一続き時間点をti(i=0,1,・・・)で表す。(候補)補間間隔についての開始時間(終了時間)をtSTART(tEND)で表す。ftSTART,tEND(j)(t)(j=1,2,・・・,d)をj番目の変数補間関数の候補とする。これは、最小二乗法を用いて算出することができる。この場合、ftSTART,tEND(j)(t)は、次の式を最小化するように算出される。

ここで補間関数は一次または二次の多項式である。導き出された候補関数を評価するために、Tjをj番目の変数のしきい値とし、誤差e(j)(j=1,2,・・・,d)を、次の式のように定義する。

e(j)は、範囲tSTART≦ti≦tENDのj番目の変数の最大近似誤差である。e(j)<Tjがすべてのjについて当てはまる場合、fta,tb(j)(t)は許容可能な候補である。しかし、より広い間隔で別の補間関数が見つかりうる。この可能性をテストしようとするため、ENDを増分することによって間隔を広げ、新しい関数を導き出してテストする。この手順は、新たに導き出される関数が容認条件を満たすまで繰り返される。次に、最後の候補関数が許容される。

同様の技法が、特許文献1に開示されている。

米国特許出願公開第2001/0040924号明細書
米国特許出願公開第2001/0025298号明細書

概要

特に像軌跡の場合に、動きを表現する正確度を向上させることである。一連の画像に現れる物体の動きを表現する方法は、各画像について、物体の場所を表す代表点のセットを導き出すステップと、上記一連の画像の中の2枚以上の画像における代表点の軌跡を表す近似関数を導き出すステップと、画像の代表点について、上記近似関数の誤差値を算出するステップとを含み、誤差値は、代表点によって表される物体の面積と、代表点が各近似関数値で置き換えられた物体の面積との差分に基づくことを特徴とする。

目的

本発明は、画像に対応する信号を処理することによって一連の画像に現れる物体の動きを表現する方法であって、各画像について、物体の場所を表す代表点のセットを導き出すこと、上記一連の画像の中の2枚以上の画像における代表点の軌跡を表す近似関数を導き出すこと、画像の代表点の上記近似関数の誤差値を算出することとを含み、誤差値が、代表点によって表される物体の面積と代表点が各近似関数値で置き換えられた物体の面積との差分に基づくことを特徴とする、物体の動きを表現する方法を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

各画像について、物体の場所を表す代表点のセットを導き出すステップと、一連の画像の中の2枚以上の画像における代表点の軌跡を表す近似関数を導き出すステップと、画像の代表点について、前記近似関数の誤差値を算出するステップとを含む一連の画像に現れる物体の動き表現する方法において、前記誤差値は、前記代表点によって表される物体の面積と、前記代表点が各近似関数値で置き換えられた物体の面積との変化に基づくことを特徴とする、一連の画像に現れる物体の動きを表現する方法。

請求項2

前記誤差値は、画像の面積の変化に基づく請求項1記載の一連の画像に現れる物体の動きを表現する方法。

請求項3

前記誤差値は、複数の画像の面積の変化に基づく請求項1記載の一連の画像に現れる物体の動きを表現する方法。

請求項4

関数近似は、代表点の各座標毎に導き出される請求項1から請求項3までのいずれかに記載の一連の画像に現れる物体の動きを表現する方法。

請求項5

関数近似は、各代表点毎に導き出される請求項1から請求項4までのいずれかに記載の一連の画像に現れる物体の動きを表現する方法。

請求項6

関数近似は、代表点に対して独立して行われる請求項1から請求項5までのいずれかに記載の一連の画像に現れる物体の動きを表現する方法。

請求項7

関数近似は、2つ以上の頂点に対してまとめて行われる請求項1から請求項5までのいずれかに記載の一連の画像に現れる物体の動きを表現する方法。

請求項8

画像の前記誤差値は、代表点が関数近似値で置き換えられた変更後の前記物体の輪郭線内にあるが、元の輪郭線内にはないピクセルの数、および前記元の輪郭線内にはあるが、前記変更後の輪郭線内にはないピクセルの数の関数に基づく請求項1から請求項7までのいずれかに記載の一連の画像に現れる物体の動きを表現する方法。

請求項9

一連の画像中の画像における物体の選択を識別する方法であって、前記物体の動きは、請求項1から請求項8までのいずれかに記載の一連の画像に現れる物体の動きを表現する方法を用いて導き出された表現を有し、前記画像の選択された領域を識別するステップと、動き記述子を使用して前記画像中の前記物体の場所を求めるステップと、前記物体の場所を前記選択された領域と比較して、前記物体が選択されているか否かを判定するステップとを含む一連の画像中の画像における物体の選択を識別する方法。

請求項10

画像に対応する信号を処理することによって一連の画像を探索する方法であって、物体移動クエリを入力するステップと、前記物体移動クエリの表現を導き出すステップと、前記表現を、請求項1から請求項8までのいずれかに記載の一連の画像に現れる物体の動きを表現する方法を用いて導き出された表現と比較するステップと、前記表現が前記クエリとある程度の類似度を示す一連の画像を選択して表示するステップとを含む画像に対応する信号を処理することによって一連の画像を探索する方法。

請求項11

請求項1から請求項10までのいずれかに記載の方法を実施するように適合された装置。

請求項12

請求項1から請求項10までのいずれかに記載の方法を実行させるためのコンピュータプログラム

請求項13

請求項1から請求項10までのいずれかに記載の方法に従って動作するようにプログラムされたコンピュータシステム

請求項14

請求項1から請求項10までのいずれかに記載の方法を実行させるためのコンピュータ実行可能プロセスステップを記録した、または請求項12に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体

請求項15

請求項1から請求項8までのいずれかに記載の一連の画像に現れる物体の動きを表現する方法によって導き出される一連の画像における物体の動き記述子。

技術分野

0001

本発明は、一連の画像に現れる移動物体を表す改良された方法および装置に関する。

背景技術

0002

画像または一連の画像における物体表現を導き出す様々な技法が知られている。このような表現は、たとえば、探索・検索目的のために画像にインデックスを付与するにあたって有用である。主観的であり、かつ労働集約的なテキストベースインデックス付与の後には、色、形状、および輪郭線等、物体の固有属性に基づくインデックス付与が続けられた。さらに進んだ発展は、一連の画像における物体の動きを表現することであった。このような表現の非常に重要な側面は、導入される近似誤差を最小化しながら、必要な帯域幅および記憶領域を最小化する効率的な符号化である。

0003

動きを表現する第1の既知の技法は、パラメータ軌跡(parameter trajectory)として知られている。この技法では、物体全体の動きが、回転および平行移動等、1つまたは複数のパラメータを使用して表現される。たとえば、フレーム中の頂点基準フレーム中の頂点の間の置換ベクトルが導き出され、これを使用して、アフィン変換移動等、既知の動きモデルの式を解く。この技法により比較的コンパクトな表現が生成されるが、この技法は剛体物体、および動きモデル(たとえば、アフィン変換)がわかっている場合に制限される。

0004

動きを表現する別の既知の技法は、像軌跡(figure trajectory)として知られている。この技法では、物体の動きが、いくつかの代表点それぞれの軌跡により独立して表現される。より具体的には、各代表点座標が一連のフレームを通してトラッキングされ、各代表点の各座標の軌跡を近似する関数が導き出される。関数近似は、一次近似二次近似、またはスプライン関数近似等、既知の技法を用いて行われる。像軌跡は、未知の、かつ/または複雑な動きを有する剛体物体の動きを含め、様々な種類の動きに使用することが可能である。

0005

両方の技術において、物体が比較的複雑な輪郭線を有する場合、より複雑な物体の輪郭線を近似した矩形楕円、または多角形等の参照領域でこの物体を表現することができる。多角形の場合、代表点は頂点であることができる。同様に、矩形の場合、代表点は4つの頂点のうちの3つに制限されうる。これは、4番目の頂点の位置は、その他の3つの頂点の位置から算出することができるためである。楕円の場合、矩形に外接する3つの頂点を代表点として選択することができる。

0006

上に概説した像軌跡およびパラメータ軌跡に類似する一連の画像における物体の動きを表現する方法が開示されている(例えば、特許文献1及び特許文献2参照)。特許文献2及び特許文献1それぞれには、物体の代表領域をどのように導き出すか(多角形近似アルゴリズム)およびフレーム中の代表点をどのように別のフレーム中の代表点と関連付けるか(対応決定アルゴリズム)についてもより詳細に開示されている。

0007

像軌跡では、時空的補間アルゴリズムとして知られている関数近似は、抽出誤差しきい値(EET)が所定のしきい値よりも大きくなるまで、近似関数の間隔を延長することを含む。

0008

このアルゴリズムでは、補間の初期値は最初の2つの点に設定される。次に、補間を広げて一度に1点ずつ追加していき、ついに補間のEETが予め規定されたしきい値よりも大きくなる。その点で、新しい補間間隔が開始される。この手順はすべての点が処理されるまで繰り返される。補間モデル変数値と良好にマッチングした場合、このアルゴリズムにより少数の長い補間間隔が得られる。反対に、マッチングが不良の場合、多数の短い補間間隔が得られることになる。

0009

このアルゴリズムについて正しく説明するため、以下の表記を定義する。d(>0)を変数次元)の数とし、時間tでのj番目の変数の値をvt(j)(j=1,2,・・・,d)で表す。一続き時間点をti(i=0,1,・・・)で表す。(候補)補間間隔についての開始時間(終了時間)をtSTART(tEND)で表す。ftSTART,tEND(j)(t)(j=1,2,・・・,d)をj番目の変数補間関数の候補とする。これは、最小二乗法を用いて算出することができる。この場合、ftSTART,tEND(j)(t)は、次の式を最小化するように算出される。

0010

0011

ここで補間関数は一次または二次の多項式である。導き出された候補関数を評価するために、Tjをj番目の変数のしきい値とし、誤差e(j)(j=1,2,・・・,d)を、次の式のように定義する。

0012

0013

e(j)は、範囲tSTART≦ti≦tENDのj番目の変数の最大近似誤差である。e(j)<Tjがすべてのjについて当てはまる場合、fta,tb(j)(t)は許容可能な候補である。しかし、より広い間隔で別の補間関数が見つかりうる。この可能性をテストしようとするため、ENDを増分することによって間隔を広げ、新しい関数を導き出してテストする。この手順は、新たに導き出される関数が容認条件を満たすまで繰り返される。次に、最後の候補関数が許容される。

0014

同様の技法が、特許文献1に開示されている。

0015

米国特許出願公開第2001/0040924号明細書
米国特許出願公開第2001/0025298号明細書

発明が解決しようとする課題

0016

本発明の目的は、特に像軌跡の場合に、動きを表現する正確度を向上させることである。

課題を解決するための手段

0017

したがって、本発明は、画像に対応する信号を処理することによって一連の画像に現れる物体の動きを表現する方法であって、各画像について、物体の場所を表す代表点のセットを導き出すこと、上記一連の画像の中の2枚以上の画像における代表点の軌跡を表す近似関数を導き出すこと、画像の代表点の上記近似関数の誤差値を算出することとを含み、誤差値が、代表点によって表される物体の面積と代表点が各近似関数値で置き換えられた物体の面積との差分に基づくことを特徴とする、物体の動きを表現する方法を提供する。

0018

画像のセットを通しての各代表点の全体的な軌跡が、近似関数または近似関数のセットによって表現され、誤差値を使用して、それぞれの開始点および終了点を含むこれら近似関数を求める。

0019

近似関数は、一連の画像を通しての物体の動きについての記述子を形成するために使用される。したがって、一連の画像中の任意の画像の物体記述子を補間することができる。

0020

たとえば、代表点は、物体の輪郭線を近似する多角形、矩形、楕円等の像の頂点であることができる。好ましくは、本方法は、一連の画像における代表点間の対応を導き出すステップを含む。

0021

本発明により、改良された、より正確な物体移動の表現を導き出すことができる。

0022

本発明の実施形態について、添付図面を参照して述べる。

発明を実施するための最良の形態

0023

図1は、本発明の一実施形態によるコンピュータ化されたビデオデータベースステムを示す。システムは、コンピュータからなる制御ユニット2と、モニタからなる表示ユニット4と、マウスからなるポインティングデバイス6と、動画像(以下、ビデオと記す)を構成する一連の画像が格納されたビデオデータベース8と、ビデオデータベース(画像データベース)8に格納されている画像に現れる物体のまたは物体の部分についての記述子を格納した記述子データベース10とを備える。

0024

ビデオデータベース中の画像および画像に現れる物体の記述子は、制御ユニット2によって導き出され、記述子データベース10に格納される。制御ユニット2は、適切なプログラムの制御下で動作して記述子を導き出す。当該技術分野の他のどこかに述べられている画像中の物体の色、形状、および輪郭線の記述子等、多くの種類の記述子が既知であり、使用することが可能である。本実施形態の記述子は、ビデオ中の物体の動き記述子の導出焦点を合わせる。

0025

本実施形態の技法は、上に述べた像軌跡に基づくものであり、像軌跡の特徴の中のいくつかについて短くまとめたものをまず提供する。

0026

図2は、制御ユニット2の機能構成要素を示す。これらは、望みに応じてソフトウェアおよび/またはハードウェアの形で実施することができる。制御ユニット2は、入力画像受け取り、より詳しく以下に述べるように、画像中の物体の輪郭線を近似した多角形を導き出す多角形近似ユニット12を含む。多角形近似ユニット12の出力は、バッファ16および対応決定ユニット14に入力される。対応決定ユニット14は、より詳しく以下に述べるように、現フレーム中の多角形の頂点と、別のフレーム中の多角形の頂点との対応を求めるためのものである。対応決定ユニット14の出力は、一連のフレームを通しての各多角形頂点の軌跡を表現する近似関数を求める軌跡関数近似ユニット18に入力される。関数近似について、より詳しく以下に述べる。

0027

軌跡関数近似ユニット18の出力は記述子形成ユニット20に入力され、記述子形成ユニット20が軌跡関数から記述子を形成する。

0028

図3の流れ図は、一連の画像における物体の動きの表現を導き出す方法のステップを示す。

0029

ステップ100において、関心のある物体を含む一連の画像中の各画像が、多角形近似ユニット12に入力される。ステップ110において、各画像について、バイナリマスクが物体について導き出される。これは図4に示される。より具体的には、各ピクセルについて、ピクセルが関心のある物体の一部である場合、そのピクセルは第1の値、図4では黒丸に設定され、ピクセルが関心のある物体の一部ではない場合、そのピクセルは、図4では白丸と示される第2の値に設定され、バイナリマスクが生成される。

0030

ステップ120において、物体の輪郭線が抽出され、近似多角形の頂点が生成される。物体の輪郭線はすでに、五角形または六角形等の単純な多角形の形でありうる。しかし、通常、物体の輪郭線ははるかに複雑であり、これにより必要な処理量が大幅に増す。したがって、物体の輪郭線は多角形で近似される。たとえばこれは、特許文献1及び2に記載のように物体の輪郭線を平滑化することにより、または所定数の頂点を有する多角形にマッチングまたは変更することによって行うことができる。多角形近似についてのさらに詳しいことは、たとえば、特許文献1及び2に見出すことができる。図5は、図4物体輪郭線の多角形近似を示す。この場合の多角形近似は六角形である。

0031

この例では、各フレームにおける物体の多角形近似が同じ数の頂点を有するものと想定するが、これが必ずしも当てはまるとは限らない。

0032

所与のフレームについて、多角形近似が多角形近似ユニット12から出力され、一時的に格納するためのバッファ16に入力されるとともに、対応ユニット14にも入力される。より具体的には、画像中の近似多角形の頂点の座標が入力される。

0033

次に、ステップ130において、現画像の多角形の頂点と前の画像の多角形の頂点の間の対応が見つけられる。

0034

図6は、時間tにおける最初の画像中の多角形(六角形)の位置、および時間t’における後続画像中の多角形の位置を示す。この目的は、時間tにおける画像中のどの頂点が時間t’における画像中のどの頂点に対応するかを求めることである。多角形は六角形であるため、考えられる対応の組合せが6つあることが理解されよう。言い換えれば、最初のフレーム中の各多角形頂点は、後続フレーム中で最も近い頂点に単純にマッピングされる場合もあり、または、たとえば頂点1つ分、頂点2つ分等、様々な程度で回転している場合もある。

0035

頂点の対応を決定する方法は、特許文献1及び2により詳しく述べられている。

0036

各頂点について、各画像中の頂点の座標が、頂点対応決定ユニットの結果を用いてリンクされる。これら座標は各頂点の軌跡を表す。

0037

次のステップであるステップ140において、頂点の軌跡の関数近似が導き出される。

0038

本実施形態では、各頂点が独立して検査され、さらに、各座標が別個に取り扱われる。

0039

図7は、様々な時間t0〜t8における所与の頂点(図8中の頂点A)のy座標の値を示したグラフであり、各時間点は画像に対応する。グラフに示される曲線は、間隔t0〜t4およびt4〜t8にわたる近似関数の例である。

0040

近似関数は、一次近似、二次近似、またはスプライン関数近似等、任意の適切な既知の技法を用いて導き出される。

0041

本実施形態では、候補関数および誤差の算出および評価の違いを除き、このアルゴリズムは先行技術を考察するにあたり上述したアルゴリズムと同様である。

0042

このアルゴリズムでは、補間の初期値は最初の2つの点に設定される。次に、補間を広げて一度に1点ずつ追加していき、ついに補間のEETが予め規定されたしきい値よりも大きくなる。その点で、新しい補間間隔が開始される。この手順は、すべての点が処理されるまで繰り返される。

0043

このアルゴリズムについて正しく説明するため、以下の表記を定義する。d(>0)を変数(次元)の数とし、時間tでのj番目の変数の値をvt(j)(j=1,2,・・・,d)で表す。一続きの時間点をti(i=0,1,・・・)で表す。(候補)補間間隔について、開始時間(終了時間)をtSTART(tEND)で表す。ftSTART,tEND(j)(t)(j=1,2,・・・,d)をj番目の変数補間関数の候補とする。これは、最小二乗法を用いて算出することができる。この場合、ftSTART,tEND(j)(t)は、次の式を最小化するように算出される。

0044

0045

ここで補間関数は一次または二次の多項式である。候補関数の時間間隔は反復的に延長される。

0046

本例では、頂点Aのy座標の候補関数が導き出されている。候補近似関数fが、時間間隔t=Sからt=E−1までについて上に概説したように導き出されたものと想定する。次に、tがEに設定され、t=Eの候補関数の値が求められる。言い換えれば、導き出された近似関数をt=Eに拡張しようと試みる。次に、結果もたらされる誤差が算出される。

0047

結果もたらされる誤差は、図8を参照して以下のように算出される。

0048

図8は、時間Eにおける画像の、上記ステップ120において求められた頂点を有する物体輪郭線を実線で示す。また、図8は、元のy値が時間Eにおける近似関数の値で置き換えられた頂点の位置をバツ印で示す。破線は、頂点値が変更された物体輪郭線を示している。

0049

図8から見て取ることができるように、頂点の1つを変更した結果、多角形の面積が変化している。本実施形態では、誤差値は、元の多角形の面積と変更された多角形の面積の差分である。より具体的には、本実施形態では、時間tでの面積の差分は、以下の式を用いて算出される。

0050

0051

式中、iは画像中のピクセルにインデックスを付与し、POR(i)は、ピクセルiが元の物体の輪郭線内にあるが、変更後の物体の輪郭線内にはない場合、またはピクセルiが変更後の物体の輪郭線内にあるが、元の物体の輪郭線内にはない場合(すなわち、変更後の物体の輪郭線が元の物体の輪郭線よりも外側にある場合)、値1をとる。これにより、面積の差分の指標が与えられる。部分的に一方の面積内にあるが、他方の面積内にないピクセルの場合、POR(i)は、望みに応じて1または0に設定することができる。1つの変数(y)のみが変更されているため、変更後の物体の輪郭線は、全体的に元の輪郭線内にあるか、あるいは全体的に元の輪郭線の外側にあるかのいずれか一方である。

0052

他の式を用いて、面積の差分を算出することができる。たとえば、以下の式を使用して、延長された間隔での誤差を算出し、しきい値と比較することが可能である。

0053

0054

式中、SおよびEは関数近似の開始点および終了点それぞれである。言い換えれば、関数近似の間隔中の誤差合計は、関数近似の適切性をテストするものとみなされる。結果得られる誤差値は所定のしきい値と比較される。誤差値がしきい値未満の場合、関数近似は時間E+1に延長され、手順が繰り返される。代替として、たとえば、時間間隔t=S〜t=Eにおける式(1)からの最大誤差Dtをしきい値と比較することができる。

0055

t=Eの誤差値がしきい値よりも大きい場合、関数近似はt=E−1で終了する。新しい関数近似がt=E−1で開始され、最初の終了点はt=Eである。この関数近似もまた、上に概説したように算出される誤差を用いてテストされる。

0056

最初の関数もまた、上に概説したように算出される誤差でテストされる。

0057

上記諸ステップは、一連の画像中のtのすべての値に対して繰り返され、頂点のy座標の軌跡を近似する関数のセットが得られる。

0058

図7に示すように、この場合では、上記諸ステップにより2つの候補関数が得られる。

0059

同じ諸ステップが、同じ頂点のx座標に対して行われる。

0060

頂点のxおよびy座標の関数を組み合わせて、頂点の軌跡の記述を形成することができる。

0061

上記諸ステップが各頂点の各座標に対して繰り返され、各頂点の軌跡記述が得られる。

0062

すべての頂点の軌跡記述子が組み合わせられて、物体の動き記述子が形成される。

0063

図8に示すように、先行技術による誤差は、y(A)とy(A’)との一次元差に対応するが、本実施形態は、yの変更により物体の面積の変更を反映しており、物体の動きの表現という点においてより正確である。

0064

予め算出された関数の間隔を延長する代わりに、t=S〜t=Eの点に合う別の候補関数がある可能性がある。この可能性は、より長い間隔について、上に述べた最小二乗法によってテストすることができ、上記式を使用してt=S〜t=Eまでのtの各値について結果もたらされる面積誤差をテストする。面積誤差が、tの各値に所定のしきい値未満の場合、その候補関数を前の候補関数の代わりに選択することができる。2つのうちから選ぶため、全体面積、すなわち間隔中のtのすべての値についての面積誤差の和を、選択された最も小さい全体誤差を有する候補関数と比較することができる。同様に、候補関数は、t=Sからtの最大値までの時間間隔を考慮することによって導き出すことができ、候補関数を見つけ、すべてのtについて結果もたらされる面積誤差をテストする。tの値についての最大面積誤差が所定のしきい値よりも大きい場合、tの最大値が1だけ減じられ、適切な候補関数が見つけられるまで手順が繰り返される。次に、tの値をtの最小値に設定し、手順を繰り返すことができる。

0065

上記実施形態では、関数近似が各頂点の各座標毎に別個に算出される。これは比較的粗い近似であるが、それでも先行技術と比較して、動き記述の品質を向上させる。

0066

高度なアルゴリズムは、再帰的にすべての頂点を同時に解析して、近似を向上させる。別の手法では、異なる頂点の関数近似の主要な部分(開始点および終了点)すべてを同時に行う必要がある。

0067

すべての頂点の関数近似およびそれぞれの主要点の再帰的な同時推定の例は以下である。
1.各頂点の最初の数個の主要点および対応する近似関数が、上記実施形態のように独立して推定される。主要点は、少なくともいくつかの頂点に数個の主要点を確保するに足る長さの間隔が与えられるように選択された所定の時間点EIまで選択される。
2.最初の頂点を選択する。
3.選択された頂点について、最初の主要点が識別され、選択される。
4.選択された主要点について、ステップ1において導き出された関数を使用して、同じ時間におけるその他のすべての頂点の(調整された)位置を求める。
5.ステップ4において算出された頂点の位置について、Dt’(上記式(2))の値が算出され、しきい値と比較される。Dt’がしきい値よりも大きい場合、考慮中の頂点の主要点が変更される。より具体的には、Dt’がしきい値未満になるまで、Dt’の値を算出する各段階において、主要点が後方に向けて段階的にとられ、すべての頂点がステップ2のように調整される。Dt’がしきい値よりも小さい場合、同様の段階的な主要点の延長が行われる。
6.ステップ4およびステップ5が、ステップ2と同じ頂点について、ステップ1において算出された次の主要点に対して繰り返される。この主要点は終了点であり、対応する関数の開始点はステップ5において求められる点である。
7.ステップ6は、考慮中の頂点のすべての主要点に対して繰り返される。
8.次の頂点が選択され、ステップ3〜7がこの頂点について繰り返される。
9.次に、主要点の変化が止まるまで、または変化が十分に小さくなる(すなわち、所定のしきい値未満になる)まで、繰り返しステップ8がすべての頂点に対して繰り返される。
10.全体の時間期間がEIから延長され、これに従って、各頂点の近似関数が独立して延長され、次にステップ2〜9が繰り返される。

0068

全体の時間期間は、比較的短い場合、EIに設定し、ステップ9を省くことが可能である。

0069

テストにより、誤差が実際の領域と関数近似によって推定された領域とのピクセル数の差分として定義される場合、提案された技法が、先行技術を越える平均正規化誤差(すべてのフレームにわたっての平均をとる)において大幅な改良をもたらすことがわかっている。

0070

上に述べた実施形態では、一次元関数が、各頂点の各座標毎に別個に近似される。代替として、二次元関数を各頂点の両方の座標に同時に導き出すことができる。1つの座標が変更される実施形態では、物体の輪郭線は増大するか、あるいは減少するかのいずれか一方であり、ピクセルの変化は面積の変化である。しかし、2つの座標が同時に処理される場合、物体輪郭線の全体面積値が同じままであるが、元の物体がカバーする元画像の面積(ピクセル)と変更後の輪郭線がカバーするピクセルとに関して変化が生じている場合がある。誤差値は、変更後の輪郭線ないにあるが元の輪郭線内にないピクセル数、および元の輪郭線内にはあったが、変更後の輪郭線内にはないピクセル数の関数(たとえば、和)として算出される。

0071

記述子は、物体の移動の表現である。これは、たとえば、ビデオシーケンス中の物体の選択を可能にするため、探索、比較、および検索目的で一連の画像にインデックスを付与するため、診断目的、監視または解析のために移動を識別または分類するため、また他の多くの用法に使用することができる。本発明の適用例としては、再生中のビデオシーケンス中の物体をクリックして、たとえば物体の説明とともに、関連するウェブページを呼び出せるようにすることができることである。大量のデータが関わる物体の記述子および各画像毎にその位置を格納する代わりに、動き記述子により、クリックされたポイントが物体に対応することを識別することが可能であり、これに伴って格納されるデータの量はかなり少ない。

0072

これは、所与の物体について、前の画像中の物体の場所が、後続画像を通して動き記述子(動き関数)とともにわかっているためである。したがって、時間tにおける関心のある画像について、物体の場所を計算することができる。この場所を、たとえば、マウスおよびカーソルを使用して選択された画像中のポイントまたは領域の位置と比較して、物体が選択されているか否かを判定することができる。

0073

本発明によるシステムは、たとえば、ビデオライブラリに提供することができる。代替として、データベースをシステムの制御ユニットから離れた場所に配置し、電話回線等の一時的なリンク、またはインターネット等のネットワークにより制御ユニットに接続してもよい。ビデオおよび記述子データベースは、たとえば、永久記憶装置またはCD−ROMもしくはDVD等のポータブルデータ記憶装置に提供することができる。

0074

セレクタおよびコンパレータ等、上述したシステムの構成要素は、ソフトウェアまたはハードウェアの形で設けることが可能である。本発明はコンピュータシステムの形で説明されているが、たとえば、専用チップを使用して、他の形で実施することも可能である。

0075

本発明は、たとえば、認証目的のための物体画像のマッチング、またはフィルタリングにも使用することが可能である。

0076

本発明は、フィルムまたはビデオからの画像等の一連の画像、または同じウェブページ上にあるなど、なんらかの様式で関連している画像の集まりの中の画像に適用することが可能である。

図面の簡単な説明

0077

ビデオデータベースシステムのブロック図である。
図1のシステムの制御ユニットの構成要素のブロック図である。
物体の動きの表現を導き出す方法の流れ図である。
画像における物体のバイナリマスクを示す図である。
図4に示す物体の輪郭線を近似した多角形を示す物体である。
物体輪郭線の頂点間の対応を導き出すステップを示す図である。
一連の画像に対応する時間間隔での頂点座標の変動を示す図である。
近似誤差の算出を示す図である。

符号の説明

0078

2制御ユニット、4表示ユニット、6ポインティングデバイス、8ビデオデータベース、10記述子データベース、12多角形近似ユニット、14 対応決定ユニット、16バッファ、18軌跡関数近似ユニット、20記述子形成ユニット。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • ライフログテクノロジー株式会社の「 食事管理システム」が 公開されました。( 2019/07/25)

    【課題】食事管理における利用者利便性の向上を図る。【解決手段】本発明に係る食事管理システムは、ユーザ端末のアプリケーションプログラムと、サーバ装置とを含み、アプリケーションプログラムは、コンピュータを... 詳細

  • 株式会社ドリコムの「 画像処理装置、画像処理方法、ならびに、プログラム」が 公開されました。( 2019/07/25)

    【課題】建物の壁面等が描画された原画像を、当該壁面等を正面から見た様子を表す変換済画像に変換したい。【解決手段】画像処理装置101において、主認識部102は、原画像において主部材が描画されている主領域... 詳細

  • 株式会社エンライブの「 情報処理装置及び情報処理プログラム」が 公開されました。( 2019/07/25)

    【課題】ラベル情報の作成依頼に応じて、一般ユーザーが作成したラベル情報又はラベル情報を用いて機械学習を行った結果を提供するようにした情報処理装置を提供する。【解決手段】第1のユーザーが用いる端末及び第... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ