図面 (/)

技術 互いに相関する画像のシーケンスに属する連続するビデオ画像を変更する方法、ならびに対象点の集合によって識別されるターゲットの表現を同じシーケンスの連続するTVフレーム中の同じ幾何学的形状の予め定められるストアされるパターンのマッチングする表現と置換する装置およびその方法

出願人 シマ・ビジオン
発明者 ジェラード・ミディオニガイ・ギディオンヒレル・ロム
出願日 1995年5月29日 (25年11ヶ月経過) 出願番号 1995-130782
公開日 1996年8月9日 (24年9ヶ月経過) 公開番号 1996-202879
状態 未査定
技術分野 スタジオ回路 圧縮、伸長・符号変換及びデコーダ イメージ分析
主要キーワード 時間微分係数 動作回復 パラメータ定数 スケールリング 直接サーチ 放射値 コーナ位置 ターゲットモデル
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(1996年8月9日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (10)

目的

互いに相関される画像のシーケンスに属する連続するビデオ画像を変形するための改良されたシステムを提供する。

構成

システムは、複数のフレームストアするためのバッファ(12)と、ターゲットピクセルパターンのピクセルと置換された後に画像のシーケンスをストアするためのレコーダ(14a)と、ディスプレイ(14b)と、伝送システム(14c)と、ターゲットフレーム探す第1のファインダモジュール(16)と、グローバルモーショントラッカモジュール(18)と、記録ユニット(20)と、アダプタユニット(22)と、第2のファインダモジュール(24)と、置換モジュール(26)とを含む。

概要

背景

概要

互いに相関される画像のシーケンスに属する連続するビデオ画像を変形するための改良されたシステムを提供する。

システムは、複数のフレームストアするためのバッファ(12)と、ターゲットピクセルパターンのピクセルと置換された後に画像のシーケンスをストアするためのレコーダ(14a)と、ディスプレイ(14b)と、伝送システム(14c)と、ターゲットフレーム探す第1のファインダモジュール(16)と、グローバルモーショントラッカモジュール(18)と、記録ユニット(20)と、アダプタユニット(22)と、第2のファインダモジュール(24)と、置換モジュール(26)とを含む。

目的

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

互いに相関する画像のシーケンスに属する連続するビデオ画像を変更する方法であって、前記画像中の置換されるべきターゲット表現ストアするステップと、シーケンスの複数の連続する画像をバッファメモリにストアするステップと、前記画像の少なくとも1つにおいてターゲットが信頼性を持って発見されるまで、パターン認識により前記画像においてターゲットを捜すステップと、画像のグローバルな変化の評価に基づき、ターゲットが見つかった画像に先行および後続する画像におけるターゲットの位置に関して逆方向および順方向予測を実行するステップとを含み、それにより、前記画像のうちの特定の1つの内でターゲットのわずかな部分のみが利用可能な場合でも前記特定の画像におけるターゲットの位置の精密な識別が達成される、方法。

請求項2

メモリ中にストアされる対象点集合によって識別されるターゲットの表現を、ビデオカメラから撮られる同じシーケンスの連続するTVフレーム中の同じ幾何学的形状の予め定められるストアされるパターンマッチングする表現と置換する方法であって、(a)バッファに前記シーケンスの連続するフレームをストアするステップと、(b) シーケンスの各現在のフレーム中の対象点を順番に抽出して、対象点の前記ストアされる集合のそれぞれの部分集合とマッチングする、前記現在のフレーム中の前記抽出された対象点の少なくとも1つの部分集合を見つけようとするステップと、(c) フレームの内容の間におけるグローバルな比較に基づいて、そのようなマッチングが見つけられた各前記現在のフレームと後続および先行するフレームとの間において前記カメラ動きを評価するステップと、(d) 評価された動きからシーケンス中の前記後続および先行するフレームにおける前記ターゲットの位置を予測するステップと、(e) 予測された位置を用いて前記シーケンス中の前記後続および先行するフレームにおいて前記ターゲットを自動的にサーチするステップと、(f) 各前記フレームにおいて、それぞれのフレーム中のターゲットの前記表現中の複数の対象点とそれぞれのストアされる複数の対象点との間の比較から計算される変換を前記ストアされるパターンが受けた後、前記ターゲットの各前記表現を前記ストアされるパターンの表現と置き換えるステップとを含む、方法。

請求項3

前記対象点は各フレームによって表現される画像の第1の微分係数を用いるオペレータを用いることによって得られ、(b1) 画像の全体にわたって放射値Iの第1の空間微分係数を計算してI2 x 、I2 y およびIx Iy を計算するステップを含み、xとyとは線スキャン方向と線スキャン方向に直交する方向とをそれぞれ指定し、さらに、(b2) 3つの置換画像n11、n22、n12を得るためにI2 x 、I2 y およびIx Iy をボックスフィルタで畳み込むステップと、(b3) n11、n22およびn12から始めて、重み付け画像等方性画像とを計算し、重み付け画像および等方性画像をそれぞれのしきい値と比較し、重み付け画像と等方性画像との両方がそれぞれのしきい値よりも高い重み付け画像におけるそれらの値のみを保持するステップとを含む、請求項2に記載の方法。

請求項4

関連の特徴がターゲットのモデルから抽出される前処理ステップをさらに含み、前記前処理ステップは、安定したベースを構成する点のトリプレットを検知するステップと、前記トリプレットをそれと関連するアフィン座標の対とともにストアするステップとを含み、1つのフレームにおいて対の色を分離する複数の点を指すことによって色の対を相互に指定するステップと、前記対象点を含む前記関連の特徴を抽出する前に、前記対象点として、前記色を分離する前記フレームの少なくとも一部において他のいくつかの点を自動的に選択するステップとをさらに含む、請求項2または請求項3に記載の方法。

請求項5

メモリ中にストアされる対象点の集合によって識別されるターゲットの表現を、ビデオカメラから撮られる同じシーケンスの連続するTVフレーム中の同じ幾何学的形状の予め定められるストアされるパターンのマッチングする表現と置換するための装置であって、何秒かの期間にわたってすべてのフレームをストアするのに十分な長さを有する先入れ先出しメモリを構成する、シーケンスの連続するフレームをストアするためのバッファ手段(12)と、シーケンスの各現在のフレームにおいて対象点を順番に抽出して、ストアされる集合のそれぞれの部分集合とマッチングする抽出された対象点の少なくとも1つの部分集合を見つけようとするための手段と、連続するフレーム間における画像のグローバルな動きを評価し、パターンが見つけられたフレームに後続または先行するフレームにおけるターゲットの位置を予測するための手段(18)と、予測に基づき、ターゲットが発見されたフレームにおいてターゲットを精密に位置付けるためのターゲット発見手段(16)と、それぞれのフレーム中のターゲットの表現中の少なくともいくつかの対象点とそれぞれのストアされる対象点との比較から計算される大きさおよびバースクティブ変換を、ストアされるパターンが受けた後、各フレームにおけるターゲットの各部分的なまたは全体の表現を、もしそれが発見される場合には、ストアされるパターンの表現と置き換えるためのリプレーサ手段(26)とを含む、装置。

請求項6

グローバルな動きを評価するための手段は、前のフレームと各現在のフレームとの間でカメラによって見られるシーンの動きを計算するよう構成される、請求項5に記載の装置。

請求項7

前記ターゲット発見手段(16)は、近傍の前記対象点を抽出するための対象点オペレータ(38)と、色情報に基づいて、ターゲット中に最も発見されそうな対象点を選択するためのフォーカスオブアテンションサブモジュール(40)と、ターゲットのストアされるモデル中の対象点と各実際のフレームに発見される対象点との間において対応する点の集合を発見するためのポイントマッチャサブモジュール(42)と、前記ポイントマッチャサブモジュールによって与えられる対応関係から、フレームにおけるターゲットの精密な位置を見つけるための精密ロックインサブモジュール(44)と、ターゲットがシーケンスの別のフレームに見つけられたと仮定して、精密ロックインサブモジュールとグローバルモーショントラッカ(18)とから受取られる情報に基づいて、オーダnの任意のフレームにおいてターゲットの位置を予測するためのプレディクタサブモジュール(46)とを備える、請求項5または請求項6に記載の装置。

請求項8

他の前記手段からデータを集めて前記フレーム間において情報を内挿するための更新モジュール(22)をさらに備え、前記更新モジュールは、1つの前記フレームの属性を各々がストアする複数の連続するセルを有する循環バッファメモリを備え、前記属性は、それぞれのフレームと次のフレームとの間におけるグローバルなモーション変換およびと確信尺度と、それぞれの前記フレームと次の前記フレームとの間における変換、および確信の尺度と、それぞれの前記シーケンスにおけるそれぞれの前記フレームの位置を表現するフラグと、画像座標におけるターゲットのエッジ上の複数の表示を各々が含む、仮説リンクされたリスト、および確信の尺度、とのうちの少なくとも1つを含む、請求項7に記載の装置。

--

0001

この発明は、予め定められるパターンマッチングする表現によって、画像のシーンゾーン(これ以降はターゲットと呼ぶ)を置き換えるための、任意のビデオソースカメラ、複数のカメラを組合せるスタジオスイッチボードの出力、または衛星ダウンまたはアップ回線を含むがそれらに限定されるものではない)によって送られる画像のシーケンスビデオ画像を変えるためのビデオ処理システムに関する。これ以降はより明確に曖昧性を避けるため、「フレーム」という語を「画像」にしばしば置き換えて用いる。しかしながら、シーケンシャルラスタスキャニングが用いられる場合、処理はフレーム対フレームでのみ生ずる。大抵の例においては、従来のインタリーブされるラスタスキャンが用いられる場合、1つの完全なフレームはヨーロッパでは20msの2つのフィールドにある対応するライン間に時間遅延を有する2つのフィールドからなる。次いで、2つのアプローチのうちのいずれかが選択されなければならない。アプローチの1つでは奇数フィールド偶数フィールドとは別途に処理する。しかしながら、同じ瞬間でのシーンの状態にラインが対応するような画像を得るためには、2つのフィールド間で生ずる動きの量の評価を行ない内挿技術を用いることがはるかに好ましい。

0002

ターゲットのためのパターンの置換を可能にする数多くの技術が公知となっている。国際出願番号PCT/FR91/002196をたとえば参照してもよい。米国特許第5,107,252号(トレイナー(Traynar )ら)に開示される別の方法は、フレーム単位で置換されるターゲットの表現のコーナを繰返して指すことによるビデオ画像操作を必要とする。米国特許第5,263,933号(ロッサー(Rosser)ら)は、ディスプレイにおける選択される部分の代わりにストアされるインデックスビデオ表現を後に挿入するために、ディスプレイにおける選択される部分を認識するための従来のパターン認識および画像処理方法を用いることを教示している。

0003

置換されるべきキーフレーム手動で指定することを伴うフレーム単位の処理は時間がかかり単調である。各画像上で実行される全パターン認識を必要とする任意の方法には数多くの制限がある。たとえば、パターン認識アルゴリズムは、ビルボードの重要な部分が画像に現れるまでは、または現れなければ、置換されるべきビルボードを識別することはできない。この結果、ビルボードの大部分がカメラの視野に入った後にそのビルボードが別のビルボードと突然置換されるということが起こるかも知れず、これは非常に好ましからぬことである。

発明の概要

0004

この発明の目的は、互いに相関する画像のシーケンスに属する連続するビデオ画像を変更するための改良されたシステムを提供することである。より特定的な目的は、好ましいくない条件下で、および/または置換されるべきターゲットがディスプレイのフィールドに入ったほとんど直後に、(ならびに、逆に、置換されるべきターゲットのわずかな部分が依然としてディスプレイ内にあるまでは)、そのような変更を実行することを可能にするシステムを提供することである。この目的のために、バッファメモリに複数の連続する画像をストアするステップと、次いで、当該技術分野において従来のタイプのものであってもよいパターン認識技術を用いて、前記画像の各々においてそのターゲットが信頼性を持って見つけられるまでそれを探すステップと、次いで、画像のグローバルな変化の評価に基づき、先行するまたは後続する画像におけるターゲットの位置に関して逆方向および順方向予測を実行するステップとを伴う方法を提供し、それにより、ディスプレイ内でターゲットのほんの一部が利用可能であるような場合でもターゲットの位置の精密な識別が達成されるだろう。好ましい実施例においては、予測された位置の更新はそれが信頼性を持って可能である限りにおいて行なわれ、この結果、ターゲットは先行技術の技術であれば不可能であろうような条件下でも追跡されるだろう。

0005

より正しくは、上述の方法を請求項7に従って実現するのに好適な、ターゲットの表現を置換するための請求項1または請求項2に従う方法および装置を提供する。

0006

カメラの動きを評価するための手段はアフィンモーションモデルを用いてもよいが、スピードの増大とより十分な正確度のために、好ましくは3パラメータモーションモデルを用いる。

0007

この発明の上記のおよび他の局面は、例によって与えられる特定の実施例の以下の説明から明らかとなる。

0008

この発明は、テレビカメラのような単一のビデオソースを含み、カメラによって見られるシーンにおける特定のゾーンからなるまたは典型的には広告用ビルボードのようなシーンに存在する実際の物体からなるターゲットの表現を置き換えるためにプログラムされる、システムに関連してまず説明される。しかしながら、すべてが備わったシステムは、たとえばスポーツイベントをゲームの連続する段階中に異なるカメラから見られるように放送するために、いくつかのカメラを含むかもしれない。説明されるようなこのシステムは、ターゲットがシーンにおいて静止状態にあり、かつ2次元的であり、かつシーケンスの間は固定されている、つまり変形可能でない場合に有効である。システムは、すべての動きが3パラメータモーションである場合に必要となるであろうすべての幾何学的変換、つまりx方向の変換とy方向の変換とズームとを実行してもよい。このような単純化により結果の速度および正確度が増す。上記の仮定が破られるとシステムはシナリオを検出し得、それは確信尺度に反映する。

0009

これ以降は、「画像」という語よりもむしろ「フレーム」とう語を頻繁に使う。この2つの用語は、システムがシーケンシャルラスタスキャンを用いる場合は同義語である。逆に、飛越しスキャンが用いられる場合、特に速い動きが存在し、それが予測にとっては厄介な2つのフィールド間の垂直シフトを生じさせるかもしれない場合は、相関関係はフレーム対フレームよりもむしろフィールド対フィールドである。

0010

図1を参照すると、システムは、たとえば、処理に必要な何秒かの一定の遅延を有する擬似実時間で作動する場合はTVカメラであり、オフラインで操作する場合にはビデオテープリーダである、ビデオソース10を含む。オペレーションの第2のモードが必要とする計算能力は第1のモードよりも低い。

0011

システムは、コンピュータプログラムの別のデータ処理コンポーネントまたは部分であってもよい複数のモジュールまたはユニット、つまり、典型的には3〜5秒の期間に対応する、tn 至るn+1個のフレーム(nは1より大きい整数である)をストアするための十分な容量を有し、シフトレジスタとして動作するよう接続またはプログラムされるバッファ12と、ターゲットのピクセルがパターンのピクセルと置き換えられた後に画像のシーケンスをストアするレコーダ14aと、ディスプレイ14bと、送信システム14c等とでもよい出力コンポーネントと、その機能は過去の履歴に基づいてターゲットフレームtn を捜すことである、第1のファインダモジュール16と、その機能は前のフレームtn-1 からカメラで見られるシーンの動き(典型的にはカメラの照準線および/または焦点距離における変化による動き)を計算することである、グローバルモーショントラッカモジュール(GMT)18と、ターゲットがそれぞれのフレームにおいて発見されるとターゲットの属性を各々が記録するための属性記録ユニット20の組と、ターゲットが最初にフレームtn において発見された場合には計算された動きに基づいてすべての前のフレームt0 、…、tn-1 におけるターゲットの位置を予測して属性記録をそれに従って更新するための更新ユニット22と、フレーム中のターゲットを、今度はすべてのn個の先行フレームによって生ずる局所化予測を用いて捜すための第2のファインダモジュール24と、ターゲットが見つかった場合には(1つのパターンまたは複数のパターンをそれらの間での考えられ得る選択のためにストアする)パターンメモリ28から読出されるパターンの変換された表現の挿入を行なう置換モジュール26とを含むと考えられてもよく、リプレーサはオプションとして、障害物検知およびその結果の、障害物を除去しないための部分的挿入をさらに行なうことができる。

0012

更新ユニットがワンショットを超えて予測を伝播しないよう、グローバルモーショントラッカは好ましくはカメラで見られるシーンにおける突然の変化をお信号送信するのにさらに用いられてもよい。

0013

システムのモジュールおよびユニットを個々に説明する前に、異なるシナリオ下でのシステムのオペレーションおよび動作のモードをまとめることは役立つかもしれない。これは、その位置および大きさがその4つのコーナの座標によって定義されるであろうスタジアムレーストラックアリーナなどにおいてまたはそれらの周囲に掲げられるビルボードを置き換えるためにこのシステムが用いられることを仮定してなされる。

0014

図2を参照すると、カメラの運動のため、ビルボード30の表現は、カメラの視野に徐々に入って最後にはその視野から出るだろう。

0015

システムは自動的に作動する。しかしながら、これより説明する実施例においては事象の始まりにおいて一度だけユーザのインタラクションを必要とする。次いで、図2の32で示されるように、オペレータは(マウスまたはライトペンを用いて)フレーム中の完全に現れている置き換えられるべきターゲットビルボードを選択し、その代わりに置かれるべきパターンを特定する。これは、モニタ34(図1)上でシーンを見てマウス36でそのコーナを指示することによってなされてもよい。挿入されるべきパターンはメモリ28において選択される。システムは次いで、置き換えられるべきターゲットビルボード内の特有の特徴(後に対象点と呼ばれる)、および/またはターゲットビルボードの外にありかつカメラで見られるシーンにおいてビルボードと固定される関係を有する特有の特徴(たとえばターゲットビルボードを支持する壁上のマークなど)を識別する。

0016

第2の可能性は、ターゲットが仮想であって、パターンがその上に挿入されなければならないブランク面の区別されないゾーンを構成する場合に重要である。その特有の特徴は装置によって識別されるよりもむしろ、ここでもマウスを用いてオペレータによって示されるほうがよい。オペレータは事象の間の任意の時点でターゲットの選択を変更してもよい。

0017

この時点以降、シーケンスのフレームの少なくとも1つにおいて、視野に見られる特有な特徴の数はパターン認識が生ずるのに十分な数でありかつ十分に正確であるという条件下で、システムはズームインおよびズームアウトの間に(図2の左側に見られるように)視野に入り視野を出るターゲットを置き換えることが可能であり、これはこの発明のシステムおよび方法の独自の特徴により認識がそのフレームから前方および後方に伝播するからである。

0018

様々なコンポーネントについて次に説明する。
[第1のファインダモジュール]図3を参照して、第1のファインダモジュール16は5つのサブモジュールを含むものと考えられる。

0019

入力から始まって、サブモジュールは以下のとおりである。対象オペレータ38は、以下「ポイントオペレータ」と呼ぶが、画像の中の特有の特徴、通常はコーナまたは交差線を抽出し、それらをたとえば6×8ピクセルの近傍上で識別する。

0020

色に基づくフォーカスオブアテンションサブモジュール40は、色情報に基づいて、ターゲットの中で最も見つけられそうな対象ポイントを選択するように設計される。

0021

ポイントマッチャ42は第1のファインダモジュール16の重要な部分を構成する。その機能はターゲットの記憶されたモデルの対象ポイントと実際のフレームtn 内で見出される対象ポイントとの間に対応するポイントの集合を見つけることである。ポイントマッチャはマッチングのために作られたハッシュ表およびアフィン変換を一般に使用する。これはよく知られたパターン認識処理を実現し得る。

0022

精密なロックインPLI)サブモジュール44は、ポイントマッチャ42から得られた対応関係が与えられたとすると、フレームのターゲットの精密な(典型的にはサブピクセル解像度までの)位置を見つけるためのものである。

0023

最後に、プレディクタサブモジュール46は、PLIサブモジュール44およびグローバルモーショントラッカ18から受取った情報に基づいて、ターゲットがフレームn−1で発見されたと仮定して、オーダnのいずれかのフレーム内でビルボードの位置を予測する。

0024

動作については、第1のファインダモジュールはターゲットのモデルから関連の特徴を抽出するために、前処理段階が完了していることを必要とする。この処理については図4を参照して説明する。ターゲットモデルから抽出された情報は以下のものを含む。

0025

フォーカス・オブ・アテンションサブユニット40によって使用される色情報ポイントオペレータ38によって使用される特徴ポイントまたは特徴マークマッチングのために作られたハッシュ表、これについてはポイントマッチャ42を説明する際により完全に言及する。

0026

ポイントオペレータサブモジュール38はターゲット上のある数の「対象ポイント」または「特徴マーク」を検出しかつその場所を突き止めなければならない。対象ポイントは典型的にはコーナまたは頂点であり、これらはたとえばビルボードの文字に非常によく見られる。対象ポイントはより一般的にはその周囲から区別されるあらゆる点である。任意のフレーム上でこのサブモジュールによって発見されたポイントの集合をターゲットモデル(全く同じ方法で処理されている)上で発見されたポイントの集合と比較し、類似性およびマッチングを見つけようと試みる

0027

幾つかの要件がこの発明の実現例における対象ポイントの意味を典型的に規定するであろう。

0028

個別性および独自性:対象のポイントはその輝度放射値)に従ってその周囲から区別されなければならない。このポイントはあるエリア内に特有のものでなければならない。なぜなら、ポイントまたは非常に近いポイントの集積マッチングステップ混乱させることになるからである。

0029

不変性および安定性:対象ポイントはターゲットモデル上のポイントとの比較を行なうことによってターゲットのマッチングのために使用されるので、同じポイントは異なった条件で見られても理想的には同じ物体の上で発見されなければならない。しかしながら、応用では視点およびスケールの変化、コントラストの変化、照明の変化、動きの速いカメラの場合には強いブレなどの変化する条件がある。

0030

画像の第1および第2の微分係数の計算にそれぞれ基づく2つの異なった対象オペレータが典型的には使用され得る。画像の第1の微分係数を使用するオペレータはより安定した結果を与え、一般に好まれる。それは以下のとおりである。

0031

画像I(x,y)の第1の微分係数を計算し、画像I2 x 、I2 y およびIxIy を算定する。

0032

これら3つの画像を大きなボックスフィルタ(典型的にはサイズ9×9)で畳み込み、3つの画像n11、n22、n12になる。マトリックスNは行rおよび列cに属する各ポイントで以下のように規定される。

0033

0034

Nから、ポイントの「対象」および等方性画像を表わす重み付き画像が算定され得る。これらの値は各ポイントで以下の式によって与えられる。

0035

0036

上述の式において、detはマトリックスNの行列式を示し、trは跡和(対角線項の和)を示し、qは商を示す。

0037

重み付き画像はしきい値と比較され、以下に規定される画像h(r,c)となる。

0038

w(r,c)、w(r,c)がしきい値より上で、q(r,c)がしきい値より上の場合、および0、他のすべての場合。

0039

ポイントの集積を避けるためにしきい値処理された画像に対して非最大抑制が行なわれる。9×9ピクセルのウィンドウを使用することにより良い結果が得られた。

0040

使用される異なった数値(しきい値、ウィンドウサイズ)は最終的に設定され、ほとんどのタイプの画像に当てはまる。典型的には、これらの値はフルフォーカスでかつ「合理的な」サイズの、つまり小さ過ぎない(なぜならポイントマッチャモジュール42が作用するのに十分なポイントがないであろうから)、また大き過ぎない(なぜなら多くのポイントがあり過ぎて、マッチャが最も関連のあるポイントを選択することが不可能になるから)ビルボードからなるターゲットに対して最適化される。

0041

フォーカス・オブ・アテンションサブモジュール40はターゲット上に非常にありそうな対象ポイントを選択するように設計される。ローカルヒストグラム法が使用され得る。しかしながら、その計算上の複雑さのために、対象ポイントの色に基づく選択には別の方法が好ましいことがわかった。

0042

フォーカス・オブ・アテンションが特徴ポイントを選択するために使用されるので、特徴ポイントのみで色情報をテストすれば十分であり、計算時間が減る。

0043

好ましい方法は対象ポイントが通常2つの異なった色の接合点であるということを使用し、オペレータは前処理段階でモデルの考えられる色の対(大半の場合には、考えられる対は1つまたは2つしかない)を選択しさえすればよい。オンライン処理では、各特徴ポイントの周りのラインおよび列の幾つかのピクセルからなるウィンドウがテストされる。ウィンドウ内の各ピクセルについて、その色のモデルの最も近い色までの距離が記録される。ウィンドウにわたってこれらの距離を合計する。計算された距離に反比例するスコアが特徴ポイントに割当てられ、ウィンドウは色対の両方の色を有することが必要とされる。量子化ではなく色空間の距離が使用されるので、この処理はしっかりしたものである。この結果は非常に信頼性が高いことがわかった。

0044

ポイントマッチャサブモジュール42のタスク演繹的な知識を何も使用せずにすべてのフレームでターゲットビルボードの位置を突き止めることであり、この目的のために、対象ポイントオペレータサブモジュール38によって発見された対象ポイントを記憶されたターゲットモデルの対象ポイントとマッチングさせることである。これはターゲットの記憶されたモデルと実際の画像のターゲットの表現との間の変換、およびしたがってターゲットがあると想定される実際の画像内のターゲットの位置を発見するために行なわれる。

0045

この目的のために、幾つかの方法が使用され得る。しかしながら、アフィン不変マッチング技術を使用することが有利である。

0046

その方法に従って、画像座標モデル座標のアフィン変換座標であると仮定される。

0047

ターゲットモデル(xm ,ym )の各ポイントに対して、画像の対応のポイントの座標は(xi ,yj )である。

0048

0049

ポイントマッチャサブモジュールの目的は、恐らく対応するポイントの2つの集合しか知らないで、対(A,b)によって与えられる変換を発見することである。既に示したように、画像から得られたすべてのポイントがターゲットモデルに対応するポイントを有していることは確かではないし、逆にターゲットモデルのすべてのポイントが画像に対応のポイントを有するかどうかも確かではない。各集合の部分集合のみが対応するであろう。この部分集合のサイズはできるだけ大きくなくてはならない。この部分集合のサイズは対象ポイントオペレータの性能によって決定され、また現在の画像におけるフルターゲットの有効性によって条件付けられる。

0050

ポイントマッチャサブモジュールは連続して2つのステップ、つまり前処理ステップおよび認識ステップを行なう。

0051

前処理ステップ(図4)はパターンモデルのポイントの初期処理であり、そうであるので、シーケンスの始めにオフラインで一度だけ行なわれる。その目標はモデルで発見されるすべての考えられる安定したベース(説明された実施例ではポイントのトリプレット)に対するすべてのモデルポイントアフィン座標を計算することである。アフィン座標の各対はそれを生み出した基底トリプレットとともに記憶される。効率的な計算のために、このデータは2次元のハッシュ表に記憶される。1対のアフィン座標(x,y)は座標(f(x),f(y))でハッシュ表に記憶される。ハッシュ関数fは典型的には小さな値に対して最大判別を与える逆正接であり、この関数はアフィン座標が小さくなりそうであるので有利である。

0052

安定したベースの使用は2つの理由のために必要である。第1に、ポイントのいかなるトリプレットも信頼できる基底を与えないであろう。もしたとえば3つのポイントが同一線上であれば、基底は有効ではない。基底の2つのベクトル間の角度が小さければ、基底は信頼できない。なぜなら、基底のあるポイントで測定誤差が何かあれば非常に異なったアフィン不変座標を生み出すであろうからである。安定したベースのみを考慮する第2の理由はベースの数が始めは非常に多く、つまりN(N−1)(N−2)であり、すべてのベースを処理するには多くの計算時間がかかることである。したがって、この数を減らすことが重要である。興味がある選択基準はまず角度の基準に依存し、ポイントのトリプレットによって形成される三角形の3つの角度は小さ過ぎてはいけない。そのポイントがあまりに近すぎるベースもまた排除される。

0053

認識またはマッチングステップ(図5)は入力として画像の対象ポイントの集合を使用し、その幾つかはモデルのポイントにマッチングすると考えられる。画像ポイントは基本的にはモデルポイントが前処理で処理されるのと同じ方法で処理される。所与の安定した基底に対して、この基底に対する画像ポイントのすべてのアフィン座標が計算される。

0054

ハッシュ表の同じバケットに対するポイントハッシュのアフィン座標がモデルポイントのアフィン座標を有する場合には、その座標を生み出したモデル基底に対して票が投じられる。

0055

ポイントのすべてのアフィン座標が計算されると、いずれかのモデル基底がマッチングを恐らく有するのに十分な数の票を得たかどうかみるためにチェックが行なわれる。もしそうであれば、画像基底およびこのモデル基底からの変換(A,b)、ならびに実際に対応するポイントの数が計算される。まず、変換がチェックされ、その変換が実際にアプリケーションを満たすことが調べられる。たとえば、上下逆様の、または逆のビルボード、深刻な変形は見つかってはならない。その後、対応関係にあるポイントの数が決定される。もしこの数が低ければ(たとえば7より下)、マッチングは不満足なものであると考えられ、画像ポイントの次の安定した基底が試される。対応ポイントの数が非常に高ければ(同じ例で少なくとも12)、マッチングは非常に満足なものであることが明らかにされ、プログラムを退出する。

0056

これら2つの値の間に、「弱い」マッチングが宣言され、変換のパラメータが保持されるが、より良いマッチングを発見することが可能であるかどうか見るためにさらに他のベースが試される。

0057

すべての安定したベースが試された後、「確実な」マッチング(12ポイントまたはそれより上)が何も発見されなければ、もしあれば弱いマッチングのすべての中の最も良いものが保持される。

0058

実行時間を減らすために、画像のすべての考えられる安定したベースを試さないことが好ましい。なぜなら、その数は非常に多く、つまりN(N−1)(N−2)であるからである。ここでNは画像ポイントの数である。最少の20から30のポイントを考慮しても、10,000のベースの大きさのオーダになる。ある数の安定したベース、典型的には100のオーダの数のベースのみで十分であり、もしマッチングが明らかであれば、プログラムはそれをすばやく見つけるだろうし、一方100の異なった安定したベースを試した後にもプログラムがマッチングを発見しなければ、ターゲットがそこにないか、またはマッチングのための十分な良い特徴ポイントがないかいずれかのために、マッチングするものはないと考える。

0059

認識力を強めるために、発見されたマッチングが正しいことを確実にするために(利用可能な場合には)プレディクタからの予測されたコーナが使用され得る。これは発見されたコーナから予測されたコーナまでの距離の合計があまりに大き過ぎないことを単にチェックすることによって行なわれる。

0060

第2に、ラベルを貼ったポイントが使用される。ポイントには画像の色環境に対応したラベルが付けられる(たとえばビルボードが赤、黒および白のマルボロ(Marlboro)の看板であれば、黒と白とによって囲まれた対象ポイントにはラベル1を貼り、赤と白とによって囲まれたポイントにはラベル2を貼る)。投票処理の間、所与のポイントは同じラベルをつけたポイントにしか票を投じない。さらに、投票後、2つのポイントは同じラベルがついている場合のみマッチングされる。これは実行の速度を大幅に上げるという利点と、より良い認識結果を与えるという二重の利点を有する。

0061

マッチャが処理できるポイントの数は制限されており、たとえば全画像で約40ポイントに制限されている。フルの解像度の画像においてビルボードを発見しようとしたときにビルボードそれ自体に十分な特徴ポイントがない場合には、これらの要件を緩和するためにマッチャのための分割戦略が使用され得る。第1のステップは画像を2つに分割して、各半分に対して第1のファインダ16を実行することである。第1のファインダ16はまず左半分でターゲットビルボードを探し、次に右半分で探し、次に上半分で探し、次に下半分で探すことによって最終的に画像全体でターゲットビルボードを探す。この戦略はフルの画像を直接サーチする際にターゲットビルボードが発見できない状況でうまくいく。

0062

精密なロックインサブモジュール44(PLI)は近似位置またはターゲットモデルと現在の画像との間の対応する対象ポイントの集合のいずれかが与えられると、ターゲットビルボードに厳密な局所化を与えるように設計される。精密なロックインサブモジュール44はポイントマッチャサブモジュール42の直後であり、ターゲットが発見された場合にのみ精密な局所化を与える。

0063

第2の精密なロックインサブモジュール(図示せず)は第2のファインダモジュール24で発見され、後で見られるように、通常は更新ユニットによって計算される仮定された位置をロックインサブモジュールに与える更新ユニット22によって与えられる。

0064

精密なロックインサブモジュール44はフルパースペクティブ変換を使用し得る。しかしながら、ここで説明されるサブモジュールはより正確を帰すためにフルパースペクティブ変換の代わりに3パラメータ変換モデルを使用する。段階のシーケンスは以下のとおりである。

0065

特徴ポイントのサブピクセル局所化−この入力はポイントマッチャによって発生された対応するポイントのリスト、ターゲットモデルの特徴ポイントの完全なリスト、ターゲット画像、および発見されるべきターゲットモデルの画像を含む。この処理は3つの段階に分けられる。

0066

ねじれパラメータの大雑把な推定値を得る。(u,v)から(x,y)へのパースペクティブ変換のねじれを説明する8つのパラメータがある(以下ai,j 、iおよびjは1、2または3である)。

0067

0068

上の式において、x=x′/w′およびy=y′/w′である(w′は拡大係数である)。

0069

次に、対応するポイントのすべてを使用して標準的な最小二乗平均(LMS)計算が行なわれ、推定値を得る。

0070

良い結果を与えた実現例では、PLIサブモジュール44は上の大雑把な変換を使用して特徴ポイント(モデルの)の小さな近傍をねじり、それらを画像の特徴ポイントの対応の位置と相関させようとする。この相関関係は局所的にのみ、典型的には近似位置の周りの10×10ピクセルウィンドウで行なわれる。これは単に差分二乗和SSD)を計算することによって行なわれ、1ピクセルまでの局所化をもたらす。

0071

所与のしきい値を超える値は障害物による誤ったマッチングを使用することを避けるために放棄される。現在、大部分の場合に50,000のしきい値は満足なものであることがわかっている。

0072

次にサブピクセル推定が行なわれる。この推定はxおよびyで別々に行なわれ、最も良い位置およびその2つの近傍に対するSSDの値が使用される。これら3つのポイントに放物線が当てはめられ、最大の位置決めが完了する。マッチングされた特徴ポイントの対のすべてに対する別の最小二乗平均により実際のモデルから画像へのより精密なパースペクティブ変換がもたらされる。

0073

最後の段階の間、すべての他の特徴ポイント(つまりポイントマッチャ42によってマッチングされなかった、したがって前の段階では使用されなかったモデルからの特徴ポイント)の周りの小さなマスクを相関させようという試みが行なわれる。これは第2の段階では行なわれない。なぜなら、ねじれのもとの推定値は、許容された範囲、ねじられた近傍およびウィンドウが10×10ピクセルであれば典型的には+/−5ピクセルの範囲内で、ターゲット画像のこれらの特徴ポイントの位置を予測するのに十分ではないかもしれないからである。

0074

ここで、より精密な変換が利用可能であり、新しいマッチング(もしあれば)が最小二乗平均(LMS)スキームに加えられ、最終パースペクティブ変換を生み出す。

0075

最後に、モデルビルボードのコーナは上の変換を使用して変換され、考慮中の画像のコーナの位置を引き出す。

0076

単一のカメラシナリオのためにねじれのより単純なモデル(アフィンモデル)が使用され得る。このモデルは計算時間を減らし、より良い安定性チェックを可能にするが、その特定の場合に質が目に見え劣化することはない。

0077

プレディクタサブモジュール46は第1のファインダ16の小さなサブモジュールであり、あるフレームから他のフレームへの位置の単純な予測を計算するように設計される。ポイントマッチャサブモジュール42がフレームLにおいてターゲットビルボードを発見することができたと仮定して、プレディクタはGMTモジュールによって報告され、モーションパラメータの助けでフレームt+1の位置を予測する。ポイントマッチャ42が何らかのより速いフレームでそのターゲットを発見した限り、その予測を多くのフレームにわたって保持することが可能である。すべての予測には確信の尺度(MOB)が付加され、そのMOBがあるしきい値を下回ったとき、ポイントマッチャ42はその予測を使用しないように知らされる。シーケンスブレーク時に(やはりGMTによって報告される)、プレディクタ46はリセットする。

0078

プレディクタサブモジュールが与えられると、ポイントマッチャ42はこのような予測がある場合は、サブモジュール40の出力と同じように、予測をフォーカス・オブ・アテンションとして用いる。このセットアップによってトラッキングモードが可能になり、確信の尺度を高く保つことによって全体のシステムの信頼性を向上させる。ターゲットがビルボードである場合、プレディクタがビルボードのコーナの5ピクセル以内にあるなら、PLIサブモジュール44はマッチングがあるかないかにかかわらずロックインすることができる。これは明確なトラッキングモードとして働く。

0079

この段階において、オペレータの相互作用を用いて測色に基づいて、オフラインである対象点を選択するために可能な手段を与えると有用であるかもしれない。一般的な内容はフォーカス・オブ・アテンションサブモジュール40の説明のところで既に言及している。

0080

第1に、既に示したように、オペレータはターゲットが現われる画像において置換えるべきターゲットを選択し、たとえばその四隅上でマウスをクリックする。

0081

一般に、対象点がストアされるべきターゲットの外にあるのなら、オペレータはカメラの視野でサーチするべきシーンの領域を示す。次にシステムはターゲットの外にある幾つかの対象点をストアし、それによりカメラを動かしている場合またはズームしている場合に、視野におけるターゲットの様子を予測することができる。

0082

ターゲットおよびゾーンが示されると、オペレータはコントラストが起こる多数の点があるカラーの組を選択しなければならない。このような条件は、たとえば2つの組、すなわち白黒および青黒の場合に存在する。この選択は同じ組の幾つかの点に対して、その上でマウスをクリックすることによって行なう。システムは最も近いコントラスト点またはクローズドコントラスト点を探し出すようプログラムされているので、細かい精密な手作業を必要としない。一般に6から10個の点で十分である。システムはゾーン内におけるすべての「対象点」を自動的にサーチする。多くの場合、たくさんの点が見つかる。システムはクリックされた点との色比較が最良である所定の数の点(たとえば30から40点)を保つ。必要なら、同じシーケンスが他の組に対しても繰り返される。

0083

このような前処理ステップは放送が開始される前に行なわれてもよい。唯一の要件は事象の場所においてテレビカメラが利用できなければならないことである。

0084

オンラインで放送の間、第1のファインダモジュールは対象点であるかもしれないすべての点を選択する第1の画像をサーチする。可能な対象点を分類し、これは一般的に幾つかの条件に基づいて行なわれる。たとえば選択された組の色に対する測色距離および重み(「弱い」点を排除するようしきい値との比較)に基づいて分類される。所定の数の点だけ、たぶん対象点である可能性が最も高いものが保たれる。

0085

各画像がバッファ12に入力されると、所定の数の点の選択が同じように繰り返される。

0086

次に、ターゲットモデルの対象点と幾何学的対応を有する最も大きい点の部分集合が決定され、これは図5を参照して既に説明されたように、モデルのアフィン変換を考慮している。

0087

[グローバルモーショントラッカモジュール18]グローバルモーショントラッキングは、フレーム間のカメラの動きおよびシーンの位置合わせを検出する処理である。GTMは、連続するフレームtおよびフレームt+1の間のグローバルカメラモーションパラメータの推定値を計算し、2つの連続するフレームの動作は図6において概略的に示される。

0088

図示されているように、画像はまずその空間的相関を増やすために平滑化される。空間および時間微分係数は次に計算される。この情報を用いて、モーションパラメータの推定値が計算される。別の方法を用いてもよい。たとえば、J.R.ベルゲン(Bergen)他の「二コンポーネント画像成分画素モーションを推定するための三フレームアルゴリズム」PAMI、第14巻第9号、1992年9月、886頁から896頁は、良い結果をもたらす。

0089

推定値を用いて、フレームt+1はフレームtの方向にねじられ、この処理が繰り返される。フレームt+1はその度にフレームtに近づくので、計算されたモーションパラメータはだんだんと正確なものとなる。計算されたモーションパラメータの変化が、所定のしきい値以下の点に収束したときにこの処理を止める。累積されたパラメータは更新ユニット22に伝えられる。しかし、モーションパラメータが何回かのくり返しの後でも収束しない場合、ゼロの信頼度が報告されてその処理がとまる。

0090

2つのモーションモデルを用いてもよい。すなわちロム(Rom )他の「モーションに基づく区分化」、パターン認識国際会議ニュージャージー州、アトランティックティ、1990年、109−113頁にあるような6パラメータ定数深度一般モーション、および上記で言及したベルゲンらのアフィンモーションモデルを用いることができる。これらのモデルは連続フレーム間の正確な動作回復を可能にする。

0091

アルゴリズムは複数の解像度レベルで実現することができる。各フレームからガウスピラミッドが作られる。シーケンスのはじめにおいて、上記のアルゴリズムが最も低い解像度レベルに適用される。このレベルの結果は次の上位レベル初期推定値として伝えられ、この動作が最も高いレベルまで続けられる。これにより、より大きい動作のリカバリが可能となる。シーケンス内において、前の組のフレームからの結果は、現行の組に対して適切な推定値となり、したがってアルゴリズムは1つ下位の解像度レベルに適用され、前の結果は次のレベルの初期推定値である。これにより、そのシーケンス内において大きな変化に対応しながらモーションの迅速なリカバリを可能にする。

0092

シーンにおける動いている障害物がある場合に、より正確で安定した結果を必要とするのなら、モーション方程式係数は時間微分係数に反比例するようスケールリングしてもよい。動いている障害物は、画像がカメラの動きに従ってねじられている場合は位置合わせできない。したがって、障害物に対応するピクセルは高い時間微分係数を有し、その結果係数においてより低い重み付けを有する。この向上した結果により、シーケンスに沿ってより長い推定値の伝播が可能となる。

0093

リカバされたパラメータの精度は高く、多くのフレームに沿ったターゲット位置の伝播を可能にする。アルゴリズムはモーションがモデル化されたモーションと著しく異なる場合のみ適用できず、たとえばその平面にはない非常に速い回転がある場合は適用できない。

0094

プレディクタをGMTプログラムに統合することができる。このプレディクタは所定の数(一般的には4つ)の前フレームからの計算された結果に基づいて、次のフレームに対する最初の推定値を計算する。多くの場合、これによりより正確な初期推定値となり、より速い収束を得ることができる。しかし、フレームごとにモーションが変わる場合、プレディクタは変化を察知するのに遅く、前のフレーム1つに基づくプレディクションが好ましいかもしれない。

0095

既に示したように、シーケンスブレークを検出するべきである。シーケンスブレークサブモジュールは、グローバルモーショントラッキングモジュール18に統合することができる。シーケンスブレークは画像のモーメントにおける変化に基づいて検出することができる。これらは属性の「new seq」として示される(図1)。

0096

更新モジュール22]更新ユニット22は、他のすべてのモジュールからデータを集め、処理されたシーケンス内における欠落している情報または不正確な情報を内挿する。モジュールは、図7で示されるように、各セルにおいてフレームおよびフレーム属性を有する循環バッファとして表わすことができ、常に隣接しかつ時間とともに動く入力ポインタ50および出力ポインタ52を有する。fの矢印は順方向の更新を示すが、その範囲は限定されない。

0097

更新ユニット22は少数のパラメータからなる属性記録のみを操作する。図示されるように、属性記録の構造は以下のとおりである(図1)。

0098

自己フレームおよび次のフレームの間のグローバルモーション変換Gm、プラス確信の尺度。

0099

・次のフレームおよび自己フレームの間の変換、プラス確信の尺度(上記と同じではない)。

0100

・シーケンスにおけるフレームの位置を表わすフラグ(第1フレーム、最終フレーム、など)。

0101

仮説リンクされたリスト、各々は画像座標における4つのコーナ(ターゲットが4つのコーナを有する場合)プラス確信の尺度を含む。

0102

更新ユニットにおける事象の流れは図8に示される。フロー図の完全なサイクルは各フレーム時に行なわれる。他のモジュールからの入力が読出され、最終フレームから現在のフレームまでの仮説が計算され、現在の仮説と比較される。もしそれがより良いものなら置換えられる。

0103

次に、時間に遡る伝播が開始される。連続フレーム間で仮説が計算され、前の確信の尺度と比較される。それがより大きいものなら、古い仮説と置換される。

0104

処理途中にブロッキングフラグに遭遇すると、伝播処理は停止される。ブロッキングフラグは、シーンが変わった場合、十分高い既存の確信の尺度の場合、または現在の仮説に対する十分低い確信の尺度の場合などによって起こる。

0105

更新ユニット22の複雑性は、バッファの大きさおよびシーケンスの長さと比例する。

0106

1の値(または1に近い値)は入力パラメータの高い確信度を示す。低い値(または0)は入力パラメータが信頼のできないものであり、他のモジュールからの補強がない限りは使用されるべきではないことを意味する。

0107

たとえば、第1のファインダ16がフレーム内におけるターゲットを見つけることができなかった場合、更新ユニットに渡すデータに対して「ゼロ」の確信度を割当てる。更新ユニット22はGMT18および/または前のフレームからのデータ、ならびに/またはバッファ12で利用できるこれからのフレームからのデータを用いて、そのフレームにおけるターゲットの位置を内挿しようとする。更新ユニット22は適宜に確信の尺度を変更する。

0108

所与のシーケンスを渡すかどうかという決定はできるだけ遅くなされる、すなわち現在のシーケンスの第1のフレームがバッファ12を出るになされる。更新ユニット22はシーケンスの全体的な品質を評価する(これは全体的確信の尺度でもある)。所与のしきい値を通れば、パターンによってターゲットの置換を行なうという決定が伝えられる。これは属性において「ロック」されるとして示されてもよい(図1)。

0109

バッファサイズより大きいシーケンスを扱うためには、バッファ12の長さより長いシーケンスにおいて離れてエラーが検出されたのなら、ターゲットビルボードにクロスディゾルブバックするよう置換モジュール26をフラグするよう更新ユニットを設計することができる。

0110

好ましい実施例において、システムはブレ推定を行なうための手段を含む。ブレ推定は、画像における既知のターゲットビルボードの正確な局所化のため、ターゲット領域における障害物の検出のため、および置換するパターン画像の実際的なレンダリングのために有用である。画像においてターゲットが検出され、ビルボードの4つのコーナの位置が利用できると仮定して、ブレ推定はレンダリングおよび障害物検出目的のためにのみ取扱われる。

0111

画像のブレは2つの形のどちらかにおいてビデオシーケンスで起こる。この形とは、焦点不良のためのブレおよびもう1つはカメラが動くためによるブレである。

0112

画像における焦点合わせのブレは、所定の大きさσのガウス核で畳み込まれた画像としてモデル化できる。

0113

画像におけるモーションブレは、連続フレーム間の実際の動きの関数である。各フレームにおける動きは、特定の横および縦の成分でもって特定の方向における線形のモーションとしてモデル化できる。実際のブレの影響は、画像を方形カーネルで畳み込むことによってモデル化できる。

0114

焦点のブレは相関に基づく方法によって推定することができる。1組のターゲットビルボード画像は、異なるサイズσi のガウス核の組を用いることによって異なる量のブレでもってモデルビルボード画像から発生させることができる。次に、ターゲットビルボードからのビルボード対象点を中心とした小さなウィンドウの集合を用いて、相関による最もマッチングするブレビルボードを見つける。モデルビルボードおよびターゲットビルボードは一般に異なる位置での異なるサイズを有するので、ターゲットビルボードからのウィンドウは相関を行なう前にモデルビルボードの座標にねじらなければならない。ブレのモデル画像における対応するウィンドウを有する各ウィンドウの相関値が計算され、最も小さい相関値を有するモデル画像のσi がそのウィンドウに割当てられる。最終的には、ノイズフィルタを有する平均化スキームを用いて、焦点ブレを推定するために、指定されたすべてのσi が用いられる。

0115

推定されたブレパラメータは2つの方法で用いることができる。1つの方法は障害物検出目的のためにモデルビルボードを事前に処理することであり、もう1つは画像にある同じ種類のブレでビルボードを置換することであり、これは次のセクションで記載される。

0116

障害物検出は必ずしも必要ではない。たとえば、スポーツを放送している場合に競技者がビルボードの前にいる場合、障害物検出が必要となる。これはターゲットの中および周りにおいて、ターゲットの前にある物体に属する領域を抽出することを含み、ターゲットが置換されたときにそれらは保たれる。

0117

障害物検出モジュールは、図9のフローチャートに従って動作するよう、ストアされたモデルビルボードとターゲットビルボードとの違いに基づいてもよい。モデルビルボードは前に説明したブレパラメータでまずブレを施され、ターゲットビルボードはモデルビルボードの座標にねじられる。次にこの2つの差異が計算される。この処理はモデルビルボード画像スペースにおいて好ましくは行なわれる。なぜなら、この方法では、処理は常に固定された大きさ(および恐らくは大きい)ビルボードで行なわれ、これはターゲットビルボードのサイズが変わることによって関連する問題をなくす。

0118

差異画像は次にエッジ強度マップによって重み付けされ、局所化精度によってモデルビルボードとねじられたターゲットビルボードとの間に一般に存在する小さなずれの影響を補償する。結果はターゲットビルボード画像スペースにねじられる前にしきい値処理されおよびフィルタリングされる。

0119

たとえばスポーツを放送している場合、ターゲットビルボードはその前に障害物が存在するという可能性が全くない場所にあるかもしれない。反対に、一般に動く障害物がターゲットの一部またはすべてを一時的にマスキングするかもしれない。

0120

障害物検出のこの一般的なスキームはグレースケール(強度)画像スペースおよびRGBカラー画像スペースの両方において実現してもよい。

0121

[置換モジュール]置換モジュールはコーナ位置およびビルボードの障害物マップを有するターゲット画像を捉え、そのビルボードを特定の置換パターン画像で置換える。

0122

置換モジュールのコアはリプレーサワーパである。ねじれ変換はパースペクティブ変換の下に、平面における不変特性点に基づいている。これはE.バレット(Barret)らによる「写真測量およびモデルマッチングにおける不変線形方法」コンピュータビジョンおよびパターン認識予稿集アーバーナ・シャンペィン(Urbana-Champaign)、IL、1992年6月、122頁において説明されている。置換するビルボード画像において4つの対応する点(Pi ,Qi )およびターゲット画像において(pi 、qi )が与えられ、i=1,…,4であり、ターゲット画像における所与の点(p,q)に対応する置換画像における他の点(p,q)は、1組の線形方程式解くことによって見つけることができる。置換画像における5点のセットの行列式の十字比は以下のように定義される:

0123

0124

同様に、ターゲット画像における対応点に対する行列式の十字比はC(1,2,3,4,上つきバーp,上つきバーq)として定義することができる。

0125

不変条件である

0126

0127

未知(p,q)と既知の量との間の線形関係を規定する。点1および3を交換することにより、上記の関係において第2の式である

0128

0129

を発生することができる。点(p,q)は上記の2つの線形方程式を解くことにより見つけることができる。

0130

障害物検出モジュールによって与えられる障害物マップは、曖昧な物体が置換の後も見えるよう、ターゲットビルボード内における画像ピクセルの一部分を未変更のままに保つために用いられる。実際的なレンダリングの場合では、ブレ推定モジュールからの結果は、画像を同じ焦点の量および/またはターゲットビルボードから推定されるモーションブレを施すことにより、置換ビルボード画像を用意するのに用いられる。

0131

上記で示される構造および処理の他の変形は、本発明の範囲内において行なうことができる。本発明は前掲の特許請求の範囲に従って定めるものである。

図面の簡単な説明

0132

図1メインモジュールが示すされているシステムのブロック図である。
図2TVカメラの視野におけるターゲットの連続する位置を示す、同じ撮影における画像のシーケンスの概略図である。
図3図1の第1のファインダモジュールのブロック図である。
図4前処理ステップのフローチャート図である。
図5システムの動作の際のマッチングステップのフローチャート図である。
図6図1のグローバルモーショントラッカモジュールの概略を示すフローチャート図である。
図7図1の更新ユニットのデータベースの実現の概略図である。
図8図1の更新ユニットの動作を示すフローチャート図である。
図9図1のシステムの任意のコンポーネントである障害物検出モジュールの動作を示すフローチャート図である。

--

0133

10ビデオソース
12バッファ
14aレコーダ
14bディスプレイ
14c 送信システム
16 第1のファインダモジュール
18グローバルモードトラッカモジュール
20属性記録ユニット
22更新ユニット
24 第2のファインダモジュール
26リプレーサ
28 パターンメモリ

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ