図面 (/)

技術 位置ずれ量推定処理装置、位置ずれ量推定方法、位置ずれ量推定プログラム、および位置ずれ量推定プログラムを記録した記録媒体

出願人 セイコーエプソン株式会社
発明者 松坂健治
出願日 2004年2月26日 (17年4ヶ月経過) 出願番号 2004-051834
公開日 2005年9月8日 (15年10ヶ月経過) 公開番号 2005-242684
状態 未査定
技術分野 イメージ分析
主要キーワード 是正処理 相関表 ハードディスクプレーヤ 注目要素 画像対象 基準フレーム画像 方法発明 インタフェースボード
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2005年9月8日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (15)

課題

画像間において、位置ずれ推定する処理装置、および位置ずれを推定する方法を提供する。

解決手段

本発明の位置ずれ量推定処理装置は、所定の複数の仮想ずれ量を設定すると共に、各要素がそれぞれ複数の仮想ずれ量に対応する相関表を用意する。相関表では、注目する注目要素を順次設定し、注目要素ごとに相関表作成処理を行うことで、相関表を完成させる。そして、相関表に基づき、位置ずれ量を推定する。相関表作成処理としては、基準画像において基準となる基準画素を順次設定し、設定した基準画素ごとに、対象画像において、基準画素に対応する位置から、注目要素に対応する仮想ずれ量だけずらした位置にある画素対象画素として設定し、該対象画素の画素値と、基準画素の画素値とを参照して、対象画素と基準画素との相関関係を導きだし、相関表において、得られた相関関係を注目要素に書き込む。

概要

背景

デジタルビデオ等で撮影した動画像を表す動画像データは、複数の画像データ(例えば、フレーム画像データなど。)で構成されている。従来、このような動画像データから複数の画像データを取得し、その取得後の複数の画像データを用いて、一つの高解像度静止画像データを生成するなど、種々の画像処理が行われている。

一方、上記動画像データは、デジタルビデオカメラ等で、パンチルトなどのカメラワークを駆使して撮影される場合がある。また、撮影の際には、手ぶれが生じる場合がある。このように撮影された動画像データから、上述のごとく、画像データを取得し、種々の画像処理を行う場合には、その画像処理の精度を高めるため、画像データ間においてカメラワークや手ぶれの影響による画像データ間の位置ずれ是正する処理を行う必要がある。

なお、上述のような位置ずれの是正処理を行う技術として関連するものには、例えば、下記特許文献1に記載されたものが知られている。かかる特許文献1では、連続するフレーム画像から1枚のフレーム画像を基準フレーム画像として選択し、この基準フレーム画像に対する他の複数のフレーム画像の位置ずれを表わす動きベクトルをそれぞれ算出し、各動きベクトルに基づいて、基準フレーム画像と他の複数のフレーム画像の位置ずれの是正処理を行う技術が開示されている。

特開平11−164264号公報

概要

画像間において、位置ずれを推定する処理装置、および位置ずれを推定する方法を提供する。 本発明の位置ずれ量推定処理装置は、所定の複数の仮想ずれ量を設定すると共に、各要素がそれぞれ複数の仮想ずれ量に対応する相関表を用意する。相関表では、注目する注目要素を順次設定し、注目要素ごとに相関表作成処理を行うことで、相関表を完成させる。そして、相関表に基づき、位置ずれ量を推定する。相関表作成処理としては、基準画像において基準となる基準画素を順次設定し、設定した基準画素ごとに、対象画像において、基準画素に対応する位置から、注目要素に対応する仮想ずれ量だけずらした位置にある画素対象画素として設定し、該対象画素の画素値と、基準画素の画素値とを参照して、対象画素と基準画素との相関関係を導きだし、相関表において、得られた相関関係を注目要素に書き込む。

目的

本発明は、上記課題にかんがみてなされたもので、画像間において、位置ずれを推定する処理装置、および位置ずれを推定する方法を提供することを目的とする。

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

基準画像対象画像との画像間における位置ずれ量を推定する位置ずれ量推定処理装置であって、所定の複数の仮想ずれ量を設定すると共に、各要素がそれぞれ前記複数の仮想ずれ量に対応する相関表を用意し、前記相関表において、注目する注目要素を順次設定し、設定した前記注目要素ごとに相関表作成処理を行うことで、前記相関表を完成させ、該相関表に基づいて、前記位置ずれ量を推定し、前記相関表作成処理としては、前記基準画像において、基準となる基準画素を順次設定し、設定した前記基準画素ごとに、前記対象画像において、前記基準画素に対応する位置から、前記注目要素に対応する前記仮想ずれ量だけずらした位置にある画素対象画素として設定し、該対象画素の画素値と、前記基準画素の画素値とを参照して、前記対象画素と前記基準画素との相関関係を導きだし、その相関関係を表わす情報を前記相関表における前記注目要素に書き込むことを特徴とする位置ずれ量推定処理装置。

請求項2

基準画像と対象画像との画像間における位置ずれ量を推定する位置ずれ量推定処理装置であって、所定の複数の仮想ずれ量を設定すると共に、各要素がそれぞれ前記複数の仮想ずれ量に対応する相関表を用意し、前記基準画像において、基準となる基準画素を順次設定し、設定した前記基準画素ごとに相関表作成処理を行うことで、前記相関表を完成させ、該相関表に基づいて、前記位置ずれ量を推定し、前記相関表作成処理としては、前記対象画像において、前記基準画素に対応する位置から、前記複数の仮想ずれ量だけ各々ずらした位置にある複数の画素をそれぞれ複数の対象画素として設定し、該複数の対象画素の画素値と、前記基準画素の画素値とを参照して、前記複数の対象画素と前記基準画素との相関関係をそれぞれ導き出し、その各相関関係を表わす情報を前記相関表における前記複数の対象画素の前記仮想ずれ量にそれぞれ対応する前記要素に書き込むことを特徴とする位置ずれ量推定処理装置。

請求項3

請求項1または請求項2に記載の位置ずれ量推定処理装置において、前記相関表作成処理では、前記仮想ずれ量だけずらした位置にある前記対象画素の画素値と、前記基準画素の画素値とを比較し、それらの画素値がほぼ一致すると、相関関係ありと判断し、前記相関表において、前記対象画素の前記仮想ずれ量に対応する前記要素に、前記相関関係ありと判断した数を表わす所定の情報が書き込まれ、前記相関表において、書き込まれた前記所定の情報に基づき前記相関関係ありと判断した数が一番多い前記要素を特定し、該要素に対応する前記仮想ずれ量を前記位置ずれ量として推定することを特徴とする位置ずれ量推定処理装置。

請求項4

請求項1または請求項2に記載の位置ずれ量推定処理装置において、前記相関表作成処理では、前記仮想ずれ量だけずらした位置にある前記複数の対象画素の画素値と、前記基準画素の画素値とをそれぞれ比較し、それらの画素値が一致しないと、相関関係なしと判断し、前記相関表において、前記対象画素の前記仮想ずれ量に対応する前記要素に、前記前記相関関係なしと判断した数を表わす所定の情報が書き込まれ、前記相関表において、書き込まれた前記所定の情報に基づき前記相関関係なしと判断した数が一番少ない前記要素を特定し、該要素に対応する前記仮想ずれ量を前記位置ずれ量として推定することを特徴とする位置ずれ量推定処理装置。

請求項5

請求項3または請求項4に記載の位置ずれ量推定処理装置において、前記対象画素の画素値と、前記基準画素の画素値とが一致するかどうかを判断する場合に、前記対象画素の画素値と、前記基準画素の画素値との差分の絶対値を求め、さらに、該差分絶対値と、予め決められた閾値とを比較し、前記差分絶対値が閾値より小さいと、前記基準画素の画素値と、前記対象画素の画素値とがほぼ一致したと判断し、前記差分絶対値が閾値より大きいと、前記基準画素の画素値と、前記対象画素の画素値とが一致していないと判断することを特徴とする位置ずれ量推定処理装置。

請求項6

請求項1ないし請求項5のいずれかに記載の位置ずれ量推定処理装置において、前記基準画像において前記基準画素を設定する際には、前記対象画像において、複数の前記仮想ずれ量だけずれた位置にある前記対象画素がすべて存在するように前記基準画素を設定することを特徴とする位置ずれ量推定処理装置。

請求項7

基準画像と対象画像との画像間における位置ずれ量を推定する位置ずれ量推定方法であって、(a)所定の複数の仮想ずれ量を設定すると共に、各要素がそれぞれ前記複数の仮想ずれ量に対応する相関表を用意する工程と、(b)前記相関表において、注目する注目要素を順次設定する工程と、(c)設定した前記注目要素ごとに工程(f)を実行することで、前記相関表を完成させる工程と、(d)完成した前記相関表に基づいて、前記位置ずれ量を推定する工程と、を備え、前記工程(f)では、(f−1)前記基準画像において、基準となる基準画素を順次設定する工程と、(f−2)設定した前記基準画素ごとに、前記対象画像において、前記基準画素に対応する位置から、前記注目要素に対応する前記仮想ずれ量だけずらした位置にある画素を対象画素として設定する工程と、(f−3)前記対象画素の画素値と、前記基準画素の画素値とを参照して、前記対象画素と前記基準画素との相関関係を導き出す工程と、(f−4)前記相関表において、得られた相関関係を前記注目要素に書き込む工程と、を備えることを特徴とする位置ずれ量推定処理方法。

請求項8

基準画像と対象画像との画像間における位置ずれ量を推定する位置ずれ量推定方法であって、(a)所定の複数の仮想ずれ量を設定すると共に、各要素がそれぞれ前記複数の仮想ずれ量に対応する相関表を用意する工程と、(b)前記基準画像において、基準となる基準画素を順次設定する工程と、(c)設定した前記基準画素ごとに工程(f)を実行することで、前記相関表を完成させる工程と、(d)完成した前記相関表に基づいて、前記位置ずれ量を推定する工程と、を備え、前記工程(f)では、(f−1)前記対象画像において、前記基準画素に対応する位置から、前記複数の仮想ずれ量だけ各々ずらした位置にある複数の画素をそれぞれ複数の対象画素として設定する工程と、(f−2)前記複数の対象画素の画素値と、前記基準画素の画素値とを参照して、前記複数の対象画素と前記基準画素との相関関係をそれぞれ導き出す工程と、(f−3)前記相関表において、得られた各相関関係を前記複数の対象画素の前記仮想ずれ量にそれぞれ対応する前記要素に書き込む工程と、を備えることを特徴とする位置ずれ量推定方法。

請求項9

基準画像と対象画像との画像間における位置ずれ量を推定するためのコンピュータプログラムであって、(a)所定の複数の仮想ずれ量を設定すると共に、各要素がそれぞれ前記複数の仮想ずれ量に対応する相関表を用意する手順と、(b)前記相関表において、注目する注目要素を順次設定する手順と、(c)設定した前記注目要素ごとに手順(f)を実行することで、前記相関表を完成させる手順と、(d)完成した前記相関表に基づいて、前記位置ずれ量を推定する手順と、をコンピュータに実行させると共に、前記手順(f)は、(f−1)前記基準画像において、基準となる基準画素を順次設定する手順と、(f−2)設定した前記基準画素ごとに、前記対象画像において、前記基準画素に対応する位置から、前記注目要素に対応する前記仮想ずれ量だけずらした位置にある画素を対象画素として設定する手順と、(f−3)前記対象画素の画素値と、前記基準画素の画素値とを参照して、前記対象画素と前記基準画素との相関関係を導き出す手順と、(f−4)前記相関表において、得られた相関関係を前記注目要素に書き込む手順と、を含むことを特徴とするコンピュータプログラム。

請求項10

基準画像と対象画像との画像間における位置ずれ量を推定するためのコンピュータプログラムであって、(a)所定の複数の仮想ずれ量を設定すると共に、各要素がそれぞれ前記複数の仮想ずれ量に対応する相関表を用意する手順と、(b)前記基準画像において、基準となる基準画素を順次設定する手順と、(c)設定した前記基準画素ごとに手順(f)を実行することで、前記相関表を完成させる手順と、(d)完成した前記相関表に基づいて、前記位置ずれ量を推定する手順と、をコンピュータに実行させると共に、前記手順(f)では、(f−1)前記対象画像において、前記基準画素に対応する位置から、前記複数の仮想ずれ量だけ各々ずらした位置にある複数の画素をそれぞれ複数の対象画素として設定する手順と、(f−2)前記複数の対象画素の画素値と、前記基準画素の画素値とを参照して、前記複数の対象画素と前記基準画素との相関関係をそれぞれ導き出す手順と、(f−3)前記相関表において、得られた各相関関係を前記複数の対象画素の前記仮想ずれ量にそれぞれ対応する前記要素に書き込む手順と、を含むことを特徴とするコンピュータプログラム。

請求項11

請求項9または請求項10に記載のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体

技術分野

0001

本発明は、画像間における、位置ずれ量の推定を行う処理装置、位置ずれ量の推定方法、位置ずれ量推定プログラム、および位置ずれ量推定プログラムを記録した記録媒体に関する。

背景技術

0002

デジタルビデオ等で撮影した動画像を表す動画像データは、複数の画像データ(例えば、フレーム画像データなど。)で構成されている。従来、このような動画像データから複数の画像データを取得し、その取得後の複数の画像データを用いて、一つの高解像度静止画像データを生成するなど、種々の画像処理が行われている。

0003

一方、上記動画像データは、デジタルビデオカメラ等で、パンチルトなどのカメラワークを駆使して撮影される場合がある。また、撮影の際には、手ぶれが生じる場合がある。このように撮影された動画像データから、上述のごとく、画像データを取得し、種々の画像処理を行う場合には、その画像処理の精度を高めるため、画像データ間においてカメラワークや手ぶれの影響による画像データ間の位置ずれを是正する処理を行う必要がある。

0004

なお、上述のような位置ずれの是正処理を行う技術として関連するものには、例えば、下記特許文献1に記載されたものが知られている。かかる特許文献1では、連続するフレーム画像から1枚のフレーム画像を基準フレーム画像として選択し、この基準フレーム画像に対する他の複数のフレーム画像の位置ずれを表わす動きベクトルをそれぞれ算出し、各動きベクトルに基づいて、基準フレーム画像と他の複数のフレーム画像の位置ずれの是正処理を行う技術が開示されている。

0005

特開平11−164264号公報

発明が解決しようとする課題

0006

しかしながら、上述のような位置ずれの是正処理では、画像データ間における位置ずれ量を推定し、その推定量に基づき、その画像データ間の位置ずれを是正する必要があるが、位置ずれ量をどのように推定するかが課題であった。

0007

本発明は、上記課題にかんがみてなされたもので、画像間において、位置ずれを推定する処理装置、および位置ずれを推定する方法を提供することを目的とする。

課題を解決するための手段

0008

上記目的の少なくとも一部を達成するために、本発明の第1の位置ずれ量推定処理装置は、基準画像対象画像との画像間における位置ずれ量を推定する位置ずれ量推定処理装置であって、
所定の複数の仮想ずれ量を設定すると共に、各要素がそれぞれ前記複数の仮想ずれ量に対応する相関表を用意し、
記相関表において、注目する注目要素を順次設定し、設定した前記注目要素ごとに相関表作成処理を行うことで、前記相関表を完成させ、該相関表に基づいて、前記位置ずれ量を推定し、
前記相関表作成処理としては、
前記基準画像において、基準となる基準画素を順次設定し、設定した前記基準画素ごとに、前記対象画像において、前記基準画素に対応する位置から、前記注目要素に対応する前記仮想ずれ量だけずらした位置にある画素対象画素として設定し、該対象画素の画素値と、前記基準画素の画素値とを参照して、前記対象画素と前記基準画素との相関関係を導きだし、その相関関係を表わす情報を前記相関表における前記注目要素に書き込むことを要旨とする。

0009

対象画像に対する基準画像との位置ずれ量が或る値であった場合に、基準画像を対象画像にその位置ずれ量分だけずらせば、基準画像の各画素と対象画像の各画素の相関関係が一番高くなる。言い換えれば、基準画像の各画素と対象画像の各画素の相関関係が一番高くなるように、基準画像を、対象画像に対してずらした場合に、そのずらしたずれ量を位置ずれ量として推定することができる。

0010

上記第1の位置ずれ量推定処理装置では、
まず、上記ずれ量を求めるために、複数の仮想ずれ量を設定し、各要素がそれぞれ複数の仮想ずれ量に対応する相関表を用意する。次に、相関表において、注目する注目要素を順次設定して、設定した注目要素ごとに相関表作成処理を行う。相関表作成処理では、次の(1)〜(4)の処理がなされる。
(1)基準画像において、基準となる基準画素を順次設定する。
(2)設定した基準画素ごとに、対象画像において、基準画素に対応する位置から、注目要素に対応する仮想ずれ量だけずらした位置にある画素を対象画素として設定する。
(3)設定した対象画素の画素値と、基準画素の画素値とを参照して、対象画素と基準画素との相関関係を導きだす。
(4)導き出された相関関係を表わす情報を相関表における注目要素に書き込む。
こうして相関表作成処理を、設定した注目画素ごとに行うことにより、相関表を完成させる。そして、完成した相関表の各要素には、相関関係を表わす情報が蓄積される。

0011

従って、相関表において、相関関係が一番高い要素に対応する仮想ずれ量分だけ、基準画像を、対象画像にずらせば、それらの各画素の相関関係が一番高くなる。すなわち、この仮想ずれ量を上記ずれ量として求めることができる。その結果、この仮想ずれ量を位置ずれ量として推定することができる。

0012

上記目的の少なくとも一部を達成するために、本発明の第2の位置ずれ量推定処理装置は、基準画像と対象画像との画像間における位置ずれ量を推定する位置ずれ量推定処理装置であって、
所定の複数の仮想ずれ量を設定すると共に、各要素がそれぞれ前記複数の仮想ずれ量に対応する相関表を用意し、
前記基準画像において、基準となる基準画素を順次設定し、設定した前記基準画素ごとに相関表作成処理を行うことで、前記相関表を完成させ、該相関表に基づいて、前記位置ずれ量を推定し、
前記相関表作成処理としては、
前記対象画像において、前記基準画素に対応する位置から、前記複数の仮想ずれ量だけ各々ずらした位置にある複数の画素をそれぞれ複数の対象画素として設定し、該複数の対象画素の画素値と、前記基準画素の画素値とを参照して、前記複数の対象画素と前記基準画素との相関関係をそれぞれ導き出し、その各相関関係を表わす情報を前記相関表における前記複数の対象画素の前記仮想ずれ量にそれぞれ対応する前記要素に書き込むことを要旨とする。

0013

対象画像に対する基準画像との位置ずれ量が或る値であった場合に、基準画像を対象画像にその位置ずれ量分だけずらせば、基準画像の各画素と対象画像の各画素の相関関係が一番高くなる。言い換えれば、基準画像の各画素と対象画像の各画素の相関関係が一番高くなるように、基準画像を、対象画像に対してずらした場合に、そのずらしたずれ量を位置ずれ量として推定することができる。

0014

上記位置ずれ量推定処理装置では、
まず、上記ずれ量を求めるために、複数の仮想ずれ量を設定し、各要素がそれぞれ複数の仮想ずれ量に対応する相関表を用意する。次に、基準画像において、基準となる基準画素を順次設定し、設定した基準画素ごとに相関表作成処理を行う。相関表作成処理では、次の(1)〜(3)の処理がなされる。
(1)対象画像において、基準画素に対応する位置から、複数の仮想ずれ量だけ各々ずらした位置にある複数の画素をそれぞれ複数の対象画素として設定する。
(2)設定した複数の対象画素の画素値と、基準画素の画素値とを参照して、複数の対象画素と基準画素との相関関係をそれぞれ導き出す。
(3)導かれた各相関関係を表わす情報を相関表における複数の対象画素の仮想ずれ量にそれぞれ対応する要素に書き込む。
こうして相関表作成処理を、設定した基準画素ごとに行うことにより、相関表を完成させる。そして、完成した相関表の各要素には、相関関係を表わす情報が蓄積される。

0015

従って、相関表において、相関関係が一番高い要素に対応する仮想ずれ量分だけ、基準画像を、対象画像にずらせば、それらの各画素の相関関係が一番高くなる。すなわち、この仮想ずれ量を上記ずれ量として求めることができる。その結果、この仮想ずれ量を位置ずれ量として推定することができる。

0016

上記位置ずれ量推定処理装置は、
前記相関表作成処理では、
前記仮想ずれ量だけずらした位置にある前記対象画素の画素値と、前記基準画素の画素値とを比較し、それらの画素値がほぼ一致すると、相関関係ありと判断し、
前記相関表において、前記対象画素の前記仮想ずれ量に対応する前記要素に、前記相関関係ありと判断した数を表わす所定の情報が書き込まれ、
前記相関表において、書き込まれた前記所定の情報に基づき前記相関関係ありと判断した数が一番多い前記要素を特定し、該要素に対応する前記仮想ずれ量を前記位置ずれ量として推定するようにしてもよい。

0017

このようにして推定した位置ずれ量に基づき位置ずれを是正すれば、基準画像の各画素の画素値と対象画像の各画素の画素値とが一番多く一致することとなり、基準画像と対象画像とを精度よく重ね合わせることができる。

0018

上記位置ずれ量推定処理装置は、
前記相関表作成処理では、
前記仮想ずれ量だけずらした位置にある前記複数の対象画素の画素値と、前記基準画素の画素値とをそれぞれ比較し、それらの画素値が一致しないと、相関関係なしと判断し、
前記相関表において、前記対象画素の前記仮想ずれ量に対応する前記要素に、前記相関関係なしと判断した数を表わす所定の情報が書き込まれ、
前記相関表において、書き込まれた前記所定の情報に基づき前記相関関係なしと判断した数が一番少ない前記要素を特定し、該要素に対応する前記仮想ずれ量を前記位置ずれ量として推定するようにしてもよい。

0019

このようにして推定した位置ずれ量に基づき位置ずれを是正すれば、基準画像の各画素の画素値と対象画像の各画素の画素値が一致しない数が一番少ない、言い換えれば、基準画像の各画素の画素値と対象画像の各画素の画素値が一番多く一致することとなり、基準画像と対象画像とを精度よく重ね合わせることができる。

0020

上記位置ずれ量推定処理装置は、前記対象画素の画素値と、前記基準画素の画素値とが一致するかどうかを判断する場合に、
前記対象画素の画素値と、前記基準画素の画素値との差分の絶対値を求め、さらに、該差分絶対値と、予め決められた閾値とを比較し、
前記差分絶対値が閾値より小さいと、前記基準画素の画素値と、前記対象画素の画素値とがほぼ一致したと判断し、
前記差分絶対値が閾値より大きいと、前記基準画素の画素値と、前記対象画素の画素値とが一致していないと判断するようにしてもよい。

0021

対象画素の画素値および基準画素の画素値は、容易に抽出することができることから、対象画素の画素値と、基準画素の画素値との差分絶対値を算出することも容易である。従って、上記位置ずれ量推定処理装置は、この差分絶対値と、上記閾値とを比較することで、対象画素の画素値と、基準画素の画素値とが一致するかどうかを容易に判断することができる。

0022

上記位置ずれ量推定処理装置は、前記基準画像において前記基準画素を設定する際には、前記対象画像において、複数の前記仮想ずれ量だけずれた位置にある前記対象画素がすべて存在するように前記基準画素を設定するようにしてもよい。

0023

このようにすれば、基準画素について、複数ある対象画素のすべてに対して上記相関表作成処理をすることができ、その結果を相関表の各要素に書き込むことができる。従って、相関表の各要素には、相関表作成処理の結果が均等に書き込まれることになり、その結果、その相関表から精度よく位置ずれ量を推定することができる。

0024

なお、本発明は、上記した位置ずれ量推定処理装置などの装置発明の態様に限ることなく、位置ずれ量推定方法などの方法発明としての態様で実現することも可能である。さらには、それら方法や装置を構築するためのコンピュータプログラムとしての態様や、そのようなコンピュータプログラムを記録した記録媒体としての態様や、上記コンピュータプログラムを含み搬送波内に具現化されたデータ信号など、種々の態様で実現することも可能である。

0025

また、本発明をコンピュータプログラムまたはそのプログラムを記録した記録媒体等として構成する場合には、上記装置の動作を制御するプログラム全体として構成するものとしてもよいし、本発明の機能を果たす部分のみを構成するものとしてもよい。

発明を実施するための最良の形態

0026

以下では、本発明の実施の形態を実施例に基づいて以下の手順で説明する。
A.位置ずれ量推定処理装置の構成:
B.位置ずれ量推定処理
C.効果:
D.変形例:

0027

A.位置ずれ量推定処理装置の構成:
図1は、本発明の実施例としての位置ずれ量推定処理装置の概略構成を示す説明図である。この位置ずれ量推定処理装置は、汎用パーソナルコンピュータであり、コンピュータ100に情報を入力する装置としてのキーボード120およびマウス130と、情報を出力する装置としてのディスプレイ150と、動画像データなど、種々のデータを記憶することが可能なハードディスク250と、を備えている。また、コンピュータ100に動画像データを入力する装置としてデジタルビデオカメラ30およびCD−R/RWドライブ140を備えている。なお、動画像データを入力する装置としては、CD−R/RWドライブの他、DVDドライブ等の、種々の情報記憶媒体からデータを読み出すことが可能な駆動装置を備えることも可能である。

0028

なお、本実施例においては、動画像データを構成する画像データは、フレーム画像データとする。このフレーム画像データが表す画像をフレーム画像とも呼ぶ。このフレーム画像は、ノンインターレース方式表示可能な静止画像を意味している。

0029

コンピュータ100は、CPU200と、RAM220と、各種プログラムが格納されているROM230と、入力インターフェイス部240とを備え,それぞれがバスを介して接続されている。また、図に示したように、コンピュータ100は、CPU200がROM230からプログラムを読み出し、RAM220に展開して実行することで、画像処理部300、フレーム画像データ取得部310、位置ずれ量推定処理部320として機能する。

0030

入力インターフェイス部240は、インタフェースボード(図示せず)に含まれ,上述した、ディスプレイ150,キーボード120,マウス130,およびデジタルビデオカメラ30と、コンピュータ100の各部とをバスを介して接続する。

0031

画像処理部300は、キーボード120やマウス130からユーザによって動画像の再生の指示が入力されると、CD−R/RWドライブ140内に挿入されるCD−ROMやCD−RW、デジタルビデオカメラ30、あるいはハードディスク250などからRAM220内に動画像データに含まれるフレーム画像データを時系列に読み込む。そして、そのRAM220内に読み込まれたフレーム画像データの表すフレーム画像(静止画像)をビデオドライバを介してディスプレイ150に時系列順に表示する。このようにして、ディスプレイ150上で動画像が表示される。

0032

フレーム画像データ取得部310は、動画像の再生中に、キーボード120やマウス130からユーザによってフレーム画像データの取得指示が入力されると、時系列に連続する2つのフレーム画像データを取得する。以下では、この2つのフレーム画像データのうち、ユーザによる前記取得指示の入力タイミングに基づいて最初に取得されたフレーム画像データを基準フレーム画像データFとして選択し、その後時系列に取得される他方のフレーム画像データを対象フレーム画像データGとして選択することとする。以下では、基準フレーム画像データFが表わす画像を基準フレーム画像Fと呼び、対象フレーム画像データGが表わす画像対象フレーム画像Gと呼ぶ。

0033

なお、取得されたフレーム画像データは、ドットマトリクス状の各画素の階調値(以下、「画素値」とも呼ぶ。)を示す階調データ(以下、「画素データ」とも呼ぶ。)で構成されている。画素データは、Y(輝度)、Cb(ブルー色差),Cr(レッドの色差)からなるYCbCrデータや、R(レッド)、G(グリーン)、B(ブルー)からなるRGBデータ等である。

0034

位置ずれ量推定処理部320は、後述する位置ずれ量を推定する処理を行う。
本実施例において、「位置ずれ」とは、撮影対象物自体の動きなどに起因するものではなく、パンやチルトなどのカメラワークや、「手ぶれ」のように、ビデオカメラの向きの変化のみに起因するものである。従って、「位置ずれ量」とは、フレーム画像間において、全ての画素が同じ量だけずれるような位置ずれ量をいう。以下に、この位置ずれについて具体的に説明する。

0035

図2は、基準フレーム画像Fと対象フレーム画像Gとの間の位置ずれについて示す説明図である。図の各フレーム画像には月と、山と、止まっている車が示されている。また、図に示すように、基準フレーム画像Fに対する、対象フレーム画像Gの位置ずれ量を分かり易く示すため、基準フレーム画像Fの縁と、対象フレーム画像Gの縁とを重ねて示すとともに、基準フレーム画像F上の中心位置に仮想の十字画像XFを追記し、この十字画像XFが、対象フレーム画像Gと共にずれたとして、対象フレーム画像G上に、ずれた結果の画像である十字画像XGを示すようにしている。更に、この位置ずれ量を、分かり易く示すために、基準フレーム画像F,および十字画像XFを太い実線で示すとともに、対象フレーム画像G,および十字画像XGを細い破線で示すようにしている。図に示すように、十字画像XFの中心から十字画像XGの中心へのベクトル量が、位置ずれ量となる。本実施例では、位置ずれ量を、横方向の位置ずれを「u」,縦方向の位置ずれを「v」とする。

0036

ところで、図2の基準フレーム画像Fと対象フレーム画像Gとを重ねて示した図において、各フレーム画像の車の部分について着目すると、基準フレーム画像Fの車の部分の画像から位置ずれ量(u,v)だけずれて、対象フレーム画像Gの車の部分の画像がある。この時、基準フレーム画像Fの車の部分の画像を表わす各画素の画素値と、その各画素から位置ずれ量(u,v)だけずれたところにある対象フレーム画像Gの車の部分の画像を表わす各画素の画素値とは、それぞれほぼ一致する(つまり、相関関係が高い)。言い換えれば、基準フレーム画像Fの各画素の画素値と、対象フレーム画像Gの各画素の画素値とがほぼ一致するように(つまり、相関関係が高くなるように)、基準フレーム画像Fを対象フレーム画像Gに対してずらした場合に、そのずらした量を位置ずれ量として推定することができる。

0037

B.位置ずれ量推定処理:
本実施例における位置ずれ量推定処理について、以下に説明する。この位置ずれ量推定処理では、位置ずれ量(u,v)を推定するために相関表を作成する。従って、まず、この相関表について、説明する。

0038

図3は、本実施例における相関表について説明する図である。本実施例では、フレーム画像は、解像度が800×600の画像とし、フレーム画像の或る画素の位置を(x,y)(1≦x≦800,1≦y≦600:x,yは整数)とする。

0039

本実施例では、位置ずれ量推定処理部320は、位置ずれ量を推定するために、基準フレーム画像Fの或る画素における画素値と、対象フレーム画像Gの所定の範囲内の各画素における画素値とが一致するかどうかを探索する。そして、基準フレーム画像Fの各画素の画素値と対象フレーム画像Gの各画素の画素値が、一番多く一致するように基準フレーム画像Fを対象フレーム画像Gにずらした場合に、そのずらした量を位置ずれ量として推定する。

0040

図3に示すように、上記所定の範囲として、対象フレーム画像Gに相関サーチエリアを設ける。この相関サーチエリアは、5×5のマトリックス状となっており、この一要素は、一画素に相当する。また、相関サーチエリア内において各要素の位置を、横方向をi(-2≦i≦2:iは整数)、縦方向をj(-2≦j≦2:jは整数)の変数を用いて表わすものとする。例えば、相関サーチエリア内において、(i,j)=(−2,−2)は、一番左上の要素を表わす。さらに、探索を行う基準フレーム画像Fの或る画素の位置に対応する対象フレーム画像Gの画素の位置を、相関サーチエリアの中心(すなわち、(i,j)=(0,0))とする。従って、基準フレーム画像Fの或る画素の位置が、(x,y)であったとすると、対象フレーム画像Gにおいて、相関サーチエリアの或る画素の位置は、(x,y)からx軸方向にi,y軸方向にj平行移動した位置として(x+i,y+j)と表わすことができる。以下では、探索の基準となる基準フレーム画像Fの画素(x,y)を基準画素と呼び、その基準画素に対して、対象フレーム画像Gにおける相関サーチエリアの探索される画素(x+i,y+j)をサーチ画素と呼ぶ。例えば、基準フレーム画像Fの基準画素(3,3)であると、対象フレーム画像Gにおいて、相関サーチエリアの一番左上の要素(すなわち、(i,j)=(−2,−2))に該当するサーチ画素を表わす位置は、(3+(−2)、3+(−2))=(1,1)となる。

0041

また、本実施例では、図3に示すように、基準フレーム画像F内に基準フレーム有効エリアが設けられている。この基準フレーム有効エリアの範囲は、3≦x≦798,3≦y≦598と設定されている。位置ずれ量推定部320は、この基準フレーム有効エリア内の画素のみを基準画素として、上述した探索を行う。これは、基準フレーム有効エリア外の画素を基準画素として探索を行った場合、対象フレーム画像Gにおける相関サーチエリアが対象フレーム画像G外にはみ出してしまい、はみ出した部分は探索できないからである。

0042

一方、図3に示すように、相関表は、相関サーチエリアを表にしたもので、5×5のマトリックス状であり、横方向をi(−2≦i≦2:iは整数)、縦方向をj(−2≦j≦2:jは整数)とし、マトリックス内の各要素の位置を(i,j)と表わす。この変数i,jも、相関サーチエリアにおける変数i,jと1対1に対応する。相関表における各要素(i,j)には、相関サーチエリア内で(i,j)に位置する画素をサーチ画素として用いた場合における相関表作成処理の結果が表現される。すなわち、相関表作成処理において、位置ずれ量推定処理部320は、要素(i,j)において、基準フレーム画像Fの基準画素(x,y)における画素値F(x,y)と、対象フレーム画像Gの相関サーチエリア内のサーチ画素(x+i,y+j)における画素値G(x+i,y+j)との差分の絶対値を求める。そして、位置ずれ量推定処理部320は、その差分絶対値と予め決められた閾値とを比較し、差分絶対値が閾値より小さければ、基準画素とサーチ画素の各画素値がほぼ一致したと判断し、要素(i,j)に「1」を加算する。差分絶対値が閾値より大きい場合には、基準画素とサーチ画素の各画素値が一致していないと判断し、要素(i,j)には、何も加算しない。位置ずれ量推定処理部320は、この相関表作成処理を、要素(i,j)ごとに、基準フレーム画像における基準フレーム有効エリア内のすべての基準画素について行い、相関表を作成する。このようにすれば、相関表において、各要素の加算された数値(以下、相関値と呼ぶ。)は、上記相関表作成処理における基準画素とサーチ画素との各画素値が一致した数を表わす。従って、基準フレーム画像Fを対象フレーム画像Gに対して、相関値が最大になる要素(i,j)に基づき、x軸方向にi,y軸方向にjずらすと、基準フレーム画像Fの各画素の画素値と対象フレーム画像Gの各画素の画素値が一番多く一致する(つまり、基準フレーム画像Fと対象フレーム画像Gとが、一番相関関係が高い)ことになる。以上より、本実施例では、相関値が最大になる要素(i,j)を位置ずれ量(u,v)と推定する。
それでは、以下に、相関表作成処理を含めた位置ずれ量推定処理について、具体的に説明する。

0043

図4は、本実施例における位置ずれ量推定処理のフローチャートである。
まず、フレーム画像データ取得部310は、ステップS10の処理で、動画像の再生中に、キーボード120やマウス130からユーザによってフレーム画像データの取得指示が入力されると、上述したように基準フレーム画像データFと対象フレーム画像データGとを取得する。

0044

次に、位置ずれ量推定処理部320は、ステップS20の処理で変数(i,j)、(x,y)を初期値として、(i,j)=(−2,−2)、(x,y)=(3,3)と設定する。

0045

上記のように初期値として、(i,j)=(−2,−2)と設定されているので(ステップS30:YES、ステップS40:YES)、位置ずれ量推定処理部320は、ステップS50の処理で、相関表作成処理を行う。ここでは、相関表(図3)において、一番左上の要素,つまり要素(i,j)=(−2,−2)について相関表作成処理を行う。

0046

図5は、本実施例における相関表作成処理のフローチャートである。まず、この相関表作成処理を、或る要素(i,j)における或る基準画素(x,y)について一般的に説明する。

0047

位置ずれ量推定処理部320は、まず、ステップS60の処理で、基準フレーム画像Fの基準画素(x,y)における画素値F(x,y)および対象フレーム画像Gのサーチ画素(x+i,y+j)における画素値G(x+i,y+j)を各フレーム画像データの画素データから抽出する。

0048

次に、位置ずれ量推定処理部320は、ステップS70の処理では、ステップS60で抽出した各画素値を用いて、以下の式(1)より、画素値差分Df(x,y,i,j)を算出する。
Df(x,y,i,j)=|F(x,y)−G(x+i,y+j)|・・・(1)
この画素値差分Df(x,y,i,j)は、式(1)のごとく、基準画素の画素値F(x,y)と、サーチ画素の画素値G(x+i,y+j)との差の絶対値を表わす。

0049

続いて、位置ずれ量推定処理部320は、ステップS80の処理では、画素値差分Df(x,y,i,j)と、予め決められている閾値Thとを比較する。位置ずれ量推定処理部320は、Df(x,y,i,j)が閾値Thより小さい場合(ステップS80:YES)には、基準画素の画素値F(x,y)とサーチ画素の画素値G(x+i,y+j)とが一致したと判断し、ステップS90の処理で、相関表の要素(i,j)に、「1」を加算する。相関表の(i,j)に「1」加算すると、位置ずれ量推定処理(図4)にリターンする。

0050

位置ずれ量推定処理部320は、Df(x,y,i,j)が閾値Thより大きい場合(ステップS80:NO)には、基準画素の画素値F(x,y)とサーチ画素の画素値G(x+i,y+j)とが一致していないと判断し、相関表には、何も記載せずに、位置ずれ量推定処理(図4)にリターンする。

0051

次に、図5の相関表作成処理を、要素(i,j)=(−2,−2)の場合について、図6図8を用いて説明する。

0052

図6は、要素(i,j)=(−2,−2)、基準画素(x,y)=(3,3)の場合における相関表作成処理を説明するための図ある。図に示すように、最初,基準画素は、初期値として基準フレーム有効エリアの一番左上の画素(3,3)と設定されているので、位置ずれ量推定処理部320は、上述したステップS60の処理で、基準画素(x,y)=(3,3)の画素値F(3,3)およびサーチ画素(x+i,y+j)=(3+(−2)、3+(−2))=(1,1)の画素値G(1,1)を抽出する。

0053

次に、位置ずれ量推定処理部320は、上述したステップS70の処理で、画素値F(3,3)および画素値G(1,1)を用いて、式(1)より画素値差分Df(3,3,−2,−2)を算出する。

0054

続いて、位置ずれ量推定処理部320は、上述したステップS80の処理で、画素値差分Df(3,3)と、予め決められている閾値Thとを比較する。本実施例では、画素値差分Df(3,3,−2,−2)は、閾値Thより小さい(ステップS80:YES)ので、上述したステップS90の処理で、図6に示すように、相関表の要素(−2,−2)に「1」を加算する。その後、位置ずれ量推定処理(図4)にリターンする。

0055

位置ずれ量推定処理にリターンすると、基準画素(x,y)=(3,3)であるので(ステップS100:YES)、次に、位置ずれ量推定処理部320は、ステップS110の処理で、xに1を加算する。すなわち、基準画素をx方向に1平行移動して、基準画素(x,y)=(4,3)となる。そして、位置ずれ量推定処理部320は、基準画素(4,3)に対して、相関表作成処理(ステップS50,図5)を行う。

0056

図7は、要素(i,j)=(−2,−2)、基準画素(x,y)=(4,3)の場合における相関表作成処理を説明するための図ある。図に示すように、基準画素(x,y)=(4,3)に対して、サーチ画素(x+i,y+j)=(4+(−2)、3+(−2))=(2,1)となる。この場合、位置ずれ量推定処理部320は、上述と同様に、ステップS60の処理で、基準画素(4,3)の画素値F(4,3)およびサーチ画素(2,1)の画素値G(2,1)を抽出し、ステップS70の処理で、それらを用いて上述の式(1)より画素値差分Df(4,3,−2,−2)を算出する。そして、位置ずれ量推定処理部320は、上述と同様に、ステップS80の処理で、画素値差分Df(4,3,−2,−2)と、予め決められている閾値Thとを比較する。本実施例では、画素値差分Df(4,3,−2,−2)は、閾値Thより小さい(ステップS80:YES)ので、上述と同様,位置ずれ量推定処理部320は、ステップS90の処理で、図7に示すように、相関表の要素(i,j)=(−2,−2)に「1」を加算する。要素(i,j)=(−2,−2)は、上述の処理による加算と合わせて「2」となる。その後、位置ずれ量推定処理(図4)にリターンする。

0057

位置ずれ量推定処理にリターンすると、基準画素(x,y)=(4,3)であるので(ステップS100:YES)、位置ずれ量推定処理部320は、再度、ステップS110の処理で、xに1を加算する。すなわち、基準画素をx方向に1平行移動して、基準画素は、(x,y)=(5,3)となる。そして、位置ずれ量推定処理部320は、基準画素(5,3)に対して、相関表作成処理(ステップS50,図5)を行う。

0058

図8は、要素(i,j)=(−2,−2)、基準画素(x,y)=(798,598)の場合における相関表作成処理を説明するための図ある。
位置ずれ量推定処理部320は、上述のようにして、ステップS110の処理で、基準画素をx方向に1平行移動させては、ステップS50の相関表作成処理を行う。そして、位置ずれ量推定処理部320は、このようにステップS50〜ステップS110の処理を繰り返し、基準フレーム有効エリアの右端の基準画素,つまり基準画素(798,3)(図8)についてステップS50の相関表作成処理が終了すると、(x,y)=(798,3)であるので(ステップS100:NO)、ステップS115の処理、ステップS120:YES、およびステップS130の処理で、基準フレーム有効エリアにおいて基準画素(3,4)となり、すなわち、一つ下の列の左端に移動する。その移動した基準画素(3,4)(図8)において、図5のステップS50の相関表作成処理を行い、その列においても、ステップS110の処理で基準画素をx方向に1平行移動させては、ステップS50の相関表作成処理が繰り返される。そして、位置ずれ量推定処理部320は、基準画素が基準フレーム有効エリアの右端までくると(ステップS100:NO)、再度、ステップS115の処理、ステップS120:YES、およびステップS130の処理で、基準フレーム有効エリアにおいて、基準画素は一つ下の列の左端に移動する。

0059

以上のようにして、位置ずれ量推定処理部320は、基準画素を、図8に示すように基準フレーム有効エリアの一番右下,つまり、基準画素(798,598)まで移動させ、基準フレーム有効エリア内のすべての基準画素においてステップS50の相関表作成処理を行うと、相関表の要素(i,j)=(−2,−2)における相関値が求まる。なお、図8に示すように、要素(i,j)=(−2,−2)では、相関値が「78」となっている。これは、すなわち、基準フレーム有効エリア内における基準画素の画素値と、相関サーチエリア内の(i,j)=(−2,−2)におけるサーチ画素の画素値とが、「78」個ほぼ一致することを示す。

0060

上述のように、位置ずれ量推定処理部320は、要素(i,j)=(−2,−2)についての相関値を求めると(すなわち、要素(i,j)=(−2,−2)における基準画素(x,y)=(798,598)で、図5のステップS50の相関表作成処理が終了すると)、(x,y)=(798,598)であるので(ステップS120:NO、図4)、ステップS140の処理で、iに1を加算し、要素(i,j)=(−1,−2)とし、また、基準画素を基準フレーム有効エリアの一番左上の画素(x,y)=(3,3)に戻す。位置ずれ量推定処理部320は、ステップS140の処理後、(i,j)=(−1,−2)であるので(ステップS40:YES、図4)、再度、基準フレーム有効エリア内のすべての画素を基準画素として図5のステップS50の相関表作成処理を行う。以下では、要素(i,j)=(−1,−2)における相関表作成処理を図9図11を用いて説明する。

0061

図9は、要素(i,j)=(−1,−2)、基準画素(x,y)=(3,3)の場合における相関表作成処理を説明するための図ある。図に示すように、基準画素(x,y)=(3,3)に対して、サーチ画素(x+i,y+j)=(3+(−1)、3+(−2))=(2,1)となる。この場合、位置ずれ量推定処理部320は、上述と同様に、図5のステップS60の処理で、基準画素(3,3)の画素値F(3,3)およびサーチ画素(2,1)の画素値G(2,1)を抽出し、ステップS70の処理で、それらを用いて上述の式(1)より画素値差分Df(3,3,−1,−2)を算出する。そして、位置ずれ量推定処理部320は、上述と同様に、ステップS80の処理で、画素値差分Df(3,3)と、予め決められている閾値Thとを比較する。本実施例では、画素値差分Df(3,3,−1,−2)は、閾値Thより小さい(ステップS80:YES)ので、上述と同様,位置ずれ量推定処理部320は、ステップS90の処理で、図9に示すように、相関表の要素(i,j)=(−1,−2)に「1」を加算する。その後、位置ずれ量推定処理(図4)にリターンする。

0062

位置ずれ量推定処理にリターンすると、基準画素(x,y)=(3,3)であるので(ステップS100:YES、図4)、位置ずれ量推定処理部320は、ステップS110の処理で、xに1を加算する。すなわち、基準画素をx方向に1平行移動して、基準画素は、(x,y)=(4,3)となる。そして、位置ずれ量推定処理部320は、基準画素(4,3)に対して、相関表作成処理(ステップS50,図5)を行う。

0063

図10は、要素(i,j)=(−1,−2)、基準画素(x,y)=(4,3)の場合における相関表作成処理を説明するための図ある。図に示すように、基準画素(x,y)=(4,3)に対して、サーチ画素(x+i,y+j)=(4+(−1)、3+(−2))=(3,1)となる。この場合、位置ずれ量推定処理部320は、上述と同様に、ステップS60の処理で、基準画素(4,3)の画素値F(4,3)およびサーチ画素(3,1)の画素値G(3,1)を抽出し、ステップS70の処理で、それらを用いて上述の式(1)より画素値差分Df(4,3,−1,−2)を算出する。そして、位置ずれ量推定処理部320は、上述と同様に、ステップS80の処理で、画素値差分Df(4,3,−1,−2)と、予め決められている閾値Thとを比較する。本実施例では、画素値差分Df(4,3,−1,−2)は、閾値Thより大きい(ステップS80:NO)ので、位置ずれ量推定処理部320は、ステップS90の処理で、相関表の要素(i,j)=(−2,−2)に「1」を加算することなく、位置ずれ量推定処理(図4)にリターンする。

0064

位置ずれ量推定処理にリターンすると、基準画素(x,y)=(4,3)であるので(ステップS100:YES、図4)、位置ずれ量推定処理部320は、再度、ステップS110の処理で、xに1を加算する。すなわち、基準画素をx方向に1平行移動して、基準画素は、(x,y)=(5,3)となる。そして、位置ずれ量推定処理部320は、再度、相関表作成処理(ステップS50,図5)を行う。

0065

図11は、要素(i,j)=(−1,−2)、基準画素(x,y)=(798,598)の場合における相関表作成処理を説明するための図ある。
位置ずれ量推定処理部320は、上述の要素(i,j)=(−2,−2)と同様にして、ステップS110の処理で、基準画素をx方向に1平行移動させては、図5のステップS50の相関表作成処理を行い、また、基準画素が基準フレーム有効エリアの右端までくると、基準フレーム有効エリアにおいて、基準画素は一つ下の列の左端に移動させ、その列の基準画素に対しても同様にステップS50の相関表作成処理を行う。このようにして、基準画素を、図11に示すように基準フレーム有効エリアの一番右下,つまり、基準画素(798,598)まで移動させ、基準フレーム有効エリア内のすべての基準画素において図5のステップS50の相関表作成処理を行い、相関表の要素(i,j)=(−1,−2)における相関値を求める。なお、図11に示すように、要素(i,j)=(−1,−2)では、相関値が「64」となっている。これは、すなわち、基準フレーム有効エリア内における基準画素の画素値と、相関サーチエリア内の(i,j)=(−1,−2)におけるサーチ画素の画素値とが、「64」個ほぼ一致することを示す。

0066

上述のように、位置ずれ量推定処理部320は、要素(i,j)=(−1,−2)についての相関値を求めると、すなわち、要素(i,j)=(−1,−2)における基準画素(x,y)=(798,598)で、図5のステップS50の相関表作成処理が終了すると、(x,y)=(798,598)であるので(ステップS120:NO、図4)、ステップS140の処理で、iに1を加算し、要素(i,j)=(0,−2)とし、また、基準画素を基準フレーム有効エリアの一番左上の画素(x,y)=(3,3)に戻す。位置ずれ量推定処理部320は、ステップS140の処理後、(i,j)=(0,−2)であるので(ステップS40:YES、図4)、再度、基準フレーム有効エリア内の画素を基準画素として図5のステップS50の相関表作成処理を行う。

0067

位置ずれ量推定処理部320は、上述のごとく、ステップS50〜ステップS130の処理を繰り返すことにより、要素(i,j)=(0,−2)についても相関値を求める。このようにして、位置ずれ量推定処理部320は、ステップS140の処理で、iに1を加算しては、上述のごとく、各要素(i,j)について相関値を求める。そして、位置ずれ量推定処理部320は、相関表の右端の要素(i,j)=(2,−2)についても相関値を求めると、ステップS140の処理で、iに1を加算し、(i,j)=(3,−2)となるので(ステップS40:NO)、ステップS150の処理を行う。位置ずれ量推定処理部320は、ステップS150の処理で、jに1を加算し、iを−2に置き換える、すなわち、要素(i,j)=(−2,−1)とし、一つ下の列の左端に移動させる。この時、要素(i,j)=(−2,−1)であるので(ステップS30:YES、ステップS40:YES、図5)、位置ずれ量推定処理部320は、その移動させた要素(−2,−1)についてもステップS50〜ステップS130の処理を繰り返すことにより相関表を完成させ、相関表のその列において、図4のステップS140の処理で、再度、要素(i,j)をi方向に1平行移動させては、その要素(i,j)について相関値を求める。そして、位置ずれ量推定処理部320は、要素(i,j)が右端までくると、再度、図4のステップS140の処理、ステップS40:NO、およびステップS150の処理で、相関表の一つ下の列の左端に移動させる。

0068

以上のようにして、位置ずれ量推定処理部320は、各要素について相関値を求めながら、要素(i,j)=(1,2)まで移動させる。

0069

位置ずれ量推定処理部320は、上述のように、要素(i,j)=(1,2)についての相関値を求めると(すなわち、要素(i,j)=(1,2)における基準画素(x,y)=(798,598)で、図5のステップS50の相関表作成処理が終了すると)、ステップS140の処理で、iに1を加算し、要素(i,j)=(2,2)とし、また、基準画素を基準フレーム有効エリアの一番左上の画素(x,y)=(3,3)に戻す。位置ずれ量推定処理部320は、ステップS140の処理後、(i,j)=(2,2)あるので(ステップS40:YES)、再度、基準画素を基準フレーム有効エリアの一番左上の画素(3,3)から一番右下の画素(798,598)まで順に移動させてステップS50の相関表作成処理を行う。

0070

図12は、要素(i,j)=(2,2)、基準画素(x,y)=(3,3)の場合における相関表作成処理を説明するための図ある。図に示すように、基準画素(x,y)=(3,3)に対して、サーチ画素(x+i,y+j)=(3+2,3+2)=(5,5)となる。この場合、位置ずれ量推定処理部320は、上述と同様に、ステップS60の処理で、基準画素(3,3)の画素値F(3,3)およびサーチ画素(5,5)の画素値G(5,5)を抽出し、ステップS70の処理で、それらを用いて上述の式(1)より画素値差分Df(3,3,2,2)を算出する。そして、位置ずれ量推定処理部320は、上述と同様に、ステップS80の処理で、画素値差分Df(3,3,2,2)と、予め決められている閾値Thとを比較する。本実施例では、画素値差分Df(3,3,2,2)は、閾値Thより小さい(ステップS80:YES)ので、上述と同様,位置ずれ量推定処理部320は、ステップS90の処理で、図12に示すように、相関表の要素(i,j)=(2,2)に「1」を加算する。その後、位置ずれ量推定処理(図4)にリターンする。

0071

位置ずれ量推定処理にリターンすると、基準画素(x,y)=(3,3)であるので(ステップS100:YES、図4)、位置ずれ量推定処理部320は、図4のステップS110の処理で、xに1を加算する。すなわち、基準画素をx方向に1平行移動して、基準画素は、(x,y)=(4,3)となる。そして、位置ずれ量推定処理部320は、基準画素(4,3)に対して相関表作成処理(ステップS50,図5)を行う。

0072

図13は、要素(i,j)=(2,2)、基準画素(x,y)=(4,3)の場合における相関表作成処理を説明するための図ある。図に示すように、基準画素(x,y)=(4,3)に対して、サーチ画素(x+i,y+j)=(4+2,3+2)=(6,5)となる。この場合、位置ずれ量推定処理部320は、上述と同様に、ステップS60の処理で、基準画素(4,3)の画素値F(4,3)およびサーチ画素(6,5)の画素値G(3,1)を抽出し、ステップS70の処理で、それらを用いて上述の式(1)より画素値差分Df(4,3,2,2)を算出する。そして、位置ずれ量推定処理部320は、上述と同様に、ステップS80の処理で、画素値差分Df(4,3,2,2)と、予め決められている閾値Thとを比較する。本実施例では、画素値差分Df(4,3,2,2)は、閾値Thより大きい(ステップS80:NO)ので、位置ずれ量推定処理部320は、ステップS90の処理で、相関表の要素(i,j)=(2,2)に「1」を加算することなく、位置ずれ量推定処理(図4)にリターンする。

0073

位置ずれ量推定処理にリターンすると、基準画素(x,y)=(4,3)であるので(ステップS100:YES、図4)、次に、位置ずれ量推定処理部320は、再度、ステップS110の処理で、xに1を加算する。すなわち、基準画素をx方向に1平行移動して、基準画素は、(x,y)=(5,3)となる。そして、位置ずれ量推定処理部320は、再度、相関表作成処理(ステップS50,図5)を行う。

0074

図14は、要素(i,j)=(2,2)、基準画素(x,y)=(798,598)の場合における相関表作成処理を説明するための図ある。
位置ずれ量推定処理部320は、上述のごとく、ステップS110の処理で、基準画素をx方向に1平行移動させては、ステップS50の相関表作成処理を行い、また、基準画素が基準フレーム有効エリアの右端までくると、基準フレーム有効エリアにおいて、基準画素は一つ下の列の左端に移動させ、その列の基準画素に対しても同様にステップS50の相関表作成処理を行う。このようにして、基準画素を、図14に示すように基準フレーム有効エリアの一番右下,つまり、基準画素(798,598)まで移動させ、基準フレーム有効エリア内のすべての基準画素において図5のステップS50の相関表作成処理を行い、相関表の要素(i,j)=(2,2)における相関値を求める。なお、図14に示すように、要素(i,j)=(2,2)では、相関値が「31」となっている。これは、すなわち、基準フレーム有効エリア内における基準画素の画素値と、相関サーチエリア内の(i,j)=(2,2)におけるサーチ画素の画素値とが、「31」個ほぼ一致することを示す。

0075

以上のようして、図14に示すように、すべての相関表の要素(i,j)について相関値を求める。位置ずれ量推定処理部320は、最後の要素(i,j)=(2,2)についての相関値を求めると(すなわち、要素(i,j)=(2,2)における基準画素(x,y)=(798,598)で、ステップS50の相関表作成処理が終了すると)、ステップS140の処理で、iに1を加算し、要素(i,j)=(3,2)とする。位置ずれ量推定処理部320は、ステップS140の処理後、(i,j)=(3,2)であるので(ステップS40:NO)、ステップS150の処理で、jに1を加算し、iを−2に置き換えて、要素(i,j)=(−2,3)となる(ステップS30:NO)。従って、位置ずれ量推定処理部320は、図4のステップS200の処理で、相関表において、最大値をとる要素(i,j)を位置ずれ量(u,v)として出力する。本実施例では、図14に示すように、要素(i,j)=(−1,−1)における値「142」が最大値となるので、その要素(i,j)=(−1,−1)を位置ずれ量(u,v)=(−1,−1)として出力する。

0076

C.効果:
以上のように、位置ずれ量推定処理部320は、相関表作成処理(図5)で、基準画素とサーチ画素の各画素値が一致したと判断すると、その要素(i,j)に「1」を加算し、基準画素とサーチ画素の各画素値が一致していないと判断すると、その要素(i,j)には、何も加算しないようにしている。位置ずれ量推定処理部320は、この相関表作成処理を、相関表の一つ一つの要素で、基準フレーム有効エリア内のすべての基準画素について行い、相関値を求めている。このようにすれば、相関表の各要素(i,j)が示す相関値は、基準画素とサーチ画素との各画素値が一致した数を表わすことになる。そして、その相関値が最大になる要素(i,j)に基づき、基準フレーム画像Fを対象フレーム画像Gに対して、x軸方向にi,y軸方向にjずらすと、基準フレーム画像Fの各画素の画素値と対象フレーム画像Gの各画素の画素値が一番多く一致することになる。従って、相関値が最大になる要素(i,j)を位置ずれ量(u,v)と推定することができる。

0077

また、本実施例では、基準フレーム画像F内に基準フレーム有効エリアが設けられ、この範囲は、3≦x≦798,3≦y≦598と設定している。また、相関サーチエリアを5×5のマトリックス状とし、その中心と基準画素とが対応している。このようにすれば、基準画素に対応する相関サーチエリア内のサーチ画素がすべて存在する。そして、位置ずれ量推定処理部320は、対象フレーム画像Gの相関サーチエリア内におけるサーチ画素に対して、基準フレーム有効エリア内の画素のみを基準画素として、図5の相関表作成処理を行っている。このようにすれば、対象フレーム画像Gにおける相関サーチエリアが対象フレーム画像Gからはみ出すことがなく、すべてのサーチ画素に対して相関表作成処理を行うことができ、その結果を相関表の各要素(i,j)に書き込むことができる。従って、相関表の各要素には、相関表作成処理の結果が均等に書き込まれることになり、その相関表から精度よく位置ずれ量を推定することができる。

0078

D.変形例:
なお、本発明では、上記した実施の形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様にて実施することが可能である。

0079

D1.変形例1:
上記実施例では、相関サーチエリアおよび相関表は、5×5の正方形なマトリックス状であり、要素数は25としているが、本発明は、これに限られるものではない。相関サーチエリアおよび相関表は、5×5より大きな正方形もしくは長方形のマトリックス状としてもよい。例えば、30×30や30×40のマトリックス状としてもよい。このようにすれば、広い範囲を探索することができ、探索の精度を向上させることができる。また、相関サーチエリアおよび相関表は、マトリックス状とは、限らず種々の形状をしてもよい。

0080

D2.変形例2:
上記実施例では、位置ずれ量推定処理部320は、相関表を完成させるために、相関表の一つの要素で、基準フレーム有効エリア内のすべての基準画素について相関表作成処理(図5)を行ってから(すなわち、相関値を求めてから)、次の要素に移り、同様に相関値を求めるようにしているが、本発明はこれに限られるものではない。例えば、1つの基準画素について相関サーチエリア内の全てのサーチ画素に対して相関表作成処理(図5)を行い、この処理を、順番に基準フレーム有効エリア内のすべての基準画素について行うことにより、最終的に相関表の各要素の相関値を求め、その結果,相関表を完成させるようにしてもよい。

0081

D3.変形例3:
上記実施例では、画像データとして、フレーム画像データを例に用いて説明したが、本発明は、これに限られるものではない。例えば、フレーム画像データの代わりにフィールド画像データを用いて、上述した処理を行ってもよい。なお、フィールド画像データが表すフィールド画像は、インターレース方式において、ノンインターレース方式のフレーム画像に相当する画像を構成する奇数フィールドの静止画像と偶数フィールドの静止画像を意味している。

0082

D4.変形例4:
上記実施例では、位置ずれ量推定処理装置として、パーソナルコンピュータ(PC)を採用しているが、本発明はこれに限られるものではない。上述の位置ずれ量推定処理装置がビデオカメラ,デジタルカメラプリンタDVDプレーヤビデオテーププレーヤハードディスクプレーヤカメラ付き携帯電話などに内蔵されてもよい。

0083

D5.変形例5:
上記実施例では、位置ずれ量推定処理部320は、図5の相関表作成処理で、基準画素とサーチ画素の各画素値がほぼ一致したと判断すると、該当する要素(i,j)に「1」を加算し、それらが一致してないと判断すると、該当する要素(i,j)には、何も加算しないようにしているが、本発明は、これに限られるものではない。例えば、図5の相関表作成処理で、基準画素とサーチ画素の各画素値がほぼ一致したと判断した場合に、該当する要素(i,j)に、第1の所定の値を加算するようにし、基準画素とサーチ画素の各画素値がほぼ一致していないと判断すると、該当する要素(i,j)には、上記第1の所定の値より小さな第2の所定の値を加算するようにする。このようにしても、上記相関表において、相関値が最大値をとる要素(i,j)を位置ずれ量(u,v)とすることができる。

0084

また、図5の相関表作成処理で、基準画素とサーチ画素の各画素値がほぼ一致したと判断した場合に、該当する要素(i,j)に、第3の所定の値を加算するようにし、基準画素とサーチ画素の各画素値がほぼ一致していないと判断すると、該当する要素(i,j)には、上記第3の所定の値より大きな第4の所定の値を加算するようにする。このようにすれば、上記相関表において、相関値が最小な要素(i,j)を、位置ずれ量(u,v)として出力することができる。

0085

D6.変形例6:
上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。

図面の簡単な説明

0086

本発明の実施例としての位置ずれ量推定処理装置の概略構成を示す説明図である。
基準フレーム画像Fと対象フレーム画像Gとの間の位置ずれについて示す説明図である。
本実施例における相関表について説明する図である。
本実施例における位置ずれ量推定処理のフローチャートである。
本実施例における相関表作成処理のフローチャートである。
要素(i,j)=(−2,−2)、基準画素(x,y)=(3,3)の場合における相関表作成処理を説明するための図ある。
要素(i,j)=(−2,−2)、基準画素(x,y)=(4,3)の場合における相関表作成処理を説明するための図ある。
要素(i,j)=(−2,−2)、基準画素(x,y)=(798,598)の場合における相関表作成処理を説明するための図ある。
要素(i,j)=(−1,−2)、基準画素(x,y)=(3,3)の場合における相関表作成処理を説明するための図ある。
要素(i,j)=(−1,−2)、基準画素(x,y)=(4,3)の場合における相関表作成処理を説明するための図ある。
要素(i,j)=(−1,−2)、(x,y)=(798,598)の場合における相関表作成処理を説明するための図ある。
要素(i,j)=(2,2)、基準画素(x,y)=(3,3)の場合における相関表作成処理を説明するための図ある。
要素(i,,j)=(2,2)、基準画素(x,y)=(4,3)の場合における相関表作成処理を説明するための図ある。
要素(i,j)=(2,2)、基準画素(x,y)=(798,598)の場合における相関表作成処理を説明するための図ある。

符号の説明

0087

30...デジタルビデオカメラ
100...コンピュータ
120...キーボード
130...マウス
140...CD−R/RWドライブ
150...ディスプレイ
200...CPU
220...RAM
230...ROM
240...入力インターフェイス部
250...ハードディスク
300...画像処理部
310...フレーム画像データ取得部
320...位置ずれ量推定処理部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ