図面 (/)

技術 画像処理装置およびその制御方法

出願人 キヤノン株式会社
発明者 齊藤光洋
出願日 2014年8月7日 (4年11ヶ月経過) 出願番号 2014-161862
公開日 2015年6月18日 (4年1ヶ月経過) 公開番号 2015-111811
状態 特許登録済
技術分野 スタジオ装置 イメージ分析
主要キーワード 参照パラメータ オートゲイン制御 低コントラスト領域 テンプレートブロック テンプレート位置 最大ピーク値 最大相関位置 歪み情報
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2015年6月18日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (10)

課題

動きベクトル信頼性を精度良く判定できる画像処理装置およびその制御方法の提供。

解決手段

複数の画像間の相関値を、相対的な位置ごとに算出する。算出した相関値に基づいて、複数の画像間の動きベクトルを検出する。相関値のうち最も相関が高いことを示す値と、最も相関が高いことを示す値が得られた位置から予め定められた距離以上離れた位置で得られた相関値との大小関係に基づいて、動きベクトルの信頼性を判定する。

概要

背景

デジタルスチルカメラデジタルビデオカメラ等の撮像装置を用いて撮影された映像に対して防振処理を施すためには、複数の画像(例えば動画像フレーム画像)間の動き量を検出して位置合わせする必要がある。画像間の動き量を検出する方法としては、ジャイロセンサのような外部機器の情報を用いる方法や、画像から動き量を推定する方法等がある。

画像から動き量を推定する代表的な方法に、テンプレートマッチングにより動きベクトルを検出する方法がある。テンプレートマッチングでは、任意の2枚の画像の一方を原画像、もう一方を参照画像とする。そして、原画像における所定の大きさの矩形領域(テンプレートブロック)と、参照画像内の矩形領域との相関値(例えば輝度値分布)との相関値を、テンプレートブロックの位置を変えながら求める。最も高い相関値が得られた際のテンプレートブロックの位置を参照画像における移動先として、原画像上でのテンプレートブロックの位置を基準とした移動先への向きと移動量を動きベクトルとして検出する。このようにして求められた動きベクトルを用いることにより、入力映像に対する防振処理や移動物体追尾処理等を行うことが可能となる。

テンプレートマッチングは、テンプレートブロックのテクスチャ類似度の高いテクスチャを有する領域を参照画像で探索する処理である。そのため、例えばテンプレートブロックのテクスチャが繰り返しパターンの一部であったり、低コントラストなテクスチャであったりする場合、参照画像中に同様のテクスチャを有する領域が複数存在する可能性が高い。この場合、高い相関値が得られるテンプレートブロック位置が複数存在し、どの位置が真の移動先であるかを判別することが困難となるため、正しい動きベクトルが得られない可能性が高く(動きベクトルの信頼性が低く)なる。

そこで、テンプレートブロックのテクスチャを解析することにより、正しい動きベクトルが得られない可能性が高いテクスチャ(以下、苦手領域と呼ぶ)かどうかの判定を行うことが特許文献1で提案されている。特許文献1に記載の画像処理装置は、最も高い相関値と、他の相関値の極大値とを検出し、両者を比較することによりテンプレートブロックが苦手領域かどうか(そのテンプレートブロックを用いて検出された動きベクトルの信頼性が低いかどうか)を判定している。

概要

動きベクトルの信頼性を精度良く判定できる画像処理装置およびその制御方法の提供。 複数の画像間の相関値を、相対的な位置ごとに算出する。算出した相関値に基づいて、複数の画像間の動きベクトルを検出する。相関値のうち最も相関が高いことを示す値と、最も相関が高いことを示す値が得られた位置から予め定められた距離以上離れた位置で得られた相関値との大小関係に基づいて、動きベクトルの信頼性を判定する。

目的

本発明はこのような従来技術の課題に鑑みてなされたものであり、動きベクトルの信頼性を精度良く判定できる画像処理装置およびその制御方法の提供を目的とする

効果

実績

技術文献被引用数
1件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

複数の画像を取得する取得手段と、前記複数の画像間の相関値を、相対的な位置ごとに算出する算出手段と、前記相関値に基づいて、前記複数の画像間の動きベクトルを検出する検出手段と、前記動きベクトルの信頼性を判定する判定手段とを有し、前記判定手段は、前記相関値のうち最も相関が高いことを示す値と、最も相関が高いことを示す値が得られた位置から予め定められた距離以上離れた位置で得られた相関値との大小関係に基づいて前記信頼性を判定することを特徴とする画像処理装置

請求項2

前記判定手段は、前記相関値のうち最も相関が高いことを示す値が得られた位置から前記予め定められた距離以上離れた位置で得られた相関値のうち、前記最も相関が高いことを示す値との差が予め定められた閾値以下である相関値の数に基づいて前記信頼性を判定することを特徴とする請求項1記載の画像処理装置。

請求項3

前記判定手段は、前記相関値のうち最も相関が高いことを示す値が得られた位置から前記予め定められた距離以上離れた位置で得られた相関値のうち、前記最も相関が高いことを示す値との差が予め定められた閾値以下である相関値が予め定められた数以上存在する場合、前記動きベクトルの信頼性が低いと判定することを特徴とする請求項1または2に記載の画像処理装置。

請求項4

前記予め定められた距離を、前記複数の画像のいずれかの撮影パラメータおよび前記複数の画像のいずれかの解析結果の少なくとも一方に応じて決定する決定手段をさらに有することを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。

請求項5

前記決定手段は、前記撮影パラメータとして、シャッタースピード絞り値、装置の動き情報の1つ以上に基づいて前記予め定められた距離を決定することを特徴とする請求項4に記載の画像処理装置。

請求項6

前記決定手段は、シャッタースピードが遅いほど前記予め定められた距離を長くすることを特徴とする請求項5に記載の画像処理装置。

請求項7

前記決定手段は、絞り値が小さいほど前記予め定められた距離を長くすることを特徴とする請求項5に記載の画像処理装置。

請求項8

前記決定手段は、前記装置の動き情報が表す動き量が大きいほど前記予め定められた距離を長くすることを特徴とする請求項5に記載の画像処理装置。

請求項9

前記決定手段は、前記解析結果として、画像の合焦度合いまたは画像の鮮鋭度に基づいて前記予め定められた距離を決定することを特徴とする請求項4に記載の画像処理装置。

請求項10

前記解析結果が、前記複数の画像の一方に設定されたテンプレートブロックに対する解析結果であり、前記決定手段は、前記テンプレートブロックが合焦領域に設定されている場合、非合焦領域に設定されている場合よりも前記予め定められた距離を短くすることを特徴とする請求項9に記載の画像処理装置。

請求項11

前記解析結果が、前記複数の画像の一方に設定されたテンプレートブロックに対する解析結果であり、前記決定手段は、前記テンプレートブロックの鮮鋭度が高いほど、前記予め定められた距離を短くすることを特徴とする請求項9に記載の画像処理装置。

請求項12

第1の画像と第2の画像を取得する取得手段と、前記第1の画像に設定された基準となる領域に対する相関値を、前記第1の画像の複数の位置について算出する算出手段と、前記第1の画像と前記第2の画像間の動きベクトルを検出する検出手段とを有し、前記検出手段は、前記基準となる領域から予め定められた距離以上離れた位置で得られた相関値との大小関係に基づいて、前記動きベクトルを検出する領域を設定することを特徴とする画像処理装置。

請求項13

前記複数の画像を撮影する撮影手段と、請求項1から12のいずれか1項に記載の画像処理装置と、を有することを特徴とする撮像装置

請求項14

取得手段が、複数の画像を取得する取得工程と、算出手段が、前記複数の画像間の相関値を、相対的な位置ごとに算出する算出工程と、検出手段が、前記相関値に基づいて、前記複数の画像間の動きベクトルを検出する検出工程と、判定手段が、前記動きベクトルの信頼性を判定する判定工程とを有し、前記判定工程において前記判定手段は、前記相関値のうち最も相関が高いことを示す値と、最も相関が高いことを示す値が得られた位置から予め定められた距離以上離れた位置で得られた相関値との大小関係に基づいて前記信頼性を判定することを特徴とする画像処理装置の制御方法

請求項15

取得手段が、第1の画像と第2の画像を取得する取得工程と、算出手段が、前記第1の画像に設定された基準となる領域に対する相関値を、前記第1の画像の複数の位置について算出する算出工程と、検出手段が、前記第1の画像と前記第2の画像間の動きベクトルを検出する検出工程とを有し、前記検出工程において、前記基準となる領域から予め定められた距離以上離れた位置で得られた相関値との大小関係に基づいて、前記動きベクトルを検出する領域を設定することを特徴とする画像処理装置の制御方法。

請求項16

コンピュータを、請求項1から12のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム

技術分野

0001

本発明は画像処理装置およびその制御方法に関し、特には複数枚の画像間で動きベクトルを検出する技術に関する。

背景技術

0002

デジタルスチルカメラデジタルビデオカメラ等の撮像装置を用いて撮影された映像に対して防振処理を施すためには、複数の画像(例えば動画像フレーム画像)間の動き量を検出して位置合わせする必要がある。画像間の動き量を検出する方法としては、ジャイロセンサのような外部機器の情報を用いる方法や、画像から動き量を推定する方法等がある。

0003

画像から動き量を推定する代表的な方法に、テンプレートマッチングにより動きベクトルを検出する方法がある。テンプレートマッチングでは、任意の2枚の画像の一方を原画像、もう一方を参照画像とする。そして、原画像における所定の大きさの矩形領域(テンプレートブロック)と、参照画像内の矩形領域との相関値(例えば輝度値分布)との相関値を、テンプレートブロックの位置を変えながら求める。最も高い相関値が得られた際のテンプレートブロックの位置を参照画像における移動先として、原画像上でのテンプレートブロックの位置を基準とした移動先への向きと移動量を動きベクトルとして検出する。このようにして求められた動きベクトルを用いることにより、入力映像に対する防振処理や移動物体追尾処理等を行うことが可能となる。

0004

テンプレートマッチングは、テンプレートブロックのテクスチャ類似度の高いテクスチャを有する領域を参照画像で探索する処理である。そのため、例えばテンプレートブロックのテクスチャが繰り返しパターンの一部であったり、低コントラストなテクスチャであったりする場合、参照画像中に同様のテクスチャを有する領域が複数存在する可能性が高い。この場合、高い相関値が得られるテンプレートブロック位置が複数存在し、どの位置が真の移動先であるかを判別することが困難となるため、正しい動きベクトルが得られない可能性が高く(動きベクトルの信頼性が低く)なる。

0005

そこで、テンプレートブロックのテクスチャを解析することにより、正しい動きベクトルが得られない可能性が高いテクスチャ(以下、苦手領域と呼ぶ)かどうかの判定を行うことが特許文献1で提案されている。特許文献1に記載の画像処理装置は、最も高い相関値と、他の相関値の極大値とを検出し、両者を比較することによりテンプレートブロックが苦手領域かどうか(そのテンプレートブロックを用いて検出された動きベクトルの信頼性が低いかどうか)を判定している。

先行技術

0006

特開2009−219082号公報

発明が解決しようとする課題

0007

しかしながら、特許文献1に記載の撮像装置は、相関値の最大値と極大値との大小関係のみに基づいて苦手領域かどうかの判定を行うものであり、それらの位置関係は考慮していない。テンプレートブロックが苦手領域でない場合であっても、最大相関値が得られる位置の近傍では最大値に近い相関値が得られることは珍しくない。従って、最大値と極大値の大小関係からだけでは、検出された動きベクトルの信頼性を精度よく判定することは困難である。

0008

本発明はこのような従来技術の課題に鑑みてなされたものであり、動きベクトルの信頼性を精度良く判定できる画像処理装置およびその制御方法の提供を目的とする。

課題を解決するための手段

0009

上述の目的は、複数の画像を取得する取得手段と、複数の画像間の相関値を、相対的な位置ごとに算出する算出手段と、相関値に基づいて、複数の画像間の動きベクトルを検出する検出手段と、動きベクトルの信頼性を判定する判定手段とを有し、判定手段は、相関値のうち最も相関が高いことを示す値と、最も相関が高いことを示す値が得られた位置から予め定められた距離以上離れた位置で得られた相関値との大小関係に基づいて信頼性を判定することを特徴とする画像処理装置によって達成される。

発明の効果

0010

本発明によれば、動きベクトルの信頼性を精度良く判定できる画像処理装置およびその制御方法を提供することができる。

図面の簡単な説明

0011

本発明の第1の実施形態に係る画像処理装置の一例としての撮像装置の機能構成例を示すブロック図
本発明の第1の実施形態に係る撮像装置の動きベクトル検出動作を説明するためのフローチャート
テンプレートマッチングについて説明するための模式図
本発明の実施形態における相関値マップの例を示す図
本発明の実施形態における相関値マップを上方から見た状態を模式的に示す図
相関値マップにおけるピーク形状と近傍領域の大きさの関係例を示す図
本発明の第2の実施形態に係る画像処理装置の一例としての撮像装置の機能構成例を示すブロック図
本発明の第2の実施形態に係る撮像装置の動きベクトル検出動作を説明するためのフローチャート
本発明の第2の実施形態におけるテンプレートブロックの配置例を示す図

実施例

0012

●(第1の実施形態)
以下、添付図面を参照して、本発明の例示的な実施形態について説明する。なお、ここでは、本発明に係る画像処理装置を撮像装置に適用した実施形態について説明する。しかし、本発明には撮影に係る構成は不要であり、動きを検出するための画像を取得可能な任意の電子機器において実施可能である。このような電子機器には、撮像装置や撮像装置を備えた機器はもちろん、コンピュータ機器ゲーム機携帯電話機タブレット端末ロボットなど、様々な機器が含まれる。

0013

図1は、本発明の第1の実施形態に係る画像処理装置の一例である撮像装置の機能構成例を示すブロック図である。光学系101は被写体像を形成し、CCDセンサCMOSセンサ等の撮像素子102は光学系101により形成された被写体像を光電変換する。現像処理部103は撮像素子102から出力される電気信号から画像信号を形成する。現像処理部103は、A/D変換部、オートゲイン制御部(AGC)、オートホワイトバランス部などを含み、デジタル画像信号を形成する。撮像素子102及び現像処理部103により、画像の取得を行う撮像系が構成される。メモリ104は、現像処理部103により形成されたデジタル画像信号の1又は複数の画像を一時的に記憶保持する。

0014

相関値演算部105は、現像処理部103及びメモリ104から入力された2枚の画像間における相関値を算出する。動きベクトル検出部106は、相関値演算部105により算出された相関値に基づいて2枚の画像間の移動量を動きベクトルとして検出する。撮影パラメータ取得部107は、撮像装置の撮影パラメータを取得する。なお、撮影パラメータは、撮像装置から取得してもよいが、画像とともに記録されているメタデータから取得してもよい。

0015

近傍領域決定部108は、撮影パラメータに基づいて後述の苦手判定処理における近傍領域の範囲を決定する。苦手領域判定部109では、相関値演算部105より得られる相関値及び近傍領域決定部108において設定された判定領域を用いて相関値を算出した領域が苦手領域であるかどうかの判定を行う。そして、動きベクトル出力部110では動きベクトル検出部106において検出された動きベクトルと、それに対応する苦手領域判定部での判定結果を統合してメモリ104に記憶する。

0016

制御部111は、例えばCPUやMPUのようなプログラマブルプロセッサと、制御プログラム設定値などを記憶する不揮発性メモリと、プログラムを実行する際にワークエリア等として用いる揮発性メモリとを有する。そして、制御プログラムを実行して撮像装置の各部を制御することにより、後述する動きベクトル検出処理をはじめとした、撮像装置の機能を実現する。また、現像処理部103〜動きベクトル出力部110(メモリ104を除く)の1つ以上を、回路として構成する代わりに制御部111がソフトウェア的に実現してもよい。

0017

なお、図1には示していないが、本実施形態に係る撮像装置は、一般的な撮像装置が有する構成を備えている。例えば、ユーザが各種の設定や指示を入力するための操作部や、ライブビュー表示撮影済みの画像、各種メニュー画面などを表示するための表示部、半導体メモリカードなどの記録媒体記録再生を行う記録再生部などである。

0018

以上のように構成された撮像装置における、動きベクトル検出動作の概要図2に示すフローチャートを用いて説明する。ここでは、例えば撮影スタンバイ時のような、ライブビュー表示用動画撮影が行われている状態で、動画のフレーム画像を用いて動きベクトルを検出する場合について説明する。しかし、上述したように、動きベクトルの検出を行う画像は撮影以外の方法で取得してもよい。

0019

S201では、光学系101によって形成された被写体像を撮像素子102で撮影して取得したアナログ画像信号に対し、現像処理部103で処理を施すことでフレーム画像を生成する。現像処理部103は、A/D変換部によってアナログ画像信号をたとえば14ビットのデジタル画像信号に変換する。さらにAGC部及びAWB部によって信号レベル補正白レベル補正が行われたデジタル画像信号は、メモリ104に記憶保持されると共に相関値演算部105に伝送される。本実施形態において制御部111は、所定のフレームレートで順次フレーム画像が生成され、メモリ104に記憶保持されたフレーム画像及び相関値演算部105に伝送されるフレーム画像が順次更新されるように各部を制御する。

0020

S202では、相関値演算部105において、現像処理部103から入力される最新のフレーム画像と、メモリ104に記憶された過去のフレーム画像との相関値を算出する。過去のフレーム画像は、直近に撮影されたフレーム画像であってもよいし、2フレーム以上過去のフレーム画像であってもよい。また、本実施形態で相関値演算部105は、テンプレートマッチングを用いて相関値を算出するが、他の方法を用いてもよい。

0021

図3にテンプレートマッチングの概要図を示す。図3(a)は原画像(メモリ104から入力されるフレーム画像)、図3(b)は参照画像(現像処理部103から入力されるフレーム画像)である。そして、図3(a)に示すように原画像中の任意の位置にテンプレートブロック301を設定し、テンプレートブロック301と参照画像の各領域との相関値を算出する。このとき、参照画像の全体に対して相関値を算出すると演算量が膨大になるため、一般には相関値を算出するための、参照画像の全体より小さい矩形領域(サーチ範囲)302を設定し、サーチ範囲内で相関値を算出する。サーチ範囲302の位置や大きさについては特に制限は無く、公知かつ任意の方法を用いて設定することができる。

0022

また本実施形態では、相関値の算出方法の一例として差分絶対値和(Sum of Absolute Difference、以下SADと略す)を使用する場合について説明する。SADの計算式を式1に示す。

0023

式1において、f(i,j)はテンプレートブロック301内の座標(i,j)における輝度値を表しており、g(i,j)はサーチ範囲302において相関値算出の対象となるブロック(相関値算出領域)303内の各輝度値を表す。相関値演算部105は、両ブロック内の各輝度値f(i,j)及びg(i,j)について差の絶対値を計算し、その総和を求めることで相関値S_SADを得る。従って、相関値S_SADの値が小さいほど両ブロック間の輝度値の差分が小さい、つまりテンプレートブロック301と相関値算出領域303のブロック内のテクスチャの類似度が高いことを表している。反対に、相関値をS_SADの逆数とすれば、相関値の値が大きいほど、テンプレートブロック301と相関値算出領域303のブロック内のテクスチャの類似度が高いことを表すことになる。そして、サーチ範囲302の内部で相関値算出領域303を順次移動させて相関値を算出する。相関値演算部105は、以上のような相関値演算処理を、複数の領域について実行する。

0024

本実施形態では、相関値の一例としてSADを使用しているが、これに限るものではなく、差分二乗和SSD)や正規化相互相関NCC)等の他の相関値を用いても良い。相関値演算部105は、算出された相関値と、対応するテンプレートブロック301および相関値算出領域303の位置情報とを、動きベクトル検出部106と苦手領域判定部109に供給される。

0025

S203では、動きベクトル検出部106において、相関値演算部105から得られた相関値を用いて動きベクトルを検出する。動きベクトル検出部106は、サーチ範囲302内の各位置において算出されたテンプレートブロック301との相関値の中で、最も高い相関を示す値(ここでは最小値)が得られた位置を判定する。これにより、原画像のテンプレートブロック301が参照画像のどの位置に移動したか、つまり画像間の動きベクトルを検出することが可能である。例えば、動きベクトル検出部106は、テンプレートブロック301の左上の座標を始点とし、SADが最小となったサーチ範囲302の左上の座標を終点とするベクトルを動きベクトルとして算出する。もちろん、他の対応座標を用いることもできる。動きベクトル検出部106は、算出した動きベクトルを、動きベクトル出力部110に供給する。

0026

S204では、撮影パラメータ取得部107において撮像装置の撮影情報を取得する。撮影パラメータの例としては、絞り値、焦点距離画角)、合焦距離(被写体距離)等の光学系の制御パラメータや、シャッタースピード等の撮像系の制御パラメータ等が挙げられる。また、撮像装置に搭載されたジャイロセンサから得られる撮影時の撮像装置の動き情報等も撮影パラメータとして取得することができる。これらの情報は、撮影パラメータ取得部107が直接取得してもよいし、撮影動作を制御する制御部111が撮影パラメータ取得部107に供給してもよい。取得された撮像装置の撮影パラメータは撮影パラメータ取得部107から近傍領域決定部108に供給される。

0027

動きベクトルを検出する2つの画像が動画の連続するフレーム画像である場合、撮影パラメータは同一であるか差異は小さい可能性が高い。そのため、撮影パラメータ取得部107は原画像の撮影パラメータと参照画像の参照パラメータの一方を取得し、近傍領域決定部108に出力すればよい。あるいは、撮影パラメータ取得部107は、原画像、参照画像の両方について撮影パラメータを取得して近傍領域決定部108に供給してもよい。

0028

S205では近傍領域決定部108において、撮影パラメータ取得部107から入力される撮像装置の撮影パラメータに基づいて、苦手領域判定を行う際に必要となる近傍領域の大きさを決定する。なお、撮影パラメータ取得部107から原画像および参照画像の両方の撮影パラメータが供給される場合、近傍領域決定部108は両者を比較してもよい。そして、原画像と参照画像の撮影パラメータが大幅に異なる場合、近傍領域決定部108はその判定結果を苦手領域判定部109に通知してもよい。原画像と参照画像の撮影パラメータが大幅に異なる場合、それ自体が動きベクトルの信頼性低下要因となるため、苦手領域判定部109は相関値による判定を行うまでもなく、動きベクトルの信頼性が低いものと判定してもよい。原画像と参照画像の撮影パラメータの差異が小さければ(例えば1段以下の差異であれば)、近傍領域決定部108はいずれか一方の参照パラメータに基づいて近傍領域の大きさを決定することができる。参照パラメータに基づく近傍領域の大きさの決定方法の詳細については後述する。

0029

まず、本実施形態における苦手領域判定部109の動作について説明する。図4は相関値演算部105で算出した、サーチ範囲内の相関値算出領域の位置と、各位置で得られた相関値との関係を3次元マップとして表した相関値マップの例を示す。同図において、x軸およびy軸は相関値算出領域の位置を、z軸は対応する相関値の大きさをそれぞれ示している。本実施形態では相関値としてSADを用いるため、相関値が小さいほどテンプレートブロック301と相関値算出領域303との類似度(相関)が高いことを示している。

0030

図4(a)は、テンプレートブロック301のテクスチャがテンプレートマッチングに適している、つまり複雑な模様を多く含んでいる場合の相関値マップを示している。このような場合、移動先とそれ以外の位置で得られる相関には大きな差が生じるため、相関値マップは図4(a)に示すように一つの急峻なピーク401を有する形状となる。このような場合には、容易に、かつ精度良く動きベクトルを算出することができる。

0031

それに対して、図4(b)にはテンプレートブロック301のテクスチャが直線の繰り返しパターンの場合の相関値マップの例を示す。この場合、テンプレートブロック301のテクスチャと同じ繰り返しパターンがサーチ範囲302内に複数通り存在しているため、ピーク501が複数存在する形状の相関値マップになる。このような場合、図4(a)の場合とは異なり、どのピークに対応する座標位置が真の移動先であるのかを正しく判定することは容易でない。つまり、繰り返しパターンを含む領域は動きベクトルを正しく算出することが困難な苦手領域であると言える。ここでは、苦手領域の一例として繰り返しパターンの場合について述べたがこれに限るものではなく、例えば無地の壁のような低コントラスト領域や、空を背景とした時の電線のような一本線の領域についても同様のことが生じる。このような苦手領域から検出された動きベクトルは信頼性が低く、動きベクトルを使用する後段の処理における誤差要因となる。従って、動きベクトルを用いる処理の精度への影響を抑制するためには、動きベクトルを算出した領域が苦手領域であるかどうかを判定しておく必要がある。

0032

このような苦手領域の判定を行うため、本実施形態では、相関値演算部105が算出した相関値のうち、高い相関を表す値の分布と、相関値の相対的な大小関係から相関値マップの形状を推定する。図5は、図4(a)及び図4(b)で示したような相関値マップをx−y平面の上方(z>0)方向から見た状態を模式的に示した図である。

0033

602は相関値マップ601において最も高い相関を表す値(最大ピーク)の位置を示し、603は最大ピーク位置602以外において、高い相関を表すピークの位置を示している。なお、ピーク位置603は、相関値マップにおいて例えば2番目に高い相関を表す値から順に任意の所定数のピークを対象とすることができる。図5では一例として6個のピークを示している。

0034

前述したように、苦手領域に対応した相関値マップは、最大ピークに近い大きさのピークが複数の位置に存在する形状となる。そこで、苦手領域判定部109は、ピーク位置603に対応する、最大ピーク以外の上位ピーク値のそれぞれについて、最大ピーク値との差分を求め、差分値が予め定められた閾値以下であるかどうか判定する。そして、上位ピーク値の中に、最大ピーク値との差分値が閾値以下のものが存在している場合、苦手領域判定部109は、テンプレートブロックが苦手領域であると判定する。ここで、閾値は、最大ピーク値と近いピーク値の存在を判定するための値であり、その設定方法には特に制限は無い。例えば実験的に適切な値を決定しても良いし、相関値の取り得る範囲の5%というように決定しても良い。また、苦手領域判定部109は、差分値を求める代わりに、最大ピーク以外の上位ピーク値のそれぞれについて、最大ピーク値に対する比率を求め、比率が予め定められた範囲に収まるかどうかを判定するようにしてもよい。

0035

このように、苦手領域判定部109は、参照画像の複数の位置において得られた相関値のうち、最も大きな相関を表す相関値と、大きな相関を表す他の相関値との大小関係を考慮して、苦手領域であるかどうかの判定を行う。さらに本実施形態の苦手領域判定部109は、精度の良い判定を実現するため、これら大きな相関を表す相関値の位置関係を考慮する。

0036

図4(a)を参照して説明したように、一般的な相関値マップの形状は、最大相関の位置を中心とした山、もしくは谷の形状となっており、例えば最大相関が得られる位置に隣接した位置で得られる相関値の大きさも必然的に最大相関と同様な値となる。そのため、大きな相関を表す相関値を複数抽出すると、その中には最大相関位置の近傍で得られた値が含まれる可能性が高い。そして、これらの値と最大相関を表す値との差分が閾値以下となる可能性が十分ある。その結果、図4(a)に示したような、動きベクトルが正しく検出可能な場合であっても、最大相関と同様の相関を表す相関値が複数存在していると判定され、苦手領域と誤判定されてしまう。

0037

このような誤判定を防ぐために、本実施形態では、近傍領域決定部108が、最大ピーク位置602を中心とした近傍領域604を設定する。そして、苦手領域判定部109が、近傍領域604内の位置で算出された相関値を閾値との比較対象から除外することで、上述の誤判定を抑制する。

0038

近傍領域604の設定方法について説明する。図6は最大ピーク位置を通る、z軸に沿った面による相関値マップの断面形状と、設定する近傍領域の範囲との関係例を示す図である。図6(a)は最大ピークの形状がなだらかな場合の近傍領域の設定例を示している。図6(a)において相関値マップ702はなだらかな断面形状をしており、最大ピーク位置を中心として比較的広い範囲に最大ピークと同じような大きさの相関値が分布している。このような形状の相関値マップとなる場合、動きベクトルは精度良く検出可能であるが、近傍領域を狭く設定してしまうと、上述の誤判定の原因となる。そこで、相関値マップの形状がなだらかな場合には近傍領域701を広く設定し、最大ピークの周辺に存在する相関値が閾値の判定対象とならないようにする。

0039

逆に、図6(b)に示すように最大ピーク704の形状が急峻である場合を考える。このような状況において近傍領域を広く設定すると、最大ピーク704の近くに例えば繰り返しパターンによる相関値のピーク705が存在していた場合、ピーク705が閾値との比較対象から除外され、苦手領域ではないと誤判定されてしまう。従って、最大ピークの形状が急峻な場合には、近傍領域703を狭くする必要がある。

0040

このように、近傍領域を設定して精度の良い苦手領域判定を行うためには、相関値マップにおける最大ピークの形状がなだらかであるか、もしくは急峻であるかに応じた広さの近傍領域の範囲を設定することが必要である。本実施形態では、相関値マップにおける最大ピークの形状がなだらかになるか急峻になるかを撮影パラメータから推定し、推定結果に基づいて近傍領域を設定する。

0041

表1は、撮影パラメータの値と相関値マップの形状(最大ピークの形状)との関係について示している。

0042

例えばシャッタースピードが遅い(露光時間が長い)場合、手振れや被写体の動きにより、撮影画像ボケが生じやすい。このようなボケが生じている領域にてテンプレートマッチングを行うと、テンプレート位置が少しずれている程度では相関値の大きさに大きな変動は生じないので、最大ピークはなだらかな形状となる。

0043

逆にシャッタースピードが短い場合には被写体の鮮鋭度が高くなるため、テンプレートブロックとサーチブロック内の領域でテクスチャが一致する位置での相関度は非常に高くなる。しかしながら、その位置から少しでもずれるとテクスチャの差異が大幅に増えるため相関度は急激に低くなる、つまり最大ピークの形状は急峻となる。従って、撮影パラメータとしてシャッタースピードに着目した場合には、シャッタースピードが長い場合には苦手領域判定の近傍領域を広くし、短い場合には狭くすれば良い。

0044

また、手振れや被写体ブレという観点においては、撮像装置が備える加速度センサやジャイロセンサなどから得られる撮像装置の動き情報に応じて近傍領域の範囲を決定することもできる。撮像装置の動きが大きいと判定される場合、つまりパンニングチルティングのようなカメラワーク時や、大きな手振れが生じていると判定される場合には、撮像画像動きボケが生じていると推定できるので、近傍領域を広く設定する。動き情報と近傍領域の広さとの関係は、実験的に予め求めておくことができる。

0045

その他の撮影パラメータとしては、絞り値を用いる方法がある。絞りを開くことにより背景領域のボケ量は大きくなり、特にその効果は近接撮影時に顕著なものとなる。そして、絞り値が開放側に近く(小さく)なるほど画像中のボケ量は大きくなるので最大ピークの形状もなだらかになっていく。つまり、絞り値が小さいほど近傍領域の範囲を広くし、逆に絞り値が大きいほど近傍領域の範囲を狭くすれば良い。

0046

ここでは、表1に示した撮影パラメータの個々の状況に応じて近傍領域の範囲を変更する方法について説明したが、これに限るものではなく、それぞれの撮影パラメータの組み合わせにより近傍領域の範囲を決定しても良い。さらに、表1に示した撮影パラメータ以外の情報、例えば被写体距離や画像の歪み情報等に基づいて近傍領域を決定しても良い。以上のように、撮影パラメータ取得部107から得られた撮像装置の撮影パラメータの値に応じて近傍領域決定部108が相関値マップの形状を推定し、近傍領域の範囲を変更することにより、良好な苦手領域判定を行うことが可能となる。近傍領域決定部108は、例えば近傍領域の広さを表す情報を苦手領域判定部109に通知し、苦手領域判定部109は、相関値の最大ピーク位置を中心とした近傍領域の具体的な範囲(近傍領域に該当する位置)を決定する。ここでは、近傍領域を正方領域としたが、これは一例であり、中心からの距離が一定となる円形領域や、矩形領域など、他の形状としてもよい。

0047

図2戻り、S206で苦手領域判定部109は、相関値演算部105が算出した相関値と、近傍領域決定部108において決定された近傍領域の範囲とに基づいて、テンプレートブロックが苦手領域であるかどうか判定する。苦手領域判定部109は、最大ピークに対して近傍領域を設定した後、近傍領域の外側に存在する相関値のピークのうち、最大ピークとの差分が予め定められた閾値以内の相関値が存在していれば、現在のテンプレートブロックが苦手領域であると判定する。なお、領域を設定する代わりに、領域に対応する距離を設定してもよい。この場合、最大ピークが得られる位置から所定距離以上離れた位置で得られた相関値のピークを閾値との比較対象とすればよい。

0048

なお、差分が閾値以内の相関値が近傍領域外(最大ピーク位置から所定距離以上離れたの位置)に1つでも存在すれば苦手領域であると判定しても良いが、所定の数以上存在していた場合(所定の数は複数)に苦手領域であると判定してもよい。つまり、苦手領域判定部109は、近傍領域外に存在する、差分が閾値以内の相関値の数に基づいて苦手領域か否かを判定することができる。そして、テンプレートブロックが苦手領域であると判定された場合、苦手領域判定部109は例えば苦手領域である(検出された動きベクトルの信頼性が低い)ことを示す苦手領域判定情報(例えばフラグなど)を動きベクトル出力部110へ出力する。あるいは、苦手領域判定部109は、判定結果に関わらず、判定結果を示す苦手領域判定情報を動きベクトル出力部110に出力してもよい。

0049

S207で動きベクトル出力部110は、動きベクトル検出部106から得られる動きベクトル情報に、苦手領域判定部109から得られる苦手領域判定情報を付加してメモリ104に記憶する。なお、動きベクトル出力部110の出力する情報は、記録部を通じて記録媒体へ記録してもよい。メモリ104に記憶した動きベクトル情報および苦手領域判定情報は、防振や被写体追尾等の処理で使用することができる。この際、苦手領域であることを示す情報が付加された動きベクトル情報については用いないようにしたり、苦手領域であることを示す情報が付加されていない動きベクトルよい小さい重みで使用することで、処理精度の向上を図ることが可能となる。

0050

図2に示したフローチャートは、動きベクトルを検出する都度実施される。なお、動画像のフレーム画像に図2の処理を適用する場合は、1フレーム画像ごとに実施してもよいし、所定の複数フレーム周期で実施してもよい。

0051

また、S206で苦手領域判定部109は、テンプレートブロックが苦手領域であるかどうか判定する際に、近傍領域の外側に存在する複数の相関値のピークの位置が、等間隔であるかを判定するようにしてもよい。例えば、苦手領域判定部109は、近傍領域の外側に存在する複数の相関値のピークの各々について、最も近い相関値の位置との距離を求める。そして、苦手領域判定部109は、求めた複数の距離について、どの2つの差分も閾値以内であれば、複数の相関値のピークの位置が等間隔で配置されていると判定する。
苦手領域判定部109は、近傍領域の外側に存在する複数の相関値のピークの位置が等間隔であると判定された場合には、そうでないと判定された場合に比べ、該当するテンプレートブロックから得られる動きベクトルを、より小さい重みで使用することができる。

0052

以上説明したように、本実施形態では、相関値の最大ピークと他のピークとの大小関係だけでなく、最大ピークと他のピークとの位置関係を考慮して苦手領域かどうか(動きベクトルの信頼性が低いかどうか)を判定する。具体的には、最大ピークの近傍領域外(最大ピーク位置から所定距離以上離れた位置)に存在する他のピークとの大小関係に基づいて苦手領域を判定する。これにより、より精度の良い判定が可能である。さらに、近傍領域の広さ(所定距離の大きさ)を撮影パラメータに応じて可変することにより、さらに精度の良い判定を実現することができる。結果として、検出された動きベクトルの信頼性を精度良く判定できるため、動きベクトルを用いる処理精度の低下を抑制することもできる。

0053

●(第2の実施形態)
次に、本発明の第2の実施形態について説明する。本実施形態では、動きベクトル検出のために原画像に設定された複数のテンプレートブロックに対して個別に近傍領域を設定することで、苦手領域判定の精度を向上させることを特徴とする。

0054

図7は本実施形態に係る撮像装置の機能構成例を示すブロック図であり、第1の実施形態と同様の構成要素については、図1と同じ参照数字を付してある。本実施形態の撮像装置は、現像処理部103より入力される画像について、複数のテンプレートブロックのそれぞれについて画像解析を行う解析部801が追加されている。

0055

また、本実施形態の撮像装置の動きベクトル検出動作を図8のフローチャートに示す。図8において第1の実施形態と同じ処理を行うステップについては同じ参照数字を付し、以下では本実施形態に特有の処理について説明する。

0056

S901で解析部801は、メモリ104に記憶された原画像について、複数のテンプレートブロックそれぞれの解析を行う。
図9はテンプレートブロックの配置例を模式的に示す図である。ここでは、画面中央に人物や花などの主被写体1001が存在し、光学系101は主被写体に合焦しているものとする。一方、背景1002は例えば絞りを開放にして撮影した場合にはボケる領域となる。また、テンプレートブロックが画面横方向に4箇所、縦方向に3箇所、ほぼ均等な間隔で設定されている。

0057

図9におけるテンプレートブロックのうち、主被写体1001の領域に含まれるテンプレートブロック1003は合焦しているため鮮鋭度が高く、テンプレートブロック1003を用いて得られる相関値マップの最大ピークは急峻な形状となる。従って、合焦している領域に配置されたテンプレートブロックに対しては、苦手領域判定における近傍領域の範囲を狭くする(所定距離を短くする)ことでより良好な苦手領域判定を行うことが可能となる。

0058

一方、ボケが生じている背景1002に配置されたテンプレートブロック1004を用いて得られる相関値マップの最大ピークはなだらかな形状となる。従って、ボケが生じている領域に配置されたテンプレートブロックに対しては、苦手領域判定における近傍領域の範囲を広くする(所定距離を長くする)ことでより良好な苦手領域判定を行うことが可能となる。このように、画像の合焦度合いや鮮鋭度に応じて近傍領域の大きさ(所定距離の大きさ)を決定する。

0059

なお、テンプレートブロック1005のように、主被写体領域(合焦領域)と背景領域(非合焦領域)にまたがったテンプレートブロックで得られる相関値マップの最大ピークは、合焦領域で得られるピークと非合焦領域で得られるピークの中間的な形状となる。従って、このようなテンプレートブロックに対する近傍領域の範囲は、例えばテンプレートブロック内に含まれる合焦領域と非合焦領域の割合に応じて適応的に変更させることができる。また、信頼性の高い動きベクトルを得られるテンプレートブロックが苦手領域と誤判定されるよりも、信頼性の低い動きベクトルとなるテンプレートブロックが苦手領域でないと誤判定される方が後段の処理における影響度が大きい。そのため、主被写体領域(合焦領域)と背景領域(非合焦領域)にまたがったテンプレートブロックについては、非合焦領域に設定されたテンプレートブロックとして取り扱い、近傍領域を狭くしてもよい。

0060

解析部801は複数のテンプレートブロックそれぞれが、主被写体領域(合焦領域)に存在するか、背景領域(非合焦領域)に存在するか判定する。ここでは、主被写体領域を合焦領域と想定しているため、解析部801は画像中の主被写体領域を検出するとともに、予め記憶されているテンプレートブロックの位置および大きさに関する情報を用いて判定を行う。主被写体領域の抽出方法に特に制限は無く、顔認識のような一般的な特定物体認識手法や、AF評価枠の位置に基づいた領域分割処理等、任意かつ公知の手法を用いることができる。もちろん、操作部を通じて主被写体をユーザに指定させてもよい。さらに外測の測距センサから得られる距離情報を用いて、主被写体領域と背景領域を分離してもよい。また、各テンプレートブロック内のコントラスト周波数特性を計算することでテクスチャのボケ量または鮮鋭度を算出し、ボケ量が閾値未満(鮮鋭度が閾値以上)であれば合焦領域、ボケ量が閾値以上(鮮鋭度が閾値未満)であれば非合焦領域と判定してもよい。

0061

なお、合焦領域のテンプレートブロックについて設定する近傍領域の大きさAと、非合焦領域のテンプレートブロックについて設定する近傍領域の大きさBとは、A<Bという関係を満たすが、具体的な大きさについては、例えば実験的に決定することができる。また、例えば鮮鋭度が高いほど近傍領域を小さくする(所定距離を短くする)など、3段階以上の大きさ(距離)を決定することもできる。なお、流し撮り撮影時も主被写体領域は合焦し、背景領域は動きボケにより非合焦状態になるため、解析部801では同様の解析結果が得られる。このように、解析により相関値マップにおける最大ピークの形状の急峻さが推定可能であれば、どのようなシーンの画像に対しても本実施形態を適用することが可能である。

0062

解析部801は、個々のテンプレートブロックについて、それが合焦領域に存在するのか、非合焦領域に存在するのかを示す情報(あるいはいずれかの場合を示す情報のみでもよい)を解析結果として近傍領域決定部108に出力する。

0063

そして、S205で近傍領域決定部108は、撮影パラメータ取得部107からの撮影パラメータと、解析部801の解析結果のうち、少なくとも一方に基づいて、相関値マップの最大ピークの形状を推定する。そして、近傍領域決定部108は推定結果に基づいて各々のテンプレートブロックに対して近傍領域の範囲を決定する。

0064

撮影パラメータと解析結果の両方に基づいて近傍領域を決定する場合、近傍領域決定部108は種々の方法で近傍領域の大きさを決定することができる。例えば近傍領域決定部108は、両者がいずれも急峻な最大ピーク形状を示唆する場合には狭い近傍領域を、両者がいずれもなだらかな最大ピーク形状を示唆する場合には広い近傍領域を決定することができる。一方、両者が異なる最大ピーク形状を示唆する場合には、予め定めたいずれか一方を優先して近傍領域を決定したり、信頼性が高いと誤判定されることを回避するために、狭い近傍領域を決定するようにしてもよい。例えば、解析部801がテンプレートブロックに対する鮮鋭度を解析している場合には、解析の信頼度が高いと考えて、解析結果を優先するようにしてもよい。なお、ここでも、近傍領域の大きさは2つに限定されず、中間的な大きさを含めた3通り以上の大きさから1つを選択するように構成してもよい。

0065

S206以降の処理は第1の実施形態と同様であるため、説明を省略する。

0066

以上説明したように、本実施形態によれば、原画像を解析した結果に基づいて、相関度の最大ピークが急峻な形状となるか、なだらかな形状となるかをテンプレートブロックについて推定し、推定結果に基づく大きさの近傍領域を決定する。例えば、主被写体領域や合焦領域に設定されているテンプレートブロックは、相関度の最大ピークが急峻な形状となると推定する。また、主被写体領域以外の領域や背景領域、非合焦領域に設定されているテンプレートブロックは、相関度の最大ピークがなだらかな形状になると推定する。そのため、適切な大きさの近傍領域を決定できる可能性を高めることができ、第1の実施形態よりも精度の良い苦手領域の判定を実現できる。

0067

(その他の実施形態)
なお、上述の実施形態においては、メモリ104に記憶された(過去の)画像を原画像、現像処理部103が出力する(現在の)画像を参照画像とする場合について説明したが、原画像と参照画像を逆にしてもよい。この場合、現在の画像に設定されたテンプレートブロックが、過去の画像のどこから移動してきたかが探索されることになり、動きベクトルの終点から始点を検出する処理となる。

0068

また、原画像のみを用いて苦手領域の判定を行うこともできる。例えば、原画像に設定されたテンプレートブロックを基準として、原画像に近傍領域を設定し、原画像の近傍領域外の外側に差分が閾値以内の相関値が存在するか否かを判定する。そして、差分が閾値以内の相関値が存在する領域を苦手領域と判定する。原画像と参照画像の間の動きベクトルを求める際に、この苦手領域を除外して動きベクトルを検出すればよい。

0069

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

0070

101…光学系、102…撮像素子、104…メモリ、105…相関値演算部、106…動きベクトル検出部、107…撮影パラメータ取得部、108…近傍領域決定部、109…苦手領域判定部、110…動きベクトル出力部、111…制御部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ