図面 (/)

技術 撮像装置、その制御方法及びプログラム

出願人 キヤノン株式会社
発明者 瓦田昌大長谷川玲治天野謙一郎
出願日 2014年9月9日 (6年5ヶ月経過) 出願番号 2014-183341
公開日 2016年4月21日 (4年10ヶ月経過) 公開番号 2016-058872
状態 特許登録済
技術分野 カメラの露出制御 写真撮影方法及び装置 スタジオ装置 イメージ分析
主要キーワード Y座標 観測状態 低周波フィルタ 所定画角 追尾範囲 X座標 縦横位置 画素ノイズ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年4月21日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

粒子フィルタ処理を利用した被写体追尾高精度化を図る。

解決手段

撮像装置は、SW1保持状態及び連写中において、AEセンサ203から取得した測光画像データを用いて、正規分布に従う乱数によって粒子分布して、各粒子の位置で尤度計算を行って被写体の画像領域推定し、尤度の低い粒子を尤度の高い粒子の位置に配置することを繰り返す被写体追尾処理を行う。その際、被写体の位置と、前段階における被写体の位置との差分から被写体の移動量を算出し、移動量が所定の閾値を超えていれば、次に行われる無作為の移動に係る正規分布の分散が大きくなるよう変更する。このように変更することで、大きく移動する被写体に対して、粒子を少しでも掛かりやすく配置できる。粒子が少しでも被写体に掛かるようになるので、結果的に被写体追尾動作で被写体を見失いづらくすることができる。

概要

背景

従来、非特許文献1、2等に挙げられている粒子フィルタ処理を利用して、目標とする被写体を追尾する被写体追尾装置が知られている。粒子フィルタ処理は、有限個の粒子分布し、粒子の位置する被写体像画素サンプリングし、時系列の特徴量に基づく尤度を求める演算を行う。粒子フィルタ処理は、尤度の高さから目標とする被写体位置推定を行うことができ、尤度の高かった粒子の位置と重みに基づいて目標とする被写体の位置や移動を検出することができる。

上述の粒子フィルタ処理を利用した被写体追尾に関して、特許文献1には、追尾対象物の領域以外の位置における色の変化に基づいて、追尾対象物の特徴となる色の情報を変化させながら、粒子フィルタ処理を行う目標追尾装置が開示されている。
また、特許文献2には、認識物体の次の位置および形状を予測し、予測された位置に対応する画像の領域内から、予測された形状の認識物体を認識する構成が開示されている。
また、特許文献3には、所定画角内の画像を時系列的複数枚順次撮像する撮像手段と、前記複数枚の画像の中から人物を検出する検出手段と、前記人物の頭(頭髪)部分を対象領域としてこの対象領域を追従する追従手段とを備える構成が開示されている。

概要

粒子フィルタ処理を利用した被写体追尾の高精度化をる。撮像装置は、SW1保持状態及び連写中において、AEセンサ203から取得した測光画像データを用いて、正規分布に従う乱数によって粒子を分布して、各粒子の位置で尤度計算を行って被写体の画像領域を推定し、尤度の低い粒子を尤度の高い粒子の位置に配置することを繰り返す被写体追尾処理を行う。その際、被写体の位置と、前段階における被写体の位置との差分から被写体の移動量を算出し、移動量が所定の閾値を超えていれば、次に行われる無作為の移動に係る正規分布の分散が大きくなるよう変更する。このように変更することで、大きく移動する被写体に対して、粒子を少しでも掛かりやすく配置できる。粒子が少しでも被写体に掛かるようになるので、結果的に被写体追尾動作で被写体を見失いづらくすることができる。

目的

本発明は上記の点に鑑みてなされたものであり、粒子フィルタ処理を利用した被写体追尾の高精度化を図ることを目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

画像データを用いた被写体追尾を行う撮像装置であって、正規分布に従う乱数によって粒子分布して、各粒子の位置で尤度計算を行って被写体の画像領域推定し、尤度の低い粒子を尤度の高い粒子の位置に配置することを繰り返す粒子フィルタ処理を利用した被写体追尾処理を行う被写体追尾手段と、前記被写体追尾手段による被写体追尾処理において、被写体の変化又は該撮像装置の状態に応じて、粒子の分布の仕方を変更する制御手段とを備えたことを特徴とする撮像装置。

請求項2

前記制御手段は、追尾する被写体の移動量に応じて、正規分布の分散を変更することを特徴とする請求項1に記載の撮像装置。

請求項3

前記制御手段は、追尾する被写体の移動速度に応じて、正規分布の分散を変更することを特徴とする請求項1に記載の撮像装置。

請求項4

前記制御手段は、追尾する被写体の大きさに応じて、正規分布の分散を変更することを特徴とする請求項1に記載の撮像装置。

請求項5

前記制御手段は、焦点距離又は焦点検出結果の変化に応じて、正規分布の分散を変更することを特徴とする請求項1に記載の撮像装置。

請求項6

該撮像装置に発生する角速度又は加速度を検出するセンサを備え、前記制御手段は、前記センサで検出する角速度又は加速度に応じて、正規分布の分散を変更することを特徴とする請求項1に記載の撮像装置。

請求項7

前記制御手段は、露出条件及びISO感度設定のうち少なくともいずれかに応じて、正規分布の分散を変更することを特徴とする請求項1に記載の撮像装置。

請求項8

該撮像装置の縦横位置を検知する検知手段を備え、前記制御手段は、前記検知手段で検知する縦横位置に応じて、正規分布の分散を変更することを特徴とする請求項1に記載の撮像装置。

請求項9

前記制御手段は、前記検知手段で検知する縦横位置に応じて、粒子が水平方向に広がって分布するように正規分布の分散を変更することを特徴とする請求項8に記載の撮像装置。

請求項10

前記制御手段は、正規分布に従う乱数によって粒子を分布した結果、粒子が所定の画素と重なる場合、該粒子を再配置することを特徴とする請求項1乃至9のいずれか1項に記載の撮像装置。

請求項11

前記制御手段は、前記所定の画素と重なる粒子の周辺粒子密度が所定の密度を超えているか否かを判定し、前記所定の密度を超えていれば、該粒子を再配置せず、前記所定の密度以下であれば、該粒子を再配置することを特徴とする請求項10に記載の撮像装置。

請求項12

画像データを用いた被写体追尾を行う撮像装置の制御方法であって、正規分布に従う乱数によって粒子を分布して、各粒子の位置で尤度計算を行って被写体の画像領域を推定し、尤度の低い粒子を尤度の高い粒子の位置に配置することを繰り返す粒子フィルタ処理を利用した被写体追尾処理と、前記被写体追尾処理において、被写体の変化又は該撮像装置の状態に応じて、粒子の分布の仕方を変更する処理とを行うことを特徴とする撮像装置の制御方法。

請求項13

画像データを用いた被写体追尾を行う撮像装置を制御するためのプログラムであって、正規分布に従う乱数によって粒子を分布して、各粒子の位置で尤度計算を行って被写体の画像領域を推定し、尤度の低い粒子を尤度の高い粒子の位置に配置することを繰り返す粒子フィルタ処理を利用した被写体追尾処理と、前記被写体追尾処理において、被写体の変化又は該撮像装置の状態に応じて、粒子の分布の仕方を変更する処理とをコンピュータに実行させるためのプログラム。

技術分野

0001

本発明は、粒子フィルタ処理を利用した被写体追尾を行うデジタルカメラデジタルビデオカメラ等の撮像装置、その制御方法及びプログラムに関する。

背景技術

0002

従来、非特許文献1、2等に挙げられている粒子フィルタ処理を利用して、目標とする被写体を追尾する被写体追尾装置が知られている。粒子フィルタ処理は、有限個の粒子分布し、粒子の位置する被写体像画素サンプリングし、時系列の特徴量に基づく尤度を求める演算を行う。粒子フィルタ処理は、尤度の高さから目標とする被写体位置推定を行うことができ、尤度の高かった粒子の位置と重みに基づいて目標とする被写体の位置や移動を検出することができる。

0003

上述の粒子フィルタ処理を利用した被写体追尾に関して、特許文献1には、追尾対象物の領域以外の位置における色の変化に基づいて、追尾対象物の特徴となる色の情報を変化させながら、粒子フィルタ処理を行う目標追尾装置が開示されている。
また、特許文献2には、認識物体の次の位置および形状を予測し、予測された位置に対応する画像の領域内から、予測された形状の認識物体を認識する構成が開示されている。
また、特許文献3には、所定画角内の画像を時系列的複数枚順次撮像する撮像手段と、前記複数枚の画像の中から人物を検出する検出手段と、前記人物の頭(頭髪)部分を対象領域としてこの対象領域を追従する追従手段とを備える構成が開示されている。

0004

特開2009−188977号公報
特開2012−203439号公報
特開2010−193333号公報

先行技術

0005

口知之著「解説粒子フィルタ」電子情報通信学会誌Vol.88 No.12、2005年12月、pp.989〜994
吉弘亘:動画画像理解技術とその応用中部大学工学部情報工学科 http://www.vision.cs.chubu.ac.jp/VU/pdf/VU.pdf

発明が解決しようとする課題

0006

粒子フィルタ処理を利用した被写体追尾手法では、入力された画像の追尾範囲内を被写体の基準画像と比較しながら追尾する手法(いわゆるテンプレートマッチング法)に対して、演算負荷が比較的軽いといった利点がある。また、ロバスト性に優れ、物体の形状が変化しても、集合体として被写体の特徴量を捕捉することができる。
しかしながら、粒子フィルタ処理は、目標とする被写体に対して適切に粒子を適用できないと、特徴量を十分に捕捉できない。例えば目標とする被写体が急に大きく動いた場合や高速に移動している場合、動く前の被写体の位置のみに基づいて粒子を分布すると、被写体の存在しない領域に粒子が分布してしまう可能性がある。この場合、結果的に被写体の位置の変化を適切に検知できない可能性が生じる。

0007

本発明は上記の点に鑑みてなされたものであり、粒子フィルタ処理を利用した被写体追尾の高精度化を図ることを目的とする。

課題を解決するための手段

0008

本発明の撮像装置は、画像データを用いた被写体追尾を行う撮像装置であって、正規分布に従う乱数によって粒子を分布して、各粒子の位置で尤度計算を行って被写体の画像領域を推定し、尤度の低い粒子を尤度の高い粒子の位置に配置することを繰り返す粒子フィルタ処理を利用した被写体追尾処理を行う被写体追尾手段と、前記被写体追尾手段による被写体追尾処理において、被写体の変化又は該撮像装置の状態に応じて、粒子の分布の仕方を変更する制御手段とを備えたことを特徴とする。

発明の効果

0009

本発明によれば、粒子フィルタ処理を利用した被写体追尾の高精度化を図ることができる。

図面の簡単な説明

0010

第1の実施形態に係る撮像装置の断面図である。
第1の実施形態に係る撮像装置の構成を示す図である。
距点の配置を示す図である。
第1の実施形態に係る撮像装置の撮影時の動作を示すフローチャートである。
第1の実施形態における被写体追尾処理を示すフローチャートである。
粒子フィルタ処理の粒子の動きを示す図である。
第2の実施形態における被写体追尾処理を示すフローチャートである。
第3の実施形態における被写体追尾処理を示すフローチャートである。
第4の実施形態に係る撮像装置の断面図である。
第4の実施形態における被写体追尾処理を示すフローチャートである。
第5の実施形態に係る撮像装置の構成を示す図である。
第5の実施形態における被写体追尾処理を示すフローチャートである。
第6の実施形態における被写体追尾処理を示すフローチャートである。
第7の実施形態に係る撮像装置の構成を示す図である。
撮像装置の横位置、縦位置を示す図である。
第7の実施形態における被写体追尾処理を示すフローチャートである。
第7の実施形態における正規分布の分散の変更を説明するための図である。
第8の実施形態に係る撮像装置の構成を示す図である。
第8の実施形態における粒子の無作為移動処理を示すフローチャートである。
第8の実施形態における粒子の再配置を説明するための図である。
第8の実施形態における粒子の無作為移動処理の変形例を示すフローチャートである。

実施例

0011

以下、添付図面を参照して、本発明の好適な実施形態について説明する。
[第1の実施形態]
図1は、第1の実施形態に係る撮像装置の例であるデジタル一眼レフカメラの断面図である。
101はカメラ本体、102は交換レンズであり、カメラ本体101の前面に交換可能な交換レンズ102が装着される。カメラ本体101と交換レンズ102は、不図示のマウント接点群を介して電気的に接続される。交換レンズ102はフォーカスレンズ113と絞り114を備え、マウント接点群を介した制御により、カメラ内に取り込む光量を調節し、ピントを調整できるようになっている。
103はメインミラーであり、ハーフミラーとなっている。104はサブミラーである。105はAFユニットである。メインミラー103はファインダー観測状態では撮影光路上に斜設され、交換レンズ102からの撮影光束ファインダー光学系へと反射する一方、透過光はサブミラー104を介してAFユニット105へと入射する。AFユニット105は、位相差検出方式AFを行う。
106はピント板であり、ファインダー光学系を構成する交換レンズ102の予定結像面に配置される。107はファインダー光路変更用のペンタプリズムである。109はアイピースであり、撮影者はここからピント板106を観察することによって、撮影画面を確認することができる。108はAEユニットであり、制御については後述する。
110はフォーカルプレーンシャッターである。111は撮像センサである。112はディスプレイユニットであり、撮影情報撮影画像を表示し、撮影者が確認できるようにするものである。

0012

図2は、第1の実施形態に係る撮像装置の構成を示す図である。なお、図1に示した構成要素と同じ構成要素には同一符号を付す。
操作部201は、不図示のボタン、スイッチ、ダイヤル接続機器等で構成され、これらを介して撮影者が行った操作を検知し、操作内容に応じた信号をシステム制御部206に送る。操作部201は、不図示のレリーズボタンを包含する。レリーズボタンは2段ストローク式であり、第1段まで押された(=半押しされた)瞬間にSW1信号を、第2段まで押された(=全押しされた)瞬間にSW2信号をシステム制御部206に出力する。ここで、撮影者がレリーズボタンの半押しを維持した状態をSW1保持状態と呼び、レリーズボタンの全押しを維持した状態をSW2保持状態と呼ぶこととする。また、操作部201は、撮影者がSW1保持状態においてレリーズボタンを離した瞬間にSW1解除信号を、SW2保持状態においてレリーズボタンを離した瞬間にSW2解除信号をシステム制御部206に出力する。

0013

AFユニット105は、自動焦点検出を行うものであり、AF制御部204及びAFセンサ205で構成される。AFセンサ205は、図3に示すように61点のAF測距枠(測距点)配置に対応する一対のラインセンサで構成され、サブミラー104を介して入射される光を電気信号に変換し、像信号をAF制御部204に出力する。AF制御部204は、AFセンサ205から出力された一対の像信号の位相差に基づいて、図3に示す各ラインセンサに対応するAF測距枠のデフォーカス量を計算し、焦点調節を行うAF測距枠を1つ選択する。そして、各AF測距枠のデフォーカス量をデータとして持つデフォーカスマップと、選択したAF測距枠の位置情報をシステム制御部206に出力する。
システム制御部206は、選択したAF測距枠の位置及びデフォーカスマップに基づいて焦点調節演算を行う。交換レンズ102の焦点調節状態を検出し、その検出結果に基づいてフォーカスレンズ113を駆動して自動焦点調節を行う。

0014

AEユニット108は、自動露出演算を行うものであり、AE制御部202及びAEセンサ203で構成される。AE制御部202は、数万画素を備えるAEセンサ203から読み出し測光画像データに基づいて自動露出演算を行い、結果をシステム制御部206に出力する。
システム制御部206は、AE制御部202から出力された自動露出演算の結果に基づいて絞り114の開口を制御し、カメラ内に取り込む光量を調節する。さらに、レリーズ時にフォーカルプレーンシャッター110を制御し、撮像センサ111の露光時間を調節する。
また、SW1保持状態及び連写中において、システム制御部206は、AEセンサ203から取得した測光画像データを用いて被写体追尾処理を行う。被写体追尾処理の詳細は後述する。システム制御部206は、追尾対象の位置データをAF制御部204に出力する。なお、システム制御部206が被写体追尾処理を行うとしたが、例えばAE制御部202に被写体追尾処理を担わせる形態としてもよい。

0015

システム制御部206は、操作部201から出力される信号に基づいてメインミラー103、サブミラー104及びフォーカルプレーンシャッター110を制御する。操作部201から出力される信号がSW2信号であれば、メインミラー103、サブミラー104を撮像センサ111へ至る撮像光学系の外へ退避し(第1のミラー位置)、フォーカルプレーンシャッター110を制御することで撮像センサ111に光を照射させる。フォーカルプレーンシャッター110の制御が終了すれば、撮像光学系を光路分割するようにメインミラー103、サブミラー104の位置を戻す(第2のミラー位置)。図1は、メインミラー103、サブミラー104が第2のミラー位置である様態を図示している。

0016

撮像センサ111は、数百万〜数千万程度の画素を備え、交換レンズ102を通して入射する光を電気信号に変換して画像データを生成し、システム制御部206に出力する。
システム制御部206は、撮像センサ111から出力された画像データをディスプレイ112で表示させるとともに、画像記憶装置207に書き込む。

0017

図4は、第1の実施形態に係る撮像装置の撮影時の動作を示すフローチャートである。特に説明しない限り、図4に示す動作はシステム制御部206の制御により行われる。
テップS401で、AEユニット108で撮像動作が行われ、測光画像データを取得する。図6(a)は、本ステップで得られた測光画像データの例であり、被写体600が写っている。
ステップS402で、システム制御部206は、不図示のレリーズボタンが押下されてSW1信号が出力されたか否かを検知する。SW1信号が出力されていなければ、ステップS401に戻り、SW1信号が出力されていれば、ステップS403に進む。

0018

ステップS403で、システム制御部206は、ステップS401で得られた測光画像データのうち、中央に位置する被写体を今後追尾する被写体と認識して、その被写体の特徴色を抽出して記憶し、以後の被写体追尾処理に用いる。図6(a)の場合、中心に位置する範囲601の色を、被写体の特徴色として抽出する。
ステップS404で、システム制御部206は、粒子フィルタ処理の粒子の初期配置を制御する。図6(a)の符号602で示すように、全ての粒子を中央部に初期配置する。粒子フィルタ処理の粒子は、システム制御部206の処理速度を鑑みて、可能な範囲で多く配置することが好ましい。本実施形態では粒子を数百個程度配置するものとして説明するが、図の表現においては、そのうち代表的な10個を図示することにする。図6(a)では、粒子が1か所に全て重なって配置されている。

0019

ステップS405で、ステップS401と同様にAEユニット108で撮像動作が行われ、測光画像データを取得する。図6(b)は、本ステップで得られた測光画像データの例であり、被写体600が右に移動している。
ステップS406で、システム制御部206は、ステップS405で得られた測光画像データから被写体追尾処理を行う。ステップS403で記憶した被写体の特徴色に基づいて、粒子フィルタ処理による特徴色を基準とした被写体位置の推定、追尾を行う。この処理の詳細は、図5を用いて後述する。

0020

ステップS407で、システム制御部206は、不図示のレリーズボタンが押下されてSW2信号が出力されたか否かを検知する。SW2信号が出力されていなければ、ステップS405に戻り、SW2信号が出力されていれば、ステップS408に進む。
ステップS408で、システム制御部206は、メインミラー103を撮影光路外に移動させ、撮像センサ111で静止画撮影を行い、本動作を終了する。

0021

図5は、第1の実施形態における被写体追尾処理(図4のステップS406)の詳細を説明するためのフローチャートである。図5に示す被写体追尾処理は、SW1保持状態及び連写中において繰り返し実行される。
ステップS501で、システム制御部206は、正規分布に従う乱数によって粒子を無作為に移動させる。図6(c)は、中央部602に位置していた各粒子を無作為に移動させた例である。粒子を移動させる正規分布の分散については、後述するステップS508乃至ステップS509で説明する。
ステップS502で、システム制御部206は、無作為に移動させた各粒子の位置で尤度計算を行う。各粒子の位置における測光画像データの色を、図4のステップS403で抽出した被写体の特徴色と比較し、その類似性に基づいて尤度を算出する。粒子が位置する色が被写体の特徴色と類似していれば、尤度が高いと判定される。

0022

ステップS503で、システム制御部206は、尤度の高い各粒子の位置に基づいて、被写体の画像領域を推定する。例えば図6(d)において、画像領域603で尤度が高くなり、被写体の画像領域と推定される。
ステップS504で、システム制御部206は、尤度の低い粒子を尤度の高い粒子の位置に適応的に配置する。この動作は、粒子フィルタ処理における、いわゆるリサンプリングと称されるものである。図6(e)では、被写体の画像領域603に含まれていない、つまり尤度の低い粒子が、画像領域603に内包される尤度の高い粒子に重なるように適応的に配置されている。
ステップS505で、システム制御部206は、ステップS503で推定した被写体に対して、自動露出制御(AE)、自動焦点位置制御(AF)、自動ホワイトバランス制御(AWB)といった被写体を静止画撮影するための前準備を行う。

0023

ステップS506で、システム制御部206は、ステップS503で推定した被写体の位置(移動後の位置)と、前段階における被写体の位置(移動前の位置)との差分から、被写体の移動ベクトルを算出する。
ステップS507で、システム制御部206は、ステップS506で算出した移動ベクトルの移動量が所定の閾値を超えているか否かを判定する。移動量が所定の閾値を超えていれば、ステップS508に進み、移動量が所定の閾値を超えていなければ、ステップS509に進む。
ステップS508で、システム制御部206は、次にステップS501で行われる無作為の移動に係る正規分布の分散が大きくなるよう変更して、被写体追尾処理の動作フローを終了する。このように変更することで、大きく移動する被写体に対して、粒子を少しでも掛かりやすく配置できる。粒子が少しでも被写体に掛かるようになるので、結果的に被写体追尾動作で被写体を見失いづらくすることができる。
ステップS509で、システム制御部206は、次にステップS501で行われる無作為の移動に係る正規分布の分散が小さくなるよう変更して、被写体追尾処理の動作フローを終了する。このように変更することで、全く移動していない、或いはさほど移動していない被写体に対して、粒子をできるだけ数多く掛かるように配置できる。粒子が数多く被写体に掛かるようになるので、結果的に追尾している対象が目標の被写体である信頼性をさらに高めることができる。
以上述べた動作を行うことにより、被写体の移動量が大きかった場合、粒子フィルタ処理の粒子の分布を広げることにより、被写体位置に粒子を配置し続けられるようになり、しいては被写体を適切に追尾し続けられるようにできる。

0024

なお、本実施形態では、ステップS507で説明したように、移動ベクトルが所定の閾値を超えているか否かで動作を変更するようにした。しかしながら、これに限らず、算出された移動ベクトルの大きさに応じて多段階で動作を変更してもよい。このような動作を行うことにより、被写体の位置の変化に対して、粒子の分布をより適切に変更できる。

0025

[第2の実施形態]
第1の実施形態では、追尾する被写体の移動量に応じて、粒子フィルタ処理の粒子の分布の仕方を変更するようにした。
第2の実施形態では、被写体の移動量の代わりに、単位時間当たりの移動量から求められる被写体の移動速度を用いる。なお、撮像装置の構成及び撮影動作は、第1の実施形態で説明したものと同様であり、第1の実施形態とは被写体追尾処理の動作が異なるため、この点を中心に説明する。

0026

図7は、第2の実施形態における被写体追尾処理(図4のステップS406)の詳細を説明するためのフローチャートである。図5に示す被写体追尾処理は、SW1保持状態及び連写中において繰り返し実行される。
ステップS701で、システム制御部206は、被写体の移動速度を算出するための時間的な基準となる単位時間の計時中であるか否かを判定する。単位時間とは、例えば0.5秒や1秒といった直接的に表現された時間や、静止画撮影を連写する際の直近3枚といった所定の連写枚数から間接的に表現された時間とすればよく、また別の指標で表現された時間であっても差し支えない。計時が既に行われていれば、ステップS703に進む。計時が行われていなければ、ステップS702で単位時間の計時を開始した後、ステップS703に進む。
ステップS703で、システム制御部206は、正規分布に従う乱数によって粒子を無作為に移動させる(図6(c)を参照のこと)。
ステップS704で、システム制御部206は、無作為に移動させた各粒子の位置で尤度計算を行う。各粒子の位置における測光画像データの色を、図4のステップS403で抽出した被写体の特徴色と比較し、その類似性に基づいて尤度を算出する。粒子が位置する色が被写体の特徴色と類似していれば、尤度が高いと判定される。

0027

ステップS705で、システム制御部206は、尤度の高い各粒子の位置に基づいて、被写体の画像領域を推定する(図6(d)を参照のこと)。
ステップS706で、システム制御部206は、尤度の低い粒子を尤度の高い粒子の位置に適応的に配置する(リサンプリング、図6(e)を参照のこと)。
ステップS707で、システム制御部206は、ステップS705で推定した被写体に対して、自動露出制御(AE)、自動焦点位置制御(AF)、自動ホワイトバランス制御(AWB)といった被写体を静止画撮影するための前準備を行う。

0028

ステップS708で、システム制御部206は、ステップS705で推定した被写体の位置(移動後の位置)と、前段階における被写体の位置(移動前の位置)との差分から、被写体の移動ベクトルを算出する。
ステップS709で、システム制御部206は、ステップS708で算出した移動ベクトルを積算する。積算した結果は、後述する動作ステップで移動速度に変換される。

0029

ステップS710で、システム制御部206は、被写体の移動速度を算出するための時間的な基準となる単位時間が経過したか否かを判定する。単位時間が経過していれば、ステップS711に進む。単位時間が経過していなければ、被写体追尾処理の動作フローを終了する。この場合、図4のステップS406乃至ステップS407に示すように、SW1信号が出力され続けていれば、繰り返し被写体追尾処理が呼び出される。このような動作により、単位時間が経過するまで被写体の移動量を積算し続けることができる。
ステップS711で、システム制御部206は、ステップS709で算出した移動ベクトル積算値に基づいて、単位時間当たりの移動ベクトル積算値から、被写体の移動速度を算出する。

0030

ステップS712で、システム制御部206は、ステップS711で算出した移動速度が所定の閾値を超えているか否かを判定する。移動速度が所定の閾値を超えていれば、ステップS713に進み、移動速度が所定の閾値を超えていなければ、ステップS714に進む。
ステップS713で、システム制御部206は、次にステップS703で行われる無作為の移動に係る正規分布の分散が大きくなるよう変更する。このように変更することで、高速に移動する被写体に対して、粒子を少しでも掛かりやすく配置できる。粒子が少しでも被写体に掛かるようになるので、結果的に被写体追尾動作で被写体を見失いづらくすることができる。
ステップS714で、システム制御部206は、ステップS703で行われる無作為の移動に係る正規分布の分散が小さくなるよう変更する。このように変更することで、全く移動していない、或いは低速で移動する被写体に対して、粒子をできるだけ数多く掛かるように配置できる。粒子が数多く被写体に掛かるようになるので、結果的に追尾の信頼性をさらに高めることができる。
ステップS715で、正規分布の分散の変更を受けて、次の単位時間を計測するため、次の計時に備えて単位時間の計時を初期化し、被写体追尾処理の動作フローを終了する。
以上述べた動作を行うことにより、被写体の移動速度が大きかった場合、粒子フィルタ処理の粒子の分布を広げることにより、被写体位置に粒子を配置し続けられるようになり、しいては被写体を適切に追尾し続けられるようにできる。

0031

なお、本実施形態では、被写体の移動速度を算出ための時間的な基準となる単位時間を計時して移動速度を算出後、単位時間の計時を初期化するようにした。しかしながら、これに限らず、ステップS709で積算される個々の移動ベクトルを記憶し、ステップS709の動作を行う度に、記憶されている個々の移動ベクトルを単位時間まで遡って積算するような動作を行うようにしてもよい。このような動作を行うことにより、ステップS703で行われる無作為の移動に係る正規分布の分散の変更タイミングを細かく設けることができるようになり、しいては被写体の移動速度の変化に対して被写体位置に粒子を適切に配置できる。
また、本実施形態では、ステップS712で説明したように、移動速度が所定の閾値を超えているか否かで動作を変更するようにした。しかしながら、これに限らず、算出された移動速度に応じて多段階で動作を変更してもよい。このような動作を行うことにより、被写体の位置の変化に対して、粒子の分布をより適切に変更できる。

0032

[第3の実施形態]
第1、2の実施形態では、追尾する被写体の移動量や移動速度に応じて、粒子フィルタ処理の粒子の分布の仕方を変更するようにした。
第3の実施形態では、追尾する被写体の大きさに応じて粒子の分布の仕方を変更するようにして、被写体に対して一定割合の粒子を常に配置するよう努めることで、より安定して被写体を追尾できるようにする。なお、撮像装置の構成及び撮影動作は、第1の実施形態で説明したものと同様であり、第1の実施形態とは被写体追尾処理の動作が異なるため、この点を中心に説明する。

0033

図8は、第3の実施形態における被写体追尾処理(図4のステップS406)の詳細を説明するためのフローチャートである。
ステップS801で、システム制御部206は、正規分布に従う乱数によって粒子を無作為に移動させる(図6(c)を参照のこと)。
ステップS802で、システム制御部206は、無作為に移動させた各粒子の位置で尤度計算を行う。各粒子の位置における測光画像データの色を、図4のステップS403で抽出した被写体の特徴色と比較し、その類似性に基づいて尤度を算出する。粒子が位置する色が被写体の特徴色と類似していれば、尤度が高いと判定される。
ステップS803で、システム制御部206は、尤度の高い各粒子の位置に基づいて、被写体の画像領域を推定する(図6(d)を参照のこと)。
ステップS804で、システム制御部206は、尤度の低い粒子を尤度の高い粒子の位置に適応的に配置する(リサンプリング、図6(e)を参照のこと)。
ステップS805で、システム制御部206は、ステップS803で推定した被写体に対して、自動露出制御(AE)、自動焦点位置制御(AF)、自動ホワイトバランス制御(AWB)といった被写体を静止画撮影するための前準備を行う。

0034

ステップS806で、システム制御部206は、ステップS803で推定した被写体の画像領域に基づいて測光画像データ上の面積を算出する。被写体の画像領域は、ステップS802乃至ステップS803の動作から、各粒子の位置における測光画像データの色と、図4のステップS403で抽出した被写体の特徴色との類似性に基づいて推定されている。したがって、所定値以上の尤度の粒子が分布する領域の面積を算出することにより、被写体の特徴色と類似度の高い色域を被写体の画像領域として認識し、被写体の面積が算出される。
ステップS807では、システム制御部206は、ステップS806で算出した面積が所定の閾値を超えているか否かを判定する。面積が所定の閾値を超えていれば、ステップS808に進み、面積が所定の閾値を超えていなければ、ステップS809に進む。
ステップS808で、システム制御部206は、次にステップS801で行われる無作為の移動に係る正規分布の分散が大きくなるよう変更して、被写体追尾処理の動作フローを終了する。測光画像データに対する被写体の面積が比較的大きい条件での動作であることから、粒子フィルタ処理の粒子の配置を広げて、被写体の様々な部位を追尾対象にしやすくして、より安定した追尾を行えるようにする。
ステップS809で、システム制御部206は、次にステップS801で行われる無作為の移動に係る正規分布の分散が小さくなるよう変更して、被写体追尾処理の動作フローを終了する。測光画像データに対する被写体の面積が比較的小さい条件での動作であることから、粒子フィルタ処理の粒子の配置を狭めて、結果的に追尾している対象が目標の被写体である信頼性をさらに高めるようにする。
以上述べた動作を行うことにより、尤度の高い粒子の個数に応じて粒子の分布を変更できるので、被写体に対して一定割合の粒子を常に配置しやすくなり、より安定して被写体を追尾できるようになる。

0035

(変形例)
本実施形態では、目標とする被写体像の特徴色を基準とした追尾動作を行い、ステップS806で、色の類似性に基づいて測光画像データ上の被写体の面積を算出するようにした。しかしながら、これに限らず、輝度彩度の類似性に基づいて、又はそれらを加味した総合的な類似性に基づいて、面積を算出しても差し支えない。多様な類似性の結果に基づいて面積を算出することで、被写体の面積をより高精度に算出できる。
また、本実施形態では、ステップS807で説明したように、被写体の面積が所定の閾値を超えているか否かで動作を変更していた。しかしながら、これに限らず、算出された面積に応じて多段階で動作を変更してもよい。このような動作を行うことにより、被写体の位置の変化に対して、粒子の分布をより適切に変更できる。

0036

[第4の実施形態]
第4の実施形態では、撮像装置の状態(各種設定)に応じて、粒子フィルタ処理の粒子の分布の仕方を変更する。
図9は、第4の実施形態に係る撮像装置の例であるデジタル一眼レフカメラの断面図である。図1との差異は、交換レンズ102に焦点距離を変更するズームレンズ901が追加されている点である。なお、図1と同一の構成要素には同一の符号を付し、その説明は省略する。また、撮影動作は、第1の実施形態で説明したものと同様であり、第1の実施形態とは被写体追尾処理の動作が異なるため、この点を中心に説明する。

0037

図10は、第4の実施形態における被写体追尾処理(図4のステップS406)の詳細を説明するためのフローチャートである。
ステップS1001で、システム制御部206は、正規分布に従う乱数によって粒子を無作為に移動させる(図6(c)を参照のこと)。
ステップS1002で、システム制御部206は、無作為に移動させた各粒子の位置で尤度計算を行う。各粒子の位置における測光画像データの色を、図4のステップS403で抽出した被写体の特徴色と比較し、その類似性に基づいて尤度を算出する。粒子が位置する色が被写体の特徴色と類似していれば、尤度が高いと判定される。
ステップS1003で、システム制御部206は、尤度の高い各粒子の位置に基づいて、被写体の画像領域を推定する(図6(d)を参照のこと)。
ステップS1004で、システム制御部206は、尤度の低い粒子を尤度の高い粒子の位置に適応的に配置する(リサンプリング、図6(e)を参照のこと)。
ステップS1005で、システム制御部206は、ステップS1003で推定した被写体に対して、自動露出制御(AE)、自動焦点位置制御(AF)、自動ホワイトバランス制御(AWB)といった被写体を静止画撮影するための前準備を行う。

0038

ステップS1006で、システム制御部206は、ズームレンズ901の焦点距離を記憶する。
ステップS1007で、システム制御部206は、前回の被写体追尾処理においてステップS1006で記憶された焦点距離と、今回の被写体追尾処理において直近のステップS1006で記憶された焦点距離とを比較する。双方の焦点距離が異なっていれば、ステップS1008に進む。双方の焦点距離が同一、すなわちズームレンズ901の焦点距離が変化していなければ、粒子の分布を変更しないため、被写体追尾処理の動作フローを終了する。
ステップS1008で、システム制御部206は、前回の焦点距離と今回の焦点距離との大小関係を比較する。今回の焦点距離の方が長い場合、被写体像が前回より大きく写っていて、現状の粒子の分散のままでは被写体像のごく一部の領域しか配置できない可能性があり、粒子の分散を大きくする必要があると判断して、ステップS1009に進む。前回の焦点距離の方が長い場合、被写体像が前回より小さく写っていて、現状の粒子の分散のままでは被写体像以外の領域に多く配置してしまう可能性があり、粒子の分散を小さくする必要があると判断して、ステップS1010に進む。
ステップS1009で、システム制御部206は、次にステップS1001で行われる無作為の移動に係る正規分布の分散が大きくなるよう変更して、被写体追尾処理の動作フローを終了する。このように変更することで、被写体像が前回より大きく写った場合でも、被写体の様々な部位に掛かるようになるので、結果的に被写体追尾動作で被写体を見失いづらくすることができる。
ステップS1010で、システム制御部206は、次にステップS1001で行われる無作為の移動に係る正規分布の分散が小さくなるよう変更して、被写体追尾処理の動作フローを終了する。このように変更することで、被写体像が前回より小さく写った場合でも、被写体像に数多くの粒子が掛かりやすくすることができる。
以上述べた動作を行うことにより、ズームレンズの焦点距離の変化に応じて、被写体位置にできるだけ一様に粒子を配置し続けられるようになり、しいては被写体を適切に追尾し続けられるようにできる。

0039

(変形例)
本実施形態では、ズームレンズ901の焦点距離の変化に応じて粒子フィルタ処理の粒子の分布を変更するようにした。しかしながら、これに限らず、AFユニット105における被写体位置と重なるAF測距枠の焦点検出結果監視し、焦点検出結果の変化に応じて、粒子の分布を変更するようにしてもよい。焦点検出結果が近づく変化があるなら、被写体像が前回の被写体追尾時より大きく写っていて、現状の粒子の分散のままでは被写体像のごく一部の領域しか配置できない可能性があるため、粒子の分散を大きく制御すればよい。焦点検出結果が遠ざかる変化があるなら、被写体像が前回の被写体追尾時より小さく写っていて、現状の粒子の分散のままでは被写体像以外の領域に多く配置してしまう可能性があるため、粒子の分散を小さく制御すればよい。このような制御を行うことにより、焦点検出結果の変化を利用して、より敏速に被写体位置にできるだけ一様に粒子を配置し続けられる。
また、本実施形態とは別に、焦点距離と焦点位置の組み合わせで被写体距離を推測できるよう交換レンズ102の光学設計に基づく距離情報をフォーカスレンズ113が有し、焦点距離と焦点検出結果から推測した被写体距離に応じて、粒子の分布を変更するようにしてもよい。被写体距離が近ければ、被写体像が大きく写っていることから、近さに応じて粒子の分散を比較的大きくなるよう制御すればよい。また、被写体距離が遠ければ、被写体像が小さく写っていることから、遠さに応じて粒子の分散を比較的小さくなるよう制御すればよい。このような構成と制御を行うことにより、上記変形例と同様に焦点検出結果の変化を利用して、より敏速に被写体位置にできるだけ一様に粒子を配置し続けられる。
また、本実施形態では、ステップS1007で説明したように、前回の焦点距離と今回の焦点距離の大小に応じて動作を変更するようにした。しかしながら、これに限らず、前回の焦点距離と今回の焦点距離の大小だけでなく、それらの差の大きさに応じて多段階で動作を変更してもよい。このような動作を行うことにより、被写体像の変化に対して、粒子の分布をより適切に変更できる。

0040

[第5の実施形態]
第5の実施形態では、パンチルトといったカメラ姿勢操作や手振れの程度に応じて粒子の分布の仕方を変更する。
図11は、第5の実施形態に係る撮像装置の構成を示す図である。図2との差異は、撮像装置のロール/ヨー/ピッチの各方向で発生する角速度を検出する角速度センサ1101が追加されている点である。なお、図1図2と同一の構成要素には同一の符号を付し、その説明は省略する。また、撮影動作は、第1の実施形態で説明したものと同様であり、第1の実施形態とは被写体追尾処理の動作が異なるため、この点を中心に説明する。

0041

図12は、第5の実施形態における被写体追尾処理(図4のステップS406)の詳細を説明するためのフローチャートである。
ステップS1201で、システム制御部206は、正規分布に従う乱数によって粒子を無作為に移動させる(図6(c)を参照のこと)。
ステップS1202で、システム制御部206は、無作為に移動させた各粒子の位置で尤度計算を行う。各粒子の位置における測光画像データの色を、図4のステップS403で抽出した被写体の特徴色と比較し、その類似性に基づいて尤度を算出する。粒子が位置する色が被写体の特徴色と類似していれば、尤度が高いと判定される。
ステップS1203で、システム制御部206は、尤度の高い各粒子の位置に基づいて、被写体の画像領域を推定する(図6(d)を参照のこと)。
ステップS1204で、システム制御部206は、尤度の低い粒子を尤度の高い粒子の位置に適応的に配置する(リサンプリング、図6(e)を参照のこと)。
ステップS1205で、システム制御部206は、ステップS1203で推定した被写体に対して、自動露出制御(AE)、自動焦点位置制御(AF)、自動ホワイトバランス制御(AWB)といった被写体を静止画撮影するための前準備を行う。

0042

ステップS1206で、システム制御部206は、角速度センサ1101で撮像装置のロール/ヨー/ピッチの各方向の角速度を検出する。
ステップS1207で、システム制御部206は、いずれかの方向での角速度が所定の閾値を超えているか否かを判定する。いずれかの方向での角速度が所定の閾値を超えていれば、カメラ姿勢操作や手振れによって被写体像の位置が測光画像データ上を移動してしまい、従来の粒子フィルタ処理の粒子の分布では被写体の位置に粒子を配置できない可能性が生じる。よって、この場合はステップS1208に進む。いずれかの方向での角速度が所定の閾値を超えていなければ、ステップS1209に進む。
ステップS1208で、システム制御部206は、次にステップS1201で行われる無作為の移動に係る正規分布の分散が大きくなるように変更して、被写体追尾処理の動作フローを終了する。このように変更することで、カメラ姿勢操作や手振れが発生しても、より安定して被写体を追尾できるようになる。
ステップS1209で、システム制御部206は、次にステップS1201で行われる無作為の移動に係る正規分布の分散が小さくなるように変更して、被写体追尾処理の動作フローを終了する。このように変更することで、全く移動していない、或いはさほど移動していない被写体に対して、粒子をできるだけ数多く掛かるように配置できる。粒子が数多く被写体に掛かるようになるので、結果的に追尾している対象が目標の被写体である信頼性をさらに高めることができる。
以上述べた動作を行うことにより、パン/チルトといったカメラ姿勢操作や手振れの程度に応じて、粒子フィルタ処理の粒子の分布の仕方を変更するので、より安定して被写体を追尾できるようになる。

0043

なお、本実施形態では、角速度センサ1101でいずれかの方向で所定の閾値を超える角速度が検出されていなければ、ステップS1209で説明したように、正規分布の分散が小さくなるように変更していた。しかし、これに限らず、正規分布の分散を変更しない形態でも差し支えない。
また、本実施形態では、角速度センサ1101で撮像装置のロール/ヨー/ピッチの各方向の角速度を検出するようにした。しかし、これに限らず、角速度センサ1101の代わりに加速度センサをカメラ姿勢の少なくとも1方向に備えて、加速度を検知することで、カメラ姿勢操作や手振れを検出しても差し支えない。
また、本実施形態では、ステップS1207で説明したように、所定の閾値を超える角速度がいずれかの方向で検出されているか否かで動作を変更するようにした。しかし、これに限らず、検出された角速度の大きさに応じて多段階で動作を変更してもよい。このような動作を行うことにより、被写体像の変化に対して、粒子の分布をより適切に変更できる。

0044

[第6の実施形態]
粒子フィルタ処理を利用した被写体追尾では、個々の粒子の位置における被写体の特徴を抽出し、目標とする被写体との尤度を算出する。しかしながら、被写体の輝度が低い、或いは撮像のISO感度が高められている場合、画素ノイズによりS/Nが悪化し、S/Nが良好な場合と比べて各粒子の位置における尤度が低下しがちになる。
第6の実施形態では、測光画像データのS/Nが悪化する条件下において、より安定して被写体を追尾できるようにする。なお、撮像装置の構成及び撮影動作は、第1の実施形態で説明したものと同様であり、第1の実施形態とは被写体追尾処理の動作が異なるため、この点を中心に説明する。

0045

図13は、第6の実施形態における被写体追尾処理(図4のステップS406)の詳細を説明するためのフローチャートである。
ステップS1301で、システム制御部206は、正規分布に従う乱数によって粒子を無作為に移動させる(図6(c)を参照のこと)。
ステップS1302で、システム制御部206は、無作為に移動させた各粒子の位置で尤度計算を行う。各粒子の位置における測光画像データの色を、図4のステップS403で抽出した被写体の特徴色と比較し、その類似性に基づいて尤度を算出する。粒子が位置する色が被写体の特徴色と類似していれば、尤度が高いと判定される。
ステップS1303で、システム制御部206は、尤度の高い各粒子の位置に基づいて、被写体の画像領域を推定する(図6(d)を参照のこと)。
ステップS1304で、システム制御部206は、尤度の低い粒子を尤度の高い粒子の位置に適応的に配置する(リサンプリング、図6(e)を参照のこと)。
ステップS1305で、システム制御部206は、ステップS1303で推定した被写体に対して、自動露出制御(AE)、自動焦点位置制御(AF)、自動ホワイトバランス制御(AWB)といった被写体を静止画撮影するための前準備を行う。

0046

ステップS1306で、システム制御部206は、図4のステップS405で測光画像データを撮像した際の露出条件から、露出条件が露光不足の条件であるか、或いはISO感度設定が所定の閾値(例えばISO1600)を超えているか否かを判定する。露光不足或いはISO感度設定が所定の閾値を超えていれば、画素ノイズ対策の粒子フィルタ処理を行うため、ステップS1307に進む。露光不足でない或いはISO感度設定が所定の閾値以下であれば、ステップS1308に進む。
ステップS1307で、システム制御部206は、次にステップS1301で行われる無作為の移動に係る正規分布の分散が大きくなるよう変更して、被写体追尾処理の動作フローを終了する。このように変更することで、粒子をできるだけ数多く被写体に掛かりやすくなるよう配置できる。粒子が数多く被写体に掛かるようになるので、画素ノイズが多い状況下で、結果的に追尾の信頼性を高めることができる。
ステップS1308で、システム制御部206は、次にステップS1301で行われる無作為の移動に係る正規分布の分散が大きくなるよう変更して、被写体追尾処理の動作フローを終了する。このように変更することで、画素ノイズの影響で被写体位置の検出精度が下がる状況下で、粒子を少しでも被写体に掛かりやすく配置できる。
以上述べた動作を行うことにより、測光画像データのS/Nが悪化する条件下において、露出条件に応じて粒子フィルタの粒子の分布を変更できるので、より安定して被写体を追尾できるようになる。

0047

なお、本実施形態では、測光画像データを撮像した際の露出条件から、露光不足でない、或いはISO感度設定が所定の閾値以下であれば、ステップS1308で説明したように、正規分布の分散が大きくなるよう変更するようにした。しかし、これに限らず、正規分布の分散を変更しない形態でも差し支えない。
また、本実施形態では、測光画像データを撮像した際の露出条件から、露光不足或いはISO感度設定が所定の閾値を超えていれば、ステップS1307で説明したように、正規分布の分散が小さくなるよう変更するようにした。しかし、これに限らず、被写体追尾に用いる測光画像データに低周波フィルタ掛け平滑化し、画素ノイズの影響を抑えた上で粒子フィルタ処理を行っても差し支えない。この場合、被写体の細かな様態を抽出できなくなってしまうが、例えばナイキスト周波数の1/3程度までの透過帯域を設定するような場合、特徴色に基づいて粒子フィルタ処理を行う上では、大きな影響を与えない。このような動作を行うことで、本実施形態での効果と同様に、測光画像データのS/Nが悪化する条件下において、より安定して被写体を追尾できるようになる。
また、本実施形態では、ステップS1306で説明したように、露出条件が露光不足の条件であるか、或いはISO感度設定が所定の閾値を超えているか否かに応じて動作を変更するようにした。しかし、これに限らず、露光不足の程度やISO感度設定に応じて多段階で動作を変更しても良い。このような動作を行うことにより、被写体像の変化に対して、粒子の分布をより適切に変更できる。

0048

[第7の実施形態]
第7の実施形態では、カメラの縦横位置に応じて適正に被写体を追尾できるようにする。
図14は、第7の実施形態に係る撮像装置の構成を示す図である。図2との差異は、カメラの地面に対する角度を検知する角度センサ1401が追加されており、図15(a)に示すような横位置と、図15(b)に示すような縦位置とを検知できるようにした点である。なお、図1図2と同一の構成要素には同一の符号を付し、その説明は省略する。また、撮影動作は、第1の実施形態で説明したものと同様であり、第1の実施形態とは被写体追尾処理の動作が異なるため、この点を中心に説明する。

0049

図16は、第7の実施形態における被写体追尾処理(図4のステップS406)の詳細を説明するためのフローチャートである。
ステップS1601で、システム制御部206は、角度センサ1401を用いて角度検知を行う。本実施形態では、90度単位で角度を検知して、図15(a)に示すような横位置と、図15(b)に示すような縦位置とを検知するが、90度単位でなくより細かい角度を取り扱うようにしてもよい。
ステップS1602で、システム制御部206は、正規分布に従う乱数によって粒子を無作為に移動させる(図6(c)を参照のこと)。このとき、ステップS1601で検知した角度に応じて、正規分布の分散を変更する。正規分布の分散の変更の詳細については、図17を用いて後述する。
ステップS1603で、システム制御部206は、無作為に移動させた各粒子の位置で尤度計算を行う。各粒子の位置における測光画像データの色を、図4のステップS403で抽出した被写体の特徴色と比較し、その類似性に基づいて尤度を算出する。粒子が位置する色が被写体の特徴色と類似していれば、尤度が高いと判定される。
ステップS1604で、システム制御部206は、尤度の高い各粒子の位置に基づいて、被写体の画像領域を推定する(図6(d)を参照のこと)。
ステップS1605で、システム制御部206は、ステップS1604で推定した被写体に対して、自動露出制御(AE)、自動焦点位置制御(AF)、自動ホワイトバランス制御(AWB)といった被写体を静止画撮影するための前準備を行う。
ステップS1606で、システム制御部206は、尤度の低い粒子を尤度の高い粒子の位置に適応的に配置する(リサンプリング、図6(e)を参照のこと)。

0050

図17を参照して、ステップS1602での正規分布の分散の変更を説明する。
図6(a)に示すように、追尾を画像の中央部602から行うとして、ステップS404の初期配置としてすべての粒子を中央部602に移動した。そこから、ステップS1602で粒子を移動した状態を図17(a)、(b)に示す。これらの粒子は、正規分布に従う乱数によって前回の粒子の位置(初期配置では中央部602)から移動する。
追尾すべき被写体は画面内においては横に移動する場合が多い。高い場所から俯瞰して撮影するような場合を除けば、被写体は地表を2次元的に移動し、それを横から撮影するからである。地上を2次元的に移動する被写体を横から撮影する場合、被写体は主に画面内を横方向に動く。そのため粒子の移動範囲は横長にする。
そこで、図17(a)に示すように、横位置の場合、移動先の画面内でのX座標は分散の大きな正規分布1701に従う乱数によって、Y座標は分散の小さな正規分布1702に従う乱数によって移動し、図17(a)に示すように水平方向に伸び楕円的な分布とする。
一方、図17(b)に示すように縦位置の場合、移動先の画面内でのX座標は分散の小さな正規分布1703に従う乱数によって、Y座標は分散の大きな正規分布1704に従う乱数によって移動し、図17(b)に示すように水平方向に伸びる楕円的な分布とする。
なお、本実施形態では、角度センサ1401を用いてカメラ姿勢を検知するようにしたが、撮像センサ111で得られる画像を解析することによりカメラ姿勢を検知するようにしてもよい。

0051

[第8の実施形態]
AEセンサ203の出力には、センサ自体欠陥画素があることもあり、またファインダースクリーン上に表示されるAF測距枠等の本来の被写体像には無関係の情報も含まれてしまう。正規分布に従う乱数によって粒子を無作為に移動させたときに、粒子がこれらの座標に配置されると、正しく追尾情報を得られず追尾の精度を落とす原因となっていた。
第8の実施形態では、正規分布に従う乱数によって粒子を無作為に移動させるときに、追尾情報を得るのに適さない画素に配置されるようを避けられるようにする。
図18は、第8の実施形態に係る撮像装置の構成を示す図である。図2との差異は、AEセンサ203の欠陥画素の座標と、ピント板106上におけるファインダーのAF測距枠に相当する座標を記憶する座標記憶部1801が追加されている点である。なお、図1図2と同一の構成要素には同一の符号を付し、その説明は省略する。また、撮影動作は、第1の実施形態で説明したものと同様であり、第1の実施形態とは被写体追尾処理の動作が異なるため、この点を中心に説明する。

0052

図19は、第8の実施形態における粒子の無作為移動処理(例えば図5のステップS501、図7のステップS703等)の詳細を説明するためのフローチャートである。
システム制御部206は、正規分布に従う乱数によって粒子を無作為に移動させる(図6(c)を参照のこと)。このとき、ステップS1901で、配置した粒子に関して、不都合のある箇所がないかチェックを行う。これは、座標記憶部1801に記憶する欠陥画素やAF枠座標情報と、配置を行った座標とを比較することで行う。一致箇所があった場合、ステップS1902で、不都合のあった粒子の再配置を行う。再配置を行う際は、配置された箇所から、不都合のない一番近い箇所に移動させる。例えば粒子がAF測距枠の上側の線と重なった場合には、重ならない箇所で上側に移動する。また、粒子がAF枠の右側の線と重なった場合には、重ならない箇所で右側に移動する。
図20に、粒子を再配置する様子を示す。図20(a)は粒子が欠陥画素に重なった例であり、これを避けるように粒子を再配置する。避けるべき画素としては、CMOSの欠陥画素、撮像面位相差AF用の画素、IR(infrared)画素等が考えられる。また、図20(b)は粒子がAF測距枠に相当する位置に重なった例であり、粒子がAF測距枠の上側の線と重なったので、重ならない箇所で上側に移動している。
以上述べた動作を行うことにより、欠陥画素やAF測距枠の影響を受けることなく追尾演算を行うことができ、追尾演算を高精度で行うことができる。
なお、本実施形態では欠陥画素とAF測距枠の両方を対象としたが、いずれか一方だけであっても差し支えない。

0053

図21に、粒子の無作為移動処理の変形例を示す。
システム制御部206は、正規分布に従う乱数によって粒子を無作為に移動させる(図6(c)を参照のこと)。このとき、ステップS2101で、配置した粒子に関して、不都合のある箇所がないかチェックを行う。これは、座標記憶部1801に記憶する欠陥画素やAF枠の座標情報と、配置を行った座標とを比較することで行う。一致箇所があった場合、ステップS2102で、一致箇所があった周辺粒子密度が所定の密度を超えているか否かを判定し、所定の密度を超えている場合、本処理を抜ける。所定の密度以下の場合、ステップS2103で、図19で説明したのと同様に、不都合のあった粒子の再配置を行う。所定の密度以下の場合のみ再配置を行うのは、再配置を行う粒子の数を少なくするためであり、粒子密度が所定の密度を超えている場合には、再配置を行わなくても、その周辺に配置された粒子の演算情報より、問題なく追尾演算を行うことができるからである。これにより、再配置を行う際の処理時間を短縮する効果がある。

0054

(変形例)
以上述べた各実施形態では、AEユニット108で得られた測光画像データを用いて被写体追尾を行うようにした。しかしながら、これに限らず、さらに高解像度である撮像センサ111で得られた画像データを用いて被写体追尾を行ってもよい。このような動作を行うことで、演算量が比較的増加するものの、高解像度の画像を用いて小さな被写体を追尾できるようになる。
また、各実施形態では、ステップS403で、測光画像データの中央の被写体に対して追尾を行うようにした。しかしながら、これに限らず、追尾対象の被写体を撮影者に操作入力させても差し支えない。また、顔を検出する手段をさらに備えて、検出した顔を優先的に追尾させることで、顔に対する追尾能力を特に高めてもよい。
また、各実施形態では、目標とする被写体の特徴色を基準とした追尾動作を行い、色の類似性に基づいて尤度を算出するようにした。しかしながら、これに限らず、被写体像の輝度、色差、あるいは彩度を基準とした追尾動作を行い、輝度、色差、彩度の類似性に基づいて尤度を算出しても差し支えない。

0055

[その他の実施形態]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。

0056

105:AFユニット、108:AEユニット、202:AE制御部、203:AEセンサ、204:AF制御部、205:AFセンサ、206:システム制御部、1101:角速度センサ、1401:角度センサ、1801:座標記憶部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ