図面 (/)

技術 追尾装置、追尾方法及び追尾プログラム

出願人 オリンパス株式会社
発明者 米山尚
出願日 2011年6月29日 (9年7ヶ月経過) 出願番号 2011-144771
公開日 2013年1月17日 (8年0ヶ月経過) 公開番号 2013-012941
状態 特許登録済
技術分野 閉回路テレビジョンシステム スタジオ装置
主要キーワード 評価画像データ ログエリア 追尾回路 接触検出信号 AE処理 省電力待機状態 追尾位置 各顔パーツ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2013年1月17日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (11)

課題

少なくとも2つの領域を用いて被検体追尾を行う場合に、確実に被検体の追尾を行うこと。

解決手段

被写体を追尾する追尾装置は、被写体が撮像された画像デ—タ中から被写体の顔部を検出し、画像データ中における顔部に対応する色情報の領域を検出し、これら検出された顔部又は色情報の領域に基づいて顔部を追尾し、被検体中の顔部以外の周辺部位を周辺部位追尾部により追尾し、顔部の追尾が出来ない場合、顔部以外の周辺部位の追尾に切り替え、かつ胸部の位置から顔部として推定される位置で、顔部が検出される、又は顔部に対応する色情報が検出されると、顔部の追尾に戻る。

概要

背景

人物等の被写体を追尾する技術としては、被写体を追尾するための少なくとも2つの領域を用いて被写体を追尾する技術として例えば特許文献1がある。この特許文献1は、被写体を撮像して取得された画像データ上に被写体を追尾するための第1領域と第2領域とを有し、第1領域を常に基準領域として被写体の追尾を行い、第2領域を第1領域と独立して被写体の追尾を行うもので、例えば第1領域において顔領域の検出と第2領域として追尾領域の移動とを互いに独立して実行し、顔領域の検出と、追尾領域の画像データ内の位置との少なくとも一方に基づき、顔領域の位置を推定して設定し、顔領域が直接検出できなくなった場合でも、顔領域と独立して移動させている追尾領域の位置に基づいて、顔領域の位置を推定して設定することを開示する。この特許文献1は、以前の複数の画像データにおいて、第1領域と第2領域とが対応付けられていると判断した場合に、第1領域と第2領域との位置関係が特定されることを開示する。

概要

少なくとも2つの領域を用いて被検体の追尾を行う場合に、確実に被検体の追尾を行うこと。被写体を追尾する追尾装置は、被写体が撮像された画像デ—タ中から被写体の顔部を検出し、画像データ中における顔部に対応する色情報の領域を検出し、これら検出された顔部又は色情報の領域に基づいて顔部を追尾し、被検体中の顔部以外の周辺部位を周辺部位追尾部により追尾し、顔部の追尾が出来ない場合、顔部以外の周辺部位の追尾に切り替え、かつ胸部の位置から顔部として推定される位置で、顔部が検出される、又は顔部に対応する色情報が検出されると、顔部の追尾に戻る。

目的

本発明の目的は、少なくとも2つの領域を用いて被検体の追尾を行う場合に、確実に被検体の追尾ができる追尾装置、追尾方法及び追尾プログラムを提供する

効果

実績

技術文献被引用数
2件
牽制数
3件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

被写体が撮像された画像デ—タ中から前記被写体の顔部を検出する顔部検出部と、前記画像データ中における前記顔部に対応する位置を追尾する顔対応部検出部と、前記顔部検出部により検出された結果と前記顔部対応部検出部により検出された結果に基づいて前記顔部を追尾する顔部追尾部と、前記被検体中の前記顔部以外の周辺部位を追尾する周辺部位追尾部と、前記顔部追尾部による前記顔部の追尾が出来ない場合、前記周辺部位追尾部による前記顔部以外の部位の追尾に切り替える追尾切替部と、を具備することを特徴とする追尾装置

請求項2

前記追尾切替部は、前記顔部以外の部位の位置から前記顔部として推定される位置で、前記顔部が検出される、又は前記顔部に対応する前記色情報が検出されると、前記顔部追尾部による前記顔部の追尾に戻ることを特徴とする請求項1記載の追尾装置。

請求項3

前記追尾切替部は、前記顔部に対応する色情報を予め記憶し、前記顔部として推定される位置における色情報が前記予め記憶されている前記色情報と一致したときに、前記顔部に対応する前記色情報が検出されたとして前記顔部追尾部による前記顔部の追尾に戻ることを特徴とする請求項2記載の追尾装置。

請求項4

前記顔部追尾部は、前記色情報検出部による前記色情報の領域の検出よりも、前記顔部検出部による前記顔部の検出を優先することを特徴とする請求項1又は2記載の追尾装置。

請求項5

前記追尾切替部は、少なくとも前記顔部検出部により前記顔部が検出されず、かつ前記色情報検出部により前記色情報の領域が検出されない場合、前記顔部追尾部による前記顔部の追尾が出来ないと判定することを特徴とする請求項1又は2記載の追尾装置。

請求項6

前記追尾切替部は、前記画像デ—タ中に前記顔部のデータが無く、かつ前記色情報の領域に基づいて前記顔部を追尾できなければ、前記顔部追尾部による前記顔部の追尾が出来ないと判定することを特徴とする請求項5記載の追尾装置。

請求項7

前記色情報検出部は、前記色情報として肌色を検出することを特徴とする請求項1乃至6のうちいずれか1項記載の追尾装置。

請求項8

前記周辺部位追尾部は、前記顔部から予め設定された位置関係を有する前記被検体の胴体部を前記顔部以外の部位として追尾することを特徴とする請求項1又は2項記載の追尾装置。

請求項9

被写体が撮像された画像デ—タ中から顔部検出部により前記被写体の顔部を検出し、前記画像データ中における前記顔部に対応する位置を顔対応部検出部により追尾し、前記顔部検出部により検出された結果と前記顔部対応部検出部により検出された結果に基づいて顔部追尾部により前記顔部を追尾し、前記被検体中の前記顔部以外の周辺部位を周辺部位追尾部により追尾し、前記顔部追尾部による前記顔部の追尾が出来ない場合、前記周辺部位追尾部による前記顔部以外の部位の追尾に切り替える、ことを特徴とする追尾方法

請求項10

前記追尾の切り替えは、前記顔部以外の周辺部位の位置から前記顔部として推定される位置で、前記顔部が検出される、又は前記顔部に対応する前記色情報が検出されると、前記顔部追尾部による前記顔部の追尾に戻ることを特徴とする請求項9記載の追尾方法。

請求項11

コンピュータに、被写体が撮像された画像デ—タ中から前記被写体の顔部を検出させる顔部検出機能と、前記画像データ中における前記顔部に対応する位置を追尾する顔対応部検出機能と、前記顔部検出機能により検出された結果と前記顔部対応部検出機能により検出された結果に基づいて前記顔部を追尾する顔部追尾機能と、前記被検体中の前記顔部以外の周辺部位を追尾させる周辺部位追尾機能と、前記顔部追尾機能による前記顔部の追尾が出来ない場合、前記周辺部位追尾機能による前記顔部以外の周辺部位の追尾に切り替える追尾切替機能と、を実現させる追尾プログラム

請求項12

前記追尾切替機能は、前記顔部以外の周辺部位の位置から前記顔部として推定される位置で、前記顔部が検出される、又は前記顔部に対応する前記色情報が検出されると、前記顔部追尾機能による前記顔部の追尾に戻る請求項11記載の追尾プログラム。

技術分野

0001

本発明は、人物等の被写体を追尾する追尾装置追尾方法及び追尾プログラムに関する。

背景技術

0002

人物等の被写体を追尾する技術としては、被写体を追尾するための少なくとも2つの領域を用いて被写体を追尾する技術として例えば特許文献1がある。この特許文献1は、被写体を撮像して取得された画像データ上に被写体を追尾するための第1領域と第2領域とを有し、第1領域を常に基準領域として被写体の追尾を行い、第2領域を第1領域と独立して被写体の追尾を行うもので、例えば第1領域において顔領域の検出と第2領域として追尾領域の移動とを互いに独立して実行し、顔領域の検出と、追尾領域の画像データ内の位置との少なくとも一方に基づき、顔領域の位置を推定して設定し、顔領域が直接検出できなくなった場合でも、顔領域と独立して移動させている追尾領域の位置に基づいて、顔領域の位置を推定して設定することを開示する。この特許文献1は、以前の複数の画像データにおいて、第1領域と第2領域とが対応付けられていると判断した場合に、第1領域と第2領域との位置関係が特定されることを開示する。

先行技術

0003

特開2009−268086号公報

発明が解決しようとする課題

0004

しかしながら、上記特許文献1では、以前の複数の画像データにおいて、第1領域と第2領域とが対応付けられていると判断した場合に、第1領域と第2領域との位置関係が特定されるので、顔領域が直接検出できなくなった場合、第1領域と第2領域との対応付けができなくなり、顔領域と独立して移動させている追尾領域の位置に基づいて顔領域の位置を推定することが難しくなる。又、複数の被写体が存在すると、第1領域と第2領域との位置関係を特定する場合、同一の被写体中において第1領域と第2領域との対応付けが行われればよいが、目的の被写体とこの被写体とは別の被写体上でそれぞれ第1領域と第2領域との対応付けが行われてしまうと、目的の被写体とは別の被写体の顔領域の位置を推定するおそれがあり、目的の被写体の追尾が困難になるおそれがある。

0005

本発明の目的は、少なくとも2つの領域を用いて被検体の追尾を行う場合に、確実に被検体の追尾ができる追尾装置、追尾方法及び追尾プログラムを提供することにある。

課題を解決するための手段

0006

本発明の主要な局面に係る追尾装置は、被写体が撮像された画像デ—タ中から前記被写体の顔部を検出する顔部検出部と、前記画像データ中における前記顔部に対応する位置を追尾する顔対応部検出部と、前記顔部検出部により検出された結果と前記顔部対応部検出部により検出された結果に基づいて前記顔部を追尾する顔部追尾部と、前記被検体中の前記顔部以外の周辺部位を追尾する周辺部位追尾部と、前記顔部追尾部による前記顔部の追尾が出来ない場合、前記周辺部位追尾部による前記顔部以外の部位の追尾に切り替える追尾切替部とを具備する。

0007

本発明の主要な局面に係る追尾方法は、被写体が撮像された画像デ—タ中から顔部検出部により前記被写体の顔部を検出し、前記画像データ中における前記顔部に対応する位置を顔対応部検出部により追尾し、前記顔部検出部により検出された結果と前記顔部対応部検出部により検出された結果に基づいて顔部追尾部により前記顔部を追尾し、前記被検体中の前記顔部以外の周辺部位を周辺部位追尾部により追尾し、前記顔部追尾部による前記顔部の追尾が出来ない場合、前記周辺部位追尾部による前記顔部以外の部位の追尾に切り替える。

0008

本発明の主要な局面に係る追尾プログラムは、コンピュータに、被写体が撮像された画像デ—タ中から前記被写体の顔部を検出させる顔部検出機能と、前記画像データ中における前記顔部に対応する位置を追尾する顔対応部検出機能と、前記顔部検出機能により検出された結果と前記顔部対応部検出機能により検出された結果に基づいて前記顔部を追尾する顔部追尾機能と、前記被検体中の前記顔部以外の周辺部位を追尾させる周辺部位追尾機能と、前記顔部追尾機能による前記顔部の追尾が出来ない場合、前記周辺部位追尾機能による前記顔部以外の周辺部位の追尾に切り替える追尾切替機能とを実現させる。

発明の効果

0009

本発明によれば、少なくとも2つの領域を用いて被検体の追尾を行う場合に、確実に被検体の追尾ができる追尾装置、追尾方法及び追尾プログラムを提供できる。

図面の簡単な説明

0010

本発明に係る追尾装置を備えた撮像装置の一実施の形態を示すブロック構成図。
同装置における顔部検出回路による顔部検出の作用を説明するための図。
同装置における顏部追尾回路による輝度情報を用いて顏部の追尾の作用を説明するための図。
同装置における顏部追尾回路による色情報を用いての顏部の追尾の作用を説明するための図。
同装置における被検体に対する顔部検出位置と顔部追尾位置周辺部追尾位置とを示す図。
同装置における顔部の正面の顔に対して設定された顔部追尾枠を示す図。
同装置における顔部の横顔に対して設定された顔部追尾枠を示す図。
同装置における周辺部位追尾回路により胸部を追尾するための胸部追尾枠を示す図。
同装置における撮影動作フローチャート
同装置における追尾処理フローチャート。

実施例

0011

以下、本発明の一実施の形態について図面を参照して説明する。
図1は追尾装置を備えた撮像装置の一例としてのブロック構成図を示す。撮像装置100は、撮影光学系102と、焦点調整機構104と、絞り106と、絞り駆動機構108と、シャッタ110と、シャッタ駆動機構112と、撮像素子114と、撮像素子インターフェイス(IF)回路116と、RAM118と、表示素子120と、表示素子駆動回路122と、タッチパネル124と、タッチパネル駆動回路126と、記録メディア128と、システムコントローラ130と、操作部132と、ROM134とを有する。

0012

撮影光学系102は、被写体からの光束Fを、撮像素子114の受光面上に集光する。この撮影光学系102は、フォーカスレンズ等の複数のレンズを有する。焦点調整機構104は、モータ及びその駆動回路等を有し、システムコントローラ130内のコンピュータとしてのCPU1301の制御に従って撮影光学系102内のフォーカスレンズをその光軸方向(図示一点鎖線方向)に駆動する。
絞り106は、開閉自在に構成され、撮影光学系102を介して撮像素子114に入射する光束Fの量を調整する。絞り駆動機構108は、絞り106を駆動するための駆動機構を有し、システムコントローラ130内のCPU1301の制御に従って絞り106を駆動する。

0013

シャッタ110は、撮像素子114の受光面を遮光状態又は露光状態とすることにより撮像素子114の露光時間を調整する。シャッタ駆動機構112は、シャッタ110を駆動させるための駆動機構を有し、システムコントローラ130内のCPU1301の制御に従ってシャッタ110を駆動する。

0014

撮像素子114は、撮影光学系102を介して集光された例えば人物等の被写体及びその背景からの光束Fが結像される受光面を有する。この撮像素子114の受光面は、複数の画素を2次元状に配置して構成されており、この受光面の光入射側には、カラーフィルタが設けられている。このような撮像素子114は、受光面に結像された光束Fに対応した像(被写体像)を、その光量に応じた電気信号(以下、画像信号という)に変換する。ここで、撮像素子114は、CCD方式やCMOS方式等の種々の構成の撮像素子が知られている。また、カラーフィルタの色配列ベイヤ配列等の種々の配列が知られている。本実施形態は、撮像素子114の構成が特定の構成に限定されるものではなく、種々の構成の撮像素子を用いることが可能である。

0015

撮像素子IF回路116は、システムコントローラ130内のCPU1301の制御に従って撮像素子114を駆動する。また、撮像素子IF回路116は、システムコントローラ130内のCPU1301の制御に従って撮像素子114で得られた画像信号を読み出し、読み出した画像信号に対してCDS(相関二重サンプリング)処理やAGC自動利得制御)処理等のアナログ処理を施す。さらに、撮像素子IF回路116は、アナログ処理した画像信号をデジタル信号(以下、画像データという)に変換する。

0016

RAM118は、例えばSDRAMであり、ワークエリア評価画像エリア参照画像エリア、追尾位置ログエリア追尾色領域ログエリアをそれぞれ記憶エリアとして有する。
ワークエリアは、撮像素子IF回路116で得られた画像データ等を含む各データ、例えば撮像装置100の各部で発生した各データを一時記憶する。
評価画像エリアは、評価画像データを一時記憶する。この評価画像データは、追尾処理における追尾対象の被写体を含むフレームの画像データである。追尾処理においては、追尾対象を追尾するように処理が行われる。
参照画像エリアは、参照画像データを一時記憶する。この参照画像データは、追尾処理において、追尾対象の探索の対象となるフレームの画像データである。追尾処理においては、参照画像データ中で探索が行われる。
追尾位置ログエリアは、追尾位置ログを一時記憶する。この追尾位置ログは、追尾処理の結果として得られた追尾位置を記録したログである。本実施の形態では、複数の追尾処理を併用して追尾対象を追尾する。したがって、追尾位置ログには、それぞれの追尾処理によって得られた追尾位置を例えば過去10フレーム分個別に記録する。また、追尾位置ログには、後述の優先追尾位置判定処理によって採用された最終的な追尾位置も記録する。
追尾色領域ログエリアは、追尾色領域ログを一時記憶する。この追尾色領域ログは、追尾処理によって得られた追尾色領域を記録したログである。本実施の形態では、追尾色領域を例えば過去10フレーム分個別に記録する。

0017

表示素子120は、例えば液晶ディスプレイ(LCD)であり、ライブビュー用の画像及び記録メディア128に記録される画像等の各種画像を表示する。表示素子駆動回路122は、システムコントローラ130のCPU1301から入力された画像データに基づいて表示素子120を駆動し、この表示素子120に画像を表示する。
タッチパネル124は、表示素子120の表示画面上に一体的に形成されており、表示画面上へのユーザの指等の接触位置等を検出する。タッチパネル駆動回路126は、タッチパネル124を駆動すると共に、タッチパネル124からの接触検出信号をシステムコントローラ130のCPU1301に出力する。CPU1301は、接触検出信号から、ユーザの表示画面上への接触操作を検出し、その接触操作に応じた処理を実行する。

0018

記録メディア128は、例えばメモリカードであり、撮影動作によって得られた画像ファイルが記録される。この画像ファイルは、画像データに所定のヘッダを付与して構成される。ヘッダには、撮影条件を示すデータ及び追尾位置を示すデータ等が、タグデータとして記録される。

0019

システムコントローラ130は、撮像装置100の動作を制御するもので、CPU1301と、AF制御回路1302と、AE制御回路1303と、画像処理回路1304と、顔部検出回路1305、色情報検出回路1306と、顏部追尾回路1307と、周辺部位追尾回路1308と、追尾切替回路1309と、メモリ制御回路1310とを有する。

0020

CPU1301は、焦点調整機構104と、絞り駆動機構108と、シャッタ駆動機構112と、表示素子駆動回路122と、タッチパネル駆動回路126等のシステムコントローラ130の外部の各機能ブロック、及びシステムコントローラ130内部の各回路の動作を制御する。

0021

AF制御回路1302は、コントラストAF処理を制御する。具体的にAF制御回路1302は、撮像素子IF回路116で得られた画像データの高周波成分を抽出し、この抽出した高周波成分を積算することにより、AF用の合焦評価値を取得する。CPU1301は、この合焦評価値に従って画像データのコントラストを評価しつつ、焦点調整機構104を制御してフォーカスレンズを合焦状態とする。
AE制御回路1303は、AE動作を制御する。具体的にAE制御回路1303は、撮像素子IF回路116で得られた画像データを用いて被写体輝度を算出する。CPU1301は、この被写体輝度に従って、露光時の絞り106の開口量(絞り値)、シャッタ110の開放時間(シャッタ速度値)、撮像素子感度ISO感度等を算出する。

0022

画像処理回路1304は、撮像素子IF回路116で得られた画像データに対する各種の画像処理を行う。この画像処理は、例えば色補正処理ガンマ(γ)補正処理圧縮処理等を含む。また、画像処理回路1304は、圧縮されている画像データに対する伸張処理も施す。

0023

顔部検出回路1305は、例えば人物等の被写体が撮像された画像デ—タ中から被写体の顔部を検出する。この顔部検出回路1305は、各フレームで得られる画像データと、図2(a)に示すような各顔パーツ402、404、406との相関量を求める。顔パーツ402は、人物の鼻部周辺の陰影パターンに対応した画像データであり、顔パーツ404は、人物の目部周辺の陰影のパターンに対応した画像データであり、顔パーツ406は、人物の口部周辺の陰影のパターンに対応した画像データである。画像データと各顏パーツ402、404、406との相関量は、図2(b)に示すような、人物の顔部を示す所定の配置となったときに最大となる。このとき、各顏パーツ402、404、406を含む領域408に人物の顏部が存在しているとする。なお、各顏パーツ402、404、406は、予め設定した検索顔の大きさに応じて大きさを変えてもよい。ここで、図2(b)では、顏領域を矩形領域としているが、円形領域としても良い。

0024

色情報検出回路1306は、画像データ中における顔部検出回路1305により検出される顔部に対応する例えば肌色等の色情報の領域を検出する。又、色情報検出回路1306は、画像データ中における周辺部位追尾回路1308により検出される被検体中の顔部以外の周辺部位に対応する例えば肌色等の色情報の領域を検出する。

0025

顏部追尾回路1307は、顔部検出回路1305により検出された顔部の輝度情報、又は色情報検出回路1306により検出された顔部に対応する例えば肌色の色情報の領域に基づいて顔部を追尾する。この顏部追尾回路1307は、色情報検出回路1306による肌色の色情報の領域の検出よりも、顔部検出回路1305による顔部の検出を優先して顔部を追尾する。

0026

ここで、顏部の追尾について説明する。顏部追尾回路1307は、画像データの輝度情報を用いて追尾処理を行う。この輝度情報を用いた追尾処理は、例えば図3(a)に示す(N−1)フレームにおいて追尾対象である被写体が設定された場合、この(N−1)フレームの画像データを評価画像データとしてRAM118の評価画像エリアに記憶する。この評価画像データの追尾対象を含む所定範囲202の画像データが基準画像データに設定される。この後、追尾処理では、同図(b)に示すNフレームとなる参照画像データ中において基準画像データ202と対応する部分を探索する。
Nフレームの追尾処理を例に示すと、顏部追尾回路1307は、Nフレームの画像データを参照画像データとしてRAM118の参照画像エリアに記憶する。顏部追尾回路1307は、この参照画像データのうちの所定の探索範囲204の画像データと基準画像データ202との相関量を求めることにより、参照画像データの基準画像データ202と対応する部分を探索する。相関量は、例えば基準画像データと参照画像データとの差分絶対値和から判定する。なお、差分絶対値和は、画素毎に輝度差の絶対値を求めてそれを積算したものである。

0027

例えば、図3(b)に示す参照画像データの領域206の参照画像データと基準画像データ202との差分絶対値和を求めたとすると、参照画像データの領域206と基準画像データ202とは明らかに異なる画像データであり、差分絶対値和が大きくなる。これに対し、参照画像データの領域208と基準画像データ202との差分絶対値和を求めたとすると、差分絶対値和が小さくなる。このように、基準画像データ202との相関量が大きくなるに従って差分絶対値和が小さくなる。輝度情報を用いた追尾処理では、相関量が最大の、即ち差分絶対値和が最小の領域を参照画像データから探索する。図2(b)の例では、領域208が基準画像データ202と対応する部分として探索される。なお、追尾位置ログエリアには、領域208の中で最も一致度の高い位置を追尾位置として記録する。このような一致度の高い位置が複数ある場合、例えば領域208の中心に近い位置を追尾位置とする。次回の追尾処理時には、この追尾位置を追尾処理の開始位置とすることが望ましい。これにより、追尾処理にかかる時間を軽減することが可能である。

0028

又、顏部追尾回路1307は、画像データの肌色の色情報を用いて追尾処理を行う。肌色の色情報を用いた追尾処理は、評価画像データ内で設定された色と同色であると判定できる領域を追尾色領域として探索する。顏部追尾回路1307は、図4(a)に示すように、(N−1)フレームにおいて、被写体のある位置302が指定された場合、評価画像データ中の位置302の色情報を取得する。そして、顏部追尾回路1307は、位置302を追尾処理の開始位置として、位置302と同じ色情報を有する領域を探索する。具体的に顏部追尾回路1307は、位置302を開始位置から周辺に向かうように順次肌色の色情報を取得し、取得した色情報が位置302の色情報と同一であると判定できる場合には領域に含め、取得した色情報が位置302の色情報と同一であると判定できない場合には領域に含めない。このようにして追尾色領域を探索すると、例えば、図4(a)に示すような単色の被写体の場合、被写体に内接する矩形領域304が追尾色領域となる。また、追尾位置ログエリアに記録する追尾位置は、例えば追尾色領域304の重心位置(図4(a)の例では、位置302と同じ)とする。次回の追尾処理においては、この追尾位置を追尾処理の開始位置とする。

0029

Nフレームの追尾処理を例に示すと、顏部追尾回路1307は、図4(b)に示す参照画像データとして記憶したNフレームの画像データの所定の探索範囲の中で、(N−1)フレームの追尾位置302を追尾処理の開始位置とし、追尾位置302の周辺から順次、追尾色領域304の色と同色であると判定できる領域を追尾色領域として探索する。図4(b)の例では、領域306が追尾色領域となる。また、図4(b)の例では、重心位置308を追尾位置とし、この追尾位置308を、追尾位置ログエリアに記録する。また、追尾色領域ログエリアには、追尾色領域306の範囲を示す情報(例えば、四隅の位置)を記録する。

0030

周辺部位追尾回路1308は、被検体中の顔部以外の周辺部位を追尾する。この周辺部位追尾回路1308は、上記顏部追尾回路1307と同様に、画像データの輝度情報及び肌色の色情報を用いて周辺部位の追尾処理を行う。この周辺部位追尾回路1308は、顔部から予め設定された位置関係を有する例えば被検体の胴体部、具体的には胴体部に存在する胸部を顔部以外の部位として追尾する。この顔部と胸部との位置関係は、画像データ上において被検体の顔部から予め設定された距離だけ下方、すなわち人物の顔部よりも下方を首部、胸部、腹部、脚部とすると、顔部から予め設定された距離だけ下方の位置が胸部であるとの関係に設定されている。周辺部位追尾回路1308は、なお、周辺部位は、被検体中の顔部に限らず、例えば首部、腹部、脚部、腕部であってもよい。

0031

図5は被検体に対する顔部検出位置Aと顔部追尾位置Bと周辺部追尾位置Cとを示す。顔部検出位置Aは、顔部検出回路1305により検出された顔部を示し、例えば図2に示す矩形の領域408に対応する。
顔部追尾位置Bは、色情報検出回路1306により検出された顔部に対応する肌色の色情報の領域に基づいて顔部を追尾するための位置を示し、例えば図4(a)(b)に示す追尾色領域304の重心位置302又は308に対応する。この顔部追尾位置Bは、上記の通り追尾位置ログエリアに記録される。
周辺部追尾位置Cは、周辺部位追尾回路1308により追尾する被検体中の顔部以外の周辺部位、例えば胸部を示す。この周辺部追尾位置Cは、例えば矩形の枠により被検体中の胸部を示す。この周辺部追尾位置Cは、矩形の枠に限らず、円形の枠であってもよい。

0032

なお、顏部追尾回路1307は、顔部検出回路1305により検出された顔部、又は色情報検出回路1306により検出された顔部に対応する肌色の色情報の領域に基づいて顔部を追尾するとき例えば図6又は図7に示すように矩形の顔部追尾枠D1を例えばLCDである表示素子120に表示する。図6は顔部の正面の顔に対して設定された顔部追尾枠D1を示し、図7は顔部の横顔に対して設定された顔部追尾枠D1を示す。この顔部追尾枠D1は、矩形の枠に限らず、円形の枠であってもよい。なお、顔部は、正面の顔又は横顔であっても顔部として追尾される。

0033

又、周辺部位追尾回路1308は、被検体中の顔部以外の周辺部位として例えば胸部を追尾するとき例えば図8に示すように矩形の胸部追尾枠D2を例えばLCDである表示素子120に表示する。この胸部追尾枠D2は、矩形の枠に限らず、円形の枠であってもよい。

0034

追尾切替回路1309は、顔部追尾回路1307による顔部の追尾が出来ない場合、例えば図6又は図7に示すような顔部追尾枠D1の表示による顔部の追尾から周辺部位追尾回路1308による顔部以外の部位、例えば図8に示すような胸部の追尾に切り替え、同図に示すように胸部上に矩形の胸部追尾枠D2を例えばLCDである表示素子120に表示する。
この追尾切替回路1309は、顔部以外の部位、例えば胸部の位置から顔部として推定される位置で、顔部が検出される、又は顔部に対応する肌色の色情報が検出されると、図8に示すような周辺部位追尾回路1308による胸部の追尾(胸部追尾枠D2の表示)から図6又は図7に示すような顔部追尾回路1307による顔部の追尾(顔部追尾枠D1の表示)に戻る。
なお、顔部と胸部との位置関係は、画像データ上において被検体の顔部から予め設定された距離だけ下方、すなわち人物の顔部よりも下方を首部、胸部、腹部、脚部とすると、顔部から予め設定された距離だけ下方の位置が胸部であるとの関係に設定されているので、人物の胸部よりも予め設定された距離だけ上方に顔部が存在することを推定できる。

0035

追尾切替回路1309は、顔部に対応する肌色の色情報を予め記憶し、顔部として推定される位置における色情報が予め記憶されている色情報と一致したときに、顔部に対応する肌色の色情報が検出されたとして顔部追尾回路1307による顔部の追尾に戻る。
追尾切替回路1309は、少なくとも顔部検出回路1305により顔部が検出されず、かつ色情報検出回路1306により肌色の色情報の領域が検出されない場合、顔部追尾回路1307による顔部の追尾が出来ないと判定する。
追尾切替回路1309は、画像デ—タ中に顔部が検出されず、肌色の色情報の領域に基づいて顔部を追尾できず当該追尾の性能が悪化すれば、顔部追尾回路1307による顔部の追尾が出来ないと判定する。

0036

メモリ制御回路1310は、CPU1301等がRAM118、記録メディア128、ROM134に対してアクセスするための制御を行うインターフェイスである。
操作部132は、ユーザによって操作される各種の操作部材である。この操作部132は、例えば、レリーズ釦動画釦モードダイヤル選択キー電源釦等を含む。
レリーズ釦は、1stレリーズスイッチと、2ndレリーズスイッチとを有する。1stレリーズスイッチは、ユーザがレリーズ釦を半押しするとオンするスイッチである。この1stレリーズスイッチがオンすることにより、AF処理等の撮影準備動作が行われる。2ndレリーズスイッチは、ユーザがレリーズ釦を全押しするとオンするスイッチである。この2ndレリーズスイッチがオンすることにより、静止画撮影用露光動作が行われる。
動画釦は、動画撮影の開始又は終了を指示するための操作部材である。ユーザによって動画釦が押されると動画撮影処理が開始される。また、動画撮影処理の実行中に動画釦が押されると、動画撮影処理が終了される。
モードダイヤルは、撮像装置の撮影設定を選択するための操作部材である。本実施形態では、撮像装置の撮影設定として、例えば、静止画撮影モード動画撮影モードを選択できる。静止画撮影モードは、静止画像撮影するための撮影設定である。また、動画撮影モードは、動画像を撮影するための撮影設定である。
選択キーは、例えばメニュー画面上での項目の選択や決定をするための操作部材である。ユーザによって選択キーが操作されるとメニュー画面上での項目の選択や決定が行われる。
電源釦は、撮像装置の電源をオン又はオフするための操作部材である。ユーザによって電源釦が操作されると、本装置100が起動して動作可能な状態となる。撮像装置が起動している間に電源釦が操作されると、本装置100が省電力待機状態となる。

0037

ROM134は、CPU1301が種々の処理を実行するためのプログラムコードを記憶する。プログラムコードは、被写体を追尾する追尾プログラムを含む。この追尾プログラムは、コンピュータとしてのCPU1301に、被写体が撮像された画像デ—タ中から被写体の顔部を検出させる顔部検出機能と、画像データ中における顔部に対応する位置を追尾する顔対応部検出機能と、前記顔部検出機能により検出された結果と前記顔部対応部検出機能により検出された結果に基づいて前記顔部を追尾する顔部追尾機能と、被検体中の顔部以外の周辺部位を追尾させる周辺部位追尾機能と、顔部追尾機能による顔部の追尾が出来ない場合、周辺部位追尾機能による顔部以外の周辺部位の追尾に切り替える追尾切替機能とを実現させる。
追尾切替機能は、顔部以外の周辺部位の位置から顔部として推定される位置で、顔部が検出される、又は顔部に対応する色情報が検出されると、顔部追尾機能による顔部の追尾に戻る。

0038

また、ROM134は、撮影光学系102、絞り106及び撮像素子114等の動作に必要な制御パラメータ、並びに画像処理回路1304での画像処理に必要な制御パラメータ等の各種の制御パラメータを記憶している。さらにROM134は、顏検出回路1307における顏検出に用いられる顏パーツのデータや追尾枠を表示するためのデータ等も記憶している。

0039

次に、上記の如く構成された本装置の動作について図9に示す撮影動作フローチャートを参照して説明する。
CPU1301は、ROM134から必要なプログラムコードを読み込んで本装置100の動作を制御する。
CPU1301は、ステップS100において、現在の本装置100の撮影設定が静止画撮影モードであるか否かを判定する。この撮影設定は、モードダイヤルによって設定される。
判定の結果、撮影設定が静止画撮影モードであると、CPU1301は、ステップS102において、ライブビュー動作を開始させる。ライブビュー動作として、CPU1301は、シャッタ駆動機構112を制御してシャッタ110を開放した後、撮像素子IF回路116を制御して撮像素子114による撮像を開始させる。その後、CPU1301は、撮像素子114による撮像の結果としてRAM118のワークエリアに記憶された画像データを画像処理回路1304に入力してライブビュー表示用の画像処理を施す。続いて、CPU1301は、ライブビュー表示用の画像処理がされた画像データを表示素子駆動回路122に入力し、表示素子120に画像を表示させる。このような表示動作を繰り返し実行することにより、被写体の画像を動画表示する。この動画表示により、ユーザは、被写体を観察することが可能である。

0040

CPU1301は、ステップS104において、1stレリーズスイッチがオンされたか否かを判定する。この判定の結果、1stレリーズスイッチがオンされたと判定するまでCPU1301は、ライブビュー動作を継続する。
1stレリーズスイッチがオンされると、CPU1301は、ステップS106において、レリーズAF処理を行う。このレリーズAFでは、スキャン駆動によって、フォーカスレンズを合焦位置まで駆動させる。スキャン駆動では、CPU1301は、焦点調整機構104を制御してフォーカスレンズを所定のスキャン範囲内で一方向に駆動させつつ、AF制御回路1302で順次算出される合焦評価値を評価する。CPU1301は、合焦評価値の評価の結果、コントラストが最大となるレンズ位置において、フォーカスレンズの駆動を停止させる。このようなスキャン駆動は、AF前のフォーカスレンズの位置と合焦位置との差が大きい場合に行われる。

0041

CPU1301は、ステップS108において、表示素子駆動回路122を制御して、表示素子120に追尾枠を表示させる。ここで、追尾枠は、表示素子120の画面上の追尾対象の位置に表示させる。例えば、レリーズAFで合焦した被写体を追尾対象とし、その被写体に追尾枠を表示させるようしても良い。顏検出回路1307によって人物の顏部が検出された場合には、例えば図6又は図7に示すように顔部に追尾枠D1を表示させるようにしても良い。さらに、タッチパネル124により、表示素子120の画面上に表示された被写体が指定された場合には、その被写体上に追尾枠を表示させるようにしても良い。このように、本実施形態においては、CPU1301、AF制御回路1302、顏検出回路1307、タッチパネル124等が追尾対象設定部の一例として機能する。

0042

CPU1301は、ステップS110において、被写体を追尾する追尾処理を行う。この追尾処理は、後述する。
CPU1301は、ステップS112において、追尾位置の被写体に合焦するようにAF処理を行うと共に、追尾位置の被写体の露光が適正となるようにAE処理を行う。
追尾処理後のAF処理においては、スキャン駆動又はウォブリング駆動によって、フォーカスレンズを合焦位置まで駆動させる。ウォブリング駆動では、CPU1301は、フォーカスレンズを駆動したときにAF制御回路1302で算出された合焦評価値が、前回のレンズ位置での合焦評価値に対して増加したかを判定する。そして、CPU1301は、合焦評価値が増加した場合には前回と同方向にフォーカスレンズを微小駆動させ、合焦評価値が減少した場合には前回と逆方向にフォーカスレンズを微小駆動させる。このような動作を高速で繰り返してフォーカスレンズを徐々に合焦位置まで駆動させる。
また、AE処理において、CPU1301は、AE制御回路1303で算出された追尾位置の被写体の輝度を予め定められた適正な量(適正露光量)とする、本露光時の絞り106の開口量(絞り値)、シャッタ110の開放時間(シャッタ速度値)を算出する。

0043

CPU1301は、ステップS114において、2ndレリーズスイッチがオンされたか否かを判定する。2ndレリーズスイッチがオンされていないと判定されると、CPU1301は、ステップS110の追尾処理以後の処理を実行する。このように、静止画撮影モード時には、2ndレリーズスイッチがオンされるまでは、追尾処理が継続される。

0044

また、2ndレリーズスイッチがオンされると、CPU1301は、ステップS116において、表示素子駆動回路122を制御して、追尾枠D1を非表示とする。
CPU1301は、ステップS118において、静止画像データを記録メディア128に記録する処理を行う。この際、CPU1301は、シャッタ駆動機構112を制御して、シャッタ110を閉じる。その後、CPU1301は、絞り駆動機構108を制御して、絞り106を先に算出した絞り値まで絞り込む。続いて、CPU1301は、シャッタ駆動機構112を制御して、シャッタ110を先に算出した開放時間だけ開放しつつ、撮像素子114による撮像(露光)を行う。その後、CPU1301は、撮像素子114を介して得られた静止画像データを画像処理回路1304において処理する。そして、CPU1301は、画像処理回路1304において処理された静止画像データにヘッダを付与して静止画像ファイルを生成し、生成した静止画像ファイルを記録メディア128に記録する。
CPU1301は、ステップS120において、上記ステップS110の追尾処理の結果として得られた追尾位置を示すデータを、先に記録メディア128に記録した静止画像ファイルに追記する。その後に、CPU1301は、図9に示す撮影動作を示すフローチャートに従った動作を終了する。

0045

一方、上記ステップS100において、撮影設定が動画撮影モードであると判定されると、CPU1301は、ステップS122において、ライブビュー動作を開始する。

0046

動画撮影オンの指示である動画釦がオンされたと判定されると、CPU1301は、ステップS126において、表示素子駆動回路122を制御して表示素子120に例えば図6又は図7に示すように顔部に追尾枠D1を表示させる。
CPU1301は、ステップS128において、顔部検出回路1305、顔部追尾回路1307、周辺部位追尾回路1308へ追尾処理の開始を指示する。この追尾処理は、後述する。
CPU1301は、ステップS130において、AF制御回路1302へ追尾位置の被写体に合焦するようにAF処理を指示すると共に、AE制御回路1303へ追尾位置の被写体の露光が適正となるようにAE処理を指示する。このときのAF処理では、ウォブリング駆動によって撮影光学系102のフォーカスレンズを合焦位置まで駆動させる。

0047

CPU1301は、ステップS132において、動画像データを記録メディア128に記録する処理を行う。この際、CPU1301は、絞り駆動機構108を制御し、絞り106をAE処理において算出した絞り値まで絞り込む。続いて、CPU1301は、AE処理において算出したシャッタ速度値に対応した時間だけ撮像素子114による撮像(露光)を実行させる。露光の終了後、CPU1301は、動画像ファイルを生成して記録メディア128に記録する。また、CPU1301は、撮像素子114を介して得られた動画像データを画像処理回路1304において処理し、画像処理回路1304において処理された動画像データを動画像ファイルに記録する。

0048

CPU1301は、ステップS134において、上記ステップS128の追尾処理の結果として得られた追尾位置を示すデータを、先に記録メディア128に記録した動画像ファイルに記録する。
CPU1301は、ステップS136において、動画釦がオフされたか否かを判定する。この判定の結果、動画釦がオフされていないと判定されると、CPU1301は、ステップS128の追尾処理以後の処理を実行する。このように、動画撮影モード時では、動画釦がオフされるまでは、追尾処理と動画像データの記録が継続される。

0049

また、動画釦がオフされたと判定されると、CPU1301は、ステップS138において、表示素子駆動回路122を制御し、追尾枠D1を非表示とする。その後、CPU1301は、図9に示す撮影動作を示すフローチャートに従った動作を終了する。
次に、本実施の形態に係る追尾処理について図10に示す追尾処理フローチャートに従って説明する。
CPU1301は、ステップS200において、撮像素子IF回路116を制御して撮像素子114による撮像を実行する。
CPU1301は、ステップS201において、撮像素子114による撮像により、撮像素子IF回路116において得られた画像データをRAM118に取り込む。CPU1301は、初回の追尾処理で得られた画像データを評価画像データとし、この画像データをRAM118の評価画像エリアに取り込む。また、CPU1301は、2回目以後の追尾処理で得られた画像データを参照画像データとし、これら2回目以後の追尾処理で得られた画像データをそれぞれRAM118の参照画像エリアに取り込む。

0050

CPU1301は、ステップS202において、顔部検出回路1305により、例えば人物等の被写体が撮像された画像デ—タ中から被写体の顔部を検出する。この顔部検出回路1305は、上記図2(a)(b)を参照して説明したように各フレームで得られる画像データと各顔パーツ402、404、406との相関量を求め、この相関量が人物の顔部を示す所定の配置となったときに最大となることを利用して人物の顏部が存在している領域を検出する。

0051

CPU1301は、ステップS203において、周辺部位追尾回路1308により、被検体中の顔部以外の周辺部位、例えば顔部検出回路1305により検出された顔部から予め設定された距離だけ下方の胸部を周辺部位として設定する。
CPU1301は、ステップS204において、顔部追尾回路1307により画像データの輝度情報を用いて顔部の追尾処理を行うと共に、周辺部位追尾回路1308により画像データの輝度情報を用いて胸部の追尾処理を行う。輝度情報を用いた追尾処理は、顔部と胸部とに対し、上記図3(a)(b)を参照して説明と同様に、(N−1)フレームにおいて追尾対象である被写体が設定された場合、この(N−1)フレームの画像データを評価画像データとしてRAM118の評価画像エリアに記憶する。この評価画像データの追尾対象を含む所定範囲202の画像データが基準画像データに設定される。この後、追尾処理では、同図(b)に示すNフレームとなる参照画像データ中において基準画像データ202と対応する部分を探索する。

0052

なお、初回の追尾処理においては、評価画像データのみが取得された状態であるので、ステップS204以後の処理は省略される。以後の説明においては、評価画像データと参照画像データの両方が取得されているものとして説明を続ける。
CPU1301は、ステップS205において、輝度情報を用いた顔部と胸部との各追尾処理の結果として得られた各追尾位置を、それぞれRAM118の追尾ログエリアに記憶する。

0053

CPU1301は、ステップS206において、顔部追尾回路1307により画像データの色情報を用いて顔部の追尾処理を行うと共に、周辺部位追尾回路1308により画像データの色情報を用いて胸部の追尾処理を行う。色情報を用いた追尾処理は、顔部と胸部とに対し、評価画像データ内で設定された色と同色であると判定できる領域を追尾色領域として探索する。この顏部追尾回路1307は、上記図4(a)に示すように、(N−1)フレームにおいて、被写体のある位置302が指定された場合、評価画像データ中の位置302の色情報を取得し、この位置302を追尾処理の開始位置として、位置302と同じ色情報を有する領域を探索する。

0054

CPU1301は、ステップS207において、色情報を用いた追尾処理の結果として得られた顔部と胸部との各追尾位置をRAM118の追尾ログエリアに記憶する。CPU1301は、色情報を用いた追尾処理の結果として得られた追尾色領域をRAM118の追尾色領域ログエリアに記憶する。

0055

CPU1301は、ステップS208において、追尾切替回路1309により、顔部の追尾が出来るか否かを判定する。具体的に、追尾切替回路1309は、画像デ—タ中に顔部が検出されず、肌色の色情報の領域に基づいて顔部を追尾できず当該追尾の性能が悪化しているか否かを判定する。
画像デ—タ中に顔部が検出され、または肌色の色情報の領域に基づいて顔部を追尾できるとき、顔部にて追尾可能と判断する。なお、肌色の色情報の領域に基づく追尾可否は、追尾対象として記憶した肌色情報が前記画像データ中に存在するか否かで判定する。
画像デ—タ中に顔部が検出されず、かつ肌色の色情報の領域に基づいて顔部を追尾できないとき、顔部にて追尾不可と判断する。

0056

この判定の結果、画像デ—タ中に顔部のデータが有り、かつ肌色の色情報の領域に基づいて顔部を追尾できれば、CPU1301は、ステップS209において、優先追尾位置判定処理を行う。この優先追尾位置判定処理は、顔部の追尾において、輝度情報を用いた追尾処理の結果と色情報を用いた追尾処理の結果との何れを採用するかを判定するための処理であり、ここでは、上記の通り輝度情報及び色情報を用いてそれぞれ顔部の追尾が出来るので、例えば色情報を用いた追尾処理の結果を優先する。

0057

CPU1301は、ステップS210において、優先追尾位置判定処理の結果として採用された追尾位置の信頼性を判断する。輝度情報を用いた追尾処理の結果が採用された場合には、例えば参照画像データのコントラストから信頼性を判断する。具体的には、参照画像データにおける追尾対象の領域の隣接画素間差分和所定値以上である場合には、信頼性があると判断する。また、色情報を用いた追尾処理の結果が採用された場合には、例えば参照画像データの彩度から信頼性を判断する。具体的には、参照画像データの追尾位置の彩度が所定値以上である場合には、信頼性があると判断する。これらの信頼性を判定するための閾値シミュレーション結果または実験データを基に適宜設定可能である。

0058

CPU1301は、ステップS211において、参照画像データの最終的な追尾位置を、RAM118の追尾ログエリアに記録する。次回の追尾処理においては、輝度情報を用いた追尾処理と色情報を用いた追尾処理の両方で、この最終的な追尾位置を追尾処理の開始位置とする。ただし、ステップS216の信頼性判断において、信頼性がないと判断された場合には、追尾位置を記録しないようにしても良い。
CPU1301は、ステップS212において、表示素子駆動回路122を制御し、例えば図6又は図7に示すように顔部追尾枠D1の表示位置をステップS218で記憶させた追尾位置に対応した位置に更新する。

0059

一方、上記ステップS208での判定の結果、画像デ—タ中に顔部のデータが無く、肌色の色情報の領域に基づいて顔部を追尾できず当該追尾の性能が悪化していれば、CPU1301は、顔部の追尾が出来ないと判定する。
CPU1301は、ステップS213に移り、追尾切替回路1309により、顔部の追尾から周辺部位における周辺部位追尾回路1308による追尾に切り替える。周辺部位とは、CPU1301が、顔検出結果と予め取得した統計データから推定した位置である。具体的には、顔部の位置を基準とし、この基準の位置から統計データに応じて得られた距離分だけ下方の位置を顔周辺部の位置とする。ここで、ROM134に記憶されている統計データは、ある固定の距離で測定した顔部の位置から顔周辺部の位置までの統計データである。したがって、撮像装置から追尾対象までの距離が統計データを得たときの距離と異なる場合には、その距離差に応じて顔周辺部の位置を補正する。撮像装置から追尾対象までの距離は、例えば顔部のサイズ(画面上に占める顔部のサイズの割合)から算出する。そして、この距離に応じて統計データの値を補正して実際の画像データ上での顔周辺部の位置を算出する。周辺部位追尾回路1308は、画像データの輝度情報及び色情報を用いて周辺部位の追尾処理を行う。

0060

CPU1301は、ステップS214において、優先追尾位置判定処理を行う。この優先追尾位置判定処理は、周辺部位の追尾において、輝度情報を用いた追尾処理の結果と色情報を用いた追尾処理の結果との何れを採用するかを判定するための処理である。具体的には、輝度情報及び色情報から算出した追尾位置の位置関係と、輝度情報及び色情報から算出した追尾位置における色情報から優先追尾位置を判定する。

0061

CPU1301は、ステップS215において、優先追尾位置判定処理の結果として採用された追尾位置の信頼性を判断する。輝度情報を用いた追尾処理の結果が採用された場合には、例えば参照画像データのコントラストから信頼性を判断する。具体的には、参照画像データにおける追尾対象の領域の隣接画素間の差分和が所定値以上である場合には、信頼性があると判断する。

0062

CPU1301は、ステップS211において、参照画像データの最終的な追尾位置を、RAM118の追尾ログエリアに記録する。次回の追尾処理においては、輝度情報を用いた追尾処理で、この最終的な追尾位置を追尾処理の開始位置とする。ただし、ステップS216の信頼性判断において、信頼性がないと判断された場合には、追尾位置を記録しないようにしても良い。
CPU1301は、ステップS212において、表示素子駆動回路122を制御し、例えば図6又は図8に示すように胸部追尾枠D2の表示位置をステップS211で記憶させた追尾位置に対応した位置に更新する。

0063

CPU1301は、上記ステップS201〜S207を実行し、ステップS208において、追尾切替回路1309により、顔部の追尾が出来るか否か、すなわち、顔部以外の部位、例えば胸部の位置から顔部として推定される位置で、顔部が検出される、又は顔部に対応する肌色の色情報が検出されるか否かを判定する。
この判定の結果、例えば胸部の位置から顔部として推定される位置で、顔部が検出されず、又は顔部に対応する肌色の色情報が検出されなければ、CPU1301は、上記ステップS213に移り、追尾切替回路1309により、胸部の追尾を継続する。周辺部位追尾回路1308は、上記の通り、画像データの輝度情報及び色情報を用いて胸部の追尾処理を行う。

0064

一方、上記判定の結果、胸部の位置から顔部として推定される位置で、顔部が検出され、又は顔部に対応する肌色の色情報が検出されると、CPU1301は、周辺部位追尾回路1308による胸部の追尾から顔部追尾回路1307による顔部の追尾に戻る。なお、追尾切替回路1309は、顔部に対応する肌色の色情報を予め記憶し、顔部として推定される位置における色情報が予め記憶されている色情報と一致したときに、顔部に対応する肌色の色情報が検出されたとする。
CPU1301は、上記ステップS209〜S211を実行し、ステップS212において、図8に示すような周辺部位追尾回路1308による図8に示すような胸部の追尾(胸部追尾枠D2の表示)から図6又は図7に示すような顔部追尾回路1307による顔部の追尾(顔部追尾枠D1の表示)に戻る。
その後、CPU1301は、図10に示す追尾処理フローチャートに従った追尾処理を終了する。

0065

このように上記一実施の形態によれば、被写体の顔部にて追尾が継続出来ないとき、顔部以外の周辺部位として例えば胸部の追尾に切り替えて被検体の追尾を行う。これにより、例えば顔部及び少なくとも胸部の2つの領域を用いて被検体の追尾を行う場合に、例えば基準領域として顔部を用いての追尾結果が良くなくても、胸部等の領域を基準領域として切り替えて、この胸部等の領域を用いて確実に被検体の追尾ができる。
又、胸部等の領域を基準領域として被検体の追尾をしている状態で、この胸部の位置から顔部として推定される位置で顔部が検出される又は顔部に対応する色情報が検出されると、再び、顔部を用いての追尾ができる。

0066

顔部の追尾から例えば胸部の追尾への切り替えは、画像デ—タ中に顔部のデータが無く、肌色の色情報の領域に基づいて顔部を追尾できず当該追尾の性能が悪化ことを条件としているので、顔部の追尾が完全に出来ない状態になった時点で胸部への追従に切り替えることができる。
胸部の追尾から顔部の追尾への戻りは、胸部の位置から顔部として推定される位置で、顔部が検出され、又は顔部に対応する肌色の色情報が検出されることを条件としているので、顔部の追尾が完全に出来る状態になった時点で顔部への追従に戻ることができる。

0067

顔部と胸部とは、画像データ上において被検体の顔部から予め設定された距離だけ下方に胸部であるとの関係に設定され、かつ胸部よりも予め設定された距離だけ上方に顔部が存在することに設定されているので、例えば顔部の追尾が出来なくなっても、同一人物の胸部の追尾に確実に切り替えることができ、他の人物の胸部の追尾に切り替わることがない。同様に、胸部の追尾から顔部の追尾に戻る場合も、同一人物の顔部の追尾に確実に切り替えることができ、他の人物の顔部の追尾に切り替わることがない。これにより、追尾の対象部位が切り替わっても、常に同一人物の追尾を継続できる。

0068

なお、上記一実施の形態では、顔部の追尾と胸部の追尾とを切り替えているが、これに限らず、顔部の追尾を主の追尾とし、周辺部位の追尾として例えば首部の追尾、腹部の追尾、脚部の追尾、腕部の追尾のいずれかを追加してもよい。
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

0069

100:撮像装置、102:撮影光学系、104:焦点調整機構、106:絞り、108:絞り駆動機構、110:シャッタ、112:シャッタ駆動機構、114:撮像素子、116:撮像素子インターフェイス(IF)回路、118:RAM、120:表示素子、122:表示素子駆動回路、124:タッチパネル、126:タッチパネル駆動回路、128:記録メディア、130:システムコントローラ、132:操作部、134:ROM、1301:CPU、1302:AF制御回路、1303:AE制御回路、1304:画像処理回路、1305:顔部検出回路、1306:色情報検出回路、1307:顏部追尾回路、1308:周辺部位追尾回路、1309:追尾切替回路、1310:メモリ制御回路、402,404,406:顔パーツ、308:重心位置、A:顔部検出位置、B:顔部追尾位置、C:周辺部追尾位置、D1:矩形の追尾枠。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ