図面 (/)

技術 被写体追跡装置、光学機器、撮像装置、被写体追跡装置の制御方法、プログラム

出願人 キヤノン株式会社
発明者 辻良介
出願日 2015年5月12日 (5年6ヶ月経過) 出願番号 2015-097444
公開日 2016年12月15日 (3年11ヶ月経過) 公開番号 2016-213744
状態 特許登録済
技術分野 焦点調節 自動焦点調節 写真撮影方法及び装置 スタジオ装置
主要キーワード 設定距離範囲内 設定距離範囲 信頼度マップ 追跡状況 信頼度算出処理 マッチング評価値 特徴モデル 初期タイミング
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年12月15日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (10)

課題

被写体追跡の精度を向上させること。

解決手段

画像データを取得して被写体を検出し、目的とする被写体を追跡する被写体追跡装置において、マッチング部602は、追跡対象とする追跡被写体を表現する特徴モデルの画像データと入力画像データとを照合して追跡被写体の候補領域を出力する。被写体領域決定部603は、マッチング部602の出力する候補領域から被写体領域を決定する。距離マップ算出部604は、入力画像に係る距離情報を算出する。被写体距離設定部605は、過去に被写体領域決定部603が決定した被写体領域と、距離マップ算出部604が算出した距離情報を取得し、被写体が存在し得る所定の距離範囲を設定する。被写体領域決定部603は、被写体距離設定部605により設定された所定範囲の距離に該当する領域であって、かつ、マッチング部603により抽出された候補領域から追跡被写体に係る被写体領域を決定する。

概要

背景

時系列的に供給される画像から特定の被写体像を抽出して被写体を追跡する技術は、動画像における人間の顔領域や人体領域の特定などに利用されている。被写体追跡技術は、例えば、通信会議マンマシンインターフェイスセキュリティ、任意の被写体を追跡するためのモニタ・システム画像圧縮などの多くの分野で使用可能である。

デジタルスチルカメラデジタルビデオカメラでは、タッチパネルなどを用いた操作により指定される撮像画像内の被写体像を抽出して追跡し、被写体に対する焦点状態露出状態を最適化する技術が提案されている。特許文献1には、撮像画像に含まれる顔領域の位置を検出(抽出)および追跡し、顔に焦点を合わせると共に最適な露出撮像する撮像装置が開示されている。特許文献2には、テンプレートマッチングを用いて、特定の被写体を自動で追跡する技術が開示されている。テンプレートマッチング処理では、特定の被写体(以下、追跡対象ともいう)の画像を含む画像領域切り出した部分画像テンプレート画像として登録される。タッチパネルなどの入力インターフェイスを用いて、画像に含まれる任意の領域が指定され、当該領域を基準としてテンプレート画像が登録される。テンプレート画像との間で類似度が最も高い領域、または相違度が最も低い領域を画像内において算出することで、特定の被写体を追跡可能である。

概要

被写体追跡の精度を向上させること。画像データを取得して被写体を検出し、目的とする被写体を追跡する被写体追跡装置において、マッチング部602は、追跡対象とする追跡被写体を表現する特徴モデルの画像データと入力画像データとを照合して追跡被写体の候補領域を出力する。被写体領域決定部603は、マッチング部602の出力する候補領域から被写体領域を決定する。距離マップ算出部604は、入力画像に係る距離情報を算出する。被写体距離設定部605は、過去に被写体領域決定部603が決定した被写体領域と、距離マップ算出部604が算出した距離情報を取得し、被写体が存在し得る所定の距離範囲を設定する。被写体領域決定部603は、被写体距離設定部605により設定された所定範囲の距離に該当する領域であって、かつ、マッチング部603により抽出された候補領域から追跡被写体に係る被写体領域を決定する。

目的

本発明は、被写体に係る距離情報を追跡用情報に利用することで、被写体追跡の精度を向上させることを目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

画像データを取得して被写体を検出し、目的とする被写体を追跡する被写体追跡装置であって、追跡対象である追跡被写体の画像データと取得された画像データとを照合し、前記追跡被写体の候補領域の情報を出力するマッチング手段と、前記マッチング手段が出力する前記候補領域から前記追跡被写体に係る被写体領域を決定する領域決定手段と、被写体の距離情報を算出する距離情報算出手段と、現時点よりも過去の時点で前記領域決定手段によって決定された前記被写体領域の情報と、前記距離情報算出手段により算出された前記距離情報を取得して、前記追跡被写体の距離を基準とする距離範囲を設定する距離範囲設定手段を有し、前記領域決定手段は、前記距離範囲設定手段により設定される距離範囲内に該当する画像領域であって、かつ、前記マッチング手段が出力する前記候補領域から前記追跡被写体に係る被写体領域を決定することを特徴とする被写体追跡装置。

請求項2

前記距離情報算出手段は、視差を有する複数の画像のデータを取得し、前記複数の画像の像ズレ量を算出することによって前記距離情報を算出することを特徴とする請求項1に記載の被写体追跡装置。

請求項3

前記距離情報の信頼性を表す信頼度の情報を算出する信頼度算出手段を更に有し、前記領域決定手段は、前記信頼度算出手段により算出された信頼度が閾値より高い距離情報を有する画像領域であって、かつ、前記マッチング手段が出力する前記候補領域から前記追跡被写体に係る被写体領域を決定することを特徴とする請求項1または2に記載の被写体追跡装置。

請求項4

前記距離範囲設定手段は、前記追跡被写体の撮影方向の移動速度が大きい場合に前記距離範囲を大きく設定し、前記追跡被写体の撮影方向の移動速度が小さい場合に前記距離範囲を小さく設定することを特徴とする請求項1乃至3のいずれか1項に記載の被写体追跡装置。

請求項5

前記距離範囲設定手段は、前記追跡被写体と当該追跡被写体とは異なる被写体との距離差の情報を前記距離情報算出手段から取得し、前記距離差が大きい場合に前記距離範囲を大きく設定し、前記距離差が小さい場合に前記距離範囲を小さく設定することを特徴とする請求項1乃至3のいずれか1項に記載の被写体追跡装置。

請求項6

前記距離範囲設定手段は、前記マッチング手段によって前記追跡被写体との類似判定が行われて前記追跡被写体と類似することが判断された被写体を前記追跡被写体とは異なる被写体として決定し、決定された当該被写体と前記追跡被写体との距離差の情報を前記距離情報算出手段から取得することを特徴とする請求項5に記載の被写体追跡装置。

請求項7

前記距離範囲設定手段は、前記追跡被写体とは異なる被写体の移動速度を判定し、当該被写体が静止物体であると判定した場合に前記距離範囲を大きく設定し、当該被写体が動体であると判定した場合に前記距離範囲を小さく設定することを特徴とする請求項5または6に記載の被写体追跡装置。

請求項8

請求項1乃至7のいずれか1項に記載の被写体追跡装置を備えることを特徴とする光学機器

請求項9

請求項1乃至7のいずれか1項に記載の被写体追跡装置と、被写体を撮像して画像データを前記被写体追跡装置に出力する撮像手段と、前記領域決定手段により決定された前記追跡被写体に係る被写体領域の画像を表示する表示手段を備えることを特徴とする撮像装置

請求項10

画像データを取得して被写体を検出し、目的とする被写体を追跡する被写体追跡装置にて実行される制御方法であって、追跡対象である追跡被写体の画像データと入力される画像データとを照合し、前記追跡被写体の候補領域の情報を出力するマッチング工程と、被写体の距離情報を算出する距離情報算出工程と、前記マッチング工程で出力される前記候補領域から前記追跡被写体に係る被写体領域を決定する領域決定工程と、現時点よりも過去の時点で前記領域決定工程にて決定された前記被写体領域の情報と、前記距離情報算出工程にて算出された前記距離情報を取得して、前記追跡被写体の距離を基準とする距離範囲を設定する距離範囲設定工程を有し、前記領域決定工程では、前記距離範囲設定工程で設定された距離範囲内に該当する画像領域であって、かつ、前記マッチング工程で出力される前記候補領域から前記追跡被写体に係る被写体領域が決定されることを特徴とする被写体追跡装置の制御方法。

請求項11

請求項10に記載した被写体追跡装置の制御方法の各工程をコンピュータに実行させるためのプログラム

技術分野

0001

本発明は、被写体を光学的に追跡する画像処理技術に関する。

背景技術

0002

時系列的に供給される画像から特定の被写体像を抽出して被写体を追跡する技術は、動画像における人間の顔領域や人体領域の特定などに利用されている。被写体追跡技術は、例えば、通信会議マンマシンインターフェイスセキュリティ、任意の被写体を追跡するためのモニタ・システム画像圧縮などの多くの分野で使用可能である。

0003

デジタルスチルカメラデジタルビデオカメラでは、タッチパネルなどを用いた操作により指定される撮像画像内の被写体像を抽出して追跡し、被写体に対する焦点状態露出状態を最適化する技術が提案されている。特許文献1には、撮像画像に含まれる顔領域の位置を検出(抽出)および追跡し、顔に焦点を合わせると共に最適な露出撮像する撮像装置が開示されている。特許文献2には、テンプレートマッチングを用いて、特定の被写体を自動で追跡する技術が開示されている。テンプレートマッチング処理では、特定の被写体(以下、追跡対象ともいう)の画像を含む画像領域切り出した部分画像テンプレート画像として登録される。タッチパネルなどの入力インターフェイスを用いて、画像に含まれる任意の領域が指定され、当該領域を基準としてテンプレート画像が登録される。テンプレート画像との間で類似度が最も高い領域、または相違度が最も低い領域を画像内において算出することで、特定の被写体を追跡可能である。

先行技術

0004

特開2005−318554号公報
特開2001−60269号公報
特開2002−251380号公報
特開2008−15754号公報

発明が解決しようとする課題

0005

テンプレートマッチング処理では、画素パターンの類似度を評価尺度として用いる。そのため、追跡対象と追跡対象以外の被写体(背景など)において部分領域の画素パターンが類似する場合、誤った追跡対象が追跡される可能性がある。別の追跡方法としては、マッチングの評価尺度に色ヒストグラムの類似度を利用する方法がある。この場合、追跡対象と他の被写体において部分領域の色の割合が類似していると、誤った被写体が追跡される可能性がある。被写体追跡の精度を向上させるためには、追跡対象と追跡対象以外の被写体とを区別するための新たな情報が必要である。
本発明は、被写体に係る距離情報追跡用情報に利用することで、被写体追跡の精度を向上させることを目的とする。

課題を解決するための手段

0006

本発明に係る装置は、画像データを取得して被写体を検出し、目的とする被写体を追跡する被写体追跡装置であって、追跡対象である追跡被写体の画像データと取得された画像データとを照合し、前記追跡被写体の候補領域の情報を出力するマッチング手段と、前記マッチング手段が出力する前記候補領域から前記追跡被写体に係る被写体領域を決定する領域決定手段と、被写体の距離情報を算出する距離情報算出手段と、現時点よりも過去の時点で前記領域決定手段によって決定された前記被写体領域の情報と、前記距離情報算出手段により算出された前記距離情報を取得して、前記追跡被写体の距離を基準とする距離範囲を設定する距離範囲設定手段を有し、前記領域決定手段は、前記距離範囲設定手段により設定される距離範囲内に該当する画像領域であって、かつ、前記マッチング手段が出力する前記候補領域から前記追跡被写体に係る被写体領域を決定することを特徴とする。

発明の効果

0007

本発明によれば、被写体に係る距離情報を追跡用情報に利用することで、被写体追跡の精度を向上させることができる。

図面の簡単な説明

0008

本発明の実施形態に係る撮像装置の構成例を示すブロック図である。
本発明の実施形態における画素配列の概略図である。
本発明の実施形態における画素の概略平面図(A)と概略断面図(B)である。
本発明の実施形態における画素と瞳分割との関係を説明する概略図である。
本発明の実施形態における撮像素子と瞳分割の概略説明図である。
本発明の実施形態に係る被写体追跡装置の構成例を示すブロック図である。
本発明の実施形態に係るテンプレートマッチングを説明する図である。
本発明の実施形態に係る被写体追跡処理を説明するフローチャートである。
本発明の実施形態に係る設定距離範囲の具体例を説明する図である。

実施例

0009

以下、本発明の各実施形態について図面を参照して説明する。本発明に係る光学機器は各種のレンズ装置や撮像装置、双眼鏡などに適用可能である。以下の実施形態は、本発明の好ましい形態として、デジタルスチルカメラ、ビデオカメラ等の撮像装置への適用例を示すが、本発明の技術的範囲を限定するものではない。

0010

[第1実施形態]
図1を参照して、本発明の第1実施形態に係る撮像装置の構成について説明する。図1は、撮像装置100の構成例を示すブロック図である。撮像装置100は、被写体を撮像して動画静止画のデータを記録媒体に記録する処理を行う。記録媒体として、テープ状記録媒体固体メモリ光ディスク磁気ディスクなどの各種メディアにデータを記録可能である。撮像装置100内の各部は、バス160を介して接続され、CPU(中央演算処理装置)151により制御される。

0011

撮影レンズレンズユニット)101は、固定1群レンズ102、ズームレンズ111、絞り103、固定3群レンズ121、および、フォーカスレンズ131を備える。絞り制御部105は、CPU151の指令に従い、絞りモータ104を介して絞り103を駆動することにより、絞り103の開口径を調整して撮影時の光量調節を行う。ズーム制御部113は、ズームモータ112を介してズームレンズ111を駆動することにより、焦点距離を変更する。また、フォーカス制御部133は、撮影レンズ101の焦点検出信号に基づき焦点位置のずれ量に応じてフォーカスモータ132の駆動量を決定し、フォーカスモータ132の駆動制御を行う。フォーカス制御部133およびフォーカスモータ132によってフォーカスレンズ131の移動が制御されることで、AF自動焦点調節)制御が実現される。図1ではフォーカスレンズ131を単レンズで簡略的に示しているが、通常複数のレンズで構成される。

0012

被写体からの光は、撮影レンズ101を構成する各光学部材を介して撮像素子141上に結像される。撮像素子141上に結像する被写体像は、撮像素子141により電気信号に変換される。撮像素子141は、被写体像(光学像)を電気信号に光電変換する光電変換素子である。撮像素子141は、複数のマイクロレンズと、各マイクロレンズに対応する複数の光電変換素子を備える画素部により構成される。つまり、一つのマイクロレンズを共有する複数の光電変換素子(第1の光電変換素子および第2の光電変換素子)を備えた撮像素子を用いることで、視差画像を生成可能である。撮像装置100は、特定の被写体を追跡する被写体追跡装置を備え、被写体追跡において視差画像より算出される距離情報を用いて演算を行う。

0013

図2を参照して、本実施形態における撮像素子141の撮像画素焦点検出画素の配列を説明する。図2は、2次元CMOS(相補型金属酸化膜半導体センサの撮像画素配列を4列×4行の範囲で例示し、焦点検出画素配列を8列×4行の範囲で例示する。2列×2行の画素群200は、以下に示す1組の画素200R,200G,200Bを備える。
・画素200R(左上の位置参照):R(赤)色の分光感度を有する画素。
・画素200G(右上と左下の位置参照):G(緑)色の分光感度を有する画素。
・画素200B(右下の位置参照):B(青)色の分光感度を有する画素。
各画素部は、2列×1行に配列した、第1焦点検出画素201と第2焦点検出画素202により構成されている。図2に示した4列×4行の画素(8列×4行の焦点検出画素)が平面上にて格子状に多数配置されることで、撮像画像信号および焦点検出信号を取得可能である。

0014

図2に示した撮像素子における1つの画素200Gを、撮像素子の受光面側(+z側)から見た平面図を図3(A)に示す。図3(A)の紙面に垂直な方向にz軸を設定し、手前側をz軸の正方向と定義する。また、z軸に直交する上下方向にy軸を設定して上方をy軸の正方向とし、z軸およびy軸に直交する左右方向にx軸を設定して右方をx軸の正方向と定義する。図3(A)にてa−a切断線に沿って、−y方向から見た場合の断面図を図3(B)に示す。

0015

図3(B)に示す画素200Gは、各画素の受光面側(+z方向)にて入射光集光するマイクロレンズ305が形成され、分割された複数の光電変換部を備える。例えば、x方向における分割数をNHとし、y方向における分割数をNVとする。図3には、瞳領域をx方向にて2分割した例、すなわち、NH=2,NV=1の場合を例示し、副画素としての光電変換部301と光電変換部302が形成されている。光電変換部301は第1焦点検出画素201に対応し、光電変換部302は第2焦点検出画素202に対応する。光電変換部301と光電変換部302は、例えばp型層300とn型層との間にイントリンシック層を挟んだpin構造フォトダイオードとして形成される。または必要に応じて、イントリンシック層を省略し、pn接合フォトダイオードとして形成してもよい。各画素には、マイクロレンズ305と、光電変換部301および光電変換部302との間に、カラーフィルタ306が形成される。必要に応じて、副画素ごとにカラーフィルタ306の分光透過率を変えてもよいし、カラーフィルタを省略しても構わない。

0016

画素200Gに入射した光はマイクロレンズ305が集光し、さらにカラーフィルタ306で分光された後に、光電変換部301と光電変換部302が受光する。光電変換部301と光電変換部302では、受光量に応じて電子ホール正孔)が対生成され、空乏層で分離された後、負電荷をもつ電子はn型層(不図示)に蓄積される。一方、ホールは定電圧源(不図示)に接続されたp型層を通じて撮像素子の外部へ排出される。光電変換部301と光電変換部302のn型層(不図示)に蓄積された電子は、転送ゲートを介して、静電容量部FD)に転送されて電圧信号に変換される。

0017

図4は、画素構造と瞳分割との対応関係を示した概略的な説明図である。図4には、図3(A)に示した画素構造のa−a線での切断面を、+y方向から見た場合の断面図と、結像光学系の射出瞳面(射出瞳400参照)を、−z方向から見た図を示す。図4では、射出瞳面の座標軸と対応を取るために、断面図にてx軸とy軸を図3(A)に示す状態とは反転させて示している。第1焦点検出画素201に対応する第1瞳部分領域501は、−x方向に重心が偏倚している光電変換部301の受光面に対し、マイクロレンズ305によって、概ね共役関係になっている。つまり、第1瞳部分領域501は第1焦点検出画素201で受光可能な瞳領域を表し、瞳面上で+x方向に重心が偏倚している。また、第2焦点検出画素202に対応する第2瞳部分領域502は、重心が、+x方向に偏心している光電変換部302の受光面に対し、マイクロレンズ305によって、概ね共役関係になっている。第2瞳部分領域502は第2焦点検出画素202で受光可能な瞳領域を表し、瞳面上で、−x方向に重心が偏倚している。

0018

図4に示す瞳領域500は、光電変換部301と光電変換部302(第1焦点検出画素201と第2焦点検出画素202)を全て併せた場合の、画素200G全体で受光可能な瞳領域である。撮像素子と瞳分割との対応関係を図5の概略図に示す。第1瞳部分領域501と第2瞳部分領域502の、異なる瞳部分領域をそれぞれ通過した光束は、撮像素子の各画素に異なる角度で入射する。撮像面800への入射光は、NH(=2)×NV(=1)に分割された第1焦点検出画素201と第2焦点検出画素202で受光される。第1焦点検出画素201の光電変換部301と第2焦点検出画素202の光電変換部302は光を電気信号に変換する。本実施形態では、瞳領域が水平方向にて2つに瞳分割されている例を示す。必要に応じて、垂直方向に瞳分割を行ってもよい。

0019

本実施形態に係る撮像素子141は、結像光学系の第1瞳部分領域を通過する光束を受光する第1焦点検出画素と、第1瞳部分領域とは異なる、結像光学系の第2瞳部分領域を通過する光束を受光する第2焦点検出画素を備える。結像光学系の第1瞳部分領域と第2瞳部分領域とを併せた瞳領域を通過する光束を受光する撮像画素は2次元アレイ状に複数配列されている。つまり、各撮像画素は第1焦点検出画素と第2焦点検出画素から構成される。必要に応じて、撮像画素と、第1焦点検出画素および第2焦点検出画素を個別の画素構成とし、撮像画素配列にて第1焦点検出画素と第2焦点検出画素を部分的に分散配置した構成を採用してもよい。

0020

本実施形態では、撮像素子141における各画素の第1焦点検出画素201の受光信号を集めて第1焦点検出信号である「A像」が生成され、各画素の第2焦点検出画素202の受光信号を集めて第2焦点検出信号である「B像」が生成される。後述する被写体追跡部161は、視差を有するA像とB像から像ずれ量を算出し、この像ずれ量から距離情報(奥行き情報)を算出する処理が行われる。また、撮像素子141の画素ごとに、A像とB像を加算して「A+B像」を生成することで、表示あるいは記録に用いる画像データを生成することができる。このように撮像素子141上に結像されて光電変換により生成された画像信号は、図1撮像信号処理部142に出力される。撮像信号処理部142は、入力される画像信号を処理し、画像データへの整形処理を行う。

0021

撮像信号処理部142は、処理済みの画像データを撮像制御部143に出力する。処理済みの画像データは一時的に、RAM(ランダムアクセスメモリ)154に記憶されて蓄積される。RAM154に蓄積された画像データに対し、画像圧縮伸長部153は圧縮処理を施した後、画像記録媒体157に記録する処理を行う。これと並行して、RAM154に蓄積された画像データは、画像処理部152に送られる。画像処理部152は、画像データを処理し、例えば、画像データに対して最適なサイズへの縮小処理または拡大処理を行う。最適なサイズに処理された画像データは、モニタディスプレイ150に送られて画像表示される。操作者は、モニタディスプレイ150の表示画像を見ながらリアルタイム撮影画像を観察することができる。なお、撮影直後にはモニタディスプレイ150が所定時間だけ撮影画像を表示することで、操作者は撮影画像を確認できる。操作部156は各種の操作スイッチを備え、操作者が撮像装置100への指示を行う際に使用する。操作部156から入力された操作指示信号は、バス160を介してCPU151に送られる。

0022

CPU151は、操作部156から入力された操作指示信号、あるいは、一時的にRAM154に蓄積された画像データの画素信号の大きさに基づき、各種のパラメータ設定値を決定する。各種のパラメータとは、例えば撮像素子141の蓄積時間、撮像素子141から撮像信号処理部142へ出力を行う際のゲインの設定値などである。撮像制御部143は、CPU151から蓄積時間やゲインの設定値の指示信号を取得し、指示信号にしたがって撮像素子141を制御する。

0023

RAM154に蓄積された画像データである、A+B像のデータは、被写体追跡部161にも送られる。被写体追跡部161は、撮像時刻の異なる複数の画像データを用いて特定の被写体を追跡する。追跡の結果として、特定の被写体を示す部分領域(画像領域)が抽出される。また、RAM154には、視差画像に対応するA像、B像の各データも蓄積される。A像、B像の各データは、視差画像に基づいて距離情報(奥行き情報)を算出し、特定の被写体を追跡するための情報として利用される。その詳細については後述する。

0024

被写体追跡部161の出力は、バス160を介して各処理部に通知される。例えばフォーカス制御部133は被写体追跡部161の出力を取得し、特定の被写体領域に対するAF制御を行う。また、絞り制御部105は被写体追跡部161の出力を取得し、特定の被写体領域での輝度値を用いた露出制御を行う。画像処理部152は被写体追跡部161の出力を取得し、特定の被写体領域に基づいたガンマ補正ホワイトバランス処理などを行う。また、モニタディスプレイ150は、被写体追跡部161の出力にしたがい、追跡対象である被写体像の一部を含む被写体領域を、矩形枠などで他の画像領域と区別して画面上に表示する。

0025

電源管理部158は、バッテリ159を管理し、撮像装置100の全体に安定した電源供給を行う。フラッシュメモリ155は、撮像装置100の動作に必要な制御プログラムを記憶している。操作者が撮像装置100の起動操作を行うと、電源OFF状態から電源ON状態移行し、フラッシュメモリ155に格納された制御プログラムがロードされてRAM154の一部に読み込まれる。CPU151は、RAM154にロードされた制御プログラムに従って撮像装置100の動作を制御する。

0026

次に図6を参照して、被写体追跡部161の詳細を説明する。被写体追跡部161は、追跡対象とする被写体を検出し、逐次に供給される画像データを用いて特定の被写体を追跡する。追跡の結果として、画像内における特定の被写体を示す部分領域が抽出される。被写体追跡部161は、検出処理や追跡のためのマッチング処理において、A+B像の画像データを利用し、また、被写体の距離情報を用いることで精度の高い被写体追跡を行う。距離情報を算出するために被写体追跡部161はA像およびB像のデータを利用する。

0027

図6は被写体追跡部161の構成例を示すブロック図である。被写体検出部601は、入力画像であるA+B像から、目的とする所定の被写体の画像を検出し、被写体追跡の追跡対象とする。例えば顔検出の場合、被写体追跡部161は被写体領域として人物などの顔領域を特定する。顔検出技術としては、例えば顔に関する知識(肌色情報、目・・口などの形状情報)を利用する方法と、ニューラルネットワークに代表される学習アルゴリズムにより顔検出のための識別処理部を構成する方法などがある。また、顔検出では、認識率の向上のために、複数の方法を組み合わせて顔認識を行うのが一般的である。具体的には、ウェーブレット変換画像特徴量を利用して顔検出する方法などがある(特許文献3参照)。あるいは、操作部156がタッチパネルや操作ボタンなどを含む入力インターフェイス部を備える形態にて、操作者が、撮像画像に含まれる任意の被写体像を追跡対象に指定する構成としてもよい。その場合、被写体検出部601は操作部156より指定された位置情報を取得し、位置情報に基づいて被写体領域を検出する。

0028

図6のマッチング部602は、入力画像であるA+B像のデータを取得し、被写体検出部601により検出された被写体領域をテンプレートとして登録する。マッチング部602は登録したテンプレートと、逐次に入力される画像の部分領域とを照合するマッチング処理を行い、上位の複数の評価値領域情報を追跡被写体の候補領域として出力する。マッチングの方式は多種多様に存在するが、本実施形態では、画素パターンの相違度に基づくテンプレートマッチングによる方法を適用する。図7を参照して、テンプレートマッチングの詳細を説明する。

0029

図7(A)は、テンプレートマッチングにおける被写体モデル(テンプレート)を例示する。左側の画像701は、目的とする追跡対象の被写体領域の画像を示す。画像701の画素パターンを特徴量として扱う例を説明する。データ配列702は、画像701の特徴量を表現したものであり、画素データの輝度信号を特徴量とした場合の2次元配列を例示する。テンプレート領域内に2次元座標(i,j)を設定し、変数”i”は水平方向の位置座標を表し、変数”j”は垂直方向の位置座標を表す。2次元座標(i,j)における特徴量を”T(i,j)”とし、水平画素数をWとし、垂直画素数をHとする。特徴量T(i,j)は下記式で表現される。

0030

図7(B)は、追跡対象を探索する際の探索画像を例示する。左側の画像703はマッチング処理を行う範囲の画像を示す。探索画像における2次元座標については、水平方向をx方向とし、垂直方向をy方向と定義して、(x,y)で表現する。画像703内に示す矩形状の領域704は、マッチングの評価値を取得するための部分領域である。部分領域704の特徴量705を2次元配列で示し、テンプレートの場合と同様に画像データの輝度信号を特徴量とする。部分領域704内での2次元座標(i,j)における特徴量をS(i,j)とし、水平画素数をWとし、垂直画素数をHとする。特徴量S(i,j)は下記式で表現される。

0031

本実施形態ではテンプレート領域と部分領域との類似性を評価する演算方法として、差分の絶対値の総和、いわゆるSAD(Sum of Absolute Difference)値を用いる。SAD値をV(x,y)と記すと、これは下記式により算出される。

0032

部分領域704を、探索範囲の画像703の左上から順に1画素ずつずらしながら、SAD値V(x,y)の演算が行われる。演算により得られたSAD値V(x,y)が最小値を示す場合、その座標(x,y)がテンプレートと最も類似した位置を示す。つまり、SAD値が最小値を示す位置は、探索画像において目的とする追跡対象が存在する可能性の高い位置である。

0033

上述の説明では、特徴量として輝度信号という1種類の情報を用いる例を示したが、明度または色相または彩度の信号、あるいはこれらを組み合わせた信号などのように、2種類以上の情報を特徴量として扱ってもよい。またマッチング評価値の演算方法としてSAD値を例示して説明したが、正規化相互相関、いわゆるNCC(Normalized Correlation Coefficient)などの演算方法を用いてもよい。また、本発明の適用上、テンプレートマッチングのみに限定されず、ヒストグラムの類似性に基づくヒストグラムマッチングなどの他のマッチング方式を採用してもよい。

0034

図6の被写体領域決定部603は、マッチング部602より供給される、上位の複数の評価値と領域情報に基づき、追跡対象とすべき被写体の候補領域から、1つの被写体領域を決定する。例えば、最も評価値の高い領域が被写体領域として決定される。これは簡単な決定方法であるが、追跡対象と、背景やその他の被写体などにおける部分領域との間で画素パターンが類似している場合、本来追跡対象とすべきでない被写体領域の評価値が高くなってしまう可能性がある。そこで本実施形態では、視差画像データから算出される距離情報(距離マップデータ)を参照することで、正しい被写体領域を決定する処理が行われる。これにより、追跡対象とすべき被写体領域の検出確率を高めることができる。被写体領域決定部603が決定した1つの被写体領域の情報は、被写体追跡部161の出力となる。

0035

距離マップ算出部604は、水平方向に視差をもつ一対の画像(A像、B像)のデータを取得し、被写体距離を算出する。被写体距離は、撮像装置から被写体までの距離を示す情報である。水平方向に視差をもつ一対の画像に相関演算処理を施すことで、像ズレ量を検出することができる。像ズレ量の検出処理では、例えば画像領域を小領域に分割した小ブロックごとに相関演算が行われる(特許文献4参照)。相関演算で算出された像ズレ量に対し、所定の変換係数乗算することにより、画像の結像面における偏差デフォーカス量)が算出される。以下、算出されたデフォーカス量を算出距離という。撮像面の画像の各画素に対して、算出距離が割り当てられた距離分布の情報を距離マップと呼ぶ。

0036

被写体距離設定部605は、過去の時点で被写体領域決定部603が決定した被写体領域の情報、および距離マップ算出部604が算出した距離マップデータを取得し、被写体が存在し得る所定範囲の距離を設定する。被写体領域決定部603は、被写体距離設定部605によって設定される所定範囲の距離に該当する領域であって、かつ、マッチング部602で抽出された候補領域である1つの領域を被写体領域として決定する。具体的には、時間経過を表す変数をnとし、時刻n−1での画像データ、および時刻nでの画像データが取得されているものとする。この場合、時刻n−1と時刻nとが連続的であって、2つの時刻の間で被写体距離が大きく変化しないものとする。被写体距離設定部605は、時刻n−1で被写体領域決定部603が決定した部分領域(被写体領域)と、当該部分領域の時刻n−1での距離マップから、時刻n−1にて被写体が存在する距離を算出する。被写体距離設定部605は、目的とする被写体の算出距離を基準として距離範囲(以下、設定距離範囲という)を設定し、設定距離範囲内に該当する部分領域が、時刻nでの距離マップにより判定される。被写体領域決定部603は、時刻nでのマッチング部602による上位の複数の評価値に対して、設定距離範囲内に該当する部分領域のみを抽出する。そして、抽出された部分領域から被写体領域が決定される。

0037

次に図8のフローチャートを参照して、被写体追跡部161が行う処理を説明する。
まず、時刻n−1での撮像画像が被写体追跡部161への入力画像として供給される(S801)。この画像から被写体検出部601は特定の被写体領域を検出する(S802)。マッチング部602は、検出された特定の被写体領域に基づき、テンプレートマッチングの被写体モデルであるテンプレートを登録する(S803)。また追跡処理初期タイミングでは、被写体距離設定部605が被写体距離(設定距離範囲)の値を初期化してクリアする(S804)。なお、S802およびS803と、S804は順不同である。

0038

次に、S801での時刻とは異なる時刻nでの撮像画像が入力画像として供給される(S805)。S805での入力画像は被写体追跡部161の探索画像を示す。この探索画像に基づき、マッチング部602はテンプレートマッチングにより照合を行う(S806)。また、S805での入力画像のデータから距離マップ算出部604が距離マップを算出する(S807)。なお、S806とS807は順不同である。

0039

S808で被写体領域決定部603は、予め設定された距離範囲(S812で更新される前の設定距離範囲)とS807で算出された距離マップから、S806によるマッチング結果を絞り込む。ただし、初期の処理に関しては、設定距離範囲が存在しないので(S804でクリアされているため)、マッチング結果が絞り込まれることはない。次に被写体領域決定部603は、設定距離範囲内にて絞り込まれたマッチング結果から評価値が最上位となる部分領域を被写体領域として決定する(S809)。設定距離範囲に属する1つの被写体領域が決定されると、決定された被写体領域に基づき、被写体追跡部161は追跡を継続するか否かを判定する(S810)。判定の一例としては、S808においてマッチング結果が全て対象外となった場合に追跡を継続しないと判定される。

0040

被写体追跡処理を継続しないことが判定された場合(S810でNOと判定)、被写体追跡の処理を終了する。例えば、追跡の目的とする被写体の画像が探索範囲の画像に存在しなくなった場合に処理が終了する。一方、被写体追跡処理を継続することが判定された場合(S810でYESと判定)、S811に処理を進める。

0041

S811で被写体領域決定部603は、決定した被写体領域に基づき、マッチング部602のテンプレートを更新する。被写体距離設定部605は距離マップと、決定された被写体領域に基づいて設定距離範囲を更新する(S812)。設定距離範囲の詳細については後述する。次にS805に戻り、被写体追跡部161は逐次に供給される入力画像に基づいて被写体追跡処理を続行する。

0042

上述した説明では、マッチング評価値を設定距離範囲に基づいて絞り込む処理を例示して説明した。これに限らず、マッチング評価値と設定距離範囲の2つの条件より被写体領域が決定できればよい。例えば、設定距離範囲と距離マップによって、マッチングする領域を制限することで、設定距離範囲のマッチング評価値が出力されない仕組みで実施してもよい。

0043

上述したように本実施形態に係る被写体追跡装置は、所定範囲の距離に該当する領域であって、かつ、マッチング部602により抽出された候補領域から被写体領域を決定する。所定範囲の距離は、過去の履歴情報である被写体追跡の結果に基づいて設定される。所定範囲の距離という条件を適切に利用することで、被写体追跡の精度を向上させることができる。例えば、設定距離範囲が大きすぎる場合には距離情報に基づく制限が弱くなるので、距離情報を参照する効果が低くなる。また、設定距離範囲が小さすぎる場合には、被写体が奥行き方向(撮影方向に沿う方向)に大きく動くと、設定距離範囲から外れてしまう可能性がある。この場合、追跡対象とすべき領域が候補領域から外されてしまうことが懸念される。そこで本実施形態では、被写体追跡の精度を向上させるために、最適な距離範囲が設定される。

0044

図9を参照して、被写体追跡の状況に応じて距離範囲を設定する処理に関して説明する。図9中の撮像装置100に示す位置を基準として、x軸、y軸、z軸からなる3次元空間座標系を設定している。x軸、y軸からなるx−y平面は撮像画像の撮像面に平行な平面であり、z軸はx−y平面に直交して撮像光学系の光軸方向に沿う軸である。z軸方向において撮像装置100の位置を基準として距離が算出されるものとする。複数の被写体901から904のうちで、被写体901は追跡対象を示し、被写体902から904は追跡対象とは異なる被写体を示す。図9に示したように、被写体902と903は、追跡被写体901に比べて撮像装置100に近い距離に位置し、被写体904は追跡被写体901に比べて撮像装置100から遠い距離に位置している。撮像装置100に搭載された被写体追跡装置は、距離範囲の設定を行う際、現時点よりも過去の時点で取得されている履歴情報を使用する。履歴情報とは、例えば直前の所定期間内に取得されている、被写体領域の距離情報である。図9は、各追跡状況における設定距離範囲905、906、907、913が設定されている様子を示す。

0045

図9(A)および図9(B)は、追跡対象の過去の動きに基づいて距離範囲が設定される場合を例示する。図9(A)は追跡対象の動きが遅い場合を示す。設定距離範囲905は、z軸方向にて追跡被写体901の位置の前後に幅をもつ範囲に設定されている。図9(B)は追跡対象の動きが速い場合を示す。設定距離範囲906は、z軸方向にて追跡被写体901の位置の前後に幅をもつ範囲に設定されており、設定距離範囲905よりも大きい。つまり、設定距離範囲905と906を比較すると、追跡対象の移動速度の大きい状況の方が、設定距離範囲が大きい。動きの速い追跡対象の場合、追跡被写体が設定距離範囲から外れてしまう可能性があるため、設定距離範囲が大きくなっている。一方で、動きの遅い追跡対象の場合には、追跡被写体が設定距離範囲外となる可能性は低い。よって、距離情報を参照する効果を高めるために設定距離範囲が小さい。

0046

図9(C)および図9(D)は、追跡被写体と追跡対象とは異なる被写体との距離関係距離差)に基づいて距離範囲が設定される場合を例示する。図9(C)では、追跡対象以外の複数の被写体の距離情報に基づいて距離範囲が設定される。複数の被写体とは、追跡被写体901に対して撮像装置100に近い前方に位置する最近傍の被写体902と903、および、撮像装置100から遠い後方に位置する最近傍の被写体904である。被写体902と903の距離情報と被写体904の距離情報に基づき距離範囲の設定が行われる。被写体追跡において距離情報を参照する目的は、追跡対象とその他の対象とを識別することである。追跡対象とその他の対象との距離が短い場合(距離差が小さい場合)、被写体追跡装置は設定距離範囲を小さくする。逆に、追跡対象とその他の対象との距離が長い場合(距離差が大きい場合)に、被写体追跡装置は設定距離範囲を大きくする。

0047

図9(D)は、追跡対象と類似した対象との距離関係に基づいて距離範囲が設定される場合を例示する。追跡対象と類似した対象とは、追跡対象の特徴と類似した特徴を有する被写体のことである。図9(D)に示す被写体902、904は、追跡対象である被写体901と類似していない対象を示す。また被写体908、909は、追跡対象である被写体901と類似している対象を示す。類似判定にはマッチング評価値が使用される。つまり、「対象が類似している」とは、追跡対象とその他の対象との間でマッチング評価値が近いことを示す。本実施形態で説明したテンプレートマッチング方式を用いる場合、取得される画像の画素パターンが類似している対象が類似対象となる。あるいは、色ヒストグラムマッチング方式の場合には、色の割合が類似した対象が類似対象となる。マッチング評価値だけでは追跡対象とその他の対象との識別が困難である場合、被写体の距離情報を参照することで複数の対象を識別することが可能となるので効果的である。すなわち、追跡対象と当該追跡対象に類似した対象との距離関係(距離差)に基づいて距離範囲を設定することにより、距離情報を用いた被写体追跡の精度を向上させることができる。その結果、設定距離範囲を比較的大きく設定することができるので、被写体追跡装置は追跡対象の速い動きにも対応できる。

0048

また、被写体追跡装置は追跡対象と類似した対象の動き(撮影方向の移動速度)を判別する。例えば、被写体追跡装置は追跡対象と類似した対象が動体であるか、または静止物体であるかを判別し、判別結果に応じて距離範囲の設定を変更する。動体の場合に距離範囲が小さく設定され、静止物体の場合には距離範囲が大きく設定される。あるいは、追跡対象と類似した対象が動体である場合に、その移動速度に応じて、速い動体であるほど距離範囲が小さく設定される。
以上のように、被写体距離設定部605が行う距離範囲設定処理にて被写体追跡の状況に応じて設定距離範囲を動的に変更することで、被写体追跡処理にて距離情報を有効に活用できる。

0049

本実施形態では、追跡対象である被写体とその他の被写体との間で各画像における画素パターンが類似しており、マッチングの評価値のみでは識別が困難な場合でも、各被写体までの距離が異なっていれば、距離情報を使用して正確に追跡できる。すなわち、追跡被写体とその他の被写体とにおいて画素パターンや色ヒストグラムが類似していたとしても、距離が異なっている場合には正確な被写体追跡が可能である。本実施形態によれば、被写体の光学的な追跡において、被写体の距離情報を利用することで追跡の精度を向上させることができる。

0050

[第2実施形態]
次に、本発明の第2実施形態を説明する。本実施形態では、距離情報が正確でない場合に、当該距離情報を参照してしまうと追跡の精度が低下することへの対策を講じる。本実施形態に係る装置は、距離マップと併せて、距離マップデータの信頼性を示す信頼度マップの算出部をさらに備える。具体的には、図6において、距離マップ算出部604を、距離マップおよび信頼度マップ算出部614に置き換える。距離マップおよび信頼度マップ算出部614は距離情報算出処理により距離情報を算出する際、信頼度算出処理を実行し、距離情報に関する信頼度マップを算出する。例えば信頼度の値が小さい場合、対応する距離マップデータの信頼性が低いものとする。

0051

ここで、信頼度マップの生成処理例に関して説明する。距離マップの算出処理では、水平方向に視差をもつ一対の画像領域を小領域に分割し、その小ブロックごとに相関演算を行うことで像ズレ量が検出される。相関演算が画像パターンの類似性に基づく場合に、小ブロックの画像パターンが類似した画素同士の集合体であるときには、相関度ピーク値が生じにくい。このため、正確な像ズレ量の検出が困難となる。したがって、相関演算の結果として得られる計算値平均値とピーク値(類似度の場合には最大値)との差分が小さい場合には、信頼性が低いと判断される。つまり差分を利用して信頼度を定義することができる。この信頼度は、小ブロックごとに算出されるため座標情報を有しているので、距離情報に関する信頼度情報分布を表すマップ(信頼度マップ)が生成される。

0052

図6の被写体領域決定部603は、被写体距離設定部605により設定される所定範囲内の距離に該当し、または、信頼度マップによる信頼度が閾値より高い領域であって、かつ、マッチング部602で抽出された候補領域から被写体領域を決定する。つまり、距離マップデータの信頼度が閾値より小さい場合には、マッチング結果の候補領域を絞り込まないように回避する処理が行われる。
本実施形態によれば、距離情報の信頼性を表す信頼度情報を使用することにより、正確な距離情報を用いて被写体追跡の精度を高めることができる。
なお、第1および第2実施形態では、撮像素子141から得られたデータから距離マップデータを生成したが、これに限られるものではない。例えば、撮影レンズ101を通過した光の一部を、ハーフミラーを用いて、撮像素子141とは別に設けられた測距回路に導くことで、撮像素子141とは別部材の測距回路から距離情報を得て、距離マップデータを生成するようにしても構わない。

0053

[その他の実施形態例]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。

0054

100撮像装置
161被写体追跡部
601被写体検出部
602マッチング部
603被写体領域決定部
604距離マップ算出部
605被写体距離設定部
614 距離マップおよび信頼度マップ算出部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ