図面 (/)

技術 自動追尾装置及び自動追尾方法

出願人 パナソニック株式会社
発明者 道本泰之山本光慶
出願日 2004年2月18日 (17年0ヶ月経過) 出願番号 2004-041276
公開日 2005年9月2日 (15年5ヶ月経過) 公開番号 2005-236508
状態 特許登録済
技術分野 スタジオ装置 閉回路テレビジョンシステム スタジオ装置 イメージ分析 画像処理
主要キーワード 形状変化検出 保持数 遠隔監視カメラ 頭部周辺 最大一致度 保存数 追跡性 テンプレート画像中
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2005年9月2日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (9)

課題

画像中の侵入者等の物体を追跡する際に、追跡の中断がなく安定した追尾が可能な自動追尾装置及び自動追尾方法を提供する。

解決手段

テンプレート設定部102は画像入力部101から入力された画像中の物体領域テンプレート画像として登録する。テンプレートマッチング部103は相関演算により新たな入力画像の中から登録済みのテンプレート画像との相関が高い領域を探索する。見掛け形状変化検出部104はテンプレートマッチング処理において追跡中の物体の見掛けの形状変化を検出する。テンプレート保持制御部105は、見掛け形状変化検出部104からの検出結果に応じて、追跡物体の見掛けの形状が大きく変化した場合に、テンプレート画像の保持数上限や、テンプレートの更新頻度を変更する。

概要

背景

遠隔監視カメラステムが普及し、遠隔地にある特定地点撮影した画像を監視し、侵入者等の追跡ができるようになってきた。監視カメラシステムで用いられるカメラは、一般的に広域を監視するため撮影用レンズとして広角レンズが装着されており、侵入物体の有無は判定できるものの、例えば侵入者の人相表情などの詳細までは把握ことができない欠点がある。

そこで、広角レンズを装着したカメラ以外に、パンチルトズーム(以下、まとめてPTZとよぶ)の機能を備えたカメラを設置し、監視員のPTZ制御により、侵入者の人相等のより詳細な画像を取得できるようにした監視システムがある(非特許文献1)。しかし、ジョイスティック等の操作装置によりPTZ機能を持つカメラを手動操作して侵入者を追尾し続けることは高度な技術が必要であり、困難を感じる監視員が多い。このため、画像認識技術を用いて、自動的に撮影画像中の侵入者等の追跡物体を追尾できる自動追尾装置が望まれている。

このような自動追尾が可能な装置として、テンプレートマッチングの手法を利用した物体追跡方法及び物体追跡装置が提案されている(特許文献1)。テンプレートマッチングは、ある時刻の追跡物体の画像領域切り出した部分画像テンプレート画像として、異なる時刻の画像内でテンプレート画像と最も相関が高い領域を相関演算などにより求め、追跡物体を追跡する方法である。

図8は上記特許文献1の従来例における物体追跡時の動作を示すフローチャートである。まず、ある時刻t1の入力画像において物体検出処理を行い(ステップ901)、検出された物体領域の画像を初期のテンプレート画像として登録する(ステップ902)。次に、新たな時刻t2の入力画像を入力し(ステップ903)、テンプレートマッチングを行って入力画像からテンプレート画像と相関が最も高い領域を検出し、物体を追跡する(ステップ904)。

そして、保存されているすべてのテンプレート画像についてテンプレートマッチング処理がなされたかを判定し(ステップ905)、すべてのテンプレートマッチング処理が終了している場合には、最大一致度判定処理を行う(ステップ906)。すべてのテンプレートマッチング処理が終了していない場合は、終了するまでステップ904のテンプレートマッチング処理を繰り返す。

ステップ906において、最大一致度が所定値以下の場合は、入力画像中に追跡物体がいなくなったものとして、ステップ901に戻って再度物体検出処理を行う。一方、最大一致度が所定値以上である場合、テンプレートマッチングの結果に応じてテンプレート画像の位置を補正し(ステップ907)、補正した複数のテンプレート画像を保存する(ステップ908)。複数のテンプレート画像は、それぞれ取得時刻または更新時刻が異なり、見掛けが多少異なるものの同一物体に関するテンプレート画像である。続いて、カメラの光軸方向が追跡物体に向くようにカメラ雲台を制御する(ステップ909)。そして、例えば追跡物体が所定の警報を出す範囲に存在する場合に警報を鳴らしたり、監視モニタに追跡物体の画像を表示したりする(ステップ910)。

特開2001−60269号公報
羽下、原、鷲見著「首振りズームカメラを用いたトラッキング侵入監視システム」、電子情報通信学会 信学技報PRMU99−67(P23−30)、1999年9月

概要

画像中の侵入者等の物体を追跡する際に、追跡の中断がなく安定した追尾が可能な自動追尾装置及び自動追尾方法を提供する。テンプレート設定部102は画像入力部101から入力された画像中の物体領域をテンプレート画像として登録する。テンプレートマッチング部103は相関演算により新たな入力画像の中から登録済みのテンプレート画像との相関が高い領域を探索する。見掛け形状変化検出部104はテンプレートマッチング処理において追跡中の物体の見掛けの形状変化を検出する。テンプレート保持制御部105は、見掛け形状変化検出部104からの検出結果に応じて、追跡物体の見掛けの形状が大きく変化した場合に、テンプレート画像の保持数上限や、テンプレートの更新頻度を変更する。

目的

本発明は、上記事情に鑑みてなされたもので、画像中の侵入者等の物体を追跡する際に、追跡の中断がなく安定した追尾が可能な自動追尾装置及び自動追尾方法を提供することを目的とする。

効果

実績

技術文献被引用数
2件
牽制数
1件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

撮像手段によって撮影された画像を入力し、前記画像中の対象物体を追跡する自動追尾装置であって、前記対象物体の特徴を示すテンプレート画像入力画像との相関演算を行うテンプレートマッチング手段と、前記対象物体の形状変化を検出する形状変化検出手段と、前記形状変化検出手段の処理結果に応じて、前記テンプレート画像の更新アルゴリズムを制御するテンプレート保持制御手段とを備えることを特徴とする自動追尾装置。

請求項2

請求項1記載の自動追尾装置であって、前記形状変化検出手段は、前記対象物体が前記撮像手段の光軸を横切る方向に移動する場合には見掛けの変化が大きく、前記光軸に沿う方向に移動する場合には見掛けの変化が小さいと判断することを特徴とする自動追尾装置。

請求項3

請求項1記載の自動追尾装置であって、前記形状変化検出手段は、前記撮像手段のパンチルト角度またはズーム比率所定値以上制御された場合に前記対象物体の見掛けの変化が発生したと判断することを特徴とする自動追尾装置。

請求項4

請求項1〜3のいずれか一項記載の自動追尾装置であって、前記テンプレート保持制御手段は、前記形状変化検出手段において前記対象物体に形状変化があったと判断された場合に、前記テンプレート画像の保持数上限を下げることを特徴とする自動追尾装置。

請求項5

請求項1〜3のいずれか一項記載の自動追尾装置であって、前記テンプレート保持制御手段は、前記形状変化検出手段において前記対象物体に形状変化があったと判断された場合に、前記テンプレート画像の更新頻度を上げることを特徴とする自動追尾装置。

請求項6

撮像手段によって撮影された画像を入力し、前記画像中の対象物体を追跡する自動追尾方法であって、入力画像中の対象物体の特徴を示すテンプレート画像を設定するテンプレート設定テップと、前記対象物体を含む新たな入力画像と前記テンプレート画像との相関演算を行うテンプレートマッチングステップと、前記対象物体の形状変化を検出する形状変化検出ステップと、前記形状変化検出の処理結果に応じて、前記テンプレート画像の更新アルゴリズムを制御するテンプレート保持制御ステップとを有することを特徴とする自動追尾方法。

請求項7

請求項6記載の自動追尾方法の各手順をコンピュータに実行させるためのプログラム

技術分野

0001

本発明は、侵入物体等の監視ステムにおいて撮影画像中の特定の物体を追跡する自動追尾装置及び自動追尾方法に関する。

背景技術

0002

遠隔監視カメラシステムが普及し、遠隔地にある特定地点撮影した画像を監視し、侵入者等の追跡ができるようになってきた。監視カメラシステムで用いられるカメラは、一般的に広域を監視するため撮影用レンズとして広角レンズが装着されており、侵入物体の有無は判定できるものの、例えば侵入者の人相表情などの詳細までは把握ことができない欠点がある。

0003

そこで、広角レンズを装着したカメラ以外に、パンチルトズーム(以下、まとめてPTZとよぶ)の機能を備えたカメラを設置し、監視員のPTZ制御により、侵入者の人相等のより詳細な画像を取得できるようにした監視システムがある(非特許文献1)。しかし、ジョイスティック等の操作装置によりPTZ機能を持つカメラを手動操作して侵入者を追尾し続けることは高度な技術が必要であり、困難を感じる監視員が多い。このため、画像認識技術を用いて、自動的に撮影画像中の侵入者等の追跡物体を追尾できる自動追尾装置が望まれている。

0004

このような自動追尾が可能な装置として、テンプレートマッチングの手法を利用した物体追跡方法及び物体追跡装置が提案されている(特許文献1)。テンプレートマッチングは、ある時刻の追跡物体の画像領域切り出した部分画像テンプレート画像として、異なる時刻の画像内でテンプレート画像と最も相関が高い領域を相関演算などにより求め、追跡物体を追跡する方法である。

0005

図8は上記特許文献1の従来例における物体追跡時の動作を示すフローチャートである。まず、ある時刻t1の入力画像において物体検出処理を行い(ステップ901)、検出された物体領域の画像を初期のテンプレート画像として登録する(ステップ902)。次に、新たな時刻t2の入力画像を入力し(ステップ903)、テンプレートマッチングを行って入力画像からテンプレート画像と相関が最も高い領域を検出し、物体を追跡する(ステップ904)。

0006

そして、保存されているすべてのテンプレート画像についてテンプレートマッチング処理がなされたかを判定し(ステップ905)、すべてのテンプレートマッチング処理が終了している場合には、最大一致度判定処理を行う(ステップ906)。すべてのテンプレートマッチング処理が終了していない場合は、終了するまでステップ904のテンプレートマッチング処理を繰り返す。

0007

ステップ906において、最大一致度が所定値以下の場合は、入力画像中に追跡物体がいなくなったものとして、ステップ901に戻って再度物体検出処理を行う。一方、最大一致度が所定値以上である場合、テンプレートマッチングの結果に応じてテンプレート画像の位置を補正し(ステップ907)、補正した複数のテンプレート画像を保存する(ステップ908)。複数のテンプレート画像は、それぞれ取得時刻または更新時刻が異なり、見掛けが多少異なるものの同一物体に関するテンプレート画像である。続いて、カメラの光軸方向が追跡物体に向くようにカメラ雲台を制御する(ステップ909)。そして、例えば追跡物体が所定の警報を出す範囲に存在する場合に警報を鳴らしたり、監視モニタに追跡物体の画像を表示したりする(ステップ910)。

0008

特開2001−60269号公報
羽下、原、鷲見著「首振りズームカメラを用いたトラッキング侵入監視システム」、電子情報通信学会 信学技報PRMU99−67(P23−30)、1999年9月

発明が解決しようとする課題

0009

しかしながら、上記のような従来の自動追尾方法においては、複数のテンプレート画像中に、最新の追跡物体の見掛けの形状とは差異が大きく、むしろ背景領域と相関が高い不適切なデータが保持されてしまうことがあった。このような場合、テンプレートマッチングにおいて背景への誤対応が発生しやすく、結果として追跡物体の追跡が中断され、追跡に失敗しやすいという問題が生じる。

0010

本発明は、上記事情に鑑みてなされたもので、画像中の侵入者等の物体を追跡する際に、追跡の中断がなく安定した追尾が可能な自動追尾装置及び自動追尾方法を提供することを目的とする。

課題を解決するための手段

0011

本発明の自動追尾装置は、撮像手段によって撮影された画像を入力し、前記画像中の対象物体を追跡する自動追尾装置であって、前記対象物体の特徴を示すテンプレート画像と入力画像との相関演算を行うテンプレートマッチング手段と、前記対象物体の形状変化を検出する形状変化検出手段と、前記形状変化検出手段の処理結果に応じて、前記テンプレート画像の更新アルゴリズムを制御するテンプレート保持制御手段とを備えるものである。

0012

この構成により、例えば、対象物体の形状変化があった場合、テンプレート画像の更新アルゴリズムを変更することにより、テンプレート画像の保持内容適応的に変更することができ、物体をより安定に追跡することが可能となる。テンプレート画像の更新アルゴリズムとしては、例えば、通常はテンプレート画像を複数保持して相関演算を行うため、この保持するテンプレートの上限数、テンプレート画像の更新頻度などがある。

0013

また、本発明の一態様として、上記の自動追尾装置であって、前記形状変化検出手段は、前記対象物体が前記撮像手段の光軸を横切る方向に移動する場合には見掛けの変化が大きく、前記光軸に沿う方向に移動する場合には見掛けの変化が小さいと判断するものも含まれる。

0014

この構成により、対象物体の移動方向によってこの対象物体の形状の変化を適切に判断することが可能となり、テンプレート画像の保持内容を適切に制御することができる。

0015

また、本発明の一態様として、上記の自動追尾装置であって、前記形状変化検出手段は、前記撮像手段のパンチルト角度またはズーム比率が所定値以上制御された場合に前記対象物体の見掛けの変化が発生したと判断するものも含まれる。

0016

この構成により、撮像手段のパン、チルトの制御量、あるいはズーム比率の制御量によって対象物体の形状の変化を適切に判断することが可能となり、テンプレート画像の保持内容を適切に制御することができる。

0017

また、本発明の一態様として、上記の自動追尾装置であって、前記テンプレート保持制御手段は、前記形状変化検出手段において前記対象物体に形状変化があったと判断された場合に、前記テンプレート画像の保持数上限を下げるものも含まれる。

0018

この構成により、対象物体の形状変化がある場合にテンプレート画像の保持数上限を小さくすることで、背景との相関が高いテンプレート画像が保存されることを低減できる。このため、背景とのテンプレートマッチングにより物体の追跡が中断されてしまうことを防止でき、より安定して物体を追跡することが可能になる。

0019

また、本発明の一態様として、上記の自動追尾装置であって、前記テンプレート保持制御手段は、前記形状変化検出手段において前記対象物体に形状変化があったと判断された場合に、前記テンプレート画像の更新頻度を上げるものも含まれる。

0020

この構成により、対象物体の形状変化がある場合にテンプレート画像の更新頻度を上げることで、比較的近い時刻に更新したテンプレート画像の比率を高めることができ、より安定して物体を追跡することが可能になる。

0021

本発明の自動追尾方法は、撮像手段によって撮影された画像を入力し、前記画像中の対象物体を追跡する自動追尾方法であって、入力画像中の対象物体の特徴を示すテンプレート画像を設定するテンプレート設定ステップと、前記対象物体を含む新たな入力画像と前記テンプレート画像との相関演算を行うテンプレートマッチングステップと、前記対象物体の形状変化を検出する形状変化検出ステップと、前記形状変化検出の処理結果に応じて、前記テンプレート画像の更新アルゴリズムを制御するテンプレート保持制御ステップとを有するものである。

0022

この手順により、例えば、対象物体の形状変化があった場合、テンプレート画像の更新アルゴリズムを変更することにより、テンプレート画像の保持内容を適応的に変更することができ、物体をより安定に追跡することが可能となる。

0023

また、本発明は、上記の自動追尾方法の各手順をコンピュータに実行させるためのプログラムを提供する。このプログラムにより、本発明に係る自動追尾方法をコンピュータにより実行させて実現することが可能となる。このプログラムは、メモリハードディスクCD−ROMなどの記録媒体に格納することも可能である。

発明の効果

0024

本発明によれば、画像中の侵入者等の物体を追跡する際に、追跡の中断がなく安定した追尾が可能な自動追尾装置及び自動追尾方法を提供できる。

発明を実施するための最良の形態

0025

以下、本発明の実施形態として、侵入物体等を監視する遠隔監視システムにおいて、テンプレートを用いて撮影画像中の物体を追跡し、カメラのパン、チルト、ズーム動作PTZ動作)を制御して詳細に侵入物体を監視するための自動追尾カメラ等の自動追尾装置、及び自動追尾方法の例を説明する。

0026

(第1の実施形態)
図1は本発明の第1の実施形態に係る自動追尾装置の機能構成を示す図である。

0027

自動追尾装置100は、撮像装置108によって撮影された画像を入力する画像入力部101と、入力画像中の物体領域(対象物体の領域)をテンプレート画像として登録するテンプレート設定部102と、入力画像の中から登録済みのテンプレート画像との相関が高い領域を探索するテンプレートマッチング部103と、テンプレートマッチング処理において追跡中の対象物体の見掛けの形状変化を検出する見掛け形状変化検出部104と、対象物体の見掛けの形状の変化に応じてテンプレートの保持数上限を制御するテンプレート保持制御部105と、対象物体が撮影画像の中央部に映る(位置する)ように撮像装置108をPTZ動作させる撮像装置制御部106と、画像を外部の画像表示装置109に出力する画像出力部107とを有する構成である。

0028

本実施形態では、撮像装置108で撮影され画像入力部101より入力された撮影画像について、テンプレート設定部102において画像中の物体領域がテンプレート画像として登録されてテンプレートが設定される。その後、画像入力部101より入力された新たな撮影画像について、テンプレートマッチング部103において登録済みのテンプレート画像との相関が高い領域が検索される。ここで、追跡中の物体の見掛けの形状変化が検出された場合、追跡物体の見掛けの変化に応じてテンプレート画像の保存数上限がテンプレート保持制御部105の制御により変更される。例えば、追跡物体の見掛けの形状が大きく変化したと判断された場合、テンプレート画像の保存数上限が下げられる。

0029

次に、自動追尾装置100の主要部分の動作について説明する。まず、テンプレート設定部102では、入力画像(撮像装置108による撮影画像)から追跡したい物体領域の画素を含む矩形領域をテンプレート画像として設定する。テンプレート画像の設定方法としては、操作者が入力画像を見ながら物体領域上に手動指示操作して設定しても良いし、入力画像中に輝度変化が発生した領域を物体領域と見なして、ラベリング処理同一ラベルを付与された画素を含む領域をテンプレート画像として自動設定しても良い。

0030

テンプレート画像は、同一物体について取得時刻や更新時刻が異なる複数枚保持することを想定しているが、単数でも構わない。テンプレート画像と入力画像との相関が低くなった場合等には、テンプレートを保存可能な上限枚数まで追加する。上限枚数に達した際は、一部のテンプレートを削除して新しいものを追加する。テンプレート削除のルールとしては、例えば古いものから削除する、相関が低いものから削除するなどがある。

0031

なお、テンプレートの設定方法としては、上記例に限らず、パターン認識技術を利用して、ある画像領域が追跡すべき物体と認識された場合にこの物体領域をテンプレートとして設定してもよい。また、テンプレートのサイズは、物体領域全体を含む大きさに設定するのが一般的であるが、物体領域の頭部周辺等の一部分をテンプレート画像として設定しても良い。また、テンプレート画像は、入力画像から切り出したものであり、入力画像の一部であるが、特に処理を加えずに用いても良いし、エッジ抽出や各種フィルタ処理を施してテンプレート画像としてもよい。

0032

図2は、テンプレートマッチング部103の動作を説明する図である。テンプレートマッチング部103は、画像入力部101より入力された新たな入力画像と登録済みのテンプレート画像との相関を求め、相関性の高い領域を探索する。図2において、(a)に示すようなテンプレート設定部102で設定された直前フレームのテンプレート画像をテンプレート画像Tとし、(b)に示すような新たに入力された入力画像を入力画像Iとする。テンプレートマッチング部103では、入力画像Iからテンプレート画像Tと最も相関が高くなる対応領域201を探索する。ここで、対応領域201の探索は、数十〜数百ms周期毎に繰り返すことで物体位置を追跡することができる。複数のテンプレート画像Tが存在する場合には、対象となる全てのテンプレート画像を用いて探索する。

0033

このとき、直前フレームの処理において相関が最も高かった領域を基準に、最新の入力画像Iに水平垂直数十画素程度の探索範囲202を設定する。相関性を求めるとき、探索範囲202内を走査しながらテンプレート画像Tとの相関を順次に求める。探索範囲202を入力画像全体とすることも考えられるが、演算量が大きすぎることや誤対応が発生しやすいこと等から、一般的には探索範囲を限定する。探索範囲202の広さは、物体の動きにもよるが、水平垂直方向に数画素から数十画素程度である。

0034

画像における相関値算出方法として、正規化相関を用いる場合の例を説明する。テンプレート画像Tの大きさをK(H)*L(V)画素とし、このテンプレート画像T(p,q)が移動して、現フレーム画像I(x,y)内の矩形領域K(H)*L(V)画素になったものとする。このテンプレート画像T(p,q)と現フレーム画像I(x,y)内の矩形領域K(H)*L(V)画素との正規化相関値NRML(xv,yv)は以下の式(1)のように表すことができる。

0035

0036

正規化相関値NRMLは、両画像間の相関が高いほど1.0に近い値となり、相関が無い場合は0である。探索範囲202内にテンプレート画像Tと全く同じ画素値を持つ画像が存在した場合、正規化相関値NRMLは1.0となる。最も相関が高くなる現フレーム上の位置を対応領域201とする。直前のフレームで抽出したテンプレート画像の位置からの対応領域201の移動量が(xv,yv)であり、これがテンプレートの動きベクトルを示す。

0037

なお、上記例では正規化相関によって新たな入力画像とテンプレート画像との相関値を求める方法を説明したが、相関値の算出方法としては、より演算量が小さい差分法差分絶対値和法などの手法も利用できる。

0038

見掛け形状変化検出部104では、追跡中の物体の見かけの形状が変化したことを検知し、後述するテンプレート保持制御部105に通知する。追跡物体の見掛けが変化することは、例えば侵入者の移動方向を用いて判定することができる。

0039

図3は、物体の移動方向とこの物体の撮影画像における見掛けの変化の一例を示す図であり、(a)は撮像装置の光軸を横切る方向へ移動する場合、(b)は撮像装置の光軸に沿う方向へ移動する場合をそれぞれ示している。

0040

図3(a)のように追跡物体301がカメラ等の撮像装置302の光軸を横切る方向へ移動する場合、撮像装置302から見ると、追跡物体301は初めの内は正面が観察されるが、移動するに従い側面を観察することなり、さらに移動すると裏面が観察される。この場合、撮像装置302による撮影画像において、追跡物体301の移動に伴って異なる面が撮影される。したがって、撮影画像において水平方向へ移動する物体は、移動に伴って見掛けの形状変化が大きくなる。

0041

図3(b)のように追跡物体301が撮像装置302の光軸に沿うような移動をする場合、撮像装置302から見ると、追跡物体301は常に正面付近が観察され、移動距離あたりの見掛けの変化が小さい。このとき、別途ズームの制御を適切に行えば画像上での物体の大きさをほぼ一定にすることができる。したがって、撮影画像において垂直方向や奥行き方向に移動する物体や、あるいは画像上での動きが小さい物体は、見掛けの形状変化が小さくなる。ただし、撮像装置の下を通過する場合のように、撮像装置のチルト角俯角)が大きい状態では、移動方向によらず見掛けの形状変化は大きくなる。

0042

追跡物体の移動方向は、テンプレートマッチングによって得られる画像上での移動画素数方向別に積分することなどで把握することができるが、自動追尾装置の場合、常に物体が画像の中央付近となるよう撮像装置自体パンチルト制御されるため、このパンチルト制御量を用いて移動方向を判定することができる。

0043

したがって、見掛け形状変化検出部104は、追跡物体301が撮像装置302の光軸を横切る方向に移動する場合には見掛けの変化が大きく、撮像装置302の光軸に沿う方向に移動する場合には見掛けの変化が小さいと判断する。あるいは、撮像装置302のパンチルト角度またはズーム比率が所定値以上制御された場合に、見掛けの変化が発生したと判断する。

0044

テンプレート保持制御部105は、見掛け形状変化検出部104の処理結果を受けて、画像の保持数上限を適応的に変更した後、テンプレート画像を保存する。このテンプレート画像は、同一物体について複数枚設定し保持することを想定しているが、単数でも構わない。テンプレート画像と入力画像との相関が低くなった場合等には、保存可能な上限枚数までテンプレート画像を追加する。上限枚数に達した際は、所定のルールでテンプレート画像を更新する。例えば古いものを削除した後に新しく追加する。以下に、テンプレート画像と入力画像との相関値とテンプレート画像の数との関係について説明する。

0045

テンプレートマッチング部103において相関演算を行うと、各テンプレート画像と入力画像との相関値CORR、例えば上記式(1)記載の正規化相関値NRMLが結果として得られる。ここで、入力画像と複数のテンプレート画像との相関値が下記の式(2)の条件を満たす場合には、テンプレート画像を追加する。

0046

相関値CORR≦相関値閾値TH_CORR …(2)

0047

複数のテンプレート画像が存在する場合は複数の相関値が得られるが、最大値をもって式(2)の相関値CORRとする。つまり、複数のテンプレート画像と入力画像との相関値CORRが所定の相関値閾値TH_CORR以下となり、相関が低くなった場合は、新しいテンプレートを追加する。

0048

テンプレート画像の保存数は、ある程度保持した方が追跡物体の形状変化に対応することができると考えられるが、多すぎる場合には背景パターンとの相関が高いテンプレートも保存される可能性が高くなる。実際、長時間にわたって取得した多数のテンプレート画像を保持していると、背景のパターンと相関が高いものも保存されてしまい、テンプレートが背景に貼り付いて物体追跡が中断する現象が発生する。

0049

そこで、本実施形態では、物体の見掛けが大きく変化したと判定された場合には、テンプレート画像の保存数上限を通常より少なくし、追跡性能を劣化させるテンプレート画像を削除して利用されないようにする。既に保存数上限を超えていた場合は、所定のルールで一部のテンプレート画像を削除する。例えば、削除するルールとしては、古いものから削除したり、テンプレートマッチングで追跡物体との相関が低いものから削除したりすることが考えられる。

0050

図4は第1の実施形態におけるテンプレート保持制御部105によるテンプレート画像の制御動作を示すフローチャートである。

0051

テンプレート保持制御部105は、見掛け形状変化検出部104における検出結果により、追跡物体の見掛けの形状変化があるかを判断する(ステップ401)。ステップ401において、追跡物体の見掛けの形状変化が所定量以上あると判断した場合、テンプレート画像の保存数上限を通常より少なくする(ステップ402)。これにより、追跡物体の見掛けの形状が大きく変化した場合に、追跡性能を劣化させるテンプレート画像を削除して利用されないようにする。既に保存数上限を超えていた場合は、所定のルールで一部のテンプレート画像を削除する。一方、ステップ401で追跡物体の見掛けの形状変化がないと判断した場合、テンプレート画像の保存数上限を変化させずに処理を終了する。

0052

撮像装置制御部106は、追跡物体が存在する方向に撮像装置108のカメラの光軸(カメラの視野方向)が向くように、パン、チルト等を行うカメラ駆動機構を制御する。これにより、追跡物体が撮影画像の中央部に位置するように撮像装置108が駆動制御される。このとき、テンプレートマッチングによって検出された追跡物体の中心位置と入力画像の中心位置とを比較し、検出された追跡物体の中心位置が入力画像の中心位置に対して左右方向のずれがあった場合、カメラのパンモータを制御し、カメラの光軸を水平方向へ移動させて調節する。また、追跡物体の中心位置が入力画像の中心位置に対して上下方向のずれがあった場合、カメラのチルトモータを制御し、カメラの光軸を垂直方向へ移動させて調節する。

0053

次に、上記のように構成された第1の実施形態の自動追尾装置の全体の動作を図5に基づき説明する。図5は第1の実施形態における自動追尾装置の動作手順を示すフローチャートである。

0054

まず、画像入力部101において、撮像装置108によって撮影された画像を入力する(ステップ501)。そして、テンプレート設定部102において、入力された画像の中の物体領域(追跡対象となる物体の画素領域)をテンプレート画像として登録することで、テンプレートを設定する(ステップ502)。次に、画像入力部101において撮像装置108によって新たに撮影された画像を入力する(ステップ503)。

0055

そして、テンプレートマッチング部103において、新たな入力画像とテンプレート画像とを比較して相関値を算出し、新たな入力画像の中から登録済みのテンプレート画像との相関が高い領域を探索する(ステップ504)。このテンプレートマッチング処理により、追跡物体の画素位置が抽出される。

0056

次に、見掛け形状変化検出部104において、追跡物体の見掛けの形状変化があるかどうかを判定し、判定結果をテンプレート保持制御部105に通知する(ステップ505)。ここで、追跡物体の見掛けの形状変化が大きいと判断した場合、テンプレート保持制御部105において、追跡物体の見掛けの変化に応じてテンプレート画像の保持数上限を下げるように制御する(ステップ506)。一方、追跡物体の見掛けの形状変化が小さいと判断した場合、ステップ506をスキップする。なお、テンプレートの保持数上限を下げるときに、テンプレートの保持数上限を超えている場合は、一部のテンプレート画像を削除する。

0057

そして、テンプレート保持制御部105において、テンプレートマッチング部103での処理結果に基づき、入力画像とテンプレート画像との相関値が所定の閾値以下かどうかを判定し、閾値以下の場合はテンプレート画像を更新する。そして、更新後のテンプレート画像を保存する(ステップ507)。

0058

その後、撮像装置制御部106において、撮像装置108のパン、チルト、ズームの制御を行い、追跡物体が画像の中央部に位置するように撮像装置108をPTZ動作させ(ステップ508)、撮像装置108で追跡物体を含む監視領域を撮像する(ステップ509)。そして、画像出力部107において、撮像装置108で撮影した画像を外部の画像表示装置に出力する(ステップ510)。その後、ステップ503の新たな画像入力処理戻り、同様の処理を繰り返す。

0059

上記のように、第1の実施形態の自動追尾装置では、見掛け形状変化検出部104において追跡対象の物体の見掛けの形状変化を物体の移動方向を元に判定し、見掛けの形状変化がある場合に、相関演算で用いるテンプレート画像の更新アルゴリズムを変更する。具体的には、テンプレート保持制御部105においてテンプレート画像の保存数上限を小さくするようにする。このように、追跡物体の見掛けの変化の検出結果に応じて、テンプレート画像の保持内容を適応的に変更する制御によって、背景パターンとの相関が高いテンプレート画像が保存されることを低減できる。これにより、物体の追跡が中断されてしまうことを防止でき、より安定して物体を追跡することが可能になる。

0060

(第2の実施形態)
第2の実施形態は、自動追尾装置100におけるテンプレート保持制御部105の機能を変更した例である。その他の構成及び動作は前述した第1の実施形態と同様であり、ここでは第2の実施形態の特徴部分を中心に説明する。

0061

第2の実施形態では、テンプレート保持制御部105は対象物体の見掛けの形状の変化に応じてテンプレートの更新頻度を制御する。すなわち、テンプレート保持制御部105は、見掛け形状変化検出部104の処理結果を受けて、画像の更新頻度を適応的に変更した後、テンプレート画像を保存する。画像入力部101より入力された画像は、テンプレートマッチング部103において登録済みのテンプレート画像との相関が高い領域が探索され、追跡中の物体の見掛けの変化が検出された場合、この変化量に応じてテンプレート保持制御部605の制御によりテンプレートの更新頻度が変更される。このとき、物体の見掛けの形状が大きく変化したと判定された場合には、テンプレート画像の更新頻度を通常より高くする。

0062

テンプレート画像は、物体の形状変化に対応すべく、複数持つことが有効であるが、比較的大きな見掛け形状の変化を伴なう動き方をする場合には、テンプレートの更新頻度を高くし、より現在の形状に近いテンプレート画像を保持できるようにする。具体的には、見掛けが大きく変化したと判定された場合には、例えば式(2)で利用したようなテンプレート更新の際に用いる相関値閾値を下げて、テンプレート画像の更新がより頻繁に行われるように変更する。

0063

図6は第2の実施形態におけるテンプレート保持制御部105によるテンプレート画像の制御動作を示すフローチャートである。

0064

テンプレート保持制御部105は、見掛け形状変化検出部104における検出結果により、追跡物体の見掛けの形状変化があるかを判断する(ステップ601)。ステップ601において、追跡物体の見掛けの形状変化が所定量以上あると判断した場合、テンプレート画像の更新頻度を上げる(ステップ602)。これにより、追跡物体の見掛けの形状が大きく変化した場合に、テンプレート画像更新がより頻繁に行われるようにする。一方、ステップ601で追跡物体の見掛けの形状変化がないと判断した場合、テンプレート画像の更新頻度を変化させずに処理を終了する。

0065

次に、第2の実施形態の自動追尾装置の全体の動作を図7に基づき説明する。図7は第2の実施形態における自動追尾装置の動作手順を示すフローチャートである。

0066

図7において、画像入力から追跡物体の見掛けの変化を判断するまでの手順、すなわちステップ501〜505の動作は、図5に示した第1の実施形態と同様である。ステップ505で追跡物体の見掛けの形状変化が大きいと判断した場合、テンプレート保持制御部105において、追跡物体の見掛けの変化に応じてテンプレート画像の更新頻度を上げるように制御する(ステップ706)。一方、追跡物体の見掛けの形状変化が小さいと判断した場合、ステップ706をスキップする。なお、テンプレート画像の更新、保存を行う手順以降、すなわちステップ507以降の動作についても、図5に示した第1の実施形態と同様である。

0067

上記のように、第2の実施形態の自動追尾装置では、見掛け形状変化検出部104において追跡対象の物体の見掛けの形状変化を物体の移動方向を元に判定し、見掛けの形状変化がある場合に、相関演算で用いるテンプレート画像の更新アルゴリズムを変更する。具体的には、テンプレート保持制御部105においてテンプレート画像の更新頻度を上げるようにする。このように、追跡物体の見掛けの変化の検出結果に応じて、テンプレート画像の保持内容を適応的に変更する制御によって、より現在の形状に近いテンプレート画像を保持することができ、追跡物体の見掛け形状の変化に追従してより安定に物体を追跡することができる。

0068

本発明は、画像中の侵入者等の物体を追跡する際に、追跡の中断がなく安定した追尾が可能となる効果を有し、侵入物体等の監視システムにおいて撮影画像中の特定の物体を追跡する自動追尾装置及び自動追尾方法等に有用である。

図面の簡単な説明

0069

本発明の第1の実施形態に係る自動追尾装置の機能構成を示す図
(a)本実施形態のテンプレートマッチング部の動作において直前のフレームのテンプレート画像Tを示す図、(b)本実施形態のテンプレートマッチング部の動作において入力画像Iを示す図
(a)本実施形態において物体が撮像装置の光軸を横切る方向へ移動する場合の見掛けの変化の一例を示す図、(b)本実施形態において物体が撮像装置の光軸に沿う方向へ移動する場合の見掛けの変化の一例を示す図
第1の実施形態におけるテンプレート保持制御部によるテンプレート画像の制御動作を示すフローチャート
第1の実施形態における自動追尾装置の動作手順を示すフローチャート
第2の実施形態におけるテンプレート保持制御部によるテンプレート画像の制御動作を示すフローチャート
第2の実施形態における自動追尾装置の動作手順を示すフローチャート
従来例における物体追跡時の動作を示すフローチャート

符号の説明

0070

100自動追尾装置
101画像入力部
102テンプレート設定部
103テンプレートマッチング部
104見かけ形状変化検出部
105テンプレート保持制御部
106撮像装置制御部
107画像出力部
108、302 撮像装置
109画像表示装置
301 追跡物体

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ