図面 (/)

技術 移動体追尾方法及びその装置

出願人 日本電気株式会社
発明者 亀井俊男
出願日 2000年3月30日 (20年3ヶ月経過) 出願番号 2000-095375
公開日 2001年10月12日 (18年8ヶ月経過) 公開番号 2001-285695
状態 特許登録済
技術分野 スタジオ装置 閉回路テレビジョンシステム スタジオ装置
主要キーワード 侵入物検出 移動量推定 水平方向差分 反復解法 等速度運動 テンプレートメモリ 垂直方向差分 侵入車両
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2001年10月12日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (13)

課題

パンチルト制御機能およびズーム制御機能を有する一台のカメラを用いて、高速で移動する侵入物体を精度良く自動追尾することが可能となる移動体追尾方法及びその装置を提供する。

解決手段

移動体追尾装置は、移動体を自動追尾するための、パン・チルト・ズーム制御機能を有するカメラ1と、侵入物体を検出する侵入物検出手段3と、第1の画像メモリ4と、第2の画像メモリ5と、移動パラメータ算出手段6と、フレーム間動き補償手段7と、移動体推定手段8と、カメラ制御手段9と、を具備した構成としてある。

概要

背景

従来、広範囲監視エリア侵入者侵入車両などあった場合に、これらの侵入物体を検出するとともに、侵入物体のズームアップされた映像データを記録し、かつ、侵入物体を自動的に追尾する監視ステムを実現するために、様々な移動体追尾方法及びその装置が提案されてきた。

(第一従来例)例えば、特開平11−69342号において、パンチルト制御機能およびズーム制御機能を有するカメラ(適宜、PTZカメラ略称する。)を用いた侵入物体追尾画像処理システムが提案されている。この侵入物体追尾画像処理システムは、侵入物体の検出を行う固定した第一のカメラと、この侵入物体をズームアップし、かつ、自動的に追尾する第二のPTZカメラとからなる移動体追尾装置を用いている。

第一の固定カメラは、通常、背景差分法と呼ばれる方法(背景画像と入力された映像の差分を用いて侵入物体を検出する方法)を用いて、侵入物体を検出する。そして、第一の固定カメラの映像から得られた侵入物体の位置や大きさから算出された制御量にもとづいて、第二のPTZカメラが制御されることにより、当該第二のPTZカメラは、侵入物体を自動追尾する。

このように、第一従来例における移動体追尾装置は、物体侵入したことを自動検出するとともに、侵入物体を検出する情報にもとづいて、パン・チルト方向へ回転する雲台を制御して侵入物体を自動追尾し、かつ、ズーミング可能な撮像レンズを制御して侵入物体の拡大を行うことによって、ビデオモニタ画面上に侵入物体を映し出すことができる。したがって、監視者は、ビデオモニタの画面上で侵入物体を容易に確認することをができる。

概要

パン・チルト制御機能およびズーム制御機能を有する一台のカメラを用いて、高速で移動する侵入物体を精度良く自動追尾することが可能となる移動体追尾方法及びその装置を提供する。

移動体追尾装置は、移動体を自動追尾するための、パン・チルト・ズーム制御機能を有するカメラ1と、侵入物体を検出する侵入物検出手段3と、第1の画像メモリ4と、第2の画像メモリ5と、移動パラメータ算出手段6と、フレーム間動き補償手段7と、移動体推定手段8と、カメラ制御手段9と、を具備した構成としてある。

目的

そこで、本発明は上記の問題を解決すべくなされたものであり、パン・チルト制御機能およびズーム制御機能を有する一台のカメラを用いて、高速で移動する侵入物体を精度良く自動追尾することが可能となる移動体追尾方法及びその装置の提供を目的とする。

効果

実績

技術文献被引用数
7件
牽制数
16件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

パンチルト制御機能およびズーム制御機能を有するカメラからの画像データにもとづいて、移動体検出手段が、移動体を検出したときに、前記移動体を自動追尾する移動体追尾方法であって、前記カメラからの映像信号デジタル画像として入力する画像入力インタフェースが、画像データを記憶する第1の画像メモリと、この第1の画像メモリに記憶される画像データの一つ前のフレームにおける画像データを記憶する第2の画像メモリに当該画像データを出力し、前記第1の画像メモリに記憶される画像データと前記第2の画像メモリに記憶される画像データの背景領域における前記移動体の平行移動および拡大縮小移動パラメータを算出し、前記移動パラメータを用いて、前記第2の画像メモリに記憶される画像データを前記第1の画像メモリに記憶される画像データの座標に変換してフレーム間の動き補償を行い、前記フレーム間動き補償手段により動き補償された前記画像データから前記移動体を抽出し、前記移動体の位置および大きさを推定し、前記移動体推定手段から得られる前記移動体の位置と大きさの情報を入力して、前記カメラのパン・チルト制御およびズーム制御を行なうことを特徴とする移動体追尾方法。

請求項2

移動体を自動追尾するための、パン・チルト制御機能およびズーム制御機能を有するカメラと、このカメラからの映像信号をデジタル画像として入力する画像入力インタフェースと、この画像入力インタフェースからの画像データにもとづいて、侵入物体を検出する侵入物検出手段と、前記画像入力インタフェースからの画像データを記憶する第1の画像メモリと、この第1の画像メモリに記憶される画像データの一つ前のフレームにおける画像データを記憶する第2の画像メモリと、前記第1の画像メモリに記憶される画像データと前記第2の画像メモリに記憶される画像データの背景領域における前記移動体の平行移動および拡大縮小の移動パラメータを算出する移動パラメータ算出手段と、前記移動パラメータを用いて、前記第2の画像メモリに記憶される画像データを前記第1の画像メモリに記憶される画像データの座標に変換してフレーム間の動き補償を行うフレーム間動き補償手段と、このフレーム間動き補償手段により動き補償された前記画像データから前記移動体を抽出し、前記移動体の位置および大きさを推定する移動体推定手段と、この移動体推定手段から得られる前記移動体の位置と大きさの情報を入力して、前記パン・チルト制御およびズーム制御を行なうカメラ制御手段と、を具備したことを特徴とする移動体追尾装置

請求項3

上記請求項2に記載の移動体追尾装置おいて、前記移動パラメータ算出手段が、オプティカルフロー拘束条件にもとづき反復勾配法を用いて前記フレーム間の平行移動および拡大縮小の移動パラメータを算出することを特徴とする移動体追尾装置。

請求項4

上記請求項2または請求項3に記載の移動体追尾装置において、前記移動体推定手段が、動き補償された前記第1の画像メモリに記憶される画像データと前記第2の画像メモリに記憶される画像データを用いて、この二つの画像のフレーム間の差分を算出し、このフレーム間の差分にもとづき前記移動体の位置と大きさを推定することを特徴とする移動体追尾装置。

請求項5

上記請求項4に記載の移動体追尾装置おいて、前記移動体推定手段が、前記移動体の大きさあるいは速度に応じて、前記二つの画像のフレーム間の差分を算出する時間間隔を、適応的に変化させることを特徴とする移動体追尾装置。

請求項6

上記請求項2〜請求項5のいずれかに記載の移動体追尾装置において、前記画像入力インターフェースと前記侵入物検出手段からの情報をテンプレートとして記憶するテンプレートメモリと、このテンプレートメモリ,前記第2の画像メモリ及び前記移動パラメータ算出手段からの情報にもとづいて、テンプレートサイズを変換するテンプレートサイズ変換手段と、このテンプレートサイズ変換手段と前記第1の画像メモリからの情報にもとづいて、各テンプレートをマッチングさせるテンプレートマッチング手段を有するテンプレートマッチング追尾部を備えたことを特徴とする移動体追尾装置。

技術分野

0001

本発明は、パンチルト制御機能およびズーム制御機能を有するカメラを用いて、撮像した画像のなかの移動体自動検出しさらに自動追尾する移動体追尾方法及びその装置に関し、特に、広範囲監視エリアを一台のカメラを用いて監視する移動体追尾方法及びその装置に関する。

背景技術

0002

従来、広範囲な監視エリアに侵入者侵入車両などあった場合に、これらの侵入物体を検出するとともに、侵入物体のズームアップされた映像データを記録し、かつ、侵入物体を自動的に追尾する監視システムを実現するために、様々な移動体追尾方法及びその装置が提案されてきた。

0003

(第一従来例)例えば、特開平11−69342号において、パン・チルト制御機能およびズーム制御機能を有するカメラ(適宜、PTZカメラ略称する。)を用いた侵入物体追尾画像処理システムが提案されている。この侵入物体追尾画像処理システムは、侵入物体の検出を行う固定した第一のカメラと、この侵入物体をズームアップし、かつ、自動的に追尾する第二のPTZカメラとからなる移動体追尾装置を用いている。

0004

第一の固定カメラは、通常、背景差分法と呼ばれる方法(背景画像と入力された映像の差分を用いて侵入物体を検出する方法)を用いて、侵入物体を検出する。そして、第一の固定カメラの映像から得られた侵入物体の位置や大きさから算出された制御量にもとづいて、第二のPTZカメラが制御されることにより、当該第二のPTZカメラは、侵入物体を自動追尾する。

0005

このように、第一従来例における移動体追尾装置は、物体侵入したことを自動検出するとともに、侵入物体を検出する情報にもとづいて、パン・チルト方向へ回転する雲台を制御して侵入物体を自動追尾し、かつ、ズーミング可能な撮像レンズを制御して侵入物体の拡大を行うことによって、ビデオモニタ画面上に侵入物体を映し出すことができる。したがって、監視者は、ビデオモニタの画面上で侵入物体を容易に確認することをができる。

発明が解決しようとする課題

0006

ところが、この第一従来例における映像監視追跡装置は、二台のカメラを必要とするために、部品費及び設置工事費が高額となり、顧客のコストダウン要求に応えられないという問題があった。

0007

つまり、この映像監視追跡装置は、侵入物体を検出する際に、背景差分法を用いているが、背景を撮像するためのカメラを動かしてしまうと、カメラを動かした後に撮像した映像とカメラを固定して撮像した背景映像との間の差分量が大きくなってしまい、背景と移動する侵入物体の区別ができなくなる。このため、PTZカメラが侵入物体を追尾しているときに、この背景差分法により侵入物体の検出を行なうためには、固定されたカメラが必要となる。

0008

このような理由から、第一従来例における侵入物体追尾画像処理システムは、一台のカメラを固定カメラとして用いて背景差分法により侵入物を検出し、さらに、もう一台のPTZカメラを用いて侵入物体を追尾する構成としてある。したがって、この映像監視追跡装置は、一台のカメラを用いた構成とすることができない。

0009

(第二従来例)また、カメラを一台のみ使用する技術として、例えば、特開平10−13821号において、一台のパン・チルト制御機能を有するカメラを用いて、侵入物体の検出および追尾を行う映像監視追跡装置が提案されている。この映像監視追跡装置は、背景差分法により侵入物体を検出した後、その侵入物体に対応する画像をテンプレートとして、入力画像との差分が最小となる画像上での位置を検出するテンプレートマッチングを行うことで、侵入物体の位置を求め、この算出データにもとづいてカメラ制御することによって、侵入物体を追尾することができる。

0010

しかし、第二従来例における映像監視追跡装置は、テンプレートマッチングによって追尾しているときにズームアップすると、テンプレートと映像中の侵入物体の大きさに違いが生じるために、精度良く追尾することができない。

0011

また、このテンプレートマッチングにおいて、レンズのズームアップによって生じる対象物の大きさの変化に対応するには、平行移動の探索に加えて、対象物の大きさの変化を考慮にいれた探索を行う必要があり、この検索を行なうには、膨大な演算処理を必要とするので、高速で移動する侵入物体に対しては、実用化できない。このため、第二従来例における映像監視追跡装置は、レンズをズームアップさせて、侵入物体を追尾することができないといった問題があった。

0012

そこで、本発明は上記の問題を解決すべくなされたものであり、パン・チルト制御機能およびズーム制御機能を有する一台のカメラを用いて、高速で移動する侵入物体を精度良く自動追尾することが可能となる移動体追尾方法及びその装置の提供を目的とする。

課題を解決するための手段

0013

上記目的を達成するために、本発明における請求項1記載の移動体追尾方法は、パン・チルト制御機能およびズーム制御機能を有するカメラからの画像データにもとづいて、移動体検出手段が、移動体を検出したときに、前記移動体を自動追尾する移動体追尾方法であって、前記カメラからの映像信号デジタル画像として入力する画像入力インタフェースが、画像データを記憶する第1の画像メモリと、この第1の画像メモリに記憶される画像データの一つ前のフレームにおける画像データを記憶する第2の画像メモリに当該画像データを出力し、前記第1の画像メモリに記憶される画像データと前記第2の画像メモリに記憶される画像データの背景領域における前記移動体の平行移動および拡大縮小移動パラメータを算出し、前記移動パラメータを用いて、前記第2の画像メモリに記憶される画像データを前記第1の画像メモリに記憶される画像データの座標に変換してフレーム間の動き補償を行い、前記フレーム間動き補償手段により動き補償された前記画像データから前記移動体を抽出し、前記移動体の位置および大きさを推定し、前記移動体推定手段から得られる前記移動体の位置と大きさの情報を入力して、前記カメラのパン・チルト制御およびズーム制御を行なう方法としてある。

0014

このようにすることにより、パン・チルト制御機能およびズーム制御機能を有する一台のカメラを用いて、高速で移動する移動体を精度良く自動追尾することができる。

0015

また、上記目5を達成するために、本発明における請求項2記載の移動体追尾装置は、移動体を自動追尾するための、パン・チルト制御機能およびズーム制御機能を有するカメラと、このカメラからの映像信号をデジタル画像として入力する画像入力インタフェースと、この画像入力インタフェースからの画像データにもとづいて、侵入物体を検出する侵入物検出手段と、前記画像入力インタフェースからの画像データを記憶する第1の画像メモリと、この第1の画像メモリに記憶される画像データの一つ前のフレームにおける画像データを記憶する第2の画像メモリと、前記第1の画像メモリに記憶される画像データと前記第2の画像メモリに記憶される画像データの背景領域における前記移動体の平行移動および拡大縮小の移動パラメータを算出する移動パラメータ算出手段と、前記移動パラメータを用いて、前記第2の画像メモリに記憶される画像データを前記第1の画像メモリに記憶される画像データの座標に変換してフレーム間の動き補償を行うフレーム間動き補償手段と、このフレーム間動き補償手段により動き補償された前記画像データから前記移動体を抽出し、前記移動体の位置および大きさを推定する移動体推定手段と、この移動体推定手段から得られる前記移動体の位置と大きさの情報を入力して、前記パン・チルト制御およびズーム制御を行なうカメラ制御手段と、を具備した構成としてある。

0016

このように、本発明は、移動体追尾装置としても有効であり、パン・チルト制御機能およびズーム制御機能を有する一台のカメラを用いて、高速で移動する移動体を精度良く自動追尾することができる。

0017

請求項3記載の発明は、上記請求項2に記載の移動体追尾装置おいて、前記移動パラメータ算出手段が、オプティカルフロー拘束条件にもとづき反復勾配法を用いて前記フレーム間の平行移動および拡大縮小の移動パラメータを算出する構成としてある。

0018

このようにすることにより、カメラ移動に起因する背景領域の移動パラメータを精度良く算出することができ、結果的に移動体追尾の信頼性を向上させることができる。

0019

請求項4記載の発明は、上記請求項2または請求項3に記載の移動体追尾装置において、前記移動体推定手段が、動き補償された前記第1の画像メモリに記憶される画像データと前記第2の画像メモリに記憶される画像データを用いて、この二つの画像のフレーム間の差分を算出し、このフレーム間の差分にもとづき前記移動体の位置と大きさを推定する構成としてある。

0020

これにより、移動体の移動パラメータを精度良く算出することができ、結果的に移動体追尾の信頼性を向上させることができる。

0021

請求項5記載の発明は、上記請求項4に記載の移動体追尾装置おいて、前記移動体推定手段が、前記移動体の大きさあるいは速度に応じて、前記二つの画像のフレーム間の差分を算出する時間間隔を、適応的に変化させる構成としてある。

0022

これにより、移動体が高速で移動する場合であっても、追尾することができ、移動体追尾の信頼性を向上させることができる。

0023

請求項6記載の発明は、上記請求項2〜請求項5のいずれかに記載の移動体追尾装置において、前記画像入力インターフェースと前記侵入物検出手段からの情報をテンプレートとして記憶するテンプレートメモリと、このテンプレートメモリ,前記第2の画像メモリ及び前記移動パラメータ算出手段からの情報にもとづいて、テンプレートサイズを変換するテンプレートサイズ変換手段と、このテンプレートサイズ変換手段と前記第1の画像メモリからの情報にもとづいて、各テンプレートをマッチングさせるテンプレートマッチング手段を有するテンプレートマッチング追尾部を備えた構成としてある。

0024

このようにすることにより、移動体追尾装置は、フレーム間差分による追尾モード,テンプレートマッチングによる追尾モード又はハイブリッド追尾モードを自動的に選択して、移動体の追尾を行うことができる。したがって、この移動体追尾装置は、移動体が一旦静止してしまうような場合であっても、精度良く自動追尾を行うことができる。

発明を実施するための最良の形態

0025

以下、本発明の各実施形態について、図面を参照して説明する。先ず、本発明の移動体追尾装置における及びこの装置を用いた方法の第一実施形態について、図面を参照して説明する。

0026

「第一実施形態」図1は、本発明に係る移体追尾装置の第一実施形態における概略ブロック図を示している。

0027

同図において、移動体追尾装置は、パン・チルト制御機能およびズーム制御機能を有するカメラ(PTZカメラ)1と、このPTZカメラ1からの映像信号をデジタル画像として入力する画像入力IF(インターフェイス)2と、画像入力IF2からの画像データにもとづいて、侵入物体を検出する侵入物検出手段3と、画像入力IF2からの画像データを記憶する第1の画像メモリ4と、第1の画像メモリ4に記憶される画像データの一つ前のフレームにおける画像データを記憶する第2の画像メモリ5と、第1の画像メモリ4に記憶される画像データと第2の画像メモリ5に記憶される画像データの背景領域における移動体の平行移動および拡大縮小の移動パラメータを算出する移動パラメータ算出手段6と、この移動パラメータを用いて、第2の画像メモリ5に記憶される画像を第1の画像メモリ4に記憶される画像の座標に変換してフレーム間の動き補償を行うフレーム間動き補償手段7と、このフレーム間動き補償手段7により動き補償された画像データから移動体を抽出し、移動体の位置および大きさを推定する移動体推定手段8と、移動体推定手段8から得られる移動体の位置や大きさの情報(移動体座標信号)を入力しPTZカメラ1のカメラ制御を行うカメラ制御手段9とで構成してある。

0028

PTZカメラ1は、外部インタフェースを有し、かつ、電動式の雲台に配設されたズームカメラであり、外部からの制御信号によって、雲台の左右方向の回転(パン),上下方向の回転(チルト)及びレンズのズーム率が制御される。

0029

ここで、PTZカメラ1は、カメラの光軸,雲台のパンの回転軸及びチルトの回転軸が一点で交差する構成としてあるので、撮像する画像の座標系とパン・チルトの制御量への変換演算を簡略かつ少量化することができる。

0030

画像入力IF2は、PTZカメラ1からのアナログの映像信号をA/D変換によりデジタル化し、第1の画像メモリ4に入力する。なお、PTZカメラ1としてデジタル映像カメラのように圧縮されたデジタル信号を出力するカメラを用いた場合には、画像入力IF2としては圧縮デジタル画像展開して、第1の画像メモリ4に入力する画像入力IFを設ける必要がある。

0031

侵入物検出手段3は、画像入力IF2から入力された画像を用いて侵入物体を検出する。ここで、移動体追尾装置は、侵入物体を検出する侵入物検出モードと、検出した侵入物体をズームアップして追尾する追尾モードの二つのモードを有している。

0032

侵入物検出手段3は、図2に示すように、背景差分法を用いて侵入物体を検出する。ここで、侵入物検出手段3は、各時刻における入力画像信号入力して、この入力画像を記憶する入力画像メモリ31と、背景画像を生成・更新する背景更新手段32と、背景画像を記憶する背景画像メモリ33と、入力画像メモリ31の画像と背景画像メモリ33の画像の差分を算出する差分算出手段34と、差分算出手段34からの画像差分二値化する二値化手段35と、二値化した画像のラベリングを行うラベリング手段36と、得られるラベル画像から侵入物体を識別し、侵入物体の位置情報信号を出力する侵入物識別手段37とで構成してある。

0033

まず、入力画像メモリ31に入力された画像は、背景更新手段32で背景生成および背景更新に利用される。背景更新手段32は、移動体追尾装置が起動したときや、追尾モードが終了し侵入物検出モードとなったときに、背景生成を行ない、また、その後の侵入物検出モードにおいては背景更新を行う構成としてある。

0034

背景更新手段32は、背景生成において、任意のフレームtの画像をf(x,y,t)と表し、これを背景B(x,y,t)として背景画像メモリ33に記録する。そして、背景更新手段32は、次のフレームt+1の背景更新において、背景生成のときからのフレーム数をn、前のフレームにおける背景をB(x,y,t)として、フレームf(x,y,t+1)の画像を利用して次の漸化式にしたがって新しい背景B(x,y,t+1)を計算する。

0035

(数式1)
B(x,y,t+1) = (1-α)B(x,y,t)+αf(x,y,t+1)
ただし、
n<Nのとき:α= 1/(n+1)
n≧Nのとき:α= 1/(N+1)
ここで、αは新しいフレームの影響を背景にどれだけ取り込むか決める係数で、Nは定数であり、例えば、300フレームと設定する。

0036

ここで、例えば、n=1の場合、α=1/(n+1)=1/2となり、f(x,y,t)とf(x,y,t+1)の平均値画像を新しい背景画像B(x,y,t+1)とすることになる。そして、順次、(数式1)による背景を漸化的に計算することで、照明変動などに起因する背景の変化にも柔軟に対応できる背景B(x,y,t)となる。このようにして背景更新手段32により算出された背景画像は、背景画像メモリ33に記憶される。

0037

差分算出手段34は、入力画像メモリ31に記憶される入力画像f(x,y,t)と、背景画像メモリ33に記憶される背景画像B(x,y,t)の差分の絶対値を(数式2)により算出する。
(数式2)
S(x,y,t) = |B(x,y,t)-f(x,y,t)|
そして、差分算出手段34は、この差分画像S(x,y,t)を二値化手段35に出力する。

0038

また、差分算出手段34は、差分画像S(x,y,t)に対して、ガウシアンフィルタなどを畳み込むことにより、平滑化した結果を出力するができ、ノイズに対する悪影響が低減された良好な結果を得ることができる。なお、本実施形態においては、一般的な背景差分法による侵入物検出手段3を用いたが、これに限定するものはなく、例えば、本発明者が特願平11−078641号において提案した物体検出装置を用いて、侵入物検出手段を構成することができる。

0039

二値化手段35は、差分画像S(x,y,t)のしきい値処理により二値化し、この二値化された二値画像をラベリング手段36に出力する。また、ラベリング手段36は、二値画像をラベリング(分類)し、このラベル画像を侵入物識別手段37に出力する。

0040

侵入物識別手段37は、ラベル画像の各ラベル面積を調べて、面積がしきい値以上大きいラベルを侵入物体として判定し、そのラベルを囲う小包矩形を算出する。ここで、侵入物識別手段37は、最小包囲矩形を中心座標m(cx,cy)と大きさ(zx,zy)として算出し、これらからなる侵入物体の位置情報信号を出力する。このように、侵入物検出手段3は、侵入物検出モードにおいて、侵入物体を検出することができる。

0041

移動体追尾装置は、侵入物検出手段3が侵入物体を検出すると、侵入物検出モードから侵入物体を追尾する追尾モードに移行する。次に、移動体追尾装置の追尾モードにおける動作について、図面を参照して説明する。

0042

図3は、移体追尾装置の第一実施形態における追尾モードの動作を説明するための概略フローチャート図を示している。同図において、先ず、移動体追尾装置は、侵入物検出手段3が侵入物体を検出すると、追尾モードに移行し(ステップ30)、続いて、その侵入物体を検出した画像における当該侵入物体の中心座標m(cx,cy)と大きさ(zx,zy)、すなわち、侵入物体の位置情報からカメラ制御手段9を介してPTZカメラ1のパン・チルト・ズームを制御して、侵入物体を最適な画角で捉えられる(ステップ31)。

0043

ここで、侵入物体の中心座標m(cx,cy)データを用いて、PTZカメラ1のパン・チルトを制御する方法について説明する。カメラの座標系と画像面(カメラの結像面、すなわち、CCDなどの撮像面)の関係は、図4に示すように、画像面の中心cと光軸中心(すなわちZ軸)が一致すると近似し、画像面の水平方向をx軸、画像面の垂直方向をy軸とする。ここで、dは、カメラのレンズの焦点距離を表している。

0044

また、同図におけるカメラモデル表現方法は、通常、コンピュータビジョンの分野で用いられる仮想画像平面を用いた表現方法、具体的には、徐剛、辻三郎著「3次元ビジョン」(共立出版、1998年、pp.16−17)に記述されている表現方法により表現してある。

0045

侵入物体の中心座標m(cx,cy)を画像面の中心cに一致させるのに必要なパン角φチルト角θは、(数式3)により近似的に表すことができる。なお、(数式3)は、特許2953497号において、「対象の補足方法およびその装置」に関する技術として記述されている。
(数式3)
パン角φ = −cx/d
チルト角θ = −cy/d
したがって、(数式3)のパン角φとチルト角θとなるように、雲台を制御することにより、侵入物体の位置を画像中心に捉えることができる。

0046

また、ズーム率の制御は、侵入物体の大きさに合わせて制御量を決めれば良く、具体的には、特開平11−69342号において、「対象の補足方法およびその装置」に関するズーム制御方法として記述されている。

0047

このように、カメラ制御手段9が、上述した方法により得られるパン・チルト・ズームの制御量(制御信号)をPTZカメラ1に出力すると、PTZカメラ1は、この制御信号にもとづいて、パン・チルト・ズームを制御する。

0048

ここで、移動体追尾装置は、侵入物体の検出後に、侵入物検出モードのまま、対象物体を追尾するためにPTZカメラ1を移動させると、侵入物体を検出したときのカメラアングルと、その次のフレームにおけるカメラアングルが異なるために背景差分法による侵入物検出が、通常、正常に動作しなくなる。そこで、移動体追尾装置は、侵入物検出モードにより侵入物体を検出すると、侵入物検出モードから追尾モードにモード切り替えを行なってから、追尾モードによる侵入物体の追跡を行う構成としてある。

0049

つまり、移動体追尾装置は、侵入物体を検出したときのフレームを、図1に示すフレームt−1とし、追尾モードに入った最初のフレームをフレームtとして、フレームtとフレームt−1の画像を第1の画像メモリ4と第2の画像メモリ5にそれぞれ記憶する。そして、その後のループでは、前のフレームの画像を第2の画像メモリ5に記憶し、第1の画像メモリ4に次のフレームの新しい画像を入力するように制御する(ステップ32)。

0050

次に、移動パラメータ算出手段6は、第1の画像メモリ4に記憶される画像f(x,y,t)と第2の画像メモリ5に記憶される画像f(x,y,t−1)を用いて、PTZカメラ1のパン・チルト・ズームの変化に起因する背景の移動パラメータを求める(ステップ33)。

0051

ここで、この背景の移動パラメータの推定方法について説明する。まず、撮像されている侵入物体は十分小さく、かつ、画像全体を占める映像は大部分が背景であると仮定し、さらに、侵入物体の影響は無視できるものとして説明する。

0052

そして、画像f(x,y,t)は、PTZカメラ1のパン・チルト・ズームが制御されるとこれらの変動によって、平行移動と拡大・縮小の変換(アフィン変換)を受けて画像f(x,y,t−1)となると仮定することによって、推定することができる。

0053

つまり、二つの画像間の関係式は(数式4)で表される拘束下にあるものとする。
(数式4)
f(x+u,y+v,t) = f(x,y,t-1)
u = γx +α
v = γy +β
ここで、γは拡大縮小を表し、αはx方向の移動量、βはy方向の移動量を表している。

0054

続いて、この移動パラメータを求めるための処理について、図面を参照して説明する。図5は、移体追尾装置の第一実施形態における移動パラメータ算出手段の動作を説明するための概略フローチャート図を示している。同図において、移動パラメータを求める処理は、大きく二つの処理に分かれ、第1の処理は、γ=0と仮定し、平行移動のパラメータα、βのみをSSDマッチングによる相関計算にもとづき推定する処理であり、また、第2の処理は、第1の処理で推定した移動パラメータを初期値として、反復勾配法により移動パラメータα、β、γを推定する処理である。

0055

まず、第1の処理であるステップのSSDマッチングによる初期値推定(ステップ51)について説明する。第1の処理の初期値推定では、(数式5)による差分量J1(u,v)を計算し、その最小を与えるu,vを求める。
(数式5)
J1(u,v) = Σ|f(x+u,y+v,t)-f(x,y,t-1)|2
ただし、Σは背景領域における総和である。

0056

ここでは、評価値として画素値の差の二乗和(SSD:Sum of Square Difference)を用いているが、画素値の差の絶対値和(SAD:Sum of Absolute Difference)や正規化相関などを用いることもできる。また、(u,v)の探索空間は、カメラアングルやレンズのズーム率等に依存するが、前後数画素から数十画素程度の範囲について、画素単位をとれば十分である。

0057

次に、第2の処理において、得られたu,vをそれぞれ移動パラメータα、βの初期値として用い、オプティカルフロー拘束にもとづく移動量に関する条件式を反復勾配法により求める(ステップ52、53、54)。

0058

この反復勾配法は、本発明者が、特開平7−334690号において、「物体の輪郭追跡方法」に関する技術として開示しているが、その原理について簡単に説明する。まず、画像f(x,y,t)と画像f(x,y,t−1)の間の関係が(数4)の拘束下にあると仮定する。

0059

そして、(数式6)の目的関数J2(α,β,γ)を最小化することにより、移動パラメータを求めることができる。
(数式6)
J2(α,β,γ) = Σ |f(x+u,y+v,t)-f(x,y,t-1)|2
ただし、Σは背景領域における総和である。

0060

ここで、(数式6)のf(x+u,y+v,t)をf(x,y,t−1)のまわりでテイラー展開し、1次までの項を用いることで、目的関数J2を近似すると(数式7)となる。
(数式7)
J2(α,β,γ) ≒ Σ| u∂f/∂x+v∂f/∂y+∂f/∂t |2

0061

また、J2(α,β,γ)の最小を与える必要条件は、(数式8)によって与えられる。
(数式8)
∂J2(α,β,γ)/∂α = 0
∂J2(α,β,γ)/∂β = 0
∂J2(α,β,γ)/∂γ = 0

0062

ここで、(数式8)の条件式に(数式4)のu,v、および(数式7)のJ2(α,β,γ)を代入すると、三元一次連立方程式となり、(数式9)に示す解が得られる。
(数式9)
t( αβγ ) = -A-1B
ここで、
A = ΣtWW
B = Σ(∂f/∂ttW)
W = (∂f/∂x∂y/∂y(x∂f/∂y+y∂f/∂y))
ただし、Σは背景領域における総和である。

0063

なお、tXは行列Xの転置行列を表しており、これは解析的に容易に解くことができ、移動パラメータ(α,β,γ)が求められる。しかし、ここで得られるパラメータは、(数式7)を得る段階でテイラー展開しているために移動量が大きい場合には必ずしも精度が良いというわけではない。そのため、通常は反復して解を求める必要がある。このようにして、反復解法によるオプティカルフロー拘束にもとづく移動量推定方法は、反復勾配法と呼ばれる。

0064

したがって、第2の処理では、まずSSDマッチングによって得られた初期値(α,β)にもとづき画像f(x,y,t)のアフィン変換を行う(ステップ52)。次に、オプティカルフロー拘束にもとづく移動量推定を行う(ステップ53)が、これはそれぞれ(数式9)の行列A,列ベクトルBの各要素を計算する過程逆行列A-1を計算する過程、最終的に(数式9)によって得られる移動量(α,β,γ)を計算する過程からなる。

0065

また、行列Wの値には偏微分によって表される項があるが、これは画像の水平方向差分((f(x+1,y,t)−f(x−1,y,t))/2)、垂直方向差分(f(x,y+1,t)−f(x,y−1,t))/2)を用いて計算すればよい。また、時間偏微分はフレーム間の差分を計算すればよい。

0066

続いて、反復回数が十分か否か判定し、不十分であるならば、(α,β,γ)のパラメータを用いて画像f(x,y,t)をアフィン変換するように、変換された画像を用いて移動量の推定を繰り返す(ステップ54)。反復回数が十分であるならば、推定された移動パラメータ(α,β,γ)を出力する。なお、ここで求めるα、βは、サブピクセルの精度が必要である。

0067

上述したように、図3に示すステップ33において、カメラ移動に起因する背景領域の移動パラメータ(α,β,γ)を算出することができる。

0068

次に、移動体追尾装置は、第2の画像の動き補償する(ステップ34)。具体的には、フレーム間動き補償手段17は、算出した移動パラメータ(α,β,γ)を用いて、第1の画像と第2の画像のフレーム間の動きを補償するように、第2の画像をアフィン変換する。ここで、アフィン変換における補間方法として、画素値の補間に対する共一次内挿法(bi−linear interpolation)を用いる。

0069

続いて、移動体推定手段8は、第1の画像と動き補償された第2の画像のフレーム間の差分を計算する(ステップ35)。ここで、フレーム間に写っている背景の僅かなずれによるノイズなどを低減させるために、画像をぼかす処理として、フレーム間差分を行う前後にガウシアンによる畳み込み処理を行う。

0070

具体的には、フレーム間差分の結果D(x,y)は、第1の画像をf(x,y,t)、動き補償した第2の画像をf’(x,y,t−1)として次式で表される。
(数式10)
D(x,y) = G*|G*f(x,y,t)-G*f'(x,y,t-1)|
ここで、Gはガウシアンフィルタ、*は畳み込み処理を表している。また、ガウシアンの畳み込み処理では、図6に示す5行×5列の離散的カーネルを用いている。

0071

続いて、移動体推定手段8は、フレーム間差分を用いて移動体の位置および大きさの推定を行う(ステップ36)。ここで、移動体は、当該移動体を囲む最小包囲矩形による物体枠によって、表現される。この物体枠は、物体枠の予測,物体の中心位置の決定及び物体枠の大きさの変更といった三つの処理によって、求めることができる。

0072

ここで、物体枠の予測は、前回の処理における物体枠が今回のフレームでどこにあるのか予測するものである。具体的には、今回のフレームにおける物体枠は、前回のフレームと今回のフレームのカメラ移動に起因する背景の移動量とカメラの動きを補正し、その後の物体そのものの画像上の速度から計算される移動量を加算することによって、予測される。すなわち、(予測物体枠位置)=(前回の物体枠位置)+(カメラ移動量)+(物体移動量)の関係にもとづいて、物体枠の位置は予測される。

0073

そして、物体の中心位置m(cx,cy)は、予測された物体枠内におけるフレーム間差分D(x,y,t)の重心によって決定される。具体的には、物体の中心位置m(cx,cy)は、(数式11)により算出される。
(数式11)
cx = Σ xD(x,y)/ΣD(x,y)
cy = Σ yD(x,y)/ΣD(x,y)
ただし、Σは予測された物体枠内における総和である。

0074

このようにして求められた中心位置m(cx,cy)を物体の中心として、物体枠の中心を更新する。また、物体枠の大きさは、中心位置m(cx,cy)を中心とした物体枠を初期値として、フレーム間差分D(x,y)を基準にその枠を上下左右に移動させることにより変更する。

0075

具体的には、上下左右のそれぞれの枠ごとに独立に同様の処理を行うが、先ず、一例として、左側の枠を変更する場合について説明する。左側の枠を変更するためには、左枠の近傍で、左枠に関する次の評価値Sleft(x)を(数式12)にしたがって計算する。
(数式12)
Sleft(x) = (ΣyminymaxD(x,y))/(ymax-ymin)
ここで、ymax,yminは、それぞれ物体枠の上限と下限である。

0076

次に、このSleft(x)の値が、しきい値δよりも大きいか否かについて、外側から順番に判定し、しきい値よりも大きい(差分量が大きい)場合に、左枠をその位置に移動する。ここで、判定する範囲において、Sleft(x)の値が、しきい値よりも全て小さい場合には、その判定範囲の最小に枠を縮める。このように、フレーム間差分を物体枠に沿って積算し、その量の大きさにしたがって物体枠を広げたり、縮めたりする。

0077

また、右側や上下の枠を変更するためには、右側や上下の枠について上述した左側と同様な処理をそれぞれ行うことにより変更することができ、このような処理を行なうことにより、物体枠の大きさを変更することができる。

0078

なお、枠の判定範囲は、前後1〜3画素程度の範囲で、しきい値δは、領域面積に応じて次のように設定している。
(数式13)
しきい値δ = k1√(領域面積) + k2
ここで、k1,k2は定数である。また、上記の物体枠の更新では、最小サイズおよび最大サイズを予め設定しており、最小サイズ以下や最大サイズ以上にはならないようにしている。

0079

次に、移動体推定手段8は、追尾モードの終了判定を行い、追尾を終了しない場合は、ステップ31に戻り対象物の追尾を継続し、侵入物検出モードに戻る(ステップ37)。ここで、追尾モードは、移動体が監視エリアを出た場合,移動体がカメラのパン・チルトの範囲外に出た場合及び移動体が静止して一定時間以上経過した場合の少なくともいずれかの条件を満たす場合に、終了する。

0080

また、移動体追尾装置は、移動体推定手段8が、ステップ37において、追尾を終了する場合には、PTZカメラ1を予め決めておいた指定位置・指定ズーム率に戻し、侵入物検出モードに復帰して侵入物の検出を行う(ステップ38)。

0081

このように、移動体追尾装置は、一台のPTZカメラ1を用いて、対象物を追尾しつつ、ズーミング可能な移動体の自動追尾を行うことが可能となるが、追尾をより高速でしかもより精度良く行うためには、フレーム間差分を計算する際(ステップ35)、何フレーム前のフレームを"前フレーム"として用いるかが重要となる。

0082

つまり、通常画像上の大きさが小さい物体は、その移動量も画像上で小さくなるために、フレーム間差分の差分量も小さくなる。これは、実世界において同じ大きさで等速度運動している物体が、画像上で小さく見える場合には、画像上での速度も小さくなるためであり、このため、画像上の大きさが小さい場合にはできるだけフレーム間差分をとる際の時間間隔を長くすることが望ましい。

0083

逆に、対象物が画像上で大きく写っている場合には、画像上での動きも大きくなるので、フレーム間差分の時間間隔を長くとりすぎると、対象物の動きが大きすぎて位置の不確定さが顕著になってしまうので、画像上の大きさが大きい場合には、できるだけフレーム間差分をとる際の時間間隔を短くすることが望ましい。

0084

このように、フレーム間差分をとる際の時間間隔を変更する場合には、第一の変更例として、ステップ34の動き補償において、前フレームを対象物の面積(最小包囲矩形による長方形の面積)に応じて、例えば、次のように変更することができる。ただし、この場合、過去のフレームを保存しておくためのフレームメモリが必要となる。

0085

領域面積が、条件1(領域面積≦32×32画素)となるときは、前フレームを4フレームとする。また、領域面積が、条件2(32×32画素<領域面積≦48×48画素)となるときは、前フレームを3フレームとする。また、領域面積が、条件3(48×48画素<領域面積≦64×64画素)となるときは、前フレームを2フレームとする。また、領域面積が、条件4(64×64画素<領域面積)となるときは、前フレームを1フレームとする。

0086

また、フレーム間差分をとる際の時間間隔を変更する場合の第二の変更例として、直接、移動体の速度から求めることができる。この移動体の速度は、例えば、過去のフレームにおける位置(ただし、カメラの動きに起因する成分を除いておく)の差分から容易に求められる。この際、nフレーム前の動き補償するためのアフィン変換パラメータは、次のように計算する。

0087

nフレーム前のフレームを動き補償するためのアフィン変換パラメータを行列<An>と列ベクトル<bn>として、各フレーム間で求められる移動パラメータを(αi,βi,γi)とすると、次式で表すことができる(図7を参照願います。)。

0088

(数式14)
At = (1+γt)E
bt = t(αtβt)
ここで、Eは2行×2列の単位行列であり、(数式15)を用いて算出することができる。
(数式15)
<An> = AtAt-1...At-(n-1)=((1+γt)(1+γt-1)...(1+γt-(n-1)))E=(Π(1+γi))E
<bn> = AtAt-1... At-(n-2)bt-(n-1) +...+ Atbt-1 +bt

0089

このように、第一実施形態に係る移動体追尾装置は、上述した構成とすることによち、一台のPTZカメラ1を用いて、対象物を追尾しつつ、ズーミング可能な移動体の自動追尾を高速で精度良く行うことが可能となる。さらに、この移動体追尾装置は、移動体の大きさに応じて適応的にフレーム間差分を計算する際のフレーム間隔を変えることにより、追尾精度の向上を図ることができる。

0090

次に、本発明の移動体追尾装置における及びこの装置を用いた方法の第二実施形態について説明する。
「第二実施形態」図8は、移体追尾装置の第二実施形態における動作を説明するための概略フローチャート図を示している。

0091

同図において、移動体追尾装置は、侵入物追尾モードにおいて、上述の動き補償したフレーム間差分による追尾(ステップ84)と、テンプレートマッチングによる追尾(ステップ85)と、フレーム間差分による追尾とテンプレートマッチングによる追尾の中間的な性質を持つハイブリッド追尾(ステップ86)とを行なう追尾手段を備え、かつ、これら三つの追尾モードのなかから、追尾モードを選択し(ステップ83)、これらの追尾モードを切替えながら移動体を追尾する構成としてある。

0092

なお、全体的な構成は、侵入物検出モードにおいて検出した対象物を侵入物検出モードにおいてその画像上の位置を追尾し、さらにカメラを制御するという点で、第一実施形態と同様であり、侵入物検出モードや追尾終了判定、カメラ制御については、第一実施形態と同様の構成としてある。

0093

この移動体追尾装置は、本発明者がフレーム間差分による追尾モードのみを有する移動体追尾装置が、移動体が動いている場合には精度良く追尾が行えるものの、移動体が一旦静止してしまうと、フレーム間差分による追尾モードだけでは、追尾対象の移動体を見失う恐れがあったことに鑑みて開発したものであり、フレーム間差分による追尾モード(ステップ83)の他に、移動体が静止するようなときには、テンプレートマッチングによる追尾(ステップ85)やハイブリッド追尾(ステップ86)を自動的にモード選択(ステップ84)することによって、精度良く追尾することができる。

0094

具体的に、先ず、侵入物追尾モードにおけるテンプレートマッチングによる追尾について、図面を参照して説明する。図9は、移体追尾装置の第二実施形態におけるテンプレートマッチング追尾部を説明するための概略ブロック図を示している。

0095

同図において、移動体追尾装置は、画像入力IF2と侵入物検出手段3からの情報をテンプレートとして記憶するテンプレートメモリ91と、このテンプレートメモリ91,第2の画像メモリ5及び移動パラメータ算出手段6からの情報にもとづいて、テンプレートサイズを変換するテンプレートサイズ変換手段92と、このテンプレートサイズ変換手段92と第1の画像メモリ4からの情報にもとづいて、各テンプレートをマッチングさせるテンプレートマッチング手段93を有するテンプレートマッチング追尾部90を備えた構成としてある。なお、その他の構成は、第一実施形態と同様としてある。

0096

テンプレートメモリ91は、画像入力IFから撮像データにもとづいて、テンプレートを記憶(更新)するが、この際、テンプレートを更新するタイミングは、先ず、侵入物体が検出されると、侵入物領域をテンプレートとして新規設定し、その後は、追尾しているときにおける追尾モードの直前の追尾モードによって、具体的には、図10に示す条件にしたがって、テンプレート及びテンプレートサイズを更新する。

0097

つまり、テンプレートメモリ91は、同図に示すように、直前の追尾モードがフレーム間差分による追尾モードの場合は、対象物の変形やカメラとの位置関係の変化に対応させるために、テンプレート画像およびテンプレートサイズを侵入物領域の画像に更新する。また、同様に、テンプレートマッチングによる追尾の場合は、テンプレート画像もそのサイズも更新せず、前フレームでの追尾で用いていたものと同じテンプレートを用いる。さらにまた、同様に、ハイブリッド追尾の場合は、テンプレート画像は更新されるが、テンプレートサイズは更新されない。

0098

テンプレートサイズ変換手段93は、移動パラメータ算出手段6において算出された移動パラメータ(α,β,γ)の中でスケール変換パラメータγを用いて、テンプレートサイズの変換を行う。

0099

具体的には、テンプレートサイズ変換手段93は、図11に示すように、テンプレートが更新されたときから各フレーム間ごとに求められるカメラ移動量γiを用いて、追尾するときのフレーム(現フレーム)で必要とされるスケールパラメータΓ=Π(1+γi)を計算し、追尾するときのフレームで必要とされるテンプレートサイズになるようにテンプレートメモリ91に記憶されるテンプレートを拡大・縮小することでテンプレートサイズの変換を行う。

0100

テンプレートマッチング手段93は、サイズ変換されたテンプレートをT(x,y)として、(数式16)に示すSADマッチングにより最も類似度の高い最適位置を探索する。
(数式16)
JSAD(a,b) = Σ|f(x-a,y-b,t)-T(x,y)|
(a,b) = minJSAD(a,b)
ただし、Σはテンプレートにおける総和である。このようにして、移動体追尾装置は、侵入物の位置を更新した後に、カメラ制御を行い次のフレームの処理に移行する。

0101

次に、ハイブリッド追尾について説明する。ハイブリッド追尾は、フレーム間差分による追尾とテンプレートマッチング追尾の評価値を組み合わせて追尾するモードである。つまり、フレーム間差分による追尾は、侵入物が動いている場合に有効な方法であり、また、テンプレートマッチングによる追尾は、侵入物が静止している場合にそれぞれ有効な方法であるのに対し、ハイブリッド追尾モードは、それらの中間的な性質を持つものとして設けている。

0102

具体的には、ハイブリッド追尾モードの評価関数Jhybridは、(数式15)に示すようにテンプレートマッチング追尾におけるSAD値とフレーム間差分D(x,y)の疑似二次モーメント量による評価値の二つの評価関数の線形和により設定している。
(数式17)
Jhybrid(a,b) =kSADJSAD(a,b)+ kmJm(a,b)
JSAD(a,b) = Σ|f(x-a,y-b,t)-T(x,y)|
Jm(a,b) = ΣD(x,y)(x-a)2+D(x,y)(y-a)2
ただし、Σはテンプレートにおける総和である。

0103

この評価関数Jhybrid(a,b)を最小化する(a,b)を求め、それにもとづき侵入物体の位置を決める。この際、上述したように、物体枠の大きさやテンプレートサイズは更新されず、テンプレートマッチング追尾やハイブリッド追尾で必要となるテンプレート画像は更新される。

0104

このように、ハイブリッド追尾(ステップ87)は、移動量が少ないが対象物が変形をしているために、テンプレートマッチングによる追尾とフレーム間差分による追尾ともに追尾が難しいと判断される場合に、それぞれの中間的な性質を備えることによって、追尾精度を向上させることができる。具体例としては、図12に示すように、ズーム制御された現フレームにおいて、移動体と背景の木が重なり移動体を抽出できない場合に、動き補正した前フレームを用いて、フレーム間差分の結果として、移動体を抽出することができる。

0105

上述したように、第二実施形態における移動体追尾装置は、フレーム間差分による追尾モード,テンプレートマッチングによる追尾モード又はハイブリッド追尾モードを自動的に選択して、移動体の追尾を行うことができる。したがって、この移動体追尾装置は、移動体が一旦静止してしまうような場合であっても、精度良く自動追尾を行うことができる。

0106

また、本発明は、上述したように、移動体追尾方法としても有効であり、移動体追尾方法として実施することにより、移動体追尾装置における各実施形態と同様の効果を得ることができる。さらにまた、本発明において、検出する対象は、移動する物体、すなわち移動体でり、侵入物体に限定されるものではないことは勿論である。

発明の効果

0107

以上説明したように、本発明においては、パン・チルト・ズーム機能を有するカメラを用いて高速で精度の良い移動体追尾を行うことができる。また、移動体推定手段が、動き補償された第1の画像メモリに記憶される画像データと第2の画像メモリに記憶される画像データを用いて、この二つの画像のフレーム間の差分を算出し、このフレーム間の差分にもとづき前記移動体の位置と大きさを推定することにより、移動体の移動パラメータを精度良く算出することができ、結果的に移動体追尾の信頼性を向上させることができる。

0108

また、移動体推定手段が、移動体の大きさあるいは速度に応じて、二つの画像のフレーム間の差分を算出する時間間隔を、適応的に変化させる方法としてあるが、これにより、移動体が高速で移動する場合であっても、追尾することができ、移動体追尾の信頼性を向上させることができる。

0109

さらにまた、テンプレートメモリが、画像入力インターフェースと侵入物検出手段からの情報をテンプレートとして記憶し、テンプレートサイズ変換手段が、テンプレートメモリ,第2の画像メモリ及び移動パラメータ算出手段からの情報にもとづいて、テンプレートサイズを変換し、テンプレートマッチング手段が、テンプレートサイズ変換手段と第1の画像メモリからの情報にもとづいて、各テンプレートをマッチングさせる方法としてあり、これにより、移動体追尾装置は、フレーム間差分による追尾モード,テンプレートマッチングによる追尾モード又はハイブリッド追尾モードを自動的に選択して、移動体の追尾を行うことができる。したがって、この移動体追尾装置は、移動体が一旦静止してしまうような場合であっても、精度良く自動追尾を行うことができる。

図面の簡単な説明

0110

図1図1は、本発明に係る移体追尾装置の第一実施形態における概略ブロック図を示している。
図2図2は、移体追尾装置の第一実施形態における侵入物検出手段の概略ブロック図を示している。
図3図3は、移体追尾装置の第一実施形態における追尾モードの動作を説明するための概略フローチャート図を示している。
図4図4は、移体追尾装置の第一実施形態におけるカメラモデルを説明するための概略図を示している。
図5図5は、移体追尾装置の第一実施形態における移動パラメータ算出手段の動作を説明するための概略フローチャート図を示している。
図6図6は、移体追尾装置の第一実施形態におけるガウシアンカーネルの一例を示している。
図7図7は、移体追尾装置の第一実施形態におけるフレーム間差分の時間間隔を変えた場合における変換パラメータの計算の仕方を説明するための図を示している。
図8図8は、移体追尾装置の第二実施形態における動作を説明するための概略フローチャート図を示している。
図9図9は、移体追尾装置の第二実施形態におけるテンプレートマッチング追尾部を説明するための概略ブロック図を示している。
図10図10は、移体追尾装置の第二実施形態におけるテンプレートの更新の条件を説明するための図を示している。
図11図11は、移体追尾装置の第二実施形態におけるテンプレートサイズ変換手段における変換パラメータを説明するための図を示している。
図12図12は、本発明における移動体追尾装置のフレーム間の動き補償を説明するための図を示している。

--

0111

1PTZカメラ
2画像入力IF(インタフェース)
3侵入物検出手段
4 第1の画像メモリ
5 第2の画像メモリ
6移動パラメータ算出手段
7フレーム間動き補償手段
8 移動体推定手段
9カメラ制御手段
31入力画像メモリ
32背景更新手段
33背景画像メモリ
34差分算出手段
35二値化手段
36ラベリング手段
37侵入物識別手段
90テンプレートマッチング追尾部
91テンプレートメモリ
92テンプレートサイズ変換手段
93 テンプレートマッチング手段

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • キヤノン株式会社の「 制御装置、撮像装置、制御方法、および、プログラム」が 公開されました。( 2020/04/30)

    【課題】フォーカス制御と撮像面の傾き制御とを短時間で実行可能な制御装置を提供する。【解決手段】制御装置(101)は、画像信号に基づいてフォーカス制御を行うフォーカス制御部(101−2)と、画像信号に基... 詳細

  • キヤノン株式会社の「 撮像装置およびその制御方法」が 公開されました。( 2020/04/30)

    【課題】合焦後の不要なフォーカス素子の再駆動を低減する。【解決手段】撮像装置は、被写体像を撮像する撮像素子107を有する。CPU121は、撮像素子からの出力信号を用いて、位相差検出方式の焦点検出に用い... 詳細

  • キヤノン株式会社の「 撮像装置」が 公開されました。( 2020/04/30)

    【課題】撮影レンズから入射した被写体光がシャッター幕に結像した場合に熱で変形または穴があくことを軽減する撮像装置を提供すること。【解決手段】被写体光を集光する撮影レンズと、撮影レンズを通過した被写体光... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ