図面 (/)

技術 侵入物体監視方法及び侵入物体監視システム

出願人 株式会社日立国際電気
発明者 伊藤渡上田博唯
出願日 2001年2月28日 (19年8ヶ月経過) 出願番号 2001-054387
公開日 2001年11月16日 (19年0ヶ月経過) 公開番号 2001-320699
状態 特許登録済
技術分野 閉回路テレビジョンシステム 盗難警報装置 警報システム
主要キーワード タンクヤード 監視角度 失敗判定 Y座標 処理作業領域 変化量θ X座標 割当判定
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2001年11月16日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (12)

課題

複数の侵入物体が存在する場面では監視処理量が増加するという問題を低減し、侵入物体監視装置で侵入物体を見失った場合でも別の侵入物体監視装置で監視処理を継続するようにして、信頼性の高い侵入物体監視方法及び侵入物体監視装置を提供する。

解決手段

監視対象領域映像撮像し、監視対象領域に侵入する侵入物体の第1の情報を検出する第1の侵入物体監視装置と、第1の侵入物体監視装置が検出した第1の情報に基づいて、侵入物体を捕捉し、第1の侵入物体監視装置の制御なしに捕捉した侵入物体を追尾する少なくとも1つの第2の侵入物体監視装置とを備え、監視対象領域内に侵入する侵入物体を監視する。

概要

背景

近年、侵入物体監視システムにおいて、カメラ等の撮像装置による画像入力手段を用いた侵入物体監視装置の中には、従来の監視員による有人監視の方法に頼らず、監視対象領域内の侵入物体を自動的に検出し、カメラの視野内に侵入物体が常に捉えられるように侵入物体の検出位置に基づいてカメラを乗せた雲台を制御して、カメラの視線方向等を変更して撮像し、所定の報知や警報、侵入物体映像記録などの処置が得られるようしたものがある。

このようなシステムとしては、例えば、図8に示すような2種類のカメラで構成した監視システムがある。図8はタンクヤードの監視を想定した侵入物体監視システムを説明するための図である。図8において、第1のカメラ802は、監視対象領域804全体を所定の時刻毎に連続的に撮像する画像入力手段である。この第1のカメラ802を含む第1の監視手段は、異なる時刻に撮像した複数のフレーム画像から侵入物体801の検出情報を検出し、検出した侵入物体801に関する検出情報を第2のカメラ803に与える。第2のカメラ803は、第1のカメラ802から与えられる侵入物体801の検出情報に応じて、侵入物体801を自動的に追尾して所定の時刻毎に連続的に撮像する画像入力手段である。

また、第1の監視手段は、引き続き監視対象領域804全体の監視を行い、更に、検出された侵入物体802の追跡を行う。ここで、本明細書の記載における“追跡”と“追尾”とは、以下のように定義される。
追跡:監視用カメラなどの撮像装置の視野内に写る対象物体画面上での位置変化計測する処理。例えば、監視対象領域全体について、対象物体の移動軌跡を求める等、対象物体が検出されてから検出されなくなるまでの時間的変化を監視し記録する。
追尾:撮像装置の雲台制御(カメラの光軸方向の制御)を伴う処理。例えば、移動する対象物体の現時刻の位置を常にカメラの光軸の中心に捉えるように、光軸方向を制御して、監視対象領域の1部である対象物体の領域部分を常に追いかける。

図8と図9とを用いて、第1のカメラ802によって検出された侵入物体801を、第2のカメラ803が追跡する方法を簡単に説明する。図8において、第1のカメラ802により得られた異なる時刻に入力された複数フレームの画像は、画素毎に輝度値の差分を求められ、その差分の大きい領域が侵入物体801として検出される。更に、侵入物体801が検出された場合に、第1のカメラ802側から、侵入物体の検出位置に基いて第2のカメラ803を乗せる雲台を制御する。これによって、第2のカメラ803の視野805内に常に侵入物体801を捉えられるようにすることができる。

図9は、第1のカメラ802による侵入物体検出処理方法原理を説明する図である。この方法は、フレーム間差分法などと呼ばれ、従来から広く用いられている。図9において、減算器909は、時刻t0-1に取得した入力画像901と時刻t0に取得した入力画像902とについて画素毎の輝度値の差分を計算し、入力画像901と入力画像902との差分画像904を出力する。同様に減算器910も、時刻t0に取得した入力画像902と時刻t0+1に取得した入力画像903との画素毎の輝度値の差分を計算し、入力画像902と入力画像903との差分画像905を出力する。次に、二値化器911は、差分画像904の画素毎の輝度値が所定のしきい値Th未満の輝度値を“0”、しきい値Th以上の画素の輝度値を、例えば“255”(1画素の輝度値を8ビットで計算)として二値化画像906を得る。二値化器912もまた同様の処理を行い、差分画像905から二値化画像907を得る。

次に論理積器913は、二値化画像906と二値化画像907との画素毎の輝度値の論理積を計算し論理積画像908を出力する。これによって入力画像901,902,903に写った人型物体914,915,916は、減算器909または910によって差分が生じた領域917または918として算出される。そして、二値化器911または912によって輝度値“255”のかたまりの画像919または920として抽出され、更に、論理積器913によって画像919と920を構成する画素の中で、両画像共に輝度値“255”を持つ画素のかたまり画像921が検出される。即ち、画素921が侵入物体として検出される。なお、監視領域内の侵入物体を検出する方法であれば前記フレーム間差分法以外の方法も適用できる。

以上のように第1のカメラ802によって侵入物体が検出された場合には、第1のカメラ802によって検出された侵入物体801の大きさと検出位置の情報に基いて、第1のカメラ802は、制御信号を第2のカメラ803に与える。これによって、第2のカメラ803の監視視野範囲805の方向(雲台の方向)が制御される。これによって、第2のカメラ803は侵入物体801を捕捉することができる。

第2のカメラ803の雲台の制御量を求める方法を図10によって説明する。図10は、第1のカメラ1002の視野範囲1004で検出された侵入物体1001を第2のカメラ1003で追尾する方法を説明するための図である。図10では、簡略化のため第1のカメラ1002と第2のカメラ1003を同じ位置に設置し、第1のカメラ1002の視野の中心(光軸)方向と第2のカメラ1003の基準視野方向(雲台制御角をパン0 ゜、チルト0 ゜)を一致させ、x軸の方向だけに着目して表示している。

図10において、2Wは第1のカメラ1002の視野(監視対象領域)1004全体についての入力画像の横(x軸)方向の画素数(単位:pix)、Δxは検出された侵入物体の第1のカメラ1002の視野中心からの横方向の変位(単位:pix)、θwは第1のカメラ1002の半監視角度(単位:゜)、θxは第2のカメラ1003の雲台のパン制御角度(単位:゜)を表す。ここで、第1のカメラ1002の半監視角度θwは、第1のカメラ1002の撮像素子の横方向の大きさh(単位:mm)と、第1のカメラ1002の焦点距離f(単位:mm)とによって、

概要

複数の侵入物体が存在する場面では監視処理量が増加するという問題を低減し、侵入物体監視装置で侵入物体を見失った場合でも別の侵入物体監視装置で監視処理を継続するようにして、信頼性の高い侵入物体監視方法及び侵入物体監視装置を提供する。

監視対象領域の映像を撮像し、監視対象領域に侵入する侵入物体の第1の情報を検出する第1の侵入物体監視装置と、第1の侵入物体監視装置が検出した第1の情報に基づいて、侵入物体を捕捉し、第1の侵入物体監視装置の制御なしに捕捉した侵入物体を追尾する少なくとも1つの第2の侵入物体監視装置とを備え、監視対象領域内に侵入する侵入物体を監視する。

目的

本発明の目的は、第1のカメラによって得られる入力画像信号を第1の画像処理装置で処理し、第2のカメラによって得られる入力画像信号を第2の画像処理装置で処理し、それぞれの画像処理プロセスを独立に制御することによって監視処理の負荷を分散させることで複数の侵入物体を追尾できるようにすることにある。また更に本発明の目的は、片方の画像処理装置で侵入物体を一時的に見失った場合でも、他方の画像処理装置の処理結果に基いて監視処理を継続するように制御を行うことによって、第1または第2の侵入物体監視装置の少なくとも1つで侵入物体を監視できるようにし、侵入物体を一時的に見失った場合でも、別の侵入物体監視装置の処理結果に基づいて監視処理を継続することによって、迅速かつ効率的で正確に侵入物体を追尾する、信頼性の高い侵入物体監視方法及び侵入物体監視システムを提供することにある。

効果

実績

技術文献被引用数
1件
牽制数
6件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

監視対象領域映像を入力する第1の侵入物体監視装置と、侵入物体追尾する少なくとも1つの第2の侵入物体監視装置とを備える侵入物体監視システムに使用する侵入物体監視方法において、前記第1の侵入物体監視装置によって、前記監視対象領域内に侵入する物体の第1の情報を検出し、前記第1の情報を前記第1の侵入物体監視装置から前記第2の侵入物体監視装置に送り、前記第2の侵入物監視装置によって、前記第1の侵入物体監視装置から送られた前記第1の情報に基づいて前記侵入物体を捕捉し、前記第2の侵入物体検出装置は、前記捕捉した侵入物体の第2の情報を取得し、前記第2の侵入物体監視装置は、前記第1の侵入物体監視装置の制御なしに、前記第2の侵入物体監視装置のカメラを少なくとも制御して、捕捉した前記侵入物体を追尾することを特徴とする侵入物体監視方法。

請求項2

請求項1記載の侵入物体監視方法において、前記第1の侵入物体監視装置は、前記侵入物体の追跡を行い、前記第1の侵入物体監視装置による前記侵入物体の追跡が不可能になったとき、前記第1の侵入物体監視装置は、前記第2の侵入物体監視装置から前記侵入物体の前記第2の情報を取得して追跡を続けることを特徴とする侵入物体監視方法。

請求項3

請求項1記載の侵入物体監視方法において、前記第2の侵入物体監視装置による物体の追尾が不可能になったとき、前記第2の侵入物体監視装置は、前記第1の侵入物体監視装置から前記侵入物体の前記第1の情報を取得して追尾を続けることを特徴とする侵入物体監視方法。

請求項4

監視対象領域をカバーする視野範囲を持つ第1の侵入物体監視装置と、該第1の侵入物体監視装置の前記視野範囲の一部を監視領域とする少なくとも1つの第2の侵入物体監視装置とを有する侵入物体監視システムを使用した侵入物体監視方法において、前記第1の侵入物体監視装置によって、前記監視対象領域の画像を入力する第1の画像入力ステップと、該第1の画像入力ステップによって入力した画像から侵入物体の第1の情報を検出する第1の検出ステップと、該第1の情報に基づいて前記第2の侵入物体監視装置を制御して前記監視領域の画像を入力し、前記侵入物体を捕捉する第2の画像入力ステップと、前記第2の侵入物体監視装置によって、前記監視領域内の前記侵入物体の第2の情報を検出する第2の検出ステップとを設け、該第2の検出ステップによって検出した前記第2の情報に応じて、前記第2の侵入物監視装置を制御して前記侵入物体を追尾することを特徴とする侵入物体監視方法。

請求項5

請求項4記載の侵入物体監視方法において、前記第2の検出ステップによって検出した前記第2の情報は、前記侵入物体の大きさと検出位置を含む情報であり、前記第2の侵入物体監視装置による前記捕捉した侵入物体の追尾は、前記第2の情報に基づき前記第2の侵入物体監視装置の雲台を制御して撮像装置視線方向を変更して行うことを特徴とする侵入物体監視方法。

請求項6

請求項4記載の侵入物体監視方法において、前記第1の検出ステップは、前記侵入物体の前記第1の情報の検出を差分法によって行うことを特徴とする侵入物体監視方法。

請求項7

請求項4記載の侵入物体監視方法において、前記第2の検出ステップは、前記侵入物体の前記第2の情報の検出をテンプレートマッチング法によって行うことを特徴とする侵入物体監視方法。

請求項8

請求項4記載の侵入物体監視方法において、更に、前記侵入物体が新規に検出された侵入物体であるか否かを判定する新規検出物体判定ステップを有し、新規に検出された侵入物体であれば、該新規に検出された侵入物体を前記第2の侵入物体監視装置によって追尾することを特徴とする侵入物体監視方法。

請求項9

請求項8記載の侵入物体監視方法において、前記新規検出物体判定ステップによって、前記侵入物体が新規に検出された侵入物体ではないと判定された場合には、前記第1の侵入物体監視装置によって追跡中の侵入物体であるとして、前記侵入物体の以前の位置から現在の前記侵入物体の位置への変化を、前記追跡中の侵入物体の移動軌跡とすることを特徴とする侵入物体監視方法。

請求項10

請求項8記載の侵入物体監視方法において、前記侵入物体監視方法は更に、前記第2の侵入物体監視装置で撮像した画像を表示装置に表示し、前記第2の侵入物体監視装置で撮像した侵入物体の像に、該侵入物体の移動軌跡を重ねて表示することを特徴とする侵入物体監視方法。

請求項11

請求項1記載の侵入物体監視方法において、前記第1の侵入物体監視装置は、新規に侵入物体を検出した場合に、侵入物体を追尾していない第2の侵入物体監視装置の1つに該新規に検出した侵入物体を追尾させることを特徴とする侵入物体監視方法。

請求項12

請求項4記載の侵入物体監視方法において、前記侵入物体監視方法は更に、前記侵入物体が新規に検出された侵入物体であるか否かを判定する新規検出物体判定ステップを有し、前記第1の侵入物体監視装置は、新規に侵入物体を検出した場合に、侵入物体を追尾していない第2の侵入物体監視装置の1つに該新規に検出した侵入物体の第3の情報を伝達し、該伝達された第3の情報に応じて、前記第2の侵入物体監視装置が前記新規に検出された侵入物体を捕捉し、該捕捉後は、前記第2の侵入物体監視装置が、捕捉した前記侵入物体を前記第1の侵入物体監視装置とは独立に制御することを特徴とする侵入物体監視方法。前記新規検出物体判定ステップによって、前記侵入物体が新規に検出された侵入物体ではないと判定された場合には、前記第1の侵入物体監視装置によって追跡中の侵入物体であるとして、前記侵入物体の以前の位置から現在の前記侵入物体の位置への変化を、前記追跡中の侵入物体の移動軌跡とすることを特徴とする侵入物体監視方法。

請求項13

請求項4乃至請求項12のいずれか1つに記載の侵入物体監視方法において、前記第2の検出ステップによって現時刻で検出された侵入物体の検出情報と、前に検出された侵入物体の検出情報とを比較し、比較した検出情報の差に応じて物体の追跡が失敗したか成功したかを判定する追跡判定ステップを設け、失敗と判定された場合には、更に、前記第1の検出ステップによって検出された前記第2の情報を取得して、追尾を続けることを特徴とする侵入物体監視方法。

請求項14

請求項4乃至請求項13のいずれか1つに記載の侵入物体監視方法において、前記第1の情報と前記第2の情報とを、前記第1の侵入物体監視方法と前記第2の侵入物体監視方法との間で相互に交換することによって、前記監視領域内の侵入物体を監視することを特徴とする侵入物体監視方法。

請求項15

請求項4乃至請求項14のいずれか1つに記載の侵入物体監視方法において、ユーザからの画面切替え要求を入力する画面切替え入力ステップを備え、前記第1の侵入物体監視装置から入力する前記第1の検出情報と、前記第2の侵入物体監視装置から入力する前記第2の情報とについて、前記ユーザからの画面切替え要求に応じて、入力した前記第1の検出情報と前記第2の検出情報の表示方法を変更することを特徴とする侵入物体監視方法。

請求項16

請求項15記載の侵入物体監視方法において、前記画面切替え入力ステップは、更に、前記ユーザが指定した侵入物体の軌跡を重ねて表示することを特徴とする侵入物体監視方法。

請求項17

監視対象領域の映像を撮像し、該監視対象領域に侵入する侵入物体の第1の情報を検出する第1の侵入物体監視装置と、該第1の侵入物体監視装置が検出した前記第1の情報に基づいて、前記侵入物体を捕捉し、前記第1の侵入物体監視装置の制御なしに該捕捉した侵入物体を追尾する、少なくとも1つの第2の侵入物体監視装置とを備え、前記監視対象領域内に侵入する侵入物体を監視することを特徴とする侵入物体監視システム。

請求項18

請求項17記載の侵入物体監視システムにおいて、前記第1の侵入物体監視装置は、侵入物体監視処理部を含み、前記第2の侵入物体監視装置は、前記第1の侵入物体監視装置の前記侵入物体監視処理部とは独立に侵入物体監視処理部を含み、前記第2の侵入物体監視装置が、前記第1の侵入物体監視装置とは独立に、前記第1の侵入物体監視装置が検出した侵入物体を追尾することを特徴とする侵入物体監視システム。

請求項19

請求項17記載の侵入物体監視システムにおいて、前記第2の侵入物体監視装置は更に、前記捕捉した侵入物体の第2の情報を検出し、該第2の情報に基づいて、前記第1の侵入物体監視装置が検出した侵入物体を追尾することを特徴とする侵入物体監視システム。

請求項20

請求項18または請求項19のいずれかに記載の侵入物体監視システムにおいて、前記第2の侵入物体監視装置を複数有し、前記第1の侵入物体監視装置の前記第1の侵入物体監視装置の前記侵入物体監視処理部は、新規に侵入物体が検出されたか否かを判定し、新規に侵入物体が検出されたと判定した場合に、まだ追尾していない第2の侵入物体監視装置に該新規に検出された侵入物体の追尾を割り当て、該割り当てられた第2の侵入物体監視装置は前記新規に検出された侵入物体を捕捉して追尾することを特徴とする侵入物体監視システム。

請求項21

請求項19または請求項20のいずれかに記載の侵入物体監視システムにおいて、前記第2の侵入物体監視装置は、雲台を備え、前記第2の侵入物体監視装置が、前記第1の情報に基づいて前記雲台を制御して前記侵入物体を捕捉することを特徴とする侵入物体監視システム。

請求項22

請求項21記載の侵入物体監視システムにおいて、前記第2の侵入物体監視装置が、前記第2の情報に基づいて前記雲台を制御して前記侵入物体を追尾することを特徴とする侵入物体監視システム。

請求項23

請求項19乃至請求項22のいずれか1つに記載の侵入物体監視システムにおいて、前記第1の情報と前記第2の情報を表示する表示装置を有し、ユーザの指示に応じて、前記侵入物体の情報を表示することを特徴とする侵入物体監視システム。

請求項24

請求項23記載の侵入物体監視システムにおいて、前記侵入物体の前記情報には、前記第1の情報と前記第2の情報から抽出した軌跡を含むことを特徴とする侵入物体監視システム。

技術分野

0001

本発明は、監視ステム係り、特に監視対象領域全体を撮像する第1の侵入物体監視装置と、侵入物体の移動にしたがって撮像装置視野方向追従させて制御する第2の侵入物体監視装置とが、互いに独立に、侵入物体を自動的に監視するようにした侵入物体監視方法及び侵入物体監視システムに関する。

背景技術

0002

近年、侵入物体監視システムにおいて、カメラ等の撮像装置による画像入力手段を用いた侵入物体監視装置の中には、従来の監視員による有人監視の方法に頼らず、監視対象領域内の侵入物体を自動的に検出し、カメラの視野内に侵入物体が常に捉えられるように侵入物体の検出位置に基づいてカメラを乗せた雲台を制御して、カメラの視線方向等を変更して撮像し、所定の報知や警報、侵入物体映像記録などの処置が得られるようしたものがある。

0003

このようなシステムとしては、例えば、図8に示すような2種類のカメラで構成した監視システムがある。図8タンクヤードの監視を想定した侵入物体監視システムを説明するための図である。図8において、第1のカメラ802は、監視対象領域804全体を所定の時刻毎に連続的に撮像する画像入力手段である。この第1のカメラ802を含む第1の監視手段は、異なる時刻に撮像した複数のフレーム画像から侵入物体801の検出情報を検出し、検出した侵入物体801に関する検出情報を第2のカメラ803に与える。第2のカメラ803は、第1のカメラ802から与えられる侵入物体801の検出情報に応じて、侵入物体801を自動的に追尾して所定の時刻毎に連続的に撮像する画像入力手段である。

0004

また、第1の監視手段は、引き続き監視対象領域804全体の監視を行い、更に、検出された侵入物体802の追跡を行う。ここで、本明細書の記載における“追跡”と“追尾”とは、以下のように定義される。
追跡:監視用カメラなどの撮像装置の視野内に写る対象物体画面上での位置変化計測する処理。例えば、監視対象領域全体について、対象物体の移動軌跡を求める等、対象物体が検出されてから検出されなくなるまでの時間的変化を監視し記録する。
追尾:撮像装置の雲台制御(カメラの光軸方向の制御)を伴う処理。例えば、移動する対象物体の現時刻の位置を常にカメラの光軸の中心に捉えるように、光軸方向を制御して、監視対象領域の1部である対象物体の領域部分を常に追いかける。

0005

図8図9とを用いて、第1のカメラ802によって検出された侵入物体801を、第2のカメラ803が追跡する方法を簡単に説明する。図8において、第1のカメラ802により得られた異なる時刻に入力された複数フレームの画像は、画素毎に輝度値の差分を求められ、その差分の大きい領域が侵入物体801として検出される。更に、侵入物体801が検出された場合に、第1のカメラ802側から、侵入物体の検出位置に基いて第2のカメラ803を乗せる雲台を制御する。これによって、第2のカメラ803の視野805内に常に侵入物体801を捉えられるようにすることができる。

0006

図9は、第1のカメラ802による侵入物体検出処理方法原理を説明する図である。この方法は、フレーム間差分法などと呼ばれ、従来から広く用いられている。図9において、減算器909は、時刻t0-1に取得した入力画像901と時刻t0に取得した入力画像902とについて画素毎の輝度値の差分を計算し、入力画像901と入力画像902との差分画像904を出力する。同様に減算器910も、時刻t0に取得した入力画像902と時刻t0+1に取得した入力画像903との画素毎の輝度値の差分を計算し、入力画像902と入力画像903との差分画像905を出力する。次に、二値化器911は、差分画像904の画素毎の輝度値が所定のしきい値Th未満の輝度値を“0”、しきい値Th以上の画素の輝度値を、例えば“255”(1画素の輝度値を8ビットで計算)として二値化画像906を得る。二値化器912もまた同様の処理を行い、差分画像905から二値化画像907を得る。

0007

次に論理積器913は、二値化画像906と二値化画像907との画素毎の輝度値の論理積を計算し論理積画像908を出力する。これによって入力画像901,902,903に写った人型物体914,915,916は、減算器909または910によって差分が生じた領域917または918として算出される。そして、二値化器911または912によって輝度値“255”のかたまりの画像919または920として抽出され、更に、論理積器913によって画像919と920を構成する画素の中で、両画像共に輝度値“255”を持つ画素のかたまり画像921が検出される。即ち、画素921が侵入物体として検出される。なお、監視領域内の侵入物体を検出する方法であれば前記フレーム間差分法以外の方法も適用できる。

0008

以上のように第1のカメラ802によって侵入物体が検出された場合には、第1のカメラ802によって検出された侵入物体801の大きさと検出位置の情報に基いて、第1のカメラ802は、制御信号を第2のカメラ803に与える。これによって、第2のカメラ803の監視視野範囲805の方向(雲台の方向)が制御される。これによって、第2のカメラ803は侵入物体801を捕捉することができる。

0009

第2のカメラ803の雲台の制御量を求める方法を図10によって説明する。図10は、第1のカメラ1002の視野範囲1004で検出された侵入物体1001を第2のカメラ1003で追尾する方法を説明するための図である。図10では、簡略化のため第1のカメラ1002と第2のカメラ1003を同じ位置に設置し、第1のカメラ1002の視野の中心(光軸)方向と第2のカメラ1003の基準視野方向(雲台制御角をパン0 ゜、チルト0 ゜)を一致させ、x軸の方向だけに着目して表示している。

0010

図10において、2Wは第1のカメラ1002の視野(監視対象領域)1004全体についての入力画像の横(x軸)方向の画素数(単位:pix)、Δxは検出された侵入物体の第1のカメラ1002の視野中心からの横方向の変位(単位:pix)、θwは第1のカメラ1002の半監視角度(単位:゜)、θxは第2のカメラ1003の雲台のパン制御角度(単位:゜)を表す。ここで、第1のカメラ1002の半監視角度θwは、第1のカメラ1002の撮像素子の横方向の大きさh(単位:mm)と、第1のカメラ1002の焦点距離f(単位:mm)とによって、

0011

また、この監視条件において、入力画像の横方向の画素数2W、侵入物体1001の検出位置の第1のカメラ1002の視野中心からの横方向の変位Δxと、第1のカメラ1002の半監視角度θwと、第2のカメラ1003の雲台のパン制御角度θxとには、

0012

即ち、第2のカメラ1003の雲台のパン制御角度θxは、

0013

例えば、半監視角度θwを30 ゜、第1のカメラ1002の入力画像の横方向の画素数2Wを320 pix、検出された侵入物体の第1のカメラ1002の視野中心からの変位Δxを40とした場合、第2のカメラ1003の雲台のパン制御角度は8.2 ゜となる。

0014

以上のように、第1のカメラ1002によって異なる時刻に入力した複数フレームの画像を比較して画素毎に輝度値の差分を求め、その差分の大きい領域を侵入物体1001として検出した場合に、その侵入物体1001の大きさと検出位置に基いて第1のカメラ1002から送られる制御信号によって、第2のカメラ1003の雲台が制御される。これによって、第2のカメラ1003の視野範囲1005内に常に侵入物体1001を捕捉できるため、移動する侵入物体を第2のカメラ1003が常に自動的に追尾することができる。上記2つのカメラ構成による監視装置としては、例えば、特開平5−334572号公報及び特開平6−153051号公報がある。

発明が解決しようとする課題

0015

前述の従来技術には、複数の侵入物体を追尾するために複数の第2のカメラを制御する構成とした場合に、侵入物体の数に比例して、第1のカメラが複数の第2のカメラを制御するため、第1のカメラの処理量が増加する欠点があった。更に、第1のカメラで侵入物体が一時的に検出できなくなった場合には、第2のカメラがその侵入物体を捉えられる位置にあっても、継続して追尾を行なうことができないという欠点があった。

0016

本発明の目的は、第1のカメラによって得られる入力画像信号を第1の画像処理装置で処理し、第2のカメラによって得られる入力画像信号を第2の画像処理装置で処理し、それぞれの画像処理プロセスを独立に制御することによって監視処理負荷を分散させることで複数の侵入物体を追尾できるようにすることにある。また更に本発明の目的は、片方の画像処理装置で侵入物体を一時的に見失った場合でも、他方の画像処理装置の処理結果に基いて監視処理を継続するように制御を行うことによって、第1または第2の侵入物体監視装置の少なくとも1つで侵入物体を監視できるようにし、侵入物体を一時的に見失った場合でも、別の侵入物体監視装置の処理結果に基づいて監視処理を継続することによって、迅速かつ効率的で正確に侵入物体を追尾する、信頼性の高い侵入物体監視方法及び侵入物体監視システムを提供することにある。

課題を解決するための手段

0017

上記の目的を達成するために、本発明の侵入物体監視システムは、それぞれ独立な画像処理手段を実行する第1と第2の侵入物体監視装置で構成する。そして、第1の侵入物体監視装置によって、監視対象領域内に侵入する物体の第1の情報を検出し、第1の情報を第1の侵入物体監視装置から第2の侵入物体監視装置に送り、第2の侵入物監視装置によって、第1の侵入物体監視装置から送られた第1の情報に基づいて侵入物体を捕捉し、第2の侵入物体検出装置は、捕捉した侵入物体の第2の情報を取得し、第2の侵入物体監視装置は、第1の侵入物体監視装置の制御なしに、第2の侵入物体監視装置のカメラを少なくとも制御して、捕捉した侵入物体を追尾する。また第1の侵入物体監視装置は、侵入物体の追跡を行い、第1の侵入物体監視装置による侵入物体の追跡が不可能になったとき、第2の侵入物体監視装置から侵入物体の第2の情報を取得して追跡を続ける。また、第2の侵入物体監視装置による物体の追尾が不可能になったとき、第1の侵入物体監視装置から侵入物体の第1の情報を取得して追尾を続ける。

0018

更に、本発明の侵入物体監視方法は、監視対象領域をカバーする視野範囲を持つ第1の侵入物体監視装置と、第1の侵入物体監視装置の視野範囲の一部を監視領域とする少なくとも1つの第2の侵入物体監視装置とを有する侵入物体監視システムを使用し、第1の侵入物体監視装置によって、監視対象領域の画像を入力する第1の画像入力ステップと、第1の画像入力ステップによって入力した画像から侵入物体の第1の情報を検出する第1の検出ステップと、第1の情報に応じて第2の侵入物体監視装置を制御して監視領域の画像を入力し、侵入物体を捕捉する第2の画像入力ステップと、第2の侵入物体監視装置によって、監視領域内の侵入物体の第2の情報を検出する第2の検出ステップとを設け、第2の検出ステップによって検出した第2の情報に応じて、第2の侵入物監視装置を制御して侵入物体を追尾する。また、第2の検出ステップによって検出した第2の情報は、侵入物体の大きさと検出位置を含む情報であり、第2の侵入物体監視装置による捕捉した侵入物体の追尾は、第2の情報に基づき第2の侵入物体監視装置の雲台を制御して撮像装置の視線方向を変更して行う。

0019

更に、第1の検出ステップは、侵入物体の第1の情報の検出を差分法によって行い、また更に、第2の検出ステップは、侵入物体の第2の情報の検出をテンプレートマッチング法によって行う。その他更に、侵入物体が新規に検出された侵入物体であるか否かを判定する新規検出物体判定ステップを有し、新規に検出された侵入物体であれば、新規に検出された侵入物体を第2の侵入物体監視装置によって追尾し、侵入物体が新規に検出された侵入物体ではないと判定された場合には、第1の侵入物体監視装置によって追跡中の侵入物体であるとして、侵入物体の以前の位置から現在の侵入物体の位置への変化を、追跡中の侵入物体の移動軌跡とする。また更に、第2の侵入物体監視装置で撮像した画像を表示装置に表示し、第2の侵入物体監視装置で撮像した侵入物体の像に、侵入物体の移動軌跡を重ねて表示することを特徴とする。また、第1の侵入物体監視装置は、新規に侵入物体を検出した場合に、侵入物体を追尾していない第2の侵入物体監視装置の1つに新規に検出した侵入物体を追尾させる。

0020

更に、本発明の侵入物体監視方法において、侵入物体監視方法は更に、侵入物体が新規に検出された侵入物体であるか否かを判定する新規検出物体判定ステップを有し、第1の侵入物体監視装置は、新規に侵入物体を検出した場合に、侵入物体を追尾していない第2の侵入物体監視装置の1つに新規に検出した侵入物体の第3の情報を伝達し、伝達された第3の情報に応じて、第2の侵入物体監視装置が新規に検出された侵入物体を捕捉し、捕捉後は、第2の侵入物体監視装置が、捕捉した侵入物体を第1の侵入物体監視装置とは独立に制御する。また、新規検出物体判定ステップによって、侵入物体が新規に検出された侵入物体ではないと判定された場合には、第1の侵入物体監視装置によって追跡中の侵入物体であるとして、侵入物体の以前の位置から現在の侵入物体の位置への変化を、追跡中の侵入物体の移動軌跡とする。

0021

、更に、本発明の侵入物体監視方法において、第2の検出ステップによって現時刻で検出された侵入物体の検出情報と、前に検出された侵入物体の検出情報とを比較し、比較した検出情報の差に応じて物体の追跡が失敗したか成功したかを判定する追跡判定ステップを設け、失敗と判定された場合には、更に、第1の検出ステップによって検出された第2の情報を取得して、追尾を続ける。また、第1の情報と第2の情報とを、第1の侵入物体監視方法と第2の侵入物体監視方法との間で相互に交換することによって、監視領域内の侵入物体を監視する。更にまた、ユーザからの画面切替え要求を入力する画面切替え入力ステップを備え、第1の侵入物体監視装置から入力する第1の検出情報と、第2の侵入物体監視装置から入力する第2の情報とについて、ユーザからの画面切替え要求に応じて、入力した第1の検出情報と第2の検出情報の表示方法を変更する。また、画面切替え入力ステップは、更に、ユーザが指定した侵入物体の軌跡を重ねて表示する。

0022

本発明の侵入物体監視システムは、監視対象領域の映像を撮像し、監視対象領域に侵入する侵入物体の第1の情報を検出する第1の侵入物体監視装置と、第1の侵入物体監視装置が検出した第1の情報に基づいて、侵入物体を捕捉し、第1の侵入物体監視装置の制御なしに捕捉した侵入物体を追尾する少なくとも1つの第2の侵入物体監視装置とを備え、監視対象領域内に侵入する侵入物体を監視する。また、第1の侵入物体監視装置は、侵入物体監視処理部を含み、第2の侵入物体監視装置は、第1の侵入物体監視装置の侵入物体監視処理部とは独立に侵入物体監視処理部を含み、第2の侵入物体監視装置が、第1の侵入物体監視装置とは独立に、第1の侵入物体監視装置が検出した侵入物体を追尾する。更に、第2の侵入物体監視装置は、捕捉した侵入物体の第2の情報を検出し、第2の情報に基づいて、第1の侵入物体監視装置が検出した侵入物体を追尾する。また更に、第2の侵入物体監視装置を複数有し、第1の侵入物体監視装置の第1の侵入物体監視装置の侵入物体監視処理部は、新規に侵入物体が検出されたか否かを判定し、新規に侵入物体が検出されたと判定した場合に、まだ追尾していない第2の侵入物体監視装置に新規に検出された侵入物体の追尾を割り当て、割り当てられた第2の侵入物体監視装置は新規に検出された侵入物体を捕捉して追尾する。またその他、第2の侵入物体監視装置は、雲台を備え、第2の侵入物体監視装置が、第1の情報に基づいて雲台を制御して侵入物体を捕捉し、更に、第2の侵入物体監視装置が、第2の情報に基づいて雲台を制御して侵入物体を追尾する。そしてまた、第1の情報と第2の情報を表示する表示装置を有し、ユーザの指示に応じて、侵入物体の情報を表示する。また、侵入物体の情報には、第1の情報と第2の情報から抽出した軌跡を含む。

発明を実施するための最良の形態

0023

まず、本発明の侵入物体監視システムの一実施例を図1によって説明する。図1は、侵入物体監視システムのハードウエア構成を示すブロック図である。第1の侵入物体監視装置101と第2の侵入物体監視装置102とは、第1の通信I/F101hと第2の通信I/F102hとが通信ケーブル107によって接続されている。また、第1の侵入物体監視装置101側では、第1の入力I/F101gが入力装置105に接続されている。更に第1の出力I/F101jが画像切替合成装置106の制御信号入力端子に接続され、また、警告灯104にも接続されている。更にまた、第1の侵入物体監視装置101側の第1の画像出力I/F101iと、第2の侵入物体監視装置102側の第2の画像出力I/F102iとは、画像切替合成装置106に接続され、画像切替合成装置106は監視モニタ103に接続されている。

0024

第1の侵入物体監視装置101において、第1のカメラ101aは第1の画像入力I/F101bに接続され、第1の画像入力I/F101b、第1のCPU101c、第1の画像メモリ101d、第1のプログラムメモリ101e、第1のワークメモリ101f、第1の入力I/F101g、第1の通信I/F101h、第1の画像出力I/F101i、及び第1の出力I/F101jは、第1のデータバス101kにそれぞれ接続されている。また、第2の侵入物体監視装置102において、第2のカメラ102aは第2の画像入力I/F102bに接続され、第2のカメラ102aはカメラ雲台102mに設置され、第2の出力I/F102jは雲台制御装置102lに接続され、雲台制御装置102lはカメラ雲台102mに接続されている。また、第2の画像入力I/F102b、第2のCPU102c、第2の画像メモリ102d、第2のプログラムメモリ102e、第2のワークメモリ102f、第2の通信I/F102h、第2の画像出力I/F102i、及び第2の出力I/F102jは、第2のデータバス102kにそれぞれ接続されている。

0025

図1において、第1のカメラ101aは監視対象区域を含んだ撮像視野内全体を所定の時刻毎に連続的に撮像し、撮像した画像を映像信号に変換して、その映像信号を第1の画像入力I/F101bに与える。第1の画像入力I/F101bは、入力した映像信号を侵入物体監視システムで扱うフォーマット(例えば、幅320 pix、高さ240pix、8 bit/pix)の画像データに変換し、第1のデータバス101kを介して第1の画像メモリ101dに送る。第1の画像メモリ101dは、入力してきた画像データを蓄積する。第1のCPU101cは、第1のプログラムメモリ101eに保存されているプログラムに従って、第1のワークメモリ101fを処理作業領域として使用し、第1の画像メモリ101dに蓄積された画像の解析を行なう。以上の解析の結果、第1の侵入物体監視装置101は、第1のカメラ101aの撮像視野内に侵入物体が侵入したか否か、また侵入物体が侵入した場合には、その検出された侵入物体の大きさや検出位置等の検出情報を得る。第1のCPU101cは、処理結果に応じて第1のデータバス101kから第1の通信I/F101hを介して第2の侵入物体監視装置102へ侵入物体の有無、侵入物体の位置情報、侵入物体追跡結果その他の検出情報を送信する。更に、新規に侵入物体を発見した場合には、第1の通信I/F101hを介して、第2の侵入物体監視装置102のうち、まだ追尾を割り当てられていない第2の侵入物体監視装置102に宛てて、侵入物体追尾割り当てと対象物体の位置情報を送信し、その他、例えば、第1の出力I/F101jを介して警告灯104を点灯したり、例えば監視結果画像を第1の画像出力I/F101iを介して画像切替合成装置106に与える。

0026

第1の通信I/F101hは、第1のCPU101cからの送信データを例えばRS485フォーマットに変換して、通信ケーブル107で接続された1台以上の別の第2の侵入物体監視装置(図1では、1台で代表して描き、以下の説明も第2の侵入物体監視装置102の中の構成要素の参照符号を代表として説明する)へ送信する。また、第1の画像出力I/F101iは、第1のCPU101cからの信号を画像切替合成装置106が使用できるフォーマット(例えば、NTSC映像信号)に変換して、画像切替合成装置106に送る。また、監視モニタは、1台である必要はなく、2台またはそれ以上でもよく、表示する内容もユーザの要求により自由に変更できる。その他、第1の侵入物監視装置101と第2の侵入物監視装置102、及び、入力装置105、画像切替え合成装置106、警告灯104、監視モニタ103間の物理的結合は、上述の実施例以外であっても、必要な情報や信号が伝達できる方法であればどんな方法での良いことはいうまでもない。

0027

次に、第2のカメラ102aは、第2のカメラ102aの有する撮像視野内を所定の時刻毎に連続的に撮像する。カメラ雲台102mは雲台制御装置102lが与える雲台制御信号によって第2のカメラ102aの撮像方向を変える。第2のカメラ102aは、撮像した画像を映像信号に変換し、変換した映像信号を第2の画像入力I/F102bに与える。第2の画像入力I/F102bは、入力した映像信号を第2の侵入物体監視装置102で扱うことができるフォーマット(例えば、幅320 pix、高さ240 pix、8 bit/pix)の画像データに変換し、第2のデータバス102kを介して第2の画像メモリ102dに送る。第2の画像メモリ102dは、送られてきた画像データを蓄積する。第2のCPU102cは第2のプログラムメモリ102eに保存されているプログラムに従って、第2のワークメモリ102f内で第2の画像メモリ102dに蓄積された画像の解析を行なう。以上の解析結果、第2のカメラ102aの撮像視野内に侵入物体が侵入した等の検出情報を得る。

0028

第2のCPU102cは、処理結果に応じて第2のデータバス102kから第2の出力I/F102jを介して雲台制御装置102jへ制御信号を送信すると共に、第2の通信I/F102hを介して第1の侵入物体監視装置101へ侵入物体の位置情報、侵入物体追尾結果等の検出情報を送信する。また更に、検出情報、例えば監視結果画像を第2の画像出力I/F102iを介して画像切替合成装置106に与える。第2の通信I/F102hは、第2のCPU102cからの送信データを例えばRS485フォーマットに変換して、通信ケーブル107で接続された第1の侵入物体監視装置へ送信する。更に、別の第2の侵入物体監視装置が1台以上通信ケーブル107で接続されている場合には、第2の通信I/F102hは、通信ケーブル107を介して、この別の第2の侵入物体監視装置102へも第2のCPU102cからの送信データを送信する。また、第2の画像出力I/F102iは、第2のCPU102cからの信号を画像切替合成装置106が使用できるフォーマット(例えば、NTSC映像信号)に変換して、画像切替合成装置106に送る。

0029

更にまた、入力装置105は、ユーザからの例えばマウス操作キーボード操作等の指示によって表示画像切替等の入力を行ない、監視モニタ103は、画像切替合成装置106を介して、第1の侵入物体監視装置101及び第2の侵入物体監視装置102による監視結果画像を、ユーザから入力された指示により、例えば2画面並べて表示したり、どちらか1つを切り替えて表示する。以下に説明するフローチャートは、すべて上記の侵入物体監視システムのハードウエア構成の一例である図1を使って説明している。

0030

図2図3は、本発明の一実施例の侵入物体監視方法の処理手順の一例を説明するフローチャートであり、上述の図1の侵入物体監視システムに言及しつつ、以下で説明する。本実施例は、監視対象領域全体の映像を撮像する第1の撮像装置(第1のカメラ)から逐次入力する画像信号中から侵入物体を検出し、検出した侵入物体の位置変化を追跡する第1の侵入物体監視プロセスと、第1の侵入物体監視プロセスによって侵入物体が存在すると判定された場合に、第1の侵入物体監視装置から与えられた追尾割り当て要求と侵入物体の位置情報とに基づいて、第2の撮像装置(第2のカメラ)によって、逐次入力する画像信号中の侵入物体を検出し、雲台を制御しながら第2の撮像装置の視野内に常に侵入物体を捉えるように追尾するための第2の侵入物体監視プロセスとを備え、第1の侵入物体監視プロセスを第1の侵入物体監視装置101のCPU101cの下で制御し、第2の侵入物体監視プロセスを第2の侵入物体監視装置102のCPU102cの下で制御することによって、それぞれ独立に制御する。これによって、監視処理対象領域内の侵入物体を追尾させるようにした方法である。図2は第1の侵入物体監視プロセスの一実施例を説明するフローチャートであり、図3は第2の侵入物体監視プロセスの一実施例を説明するフローチャートである。

0031

図2において、侵入物体の監視を開始すると、画像入力ステップ201では、第1のカメラ101aから、例えば、幅320 pix、高さ240 pix、8 bit/pixの入力画像を取得する。侵入物体検出ステップ202では、入力画像に基づき、例えば、図9で説明したように、侵入物体検出処理を行なう。次に、新規検出物体判定ステップ203では、検出された物体の検出位置と、1フレーム前の検出物体との検出位置を比較し、その検出位置の変化量を求める。そして、求めた変化量が所定の量(第1のカメラ101aの視野角に依存する量、例えば、50画素(50 pix))未満の場合には検出物体が1フレーム前にも存在したもの、即ち、新規の検出物体ではないとし、侵入物体追跡ステップ204へ分岐する。ここで、画像入力ステップ201で入力画像を取得する時間間隔は、例えば、100 msecであり、従って、1フレーム前とは、100 msec前の時刻である。また、変化量が所定の量以上の場合には、以前に検出された物体が移動すると予想される距離以上離れた場所で検出されたので、新規に検出された物体として侵入物体追尾割当ステップ207へ分岐する。

0032

侵入物体追跡ステップ204では、1フレーム前の検出物体を現時刻の検出物体の1フレーム前の検出物体とみなし、その位置変化を侵入物体の移動軌跡であるとする。次に追跡失敗判定ステップ205では、侵入物体の1フレーム前に求めた移動軌跡と現時刻に求めた移動軌跡の角度変化量を計算し、角度変化量が所定の値(例えば90 ゜)以上変化していた場合には、追跡失敗と見なす。これは、侵入物体が、通常、急激に進行方向を変えないという知見に基づく。1フレーム前に求めた移動軌跡と現在求めた移動軌跡の変化量θは、1フレーム前に侵入物体が座標(x11,y11)から座標(x12,y12)、現在のフレームで侵入物体が座標(x21,y21)から座標(x22,y22)と移動したものとすると、次式のように算出される。

0033

0034

追跡失敗判定ステップ205で追跡失敗と判定された場合には、第1の通信I/F101hを介して、第2の侵入物体監視装置102に侵入物体の追跡結果を送信すると共に、視野外移動判定ステップ206に進み、視野外移動判定ステップ206において、画像切替合成装置106を介して監視モニタ103へ信号が送られ、監視モニタ103は例えば“侵入物体見逃し”等の表示を行い、全検出物体終了判定ステップ208に分岐する。以上のように、追跡失敗判定ステップ205で、追跡失敗と判定された場合には、追跡失敗という追跡結果を第2の侵入物体監視装置102に送信すると述べた。尚、上記「侵入物体の追跡結果」とは、侵入物体がどのように動いたかを表す情報で、例えば、対象物体の位置や移動量や移動方向などを含む情報である。例えば、次のような、ありえない数値を侵入物体の追跡結果として第2の侵入物体監視装置102に送信するようにしても良い。例えば、カメラ101aあるいは102aによって得られる入力画像が、横256画素、縦192画素で構成され、画像上の侵入物体の座標位置(X,Y)を横軸(X軸)の0から255までの数値と縦軸(Y軸)の0から191までの数値を組合せて指定するものとする。このとき、例えば、(999,999)は上記ありえない数値として、何か予め定めたところの情報を伝えるために使用することができる。

0035

また、追跡失敗判定ステップ205で追跡が行なえたと判定された場合には、第1の通信I/F101hを介して、第2の侵入物体監視装置102に侵入物体の位置情報と共に追跡結果を送信し、全検出物体終了判定ステップ208へ分岐する。尚、図2の右向きの太い矢印は、第1の侵入物体監視プロセスの処理結果の情報を第2の侵入物体監視プロセスを処理する第2の侵入物体監視装置のいずれかに宛てて送信することを表す。また、侵入物体追尾割当ステップ207では、第1の通信I/F101hを介して、現在追尾を行っていない第2の侵入物体監視装置102に侵入物体の位置情報と共に追尾割当の信号を送信し、全検出物体終了判定ステップ208へ分岐する。

0036

図11は、本発明の一実施例の通信ケーブル107に流れる通信情報の構成を表す一例である。通信データは、7バイトのデータ列から構成されており、STX3201、DST3202、SRC3203、COM3204、DT13205、DT23206、ETX3207の順で送信される。ここで、STX3201は、通信データの先頭バイトを表し(Start of TeXt)、例えば $A0($ は16進数の数値であることを表す)を用いる。更に、DST3202は送信宛先(Destination)のID(識別名)、SRC3203は送信元(Source)のIDを表し、例えば、第1の侵入物体監視装置101のIDを“1”、第2の侵入物体監視装置102のIDを“2”とした場合、第1の侵入物体監視装置101から第2の侵入物体監視装置102へ通信データを送信する場合、DST = 2、SRC = 1となる。更に、COM3204は、通信データの内容(Command)を表し、このデータで通信データが、例えば、追尾割当要求なのか、追跡結果なのか、あるいは追尾結果なのかを表す。例えば、追尾割当要求の場合はCOM = 1、追跡結果の場合はCOM = 2、追尾結果の場合はCOM = 3とする。更に、DT13205、DT23206は、付加情報1(Data 1)と付加情報2(Data 2)を表し、通信データの内容COM3204と組合わせて用いる。例えば、追尾割当要求(COM = 1)とした場合、追尾すべき対象物体がどの位置に存在するかを第2の侵入物体監視装置に送信しなければならないが、この場合、付加情報1(Data1)に対象物体のX座標、付加情報2(Data 2)に対象物体のY座標を指定する。さらに、ETX3207は、通信データの終了バイトを表し(End of TeXt)、例えば$AFを用いる。以上の通信データを用いることで、複数の侵入物体監視装置間で追尾割当要求、対象物体の追跡結果、対象物体の追尾結果をやり取りすることができる。なお、ここでは、通信データを7バイトのデータ列で構成したが、7バイト以外のデータ列で構成したり、また送信するデータの内容に応じて可変長にすることも可能である。

0037

全検出物体終了判定ステップ208では、侵入物体検出ステップ202において検出された全ての侵入物体に対して侵入物体追跡ステップ204あるいは侵入物体追尾割当ステップ207が実行された場合に画像入力ステップ201へ分岐し、侵入物体追跡ステップ204あるいは侵入物体追尾割当ステップ207が実行されていない物体が存在する場合は新規検出物体判定ステップ203へ分岐する。

0038

次に図3の第2の侵入物体監視プロセスでは、追尾割当待ちステップ301では、第2の通信I/F102hを介して、第1の侵入物体監視プロセスから、検出物体の位置情報と追尾割当信号が送信されて来るまで待機する。追尾割当判定ステップ302では、追尾割当信号を受信した場合にカメラ雲台制御ステップ303へ分岐し、追尾割当の信号を受信しなかった場合に追尾割当待ちステップ301へ分岐する。

0039

カメラ雲台制御ステップ303では、追尾割当待ちステップ301で受信した侵入物体位置に基づき、第2の出力I/Fを介して雲台制御装置102lを制御することによってカメラ雲台102mを操作して第2のTVカメラ102aの視野1005内(図10)に第1の侵入物体監視プロセスで検出した侵入物体1001(図10)を捉える。カメラ雲台102mの制御量(パン角チルト角)は、例えば、前述の図10で示された方法によって算出される。

0040

次に画像入力ステップ304では、第2のTVカメラ102aから、例えば、幅320 pix、高さ240 pix、8 bit/pixの入力画像を取得する。初期テンプレート作成ステップ305では、画像入力ステップ304で取得した入力画像に基づき図9で説明した侵入物体検出処理を行い、検出された侵入物体をテンプレート画像として第2の画像メモリ102dに記憶する。

0041

次に画像入力ステップ306では、画像入力ステップ304と同様に入力画像を取得する。そして、侵入物体追尾ステップ307では、第2の画像メモリ102dに記憶したテンプレート画像に基づき、画像入力ステップ306で取得した入力画像のテンプレートマッチングを行ない、例えば、第1の侵入物体監視プロセスで検出した侵入物体との位置変化を検出することで侵入物体を追尾する。テンプレートマッチングとは、ある画像中でテンプレート画像として登録された画像がどの位置に存在するかを検出するもので、例えば、1985年に総研出版より出版された田秀行氏監修による『コンピュータ画像処理入門』と題する書籍のP118〜125に解説されている。

0042

次に、追尾失敗判定ステップ308では、侵入物体追尾ステップ307において、テンプレートに登録した侵入物体が検出されなかった場合には第2の通信I/F102hを介して第1の侵入物体監視装置101に侵入物体の追尾結果を送信し、追尾要求待ちステップ301へ分岐する。また侵入物体が検出された場合には、第2の通信I/F102hを介して第1の侵入物体監視手段101に侵入物体の位置情報と共に追尾結果を送信し、テンプレート更新ステップ309へ分岐する。尚、図3の左向きの太い矢印は、第2の侵入物体監視プロセスの処理結果の情報を第1の侵入物体監視プロセスを処理する第1の侵入物体監視装置に宛てて送信することを表す。

0043

テンプレート更新ステップ309では、テンプレートマッチングによって検出された侵入物体の位置の画像を使って、第2の画像メモリ102dに記憶したテンプレート画像を更新する。次に、カメラ雲台制御ステップ310では、侵入物体追尾ステップ307でテンプレートマッチングによって検出された侵入物体の位置に基づき、第2の出力I/Fを介して雲台制御装置102lを制御する。即ち、侵入物体が、画像中央から上方に存在する場合にはカメラ雲台102mのチルト角を適量上向きに変更し、画像中央から下方に存在する場合にはカメラ雲台102mのチルト角を適量下向きに変更する。また、侵入物体が、画像中央から左方に存在する場合にはカメラ雲台102mのパン角を適量左向きに変更し、画像中央から右方に存在する場合にはカメラ雲台102mのパン角を適量右向きに変更する。

0044

なお、上述の実施例では、第1の侵入物体監視装置と第2の侵入物体監視装置とをそれぞれ1台ずつで侵入物体監視システムを構成したが、第2の侵入物体監視手段を複数台で構成することも可能である。

0045

即ち、本発明によれば、第1の侵入物体監視プロセスを第1の侵入物体監視装置101のCPU101cの制御の下で制御し、第2の侵入物体監視プロセスを第2の侵入物体監視装置102のCPU102cの制御の下で制御することによって、それぞれ独立に制御する。第1の侵入物体監視装置は、これによって、監視処理の処理量を分散させることができ、監視対象領域内に複数の侵入物体が存在する場合であっても、監視処理に関わる処理量が増加することなく、それぞれの侵入物体を複数の第2の侵入物体監視装置のいずれかに割り当てることによって侵入物体を追尾させることが可能となる。

0046

図4図5は、本発明の別の実施例の侵入物体監視方法の処理手順の一例を説明するフローチャートである。本実施例は、第1の侵入物体監視プロセスにおいて追跡が行なえなくなった場合でも、第2の侵入物体監視プロセスの追尾結果に応じて第1の侵入物体監視プロセスで追跡処理を継続できるようにしたものである。また、本実施例は更に、第2の侵入物体監視プロセスにおいて追尾が行なえなくなった場合でも、第1の侵入物体監視プロセスの追跡結果に応じて第2の侵入物体監視プロセスで追尾処理を継続できるようにしたものである。

0047

図4は、図2で説明したフローチャートにおいて、追跡失敗判定ステップ205と視野外移動判定ステップ206との間に、追尾失敗判定ステップ401を追加したものである。また図5は、図3で示されるフローチャートにおいて、追尾失敗判定ステップ308から追尾割当待ちステップ301に分岐する間に、追跡失敗判定ステップ501を追加したものである。

0048

図4または図5において、追加したステップ以外のステップの処理は、図2または図3の通りなので説明を省略する。即ち、追跡失敗判定ステップ205において、追跡失敗と見なされた場合には、第1の通信I/F101hを介して、第2の侵入物体監視装置102に侵入物体の追跡結果を送信すると共に、追尾失敗判定ステップ401に進む。

0049

次に、追尾失敗判定ステップ401では、通信I/F101hを介して得られた、第2の侵入物体監視プロセスにおける追尾失敗判定ステップ308(図5)からの追尾失敗の判定に基づき、第2の侵入物体監視プロセスで追尾が失敗した場合(即ち、第1の侵入物体監視プロセスと第2の侵入物体監視プロセスの双方で侵入物体を見失った場合)には、視野外移動判定ステップ206に分岐する。また、追尾が継続して行なわれている場合には全検出物体終了判定ステップ208へ分岐する。そして、視野外移動判定ステップ206では、画像切替合成装置106を介して監視モニタ103へ信号が送られ、監視モニタ103は例えば“侵入物体見逃し”等の表示を行い、全検出物体終了判定ステップ208に分岐する。

0050

図5において、追跡失敗判定ステップ501では、通信I/F102hを介して得られた、第1の侵入物体監視プロセスによる追跡失敗判定ステップ205(図4)から送信された追跡結果に基づき、第1の侵入物体監視プロセスで追跡が失敗した場合(即ち、第1の侵入物体監視プロセスと第2の侵入物体監視プロセスの双方で侵入物体を見失った場合)に追尾割当持ちステップ301へ分岐する。また、第1の侵入物体監視プロセスで追跡が継続して行なわれている場合には、カメラ雲台制御ステップ303へ分岐して侵入物体を継続して追尾する。

0051

即ち、上記本発明によると、第1の侵入物体監視装置と第2の侵入物体監視装置とがそれぞれ独立に制御されることによって、少なくとも片方の侵入物体監視プロセスで侵入物体を検出できていれば監視処理を継続することができるため、監視システムの信頼性を向上させることができる。

0052

更に、図6は、本発明の更に別の実施例の侵入物体監視方法の処理手順の一例を説明するフローチャートである。本実施例は、第1の侵入物体監視プロセスにおいて、入力I/F101gを介して、入力装置105から入力されたユーザ操作に応じて監視モニタ106に表示する監視結果画像を切り替えるものである。図6は、図4で説明した処理フローチャートの全検出物体終了判定ステップ208によって全ての検出物体の処理を終了したと判断された後に、ユーザ入力判定ステップ601と出力画像切替ステップ602を追加したものである。

0053

図6において、ユーザ入力判定ステップ601では、入力I/F101gを介して、入力装置105からのユーザ入力を監視し、ユーザが入力装置105を操作した場合に出力画像切替ステップ602へ分岐し、操作していない場合は画像入力ステップ201へ分岐する。出力画像切替ステップ602では、ユーザの入力操作に応じて画像切替合成装置106を制御し、監視モニタ106へ出力する監視結果画像を切り替える。

0054

図7に、第1の侵入物体監視装置1台と第2の侵入物体監視装置3台とで構成した場合の監視モニタ106へ表示される監視結果の画像の一例を示す。図7は、監視対象領域内に2人の侵入者が存在する場面で、1台目(監視モニタ103で表示中のカメラ2)と2台目(監視モニタ103で表示中のカメラ3)の第2の侵入物体監視装置が、それぞれの侵入物体の追尾をそれぞれ行ない、3台目(監視モニタ103で表示中のカメラ4)の第2の侵入物体監視装置は待機中(追尾割当待ちステップ301及び追尾割当判定ステップ302を実行)の状態にあることを表す。

0055

監視結果画像701は4台のカメラの監視結果画像を画面を4分割して表示したものである。また、監視結果画像702は第1の侵入物体監視装置の監視結果画像を表示し、視野内に写る2人の侵入者の移動軌跡702aと702bを表示したものである。更に、監視結果画像703は1台目の第2の侵入物体監視装置の監視結果画像を表示し、侵入者の表情や細かな動作などと共に画面左下に侵入者の大まかな軌跡である移動経路703aが確認できるように表示したものである。また更に、監視結果画像704は2台目の第2の侵入物体監視装置の監視結果画像を表示し、監視結果画像703と同様に侵入者の表情や細かな動作などと共に画面左下に侵入者の大まかな軌跡である移動経路704aが確認できるように表示したものである。

0056

これらの監視結果画像は、ユーザからの入力操作がある度に監視結果画像701、702、703、704、701と表示(3台目の第2の侵入物体監視装置は待機中であるためスキップされる)される。本発明によると、ユーザからの入力に応じて侵入物体の移動経路や細かな表情といった監視業務上重要な情報を監視員等に提供することができる。

発明の効果

0057

以上のように本発明によれば、第1の侵入物体監視装置と第2の侵入物体監視装置とをそれぞれに内在するCPUの制御の下でそれぞれ独立に制御することによって、監視処理対象領域内の複数の侵入物体を追尾できるため、侵入物体監視システムの処理量を分散することができる。更に、1台の侵入物体監視装置が侵入物体を見失ったとしても、別の侵入物体監視装置によって侵入物体を検出できていれば、その情報を例えば通信ケーブル等を介して受け取ることにより、その情報を利用して侵入物体の監視を継続することができるため、迅速で効率的かつ正確な侵入物体監視が可能となった。これによって、侵入物体の監視性能を著しく向上させることができるため、侵入物体監視システムの適用範囲を大きく広げることができる。

図面の簡単な説明

0058

図1本発明の侵入物体監視システムの構成の一実施例を示すブロック図。
図2本発明の一実施例の処理動作を説明するためフローチャート。
図3本発明の一実施例の処理動作を説明するためフローチャート。
図4本発明の一実施例の処理動作を説明するためフローチャート。
図5本発明の一実施例の処理動作を説明するためフローチャート。
図6本発明の一実施例の処理動作を説明するためフローチャート。
図7本発明の監視モニタに表示される画像の一実施例を示す図。
図8従来の2種類のカメラを用いた監視システムについて説明するための図。
図9侵入物体検出処理方法の原理の一例を説明する図。
図10第1のカメラが検出した侵入物体を、第2のカメラが追尾する方法を説明するための図。
図11本発明の一実施例の通信ケーブル107に流れる通信情報の構成を表す一例。

--

0059

101:第1の侵入物体監視装置、 101a:第1のカメラ、 101b:第1の画像入力I/F、 101c:第1のCPU、 101d:第1の画像メモリ、 101e:第1のプログラムメモリ、 101f:第1のワークメモリ、 101g:入力I/F、 101h:第1の通信I/F、 101i:第1の画像出力I/F、 101j:第1の出力I/F、 101k:第1のデータバス、 102:第2の侵入物体監視装置、 102a:第2のカメラ、 102b:第2の画像入力I/F、 102c:第2のCPU、 102d:第2の画像メモリ、 102e:第2のプログラムメモリ、 102f:第2のワークメモリ、 102h:第2の通信I/F、 102i:第2の画像出力I/F、 102j:第2の出力I/F、 102k:第2のデータバス、 102l:雲台制御装置、 102m:カメラ雲台、 103:監視モニタ、 104:警告灯、 106:入力装置、 106:画像切替合成装置、 107:通信ケーブル、 801:侵入物体、 802:第1のカメラ、 803:第2のカメラ、 804:監視対象領域、 805:第2のカメラの視野範囲、 901,902,903:入力画像、 904,905:差分画像、 906,907:二値化画像、 908:論理積画像、 909,910:減算器、 911,912:二値化器、 913:論理積器、 914,915,916:物体、 917,918:領域、 919,920,921:画像、 1001:侵入物体、 1002:第1のカメラ、 1003:第2のカメラ、 1004,1005:視野範囲。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 積水ハウス株式会社の「 安否確認システム」が 公開されました。( 2020/09/24)

    【課題】居住者の異常を的確に判定し、異常が生じた場合に、より安全に、より確実に、かつ速やかに対応する。【解決手段】住居(10)に設置され、居住者(15)少なくとも心拍数および呼吸数を非接触で検知する第... 詳細

  • アースアイズ株式会社の「 監視装置、監視システム、及び、監視方法」が 公開されました。( 2020/09/24)

    【課題】2次元画像を用いた監視装置において、監視対象とした「人」が行う監視対象とした「物」に対する不定形な一般的動作を抽出して、監視対象とした「人」が、監視対象とした「物」に対して不審度の高い所定の行... 詳細

  • 日産自動車株式会社の「 情報処理装置及び情報処理方法」が 公開されました。( 2020/09/24)

    【課題】車内の個人情報またはプライバシーに係る情報の保護することができる情報処理装置及び情報処理方法を提供する。【解決手段】情報処理装置1は、車内に備えられた撮像装置によって撮像された車内の画像を車外... 詳細

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ