図面 (/)

技術 監視装置

出願人 株式会社日立国際電気
発明者 岩永一成伊藤渡
出願日 2017年9月21日 (3年8ヶ月経過) 出願番号 2018-540293
公開日 2019年7月25日 (1年10ヶ月経過) 公開番号 WO2018-056355
状態 特許登録済
技術分野 閉回路テレビジョンシステム 警報システム イメージ分析 異常警報装置
主要キーワード 滞留度 不動領域 停止候補 放置物 発報条件 滞留状況 検出矩形 動的領域
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2019年7月25日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (13)

課題・解決手段

処理負荷の小さいアルゴリズムで、放置物滞留者ノイズロバスト識別、放置物の隠れに頑健な検出技術を提供する。画像監視システムは、入力画像をもとに画像認識処理の基準となる基準画像を生成する基準画像生成部201と、入力画像から基準画像と異なる前景領域を検出する前景抽出部203と、前景領域から不動領域を抽出する不動領域抽出部204と、不動領域の特徴量を抽出する特徴量抽出部205と、特徴量を時間方向で蓄積する特徴量蓄積部206と、蓄積された特徴量が所定の基準を満たす画素クラスタリング停止物を検出する停止物検出部207と、停止物の特徴量及び周囲環境の評価をもとに放置物判定を行う放置物判定部208と、放置物の属性を管理し一定条件下発報する放置物管理部209と、を備える。

概要

背景

従来より、監視カメラ等の撮像装置を用いて、監視対象領域内に侵入する物体監視することが行われている。また、監視員による有人監視ではなく、映像監視装置等が自動的に監視を行う技術が検討されている。このような機能を有する映像監視装置は、検出結果を利用することで移動物体出現した映像のみ記録する機能や、表示装置警告アイコン表示機能、またブザー等を鳴らして監視員の注意を促す機能を実現できるため、従来では常時確認作業が必要であった監視業務の負担低減に役立つ。

監視対象領域内に侵入する物体を自動的に検出する技術の一例として、背景差分法と呼ばれる方法を用いた監視技術が広く知られている(例えば、特許文献1参照)。背景差分法による物体検出方法は、撮像装置等から得られる入力画像と検出すべき物体が映っていない基準となる背景画像との輝度(或いは、画素値)の差分を算出し、算出された検出値が所定のしきい値と比べて大きい変化領域に検出すべき物体が存在する或いはその可能性があるとして監視を行なう。

また、危険物などが放置された状態を検出するために、単に映像内の変化を検出するだけでなく、背景画像との変化が継続的に検出される動きのない領域を放置物体として検出する方法がある。

概要

処理負荷の小さいアルゴリズムで、放置物滞留者ノイズロバスト識別、放置物の隠れに頑健な検出技術を提供する。画像監視システムは、入力画像をもとに画像認識処理の基準となる基準画像を生成する基準画像生成部201と、入力画像から基準画像と異なる前景領域を検出する前景抽出部203と、前景領域から不動領域を抽出する不動領域抽出部204と、不動領域の特徴量を抽出する特徴量抽出部205と、特徴量を時間方向で蓄積する特徴量蓄積部206と、蓄積された特徴量が所定の基準を満たす画素クラスタリング停止物を検出する停止物検出部207と、停止物の特徴量及び周囲環境の評価をもとに放置物判定を行う放置物判定部208と、放置物の属性を管理し一定条件下発報する放置物管理部209と、を備える。

目的

本発明は、このような状況に鑑みなされたもので、上記課題を解決することを目的とする。

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

映像取得部により取得した入力画像から、監視領域物体の変化を検出する監視装置であって、前記入力画像をもとに画像認識処理の基準となる基準画像を生成する基準画像生成部と、前記入力画像と前記基準画像とを比較し、前記基準画像と異なる前景領域を検出する前景抽出部と、前記前景領域と前記入力画像とを比較し、前記前景領域から不動領域を抽出する不動領域抽出部と、前記不動領域の特徴量を抽出する特徴量抽出部と、前記特徴量を時間方向で蓄積する特徴量蓄積部と、前記特徴量蓄積部において蓄積された特徴量が所定の基準を満たす画素クラスタリングし、停止物を検出する停止物検出部と、前記停止物の特徴量及び周囲環境に対する評価をもとに、前記停止物が放置物であるか否かを判定する放置物判定部と、前記放置物と判断された前記停止物の属性を管理する管理部と、を備える監視装置。

請求項2

前記特徴量蓄積部の蓄積結果または前記放置物判定部の結果の少なくとも一方を、前記入力画像または背景画像の上に重畳させ、前記放置物の滞留状況判別可能表示出力する表示手段を備える請求項1に記載の監視装置。

請求項3

前記管理部は、前記停止部の属性が発報条件を満たしたときに発報することを特徴とする請求項1に記載の監視装置。

請求項4

前記管理部は、前記停止部の属性が発報条件を満たしたときに発報することを特徴とする請求項2に記載の監視装置。

請求項5

前記特徴量蓄積部は、毎フレームの特徴量蓄積画像を過去の一定の範囲で平均する、あるいは残差を平均することを特徴とする請求項1に記載の監視装置。

請求項6

前記停止物検出部は、ラベリングを行う際には、空間的な距離以外にも、各画素の特徴蓄積量の大きさなど時間的な距離も観測してそれぞれが一定の距離以内のものをグルーピングすることを特徴とする請求項1に記載の監視装置。

請求項7

停止候補領域と同じ座標の入力画像及び背景画像の類似性を比較する際に、正規化相互相関やSAD(Sum of Absolute Difference)などのテンプレートマッチング手法によって、前記停止物の位置の輝度値の距離を求めることで、類似度を算出して背景変化と放置物を見分けることを特徴とする請求項1に記載の監視装置。

請求項8

人物滞留混雑先詰まりなどの傾向を表す手段として、前記特徴量蓄積部が算出した特徴量蓄積画像に対して、前記特徴量蓄積画像を滞留度という指数に置き換えて前記滞留度を画像化し、入力画像上にオーバレイすることで滞留傾向を可視化することを特徴とする請求項1に記載の監視装置。

請求項9

疑似カラー表現した特徴量蓄積画像に対して、ガウシアンフィルタによる空間処理などを施すことによって取得した滞留度ヒートマップ画像を入力画像にαブレンディングによってオーバレイした画像を示すことを特徴とする請求項1に記載の監視装置。

請求項10

前記放置物の位置は、撮影したカメラの位置、高さ、俯角焦点距離などの情報が既知である場合、カメラパラメータを用いて、前記の滞留度ヒートマップ画像に対して、ワールド座標系に変換したヒートマップ画像を地図にオーバレイすることで、混雑や滞留の位置や度合を可視化することを特徴とする請求項1に記載の監視装置。

請求項11

前記停止物の候補領域が最初に見つかった時間の画像を記録装置に記録しておくことで、前記放置物判定部によって放置物が検出された場合に、前記放置物を放置した人物について、前記停止物候補領域が最初に見つかった時間の入力画像について前記記録装置を参照することを特徴とする請求項1に記載の監視装置。

請求項12

顔検索システム服装検索システムを組み合わせることによって、前記放置物を放置した人物を前記記録装置から検索することを特徴とする請求項11に記載の監視装置。

技術分野

0001

本発明は、監視装置係り、例えば、カメラなどの撮像装置から映像取得し、画像認識によって監視エリア内の異常等を検知する機能を有する監視装置に関する。

背景技術

0002

従来より、監視カメラ等の撮像装置を用いて、監視対象領域内に侵入する物体監視することが行われている。また、監視員による有人監視ではなく、映像監視装置等が自動的に監視を行う技術が検討されている。このような機能を有する映像監視装置は、検出結果を利用することで移動物体出現した映像のみ記録する機能や、表示装置警告アイコン表示機能、またブザー等を鳴らして監視員の注意を促す機能を実現できるため、従来では常時確認作業が必要であった監視業務の負担低減に役立つ。

0003

監視対象領域内に侵入する物体を自動的に検出する技術の一例として、背景差分法と呼ばれる方法を用いた監視技術が広く知られている(例えば、特許文献1参照)。背景差分法による物体検出方法は、撮像装置等から得られる入力画像と検出すべき物体が映っていない基準となる背景画像との輝度(或いは、画素値)の差分を算出し、算出された検出値が所定のしきい値と比べて大きい変化領域に検出すべき物体が存在する或いはその可能性があるとして監視を行なう。

0004

また、危険物などが放置された状態を検出するために、単に映像内の変化を検出するだけでなく、背景画像との変化が継続的に検出される動きのない領域を放置物体として検出する方法がある。

先行技術

0005

特開平10−285586号公報

発明が解決しようとする課題

0006

ところで、前記の放置物検知手法は、差分法などによって、動体検知を実施し、所望する監視エリア内で動体が一定時間以上停止した場合に発報する。しかし、このような手法だと、放置物と同様に、動きの少ない人物なども検出されてしまう。また、カメラ画像中日照変化による影が新たに浮かび上がる場合など環境に変化があった場合、差分法のアルゴリズムでは、物体が現れたものと認識してしまい、誤報の原因となる。

0007

また、放置物の前を人物が通過、或いは周辺に人物が存在する場合、放置物と人物を同じ1つの物体として誤って検出してしまうこと、あるいは通過する人物と放置物を取り違えてしまうことにより、放置物が不動体とみなすことができない場合がある。放置物と滞留する人物や日照変化などのノイズとを識別する手段としては、検知した物体の停止領域をHoG(Histogram of Oriented Gradients)特徴+機械学習などによって識別する手法がある。しかし、人の形状は画角によって見かけが大きく異なるため、汎用的に用いるためには、画角によって学習データを変える必要があり、煩雑である。あらゆる画角のデータを同時に学習する手段もあるが、この場合は各画角での精度が低下する。また、放置物やノイズは様々な形状が予測されるため、事前学習が難しい。Deep Learningなどの特徴量設計を必要としない学習手法でも、大量の学習データが必要となる。前記手法は、GPUによる高速演算が必要であって、処理負荷の点で課題がある。

0008

また、放置物の前を物体が遮る場合への対応する手段としては、停止した物体を検出した時に、検出した領域をテンプレート画像として登録しておき、一定時間後に、同じ座標でテンプレート画像と入力画像に対して、正規化相互相関などによる類似度を計算する方法がある。また、類似度が高い物体が連続して発生していた場合に、放置物とみなす手法がある。但し、人が荷物の前に立ち止まっている状態や、日照変化による輝度変化など、誤ったタイミングでテンプレート画像を登録してしまうと、深刻な過報あるいは失報に繋がるという課題がある。

0009

本発明は、このような状況に鑑みなされたもので、上記課題を解決することを目的とする。

課題を解決するための手段

0010

本発明は、映像取得部により取得した入力画像から、監視領域の物体の変化を検出する監視装置であって、前記入力画像をもとに画像認識処理の基準となる基準画像を生成する基準画像生成部と、前記入力画像と前記基準画像とを比較し、前記基準画像と異なる前景領域を検出する前景抽出部と、前記前景領域と前記入力画像とを比較し、前記前景領域から不動領域を抽出する不動領域抽出部と、前記不動領域の特徴量を抽出する特徴量抽出部と、前記特徴量を時間方向で蓄積する特徴量蓄積部と、前記特徴量蓄積部において蓄積された特徴量が所定の基準を満たす画素クラスタリングし、停止物を検出する停止物検出部と、前記停止物の特徴量及び周囲環境に対する評価をもとに、前記停止物が放置物であるか否かを判定する放置物判定部と、前記放置物と判断された前記停止物の属性を管理する管理部と、を備える。
また、前記特徴量蓄積部の蓄積結果または前記放置物判定部の結果の少なくとも一方を、前記入力画像または背景画像の上に重畳させ、前記放置物の滞留状況判別可能表示出力する表示手段を備えてもよい。
また、前記管理部は、前記停止部の属性が発報条件を満たしたときに発報してもよい。

発明の効果

0011

本発明によると、処理負荷が小さいアルゴリズムで、放置物と滞留者やノイズのロバストな識別、放置物の隠れに頑健な検出手段を有する技術を提供することができる。

図面の簡単な説明

0012

実施形態に係る、画像監視システムブロック図である。
実施形態に係る、監視処理部のブロック図である。
実施形態に係る、前景領域画像動領域画像を生成する処理を説明する図である。
実施形態に係る、不動領域画像を生成する処理を説明する図である。
実施形態に係る、特徴抽出部の処理を説明する図である。
実施形態に係る、特徴量蓄積画像の一例を示す図である。
実施形態に係る、停止候補領域の一例を示す図である。
実施形態に係る、テンプレートマッチング手法の一例を説明する図である。
実施形態に係る、類似度以外の手法を用いて背景を特定する手法の一例を説明する図である。
実施形態に係る、放置物を見分ける方法の一例を示す図である。
実施形態に係る、検出放置物情報を入力画像(t=t0)に重畳した画像例を示す図である。
実施形態に係る、滞留度ヒートマップ画像を、入力画像(t=t0)にオーバレイしたオーバレイ画像を示す図である。

実施例

0013

次に、本発明を実施するための形態(以下、単に「実施形態」という)を、図面を参照して具体的に説明する。本実施形態の監視システム(監視装置)の概要は次の通りである。すなわち、以下で説明する監視システムは、カメラから入力される映像または記録映像から移動物体等の影響を受けることなく、監視領域の物体に生じる放置物を個別に検出する。この放置物の検出方法により、放置物と放置した人物の記録、物体が放置された場合の発報機能モニタ表示による監視員への注意喚起が可能な監視技術を実現する。

0014

図1は、本実施形態に係る画像監視システム100の構成を示したブロック図である。画像監視システム100は、ハードウェアとしてはCPUを備えた電子計算機システムにより構成され、それぞれの機能が実行される。前記ハードウェアは、DSPやFPGAなどの電子計算機システム以外の構成によって代替されてもよい。

0015

画像監視システム100は、撮像装置101と、記録装置110と、監視処理部120と、入出力部130とを備える。撮像装置101は、例えば、テレビカメラであって、1台であってもよく、また複数台でもよい。記録装置110は、例えば、HDD(Hard Disk Drive)であって、撮像装置101で撮影された映像(監視結果)を記録するとともに、必要に応じて監視処理部120へ出力する。

0016

監視処理部120は、撮像装置101または記録装置110から得られる信号を映像として取得し、映像処理に基づいて監視処理を行う。監視結果は、記録装置110や入出力部130に出力される。

0017

具体的には、監視処理部120は、映像取得部102と、画像認識部103と、データ通信部104と、記録制御部105と、表示制御部106とを備える。

0018

映像取得部102は、カメラ(撮像装置101)からのリアルタイムの画像データや、画像データが記録されている記録装置110などから入力された映像信号から1次元配列もしくは2次元配列の画像データとして取得する。

0019

映像取得部102は、このとき、画像データに対して、ノイズやフリッカなどの影響を低減するために、平滑化フィルタ輪郭強調フィルタ濃度変換などの前処理を施してもよい。また、映像取得部102は、用途に応じてRGBカラーモノクロなどのデータ形式を選択してもよし、さらには、処理コスト低減のために、所定の大きさで画像データに縮小処理を施してもよい。

0020

画像認識部103は、映像取得部102から得られた画像データを入力として画像認識処理により移動物体や放置物体を認識する。

0021

データ通信部104は、記録装置110や入出力部130(特に後述の発報装置107、指示装置108)と通信接続する為の通信インタフェイスである。具体的には、データ通信部104は、画像認識部103の結果や記録装置110に保存された情報等をローカルエリアに設置された他の機器(入出力部130等)や、ネットワーク上の監視センタ(図示せず)などと送受信する。

0022

記録制御部105は、画像認識部103で算出した結果を用いて、映像の記録制御や、記録映像の圧縮率記録間隔を制御する。また、記録制御部105は、映像取得部102より得られた映像を記録装置110に記録保持したり、表示制御部106に出力したりする。

0023

表示制御部106は、映像取得部102で取得した映像および画像認識部103で得られた結果や、記録装置110に保存された情報の表示を制御する。

0024

入出力部130は、発報装置107と、指示装置108と、表示出力装置109とを備える。発報装置107は、画像認識部103で検出した異常状態音声や光などでユーザに知らせる。指示装置108は、画像認識部103に用いるパラメータ発報内容を受けて発報を停めるなどユーザからの指示を取得する。表示出力装置109は、表示制御部106から出力された情報を表示する。

0025

図2は、画像認識部103の機能ブロック図である。画像認識部103は、前段処理部220と後段処理部230と、結果統合部210とを備える。

0026

前段処理部220は、基準画像生成部201と、基準画像管理部202と、前景抽出部203と、不動領域抽出部204とを備える。

0027

基準画像生成部201は、映像取得部102で取得した入力画像から画像認識処理の基準となる画像を生成し、基準画像管理部202に出力する。

0028

基準画像管理部202は、基準画像生成部201で生成された画像を保存する。前景抽出部203は、基準画像管理部202に保存された基準画像と映像取得部102で取得した入力画像を所定の特徴量の比較演算により映像内の背景と異なる前景領域を検出する。不動領域抽出部204は、入力画像の時間変化と前景領域の比較演算により、映像内の前景のうち不動領域のみを抽出する。

0029

後段処理部230は、特徴抽出部205と、特徴蓄積部206と、停止物検出部207と、放置物判定部208と、放置物管理部209とを備える。

0030

特徴抽出部205は、不動領域のエッジ等の特徴を抽出する。特徴蓄積部206は、特徴抽出部205で抽出された特徴を時間方向で蓄積する。停止物検出部207は、特徴蓄積部206において蓄積された特徴の量(特徴蓄積量)が基準を満たす画素について、クラスタリング処理を施すことにより停止物を検出する。放置物判定部208は、停止物の特徴量や周辺の動きの有無などを観測して、停止物が放置物かどうかを判定する。放置物管理部209は、前記放置物の数や位置、放置された時間、背景との類似度などによって計算される放置物らしさなどの情報を管理・保存する。

0031

結果統合部210は、停止物検出部207における放置物の検出結果を、放置物の座標や位置などのメタデータあるいは放置物に検出矩形などを入力画像に重畳するなどして、結果を統合し、記録装置110やデータ通信部104(入出力部130)へ出力する。

0032

なお、基準画像管理部202や放置物管理部209に保存された情報は、それらの代わりに記録装置110に保存されたり、表示制御部106及び表示出力装置109で表示されたりしてもよい。

0033

基準画像生成部201が生成する基準画像は、背景差分法によって背景と異なる前景を検出するための背景画像と、フレーム間差分法によって、その瞬間の動きを検出するための一定時間前の過去の入力画像と、少なくとも2種類の画像から構成される。

0034

上述の背景と異なる前景を検出するための背景画像は、移動物体を含まずに時々刻々と変化する天候照明条件などの環境変化適応した画像が理想である。これは、移動物体やノイズを含む背景画像と入力画像を比較した場合、背景画像に含まれる移動物体が変化として検出される可能性があり、また環境変化に追従しなければ、背景画像と入力画像の照明変動による明るさの変化を検出してしまう場合があるためである。そのため本実施形態では、基準画像生成部201では後述する前景抽出部203の結果を利用し、一定期間に取得される画像から移動物体の影響を除去した画像を統計処理することで移動物体を含まない画像を再構成する手法を用いる。

0035

なお、このような手法を用いたとしても、環境の急激な変化などには対応できない場合も想定されるが、その場合は、後述の放置物判定部208などで誤報とならないように識別する。その他、背景画像は監視員による登録ができるようにしてもよい。これにより、移動物体を含まず、環境変化に対応した背景画像を生成することが可能で、移動物体を精度よく検出することができる。

0036

また、動き検出のための一定時間前の過去の入力画像は、現在時刻t=t0としたとき、例えば時刻t=t0−kの時の入力画像を保存しておくようにする。このとき、kは任意の定数である。また、前記フレーム間差分では、2フレーム間の差分を取る方法以外にも、3フレーム以上の複数のフレーム間差分を取って論理積を取ることで、動体検出の精度を高めるアルゴリズムなどがあり、そのような方法を用いてもよい。そのような方法を用いる場合は、過去の複数の入力画像を保存しておくようにする。

0037

基準画像管理部202は、基準画像生成部201が生成した背景画像及び過去の入力画像を、時刻毎に所定の間隔で保存する。

0038

前景抽出部203は、基準画像生成部201で予め算出し基準画像管理部202に保存されている背景画像及び過去の入力画像と、映像取得部102より得られる入力画像との比較処理を行う。

0039

ここで比較処理に用いる情報として、この入力画像の各画素で算出される輝度値RGB値微分フィルタによって算出されるエッジ強度や方向など任意のオペレータによって算出される特徴量、またはそれらを統合した特徴ベクトルが用いられてもよい。それぞれ特徴量によって環境変動に対するロバスト性検出精度は異なり、状況に応じた特徴量の決定が必要である。なお、本実施形態では最も一般的である輝度値を選択した場合について例示する。

0040

比較処理の方法として、(1)画素単位での差分演算による算出方法や、(2)注目画素周辺局所領域で判定する方法、(3)基準画像に対して、数フレームの入力画像によって時間軸方向判定基準拡張する方法、が考えられる。本実施形態では、画素単位での差分演算による算出方法について例示する。

0041

また、前景抽出部203の精度向上を目的として、予め入力画像や基準画像に対して、ガウシアンフィルタなどの平滑化処理をかけることや、比較処理後の結果に対して、膨張収縮などの処理を施すことでの前景領域の整形処理など、前処理及び後処理を施すようにしてもよい。

0042

前述の前景抽出処理では、領域が停止した領域か否かを判別することができない。停止した物体は、基準画像管理部202に保存された基準画像の過去の入力画像と、現在の入力画像を比較することによって、物体の動きの有無を判定することで可能である。

0043

不動領域抽出部204は、前記判定を実施する。その概略を図3及び図4を用いて説明する。

0044

図3は、前景領域画像304と動領域画像305を生成する処理を説明する図である。前景領域画像304は、前景抽出部203において、背景画像301と現在時刻t=t0の入力画像(t=t0)302とを比較して一定のしきい値で二値化し、領域を膨張処理によって整形することによって生成される。

0045

動領域画像305は、不動領域抽出部204において、現在時刻t0の入力画像(t=t0)302と過去時刻t0−kの入力画像(t=t0−k)303とを比較して一定のしきい値で二値化し、領域を膨張処理によって整形することによって生成される。

0046

図4は、不動領域画像401を生成する処理を説明する図である。不動領域画像401は、動領域画像305の論理否定(NOT)と前景領域画像304との論理積を取った画像である。これにより、不動領域が抽出される。但し、この前景領域画像304の時点では、動領域検出のアルゴリズムによっては、例えば、人物が一様の模様の服を着ており、移動量が微小の場合において、人物の輪郭から遠い領域の一部を不動領域と誤って判定する特性を示す場合がある。本実施形態は、このような場合でも、後段の処理によって、誤って検出した不動領域の影響を軽減して目的の放置物を見つけ出すことが可能である。

0047

図5は、特徴抽出部205の処理を説明する図である。特徴抽出部205は、不動領域抽出部204において不動と判定された領域の範囲で、入力画像(t=t0)302上の輪郭やテクスチャに関する特徴量を抽出する。

0048

これは、輪郭やテクスチャであれば、動きが微小である場合でも、真に不動である領域と明確に区別することができるためである。ここでは、特徴量として、Cannyのエッジアルゴリズムに基づくエッジ特徴を用いた場合について例示する。

0049

特徴量は、ソーベルフィルタラプラシアンフィルタなどに基づくエッジ特徴や、GLCM(Gray Level Co-occurrence Matrix)といった画像中の2ピクセル間の輝度(グレーレベル)変化の頻度行列としたテクスチャ特徴などを用いてもよい。また、前記の特徴量は画像上の位置によって特徴の見え方が異なるため、例えば、特徴量の抽出時のしきい値や強度に対して、画面の奥と手前でカメラパラメータ等に基づく補正掛けて正規化するようにしてもよい。特徴量は、本実施形態では一次元とするが、特徴量の組合せによる多次元の特徴量としてもよい。

0050

特徴量画像501は、入力画像(t=t0)302から特徴量を抽出し、不動領域画像401との論理積を取ることで得られる。

0051

つぎに、特徴蓄積部206の処理について説明する。特徴蓄積部206は、特徴量画像501に記録した特徴の位置を時間的に蓄積する。蓄積の手段としては、毎フレームの特徴量画像501を過去の一定の範囲で平均する方法、あるいは残差を平均する方法などを用いることができる。

0052

この時、特徴量の蓄積は、位置や背景に元々含まれるエッジやテクスチャなどの特徴量の量、あるいは過去の物体の発生頻度などの情報を用いて、画素ごとに特徴量の更新速度が変更されてもよい。

0053

本実施形態では、前景領域画像304の前景領域に相当する画素に対して、背景領域に相当する画素の特徴量蓄積速度を速くすることで、物体が存在しなくなった位置の蓄積量が速やかに減少されるようにしている。

0054

図6は、特徴量蓄積画像601の一例を示す。本実施形態において、特徴量の蓄積量は0〜255の実数表現されるものとし、蓄積量の大きさと、予め与えたカラーテーブル対応付けしておき、擬似カラーで表現することができる。特徴量蓄積画像601に対しては、膨張・収縮などの空間フィルタをかけることで、ノイズ除去あるいは領域の整形を施してもよい。

0055

次に、停止物検出部207を説明する。停止物検出部207は、特徴蓄積部206における特徴量蓄積画像から、各画素の特徴蓄積量に対して、しきい値処理を実施し、一定以上のしきい値を超える画素を空間的にクラスタリングする。停止物検出部207は、クラスタリングの手段として、ラスタスキャンルックアップテーブルを用いたラベリング方法などを用いる。

0056

停止物検出部207は、ラベリングを行う際には、空間的な距離以外にも、各画素の特徴蓄積量の大きさなど時間的な距離も観測し、それぞれが一定の距離以内のものをグルーピングしてもよい。停止物検出部207は、クラスタリングし、一定以上の大きさなど特定の条件を満たす領域を停止候補領域701とみなす。

0057

図7は、停止候補領域701の一例を示している。特徴量蓄積画像601で、特徴の蓄積量が50%以上の領域をクラスタリングした結果が、停止候補領域701である。

0058

次に放置物判定部208について説明する。放置物判定部208は、停止候補領域701の周囲環境に対する評価、具体的には周囲の変化を評価することで、放置物であるか否かの判定を行う。例えば、放置物判定部208は、停止候補領域701のうち、所有者足元に置かれた荷物など所有者が周辺に存在する放置されていない物体、日照変化や照明ON/OFFなどに基づく背景変化による背景テクスチャ領域、長時間滞留している人物の一部あるいは全体など、異常と判定するべき放置物かどうかの判定を行う。

0059

背景変化と放置物を見分ける方法として、停止候補領域701と同じ座標の入力画像(t=t0)302及び背景画像301の類似性を比較する方法がある。類似性の算出には、正規化相互相関やSAD(Sum of Absolute Difference)などのテンプレートマッチング手法によって、前記位置の輝度値の距離を求めることで、類似度を算出する方法がある。

0060

図8は、テンプレートマッチング手法の一例を説明する図である。図8(a)に示す背景画像301における停止物候補領域画像801と、図8(b)に示す入力画像(t=t0)302における停止物候補領域画像802の類似度を前記手法により算出する。

0061

この例では、停止物候補領域画像801と停止物候補領域画像802の類似度は非常に高く、すなわち図7の停止候補領域701は、背景テクスチャ領域を誤検出した領域である可能性が高いとみなすことができる。

0062

但し、停止物候補領域の前を人物が通過する場合など、類似度が低くなる時であっても、前記候補領域が背景である可能性は否定できないので、時間方向での類似度を観測して、一定時間以上連続して類似度が高くならない領域のみを放置物の候補とするようにしてもよい。

0063

類似度以外にも、背景画像301に含まれる特徴量と特徴量蓄積画像601の停止物候補領域における特徴量を比較し、背景を特定する手法がある。図9は、そのような手法の例を説明する図である。この方法では、図9(a)の特徴量蓄積画像601の停止物候補領域矩形902における特徴量が一定以上の画素の数と、図9(b)の背景画像301に対して特徴量抽出を実施した画像(特徴量抽出後画像901)における停止物候補領域矩形903に含まれる特徴量が0以外の画素の数を比較して、特徴量蓄積画像601における前記画素の数の差が一定以上の場合において背景と判断する。この方法は、仮に放置物の前に人物など視界を遮る物体が通過しても評価値が下がることなく、よりロバストな判定が可能である。

0064

所有者の足元に置かれた荷物など所有者が周辺に存在する放置されていない物体、または時間滞留している人物の一部あるいは全体と、放置物を見分ける方法として、放置物候補領域の周辺の動的領域の量を観測する技術がある。

0065

図10は、放置物を見分ける方法の一例を示す図である。図10(a)の画像1001の停止物候補領域1003の周辺、例えば停止物候補領域1003から一定距離以内の範囲で、不動領域抽出部204が算出した示す動領域画像305(図10(b)に示す。)を参照し、人物に相当すると思われる一定数以上の画素(領域1002)が存在していた場合、動的物体が近くに存在する、あるいは、停止物候補領域1003が動的物体の一部である可能性が高いとみなし、本事象を検知してから一定時間は放置物として発報することを保留するような処理を行う。

0066

次に放置物管理部209について説明する。放置物管理部209は、停止物検出部207で取得した全ての停止物候補領域と、それら領域に付随する放置物判定部208で算出した放置物らしさに関する属性、一例として候補領域と背景の類似度、特徴量の差分量、周辺の動的領域の有無、候補領域の大きさ、候補領域が検出され続けている時間の長さなどを合わせて記録しておく。

0067

放置物管理部209に対して、予め指示装置108を用いて、ユーザやシステム管理者らは、発報条件(大きさや放置された時間の長さなど)を設定する。放置物管理部209は、その発報条件を満たす放置物が格納された場合、データ通信部104を通じて発報装置107や記録装置110に展開したり、表示出力装置109にその情報を出力したりする。

0068

結果統合部210は、放置物管理部209に格納された放置物候補のうち、ユーザやシステム管理者に通知すべき放置物の位置や属性をメタデータの形、あるいは入力画像(t=t0)302または背景画像301に重畳、一般にはオーバレイした画像の形で出力できるように、結果を統合する。

0069

図11は、検出した放置物の情報(検出放置物情報1102)を入力画像(t=t0)302に重畳した場合の一例を示す画像1101である。

0070

放置物の位置以外にも、人物の滞留や混雑先詰まりなどの傾向を表す手段として、例えば、特徴蓄積部206が算出した特徴量蓄積画像に対して、前記特徴の蓄積量を滞留度といった指数に置き換えて、その滞留度を画像化し、入力画像上にオーバレイすることで、前記の滞留傾向をユーザにわかりやすく可視化することが可能となる。

0071

一例として、図12では、疑似カラーで表現した特徴量蓄積画像に対して、ガウシアンフィルタによる空間処理などを施すことによって取得した滞留度ヒートマップ画像1201(図12(a))を、入力画像(t=t0)302にαブレンディングによってオーバレイした画像(オーバレイ画像1202)(図12(b))を示す。これによって、本実施形態の技術を用いることで、放置物検出以外にも、滞留や混雑を可視化する手段としても実現できる。

0072

また、上述の放置物の位置は、撮影したカメラの位置や高さ、俯角焦点距離などの情報が既知である場合、カメラパラメータを用いて、ワールド座標系に変換して、地図上にマッピングするようにしてもよい。これは前記の滞留度ヒートマップ画像1201に対しても適用可能で、ワールド座標系に変換したヒートマップ画像を地図にオーバレイすることで、混雑や滞留の位置や度合を可視化することも可能となる。

0073

さらに、画像認識部103は、停止物の候補領域が最初に見つかった時間の画像を記録しておくことで、放置物判定部208によって放置物が検出された場合に、前記放置物を放置した人物について、前記、停止物候補領域が最初に見つかった時間の入力画像を記録装置110を参照することで、見つけることが可能となる。

0074

さらに、本実施形態の画像監視システム100と、顔検索システム服装検索システムなどを組み合わせることによって、前記放置物を放置した人物を記録装置110から検索できるようにし、例えば、警察の捜査支援忘れ物をした持ち主の探索をより効率的に行えるようにすることも可能である。

0075

以上、本実施形態の画像監視システム100によると、GPUなどを必要としない軽量なアルゴリズム、すなわち処理負荷の小さいアルゴリズムで、放置物と滞留者やノイズのロバストな識別、放置物の隠れに頑健な検出技術を実現できる。

0076

以上、本発明を実施形態をもとに説明した。この実施形態は例示であり、それらの各構成要素の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

0077

100画像監視システム101撮像装置102映像取得部103画像認識部104データ通信部105記録制御部106表示制御部107発報装置108指示装置109表示出力装置110記録装置120監視処理部130入出力部201基準画像生成部202 基準画像管理部203前景抽出部204不動領域抽出部205特徴抽出部206 特徴蓄積部207停止物検出部208放置物判定部209 放置物管理部210 結果統合部220前段処理部230後段処理部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ