図面 (/)

技術 異常検知装置及び異常検知方法

出願人 日本電気株式会社
発明者 池田浩雄
出願日 2015年5月25日 (5年6ヶ月経過) 出願番号 2016-529191
公開日 2017年4月20日 (3年7ヶ月経過) 公開番号 WO2015-198767
状態 特許登録済
技術分野 警報システム イメージ分析 閉回路テレビジョンシステム
主要キーワード 放置物 合計人数 撮像方向変更 紛失物 相対的距離 各描画要素 遷移回数 変更範囲
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年4月20日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (16)

課題・解決手段

画像処理装置(100)は、入力画像に基づいて人物における対象の状態変化を検出する変化検出部(101)と、上記対象の状態変化が複数人で生じたことを検出し、当該検出に応じて異常状態を判定する判定部(102)と、を有する。

概要

背景

防犯防災異常検知等のために、監視画像を用いて、人物物体、場等の異常状態を検知するシステムが存在する。例えば、下記特許文献1には、放置物体紛失物体の有無を確認可能とする監視画像表示システムが提案されている。具体的には、このシステムは、所定領域を時系列撮像して得られる画像から、その所定領域の基準画像と異なる画像領域で、かつ、その位置が時間的に変化しない画像領域を抽出する。

下記特許文献2には、画像に映る人物の中で特定の意図を持つ不審人物を自動的に検出する映像監視装置が提案されている。この装置は、人物の視線方向情報から人物の興味対象心理状態を表す情報を抽出し、その抽出された情報を用いて、特定の心理状態にある人物を探し出す。具体的には、この装置は、撮影された画像から人物を検出し、その人物の視線方向情報を抽出し、人物ごとの視線方向情報から注視特徴量(特定方向総注視時間、視線遷移回数等)を計算し、この注視特徴量から撮像された人物の行動に関する情報を取得する。

概要

画像処理装置(100)は、入力画像に基づいて人物における対象の状態変化を検出する変化検出部(101)と、上記対象の状態変化が複数人で生じたことを検出し、当該検出に応じて異常状態を判定する判定部(102)と、を有する。

目的

本発明は、このような事情に鑑みてなされたものであり、様々な異常状態を網羅的に検知する技術を提供する

効果

実績

技術文献被引用数
0件
牽制数
2件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

入力画像に基づいて人物における対象の状態変化を検出する変化検出手段と、前記対象の状態変化が複数人で生じたことを検出し、該検出に応じて異常状態を判定する判定手段と、を備える画像処理装置

請求項2

前記対象の状態変化は、異常状態の発生に起因して生じる人物の見た目の変化である、請求項1に記載の画像処理装置。

請求項3

前記判定手段は、変化後の状態が同一の前記対象の状態変化が複数人で生じたことを検出する、請求項1又は2に記載の画像処理装置。

請求項4

前記判定手段は、前記対象の状態変化が距離的に近い複数人で生じたことを検出する、請求項1から3のいずれか1項に記載の画像処理装置。

請求項5

前記判定手段は、前記複数人での前記対象の状態変化の発生時期のずれを異常状態の判定のために更に用いる、請求項1から4のいずれか1項に記載の画像処理装置。

請求項6

前記判定手段は、前記複数人での前記対象の状態変化の発生時期のずれに応じて、異常状態の程度を推測する、請求項5に記載の画像処理装置。

請求項7

入力画像中の、状態変化の検出が異常状態判定の根拠とされた人物群又は該人物群の各人に、描画要素が付された画像を出力装置に出力させる出力処理手段を更に備える請求項1から6のいずれか1項に記載の画像処理装置。

請求項8

前記出力処理手段は、入力画像中の、状態変化の検出が異常状態判定の根拠とされた人物群に対して、該人物群の人数及び該人物群の各人の相対距離のいずれか一方又は両方が更に付された前記画像を前記出力装置に出力させる、請求項7に記載の画像処理装置。

請求項9

前記出力処理手段は、前記描画要素として又は前記描画要素と共に、状態変化の検出が異常状態判定の根拠とされた人物群の各人に、状態変化の順番又は状態変化の時間差が付された前記画像を前記出力装置に出力させる、請求項7又は8に記載の画像処理装置。

請求項10

前記出力処理手段は、異常状態判定の根拠とされた複数人の状態変化における変化後の状態に対応する方向を表す前記描画要素が付された前記画像を前記出力装置に出力させる、請求項7から9のいずれか1項に記載の画像処理装置。

請求項11

状態変化の検出が異常状態判定の根拠とされた人物群の入力画像上での代表位置を決定する決定手段と、前記代表位置を中心とする円状又は楕円状に、入力画像が前記代表位置からの距離に対応する色で着色された画像を出力装置に出力させる出力処理手段と、を更に備える請求項1から10のいずれか1項に記載の画像処理装置。

請求項12

前記出力処理手段は、状態変化の検出が異常状態判定の根拠とされた人物群の人数に対応する継続時間で、前記画像の出力を継続させる、請求項7から11のいずれか1項に記載の画像処理装置。

請求項13

状態変化の検出が異常状態判定の根拠とされた人物群の入力画像上での代表位置を決定する決定手段と、前記代表位置に基づいて、撮像装置撮像方向を制御する制御手段と、を更に備える請求項1から12のいずれか1項に記載の画像処理装置。

請求項14

状態変化の検出が異常状態判定の根拠とされた人物群の入力画像上での大きさに基づいて、撮像装置の画角を制御する制御手段、を更に備える請求項1から13のいずれか1項に記載の画像処理装置。

請求項15

状態変化の検出が異常状態判定の根拠とされた人物群の全体又は一部が入力画像に含まれる範囲で、撮像装置の撮像方向を連続的に変化させる制御手段、を更に備える請求項1から14のいずれか1項に記載の画像処理装置。

請求項16

異常状態判定の根拠とされた複数人の状態変化における変化後の状態に対応する方向に撮像装置の撮像方向を変更させる制御手段、を更に備える請求項1から15のいずれか1項に記載の画像処理装置。

請求項17

前記制御手段は、状態変化の検出が異常状態判定の根拠とされた人物群の人数に対応する継続時間で、前記撮像装置の制御を継続する、請求項13から16のいずれか1項に記載の画像処理装置。

請求項18

少なくとも1つのコンピュータにより実行される異常検知方法において、入力画像に基づいて人物における対象の状態変化を検出し、前記対象の状態変化が複数人で生じたことを検出し、前記検出に応じて異常状態を判定する、ことを含む異常検知方法。

請求項19

請求項18に記載の異常検知方法をコンピュータに実行させるプログラム

技術分野

0001

本発明は、画像を用いて異常を検知する技術に関する。

背景技術

0002

防犯防災異常検知等のために、監視画像を用いて、人物物体、場等の異常状態を検知するシステムが存在する。例えば、下記特許文献1には、放置物体紛失物体の有無を確認可能とする監視画像表示システムが提案されている。具体的には、このシステムは、所定領域を時系列撮像して得られる画像から、その所定領域の基準画像と異なる画像領域で、かつ、その位置が時間的に変化しない画像領域を抽出する。

0003

下記特許文献2には、画像に映る人物の中で特定の意図を持つ不審人物を自動的に検出する映像監視装置が提案されている。この装置は、人物の視線方向情報から人物の興味対象心理状態を表す情報を抽出し、その抽出された情報を用いて、特定の心理状態にある人物を探し出す。具体的には、この装置は、撮影された画像から人物を検出し、その人物の視線方向情報を抽出し、人物ごとの視線方向情報から注視特徴量(特定方向総注視時間、視線遷移回数等)を計算し、この注視特徴量から撮像された人物の行動に関する情報を取得する。

先行技術

0004

特開平10−285586号公報
特開2007−6427号公報

発明が解決しようとする課題

0005

現状、上述の各提案のように、検出対象となる個々の異常状態ごとに、特有アルゴリズムを持つ異なるシステムがそれぞれ存在する。上記特許文献1のシステムは、撮影された画像における通常存在しない放置物体の存在を場の異常状態として検出する。上記特許文献2の装置は、撮影された画像における特定の心理状態にある人物を人物の異常状態として検出する。

0006

しかしながら、監視場所には、様々な異常状態が発生し得る。例えば、監視場所として公園を考えた場合、放置物汚物、不審人物等の存在、遊具の破損、事故の発生等のように、公園には様々な異常状態が発生し得る。上述の各提案手法では、このような複数種の異常状態を網羅的に検知することはできない。

0007

本発明は、このような事情に鑑みてなされたものであり、様々な異常状態を網羅的に検知する技術を提供することにある。本明細書では、検知対象となる異常状態は、制限されない。

課題を解決するための手段

0008

本発明の各側面では、上述した課題を解決するために、それぞれ以下の構成を採用する。

0009

第一の側面は、画像処理装置に関する。第一の側面に係る画像処理装置は、入力画像に基づいて人物における対象の状態変化を検出する変化検出手段と、上記対象の状態変化が複数人で生じたことを検出し、当該検出に応じて異常状態を判定する判定手段と、を有する。

0010

第二の側面は、少なくとも1つのコンピュータにより実行される異常検知方法に関する。第二の側面に係る異常検知方法は、入力画像に基づいて人物における対象の状態変化を検出し、上記対象の状態変化が複数人で生じたことを検出し、この検出に応じて異常状態を判定する、ことを含む。

0011

なお、本発明の他の側面としては、上記第二の側面の方法を少なくとも1つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この記録媒体は、非一時的な有形媒体を含む。

発明の効果

0012

上記各側面によれば、様々な異常状態を網羅的に検知する技術を提供することができる。

図面の簡単な説明

0013

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

0014

第一実施形態における画像処理装置のハードウェア構成例を概念的に示す図である。
第一実施形態における画像処理装置の処理構成例を概念的に示す図である。
保持部に保持される状態変化情報の例を示す図である。
保持部に保持される状態変化情報の他の例を示す図である。
出力装置出力画像の第一例を示す図である。
出力装置の出力画像の第二例を示す図である。
出力装置の出力画像の第三例を示す図である。
出力装置の出力画像の第四例を示す図である。
出力装置の出力画像の第五例を示す図である。
第一実施形態の変形例における画像処理装置の処理構成例を概念的に示す図である。
第一実施形態における画像処理装置の動作例を示すフローチャートである。
第二実施形態における画像処理装置の処理構成例を概念的に示す図である。
第二実施形態における画像処理装置の動作例を示すフローチャートである。
第三実施形態における画像処理装置の処理構成例を概念的に示す図である。
第三実施形態における画像処理装置の動作例を示すフローチャートである。

実施例

0015

以下、本発明の実施の形態について説明する。なお、以下に挙げる各実施形態はそれぞれ例示であり、本発明は以下の各実施形態の構成に限定されない。

0016

[第一実施形態]
装置構成
図1は、第一実施形態における画像処理装置(以降、単に処理装置表記する場合もある)1のハードウェア構成例を概念的に示す図である。処理装置1は、いわゆるコンピュータであり、例えば、バスで相互に接続される、CPU(Central Processing Unit)2、メモリ3、通信ユニット4、入出力インタフェース(I/F)5等を有する。メモリ3は、RAM(Random Access Memory)、ROM(Read Only Memory)、ハードディスク等である。通信ユニット4は、他のコンピュータや機器と信号のやりとりを行う。第一実施形態では、通信ユニット4には監視カメラ7が接続される。通信ユニット4は、監視カメラ7から映像信号を取得する。また、通信ユニット4には、可搬型記録媒体等も接続され得る。

0017

監視カメラ7は、監視すべき任意の場所を撮影可能な位置及び向きに設置され、撮影した映像信号を通信ユニット4に送る。以降、監視カメラ7により撮影される場所を監視対象場所と表記する場合もある。図1では、1台の監視カメラ7が示されるが、複数台の監視カメラが通信ユニット4に接続されていてもよい。

0018

入出力I/F5は、出力装置6等のユーザインタフェース装置接続可能である。出力装置6は、表示装置印刷装置投影装置等のいずれか1つ又はいずれか複数である。表示装置は、LCD(Liquid Crystal Display)やCRT(Cathode Ray Tube)ディスプレイのような、CPU2やGPU(Graphics Processing Unit)(図示せず)等により処理された描画データに対応する画面を表示する装置である。入出力I/F5には、キーボードマウス等のようなユーザ操作の入力を受け付け入力装置(図示せず)が接続されてもよい。また、入出力I/F5には、出力装置6及び入力装置が一体化されたタッチパネルが接続されてもよい。処理装置1のハードウェア構成は制限されない。

0019

〔処理構成〕
図2は、第一実施形態における画像処理装置1の処理構成例を概念的に示す図である。図2に示されるように、処理装置1は、取得部11、人物検出部12、変化検出部13、保持部14、判定部15、出力処理部16等を有する。これら各処理部は、例えば、CPU2によりメモリ3に格納されるプログラムが実行されることにより実現される。また、当該プログラムは、例えば、CD(Compact Disc)、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから通信ユニット4又は入出力I/F5を介してインストールされ、メモリ3に格納されてもよい。

0020

取得部11は、入力画像を取得する。具体的には、取得部11は、監視カメラ7からの映像信号を任意のタイミングでキャプチャすることにより、入力画像を逐次取得する。任意のタイミングは例えば所定周期である。取得部11により取得された入力画像は、保持部14に保持される。

0021

人物検出部12は、取得部11により取得された入力画像から人物を検出する。人物検出部12は、人の全身を検出してもよいし、頭部、顔、上半身等のように人の一部を検出してもよい。人物検出部12による人物の検出範囲は、後述する変化検出部13による状態変化の検出内容に依存する。この依存関係については後述する。

0022

人物検出部12は、周知の画像認識手法を用いて人を検出する。例えば、人物検出部12は、人の検出範囲に相当する画像の特徴量を保持し、入力画像中のその特徴量と類似する領域を当該検出範囲として検出する。人物検出部12による検出手法は制限されない。

0023

変化検出部13は、取得部11により逐次取得される複数の入力画像に基づいて、人物検出部12により検出された人物における対象の状態変化を検出する。例えば、変化検出部13は、人物検出部12により検出された人を複数の入力画像間で追跡(トラッキング)しながら、その人の見た目が対象の状態に変化するのを検出する。複数画像間の人物の追跡手法には、物体及び人物の周知の追跡手法が用いられれば良い。例えば、変化検出部13は、各画像でそれぞれ検出された各人物領域の特徴量を比較して、近似する人物領域どうしを同一人物と認識する。変化検出部13による人物の追跡手法は制限されない。

0024

また、変化検出部13は、当該対象の状態変化における変化後の状態を予め保持し、この保持される変化後の状態を使って、次のように、対象の状態変化を検出することができる。ここで、変化後の状態は、例えば、画像特徴量により予め保持される。変化検出部13は、人物検出部12により検出された人物の状態が、入力画像において、その保持される状態となっているか否かを判断する。入力画像でその保持される状態を検出した場合に、変化検出部13は、その入力画像よりも時間的に前に撮像された入力画像を用いて、その人物の状態が変化しているか否かを判断する。変化検出部13は、入力画像間の人物の追跡において、あらゆる状態変化を検出し、変化が検出された場合に、その変化後の状態が予め保持される状態となっているか否かを判断してもよい。但し、変化検出部13による状態変化の検出手法は、このような手法に制限されない。複数の画像間でのトラッキングを行わずに、当該対象の状態変化を検出することもできる。例えば、ジャンプを検出するためには、変化検出部13は、1つの入力画像において、地面や床から足が浮いている状態を検出すればよい。また、顔をしかめる、目をつむる、座るといった監視対象場所に存在する人物が通常行わない状態への変化が対象の状態変化となる場合には、その状態変化は1つの入力画像から検出することができる。

0025

入力画像に映る人物の状態変化は様々な要因で発生し得る。例えば、人は歩行しているだけでも、足が動くため、画像間でその人の姿勢(状態)は変化することになる。また、人が、歩行しながらスマートフォンを見た場合、歩行による姿勢変化と、スマートフォンを見るという姿勢変化とが生じる。変化検出部13は、このようなあらゆる状態変化の中の、異常状態の発生に起因して生じる人物の見た目の変化を当該対象の状態変化として検出する。

0026

当該対象の状態変化には、姿勢の変化、動作の変化、感情により表出する見た目の変化等があり得る。例えば、当該対象の状態変化には、しゃがむ、振り向く、見上げる、頭を押さえる、指を指す、撮影を行う、駆け出す、ころぶ、倒れる、ジャンプする、立ち上がる、顔をしかめる、目をつむる、驚いた顔をする等があり得る。当該対象の状態変化は、人の見た目の変化であり、異常状態の発生に起因して生じる変化であれば、その具体的な変化内容は制限されない。

0027

但し、入力画像を撮像する監視カメラ7の設置位置や監視カメラ7の画素数画像解像度)等に応じて、検出可能な状態変化が制限される場合がある。例えば、顔の表情や顔の一部(目など)の変化は、微小な画像領域における変化として表れるため、検出できない可能性がある。このような場合、変化検出部13は、頭部、胴体上肢及び下肢のように体の大まかな一部、又は、体全体の見た目の変化を当該対象の状態変化として検出すればよい。体全体又は体のおおまかな一部の見た目の変化を当該対象の状態変化とする場合であっても、しゃがむ、ころぶ、駆け出す、指差し等を検出することができるため、異常状態は判定可能である。

0028

変化検出部13により検出されるべき対象の状態変化に応じて、人物検出部12による人物の検出範囲が予め決められる。例えば、振り向く、見上げる、頭を押さえるといった状態変化を検出するためには、人物検出部12は、頭部又は上半身を検出すればよい。顔をしかめる、目をつむる、赤面する、青ざめるといった状態変化を検出するためには、人物検出部12は、顔を検出すればよい。しゃがむ、ころぶ、ジャンプするといった状態変化を検出するためには、人物検出部12は、人の全体像を検出することが望まれる。

0029

ここで、状態変化と異常状態との関係を例示する。例えば、人物の不審な状態のような人物の異常状態が発生した場合には、その人物の周囲の者は、振り向く、指を指す、駆け出す、顔をしかめる、驚いた顔をするといった状態変化を起こす可能性が高い。また、放置物、汚物等のような物体の異常状態が発生した場合には、その物体の周囲の者は、ジャンプする、振り向く、顔をしかめる、をつまむといった状態変化を起こす可能性が高い。また、火災のような場の異常状態が発生した場合には、その場の周囲の者は、駆け出す、携帯電話を操作する、指を指す、撮影を行う、振り向く、手を振るといった状態変化を起こす可能性が高い。そこで、後述の判定部15での判定対象となる異常状態に応じて、変化検出部13で検出されるべき対象の状態変化が決められればよい。

0030

保持部14は、取得部11により取得された各入力画像を保持し、更に、変化検出部13により検出された対象の状態変化ごとの情報(状態変化情報)を保持する。

0031

図3は、保持部14に保持される状態変化情報の例を示す図である。図3に示されるように、状態変化情報は、発生時間、人物ID、状態変化の内容等の情報を含む。発生時間には、変化後の状態が検出された入力画像の取得時間、又は、その入力画像の識別番号が設定される。人物IDは、人物検出部12により新たな人物が検出される度に、その人物に付与される識別データである。

0032

図4は、保持部14に保持される状態変化情報の他の例を示す図である。図4に示されるように、状態変化情報には、画像上における人物IDに対応する人の位置が設定されてもよい。このような位置は、例えば、人物検出部12により特定され、保持部14に保持される状態変化情報に設定される。この位置は、頭部の中心位置、の中心位置等のように、人物検出部12により検出される人物の代表的な位置に決定される。また、監視カメラ7の位置や姿勢、焦点距離等を示すカメラパラメータを保持している場合、上記に示す画像上の人の位置からカメラパラメータを用いて人の三次元位置(実空間の位置)を求め、その位置も追加して設定してもよい。また、後述の処理で、人の位置を扱う場合、この人の三次元位置を利用してもよい。

0033

判定部15は、対象の状態変化が複数人で生じたことを検出し、この検出に応じて異常状態を判定する。具体的には、判定部15は、保持部14に保持される状態変化情報を常時監視し、その状態変化情報に基づいて、対象の状態変化が所定人数以上で生じていることを検出する。所定人数は、判定部15により予め保持される。当該所定人数は、2人以上であればよく、取得される入力画像に映り得る人の人数に応じて決められる。但し、所定人数が多い程、異常状態の判定精度は向上する。多くの者に上述のような対象の状態変化が生じたということは、何らかの異常状態が発生している可能性が高いからである。

0034

判定部15は、対象の状態変化が複数人で生じたことを検出した場合に、何かしらの異常状態が存在する又は発生したと判定する。異常状態判定の根拠とされる対象の状態変化は、1種であっても、複数種であってもよい。例えば、判定部15は、しゃがむ、ころぶ、頭をおさえるという複数種の対象の状態変化の各々について、生じた人数をそれぞれ集計し、それらの合計人数が所定人数以上であれば、異常状態が存在する又は発生したと判定してもよい。また、判定部15は、対象の状態変化ごとに集計された各人数の中で、所定人数以上のものが存在する場合に、異常状態が存在する又は発生したと判定してもよい。

0035

《異常状態の他の判定手法1》
判定部15は、複数人での対象の状態変化の発生時期のずれを異常状態の判定のために更に用いることもできる。この場合、判定部15は、対象の状態変化が所定人数以上で生じていることを検知すると、その状態変化の発生時期の集合時間幅を計算する。判定部15は、その時間幅が所定時間幅内か否かを判定する。即ち、判定部15は、所定時間内で対象の状態変化が複数人で生じたことを検出し、この検出結果に応じて異常状態を判定する。複数人での対象の状態変化の発生時期のずれが小さい程、何らかの異常状態が発生している可能性が高い。ほぼ同じタイミングで複数人が対象の状態変化を生じさせることは、異常状態の発生に起因する可能性が高いからである。このように、「所定時間内」という条件を更に設けて異常状態を判定することで、異常状態の判定精度を向上させることができる。

0036

所定時間は、判定部15により予め保持される。当該所定時間は、入力画像の数を用いて表すこともできる。例えば、監視カメラ7から送られる映像信号から入力画像を得る周期に応じて、入力画像の数は時間に換算できる。0.5秒周期で映像信号から入力画像がキャプチャされる場合には、10個の入力画像は5秒に相当する。よって、保持部14に保持される状態変化情報に、発生時間として、上述のように入力画像の識別番号が含まれる場合には、入力画像の所定数が所定時間として用いられる。

0037

更に、判定部15は、複数人での対象の状態変化の発生時期のずれに応じて、異常状態の程度を推測することもできる。推測される異常状態の程度とは、異常状態の大きさ、異常度の高さ、異常状態に伴う危険度の高さ等である。判定部15は、当該ずれが小さい場合には、異常状態の程度が大きいと判定することができる。異常状態の程度が大きい場合には、その異常状態に対するその周囲の者の反応速度は速くなる。例えば、監視対象場所に危険人物が侵入してきた場合、その危険人物に気付いた者が即座に大きく反応し、その反応の大きさによりその反応が周囲の者にも急速に伝搬する。一方で、監視対象場所に少しの汚物が存在する場合、その汚物に伴う周囲の人の反応は、弱く、結果として、その反応速度は遅くなる。よって、判定部15は、当該ずれが大きい場合には、異常状態の程度が小さく、かつ、その異常状態がある程度継続していると推測することができる。

0038

《異常状態の他の判定手法2》
判定部15は、変化後の状態が同一の上記対象の状態変化が複数人で生じたことを検出し、この検出に応じて異常状態を判定することもできる。この場合、判定部15は、保持部14に保持される状態変化情報の中で、状態変化の内容が同一の人物の数をカウントし、この人数が所定人数以上となる状態変化が存在した場合に、異常状態有りと判定する。複数人が同じ状態変化を起こした場合には、何かしらの異常状態が生じている可能性が高い。よって、このように「変化後の状態が同一」という条件を異常状態判定に更に加えることで、異常状態の判定精度を高めることができる。

0039

《異常状態の他の判定手法3》
判定部15は、対象の状態変化が距離的に近い複数人で生じたことを検出し、この検出に応じて異常状態を判定することもできる。この場合、判定部15は、保持部14に保持される状態変化情報の位置情報を用いて、対象の状態変化を起こした各人の相対的距離画像内距離)を算出する。判定部15は、算出された相対距離所定距離以内となる人数をカウントし、その人数が所定人数以上となる場合に、異常状態有りと判定する。距離的に近い複数人が対象の状態変化を起こした場合には、何かしらの異常状態が生じている可能性が高い。よって、このように「対象の状態変化を起こした各人の相対距離が近い」という条件を異常状態判定に更に加えることで、異常状態の判定精度を高めることができる。

0040

以上のとおり異常状態判定の手法は複数存在する。各手法は、検知対象となる異常状態の種類に応じて適宜選択されればよい。例えば、可能な限り複数種の異常状態を検知対象としたい場合には、判定部15は、対象の状態変化が所定人数以上で生じたことを以て、異常状態有りと判定する。判定精度をより高めたい場合には、判定部15は、《異常状態の他の判定手法1、2及び3》の各々を実行し、各々の判定結果に応じて、異常状態を判定すればよい。また、更に判定精度を高めたい場合には、判定部15は、上述の全ての条件を満たした場合、即ち、所定時間内に変化後の状態が同一の対象の状態変化を、距離的に近い所定人数以上の者が起こした場合にのみ、異常状態有りと判定するようにすればよい。但し、各手法で用いられる各条件は適宜組み合して用いてもよい。

0041

出力処理部16は、判定部15による判定結果が示す異常状態有りを出力装置6に出力させることができる。例えば、出力処理部16は、監視カメラ7からの映像信号を出力装置6に送り、出力装置6に監視カメラ7により撮像された映像常時表示させる。出力処理部16は、判定部15により異常状態有りと判定された場合に、表示映像に異常状態有りを示す描画要素重畳させて表示させる。出力処理部16は、異常状態有りを示す画像に並べて、その異常状態が判定される前の画像を出力することもできる。また、出力処理部16は、表示映像を表示する出力装置6とは別の出力装置(LED(Light Emitting Diode)等)を用いて、異常状態有りを出力することもできる。例えば、LEDを点灯させる、LEDの点灯色を変える等により、異常状態有りを出力することもできる。但し、出力形態は、表示や点灯に制限されず、例えば、印刷データファイルの生成等でもよく、当該出力形態は制限されない。

0042

出力処理部16は、異常状態の有無に加えて、又は、異常状態の有無に代えて、次のような内容を出力装置6に出力させることもできる。以下の各出力例において、描画要素(人数情報順番情報、着色等を含む)は、保持部14に保持される入力画像に対する編集で付されてもよいし、監視カメラ7からの映像信号に基づく映像に重畳される形で付されてもよい。

0043

《出力例1》
出力処理部16は、入力画像中の、状態変化の検出が異常状態判定の根拠とされた人物群又は当該人物群の各人に、描画要素が付された画像を出力装置6に出力させる。描画要素を付す位置は、例えば、保持部14に保持される状態変化情報の位置情報により決定される。以降、状態変化の検出が異常状態判定の根拠とされた人物群を「根拠となる人物群」と表記する場合もある。出力処理部16は、保持部14に保持される入力画像に対して当該描画要素を付して得られる画像を出力装置6に出力させる。当該描画要素は、例えば、根拠となる人物群を囲む線、その人物群又はその人物群の各人に付される何らかのマーク(点、星、感嘆符、矢印、吹き出し等)である。根拠となる人物群又はその各人が特定できるように付されていれば、当該描画要素自体及び当該描画要素を付す位置及びその付し方は、制限されない。

0044

図5は、出力装置6の出力画像の第一例を示す図である。図5には、監視カメラ7が撮影する監視対象場所に危険人物D1が現れ、処理装置1により人物の異常状態(場の異常状態とも考えられる)が検知される様子が示されている。出力画像F1の撮像タイミングでは、異常状態は存在しておらず、複数の通行人往来している。出力画像F2の撮像タイミングにおいて、当該監視対象場所に危険人物D1が現れ、最寄りの2人の通行人M1及びM2が逃避行動を取っている。図5の例では、この出力画像F2が入力画像として取得した処理装置1は、異常状態有りと判定していない。

0045

出力画像F3の撮像タイミングでは、通行人M1及びM2に加えて、更に、通行人M3からM13が危険人物D1に気付き、対象の状態変化を起こしている。具体的には、通行人M1からM8は、歩行状態から駆け出す状態に変化しており、通行人M9からM11は、歩行状態から振り向く状態に変化しており、通行人M12及びM13は、歩行状態から立ち止まる状態に変化している。他の通行人は、依然、通常の歩行を行っている。このとき、判定部15は、駆け出す、振り向く、立ち止まるという対象の状態変化を起こした13人を入力画像中から検出し、この検出に応じて異常状態有りと判定する。即ち、図5の例では、判定部15は、所定人数「3」を保持し、対象の状態変化が3人以上で生じた場合に、異常状態有りと判定する。出力処理部16は、異常状態判定の根拠とされた人物群M1からM13に対して、それらを囲む方形の描画要素P1を付した画像を出力装置6に出力させる。図5の例では、描画要素P1内に異常状態(危険人物D1)が存在するため、出力画像を見た者は、即座に、異常状態の位置及びその内容を確認することができる。

0046

図6は、出力装置6の出力画像の第二例を示す図である。図6の例では、判定部15は、上述の《異常状態の他の判定手法2》を用いて異常状態を判定する。具体的には、判定部15は、変化後の状態が同一の対象の状態変化を起こした人数をカウントする。対象の状態変化「駆け出す」を起こした人数が「8人」(通行人M1からM8)とカウントされ、対象の状態変化「振り向く」を起こした人数が「3人」(通行人M9からM11)とカウントされ、対象の状態変化「立ち止まる」を起こした人数が「2人」(通行人M12及びM13)とカウントされる。判定部15は、対象の状態変化「駆け出す」及び「振り向く」が所定人数「3人」以上で生じているため、異常状態有りと判定する。この場合、出力処理部16は、図6に示されるように、変化後の状態が同一の人物群ごとに方形の描画要素が付された画像を出力する。描画要素P1は、変化後の状態が「駆け出す」となる人物群を囲み、描画要素P2は、変化後の状態が「振り向く」となる人物群を囲み、描画要素P3は、変化後の状態が「立ち止まる」となる人物群を囲む。なお、図6では、図面を見易くするために、各描画要素が重なる部分が点線で示されている。

0047

このように、根拠となる人物群又はその人物群の各人に描画要素を付した画像を出力することで、その画像を見た者が、異常状態の存在場所を容易に推測できるようになる。根拠となる人物群又はその人物群の各人が存在する位置の周囲に異常状態が存在している可能性が高いからである。

0048

《出力例2》
出力処理部16は、入力画像中の、状態変化の検出が異常状態判定の根拠とされた人物群に対して、当該人物群の人数及び当該人物群の各人の相対距離のいずれか一方又は両方が更に付された画像を出力装置6に出力させることもできる。人数及び相対距離は、対象の人物群を特定可能な位置に付される。ここで、根拠となる人物群の人数及び当該人物群の各人の相対距離は、異常状態の判定精度を表すと考えられる。対象の状態変化を起こした人数が多い場合、及び、対象の状態変化を起こした各人の距離が近い場合には、異常状態が存在している可能性が高いからである。よって、このような出力画像により、その画像を見た者が、異常状態の判定精度を容易に推測できるようになる。

0049

また、根拠となる人物群の人数は、更に、異常状態の程度を表すとも考えられる。対象の状態変化を起こした人数が多い場合、異常状態の程度が大きい可能性がある。よって、人数が付された出力画像によれば、その画像を見た者が、異常状態の程度を推測することもできる。

0050

図7は、出力装置6の出力画像の第三例を示す図である。図7の例では、出力処理部16は、根拠となる人物群に対して方形の描画要素と共にその人数「13」が付された画像を出力装置6に出力させる。

0051

《出力例3》
出力処理部16は、上記描画要素として又は上記描画要素と共に、状態変化の検出が異常状態判定の根拠とされた人物群の各人に、状態変化の順番又は状態変化の時間差が付された画像を出力装置6に出力させることもできる。各人物の状態変化の時間としては、その状態変化が検出された各入力画像に対応する時間が用いられる。ここで、状態変化の時間差とは、最先の状態変化が生じた時間から、各人が起こした状態変化の時間までの間の時間差である。例えば、最先の状態変化を起こした人の周囲に「±0」が付され、その他の各人の周囲にその人が起こした状態変化の時間までの時間差「+5秒」、「+8秒」が付される。異常状態に伴う状態変化は、その異常状態に近い者から起こす可能性が高い。よって、状態変化の順番又は状態変化の時間差を付した画像を出力することにより、その画像を見た者が、異常状態の存在場所を容易に推測できるようになる。

0052

図8は、出力装置6の出力画像の第四例を示す図である。図8の例では、出力処理部16は、根拠となる人物群に対して方形の描画要素が付されると共に、当該人物群の各人に状態変化の順番がそれぞれ付された画像を出力装置6に出力させる。図8の例では、人毎に異なる順番が付されているが、同じ入力画像で対象の状態変化が検出された各人物には同じ順番が付されてもよい。

0053

《出力例4》
出力処理部16は、異常状態判定の根拠とされた複数人の状態変化における変化後の状態に対応する方向を表す描画要素が付された画像を出力装置6に出力させることもできる。この方向を表す描画要素は、根拠とされた人物群又は当該人物群の各人に付される。出力処理部16は、変化後の状態と対応する方向情報との関連付けを予め保持する。例えば、変化後の状態が「しゃがむ」の場合、異常状態は、その人の上方又は下方に存在する可能性が高いため、変化後の状態「しゃがむ」に対して「上方向」及び「下方向」が対応付けられる。また、状態変化が「駆け出す」の場合、異常状態は、その駆け出した方向とは逆方向に存在する可能性が高いため、「駆け出す」に対応する変化後の状態に対して「駆け出す方向とは逆方向」が対応付けられる。出力処理部16は、このような関連付け情報を用いて、変化後の状態に対応する方向情報を特定し、この特定された方向情報に対応する描画要素を選択する。方向を表す描画要素には、例えば、矢印等が挙げられる。

0054

図9は、出力装置6の出力画像の第五例を示す図である。図9の例では、出力処理部16は、根拠となる人物群に対して方形の描画要素が付されると共に、当該人物群の各人に変化後の状態に対応する方向を表す描画要素がそれぞれ付された画像を出力装置6に出力させる。通行人M1、M6、M7及びM8には、「駆け出す」方向(図面右方向)とは逆の矢印(図面左方向)が付され、通行人M2からM5には、「駆け出す」方向(図面左方向)とは逆の矢印(図面右方向)が付されている。また、通行人M10及びM11には、「振り向く」方向として図面左方向の矢印が付され、通行人M9には、「振り向く」方向として図面右方向の矢印が付されている。また、通行人M12及びM13には、「立ち止まる」状態における顔が向く方向として図面左方向及び右方向の各矢印が付されている。

0055

《出力例5》
出力処理部16は、根拠となる人物群の入力画像上での代表位置を中心とする円状又は楕円状に、入力画像がその代表位置からの距離に対応する色で着色された画像を出力装置6に出力させることもできる。この場合、処理装置1は、次のような処理構成を有すればよい。

0056

図10は、第一実施形態の変形例における画像処理装置1の処理構成例を概念的に示す図である。図10に示されるように、処理装置1は、図2に示される処理構成に加えて、決定部17を更に有する。決定部17も他の処理部と同様に実現される。

0057

決定部17は、状態変化の検出が異常状態判定の根拠とされた人物群の入力画像上での代表位置を決定する。決定部17は、保持部14に保持される状態変化情報の位置情報を用いて、根拠となる人物群の各人の位置を特定し、特定された位置に基づいて、当該人物群の重心位置を代表位置として決定することができる。代表位置は、根拠となる人物群の代表的な位置を示せばよく、重心位置には限らない。

0058

この出力例によれば、根拠となる人物群の代表位置、及び、その代表位置からの距離が把握し易くなるため、異常状態の場所の特定に役立つ画像を出力することができる。

0059

出力処理部16は、状態変化の検出が異常状態判定の根拠とされた人物群の人数に対応する継続時間で、上記画像の出力を継続させるようにしてもよい。上述のとおり、対象の状態変化を起こした者が多数である程、実際に異常状態が存在している可能性が高い。よって、根拠となる人物群の人数が多い程、長くその画像を出力することで、画像を見る者がその異常状態に気付き易くすることができる。

0060

〔異常検知方法/動作例〕
以下、第一実施形態における異常検知方法について図11を用いて説明する。図11は、第一実施形態における処理装置1の動作例を示すフローチャートである。図11に示されるように、第一実施形態における異常検知方法は、処理装置1のような少なくとも1つのコンピュータにより実行される。例えば、図示される各工程は、処理装置1が有する各処理部により実行される。各工程は、処理装置1が有する上述の各処理部の処理内容と同様であるため、各工程の詳細は、適宜省略される。

0061

処理装置1は、入力画像を取得する(S91)。入力画像は、監視カメラ7からの映像信号を任意のタイミングでキャプチャすることで逐次取得される。

0062

処理装置1は、取得された入力画像から人物を検出する(S92)。処理装置1は、人の全身を検出してもよいし、人の一部を検出してもよい。

0063

処理装置1は、(S91)で取得された入力画像に基づいて、(S92)で検出された人物における対象の状態変化を検出する(S93)。対象の状態変化は、異常状態の発生に起因して生じる人物の見た目の変化を意味する。

0064

処理装置1は、(S93)で検出された対象の状態変化ごとの情報(状態変化情報)を保持する(S94)。状態変化情報は、発生時間、人物ID、状態変化の内容等の情報を含む。また、状態変化情報は、それらに加えて、人物IDが示す人の画像上の位置を含んでもよい。また、状態変化情報は、人の実空間上の位置を含んでもよい。

0065

処理装置1は、保持される状態変化情報を参照して、対象の状態変化が所定人数以上で生じたか否かを判定する(S95)。処理装置1は、対象の状態変化が所定人数以上で生じたことを検出すると(S95;YES)、異常状態有りと判定する(S96)。このとき、処理装置1は、所定人数以上での対象の状態変化の発生時期のずれを異常状態の判定のために更に用いることもできる。この場合、処理装置1は、所定時間内に対象の状態変化が所定人数以上で生じた場合に、異常状態有りと判定する。この発生時期のずれを使うことで、処理装置1は、異常状態の程度を推測することもできる。

0066

処理装置1は、異常状態の判定結果を出力装置6に出力させる(S97)。処理装置1は、異常状態の有無を出力装置6に出力させてもよいし、異常状態の有無と共に、又は、異常状態の有無に代えて、上述の《出力例1から5》で示される画像を出力させることもできる。

0067

図11では、複数の工程(処理)が順番に表されているが、第一実施形態における異常検知方法での各工程の実行順序は、図11の例に限定されない。例えば、(S94)は、(S92)及び(S93)の両方の検出が成功した場合にのみ実行される。また、(S91)は、(S95)の判定結果に関わらず、所定の周期で実行され得る。

0068

図11での異常状態判定の条件(S95)には、上述の《異常状態の他の判定手法1から3》で示されるように、更なる条件が付加されてもよい。《異常状態の他の判定手法1》が実行される場合には、(S95)では、処理装置1は、所定時間内に対象の状態変化が所定人数以上で生じたか否かを判定する。《異常状態の他の判定手法2》が実行される場合には、(S95)では、処理装置1は、変化後の状態が同一の対象の状態変化が所定人数以上で生じたか否かを判定する。《異常状態の他の判定手法3》が実行される場合には、(S95)では、処理装置1は、対象の状態変化が距離的に近い所定人数以上で生じたか否かを判定する。また、処理装置1は、これら条件のいずれか複数が組み合わせられた条件を(S95)で判定するようにしてもよい。

0069

〔第一実施形態における作用及び効果〕
上述のように、第一実施形態では、入力画像に基づいて、人物における対象の状態変化が検出され、対象の状態変化が所定人数以上で生じた場合に、異常状態有りと判定される。人物の不審な状態のような人物の異常状態、放置物、汚物等のような物体の異常状態、火災や事故のような場の異常状態が発生した場合、その発生場所の周囲に人が存在している場合には、その人々は、その監視対象場所において通常時には起こさない姿勢、行動、表情等の見た目の変化を起こす。そこで、第一実施形態では、人物、物体、場等における様々な異常状態がその周囲の人々の状態変化により捉えられる。

0070

従って、第一実施形態によれば、人物、物体、場等の様々な異常状態を網羅的に検知することができる。更に、第一実施形態によれば、周囲の人々の状態変化を捉えることができれば、異常状態自体が入力画像に映っていなくても、異常状態を検知することができる。例えば、異常状態が監視カメラ7の撮影範囲外に存在する場合や、異常状態が障害物に隠れている場合でも、第一実施形態によれば、異常状態を検知することができる。更に、第一実施形態によれば、出力画像において、異常状態判定の根拠となった人物群又は当該人物群の各人に何らかの描画要素を付すことで、画像を見る者に、異常状態の存在位置を推測させることができる。

0071

[第二実施形態]
第二実施形態における処理装置1は、異常状態の判定結果を用いて、監視カメラ7を制御する。以下、第二実施形態における処理装置1について、第一実施形態と異なる内容を中心に説明する。以下の説明では、第一実施形態と同様の内容については適宜省略する。

0072

図12は、第二実施形態における画像処理装置1の処理構成例を概念的に示す図である。図12に示されるように、処理装置1は、第一実施形態における処理構成に加えて、制御部18を更に有する。制御部18も他の処理部と同様に実現される。制御部18は、保持部14に保持される状態変化情報等を用いて、監視カメラ7を制御する。以下、制御部18による監視カメラ7の制御手法の具体例を説明する。

0073

カメラ制御手法1》
制御部18は、状態変化の検出が異常状態判定の根拠とされた人物群の入力画像上での代表位置に基づいて、監視カメラ7の撮像方向を制御することができる。この場合、図10に示されるように、処理装置1は、決定部17を更に有する。決定部17は、上述のとおり、状態変化の検出が異常状態判定の根拠とされた人物群の入力画像上での代表位置を決定する。

0074

この場合、監視カメラ7は、撮像方向を調整する機構(図示せず)を含む。この機構は、監視カメラ7の向きを変更してもよいし、可動型ミラー光学系により、撮像方向を変更してもよい。制御部18は、通信ユニット4を介して、監視カメラ7又は当該機構に撮像方向の変更を指示する。具体的には、制御部18は、根拠となる人物群の代表位置が入力画像の中央にくるように撮像方向の変更を指示する。この指示に応じて、監視カメラ7の撮像方向は調整される。

0075

この手法によれば、異常状態判定の根拠とされた人物群の代表位置が入力画像の中央にくるため、その画像を見る者にとって、根拠となる人物群の代表位置及びその周辺が確認し易くなる。これにより、根拠となる人物群の位置及びその周辺に異常状態が存在している可能性が高いため、異常状態の場所を推測し易くすることができる。

0076

《カメラ制御手法2》
制御部18は、状態変化の検出が異常状態判定の根拠とされた人物群の入力画像上での大きさに基づいて、監視カメラ7の画角を制御することができる。例えば、制御部18は、根拠となる人物群が入力画像内の一部の所定範囲に収まり、その人物群の周辺が入力画像に映るように、監視カメラ7の画角を変更する指示を監視カメラ7に送る。この指示に応じて、監視カメラ7は、ズームイン又はズームアウトする。人物群の入力画像上の大きさは、例えば、人物検出部12により検出された人物の画像領域を足し合わせることで決めることができる。制御部18は、当該人物群の大きさが当該所定範囲内に収まるまで、ズームイン又はズームアウトする指示を監視カメラ7に送り続けてもよい。

0077

この手法によれば、異常状態判定の根拠とされた人物群が入力画像内の一部の所定範囲に収まるように、監視カメラ7の画角が変更されるため、その画像を見る者にとって、根拠となる人物群及びその周辺が確認し易くなる。これにより、根拠となる人物群の位置及びその周辺に異常状態が存在している可能性が高いため、異常状態の場所を推測し易くすることができる。

0078

《カメラ制御手法3》
制御部18は、状態変化の検出が異常状態判定の根拠とされた人物群の全体又は一部が入力画像に含まれる範囲で、監視カメラ7の撮像方向を連続的に変化させることができる。具体的には、制御部18は、保持部14に保持される状態変化情報に基づいて、根拠となる人物群の入力画像上の位置を認識する。制御部18は、この認識された位置に基づいて、当該人物群の少なくとも一部が入力画像に収まる範囲に対応する、撮像方向の変更範囲を算出することができる。制御部18は、この変更範囲内で、当該人物群の入力画像上の位置が変わるように、撮像方向を変更する指示を連続的に監視カメラ7又は撮像方向を調整する機構に送る。制御部18は、例えば、撮像方向の変更指示に、変更すべき方向(上下左右等)及び変更すべき角度を含める。

0079

この手法によれば、根拠となる人物群の周囲の状況を網羅的に確認することを可能とする。異常状態有りとの判定時には入力画像に映っていなかった異常状態を監視カメラ7の撮影範囲に含めることができる場合もある。

0080

《カメラ制御手法4》
制御部18は、異常状態判定の根拠とされた複数人の状態変化における変化後の状態に対応する方向に監視カメラ7の撮像方向を変更させることもできる。変化後の状態に対応する方向、及び、その方向情報の取得手法については、《出力例4》で説明したとおりである。制御部18は、変化後の状態に対応する方向情報を取得し、その方向情報を含む撮像方向変更指示を監視カメラ7又は撮像方向を調整する機構に送る。

0081

この手法によれば、対象の状態変化における変化後の状態から推測される異常状態の存在方向に監視カメラ7の撮像方向を向けることができるため、異常状態が存在する可能性が高い場所を重点的に確認することを可能とする。異常状態有りとの判定時には入力画像に映っていなかった異常状態を監視カメラ7の撮影範囲に含めることができる場合もある。

0082

出力処理部16は、状態変化の検出が異常状態判定の根拠とされた人物群の人数に対応する継続時間で、監視カメラ7の制御を継続するようにしてもよい。上述のとおり、対象の状態変化を起こした者が多数である程、実際に異常状態が存在している可能性が高い。よって、根拠となる人物群の人数が多い程、上述のような監視カメラ7の制御を長く継続する。例えば、根拠となる人物群の代表位置や変化後の状態に基づいて変更された撮像方向が長く維持されるように、監視カメラ7が制御される。また、根拠となる人物群の入力画像上での大きさに基づいて変更された画角が長く維持されるように、監視カメラ7が制御される。また、根拠となる人物群の位置に基づく監視カメラ7の撮像方向の連続的変化が長く継続される。これにより、画像を見る者がその異常状態に気付き易くすることができる。

0083

〔異常検知方法/動作例〕
以下、第二実施形態における異常検知方法について図13を用いて説明する。図13は、第二実施形態における処理装置1の動作例を示すフローチャートである。図13では、図11と同じ処理内容の工程には、図11と同じ符号が付されている。第二実施形態における異常検知方法の実行主体は、第一実施形態と同様である。

0084

第二実施形態における異常検知方法では、第一実施形態における方法に対して、(S131)が更に実行される。(S131)では、処理装置1は、保持部14に保持される状態変化情報等を用いて、監視カメラ7を制御する。具体的な制御手法については、上述したとおりである。

0085

〔第二実施形態における作用及び効果〕
上述のとおり、第二実施形態では、異常状態有りと判定された場合に、根拠となる人物群の位置やその人物群の各人の変化後の状態等に基づいて、監視カメラ7の撮像方向や画角が制御される。結果として、異常状態が存在している可能性の高い、根拠となる人物群の周囲の状況が視認可能となるため、異常状態を確認し易くすることができる。

0086

[第二実施形態の変形例]
処理装置1は、複数の監視カメラ7に接続されており、当該複数の監視カメラ7を制御することもできる。この変形例では、各監視カメラ7は、異なる監視対象場所が撮影範囲となるように、それぞれ設置される。この変形例では、処理装置1は、或る監視カメラ7で撮像された入力画像に基づいて異常状態が検知された場合に、その異常状態判定の根拠とされた人物群の位置に対応する他の監視カメラ7を選択し、その監視カメラ7の撮像方向及び画角を変更させてもよい。このようにすれば、1台の監視カメラ7の撮像方向や画角を上述のように変更しても、その監視カメラ7では映すことができない位置に異常状態が存在する場合でも、周囲の他の監視カメラ7を制御することで、その位置を撮像することができる。

0087

少なくとも1台の監視カメラ7にそれぞれ接続される複数の処理装置1が連携するようにしてもよい。この場合、或る処理装置1が異常状態を検知した場合に、その処理装置1が、周囲の他の処理装置1に、異常状態判定結果を提供する。この結果を受けた処理装置1は、その提供元の処理装置1の監視カメラ7の監視対象場所の周囲を撮影するように、自身の監視カメラ7の撮像方向や画角を変更する。この場合、処理装置1は、異常状態判定結果に加えて、根拠となる人物群の位置に関する情報を他の処理装置1に提供することもできる。

0088

[各実施形態の変形例]
処理装置1には監視カメラ7が接続されず、処理装置1が他のコンピュータに接続される監視カメラ7を用いてもよい。この場合、取得部11は、可搬型記録媒体、又は、他のコンピュータから通信ユニット4を介して、入力画像又は映像信号を取得すればよい。当該他のコンピュータとしては、例えば、カメラで撮影した画像を一旦蓄積して配信する、画像蓄積配信装置や、画像を蓄積し、再生する画像録画器等があり得る。この場合、出力処理部16は、その画像を他のコンピュータに対して通信ユニット4を介して出力してもよい。また、制御部18は、当該他のコンピュータに監視カメラ7を制御するための指示情報を送信する。

0089

[第三実施形態]
以下、第三実施形態における画像処理装置及び異常検知方法について図14及び図15を用いて説明する。

0090

図14は、第三実施形態における画像処理装置の処理構成例を概念的に示す図である。図14に示されるように、画像処理装置100は、変化検出部101及び判定部102を有する。画像処理装置100は、例えば、図2に示される上述の処理装置1と同様のハードウェア構成を有し、その処理装置1と同様にプログラムが処理されることで、上述の各処理部が実現される。但し、画像処理装置100は、出力装置6及び監視カメラ7に接続されていなくてもよい。

0091

変化検出部101は、入力画像に基づいて人物における対象の状態変化を検出する。変化検出部101の具体的処理内容は、上述の変化検出部13と同様である。第三実施形態では、変化検出部101は、他のコンピュータで実現される取得部11及び人物検出部12から、各入力画像上での人物の画像領域に関する情報をそれぞれ取得し、この情報を用いて、人物における対象の状態変化を検出することもできる。このように、第三実施形態における画像処理装置100は、取得部11及び人物検出部12を必ずしも必要としない。また、変化検出部101は、検出した対象の状態変化に関する情報を他のコンピュータに保持させることができる。

0092

判定部102は、対象の状態変化が複数人で生じたことを検出し、この検出に応じて異常状態を判定する。判定部102の具体的処理内容は、上述の判定部15と同様である。画像処理装置100が保持部14を有していない場合には、判定部102は、他のコンピュータ上の保持部14から当該状態変化情報を取得して、異常状態判定に用いることができる。また、判定部102は、判定結果を他のコンピュータに通知することができる。

0093

図15は、第三実施形態における画像処理装置100の動作例を示すフローチャートである。図15に示されるように、第三実施形態における異常検知方法は、画像処理装置100のような少なくとも1つのコンピュータにより実行される。例えば、図示される各工程は、画像処理装置100が有する各処理部により実行される。

0094

第三実施形態における異常検知方法は、入力画像に基づいて人物における対象の状態変化を検出し(S151)、対象の状態変化が複数人で生じたことを検出した場合に(S152;YES)、異常状態を判定する(S153)、ことを含む。(S151)は、図11及び図13の(S93)に相当し、(S152)は、図11及び図13の(S95)に相当し、(S153)は、図11及び図13の(S96)に相当する。

0095

また、第三実施形態は、このような異常検知方法を少なくとも1つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録した当該少なくとも1つのコンピュータが読み取り可能な記録媒体であってもよい。

0096

第三実施形態によれば、上述の第一実施形態及び第二実施形態と同様の作用効果を得ることができる。

0097

なお、上述の説明で用いた複数のフローチャートでは、複数の工程(処理)が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態及び各変形例は、内容が相反しない範囲で組み合わせることができる。

0098

上記の各実施形態及び各変形例の一部又は全部は、以下のようにも特定され得る。但し、各実施形態及び各変形例が以下の記載に限定されるものではない。

0099

1.入力画像に基づいて人物における対象の状態変化を検出する変化検出手段と、
前記対象の状態変化が複数人で生じたことを検出し、該検出に応じて異常状態を判定する判定手段と、
を備える画像処理装置。
2. 前記判定手段は、変化後の状態が同一の前記対象の状態変化が複数人で生じたことを検出する、
1.に記載の画像処理装置。
3. 前記判定手段は、前記対象の状態変化が距離的に近い複数人で生じたことを検出する、
1.又は2.に記載の画像処理装置。
4. 前記判定手段は、前記複数人での前記対象の状態変化の発生時期のずれを異常状態の判定のために更に用いる、
1.から3.のいずれか1つに記載の画像処理装置。
5. 前記判定手段は、前記複数人での前記対象の状態変化の発生時期のずれに応じて、異常状態の程度を推測する、
4.に記載の画像処理装置。
6.入力画像中の、状態変化の検出が異常状態判定の根拠とされた人物群又は該人物群の各人に、描画要素が付された画像を出力装置に出力させる出力処理手段
を更に備える1.から5.のいずれか1つに記載の画像処理装置。
7. 前記出力処理手段は、入力画像中の、状態変化の検出が異常状態判定の根拠とされた人物群に対して、該人物群の人数及び該人物群の各人の相対距離のいずれか一方又は両方が更に付された前記画像を前記出力装置に出力させる、
6.に記載の画像処理装置。
8. 前記出力処理手段は、前記描画要素として又は前記描画要素と共に、状態変化の検出が異常状態判定の根拠とされた人物群の各人に、状態変化の順番又は状態変化の時間差が付された前記画像を前記出力装置に出力させる、
6.又は7.に記載の画像処理装置。
9. 前記出力処理手段は、異常状態判定の根拠とされた複数人の状態変化における変化後の状態に対応する方向を表す前記描画要素が付された前記画像を前記出力装置に出力させる、
6.から8.のいずれか1つに記載の画像処理装置。
10. 状態変化の検出が異常状態判定の根拠とされた人物群の入力画像上での代表位置を決定する決定手段と、
前記代表位置を中心とする円状又は楕円状に、入力画像が前記代表位置からの距離に対応する色で着色された画像を出力装置に出力させる出力処理手段と、
を更に備える1.から9.のいずれか1つに記載の画像処理装置。
11. 前記出力処理手段は、状態変化の検出が異常状態判定の根拠とされた人物群の人数に対応する継続時間で、前記画像の出力を継続させる、
6.から10.のいずれか1つに記載の画像処理装置。
12. 状態変化の検出が異常状態判定の根拠とされた人物群の入力画像上での代表位置を決定する決定手段と、
前記代表位置に基づいて、撮像装置の撮像方向を制御する制御手段と、
を更に備える1.から11.のいずれか1つに記載の画像処理装置。
13. 状態変化の検出が異常状態判定の根拠とされた人物群の入力画像上での大きさに基づいて、撮像装置の画角を制御する制御手段、
を更に備える1.から12.のいずれか1つに記載の画像処理装置。
14. 状態変化の検出が異常状態判定の根拠とされた人物群の全体又は一部が入力画像に含まれる範囲で、撮像装置の撮像方向を連続的に変化させる制御手段、
を更に備える1.から13.のいずれか1つに記載の画像処理装置。
15. 異常状態判定の根拠とされた複数人の状態変化における変化後の状態に対応する方向に撮像装置の撮像方向を変更させる制御手段、
を更に備える1.から14.のいずれか1つに記載の画像処理装置。
16. 前記制御手段は、状態変化の検出が異常状態判定の根拠とされた人物群の人数に対応する継続時間で、前記撮像装置の制御を継続する、
12.から15.のいずれか1つに記載の画像処理装置。

0100

17. 少なくとも1つのコンピュータにより実行される異常検知方法において、
入力画像に基づいて人物における対象の状態変化を検出し、
前記対象の状態変化が複数人で生じたことを検出し、
前記検出に応じて異常状態を判定する、
ことを含む異常検知方法。
18. 前記対象の状態変化が複数人で生じたことの検出は、変化後の状態が同一の前記対象の状態変化が複数人で生じたことを検出する、
17.に記載の異常検知方法。
19. 前記対象の状態変化が複数人で生じたことの検出は、前記対象の状態変化が距離的に近い複数人で生じたことを検出する、
17.又は18.に記載の異常検知方法。
20. 前記対象の状態変化が複数人で生じたことの検出は、前記複数人での前記対象の状態変化の発生時期のずれが所定時間内であることを更に判断する、
17.から19.のいずれか1つに記載の異常検知方法。
21. 前記複数人での前記対象の状態変化の発生時期のずれに応じて、異常状態の程度を推測する、
ことを更に含む20.に記載の異常検知方法。
22.入力画像中の、状態変化の検出が異常状態判定の根拠とされた人物群又は該人物群の各人に、描画要素が付された画像を出力装置に出力させる
ことを更に含む17.から21.のいずれか1つに記載の異常検知方法。
23. 前記出力は、入力画像中の、状態変化の検出が異常状態判定の根拠とされた人物群に対して、該人物群の人数及び該人物群の各人の相対距離のいずれか一方又は両方が更に付された前記画像を前記出力装置に出力させる、
22.に記載の異常検知方法。
24. 前記出力は、前記描画要素として又は前記描画要素と共に、状態変化の検出が異常状態判定の根拠とされた人物群の各人に、状態変化の順番又は状態変化の時間差が付された前記画像を前記出力装置に出力させる、
22.又は23.に記載の異常検知方法。
25. 前記出力は、異常状態判定の根拠とされた複数人の状態変化における変化後の状態に対応する方向を表す前記描画要素が付された前記画像を前記出力装置に出力させる、
22.から24.のいずれか1つに記載の異常検知方法。
26. 状態変化の検出が異常状態判定の根拠とされた人物群の入力画像上での代表位置を決定し、
前記代表位置を中心とする円状又は楕円状に、入力画像が前記代表位置からの距離に対応する色で着色された画像を出力装置に出力させる、
ことを更に含む17.から25.のいずれか1つに記載の異常検知方法。
27. 状態変化の検出が異常状態判定の根拠とされた人物群の人数に対応する継続時間で、前記画像の出力を継続させる、
ことを更に含む22.から26.のいずれか1つに記載の異常検知方法。
28. 状態変化の検出が異常状態判定の根拠とされた人物群の入力画像上での代表位置を決定し、
前記代表位置に基づいて、撮像装置の撮像方向を制御する、
ことを更に含む17.から27.のいずれか1つに記載の異常検知方法。
29. 状態変化の検出が異常状態判定の根拠とされた人物群の入力画像上での大きさに基づいて、撮像装置の画角を制御する、
ことを更に含む17.から28.のいずれか1つに記載の異常検知方法。
30. 状態変化の検出が異常状態判定の根拠とされた人物群の全体又は一部が入力画像に含まれる範囲で、撮像装置の撮像方向を連続的に変化させる、
ことを更に含む17.から29.のいずれか1つに記載の異常検知方法。
31. 異常状態判定の根拠とされた複数人の状態変化における変化後の状態に対応する方向に撮像装置の撮像方向を変更させる、
ことを更に含む17.から30.のいずれか1つに記載の異常検知方法。
32. 状態変化の検出が異常状態判定の根拠とされた人物群の人数に対応する継続時間で、前記撮像装置の制御を継続する、
ことを更に含む28.から31.のいずれか1つに記載の異常検知方法。

0101

33. 17.から32.のいずれか1つに記載の異常検知方法をコンピュータに実行させるプログラム。
34. 33.に記載のプログラムをコンピュータに読み取り可能に記録する記録媒体。

0102

この出願は、2014年6月27日に出願された日本出願特願2014−132304号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 積水ハウス株式会社の「 安否確認システム」が 公開されました。( 2020/09/24)

    【課題】居住者の異常を的確に判定し、異常が生じた場合に、より安全に、より確実に、かつ速やかに対応する。【解決手段】住居(10)に設置され、居住者(15)少なくとも心拍数および呼吸数を非接触で検知する第... 詳細

  • アースアイズ株式会社の「 監視装置、監視システム、及び、監視方法」が 公開されました。( 2020/09/24)

    【課題】2次元画像を用いた監視装置において、監視対象とした「人」が行う監視対象とした「物」に対する不定形な一般的動作を抽出して、監視対象とした「人」が、監視対象とした「物」に対して不審度の高い所定の行... 詳細

  • 株式会社日立ハイテクノロジーズの「 電子ビーム装置及び画像処理方法」が 公開されました。( 2020/09/24)

    【課題】電子ビーム装置において、シフト量がサブピクセル量となった場合でも、画像を移動させたことによる測長値の変化を防止する。【解決手段】画素補間フィルタにより画像を画素間の画素シフト量だけシフトさせる... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ