図面 (/)

技術 解析装置、解析方法及びプログラム

出願人 日本電気株式会社
発明者 平川康史劉健全西村祥治荒木拓也
出願日 2019年2月27日 (1年2ヶ月経過) 出願番号 2019-033711
公開日 2019年9月12日 (7ヶ月経過) 公開番号 2019-153296
状態 未査定
技術分野 閉回路テレビジョンシステム 盗難警報装置 警報システム
主要キーワード 参考形態 外部センサー エリア分け 人物識別情報 インデックス生成装置 ホームレス 所定フレーム毎 フレーム識別情報
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2019年9月12日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (17)

課題

本発明は、画像内で抽出された人物の特性を推定するための新たな技術を提供することを課題とする。

解決手段

上記課題を解決するため、動画データを解析することで所定エリアに存在する人物を抽出する人物抽出部11と、人物が所定エリアに存在しなくなってから再び所定エリアに現れるまでの時間である再出現時間を算出する時間算出部12と、再出現時間に基づき、抽出された人物の特性を推定する推定部13と、を有する解析装置10を提供する。

概要

背景

関連する技術が、特許文献1に開示されている。特許文献1には、監視範囲情景撮像した画像から人の顔を検出し、その顔の大きさや、監視範囲に継続して滞在した時間や、監視範囲に現れた回数等に基づき、対策処理の要否や程度を判断する不審者対策システムが開示されている。なお、上記時間や回数が大きくなるほど、怪しさが高くなることを想定している。

特許文献2及び3には、複数のノード階層化されたインデックスを生成するインデックス生成装置が開示されている。

概要

本発明は、画像内で抽出された人物の特性を推定するための新たな技術を提供することを課題とする。上記課題を解決するため、動画データを解析することで所定エリアに存在する人物を抽出する人物抽出部11と、人物が所定エリアに存在しなくなってから再び所定エリアに現れるまでの時間である再出現時間を算出する時間算出部12と、再出現時間に基づき、抽出された人物の特性を推定する推定部13と、を有する解析装置10を提供する。

目的

本発明は、画像内で抽出された人物の特性を推定するための新たな技術を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

動画データを解析することで所定エリアに存在する人物を抽出する人物抽出手段と、前記人物が前記所定エリアに存在しなくなってから再び前記所定エリアに現れるまでの時間である再出現時間を算出する時間算出手段と、前記再出現時間に基づき、抽出された前記人物の特性を推定する推定手段と、を有する解析装置

請求項2

請求項1に記載の解析装置において、前記時間算出手段はさらに、前記人物が前記所定エリアに継続して存在した時間である連続出現時間を算出し、前記推定手段は、前記再出現時間と前記連続出現時間とに基づいて、前記人物の特性を推定する解析装置。

請求項3

請求項2に記載の解析装置において、前記推定手段は、前記連続出現時間と前記再出現時間との関係に基づいて、前記人物の特性を推定する解析装置。

請求項4

請求項2又は3に記載の解析装置において、前記推定手段は、前記連続出現時間及び前記再出現時間のペアと、推定される前記特性とを対応付け対応情報に基づき、前記人物の特性を推定する解析装置。

請求項5

請求項4に記載の解析装置において、前記推定手段は、出現時の時間帯毎に内容が異なる前記対応情報に基づき、前記人物の特性を推定する解析装置。

請求項6

請求項4又は5に記載の解析装置において、前記推定手段は、前記連続出現時間及び前記再出現時間と、確率分布と、前記対応情報とに基づき、前記人物の特性を推定する解析装置。

請求項7

請求項1から6のいずれか1項に記載の解析装置において、各人物に対応して推定された前記特性各々の推定された回数カウントするカウント手段と、ある人物に対応して推定された前記特性各々の推定された回数に基づき、推定された前記特性の信頼度を算出する信頼度算出手段と、をさらに有する解析装置。

請求項8

請求項1から7のいずれか1項に記載の解析装置において、前記時間算出手段は、第1の人物が前記動画データ内で抽出された後、次に前記動画データ内で抽出されるまでの経過時間tが所定時間tsより小さい場合、前記第1の人物は、前記経過時間tの間、前記所定エリアに連続的に存在すると判断し、前記経過時間tが前記所定時間ts以上である場合、前記第1の人物は、前記経過時間tの間、前記所定エリアに存在していないと判断する解析装置。

請求項9

コンピュータが、動画データを解析することで所定エリアに存在する人物を抽出する人物抽出工程と、前記人物が前記所定エリアに存在しなくなってから再び前記所定エリアに現れるまでの時間である再出現時間を算出する時間算出工程と、前記再出現時間に基づき、抽出された前記人物の特性を推定する推定工程と、を実行する解析方法

請求項10

コンピュータを、動画データを解析することで所定エリアに存在する人物を抽出する人物抽出手段、前記人物が前記所定エリアに存在しなくなってから再び前記所定エリアに現れるまでの時間である再出現時間を算出する時間算出手段、前記再出現時間に基づき、抽出された前記人物の特性を推定する推定手段、として機能させるプログラム

技術分野

0001

本発明は、解析装置解析方法及びプログラムに関する。

背景技術

0002

関連する技術が、特許文献1に開示されている。特許文献1には、監視範囲情景撮像した画像から人の顔を検出し、その顔の大きさや、監視範囲に継続して滞在した時間や、監視範囲に現れた回数等に基づき、対策処理の要否や程度を判断する不審者対策システムが開示されている。なお、上記時間や回数が大きくなるほど、怪しさが高くなることを想定している。

0003

特許文献2及び3には、複数のノード階層化されたインデックスを生成するインデックス生成装置が開示されている。

先行技術

0004

特開2006−11728号公報
国際公開第2014/109127号
特開2015−49574号公報

発明が解決しようとする課題

0005

特許文献1に開示の技術のように、継続して滞在した時間や現れた回数が大きくなるほど怪しいと判定する場合、誤った判定を行う可能性がある。例えば、監視範囲で継続的に作業する人物等を怪しいと判定してしまう。このような不都合を軽減するため、様々な判定基準が望まれる。

0006

本発明は、画像内で抽出された人物の特性を推定するための新たな技術を提供することを課題とする。

課題を解決するための手段

0007

本発明によれば、
動画データを解析することで所定エリアに存在する人物を抽出する人物抽出手段と、
前記人物が前記所定エリアに存在しなくなってから再び前記所定エリアに現れるまでの時間である再出現時間を算出する時間算出手段と、
前記再出現時間に基づき、抽出された前記人物の特性を推定する推定手段と、
を有する解析装置が提供される。

0008

また、本発明によれば、
コンピュータが、
動画データを解析することで所定エリアに存在する人物を抽出する人物抽出工程と、
前記人物が前記所定エリアに存在しなくなってから再び前記所定エリアに現れるまでの時間である再出現時間を算出する時間算出工程と、
前記再出現時間に基づき、抽出された前記人物の特性を推定する推定工程と、
を実行する解析方法が提供される。

0009

また、本発明によれば、
コンピュータを、
動画データを解析することで所定エリアに存在する人物を抽出する人物抽出手段、
前記人物が前記所定エリアに存在しなくなってから再び前記所定エリアに現れるまでの時間である再出現時間を算出する時間算出手段、
前記再出現時間に基づき、抽出された前記人物の特性を推定する推定手段、
として機能させるプログラムが提供される。

発明の効果

0010

本発明によれば、画像内で抽出された人物の特性を推定するための新たな技術が実現される。

図面の簡単な説明

0011

本実施形態の装置のハードウエア構成の一例を概念的に示す図である。
本実施形態の解析装置の機能ブロック図の一例である。
本実施形態の連続出現時間及び再出現時間の算出方法の一例を説明するための図である。
本実施形態の連続出現時間及び再出現時間の算出方法の一例を説明するための図である。
本実施形態で用いることができるインデックス情報の一例を説明するための図である。
本実施形態の解析装置が扱う情報の一例を模式的に示す図である。
本実施形態の解析装置が扱う情報の一例を模式的に示す図である。
本実施形態の解析装置が扱う情報の一例を模式的に示す図である。
本実施形態の解析装置が扱う情報の一例を模式的に示す図である。
本実施形態の解析装置が扱う情報の一例を模式的に示す図である。
本実施形態の解析装置の処理の流れの一例を示すフローチャートである。
本実施形態の解析装置の機能ブロック図の一例である。
本実施形態の解析装置が扱う情報の一例を模式的に示す図である。
本実施形態の解析装置の機能ブロック図の一例である。
本実施形態の解析装置が提供する設定画面の一例を示す図である。
本実施形態の解析装置が提供する設定画面の一例を示す図である。

実施例

0012

まず、本実施形態の装置(解析装置)のハードウエア構成の一例について説明する。本実施形態の装置が備える各部は、任意のコンピュータのCPU(Central Processing Unit)、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット(あらかじめ装置を出荷する段階から格納されているプログラムのほか、CD(Compact Disc)等の記憶媒体インターネット上のサーバ等からダウンロードされたプログラムをも格納できる)、ネットワーク接続用インターフェイスを中心にハードウエアソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。

0013

図1は、本実施形態の装置のハードウエア構成を例示するブロック図である。図1に示すように、装置は、プロセッサ1A、メモリ2A、入出力インターフェイス3A、周辺回路4A、バス5Aを有する。周辺回路には、様々なモジュールが含まれる。

0014

バス5Aは、プロセッサ1A、メモリ2A、周辺回路4A及び入出力インターフェイス3Aが相互にデータを送受信するためのデータ伝送路である。プロセッサ1Aは、例えばCPU(Central Processing Unit) やGPU(Graphics Processing Unit)などの演算処理装置である。メモリ2Aは、例えばRAM(Random Access Memory)やROM(Read Only Memory)などのメモリである。入出力インターフェイス3Aは、外部装置外部サーバ外部センサー等から情報を取得するためのインターフェイスなどを含む。プロセッサ1Aは、各モジュールに指令を出し、それらの演算結果をもとに演算を行う。

0015

以下、本実施の形態について説明する。なお、以下の実施形態の説明において利用する機能ブロック図は、ハードウエア単位の構成ではなく、機能単位のブロックを示している。これらの図においては、各装置は1つの機器により実現されるよう記載されているが、その実現手段はこれに限定されない。すなわち、物理的に分かれた構成であっても、論理的に分かれた構成であっても構わない。なお、同一の構成要素には同一の符号を付し、適宜説明を省略する。

0016

<第1の実施形態>
まず、本実施形態の概要を説明する。本実施形態の解析装置は、動画データを解析して人物を抽出すると、抽出した人物毎に、所定エリアに連続的に存在する時間(連続出現時間)、及び、所定エリアから外れた(所定エリアにいなくなった)後に再び所定エリアに現れるまでの時間(再出現時間)を算出する。そして、解析装置は、連続出現時間及び再出現時間に基づき、抽出した人物の特性を推定する。連続出現時間及び再出現時間に基づき推定される人物の特性は、コンテキストや人物の状況から把握される性質の情報であり、例えば、旅行者通行人スリ作業者、出稼ぎ、不審人物、デモ参加者ホームレス等が例示される。なお、ここでの例示はあくまで一例であり、これらに限定されない。
以下、詳細に説明する。

0017

図2に、本実施形態の解析装置10の機能ブロック図の一例を示す。図示するように、解析装置10は、人物抽出部11と、時間算出部12と、推定部13とを有する。

0018

人物抽出部11は、動画データを解析し、動画データ内から人物を抽出する。人物を抽出する処理は、あらゆる技術を採用できる。

0019

人物抽出部11には、例えば、所定位置に設置された1つ又は複数のカメラ(例:監視カメラ)により撮影された動画データが入力される。人物抽出部11は、例えば当該動画データを時系列順に処理し、動画データ内から人物を抽出する。

0020

人物抽出部11は、動画データに含まれるすべてのフレーム処理対象としてもよいし、所定フレーム毎に処理対象としてもよい。そして、人物抽出部11は、処理対象のフレームから人物を抽出する。また、人物抽出部11は、抽出した人物の外観の特徴量(例:顔の特徴量)を抽出する。

0021

時間算出部12は、人物抽出部11により抽出された人物毎に、所定エリアに連続的に存在する連続出現時間、及び、所定エリアから外れた後に再び所定エリアに現れるまでの再出現時間を算出する。このような連続出現時間及び再出現時間の算出は、あらゆる技術を採用して実現できる。以下、一例を説明するが、これらに限定されない。

0022

一例として、動画データに連続的に映る時間を連続出現時間とし、動画データに映らなくなった後再び映るようになるまでの時間を再出現時間としてもよい。すなわち、処理対象のn番目のフレームをFnとした場合、例えばF1からF500までのフレーム各々からある人物が抽出され、F501からF1500までのフレーム各々からは当該人物が抽出されず、F1501のフレームで再び当該人物が抽出されたとする。この場合、F1からF500までの経過時間を連続出現時間とし、F501からF1501までの経過時間を再出現時間としてもよい。

0023

この例の場合、カメラで撮影されるエリアが所定エリアとなる。例えば、次に説明するような方法で連続出現時間及び再出現時間を算出することで、所定エリアを、カメラで撮影されるエリア及びその周辺まで広げることが可能となる。

0024

ここでは、1つのカメラで撮影された動画データを処理対象とする。時間算出部12は、人物A(第1の人物)が動画データ内で抽出された後、次に動画データ内で抽出されるまでの経過時間tを算出する。そして、経過時間tが予め定められた所定時間ts(設計的事項)より小さい場合(又は以下である場合)、第1の人物は、その経過時間tの間、所定エリアに連続的に存在すると判断する。一方、経過時間tが所定時間ts以上である場合(又はより大である場合)、第1の人物は、その経過時間tの間、所定エリアに存在していないと判断する。

0025

図3を用いて具体例を説明する。人物Aが1回目に抽出されてから2回目に抽出されるまでの経過時間t1は、所定時間tsより小さい。このため、時間算出部12は、1回目に抽出されてから2回目に抽出されるまでの間(経過時間t1)、人物Aは所定エリアに連続的に存在したと判断する。

0026

次に、人物Aが2回目に抽出されてから3回目に抽出されるまでの経過時間t2は、所定時間tsより小さい。このため、時間算出部12は、2回目に抽出されてから3回目に抽出されるまでの間(経過時間t2)、人物Aは所定エリアに連続的に存在したと判断する。そして、時間算出部12は、所定時間tsより小さい状態が連続する間(ここでは、1回目に抽出されてから3回目に抽出されるまでの間)、人物Aは所定エリアに連続的に存在したと判断する。

0027

次に、人物Aが3回目に抽出されてから4回目に抽出されるまでの経過時間t3は、所定時間tsより大きい。このため、時間算出部12は、3回目に抽出されてから4回目に抽出されるまでの間(経過時間t3)、人物Aは所定エリアに存在していないと判断する。そして、時間算出部12は、t3を、再出現時間とする。また、時間算出部12は、(t1+t2)を、連続出現時間とする。

0028

他の一例を説明する。ここでは、複数のカメラで撮影された動画データを処理対象とする。複数のカメラはいずれも、同じ所定エリア内所定箇所を撮影する。例えば、複数のカメラはいずれも○○公園等の同じエリアに設置されてもよい。複数のカメラ各々が撮影する撮影エリアは、互いに一部が重なってもよいし、互いに重ならなくてもよい。

0029

時間算出部12は、第1の人物がある第1のカメラで撮影された動画データ内で抽出された後、いずれかのカメラ(第1のカメラであってもよいし、他のカメラであってもよい)で撮影された動画データ内で次に抽出されるまでの経過時間tを算出する。そして、経過時間tが予め定められた所定時間ts(設計的事項)より小さい場合(又は以下である場合)、第1の人物は、経過時間tの間、所定エリアに連続的に存在すると判断する。一方、経過時間tが所定時間ts以上である場合(又はより大である場合)、第1の人物は、経過時間tの間、所定エリアに存在していないと判断する。

0030

図4を用いて具体例を説明する。人物Aは、カメラA(Cam A)の動画データ内で抽出された後(1回目の抽出)、カメラB(Cam B)の動画データ内で抽出されたとする(2回目の抽出)。1回目の抽出から2回目の抽出までの経過時間t1は、所定時間tsより小さい。このため、時間算出部12は、1回目に抽出されてから2回目に抽出されるまでの間(経過時間t1)、人物Aは所定エリアに連続的に存在したと判断する。

0031

次に、人物AがカメラB(Cam B)の動画データ内で2回目に抽出されてからカメラC(Cam C)の動画データ内で次に(3回目)に抽出されるまでの経過時間t2は、所定時間tsより小さい。このため、時間算出部12は、2回目に抽出されてから3回目に抽出されるまでの間(経過時間t2)、人物Aは所定エリアに連続的に存在したと判断する。そして、時間算出部12は、所定時間tsより小さい状態が連続する間(1回目に抽出されてから3回目に抽出されるまでの間)、人物Aは所定エリアに連続的に存在したと判断する。

0032

次に、人物AがカメラC(Cam C)の動画データ内で3回目に抽出されてからカメラB(Cam C)の動画データ内で次に(4回目)に抽出されるまでの経過時間t3は、所定時間tsより大きい。このため、時間算出部12は、3回目に抽出されてから4回目に抽出されるまでの間(経過時間t3)、人物Aは所定エリアに存在していないと判断する。そして、時間算出部12は、t3を、再出現時間とする。また、時間算出部12は、(t1+t2)を、連続出現時間とする。

0033

以下では、図3及び図4を用いて説明した算出方法を前提に説明する。

0034

ところで、上記処理を行うためには、あるフレームから抽出された人物と、それ以前のフレームで抽出された人物とが同一人物であるか判断する必要がある。それ以前のフレームで抽出されたすべての人物各々の外観の特徴量と、あるフレームから抽出されたすべての人物各々の外観の特徴量とのすべてのペアを比較することで、上記判断を行ってもよい。しかし、この処理の場合、蓄積された人物のデータが増えるほど、比較するペアの数が膨大となり、処理負担が大きくなる。そこで、例えば、次のような方法を採用してもよい。

0035

例えば、抽出された人物を図5のようにインデックス化し、当該インデックスを用いて、それ以前に抽出された人物と同一人物か否かの判定を行ってもよい。当該インデックスを用いることで、処理速度を高速化できる。当該インデックスの詳細及び生成方法は、特許文献2及び3に開示されている。以下、図5のインデックスの構成及びその利用方法を簡単に説明する。

0036

図5に示す抽出ID(identifier):「F○○○−○○○○」は、各フレームから抽出された人物各々に付される識別情報である。F○○○がフレーム識別情報であり、ハイフン以下が各フレームから抽出された人物各々の識別情報である。同一人物が異なるフレームから抽出された場合、各々に異なる抽出IDが付されることとなる。

0037

第3層には、それまでに処理されたフレームから得られた全ての抽出ID各々に対応したノードが配置される。そして、第3層に配置された複数のノードは、類似度(外観の特徴量の類似度)が第1のレベル以上のもの同士でまとめてグループ化される。第3層では、同一人物に関すると判断される複数の抽出IDどうしでグループ化されている。すなわち、上記類似度の第1のレベルは、このようなグループ化を実現可能とする値に設定されている。このような第3層の各グループに対応して、人物識別情報(人物ID)が付される。

0038

第2層には、第3層の複数のグループ各々から選択された1つのノード(代表)が配置され、第3層の当該グループと紐付けられる。第2層に配置された複数のノードは、類似度が第2のレベル以上のもの同士でまとめてグループ化される。なお、類似度の第2のレベルは、上記第1のレベルよりも低い。すなわち、第1のレベルを基準にした場合にはグループ化されないノード同士が、第2のレベルを基準にした場合にはグループ化され得る。

0039

第1層には、第2層の複数のグループ各々から選択された1つのノード(代表)が配置され、第2層の当該グループと紐付けられる。

0040

時間算出部12は、例えば、それまでの処理で得られた複数の抽出IDを、図5に示すようにインデックス化する。

0041

そして、新たなフレームから新たな抽出IDが得られると、当該情報を用いて、当該抽出IDに対応する人物がそれ以前に抽出された人物と同一人物であるか否かを判断する。また、新たな抽出IDを当該インデックスに追加する。以下、説明する。

0042

まず、時間算出部12は、第1層に位置する複数の抽出IDを比較対象とする。人物抽出部11は、新たな抽出IDと、第1層に位置する複数の抽出ID各々とでペアを作成する。そして、人物抽出部11は、ペア毎に類似度(外観の特徴量の類似度)を算出し、算出した類似度が第1の閾値以上(所定レベル以上類似)であるか判定する。

0043

第1層に、類似度が第1の閾値以上である抽出IDが存在しない場合、時間算出部12は、新たな抽出IDに対応する人物は、それ以前に抽出された人物と同一人物でないと判断する。そして、時間算出部12は、新たな抽出IDを第1層乃至第3層に追加し、それらを互いに紐付ける。第2層及び第3層においては、追加された新たな抽出IDにより新たなグループが生成される。また、第3層の新たなグループに対応して新たな人物IDが発行される。そして、その人物IDを、新たな抽出IDに対応する人物の人物IDとして特定する。

0044

一方、第1層に、類似度が第1の閾値以上である抽出IDが存在する場合、時間算出部12は、比較対象を第2層に移す。具体的には、「類似度が第1の閾値以上であると判定された第1層の抽出ID」に紐付けられた第2層のグループを、比較対象とする。

0045

そして、時間算出部12は、新たな抽出IDと、第2層の処理対象のグループに含まれる複数の抽出ID各々とでペアを作成する。そして、時間算出部12は、ペア毎に類似度を算出し、算出した類似度が第2の閾値以上であるか判定する。なお、第2の閾値は、第1の閾値よりも高い。

0046

第2層の処理対象のグループに、類似度が第2の閾値以上である抽出IDが存在しない場合、時間算出部12は、新たな抽出IDに対応する人物は、それ以前に抽出された人物と同一人物でないと判断する。そして、時間算出部12は、新たな抽出IDを第2層及び第3層に追加し、互いに紐付ける。第2層においては、新たな抽出IDは処理対象のグループに追加される。第3層においては、追加された新たな抽出IDにより新たなグループが生成される。また、第3層の新たなグループに対応して新たな人物IDが発行される。そして、その人物IDを、新たな抽出IDに対応する人物の人物IDとして特定する。

0047

一方、第2層の処理対象のグループに、類似度が第2の閾値以上である抽出IDが存在する場合、時間算出部12は、新たな抽出IDに対応する人物は、それ以前に抽出された人物と同一人物であると判断する。そして、新たな抽出IDを、「類似度が第2の閾値以上であると判定された第2層の抽出ID」に紐付けられた第3層のグループに属させる。また、第3層のそのグループに対応する人物IDを、新たな抽出IDに対応する人物の人物IDとして特定する。

0048

例えば、以上のようにして、新たなフレームから抽出された1つ又は複数の抽出ID各々に、人物IDを対応付けることができる。

0049

時間算出部12は、抽出された人物IDごとに、例えば図6に示すような情報を管理してもよい。そして、当該情報を用いて、連続出現時間及び再出現時間を算出してもよい。図示する情報は、人物IDと、連続出現時間と、最新抽出タイミングとが互いに対応付けられている。

0050

連続出現時間及び最新の抽出タイミングの値は、随時更新される。例えば、ある人物が初めて動画データから抽出され、新たな人物IDが図6に示す情報に追加された際、連続出現時間に「0」が記録される。また、最新の抽出タイミングとして、その抽出タイミングが記録される。抽出タイミングは、例えば、年月日時刻情報で表される。当該抽出タイミングは、例えば、図3の1回目の抽出に対応する。その後、次の抽出待ちとなる。

0051

その後、当該人物が2回目に抽出された場合、上記説明の通り、経過時間t1と所定時間tsとの大小比較により、経過時間t1の間連続的に存在したか否かが判断される。経過時間t1は、例えば、最新の抽出タイミングの欄の値、及び、今回の抽出タイミングに基づき算出される。存在したと判断された場合、連続出現時間の値が更新される。具体的には、その時点で記録されている値と、経過時間t1との合計が、当該欄に記録される。ここでは、t1(=0+t1)が記録される。そして、最新の抽出タイミングが今回の抽出タイミングに更新される。その後、次の抽出待ちとなる。

0052

その後、当該人物が3回目に抽出された場合、上記説明の通り、経過時間t2と所定時間tsとの大小比較により、経過時間t2の間連続的に存在したか否かが判断される。経過時間t2は、例えば、最新の抽出タイミングの欄の値、及び、今回の抽出タイミングに基づき算出される。存在したと判断された場合、連続出現時間の値が更新される。具体的には、その時点で記録されている値(t1)と、経過時間t2との合計(t1+t2)が、当該欄に記録される。そして、最新の抽出タイミングが今回の抽出タイミングに更新される。その後、次の抽出待ちとなる。

0053

その後、当該人物が4回目に抽出された場合、上記説明の通り、経過時間t3と所定時間tsとの大小比較により、経過時間t3の間連続的に存在したか否かが判断される。経過時間t3は、例えば、最新の抽出タイミングの欄の値、及び、今回の抽出タイミングに基づき算出される。存在していないと判断された場合、その時点の連続出現時間の値が、当該人物の連続出現時間として確定される。また、経過時間t3が当該人物の再出現時間として確定される。そして、確定された連続出現時間及び再出現時間のペアが、推定部13に入力される。

0054

また、連続出現時間の値が更新される。具体的には、「0」が当該欄に記録される。そして、最新の抽出タイミングが今回の抽出タイミングに更新される。その後、次の抽出待ちとなる。以降、同様の処理を繰り返す。

0055

図2戻り、推定部13は、連続出現時間及び再出現時間に基づき、抽出された人物の特性を推定する。推定部13は、連続出現時間と再出現時間との関係に基づいて、人物の特性を推定する。推定部13は、時間算出部12から入力された連続出現時間及び再出現時間のペアに基づき、その人物の特性を推定する。

0056

例えば、推定部13は、連続出現時間及び再出現時間のペアと、推定される特性とを対応付けた対応情報(連続出現時間と再出現時間との関係を示す対応情報)に基づき、人物の特性(以下、人物特性という場合がある)を推定することができる。

0057

図7に、対応情報の一例を示す。当該対応情報は、一方の軸(図の場合、横軸)に連続出現時間を取り、他方の軸(図の場合、縦軸)に再出現時間を取ったグラフである。そして、グラフ上のエリアを複数のエリアに分割し、各エリアに人物特性が対応付けられている。なお、図示するエリア分けや、各エリアに対応させた人物特性は発明を説明するための概念図であり、対応情報は当該内容に限定されない。

0058

当該対応情報を用いる場合、推定部13は、図示するように、連続出現時間及び再出現時間のペアがどの人物特性のエリア内に位置するかを判断することで、人物特性を推定する。

0059

他の例として、推定部13は、出現時の時間帯毎に内容が異なる対応情報に基づき、人物特性を推定してもよい。

0060

すなわち、推定部13は、図8及び図9に示すように、時間帯毎の対応情報を保持しておいてもよい。図8は午前4時から午後10時の時間帯に対応し、図9は午後10時から午前4時の時間帯に対応する。図8及び図9の対応情報を比較すると、その内容が互いに異なることが分かる。推定部13は、抽出した人物が出現している時間帯に基づき一の対応情報を決定し、決定した対応情報に基づき、上記と同様にして、人物特性を推定してもよい。

0061

例えば、推定部13は、抽出した人物が出現している時間帯の中の代表タイミングが属する時間帯に対応する対応情報を利用してもよい。代表タイミングは、例えば、最初に抽出されたタイミング(図3の例の場合、1回目の抽出タイミング)であってもよいし、最後に抽出されたタイミング(図3の例の場合、3回目の抽出タイミング)であってもよいし、最初に抽出されたタイミングと最後に抽出されたタイミングの真ん中のタイミングであってもよいし、その他であってもよい。

0062

その他、推定部13は、各対応情報に対応する時間帯が、出現している時間帯に含まれる時間を算出してもよい。そして、含まれる時間が大きい方の対応情報を利用してもよい。例えば、出現時間帯が午前2時から午前5時である場合、図8の対応情報に対応する時間帯(午前4時から午後10時)が出現時間帯に含まれる時間は、午前4時から午前5時までの1時間である。一方、図9の対応情報に対応する時間帯(午後10時から午前4時)が出現時間帯に含まれる時間は、午前2時から午前4時までの2時間である。この場合、推定部13は、図9の対応情報を利用してもよい。

0063

なお、上記例では、2つの時間帯に対応する2つの対応情報を利用する例を説明したが、その数は設計的事項であり、これに限定されない。

0064

その他、推定部13は、連続出現時間及び再出現時間と、予め保持している確率分布を示すデータと、対応情報とに基づき、人物特性を推定してもよい。

0065

例えば、図10に示すように、推定部13は、連続出現時間及び再出現時間のペアに対応する箇所を、確率分布のピーク位置とする。そして、推定部13は、確率が0より大の部分を内包するエリアに対応する人物特性をすべて抽出する。また、確率分布のデータに基づき、各人物特性に該当する確率を算出する。例えば、推定部13は、各エリアに内包される確率の中の統計値(例:最大値中間値)を、その人物特性に該当する確率として算出してもよい。

0066

図2に示していないが、解析装置10は、通知部を有してもよい。通知部は、抽出されたある人物が所定の人物特性(例:不審者)であると推定されると、その人物及びその旨をオペレータに通知する。通知は、ディスプレイメーラースピーカ警告ランププリンターなどのあらゆる出力装置を介して実現できる。当該通知において、人物の顔写真をオペレータに通知してもよい。

0067

また、図2に示していないが、解析装置10は、推定部13の推定結果を蓄積する蓄積部、及び、推定結果を出力する出力部を有してもよい。蓄積部は、人物ID及び推定結果を対応付けて記憶する。また、蓄積部は、人物IDに対応付けて1つ又は複数の画像データ(その人物が映る画像データ)を記憶してもよい。また、蓄積部は、各人物の出現タイミング(年月日時刻情報)を記憶してもよい。

0068

そして、出力部は、オペレータからの操作に従い、所定の情報を蓄積部から取得し、出力してもよい。例えば、人物特性を指定する入力を受付けると、その人物特性に対応する人物を一覧表示してもよい。その他、人物特性及び期間を指定する入力を受付けると、その期間内にその人物特性を推定された人物を一覧表示してもよい。一覧表示は、各人物に対応する画像データを用いて実現されてもよい。

0069

次に、図11のフローチャートを用いて、本実施形態の解析装置10の処理の流れの一例を説明する。

0070

人物抽出処理S10では、人物抽出部11が動画データを解析し、人物を抽出する。

0071

連続出現時間及び再出現時間算出処理S11では、時間算出部12が、S10で抽出された人物毎に、所定エリアに連続的に存在する連続出現時間、及び、所定エリアから外れた後に再び所定エリアに現れるまでの再出現時間を算出する。

0072

人物特性推定処理S12では、推定部13が、S11で算出された連続出現時間及び再出現時間に基づき、抽出された人物の特性を推定する。

0073

以上説明した本実施形態によれば、所定エリアに連続的に存在する連続出現時間、及び、所定エリアから外れた後に再び所定エリアに現れるまでの再出現時間に基づき、人物特性を推定することができる。すなわち、再出現時間という新たな情報に基づき、人物特性を推定することができる。これにより、推定精度の向上、推定技術の進歩等が期待される。

0074

また、本実施形態によれば、連続出現時間及び再出現時間のペアに基づき、人物特性を推定することができる。本実施形態の場合、「連続出現時間が多くなるほど怪しい」という基準でなく、連続出現時間の値と再出現時間の値のペアの位置(図7の2次元座標上の位置)が所定範囲に含まれる場合、ある人物特性(例えば不審人物)であると推定する。このように、複数の情報(連続出現時間及び再出現時間)に基づき推定することで、推定精度を高めることができる。

0075

また、本実施形態によれば、出現時の時間帯毎に内容が異なる複数の対応情報に基づき、人物特性を推定することができる。や昼に出現する人物と、夜中に出現する人物とでは、人物特性は大きく異なると推定される。このような出現タイミングを考慮して人物特性を推定することで、推定精度を高めることができる。

0076

また、本実施形態によれば、確率分布を用いて、人物特性を推定することができる。推定部13による出力結果はあくまで推定結果であり、100%正しい結果とするのは難しい。このため、本来不審者として推定すべき人物を、旅行者等他の人物特性として推定してしまう可能性がある。確率分布を用いて可能性のある人物特性を推定することで、可能性のある人物特性を広く推定することが可能となる。例えば、上記例の場合、旅行者のみならず、不審者をも可能性のある人物特性として推定することができる。

0077

また、本実施形態では、図3及び図4を用いて説明したような方法で、連続出現時間及び再出現時間を算出することができる。この算出方法の場合、カメラで撮影されるエリア及びその周辺を所定エリアとして、連続出現時間及び再出現時間を算出することができる。すなわち、カメラで撮影されないエリアまで所定エリアを広げることができる。

0078

本実施形態の変形例として、対応情報は、必ずしも、図7等に示すようにあらゆる連続出現時間及び再出現時間のペアに対応して人物特性が対応付けられている必要はない。例えば、対応情報は、図7に示す情報の一部の人物特性(例:不審人物及びスリ)のみを含む情報であってもよい。このような対応情報を用いた場合、連続出現時間及び再出現時間の値がその人物特性(例:不審人物及びスリ)に対応する場合、その人物特性が推定される一方、連続出現時間及び再出現時間の値がその人物特性(例:不審人物及びスリ)に対応しない場合、その人物特性でないことが推定されることとなる。当該変形例は、以下のすべての実施形態に適用可能である。

0079

<第2の実施形態>
本実施形態の解析装置10は、第1の実施形態で説明した手法で推定した人物特性と、各人物に対応付けて蓄積する。ある人物が所定エリアに繰り返し現れた場合、その都度連続出現時間及び再出現時間が算出され、算出結果に基づきその都度人物特性が推定される。解析装置10は、当該推定結果に基づき、人物毎に、各人物特性と推定された回数をカウントする。そして、解析装置10は、カウント数に基づき、推定された各人物特性の信頼度を算出する。以下、詳細に説明する。

0080

図12に、本実施形態の解析装置10の機能ブロック図の一例を示す。図示するように、解析装置10は、人物抽出部11と、時間算出部12と、推定部13と、カウント部14と、信頼度算出部15とを有する。図示しないが、解析装置10は、第1の実施形態で説明した通知部、蓄積部及び出力部をさらに有してもよい。人物抽出部11、時間算出部12、推定部13、通知部、蓄積部及び出力部の構成は、第1の実施形態と同様である。

0081

カウント部14、各人物に対応して推定された人物特性各々の推定された回数をカウントする。

0082

例えば、カウント部14は、図13に示すような情報を管理する。図13に示す情報は、人物IDと、各人物特性の推定回数とを対応付けた情報である。カウント部14は、推定部13による推定結果に基づき、当該情報を更新する。

0083

時間算出部12は、ある人物が所定エリアに繰り返し現れた場合、その都度、連続出現時間及び再出現時間を算出することとなる。そして、推定部13は、その都度算出された連続出現時間及び再出現時間に基づき、その都度、人物特性を推定する。

0084

カウント部14は、推定部13によりこのように推定された結果に基づき、図13に示す情報を更新する。

0085

信頼度算出部15は、ある人物に対応して推定された人物特性各々の推定された回数に基づき、推定された人物特性の信頼度を算出する。信頼度算出部15は、推定された回数が多い程、高い信頼度を算出する。

0086

出力部は、推定部13の推定結果及び信頼度算出部15の算出結果に基づき所定情報を出力してもよい。出力部は、オペレータからの操作に従い、所定の情報を出力することができる。

0087

例えば、人物特性及び信頼度の条件(例:信頼度が所定レベル以上)を指定する入力を受付けると、所定レベル以上の信頼度でその人物特性と推定される人物を一覧表示してもよい。一覧表示は、各人物に対応する画像データを用いて実現されてもよい。

0088

以上説明した本実施形態によれば、第1の実施形態と同様な作用効果を実現できる。また、各人物に対応して蓄積した多数の推定結果に基づき、推定した各人物特性の信頼度を算出することができる。結果、本実施形態によれば、各人物の人物特性の推定精度を高めることができる。

0089

<第3の実施形態>
本実施形態の解析装置10は、連続出現時間及び再出現時間のペアと、人物特性とを対応付けた対応情報を設定する機能を提供する。

0090

図14に、本実施形態の解析装置10の機能ブロック図の一例を示す。図示するように、解析装置10は、人物抽出部11と、時間算出部12と、推定部13と、設定部16とを有する。図示しないが、解析装置10は、さらに、カウント部14、信頼度算出部15、通知部、蓄積部及び出力部を有してもよい。人物抽出部11、時間算出部12、カウント部14、信頼度算出部15、通知部、蓄積部及び出力部の構成は、第1及び第2の実施形態と同様である。

0091

設定部16は、連続出現時間及び再出現時間のペアと、人物特性とを対応付けた対応情報を設定する機能を有する。設定部16は、ユーザ入力に従い、対応情報を設定することができる。

0092

例えば、設定部16は、図15に示すような設定画面をディスプレイ等の出力装置を介して出力してもよい。当該設定画面は、人物特性の名称、連続出現時間の開始時間及び終了時間、及び、再出現時間の開始時間及び終了時間の入力を受付ける画面である。

0093

その他、設定部16は、図16に示すような設定画面をディスプレイ等の出力装置を介して出力してもよい。当該設定画面は、一方の軸(図の場合、横軸)に連続出現時間を取り、他方の軸(図の場合、縦軸)に再出現時間を取ったグラフ上で所定のエリアの指定、及び、そのエリアに対応する人物特性の名称の入力を受付ける画面である。

0094

推定部13は、設定部16により設定された対応情報に基づき、人物特性を推定する。推定部13のその他の構成は、第1及び第2の実施形態と同様である。

0095

以上説明した本実施形態によれば、第1及び第2の実施形態と同様な作用効果を実現できる。また、各種人物特性を自由に設定することができる。動画データから検出すべき人物の人物特性を設定することで、当該人物特性の人物を検出することが可能となる。

0096

以下、参考形態の例を付記する。
1.動画データを解析し、人物を抽出する人物抽出手段と、
抽出された人物毎に、所定エリアに連続的に存在する連続出現時間、及び、再び前記所定エリアに現れるまでの再出現時間を算出する時間算出手段と、
前記連続出現時間及び前記再出現時間に基づき、抽出された人物の特性を推定する推定手段と、
を有する解析装置。
2. 1に記載の解析装置において、
前記推定手段は、前記連続出現時間と前記再出現時間との関係に基づいて、前記人物の特性を推定する解析装置。
3. 1又は2に記載の解析装置において、
各人物に対応して推定された前記特性各々の推定された回数をカウントするカウント手段と、
ある人物に対応して推定された前記特性各々の推定された回数に基づき、推定された前記特性の信頼度を算出する信頼度算出手段と、
をさらに有する解析装置。
4. 1から3のいずれかに記載の解析装置において、
前記推定手段は、前記連続出現時間及び前記再出現時間のペアと、推定される前記特性とを対応付けた対応情報に基づき、前記人物の特性を推定する解析装置。
5. 4に記載の解析装置において、
前記推定手段は、出現時の時間帯毎に内容が異なる前記対応情報に基づき、前記人物の特性を推定する解析装置。
6. 4又は5に記載の解析装置において、
前記推定手段は、前記連続出現時間及び前記再出現時間と、確率分布と、前記対応情報とに基づき、前記人物の特性を推定する解析装置。
7. 1から6のいずれかに記載の解析装置において、
前記時間算出手段は、
第1の人物が前記動画データ内で抽出された後、次に前記動画データ内で抽出されるまでの経過時間tが所定時間tsより小さい場合、前記第1の人物は、前記経過時間tの間、前記所定エリアに連続的に存在すると判断し、
前記経過時間tが前記所定時間ts以上である場合、前記第1の人物は、前記経過時間tの間、前記所定エリアに存在していないと判断する解析装置。
8.コンピュータが、
動画データを解析し、人物を抽出する人物抽出工程と、
抽出された人物毎に、所定エリアに連続的に存在する連続出現時間、及び、再び前記所定エリアに現れるまでの再出現時間を算出する時間算出工程と、
前記連続出現時間及び前記再出現時間に基づき、抽出された人物の特性を推定する推定工程と、
を実行する解析方法。
8−2. 8に記載の解析方法において、
前記推定工程では、前記連続出現時間と前記再出現時間との関係に基づいて、前記人物の特性を推定する解析方法。
8−3. 8又は8−2に記載の解析方法において、
前記コンピュータが、
各人物に対応して推定された前記特性各々の推定された回数をカウントするカウント工程と、
ある人物に対応して推定された前記特性各々の推定された回数に基づき、推定された前記特性の信頼度を算出する信頼度算出工程と、
をさらに実行する解析方法。
8−4. 8から8−3のいずれかに記載の解析方法において、
前記推定工程では、前記連続出現時間及び前記再出現時間のペアと、推定される前記特性とを対応付けた対応情報に基づき、前記人物の特性を推定する解析方法。
8−5. 8−4に記載の解析方法において、
前記推定工程では、出現時の時間帯毎に内容が異なる前記対応情報に基づき、前記人物の特性を推定する解析方法。
8−6. 8−4又は8−5に記載の解析方法において、
前記推定工程では、前記連続出現時間及び前記再出現時間と、確率分布と、前記対応情報とに基づき、前記人物の特性を推定する解析方法。
8−7. 8から8−6のいずれかに記載の解析方法において、
前記時間算出工程では、
第1の人物が前記動画データ内で抽出された後、次に前記動画データ内で抽出されるまでの経過時間tが所定時間tsより小さい場合、前記第1の人物は、前記経過時間tの間、前記所定エリアに連続的に存在すると判断し、
前記経過時間tが前記所定時間ts以上である場合、前記第1の人物は、前記経過時間tの間、前記所定エリアに存在していないと判断する解析方法。
9. コンピュータを、
動画データを解析し、人物を抽出する人物抽出手段、
抽出された人物毎に、所定エリアに連続的に存在する連続出現時間、及び、再び前記所定エリアに現れるまでの再出現時間を算出する時間算出手段、
前記連続出現時間及び前記再出現時間に基づき、抽出された人物の特性を推定する推定手段、
として機能させるプログラム。
9−2. 9に記載のプログラムにおいて、
前記推定手段は、前記連続出現時間と前記再出現時間との関係に基づいて、前記人物の特性を推定するプログラム。
9−3. 9又は9−2に記載のプログラムにおいて、
前記コンピュータを、
各人物に対応して推定された前記特性各々の推定された回数をカウントするカウント手段、
ある人物に対応して推定された前記特性各々の推定された回数に基づき、推定された前記特性の信頼度を算出する信頼度算出手段、
としてさらに機能させるプログラム。
9−4. 9から9−3のいずれかに記載のプログラムにおいて、
前記推定手段は、前記連続出現時間及び前記再出現時間のペアと、推定される前記特性とを対応付けた対応情報に基づき、前記人物の特性を推定するプログラム。
9−5. 9−4に記載のプログラムにおいて、
前記推定手段は、出現時の時間帯毎に内容が異なる前記対応情報に基づき、前記人物の特性を推定するプログラム。
9−6. 9−4又は9−5に記載のプログラムにおいて、
前記推定手段は、前記連続出現時間及び前記再出現時間と、確率分布と、前記対応情報とに基づき、前記人物の特性を推定するプログラム。
9−7. 9から9−6のいずれかに記載のプログラムにおいて、
前記時間算出手段は、
第1の人物が前記動画データ内で抽出された後、次に前記動画データ内で抽出されるまでの経過時間tが所定時間tsより小さい場合、前記第1の人物は、前記経過時間tの間、前記所定エリアに連続的に存在すると判断し、
前記経過時間tが前記所定時間ts以上である場合、前記第1の人物は、前記経過時間tの間、前記所定エリアに存在していないと判断するプログラム。

0097

1Aプロセッサ
2Aメモリ
3A入出力I/F
4A周辺回路
5Aバス
10解析装置
11人物抽出部
12 時間算出部
13推定部
14カウント部
15信頼度算出部
16 設定部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 川口豊の「 車両」が 公開されました。( 2020/02/13)

    【課題】表示手段に表示される画像を運転者が確認しやすい車両を提供する。【解決手段】フロントガラスが設けられていない無窓化された車体3を備えている。この車体3に、運転の際における少なくとも前方視界に相当... 詳細

  • ソニー・オリンパスメディカルソリューションズ株式会社の「 医療用観察装置」が 公開されました。( 2020/02/13)

    【課題】医療用観察装置の使用者の利便性の向上を図ることが可能な、医療用観察装置を提供する。【解決手段】観察対象が撮像された右目用の医療用撮像画像を撮像する第1の撮像デバイスと、観察対象が撮像された左目... 詳細

  • 株式会社日立製作所の「 避難誘導システム」が 公開されました。( 2020/02/13)

    【課題】災害発生時において、現在の避難所の状況を鑑みて、適切な避難先を避難者に提案することのできる、避難誘導システムを提供する。【解決手段】避難者に避難する避難所を提案する避難誘導システムであって、利... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ