図面 (/)

技術 識別装置及びデータ関係生成装置

出願人 キヤノン株式会社
発明者 八谷大岳
出願日 2015年1月16日 (5年10ヶ月経過) 出願番号 2015-006901
公開日 2016年7月25日 (4年3ヶ月経過) 公開番号 2016-133896
状態 特許登録済
技術分野 イメージ分析
主要キーワード 識別結果情報 判定対象データ 所定データ数 絶対値差 射影情報 次計画問題 重み付き距離 可視化情報
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年7月25日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (13)

課題

メモリで特定クラスの特徴空間上の構造を表現でき、高速かつ精度よく異常判定を行うことができるようにする。

解決手段

判定対象のデータを特定のクラスと特定外のクラスに識別する装置であって、特定クラスに属する特定クラスデータに含まれる複数の部分データ間の関係を示すデータ関係情報を取得する手段と、判定対象のデータから判定対象特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段が抽出した前記判定対象特徴量と、前記データ関係情報とに基づき、前記複数の部分データのうちから、一部の部分データを選択するデータ選択手段と、前記データ選択手段が選択した前記部分データに基づいて決定される前記特定のクラスの特徴空間上の局所的な幾何構造体と前記判定対象特徴量との関係に基づき、前記判定対象のデータが前記特定のクラスに属するか否かを判定する判定手段とを備える。

概要

背景

センサが取得したデータが異常であるか否かを判定する異常検知の問題がある。この異常検知の問題に対するアプローチには、正常時に収集された正常データをクラスタに分割し、判定対象のデータと該クラスタ群との距離が近い場合は、正常と判定し、離れている場合は、異常と判定するものがある。

非特許文献1では、クラスタ群のなかから判定対象のデータを精度よく近似する少数のクラスタの組み合わせを選択し、近似誤差及び近似に必要なコストを用いて該クラスタ群との距離を求める方式が提案されている。

一方、非特許文献2では、予めクラスタの組み合わせを用意しておき、判定対象のデータを精度よく近似する組み合わせを選択し、その近似誤差を用いて該クラスタ群との距離を求める方式が提案されている。

概要

メモリで特定クラスの特徴空間上の構造を表現でき、高速かつ精度よく異常判定を行うことができるようにする。判定対象のデータを特定のクラスと特定外のクラスに識別する装置であって、特定クラスに属する特定クラスデータに含まれる複数の部分データ間の関係を示すデータ関係情報を取得する手段と、判定対象のデータから判定対象特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段が抽出した前記判定対象特徴量と、前記データ関係情報とに基づき、前記複数の部分データのうちから、一部の部分データを選択するデータ選択手段と、前記データ選択手段が選択した前記部分データに基づいて決定される前記特定のクラスの特徴空間上の局所的な幾何構造体と前記判定対象特徴量との関係に基づき、前記判定対象のデータが前記特定のクラスに属するか否かを判定する判定手段とを備える。

目的

本発明は前述の問題点に鑑み、省メモリで特定クラスの特徴空間上の構造を表現でき、高速かつ精度よく異常判定を行うことができるようにすることを目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

判定対象のデータを特定のクラスと特定外のクラスに識別する装置であって、特定クラスに属する特定クラスデータに含まれる複数の部分データ間の関係を示すデータ関係情報を取得する手段と、判定対象のデータから判定対象特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段が抽出した前記判定対象特徴量と、前記データ関係情報とに基づき、前記複数の部分データのうちから、一部の部分データを選択するデータ選択手段と、前記データ選択手段が選択した前記部分データに基づいて決定される前記特定のクラスの特徴空間上の局所的な幾何構造体と前記判定対象特徴量との関係に基づき、前記判定対象のデータが前記特定のクラスに属するか否かを判定する判定手段と、を備えることを特徴とする識別装置

請求項2

前記データ選択手段は、前記判定対象特徴量の近傍に存在する前記データ関係情報に基づいて前記複数の部分データのうちから、一部の部分データを選択することを特徴とする請求項1に記載の識別装置。

請求項3

前記判定手段は、前記判定対象特徴量と前記局所的な幾何構造体との距離、または前記判定対象特徴量と前記データ選択手段により選択された前記部分データとの距離の少なくとも一方に基づき、前記判定対象のデータが前記特定のクラスに属するか否かを判定することを特徴とする請求項1または2に記載の識別装置。

請求項4

請求項1〜3の何れか1項に記載の識別装置で用いられるデータ関係情報を生成する装置であって、前記特定のクラスに属する特定クラスデータから複数の部分データを選択する部分データ選択手段と、前記部分データ選択手段が選択した前記部分データ間の関係性を示すデータ関係情報を生成するデータ関係生成手段と、を備えることを特徴とするデータ関係生成装置

請求項5

前記部分データ選択手段は、前記特定のクラスデータを複数のデータ集合に分割し、該データ集合を識別する情報を前記部分データとして選択することを特徴とする請求項4に記載のデータ関係生成装置。

請求項6

前記データ関係生成手段は、前記特定のクラスデータが取得された状況を示す情報に基づき前記データ関係情報を生成することを特徴とする請求項4または5に記載のデータ関係生成装置。

請求項7

前記判定対象のデータと、前記部分データ選択手段が選択した前記部分データとの関係に基づき前記データ関係生成手段が生成したデータ関係情報を更新する部分データ更新手段をさらに備えることを特徴とする請求項4〜6の何れか1項に記載のデータ関係生成装置。

請求項8

請求項1〜3の何れか1項に記載の識別装置における判定結果の根拠を示す情報を生成する装置であって、識別装置の判定に用いられた部分データを取得する取得手段と、前記部分データに基づき、特定のクラスに属する特定クラスデータの代表的な特定クラスデータを選択する代表データ選択手段と、前記代表データ選択手段が選択した前記代表的な特定クラスデータと、前記判定対象のデータとを比較する可視化情報を生成する可視化情報生成手段と、を備えることを特徴とする可視化情報生成装置。

請求項9

前記取得手段は、前記部分データ間の関係を示すデータ関係情報を取得し、前記可視化情報生成手段は、前記データ関係情報と、前記代表データ選択手段が選択した前記代表的な特定クラスデータとに基づき、前記代表的な特定クラスデータの特徴空間上での隣接関係を示す情報を前記可視化情報として生成することを特徴とする請求項8に記載の可視化情報生成装置。

請求項10

前記部分データにより近似される、前記特定のクラスの特徴空間上の局所的な幾何構造体と前記判定対象特徴量との関係に寄与する特徴量の種類を示す寄与特徴量情報を選択する寄与特徴選択手段をさらに備え、前記可視化情報生成手段は、前記寄与特徴選択手段が選択した前記寄与特徴量情報を前記可視化情報として生成することを特徴とする請求項8または9に記載の可視化情報生成装置。

請求項11

判定対象のデータを特定のクラスと特定外のクラスに識別する識別であって、特定クラスに属する特定クラスデータに含まれる複数の部分データ間の関係を示すデータ関係情報を取得するステップと、判定対象のデータから判定対象特徴量を抽出する特徴量抽出ステップと、前記特徴量抽出ステップにおいて抽出した前記判定対象特徴量と、前記データ関係情報とに基づき、前記複数の部分データのうちから、一部の部分データを選択するデータ選択ステップと、前記データ選択ステップにおいて選択した前記部分データに基づいて決定される前記特定のクラスの特徴空間上の局所的な幾何構造体と前記判定対象特徴量との関係に基づき、前記判定対象のデータが前記特定のクラスに属するか否かを判定する判定ステップと、を備えることを特徴とする識別方法

請求項12

請求項11に記載の識別方法で用いられるデータ関係情報を生成する方法であって、前記特定のクラスに属する特定クラスデータから複数の部分データを選択する部分データ選択ステップと、前記部分データ選択ステップにおいて選択した前記部分データ間の関係性を示すデータ関係情報を生成するデータ関係生成ステップと、を行うことを特徴とするデータ関係生成方法

請求項13

請求項11に記載の識別方法における判定結果の根拠を示す情報を生成する方法であって、識別装置の判定に用いられた部分データを取得する取得ステップと、前記部分データに基づき、特定のクラスに属する特定クラスデータの代表的な特定クラスデータを選択する代表データ選択ステップと、前記代表データ選択ステップにおいて選択した前記代表的な特定クラスデータと、前記判定対象のデータとを比較する可視化情報を生成する可視化情報生成ステップと、を行うことを特徴とする可視化情報生成方法。

請求項14

判定対象のデータを特定のクラスと特定外のクラスに識別する識別方法ををコンピュータに実行させるプログラムであって、特定クラスに属する特定クラスデータに含まれる複数の部分データ間の関係を示すデータ関係情報を取得するステップと、判定対象のデータから判定対象特徴量を抽出する特徴量抽出ステップと、前記特徴量抽出ステップにおいて抽出した前記判定対象特徴量と、前記データ関係情報とに基づき、前記複数の部分データのうちから、一部の部分データを選択するデータ選択ステップと、前記データ選択ステップにおいて選択した前記部分データに基づいて決定される前記特定のクラスの特徴空間上の局所的な幾何構造体と前記判定対象特徴量との関係に基づき、前記判定対象のデータが前記特定のクラスに属するか否かを判定する判定ステップとをコンピュータに実行させることを特徴とするプログラム。

請求項15

請求項11に記載の識別方法で用いられるデータ関係情報を生成する方法をコンピュータに実行させるプログラムであって、前記特定のクラスに属する特定クラスデータから複数の部分データを選択する部分データ選択ステップと、前記部分データ選択ステップにおいて選択した前記部分データ間の関係性を示すデータ関係情報を生成するデータ関係生成ステップと、をコンピュータに実行させることを特徴とするプログラム。

請求項16

請求項11に記載の識別方法における判定結果の根拠を示す情報を生成する方法をコンピュータに実行させるプログラムであって、識別装置の判定に用いられた部分データを取得する取得ステップと、前記部分データに基づき、特定のクラスに属する特定クラスデータの代表的な特定クラスデータを選択する代表データ選択ステップと、前記代表データ選択ステップにおいて選択した前記代表的な特定クラスデータと、前記判定対象のデータとを比較する可視化情報を生成する可視化情報生成ステップと、をコンピュータに実行させることを特徴とするプログラム。

技術分野

0001

本発明は識別装置及びデータ関係生成装置に関し、特に、入力データを特定のクラスとそれ以外のクラスとに識別する識別装置に用いて好適な技術に関する。

背景技術

0002

センサが取得したデータが異常であるか否かを判定する異常検知の問題がある。この異常検知の問題に対するアプローチには、正常時に収集された正常データをクラスタに分割し、判定対象のデータと該クラスタ群との距離が近い場合は、正常と判定し、離れている場合は、異常と判定するものがある。

0003

非特許文献1では、クラスタ群のなかから判定対象のデータを精度よく近似する少数のクラスタの組み合わせを選択し、近似誤差及び近似に必要なコストを用いて該クラスタ群との距離を求める方式が提案されている。

0004

一方、非特許文献2では、予めクラスタの組み合わせを用意しておき、判定対象のデータを精度よく近似する組み合わせを選択し、その近似誤差を用いて該クラスタ群との距離を求める方式が提案されている。

先行技術

0005

Sparse Reconstruction Cost for Abnormal Event Detection, Yang Cong, Junsong Yuan, Ji Liu, In Proceedings ofIEEE Conference on Computer Vision and Pattern Recognition (CVPR 2011), pages 3449--3456, 2011.
Abnormal Event Detection at 150FPS in MATLAB, Cewu Lu, JianpingShi, Jiaya Jia, In Proceedings of IEEE International Conference on Computer Vision (ICCV2011), pages 2415--2422, 2011.
C. M. Bishop, Pattern Recognition and Machine Learning, Springer, 2006
N. Dalal and B. Triggs, Histograms of oriented gradients for human detection, In proceedings of Computer Vision and Pattern Recognition (CVPR), pp. 886--893, 2005
J. Pers, et al., Histograms of optical flow for efficient representation of body motion, Pattern Recognition Letters, vol. 31, no. 11, pp. 1369--1376, 2010
D. G. Lowe, Object recognition from local scale-invariant features, In proceedings of international conference on computer vision (ICCV), pp. 1150--1157, 1999

発明が解決しようとする課題

0006

しかしながら、非特許文献1に記載の異常検知方法では、判定対象のデータごとにクラスタの組み合わせを最適化するための2次計画問題解く必要があり、処理に時間がかかるという問題があった。
一方、非特許文献2に記載の異常検知方法では、予め用意されたクラスタの組み合わせによる近似誤差を算出するだけなので、高速に処理ができる利点がある。

0007

しかしながら、非特許文献2に記載の異常検知方法では、任意の判定対象のデータに対応するために、多数のクラスタの組み合わせを保持する必要があるため、メモリ要求が大きいので、省メモリ化を達成し難い問題点があった。
また、両非特許文献に記載の異常検知方法では、クラスタの組み合わせを近似誤差の観点から最適化しているため、選択された各々のクラスタは判定対象のデータと直接関係はない。そのため、各々のクラスタに属している正常データを可視化しても、判定結果の根拠を示すことができないという問題点があった。
本発明は前述の問題点に鑑み、省メモリで特定クラスの特徴空間上の構造を表現でき、高速かつ精度よく異常判定を行うことができるようにすることを目的とする。

課題を解決するための手段

0008

本発明の識別装置は、判定対象のデータを特定のクラスと特定外のクラスに識別する装置であって、特定クラスに属する特定クラスデータに含まれる複数の部分データ間の関係を示すデータ関係情報を取得する手段と、判定対象のデータから判定対象特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段が抽出した前記判定対象特徴量と、前記データ関係情報とに基づき、前記複数の部分データのうちから、一部の部分データを選択するデータ選択手段と、前記データ選択手段が選択した前記部分データに基づいて決定される前記特定のクラスの特徴空間上の局所的な幾何構造体と前記判定対象特徴量との関係に基づき、前記判定対象のデータが前記特定のクラスに属するか否かを判定する判定手段とを備えることを特徴とする。

発明の効果

0009

本発明によれば、省メモリで特定クラスの特徴空間上の構造を表現することができ、高速かつ精度よく異常判定を行うことができる。

図面の簡単な説明

0010

本発明の第1の実施形態に係る識別装置を用いた異常検知システムの構成例を示すブロック図である。
本実施形態における正常特徴量記憶部が記憶する情報の一例を示す図である。
本実施形態におけるデータ集合特性情報記憶部が記憶する情報の一例を示す図である。
本実施形態におけるデータ関係情報記憶部が記憶する情報の一例を示す図である。
本実施形態における局所幾何構造識別部が、データ集合により構成される局所的な幾何構造体と判定対象特徴量との距離を測る過程の一例を示す図である。
本実施形態における異常検知システムのデータ関係情報の生成に係る動作の一例を示すフローチャートである。
本実施形態における異常検知システムの識別に係る動作の一例を示すフローチャートである。
本発明の第2の実施形態に係る識別装置を用いた異常検知システムの構成例を示すブロック図である。
第2の実施形態における可視化情報生成部が生成する2次元グラフ構造表示情報の一例を示す図である。
第2の実施形態における異常検知システムの可視化情報の生成に係る動作の一例を示すフローチャートである。
本発明の第3の実施形態に係る識別装置を用いた異常検知システムの構成例を示すブロック図である。
第3の実施形態における異常検知システムのデータ関係情報の生成及び更新の一例を示すフローチャートである。

実施例

0011

[第1の実施形態]
本発明を実施するための第1の実施形態について、図面を参照して説明する。本実施形態における異常検知システム1は、監視対象正常状態カメラなどのセンサで観測したデータを、学習用の正常データとし、該データをデータ集合に分割する。監視対象の新たな状態を撮影した映像などのデータを、判定対象データとし、データ集合群との距離に基づいて該データを正常クラス又は異常クラスに識別する。

0012

異常がある場合は、警備室等の監視センタ常駐する監視者に警報する。つまり、本実施形態では、特定のクラスを正常クラス、特定外のクラスを異常クラス、特定クラスデータを正常データ、特定クラス特徴量を正常特徴量、部分データをデータ集合の特性を示すデータ集合特性情報、として説明する。この監視対象には、例えば、一般家庭屋内及び屋外、又は病院などの公共施設にいる人物や、生産ラインで製造された製品や、設備機器などが含まれる。本実施形態では、異常検知システム1について、判定対象データの近傍のデータ集合群で近似される正常クラスの局所的な幾何構造を用いて識別をする例について説明する。

0013

図1は、本発明の一実施形態に係るデータ関係生成装置及び識別装置を用いた異常検知システムの構成の一例を示す概略ブロック図である。
異常検知システム1は、データ関係生成装置10と、識別装置20と、データ取得装置100と、端末装置200とを備えている。なお、これらの装置間は、ネットワークを介して接続されていてもよい。このネットワークには、例えば、携帯電話回線網インターネットが適用できる。

0014

次に、データ関係生成装置10の詳細な構成について、説明する。
データ関係生成装置10は、データ取得装置100で撮影された学習用の正常データを分割したデータ集合間の関係を学習する装置である。
データ関係生成装置10は、正常特徴量記憶部M1と、データ集合特性情報記憶部M2と、データ関係情報記憶部M3と、部分データ選択部11と、データ関係生成部12とを備えている。

0015

正常特徴量記憶部M1は、正常データを識別する正常データIDと関連付けて記憶する。具体的には、正常データと、正常クラスに属する正常データの特徴量を示す正常特徴量と、該正常データが属するデータ集合を識別するデータ集合IDと、該正常データが取得された状況の属性を示すシーン情報とを正常データIDと関連付けて、記憶する。ここで、正常クラスに属する正常データとは、予め人間により正常であると確認された監視対象の映像などのデータである。

0016

また、正常特徴量とは、正常データから所定の抽出方法を用いて抽出された、監視対象の複数の特徴を示す情報である。特徴量の抽出方法については、識別装置20が備える特徴量抽出部21の説明にて後述する。また、シーン情報とは、予め用意された複数のシーンカテゴリのなかから、データが取得された状況に応じて選択されたシーンカテゴリである。例えば、時間帯に関するシーン情報としては、「」、「昼」、「夜」などがシーンカテゴリとして予め用意され、データが取得された時間帯に応じて、シーンカテゴリが選択される。

0017

図2は、本実施形態における正常特徴量記憶部M1が記憶する情報の一例を示す図である。
図2に示すように、正常データIDは、例えば、アルファベット及び数字とから成る文字列である。例えば、2つのデータは、正常データID「D0001」と正常データID「D0002」とにより識別される。そして、図2では、例えば、正常データID「D0001」に関連付けられて正常特徴量と、該データが属するデータ集合を識別するデータ集合ID「C01」と、該データが取得された状況を示すシーン情報「朝」が格納されていることが示されている。なお、一つのデータ集合には、一つ以上の正常データが含まれる。

0018

データ集合特性情報記憶部M2は、データ集合を識別するデータ集合IDに関連付けて、該データ集合の特性を示すデータ集合特性情報を記憶する。ここで、データ集合特性情報には、例えば、各データ集合の特徴空間上の中心座標や、各データ集合の形状を表す分散共分散行列や、各データ集合に属する正常データのシーン情報が含まれる。前述の中心座標は、例えば、前述の正常特徴量から抽出されるデータ集合を代表する値である。

0019

図3は、本実施形態におけるデータ集合特性情報記憶部M2が記憶する情報の一例を示す図である。
図3が示すように、データ集合IDは、例えば、アルファベット及び数字を含む文字列である。例えば、2つのデータ集合は、「C01」と「C02」とにより識別される。そして、図3では、例えば、データ集合ID「C01」に関連付けられて、該データ集合の中心座標(データ集合特性情報)「(10,5)」と、該データ集合のシーン情報(データ集合特性情報)「朝」が格納されていることが示されている。

0020

データ関係情報記憶部M3は、データ集合間の関係を示すデータ関係情報を記憶する。具体的には、データ関係情報記憶部M3は、シーン情報に関連付けられたテーブルを記憶し、各テーブルには、2つのデータ集合IDに関連付けて、該2つのデータ集合間の関係を示すデータ関係情報を記憶する。ここで、データ関係情報は、2つのデータ集合間の関係を示す数値である。データ関係情報は、例えば、2つのデータ集合間に特徴空間上で隣接関係がある場合は「1」、隣接関係が無い場合は「0」の値とする。また、データ関係情報は、2つのデータ集合間の距離及び遷移確率などの連続値をとってもよい。

0021

図4は、本実施形態おけるデータ関係情報記憶部M3が記憶する情報の一例を示す図である。図4が示すように、シーン情報「朝」、「昼」に対応付けられた2つのテーブルが記憶されている。そして、各テーブルの行と列とには、データ集合IDが対応付けられており、各セルには、2つのデータ集合間の関係を示すデータ関係情報が記憶されている。図4では、例えば、シーン情報が「朝」のデータ集合「C01」と「C02」との間のデータ関係情報は「1」であり、該2つのデータ集合間には隣接関係があることが示されている。一方、データ集合「C01」と「C03」との間のデータ関係情報は「0」であり、該2つのデータ集合間には隣接関係がないことが示されている。

0022

再び、図1を参照して、データ関係生成装置10の構成について説明する。
部分データ選択部11は、特定のクラスに属する正常データから複数の部分データを選択する。例えば、部分データ選択部11は、任意の分布に従って正常データから複数の部分データを選択する。なお、特定のクラスデータを複数のデータ集合に分割し、該データ集合を識別する情報を部分データとして選択してもよい。具体的には、部分データ選択部11は、正常特徴量記憶部M1が記憶する正常特徴量を分割数Cのデータ集合に分割し、各データ集合の特性を示すデータ集合特性情報を、データ集合を識別するデータ集合IDと関連付けてデータ集合特性情報記憶部M2に記憶させる。それとともに、正常データIDと関連付けて、該正常データが属するデータ集合を識別するデータ集合IDを正常特徴量記憶部M1に記憶させる。

0023

データ分割の方法には、例えば、k平均法、混合正規分布などが用いられる。ここで、分割数Cは、所定の離散値に設定される。また、分割数Cは、所定の離散値の候補のなかから非特許文献3に記載の赤池情報量基準などを用いて選択してもよい。

0024

データ分割の方法として、k平均法を用いた場合、データ集合特性情報には、該データ集合の中心座標が含まれる。一方、混合正規分布を用いた場合、データ集合特性情報には、該データ集合の中心座標に加え、データ集合の形状を示す分散共分散行列が含まれる。なお、部分データ選択部11は、正常データが取得された状況を示すシーン情報ごとに正常データを分割してもよい。具体的には、データ集合特性としてシーン情報を含んでもよい。例えば、シーン情報として「朝」、「昼」又は「夜」を有する正常データをそれぞれ2つに分割した場合、合計で正常データは6つのデータ集合に分割される。

0025

そして、部分データ選択部11は、データ関係生成部12に、トリガーを出力する。ここで、データ集合IDは、データ集合が生成された順番に基づいて決定されてもよい。その場合、例えば、2番目に生成されたデータ集合のデータ集合IDは、「C02」である。

0026

データ関係生成部12は、部分データ選択部11が選択した部分データ間の関係性を示すデータ関係情報を生成する。具体的には、部分データ選択部11からトリガーが入力されたことに応じて、データ関係生成部12は、データ集合特性情報記憶部M2から、データ集合IDと、データ集合特性情報及びシーン情報を読み込む。
次に、データ関係生成部12は、読み込んだデータ集合特性情報に基づき、2つのデータ集合の関係を示す、データ関係情報を生成する。そして、データ関係生成部12は、生成したデータ関係情報を、シーン情報及び2つのデータ集合IDに関連づけてデータ関係情報記憶部M3に記憶させる。ここで、データ関係情報の生成方法としては、例えば、次の2つの方法がある。

0027

第1のデータ関係情報の生成方法として、データ関係生成部12は、2つのデータ集合特性情報が有する中心座標間の距離を求め、該距離が所定の閾値より低い場合は「1」、高い場合は「0」をデータ関係情報として生成する。なお、中心座標間の距離自体をデータ関係情報として生成してもよい。

0028

第2のデータ関係情報の生成方法として、データ関係生成部12は、データ集合特性情報が有するシーン情報が一致するデータ集合の中心座標間の距離を求める。そして、各データ集合から所定の数の近傍にあるデータ集合に対して「1」、それ以外のデータ集合に対して「0」を割り振りデータ関係情報として生成する。

0029

なお、正常データ間の遷移回数に基づいて該データが属するデータ集合間の遷移確率を算出し、該確率をデータ関係情報として生成してもよい。

0030

次に、データ関係生成部12は、シーン情報と2つのデータ集合IDとに関連づけて、データ関係情報をデータ関係情報記憶部M3に記憶させる。

0031

再び、図1を参照して、識別装置20の詳細な構成について、説明する。
識別装置20は、データ取得装置100で撮影された判定対象データを正常クラス又は異常クラスに識別する装置である。識別装置20は、特徴量抽出部21と、データ選択部22と、局所幾何構造識別部23と、出力部24とを備えている。

0032

データ取得装置100は、監視対象の状態を観測するセンサを備える。ここで、センサとしては、監視対象の映像を入力するカメラ、音声を入力するマイクロフォン、温度を測定する温度計、距離を測る距離センサ、又は稼働状況を測るカウンタセンサなどを備えてもよい。
データ取得装置100は、取得したデータである判定対象データを、識別装置20に送信する。なお、データ取得装置100は、内部に判定対象データが取得された環境のメタ情報を測定するセンサを搭載し、測定したメタ情報を判定対象データに含めてもよい。例えば、内部に時計を有しており、データ取得時の時刻を判定対象データに含める。

0033

特徴量抽出部21は、データ取得装置100が取得した判定対象データから特徴量を抽出する。具体的には、所定の時間間隔で判定対象データがデータ取得装置100から特徴量抽出部21に出力される。特徴量抽出部21は、入力された判定対象データを所定の特徴量抽出方法により特徴量に変換した判定対象特徴量を、取得した判定対象データに含まれるメタ情報とともに、データ選択部22に出力する。ここで、判定対象データは、映像の場合、所定の長さで、所定のフレームレートで構成される。

0034

例えば、長さは5秒で、フレームレートは30fpsである。そして、特徴量抽出方法には、例えば、映像の各フレームの局所的な特徴を抽出する非特許文献4に記載のHOG(Histogram Of Gradient、非特許文献5に記載のHOF(Histogram Of Optical Flow)、MHOF(Multi−scale Histogram Of Optical Flow)。又は非特許文献6に記載のSIFT(Scale Invariant Feature Transform)などが用いられる。

0035

なお、これらの特徴量抽出方法を、映像の各フレームを複数の領域に分割した各領域に適用してもよい。なお、特徴量抽出方法は、特定の監視対象に特化してもよい。例えば、監視対象が人物の場合は、人物の姿勢及び移動軌跡などを特徴量として抽出する方法でもよい。特徴量抽出部21は、変換した判定対象特徴量とメタ情報を、データ選択部22に出力する。それとともに、特徴量抽出部21は、判定対象データを出力部24に出力する。

0036

データ選択部22は、特徴量抽出部21が変換した判定対象特徴量と、データ関係情報とに基づき、部分データの一部を選択する。なお、データ選択部22は、判定対象特徴量の近傍に存在するデータ関係情報に基づいてデータ集合IDの一部を選択してもよい。具体的には、データ選択部22は、特徴量抽出部21から、判定対象特徴量とメタ情報とが入力されたことに応じて、メタ情報に基づいて判定対象データが取得されたシーンカテゴリをシーン情報として選択する。

0037

つまり、予め用意されたシーンカテゴリのなかから、メタ情報に応じてシーン情報を選択する。例えば、メタ情報が有する取得された時刻の情報に応じて、時間帯に対応するシーンカテゴリ(「朝」、「昼」、「夜」)を選択する。そして、データ選択部22は、選択したシーン情報と一致し、かつ入力された判定対象特徴量の最近傍にあるデータ集合を識別するデータ集合IDを選択する。

0038

具体的には、データ選択部22は、データ集合特性情報記憶部M2からデータ集合特性情報を読み込む。そして、読み込んだデータ集合特性情報に含まれるシーン情報が、判定対象データのシーン情報と一致するデータ集合のなかで、データ集合特性情報に含まれる中心座標と、判定対象特徴量との距離が最小のデータ集合を識別するデータ集合IDを選択する。

0039

なお、データ集合選択方法においては、データ集合特性情報に、分散共分散行列が含まれる場合、距離測定において分散共分散行列を計量とするマハラノビス距離を用いてもよい。そして、データ選択部22は、選択した最近傍のデータ集合IDに関連付けられたデータ関係情報をデータ関係情報記憶部M3から読み込む。データ選択部22は、読み込んだデータ関係情報に基づき、選択した最近傍のデータ集合と隣接関係にあるデータ集合を選択する。ここで、最近傍のデータ集合と隣接関係にあるデータ集合が所定のデータ集合選択数Mより多い場合、データ選択部22は、判定対象特徴量との距離が小さい順にデータ集合を選択する。データ選択部22は、選択したデータ集合を識別するデータ集合IDと判定対象特徴量とを局所幾何構造識別部23に出力する。

0040

局所幾何構造識別部23は、データ選択部22が選択したデータ集合により近似される、特定のクラスの特徴空間上の局所的な幾何構造体と判定対象特徴量との関係に基づき、判定対象のデータが特定のクラスに属するか否かを判定する。そして、局所幾何構造識別部23は、識別結果を示す識別結果情報を出力部24に出力する。

0041

具体的には、データ選択部22からデータ集合IDと判定対象特徴量とが入力されるとともに、入力されたデータ集合IDに関連付けられた複数のデータ集合特性情報をデータ集合特性情報記憶部M2から読み込む。そして、局所幾何構造識別部23は、読み込んだデータ集合特性情報により形成される特定クラスの特徴空間上の局所的な幾何構造体と、入力された判定対象特徴量との関係に基づいて異常スコアを算出する。ここで、異常スコアの算出方法としては、次の2つの方法がある。

0042

第1の異常スコアの算出方法として、局所幾何構造識別部23は、読み込んだデータ集合特性情報が有するデータ集合の中心座標が張る超平面に、入力された判定対象の特徴量を射影する。ここで、局所幾何構造識別部23は、例えば、次の制約付きの二乗誤差最小化問題解析的に解くことにより、判定対象特徴量の射影を求める。

0043

0044

ここで、xは、D次元の判定対象特徴量ベクトル、Bは各列に選択されたD次元のデータ集合の中心座標を持つ、DxM行列、Mは選択されたデータ集合数、zはD次元の係数ベクトルである。係数ベクトルzの和が1となる制約の下で求めた最小二乗誤差の解z*をふくむ線形モデルBz*は、データ集合Bの中心座標が張る超平面への判定対象特徴ベクトルxの射影となる。そして、局所幾何構造識別部23は、判定対象特徴量xと射影Bz*との距離を異常スコアとして算出する。つまり、第1の異常スコアの算出方法における異常スコアsは次の式で定義される。

0045

0046

第2の異常スコアの算出方法として、局所幾何構造識別部23は、第1の異常スコア算出方法にて算出した判定対象特徴量と射影との距離に加え、判定対象特徴量と選択されたデータ集合との距離を用いる。例えば、異常スコアは次の式で定義される。

0047

0048

ここで、式(3)の二項目は、判定対象特徴量xと各選択されたデータ集合の中心座標Bmとの重み付き距離に対応している。つまり、射影する超平面を形成するデータ集合の中心座標が、判定対象特徴量xから離れている場合は、異常スコアが高くなる。

0049

そして、局所幾何構造識別部23は、算出した異常スコアが所定の閾値より高い場合、判定対象データを異常クラスに識別する。そして、局所幾何構造識別部23は、判定対象データが正常クラス又は異常クラスに属するかを示す識別結果情報を、出力部24に出力する。この識別結果情報は、例えば、異常の場合は「−1」、正常の場合は「1」の値とする。

0050

なお、異常スコアは、特徴空間以外の空間で算出してもよい。例えば、局所幾何構造識別部23は、特徴空間を低次元空間圧縮し、判定対象データと局所的な幾何構造体との該低次元空間上での関係に基づき、異常スコアを算出してもよい。この低次元空間への圧縮方法としては、例えば、主成分分析ランダムプロジェクション及びハッシュ関数などが適用される。

0051

図5は、局所幾何構造識別部23が、データ集合により構成される局所的な幾何構造体と判定対象特徴量との距離を測る過程の一例を示す図である。
図5が示すように、データ選択部22は、判定対象特徴量51の特徴空間上で近傍にあるM=3個のデータ集合52を選択する。そして、局所幾何構造識別部23は、選択されたデータ集合の中心座標が張る3次元上の局所的な幾何構造体53に判定対象特徴量を射影し、射影元の判定対象特徴量と、射影先54との距離55を異常スコアとして測っている。

0052

出力部24は、識別結果情報に基づいて、判定対象データに係る表示情報を生成して、生成した表示情報を出力する。具体的には、出力部24には、局所幾何構造識別部23から識別結果情報が、データ取得装置100から判定対象データが入力される。そして、出力部24は、入力された識別結果情報に基づいて、入力された判定対象データの表示情報を生成し、生成した表示情報を端末装置200に出力する。この表示情報は、識別結果情報が判定対象データに異常がないことを示す場合(例えば、「1」)、識別結果情報が判定対象データに異常があることを示す場合(例えば、「−1」)、表示情報は、判定対象データに加え、監視者の注意を促すための警報情報を含む。この警報情報は、例えば、「異常があります」等のテキストまたは音声である。

0053

端末装置200は、監視ユーザが利用するコンピュータ装置であり、識別装置20から供給される表示情報を提供する。端末装置200は、表示部201を備える。端末装置200には、例えばPC(Personal Computer)やタブレットPC、スマートフォンフューチャフォン等が適用できる。具体的には、識別装置20が表示情報を出力したことに応じて、端末装置200は、表示情報を取得する。そして、端末装置200は、取得した表示情報を表示部201に出力する。

0054

次に、図6を参照して、異常検知システム1におけるデータ関係生成装置10の動作について説明する。
図6は、本実施形態における異常検知システム1のデータ関係生成装置10のデータ関係情報の生成動作の一例を示すフローチャートである。
まず、S601において、部分データ選択部11は、正常特徴量記憶部M1から、正常特徴量を読み込む。

0055

次に、S602において、部分データ選択部11は、シーンsiを設定する。具体的には、予め用意された複数のS個のシーンカテゴリ{si}のインデックスiを1に設定する。

0056

次に、S603において、部分データ選択部11は、シーンsiに対する正常データを分割する。具体的には、読み込んだ正常データのうちシーン情報がsiと一致する正常データを、前述した所定のデータ分割の方法を用いて分割し、データ集合IDと関連付けてデータ集合特性情報を、データ集合特性情報記憶部M2に記憶させる。それとともに、部分データ選択部11は、正常データIDと関連づけて、該データが属するデータ集合のデータ集合IDを、正常特徴量記憶部M1に記憶させる。そして、部分データ選択部11は、データ関係生成部12に、トリガーを出力する。

0057

次に、S604において、データ関係生成部12は、シーンsiに対するデータ集合間の関係を生成する。具体的には、部分データ選択部11からトリガーが入力されたことに応じて、データ関係生成部12は、データ集合特性情報記憶部M2から、シーンsiと一致するシーン情報を有するデータ集合特性情報を読み込む。そして、データ関係生成部12は、前述したデータ関係情報の生成方法を用いてデータ関係情報を生成する。

0058

次に、S605において、データ関係生成部12は、生成したデータ関係情報をシーンsi及びデータ集合IDと関連付けてデータ関係情報記憶部M3に記憶させる。

0059

次に、S606において、データ関係生成部12は、残りのシーンがあるか否かを判定する。具体的には、データ関係生成部12は、インデックスiがシーンカテゴリの個数S以下か否かを判定する。iがS未満の場合、処理をS607に進める。一方、iがS以上の場合、データ関係生成部12は、処理を終わらせる。

0060

次に、S607において、データ関係生成部12は、インデックスiに「1」を追加し処理をステップS603に戻す。

0061

次に、図7のフローチャートを参照しながら本実施形態に係る異常検知システム1の識別装置20の識別の動作の一例を説明する。

0062

まず、S701において、特徴量抽出部21は、判定対象データをデータ取得装置100から取得する。具体的には、データ取得装置100により取得された判定対象データが、特徴量抽出部21と出力部24に出力される。特徴量抽出部21は、判定対象データを取得したことに応じて、前述した所定の特徴量抽出方法を用いて、取得した判定対象データから判定対象特徴量を抽出する。そして、特徴量抽出部21は、抽出した判定対象特徴量と、判定対象データに含まれるメタ情報とをデータ選択部22に出力する。

0063

次に、S702において、データ選択部22は、判定対象データのシーン情報を選択する。具体的には、特徴量抽出部21から判定対象特徴量とメタ情報とが入力されたことに応じ、予め用意された所定のシーンカテゴリの中から、入力されたメタ情報に基づき、判定対象データが取得された環境を示すシーンカテゴリをシーン情報として選択する。

0064

次に、S703において、データ選択部22は、判定対象特徴量及び選択したシーン情報と、データ関係情報に基づき最近傍のデータ集合を選択する。具体的には、データ選択部22は、データ集合特性情報記憶部M2がデータ集合IDと関連付けて記憶するデータ集合特性情報を読み込む。そして、データ選択部22は、読み込んだデータ集合特性情報が有するシーン情報が選択したシーン情報と一致し、かつデータ集合特性情報が有する中心座標が判定対象特徴量の最近傍にあるデータ集合を選択する。

0065

次に、S704において、データ選択部22は、最近傍のデータ集合と隣接するデータ集合を選択する。具体的には、データ選択部22は、選択したデータ集合を識別するデータ集合IDに関連付けられたデータ関係情報を、データ関係情報記憶部M3から読み込む。そして、データ選択部22は、読み込んだデータ関係情報に基づき、選択したデータ集合と隣接関係にあるデータ集合IDを選択し、判定対象特徴量とともに、局所幾何構造識別部23に出力する。

0066

次に、S705において、局所幾何構造識別部23は、異常スコアを算出する。具体的には、局所幾何構造識別部23は、入力されたデータ集合IDに関連付けられたデータ集合特性情報をデータ集合特性情報記憶部M2から読み込む。そして、局所幾何構造識別部23は、入力された判定対象特徴量と読み込んだデータ集合特性情報に基づき、前述した異常スコアの算出方法を用いて異常スコアを算出する。

0067

次に、S706において、局所幾何構造識別部23は、判定対象データが正常か否かを判定する。具体的には、算出した異常スコアが所定の閾値未満の場合、局所幾何構造識別部23は判定対象データが正常であると判定する。
一方、閾値以上の場合、判定対象のデータが異常であると判定する。そして、局所幾何構造識別部23は、判定結果を出力部24に出力する。

0068

次に、S707において、出力部24は、表示情報を端末装置200に出力する。具体的には、出力部24は、局所幾何構造識別部23から入力された識別結果情報と、特徴量抽出部21から入力された判定対象データとに基づいて生成した表示情報を、端末装置200に出力する。

0069

次に、S708において、端末装置200は、表示情報を出力し、処理を終了する。具体的には、端末装置200は、識別装置20の出力部24から入力された表示情報を、表示部201に出力する。

0070

以上説明したように、本実施形態のデータ関係生成装置10は、正常データをデータ集合に分割し、データ集合間の関係を生成するようにした。これにより、データ集合の位置及びデータ集合間の隣接関係の情報のみの、省メモリで特定クラスの特徴空間上の構造を表現することができる。
また、本実施形態のデータ関係生成装置10は、正常データが取得された状況ごとに分けて、特定クラスの特徴空間上の構造を表現することができる。

0071

本実施形態の識別装置20は、データ集合の中心座標により近似された特定のクラスの特徴空間上の局所的な幾何構造体との距離を測る。そのため、識別装置20は、局所的な少ない情報のみを用いて特定のクラスの特徴空間上の構造体との距離を高速に測り、精度よく異常判定を行うことができる。

0072

[第2の実施形態]
次に、本発明を実施するための第2の実施形態について、図面を参照して説明する。なお、前述した第1の実施形態における各構成と同一の構成については、同一の符号を付して説明を省略する。
本実施形態における異常検知システム1aについて、識別装置の判定結果の根拠を示す可視化情報を生成する場合を例に説明する。ここでは、第1の実施形態と同様に、特定のクラスを正常クラス、特定外のクラスを異常クラス、特定クラスデータを正常データ、特定クラス特徴量を正常特徴量、部分データをデータ集合の特性を示すデータ集合特性情報、として説明する。

0073

図8は、本発明の第2の実施形態に係る異常検知システム1aの構成の一例を示す構成図である。
図8に示すように、本実施形態の異常検知システム1aは、データ関係生成装置10と、識別装置20aと、可視化情報生成装置30と、データ取得装置100と、端末装置200とを備えている。

0074

識別装置20aは、データ選択部22aが後述する可視化情報生成装置30が備える代表データ選択部31に、シーン情報と、データ集合IDとを出力する点において、第1の実施形態の識別装置20と異なる。また、局所幾何構造識別部23aが後述する可視化情報生成装置30が備える寄与特徴選択部32に、判定対象特徴量と判定対象データと射影情報とを出力する点において、識別装置20と異なる。及び、出力部24aが後述する可視化情報生成装置30が備える可視化情報生成部33から入力されたグラフ構造表示情報を表示する点において、識別装置20と異なる。

0075

次に、可視化情報生成装置30の詳細な構成について説明する。
可視化情報生成装置30は、代表データ選択部31と寄与特徴選択部32と可視化情報生成部33とを備えている。

0076

代表データ選択部31は、正常クラスに属する正常データのうち識別装置20aの判定に用いられたデータ集合の代表的な正常データを選択する。具体的には、識別装置20aが備えるデータ選択部22aからシーン情報とデータ集合IDとが入力されたことに応じて、入力されたシーン情報とデータ集合IDとに関連付けられた正常データ及び正常特徴量を正常特徴量記憶部M1から読み込む。それとともに、代表データ選択部31は、入力されたシーン情報とデータ集合IDとに関連付けられたデータ集合特性情報をデータ集合特性情報記憶部M2から読み込む。そして、代表データ選択部31は、読み込んだ正常データとデータ集合特性情報とに基づき、正常データを選択する。ここで、正常データ選択方法としては、例えば、次の2つの方法がある。

0077

第1のデータ選択方法として、代表データ選択部31は、読み込んだデータ集合特性情報が有するデータ集合の中心座標の近傍の正常データを、読み込んだ正常データのなかから所定データ数選択する。なお、データ集合特性情報に、分散共分散行列が含まれる場合、距離測定において分散共分散行列を計量とするマハラノビス距離を用いてもよい。

0078

第2のデータ選択方法として、代表データ選択部31は、読み込んだデータ集合特性情報が有するデータ集合の中心座標が張る超平面を近似し、該超平面の近傍の正常データを所定の数選択する。具体的には、代表データ選択部31は、以下の式により表現されるM次元の超平面の変数a1...aMを、データ集合の中心座標又は読み込んだ正常データ

0079

0080

最小二乗法を用いて推定する。ここで、Nは、中心座標又は正常データ数である。

0081

0082

そして、代表データ選択部31は、推定した超平面と読み込んだ正常データとの距離を測り、距離が小さい所定の数の正常データを選択する。
次に、代表データ選択部31は、選択した正常データと入力されたデータ集合IDとを可視化情報生成部33に出力する。

0083

寄与特徴選択部32は、識別装置20aが判定に用いたデータ集合により近似される局所的な幾何構造体と判定対象特徴量との関係に寄与する特徴量の種類を示す寄与特徴量情報を選択する。具体的には、寄与特徴選択部32は、識別装置20aが備える局所幾何構造識別部23aから判定対象特徴量と判定対象データと射影情報とを入力されたことに応じて、判定対象特徴量と射影情報との距離に寄与する特徴量を選択する。

0084

ここで、特徴量の選択方法として、寄与特徴選択部32は、例えば、判定対象特徴量と射影情報との特徴量ごとの絶対値差を算出し、絶対値差の大きい順に所定の数の特徴量の次元番号を選択する。そして、寄与特徴選択部32は、予め特徴量の次元番号に関連付けて記憶されている特徴量の種類を示す種類情報から、選択された特徴量の次元番号に対する種類情報を読み込む。そして、寄与特徴選択部32は、選択した特徴量の次元番号と読み込んだ種類情報を寄与特徴量情報として、入力された射影情報と判定対象データと判定対象特徴量とともに可視化情報生成部33に出力する。

0085

可視化情報生成部33は、代表データ選択部31が選択した代表的な正常データと、判定対象データとを比較する可視化情報を生成する。なお、可視化情報生成部33は、代表データ選択部31が選択した代表的な正常データと、データ関係情報とに基づき、代表的な正常データの特徴空間上での隣接関係を示す情報を可視化情報として生成してもよい。
また、可視化情報生成部33は、寄与特徴選択部32が選択した寄与特徴量情報を可視化情報として生成する。具体的には、代表データ選択部31から正常データとデータ集合IDとが、寄与特徴選択部32から寄与特徴量情報と射影情報と判定対象データと判定対象特徴量とが入力される。

0086

それに応じて、可視化情報生成部33は、データ関係情報記憶部M3からデータ関係情報を読み込む。そして、可視化情報生成部33は、読み込んだデータ関係情報に基づき、データ集合の特徴空間上での隣接関係を示す2次元又は3次元のグラフ構造を示すグラフ構造表示情報を生成する。ここで、グラフ構造表示情報の生成方法としては、グラフ構造のノードをデータ集合、エッジをデータ集合間の隣接関係に対応付ける。そして、可視化情報生成部33は、ノードを点で表し、隣接関係にあるノードの点同士を近くに配置するとともに、線で繋いだ描画情報をグラフ構造表示情報として生成する。なお、データ関係情報がデータ集合間の距離を有する場合、ノード点間の線の長さを該距離に比例するように設定してもよい。

0087

次に、可視化情報生成部33は、代表データ選択部31から入力された正常データ及び正常特徴量を、データ集合IDと関連付けて、生成したグラフ構造表示情報に重畳する。
次に、可視化情報生成部33は、寄与特徴選択部32から入力された判定対象データと、判定対象特徴量と、射影情報及び寄与特徴量情報を、生成したグラフ構造表示情報に重畳する。

0088

図9は、本実施形態の可視化情報生成部33が生成する2次元のグラフ構造表示情報の一例を示す図である。
図9に示すように、グラフ構造は、複数のデータ集合91を、隣接関係に基づき線で繋ぐことにより表現される。また、図9では、局所幾何構造識別部23aからデータ集合IDとして、「C01」、「C03」及び「C05」が入力され、代表データ選択部31が選択した正常データ及び正常特徴量が、データ集合IDと関連付けて枠93、94及び95に重畳されている。

0089

例えば、枠95のなかに表示されている画像とヒストグラムは、それぞれデータ集合「C05」に属する代表的な正常データと正常特徴量である。つまり、図9では、各データ集合に属する1つの代表的な正常データが代表データ選択部31により選択されていることが示されている。また、判定対象データ92と、判定対象特徴量96と、射影情報97と、寄与特徴量98とが、入力されたデータ集合ID「C01」、「C03」及び「C05」のデータ集合の2次元上で近傍の任意の場所に重畳されている。

0090

また、データ集合「C01」、「C03」及び「C05」に属する正常データは、「歩行者」に係る画像データであるのに対し、判定対象データ92は、「自転車」に係る画像データであることが示されている。また、判定対象特徴量96と射影情報97は、特徴量の種類「方向」と「速度」のうち「速度」で大きな差が出ているため、寄与特徴量98として「速度」が選択されていることが示されている。

0091

そして、可視化情報生成部33は、生成したグラフ構造表示情報を識別装置20aの出力部24aに出力する。

0092

次に、図10を参照して、異常検知システム1aにおける可視化情報生成装置30の動作について説明する。
図10は、本実施形態の異常検知システム1aの可視化の動作の一例を示すフローチャートである。

0093

まず、S1001において、代表データ選択部31は、識別装置20aで用いられたデータ集合の代表的な正常データを読み込む。具体的には、識別装置20aの局所幾何構造識別部23aからデータ集合IDとシーン情報とが入力されたことに応じて、入力されたデータ集合IDとシーン情報とに関連付けられた正常データ及び正常特徴量を正常特徴量記憶部M1から読み込む。それとともに、代表データ選択部31は、入力されたデータ集合IDに関連付けられたデータ集合特性情報をデータ集合特性情報記憶部M2から読み込む。

0094

次に、S1002において、代表データ選択部31は、代表的な正常データを選択する。具体的には、代表データ選択部31は、読み込んだ正常データとデータ集合特性情報とに基づき、前述したデータ選択方法を用いて代表的な正常データを選択する。代表データ選択部31は、選択した正常データと入力されたデータ集合IDと判定対象データとを可視化情報生成部33に出力する。そして、代表データ選択部31は、処理をS1003に進める。

0095

次に、S1003において、寄与特徴選択部32は、寄与特徴量情報を選択する。具体的には、寄与特徴選択部32は、局所幾何構造識別部23aから判定対象特徴量と判定対象データと射影情報とが入力されたことに応じて、判定対象特徴量と射影情報との距離に寄与する所定の数の特徴量を選択する。そして、寄与特徴選択部32は、予め特徴量の次元番号に関連付けて記憶されている特徴量の種類を示す種類情報から、選択された特徴量の次元番号に対する種類情報を読み込む。寄与特徴選択部32は、選択した特徴量の次元番号と読み込んだ種類情報を寄与特徴量情報として、入力された射影情報と判定対象特徴量と判定対象データとともに可視化情報生成部33に出力する。

0096

次に、S1004において、可視化情報生成部33は、グラフ構造表示情報を生成する。具体的には、可視化情報生成部33は、代表データ選択部31から代表的な正常データとデータ集合IDとが、寄与特徴選択部32から寄与特徴量情報と射影情報と判定対象データと判定対象特徴量とが入力される。それに応じて、可視化情報生成部33は、データ関係情報記憶部M3からデータ関係情報を読み込む。そして、可視化情報生成部33は、読み込んだデータ関係情報に基づき、データ集合の隣接関係を示すグラフ構造を示すグラフ構造表示情報を前述したグラフ構造情報の生成方法を用いて生成する。

0097

次に、S1005において、可視化情報生成部33は、正常データ及び正常特徴量を重畳する。具体的には、可視化情報生成部33は、代表データ選択部31から入力された正常データ及び正常特徴量を、データ集合IDと関連付けて、生成したグラフ構造表示情報に重畳する。

0098

次に、S1006において、可視化情報生成部33は、判定対象データと判定対象特徴量を重畳する。具体的には、寄与特徴選択部32から入力された判定対象データと、判定対象特徴量と、射影情報とを生成したグラフ構造表示情報に重畳する。

0099

次に、S1007において、可視化情報生成部33は、寄与特徴量情報を重畳する。具体的には、寄与特徴選択部32から入力された寄与特徴量情報を生成したグラフ構造表示情報に重畳する。

0100

次に、S1008において、可視化情報生成部33は、グラフ構造表示情報を出力する。具体的には、生成したグラフ構造表示情報を識別装置20aの出力部24aに出力して処理を終了する。

0101

以上説明したように、判定対象データと、識別装置で識別に用いられた代表的な正常データとを比較でき、監視ユーザは識別装置による判定結果の根拠を視覚的に確認できる。つまり、識別装置が判定対象データを異常と判定した場合、監視ユーザは、判定対象データが判定に用いられた代表的な正常データから視覚的に乖離しているか否かを確認することができる。

0102

例えば、正常な判定対象データを識別装置が誤って異常と判定した場合、判定対象データと判定に用いられた代表的な正常データとを比較する。これにより、監視ユーザは、該判定対象データに類似した学習用の正常データの不足で誤識別が発生しているのか、又は学習用の正常データが十分にあるのにもかかわらず異常スコアの閾値の設定などが原因で誤識別が発生しているのかを判断することができる。また、グラフ構造の表示により、正常データの特徴空間上での隣接関係を可視化できるため、特徴量が正常データの実際の視覚的な隣接関係を表現できているか否かを確認することができる。

0103

なお、識別装置20aの判定に寄与した特徴量がわかるため、監視ユーザは判定結果の根拠を定性的に確認することができる。例えば、図9が示すように、判定対象データの「自転車」の画像が異常と判定された根拠として、正常データの「歩行者」の画像に対して、特徴量「速度」での差が原因であることがわかる。

0104

[第3の実施形態]
次に、本発明を実施するための第3の実施形態について、図面を参照して説明する。なお、前述した第1の実施形態における各構成と同一の構成については、同一の符号を付して説明を省略する。
本実施形態における異常検知システム1bについて、正常データが逐次追加される場合を例に説明する。つまり、本実施形態の識別装置20aは、監視者ユーザにより追加された正常データに基づいて、データ集合特性情報及びデータ関係情報を更新できる点において、第2の実施形態と異なる。ここでは、第1の実施形態と同様に、特定のクラスを正常クラス、特定外のクラスを異常クラス、特定クラスデータを正常データ、特定クラス特徴量を正常特徴量、部分データをデータ集合の特性を示すデータ集合特性情報、として説明する。

0105

図11は、本発明の第3の実施形態に係る異常検知システム1bの構成の一例を示す構成図である。異常検知システム1bは、データ関係生成装置10bと、識別装置20aと、可視化情報生成装置30と、データ取得装置100と、端末装置200bとを備えている。

0106

端末装置200bは、監視ユーザが利用するコンピュータ装置であり、識別装置20aから供給される表示情報を提供するとともに、データ関係生成装置10bで用いられる正常特徴量の追加を行う。端末装置200bは、表示部201bと操作検出部202bとを備える。具体的には、識別装置20aが表示情報を出力したことに応じて、端末装置200bは、表示情報を取得する。そして、端末装置200bは、取得した表示情報を表示部201bに出力する。

0107

そして、監視ユーザが特徴量を追加することを示す特徴量追加情報が入力されると、端末装置200bは、識別装置20aから入力された表示情報に含まれる判定対象特徴量をデータ関係生成装置10bに出力する。例えば、表示部201bに表示された判定対象データに基づく、監視ユーザによる「特徴量を追加する」ボタンの押下を、端末装置200bの操作検出部202bが検出すると、判定対象特徴量が、データ関係生成装置10bに出力される。なお、端末装置200bは、識別装置20aからシーン情報が入力され、データ関係生成装置10bに出力してもよい。

0108

次に、データ関係生成装置10bの詳細な構成について説明する。
データ関係生成装置10bは、データ取得装置100で取得された学習用の正常データを分割したデータ集合間の関係を学習する装置である。データ関係生成装置10bは、正常特徴量記憶部M1と、データ集合特性情報記憶部M2と、データ関係情報記憶部M3と、部分データ選択部11と、データ関係生成部12と、部分データ更新部13とを備えている。

0109

部分データ更新部13は、判定対象のデータと、部分データ選択部11が選択したデータ集合との関係に基づき前記データ関係情報を更新する。具体的には、部分データ更新部13は、端末装置200bが判定対象特徴量を、出力したことに応じて、部分データ更新部13は判定対象特徴量を取得する。部分データ更新部13は、取得した判定対象特徴量を正常特徴量記憶部M1(図2を参照)に、データIDと関連付けて記憶させるとともに、データ集合特性情報をデータ集合特性情報記憶部M2から読み込む。

0110

そして、部分データ更新部13は、入力された判定対象データと読み込んだデータ集合特性情報が有する中心座標間の距離を算出する。該距離に所定の閾値以下の距離がある場合、部分データ更新部13は、該距離が最小のデータ集合特性情報を更新する。ここで、データ集合特性情報の更新方法としては、例えば、部分データ更新部13は、距離が最小のデータ集合に、判定対象特徴量を追加し、該データ集合に属する正常データ集合の平均を中心座標として設定する。

0111

一方、全ての該距離が所定の閾値より大きい場合、部分データ更新部13は、判定対象特徴量をデータ集合特性情報の中心座標とする新しいデータ集合を追加する。そして、部分データ更新部13は、トリガーをデータ関係生成部12に出力する。なお、データ集合特性情報に、分散共分散行列が含まれる場合、距離測定において分散共分散行列を計量とするマハラノビス距離を用いてもよい。なお、部分データ更新部13は、端末装置200bからシーン情報が入力され、入力されたシーン情報に関連したデータ集合特性情報の更新又は新規追加を行い、シーン情報に関連したデータ関係情報を更新してもよい。

0112

次に、図12を参照して、異常検知システム1bにおけるデータ関係生成装置10bの動作について説明する。
図12は、本実施形態の異常検知システム1bのデータ関係情報の生成及び更新処理の一例を示すフローチャートである。なお、第1の実施形態と同一の動作については同一の符号を付して、その説明を省略する。

0113

S1201において、監視ユーザが端末装置200bにて特徴量追加情報が入力されたことに応じて、端末装置200bは、判定対象特徴量を出力する。具体的には、端末装置が備える操作検出部202bが監視ユーザによる特徴量追加情報の入力を検知した(つまり、YES)場合、識別装置20aから入力された正常特徴量をデータ関係生成装置10bに出力するとともに、処理をS1202に移動する。
一方、検知しない(つまり、NO)場合、端末装置200bは、処理をS1201に戻す。

0114

次に、S1202において、部分データ更新部13は、正常特徴量記憶部M1に判定対象特徴量を追加する。具体的には、端末装置200bが判定対象特徴量を出力したことに応じて、部分データ更新部13は、判定対象特徴量を取得する。部分データ更新部13は、取得した正常特徴量を正常特徴量記憶部M1(図2を参照)に、データIDと関連付けて記憶させる。

0115

次に、S1203において、部分データ更新部13は、判定対象データの特徴空間上の近傍にデータ集合が存在するか否かを判定する。具体的には、部分データ更新部13は、データ集合特性情報をデータ集合特性情報記憶部M2から読み込み、入力された判定対象特徴量と、読み込んだデータ集合特性情報が有する中心座標との距離を算出する。そして、部分データ更新部13は、該距離のなかに所定の閾値以下の距離があるか否かを判定する。閾値以下の距離がある場合(つまり、YES)、部分データ更新部13は、処理をS1204に進める。一方、閾値以下の距離がない場合(つまり、NO)、部分データ更新部13は、処理をS1205に進める。

0116

次に、S1204において部分データ更新部13は、距離が最小のデータ集合特性情報を更新する。具体的には、部分データ更新部13は、距離が最小のデータ集合に、判定対象特徴量を追加し、該データ集合に属する正常データ集合の平均を中心座標として設定する。そして、部分データ更新部13は、更新したデータ集合特性情報をデータ集合特性情報記憶部M2に記憶させるとともに、トリガーをデータ関係生成部12に出力し、処理をS1206に進める。

0117

次に、S1205において、部分データ更新部13は、新規にデータ集合を追加する。具体的には、部分データ更新部13は、判定対象特徴量をデータ集合特性情報の中心座標とする新しいデータ集合を追加する。そして、部分データ更新部13は、追加したデータ集合特性情報をデータ集合特性情報記憶部M2に記憶させるとともに、トリガーをデータ関係生成部12に出力し、処理をS1206に進める。

0118

次に、S1206において、データ関係生成部12は、データ関係情報を更新する。具体的には、部分データ更新部13からトリガーが入力されたことに応じて、データ関係生成部12は、データ集合特性情報記憶部M2から、データ集合特性情報を読み込む。そして、データ関係生成部12は、前述したデータ関係情報の生成方法を用いてデータ関係情報を生成する。なお、更新又は新規に追加されたデータ集合を識別するデータ集合IDが部分データ更新部13から入力され、データ関係生成部12は、該IDのデータ集合の特徴空間上の近傍に位置するデータ関係情報のみを更新してもよい。

0119

次に、S1207において、データ関係生成部12は、更新したデータ関係情報を記憶する。具体的には、データ関係生成部12は、生成したデータ関係情報をシーンs及びデータ集合IDと関連付けてデータ関係情報記憶部M3に記憶させる。

0120

以上説明したように、本実施形態においては、可視化情報生成装置30が生成した識別装置20aの判定の根拠に関する可視化情報に基づき、監視ユーザが判定対象データを正常データとして追加した場合、高速にデータ関係情報を更新することができる。これは、データ関係生成装置10bは、データ分割とデータ関係情報の生成を一からやり直す必要がないためである。そして、識別装置20aは、動的に変化する環境下においても、精度の高い識別を行うことができる。

0121

以上、本発明の実施の形態について図面を参照して詳述したが、具体的な構成はその実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。また、各実施形態は、前述の各実施形態を組み合せて実施してもよい。

0122

また、前述の各実施形態においては、異常検知の問題を例に、本発明の実施形態について説明したが、本発明の装置は、この発明の要旨を逸脱しない範囲内において一般的な識別問題に適用することが可能である。例えば、本発明の装置は、特定のクラスを人体のクラス、特定外のクラスを人体以外のクラスとし、画像又は映像データから人体を検知する問題に適用することができる。また、本発明の識別装置を複数用いることにより、多クラスの識別問題に適用することができる。

0123

また、前述の各実施形態においては、映像データを用いた監視を例に、本発明の実施形態について説明したが、本発明の装置は、この発明の要旨を逸脱しない範囲内において監視以外の問題に適用することが可能である。例えば、本発明の装置は、センサ、カウンタ、アラーム及びエラーなどのデータを用いた機器の異常検知の問題に適用することができる。

0124

また、前述の各実施形態においては、データ関係生成装置10及び10bが正常特徴量記憶部M1、データ集合特性情報記憶部M2、データ関係情報記憶部M3を備えていると説明したが、ネットワークを介したサーバ上や、他の装置がこれらの構成を備えてもよい。

0125

また、各装置が備える各部の機能を実現するためのプログラムコンピュータ読み取り可能な記録媒体に記録する。そして、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、サーバ装置が備える各部による処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。

0126

また、前述の各実施形態においては、正常データが取得された状況の属性を示すシーン情報が得られる場合を例に、本発明の実施形態について説明した。しかし、本発明の装置は、この発明の要旨を逸脱しない範囲内において、シーン情報が得られない場合にも適用することが可能である。

0127

10データ関係生成装置
11部分データ選択部
12 データ関係生成部
20識別装置
21特徴量抽出部
22データ選択部
23局所幾何構造識別部
24 出力部
100データ取得装置
200端末装置
201 表示部
M1 正常特徴量記憶部
M2データ集合特性記憶部
M3データ関係情報記憶部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • アースアイズ株式会社の「 監視装置、監視システム、及び、監視方法」が 公開されました。( 2020/09/24)

    【課題】2次元画像を用いた監視装置において、監視対象とした「人」が行う監視対象とした「物」に対する不定形な一般的動作を抽出して、監視対象とした「人」が、監視対象とした「物」に対して不審度の高い所定の行... 詳細

  • 株式会社日立ハイテクノロジーズの「 電子ビーム装置及び画像処理方法」が 公開されました。( 2020/09/24)

    【課題】電子ビーム装置において、シフト量がサブピクセル量となった場合でも、画像を移動させたことによる測長値の変化を防止する。【解決手段】画素補間フィルタにより画像を画素間の画素シフト量だけシフトさせる... 詳細

  • 株式会社NGRの「 パターンマッチング方法」が 公開されました。( 2020/09/24)

    【課題】正しいマッチング位置を決定することができるパターンマッチング方法を提供する。【解決手段】パターンマッチング方法は、画像200上のパターンと、対応するCADパターン210とのマッチングを実施し、... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ