図面 (/)

技術 動線関連付け方法、装置及びプログラム

出願人 東芝テック株式会社
発明者 高畠政実関根直樹伊久美智則
出願日 2010年2月17日 (9年8ヶ月経過) 出願番号 2010-032946
公開日 2011年9月1日 (8年1ヶ月経過) 公開番号 2011-170562
状態 特許登録済
技術分野 画像処理 特定用途計算機 イメージ分析 閉回路テレビジョンシステム
主要キーワード 一元制御 各境界領域 両移動体 店内空間 データ数カウンタ 関連付け装置 追跡方式 終点フレーム
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2011年9月1日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (14)

課題

複数の動線認識システムでそれぞれ認識される動線のなかから同一移動体に対する動線どうしを関連付けられるようにする。

解決手段

第1の動線データベースから第1の画像監視エリア内に位置した移動体の動線データを選択し、この動線データの移動体が第1の画像監視エリア内に位置する時点のカメラ画像データを第1の画像データベースから選択して、このカメラ画像データから移動体画像を抽出する。第2の動線データベースから第2の画像監視エリア内に位置する移動体の動線データを選択し、この動線データの移動体が第2の画像監視エリア内に位置する時点のカメラ画像データを第2の画像データベースから選択し、このカメラ画像データから移動体画像を抽出する。両移動体画像を照合して各画像の移動体が同一か判定し、同一であると判定されると、両動線データの関連付けを行う。

概要

背景

スーパーマーケットコンビニエンスストア等の店舗内を移動する買物客軌跡動線として認識する動線認識システムには、カメラを用いた画像処理方式無線タグリーダを用いた無線タグ追跡方式等がある。画像処理方式の場合、現状の画像処理技術では、各カメラで監視領域の全エリア死角なく撮影したとしても、一人の買物客の監視領域全域動きを1つの動線として追跡することはきわめて困難である。例えば、他の買物客とすれ違った際に動線が途切れたり、動線が入れ替わったりする場合が考えられる。

特許文献1には、画像処理方式の動線認識システムにより生成された複数の動線データの中から同一客に対する動線データを選択し、それぞれを連結して1本の動線データを生成する動線編集システムが開示されている。

概要

複数の動線認識システムでそれぞれ認識される動線のなかから同一移動体に対する動線どうしを関連付けられるようにする。第1の動線データベースから第1の画像監視エリア内に位置した移動体の動線データを選択し、この動線データの移動体が第1の画像監視エリア内に位置する時点のカメラ画像データを第1の画像データベースから選択して、このカメラ画像データから移動体画像を抽出する。第2の動線データベースから第2の画像監視エリア内に位置する移動体の動線データを選択し、この動線データの移動体が第2の画像監視エリア内に位置する時点のカメラ画像データを第2の画像データベースから選択し、このカメラ画像データから移動体画像を抽出する。両移動体画像を照合して各画像の移動体が同一か判定し、同一であると判定されると、両動線データの関連付けを行う。

目的

本発明はこのような事情に基づいてなされたもので、その目的とする

効果

実績

技術文献被引用数
3件
牽制数
1件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

第1の動線認識エリア内を移動する移動体毎にその移動体の前記第1の動線認識エリア内での軌跡を示す動線データを記憶するための第1の動線データベース、前記第1の動線認識エリアとは異なる第2の動線認識エリア内を移動する移動体毎にその移動体の前記第2の動線認識エリア内での軌跡を示す動線データを記憶するための第2の動線データベース、前記第1の動線認識エリア内の少なくとも一部である第1の画像監視エリア内を撮影したカメラ画像データ撮影時刻とともに記憶するための第1の画像データベース、及び、前記第2の動線認識エリア内の少なくとも一部である第2の画像監視エリア内を撮影したカメラ画像データを撮影時刻とともに記憶するための第2の画像データベースの各データベースに対してアクセスが可能なコンピュータにより、前記第1の動線データベースに記憶された各移動体の動線データと前記第2の動線データベースに記憶された各移動体の動線データとのなかから、同一移動体の動線データどうしを関連付ける動線関連付け方法であって、前記コンピュータは、前記第1の動線データベースに記憶された各動線データの中から前記第1の画像監視エリア内に位置した移動体の動線データを選択する第1の動線選択段階と、この第1の動線選択段階により選択された動線データに対応する前記移動体が前記第1の画像監視エリア内に位置する時点の前記カメラ画像データを前記第1の画像データベースから選択する第1の画像選択段階と、この第1の画像選択段階により選択されたカメラ画像データから移動体画像を抽出する第1の移動体画像抽出段階と、前記第2の動線データベースに記憶された各動線データの中から前記第2の画像監視エリア内に位置する移動体の動線データを選択する第2の動線選択段階と、この第2の動線選択段階により選択された動線データに対応する前記移動体が前記第2の画像監視エリア内に位置する時点の前記カメラ画像データを前記第2の画像データベースから選択する第2の画像選択段階と、この第2の画像選択段階により選択されたカメラ画像データから移動体画像を抽出する第2の移動体画像抽出段階と、前記第1の移動体画像抽出段階により抽出された移動体画像と前記第2の移動体画像抽出段階により抽出された移動体画像とを照合して各画像の移動体が同一か否かを判定する移動体同定段階と、この移動体同定段階により移動体が同一であると判定されると、前記第1の動線選択段階により選択された動線データの少なくとも識別情報に対応させて、前記第2の動線選択段階により選択された動線データの少なくとも識別情報を記憶する動線関連付け段階と、を備えることを特徴とする動線関連付け方法。

請求項2

前記移動体同定段階により移動体が同一であると判定された移動体が前記第1の動線認識エリアから前記第2の動線認識エリアまで移動するのに要した所要時間を、前記第1の動線選択段階により選択された動線データの終点に関する情報と前記第2の動線選択段階により選択された動線データの始点に関する情報とにより算出する所要時間演算段階、をさらに備え、前記動線関連付け段階は、前記第1の動線選択段階により選択された動線データの少なくとも識別情報に対応させて、前記第2の動線選択段階により選択された動線データの少なくとも識別情報と前記所要時間演算段階により算出された所要時間とを記憶することを特徴とする請求項1記載の動線関連付け方法。

請求項3

第1の動線認識エリア内を移動する移動体毎にその移動体の前記第1の動線認識エリア内での軌跡を示す動線データを記憶するための第1の動線データベース、前記第1の動線認識エリアとは異なる第2の動線認識エリア内を移動する移動体毎にその移動体の前記第2の動線認識エリア内での軌跡を示す動線データを記憶するための第2の動線データベース、前記第1の動線認識エリア内の少なくとも一部である第1の画像監視エリア内を撮影したカメラ画像データを撮影時刻とともに記憶するための第1の画像データベース、及び、前記第2の動線認識エリア内の少なくとも一部である第2の画像監視エリア内を撮影したカメラ画像データを撮影時刻とともに記憶するための第2の画像データベースの各データベースに対してアクセスが可能なコンピュータにより、前記第1の動線データベースに記憶された各移動体の動線データと前記第2の動線データベースに記憶された各移動体の動線データとのなかから、同一移動体の動線データどうしを関連付ける動線関連付け方法であって、前記コンピュータは、前記第1の動線データベースに記憶された各動線データの中から前記第1の画像監視エリア内に位置する移動体の動線データを選択する第1の動線選択段階と、この第1の動線選択段階により選択された動線データに対応する前記移動体が前記第1の画像監視エリア内に位置している期間の前記カメラ画像データを前記第1の画像データベースから取得し、その画像を表示部に表示させる第1のカメラ画像表示段階と、前記第2の動線データベースに記憶された各動線データの中から前記第2の画像監視エリア内に位置する移動体の動線データを選択する第2の動線選択段階と、この第2の動線選択段階により選択された動線データに対応する前記移動体が前記第2の画像監視エリア内に位置している期間の前記カメラ画像データを前記第2の画像データベースから取得し、その画像を前記表示部に表示させる第2のカメラ画像表示段階と、前記第1の動線選択段階により選択された動線データと前記第2の動線選択段階により選択された動線データの関連付け宣言受け付ける関連付け宣言受付段階と、前記関連付け宣言を受付けると、前記第1の動線選択段階により選択された動線データの少なくとも識別情報に対応させて、前記第2の動線選択段階により選択された動線データの少なくとも識別情報を記憶する動線関連付け段階と、を備えることを特徴とする動線関連付け方法。

請求項4

前記関連付け宣言受付段階により前記関連付け宣言を受付けたことに応じて、前記第1の動線選択段階により選択された動線データに対応する移動体が前記第1の動線認識エリアから前記第2の動線認識エリアまで移動するのに要する所要時間を、前記第1の動線選択段階により選択された動線データの終点に関する情報と前記第2の動線選択段階により選択された動線データの始点に関する情報とにより算出する所要時間演算段階、をさらに備え、前記動線関連付け段階は、前記第1の動線選択段階により選択された動線データの少なくとも識別情報に対応させて、前記第2の動線選択段階により選択された動線データの少なくとも識別情報と前記所要時間演算段階により算出された所要時間とを記憶することを特徴とする請求項3記載の動線関連付け方法。

請求項5

第1の動線認識エリア内を移動する移動体毎にその移動体の前記第1の動線認識エリア内での軌跡を示す動線データを記憶するための第1の動線データベース、前記第1の動線認識エリアとは異なる第2の動線認識エリア内を移動する移動体毎にその移動体の前記第2の動線認識エリア内での軌跡を示す動線データを記憶するための第2の動線データベース、前記第1の動線認識エリア内の少なくとも一部である第1の画像監視エリア内を撮影したカメラ画像データを撮影時刻とともに記憶するための第1の画像データベース、及び、前記第2の動線認識エリア内の少なくとも一部である第2の画像監視エリア内を撮影したカメラ画像データを撮影時刻とともに記憶するための第2の画像データベースの各データベースに対してアクセスが可能であり、前記第1の動線データベースに記憶された各動線データの中から前記第1の画像監視エリア内に位置した移動体の動線データを選択する第1の動線選択手段と、この第1の動線選択手段により選択された動線データに対応する前記移動体が前記第1の画像監視エリア内に位置する時点の前記カメラ画像データを前記第1の画像データベースから選択する第1の画像選択手段と、この第1の画像選択手段により選択されたカメラ画像データから移動体画像を抽出する第1の移動体画像抽出手段と、前記第2の動線データベースに記憶された各動線データの中から前記第2の画像監視エリア内に位置する移動体の動線データを選択する第2の動線選択手段と、この第2の動線選択手段により選択された動線データに対応する前記移動体が前記第2の画像監視エリア内に位置する時点の前記カメラ画像データを前記第2の画像データベースから選択する第2の画像選択手段と、この第2の画像選択手段により選択されたカメラ画像データから移動体画像を抽出する第2の移動体画像抽出手段と、前記第1の移動体画像抽出手段により抽出された移動体画像と前記第2の移動体画像抽出手段により抽出された移動体画像とを照合して各画像の移動体が同一か否かを判定する移動体同定手段と、この移動体同定手段により移動体が同一であると判定されると、前記第1の動線選択手段により選択された動線データの少なくとも識別情報に対応させて、前記第2の動線選択手段により選択された動線データの少なくとも識別情報を記憶する動線関連付け手段と、を備えることを特徴とする動線関連付け装置

請求項6

前記移動体同定手段により移動体が同一であると判定された移動体が前記第1の動線認識エリアから前記第2の動線認識エリアまで移動するのに要した所要時間を、前記第1の動線選択手段により選択された動線データの終点に関する情報と前記第2の動線選択手段により選択された動線データの始点に関する情報とにより算出する所要時間演算手段、をさらに備え、前記動線関連付け手段は、前記第1の動線選択手段により選択された動線データの少なくとも識別情報に対応させて、前記第2の動線選択手段により選択された動線データの少なくとも識別情報と前記所要時間演算手段により算出された所要時間とを記憶することを特徴とする請求項5記載の動線関連付け装置。

請求項7

第1の動線認識エリア内を移動する移動体毎にその移動体の前記第1の動線認識エリア内での軌跡を示す動線データを記憶するための第1の動線データベース、前記第1の動線認識エリアとは異なる第2の動線認識エリア内を移動する移動体毎にその移動体の前記第2の動線認識エリア内での軌跡を示す動線データを記憶するための第2の動線データベース、前記第1の動線認識エリア内の少なくとも一部である第1の画像監視エリア内を撮影したカメラ画像データを撮影時刻とともに記憶するための第1の画像データベース、及び、前記第2の動線認識エリア内の少なくとも一部である第2の画像監視エリア内を撮影したカメラ画像データを撮影時刻とともに記憶するための第2の画像データベースの各データベースに対してアクセスが可能であり、前記第1の動線データベースに記憶された各動線データの中から前記第1の画像監視エリア内に位置する移動体の動線データを選択する第1の動線選択手段と、この第1の動線選択手段により選択された動線データに対応する前記移動体が前記第1の画像監視エリア内に位置している期間の前記カメラ画像データを前記第1の画像データベースから取得し、その画像を表示部に表示させる第1のカメラ画像表示手段と、前記第2の動線データベースに記憶された各動線データの中から前記第2の画像監視エリア内に位置する移動体の動線データを選択する第2の動線選択手段と、この第2の動線選択手段により選択された動線データに対応する前記移動体が前記第2の画像監視エリア内に位置している期間の前記カメラ画像データを前記第2の画像データベースから取得し、その画像を前記表示部に表示させる第2のカメラ画像表示手段と、前記第1の動線選択手段により選択された動線データと前記第2の動線選択手段により選択された動線データの関連付け宣言を受け付ける関連付け宣言受付手段と、前記関連付け宣言を受付けると、前記第1の動線選択手段により選択された動線データの少なくとも識別情報に対応させて、前記第2の動線選択手段により選択された動線データの少なくとも識別情報を記憶する動線関連付け手段と、を備えることを特徴とする動線関連付け装置。

請求項8

前記関連付け宣言受付手段により前記関連付け宣言を受付けたことに応じて、前記第1の動線選択手段により選択された動線データに対応する移動体が前記第1の動線認識エリアから前記第2の動線認識エリアまで移動するのに要する所要時間を、前記第1の動線選択手段により選択された動線データの終点に関する情報と前記第2の動線選択手段により選択された動線データの始点に関する情報とにより算出する所要時間演算手段、をさらに備え、前記動線関連付け手段は、前記第1の動線選択手段により選択された動線データの少なくとも識別情報に対応させて、前記第2の動線選択手段により選択された動線データの少なくとも識別情報と前記所要時間演算手段により算出された所要時間とを記憶することを特徴とする請求項7記載の動線関連付け装置。

請求項9

第1の動線認識エリア内を移動する移動体毎にその移動体の前記第1の動線認識エリア内での軌跡を示す動線データを記憶するための第1の動線データベース、前記第1の動線認識エリアとは異なる第2の動線認識エリア内を移動する移動体毎にその移動体の前記第2の動線認識エリア内での軌跡を示す動線データを記憶するための第2の動線データベース、前記第1の動線認識エリア内の少なくとも一部である第1の画像監視エリア内を撮影したカメラ画像データを撮影時刻とともに記憶するための第1の画像データベース、及び、前記第2の動線認識エリア内の少なくとも一部である第2の画像監視エリア内を撮影したカメラ画像データを撮影時刻とともに記憶するための第2の画像データベースの各データベースに対してアクセスが可能なコンピュータに、前記第1の動線データベースに記憶された各動線データの中から前記第1の画像監視エリア内に位置した移動体の動線データを選択させる第1の動線選択機能と、この第1の動線選択機能により選択された動線データに対応する前記移動体が前記第1の画像監視エリア内に位置する時点の前記カメラ画像データを前記第1の画像データベースから選択させる第1の画像選択機能と、この第1の画像選択機能により選択されたカメラ画像データから移動体画像を抽出させる第1の移動体画像抽出機能と、前記第2の動線データベースに記憶された各動線データの中から前記第2の画像監視エリア内に位置する移動体の動線データを選択させる第2の動線選択機能と、この第2の動線選択機能により選択された動線データに対応する前記移動体が前記第2の画像監視エリア内に位置する時点の前記カメラ画像データを前記第2の画像データベースから選択させる第2の画像選択機能と、この第2の画像選択機能により選択されたカメラ画像データから移動体画像を抽出させる第2の移動体画像抽出機能と、前記第1の移動体画像抽出機能により抽出された移動体画像と前記第2の移動体画像抽出機能により抽出された移動体画像とを照合して各画像の移動体が同一か否かを判定させる移動体同定機能と、この移動体同定機能により移動体が同一であると判定されると、前記第1の動線選択機能により選択された動線データの少なくとも識別情報に対応させて、前記第2の動線選択機能により選択された動線データの少なくとも識別情報を記憶させる動線関連付け機能と、を実現させるための動線関連付けプログラム

請求項10

前記コンピュータに、前記移動体同定機能により移動体が同一であると判定された移動体が前記第1の動線認識エリアから前記第2の動線認識エリアまで移動するのに要した所要時間を、前記第1の動線選択機能により選択された動線データの終点に関する情報と前記第2の動線選択機能により選択された動線データの始点に関する情報とにより算出させる所要時間演算機能、をさらに実現させるものであり、前記動線関連付け機能は、前記第1の動線選択機能により選択された動線データの少なくとも識別情報に対応させて、前記第2の動線選択機能により選択された動線データの少なくとも識別情報と前記所要時間演算機能により算出された所要時間とを記憶させるためのものである請求項9記載の動線関連付けプログラム。

請求項11

第1の動線認識エリア内を移動する移動体毎にその移動体の前記第1の動線認識エリア内での軌跡を示す動線データを記憶するための第1の動線データベース、前記第1の動線認識エリアとは異なる第2の動線認識エリア内を移動する移動体毎にその移動体の前記第2の動線認識エリア内での軌跡を示す動線データを記憶するための第2の動線データベース、前記第1の動線認識エリア内の少なくとも一部である第1の画像監視エリア内を撮影したカメラ画像データを撮影時刻とともに記憶するための第1の画像データベース、及び、前記第2の動線認識エリア内の少なくとも一部である第2の画像監視エリア内を撮影したカメラ画像データを撮影時刻とともに記憶するための第2の画像データベースの各データベースに対してアクセスが可能なコンピュータに、前記第1の動線データベースに記憶された各動線データの中から前記第1の画像監視エリア内に位置する移動体の動線データを選択させる第1の動線選択機能と、この第1の動線選択機能により選択された動線データに対応する前記移動体が前記第1の画像監視エリア内に位置している期間の前記カメラ画像データを前記第1の画像データベースから取得し、その画像を表示部に表示させる第1のカメラ画像表示機能と、前記第2の動線データベースに記憶された各動線データの中から前記第2の画像監視エリア内に位置する移動体の動線データを選択させる第2の動線選択機能と、この第2の動線選択機能により選択された動線データに対応する前記移動体が前記第2の画像監視エリア内に位置している期間の前記カメラ画像データを前記第2の画像データベースから取得し、その画像を前記表示部に表示させる第2のカメラ画像表示機能と、前記第1の動線選択機能により選択された動線データと前記第2の動線選択機能により選択された動線データの関連付け宣言を受け付けさせる関連付け宣言受付機能と、前記関連付け宣言を受付けると、前記第1の動線選択機能により選択された動線データの少なくとも識別情報に対応させて、前記第2の動線選択機能により選択された動線データの少なくとも識別情報を記憶させる動線関連付け機能と、を実現させるための動線関連付けプログラム。

請求項12

前記コンピュータに、前記関連付け宣言受付機能により前記関連付け宣言を受付けたことに応じて、前記第1の動線選択機能により選択された動線データに対応する移動体が前記第1の動線認識エリアから前記第2の動線認識エリアまで移動するのに要する所要時間を、前記第1の動線選択機能により選択された動線データの終点に関する情報と前記第2の動線選択機能により選択された動線データの始点に関する情報とにより算出させる所要時間演算機能、をさらに実現させるものであり、前記動線関連付け機能は、前記第1の動線選択機能により選択された動線データの少なくとも識別情報に対応させて、前記第2の動線選択機能により選択された動線データの少なくとも識別情報と前記所要時間演算機能により算出された所要時間とを記憶させるためのものである請求項11記載の動線関連付けプログラム。

技術分野

0001

本発明は、例えば店舗内を移動する買物客軌跡を示す動線データの関連付けを行う技術に関する。

背景技術

0002

スーパーマーケットコンビニエンスストア等の店舗内を移動する買物客の軌跡を動線として認識する動線認識システムには、カメラを用いた画像処理方式無線タグリーダを用いた無線タグ追跡方式等がある。画像処理方式の場合、現状の画像処理技術では、各カメラで監視領域の全エリア死角なく撮影したとしても、一人の買物客の監視領域全域動きを1つの動線として追跡することはきわめて困難である。例えば、他の買物客とすれ違った際に動線が途切れたり、動線が入れ替わったりする場合が考えられる。

0003

特許文献1には、画像処理方式の動線認識システムにより生成された複数の動線データの中から同一客に対する動線データを選択し、それぞれを連結して1本の動線データを生成する動線編集システムが開示されている。

発明が解決しようとする課題

0004

ところで、動線認識に必要な情報処理コンピュータを用いて行うが、その情報処理には大きな負荷を要するため、1台のコンピュータに接続可能なカメラや無線タグリーダの台数には限りがある。このため、単一の動線認識システムで動線を認識可能な領域の広さには自ずと限界がある。そこで、広大領域全体にわたって動線を認識する場合には、領域を複数に区分し、それぞれに動線認識システムを構築することが考えられる。しかし、その場合は、システムの構築に多大な費用がかかるのみならず、その後の維持コスト莫大なものになる。

0005

店舗において、客の行動分析するのに必ずしも店舗全域にわたって客の移動経路を追跡する必要はなく、特定の複数の売場での同一客の移動経路を追跡できればよいという場合がある。そこで、隣接していない複数の動線認識エリアにそれぞれ構築された動線認識システムで認識されたシステム毎の動線の中から、同一移動体に対する動線を関連付ける技術が求められている。

0006

本発明はこのような事情に基づいてなされたもので、その目的とするところは、たとえ動線認識システムがそれぞれ構築される複数の動線認識エリアが隣接していなくても、各動線認識システムでそれぞれ認識される動線のなかから同一移動体に対する動線どうしを関連付けることができ、広域な領域の中の部分的な複数領域での動線分析を可能ならしめる動線関連付け方法及び装置並びにプログラムを提供しようとするものである。

課題を解決するための手段

0007

本発明の動線関連付け方法は、第1の動線認識エリア内を移動する移動体毎にその移動体の第1の動線認識エリア内での軌跡を示す動線データを記憶するための第1の動線データベース、第1の動線認識エリアとは異なる第2の動線認識エリア内を移動する移動体毎にその移動体の第2の動線認識エリア内での軌跡を示す動線データを記憶するための第2の動線データベース、第1の動線認識エリア内の少なくとも一部である第1の画像監視エリア内を撮影したカメラ画像データ撮影時刻とともに記憶するための第1の画像データベース、及び、第2の動線認識エリア内の少なくとも一部である第2の画像監視エリア内を撮影したカメラ画像データを撮影時刻とともに記憶するための第2の画像データベースの各データベースに対してアクセスが可能なコンピュータが、第1の動線データベースに記憶された各動線データの中から第1の画像監視エリア内に位置した移動体の動線データを選択し(第1の動線選択段階)、この選択された動線データに対応する移動体が第1の画像監視エリア内に位置する時点のカメラ画像データを前記第1の画像データベースから選択し(第1の画像選択段階)、この選択されたカメラ画像データから移動体画像を抽出するとともに(第1の移動体画像抽出段階)、第2の動線データベースに記憶された各動線データの中から第2の画像監視エリア内に位置する移動体の動線データを選択し(第2の動線選択段階)、この動線データに対応する移動体が第2の画像監視エリア内に位置する時点のカメラ画像データを第2の画像データベースから選択し(第2の画像選択段階)、この選択されたカメラ画像データから移動体画像を抽出し(第2の移動体画像抽出段階)、第1の移動体画像抽出段階により抽出された移動体画像と第2の移動体画像抽出段階により抽出された移動体画像とを照合して各画像の移動体が同一か否かを判定し(移動体同定段階)、移動体が同一であると判定されると、第1の動線選択段階により選択された動線データの少なくとも識別情報に対応させて、第2の動線選択段階により選択された動線データの少なくとも識別情報を記憶することにより(動線関連付け段階)、第1の動線データベースに記憶された各移動体の動線データと第2の動線データベースに記憶された各移動体の動線データとのなかから、同一移動体の動線データどうしを関連付けるようにしたものである。

0008

本発明の動線認識装置は、前記第1,第2の動線データベース及び第1,第2の画像データベースにアクセス可能で、第1の動線データベースに記憶された各動線データの中から第1の画像監視エリア内に位置した移動体の動線データを選択する第1の動線選択手段と、この第1の動線選択手段により選択された動線データに対応する移動体が第1の画像監視エリア内に位置する時点のカメラ画像データを第1の画像データベースから選択する第1の画像選択手段と、この第1の画像選択手段により選択されたカメラ画像データから移動体画像を抽出する第1の移動体画像抽出手段と、第2の動線データベースに記憶された各動線データの中から第2の画像監視エリア内に位置する移動体の動線データを選択する第2の動線選択手段と、この第2の動線選択手段により選択された動線データに対応する移動体が第2の画像監視エリア内に位置する時点のカメラ画像データを第2の画像データベースから選択する第2の画像選択手段と、この第2の画像選択手段により選択されたカメラ画像データから移動体画像を抽出する第2の移動体画像抽出手段と、第1の移動体画像抽出手段により抽出された移動体画像と第2の移動体画像抽出手段により抽出された移動体画像とを照合して各画像の移動体が同一か否かを判定する移動体同定手段と、この移動体同定手段により移動体が同一であると判定されると、第1の動線選択手段により選択された動線データの少なくとも識別情報に対応させて、第2の動線選択手段により選択された動線データの少なくとも識別情報を記憶する動線関連付け手段とを備えたものである。

0009

本発明の動線認識プログラムは、前記第1,第2の動線データベース及び第1,第2の画像データベースにアクセス可能なコンピュータに、第1の動線データベースに記憶された各動線データの中から第1の画像監視エリア内に位置した移動体の動線データを選択させる第1の動線選択機能と、この第1の動線選択機能により選択された動線データに対応する移動体が第1の画像監視エリア内に位置する時点のカメラ画像データを第1の画像データベースから選択させる第1の画像選択機能と、この第1の画像選択機能により選択されたカメラ画像データから移動体画像を抽出させる第1の移動体画像抽出機能と、第2の動線データベースに記憶された各動線データの中から第2の画像監視エリア内に位置する移動体の動線データを選択させる第2の動線選択機能と、この第2の動線選択機能により選択された動線データに対応する移動体が前記第2の画像監視エリア内に位置する時点のカメラ画像データを第2の画像データベースから選択させる第2の画像選択機能と、この第2の画像選択機能により選択されたカメラ画像データから移動体画像を抽出させる第2の移動体画像抽出機能と、第1の移動体画像抽出機能により抽出された移動体画像と第2の移動体画像抽出機能により抽出された移動体画像とを照合して各画像の移動体が同一か否かを判定させる移動体同定機能と、この移動体同定機能により移動体が同一であると判定されると、第1の動線選択機能により選択された動線データの少なくとも識別情報に対応させて、第2の動線選択機能により選択された動線データの少なくとも識別情報を記憶させる動線関連付け機能とを実現させるためのものである。

発明の効果

0010

かかる手段を講じた本発明によれば、たとえ動線認識システムがそれぞれ構築される複数の動線認識エリアが隣接していなくても、各動線認識システムでそれぞれ認識される動線のなかから同一移動体に対する動線どうしを関連付けることができ、広域な領域の中の部分的な複数領域での動線分析を可能ならしめる効果を奏する。

図面の簡単な説明

0011

本発明の一実施形態である動線関連付け装置と動線認識システムの要部構成を示すブロック図。
同実施形態において、画像データベースに記憶される画像データの構造を示す模式図。
同実施形態において、動線データベースに記憶される動線データの構造を示す模式図。
同実施形態が適用される店舗の説明図。
同実施形態における動線認識システムのカメラレイアウトの一例を示す模式図。
同実施形態において、動線関連付け装置が有する設定テーブルの一データ例を示す模式図。
同実施形態において、動線関連付け装置が有する関連付け動線ファイルデータ構造を示す模式図。
同実施形態において、動線関連付けプログラムが起動したときの動線連結装置の制御部が実行する主要な処理手順を示す流れ図。
図8に示す処理手順の中の動線P選択処理の具体的な手順を示す流れ図。
図8に示す処理手順の中の動線Q選択処理の具体的な手順を示す流れ図。
図8に示す処理手順の中の動線関連付け処理の具体的な手順を示す流れ図。
本発明の第2の実施形態における動線関連付け処理の具体的な手順を示す流れ図。
同第2の実施形態において、動線関連付け処理の表示部に表示される動線関連付け画面の一レイアウト例を示す模式図。

実施例

0012

以下、本発明の実施形態について、図面を用いて説明する。はじめに、第1の実施形態について、図1図11を用いて説明する。
なお、この実施形態は、図4に示すように、田の字型に区分されて互いに客が行き来できる4つの売場A,売場B,売場C及び売場Dを備えた店舗1に適用した場合である。

0013

図4に示すように、売場Aは、売場B及び売場Dと隣接し、売場Bは、売場A及び売場Cと隣接し、売場Cは、売場B及び売場Dと隣接し、売場Dは、売場C及び売場Aと隣接している。売場Aと売場C及び売場Bと売場Dは隣接していない。隣接する各売場の境界領域には、それぞれ客が行き来できるように通路が形成されている。また、売場Aと売場Bとには、客が入退場可能な入退場口G1,G2が設けられている。

0014

各売場A〜Dのうち、売場Aと売場Cとには、それぞれその売場内を移動する移動体である人物(買物客)の軌跡を動線として認識するための動線認識システムSA,SCが構築されている。すなわち、売場Aは動線認識システムSAの動線認識エリアとなっており、売場Cは動線認識システムSCの動線認識エリアとなっている。

0015

各動線認識システムSA,SCは、いずれもカメラを用いた画像処理方式である。画像処理方式の動線認識システムは、図1に示すように、複数基のカメラ2と、コンピュータを主体とした動線認識装置3A,3Cとを備える。

0016

各カメラ2は、魚眼レンズを用いたカメラや全方位ミラー付のカメラ等の広角レンズカメラである。これらのカメラ2は、視体積交差法により、それぞれ対応する売場A,C内を移動する買物客の軌跡、すなわち人物動線を追跡するために用いられる。視体積交差法は、例えば客の頭部を複数の方向から撮影し、各画像の頭部の位置から頭部の店内空間に適宜設置された3次元座標系内の座標値を算出する方法である。1つの監視領域に配置されるカメラの台数は特に制限されないが、視体積交差法による位置検出精度を高めるためには少なくとも3台は必要である。

0017

各カメラ2は、動線認識装置3A,3Cが備えるカメラコントロール部31の一元制御により一定の周期(例えば1/15秒)で撮影動作を繰り返し、その撮影画像フレーム画像)を動線認識装置3A,3Cに送信する。動線認識装置3Aは、カメラコントロール部31の他、カメラ画像データベース32A、動線生成部33及び動線データベース34Aを備えている。動線認識装置3Cは、カメラコントロール部31の他、カメラ画像データベース32C、動線生成部33及び動線データベース34Cを備えている。

0018

カメラ画像データベース32A,32Cは、各カメラ2で撮影されたフレーム画像データを順次蓄積する。カメラ画像データベース32A,32Cに蓄積されるフレーム画像データの構造を、図2の模式図で示す。図2に示すように、フレーム画像データは、カメラID、フレーム番号及び撮影時刻が関連付けられて、カメラ画像データベース32A,32Cに記憶される。カメラIDは、当該画像データを撮影したカメラ2の識別コードである。各カメラ2には、それぞれ固有のカメラIDが予め設定されている。フレーム番号は、各カメラ2でフレーム画像が撮影される毎にカウントアップされる“1”からの連続番号である。カメラコントロール部31の制御により、各カメラ2のフレーム番号は同期している。撮影日時は、当該画像データが撮影された時点の日時(年月日時分秒)である。

0019

動線生成部33は、カメラ画像データベース32A,32Cに蓄積されたフレーム画像データの画像処理により動線認識エリア(売場)内を移動する買物客を認識し、この買物客が動線認識エリアに進入した地点である始点から退出した地点である終点までの動線認識エリア内での軌跡を示す動線データを作成する。動線生成部33は、例えば前記特許文献1に記載された技術により、複数に途切れた同一買物客の動線を1本の動線に連結する機能を有している。

0020

動線データベース34A,34Cは、動線生成部33により買物客毎に生成される動線データを順次蓄積する。動線データベース34A,34Cに蓄積される動線データの構造を、図3の模式図で示す。図3に示すように、動線データは、動線IDが関連付けられて、動線データベース34A,34Cに記憶される。動線IDは、当該動線データを個々に特定するための動線特定情報である。動線生成部33は、買物客1名の動線データを生成する毎に、その動線データに固有の動線IDを付して、動線データベース34A,34Cに格納する。

0021

動線データは、始点フレーム“1”のフレーム番号、及び終点フレーム“n”(n>1の整数)のフレーム番号と、始点フレーム“1”から終点フレーム“n”までのフレーム毎のインデックスデータとから構成されている。インデックスデータは、少なくとも店内の三次元座標(X,Y,H)とフレーム撮影時刻Tとを含む。始点フレーム“1”番号は、当該動線データの買物客が最初に認識されたフレーム画像のフレーム番号であり、このフレーム画像の撮影時刻が始点フレーム“1”に対するインデックスデータのフレーム撮影時刻T1となる。終点フレーム“n”番号は、当該買物客が最後に認識されたフレーム画像のフレーム番号であり、このフレーム画像の撮影時刻が終点フレーム“n”に対するインデックスデータのフレーム撮影時刻Tnとなる。フレーム番号毎の店内座標は、対応するフレーム番号のフレーム画像から認識された当該顧客の位置を、三次元世界座標系(X,Y,H)で特定したものである。本実施形態では、図4において、左下の角をX軸及びY軸の原点O(0,0)とし、その床面をH(Height)軸の原点としている。

0022

各動線認識システムSA,SCのカメラ2は、それぞれ対応する売場A,Cの天井部等に分散して取り付けられる。本実施形態では、説明の便宜上、図5の#1〜#6に示すレイアウトで、カメラ2が売場A,C毎に各6基ずつ取り付けられているものとする。

0023

本発明に係わる動線関連付け装置4の要部構成を、図1のブロック図にて示す。動線関連付け装置4は、入力部41、表示部42、データベースアクセス部43、プログラム記憶部44、データ記憶部45、関連付け動線ファイル46及び制御部47を備えている。入力部41は、キーボードマウス等の入力デバイスからなる。表示部42は、液晶ディスプレイCRTディスプレイ等の表示デバイスからなる。タッチパネル付のディスプレイを用いることで、入力部と表示部を兼用してもよい。

0024

データベースアクセス部43は、各動線認識システムSA,SCの動線認識装置3A,3Cがそれぞれ有する動線データベース34A,34Cとカメラ画像データベース32A,32Cにアクセスし、動線データやフレーム画像データを読取ったり書き込んだりできる。

0025

プログラム記憶部44は、ROM(Read Only Memory)で構成されている。データ記憶部45は、RAM(Random Access Memory)で構成されている。関連付け動線ファイル46は、ハードディスク光磁気ディスク等の記録媒体で構成されている。制御部47は、CPU(Central Processing Unit)を主体に構成されている。かかる構成の動線関連付け装置4は、パーソナルコンピュータ等のコンピュータ機器によって実現される。

0026

プログラム記憶部44には、コンピュータに、売場A(動線認識エリア)の動線認識システムSAによって認識された動線データと、売場Cの動線認識システムSCによって認識された動線データとの中から、売場A,C間を行き来した同一買物客の動線データを選出させて関連付けさせるプログラム、いわゆる動線関連付けプログラムが実装されている。制御部47は、上記動線関連付けプログラムに従い、動線データの関連付けを行う。

0027

以下、動線データの関連付け手順について、具体的に説明する。はじめに、各動線認識システムSA,SCの動線データベース34A,34Cに記憶される動線データについて説明する。

0028

動線認識システムSAに対応した動線認識装置3Aの動線データベース34Aには、買物客が売場Aに進入した地点である始点から退出した地点である終点までの売場A内での軌跡を示す動線データが蓄積される。買物客は、入退場口G1または売場A,B間の境界領域ABの通路若しくは売場D,A間の境界領域DAの通路から売場Aに進入及び退出できる。したがって、動線データベース34Aに蓄積される動線データは、次の9種類である。

0029

1.入退場口G1から入店し、売場Aだけを回って入退場口G1から退店した買物客のデータ。

0030

2.入退場口G1から入店し、境界領域ABの通路を通って売場Bに移動した買物客のデータ。

0031

3.入退場口G1から入店し、境界領域DAの通路を通って売場Dに移動した買物客のデータ。

0032

4.売場Bより境界領域ABの通路を通って売場Aに入り、再び境界領域ABの通路を通って売場Bに戻った買物客のデータ。

0033

5.売場Bより境界領域ABの通路を通って売場Aに入り、さらに境界領域DAの通路を通って売場Dに移動した買物客のデータ。

0034

6.売場Bより境界領域ABの通路を通って売場Aに入り、入退場口G1から退店した買物客のデータ。

0035

7.売場Dより境界領域DAの通路を通って売場Aに入り、再び境界領域DAの通路を通って売場Dに戻った買物客のデータ。

0036

8.売場Dより境界領域DAの通路を通って売場Aに入り、さらに境界領域ABの通路を通って売場Bに移動した買物客のデータ。

0037

9.売場Dより境界領域DAの通路を通って売場Aに入り、入退場口G1から退店した買物客のデータ。

0038

動線認識システム2Cに対応した動線認識装置3SCの動線データベース34Cには、買物客が売場Cに進入した地点である始点から退出した地点である終点までの売場C内での軌跡を示す動線データが蓄積される。買物客は、境界領域BCの通路または境界領域CDの通路から売場Cに進入及び退出できる。したがって、動線データベース34Cに蓄積される動線データは、次の4種類である。

0039

1.売場Bより境界領域BCの通路を通って売場Cに入り、再び境界領域BCの通路を通って売場Bに戻った買物客のデータ。

0040

2.売場Bより境界領域BCの通路を通って売場Cに入り、さらに境界領域CDの通路を通って売場Dに移動した買物客のデータ。

0041

3.売場Dより境界領域CDの通路を通って売場Cに入り、再び境界領域CDの通路を通って売場Dに戻った買物客のデータ。

0042

4.売場Dより境界領域CDの通路を通って売場Cに入り、さらに境界領域BCの通路を通って売場Bに移動した買物客のデータ。

0043

ここで、買物客が売場Aと売場Cとの間を行き来するパターンとしては、境界領域ABの通路を通って売場Aから退場し、売場Bを経て境界領域BCの通路から売場Cに入場するパターンABC及びその逆のパターンCBAと、境界領域DAの通路を通って売場Aから退場し、売場Dを経て境界領域CDの通路から売場Cに入場するパターンADC及びその逆のパターンCDAの4パターンある。したがって、上記パターンABC,CBA,ADC,CDA毎に同一買物客の売場Aでの動線データと売場Cでの動線データとを関連付ければよい。

0044

そこで、動線関連付け装置4は、第1の動線データベース34Aに記憶された各動線データの中から第1の画像監視エリア内に位置した買物客の動線データを選択する(第1の動線選択段階)。そして、この選択された動線データに対応する買物客が第1の画像監視エリア内に位置する時点のカメラ画像データを第1の画像データベース32Aから選択する(第1の画像選択段階)。そして、この選択されたカメラ画像データから買物客の画像を抽出する(第1の移動体画像抽出段階)。次に、第2の動線データベース34Cに記憶された各動線データの中から第2の画像監視エリア内に位置する買物客の動線データを選択する(第2の動線選択段階)。そして、この動線データに対応する買物客が第2の画像監視エリア内に位置する時点のカメラ画像データを第2の画像データベース32Cから選択する(第2の画像選択段階)。そして、この選択されたカメラ画像データから買物客の画像を抽出する(第2の移動体画像抽出段階)。第1の移動体画像抽出段階により抽出された買物客画像と第2の移動体画像抽出段階により抽出された買物客画像とを照合して各画像の買物客が同一人物か否かを判定する(移動体同定段階)。買物客が同一人物であると判定されると、第1の動線選択段階により選択された動線データの少なくとも識別情報に対応させて、第2の動線選択段階により選択された動線データの少なくとも識別情報を記憶する(動線関連付け段階)。かくして、第1の動線データベース34Aに記憶された各買物客の動線データと第2の動線データベース34Cに記憶された各買物客の動線データとのなかから、同一買物客の動線データどうしを関連付ける。

0045

このような動線関連付け処理を実現するために、動線関連付け装置4は、図6に示すデータ構造の設定テーブル5を備えている。設定テーブル5は、制御部47が内蔵するメモリに記憶されていてもよいし、データ記憶部45に記憶されていてもよい。図6の設定テーブル5は、図5に示すカメラレイアウトに対応している。

0046

図5の場合、売場Aと売場Bとの間の矩形の境界領域ABを撮影可能なカメラ2は、動線認識システムSAの#3,#6の2台である。売場Bと売場Cとの間の矩形の境界領域BCを撮影可能なカメラ2は、動線認識システムSCの#4,#5,#6の3台である。売場Cと売場Dとの間の矩形の境界領域CDを撮影可能なカメラ2は、動線認識システムSCの#1,#4の2台である。売場Dと売場Aとの間の矩形の境界領域DAを撮影可能なカメラ2は、動線認識システムSAの#1,#2,#3の3台である。

0047

設定テーブル5には、境界領域を特定する情報(項目「境界領域」)に対応して、その領域の左上角二次元座標(項目「左上座標」)及び右下角の二次元座標(項目「右下座標」)と、その境界領域を撮影可能なカメラを有する動線認識システムの識別情報(項目「対象システム」)及びそのカメラの特定情報(項目「判定用カメラ」)とが設定されている。

0048

また、動線関連付け装置4は、関連付けた動線のデータを関連付け動線ファイル46で保存する。関連付け動線ファイル46は、図7に示すように、固有の関連付け動線ID(項目「関連付け動線ID」)に対応して、動線認識システムSAの動線を特定するための動線ID(項目「SA動線ID」)と、この動線IDに関連付けられる動線認識システムSAの動線を特定するための動線ID(項目「SA動線ID」)と、売場Aと売場Cとの間の移動に要した時間情報(項目「移動所要時間」)とを記録可能となっている。

0049

例えば入力部41の操作入力により、動線関連付け業務の開始が指令されると、動線関連付けプログラムが起動する。これにより、制御部47は、図8の流れ図に示す手順で各部を制御する。

0050

先ず、ST(ステップ)1として、制御部47は、関連付け方向を判別する。例えば入力部41の操作入力により、売場Aから売場Cに移動した買物客の動線関連付け処理が指定された場合には、ST11〜ST18の処理を実行する。売場Cから売場Aに移動した買物客の動線関連付け処理が指定された場合には、ST21〜ST28の処理を実行する。

0051

売場Aから売場Cに移動する買物客のパターンには、前記パターンABCとパターンADCとがある。そこで、先ず、パターンABCの買物客の売場Aでの動線データと売場Cでの動線データとを関連付ける処理を実行する。

0052

すなわち制御部47は、ST11として動線認識システムSAの動線データベース34Aから、境界領域ABの通路を通って売場Aから退場した客の動線データPを選択する(動線P選択処理)。また、ST12として動線認識システムSCの動線データベース34Cから、境界領域BCの通路を通って売場Cに入場した客の動線データQを選択する(動線Q選択処理)。そして、ST13として動線データPと動線データQとをそれぞれ少なくとも1データ以上選択できたか否かを判断する。選択できた場合(ST13のYES)、制御部47は、ST14として動線データPと動線データQの関連付けを行う(動線関連付け処理)。選択できなかった場合には(ST13のNO)、ST14の動線関連付け処理は行われない。

0053

次に、パターンADCの買物客の売場Aでの動線データと売場Cでの動線データとを関連付ける処理を実行する。

0054

すなわち制御部47は、ST15として動線認識システムSAの動線データベース34Aから、境界領域DAの通路を通って売場Aから退場した客の動線データPを選択する(動線P選択処理)。また、ST16として動線認識システムSCの動線データベース34Cから、境界領域CDを通って売場Cに入場した客の動線データQを選択する(動線Q選択処理)。そして、ST17として動線データPと動線データQとをそれぞれ少なくとも1データ以上選択できたか否かを判断する。選択できた場合(ST17のYES)、制御部47は、ST18として動線データPと動線データQの関連付けを行う(動線関連付け処理)。選択できなかった場合には(ST17のNO)、ST18の動線関連付け処理は行われない。以上で、動線関連付けプログラムは終了する。

0055

売場Cから売場Aに移動する買物客のパターンには、前記パターンCBAとパターンCDAとがある。そこで、先ず、パターンCBAの買物客の売場Cでの動線データと売場Aでの動線データとを関連付ける処理を実行する。

0056

すなわち制御部47は、ST21として動線認識システムSCの動線データベース34Cから、境界領域BCの通路を通って売場Cから退場した客の動線データPを選択する(動線P選択処理)。また、ST22として動線認識システムSAの動線データベース34Aから、境界領域ABの通路を通って売場Aに入場した客の動線データQを選択する(動線Q選択処理)。そして、ST23として動線データPと動線データQとをそれぞれ少なくとも1データ以上選択できたか否かを判断する。選択できた場合(ST23のYES)、制御部47は、ST24として動線データPと動線データQの関連付けを行う(動線関連付け処理)。選択できなかった場合には(ST23のNO)、ST24の動線関連付け処理は行われない。

0057

次に、パターンCDAの買物客の売場Cでの動線データと売場Aでの動線データとを関連付ける処理を実行する。

0058

すなわち制御部47は、ST25として動線認識システムSCの動線データベース34Cから、境界領域CDの通路を通って売場Cから退場した客の動線データPを選択する(動線P選択処理)。また、ST26として動線認識システムSAの動線データベース34Aから、境界領域DAを通って売場Aに入場した客の動線データQを選択する(動線Q選択処理)。そして、ST27として動線データPと動線データQとをそれぞれ少なくとも1データ以上選択できたか否かを判断する。選択できた場合(ST27のYES)、制御部47は、ST28として動線データPと動線データQの関連付けを行う(動線関連付け処理)。選択できなかった場合には(ST27のNO)、ST28の動線関連付け処理は行われない。以上で、動線関連付けプログラムは終了する。

0059

図9は、前記ST11、ST15、ST21及びST25の動線P選択処理の手順を具体的に示す流れ図である。各ステップの処理は、対象となる動線認識システムが異なるだけで手順は同一なので、図9を用いてまとめて説明する。

0060

動線P選択処理が開始されると、制御部47は、先ず、ST31としてデータ数カウンタm1を“0”にリセットする。また、ST32としてポインタpを“0”にリセットする。次に、ST33として上記ポインタpを“1”だけ増加する。そして、ST34としてポインタpが、対象となる動線認識システム(ST11,ST15では動線認識システムSA、ST21,ST25では動線認識システムSC)の動線データベース(ST11,ST15では動線データベース34A、ST21,ST25では動線データベース34C)に保存されている動線データの総数を超えたか否かを判断する。

0061

この時点では、未だ超えていないので、制御部47は、ST35として上記対象システムSAまたはSCの動線データベース34Aまたは34Cから、ポインタpが示す動線データ(以下、p番目動線データと称する)を取り込む。そして、ST36として、このp番目動線データから終点インデックス情報の二次元座標(Xn,Yn)を検出する。

0062

次に、制御部47は、ST37として設定テーブル5から比較対象となる境界領域(ST11では境界領域AB、ST15では境界領域DA、ST21では境界領域BC、ST25では境界領域CD)に対応して設定されている左上座標及び右下座標のデータを読み出す。そして、これらの座標データと、ST36の処理で検出した終点インデックス情報の二次元座標(Xn,Yn)とを照合して、当該二次元座標(Xn,Yn)によって示される位置が、比較対象となる境界領域AB,DA,BCまたはCDの内側か否かを判断する(第1の動線選択手段)。

0063

例えば、比較対象となる境界領域が領域ABの場合、左上座標は(X1,Y1)であり、右下座標は(X2,Y2)である。したがって、終点二次元座標(Xn,Yn)の“Xn”がX1≦Xn≦X2の関係にあり、かつ、“Yn”がY1≧Yn≧Y2の関係にあるとき、終点二次元座標(Xn,Yn)は境界領域ABの内側であると判定される。同様に、境界領域DAの場合は、終点二次元座標(Xn,Yn)の“Xn”がX7≦Xn≦X8の関係にあり、かつ、“Yn”がY7≧Yn≧Y8の関係にあるとき、終点二次元座標(Xn,Yn)は境界領域DAの内側であると判定され、境界領域BCの場合は、終点二次元座標(Xn,Yn)の“Xn”がX3≦Xn≦X4の関係にあり、かつ、“Yn”がY3≧Yn≧Y4の関係にあるとき、終点二次元座標(Xn,Yn)は境界領域BCの内側であると判定され、境界領域CDの場合は、終点二次元座標(Xn,Yn)の“Xn”がX5≦Xn≦X6の関係にあり、かつ、“Yn”がY5≧Yn≧Y6の関係にあるとき、終点二次元座標(Xn,Yn)は境界領域DAの内側であると判定される。

0064

終点二次元座標(Xn,Yn)によって示される位置が、比較対象となる境界領域AB,DA,BCまたはCDの内側でないと判定された場合、制御部47は、ST33の処理に戻る。そして、ポインタpをさらに“1”だけ増加させて、ST34以降の処理を再度実行する。

0065

一方、終点二次元座標(Xn,Yn)によって示される位置が、比較対象となる境界領域AB,DA,BCまたはCDの内側であると判定された場合には、制御部47は、ST38としてp番目動線データから終点フレームn番号を取得する。次いで、ST39として設定テーブル5から比較対象となる境界領域に対応して設定されている対象システムの情報と判定用カメラの情報とを取得する。そして、対象システムの画像データベース(ST11,ST15では画像データベース32A、ST21,ST25では画像データベース32C)から、上記判定用カメラにて撮影されたフレーム画像データの中で、ST38の処理で検出した終点フレームn番号が割り当てられて保存された画像データを取り込む(第1の画像選択手段)。

0066

次に、制御部47は、ST40として画像データベース32Aまたは32Cから取り込んだ終点フレームn番号のフレーム画像データを解析して、これらの画像データから人物画像を抽出する(第1の移動体画像抽出手段)。そして、人物画像を抽出できたならば、制御部47は、ST41としてp番目動線データの動線ID、及び、終点を示すフレームnインデックス情報と、抽出された人物画像のデータとを関連付けた1レコードを生成し、データ記憶部45上の第1動線メモリに記憶させる。また、ST42として前記データ数カウンタm1を“1”だけカウントアップする。しかる後、制御部47は、ST33の処理に戻る。そして、ポインタpをさらに“1”だけ増加させて、ST34以降の処理を再度実行する。

0067

こうして、ポインタpが対象となる動線認識システムの動線データベース34Aまたは34Cに保存されている動線データの総数を超えるまで、制御部47は、ポインタpを繰り上げる毎にST35〜ST42の処理を繰返し実行する。ポインタpが動線データの総数を超えると、動線P選択処理は終了する。

0068

かかる手順の動線P選択処理を実行することにより、ST11では、境界領域ABを終点とする動線データの動線ID及び終点インデックス情報と人物画像のデータとが第1動線メモリに記憶される。人物画像のデータは、この動線データの終点が境界領域ABに達した時点において、動線認識システムSAの各カメラ2のうち、#3及び#6で特定されるカメラによって撮影された画像から抽出される。ST15では、境界領域DAを終点とする動線データの動線ID及び終点インデックス情報と人物画像のデータとが第1動線メモリに記憶される。人物画像のデータは、この動線データの終点が境界領域DAに達した時点において、動線認識システムSAの各カメラ2のうち、#1,#2及び#3で特定されるカメラによって撮影された画像から抽出される。ST21では、境界領域BCを終点とする動線データの動線ID及び終点インデックス情報と人物画像のデータとが第1動線メモリに記憶される。人物画像のデータは、この動線データの終点が境界領域BCに達した時点において、動線認識システムSCの各カメラ2のうち、#4,#5及び#6で特定されるカメラによって撮影された画像から抽出される。ST25では、境界領域CDを終点とする動線データの動線ID及び終点インデックス情報と人物画像のデータとが第1動線メモリに記憶される。人物画像のデータは、この動線データの終点が境界領域CDに達した時点において、動線認識システムSCの各カメラ2のうち、#1及び#4で特定されるカメラによって撮影された画像から抽出される。

0069

図10は、前記ST12、ST16、ST22及びST26の動線Q選択処理の手順を具体的に示す流れ図である。各ステップの処理は、対象となる動線認識システムが異なるだけで手順は同一なので、図10を用いてまとめて説明する。

0070

動線Q選択処理が開始されると、制御部47は、先ず、ST51としてデータ数カウンタm2を“0”にリセットする。また、ST52としてポインタqを“0”にリセットする。次に、ST53として上記ポインタqを“1”だけ増加する。そして、ST54としてポインタqが、対象となる動線認識システム(ST12,ST16では動線認識システムSC、ST22,ST26では動線認識システムSA)の動線データベース(ST12,ST16では動線データベース34C、ST22,ST26では動線データベース34A)に保存されている動線データの総数を超えたか否かを判断する。

0071

この時点では、未だ超えていないので、制御部47は、ST55として上記対象システムSCまたはSAの動線データベース34Cまたは34Aから、ポインタqが示す動線データ(以下、q番目動線データと称する)を取り込む。そして、ST56として、このq番目動線データから始点インデックス情報の二次元座標(X1,Y1)を検出する。

0072

次に、制御部47は、ST57として設定テーブル5から比較対象となる境界領域(ST12では境界領域BC、ST16では境界領域CD、ST22では境界領域AB、ST26では境界領域DA)に対応して設定されている左上座標及び右下座標のデータを読み出す。そして前記ST36の処理と同様に、これらの座標データと、ST56の処理で検出した始点インデックス情報の二次元座標(X1,Y1)とを照合して、当該二次元座標(X1,Y1)によって示される位置が、比較対象となる境界領域BC,CD,ABまたはDAの内側か否かを判断する(第2の動線選択手段)。

0073

始点二次元座標(X1,Y1)によって示される位置が、比較対象となる境界領域BC,CD,ABまたはDAの内側でないと判定された場合、制御部47は、ST53の処理に戻る。そして、ポインタqをさらに“1”だけ増加させて、ST54以降の処理を再度実行する。

0074

一方、始点二次元座標(X1,Y1)によって示される位置が、比較対象となる境界領域BC,CD,ABまたはDAの内側であると判定された場合には、制御部47は、ST58としてq番目動線データから始点フレーム1番号を取得する。次いで、ST59として設定テーブル5から比較対象となる境界領域に対応して設定されている対象システムの情報と判定用カメラの情報とを取得する。そして、対象システムの画像データベース(ST12,ST16では画像データベース32C、ST22,ST26では画像データベース32A)から、上記判定用カメラにて撮影されたフレーム画像データの中で、ST58の処理で検出した始点フレーム1番号が割り当てられて保存された画像データを取り込む(第2の画像選択手段)。

0075

次に、制御部47は、ST60として画像データベース32Cまたは32Aから取り込んだ始点フレーム1番号のフレーム画像データを解析して、これらの画像データから人物画像を抽出する(第2の移動体画像抽出手段)。そして、人物画像を抽出できたならば、制御部47は、ST61としてq番目動線データの動線ID、及び、始点を示すフレーム1インデックス情報と、抽出された人物画像のデータとを関連付けた1レコードを生成し、データ記憶部45上の第2動線メモリに記憶させる。また、ST62として前記データ数カウンタm2を“1”だけカウントアップする。しかる後、制御部47は、ST53の処理に戻る。そして、ポインタqをさらに“1”だけ増加させて、ST54以降の処理を再度実行する。

0076

こうして、ポインタqが対象となる動線認識システムの動線データベース34Cまたは34Aに保存されている動線データの総数を超えるまで、制御部47は、ポインタqを繰り上げる毎にST55〜ST62の処理を繰返し実行する。ポインタqが動線データの総数を超えると、動線Q選択処理は終了する。

0077

かかる手順の動線Q選択処理を実行することにより、ST12では、境界領域BCを始点とする動線データの動線ID及び始点インデックス情報と人物画像のデータとが第2動線メモリに記憶される。人物画像のデータは、この動線データの始点が境界領域BCにて検知された時点において、動線認識システムSCの各カメラ2のうち、#4,#5及び#6で特定されるカメラによって撮影された画像から抽出される。ST16では、境界領域CDを始点とする動線データの動線ID及び始点インデックス情報と人物画像のデータとが第2動線メモリに記憶される。人物画像のデータは、この動線データの始点が境界領域CDで検知された時点において、動線認識システムSCの各カメラ2のうち、#1及び#4で特定されるカメラによって撮影された画像から抽出される。ST22では、境界領域ABを始点とする動線データの動線ID及び始点インデックス情報と人物画像のデータとが第2動線メモリに記憶される。人物画像のデータは、この動線データの始点が境界領域ABで検知された時点において、動線認識システムSAの各カメラ2のうち、#3及び#6で特定されるカメラによって撮影された画像から抽出される。ST26では、境界領域DAを始点とする動線データの動線ID及び始点インデックス情報と人物画像のデータとが第2動線メモリに記憶される。人物画像のデータは、この動線データの始点が境界領域DAで検知された時点において、動線認識システムSAの各カメラ2のうち、#1,#2及び#3で特定されるカメラによって撮影された画像から抽出される。

0078

図11は、前記ST14、ST18、ST24及びST28の動線関連付け処理の手順を具体的に示す流れ図である。各ステップの処理手順は同一なので、図11を用いてまとめて説明する。

0079

動線関連付け処理が開始されると、制御部47は、先ず、ST71としてポインタpを“0”にリセットする。次いで、ST72として上記ポインタpを“1”だけ増加する。そして、ST73としてポインタpがデータ数カウンタm1を超えたか否かを判断する。データ数カウンタm1は、第1動線メモリに記憶されているデータの数である。

0080

ポインタpがデータ数カウンタm1を超えていない場合(ST73のNO)、制御部47は、ST74として第1動線メモリからポインタpが示すデータ(以下、p番目データと称する)を読込む。

0081

次に、制御部47は、ST75としてポインタqを“0”にリセットする。次いで、ST76として上記ポインタqを“1”だけ増加する。そして、ST77としてポインタqがデータ数カウンタm2を超えたか否かを判断する。データ数カウンタm2は、第2動線メモリに記憶されているデータの数である。

0082

ポインタqがデータ数カウンタm2を超えていない場合(ST77のNO)、制御部47は、ST78として第2動線メモリからポインタqが示すデータ(以下、q番目データと称する)を読込む。

0083

しかる後、制御部47は、ST79としてp番目データに含まれる人物画像データとq番目データに含まれる人物画像データとから、両人物画像データで特定される人物が同一人物であるか否かを判定するための人物同定処理を実行する(移動体同定手段)。

0084

この人物同定処理の結果、同一人物でないと判定された場合には(ST80のNO)、制御部47は、ST76の処理に戻る。そして、ポインタqをさらに“1”だけ増加し(ST76)、ポインタqがデータ数カウンタm2に達していないことを確認したならば(ST77のNO)、ST78以降の処理を再度実行する。

0085

これに対し、同一人物であると判定された場合には(ST80のYES)、制御部47は、ST81として新規の関連付け動線IDを生成する。また、制御部47は、ST82としてp番目データに含まれる終点インデックス情報の終点到達時刻Tnからq番目データに含まれる始点インデックス情報の始点到達時刻T1までの経過時間を算出する。この経過時間は、対象となる売場間(ST14、ST18では売場A→売場C、ST24、ST28では売場C→売場B)の移動所要時間ΔT(ΔT=T1−Tn)である(所要時間演算手段)。

0086

そして制御部47は、ST83として上記新規関連付け動線ID、p番目データの動線ID、q番目データの動線ID及び移動所要時間ΔTの各データから1レコードを生成し、関連付け動線ファイル46に保存する(動線関連付け手段)。

0087

しかる後、制御部47は、ST84として第2動線メモリからq番目データを削除する。また、ST85としてデータ数カウンタm2を”1”だけカウントダウンする。その後、ST72の処理に戻る。
このように、関連付けられたq番目データを第2動線メモリから削除することにより、次のp+1番目データに関連付けられるq番目データの検索に要する処理手順が減少する。

0088

なお、ST77において、ポインタqがデータ数カウンタm2を越えたならぱ、制御部47は、ST78以降の処理を実行することなく、ST72の処理に戻る。

0089

こうして、ポインタpを“1”ずつ増加する毎に、制御部47は、ST74以降の処理を実行する。そして、ポインタpがデータ数カウンタm1を超えたならば(ST73のYES)、制御部47は、ST86として第1動線メモリ及び第2動線メモリをクリアする。以上で、動線関連付け処理は終了する。

0090

かかる手順の動線関連付け処理を実行することにより、人物画像データの人物が同一人物であると判定されたp番目データの動線IDによって識別される動線データと、q番目データの動線IDによって識別される動線データとが関連付けられる。すなわち、ST14では、売場Aから売場Bを通って売場Cに移動した買物客の売場Aでの動線データと売場Cでの動線データとが関連付けられる。ST18では、売場Aから売場Dを通って売場Cに移動した買物客の売場Aでの動線データと売場Cでの動線データとが関連付けられる。ST24では、売場Cから売場Bを通って売場Aに移動した買物客の売場Cでの動線データと売場Aでの動線データとが関連付けられる。ST28では、売場Cから売場Dを通って売場Aに移動した買物客の売場Cでの動線データと売場Aでの動線データとが関連付けられる。

0091

なお、図9のST40及び図10のST60において、カメラ画像データからゆがみのない人物画像を抽出する技術は、例えば特許文献2や特許文献3などに開示されている周知の技術を利用する。同様に、図11のST79において、抽出した2つの人物画像を対比(パターン認識色ヒストグラム間の類似度等)して同一人物であるか否かを判定する人物同定処理の技術は、例えば特許文献4や前記特許文献3などに開示されている周知の技術を利用する。

0092

このように本実施形態によれば、店舗の全ての売場A,B,C,Dにそれぞれ動線認識システムを構築しなくても、隣接していない売場Aと売場Cとを行き来した買物客の動線データを関連付けることができる。したがって、特定の売場を行き来する買物客の行動を分析したいという店側の要望を、低コストで実現させることができる。

0093

また、本実施形態によれば、特定の売場を行き来する買物客の売場間の移動に要した時間までも管理できる利点がある。

0094

次に、本発明の第2の実施形態について、図12図13を用いて説明する。なお、この第2の実施形態も、図4に示すレイアウトの店舗1に適用した場合であり、売場Aと売場Cとに、カメラを用いた画像処理方式の動線認識システムSA,SCを構築している。そして、第2の実施形態が第1の実施形態と異なる点は、動線関連付け処理の手順の一部のみである。したがって、図1図10についても兼用し、同一部分には同一符号を付して説明する。

0095

図12は、第2の実施形態における動線関連付け処理の手順を具体的に示す流れ図である。動線関連付け処理が開始されると、制御部47は、先ず、ST91として表示部42に動線関連付け画面6を表示させる。

0096

動線関連付け画面6の一例を、図13に示す。図示するように、動線関連付け画面6には、動線領域61、第1動線ID領域62、第1画像領域63、第2動線ID領域64、及び第2画像領域65と、「YES」ボタン66及び「NO」ボタン67の各ボタン画像とが表示されている。各ボタン画像は、入力部41によって入力操作が可能である。

0097

次に、制御部47は、ST92〜ST99として、第1の実施形態における動線関連付け処理のST71〜ST78と同一の処理を実行する。すなわち、第1動線メモリからp番目データを読み込み、第2動線メモリからq番目動線データを読み込む。

0098

しかる後、制御部47は、ST100としてp番目データに含まれる動線IDを第1動線ID領域62に表示させるとともに、人物画像データの人物画像を第1画像領域63に表示させる(第1のカメラ画像表示手段)。また、q番目データに含まれる動線IDを第2動線ID領域64に表示させるとともに、人物画像データの人物画像を第2画像領域65に表示させる(第2のカメラ画像表示手段)。さらに、両動線IDでそれぞれ識別される2本の動線を動線領域61に表示させる。そして、制御部47は、ST101として「YES」ボタン66または「NO」ボタン67のいずれか一方のボタンが操作入力されるのを待機する(関連付け宣言受付手段)。

0099

ここで、入力部41を介して「NO」ボタン67が操作入力された場合には(ST101のNO)、制御部47は、ST97の処理に戻る。そして、ポインタqをさらに“1”だけ増加し(ST98)、ポインタqがデータ数カウンタm2に達していないことを確認したならば(ST99のNO)、ST100以降の処理を再度実行する。

0100

一方、入力部41を介して「YES」ボタン66が操作入力された場合には(ST101のYES)、制御部47は、ST102〜ST106として、第1の実施形態における動線関連付け処理のST81〜ST85と同一の処理を実行する。すなわち、新規関連付け動線ID、p番目データの動線ID、q番目データの動線ID及び移動所要時間ΔTの各データから1レコードを生成し、関連付け動線ファイル46に保存する(動線関連付け手段)。

0101

こうして、ポインタpを“1”ずつ増加する毎に、制御部47は、ST95以降の処理を実行する。そして、ポインタpがデータ数カウンタm1を超えたならば(ST94のYES)、制御部47は、ST107として第1動線メモリ及び第2動線メモリをクリアする。以上で、動線関連付け処理は終了する。

0102

このような構成の第2の実施形態においては、動線関連付け画面6の第1画像領域63にp番目データの人物画像が表示され、第2画像領域65にq番目データの人物画像が表示される。そこでオペレータは、両画像領域63,65にそれぞれ表示された人物画像を見比べて、同一人物であるか否かを判断する。

0103

同一人物でない場合、オペレータは、「NO」ボタン67を操作する。そうすると、第2画像領域63の表示が、次のq番目データの人物画像に更新される。こうして、第1画像領域63に表示されている画像の人物と同一人物の画像が第2画像領域65に表示されるまで、「NO」ボタン67を繰り返し操作し、同一人物の画像が第2画像領域63に表示されたならば、オペレータは、関連付け宣言手段として「YES」ボタン66を操作する。そうすると、p番目データの動線IDとq番目データの動線IDとが関連付けられる。

0104

このような構成の第2の実施形態においても、第1の実施形態と同様に、隣接していない売場Aと売場Cとを行き来した買物客の動線データを関連付けることができる。しかも、オペレータがカメラ画像を用いて目視により同一人物であるか否かを判定しているので、より確実である。

0105

なお、この発明は前記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。

0106

例えば前記実施形態では、図8の処理において、先に動線P選択処理を実行し、次いで動線Q選択処理を実行したが、先に動線Q選択処理を実行し、次いで動線P選択処理を実行してもよい。

0107

また、前記実施形態では、画像監視エリアを各売場の境界領域としたが、売場内に大多数の客が通る通路がある場合は、その通路の領域を画像監視エリアとしてもよい。すなわち、画像監視エリアは、動線データに対応する人物の画像をカメラ画像データから抽出できる場所であればよい。

0108

また、前記実施形態では、各売場の動線認識システムSA,SCを、カメラを用いた画像処理方式を採用したが、その他の方式、たとえば無線タグ追跡方式を採用してもよい。この場合、売場Aには、境界領域ABと境界領域DA内を撮影するカメラを設置し、売場Cには、境界領域BCと境界領域CD内を撮影するカメラを設置する。そして、各カメラのフレーム画像テータを時間情報と関連付けて画像データベースで記憶する。そして、各境界領域を始点又は終点とする動線データの始点検時刻または終点到達時刻のフレーム画像データから人物画像を抽出し、人物同定処理を実行することによって、前記実施形態と同一の作用効果を奏することができる。

0109

ただし、本実施形態のように、カメラを用いた画像処理方式を採用することにより、動線認識用のカメラをそのまま動線の関連付けを判定するための画像データ取得用のカメラとして兼用できるので、システムコストを低減できる効果を奏する。

0110

また、前記実施形態では、田の字型に区分された売場の中心部で各売場が仕切られており、例えば売場Aに居る買物客は、売場Bまたは売場Dには行かれるが売場Cには行かれない店舗に本発明を適用したが、本発明を適用可能な店舗形態はこれに限定されるものではない。例えば、田の字型に区分された売場の中心部で各売場が仕切られていなくてもよい。また、例えば1階の売場を移動する客の動線データと、3階の売場を移動する客の動線データとを関連付ける場合も、前記実施形態と同様に実施することができる。さらに3つ以上の動線認識システムでそれぞれ認識された動線データを関連付けることも可能である。

0111

また、本発明は、売場毎の顧客動線を関連付ける装置に限定されるものではなく、第1の動線認識エリア内を移動する移動体(人、動物、車両等)の動線データと、この第1の動線認識エリアとは異なる第2の動線認識エリア内を移動する移動体の動線データとを関連付ける装置にも同様に適用できるものである。

0112

また、前記実施形態では、動線連結プログラムをプログラム記憶部44に予め記憶しているものとして本発明を説明したが、このプログラムは、ネットワークから動線関連付け装置4にダウンロードしても良いし、記録媒体に記憶させたものを動線関連付け装置4にインストールしてもよい。記録媒体としては、CD−ROM等プログラムを記憶でき、かつコンピュータが読み取り可能な記録媒体であれば、その形態は何れの形態であってもよい。また、このように予めインストールやダウンロードにより得る機能は、コンピュータ内部のOS(オペレーティング・システム)等と協働してその機能を実現させるものであってもよい。

0113

この他、前記実施形態に開示されている複数の構成要素の適宜な組合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を組合わせてもよい。

0114

SA,SC…動線認識システム、3A,3C…動線認識装置、4…動線関連付け装置、5…設定テーブル、6…動線関連付け画面、32SA,32SB,32SC,32SD…画像データベース、34SA,32A,32C…画像データベース、34A,34C…動線データベース、43…データベースアクセス部、44…プログラム記憶部、46…関連付け動線ファイル、47…制御部。

先行技術

0115

特開2009−009394号公報
特開2001−209795号公報
特開2009−059042号公報
特開2002−305717号公報

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ