図面 (/)

技術 画像処理装置および画像処理方法

出願人 パナソニック株式会社
発明者 中野渡祥裕
出願日 2008年8月8日 (11年4ヶ月経過) 出願番号 2008-206099
公開日 2010年2月25日 (9年9ヶ月経過) 公開番号 2010-044448
状態 特許登録済
技術分野 イメージ分析 イメージ処理・作成 画像処理 閉回路テレビジョンシステム
主要キーワード 関連性データベース 人物特定情報 透視投影行列 垂直角 相対情報 鉛直角 顔向き推定 サムネイル抽出
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2010年2月25日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (12)

課題

被捜索者関係者に関する情報を高い精度で表示すること。

解決手段

人物切り出し部101は、人物領域に対して固有IDを割り当て、顔位置の画像データを切り出す。人物特定情報抽出部102は、顔位置の画像データから特徴量を抽出する。人物追跡部103は、同一人物に同一の追跡IDを割り当て、人物特定情報(固有ID、追跡IDおよび特徴量)に顔位置の画像データを対応付け人物検索データベース104に格納する。位置情報抽出部105は、人物領域に係る人物の3次元空間上での顔位置を求める。顔向き推定部106は、顔位置の画像データの顔向き推定する。人物間相対情報抽出部107は、人物の3次元空間上での顔位置と顔向きとを用いて人物間で向かい合っているか否かを示す属性値を割り当て、各人物の固有IDおよび属性値を紐付けて人物関連性データベース108に格納する。

概要

背景

近年、監視カメラ撮影した画像データを記録する監視カメラシステムが広く普及し、記録された画像データは人物捜査等に役立てられる。監視カメラシステムに人物の顔画像検索キーとして用意することにより、ユーザは、検索キーを用いて被捜索者を設定すれば、その人物が監視対象エリア内に現れたこと、あるいは、その履歴を抽出すること等を行うことができる。

最近の監視カメラシステムは、記録可能な画像データの容量が大規模なものとなっているため、大量の画像データの中から、被捜索者およびその被捜索者に関連のある人物を特定し、これらの人物に関する必要な情報を短時間で抽出することが求められる。

人物の特定には、顔認証技術が利用される(非特許文献1参照)。特許文献1には、顔認証技術等を用いて、監視カメラに撮影された画像(以下、「撮影画像」という)の中に映っている複数の人物の中から被捜索者を捜し出す技術が開示されている。

ただし、特許文献1においては、被捜索者とその被捜索者とともに撮影画像に映っている人物(以下、「関係者」という)との関連性に関する情報を抽出することについては開示されていない。

被捜索者とその関係者との関連性については、例えば、撮影画像において当該2名が向き合っているか否かにより知ることができる。そして、当該2名が向き合っているか否かを推定するために、各人物の顔向きを推定する顔向き推定技術(非特許文献2)と人物間位置関係を検出するための距離測定技術とが用いられる。
特開2005−234765号公報
Weak Orthogonalization of Face and Perturbation,CVPR 1998, Kenji Nagao, Masaki Sohma
Real-Time Combined 2D+3D Active Appearance Models J. Xiao, S. Baker, I. Matthews, and T. Kanade Proceedings of theIEEE Conference on Computer Vision and Pattern Recognition, June, 2004

概要

被捜索者の関係者に関する情報を高い精度で表示すること。人物切り出し部101は、人物領域に対して固有IDを割り当て、顔位置の画像データを切り出す。人物特定情報抽出部102は、顔位置の画像データから特徴量を抽出する。人物追跡部103は、同一人物に同一の追跡IDを割り当て、人物特定情報(固有ID、追跡IDおよび特徴量)に顔位置の画像データを対応付け人物検索データベース104に格納する。位置情報抽出部105は、人物領域に係る人物の3次元空間上での顔位置を求める。顔向き推定部106は、顔位置の画像データの顔向きを推定する。人物間相対情報抽出部107は、人物の3次元空間上での顔位置と顔向きとを用いて人物間で向かい合っているか否かを示す属性値を割り当て、各人物の固有IDおよび属性値を紐付けて人物関連性データベース108に格納する。

目的

本発明はかかる点に鑑みてなされたものであり、被捜索者の関係者に関する情報を高い精度で表示することができる画像処理装置および画像処理方法を提供することを目的とする。

効果

実績

技術文献被引用数
0件
牽制数
2件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

人物が映っている領域である人物領域撮影画像から検出し、前記人物領域に対して固有IDを割り当て、顔位置の画像データを切り出す人物切り出し手段と、前記顔位置の画像データから第1特徴量を抽出する人物特定情報抽出手段と、各フレームの撮影画像に映っている人物が同一であるか否かを前記第1特徴量に基づいて判断し、同一人物に同一の追跡IDを割り当て、前記固有ID、前記追跡IDおよび前記第1特徴量からなる人物特定情報に前記顔位置の画像データを対応付けて第1のデータベースに格納する人物追跡手段と、前記人物領域に係る人物の3次元空間上での顔位置を求める位置情報抽出手段と、前記顔位置の画像データの顔向き推定する顔向き推定手段と、前記人物の3次元空間上での顔位置と前記顔向きとを用いて同一フレームの撮影画像に映っている人物間で互いに向かい合っているか否かを決定し、決定結果に応じて属性値を割り当て、それぞれの人物の固有IDおよび属性値を紐付けて第2のデータベースに格納する人物間相対情報抽出手段と、を具備する画像処理装置

請求項2

前記位置情報抽出手段は、3次元で表される点を画像上で観測される点に変換するための透視投影変換行列を求め、前記人物領域の最下部接地点として求め、前記透視投影変換行列を用いて前記接地点に基づいて接地面上の座標を求め、前記接地面上の座標と前記画像上の顔位置に基づいて、前記人物の顔中心の3次元高さを求め、前記接地面上の座標と前記人物の顔中心の3次元高さから3次元空間上での顔位置を抽出する、請求項1に記載の画像処理装置。

請求項3

前記人物間相対情報抽出手段は、同一フレームの撮影画像に映っている人物の中から2人を選択し、当該2人の前記接地点を結ぶ第1の直線を取得し、顔向きを判定する第1人物の顔中心と対象となる第2人物の顔中心とを通る水平な軸の第2の直線を取得し、前記第1人物の顔中心と接地点とを通る第3の直線を取得し、前記第2の直線および前記第3の直線と直交する第4の直線を取得し、前記顔向き推定手段が推定した第1人物の顔向きを、前記第2の直線、前記第3の直線および前記第4の直線に基づく座標系に変換し、前記第2の直線に対するYaw角およびPitch角に基づいて前記第1人物が前記第2人物の方を向いているか否かを推定する、請求項2に記載の画像処理装置。

請求項4

ユーザが検索したい人物である被捜索者の第2特徴量を設定する人物設定手段と、前記第1特徴量と前記第2特徴量との照合結果に基づいて、前記撮影画像に映っている人物の中から前記被捜索者を推定し、前記被捜索者の追跡IDと同一の追跡IDを持つ全ての人物特定情報を前記第1のデータベースから取得する人物推定手段と、前記人物推定手段が取得した全ての人物特定情報の固有IDと紐付けられている他方の固有IDを前記第2のデータベースの中から選択し、選択した固有IDの中からこれに対応する属性値が関連性に関する条件と一致するものを前記被捜索者の関係者の固有IDとして抽出する関係者抽出手段と、前記被捜索者の固有IDに対応する顔位置の画像データおよび前記関係者の固有IDに対応する顔位置の画像データを画面に表示させる表示手段と、を具備する請求項1に記載の画像処理装置。

請求項5

前記関係者の固有IDに対応付けられた追跡IDを有するフレーム数を前記関係者の累積時間として算出する累積時間計算手段をさらに具備し、前記表示手段は、前記関係者の累積時間を前記画面に表示させる、請求項4に記載の画像処理装置。

請求項6

人物が映っている領域である人物領域を撮影画像から検出し、前記人物領域に対して固有IDを割り当て、顔位置の画像データを切り出す人物切り出し工程と、前記顔位置の画像データから第1特徴量を抽出する人物特定情報抽出工程と、各フレームの撮影画像に映っている人物が同一であるか否かを前記第1特徴量に基づいて判断し、同一人物に同一の追跡IDを割り当て、前記固有ID、前記追跡IDおよび前記第1特徴量からなる人物特定情報に前記顔位置の画像データを対応付けて第1のデータベースに格納する人物追跡工程と、前記人物領域に係る人物の3次元空間上での顔位置を求める位置情報抽出工程と、前記顔位置の画像データの顔向きを推定する顔向き推定工程と、前記人物の3次元空間上での顔位置と前記顔向きとを用いて同一フレームの撮影画像に映っている人物間で互いに向かい合っているか否かを決定し、決定結果に応じて属性値を割り当て、それぞれの人物の固有IDおよび属性値を紐付けて第2のデータベースに格納する人物間相対情報抽出工程と、を具備する画像処理方法

請求項7

ユーザが検索したい人物である被捜索者の第2特徴量を設定する人物設定工程と、前記第1特徴量と前記第2特徴量との照合結果に基づいて、前記撮影画像に映っている人物の中から前記被捜索者を推定し、前記被捜索者の追跡IDと同一の追跡IDを持つ全ての人物特定情報を前記第1のデータベースから取得する人物推定工程と、前記人物推定工程において取得された全ての人物特定情報の固有IDと紐付けられている他方の固有IDを前記第2のデータベースの中から選択し、選択した固有IDの中からこれに対応する属性値が関連性に関する条件と一致するものを前記被捜索者の関係者の固有IDとして抽出する関係者抽出工程と、前記被捜索者の固有IDに対応する顔位置の画像データおよび前記関係者の固有IDに対応する顔位置の画像データを画面に表示させる表示工程と、を具備する請求項6に記載の画像処理方法。

技術分野

0001

本発明は、人物捜査を支援する等のために、監視カメラ撮影した画像データを処理する画像処理装置および画像処理方法に関する。

背景技術

0002

近年、監視カメラで撮影した画像データを記録する監視カメラシステムが広く普及し、記録された画像データは人物捜査等に役立てられる。監視カメラシステムに人物の顔画像検索キーとして用意することにより、ユーザは、検索キーを用いて被捜索者を設定すれば、その人物が監視対象エリア内に現れたこと、あるいは、その履歴を抽出すること等を行うことができる。

0003

最近の監視カメラシステムは、記録可能な画像データの容量が大規模なものとなっているため、大量の画像データの中から、被捜索者およびその被捜索者に関連のある人物を特定し、これらの人物に関する必要な情報を短時間で抽出することが求められる。

0004

人物の特定には、顔認証技術が利用される(非特許文献1参照)。特許文献1には、顔認証技術等を用いて、監視カメラに撮影された画像(以下、「撮影画像」という)の中に映っている複数の人物の中から被捜索者を捜し出す技術が開示されている。

0005

ただし、特許文献1においては、被捜索者とその被捜索者とともに撮影画像に映っている人物(以下、「関係者」という)との関連性に関する情報を抽出することについては開示されていない。

0006

被捜索者とその関係者との関連性については、例えば、撮影画像において当該2名が向き合っているか否かにより知ることができる。そして、当該2名が向き合っているか否かを推定するために、各人物の顔向きを推定する顔向き推定技術(非特許文献2)と人物間位置関係を検出するための距離測定技術とが用いられる。
特開2005−234765号公報
Weak Orthogonalization of Face and Perturbation,CVPR 1998, Kenji Nagao, Masaki Sohma
Real-Time Combined 2D+3D Active Appearance Models J. Xiao, S. Baker, I. Matthews, and T. Kanade Proceedings of theIEEE Conference on Computer Vision and Pattern Recognition, June, 2004

発明が解決しようとする課題

0007

しかしながら、従来の距離測定技術は、2次元的なものであるため、2次元画像上で顔が向き合っていると推定されても、実際には向き合っていない場合もあり、被捜索者の関係者に関する情報に用いるには精度が不十分である。

0008

本発明はかかる点に鑑みてなされたものであり、被捜索者の関係者に関する情報を高い精度で表示することができる画像処理装置および画像処理方法を提供することを目的とする。

課題を解決するための手段

0009

本発明の画像処理装置は、人物が映っている領域である人物領域を撮影画像から検出し、前記人物領域に対して固有IDを割り当て、顔位置の画像データを切り出す人物切り出し手段と、前記顔位置の画像データから第1特徴量を抽出する人物特定情報抽出手段と、各フレームの撮影画像に映っている人物が同一であるか否かを前記第1特徴量に基づいて判断し、同一人物に同一の追跡IDを割り当て、前記固有ID、前記追跡IDおよび前記第1特徴量からなる人物特定情報に前記顔位置の画像データを対応付けて第1のデータベースに格納する人物追跡手段と、前記人物領域に係る人物の3次元空間上での顔位置を求める位置情報抽出手段と、前記顔位置の画像データの顔向きを推定する顔向き推定手段と、前記人物の3次元空間上での顔位置と前記顔向きとを用いて同一フレームの撮影画像に映っている人物間で互いに向かい合っているか否かを決定し、決定結果に応じて属性値を割り当て、それぞれの人物の固有IDおよび属性値を紐付けて第2のデータベースに格納する人物間相対情報抽出手段と、を具備する構成を採る。

0010

本発明の画像処理方法は、人物が映っている領域である人物領域を撮影画像から検出し、前記人物領域に対して固有IDを割り当て、顔位置の画像データを切り出す人物切り出し工程と、前記顔位置の画像データから第1特徴量を抽出する人物特定情報抽出工程と、各フレームの撮影画像に映っている人物が同一であるか否かを前記第1特徴量に基づいて判断し、同一人物に同一の追跡IDを割り当て、前記固有ID、前記追跡IDおよび前記第1特徴量からなる人物特定情報に前記顔位置の画像データを対応付けて第1のデータベースに格納する人物追跡工程と、前記人物領域に係る人物の3次元空間上での顔位置を求める位置情報抽出工程と、前記顔位置の画像データの顔向きを推定する顔向き推定工程と、前記人物の3次元空間上での顔位置と前記顔向きとを用いて同一フレームの撮影画像に映っている人物間で互いに向かい合っているか否かを決定し、決定結果に応じて属性値を割り当て、それぞれの人物の固有IDおよび属性値を紐付けて第2のデータベースに格納する人物間相対情報抽出工程と、を具備する。

発明の効果

0011

本発明によれば、検索キーによって被捜索者を特定し、被捜索者の関係者に関する情報を自動的に抽出し、表示することができる。

0012

さらに、本発明によれば、被捜索者とその関係者とが向き合っているか否かを3次元的に解析することができるので、被捜索者の関係者に関する情報を高い精度で表示することができる。

発明を実施するための最良の形態

0013

以下、本発明の実施の形態について図面を参照して詳細に説明する。

0014

(実施の形態1)
図1は、本発明の実施の形態1に係る画像処理装置の構成を示すブロック図である。図1に示す画像処理装置100は、人物切り出し部101と、人物特定情報抽出部102と、人物追跡部103と、人物検索データベース104と、位置情報抽出部105と、顔向き推定部106と、人物間相対情報抽出部107と、人物関連性データベース108と、人物設定部109と、人物推定部110と、関係者抽出部111と、人物サムネイル抽出部112と、から主に構成される。

0015

人物切り出し部101は、撮影画像から人物が映っている領域(以下、「人物領域」という)を検出し、検出した人物領域に対して固有IDを割り当てる。なお、人物領域の検出は、既存の方法を用いることにより実現される。例えば、人物切り出し部101は、入力した撮影画像の過去フレームの画像データ(背景情報)と現フレームの画像データとの差分に基づいて人物領域を検出する。

0016

また、人物切り出し部101は、検出した人物領域における人物の顔位置を検出し、顔位置の画像データを切り出す。そして、人物切り出し部101は、顔位置の画像データおよび固有IDを人物特定情報抽出部102および顔向き推定部106に出力する。また、人物切り出し部101は、固有IDおよび人物領域の位置を示す情報を位置情報抽出部105に出力する。

0017

人物特定情報抽出部102は、人物切り出し部101から出力された顔位置の画像データについて顔認証用の特徴量を抽出する。なお、顔認証用の特徴量の抽出は、上記の非特許文献1に記載された方法等、既存の方法を用いることにより実現される。そして、人物特定情報抽出部102は、顔位置の画像データ、固有IDおよび特徴量を人物追跡部103に出力する。

0018

人物追跡部103は、複数フレームに渡って人物の追跡を行い、人物特定情報抽出部102で抽出された特徴量に基づいて同一人物であるか否かを判断し、同一人物に対してフレーム間で同じID(以下、「追跡ID」という)を割り当てる。なお、固有ID、追跡IDおよび特徴量を合わせて人物特定情報とする。人物追跡部103は、人物特定情報および顔位置の画像データを対応付けて人物検索データベース104に格納する。

0019

位置情報抽出部105は、撮影画像の中から、人物切り出し部101で検出された人物領域に係る人物の3次元空間上での顔位置を求める。そして、位置情報抽出部105は、各人物の3次元空間上での顔位置を示す情報を固有IDとともに人物間相対情報抽出部107に出力する。なお、位置情報抽出部105の処理の詳細については後述する。

0020

顔向き推定部106は、人物切り出し部101で検出された顔位置の画像データについて、ワールド座標系横軸x、縦軸y、奥行きz)における顔向き(法線ベクトル)を推定する。そして、顔向き推定部106は、推定した各人物の顔向きを示す情報を固有IDとともに人物間相対情報抽出部107に出力する。なお、顔が見える場合の顔向きの推定は、非特許文献2に記載された方法等、既存の方法を用いることにより実現される。また、顔向き推定部106は、顔が見えず、顔検出を行うことができない場合には、カメラ光軸に沿って、カメラとは反対方向を向いているものと推定する。

0021

人物間相対情報抽出部107は、位置情報抽出部105で決定した3次元空間上での顔位置と顔向き推定部106で推定した顔向きとを用いて同一フレームの撮影画像に映っている人物間で向かい合っているか否かを決定し、決定結果に応じて属性値を割り当てる。例えば、人物間相対情報抽出部107は、2人の人物が向かい合っていると決定した場合に属性値「0」を割り当て、2人の人物が向かい合っていないと決定した場合に属性値「1」を割り当てる。

0022

なお、顔が見えていない人物は正確な顔向きを決定することができない。そこで、人物間相対情報抽出部107は、顔が見えていない場合には、垂直角鉛直角ともに±90度までを関連付ける対象範囲とする。一方、人物間相対情報抽出部107は、顔が見えている場合には、Yaw角、Pitch角に基づいて、関連付ける対象範囲内にあるか否かを判定する。そして、人物間相対情報抽出部107は、2人の人物がそれぞれ関連付ける対象範囲内にいる場合、向き合っているものと推定する。

0023

そして、人物間相対情報抽出部107は、同一フレームの撮影画像に映っている人物間について、それぞれの人物の固有IDおよび属性値を紐付けて、人物関連性データベース108に格納する。なお、人物間相対情報抽出部107の処理の詳細については後述する。

0024

人物設定部109は、人物の顔画像を検索キーとして用意し、ユーザの検索キー操作による指示に基づいて、ユーザが検索したい人物(被捜索者)を設定し、その顔認証用の特徴量を抽出する。なお、検索キーとして用意される人物の顔画像は、人物検索データベース104に既に登録されているものであっても良く、新たに用意されたものであっても良い。そして、人物設定部109は、設定した人物の顔認証用の特徴量を人物推定部110に出力する。

0025

人物推定部110は、人物設定部109から出力された特徴量と人物検索データベース104の特徴量との照合を行い、特徴量が最も近い人物をユーザが検索したい人物として推定する。そして、人物推定部110は、推定した人物の追跡IDと同一の追跡IDを持つ全ての人物特定情報を関係者抽出部111に出力する。また、人物推定部110は、推定した人物の固有IDを人物サムネイル抽出部112に出力する。

0026

関係者抽出部111は、人物推定部110から出力された各人物特定情報の固有IDと紐付けられている他方の固有IDを人物関連性データベース108の中から選択する。そして、関係者抽出部111は、選択した固有IDの中から、これに対応する属性値が、ユーザのキー入力による関連性に関する条件と一致するものを抽出する。例えば、関係者抽出部111は、関連性の条件が「友好」である場合には、2人の人物が向き合っていることを示す属性値「0」である固有IDを抽出し、関連性の条件が「敵対」である場合には、2人の人物が向き合っていないことを示す属性値「1」である固有IDを抽出する。そして、関係者抽出部111は、抽出した固有IDを人物サムネイル抽出部112に出力する。

0027

人物サムネイル抽出部112は、人物設定部109で設定した人物の固有IDに対応付けられた顔位置の画像データを人物検索データベース104の中から抽出し、検索画面上の被捜索者の欄にサムネイル表示する。また、人物サムネイル抽出部112は、関係者抽出部111で抽出された関係者の固有IDに対応付けられた顔位置の画像データを人物検索データベース104の中から抽出し、検索画面上の関係者の欄にサムネイル表示する。なお、人物サムネイル抽出部112は、検索画面上に、ユーザのキー入力による関連性に関する条件を表示しても良い。

0028

次に、位置情報抽出部105が行う処理について数式を用いて詳細に説明する。まず、位置情報抽出部105は、あらかじめ、3次元で表される点を、画像上で観測される点に変換するための式(1)の透視投影行列Pを、カメラキャリブレーションにより算出しておく。なお、式(1)では、Pが3×4の行列である場合を示す。

0029

次に、位置情報抽出部105は、人物切り出し部101で検出された人物領域の接地点の検出を行う。具体的には、位置情報抽出部105は、画面上のy軸を鉛直上向きとし、人物領域の最下部を接地点とする。

0030

次に、位置情報抽出部105は、以下の式(2)において、画像上の接地点(u,v)およびY=0を代入し、X,Zについて解き、接地面上の座標(X,Z)を求める。これにより、位置情報抽出部105は、接地面上の3次元空間における座標を取得することができる。

0031

次に、位置情報抽出部105は、上記式(2)において、求めた接地面上の座標(X,Z)と画像上の顔位置(u,v)を代入し、Yについて解くことにより、人物の顔中心の3次元高さを求める。

0032

そして、位置情報抽出部105は、接地面上の座標(X,Z)と人物の顔中心の3次元高さYから、3次元空間上での顔位置(X,Y,Z)を抽出する。

0033

次に、人物間相対情報抽出部107が行う処理について図2を用いて詳細に説明する。

0034

まず、人物間相対情報抽出部107は、同一フレームの撮影画像に映っている人物の中から2人(図2では、人物Aおよび人物B)を選択し、当該2人の、位置情報抽出部105で検出された接地点(XA,0,ZA)、(XB,0,ZB)を結ぶ(直線201)。

0035

次に、人物間相対情報抽出部107は、顔向きを判定する人物Aの顔中心(XA,YA,ZA)と対象となる人物Bの顔中心(XB,YB,ZB)とを通る水平な軸を設定する(直線202)。

0036

次に、人物間相対情報抽出部107は、人物Aの顔中心(XA,YA,ZA)を中心とした3軸の直交な直線202,203,204を新たな座標系とし、顔向き推定時に定義したワールド座標系からこの新たな座標系への回転量を求める。なお、直線203は、(XA,YA,ZA)と(XA,0,ZA)とを通る直線である。直線204は、(XA,YA,ZA)を通り、直線202および203と直交する直線である。

0037

次に、人物間相対情報抽出部107は、顔向き推定部106で推定した人物Aの顔向き(法線ベクトル)を新たな座標系に変換し、直線202に対するYaw角、Pitch角を求める。

0038

そして、人物間相対情報抽出部107は、Yaw角、Pitch角に基づいて、人物Bの顔が、あらかじめ定義した人物Aの視野範囲内にあるか否かを判定する。人物Bの顔が人物Aの視野範囲内にあれば、人物間相対情報抽出部107は、人物Aが人物Bの方を向いていると推定する。

0039

次に、本実施の形態における、撮影画像から必要な情報を作成してデータベースに登録するまでの処理の流れについて、図3フロー図を用いて説明する。

0040

まず、ステップST301において、人物切り出し部101が、撮影画像から第i人物の顔位置の画像データを切り出す(iは自然数であり、固有IDに対応する)。

0041

次に、ステップST302において、人物特定情報抽出部102が、第i人物の顔位置の画像データについて顔認証用の特徴量を抽出する。

0042

次に、ステップST303において、人物追跡部103が、複数フレームに渡って第i人物の追跡を行い、追跡結果に基づいて追跡IDを割り当てる。

0043

次に、ステップST304において、人物追跡部103が、第i人物について、固有ID、追跡IDおよび特徴量からなる人物特定情報と、顔位置の画像データとを対応付けて人物検索データベース104に登録する。

0044

次に、ステップST305において、位置情報抽出部105が、第i人物の顔の3次元位置を抽出し、ステップST306において、顔向き推定部106が、第i人物の顔向きを推定する。なお、ステップST305とステップST306の処理は、並行して行われても良い。

0045

そして、撮影画像中にまだ切り出していない人物が存在する場合には(ステップST307:YES)、ST301からST306のステップを繰り返す。

0046

一方、撮影画像中の全ての人物を切り出した場合には(ステップST307:NO)、ステップST308において、人物間相対情報抽出部107が、NC2の人物の組み合わせについて、向かい合っているか否かを判断し、属性値k(kは「0」または「1」)を割り当てる。

0047

そして、ステップST309において、人物間相対情報抽出部107が、各組み合わせについて、第i人物の固有ID、第j人物の固有ID(jは自然数であり、i≠j、固有IDに対応する)および属性値kを対応付けて人物関連性データベース108に登録する。

0048

次に、本実施の形態における、データベースに登録された情報を使って被捜索者およびその関係者を検索して表示するまでの処理の流れについて、図4のフロー図を用いて説明する。

0049

まず、ステップST401において、ユーザが、画像処理装置100に対して、検索キー操作により検索したい人物を設定し、キー入力操作により関連性に関する条件を設定する。

0050

次に、ステップST402において、人物設定部109が、ユーザが検索したい人物の顔認証用の特徴量を抽出する。

0051

次に、ステップST403において、人物推定部110が、検索キー操作により特定された人物と特徴量が最も近い第mi人物(mは自然数であり、追跡IDに対応する、iは自然数であり、固有IDに対応する)を人物検索データベース104の中から取得する。

0052

次に、ステップST404において、関係者抽出部111が、ステップST403で取得された第mi人物と属性値kで関連する第nj人物(nは自然数であり、追跡IDに対応する、jは自然数であり、iの固有IDに紐付けられた固有IDに対応する)を人物関連性データベース108の中から取得する。

0053

次に、ステップST405において、人物サムネイル抽出部112が、第mi人物の顔位置の画像データを人物検索データベース104から抽出し、画面上の被捜索者の欄にサムネイル表示する。また、人物サムネイル抽出部112が、第nj人物の顔位置の画像データを人物検索データベース104から抽出し、画面上の関係者の欄にサムネイル表示する。

0054

次に、本実施の形態における、撮影画像、データベースに登録される情報、および、検索画面の表示画像の関係について、図5から図8を用いて具体的に説明する。

0055

図5は、画像処理装置100に入力される撮影画像の一例を示す図である。図5の例では、フレーム1およびフレーム2の2つの撮影画像が示されている。

0056

画像処理装置100は、各フレームから人物領域511、512、521、522を検出し、検出した各人物領域に対して固有ID(F1001、F1002、F2001、F2002)を割り当てる。

0057

さらに、画像処理装置100は、各人物領域の中から顔位置の画像データ(561、562、571、572)を切り出し、各顔位置の画像データについて顔認証用の特徴量を抽出する。

0058

また、画像処理装置100は、複数フレームに渡って人物の追跡を行い、人物領域毎に追跡ID(T1001、T1002、T2002)を割り当てる。なお、同一人物には、同一の追跡IDが割り当てられる。

0059

また、画像処理装置100は、各人物について、3次元空間上での顔位置を求め、顔向きを推定する。そして、画像処理装置100は、3次元空間上での顔位置と顔向きとに基づいて同一フレームの撮影画像に映っている人物間で向かい合っているか否かを決定し、決定結果に応じて属性値を割り当てる。図5の例では、フレーム1の撮影画像に映っている人物511と人物512とは向かい合っているため属性値「0」を割り当てる。同様に、フレーム2の撮影画像に映っている人物521と人物522とは向かい合っているため属性値「0」を割り当てる。

0060

そして、画像処理装置100は、図6に示すように、人物検索データベース104の中に、人物毎に、固有ID、追跡IDおよび特徴量からなる人物特定情報と、顔位置の画像データとを対応づけて登録する。

0061

また、画像処理装置100は、図7に示すように、人物関連性データベース108の中に、同一フレームの撮影画像に映っている2人の人物間毎に、各人物の固有IDと属性値とを対応づけて登録する。

0062

そして、画像処理装置100は、ユーザから被捜索者の検索を指示された場合、被捜索者およびその関係者の顔位置の画像データを人物検索データベース104の中から抽出し、図8に示すように、検索画面上の所定の欄にサムネイル表示する。なお、図8の例では、固有IDがF1001が被捜索者の場合が示されている。

0063

このように、本実施の形態によれば、検索キーによって被捜索者を特定し、被捜索者の関係者に関する情報を自動的に抽出し、表示することができる。

0064

さらに、本実施の形態によれば、被捜索者とその関係者とが向き合っているか否かを3次元的に解析することができるので、被捜索者の関係者に関する情報の精度を向上させることができる。

0065

(実施の形態2)
図9は、本発明の実施の形態2に係る画像処理装置の構成を示すブロック図である。なお、図9に示す画像処理装置900において、図1に示した画像処理装置100と共通する構成部分については、図1と共通する符号を付してその説明を省略する。

0066

図9に示す画像処理装置900は、図1に示した画像処理装置100に対して、累積時間計算部901を追加した構成を採る。また、図9に示す画像処理装置900の人物サムネイル抽出部902の処理内容が、図1に示した画像処理装置100の人物サムネイル抽出部112のものと異なる。

0067

人物推定部110は、推定した人物の固有IDを人物サムネイル抽出部902に出力する。関係者抽出部111は、抽出した固有IDを累積時間計算部901に出力する。

0068

累積時間計算部901は、関係者抽出部111で抽出された関係者の固有IDに対応付けられた追跡IDを人物検索データベース104の中から抽出し、当該追跡IDを有するフレーム数を関係者の累積時間として算出し、関係者の固有IDと累積時間を人物サムネイル抽出部902に出力する。

0069

人物サムネイル抽出部902は、人物設定部109で設定した人物の固有IDに対応付けられた顔位置の画像データを人物検索データベース104の中から抽出し、検索画面上の被捜索者の欄にサムネイル表示する。また、人物サムネイル抽出部902は、累積時間計算部901から出力された関係者の固有IDに対応付けられた顔位置の画像データを人物検索データベース104の中から抽出し、検索画面上の関係者の欄にサムネイル表示する。さらに、人物サムネイル抽出部902は、累積時間計算部901から出力された関係者の累積時間を検索画面上の累積時間の欄にサムネイル表示する。なお、人物サムネイル抽出部902は、検索画面上に、ユーザのキー入力による関連性に関する条件を表示しても良い。

0070

次に、本実施の形態における、データベースに登録された情報を使って被捜索者およびその関係者を検索して表示するまでの処理の流れについて、図10のフロー図を用いて説明する。なお、図10に示すフロー図において、図4に示したフロー図と共通するステップについては、図4と共通する符号を付してその説明を省略する。

0071

図10に示すフロー図は、ステップST401からステップST404までは、図4に示したフロー図と同一である。

0072

ステップST404の次に、ステップST1001において、累積時間計算部901が、ステップST404で取得された第nj人物が記録されている累積時間を算出する。

0073

次に、ステップST1002において、人物サムネイル抽出部902が、第mi人物の顔位置の画像データを人物検索データベース104から抽出し、画面上の被捜索者の欄にサムネイル表示する。また、人物サムネイル抽出部902が、第nj人物の顔位置の画像データを人物検索データベース104から抽出し、画面上の関係者の欄にサムネイル表示する。さらに、人物サムネイル抽出部902が、累積時間を検索画面上の累積時間の欄にサムネイル表示する。

0074

次に、本実施の形態における検索画面の表示画像について、図11を用いて具体的に説明する。なお、本実施の形態における、撮影画像およびデータベースに登録される情報は、実施の形態1と同一であるので、説明を省略する。

0075

画像処理装置900は、ユーザから被捜索者の検索を指示された場合、被捜索者およびその関係者の顔位置の画像データを人物検索データベース104の中から抽出し、図11に示すように、検索画面上の所定の欄にサムネイル表示する。さらに、画像処理装置900は、関係者が記録されている累積時間を検索画面上の所定の欄にサムネイル表示する。

0076

このように、本実施の形態によれば、被捜索者の関係者に関する情報として累積時間を自動的に計算して表示することができるので、さらに、被捜索者の関係者に関する情報の精度を向上させることができる。

0077

なお、上記各実施の形態では、人物検索データベース104に顔位置の画像データを格納する場合について説明したが、本発明はこれに限られず、人物領域全体の画像データを人物検索データベース104に格納しても良い。さらに、検索画面上に人物領域全体の画像データを表示しても良い。

0078

また、上記各実施の形態では、属性値が、2人の人物が向かい合っている場合と、2人の人物が向かい合っていない場合の2種類である例を用いて説明したが、本発明はこれに限られず、属性値を3種類以上用意することもできる。例えば、2人の人物が向かい合っている場合に属性値「0」、2人の人物のうち第i人物が第j人物の方を向いているが第j人物が第i人物の方を向いていない場合に属性値「1」、2人の人物とも相手の方を向いていない場合には属性値「2」を割り当てる、ようにしても良い。

0079

本発明は、監視カメラで撮影した画像データを処理し、所望の画像データを表示する画像処理装置に用いるに好適である。

図面の簡単な説明

0080

本発明の実施の形態1に係る画像処理装置の構成を示すブロック図
本発明の実施の形態1に係る画像処理装置の人物間相対情報抽出部が行う処理を説明する図
本発明の実施の形態1に係る画像処理装置における撮影画像から必要な情報を作成してデータベースに登録するまでの処理を示すフロー図
本発明の実施の形態1に係る画像処理装置におけるデータベースに登録された情報を使って被捜索者およびその関係者を検索して表示するまでの処理を示すフロー図
本発明の実施の形態1に係る画像処理装置に入力される撮影画像の一例を示す図
本発明の実施の形態1に係る画像処理装置の人物検索データベースに登録される情報の一例を示す図
本発明の実施の形態1に係る画像処理装置の人物関連性データベースに登録される情報の一例を示す図
本発明の実施の形態1に係る画像処理装置が表示する検索画面の一例を示す図
本発明の実施の形態2に係る画像処理装置の構成を示すブロック図
本発明の実施の形態2に係る画像処理装置におけるデータベースに登録された情報を使って被捜索者およびその関係者を検索して表示するまでの処理を示すフロー図
本発明の実施の形態2に係る画像処理装置が表示する検索画面の一例を示す図

符号の説明

0081

100、900画像処理装置
101人物切り出し部
102人物特定情報抽出部
103 人物追跡部
104人物検索データベース
105位置情報抽出部
106顔向き推定部
107人物間相対情報抽出部
108 人物関連性データベース
109 人物設定部
110人物推定部
111関係者抽出部
112、902 人物サムネイル抽出部
901累積時間計算部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ