図面 (/)

技術 情報処理装置、情報処理方法及びプログラム

出願人 キヤノン株式会社
発明者 椎山弘隆
出願日 2018年9月20日 (2年3ヶ月経過) 出願番号 2018-176302
公開日 2020年3月26日 (8ヶ月経過) 公開番号 2020-047082
状態 未査定
技術分野 閉回路テレビジョンシステム イメージ分析 画像処理
主要キーワード マイナーチェンジ プライオリティ付け 服領域 誤検索 照明色温度 色補正画像 部グループ 基準オブジェクト
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年3月26日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (10)

課題

色合わせにおける画像の色の補正にかかる手間を軽減することを目的とする。

解決手段

撮影画像の色に関する撮影条件に基づいてグループ化された2つ以上の撮像部を含む撮像部グループに属する撮像部により撮影された、色の基準となる基準オブジェクトを含む撮影画像を取得する取得手段と、前記取得手段により取得された撮影画像における前記基準オブジェクトの色に基づいて、前記撮像部グループに属する撮像部で、前記基準オブジェクトを撮影した撮像部と異なる撮像部により撮影される撮影画像の色の補正に用いられる補正情報を決定する決定手段と、を有する。

概要

背景

従来、監視領域内の複数の撮像部から取得した画像に映る人物等のオブジェクトを検出するシステムが知られている。複数の撮像部を用いてオブジェクトを撮影する際、各撮像部の周囲の環境光照明等により各撮像部により撮影された画像における同一のオブジェクトの色がそれぞれ異なるようになり、オブジェクトの検出精度の低下の原因となり得る。
特許文献1は、複数の撮像部間で、撮影される画像の色の補正に用いられる色補正パラメータを予め生成しておき、色補正してからオブジェクトの照合を行うことで、照合精度劣化を防ぐことを開示している。
特許文献2は、画像データの色空間を仮定して、画像データの中にあるオブジェクトの色を基準色空間に変換し、変換により得られたオブジェクトの色のずれを調整することで、画像データの色空間を求める方法を開示している。

概要

色合わせにおける画像の色の補正にかかる手間を軽減することを目的とする。撮影画像の色に関する撮影条件に基づいてグループ化された2つ以上の撮像部を含む撮像部グループに属する撮像部により撮影された、色の基準となる基準オブジェクトを含む撮影画像を取得する取得手段と、前記取得手段により取得された撮影画像における前記基準オブジェクトの色に基づいて、前記撮像部グループに属する撮像部で、前記基準オブジェクトを撮影した撮像部と異なる撮像部により撮影される撮影画像の色の補正に用いられる補正情報を決定する決定手段と、を有する。

目的

色合わせとは、複数の撮像装置により撮影された各画像の色を、同じオブジェクトの色が同じ色として表されるように補正することである

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

撮影画像の色に関する撮影条件に基づいてグループ化された2つ以上の撮像部を含む撮像部グループに属する撮像部により撮影された、色の基準となる基準オブジェクトを含む撮影画像を取得する取得手段と、前記取得手段により取得された撮影画像における前記基準オブジェクトの色に基づいて、前記撮像部グループに属する撮像部で、前記基準オブジェクトを撮影した撮像部と異なる撮像部により撮影される撮影画像の色の補正に用いられる補正情報を決定する決定手段と、を有する情報処理装置

請求項2

前記撮像部グループは、撮影画像の色の補正の対象となる複数の撮像部から選択された撮像部のグループであって、前記撮影画像の色の補正の対象となる複数の撮像部それぞれにより撮影された撮影画像に複数の候補オブジェクトそれぞれが含まれるか否かに基づいて、複数の候補オブジェクトの中から前記基準オブジェクトを選択する第1の選択手段をさらに有し、前記決定手段は、前記第1の選択手段により選択された前記基準オブジェクトに基づいて、前記補正情報を決定する請求項1記載の情報処理装置。

請求項3

前記撮影画像の色の補正の対象となる各撮像部により得られた撮影画像において、色と異なる特徴で予め定められた特徴を用いて、前記候補オブジェクトが含まれるか否かを判断する判断手段をさらに有し、前記第1の選択手段は、前記判断手段による判断結果に基づいて、前記基準オブジェクトを選択する請求項2記載の情報処理装置。

請求項4

複数のオブジェクトのうち、色に関する予め定められた条件を満たすオブジェクトを前記候補オブジェクトとして選択する第2の選択手段をさらに有する請求項2又は3記載の情報処理装置。

請求項5

複数のオブジェクトが有する各特徴を有するオブジェクトの前記複数のオブジェクトにおける割合に基づいて、前記複数のオブジェクトから前記候補オブジェクトを選択する第2の選択手段を更に有する請求項2又は3記載の情報処理装置。

請求項6

前記第1の選択手段は、前記撮影画像の色の補正の対象となる複数の撮像部により予め定められた期間内に異なる場所で同一のオブジェクトが撮影された場合に、撮影された前記オブジェクトを前記基準オブジェクトとして選択しないように制御する請求項2乃至5何れか1項記載の情報処理装置。

請求項7

前記決定手段は、前記撮像部グループの複数の撮像部が前記基準オブジェクトを撮影した場合、前記基準オブジェクトを撮影した複数の撮像部それぞれにより撮影された複数の画像それぞれにおける前記基準オブジェクトの色に基づいて、前記撮像部グループに属する撮像部で、前記基準オブジェクトを含む画像を撮影した撮像部と異なる撮像部により撮影される撮影画像の色の補正に用いられる情報を決定する請求項1乃至6何れか1項記載の情報処理装置。

請求項8

前記決定手段は、更に、前記基準オブジェクトを撮影した前記撮像部により撮影された前記基準オブジェクトの色に基づいて、前記基準オブジェクトを撮影した撮像部により得られた撮影画像の色の補正に用いられる補正情報を決定する請求項1乃至7何れか1項記載の情報処理装置。

請求項9

前記決定手段は、前記基準オブジェクトを撮影した撮像部に対して決定した前記補正情報に基づいて、前記撮像部グループに属する撮像部で、前記基準オブジェクトを撮影した撮像部と異なる撮像部に対する補正情報を決定する請求項8記載の情報処理装置。

請求項10

前記決定手段により決定された前記補正情報に基づいて、前記補正情報に対応する撮像部により撮影された画像の色を補正する補正手段を更に有する請求項8又は9記載の情報処理装置。

請求項11

色に関する予め定められた指標に基づいて、前記補正手段により色が補正された画像に含まれるオブジェクトと予め定められたオブジェクトとの照合を行う照合手段を更に有する請求項10記載の情報処理装置。

請求項12

前記撮影条件は、照明光色温度、撮像部の設置環境、撮像部の種別のうち少なくとも1つの撮影条件を含む請求項1乃至11何れか1項記載の情報処理装置。

請求項13

情報処理装置が実行する情報処理方法であって、撮影画像の色に関する撮影条件に基づいてグループ化された2つ以上の撮像部を含む撮像部グループに属する撮像部により撮影された、色の基準となる基準オブジェクトを含む撮影画像を取得する取得ステップと、前記取得ステップで取得された撮影画像における前記基準オブジェクトの色に基づいて、前記撮像部グループに属する撮像部で、前記基準オブジェクトを撮影した撮像部と異なる撮像部により撮影される撮影画像の色の補正に用いられる補正情報を決定する決定ステップと、を含む情報処理方法。

請求項14

コンピュータを、請求項1乃至12何れか1項記載の情報処理装置の各手段として、機能させるためのプログラム

技術分野

0001

本発明は、情報処理装置情報処理方法及びプログラムに関する。

背景技術

0002

従来、監視領域内の複数の撮像部から取得した画像に映る人物等のオブジェクトを検出するシステムが知られている。複数の撮像部を用いてオブジェクトを撮影する際、各撮像部の周囲の環境光照明等により各撮像部により撮影された画像における同一のオブジェクトの色がそれぞれ異なるようになり、オブジェクトの検出精度の低下の原因となり得る。
特許文献1は、複数の撮像部間で、撮影される画像の色の補正に用いられる色補正パラメータを予め生成しておき、色補正してからオブジェクトの照合を行うことで、照合精度劣化を防ぐことを開示している。
特許文献2は、画像データの色空間を仮定して、画像データの中にあるオブジェクトの色を基準色空間に変換し、変換により得られたオブジェクトの色のずれを調整することで、画像データの色空間を求める方法を開示している。

先行技術

0003

特開2009−55443号公報
特開2004−341762号公報

発明が解決しようとする課題

0004

例えば、特許文献1では、撮像装置1台ごとに、予めチェッカーボードを撮影させる手間がかかった。また、例えば、特許文献2では、予め照合対象となり得る全てのオブジェクトについて色空間、基準色等を用意する手間がかかった。このように、従来技術では、色合わせにおける画像の色の補正に手間がかかった。

課題を解決するための手段

0005

本発明の情報処理装置は、撮影画像の色に関する撮影条件に基づいてグループ化された2つ以上の撮像部を含む撮像部グループに属する撮像部により撮影された、色の基準となる基準オブジェクトを含む撮影画像を取得する取得手段と、前記取得手段により取得された撮影画像における前記基準オブジェクトの色に基づいて、前記撮像部グループに属する撮像部で、前記基準オブジェクトを撮影した撮像部と異なる撮像部により撮影される撮影画像の色の補正に用いられる補正情報を決定する決定手段と、を有する。

発明の効果

0006

本発明によれば、色合わせにおける画像の色の補正にかかる手間を軽減できる。

図面の簡単な説明

0007

情報処理装置のハードウェア構成等の一例を示す図である。
情報処理装置の機能構成の一例を示す図である。
撮影環境の一例を示す図である。
グループ化の一例を説明する図である。
特徴指標の一例を説明する図である。
情報処理装置の処理の一例を示すフローチャートである。
情報処理装置の処理の一例を示すフローチャートである。
カラーヒストグラムビンの一例を説明する図である。
撮影情報の一例を説明する図である。

実施例

0008

以下に、本発明の実施の形態を、図面に基づいて詳細に説明する。

0009

<実施形態1>
図1は、本実施形態の情報処理装置100のハードウェア構成等の一例を示す図である。情報処理装置100は、例えば、パーソナルコンピュータ(PC)やワークステーション(WS)等の情報処理装置である。
情報処理装置100は、CPU101、ROM102、RAM103、ストレージ装置104、入力インターフェース105、出力インターフェース106、通信インターフェース107を含む。各要素は、システムバス108を介して、相互に通信可能に接続されている。
CPU101は、情報処理装置100全体を制御するCentral Processing Unitである。ROM102は、変更を必要としないプログラムやパラメータを記憶するRead Only Memoryである。RAM103は、プログラムやデータを一時的に記憶するRandom Access Memoryである。ストレージ装置104は、情報処理装置100に固定して設置されたハードディスクメモリカード等の記憶装置である。ストレージ装置104は、情報処理装置100から着脱可能なフレキシブルディスクFD)やCompact Disk(CD)等の光ディスク磁気光カードICカード、メモリカード等を含んでもよい。

0010

入力インターフェース105は、ユーザの操作を受け、データを入力するポインティングデバイスキーボード等の入力デバイス109との接続に用いられるインターフェースである。出力インターフェース106は、情報処理装置100の記憶するデータや供給されたデータ等を表示するためのモニタ110等の出力装置との接続に用いられるインターフェースである。通信インターフェース107は、インターネット等のネットワーク回線111への接続に用いられるインターフェースである。ネットワークカメラ112は、監視カメラ等の画像を撮影する撮像装置であり、ネットワーク回線111を介して情報処理装置100に接続されている。ネットワークカメラ112は、撮像部の一例である。本実施形態では、情報処理装置100には、複数のネットワークカメラ112が接続されている。システムバス108は、情報処理装置100の各ハードウェア構成要素を通信可能に接続するための伝送路である。
CPU101が、ROM102、ストレージ装置104等に記憶されたプログラムにしたがって処理を実行することで、図2で後述する情報処理装置100の機能、図6、7で後述するフローチャートの処理等が実現される。

0011

以下、本実施形態の情報処理装置100の機能構成の一例について、図2を用いて説明する。
情報処理装置100は、オブジェクト入力部201、登録部202、条件入力部203、表示制御部204、グループ作成部205、照合部206、クエリ決定部207、オブジェクト決定部208、パラメータ決定部209、生成部210を含む。また、情報処理装置100は、適応部211、基準決定部212を含む。

0012

オブジェクト入力部201は、登録対象となるオブジェクトの画像の情報を取得する。例えば、オブジェクト入力部201は、ネットワークカメラ112から取得した画像からオブジェクトの画像を切り出すことでオブジェクトの画像を取得する。また、オブジェクト入力部201は、ネットワークカメラ112から、オブジェクトが切り出された画像を取得してもよい。また、オブジェクト入力部201は、オブジェクトの画像の情報として、オブジェクトの画像の代わりに、ネットワークカメラ112から取得した動画像におけるそのオブジェクトが出現するフレーム番号と座標情報とを取得することとしてもよい。
登録部202は、オブジェクト入力部201により取得されたオブジェクトの画像の情報(例えば、画像、フレーム番号と座標情報との組み等)を、ストレージ装置104に記憶することで、オブジェクトを登録する。登録部202は、更に、オブジェクトのメタデータとして、オブジェクトのIDや撮影時刻撮影カメラの情報を、オブジェクトの情報に対応付けて、ストレージ装置104に記憶する。
登録部202は、ネットワークカメラ112により撮影された画像から切り出されたオブジェクトを登録する。登録部202は、複数のネットワークカメラ112により別個に撮影された同じオブジェクトについては、別個のオブジェクトとして登録することとなる。

0013

条件入力部203は、照合部206による照合処理に用いられるオブジェクトの情報を取得する。以下では、照合部206による照合処理に用いられる比較元のオブジェクト、比較先のオブジェクトを、それぞれ比較元オブジェクト、比較先オブジェクトとする。例えば、条件入力部203は、登録部202により登録されたオブジェクトそれぞれの画像をモニタ110に表示する。そして、条件入力部203は、入力デバイス109に対するユーザの操作に基づいて、モニタ110に表示したオブジェクトから、比較元オブジェクト、比較先オブジェクトの指定を受付ける。
また、条件入力部203は、モニタ110に、オブジェクトが撮影された時刻やオブジェクトの特徴の属性値等の情報を指定するための画面を表示して、入力デバイス109に対するユーザの操作に基づいて、以下のようにしてもよい。即ち、条件入力部203は、これらの情報から、オブジェクトを絞り込むために用いられる条件として用いられる情報の指定を受付けてもよい。そして、条件入力部203は、受け付けた指定が示す情報に応じた条件(例えば、ある特徴の属性値がその情報が示す値となるという条件)に基づいて、以下のようにしてもよい。即ち、条件入力部203は、登録部202により登録されたオブジェクトを絞り込んで、絞り込んだオブジェクトをモニタ110に表示してもよい。そして、条件入力部203は、モニタ110に表示した絞り込んだオブジェクトから、入力デバイス109に対するユーザの操作に基づいて、比較元オブジェクトや比較先オブジェクトの指定を受付けてもよい。

0014

また、条件入力部203は、ストレージ装置104に予め記憶された画像データが示すオブジェクトを、比較元オブジェクトとして受け付けてもよい。本実施形態における照合に用いられるオブジェクトの指定方法は、これらに限定されるものではない。
条件入力部203は、例えば、比較元オブジェクトと比較先オブジェクトとについて、それぞれ1つずつオブジェクトの指定を受付けてもよい。また、条件入力部203は、比較元オブジェクトとして、1つのオブジェクトの指定を受付け、比較先オブジェクトとして、複数のオブジェクトの指定を受付けてもよい。また、条件入力部203は、比較元オブジェクトとして、1つのオブジェクトの指定を受付け、比較先オブジェクトとして、登録部202により登録されたオブジェクト全てが指定されたこととしてもよい。本実施形態における照合に用いられるオブジェクトの数は、これらに限定されるものではない。

0015

表示制御部204は、条件入力部203により受付けられた比較元オブジェクトと比較先オブジェクトとに対する照合部206による照合処理の結果を表示する。照合部206は、比較元オブジェクトと比較先オブジェクトとの照合処理によって、比較元オブジェクトと比較先オブジェクトとがどの程度類似しているかを示す指標である類似度を決定する。表示制御部204は、この類似度を用いて照合結果を表示する。例えば、比較元オブジェクトと比較先オブジェクトとが1つずつであれば、そのオブジェクト間の類似度をモニタ110に表示する。
また、比較元オブジェクトが1つで、比較先オブジェクトが複数であれば、表示制御部204は、比較先オブジェクトをそれぞれについて決定された類似度に応じた順(例えば、類似度の降順昇順等)にモニタ110に表示する。また、表示制御部204は、比較元オブジェクトとの類似度が予め定められた閾値以上となる比較先オブジェクトを、比較先オブジェクトを撮影したネットワークカメラ112ごとに分類して撮影時刻順にモニタ110に表示するようにしてもよい。本実施形態における照合処理の結果の表示方法はこれらに限定されるものではない。

0016

グループ作成部205は、ネットワークカメラ112それぞれの撮影条件を取得する。そして、グループ作成部205は、取得した撮影条件の類似性に基づいて、対応する色補正パラメータが同一であると仮定できるネットワークカメラ112をグループ化する。以下では、グループ作成部205によりグループ化されたネットワークカメラ112のグループを、撮像部グループと称する。ここで、色補正パラメータとは、ネットワークカメラ112により撮影された画像(撮影画像)の色の補正に用いられるパラメータである。複数のネットワークカメラ112それぞれの撮影条件の違いに起因し、同じオブジェクトでも異なる色で撮影される場合がある。これを補正するのが色補正パラメータである。色補正パラメータは、ネットワークカメラ112により撮影された画像の色の補正に用いられる補正情報の一例である。
また、撮影条件は、ネットワークカメラ112により撮影された画像の色に影響を与えるような条件である。撮影条件には、例えば、照明光色温度設置状況や撮像装置の種別等がある。図3は、撮影条件の一例を示す図である。撮影条件には、カメラ型番(カメラの種別)、設置状況における照明色温度、照明高さ及び外光の有無がある。カメラ型番(カメラの種別)、設置状況における照明色温度、照明高さ及び外光の有無は、撮影される画像(撮影画像)の色に関する撮影条件の一例である。

0017

カメラ型番の情報は、ネットワークカメラ112それぞれの種別を示す情報である。カメラの種別が異なれば色特性も異なるため、カメラ型番は、撮影画像の色に関する特性を示す情報と言うことができる。照明色温度とは、ネットワークカメラ112に光を照射する光源である照明の色温度の特性を表すケルビン値である。外光の有無は、ネットワークカメラ112の周辺の環境に照射される光の色温度の特性が照明だけに依存するか否かを示す情報である。照明高さは、予め定められた基準(例えば、地面等)から高さ方向のどの位置に照明が存在するかを示す情報である。このように、カメラ型番、照明色温度、照明高さ及びが移行の有無は、いずれも、明るさに影響を与える指標となる情報である。すなわち、カメラ型番、照明色温度、照明高さ及びが移行の有無は、撮影画像の色に関する特性を示す撮影条件の一例である。
なお、グループ作成部205が参照する撮影条件としての具体的な情報は実施形態に限定されるものではない。グループ作成部205は、撮影条件として、例えば、カメラ型番(カメラの種別)、設置状況における照明色温度、照明高さ及び外光の有無のうちの一部を用いてもよい。また、グループ作成部205は、カメラ型番(カメラの種別)の代わりに、カメラの色特性情報を用いてもよい。

0018

グループ作成部205は、例えば、ネットワークカメラ112それぞれについて、入力デバイス109を介して、光源の製品スペックから特定されたり、光源の周囲で実際に測定されたりして求められた光源の照明温度の入力を受付ける。
グループ作成部205は、撮影条件として、カメラ型番、照明色温度、照明高さ及びが移行の有無を取得する。カメラ型番については、グループ作成部205は、各ネットワークカメラ112から取得する。なお、他の例としては、グループ作成部205は、入力デバイス109を介したユーザによる操作に基づいて、カメラ型番を取得してもよい。また、他の例としては、ストレージ装置104が、予め各ネットワークカメラ112のカメラ型番を記憶しているものとしてもよい。この場合、グループ作成部205は、ストレージ装置104からカメラ型番を取得してもよい。
また、照明色温度については、グループ作成部205は、入力デバイス109を介したユーザ操作に基づいて取得してもよい。なお、ユーザは、光源の製品スペックから特定した照明色温度を入力してもよく、光源の周囲で実際に測定された照明温度を取得入力してもよい。なお、他の例としては、グループ作成部205は、例えば、ネットワークカメラ112から照明色温度を取得してもよい。ネットワークカメラ112は、照度センサを有し、照明色温度を照度センサにより測定するものとする。また、他の例としては、ストレージ装置104は各ネットワークカメラ112の照明色温度の情報を記憶しているものとしてもよい。オブジェクトの場合、グループ作成部205は、ストレージ装置104から照明色温度を取得してもよい。

0019

外光の有無については、グループ作成部205は、入力デバイス109を介して取得する。ユーザは建物設計図から特定された外光の有無等の情報の入力を受付ける。ユーザは、例えば、建物図面が無い場合、又は建物図面だけでは判断が付かない場合には、人がカメラ設置場所に足を運び判断した結果を、入力デバイス109を介して、外光の有無の情報として入力してもよい。また、グループ作成部205は、予めストレージ装置104に記憶されたネットワークカメラ112それぞれについての外光の有無の情報を取得することとしてもよい。
グループ作成部205は、例えば、入力デバイス109を介して、建物の設計図から特定された照明の高さや測定された照明の高さ等の情報の入力を、照明高さの情報の入力として受付ける。また、グループ作成部205は、予めストレージ装置104に記憶されたネットワークカメラ112それぞれについての照明高さの情報を取得することとしてもよい。

0020

本実施形態のグループ作成部205は、カメラ型番、照明色温度、外光の有無、照明高さの撮影条件の全てが一致するカメラを、補正パラメータが同一であるグループとしてグループ化する。例えば、図4に示すように、監視領域に設置されているカメラA〜Hが処理対象となっているとする。この場合には、グループ作成部205は、カメラ型番、照明色温度、外交の有無、照明高さ、のすべてが一致するカメラC、D、Eを、グループ化する。
なお、他の例として、グループ作成部205は、ネットワークカメラ112のうち、これらの撮影条件それぞれについて、予め定められた条件を満たす複数のネットワークカメラ112を、互いに類似するネットワークカメラ112として特定してもよい。そして、グループ作成部205は、特定した複数のネットワークカメラ112を、1つの撮像部グループとしてグループ化することとしてもよい。

0021

例えば、型番が異なるカメラであっても、マイナーチェンジしたモデルや、光学部品画像処理回路等が同一のモデルに関しては、色特性が同一であり、撮影画像の色に関しては等価と扱うことができる場合がある。このような場合、グループ作成部205は、カメラ型番について、等価に扱うことができる撮像装置のカメラ型番として予め定められた複数のカメラ型番の情報を、ストレージ装置104等から取得する。そして、グループ作成部205は、取得した情報が示すカメラ型番を、等価に扱うことができるカメラ型番とする。
グループ作成部205は、外光の有無の条件について、一致する複数のネットワークカメラ112をグループ化することが望ましい。

0022

また、グループ作成部205は、例えば、ネットワークカメラ112のうち、これらの撮影条件のうちの一部の値が一致する複数のネットワークカメラ112を特定することとしてもよい。そして、グループ作成部205は、特定した複数のネットワークカメラ112を、1つのグループとしてグループ化してもよい。
また、グループ作成部205は、例えば、これらの撮影条件のうちの一部の値が予め定められた条件を満たす複数のネットワークカメラ112を特定することとしてもよい。そして、グループ作成部205は、特定した複数のネットワークカメラ112を、1つの撮像部グループとしてグループ化してもよい。

0023

グループ作成部205は、入力デバイス109を介したユーザの操作に基づいて、どのネットワークカメラ112を撮像部グループとしてグループ化するかの指定を受付けることとしてもよい。その場合、ユーザは、例えば、ネットワークカメラ112の撮影条件を確認し、グループとしてまとめられるネットワークカメラ112をどれにするかを判断する。
このように、グループ作成部205は、予め定められた撮影条件に基づいて撮像部グループを作成したり、撮像部グループとしてグループ化するネットワークカメラ112の指定を受付けたりすることで、撮像部グループを特定する。

0024

照合部206は、オブジェクト同士の照合を行う。例えば、照合部206は、オブジェクト同士の特徴を比較することで照合する。本実施形態では、照合部206は、照合対象のオブジェクトが人物であるため、オブジェクトの特徴を示す指標としては図5に示すような指標を用いる。以下では、オブジェクトの特徴を示す指標を、特徴指標とする。特徴指標には、オブジェクトの画像から抽出された特徴量、オブジェクトの属性等がある。
図5の例では、オブジェクトの画像から抽出された特徴量は、SIFT(Scale Invariant Feature Transform)、色の情報である。また、図5の例では、オブジェクトの属性は、年齢性別メガネの有無、口ひげの有無、あごひげの有無、人種である。照合部206は、オブジェクトの照合に、図5に示される指標以外の指標を用いてもよい。図5に示される指標以外の指標には、例えば、オブジェクトの画像から抽出されるHistogram of Gradient(HOG)特徴量や、オブジェクトの属性である身長等がある。
照合部206は、比較元オブジェクトと比較先オブジェクトとの特徴指標に基づいて、比較元オブジェクトと比較先オブジェクトとを照合する。

0025

照合部206による照合処理について説明する。照合部206は、色への依存度微小であり、色と異なる特徴を示す特徴量であるSIFT(Scale Invariant Feature Transform)を用いて、オブジェクト同士を照合することができる。SIFTは、輝度画像から得られる特徴量であるため、色への依存度が微小であり、色と異なる特徴を示す特徴量となる。
照合部206は、例えば、SIFTを用いて、以下のようにして、比較元オブジェクトと比較先オブジェクトとを照合する。即ち、照合部206は、比較元オブジェクトの画像と比較先オブジェクトの画像とのそれぞれから、人物の顔領域を検出し、検出した領域内の目・口等の器官点を求める。照合部206は、求めた各点におけるSIFTを求める。そして、照合部206は、比較元オブジェクトの画像と比較先オブジェクトの画像とから求められた同じ器官点のSIFT同士の類似度を求める。そして、照合部206は、全ての器官点について求めた類似度を合計し、合計した値を取得する。また、照合部206は、求めた類似度のうち、予め定められた閾値以上の類似度に対応する器官点の数を取得してもよい。

0026

特徴指標であるオブジェクトの色(肌の色、髪の色、服の色等)は、例えば、オブジェクトの画像から顔検出で得られた顔領域に対する予め定められた部分領域の色ヒストグラム等で表される。例えば、服の色は、顔検出で得られた顔領域の下方に定められた胴体に対応する領域の色ヒストグラム等で表される。照合部206は、例えば、比較元オブジェクトと比較先オブジェクトとの色を示す色ヒストグラム同士の類似度を取得することができる。照合部206は、ヒストグラム同士の類似度として、例えば、ヒストグラムの要素を並べたベクトル同士の内積を用いることができる。
年齢、性別、メガネ有無、口ひげ有無、あごひげ有無のオブジェクトの属性は、例えば、機械学習等の技術を用いて予め作成された分類器を用いて取得される。年齢、性別、メガネの有無、口ひげの有無、あごひげの有無それぞれは、色への依存度が微小であり、色と異なる特徴を示す特徴指標の一例である。この分類器は、例えば、顔画像が入力されると各種の属性が推定されるよう学習された分類器である。照合部206は、例えば、比較元オブジェクトと比較先オブジェクトとについて、各種属性それぞれの尤度を並べた属性ベクトルを作成する。そして、照合部206は、作成した属性ベクトル同士の類似度を取得することができる。照合部206は、ベクトル同士の類似度として、例えば、ベクトル同士の内積を用いることができる。
照合部206は、SIFT特徴・オブジェクトの色・オブジェクトの属性等から取得した類似度を用いてオブジェクト同士を照合する。照合部206は、SIFT特徴・オブジェクトの色・オブジェクトの属性等のうちの一部の特徴指標についての類似度を取得してもよい。また、照合部206は、例えば、複数の特徴指標それぞれを用いて求めた複数の類似度について、重みを付けて和を求めて、求めたこの和を、照合対象のオブジェクト同士の類似度としてもよい。情報処理装置100は、例えば、この類似度に基づいて、照合対象のオブジェクト同士が同一のオブジェクトか否かを判断することができる。

0027

照合部206は、ネットワークカメラ112の色合わせに用いられる色補正パラメータの決定に用いられる基準オブジェクトを検索する場合、検索にかかるオブジェクト同士の照合処理において、色への依存度が微小な特徴指標を用いることが望ましい。基準オブジェクトとは、色の基準となるオブジェクトである。色合わせとは、複数の撮像装置により撮影された各画像の色を、同じオブジェクトの色が同じ色として表されるように補正することである。そのため、本実施形態では、照合部206は、図5に示す輝度画像から抽出された特徴と属性とを主に用いる。これによって、ネットワークカメラ112間で撮影画像の色が合っていいない場合でも、照合部206は、複数のネットワークカメラ112により撮影される同じオブジェクトを、より精度よく照合できる。
一方、ネットワークカメラ112間で色合わせが行われた後では、オブジェクト同士の照合処理を行う場合、照合部206は、オブジェクトの全ての属性特徴を用いて照合を行うことが望ましい。そのため、本実施形態では、図5に示す全ての特徴を主に用いる。これによって、照合部206は、ネットワークカメラ112間で色合わせが行われた後では、色に依存する特徴指標も用いることで、これらの特徴指標を用いない場合に比べてオブジェクトの照合精度が劣化することを防ぐことができる。

0028

ストレージ装置104は、予め、照合部206により用いられる照合対象となり得るオブジェクトそれぞれの特徴指標を記憶していることとしてもよい。また、照合部206は、例えば、予め、照合対象となり得るオブジェクトそれぞれの特徴指標を決定し、ストレージ装置104に記憶しておくこととしてもよい。例えば、照合部206は、オブジェクト入力部201により色合わせ前のネットワークカメラ112により撮影された画像から取得されたオブジェクトについて、色への依存度の微細な特徴指標を求めて、求めた特徴指標をストレージ装置104に記憶する。また、照合部206は、色合わせ後のネットワークカメラ112により撮影された画像から取得されたオブジェクトについて、色に依存する特徴指標を求めて、求めた特徴指標をストレージ装置104に記憶してもよい。

0029

クエリ決定部207は、ネットワークカメラ112の色補正パラメータの決定に用いられる基準オブジェクトを検索するためのクエリを決定する。クエリとは、基準オブジェクトの候補となるオブジェクトである。クエリは、候補オブジェクトの一例である。例えば、クエリ決定部207は、登録部202により登録されたオブジェクトから、複数のオブジェクトをクエリとして選択して、クエリリストを作成する。
クエリ決定部207の処理の概要を説明する。

0030

オブジェクト決定部208は、ネットワークカメラ112の色合わせに用いられる基準オブジェクトを決定する。例えば、オブジェクト決定部208は、照合部206によるクエリリストの各クエリと登録部202により登録された各オブジェクトとの照合処理の結果に基づいて、クエリリストから基準オブジェクトを選択する。
例えば、照合部206は、クエリリストの各クエリについて、以下の処理を行う。即ち、照合部206は、クエリと登録部202により登録された各オブジェクトとの類似度を、取得する。そして、照合部206は、そのクエリとの類似度が予め定められた閾値以上であるオブジェクトを、そのクエリのオブジェクトであると判断する。照合部206は、登録部202により登録されたそのオブジェクトの情報に基づいて、そのオブジェクトを撮影したネットワークカメラ112を特定する。そして、照合部206は、そのオブジェクトを撮影したネットワークカメラ112を、そのクエリを撮影したカメラであると判断する。
そして、照合部206は、この判断結果から、クエリリストに含まれる各クエリがどのネットワークカメラ112により撮影されたのかを示す情報を取得する。以下では、クエリリストに含まれる各クエリがどのネットワークカメラ112により撮影されたのかを示す情報を、撮影情報とする。
そして、オブジェクト決定部208は、例えば、照合部206により取得された撮影情報に基づいて、クエリリストのクエリから基準オブジェクトを選択する。本実施形態では、オブジェクト決定部208は、基準オブジェクトを1つ選択することとするが、複数選択してもよい。

0031

適応部211は、撮像部グループにクエリを撮影したネットワークカメラ112が存在する場合、照合部206により取得された撮影情報を以下のように修正する。即ち、適応部211は、各クエリを実際には撮影していない撮像部グループの撮像部について、各クエリを撮影したものとみなして撮影情報を修正する。
以下では、撮像部グループのクエリを撮影していない撮像部についても、クエリを撮影したこととするように撮影情報を修正する処理を、拡張処理とする。即ち、拡張処理により、撮像部グループに含まれるクエリを撮影した撮像部の数が、撮像部グループに含まれる撮像部の総数拡張されることとなる。

0032

基準オブジェクトは、全てのネットワークカメラ112により撮影されることが望ましい。この場合、情報処理装置100は、全てのネットワークカメラ112それぞれについて、撮影された画像中の基準オブジェクトの色に基づいて、色補正パラメータを決定できる。
しかし、全てのネットワークカメラ112により撮影されるクエリが存在しない場合、情報処理装置100は、全てのネットワークカメラ112により撮影される基準オブジェクトを決定できない。このような場合、情報処理装置100は、より多くのネットワークカメラ112により撮影されたクエリを基準オブジェクトとして選択することが望ましい。より多くのネットワークカメラ112について、色補正パラメータを決定することが可能となるためである。

0033

また、例えば、照合部206により取得された撮影情報が、短期間の間に、予め定められた距離以上離れた異なる撮影範囲を撮影する複数のネットワークカメラ112それぞれにより同一のクエリが撮影されたことを示す場合、以下のことが想定される。即ち、そのクエリを比較元オブジェクトとした照合処理に誤りがあったことが想定される。
そこで、撮影情報が、予め定められた期間内に同一のクエリが異なる領域を撮影する複数のネットワークカメラ112により撮影されたことを示す場合、オブジェクト決定部208は、以下のようにしてもよい。即ち、オブジェクト決定部208は、そのクエリを、基準オブジェクトの候補から除外することとしてもよい。これにより、オブジェクト決定部208は、不適切な色補正パラメータが求められる可能性を低減できる。

0034

パラメータ決定部209は、各ネットワークカメラ112の色補正パラメータを決定する。パラメータ決定部209は、撮影部グループに含まれるネットワークカメラ112については、以下の処理を行う。すなわち、パラメータ決定部209は、撮影部グループに属する少なくとも1つのネットワークカメラ112により撮影された、基準オブジェクトの画像に基づいて、撮影部グループのネットワークカメラ112の色補正パラメータを決定する。
例えば、パラメータ決定部209は、各ネットワークカメラ112により撮影された画像における基準オブジェクトの色が同じ色となるように、各ネットワークカメラ112について色補正パラメータを決定する。例えば、パラメータ決定部209は、基準オブジェクトが人物の場合、人物である基準オブジェクトの顔領域の肌領域を用いて、色補正パラメータを決定する。また、パラメータ決定部209は、基準オブジェクトの服領域を用いて、色補正パラメータを決定してもよい。また、パラメータ決定部209は、基準オブジェクトの他の領域を用いて、色補正パラメータを決定してもよい。また、パラメータ決定部209は、基準オブジェクトの複数の領域を用いて、色補正パラメータを決定してもよい。
以下では、撮像部グループに含まれる撮像部のうち、基準オブジェクトを撮影したカメラを、撮影済カメラとする。撮影済カメラは、第1の撮像部の一例である。また、撮像部グループに含まれる撮像部のうち、基準オブジェクトを撮影していないカメラを、未撮影カメラとする。未撮影カメラは、第2の撮像部の一例である。

0035

例えば、パラメータ決定部209は、撮影済カメラにより撮影された画像における基準オブジェクトの色に基づいて、この撮影済カメラの色補正パラメータを決定する。そして、パラメータ決定部209は、例えば、未撮影カメラについての色補正パラメータを、決定した色補正パラメータと同じパラメータにする。
また、パラメータ決定部209は、撮影済カメラにより撮影された画像における基準オブジェクトの色に基づいて、他の撮影済カメラについても、色補正パラメータを決定することとしてもよい。ここで、他の撮影済カメラは、第2の撮像部の一例である。例えば、パラメータ決定部209は、ある撮影済カメラにより撮影された画像における基準オブジェクトの色に基づいて、その撮影済カメラの色補正パラメータを決定し、決定した色補正パラメータを、他の撮影済カメラの色補正パラメータとして決定してもよい。撮像部グループに含まれる各カメラは、色補正パラメータが共通すると仮定される。そのため、パラメータ決定部209は、このような処理により、全ての撮影済カメラそれぞれについて、色補正パラメータを決定する処理の負担を軽減できる。

0036

色補正パラメータを決定する方法には、例えば、以下の参考文献1に開示される方法がある。即ち、オブジェクト内の複数の対応点を求めて、その対応点同士の色の異なりから、ルックアップテーブルを構成して、色補正パラメータを決定する方法である。
参考文献1:特開2009−49759号公報
また、色補正パラメータを決定する方法には、例えば、以下の参考文献2に開示される方法もある。即ち、色補正行列を、色補正パラメータとして求める方法である。
参考文献2:特許第4715527号公報

0037

生成部210は、パラメータ決定部209により決定された色補正パラメータを用いて色を補正した画像データを生成する。
色補正パラメータを用いて色補正画像を生成する方法には、例えば、参考文献1に開示される方法がある。即ち、入力となる画像データのピクセルごとに、色補正パラメータである構成されたルックアップテーブルを参照して、異なる色に置き変えていくことで色補正を達成する方法である。
また、色補正パラメータを用いて色補正画像を生成する方法には、例えば、参考文献2に開示される方法もある。即ち、入力となる画像データのピクセルごとに色補正行列をかけることで、補正する方法である。

0038

また、生成部210は、1つの画像に対して、色補正パラメータを複数回適用することとしてもよい。このような場合、パラメータ決定部209は、予め、適用する複数個の色補正パラメータを結合した一つの色補正パラメータを決定して、ストレージ装置104等に記憶しておいてもよい。例えば、補正パラメータがルックアップテーブルであり、画像に対して2回補正パラメータが適用される場合、パラメータ決定部209は、以下のようにする。即ち、パラメータ決定部209は、適用する2個のルックアップテーブルの入力と出力をつなげて参照することで、色補正パラメータを結合する。また、色補正パラメータが行列であれば、パラメータ決定部209は、予め画像に適用される行列同士をかけておくこと等で、色補正パラメータを結合できる。また、パラメータ決定部209は、他の方法で、色補正パラメータを結合してもよい。
また、パラメータ決定部209は、色補正パラメータ同士の類似の度合を示す類似度を求めることができる。色補正パラメータがルックアップテーブルであれば、パラメータ決定部209は、同じピクセル値を与えたときの差分値の和等を、色補正パラメータ同士の類似度として求めることができる。また、色補正パラメータが行列である場合、パラメータ決定部209は、行列の要素同士の差分値等を、色補正パラメータ同士の類似度として求めることができる。また、パラメータ決定部209は、他の方法で、色補正パラメータ同士の類似度を求めてもよい。

0039

基準決定部212は、ネットワークカメラ112から、色合わせにおいて基準となる画像を撮影するカメラを決定する。以下では、色合わせにおいて基準となる画像を撮影するカメラを、基準カメラとする。本実施形態では、パラメータ決定部209は、ネットワークカメラ112により撮影画像の色を、基準カメラにより撮影された画像の色に合わせるように、そのネットワークカメラ112の色補正パラメータを決定することとなる。基準決定部212は、例えば、撮影情報に基づいて、基準オブジェクトを撮影したネットワークカメラ112を特定する。そして、基準決定部212は、特定したネットワークカメラ112から、基準カメラを決定する。
例えば、基準決定部212は、入力デバイス109を介した指定に従って、ネットワークカメラ112から基準カメラを決定する。例えば、基準決定部212は、モニタ110にネットワークカメラ112の一覧を表示して、ユーザにより入力デバイス109を介して指定されたネットワークカメラ112を基準カメラとして決定する。例えば、ユーザは、施設出入り口監視するネットワークカメラ112を基準カメラとして指定する。施設内の他のカメラに映る人物は、出入り口を通っている。そのため、施設の出入り口のカメラは、他のカメラよりも、他のカメラとの間で撮影したオブジェクトが共通している可能性が高い。こうしたカメラを基準カメラとして選択すると、基準カメラにより撮影された画像の色に合わせた色補正パラメータが求まりやすくなる。その結果、色補正の回数が減り、色補正の誤差が小さくなる。

0040

また、基準決定部212は、入力デバイス109を介して基準カメラの指定が与えられない場合、基準オブジェクトを撮影したネットワークカメラ112のうち何れか一つを基準カメラに選択してもよい。また、基準決定部212は、例えば、ネットワークカメラ112ごとに、撮影された人物のカウントを行っておき、基準オブジェクトを撮影したネットワークカメラ112のうち最も人物が多く撮影されたものを基準カメラに決定してもよい。また、基準決定部212は、例えば、登録部202により登録されたオブジェクトから基準オブジェクトを検索して、検索されたオブジェクトを撮影したネットワークカメラ112を、基準カメラとして選択してもよい。また、基準決定部212は、例えば、登録された基準オブジェクトであるオブジェクトのうち、最もIDの小さいものを撮影したネットワークカメラ112を基準カメラとして選択してもよい。基準カメラの決定方法は、これらに限定されるものではない。
また、基準決定部212は、基準カメラを決定しないこととしてもよい。その場合、パラメータ決定部209は、例えば、基準オブジェクトを撮影したネットワークカメラ112の色補正パラメータを、以下のように決定する。即ち、パラメータ決定部209は、そのネットワークカメラ112により撮影された画像における基準オブジェクトの色を、基準オブジェクトの色として予め定められた色に補正するためのパラメータを、色補正パラメータとして決定する。

0041

次に、情報処理装置100が、色補正パラメータを決定し、色補正パラメータを用いた色の補正を行う処理について、図6を用いて説明する。図6の処理では、情報処理装置100は、より多くのネットワークカメラ112により撮影される基準オブジェクトを特定する。そして、情報処理装置100は、特定した基準オブジェクトを用いて、ネットワークカメラ112の色補正パラメータを決定する。そして、情報処理装置100は、色補正パラメータを用いて画像の色の補正を行って、補正後の画像からオブジェクトの特徴を求める。情報処理装置100は、図6の処理の実行の際には、登録部202により登録された各オブジェクトについて、以下の処理を行っていることとする。即ち、情報処理装置100は、ネットワークカメラ112の何れかにより撮影された各オブジェクトの画像であって、色の補正が行われていない画像から、各オブジェクトの特徴を予め決定していることとする。
S601において、クエリ決定部207は、クエリリストを作成する。

0042

図7を用いて、S601でのクエリ決定部207の処理の詳細を説明する。本実施形態では、クエリ決定部207は、登録部202により登録されたオブジェクトをクエリの候補として、クエリの候補からクエリを決定する。
クエリ決定部207により決定されたクエリは、照合部206による照合処理の際に用いられる比較元オブジェクトとして用いられることとなる。そのため、クエリ決定部207は、適正な比較元オブジェクトとして用いることができるクエリを決定することが望ましい。
適正な比較元オブジェクトであるための条件には、例えば、以下の2つの適正条件がある。

0043

第1の適正条件は、比較元オブジェクトが他のオブジェクトと比べてユニークな特徴を持ち、他のオブジェクトと間違えにくいことである。
第2の適正条件は、比較元オブジェクトが、ネットワークカメラ112の色補正パラメータの決定に用いられるのに適した色を有することである。色補正パラメータの決定に用いられるのに適した色とは、単色や無彩色ではなく、色相のばらけた複数の色である。比較元オブジェクトの色が単色や無彩色であると、基準オブジェクトとして選択されるオブジェクトの色も単色や無彩色となる。これでは、基準オブジェクトの色に基づいて色補正パラメータを決定できないこととなる。これに対応し、第2の適正条件の色が設定されているとする。第2の適正条件は、色に関する予め定められた条件の一例である。

0044

図7の処理では、クエリ決定部207は、上記の2つの条件を考慮し、戦略性を持ったプライオリティ付けした基準オブジェクトの候補のリストであるクエリリストを作成する。
S702及びS703の処理は、第2の適正条件を満たすオブジェクトを抽出する処理である。クエリ決定部207は、S702及びS703でクエリの候補となるオブジェクトを、色に関する予め定められた条件を満たすオブジェクトに絞り込む。また、S704及びS705の処理は、第1の適正条件を満たすオブジェクトを抽出する処理である。

0045

S701において、クエリ決定部207は、登録部202により登録された各オブジェクトについて、以下のようにする。クエリ決定部207は、ストレージ装置104に記憶された各オブジェクトの画像を取得し、取得した各画像について、画素単位のカラーヒストグラムを抽出する。なお、S701の処理の時点において、ストレージ装置104には、予め登録されたオブジェクトの画像が記憶されているものとする。そして、クエリ決定部207は、取得した各画像について、画素単位のカラーヒストグラムを抽出する。
基準オブジェクトを撮影したカメラにより撮影された基準オブジェクトの色に基づいて、基準オブジェクトを撮影したカメラ自身の撮影画像の色補正パラメータが決定される。更に、基準オブジェクトを撮影したカメラにより撮影された基準オブジェクトの色に基づいて、このカメラと同じグループに属する他のカメラの色補正パラメータが決定される。

0046

図8は、RGB色空間を複数のビンに分けた様子の一例を示す図である。図8の例では、RGB空間が、4X4X4の64ビンに分けられた様子が示される。色空間の原点を通る対角線は、R、G、Bの全てが同じ値となるグレースケールの色を表す。以下では、この対角線を、無彩色の軸とする。無彩色の軸を含むビンに属す画素が多いほど、グレースケールの色が多いこととなる。そのため、カラーヒストグラムにおいて、無彩色の軸を含むビンに属す画素が多いほど、そのカラーヒストグラムに対応する画像には、グレースケールの画素が多くなる。結果として、その画像が示すオブジェクトは、色補正パラメータの決定に用いるには適さないオブジェクトとなる。そこで、クエリ決定部207は、S702で、以下のような処理を行うこととする。
S702において、クエリ決定部207は、S701で抽出したカラーヒストグラムに基づいて、グレースケールの色ビンに属する画素数の画素数全体に対する割合が、予め定められた閾値未満となるオブジェクトを特定する。そして、クエリ決定部207は、クエリの候補となるオブジェクトを、特定したオブジェクトに絞り込む。これにより、クエリ決定部207は、クエリの候補から、不適切なオブジェクトを除外できる。

0047

クエリ決定部207は、S702の処理として、上述の処理に替えて、以下のような処理を行うこととしてもよい。即ち、クエリ決定部207は、S701で抽出したカラーヒストグラムごとに、RGB値をYUV等の輝度信号色差信号であらわす色空間に変換する。そして、クエリ決定部207は、輝度成分Yの画素に対する累積値と、色差成分UVの絶対値の画素に対する累積値を求める。色差成分UVの絶対値とするのは、負の値を取りうるからである。
そして、クエリ決定部207は、クエリの候補を、色差成分の累積値の輝度成分の累積値に対する割合が予め定められた閾値以上となるオブジェクトに絞り込んでもよい。

0048

色味の有るオブジェクトであっても、例えば、RGB値で、GやBの値が0のオブジェクトは、基準オブジェクトとしては、不適切である。GやBについての色の補正ができないためである。そのため、基準オブジェクトとしては、R、G、Bの成分の色をある程度網羅的に持ったオブジェクトであることが望ましい。そこで、クエリ決定部207は、S703で、S702で絞り込まれたクエリの候補のオブジェクトを、オブジェクトの色の成分の分布に基づいて、更に絞り込む。
S703において、クエリ決定部207は、S702で絞り込まれたクエリの候補となる各オブジェクトについて、オブジェクトの画像における画素のRGB値をYUV空間に変換する。例えば、クエリ決定部207は、S701で抽出されたカラーヒストグラムから、オブジェクトの画像における画素のRGB値を特定し、特定したRGB値をYUV空間に変換する。
そして、クエリ決定部207は、色差信号Uの絶対値の画素平均U_mean、及び、色差信号Vの絶対値の画素平均V_meanを決定する。そして、クエリ決定部207は、これらがともに予め定められた閾値以上である場合、そのオブジェクトの画像におけるR、G、Bの成分を網羅的に持ったオブジェクトであると判定する。そして、クエリ決定部207は、クエリの候補となるオブジェクトを、R、G、Bの成分を網羅的に持ったオブジェクトであると判定したオブジェクトのみに絞り込む。

0049

また、クエリ決定部207は、S703で以下のような処理を行うこととしてもよい。即ち、クエリ決定部207は、S702で絞り込まれたクエリの候補となる各オブジェクトについてS701で抽出されたカラーヒストグラムを取得する。そして、クエリ決定部207は、取得したカラーヒストグラムに基づいて、緑、赤、青を混ぜた中間色の存在の有無、極端な緑や赤や青の画素で有ってもこれらを3つ全て含んでいるか否か等に基づいて、以下のようにしてもよい。即ち、クエリ決定部207は、そのカラーヒストグラムに対応するオブジェクトがR、G、Bの成分を網羅的に持ったオブジェクトであるか否かを判断してもよい。
また、クエリ決定部207は、他の方法で、オブジェクトが、R、G、Bの成分を網羅的に持ったオブジェクトであるか否かを判断してもよい。
このように、クエリ決定部207は、S702、S703の処理で、色補正パラメータを決定できるように、服の色が黒やグレー等の無彩色でないオブジェクトを、クエリの候補として決定する。オブジェクト決定部208は、このように決定されたクエリから基準オブジェクトを選択することとなる。このようにして、クエリ決定部207は、不適切なオブジェクトが基準オブジェクトとなる可能性を低減できる。

0050

S704において、クエリ決定部207は、S703で絞り込まれたクエリの候補の各オブジェクトについて、オブジェクトの出現確率を求める。オブジェクトの出現確率とは、オブジェクトの出現しやすさを示す指標である。
登録部202は、登録対象のオブジェクトについて、予め、色と異なる特徴を示す属性(性別、年齢、メガネ有無、口ひげ有無、あごひげ有無等)の属性値と、そのオブジェクトが撮影された時点と、の対応情報を取得し、ストレージ装置104に登録してもよい。そして、登録部202は、登録対象の複数のオブジェクトについて取得した対応情報に基づいて、各属性値がどの時点に出現したかを特定する。登録部202は、各属性値が出現する頻度の統計を取ってもよい。
そして、クエリ決定部207は、S704で、この統計に基づいて、基準オブジェクトの検索の時点の近傍の期間における、各属性値の出現確率を求める。ある時点の近傍の期間とは、例えば、その時点の直前の予め定められた期間(例えば、その時点直前の10分、その時点直前の1時間等)である。クエリ決定部207は、各属性値を持つオブジェクトの出現した回数を、出現したオブジェクト全体の個数で割ることで、各属性値の出現確率を求める。即ち、各属性値の出現確率は、各属性値を持つオブジェクトの出現した回数の出現したオブジェクト全体の個数に対する割合である。
クエリ決定部207は、例えば、オブジェクトの有する各特徴指標の指標値の出現確率に基づいて、これらの指標値を有するそのオブジェクトの出現確率を求める。クエリ決定部207は、例えば、そのオブジェクトの有する指標値の出現確率の積を、そのオブジェクトの出現確率として求める。また、性別とひげの有無とに関しては、相関がある。そのため、クエリ決定部207は、女性であるオブジェクトの出現確率を求める際に、口ひげ有無、あごひげ有無の特徴指標の指標値についての出現確率を用いないこととしてもよい。例えば、クエリ決定部207は、年齢とメガネ有無との指標値についての出現確率の積を、そのオブジェクトの出現確率として求めてもよい。

0051

S705において、クエリ決定部207は、S703で絞り込んだオブジェクトを、S704で求めた出現確率の低いものから順にソートして、リスト化したものをクエリリストとして決定する。
図7の処理により、クエリ決定部207は、色補正パラメータを取得しやすく、且つ、誤検索を起こしにくいオブジェクトから並んだクエリリストを取得できる。
また、クエリ決定部207は、S705で以下のような処理を行うこととしてもよい。即ち、クエリ決定部207は、S703で絞り込んだオブジェクトのうち、S704で求めた出現確率が、予め定められた閾値未満となるオブジェクトを特定することとしてもよい。そして、クエリ決定部207は、特定したオブジェクトをリスト化することで、クエリリストを決定してもよい。これにより、クエリリストに含まれるクエリは、誤検索を起こしにくいオブジェクトのみとなる。したがって、情報処理装置100は、誤検索を起こしやすい不適切なオブジェクトを比較元オブジェクトとした照合処理を行わないようにすることができ、処理の負荷を軽減できる。

0052

図6のフローチャートの説明に戻る。
S602において、照合部206は、S601で作成されたクエリリストに含まれるクエリを識別するための変数iの値を、1に初期化する。変数iは、例えば、RAM103に記憶されている。以下では、クエリリストに含まれるクエリの数を、N個とする。また、本実施形態では、クエリリストに含まれる各クエリには、1から順にNまで番号が割り当てられている。
S603において、照合部206は、予め定められた特徴指標を用いて、登録されたオブジェクトから、i番目のクエリと同じオブジェクトを検索する。例えば、照合部206は、比較元オブジェクトをi番目のクエリとして、比較先オブジェクトを登録された各オブジェクトとする。そして、照合部206は、予め定められた特徴指標を用いて、比較元オブジェクトと比較先オブジェクトとの照合を行う。ここで、予め定められた特徴指標は、色への依存度が微小で、色と異なる特徴を示す特徴指標であり、具体的には、輝度画像から抽出されたSIFT特徴量、年齢、性別、メガネの有無、口ひげの有無、あごひげの有無等が挙げられる。照合部206は、照合の結果として、比較元オブジェクトと比較先オブジェクトとの類似度を求める。照合部206は、比較先オブジェクトと求めた類似度とを対応付けて、検索結果とする。
照合部206は、登録部202により登録されたオブジェクトのうち、比較元オブジェクトとの類似度が予め定められた閾値以上であるオブジェクトを、比較元オブジェクトと同じオブジェクトであると判断する。そして、照合部206は、比較元オブジェクトと同じオブジェクトであると照合した各オブジェクトを撮影したネットワークカメラ112を特定する。

0053

S604において、照合部206は、i番目のクエリと、S603で特定したそのクエリを撮影したネットワークカメラ112と、を対応付けて、クエリの撮影状況を示す撮影情報として、ストレージ装置104等に記憶する。照合部206は、例えば、図9に示すテーブル形式で、撮影情報を記憶する。
図9のテーブルの各行は、各クエリに対応する。また、図9のテーブルの各列は、各ネットワークカメラ112に対応する。図9のテーブル中の各要素は、その要素に対応するクエリが、その要素に対応するネットワークカメラ112により撮影されたか否かを示す。
図9(a)の例では、クエリQ1が、カメラA、B、C、D、F、Gにより撮影されたことが示されている。また、クエリQ2が、カメラB、Eにより撮影されたことが示されている。また、クエリQ3が、全てのカメラ(カメラA〜H)により撮影されたことが示されている。
また、図9(b)の例では、クエリQ1が、カメラA、B、C、D、F、Gにより撮影されたことが示されている。また、クエリQ2が、カメラB、C、E、Fにより撮影されたことが示されている。また、クエリQ3が、カメラA、B、E、F、G、Hにより撮影されたことが示されている。

0054

S605において、照合部206は、変数iの値がクエリリストのクエリ数(N)未満であるか否かを判定する。照合部206は、変数iの値がN未満と判定した場合、S606の処理に進み、変数iの値がN以上と判定した場合、S607の処理に進む。
S606において、照合部206は、変数iの値を、1増加させることで更新し、S603の処理に進む。

0055

S607において、オブジェクト決定部208は、S604で記憶された撮影情報に基づいて、全てのネットワークカメラ112により撮影されたクエリが存在するか否かを判定する。オブジェクト決定部208は、全てのネットワークカメラ112により撮影されたクエリが存在すると判定した場合、S609の処理に進む。また、オブジェクト決定部208は、全てのネットワークカメラ112により撮影されたクエリが存在しないと判定した場合、S608の処理に進む。
オブジェクト決定部208は、例えば、S604で記憶された撮影情報が図9(a)に示される情報である場合、全てのネットワークカメラ112により撮影されたクエリQ3が存在するため、S609の処理に進むこととなる。また、オブジェクト決定部208は、例えば、S604で記憶された撮影情報が図9(b)に示される情報である場合、全てのネットワークカメラ112により撮影されたクエリが存在しないため、S608の処理に進むこととなる。

0056

S608において、適応部211は、予めグループ作成部205により作成された撮像部グループに基づいて、拡張処理を実行する。即ち、適応部211は、撮像部グループのクエリを撮影していない撮像部についても、クエリを撮影したこととするように撮影情報を修正する。
S609において、オブジェクト決定部208は、撮影情報に基づいて、最も多くのネットワークカメラ112により撮影されたクエリを、基準オブジェクトとして決定する。また、オブジェクト決定部208は、撮影情報に基づいて、各クエリを撮影したネットワークカメラ112の台数のネットワークカメラ112の総数に対する割合が最も高いクエリを、基準オブジェクトとして決定してもよい。

0057

S610において、基準決定部212は、基準オブジェクトを実際に撮影したネットワークカメラ112から、基準カメラを選択する。
基準決定部212は、例えば、登録部202により登録されたオブジェクトを識別するオブジェクトIDに基づいて、登録されたオブジェクトの情報を参照できる。

0058

S611において、パラメータ決定部209は、基準カメラにより撮影された画像における基準オブジェクトの色に合わせるように、基準オブジェクトを実際に撮影した撮影済カメラの色補正パラメータを決定する。また、以下では、基準カメラにより撮影された画像における基準オブジェクトの色を、色補正の目標となる色である目標色とする。
パラメータ決定部209は、例えば、ストレージ装置104に記憶されたオブジェクトの画像から、撮影済カメラにより撮影された基準オブジェクトの画像を取得する。そして、パラメータ決定部209は、取得した画像における基準オブジェクトの色を、目標色に補正する際に用いられるパラメータを、その撮影済カメラの色補正パラメータとして決定する。
また、パラメータ決定部209は、撮影済カメラにより撮影された画像における基準オブジェクトの色に基づいて、未撮影カメラについても、色補正パラメータを決定する。
パラメータ決定部209は、例えば、登録部202により登録されたオブジェクトを識別するオブジェクトIDに基づいて、登録されたオブジェクトの情報を参照できる。

0059

カメラC、D、Eが撮像部グループとしてグループ化されたとする。図9(b)の例では、S608での適応部211による拡張処理の結果、撮影情報は、図9(c)の状況を示す情報となる。
即ち、適応部211は、以下のような処理を行う。
図9(b)が示す撮影情報において、クエリQ1は、撮像グループのカメラC、Dにより撮影されているが、カメラEには撮影されていない。そこで、適応部211は、カメラEがクエリQ1を撮影したこととするように、撮影情報を修正する。
また、図9(b)が示す撮影情報において、クエリQ2は、撮像グループのカメラC、Eにより撮影されているが、カメラDには撮影されていない。そこで、適応部211は、カメラDがクエリQ2を撮影したこととするように、撮影情報を修正する。
また、図9(b)が示す撮影情報において、クエリQ3は、撮像グループのカメラEにより撮影されているが、カメラC、Dには撮影されていない。そこで、適応部211は、カメラC、DがクエリQ3を撮影したこととするように、撮影情報を修正する。
以上の処理の結果、図9(b)に示す撮影情報は、図9(c)に示すように修正される。

0060

図9(c)の例では、撮影情報は、クエリQ1が、カメラHを除くカメラにより撮影されたことを示している。また、撮影情報は、クエリQ2がカメラG、Hを除くカメラにより撮影されたことを示している。また、撮影情報は、クエリQ3が全てのカメラにより撮影されたことを示している。この場合、オブジェクト決定部208は、S609でクエリQ3を、基準オブジェクトとして決定することとなる。
また、この場合、撮像部グループに含まれるネットワークカメラ112のうちカメラEのみが、実際に基準オブジェクト(クエリQ3)を撮影した撮影済カメラとなる。しかし、撮像部グループに、撮影済カメラが複数含まれる場合もある。その場合、パラメータ決定部209は、撮像部グループに含まれる複数の撮影済カメラそれぞれにより撮影された画像における基準オブジェクトの色に基づいて、撮像部グループに含まれる未撮影カメラの色補正パラメータを決定してもよい。

0061

例えば、パラメータ決定部209は、複数の撮影済カメラにより撮影された複数の画像における基準オブジェクトの色それぞれに基づいて、複数の色補正パラメータを決定する。そして、パラメータ決定部209は、決定した複数の色補正パラメータに基づいて、未撮影カメラについて、色補正パラメータを決定してもよい。例えば、パラメータ決定部209は、この複数の色補正パラメータの統計値(例えば、平均値中間値等)を、未撮影カメラの色補正パラメータとして決定してもよい。
また、例えば、パラメータ決定部209は、撮像部グループに含まれる複数の撮影済カメラそれぞれにより撮影された画像における基準オブジェクトの色の平均値を求めてもよい。そして、パラメータ決定部209は、求めた平均値の色を、基準色に補正するためのパラメータを、未撮影カメラの色補正パラメータとして決定することとしてもよい。

0062

また、パラメータ決定部209は、撮像部グループに撮影済カメラが3つ以上含まれる場合、以下のようにしてもよい。即ち、パラメータ決定部209は、これらの3つ以上の撮影済カメラにより撮影された3つ以上の画像それぞれにおける基準オブジェクトの色それぞれに基づいて、色補正パラメータの候補を3つ以上決定する。そして、パラメータ決定部209は、決定した3つ以上の候補に対して多数決処理を行うことで、最終的な未撮影カメラの色補正パラメータを決定してもよい。
例えば、パラメータ決定部209は、決定した3つ以上の色補正パラメータの候補それぞれを、多次元ベクトルと見立てて、この3つ以上の色補正パラメータをクラスタリング処理する。クラスタリング処理は、クラスタリング対象となる複数の要素を、複数のクラスタに分割する処理である。複数の要素それぞれは、複数のクラスタの何れかに加わることとなる。即ち、クラスタリング処理は、複数のクラスタのうち、要素数が最も大きいクラスタを求める多数決処理の一例とみなすことができる。
パラメータ決定部209は、クラスタリング処理の結果求まるクラスタのうち、色補正パラメータの候補が最も多く属するクラスタを、多数決処理の結果として取得する。そして、パラメータ決定部209は、例えば、取得したクラスタに含まれる複数の候補の統計値(例えば、平均値、中間値等)を、未撮影カメラの色補正パラメータとして決定する。また、パラメータ決定部209は、例えば、取得したクラスタの重心が示すパラメータを、未撮影カメラの色補正パラメータとして決定してもよい。

0063

S612において、生成部210は、S611で決定された色補正パラメータを用いて、ネットワークカメラ112により撮影された画像の色を補正する。
登録部202は、S612で色が補正された画像をストレージ装置104に記憶することで、登録することとしてもよい。そして、照合部206は、オブジェクトの照合の際に登録された色が補正された画像を用いることとしてもよい。また、照合部206は、予め、S612で色が補正された画像から、後の照合処理で用いる情報を算出することとしてもよい。そして、登録部202は、算出された情報をストレージ装置104に記憶し、登録してもよい。
本実施形態では、クエリ、基準オブジェクトは、人物であるとしたが、動物、車、貨物等の人物以外のオブジェクトであってもよい。

0064

また、図6の処理において、情報処理装置100が、撮像部グループに含まれないネットワークカメラ112の全てについて色補正パラメータを決定できない場合がある。例えば、撮像部グループに含まれないネットワークカメラ112により基準オブジェクトが撮影されなかった場合がある。その場合、それらのネットワークカメラ112についての色補正パラメータは、従来の方法で決定されることとしてもよい。
また、情報処理装置100は、色補正パラメータを決定できなかったネットワークカメラ112について、図6の処理を繰り返すことで、色補正パラメータを決定することとしてもよい。

0065

以上、本実施形態では、情報処理装置100は、予め定められた撮影条件に基づいて、色補正パラメータが同じと仮定できるネットワークカメラ112を撮像部グループとしてグループ化した。そして、情報処理装置100は、撮像部グループに基準オブジェクトを撮影した撮影済カメラが存在する場合、以下のようにする。即ち、情報処理装置100は、その撮影済カメラにより撮影された画像の基準オブジェクトの色に基づいて、未撮影カメラについての色補正パラメータを決定した。
このように、情報処理装置100は、撮像部グループに基準オブジェクトを撮影したカメラが含まれていれば、撮像部グループの他のカメラについても色補正パラメータを決定できる。即ち、情報処理装置100は、撮像部グループに含まれる全てのネットワークカメラ112それぞれについて、基準オブジェクトを撮影させる手間をかけることなく、撮像部グループのネットワークカメラ112全てについて色補正パラメータを決定できる。また、情報処理装置100は、予め照合対象となり得るオブジェクト全てについて色空間、基準色等を用意する手間をかけることなく、撮像部グループのネットワークカメラ112全てについて色補正パラメータを決定できる。これにより、情報処理装置100は、ネットワークカメラ112間の色合わせにおける色の補正に用いられる情報の決定にかかる手間を軽減できる。

0066

また、情報処理装置100は、このようにして得た色補正パラメータを用いて、ネットワークカメラ112により撮影された画像を補正することで、その画像内のオブジェクトに対する照合処理の精度の低下を抑制できる。例えば、監視カメラ等では、設置環境が異なると、日差し・光源違い等の影響で、同じオブジェクトでもカメラ間で色が異なるように撮影されることが起こる。情報処理装置100は、このような影響による照合精度の劣化を抑制できることになる。
また、情報処理装置100は、求めた色補正パラメータを、照合だけでなく、画像の表示に用いてもよい。例えば、情報処理装置100は、求めた色補正パラメータを用いて補正した画像を、モニタ110に表示してもよい。例えば、照合処理における比較先オブジェクトが複数ある場合、情報処理装置100は、比較先オブジェクトを、比較元オブジェクトとの類似度に応じた順番でモニタ110に表示することとしてもよい。この場合、ユーザは、複数の比較先オブジェクトの画像を、オブジェクト同士の色の異なりが低減された状態で、より快適に見ることができる。

0067

<その他の実施形態>
実施形態1では、情報処理装置100には、複数の撮像部として複数のネットワークカメラ112を用いることとした。しかし、情報処理装置100は、例えば、情報処理装置100と一体化された複数の撮像部を、ネットワークカメラ112の代わりに用いることとしてもよい。
情報処理装置100は、単一の情報処理装置として構成されてもよいし、各機能を分散された複数の情報処理装置として構成されることとしてもよい。情報処理装置100が複数の情報処理装置として構成される場合、これらの情報処理装置は、互いに通信可能なようにLocal Area Network(LAN)等で接続されていることとなる。

0068

本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
例えば、上述した情報処理装置100の機能構成の一部又は全てをハードウェアとして情報処理装置100に実装してもよい。
以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。例えば、上述した各実施形態を任意に組み合わせたりしてもよい。

0069

100情報処理装置
101 CPU

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ