図面 (/)

技術 画像検索装置、画像検索方法

出願人 キヤノン株式会社
発明者 矢野光太郎東條洋
出願日 2014年3月26日 (6年8ヶ月経過) 出願番号 2014-064342
公開日 2015年10月29日 (5年1ヶ月経過) 公開番号 2015-187759
状態 特許登録済
技術分野 デジタル計算機のユーザインターフェイス イメージ分析 検索装置
主要キーワード 識別回数 連結特徴 パターン識別処理 画像ラベル エッジ特性 検出結果出力 識別器群 タッチパネルデバイス
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2015年10月29日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (13)

課題

識別器の構成を必要以上に複雑にすることなく、高精度に検索対象を検出し、効率良く検索対象を検索する為の技術を提供すること。

解決手段

複数のカメラのそれぞれを順次選択する。選択したカメラを選択カメラとし、該選択カメラによる撮像画像群から、検索対象物が写っていない画像を背景画像として取得する。検索対象物が写っている画像をクエリ画像として取得する。選択カメラによる撮像画像から検索対象物を識別するための識別器を、背景画像とクエリ画像とを用いて学習する。学習された識別器を用いて、選択カメラによる撮像画像群から検索対象物を検索する。

概要

背景

近年、人物監視を目的として大量の監視カメラが導入されている。このような監視カメラの業務を支援するシステムは数多く提案されているが、その中でも特定の人物を数多くの監視カメラ映像の中から検索することは重要なアプリケーションの一つである。

特定の人物を大規模監視カメラシステム映像から探したい場合、以下のようなシナリオが想定される。すなわち、検索対象の人物がどこに、何時いたかという情報によって、カメラと時間を絞り込み、過去の映像の中から人物映像を検索する。さらに、現在、検索対象の人物がどこにいるのかを多くのカメラ映像から検索する。しかしながら、現実的には、多くのカメラ映像から迅速に人物映像を検索することは困難であり、検索に多くの時間を要すると、検索対象の人物が移動してしまうという問題がある。そこで、過去の映像から検索した人物映像をクエリとして自動的に類似する人物を検索するアプリケーションが重要になってくる。

例えば、クエリとして得た人物映像が赤い服を着た人物であるとする。そのような場合、監視映像の各フレームから人物領域を検出し、検出した人物領域の服装部分から色特徴を取得してクエリと比較することで検索候補を得るという方法が考えられる。映像から人物領域を検出する方法は、例えば、非特許文献1に開示されている。この方法によると、入力画像から抽出した数多くの検出ウインドウを、予め膨大な数の人物画像を用いて学習した辞書データと照合することによって高精度の人物領域の検出を実現している。さらに、積分画像を利用して人物の検出に有効なHistogram of Oriented Gradients(以後、HOGと称す)特徴量を求め、アダブースト学習で得たカスケード型識別器を適用することで高速化を実現している。カスケード型識別器は、複数の識別器直列に結合することによって、効率よく検出対象を絞り込んでいく方法である。

概要

識別器の構成を必要以上に複雑にすることなく、高精度に検索対象を検出し、効率良く検索対象を検索する為の技術を提供すること。 複数のカメラのそれぞれを順次選択する。選択したカメラを選択カメラとし、該選択カメラによる撮像画像群から、検索対象物が写っていない画像を背景画像として取得する。検索対象物が写っている画像をクエリ画像として取得する。選択カメラによる撮像画像から検索対象物を識別するための識別器を、背景画像とクエリ画像とを用いて学習する。学習された識別器を用いて、選択カメラによる撮像画像群から検索対象物を検索する。

目的

本発明はこのような問題に鑑みてなされたものであり、識別器の構成を必要以上に複雑にすることなく、高精度に検索対象を検出し、効率良く検索対象を検索する為の技術を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

複数のカメラのそれぞれを順次選択する選択手段と、前記選択手段が選択したカメラを選択カメラとし、該選択カメラによる撮像画像群から、検索対象物が写っていない画像を背景画像として取得する取得手段と、前記検索対象物が写っている画像をクエリ画像として取得する手段と、前記選択カメラによる撮像画像から前記検索対象物を識別するための識別器を、前記背景画像と前記クエリ画像とを用いて学習する学習手段と、前記学習手段により学習された識別器を用いて、前記選択カメラによる撮像画像群から前記検索対象物を検索する検索手段とを備えることを特徴とする画像検索装置

請求項2

前記取得手段は、前記選択カメラによる撮像画像群のうち規定の撮像期間内に撮像されたそれぞれフレームの撮像画像から、フレーム間で変化量が規定値以下となる領域を抽出し、該抽出した領域内の画像を合成した合成画像を、前記背景画像として取得することを特徴とする請求項1に記載の画像検索装置。

請求項3

前記学習手段は、前記背景画像と前記クエリ画像のそれぞれをパターン画像とし、該パターン画像から、それぞれ異なる次元数の特徴量を抽出し、該それぞれ異なる次元数の特徴量を用いて前記識別器の学習を行うことで、該それぞれ異なる次元数の特徴量に対する重みを、該学習の結果とすることを特徴とする請求項1又は2に記載の画像検索装置。

請求項4

前記それぞれ異なる次元数をD1、D2、…、DN(Nは2以上の整数)とし、且つD1<D2<…<DNである場合に、前記検索手段は、前記選択カメラによる撮像画像から抽出した次元数Di(1≦i<N−1)の特徴量と、該次元数Diの特徴量に対応する重みと、を用いて評価値E(i)を計算し、該評価値E(i)が閾値以上であれば、評価値E(i+1)を計算し、評価値E(N)が閾値以上であれば、前記選択カメラによる撮像画像を検索結果として出力することを特徴とする請求項1乃至3の何れか1項に記載の画像検索装置。

請求項5

前記それぞれ異なる次元数をD1、D2、…、DN(Nは2以上の整数)とし、且つD1<D2<…<DNである場合に、更に、次元数D1、D2、…、DNのそれぞれについて、該次元数の特徴量を用いて学習した前記識別器の識別評価を行う手段を備え、次元数D1、D2、…、DNを識別評価の低い順に並べた結果を、D’1、D’2、…、D’Nとしたときに、前記検索手段は、前記選択カメラによる撮像画像から抽出した次元数D’i(1≦i<N−1)の特徴量と、該次元数D’iの特徴量に対応する重みと、を用いて評価値E(i)を計算し、該評価値E(i)が閾値以上であれば、評価値E(i+1)を計算し、評価値E(N)が閾値以上であれば、前記選択カメラによる撮像画像を検索結果として出力することを特徴とする請求項1乃至3の何れか1項に記載の画像検索装置。

請求項6

画像検索装置が行う画像検索方法であって、前記画像検索装置の選択手段が、複数のカメラのそれぞれを順次選択する選択工程と、前記画像検索装置の取得手段が、前記選択工程で選択したカメラを選択カメラとし、該選択カメラによる撮像画像群から、検索対象物が写っていない画像を背景画像として取得する取得工程と、前記画像検索装置のクエリ画像取得手段が、前記検索対象物が写っている画像をクエリ画像として取得する工程と、前記画像検索装置の学習手段が、前記選択カメラによる撮像画像から前記検索対象物を識別するための識別器を、前記背景画像と前記クエリ画像とを用いて学習する学習工程と、前記画像検索装置の検索手段が、前記学習工程で学習された識別器を用いて、前記選択カメラによる撮像画像群から前記検索対象物を検索する検索工程とを備えることを特徴とする画像検索方法。

請求項7

コンピュータを、請求項1乃至5の何れか1項に記載の画像検索装置の各手段として機能させるためのコンピュータプログラム

技術分野

0001

本発明は、画像から特定の物体検索するための技術に関するものである。

背景技術

0002

近年、人物監視を目的として大量の監視カメラが導入されている。このような監視カメラの業務を支援するシステムは数多く提案されているが、その中でも特定の人物を数多くの監視カメラ映像の中から検索することは重要なアプリケーションの一つである。

0003

特定の人物を大規模監視カメラシステム映像から探したい場合、以下のようなシナリオが想定される。すなわち、検索対象の人物がどこに、何時いたかという情報によって、カメラと時間を絞り込み、過去の映像の中から人物映像を検索する。さらに、現在、検索対象の人物がどこにいるのかを多くのカメラ映像から検索する。しかしながら、現実的には、多くのカメラ映像から迅速に人物映像を検索することは困難であり、検索に多くの時間を要すると、検索対象の人物が移動してしまうという問題がある。そこで、過去の映像から検索した人物映像をクエリとして自動的に類似する人物を検索するアプリケーションが重要になってくる。

0004

例えば、クエリとして得た人物映像が赤い服を着た人物であるとする。そのような場合、監視映像の各フレームから人物領域を検出し、検出した人物領域の服装部分から色特徴を取得してクエリと比較することで検索候補を得るという方法が考えられる。映像から人物領域を検出する方法は、例えば、非特許文献1に開示されている。この方法によると、入力画像から抽出した数多くの検出ウインドウを、予め膨大な数の人物画像を用いて学習した辞書データと照合することによって高精度の人物領域の検出を実現している。さらに、積分画像を利用して人物の検出に有効なHistogram of Oriented Gradients(以後、HOGと称す)特徴量を求め、アダブースト学習で得たカスケード型識別器を適用することで高速化を実現している。カスケード型識別器は、複数の識別器直列に結合することによって、効率よく検出対象を絞り込んでいく方法である。

先行技術

0005

Q. Zhu, S. Avidan, M. C. Yeh, and K. T. Cheng. FastHuman Detection Using a Cascade of Histograms of Oriented Gradients. Proceedings of theIEEE Conference on Computer Vision and Pattern Recognition, 2006.

発明が解決しようとする課題

0006

しかしながら、赤い服を着た人物を検索しようとするとき、人物領域の検出において必要のない人物(ここでは、赤い服を着ていない人物)を検出することは効率のよい方法とは言えない。人物の見えは服装や向き、その他様々な撮影状況シーンによって変わってくる。そのような様々な変動のある人物画像をカスケード型識別器で絞り込もうとすると、カスケード型識別器の構成が必要以上に複雑になってしまう。また、非特許文献1の人物領域検出方法では人物領域以外の背景部分に誤検出が発生する。

0007

本発明はこのような問題に鑑みてなされたものであり、識別器の構成を必要以上に複雑にすることなく、高精度に検索対象を検出し、効率良く検索対象を検索する為の技術を提供する。

課題を解決するための手段

0008

本発明の一様態によれば、複数のカメラのそれぞれを順次選択する選択手段と、前記選択手段が選択したカメラを選択カメラとし、該選択カメラによる撮像画像群から、検索対象物が写っていない画像を背景画像として取得する取得手段と、前記検索対象物が写っている画像をクエリ画像として取得する手段と、前記選択カメラによる撮像画像から前記検索対象物を識別するための識別器を、前記背景画像と前記クエリ画像とを用いて学習する学習手段と、前記学習手段により学習された識別器を用いて、前記選択カメラによる撮像画像群から前記検索対象物を検索する検索手段とを備えることを特徴とする。

発明の効果

0009

本発明の構成によれば、識別器の構成を必要以上に複雑にすることなく、高精度に検索対象を検出し、効率良く検索対象を検索することができ、検索対象に固有の特徴量による効果的な絞り込みを行うことができる。また、選択したカメラ固有の背景部分の誤検出を低減することができる。

図面の簡単な説明

0010

画像検索装置1000の機能構成例を示すブロック図。
システムの概略構成例を示す図。
画像検索装置1000が行う処理のフローチャート
クエリ画像の一例を示す図。
識別器学習部500の機能構成例を示すブロック図。
識別器学習部500が行う処理のフローチャート。
色特徴を説明する図。
検索対象検出部600の機能構成例を示すブロック図。
検索対象検出部600が行う処理のフローチャート。
識別器学習部500の機能構成例を示すブロック図。
識別器学習部500が行う処理のフローチャート。
画像検索装置1000に適用可能な装置のハードウェア構成例を示すブロック図。

実施例

0011

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の1つである。

0012

[第1の実施形態]
先ず、本実施形態に係るシステムの概略構成例について、図2を用いて説明する。図2に示す如く、本実施形態に係る画像検索装置1000には、複数台のカメラ(カメラ11,12,…,N)が接続されており、画像検索装置1000には、それぞれのカメラによる撮像画像が入力されることになる。なお、画像検索装置1000とそれぞれのカメラとの間の接続は有線接続であっても良いし、無線接続であっても良い。

0013

次に、本実施形態に係る画像検索装置1000の機能構成例について、図1のブロック図を用いて説明する。なお、図1に示した構成は以下に説明する処理で登場する主要な構成であり、本実施形態に係る画像検索装置1000が、図1に示した構成のみから成るものを意図するわけではない。また、図1に示した構成はあくまでも一例であり、以下に説明する各動作を実現できるのであれば、如何なる構成を採用しても構わない。

0014

カメラ選択部400は、本装置に接続されている複数台のカメラ(図2の場合はカメラ11,12,…,N)のそれぞれを順次選択する。例えば、カメラ選択部400は、一定時間ごとにカメラ11,カメラ12,…の順に選択する。カメラ選択部400により選択されたカメラからの撮像画像は、該撮像画像の撮像時刻(日時)及び該撮像画像を撮像したカメラの識別情報と共にカメラ画像記憶部100に格納される。撮像時刻については、カメラ側で計時した撮像時刻を撮像画像に添付して画像検索装置1000に送出するようにしても構わないし、カメラから受信した撮像画像に画像検索装置1000側で計時している撮像時刻を添付しても構わない。これは識別情報についても同様である。

0015

クエリ画像取得部200は、検索対象物が写っている画像をクエリ画像として取得する。クエリ画像の取得方法は特定の方法に限るものではない。例えば、カメラ画像記憶部100に格納されている撮像画像群を不図示の表示画面上に一覧表示し、ユーザは検索対象物が写っている画像を目視で確認する。そして、該確認後にユーザが不図示の操作部を用いて指定した1つ(検索対象物が写っている画像)を、クエリ画像取得部200がクエリ画像として取得する。

0016

以下では、検索対象物は、人物であるものとして説明するが、検索対象物が人物以外の対象物であったとしても、以下の説明の本質は変わらない。

0017

背景画像記憶部300は、本装置に接続されているそれぞれのカメラに対し、背景画像を生成して保持する。ここでいうところの「背景画像」とは、人物が写っていない画像のことであり、カメラごとに、該カメラにより撮像された撮像画像群(カメラ画像記憶部100内)から得られる画像である。例えば、あるカメラ(カメラCと呼称する)の背景画像を生成する場合、カメラCにより規定の撮像期間内に撮像されたそれぞれのフレームの撮像画像から、フレーム間で変化量が規定値以下となる領域を抽出する。そして、該抽出した領域内の画像を合成した合成画像を、カメラCに対する「背景画像」として取得する。なお、撮像時刻に応じて背景画像が変化する場合もあるので、カメラ毎に撮像時刻の異なった複数の背景画像を記憶するようにした方がよい。

0018

識別器学習部500は、撮像画像から検索対象物を識別するための識別器を、クエリ画像取得部200が取得したクエリ画像と、背景画像記憶部300で保持している背景画像と、を用いて学習する。

0019

検索対象検出部600は、識別器学習部500により学習された識別器を用いて、カメラ画像記憶部100に保持されている撮像画像群から、検索対象物を検索する。検索対象検出部600による検索結果は、検索結果出力部700により適当な出力先に出力される。

0020

次に、本実施形態に係る画像検索装置1000が行う処理、すなわち、識別器を学習し、該学習した識別器を用いて撮像画像群から検索対象物を検索する、という一連の処理について、同処理のフローチャートを示す図3を用いて説明する。なお、図3のフローチャート従った処理を開始する時点では、カメラ画像記憶部100及び背景画像記憶部300のそれぞれには、上述した画像がすでに保持されているものとする。

0021

テップS100では、クエリ画像取得部200は、クエリ画像を取得する。上記のように、クエリ画像の取得方法については特定の取得方法に限るものではないが、以下ではその一例を示す。

0022

例えば、ユーザは検索対象の人物がどこに、何時頃にいたかという情報を手掛かりに、カメラ画像記憶部100に保持されている撮像画像をカメラ及び撮像時刻で絞り込む。この絞り込みはユーザが行っても良いし、この条件を入力して画像検索装置1000が行っても良い。そして、絞り込んだ画像を不図示の表示画面上に一覧表示し、ユーザがこの表示画面を見ながら、検索対象の人物が写っている撮像画像を検索する。さらにユーザは、検索した撮像画像中対象人物が写っている領域を包含する矩形領域を、不図示のマウスなどでもって指定する。この指定された矩形領域内の画像がクエリ画像として取得される。

0023

クエリ画像の例を図4に示す。図4において、Iは、一覧表示された撮像画像群のうち検索対象の人物が写っている画像としてユーザが検索した撮像画像、Rはユーザが指定した矩形領域、Qは矩形領域R内の画像、即ちクエリ画像である。このとき、ユーザは複数の画像からクエリ画像を指定するようにしてもよい。クエリ画像を複数指定することにより、後段検出処理において検索対象人物の見えの変化に対応できる。本実施形態では、さらに、ユーザが指定した矩形領域内の画像に類似する画像を同じカメラの前後の時刻の撮像画像から抽出し、クエリ画像として加える。取得したクエリ画像の画像サイズが異なる場合は、クエリ画像の画像サイズを所定のサイズに正規化しておく。

0024

ステップS200では、カメラ選択部400は、本装置に接続されている複数台のカメラのうち1つを選択する。例えば、図2の場合、1回目のステップS200ではカメラ11を選択し、2回目のステップS200ではカメラ12を選択し、N回目のステップS200ではカメラNを選択する。そして(N+1)回目のステップS200では再びカメラ11を選択する。このようにして、カメラ選択部400は、本装置に接続されている複数台のカメラのそれぞれを順次、繰り返し選択する。以下では、ステップS200で選択したカメラを選択カメラと呼称する。

0025

ステップS300では、背景画像記憶部300は、選択カメラによる撮像画像から生成した背景画像を、識別器学習部500に対して送出する。より具体的には、背景画像記憶部300は、選択カメラによる撮像画像から生成した背景画像から、ステップS100で取得したクエリ画像のアスペクト比に近いアスペクト比を有する様々なサイズの部分画像を抽出する。そして背景画像記憶部300は、抽出したそれぞれの部分画像を、クエリ画像と同サイズに正規化し、該正規化後のそれぞれの部分画像を、選択カメラに対応する背景画像として、識別器学習部500に対して送出する。

0026

ステップS400では、識別器学習部500は、クエリ画像取得部200が取得したクエリ画像と、背景画像記憶部300から送出されたそれぞれの背景画像と、を用いて、識別器の学習を行う。ステップS400における処理の詳細については後述する。

0027

ステップS500では、カメラ画像記憶部100は、選択カメラによる撮像画像群のうち未選択の撮像画像を1つ選択し、該選択した撮像画像を検索対象検出部600に対して送出する。

0028

ステップS600では、検索対象検出部600は、ステップS400で学習した識別器を用いて、ステップS500でカメラ画像記憶部100から送出された撮像画像から、検索対象物を検索する。ステップS600における処理の詳細については後述する。

0029

ステップS700では、検索結果出力部700は、ステップS600における検索結果を、適当な出力先に対して送出する。なお、ステップS500〜S700の一連の処理は、選択カメラによるそれぞれの撮像画像に対して行われる。また、ステップS200〜S700の一連の処理は、本装置に接続されている複数台のカメラのそれぞれに対して行われる。

0030

次に、識別器学習部500の機能構成例について図5のブロック図を用いて説明する。画像パターン取得部510は、クエリ画像取得部200から送出されたクエリ画像と、背景画像記憶部300から送出された背景画像と、をパターン画像として取得する。

0031

第一の特徴抽出部520は、画像パターン取得部510が取得したパターン画像から、低次元の色特徴(特徴量)を抽出する。第二の特徴抽出部530は、画像パターン取得部510が取得したパターン画像から、高次元の色特徴(特徴量)を抽出する。第三の特徴抽出部540は、画像パターン取得部510が取得したパターン画像から、上記のHOG特徴(特徴量)を抽出する。特徴量記憶部550は、第一の特徴抽出部520、第二の特徴抽出部530、第三の特徴抽出部540、のそれぞれで抽出した特徴(特徴量)を記憶する。SVM学習部560は、特徴量記憶部550に記憶されている特徴を用いて、識別器を学習する。

0032

図5に示す構成を有する識別器学習部500が行う処理(ステップS400)の詳細について、図6を用いて説明する。ステップS510では、画像パターン取得部510は、画像パターンと、該画像パターンがクエリ画像であるのかそれとも背景画像であるのかを示す画像ラベルと、を取得する。この画像ラベルは、対応する画像の発行元で生成され、該画像と共に送出されるものとする。

0033

ステップS520では、第一の特徴抽出部520は、画像パターン取得部510が取得したパターン画像から、低次元の色特徴を抽出する。第一の特徴抽出部520で抽出する色特徴について、図7(a)を用いて説明する。

0034

検索対象物である人物の特徴を表す典型的な特徴量として、服装部分の色が考えられる。そこで、本実施形態では、図7(a)のR1、R2に示す矩形領域から夫々正規化RGBの平均値を求める。ここで、ある画素Pi(iは画素に対するインデックス)のR成分値、G成分値、B成分値をそれぞれpi、qi、riとすると、画素Piの正規化RGB画素値は、(pi/k、qi/k、ri/k)として求めることができる(k=pi+qi+ri)。然るに、矩形領域R1の正規化RGB値の平均値とは、矩形領域R1内の各画素について求めた正規化RGB値の平均値のことである。これは、矩形領域R2についても同様である。この場合、第一の特徴抽出部520はパターン画像から、矩形領域R1から求めた正規化RGB値の平均値(R,G,Bの3成分)と矩形領域R2から求めた正規化RGB値の平均値(R,G,Bの3成分)とを連結させた6成分(6次元)の色特徴を抽出する。そして第一の特徴抽出部520は、この6次元の色特徴を特徴量記憶部550に格納する。

0035

次に、ステップS530では、第二の特徴抽出部530は、画像パターン取得部510が取得したパターン画像から、高次元の色特徴を抽出する。第二の特徴抽出部530で抽出する色特徴について、図7(b)を用いて説明する。

0036

第二の特徴抽出部530は先ず、図7(b)に示す如く、パターン画像を3×6個の画素ブロックに分割し、それぞれの画素ブロックについて、上記の正規化RGBの平均値を求める。そして第二の特徴抽出部530は、求めた平均値を連結して3×6×3=54次元の色特徴とし、該54次元の色特徴を、特徴量記憶部550に格納する。第二の特徴抽出部530がパターン画像から抽出した色特徴(第二の特徴)は、第一の特徴抽出部520がパターン画像から抽出した色特徴(第一の特徴)よりも特徴の次元数は大きくなるが、図7(b)に示したように、より詳細な色特徴が表現できる。

0037

ステップS540では、第三の特徴抽出部540は、画像パターン取得部510が取得したパターン画像から、上記のHOG特徴を抽出する。第三の特徴抽出部540では、第二の特徴抽出部530と同様に、まず、画像パターンを複数の画素ブロックに分割する。本実施形態では、以下の文献Aに開示されている方法に従い、画像パターンを7×15個の画素ブロックに分割し、それぞれの画素ブロックについて、9ビンのHOG特徴を求める。

0038

(文献A) Navneet Dalal and Bill Triggs. Histograms of Oriented Gradients for Human Detection. Proceedings of theIEEE Conference on Computer Vision and Pattern Recognition, 2005.
そして第三の特徴抽出部540は、画素ブロック毎に求めたHOG特徴を連結して7×15×9=945次元の色特徴とし、該945次元の色特徴を、特徴量記憶部550に格納する。第三の特徴抽出部540がパターン画像から抽出した色特徴(第三の特徴)は、上記の文献Aによると、人物の輪郭を精度よく捉える事が可能であり、エッジ特性を表すことで色特徴を補完する。

0039

なお、ステップS520〜S540による一連の処理により、特徴量記憶部550には以下のようにして色特徴が格納される。

0040

(xi=(x1i,x2i,x3i),yi)
x1i,x2i,x3iはそれぞれ、画像パターン取得部510が選択カメラについてi番目に取得したパターン画像から抽出された第一の特徴、第二の特徴、第三の特徴であり、xiは、x1i,x2i,x3iを連結した色特徴(第四の特徴)である。また、yiは、画像パターン取得部510がi番目に取得したパターン画像の画像ラベルである。

0041

ステップS510〜S540の一連の処理は、選択カメラに係る全てのパターン画像について行われる。そして全てのパターン画像についてステップS510〜S540の処理が行われると、処理はステップS550に進む。

0042

ステップS550では、SVM学習部560は、特徴量記憶部550に格納されている第一の特徴から第一の識別パラメータを学習する。SVM学習部560は、全ての画像パターンの第一の特徴及び画像ラベルの組(x1i,yi)を用いて線形Support Vector Machine(SVM)の学習を行い、色特徴の各次元に対応する重みを、第一の識別パラメータとして出力する。ここで、本ステップを含む以下の学習では、クエリ画像にはラベルyi=+1、背景画像にはラベルyi=−1を割り当てて学習する。

0043

ステップS560では、SVM学習部560は、特徴量記憶部550に格納されている第二の特徴から第二の識別パラメータを学習する。SVM学習部560は、全ての画像パターンの第二の特徴及び画像ラベルの組(x2i,yi)を用いて線形SVMの学習を行い、色特徴の各次元に対応する重みを、第二の識別パラメータとして出力する。

0044

ステップS570では、SVM学習部560は、特徴量記憶部550に格納されている第三の特徴から第三の識別パラメータを学習する。SVM学習部560は、全ての画像パターンの第三の特徴及び画像ラベルの組(x3i,yi)を用いて線形SVMの学習を行い、色特徴の各次元に対応する重みを、第三の識別パラメータとして出力する。

0045

ステップS580では、SVM学習部560は、特徴量記憶部550に格納されている第四の特徴から第四の識別パラメータを学習する。SVM学習部560は、全ての画像パターンの第四の特徴及び画像ラベルの組(xi,yi)を用いて線形SVMの学習を行い、色特徴の各次元に対応する重みを、第四の識別パラメータとして出力する。

0046

このように、SVM学習部560は、第一の識別パラメータ、第二の識別パラメータ、第三の識別パラメータ、第四の識別パラメータ、のそれぞれの算出を、識別器の学習として行う。

0047

次に、検索対象検出部600の機能構成例について、図8のブロック図を用いて説明する。画像パターン取得部610は、カメラ画像記憶部100から送出された撮像画像をパターン画像として取得する。

0048

第一の特徴抽出部621、第二の特徴抽出部622、第三の特徴抽出部623はそれぞれ、第一の特徴抽出部520、第二の特徴抽出部530、第三の特徴抽出部540と同様の動作を行う。すなわち、第一の特徴抽出部621、第二の特徴抽出部622、第三の特徴抽出部623はそれぞれ、画像パターン取得部610が取得したパターン画像から、第一の特徴、第二の特徴、第三の特徴、を抽出する。

0049

第一の特徴抽出部621、第二の特徴抽出部622、第三の特徴抽出部623のそれぞれで抽出した特徴(第一の特徴、第二の特徴、第三の特徴)は、特徴量記憶部630に格納する。

0050

識別パラメータ取得部650は、識別器学習部500で学習した識別器の識別パラメータ(第一の識別パラメータ、第二の識別パラメータ、第三の識別パラメータ、第四の識別パラメータ)を、識別器学習部500から取得する。

0051

第一のパターン識別部661は、識別パラメータ取得部650が取得した第一の識別パラメータ及び第一の特徴抽出部621で抽出した第一の特徴を用いて、画像パターン取得部610が取得した画像パターンから検索対象物を検索(識別)する。

0052

第二のパターン識別部662は、識別パラメータ取得部650が取得した第二の識別パラメータ及び第二の特徴抽出部622で抽出した第二の特徴を用いて、画像パターン取得部610が取得した画像パターンから検索対象物を検索(識別)する。

0053

第三のパターン識別部663は、識別パラメータ取得部650が取得した第三の識別パラメータ及び第三の特徴抽出部623で抽出した第三の特徴を用いて、画像パターン取得部610が取得した画像パターンから検索対象物を検索(識別)する。

0054

第四のパターン識別部664は、第一の特徴と第二の特徴と第三の特徴とを連結した特徴と、識別パラメータ取得部650が取得した第四の識別パラメータと、を用いて、画像パターン取得部610が取得した画像パターンから検索対象物を検索(識別)する。

0055

検出結果出力部670は、第一のパターン識別部661、第二のパターン識別部662、第三のパターン識別部663、第四のパターン識別部664、のそれぞれによる識別結果に応じた結果を出力する。

0056

図8に示す構成を有する検索対象検出部600が行う処理(ステップS600)の詳細について、図9を用いて説明する。なお、図9のフローチャートに従った処理を開始する時点では、識別パラメータ取得部650は、識別器学習部500で学習した識別器の識別パラメータ(第一乃至四の識別パラメータ)を取得しているものとする。

0057

ステップS610では、画像パターン取得部610は、カメラ画像記憶部100から取得したパターン画像上の設定位置(x、y)に規定サイズの矩形領域を設定し、該設定した矩形領域内の画像を抽出し、この抽出した画像を改めてパターン画像とする。この設定位置(x、y)はステップS610における処理を行う度に更新し、所謂スライディングウインドウ探索により、パターン画像内で矩形領域を移動させながら、該矩形領域内の画像を抽出する。なお、この矩形領域のアスペクト比は、ステップS100で取得したクエリ画像のアスペクト比と同じであり、画像パターン取得部610は、矩形領域内の画像を、ステップS100で取得したクエリ画像のサイズと同サイズに正規化する。

0058

ステップS620では、第一の特徴抽出部621は、上記のステップS520における処理と同様の処理を行うことによって、ステップS610で抽出したパターン画像から、第一の特徴を抽出する。そして第一の特徴抽出部621は、この抽出した第一の特徴を、特徴量記憶部630に格納する。

0059

ステップS630では、第一のパターン識別部661は、第一の特徴(上記の例では6次元の色特徴)と、識別パラメータ取得部650が取得した第一の識別パラメータと、の内積演算を行い、内積演算結果と、規定の閾値との大小比較を行う。この大小比較の結果、内積演算結果が規定の閾値以上となる場合には、より大きい次元数の色特徴に基づくパターン識別処理を行うべく、処理はステップS640に進む。一方、内積演算結果が規定の閾値未満である場合には、ステップS610で抽出したパターン画像には検索対象物は含まれていないと判断し、処理はステップS690に進む。この場合、ステップS690では、検索結果出力部700は、ステップS610で抽出したパターン画像には検索対象物は含まれていない旨を出力する。なお、この場合における検索結果出力部700の動作については特定の動作に限るものではなく、何もしなくても良い。

0060

なお、通常のSVMにおいては内積演算結果が0以上かどうかで判定を行うが、本実施形態では識別器のカスケード接続によって検索対象物以外の画像パターンを拒否するように構成しているため、予め閾値を0よりも小さい値に設定する。このように閾値を設定することで、確実に拒否できる画像パターンのみ拒否し、検出率の低下を防ぐ。

0061

ステップS640では、第二の特徴抽出部622は、上記のステップS530における処理と同様の処理を行うことによって、ステップS610で抽出したパターン画像から、第二の特徴を抽出する。そして第二の特徴抽出部622は、この抽出した第二の特徴を、特徴量記憶部630に格納する。

0062

ステップS650では、第二のパターン識別部662は、第二の特徴(上記の例では54次元の色特徴)と、識別パラメータ取得部650が取得した第二の識別パラメータと、の内積演算を行い、内積演算結果と、規定の閾値との大小比較を行う。この大小比較の結果、内積演算結果が規定の閾値以上となる場合には、より大きい次元数の色特徴に基づくパターン識別処理を行うべく、処理はステップS660に進む。一方、内積演算結果が規定の閾値未満である場合には、ステップS610で抽出したパターン画像には検索対象物は含まれていないと判断し、処理はステップS690に進む。この場合、ステップS690では、検索結果出力部700は、ステップS610で抽出したパターン画像には検索対象物は含まれていない旨を出力する。なお、この場合における検索結果出力部700の動作については特定の動作に限るものではなく、何もしなくても良い。ステップS650で使用する閾値についても、ステップS630で使用する閾値と同様に設定する。

0063

ステップS660では、第三の特徴抽出部623は、上記のステップS540における処理と同様の処理を行うことによって、ステップS610で抽出したパターン画像から、第三の特徴を抽出する。そして第三の特徴抽出部623は、この抽出した第三の特徴を、特徴量記憶部630に格納する。

0064

ステップS670では、第三のパターン識別部663は、第三の特徴(上記の例では945次元の色特徴)と、識別パラメータ取得部650が取得した第三の識別パラメータと、の内積演算を行い、内積演算結果と、規定の閾値との大小比較を行う。この大小比較の結果、内積演算結果が規定の閾値以上となる場合には、より大きい次元数の色特徴に基づくパターン識別処理を行うべく、処理はステップS680に進む。一方、内積演算結果が規定の閾値未満である場合には、ステップS610で抽出したパターン画像には検索対象物は含まれていないと判断し、処理はステップS690に進む。この場合、ステップS690では、検索結果出力部700は、ステップS610で抽出したパターン画像には検索対象物は含まれていない旨を出力する。なお、この場合における検索結果出力部700の動作については特定の動作に限るものではなく、何もしなくても良い。ステップS670で使用する閾値についても、ステップS630で使用する閾値と同様に設定する。

0065

ステップS680では、第四のパターン識別部664は、第四の特徴(第一の特徴と第二の特徴と第三特徴とを連結した色特徴であり上記の例では1005次元の特徴)と、識別パラメータ取得部650が取得した第四の識別パラメータと、の内積演算を行う。ここで、第四の特徴は、上記のステップS620、ステップS640、ステップS660で特徴量記憶部630に格納した第一の特徴、第二の特徴、第三の特徴、を連結したもので、以下のように書き表せる。

0066

x=(x1,x2,x3)
ここで、x1,x2,x3,xはそれぞれ、第一の特徴、第二の特徴、第三の特徴、第四の特徴である。そして第四のパターン識別部664は、内積演算結果と、規定の閾値「0」との大小比較を行う。この大小比較の結果、内積演算結果が規定の閾値「0」以上となる場合には、ステップS610で抽出したパターン画像に検索対象物が含まれていると判断し、処理はステップS690に進む。この場合、ステップS690では、検索結果出力部700は、ステップS610で抽出したパターン画像に検索対象物が含まれている旨を出力する。一方、内積演算結果が規定の閾値未満である場合には、ステップS610で抽出したパターン画像には検索対象物は含まれていないと判断し、処理はステップS690に進む。この場合、ステップS690では、検索結果出力部700は、ステップS610で抽出したパターン画像には検索対象物は含まれていない旨を出力する。なお、この場合における検索結果出力部700の動作については特定の動作に限るものではなく、何もしなくても良い。

0067

ステップS610〜S690の一連の処理を、カメラ画像記憶部100から取得したパターン画像上の全ての位置に規定サイズの矩形領域を設定するまで繰り返す。即ち、該パターン画像上の全ての位置に対する矩形領域について、ステップS610〜S690の一連の処理を行う。

0068

以上説明した検索対象検出部600の動作は、換言すれば次のような処理である。識別器学習部500において抽出したそれぞれの特徴量の次元数(それぞれ異なる次元数)をD1、D2、…、DN(Nは2以上の整数)とし、且つD1<D2<…<DNであるとする。このとき、選択カメラによる撮像画像から抽出した次元数Di(1≦i<N−1)の特徴量と、該次元数Diの特徴量に対応する重みと、を用いて評価値E(i)を計算し、該評価値E(i)が閾値以上であれば、評価値E(i+1)を計算する。そして、評価値E(N)が閾値以上であれば、選択カメラによる撮像画像を検索結果として出力する。

0069

ここで、ステップS630、ステップS650、ステップS670において順次画像パターンの絞り込みを行うので、後段の識別処理ほど識別回数が少ない。また、識別器の構成を前段の識別処理ほど識別に用いる特徴の次元数を小さくし、演算量が少ない構成とした。したがって、演算量の多い識別処理ほど識別回数が少なくなるので効率の良い絞り込みができる。

0070

本実施形態では、前段の識別処理を色特徴による識別処理としたので、特定の服装色の人物の検索に好適である。また、本実施形態では、カメラ選択部400で選択したカメラに対応した背景画像を抽出し、クエリ画像と背景画像を用いて識別器を学習した。このように、カメラ毎に識別対象とする背景画像を切替えて学習することで、識別器の構成を必要以上に複雑にすることなく、カメラ毎に固有の識別器による効果的な絞り込みを行うことができる。

0071

[第2の実施形態]
第1の実施形態では、前段の識別処理を色特徴による識別処理とした。したがって、特定の服装色の人物の検索に好適である。しかしながら、検索対象の人物が色でなく、服装の模様に特徴のある場合には、前段の識別処理をエッジもとづく演算量の少ない特徴による識別処理とした方がよい。すなわち、検索対象に応じて特徴を選択してカスケード型識別器を構成するようにした方がよい。本実施形態ではこのような考え方にもとづいた構成とした。

0072

本実施形態では、識別器学習部500及び検索対象検出部600のみが第1の実施形態と異なり、それ以外については第1の実施形態と同様である。然るに以下では、第1の実施形態との差分、即ち、識別器学習部500及び検索対象検出部600について説明する。従って、以下の説明で特に触れない限りは、第1の実施形態と同様であるものとする。

0073

先ず、本実施形態に係る識別器学習部500の機能構成例について、図10のブロック図を用いて説明する。画像パターン取得部810は、クエリ画像取得部200から送出されたクエリ画像と、背景画像記憶部300から送出された背景画像と、をパターン画像として取得する。

0074

第一の特徴抽出部820は、画像パターン取得部810が取得したパターン画像から、高次元の色特徴、即ち、第1の実施形態で説明した第二の特徴を抽出する。第二の特徴抽出部830は、画像パターン取得部810が取得したパターン画像から、低次元のHOG特徴、即ち、第1の実施形態で説明した第三の特徴を抽出する。第三の特徴抽出部840は、画像パターン取得部810が取得したパターン画像から、高次元のHOG特徴、即ち、第1の実施形態で説明した第三の特徴よりも高次元のHOG特徴を抽出する。特徴量記憶部850は、第一の特徴抽出部820、第二の特徴抽出部830、第三の特徴抽出部840、のそれぞれで抽出した特徴を記憶する。SVM学習部860は、特徴量記憶部850に記憶されている特徴を用いて、識別器を学習する。識別器評価部870は、SVM学習部860で学習した識別器を評価し、評価結果に応じてカスケード型識別器を構成し、出力する。

0075

図10に示す構成を有する識別器学習部500が行う処理(ステップS400)の詳細について、図11を用いて説明する。ステップS810では上記のステップS510と同様に、画像パターン取得部810は、画像パターンと、該画像パターンがクエリ画像であるのかそれとも背景画像であるのかを示す画像ラベルと、を取得する。

0076

ステップS820では上記のステップS530と同様に、第一の特徴抽出部820は、画像パターン取得部810が取得したパターン画像から高次元の色特徴(第1の実施形態における第二の特徴)を抽出し、該高次元の色特徴を特徴量記憶部850に格納する。

0077

次に、ステップS830では、第二の特徴抽出部830は、画像パターン取得部810が取得したパターン画像から、低次元のHOG特徴(第1の実施形態における第三の特徴)を抽出し、該低次元のHOG特徴を特徴量記憶部850に格納する。

0078

ステップS840では、第三の特徴抽出部840は、画像パターン取得部810が取得したパターン画像から、第三の特徴よりも高次元のHOG特徴を、第五の特徴として抽出し、該第五の特徴を、特徴量記憶部850に格納する。「第三の特徴よりも高次元のHOG特徴」とは、例えば、第三の特徴よりもビン数を増やしたり、ブロック分割数を増やしたりして、あとは第三の特徴と同様の抽出方法により得ることができる。

0079

ステップS810〜S840の一連の処理は、選択カメラに係る全てのパターン画像について行われる。そして全てのパターン画像についてステップS810〜S840の処理が行われると、処理はステップS850に進む。

0080

ステップS850では上記のステップS560と同様に、SVM学習部560は、特徴量記憶部550に格納されている高次元の色特徴から第一の識別パラメータ(第1の実施形態における第二の識別パラメータに相当)を学習する。

0081

ステップS860では上記のステップS570と同様に、SVM学習部560は、特徴量記憶部550に格納されている低次元のHOG特徴から第二の識別パラメータ(第1の実施形態における第三の識別パラメータに相当)を学習する。

0082

ステップS870では、識別器評価部870は、ステップS850で学習した識別器(第一の識別パラメータ)とステップS860で学習した識別器(第二の識別パラメータ)と、を評価し、評価結果に応じてカスケード型識別器を構成する。

0083

すなわち、識別器評価部870は、特徴量記憶部850に記憶されている全ての学習サンプル(画像パターン)の色特徴と、ステップS850で学習した第一の識別パラメータと、から、それぞれの学習サンプルに対するラベルを推定する。そして、識別器評価部870は、学習サンプルごとに推定したラベルと、特徴量記憶部850に記憶されている該学習サンプルのラベルと、を比較し、ステップS850で学習した識別器の識別性能を評価する。例えば、学習サンプルごとに、該学習サンプルについて推定したラベルと、特徴量記憶部850に記憶されている該学習サンプルのラベルと、の一致/不一致を判断し、一致している割合を、ステップS850で学習した識別器の識別性能とする。即ち、一致数が多いほど識別性能は高くなる。なお、一致している割合の代わりに、類似度を採用しても構わない。

0084

また、識別器評価部870は、特徴量記憶部850に記憶されている全ての学習サンプル(画像パターン)の低次元のHOG特徴と、ステップS860で学習した第二の識別パラメータと、から、それぞれの学習サンプルに対するラベルを推定する。そして、識別器評価部870は、学習サンプルごとに推定したラベルと、特徴量記憶部850に記憶されている該学習サンプルのラベルと、を比較し、ステップS860で学習した識別器の識別性能を評価する。この識別性能の評価については先に説明した処理と同じである。

0085

そして、識別器評価部870は、ステップS850で学習した識別器の識別性能と、ステップS860で学習した識別器の識別性能と、を比較し、識別性能の高いほうを前段の識別器(カスケード接続された識別器群のうち最初に処理を開始する識別器)とする。そして識別器評価部870は、前段の識別器を学習するために用いた特徴の種別を示す情報と、該識別器に対応する識別パラメータと、を出力する。

0086

また、識別器評価部870は、識別性能の低いほうを後段の識別器(カスケード接続された識別器群のうち2番目に処理を開始する識別器)とする。そして識別器評価部870は、後段識別器を学習するために用いた特徴の種別を示す情報と、該識別器に対応する識別パラメータと、を出力する。

0087

このとき、色特徴とHOG特徴のように、抽出処理における演算量が異なる場合は、その演算量を考慮した重みを付けて(演算量が多いほど重みを大きくして)識別性能の比較を行うようにする。

0088

ステップS880では、SVM学習部560は、特徴量記憶部550に格納されている第五の特徴から第三の識別パラメータ(第1の実施形態における第三の識別パラメータとは異なる)を学習する。

0089

ステップS890では、SVM学習部560は、特徴量記憶部550に格納されている第四の特徴(第二の特徴と第三特徴と第五の特徴との連結特徴)から第四の識別パラメータを学習する。

0090

次に、本実施形態に係る検索対象検出部600の機能構成及びその動作については第1の実施形態(図8,9)と同様であるが、以下に説明する点のみが第1の実施形態と異なる。以下では、第1の実施形態との相違点について重点的に説明する。

0091

本実施形態では、第一の特徴抽出部621、第二の特徴抽出部622、第三の特徴抽出部623はそれぞれ、第一の特徴抽出部820,第二の特徴抽出部830,第三の特徴抽出部840と同様の動作を行う。

0092

そしてステップS620では、第一の特徴抽出部621、第二の特徴抽出部622のうち、識別器評価部870からの出力「前段の識別器を学習するために用いた特徴の種別を示す情報」が示す特徴を抽出する抽出部が特徴抽出を行う。例えば、前段の識別器を学習する為に用いた特徴が高次元の色特徴である場合には、第一の特徴抽出部621が特徴抽出を行う。

0093

ステップS630では、第一のパターン識別部661、第二のパターン識別部662のうち、ステップS620で特徴抽出を行った抽出部に対応するパターン識別部がパターン識別を行う。例えば、ステップS620で第一の特徴抽出部621が特徴抽出を行った場合には、第一のパターン識別部661がパターン識別を行う。そして第1の実施形態と同様、内積演算結果が規定の閾値以上となる場合には、処理はステップS640に進む。一方、内積演算結果が規定の閾値未満である場合には、ステップS610で抽出したパターン画像には検索対象物は含まれていないと判断し、処理はステップS690に進む。

0094

ステップS640では、第一の特徴抽出部621、第二の特徴抽出部622のうち、識別器評価部870からの出力「後段の識別器を学習するために用いた特徴の種別を示す情報」が示す特徴を抽出する抽出部が特徴抽出を行う。例えば、後段の識別器を学習する為に用いた特徴が高次元の色特徴である場合には、第一の特徴抽出部621が特徴抽出を行う。

0095

ステップS650では、第一のパターン識別部661、第二のパターン識別部662のうち、ステップS640で特徴抽出を行った抽出部に対応するパターン識別部がパターン識別を行う。そして第1の実施形態と同様、内積演算結果が規定の閾値以上となる場合には、処理はステップS660に進む。一方、内積演算結果が規定の閾値未満である場合には、ステップS610で抽出したパターン画像には検索対象物は含まれていないと判断し、処理はステップS690に進む。

0096

ステップS660では、第三の特徴抽出部623は、ステップS610で抽出したパターン画像から第五の特徴を抽出し、該第五の特徴を、特徴量記憶部630に格納する。ステップS670では、第三のパターン識別部663は、第五の特徴と、識別パラメータ取得部650が取得した第三の識別パラメータと、の内積演算を行い、内積演算結果と、規定の閾値との大小比較を行う。この大小比較の結果、内積演算結果が規定の閾値以上となる場合には、処理はステップS680に進む。一方、内積演算結果が規定の閾値未満である場合には、ステップS610で抽出したパターン画像には検索対象物は含まれていないと判断し、処理はステップS690に進む。

0097

ステップS680では、第四のパターン識別部664は、第四の特徴(ステップS620、S640、S660で抽出した特徴群を連結したもの)と、識別パラメータ取得部650が取得した第四の識別パラメータと、の内積演算を行う。以降は第1の実施形態と同様である。

0098

以上説明した検索対象検出部600の動作は、換言すれば次のような処理である。識別器学習部500において抽出したそれぞれの特徴量の次元数(それぞれ異なる次元数)をD1、D2、…、DN(Nは2以上の整数)とし、且つD1<D2<…<DNであるとする。このとき、次元数D1、D2、…、DNのそれぞれについて、該次元数の特徴量を用いて学習した前記識別器の識別評価を行う。ここで、次元数D1、D2、…、DNを識別評価の低い順に並べた結果を、D’1、D’2、…、D’Nとする。このとき、選択カメラによる撮像画像から抽出した次元数D’i(1≦i<N−1)の特徴量と、該次元数D’iの特徴量に対応する重みと、を用いて評価値E(i)を計算し、該評価値E(i)が閾値以上であれば、評価値E(i+1)を計算する。そして、評価値E(N)が閾値以上であれば、選択カメラによる撮像画像を検索結果として出力する。

0099

以上説明したように、本実施形態では、色特徴およびHOG特徴の2種類の特徴を夫々学習し、学習した識別器の性能を学習サンプルを用いて比較した。そして、識別性能の高い特徴で学習した識別器を前段識別器、識別性能の低い特徴で学習した識別器を後段識別器とし、検出処理を行うようにした。

0100

このようにカスケード型識別器の学習において、複数種類の特徴量から識別性能が高い特徴量を順次選択するようにしたので、検索対象に固有の特徴量による効果的な絞り込みを行うことができる。

0101

なお、以上の実施形態において、識別器学習部500における学習機械としてSVMを用いるようにした。SVMは一般的に汎化性能が強く、学習サンプルが少ない場合に好適な学習機械である。本実施形態では、検出対象のサンプルをクエリ画像取得部200で取得し、検出対象でないサンプルとして背景画像記憶部300に記憶されている背景画像を用いているので、必ずしも学習サンプル数を十分な個数確保できない。このような条件下ではSVMによる識別器の学習は有効である。しかしながら、SVMは識別器学習部500に適用可能な学習機械の一例であり、その他の学習機械、例えば、アダブーストや分類木等を用いてもよい。

0102

また、以上の実施形態において、背景画像として人物の写っていない画像を用いて学習するようにしたが、必ずしもこれに限定されるものではない。本質は、図4のQに示したような人物画像と異なるカメラ固有の背景パターンを区別して学習することであるから、例えば、画像パターンの一部に部分的に人物が写っていても構わない。

0103

[第3の実施形態]
図1に示した各機能部は何れもハードウェアで構成しても良いが、一部をソフトウェアコンピュータプログラム)で構成しても良い。この場合、背景画像記憶部300、カメラ画像記憶部100、特徴量記憶部550、630、850(保持機能のみ)をメモリとして有し、且つそれ以外の機能部に対応するソフトウェアを実行可能な装置であれば、画像検索装置1000に適用可能である。

0104

画像検索装置1000に適用可能であるPC(パーソナルコンピュータ)等の装置のハードウェア構成例について、図12のブロック図を用いて説明する。なお、図12に示した構成はあくまでも一例であり、様々な構成が考え得る。

0105

CPU(Central Processing Unit)1は、記憶装置2に格納されているコンピュータプログラムやデータを用いて本装置全体の動作制御を行うと共に、画像検索装置1000が行うものとして上述した各処理を実行する。

0106

記憶装置2は、磁気記憶装置半導体メモリ等のストレージデバイスであり、背景画像記憶部300、カメラ画像記憶部100、特徴量記憶部550、630、850のデータ保持機能を実現させるためのものである。記憶装置2には、OS(オペレーティングシステム)や、図3,6,9,11のフローチャートに従った処理をCPU1に実行させるためのコンピュータプログラムやデータが格納されている。このコンピュータプログラムには、背景画像記憶部300、カメラ画像記憶部100、特徴量記憶部550、630、850のデータ保持機能以外の機能をCPU1に実現させるためのコンピュータプログラムが含まれている。また、背景画像記憶部300、カメラ画像記憶部100、特徴量記憶部550、630、850以外の各機能部が行うものとして上述した各処理をCPU1に実行させる為のコンピュータプログラムも含まれている。また、このデータには、上述の説明において既知の情報として取り扱ったデータが含まれている。

0107

然るにCPU1が記憶装置2に格納されているコンピュータプログラムやデータを用いて処理を実行することで、CPU1は、画像検索装置1000が行うものとして上述した各処理を実行することになる。

0108

入力装置3は、マウス、キーボードタッチパネルデバイス、ボタン等の入力インターフェースであり、本装置の操作者が操作することで、各種の指示をCPU1に入力することができる。例えば、上記の実施形態で説明したユーザ入力は、操作者がこの入力装置3を操作することでCPU1に対して入力することができる。

0109

出力装置4は、CRT液晶画面などにより構成されており、CPU1による処理結果を画像や文字などでもって表示することができる。例えば、検索結果出力部700により出力された情報は、この出力装置4の表示画面に表示される。なお、出力装置4は、表示装置に限るものではなく、紙などの記録媒体上に印刷を行う機器であっても構わない。

0110

I/F(インターフェース)5は、上記のカメラ群と本装置との間の通信を行うためのインターフェースであり、本装置はこのI/F5を介してそれぞれのカメラから撮像画像を取得する。上記の各部は共通のバス6に接続されている。

0111

なお、本装置は、例えば、各種の装置間で通信を行うためのI/O装置を備えてもよい。例えば、I/O装置は、メモリーカードUSBケーブル等の入出力部、有線無線等による送受信部である。

0112

(その他の実施例)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

0113

400:カメラ選択部 300:背景画像記憶部 200:クエリ画像取得部 500:識別器学習部 600:検索対象検出部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • アースアイズ株式会社の「 監視装置、監視システム、及び、監視方法」が 公開されました。( 2020/09/24)

    【課題】2次元画像を用いた監視装置において、監視対象とした「人」が行う監視対象とした「物」に対する不定形な一般的動作を抽出して、監視対象とした「人」が、監視対象とした「物」に対して不審度の高い所定の行... 詳細

  • 富士ゼロックス株式会社の「 データ管理システム」が 公開されました。( 2020/09/24)

    【課題】階層構造になっている管理システムにおいて、管理対象データの実体を最上位の装置が全て管理する場合と比較して、管理対象データがユーザの意図しない装置に提供されないシステムを提供する。【解決手段】管... 詳細

  • ソニー株式会社の「 情報処理装置、情報処理方法、およびプログラム」が 公開されました。( 2020/09/24)

    【課題・解決手段】本技術は、複数人のユーザが皆満足できる空間を提供することができるようにする情報処理装置、情報処理方法、およびプログラムに関する。分析部は、複数人のユーザが存在する環境におけるセンシン... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ