図面 (/)

技術 画像照合装置、画像検索システム、画像照合方法、画像検索方法およびプログラム

出願人 キヤノン株式会社
発明者 矢野光太郎佐藤博
出願日 2014年5月20日 (5年2ヶ月経過) 出願番号 2014-104004
公開日 2015年12月7日 (3年8ヶ月経過) 公開番号 2015-219797
状態 特許登録済
技術分野 イメージ分析 イメージ処理・作成 検索装置
主要キーワード 統合パラメータ マラソン選手 マラソンコース 統合類似度 重み付き総和 文字テンプレート パラメータ学習 タッチパネルデバイス
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2015年12月7日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (11)

課題

複数のカメラ映像から特定の人物検索する画像検索システムなどにおいて、撮影条件カメラ設置条件が異なっても高精度の人物照合が行える画像照合装置などを提供すること。

解決手段

照合対象オブジェクトに関する特徴量を画像から抽出する特徴抽出手段と、第一および第二の画像から前記特徴抽出手段によって抽出された特徴量の類似度を算出する類似度算出手段と、第一および第二の画像中のオブジェクトが同一か否かを推定する推定手段と、前記推定手段の推定結果と前記類似度算出手段によって算出された類似度とから前記類似度算出手段で類似度を算出するためのパラメータを学習するパラメータ学習手段とを備える。

概要

背景

近年、大量の画像の中から特定のオブジェクトが写った画像を検索する画像検索システムが提案されている。このような画像検索システムの中でも特定の人物を検索することは特に有用である。その一つの用途として市民マラソンに参加した人物の顔写真を予め登録しておき、マラソンコースの複数のポイント撮影した写真の中から登録した人物を検索し、参加者に写真を提供するサービスがある。

ここで人物写真の検索において顔画像照合処理を利用できるが、コース上の各撮影ポイントにおいて照明条件が夫々異なるため、画像の明るさや色、陰影等の影響を受け、顔の照合が困難になる。また、撮影ポイントによっては、正面からの撮影ができないために、斜め方向から撮影した顔画像を照合しなければならないと言った問題もある。一方、顔以外の照合によって人物写真を検索することも考えられる。

一つの方法は人物のゼッケン番号を認識することであるが、ゼッケンが見えていないような画像の検索はできない。また、服装の色や模様によって照合することも考えられるが、照明条件が異なる画像間では顔の照合以上にその影響を受けてしまう。以上のことを考えると、ゼッケン番号や服装も照合の一手段として用いるが、性能の良い顔照合処理と組み合わせるのが良いことは明白である。

人物画像を検索するために顔の照合を行うシステムとして、例えば、非特許文献1の方法がある。ここでは、インターネット画像検索を利用して、名前を入力することで有名人の顔画像を予め複数収集し、収集した顔画像から特定人物顔モデルを学習することで、ビデオ映像から人物検索を行っている。しかしながら、非特許文献1の方法では多数の顔画像をインターネットから収集することを前提としているため、検索対象が有名人に限定される。また、登録した顔写真と撮影時の条件の違いに対する本質的な問題を解決していない。

概要

複数のカメラ映像から特定の人物を検索する画像検索システムなどにおいて、撮影条件カメラ設置条件が異なっても高精度の人物照合が行える画像照合装置などを提供すること。照合対象のオブジェクトに関する特徴量を画像から抽出する特徴抽出手段と、第一および第二の画像から前記特徴抽出手段によって抽出された特徴量の類似度を算出する類似度算出手段と、第一および第二の画像中のオブジェクトが同一か否かを推定する推定手段と、前記推定手段の推定結果と前記類似度算出手段によって算出された類似度とから前記類似度算出手段で類似度を算出するためのパラメータを学習するパラメータ学習手段とを備える。

目的

その一つの用途として市民マラソンに参加した人物の顔写真を予め登録しておき、マラソンコースの複数のポイントで撮影した写真の中から登録した人物を検索し、参加者に写真を提供する

効果

実績

技術文献被引用数
0件
牽制数
1件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

照合対象オブジェクトに関する特徴量を画像から抽出する特徴抽出手段と、前記特徴抽出手段によって第一の画像から抽出された特徴量と第二の画像から抽出された特徴量との類似度を算出する類似度算出手段と、前記第一の画像中のオブジェクトと前記第二の画像中のオブジェクトとが同一か否かを推定する推定手段と、前記推定手段の推定結果と前記類似度算出手段によって算出された類似度とから前記類似度算出手段で類似度を算出するためのパラメータを学習するパラメータ学習手段とを備えることを特徴とする画像照合装置

請求項2

前記特徴抽出手段は、照合対象のオブジェクトに関する複数の特徴量を画像から抽出し、前記類似度算出手段は、部分類似度算出手段と類似度統合手段とを備え、前記部分類似度算出手段は、前記特徴抽出手段によって前記第一の画像から抽出された複数の特徴量の夫々と前記特徴抽出手段によって前記第二の画像から抽出された複数の特徴量の夫々との、対応する特徴量毎の類似度を算出し、前記類似度統合手段は、前記部分類似度算出手段によって算出された特徴量毎の類似度を統合し、前記推定手段は、前記類似度統合手段によって統合された類似度に基づいて、前記第一の画像中のオブジェクトと前記第二の画像中のオブジェクトとが同一か否かを推定し、前記パラメータ学習手段は、前記推定手段の推定結果と前記部分類似度算出手段によって算出された特徴量毎の類似度とから前記類似度統合手段のパラメータを学習することを特徴とする請求項1に記載の画像照合装置。

請求項3

前記特徴抽出手段によって抽出される特徴量が、画像の局所領域から抽出した特徴量を含むことを特徴とする請求項2に記載の画像照合装置。

請求項4

前記特徴抽出手段によって抽出される特徴量が、オブジェクトの属性に関する特徴量を含むことを特徴とする請求項2又は3に記載の画像照合装置。

請求項5

前記第一の画像を取得した撮像装置識別子を取得する撮像装置識別子取得手段をさらに備え、前記パラメータ学習手段は、前記撮像装置識別子取得手段が取得した識別子毎に前記類似度統合手段のパラメータを学習することを特徴とする請求項1から4のいずれか1項に記載の画像照合装置。

請求項6

請求項1から5のいずれか1項に記載の画像照合装置と、前記第二の画像を登録する画像登録手段と、前記画像照合装置によって夫々算出された複数の前記第一の画像の夫々と前記第二の画像との類似度に基づいて前記第一の画像を順位付けして出力する検索結果出力手段とを備えることを特徴とする画像検索システム

請求項7

照合対象のオブジェクトに関する特徴量を第一の画像および第二の画像の夫々から抽出する特徴抽出ステップと、前記特徴抽出ステップにおいて第一の画像から抽出された特徴量と第二の画像から抽出された特徴量との類似度を算出する類似度算出ステップと、前記第一の画像中のオブジェクトと前記第二の画像中のオブジェクトとが同一か否かを推定する推定ステップと、前記推定ステップにおいて得られた推定結果と前記類似度算出ステップにおいて算出された類似度とから前記類似度算出ステップで類似度を算出するためのパラメータを学習するパラメータ学習ステップとを備えることを特徴とする画像照合方法

請求項8

複数の第一の画像を撮像する撮像ステップと、第二の画像を登録する画像登録ステップと、請求項7に記載の画像照合方法において夫々算出した複数の前記第一の画像の夫々と前記第二の画像との類似度から前記第一の画像を順位付けして出力する検索結果出力ステップとを備えることを特徴とする画像検索方法

請求項9

コンピュータを、請求項1から5のいずれか1項に記載の画像照合装置の各手段として機能させるためのコンピュータプログラム

請求項10

コンピュータを、請求項6に記載の画像検索システムの各手段として機能させるためのコンピュータプログラム。

技術分野

背景技術

0002

近年、大量の画像の中から特定のオブジェクトが写った画像を検索する画像検索システムが提案されている。このような画像検索システムの中でも特定の人物を検索することは特に有用である。その一つの用途として市民マラソンに参加した人物の顔写真を予め登録しておき、マラソンコースの複数のポイント撮影した写真の中から登録した人物を検索し、参加者に写真を提供するサービスがある。

0003

ここで人物写真の検索において顔画像照合処理を利用できるが、コース上の各撮影ポイントにおいて照明条件が夫々異なるため、画像の明るさや色、陰影等の影響を受け、顔の照合が困難になる。また、撮影ポイントによっては、正面からの撮影ができないために、斜め方向から撮影した顔画像を照合しなければならないと言った問題もある。一方、顔以外の照合によって人物写真を検索することも考えられる。

0004

一つの方法は人物のゼッケン番号を認識することであるが、ゼッケンが見えていないような画像の検索はできない。また、服装の色や模様によって照合することも考えられるが、照明条件が異なる画像間では顔の照合以上にその影響を受けてしまう。以上のことを考えると、ゼッケン番号や服装も照合の一手段として用いるが、性能の良い顔照合処理と組み合わせるのが良いことは明白である。

0005

人物画像を検索するために顔の照合を行うシステムとして、例えば、非特許文献1の方法がある。ここでは、インターネット画像検索を利用して、名前を入力することで有名人の顔画像を予め複数収集し、収集した顔画像から特定人物顔モデルを学習することで、ビデオ映像から人物検索を行っている。しかしながら、非特許文献1の方法では多数の顔画像をインターネットから収集することを前提としているため、検索対象が有名人に限定される。また、登録した顔写真と撮影時の条件の違いに対する本質的な問題を解決していない。

先行技術

0006

Parkhiら.On-the-fly specific person retrieval.International Workshop on Image Analysis for Multimedia Interactive Services(2012)
Viola and Jones. Rapid Object Detection using Boosted Cascade of Simple Features. Proceedings of theIEEE Conference on Computer Vision and Pattern Recognition (2001)
Zhu and Ramanan. Face Detection, Pose Estimation, and Landmark Localization in the Wild. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (2012)
Dalal and Triggs. Histograms of Oriented Gradients for Human Detection. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (2005)

発明が解決しようとする課題

0007

本発明の目的は、前記問題点を解決すべく、複数のカメラ映像から特定の人物を検索する画像検索システムにおいて、撮影条件カメラ設置条件が異なっても高精度の人物照合が行える画像照合装置および方法を提供することである。

課題を解決するための手段

0008

本発明の目的を達成するために、本発明の画像照合装置は以下の構成を備える。
すなわち、照合対象のオブジェクトに関する特徴量を画像から抽出する特徴抽出手段と、
前記特徴抽出手段によって第一の画像から抽出された特徴量と第二の画像から抽出された特徴量との類似度を算出する類似度算出手段と、
前記第一の画像中のオブジェクトと前記第二の画像中のオブジェクトとが同一か否かを推定する推定手段と、
前記推定手段の推定結果と前記類似度算出手段によって算出された類似度とから前記類似度算出手段で類似度を算出するためのパラメータを学習するパラメータ学習手段とを備えることを特徴とする。

0009

また、本発明の画像検索システムは、前記画像照合装置に加え、前記第二の画像を登録する画像登録手段と、前記画像照合装置によって夫々算出された複数の前記第一の画像の夫々と前記第二の画像との類似度に基づいて前記第一の画像を順位付けして出力する検索結果出力部とを備えることを特徴とする。

発明の効果

0010

本発明では、第一および第二の画像中のオブジェクトが同一か否かを推定し、推定結果から画像間の照合に用いる統合パラメータカメラ毎に学習するようにした。これにより、第一および第二の画像を取得するカメラ撮像条件設置条件の違いに応じた有効な特徴量を優先的に利用できるようにした。したがって、撮影条件やカメラ設置条件が異なっても高精度の人物照合が行える画像照合装置および方法を提供することができる。また、それを用いた画像検索システムを提供することができる。

図面の簡単な説明

0011

本発明の第一の実施形態の画像照合装置の機能構成を示す図
本発明の第一の実施形態の画像検索システムの構成を示す図
本発明の第一の実施形態の画像検索システムの画像照合および画像検索処理の流れを示す図
顔特徴抽出処理の流れを示す図
顔画像の局所領域の例を説明する図
類似度算出処理の流れを示す図
本発明の第一の実施形態の統合パラメータの学習の流れを示す図
本発明の第二の実施形態の画像照合装置の機能構成を示す図
本発明の第二の実施形態の統合パラメータの学習の流れを示す図
本発明の実施形態の画像照合装置および画像検索システムのハードウェア構成を示す図

実施例

0012

(第一の実施形態)
以下、本発明に係る実施形態について図面にもとづいて説明する。
図10は本実施形態に係る画像検索システムのハードウェア構成を示す図である。画像照合装置および画像検索システムは、CPU(Central Processing Unit)1、記憶装置2、入力装置3、及び出力装置4を含んで構成される。なお、各装置は、バス5等により互いに通信可能に接続されている。

0013

CPU1は、画像照合装置および画像検索システムの動作をコントロールし、記憶装置2に格納されたプログラムの実行等を行う。記憶装置2は、磁気記憶装置半導体メモリ等のストレージデバイスであり、CPU1の動作にもとづき読み込まれたプログラム、長時間記憶しなくてはならないデータ等を記憶する。本実施形態では、CPU1が、記憶装置2に格納されたプログラムの手順に従って処理を行うことによって、画像照合装置および画像検索システムにおける機能及び後述するフローチャートに係る処理が実現される。

0014

入力装置3は、マウスキーボードタッチパネルデバイス、ボタン等であり、各種の指示を入力する。出力装置4は、液晶パネル外部モニタ等であり、各種の情報を出力する。
なお、画像照合装置および画像検索システムのハードウェア構成は、上述した構成に限られるものではない。例えば、画像照合装置および画像検索システムは、各種の装置間で通信を行うためのI/O装置を備えてもよい。例えば、I/O装置は、メモリーカードUSBケーブル等の入出力部、有線無線等による送受信部である。

0015

図2に示すように、本実施形態の画像照合装置100は複数のカメラ(撮像装置)11、12、…、1Nと有線、あるいは、無線により接続されている。また、画像照合装置100は画像登録部20、検索結果出力部30とともに画像検索システムを構成する。カメラ11、12、…、1Nは夫々設置した各ポイントにおいて画像を撮影する。画像登録部20は検索に用いる人物の顔画像を人物に紐付けられた識別子とともに登録する。画像照合装置100は画像登録部20で登録した画像とカメラ11、12、…、1Nで撮影した画像とを照合し、類似度を出力する。検索結果出力部30は画像照合装置100で夫々算出したカメラ11、12、…、1Nで撮影した複数の画像の夫々と画像登録部20で登録した画像との類似度から撮影した画像を順位付けして出力する。

0016

図1は、本発明の第一の実施形態に係る画像照合装置100の機能構成を示す図である。画像照合装置100の処理及び機能は、図1に示す各部により実現される。
登録画像記憶部110は、画像登録部20で登録した画像を人物の識別子と関連付けて記憶する。本実施形態では人物の識別子はマラソン選手のゼッケン番号を表す。
カメラ画像記憶部120は、カメラ11、12、…、1Nで撮影した夫々の画像を記憶する。記憶されている各画像は撮影に使用したカメラ、撮影時刻対応付けて管理する。

0017

物体検出部130は、登録画像記憶部110、カメラ画像記憶部120に記憶されている画像から特定の物体を検出する。本実施形態では人物の顔を検出する。
顔特徴抽出部140は、照合対象のオブジェクトに関する特徴量を画像から抽出する特徴抽出手段の一例である。顔特徴抽出部140は、物体検出部130で検出した顔の特徴を抽出する。本実施形態では顔の特徴は顔画像中の局所領域から抽出した複数の特徴量である。
部分類似度算出部150は、登録画像記憶部110とカメラ画像記憶部120に記憶されている画像から顔特徴抽出部140で夫々抽出した顔特徴の類似度を算出する。特徴量毎の類似度(例えば、登録画像の右目とカメラ画像の右目との類似度、登録画像の左目とカメラ画像の左目との類似度など)を算出する。

0018

類似度統合部160は、部分類似度算出部150によって算出した複数の類似度を統合する。
番号抽出部170は、物体検出部130で検出した顔の位置情報をもとにカメラ画像記憶部120に記憶されている画像から人物の番号を抽出する。本実施形態ではマラソン選手のゼッケン番号を抽出する。
ベル推定部180は、登録画像記憶部110に記憶されている画像の人物の識別子と番号抽出部170で抽出した人物の番号が一致しているか否かを照合し、登録画像とカメラ画像中の人物とが同一人物か否かのラベルを付ける。

0019

カメラ識別子取得部190は、撮像装置識別子取得手段の一例である。カメラ識別子取得部190は、カメラ画像記憶部120に記憶されている各画像に関連付けられたカメラの識別子を取得する。
パラメータ学習部200は、「推定手段の推定結果」と「類似度算出手段によって算出された類似度」とから「類似度算出手段で類似度を算出するためのパラメータ」を学習するパラメータ学習手段の一例である。パラメータ学習部200は、部分類似度算出部150によって算出した特徴量の類似度とラベル推定部180によって推定したラベルとからカメラ識別子毎に類似度統合部160で用いる統合パラメータを学習する。

0020

以下、本実施形態の動作について説明する。図3に画像照合および画像検索処理の流れの概略を示す。なお、本実施形態の動作を行うにあたって、予め登録画像およびカメラ画像が夫々登録画像記憶部110、カメラ画像記憶部120に記憶されているとする。
まず、登録画像記憶部110に記憶されている画像から検索したい人物の画像(以下、登録画像と称す)が入力装置3によって選択される(S100)。

0021

次に、物体検出部130、および、顔特徴抽出部140によって登録画像から顔特徴を抽出する(S200)。顔特徴抽出処理の詳細については後述する。
次に、カメラ画像記憶部120に記憶されている画像(以下、カメラ画像と称す)を所定の順に沿って読み出す(S300)。カメラ画像記憶部120には、カメラ11、12、…、1Nで撮影した各画像に対して撮影に使用したカメラ、撮影時刻に対応付けて管理されている。ここでは、カメラ11、12、…、1Nの順に夫々のカメラを使用して撮影したカメラ画像が所定の検索範囲の中で時系列に過去の画像から読み出されるものとする。読み出したカメラ画像に対して図3のS400〜S600の処理が行われる。

0022

物体検出部130、および、顔特徴抽出部140によって前述のS200と同様にしてカメラ画像から顔特徴を抽出する(S400)。
次に、部分類似度算出部150、および、類似度統合部160によってS200で抽出した登録画像の顔特徴とS400で抽出したカメラ画像の顔特徴との類似度を算出する(S500)。類似度算出処理の詳細については後述する。画像照合装置100は求めた顔画像間の類似度を出力する。

0023

そして、検索結果出力部30は画像照合装置100で求めた顔画像間の類似度からカメラ画像を順位付けして出力する(S600)。すなわち、既に得られた他のカメラ画像との類似度と比較し、類似度が大きい順にカメラ画像を出力装置4に表示する。
S300〜S600の処理が順次繰り返して行われる。なお、カメラ画像中に複数の人物が存在する場合には、それぞれの人物の顔画像についてS400〜S500の処理を行って類似度を算出する。この場合、カメラ画像中には同一人物は複数存在しえないため、S600においてはカメラ画像中の複数の顔画像の中で類似度が最も高い顔画像の類似度をそのカメラ画像の代表類似度としてカメラ画像を順位付けする。

0024

本実施形態では顔特徴の類似度のみにもとづいて人物画像を検索するようにしたが、カメラ画像からゼッケン番号を認識して顔特徴の類似度と組合せて検索するようにすれば、より高精度に検索を行うことができる。顔特徴抽出処理S400および類似度算出処理S500と並行して、番号抽出部170でカメラ画像からゼッケン番号を抽出する。例えば、物体検出部130で検出した顔領域と所定の位置関係にある領域を文字検出対象領域として設定し、設定した領域内で文字テンプレートとの画像照合を行う。

0025

ここで用いる文字テンプレートは数字0〜9、および、A〜Zの大文字アルファベットである。これらの複数の文字テンプレートとの照合結果を統合した文字列をゼッケン番号とする。そして、ゼッケン番号が抽出できた場合には、登録画像記憶部110において登録画像と関連付けて記憶されている人物の識別子(ここではゼッケン番号)と比較する。そして、登録画像とカメラ画像のゼッケン番号が一致する場合は、S600でこのカメラ画像が上位に来るようにする。

0026

<顔特徴抽出処理の詳細>
図4に顔特徴抽出処理の流れを示す。本処理での入力は登録画像、または、カメラ画像であり、画像中の顔の特徴量を出力する。
まず、物体検出部130によって入力画像から顔の領域を矩形領域として検出する(S210)。顔の検出には非特許文献2にあるような方法を用いる。顔画像の検索対象として比較的画質の良いものに限定するような場合には、顔の検出範囲を所定の大きさ以上に限定することで処理を効率化することができる。検出した顔領域は画像データに関連付けて、その画像中の位置座標を記録しておく。ここで、画像中から顔が検出されなかった場合には後続する処理をスキップする。

0027

次に、画像中の顔領域の位置にもとづいて顔特徴抽出部140で複数の局所画像を取得する(S220)。
図5を用いて取得する局所画像の例を説明する。図5において実線の矩形RをS210で検出した顔領域とする。この例では顔領域中の矩形領域P1〜P5(右目がP1、左目がP2、がP3、口右半分がP4、口左半分がP5に相当)の画像を、顔領域との予め定めた位置関係(例えば、顔領域の中心座標に対する相対的位置関係)から局所画像として取得する。なお、局所領域は図5の例に限らず、左右両目、口全体、額部分等を追加してもよい。

0028

また、顔領域から目尻目頭、口の左右端点と言った顔特徴点を検出し、検出した顔特徴点の位置座標との関係から局所画像を取得するようにしてもよい。非特許文献2にあるような顔検出方法では検出した顔領域と顔の各パーツとの位置関係が顔の向きによって変わるため、顔特徴点の位置にもとづいて局所画像を取得する方が精度がよい。顔特徴点の位置を検出する方法としては非特許文献3にあるような方法を用いる。
次に、顔特徴抽出部140を用いて取得した局所画像の夫々から局所特徴を抽出し、顔特徴とする(S230)。顔特徴としては例えば、非特許文献4にあるような勾配方向ヒストグラム特徴(Histograms of Oriented Gradients)を用いる。

0029

<類似度算出処理の詳細>
図6に類似度算出処理の流れを示す。本処理では登録画像およびカメラ画像の顔特徴(局所特徴)を入力し、顔画像間の類似度を出力する。
まず、S200およびS400で得た登録画像およびカメラ画像の局所特徴を取得する(S510)。ここでは、例えば、図5に示したP1の局所領域の特徴を得る。
次に、S510で得た2つの特徴の類似度を部分類似度算出部150を用いて求める(S520)。例えば、2つの特徴をベクトルと見做した時の特徴ベクトルの差の2乗ノルムを類似度として計算する。

0030

S510〜S520の処理が、局所特徴毎に順次繰り返して行われ、局所領域の数だけ類似度が得られる。
次に、局所特徴の類似度を統合するための統合パラメータを取得する(S530)。ここで、統合パラメータは予めカメラ毎に学習されたパラメータであり、撮影に使用したN台のカメラのそれぞれに応じて取得する。統合パラメータの学習方法については後述する。
次に、S530で取得した統合パラメータを用いて類似度統合部160で局所特徴の類似度を統合する(S540)。ここで、顔画像間の各局所特徴の類似度をsk(k=1,2,…,N)、統合パラメータをwk(k=1,2,…,N)とするとき、以下の(式1)のように統合類似度sを重み付き総和として求める。Nは局所領域の数である。

0031

0032

本実施形態では、例えば、正面でなく左向きの顔を撮影するようなポイントに設置されたカメラで撮影した画像では右目や口右半分の領域での特徴を統合時に重視するように動作する(右目や口右半分の領域に対応する統合パラメータwkを大きくする)。これにより、精度の高い統合類似度sが得られる。

0033

<統合パラメータの学習方法>
図7に統合パラメータの学習の流れを示す。統合パラメータの学習を行うにあたって、予め登録画像およびカメラ画像が夫々登録画像記憶部110、カメラ画像記憶部120に記憶されているとする。なお、以下ではカメラ11で撮影した顔画像を照合する際の統合パラメータを学習する例について説明する。他のカメラにおける統合パラメータの学習も同様に行う。

0034

まず、登録画像を1つ選択し、物体検出部130、および、顔特徴抽出部140によって登録画像から顔特徴を抽出する(S1100)。これは照合処理時のS200と同様の処理である。登録画像記憶部110に記憶されている全ての画像についてこの処理を繰返し、登録画像の顔特徴を得る。
次に、カメラ画像を1つ読み出す(S1200)。ここで、読み出したカメラ画像の識別子をカメラ識別子取得部190によって取得し、読み出した画像がカメラ11で撮影されたものかどうかを識別子から判定する。カメラ11で撮影された画像の場合は後続するS1300〜S1500の処理を行うが、それ以外は処理をスキップする。

0035

次に、物体検出部130によってカメラ画像から顔の領域を矩形領域として検出する(S1300)。これは照合処理時のS210と同様の処理である。
次に、番号抽出部170によってカメラ画像からゼッケン番号を抽出する(S1400)。これは照合処理で説明したゼッケン番号抽出と同様の処理である。ここでゼッケン番号が抽出されなかった場合は後続するS1500の処理をスキップする。また、カメラ画像から複数の顔が検出され、夫々の顔画像に対してゼッケン番号が抽出された場合は、夫々の顔画像に対して抽出したゼッケン番号を記録しておく。

0036

次に、画像中の顔領域の位置にもとづいて顔特徴抽出部140を用いて複数の局所画像を取得し、顔特徴を抽出する(S1500)。これは照合処理時のS220〜S230と同様の処理である。
カメラ画像記憶部120に記憶されている全てのカメラ画像について、S1200〜S1500の処理を繰返し、カメラ画像中の顔についてゼッケン番号と顔特徴を得る。

0037

次に、登録画像とカメラ画像中の顔画像における顔特徴の組合せを1つ設定する(S1600)。
そして、登録画像と関連付けて記憶されている人物の識別子とカメラ画像中の顔のゼッケン番号とをラベル推定部180を用いて比較し、番号が一致するならば同一人物、一致しない場合は別人物のラベルを付ける(S1700)。例えば、ラベルは1ビットの符号0または1で表現し、同一人物を1、別人物を0とする。
次に、登録画像とカメラ画像中の顔画像の局所特徴毎の類似度を部分類似度算出部150によって算出する(S1800)。これは照合処理時のS520と同様の処理である。
S1600〜S1800の処理を登録画像とカメラ画像中の顔画像の全ての組合せについて繰返し、局所特徴毎の類似度と推定ラベルの組を得る。
次に、求めた局所特徴の類似度と推定ラベルを用いてパラメータ学習部200で統合パラメータを学習する(S1900)。ここで、パラメータw={w1,w2,…,wN}は以下の(式2)の最適化によって求める。つまり、パラメータwは(式3)のEが最小となるようなパラメータwkの集合である。

0038

0039

但し、(式3)のxiは局所特徴の類似度を結合したベクトルx={s1,s2,…,sN}の1つであり、yiはその推定ラベルであり、iは学習に使用される顔画像のインデックスであり、Mは学習に使用される顔画像のサンプル数である。(式3)において()内の第1項は、パラメータwとベクトルxiとの内積である。
登録画像中の人物とカメラ画像中の人物が同一人物である場合、パラメータwと局所特徴の類似度の内積は1に近い値となり、ラベルyiが1であるから()の2乗は0に近い値となる。
また、登録画像中の人物とカメラ画像中の人物が別人物である場合、パラメータwと局所特徴の類似度の内積は0に近い値となり、ラベルyiが0であるから()の2乗は0に近い値となる。
この方法の他にもパラメータの学習にはサポートベクターマシンを用いて推定してもよい。
他のカメラで撮影した顔画像を照合する際の統合パラメータを学習する場合も同様に行う。

0040

(第二の実施形態)
本発明は前述したスポーツイベントの人物写真検索以外の用途にも適用できる。他の適用例として、街頭に設置した複数の監視カメラ映像から特定の人物の検索への応用がある。例えば、1つの監視カメラに映っている人物画像を登録画像として、複数の監視カメラ映像の中から顔や衣服の似ている人物を検索する。この場合にも、照明条件が異なると衣服の色が異なって映ったり、解像度の低いカメラでは顔の照合が困難になったりといったカメラ個別の問題がある。これらの問題は、本発明の画像照合装置および方法によって解決できるものである。以下に、その適用例を示す。なお、本実施形態におけるハードウェア構成、および、システム構成は、夫々、図10および図2に従う。

0041

第一の実施形態と第二の実施形態の主たる相違点は、第一の実施形態ではゼッケン番号に基づいて同一人物か否かを示すラベルを推定したが、第二の実施形態ではこのゼッケン番号に相当するものが無いという点である。
第二の実施形態においては、登録画像とカメラ画像との照合結果に基づいて同一人物か否かを示すラベルを推定し、このようにして得たラベルを用いて統合パラメータの学習を行う。

0042

図8に本実施形態に係る画像照合装置800の機能構成を示す。図8において図1と同じ符号が割り当てられた構成要素は同等の機能を有する。以下、図8のみに示されている構成要素および図1とは異なる符号が割り当てられた構成要素について説明する。
人物特徴抽出部210は、照合対象のオブジェクトに関する特徴量を画像から抽出する特徴抽出手段の一例である。人物特徴抽出部210は、物体検出部130で検出した顔の位置から人物の各部の位置を推定し、その各部の特徴を抽出する。抽出する特徴は、例えば、頭部からは髪型や色、帽子を被っているか否か、胴体部分からは衣服の色や体型、等の人物の属性に関わる特徴(以下、人物属性特徴と称す)である。

0043

照合結果保持部220は、類似度統合部160が出力する類似度の内、所定数の類似度の高い特徴の組合せ、または、類似度の低い特徴の組合せに対する照合結果を保持する。ここで、保持する照合結果は部分類似度算出部150で求めた特徴毎の部分類似度である。
ラベル推定部230は、照合結果保持部220に保持されている照合結果(顔の局所特徴毎の類似度および人物属性特徴毎の類似度に基づいて算出された照合結果)に同一人物か否かのラベルを付ける。

0044

以下、本実施形態の動作について説明する。画像照合および画像検索処理は図3に示した本発明の第一の実施形態の処理とほぼ同じであるため、これを参照して説明する。
まず、登録画像記憶部110に記憶されている画像から検索したい人物の画像が選択される(S100)。ここで選択する画像は出力装置4に表示されたカメラ11、12、…、1Nの映像の1つであり、入力装置3によって複数の映像中のいずれかの人物画像部分が選択される。

0045

次に、物体検出部130、および、顔特徴抽出部140、人物特徴抽出部210によって登録画像から顔の局所特徴および人物属性特徴を抽出する(S200)。本実施形態では前述したとおり、顔の特徴以外に人物の頭部特徴、衣服の色、体型を人物属性特徴として抽出する。
次に、カメラ画像記憶部120に記憶されている画像を所定の順に沿って読み出す(S300)。

0046

次に、物体検出部130、および、顔特徴抽出部140、人物特徴抽出部210によってカメラ画像から顔の局所特徴および人物属性特徴を抽出する(S400)。なお、人物特徴を抽出する際には、検出した顔の位置にもとづいて人物の胴体部分等を再度検出するようにしてもよい。
次に、部分類似度算出部150、および、類似度統合部160によって、S200で抽出した登録画像の顔の局所特徴および人物属性特徴と、S400で抽出したカメラ画像の顔の局所特徴および人物属性特徴との類似度を統合する(S500)。画像照合装置800は求めた人物画像間の類似度を出力する。

0047

そして、検索結果出力部30は画像照合装置800で求めた人物画像間の類似度からカメラ画像を順位付けして出力する(S600)。ここで、統合パラメータは予めカメラ毎に学習されたパラメータを用いる。
本実施形態では、例えば、登録画像が撮影された際の照明環境とは異なる照明環境に設置されたカメラで撮影したカメラ画像では色の変動に依らない特徴を統合時に重視するようにパラメータwが決定される。これにより、精度の高い類似度が得られる。

0048

次に統合パラメータの学習方法について説明する。本実施形態では人物に予め識別子が付けられていないため、学習時の人物画像のラベル推定方法が第一の実施形態とは異なる。本実施形態では一旦算出した類似度の内、高い類似度を示す登録画像とカメラ画像の特徴量の組を同一人物、低い類似度を示す登録画像とカメラ画像の特徴量の組を別人物と想定して、パラメータの学習を行う。
つまり、「高い類似度を示す登録画像とカメラ画像の特徴量の組」に対応する(式3)のラベルyiを1とし、それ以外の「登録画像とカメラ画像の特徴量の組」に対応する(式3)のラベルyiを0とする。
このようにして求めたラベルyiを用いて、パラメータの学習を行い、(式3)のEが最小となるようなパラメータwkの集合であるパラメータwを求める。

0049

図9に統合パラメータの学習の流れを示す。統合パラメータの学習を行うにあたって、予め登録画像が登録画像記憶部110に記憶され、カメラ画像がカメラ画像記憶部120に記憶されているとする。なお、以下ではカメラ11で撮影した顔画像を照合する際の統合パラメータを学習する例について説明する。他のカメラにおける統合パラメータの学習も同様に行う。

0050

まず、登録画像を1つ選択し、物体検出部130、顔特徴抽出部140、および、人物特徴抽出部210によって登録画像から顔の局所特徴および人物属性特徴を抽出する(S2100)。登録画像記憶部110に記憶されている全ての画像についてこの処理を繰返し、登録画像の顔の局所特徴および人物属性特徴を得る。

0051

次に、カメラ画像を1つ読み出す(S2200)。ここで、読み出したカメラ画像の識別子をカメラ識別子取得部190で取得し、読み出した画像がカメラ11で撮影されたものかどうかを識別子から判定する。
次に、物体検出部130によってカメラ画像から顔の領域を矩形領域として検出する(S2300)。
次に、画像中の顔領域の位置にもとづいて顔特徴抽出部140で複数の局所画像を取得し、顔の局所特徴を抽出する。また、人物特徴抽出部210で複数の人物属性特徴を抽出する(S2400)。

0052

カメラ画像記憶部120に記憶されている全てのカメラ画像について、S2200〜S2400の処理を繰返し、カメラ画像中の顔について顔の局所特徴および人物属性特徴を得る。
次に、登録画像とカメラ画像中の人物画像における顔および人物特徴の組合せを1つ設定する(S2500)。
次に、登録画像中の人物画像とカメラ画像中の人物画像との特徴毎の類似度を部分類似度算出部150によって算出し、類似度統合部160で統合する(S2600)。まず、顔の各局所特徴の類似度と人物の各属性特徴の類似度とを特徴毎に部分類似度算出部150で求める。更に、類似度統合部160で求めた特徴毎の類似度を統合する。このとき、統合に使うパラメータは初期パラメータで、例えば、全ての重みを1とする。特徴毎の類似度も、統合した類似度とともに保持しておく。

0053

次に、S2600で求めた統合後の類似度の高い、あるいは、類似度の低い特徴の組合せに対する照合結果を照合結果保持部220で保持する(S2700)。求めた特徴の類似度が既に求めた類似度を含めて所定の数の上位の高い値を取る場合、特徴毎に求めた類似度を保持する。すなわち、類似度が高い値を取る場合は同一人物の特徴の組合せであるとして、その類似度を保持する。また、同様に、求めた特徴の類似度が既に求めた類似度を含めて所定の数の下位の低い値を取る場合、特徴毎に求めた類似度を保持する。

0054

S2500〜S2700の処理を登録画像とカメラ画像中の人物画像の全ての組合せについて繰返し、特徴毎の類似度を得る。繰り返し処理において、S2600の処理における所定の数の上位、あるいは、下位の統合類似度の特徴の組合せに対する特徴毎に求めた類似度は更新される。
次に、ラベル推定部230は照合結果保持部220に保持されている特徴毎の類似度に同一人物か否かのラベルを付ける(S2800)。すなわち、照合結果保持部220で統合類似度が上位の高い値を取るものに対して同一人物、下位の低い値を取るものに対して別人物と推定して、特徴毎に保持した類似度にラベルを付ける。
次に、求めた特徴毎の類似度と推定ラベルを用いてパラメータ学習部200で統合パラメータを学習し、更新する(S2900)。

0055

なお、以上説明した学習方法を繰返し用いてパラメータの学習を行ってもよい。S2900で更新したパラメータをS2600の類似度統合のパラメータとして利用し、再度、S2500〜S2900の処理を繰り返せばよい。反復して学習することで、より高精度のパラメータを得ることができる。
以上説明した本発明の実施形態によって、複数のカメラの映像から特定の物体(前記実施形態では人物)を検索する画像検索システムにおいて、カメラの設置状況の違いを考慮した高精度の検索が実現できる。

0056

(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実
施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体
を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(または
CPUやMPU等)がコンピュータプログラムを読み出して実行する処理である。

0057

100画像照合装置110登録画像記憶部 120カメラ画像記憶部
130物体検出部 140顔特徴抽出部 150部分類似度算出部
160類似度統合部 170 番号抽出部 180 ラベル推定部
190カメラ識別子取得部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ