図面 (/)

技術 人物検索システム

出願人 学校法人東京電機大学
発明者 中村明生大槻雅文吉田隆之
出願日 2012年3月6日 (7年8ヶ月経過) 出願番号 2012-049300
公開日 2013年9月19日 (6年2ヶ月経過) 公開番号 2013-186546
状態 特許登録済
技術分野 イメージ分析 イメージ処理・作成 検索装置 閉回路テレビジョンシステム
主要キーワード 白色画素数 赤外線パターン パワースペクトル画像 レーザパターン 周波数特徴 C言語 手領域 商業施設内
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2013年9月19日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

衣服特徴を用いた人物検索を容易に行うことのできる人物検索システムを提供する。

解決手段

静止状態または移動状態人物を含む環境を撮影する第1の撮影手段201と、第1の撮影手段で撮影された画像データに基づいて人物の衣服特徴に関する情報を抽出する衣服特徴抽出手段120と、衣服特徴抽出手段で抽出された人物の衣服特徴に関する情報をデータベースとして記憶する記憶手段103と、他の環境において、静止状態または移動状態の人物を含む環境を撮影する1または2以上の第2の撮影手段202と、衣服特徴抽出手段により、第2の撮影手段で撮影された画像データに基づいて人物の衣服特徴に関する情報を抽出し、記憶手段に記憶されている人物の衣服特徴に関するデータベースとの照合を行って所定の人物を検索する人物検索手段166とを備える。

概要

背景

近年、防犯意識の高まりや安全管理強化により、商業施設等において監視カメラを用いた個人認証の研究や製品開発が進められている。

特に、監視カメラを用いた個人認証では、顔情報を用いた個人認証の研究開発が種々進められている。

このような、顔情報を用いた個人認証によれば、高精度な個人認証が可能である。

ところで、顔情報を用いたシステムでは、当然ながらカメラ画像に顔が写っていることが前提である。

しかしながら、監視カメラの設置位置や、撮影対象となる人物身長等により顔が撮影されない場合がある。

また、顔情報を用いた個人認証では、人物の顔が正面から写っている必要があるが、商業施設等で移動している特定の人物の顔を正面から撮影することは難しかった。

一方で、監視カメラに写る確率の高い、人物の衣服に着目した技術が種々提案されている。

人物の衣服に着目した技術としては、例えば、特開2010−262425号公報に係る「衣服を認識および分類するためのコンピュータ実行方法」などが挙げられる。

前記公報に係る発明において、コンピュータシステムは、プロセッサメモリ、および記憶装置を含み、ディスプレイおよびカメラに連結されている。記憶装置は、OS及びアプリケーションのコードを記憶し、衣服認識アプリケーションも含む。動作中、衣服認識アプリケーションはメモリにロードされる。プロセッサがメモリに記憶されている対応コードを実行する時、プロセッサは、カメラによってキャプチャされた画像を本発明の解析方法によって解析し、整合した衣服をディスプレイにディスプレイするものである。

概要

衣服特徴を用いた人物検索を容易に行うことのできる人物検索システムを提供する。静止状態または移動状態の人物を含む環境を撮影する第1の撮影手段201と、第1の撮影手段で撮影された画像データに基づいて人物の衣服特徴に関する情報を抽出する衣服特徴抽出手段120と、衣服特徴抽出手段で抽出された人物の衣服特徴に関する情報をデータベースとして記憶する記憶手段103と、他の環境において、静止状態または移動状態の人物を含む環境を撮影する1または2以上の第2の撮影手段202と、衣服特徴抽出手段により、第2の撮影手段で撮影された画像データに基づいて人物の衣服特徴に関する情報を抽出し、記憶手段に記憶されている人物の衣服特徴に関するデータベースとの照合を行って所定の人物を検索する人物検索手段166とを備える。

目的

特開2010−262425号公報






上述の従来技術では、カメラで人物の衣服を撮影し、その衣服に関する情報を用いているが、その目的は、衣服を認識して分類することにある

効果

実績

技術文献被引用数
2件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

静止状態または移動状態人物を含む環境を撮影する第1の撮影手段と、該第1の撮影手段で撮影された画像データに基づいて人物の衣服特徴に関する情報を抽出する衣服特徴抽出手段と、前記衣服特徴抽出手段で抽出された前記人物の衣服特徴に関する情報をデータベースとして記憶する記憶手段と、他の環境において、静止状態または移動状態の人物を含む環境を撮影する1または2以上の第2の撮影手段と、前記衣服特徴抽出手段により、前記第2の撮影手段で撮影された画像データに基づいて人物の衣服特徴に関する情報を抽出し、前記記憶手段に記憶されている人物の衣服特徴に関するデータベースとの照合を行って所定の人物を検索する人物検索手段とを少なくとも備えることを特徴とする人物検索システム

請求項2

前記第1の撮影手段および前記第2の撮影手段の少なくとも一方は、人物の三次元情報を取得する三次元カメラで構成されることを特徴とする請求項1に記載の人物検索システム。

請求項3

前記第1の撮影手段および前記第2の撮影手段の少なくとも一方は、人物を2以上の方向から撮影する2台以上のデジタルカメラで構成されることを特徴とする請求項1に記載の人物検索システム。

請求項4

前記衣服特徴抽出手段は、前記第1の撮影手段または前記第2の撮影手段で撮影された画像データに基づいて、人物が存在する人領域を抽出する人領域抽出手段と、該人領域抽出手段で抽出された人領域から人物画像のみを抽出する人抽出手段と、該人抽出手段で抽出された人物画像から衣服の領域を取得する衣服領域得手段と、該衣服領域取得手段で取得された衣服の領域を所定の分割数衣服画像に分割する衣服領域分割手段と、該衣服領域分割手段で分割された各衣服画像から衣服の特徴を取得する衣服特徴取得手段と、該衣服特徴取得手段で取得された特徴に基づいて衣服を特定する衣服特定手段とから構成されることを特徴とする請求項1〜3のいずれか1項に記載の人物検索システム。

請求項5

前記人抽出手段は、前記第1の撮影手段または前記第2の撮影手段で撮影された画像データに含まれる距離画像に、背景差分法およびクラスタリング手法を適用して前記人領域から人物画像のみを抽出することを特徴とする請求項4に記載の人物検索システム。

請求項6

前記衣服領域分割手段は、人物画像の首位置および腰位置推定して、上半身部の衣服画像と下半身部の衣服画像とに分割することを特徴とする請求項4または請求項5のいずれかに記載の人物検索システム。

請求項7

前記第1の撮影手段または前記第2の撮影手段で撮影された画像データに基づいて、人物の向きを判別する人向き判別手段をさらに備え、前記記憶手段は、前記人物の衣服特徴に関する情報を前記人向き判別手段による判別結果と関連付けしてデータベースを生成して記憶することを特徴とする請求項1〜6のいずれか1項に記載の人物検索システム。

請求項8

前記人向き判別手段は、前記第1の撮影手段または前記第2の撮影手段で撮影された画像データに含まれる人物の顔の肌色情報に基づいて人物の向きを判別することを特徴とする請求項7に記載の人物検索システム。

請求項9

前記衣服特徴抽出手段は、前記各衣服画像に基づいて、衣服の大局的特徴局所的特徴の少なくとも一方を衣服の特徴として取得することを特徴とする請求項1〜8のいずれか1項に記載の人物検索システム。

請求項10

前記衣服の大局的特徴は、前記各衣服画像の色特徴または周波数特徴であり、前記局所的特徴は前記各衣服画像の色差特徴または同時生成行列特徴であることを特徴とする請求項9に記載の人物検索システム。

請求項11

前記人物検索手段は、前記大局的特徴と局所的特徴の少なくとも一方に基づいて、第2の撮影手段で撮影された画像データに基づく衣服特徴と、前記記憶手段に記憶されている人物の衣服特徴に関するデータベースとの類似度を求め、その類似度に基づいて照合を行うことを特徴とする請求項9または請求項10のいずれかに記載の人物検索システム。

技術分野

0001

本発明は、衣服特徴を用いて人物検索する人物検索システムに関するものである。

背景技術

0002

近年、防犯意識の高まりや安全管理強化により、商業施設等において監視カメラを用いた個人認証の研究や製品開発が進められている。

0003

特に、監視カメラを用いた個人認証では、顔情報を用いた個人認証の研究開発が種々進められている。

0004

このような、顔情報を用いた個人認証によれば、高精度な個人認証が可能である。

0005

ところで、顔情報を用いたシステムでは、当然ながらカメラ画像に顔が写っていることが前提である。

0006

しかしながら、監視カメラの設置位置や、撮影対象となる人物の身長等により顔が撮影されない場合がある。

0007

また、顔情報を用いた個人認証では、人物の顔が正面から写っている必要があるが、商業施設等で移動している特定の人物の顔を正面から撮影することは難しかった。

0008

一方で、監視カメラに写る確率の高い、人物の衣服に着目した技術が種々提案されている。

0009

人物の衣服に着目した技術としては、例えば、特開2010−262425号公報に係る「衣服を認識および分類するためのコンピュータ実行方法」などが挙げられる。

0010

前記公報に係る発明において、コンピュータシステムは、プロセッサメモリ、および記憶装置を含み、ディスプレイおよびカメラに連結されている。記憶装置は、OS及びアプリケーションのコードを記憶し、衣服認識アプリケーションも含む。動作中、衣服認識アプリケーションはメモリにロードされる。プロセッサがメモリに記憶されている対応コードを実行する時、プロセッサは、カメラによってキャプチャされた画像を本発明の解析方法によって解析し、整合した衣服をディスプレイにディスプレイするものである。

先行技術

0011

特開2010−262425号公報

発明が解決しようとする課題

0012

上述の従来技術では、カメラで人物の衣服を撮影し、その衣服に関する情報を用いているが、その目的は、衣服を認識して分類することにある。

0013

ところで、上述のように商業施設等において人物の個人認証を行う場合には、用途によっては、個人認証にさほど高い精度が求められない場合がある。

0014

即ち、例えば銀行ATMにおける個人認証や、重要施設への入館許可等における個人認証において、顔情報を用いる場合には100%に近い確率の認証精度が求められる。

0015

一方、例えば比較的広い商業施設やイベント会場などで、迷子探す場合や、待ち合わせする人を探すような場合には、前記ATM等における程の個人認証精度は要求されず、該当すると思われる人物を検索できれば足りる。

0016

このような用途において、監視カメラ等で取得した来場者の衣服に関する情報(衣服特徴)を用いて、簡易的な個人認証や人物検索を行いたいという要望がある。

0017

また、顔情報等を用いた個人認証の精度をさらに向上させるために、人物の衣服特徴を補助的に用いたいという要望もある。

0018

しかしながら、前記従来技術のような衣服を認識して分類する技術を人物検索や個人認証の補助にそのまま転用することはできなかった。

0019

本発明は、上述のような課題を解決すべくなされたものであり、衣服特徴を用いた人物検索を容易に行うことのできる人物検索システムを提供することを目的とする。

課題を解決するための手段

0020

前記課題を解決するため、請求項1の発明に係る人物検索システムは、静止状態または移動状態の人物を含む環境を撮影する第1の撮影手段と、該第1の撮影手段で撮影された画像データに基づいて人物の衣服特徴に関する情報を抽出する衣服特徴抽出手段と、前記衣服特徴抽出手段で抽出された前記人物の衣服特徴に関する情報をデータベースとして記憶する記憶手段と、他の環境において、静止状態または移動状態の人物を含む環境を撮影する1または2以上の第2の撮影手段と、前記衣服特徴抽出手段により、前記第2の撮影手段で撮影された画像データに基づいて人物の衣服特徴に関する情報を抽出し、前記記憶手段に記憶されている人物の衣服特徴に関するデータベースとの照合を行って所定の人物を検索する人物検索手段とを少なくとも備えることを特徴とする。

0021

請求項2の発明に係る人物検索システムは、請求項1に記載の発明について、前記第1の撮影手段および前記第2の撮影手段の少なくとも一方は、人物の三次元情報を取得する三次元カメラで構成されることを特徴とする。

0022

請求項3の発明に係る人物検索システムは、請求項1に記載の発明について、前記第1の撮影手段および前記第2の撮影手段の少なくとも一方は、人物を2以上の方向から撮影する2台以上のデジタルカメラで構成されることを特徴とする。

0023

請求項4の発明に係る人物検索システムは、請求項1〜3のいずれか1項に記載の発明について、前記衣服特徴抽出手段は、前記第1の撮影手段または前記第2の撮影手段で撮影された画像データに基づいて、人物が存在する人領域を抽出する人領域抽出手段と、該人領域抽出手段で抽出された人領域から人物画像のみを抽出する人抽出手段と、該人抽出手段で抽出された人物画像から衣服の領域を取得する衣服領域得手段と、該衣服領域取得手段で取得された衣服の領域を所定の分割数衣服画像に分割する衣服領域分割手段と、該衣服領域分割手段で分割された各衣服画像から衣服の特徴を取得する衣服特徴取得手段と、該衣服特徴取得手段で取得された特徴に基づいて衣服を特定する衣服特定手段とを備えることを特徴とする。

0024

請求項5の発明に係る人物検索システムは、請求項4に記載の発明について、前記人抽出手段は、前記第1の撮影手段または前記第2の撮影手段で撮影された画像データに含まれる距離画像に、背景差分法およびクラスタリング手法を適用して前記人領域から人物画像のみを抽出することを特徴とする。

0025

請求項6の発明に係る人物検索システムは、請求項4または請求項5のいずれかに記載の発明について、前記衣服領域分割手段は、人物画像の首位置および腰位置推定して、上半身部の衣服画像と下半身部の衣服画像とに分割することを特徴とする。

0026

請求項7の発明に係る人物検索システムは、請求項1〜6のいずれかに記載の発明について、第1の撮影手段または第2の撮影手段で撮影された画像データに基づいて、人物の向きを判別する人向き判別手段をさらに備え、記憶手段は、人物の衣服特徴に関する情報を前記人向き判別手段による判別結果と関連付けしてデータベースを生成して記憶することを特徴とする。

0027

請求項8の発明に係る人物検索システムは、請求項7に記載の発明について、人向き判別手段は、第1の撮影手段または第2の撮影手段で撮影された画像データに含まれる人物の顔の肌色情報に基づいて人物の向きを判別することを特徴とする。

0028

請求項9の発明に係る人物検索システムは、請求項1〜8のいずれか1項に記載の発明について、衣服特徴抽出手段は、各衣服画像に基づいて、衣服の大局的特徴局所的特徴の少なくとも一方を衣服の特徴として取得することを特徴とする。

0029

請求項10の発明に係る人物検索システムは、請求項9に記載の発明について、衣服の大局的特徴は、各衣服画像の色特徴または周波数特徴であり、局所的特徴は各衣服画像の色差特徴または同時生成行列特徴であることを特徴とする。

0030

請求項11の発明に係る人物検索システムは、請求項9または請求項10のいずれかに記載の発明について、人物検索手段は、大局的特徴と局所的特徴の少なくとも一方に基づいて、第2の撮影手段で撮影された画像データに基づく衣服特徴と、記憶手段に記憶されている人物の衣服特徴に関するデータベースとの類似度を求め、その類似度に基づいて照合を行うことを特徴とする。

発明の効果

0031

本発明によれば以下の効果を奏することができる。

0032

すなわち、請求項1に記載の発明によれば、本構成を有していない場合に比較して、衣服特徴を用いた人物検索を容易に行う人物検索システムを提供することができる。

0033

請求項2に記載の発明によれば、第1の撮影手段および第2の撮影手段の少なくとも一方は、人物の三次元情報を取得する三次元カメラで構成されるので、多方向から見た衣服特徴を取得することができ、比較的低コスト検索精度を高めた人物検索システムを提供することができる。

0034

請求項3に記載の発明によれば、第1の撮影手段および第2の撮影手段の少なくとも一方は、人物を2以上の方向から撮影する2台以上のデジタルカメラで構成されるので、多方向から見た衣服特徴を取得することができ、検索精度を高めた人物検索システムを提供することができる。

0035

請求項4に記載の発明によれば、本構成を有していない場合に比較して、比較的簡易な構成で人物検索を行う人物検索システムを提供することができる。

0036

請求項5に記載の発明によれば、人抽出手段は、第1の撮影手段または第2の撮影手段で撮影された画像データに含まれる距離画像に、背景差分法およびクラスタリング手法を適用して人領域から人物画像のみを抽出するので、検索精度を高めた人物検索システムを提供することができる。

0037

請求項6に記載の発明によれば、衣服領域分割手段は、人物画像の首位置および腰位置を推定して、上半身部の衣服画像と下半身部の衣服画像とに分割するので、検索精度を高めた人物検索システムを提供することができる。

0038

請求項7に記載の発明によれば、第1の撮影手段または第2の撮影手段で撮影された画像データに基づいて、人物の向きを判別する人向き判別手段をさらに備え、記憶手段は、人物の衣服特徴に関する情報を人向き判別手段による判別結果と関連付けしてデータベースを生成して記憶するので、検索精度を高めた人物検索システムを提供することができる。

0039

請求項8に記載の発明によれば、人向き判別手段は、第1の撮影手段または第2の撮影手段で撮影された画像データに含まれる人物の顔の肌色情報に基づいて人物の向きを判別するので、比較的簡易な構成で人物検索を行う人物検索システムを提供することができる。

0040

請求項9に記載の発明によれば、衣服特徴抽出手段は、各衣服画像に基づいて、衣服の大局的特徴と局所的特徴の少なくとも一方を衣服の特徴として取得するので、比較的簡易な構成で人物検索を精度良く行う人物検索システムを提供することができる。

0041

請求項10に記載の発明によれば、衣服の大局的特徴は、各衣服画像の色特徴または周波数特徴であり、局所的特徴は各衣服画像の色差特徴または同時生成行列特徴であるので、比較的簡易な構成で人物検索を精度良く行う人物検索システムを提供することができる。

0042

請求項11に記載の発明によれば、人物検索手段は、大局的特徴と局所的特徴の少なくとも一方に基づいて、第2の撮影手段で撮影された画像データに基づく衣服特徴と、記憶手段に記憶されている人物の衣服特徴に関するデータベースとの類似度を求め、その類似度に基づいて照合を行うので、検索精度を高めた人物検索システムを提供することができる。

図面の簡単な説明

0043

実施の形態に係る人物検索システムの機能構成を示す機能ブロック図である。
実施の形態に係る人物検索システムの構成例を示すブロック図である。
次元カメラの構成例を示す説明図。
登録と検索の例を示す説明図である。
衣服特定処理処理手順を示すフローチャートおよび説明図である。
人抽出について抽出例を示す説明図である。
人抽出について抽出方法を示す説明図である。
抽出画像から衣服領域を取得する例を示す説明である。
首位置、腰位置の推定および衣服領域の分割方法を示す説明図である。
衣服特徴取得について示す説明図である。
色特徴の抽出および色差特徴の抽出の方法を示す説明図である。
周波数特徴および同時生起行列について示す説明図である。
同時生起行列の処理手順を示す説明図である。
同時生起行列の種類を示す式である。
同時生起行列の条件を示す式である。
人向き方向判別について示す説明図である。
衣服特定について示す説明図である。
実験に用いた衣服の種類を示す撮影図である。
実験に用いた正面画像後面画像の例を示す撮影図である。
実験に用いた正面画像と後面画像の例を示す撮影図である。
実験結果を示す表である。

実施例

0044

以下、本発明の一例としての実施の形態を図面に基づいて詳細に説明する。ここで、添付図面において同一の部材には同一の符号を付しており、また、重複した説明は省略されている。なお、ここでの説明は本発明が実施される最良の形態であることから、本発明は当該形態に限定されるものではない。

0045

図1から図21を参照して、本発明についての実施形態に係る人物検索システムS1について説明する。

0046

(人物検索システムの全体構成)
まず、図1を参照して人物検索システムS1の機能構成について説明する。

0047

本実施の形態に係る人物検索システムS1は、図1に示すように、静止状態または移動状態の人物を含む環境を撮影する登録用カメラとしての第1の撮影手段201と、第1の撮影手段201で撮影された画像データに基づいて人物の衣服特徴に関する情報を抽出する衣服特徴抽出手段120と、衣服特徴抽出手段120で抽出された人物の衣服特徴に関する情報をデータベースとして記憶するハードディスク装置等で構成される記憶手段(記憶部)103と、他の環境において、静止状態または移動状態の人物を含む環境を撮影する1または2以上の検索用カメラとしての第2の撮影手段202と、衣服特徴抽出手段120により、第2の撮影手段202で撮影された画像データに基づいて人物の衣服特徴に関する情報を抽出し、記憶手段103に記憶されている人物の衣服特徴に関するデータベースとの照合を行って所定の人物を検索する人物検索手段166とを少なくとも備える。

0048

第1の撮影手段201および第2の撮影手段202の少なくとも一方は、人物の三次元情報を取得する三次元カメラで構成されるようにできる。

0049

三次元カメラとしては、レーザパターン投影方式の3次元センサを用いることができる。

0050

レーザパターン投影方式の3次元センサは、赤外線パターン対象物体照射して三角測量(Triangulation)により距離画像を取得している。

0051

より具体的には、レーザパターン投影方式の3次元センサとしては、マイクロソフト社製のKinect(キネクトセンサ(マイクロソフト社の登録商標)201を適用することができる(図3参照)。このKinectセンサ201は、当初ゲーム機用のセンサであったが、パーソナルコンピュータ等で構成されるコンピュータシステム100aにもUSB端子を介して接続可能である。

0052

そして、マイクロソフトリサーチ社が提供する「Kinect for Windows SDK(Software Development Kit)」を用いれば、C言語記述したプログラムによりKinectセンサ201をコンピュータシステム100aから制御することできる。

0053

このKinectセンサ201により、カラー画像301と、距離画像302を取得することができる(図3参照)
また、Kinectセンサは、約1万数千円程度入手可能であり、本実施の形態に係るシステムS1の低コスト化を図ることができる。

0054

また、第1の撮影手段201および第2の撮影手段202の少なくとも一方は、人物を2以上の方向から撮影する2台以上のデジタルカメラで構成されるようにしてもよい。

0055

即ち、例えば、登録用カメラとしての第1の撮影手段201について、商業施設やイベント会場の入り口等において、入場者としての人物を正面、後面、側面等から撮影するように、2台以上のデジタルカメラを配置するようにできる。

0056

また、検索用カメラとしての第2の撮影手段202については、商業施設内やイベント会場内の複数箇所に監視カメラとして複数台のデジタルカメラを配置するようにできる。

0057

衣服特徴抽出手段120は、図1に示すように、第1の撮影手段201または第2の撮影手段202で撮影された画像データに基づいて、人物が存在する人領域を抽出する人領域抽出手段160と、人領域抽出手段160で抽出された人領域から人物画像のみを抽出する人抽出手段161と、人抽出手段161で抽出された人物画像から衣服の領域を取得する衣服領域取得手段162と、衣服領域取得手段162で取得された衣服の領域を所定の分割数の衣服画像に分割する衣服領域分割手段163と、衣服領域分割手段163で分割された各衣服画像から衣服の特徴を取得する衣服特徴取得手段164と、衣服特徴取得手段164で取得された特徴に基づいて衣服を特定する衣服特定手段165とから構成される。

0058

なお、各手段は、コンピュータシステム100a(100b)で実行可能なソフトウェアとして実現される。

0059

人抽出手段161は、第1の撮影手段201または第2の撮影手段202で撮影された画像データに含まれる距離画像に、例えば背景差分法およびクラスタリング手法を適用して人領域から人物画像のみを抽出するようにできる。詳細な手順については後述する。

0060

なお、背景差分法およびクラスタリング手法は、移動体の画像に基づいて、人領域を抽出する場合に適している。

0061

また、例えば、抽出された人領域画像に対して人認識を行った上で、識別結果が人である場合にのみ、以降の処理を続行するようにしても良い。

0062

衣服領域分割手段163は、人物画像の首位置および腰位置を推定して、上半身部の衣服画像と下半身部の衣服画像とに分割するようにできる。詳細な手順については後述する。

0063

また、第1の撮影手段201または第2の撮影手段202で撮影された画像データに基づいて、人物の向きを判別する人向き判別手段167をさらに備える。

0064

そして、記憶手段103は、人物の衣服特徴に関する情報を人向き判別手段167による判別結果と関連付けしてデータベースを生成して記憶するようにできる。

0065

なお、人向き判別手段167は、第1の撮影手段201または第2の撮影手段202で撮影された画像データに含まれる人物の顔の肌色情報に基づいて人物の向きを判別するようにできる。詳細な手順については後述する。

0066

また、衣服特徴取得手段164は、各衣服画像に基づいて、衣服の大局的特徴と局所的特徴の少なくとも一方を衣服の特徴として取得するようにできる。

0067

ここで、衣服の大局的特徴は、各衣服画像の色特徴または周波数特徴であり、局所的特徴は各衣服画像の色差特徴または同時生成行列特徴であるようにできる。詳細については後述する。

0068

また、人物検索手段166は、大局的特徴と局所的特徴の少なくとも一方に基づいて、第2の撮影手段202で撮影された画像データに基づく衣服特徴と、記憶手段103に記憶されている人物の衣服特徴に関するデータベースとの類似度を求め、その類似度に基づいて照合を行うようにできる。

0069

ここで、図2を参照して、人物検索システムS1の構成例について説明する。

0070

図2に示す構成例では、パーソナルコンピュータ等で構成される2台のコンピュータシステム100aおよび100bがLAN等のネットワークNを介して接続されている。

0071

なお、図2に示す構成例では、コンピュータシステム100aは主に各種演算処理を行う計算機として、コンピュータシステム100bはデータベースとして機能する。

0072

各コンピュータシステム100a、100bは、CPU等で構成されるプロセッサ101と、作業領域等として使用されるメモリ102と、ハードディスク装置等で構成される記憶部103等を備えている。なお、コンピュータシステム100aには液晶ディスプレイ等で構成されるモニタ150が接続されている。

0073

記憶部103には、Windows(マイクロソフト社の登録商標)やLINUX(Linus Torvalds氏の登録商標)等の所定のオペレーティングシステムと、衣服検索アプリケーションデータ登録アプリケーション等のソフトウェアがインストールされている。

0074

また、コンピュータシステム100aには、登録用カメラとしての第1の撮影手段201と、検索用カメラとしての第2の撮影手段202とが接続されている。

0075

なお、第2の撮影手段202は、商業施設内やイベント会場等に設置される複数台の監視カメラとすることができる。

0076

(登録と検索の概要
データベースへの登録を行う際には、図4(a)に示すように、商業施設やイベント会場等の入口に設置される登録用カメラとしての第1の撮影手段201で、登録対象としての人物H1を撮影し、コンピュータシステム100aによる処理により衣服特徴を抽出してコンピュータシステム100bのデータベースに登録する。

0077

人物の検索を行う際には、商業施設内やイベント会場内等に設置された監視カメラ等で構成される第2の撮影手段202によって場内を撮影し、各人物H1〜H4についてコンピュータシステム100aによる処理により衣服特徴を抽出し、データベースに登録されているデータとの照合を行う。これにより、例えば衣服特徴の一致あるいは類似すると判定結果に基づいて、登録済みの人物H1を検索することができる(図4(b)参照)。

0078

したがって、例えば、会場内で迷子が発生した場合や、待ち合わせ等で特定人物を検索したい場合などに、本実施の形態に係る人物検索システムS1により検索することができる。また、商業施設等において、本実施の形態に係る人物検索システムS1によって特定の人物の立ち寄り先を追跡することにより、マーケティング調査等を行うこともできる。

0079

(衣服特定処理の処理手順)
図5のフローチャートおよび説明図を参照して、本実施の形態に係る人物検索システムS1で実行される衣服特定処理の処理手順の例について説明する。

0080

まず、ステップS10では、第1の撮影手段201または第2の撮影手段202で撮影された画像データに基づいて、人物が存在する人領域を抽出してステップS11に移行する。

0081

即ち、第1の撮影手段201または第2の撮影手段202により画像データD1を取得し、画像データD2のように人物が存在する人領域を抽出する。

0082

ステップS11では、抽出された人領域から人物画像のみを抽出してステップS12に移行する。

0083

即ち、画像データD2から背景を除去するなどして人物画像のみの画像データD3を得る。

0084

ステップS12では、抽出された人物画像から衣服の領域を取得してステップS13に移行する。

0085

即ち、画像データD3から首部分の画像を除去するなどして衣服の領域の画像データD4を得る。

0086

ステップS13では、取得された衣服の領域を所定の分割数の衣服画像に分割してステップS14に移行する。

0087

即ち、例えば、衣服の領域の画像データD4から上半身部の画像データD5と下半身部の画像データD6とに分割する。

0088

ステップS14では、分割された各衣服画像から衣服の特徴を取得してステップS15に移行する。

0089

ステップS15では、取得された特徴に基づいて衣服を特定して処理を終了する。

0090

(人抽出について)
図6および図7を参照して、前記ステップS10、S11に関わる人抽出について説明する。

0091

衣服抽出のため、距離画像を用いた背景差分法とクラスタリングを行い人物を抽出する。 予め複数枚取得した背景の距離画像の平均画像を取得し、この平均距離画像と入力される距離画像の差分値が大きい画素人物領域として抽出する(図7(a)の画像データD10、D11、D12およびD2参照)。

0092

その後、人物領域を囲む矩形領域内画素値前景と背景の2クラスにクラスタリングを行う。クラスタリングにはk−means法を用いる。これにより、前景とされた画素を人物とすることができる(図7(b)の画像データD2、D13、D14およびD3参照)。

0093

ここで、クラスタリングによる人抽出を行うのは背景差分を行った際に発生する欠損を補うためである。

0094

(衣服領域取得および衣服領域分割について)
図8および図9を参照して、前記ステップS12、S13に関わる衣服領域取得および衣服領域分割について説明する。

0095

図8に示すように、衣服の上部(上半身部)と下部(下半身部)のそれぞれで特徴を取得するため、人物抽出で得られる人物抽出画像D3から顔領域を除去し(D4の状態)、衣服を上部(D5)と下部(D6)に分割する。

0096

図9(a)に示すように、衣服領域取得の前処理として首の位置P1との位置P2を推定する。そして、人物抽出で得られる人マスク画像白色画素を画像y軸方向に落としこみ、ヒストグラム化する。このヒストグラムから首と腰の位置P1、P2を推定する。

0097

次いで、人マスク画像D20の重心点を求め、重心点のy座標値よりも上の領域で首位置P1を下の領域で腰位置P2を求める(図9(a)参照)。

0098

首位置P1はヒストグラムの最も深い谷を首位置P1とし、腰位置についてはヒストグラムの既存の判別分析法によって求めた値を腰位置P2とした。

0099

続いて、図9(b)に示すように、推定した首位置P1と腰位置P2から顔領域の除去と衣服の分割画像(D5、D6)を作成する。

0100

首位置P1と腰位置P2の間の領域を衣服の上部、腰位置P2より下の領域を衣服の下部として抽出する。

0101

なお、首位置P1より上の領域は頭部領域として除去し、首元手領域なども曖昧な領域があるため除去する。

0102

(衣服特徴取得について)
図10から図15を参照して、前記ステップS14に係る衣服特徴取得について説明する。

0103

衣服特徴の抽出は、各衣服画像に基づいて、衣服の大局的特徴と局所的特徴の少なくとも一方を衣服の特徴として取得するようにできる。

0104

また、図10に示すように、衣服の大局的特徴は、各衣服画像の色特徴または周波数特徴、局所的特徴は各衣服画像の色差特徴または同時生成行列特徴(テクスチャ特徴)であるようにできる。

0105

ここで、図11(a)を参照して、色特徴について説明する。

0106

まず、図11(a)に示すような衣服の一部の画像データD30をRGB表色系からHSV表色系に変換する。

0107

この変換は、ピクセルごとの色相(H)や鮮やかさ(S)、明るさ(V)を独立して扱うために行う。変換後の各画素の色相と彩度についてそれぞれヒストグラム401、402を作成する。

0108

なお、明度については照明変化の影響を大きく受けるためここでは使用しない。

0109

そして、求めた色相と彩度のヒストグラムを色特徴とする。色特徴の類似度の算出には例えばバタチャリヤ距離(Bhattacharyya距離)を用いる。なお、バタチャリヤ距離の算出の詳細については省略する。

0110

次に、図11(b)を参照して、色差特徴について説明する。

0111

色差特徴では、色相の差と彩度の差の2種類のヒストグラムを作成して行う。

0112

例えば図11(b)の衣服の一部の画像データD40に対してエッジ抽出を行った画像D41を用いる。そして、エッジ周囲の色相の差と彩度の差を色差と定義する。

0113

色差特徴取得は以下の手順によって行われる。

0114

1)衣服画像のエッジとして抽出された画素の周囲3×3の画素を切り出す。

0115

2)切り出した3×3の画素に対してラベル付けを行う。このとき、ラベルは2つの領域に分けるように付加する。

0116

3)ラベル1の画素と同座標にある衣服画像の画素の色相と彩度の平均値を求める。

0117

4)ラベル2も同様に色相と彩度の平均値を求める。

0118

5)ラベル1とラベル2の色相と彩度の差をそれぞれヒストグラム化する。

0119

そして、手順5で取得した2つのヒストグラムを色差特徴とする。なお、色差特徴の類似度の算出には色特徴と同様にバタチャリヤ距離を用いる。

0120

次に、図12(a)を参照して、周波数特徴について説明する。

0121

ここで、周波数特徴は、衣服画像のパワースペクトル画像の画素値に関する。

0122

周波数特徴では、図12(a)の衣服画像(ア)〜(カ)の画像から得られるパワースペクトル画像(キ)〜(シ)の画素値を一次元ベクトルにしたものを特徴とする。

0123

なお、特徴を取得するパワースペクトル画像は事前に32×32サイズの画像にスケール変換している(図12(b)参照)。

0124

また、周波数特徴は衣服の上部から取得し、下部の衣服からは十分な特徴取得領域が得られないため取得しない。また、周波数特徴の類似度は部分空間法を用いて算出する。

0125

次に、図12(b)を参照して、同時生起行列特徴について説明する。

0126

ここで、同時生起行列特徴は、衣服画像のグレー画像から得られる同時生起行列に基づくものである。

0127

また、同時生起行列は、離れた2つの画素対の値から特徴量を求めるものである。

0128

同時生起行列特徴は、例えば図12(a)の衣服画像(ア)〜(カ)を用いる。そして、それらの画像をグレースケール変換する。

0129

なお、本実施の形態では、グレースケール画像は32階調グレースケールとした(図12(d)参照)。

0130

グレースケールに変換した画像に対して同時生起行列(以下、GLCMと記す)を得る。 GLCMは、離れた2つの画素対の値から特徴量を求めるものである。

0131

GLCMは、図12(c)に示すように、距離rを1とし、θを0°、45°、90°、135°として4つ求める。

0132

そして、それぞれのGLCMから10種類の特徴を求め、計40の特徴を一次元ベクトルとしたものを特徴とする(図13参照)。

0133

また、同時生起行列特徴は周波数特徴と同様の理由から衣服の上部から取得する。

0134

ここで、求める特徴は、Lをグレーレベル、PδをGLCMとして図14の(a)〜(j)に示す10種類の特徴である。なお、この際の条件は図15の(k)〜(n)である。

0135

なお、同時生起行列特徴の類似度の算出にはマハラノビス距離を用いる。

0136

(人向き方向判別について)
図16を参照して、人向き方向判別について説明する。

0137

衣服によっては人の向きにより衣服の見え方が変化する(図16(b)参照)。そこで、本実施の形態に係る人物検索システムS1では、デザインの違いや着方による衣服の見え方の変化に対応するために、人向きの判別結果に基づいて衣服特徴のデータベースの作成や選択を行う。

0138

人向きの判別は、例えば顔の肌色情報に基づいて行うことができる。即ち、頭部領域の肌色領域面積に基づいて、人の向きを判別することができる。

0139

具体的には、首位置よりも上部の人マスク画像D52、D53と入力画像D50、D51の肌色画素白画素とした肌色抽出画像D54、D55のそれぞれの白画素数比率rに閾値処理を行うことで判別することができる。なお、比率rは、r=ps/pmにより求める(但し、psは肌色抽出画像の白色画素数、pmはマスク画像の白色画素数である。)。

0140

そして、rが閾値以上の場合は前向き、閾値未満の場合は後向きと判別することができる。なお、本実施の形態に係る人物検索システムS1では、閾値を0.4とした。

0141

(衣服特定について)
図17を参照して、前記ステップS15に係る衣服特定について説明する。

0142

衣服特定は、例えば、入力画像D60〜62と、データベースに格納されている比較すべき類似衣服の画像D70について、色特徴、色差特徴、周波数特徴、同時生起行列特徴の各特徴量から類似度を算出して行う。

0143

即ち、前記4つ特徴の類似度の合計を最終的な類似度とする。

0144

なお、各類似度はスケールが異なるため、事前にスケーリングを行うようにすると良い。 そして、同一衣服の特定は、入力画像D60〜62から得られた衣服特徴とデータベースに格納されている衣服特徴を比較し、最も高い類似度を示した衣服を同一衣服として認識する。

0145

これにより、予め衣服特徴を登録した人物と、入力画像D60〜62に係る人物との照合を行うことができる。

0146

したがって、例えば比較的広い商業施設やイベント会場などで、迷子を探す場合や、待ち合わせ人を探す用途に、本実施の形態に係る人物検索システムS1を適用することができる。

0147

また、商業施設等において、本実施の形態に係る人物検索システムS1によって特定の人物の立ち寄り先を追跡することにより、マーケティング調査等を行うこともできる。

0148

また、顔情報に基づく個人認証の精度を向上させるために、補助的に衣服特徴の照合を行う場合にも本実施の形態に係る人物検索システムS1を適用することができる。

0149

(衣服の特定実験)
図18から図21を参照して、本実施の形態に係る人物検索システムS1を用いた衣服の特定実験について述べる。

0150

本実験では所定の部屋の上部に前述のKinectセンサ201を設け、このKinectセンサ201から取得した画像を用いている。

0151

なお、取得した画像は、被験者が予め設定した所定の範囲を往復している間に取得した画像である。

0152

図18に示すように、衣服は27種類(Clothes0〜26)を用意し、それぞれ100枚の画像を用意した。

0153

用意した画像に対し前述のステップS10〜15等の処理を行い、認識率を求めた。

0154

認識率は、正しく認識した画像数/全画像数と定義する。

0155

また、データベースへの登録は、人が前向きに映っている画像と後ろ向きに映っている画像をそれぞれ25枚の計50枚の画像で登録した。

0156

即ち、図18には正面画像のみを示すが、実際には図19(a)、(b)、図20(a)、(b)に示すように、正面画像と後面画像とが一対となっている。

0157

この実験では、人向き判別結果を用いる場合と用いない場合でそれぞれ認識率を求めた。 そして、人向き判別結果を用いる場合は、人向き判別結果に基づき前向き用か後ろ向き用のデータベースを適宜選択し、認識処理を行った。

0158

また、人向き判別結果を用いない場合は前向き用のデータベースのみを用いて認識処理を行った。

0159

実験結果を図21に示す。図21から人向き方向判別を行わない場合、認識率が50%に満たない衣服があることが分かる。

0160

しかし、人向き方向判別を行うことで、平均は94.5%という高い認識率を得ることができた。

0161

以上のように、人の向きにより異なる衣服特徴データベースの作成や選択を行うことが認識精度の向上に有効であることが分かる。

0162

なお、本実施の形態に係る人物検索システムS1および上記実験では、人物の正面画像と後面画像に基づいて衣服特徴の抽出や照合を行なっているが、これに限らず、横方向(側面)の画像や、上方からの画像など、多方向からの画像を用いて衣服特徴の抽出や照合を行うようにしても良い。

0163

また、衣服特徴をデータベースに登録する際に、人物の年齢層や、身長等の身体的特徴等を関連付けして登録するようにしても良い。

0164

これにより、人物検索の精度を向上させたり、多様なマーケティング調査を行うことが可能となる。

0165

以上本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本明細書で開示された実施の形態はすべての点で例示であって開示された技術に限定されるものではないと考えるべきである。すなわち、本発明の技術的な範囲は、前記の実施の形態における説明に基づいて制限的に解釈されるものでなく、あくまでも特許請求の範囲の記載に従って解釈すべきであり、特許請求の範囲の記載技術と均等な技術および特許請求の範囲内でのすべての変更が含まれる。

0166

本発明による人物検索手段は、各種商業施設、イベント会場等において、迷子の探索、特定人物の探索等に適用することができる。

0167

S1…人物検索システム
100a,100b…コンピュータシステム
101…プロセッサ
102…メモリ
103…記憶手段(記憶部)
120…衣服特徴抽出手段
150…モニタ
160…人領域抽出手段
161…人抽出手段
162…衣服領域取得手段
163…衣服領域分割手段
164…衣服特徴取得手段
165…衣服特定手段
166…人物検索手段
167…人向き判別手段
201…第1の撮影手段
202…第2の撮影手段
H1〜H4…人物
N…ネットワーク
P1…首位置
P2…腰位置

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 株式会社ソケッツの「 検索装置および方法」が 公開されました。( 2019/09/19)

    【課題】同一の感性ワードで加重的に絞り込み検索を行えるようにする。【解決手段】同一の感性ワードで加重的に絞り込み検索を行う場合、類似・関連ワード抽出部319が、感性ワードに類似・関連する別のワードを検... 詳細

  • 株式会社C−t−iの「 警備装置及び警備システム」が 公開されました。( 2019/09/19)

    【課題】警備エリアを設定することが困難な警備対象に導入可能で、セキュリティ性の高い警備装置及び警備システムを提供すること。【解決手段】 人物を検知する検知手段を複数備え、前記検知手段ごとの検知範囲内... 詳細

  • 株式会社おいしい健康の「 検索装置、検索方法、及び検索プログラム」が 公開されました。( 2019/09/19)

    【課題】患者ごとの症状に合わせてレシピ情報を検索可能であり、最適な料理のレシピ情報を提案可能な検索装置、方法およびプログラムを提供する。【解決手段】ユーザが罹患している病気の病態や症状を入力することで... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ