図面 (/)

技術 一次および二次固有特徴を用いる照明および視角に影響されない顔面記述方法

出願人 パナソニック株式会社
発明者 ワン・レイ
出願日 2001年12月5日 (18年11ヶ月経過) 出願番号 2001-371005
公開日 2003年7月25日 (17年4ヶ月経過) 公開番号 2003-208619
状態 特許登録済
技術分野 検索装置 特定パターンの照合 イメージ分析
主要キーワード 固有特徴 記号式 等密度線 イメージ群 同一個数 共通特徴 原イメージ 重み付き距離
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2003年7月25日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (6)

課題

インターネット等のマルチメディアデータベース検索電子図書館ビデオ編集監視/追跡、および顔面認識/照合等で利用することができ、照明に影響されない人の顔面を解釈して認識する方法を提供する。

解決手段

照明に影響されない顔面記述に二次固有特徴が、視角に影響されない顔面記述に一次および二次固有特徴の両方が用いられる。正規化および量子化が行なわれた後で、これらの特徴が顔面を効果的かつ効率的に記述できる。さらに顔面記述子のサイズを減らすために、可変長コードを用いて量子化固有特徴を符号化することができる。

概要

背景

人の顔面認知は、コンピュータビジョン研究において活発な分野である。顔面の認識は、マルチメディアデータベース検索その他多くの用途で今後重要な役割を果たすであろう。近年、顔面の検出/認識の問題についてかなりの進展が見られる。各種の具体的な技術が提案された。これらの技術の中で、ニューラルネット伸縮テンプレートマッチング、Karhunen-Loeve展開、代数モーメントおよび等密度線が、代表的な方法である。

これらの方法のうち、主成分分析PCA)すなわちKarhunen-Loeve展開は重要な方法である。固有顔面法は、PCAから導出されていて、計算に便利であり、一貫した精度で識別が可能である。従来の研究によれば、PCA法は異なる種類の情報を自然に分離する。固有値が大きい固有ベクトルは、顔面のサブセットに共通の情報を取得し、固有値が小さい固有ベクトルは、個々の顔面に特有の情報を得る。研究によれば、固有値が大きい固有ベクトルに含まれる情報のみを、まだ学習されていない新しい顔面に対して汎用的に用いることができる。

概要

インターネット等のマルチメディアデータベース検索、電子図書館ビデオ編集監視/追跡、および顔面認識/照合等で利用することができ、照明に影響されない人の顔面を解釈して認識する方法を提供する。

照明に影響されない顔面記述に二次固有特徴が、視角に影響されない顔面記述に一次および二次固有特徴の両方が用いられる。正規化および量子化が行なわれた後で、これらの特徴が顔面を効果的かつ効率的に記述できる。さらに顔面記述子のサイズを減らすために、可変長コードを用いて量子化固有特徴を符号化することができる。

目的

固有顔面法の利点は、固有値が大きい固有ベクトルが顔面の基本的な形状および構造に関する情報を伝達することである。これは、固有値が大きい固有ベクトルから抽出された特徴を用いて人の顔面の主要な特徴を記述できることを意味する。しかし、これはPCAの弱点でもある。固有値が大きい固有ベクトルから抽出された特徴だけを考慮するならば、個々の顔面に対応する顔面の細部を得ることができない。これら個々の顔面の細部を人の顔面の共通特徴と合わせて記述することができれば、人の顔面をより正確に記述することが可能となる。

効果

実績

技術文献被引用数
2件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

顔面イメージの調整された二次固有特徴を得るステップと、前記調整された二次固有特徴を量子化するステップと、前記量子化された二次固有特徴から顔面記述するための顔面記述子を構成する特徴を選択するステップと、を含む、照明に影響されない顔面記述用の特徴を抽出する方法。

請求項2

顔面イメージの調整された二次固有特徴を得るステップと、前記調整された二次固有特徴を量子化するステップと、前記量子化された二次固有特徴から顔面を記述するための顔面記述子を構成する特徴を選択するステップと、前記選択された固有特徴を照明に影響されない顔面記述子にコード化するステップと、を含む、照明に影響されない顔面記述用の特徴を抽出する方法。

請求項3

顔面イメージの調整された一次固有特徴を得るステップと、顔面イメージの調整された二次固有特徴を得るステップと、前記調整された一次固有特徴を量子化するステップと、前記調整された二次固有特徴を量子化するステップと、前記量子化された一次および二次固有特徴から顔面を記述するための顔面記述子を構成する特徴を選択するステップと、を含む、視角に影響されない顔面記述用の特徴を抽出する方法。

請求項4

調整された一次固有特徴を得るステップと、調整された二次固有特徴を得るステップと、前記調整された一次固有特徴を量子化するステップと、前記調整された二次固有特徴を量子化するステップと、前記量子化された一次および二次固有特徴から顔面を記述するための顔面記述子を構成する特徴を選択するステップと、前記選択された固有特徴を視角に影響されない顔面記述子にコード化するステップと、を含む、視角に影響されない顔面記述用の特徴を抽出する方法。

請求項5

顔面イメージと調整された二次固有顔行列内積を求めるステップを含む、請求項1乃至4のいずれか1項に記載の顔面イメージの調整された二次固有特徴を求める方法。

請求項6

顔面イメージと調整された一次固有顔面行列の内積を求めるステップを含む、請求項3または4のいずれか1項に記載の顔面イメージの調整された一次固有特徴を求める方法。

請求項7

一次固有顔面行列を計算するステップと、前記一次固有顔面行列を調整するステップと、を含む、請求項6に記載の前記調整された一次固有顔面行列を計算する方法。

請求項8

二次固有顔面行列を計算するステップと、前記二次固有顔面行列を調整するステップと、を含む、請求項5に記載の前記調整された二次固有顔面行列を計算する方法。

請求項9

学習用顔イメージの一次固有特徴を得るステップと、一次固有顔面を原イメージ二次元配列として構成するステップと、前記二次元配列の鏡像形成された固有顔面を得るステップと、前記鏡像形成された固有顔面イメージに重み付けを行なうステップと、前記重み付けられた固有顔面イメージを前記一次固有顔面に加えるステップと、一次元の調整された一次固有顔面を得るために一次固有顔面を再構成するステップと、一次固有顔面を正規化するステップと、距離計算のために調整された一次固有特徴の重みを得るステップと、距離計算のための一次固有特徴の重みを調整された一次固有顔面行列へ乗ずるステップと一次固有顔面行列を量子化するステップと、を含む、請求項7に記載の前記一次固有顔面を調整する方法。

請求項10

一次固有顔面行列を計算するステップと、学習用顔面イメージから一次固有特徴を得るステップと、前記一次固有顔面行列の擬似逆行列を計算するステップと、前記一次固有特徴を一次固有顔面行列の前記逆行列に乗ずることにより再構成された一次顔面イメージを計算するステップと、原イメージから再構成された一次顔面イメージを差し引くことにより二次残余イメージを得るステップと、前記二次残余イメージの固有ベクトルを計算することにより二次固有顔面を得るステップと、を含む、請求項8に記載の二次固有顔面を計算する方法。

請求項11

顔面イメージと二次固有顔面の内積を計算することにより学習用顔面イメージの二次固有特徴を得るステップと、二次固有顔面を原イメージの形状に再整形し、左右対称に鏡像形成された固有顔面イメージを得るステップと、鏡像形成された固有顔面イメージに重み付けを行ない、それらを対応する原イメージに整形された二次固有顔面イメージに加えるステップと、一次元の調整された二次固有顔面を得るために原イメージに整形された二次固有顔面を再構成するステップと、調整された二次固有顔面を正規化するステップと、距離計算のために二次固有特徴の重みを得るステップと、距離計算のための二次固有特徴の重みを調整された二次固有顔面行列へ乗ずるステップと二次固有顔面行列を量子化するステップと、を含む、請求項8に記載の二次固有顔面を調整する方法。

請求項12

調整された一次固有顔面行列の最大値および最小値を得るステップと、前記最大値と前記最小値の間を複数の量子化レベルに分割することにより量子化刻みを得るステップと、前記調整された二次固有顔面行列を前記量子化刻みで除算するステップと、前記除算された値を最も近い整数に丸めるステップと、を含む、請求項9に記載の調整された一次固有顔面行列を量子化する方法。

請求項13

前記調整された二次固有顔面行列の最大値および最小値を得るステップと、前記最大値と前記最小値の間を複数の量子化レベルに分割することにより量子化刻みを得るステップと、前記調整された二次固有顔面行列を前記量子化刻みで除算するステップと、前記除算された値を最も近い整数に丸めるステップと、を含む、請求項11に記載の調整された二次固有顔面行列を量子化する方法。

請求項14

前記量子化された二次固有顔面行列に請求項11の前記量子化刻みを乗ずることにより、復元された調整済み二次固有顔面を得るステップと、復元された調整済み二次固有顔面の各列に顔面イメージの各行を乗ずることにより二次固有特徴を得るステップと、を含む、請求項1乃至4のいずれか1項に記載の調整された二次固有特徴を得る方法。

請求項15

前記量子化された一次固有顔面行列に請求項12の前記量子化刻みを乗ずることにより、復元された調整済み一次固有顔面を得るステップと、復元された調整済み一次固有顔面の各列に顔面イメージの各行を乗ずることにより一次固有特徴を得るステップと、を含む、請求項3または4のいずれか1項に記載の調整された一次固有特徴を得る方法。

請求項16

学習用イメージの前記調整された二次固有特徴の最大値および最小値を得るステップと、前記最大値と前記最小値の間を複数の量子化レベルに分割することにより量子化刻みを得るステップと、前記調整された二次固有特徴を前記量子化刻みで除算するステップと、前記除算された値を最も近い整数に丸めるステップと、を含む、請求項1乃至4のいずれか1項に記載の調整された二次固有特徴を量子化する方法。

請求項17

学習用イメージの前記調整された二次固有特徴の最大値および最小値を得るステップと、前記最大値と前記最小値の間を複数の量子化レベルに分割することにより量子化刻みを得るステップと、前記調整された二次固有特徴を前記量子化刻みで除算するステップと、前記除算された値を最も近い整数に丸めるステップと、標準偏差の最小値で除算された学習用集合内の対応固有特徴の標準偏差の丸められた対数を計算することにより、異なる固有特徴に異なる個数ビット割当てるステップと、前記固有特徴を対応ビット割当てに従って量子化するステップと、を含む、請求項1乃至4のいずれか1項に記載の調整された二次固有特徴を量子化する方法。

請求項18

学習用イメージの前記調整された一次固有特徴の最大値および最小値を得るステップと、前記最大値と前記最小値の間を複数の量子化レベルに分割することにより量子化刻みを得るステップと、前記調整された一次固有特徴を前記量子化刻みで除算するステップと、前記除算された値を最も近い整数に丸めるステップと、を含む、請求項3または4のいずれか1項に記載の調整された一次固有特徴を量子化する方法。

請求項19

学習用イメージの前記調整された一次固有特徴の最大値および最小値を得るステップと、前記最大値と前記最小値の間を複数の量子化レベルに分割することにより量子化刻みを得るステップと、前記調整された一次固有特徴を前記量子化刻みで除算するステップと、前記除算された値を最も近い整数に丸めるステップと、標準偏差の最小値で除算された学習用集合内の対応固有特徴の標準偏差の丸められた対数を計算することにより、異なる固有特徴に異なる個数のビットを割当てるステップと、前記固有特徴を対応ビット割当てに従って量子化するステップと、を含む、請求項3または4のいずれか1項に記載の調整された一次固有特徴を量子化する方法。

請求項20

学習用顔面イメージの前記調整された一次固有特徴の標準偏差を得るステップと、前記標準偏差の平方根を抽出することにより重みを得るステップと、を含む、距離計算のための調整された一次固有特徴の重みを得る請求項9に記載の方法。

請求項21

学習用顔面イメージの前記調整された二次固有特徴の分散を得るステップと、前記分散の平方根を抽出することにより、調整された二次固有特徴の重みを得るステップと、を含む、距離計算のために調整された二次固有特徴の重みを得る請求項11に記載の方法。

請求項22

請求項1または2に記載の方法により照明に影響されない顔面記述のための顔面の固有特徴を抽出するステップと、前記顔面の固有特徴のユークリッド距離を得るステップと、最適に合致する顔面のペアを示す最小ユークリッド距離を選択するステップと、を含む、照明に影響されない顔面同士の類似度を測定する方法。

請求項23

請求項3または4に記載の方法により視角に影響されない顔面記述のための顔面の固有特徴を抽出するステップと、顔面の特徴のユークリッド距離を得るステップと、最適に合致する顔面のペアを示す最小ユークリッド距離を選択するステップと、を含む、視角に影響されない顔面同士の類似度を測定する方法。

請求項24

請求項1または2に記載の方法により学習用集合の前記量子化された固有特徴を得るステップと、ビット割当てに従って前記固有特徴をグループ分類するステップと、エントロピーコード化法を用いて同一ビット割当てを有する前記固有特徴のグループの各々に対してコード表を構成するステップと、を含む、照明に影響されない顔面記述子を可変コード化(VLC)するためのコード表を得る方法。

請求項25

請求項3または4に記載の方法により学習用集合の前記量子化された固有特徴を得るステップと、ビット割当てに従って前記固有特徴をグループに分類するステップと、エントロピーコード化手法を用いて同一ビット割当てを有する前記固有特徴のグループを各々に対してコード表を構成するステップと、を含む、視角に影響されない顔面記述子を可変コード化(VLC)するためのコード表を得る方法。

請求項26

前記エントロピーコード化手法は量子化レベルの確率に基づいたHuffmanコード化手法である、請求項24または25のいずれか1項に記載のコード表構成方法

請求項27

前記エントロピーコード化手法は量子化レベルの確率に基づいた算術コード化手法である、請求項24または25のいずれか1項に記載のコード表構成方法。

請求項28

各々の量子化された固有特徴について請求項24に記載の方法により生成されたコード表を参照し、対応するコード語を用いて前記量子化された固有特徴を表現するステップを含む、請求項1または2のいずれか1項に記載の照明に影響されない顔面記述子をコード化する方法。

請求項29

各々の量子化された固有特徴について請求項25に記載の方法により生成されたコード表を参照し、対応するコード語を用いて前記量子化された固有特徴を表現するステップを含む、請求項3または4のいずれか1項に記載の視角に影響されない顔面記述子をコード化する方法。

請求項30

請求項7に記載の方法により顔面イメージの調整された一次固有特徴を得るステップと、請求項19に記載の方法により前記調整された一次固有特徴を量子化するステップと、前記量子化された一次固有特徴から顔面を記述する顔面記述子を構成するために特徴を選択するステップと、を含む、一般的な顔面記述用の特徴を抽出する方法。

請求項31

請求項7に記載の方法により顔面イメージの調整された一次固有特徴を得るステップと、請求項19に記載の方法により前記調整された一次固有特徴を量子化するステップと、前記量子化された一次固有特徴から顔面を記述する顔面記述子を構成するために特徴を選択するステップと、前記選択された固有特徴を顔面記述子にコード化するステップと、を含む、一般的な顔面記述用の特徴を抽出する方法。

請求項32

視角に影響されない顔面記述を行なうために大きさが上位N個の固有値に対応する固有特徴を選択するステップを含む、請求項30または31のいずれかに記載の、前記量子化された一次固有特徴から顔面を記述する顔面記述子を構成する特徴を選択する方法。

請求項33

照明に影響されない顔面記述を行なうために大きさが上位k番目からN番目の固有値(0<k<N)に対応する固有特徴を選択するステップを含む、請求項30または31のいずれかに記載の、前記量子化された一次固有特徴から顔面を記述する顔面記述子を構成する特徴を選択する方法。

技術分野

0001

本発明は、コンテンツに基づくイメージ検索用の顔面記述、認識、銀行セキュリティシステムテレビ電話用の人の顔面識別および照合、監視や追跡、電子図書館、およびインターネットマルチメディアデータベースに利用することができる。

背景技術

0002

人の顔面の認知は、コンピュータビジョン研究において活発な分野である。顔面の認識は、マルチメディアデータベース検索その他多くの用途で今後重要な役割を果たすであろう。近年、顔面の検出/認識の問題についてかなりの進展が見られる。各種の具体的な技術が提案された。これらの技術の中で、ニューラルネット伸縮テンプレートマッチング、Karhunen-Loeve展開、代数モーメントおよび等密度線が、代表的な方法である。

0003

これらの方法のうち、主成分分析PCA)すなわちKarhunen-Loeve展開は重要な方法である。固有顔面法は、PCAから導出されていて、計算に便利であり、一貫した精度で識別が可能である。従来の研究によれば、PCA法は異なる種類の情報を自然に分離する。固有値が大きい固有ベクトルは、顔面のサブセットに共通の情報を取得し、固有値が小さい固有ベクトルは、個々の顔面に特有の情報を得る。研究によれば、固有値が大きい固有ベクトルに含まれる情報のみを、まだ学習されていない新しい顔面に対して汎用的に用いることができる。

発明が解決しようとする課題

0004

固有顔面法の利点は、固有値が大きい固有ベクトルが顔面の基本的な形状および構造に関する情報を伝達することである。これは、固有値が大きい固有ベクトルから抽出された特徴を用いて人の顔面の主要な特徴を記述できることを意味する。しかし、これはPCAの弱点でもある。固有値が大きい固有ベクトルから抽出された特徴だけを考慮するならば、個々の顔面に対応する顔面の細部を得ることができない。これら個々の顔面の細部を人の顔面の共通特徴と合わせて記述することができれば、人の顔面をより正確に記述することが可能となる。

0005

さらに、顔面のイメージが異なる照明条件や異なる視角のもとで撮影されている場合、人の顔面を表現する適当な固有ベクトルを得ることは難しい。発明者らの経験上、通常の固有顔面法は異なる照明条件下で顔面を認識するには適していない。しかし、同一人物の多くの顔面イメージが異なる照明および視角条件下で撮影されている。照明にも視角にも影響されない顔面記述は依然として探索すべき重要な分野である。

課題を解決するための手段

0006

固有顔面法は、形状や構造などの共通的な顔面特徴を抽出するのに有効である。固有値が小さい固有ベクトルを切り捨てた際に失われた顔面の細部を得るために、固有値が大きい固有ベクトルからの特徴で再構成された顔面を取得すべきである。再構成された顔面イメージを用いて、原イメージと再構成されたイメージとの間の残余イメージを得ることができる。これらの残余顔面は、個々の顔面に関する豊富詳細情報をまだ含んでいる高域通過された顔面イメージとみなすことができる。前記残余顔面を記述するために、固有顔面法を再度これらの残余顔面に適用することができる。得られた固有値が大きい固有ベクトルは、残余顔面の共通の特徴を明らかにする。この方法を用いて、固有値が大きい二次の固有ベクトルが得られ、対応する特徴を抽出することができる。発明者らの実験によれば、一次および二次固有特徴は共に視角に影響されない顔面記述に有効であるが、二次固有特徴はまた照明に影響されない顔面記述にも有効である。従って、一次および二次固有特徴の組み合わせは視角に影響されない顔面記述に、二次固有特徴は照明に影響されない顔面記述に用いることができる。顔面記述のもう一つの方法は、一次固有特徴だけを用いることである。照明に影響されない顔面記述のためには、固有値の大きさが上位k個の固有顔面から発生する照明の変動を避けるために固有値の大きさが上位k番目からN番目(0<k<N)の範囲にある固有顔面から抽出された固有特徴のみが用いられる。視角に影響されない顔面特徴は大きさが上位N個の固有値に対応する固有顔面から抽出された固有特徴であってよい。

0007

また、顔面記述を考える際に重要な特徴として顔面の対称性がある。大多数の人々の顔面は対称である。そこで同一人物を表現するのに左右の鏡像が形成された顔面イメージの利用が考えられる。その結果、原イメージおよび鏡像形成されたイメージの固有特徴は共に同一人物を表現することができる。従って、2個のイメージの固有特徴の線形結合を用いて原イメージを表現することができる。原イメージと鏡像形成されたイメージを区別するために、異なる重みを用いて固有特徴を組合せてもよい。

0008

請求項1の発明は、顔面イメージの調整された二次固有特徴を得るステップと、前記調整された二次固有特徴を量子化するステップと、前記量子化された二次固有特徴から顔面を記述するための顔面記述子を構成する特徴を選択するステップと、を含む、照明に影響されない顔面記述用の特徴を抽出する方法である。

0009

請求項2の発明は、顔面イメージの調整された二次固有特徴を得るステップと、前記調整された二次固有特徴を量子化するステップと、前記量子化された二次固有特徴から顔面を記述するための顔面記述子を構成する特徴を選択するステップと、前記選択された固有特徴を照明に影響されない顔面記述子にコード化するステップと、を含む、照明に影響されない顔面記述用の特徴を抽出する方法である。

0010

請求項3の発明は、顔面イメージの調整された一次固有特徴を得るステップと、顔面イメージの調整された二次固有特徴を得るステップと、前記調整された一次固有特徴を量子化するステップと、前記調整された二次固有特徴を量子化するステップと、前記量子化された一次および二次固有特徴から顔面を記述するための顔面記述子を構成する特徴を選択するステップと、を含む、視角に影響されない顔面記述用の特徴を抽出する方法である。

0011

請求項4の発明は、 調整された一次固有特徴を得るステップと、調整された二次固有特徴を得るステップと、前記調整された一次固有特徴を量子化するステップと、前記調整された二次固有特徴を量子化するステップと、前記量子化された一次および二次固有特徴から顔面を記述するための顔面記述子を構成する特徴を選択するステップと、前記選択された固有特徴を視角に影響されない顔面記述子にコード化するステップと、を含む、視角に影響されない顔面記述用の特徴を抽出する方法である。

0012

請求項5の発明は、顔面イメージと調整された二次固有顔面行列内積を求めるステップを含む、請求項1乃至4のいずれか1項に記載の顔面イメージの調整された二次固有特徴を求める方法である。

0013

請求項6の発明は、顔面イメージと調整された一次固有顔面行列の内積を求めるステップを含む、請求項3または4のいずれか1項に記載の顔面イメージの調整された一次固有特徴を求める方法である。

0014

請求項7の発明は、 一次固有顔面行列を計算するステップと、前記一次固有顔面行列を調整するステップと、を含む、請求項6に記載の前記調整された一次固有顔面行列を計算する方法である。

0015

請求項8の発明は、 二次固有顔面行列を計算するステップと、前記二次固有顔面行列を調整するステップと、を含む、請求項5に記載の前記調整された二次固有顔面行列を計算する方法である。

0016

請求項9の発明は、学習用顔面イメージの一次固有特徴を得るステップと、一次固有顔面を原イメージの二次元配列として構成するステップと、前記二次元配列の鏡像形成された固有顔面を得るステップと、前記鏡像形成された固有顔面イメージに重み付けを行なうステップと、前記重み付けられた固有顔面イメージを前記一次固有顔面に加えるステップと、一次元の調整された一次固有顔面を得るために一次固有顔面を再構成するステップと、一次固有顔面を正規化するステップと、距離計算のために調整された一次固有特徴の重みを得るステップと、距離計算のための一次固有特徴の重みを調整された一次固有顔面行列へ乗ずるステップと一次固有顔面行列を量子化するステップと、を含む、請求項7に記載の前記一次固有顔面を調整する方法である。

0017

請求項10の発明は、 一次固有顔面行列を計算するステップと、学習用顔面イメージから一次固有特徴を得るステップと、前記一次固有顔面行列の擬似逆行列を計算するステップと、前記一次固有特徴を一次固有顔面行列の前記逆行列に乗ずることにより再構成された一次顔面イメージを計算するステップと、原イメージから再構成された一次顔面イメージを差し引くことにより二次残余イメージを得るステップと、前記二次残余イメージの固有ベクトルを計算することにより二次固有顔面を得るステップと、を含む、請求項8に記載の二次固有顔面を計算する方法である。

0018

請求項11の発明は、顔面イメージと二次固有顔面の内積を計算することにより学習用顔面イメージの二次固有特徴を得るステップと、二次固有顔面を原イメージの形状に再整形し、左右対称に鏡像形成された固有顔面イメージを得るステップと、鏡像形成された固有顔面イメージに重み付けを行ない、それらを対応する原イメージに整形された二次固有顔面イメージに加えるステップと、一次元の調整された二次固有顔面を得るために原イメージに整形された二次固有顔面を再構成するステップと、調整された二次固有顔面を正規化するステップと、距離計算のために二次固有特徴の重みを得るステップと、距離計算のための二次固有特徴の重みを調整された二次固有顔面行列へ乗ずるステップと二次固有顔面行列を量子化するステップと、を含む、請求項8に記載の二次固有顔面を調整する方法である。

0019

請求項12の発明は、 調整された一次固有顔面行列の最大値および最小値を得るステップと、前記最大値と前記最小値の間を複数の量子化レベルに分割することにより量子化刻みを得るステップと、前記調整された二次固有顔面行列を前記量子化刻みで除算するステップと、前記除算された値を最も近い整数に丸めるステップと、を含む、請求項9に記載の調整された一次固有顔面行列を量子化する方法である。

0020

請求項13の発明は、 前記調整された二次固有顔面行列の最大値および最小値を得るステップと、前記最大値と前記最小値の間を複数の量子化レベルに分割することにより量子化刻みを得るステップと、前記調整された二次固有顔面行列を前記量子化刻みで除算するステップと、前記除算された値を最も近い整数に丸めるステップと、を含む、請求項11に記載の調整された二次固有顔面行列を量子化する方法である。

0021

請求項14の発明は、 前記量子化された二次固有顔面行列に請求項11の前記量子化刻みを乗ずることにより、復元された調整済み二次固有顔面を得るステップと、復元された調整済み二次固有顔面の各列に顔面イメージの各行を乗ずることにより二次固有特徴を得るステップと、を含む、請求項1乃至4のいずれか1項に記載の調整された二次固有特徴を得る方法である。

0022

請求項15の発明は、 前記量子化された一次固有顔面行列に請求項12の前記量子化刻みを乗ずることにより、復元された調整済み一次固有顔面を得るステップと、復元された調整済み一次固有顔面の各列に顔面イメージの各行を乗ずることにより一次固有特徴を得るステップと、を含む、請求項3または4のいずれか1項に記載の目の調整された一次固有特徴を得る方法である。

0023

請求項16の発明は、学習用イメージの前記調整された二次固有特徴の最大値および最小値を得るステップと、前記最大値と前記最小値の間を複数の量子化レベルに分割することにより量子化刻みを得るステップと、前記調整された二次固有特徴を前記量子化刻みで除算するステップと、前記除算された値を最も近い整数に丸めるステップと、を含む、請求項1乃至4のいずれか1項に記載の調整された二次固有特徴を量子化する方法である。

0024

請求項17の発明は、学習用イメージの前記調整された二次固有特徴の最大値および最小値を得るステップと、前記最大値と前記最小値の間を複数の量子化レベルに分割することにより量子化刻みを得るステップと、前記調整された二次固有特徴を前記量子化刻みで除算するステップと、前記除算された値を最も近い整数に丸めるステップと、標準偏差の最小値で除算された学習用集合内の対応固有特徴の標準偏差の丸められた対数を計算することにより、異なる固有特徴に異なる個数ビット割当てるステップと、前記固有特徴を対応ビット割当てに従って量子化するステップと、を含む、請求項1乃至4のいずれか1項に記載の調整された二次固有特徴を量子化する方法である。

0025

請求項18の発明は、学習用イメージの前記調整された一次固有特徴の最大値および最小値を得るステップと、前記最大値と前記最小値の間を複数の量子化レベルに分割することにより量子化刻みを得るステップと、前記調整された一次固有特徴を前記量子化刻みで除算するステップと、前記除算された値を最も近い整数に丸めるステップと、を含む、請求項3または4のいずれか1項に記載の調整された一次固有特徴を量子化する方法である。

0026

請求項19の発明は、学習用イメージの前記調整された一次固有特徴の最大値および最小値を得るステップと、前記最大値と前記最小値の間を複数の量子化レベルに分割することにより量子化刻みを得るステップと、前記調整された一次固有特徴を前記量子化刻みで除算するステップと、前記除算された値を最も近い整数に丸めるステップと、標準偏差の最小値で除算された学習用集合内の対応固有特徴の標準偏差の丸められた対数を計算することにより、異なる固有特徴に異なる個数のビットを割当てるステップと、前記固有特徴を対応ビット割当てに従って量子化するステップと、を含む、請求項3または4のいずれか1項に記載の調整された一次固有特徴を量子化する方法である。

0027

請求項20の発明は、学習用顔面イメージの前記調整された一次固有特徴の標準偏差を得るステップと、前記標準偏差の平方根を抽出することにより重みを得るステップと、を含む、距離計算のための調整された一次固有特徴の重みを得る請求項9に記載の方法である。

0028

請求項21の発明は、学習用顔面イメージの前記調整された二次固有特徴の分散を得るステップと、前記分散の平方根を抽出することにより、調整された二次固有特徴の重みを得るステップと、を含む、距離計算のために調整された二次固有特徴の重みを得る請求項11に記載の方法である。

0029

請求項22の発明は、 請求項1または2に記載の方法により照明に影響されない顔面記述のための顔面の固有特徴を抽出するステップと、前記顔面の固有特徴のユークリッド距離を得るステップと、最適に合致する顔面のペアを示す最小ユークリッド距離を選択するステップと、を含む、照明に影響されない顔面同士の類似度を測定する方法である。

0030

請求項23の発明は、 請求項3または4に記載の方法により視角に影響されない顔面記述のための顔面の固有特徴を抽出するステップと、顔面の特徴のユークリッド距離を得るステップと、最適に合致する顔面のペアを示す最小ユークリッド距離を選択するステップと、を含む、視角に影響されない顔面同士の類似度を測定する方法である。

0031

請求項24の発明は、 請求項1または2に記載の方法により学習用集合の前記量子化された固有特徴を得るステップと、ビット割当てに従って前記固有特徴をグループ分類するステップと、エントロピーコード化法を用いて同一ビット割当てを有する前記固有特徴のグループの各々に対してコード表を構成するステップと、を含む、照明に影響されない顔面記述子を可変コード化(VLC)するためのコード表を得る方法である。

0032

請求項25の発明は、 請求項3または4に記載の方法により学習用集合の前記量子化された固有特徴を得るステップと、ビット割当てに従って前記固有特徴をグループに分類するステップと、エントロピーコード化手法を用いて同一ビット割当てを有する前記固有特徴のグループを各々に対してコード表を構成するステップと、を含む、視角に影響されない顔面記述子を可変コード化(VLC)するためのコード表を得る方法である。

0033

請求項26の発明は、 前記エントロピーコード化手法は量子化レベルの確率に基づいたHuffmanコード化手法である、請求項24または25のいずれか1項に記載のコード表構成方法である。

0034

請求項27の発明は、 前記エントロピーコード化手法は量子化レベルの確率に基づいた算術コード化手法である、請求項24または25のいずれか1項に記載のコード表構成方法である。

0035

請求項28の発明は、 各々の量子化された固有特徴について請求項24に記載の方法により生成されたコード表を参照し、対応するコード語を用いて前記量子化された固有特徴を表現するステップを含む、請求項1または2のいずれか1項に記載の照明に影響されない顔面記述子をコード化する方法である。

0036

請求項29の発明は、 各々の量子化された固有特徴について請求項25に記載の方法により生成されたコード表を参照し、対応するコード語を用いて前記量子化された固有特徴を表現するステップを含む、請求項3または4のいずれか1項に記載の視角に影響されない顔面記述子をコード化する方法である。

0037

請求項30の発明は、 請求項7に記載の方法により顔面イメージの調整された一次固有特徴を得るステップと、請求項19に記載の方法により前記調整された一次固有特徴を量子化するステップと、前記量子化された一次固有特徴から顔面を記述する顔面記述子を構成するために特徴を選択するステップと、を含む、一般的な顔面記述用の特徴を抽出する方法である。

0038

請求項31の発明は、 請求項7に記載の方法により顔面イメージの調整された一次固有特徴を得るステップと、請求項19に記載の方法により前記調整された一次固有特徴を量子化するステップと、前記量子化された一次固有特徴から顔面を記述する顔面記述子を構成するために特徴を選択するステップと、前記選択された固有特徴を顔面記述子にコード化するステップと、を含む、一般的な顔面記述用の特徴を抽出する方法である。

0039

請求項32の発明は、視角に影響されない顔面記述を行なうために大きさが上位N個の固有値に対応する固有特徴を選択するステップを含む、請求項30または31のいずれかに記載の、前記量子化された一次固有特徴から顔面を記述する顔面記述子を構成する特徴を選択する方法である。

0040

請求項33の発明は、照明に影響されない顔面記述を行なうために大きさが上位k番目からN番目の固有値(0<k<N)に対応する固有特徴を選択するステップを含む、請求項30または31のいずれかに記載の、前記量子化された一次固有特徴から顔面を記述する顔面記述子を構成する特徴を選択する方法である。

発明を実施するための最良の形態

0041

本発明は、照明や視角に影響されることなく人の顔面を記述する2種類の方法を提供する。これらはイメージ検索(顔面の例による照会)、個人識別および照合、監視および追跡、および他の顔面認識用途に利用できる。顔面の特徴を記述するために、発明者らの知見および推論に基づいて二次固有顔面の概念を提案する。最初に、学習用顔面イメージの集合から一次および二次固有顔面が導かれる。次に顔面の対称性の特徴を用いて固有顔面を調整することができる。これらの調整された固有顔面を用いて、調整された一次および二次固有特徴が得られる。これらの特徴の組合せを用いて顔面を記述することができる。この記述の場合、類似度の測定にユークリッド距離を使用することができる。

0042

図2中段のイメージは、撮影したままのデジタル写真のイメージであって、何の処理もされていない原顔面イメージ1a,2a,3a,4a,5a,6aである。原顔面イメージ1aを一次元ベクトルで示すと、Φ1と表示される。同様に、原顔面イメージ2a,3a,4a,5a,6aを一次元ベクトルで示すと、Φ2、Φ3、Φ4、Φ5,Φ6と表示される。一般的に、顔面イメージiaをベクトルΦiで示す。

0043

6個全ての原顔面イメージの一次元ベクトルを足し合せ、その合計を6で割れば、平均イメージΨが得られる。すなわち、
Ψ=(Φ1+Φ2+Φ3+Φ4+Φ5+Φ6)/6
が得られる。イメージ1aの一次元ベクトルΦ1と平均イメージΨとの差をΓ1(1)で定義する。同様に、イメージ2a,3a,4a,5a,6aについてもそれぞれΓ2(1)、Γ3(1)、Γ4(1)、Γ5(1)、Γ6(1)が定義される。

0044

すなわち、
Γ1(1)=Φ1−Ψ
Γ2(1)=Φ2−Ψ
Γ3(1)=Φ3−Ψ
Γ4(1)=Φ4−Ψ
Γ5(1)=Φ5−Ψ
Γ6(1)=Φ5−Ψ
となる。

0045

Γ1(1)は、後で説明するように、イメージ1aの一次特徴W1(1)を得るためのベースとなる。同様に、Γ2(1)、Γ3(1)、Γ4(1)、Γ5(1)、Γ6(1)は、それぞれイメージ2a,3a,4a,5a,6aの一次特徴W2(1)、W3(1)、W4(1)、W5(1)、W6(1)を得るためのベースとなる。記号式の右上の(1)は、一次特徴に係わる値であることを示す。また、Γ1(1)、Γ2(1)、Γ3(1)、Γ4(1)、Γ5(1)、Γ6(1)のそれぞれをローパスフィルタで処理したものを再構成行列
ID=000003HE=010 WI=047 LX=1265 LY=1500
として表わす。

0046

図2上段のイメージ1b、2b、3b、4b、5b、6bは、それぞれ平均イメージΨに、再構成行列
ID=000004HE=010 WI=047 LX=1265 LY=1800
を加えた和
ID=000005 HE=010 WI=037 LX=1315 LY=1950
で表わされる再構成顔面イメージである。すなわち、
ID=000006 HE=050 WI=023 LX=1385 LY=2100
となる。

0047

再構成顔面イメージは、ローパスフィルタで処理したデータを含んでいるので、顔の角度が少し変わっていても、顔の情報に大きな変化は生じない。図2下段のイメージ1c、2c、3c、4c、5c、6cは、図2の中段の原顔面イメージΦから同上段の再構成顔面イメージ
ID=000007HE=005 WI=004 LX=0580 LY=0450
を引いた結果の残余イメージΓ(2)である。すなわち、
ID=000008 HE=055 WI=045 LX=0375 LY=0600
となる。

0048

残余イメージは、原顔面イメージに含まれる照明による明るさの情報と、再構成顔面イメージに含まれる照明による明るさの情報が引き算により相殺されるので、残余イメージには、照明による明るさによる影響を受けない者となっている。以下、一般式で、本発明を説明する。

0049

M個(図2中断では6個)のイメージ群の中でイメージ
ID=000009HE=005 WI=004 LX=0580 LY=1600
を考える(図1、ステップ110)。ここで、
ID=000010 HE=005 WI=004 LX=0580 LY=1700
ラスタスキャンイメージの一次元ベクトルであり、
ID=000011 HE=005 WI=004 LX=0580 LY=1800
を平均イメージとして定義する(図1、ステップ120)。

0050

すべてのイメージは、平均イメージからベクトル
ID=000013HE=010 WI=023 LX=0485 LY=2200
だけ異なる(図1、ステップ130)。よって、データの共分散行列は、次のように定義される。

0051

Qは
ID=000016HE=005 WI=015 LX=1425 LY=0300
次元である。ここで、wはイメージの幅、hは高さである。この行列のサイズは巨大であるが、イメージベクトルMの有限個数を合計するだけであるため、この行列の階数がM−1を超えることはない。
ID=000017 HE=010 WI=006 LX=1470 LY=0550

ID=000018 HE=005 WI=015 LX=1425 LY=0700
(i=1,2,..,M)の固有ベクトルである場合(図1、ステップ150)、
ID=000019 HE=010 WI=037 LX=1315 LY=0850
(ここで、
ID=000020 HE=010 WI=006 LX=1470 LY=1000

ID=000021 HE=005 WI=015 LX=1425 LY=1150
の固有値)であり、前式の左辺
ID=000022 HE=005 WI=006 LX=1470 LY=1250
を乗ずることにより分かるように
ID=000023 HE=010 WI=015 LX=1425 LY=1350

ID=000024 HE=005 WI=015 LX=1425 LY=1500
の固有ベクトルである。すなわち、

0052

しかし、
ID=000026HE=005 WI=015 LX=1425 LY=1850
のサイズは
ID=000027 HE=005 WI=013 LX=1435 LY=1950
にすぎない。それゆえ、
ID=000028 HE=005 WI=015 LX=1425 LY=2050
の固有ベクトル
ID=000029 HE=010 WI=006 LX=1470 LY=2150
を定義すると、次のようになる。

0053

固有値
ID=000031HE=010 WI=006 LX=1470 LY=2550
は、固有ベクトル
ID=000032 HE=010 WI=006 LX=1470 LY=2700
が張る新しい座標空間に沿った分散である(図1、ステップ160)。以後、固有値
ID=000033 HE=010 WI=006 LX=0570 LY=0400
が減少するようiが順序付けられているものと仮定する。固有値は、指数的に減少している。よって、
ID=000034 HE=010 WI=023 LX=0485 LY=0600
(ここで、
ID=000035 HE=010 WI=027 LX=0465 LY=0750
および
ID=000036 HE=005 WI=019 LX=0505 LY=0900
を計算することにより、顔面イメージ
ID=000037 HE=005 WI=006 LX=0570 LY=1000
をM1次元のみ
ID=000038 HE=005 WI=019 LX=0505 LY=1100
の上へ射影することができる。
ID=000039 HE=010 WI=009 LX=0555 LY=1200
は、新しい座標系
ID=000040 HE=005 WI=006 LX=0570 LY=1350
のk番目の座標である。この意味で、
ID=000041 HE=005 WI=009 LX=0555 LY=1450
を一次特徴と呼ぶ。ベクトル
ID=000042 HE=010 WI=009 LX=0555 LY=1550
は、実際にはイメージであり、一次固有顔面と呼ぶ(一般に、他の文書では固有顔面と呼ばれる)。
ID=000043 HE=010 WI=039 LX=0405 LY=1750
とすると(図1、ステップ170)、

0054

図1に一次特徴
ID=000045HE=005 WI=009 LX=0555 LY=2150
を計算する手順を示す。同図において、
ID=000046 HE=005 WI=015 LX=0525 LY=2250
は、i番目に大きい固有値およびそれに対応する行列の固有ベクトルを計算する関数である。式(3)の興味深い副産物は、
ID=000047 HE=005 WI=009 LX=0555 LY=2450
から再構成行列を得ることができることである。
ID=000048 HE=005 WI=006 LX=0570 LY=2550

ID=000049 HE=005 WI=013 LX=0535 LY=2650
行列であるため、その逆行列は求められない。しかし、その擬似逆行列を用いて逆行列を近似することはできる。
ID=000050 HE=005 WI=009 LX=1455 LY=0350

ID=000051 HE=005 WI=009 LX=1455 LY=0450
の擬似逆行列とすると、

0055

ID=000060HE=010 WI=039 LX=1305 LY=2200

ID=000061 HE=010 WI=006 LX=1470 LY=2350

ID=000062 HE=005 WI=015 LX=1425 LY=2500
の固有値、
ID=000063 HE=010 WI=006 LX=1470 LY=2600

ID=000064 HE=005 WI=015 LX=1425 LY=2750
の対応する固有ベクトルとすると、
ID=000065 HE=010 WI=035 LX=0425 LY=0350
である。上述の記載に基づいて、
ID=000066 HE=005 WI=015 LX=0525 LY=0500
の固有ベクトルは
ID=000067 HE=010 WI=023 LX=0485 LY=0600
である。よって、
ID=000068 HE=010 WI=023 LX=0485 LY=0750
を計算することにより、残余顔面イメージ
ID=000069 HE=005 WI=006 LX=0570 LY=0900
をM2次元のみ
ID=000070 HE=005 WI=021 LX=0495 LY=1000
の上へ射影することができる。ここで、

0056

ID=000076HE=010 WI=039 LX=1305 LY=0950
とすると、式(5)は以下のように書ける。

0057

ID=000078HE=010 WI=049 LX=0355 LY=1700
とすると、

0058

ID=000080HE=005 WI=004 LX=1480 LY=1750
定数変換行列であり、1回計算されるだけであるため、計算効率に影響しない。顔面イメージは、
ID=000081 HE=010 WI=082 LX=0640 LY=2000
(ここで、
ID=000082 HE=005 WI=021 LX=0495 LY=2150
)により記述できる。固有顔面Uからの特徴計算のみに比べて
ID=000083 HE=005 WI=011 LX=0545 LY=2300
を計算することによる計算量の負荷は増加しない。説明の便宜上、残余イメージを二次残余イメージと呼び、原顔面イメージを一次残余イメージと呼ぶ(原顔面イメージを次残余イメージと呼ぶほうが良いように思われるにもかかわらず)。

0059

一次固有特徴は原イメージの特徴を記述し、二次固有特徴は高域通過イメージの特徴を示す。これらの特徴は異なる用途に利用できる。

0060

照明に影響されないケースでは、イメージの視角はほぼ同じであるが、照明条件は異なる。照明光は左、右、あるいは両方向から照らされる可能性がある。また顔面も明るかったり暗かったりする。この状況で、イメージの特徴はフィルタリングした後で抽出されねばならない。すなわち、原画像イメージのデータは照明の特徴を含んでいるし、一次特徴のデータも照明の特徴を含んでいる。従って、一次固有特徴はこのケースには適していない。従って、原画像イメージから、この一次特徴画像を引き算した二次特徴は、照明の影響が除去されており、照明に影響されない特徴を有するデータとして利用できる。二次固有特徴のみが適している。一方、視角に影響されないケースを考える場合、同一人物のイメージをほぼ同じ照明条件下で撮影するが視角あるいはポースは同じではない。この状況で、顔面を記述するのに一次および二次固有特徴が重要である。一次特徴は、原画像イメージをローパスフィルタで処理したイメージであり、顔面画像大局的な特徴を示すので、視角度の異なるイメージでも、ほぼ同じ特徴が抽出される。よって、視角度が異なる場合は、二次特徴に加えて一次特徴も使うことで、視角に影響されない記述子として使用されうる。

0061

従って、照明に影響されない状況を記述する顔面記述子として二次固有特徴を、視角に影響されない状況を記述する顔面記述子として一次および二次固有特徴を用いることにする。

0062

顔面記述を考える際に重要な特徴として顔面の対称性がある。大多数の人々の顔面は対称である。そこで同一人物を表現するのに鏡像形成された顔面イメージの利用が考えられる。その結果、原イメージおよび鏡像形成されたイメージの固有特徴は共に同一人物を表現することができる。従って、2個のイメージの固有特徴の線形結合を用いて原イメージを表現することができる。原イメージと鏡像形成されたイメージを区別するために、異なる重みを用いて特徴を計算してもよい。

0063

ID=000084HE=005 WI=004 LX=0580 LY=1350
を原イメージ、
ID=000085 HE=005 WI=004 LX=0580 LY=1450

ID=000086 HE=005 WI=004 LX=0580 LY=1550
の鏡像形成であるとすると、調整された固有特徴は以下で表わされる。

0064

ID=000089HE=010 WI=049 LX=0355 LY=2200
であるため、以下が成り立つ。

0065

上述の固有特徴を利用して人の顔面を効果的に記述することができる。しかし、固有特徴を顔面認識や関連用途向けの特徴とみなすならば、固有特徴はその範囲が同じでないため正規化すべきである。

0066

合理的な正規化の方法の一つは、当該固有特徴を学習用集合内の固有特徴の対応する標準偏差で除算することである。
ID=000099HE=010 WI=006 LX=1470 LY=2250
を学習用集合内の
ID=000100 HE=010 WI=006 LX=1470 LY=2400
の標準偏差とする。ここに、j=1,2は一次または二次固有特徴を示す。するとイメージ
ID=000101 HE=005 WI=004 LX=1480 LY=2600
の正規化された固有特徴は以下で与えられる。

0067

顔面イメージの類似度は、単に正規化された射影間の重み付き距離として定義される。

0068

ID=000104HE=005 WI=011 LX=0545 LY=0650
の場合、照明に影響されない顔面記述について顔面イメージの類似度は二次特徴のみを用いて測定される。視点に影響されない顔面記述の場合、一次および二次特徴の両方が必要である。重みは以下のように選ばれる。

0069

重みはまた用途に応じて別の数を選択してもよい。実際、計算量を減らすために重みは調整された固有顔面に埋め込まれてもよく、正規化パラメータもまた固有顔面行列へ移動させられてもよい。記憶容量を減らすために、固有顔面行列および固有特徴を浮動小数点から整数に量子化すべきである。

0070

ID=000107HE=015 WI=045 LX=1275 LY=0850
とする。ここに、
ID=000108 HE=020 WI=047 LX=1265 LY=1050
Round()は丸め関数、およびj=1,2である。固有特徴は以下を用いて量子化できる。

0071

さらに、固有特徴全体のサイズを減らすために、固有特徴を学習用集合の標準偏差に従って再量子化することができる。これは顔面記述子と検索精度の間のトレードオフと考えられる。発明者らの実験によれば、各固有特徴についてのビットを以下のように割当てることができる。

0072

さらに顔面記述子を圧縮するために、量子化された固有特徴に可変長コード化を適用することができる。この作業にHuffmanコード化および算術コード化が利用できる。コード表は以下のように計算される。
1)学習用集合内のイメージについて固有特徴を計算する。
2)上述の方策により固有特徴を量子化する。
3)同一のビット割当てを有する量子化された固有特徴について各量子化レベルの確率を計算する。
4)すべての量子化レベルについて可変長コードを計算する。
5)すべてのビット割当てケースについてステップ3)および4)を用いてすべてのコード表を計算する。

0073

この方法により、顔面記述子をさらに圧縮できる。それに対応して、2個の顔面記述子間の距離が計算できるようにするには、コード化された顔面記述子をデコードする必要がある。

0074

発明者らの観察によれば、視角および照明に影響されない顔面特徴を記述するのに一次特徴自身もまた利用できる。視角に影響されない顔面特徴は大きさが上位N個の固有値に対応する固有顔面から抽出された固有特徴であってよい。照明に影響されない顔面特徴は大きさが上位k個からN個の範囲にある固有値に対応する固有顔面から抽出された固有特徴であってよい。ここに0<k<Nであるが、一般には4≦k≦10かつ40≦N≦60である。好ましくは、k=8、N=40で、総固有顔面値は48である。図4図5は、それぞれ照明に影響されない顔面特徴を抽出する方法、視角に影響されない顔面特徴を抽出する方法を示したフローチャートである。

0075

図4の照明に影響されない顔面特徴を抽出する方法は、次のステップからなる。
ステップ410: 調整された二次固有顔面行列を計算する。
ステップ420: 調整された二次固有特徴を得る。
ステップ430: 調整された二次固有特徴から顔面を記述する特徴を選択する。
ステップ440: VLCにより量子化された固有特徴をコード化する。このステップは省略しても良い。

0076

図5の視角に影響されない顔面特徴を抽出する方法は、次のステップからなる。
ステップ510: 調整された一次固有顔面行列を計算する。
ステップ520: 調整された二次固有顔面行列を計算する。
ステップ530: 調整された一次固有特徴を得る。
ステップ540: 調整された二次固有特徴を得る。
ステップ550: 調整された一次および二次固有特徴を量子化する。
ステップ560: 調整された一次および二次固有特徴から顔面を記述する特徴を選択する。
ステップ570: VLCにより量子化された固有特徴をコード化する。このステップは省略しても良い。

発明の効果

0077

本発明は、人の顔面を記述するのに極めて有効である。二次固有顔面は、学習用顔面イメージを用いて1回の計算だけから得られるため、二次特徴を一次特徴と同じくらい効率良く得ることができる。詳細情報は高次固有特徴を用いて明らかにすることができるため、一次および二次特徴の組合せのパフォーマンス同一個数の一次固有特徴に比べて、視角に影響されない顔面記述において優れている。二次固有特徴は照明に影響されない顔面記述能力において、一次固有特徴よりもはるかに優れている。本発明は人の顔面を記述するのに極めて有効かつ効率的である。本記述法はインターネットマルチメディアデータベース検索、ビデオ編集、電子図書館、監視/追跡、および顔面認識/照合を広範に用いるその他の用途で利用することができる。

図面の簡単な説明

0078

図1i次特徴
ID=000120HE=005 WI=009 LX=1455 LY=2400を計算する手順を示すフローチャートである。
図2再構成顔面、対応する原顔面および二次残余イメージを示す図である。
図3固有顔面の鏡像形成を得る手順を示す模式図である。
図4照明に影響されない顔面記述子を生成するフローチャートである。
図5視角に影響されない顔面記述子を生成するフローチャートである。

--

0079

320 再整形
340鏡像形成を行なう
360 再整形

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • アースアイズ株式会社の「 監視装置、監視システム、及び、監視方法」が 公開されました。( 2020/09/24)

    【課題】2次元画像を用いた監視装置において、監視対象とした「人」が行う監視対象とした「物」に対する不定形な一般的動作を抽出して、監視対象とした「人」が、監視対象とした「物」に対して不審度の高い所定の行... 詳細

  • 富士ゼロックス株式会社の「 データ管理システム」が 公開されました。( 2020/09/24)

    【課題】階層構造になっている管理システムにおいて、管理対象データの実体を最上位の装置が全て管理する場合と比較して、管理対象データがユーザの意図しない装置に提供されないシステムを提供する。【解決手段】管... 詳細

  • ソニー株式会社の「 情報処理装置、情報処理方法、およびプログラム」が 公開されました。( 2020/09/24)

    【課題・解決手段】本技術は、複数人のユーザが皆満足できる空間を提供することができるようにする情報処理装置、情報処理方法、およびプログラムに関する。分析部は、複数人のユーザが存在する環境におけるセンシン... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ