図面 (/)

技術 顔認証方法およびシステム

出願人 ベイジンセンスタイムテクノロジーデベロップメントカンパニー,リミテッド
発明者 スン,イーワン,ショウコウタン,シャオオウ
出願日 2014年6月16日 (6年5ヶ月経過) 出願番号 2016-570873
公開日 2017年6月22日 (3年5ヶ月経過) 公開番号 2017-517076
状態 特許登録済
技術分野 特定パターンの照合 イメージ分析 画像処理
主要キーワード 対象種類 出力特徴 閉形式解 線形ユニット 水平反転 融合アルゴリズム 接続重み バイパス接続
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年6月22日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (9)

課題・解決手段

本発明は、特徴抽出ユニットおよび認証ユニットを備えてもよい顔認証装置に関する。一実施形態において、特徴抽出ユニットは、異なる顔訓練セットを用いて訓練された複数の畳み込み特徴抽出ステムを備え、ここで、システムのいずれにも、複数のカスケードされた畳み込み特徴抽出ユニット、プーリング特徴抽出ユニット、局部接続特徴抽出ユニットおよび完全接続特徴抽出ユニットを備え、これらの特徴抽出ユニットは顔画像の顔領域から顔認証のための顔特徴を抽出するように構成され、その中でも、本発明の一実施形態に係る完全接続ユニットとなることができるユニットカスケードの出力ユニットは、前の畳み込みユニット、プーリングユニット、局部接続ユニットまたは完全接続ユニットのうちの少なくとも1つに接続され、かつ接続されたユニットにおいて顔特徴から、顔認証のための顔特徴(深層認識−認証特徴またはDeepID2と呼ばれ)を抽出するように構成される。認証ユニットは比較されるべき2つの顔画像から抽出して得られたDeepID2を比較してこれらの2つの顔画像が同じ身元由来するか否かを決定するように構成される。

概要

背景

初期部分空間顔認識法(例えば、LDAおよびベイズ的な顔)は、姿勢照明表情年齢、および遮蔽に起因した個人内変動を低減したと共に、個人間変動を拡大した。例えば、LDAは、2つの線形部分空間により、顔の個人間変動と顔の個人内変動とを近似させ、かつ両方の間の比率最大化させる投影方向を見つける。

より最近の研究にも、明示的または暗黙的に同一標的を狙ってきた。例えば、距離学習(metric learning)を提案して顔画像をいくつかの特徴表示マッピングし、同じ身元の顔画像が互いに近くなる一方、異なる身元の顔画像が別々に離れるように維持する。しかしながら、このようなモデルは、それらの線形性質や浅層構造に非常に制限され、個人間変動および個人内変動が複雑で高非線形であり、かつ高次元画像空間内に観察される。

近年、深層モデルにより認識監視信号または認証監視信号を用いて顔認識に有効な特徴を学習するために、多大な努力をしてきた。認識信号を用いて学習された特徴は、既にLFWにおいて約97.45%の精度が得られた。

分類タスクおよび認証タスク共同で解決するという発想は、一般的な対象の認識に適用され、それは、隠された特徴表示ではなく固定の対象種類である分類精度を向上させることに焦点を当ててきた。

概要

本発明は、特徴抽出ユニットおよび認証ユニットを備えてもよい顔認証装置に関する。一実施形態において、特徴抽出ユニットは、異なる顔訓練セットを用いて訓練された複数の畳み込み特徴抽出ステムを備え、ここで、システムのいずれにも、複数のカスケードされた畳み込み特徴抽出ユニット、プーリング特徴抽出ユニット、局部接続特徴抽出ユニットおよび完全接続特徴抽出ユニットを備え、これらの特徴抽出ユニットは顔画像の顔領域から顔認証のための顔特徴を抽出するように構成され、その中でも、本発明の一実施形態に係る完全接続ユニットとなることができるユニットカスケードの出力ユニットは、前の畳み込みユニット、プーリングユニット、局部接続ユニットまたは完全接続ユニットのうちの少なくとも1つに接続され、かつ接続されたユニットにおいて顔特徴から、顔認証のための顔特徴(深層認識−認証特徴またはDeepID2と呼ばれ)を抽出するように構成される。認証ユニットは比較されるべき2つの顔画像から抽出して得られたDeepID2を比較してこれらの2つの顔画像が同じ身元に由来するか否かを決定するように構成される。

目的

本発明の一態様によれば、特徴抽出ユニットおよび認証ユニットを備えてもよい顔認証装置を提供する

効果

実績

技術文献被引用数
1件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

異なる顔訓練セットを用いて訓練された複数の畳み込み特徴抽出ステムを含む特徴抽出ユニットであって、前記畳み込み特徴抽出システムのそれぞれが、複数の畳み込み層、複数のプーリング層、複数の局部接続層、および複数の完全接続層を有する層カスケードを含み、前記層カスケードの出力層が、その前の畳み込み層、プーリング層、局部接続層または完全接続層のうちの少なくとも1つに接続され、且つ、接続された層における顔特徴から顔特徴を抽出して顔認証のためのDeepID2とするように構成されている、特徴抽出ユニットと、前記出力層により、比較されるべき2つの顔画像から抽出された前記顔特徴を比較し、前記2つの顔画像が同じ身元由来するか否かを決定するように構成される認証ユニットと、を備えることを特徴とする顔認証装置

請求項2

前記出力層は、前記完全接続層を備えることを特徴とする請求項1に記載の装置。

請求項3

対になる顔画像、認識監視信号、および認証監視信号を前記畳み込み特徴抽出システムに入力して前記畳み込み特徴抽出システムのニューロンの間の接続重みを調整するように構成される訓練ユニットをさらに備えることを特徴とする請求項1に記載の装置。

請求項4

各顔領域から抽出された前記DeepID2を顔身元の全ての種類のうちの1種に分類するために、出力DeepID2層の後にn−waysoftmax層が続いており、その中で、前記訓練ユニットは認識器を備え、前記認識器は、分類された身元を所定の参照身元と比較して認識エラーを生成し、生成された認識エラーが逆伝播されて前記畳み込み特徴抽出システムを通過して、前記畳み込み特徴抽出システムのニューロンの間の接続重みが調整されるように構成されることを特徴とする請求項3に記載の装置。

請求項5

前記訓練ユニットは認証器を備え、前記認証器は、2つの顔領域からそれぞれ抽出された2つのDeepID2ベクトルの間の非類似度を比較して認証エラーを生成するように構成され、その中で、生成された認証エラーが逆伝播されて前記畳み込み特徴抽出システムを通過して、前記畳み込み特徴抽出システムのニューロンの間の接続重みが調整されることを特徴とする請求項3に記載の装置。

請求項6

前記畳み込み特徴抽出システムのそれぞれに対して、前記訓練ユニットおよび前記システムのそれぞれが協力し、以下のステップ、すなわち、1)予備訓練セットから2つの顔領域−ラベルの対をサンプリングするステップと、2)サンプリングされた2つの顔領域−ラベルの対における2つの顔領域からDeepID2をそれぞれ抽出するステップと、3)前記2つの顔領域から抽出されたDeepID2に基づいて認識エラーおよび認証エラーを生成するステップと、4)前記認識エラーおよび前記認証エラーを、前記畳み込み特徴抽出システムを通過させるように逆伝播して、前記畳み込み特徴抽出システムのニューロンの間の接続重みを調整するステップと、5)訓練プロセスが収束するまで、ステップ1)〜4)を繰り返して前記畳み込み特徴抽出システムのニューロンの間の接続重みを決定するステップと、を実行することを特徴とする請求項3に記載の装置。

請求項7

前記認証ユニットは、抽出されたDeepID2から1組または複数の組のDeepID2を選択するように構成される特徴選択ユニットと、選択された1組または複数の組のDeepID2を比較して1つまたは複数の顔認証スコアを出力するように構成される比較ユニットと、前記1つまたは複数の顔認証スコアを統合して単一の顔認証の判定をするように構成される統合ユニットと、を備えており、ここで、各組のDeepID2が各顔画像の複数の顔領域から抽出されたDeepID2を含むことを特徴とする請求項1に記載の装置。

請求項8

前記畳み込み特徴抽出層のいずれにおいても、局所受容野と、前記畳み込み特徴抽出層における前記ニューロンまたは前記ニューロンのサブセットの間において共有される接続重みとを備える複数のニューロンを含むことを特徴とする請求項1に記載の装置。

請求項9

2つのDeepID2ベクトルの間の前記非類似度は、L1ノルム負数、L2ノルム、または前記2つのDeepID2ベクトルの間の余弦類似度を含むことを特徴とする請求項5に記載の装置。

請求項10

それぞれ訓練された畳み込み特徴抽出システムを使用することにより顔画像の異なる領域からDeepID2を抽出する抽出ステップであって、前記システムのそれぞれが、複数の畳み込み層、複数のプーリング層、複数の局部接続層、および複数の完全接続層を有する層カスケードを含み、前記層カスケードの出力層が、その前の畳み込み層、プーリング層、局部接続層または完全接続層のうちの少なくとも1つに接続され、且つ、接続された層における顔特徴から顔特徴を抽出して顔認証のためのDeepID2とするように構成されている、抽出ステップと、2つの顔画像が同じ身元に由来するか否かを決定するために、比較されるべき2つの顔画像からそれぞれ抽出されたDeepID2を比較する比較ステップと、を含むことを特徴とする顔認証方法

請求項11

前記出力層は、前記完全接続層を備えることを特徴とする請求項10に記載の方法。

請求項12

前記畳み込み特徴抽出システムのニューロンの間の接続重みを調整するために、対になる顔領域、認識監視信号、および認証監視信号を入力することにより、身元分類および身元認証並行して実施するための複数の畳み込み特徴抽出システムを訓練する訓練ステップをさらに含むことを特徴とする請求項10に記載の方法。

請求項13

前記訓練ステップは、各顔領域から抽出された前記DeepID2を顔身元の全ての種類のうちの1種に分類するステップと、分類された身元を所定の参照身元と比較して認識エラーを生成するステップと、生成された認識エラーを、前記畳み込み特徴抽出システムを通過させるように逆伝播して、前記畳み込み特徴抽出システムのニューロンの間の接続重みを調整するステップと、をさらに含むことを特徴とする請求項12に記載の方法。

請求項14

前記訓練ステップは、比較されるべき2つの顔領域からそれぞれ抽出された2つのDeepID2ベクトルの間の非類似度を比較して認証エラーを生成するステップと、生成された認証エラーを、前記畳み込み特徴抽出システムを通過させるように逆伝播して、前記畳み込み特徴抽出システムのニューロンの間の接続重みを調整するステップと、をさらに含むことを特徴とする請求項12に記載の方法。

請求項15

前記訓練ステップは、各顔領域から抽出された前記DeepID2を顔身元の全ての種類のうちの1種に分類するステップと、分類された身元を所定の参照身元と比較して認識エラーを生成するステップと、比較されるべき2つの顔領域からそれぞれ抽出された2つのDeepID2ベクトルの間の非類似度を比較して認証エラーを生成するステップと、生成された認証エラーおよび生成された認識エラーとの組み合わせを、前記畳み込み特徴抽出システムを通過させるように逆伝播して、畳み込み特徴抽出システムのニューロンの間の接続重みを調節するステップと、をさらに含むことを特徴とする請求項12に記載の方法。

請求項16

前記比較ステップは、抽出されたDeepID2から1組または複数の組のDeepID2を選択する選択ステップと、選択された1組または複数の組のDeepID2を比較して1つまたは複数の顔認証スコアを出力する比較ステップと、前記1つまたは複数の顔認証スコアを統合して単一の顔認証の判定をする統合ステップと、をさらに含んでおり、その中で、各組のDeepID2が各顔画像の複数の顔領域から抽出されたDeepID2を含むことを特徴とする請求項11に記載の方法。

請求項17

前記畳み込み特徴抽出層のいずれにおいても、局所受容野と、前記畳み込み特徴抽出層におけるニューロンまたはニューロンのサブセットの間で共有される接続重みとを備える複数のニューロンを含むことを特徴とする請求項10に記載の方法。

請求項18

前記畳み込み特徴抽出システムのそれぞれにおいて、前記訓練は、1)予備訓練セットから2つの顔領域−ラベルの対をサンプリングするステップと、2)前記畳み込み特徴抽出システムにより、サンプリングされた2つの顔領域−ラベルの対における2つの顔領域からDeepID2をそれぞれ抽出するステップと、3)前記2つの顔領域から抽出されたDeepID2を使用することにより認識エラーおよび認証エラーを生成するステップと、4)前記認識エラーおよび前記認証エラーを、前記畳み込み特徴抽出システムを通過させるように逆伝播して、前記畳み込み特徴抽出システムのニューロンの間の接続重みを調整するステップと、5)訓練プロセスが収束するまで、ステップ1)〜4)を繰り返して前記畳み込み特徴抽出システムのニューロンの間の接続重みを決定するステップと、をさらに含むことを特徴とする請求項12に記載の方法。

請求項19

2つのDeepID2ベクトルの間の前記非類似度は、L1ノルムの負数、L2ノルム、または前記2つのDeepID2ベクトルの間の余弦類似度を含むことを特徴とする請求項15に記載の方法。

請求項20

1)予備訓練セットから2つの顔領域−ラベルの対をサンプリングするステップと、2)サンプリングされた2つの顔領域−ラベルの対における2つの顔領域からDeepID2をそれぞれ抽出するステップと、3)各顔領域から抽出された前記DeepID2を顔身元の全ての種類のうちの1種に分類するステップと、4)分類された身元を所定の参照身元と比較して認識エラーを生成するステップと、5)比較されるべき2つの顔領域からそれぞれ抽出された2つのDeepID2ベクトルの間の非類似度を比較して認証エラーを生成するステップと、6)生成された認証エラーおよび生成された認識エラーとの組み合わせを、前記畳み込み特徴抽出システムを通過させるように逆伝播して、畳み込み特徴抽出システムのニューロンの間の接続重みを調節するステップと、7)訓練プロセスが収束するまで、ステップ1)〜6)を繰り返して前記畳み込み特徴抽出システムのニューロンの間の接続重みを決定するステップと、を含むことを特徴とする畳み込み特徴抽出システムを訓練するための方法。

技術分野

0001

本発明は、顔認証方法およびそのシステムに関する。

背景技術

0002

初期部分空間顔認識法(例えば、LDAおよびベイズ的な顔)は、姿勢照明表情年齢、および遮蔽に起因した個人内変動を低減したと共に、個人間変動を拡大した。例えば、LDAは、2つの線形部分空間により、顔の個人間変動と顔の個人内変動とを近似させ、かつ両方の間の比率最大化させる投影方向を見つける。

0003

より最近の研究にも、明示的または暗黙的に同一標的を狙ってきた。例えば、距離学習(metric learning)を提案して顔画像をいくつかの特徴表示マッピングし、同じ身元の顔画像が互いに近くなる一方、異なる身元の顔画像が別々に離れるように維持する。しかしながら、このようなモデルは、それらの線形性質や浅層構造に非常に制限され、個人間変動および個人内変動が複雑で高非線形であり、かつ高次元画像空間内に観察される。

0004

近年、深層モデルにより認識監視信号または認証監視信号を用いて顔認識に有効な特徴を学習するために、多大な努力をしてきた。認識信号を用いて学習された特徴は、既にLFWにおいて約97.45%の精度が得られた。

0005

分類タスクおよび認証タスク共同で解決するという発想は、一般的な対象の認識に適用され、それは、隠された特徴表示ではなく固定の対象種類である分類精度を向上させることに焦点を当ててきた。

0006

本発明の一態様によれば、特徴抽出ユニットおよび認証ユニットを備えてもよい顔認証装置を提供する。一実施形態において、特徴抽出ユニットは、異なる顔訓練セットを用いて訓練された複数の畳み込み特徴抽出システムを備えており、その中で、システムのそれぞれにおいて、複数のカスケードされた畳み込み特徴抽出ユニットと、プーリング特徴抽出ユニットと、局部接続特徴抽出ユニットと、完全接続特徴抽出ユニットとを備えており、これらの特徴抽出ユニットは、顔画像の顔領域から顔認証のための顔特徴を抽出するように構成される。その中で、本発明の一実施形態に係る完全接続ユニットとしてもよい、ユニットカスケードにおける出力ユニットは、前の畳み込みユニット、プーリングユニット、局部接続ユニット、または完全接続ユニットのうちの少なくとも1つに接続され、且つ、接続されたユニットにおける顔特徴から、顔認証のための顔特徴(深層認識−認証特徴またはDeepID2と呼ばれ)を抽出するように構成される。

0007

認証ユニットは、比較されるべき2つの顔画像から抽出して得られたDeepID2を比較してこれらの2つの顔画像が同じ身元に由来するか否かを決定するように構成されてもよい。

0008

本発明の別の態様によれば、顔認証方法を提供する。この方法は、それぞれ訓練された畳み込み特徴抽出システムを用いて顔画像の異なる領域からDeepID2を抽出するステップと、比較されるべき2つの顔画像からそれぞれ抽出されたDeepID2を比較してこれらの2つの顔画像が同じ身元に由来するか否かを決定するステップとを含んでもよく、し、その中で、前記畳み込み特徴抽出システムの出力層ニューロン活性化がDeepID2として見なされる。

0009

本発明によれば、上記装置には、訓練ユニットをさらに備えてもよい。当該訓練ユニットは、対になる位置合わせ顔領域を入力するとともに、認識監視信号および認証監視信号を同時に畳み込み特徴抽出システムに加えることにより、身元分類および身元認証を同時に行うための複数の畳み込み特徴抽出システムを訓練するように構成される。

0010

本発明によれば、畳み込み特徴抽出システムを訓練するための方法をさらに含み、この方法は、
1)予備訓練セットから2つの顔領域−ラベルの対をサンプリングするステップと、
2)サンプリングされた2つの顔領域−ラベルの対における2つの顔領域からDeepID2をそれぞれ抽出するステップと、
3)各顔領域から抽出されたDeepID2を顔身元の全ての種類のうちの1種に分類するステップと、
4)分類された身元と所定の参照(ground-truth)身元とを比較して認識エラーを生成するステップと、
5)比較されるべき2つの顔領域からそれぞれ抽出された2つのDeepID2ベクトルの間の非類似度を比較して認証エラーを生成するステップと、
6)生成された認証エラーおよび生成された認識エラーとの組み合わせを、畳み込み特徴抽出システムを通過させるように逆伝播して、畳み込み特徴抽出システムのニューロンの間の接続重みを調節するステップと、
7)訓練プロセスが収束するまで、ステップ1)〜6)を繰り返して畳み込み特徴抽出システムのニューロンの間の接続重みを決定するステップと、を含む。

0011

本発明によれば、畳み込み特徴システムを訓練するためのシステムをさらに有し、このシステムは、
予備訓練セットから2つの顔領域−ラベルの対をサンプリングする装置と、
サンプリングされた2つの顔領域−ラベルの対における2つの顔領域からDeepID2をそれぞれ抽出する装置と、
各顔領域から抽出されたDeepID2を顔身元の全ての種類のうちの1種に分類する装置と、
分類された身元と所定の参照身元とを比較して認識エラーを生成する装置と、
比較されるべき2つの顔領域からそれぞれ抽出された2つのDeepID2ベクトルの間の非類似度を比較して認証エラーを生成する装置と、
生成された認証エラーおよび生成された認識エラーとの組み合わせを、畳み込み特徴抽出システムを通過させるように逆伝播して、畳み込み特徴抽出システムのニューロンの間の接続重みを調節する装置と、
訓練プロセスが収束するまで、上記ステップを繰り返して畳み込み特徴抽出システムのニューロンの間の接続重みを決定する装置と、を備える。

0012

本発明によれば、1つ以上のプロセッサにより、下記のステップ、すなわち、
1)予備訓練セットから2つの顔領域−ラベルの対をサンプリングするステップと、
2)サンプリングされた2つの顔領域−ラベルの対における2つの顔領域からDeepID2をそれぞれ抽出するステップと、
3)各顔領域から抽出されたDeepID2を顔身元の全ての種類のうちの1種に分類するステップと、
4)分類された身元と所定の参照身元とを比較して認識エラーを生成するステップと、
5)比較されるべき2つの顔領域からそれぞれ抽出された2つのDeepID2ベクトルの間の非類似度を比較して認証エラーを生成するステップと、
6)生成された認証エラーおよび生成された認識エラーとの組み合わせを、畳み込み特徴抽出システムを通過させるように逆伝播して、畳み込み特徴抽出システムのニューロンの間の接続重みを調節するステップと、
7)訓練プロセスが収束するまで、ステップ1)〜6)を繰り返して畳み込み特徴抽出システムのニューロンの間の接続重みを決定するステップと、
を実行可能な命令を記憶するためのコンピュータ読み取り可能な媒体をさらに提供する。

0013

従来方法に比べると、本発明は、深層畳み込み特徴抽出システムを用いて個人間の顔変動および個人内の顔変動を処理し、当該深層畳み込み特徴抽出システムは、その深層アーキテクチャと強力な学習能力を持っているため、分層非線形映射によって顔認識に有効に使用されるDeepID2を学習することができる。

0014

本発明は、2つの監視信号(すなわち、顔認識信号および顔認証信号)を同時に使用することによりDeepID2を学習する。顔認識信号は、異なる身元から抽出されたDeepID2を描画して個人間変動を増加させ、顔認証信号は、同じ身元から抽出されたDeepID2を集まって個人内変動を低減させ、このような2種類の信号は、いずれも顔認識に不可欠なものである。

0015

本発明は、複数種類の顔領域および解像度から相補的なDeepID2を抽出して異なる面で顔を特徴付け、そしてこれらの特徴付けが組み合わせされてPCA次元縮小の後に、最終の顔特徴表示を形成した。このように学習されたDeepID2は、下記の面において、従来の方法で学習された特徴よりも優れており、すなわち、学習されたDeepID2は、異なる身元の間に差別化させるが、同じ身元の内に一貫性を維持し、したがって、下記の顔認識がより容易になる。

図面の簡単な説明

0016

以下、図面を参照しながら、本発明の例示的な非限定的実施形態を説明する。図面は、例示的であり、通常正確なサイズを示すものではない。異なる図面における同一または類似の素子は、同じ符号で示される。

0017

本発明のいくつかの実施形態に係る顔認証装置を示す模式図である。
本発明のいくつかの実施形態に係る顔認証装置がソフトウェアで実施された場合を示す模式図である。
本発明の第1の実施形態に係る1組の選択された顔領域を示す模式図であり、その中で、DeepID2は、この組の選択された顔領域から抽出される。
本発明の第2の実施形態に係る畳み込み特徴抽出システムの具体的な構造を示す模式図である。
畳み込み特徴抽出システムの出力層に添加されたDeepID2の認識監視信号および認証監視信号を示す模式図である。
本発明のいくつかの実施形態に係る顔認証を示す模式的フローチャートである。
本発明のいくつかの実施形態に係るDeepID2を抽出するための深層畳み込み特徴抽出システムの訓練プロセスを示す模式的フローチャートである。
本発明のいくつかの実施形態に係る図1に示すような訓練ユニットを示す模式図である。

実施例

0018

以下、例示的な実施形態を詳細に参照し、その中で、これらの例示的な実施形態の例を図面に示す。本明細書には、適切な場合、同じ符号を用いて同一または類似の部材を表す。図1は、本発明のいくつかの実施形態に係る顔認証用の例示的な装置1000を示す模式図である。

0019

装置1000は特定のハードウェア、ソフトウェアまたはハードウェアとソフトウェアとの組み合わせを用いて実現できることを理解すべきである。また、本発明の実施形態は、コンピュータプログラムコードを有する1つ以上のコンピュータ読み取り可能な記憶媒体ディスクメモリCD−ROM光メモリ等を含むがそれらに限定されない)において実現されるコンピュータプログラム製品適応されてもよい。

0020

ソフトウェアで装置1000を実現する場合、装置1000には、汎用コンピュータコンピュータクラスター、主流コンピュータオンラインコンテンツを提供する専用のコンピュータ装置、または集中型もしくは分散型の方式で実行されるコンピュータグループを含むコンピュータネットワークを備えてもよい。図2に示されるように、装置1000は、1つ以上のプロセッサ(プロセッサ102、104、106等)、メモリ112、記憶機構116、通信インターフェース114、および装置1000の各部材の間で情報を容易に交換するためのバスを備えてもよい。プロセッサ102〜106は、中央処理装置(「CPU」)、グラフィック処理装置(「GPU」)または他の適切な情報処理装置を備えてもよい。使用されるハードウェアのタイプに応じて、プロセッサ102〜106は、1つ以上のプリント回路基板、および/または1つ以上のマイクロプロセッサチップを備えてもよい。以下でより詳細に説明される各種類の方法を実行するために、プロセッサ102〜106は、コンピュータプログラム命令シーケンスを実行することができる。

0021

メモリ112は、ランダムアクセスメモリ(「RAM」)および読み出し専用メモリ(「ROM」)を備えてよい。コンピュータプログラム命令は、プロセッサ102〜106における1つ以上のプロセッサに実行されるように、メモリ112に記憶され、メモリ112からアクセスされたり、読み取られたりしてもよい。例えば、メモリ112は、1つ以上のソフトウェアアプリケーションを記憶してもよい。また、メモリ112は、すべてのソフトウェアアプリケーションを記憶してもよく、ソフトウェアアプリケーションにおける、プロセッサ102〜106のうちの1つ以上のプロセッサで実行可能な部分のみを記憶してもよい。なお、図1は、1つのブロックでメモリを示しているが、メモリ112は、中央計算装置または異なる計算装置に取り付けられる複数の物理的装置を備えてもよい。

0022

図1を再度参照し、装置1000は、ハードウェアによって実現される場合、特徴抽出ユニット10および認証ユニット20を備えてもよい。特徴抽出ユニット10は、それぞれ訓練された畳み込み特徴抽出システムを使用することにより、顔画像の異なる領域からDeepID2(深層認識−認証特徴)を抽出し、かつ前記畳み込み特徴抽出システムの出力層のニューロン活性化(neuron activation)をDeepID2とするように構成される。認証ユニット20は、比較されるべき2つの顔画像からそれぞれ抽出されたDeepID2を比較してこれらの2つの顔画像が同じ身元に由来するか否かを決定するように構成される。

0023

特徴抽出ユニット(抽出器)10
特徴抽出ユニット10は、複数の畳み込み特徴抽出システムを含み、かつ、特定の顔領域を畳み込み特徴抽出システムのいずれに入力してDeepID2を抽出する働きをする。図3は、顔の位置合わせをしてから選択された、DeepID2を抽出するための入力顔領域の例を示し、その中で、顔領域は、位置、サイズ、カラーチャンネルおよび水平反転における大きな変動を含む。図4は、畳み込み特徴抽出システムの例を示し、それは、入力層(本明細書の中で、入力ユニットとも呼ばれ)32、複数の畳み込み層(本明細書の中で、畳み込みユニットとも呼ばれ)34、複数のプーリング層(本明細書の中で、プーリングユニットとも呼ばれ)36、複数の局部接続層(本明細書の中で、局部接続ユニットとも呼ばれ)38、および複数の完全接続層(本明細書の中で、完全接続ユニットとも呼ばれ)40を備え、その中で、畳み込み特徴抽出システムの出力層(本発明の一実施形態において完全接続層40であってもよく)は、1つまたは複数の前の畳み込み層、プーリング層、局部接続層、または完全接続層に接続される。畳み込み層、プーリング層、局部接続層、および完全接続層のそれぞれにおいて、局所受容野(receptive field)または全受容野を備える複数のニューロンを含み、且つ、ニューロンの間において接続重みを共有するか共有しないかである。畳み込み特徴抽出システムの出力層(完全接続層40であってもよい)のニューロン活性化は、抽出されたDeepID2であり、それは以下に議論される。

0024

図4に示すような本発明の実施形態において、畳み込み特徴抽出システムのそれぞれにおいて、n個(例えば、n=3)の畳み込み層34を備え、その中で、このn個の畳み込み層34のそれぞれの後に、いずれも最大プーリング層36が続いている。第3の最大プーリング層の後に、局部接続層38および完全接続層40が続いている。完全接続層40は、DeepID2層であり、それは、局部接続層38および第3の最大プーリング層36に完全に接続される。より高い畳み込み層における全ての特徴マップにおいて重みの共有を行う必要がない。具体的には、示された深層畳み込み特徴抽出システムの第3の畳み込み層において、例えば、各2×2局所領域において局所的にニューロン重みを共有する。畳み込み特徴抽出システムは、特徴抽出カスケードの最後の1層(DeepID2 層40)から多次元(例えば、160次元)DeepID2ベクトルを抽出する。畳み込み層34、局所接続層38、および完全接続DeepID2層40において、ニューロンに対してReLU(Rectified liner unit:正規化線形ユニット)を使用する。図4に示すような実施形態において、サイズが、例えば、55×47であるRGB入力を使用した。入力領域のサイズを変更する際に、後続の層における特徴マップのサイズも相応に変更される。

0025

以下、上記に説明された畳み込み特徴抽出システムにおける畳み込み動作、プーリング動作、局所接続動作、および完全接続動作をさらに議論する。

0026

畳み込み層34は、入力特徴マップ(前の層の出力特徴マップ)から局所顔特徴を抽出して現在の層の出力特徴マップを形成するように構成される。各特徴マップは、いずれも2Dで組織されたある種類の特徴である。同じ組のニューロン接続重みを使用して入力特徴マップから、同じ出力特徴マップにおける特徴または同じ特徴マップの局所領域における特徴を抽出する。図4に示すような畳み込み特徴抽出システムの各畳み込み層34における畳み込み動作は、下記の式(1)で表現されてもよく、

(1)
式(1)中、

および

は、それぞれi番目の入力特徴マップおよびj番目の出力特徴マップである。

は、i番目の入力特徴マップとj番目の出力特徴マップとの間の畳み込みコアである。

は、畳み込みを表す。

は、j番目の出力特徴マップのオフセットである。本明細書において、ReLU非線形関数

は、ニューロンに使用され、sigmoid関数に比べると、当該非線形関数は、多量の訓練データに対してよりよい適合能力を示した。ConvNetの比較的高い畳み込み層における重みは、局所的に共有されて異なる領域における異なる中級特徴または高級特徴を学習する。rは重みが共有された局所領域を表す。

0027

プーリング層36は、より全局的な、かつ変わらない顔特徴を抽出するように構成される。図4のプーリング層36において最大プーリングが使用され、それは、下記の式(2)のように定式化され、

(2)
式(2)中、i番目の出力特徴マップ

における各ニューロンは、i番目の入力特徴マップ

における

の非重複局所領域の上にプーリングされる。

0028

局所接続層38は、入力特徴マップ(前の層の出力特徴マップ)から局所顔特徴を抽出して現在層の出力特徴マップを形成するように構成される。異なる組のニューロン接続重みを使用して入力特徴マップから出力特徴マップにおける特徴を抽出する。本発明の実施形態において、局所接続層38は、第3のプーリング層36の後に続いている。局所接続層38の動作は、下記の式(3)で表現されてもよく、

(3)
式(3)中、j番目の出力特徴マップにおける各ニューロンは、全ての前の特徴マップにおける同じs×s局所領域におけるニューロンに局所に接続され、その後にReLU活性化関数が続いている。

0029

完全接続層40(本発明の実施形態において出力層またはDeepID2層として用いられる)は、前の畳み込み層34、プーリング層36、局所接続層38または完全接続層40のうちの少なくとも1つに完全に接続されてもよい。図4に示すような実施形態において、DeepID2の完全接続層40は、第3のプーリング層36および局所接続層38に完全に接続され、これにより、DeepID2の完全接続層40に、マルチスケール特徴(局所接続層38における特徴は、第3のプーリング層36における特徴によりも全局的である)を認知させる。これは、特徴学習に不可欠であり、カスケードに沿って連続的にダウンサンプリングした後に、局所接続層38は、過少なニューロンを含んでおり、且つ、情報伝播ボトルネックになる。第3のプーリング層36(スキッピング層とも呼ばれ)とDeepID2層40との間にバイパス接続を加えることで局所接続層38における可能な情報損失を低減した。出力DeepID2層40は、下記の式(4)のようなルールにより、DeepID2ベクトルyを得ることができ、

(4)
式(4)中、



はそれぞれ第3のプーリング層36および局所接続層38におけるニューロン出力(特徴)を表し、

および

は、対応の接続重みを表す。DeepID2層40におけるニューロンは、前の2つの層(第3のプーリング層36および局所接続層38)における特徴を線形的に組み合わせ、その後にReLU非線形動作を行う。yjは、多次元実数値ベクトルyのj番目の要素であり、すなわち、DeepID2ベクトルのj番目の要素である。

0030

本発明の実施形態において、まず、EGMアルゴリズムで複数の顔特徴点(facial landmarks)を検出する。本明細書において、21個の顔特徴点を取って例示として本発明を説明する。顔画像のそれぞれは、検出された標認点に基づいて相似変換により全局的に位置合わせされる。続いて、全局的に位置合わせされた顔画像および顔特徴点の位置に基づいて複数(例えば、400個)の顔領域にクロップされ、これらの顔領域は、位置、サイズ、カラーチャネル、および水平反転において変動する。例示としては、400個のクロップされた顔領域が存在する場合、合計200個の深層畳み込み特徴抽出システムにより400個のDeepID2ベクトルを抽出し、これらの200個の深層畳み込み特徴抽出システムのそれぞれは、各顔画像の1つの特定顔領域およびその水平反転に対応の顔領域の上にそれぞれ2つの160次元のDeepID2ベクトルを抽出するために訓練される。多量のDeepID2の間の冗長性を減少するために、前向き-後ろ向き貪欲アルゴリズム(forward-backward greedy algorithm)を使用して少量で効果的かつ相補的なDeepID2ベクトル(図3に示すような実施形態において25個であり)を選択し、これらの効果的かつ相補的なDeepID2ベクトルから25個の160次元のDeepID2ベクトルを抽出し、かつ、これらの25個の160次元のDeepID2ベクトルを4000次元のDeepID2ベクトルに組み合わせる。当該4000次元のベクトルは、PCAによってさらに圧縮され、さらなる顔認証に使用される。

0031

認証ユニット(認証器)20
本発明に係る実施形態によれば、抽出されたDeepID2のそれぞれが特徴ベクトルを形成することができる。形成されたベクトルは、例えば、図4に示すような160次元を備えてもよい。認証ユニット20は、各顔画像における複数の顔領域を選択してDeepID2を抽出することができる。例えば、図3に示すような実施形態において、25個の顔領域を選択したが、その他の数の顔領域でも適用できる。より長いDeepID2ベクトルは、各顔画像で選択された顔領域から抽出されたDeepID2を連結することにより形成される。例えば、図3および図4に示すような25個の顔領域が選択された実施形態において、連結されたベクトルは、160×25=4000次元のものであってもよい。顔認証アルゴリズムにより、比較されるべき2つの顔画像で選択された顔領域からそれぞれ抽出された2つの連結されたDeepID2ベクトルを比較し、これにより、顔認証スコアが得られる。SVM、LDA、統合ベイズ(Joint Bayesian)、またはその他の顔認証モデルを使用して顔認証アルゴリズムを実現することが可能である。顔認証アルゴリズムで比較する前に、連結されたDeepID2ベクトルに、次元縮小アルゴリズム(例えば、PCA)が行われてもよい。選択された顔領域の異なる組から抽出された異なるDeepID2ベクトルに対して顔認証アルゴリズムを実行することにより、複数の顔認証スコアが得られる。融合アルゴリズムにより、複数の顔認証スコアを統合して最終の顔認証判定を得る。

0032

本発明の実施形態において、顔認証は、例えば、統合ベイズモデルにより行われることができ、その中で、比較されるべき2つの顔画像からそれぞれ抽出された2つの(連結された)DeepID2ベクトルを比較して顔認証スコアを出力する。統合ベイズモデルは、顔画像の特徴表示を個人間の変動および個人内変動の合計と仮定し、これらの2種類の変動のいずれも、ガウス分布としてモデル化され、かつ、訓練データから推定されることができる。顔認証は、2つの顔画像の同時確率の間の対数尤度比を測定し、そして個人間変動の仮定または個人内変動の仮定をそれぞれ提供する。

0033

本発明の実施形態において、多量の顔領域から抽出されたDeepID2の豊かなプール(rich pool)をさらに利用するために、特徴選択アルゴリズムは、複数回(例えば、7回)繰り返され、毎回、前の特徴選択ステップで選択されていなかった顔領域からDeepID2を選択する。続いて、1組または複数の組(例えば、7組)の選択されたDeepID2のそれぞれにおいて統合ベイズモデルを学習する。対ごとに比較された顔画像の統合ベイズスコアを、(例えば、SVMにより)統合して最終の顔認証判定が得られる。

0034

訓練ユニット(訓練器)30
装置1000には、訓練ユニット30をさらに備える。訓練ユニット30は、対になる位置合わせ顔領域を入力し、かつ認識監視信号および認証監視信号を同時に畳み込み特徴抽出システムの出力層40(図5に示すようなDeepID2層)に加えることにより、身元分類および身元認証を同時に行うための複数の畳み込み特徴抽出システムを訓練するように構成される。図8に示すような本発明の一実施形態において、訓練ユニット30は、顔領域選択器301、ベクトル抽出器302、認識器303、認証器304、および決定器305を備えてもよい。畳み込み特徴抽出システムのそれぞれについて、図7はいくつの開示された実施形態に係る訓練プロセスを模式的なフローチャートに示す。以下、図7を参照しながら、さらに、訓練ユニット30の構成要素301〜305を説明する。

0035

図7に示すように、ステップS701において、サンプル選択器301は、所定の訓練セットから2つの顔領域−ラベルの対を選択し、この2つの顔領域−ラベルの対は、対になる位置合わせの顔領域およびその対応する顔の身元ラベルである。一実施形態において、この2つの顔領域−ラベルの対を、同じ身元に属する確率と異なる身元に属する確率が等しい確率でランダムに選択してもよい。ステップS702において、ベクトル抽出器302は、初期化のニューロンの間の接続重みまたは前の学習のニューロンの間の接続重みを備える畳み込み特徴抽出システムを使用し、選択器301で2つのサンプリング顔領域−ラベルの対から選択された2つの顔領域から、2つのDeepID2ベクトルをそれぞれ抽出し、図4に示すような実施形態において、この2つのDeepID2ベクトルのそれぞれは、いずれも多次元(例えば、160次元)である。

0036

また、続いてステップS703において、認識器303は、DeepID2層に続いているsoftmax層(図示せず)により、2つの顔領域−ラベルの対における2つの顔領域のそれぞれを、n個の身元における1つに分類する働きをする。その後、認識器303は、分類された身元と所定の参照身元との間の差異を比較することにより、認識エラー(認識監視信号)を生成する。生成された認識エラーを、畳み込み特徴抽出システムを通過させるように逆伝播して、畳み込み特徴抽出システムのニューロンの間の接続重みを調整する。

0037

本発明の一実施形態において、softmax層を使用してn種類の顔身元の上の概率分布を出力することにより、各顔領域をn個(例えば、n=8192)の異なる顔身元の中の1つに分類する。softmax層は、下記の式(5)で定義され、

(5)
式(5)中、

はi番目の身元の予測確率であり、

は160次元のDeepID2を線形的に組み合わせ、

はニューロンjの入力であり、

はその出力である。畳み込み特徴抽出システムは、softmax層における交差エントロピー損失を最小化させるように訓練され、当該交差エントロピー損失は認識損失と呼ばれる。当該損失は下記の式(6)で表現され、

(6)
式(6)中、

はDeepID2ベクトルであり、

ターゲット種類であり、および

はn−way softmax層のニューロンとの間の接続重みを表す。

ターゲット確率分布であり、その中で、ターゲット種類

について、

であるが、その他の全ての

について

である。

は、n−way softmax層で予測された確率分布である。

0038

認証器304は、比較されるべき2つの顔領域からそれぞれ抽出された2つのDeepID2ベクトルfiとfjとの間の非類似度を比較して認証エラー(認証監視信号)を生成する働きをし、式5に示す通りである。一実施形態において、同じ身元の顔領域から抽出されたDeepID2の間の非類似度を最小化すると共に、異なる身元の顔領域から抽出されたDeepID2の間の非類似度を最大化する(または、異なる身元の顔領域から抽出されたDeepID2の間の非類似度が閾値よりも大きいことを維持する)ことにより、認証エラーを生成する。DeepID2の間の非類似度は、L1ノルム負数、L2ノルムおよびDeepID2の間の余弦類似度であってもよいが、これらに限定されない。顔認証信号は、同じ身元の顔画像から抽出されたDeepID2が類似になることを促進するために使用してもよい。信号を認証するために通常使用された拘束は、L1/L2ノルムおよび余弦類似度を含む。L2ノルム拘束は、下記の式(7)のように定式化され、

(7)
式(7)中、fiおよびfjは、比較されるべき2つの顔領域から抽出されたDeepID2である。

は、fiとfjとが同じ身元に由来することを表す。このような場合、この2つのDeepID2ベクトルの間のL2距離が最小化される。

は異なる身元を表し、およびL2ノルム拘束は、距離がマージンmによりも大きいことが求められている。L1ノルムに基づく損失関数は、類似の式を有する。

0039

余弦類似度拘束は、下記の式(8)のように定式化され、

(8)
式(8)中、

はDeepID2の間の余弦類似度であり、wおよびbは学習可能なサイズパラメータおよびシフトパラメータであり、

シグモイド関数であり、かつ、yijは2つの比較された顔領域が同じ身元に属するか否かのバイナリターゲットである。

0040

生成された認証エラーが畳み込み特徴抽出システムを通過するように逆伝播されることができ、したがって畳み込み特徴抽出システムのニューロンの間の接続重みが調整される。代わりに、本発明の一実施形態において、認識エラーおよび認証エラーの組み合わせが、前記畳み込み特徴抽出システムを通過するように逆伝播されてもよく、したがって畳み込み特徴抽出システムのニューロンの間の接続重みが調整される。

0041

ステップS704において、認識エラーおよび認証エラーを、前記畳み込み特徴抽出システムの全ての層を通過させるように逆伝播して、畳み込み特徴抽出システムのニューロンの間の接続重みを調整する。ステップS705において、決定器305は訓練プロセスが収束するか否かを決定し、訓練プロセスが収束する場合、訓練プロセスが終了し、訓練プロセスが収束しない場合、訓練プロセスが収束するまで、ステップS701〜S704を繰り返して畳み込み特徴抽出システムのニューロンの間の接続重みを決定する。

0042

図6は、本発明のいくつかの実施形態に係る顔認証方法を示すフローチャートである。図6において、プロセス200は、データ処理動作を実現するために、プロセッサ102〜106の中の1つ以上、または装置1000における各モジュール/ユニットによって実行することができる一連のステップを含んでいる。以下、説明の便宜上、装置1000における各モジュール/ユニットがハードウェアまたはハードウェアとソフトウェアとの組み合せで構成された状況を参照しながら説明する。他の適切な装置またはシステムは、以下のプロセスを実行するために適用され、装置1000は、単に当該プロセスを実行することを説明するために使用されることを、当業者にとって理解すべきである。

0043

ステップS101において、装置1000は、それぞれ訓練された畳み込み特徴抽出システムを用いて顔画像の異なる領域からDeepID2を抽出する働きをし、その中で、前記畳み込み特徴抽出システムの出力層のニューロン活性化がDeepID2と見なされる。一実施形態において、装置1000のユニット10は、従来技術で提案されたような顔の器官点検出方法を使用して21個の顔特徴点(他の数の標認点でも可能であり)、例えば両目の中心、の先および2つの口角などを検出してもよい。本発明の実施形態において、まず、EGMアルゴリズムで21個の顔特徴点(他の数の標認点でも可能であり)を検出する。検出された標認点に基づいて相似変換により顔画像のそれぞれを全局的に位置合わせする。続いて、全局的に位置合わせされた顔画像および顔特徴点の位置に基づいて複数の顔領域にクロッピングされ、これらの顔領域は、位置、サイズ、カラーチャネル、および水平反転において変動する。それに応じて、それぞれ訓練された深層畳み込み特徴抽出システムにより複数のDeepID2ベクトルを抽出し、当該複数の深層畳み込み特徴抽出システムのそれぞれは、各顔画像の1つの特定顔領域から1つの多次元DeepID2ベクトルを抽出する。

0044

その後、ステップs102において、装置1000(具体的には、ユニット10)は、DeepID2ベクトルを連結する働きをする。連結された長いDeepID2ベクターは、顔認証のためにPCAによってさらに圧縮される。

0045

その後、ステップS103において、顔認証は、統合ベイズモデルにより行われ、その中で、ユニット30によって、比較されるべき2つの顔画像からそれぞれ抽出されたDeepID2を比較し、そして顔認証スコアを出力する。統合ベイズモデルは、顔画像の特徴表示を個人間の変動および個人内変動の合計と設定し、これらの2種類の変動のいずれも、ガウス分布としてモデル化され、かつ、訓練データから推定されることができる。顔認証は、2つの顔画像の同時確率の間の対数尤度比を測定し、その中で、当該対数尤度比は、個人間変動の仮定または個人内変動の仮定をそれぞれ提供し、それは、閉形式解を有し、かつ有効である。

0046

本発明の実施形態において、多量の顔領域から抽出されたDeepID2の豊かなプールをさらに利用するために、特徴選択アルゴリズムは、複数回(例えば、7回)繰り返され、毎回、前の特徴選択ステップで選択されていなかった顔領域からDeepID2を選択する。続いて、7組の選択されたDeepID2のそれぞれにおいて統合ベイズモデルを学習する。対ごとに比較された顔画像の7つの統合ベイズスコアを、(例えば、SVMにより)統合して最終の顔認証判定が得られる。

0047

本発明の好適な実施例を説明したが、当業者は、本発明の基本的な発明思想を知っている場合、これらの例を変更または修正することができる。添付の特許請求の範囲は、好ましい例および全ての本発明の範囲内に入る変更や修正を含んでいるものとして理解されるように目指した。

0048

明らかに、当業者は、本発明の精神および範囲を逸脱しない限りにおいて、本発明を変更したり修正したりすることが可能である。したがって、これらの変更や修正が特許請求の範囲および均等物の範囲に属する場合、これらの変更も修正も本発明に係る範囲に入ることが可能である。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • アースアイズ株式会社の「 監視装置、監視システム、及び、監視方法」が 公開されました。( 2020/09/24)

    【課題】2次元画像を用いた監視装置において、監視対象とした「人」が行う監視対象とした「物」に対する不定形な一般的動作を抽出して、監視対象とした「人」が、監視対象とした「物」に対して不審度の高い所定の行... 詳細

  • 株式会社日立ハイテクノロジーズの「 電子ビーム装置及び画像処理方法」が 公開されました。( 2020/09/24)

    【課題】電子ビーム装置において、シフト量がサブピクセル量となった場合でも、画像を移動させたことによる測長値の変化を防止する。【解決手段】画素補間フィルタにより画像を画素間の画素シフト量だけシフトさせる... 詳細

  • 富士ゼロックス株式会社の「 画像処理装置及びプログラム」が 公開されました。( 2020/09/24)

    【課題】本開示の技術は、色見本表に対する測色の誤りを回避することができる画像処理装置及びプログラムを提供する。【解決手段】画像処理装置は、複数の色見本が行列状に配置され、前記複数の色見本に含まれる予め... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ