図面 (/)

技術 赤目処理方法および装置ならびにプログラム

出願人 富士フイルム株式会社
発明者 赤堀貞登
出願日 2006年5月15日 (14年7ヶ月経過) 出願番号 2006-134963
公開日 2007年11月22日 (13年1ヶ月経過) 公開番号 2007-305030
状態 未査定
技術分野 イメージ分析 画像処理 FAX原画の編集
主要キーワード 統計数 判定対象範囲 カスケード構造 検出もれ 設定画素数 信頼度β 面外回転 判定スコア
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2007年11月22日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (12)

課題

赤目出現頻度や色等の赤目の個人差を考慮して赤目の検出精度を向上させる。

解決手段

顔検出手段10において全体画像Pから顔画像Fの検出が行われる。次に、認識手段30において検出した顔画像Fがデータベース20に登録された特定の人物であるか否かが判断される。顔画像Fがデータベース20に登録された特定の人物であると認識された場合、赤目検出手段40においてデータベース20に登録されている赤目検出パラメータPM1を用いて顔画像Fから赤目の検出が行われる。

概要

背景

夜間あるいは暗い場所で人物動物ストロボ撮影したとき、瞳孔(あるいは瞳孔の一部)が赤色あるいは金色撮影されてしまうことがある。このとき、赤色あるいは金色に撮影されてしまった瞳孔(以下、金色の場合も含めて「赤目」と称する)を、デジタル画像処理により本来の瞳孔の色に補正する方法が種々提案されている(たとえば特許文献1参照)。この特許文献1にはオペレータが指定した領域の中から瞳孔の色、位置、大きさに基づいて赤目を自動認識する方法および装置が開示されている。また、オペレータが指定した領域について画素ごとに所定の特徴量を計算し、瞳孔部分の特徴を最も有する部分を補正対象として選択する方法が開示されている(たとえば特許文献2参照)。

さらに、上述したオペレータが指定した領域について赤目検出赤目補正を行うのではなく、先に顔を検出し顔として検出された領域を対象に赤目の検出を行うことが提案されている(たとえば特許文献3参照)。
特開2000−13680号公報
特開2001−148780号公報
特開2000−125320号公報

概要

赤目の出現頻度や色等の赤目の個人差を考慮して赤目の検出精度を向上させる。顔検出手段10において全体画像Pから顔画像Fの検出が行われる。次に、認識手段30において検出した顔画像Fがデータベース20に登録された特定の人物であるか否かが判断される。顔画像Fがデータベース20に登録された特定の人物であると認識された場合、赤目検出手段40においてデータベース20に登録されている赤目検出パラメータPM1を用いて顔画像Fから赤目の検出が行われる。

目的

そこで、本発明は、赤目の出現頻度や色等の赤目の個人差を考慮して赤目の検出精度を向上させることができる赤目処理方法および装置ならびにプログラムを提供することを目的とするものである。

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

体画像の中から顔画像を検出し、検出した前記顔画像がデータベース登録された特定の人物であるか否かを認識し、検出した前記顔画像が特定の人物であると認識したとき、前記データベースに前記特定の人物に関連づけて登録されている赤目検出パラメータを用いて前記顔画像から赤目を検出することを特徴とする赤目処理方法。

請求項2

全体画像の中から顔を検出する顔検出手段と、特定の人物と該特定の人物の目から赤目を検出するときの検出特性を決定する赤目検出パラメータとが関連づけて登録されているデータベースと、前記顔検出手段により検出された前記顔画像が前記データベースに登録された前記特定の人物であるか否かを認識する認識手段と、該認識手段において特定の人物が前記データベースに登録されていると認識されたとき、前記特定の人物と関連づけて登録されている前記赤目検出パラメータを用いて前記顔画像から赤目を検出する赤目検出手段とを備えたことを特徴とする赤目処理装置

請求項3

前記赤目検出手段が、前記顔画像上に設定画素数からなる判定対象範囲を設定する範囲設定手段と、該範囲設定手段により設定された前記判定対象範囲から特徴量を抽出し、該特徴量と前記赤目検出パラメータとを比較することにより赤目であるか否かを検出する複数の赤目判別器とを備えたものであり、前記複数の赤目判別器の複数の判別結果を用いて赤目を検出するものであることを特徴とする請求項2記載の赤目処理装置。

請求項4

前記赤目検出手段において赤目が検出されたとき赤目の補正を行う赤目補正手段をさらに有し、前記データベースに前記特定の人物と前記赤目補正手段における補正の程度を定めた赤目補正パラメータとが関連づけて登録されており、前記顔認識手段において前記顔画像が前記特定の人物であると認識されたとき、前記赤目補正手段が前記赤目補正パラメータの内容に従い認識された前記顔画像に対し赤目補正を行うものであることを特徴とする請求項2または3記載の赤目処理装置。

請求項5

前記顔検出手段が、前記全体画像上に設定画素数の枠からなるサブウィンドウ走査させ複数の部分画像を生成する部分画像生成手段と、該部分画像生成手段により生成された前記複数の部分画像のうち顔である該部分画像を判別する顔判別器とを有し、該顔判別器が、複数の弱判別器による複数の判別結果を用いて前記部分画像が顔であるか否かを検出する顔判別器を備えたものであることを特徴とする請求項2から4のいずれか1項記載の赤目処理装置。

請求項6

コンピュータに、全体画像の中から顔を検出し、検出した前記顔画像がデータベースに登録された特定の人物であるか否かを認識し、検出した前記顔画像が特定の人物であると認識したとき、前記データベースに前記特定の人物に関連づけて登録されている赤目検出パラメータを用いて前記顔画像から赤目を検出することを実行させるための赤目処理プログラム

技術分野

0001

本発明は、全体画像上の顔画像から赤目を検出する赤目処理方法および装置ならびにプログラムに関するものである。

背景技術

0002

夜間あるいは暗い場所で人物動物ストロボ撮影したとき、瞳孔(あるいは瞳孔の一部)が赤色あるいは金色撮影されてしまうことがある。このとき、赤色あるいは金色に撮影されてしまった瞳孔(以下、金色の場合も含めて「赤目」と称する)を、デジタル画像処理により本来の瞳孔の色に補正する方法が種々提案されている(たとえば特許文献1参照)。この特許文献1にはオペレータが指定した領域の中から瞳孔の色、位置、大きさに基づいて赤目を自動認識する方法および装置が開示されている。また、オペレータが指定した領域について画素ごとに所定の特徴量を計算し、瞳孔部分の特徴を最も有する部分を補正対象として選択する方法が開示されている(たとえば特許文献2参照)。

0003

さらに、上述したオペレータが指定した領域について赤目検出赤目補正を行うのではなく、先に顔を検出し顔として検出された領域を対象に赤目の検出を行うことが提案されている(たとえば特許文献3参照)。
特開2000−13680号公報
特開2001−148780号公報
特開2000−125320号公報

発明が解決しようとする課題

0004

上述した特許文献3において、画像内にあるすべての顔画像に対し同一の設定条件を用いて赤目検出が行われている。しかし、赤目が出現する頻度および赤目の色の度合い等には個人差があり、すべての顔画像に対し画一的な赤目検出を施したときに検出精度が低くなってしまうという問題がある。たとえば赤目が発生しやすい人の顔画像と赤目の発生しにくい人の顔画像に対し同じ検出特性で赤目検出した場合、赤目が発生しやすい人の顔画像に赤目が発生しているにもかかわらず赤目を検出することできない、もしくは赤目の発生しにくい人に赤目が発生していないにもかかわらず赤目が検出されてしまうという状況が発生してしまう場合がある。

0005

そこで、本発明は、赤目の出現頻度や色等の赤目の個人差を考慮して赤目の検出精度を向上させることができる赤目処理方法および装置ならびにプログラムを提供することを目的とするものである。

課題を解決するための手段

0006

本発明の赤目処理方法は、全体画像の中から顔を検出し、検出した顔画像がデータベース登録された特定の人物であるか否かを認識し、検出した顔画像が特定の人物であると認識したとき、前記データベースに特定の人物に関連づけて登録されている赤目検出パラメータを用いて顔画像から赤目を検出することを特徴とするものである。

0007

本発明の赤目処理装置は、全体画像の中から顔を検出する顔検出手段と、全体画像の中から顔を検出する顔検出手段と、特定の人物の情報と特定の人物から赤目を検出するときの検出特性を決定する赤目検出パラメータとが関連づけて登録されているデータベースと、顔検出手段により検出された顔画像がデータベースに登録された特定の人物であるか否かを認識する認識手段と、認識手段において特定の人物がデータベースに登録されていると認識されたとき、特定の人物と関連づけられた赤目検出パラメータを用いて顔画像から赤目を検出する赤目検出手段とを備えたことを特徴とするものである。

0008

本発明の赤目処理プログラムは、コンピュータに、全体画像の中から顔を検出し、検出した顔画像がデータベースに登録された特定の人物であるか否かを認識し、検出した顔画像が特定の人物であると認識したとき、データベースに特定の人物に関連づけて登録されている赤目検出パラメータを用いて顔画像から赤目を検出することを実行させることを特徴とするものである。

0009

ここで、赤目検出パラメータは赤目を検出するときの検出率および誤検出率といった検出特性を決定するものであって、赤目検出パラメータが変化することにより検出特性が変化する。なお、検出率とは赤目を赤目であると正しく判断する正答率をいい、誤検出率とは赤目以外のものを赤目として検出してしまう誤り率をいう。

0010

また、赤目検出手段は、赤目を検出するものであればその手法は問わず、たとえば顔画像上に設定画素数からなる判定対象範囲を設定する範囲設定手段と、範囲設定手段により設定された判定対象範囲から特徴量を抽出し、特徴量と赤目検出パラメータとを比較することにより赤目であるか否かを検出する複数の赤目判別器とを備えたものであり、複数の赤目判別器の複数の判別結果を用いて赤目を検出するものであってもよい。

0011

さらに、赤目検出手段において赤目が検出されたとき赤目の補正を行う赤目補正手段をさらに有するものであってもよい。このとき、データベースに特定の人物と赤目補正手段における補正の程度を決定する赤目補正パラメータとが関連づけて登録されており、顔認識手段において顔画像がデータベースに登録されていると認識されたとき、赤目補正手段は認識された顔画像に関連づけされた赤目補正パラメータを用いて赤目補正を行うようにしてもよい。

0012

また、顔検出手段は、全体画像上に設定画素数の枠からなるサブウィンドウ走査させ複数の部分画像を生成する部分画像生成手段と、部分画像生成手段により生成された複数の部分画像のうち顔である部分画像を判別する顔判別器とを有し、顔判別器が、複数の弱判別器による複数の判別結果を用いて部分画像が顔であるか否かを検出する顔判別器を備えたものであってもよい。

発明の効果

0013

本発明の赤目処理方法および装置ならびにプログラムによれば、検出した顔画像がデータベースに登録された特定の人物であるか否かを認識し、検出した顔画像が特定の人物であると認識したとき、データベースに特定の人物に関連づけて登録されている赤目検出パラメータを用いて顔画像から赤目を検出することにより、赤目になりやすい人物もしくは赤目になりにくい人物等の個人差に合わせて赤目の検出特性を各顔画像毎に設定することができるため、赤目検出の精度を向上させることができる。

0014

なお、赤目検出手段が、顔画像上に設定画素数からなる判定対象範囲を設定する範囲設定手段と、範囲設定手段により設定された判定対象範囲から特徴量を抽出し、特徴量と赤目検出パラメータとを比較することにより赤目であるか否かを検出する複数の赤目判別器とを備えたものであり、複数の赤目判別器の複数の判別結果を用いて赤目を検出するものであるとき、赤目を精度良く検出することができる。

0015

また、赤目検出手段において赤目が検出されたとき赤目の補正を行う赤目補正手段をさらに有し、データベースに顔画像と赤目補正手段における補正の程度を定めた赤目補正パラメータとが関連づけて登録されており、顔認識手段において顔画像がデータベースに登録されていると認識されたとき、赤目補正手段が赤目補正パラメータに従い認識された顔画像に対し赤目補正を行うものであれば、たとえば赤目が出にくい人の赤目を補正するときに、強い赤目補正を行うことによる画質劣化を防止することができる。

0016

さらに、顔検出手段が、全体画像上に設定画素数の枠からなるサブウィンドウを走査させ複数の部分画像を生成する部分画像生成手段と、部分画像生成手段により生成された複数の部分画像のうち顔である部分画像を判別する複数の弱判別器による複数の判別結果を用いて部分画像が顔であるか否かを検出する顔判別器とを備えたものであれば、精度良く効率的に顔の検出を行うことができる。

発明を実施するための最良の形態

0017

以下、図面を参照して本発明の赤目処理装置の好ましい実施の形態を詳細に説明する。なお、図1のような赤目処理装置1の構成は、ハードディスク装置等の補助記憶装置に読み込まれた赤目処理プログラムをコンピュータ(たとえばパーソナルコンピュータ等)上で実行することにより実現される。このとき、この赤目処理プログラムは、CD−ROM等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。

0018

赤目処理装置1は、全体画像Pの中から顔を検出する顔検出手段10と、特定の人物と赤目検出パラメータPM1とが関連づけて登録されているデータベース20と、顔検出手段10により検出された顔画像Fがデータベース20内に登録されているか否かを認識する顔認識手段30と、顔画像Fがデータベース20に登録されていると認識されたとき、データベース20において特定の人物に関連づけされた赤目検出パラメータPM1を用いて赤目検出を行う赤目検出手段40とを備えている。

0019

ここで、顔検出手段10は、図2に示すように、全体画像P上にサブウィンドウWを走査させることにより部分画像PPを生成する部分画像生成手段11と、部分画像生成手段11により生成された複数の部分画像PPから正面顔である部分画像を判別する正面顔検出手段12Aおよび横顔である部分画像を判別する横顔検出手段12Bとを有している。

0020

なお、部分画像生成手段11に入力される全体画像Pは前処理手段10aにより前処理が施されている。前処理手段10aは、全体画像Pに対し図3(A)〜(D)に示すように、全体画像Pを多重解像度化して解像度の異なる複数の全体画像P2、P3、P4を生成する機能を有している。さらに、前処理手段10aは、生成した複数の全体画像Pに対して、局所的な領域におけるコントラストのばらつきを抑制し全体画像Pの全領域においてコントラストを所定レベルに揃える正規化(以下、局所正規化という)を施す機能を有している。

0021

部分画像生成手段11は、図3(A)に示すように、設定された画素数(たとえば32画素×32画素)を有するサブウィンドウWを全体画像P内において走査させ、サブウィンドウWにより囲まれた領域を切り出すことにより設定画素数からなる部分画像PPを生成するようになっている。特に、部分画像生成手段11は、一定画素数だけ飛ばしながらサブウィンドウWを走査させることにより、部分画像PPを生成するようになっている。

0022

なお、部分画像生成手段11は、図3(B)〜(D)に示すように、生成された低解像度画像上においてサブウィンドウWを走査させたときの部分画像PPをも生成するようになっている。このように、低解像度画像からも部分画像PPを生成することにより、全体画像PにおいてサブウィンドウW内に顔もしくは顔が収まらなかった場合であっても、低解像度画像上においてはサブウィンドウW内に収めることが可能となり、検出を確実に行うことができる。

0023

正面顔検出手段12Aおよび横顔検出手段12Bは、たとえばアダブスティングアルゴリズム(Adaboosting Algorithm)を用いて顔画像Fを検出するものである。正面顔検出手段12Aは面内回転している正面顔を検出する機能を有しており(図4(A)参照)、30°〜330°の範囲で回転角度が30°ずつ異なる12個の正面顔判別器13−1〜13−12を有している。なお、各正面顔判別器13−1〜13−12は回転角度が0°を中心に−15°(=345°)〜+15°の範囲内にある顔を検出できるようになっている。横顔検出手段12Bは、面内回転している横顔を検出する機能を有しており(図4(B)参照)、たとえば−90°〜+90°の範囲で30°ずつ回転角度の異なる7個の横顔判別器14−1〜14−7を有している。なお、横顔検出手段12Bは、さらに画面内の顔の向きが回転している画像(面外回転)を検出する横顔判別器をさらに備えていても良い。

0024

上述した正面顔判別器13−1〜13−12および横顔判別器14−1〜14−7は、部分画像PPが顔であるか非顔かの2値検出を行う機能を有し、複数の弱判別器CF1〜CFM(M:弱判別器の個数)を有している。各弱判別器CF1〜CFMはそれぞれ部分画像PPから特徴量xを抽出し、この特徴量xを用いて部分画像PPが顔であるか否かの検出を行う機能を備える。そして、各顔判別器は弱判別器CF1〜CFMおける検出結果を用いて顔であるか否かの最終的な検出を行うようになっている。

0025

具体的には、各弱判別器CF1〜CFMは図5に示すように部分画像PP内の設定された座標P1a、P1b、P1cにおける輝度値等を抽出する。さらに、部分画像PPの低解像度画像PP2内の設定された座標位置P2a、P2b、低解像度画像PP3内の設定された座標位置P3a、P3bにおける輝度値等をそれぞれ抽出する。その後、上述した7個の座標P1a〜P3bの2つをペアとして組み合わせ、この組み合わせた輝度の差分を特徴量xとする。各弱判別器CF1〜CFM毎にそれぞれ異なる特徴量が用いられるものであり、たとえば弱判別器CF1では座標P1a、P1cにおける輝度の差分を特徴量として用い、弱判別器CF2では座標P2a、P2bにおける輝度の差分を特徴量として用いるようになっている。

0026

なお、各弱判別器CF1〜CFMがそれぞれ特徴量xを抽出する場合について例示しているが、複数の部分画像PPについて上述した特徴量xを予め抽出しておき、各弱判別器CF1〜CFMに入力するようにしてもよい。さらに、輝度値を用いた場合について例示しているが、コントラスト、エッジ等の情報を用いるようにしても良い。

0027

各弱判別器CF1〜CFMは図6に示すようなヒストグラムを有しており、このヒストグラムに基づいて特徴量xの値に応じたスコアf1(x)〜fM(x)を出力する。さらに、各弱判別器CF1〜CFMは検出性能を示す信頼度β1〜βMを有している。各弱判別器CF1〜CFMは、スコアf1(x)〜fM(x)と信頼度β1〜βMとを用いて判定スコアβm・fm(x)を算出するようになっている。そして、各弱判別器CFmの判定スコアβm・fm(x)自体が設定しきい値Sref以上であるか否かを認識し、設定しきい値以上であるときに顔であると検出する(βm・fm(x)≧Sref)。

0028

また、各弱判別器CF1〜CFMはそれぞれカスケード構造を有しており、各弱判別器CF1〜CFMのすべてが顔であると検出した部分画像PPのみを顔画像Fとして出力するようになっている。つまり、弱判別器CFmにおいて顔であると検出した部分画像PPのみ下流側の弱判別器CFm+1による検出を行い、弱判別器CFmで非顔であると検出された部分画像PPは下流側の弱判別器CFm+1による検出は行わない。これにより、下流側の弱判別器において検出すべき部分画像PPの量を減らすことができるため、検出作業高速化を図ることができる。なお、カスケード構造を有する判別器の詳細は、Shihong LAO等、「高速全方向顔検出」、画像の認識・理解シンポジウムMIRU2004)、2004年7月に開示されている。

0029

なお、各判別器13−1〜13−12、14−1〜14−7は、それぞれ所定の角度で面内回転された正面顔もしくは横顔を正解サンプル画像として学習された弱判別器を有しているものである。また、各弱判別器CF1〜CFMから出力された判定スコアS1〜SMをそれぞれ個別に判定スコアしきい値Sref以上であるか否かを認識するのではなく、弱判別器CFmにおいて検出を行う際、弱判別器CFmの上流側の弱判別器CF1〜CFm−1での判定スコアの和Σr=1mβr・frが判定スコアしきい値S1ref以上であるか否かにより検出を行うようにしても良い(Σr=1mβr・fr(x)≧S1ref)。これにより、上流側の弱判別器による判定スコアを考慮した判定を行うことができるため、判定精度の向上を図ることができる。さらに、顔検出手段10はアダブースティングアルゴリズムを用いて顔を検出する場合について例示しているが、公知のSVM(Support Vector Machine)アルゴリズムを用いて下を検出するものであっても良い。

0030

図1のデータベース20には、図7に示すように、撮影者およびその関係者の顔等の撮影者が注目する特定人物の情報に関連づけて赤目検出手段40の検出特性を決定する赤目検出パラメータPM1が登録されている。ここで、たとえば赤目になりやすい人物の場合、各赤目判別器の検出率が高くなるような赤目検出パラメータPM1が登録されている。一方、赤目になりにくい人物の場合、各赤目判別器の誤検出率が低くなるような赤目検出パラメータPM1が登録されている。

0031

認識手段30は、顔検出手段10により検出された顔画像Fがデータベース20内に登録されている否かを認識するものである。ここで、顔の認識には種々の手法を用いることができる。たとえば顔画像の局所特徴量を用いて顔認識する方法、Adaboostアルゴリズムを用いて顔認識する方法、グラフマッチング法、テンプレートマッチング法等の公知の顔認識技術を用いることができ、詳細については、W. Y. Zhao, R. Chellappa, A.Rosenfeld, P. J. Phillips: “Face recognition: A literature survey”, UMD CfAR Technical Report CAR-TR-948,2000.,労世紅、山口修、平山高嗣、“画像処理による顔検出と顔認識“、CVIM2005年5月(第149回)研究会野鋭、“パターン認識における主成分分析“、統計数理、vol. 49, no. 1, pp. 23-42,2001等の文献に記載されている。なお、データベース20の人物情報として、上述した各認識アルゴリズムにより特定の人物であることが認識可能な情報(たとえば顔画像の局所特徴量、顔画像F自体等)が登録されている。

0032

赤目検出手段40は、顔画像Fから赤目を検出するものであって、たとえば瞳孔の特徴に基づいて赤目か否かを判定するようになっている。具体的には、図8に示すように、赤目検出手段40は、全体画像P上に判定対象範囲(たとえば10画素×10画素)を設定する範囲設定手段41と、範囲設定手段41により設定された判定対象範囲が赤目となるか否かを判定する複数の赤目判別器42−1〜42−K(Kは赤目判別器の個数)とを有している。範囲設定手段41は、図9のように、たとえば10画素×10画素からなる判定対象範囲EPを顔画像F上に設定するものであり、さらに判定対象範囲EP顔画像F全体にわたり走査させながら設定していく。

0033

各赤目判別器42−1〜42−Kは、設定された判定対象範囲EP内の画像が赤目の特徴を備えているかを判定することにより赤目を検出するようになっている。具体的には各赤目判別器42−1〜42−Kは判定対象範囲EP内から特徴量を算出し、算出した特徴量と赤目検出パラメータPM1とを比較することにより赤目であるか否かを判定する。たとえば赤目判定器42−1は判定対象範囲EPから画素値から判定スコアを算出する。判定スコアは赤色を示す画素値のとき大きくなり、色を示す画素値のとき小さくなり、明らかに赤色ではない色(例えば黄色)を示す画素値ときゼロまたはマイナスになる。そして、赤目判別器42−1は判定対象範囲EP内の全画素の判定スコアを集計したものを特徴量として算出する。

0034

一方、赤目判別器42−1は予め設定しきい値(標準赤目検出パラメータ)が設定されており、この標準赤目検出パラメータと特徴量とを比較することにより判定対象範囲EPが赤目であるか否かを判定する。そして、特徴量が設定しきい値(標準赤目検出パラメータ)以上であれば判定対象範囲EPは赤目であると判定し、設定しきい値(標準赤目検出パラメータ)よりも小さければ赤目ではないと判定する。

0035

上述した赤目判別器42−1においては画素値に基づいて特徴量を算出しているが、他の赤目判別器42−2〜42−Kにおいては、たとえば画素(x,y)の値と画素(x+dx,y+dy)の値の差分や、画素(x,y)の値と画素(x+dx1,y+dy1)の値の差分v1と画素(x,y)の値と画素(x+dx1,y+dy1)の値の差分v2の組や、4点以上の画素値の差分の組等に基づいて特徴量が算出される。もしくは、論文DR画像における腫瘤影検出−アイリスフィルタ」,本一他,電子情報通信学会論文誌,Vol.J75−DII,no.3,pp.663−670,1992には、勾配ベクトル分布に基づいて画像を評価する手法が示されているが、そのような勾配ベクトルの分布に基づいて特徴量を算出するようにしても良い。

0036

そして、算出した特徴量と設定しきい値(標準赤目検出パラメータ)とを比較することにより赤目の検出が行われる。そして、すべての赤目判別器が赤目であると判定したとき、判定対象範囲が赤目であると検出される。一方、複数の赤目判別器のうちいずれか1つでも赤目ではないと検出したとき、判定対象範囲は赤目ではないと判断される。

0037

なお、この設定しきい値(標準赤目検出パラメータ)は赤目を表すサンプル画像と赤目以外の対象を表すサンプル画像(いずれも10画素×10画素)を用いた学習を行わせ、学習により習得した適切な特徴量、スコアテーブルおよび閾値を用いている。学習の手法は、マシーンラーニング技術として知られているニューラルネットワークの手法あるいはブースティングの手法など公知のあらゆる手法を用いることができ、特に限定されない。

0038

この各赤目判定器42−1〜42−Kでの判定において、顔画像Fがデータベース20に登録されたものであると認識されたものであるとき、各赤目判別器42−1〜42−Kはデータベース20内の顔画像Fに関連づけされて登録されている赤目検出パラメータPM1を用いて赤目の判定を行うようになっている。このように、顔画像F毎にそれぞれ異なる赤目検出パラメータPM1を設定し赤目の検出を行うことにより、赤目が出やすい人物あるいは赤目が出にくい人物等の個人差に対応した赤目検出を行うことが可能となるため、赤目の検出精度を向上させることができる。

0039

たとえば、全体画像Pに赤目が発生しやすい人物が写っているとき、標準赤目検出パラメータよりもしきい値が小さい赤目検出パラメータを用いることにより赤目検出手段40の検出率を高く設定する。これにより、赤目が発生している可能性の高い顔画像Fから確実に赤目を検出することができる。一方、全体画像Pに赤目が発生しにくい人物が写っているとき、標準赤目検出パラメータよりも値が小さい赤目検出パラメータを用いることにより赤目検出手段40の誤検出率を低く設定する。これにより、赤目が発生している可能性の低い顔画像F内から赤目が誤って検出されるのを防止することができる。このように、認識手段30における各顔画像Fの認識結果を用いて、各顔画像Fの人物に合った赤目検出パラメータPM1を赤目判別器42−1〜42−Kに設定することができるため、赤目の検出精度を向上させることができる。

0040

さらに、図1の赤目処理装置1は赤目検出手段40により検出された赤目を補正するための赤目補正手段50を備えている。赤目補正手段50は、図10(A)のように赤あるいは金色に撮影されてしまった瞳孔を図10(B)のように本来の瞳孔の色に補正する機能を有している。ここで、データベース20には補正の程度(補正レベル)を決定するための赤目補正パラメータPM2が特定の人物の情報に関連づけて登録されており(図7参照)、赤目補正手段50はこの赤目補正パラメータPM2を用いて補正を行うようになっている。

0041

具体的には、データベース20に赤目が発生しにくい人物の顔画像Fには弱い赤目補正が施されるような赤目補正パラメータPM2が関連づけて登録されており、赤目が発生しやすい人物の顔画像Fには強い赤目補正が施されるような赤目補正パラメータPM2が関連づけて登録されている。これは赤目が発生しにくい人の赤目に強い赤目補正を施すことによる画質の劣化が生じるのを防止するためである。

0042

図11は本発明の赤目処理方法の好ましい実施の形態を示すフローチャートであり、図1から図11を参照して赤め処理方法の一例について説明する。まず、顔検出手段10において全体画像Pから顔画像Fの検出が行われる(ステップST1)。次に、認識手段30において検出した顔画像Fがデータベース20に登録された特定の人物であるか否かが判断される(ステップST2)。検出した顔画像Fがデータベース20に登録されていない場合、赤目検出手段40において標準の赤目検出パラメータ(しきい値)を用いて赤目の検出が行われる(ステップST4)。一方、顔画像Fが登録されたものであると認識された場合、赤目検出手段40においてデータベース20に登録されている赤目検出パラメータPM1を用いて赤目の検出が行われる(ステップST5)。

0043

その後、赤目検出手段40において赤目が検出されたか否かが判断され(ステップST6)、赤目が検出されたとき、データベース20から取得された赤目補正パラメータPM2を用いて赤目補正が赤目補正手段50により行われる(ステップST7)。

0044

上記実施の形態によれば、顔検出手段10により検出された顔画像Fがデータベース20に登録された特定の人物であると認識したとき、その特定の人物に関連づけされた赤目検出パラメータPM1を用いて顔画像Fの目が赤目であるか否かを検出することにより、赤目になりやすい人物もしくは赤目になりにくい人物等の個人差に合わせて赤目の検出特性を各顔画像毎に設定することができるため、赤目検出の精度を向上させることができる。

0045

また、図8に示すように、赤目検出手段40が、顔画像F上に設定画素数からなる判定対象範囲EPを設定する範囲設定手段41と、判定対象範囲EPから特徴量を抽出し、特徴量と赤目検出パラメータPM1とを比較することにより赤目であるか否かを検出する複数の赤目判別器42−1〜42−Kとを備えたものであり、複数の赤目判別器42−1〜42−Kの複数の判別結果を用いて赤目を検出するものであるとき、赤目を精度良く検出することができる。

0046

また、赤目が検出されたとき赤目の補正を行う赤目補正手段50をさらに有し、データベース20に顔画像PM2と補正の程度を定めた赤目補正パラメータPM2とが関連づけて登録されており、認識手段30において検出された顔画像Fがデータベース20に登録されていると認識されたとき、赤目補正手段50が赤目補正パラメータPM2を用いて顔画像Fの赤目補正を行うか否かを決定するものであれば、たとえば赤目が出にくい人の顔画像Fから赤目が検出されたとき等の赤目が誤検出された可能性の高い場合に、赤目補正を行わないようにすることができるため、誤検出された部位に対し赤目補正を行うことによる画質の劣化を防止することができる。

0047

さらに、図2に示すように、顔検出手段10が、全体画像P上に設定画素数の枠からなるサブウィンドウを走査させ複数の部分画像PPを生成する部分画像生成手段11と、複数の部分画像のうち顔である部分画像PPを判別する複数の弱判別器CF1〜CFmによる複数の判別結果を用いて部分画像PPが顔であるか否かを検出する顔判別器12とを備えたものであれば、精度良く効率的に顔の検出を行うことができる。

0048

本発明の実施の形態は上記実施の形態に限定されない。たとえば上記実施の形態について全体画像Pから1つの顔画像Fが検出された場合について例示しているが、複数の顔画像Fが検出された場合についても適用することができる。このとき、認識手段30において各顔画像F毎にデータベース20に登録された特定の人物であるか否かが認識され、各顔画像Fが登録された特定の人物である場合には、各特定の人物にそれぞれ関連づけされた赤目検出パラメータPM1または赤目補正パラメータPM2を用いて赤目検出または赤目補正が行われる。

0049

また、上記実施の形態において、赤目の発生しやすい人と赤目の発生しにくい人とを例示して説明しているが、赤目の色や赤目の出現位置等の各個人の赤目の特徴に基づいて赤目検出パラメータを設定するようにしても良い。たとえば、赤目が金色に近い特性が出現する人の場合、画素値が金色であっても赤目であると判別できるような赤目検出パラメータを設定するようにしても良い。

0050

さらに、図7において、データベース20において各顔画像F毎に赤目検出パラメータPM1もしくは赤目補正パラメータPM2とを関連づけて登録している場合について例示しているが、顔画像Fの代わりに人種毎に各種パラメータPM1、PM2を登録するようにしても良い。

0051

また、データベース20において、図8および図9の顔画像F上の判定対象範囲EPを設定する際の設定の仕方を各顔画像F毎に登録するようにしてもよい。具体的には、たとえば赤目の発生しやすい人の場合には、解像度の異なる複数の顔画像Fを生成し、複数の顔画像F上に判定対象範囲EPを設定して赤目検出を行うようにしても良い。

0052

また、図8および図9において、赤目の発生しにくい人についても赤目の検出を行う場合について例示しているが、赤目の発生しにくい人は赤目検出を行わない旨の情報を赤目検出パラメータPM1として登録するようにしても良い。

0053

さらに、上述した赤目検出手段40において、赤目を検出するときの細かさを人物によって変えるようにし、赤目発生しやすい人は赤目発生しにくい人よりも細かく判定対象範囲EPをずらしながら探すようにしてもよい。具体的には、図9において、赤目の発生しにくい人は1画素ずつとばしながら判定対象範囲EPを走査し赤目検出を行うのに対して、赤目の発生しやすい人は画素をとばさずに判定対象範囲EPを走査し赤目検出を行うようにしてもよい。これにより、画素をとばさず赤目検出した方が検出もれを防ぎやすく、画素をとばしながら探した方が誤検出を防ぎやすくすることができる。

0054

さらに上述した赤目処理装置はデジタルカメラ実装してもよいし、プリンタ装置に実装しても良い。ここで、デジタルカメラの場合は撮影時に処理してもよいし,撮影済み画像に対する画像補正機能としてもよい.また、赤目処理を行うときにユーザーからの入力に従うようなユーザー確認手段をもたせて半自動処理のような形態をとってもよい。

図面の簡単な説明

0055

本発明の赤目処理装置の好ましい実施の形態を示すブロック図
図1の赤目処理装置における顔検出手段の一例を示すブロック図
図2の部分画像生成手段においてサブウィンドウが走査される様子を示す模式図
図2の顔検出手段により検出される正面顔および横顔の一例を示す模式図
図1の弱判別器により部分画像から特徴量が抽出される様子を示す模式図
図1の弱判別器が有するヒストグラムの一例を示すグラフ
図1のデータベースの一例を示す模式図
図1の赤目検出手段の一例を示すブロック図
図8の赤目検出手段において判定対象範囲が設定される様子を示す模式図
図1の赤目補正手段により赤目が補正される様子を示す模式図
本発明の赤目補正方法の好ましい実施の形態を示すフローチャート

符号の説明

0056

1赤目処理装置
10顔検出手段
11部分画像生成手段
12A正面顔検出手段
12B横顔検出手段
20データベース
30 認識手段
40赤目検出手段
41範囲設定手段
42赤目判別器
50赤目補正手段
CF1〜CFm弱判別器
F顔画像
P 全体画像
PM1赤目検出パラメータ
PM2赤目補正パラメータ
PP 部分画像
W サブウィンドウ

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ