図面 (/)

技術 肌画像解析装置、画像処理装置及びコンピュータプログラム

出願人 株式会社ジェイメック
発明者 ボーマンサムエル
出願日 2015年3月17日 (5年9ヶ月経過) 出願番号 2015-053200
公開日 2016年9月29日 (4年3ヶ月経過) 公開番号 2016-173716
状態 特許登録済
技術分野 診断用測定記録装置 画像処理 イメージ分析
主要キーワード マリオネット 右半面 色相画像 グレー画像データ 前掛け 微分画像データ スネーク 唇領域
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年9月29日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (12)

課題

人物顔画像から顔パーツを自動的に除外する。

解決手段

原画像の色成分に応じて、被験者唇領域を抽出する(S240)。唇領域よりも上の領域の明度または色成分に応じて、領域及び目領域を抽出する(S250)。唇領域よりも上の領域であり、かつ、眉領域及び目領域を除外した領域の明度及び/または色成分に応じて、鼻孔領域を抽出する(S260)。被験者の顔面領域から、眉、目及び鼻孔の各領域を除去した肌領域を特定するマスクを生成する(S270)。肌領域の原画像データに応じて、被験者の肌の状態を解析する(S280)。

概要

背景

従来、人物の顔を撮影した画像を用いて、肌の状態を解析する装置が知られている(例えば特許文献1)。そして、肌の解析手法として、この特許文献以外にも様々なものが提案されている。

概要

人物の顔画像から顔パーツを自動的に除外する。原画像の色成分に応じて、被験者唇領域を抽出する(S240)。唇領域よりも上の領域の明度または色成分に応じて、領域及び目領域を抽出する(S250)。唇領域よりも上の領域であり、かつ、眉領域及び目領域を除外した領域の明度及び/または色成分に応じて、鼻孔領域を抽出する(S260)。被験者の顔面領域から、眉、目及び鼻孔の各領域を除去した肌領域を特定するマスクを生成する(S270)。肌領域の原画像データに応じて、被験者の肌の状態を解析する(S280)。

目的

本発明の目的は、撮影時の条件等に依らず、人物の顔画像から顔パーツを精度良く自動的に除外することである

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

被験者の顔を撮影したRGB成分を有する原画像の画像データを記憶する記憶部と、前記原画像で明度及び色相所定範囲内の画素を抽出して、前記被験者の顔面領域を特定する手段と、前記原画像で正規化されたG(緑)成分または色相が所定範囲内の画素を抽出して、前記顔面領域内のを含む第1領域を特定する手段と、前記原画像を微分した微分画像の画像データまたは前記原画像をグレースケール化したグレースケール画像の画像データに応じて、前記顔面領域内のを含む第2領域を特定する手段と、前記原画像で明度が所定範囲内の画素を抽出して、前記顔面領域内の閉じた目を含む第3領域を特定する手段と、前記原画像で、前記顔面領域から前記第1領域〜第3領域のうちの少なくとも一つの領域を除去した領域内の正規化されたR(赤)成分が所定範囲内の画素を抽出して、前記顔面領域内の鼻孔を含む第4領域を特定する手段と、前記顔面領域から前記第1領域〜第4領域のうちの少なくとも一つの領域を除去した肌領域を抽出する手段と、前記肌領域の原画像データに応じて、前記被験者の肌の状態を解析する解析手段と、を備える肌画像解析装置

請求項2

前記顔面領域を特定する手段は、前記グレースケール画像の画素値分布に応じて第1の範囲を定め、前記原画像の画素値を色相に変換した画像である色相画像の画素値の分布に応じて第2の範囲を定め、前記グレースケール画像の画素値が第1の範囲内であり、かつ、前記色相画像の画素値が第2の範囲内である画素を抽出する、請求項1記載の肌画像解析装置。

請求項3

前記顔面領域内の唇を含む第1領域を特定する手段は、前記原画像の画素値をG/(R+G+B)に変換した画像であるG比率画像の画素値の分布に応じて第3の範囲を定め、前記G比率画像成分の画素値が第3の範囲内である画素を含む領域を第1唇候補領域とし、前記G比率画像成分の画素値が第3の範囲内である画素を特定してシワ消し処理を適用し、残った画素を含む領域を第2唇候補領域とし、第1唇候補領域及び第2唇候補領域のいずれか一方を第1領域とする、請求項1または2に記載の肌画像解析装置。

請求項4

前記顔面領域内の眉を含む第2領域を特定する手段は、前記微分画像の画素値の分布に応じて定めた閾値に従って前記微分画像を2値化した画像である微分2値化画像を生成し、前記微分2値化画像を平滑化した画像である平滑化画像を生成し、前記平滑化画像に応じて第2領域を定める、請求項1〜3のいずれかに記載の肌画像解析装置。

請求項5

前記顔面領域内の眉を含む第2領域を特定する手段は、前記微分画像の画素値の分布に応じて定めた閾値に従って前記微分画像を2値化した画像である微分2値化画像を生成し、前記微分2値化画像を平滑化した画像である平滑化画像を生成し、前記平滑化画像に応じて第3眉候補領域を定め、前記グレースケール画像の画素値の分布に応じて定めた閾値に従って前記グレースケール画像を2値化した画像であるグレースケール2値化画像を生成し、前記グレースケール2値化画像に応じて第4眉候補領域を定め、第3眉候補領域及び第4眉候補領域のいずれか一方を第2領域とする、請求項1〜3のいずれかに記載の肌画像解析装置。

請求項6

前記顔面領域内の鼻孔を含む第4領域を特定する手段は、前記原画像の明度に応じて第4の範囲を定め、前記原画像の画素値をR/(R+G+B)に変換した画像であるR比率画像の画素値の分布に応じて第5の範囲を定め、明度が第4の範囲内であり、かつ、前記R比率画像の画素値が第5の範囲内である画素を含む領域を第4領域とする、請求項1〜5のいずれかに記載の肌画像解析装置。

請求項7

前記顔面領域内の鼻孔を含む第4領域を特定する手段は、明度が第4の範囲内であり、かつ、前記R比率画像の画素値が第5の範囲内である画素が連結して形成された複数の領域のうち、面積の広さが上位の4つの領域の相互の位置関係に応じて第4領域を特定する、請求項6に記載の肌画像解析装置。

請求項8

被験者の顔を撮影したRGB成分を有する原画像の画像データを記憶する記憶部を備えた肌画像解析装置に実行させるためのコンピュータプログラムであって、前記原画像で明度及び色相が所定範囲内の画素を抽出して、前記被験者の顔面領域を特定する手段と、前記原画像で正規化されたG(緑)成分または色相が所定範囲内の画素を抽出して、前記顔面領域内の唇を含む第1領域を特定する手段と、前記原画像を微分した微分画像の画像データまたは前記原画像をグレースケール化したグレースケール画像の画像データに応じて、前記顔面領域内の眉を含む第2領域を特定する手段と、前記原画像で明度が所定範囲内の画素を抽出して、前記顔面領域内の閉じた目を含む第3領域を特定する手段と、前記原画像で、前記顔面領域から前記第1領域〜第3領域のうちの少なくとも一つの領域を除去した領域内の正規化されたR(赤)成分が所定範囲内の画素を抽出して、前記顔面領域内の鼻孔を含む第4領域を特定する手段と、前記顔面領域から前記第1領域〜第4領域のうちの少なくとも一つの領域を除去した肌領域を抽出する手段と、前記肌領域の原画像データに応じて、前記被験者の肌の状態を解析する解析手段と、を前記肌画像解析装置上に構築するためのコンピュータプログラム。

請求項9

被験者の顔を撮影したRGB成分を有する原画像の画像データを記憶する記憶部を備えた肌画像解析装置が行う肌画像解析方法であって、顔面領域抽出部が、前記原画像で明度及び色相が所定範囲内の画素を抽出して、前記被験者の顔面領域を特定するステップと、唇抽出部が、前記原画像で正規化されたG(緑)成分または色相が所定範囲内の画素を抽出して、前記顔面領域内の唇を含む第1領域を特定するステップと、目・眉抽出部が、前記原画像を微分した微分画像の画像データまたは前記原画像をグレースケール化したグレースケール画像の画像データに応じて、前記顔面領域内の眉を含む第2領域を特定し、前記原画像で明度が所定範囲内の画素を抽出して、前記顔面領域内の閉じた目を含む第3領域を特定するステップと、鼻孔抽出部が、前記原画像で、前記顔面領域から前記第1領域〜第3領域のうちの少なくとも一つの領域を除去した領域内の正規化されたR(赤)成分が所定範囲内の画素を抽出して、前記顔面領域内の鼻孔を含む第4領域を特定するステップと、肌解析処理部が、前記顔面領域から前記第1領域〜第4領域のうちの少なくとも一つの領域を除去した肌領域の原画像データに応じて、前記被験者の肌の状態を解析するステップと、を行う方法。

請求項10

被験者の顔を撮影したRGB成分を有する原画像の画像データを記憶する記憶部と、前記原画像で明度及び色相が所定範囲内の画素を抽出して、前記被験者の顔面領域を特定する手段と、前記原画像で正規化されたG(緑)成分または色相が所定範囲内の画素を抽出して、前記顔面領域内の唇を含む第1領域を特定する手段と、前記原画像を微分した微分画像の画像データまたは前記原画像をグレースケール化したグレースケール画像の画像データに応じて、前記顔面領域内の眉を含む第2領域を特定する手段と、前記原画像で明度が所定範囲内の画素を抽出して、前記顔面領域内の閉じた目を含む第3領域を特定する手段と、前記原画像で、前記顔面領域から前記第1領域〜第3領域のうちの少なくとも一つの領域を除去した領域内の正規化されたR(赤)成分が所定範囲内の画素を抽出して、前記顔面領域内の鼻孔を含む第4領域を特定する手段と、前記顔面領域から前記第1領域〜第4領域のうちの少なくとも一つの領域を除去した肌領域を抽出する手段と、を備える画像処理装置

請求項11

被験者の顔を撮影したRGB成分を有する原画像の画像データを記憶する記憶部を備えた画像処理装置に実行させるためのコンピュータプログラムであって、前記原画像で明度及び色相が所定範囲内の画素を抽出して、前記被験者の顔面領域を特定する手段と、前記原画像で正規化されたG(緑)成分または色相が所定範囲内の画素を抽出して、前記顔面領域内の唇を含む第1領域を特定する手段と、前記原画像を微分した微分画像の画像データまたは前記原画像をグレースケール化したグレースケール画像の画像データに応じて、前記顔面領域内の眉を含む第2領域を特定する手段と、前記原画像で明度が所定範囲内の画素を抽出して、前記顔面領域内の閉じた目を含む第3領域を特定する手段と、前記原画像で、前記顔面領域から前記第1領域〜第3領域のうちの少なくとも一つの領域を除去した領域内の正規化されたR(赤)成分が所定範囲内の画素を抽出して、前記顔面領域内の鼻孔を含む第4領域を特定する手段と、前記顔面領域から前記第1領域〜第4領域のうちの少なくとも一つの領域を除去した肌領域を抽出する手段と、を前記肌画像解析装置上に構築するためのコンピュータプログラム。

請求項12

被験者の顔を撮影したRGB成分を有する原画像の画像データを記憶する記憶部を備えた画像処理装置が行う画像処理方法であって、顔面領域抽出部が、前記原画像で明度及び色相が所定範囲内の画素を抽出して、前記被験者の顔面領域を特定するステップと、唇抽出部が、前記原画像で正規化されたG(緑)成分または色相が所定範囲内の画素を抽出して、前記顔面領域内の唇を含む第1領域を特定するステップと、目・眉抽出部が、前記原画像を微分した微分画像の画像データまたは前記原画像をグレースケール化したグレースケール画像の画像データに応じて、前記顔面領域内の眉を含む第2領域を特定し、前記原画像で明度が所定範囲内の画素を抽出して、前記顔面領域内の閉じた目を含む第3領域を特定するステップと、鼻孔抽出部が、前記原画像で、前記顔面領域から前記第1領域〜第3領域のうちの少なくとも一つの領域を除去した領域内の正規化されたR(赤)成分が所定範囲内の画素を抽出して、前記顔面領域内の鼻孔を含む第4領域を特定するステップと、マスク生成処理部が、前記顔面領域から前記第1領域〜第4領域のうちの少なくとも一つの領域を除去して肌領域を抽出するマスクを生成するステップと、を行う方法。

請求項13

被験者の顔を撮影したRGB成分を有する原画像の画像データを記憶する記憶部と、前記原画像の色成分に応じて、前記被験者の唇を含む唇領域を特定する手段と、前記唇領域よりも上の領域の明度または色成分に応じて、前記被験者の眉を含む眉領域及び前記被験者の閉じた目を含む目領域を特定する手段と、前記唇領域よりも上の領域であり、かつ、前記眉領域及び目領域よりも下の領域の明度及び/または色成分に応じて、前記被験者の鼻孔を含む鼻孔領域を特定する手段と、前記被験者の顔面領域から前記唇、眉、目及び鼻孔の各領域を除去した肌領域を特定する手段と、前記肌領域の原画像データに応じて、前記被験者の肌の状態を解析する解析手段と、を備える肌画像解析装置。

請求項14

被験者の顔を撮影したRGB成分を有する原画像の画像データを記憶する記憶部を有する肌画像解析装置に実行させるためのコンピュータプログラムであって、前記原画像の色成分に応じて、前記被験者の唇を含む唇領域を特定する手段と、前記唇領域よりも上の領域の明度または色成分に応じて、前記被験者の眉を含む眉領域及び前記被験者の閉じた目を含む目領域を特定する手段と、前記唇領域よりも上の領域であり、かつ、前記眉領域及び目領域よりも下の領域の明度及び/または色成分に応じて、前記被験者の鼻孔を含む鼻孔領域を特定する手段と、前記被験者の顔面領域から前記唇、眉、目及び鼻孔の各領域を除去した肌領域を特定する手段と、前記肌領域の原画像データに応じて、前記被験者の肌の状態を解析する解析手段と、を前記肌画像解析装置上に構築するためのコンピュータプログラム。

請求項15

被験者の顔を撮影したRGB成分を有する原画像の画像データを記憶する記憶部を有する肌画像解析装置が行う肌画像解析方法であって、唇領域抽出部が、前記原画像の色成分に応じて、前記被験者の唇を含む唇領域を特定するステップと、目・眉抽出部が、前記唇領域よりも上の領域の明度または色成分に応じて、前記被験者の眉を含む眉領域及び前記被験者の閉じた目を含む目領域を特定するステップと、鼻孔抽出部が、前記唇領域よりも上の領域であり、かつ、前記眉領域及び目領域よりも下の領域の明度及び/または色成分に応じて、前記被験者の鼻孔を含む鼻孔領域を特定するステップと、肌解析処理部が、前記被験者の顔面領域から前記唇、眉、目及び鼻孔の各領域を除去した肌領域の原画像データに応じて、前記被験者の肌の状態を解析するステップと、を行う方法。

請求項16

被験者の顔を撮影したRGB成分を有する原画像の画像データを記憶する記憶部と、前記原画像で明度及び色相が所定範囲内の画素を抽出して、前記被験者の顔面領域を特定する手段と、前記原画像で正規化されたG(緑)成分または色相が所定範囲内の画素を抽出して、前記顔面領域内の唇を含む第1領域を特定する手段と、前記顔面領域から少なくとも前記第1領域を除去した肌領域を抽出する手段と、前記肌領域の原画像データに応じて、前記被験者の肌の状態を解析する解析手段と、を備える肌画像解析装置。

請求項17

被験者の顔を撮影したRGB成分を有する原画像の画像データを記憶する記憶部と、前記原画像で明度及び色相が所定範囲内の画素を抽出して、前記被験者の顔面領域を特定する手段と、前記原画像を微分した微分画像の画像データまたは前記原画像をグレースケール化したグレースケール画像の画像データに応じて、前記顔面領域内の眉を含む第2領域を特定する手段と、前記顔面領域から少なくとも前記第2領域を除去した肌領域を抽出する手段と、前記肌領域の原画像データに応じて、前記被験者の肌の状態を解析する解析手段と、を備える肌画像解析装置。

請求項18

被験者の顔を撮影したRGB成分を有する原画像の画像データを記憶する記憶部と、前記原画像で明度及び色相が所定範囲内の画素を抽出して、前記被験者の顔面領域を特定する手段と、前記原画像で明度が所定範囲内の画素を抽出して、前記顔面領域内の閉じた目を含む第3領域を特定する手段と、前記顔面領域から少なくとも前記第3領域を除去した肌領域を抽出する手段と、前記肌領域の原画像データに応じて、前記被験者の肌の状態を解析する解析手段と、を備える肌画像解析装置。

請求項19

被験者の顔を撮影したRGB成分を有する原画像の画像データを記憶する記憶部と、前記原画像で明度及び色相が所定範囲内の画素を抽出して、前記被験者の顔面領域を特定する手段と、前記原画像で、前記顔面領域から明度及び/または正規化されたR(赤)成分が所定範囲内の画素を抽出して、前記顔面領域内の鼻孔を含む第4領域を特定する手段と、前記顔面領域から少なくとも前記第4領域を除去した肌領域を抽出する手段と、前記肌領域の原画像データに応じて、前記被験者の肌の状態を解析する解析手段と、を備える肌画像解析装置。

技術分野

0001

本発明は、画像処理技術に関し、特に人物顔画像から顔パーツマスクして肌解析を行う技術に関する。

背景技術

0002

従来、人物の顔を撮影した画像を用いて、肌の状態を解析する装置が知られている(例えば特許文献1)。そして、肌の解析手法として、この特許文献以外にも様々なものが提案されている。

先行技術

0003

特開2011−130808号公報

発明が解決しようとする課題

0004

ところで、一般には、、目、鼻孔といったいわゆる顔のパーツ部分は肌解析の対象にはならない。従って、人物の顔画像から自動的に肌の解析を行うときは、顔パーツを自動的に除外する必要がある。

0005

このとき、顔パーツを除外するためのマスクをテンプレートとして用意しておき、顔画像に適用するやり方も考えられる。しかしながら、画像内での顔パーツの位置及び大きさは、撮影条件により変動することもあるとともに、個人差もあることから、テンプレートでは必ずしも正確に顔パーツを除外できない場合もある。

0006

そこで、本発明の目的は、撮影時の条件等に依らず、人物の顔画像から顔パーツを精度良く自動的に除外することである。

0007

本発明の別の目的は、肌画像解析を行うために、人物の顔画像から自動的に肌解析の対象領域を特定することである。

課題を解決するための手段

0008

本発明の一つの実施態様に従う肌画像解析装置は、被験者の顔を撮影したRGB成分を有する原画像の画像データを記憶する記憶部と、前記原画像で明度及び色相所定範囲内の画素を抽出して、前記被験者の顔面領域を特定する手段と、前記原画像で正規化されたG(緑)成分または色相が所定範囲内の画素を抽出して、前記顔面領域内の唇を含む第1領域を特定する手段と、前記原画像を微分した微分画像の画像データまたは前記原画像をグレースケール化したグレースケール画像の画像データに応じて、前記顔面領域内の眉を含む第2領域を特定する手段と、前記原画像で明度が所定範囲内の画素を抽出して、前記顔面領域内の閉じた目を含む第3領域を特定する手段と、前記原画像で、前記顔面領域から前記第1領域〜第3領域のうちの少なくとも一つの領域を除去した領域内の正規化されたR(赤)成分が所定範囲内の画素を抽出して、前記顔面領域内の鼻孔を含む第4領域を特定する手段と、前記顔面領域から前記第1領域〜第4領域のうちの少なくとも一つの領域を除去した肌領域を抽出する手段と、前記肌領域の原画像データに応じて、前記被験者の肌の状態を解析する解析手段と、を備える。

0009

好適な実施態様では、前記顔面領域を特定する手段は、前記グレースケール画像の画素値分布に応じて第1の範囲を定め、前記原画像の画素値を色相に変換した画像である色相画像の画素値の分布に応じて第2の範囲を定め、前記グレースケール画像の画素値が第1の範囲内であり、かつ、前記色相画像の画素値が第2の範囲内である画素を抽出するようにしても良い。

0010

好適な実施態様では、前記顔面領域内の唇を含む第1領域を特定する手段は、前記原画像の画素値をG/(R+G+B)に変換した画像であるG比率画像の画素値の分布に応じて第3の範囲を定め、前記G比率画像の画素値が第3の範囲内である画素を含む領域を第1唇候補領域とし、前記G比率画像の画素値が第3の範囲内である画素を特定して2値化した画像に対してシワ消し処理を適用し、残った画素を含む領域を第2唇候補領域とし、第1唇候補領域及び第2唇候補領域のいずれか一方を第1領域としても良い。

0011

好適な実施態様では、前記顔面領域内の眉を含む第2領域を特定する手段は、前記微分画像の画素値の分布に応じて定めた閾値に従って前記微分画像を2値化した画像である微分2値化画像を生成し、前記微分2値化画像を平滑化した画像である平滑化画像を生成し、前記平滑化画像に応じて第2領域を定めても良い。

0012

好適な実施態様では、前記顔面領域内の眉を含む第2領域を特定する手段は、前記微分画像の画素値の分布に応じて定めた閾値に従って前記微分画像を2値化した画像である微分2値化画像を生成し、前記微分2値化画像を平滑化した画像である平滑化画像を生成し、前記平滑化画像に応じて第3眉候補領域を定め、前記グレースケール画像の画素値の分布に応じて定めた閾値に従って前記グレースケール画像を2値化した画像であるグレースケール2値化画像を生成し、前記グレースケール2値化画像に応じて第4眉候補領域を定め、第3眉候補領域及び第4眉候補領域のいずれか一方を第2領域としても良い。

0013

好適な実施態様では、前記顔面領域内の鼻孔を含む第4領域を特定する手段は、前記原画像の明度に応じて第4の範囲を定め、前記原画像の画素値をR/(R+G+B)に変換した画像であるR比率画像の画素値の分布に応じて第5の範囲を定め、明度が第4の範囲内であり、かつ、前記R比率画像の画素値が第5の範囲内である画素を含む領域を第4領域としても良い。

0014

好適な実施態様では、前記顔面領域内の鼻孔を含む第4領域を特定する手段は、明度が第4の範囲内であり、かつ、前記R比率画像の画素値が第5の範囲内である画素が連結して形成された複数の領域のうち、面積の広さが上位の4つの領域の相互の位置関係に応じて第4領域を特定しても良い。

0015

本発明の一つの実施態様に従う画像処理装置は、被験者の顔を撮影したRGB成分を有する原画像の画像データを記憶する記憶部と、前記原画像で明度及び色相が所定範囲内の画素を抽出して、前記被験者の顔面領域を特定する手段と、前記原画像で正規化されたG(緑)成分または色相が所定範囲内の画素を抽出して、前記顔面領域内の唇を含む第1領域を特定する手段と、前記原画像を微分した微分画像の画像データまたは前記原画像をグレースケール化したグレースケール画像の画像データに応じて、前記顔面領域内の眉を含む第2領域を特定する手段と、前記原画像で明度が所定範囲内の画素を抽出して、前記顔面領域内の閉じた目を含む第3領域を特定する手段と、前記原画像で、前記顔面領域から前記第1領域〜第3領域のうちの少なくとも一つの領域を除去した領域内の正規化されたR(赤)成分が所定範囲内の画素を抽出して、前記顔面領域内の鼻孔を含む第4領域を特定する手段と、前記顔面領域から前記第1領域〜第4領域のうちの少なくとも一つの領域を除去した肌領域を抽出する手段と、を備える。

0016

本発明の一つの実施態様に従う肌画像解析装置は、被験者の顔を撮影したRGB成分を有する原画像の画像データを記憶する記憶部と、前記原画像の色成分に応じて、前記被験者の唇を含む唇領域を特定する手段と、前記唇領域よりも上の領域の明度または色成分に応じて、前記被験者の眉を含む眉領域及び前記被験者の閉じた目を含む目領域を特定する手段と、前記唇領域よりも上の領域であり、かつ、前記眉領域及び目領域よりも下の領域の色成分に応じて、前記被験者の鼻孔を含む鼻孔領域を特定する手段と、前記被験者の顔面領域から前記唇、眉、目及び鼻孔の各領域を除去した肌領域を特定する手段と、前記肌領域の原画像データに応じて、前記被験者の肌の状態を解析する解析手段と、を備える。

図面の簡単な説明

0017

本発明の一実施形態にかかる画像処理装置1の全体構成図である。
本実施形態の画像処理装置1の全体処理手順を示す。
テップS230の顔面領域抽出処理の詳細な処理手順を示すフローチャートである。
グレースケール画像のヒストグラムの一例と、色相画像のヒストグラムの一例を示す。
ステップS240の唇抽出処理の詳細な処理手順を示すフローチャートである。
目領域及び眉領域を抽出する処理の全体を示すフローチャートである。
ステップS611等の目抽出処理の詳細な処理手順を示すフローチャートである。
ステップS613等の眉領域抽出処理の詳細な手順を示すフローチャートである。
ステップS811の眉・微分画像処理の詳細な手順を示すフローチャートである。
ステップS813の眉・微分画像処理の詳細な手順を示すフローチャートである。
ステップS260の鼻孔抽出処理の詳細な手順を示すフローチャートである。

実施例

0018

以下、本発明の一実施形態に係る画像処理装置について、図面を参照して説明する。本実施形態にかかる画像処理装置は、特に、顔の肌の状態を画像解析する肌画像解析装置である。

0019

図1は、本実施形態にかかる画像処理装置1の全体構成図である。

0020

本画像処理装置1は、画像処理装置本体10とカメラ5とを備える。

0021

画像処理装置本体10は、例えば、プロセッサメモリ等を有する汎用的なコンピュータシステムにより構成され、以下に説明する個々の構成要素または機能は、例えば、コンピュータシステム上で所定のコンピュータプログラムを実行することにより実現される。

0022

画像処理装置本体10は、同図に示すように、前処理部11と、顔面抽出部13と、顔パーツ抽出部15と、マスク生成処理部17と、肌解析処理部19と、原画像データ記憶部300と、グレー画像データ記憶部311と、色相画像データ記憶部312と、G比率画像データ記憶部313と、R比率画像データ記憶部314と、微分画像データ記憶部315と、顔面領域データ記憶部350と、唇領域データ記憶部360と、目・眉領域データ記憶部370と、鼻孔領域データ記憶部380と、マスク領域データ記憶部390とを備える。

0023

原画像データ記憶部300には、被験者(人物)の顔を含む画像が保存される。原画像データ記憶部300に保存される原画像の画像データ(以下、原画像データという)は、例えば、カメラ5で撮影された画像のデータでも良いし、カメラ5以外のカメラで撮影された画像のデータであっても良い。

0024

原画像は、例えば、黒い背景で、顔を含む被験者の首から上の部分を正面から撮影した静止画像である。被験者の着ている服が映らないように、黒色前掛けをつけて撮影された画像でも良い。原画像には、主に被験者の顔面及び頭髪が写っている。原画像は、被験者を左または右斜め前方から撮影した画像でも良い。原画像に写っている被験者の顔の向きが、原画像データ記憶部300に保存されている原画像データのファイル名で識別できるようにファイル名を定めても良い。原画像は、顔面の肌の露出が多くなるように、前髪を持ち上げた状態で撮影された画像でも良い。

0025

原画像の画素数は、例えば、水平方向(X方向)及び垂直方向(Y方向)ともに2000〜5000画素程度を有する2次元の画像で良い。原画像は、例えば、画素ごとにRGB(赤、緑、青)の各成分を有するカラー画像である。原画像は、動画像の1フレームであっても良い。

0026

前処理部11は、原画像データ記憶部300に保存されている原画像データを種々の方法で加工する。前処理部11は、グレー画像生成部111と、色相画像生成部113と、G比率画像生成部115と、R比率画像生成部117と、微分画像生成部119とを有する。

0027

グレー画像生成部111は、原画像からグレースケール画像を生成する。グレー画像生成部111は、原画像データ記憶部300から原画像データを読み出し、公知のグレースケール変換式を用いて、原画像からグレースケール画像を生成しても良い。グレー画像生成部111が生成したグレースケール画像の画像データ(以下、グレースケール画像データという)は、グレー画像データ記憶部311に保存される。

0028

色相画像生成部113は、原画像から各画素が色相を示す色相画像を生成する。色相画像生成部113は、原画像データ記憶部300から原画像データを読み出し、以下に示すRGBから色相(H:Hue)への変換式により、原画像から色相画像を生成しても良い。色相画像生成部113が生成した色相画像の画像データ(以下、色相画像データという)は色相画像データ記憶部312に保存される。

0029

H:色相
R,G,Bはそれぞれ赤、緑及び青の画素値

0030

G比率画像生成部115は、原画像の各画素をG(緑)成分で正規化して、G(緑)成分の比率を示すG比率画像を生成する。G比率画像生成部115は、原画像データ記憶部300から原画像データを読み出し、以下の式(2)に示すRGBからG成分比率(G比率)への変換式を各画素に適用し、原画像からG比率画像を生成しても良い。G比率画像生成部115が生成したG比率画像の画像データ(以下、G比率画像データという)はG比率画像データ記憶部313に保存される。

0031

G比率=G/(R+G+B) ・・・(2)

0032

R比率画像生成部117は、原画像の各画素をR(赤)成分で正規化して、R(赤)成分の比率を示すR比率画像を生成する。R比率画像生成部117は、原画像データ記憶部300から原画像データを読み出し、以下の式(3)に示すRGBからR成分比率(R比率)への変換式を各画素に適用し、原画像からR比率画像を生成しても良い。R比率画像生成部117が生成したR比率画像の画像データ(以下、R比率画像データという)はR比率画像データ記憶部314に保存される。

0033

R比率=R/(R+G+B) ・・・(3)

0034

微分画像生成部119は、原画像を微分した微分画像を生成する。微分画像生成部119は、原画像データ記憶部300から原画像データを読み出し、例えば、水平方向または垂直方向へゾーベル(Sobel)フィルタあるいはプレヴィット(Prewitt)フィルタを適用して、原画像から微分画像を生成しても良い。微分画像生成部119が生成した微分画像の画像データ(以下、微分画像データという)は微分画像データ記憶部315に保存される。

0035

顔面抽出部13は、原画像に含まれる顔面の領域を抽出する。顔面抽出部13は、原画像で明度及び色相が所定範囲内の画素を抽出して、被験者の顔面領域として特定しても良い。顔面抽出部13は、例えば、グレー画像データ記憶部311及び色相画像データ記憶部312に保存されているグレースケール画像及び色相画像データに応じて顔面領域を特定し、顔面領域を示す顔面領域データを生成する。顔面領域データは顔面領域データ記憶部350に保存される。顔面抽出部13による処理の詳細については後述する。

0036

顔パーツ抽出部15は、顔面領域に含まれる顔のパーツの領域を抽出する。本実施形態では、顔パーツ抽出部15は、顔のパーツとして眉、閉じた目(以下、単に目ということもある)、鼻孔、及び唇を抽出する。従って、顔パーツ抽出部15は、唇抽出部151と、目・眉抽出部153と、鼻孔抽出部155とを有する。

0037

唇抽出部151は、顔面領域から色成分に応じて被験者の唇領域を抽出する。唇抽出部151は、例えば、原画像のG(緑)成分に応じて唇領域を特定しても良いし、色相に応じて唇領域を特定しても良い。唇抽出部151は、原画像のG(緑)成分の比率が所定範囲内の画素を抽出して唇領域として、唇領域の範囲を示す唇領域データを生成しても良い。唇領域データは、唇領域データ記憶部360に保存される。唇抽出部151による処理の詳細については後述する。

0038

目・眉抽出部153は、顔面領域から明度及び色成分に応じて、被験者の目領域及び眉領域を抽出する。目・眉抽出部153は、例えば、原画像を微分した微分画像または原画像をグレースケール化したグレースケール画像の画像データに応じて、前記顔面領域内の眉を含む眉領域を特定し、眉領域の範囲を示す眉領域データを生成する。また、目・眉抽出部153は、例えば、原画像で明度が所定範囲内の画素を抽出して、顔面領域内の閉じた目を含む目領域を特定し、目領域の範囲を示す目領域データを生成する。目領域データ及び眉領域データは、目・眉領域データ記憶部370に保存される。目・眉抽出部153による処理の詳細については後述する。

0039

鼻孔抽出部155は、顔面領域から明度及び/または色成分に応じて被験者の鼻孔領域を抽出する。鼻孔抽出部155は、例えば、顔面領域から唇、目及び眉の各領域の全部または一部を除去した領域内でグレースケール画像の画像データに応じた領域を新たに生成し、R(赤)成分に応じて鼻孔を含む鼻孔領域を特定する。鼻孔抽出部155は、原画像のR(赤)成分の比率が所定範囲内の画素を抽出して鼻孔領域として、鼻孔領域を示す鼻孔領域データを生成しても良い。あるいは、鼻孔抽出部155は、グレースケール画像から抽出した領域で鼻孔領域を特定しても良いし、R比率画像から抽出した領域で鼻孔領域を特定しても良い。鼻孔領域データは鼻孔領域データ記憶部380に保存される。鼻孔抽出部155による処理の詳細については後述する。

0040

マスク生成処理部17は、肌解析処理部19が行う解析の対象となる肌領域を抽出するためのマスクを生成する。マスク生成処理部17が生成するマスクは、顔面領域から眉、目、鼻孔及び唇の各パーツの少なくとも一つ以上の領域をマスクする。つまり、マスク生成処理部17が生成するマスクにより、顔面のパーツの少なくとも一部が取り除かれた肌領域が特定される。マスク生成処理部17は、眉領域データ、目領域データ、鼻孔領域データ及び唇領域データが示す領域を顔面領域が示す領域から除去したマスクデータを生成する。マスクデータは、マスク領域データ記憶部390に保存される。なお、マスク生成処理部17がマスクをする顔パーツの領域の一部は、本実施形態とは異なる手法で特定された領域を用いても良い。

0041

また、本実施形態では、顔パーツ抽出部15が、眉、目、鼻孔及び唇の各領域を抽出して、マスク生成処理部17が各領域をマスクするマスクデータを生成するが、必ずしもすべての領域を同時にマスクしなくても良い。例えば、マスク生成処理部17は、眉、目、鼻孔及び唇の各領域の一つ以上の領域をマスクするマスクデータを生成しても良い。その場合、顔パーツ抽出部15は、必要な領域のみを抽出し、必要でない領域の抽出を省略しても良い。

0042

肌解析処理部19は、肌領域の原画像データに応じて、被験者の肌の状態を解析する。例えば、肌解析処理部19は、マスク領域データ記憶部390に保存されたマスクデータに基づいて肌領域の画素を特定し、その肌領域の画素の原画像データを用いて、肌解析を行う。肌解析の結果は、図示しない出力装置ディスプレイプリンタ等)から所定の形式で出力される。

0043

図2は、本実施形態の画像処理装置1の全体処理手順を示す。

0044

まず、画像処理装置本体10が原画像データを取り込んで原画像データ記憶部300に保存する(S210)。

0045

前処理部11が、以降の処理で必要となる画像を予め生成する(S220)。具体的には、前処理部11がグレースケール画像、色相画像、G比率画像、R比率画像及び微分画像をそれぞれ生成する。なお、これらの画像はステップS230の処理を開始する前にすべて生成されている必要はない。各画像はステップS230以降でそれぞれ必要になるときまでに生成されていれば良い。

0046

顔面抽出部13は、原画像から背景領域及び頭髪等の領域を除去した顔面領域を抽出して、顔面領域データを生成する(S230)。

0047

唇抽出部151は、顔面領域から唇領域を抽出して、唇領域データを生成する(S240)。

0048

目・眉抽出部153は、顔面領域から目領域及び眉領域を抽出して、目領域データ及び眉領域データを生成する(S250)。

0049

鼻孔抽出部155は、顔面領域から鼻孔領域を抽出して、鼻孔領域データを生成する(S260)。

0050

マスク生成処理部17は、ステップS230〜260までの処理結果に応じて、原画像から肌領域を抽出するためのマスクデータを生成する(S270)。

0051

肌解析処理部19は、マスクデータにより特定される肌領域について、原画像データに基づいて肌解析処理を行う(S280)。

0052

図3は、ステップS230の顔面領域抽出処理の詳細な処理手順を示すフローチャートである。

0053

顔面抽出部13は、グレースケール画像に応じて、それを2値化するための閾値を決定する(S31)。例えば、グレースケール画像の画素値の分布に応じて第1の範囲を定める。さらに詳細には、例えば、顔面抽出部13は、グレースケール画像データをグレー画像データ記憶部311から読み込んで、ヒストグラムを生成する。顔面抽出部13は、このヒストグラムに基づいて、2値化のための閾値を決定しても良い。

0054

図4Aは、グレースケール画像のヒストグラムの一例を示す。同図に示すヒストグラムは、一つの典型例であり2つのピークを有するが、ピークが3つ以上になる場合もある。各ピークは、暗い方から、主に背景領域(黒)と人の顔領域とに対応する。3つピークが現れる場合は、例えば、被験者の頭部が明るい色(白髪、金髪等の頭髪、及び頭巾等のりものをつけているとき等)である場合がある。このときは、背景よりもさらに明るいピークが現れる。そこで、顔面抽出部13は、最も暗いピークを超えた最初の谷の画素値aを2値化の閾値としても良い。そして、この閾値を境にグレースケール画像を2値化する。閾値aよりも大きい画素値の範囲が第1の範囲となる。

0055

図3に戻ると、顔面抽出部13は、色相画像に応じて、それを2値化するための閾値を決定する(S33)。例えば、顔面抽出部13は、色相画像の画素値の分布に応じて第2の範囲を定める。さらに詳細には、例えば、顔面抽出部13は、色相画像の画像データを色相画像データ記憶部312から読み込んで、ヒストグラムを生成する。このヒストグラムに基づいて、2値化のための閾値を決定する。色相の値は0−359までであるが、0−255までに変換しても良い。

0056

図4Bは、色相画像のヒストグラムの一例を示す。同図に示すヒストグラムは、一つの典型例であり2つのピークを有するが、3つ以上になる場合もある。3つピークが現れる場合は、前記グレースケール画像のヒストグラムと同様の場合である。顔面抽出部13は、例えば、最大のピークを含む所定の画素値の範囲(下限閾値をb、上限閾値をc)を定める。画素値b〜cの範囲を第2の範囲としても良い。

0057

なお、色相画像のヒストグラムは、すべての画素を対象として生成されたものでも良いし、グレースケール画像において閾値a以上の画素値を有する画素を対象にして生成されたものでも良い。

0058

顔面抽出部13は、グレースケール画像の画素値がa以上(第1の範囲内)であり、かつ、色相画像の画素値がbからcの間(第2の範囲内)の画素を顔面候補領域として特定する(S35)。

0059

顔面抽出部13は、ステップS35で特定された顔面候補領域に対して、例えばスネーク処理等の輪郭修正処理を行って顔面領域を決定する(S37)。

0060

図5は、ステップS240の唇抽出処理の詳細な処理手順を示すフローチャートである。

0061

唇抽出部151は、G比率画像に応じて、それを2値化するための閾値を決定する(S511)。例えば、唇抽出部151は、G比率画像の画素値の分布に応じて第3の範囲を定める。さらに詳細には、例えば、唇抽出部151は、G比率画像の画像データをG比率画像データ記憶部313から読み込んで、ヒストグラムを生成する。このヒストグラムに基づいて、2値化のための閾値を決定しても良い。さらに、最大のピークのときの画素値dを基準として閾値を定めても良い。例えば、画素値dの1/2、1/3、1/5、1/10等の画素値を閾値としても良い。

0062

唇抽出部151は、ステップS511で特定した閾値に基づいてG比率画像を2値化する(S513)。ここでは、着目している領域(以下、特徴領域と呼ぶ)を白、その他の領域を黒に2値化する。唇抽出部151は、この2値化画像に対してノイズ除去処理を行っても良い。ノイズ除去処理として、唇抽出部151は、例えば、2値化画像で孤立している、面積の小さい特徴領域をノイズとし、これを除去するためのフィルタをかけても良い。なお、これ以降に説明する他の処理でも2値化処理を行う場合がある。2値化処理では、特に言及しないときでも上述したノイズ除去処理を実行しても良い。

0063

また、ここではG比率画像を用いているが、G比率画像の代わりに色相画像を用いても良い。色相画像を用いる場合、まず、唇抽出部151は、グレースケール画像で所定以上の明度を有する画素を対象として色相画像を生成する。そして、唇抽出部151は、色相画像において、所定の色相範囲に属する画素の原画像での空間分布に基づいて(例えば、顔の下側に位置する所定面積の範囲に属する領域等を)唇領域として特定しても良い。

0064

次に、唇抽出部151は、この2値化画像に対して二通りの処理を実行する。

0065

まず、唇抽出部151は、G比率画像または色相画像の画素値が第3の範囲内である画素を含む領域を第1唇候補領域としても良い。具体的には、唇抽出部151が次に説明するステップS515及びS517を行って第1唇候補領域を特定しても良い。

0066

唇抽出部151は、顔面領域の縁部分にあるノイズを除去する処理(以下、縁処理という)を行う(S515)。

0067

顔面領域の縁部分では、頭髪や顔の輪郭に沿う影等のノイズの影響により誤抽出が生じやすい。そこで、本実施形態では、顔面領域の輪郭を形成する閉曲線とこの輪郭をわずかに縮小した閉曲線との間の環状領域と、これに繋がる特徴領域を除去する。ただし、ここで除去対象となる特徴領域は、必ずしもノイズでない場合もある。そこで、本実施形態では、以下に説明する他の処理においても、必要に応じて縁処理を実行したり、しなかったりする。

0068

唇抽出部151は、縁処理が実行された後の2値化画像で特徴領域とされた領域を第1唇候補領域とする(S517)。

0069

これに対して、唇抽出部151は、さらに、ステップS513で2値化された画像に対してマリオネットライン除去処理(シワ消し処理)を適用し、残った画素を含む領域を第2唇候補領域とする。具体的には、唇抽出部151が次に説明するステップS519〜S523を行って第2唇候補領域を特定する。

0070

唇抽出部151は、2値化画像においてマリオネットライン除去処理を行う(S519)。マリオネットラインとは、口の両脇からあご伸びる2本の線のことである。このマリオネットラインを消去するために、唇抽出部151は、例えば、2値化画像の全領域を対象に頭髪やシワ等の細い線を除去するためのフィルタ処理を実行しても良い。なお、これ以降に説明する他の2値化画像に対しても、特に言及しないときでもこの処理をノイズ除去処理として実行しても良い。

0071

唇抽出部151は、マリオネットライン除去処理後の2値化画像に対して、ステップS515と同じ縁処理を適用する(S521)。

0072

唇抽出部151は、ステップS521が実行された後の2値化画像で特徴領域とされた領域を第2唇候補領域とする(S523)。

0073

唇抽出部151は、第1唇候補領域の決定と第2唇候補領域の決定の何れを先に実行しても良い。

0074

唇抽出部151は、第1唇候補領域及び第2唇候補領域の何れか一方を唇領域として特定する(S525)。ここでは、第1唇候補領域の下端の位置と第2唇候補領域の下端の位置を比較して、より低い位置にある唇候補領域を唇領域として選択するようにしても良い。

0075

唇抽出部151は、顔面領域内での唇領域の位置によって顔の向きを判定する(S527)。例えば、唇抽出部151は、顔面領域の横幅(X方向の長さ)を3等分し、唇領域が左側面、右側面、中心の何れの領域に最も多く属しているかによって、顔の向きを判定しても良い。例えば、唇領域が顔の中心に最も多く存在するときは、正面向きであると判定する。なお、この判定結果に応じて、原画像データ記憶部300に保存されている原画像データのファイル名を決定しても良い。例えば、原画像データのファイル名を顔の向きが識別可能なファイル名としても良い。

0076

図6図10は、目・眉抽出部153が行う目領域及び眉領域の抽出を行う目・眉処理のフローチャートである。目・眉抽出部153は、唇領域が既に抽出されているときは、唇領域上端よりも下の領域を処理対象外とし、唇領域の上端よりも上の顔面領域を目・眉処理の対象領域として目及び眉領域を抽出する処理を行っても良い。

0077

図6は、目領域及び眉領域を抽出する処理の全体を示すフローチャートである。

0078

目・眉抽出部153は、まず、顔面領域の中の閉じた目を抽出する目抽出処理を実行する(S611)。目抽出処理の詳細については後述する。

0079

目・眉抽出部153は、目抽出処理の後に眉抽出処理を実行する(S613)。眉抽出処理の詳細については後述する。

0080

目・眉抽出部153は、目抽出処理及び眉抽出処理の処理で、目領域及び眉領域が抽出されたか否かを判定する(S615)。

0081

ここで、目領域及び眉領域の両方が抽出されていた場合、眉領域と目領域の相対的な位置関係が正常であるか否かを判定する(S621)。ここで、眉領域が目領域よりも上に位置する場合、相対的な位置関係が正しいので、終了する。一方、眉領域が目領域よりも上に位置する場合、相対的な位置関係が正しくないので、この時点で抽出されている目領域及び眉領域を破棄し、ステップS611へ戻り再処理を実行する。

0082

このときのように、図6に示す処理では、目抽出処理が複数回実行される可能性がある。目抽出処理の詳細な処理フロー図7に示す通りである。但し、目・眉抽出部153は、目抽出処理を実行する回数に応じて、一以上のパラメータを変えて実行する。例えば、目・眉抽出部153は、2値化の閾値、ノイズとして除去する特徴領域のサイズ、及び縁処理を適用するか否か等を、処理を実行する回数に応じて変えて行っても良い。これにより、目抽出処理を実行するごとに異なる目領域が抽出されることになる。

0083

また、図6に示す処理では、眉抽出処理も目抽出処理と同様に複数回実行される可能性がある。眉抽出処理の詳細な処理フローは図8図10に示す通りである。但し、目・眉抽出部153は、眉抽出処理についても、目抽出処理と同様に実行する回数に応じて、一以上のパラメータを変えて実行する。例えば、目・眉抽出部153は、2値化の閾値、ノイズとして除去する特徴領域のサイズ、及び縁処理を適用するか否か等を、処理を実行する回数に応じて変えて行う。これにより、眉抽出処理を実行するごとに異なる眉領域が抽出されることになる。

0084

ステップS615で眉領域のみが抽出されていたと判定されたときは、目・眉抽出部153は、再び目抽出処理を実行する(S631)。その後、目・眉抽出部153は、目領域が抽出されたか否かを判定する(S633)。ここでは、目領域が抽出されるまでステップS631の処理を繰り返す。

0085

ステップS615で目領域及び眉領域の何れも抽出されていなかったと判定されたときは、目・眉抽出部153は、眉抽出処理を実行した後、目抽出処理を実行する(S641、S643)。その後、目・眉抽出部153は、ステップS641及びS643で眉領域及び目領域が抽出されたか否かを判定する(S645)。ここでは、眉領域と目領域の一方のみを抽出した場合には、眉領域及び目領域の両方が抽出されるまでステップS641、S643の処理を繰り返す。このとき、眉領域が抽出済みであればステップS641をスキップしても良いし、目領域が抽出済みであればステップS643をスキップしても良い。ステップS645で目領域及び眉領域の何れも抽出されていない場合には、ステップS611へ戻り再処理を実行する。

0086

ステップS615で目領域のみが抽出されていたと判定されたときは、目・眉抽出部153は、その抽出済みの目領域を破棄して、ステップS641以降を実行する。

0087

ステップS633及びS645終了後、ステップS621で上述の通り、目と眉の相対的な位置関係の判定を行う。

0088

図7は、ステップS611等の目抽出処理の詳細な処理手順を示すフローチャートである。目・眉抽出部153は、この目処理を実行する際、既に眉領域が抽出されている場合、眉領域を除外した領域あるいは眉領域の下端よりも下の領域を対象領域として、以下の処理を行っても良い。

0089

目・眉抽出部153は、グレースケール画像に応じて、それを2値化するための閾値を決定する(S711)。例えば、目・眉抽出部153は、グレースケール画像の画素値の分布に応じて画素値の範囲を定める。さらに詳細には、例えば、目・眉抽出部153は、グレースケール画像の画像データをグレー画像データ記憶部311から読み込んで、顔面領域内の全画素または対象領域の画素についてヒストグラムを生成する。目・眉抽出部153は、このヒストグラムに基づいて、2値化のための閾値を決定しても良い。目・眉抽出部153は、図7に示す目抽出処理を実行した回数をカウントするカウンタを備えていても良い。目・眉抽出部153は、このカウンタのカウント値に応じて、ステップS711での閾値の決定方法を変えても良い。閾値によって特徴領域が正しく検出できるか否かが変わるからである。

0090

目・眉抽出部153は、ステップS711で定めた閾値に基づいてグレースケール画像を2値化する(S713)。

0091

目・眉抽出部153は、ステップS713で生成した2値化画像に対して縁処理を行う(S715)。目・眉抽出部153は、ステップS715の縁処理も、上述した目抽出処理の実行回数カウンタに応じて省略しても良いし、あるいは、処理の内容を変えても良い(例えば、輪郭に沿った環状領域の幅を広くまたは狭くする、あるいは環状領域のみを消去し、そこに繋がる領域を残す。)。

0092

目・眉抽出部153は、2値化画像から閉じた目の領域を抽出する(S717)。例えば、目・眉抽出部153は、2値化画像で面積が最も大きい特徴領域と2番目に大きい特徴領域を目領域として抽出しても良い。

0093

目・眉抽出部153は、ここで抽出した目領域が正しいか否かを判定する(S719)。目・眉抽出部153は、例えば、抽出された2つの領域の相対的な位置関係に基づいて正誤判定するようにしても良い。例えば、目・眉抽出部153は、2つの目領域の上下方向の相対的な位置ズレがないか、及び/または2つの目領域が顔面の左右の領域に分かれて存在しているか否かにより正誤判定しても良い。

0094

目・眉抽出部153は、ステップS719の処理で、目領域が顔面領域内で同じ程度の高さであるか否かを判定しても良い。目・眉抽出部153は、例えば、いずれか一方の領域を基準領域として、その基準領域の上端または下端が、他方の領域の上端と下端の間に入っているか否かを判定しても良い。目・眉抽出部153は、何れの領域を基準領域としたときも、その上端または下端が他方の領域の上端と下端の間に入っていないときは、上下方向の位置ズレが生じているので、相対的な位置関係が正しくない判定しても良い。

0095

また、原画像が被験者を正面から撮影した画像である場合、目・眉抽出部153は、ステップS719の処理で、目領域が顔面領域の左半面と右半面に分かれているか否かを判定しても良い。例えば、目・眉抽出部153は、顔領域の中心線を特定し、二つの目領域がその線の左右に分かれて存在していれば、相対的な位置関係が正しいと判定する。

0096

これ以外にも、例えば、目領域の面積、あるいは縦横比が所定の範囲であるか否かを判定しも良い。さらに、既に眉領域が抽出されているときは、目・眉抽出部153は、目領域と眉領域との相対的な位置関係も考慮して正誤判定を行っても良い。目・眉抽出部153は、ステップS719では、上記の基準の一つ以上を用いて正誤判定を行っても良い。

0097

正誤判定により2つの目領域の位置関係が正しいと判断されたときは(S719:正)、目・眉抽出部153は、2つの領域を目領域として確定する(S721)。

0098

一方、正誤判定により2つの目領域の位置関係が正しくないと判断されたときは(S719:誤)、目・眉抽出部153は、抽出されている目領域を破棄して、目領域は未確定とする(S723)。

0099

図8は、ステップS613等の眉領域抽出処理の詳細な手順を示すフローチャートである。目・眉抽出部153は、この眉処理を実行する際、既に目領域が確定している場合には、目領域を除外した領域、あるいは目領域の上端よりも上の領域を対象領域として、以下の処理を行っても良い。

0100

目・眉抽出部153は、眉抽出処理として、微分画像を用いて眉・微分画像処理を実行する(S811)。眉・微分画像処理の詳細については後述する。

0101

目・眉抽出部153は、ステップS811で抽出された眉領域が正しいか否かの判定をする(S812)。この正誤判定は、例えば、ステップS719の目領域に対して行う正誤判定と同様に、2つの眉領域の上下の位置ズレ、及び/または2つの眉領域が顔面の左右の領域に分かれているか否かについての判定を眉に対して行っても良い。

0102

正誤判定により2つの眉領域の位置関係が正しくないと判断されたときは(S812:誤)、目・眉抽出部153は、抽出されている眉領域を破棄する(S814)。

0103

正誤判定により2つの眉領域の位置関係が正しいと判断されたときは、これらの眉領域を眉候補領域として有効なものとしたまま(S812:正)、目・眉抽出部153が眉抽出処理として、グレースケール画像を用いて眉・グレー画像処理を実行する(S816)。眉・グレー画像処理の詳細については後述する。

0104

目・眉抽出部153は、ステップS816で抽出された眉領域が正しいか否かの判定をする(S818)。この正誤判定の基準は、例えば、ステップS812と同様としても良い。

0105

正誤判定により2つの眉領域の位置関係が正しくないと判断されたときは(S818:誤)、目・眉抽出部153は、抽出されている眉領域を破棄する(S820)。

0106

正誤判定により2つの眉領域の位置関係が正しいと判断されたときは、これらの眉領域を眉候補領域として有効なものとして(S818:正)、目・眉抽出部153が眉・微分画像処理と眉・グレー画像処理での処理結果に応じて眉領域を確定する(S822)。例えば、目・眉抽出部153は、眉・微分画像処理及び眉・グレー画像処理でそれぞれ眉候補領域が抽出され、かつ有効であるときは、それらのいずれか一方を眉候補として選択しても良い。例えば、目・眉抽出部153は、眉候補領域の幅、高さ、面積、アスペクト比等の一つ以上を基準としても良い。眉・微分画像処理と眉・グレー画像処理で抽出された眉領域が何れも破棄されているときは、眉領域を確定せずに終了しても良い。眉・微分画像処理と眉・グレー画像処理のいずれか一方の眉候補領域のみが有効であるときは、それを眉領域として確定しても良い。

0107

なお、ここでは、眉・微分画像処理を先に行い眉・グレー画像処理を後に行っているが、これらの順序は任意である。つまり、処理の順序を逆にしても良いし、両者を同時に実行しても良い。また、眉・グレー画像処理を行わず、眉・微分画像処理で抽出された眉候補領域をそのまま眉領域としても良いし、眉・微分画像処理を行わず、眉・グレー画像処理で抽出された眉候補領域をそのまま眉領域としても良い。

0108

図9は、ステップS811の眉・微分画像処理の詳細な手順を示すフローチャートである。

0109

目・眉抽出部153は、微分画像の画素値の分布に応じて、それを2値化するための閾値を決定する(S911)。さらに詳細には、目・眉抽出部153は、微分画像の画像データを微分画像データ記憶部315から読み込んで、顔面領域内の全画素または対象領域の画素についてヒストグラムを生成する。このヒストグラムに基づいて、目・眉抽出部153は、2値化のための閾値を決定する。

0110

目・眉抽出部153は、図8図10に示す眉抽出処理を実行した回数をカウントするカウンタを備えていても良い。目・眉抽出部153は、このカウンタのカウント値に応じて、ステップS911での閾値の決定方法を変えても良い。閾値によって特徴領域が正しく検出できるか否かが変わるからである。

0111

目・眉抽出部153は、ステップS911で定めた閾値に従って微分画像を2値化して微分2値化画像を生成する(S913)。

0112

目・眉抽出部153は、微分2値化画像について、縁処理を実行する(S915)。縁処理の具体的な処理内容については上述の通りである。

0113

なお、目・眉抽出部153は、ステップS915の縁処理も、上述した眉抽出処理の実行回数カウンタに応じて省略しても良いし、あるいは、処理の内容を変えても良い(例えば、輪郭に沿った環状領域の幅を広くまたは狭くする、あるいは環状領域のみを消去し、そこに繋がる領域を残す。)。

0114

目・眉抽出部153は、微分2値化画像を平滑化する(S917)。例えば、目・眉抽出部153は、微分2値化画像にガウシアンフィルタを適用しても良い。

0115

目・眉抽出部153は、平滑化後の画像において、眉領域を抽出する(S919)。目・眉抽出部153は、例えば平滑化された画像において、最も面積が大きい特徴領域及び2番目に面積の大きい特徴領域を眉領域としても良い。

0116

微分画像を用いることで、眉毛エッジ抽出ができるとともに、微分画像をさらに平滑化することで、眉領域としての広がりを抽出できる。さらに、微分画像を用いることで、黒以外の色の眉も抽出できる。

0117

図10は、ステップS816の眉・グレー画像処理の詳細な手順を示すフローチャートである。

0118

目・眉抽出部153は、原画像の明度の分布に応じて、それを2値化するための閾値を決定する(S1011)。例えば、目・眉抽出部153は、グレースケール画像の画像データをグレー画像データ記憶部311から読み込んで、顔面領域内の全画素または対象領域の画素についてヒストグラムを生成する。このヒストグラムに応じて、2値化のための閾値を決定する。

0119

目・眉抽出部153は、眉抽出処理の実行回数カウンタのカウント値に応じて、ステップS1011での閾値の決定方法を変えても良い。

0120

目・眉抽出部153は、ステップS1011で定めた閾値に従ってグレースケール画像を2値化してグレー2値化画像を生成する(S1013)。

0121

目・眉抽出部153は、グレー2値化画像について、縁処理を実行する(S1015)。縁処理の具体的な処理内容については上述の通りである。

0122

なお、目・眉抽出部153は、ステップS1015の縁処理も、上述した眉抽出処理の実行回数カウンタに応じて省略しても良いし、あるいは、処理の内容を変えても良い(例えば、輪郭に沿った環状領域の幅を広くまたは狭くする、あるいは環状領域のみを消去し、そこに繋がる領域を残す。)。

0123

目・眉抽出部153は、グレー2値化画像において、眉領域を抽出する(S1017)。目・眉抽出部153は、例えば、最も面積が大きい特徴領域及び2番目に面積の大きい特徴領域を眉領域としても良い。

0124

図11は、ステップS260の鼻孔抽出処理の詳細な手順を示すフローチャートである。

0125

鼻孔抽出部155は、ステップS250までの処理で確定した眉、目及び唇の各領域を顔面領域から除外した、鼻孔抽出処理の対象領域を特定する(S1111)。

0126

鼻孔抽出部155は、処理対象領域の原画像の明度の分布に応じて、鼻孔抽出のための閾値を決定する(S1113)。例えば、鼻孔抽出部155は、原画像の明度の分布に応じて第4の範囲を定める。さらに詳細には、例えば、鼻孔抽出部155は、処理対象領域のグレースケール画像の画像データをグレー画像データ記憶部311から読み込んで、ヒストグラムを生成する。鼻孔抽出部155は、このヒストグラムに応じて閾値を決定するようにしても良い。この閾値よりも小さい画素値の範囲が第4の範囲である。

0127

鼻孔抽出部155は、処理対象領域のR比率画像に応じて、鼻孔抽出のための閾値を決定する(S1115)。例えば、鼻孔抽出部155は、R比率画像の画素値の分布に応じて第5の範囲を定める。さらに詳細には、例えば、鼻孔抽出部155は、処理対象領域のR比率画像の画像データをR比率画像データ記憶部314から読み込んで、ヒストグラムを生成する。鼻孔抽出部155は、このヒストグラムに応じて閾値を決定しても良い。この閾値よりもR比率が高い(大きい)画素値の範囲が第5の範囲である。

0128

なお、鼻孔抽出部155は、図11に示す鼻孔抽出処理を実行した回数をカウントするカウンタを備えていても良い。鼻孔抽出部155は、このカウンタのカウント値に応じて、ステップS1115での閾値の決定方法を変えても良い。閾値によって特徴領域が正しく検出できるか否かが変わるからである。

0129

鼻孔抽出部155は、ステップS1113及びS1115で定めた閾値に基づいて鼻孔候補領域を特定する(S1117)。鼻孔抽出部155は、例えば、ステップS1113で定めた閾値よりも小さい画素値を有する画素であり、かつステップS1115で定めた閾値よりもR比率が高い(大きい)画素を特徴領域として抽出する。そして、抽出された複数の特徴領域のうち、最も面積が大きい特徴領域及び2番目に面積の大きい特徴領域を鼻孔候補領域としても良い。

0130

鼻孔抽出部155は、2つの鼻孔候補領域の相対的な位置関係、及び/または周囲の既に抽出されている他の顔パーツとの相対的な位置関係に応じて、抽出された候補領域が正しいか否かを判定する(S1119)。

0131

例えば、鼻孔抽出部155は、正誤判定として、2つの鼻孔候補領域の上下方向の相対的な位置ズレの有無及び目と鼻孔と口の位置関係を判定しても良い。鼻孔抽出部155は、例えば、鼻孔として抽出された領域が顔面領域内で同じ程度の高さであるか否かを判定する。例えば、鼻孔抽出部155は、いずれか一方の領域を基準として、その基準領域の上端または下端が、他方の領域の上端と下端の間に入っているか否かを判定する。鼻孔抽出部155は、何れの領域を基準領域としたときも、その上端または下端が他方の領域の上端と下端の間に入っていないときは、上下方向の位置ズレが生じていると判定する。また、鼻孔抽出部155は、例えば、目領域から鼻孔領域までの距離と鼻孔領域から口領域までの距離が正しい関係であるかを判定しても良い。例えば、鼻孔抽出部155は、目領域の下端から鼻孔領域の上端までの距離と鼻孔領域の上端から口領域の上端までの距離を比較し、前者が長い場合に正としても良い。

0132

正誤判定でこれらの鼻孔候補領域が正しいと判定されたとき(S1119:正)、鼻孔抽出部155は、この判定対象とした二つの領域を鼻孔領域として決定する(S1131)。

0133

正誤判定でこれらの鼻孔候補領域が正しくないと判定されたとき(S1119:誤)、鼻孔抽出部155は、2つの鼻孔候補領域の左右方向の相対的な重なりの有無を判定する(S1121)。鼻孔抽出部155は、例えば、鼻孔として抽出された領域が顔面領域内の左右方向で位置の重なりがあるか否かを判定する。例えば、鼻孔抽出部155は、いずれか一方の領域を基準として、その基準領域の左端または右端が、他方の領域の左端と右端の間に入っているか否かを判定する。鼻孔抽出部155は、何れかを基準領域としたとき、その左端または右端が他方の領域の左端と右端の間に入っているときは、左右方向の重なりがあると判定する。

0134

左右の重なりがないとき(S1121:重なりなし)、何れの領域も鼻孔領域の候補となり得ないと判断して、ステップS1113に戻る。

0135

左右の重なりがあるとき(S1121:重なりあり)、上側に位置する一方の領域が鼻孔領域の候補となり得るので、以下の処理でもう一方の候補領域を抽出する。すなわち、まず、鼻孔抽出部155は、鼻孔候補領域を再抽出する(S1123)。例えば、鼻孔抽出部155は、明度が第4の範囲内であり、かつ、R比率画像の画素値が第5の範囲内である画素が連結して形成された複数の領域のうち、面積の広さが上位の4つの領域の相互の位置関係に応じて第4領域を特定しても良い。

0136

さらに詳細には、この再抽出では、鼻孔抽出部155は、特徴領域のうち面積が三番目及び四番目に大きい領域を抽出する(面積が最大及び二番目に大きい領域は既にステップS1117で抽出済み)。そして、ここで抽出した面積が三番目及び四番目に大きい領域について、ステップS1119と同じ正誤判定を行う(S1125)。

0137

正誤判定でこれらの鼻孔候補領域の位置関係が正しいと判定されたとき(S1125:正)、鼻孔抽出部155は、何れの領域も鼻孔領域の候補となり得ないと判断して、ステップS1113へ戻ってそれ以降の処理をやり直す。

0138

正誤判定でこれらの鼻孔候補領域の位置関係が正しくないいと判定されたとき(S1125:誤)、鼻孔抽出部155は、面積が三番目及び四番目に大きい領域について、ステップS1121と同じ左右の重なりの有無を判定する(S1127)。

0139

左右の重なりがないとき(S1127:重なりなし)、何れの領域も鼻孔領域の候補となり得ないと判断して、ステップS1113に戻る。

0140

左右の重なりがあるとき(S1127:重なりあり)、鼻孔抽出部155は、改めて鼻孔候補領域を特定する(S1128)。すなわち、ステップS1119の判定で上側にあると判定された領域、及びステップS1125の判定で上側にあると判定された領域を鼻孔の候補領域とする。

0141

鼻孔抽出部155は、ステップS1128で特定された鼻孔候補領域を対象として、ステップS1119と同じ正誤判定を行う(S1129)。

0142

ステップS1129での正誤判定で、ここで対象とした二つの領域の位置関係が正しいと判定されたとき(S1129:正)、鼻孔抽出部155は、この判定対象とした二つの領域を鼻孔領域として決定する(S1131)。

0143

ステップS1129での正誤判定で、ここで対象とした二つの領域の位置関係が正しくないと判定されたとき(S1129:誤)、鼻孔抽出部155は、ステップS1113へ戻ってそれ以降の処理をやり直す。

0144

本実施形態によれば、撮影時の条件等に依らず、人物の顔画像から顔パーツを精度良く自動的に除外することができる。

0145

また、本実施形態によれば、肌画像解析を行うために、人物の顔画像から自動的に肌解析の対象領域を特定することができる。

0146

上述した本発明の実施形態は、本発明の説明のための例示であり、本発明の範囲をそれらの実施形態にのみ限定する趣旨ではない。当業者は、本発明の要旨を逸脱することなしに、他の様々な態様で本発明を実施することができる。

0147

1画像処理装置
5カメラ
10 画像処理装置本体
11 前処理部
13顔面抽出部
15顔パーツ抽出部
17マスク生成処理部
19 肌解析処理部
111グレー画像生成部
113色相画像生成部
115比率画像生成部
117 比率画像生成部
119微分画像生成部
151唇抽出部
153 目・眉抽出部
155鼻孔抽出部
300原画像データ記憶部
311グレー画像データ記憶部
312 色相画像データ記憶部
313 比率画像データ記憶部
314 比率画像データ記憶部
315微分画像データ記憶部
350顔面領域データ記憶部
360唇領域データ記憶部
370 目・眉領域データ記憶部
380 鼻孔領域データ記憶部
390マスク領域データ記憶部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ