図面 (/)

技術 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム

出願人 パナソニックIPマネジメント株式会社
発明者 泉桂子合田陽一山梨智史
出願日 2014年8月21日 (6年4ヶ月経過) 出願番号 2015-533981
公開日 2017年3月2日 (3年9ヶ月経過) 公開番号 WO2015-029392
状態 特許登録済
技術分野 画像処理 イメージ分析
主要キーワード 網掛け画像 包含領域 塗布順序 灰色領域 アルファブレンド処理 合成比 各顔部品 塗布範囲
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年3月2日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題・解決手段

メイクアップ支援装置(100)は、顔を撮影した画像である顔画像を取得する画像取得部(220)と、顔画像のうち、眉頭および眉頭の周辺を含みを含まない領域の画像である部分画像から、画素値閾値を決定する閾値決定部(240)と、閾値を用いて、顔画像から眉の領域を抽出する眉領域抽出部(250)と、眉の領域の周辺の領域の色のうち、眉頭側の色を優先的に用いて、顔画像に対して眉の領域を塗り潰す処理である、眉消去処理を行う眉消去部(260)と、眉消去処理が行われた後の顔画像を表示する表示部(300)とを有する。

概要

背景

近年、顔のメイクアップ仕方(以下、単に「メイクアップ」という)の多様化が進んでいる。無数選択肢の中から適切なメイクアップを選択することは、特にメイクアップについての十分な知識を有さない人にとって、困難である。あらゆるメイクを実際に試して判断および比較を行うことは、膨大な時間および手間を要するからである。

そこで、メイクアップが適用されたときの顔のシミュレーション画像を生成して提示する技術が、例えば、特許文献1および特許文献2に記載されている。特許文献1および特許文献2に記載の技術は、メイクアップの対象となる顔(以下、単に「顔」という)を撮影した画像(以下「顔画像」という)を取得する。そして、特許文献1および特許文献2に記載の技術は、顔画像に、メイクアップを顔に適用したときの状態を示す画像を重畳して、シミュレーション画像を生成し、表示する。

かかる技術によれば、実際にメイクアップを行うことなく、メイクアップの良し悪しを判断することが可能となる。すなわち、より少ない時間および手間で適切なメイクアップを選択することが可能となる。

ところで、実際のメイクアップにおいて、眉毛の処理をした上でを塗布することは、広く行われている。このようなメイクアップのシミュレーション画像を生成する場合、眉が無い状態の顔画像を用意することが望ましい。

そこで、顔画像から眉を消去する技術が、例えば特許文献3および特許文献4に記載されている。特許文献3に記載の技術は、ユーザから、顔画像における眉の領域の指定を受け付け、顔画像のうち首の領域と同じ色を、眉の領域を含む少し広めの領域に対して塗布する。特許文献4に記載の技術は、顔画像において眉の輪郭を探索し、眉の輪郭に囲まれた領域を含む少し広めの領域を、眉の輪郭の周囲の色で塗り潰す。

これらの技術によれば、実際に眉毛を処理することなく、眉が無い顔画像を得ることができる。

概要

メイクアップ支援装置(100)は、顔を撮影した画像である顔画像を取得する画像取得部(220)と、顔画像のうち、眉頭および眉頭の周辺を含み眉を含まない領域の画像である部分画像から、画素値閾値を決定する閾値決定部(240)と、閾値を用いて、顔画像から眉の領域を抽出する眉領域抽出部(250)と、眉の領域の周辺の領域の色のうち、眉頭側の色を優先的に用いて、顔画像に対して眉の領域を塗り潰す処理である、眉消去処理を行う眉消去部(260)と、眉消去処理が行われた後の顔画像を表示する表示部(300)とを有する。

目的

本開示の目的は、実際に眉毛の処理をした状態により近い画像を得ることができる、メイクアップアップ支援装置、メイクアップアップ支援方法、およびメイクアップアップ支援プログラムを提供する

効果

実績

技術文献被引用数
1件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

顔を撮影した画像である、顔画像を取得する画像取得部と、前記顔画像のうち、眉頭および前記眉頭の周辺を含みを含まない領域の画像である部分画像から、画素値閾値を決定する閾値決定部と、前記閾値を用いて、前記顔画像から眉の領域を抽出する眉領域抽出部と、前記眉の領域の周辺の領域の色のうち、前記眉頭側の色を優先的に用いて、前記顔画像に対して前記眉の領域を塗り潰す処理である、眉消去処理を行う眉消去部と、前記眉消去処理が行われた後の前記顔画像を表示する表示部と、を有する、メイクアップ支援装置

請求項2

前記眉消去処理が行われた後の前記顔画像に、前記顔に対して眉のメイクアップを適用したときの前記眉のメイクアップの状態を示す画像を重畳して得られるシミュレーション画像を生成するメイクアップ提示部、を更に有し、前記表示部は、前記シミュレーション画像を表示する、請求項1に記載のメイクアップ支援装置。

請求項3

前記部分画像は、前記眉頭の位置を基準とした所定の大きさおよび形状の領域の画像である、請求項1に記載のメイクアップ支援装置。

請求項4

前記眉消去処理は、前記顔画像から前記眉の領域の画像を削除して得られる画像に対して、前記眉頭側から前記眉尻側へと向かう方向で、順次、色を補間していく処理である、請求項1に記載のメイクアップ支援装置。

請求項5

前記眉消去処理は、前記顔画像から前記眉の領域の画像を削除して得られる画像に対して、前記眉の上側から前記眉の下側へと向かう方向で、順次、色を補間していく第1の処理と、前記画像に対して、前記眉の下側から前記眉の上側へと向かう方向で、順次、色を補間していく第2の処理と、前記第1の処理により得られた第1の画像と、前記第2の処理により得られた第2の画像とを、合成する第3の処理とを含み、前記第3の処理は、前記眉の領域に対する位置に応じた合成比で、前記第1の画像と前記第2の画像とを合成する、請求項1に記載のメイクアップ支援装置。

請求項6

前記顔画像から、眉の特徴点および目の特徴点を抽出する顔部品取得部、を更に有し、前記眉領域抽出部は、前記顔画像の領域のうち、前記眉の特徴点の位置を基準とする小領域の集合である眉包含領域から、前記目の特徴点の位置を基準とする小領域の集合である目包含領域、を除外した眉近傍領域から、前記眉の領域を抽出する、請求項1に記載のメイクアップ支援装置。

請求項7

前記眉消去部は、前記顔画像のうち前記眉の領域を含む矩形領域の画像の全体に対して前記眉消去処理を行い、前記眉消去処理が行われた後の前記矩形領域の画像のうち前記眉の領域の画像を、前記顔画像の対応する領域に貼り付ける、請求項5に記載のメイクアップ支援装置。

請求項8

前記眉領域抽出部は、前記閾値により規定される眉の領域を膨張させた領域を、前記眉の領域として抽出する、請求項1に記載のメイクアップ支援装置。

請求項9

前記顔の映像を撮影する撮影部、を更に有し、前記画像取得部は、前記映像を構成する画像を取得し、前記表示部は、前記映像に沿って、前記シミュレーション画像を順次表示する、請求項1に記載のメイクアップ支援装置。

請求項10

顔を撮影した画像である、顔画像を取得するステップと、前記顔画像のうち、眉頭および前記眉頭の周辺を含み眉尻を含まない領域の画像である部分画像から、画素値の閾値を決定するステップと、前記閾値を用いて、前記顔画像から眉の領域を抽出するステップと、前記眉の領域の周辺の領域の色のうち、前記眉頭側の色を優先的に用いて、前記顔画像に対して前記眉の領域を塗り潰す処理である、眉消去処理を行うステップと、前記眉消去処理が行われた後の前記顔画像を表示するステップと、を有する、メイクアップ支援方法

請求項11

コンピュータに、顔を撮影した画像である、顔画像を取得する処理と、前記顔画像のうち、眉頭および前記眉頭の周辺を含み眉尻を含まない領域の画像である部分画像から、画素値の閾値を決定する処理と、前記閾値を用いて、前記顔画像から眉の領域を抽出する処理と、前記眉の領域の周辺の領域の色のうち、前記眉頭側の色を優先的に用いて、前記顔画像に対して前記眉の領域を塗り潰す処理である、眉消去処理を行う処理と、前記眉消去処理が行われた後の前記顔画像を表示する処理と、を実行させる、メイクアップ支援プログラム

技術分野

0001

本開示は、顔のメイクアップ支援するメイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラムに関する。

背景技術

0002

近年、顔のメイクアップの仕方(以下、単に「メイクアップ」という)の多様化が進んでいる。無数選択肢の中から適切なメイクアップを選択することは、特にメイクアップについての十分な知識を有さない人にとって、困難である。あらゆるメイクを実際に試して判断および比較を行うことは、膨大な時間および手間を要するからである。

0003

そこで、メイクアップが適用されたときの顔のシミュレーション画像を生成して提示する技術が、例えば、特許文献1および特許文献2に記載されている。特許文献1および特許文献2に記載の技術は、メイクアップの対象となる顔(以下、単に「顔」という)を撮影した画像(以下「顔画像」という)を取得する。そして、特許文献1および特許文献2に記載の技術は、顔画像に、メイクアップを顔に適用したときの状態を示す画像を重畳して、シミュレーション画像を生成し、表示する。

0004

かかる技術によれば、実際にメイクアップを行うことなく、メイクアップの良し悪しを判断することが可能となる。すなわち、より少ない時間および手間で適切なメイクアップを選択することが可能となる。

0005

ところで、実際のメイクアップにおいて、眉毛の処理をした上でを塗布することは、広く行われている。このようなメイクアップのシミュレーション画像を生成する場合、眉が無い状態の顔画像を用意することが望ましい。

0006

そこで、顔画像から眉を消去する技術が、例えば特許文献3および特許文献4に記載されている。特許文献3に記載の技術は、ユーザから、顔画像における眉の領域の指定を受け付け、顔画像のうち首の領域と同じ色を、眉の領域を含む少し広めの領域に対して塗布する。特許文献4に記載の技術は、顔画像において眉の輪郭を探索し、眉の輪郭に囲まれた領域を含む少し広めの領域を、眉の輪郭の周囲の色で塗り潰す。

0007

これらの技術によれば、実際に眉毛を処理することなく、眉が無い顔画像を得ることができる。

0008

特開2001−346627号公報
特開2007−175384号公報
特開2007−257165号公報
国際公開第2009/022631号
特開2003−44837号公報

先行技術

0009

大津展之、「判別および最小2乗規準に基づく自動しきい値選定法」、電子情報通信学会論文誌D、Vol.J63−D、No.4、pp.349−356、1989年4月

0010

しかしながら、特許文献3および特許文献4に記載の従来技術では、実際に眉毛の処理をした場合の顔画像とは大きく異なる、不自然な顔画像が生成されるおそれがある。

0011

理由は以下の通りである。眉の付近の肌の色は、首の領域の肌の色と異なる場合が多い。したがって、特許文献3に記載の技術では、眉の領域の色だけ浮いた色となるおそれがある。また、眉の付近には、特に眉の側に、髪の毛が掛かることが多い。したがって、特許文献4に記載の技術では、眉の領域の色が、髪の毛の色が混じった肌色で塗り潰されるおそれがある。そして、いずれの技術においても、誤った領域が眉の領域として決定あるいは検出されることにより、眉の色が部分的に残ったり、目の領域が塗り潰されたりするおそれがある。

0012

眉を消去する処理が行われた後の顔画像(以下「眉が消去された画像」という)が不自然な場合、シミュレーション画像も不自然なものとなり、ユーザがメイクアップの良し悪しを的確に判断することが困難となる。したがって、実際に眉毛の処理をした状態にできるだけ近い画像を、得られることが望ましい。

0013

本開示の目的は、実際に眉毛の処理をした状態により近い画像を得ることができる、メイクアップアップ支援装置、メイクアップアップ支援方法、およびメイクアップアップ支援プログラムを提供することである。

0014

本開示の一態様に係るメイクアップアップ支援装置は、顔を撮影した画像である、顔画像を取得する画像取得部と、前記顔画像のうち、眉頭および前記眉頭の周辺を含み眉尻を含まない領域の画像である部分画像から、画素値閾値を決定する閾値決定部と、前記閾値を用いて、前記顔画像から眉の領域を抽出する眉領域抽出部と、前記眉の領域の周辺の領域の色のうち、前記眉頭側の色を優先的に用いて、前記顔画像に対して前記眉の領域を塗り潰す処理である、眉消去処理を行う眉消去部と、前記眉消去処理が行われた後の前記顔画像を表示する表示部と、を有する。

0015

本開示の一態様に係るメイクアップアップ支援方法は、顔を撮影した画像である、顔画像を取得するステップと、前記顔画像のうち、眉頭および前記眉頭の周辺を含み眉尻を含まない領域の画像である部分画像から、画素値の閾値を決定するステップと、前記閾値を用いて、前記顔画像から眉の領域を抽出するステップと、前記眉の領域の周辺の領域の色のうち、前記眉頭側の色を優先的に用いて、前記顔画像に対して前記眉の領域を塗り潰す処理である、眉消去処理を行うステップと、前記眉消去処理が行われた後の前記顔画像を表示するステップと、を有する。

0016

本開示の一態様に係るメイクアップアップ支援プログラムは、コンピュータに、顔を撮影した画像である、顔画像を取得する処理と、前記顔画像のうち、眉頭および前記眉頭の周辺を含み眉尻を含まない領域の画像である部分画像から、画素値の閾値を決定する処理と、前記閾値を用いて、前記顔画像から眉の領域を抽出する処理と、前記眉の領域の周辺の領域の色のうち、前記眉頭側の色を優先的に用いて、前記顔画像に対して前記眉の領域を塗り潰す処理である、眉消去処理を行う処理と、前記眉消去処理が行われた後の前記顔画像を表示する処理と、を実行させる。

0017

本開示によれば、実際に眉毛の処理をした場合の顔画像により近い画像を得ることができる。

0018

なお、包括的又は具体的な態様は、システム集積回路コンピュータプログラム又はコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよい。また、包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又は記録媒体の任意な組み合わせで実現されてもよい。

図面の簡単な説明

0019

本開示の実施の形態1に係るメイクアップアップ支援装置の構成の一例を示すブロック図
本開示の実施の形態2に係るメイクアップアップ支援装置の構成の一例を示すブロック図
実施の形態2における部分画像の抽出手法の第1の例を示す図
実施の形態2における部分画像の抽出手法の第2の例を示す図
実施の形態2における2値化画像の一例を示す図
実施の形態2における眉包含領域の一例を示す図
実施の形態2における目包含領域の一例を示す図
実施の形態2における眉の領域を抽出する手法の一例を示す図
実施の形態2における補間枠の一例を示す図
実施の形態2における眉マスクの一例を示す図
実施の形態2における補間枠の移動パターンを示す図
実施の形態2における眉の領域の補間に用いられるα値の一例を示す図
実施の形態2におけるメイクアップテーブルの内容の一例を示す図
実施の形態2におけるメイクアップ情報テーブルの内容の一例を示す図
実施の形態2に係るメイクアップアップ支援装置の動作の一例を示すフローチャート
実施の形態2において取得される撮影画像の一例を示す図
実施の形態2において生成される顔部品情報の一例を示す図
実施の形態2において生成される眉消去顔画像の一例を示す図
実施の形態2において生成されるシミュレーション画像の一例を示す図

実施例

0020

以下、本開示の各実施の形態について、図面を参照して詳細に説明する。

0021

(実施の形態1)
本開示の実施の形態1は、本開示の基本的態様の一例である。

0022

図1は、本実施の形態に係るメイクアップアップ支援装置の構成の一例を示すブロック図である。

0023

図1において、メイクアップアップ支援装置100は、画像取得部220、閾値決定部240、眉領域抽出部250、眉消去部260、および表示部300を有する。

0024

画像取得部220は、顔を撮影した画像である、顔画像を取得する。撮影される顔は、例えば、メイクアップアップを行う対象となる顔である。

0025

閾値決定部240は、画像取得部220により取得された顔画像のうち、眉頭および眉頭の周辺を含み眉尻を含まない領域の画像である部分画像から、眉の領域を判定するための、画素値の閾値を決定する。

0026

眉領域抽出部250は、閾値決定部240により決定された閾値を用いて、画像取得部220により取得された顔画像から眉の領域を抽出する。

0027

眉消去部260は、眉領域抽出部250により抽出された眉の領域の周辺の領域の色のうち、眉頭側の色を優先的に用いて、顔画像に対して眉の領域を塗り潰す処理である、眉消去処理を行う。

0028

表示部300は、眉消去部260により眉消去処理が行われた後の顔画像を表示する。

0029

メイクアップアップ支援装置100は、図示しないが、例えば、CPU(Central Processing Unit)、制御プログラムを格納したROM(Read Only Memory)等の記憶媒体、およびRAM(Random Access Memory)等の作業用メモリを有する。この場合、上記した各部の機能は、CPUが制御プログラムを実行することにより実現される。

0030

このようなメイクアップアップ支援装置100は、眉により近く、かつ、髪が掛かっていない可能性がより高い領域である、眉頭側の領域の画像情報に基づいて、眉の領域の抽出および塗り潰しを行うことができる。したがって、メイクアップアップ支援装置100は、より高精度に眉の領域を抽出し、かつ、より適切な色で塗り潰しを行うことができる。これにより、メイクアップアップ支援装置100は、実際に眉毛の処理をした場合の顔画像により近い眉が消去された画像眉が消去された画像を得ることができる。

0031

(実施の形態2)
本開示の実施の形態2は、本開示の具体的態様の一例である。本実施の形態は、本開示を、デジタルビデオカメラおよびタッチパネル付きディスプレイを備えた装置に適用した例である。

0032

<用語の説明>
まず、本実施の形態において用いられる用語について説明する。

0033

顔部品」とは、目、眉、ほお)骨、、輪郭等、顔を構成する部分を指すものとする。

0034

「顔部品ID」とは、顔部品の識別情報である。

0035

「顔部品の領域」とは、画像上あるいは実空間上で、顔部品が占める領域を指すものとし、眉頭、眉尻、目頭、および目尻等、顔部品の特徴点の位置を含むものとする。

0036

「メイクアップ」とは、アイブロウアイシャドウ等の、顔部品の特徴の印象補正して審美性の向上を図るメイクアップアップの仕方(種類)を示し、色素の色、塗布濃度、および塗布範囲を少なくとも含む。

0037

「メイクアップ情報」とは、メイクアップの内容を示す情報であり、少なくとも、顔画像から、顔にメイクアップアップを施したときの画像を生成するために必要な情報(顔の色との差分を示す情報)を含む。

0038

「メイクアップ種別」とは、「ファンデーション」、「アイブロウ」、「アイシャドウ」、「口紅」、および「チークメイクアップアップ」等、少なくとも顔部品との位置関係により区別されるメイクアップの種類である。

0039

「メイクアップID」とは、メイクアップの識別情報である。

0040

メイクアップ画像」とは、顔にメイクアップを適用したときのメイクアップの状態を示す画像である。

0041

<メイクアップ支援装置の構成>
次に、本実施の形態に係るメイクアップアップ支援装置の構成について説明する。

0042

図2は、本実施の形態に係るメイクアップ支援装置の構成の一例を示すブロック図である。

0043

図2において、メイクアップ支援装置100は、撮影部210、画像取得部220、顔部品取得部230、閾値決定部240、眉領域抽出部250、眉消去部260、メイクアップ情報格納部270、メイクアップ選択部280、メイクアップ提示部290、および表示部300を有する。

0044

撮影部210は、例えばデジタルビデオカメラであり、メイクアップアップシミュレーションの対象となる顔の映像を撮影する。そして、撮影部210は、撮影した映像を、画像取得部220へ出力する。映像は、時系列の複数の画像(フレーム画像)により構成される。なお、本実施の形態において、メイクアップシミュレーションの対象となる顔は、メイクアップ支援装置100のユーザの顔であるものとする。

0045

画像取得部220は、入力された映像から、映像を構成する画像を順次取得する。そして、画像取得部220は、取得した画像(以下「撮影画像」という)を、顔部品取得部230へ出力する。なお、画像取得部220は、鏡を見ながらメイクアップを行っている感覚をユーザに与えるため、撮影画像に対して左右反転させる画像処理を行うことが望ましい。また、撮影画像は、メイクアップシミュレーションの対象となる顔の画像の部分(以下「顔画像」という)を含む。

0046

顔部品取得部230は、入力された画像から、顔の顔部品の領域を取得する。顔部品の領域の取得は、例えば、画像の各部分領域と、予め用意された各顔部品テンプレートとのマッチングにより行われる(例えば、特許文献5参照)。なお、この顔部品の領域の取得には、眉の特徴点および目の特徴点を含む、各顔部品の特徴点(以下「顔特徴点」という)の抽出が含まれる。そして、顔部品取得部230は、顔部品情報を、撮影画像と共に、閾値決定部240へ出力する。ここで、顔部品情報とは、取得された顔部品の識別情報および領域(顔特徴点の識別情報および位置を含む)を示す情報である。

0047

閾値決定部240は、顔画像から、閾値決定用の画像を、抽出する。閾値決定用の画像は、後述の2値化閾値を決定するために用いられる領域である。本実施の形態において、閾値決定用の画像は、顔画像のうち、眉頭および眉頭の周辺を含み眉尻を含まない領域の画像であって、眉頭の位置を基準とした所定の大きさおよび形状の領域の画像である。

0048

そして、閾値決定部240は、抽出した閾値決定用の画像から、当該画像には肌の領域および眉の領域のみが含まれるという前提の下、2値化閾値を決定する。ここで、2値化閾値とは、眉の領域を判定するための、画素値の閾値である。そして、閾値決定部240は、決定された2値化閾値を、撮影画像および顔部品情報と共に、眉領域抽出部250へ出力する。閾値決定用の画像の抽出手法および2値化閾値の決定手法の詳細については、後述する。

0049

眉領域抽出部250は、顔部品情報を用いて、撮影画像における中間領域を推定する。ここで、中間領域とは、眉が占める大まかな領域である。また、眉領域抽出部250は、撮影画像を、2値化閾値を用いて2値化する。そして、眉領域抽出部250は、推定した中間領域に含まれる2値画像エッジに基づいて、撮影画像における眉の領域を推定する。以下、推定された眉の領域(つまり、2値化閾値により規定される眉の領域)は、「2値眉領域」という。

0050

更に、眉領域抽出部250は、2値眉領域を膨張させた領域を、最終的な眉の領域として抽出する。最終的な眉の領域として抽出される領域は、以下、単に「眉の領域」という。そして、閾値決定部240は、眉の領域を示す情報(以下「眉領域情報」という)を、撮影画像および顔部品情報と共に、眉消去部260へ出力する。中間領域の推定手法および眉の領域の抽出手法の詳細については、後述する。

0051

眉消去部260は、撮影画像、顔部品情報、および眉領域情報に基づいて、顔画像に対して眉の領域を塗り潰す眉消去処理を行う。本実施の形態において、眉消去処理は、眉の領域の周辺の領域の色のうち、眉頭側の色を優先的に用いて、顔画像に対して眉の領域を塗り潰す処理である。より具体的には、眉消去処理は、例えば、顔画像から眉の領域の画像を削除して得られる画像に対して、眉頭側から眉尻側へと向かう方向で、順次、色を補間していく処理である。そして、眉消去部260は、眉消去処理が行われた後の撮影画像(以下「眉が消去された画像眉が消去された画像」という)を、顔部品情報と共に、メイクアップ提示部290へ出力する。眉消去処理の詳細については、後述する。

0052

メイクアップ情報格納部270は、メイクアップテーブルおよびメイクアップ情報テーブルを格納している。メイクアップテーブルは、顔全体のメイクアップのパターンである複数のメイクアップパターンを定義する。メイクアップ情報テーブルは、メイクアップパターンを構成するメイクアップ種別毎に、メイクアップ情報を記述している。メイクアップ情報は、メイクアップの内容を、顔部品の領域(顔特徴点の位置)と関連付けて記述した情報である。メイクアップテーブルおよびメイクアップ情報テーブルの内容の詳細については、後述する。

0053

メイクアップ選択部280は、ユーザから、メイクアップ情報テーブルに記述された複数のメイクアップパターンから1つを選択する選択操作を受け付ける。かかる選択操作は、例えば、上述のタッチパネル付きディスプレイを介して行われる。そして、メイクアップ選択部280は、選択されたメイクアップパターンに対応するメイクアップ情報を、メイクアップ情報テーブルから取得し、メイクアップ提示部290へ出力する。

0054

メイクアップ提示部290は、メイクアップ情報に基づき、シミュレーション画像を生成する。このシミュレーション画像は、眉が消去された画像に、メイクアップ画像を重畳して得られる画像である。シミュレーション画像の生成の対象となるメイクアップには、例えば、眉のメイクアップが含まれる。そして、メイクアップ提示部290は、生成したシミュレーション画像を、表示部300へ出力する。シミュレーション画像の生成手法の詳細については、後述する。

0055

表示部300は、例えば、上述のタッチパネル付きディスプレイのディスプレイ部分を含む。表示部300は、入力されたシミュレーション画像の画像データに基づき、シミュレーション画像を表示する。より具体的には、表示部300は、撮影された映像に沿って、シミュレーション画像を順次表示する。

0056

なお、メイクアップアップ支援装置100は、図示しないが、例えば、CPU、制御プログラムを格納したROM等の記憶媒体、およびRAM等の作業用メモリを有する。この場合、上記した各部の機能は、CPUが制御プログラムを実行することにより実現される。

0057

このようなメイクアップアップ支援装置100は、眉により近く、かつ、髪が掛かっていない可能性がより高い領域である、眉頭側の領域の画像情報に基づいて、眉の領域の抽出および塗り潰しを行うことができる。

0058

次に、部分画像の抽出手法、2値化閾値の決定手法、中間領域の推定手法、眉の領域の抽出手法、眉消去処理、メイクアップテーブルの内容、およびメイクアップ情報テーブルの内容の詳細について、順に説明する。

0059

<閾値決定用の画像の抽出手法>
図3は、閾値決定用の画像の抽出手法の第1の例を示す図である。

0060

図3に示すように、顔画像(一部のみ図示する)411から、複数の顔特徴点412(図中、丸に十字の印で示す)が抽出されたとする。顔特徴点には、左右の眉山に対応する顔特徴点412L1、412R1、および、左右の眉頭に対応する顔特徴点412L2、412R2が含まれる。

0061

閾値決定部240は、図3に示すように、例えば、左右の眉山に対応する顔特徴点412L1、412R1を上側の左右頂点とし、左右の眉頭に対応する顔特徴点412L2、412R2を通る矩形領域413を、設定する。そして、閾値決定部240は、顔画像411のうち、設定した矩形領域413に対応する領域の画像を、2値化閾値の決定に使用される閾値決定用の画像として抽出する。

0062

図4は、閾値決定用の画像の抽出手法の第2の例を示す図であり、図3に対応するものである。図4と同一部分には同一符号を付し、これについての説明を省略する。

0063

閾値決定部240は、図4に示すように、左の眉頭に対応する顔特徴点412L2を下側頂点とし、左の眉山に対応する顔特徴点412L1を通り、かつ、顔特徴点412L2、412L1の左右方向の距離を一辺の長さとする正方形領域413aを設定する。そして、閾値決定部240は、顔画像411のうち、設定した正方形領域413aに対応する領域の画像を、閾値決定用の画像として抽出する。

0064

このようにして抽出される閾値決定用の画像は、目や前髪を含む可能が低く、このため、肌の領域および眉の領域のみを含んでいる可能性が高いという特徴を有する。また、眉頭の位置を基準とした所定の大きさおよび形状の領域を設定することは、容易である。したがって、閾値決定部240は、2値化閾値を決定するための領域として、肌の領域および眉の領域のみを含んでいる可能性が高い領域を、簡単に設定することができる。

0065

なお、図3に示す手法により抽出された閾値決定用の画像では、特に、顔が正面を向いているときに、後述の2値化閾値を精度良く決定することが可能となる。また、図4に示す手法により抽出された閾値決定用の画像では、特に、顔が横を向いているときに、後述の2値化閾値を精度良く決定することが可能となる。また、顔が正面を向いているものの、片方の眉が髪の毛等で隠れている場合、他方の眉について図4に示す手法を適用することにより、後述の2値化閾値を精度良く決定することが可能となる。

0066

<2値化閾値の決定手法>
閾値決定部240は、例えば大津の2値化と称される手法(「大津の手法」あるいは「判別分析法」ともいう)を用いて、抽出された閾値決定用の画像から、眉の領域を判定するのに適した閾値である、2値化閾値を求める。大津の2値化とは、ある値の集合を2つのクラスに分類する場合の適切な閾値を決定する手法である(例えば、非特許文献1参照)。このように、2値化閾値として、固定値ではなく、画像から選定される適切な値を用いることにより、肌の色や眉の色によらず、高精度に眉を抽出することが可能となる。

0067

このような手法により2値化閾値が決定されると、後段の眉領域抽出部250において、眉と肌との境界がエッジとなるような2値化画像が得られる。

0068

<中間領域の推定手法>
図5は、2値化画像のうち左眉周辺の部分の一例を示す図である。

0069

図5に示すように、2値化画像421は、2値化閾値により眉に分類される領域(図中、黒色で示す。以下「眉判定領域」という)422と、2値化閾値により眉に分類されない領域(図中、白色で示す。以下「非眉判定領域」という)423とから成る。しかし、2値化画像421における眉判定領域422には、実際には、目の領域等、眉以外の領域が含まれ得る。

0070

そこで、眉領域抽出部250は、眉包含領域および目包含領域に基づいて、中間領域を推定する。ここで、眉包含領域とは、眉の顔特徴点の位置から推定される、眉全体を包含する領域である。また、目包含領域とは、目の顔特徴点の位置から推定される、目全体を包含する領域である。

0071

図6は、眉包含領域の一例を示す図である。また、図7は、目包含領域の一例を示す図である。

0072

図6に示すように、眉包含領域431(斜線網掛けで示す領域)は、眉の顔特徴点(図4参照)の位置を基準とする小領域432の集合である。また、図7に示すように、目包含領域441(縦線の網掛けで示す領域)は、目の顔特徴点(図4参照)の位置を基準とする小領域442の集合である。

0073

眉領域抽出部250は、眉領域抽出部250は、図5に示す2値化画像421のうち、図6に示す眉包含領域431から図7に示す目包含領域441を除外した領域を、中間領域とする。

0074

なお、眉の小領域432の直径は、例えば、眉山に対応する顔特徴点と眉の下側の眉頭側の顔特徴点との距離、あるいは、眉の上側の2つの顔特徴点の間の距離等、隣接する顔特徴点間の距離のうち最大値とすればよい。但し、眉尻の周囲には、髪の毛等が近接して位置する可能性が高い。また、眉のうち、眉頭および眉尻に近い部分の幅は、通常、他の部分の幅よりも狭い。したがって、眉尻(および眉頭)の顔特徴点についての小領域432の直径のみ、より小さくする(例えば、2分の1の直径にする)ことが望ましい。これにより、眉の小領域432に、髪の毛等の眉以外の部分が含まれないようにすることができる。

0075

また、目の小領域442の直径は、例えば、目の上側の中心に対応する顔特徴点と、目の下側の中心に対応する顔特徴点との距離とすればよい。

0076

各小領域432、442をこのような大きさとすることにより、中間領域に、眉の領域がより確実に含まれ、かつ、目の領域がより確実に含まれないようにすることができる。

0077

なお、各小領域432、442の中心点の位置は、必ずしも、顔特徴点に一致しなくてもよく、直径との関係で、それぞれ、眉の領域および目の領域を包含するような位置であればよい。例えば、眉の小領域432の中心点の位置は、眉特徴点に基いて推定される眉の中心線に沿って、配置されていてもよい。この場合、例えば、眉の小領域432の数は、7個とし、眉の小領域432の配置は、眉の中心線上に等間隔の配置とする。そして、眉の小領域432の直径は、眉の上側の2つの顔特徴点の間の距離の3分の2とする。なお、この場合においても、眉尻(および眉頭)の顔特徴点についての小領域432の直径を、より小さくする(例えば、2分の1の直径にする)ことが望ましい。

0078

このような手法により、眉領域抽出部250は、より少ない処理負荷で、眉の領域がより確実に含まれ、かつ、目の領域がより確実に含まれないような領域を、中間領域として設定することができる。そして、眉領域抽出部250は、2値化画像のうち、このような中間領域において眉のエッジを探索することにより、眉の領域を高精度に抽出することができる。

0079

しかしながら、実際の眉と肌の境界はぼやけていることが多いため、2値化画像の眉のエッジは、実際の眉の外縁よりも内側となることがある。

0080

そこで、眉領域抽出部250は、2値化画像から推定された2値眉領域に基づいて、より確実に実際の眉の外縁を含む領域を、眉の領域として抽出する。

0081

<眉の領域の抽出手法>
図8は、2値化画像から推定された2値眉領域に基づいて、眉の領域を抽出する手法の一例を示す図である。

0082

2値化画像からは、例えば、図8(A)に示すような、2値眉領域451が推定される。図8(B)は、図8(A)に示す2値眉領域451の一部を拡大した図である。

0083

眉領域抽出部250は、図8(A)に示す2値眉領域451を、より確実に実際の眉の外縁を含むように、膨張させる。図8(C)および図8(D)は、図8(A)および図8(B)に示す2値眉領域451に対して、縦横それぞれの方向に2画素ずつ、領域を拡大させることにより、膨張させたときの眉の領域を示す。なお、図8(D)において、灰色領域は、膨張により拡大した領域を示す。

0084

なお、膨張の量(幅、段数、あるいは画素数)は、固定値であってもよいし、可変値であってもよい。眉領域抽出部250は、例えば、左右の眉頭の間の距離に合わせて、膨張の量を変化させてもよい。但し、膨張の量は、目の領域や髪の毛の領域が含まれない範囲であることが望ましい。

0085

このような手法により、眉領域抽出部250は、実際の眉の領域がより確実に包含される領域を、眉の領域として抽出することができる。

0086

<眉消去処理>
眉消去部260は、まず、撮影画像に対して、眉の領域の画素値を初期化することにより、撮影画像から眉の領域を削除する。そして、眉消去部260は、撮影画像上で、2w+1(wは1以上の整数、例えば2)画素×2w+1画素の枠を移動させる。そして、眉消去部260は、この枠(以下「補間枠」という)の中心画素が、眉の領域の画素である場合、補間枠内に位置する眉の領域以外の領域(以下「非眉領域」という)の画素値(色)で、当該中心画素の画素値(色)を補間する。

0087

図9は、補間枠の一例を示す図である。

0088

図9では、w=2の場合の補間枠461を示している。以下、撮影画像における画素位置は、xy座標系座標値で表す。そして、座標(x、y)に位置する画素の画素値(色)は、図9に示すように、f(x、y)で表す。

0089

眉消去部260は、撮影画像から眉の領域を削除するために、眉マスクを生成する。

0090

図10は、眉マスクの一例を部分的に示す図である。ここでは、参考のため、補間枠461を併せて図示している。

0091

図10に示すように、眉マスク471は、例えば、画素毎に設定された眉マスク値m(x,y)の集合から成る。非眉領域の各画素には、m=1が設定され、眉の領域の各画素には、眉マスク値m=0が設定されている。

0092

図10に示す例では、補間枠461は、中心画素の眉マスク値m(x,y)が「0」であり、左上側の14個の画素の眉マスク値mが「1」である。この場合、中心画素の画素値g(x,y)は、左上側の14個の画素の画素値を用いて補間される。

0093

具体的には、眉消去部260は、補間枠461の中心画素(x,y)の画素値g(x,y)を、以下の式(1)を用いて算出する。

0094

0095

ここで、hは、補間係数である。補間枠461内における非眉領域の画素値の平均値を補間に用いる場合の補間係数hは、補間係数havg(x,y)となり、以下の式(2)で表される。

0096

0097

そして、眉マスク471は、眉の領域の画素が補間される毎に、眉マスク471の当該画素のマスク値mを「1」に書き換える。この画素の補間結果は、他の眉の領域の画素値の補間に用いられ得る。

0098

眉消去部260は、補間枠461を眉頭側から眉尻側へと移動させながら、眉の領域の画素を補間して、眉消去処理を行う。

0099

図11は、補間枠461の移動パターンを示す図である。

0100

眉消去部260は、眉の領域452を含む矩形領域481の画像の全体に対して、第1のパターン482および第2のパターン483で、補間枠461を移動させながら、眉の領域の画素を補間する。

0101

第1のパターン482は、補間枠461を移動させる行を、眉の上側から下側へと移動させる移動パターンであり、主に眉の上側の肌の色に基づいて補間を行うものである。すなわち、第1のパターン482を用いて眉の領域の画素を補間する処理は、顔画像から眉の領域452の画像を削除して得られる画像に対して、眉の上側から眉の下側へと向かう方向で、順次、色を補間していく処理(第1の処理)である。

0102

第2のパターン483は、補間枠461を移動させる行を、眉の下側から上側へと移動させる移動パターンであり、主に眉の下側の肌の色に基づいて補間を行うものである。すなわち、第2のパターン483を用いて眉の領域の画素を補間する処理は、顔画像から眉の領域452の画像を削除して得られる画像に対して、眉の下側から眉の上側へと向かう方向で、順次、色を補間していく処理(第2の処理)である。

0103

なお、以下の説明において、矩形領域481の上端から眉の領域452の上端迄の距離は、d1とし、矩形領域481の上端から眉の領域452の下端迄の距離は、d2とする。

0104

眉消去部260は、眉の領域の補間を、第1のパターン482および第2のパターン483の両方で独立して行い、両パターンで得られる2つの結果を合成する。すなわち、眉消去部260は、第1のパターン482(第1の処理)により得られた第1の画像と、第2のパターン(第2の処理)により得られた第2の画像とを、合成する。

0105

より具体的には、眉消去部260は、例えば、以下のアルファ(α)ブレンドの式(3)を用いて、最終的な補間された眉の領域の画素値G(x,y)を算出する。ここで、g1(x,y)は、第1のパターン482での矩形領域481の移動により補間された画素値(色)である。そして、g2(x,y)は、第2のパターン483での矩形領域481の移動により補間された画素値(色)である。

0106

0107

α値は、画素値g1(x,y)と画素値g2(x,y)とを合成する際の比率を決定するものであり、画素値g1(x,y)の重みに相当する。α値は、例えば、画素位置に応じた可変値である。

0108

図12は、眉の領域の補間に用いられるα値の一例を示す図である。図中、横軸は、矩形領域481の上端からの距離を示し、縦軸は、α値を示す。

0109

図12において線分491で示すように、α値は、眉の領域452の上端(d1)において「1」であり、矩形領域481の下方に向かうに従って直線的に減少し、眉の領域452の下端(d2)において「0」となる。

0110

なお、α値は、例えば、以下の式(4)で表される。

0111

0112

眉消去部260は、このようなα値を設定することにより、眉の領域の上側と下側で肌の色が異なる場合でも、これらの色の間で連続的に色が変化するように眉の領域の各画素を補間することができる。すなわち、眉消去部260は、各画素に対して、実際に眉毛を消去処理したときの眉の領域の肌の色により近い色で、画素値を決定することができる。この結果、眉消去部260は、より自然な眉消去を実現することができる。

0113

なお、眉の領域452の上端(d1)と眉の領域452の下端(d2)は、同じx座標値を持つ眉の領域452の画素群の上端と下端としてもよい。すなわち、眉消去部260は、眉の領域452を縦に細かく分割し、分割された領域毎に、その領域における眉の領域452の上端および下端を基準として、α値を決定してもよい。これは、眉の領域452に対する位置に応じた合成比で、第1のパターン482(第1の処理)により得られた第1の画像と、第2のパターン(第2の処理)により得られた第2の画像とを合成することに相当する。このようにした場合、眉消去部260は、眉の領域に接する非眉領域部分を、より高精度に、アルファブレンド処理の対象から除外することができる。

0114

眉消去部260は、合成の結果として得られた画像のうち、眉の領域452の画像部分のみを、元の撮影画像の対応部分に貼り付ける。すなわち、眉消去部は、眉消去処理が行われた後の矩形領域481の画像のうち、眉の領域452の画像を、撮影画像の対応する領域に貼り付ける。

0115

<メイクアップテーブルおよびメイクアップ情報テーブルの内容>
図13は、メイクアップ情報格納部270が格納するメイクアップテーブルの内容の一例を示す図である。

0116

図13に示すように、メイクアップテーブル500は、メイクアップパターン501と、メイクアップID502とを、対応付けて記述している。メイクアップパターン501は、ここでは簡略化して図示しているが、具体的には、例えば、「キュート」、「クール」等の、メイクアップに関するイメージを表すテキスト情報を含む。

0117

なお、メイクアップ選択部280は、例えば、メイクアップパターン501の「キュート」、「クール」等のテキスト情報を、選択肢として表示することにより、上述のメイクアップの選択操作をユーザから受け付ける。

0118

図14は、メイクアップ情報格納部270が格納するメイクアップ情報テーブルの内容の一例を示す図である。

0119

図14に示すように、メイクアップ情報テーブル510は、例えば、メイクアップID511、メイクアップ種別512、色513、濃度514、および範囲515を、対応付けて記述している。

0120

メイクアップID511は、メイクアップテーブル500のメイクアップID502(図13参照)に対応している。メイクアップ種別512は、ここでは簡略化して図示しているが、具体的には、「アイブロウ」、「ファンデーション」、「アイシャドウ」、「口紅」、および「チークメイクアップアップ」等である。色513は、ここでは簡略化して図示しているが、具体的には、RGB値および光沢度等である。濃度514は、ここでは簡略化して図示しているが、具体的には、顔の画像の上に重畳する際の透過度およびグラデーションの仕方等である。範囲515は、ここでは簡略化して図示しているが、具体的には、顔特徴点からの相対座標群、顔特徴点に対する中心点の相対位置と半径との組等である。

0121

色513、濃度514、および範囲515の組は、少なくとも、メイクアップが施された状態を画像化するのに必要な情報を含む。すなわち、本実施の形態において、メイクアップ情報は、少なくとも、顔の画像から、当該顔にメイクアップアップを施したときの画像を生成するために必要な情報(顔の色との差分を示す情報)を、含むものとする。

0122

なお、メイクアップの流行の変化は速く、提示すべきメイクアップの変化も速い。このため、メイクアップテーブル500およびメイクアップ情報テーブル510は、例えば、メイクアップアップ支援装置100に備えられた通信回路(図示せず)を介して、インターネット上のサーバから定期的に更新されることが望ましい。また、図13に示すメイクアップテーブル500および図14に示すメイクアップ情報テーブル510は、1つのテーブルに統合されていてもよい。

0123

<シミュレーション画像の生成手法>
メイクアップ提示部290は、眉が消去された画像に、選択されたメイクアップのメイクアップ画像を重畳して、シミュレーション画像を生成する。メイクアップ画像は、例えば、顔部品情報とメイクアップ情報とに基づいて生成される。

0124

なお、シミュレーション画像における画像の重畳は、例えば、アルファ(α)ブレンド処理等の公知の画像合成処理により行われる。この場合のα値は、メイクアップの濃度に応じた値に設定される。アルファブレンド処理は、例えば、以下の式(5)〜(7)で表される。ここで、r1、g1、b1は、眉が消去された画像の任意の領域のRGB値である。また、r2、g2、b2は、メイクアップ画像の任意の領域のRGB値である。そして、R、G、Bは、シミュレーション画像の対応する領域のRGB値である。

0125

R = r2×α+r1×(1−α) ・・・(5)
G = g2×α+g1×(1−α) ・・・(6)
B = b2×α+b1×(1−α) ・・・(7)
また、メイクアップのそれぞれに、顔に重ねて塗布する場合の順序(以下「塗布順序」という)が設定されており、かつ、メイクアップ画像が、濃度に応じた密度網掛け画像であったとする。塗布順序は、例えば、チークの塗布が、ファンデーションの塗布の後にすべきものであるということを規定する。この場合、メイクアップ提示部290は、画像の重畳を、眉が消去された画像に対して、各メイクアップ画像を塗布順序に応じた順序で上塗り処理することにより、行ってもよい。

0126

<メイクアップアップ支援装置の動作>
次に、メイクアップアップ支援装置100の動作について説明する。

0127

図15は、メイクアップアップ支援装置100の動作の一例を示すフローチャートである。

0128

まず、ステップS1100において、撮影部210は、ユーザの顔の映像の撮影を開始し、画像取得部220は、撮影された映像を構成する画像の取得を開始する。この際、ユーザは、前髪を上げておくことが望ましい。また、顔部品取得部230は、画像に含まれる顔の顔部品の取得を開始する。

0129

この際、顔部品取得部230は、例えば、画像を解析することにより、画像から顔特徴点を抽出する。そして、顔部品取得部230は、同一の顔部品を構成する顔特徴点により形成される領域を、顔部品の領域として取得する。そして、顔部品取得部230は、取得した顔部品の領域から、顔部品情報を生成する。

0130

図16は、図15のステップS1100において取得される、撮影画像の一例を示す図である。

0131

図16に示すように、撮影画像610は、ユーザの顔画像611を含む。ユーザは、メイクアップアップをしておらず、かつ、眉612を処理していない状態である。画像610からは、例えば、図3および図4に示すような顔特徴点が抽出されて、顔部品情報が生成される。

0132

図17は、図15のステップS1100において生成される、顔部品情報の一例を示す図である。

0133

図17に示すように、顔部品情報620は、例えば、顔部品ID621毎に、領域622および人ID623を記述している。顔部品ID621は、左目上唇等の、顔部品の識別情報である。領域622は、画像における顔部品の領域の範囲を示す情報であり、例えば、複数の顔特徴点の位置の集合である。顔特徴点の位置は、例えば、顔を基準として定まる顔座標系を用いて、定義される。人ID623は、人の識別情報である。人ID623は、例えば、撮影が開始される毎に、タッチパネル付きディスプレイに対する操作等を介してユーザにより指定された値が、設定される。

0134

そして、図15のステップS1200において、メイクアップ選択部280は、メイクアップを選択し、メイクアップ情報を、メイクアップ提示部290へ出力する。

0135

そして、ステップS1300において、閾値決定部240は、眉の顔特徴点に基づいて、顔画像から、眉頭側の閾値決定用の画像(例えば、図3および図4の矩形領域413に囲まれた領域)を抽出する。

0136

そして、ステップS1400において、閾値決定部240は、ステップS1300で抽出した閾値決定用の画像から、2値化閾値を決定する。

0137

そして、ステップS1500において、眉領域抽出部250は、決定された2値化閾値に基づいて、2値化画像(例えば、図5の2値化画像421)を生成する。そして、眉領域抽出部250は、眉包含領域(例えば、図6の眉包含領域431)から目包含領域(例えば、図7の目包含領域441)を除いた領域を、中間領域とする。

0138

そして、ステップS1600において、眉領域抽出部250は、2値化画像および中間領域から、眉の領域を抽出する。このとき、眉領域抽出部250は、上述の通り、2値眉領域(例えば、図8の2値眉領域451)を膨張させて、眉の領域(例えば、図8の眉の領域452)を得る。

0139

そして、ステップS1700において、眉消去部260は、眉消去処理を行い(図9図11参照)、眉が消去された画像を生成する。

0140

図18は、ステップS1700において生成される、眉が消去された画像の一例を示す図である。

0141

図18に示すように、眉が消去された画像610aでは、補間が行われた眉の領域の画像631aが、顔画像611aの対応する領域に、貼り付けられた状態となっている。

0142

そして、図15のステップS1800において、メイクアップ提示部290は、眉が消去された画像に、決定されたメイクアップに対応するメイクアップ情報の画像を重畳して、シミュレーション画像を生成する。そして、表示部300は、生成されたシミュレーション画像を表示する。

0143

図19は、図15のステップS1800において生成される、シミュレーション画像の一例を示す図である。

0144

図19に示すように、シミュレーション画像640は、眉消去処理が行われた顔画像611aに、アイブロウ、アイシャドウ、アイライナー、チークメイクアップアップ、および口紅の画像といった、メイクアップ画像641〜645を重畳した画像となっている。

0145

アイブロウ641の領域は、元の眉612(図16参照)の領域とは大きく異なっている。しかし、眉612がきれいに消去されているため、眉が二重に存在しているような状態は回避される。また、実際に眉612の処理をした場合の顔画像により近い眉が消去された画像を用いているため、より自然なシミュレーション画像640が得られる。

0146

そして、図15のステップS1900において、画像取得部220は、映像の入力が継続しているか否かを判断する。画像取得部220は、映像の入力が継続している場合(S1900:YES)、処理をステップS1300へ戻し、次の撮影画像へと処理を移す。また、画像取得部220は、映像の入力が終了した場合(S1900:NO)、一連の処理を終了する。

0147

なお、メイクアップアップ支援装置100は、一旦得られた眉の領域および眉の領域の補間結果を、後続の画像に転用してもよい。この場合、眉消去部260は、例えば、眉の領域の、顔特徴点に対する相対位置を、記憶する。そして、眉消去部260は、別の顔画像に対しては、その顔画像における顔特徴点の位置に応じて、記憶した相対位置に基づき、眉の領域の画像を、移動あるいは変形させる。

0148

この場合、眉の領域および眉の領域の補間結果が得られた後は、図15のステップS1300〜S1700の処理を省略することが可能となる。

0149

<本実施の形態の効果>
以上のように、本実施の形態に係るメイクアップアップ支援装置100は、眉により近く、かつ、髪が掛かっていない可能性がより高い領域である、眉頭側の領域の画像情報に基づいて、眉の領域の抽出および塗り潰しを行う。これにより、メイクアップアップ支援装置100は、より高精度に眉の領域を抽出し、かつ、より適切な色で塗り潰しを行うことができる。これにより、メイクアップアップ支援装置100は、実際に眉毛の処理をした場合の顔画像により近い眉が消去された画像を得ることができる。

0150

また、本実施の形態に係るメイクアップアップ支援装置100は、実際に眉の処理をした場合の顔画像により近い眉が消去された画像を用いてメイクアップのシミュレーション画像を表示する。これにより、メイクアップアップ支援装置100は、ユーザがメイクアップの良し悪しをより的確に判断することを可能にする。

0151

<メイクアップの他の選択手法
なお、メイクアップの選択手法は、上述の例に限定されない。例えば、メイクアップ選択部280は、顔の特徴に適したメイクアップを自動で選択してもよいし、流行のメイクアップを自動で選択してもよい。

0152

<その他の構成の変形例>
また、上述の各種テーブルは、必ずしもメイクアップアップ支援装置100に格納されていなくてもよい。例えば、メイクアップアップ支援装置100がネットワーク接続可能である場合、メイクアップアップ支援装置100は、上記テーブルが格納されたネットワーク上のサーバにアクセスして、メイクアップを選択すればよい。

0153

また、メイクアップアップ支援装置100は、例えば、図2に示す機能部のうち、撮影部210および表示部300のみをユーザの所持する端末に配置し、他の装置部をネットワーク上のサーバ上に配置する等、分散配置型のシステムであってもよい。

0154

また、メイクアップアップ支援装置100は、外光を検出し、画像から、外光の影響を軽減した状態で、顔特徴点の取得や、眉の領域の検出を行うようにしてもよい。

0155

また、メイクアップアップ支援装置100は、必ずしもメイクアップのシミュレーション画像を生成しなくてもよい。

0156

また、メイクアップアップ支援装置100は、メイクアップに必要な化粧品の情報を、シミュレーション画像と併せてユーザに提示してもよい。

0157

本開示のメイクアップアップ支援装置は、顔を撮影した画像である、顔画像を取得する画像取得部と、前記顔画像のうち、眉頭および前記眉頭の周辺を含み眉尻を含まない領域の画像である部分画像から、画素値の閾値を決定する閾値決定部と、前記閾値を用いて、前記顔画像から眉の領域を抽出する眉領域抽出部と、前記眉の領域の周辺の領域の色のうち、前記眉頭側の色を優先的に用いて、前記顔画像に対して前記眉の領域を塗り潰す処理である、眉消去処理を行う眉消去部と、前記眉消去処理が行われた後の前記顔画像を表示する表示部と、を有する。

0158

なお、上記メイクアップアップ支援装置は、前記眉消去処理が行われた後の前記顔画像に、前記顔に対して眉のメイクアップを適用したときの前記眉のメイクアップの状態を示す画像を重畳して得られるシミュレーション画像を生成するメイクアップ提示部、を更に有し、前記表示部は、前記シミュレーション画像を表示してもよい。

0159

また、上記メイクアップアップ支援装置において、前記部分画像は、前記眉頭の位置を基準とした所定の大きさおよび形状の領域の画像であってもよい。

0160

また、上記メイクアップアップ支援装置において、前記眉消去処理は、前記顔画像から前記眉の領域の画像を削除して得られる画像に対して、前記眉頭側から前記眉尻側へと向かう方向で、順次、色を補間していく処理であってもよい。

0161

また、上記メイクアップアップ支援装置において、前記眉消去処理は、前記顔画像から前記眉の領域の画像を削除して得られる画像に対して、前記眉の上側から前記眉の下側へと向かう方向で、順次、色を補間していく第1の処理と、前記画像に対して、前記眉の下側から前記眉の上側へと向かう方向で、順次、色を補間していく第2の処理と、前記第1の処理により得られた第1の画像と、前記第2の処理により得られた第2の画像とを、合成する第3の処理とを含み、前記第3の処理は、前記眉の領域に対する位置に応じた合成比で、前記第1の画像と前記第2の画像とを合成してもよい。

0162

また、上記メイクアップアップ支援装置は、前記顔画像から、眉の特徴点および目の特徴点を抽出する顔部品取得部、を更に有し、前記眉領域抽出部は、前記顔画像の領域のうち、前記眉の特徴点の位置を基準とする小領域の集合である眉包含領域から、前記目の特徴点の位置を基準とする小領域の集合である目包含領域、を除外した中間領域から、前記眉の領域を抽出してもよい。

0163

また、上記メイクアップアップ支援装置において、前記眉消去部は、前記顔画像のうち前記眉の領域を含む矩形領域の画像の全体に対して前記眉消去処理を行い、前記眉消去処理が行われた後の前記矩形領域の画像のうち前記眉の領域の画像を、前記顔画像の対応する領域に貼り付ける。

0164

また、上記メイクアップアップ支援装置において、前記眉領域抽出部は、前記閾値により規定される眉の領域を膨張させた領域を、前記眉の領域として抽出してもよい。

0165

また、上記メイクアップアップ支援装置は、前記顔の映像を撮影する撮影部、を更に有し、前記画像取得部は、前記映像を構成する画像を取得し、前記表示部は、前記映像に沿って、前記シミュレーション画像を順次表示してもよい。

0166

本開示のメイクアップアップ支援方法は、顔を撮影した画像である、顔画像を取得するステップと、前記顔画像のうち、眉頭および前記眉頭の周辺を含み眉尻を含まない領域の画像である部分画像から、画素値の閾値を決定するステップと、前記閾値を用いて、前記顔画像から眉の領域を抽出するステップと、前記眉の領域の周辺の領域の色のうち、前記眉頭側の色を優先的に用いて、前記顔画像に対して前記眉の領域を塗り潰す処理である、眉消去処理を行うステップと、前記眉消去処理が行われた後の前記顔画像を表示するステップと、を有する。

0167

本開示のメイクアップアップ支援プログラムは、コンピュータに、顔を撮影した画像である、顔画像を取得する処理と、前記顔画像のうち、眉頭および前記眉頭の周辺を含み眉尻を含まない領域の画像である部分画像から、画素値の閾値を決定する処理と、前記閾値を用いて、前記顔画像から眉の領域を抽出する処理と、前記眉の領域の周辺の領域の色のうち、前記眉頭側の色を優先的に用いて、前記顔画像に対して前記眉の領域を塗り潰す処理である、眉消去処理を行う処理と、前記眉消去処理が行われた後の前記顔画像を表示する処理と、を実行させる。

0168

本開示は、実際に眉毛の処理をした状態により近い眉が消去された画像を得ることができる、メイクアップアップ支援装置、メイクアップアップ支援方法、およびメイクアップアップ支援プログラムとして有用である。

0169

100メイクアップ支援装置
210撮影部
220画像取得部
230顔部品取得部
240閾値決定部
250眉領域抽出部
260 眉消去部
270 メイクアップ情報格納部
280 メイクアップ選択部
290 メイクアップ提示部
300 表示部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ