図面 (/)

技術 眉生成装置、眉生成方法及びプログラム

出願人 カシオ計算機株式会社
発明者 市川英里奈
出願日 2013年12月20日 (7年0ヶ月経過) 出願番号 2013-263845
公開日 2015年7月2日 (5年6ヶ月経過) 公開番号 2015-121841
状態 特許登録済
技術分野 画像処理 イメージ処理・作成
主要キーワード フェイスライン 眉形状 所定領域毎 描画手法 アイブローペンシル 取得手法 サンプル顔画像 テクスチャーモデル
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2015年7月2日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (9)

課題

個性を活かしたを適正に生成する。

解決手段

生成装置100であって、顔を含む画像から眉を含む顔構成部を検出する顔構成部検出部5bと、検出された眉の特徴を特定する眉特徴情報特定部5cと、特定された眉の特徴及び当該眉以外の他の顔構成部の眉に対する相対的な位置関係に基づいて、眉を生成する眉生成部5dと、を備えている。

概要

背景

従来、コンピュータを用いてを自然な形態で描画する技術が知られている(例えば、特許文献1参照)。

概要

個性を活かした眉を適正に生成する。眉生成装置100であって、顔を含む画像から眉を含む顔構成部を検出する顔構成部検出部5bと、検出された眉の特徴を特定する眉特徴情報特定部5cと、特定された眉の特徴及び当該眉以外の他の顔構成部の眉に対する相対的な位置関係に基づいて、眉を生成する眉生成部5dと、を備えている。

目的

本発明は、このような課題に鑑みてなされたものであり、本発明の目的は、個性を活かした眉を適正に生成することができる眉生成装置、眉生成方法及びプログラムを提供する

効果

実績

技術文献被引用数
1件
牽制数
1件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

顔を含む画像を取得する取得手段と、前記取得手段により取得された画像からを含む顔構成部を検出する検出手段と、前記検出手段により検出された眉の特徴を特定する特定手段と、前記特定手段により特定された眉の特徴及び当該眉以外の他の顔構成部の眉に対する相対的な位置関係に基づいて、眉を生成する生成手段と、を備えたことを特徴とする眉生成装置

請求項2

前記特定手段は、前記眉の特徴として当該眉の形状を特定し、前記生成手段は、前記特定手段により特定された眉の形状及び前記他の顔構成部の眉に対する相対的な位置関係に基づいて、新たな形状の眉を生成することを特徴とする請求項1に記載の眉生成装置。

請求項3

眉の形状を複数記録する記録手段を更に備え、前記生成手段は、前記記録手段に記録されている複数の眉の形状の中から指定された眉の形状に基づいて、前記新たな形状の眉を生成することを特徴とする請求項2に記載の眉生成装置。

請求項4

前記特定手段は、前記眉の特徴として当該眉の毛穴を特定し、前記生成手段は、前記特定手段により特定された眉の毛穴の密度に基づいて、眉を生成することを特徴とする請求項1〜3の何れか一項に記載の眉生成装置。

請求項5

前記取得手段により取得された顔を含む画像内に、前記生成手段により生成された眉を描画する描画手段を更に備えることを特徴とする請求項1〜4の何れか一項に記載の眉生成装置。

請求項6

前記他の顔構成部は、目及びのうち、少なくとも一方を含むことを特徴とする請求項1〜5の何れか一項に記載の眉生成装置。

請求項7

眉生成装置を用いた眉生成方法であって、顔を含む画像を取得する処理と、取得された画像から眉を含む顔構成部を検出する処理と、検出された眉の特徴を特定する処理と、特定された眉の特徴及び当該眉以外の他の顔構成部の眉に対する相対的な位置関係に基づいて、眉を生成する処理と、を含むことを特徴とする眉生成方法。

請求項8

眉生成装置のコンピュータを、顔を含む画像を取得する取得手段、前記取得手段により取得された画像から眉を含む顔構成部を検出する検出手段、前記検出手段により検出された眉の特徴を特定する特定手段、前記特定手段により特定された眉の特徴及び当該眉以外の他の顔構成部の眉に対する相対的な位置関係に基づいて、眉を生成する生成手段、として機能させることを特徴とするプログラム

技術分野

0001

本発明は、生成装置、眉生成方法及びプログラムに関する。

背景技術

0002

従来、コンピュータを用いて眉を自然な形態で描画する技術が知られている(例えば、特許文献1参照)。

先行技術

0003

特開平11−25253号公報

発明が解決しようとする課題

0004

しかしながら、上記特許文献1記載の技術は、コンピュータグラフィックスにより化粧システム等のために眉描画領域を設定し、眉の形や濃さを計算して眉を描画するものであるため、元々の眉や顔の特徴がなんら考慮されていないという課題がある。

0005

本発明は、このような課題に鑑みてなされたものであり、本発明の目的は、個性を活かした眉を適正に生成することができる眉生成装置、眉生成方法及びプログラムを提供することである。

課題を解決するための手段

0006

上記課題を解決するため、本発明に係る眉生成装置は、
顔を含む画像を取得する取得手段と、前記取得手段により取得された画像から眉を含む顔構成部を検出する検出手段と、前記検出手段により検出された眉の特徴を特定する特定手段と、前記特定手段により特定された眉の特徴及び当該眉以外の他の顔構成部の眉に対する相対的な位置関係に基づいて、眉を生成する生成手段と、を備えたことを特徴としている。

0007

また、本発明に係る眉生成方法は、
眉生成装置を用いた眉生成方法であって、顔を含む画像を取得する処理と、取得された画像から眉を含む顔構成部を検出する処理と、検出された眉の特徴を特定する処理と、特定された眉の特徴及び当該眉以外の他の顔構成部の眉に対する相対的な位置関係に基づいて、眉を生成する処理と、を含むことを特徴としている。

0008

また、本発明に係るプログラムは、
眉生成装置のコンピュータを、顔を含む画像を取得する取得手段、前記取得手段により取得された画像から眉を含む顔構成部を検出する検出手段、前記検出手段により検出された眉の特徴を特定する特定手段、前記特定手段により特定された眉の特徴及び当該眉以外の他の顔構成部の眉に対する相対的な位置関係に基づいて、眉を生成する生成手段、として機能させることを特徴としている。

発明の効果

0009

本発明によれば、個性を活かした眉を適正に生成することができる。

図面の簡単な説明

0010

本発明を適用した一実施形態の眉生成装置の概略構成を示すブロック図である。
図1の眉生成装置による眉生成処理に係る動作の一例を示すフローチャートである。
図2の眉生成処理に係る顔を含む画像の一例を模式的に示す図である。
図2の眉生成処理に係る眉マップの一例を模式的に示す図である。
図2の眉生成処理に係る仮眉型の一例を模式的に示す図である。
図2の眉生成処理に係る本眉型の一例を模式的に示す図である。
図2の眉生成処理に係る画像の一例を模式的に示す図である。
図2の眉生成処理後の顔を含む画像の一部分を拡大して示す図である。

実施例

0011

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図1は、本発明を適用した一実施形態の眉生成装置100の概略構成を示すブロック図である。

0012

眉生成装置100は、例えば、パーソナルコンピュータワークステーション等により構成され、図1に示すように、中央制御部1と、メモリ2と、記録部3と、操作入力部4と、画像処理部5と、表示部6と、表示制御部7とを備えている。
また、中央制御部1、メモリ2、記録部3、画像処理部5及び表示制御部7は、バスライン8を介して接続されている。

0013

中央制御部1は、眉生成装置100の各部を制御するものである。具体的には、中央制御部1は、CPU(Central Processing Unit;図示略)等を備え、眉生成装置100用の各種処理プログラム(図示略)に従って各種の制御動作を行う。

0014

メモリ2は、例えば、DRAM(Dynamic Random Access Memory)等により構成され、中央制御部1、画像処理部5等によって処理されるデータ等を一時的に記録するバッファメモリや、中央制御部1等のワーキングメモリ、当該眉生成装置100の機能に係る各種プログラムやデータが格納されたプログラムメモリ等(何れも図示略)を備えている。

0015

記録部3は、例えば、不揮発性メモリフラッシュメモリ)、ハードディスクドライブ等により構成され、中央制御部1の動作に必要な各種プログラムやデータ(図示略)を記録している。

0016

また、記録部(記録手段)3は、眉の形状を規定する眉形状データ3a(図6(a)参照)を記録している。
眉形状データ3aは、例えば、流行等に応じて複数規定されてなり、各種の形状を有している。また、眉形状データ3aは、各形状を規定する複数の基準点S、…や隣合う基準点Sどうしを結ぶ曲線曲率等が対応付けられている。これらの基準点Sは、仮眉型生成部d1(後述)により生成される仮眉型P1を構成する複数の構成点と対応付けられるものである。
なお、図6(a)に示す眉形状データ3aは、一例であってこれらに限られるものではなく、適宜任意に変更可能である。

0017

また、記録部3は、本眉型生成部d2(後述)により生成される本眉型P2内で描画される眉毛の起点となる毛穴Hの密度調整用の眉毛穴パラメータ3bを記録している。
眉毛穴パラメータ3bは、例えば、流行等に応じて本眉型P2の所定領域毎に複数規定されている。例えば、眉頭側の領域は、毛穴Hが相対的に低い密度となるように、また、眉頭側以外の中央側や眉尻側の領域は、毛穴Hが相対的に高い密度となるように規定されている。
なお、上記した眉毛穴パラメータ3bは、一例であってこれらに限られるものではなく、適宜任意に変更可能である。

0018

操作入力部4は、例えば、数値文字等を入力するためのデータ入力キーや、データの選択、送り操作等を行うための上下左右移動キーや各種機能キー等によって構成されるキーボードマウス等の操作部(図示略)を備え、これらの操作部の操作に応じて所定の操作信号を中央制御部1に出力する。

0019

画像処理部5は、画像取得部5aと、顔構成部検出部5bと、眉特徴情報特定部5cと、眉生成部5dと、眉描画部5eとを具備している。
なお、画像処理部5の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。

0020

画像取得部(取得手段)5aは、顔を含む画像を取得する。
即ち、画像取得部5aは、眉生成処理の処理対象となる顔を含む画像の画像データを取得する。具体的には、画像取得部5aは、例えば、図示しない撮像装置により撮像されて記録部3に記録されている顔を含む画像の画像データを読み出して眉生成処理の処理対象として取得する。
なお、上記した画像データの取得手法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。例えば、当該装置本体と所定の通信ネットワークを介して接続可能な所定の装置(例えば、サーバ等;図示略)に通信処理部(図示略)からアクセスして、画像取得部5aは、当該サーバから顔を含む画像の画像データを取得する構成としても良い。

0021

また、後述する画像処理部5による各処理は、処理対象の画像の画像データ自体に対して行われても良いし、必要に応じて画像データを所定の比率縮小した所定サイズ(例えば、VGAサイズ等)の縮小画像データに対して行われても良い。

0022

顔構成部検出部(検出手段)5bは、画像取得部5aにより取得された画像から眉を含む顔構成部を検出する。
すなわち、顔構成部検出部5bは、画像取得部5aにより取得された処理対象の画像データに対して所定の顔検出処理を行って、顔が含まれる顔領域A1(図3参照)を検出する。そして、顔構成部検出部5bは、顔検出処理により検出された処理対象の画像内の顔領域A1から、所定の検出処理(例えば、AAM(Active Appearance Model)等)を用いて、例えば、目、、口、眉、顔輪郭等の主要な顔構成部を検出する。

0023

ここで、AAMとは、視覚的事象モデル化の一手法であり、任意の顔領域の画像のモデル化を行う処理である。例えば、複数のサンプル顔画像における所定の特徴部位(例えば、目じりや鼻頭フェイスライン等)の位置や画素値(例えば、輝度値)の統計的分析結果を用意しておき、顔構成部検出部5bは、上記の特徴部位の位置を基準として、顔の形状を表す形状モデルや平均的な形状における「Appearance」を表すテクスチャーモデルを設定し、これらのモデルを用いて顔画像をモデル化する。これにより、顔領域A1内で、例えば、目、鼻、口、眉、顔輪郭等の顔構成部がモデル化される。

0024

なお、顔検出処理は、公知の技術であるので、ここでは詳細な説明を省略する。
また、顔構成部検出部5bは、顔領域A1内の全ての顔構成部を検出する必要はなく、眉以外の他の顔構成部としては、目及び鼻のうち、少なくとも一方を検出する構成であれば良い。
さらに、顔構成部の検出処理としては、例えば、エッジ検出処理、非等方拡散処理テンプレートマッチング等の各種の処理を用いても良い。

0025

眉特徴情報特定部(特定手段)5cは、顔構成部検出部5bにより検出された眉の特徴を特定する。
すなわち、眉特徴情報特定部5cは、顔構成部検出部5bにより検出された眉の形状を当該眉の特徴として特定する。

0026

具体的には、眉特徴情報特定部5cは、顔検出処理により検出された顔領域A1内で、顔構成部検出部5bにより検出された左右各々の眉を含む眉領域A2の画像データの複製を取得する。また、眉特徴情報特定部5cは、取得された左右各々の眉領域A2の画像データを所定の色空間(例えば、HSV色空間等)に変換し、色を基準として眉の形状を表す第1眉マップM1(図4(a)参照)を生成する。また、眉特徴情報特定部5cは、取得された左右各々の眉領域A2の画像データに対して、所定のエッジ検出処理(例えば、ハフ変換ソーベルフィルタを用いた所定のマトリックス演算等)を行って、エッジを基準として眉の形状を表す第2眉マップM2(図4(b)参照)を生成する。そして、眉特徴情報特定部5cは、第1眉マップM1及び第2眉マップM2の各々に対して、所定サイズのフィルタ(例えば、ガウシアンフィルタ等)を用いて平滑化処理を施した後、これらを所定の合成処理(例えば、加算処理等)により合成して左右各々の眉の形状を表す基準眉マップMa(図4(c)参照)をそれぞれ生成する。
なお、図4(a)〜図7(c)の各図は、左右の眉のうち、向かって右側の眉を模式的に表している。

0027

なお、基準眉マップMaを生成するために、色を基準とする第1眉マップM1とエッジを基準とする第2眉マップM2を用いたが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
すなわち、エッジを基準とする第2眉マップM2を用いることで、肌の色と眉の色との差が相対的に小さい場合であっても、基準眉マップMaの生成を適正に行うことができるが、第1眉マップM1及び第2眉マップM2のうち、何れか一方のみを用いる手法であっても良い。例えば、肌の色と眉の色との差が相対的に大きい場合には、第1眉マップM1のみを用いても良いし、また、肌の色と眉の色との差が相対的に小さい場合には、第2眉マップM2のみを用いても良い。

0028

また、眉特徴情報特定部5cは、左右各々の眉領域A2内の眉毛の流れ方向や長さを特定する。
具体的には、眉特徴情報特定部5cは、例えば、左右各々の眉領域A2の画像データに対して各種の画像処理(例えば、二値化処理、エッジ検出処理、平滑化処理等)を施して、当該眉領域A2を構成する各画素座標のXY方向の移動の推移所定範囲に対応する方向コードに変換する。眉特徴情報特定部5cは、各画素毎の方向コードから、眉領域A2内の眉毛の流れ方向を特定する(図7(a)参照)。
また、眉特徴情報特定部5cは、左右各々の眉領域A2を左右方向に所定数の領域(例えば、眉頭側、中央側、眉尻側の3つの領域)に分割して、各領域毎に構成する画素の連続性から眉毛の長さや太さ(画素数)を特定する。
なお、方向コードを特定する処理は、公知の技術であるので、ここでは詳細な説明を省略する。また、眉毛の流れ方向や長さを特定する処理は、眉領域A2に対応する本眉型P2の内側の領域でのみ行われても良い。また、図7(a)にあっては、眉毛の流れ方向を矢印を用いて模式的に表している。

0029

また、眉特徴情報特定部5cは、左右各々の眉領域A2内の眉の毛穴Hを当該眉の特徴として特定する。
すなわち、眉特徴情報特定部5cは、例えば、左右各々の眉領域A2の画像データに対して所定の毛穴検出処理を行って、眉の毛穴Hの位置を特定する(図7(b)参照)。具体的には、眉特徴情報特定部5cは、左右各々の眉領域A2のうち、後述する本眉型生成部d2により生成された本眉型P2内に存する眉の毛穴Hの位置を特定する。このとき、眉特徴情報特定部5cは、眉毛の流れ方向から当該眉毛の一端部を毛穴Hの位置として特定しても良い。
これにより、眉特徴情報特定部5cは、左右各々の眉領域A2内で、眉毛が生えている毛穴Hや眉毛が生えていない毛穴Hを特定する。

0030

ここで、毛穴Hを検出する方法としては、例えば、毛穴Hのパラメータやテンプレート数パターン保持しておき、顔画像からある領域(例えば、眉間やおでこ・等)を拡大し、拡大した領域において検出を行い、その人の毛穴を検出する。その情報を元に、眉毛領域でその人の毛穴テンプレート・パラメータを利用した毛穴検出を行う。

0031

眉生成部(生成手段)5dは、眉特徴情報特定部5cにより特定された眉の特徴及び他の顔構成部の眉に対する相対的な位置関係に基づいて、眉を生成する。具体的には、眉生成部5dは、仮眉型生成部d1と、本眉型生成部d2と、描画毛穴位置特定部d3とを具備している。

0032

仮眉型生成部d1は、顔領域A1内で、眉特徴情報特定部5cにより生成された基準眉マップMa及び左右の目、鼻の基準眉マップMaに対する相対的な位置関係を基準として、左右各々の仮眉型P1(図5(b)参照)を生成する。

0033

具体的には、例えば、仮眉型生成部d1は、顔領域A1内に左右各々の基準眉マップMaを重畳させる(図5(a)参照)。そして、仮眉型生成部d1は、左右各々の眉について、左右各々の目の目頭を通り上下方向(Y方向)に延在する直線と左右各々の基準眉マップMaの輪郭部との二つの交点を上下の仮眉頭構成点T1、T2として設定する(図5(a)参照)。
また、仮眉型生成部d1は、左右各々の眉について、左右各々の目の黒目の外側(図中、向かって右側)を通り上下方向(Y方向)に延在する直線と左右各々の基準眉マップMaの輪郭部との上側の交点を仮眉山構成点T3として設定する(図5(a)参照)。そして、仮眉型生成部d1は、設定された仮眉山構成点T3と上の仮眉頭構成点T1とを直線で結ぶ。
また、仮眉型生成部d1は、左右各々の眉について、左右各々の小鼻の脇と左右各々の目の目尻とを通る直線上であって、下の仮眉頭構成点T2を通り左右方向(X方向)に延在する直線との交点を特定し、特定された交点と仮眉山構成点T3とを結ぶ直線上で各交点からわずかに仮眉山構成点T3寄りの位置に仮眉構成点T4を設定する(図5(a)参照)。そして、仮眉型生成部d1は、設定された仮眉尻構成点T4と仮眉山構成点T3とを直線で結ぶ。
また、仮眉型生成部d1は、左右各々の眉について、下の仮眉頭構成点T2を通り左右方向(X方向)に延在する直線と基準眉マップMaの輪郭部との外側の交点を仮眉第1構成点T5として設定する(図5(b)参照)。そして、仮眉型生成部d1は、設定された仮眉第1構成点T5と下の仮眉頭構成点T2とを直線で結ぶ。
また、仮眉型生成部d1は、左右各々の眉について、左右各々の目の黒目の外側を通り上下方向(Y方向)に延在する直線と左右各々の基準眉マップMaの輪郭部との下側の交点を仮眉第2構成点T6として設定する(図5(b)参照)。そして、仮眉型生成部d1は、設定された仮眉第2構成点T6と仮眉尻構成点T4及び仮眉第1構成点T5とをそれぞれ直線で結ぶ。

0034

なお、基準眉マップMaの内側(図中、向かって左側)の端部が上下の仮眉頭構成点T1、T2よりも内側に存する場合には、仮眉型生成部d1は、基準眉マップMaの内側の端部と下の仮眉頭構成点T2との間に仮眉第3構成点T7を設定する(図5(b)参照)。そして、仮眉型生成部d1は、設定された仮眉第3構成点T7と下の仮眉頭構成点T2とを直線で結ぶとともに、仮眉第3構成点T7と上の仮眉頭構成点T1とを基準眉マップMaの内側の端部の輪郭と略等しい曲率の曲線で結ぶ。
そして、仮眉型生成部d1は、上記のようにして直線や曲線で囲繞された領域を仮眉型P1とする(図5(b)参照)。

0035

なお、上記した複数の構成点及びこれらの構成点の設定手法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。

0036

本眉型生成部d2は、他の顔構成部の眉に対する相対的な位置関係を基準として、左右各々の仮眉型P1を補正して本眉型P2を生成する。
すなわち、本眉型生成部d2は、左右各々の鼻筋から眉の上下の輪郭に沿うような曲線(いわゆる、ムーンカーブ図6(c)参照)を特定して、当該曲線を基準として仮眉型P1を補正する。このとき、本眉型生成部d2は、記録部3に記録されている眉形状データ3a(図6(a)参照)を基準として仮眉型P1の形状を補正しても良い。

0037

具体的には、本眉型生成部d2は、記録部3に記録されている眉形状データ3aの中からユーザによる操作入力部4の所定操作に基づいて或いはデフォルトとして指定されている眉形状データ3aを読み出して、当該眉形状データ3aに規定されている複数の基準点S、…と仮眉型P1を構成する複数の構成点とを対応付ける。そして、本眉型生成部d2は、隣合う基準点Sどうしを結ぶ曲線の曲率を基準として、対応する隣合う構成点どうしの線を変形させる(図6(b)参照)。例えば、本眉型生成部d2は、隣合う構成点どうしの線の形状を対応する隣合う基準点Sどうしを結ぶ曲線の曲率と略等しくなるように変形させる。
なお、基準点Sと構成点とで対応するものどうしがない場合、例えば、構成点に対応する基準点Sが存しない場合、当該基準点Sの両隣りに存する二つの基準点S、Sの位置座標から仮の基準点の位置を演算により導出することとしても良い。

0038

また、本眉型生成部d2は、左右各々の鼻筋から眉の上下の輪郭に沿うような曲線を基準として、変形後の仮眉型P1を補正する。具体的には、本眉型生成部d2は、変形後の仮眉型P1における下の仮眉頭構成点T2から仮眉尻構成点T4に亘る上側の曲線と鼻筋から眉の上の輪郭に沿う曲線L(図6(c)参照)とを所定の合成処理(例えば、加算平均処理等)により合成する。同様に、本眉型生成部d2は、変形後の仮眉型P1における下の仮眉頭構成点T2から仮眉尻構成点T4に亘る下側の曲線と鼻筋から眉の下の輪郭に沿う曲線(図示略)とを所定の合成処理(例えば、加算平均処理等)により合成する。
そして、本眉型生成部d2は、上記のようにして補正された曲線で囲繞された領域を本眉型P2とする(図6(d)参照)。

0039

描画毛穴位置特定部d3は、眉特徴情報特定部5cにより特定された本眉型P2内に存する毛穴Hの中で、描画される眉毛の起点となる毛穴Hを特定する(図7(c)参照)。すなわち、描画毛穴位置特定部d3は、眉特徴情報特定部5cにより特定された左右各々の眉領域A2の毛穴Hの密度に基づいて、眉毛の濃さを考慮した眉を生成する。
具体的には、例えば、描画毛穴位置特定部d3は、本眉型P2内に存する複数の毛穴H、…の中で、眉特徴情報特定部5cにより特定された眉毛が生えている毛穴Hを除外して、描画される眉毛の起点となる毛穴Hを特定する。また、例えば、描画毛穴位置特定部d3は、眉特徴情報特定部5cにより特定された眉毛が生えていない毛穴Hについて、本眉型P2内に存する複数の毛穴H、…の中で、眉毛が生えている毛穴Hが相対的に高い密度で周囲に存する毛穴Hを除外して、描画される眉毛の起点となる毛穴Hを特定する。同様に、例えば、描画毛穴位置特定部d3は、眉特徴情報特定部5cにより特定された眉毛が生えていない毛穴Hについて、本眉型P2内に存する複数の毛穴H、…の中で、眉特徴情報特定部5cにより特定された眉毛の流れ方向及び長さに基づいて描画すると本眉型P2からはみ出てしまう毛穴Hを除外して、描画される眉毛の起点となる毛穴Hを特定する。

0040

また、描画毛穴位置特定部d3は、記録部3に記録されている眉毛穴パラメータ3bを基準として、描画される眉毛の起点となる毛穴Hを特定しても良い。
具体的には、描画毛穴位置特定部d3は、記録部3に記録されている眉毛穴パラメータ3bを読み出して、当該眉毛穴パラメータ3bに毛穴Hの相対的な密度が規定されている複数の領域毎に本眉型P2内に存する複数の毛穴H、…の密度を調整する。例えば、描画毛穴位置特定部d3は、本眉型P2内に存する複数の毛穴H、…の中で、本眉型P2の眉頭側の領域は毛穴Hが相対的に低い密度となるように数を調整し、眉頭側以外の中央側、眉尻側の領域は毛穴Hが相対的に高い密度となるように数を調整する。

0041

また、眉生成部5dは、本眉型生成部d2により生成された本眉型P2、描画毛穴位置特定部d3により特定された眉毛の起点となる毛穴H、当該毛穴Hを起点とする眉毛の流れ方向及び長さを対応付けて眉情報として生成する。

0042

眉描画部(描画手段)5eは、画像取得部5aにより取得された顔を含む画像内に、眉生成部5dにより生成された眉を描画する(図8参照)。
すなわち、眉描画部5eは、顔検出処理により検出された顔領域A1内で、眉生成部5dにより生成された眉情報に基づいて、本眉型P2内の毛穴Hを起点とする所定の長さの眉毛を所定の流れ方向で形成することで眉を描画する。具体的には、眉描画部5eは、例えば、画像取得部5aにより取得された画像内の髪の毛の画像データを所定の色空間(例えば、HSV色空間等)に変換し、髪の毛と同系色となるように眉毛の下地の色や眉毛自体の色を決定する。このとき、例えば、眉毛の下地の色や眉毛自体の色の候補を複数用意して、ユーザによる所定の操作に基づいて選択させる構成であっても良い。
そして、眉描画部5eは、本眉型P2内に決定された眉毛の下地の色を付加した後、決定された色の眉毛を各毛穴H毎に所定の長さで且つ所定の流れ方向で形成する。このとき、描画毛穴位置特定部d3により特定された眉毛の長さに対応するテンプレートを用意しておき、眉描画部5eは、各毛穴H毎に所定の流れ方向となるように配置することで眉を描画しても良い。

0043

なお、上記した眉の描画手法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。例えば、眉描画部5eは、本眉型P2内に眉毛の下地の色を付加するようにしたが、例えば、本眉型P2内に眉毛の下地の色を付加せずに、所定の色の眉毛を描画するような構成であっても良い。

0044

表示部6は、例えば、LCD(Liquid Crystal Display)、CRT(Cathode Ray Tube)等のディスプレイから構成され、表示制御部7の制御下にて各種情報表示画面に表示する。

0045

表示制御部7は、表示用データを生成して表示部6の表示画面に表示させる制御を行う。
具体的には、表示制御部7は、例えば、GPU(Graphics Processing Unit)やVRAM(Video Random Access Memory)等を具備するビデオカード(図示略)を備えている。そして、表示制御部7は、中央制御部1からの表示指示に従って、眉生成処理にて眉を生成するための各種画面の表示用データをビデオカードによる描画処理によって生成し、表示部6に出力する。

0046

<眉生成処理>
次に、眉生成装置100による眉生成処理について、図2図8を参照して説明する。
図2は、眉生成処理に係る動作の一例を示すフローチャートである。

0047

図2に示すように、先ず、画像処理部5の画像取得部5aは、図示しない撮像装置により撮像されて記録部3に記録されている顔を含む画像の画像データを読み出して眉生成処理の処理対象として取得する(ステップS1)。
次に、顔構成部検出部5bは、画像取得部5aにより取得された画像データに対して所定の顔検出処理を行って、顔が含まれる顔領域A1(図3参照)を検出した後(ステップS2)、当該顔領域A1内から例えば、目、鼻、口、眉、顔輪郭等の主要な顔構成部を検出する(ステップS3)。

0048

次に、眉特徴情報特定部5cは、顔構成部検出部5bにより検出された左右各々の眉を含む眉領域A2の画像データの複製を取得して、所定の色空間(例えば、HSV色空間等)に変換して第1眉マップM1(図4(a)参照)を生成するとともに、所定のエッジ検出処理を行なって第2眉マップM2(図4(b)参照)を生成する(ステップS4)。そして、眉特徴情報特定部5cは、第1眉マップM1及び第2眉マップM2の各々に対して平滑化処理を施した後、これらを合成して左右各々の眉の形状を表す基準眉マップMa(図4(c)参照)をそれぞれ生成する(ステップS5)。

0049

次に、眉生成部5dの仮眉型生成部d1は、顔領域A1内で、基準眉マップMa及び左右の目、鼻の基準眉マップMaに対する相対的な位置関係を基準として、左右各々の仮眉型P1(図5(b)参照)を生成する(ステップS6)。具体的には、仮眉型生成部d1は、上下の仮眉頭構成点T1、T2、仮眉山構成点T3、仮眉尻構成点T4、仮眉第1構成点T5、仮眉第2構成点T6、仮眉第3構成点T7等を設定し、これらを基準として左右各々の仮眉型P1を生成する。

0050

次に、眉生成部5dの本眉型生成部d2は、記録部3に記録されている眉形状データ3a(図6(a)参照)を基準として左右各々の仮眉型P1を補正する(ステップS7)。続けて、本眉型生成部d2は、左右各々の鼻筋から眉の上下各々の輪郭に沿うような曲線を特定し、当該曲線を基準として仮眉型P1を補正して、左右各々の本眉型P2(図6(d)参照)を生成する(ステップS8)。

0051

次に、眉特徴情報特定部5cは、顔構成部検出部5bにより検出された左右各々の眉を含む眉領域A2の画像データの複製を取得して、左右各々の眉領域A2内の眉毛の流れ方向や長さを特定する(ステップS9;図7(a)参照)。続けて、眉特徴情報特定部5cは、左右各々の眉領域A2のうち、本眉型生成部d2により生成された本眉型P2内に存する眉の毛穴Hの位置を特定する(ステップS10;図7(b)参照)。
その後、描画毛穴位置特定部d3は、眉特徴情報特定部5cにより特定された本眉型P2内に存する毛穴Hの中で、描画される眉毛の起点となる毛穴Hを特定する(ステップS11;図7(c)参照)。例えば、描画毛穴位置特定部d3は、本眉型P2内に存する複数の毛穴H、…の中で、特徴情報特定部により特定された眉毛が生えている毛穴H等を除外して、描画される眉毛の起点となる毛穴Hを特定したり、記録部3に記録されている眉毛穴パラメータ3bに毛穴Hの相対的な密度が規定されている複数の領域毎に本眉型P2内に存する複数の毛穴H、…の密度を調整する。

0052

その後、眉描画部5eは、画像取得部5aにより取得された画像内の髪の毛の画像データを所定の色空間(例えば、HSV色空間等)に変換し、眉毛の下地の色や眉毛自体の色を決定し(ステップS12)、続けて、本眉型P2内に決定された眉毛の下地の色を付加した後、決定された色の眉毛を毛穴Hを起点として所定の長さで且つ所定の流れ方向で形成する(ステップS13;図8参照)。
これにより、眉生成処理を終了する。

0053

以上のように、本実施形態の眉生成装置100によれば、眉の特徴及び当該眉以外の他の顔構成部(例えば、目や鼻等)の眉に対する相対的な位置関係に基づいて眉を生成するので、元々の眉や顔の特徴を考慮して、個性を活かした理想的な眉を適正に生成することができる。
結果として、生成された眉を顔を含む画像内に描画することで、当該画像内にて新たに描画された眉と他の顔構成部との相対的な関係をより自然なものとすることができる。

0054

具体的には、眉の形状及び他の顔構成部の眉に対する相対的な位置関係に基づいて、新たな形状の眉を生成するので、元々の眉の形状を考慮することで、例えば、元々の眉に対して不自然な形状の眉が形成されることを抑制することができ、個性を活かした理想的な形状の眉をより適正に生成することができる。特に、記録されている複数の眉の形状の中から指定された眉の形状に基づいて、新たな形状の眉を生成することで、例えば、流行等を考慮しつつ個性を活かした理想的な形状の眉を生成することができる。
また、眉の毛穴Hの密度に基づいて、眉を生成するので、元々の眉の毛穴Hの密度(すなわち、眉毛の濃さ)を考慮することで、例えば、ベタ塗りしたような不自然な眉が形成されることを抑制することができ、個性を活かした理想的な濃さの眉をより適正に生成することができる。

0055

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態では、眉の特徴として、眉の形状や毛穴Hの密度を例示したが、一例であってこれに限られるものではなく、眉の特徴は適宜任意に変更可能である。また、眉の形状や毛穴Hの密度(眉毛の濃さ)を調整した眉を生成するようにしたが、一例であってこれに限られるものではなく、眉の形状や毛穴Hの密度を調整するか否かは適宜任意に変更可能であり、必ずしも眉の形状及び毛穴Hの密度の両方を調整する必要はない。

0056

また、上記実施形態では、眉形状データ3aに基づいて仮眉型P1の形状を補正するようにしたが、一例であってこれに限られるものではなく、眉生成部5dの構成は適宜任意に変更可能である。すなわち、必ずしも眉形状データ3aに基づいて仮眉型P1の形状を補正する必要はなく、同様に、必ずしも眉形状データ3aを記録する記録部3を具備する必要はない。

0057

さらに、上記実施形態では、生成された眉を顔領域A1内に描画するようにしたが、一例であってこれに限られるものではなく、眉を描画するか否かは適宜任意に変更可能である。すなわち、例えば、眉生成部5dにより生成された眉情報を所定の格納手段(例えば、メモリ2等)に格納する構成としても良く、必ずしも眉描画部5eを具備する必要はない。

0058

加えて、上記実施形態にあっては、取得手段、検出手段、特定手段、生成手段としての機能を、眉生成装置100の中央制御部1の制御下にて、画像取得部5a、顔構成部検出部5b、眉特徴情報特定部5c、眉生成部5dが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部1のCPUによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記録するプログラムメモリに、取得処理ルーチン、検出処理ルーチン、特定処理ルーチン、生成処理ルーチンを含むプログラムを記録しておく。そして、取得処理ルーチンにより中央制御部1のCPUを、顔を含む画像を取得する手段として機能させるようにしても良い。また、検出処理ルーチンにより中央制御部1のCPUを、取得された画像から眉を含む顔構成部を検出する手段として機能させるようにしても良い。また、特定処理ルーチンにより中央制御部1のCPUを、検出された眉の特徴を特定する手段として機能させるようにしても良い。また、生成処理ルーチンにより中央制御部1のCPUを、特定された眉の特徴及び当該眉以外の他の顔構成部の眉に対する相対的な位置関係に基づいて、眉を生成する手段として機能させるようにしても良い。

0059

同様に、描画手段についても、中央制御部1のCPUによって所定のプログラム等が実行されることにより実現される構成としても良い。

0060

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ROMやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、CD−ROM等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ(搬送波)も適用される。

0061

本発明は、化粧品売り場モニターに使用して好適であり、客に対し化粧アドバイスを行ったり、例えば、アイブローペンシルアイブローパウダー、アイブロー用等の販売促進活用したりすることができる。
また、撮影した顔の画像を補正して表示または印刷することもできるし、顔に直接眉を描くプリンタにも応用可能である。

0062

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
顔を含む画像を取得する取得手段と、
前記取得手段により取得された画像から眉を含む顔構成部を検出する検出手段と、
前記検出手段により検出された眉の特徴を特定する特定手段と、
前記特定手段により特定された眉の特徴及び当該眉以外の他の顔構成部の眉に対する相対的な位置関係に基づいて、眉を生成する生成手段と、
を備えたことを特徴とする眉生成装置。
<請求項2>
前記特定手段は、
前記眉の特徴として当該眉の形状を特定し、
前記生成手段は、
前記特定手段により特定された眉の形状及び前記他の顔構成部の眉に対する相対的な位置関係に基づいて、新たな形状の眉を生成することを特徴とする請求項1に記載の眉生成装置。
<請求項3>
眉の形状を複数記録する記録手段を更に備え、
前記生成手段は、
前記記録手段に記録されている複数の眉の形状の中から指定された眉の形状に基づいて、前記新たな形状の眉を生成することを特徴とする請求項2に記載の眉生成装置。
<請求項4>
前記特定手段は、
前記眉の特徴として当該眉の毛穴を特定し、
前記生成手段は、
前記特定手段により特定された眉の毛穴の密度に基づいて、眉を生成することを特徴とする請求項1〜3の何れか一項に記載の眉生成装置。
<請求項5>
前記取得手段により取得された顔を含む画像内に、前記生成手段により生成された眉を描画する描画手段を更に備えることを特徴とする請求項1〜4の何れか一項に記載の眉生成装置。
<請求項6>
前記他の顔構成部は、目及び鼻のうち、少なくとも一方を含むことを特徴とする請求項1〜5の何れか一項に記載の眉生成装置。
<請求項7>
眉生成装置を用いた眉生成方法であって、
顔を含む画像を取得する処理と、
取得された画像から眉を含む顔構成部を検出する処理と、
検出された眉の特徴を特定する処理と、
特定された眉の特徴及び当該眉以外の他の顔構成部の眉に対する相対的な位置関係に基づいて、眉を生成する処理と、
を含むことを特徴とする眉生成方法。
<請求項8>
眉生成装置のコンピュータを、
顔を含む画像を取得する取得手段、
前記取得手段により取得された画像から眉を含む顔構成部を検出する検出手段、
前記検出手段により検出された眉の特徴を特定する特定手段、
前記特定手段により特定された眉の特徴及び当該眉以外の他の顔構成部の眉に対する相対的な位置関係に基づいて、眉を生成する生成手段、
として機能させることを特徴とするプログラム。

0063

100眉生成装置
1中央制御部
3 記録部
3a眉形状データ
5画像処理部
5a画像取得部
5b 顔構成部検出部
5c 眉特徴情報特定部
5d 眉生成部
5e 眉描画部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ