図面 (/)

技術 皮膚表面に関する画像からの3次元形状の復元に基づく皮膚表面形状の特徴抽出装置

出願人 株式会社資生堂小沢慎治
発明者 諸沢敬二高橋元次川尻康晴矢内基裕小沢慎治
出願日 1992年9月22日 (28年2ヶ月経過) 出願番号 1992-277838
公開日 1994年4月19日 (26年7ヶ月経過) 公開番号 1994-105826
状態 特許登録済
技術分野 光学的手段による測長装置 イメージ分析 生体の呼吸・聴力・形態・血液特性等の測定 画像処理
主要キーワード 積分路 評価誤差 交点領域 表面法線ベクトル 区画分け 緩和法 型取り材 低倍率顕微鏡
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(1994年4月19日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

目的

皮膚表面の微細な形状を抽出して、皮膚の性状肌質、それらの加齢による変化を判定するための指標となる特徴情報を抽出する装置に関し、皮膚表面の3次元の形状を復元することを可能にし、それによってより正確な皮膚表面形状の特徴を抽出可能とすることを目的とする。

構成

CPU8は、バス7を介してスイッチ6を制御することによって、レプリカ面1を第1光源2A、第2光源2B、及び第3光源2Cによって順次照明させ、各照明動作に対応して拡大光学系3、撮像装置4、及びA/D変換器5から得られる3枚の画像データを、バス7を介してメモリ9に順次取り込む。CPU8は、これら3枚の画像データの各画素明度値から、レプリカ面画像各画素位置におけるレプリカ面1のグラディエントを計算し、そのグラディエントに基づいて、皮膚表面の3次元形状に関する種々の特徴パラメータを抽出する。

概要

背景

皮膚表面には、皮溝と呼ばれる多数の細い溝、皮溝によって区画分けされる皮丘と呼ばれる小丘、皮溝の交差部分に存在する毛孔などが存在し、それらは皮膚の代謝等の生理的な影響を受けて変化する。

従って、皮膚表面形状からの特徴抽出は、皮膚の性状肌質、それらの加齢による変化を判定するための指標となり、その指標は、皮膚の治療診断美容衛生などの分野において有用な情報を提供する。

皮膚表面形状の特徴抽出の第1の従来例として、皮膚表面をシリコンラバーなどによって型取りして皮膚表面レプリカネガティブレプリカ)を作成し、それを人間が光学顕微鏡で観察する方法がある。

皮膚表面形状の特徴抽出の第2の従来例として、皮膚表面レプリカを表面粗さ計を用いて触針により走査し、その結果得られた起伏値信号から起伏ピークの高さや数、ピーク面積などを求めて、皮膚表面レプリカ面の凹凸の程度を判定する方法がある。

皮膚表面形状の特徴抽出の第3の従来例として次のような方法がある。即ち、まず、皮膚表面又は皮膚表面レプリカ面を複数方向例えば3方向から照明する。次に、各照明毎に面を光学顕微鏡を介してテレビカメラ撮像し、その撮像信号ディジタル画像データに変換することによって、各照明画像についてその画像を構成する各画素毎の明度値を求める。そして、そのようにして得られた明度データに対して、ディジタル画像処理を施すことにより、幾何学的な特徴パラメータを抽出し、それを皮膚表面形状の特徴情報とする。

概要

皮膚表面の微細な形状を抽出して、皮膚の性状、肌質、それらの加齢による変化を判定するための指標となる特徴情報を抽出する装置に関し、皮膚表面の3次元の形状を復元することを可能にし、それによってより正確な皮膚表面形状の特徴を抽出可能とすることを目的とする。

CPU8は、バス7を介してスイッチ6を制御することによって、レプリカ面1を第1光源2A、第2光源2B、及び第3光源2Cによって順次照明させ、各照明動作に対応して拡大光学系3、撮像装置4、及びA/D変換器5から得られる3枚の画像データを、バス7を介してメモリ9に順次取り込む。CPU8は、これら3枚の画像データの各画素の明度値から、レプリカ面画像各画素位置におけるレプリカ面1のグラディエントを計算し、そのグラディエントに基づいて、皮膚表面の3次元形状に関する種々の特徴パラメータを抽出する。

目的

本発明は、皮膚表面の3次元の形状を復元することを可能にし、それによってより正確な皮膚表面形状の特徴を抽出可能とすることを目的とする。

効果

実績

技術文献被引用数
5件
牽制数
5件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

皮膚表面形状を照明する照明手段と、前記皮膚表面形状を撮像し、該皮膚表面形状の各平面位置に対応する各画素位置明度値を表すディジタル画像データを出力する撮像手段と、前記照明手段による複数の光源方向からの照明に対応して前記撮像手段からそれぞれ得られる複数枚の前記ディジタル画像データを記憶する画像データ記憶手段と、前記複数の光源方向の情報と前記複数枚のディジタル画像データから得られる明度値に基づいて、前記各画素位置における前記皮膚表面形状の勾配を抽出する勾配抽出手段と、前記勾配抽出手段により抽出された前記各画素位置毎における前記皮膚表面形状の勾配に基づいて、前記皮膚表面形状に関する特徴情報を抽出する特徴情報抽出手段と、を有することを特徴とする皮膚表面に関する画像からの3次元形状の復元に基づく皮膚表面形状の特徴抽出装置

請求項2

皮膚表面形状を照明する照明手段と、前記皮膚表面形状を撮像し、該皮膚表面形状の各平面位置に対応する各画素位置の明度値を表すディジタル画像データを出力する撮像手段と、前記照明手段による複数の光源方向からの照明に対応して前記撮像手段からそれぞれ得られる複数枚の前記ディジタル画像データを記憶する画像データ記憶手段と、前記複数の光源方向の情報と前記複数枚のディジタル画像データから得られる明度値に基づいて、前記各画素位置における前記皮膚表面形状の勾配を抽出する勾配抽出手段と、前記勾配抽出手段により抽出された前記各画素位置毎における前記皮膚表面形状の勾配に基づいて、前記皮膚表面形状の1つである皮溝の形状に関する特徴情報と、前記皮膚表面形状の1つである前記皮溝の交点領域の形状に関する特徴情報のうち、少なくとも1つ以上を抽出する特徴情報抽出手段と、を有することを特徴とする皮膚表面に関する画像からの3次元形状の復元に基づく皮膚表面形状の特徴抽出装置。

請求項3

皮膚表面形状を照明する照明手段と、前記皮膚表面形状を撮像し、該皮膚表面形状の各平面位置に対応する各画素位置の明度値を表すディジタル画像データを出力する撮像手段と、前記照明手段による複数の光源方向からの照明に対応して前記撮像手段からそれぞれ得られる複数枚の前記ディジタル画像データを記憶する画像データ記憶手段と、前記複数の光源方向の情報と前記複数枚のディジタル画像データから得られる明度値に基づいて、前記各画素位置における前記皮膚表面形状の勾配を抽出する勾配抽出手段と、前記勾配抽出手段により抽出された前記各画素位置毎における前記皮膚表面形状の勾配に基づいて、前記皮膚表面形状の1つである皮溝の形状の領域に関する特徴情報と、前記皮溝の形状の面積に関する特徴情報と、前記皮溝の形状の方向に関する特徴情報と、前記皮溝の形状の深さに関する特徴情報と、前記皮溝の形状の幅に関する特徴情報と、前記皮溝の形状の長さに関する特徴情報と、前記皮溝の形状の数に関する特徴情報と、前記皮膚表面形状の1つである前記皮溝の交点領域の形状の領域に関する特徴情報と、前記皮溝の交点領域の形状における毛孔の存在する割合に関する特徴情報と、前記皮溝の交点領域の形状における毛孔の深さに関する特徴情報と、前記皮溝の交点領域の形状における毛孔の大きさに関する特徴情報のうち、少なくとも1つ以上を抽出する特徴情報抽出手段と、を有することを特徴とする皮膚表面に関する画像からの3次元形状の復元に基づく皮膚表面形状の特徴抽出装置。

請求項4

前記特徴情報抽出手段は、前記勾配抽出手段により抽出された前記各画素位置毎における前記皮膚表面形状の勾配、該勾配の強度、該勾配の方向、又は該勾配の変化の程度の少なくとも1つ以上の情報に基づいて、前記特徴情報を抽出する、ことを特徴とする請求項1乃至3の何れか1項に記載の皮膚表面に関する画像からの3次元形状の復元に基づく皮膚表面形状の特徴抽出装置。

請求項5

前記特徴情報抽出手段は、前記勾配抽出手段により抽出された前記各画素位置毎における前記皮膚表面形状の勾配の強度を計算し、該勾配の強度に基づいて、前記皮溝の形状の領域及び前記皮溝の形状の面積に関する特徴情報を抽出する、ことを特徴とする請求項3に記載の皮膚表面に関する画像からの3次元形状の復元に基づく皮膚表面形状の特徴抽出装置。

請求項6

前記特徴情報抽出手段は、前記勾配抽出手段により抽出された前記各画素位置毎における前記皮膚表面形状の勾配の方向を計算し、該勾配の方向に基づいて、前記皮溝の形状の方向に関する特徴情報を抽出する、ことを特徴とする請求項3に記載の皮膚表面に関する画像からの3次元形状の復元に基づく皮膚表面形状の特徴抽出装置。

請求項7

前記特徴情報抽出手段は、前記勾配抽出手段により抽出された前記各画素位置毎における前記皮膚表面形状の勾配を前記特徴情報として抽出される前記皮溝の形状の領域内で積分し、該積分の結果に基づいて、前記皮溝の形状の深さ及び前記皮溝の形状の幅に関する特徴情報を抽出する、ことを特徴とする請求項3に記載の皮膚表面に関する画像からの3次元形状の復元に基づく皮膚表面形状の特徴抽出装置。

請求項8

前記皮溝の形状の領域に関する特徴情報、前記皮溝の形状の方向に関する特徴情報又は前記皮溝の形状の深さに関する特徴情報に基づいて、前記皮溝の形状の長さに関する特徴情報及び前記皮溝の形状の数に関する特徴情報を抽出する、ことを特徴とする請求項3に記載の皮膚表面に関する画像からの3次元形状の復元に基づく皮膚表面形状の特徴抽出装置。

請求項9

前記照明手段によって照明され、前記撮像手段によって撮像される前記皮膚表面形状は、皮膚表面を型取り材料によって型取りした皮膚表面レプリカの表面の形状である、ことを特徴とする請求項1乃至8の何れか1項に記載の皮膚表面に関する画像からの3次元形状の復元に基づく皮膚表面形状の特徴抽出装置。

請求項10

前記照明手段によって照明され、前記撮像手段によって撮像される前記皮膚表面形状は、皮膚表面の直接形状である、ことを特徴とする請求項1乃至8の何れか1項に記載の皮膚表面に関する画像からの3次元形状の復元に基づく皮膚表面形状の特徴抽出装置。

請求項11

前記勾配抽出手段は、前記各画素位置毎に、前記複数の光源方向の情報と前記複数枚のディジタル画像データから得られる現在の前記画素位置に対応する複数個の明度値に基づいて前記皮膚表面形状の勾配を推定し、その後、隣接する前記画素位置間で前記推定された勾配が最も滑らかになるという条件と、前記皮膚表面形状を実際に撮像して得られる前記複数の光源方向に対応する複数の明度値と前記推定された勾配に基づいて計算される前記複数の光源方向に対応する複数の反射強度との前記各画素位置毎の誤差が最小となるという条件の下で、前記各画素位置毎に前記推定された勾配を修正し、その結果得られる前記勾配を出力する、ことを特徴とする請求項1乃至10の何れか1項に記載の皮膚表面に関する画像からの3次元形状の復元に基づく皮膚表面形状の特徴抽出装置。

技術分野

0001

本発明は、皮膚表面の微細な形状を抽出して、皮膚の性状肌質、それらの加齢による変化を判定するための指標となる特徴情報を抽出する装置に関する。

背景技術

0002

皮膚表面には、皮溝と呼ばれる多数の細い溝、皮溝によって区画分けされる皮丘と呼ばれる小丘、皮溝の交差部分に存在する毛孔などが存在し、それらは皮膚の代謝等の生理的な影響を受けて変化する。

0003

従って、皮膚表面形状からの特徴抽出は、皮膚の性状、肌質、それらの加齢による変化を判定するための指標となり、その指標は、皮膚の治療診断美容衛生などの分野において有用な情報を提供する。

0004

皮膚表面形状の特徴抽出の第1の従来例として、皮膚表面をシリコンラバーなどによって型取りして皮膚表面レプリカネガティブレプリカ)を作成し、それを人間が光学顕微鏡で観察する方法がある。

0005

皮膚表面形状の特徴抽出の第2の従来例として、皮膚表面レプリカを表面粗さ計を用いて触針により走査し、その結果得られた起伏値信号から起伏ピークの高さや数、ピーク面積などを求めて、皮膚表面レプリカ面の凹凸の程度を判定する方法がある。

0006

皮膚表面形状の特徴抽出の第3の従来例として次のような方法がある。即ち、まず、皮膚表面又は皮膚表面レプリカ面を複数方向例えば3方向から照明する。次に、各照明毎に面を光学顕微鏡を介してテレビカメラ撮像し、その撮像信号ディジタル画像データに変換することによって、各照明画像についてその画像を構成する各画素毎の明度値を求める。そして、そのようにして得られた明度データに対して、ディジタル画像処理を施すことにより、幾何学的な特徴パラメータを抽出し、それを皮膚表面形状の特徴情報とする。

発明が解決しようとする課題

0007

しかし、前述した第1の従来例では、皮膚表面形状の特徴の評価が目視所見による主観的な評価であるため、評価が定量性欠け、評価に熟練を要するという問題点を有している。

0008

また、前述した第2の従来例では、観察することのできる領域が局所にかたよってしまい面の全体の特徴を抽出するには必ずしも十分でなく、更に、特別な計測装置も必要になってしまうという問題点を有している。

0009

更に、前述した第3の従来例では、面の全体的な特徴を定量的な特徴パラメータとして抽出することができるが、その特徴パラメータは明度値の分布のみに基づいて抽出されるため、例えば皮溝の深さに関する情報は明度分布から間接的に推定するしかない。

0010

従って、皮溝の幅や方向性と皮溝の深さとの関係、又は皮溝の交点が本当に毛孔に対応しているか否かなどの判定結果を詳細に求めることは難しく、皮膚表面形状の特徴を必ずしも正確に抽出できないという問題点を有している。

0011

本発明は、皮膚表面の3次元の形状を復元することを可能にし、それによってより正確な皮膚表面形状の特徴を抽出可能とすることを目的とする。

課題を解決するための手段

0012

本発明は、まず、皮膚表面又は皮膚表面レプリカなどの皮膚表面形状を照明する照明手段を有する。

0013

次に、皮膚表面又は皮膚表面レプリカなどの皮膚表面形状を撮像し、その皮膚表面形状の各平面位置に対応する各画素位置の明度値を表すディジタル画像データを出力する拡大光学系CCDカメラ、及びA/D変換器などから構成される撮像手段を有する。

0014

次に、照明手段による複数の光源方向からの照明に対応して撮像手段からそれぞれ得られる複数枚のディジタル画像データを記憶するRAM又はディスク記憶装置などの画像データ記憶手段を有する。

0015

更に、複数の光源方向の情報と複数枚のディジタル画像データから得られる明度値に基づいて、各画素位置における皮膚表面形状の勾配グラディエント)を抽出する、例えば所定の制御プログラムにより動作するマイクロプロセッサなどで構成される勾配抽出手段を有する。この勾配抽出手段は、例えば、各画素位置毎に、複数の光源方向の情報と複数枚のディジタル画像データから得られる現在の画素位置に対応する複数個の明度値に基づき皮膚表面形状の勾配を推定し、その後、隣接する画素位置間で推定された勾配が最も滑らかになるという条件と、皮膚表面形状を実際に撮像して得られる複数の光源方向に対応する複数の明度値と推定された勾配に基づいて計算される複数の光源方向に対応する複数の反射強度との各画素位置毎の誤差が最小となるという条件の下で、各画素位置毎に推定された勾配を修正し、その結果得られる勾配を出力する。

0016

そして、勾配抽出手段により抽出された各画素位置毎における皮膚表面形状の勾配に基づいて、皮膚表面形状に関する特徴情報を抽出する上記マイクロプロセッサなどで構成される特徴情報抽出手段を有する。

0017

特徴情報抽出手段は、より具体的には、勾配抽出手段により抽出された各画素位置毎における皮膚表面形状の勾配に基づいて、皮膚表面形状の1つである皮溝の形状に関する特徴情報と、皮膚表面形状の1つである皮溝の交点領域の形状に関する特徴情報のうち、少なくとも1つ以上を抽出する。

0018

皮溝の形状に関する特徴情報とは、皮溝の形状の領域に関する特徴情報、皮溝の形状の面積に関する特徴情報、皮溝の形状の方向に関する特徴情報、皮溝の形状の深さに関する特徴情報、皮溝の形状の幅に関する特徴情報、皮溝の形状の長さに関する特徴情報、又は皮溝の形状の数に関する特徴情報などである。

0019

皮溝の交点領域の形状に関する特徴情報とは、皮溝の交点領域の形状の領域に関する特徴情報、皮溝の交点領域の形状における毛孔の存在する割合に関する特徴情報、皮溝の交点領域の形状における毛孔の深さに関する特徴情報、皮溝の交点領域の形状における毛孔の大きさに関する特徴情報などである。

0020

そして、特徴情報抽出手段は、勾配抽出手段により抽出された各画素位置毎における皮膚表面形状の勾配、その勾配の強度、その勾配の方向、又はその勾配の変化の程度の少なくとも1つ以上の情報に基づいて、特徴情報を抽出する。

0021

皮膚表面形状の3次元形状を各画素位置での勾配を介して抽出できるため、皮溝の形状の領域、面積、方向、深さ、幅、長さ、又は数に関する特徴情報、或いは、皮溝の交点領域の形状の領域、そこでの毛孔の存在する割合、毛孔の深さ、又は大きさに関する特徴情報などを詳細に評価することができる。

0022

以下、図面を参照しながら本発明の実施例につき詳細に説明する。
<皮膚表面形状の特徴抽出装置の構成>図1は、本発明による皮膚表面形状の特徴抽出装置の構成図である。

0023

まず、レプリカ面1は、皮膚表面をシリコンラバーなどによって型取りして皮膚表面レプリカ(ネガティブレプリカ)の表面部分である。第1光源2A、第2光源2B、及び第3光源2Cは、レプリカ面1を選択的に照明し、仰角は例えば30度、照明方位は例えば相互に120度ずつずらされている。

0024

スイッチ6は、バス7を介してCPU8によって制御され、第1光源2A、第2光源2B、及び第3光源2Cを順次選択的に点灯させる。拡大光学系3は、低倍率顕微鏡又は接写レンズによって構成され、所定の倍率のレプリカ面画像が得られるように構成される。

0025

撮像装置4は、例えばCCD撮像素子であり、拡大光学系3を介して得られたレプリカ面画像を走査し、各画素位置の明度に従って振幅が変化するアナログ電気信号を発生する。

0026

A/D変換器5は、撮像装置4から発生されたアナログ電気信号をディジタル画像データに変換する。メモリ9は、主記憶装置である半導体メモリを含み、画像データの記憶量に応じて補助記憶装置であるハードディスク装置又は光磁気ディスク装置などを含むように構成することもできる。

0027

CPU8は、ROM9に記憶された制御プログラムに従って装置全体を制御する例えばマイクロプロセッサであり、まず、バス7を介してスイッチ6を制御することによって、レプリカ面1を第1光源2A、第2光源2B、及び第3光源2Cによって順次照明させ、各照明動作に対応してA/D変換器5から得られる3枚のディジタル画像データを、バス7を介してメモリ9に順次取り込む。

0028

次に、CPU8は、メモリ9に取り込んだ3枚のディジタル画像データの各画素の明度値から、レプリカ面画像の各画素位置におけるレプリカ面1のグラディエント(勾配)を計算し、その計算結果をメモリ9に格納する。

0029

続いて、CPU8は、メモリ9に得られた上述のグラディエントに基づいて、皮膚表面の3次元形状に関する種々の特徴パラメータを抽出し、その特徴パラメータをメモリ9に記憶すると共に、プリンタ12又はCRTディスプレイ12などに出力する。

0030

また、ユーザは、キーボード10からCPU8に対して各種指示を行うことができる。
<3次元形状復元原理>本発明では、レプリカ面1の各位置でのグラディエント(勾配)を得ることにより、レプリカ面1の各位置における深さ情報を得ること、即ち、レプリカ面1の3次元形状を復元することを可能としている。

0031

そこで、上述の構成を有する皮膚表面形状の特徴抽出装置の具体的動作について説明する前に、3次元形状復元の原理について説明する。
撮像方向の決定
今、レプリカ面1に関して、図2に示されるように3次元のxyz座標を定義し、レプリカ面1上の任意の微小領域において、当該微小領域に垂直な方向を有する単位ベクトル表面法線ベクトルn(下線は、それが付された記号ベクトル量であることを示す。以下同じ。)、当該微小領域から1つの光源に向かう方向を有する単位ベクトルを光源方向ベクトルns 、当該微小領域からそれを撮像するカメラ焦点に向かう方向を有する単位ベクトルを撮像方向ベクトルn0 とする。また光源方向ベクトルns と表面法線ベクトルnのなす角を入射角i、撮像方向ベクトルn0 と表面法線ベクトルnのなす角を反射角e、撮像方向ベクトルn0 と光源方向ベクトルns のなす角を位相角gとする。

0032

なお、本実施例ではレプリカ面1はネガティブレプリカ面であるため、例えば皮溝は図面の上方向に盛り上がる形状として表され、皮溝の深さ方向は−z方向となる。

0033

今、レプリカ面1が理想的な乱反射面ランバート面と呼ばれる)であると仮定する。皮膚表面レプリカは、皮膚表面をシリコンラバーによって型取りしたものであるため、レプリカ面1はランバート面としての特性を十分に備えていると仮定できる。

0034

この場合、レプリカ面1上の任意の微小領域における光の反射強度は、光源からの入射光(一様光)の入射角iの余弦cosiにのみ比例する。即ち、ランバート面と仮定できるレプリカ面1上の任意の微小領域は、当該微小領域がどの反射角eで撮像されても同じ明るさに撮像される。これは、レプリカ面1で単位面積あたりに反射される光量は、反射角eの余弦値に比例して減少するが、ある任意の立体角内で撮像される当該微小領域の表面積は反射角eの余弦値に反比例して増加するため、結果的に、撮像される当該微小領域の明るさは撮像方向を示す反射角eによらず一定となるからである。

0035

従って、ランバート面と仮定できるレプリカ面1の各点を撮像する場合には、各点に対する反射角eは考慮する必要はなく、図1の拡大光学系3の光軸は、例えばレプリカ面1が置かれている面に対しほぼ直交する方向に定めればよい。
グラディエントと表面法線ベクトルとの関係
レプリカ面1の3次元形状を復元するためには、レプリカ面1を撮像して得たレプリカ面画像の各画素位置でのレプリカ面1のグラディエント(勾配)を求めることができればよい。各画素位置におけるグラディエントを求めることができれば、それらを一定の方向に積分することによって、レプリカ面1の3次元形状を復元できるからである。

0036

今、図2で定義されるxyz座標中のレプリカ面1を次式で表す。

0037

0038

この数式で表わされるレプリカ面1のグラディエントは、各要素が次式で示されるベクトル(p,q)によって表すことができる。

0039

0040

ここで、図2に示されるxyz座標中のレプリカ面1上の任意の微小領域は、次式で示される平面で近似することができる。

0041

0042

数式2と数式3から、当該微小領域におけるグラディエントの要素p,qは、次式で表すことができる。

0043

0044

従って、数式3と数式4より、当該微小領域の平面は次式で表わされる。

0045

0046

今、所定の点(0,0,K) は、数式5の方程式満足するため、この点は当該微小領域の平面上の点である。そして、この点から当該微小領域の平面上の任意の点(x,y,z) へのベクトル(x,y,z-k) は、当該微小領域の表面法線ベクトルnと直交するため、これらのベクトルの内積は0である。

0047

ここで、図2では、表面法線ベクトルnは−z方向に向かうベクトルであるため、次式で表すことができる。

0048

0049

但し、n3 >0である。数式6で示される表面法線ベクトルnと微小領域上のベクトル(x,y,z-k) の内積が0であることより、次式が成立する。

0050

0051

数式5と数式7より、次式が成立する。

0052

0053

従って、数式8の関係より、レプリカ面1上の各微小領域での表面法線ベクトルn=(n1 ,n2 ,−n3 )を求めることができれば、当該微小領域でのグラディエント(p,q)を求めることができる。

0054

ここで、レプリカ面1上の各微小領域をレプリカ面画像の各画素位置(x,y) に対応させ、その位置でのグラディエントを(p(x,y) ,q(x,y) )とし、また、数式6より、表面法線ベクトルを次式で表す。

0055

0056

但し、表面法線ベクトルnは単位ベクトルであるから、次式が成立する。

0057

0058

数式8、数式9、及び数式10より、次式が成立する。

0059

0060

従って、数式11の関係より、レプリカ面画像の各画素位置(x,y) での表面法線ベクトルn(x,y) を求めることができるならば、その位置でのグラディエント(p(x,y) ,q(x,y) )を求めることができる。そして、各画素位置におけるグラディエントを一定の画素方向に積分すれば、各画素位置毎にz座標の値を推定することができ、レプリカ面1の3次元形状を復元できる。
各画素位置での表面法線ベクトルの推定
前述のように、レプリカ面1をランバート面と仮定すると、レプリカ面1上の任意の微小領域における光の反射強度は、光源からの入射光(一様光)の入射角iの余弦cosiにのみ比例する。レプリカ面画像上でも同じ関係が成立し、各画素(x,y) における光の反射強度R(x,y) は、光源からの入射光の入射角i(x,y)の余弦 cosi(x,y) にのみ比例し、従って、次式が成立する。

0061

0062

但し、r0 (x,y) は、画素位置(x,y) に対応するレプリカ面1における反射率である。今、1つの光源方向ベクトルns (画素位置(x,y) には依存しない)が決定されれば、図2に示される関係より、次式が成立する。

0063

0064

従って、数式12と数式13より、次式が成立する。

0065

0066

ここで、レプリカ面1を実際に撮像して得られる各画素位置(x,y) での明度値をI(x,y) とすれば、次の方程式が成立する。

0067

0068

但し、c(x,y) は、画素位置(x,y) での正規化定数である。よって、数式14と数式15より、次の方程式が成立する。

0069

0070

0071

数式16において、α(x,y) と表面法線ベクトルn(x,y) が未知数であり、数式9と数式10より、n(x,y) は2つの未知数n1 (x,y) とn2 (x,y) を含む。従って、数式16は3つの未知数を含み、これらの未知数を決定するためには、3個の方程式が必要である。

0072

そこで、図1に示されるように、3つの方向に配置された第1光源2A、第2光源2B、及び第3光源2Cでレプリカ面1を別々に照明し、各光源からの照明に対応してレプリカ面1を実際に撮像して得られる各画素位置(x,y) での3つの明度値と、上記3つの光源の光源方向ベクトルとについて、数式16の方程式を解くことによって、係数α(x,y) 及び表面法線ベクトルn(x,y) を決定することができる。

0073

まず、3つの光源方向ベクトルns1、ns2、及びns3は、それぞれ−z方向に向かう単位ベクトルであるため、数式6、数式10と同様の考えにより、次式の行列Nで表すことができる。

0074

0075

また、各画素位置(x,y) における3つの明度値I1 (x,y) 、I2 (x,y) 、及びI3 (x,y) を次式の転置ベクトルI(x,y) で表す。

0076

0077

但し、数式19の右辺括弧の右肩のTは、転置を示す。数式16、数式18、及び数式19より、次式が成立する。

0078

0079

3つの光源方向ベクトルns1、ns2、及びns3が同一平面上になければ、数式18で示される行列Nの逆行列N-1が存在する。そこで、まず、表面法線ベクトルn(x,y) が単位ベクトルであることと、数式18及び数式19を用いて、係数α(x,y) を、次式により求めることができる。

0080

0081

更に、数式21で求まった係数α(x,y) 、数式9、数式10、数式18、及び数式19を用いて、表面法線ベクトルn(x,y) を、次式により求めることができる。

0082

0083

各画素位置でのグラディエントの推定
数式22で各画素位置(x,y) での表面法線ベクトルn(x,y) が求まったら、数式11により、各画素位置(x,y) でのグラディエント(p(x,y) ,q(x,y) )を求めることができる。
緩和法によるグラディエントの修正
上述の原理に基づいて推定されたグラディエント(p(x,y) ,q(x,y) )は、3つの光源からの照明に対応してレプリカ面1を実際に撮像して得られるレプリカ面画像の各画素位置(x,y) での3つの明度値から推定された値であるため、多くの誤差を含んでいる。各画素位置(x,y) での誤差E(x,y) は、次式のように定義することができる。

0084

0085

数式23において、まず、se (x,y) は、画素位置(x,y) におけるレプリカ面1の滑らかさの誤差を示しており、次式で定義される。

0086

0087

ここで、px(x,y)はグラディエントp(x,y) のx座標方向の1次偏微分であり、px(x,y)2 はグラディエントp(x,y) のx座標方向の2乗誤差を示す。この値が小さければグラディエントp(x,y) がx座標方向に滑らかであることを示している。同様に、py(x,y)とpy(x,y)2 はグラディエントp(x,y) のy座標方向の1次偏微分と2乗誤差を示し、qx(x,y)とqx(x,y)2 はグラディエントq(x,y) のx座標方向の1次偏微分と2乗誤差を示し、qy(x,y)とqy(x,y)2 はグラディエントq(x,y) のy座標方向の1次偏微分と2乗誤差を示す。

0088

皮膚表面に対応するレプリカ面1は局所的には滑らかであるというヒューリスティック要請があるために、結局、数式23における誤差se (x,y) が小さければ、画素位置(x,y) においてレプリカ面1は滑らかであるという条件を満足することになる。

0089

次に、数式23において、re (x,y) は、画素位置(x,y) において、レプリカ面1を実際に撮像して得られる3つの光源方向に対応する3つの明度値と、推定により得られたグラディエント(p(x,y) ,q(x,y) )に基づいて計算される3つの光源方向に対応する3つの正規化された光の反射強度との2乗誤差の線形結合を示しており、数式15の方程式に基づけば、次式で定義される。

0090

0091

ここで、I1 (x,y) 、I2 (x,y) 、及びI3 (x,y) は、画素位置(x,y) においてレプリカ面1を実際に撮像して得られる3つの光源方向に対応する3つの明度値であり(数式19参照)、また、c(x,y) R1 (x,y) 、c(x,y) R2 (x,y) 、及びc(x,y) R3 (x,y) は、画素位置(x,y) において数式21により推定される係数α(x,y) と数式22により推定されるグラディエント(p(x,y) ,q(x,y) )に基づいて計算される3つの光源方向に対応する3つの正規化された光の反射強度である。また、λ1 、λ2 、及びλ3 は、それぞれが乗算される各光源方向の2乗誤差項の誤差E(x,y) に対する寄与率を定める定数であり、それぞれ経験的に定められる。

0092

数式23での誤差re (x,y) が十分に小さいならば、前述した数式15で示される反射率に関する方程式が成立することになり、グラディエント(p(x,y) ,q(x,y) )の推定値が正しいことになる。

0093

画素位置(x,y) 毎に、数式23〜25で定義される誤差E(x,y) を最小にするために、誤差E(x,y) をグラディエントp(x,y) で偏微分して得た式を0とおくと、次式が得られる。

0094

0095

数式26の右辺第1項は、数式24より、次式のように計算される。

0096

0097

ここで、pxx(x,y) は画素位置(x,y) でのグラディエントp(x,y) のx座標方向の2次偏微分、pyy(x,y) は画素位置(x,y) でのグラディエントp(x,y) のy座標方向の2次偏微分であって、近似的に、それぞれ次式で示される。

0098

0099

即ち、pxx(x,y) は近似的に、画素位置(x,y) でのグラディエントp(x,y) と、画素位置(x,y) にx方向に隣接する画素位置(x+1,y) 及び(x-1,y) でのグラディエントp(x+1,y) 及びp(x-1,y) のそれぞれとで差分値を計算し、得られた2つの差分値の更に差分値を計算することによって求めることができる。y方向に関するpyy(x,y) についても同様に求めることができる。

0100

数式27と数式28より、次式が得られる。

0101

0102

但し、pav(x,y) は、次式で表されるように、画素位置(x,y) の上下左右に隣接する4つの画素位置でのグラディエントの平均値である。

0103

0104

一方、前述した数式26の右辺第2項は、数式25より、次式のように計算される。

0105

0106

数式26、数式29、及び数式31より、次の方程式が成立する。

0107

0108

従って、グラディエントp(x,y) は、次式によって修正される。

0109

0110

数式33で、pav(x,y) は、数式30で表されるように、画素位置(x,y) の上下左右に隣接する4つの画素位置でのグラディエントの平均値として計算することができる。

0111

次に、数式33で、定数λ1 、λ2 、及びλ3 は、前述したように、経験的に定められる。また、数式33で、I1 (x,y) 、I2 (x,y) 、及びI3 (x,y) は、前述したように、画素位置(x,y) においてレプリカ面1を、図1の第1光源2A、第2光源2B、及び第3光源2Cの3つの光源によって実際に撮像して得られる3つの光源方向に対応する3つの明度値である。

0112

更に、数式33において、c(x,y) R1 (x,y) は、数式14と数式17、更に数式18、数式9、及び数式10より、次式によって表される。

0113

0114

ここで、数式11より、次式が成立する。

0115

0116

数式35を数式11に代入することにより、次式が得られる。

0117

0118

数式34と数式36より、数式33における項c(x,y) R1 (x,y) は、光源方向ベクトルns1の要素ns11 、ns12 と、画素位置(x,y) における係数α(x,y) 及びグラディエント(p(x,y) ,q(x,y) )を用いて、次式により計算できる。

0119

0120

0121

0122

数式37と全く同様にして、数式33における項c(x,y) R2 (x,y) は、光源方向ベクトルns2の要素ns21 、ns22 と、画素位置(x,y) における係数α(x,y)及びグラディエント(p(x,y) ,q(x,y) )を用い、次式と数式38により計算できる。

0123

0124

0125

同様に、数式33における項c(x,y) R3 (x,y) は、光源方向ベクトルns3の要素ns31 、ns32 と、画素位置(x,y) における係数α(x,y) 及びグラディエント(p(x,y) ,q(x,y) )を用い、次式と数式38により計算できる。

0126

0127

0128

更に、数式33において、項∂{c(x,y) R1 (x,y) }/∂p(x,y) 、∂{c(x,y) R2 (x,y) }/∂p(x,y) 、及び∂{c(x,y) R1 (x,y) }/∂p(x,y)は、それぞれ数式37、数式40、及び数式42をp(x,y) で偏微分することにより、次の数式44〜46と、数式38、39、41、及び43によって計算できる。

0129

0130

0131

0132

以上、数式30、数式37〜43、及び数式44〜46を用いることにより、数式33で示される方程式によってグラディエントp(x,y) を修正することができる。

0133

一方、数式23〜25で定義される誤差E(x,y) を最小にするために、数式26〜36の場合と同様に、誤差E(x,y) がグラディエントq(x,y) で偏微分される。この結果、上述のグラディエントp(x,y) の場合と同様に、前述した数式37〜43と、以下に示される数式48、及び数式49〜51を用いることによって、次の数式47で示される方程式によってグラディエントq(x,y) を修正することができる。

0134

0135

0136

0137

0138

0139

上述の数式33及び数式47で示されるグラディエントp(x,y) 及びq(x,y)の修正方程式は、右辺のpav(x,y) 、qav(x,y) 、R1 (x,y) 、R2 (x,y) 、及びR3 (x,y) が修正済のグラディエントに基づいて計算されている場合に成立する。ところが、各画素位置でグラディエントが推定された直後の初期状態においては、修正済のグラディエントは存在しない。

0140

そこで、本発明の実施例においては、グラディエントの修正に緩和法を採用する。即ち、グラディエントの推定値を初期値として計算されるpav(x,y) 、qav(x,y) 、R1 (x,y) 、R2 (x,y) 、及びR3 (x,y) に基づいて数式33及び数式47を計算することにより、各画素位置(x,y) でのグラディエント(p(x,y) 、q(x,y) )を修正し、その修正されたグラディエントから計算されるpav(x,y)、qav(x,y) 、R1 (x,y) 、R2 (x,y) 、及びR3 (x,y) に基づいて、数式33及び数式47で、各画素位置(x,y) でのグラディエントp(x,y) 及びq(x,y) を更に修正するという処理を繰り返す。

0141

この結果、各画素位置(x,y) でのグラディエント(p(x,y) 、q(x,y) )は、徐々に妥当な値に収束する。このとき、各繰り返しに先立って、前回修正されたグラディエント(p(x,y) 、q(x,y) )に基づいて、数式23によって各画素位置(x,y) での誤差E(x,y) を計算し、この誤差の全画素の和が十分に小さくなった時点で、グラディエント(p(x,y) 、q(x,y) )の値が収束したと判定すればよい。

0142

なお、数式23の誤差E(x,y) の計算において、se (x,y) は数式24によって計算でき、このとき、px(x,y)、py(x,y)、qx(x,y)、及びqy(x,y)は、次式によって計算できる。

0143

0144

また、数式23の誤差E(x,y) の計算において、re (x,y) は数式25によって計算できる。このとき、前述したように、I1 (x,y) 、I2 (x,y) 、及びI3(x,y) は、前述したように、画素位置(x,y) においてレプリカ面1を図1の第1光源2A、第2光源2B、及び第3光源2Cの3つの光源により実際に撮像して得られる3つの光源方向に対応する3つの明度値であり、λ1 、λ2 、及びλ3はそれぞれ経験的に定められる定数であり、c(x,y) R1 (x,y) 、c(x,y) R2(x,y) 、及びc(x,y) R3 (x,y) は、数式37〜43により計算できる。
<本発明による皮膚表面形状の特徴抽出装置の具体的動作>上述の3次元形状復元の原理に基づく図1の皮膚表面形状の特徴抽出装置の具体的動作について、以下に順次説明する。なお、以下の動作フローチャートは、図1のCPU8がROM10に記憶された制御プログラムを実行する動作として実現される。
体動
図3は、皮膚表面形状の特徴抽出装置の全体的な処理を示す動作フローチャートである。

0145

まず、ステップS301で、3枚のレプリカ面画像が入力され、メモリ9に取り込まれる。次に、ステップS302で、メモリ9に取り込まれた3枚のディジタル画像データの各画素位置の明度値から、レプリカ面画像の各画素位置(x,y) でのレプリカ面1のグラディエント(p(x,y) 、q(x,y) )が計算される。

0146

そして、ステップS303で、上述のグラディエント(p(x,y) 、q(x,y) )から、皮膚表面形状の特徴パラメータが抽出される。
レプリカ面画像の入力
図4は、図3のステップS301のレプリカ面画像の入力処理の動作フローチャートである。

0147

まず、ステップS401で、CPU8はバス7を介してスイッチ6を制御し、第1光源2Aを点灯させる。次に、ステップS402で、A/D変換器5から得られるディジタル画像データを、バス7を介してメモリ9の第1の画像格納領域に順次取り込む。

0148

次に、ステップS403で、CPU8はバス7を介してスイッチ6を制御し、第2光源2Bを点灯させる。そして、ステップS404で、A/D変換器5から得られるディジタル画像データを、バス7を介してメモリ9の第2の画像格納領域に順次取り込む。

0149

更に、ステップS405で、CPU8はバス7を介してスイッチ6を制御し、第3光源2Cを点灯させる。そして、ステップS406で、A/D変換器5から得られるディジタル画像データを、バス7を介してメモリ9の第3の画像格納領域に順次取り込む。

0150

以上の処理によって、メモリ9には、レプリカ面1上の撮像領域の各画素位置(x,y) 毎に、3つの明度値I1 (x,y) 、I2 (x,y) 、及びI3 (x,y) のデータが得られる。
各画素位置でのグラディエントの計算
図5は、図3のステップS302の、レプリカ面画像の各画素位置(x,y) でのレプリカ面1のグラディエント(p(x,y) 、q(x,y) )の計算処理の動作フローチャートである。

0151

まず、ステップS501で、数式18及び数式19を用いて数式21を計算することにより、各画素位置(x,y) での係数α(x,y) が推定される。なお、数式18で示される3つの光源方向ベクトルns1、ns2、及びns3は、第1光源2A、第2光源2B、及び第3光源2Cが設置された時点で決定することができ、予めメモリ9に記憶されている。また、数式19で示される各画素位置(x,y) の3つの明度値I1 (x,y) 、I2 (x,y) 、及びI3 (x,y) は、図3のステップS303(図4参照)の処理でメモリ9の第1〜第3の画像領域に得られている。

0152

次に、ステップS502で、ステップS501で得られた各画素位置(x,y) での係数α(x,y) と、数式9、数式10、数式18、及び数式19を用いて数式22を計算することによって、各画素位置(x,y) での表面法線ベクトルn(x,y) が推定される。

0153

次に、ステップS503で、ステップS502で求まった各画素位置(x,y) での表面法線ベクトルn(x,y) に基づいて、数式11により、各画素位置(x,y) でのグラディエント(p(x,y) ,q(x,y) )が推定される。

0154

続いて、ステップS504〜S509の緩和法の処理が実行される。まず、ステップS504で、ステップS503で求まった各画素位置(x,y) でのグラディエント(p(x,y) ,q(x,y) )が、緩和法の繰り返し演算のp(x,y)及びq(x,y) の初期値として、メモリ9の適当な変数領域に設定される。

0155

次に、ステップS505で、上述のグラディエント(p(x,y) 、q(x,y) )の前回の値(初回の場合はステップS504で設定された初期値、それ以後はステップS508とS509で計算された値)に基づいて、数式24、数式52、数式25、及び数式37〜43を用いて数式23を計算することにより、各画素位置(x,y) での誤差E(x,y) が計算される。ここで、数式52の右辺は、各画素位置(x,y) の上下左右に隣接する4つの画素位置でのグラディエントの前回の値に基づいて計算される。また、数式38の右辺は、グラディエント(p(x,y) ,q(x,y) )の前回の値に基づいて計算され、数式39、41、43の右辺はグラディエント(p(x,y) 、q(x,y) )の前回の値と、予めメモリ9に記憶されている3つの光源方向ベクトルns1、ns2、及びns3の各要素に基づいて計算され、更に、数式37、40、42の右辺は、上述の数式38、39、41、及び43の計算結果と、ステップS501で計算された係数α(x,y) に基づき計算される。また、数式25で、定数λ1 、λ2 、及びλ3 は、前述したように経験的に定められて予めメモリ9に得られており、I1 (x,y) 、I2 (x,y) 、及びI3 (x,y)は、図3のステップS303(図4参照)の処理でメモリ9の第1〜第3の画像領域に得られている。

0156

続いて、ステップS506においては、ステップS505で計算された各画素位置(x,y) での誤差E(x,y) の全画素についての総和が計算される。そして、ステップS507では、ステップS506で計算された誤差の総和が所定の閾値以下になったか否かが判定される。

0157

ステップS507の判定がNOなら、ステップS508とS509で、グラディエント(p(x,y) 、q(x,y) )が修正される。即ち、ステップS508では、ステップS505における数式37〜43の計算結果と、数式30、及び数式44〜46を用いて数式33が計算されることにより、グラディエントp(x,y) が修正される。ここで、数式30の右辺は、各画素位置(x,y) の上下左右に隣接する4つの画素位置でのグラディエントの前回値の平均値として計算される。また、数式44〜46の右辺は、ステップS505で計算された数式38、39、41、及び43の計算結果と、グラディエントp(x,y) の前回値と、予めメモリ9に記憶されている3つの光源方向ベクトルns1、ns2、及びns3の各第1要素と、ステップS501で計算された係数α(x,y)に基づいて計算される。更に、数式33で、定数λ1 、λ2 、及びλ3 は、前述したように経験的に定められて予めメモリ9に得られており、I1 (x,y) 、I2(x,y) 、及びI3 (x,y) は、図3のステップS303(図4参照)の処理でメモリ9の第1〜第3の画像領域に得られている。

0158

また、ステップS509では、ステップS505における数式37〜43の計算結果と、数式48、及び数式49〜51を用いて数式47が計算されることにより、グラディエントq(x,y) が修正される。ここで、数式48の右辺は、各画素位置(x,y) の上下左右に隣接する4つの画素位置でのグラディエントの前回値の平均値として計算される。また、数式49〜51の右辺は、ステップS505で計算された数式38、39、41、及び43の計算結果と、グラディエントq(x,y) の前回値と、予めメモリ9に記憶されている3つの光源方向ベクトルns1、ns2、及びns3の各第2要素と、ステップS501で計算された係数α(x,y)に基づいて計算される。更に、数式47で、定数λ1 、λ2 、及びλ3 は、前述したように経験的に定められて予めメモリ9に予め得られており、I1 (x,y) 、I2 (x,y) 、及びI3 (x,y) は、図3のステップS303(図4参照)の処理でメモリ9の第1〜第3の画像領域に得られている。

0159

その後、ステップS505、S506が再び実行されて各画素位置(x,y) での誤差E(x,y) 及びその誤差の全画素位置についての総和が計算され、ステップS507でその誤差の総和が所定の閾値以下になっていないと判定される間はステップS508〜S507の処理が繰り返される。

0160

そして、ステップS507で上述の誤差の総和が所定の閾値以下になったと判定されると、各画素位置(x,y) でのグラディエント(p(x,y) 、q(x,y) )は妥当な値に収束したといえるため、ステップS510で、最終的に得られた各画素位置(x,y) でのグラディエント(p(x,y) 、q(x,y) )がメモリ9に格納され、これにより、図3のステップS302の処理を終了する。
鳥瞰図による考察
次に、図3のステップS303の皮膚表面形状の特徴パラメータの抽出処理について説明する前に、上述の処理によって得られた各画素位置(x,y) におけるグラディエント(p(x,y) 、q(x,y) )に基づいて復元されるレプリカ面1の3次元形状の例について説明する。

0161

各画素位置(x,y) でのグラディエント(p(x,y) 、q(x,y) )を求めることができれば、それらをレプリカ面画像上で一定の方向に積分することによって、各画素位置(x,y) におけるz座標の値を求めることができ、レプリカ面1の3次元形状を復元することができる。

0162

図6は、そのようにして復元されたレプリカ面1の3次元形状を鳥瞰図として示した図である。この図からわかるように、皮溝領域では、グラディエントが大きく変化することにより、−z方向にV字型切れ込んでいることがわかる。

0163

また、皮溝と皮溝の交点付近においても、グラディエントが大きく変化することにより、−z方向に特徴的な形状を呈することがわかる。これに対して、皮丘領域ではグラディエントの変化が少なく、平面に近い形状を呈する。
皮膚占有率の抽出
以上の考察に基づく、図3のステップS303の皮膚表面形状の特徴パラメータの抽出処理について、図7の動作フローチャートに沿って説明する。

0164

まず、ステップS701では、皮溝占有率が抽出される。皮溝占有率は、皮溝領域のレプリカ面画像全体に対する面積率で定義され、皮溝と皮溝の交点(毛孔を含む)の領域も皮溝に含まれる。

0165

ここでの処理の動作フローチャートを図8に示す。図8において、まず、ステップS801で、各画素位置(x,y) 毎に、図3のステップS302で計算されたグラディエント(p(x,y) 、q(x,y) )を用いて、次式によりグラディエント強度が計算される。この物理量は、各画素位置(x,y)でのレプリカ面1の傾きの強さを示している。

0166

0167

次に、ステップS802で、所定の閾値以上のグラディエント強度を有する画素位置(x,y) が抽出され、その画素に当該画素が皮溝であることを示すラベルが付与される。この結果、レプリカ面画像において皮溝領域の画素が抽出される。なお、数式53で用いられる各画素位置(x,y) でのグラディエント(p(x,y) 、q(x,y) )は、前述したように緩和法のアルゴリズムによって決定された値であるため、上述のような簡単な閾値処理によって容易に皮溝領域を検出できる。

0168

最後に、ステップS803で、次式により皮溝占有率が計算され、その計算結果が、メモリ9に格納されると共にプリンタ11又はCRTディスプレイ12に出力される。

0169

0170

以上のようにして計算される皮溝占有率は、皮溝と皮溝の交点(毛孔を含む)の領域の広さを示す特徴パラメータとなる。一般に、人間の皮膚は、加齢と共に、皮溝の密度が減少するため、上述のようにして皮溝占有率を直接評価できることは重要である。
皮溝方向の標準偏差及びヒストグラムの抽出
図7のステップS702では、皮溝方向の標準偏差及びヒストグラムが抽出される。皮溝方向は皮溝の長手方向として定義される。

0171

ここでの処理の動作フローチャートを図9に示す。図9において、まず、ステップS901で、図8のステップS802で求まった皮溝領域の画素(x,y) について、次式によってグラディエント方向が計算される。このグラディエント方向は、例えば−π/2からπ/2[rad]の範囲で計算される。

0172

0173

皮溝領域におけるグラディエント方向は、皮溝方向に垂直な方向、即ち皮溝の幅方向を示す。従って、ステップS902で、次式により上述のグラディエント方向にπ/2[rad]が加算され、その結果、皮溝方向が抽出される。

0174

0175

そして、ステップS903では、このようにして求まった各画素位置(x,y) における皮溝方向について、皮溝領域全体の標準偏差及びヒストグラムが計算されて、その計算結果が、メモリ9に格納されると共にプリンタ11又はCRTディスプレイ12に出力される。

0176

以上のようにして求まる皮溝方向の標準偏差が小さい場合、レプリカ面画像全体において皮溝が一定方向に流れていることを示し、標準偏差が大きい場合、レプリカ面画像全体において皮溝が縦横に走っていることを示している。また、ヒストグラムを検査することにより、皮溝方向の分布も抽出することができる。

0177

一般に、人間の皮膚は、加齢と共に、皮溝に関する放射状の均質性が失われ、皮溝が一定方向に流れる傾向を呈するため、上述のようにして皮溝方向を直接評価できることは重要である。
皮溝底の深さの平均と標準偏差及びヒストグラムの抽出
図7のステップS703では、皮溝底の深さの平均と標準偏差及びヒストグラムが抽出される。皮溝底の深さは皮溝の形状を決定する最も重要なパラメータである。

0178

今、図2より、レプリカ面1に関する座標は図10のように定義されるため、例えば皮溝領域における深さの空間1次微分であるグラディエント(p(x,y) 、q(x,y) )の符号及び深さの空間2次微分であるラプラシアンは図面のようになる。このような性質を利用して、図11の動作フローチャートで示されるアルゴリズムにより皮溝底の画素とその深さに関する情報が抽出される。

0179

図11において、まず、ステップS1101で、レプリカ面画像の各画素位置(x,y) 毎にレプリカ面1の深さの空間2次微分、即ち、ラプラシアンが計算される。ここで、深さ値は直接には求まっていないため、グラディエントp(x,y) 及びq(x,y) の空間1次微分px(x,y)及びqy(x,y)を計算し、それらの線形結合を求めることにより、ラプラシアンを計算することができる。なお、px(x,y)及びqy(x,y)は、図3のステップS302に関する図5のステップS505で数式52により計算されるため、ステップS505の計算時に次式を同時に計算し、その計算結果をラプラシアンとしてメモリ9に記憶させておけばよい。

0180

0181

次に、ステップS1102で、レプリカ面画像全体で、ラプラシアンが所定の閾値以上の正の極大値となる画素が探索され、それを満たす1つの画素が皮溝底の画素候補として抽出される。

0182

皮溝底の画素候補が見つかると、ステップS1103の判定がYESとなり、次に、ステップS1104において、皮溝底の画素候補の周囲の直近画素内に、図7のステップS701に関する図8のステップS802で求まっている皮溝領域が存在するか否かが探索される。

0183

皮溝領域が見つからない場合には、当該皮溝底の画素候補は皮溝底の画素ではないと判定できるため、ステップS1105の判定結果がNOとなってステップS1102に戻る。一方、皮溝領域が見つかった場合には、当該皮溝底の画素候補は皮溝底の画素であると判定できるため、ステップS1105の判定結果がYESとなって、ステップS1106に進む。

0184

ステップS1106では、上述の皮溝画素候補が皮溝画素としてラベル付けされる。続いて、ステップS1107とS1108において、積分に関する処理が実行される。今、図10に示されるように、皮溝底の画素での深さは、皮溝底の画素から、それが含まれる皮溝の端の画素までの高さであると定義できる。そこで、皮溝底の画素から皮溝の端の画素までグラディエントを積分することにより、皮溝底の画素の深さを求めることができる。

0185

まず、ステップS1107で、積分方向をx方向とするかy方向とするかが決定される。即ち、ステップS1104において検出された皮溝領域内の所定範囲の画素のグラディエント(p(x,y) 、q(x,y) )の平均値が計算され、p(x,y)の平均値の方が大きければ、その皮溝底の画素が含まれる皮溝領域の皮溝方向は図12に示されるようにy方向に近い方向を向いていると推定できるため、探索が皮溝の幅方向に近い方向に対して行われるように、x方向が探索方向として決定される。逆に、q(x,y) の平均値の方が大きければ、その皮溝底の画素が含まれる皮溝領域の皮溝方向は図13に示されるようにx方向に近い方向を向いていると推定できるため、探索が皮溝の幅方向に近い方向に対して行われるように、y方向が探索方向として決定される。これにより、皮溝方向に積分が行われてしまい、積分路が皮溝から抜け出せなくなってしまうという事態を防ぐことができる。

0186

また、ステップS1107では、上述のように決定されたx方向又はy方向において、有効な明度値が得られている正又は負の何れかの方向を積分方向とする判別も行われる。これは、光源の照明方向と皮溝方向との関係で、照明の影になる部分が生じる可能性があり、その影の部分ではグラディエントが正しく求まっていない可能性があるため、そのような影の部分が含まれる方向を避けるためである。有効な明度値が得られているか否かは、例えば、第1光源2A、第2光源2B、及び第3光源2Cによるレプリカ面1の各照明動作に対応してメモリ9に格納された3枚の画像データのそれぞれにつき、画像全体の明度値の分布を調べ閾値処理を行うことにより、各画素毎に有効な明度値が得られているか否かを予めラベル付けしておく等の処理を行うことで、判別することができる。

0187

ステップS1108では、ステップS1107で決定された積分方向に、図7のステップS701に関する図8のステップS802で求まっている皮溝領域の範囲で積分処理が実行される。この場合、x方向に積分が行われる場合にはグラディエントp(x,y) が積分され、y方向に積分が行われる場合にはグラディエントq(x,y) が積分される。

0188

積分の結果得られた積分値は、ステップS1109で、当該皮溝底の画素での深さとしてメモリ9に記憶される。その後、再びステップS1102に戻り、レプリカ面画像上で、ラプラシアンが所定の閾値以上の正の極大値となる画素が更に探索され、それを満たす1つの画素が皮溝底の画素候補として抽出され、それに対してステップS1104〜S1109の処理が繰り返される。

0189

ラプラシアンが所定の閾値以上の正の極大値となる画素が見つからなくなったら、ステップS1103の判定がNOとなり、ステップS1110に進む。ステップS1110では、ラベル付けされた皮溝底の画素の深さのレプリカ面画像全体での平均と標準偏差及びヒストグラムが計算され、その計算結果が、メモリ9に格納されると共にプリンタ11又はCRTディスプレイ12に出力される。

0190

一般に、人間の皮膚は、加齢と共に、皮溝の深さは浅くなり皮溝が不鮮明となるため、上述のようにして皮溝の深さを直接評価できることは重要である。
皮溝幅の平均と標準偏差及びヒストグラムの抽出
図7のステップS704では、皮溝幅の平均と標準偏差及びヒストグラムが抽出される。

0191

ここでの処理の動作フローチャートを図14に示す。まず、ステップS1401で、前述した図7のステップS703に関する図11のステップS1106で抽出された皮溝底の画素毎に、前述した図11のステップS1108で実行された積分処理における積分画素数が抽出される。なお、積分画素数は、例えば、ステップS1108の積分処理が実行されるときにカウントし、積分終了時にステップS1109において、皮溝底の画素に対応させてメモリ9に記憶させておけばよい。

0192

次に、ステップS1402で、上述の積分画素数に基づいて、皮溝底の画素毎に皮溝幅が計算される。前述した図11のステップS1108でx方向に積分が実行された場合、皮溝底の画素での積分画素数と、そこでの皮溝幅との関係は、図15に示される。そこで、次式により皮溝底の画素での皮溝幅が計算される。

0193

0194

また、図11のステップS1108でy方向に積分が実行された場合、皮溝底の画素での積分画素数と、そこでの皮溝幅との関係は、図16に示される。そこで、次式により皮溝底の画素での皮溝幅が計算され、その計算結果が、メモリ9に格納されると共にプリンタ11又はCRTディスプレイ12に出力される。

0195

0196

ここで、数式58又は数式59で使用される積分路上の平均のグラディエント方向は、例えば、ステップS1108の積分処理が実行されるときに、積分される画素について図7のステップS702に関する図9のステップS901で計算されているグラディエント方向を加算し、積分終了時にステップS1109においてその加算値を積分画素数で除算することにより求めることができ、ステップS1109において、そのようにして求まったグラディエント方向の平均値を皮溝底の画素に対応させてメモリ9に記憶させておけばよい。

0197

皮溝幅は、皮溝底の深さと共に、人間の皮膚の加齢状態を知るための指標となるため、上述のようにして皮溝幅を直接評価できることは重要である。
皮溝セグメントの抽出
図7のステップS705では、皮溝底の画素を結ぶ線分、即ち、皮溝セグメントが抽出される。

0198

ここでの処理の動作フローチャートを図17に示す。まず、ステップS1701で、前述した図7のステップS703に関する図11のステップS1106で抽出された皮溝底の画素毎に皮溝セグメントのラベルが付与される。

0199

この場合、図18又は図19に示されるような各種オペレータの中央の黒丸で示される画素を現在着目している皮溝底の画素に合わせ、その周辺白丸で示される画素のみに皮溝底の画素が存在するか否かを判別することにより、ラベル付けが行われる。

0200

ここで、図18に示される何れかのオペレータが適合した場合、現在着目している皮溝底の黒丸画素は、皮溝セグメントの途中の画素である。そして、白丸の何れの画素にもラベルが付与されていない場合は、現在着目している皮溝底の黒丸画素及び白丸で示される他の皮溝底の画素に、新たな共通のラベルが付与されて、その情報をメモリ9に記憶される。また、白丸の何れかの画素にラベルが付与されている場合は、そのラベルを現在着目している皮溝底の黒丸画素及び他の白丸で示される皮溝底の画素に付与され、その情報がメモリ9に記憶される。

0201

一方、図19に示される何れかのオペレータが適合した場合、現在着目している皮溝底の黒丸画素は、皮溝セグメントの端点の画素である。そして、白丸の画素にラベルが付与されていない場合は、現在着目している皮溝底の黒丸画素と白丸で示される他の皮溝底の画素に、新たな共通のラベルが付与され、その情報がメモリ9に記憶される。また、白丸の画素にラベルが付与されている場合は、そのラベルを現在着目している皮溝底の黒丸画素に付与され、その情報がメモリ9に記憶される。更に、現在着目している皮溝底の黒丸画素に付与されたラベルに対応させて、当該黒丸画素の位置と、その位置が当該ラベルが付与されている皮溝セグメントの端点であることを示す情報がメモリ9に記憶される。

0202

次に、ステップS1702で、各ラベルの種類毎に、当該ラベルに対応する皮溝セグメントの両端の端点位置の情報がメモリ9から読み出されて、2つの端点位置間の直線距離が計算され、その計算結果が当該ラベルに対応する皮溝セグメントの長さ(皮溝セグメント長)として抽出され、当該ラベルに対応させてメモリ9に記憶される。

0203

続いて、ステップS1703で、メモリ9から、ラベルの種類の数が読み出され、その数がレプリカ面画像中の皮溝セグメントの本数として抽出され、その結果が、メモリ9に格納されると共にプリンタ11又はCRTディスプレイ12に出力される。

0204

更に、ステップS1704で、メモリ9から、ステップS1702で抽出された皮溝セグメント長が読み出され、それらの平均と標準偏差及びヒストグラムが抽出され、その結果が、メモリ9に格納されると共にプリンタ11又はCRTディスプレイ12に出力される。

0205

一般に、人間の皮膚は、加齢と共に、皮溝の数は減少し、皮溝の長さは長くなるため、上述のようにして皮溝セグメントの本数及び皮溝セグメント長を直接評価できることは重要である。
毛孔の存在率、深さ、及び大きさの抽出
最後に、図7のステップS706では、皮溝セグメントの交点における毛孔の存在率、深さ、及び大きさが抽出される。

0206

ここでの処理の動作フローチャートを図20に示す。始めに、ステップS2001では、皮溝セグメントの交点の領域(交点領域)が抽出される。

0207

そのために、まず、図7のステップS701で抽出された皮溝領域の画素のうち、図7のステップS703に関する図11のステップS1106で抽出された皮溝底画素について図11のステップS1108で実行された積分処理の対象とならなかった画素が、交点領域の候補として抽出される。今、図21斜線部として示されるように、皮溝の交点領域は皮溝底の積分処理の対象とならない可能性が強い。従って、上述のように抽出された交点領域の候補に交点領域が含まれると推定することができる。

0208

次に、交点領域の候補が連続する領域毎に分割されてそれぞれにラベルが付され、その情報がメモリ9に記憶される。続いて、図7のステップS705で抽出されメモリ9に記憶されている各皮溝セグメントの各端点位置毎に、その端点位置から所定範囲内に上述の交点領域の候補が存在するか否かが判定され、存在する場合には、当該交点領域の候補のラベルに当該皮溝セグメントのラベルが対応付けられ、その情報がメモリ9に記憶される。

0209

上述の処理の後、2つ以上の皮溝セグメントのラベルが付与されている交点領域の候補が交点領域として抽出され、その情報(ラベル)がメモリ9に記憶される。

0210

ステップS2002では、ステップS2001で抽出された各交点領域の深さが抽出される。まず、各交点領域毎に、それに接続されている1つの皮溝セグメントが決定される。

0211

そして、決定された皮溝セグメントの当該交点領域側の端点位置の皮溝底画素について、図7のステップS703で抽出された当該皮溝底画素の深さ情報がメモリ9から読み出され、その深さを初期値として、当該皮溝底画素から交点領域の側に向かって、各画素位置のグラディエントが積分される。

0212

この場合に各画素位置では、p(x,y) 及びq(x,y) のうち、負の符号を有し絶対値が大きい方のグラディエントが選択されて積分され、p(x,y) が積分された場合には+x方向に1画素移動し、q(x,y) が積分された場合には+y方向に1画素移動して、更に積分処理が繰り返される。

0213

そして、深さが最も深くなった時点で積分処理を終了し、その深さ情報が交点深さ情報の候補としてメモリ9に記憶される。上述の積分処理は、現在着目している交点領域に接続されている全ての皮溝セグメントについて同様に実行される。そして、全ての皮溝セグメントについて得られた交点深さ情報の候補のうち最も深さの深い値が、現在着目している交点領域の深さとして抽出される。

0214

続いて、ステップS2003では、ステップS2001で抽出された交点領域のそれぞれについて、ステップS2002で抽出された当該交点領域の深さが所定の閾値より深いか否かが判定されることにより、当該交点領域が毛孔か否かが判定される。毛孔は一般に深く切れ込んでおり、一方、毛孔でない単なる交点の深さは皮溝底の深さと余り変らない。従って、交点領域の深さを判定することにより毛孔を抽出することができる。毛孔と判定された交点領域については、毛孔である旨のラベルが付され、その情報がメモリ9に記憶される。

0215

更に、ステップS2004では、ステップS2003で抽出された毛孔について、その大きさが抽出される。交点領域においては、それに接する皮溝セグメントは各皮溝の皮溝幅で接するとモデル化できるため、毛孔の交点領域について、それに接する各皮溝セグメントの皮溝幅によって囲まれた交点領域の画素数を適当なアルゴリズムで抽出することにより、毛孔の大きさを抽出できる。このように検出された毛孔の大きさの情報は、メモリ9に記憶される
最後に、ステップS2006では、ステップS2001で抽出された交点領域の数に対するステップS2003で抽出された毛孔の数の割合が毛孔の存在率として抽出され、更に、毛孔の深さの平均と標準偏差及びヒストグラム、毛孔の大きさの平均と標準偏差及びヒストグラムが抽出され、その結果が、メモリ9に格納されると共にプリンタ11又はCRTディスプレイ12に出力される。

0216

一般に、毛孔は、人間の皮膚の加齢状態を知るための指標となり、例えば毛孔の大きさは加齢と共に大きくなる傾向を呈するため、上述のようにして毛孔を直接評価できることは重要である。

0217

以上説明した皮膚表面形状の特徴抽出装置によれば、レプリカ面1の3次元形状をグラディエントを介して抽出できることにより、皮溝占有率、皮溝方向、皮溝の深さ、皮溝幅、皮溝セグメントの本数及び皮溝セグメント長、並びに毛孔の存在率、深さ及び大きさなどを、詳細に評価することができるようになる。
<他の実施例>なお、図1のCRTディスプレイ12に、図6に示されるようなレプリカ面1の3次元形状の鳥瞰図を演算し表示させるように構成してもよい。

0218

また、図3のステップS302のグラディエントの計算処理に関する図5の動作フローチャートにおいて、光源の照明方向と皮溝方向との関係で照明の影になる部分については、グラディエント(p(x,y) ,q(x,y) )の推定及び緩和法による修正は行わないようにすることにより、グラディエントの計算精度を高めることができる。この場合、図7のステップS703に関する図11のステップS1108の積分処理が実行される際に、ステップS1107において積分方向として有効な明度値が得られている方向のみが選択されるように処理されるため、皮溝底画素の深さの計算などにおいて不都合は生じない。

0219

更に、上述の実施例では、レプリカ面1は、第1光源2A、第2光源2B、及び第3光源2Cの3つの光源によって照明されたが、もっと多くの光源によって照明を行い、各画素位置毎に、影を生じない照明に対応する3つの明度値を選択してグラディエントを推定及び緩和法により修正するようにすれば、全ての画素位置のグラディエントを正確に求めることも可能である。

0220

加えて、1つの光源をレプリカ面1の周囲で回転させながら複数回照明するように構成することも可能である。なお、数式23の誤差E(x,y) を計算するための数式25のλ1 、λ2 、λ3は、前述したように、各々が乗算される各光源方向の2乗誤差項の誤差E(x,y)に対する寄与率を定める定数であり、上述の実施例では経験的に定められるようにしたが、例えば、レプリカ面画像の入力状態に応じてダイナミックに変化させてもよい。

0221

一方、上述の実施例ではレプリカ面画像から皮膚表面形状の特徴を抽出するようにしたが、条件によって、皮膚表面を直接撮像した画像から皮膚表面形状の特徴を抽出するようにしてもよい。

0222

更に、上述の実施例で説明した皮膚表面形状の特徴パラメータを抽出するためのアルゴリズムは一例であり、他にも様々なアルゴリズムが適用可能である。例えば、皮膚占有率の計算において、元々の明度値の画像データを組合せて判定したり、皮溝領域の端ではラプラシアンが変化(図10では負に変化)する事実を利用したり、更に、皮溝セグメントを皮溝領域全体の領域分割の手法によって抽出したりするアルゴリズムが考えられる。

発明の効果

0223

本発明によれば、皮膚表面形状の3次元形状を各画素位置での勾配を介して抽出できるため、皮溝の形状の領域、面積、方向、深さ、幅、長さ、又は数に関する特徴情報、或いは、皮溝の交点領域の形状の領域、そこでの毛孔の存在する割合、毛孔の深さ、又は大きさに関する特徴情報などを詳細に評価することが可能となる。

0224

このように、本発明は、従来間接的にしか評価できなかった皮膚表面形状の特徴を、その形状を直接示す特徴情報によって評価できるようになるため、評価誤差を大幅に軽減することが可能となる。

0225

また、本発明の構成は、小型の撮像装置と、携帯型のマイクロコンピュータなどによって容易に実現できるため、詳細な客観的評価を誰でも容易に得ることが可能となり、医院、又は薬局化粧品店等の店頭などにおいて手軽に使用することができる。

図面の簡単な説明

0226

図1本発明による皮膚表面形状の特徴抽出装置の構成図である。
図23次元形状復元の原理に関する説明図である。
図3皮膚表面形状の特徴抽出装置の全体的な処理を示す動作フローチャートである。
図4レプリカ面画像の入力処理の動作フローチャートである。
図5各画素位置でのグラディエントの計算処理の動作フローチャートである。
図6レプリカ面1の3次元形状の鳥瞰図である。
図7皮膚表面形状の特徴パラメータの抽出処理の動作フローチャートである。
図8皮膚占有率の抽出処理の動作フローチャートである。
図9皮溝方向の標準偏差及びヒストグラムの抽出処理の動作フローチャートである。
図10皮膚の形状とラプラシアンとの関係の説明図である。
図11皮溝底の深さの平均と標準偏差及びヒストグラムの抽出処理の動作フローチャートである。
図12積分方向の決定処理の説明図(その1)である。
図13積分方向の決定処理の説明図(その2)である。
図14皮溝幅の平均と標準偏差及びヒストグラムの抽出処理の動作フローチャートである。
図15皮溝底の画素での積分画素数と皮溝幅の関係の説明図(その1)である。
図16皮溝底の画素での積分画素数と皮溝幅の関係の説明図(その2)である。
図17皮溝セグメントの抽出処理の動作フローチャートである。
図18皮溝セグメントを抽出するためのオペレータを示した図(その1)である。
図19皮溝セグメントを抽出するためのオペレータを示した図(その2)である。
図20毛孔の存在率、深さ、及び大きさの抽出処理の動作フローチャートである。
図21交点領域の抽出処理の動作フローチャートである。

--

0227

1レプリカ面
2A 第1光源
2B 第2光源
2C 第3光源
3拡大光学系
4撮像装置
5 A/D変換器
6 スイッチ
7バス
8 CPU
9メモリ
10 ROM
11キーボード
12プリンタ
13 CRTディスプレイ

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 積水ハウス株式会社の「 安否確認システム」が 公開されました。( 2020/09/24)

    【課題】居住者の異常を的確に判定し、異常が生じた場合に、より安全に、より確実に、かつ速やかに対応する。【解決手段】住居(10)に設置され、居住者(15)少なくとも心拍数および呼吸数を非接触で検知する第... 詳細

  • アースアイズ株式会社の「 監視装置、監視システム、及び、監視方法」が 公開されました。( 2020/09/24)

    【課題】2次元画像を用いた監視装置において、監視対象とした「人」が行う監視対象とした「物」に対する不定形な一般的動作を抽出して、監視対象とした「人」が、監視対象とした「物」に対して不審度の高い所定の行... 詳細

  • 三門器恒機械設備有限公司の「 居眠り防止ステアリングホイールカバー」が 公開されました。( 2020/09/24)

    【課題】本発明は居眠り防止ステアリングホイールカバーを開示した。【解決手段】ステアリングホイールの左側と右側にそれぞれカバーされた左側カバー殻と右側カバー殻を含み、振動ブロックは通電して振動し始めると... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ