図面 (/)

技術 角度測定装置およびその作動方法並びに角度測定プログラム

出願人 富士フイルム株式会社
発明者 塩田芽実谷武晴
出願日 2016年9月21日 (3年6ヶ月経過) 出願番号 2016-183822
公開日 2018年3月29日 (1年11ヶ月経過) 公開番号 2018-048878
状態 特許登録済
技術分野 イメージ分析 光学的手段による測長装置
主要キーワード ピーク関数 楕円フィッティング 内部散乱光 輝度ライン 撮像対象範囲 角度刻み 事前測定 センササイズ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2018年3月29日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

半透明測定対象凹凸を正確に計測するための角度測定装置、三次元痩躯低装置の作動方法、および、角度測定プログラムを提供する。

解決手段

スポット状の光が測定対象に投射されて測定対象の表面で反射された光および測定対象内で拡散した光が測定対象の表面から出射した光撮像した撮像画像を取得して、スポット状の光が測定対象に投射された投影領域Dよりも広がった拡散領域Eの長軸短軸の比からスポット光照射方向に垂直な平面に対して測定対象が傾いている角度を取得する。

概要

背景

皮膚の表面には無数皮溝と、その皮溝によってできた皮丘がある。皮溝の幅が細く、皮丘の形が小さく、規則正しく並んでいる状態を「キメが細かい」または「キメが整っている」と言い、反対に皮溝が太くて皮丘が大きいと「キメが粗い」と言う。キメの細かく整っている肌は、肌表面がふっくらして、光の反射が多く肌が輝いて見え透明感がある。肌を評価するうえでは、肌の凹凸計測してキメを評価することが肌の評価につながる。

このような面の凹凸を計測するためには、従来から三次元測定機が用いられてきた。三次元計測を行う手法には様々な手法があるが、例えば、簡易な構成で面の傾きを得られるように、円形状のパターンの光を照射し、対象物投影された投影パターン撮像した画像を取得し、画像に含まれる投影パターンが、円形状の基準パターンからどの程度歪んでいるかに基づいて、任意の方向の平面度を求めるようにしたものがある(特許文献1など)。

概要

半透明測定対象の凹凸を正確に計測するための角度測定装置、三次元痩躯低装置の作動方法、および、角度測定プログラムを提供する。スポット状の光が測定対象に投射されて測定対象の表面で反射された光および測定対象内で拡散した光が測定対象の表面から出射した光撮像した撮像画像を取得して、スポット状の光が測定対象に投射された投影領域Dよりも広がった拡散領域Eの長軸短軸の比からスポット光の照射方向に垂直な平面に対して測定対象が傾いている角度を取得する。C

目的

そこで、本願発明は、半透明な測定対象のミクロな三次元形状を正確に計測するための角度測定装置を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

スポット状の光を測定対象投射する投射部と、前記スポット状の光が投射された前記測定対象の位置を撮像する撮像部とを備え、前記スポット状の光が前記測定対象に投射されて前記測定対象の表面で反射された光および前記測定対象内で拡散した光が前記測定対象の表面から出射した光を前記撮像部で撮像した撮像画像を取得する画像取得部と、前記撮像画像から前記スポット状の光が前記測定対象に投射された投影領域よりも広がった拡散領域の長軸短軸の比からスポット光照射方向に垂直な平面に対して前記測定対象が傾いている角度を取得する角度取得部とを有する角度測定装置

請求項2

前記撮像部で前記測定対象を撮像する方向が、前記投射部が前記スポット状の光を投射する方向と同じ方向である請求項1記載の角度測定装置。

請求項3

前記角度取得部は、前記拡散領域の輪郭楕円形状で近似して、前記近似された楕円形状の長軸と短軸から前記比を取得する請求項1または2記載の角度測定装置。

請求項4

前記角度取得部は、所定の閾値を用いて前記撮像画像を二値化することにより前記拡散領域を取得し、前記拡散領域の長軸と短軸の比を取得する請求項1〜3のいずれか1項記載の角度測定装置。

請求項5

前記角度取得部は、前記撮像画像の前記長軸の方向と前記短軸の方向の輝度プロファイルを所定の関数で近似したプロファイルを用いて、前記拡散領域の前記長軸の方向と前記短軸の方向の幅をそれぞれ求めて前記比を取得する請求項1〜4のいずれか1項記載の角度測定装置。

請求項6

前記測定対象のテストサンプルを予め所定の角度に設定して前記テストサンプルに前記スポット状の光を照射して実測して得られた前記比から計算した角度と前記設定された角度との差を用いて、前記測定対象を実測して得られた前記比を補正するための補正値を予め取得して、前記角度取得部が、前記補正値で補正された比を用いて前記測定対象の角度を取得する請求項1〜5のいずれか1項記載の角度測定装置。

請求項7

前記測定対象に対して前記スポット状の光が投射される投射位置を制御する制御部を備え、前記制御部を用いて前記測定対象上を走査ながら、前記測定対象上の複数の位置において前記画像取得部によって取得した撮像画像から前記角度取得部を用いて前記角度を取得して、前記測定対象上の面に現れる角度の分布を取得する角度分布取得部とを備えた請求項1〜6いずれか1項記載の角度測定装置。

請求項8

スポット状の光を測定対象に投射する投射部と、前記スポット状の光が投射された前記測定対象の位置を撮像する撮像部とを備えた角度測定装置の作動方法であって、前記スポット状の光が前記測定対象に投射されて前記測定対象の表面で反射された光および前記測定対象内で拡散した光が前記測定対象の表面から出射した光を前記撮像部で撮像した撮像画像を取得する画像取得ステップと、前記撮像画像から前記スポット状の光が前記測定対象に投射された投影領域よりも広がった拡散領域の長軸と短軸の比からスポット光の照射方向に垂直な平面に対して前記測定対象が傾いている角度を取得する角度取得ステップとを有する角度測定装置の作動方法。

請求項9

スポット状の光を測定対象に投射する投射部と、前記スポット状の光が投射された前記測定対象の位置を撮像する撮像部とを備えた角度測定装置のコンピュータを、前記スポット状の光が前記測定対象に投射されて前記測定対象の表面で反射された光および前記測定対象内で拡散した光が前記測定対象の表面から出射した光を前記撮像部で撮像した撮像画像を取得する画像取得部と、前記撮像画像から前記スポット状の光が前記測定対象に投射された投影領域よりも広がった拡散領域の長軸と短軸の比からスポット光の照射方向に垂直な平面に対して前記測定対象が傾いている角度を取得する角度取得部として機能させるための角度測定プログラム

技術分野

0001

本願発明は、半透明測定対象に光を投射して、測定対象の傾きを計測する角度測定装置に関する。

背景技術

0002

皮膚の表面には無数皮溝と、その皮溝によってできた皮丘がある。皮溝の幅が細く、皮丘の形が小さく、規則正しく並んでいる状態を「キメが細かい」または「キメが整っている」と言い、反対に皮溝が太くて皮丘が大きいと「キメが粗い」と言う。キメの細かく整っている肌は、肌表面がふっくらして、光の反射が多く肌が輝いて見え透明感がある。肌を評価するうえでは、肌の凹凸を計測してキメを評価することが肌の評価につながる。

0003

このような面の凹凸を計測するためには、従来から三次元測定機が用いられてきた。三次元計測を行う手法には様々な手法があるが、例えば、簡易な構成で面の傾きを得られるように、円形状のパターンの光を照射し、対象物投影された投影パターン撮像した画像を取得し、画像に含まれる投影パターンが、円形状の基準パターンからどの程度歪んでいるかに基づいて、任意の方向の平面度を求めるようにしたものがある(特許文献1など)。

先行技術

0004

特開2007−147351号公報

発明が解決しようとする課題

0005

しかしながら、人の肌など半透明なサンプルのミクロな三次元形状を光計測することは、表面での光反射に加えて肌内部に拡散して反射される光(内部散乱光)の影響があり、特許文献1の方法では正確に計測するのは難しい。

0006

そこで、本願発明は、半透明な測定対象のミクロな三次元形状を正確に計測するための角度測定装置を提供することを目的とする。

課題を解決するための手段

0007

本願発明の角度測定装置は、スポット状の光を測定対象に投射する投射部と、スポット状の光が投射された測定対象の位置を撮像する撮像部とを備え、スポット状の光が測定対象に投射されて測定対象の表面で反射された光および測定対象内で拡散した光が測定対象の表面から出射した光を撮像部で撮像した撮像画像を取得する画像取得部と、撮像画像からスポット状の光が測定対象に投射された投影領域よりも広がった拡散領域の長軸短軸の比からスポット光の照射方向に垂直な平面に対して測定対象が傾いている角度を取得する角度取得部とを有することを特徴とする。

0008

また、本願発明の角度測定装置の作動方法は、スポット状の光を測定対象に投射する投射部と、スポット状の光が投射された測定対象の位置を撮像する撮像部とを備えた角度測定装置の作動方法であって、スポット状の光が測定対象に投射されて測定対象の表面で反射された光および測定対象内で拡散した光が測定対象の表面から出射した光を撮像部で撮像した撮像画像を取得する画像取得ステップと、撮像画像からスポット状の光が測定対象に投射された投影領域よりも広がった拡散領域の長軸と短軸の比からスポット光の照射方向に垂直な平面に対して測定対象が傾いている角度を取得する角度取得ステップとを有することを特徴とする。

0009

また、本願発明の角度測定プログラムは、スポット状の光を測定対象に投射する投射部と、スポット状の光が投射された測定対象の位置を撮像する撮像部とを備えた角度測定装置のコンピュータを、スポット状の光が測定対象に投射されて測定対象の表面で反射された光および測定対象内で拡散した光が測定対象の表面から出射した光を撮像部で撮像した撮像画像を取得する画像取得部と、撮像画像からスポット状の光が測定対象に投射された投影領域よりも広がった拡散領域の長軸と短軸の比からスポット光の照射方向に垂直な平面に対して測定対象が傾いている角度を取得する角度取得部として機能させることを特徴とする。

0010

「スポット状の光」とは、測定対象の複数の構成要素のうち各構成要素より十分に小さい範囲に投射することが可能な大きさに集光された光をいい、複数の構成要素の1つの構成要素だけに投射することが可能な大きさの光をいう。

0011

また、撮像部で測定対象を撮像する方向は、投射部がスポット状の光を投射する方向と同じ方向が望ましい。

0012

また、角度取得部は、拡散領域の輪郭楕円形状で近似して、近似された楕円形状の長軸と短軸から比を取得するようにしてもよい。

0013

また、角度取得部は、所定の閾値を用いて撮像画像を二値化することにより拡散領域を取得し、拡散領域の長軸と短軸の比を取得するようにしてもよい。

0014

また、角度取得部は、撮像画像の長軸の方向と短軸の方向の輝度プロファイルを所定の関数で近似したプロファイルを用いて、拡散領域の長軸の方向と短軸の方向の幅をそれぞれ求めて比を取得するものであってもよい。

0015

また、測定対象のテストサンプルを予め所定の角度に設定してテストサンプルにスポット状の光を照射して実測して得られた比から計算した角度と設定された角度との差を用いて、測定対象を実測して得られた比を補正するための補正値を予め取得して、角度取得部が、補正値で補正された比を用いて測定対象の角度を取得するようにしてもよい。

0016

「測定対象のテストサンプル」は、測定対象に類似した光学特性を有するものであってもよいし、測定対象自体であってもよい。なお、測定対象に類似した光学特性とは、光の反射率透過率、および内部散乱特性が測定対象に近いものをいう。

0017

測定対象に対してスポット状の光が投射される投射位置を制御する制御部を備え、制御部を用いて測定対象上を走査ながら、測定対象上の複数の位置において画像取得部によって取得した撮像画像から角度取得部を用いて前記角度を取得して、測定対象上の面に現れる角度の分布を取得する角度分布取得部とを備えるようにしてもよい。

発明の効果

0018

本願発明によれば、スポット状の光を測定対象に投射して測定対象の表面で反射された光および測定対象内で拡散した光が測定対象の表面から出射した光を撮像した拡散領域の長軸と短軸の比からスポット光の照射方向に垂直な平面に対して測定対象が傾いている角度を取得することにより、肌のような半透明な測定対象の傾き正確に測定することが可能になる。これにより、半透明な測定対象の面の凹凸を評価することが可能になり、例えば、肌のキメがどのように見栄えに影響を与えているのかを明らかにすることが可能になる。

図面の簡単な説明

0019

角度測定装置の概略図
角度測定処理部の機能を示すブロック図
スポット状の光を肌サンプルに投影するときの模式図
スポット状の光を投影した肌サンプルを垂直な方向から見たときの図
スポット状の光を投影した肌サンプルを撮影方向から見たとき図
肌画像の一例
肌画像を2値化した一例
実測値から計算した測定角度と実際にサンプルに設定した設定角度と対応させてプロットしたグラフ
実測値に補正を加えてから計算した測定角度と実際にサンプルに設定した設定角度と対応させてプロットしたグラフ
肌が傾いている角度を説明するための図
肌が傾いている向きを説明するための図
拡散領域の長軸と短軸を探索する手法を説明するための図
輝度ラインプロファイルをガウス関数で近似して拡散領域の長軸と短軸の求め方を説明するための図
角度とサンプリング間隔から肌の高さを求める方法を説明するための図
肌を撮像した撮影画像を取得する流れ説明するためのフローチャート
角度の分布と三次元画像を生成する処理の流れを説明するためのフローチャート
肌が傾いている向きを検出する検出器の構成を示す図
角度測定装置の変形例(その1)
角度測定装置の変形例(その2)
角度測定装置の変形例(その3)

実施例

0020

図1は本実施の形態の角度測定装置1の概略図である。本実施の形態では、半透明なサンプルを測定対象として三次元計測を行う場合について説明する。なお、半透明なサンプルとは、サンプル上に投射された光をサンプルの表面で反射するだけではなく、サンプル内に透過した光が内部で散乱してサンプルの表面から出射する性質を有するものをいう。本実施の形態では、測定対象として肌サンプルを計測する場合について説明する。

0021

角度測定装置1は、画像取得装置10と、画像処理装置12とを備える。画像取得装置10と画像処理装置12は、有線または無線で接続され、データの送受信が行われる。

0022

画像取得装置10は、光源部20、光ファイバ24、出射用レンズ22、ハーフミラー26、対物レンズ28、カメラ用レンズ30、撮像部32、XYステージ34、および、制御部38を備える。なお、本発明の投射部は、光源部20、光ファイバ24、出射用レンズ22、ハーフミラー26、および対物レンズ28で構成される。

0023

撮像部32は、撮像素子で撮影した画像をデジタルデータとして記録するデジタルカメラで構成される。撮像素子は、光学信号である画像を電気に変換する光学センサであり、CCD(Charge-Coupled Device)イメージセンサかCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどが用いられる。以下、撮像部32を単にカメラという。

0024

光源部20は、キセノン(Xe)ランプなどの白色光源である。光源部20から発せられた光が光ファイバ24に導光され、光ファイバ24から発せられた光が出射用レンズ22により平行光になり、ハーフミラー26を通って対物レンズ28で集光されて測定対象である肌サンプルSPにスポット状の光が照射される。肌サンプルSPで反射または肌サンプルSP内を拡散して肌サンプルSPの表面から出射した光は、対物レンズ28で集められてハーフミラー26で反射され、さらにカメラ用レンズ30で集光されてカメラ32によって撮像される。
図1は、カメラ32で肌サンプルSPを撮像する方向を、肌サンプルSPに対してスポット光を投射する方向と同じ方向にする場合の画像取得装置10の構成を示す。

0025

出射用レンズ22の焦点距離をf1、対物レンズ28の焦点距離をf2とすれば、光源結像倍率は(f2/f1)、カメラ用レンズ30の焦点距離をf3とすれば、カメラ撮像倍率は(f3/f2)となる。さらに、光ファイバ24のコア径、カメラ32のセンササイズの組み合わせにより、スポット光の径d<撮像対象範囲の幅iとなるようにする。

0026

実際の計測では、スポット光の径dは、肌の構成要素(肌肌溝しわ、しみなど)のうち注目する構成要素のサイズよりも小さい値とするのが好ましい。特に、スポット光が測定対象に照射された照射位置にある構成要素の凹凸よりもスポット光の径が十分小さく、スポット光が投射された領域がほぼ平面とみなせるように光源結像倍率を決定する。例えば、1mmサイズのシワを測定する場合には数100μm程度のスポット径とし、100μmサイズのキメを測定する場合には数10μm程度のスポット径とするのが好ましい。本実施の形態では、キメを測定する場合について以下説明する。なお、本実施の形態ではスポット光の径dを25μmとした。

0027

カメラ32のセンササイズは、カメラ32で撮像される撮像対象範囲の大きさよりも十分大きくなるように決定する。例えば、撮像対象範囲が1.5mm×1.2mmの場合は、センササイズが6.78×5.43mmのものを用いる。また、肌サンプルSP上の撮像対象範囲の幅iがスポット光の径dより十分大きくなるようにレンズの焦点距離が決定される。例えば、スポット光の径dが25μmで、そこから広がる光の径が50μmであった場合には、肌サンプルSP上の撮像対象範囲の幅iは、少なくとも50μmよりも大きくなるようにする。

0028

図14に示すように、対物レンズ28の円周に沿って光センサ29(フォトダイオード、CCD、フォトレジスタなど)を4〜6か所に均等に配置して、肌サンプルSPからの反射光の強度を測定する。光センサ29で検知される光の強度は、入射方向に対して鏡面反射をする方向に配置されている光センサ29が高くなる。例えば、図14のように肌サンプルSPが傾いている場合、右側の光センサ29が検出する光強度が左側の光センサの強度より高くなる。

0029

XYステージ34は、X軸方向とY軸方向に移動して位置決めをするステージである。XYステージ34には、光ファイバ24の射出端24aが設置され、射出端24aを任意の位置に移動させることにより、撮像対象範囲内でスポット光を走査する。

0030

制御部38は、XYステージ34に信号を送って所定の位置に射出端24aを移動させる。肌サンプルSPをサンプリングするサンプリング間隔は、入力を操作部(不図示)などから受け取って予め記憶しておき、制御部38は、その間隔に従ってXYステージを移動させる信号をXYステージ34に送る。所定の位置に射出端24aが到達すると、カメラ32に肌画像Pの撮像を指示する信号を送信する。なお、肌画像Pを撮像したときのXYステージ34の位置情報Qは、肌画像Pの付帯情報として画像処理装置12に肌画像Pと一緒に送信する。

0031

画像処理装置12は、パーソナルコンピュータなどのコンピュータであり、CPU(Central Processing Unit)、主記憶装置補助記憶装置入出力インターフェース通信インターフェース入力装置マウスキーボード等)、表示装置ディスプレイモニタ)、データバス等の周知のハードウェア構成を備え、周知のオペレーティングシステムおよびアプリケーションソフトウェアなどの種々のソフトウェアインストールされている。本願発明の角度測定処理部50は、この画像処理装置12に実装され、補助記憶装置に記憶された角度測定プログラムを実行することによって実現される。また、角度測定プログラムは、CD−ROM(Compact Disc Read Only Memory)等の記録媒体からインストールされても、インターネット等のネットワーク経由で接続されたサーバ記憶装置からダウンロードされた後にインストールされてもよい。

0032

図2示すように、角度測定処理部50は、画像受信部(画像取得部)52と、角度取得部54と、角度分布取得部56と、三次元位置取得部58と、記憶部60とで構成される。記憶部60は、ハードディクスなどの補助記憶装置である。

0033

画像受信部52は、画像取得装置10とデータの送受信を行う機能を備え、肌サンプルSPにスポット光を投射して撮像された肌画像Pと、撮像時にスポット光を肌サンプルSPに投射したときのXYステージ34の位置情報Qとを画像取得装置10から受信して、記憶部60に記憶する。

0034

図3Aは、図1の装置を用いて、スポット光を肌サンプルSPに投影するときの模式図である。肌サンプルSPには、図中のB方向からスポット光が入射され、同じ方向からカメラ32で撮像される。肌サンプルSPは、スポット光の投影方向に対して垂直な面に対して角度θほど傾いている。

0035

図3Bは、図3Aに示すようにスポット光を肌サンプルSPに投影したときに、肌サンプルSPに対して垂直な方向Aから見たときの図である。肌サンプルSPに投影されたスポット光の投影領域Dは、肌サンプルSPの傾きを表す角度θに応じた楕円形状になる。投影領域Dの周辺には、肌サンプルSPを透過して内部で拡散してサンプルSP内で反射された光が肌サンプルSPの表面から出射する領域が広がる。この領域を拡散領域Eという。

0036

図3Cは、同様にスポット光を肌サンプルSPに投影したときに、撮影方向Bからカメラ32で撮像した時の肌画像Pの図である。撮影方向Bは光の投射方向と同じ方向であるので、投影領域Dはスポット光の径と一致した円となる。

0037

なお、図3A〜3C中にX、Y、X’、Y’で示した軸がそれぞれ対応し、各図の方向の対応関係を示す。X軸とY軸からなるXY平面は肌サンプルSPに平行な面であり、X’軸とY’軸からなるX’Y’平面はスポット光の入射方向に対して垂直な面である。

0038

角度取得部54は、肌画像Pからスポット光が肌サンプルSPに投射された拡散領域Eの長軸と短軸の比を求め、この比から角度θを取得する。

0039

図4Aに肌画像Pの一例を示す。まず、肌画像Pから拡散領域Eを取得する。肌画像Pには、スポット光が投影された投影領域Dと、その周辺に光が拡散した拡散領域Eが撮像される。この肌画像Pに対して閾値を用いて2値化することで拡散領域Eを取得する。閾値の決め方は、Maximum Entropy 法(文献1:Kapur, JN; Sahoo,PK& Wong,ACK(1985), "A New Method for Gray-Level Picture Thresholding Using the Entropy of the Histogram", Graphical Models and Image Processing 29(3): 273-285)を用いて自動的に決定することができる。あるいは、Otsu(文献2:Otsu, N (1979), "A threshold selection method from gray-level histograms",IEEE Trans. Sys., Man., Cyber. 9: 62-66, doi:10.1109/TSMC.1979.4310076)、Mean(文献3:Glasbey, CA (1993), "An analysis of histogram-based thresholding algorithms",CVGIP: Graphical Models and Image Processing 55: 532-537)、Minimum(文献4:Prewitt, JMS & Mendelsohn, ML (1966), "The analysis of cell images", Annals of the New York Academy of Sciences 128: 1035-1053)等の方法を用いて閾値を決定することができるが、手動で決めた値を閾値として用いても良い。閾値は、抽出する拡散領域Eの深さ方向の距離がレンズの被写界深度内になるように決定されることが望ましい。図4Bに、肌画像Pを2値化することで得られた領域を示す。図4Bには投影領域Dと拡散領域Eを合わせた領域全体が白く現れている。

0040

次に、角度取得部54は、楕円フィッティングの手法を用いて拡散領域Eの輪郭を楕円形状で近似し、近似された楕円形状の長軸と短軸の比を取得する。この比から、角度θを求める。

0041

ここで、角度を測定する原理を説明する。なお、X(X’)軸が拡散領域Eの外周の輪郭の短軸の方向と一致し、Y(Y’)軸が長軸の方向と一致する場合について説明する。また、肌サンプルSPは、スポット光の入射方向に垂直な軸Y’に対してθ傾いているものとする。

0042

肌サンプルSP上に投影されたスポットは、Y方向に対して1/cosθ倍となる。すなわち、Y方向半径ry は rx/cosθになる。これをB方向から観察すると、ryはcosθ倍となるので、ry’=rx’となる。したがって、スポット光を投影した投影領域Dの縦横比は1となる。

0043

半透明性をもつ肌サンプルSPに投影されたスポット光は、肌サンプルSPの表面を透過して内部で拡散して肌サンプルSP内で反射される成分があるため、X軸方向は距離Lx、Y軸方向はLyの範囲でボケを形成する。この時、肌サンプルSP内部で拡散して反射される光は、肌サンプルSPへの光の入射角度に依存する関数で変化する。すなわち、Y方向のボケ範囲Lyは、Lx・f(θ)となる。ここで、f(θ)は、光の拡散長角度依存倍率である。これをB方向から観察すると、Lyはcosθ倍となるので、Ly’=Lx’・ f(θ)・cosθとなる。
よって、カメラ32で撮影したスポット光の拡散領域の長軸と短軸の比ARは、
AR=(Ly’+ry’)/(Lx’+rx’)=(Lx・f(θ)・cosθ+ry’)/(Lx’+rx’) (1)
となる。したがって、
cosθ=(AR(Lx’+rx’)-ry’)/(Lx’・f(θ)) (2)
となり、これより、肌サンプルSPの傾きの角度θを求めることができる。

0044

ここで、f(θ)は、事前に求めておくパラメータであるが、仮にf(θ)=1として、長軸と短軸の比の実測値から計算した角度(測定角度)を実際にサンプルに設定した角度(設定角度)と対応させてプロットしたグラフを図5に示す。理論値とされているプロットが、設定角度と測定角度が一致した場合のグラフである。全体的に測定角度が設定角度より10°程度小さい値になるため、15°以下の低角度は測ることは難しいが、相対的な角度は測ることができていることが分かる。

0045

そこで、肌サンプルSPに類似したテストサンプルを予め所定の角度に設定してテストサンプルにスポット状の光を照射して実測して得られた長軸と短軸の比から計算した角度と設定された角度との差から、肌サンプルSPを実測して得られた比を補正するための補正値として、角度依存倍率f(θ)を事前に求める。これにより、より正確な角度測定ができる。図1の画像取得装置10を用いて、Ly’とLx’を求め、テストサンプルの角度θを任意に設定して、f(θ)=Ly’/Lx’*cosθとしてf(θ)を予め測定しておくことができる。

0046

図5は、テストサンプルとしてシリコンで作成した半透明サンプル3種類を用いて実際に測定を行って角度を求めた結果をプロットしたものである。半透明サンプル3種類は、シリコンに肌色色素3種類(株式会社ビューラックス製の色番2BM、色番MTU、および色番No.10の3種類の色素)を、それぞれ人肌に近い吸収特性および散乱特性になるように混ぜて作製したものである。半透明サンプルは、これに限定されるものではなく、測定対象の肌サンプルSPと似たような吸収特性および/または散乱特性をもつものであればよい。

0047

実際に計測する際に、テストサンプルのミクロな凹凸によって取得した測定角度の値にばらつきが出ることがある。そこで、(a)複数の点を測定して測定角度の値を平均化する、(b)スポット光の径を実際の測定に用いるスポット光の径より広いスポット光を用いて測定角度を得る、(c)テストサンプルの表面を平坦化して測定角度を得るなどの手法を複数組み合わせて計測するのが好ましい。図5の例では、(b)と(c)を組み合わせた手法を採用し、同一素材のサンプルのうち最も平坦な面を利用し、その平坦なサンプルを予めある角度に設定し、スポット光の径40μmで事前測定を行って角度依存倍率f(θ)を求めた。実際に肌サンプルを計測する際は、スポット光の径25μmで計測を行った。なお、平坦化するためには、サンプルに対して加工を行ってもよく、サンプルの表面を研磨してもよいし、サンプルを切断または切削した面を利用するようにしてもよい。こうして求めた角度依存倍率f(θ)を(1)式に当てはめて、図5の結果を再計算したものが図6である。15°以下の低角度も測定することができていることが分かる。また、図6に示すように再計算した結果は補正する前より全体に10°程度大きい角度になり、理論値との差も少なくなり測定誤差が小さくなっていることが分かる。

0048

上述ではシリコンで作成した半透明サンプルを用いて角度依存倍率f(θ)を求めたが、テントサンプルを測定対象である人の肌サンプルSP自体として、肌サンプルSPを予めある角度に設定しスポット光を照射して角度依存倍率f(θ)を求めておいても良い。人の肌サンプルSPを用いる場合には、肌質、肌の色、および人種など、肌タイプを決める複数の要素に応じて角度依存倍率f(θ)を求めて補正値として用意することで、より正確な計測が可能になる。

0049

肌サンプルSPは、人によって光の透過度や内部散乱光が肌の表面から出射する量が異なるため、上述のように複数のタイプに対応した補正値を用意して、撮影時に肌タイプに応じたパラメータを選択して、角度取得部54で、肌タイプに応じて補正値を変えることができるようにするのが好ましい。

0050

上記では、肌サンプルSPが傾いている方向がY軸と一致している場合について説明したが、肌サンプルSPが傾いている方向は、拡散領域Eの長軸方向と一致する。つまり、図7に示すように,肌の傾きはX’Y’平面上で拡散領域Eを楕円で近似した時の楕円Oの長軸方向uに肌サンプルSPが角度θほど傾いている。

0051

拡散領域Eが楕円形状で近似した時の長軸方向uに肌サンプルSPが傾いているが、その角度は、図8に示すようにθ1とθ2の2通りがある。そこで、カメラ用レンズ30の円周上に配置された光センサ29が検知した肌サンプルSPからの反射光の強度から、角度がθ1とθ2のどちらの方向に傾いているかを判定する。

0052

上記では、拡散領域Eを二値化して楕円フィッティングにより長軸と短軸の比を求める方法について説明したが、関数フィッティングを用いることができる。図9に示すように、投影領域Dの中心を通り、方向を0°〜180°の間で所定の角度刻みで変えた複数の直線を設定し、各直線上の輝度ラインプロファイルをそれぞれガウス関数で近似し、そのうち最大となる半値幅を長軸方向の半値幅とし、最小となる半値幅を短軸方向の半値幅とする。図10の右側は、スポット光を撮像した肌画像Pの長軸方向の輝度ラインプロファイル(実線)を、Gaussian関数で近似した結果(破線)を示し、図10の左側は、短軸方向の輝度ラインプロファイル(実線)を、Gaussian関数で近似した結果(破線)である。それぞれの半値幅は、最大の半値幅が61.6μm、となり最小の半値幅が51.5μmであるので、これらの比を取ることで、長軸と短軸の比を求めることができる。
輝度ラインプロファイルは、Gaussian関数で近似することに限定されるものではなく、非対称の2重シグモイド、Bigaussianピーク関数、Breit-Wigner-Fano(BWF)などの種々の関数を用いて近似することが可能である。

0053

角度分布取得部56は、制御部38を用いて指定されているサンプリング間隔で肌サンプルSP上を走査しながら、肌サンプルSP上の複数の位置で撮像した肌画像Pを画像受信部52で取得し、受信した肌画像Pから角度取得部54で取得した角度から肌サンプルSP上の面に現れる角度の分布を取得する。

0054

さらに、三次元位置取得部58は、1つ前のサンプリング位置の位置情報Qと、その位置の傾き角度θと、サンプリング間隔から、現在のサンプリング位置を求める。便宜上、肌サンプルSPが常にY’方向に沿って傾いている場合について説明する。図11は、Y’軸に沿ってサンプリング間隔wでサンプリングしたときのサンプリング位置と、肌サンプルSPが傾いている角度θ(Y’軸の下に角度θの値を示す)と、Y’軸に垂直な方向の肌の高さhの関係を示している。図11に示すように、サンプリング間隔がwである場合には、隣のサンプル位置から現在のサンプリング位置までの高さの相対値Δhは、Δh=w*tanθで求めることができる。この値高さの相対値Δhを積算することで肌の凹凸の変化を求めるが可能である。

0055

実際には、各サンプリング位置で面が傾いている方向は1つの軸方向に向いているわけではなく様々な方向に傾いているが、隣接する複数のサンプリング位置の角度から幾何学的に高さを求めることが可能である。例えば、サンプリング位置を中心とした領域をメッシュ状に区切り、区切った各領域(三角形または矩形の領域)の面の方向を表す法線ベクトルを角度取得部54で得られた角度から求めて、隣接する頂点が連続するようにポリゴンを描画することで三次元形状を描画することができる。面の法線ベクトルを用いた3次元形状の描画については、周知の3次元用グラフィックス処理のためのソフトウェアの機能を利用することができる。

0056

次に、本実施の形態において、肌画像を取得して三次元画像を生成する一連の流れを図12および図13のフローチャートに沿って説明する。

0057

まず、図12のフローチャートに従って、画像取得装置10で肌サンプルSPの撮像を行う流れについて説明する。

0058

画像取得装置10の制御部38に、肌画像Pのサンプリング間隔wを設定し(S1)、肌サンプルSPにスポット光を投射して、肌の撮像を開始する。制御部38でXYステージ34を制御して光ファイバ24の射出端24aを肌サンプルSPの撮像対象範囲の走査開始位置に移動させる(S2)。光源部20から光を照射して肌サンプルSP上にスポット光を投射して(S3)、カメラ32で肌画像Pを撮像する(S4)。撮像対象範囲は、例えば、1.5mm×1.2mmとする。同時にXYステージ34の座標位置を肌画像Pの位置情報Qとして取得し(S5)、肌画像Pと一緒に画像処理装置12に送信する。走査範囲の撮影は終了していないので(S6 NO)、制御部38は、サンプリング間隔wに従ってXYステージ34を制御して光ファイバ24の射出端24aを次のサンプリング位置に移動させる(S7)。再度、光源部20から光を照射して肌サンプルSP上にスポット光を投射して(S3)、カメラ32で肌画像Pを撮像する(S4)。同時にXYステージ34の座標位置を取得して肌画像Pの位置情報Qとして(S5)、肌画像Pと一緒に画像処理装置12に送信する。走査範囲の撮影が終了していない場合には(S6 NO)、再度、XYステージ34を次のサンプリング位置まで移動させる(S7)。前述と同様に、スポット光を肌サンプルSPに投射して(S3)、カメラ32で肌画像Pを撮像し(S4)、肌画像Pの位置情報Q(XYステージ34の座標値)を取得して(S5)、肌画像Pと位置情報Qを画像処理装置12に送信する。このように、XYステージ34が撮像対象範囲の走査終了位置まで移動するまで(S6 YES)、XYステージ34の移動(S7)、スポット光を肌サンプルSPに投射(S3)、肌画像Pの撮像(S4)および肌画像Pの位置情報Qの取得(S5)を繰り返す。また、画像処理装置12は、受信した肌画像Pおよびその肌画像Pの位置情報Qを記憶部60に記憶する。

0059

次に、図13のフローチャートに従って、画像処理装置12で角度の分布と三次元画像を生成する処理の流れを説明する。画像取得装置10から送信された肌画像Pおよび位置情報Qは、画像受信部52で受け取り、記憶部60に予め記憶されているものとして説明する。

0060

角度分布取得部56は、記憶部60に記憶されている肌画像Pを順次読み出して、角度取得部54を用いて各肌画像Pが傾いている方向(長軸の方向と一致する)と角度θとを取得する(S10)。次に、三次元位置取得部58で、隣接するサンプリング位置間の高さの相対値Δhを取得する(S11)。図11に示すように、サンプリング間隔wでサンプリングした時のY’軸からの角度θが順に30°、22°、17°、−12°、−20°、7°である場合、1番目と2番目のサンプル位置の高さの相対値はΔh=w*tan30°である。これらの高さの相対値を積算して各サンプリング位置の座標値を求める(S12)。例えば、1番目のサンプリング位置の高さを基準にすると、4番目のサンプリング位置は、h1=w*tan30°+w*tan22°+w*tan17°になり、6番目のサンプル位置はh2=w*tan30°+w*tan22°+w*tan17°+w*tan−12°+w*tan−20°になる。このように、各サンプリング位置の座標値を取得して、これらの座標値をつなぐことにより3次元画像を生成する。なお、相対位置は、1つ前のサンプリング位置を基準にして次のサンプリング位置の高さ方向hの変化が、1つ前のサンプリング位置より上にある場合は+の値となり、下にある場合−の値になる。

0061

上記のように、半透明な測定対象の表面での光反射に加えて内部で拡散した内部散乱光を利用して、肌の傾きの角度を正確に計測することができるようにしたので、肌のような半透明な測定対象の凹凸を評価することが可能になる。

0062

上記の構成では、肌サンプルSPに光を投射する方向と、肌サンプルSPを撮影する方向が同じ場合について説明したが、図15に示すように、肌サンプルSPの表面で反射または肌サンプルSP内で拡散した光を、スポット光を投射した方向とは異なる方向からカメラ用レンズ30で集光してカメラ32で撮像するようにしてもよい。撮影方向がスポット光の投影方向とは異なる場合、撮影した肌画像に現れる投影領域Dと拡散領域Eの形状が異なるので、撮影方向に応じた計算方法で角度θを求める。また、補正値として用いる角度依存倍率f(θ)も、撮影方向に応じて事前に求めておくようにすれば良い。

0063

上記では、出射用レンズ22を用いて集光することでスポット光の径を調整したが、図16に示すように光源部20から出射された光を、ミラー23で向きを変えてピンホール25を通って肌サンプルSPにスポット光を投射するようにしても良い。また、上記では、XYステージ34でスポット光の投射位置を動かす手法について説明したが、ピンホール25を移動してスポット光の投射位置を変えても良い。

0064

あるいは、図17に示すように、ガルバノスキャナ27を用いて、光ファイバ24の射出端24aから発せられたスポット光の投射位置を変えても良い。

0065

上記の実施の形態では、光源部として、白色光源としてキセノンランプ光源を用いる場合について説明したが、ハロゲンランプLED光源、または、レーザー光源を使用しても良いし、複数の色の光源を用いて所望の色を合成しても良い。

0066

上記の実施の形態では、半透明の測定対象として肌について説明したが、半透明性フィルム基板、または、石材等の平面度を測定するために用いることもできる。

0067

上記の実施の形態では、画像処理装置としてパーソナルコンピュータを例に挙げて説明したが、画像処理装置は、CPUとメモリを備えて上記のプログラムを実行出るものであればよく、タブレット端末スマートフォン、または、画像取得装置の筐体内に設けられる専用のファームウェアなどで提供されてもよいのは言うまでもない。

0068

1角度測定装置
10画像取得装置
12画像処理装置
20光源部
22出射用レンズ
23ミラー
24光ファイバ
24a射出端
25ピンホール
26ハーフミラー
27ガルバノスキャナ
28対物レンズ
29光センサ
30カメラ用レンズ
32撮像部(カメラ)
34 XYステージ
38 制御部
50角度測定処理部
52画像受信部
54 角度取得部
56角度分布取得部
58三次元位置取得部
60 記憶部
P肌画像
Q位置情報
SP 肌サンプル

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ