図面 (/)

技術 目位置検出装置及び方法

出願人 松下電器産業株式会社
発明者 藤松健
出願日 2002年9月20日 (16年10ヶ月経過) 出願番号 2002-274552
公開日 2004年4月8日 (15年3ヶ月経過) 公開番号 2004-105590
状態 特許登録済
技術分野 眼の診断装置 画像処理 表示による位置入力 イメージ分析
主要キーワード 位置装置 鏡面反射像 投影出力 目位置検出 検索ウインドウ 虹彩部分 まつげ 被測定者
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2004年4月8日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (8)

課題

目の位置をより精度良く検出できる目位置検出装置及び方法を提供する。

解決手段

撮影装置1で撮影した映像を目位置検出装置本体3に入力して、目位置検出装置本体3で二値化し、二値化された映像を基に各軸毎投影処理を行ない、その投影処理出力を基にして二値化された映像の重心位置を算出する。算出された重心位置を簡易的に目の位置と判断し、その位置を基に検索ウインドウを作成し、検索ウインドウ内の映像から高輝度部を検出してその大きさが予め定めた規定の範囲内であれば、その高輝度部の重心位置を算出してその位置を最終的な目の位置と判断する。

概要

背景

従来、撮影された映像から目の位置を検出する目位置検出装置として、撮影時の光源によって生じる瞳孔からの鏡面反射像を検出することで目の位置を検出するものが知られている。そして、その場合、明るいところでは瞳孔が大きく開かないので、撮影時には、画面輝度を所定の値より下げるというものも知られている(例えば特許文献1参照)。

概要

目の位置をより精度良く検出できる目位置検出装置及び方法を提供する。撮影装置1で撮影した映像を目位置検出装置本体3に入力して、目位置検出装置本体3で二値化し、二値化された映像を基に各軸毎投影処理を行ない、その投影処理出力を基にして二値化された映像の重心位置を算出する。算出された重心位置を簡易的に目の位置と判断し、その位置を基に検索ウインドウを作成し、検索ウインドウ内の映像から高輝度部を検出してその大きさが予め定めた規定の範囲内であれば、その高輝度部の重心位置を算出してその位置を最終的な目の位置と判断する。 

目的

本発明は、以上のような従来の問題に鑑みてなされたものであり、より精度良く目の位置を検出できる目位置検出装置及び方法を提供する

効果

実績

技術文献被引用数
0件
牽制数
1件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

撮影された映像から目の位置を簡易的に検出する簡易目位置検出手段と、前記簡易目位置検出手段で検出された目の位置を基に検索ウインドウを作成する検索ウインドウ作成手段と、前記検索ウインドウ内の映像から高輝度部を検出する高輝度部検出手段と、前記高輝度部検出手段で検出された高輝度部をグループ分けするグループ分け手段と、前記グループ分け手段でグループ分けされた高輝度部の中で予め定めた規定範囲内の面積を持つ高輝度部を抽出し、抽出された高輝度部の重心位置を算出する算出手段とを備え、前記重心位置を基に目の位置を検出することを特徴とする目位置検出装置

請求項2

前記簡易目位置検出手段が、撮影された映像を二値化する二値化手段と、前記二値化手段で二値化された映像からX軸、Y軸毎投影出力を得る投影処理手段と、前記投影出力を基に前記二値化手段で二値化された映像の重心位置を算出し、目の位置を検出する検出手段とを備えていることを特徴とする請求項1記載の目位置検出装置。

請求項3

前記高輝度部検出手段で検出された高輝度部に撮影時の光源による目の瞳孔からの鏡面反射像を含んでおり、前記規定範囲が前記鏡面反射像による高輝度部の面積を含むように設定されていることを特徴とする請求項1または2記載の目位置検出装置。

請求項4

前記規定範囲内の面積を持つ高輝度部があったとき、前記規定範囲内の面積を持つ高輝度部の外方の輝度を測定し積分する積分手段と、前記積分手段で積分された輝度値が予め定めた所定の範囲の値であったとき、前記規定範囲内の面積を持つ高輝度部を目の位置と判定する判定手段とを備えた請求項1または2記載の目位置検出装置。

請求項5

前記積分手段は、前記規定範囲内の面積を持つ高輝度部の重心位置を中心とする予め定めた半径rの円周上の輝度を測定し積分することを特徴とする請求項4記載の目位置検出装置。

請求項6

前記半径rが前記規定範囲内の面積を持つ高輝度部の半径より大きく瞳孔の半径より小さいことを特徴とする請求項5記載の目位置検出装置。

請求項7

撮影された映像を入力するステップと、入力された映像から目の位置を簡易的に検出するステップと、検出された目の位置を基に検索ウインドウを作成するステップと、検索ウインドウ内の映像から高輝度部を検出するステップと、検出された高輝度部をグループ分けするステップと、グループ分けされた高輝度部の中で予め定めた規定範囲内の面積を持つ高輝度部を抽出するステップと、抽出された高輝度部の重心位置を算出するステップとを備え、前記重心位置を基に目の位置を検出することを特徴とする目位置検出方法。

請求項8

前記規定範囲内の面積を持つ高輝度部が抽出されたとき、抽出された高輝度部の外方の輝度を測定し積分するステップと、積分された輝度値が予め定めた規定の範囲内の値であったとき、抽出された高輝度部の位置を目の位置と判定するステップとを備えた請求項7記載の目位置検出方法。

技術分野

0001

本発明は、撮影された映像から目の位置を検出する目位置検出装置及び方法に関するものである。

0002

従来、撮影された映像から目の位置を検出する目位置検出装置として、撮影時の光源によって生じる瞳孔からの鏡面反射像を検出することで目の位置を検出するものが知られている。そして、その場合、明るいところでは瞳孔が大きく開かないので、撮影時には、画面輝度を所定の値より下げるというものも知られている(例えば特許文献1参照)。

背景技術

0003

【特許文献1】
特開2000—339741号公報(第5頁、図4

0004

しかしながら、従来知られているものは、撮影された映像内に、鏡面反射像があるかどうかを検索し、その結果に基づいて目の位置を判定するだけのものであり、周囲に他の光源があったり、被測定者がめがねをかけていたりした場合には、瞳孔による鏡面反射像のほかに、同じような高輝度部が発生する可能性があり、このような場合には、目の位置を正しく判定できないという問題があった。

発明が解決しようとする課題

0005

本発明は、以上のような従来の問題に鑑みてなされたものであり、より精度良く目の位置を検出できる目位置検出装置及び方法を提供するものである。

0006

本発明の目位置検出装置は、撮影された映像から目の位置を簡易的に検出する簡易目位置検出手段と、簡易目位置検出手段で検出された目の位置を基に検索ウインドウを作成する検索ウインドウ作成手段と、検索ウインドウ内の映像から高輝度部を検出する高輝度部検出手段と、高輝度部検出手段で検出された高輝度部をグループ分けするグループ分け手段と、グループ分け手段でグループ分けされた高輝度部の中で予め定めた規定範囲内の面積を持つ高輝度部を抽出し、抽出された高輝度部の重心位置を算出する算出手段とを備え、重心位置を基に目の位置を検出する構成とした。

0007

この構成により、簡易的に目の位置を検出し、その位置を基に検索ウインドウを作成し、その検索ウインドウ内で高輝度部があるかどうかを検出するため、他の光源があったり、めがねがあったりしても、それらにあまり影響されることなく精度良く目の位置を判定することができる。

0008

また、本発明の目位置検出装置は、簡易目位置検出手段が、撮影された映像を二値化する二値化手段と、二値化手段で二値化された映像からX軸、Y軸毎投影出力を得る投影処理手段と、投影出力を基に二値化手段で二値化された映像の重心位置を算出し、目の位置を検出する検出手段とを備えた構成を有している。

0009

この構成により、簡易的に目の位置を素早く算出することができ、全体として、その動作をスムーズに実行することができる。

0010

また、本発明の目位置検出装置は、高輝度部検出手段で検出された高輝度部に撮影時の光源による目の瞳孔からの鏡面反射像を含んでおり、規定範囲が鏡面反射像による高輝度部の面積を含むように設定されている構成とした。

0011

この構成により、撮影時の照明光源による目の瞳孔からの鏡面反射像を正確に検出することができ、目の位置を正確に検出することができるようになる。

0012

また、本発明の目位置検出装置は、規定範囲内の面積を持つ高輝度部があったとき、規定範囲内の面積を持つ高輝度部の外方の輝度を測定し積分する積分手段と、積分手段で積分された輝度値が予め定めた所定の範囲の値であったとき、規定範囲内の面積を持つ高輝度部を目の位置と判定する判定手段とを備えた構成とした。

0013

この構成により、更に目の位置をより精度良く検出することができるという作用を有する。

0014

また、本発明の目位置検出装置は、積分手段が、規定範囲内の面積を持つ高輝度部の重心位置を中心とする予め定めた半径rの円周上の輝度を測定し積分する構成とした。この構成により、高輝度部の外方の位置を容易に設定でき、外方の輝度を簡単に測定し積分することができる。

0015

また、本発明の目位置検出装置は、半径rが規定範囲内の面積を持つ高輝度部の半径より大きく瞳孔の半径より小さい構成とした。この構成により、瞳孔、虹彩白目などを正確に区別して目の位置を判定することができるようになり、より正確に目の位置を判定することが可能になる。

0016

また、本発明の目位置検出方法は、撮影された映像を入力するステップと、入力された映像から目の位置を簡易的に検出するステップと、検出された目の位置を基に検索ウインドウを作成するステップと、検索ウインドウ内の映像から高輝度部を検出するステップと、検出された高輝度部をグループ分けするステップと、グループ分けされた高輝度部の中で予め定めた規定範囲内の面積を持つ高輝度部を抽出するステップと、抽出された高輝度部の重心位置を算出するステップとを備え、重心位置を基に目の位置を検出するようにしている。

0017

この方法により、他の光源があったり、めがねをかけていたりした場合でも、それらに殆ど影響されることなく正確に目の位置を検出することができる。

0018

また、本発明の目位置検出方法は、規定範囲内の面積を持つ高輝度部を抽出したとき、抽出された高輝度部の外方の輝度を測定し積分するステップと、積分された輝度値が予め定めた規定の範囲内の値であったとき、抽出された高輝度部の位置を目の位置と判定するステップとを備えている。

課題を解決するための手段

0019

この方法により、目の位置を瞳孔、虹彩、白目などと区別してより精度良く検出することが可能になる。

0020

以下、本発明の一実施の形態について、図面を用いて詳細に説明する。

0021

図1は、本発明の一実施の形態における目位置検出装置の概略構成図である。

0022

本発明の一実施の形態における目位置検出装置は、図1に示すように、被写体を撮影する撮影装置1と、被写体に撮影時の照明光を与える発光ダイオードなどの光源2と、これらの撮影装置1、光源2をそれぞれ駆動したり、撮影装置1によって撮影された映像を入力し、それを基に目の位置を検出したりする目位置検出装置本体3とを備えている。

0023

なお、目位置検出装置本体3は、入力部、出力部のほかに、入力部より入力された映像を一時記憶するメモリや、これらを制御するマイクロコンピュータ等の中央処理装置(CPU)などを備えている。

0024

次に、本発明の一実施の形態における目位置検出装置について、その動作を説明する。

0025

図2は、本発明の一実施の形態における目位置検出装置の動作を示すフロー図であり、図3図4は、それぞれの動作状態における説明図である。

0026

まず、被写体を撮影する場合には、光源2で被写体を照明し、撮影装置1で被写体を撮影する。なお、ここで、虹彩などを測定する場合には、光源として赤外線を発するものを用いることが望ましい。

0027

撮影装置1で被写体を撮影し、撮影した映像を目位置検出装置本体3に入力する(S201)と、目の位置装置本体3は、その入力された映像をまず二値化する(S202)。そして、二値化された映像を基にX軸、Y軸方向でそれぞれ投影処理を実施し(S203)、その映像の重心位置を計算する(S204)。計算された重心位置は、以下説明するように、ほぼ目の位置に合致するため、この位置を簡易的に目の位置と判断する。

0028

すなわち、今、撮影装置1で撮影された映像が、図3(A)に示すように目を含む映像であった場合、これを二値化すると、図3(B)に示すようになる。そのため、二値化された映像について、それぞれX軸、Y軸方向に投影処理し、その出力11、12を基に重心位置13を求めると、その位置はまつげ14などの影響で多少瞳孔15の位置とは異なるが、ほぼ瞳孔15の位置を表すことになる。したがって、この位置を簡易的に先ず目の位置と判断する。

0029

このようにして目の位置を簡易的に検出すると、次に、その位置を基にして検索ウインドウ16を作成する(S205)。検索ウインドウ16を作成する場合には、図4(A)に示すように、簡易的に求めた目の位置15が検索ウインドウ16の中心に合致するように、あるいは、まつげの影響で簡易的に求めた目の位置15が上方にずれる場合があることを考慮して、検索ウインドウ16を下に長めに取るように位置決めし、その大きさは、瞳孔15を含む虹彩部分17の一部が充分選択される程度の大きさになるように作成する。

0030

このようにして検索ウインドウ16を作成すると、次に、その検索ウインドウ16によって囲まれた範囲内の映像を取り出し、その映像内の高輝度部を検出する(S206)。高輝度部がない場合は、目の位置でないと判断し、再びステップ201に復帰するが、高輝度部が存在する場合には、それらの高輝度部をそれぞれグループ分けして(S207)、各グループの面積を計算する(S208)。

0031

今、検索ウインドウ内において、図4(B)に示すように、3つの高輝度部が存在したとすると、これらの高輝度部がそれぞれ第1、第2、第3のグループ18、19、20にグループ分けされ、それぞれのグループ18、19、20においてその面積が計算される。

0032

そして、計算結果に基づいて、各グループ18、19、20の面積が予め定めた規定の範囲内のものであるかどうかがそれぞれ判断され(S209)、規定の範囲内のものであれば、そのグループの高輝度部の重心位置が算出され(S210)、その重心位置が最終的な目の位置と判断される(S211)。

0033

ここで、予め定めた規定の範囲とは、光源1による瞳孔15からの鏡面反射像の大きさをできるだけ正確に判断できるように、その大きさに多少の許容範囲を含めて予め定めた規定の範囲に設定されている。

0034

例えば、図5に示すように、瞳孔以外の部分で反射された反射光や、めがねなどの目以外のもので反射された反射光をそれぞれ除外すべく、ある値M1より大きく、ある値M2より小さい範囲(但し、M1<M2)に設定すれば、瞳孔以外の部分で反射された反射光や、めがねなどの目以外のもので反射された反射光は、それぞれ予め定めた規定の範囲(M1〜M2)より小さかったり、大きかったりするため、これらを除外して、光源1による瞳孔15からの鏡面反射像のみを正確に判断することができる。

0035

図4(B)の場合には、第2、第3の各グループ19、20の高輝度部が、たとえば、瞳孔以外の部分で反射された規定の範囲(M1〜M2)の外の反射光であり、規定の範囲(M1〜M2)内のものでないと判断され放棄される。そして、第1のグループ18の高輝度部のみが規定の範囲(M1〜M2)内のものと判断され、その重心位置が計算され、最終的な目の位置と判断される。

0036

以上、説明したように、本実施の形態によれば、目の位置を簡易的に求め、その位置を基に検索ウインドウを形成し、検索ウインドウ内に存在する映像を基に高輝度部を検索し、検索された高輝度部の大きさが規定の範囲の大きさである場合に、その高輝度部の重心位置を目の位置と判断するようにしており、したがって、周囲に他の光源があったり、目以外の部分で反射された高輝度部があったり、めがねによる反射光があったりしても、それらは検索ウインドウ内の映像に表れることがなく、仮に現れたとしてもその大きさが規定範囲内にないことになり、それらにほとんど影響されることなく常に精度良く目の位置を判定することができる。

0037

なお、本実施の形態では、光源を1つ設けただけであるが、光源は複数設けてもよい。光源を複数設けた場合には、光源の数に等しいだけの鏡面反射像が表れるので、これらの鏡面反射像について、それぞれその面積を算出し、規定の範囲内にあるかどうか判断するようにすればよい。そして、すべての鏡面反射像が規定の範囲内にあるとき、それらの鏡面反射像の位置を基にして目の位置と判断するようにすればよい。

0038

また、本実施の形態では、検索ウインドウ内に存在する映像を基に高輝度部を検索し、検索された高輝度部に面積が予め定めた規定の範囲(M1〜M2)内のものがあれば、その映像に目があると判断しているが、目の位置をより正確に判定するためには、面積が予め定めた規定の範囲(M1〜M2)内の高輝度部を基にして更に次の判定を行うようにすればよい。

0039

図6は、目の位置をより正確に判定するために、図2に示したフローに新たに付加するフローを示している。以下、このフロー図に従いその動作を説明する。

0040

検索ウインドウ16内に存在する映像を基に高輝度部を検索し、検索された高輝度部に面積が予め定めた規定の範囲(M1〜M2)内のものがあるかどうかを判断し(S210)、あった場合(S210のY)には、その規定の範囲(M1〜M2)内の高輝度部18に関し、図7(A)に示すように、重心位置21を算出し(S601)、その重心位置21を中心とした半径rの円周上の輝度を測定し(S601)、積分する(S602)。そして、積分された輝度値Kが予め定めた規定の範囲内の値であるどうかを判断し(S603)、規定の範囲内の値であれば、先に抽出した面積が予め定めた規定の範囲(M1〜M2)内の高輝度部18の重心位置を最終的な目の位置と判定する(S604)。

発明を実施するための最良の形態

0041

なお、ここで、高輝度部18の重心位置21からの半径rを予め定めた規定の範囲(M1〜M2)の半径より大きく、瞳孔の半径より小さく設定すれば、積分された輝度値Kが、図7(B)に示すように、瞳孔からの反射光である場合、第1の閾値K1より小さく、虹彩からの反射光である場合、第1の閾値K1より大きく第2の閾値K2(K2>K1)より小さく、白目からの反射光である場合、第2の閾値K2より大きくなるように、それぞれ第1、第2の閾値K1、K2を容易に設定することができるようになる。したがって、予め定めた規定の範囲内の値を第1の閾値K1より小さい値、あるいは、第2の閾値K2より小さい値などにそれぞれ設定すれば、瞳孔からの反射光、あるいは、瞳孔からの反射光と虹彩からの反射光の両方を含む反射光などをそれぞれ区別して検出し、その結果によって目の位置を判定することができ、より精度よく目の位置を検出することができることになる。

図面の簡単な説明

0042

以上説明したように、本発明によれば、他の光源があったり、めがねがあったりしても、それらに影響されることなく精度良く目の位置を判定することができる。

図1
本発明の一実施の形態における目位置検出装置の概略構成図
図2
本発明の一実施の形態における目位置検出装置の動作を示すフロー図
図3
本発明の一実施の形態における目位置検出装置において目の位置を簡易的に検出する場合の概略説明図
(A)撮影装置によって撮影された目の映像の一例を示す図
(B)二値化された映像と、各軸毎に投影処理された出力の波形
図4
本発明の一実施の形態における目位置検出装置において目の存在を判断する場合の概略説明図
(A)検索ウインドウを示す概念
(B)検索ウインドウ内の映像拡大図
図5
本発明の一実施の形態における目位置検出装置において目の存在を判断する場合に使用する予め定めた規定の範囲を説明する概略説明図
図6
本発明の他の実施の形態における目位置検出装置において新たに付加した部分の動作を説明するフロー図
図7
本発明の他の実施の形態における目位置検出装置において目の位置をより正確に判定する場合の説明図
(A)高輝度部とその重心位置を中心とした半径rの円周を示す図
(B)積分した輝度Kと、2つの閾値K1、K2を示す図
【符号の説明】
1 撮影装置
2 光源
3 目判定装置本体
11、12 出力
13 重心位置
14 まつげ
15 瞳孔
16 検索ウインドウ
17 虹彩
18、19、20 高輝度部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ