図面 (/)

技術 瞳孔検出装置、および瞳孔検出方法

出願人 株式会社JVCケンウッド
発明者 箱嶋修二
出願日 2016年1月28日 (4年9ヶ月経過) 出願番号 2016-014862
公開日 2017年8月3日 (3年3ヶ月経過) 公開番号 2017-131446
状態 特許登録済
技術分野 イメージ分析 画像処理 眼の診断装置
主要キーワード 曲率半径値 Y座標 モニタ画 世界座標値 対称領域 仮想光源位置 X座標 角膜反射点
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年8月3日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

簡単な処理で瞳孔を検出する瞳孔検出装置等を提供する。

解決手段

人物の瞳孔を含む画像を撮像する撮像部と、撮像部が取得した画像から人物の瞳孔を抽出する制御部と、を有し、制御部は、瞳孔と瞳孔の周囲の輝度変化に対応するパターンと画像とのマッチングを行い、瞳孔の候補位置を抽出するパターンマッチング部と、パターンマッチング部で抽出した瞳孔の候補位置を解析し、瞳孔があるかを検出する瞳孔検出部と、を有する。

概要

背景

カメラ高精度化処理高速化、および小型化が進み、カメラで撮像した顔の画像から、被験者モニタ画面などの観察面上で注視している位置を検出する視線検出装置が提案されている。当初は被験者の頭部を固定したり、頭部に検出装置を取り付けたりする技術が多かった。最近は被験者の負担を軽減するために、頭部に装置等を取り付けることが不要な非接触タイプが開発され、さらに精度の高い視線検出装置が求められている。非接触タイプの視線検出装置では、カメラ画像上の瞳孔角膜反射位置関係によって視線検出を行う。このため、カメラ画像上の瞳孔中心座標角膜反射中心座標とを正確に求めることが重要である。特許文献1には、目を撮像した画像から、瞳孔領域角膜反射領域とを特定する位置検出部を有する視線検出装置が記載されている。

概要

簡単な処理で瞳孔を検出する瞳孔検出装置等を提供する。人物の瞳孔を含む画像を撮像する撮像部と、撮像部が取得した画像から人物の瞳孔を抽出する制御部と、を有し、制御部は、瞳孔と瞳孔の周囲の輝度変化に対応するパターンと画像とのマッチングを行い、瞳孔の候補位置を抽出するパターンマッチング部と、パターンマッチング部で抽出した瞳孔の候補位置を解析し、瞳孔があるかを検出する瞳孔検出部と、を有する。

目的

本発明は、上記に鑑みてなされたものであって、より簡単な処理で瞳孔を検出できる瞳孔検出装置、および瞳孔検出方法を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

人物瞳孔を含む画像を撮像する撮像部と、前記撮像部が取得した画像から前記人物の瞳孔を抽出する制御部と、を有し、前記制御部は、前記瞳孔と前記瞳孔の周囲の輝度変化に対応するパターンと前記画像とのマッチングを行い、前記瞳孔の候補位置を抽出するパターンマッチング部と、前記パターンマッチング部で抽出した前記瞳孔の候補位置を解析し、瞳孔があるかを検出する瞳孔検出部と、を有することを特徴とする瞳孔検出装置

請求項2

前記パターンマッチング部は、複数のパターンを用いて抽出処理を行い、複数のパターンを用いて抽出した候補を比較する比較部をさらに有し、前記パターンは、第一輝度の第一領域と前記第一輝度よりも輝度が低い第二輝度の第二領域とを含む請求項1に記載の瞳孔検出装置。

請求項3

前記抽出処理は、1つのパターンを抽出し、抽出されたパターンの輝度分布の領域を読み出して、前記画像とのマッチングを行い、複数のパターンのマッチングの結果に基づいて、優先順位を決定し、優先順位が高い候補を前記瞳孔の候補位置とすることを特徴とする請求項1または2に記載の瞳孔検出装置。

請求項4

前記制御部は、前記パターンマッチング部で抽出した前記瞳孔の候補位置以外の位置をマスキングするマスキング部をさらに有し、前記瞳孔検出部は、前記マスキング部でマスキングした画像を処理することを特徴とする請求項1から3のいずれか1項に記載の瞳孔検出装置。

請求項5

前記瞳孔検出部は、前記瞳孔の候補位置の画像から瞳孔の境界角膜反射の存在を確認できた位置を前記瞳孔として検出することを特徴とする請求項1から4のいずれか一項に記載の瞳孔検出装置。

請求項6

人物の瞳孔を含む画像と前記瞳孔と前記瞳孔の周囲の輝度変化に対応するパターンとのマッチングを行い、前記瞳孔の候補位置を抽出するパターンマッチングステップと、前記パターンマッチングステップで抽出した前記瞳孔の候補位置を解析し、瞳孔があるかを検出する瞳孔検出ステップと、を有することを特徴とする瞳孔検出方法

技術分野

0001

本発明は、瞳孔検出装置、および瞳孔検出方法に関する。

背景技術

0002

カメラ高精度化処理高速化、および小型化が進み、カメラで撮像した顔の画像から、被験者モニタ画面などの観察面上で注視している位置を検出する視線検出装置が提案されている。当初は被験者の頭部を固定したり、頭部に検出装置を取り付けたりする技術が多かった。最近は被験者の負担を軽減するために、頭部に装置等を取り付けることが不要な非接触タイプが開発され、さらに精度の高い視線検出装置が求められている。非接触タイプの視線検出装置では、カメラ画像上の瞳孔角膜反射位置関係によって視線検出を行う。このため、カメラ画像上の瞳孔中心座標角膜反射中心座標とを正確に求めることが重要である。特許文献1には、目を撮像した画像から、瞳孔領域角膜反射領域とを特定する位置検出部を有する視線検出装置が記載されている。

先行技術

0003

特開2015−126850号公報

発明が解決しようとする課題

0004

ここで、画像上の瞳孔を検出する場合、瞳孔があると推定される瞳孔を検出する。瞳孔検出装置は、例えば、画像に対して顔認識処理を行い、画面上の瞳孔領域を検出するが、処理の演算量が多くなる場合がある。

0005

本発明は、上記に鑑みてなされたものであって、より簡単な処理で瞳孔を検出できる瞳孔検出装置、および瞳孔検出方法を提供することを目的とする。

課題を解決するための手段

0006

上述した課題を解決し、目的を達成するために、本発明の瞳孔検出装置は、人物の瞳孔を含む画像を撮像する撮像部と、前記撮像部が取得した画像から前記人物の瞳孔を抽出する制御部と、有し、前記制御部は、前記瞳孔と前記瞳孔の周囲の輝度変化に対応するパターンと前記画像とのマッチングを行い、前記瞳孔の候補位置を抽出するパターンマッチング部と、前記パターンマッチング部で抽出した前記瞳孔の候補位置を解析し、瞳孔があるかを検出する瞳孔検出部と、を有することを特徴とする。

発明の効果

0007

本発明は、パターンマッチングで瞳孔の候補位置を抽出した後、候補位置から瞳孔を検出することで、少ない処理量で瞳孔を検出できるという効果を奏する。

図面の簡単な説明

0008

図1は、1つの光源を使用した場合の被験者の目の様子を示す図である。
図2は、2つの光源を使用した場合の被験者の目の様子を示す図である。
図3は、本実施形態の表示部、ステレオカメラ赤外線光源および被験者の配置の一例を示す図である。
図4は、本実施形態の表示部、ステレオカメラ、赤外線光源および被験者の配置の一例を示す図である。
図5は、診断支援装置の機能の概要を示す図である。
図6は、図5に示す各部の詳細な機能の一例を示すブロック図である。
図7は、1つの光源を用いると仮定した場合の処理の概要を説明する図である。
図8は、本実施形態の診断支援装置により実行される処理の概要を説明する図である。
図9は、瞳孔中心位置角膜曲率中心位置との距離を算出する算出処理を説明するための図である。
図10は、本実施形態の算出処理の一例を示すフローチャートである。
図11は、事前に求めた距離を使用して角膜曲率中心の位置を算出する方法を示した図である。
図12は、本実施形態の視線検出処理の一例を示すフローチャートである。
図13は、変形例の算出処理を説明するための図である。
図14は、変形例の算出処理の一例を示すフローチャートである。
図15は、位置検出部の機能の概要を示す図である。
図16は、データベースに記憶されている識別器の一例を示す図である。
図17は、位置検出部の処理の一例を示すフローチャートである。
図18は、位置検出部の処理を説明するための図である。
図19は、位置検出部のパターンマッチングの処理を説明するための図である。
図20は、位置検出部のパターンマッチングの処理を説明するための図である。
図21は、位置検出部のパターンマッチングの処理を説明するための図である。

実施例

0009

以下に、本発明にかかる瞳孔検出装置および瞳孔検出方法の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、以下では、視線検出結果を用いて発達障がいなどの診断支援する診断支援装置に瞳孔検出装置を用いた例を説明する。適用可能な装置は診断支援装置に限られるものではない。

0010

本実施形態の診断支援装置は、2ヵ所に設置された照明部を用いて視線を検出する。また、本実施形態の診断支援装置は、視線検出前に被験者に1点を注視させて測定した結果を用いて、角膜曲率中心位置を高精度に算出する。

0011

なお、照明部とは、光源を含み、被験者の眼球に光を照射可能な要素である。光源とは、例えばLED(Light Emitting Diode)などの光を発生する素子である。光源は、1個のLEDから構成されてもよいし、複数のLEDを組み合わせて1ヵ所に配置することにより構成されてもよい。以下では、このように照明部を表す用語として「光源」を用いる場合がある。

0012

視点検出を精度よく行うためには、瞳孔位置を正しく検出できることが重要となっている。近赤外の光源を点灯させカメラで撮影した場合、カメラと光源の距離が一定以上離れていると、瞳孔は他の部分より暗くなることがわかっている。この特徴を用いて瞳孔位置が検出される。

0013

本実施形態では、2台のカメラに対して、光源をそれぞれのカメラの外側に2ヶ所配置する。そして、これらの2つの光源を相互に異なるタイミングで点灯させ、点灯している光源からの距離が長い方(遠い方)のカメラで撮影する。これにより、瞳孔をより暗く撮影し、瞳孔と他の部分とを、より高精度に区別することが可能となる。

0014

この場合、点灯させる光源が異なるため、通常のステレオ方式による三次元計測を単純に適用することができない。すなわち、視点を求める際の光源と角膜反射を結ぶ直線を世界座標で算出することができない。そこで本実施形態では、2つのタイミングでの、撮像に用いるカメラ相互の位置関係、および、点灯させる光源相互の位置関係を、仮想的な光源の位置(仮想光源位置)に対してそれぞれ対称とする。そして、2つの光源それぞれの点灯時に得られる2つの座標値を、左カメラによる座標値および右カメラによる座標値として世界座標に変換する。これにより、2つの光源それぞれの点灯時に得られる角膜反射位置を用いて、仮想光源と角膜反射を結ぶ直線を世界座標で算出すること、および、この直線に基づき視点を算出することが可能となる。

0015

図1は、1つの光源を使用した場合の被験者の目11の様子を示す図である。図1に示すように、虹彩12と瞳孔13との暗さの差が十分ではなく、区別が困難となる。図2は、2つの光源を使用した場合の被験者の目21の様子を示す図である。図2に示すように、虹彩22と瞳孔23との暗さの差は、図1と比較して大きくなっている。

0016

図3および4は、本実施形態の表示部、ステレオカメラ(撮像部)、赤外線光源および被験者の配置の一例を示す図である。

0017

図3に示すように、本実施形態の診断支援装置は、表示部101と、ステレオカメラを構成する右カメラ102a、左カメラ102bと、LED光源103a、103bと、を含む。右カメラ102a、左カメラ102bは、表示部101の下に配置される。LED光源103a、103bは、右カメラ102a、左カメラ102bそれぞれの外側の位置に配置される。LED光源103a、103bは、例えば波長850nmの近赤外線を照射する光源である。図3では、9個のLEDによりLED光源103a、103b(照明部)を構成する例が示されている。なお、右カメラ102a、左カメラ102bは、波長850nmの近赤外光を透過できるレンズを使用する。なお、LED光源103a、103bと、右カメラ102a、左カメラ102bとの位置を逆にして、LED光源103a、103bを、右カメラ102a、左カメラ102bそれぞれの内側の位置に配置されていてもよい。

0018

図4に示すように、LED光源103a、103bは、被験者の眼球111に向かって近赤外光を照射する。LED光源103aを照射したときに左カメラ102bで撮影を行い、LED光源103bを照射したときに右カメラ102aで撮影を行う。右カメラ102aおよび左カメラ102bと、LED光源103a、103bとの位置関係を適切に設定することにより、撮影される画像では、瞳孔112が低輝度反射して暗くなり、眼球111内に虚像として生じる角膜反射113が高輝度で反射して明るくなる。従って、瞳孔112および角膜反射113の画像上の位置を2台のカメラ(右カメラ102a、左カメラ102b)それぞれで取得することができる。

0019

さらに2台のカメラにより得られる瞳孔112および角膜反射113の位置から、瞳孔112および角膜反射113の位置の三次元世界座標値を算出する。本実施形態では、三次元世界座標として、表示部101の画面の中央位置を原点として、上下をY座標(上が+)、横をX座標(向かって右が+)、奥行きをZ座標(手前が+)としている。

0020

図5は、診断支援装置100の機能の概要を示す図である。図5では、図3および4に示した構成の一部と、この構成の駆動などに用いられる構成を示している。図5に示すように、診断支援装置100は、右カメラ102aと、左カメラ102bと、左カメラ102b用のLED光源103aと、右カメラ102a用のLED光源103bと、スピーカ205と、駆動・IF(interface)部313と、制御部300と、記憶部150と、表示部101と、を含む。図5において、表示画面201は、右カメラ102aおよび左カメラ102bとの位置関係を分かりやすく示しているが、表示画面201は表示部101において表示される画面である。なお、駆動部とIF部は一体でもよいし、別体でもよい。

0021

スピーカ205は、キャリブレーション時などに、被験者に注意を促すための音声などを出力する音声出力部として機能する。

0022

駆動・IF部313は、ステレオカメラに含まれる各部を駆動する。また、駆動・IF部313は、ステレオカメラに含まれる各部と、制御部300とのインタフェースとなる。

0023

制御部300は、例えば、CPU(Central Processing Unit)などの制御装置と、ROM(Read Only Memory)やRAM(Random Access Memory)などの記憶装置と、ネットワークに接続して通信を行う通信IFと、各部を接続するバスを備えているコンピュータなどにより実現できる。

0024

記憶部150は、制御プログラム測定結果診断支援結果など各種情報を記憶する。記憶部150は、例えば、表示部101に表示する画像等を記憶する。表示部101は、診断のための対象画像等、各種情報を表示する。

0025

図6は、図5に示す各部の詳細な機能の一例を示すブロック図である。図6に示すように、制御部300には、表示部101と、駆動・IF部313が接続される。駆動・IF部313は、カメラIF314、315と、LED駆動制御部316と、スピーカ駆動部322と、を備える。

0026

駆動・IF部313には、カメラIF314、315を介して、それぞれ、右カメラ102a、左カメラ102bが接続される。駆動・IF部313がこれらのカメラを駆動することにより、被験者を撮像する。右カメラ102aからはフレーム同期信号が出力される。フレーム同期信号は、左カメラ102bとLED駆動制御部316とに入力される。これにより、LED光源103a、103bを発光させ、それに対応して左右カメラによる画像を取り込んでいる。

0027

スピーカ駆動部322は、スピーカ205を駆動する。なお、診断支援装置100が、印刷部としてのプリンタと接続するためのインタフェース(プリンタIF)を備えてもよい。また、プリンタを診断支援装置100の内部に備えるように構成してもよい。

0028

制御部300は、診断支援装置100全体を制御する。制御部300は、点灯制御部351と、位置検出部352と、曲率中心算出部353と、視線検出部354と、視点検出部355と、出力制御部356と、評価部357と、を備えている。

0029

制御部300に含まれる各要素(点灯制御部351、位置検出部352、曲率中心算出部353、視線検出部354、視点検出部355、出力制御部356および評価部357)は、CPUなどにより実行されるソフトウェアプログラム)で実現してもよいし、ハードウェア回路で実現してもよいし、ソフトウェアとハードウェア回路とを併用して実現してもよい。

0030

プログラムで実現する場合、当該プログラムは、インストール可能な形式又は実行可能な形式のファイルCD−ROM(Compact Disk Read Only Memory)、フレキシブルディスクFD)、CD−R(Compact Disk Recordable)、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されてコンピュータプログラムプロダクトとして提供される。プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、プログラムを、ROM等に予め組み込んで提供するように構成してもよい。本実施形態の診断支援装置100で実行されるプログラムは、上述した各部を含むモジュール構成となっており、実際のハードウェアとしてはCPU(プロセッサ)が上記記憶媒体からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、各部が主記憶装置上に生成されるようになっている。

0031

点灯制御部351は、LED駆動制御部316を用いて、LED光源103a、103bの点灯を制御する。例えば点灯制御部351は、LED光源103a、103bを、相互に異なるタイミングで点灯するように制御する。タイミングの差(時間)は、例えば、被験者の視線の移動等による視線検出結果への影響が生じない時間として予め定められた時間とすればよい。

0032

位置検出部352は、ステレオカメラにより撮像された眼球の画像から、瞳孔領域を検出し、瞳孔領域から瞳孔を検出し、瞳孔の輪郭を検出し、瞳孔の輪郭から瞳孔の中心を示す瞳孔中心の位置を算出する。また位置検出部352は、撮像された眼球の画像から、角膜反射の中心を示す角膜反射中心の位置を算出する。

0033

曲率中心算出部353は、仮想光源位置と角膜反射中心とを結ぶ直線から、角膜曲率中心を算出する。例えば、曲率中心算出部353は、この直線上で、角膜反射中心からの距離が所定値となる位置を、角膜曲率中心として算出する。所定値は、一般的な角膜曲率半径値などから事前に定められた値を用いることができる。

0034

角膜の曲率半径値には個人差が生じうるため、事前に定められた値を用いて角膜曲率中心を算出すると誤差が大きくなる可能性がある。従って、曲率中心算出部353が、個人差を考慮して角膜曲率中心を算出してもよい。この場合、曲率中心算出部353は、まず目標位置を被験者に注視させたときに算出された瞳孔中心および角膜反射中心を用いて、瞳孔中心と目標位置とを結ぶ直線と、角膜反射中心と仮想光源位置とを結ぶ直線と、の交点を算出する。そして曲率中心算出部353は、瞳孔中心と算出した交点との距離を算出し、例えば記憶部150に記憶する。

0035

目標位置は、予め定められ、三次元世界座標値が算出できる位置であればよい。例えば、表示画面201の中央位置(三次元世界座標の原点)を目標位置とすることができる。この場合、例えば出力制御部356が、表示画面201上の目標位置(中央)に、被験者に注視させる画像(目標画像)等を表示する。これにより、被験者に目標位置を注視させることができる。

0036

目標画像は、被験者を注目させることができる画像であればどのような画像であってもよい。例えば、輝度や色などの表示態様が変化する画像、および、表示態様が他の領域と異なる画像などを目標画像として用いることができる。

0037

なお、目標位置は表示画面201の中央に限られるものではなく、任意の位置でよい。表示画面201の中央を目標位置とすれば、表示画面201の任意の端部との距離が最小になる。このため、例えば視線検出時の測定誤差をより小さくすることが可能となる。

0038

距離の算出までの処理は、例えば実際の視線検出を開始するまでに事前に実行しておく。実際の視線検出時には、曲率中心算出部353は、仮想光源位置と角膜反射中心とを結ぶ直線上で、瞳孔中心からの距離が、事前に算出した距離となる位置を、角膜曲率中心として算出する。曲率中心算出部353が、仮想光源位置と、表示部上の目標画像を示す所定の位置と、瞳孔中心の位置と、角膜反射中心の位置と、から角膜曲率中心を算出する算出部に相当する。

0039

視線検出部354は、瞳孔中心と角膜曲率中心とから被験者の視線を検出する。例えば視線検出部354は、角膜曲率中心から瞳孔中心へ向かう方向を被験者の視線方向として検出する。

0040

視点検出部355は、検出された視線方向を用いて被験者の視点を検出する。視点検出部355は、例えば、表示画面201で被験者が注視する点である視点(注視点)を検出する。視点検出部355は、例えば図2のような三次元世界座標系で表される視線ベクトルとXY平面との交点を、被験者の注視点として検出する。

0041

出力制御部356は、表示部101およびスピーカ205などに対する各種情報の出力を制御する。例えば、出力制御部356は、表示部101上の目標位置に目標画像を出力させる。また、出力制御部356は、診断画像、および、評価部357による評価結果などの表示部101に対する出力を制御する。

0042

診断画像は、視線(視点)検出結果に基づく評価処理に応じた画像であればよい。例えば発達障がいを診断する場合であれば、発達障がいの被験者が好む画像(幾何学模様映像など)と、それ以外の画像(人物映像など)と、を含む診断画像を用いてもよい。また、自閉スペクトラム症(ASD)で用いられる診断画像としては、少なくとも人の顔を含む画像となっている。

0043

評価部357は、診断画像と、視点検出部355により検出された注視点とに基づく評価処理を行う。例えば発達障がいを診断する場合であれば、評価部357は、診断画像と注視点とを解析し、発達障がいの被験者が好む画像部分を注視したか否かを評価する。

0044

図7は、1つの光源を用いると仮定した場合の処理の概要を説明する図である。図3図6で説明した要素については同一の符号を付し説明を省略する。図7の例では、2つのLED光源103a、103bの代わりに、1つのLED光源203が用いられる。

0045

瞳孔中心407および角膜反射中心408は、それぞれ、1つのLED光源203を点灯させた際に検出される瞳孔の中心、および、角膜反射点の中心を表している。角膜曲率半径409は、角膜表面から角膜曲率中心410までの距離を表す。LED光源203は、ここでは1個のLEDとしているが、数個の小さいLEDを組み合わせて1ヵ所に配置されたものであっても構わない。

0046

図8は、本実施形態の診断支援装置100により実行される処理の概要を説明する図である。図3図6で説明した要素については同一の符号を付し説明を省略する。

0047

角膜反射点621は左カメラ102bで撮影したときの画像上の角膜反射点を表す。角膜反射点622は右カメラ102aで撮影したときの画像上の角膜反射点を表す。本実施形態では、右カメラ102aと右カメラ用のLED光源103b、および、左カメラ102bと左カメラ用のLED光源103aは、例えば右カメラ102aと左カメラ102bの中間位置を通る直線に対して左右対称の位置関係にある。このため、右カメラ102aと左カメラ102bの中間位置(仮想光源位置)に仮想光源303があるとみなすことができる。角膜反射点624は、仮想光源303に対応する角膜反射点を表す。角膜反射点621の座標値と角膜反射点622の座標値を、左右カメラの座標値を三次元世界座標に変換する変換パラメータを用いて変換することにより、角膜反射点624の世界座標値が算出できる。仮想光源303と角膜反射点624を結ぶ直線523上に角膜の曲率中心505が存在する。従って、図7で表した光源が1ヵ所の視線検出方法と同等の方法で視点検出が可能である。

0048

なお右カメラ102aと左カメラ102bとの位置関係、および、LED光源103aとLED光源103bとの位置関係は、上述の位置関係に限られるものではない。例えば同一の直線に対して、それぞれの位置関係が左右対称となる関係であってもよいし、右カメラ102aと左カメラ102bと、LED光源103aとLED光源103bとは同一直線上になくてもよい。

0049

図9は、視点検出(視線検出)を行う前に、角膜曲率中心位置と、瞳孔中心位置と角膜曲率中心位置との距離を算出する算出処理を説明するための図である。図3図6で説明した要素については同一の符号を付し説明を省略する。

0050

目標位置605は、表示部101上の一点に目標画像等を出して、被験者に見つめさせるための位置である。本実施形態では表示部101の画面の中央位置としている。直線613は、仮想光源303と角膜反射中心612とを結ぶ直線である。直線614は、被験者が見つめる目標位置605(注視点)と瞳孔中心611とを結ぶ直線である。角膜曲率中心615は、直線613と直線614との交点である。曲率中心算出部353は、瞳孔中心611と角膜曲率中心615との距離616を算出して記憶しておく。

0051

図10は、本実施形態の算出処理の一例を示すフローチャートである。

0052

まず出力制御部356は、表示部101の画面上の1点に目標画像を再生し(ステップS101)、被験者にその1点を注視させる。次に、点灯制御部351は、LED駆動制御部316を用いてLED光源103a、103bのうち一方を被験者の目に向けて点灯させる(ステップS102)。制御部300は、左右カメラ(右カメラ102a、左カメラ102b)のうち点灯したLED光源からの距離が長い方のカメラで被験者の目を撮像する(ステップS103)。次に、点灯制御部351は、LED光源103a、103bのうち他方を被験者の目に向けて点灯させる(ステップS104)。制御部300は、左右カメラのうち点灯したLED光源からの距離が長い方のカメラで被験者の目を撮像する(ステップS105)。

0053

なお、点灯したLED光源からの距離が長いカメラ以外のカメラによる撮像を停止しなくてもよい。すなわち、少なくとも点灯したLED光源からの距離が長い方のカメラで被験者の目を撮像し、撮像した画像が座標算出等に利用可能となっていればよい。

0054

LED光源103aまたはLED光源103bの照射により、瞳孔部分(瞳孔領域)は暗い部分(暗瞳孔)として検出される。またLED照射の反射として、角膜反射の虚像が発生し、明るい部分として角膜反射点(角膜反射中心)が検出される。すなわち、位置検出部352は、撮像された画像から瞳孔部分を検出し、瞳孔中心の位置を示す座標を算出する。位置検出部352は、例えば目を含む一定領域の中で最も暗い部分を含む所定の明るさ以下の領域を瞳孔部分として検出し、最も明るい部分を含む所定の明るさ以上の領域を角膜反射として検出する。また、位置検出部352は、撮像された画像から角膜反射部分(角膜反射領域)を検出し、角膜反射中心の位置を示す座標を算出する。なお、位置検出部352は、左右カメラで取得した2つの画像それぞれに対して、各座標値を算出する(ステップS106)。

0055

なお、左右カメラは、三次元世界座標を取得するために、事前にステレオ較正法によるカメラ較正が行われており、変換パラメータが算出されている。ステレオ較正法は、Tsaiのカメラキャリブレーション理論を用いた方法など従来から用いられているあらゆる方法を適用できる。

0056

位置検出部352は、この変換パラメータを使用して、左右カメラの座標から、瞳孔中心と角膜反射中心の三次元世界座標に変換を行う(ステップS107)。例えば位置検出部352は、LED光源103aが点灯されたときに左カメラ102bにより撮像された画像から得られた座標を左カメラの座標とし、LED光源103bが点灯されたときに右カメラ102aにより撮像された画像から得られた座標を右カメラの座標として、変換パラメータを用いて三次元世界座標への変換を行う。この結果得られる世界座標値は、仮想光源303から光が照射されたと仮定したときに左右カメラで撮像された画像から得られる世界座標値に対応する。曲率中心算出部353は、求めた角膜反射中心の世界座標と、仮想光源303の中心位置の世界座標とを結ぶ直線を求める(ステップS108)。次に、曲率中心算出部353は、表示部101の画面上の1点に表示される目標画像の中心の世界座標と、瞳孔中心の世界座標とを結ぶ直線を算出する(ステップS109)。曲率中心算出部353は、ステップS108で算出した直線とステップS109で算出した直線との交点を求め、この交点を角膜曲率中心とする(ステップS110)。曲率中心算出部353は、このときの瞳孔中心と角膜曲率中心との間の距離を算出して記憶部150などに記憶する(ステップS111)。記憶された距離は、その後の視点(視線)検出時に、角膜曲率中心を算出するために使用される。

0057

算出処理で表示部101上の1点を見つめる際の瞳孔中心と角膜曲率中心との間の距離は、表示部101内の視点を検出する範囲で一定に保たれている。瞳孔中心と角膜曲率中心との間の距離は、目標画像を再生中に算出された値全体の平均から求めてもよいし、再生中に算出された値のうち何回かの値の平均から求めてもよい。

0058

図11は、視点検出を行う際に、事前に求めた瞳孔中心と角膜曲率中心との距離を使用して、補正された角膜曲率中心の位置を算出する方法を示した図である。注視点805は、一般的な曲率半径値を用いて算出した角膜曲率中心から求めた注視点を表す。注視点806は、事前に求めた距離を用いて算出した角膜曲率中心から求めた注視点を表す。

0059

瞳孔中心811および角膜反射中心812は、それぞれ、視点検出時に算出された瞳孔中心の位置、および、角膜反射中心の位置を示す。直線813は、仮想光源303と角膜反射中心812とを結ぶ直線である。角膜曲率中心814は、一般的な曲率半径値から算出した角膜曲率中心の位置である。距離815は、事前の算出処理により算出した瞳孔中心と角膜曲率中心との距離である。角膜曲率中心816は、事前に求めた距離を用いて算出した角膜曲率中心の位置である。角膜曲率中心816は、角膜曲率中心が直線813上に存在すること、および、瞳孔中心と角膜曲率中心との距離が距離815であることから求められる。これにより一般的な曲率半径値を用いる場合に算出される視線817は、視線818に補正される。また、表示部101の画面上の注視点は、注視点805から注視点806に補正される。

0060

図12は、本実施形態の視線検出処理の一例を示すフローチャートである。例えば、診断画像を用いた診断処理の中で視線を検出する処理として、図12の視線検出処理を実行することができる。診断処理では、図12の各ステップ以外に、診断画像を表示する処理、および、注視点の検出結果を用いた評価部357による評価処理などが実行される。

0061

ステップS201〜ステップS207は、図10のステップS102〜ステップS108と同様であるため説明を省略する。

0062

曲率中心算出部353は、ステップS207で算出した直線上であって、瞳孔中心からの距離が、事前の算出処理によって求めた距離と等しい位置を角膜曲率中心として算出する(ステップS208)。

0063

視線検出部354は、瞳孔中心と角膜曲率中心とを結ぶベクトル(視線ベクトル)を求める(ステップS209)。このベクトルが、被験者が見ている視線方向を示している。視点検出部355は、この視線方向と表示部101の画面との交点の三次元世界座標値を算出する(ステップS210)。この値が、被験者が注視する表示部101上の1点を世界座標で表した座標値である。視点検出部355は、求めた三次元世界座標値を、表示部101の二次元座標系で表される座標値(x,y)に変換する(ステップS211)。これにより、被験者が見つめる表示部101上の視点(注視点)を算出することができる。

0064

(変形例)
瞳孔中心位置と角膜曲率中心位置との距離を算出する算出処理は、図9および図10で説明した方法に限られるものではない。以下では、算出処理の他の例について図13および図14を用いて説明する。

0065

図13は、本変形例の算出処理を説明するための図である。図3図6および図9で説明した要素については同一の符号を付し説明を省略する。

0066

線分1101は、目標位置605と仮想光源位置とを結ぶ線分である。線分1102は、線分1101と平行で、瞳孔中心611と直線613とを結ぶ線分である。本変形例では、以下のように、線分1101、線分1102を用いて瞳孔中心611と角膜曲率中心615との距離616を算出して記憶しておく。

0067

図14は、本変形例の算出処理の一例を示すフローチャートである。

0068

ステップS301〜ステップS309は、図10のステップS101〜ステップS109と同様であるため説明を省略する。

0069

曲率中心算出部353は、表示部101の画面上の1点に表示される目標画像の中心と、仮想光源位置とを結ぶ線分(図13では線分1101)を算出するとともに、算出した線分の長さ(L1101とする)を算出する(ステップS310)。

0070

曲率中心算出部353は、瞳孔中心611を通り、ステップS310で算出した線分と平行な線分(図13では線分1102)を算出するとともに、算出した線分の長さ(L1102とする)を算出する(ステップS311)。

0071

曲率中心算出部353は、角膜曲率中心615を頂点とし、ステップS310で算出した線分を下辺とする三角形と、角膜曲率中心615を頂点とし、ステップS311で算出した線分を下辺とする三角形とが相似関係にあることに基づき、瞳孔中心611と角膜曲率中心615との間の距離616を算出する(ステップS312)。例えば曲率中心算出部353は、線分1101の長さに対する線分1102の長さの比率と、目標位置605と角膜曲率中心615との間の距離に対する距離616の比率と、が等しくなるように、距離616を算出する。

0072

距離616は、以下の(1)式により算出することができる。なおL614は、目標位置605から瞳孔中心611までの距離である。
距離616=(L614×L1102)/(L1101−L1102)・・・(1)

0073

曲率中心算出部353は、算出した距離616を記憶部150などに記憶する(ステップS313)。記憶された距離は、その後の視点(視線)検出時に、角膜曲率中心を算出するために使用される。

0074

次に、図15から図21を用いて、位置検出部352で瞳孔を検出する対象の領域である瞳孔領域を特定する処理を説明する。位置検出部352は、上述したように、検出した瞳孔領域から瞳孔中心を検出し、角膜反射の位置を検出する。図15は、位置検出部の機能の概要を示す図である。図16は、データベースに記憶されている識別器の一例を示す図である。図17は、位置検出部の処理の一例を示すフローチャートである。図18は、位置検出部の処理を説明するための図である。図19から図21は、位置検出部のパターンマッチングの処理を説明するための図である。

0075

位置検出部352は、パターンマッチング部370と、瞳孔検出部372と、データベース374と、を有する。ここで、位置検出部352が処理する対象の画像は、モノクロ画像であることが好ましい。パターンマッチング部370は、瞳孔と瞳孔の周囲の輝度変化に対応するパターンと画像とのマッチングを行い、瞳孔の候補位置を抽出する。パターンマッチング部370は、パターン制御部380と、比較部382と、を有する。パターン制御部380は、使用するパターン(識別器)を選択し、パターンを画像上で移動させる。比較部382は、複数のパターンを用いて抽出処理を行い、抽出処理によって抽出された候補を比較する。パターンマッチング部370は、抽出処理として、1つのパターンを特定する。パターンマッチング部370は、特定したパターンと画像の各領域とを比較し、パターンの輝度分布と一致する領域を抽出する。パターンマッチング部370は、複数のパターンで抽出処理を行った結果に基づいて、パターンと一致すると抽出した領域の優先順位を決定し、優先順位が高い候補を瞳孔の候補位置とする。

0076

瞳孔検出部372は、パターンマッチング部370で抽出した前記瞳孔の候補位置を解析し、瞳孔があるかを検出する。瞳孔検出部372は、瞳孔の候補位置の画像から瞳孔の境界と角膜反射の存在を確認できた位置を瞳孔として検出する。

0077

データベース374は、パターンマッチング部370でパターンマッチングに用いるパターン(識別器)を記憶している。本実施形態のデータベース374は、図16に示すように第1識別器220、第2識別器222、第3識別器224、第4識別器226、第5識別器228、第6識別器230、第7識別器232、第8識別器234の8つの識別器を記憶している。識別器は、第一領域と第二領域とを有する。識別器は、第一領域に第一輝度が対応つけられ、第二領域に第二輝度が対応つけられている。識別器は、第一輝度が第二輝度より明るいと設定されており、パターン(識別器)の第一輝度と第二輝度の分布が画像の各領域の輝度分布と一致する場合に当該領域を瞳孔の候補位置として抽出する。第一輝度と第二輝度とは、それぞれの領域の平均輝度である。例えば、パターンの第一領域に重畳される画像の平均輝度である第一輝度が、パターンの第二領域に重畳される画像の平均輝度である第二輝度よりも高い場合は、瞳孔の候補位置として抽出する。

0078

図16に示す8つの識別器は、予め設定された向きで画像に対して重ねられる。第1識別器220は、第一領域250aと、第二領域250bと、を有する。第1識別器220は、第一領域250aと第二領域250bとが画像上下方向に分離されている。第1識別器220は、第一領域250aが第二領域250bの画像上下方向の上側に配置されている。第1識別器220は、一辺がa画素正方形のパターンである。第2識別器222は、第一領域252aと、第二領域252bと、を有する。第2識別器222は、第一領域252aと第二領域252bとが画像左右方向に分離されている。第2識別器222は、第一領域252aが第二領域252bの画像左右方向の右側に配置されている。

0079

第3識別器224は、第一領域254a、254bと第二領域250cとを有する。第3識別器224は、第一領域254a、254bと第二領域250cとが画像上下方向に分離されている。第3識別器224は、第二領域254cの画像上下方向の上側に第一領域254aが配置され、第二領域254cの画像上下方向の下側に第一領域254bが配置されている。第3識別器224は、第一領域254a、254bの画像上下方向の長さが第二領域254cよりも短い。

0080

第4識別器226は、第一領域256a、256bと第二領域256cとを有する。第4識別器226は、第一領域256a、256bと第二領域256cとが画像上下方向に分離されている。第4識別器226は、第二領域256cの画像上下方向の上側に第一領域256aが配置され、第二領域256cの画像上下方向の下側に第一領域256bが配置されている。第4識別器226は、第一領域256a、256bの画像上下方向の長さが第二領域256cよりも長い。

0081

第5識別器228は、第一領域258a、258bと第二領域258cとを有する。第5識別器228は、第一領域258a、258bと第二領域258cとが画像左右方向に分離されている。第5識別器228は、第二領域258cの画像左右方向の左側に第一領域258aが配置され、第二領域258cの画像左右方向の右側に第一領域258bが配置されている。第5識別器228は、第一領域258a、258bの画像左右方向の長さが第二領域258cよりも短い。

0082

第6識別器230は、第一領域260a、260bと第二領域260cと、を有する。第6識別器230は、第一領域260a、260bと第二領域260cとが画像左右方向に分離されている。第6識別器230は、第二領域260cの画像左右方向の左側に第一領域260aが配置され、第二領域260cの画像左右方向の右側に第一領域260bが配置されている。第6識別器230は、第一領域260a、260bの画像左右方向の長さが第二領域260cよりも長い。

0083

第7識別器232は、第一領域262aと第二領域262bとを有する。第7識別器232は、四角形であり、四角形の対角線を境界として、第一領域262aと第二領域262bとが分離されている。第7識別器232は、第一領域262aが第二領域262bの画像左上側に配置されている。

0084

第8識別器234は、第一領域264aと第二領域264bとを有する。第8識別器234は、四角形であり、四角形の対角線を境界として、第一領域264aと第二領域264bとが分離されている。第8識別器234は、第一領域264aが第二領域264bの画像左上側に配置されている。

0085

次に、図17及び図18を用いて、位置検出部352で画像に対して実行する処理の一例について説明する。図17は、処理の流れを示すフローチャートである。図18は、画面に対する処理を模式的に示す図である。位置検出部352は、パターンマッチングに用いるパターン(識別器)を決定する(ステップS401)。次に、位置検出部352は、決定したパターンでパターンマッチングを実行する(ステップS402)。具体的には、図18及び図19に示すように、画像290の対象領域291を特定し、特定した対象領域291に第2識別器222を重ね、第2識別器222と、画像290の重なる位置とでパターンマッチングを行う。ここで、画像290は、上下方向b画素、左右方向c画素の画像である。例えば、第1識別器220のa画素のaが64画素とすると、画像290のb画素が480画素であり、c画素が752画素である。

0086

位置検出部352は、全てのパターンの処理が終了したかを判定する(ステップS403)。位置検出部352は、全てのパターンの処理が終了していない(ステップS403でNo)と判定した場合、ステップS401に戻り、パターンマッチングを行っていないパターンについて、ステップS401からステップS402の処理を実行する。位置検出部352は、対象領域に対して8つのパターンで順番にパターンマッチングを行う。

0087

位置検出部352は、全てのパターンの処理が終了した(ステップS403でYes)と判定した場合、本実施形態では、8つの識別器でのパターンマッチングを行ったと判定した場合、画像の全域の検出を終了したかを判定する(ステップS404)。

0088

位置検出部352は、画像の全域を検出していない(ステップS404でNo)と判定した場合、パターンマッチングを行う対象領域を移動させ(ステップS405)、ステップS401に戻り、移動させた対象領域に対してステップS401からステップS404の処理を行う。

0089

位置検出部352は、パターンでパターンマッチングを行う対象領域290を画像左右方向に移動させる。位置検出部352は、対象領域291を対称領域291aに示すように、画像290の左右方向の一端から他端までマッチングを行ったら、対象領域291bのように画像下方向に移動させる。これにより、位置検出部352は、画像290の各位置と第1識別器220とを重ねる。なお、対象領域の移動量は、1画素としてもよいが、数画素、例えば8画素とすることが好ましい。対象領域を複数画素分移動させることで処理をより少なくすることができる。つまり、図18に示すように、対象領域を決定したら、ステップS401からステップS405の処理、つまり8つの識別器で順番にパターンマッチングを行い、対象領域を数画素移動させる処理を行う。次に、移動させた対象領域に対してもステップS401からステップS405の処理、つまり8つの識別器で順番にパターンマッチングを行い、対象領域を数画素移動させる処理を行う。対象領域291を画面上で移動させつつ、画像全体に対してパターンマッチングを行う。

0090

位置検出部352は、画像の全域を検出した(ステップS404でYes)と判定した場合、各パターンで抽出した瞳孔の候補位置から解析対象の瞳孔の候補位置を決定する(ステップS406)。具体的には位置検出部352は、複数の識別器のパターンマッチングの結果に基づいて、より多くのパターンで瞳孔の候補位置となった位置をより優先度が高い瞳孔の候補位置に決定する。位置検出部352は、図20に示すように第4識別器226のパターンマッチングで領域292を瞳孔の候補位置として抽出され(ステップS501)、第1識別器220のパターンマッチングで領域292を瞳孔の候補位置として抽出され(ステップS502)、第7識別器232のパターンマッチングで領域292を瞳孔の候補位置として抽出されない(ステップS503)場合、瞳孔の候補位置として解析対象とはしない。位置検出部352は、図21に示すように第4識別器226のパターンマッチングで領域294を瞳孔の候補位置として抽出され(ステップS601)、第1識別器220のパターンマッチングで領域294を瞳孔の候補位置として抽出され(ステップS602)、第7識別器232のパターンマッチングで領域294を瞳孔の候補位置として抽出される(ステップS603)場合、瞳孔の候補位置として解析対象とする。これにより、図18の画像290aに示すように、画像から複数の瞳孔の候補位置295を抽出する。瞳孔の候補位置295には、瞳孔以外の領域に含まれる場合がある。

0091

位置検出部352は、解析対象の瞳孔の候補位置を決定した場合、瞳孔の候補位置以外の領域にマスキングを行う(ステップS407)。具体的には、図18の画面290bに示すように瞳孔の候補位置295以外の領域をマスクで覆う処理、具体的には、瞳孔の候補位置295以外の領域を同じ色の画素にする。位置検出部352は、マスキング処理を行ったら、マスキング処理を画像に対して、瞳孔検出部372で瞳孔の候補位置を解析し、瞳孔を検出する(ステップS408)。具体的には、図18に示すようにマスキング処理を行い、瞳孔の候補位置295の画像のみが残った画像290cに対して、瞳孔を検出する処理を行う。一例としては、画像290cの中で最も暗い位置を検出し、暗い位置が瞳孔の条件を満たすかを判定する。瞳孔を検出する処理を行うことで、画像290dに示すように、瞳孔の位置296を検出する。画像290dでは、画像290の中に人物が1名いるので、一人の人物の両目を瞳孔の位置296として検出する。

0092

位置検出部352は、以上のようにパターンマッチング部370で、領域の輝度分布から、瞳孔の候補位置を特定し、特定した候補位置のみ瞳孔検出部で瞳孔の検出を行うことで、瞳孔の検出に必要な処理量を少なくすることができる。本実施形態では、パターンの各領域の輝度の比較のみでパターンマッチングを行うため、パターンマッチングでの処理量の増加を抑制することができる。また、複数のパターンを用いて、パターンマッチングを行い、その結果に基づいて、優先順位を決定し優先順位の高い位置を瞳孔の候補位置とすることで、瞳孔の検出漏れを抑制することができる。なお、本実施形態では8つの識別器のパターンを説明しているが、個数やパターンは上記に限らない。また、パターンマッチングの処理についても、上述した処理に限らず、パターンの第一領域に重畳される画像が第一輝度であるかを判断し、パターンの第二領域に重畳される画像が第二輝度であるかを判断して、どちらも一致した場合は瞳孔の候補位置として抽出してもよい。

0093

また、位置検出部352は、パターンマッチングを実行した際、2つの領域の輝度差がない、例えば黒、白の領域を、マスキングし、パターンマッチングの処理の対象から除外してもよい。これにより、処理量をより少なくすることができる。また、位置検出部352は、パターンマッチングで検出されやすいパターンから処理を実行し、所定数のパターンを実行した後は、瞳孔の候補位置のみパターンマッチングを行うようにしてもよい。

0094

位置検出部352は、パターンマッチング部370で抽出した瞳孔の候補位置以外の位置をマスキングすることで、処理をより簡単にすることができる。なお、マスキング処理は行わなくてもよい。

0095

100診断支援装置
101 表示部
102a右カメラ
102b左カメラ
103a、103bLED光源
150 記憶部
201表示画面
205スピーカ
300 制御部
313 駆動・IF部
316LED駆動制御部
322 スピーカ駆動部
351点灯制御部
352位置検出部
353曲率中心算出部
354視線検出部
355視点検出部
356出力制御部
357 評価部
370パターンマッチング部
372瞳孔検出部
374データベース
380パターン制御部
382 比較部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ