図面 (/)

技術 画像処理装置及び画像処理方法

出願人 国立大学法人静岡大学
発明者 海老澤嘉伸
出願日 2017年12月6日 (3年2ヶ月経過) 出願番号 2017-234588
公開日 2019年6月24日 (1年7ヶ月経過) 公開番号 2019-098024
状態 未査定
技術分野 眼の診断装置
主要キーワード 規定点 対称平面 診断用装置 外積ベクトル 角膜球 TOFカメラ インターレーススキャン方式 アミューズメント装置
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2019年6月24日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (14)

課題

被験者視線方向を安定して精度よく検出すること。

解決手段

視線検出装置1は、対象者Aの左右の瞳孔PL,PR及びそれらの周辺部を撮像することで眼画像を取得するカメラ10と、眼画像を基に左右の瞳孔PL,PRのいずれかの光軸を算出し、光軸を予め設定されるずれ角度Δθ0及びずれ方向Δφ0に補正することによって対象者Aの視軸を算出する算出部23とを備え、算出部23は、算出した光軸あるいはいったん算出した視線のいずれかである基準線に沿って見たときの左右の瞳孔PL,PRの3次元座標を結ぶ線の傾きを算出し、その傾きを基にずれ方向Δφ0を補正し、補正後のずれ方向Δφ0を用いて視軸を算出する。

概要

背景

近年、近赤外光源等の光源ビデオカメラを使用した視線検出装置が普及しつつある(例えば、下記特許文献1参照)。このような視線検出装置では、「瞳孔角膜反射法」と呼ばれる検出方法が用いられている。「瞳孔−角膜反射法」とは、ビデオカメラに対する被験者の眼の光軸の向きの変化によりビデオカメラで得られる画像中の瞳孔と角膜反射との位置関係が変化することを用いて、視線方向を検出する方法である。

一般に、カメラによって取得される画像によって検出される眼球の光軸(例えば、眼球の対象軸)と、注視点と眼球の中心点(例えば、瞳孔中心眼球中心)とを通る視軸とには、ずれが存在する。このずれは、個人間あるいは左右の眼球間で異なっている。上記の装置では、被験者の光軸と実際の注視点を通る視軸とのずれとして原点補正ベクトルをあらかじめ計算し、被験者の頭部が傾いたときに原点補正ベクトルの視軸周り回転角度が被験者の左眼右眼で同一であるという拘束条件に基づいて、両眼の注視点が所定平面上で近くなるように回転角度を求めることにより原点補正ベクトルを補正し、その原点補正ベクトルを用いて被験者の視線の方向を計算する。

一方、原点補正ベクトルを異なる手法で補正が可能な視線検出装置も知られている(下記特許文献2参照。)。この装置においては、被験者の眼を撮像することで得られた瞳孔画像を用いて瞳孔の輪郭を算出し、その輪郭に基づいて被験者の眼球の視軸周りの回転角度を算出し、この回転角度を用いて原点補正ベクトルを補正することを行う。

概要

被験者の視線方向を安定して精度よく検出すること。視線検出装置1は、対象者Aの左右の瞳孔PL,PR及びそれらの周辺部を撮像することで眼画像を取得するカメラ10と、眼画像を基に左右の瞳孔PL,PRのいずれかの光軸を算出し、光軸を予め設定されるずれ角度Δθ0及びずれ方向Δφ0に補正することによって対象者Aの視軸を算出する算出部23とを備え、算出部23は、算出した光軸あるいはいったん算出した視線のいずれかである基準線に沿って見たときの左右の瞳孔PL,PRの3次元座標を結ぶ線の傾きを算出し、その傾きを基にずれ方向Δφ0を補正し、補正後のずれ方向Δφ0を用いて視軸を算出する。

目的

本発明は、上記課題に鑑みて為されたものであり、被験者の眼球の回転角度を安定して精度よく検出することが可能な画像処理装置及び画像処理方法を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

対象者の左右の眼及び該眼の周辺部を撮像することで眼画像を取得する少なくとも1台のカメラと、前記眼画像を基に前記左右の眼のいずれかの光軸あるいは視線を算出する算出部と、を備え、前記算出部は、算出した前記光軸あるいは前記視線のいずれかである基準線に沿って見たときの前記左右の眼の特徴点の3次元座標あるいは前記左右の眼の周辺部の特徴点の3次元座標を結ぶ線の傾きを算出し、前記傾きを基に前記対象者の頭部の傾きの回転角度を算出する、画像処理装置

請求項2

前記算出部は、前記基準線に沿って見たときの前記頭部の傾きの回転角度を算出する、請求項1記載の画像処理装置。

請求項3

前記算出部は、前記光軸を予め設定されるずれ角度及びずれ方向に補正することによって前記視線を算出し、前記傾きを基に前記ずれ方向を補正し、補正後の前記ずれ方向を用いて前記視線を算出する、請求項1又は2に記載の画像処理装置。

請求項4

前記算出部は、前記基準線を含み所定軸に沿った基準平面と、前記基準線と前記左右の眼の特徴点の3次元座標あるいは前記左右の眼の周辺部の特徴点の3次元座標とを含む顔方向平面とを設定し、前記基準平面に対する前記顔方向平面の傾きを、前記左右の眼の特徴点の3次元座標あるいは前記左右の眼の周辺部の特徴点の3次元座標を結ぶ線の傾きとして算出する、請求項1〜3のいずれか1項に記載の画像処理装置。

請求項5

前記算出部は、前記基準平面の法線と前記顔方向平面の法線との間の傾きを、前記左右の眼の特徴点の3次元座標あるいは前記左右の眼の周辺部の特徴点の3次元座標を結ぶ線の傾きとして算出する、請求項4記載の画像処理装置。

請求項6

前記算出部は、予め設定された位置の視標を前記対象者に見させた際の前記左右の眼の特徴点の3次元座標あるいは前記左右の眼の周辺部の特徴点の3次元座標及び前記光軸を基に、前記ずれ方向の初期値及び前記傾きの初期値を算出し、前記視線を検出する際に、前記左右の眼の特徴点の3次元座標あるいは前記左右の眼の周辺部の特徴点の3次元座標及び前記光軸を基に前記傾きの実測値を算出し、前記傾きの実測値から前記傾きの初期値を減算した値を基に前記ずれ方向の初期値を補正し、補正後の前記ずれ方向の初期値を用いて前記視線を算出する、請求項3に記載の画像処理装置。

請求項7

前記眼画像を取得する2台のカメラを備え、前記算出部は、前記2台のカメラによって取得された前記眼画像を基に、前記左右の眼の特徴点の3次元座標あるいは前記左右の眼の周辺部の特徴点の3次元座標を算出する、請求項1〜6のいずれか1項に記載の画像処理装置。

請求項8

前記算出部は、前記左右の眼の特徴点として、瞳孔目頭目尻虹彩角膜球、あるいは角膜反射のうちのいずれか、前記左右の眼の周辺部の特徴点として、両眼中点眉間眉毛鼻孔の先端、鼻の周囲、口角、口の中心のうちのいずれかを検出する、請求項1〜7のいずれか1項に記載の画像処理装置。

請求項9

対象者の左右の眼及び該眼の周辺部を撮像することで眼画像を取得する画像取得ステップと、前記眼画像を基に前記左右の眼のいずれかの光軸あるいは視線を算出する算出ステップと、を備え、前記算出ステップでは、算出した前記光軸あるいは前記視線のいずれかである基準線に沿って見たときの前記左右の眼の特徴点の3次元座標あるいは前記左右の眼の周辺部の特徴点の3次元座標を結ぶ線の傾きを算出し、前記傾きを基に前記対象者の頭部の傾きの回転角度を算出する、画像処理方法

技術分野

0001

本発明は、人の画像を処理する画像処理装置及び画像処理方法に関する。

背景技術

0002

近年、近赤外光源等の光源ビデオカメラを使用した視線検出装置が普及しつつある(例えば、下記特許文献1参照)。このような視線検出装置では、「瞳孔角膜反射法」と呼ばれる検出方法が用いられている。「瞳孔−角膜反射法」とは、ビデオカメラに対する被験者の眼の光軸の向きの変化によりビデオカメラで得られる画像中の瞳孔と角膜反射との位置関係が変化することを用いて、視線方向を検出する方法である。

0003

一般に、カメラによって取得される画像によって検出される眼球の光軸(例えば、眼球の対象軸)と、注視点と眼球の中心点(例えば、瞳孔中心眼球中心)とを通る視軸とには、ずれが存在する。このずれは、個人間あるいは左右の眼球間で異なっている。上記の装置では、被験者の光軸と実際の注視点を通る視軸とのずれとして原点補正ベクトルをあらかじめ計算し、被験者の頭部が傾いたときに原点補正ベクトルの視軸周り回転角度が被験者の左眼右眼で同一であるという拘束条件に基づいて、両眼の注視点が所定平面上で近くなるように回転角度を求めることにより原点補正ベクトルを補正し、その原点補正ベクトルを用いて被験者の視線の方向を計算する。

0004

一方、原点補正ベクトルを異なる手法で補正が可能な視線検出装置も知られている(下記特許文献2参照。)。この装置においては、被験者の眼を撮像することで得られた瞳孔画像を用いて瞳孔の輪郭を算出し、その輪郭に基づいて被験者の眼球の視軸周りの回転角度を算出し、この回転角度を用いて原点補正ベクトルを補正することを行う。

先行技術

0005

特開2015−169959号公報
特開2016−24616号公報

発明が解決しようとする課題

0006

しかしながら、上述した特許文献1に記載の装置では、被験者の両眼の所定平面上における注視点が輻輳開放眼球運動等によって離れた場合、眼球の回転角度の状態が正しく認識できず原点補正ベクトルの補正値の解が安定せず、検出する視線が不安定になる傾向があった。また、上述した特許文献2に記載の装置では、カメラの分解能の影響で瞳孔の輪郭の形状を精度よく検出できなかった場合、または、被験者の眼球がカメラに対して斜めを向いている場合には、眼球の回転角度の算出精度が低下する傾向にあった。

0007

本発明は、上記課題に鑑みて為されたものであり、被験者の眼球の回転角度を安定して精度よく検出することが可能な画像処理装置及び画像処理方法を提供することを目的とする。

課題を解決するための手段

0008

上記課題を解決するため、本発明の一形態に係る画像処理装置は、対象者の左右の眼及び該眼の周辺部を撮像することで眼画像を取得する少なくとも1台のカメラと、眼画像を基に左右の眼のいずれかの光軸あるいは視線を算出する算出部と、を備え、算出部は、算出した光軸あるいは視線のいずれかである基準線に沿って見たときの左右の眼の特徴点の3次元座標あるいは左右の眼の周辺部の特徴点の3次元座標を結ぶ線の傾きを算出し、傾きを基に対象者の頭部の傾きの回転角度を算出する。

0009

或いは、本発明の他の形態にかかる画像処理方法は、対象者の左右の眼及び該眼の周辺部を撮像することで眼画像を取得する画像取得ステップと、眼画像を基に左右の眼のいずれかの光軸あるいは視線を算出する算出ステップと、を備え、算出ステップでは、算出した光軸あるいは視線のいずれかである基準線に沿って見たときの左右の眼の特徴点の3次元座標あるいは左右の眼の周辺部の特徴点の3次元座標を結ぶ線の傾きを算出し、傾きを基に対象者の頭部の傾きの回転角度を算出する。

0010

上記形態の画像処理装置或いは画像処理方法によれば、対象者の左右の眼の眼画像を基に左右の眼のいずれかの光軸あるいは視線が算出される。その際、対象者の視線あるいは光軸に沿った方向から見た対象者の左右の眼の特徴点あるいは左右の眼の周辺の特徴点の間の傾きが算出され、その傾きを基に対象者の頭部の傾きの回転角度が求められる。これにより、対象者の両眼の注視点の位置の関係にかかわらず対象者の眼球の回転角度を安定して検出することができるとともに、カメラの性能、あるいは、対象者の眼部のカメラに対する向きに関係なく、対象者の眼球の回転角度を精度よく検出することができる。

0011

ここで、算出部は、基準線に沿って見たときの頭部の傾きの回転角度を算出する、こととしてもよい。かかる構成により、基準線に沿って見たときの対象者の眼球の回転角度を精度よく検出することができる。

0012

また、算出部は、光軸を予め設定されるずれ角度及びずれ方向に補正することによって視線を算出し、傾きを基にずれ方向を補正し、補正後のずれ方向を用いて視線を算出する、こととしてもよい。こうすれば、対象者の左右の眼の眼画像を基に左右の眼のいずれかの光軸が算出され、光軸を予め設定されるずれ角度及びずれ方向に補正することによって視線が算出される。その際、対象者の視線あるいは光軸に沿った方向から見た対象者の左右の眼の特徴点あるいは左右の眼の周辺部の特徴点の間の傾きが算出され、視線を算出するためのずれ方向がその傾きによって補正される。これにより、対象者の両眼の注視点の位置の関係にかかわらず視線を安定して検出することができるとともに、カメラの性能、あるいは、対象者の眼部のカメラに対する向きに関係なく、視線を精度よく検出することができる。

0013

また、算出部は、基準線を含み所定軸に沿った基準平面と、基準線と左右の眼の特徴点の3次元座標あるいは左右の眼の周辺部の特徴点の3次元座標とを含む顔方向平面とを設定し、基準平面に対する顔方向平面の傾きを、左右の眼の特徴点の3次元座標あるいは左右の眼の周辺部の特徴点の3次元座標を結ぶ線の傾きとして算出する、こととしてもよい。この場合、対象者の視線あるいは光軸に沿った方向から見た対象者の左右の眼の特徴点あるいは左右の眼の周辺の特徴点の傾きが簡易に算出できるので、視線検出のための演算量を削減することができる。

0014

また、算出部は、基準平面の法線と顔方向平面の法線との間の傾きを、左右の眼の特徴点の3次元座標あるいは左右の眼の周辺部の特徴点の3次元座標を結ぶ線の傾きとして算出する、こととしてもよい。この場合にも、対象者の視線あるいは光軸に沿った方向から見た対象者の左右の眼の特徴点あるいは左右の眼の周辺部の特徴点の傾きがさらに簡易に算出できるので、視線検出のための演算量をさらに削減することができる。

0015

また、算出部は、予め設定された位置の視標を対象者に見させた際の左右の眼の特徴点の3次元座標あるいは左右の眼の周辺部の特徴点の3次元座標及び光軸を基に、ずれ方向の初期値及び傾きの初期値を算出し、視線を検出する際に、左右の眼の特徴点の3次元座標あるいは左右の眼の周辺部の特徴点の3次元座標及び光軸を基に傾きの実測値を算出し、傾きの実測値から傾きの初期値を減算した値を基にずれ方向の初期値を補正し、補正後のずれ方向の初期値を用いて視線を算出する、こととしてもよい。この場合には、視標を用いてずれ方向及び傾きの初期値が正確に算出でき、その後の傾きの実測値を基に視線が正確に算出できる。

0016

また、眼画像を取得する2台のカメラを備え、算出部は、2台のカメラによって取得された眼画像を基に、左右の眼の特徴点の3次元座標あるいは左右の眼の周辺部の特徴点の3次元座標を算出する、こととしてもいてもよい。この場合には、左右の眼の特徴点の3次元座標あるいは左右の眼の周辺部の特徴点の3次元座標が簡易な構成で算出でき、視線の検出が簡易な構成で実現できる。

0017

また、算出部は、左右の眼の特徴点として、瞳孔、目頭目尻虹彩角膜球、あるいは角膜反射のうちのいずれか、左右の眼の周辺部の特徴点として、両眼中点眉間眉毛鼻孔の先端、鼻の周囲、口角、口の中心のうちのいずれかを検出する、こととしてもよい。

発明の効果

0018

本発明によれば、被験者の眼球の回転角度を安定して精度よく検出することができる。

図面の簡単な説明

0019

実施形態に係る視線検出装置を示す斜視図である。
カメラのレンズ部分を示す平面図である。
実施形態に係る画像処理装置のハードウェア構成を示す図である。
実施形態に係る視線検出装置の機能構成を示すブロック図である。
実施形態に係る視線検出装置の基本動作を示すフローチャートである。
視線の検出を説明するための図である。
従来装置におけるディスプレイ装置上の注視点の検出状態を示す図である。
カメラ10によって取得される2次元画像における対象者Aの瞳孔の検出状態を示す図である。
カメラ10によって取得される2次元画像における対象者Aの瞳孔の検出状態を示す図である。
カメラ10によって取得される2次元画像における対象者Aの瞳孔の検出状態を示す図である。
算出部23による光軸と視軸との間の角度ベクトルVθを補正するイメージを示す図である。
算出部23による角度ベクトルVθの初期値及び左右の瞳孔PL,PRの3次元座標を結ぶ線の傾きの算出イメージを示す図である。
視線検出装置1を用いた実験結果を示すグラフである。

実施例

0020

以下、図面を参照しつつ本発明に係る画像処理装置及び画像処理方法の好適な実施形態について詳細に説明する。なお、図面の説明においては、同一又は相当部分には同一符号を付し、重複する説明を省略する。

0021

[視線検出装置の構成]
まず、図1〜4を用いて、実施形態に係る画像処理装置である視線検出装置1の構成を説明する。視線検出装置1は、対象者の眼を撮像することで対象者の視線方向を検出するコンピュータシステムであり、この装置により、本実施形態に係る視線検出方法が実施される。対象者とは、視線方向を検出する対象となる人であり、被験者ともいうことができる。視線検出装置1および視線検出方法の利用目的は何ら限定されず、例えば、よそ見運転の検出、運転者サイドミラールームミラーの安全確認動作の確認、運転者の眠気の検出、商品興味度合いの調査アミューズメント装置等に利用されるコンピュータへのデータ入力乳幼児自閉症診断等の診断用装置などに視線検出装置1を利用することができる。

0022

図1に模式的に示すように、視線検出装置1は、ステレオカメラとして機能する一対のカメラ10と画像処理装置20とを備える。以下では、必要に応じて、一対のカメラ10を、対象者Aの左側にある左カメラ10Lと、対象者Aの右側にある右カメラ10Rとに区別する。本実施形態では、視線検出装置1は、対象者Aが見る対象であるディスプレイ装置30をさらに備えるが、視線検出装置1の利用目的は上記のように限定されないので、対象者Aの視線の先にある物はディスプレイ装置30に限定されず、例えば自動車フロントガラスでもあり得る。したがって、ディスプレイ装置30は視線検出装置1における必須の要素ではない。それぞれのカメラ10は画像処理装置20と無線または有線により接続され、カメラ10と画像処理装置20との間で各種のデータまたは命令送受信される。各カメラ10に対しては予めカメラ較正が行われる。

0023

カメラ10は対象者Aの左右の眼およびそれらの周辺部を含む部分を撮影するために用いられる。一対のカメラ10は水平方向に沿って所定の間隔をおいて配され、かつ、対象者Aが眼鏡をかけているときの顔画像における反射光写り込みを防止する目的で対象者Aの顔より低い位置に設けられる。水平方向に対するカメラ10の仰角は、瞳孔の確実な検出と対象者Aの視野範囲の妨げの回避との双方を考慮して、例えば20〜35度の範囲に設定される。個々のカメラ10に対しては予めカメラ較正が行われる。

0024

本実施形態では、カメラ10は、インターレーススキャン方式の一つであるNTSC方式のカメラである。NTSC方式では、1秒間に30枚得られる1フレームの画像データは、奇数番目水平画素ラインで構成される奇数フィールドと、偶数番目の水平画素ラインで構成される偶数フィールドから構成され、奇数フィールドの画像と偶数フィールドの画像とが1/60秒の間隔で交互に撮影されることで生成される。したがって、一つのフレームは、一対の奇数フィールドおよび偶数フィールドに相当する。カメラ10は、画像処理装置20からの命令に応じて対象者Aを撮像し、画像データを画像処理装置20に出力する。

0025

カメラ10のレンズ部分を図2に模式的に示す。この図に示すように、カメラ10では、対物レンズ11が円形状の開口部12に収容され、開口部12の外側に光源13が取り付けられている。光源13は、対象者Aの眼に向けて照明光照射するための機器であり、複数の発光素子13aと複数の発光素子13bとから成る。発光素子13aは、出力光中心波長が850nmの半導体発光素子LED)であり、開口部12の縁に沿って等間隔でリング状に配される。発光素子13bは、出力光の中心波長が940nmの半導体発光素子であり、発光素子13aの外側に等間隔でリング状に配される。したがって、カメラ10の光軸から発光素子13bまでの距離は、該光軸から発光素子13aまでの距離よりも大きい。それぞれの発光素子13a,13bは、カメラ10の光軸に沿って照明光を出射するように設けられる。なお、光源13の配置は図2に示す構成に限定されず、カメラをピンホールモデルみなすことができれば他の配置であってもよい。光源13は、画像処理装置20からの命令に応じたタイミングで照明光を出射する。

0026

画像処理装置20は、カメラ10、及び光源13の制御と、対象者Aの視線方向の検出とを実行するコンピュータである。画像処理装置20は、据置型または携帯型のパーソナルコンピュータ(PC)により構築されてもよいし、ワークステーションにより構築されてもよいし、他の種類のコンピュータにより構築されてもよい。あるいは、画像処理装置20は複数台の任意の種類のコンピュータを組み合わせて構築されてもよい。複数台のコンピュータを用いる場合には、これらのコンピュータはインターネットイントラネットなどの通信ネットワークを介して接続される。

0027

画像処理装置20の一般的なハードウェア構成を図3に示す。画像処理装置20は、オペレーティングシステムアプリケーションプログラムなどを実行するCPU(プロセッサ)101と、ROMおよびRAMで構成される主記憶部102と、ハードディスクフラッシュメモリなどで構成される補助記憶部103と、ネットワークカードあるいは無線通信モジュールで構成される通信制御部104と、キーボードマウスなどの入力装置105と、ディスプレイプリンタなどの出力装置106とを備える。

0028

後述する画像処理装置20の各機能要素は、CPU101または主記憶部102の上に所定のソフトウェアを読み込ませ、CPU101の制御の下で通信制御部104や入力装置105、出力装置106などを動作させ、主記憶部102または補助記憶部103におけるデータの読み出しおよび書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶部102または補助記憶部103内に格納される。

0029

図4に示すように、画像処理装置20は機能的構成要素として点灯制御部21、画像取得部22、及び算出部23を備える。点灯制御部21は、光源13の点灯タイミングを制御する。画像取得部22は、カメラ10の撮影タイミングを光源13の点灯タイミングに同期して制御することで、カメラ10から画像データ(眼画像のデータ)を取得する機能要素である。算出部23は、画像データから得られる視線ベクトルに基づいて視軸(視線ともいう)の方向を検出する機能要素である。視軸(視線)とは、対象者の瞳孔中心と該対象者の注視点(対象者が見ている点)とを結ぶ線である。なお、「視軸」という用語は、起点、終点、および方向の意味(概念)を含む。また、「視線ベクトル」とは、対象者の視軸の方向をベクトルで表したもので、「視軸の方向」を表す一形態である。画像処理装置20の検出結果の視軸の方向の出力先は何ら限定されない。例えば、画像処理装置20は判定結果を画像、図形、またはテキストモニタに表示してもよいし、メモリやデータベースなどの記憶装置に格納してもよいし、通信ネットワーク経由で他のコンピュータシステムに送信してもよい。

0030

[視線検出方法の基本動作]
次に、図5及び図6を用いて、視線検出装置1による視線検出方法(画像処理方法)の基本動作について説明する。図5は、視線検出方法の基本動作を示すフローチャート、図6は、視線検出装置1による視線の検出を説明するための図である。

0031

まず、点灯制御部21が光源13の点灯タイミングを制御し、そのタイミングに合わせて画像取得部22がそれぞれのカメラ10から明瞳孔画像(眼画像)および暗瞳孔画像(眼画像)を取得する(ステップS11;画像取得ステップ)。続いて、算出部23が、それぞれのカメラ10からの明瞳孔画像及び暗瞳孔画像を対象にして、それぞれのカメラ10の眼画像中の瞳孔中心(眼の特徴点)の位置及び角膜反射の位置を検出する(ステップS12)。そして、算出部23は、対象者Aの左右の瞳孔中心の3次元座標を算出する(ステップS13)。さらに、算出部23は、算出したいずれかのカメラ10の眼画像における瞳孔中心の位置及び角膜反射の位置、及び左右の瞳孔の3次元座標を基に、左右の瞳孔の光軸を算出する(ステップS14)。ここでいう、「光軸」とは、カメラ10によって取得される画像によって検出される眼球の光軸であり、例えば、眼球の対象軸と一致する。その後、算出部23は、左右の瞳孔における光軸と視軸との間のずれ角度及びずれ方向を示すずれ角度ベクトルを算出する(ステップS15)。さらに、算出部23は、算出したずれ角度ベクトルを用いて光軸を補正することによって視軸を算出した後、算出した視軸を参照して所定の視対称平面上の注視点を算出する(ステップS16、以上算出ステップ)。以上の処理は、視線検出処理の終了の指示が受け付けられるまで、繰り返し実行される(ステップS17)。

0032

以下、各ステップの処理について詳細に説明する。

0033

(眼画像の取得)
眼に入った光は網膜乱反射し、反射光のうち瞳孔を通り抜けた光は強い指向性をもって光源へ戻る性質がある。カメラの開口部近くにある光源が発光した時にカメラを露光させると、網膜で反射した光の一部がその開口部に入るため、瞳孔が瞳孔周辺よりも明るく写った画像を取得することができる。この画像が明瞳孔画像である。これに対して、カメラの開口部から離れた位置にある光源が発光した時にカメラを露光させると、眼から戻ってきた光はカメラの開口部にほとんど戻らないため、瞳孔が暗く写った画像を取得することができる。この画像が暗瞳孔画像である。また、透過率が高い波長の光を眼に照射すると、網膜での光の反射が多くなるので瞳孔が明るく写り、透過率が低い波長の光を眼に照射すると、網膜での光の反射が少なくなるので瞳孔が暗く写る。

0034

本実施形態では、透過率が高い波長の光(中心波長が850nm)を発する発光素子13aが開口部12に隣接した位置に設けられ、眼の透過率が低い波長の光(中心波長が940nm)を発する発光素子13bを開口部12から離れた位置に設けられる。点灯制御部21及び画像取得部22は、カメラ10の奇数フィールドに合わせて発光素子13aを点灯させて明瞳孔画像を撮影し、カメラ10の偶数フィールドに合わせて発光素子13bを点灯させて暗瞳孔画像を撮影する。さらに、画像取得部22は2つのカメラ10の間で作動タイミングをわずかにずらし、個々のカメラ10の露光時間はそのずらし時間以下に設定される。点灯制御部21は、各カメラ10の露光時間中に、対応する発光素子13aおよび発光素子13bを交互に発光させることで、一方のカメラ10の光源13からの光が他方のカメラ10の画像に影響を与えないようにする(クロストークが起こらないようにする)。

0035

画像取得部22は、これらの一連の制御により得られる明瞳孔画像および暗瞳孔画像を取得する。得られる画像データは、奇数フィールド又は偶数フィールドのみに有効画素を有しているため、画像取得部22は、隣接する有効画素の画素ライン輝度平均をそのライン間の画素値に埋め込むことによって、明瞳孔画像または暗瞳孔画像を生成する。画像取得部22は2つのカメラ10によって得られた明瞳孔画像および暗瞳孔画像を算出部23に出力する。

0036

(角膜反射の位置及び瞳孔中心の位置の検出)
算出部23は、画像取得部22から入力された明瞳孔画像および暗瞳孔画像のそれぞれから左右の眼における角膜反射を検出する。具体的には、算出部23は1枚の画像に対してPタイル法による2値化とラベリングとを行い、形状や輝度平均などの情報に基づいてその画像から左右の眼における角膜反射を選択する。このような処理により、算出部23は明瞳孔画像および暗瞳孔画像のそれぞれから、左右の眼における角膜反射を得る。

0037

さらに、算出部23は、算出された角膜反射の位置に基づいて明瞳孔画像と暗瞳孔画像との間での角膜反射の移動量を位置補正量として計算する。続いて、算出部23はそれら二つの角膜反射の位置が一致するように、前フィールドi番目のフィールド)の画像を、次フィールド((i+1)番目のフィールド)の画像に位置補正量だけずらした上で、これら2画像から差分画像を生成する。そして、算出部23は一致させた角膜反射の画像上の座標(位置)を取得する。

0038

続いて、算出部23は差分画像から左右の瞳孔位置を特定する。具体的には、算出部23は、前フレームと輝度が大きく変化しないことを利用して、前フレームで検出された瞳孔の輝度平均を利用して、その平均輝度の半分の値を閾値として差分画像を2値化し、ラベリングを行う。続いて、算出部23は、瞳孔らしい面積、サイズ、面積比正方形度、および瞳孔特徴量等の形状パラメータに基づいて、ラベルづけされた画素の連結成分の中から瞳孔を選択し、左右の瞳孔中心の座標(位置)を算出する。

0039

(左右の瞳孔の3次元座標の算出)
続いて、算出部23は左右の瞳孔中心の3次元座標を求める。具体的には、算出部23はステレオ法を用いて、2つのカメラ10から取得した差分画像を用いて算出した左右の瞳孔中心の座標から、左右の瞳孔中心の3次元位置をそれぞれ計算する。ステレオ法とは、カメラのレンズ焦点距離画像中心、画素サイズなどの内部パラメータと、カメラの位置や姿勢等の外部パラメータとを予め計測しておき、複数台のステレオカメラで対象物を撮影したときに、画像中の点の座標を基に、内部パラメータおよび外部パラメータを用いてその点の空間上の位置を決定する方法である。具体的には、算出部23は、2台のカメラ10からの画像データを基に検出した画像座標系における瞳孔中心の座標と、3次元空間内の世界座標系における瞳孔中心の座標との関係式を、キャリブレーションデータを参照しながら取得する。次に、算出部23は、関係式から世界座標系における対象者Aの瞳孔中心の3次元座標を求める。

0040

(光軸の算出)
算出部23は、左右の瞳孔中心の3次元座標、差分画像上における瞳孔中心の位置、及び差分画像上における角膜反射の位置に基づいて光軸を算出する。なお、算出部23は、左右の眼のいずれか眼の瞳孔中心の位置、及び左右の眼のいずれか眼の角膜反射の位置に基づいて、その眼の光軸を検出してもよいし、左右の眼の両方の瞳孔中心の位置、及び左右の眼の両方の角膜反射の位置に基づいて、両方の眼の光軸を検出してもよい。以降では、いずれか一方の眼の光軸を検出することを例に説明する。

0041

図6に示すように、瞳孔中心の3次元位置Pに基づいて、カメラ10の開口部12の中心を原点Oとし、その原点Oと瞳孔中心Pを結ぶ基準線OPを法線とする仮想視点平面X’−Y’を考える。この仮想視点平面X’−Y’は、カメラ10で捉えられる画像の投影面(画像面)に対応する。ここで、X’軸は、世界座標系のXW−ZW平面と仮想視点平面との交線に相当する。

0042

算出部23は、画像面SGにおける角膜反射Gから瞳孔中心PまでのベクトルrGを算出し、そのベクトルrGを、距離OPから求められたカメラの拡大率を用いて実寸換算したベクトルrに変換する。このとき、各カメラ10をピンホールモデルと考え、角膜反射Gと瞳孔中心Pとが、仮想視点平面X’−Y’と平行な平面上にあると仮定する。つまり、算出部23は、仮想視点平面と平行であって瞳孔中心Pの3次元座標を含む平面上において、瞳孔中心Pと角膜反射点Gの相対座標をベクトルrとして算出し、このベクトルrは角膜反射点Gから瞳孔中心Pまでの実距離を表す。

0043

続いて、算出部23は、対象者Aの仮想視点平面上の光軸との交点T’に関して、直線OT’の水平軸X’に対する傾きφが、ベクトルrの画像面上の水平軸XGに対する傾きφ’と等しいと仮定する。さらに、算出部23は、対象者Aの光軸のベクトル、すなわち、瞳孔中心Pと交点T’とを結ぶベクトルPT’と、基準線OPとの成す角θを、ゲイン値kを含むパラメータを使った下記式(1)により計算する。
θ=f1(r)=k×|r| …(1)

0044

このような角度φ,θの計算は、瞳孔中心Pの存在する平面上のベクトルrを仮想視点平面上で拡大したものがそのまま対象者Aの光軸との交点T’に対応するとみなすことにより行われる。より詳しくは、対象者Aの光軸のベクトルPT’の基準線OPに対する角度θは、瞳孔中心と角膜反射の距離|r|との間で線形関係を有すると仮定する。

0045

角度θと距離|r|とは線形近似できるという仮定、および二つの傾きφ,φ’が等しいという仮定を利用することで、(θ,φ)と(|r|,φ’)とを1対1に対応させることができる。そして、算出部23は、算出した(θ,φ)を基に、対象者Aの光軸のベクトルPT’を得ることができる。

0046

(光軸と視軸との間のずれ角度ベクトルの算出)
算出部23によるずれ角度ベクトルの算出手順を説明する前に、ずれ角度ベクトルの算出の必要性について説明する。

0047

光源13とカメラ10が実質的に同じ位置にある場合は、例えば対象者Aがそのカメラ10のほうを見たときは眼球の対称性があれば、そのカメラ10によって取得された画像においては瞳孔の中央に角膜反射が映るはずである。しかし、実際には対象者Aの眼において光軸と視軸とはずれが生じるのが一般的である。このような光軸と視軸とのずれは、個人間あるいは左右の眼球間で異なる。つまり、対象者Aの仮想視点平面上の注視点をTとした場合に、視軸のベクトルPTは、光軸のベクトルPT’からずれることとなる(図6)。

0048

従来の視線検出装置では、対象者Aが規定点を見た際に算出される光軸が視軸に一致するようにベクトルrを補正するための補正ベクトルr0を算出し、画像上で検出したベクトルr’を、下記式;
r=r’−r0
で補正し、補正したベクトルrを用いて視軸のベクトルPTを検出していた。

0049

しかしながら、対象者Aに対していったん補正ベクトルr0を決定した場合であっても、装置に対して対象者Aの頭部が視線を同じ方向に向けながら左右方向に傾いた(以下、「側屈」という。)場合に、視軸と光軸との間のずれ方向が変化するため正確に光軸から視軸を検出することができない。具体的には、図7(a)に示すように、補正ベクトルr0を算出した時の対象者Aの側屈の傾きと視軸検出時の側屈の傾きが同一の場合には、両眼のそれぞれにおいて光軸と視軸のずれが正しく補正されるために両眼において検出された視軸がディスプレイ装置30上の注視点Qにおいて一致する。一方で、図7(b)に示すように、補正ベクトルr0を算出した時の対象者Aの側屈の傾きから視軸検出時の側屈の傾きが変化した場合には、光軸と視軸とのずれの方向も視軸(光軸)周りに変化するために補正ベクトルr0をそのまま使った場合には両眼において検出された視軸が注視点Qに一致しない。

0050

本実施形態では、光軸(あるいは視軸)方向から見た対象者Aの側屈の傾きを基に、光軸に対する視軸のずれる方向を光軸周りに変化させることで視軸の検出精度を上げようとするものである。ただし、単純にカメラ10によって得られた画像上の対象者Aの左右の眼の位置から対象者Aの側屈の傾きを得るのは限界がある。つまり、カメラ10によって対象者Aの視線方向に対して斜め方向から(例えば、上下にずれた方向から)対象者の眼部の2次元画像を取得した場合には、2次元画像において、対象者Aの側屈の状態と対象者Aが視線方向に垂直な方向を軸に回転(以下、単に「回転」という。)した状態を区別することが困難となる。

0051

図8図10を参照して、カメラ10によって取得される2次元画像における対象者Aの瞳孔の検出状態を説明する。

0052

図8に示すように、対象者Aの前方に2台のカメラ10R,10Lが設置してあり、対象者Aが左カメラ10Lを注視しており、左カメラ10Lから見て対象者Aの頭部の側屈の傾きはなく左の瞳孔PLと右の瞳孔PRとが水平線上に位置している状態を想定する。このとき対象者Aの左の瞳孔PLに着目すると、視軸Vが瞳孔PLの中心及び左カメラ10Lを通ることになる。画像処理装置20の算出部23によって検出されるのは瞳孔PLの光軸Eであり、光軸Eに対する視軸Vのずれは、左カメラ10Lを通り視軸Vに垂直な平面として仮想平面VP1を設定すると、光軸Eと視軸Vとのなす角度(ずれ角度)Δθ0と、光軸Eと視軸Vの仮想平面VP1上の2つの交点を結ぶ直線LN1の仮想平面VP1上での傾き(ずれ方向)Δφ0とで表現することができる。言い換えれば、傾き(ずれ方向)Δφ0は、2台のカメラ10L,10Rと瞳孔PLとを通る平面PLA1と、光軸Eと視軸Vとの両方を含む平面PLA2とのなす角度でもある。このとき、右の瞳孔PRも平面PLA1上に位置している。この傾きΔφ0の基準線は特定のものには限定されないが、例えば2つのカメラ10L,10Rを結ぶ水平軸LN0とすることができる。本実施形態では、光軸Eに対する視軸Vのずれが、角度ベクトル(ずれ角度ベクトル)Vθ=(Δθ0,Δφ0)で表現される。本実施形態では、視軸Vを仮想平面VP1を基準とした角度ベクトルVθVで表し、光軸Eを仮想平面VP1を基準とした角度ベクトルVθEで表した場合に、VθV=VθE −Vθと表せて、vθを角度ベクトル(ずれ角度ベクトル)Vθ=(Δθ0,Δφ0)として定義する。そして、本実施形態では、後述するように、角度ベクトルVθのうちの値Δφ0を対象者Aの側屈の状態に応じて補正しようとするものである。

0053

ここで、対象者Aの頭部が回転して対象者Aの右の瞳孔PRが平面PLA1上で移動したことを考えると、対象者Aの側屈は生じないため、光軸Eに対する視軸Vのずれは変化しない。それとともに、カメラ10Lから見た2次元画像における左の瞳孔PLに対する右の瞳孔PRの水平軸LN0からの高さは変化しない。

0054

一方で、図9に示すように、対象者Aの側屈の傾きが左に傾くように変化して左の瞳孔PLの位置がそのままで右の瞳孔PRが視軸V周りに角度α2だけ回転した状態を想定する。この場合、光軸Eは視軸V周りに側屈の傾きの変化角度α2だけ回転する。その結果、算出部23の検出する角度ベクトルVθ=(Δθ0,Δφ0+α2)となる。つまり、図8の状態を基準とした場合は、基準となる対象者Aの頭部姿勢におけるカメラ10Lと左右の瞳孔PL,PRとを含む平面PLA1と、頭部の側屈状態の変化後の平面PLA3とのなす角度が、視軸V周りの光軸Eの回転角度となる。このとき、カメラ10Lから見た2次元画像において、左の瞳孔PLに対する右の瞳孔PRの水平軸LN0からの高さが変化するため、2次元画像上で左の瞳孔PLに対する右の瞳孔PRの回転角度を算出すれば角度α2を検出することができ、その結果、角度ベクトルVθ=(Δθ0,Δφ0+α2)を正しく計算することができる。

0055

さらに、対象者Aが右カメラ10Rを注視した場合も同様に考えることができ、2つの瞳孔PL,PRと2台のカメラ10L,10Rとが同一平面上にある場合は、光軸Eの視軸V周りの回転は生じない。従って、左の瞳孔PLに関しては、右カメラ10Rをあるいは左カメラ10Lのいずれかの2次元画像を用いて、左瞳孔PLの視軸Vを中心に右の瞳孔PRが回転した角度を計測し、それを基に角度ベクトルVθを計算することができる。右の瞳孔PRに関しても、同様に2次元画像を用いて角度ベクトルVθを計算することができる。

0056

次に、図10に示すように、図8に示す状態から対象者Aの視軸Vに対してカメラ10L,10Rをカメラ10L,10Rを結ぶ線を平行に保ったまま下方に移動させた場合を想定する。図10には、移動させる前のカメラの位置を符号10L’,10R’で示している。この場合はカメラ10L,10Rの高さに対して視軸Vを上方に変化させたのと同じ状態と考えることができる。

0057

最初に、元のカメラの位置10L’,10R’及び左の瞳孔PLを含む平面PLA1上に右の瞳孔PRが位置しており、その後、対象者Aの頭部が回転した結果、右の瞳孔PRが平面PLA1上を左カメラ10Lから見て後方に移動して瞳孔PR’の位置となったことを考える。このとき、右の瞳孔PR’は、もはや2つのカメラ10L,10Rと左の瞳孔PLを含む平面PLA4上には存在しないことになる。このことは、左カメラ10Lから見れば、対象者Aの頭部の回転の状態と図9に示したような対象者Aの頭部の側屈の傾きとを区別することはできないことを意味する。このように、カメラ10L,10Rによって撮像した2次元画像のみでは、対象者Aの視軸V周りの光軸Eの回転角度を検出することは困難である。

0058

そこで、本実施形態に係る算出部23は、以下のようにして、光軸と視軸との間の角度ベクトルVθを補正して算出する。

0059

すなわち、図11に示すように、算出部23は、対象者Aにディスプレイ装置30に表示された較正用の規定点(視標)POを注視させた状態で、左右の瞳孔(眼の特徴点)PL,PRの3次元位置と、左の瞳孔PLの光軸E0を算出する。次に、算出部23は、光軸E0に垂直な仮想平面VP0を設定し、光軸E0と、規定点PO及び左の瞳孔PLの位置によって決まる視軸V0とを基に、角度ベクトルの初期値Vθ=(Δθ0,Δφ0)を較正する。ここで、仮想平面VP0の横軸は、仮想平面VP0と世界座標系のXW−ZW平面と交線に相当する(以下、別の仮想平面においても同じ)。さらに、算出部23は、基準線である光軸E0に沿った方向から見たときの左右の瞳孔PL,PRの3次元座標を結ぶ線の傾き(傾きの初期値)α0を算出する。この傾きα0が、光軸E0周りの右の瞳孔PRの回転角度である。具体的には、算出部23は、左右の瞳孔PL,PRの3次元座標のそれぞれを仮想平面VP0上に投影することによって仮想平面VP0上に座標変換される投影点PJL,PJRに関して、仮想平面VP0上の水平線からの2つの投影点PJL,PJRを結ぶ線の傾きを求めることによって、左右の瞳孔PL,PRの3次元座標を結ぶ線の傾きα0を算出する。なお、算出部23は、算出した視軸V0に沿った基準線の方向から見たときの左右の瞳孔PL,PRの3次元座標を結ぶ線の傾きを算出してもよい。

0060

さらに、算出部23は、対象者Aの視軸を実際に算出するタイミングにおいて、左右の瞳孔PL,PRの3次元位置と、左の瞳孔PLの光軸E1を算出する。次に、算出部23は、光軸E1に垂直な仮想平面VP2をあらためて設定する。さらに、算出部23は、基準線である光軸E1に沿った方向から見たときの左右の瞳孔PL,PRの3次元座標を結ぶ線の傾き(傾きの実測値)α1を算出する。具体的には、算出部23は、左右の瞳孔PL,PRの3次元座標のそれぞれを仮想平面VP2上に投影することによって仮想平面VP2上に座標変換される投影点PJL,PJRに関して、仮想平面VP2上の水平線からの2つの投影点PJL,PJRを結ぶ線の傾きを求めることによって、左右の瞳孔PL,PRの3次元座標を結ぶ線の傾きα1を算出する。なお、算出部23は、角度ベクトルの初期値Vθ=(Δθ0,Δφ0)と光軸E1とを基にいったん算出した視軸に沿った方向を基準線として、その基準線から見た左右の瞳孔PL,PRの3次元座標を結ぶ線の傾きを算出してもよい。

0061

そして、算出部23は、算出した左右の瞳孔PL,PRの3次元座標を結ぶ線の傾きα1を基に、角度ベクトルVθの初期値を視軸算出のための角度ベクトルVθに補正する。具体的には、算出部23は、傾きα1から傾きα0を減算し、その減算値(α1−α0)を基に角度ベクトルVθの傾きの初期値Δφ0を、下記式によって補正する。
Δφ=Δφ0+(α1−α0)
このようにして、算出部23は、視軸を検出する際に用いる角度ベクトルVθ=(Δθ0,Δφ)を決定する。なお、対象者Aに較正用の規定点POを注視させた状態での傾きα0及び角度ベクトルVθの初期値Δθ0,Δφ0の算出は、最初の視軸検出時に一度実行されればよく、それらの値がその後の複数回の視軸の検出時に繰り返し用いられてもよい。

0062

図12を参照して、算出部23による角度ベクトルVθの初期値及び左右の瞳孔PL,PRの3次元座標を結ぶ線の傾きの算出方法の詳細について説明する。

0063

算出部23は、規定点POを対象者に注視させた際に得られる視軸Vと光軸Eとのなす角を計算することにより、なす角度の初期値Δθ0を検出できる。また、算出部23は、視軸の検出対象の左の瞳孔PLと2台のカメラ10L,10Rとを通る平面PLA4の法線ベクトルNS1と光軸Eとの外積ベクトルに対して平行であって、左の瞳孔を通る直線LN2を設定し、その直線LN2の周りに平面PLA4を角度η回転させた面を平面PLA1と設定する。この角度ηは、平面PLA4と光軸Eとのなす角として求められる。このようにして設定される平面PLA1は、基準線である光軸Eを含み、直線LN2に沿った基準平面である。そして、算出部23は、平面PLA1の法線ベクトルNS2と視軸Vと光軸Eとを含む平面PLA2の法線ベクトルNPとのなす角を計算することにより、傾きの初期値Δφ0を検出できる。

0064

また、算出部23は、左右の瞳孔PL,PRの3次元座標を結ぶ線の傾きα0,α1を、平面PLA1に対する、左右の瞳孔PL,PRと光軸Eとを含む平面(顔方向平面)のなす角(傾き)を計算することで得ることができる。具体的には、算出部23は、平面PLA1の法線ベクトルNS2と顔方向平面の法線ベクトルとの間のなす角を計算する。

0065

(視軸及び注視点の算出)

0066

算出部23は、計算によって求めた光軸Eを、上記の手法で補正した角度ベクトルVθを用いて補正することによって、視軸VをベクトルPTとして求める。さらに、算出部23は、視軸Vと視対象平面(ディスプレイ装置30)との交点である注視点Qを次式で求める。
Q=nPT+P

0067

以上説明した視線検出装置1、及びそれを用いた視線検出方法によれば、対象者Aの左右の瞳孔の画像を基に、左右の瞳孔の3次元位置及び左右の眼のいずれかの光軸Eが算出され、光軸を予め設定されるずれ角度及びずれ方向に補正することによって視軸Vが算出される。その際、対象者Aの視軸あるいは光軸に沿った方向から見た対象者Aの左右の瞳孔の間の傾きが算出され、視軸を算出するためのずれ方向がその傾きによって補正される。これにより、対象者Aの両眼の注視点の位置の関係にかかわらず視線を安定して検出することができるとともに、カメラ10の性能、あるいは、対象者Aの眼部のカメラに対する向きに関係なく、視線を精度よく検出することができる。

0068

ここで、画像処理装置20の算出部23は、2つの平面の傾きを計算することで左右の瞳孔の3次元座標を結ぶ線の傾きとして算出している。このようにすることで、対象者Aの視線あるいは光軸に沿った方向から見た対象者Aの左右の瞳孔の傾きが簡易に算出できるので、視線検出のための演算量を削減することができる。さらには、算出部23は、2つの平面の法線の傾きを計算することで左右の瞳孔の3次元座標を結ぶ線の傾きとして算出している。このようにすることで、対象者Aの視線あるいは光軸に沿った方向から見た対象者Aの左右の瞳孔の傾きが一層簡易に算出できるので、視線検出のための演算量をさらに削減することができる。

0069

また、算出部23は、予め設定された位置の視標を対象者Aに見させた際の左右の瞳孔の3次元座標及び光軸を基に、光軸に対する視軸のずれ方向の初期値及び左右の瞳孔の3次元座標を結ぶ線の傾きの初期値を算出している。その後、算出部23は、視線を検出する際に、対象者Aの瞳孔の3次元座標及び光軸を基に傾きの実測値を算出し、傾きの実測値から傾きの初期値を減算した値を基にずれ方向の初期値を補正し、補正後のずれ方向の初期値を用いて視線を算出している。この場合、視標を用いてずれ方向及び傾きの初期値が正確に算出でき、その後の傾きの実測値を基に視線が正確に算出できる。

0070

また、本実施形態では2台のカメラ10L,10Rを用いている。このような構成により、左右の瞳孔の3次元座標が簡易な構成で算出でき、視線の検出が簡易な構成で実現できる。

0071

ここで、本実施形態に係る視線検出装置1による視線検出の効果を具体的に説明する。

0072

図13には、視線検出装置1を用いた実験結果を示している。実験においては、カメラ10として16mmレンズおよび可視光カットフィルタを備えるデジタルカメラを用い、光源13として中心波長850nmの近赤外線LED光源と中心波長940nmの近赤外線LED光源とを用い、ディスプレイ装置30には19インチディスプレイを用いた。実験の対象者として被験者A〜Eの5名をディスプレイ装置30の画面正面から約80cmの位置に座らせ、画面上の5行5列で均等に配置された位置に視標25点を順番に表示させ1点ずつ注視させた。その上で、視線検出装置1を動作させて注視点を検出し、検出結果から平均視角誤差[deg]を計測した。図13(a)には、各被験者A〜E及び被験者全体の平均の左眼に関する平均視角誤差を示し、図13(b)には、各被験者A〜E及び被験者全体の平均の右眼に関する平均視角誤差を示している。それぞれの測定結果においては、被験者A〜Eの頭部の傾き(側屈の傾き)が発生しない場合と、被験者A〜Eの頭部の傾きがあって角度ベクトルVθの補正処理を動作させていない場合と、被験者A〜Eの頭部の傾きがあって角度ベクトルVθの補正処理を動作させている場合とにおける結果を分けて示している。

0073

この結果より、頭部の傾きが発生しない場合の左眼の平均視角誤差が0.90±0.33deg、右眼の平均視角誤差が1.10±0.41degであり、頭部の傾きがあって補正処理を動作させていない場合の左眼の平均視角誤差が1.58±0.61deg、右眼の平均視角誤差が1.73±0.59degであり、頭部の傾きがあって補正処理を動作させている場合の左眼の平均視角誤差が0.95±0.57deg、右眼の平均視角誤差が1.22±0.62degであった。このように、補正なしの場合に対して補正ありの場合は左眼で約30.9%、右眼で約27.6%ほど誤差が軽減されていることがわかった。また、補正ありの場合の結果は頭部の傾きがない場合の結果とほぼ同程度であった。なお、補正の効果が対象者によって異なっているが、本実施形態の方法は視軸と光軸とのずれを補正するものであるため、視軸と光軸とのずれが大きい被験者のほうが誤差軽減の効果が大きいためと思われる。

0074

本発明は、上述した実施形態に限定されるものではない。例えば、上記実施形態では、カメラ10として2台のカメラ10L,10Rを含むステレオカメラを用いていたが、TOF(Time-of-Flight)カメラのような1台のカメラで対象者Aの瞳孔の3次元座標を検出可能なカメラを用いてもよい。また、TOFカメラを用いなくても、1台のカメラで対象者Aの2つの瞳孔PL,PRに含めて鼻孔等の対象者Aの他の特徴点を撮像し、その結果得られた3点の画像上の位置を用いて2つの瞳孔PL,PRの3次元位置を検出する構成であってもよい。

0075

また、上記実施形態では、対象者Aの左右の眼の特徴点として、左右の瞳孔PL,PRを用いて視軸を計算しているがこれに限定されるものではなく、瞳孔の代わりに、左右の眼の特徴点として、目頭、目尻、虹彩、角膜球、あるいは角膜反射のうちのいずれか、あるいはこれらの組み合わせを検出してもよい。

0076

例えば、算出部23は、瞳孔中心、虹彩中心、あるいは角膜球中心を検出してもよいし、それらの端部を検出してもよい。角膜球中心は、角膜半径を予め与えておくことで検出することができる。角膜球の表面で反射する位置を検出してもよい。

0077

算出部23は、目頭、目尻等のそのものの特徴点の3次元座標を求めてもよいし、両方の中点の3次元座標を求めてもよい。さらに、両目の目頭、目尻の計4点の位置を基に最小二乗法で求めた直線の傾きを計算してもよい。さらに、眼画像中の黒い部分を眼部として検出し、それら輝度重心を特徴点の位置として検出してもよい。

0078

また、上記実施形態では、対象者Aの左右の眼の特徴点の代わりに対象者Aの左右の眼の周辺部の特徴点の3次元座標を検出して、それらの3次元座標を基に対象者Aの側屈の傾きの角度を算出してもよい。このような眼の周辺部としては、両眼中点、眉間、眉毛、鼻孔、鼻の先端、鼻の周囲、口角、口の中心のうちのいずれか、あるいはこれらの組み合わせが例示される。対象者Aの眼の周辺部の特徴点として、鼻の先端、眉間、口の中心等を検出する場合には、算出部23は、左右の瞳孔をつなぐ直線を水平線として考えたとき、水平線に対して垂直であって特徴点を通る線を代わりに求めて、この線を含む顔方向平面を対象に傾きを計算することができる。

0079

A…対象者、1…視線検出装置、10,10L,10R…カメラ、13…光源、20…画像処理装置、21…点灯制御部、22…画像取得部、23…算出部、E,E0,E1…光軸、PL,PR…瞳孔、PO…規定点(視標)、Q…注視点、V,V0…視軸、Vθ…角度ベクトル、Δθ0…ずれ角度、Δφ0…ずれ方向。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 株式会社デンソー北海道の「 物品判定教育訓練装置」が 公開されました。( 2019/06/24)

    【課題】訓練者の身体状態と正否判定結果との関連性を蓄積可能な物品判定教育訓練装置を提供する。【解決手段】物品判定教育訓練装置は、複数の物品を画面1に表示する表示部23と制御部20と計測部22と記憶部2... 詳細

  • 株式会社ニデックの「 眼科撮影装置」が 公開されました。( 2019/06/24)

    【課題】複数の光学系のうち2つ以上が機能または性能を良好に発揮できる眼科装置を提供すること。【解決手段】 眼科装置1は、OCT光学系100と、対物光学系をOCT光学系100と共用する前眼部撮影光学系... 詳細

  • 株式会社QDレーザの「 網膜走査型視力検査装置、網膜走査型視力検査システム、網膜走査型視力検査方法」が 公開されました。( 2019/06/24)

    【課題】網膜の視力を簡便に測定する。【解決手段】光線を出射する光源部と、画像を表示する表示部と、視標の画像を含む検査用画像データと、検査用画像データと対応付けられた光線の出力値と、を含む検査条件情報を... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ