技術 ３次元上の注視点の位置特定アルゴリズム

0001

本発明は、立体映像における使用者の注視点の特定方法に関するものである。

0002

ヘッドマウントディスプレイ（ＨＭＤ）等のディスプレイ装置において、使用者の視線を追跡する装置は既に知られているが、実際に使用者が注視している点と装置が認識する使用者の視線との間で誤差があり、使用者の視線を正確に特定できなかった。

0003

一般に、機械により表示されるキャラクターとのコミュニケーションをシミュレーションする装置は、既にシミュレーションゲーム等で知られている。

0004

使用者の眼を撮像するユーザーインターフェイス装置については、例えば先行文献１に記載されたものが知られている。このユーザーインターフェイス装置においては、ユーザーの視線を装置への入力手段としている。

0005

また、使用者の視線により入力する装置としては、先行文献２に記載されたものも知られている。この装置においては、使用者の視線位置検出手段と、映像表示手段、視線位置と映像との両者の一致検出手段によって、ユーザーの視線による入力を可能としている。

0006

従来、バーチャルキャラクターを用いてコミュニケーションのシミュレーションをする装置は、例えば先行文献３のように、キーボードによるテキスト入力を主たる入力として、使用者の脈拍、体温、発汗を補助入力とするものが知られている。

0007

特開２０１２-００８７４５

0008

特開平０９−０１８７７５

0009

特開２００４−２１２６８７

0010

ヘッドマウントディスプレイを含むディスプレイにおいて使用者の視線を追跡する際に、使用者の両眼の瞳孔の方向は、必ずしも使用者が注視している点と一致せず、正確な使用者の注視点の座標を特定する技術が求められていた。

0011

人間は眼で物を見る際、対象物との距離に応じて水晶体の厚さを調整し、対象物の像を鮮明に結ぶようにピントを調節している。そのため、視点からの距離が離れた対象物についてはピントが合わず、ぼやけて見える。
しかし、従来の立体映像においては、両眼に別の映像を提供する事のみによって立体感を演出しており、視点から距離が離れているはずの対象物にもピントが合って鮮明に見えてしまっていた。

0012

機械によるコミュニケーションのシミュレーションを行うためには、シミュレーションの体系の中に現実のコミュニケーションの要素を取り入れることが不可欠である。中でも、現実のコミュニケーションにおいては、お互いの視線の認識が果たす役割が大きいため、使用者の視線の検出、判定をシミュレーションにどう取り入れるかが課題となっていた。

0013

さらに、実際のコミュニケーションにおいては、顔の向きを相手に向けることも重要であり、この点をどのように検出及び判定し、シミュレーションに取り入れるかも課題となっていた。

0014

上記目的は使用者の眼を撮像するカメラからのデータよって、使用者の両眼の視線のデータを算出し、算出した視線のデータをレイキャスティング法又はＺバッファー法によってゲームエンジンが管理している３次元空間の奥行データと照合し、使用者が注視している３次元空間内の３次元座標位置を計算する、注視点算出アルゴリズムによって、達成される。

0015

本発明による注視点算出アルゴリズムは、好ましくは、視線検知アルゴリズムで特定した３次元上の座標位置情報を用いて、当該座標のシーンに奥行情報を伴ったブラー表現をかけることで擬似的に焦点表現を導入する。

0016

本発明による注視点算出アルゴリズムは、好ましくは、インタラクションの対象物が表示され、使用者の視線及び顔の方向が、一定時間以上、映像表示部に表示された対象物の特定の部位に合致した場合には、使用者が前記対象物とインタラクションをとれていると判定する。

0017

本発明の視線検知機能付きディスプレイ装置によるシミュレーションは使用者の顔の方向を検知する方向センサーからのデータよって、使用者の顔の方向を算出し、使用者の視線および顔の方向が、一定時間以上、映像表示部に表示された対象物の特定の部位に合致した場合には、使用者が対象物とインタラクションをとれていると判定する。

0018

本発明の視線検知機能付きディスプレイ装置によるシミュレーションは使用者の顔の方向を検知する方向センサーからのデータよって、使用者の顔の方向を算出し、使用者の視線および顔の方向及び位置が、一定時間以上、映像表示部に表示された対象物の特定の部位に合致した場合には、使用者が対象物とインタラクションをとれていると判定する。

0019

本発明による注視点算出アルゴリズムは、好ましくは、映像表示部と、使用者の眼を撮像するカメラとを有し、映像表示部とカメラとが使用者の頭部に固定されるハウジングに格納されたヘッドマウントディスプレイ（ＨＭＤ）に組み込まれる。

0020

ＨＭＤ等の３Ｄ映像装置を用いた立体映像において、使用者の注視点を算出するにあたっては、使用者の眼を撮像するのみでは、実際の使用者の注視点と算出された注視点との間で誤差が生じてしまうが、映像内のオブジェクトに照合して使用者の注視点を算出することにより、使用者の注視点を正確に算出することができる。

0021

映像内において使用者の焦点と映像空間内における奥行きが離れた位置について、ぼかしが入ることにより、立体的な映像が提供される。そのためには、使用者の焦点を正確に算出することが不可欠であるが、単純に両眼の視線の最短距離点又は交点を焦点として算出するのでは、使用者が実際に注視する焦点との間で誤差が生じてしまうため、本発明のアルゴリズムによって当該誤差を補正する。

0022

上記構成によれば、本発明による視線検知機能付きディスプレイ装置によってコミュニケーションのシミュレーションがされる場合は、キャラクターを表示する映像表示部と、使用者の眼を撮像するカメラとを有し、使用者の視線を検知するとともに、使用者が、表示されている映像のうち、どの部分を見ているかを算出する。
これにより、使用者の視線が、一定時間の範囲内において、映像表示部に表示されたキャラクターの特定の部位に向いた場合、特に、使用者がキャラクターの目や、顔の中心付近を見ている場合に適切にコミュニケーションがとれていると判定される。
このため、視線入力のステップを伴わない従来のコミュニケーションのシミュレーションに比べ、現実のコミュニケーションに近いシミュレーションがなされる。

0023

コミュニケーションのシミュレーションにおいて、使用者の顔の方向を検知する方向センサーを有し、方向センサーによって使用者の顔の方向を解析することにより、使用者がキャラクターに目線だけでなく顔を向けているか否かが判定される。
このため、使用者が顔の向きを変えた時に、使用者の顔の向きに従って映像が変化することが可能となる。また、使用者が顔をキャラクターの方向に向けている場合にのみコミュニケーションがとれていると判定することにより、より正確なコミュニケーションのシミュレーションをすることが可能である。

0024

映像表示部とカメラとが使用者の頭部に固定されるハウジングに格納され、全体としてＨＭＤである場合には、従来からのＨＭＤの技術を本発明にそのまま適用することができ、大型のスクリーンを用いることなく使用者の視界に広い角度で映像を表示することができる。

0025

本発明の焦点認識機能のアルゴリズムの簡易フロー図である。
本発明の焦点認識機能のアルゴリズムのフロー図である。
シミュレーションのフローチャートである。
本発明の第一実施形態であるＨＭＤ型の視線検知機能付きディスプレイ装置の装着図である。
本発明の第二実施形態であるメガネ型の視線検知機能付きディスプレイ装置の装着図である。
使用者の両眼を撮像する本発明の構造図である。

0026

図１は、本発明の焦点認識機能のアルゴリズムの簡易フロー図である。
カメラ１０が使用者の両眼を撮像し、視線データを算出する。次に前記視線データをレイキャスティング法１１もしくはＺバッファー法１３によって、ゲームエンジン内の３次元空間内奥行データ１２と照合し、注視点算出処理法１４によって注視点を算出し、使用者が注視している３次元空間内における３次元の座標位置を特定する。

0027

カメラ１０が使用者の両眼を撮像し、使用者の両眼の視線の最短距離点又は交点を算出し、使用者の両眼の視線の最短距離点又は交点に最も近い映像部のＺバッファー値を参照する。そして、前記Ｚバッファー値と、他の映像部のＺバッファー値の差に応じて、他の映像部にぼかしを入れる。

0028

図２は、図１におけるアルゴリズムをより詳細に示したフロー図である。まず、Ｚバッファー法もしくはレイキャスティング法によって、ゲーム内の一点を入力する。
Ｚバッファー法では、使用者の視線をＺバッファー値が設定されているゲーム内オブジェクトに投影２００し、ゲーム内においてオブジェクトの表面として設定されている点の座標を算出２０１し、Ｚ点として入力２０２する。
レイキャスティング法では、ゲームエンジン内の３次元空間に投影線を引き２０３、ゲーム内の物理線上に視線とゲーム内オブジェクトとの交点の座標をＰ点として入力２０４する。

0029

Ｐ点もしくはＺ点が少なくとも１点あるかを判定２０５し、また、少なくとも１点の合致点がある場合には、合致点が２点あってかつ当該２点が閾値ａ未満の距離であるかを判定２０６し、合致点が２点あって、かつ当該２点の距離がａ未満である場合には、当該２点の中点２０７又は２点の重点を焦点として出力２０８する。

0030

一方、Ｐ点とＺ点が一致する点が１点以下か、あるいは２点あっても当該２点の距離が閾値α以上に離れている場合には、両眼の視線の最短距離点又は交点（ＣＩ）を算出２０９、及び入力２１０する。
ＣＩが起源点をもつか否かを判定２１１し、起源点を持たない場合には焦点が定まっていないものとし、焦点の値に遠方の点を出力２１２する。

0031

一方、ＣＩに起源点が存在する場合には、ＣＩから距離が近い範囲でＺ点が存在するか否かを判定２１３し、Ｚ点の距離が近い範囲で存在する場合にはＺ点を焦点として出力２１４し、Ｚ点の距離が近い範囲で存在しない場合には、ＣＩにフィルタリング２１５をかけ、当該フィルタリングされた値にブレンディングをかけて出力２１６する。

0032

図３は、本発明による視線検知機能付きディスプレイ装置によるコミュニケーションのシミュレーションのフローチャートを示している。
図３において、シミュレーションの起動後、クリック又はキーボードによる入力ステップ３１によって、シミュレーションが開始され、開始画面３２に移行する。
開始画面３２から、使用者によるキャラクターの探索ステップ３３、キャラクターの表示画面３４、使用者の視線による入力ステップ３５、適切なコミュニケーションの判定ステップ３６、コミュニケーションの成功時の画面３７あるいはコミュニケーションの失敗時の画面３８を経て、シミュレーションの終了３９に移行する。

0033

図４は、本発明の第一の実施形態における装着図である。視線検知機能付きディスプレイ装置４０は、顔の方向を検知するセンサー４１を有し、映像表示部とカメラ１０とが使用者の頭部に固定されるハウジングに格納され、全体としてＨＭＤ型である。

0034

図５は、本発明による第二の実施形態における装着図である。視線検知機能付きディスプレイ装置はパーソナルコンピューター用のモニター等、ＨＭＤ以外の映像表示装置が用いられ、全体としてメガネ型である。キャラクターの探索画面において、使用者はマウス又はキーボードの操作によって映像表示装置に表示される焦点を操作して探索する。
第二の実施形態においては、カメラ１０により撮像された眼の画像と、顔の方向を検知するセンサー４１の情報とが解析され、使用者の視線が解析される。

0035

図６は、カメラ１０が両眼を撮像する構造図である。視差６２により使用者の視線の最短距離点又は交点６３の空間上の座標を算出する。
例えばコミュニケーションの判定ステップ３６において、最短距離点又は交点６３の座標が、一定時間以上、映像表示部に表示されたキャラクターの特定の部位に向いたことをもって、使用者が前記キャラクターとコミュニケーションをとれていると判定される。

0036

使用者の顔の方向を検知するセンサー４１を有し、センサー４１によって使用者の顔の方向を解析し、使用者の視線及び顔の方向が、一定時間以上、前記映像表示部に表示されたキャラクターの特定の部位に向いた場合には、使用者が前記キャラクターとコミュニケーションをとれていると判定される。
本発明を実施する場合のキャラクターの探索ステップ３３においては、使用者が顔の向きを変えると、首の方向に従って表示される画面が変化する。これによって、現実空間において顔の方向を変えた時に目に映される視界が変化する事象が、ＨＭＤよる映像表現上でも再現される。
キャラクターの探索ステップ３３において、開始時は、キャラクターが視界の外に存在するという設定であるため、キャラクターは画面に表示されないが、使用者が後ろを振り返ることにより、背景映像の変化とともにキャラクターが表示される。

0037

本発明におけるカメラ１０は使用者の眼を撮像する小型カメラであり、カメラ１０により撮像された画像によって、使用者の視線が算出される。

0038

本発明によるシミュレーションでは、使用者の視線をシミュレーションの主な入力要素とする。
視線入力ステップ３５においては、カメラ１０による使用者の視線が解析され、視線データとして入力される。

0039

コミュニケーションの判定ステップ３６においては、使用者の視線が、一定時間以上、映像表示部に表示されたキャラクターの特定の部位に向いた場合には、使用者がキャラクターとコミュニケーションをとれていると判定される。
コミュニケーションの判定ステップ３６の時、キャラクターが約１５秒、使用者を見る。
この約１５秒の内、約１秒以上使用者がキャラクターの顔の中心付近に視線を向けた場合は、コミュニケーション成功と判定される。
一方、使用者がキャラクターの顔の中心付近に視線を１秒以上向けないまま１５秒が経過した場合には、コミュニケーション失敗と判定される。
また、使用者の視線がせわしなく動きすぎた場合や、キャラクターを見つめすぎた場合にも、コミュニケーションが失敗と判定される。

0040

コミュニケーションの成功時の画面３７においては、キャラクターが使用者に挨拶する。一方、コミュニケーションの失敗時の画面３８においては、キャラクターが使用者に挨拶せず、そのまま通りすぎていく。

0041

シミュレーションの開始前には、正確な視線入力のために調整の手順が設けられる。
本発明では視線による入力のために、カメラによって撮像された瞳孔の映像から使用者の視線の方向を算出する。ここで、使用者の眼４０の映像を解析することにより、計算上の視線が算出されるが、この計算上の視線と使用者が実際に注視した、実際の視線との間で差異が生じる場合がある。
そのため、この差異を調整する手順において、使用者に画面上に表示されたポインタを注視させ、使用者が注視する実際の視線の位置と、計算上の視線の位置との差異を算出する。
以後、シミュレーションにおいて、計算上の視線の位置に、算出した差異の値を補正して、装置が認識する焦点の位置を使用者が実際に注視している点に合わせる。

0042

１０カメラ
１１レイキャスティング法
１２ ３次元空間の奥行データ
１３ Ｚバッファー法
１４注視点算出処理法
１５使用者が注視している３次元空間内における座標位置
２００ Ｚバッファーへ視線を投影
２０１ゲーム内のＺ点を算出
２０２ Ｚ点を入力
２０３ レイキャスティング法により、投影線を引く
２０４Ｐ点を入力
２０５ Ｐ点又はＺ点が少なくとも１点存在するか
２０６ Ｐ点とＺ点が１対存在し、閾値α未満であるか
２０７ Ｐ点又はＺ点の中点を算出
２０８ Ｐ点又はＺ点の中点を出力
２０９ 視線を算出し、最短距離点又は交点（ＣＩ）を算出
２１０ＣＩ値を入力
２１１ ＣＩは起源点を持つか
２１２遠方の点を焦点として出力
２１３ Ｐ点又はＺ点がＣＩから近い距離に存在するか
２１４ Ｐ点又はＺ点を出力
２１５ ＣＩ値をフィルタリング
２１６ フィルタリングされたＣＩ値を出力
３０起動
３１ 開始の入力ステップ
３２ 開始画面
３３ 使用者による探索
３４キャラクター表示画面
３５視線入力ステップ
３６コミュニケーションの判定ステップ
３７ コミュニケーションの成功時の画面
３８ コミュニケーションの失敗時の画面
３９シミュレーションの終了
４０ ＨＭＤ型の視線検知機能付きディスプレイ装置
４１ 顔の方向を検知するセンサー
５０メガネ型の視線検知機能付きディスプレイ装置
５２スクリーン
６０ 眼
６１レンズ
６２視差
６３ 最短距離点又は交点