図面 (/)
課題
解決手段
概要
背景
ヘッドマウントディスプレイ(HMD)等のディスプレイ装置において、使用者の視線を追跡する装置は既に知られているが、実際に使用者が注視している点と装置が認識する使用者の視線との間で誤差があり、使用者の視線を正確に特定できなかった。
一般に、機械により表示されるキャラクターとのコミュニケーションをシミュレーションする装置は、既にシミュレーションゲーム等で知られている。
使用者の眼を撮像するユーザーインターフェイス装置については、例えば先行文献1に記載されたものが知られている。このユーザーインターフェイス装置においては、ユーザーの視線を装置への入力手段としている。
また、使用者の視線により入力する装置としては、先行文献2に記載されたものも知られている。この装置においては、使用者の視線位置検出手段と、映像表示手段、視線位置と映像との両者の一致検出手段によって、ユーザーの視線による入力を可能としている。
従来、バーチャルキャラクターを用いてコミュニケーションのシミュレーションをする装置は、例えば先行文献3のように、キーボードによるテキスト入力を主たる入力として、使用者の脈拍、体温、発汗を補助入力とするものが知られている。
概要
3次元空間を表現するゲームエンジンにおいて、使用者の注視点を正確に入力する。 使用者の眼を撮像するカメラ10からのデータよって、使用者の両眼の視線のデータを算出し、前記使用者の視線データと、ゲームエンジンが管理しているシステムに含まれる3次元データとに基づいて、使用者が注視している3次元空間内の3次元座標位置を計算するように、注視点算出アルゴリズムを構成する。
目的
効果
実績
- 技術文献被引用数
- 1件
- 牽制数
- 0件
この技術が所属する分野
(分野番号表示ON)※整理標準化データをもとに当社作成
請求項1
使用者の眼を撮像するカメラからのデータよって、使用者の両眼の視線のデータを算出し、算出した視線のデータをレイキャスティング法又はZバッファー法によってゲームエンジンが管理している3次元空間の奥行データと照合し、前記使用者が注視している3次元空間内の3次元座標位置を計算する、注視点算出アルゴリズム。
請求項2
請求項3
インタラクションの対象物が表示され、使用者の視線及び焦点が、一定時間以上、前記対象物の特定の部位に向いた場合には、使用者が前記対象物とインタラクションをとれていると判定する、請求項1に記載の注視点算出アルゴリズム。
請求項4
使用者の顔の方向を検知する方向センサーからのデータよって、使用者の顔の方向を算出し、使用者の視線及び顔の方向が、一定時間以上、前記映像表示部に表示された対象物の特定の部位に合致した場合には、使用者が前記対象物とインタラクションをとれていると判定する、請求項1に記載の注視点算出アルゴリズム。
請求項5
使用者の顔の方向を検知する方向センサーからのデータよって、使用者の顔の方向を算出し、使用者の視線および顔の方向及び位置が、一定時間以上、前記映像表示部に表示された対象物の特定の部位に合致した場合には、使用者が前記対象物とインタラクションをとれていると判定する、請求項1に記載の注視点算出アルゴリズム。
請求項6
映像表示部と、使用者の眼を撮像するカメラと、を有し、前記映像表示部と前記カメラとが使用者の頭部に固定されるハウジングに格納され、請求項1に記載の注視点算出アルゴリズムが組み込まれた、ヘッドマウントディスプレイ。
技術分野
背景技術
0002
ヘッドマウントディスプレイ(HMD)等のディスプレイ装置において、使用者の視線を追跡する装置は既に知られているが、実際に使用者が注視している点と装置が認識する使用者の視線との間で誤差があり、使用者の視線を正確に特定できなかった。
0003
一般に、機械により表示されるキャラクターとのコミュニケーションをシミュレーションする装置は、既にシミュレーションゲーム等で知られている。
0004
使用者の眼を撮像するユーザーインターフェイス装置については、例えば先行文献1に記載されたものが知られている。このユーザーインターフェイス装置においては、ユーザーの視線を装置への入力手段としている。
0005
また、使用者の視線により入力する装置としては、先行文献2に記載されたものも知られている。この装置においては、使用者の視線位置検出手段と、映像表示手段、視線位置と映像との両者の一致検出手段によって、ユーザーの視線による入力を可能としている。
0006
従来、バーチャルキャラクターを用いてコミュニケーションのシミュレーションをする装置は、例えば先行文献3のように、キーボードによるテキスト入力を主たる入力として、使用者の脈拍、体温、発汗を補助入力とするものが知られている。
0007
特開2012-008745
0008
特開平09−018775
先行技術
0009
特開2004−212687
発明が解決しようとする課題
0010
ヘッドマウントディスプレイを含むディスプレイにおいて使用者の視線を追跡する際に、使用者の両眼の瞳孔の方向は、必ずしも使用者が注視している点と一致せず、正確な使用者の注視点の座標を特定する技術が求められていた。
0011
人間は眼で物を見る際、対象物との距離に応じて水晶体の厚さを調整し、対象物の像を鮮明に結ぶようにピントを調節している。そのため、視点からの距離が離れた対象物についてはピントが合わず、ぼやけて見える。
しかし、従来の立体映像においては、両眼に別の映像を提供する事のみによって立体感を演出しており、視点から距離が離れているはずの対象物にもピントが合って鮮明に見えてしまっていた。
0012
機械によるコミュニケーションのシミュレーションを行うためには、シミュレーションの体系の中に現実のコミュニケーションの要素を取り入れることが不可欠である。中でも、現実のコミュニケーションにおいては、お互いの視線の認識が果たす役割が大きいため、使用者の視線の検出、判定をシミュレーションにどう取り入れるかが課題となっていた。
0013
さらに、実際のコミュニケーションにおいては、顔の向きを相手に向けることも重要であり、この点をどのように検出及び判定し、シミュレーションに取り入れるかも課題となっていた。
課題を解決するための手段
0014
上記目的は使用者の眼を撮像するカメラからのデータよって、使用者の両眼の視線のデータを算出し、算出した視線のデータをレイキャスティング法又はZバッファー法によってゲームエンジンが管理している3次元空間の奥行データと照合し、使用者が注視している3次元空間内の3次元座標位置を計算する、注視点算出アルゴリズムによって、達成される。
0015
本発明による注視点算出アルゴリズムは、好ましくは、視線検知アルゴリズムで特定した3次元上の座標位置情報を用いて、当該座標のシーンに奥行情報を伴ったブラー表現をかけることで擬似的に焦点表現を導入する。
0016
本発明による注視点算出アルゴリズムは、好ましくは、インタラクションの対象物が表示され、使用者の視線及び顔の方向が、一定時間以上、映像表示部に表示された対象物の特定の部位に合致した場合には、使用者が前記対象物とインタラクションをとれていると判定する。
0017
本発明の視線検知機能付きディスプレイ装置によるシミュレーションは使用者の顔の方向を検知する方向センサーからのデータよって、使用者の顔の方向を算出し、使用者の視線および顔の方向が、一定時間以上、映像表示部に表示された対象物の特定の部位に合致した場合には、使用者が対象物とインタラクションをとれていると判定する。
0018
本発明の視線検知機能付きディスプレイ装置によるシミュレーションは使用者の顔の方向を検知する方向センサーからのデータよって、使用者の顔の方向を算出し、使用者の視線および顔の方向及び位置が、一定時間以上、映像表示部に表示された対象物の特定の部位に合致した場合には、使用者が対象物とインタラクションをとれていると判定する。
0019
本発明による注視点算出アルゴリズムは、好ましくは、映像表示部と、使用者の眼を撮像するカメラとを有し、映像表示部とカメラとが使用者の頭部に固定されるハウジングに格納されたヘッドマウントディスプレイ(HMD)に組み込まれる。
発明の効果
0020
HMD等の3D映像装置を用いた立体映像において、使用者の注視点を算出するにあたっては、使用者の眼を撮像するのみでは、実際の使用者の注視点と算出された注視点との間で誤差が生じてしまうが、映像内のオブジェクトに照合して使用者の注視点を算出することにより、使用者の注視点を正確に算出することができる。
0021
映像内において使用者の焦点と映像空間内における奥行きが離れた位置について、ぼかしが入ることにより、立体的な映像が提供される。そのためには、使用者の焦点を正確に算出することが不可欠であるが、単純に両眼の視線の最短距離点又は交点を焦点として算出するのでは、使用者が実際に注視する焦点との間で誤差が生じてしまうため、本発明のアルゴリズムによって当該誤差を補正する。
0022
上記構成によれば、本発明による視線検知機能付きディスプレイ装置によってコミュニケーションのシミュレーションがされる場合は、キャラクターを表示する映像表示部と、使用者の眼を撮像するカメラとを有し、使用者の視線を検知するとともに、使用者が、表示されている映像のうち、どの部分を見ているかを算出する。
これにより、使用者の視線が、一定時間の範囲内において、映像表示部に表示されたキャラクターの特定の部位に向いた場合、特に、使用者がキャラクターの目や、顔の中心付近を見ている場合に適切にコミュニケーションがとれていると判定される。
このため、視線入力のステップを伴わない従来のコミュニケーションのシミュレーションに比べ、現実のコミュニケーションに近いシミュレーションがなされる。
0023
コミュニケーションのシミュレーションにおいて、使用者の顔の方向を検知する方向センサーを有し、方向センサーによって使用者の顔の方向を解析することにより、使用者がキャラクターに目線だけでなく顔を向けているか否かが判定される。
このため、使用者が顔の向きを変えた時に、使用者の顔の向きに従って映像が変化することが可能となる。また、使用者が顔をキャラクターの方向に向けている場合にのみコミュニケーションがとれていると判定することにより、より正確なコミュニケーションのシミュレーションをすることが可能である。
0024
映像表示部とカメラとが使用者の頭部に固定されるハウジングに格納され、全体としてHMDである場合には、従来からのHMDの技術を本発明にそのまま適用することができ、大型のスクリーンを用いることなく使用者の視界に広い角度で映像を表示することができる。
図面の簡単な説明
0025
本発明の焦点認識機能のアルゴリズムの簡易フロー図である。
本発明の焦点認識機能のアルゴリズムのフロー図である。
シミュレーションのフローチャートである。
本発明の第一実施形態であるHMD型の視線検知機能付きディスプレイ装置の装着図である。
本発明の第二実施形態であるメガネ型の視線検知機能付きディスプレイ装置の装着図である。
使用者の両眼を撮像する本発明の構造図である。
実施例
0026
図1は、本発明の焦点認識機能のアルゴリズムの簡易フロー図である。
カメラ10が使用者の両眼を撮像し、視線データを算出する。次に前記視線データをレイキャスティング法11もしくはZバッファー法13によって、ゲームエンジン内の3次元空間内奥行データ12と照合し、注視点算出処理法14によって注視点を算出し、使用者が注視している3次元空間内における3次元の座標位置を特定する。
0027
カメラ10が使用者の両眼を撮像し、使用者の両眼の視線の最短距離点又は交点を算出し、使用者の両眼の視線の最短距離点又は交点に最も近い映像部のZバッファー値を参照する。そして、前記Zバッファー値と、他の映像部のZバッファー値の差に応じて、他の映像部にぼかしを入れる。
0028
図2は、図1におけるアルゴリズムをより詳細に示したフロー図である。まず、Zバッファー法もしくはレイキャスティング法によって、ゲーム内の一点を入力する。
Zバッファー法では、使用者の視線をZバッファー値が設定されているゲーム内オブジェクトに投影200し、ゲーム内においてオブジェクトの表面として設定されている点の座標を算出201し、Z点として入力202する。
レイキャスティング法では、ゲームエンジン内の3次元空間に投影線を引き203、ゲーム内の物理線上に視線とゲーム内オブジェクトとの交点の座標をP点として入力204する。
0029
P点もしくはZ点が少なくとも1点あるかを判定205し、また、少なくとも1点の合致点がある場合には、合致点が2点あってかつ当該2点が閾値a未満の距離であるかを判定206し、合致点が2点あって、かつ当該2点の距離がa未満である場合には、当該2点の中点207又は2点の重点を焦点として出力208する。
0030
一方、P点とZ点が一致する点が1点以下か、あるいは2点あっても当該2点の距離が閾値α以上に離れている場合には、両眼の視線の最短距離点又は交点(CI)を算出209、及び入力210する。
CIが起源点をもつか否かを判定211し、起源点を持たない場合には焦点が定まっていないものとし、焦点の値に遠方の点を出力212する。
0031
一方、CIに起源点が存在する場合には、CIから距離が近い範囲でZ点が存在するか否かを判定213し、Z点の距離が近い範囲で存在する場合にはZ点を焦点として出力214し、Z点の距離が近い範囲で存在しない場合には、CIにフィルタリング215をかけ、当該フィルタリングされた値にブレンディングをかけて出力216する。
0032
図3は、本発明による視線検知機能付きディスプレイ装置によるコミュニケーションのシミュレーションのフローチャートを示している。
図3において、シミュレーションの起動後、クリック又はキーボードによる入力ステップ31によって、シミュレーションが開始され、開始画面32に移行する。
開始画面32から、使用者によるキャラクターの探索ステップ33、キャラクターの表示画面34、使用者の視線による入力ステップ35、適切なコミュニケーションの判定ステップ36、コミュニケーションの成功時の画面37あるいはコミュニケーションの失敗時の画面38を経て、シミュレーションの終了39に移行する。
0033
図4は、本発明の第一の実施形態における装着図である。視線検知機能付きディスプレイ装置40は、顔の方向を検知するセンサー41を有し、映像表示部とカメラ10とが使用者の頭部に固定されるハウジングに格納され、全体としてHMD型である。
0034
図5は、本発明による第二の実施形態における装着図である。視線検知機能付きディスプレイ装置はパーソナルコンピューター用のモニター等、HMD以外の映像表示装置が用いられ、全体としてメガネ型である。キャラクターの探索画面において、使用者はマウス又はキーボードの操作によって映像表示装置に表示される焦点を操作して探索する。
第二の実施形態においては、カメラ10により撮像された眼の画像と、顔の方向を検知するセンサー41の情報とが解析され、使用者の視線が解析される。
0035
図6は、カメラ10が両眼を撮像する構造図である。視差62により使用者の視線の最短距離点又は交点63の空間上の座標を算出する。
例えばコミュニケーションの判定ステップ36において、最短距離点又は交点63の座標が、一定時間以上、映像表示部に表示されたキャラクターの特定の部位に向いたことをもって、使用者が前記キャラクターとコミュニケーションをとれていると判定される。
0036
使用者の顔の方向を検知するセンサー41を有し、センサー41によって使用者の顔の方向を解析し、使用者の視線及び顔の方向が、一定時間以上、前記映像表示部に表示されたキャラクターの特定の部位に向いた場合には、使用者が前記キャラクターとコミュニケーションをとれていると判定される。
本発明を実施する場合のキャラクターの探索ステップ33においては、使用者が顔の向きを変えると、首の方向に従って表示される画面が変化する。これによって、現実空間において顔の方向を変えた時に目に映される視界が変化する事象が、HMDよる映像表現上でも再現される。
キャラクターの探索ステップ33において、開始時は、キャラクターが視界の外に存在するという設定であるため、キャラクターは画面に表示されないが、使用者が後ろを振り返ることにより、背景映像の変化とともにキャラクターが表示される。
0037
本発明におけるカメラ10は使用者の眼を撮像する小型カメラであり、カメラ10により撮像された画像によって、使用者の視線が算出される。
0038
本発明によるシミュレーションでは、使用者の視線をシミュレーションの主な入力要素とする。
視線入力ステップ35においては、カメラ10による使用者の視線が解析され、視線データとして入力される。
0039
コミュニケーションの判定ステップ36においては、使用者の視線が、一定時間以上、映像表示部に表示されたキャラクターの特定の部位に向いた場合には、使用者がキャラクターとコミュニケーションをとれていると判定される。
コミュニケーションの判定ステップ36の時、キャラクターが約15秒、使用者を見る。
この約15秒の内、約1秒以上使用者がキャラクターの顔の中心付近に視線を向けた場合は、コミュニケーション成功と判定される。
一方、使用者がキャラクターの顔の中心付近に視線を1秒以上向けないまま15秒が経過した場合には、コミュニケーション失敗と判定される。
また、使用者の視線がせわしなく動きすぎた場合や、キャラクターを見つめすぎた場合にも、コミュニケーションが失敗と判定される。
0040
コミュニケーションの成功時の画面37においては、キャラクターが使用者に挨拶する。一方、コミュニケーションの失敗時の画面38においては、キャラクターが使用者に挨拶せず、そのまま通りすぎていく。
0041
シミュレーションの開始前には、正確な視線入力のために調整の手順が設けられる。
本発明では視線による入力のために、カメラによって撮像された瞳孔の映像から使用者の視線の方向を算出する。ここで、使用者の眼40の映像を解析することにより、計算上の視線が算出されるが、この計算上の視線と使用者が実際に注視した、実際の視線との間で差異が生じる場合がある。
そのため、この差異を調整する手順において、使用者に画面上に表示されたポインタを注視させ、使用者が注視する実際の視線の位置と、計算上の視線の位置との差異を算出する。
以後、シミュレーションにおいて、計算上の視線の位置に、算出した差異の値を補正して、装置が認識する焦点の位置を使用者が実際に注視している点に合わせる。
0042
10カメラ
11レイキャスティング法
12 3次元空間の奥行データ
13 Zバッファー法
14注視点算出処理法
15使用者が注視している3次元空間内における座標位置
200 Zバッファーへ視線を投影
201ゲーム内のZ点を算出
202 Z点を入力
203 レイキャスティング法により、投影線を引く
204P点を入力
205 P点又はZ点が少なくとも1点存在するか
206 P点とZ点が1対存在し、閾値α未満であるか
207 P点又はZ点の中点を算出
208 P点又はZ点の中点を出力
209 視線を算出し、最短距離点又は交点(CI)を算出
210CI値を入力
211 CIは起源点を持つか
212遠方の点を焦点として出力
213 P点又はZ点がCIから近い距離に存在するか
214 P点又はZ点を出力
215 CI値をフィルタリング
216 フィルタリングされたCI値を出力
30起動
31 開始の入力ステップ
32 開始画面
33 使用者による探索
34キャラクター表示画面
35視線入力ステップ
36コミュニケーションの判定ステップ
37 コミュニケーションの成功時の画面
38 コミュニケーションの失敗時の画面
39シミュレーションの終了
40 HMD型の視線検知機能付きディスプレイ装置
41 顔の方向を検知するセンサー
50メガネ型の視線検知機能付きディスプレイ装置
52スクリーン
60 眼
61レンズ
62視差
63 最短距離点又は交点
技術視点だけで見ていませんか?
この技術の活用可能性がある分野
分野別動向を把握したい方- 事業化視点で見る -
(分野番号表示ON)※整理標準化データをもとに当社作成