図面 (/)

技術 3次元上の注視点の位置特定アルゴリズム

出願人 フォーブインコーポレーテッド
発明者 ウィルソンロクラン
出願日 2014年8月7日 (5年6ヶ月経過) 出願番号 2015-530206
公開日 2017年5月25日 (2年8ヶ月経過) 公開番号 WO2016-021034
状態 不明
技術分野
  • -
主要キーワード 合致点 ユーザーインターフェイス装置 装着図 方向センサー パーソナルコンピューター用 ゲームエンジン 探索画面 視線位置検出
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年5月25日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (7)

課題

次元空間を表現するゲームエンジンにおいて、使用者注視点を正確に入力する。

解決手段

使用者の眼を撮像するカメラ10からのデータよって、使用者の両眼視線のデータを算出し、前記使用者の視線データと、ゲームエンジンが管理しているシステムに含まれる3次元データとに基づいて、使用者が注視している3次元空間内の3次元座標位置を計算するように、注視点算出アルゴリズムを構成する。

概要

背景

ヘッドマウントディスプレイ(HMD)等のディスプレイ装置において、使用者視線を追跡する装置は既に知られているが、実際に使用者が注視している点と装置が認識する使用者の視線との間で誤差があり、使用者の視線を正確に特定できなかった。

一般に、機械により表示されるキャラクターとのコミュニケーションシミュレーションする装置は、既にシミュレーションゲーム等で知られている。

使用者の眼を撮像するユーザーインターフェイス装置については、例えば先行文献1に記載されたものが知られている。このユーザーインターフェイス装置においては、ユーザーの視線を装置への入力手段としている。

また、使用者の視線により入力する装置としては、先行文献2に記載されたものも知られている。この装置においては、使用者の視線位置検出手段と、映像表示手段、視線位置映像との両者の一致検出手段によって、ユーザーの視線による入力を可能としている。

従来、バーチャルキャラクターを用いてコミュニケーションのシミュレーションをする装置は、例えば先行文献3のように、キーボードによるテキスト入力を主たる入力として、使用者の脈拍体温発汗補助入力とするものが知られている。

概要

次元空間を表現するゲームエンジンにおいて、使用者の注視点を正確に入力する。 使用者の眼を撮像するカメラ10からのデータよって、使用者の両眼の視線のデータを算出し、前記使用者の視線データと、ゲームエンジンが管理しているシステムに含まれる3次元データとに基づいて、使用者が注視している3次元空間内の3次元座標位置を計算するように、注視点算出アルゴリズムを構成する。

目的

効果

実績

技術文献被引用数
- 件
牽制数
- 件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

該当するデータがありません

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

使用者の眼を撮像するカメラからのデータよって、使用者の両眼視線のデータを算出し、算出した視線のデータをレイキャスティング法又はZバッファー法によってゲームエンジンが管理している3次元空間の奥行データと照合し、前記使用者が注視している3次元空間内の3次元座標位置を計算する、注視点算出アルゴリズム

請求項2

前記視線検知アルゴリズムで特定した3次元上の座標位置情報を用いて、当該座標シーン奥行情報を伴ったブラー表現をかけることで擬似的に焦点表現を導入する、請求項1に記載の注視点算出アルゴリズム。

請求項3

インタラクション対象物が表示され、使用者の視線及び焦点が、一定時間以上、前記対象物の特定の部位に向いた場合には、使用者が前記対象物とインタラクションをとれていると判定する、請求項1に記載の注視点算出アルゴリズム。

請求項4

使用者の顔の方向を検知する方向センサーからのデータよって、使用者の顔の方向を算出し、使用者の視線及び顔の方向が、一定時間以上、前記映像表示部に表示された対象物の特定の部位に合致した場合には、使用者が前記対象物とインタラクションをとれていると判定する、請求項1に記載の注視点算出アルゴリズム。

請求項5

使用者の顔の方向を検知する方向センサーからのデータよって、使用者の顔の方向を算出し、使用者の視線および顔の方向及び位置が、一定時間以上、前記映像表示部に表示された対象物の特定の部位に合致した場合には、使用者が前記対象物とインタラクションをとれていると判定する、請求項1に記載の注視点算出アルゴリズム。

請求項6

映像表示部と、使用者の眼を撮像するカメラと、を有し、前記映像表示部と前記カメラとが使用者の頭部に固定されるハウジングに格納され、請求項1に記載の注視点算出アルゴリズムが組み込まれた、ヘッドマウントディスプレイ

技術分野

0001

本発明は、立体映像における使用者注視点特定方法に関するものである。

背景技術

0002

ヘッドマウントディスプレイ(HMD)等のディスプレイ装置において、使用者の視線を追跡する装置は既に知られているが、実際に使用者が注視している点と装置が認識する使用者の視線との間で誤差があり、使用者の視線を正確に特定できなかった。

0003

一般に、機械により表示されるキャラクターとのコミュニケーションシミュレーションする装置は、既にシミュレーションゲーム等で知られている。

0004

使用者の眼を撮像するユーザーインターフェイス装置については、例えば先行文献1に記載されたものが知られている。このユーザーインターフェイス装置においては、ユーザーの視線を装置への入力手段としている。

0005

また、使用者の視線により入力する装置としては、先行文献2に記載されたものも知られている。この装置においては、使用者の視線位置検出手段と、映像表示手段、視線位置映像との両者の一致検出手段によって、ユーザーの視線による入力を可能としている。

0006

従来、バーチャルキャラクターを用いてコミュニケーションのシミュレーションをする装置は、例えば先行文献3のように、キーボードによるテキスト入力を主たる入力として、使用者の脈拍体温発汗補助入力とするものが知られている。

0007

特開2012-008745

0008

特開平09−018775

先行技術

0009

特開2004−212687

発明が解決しようとする課題

0010

ヘッドマウントディスプレイを含むディスプレイにおいて使用者の視線を追跡する際に、使用者の両眼瞳孔の方向は、必ずしも使用者が注視している点と一致せず、正確な使用者の注視点の座標を特定する技術が求められていた。

0011

人間は眼で物を見る際、対象物との距離に応じて水晶体の厚さを調整し、対象物の像を鮮明に結ぶようにピントを調節している。そのため、視点からの距離が離れた対象物についてはピントが合わず、ぼやけて見える。
しかし、従来の立体映像においては、両眼に別の映像を提供する事のみによって立体感演出しており、視点から距離が離れているはずの対象物にもピントが合って鮮明に見えてしまっていた。

0012

機械によるコミュニケーションのシミュレーションを行うためには、シミュレーションの体系の中に現実のコミュニケーションの要素を取り入れることが不可欠である。中でも、現実のコミュニケーションにおいては、お互いの視線の認識が果たす役割が大きいため、使用者の視線の検出、判定をシミュレーションにどう取り入れるかが課題となっていた。

0013

さらに、実際のコミュニケーションにおいては、顔の向きを相手に向けることも重要であり、この点をどのように検出及び判定し、シミュレーションに取り入れるかも課題となっていた。

課題を解決するための手段

0014

上記目的は使用者の眼を撮像するカメラからのデータよって、使用者の両眼の視線のデータを算出し、算出した視線のデータをレイキャスティング法又はZバッファー法によってゲームエンジンが管理している3次元空間の奥行データと照合し、使用者が注視している3次元空間内の3次元座標位置を計算する、注視点算出アルゴリズムによって、達成される。

0015

本発明による注視点算出アルゴリズムは、好ましくは、視線検知アルゴリズムで特定した3次元上の座標位置情報を用いて、当該座標のシーン奥行情報を伴ったブラー表現をかけることで擬似的に焦点表現を導入する。

0016

本発明による注視点算出アルゴリズムは、好ましくは、インタラクションの対象物が表示され、使用者の視線及び顔の方向が、一定時間以上、映像表示部に表示された対象物の特定の部位に合致した場合には、使用者が前記対象物とインタラクションをとれていると判定する。

0017

本発明の視線検知機能付きディスプレイ装置によるシミュレーションは使用者の顔の方向を検知する方向センサーからのデータよって、使用者の顔の方向を算出し、使用者の視線および顔の方向が、一定時間以上、映像表示部に表示された対象物の特定の部位に合致した場合には、使用者が対象物とインタラクションをとれていると判定する。

0018

本発明の視線検知機能付きディスプレイ装置によるシミュレーションは使用者の顔の方向を検知する方向センサーからのデータよって、使用者の顔の方向を算出し、使用者の視線および顔の方向及び位置が、一定時間以上、映像表示部に表示された対象物の特定の部位に合致した場合には、使用者が対象物とインタラクションをとれていると判定する。

0019

本発明による注視点算出アルゴリズムは、好ましくは、映像表示部と、使用者の眼を撮像するカメラとを有し、映像表示部とカメラとが使用者の頭部に固定されるハウジングに格納されたヘッドマウントディスプレイ(HMD)に組み込まれる。

発明の効果

0020

HMD等の3D映像装置を用いた立体映像において、使用者の注視点を算出するにあたっては、使用者の眼を撮像するのみでは、実際の使用者の注視点と算出された注視点との間で誤差が生じてしまうが、映像内オブジェクトに照合して使用者の注視点を算出することにより、使用者の注視点を正確に算出することができる。

0021

映像内において使用者の焦点と映像空間内における奥行きが離れた位置について、ぼかしが入ることにより、立体的な映像が提供される。そのためには、使用者の焦点を正確に算出することが不可欠であるが、単純に両眼の視線の最短距離点又は交点を焦点として算出するのでは、使用者が実際に注視する焦点との間で誤差が生じてしまうため、本発明のアルゴリズムによって当該誤差を補正する。

0022

上記構成によれば、本発明による視線検知機能付きディスプレイ装置によってコミュニケーションのシミュレーションがされる場合は、キャラクターを表示する映像表示部と、使用者の眼を撮像するカメラとを有し、使用者の視線を検知するとともに、使用者が、表示されている映像のうち、どの部分を見ているかを算出する。
これにより、使用者の視線が、一定時間の範囲内において、映像表示部に表示されたキャラクターの特定の部位に向いた場合、特に、使用者がキャラクターの目や、顔の中心付近を見ている場合に適切にコミュニケーションがとれていると判定される。
このため、視線入力のステップを伴わない従来のコミュニケーションのシミュレーションに比べ、現実のコミュニケーションに近いシミュレーションがなされる。

0023

コミュニケーションのシミュレーションにおいて、使用者の顔の方向を検知する方向センサーを有し、方向センサーによって使用者の顔の方向を解析することにより、使用者がキャラクターに目線だけでなく顔を向けているか否かが判定される。
このため、使用者が顔の向きを変えた時に、使用者の顔の向きに従って映像が変化することが可能となる。また、使用者が顔をキャラクターの方向に向けている場合にのみコミュニケーションがとれていると判定することにより、より正確なコミュニケーションのシミュレーションをすることが可能である。

0024

映像表示部とカメラとが使用者の頭部に固定されるハウジングに格納され、全体としてHMDである場合には、従来からのHMDの技術を本発明にそのまま適用することができ、大型のスクリーンを用いることなく使用者の視界に広い角度で映像を表示することができる。

図面の簡単な説明

0025

本発明の焦点認識機能のアルゴリズムの簡易フロー図である。
本発明の焦点認識機能のアルゴリズムのフロー図である。
シミュレーションのフローチャートである。
本発明の第一実施形態であるHMD型の視線検知機能付きディスプレイ装置の装着図である。
本発明の第二実施形態であるメガネ型の視線検知機能付きディスプレイ装置の装着図である。
使用者の両眼を撮像する本発明の構造図である。

実施例

0026

図1は、本発明の焦点認識機能のアルゴリズムの簡易フロー図である。
カメラ10が使用者の両眼を撮像し、視線データを算出する。次に前記視線データをレイキャスティング法11もしくはZバッファー法13によって、ゲームエンジン内の3次元空間内奥行データ12と照合し、注視点算出処理法14によって注視点を算出し、使用者が注視している3次元空間内における3次元の座標位置を特定する。

0027

カメラ10が使用者の両眼を撮像し、使用者の両眼の視線の最短距離点又は交点を算出し、使用者の両眼の視線の最短距離点又は交点に最も近い映像部のZバッファー値を参照する。そして、前記Zバッファー値と、他の映像部のZバッファー値の差に応じて、他の映像部にぼかしを入れる。

0028

図2は、図1におけるアルゴリズムをより詳細に示したフロー図である。まず、Zバッファー法もしくはレイキャスティング法によって、ゲーム内の一点を入力する。
Zバッファー法では、使用者の視線をZバッファー値が設定されているゲーム内オブジェクトに投影200し、ゲーム内においてオブジェクトの表面として設定されている点の座標を算出201し、Z点として入力202する。
レイキャスティング法では、ゲームエンジン内の3次元空間に投影線を引き203、ゲーム内の物理線上に視線とゲーム内オブジェクトとの交点の座標をP点として入力204する。

0029

P点もしくはZ点が少なくとも1点あるかを判定205し、また、少なくとも1点の合致点がある場合には、合致点が2点あってかつ当該2点が閾値a未満の距離であるかを判定206し、合致点が2点あって、かつ当該2点の距離がa未満である場合には、当該2点の中点207又は2点の重点を焦点として出力208する。

0030

一方、P点とZ点が一致する点が1点以下か、あるいは2点あっても当該2点の距離が閾値α以上に離れている場合には、両眼の視線の最短距離点又は交点(CI)を算出209、及び入力210する。
CIが起源点をもつか否かを判定211し、起源点を持たない場合には焦点が定まっていないものとし、焦点の値に遠方の点を出力212する。

0031

一方、CIに起源点が存在する場合には、CIから距離が近い範囲でZ点が存在するか否かを判定213し、Z点の距離が近い範囲で存在する場合にはZ点を焦点として出力214し、Z点の距離が近い範囲で存在しない場合には、CIにフィルタリング215をかけ、当該フィルタリングされた値にブレンディングをかけて出力216する。

0032

図3は、本発明による視線検知機能付きディスプレイ装置によるコミュニケーションのシミュレーションのフローチャートを示している。
図3において、シミュレーションの起動後、クリック又はキーボードによる入力ステップ31によって、シミュレーションが開始され、開始画面32に移行する。
開始画面32から、使用者によるキャラクターの探索ステップ33、キャラクターの表示画面34、使用者の視線による入力ステップ35、適切なコミュニケーションの判定ステップ36、コミュニケーションの成功時の画面37あるいはコミュニケーションの失敗時の画面38を経て、シミュレーションの終了39に移行する。

0033

図4は、本発明の第一の実施形態における装着図である。視線検知機能付きディスプレイ装置40は、顔の方向を検知するセンサー41を有し、映像表示部とカメラ10とが使用者の頭部に固定されるハウジングに格納され、全体としてHMD型である。

0034

図5は、本発明による第二の実施形態における装着図である。視線検知機能付きディスプレイ装置はパーソナルコンピューター用モニター等、HMD以外の映像表示装置が用いられ、全体としてメガネ型である。キャラクターの探索画面において、使用者はマウス又はキーボードの操作によって映像表示装置に表示される焦点を操作して探索する。
第二の実施形態においては、カメラ10により撮像された眼の画像と、顔の方向を検知するセンサー41の情報とが解析され、使用者の視線が解析される。

0035

図6は、カメラ10が両眼を撮像する構造図である。視差62により使用者の視線の最短距離点又は交点63の空間上の座標を算出する。
例えばコミュニケーションの判定ステップ36において、最短距離点又は交点63の座標が、一定時間以上、映像表示部に表示されたキャラクターの特定の部位に向いたことをもって、使用者が前記キャラクターとコミュニケーションをとれていると判定される。

0036

使用者の顔の方向を検知するセンサー41を有し、センサー41によって使用者の顔の方向を解析し、使用者の視線及び顔の方向が、一定時間以上、前記映像表示部に表示されたキャラクターの特定の部位に向いた場合には、使用者が前記キャラクターとコミュニケーションをとれていると判定される。
本発明を実施する場合のキャラクターの探索ステップ33においては、使用者が顔の向きを変えると、首の方向に従って表示される画面が変化する。これによって、現実空間において顔の方向を変えた時に目に映される視界が変化する事象が、HMDよる映像表現上でも再現される。
キャラクターの探索ステップ33において、開始時は、キャラクターが視界の外に存在するという設定であるため、キャラクターは画面に表示されないが、使用者が後ろ振り返ることにより、背景映像の変化とともにキャラクターが表示される。

0037

本発明におけるカメラ10は使用者の眼を撮像する小型カメラであり、カメラ10により撮像された画像によって、使用者の視線が算出される。

0038

本発明によるシミュレーションでは、使用者の視線をシミュレーションの主な入力要素とする。
視線入力ステップ35においては、カメラ10による使用者の視線が解析され、視線データとして入力される。

0039

コミュニケーションの判定ステップ36においては、使用者の視線が、一定時間以上、映像表示部に表示されたキャラクターの特定の部位に向いた場合には、使用者がキャラクターとコミュニケーションをとれていると判定される。
コミュニケーションの判定ステップ36の時、キャラクターが約15秒、使用者を見る。
この約15秒の内、約1秒以上使用者がキャラクターの顔の中心付近に視線を向けた場合は、コミュニケーション成功と判定される。
一方、使用者がキャラクターの顔の中心付近に視線を1秒以上向けないまま15秒が経過した場合には、コミュニケーション失敗と判定される。
また、使用者の視線がせわしなく動きすぎた場合や、キャラクターを見つめすぎた場合にも、コミュニケーションが失敗と判定される。

0040

コミュニケーションの成功時の画面37においては、キャラクターが使用者に挨拶する。一方、コミュニケーションの失敗時の画面38においては、キャラクターが使用者に挨拶せず、そのまま通りすぎていく。

0041

シミュレーションの開始前には、正確な視線入力のために調整の手順が設けられる。
本発明では視線による入力のために、カメラによって撮像された瞳孔の映像から使用者の視線の方向を算出する。ここで、使用者の眼40の映像を解析することにより、計算上の視線が算出されるが、この計算上の視線と使用者が実際に注視した、実際の視線との間で差異が生じる場合がある。
そのため、この差異を調整する手順において、使用者に画面上に表示されたポインタを注視させ、使用者が注視する実際の視線の位置と、計算上の視線の位置との差異を算出する。
以後、シミュレーションにおいて、計算上の視線の位置に、算出した差異の値を補正して、装置が認識する焦点の位置を使用者が実際に注視している点に合わせる。

0042

10カメラ
11レイキャスティング法
12 3次元空間の奥行データ
13 Zバッファー法
14注視点算出処理法
15使用者が注視している3次元空間内における座標位置
200 Zバッファーへ視線を投影
201ゲーム内のZ点を算出
202 Z点を入力
203 レイキャスティング法により、投影線を引く
204P点を入力
205 P点又はZ点が少なくとも1点存在するか
206 P点とZ点が1対存在し、閾値α未満であるか
207 P点又はZ点の中点を算出
208 P点又はZ点の中点を出力
209 視線を算出し、最短距離点又は交点(CI)を算出
210CI値を入力
211 CIは起源点を持つか
212遠方の点を焦点として出力
213 P点又はZ点がCIから近い距離に存在するか
214 P点又はZ点を出力
215 CI値をフィルタリング
216 フィルタリングされたCI値を出力
30起動
31 開始の入力ステップ
32 開始画面
33 使用者による探索
34キャラクター表示画面
35視線入力ステップ
36コミュニケーションの判定ステップ
37 コミュニケーションの成功時の画面
38 コミュニケーションの失敗時の画面
39シミュレーションの終了
40 HMD型の視線検知機能付きディスプレイ装置
41 顔の方向を検知するセンサー
50メガネ型の視線検知機能付きディスプレイ装置
52スクリーン
60 眼
61レンズ
62視差
63 最短距離点又は交点

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

該当するデータがありません

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

この 技術と関連性が強い技術

該当するデータがありません

この 技術と関連性が強い法人

該当するデータがありません

この 技術と関連性が強い人物

該当するデータがありません

この 技術と関連する社会課題

該当するデータがありません

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ