図面 (/)

技術 ヘッドマウントディスプレイ(HMD)の追跡及びHMDのヘッドバンドの調整のための校正方法及びシステム

出願人 株式会社ソニー・インタラクティブエンタテインメント
発明者 ラーセン、エリックミカイロフ、アントンスタッフォード、ジェフリー、ロジャー
出願日 2015年3月13日 (5年8ヶ月経過) 出願番号 2016-557242
公開日 2017年6月15日 (3年5ヶ月経過) 公開番号 2017-516187
状態 特許登録済
技術分野 立体TV及びTVの試験,検査,測定等 イメージ分析 その他の光学系・装置、色の干渉・色の制御
主要キーワード 側面周り ワイヤーベース 調整間隙 視覚的指示器 バンド調整 LEDマーカ 画像マーカー デジタルパッド
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年6月15日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

解決手段

ヘッドマウントディスプレイ(HMD)のための方法及びシステムが提供される。ある例示態様において、HMDは、HMDに表示するマルチメディアコンテンツを処理するコンピューティングシステム通信するための回路を含む。マルチメディアコンテンツを表示するためのスクリーンを有するHMDの前部ユニットがさらに含まれ、前部ユニットはLEDの組を有する。HMDはHMDの前部ユニットにおいて配置された加速度計及びジャイロスコープを含む。HMDの後部区分は、LEDの組を有して提供される。ヘッドバンドの調整が前部ユニットの少なくとも1つのLEDの組と後部区分の少なくとも1つのLEDの組との間の分離距離を変化させるように前部ユニットを後部区分に対して結合するヘッドバンドが含まれる。使用の間のHMDの追跡のための推定された分離距離を生成するために分離距離の校正時々実行される。

概要

背景

ビデオゲーム産業は、長年に亘り多くの変を遂げてきた。計算能力が拡大されてきたため、同様にビデオゲームの開発者らはこれらの計算能力の向上を利用したゲームソフトを作ってきた。この目的を達成するため、ビデオゲームの開発者らは、かなり現実的なゲーム体験生むために洗練された操作及び計算を組み込むゲームをプログラムしてきた。

例示のゲームサービス及びシステムは、ソニープレイステーション登録商標)によって提供されるものを含んでも良く、これはゲームコンソール携帯可能なゲーム装置として現在売られ、クラウド上のサービスとして提供される。よく知られるように、ゲームコンソールは、モニター(通常テレビ)に接続するように設計され、手動操作式コントローラによって使用者相互作用を可能とする。ゲームコンソールはCPU、集中的グラフィック操作を処理するためのグラフィックプロセッサ形状変換を処理するためのベクトルユニット、並びに他の取り付けられたハードウェアファームウェア及びソフトウェアを含む特化した処理ハードウェアを備えて設計される。ゲームコンソールは、ゲームコンソールによるローカルプレイのためのゲームのコンパクトディスク受容するための光ディスクトレイを備えてさらに設計される。インターネット上で他の使用者に対してまたは他の使用者と共に使用者が相互作用的にプレイするオンラインゲームも可能である。ゲームの複雑さがプレイヤーを魅了し続けるので、ゲーム及びハードウェアの製造業者は、付加的な相互作用性及びコンピュータプログラムを可能とするように革新を続けてきた。

コンピュータゲーム産業における成長する傾向は、使用者とゲームシステムとの間の相互作用を増加させるゲームを開発することである。より充実した相互作用的体験の実現の1つの方法は、プレイヤーの動作を追跡し且つこれらの動作をゲームの入力として使用するために、ゲームシステムによって動作が追跡されるワイヤレスゲームコントローラを使用することである。一般的に、ジャスチャー入力は、コンピューティングシステムビデオゲームコンソールスマート機器等のような電子装置を参照し、プレイヤーによって成され且つ電子装置によって取得された、いくつかのジェスチャーに対して反応する。

概要

ヘッドマウントディスプレイ(HMD)のための方法及びシステムが提供される。ある例示態様において、HMDは、HMDに表示するマルチメディアコンテンツを処理するコンピューティングシステムと通信するための回路を含む。マルチメディアコンテンツを表示するためのスクリーンを有するHMDの前部ユニットがさらに含まれ、前部ユニットはLEDの組を有する。HMDはHMDの前部ユニットにおいて配置された加速度計及びジャイロスコープを含む。HMDの後部区分は、LEDの組を有して提供される。ヘッドバンドの調整が前部ユニットの少なくとも1つのLEDの組と後部区分の少なくとも1つのLEDの組との間の分離距離を変化させるように前部ユニットを後部区分に対して結合するヘッドバンドが含まれる。使用の間のHMDの追跡のための推定された分離距離を生成するために分離距離の校正時々実行される。

目的

コンピュータゲーム産業における成長する傾向は、使用者とゲームシステムとの間の相互作用を増加させるゲームを開発することである

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

カメラを用いて映像フレームを取得することであって、前記映像フレームがヘッドマウントディスプレイ(HMD)におけるマーカーを取得するように構成され、前記HMDにおける前記マーカーが、前記HMDによって表示されるマルチメディアコンテンツレンダリングの間に生成された場面の変化を処理するため前記HMDの位置及び方向を判断するために前記取得された映像フレームにおいて分析される、前記映像フレームを取得することと、前記HMDの前部ユニットにおけるマーカーと前記HMDの後部区分におけるマーカーとの間の分離距離推定することであって、前記前部ユニット及び前記後部区分が、調整可能なヘッドバンドによって共に結合され、前記推定することが、前記映像フレームが取得されたときに取得された複数の映像フレーム及び慣性データを分析することを含み、前記分析することが、前記HMDの前記前部ユニットにおける前記マーカーと前記HMDの前記後部区分におけるマーカーとの間の推定された分離距離を生成する、前記分離距離を推定することと、を備える方法であって、前記推定された分離距離は、前記前部ユニット及び前記後部区分におけるマーカーが前記取得された映像フレームから取得され且つ分析されたときに前記HMDの位置及び方向のさらなる追跡の間に使用される、方法。

請求項2

複数の前記取得された映像フレーム及び慣性データを分析することが、前記複数の前記取得された映像フレームの前記処理の間に取得された慣性データを追跡することを含み、前記慣性データが前記HMDの回転の変化及び位置の変化を数値化する値の組を生成し、前記値の組が、前記複数の前記取得された映像フレームの画像データにおける前記HMDの前記マーカーの位置を識別するのにマップ化される、請求項1に記載の方法。

請求項3

前記前部ユニットにおける前記マーカー及び前記後部区分における前記マーカーが前記取得された映像フレームにおいて識別されたときに、前記マーカーの前記識別された位置に対する前記値の組の前記マップ化が、前記推定された分離距離を生成する、請求項2に記載の方法。

請求項4

前記前部ユニットにおける前記マーカーと前記後部区分における前記マーカーとの間の現在の分離距離を前記生成された推定された分離距離で更新することによって前記HMDの幾何学的モデル校正することをさらに備える、請求項3に記載の方法。

請求項5

前記推定された分離距離が、前記HMDの左側及び右側のそれぞれが、前記HMDの前部ユニットにおけるマーカーと、前記HMDの後部区分におけるマーカーと、を含むように、前記HMDの左側のため及び前記HMDの右側のために個別に処理される、請求項4に記載の方法。

請求項6

前記前部ユニットが前面及び側面を含み、前記前面及び側面の間の交差部が、少なくとも4つの遷移角部を形成し、前記遷移角部のそれぞれがマーカーを含む、請求項1に記載の方法。

請求項7

前記遷移角部における前記マーカーが、前記カメラから見たときに実質的な矩形配置を形成する、請求項6に記載の方法。

請求項8

前記遷移角部における前記マーカーのそれぞれが、発光ダイオードLED)によって形成され、前記LEDは、照明形状が部分的に前記前面に配置され且つ部分的に前記側面に配置されるような、部分的に前記遷移角部を覆う前記照明形状を有する、請求項7に記載の方法。

請求項9

レンダリングの間生成された少なくともいくつかの前記場面の前記変化が、使用セッションの間に経時的に前記HMDの前記判断された位置及び方向から生成された動作に基づいて前記場面内視界及び前記場面周りの視界を変化させる、請求項1に記載の方法。

請求項10

前記マルチメディアコンテンツが、ビデオゲームコンテンツ映画コンテンツインターネットコンテンツ相互作用的コンテンツ映像会議コンテンツ、音声コンテンツ映像クリップコンテンツ、仮想ツアーコンテンツ、またはこれらの組み合わせの、1つまたは複数を含む、請求項1に記載の方法。

請求項11

前記マルチメディアコンテンツがビデオゲームコンテンツであるとき、前記取得された映像フレームにおけるゲームコントローラと関連したマーカーを識別することをさらに含み、前記ゲームコントローラの前記マーカーが、前記ゲームプレイのセッションの間、前記HMDの追跡と共に、位置及び方向を追跡される、請求項10に記載の方法。

請求項12

前記ゲームコントローラが、前記HMDにおいてレンダリングされたビデオゲームコンテンツと相互作用するように使用され、前記HMDの前記位置及び方向が、前記ゲームコントローラの前記位置及び方向とは独立して追跡される、請求項11に記載の方法。

請求項13

前記HMDの前記前部ユニットにおける前記マーカーと前記HMDの前記後部区分における前記マーカーとの間の前記分離距離を推定することを時々継続することと、新しい推定された分離距離が追跡のために現在使用される前記推定された分離距離との差を含むか否かを判断することと、前記差が所定の許容限界値を超えるときに、現在使用される前記推定された分離距離の代わりに前記新しい推定された分離距離を使用することと、をさらに備える、請求項1に記載の方法。

請求項14

前記HMDの前記後部区分における前記マーカーが、一対のマーカーを含み、前記後部区分における前記一対のマーカーのそれぞれが、照明のためのLEDを有し、前記一対のマーカーが、既知の相対的に固定された分離間隔で前記後部区分において形成された、請求項1に記載の方法。

請求項15

前記後部区分が前記調整可能なヘッドバンドのサイズを増減させるための調整器を含む、請求項1に記載の方法。

請求項16

前記調整器に対して調整が成されたときに設定されたフラグを示す信号を受信することと、前記信号の受信に応じて新しい推定された分離距離を生成するために前記分離距離の前記推定を再処理することと、をさらに備える、請求項15に記載の方法。

請求項17

(a)コンピューティングシステムと、(b)前記コンピューティングシステムと通信するヘッドマウントディスプレイ(HMD)であって、(i)マルチメディアコンテンツを表示するためのスクリーンを有する前部ユニットであって前記前部ユニットに配置されたマーカーと前記HMDの位置及び方向の変化を示す慣性データを生成するための慣性センサーとを有する前記前部ユニットと、(ii)調整可能なヘッドバンドによって前記前部ユニットに対して結合された前記HMDの後部区分であって前記後部区分に配置されたマーカーを有する前記後部区分と、含む、前記HMDと、(c)前記コンピューティングシステムと通信するカメラであって、使用セッションの間に前記HMDの映像フレームを取得するように構成され、前記取得された映像フレームが、時々前記前部ユニットの前記マーカーと前記後部区分の前記マーカーとを含むように構成された、前記カメラと、を備えるシステムであって、前記コンピューティングシステムが、前記生成された慣性データに対して前記前部ユニット及び前記後部区分の前記マーカーを識別するために前記取得された映像フレームを処理し、前記処理が、前記前部ユニットの前記マーカーと前記後部区分の前記マーカーとの間の推定された分離間隔を生成する、システム。

請求項18

前記マーカーが前記前部ユニット及び前記後部区分の表面において形成された形状を照光するように構成される発光ダイオードによって形成された、請求項17に記載のシステム。

請求項19

前記後部区分が、前記調整可能なヘッドバンドを伸張及び収縮させるための調整器を含む、請求項17に記載のシステム。

請求項20

前記後部区分が、前記調整可能なヘッドバンドのサイズを変更するための調整器を含み、前記調整器が、前記サイズの変化を示すフラグを生成するヘッドバンド調整検出器をさらに含み、前記フラグが、前記推定された分離間隔の再校正を生じさせるための前記コンピューティングシステムによって処理される、請求項17に記載のシステム。

請求項21

前記HMDの前記慣性センサーが加速度計及びジャイロスコープを含む、請求項17に記載のシステム。

請求項22

前記HMDの前記マーカーが、前記カメラによる前記HMDの追跡を向上させるために照光するように構成されたLEDによって形成され、前記LEDがLED制御回路によって起動される、請求項17に記載のシステム。

請求項23

前記HMDが前記スクリーンにおいて表示される前記マルチメディアコンテンツを処理するための光学機器及び画像処理回路を含む、請求項17に記載のシステム。

請求項24

前記前部ユニットにおける前記マーカーが前記前部ユニットの前面の角部に配置された4つのLEDによって形成され、前記後部区分における前記マーカーが、2つのLEDを含む、請求項17に記載のシステム。

請求項25

ヘッドマウントディスプレイ(HMD)であって、前記HMDに表示するためのマルチメディアコンテンツを処理するコンピューティングシステムと通信するための回路と、マルチメディアコンテンツを表示するためのスクリーンを有する前記HMDの前部ユニットであって、LEDの組を有する前記前部ユニットと、前記HMDの前記前部ユニットにおいて配置された加速度計と、前記HMDの前記前部ユニットにおいて配置されたジャイロスコープと、LEDの組を有する前記HMDの後部区分と、ヘッドバンドの調整が前記前部ユニットの少なくとも1つの前記LEDの組と前記後部区分の少なくとも1つの前記LEDの組との間の分離距離を変化させるように前記前部ユニットを前記後部区分に対して結合する前記ヘッドバンドと、を備える、HMD。

請求項26

前記コンピューティングシステムが、前記ヘッドバンドの現在の調整のための推定された分離距離を生成するため、前記加速度計及び前記ジャイロスコープからの慣性データと共に、前記前部ユニットの少なくとも1つの前記LEDの組と前記後部区分の少なくとも1つの前記LEDの組とを含む画像データを処理する、請求項25に記載のHMD。

請求項27

前記後部区分が、前記ヘッドバンドのサイズを調整するための調整器を含む、請求項25に記載のHMD。

請求項28

前記サイズの変化を示すフラグを生成する調整検出器をさらに含み、前記フラグが推定された分離距離の再校正を生じさせる前記コンピューティングシステムによって処理される、請求項27に記載のHMD。

請求項29

前記LEDが追跡を向上させるために1つまたは複数の輝度または色で照光される、請求項25に記載のHMD。

請求項30

前記HMDが前記HMDのスクリーンに表示される前記マルチメディアコンテンツをレンダリングするための光学機器及び画像処理回路を含む、請求項25に記載のHMD。

請求項31

前記前部ユニットにおける前記LEDの組が、前記前部ユニットの前面の角部に配置された4つのLEDによって形成され、前記後部区分の前記LEDの組が互いに対して平行に配列された、請求項25に記載のHMD。

技術分野

0001

本発明は、ヘッドマウントディスプレイ(HMD)の位置及び方向の追跡及びHMDのヘッドバンドの調整のために成される校正のための方法及びシステムに関する。

背景技術

0002

ビデオゲーム産業は、長年に亘り多くの変を遂げてきた。計算能力が拡大されてきたため、同様にビデオゲームの開発者らはこれらの計算能力の向上を利用したゲームソフトを作ってきた。この目的を達成するため、ビデオゲームの開発者らは、かなり現実的なゲーム体験生むために洗練された操作及び計算を組み込むゲームをプログラムしてきた。

0003

例示のゲームサービス及びシステムは、ソニープレイステーション登録商標)によって提供されるものを含んでも良く、これはゲームコンソール携帯可能なゲーム装置として現在売られ、クラウド上のサービスとして提供される。よく知られるように、ゲームコンソールは、モニター(通常テレビ)に接続するように設計され、手動操作式コントローラによって使用者相互作用を可能とする。ゲームコンソールはCPU、集中的グラフィック操作を処理するためのグラフィックプロセッサ形状変換を処理するためのベクトルユニット、並びに他の取り付けられたハードウェアファームウェア及びソフトウェアを含む特化した処理ハードウェアを備えて設計される。ゲームコンソールは、ゲームコンソールによるローカルプレイのためのゲームのコンパクトディスク受容するための光ディスクトレイを備えてさらに設計される。インターネット上で他の使用者に対してまたは他の使用者と共に使用者が相互作用的にプレイするオンラインゲームも可能である。ゲームの複雑さがプレイヤーを魅了し続けるので、ゲーム及びハードウェアの製造業者は、付加的な相互作用性及びコンピュータプログラムを可能とするように革新を続けてきた。

0004

コンピュータゲーム産業における成長する傾向は、使用者とゲームシステムとの間の相互作用を増加させるゲームを開発することである。より充実した相互作用的体験の実現の1つの方法は、プレイヤーの動作を追跡し且つこれらの動作をゲームの入力として使用するために、ゲームシステムによって動作が追跡されるワイヤレスゲームコントローラを使用することである。一般的に、ジャスチャー入力は、コンピューティングシステムビデオゲームコンソールスマート機器等のような電子装置を参照し、プレイヤーによって成され且つ電子装置によって取得された、いくつかのジェスチャーに対して反応する。

発明が解決しようとする課題

0005

より没入型の相互作用的体験を実現する別の方法は、ヘッドマウントディスプレイを使用することである。ヘッドマウントディスプレイは、使用者によって装着され、仮想空間の視界のような様々なグラフィックスを示すように構成され得る。ヘッドマウントディスプレイにおいて示されるグラフィックスは、使用者の視野の大部分または全てでさえカバーすることができる。したがって、ヘッドマウントディスプレイは、使用者に対して没入型の体験を提供することができる。HMDの位置及び方向の現在の追跡技術は、HMDによるコンテンツの改良されたレンダリングを可能とするためにさらなる改良を必要としている。

0006

この点に関し、本発明に係る実施形態が提案される。

課題を解決するための手段

0007

本発明に係る実施形態は、使用者がHMDを装着し、マルチメディアコンテンツを見て及び/または相互作用するときに、ヘッドマウントディスプレイ(HMD)がHMDの位置及び動作の追跡を改良することを可能とする方法及びシステムを提供する。システム及び方法は、前部の追跡LED光源と後部の追跡LED光源との間の距離の分離間隔が正確に推定され得るような、HMDのヘッドバンドにおける調整を考慮するための動的な校正を可能とする。校正は、調整が生じたとセンサーが判断するときと、他の使用者がより好適な適合のためヘッドバンドを調整するときとのセッションの間で使用者がヘッドバンドを調整するとき等に時々更新され得る。本発明はコンピュータ可読媒体における工程、機器、システム、装置または方法のような多くの方法において実現され得ることに留意されたい。本発明に係る複数の発明的実施形態が以下に説明される。

0008

1つの実施形態において、方法が提供される。方法は、カメラを用いた映像フレームの取得を含む。映像フレームは、ヘッドマウントディスプレイ(HMD)におけるマーカーを取得するように構成され、HMDにおけるマーカーは、HMDによって表示されるマルチメディアコンテンツのレンダリングの間に生成された場面の変化を処理するため、HMDの位置及び方向を判断するために取得された映像フレームにおいて分析される。方法は、HMDの前部ユニットにおけるマーカーとHMDの後部区分におけるマーカーとの間の分離距離を推定することをさらに含む。前部ユニット及び後部区分は、調整可能なヘッドバンドによって共に結合される。推定は、映像フレームが取得されたときに取得された複数の映像フレーム及び慣性データを分析することを含み、分析は、HMDの前部ユニットにおけるマーカーとHMDの後部区分におけるマーカーとの間の推定された分離距離を生成する。推定された分離距離は、前部ユニット及び後部区分におけるマーカーが取得された映像フレームから取得され且つ分析されたときに、HMDの位置及び方向のさらなる追跡の間に使用される。

0009

別の実施形態において、システムが提供される。システムはコンピューティングシステム及びコンピューティングシステムと通信するヘッドマウントディスプレイ(HMD)を含む。HMDは、マルチメディアコンテンツを表示するためのスクリーンを有する前部ユニットを含む。前部ユニットは、そこに配置されたマーカーと、HMDの位置及び方向の変化を示す慣性データを生成するための慣性センサーと、を有する。1つの実施形態において、慣性データは、HMDの回転の変化及び位置の変化を数値化する値の組を生成する。値の組は、複数の取得された映像フレームの画像データにおいてHMDのマーカーの位置を識別するためにマップ化され得る。HMDは、調整可能なヘッドバンドによって前部ユニットに対して結合されたHMDの後部区分をさらに含む。後部区分は、そこに配置されたマーカーを有する。システムは、コンピューティングシステムと通信するカメラをさらに含む。カメラは、使用セッションの間HMDの映像フレームを取得するように構成される。取得された映像フレームは、時々前部ユニットのマーカーと後部区分のマーカーとを含むように構成される。コンピューティングシステムは、生成された慣性データに対して前部ユニット及び後部区分のマーカーを識別するために取得された映像フレームを処理する。処理は、前部ユニットのマーカーと後部区分のマーカーとの間の推定された分離間隔を生成する。推定された分離間隔は、使用の間の改良された追跡のために使用される。

0010

さらに別の実施形態において、ヘッドマウントディスプレイ(HMD)が提供される。HMDは、HMDにおいて表示するためのマルチメディアコンテンツを処理するコンピューティングシステムと通信するための回路を含む。さらに含まれるのは、マルチメディアコンテンツを表示するためのスクリーンを有するHMDの前部ユニットであり、前部ユニットは、LEDの組を有する。HMDは、HMDの前部ユニットにおいて配置された加速度計及びジャイロスコープを含む。HMDの後部区分は、LEDの組を有して提供される。ヘッドバンドの調整が前部ユニットの少なくとも1つのLEDの組と後部区分の少なくとも1つのLEDの組との間の分離距離を変化させるように、前部ユニットを後部区分に対して結合するヘッドバンドが含まれる。使用の間のHMDの追跡のための推定された分離距離を生成するために分離距離の校正が時々実行される。

0011

本発明に係る他の態様は、本発明に係る原理を例示により図示する添付の図面と共に参照して以下の詳細の説明から明らかとなる。

図面の簡単な説明

0012

本発明は、添付の図面と共に以下の詳細な説明を参照することによって最も良く理解され得る。

0013

本発明に係る実施形態によるビデオゲームの相互作用的ゲームプレイのためのシステムを示す。

0014

本発明に係る実施形態によるヘッドマウントディスプレイ(HMD)を示す。

0015

本発明に係る実施形態によるHMDに接続されたクライアントシステムを用いたゲームプレイの1つの例示を示す。

0016

本発明に係る実施形態によるHMDを装着する使用者の例示を示し、カメラは固定された位置に載置される。
本発明に係る実施形態によるHMDを装着する使用者の例示を示し、カメラは固定された位置に載置される。

0017

本発明に係る実施形態による、ヘッドバンドによって使用者の頭に対して固定されたHMDを装着する使用者及び同様に取得された画像データの例示を示す。
本発明に係る実施形態による、ヘッドバンドによって使用者の頭に対して固定されたHMDを装着する使用者及び同様に取得された画像データの例示を示す。
本発明に係る実施形態による、ヘッドバンドによって使用者の頭に対して固定されたHMDを装着する使用者及び同様に取得された画像データの例示を示す。
本発明に係る実施形態による、ヘッドバンドによって使用者の頭に対して固定されたHMDを装着する使用者及び同様に取得された画像データの例示を示す。
本発明に係る実施形態による、ヘッドバンドによって使用者の頭に対して固定されたHMDを装着する使用者及び同様に取得された画像データの例示を示す。
本発明に係る実施形態による、ヘッドバンドによって使用者の頭に対して固定されたHMDを装着する使用者及び同様に取得された画像データの例示を示す。
本発明に係る実施形態による、ヘッドバンドによって使用者の頭に対して固定されたHMDを装着する使用者及び同様に取得された画像データの例示を示す。
本発明に係る実施形態による、ヘッドバンドによって使用者の頭に対して固定されたHMDを装着する使用者及び同様に取得された画像データの例示を示す。
本発明に係る実施形態による、ヘッドバンドによって使用者の頭に対して固定されたHMDを装着する使用者及び同様に取得された画像データの例示を示す。
本発明に係る実施形態による、ヘッドバンドによって使用者の頭に対して固定されたHMDを装着する使用者及び同様に取得された画像データの例示を示す。
本発明に係る実施形態による、ヘッドバンドによって使用者の頭に対して固定されたHMDを装着する使用者及び同様に取得された画像データの例示を示す。
本発明に係る実施形態による、ヘッドバンドによって使用者の頭に対して固定されたHMDを装着する使用者及び同様に取得された画像データの例示を示す。
本発明に係る実施形態による、ヘッドバンドによって使用者の頭に対して固定されたHMDを装着する使用者及び同様に取得された画像データの例示を示す。
本発明に係る実施形態による、ヘッドバンドによって使用者の頭に対して固定されたHMDを装着する使用者及び同様に取得された画像データの例示を示す。
本発明に係る実施形態による、ヘッドバンドによって使用者の頭に対して固定されたHMDを装着する使用者及び同様に取得された画像データの例示を示す。

0018

本発明に係る実施形態による、HMD、及び、HMDと関連したマーカー(たとえば、LED)を識別できるように配置されたカメラの上面図を示す。

0019

本発明に係る実施形態による、分離間隔が物理的に調整され、処理と関連したHMDの上面図の例示を示す。
本発明に係る実施形態による、分離間隔が物理的に調整され、処理と関連したHMDの上面図の例示を示す。

0020

本発明に係る実施形態による、HMDにおける前部のマーカーとHMDのヘッドバンドと関連した視認可能な後部のマーカーとの間の分離距離を識別するために実行され得る操作の例示的フロー図を提供する。

0021

本発明に係る実施形態による、HMDの前部ユニットのLEDとHMDの後部と関連したLEDとの間の分離距離に対して校正を実行するために使用される別のフロー図の例示を示す。

0022

本発明に係る実施形態による、さらに別の実施形態を示し、HMDの前部のマーカーと後部のマーカーとの間の分離間隔の距離を識別するために映像フレーム及び慣性データの調査が実行される。

0023

本発明に係る1つの実施形態による、HMDの上面図の例示を提供す

0024

本発明に係る1つの実施形態による、後部区分に対して慣性センサーが付加されたときの(すなわち、単に前部ユニットにおいて慣性センサーを有することに加えて)、例示及び処理を示す。
本発明に係る1つの実施形態による、後部区分に対して慣性センサーが付加されたときの(すなわち、単に前部ユニットにおいて慣性センサーを有することに加えて)、例示及び処理を示す。

0025

1つの実施形態による、人間の使用者の頭に装着されたときのHMDの様々な図を示す。
1つの実施形態による、人間の使用者の頭に装着されたときのHMDの様々な図を示す。
1つの実施形態による、人間の使用者の頭に装着されたときのHMDの様々な図を示す。

0026

1つの実施形態による、時々ヘッドバンドが引かれ及び/またはねじられ得ることを示し、推定された分離距離の再校正の必要を生じさせ得ることを示す、HMDの側面図を示す。

0027

1つの実施形態による、使用(例えばゲームプレイ)の間にHMDを装着する使用者を示す。

0028

本発明に係る実施形態による、ヘッドマウントディスプレイ102の例示の構成要素を示す概略図である。

0029

本発明に係る実施形態による、ヘッドマウントディスプレイの構成要素を示す。

実施例

0030

1つの実施形態において、本明細書に記載のシステム及び方法は、使用者がHMDを装着し、マルチメディアコンテンツを見て及び/または相互作用するときのヘッドマウントディスプレイ(HMD)の位置及び動作の追跡を提供する。システム及び方法は、HMDのヘッドバンドにおける調整を考慮するための校正を可能とし、これによりHMD及びヘッドバンドにおいて配置されたマーカー(たとえばLED光)の距離は正確に推定される。以下に説明されるように、校正は、例えば、使用者がヘッドバンドのサイズを調整したとき、使用のセッションの間、セッションとセッションとの間、調整が生じたとセンサーが判断したとき、及び、より良い適合のために他の使用者がヘッドバンドを調整するとき等、時々更新され得る。校正を実行するための方法及びシステムは、したがってマーカーの間の推定距離がHMDにおける実際の現在の物理的距離に対して可能な限り近づくように更新されることを確実とし、これは使用中のHMDの位置及び動作のより正確な追跡を提供する。しかしながら、本発明がこれらの特定の詳細のいくつかまたは全てをなくして実行され得ることは当業者にとって明らかである。他の場合において、本発明を不必要に不明確にしないために、よく知られた工程操作は、詳細には説明されていない。

0031

1つの例示において、使用者によって装着されるHMDは、使用者に豊富なマルチメディアコンテンツを見るための手段を提供し、これは、ビデオゲーム、映画インターネットコンテンツ、並びに、他の形式の相互作用的及び非相互作用的コンテンツを含み得る。HMDの追跡は、システムの組み合わせを用いて実行される。システムは、限定されるものではないが、HMD内の慣性センサーと、1つまたは複数のカメラを用いた光学的追跡と、を含む。光学的追跡において使用されるカメラは、HMDを装着する使用者の映像を取得することができ、したがって、使用者がHMDと共に動き回るとき、映像フレームは、HMDの位置、方向及び動作を判断するように分析され得る。大まかに言うと、HMDによって示されるいくつかのコンテンツは、HMDの動作に動的に依存する。

0032

たとえば、HMDが場面内に視界を提供する場合、使用者はその場面の他の部分を視認するために使用者の頭を自然に動かすことができる。ビデオゲームの例示において、HMDを装着する使用者は、仮想場面内の周り及び仮想場面の周りで動かすように任意の方向に頭を動かすことができる。1つの実施形態において、仮想場面は、高度な3次元フォーマットにレンダリングされる。したがって、HMDにおいてコンテンツを滑らかにレンダリングするために、HMDの動作は、高い忠実性を備えて追跡される。1つの構成において、HMDは、HMDに対して示されたコンテンツをレンダリングするクライアントシステム106と通信するように構成される。コンテンツ(たとえば、ゲーム、映画、映像、音声、画像、マルチメディア等)は、いくつかの実施形態においてクラウドゲームのインフラを使用して1つまたは複数の遠隔サーバーからストリームされても良い。いくつかの例示において、コンテンツはレンダリングのためにクライアントシステム106へとダウンロードされ、ついでHMDへと送信される。

0033

上述のように、追跡は、HMD内に配置される慣性センサーの使用を含んでも良い。例示の慣性センサーは、1つまたは複数の加速度計及び1つまたは複数のジャイロスコープを含む。いくつかの実施態様は、多かれ少なかれ慣性センサーを含んでも良い。慣性センサーに加えて、HMDは、カメラを用いて追跡され得る。HMDは、1つの実施形態において、複数の光源(たとえば、発光ダイオード(LED))を備えて構成され、これはマーカーとして機能する。マーカーは、ついでカメラにより取得された1つまたは複数の映像フレームのクライアントシステム106による分析によって容易に識別され得る。1つの構成において、HMDは、前部ユニット102aの4つの角部における4つのLED(たとえば、本明細書において光学的ブロックとも称される)と、後部区分(たとえば、バンド調整ユニット102b)における2つのLEDと、を含む。

0034

前部ユニット102aは、1つの例示において、前面及びそれぞれの側部における側面を含み、前面及び側面は、略連続的な表面を形成する。本明細書で提供された様々な例示において、前部のLEDは、前部ユニット102aのハウジング内に形成され、LEDをオンにしたときに照光し得る透過性プラスチックと共に配置される。さらに、いくつかの実施形態において、前部のLEDは、部分的L形状、または曲がったL形状、またはブーメラン形状、または曲がった矩形、または曲線、または点、または円、またはパターン、またはこれらの組み合わせを形成するように、部分的に前部表面に配置され且つ部分的に側部表面に配置されるように構成される。

0035

この形状は、使用者が直接的にカメラ108に面するとき、及び、使用者がカメラ108の直接的対面から背を向け始めるときに、前部ユニット102aの追跡を可能とする。使用者が側部に対して面し、さらに直接的にカメラに面する位置から背けるとき、前部の一方の側のLEDが視認可能であり且つ後部側におけるLEDの1つが視認可能である限り、前部のLEDは視認可能である。これは、前部のLEDから前部のLED及び後部のLEDへの遷移である。この遷移のため、上述のように、前部のLED及び後部のLEDの間の分離距離は、正確な追跡を実行できることが要される。

0036

さらに、HMDを装着する使用者がカメラに面するとき、カメラは、4つのLEDすべてを視認することが可能でなければならない。4つの前部のLEDの分離間隔は、クライアントシステム106に知られる。たとえば、HMDの幾何学的モデルは、クライアントシステム106において実行されるプログラムによってアクセスされることができ、HMDを装着するときに深さ(カメラに対する)及び使用者の頭の方向を判断する。たとえば、4つのLEDは、1つの実施形態において、角部(たとえば、矩形の輪郭の)に配置されるため、使用者が見下ろし、見上げまたは側部を見る場合に、取得された映像フレームから判断することが可能となる。

0037

しかしながら、HMDにおいてレンダリングされ得る相互作用的コンテンツは実際には広大と成り得るため、使用者は、ほとんどすべての次元において仮想場面を視認し且つ相互作用することが可能となる。HMDを装着する使用者は、したがって、頭を任意の方向に回転させることを決定しても良く、カメラに対して必ずしも前方で対面しない。実際に、レンダリングされたコンテンツ(たとえば、没入型相互作用ビデオゲーム、移動、仮想ツアークリップ、音声及びこれらの組み合わせ)によって、使用者は、何度もカメラの側部に対して面し、且つ、カメラから直接的に背を向ける。

0038

こうした相互作用的セッションの間、HMDを追跡するカメラは、前部の4つのLEDの視認から時々2つの前部のLEDの側部及び後部のLEDの1つの視認へと遷移する。前部の4つのLEDは、HMDの幾何学的モデルに基づいて固定された相対的方向のままであるが、後部のLEDは、HMDのヘッドバンドの調整された設定によって位置を変更されても良い。たとえば、より小さい頭を有する使用者がヘッドバンドを適合させるために調整する場合、前部のLEDと後部のLEDとの間の距離は(たとえば側部から見たとき)、別の使用者のより大きい頭のために調整された設定に対して、より近い。

0039

ヘッドバンドの調整における変化を考慮するため、工程がHMDの幾何学的モデルを校正するように構成され、これにより、前部のLEDと後部のLEDとの間の分離間隔(たとえば使用者が頭をカメラに対して垂直な位置から外方へと回転させたときに側部から見たとき)は、HMDに対して場面のコンテンツを正確にレンダリングし且つ目的の視点、角度及び/または方向から場面を提供するために使用されることができる。1つの実施態様において、幾何学的モデルはコンピュータモデルであり、これはHMD102の寸法及び/または3次元の輪郭を記憶し/含み、コンピュータ支援設計CAD)図面が示し得るものと類似する。しかしながら、幾何学的モデルは図面としては表示されないが、代わりに正確な追跡を可能とするように、ゲーム、または映画、またはソフトウェア、またはファームウェア、またはハードウェア、またはその組み合わせによって操作可能なデータセットとして記憶される。

0040

さらなる例示によれば、HMD102の3次元の輪郭は、1つの実施形態において、HMDのそれぞれの形状及びLED領域の形状の輪郭、輪郭における形状に対するLEDの位置、HMDの物理的構造の角度及び輪郭、及び、特徴の測定値及びHMDの構成を形成するデータセット、を含むことができる。特に、幾何学的モデルは、前部ユニット102aにおけるLEDの正確な相対的位置を形成する寸法データを含んでも良い。しかしながら、後部のLEDは調整可能なヘッドバンドに対して結合されるため、分離距離は、校正の間、前部のLEDと後部のLEDとの間のより正確な距離により幾何学的モデルが更新され得るように、更新されなければならない。

0041

1つの実施形態において、校正工程は、映像フレームの分析が後部のLEDが視認可能であることを判断した後に開始するように構成される(たとえば、前部のLEDのみが視認可能であるときから開始する)。たとえば、セッション(たとえば、ゲームプレイまたは相互作用的セッション)の開始において、カメラに向かって使用者がHMDを対面させることがよくある。ある時点において、使用者は頭をカメラから背けるが、これは少なくとも1つの後部のLEDを露出させる。この時点で、進行している映像フレームの分析は、後部のLEDの出現を検出する。

0042

1つの実施形態において、工程は、視認可能な後部のLED及び視認可能な前部のLEDを慣性データと関連させるように使用者が動き続けるときに複数のフレームを分析する。慣性データは、それぞれのフレームに存在し、たとえば、視認可能な後部のLEDと視認可能な前部のLEDとの間の推定された分離距離を関連させるために使用される。1つの例示において、HMDからのジャイロスコープのデータは、HMDが動くときに使用者の頭による回転運動を判断するために使用される。さらに、例示によれば、HMDからの加速度計のデータは、位置(たとえば、傾き、ピッチ)及び回転のような動作を判断するために使用される。

0043

したがって、HMDの取得された映像フレームからの画像データを用いて(すなわち、後部のLED及び前部のLEDが視認可能なとき)、画像データと組み合わせて慣性データは、HMDのヘッドバンドの現在のサイズ設定のために前部のLEDと後部のLEDとの間の推定された分離距離をレンダリングする。このデータは、ついでHMDの幾何学的モデルを校正するために使用され、これは推定された分離距離を含む。1つの実施形態において、校正は時々更新されることができ、HMDのそれぞれの側部のため個別に校正されることもできる。

0044

ひとたびHMDの幾何学的モデルに対する校正が完了すると、使用者はセッションの間相互作用を進めても良い。しかしながら、ひとたびセッションが成されると、異なる使用者がHMDに対して使用(access)を望み得ることが可能である。このようなとき、新しい使用者がHMDのヘッドバンドを別のサイズへと調整することもあり得るが、これは前部のLEDと後部のLEDとの間の実際の分離距離の変更を生じさせる。1つの実施形態において、前の更新された校正または最初の幾何学的モデルからの寸法のいずれかを用いて新しいセッションが開始できる。

0045

開始において、ゲームプレイまたは相互作用的セッションは、滑らかに進み、HMDにおいて示される場面は、使用者の頭における動作に基づいてレンダリングする。HMDを装着する使用者がカメラに向かって前方に面する間これは続き、HMDの前部における4つのLEDの間の固定された分離間隔は、既知である。しかしながら、ひとたび使用者がカメラから顔を背けると、後部のLEDが確認され、システムは、自動校正なしでHMDにおいてレンダリングされたコンテンツにおけるジャンプまたはポップを生じる。これは位置を識別するためにLEDのマーカー追跡を利用するHMDの追跡がHMDの実際の位置と同期できないためである。

0046

1つの実施形態において、再校正が必要か否かに関する判断は、使用者がHMDを側部に対面させて、前部のLED及び後部のLEDが視認可能となるたびに実行される(すなわち、前部のLEDのみまたは後部のLEDのみが視認可能なときから)。1つの例示において、校正が現在のセッションのために生じ、且つ、セッションが現在の校正で継続している場合、システムは、現在の校正がまだ所定の許容限界値内にあるか否かを判断するためにバックグラウンドにおいて校正を実行させる。たとえば、ゲームプレイの間同じ使用者がヘッドバンドを調整した場合、若しくは小さなサイズ調整のためにHMDを取り外した場合、または、他の人が一時的にHMDを試用した場合、それから前部と後部との間の実際の分離間隔は、最初の校正の間分離間隔を推定するために使用されたものと異なり得る。

0047

許容限界値は、新しいバックグラウンド校正が(たとえば、HMDにおいてレンダリングされたビデオ画像において)レンダリング誤作動、スキップまたはポップが生じそうであることを示す場合に、ついで新しい校正が現在の校正となるように構成されまたは選択される。

0048

さらに別の実施形態において、HMDは、フラグを設定するヘッドバンド調整検出器を含む。フラグは、システム及び/またはゲーム実行によって読み込まれることができ、幾何学的モデルの再校正を要求するために使用され得る。たとえば、HMDの使用の間に使用者がヘッドバンドを調整する場合、システムは校正が再実行されるべきというフラグを介して変更され得る。同じセッションが進行する場合であっても別の使用者がHMDを試用したために調整が生じた場合も同様となり得る。さらなる実施形態において、フラグは、新しいセッションの開始により、または、一定時間HMDが静止したままである若しくはHMDが動かされていないことをシステムが検出したときに、生成され得る。このような指示器は、新しいセッションが生じる前またはセッションの間であってもヘッドバンドが調整され得るという可能性として示され得る。

0049

図1Aは、本発明に係る実施形態によるビデオゲームの相互作用的ゲームプレイのシステムを示す。使用者100は、ヘッドマウントディスプレイ(HMD)102を装着して示される。HMD102は、眼鏡ゴーグルまたはヘルメットと類似した方法で装着され、ビデオゲームまたは他のコンテンツを使用者100に対して表示するように構成される。HMD102は、使用者の目の近傍のディスプレイ機構(たとえば、光学及びディスプレイスクリーン)のその構成及びHMDに対して配信されるコンテンツのフォーマットによって、中になれる体験を使用者に対して提供できるように構成される。1つの例示において、HMD102は、それぞれの使用者の目に対してディスプレイ領域を提供することができ、これは、使用者の視野の大部分または全体でさえ占める。

0050

1つの実施形態において、HMD102は、コンピュータ106に対して接続され得る。コンピュータ106に対する接続は、有線または無線とされ得る。コンピュータ106は、限定されるものではないが、ゲームコンソール、パーソナルコンピュータノートパソコンタブレットコンピュータモバイル装置携帯電話タブレットシンクライアントセットトップボックスメディアストリーム装置等を含む、任意の一般のまたは特定用途のコンピュータであり得る。いくつかの実施形態において、HMD102は、インターネットに直接接続することができ、分離したローカルコンピュータを必要とせずにクラウドゲームを可能とし得る。1つの実施形態において、コンピュータ106は、ビデオゲーム(及び他のデジタルコンテンツ)を実行するように構成されることができ、HMD102によるレンダリングのためにビデオゲームから映像及び音声を出力する。コンピュータ106は、本明細書においてクライアントシステム106aとも称され、これは1つの例示において、ビデオゲームコンソールである。

0051

コンピュータは、いくつかの実施形態において、ローカルコンピュータまたはリモートコンピュータであっても良く、コンピュータは、エミュレーションソフトウェアを実行しても良い。クラウドゲームの実施形態において、コンピュータは遠隔にあり、データセンターにおいて仮想化され得る複数のコンピューティングサービスによって示されても良く、ゲームシステム/ロジックは、ネットワーク上で使用者に対して仮想化され且つ離散化され得る。

0052

使用者100はビデオゲームのための入力を提供するためにコントローラ104を操作しても良い。1つの例示において、カメラ108は、使用者100が位置する相互作用的環境の画像を取得するように構成され得る。これらの取得された画像は、使用者100、HMD102、及びコントローラ104の位置及び動作を判断するために分析され得る。1つの実施形態において、コントローラ104は、その位置及び方向を判断するために追跡され得る1つの光源(または複数の光源)を含む。付加的に、以下でさらに詳細に説明されるように、HMD102は、ゲームプレイの間の実質的リアルタイムにおけるHMD102の位置及び方向を判断するためのマーカーとして追跡され得る1つまたは複数の光源を含んでも良い。

0053

カメラ108は、相互作用的環境から音声を取得するために1つまたは複数のマイクを含み得る。マイク配列によって取得された音声は、音源の位置を識別するために処理されても良い。識別された位置からの音声は、選択的に使用されることができ、または、識別された位置からではない他の音声を排除するために処理されることができる。さらに、カメラ108は、複合的画像取得装置(たとえば、立体写真カメラ)、IRカメラ深度カメラ、及びこれらの組み合わせを含むように定義され得る。

0054

いくつかの実施形態において、コンピュータ106は、コンピュータ106の処理するハードウェアにおいてゲームをローカルで実行できる。ゲームまたはコンテンツは、物理的メディア形式(たとえば、デジタルディスクテープカードサムドライブ固定チップまたはカード等)、のような任意の形式で、または、ネットワーク110を介したインターネットからのダウンロードによって、得られ得る。別の実施形態において、コンピュータ106は、クラウドゲームプロバイダ112とのネットワーク上の通信におけるクライアントとして機能する。クラウドゲームプロバイダ112は、使用者100によってプレイされるビデオゲームを維持し且つ実行しても良い。コンピュータ106は、HMD102、コントローラ104及びカメラ108からクラウドゲームプロバイダへと入力を伝送し、実行するビデオゲームのゲーム状態を反映するために入力を処理する。映像データ、音声データ、及び触覚的フィードバックデータのような実行するビデオゲームからの出力は、コンピュータ106に対して伝送される。コンピュータ106は、伝送前にデータをさらに処理しても良く、または、関連する装置に対してデータを直接的に伝送しても良い。たとえば、映像及び音声ストリームは、HMD102に対して提供され、一方で、振動フィードバック命令は、コントローラ104に対して提供される。

0055

1つの実施形態において、HMD102、コントローラ104、及びカメラ108は、それら自体がクラウドゲームプロバイダ112と通信するようにネットワーク110に対して接続するネットワーク化された装置であっても良い。たとえば、コンピュータ106は、ビデオゲーム処理を実行しないが、ネットワークトラフィック経路を容易とする、ルーターのようなローカルネットワーク装置であっても良い。HMD102、コントローラ104、及びカメラ108によるネットワークに対する接続は、有線または無線であっても良い。いくつかの実施形態において、HMD102において実行されまたはディスプレイ107において表示可能なコンテンツは、任意のコンテンツソース120から得られ得る。例示のコンテンツソースは、たとえば、ダウンロード可能なコンテンツ及び/またはストリームコンテンツを提供するインターネットウェブサイトを含むことができる。いくつかの例示において、コンテンツは、映画、ゲーム、静的/動的コンテンツ、写真ソーシャルメディアコンテンツ、ソーシャルメディアウェブサイト等のような任意の形式のマルチメディアコンテンツを含むことができる。

0056

以下により詳細に説明するように、プレイヤー100は、HMD102においてゲームをプレイしても良く、こうしたコンテンツは、没入型3D相互作用的コンテンツである。HMD102におけるコンテンツは、プレイヤーがプレイする間、ディスプレイ107に対して共有され得る。1つの実施形態において、ディスプレイ107に対して共有されるコンテンツは、プレイヤー100近傍のまたは遠隔の他の使用者が使用者のプレイと共に見ることを可能とし得る。さらに別の実施形態において、ディスプレイ107においてプレイヤー100のゲームプレイを見ている別のプレイヤーは、プレイヤー100と共に相互作用的に参加しても良い。たとえば、ディスプレイ107においてゲームプレイを見ている使用者は、ゲーム場面におけるキャラクターコントロールしても良く、フィードバックを提供し、社会的相互作用を提供し、及び/または、コメントを提供し(テキストにより、声により、動作により、ジェスチャーにより等)、これは、HMD102を装着していない使用者がHMD102においてレンダリングされたプレイヤー100、ゲームプレイ、またはコンテンツと社会的に相互作用することを可能とする。

0057

図1Bは、本発明に係る実施形態によるヘッドマウントディスプレイ(HMD)を示す。図に示されるように、HMD102は、複数の光源200A〜H、J及びKを含む(たとえば、200K及び200Jは、HMDヘッドバンドの後部または後ろ側へ向かって配置される)。これらのそれぞれの光源は、特定の形状及び/または位置を有するように構成されても良く、同じまたは異なる色を有するように構成され得る。光源200A、200B、200C、及び200Dは、HMD102の前部表面に配置される。光源200E及び200Fは、HMD102の側部表面に配置される。さらに光源200G及び200Hは、HMD102の前部表面及び側部表面に亘るようにHMD102の角部において配置される。光源は使用者がHMD102を使用する相互作用的環境の取得された画像において識別され得ることに留意されたい。

0058

光源の識別及び追跡に基づいて、相互作用的環境におけるHMD102の位置及び方向が判断され得る。いくつかの光源が画像取得装置に対するHMD102の特定の方向によって視認可能または視認不可能となり得ることにも留意されたい。さらに、光源の異なる部分(たとえば、光源200G及び200H)は、画像取得装置に対するHMD102の方向によって画像取得のために露出されても良い。いくつかの実施形態において、慣性センサーがHMD102に配置され、光源の必要なく位置に関するフィードバックを提供する。いくつかの実施形態において、光源及び慣性センサーは、位置/運動データの混合及び選択を可能とするように共に機能する。

0059

1つの実施形態において、光源は、HMDの現在の状態を近傍の他のものに示すように構成され得る。たとえば、いくつかのまたは全ての光源は、特定の色構成輝度構成、有するように構成されても良く、点滅し、特定のオン/オフ構成を有し、または、HMD102の現在の状態を示す他の構成を有するように構成されても良い。例示によれば、光源は、ビデオゲームのアクティブなゲームプレイの間(概してゲームのアクティブなタイムラインまたは場面内で生じるゲームプレイ)、案内メニューインタフェースまたはゲーム設定の構成(この間ゲームタイムラインまたは場面は非アクティブとされまたは静止され得る)のようなビデオゲームの他のアクティブではないゲームプレイ態様に対して異なる構成を表示するように構成される。光源は、ゲームプレイの相対的輝度レベルを示すように構成されても良い。たとえば、光源の輝度、または点滅速度は、ゲームプレイの輝度が増加するときに増加しても良い。

0060

HMD102は、付加的に1つまたは複数のマイクを含んでも良い。示された実施形態において、HMD102は、HMD102の前部表面において形成されたマイク204A及び204Bと、HMD102の側部表面において形成されたマイク204Cと、を含む。マイクの配列を使用することによって、それぞれのマイクからの音声は、音声の源の位置を判断するように処理され得る。この情報は、望まない音声の排除、視覚的識別等との音源の関連付けを含む様々な方法で使用され得る。

0061

HMD102は、1つまたは複数の画像取得装置を含んでも良い。示された実施形態において、HMD102は、画像取得装置202A及び202Bを含んで示される。画像取得装置の立体写真を使用することによって、環境の3次元の(3D)画像及び映像がHMD102の視点から取得され得る。こうした映像は、HMD102を装着する間、使用者に「ビデオシースルー」機能を提供するために使用者に対して示され得る。これは、厳密な意味では使用者はHMD102を透視することはできないが、画像取得装置202A及び202Bにより取得された映像は、HMD102によって見た場合にHMD102の外部の環境を視認可能とされ得る機能的に同等なものを提供することができる。

0062

こうした映像は、増大された現実的体験を提供するための仮想的要素により増大されることができ、または、他の方法において仮想的要素と結合されまたは融合されても良い。示された実施形態において2つのカメラがHMD102の前部表面において示されるが、任意の数の外部に面するカメラまたは単一のカメラがHMD102において搭載されることができ、且つ、任意の方向に配向され得ることに留意されたい。たとえば、別の実施形態において、環境の付加的なパノラマ式の画像取得を提供するためにHMD102の側部に取り付けられたカメラがあっても良い。

0063

図2は、使用者100のHMD102に対してビデオゲームコンテンツをレンダリング可能なクライアントシステム106を用いたゲームプレイの1つの例示を示す。本図において、HMDに対して提供されたゲームコンテンツは、豊富な相互作用的3−D空間内にある。上述のように、ゲームコンテンツは、クライアントシステム106に対してダウンロードされることができ、または、クラウド処理システムによって1つの実施形態において実行されることができる。クラウドゲームサービス112は、使用者140のデータベースを含むことができ、特定のゲームにアクセスすること、他の友人と体験を共有すること、コメントを投稿すること、及び、彼らのアカウント情報を管理することが可能とされる。

0064

クラウドゲームサービスは、特定の使用者のためにゲームデータ150を記憶することもでき、これは、ゲームプレイの間、将来のゲームプレイ、ソーシャルメディアネットワークの共有、またはトロフィー、賞、状態、ランキング等を記憶するのに便利である。社会的データ160は、クラウドゲームサービス112によって管理もされ得る。社会的データは、分離したソーシャルメディアネットワークによって管理されることができ、これは、インターネット110上でクラウドゲームサービス112と適合され得る。インターネット110上で、コンテンツへのアクセスのため及び他の使用者との相互作用のため任意の数のクライアントシステム106が接続され得る。

0065

図2の例示で続けると、HMDにおいて見られる3次元の相互作用的場面は、3−Dの視界において示されたキャラクターのようなゲームプレイを含むことができる。1つのキャラクター、たとえばP1は、HMD102を装着する使用者100によってコントロールされることができる。本例示は、2人のプレイヤーの間のバスケットボールの場面を示し、HMDの使用者100は、3−Dの視界において別のキャラクターに対してボールダンクしている。他のキャラクターは、ゲームのAI人工知能)のキャラクターとされることができ、または、別の1または複数のプレイヤー(Pn)によってコントロールされることができる。HMD102を装着する使用者100は、使用空間において動きまわって示され、HMDは、使用者の頭の動作及び体の位置に基づいて動きまわっても良い。カメラ108は、部屋においてディスプレイスクリーンの上に配置されて示されるが、しかしながら、HMDの使用のため、カメラ108は、HMD102の画像を取得できる任意の位置に配置され得る。このように、使用者102は、HMD102においてレンダリングされるコンテンツがカメラ108の視点から、HMD102が配置される方向に依存され得るように、カメラ108及びディスプレイ107からおおよそ90度回転して示される。当然のことながら、HMDの使用の間、使用者100は、HMDによってレンダリングされた動的な仮想的場面の利用が必要とされ得るとき、頭を回転させ、様々な方向を見ながら動きまわる。

0066

図3Aは、HMD102を装着する使用者の例示を示し、固定された位置において設定されるカメラ108は、使用者に向かって方向付けられる。1つの実施形態において、カメラ108は、使用者の視認を可能とする位置を有し、これにより、HMD102及びコントローラ104は、取得された映像フレームにおいて視認され得る。1つの例示において、コントローラ104は、LED光のようなマーカーを含んでも良く、これは、HMD102が追跡されるのと同時に追跡され得る。側面図において、カメラ108は、HMD102の側部を取得している。図示の目的のため、LEDマーカーは、前部ユニット102aにおけるLEDマーカーのため、マーカー1、2、3及び4として符号付けされる。バンド調整ユニット102bにおけるLEDマーカーは、側面図において示されないが、上面図は、カメラ108が少なくとも前部ユニット102aからマーカー2及び4を取得可能であり且つバンド調整ユニット102bからマーカー6を取得可能であることを示す。前部のマーカーと後部のマーカーとの間の分離間隔は、1つの実施形態において、推定される。

0067

上述のように、ひとたび図3Aの側面図が取得された映像において検出されると、映像フレームの分析に基づいて、推定距離d1の校正が実行される。現在の使用セッションで校正がまだ実行されていない場合、校正が実行され、複数の映像フレームが分析され、HMDの慣性センサーから得られたときにHMDの実際の運動データと比較される。画像データと組み合わせた運動データは、距離d1の推定値を生成する。1つの実施形態において、上述のように、HMDは、それぞれのマーカーがどこに配置され且つ形状化されているのかに関するデジタル情報である幾何学的モデルと関連する。

0068

校正データを用いて、現在の使用セッションの推定された分離間隔d1を算出する演算により幾何学的モデルが更新される。使用者がHMD102でプレイまたは相互作用を継続するとき、図3Bにおいて示されるように、距離データは、HMDの空間における動作及び空間の位置、並びに、カメラ108に対するその傾斜及び角度を追跡するために使用される。図3Bにおいて、たとえば、上面図において、図は、使用者が後頭部をカメラ108に向かって回転させたことを示す。こうした時点において、カメラは、前部ユニット102aにおける全てのマーカー1〜6を視認することが可能であり得る。分離間隔d1は、この例示において、ある点において、HMDが使用者の頭において適正にフィットするようにヘッドバンド102cを使用者が調整したとものみなす。適正な設定は、HMD102が使用者の顔の上で動くのを回避するため、好ましい。さらに、HMD102の動作は、1つの実施形態において、HMD102によって示される場面への、場面の視点をさらに変化させる。

0069

調整がヘッドバンド102cに対して実行された場合、たとえば、前部のマーカーと後部のマーカーとの間の実際の分離間隔は変化し、これは、(調整量によって)ゲームのコードまたはプログラム(たとえばライブラリファイル複数可))により使用された幾何学的モデルによって予想されたマーカーがある位置の間の結合を断つ場合があり、HMD102の動作は、HMD102においてレンダリングされた場面において変化に対してうまく変換しない場合がある。たとえば、HMD102の動作は、前部のマーカー(すなわちLED)1〜4のみが追跡される間、これらのマーカーが固定された位置にあるためにHMD102の幾何学的モデルが静的なままであるため、変化しない。しかしながら、カメラが前部のLEDの間において後部のLEDへと動くとき、(より大きくまたはより小さくするための)ヘッドバンドにおける調整が生じる場合、実際の分離間隔は、幾何学的モデルまたは校正された幾何学的モデルに対して適合し得ない。このような場合、システムは、セッションの間に変化が生じた場合、または、ヘッドバンドにおける変化または曲げが実際の分離間隔を動かした場合に、校正または再校正の必要を検出することができる。

0070

図3C−1、図3C−2及び図3C−3は、ヘッドバンド102cによって使用者の頭に対して固定されたHMD102を装着する使用者の例示を示し、ヘッドバンドは、前部ユニット102a及びバンド調整ユニット102bに対して結合される。1つの実施形態において、バンド調整ユニット102bは、調整器を含む。調整器は、1つの例示においてヘッドバンドの締め付け(サイズをより小さくする)または緩めること(サイズをより大きくする)を可能とする回転ホイールであり得る。例示の回転ホイールの使用に限定されることなく、他の調整器も可能である。

0071

ひとたびヘッドバンドが調整されると、使用者は、セッションにおいてHMDの使用を開始しても良い。この例示において、使用者は、上面図から示されるようにカメラ108に面する。セッションにおいて使用者が相互作用する間に、カメラはHMD102の動作及び位置を追跡するために使用される。上述のように、HMD102の追跡の間慣性センサーも使用され、慣性データは、カメラ108による光学的追跡を向上させるために使用され得る。さらに、校正の間慣性センサーが使用され、ビデオ画像において識別されたマーカーと共に画像データが分析される。

0072

たとえば、慣性センサーは、HMD102の位置データ、回転データ、及び全体動作データを生成し、これはいくつかの実施形態において1つの映像フレームの生成の間に複数回生成される。生成された慣性データは、かなり豊富であり且つ高程度の忠実性を有するため、数フレーム間隔に亘り識別された画像マーカーまたは対象の間の距離を推定することが可能である。このように、校正は、マーカーの間の、たとえば、HMD102の前部のLEDと後部のLEDとの間の実際の距離の推定を形成する。例示の取得されたフレーム302において、HMD102の前部ユニット102aの前部は、視認可能であるように示される。

0073

図3D−1、図3D−2及び図3D−3は、使用者が頭を図3Cに示された開始位置から外方へとおおよそ45度回転させた例示を示す。当然のことながら、回転は、普通の人間の回転動作のような完全な回転であることを要さず、回転と組み合わせて顔を上げるまたは下げる(たとえば、傾ける)動作を含み得る。目的または例示のため、シンプルな回転が示されており、他の運動(たとえば、回転の間の様々な時点において上/下に傾ける)も生じるものとみなされる。実行中、動作は、いくらか時間間隔に亘り生じ、(任意の時点において)ゲーム内の様々な場面を探検しまたは仮想空間において様々なコンテンツを見る、あるいは映画または映像内において様々な場面領域を見ることを望む使用者に応答して生じ得る。図3D−3に示されるような1つの時点において、取得されたフレーム303は、マーカー2、4及び6を含む画像データを含む。例示の目的のため、これは画像データが分析されるときにフレームにおいて後部のマーカー6が取得された最初のものと仮定する。校正が現在のセッションで生じていない場合、または最後の校正から時間が経過したと判断された場合、システムは校正操作を実行し、前部のLEDと後部のLEDとの間の距離が計算される。

0074

上述のように、これは、HMD102の慣性センサー(たとえば、ジャイロスコープ)及び加速度計からの回転データ及び位置データの分析によって成される。この分析は、さらなる追跡のために使用される推定された分離距離をレンダリングする。1つの実施形態において、この最初の推定距離は、HMD102の幾何学的モデルに対して記憶され、これは、空間の分離及びモデル化されたHMD102のLED及び他の特性の幾何学的形状に関する情報を含む。他の実施形態において、推定距離を含む校正は、変化が生じたことをさらなる調査が示す(すなわち、新しい調査が現在の校正された幾何学的モデルとは異なる分離距離を出す)まで使用される。

0075

この変化は、使用者がヘッドバンドを調整したとき、またはHMD102を取り外したとき、及び別の使用者がHMD102を調整したとき及び試用したとき、またはヘッドバンド102がセッションの間に曲げられたとき若しくは動かされたときに生じ得る。新しい推定された分離距離が所定の限界値を超えた場合、新しい推定された分離距離が校正された幾何学的モデルに対して付加される。上述のように、校正された幾何学的モデルは、HMD102の動作及び位置の正確な追跡を提供し且つHMD102を装着する使用者によって成された方向、動作及び運動と一致したHMD102に対してコンテンツを提供するために、アプリケーション及び/またはシステムによって使用され得る。

0076

任意の識別された距離またはヘッドバンドのサイズの実際の調整の変化へと更新された幾何学的モデルの校正を維持することによって、HMD102に対して提供されたコンテンツは、HMD102において表示されるときに、特に使用者がHMD102を側部へと(すなわち、カメラ108に対して垂直な位置から外方へと)移動させるときに、ジャンプ、ポップまたは不正確ジッターを生じることが防がれる。

0077

図3E−1、図3E−2及び図3E−3は、使用者が図3C−1及び図3C−2において示された位置からおおよそ90度外方へと動かされた例示を示す。この時点で、調整が行われておらず、且つ、校正が(モデルに対しては適用せずにさらなるバックグラウンド校正と比較されたときに)限界値内であることを示す場合、それからシステムは、HMD102に対してコンテンツをレンダリングするために前部のLEDと後部のLEDとの間の推定距離の使用を継続する。

0078

図3F−1、図3F−2及び図3F−3は、使用者が図3E−1の位置からおおよそ180度回転されたセッションにおける時間を示す。この例示において、カメラ108は、マーカー1、3及び5が視認可能な、取得されたフレーム302をここで形成する。上述のように、次のセッションまで、使用者が動きを止めてついで再開するまでまたは使用者がヘッドバンドを調整するまで、分離距離の最初の校正が継続して使用されても良い。さらに別の実施形態において、システムは、再び前部のLED及び後部のLEDが視認可能であると認識できるが、それが今視認可能な反対側であることも認識する。言い換えれば、図3E−3の視認可能なLEDは、図3F−3において視認可能なLEDの反対側のLEDである。

0079

したがって、システムはそれぞれの側のために個別に校正が成されることを要求できる。したがって、図3E−3において側部は、既に校正され且つ推定距離の分離間隔が幾何学的モデルにおいて使用されるが、システムは個別に他方の側の校正を実行し、幾何学的モデルに対して付加された別の分離距離を推定する。このように、両方の側部のための分離した校正は、ヘッドバンドの一方の側に対して調整が成され、ヘッドバンドの他方の側に対しては成されない状況を改善し、あるいは、ヘッドバンドのねじれが後部のLEDと前部の視認可能なLEDとの間の異なる実際の分離を生成する場合の状況を改善する。

0080

図3G−1、図3G−2及び図3G−3は、HMD102の後部が取得されたフレーム302において視認可能な例示を示す。この例示において、LED5及び6が変化しない固定された構造であるため、HMD102の最初の幾何学的モデルを用いてLED5及び6の追跡が実行される。他の実施形態において、後部のLEDが互いに対して固定されない場合、後部のLEDの1つを前部のLEDに対して校正し、ついで使用者の頭が異なる時に回転するときに校正された後部のLEDを他のLEDに対して校正することも可能である。

0081

図4Aは、HMD102の上面図と、HMD102と関連したマーカー(LED)を識別可能とするように配置されたカメラ108とを示す。HMD102の上面図は、ヘッドバンド102cによって結合された前部ユニット102aとバンド調整ユニット102bを示す。前部ユニット102aは、HMD102の光学的ブロック区分を含む。光学的ブロックは、調整間隙402によって調整可能となるように構成される。このように、光学的ブロックは、使用者の頭に対して取り付けられたときに、使用者の顔に向かって及び使用者の顔から離して動かすことができる。1つの実施形態において、調整間隙402は、HMD102の使用者の快適さのため且つ使用者の目と光学的ブロック内の構造との間の付加的な空間を提供するためにも調整可能である。付加的な空間は、使用者の眼鏡を収容するために使用され得る。示されるように、バンド調整ユニット102bは、バンド調整ユニット102b内へと収縮しまたはバンド調整ユニット102bから伸張する方法でヘッドバンドを調整するのに便利な回転ホイール404を含む。

0082

上述のように、例示の回転ホイールの使用に限定されることなく、他の調整器も可能である。たとえば、他の調整器はベルト調整器、ノッチ式調整器、バンドにおけるピン及び穴調整器、スナップインまたは共にスナップする調整器、ベルクロ(登録商標)調整器、テープ調整器、ベルト及びバックル調整器、ロープ調整器、リンクコネクター調整器、弾性調整器、または様々な形式の調整器及びクリップ及びロックの組み合わせを含むことができる。

0083

頭においてHMDを配置された使用者により適正なまたは快適な適合を提供するために調整が成される。この調整機能のため、前部から後部へのHMD102の実際の分離距離Dは、成される調整に基づいて変化する。図示の目的のため、光学的ブロックが使用者の顔に向かって完全に押され、回転ホイール404がヘッドバンドのサイズをその可能な最も小さいサイズへと調整された場合、分離距離はdCとなる。しかしながら、使用者によるカスタマイズ調整を考慮すれば、光学的ブロックにおける調整のため且つ分離間隔dBによるバンド調整ユニット102bにおける調整のための分離間隔dAの変化が存在する。任意の一度において、光学的ブロックの前部ユニットにおけるLEDとバンド調整ユニット102bにおける後部のLEDとの間の実際の物理的分離間隔Dが変化し、このため、現在の調整に基づいた、前部のLEDと後部のLEDとの間の推定された分離距離を識別するために上述のような校正が実行される。

0084

示されるように、分離距離は、D=dC+/−dA+/−dBに等しい。HMDの使用の間の校正は、したがって視認可能な後部のLEDと視認可能な前部のLEDとの間の実際の分離間隔の近似した推定であり、したがって分離距離を定義する。ついで分離距離は、HMD102において幾何学的モデルに対して付加され、使用中にHMDの位置、回転、動作及び方向に基づいて、HMDに対してコンテンツをレンダリングするために使用される。

0085

図4Bは、HMD102の上面図の例示を示し、分離間隔d1は、物理的HMDのために物理的に設定される。物理的設定はHMDのヘッドバンド102cに対して成される調整のために実行され得る。分析されるとき映像フレーム410は、分離距離d1が、複数のフレームの分析に基づいて且つ、HMD102内のセンサーによって生成された慣性データの同時の分析に基づいて推定されることを示す。

0086

比較において、図4Cは、より大きいヘッドバンド102cを形成するための調整が成された後のHMD102の上面図を示す。この工程は、後部のLED及び前部のLEDの現在の位置を識別するために取得された映像フレームの分析も含み、推定された分離距離が図4Bのサイズのためにあらかじめ校正されたものと同じかどうかを判断するために校正操作を実行する。1つの実施形態において、システムは、サイズが現在Δdだけ、より大きいと判断し、言い換えればここでd2となる、d1+Δdだと判断する。差Δdがシステムに対して許容できる空隙の限界値より大きい場合、最初の校正が維持される。

0087

新しい推定距離d2が推定距離d1とは異なる場合、ついで幾何学的モデルにおける校正データは、距離d2を含むように更新される。別の実施形態において、新しい校正が最初の推定距離より大きい推定距離を生成するか否かを識別するための付加的な校正ステップに頼る代わりに、回転ホイール404または任意の他の調整機構の調整は、ヘッドバンド102cのサイズの変化を示し得るフラグまたはデータのような信号を生じ得る。

0088

結果として、この信号は、前部のLEDと後部のLEDとの間の新しい推定された分離間隔を識別するために実行される新しい校正をついで実施するシステムに対して返答して通信し得る。さらに他の実施形態において、システムが所定時間HMDの不活発または無動作が生じたと判断したときに再校正が実行され得る。これは、新しい使用者が新しいセッションを開始するためにまたは今のセッションに参加するためにHMD102を装着した可能性が高いので、前部のLEDと後部のLEDとの間の距離のための新しい校正データが必要であるという指示信号である。

0089

たとえば、第1のプレイヤーによって楽しまれているセッションの間、近くの第2のプレイヤーは、HMDにおいてレンダリングされたコンテンツを見ることを望む場合があり、第1のプレイヤーは、HMDを取り外すことができ、または取り外しても良く、したがって、第2のプレイヤーは、短時間の間コンテンツを見ることができる。この共有の間、HMDヘッドバンドが調整され得ることが可能である。実際には、調整を実行することが可能であり、一時的にHMDを装着する第2のプレイヤーのための第1の調整と、第2のプレイヤーからHMDを戻してもらった後の第1のプレイヤーがセッションを再開するための第2の調整と、が可能である。

0090

図4Dは、HMDにおける前部のマーカーとHMDのヘッドバンドと関連した視認可能な後部のマーカーとの間の分離距離を識別するために実行され得る例示の操作のフロー図を提供する。操作420において、マルチメディアコンテンツと相互作用する使用者によって装着されたときのヘッドマウントディスプレイの映像フレームの取得を含む。マルチメディアコンテンツは、上述のように、様々な形式のメディアを含み得る。メディアの形式は、ビデオゲーム、映画、ウェブコンテンツ映像クリップ音声コンテンツ、映像及び音声の組み合わせ、映像会議、ソーシャルメディア相互作用的通信、及び/またはこれらの組み合わせを含み得る。

0091

使用者がHMDを装着する間にマルチメディアと相互作用する間、コンテンツは、レンダリングし且つ使用者が見るためにHMDに対して提供される。1つの実施形態において、HMDの位置及び方向及び動作を視認するためにカメラも提供される。カメラは、1つの実施形態において、映像フレームの形式において複数の画像を生成する。ついで映像フレームは、操作422において、HMDにおいて配置されたマーカーを識別するために調査される。マーカーは、上述のように、LEDを含み得る。

0092

他の実施形態において、マーカーは照光しないマーキングを含むことができ、形状、逆反射の表面、様々な色の表面、様々な色の領域または表面、LED及び表面の組み合わせ、LEDの組み合わせ、逆反射のテープ、反射ペイント反射表面、数値データ、QRコード(登録商標)データ、パターン、画像、及びその2つ以上の組み合わせを含むことができる。このように、ある実施形態は、色を備えたHMDの領域を照光するLEDを使用するが、その色は変更することができ、照光されるLED表面または領域の形状及び方向も変更し得る。いくつかの実施形態において、特定の色が位置を識別するように、HMDによって複数の様々な色が用いられることができる。他の実施態様において、複数のHMDが追跡されるとき、様々な色がHMDの様々な部分において、または様々なHMDにおいて使用されることができる。複数のHMDの使用者が追跡される場合、様々なプレイヤーに対して様々な色が割り当てられ得る。LEDは、間欠的なパターンにおいて照光し、またはシステムにより取得され且つ分析された画像データによってコードまたはデータを通信するために点滅させるようにも構成され得る。

0093

いくつかの実施形態において、LEDは、照明の輝度を変化させるように構成され得る。照明の変化は、環境光の検出に応じるように動的にコントロールされ得る。部屋の光が明るい場合は、照明は、強められることができ、または様々な色が追跡を向上させまたは強化するために選択され得る。いくつかの他の実施形態において、選択された色は、異なり、または部屋、環境、人の衣服、またはこれらの組み合わせの周りの色に対してより対比を提供する色であり得る。

0094

操作424において、識別されたマーカーは、カメラによって取得された画像データを分析することによって追跡され得る。HMDの追跡は、前部の光学的ブロックにおいて識別されたマーカーによって容易化され、HMDの前部の光学的ブロックの位置及び方向の識別を可能とする構成において配向される。示された例示において、マーカーは、カメラ108から直接的に見たときに、略矩形の光学的ブロックの前部の角部において配置される。したがって、使用者が頭を下方に動かしたとき、映像フレームにおける画像データの分析の際にシステムによって取得された画像においてより近くなるように2つの上部のLED及び2つの底部LEDが現れる。使用者が左回転するとき、右回転するとき、左に傾くとき、右に傾くとき、または回転及び傾くような動作の組み合わせのとき、類似した処理が判断のため実行され得る。1つの実施形態において、操作426は、バンド調整ユニットにおけるマーカーが取得された映像フレームにおいて視認可能かどうかを判断する。

0095

上述のように、バンド調整ユニットは、HMDが使用されて装着されるときに実質的に使用者の頭の後部へと配置される。このように、バンド調整ユニットにおけるマーカーは、少なくとも2つの前部のマーカーも視認可能である時点において視認可能である。この時点で、操作428において前部のLEDと後部のLEDとの間の距離を識別するために校正操作が実行できる。この操作において、少なくとも1つのフレームが調査され、前部の光学的ブロックにおける視認可能なマーカーとバンド調整ユニットにおける視認可能なマーカーとを分離する距離を推定するために慣性データが調査される。上述のように、複数のフレームは、HMDの動作と画像データにおける動作の変化とを識別するために分析されることができ、推定された分離距離を識別するためにこれらは共にマップ化される。

0096

1つの実施形態において、ジャイロスコープデータ及び加速度計データを含み得る慣性データは、他のフレームに対して様々なフレームがLEDの動作を示す様々な時点と関連する。いくつかの実施態様において、使用されるジャイロスコープは、フレーム毎の多数の比率サンプルを提供することができ、これは前部のLEDと後部のLEDとの間で生じる動作量のかなり正確な推定を可能とする豊富なデータセットであり、分離距離の正確な推定を可能とする。いくつかの実施形態において、加速度計は、おおよそ毎秒2000フレームまでの比率でサンプルを提供し、この情報は、HMDの位置及び回転を識別するために便利でもある。

0097

1つの実施形態において、操作430は、フラグが検出されたかどうかを判断するために処理され、これはバンド調整ユニットに対するサイズの変化を示す。たとえば、バンド調整ユニットにおける回路は、ヘッドバンドに対して生じた変化及び/または変化量を示す信号、フラグまたは通信データを生じ得る。フラグが検出されない場合、操作は432へと移り、ここでHMDの使用は、推定された分離距離を所定の位置に維持し、HMDの幾何学的モデルを関連付ける一方で、推定距離に対する更新が必要かどうかを判断するために付加的なフレーム及び慣性データの調査を継続できる。操作430においてフラグが設定されたことを検出された場合、方法は、操作434へと移行し、ここでヘッドバンドにおいて異なる距離が設定されたとみなされ、分離距離の新しい推定を要求する。ひとたび新しい分離距離が推定されると、新しい分離距離がHMD102の3次元モデルに対して付加され、ついでセッションの間、現在のセッションの間、またはHMDのさらなる使用のために使用される。

0098

図4Eは、HMD102の前部ユニットのLEDとHMDの後部と関連したLEDとの間の分離距離に対して校正を実行するために使用される別のフロー図の例示を示す。この例示において、HMDの映像フレームは、操作440において光学的位置及び方向の追跡のため使用されるマーカーを識別するために調査される。操作442において、前部のマーカー及び後部のマーカーが映像フレームにおいて視認可能かどうかが判断される。それらが視認可能ではない場合、前部ユニットにおけるそれらの固定された方向のため前部ユニットにおけるマーカーが分離間隔を変化させないので、その方法は、追跡のためにHMDの前部ユニットにおいてマーカーの識別及び使用を継続する。それらは前部ユニットにおいて固定されるため、HMDの幾何学的モデルは、HMDの前部ユニットにおける既知の分離間隔と一致する。

0099

操作444において、ひとたび前部のマーカー及び後部のマーカーが少なくとも1つのフレームにおいて視認可能となると、操作は、映像フレームデータ及びHMD慣性データからHMDの前部のマーカーと後部のマーカーとの間の距離の推定を実行する。分離間隔の推定は、映像フレームデータの調査によって実行され、使用者が頭を動かし、こうして視認可能なLEDの位置を所定の速度、方向、及び距離で動かすときに、それを慣性データに対して相互に関連させる。ひとたび推定距離が決定されると、推定距離の分離間隔がHMDの最初の幾何学的モデルに対して付加される。

0100

推定距離をモデルに対して付加することによって、ここで前部の視認可能なマーカーと後部の視認可能なマーカーとの間の推定された分離距離のためにモデルが校正された。操作446において、セッションが終了したかどうかが判断される。所定時間HMDが動かないときにセッションが終了したか、HMDが表面に配置され、しばらく動かされていないか、HMDがもはや画像データにおいて検出され得る使用者による動きを示さないか、センサー指示器がセッションの終了を示すフラグを生成しているか、ゲームコードが相互作用的にゲームにより終了されたか、使用者がユニットを停止させたか、使用者がユニットをスリープモードにしたか、または、使用者がHMDの運動追跡を必要としないディスプレイデータまたは案内スクリーンまたは設定と相互作用しているか、等が判断されることができる。したがってセッションが終了されたとき、前部のマーカーと後部のマーカーとの間の距離が次の使用者または次のセッションのために更新されなければならないことが決定される。

0101

操作446によって決定されたようにセッションが終了されなかった場合、操作448において調整されたヘッドバンドを示すフラグが設定されたかどうかを決定するための判断が実行される。ヘッドバンドが調整され、フラグが設定される場合、システムは、前部のマーカーと後部のマーカーとの間の距離が次のセッションまたは連続的なプレイまたは使用のために更新されるべきことを要求する。操作448においてフラグが設定されない場合、使用中に推定距離を改善するためのシステムが進行し得る。上述のように、これは、周期的にまたは使用者が前部のLEDをカメラに対して露出させた後にのみ、HMDの側部をカメラに対して露出させるたびに実行される。

0102

いくつかの実施形態において、推定距離が算出され得るが、校正は、幾何学的モデルに対して自動的に更新されない。この例示において、校正は、校正の1つが実質的に異なるまたは許容できる限界値を越える推定距離を識別するまで連続的に実行されるように継続され、これにより、継続される使用のために新しい校正された推定距離が幾何学的モデルに付加される。

0103

1つの実施形態において、おおよそ50mmまでの推定された分離距離の変化が限界値内であるか(またはおおよそ30mmまでの推定された分離距離の変化が限界値内であるか、またはおおよそ20mmまでの推定された分離距離の変化が限界値内であるか、またはおおよそ15mmまでの推定された分離距離の変化が限界値内であるか、またはおおよそ10mmまでの推定された分離距離の変化が限界値内であるか、またはおおよそ5mmまでの推定された分離距離の変化が限界値内であるか)、且つ、追跡及びHMDのマルチメディアコンテンツの伝送に悪影響を与えないか、が判断されてきた。いくつかの実施形態において、推定された分離距離がおおよそ数mmの値(たとえば、1mm、2mm、3mm、4mm、5mm、6mm、7mm、8mm、9mm、10mm、15mm、20mm等)よりも大きく変化した場合、ついでソフトウェア及びシステムがHMDのある位置として予想した位置に対する追跡位置における不一致を回避するために、新しい推定された分離距離が幾何学的モデルに対して付加される。こうした不一致が生じるとき、HMDにおいてレンダリングされた画像またはコンテンツが、正常ではない誤作動、ポップ、またはジャンプの類を示し得る。推定された分離距離における違いが所定のmm値(たとえば、1mm、2mm、3mm、4mm、5mm、6mm、7mm、8mm、9mm、10mm、15mm、20mm等)よりも小さく、最小である場合、ついで、画像が顕著な質の低下なくレンダリングするため、幾何学的モデルに対するいかなる更新も必要ないことを決定する。

0104

いくつかの実施形態において、限界値または分離距離が変化する量は、HMD102に表示されるコンテンツによって変化し得る。コンテンツが複雑またはかなり高度なグラフィック的に強化されたゲームのように、より精度を要求する場合、限界値はより低くても良い。コンテンツが頻繁に変更されないまたは実質的に固定され若しくはより相互作用的ではないウェブデータウェブページまたは他のコンテンツである場合、限界値はより大きくなり得る。

0105

図4Fは、さらに別の実施形態を示し、HMDの前部のマーカーと後部のマーカーとの間の分離間隔の距離を識別するために映像フレーム及び慣性データの調査が実行される。この例示において、操作460は、HMDの幾何学的モデルと、HMDのマーカーと、を識別する。HMDにおけるマーカーは、前部のマーカーと後部のマーカーとを含む。上述のように、前部のマーカーは、HMDの前部ユニットに対する設定方向において固定される。後部のマーカーは、調整可能なヘッドバンドに対して結合される。したがって、ヘッドバンドを調整することによって、後部のマーカーは、HMDの前部ユニットのマーカーに対してより遠くにまたはより近くに調整される。

0106

2つの間の分離距離は、HMDの幾何学的モデルに対して距離が校正され得るように推定されなければならない。操作462において、使用者によって装着されるときに、HMDの映像フレームが取得される。操作464において、セッションの間または使用の間、HMDの取得された映像フレームにおいて前部のマーカー及び後部のマーカーが視認可能かどうかが判断される。それらが視認可能ではない場合、方法は、操作462において、分離間隔の距離、及び相対的方向及び形状が幾何学的に既知な、HMDの前部ユニットにおいて配置されたマーカーからの位置及び方向情報を用いてHMDの映像フレームの取得を継続する。

0107

操作466において、HMDからの加速度計のデータ及びジャイロスコープのデータを調査する間にHMDの1つまたは複数のフレームが調査されなければならないことが決定される。カメラによって取得されたHMDの1つまたは複数のフレームは、ついで加速度計のデータ及びジャイロスコープのデータに対して関連付けられる。慣性データと共に一連のフレーム及び関連した画像フレームを分析することによって、画像フレームにおいて視認可能な前部のマーカーと後部のマーカーとの間の分離距離が推定される。操作468において、校正が実行されたかどうかが判断される。校正がまだ実行されてなかった場合は、方法は、操作472へと移行する。操作472において、HMDの幾何学的モデルが校正される。

0108

このように、幾何学的モデルは、操作466において判断されるような、前部のマーカーと後部のマーカーとの間の推定距離を含む。校正が過去に実行されたと判断された場合、方法は、操作468から操作470へと移行する。操作470において、校正が正確かどうかが判断される。上述のように、校正は、ヘッドバンドに対する調整が実行済みで、ヘッドバンドにおけるねじれが生じた、または、異なる推定された分離間隔を形成するようにヘッドバンドを調整した、またはHMDを操作した別の使用者とHMDが共有された場合に、正確に成り得る。

0109

映像フレームを再調査することによって、異なる推定された分離間隔が決定された場合、前部のマーカー及び後部のマーカーが視認可能であり、且つこれらを慣性データと比較するとき、新しい推定された分離距離は許容される限界値より大きく、校正は操作472において更新される。校正が正確なままであり、または限界値内である場合、ついでHMDの幾何学的モデルが校正され、最初に決定された前部のマーカーと後部のマーカーとの間の分離距離によって使用を継続する。

0110

したがって、追跡さたれとき、且つ、少なくとも使用者によるHMDの動作及び/または位置によって変化するマルチメディアコンテンツを示すとき、校正された幾何学的モデルは、HMDの位置及び方向を判断するために使用され続ける。上述のように、方法は、幾何学的モデルに対して付加されない校正を実行するために継続できるが、HMDのヘッドバンドに対するいくらかの変化または調整に応じて分離距離が更新されることを必要とするときに決定するために使用される。

0111

図5Aは、本発明に係る実施形態によるHMD102の上面図の例示を提供する。この例示において、HMDの前部ユニット102aと関連した光学的ブロックが様々な構成要素を含むことが示される。光学的ブロック内に含まれるすべての構成要素を記載することなく、前部のLEDと後部のLEDとの間の推定された分離距離の追跡及び決定に有用ないくつかの構成要素が例示により示される。

0112

ブロック502において、例示の構成要素は、加速度計510と、ジャイロスコープ512と、LED制御回路514と、画像処理回路516と、光学機器518と、ディスプレイスクリーン520と、クライアントシステム106と通信が実行されたときにHMDに対してコンテンツをレンダリングするために使用される他の構成要素及び電気回路と、を含む。上述のように、HMDは、直接的にクライアントシステム106とローカルで通信されることができ、有線接続または無線接続によって接続が成され得る。1つの実施形態において、HMDは、HMDにより通信するための回路を含む。回路は、コンピューティングシステムに対して及びコンピューティングシステムから、信号及び/またはデータを送信及び受信するものであり得る。回路は、無線構成において、ワイヤレス通信リンクを含み得る。回路は、有線構成において、HMDとコンピューティングシステムとの間のプラグ着脱、接続、延長及び/または接触を可能とするケーブル接続及びインタフェースを含み得る。

0113

いくつかの実施態様において、HMD102の使用者は、コントローラ104または別の入力技術を用いてHMDにおいてレンダリングされるコンテンツと相互作用され得る。別の実施形態において、HMD102は、クラウドインフラとの通信を可能とするルーターまたはネットワーク構成要素と直接的に通信するための電気回路を含み得る。

0114

さらに示されるように、HMD102は、ヘッドバンド部分102dによって定義される付加的なヘッドバンドを含むことができる。付加的なヘッドバンドは、パッディングを含むことができ、ヘッドバンド102cから個別に調整され得る。HMD102の上面図は、そこに配置されたHMDを有する使用者の頭の図を提供する。さらに示されるのは、バンド調整ユニット102b内で一体化されまたは含まれても良い選択的な構成要素504である。構成要素は、ある実施態様において、ブロック504a内に示された構成要素を含み得る。

0115

ブロック504 80は、加速度計522と、ジャイロスコープ524と、フラグ530を生成するように構成されたヘッドバンド調整検出器526とを含む。フラグ530は、1つの実施形態において、回転ホイール404を調整することによるような、ヘッドバンドに対する調整が実行されたという検出がなされたときに設定される。別の実施形態において、ブロック504bは、バンド調整ユニット102b内に配置され得る。例示において、バンド調整ユニット102bは、電気回路を含まないが、光学的ブロック(502)内に配置された電気回路をLED5及び6に対して接続する簡易的なワイヤー接続を含む。

0116

さらに別の実施形態において、ブロック504cは、加速度計522を含むことができ、或いは、フラグ530を生成するために使用されるヘッドバンド調整検出器526を含むことができる。したがって、当然のことながら、本明細書においてバンド調整ユニット102bと称される、ヘッドバンドの後部区分は、電気回路を含まないこともでき、または、慣性センサーからの出力によって位置のさらなる決定を可能とする付加的な電気回路を含むこともできる。

0117

図5Cは、HMD102を装着する使用者の側面図の例示を示し、ヘッドバンド102c及びバンド調整ユニット102bに対して結合される一方で、前部ユニット102aは、使用者の顔及び目の上に配置される。図5Cは、前部ユニット102aを含む光学的ブロックの相対位置と、ヘッドバンド102cに対して結合されたバンド調整ユニット102bの位置と、を示すHMD102の側面図を図示する。

0118

示されるように、HMD102が使用者の頭の上に配置されるとき、光学的ブロック及びバンド調整ユニット102bの位置は、実質的に知られた相対的方向を有する。バンド調整ユニット102bが後部の加速度計及びジャイロスコープを含むように構成されたとき、HMDの後部及びHMDの前部の両方からデータが取得されることができ、これは既に前部の加速度計及びジャイロスコープを含む。1つの実施形態において、慣性センサー、HMDの前部、及び後部のHMDから得られるデータは、HMDの中心点(たとえば、使用者の頭が位置するおおよその中心)に対するように、構成要素の相対位置を決定するためにプロットされ得る。

0119

たとえば、前部の加速度計及び後部の加速度計は、重力に対する回転の回転力及び角度に関するデータを生成することができる。実質的に通常の位置または静止位置において、光学的ブロックは、前部の加速度計によって決定された重力に対して略平行である。いくつかの位置において、後部の加速度計は、重力に対する回転角度を認識する。前部及び後部の加速度計から受信された位置及び方向データは、したがってヘッドバンドにおける調整がいつ実行されたのかを判断するためにマップ化されまたは監視され、前部のLEDと後部のLEDとの間の分離距離の再校正を要求する。別の実施形態において前部のLEDと後部のLEDとの間の相対的慣性データを調査することによって、カメラによって取得された映像フレームの調査に頼ることなく、簡易的にHMDの前部区分及び後部区分の慣性データを用いることによって、分離距離が推定される。

0120

したがって、HMDの前部区分と後部区分との間のおおよその中心点の分離距離を識別するために、前部の加速度計のデータと後部の加速度計のデータとの間のピッチ及び傾きを調査することが可能である。したがってヘッドバンドの調整は、中心に対する距離を変化させ、これは、ついで使用中のHMDの正確な追跡を可能とするために、HMDの幾何学的モデルにおいて推定された分離距離を調整する必要性を信号送信する。さらに、前部において及び後部においてジャイロスコープを有することによって、ジャイロスコープのデータにおける誤差は、低減されることができ、これにより、差はキャンセルされ、または経時的に改善され得る。

0121

したがって、ある実施態様において、後部のヘッドバンド内に加速度計がある場合、前部に対する後部の傾きを決定することが可能となる。これは、たとえば、バンドにおいて柔軟であり得ると信号送信し得る。この情報は、ついで、たとえばHMDのスクリーンにおけるメッセージによるような推奨により使用者に対して通信され得る。

0122

さらに、前部及び後部の加速度計及びジャイロによって、ヘッドバンドが前部の加速度計から離れる距離を推定することが可能となる。これは後部の加速度計がより大きい求心性加速を認識するため(たとえばそれが前部のアームより長い「アーム」を移動するため)可能である。さらに、HMDがどのような速さで回転するのかを知っているので(たとえばジャイロによって)、加速度計がどれだけ遠くへ互いに離れているかを決定または推定することが可能である。この情報は、推定された分離距離を決定するために使用されることができ、これはついでHMD102の幾何学的モデルに対する校正として付加され、コンテンツのレンダリングの間、追跡のために使用される。

0123

さらに、加速度計及びジャイロが共に後部のヘッドバンドに配置されるため、2つの独立した追跡「装置」を実行すること、及び、結果を平均化すること、または付加的な推定または合成を実行することが可能である。1つの実施形態において、前部のLEDと後部のLEDとの間のこの推定された分離間隔は、LEDの間の差となり得る。さらなる実施形態において、HMDの両方の側部が前部のLEDと後部のLEDとの間の分離間隔のため(たとえば、個別に)推定された場合、幾何学的モデルの両方の側部における使用のためのより最適な推定された分離距離に至るように結果を共に合成または融合することが可能となる。

0124

図6A図6Cは、1つの実施形態による、使用者の頭に装着されたときのHMD102の様々な図を示す。図6aにおいて、LED2がHMD102の前面及び側面周りに配置され得ることが示される。LED4についても同様に配置され得る。このように、LED2及びLED4は、共に前部から及び側部から視認可能である。使用者が側方へと回転したとき、LED6も視認可能であり、同様に、LED2及び/またはLED4の少なくとも一方も視認可能である(たとえば、角度、傾き、方向、及び/または位置による)。後部区分102bは、ヘッドバンド102cに対して結合されて示されてもいる。

0125

図6Bは、前部ユニットがカメラに面するときのHMD102を示す。この例示において、使用者が下方に面する場合、LED1及びLED2が視認可能となり得るときにのみ可能である。しかしながら、使用者が見上げる場合、LED3及びLED4は、カメラ108に対する使用者の頭の方向により、LED1及びLED2によって視認可能となり得る。図6Cは上面図を示し、LED1及びLED2及びLED6及びLED5が視認可能であっても良い。さらに示されるのは、後部区分102bにおける調整器である。さらに示されるのは、付加的な支持及び快適さを提供するために使用される第2のヘッドバンドであっても良いヘッドバンド部分102dである。ヘッドバンド部分102dは、それ自体の調整器を有し、しかしながら、その調整器は、概して前部のLEDに対する後部のLEDの空間の物理的位置に影響し得ない。

0126

図7は、HMDの側面図を示す。この例示において、調整器404を有する後部区分102bが、時々引かれまたはねじられ得ることが示される。こうした変化は、前部のLEDに対する後部のLEDの校正された位置における調整を生じさせる。このような場合において、校正された分離距離に対する調整または更新が実行されることができ、HMDの幾何学的モデルも同様に更新される。

0127

図8は、1つの実施形態による、使用の間HMD102を装着する使用者を示す。この例示において、HMDが、カメラ108によって取得された映像フレームから得られる画像データを用いて追跡される802が示される。付加的に、コントローラは、カメラ108によって取得された映像フレームから得られる画像データを用いて追跡もされ得る804が示される。さらに示されるのは、ケーブル806を介してコンピューティングシステム106に対してHMDが接続される構成である。1つの実施形態において、HMDは、同じケーブルから動力を得、または別のケーブルに接続することができる。さらに別の実施形態において、HMDは、特別な動力コードを不要とするために、再充電可能なバッテリーを有することができる。

0128

図9を参照すると、本発明に係る実施形態による、ヘッドマウントディスプレイ102の例示の構成要素を図示する概略図が示される。当然のことながら、多かれ少なかれ構成要素は、可能とされる構成及び機能によってHMD102に含まれまたは外される。ヘッドマウントディスプレイ102は、プログラム指令を実行するためのプロセッサ900を含んでも良い。メモリ902は、記憶の目的のために提供され、揮発性メモリ及び不揮発性メモリの両方を含んでも良い。使用者が視認し得る視覚的インタフェースを提供するディスプレイ904が含まれる。

0129

ディスプレイ904は、単一のディスプレイによって、またはそれぞれの目のための分離したディスプレイスクリーンの形式で定義され得る。2つのディスプレイスクリーンが提供されるとき、左目及び右目映像コンテンツを個別に提供することが可能となる。それぞれの目に対する映像コンテンツの分離した呈示は、たとえば、3次元(3D)のコンテンツのより好適な没入型制御を提供することができる。上述のように、1つの実施形態において、第2のスクリーン107は、HMD102の片目のための出力を用いることによって第2のスクリーンコンテンツを提供し、ついで2Dフォーマットにおいて表示するためのコンテンツをフォーマットする。片目は、1つの実施形態において、左目映像供給であり得るが、他の実施形態において、右目映像供給であり得る。

0130

バッテリー906は、ヘッドマウントディスプレイ102のための動力源として提供されも良い。他の実施形態において、動力源は、動力に対する出力接続を含み得る。他の実施形態において、動力に対する出力接続及びバッテリー906が提供されても良い。運動検出モジュール908は、磁力計910、加速度計912、及びジャイロスコープ914のような任意の様々な種類の運動感度の高いハードウェアを含んでも良い。

0131

加速度計は、反作用の力を生じさせる加速度及び重力を計測するための装置である。単一の及び複数の軸(例えば6軸)のモデルは、様々な方向における加速度の大きさ及び方向を検出することができる。加速度計は、傾き、振動、及び衝撃を検知するために使用される。1つの実施形態において、3つの加速度計912は、重力の方向を提供するために使用され、2つの角度のために(ワールドスペースピッチ及びワールドスペースロール)絶対基準を提供する。

0132

磁力計はヘッドマウントディスプレイ近傍の磁場の強さ及び方向を計測する。1つの実施形態において、3つの磁力計910がヘッドマウントディスプレイ内で使用され、ワールドスペースヨー角のための絶対基準を確実とする。1つの実施形態において、磁力計は±80マイクロテラである地磁場範囲設定されるように設計される。磁力計は金属によって影響され、実際のヨーによって単調なヨー計測を提供する。磁場は、環境内の金属によって歪まされ得るものであり、これはヨー計測において歪みを生じさせる。必要であれば、この歪みはジャイロスコープまたはカメラのような他のセンサーからの情報を用いて校正されることができる。1つの実施形態において、加速度計912は、ヘッドマウントディスプレイ102の傾き及び方位を得るために磁力計910と共に使用される。

0133

ジャイロスコープは、角運動量の原理に基づいて方向を計測または維持するための装置である。1つの実施形態において、3つのジャイロスコープ914は、慣性力の検知に基づいてそれぞれの軸線(x、y及びz)に亘る動作についての情報を提供する。ジャイロスコープは、高速回転の検知を支援する。しかしながら、ジャイロスコープは、絶対基準がなければ経時的にドリフトする。これは、周期的にジャイロスコープの再設定を必要とし、これは、対象、加速度計、磁力計等の視覚的追跡に基づいた位置/方向決定のような他の入手可能な情報を用いてなされ得る。

0134

カメラ916は、実環境の画像及び画像ストリームを取得するために提供される。1つよりも多いカメラは、(選択的に)ヘッドマウントディスプレイ102において含まれても良く、後部に面するカメラ(使用者がヘッドマウントディスプレイ102のディスプレイを見るときに使用者から外方に方向付けられる)と、前部に面するカメラ(使用者がヘッドマウントディスプレイ102のディスプレイを見るときに使用者に向かって方向付けられる)と、を含む。付加的に、深度カメラ918が実際の環境における対象の深さ情報を検知するためにヘッドマウントディスプレイ102に含まれても良い。

0135

ヘッドマウントディスプレイ102は、音声出力を提供するためのスピーカー920を含む。さらに、マイク922が実際の環境からの、周囲、環境、使用者等によってなされるスピーチからの音声を含む音声を取得するために含まれても良い。ヘッドマウントディスプレイ102は、使用者に対して触知性のフィードバックを提供するための触知性のフィードバックモジュール924を含む。1つの実施形態において、触知性のフィードバックモジュール924は、使用者に対して触知性のフィードバックを提供するようにヘッドマウントディスプレイ102の動作及び/または振動を生じさせることができる。

0136

LED926は、ヘッドマウントディスプレイ102の状態の視覚的指示器として提供される。たとえば、LEDはバッテリーレベル、動力オン等を示しても良い。カードリーダー928は、ヘッドマウントディスプレイ102が読まれることを可能とするように且つ、情報がメモリカードに対して及びメモリカードから書き出されるのを可能とするように提供される。インタフェース930は、周辺機器の接続または(他の携帯可能な機器、コンピュータ等のような)他の機器への接続を可能とするインタフェースの1つの例示として含まれる。ヘッドマウントディスプレイ102の様々な実施形態において、ヘッドマウントディスプレイ102のより好適な接続性を可能とするように任意の様々なインタフェースが含まれても良い。

0137

WiFi(登録商標)モジュール932は、無線ネットワーク技術を介したインターネットへの接続を可能とするように含まれても良い。さらに、ヘッドマウントディスプレイ102は、他の装置に対する無線接続を可能とするようにブルートゥース(登録商標)モジュール934を含んでも良い。通信リンク936は、他の装置への接続のために含まれても良い。1つの実施形態において、通信リンク936は、ワイヤレス通信のために赤外線伝送を使用しても良い。他の実施形態において、通信リンク936は、他の装置との通信のための任意の様々な無線または有線の送信プロトコルを使用しても良い。

0138

入力ボタン/センサー938は、使用者のために入力インタフェースを提供するために含まれる。任意の様々な種類の入力インタフェースは、ボタン、ジェスチャー、タッチパッドジョイスティックトラックボール等のように含まれても良い。超音波通信モジュール940は、超音波技術を介した他の装置との通信を容易とするためにヘッドマウントディスプレイ102において含まれても良い。

0139

バイオセンサー942は、使用者からの生理学的データの検出を可能とするために含まれても良い。1つの実施形態において、バイオセンサー942は、使用者/特徴等を識別するために使用者の肌、声検出、目の網膜検出によって使用者の生体電子信号を検出するための1つまたは複数のドライ電極を含む。

0140

前述のヘッドマウントディスプレイ102の構成要素は、単にヘッドマウントディスプレイ102において含まれても良い例示的構成要素として記載された。本発明に係る様々な実施形態において、ヘッドマウントディスプレイ102は、様々な前述の構成要素のいくつかを含んでもよくまたは含まなくても良い。ヘッドマウントディスプレイ102の実施形態は、付加的に本明細書において記載されないが、本明細書において記載された本発明に係る態様を容易とする目的のため技術的に知られた他の構成要素を含んでも良い。

0141

当業者にとって当然のことながら、本発明に係る様々な実施形態において、前述の手動式装置は、様々な相互作用的機能を提供するためにディスプレイに表示された相互作用的アプリケーションと共に使用されても良い。本明細書に記載された例示的実施形態は、例示によってのみ提示され、限定により提供されるものではない。

0142

1つの実施形態において、本明細書において記載されたクライアント及び/またはクライアント装置は、ヘッドマウントディスプレイ(HMD)、端末、パーソナルコンピュータ、ゲームコンソール、タブレットコンピュータ、電話、セットトップボックス、キオスク無線装置デジタルパッドスタンドアロン装置、及び/または手動操作ゲームプレイ装置等を含んでも良い。概して、クライアントは、符号化された映像ストリームを受信し、映像ストリームを復号化し、結果としての映像を使用者、たとえばゲームのプレイヤーに対して示すように構成される。符号化された映像ストリームを受信するプロセス及び/または映像ストリームを復号化するプロセスは、概してクライアントの受信バッファにおいて人の映像フレームを記憶するプロセスを含む。映像ストリームは、クライアントと一体のディスプレイにおいてあるいはモニターまたはテレビのような分離した装置において使用者に対して示されても良い。

0143

クライアントは、選択的に1よりも多いゲームプレイヤーサポートするように構成される。たとえば、ゲームコンソールは、2人の、3人の、4人の、またはそれより多くの同時プレイヤー(たとえば、P1、P2、Pn)をサポートするように構成されても良い。これらのプレイヤーのそれぞれは、映像ストリームを受信または共有しても良く、あるいは、単一の映像ストリームは、特にそれぞれのプレイヤーのために生成された、たとえばそれぞれのプレイヤーの視点に基づいて生成された、フレームの領域を含んでも良い。任意の数のクライアントは、ローカル(たとえば共同設置)であることができ、または地理的に分散され得る。ゲームシステムに含まれるクライアントの数は、1つまたは2つから千、万またはそれ以上へと幅広く変更されても良い。本明細書において使用されたように、「ゲームプレイヤー」という語は、ゲームをプレイする人を示すために使用され、「ゲームプレイ装置」という語は、ゲームをプレイするために使用される装置を示すために使用される。いくつかの実施形態において、ゲームプレイ装置は、使用者に対してゲーム体験を伝えるために協働する複数のコンピューティング装置を示しても良い。

0144

たとえば、ゲームコンソール及びHMDは、HMDを通して見られるゲームを送信するために映像サーバーシステムと協働しても良い。1つの実施形態において、ゲームコンソールは、映像サーバーシステムから映像ストリームを受信し、ゲームコンソールは、レンダリングのためにHMD及び/またはテレビに対して映像ストリームを転送し、または映像ストリームを更新する。

0145

さらに、HMDは、ビデオゲームコンテンツ、映画コンテンツ、映像クリップコンテンツ、ウェブコンテンツ、広告コンテンツコンテストコンテンツ、ギャンボルゲームコンテンツ、会議電話ミーティングコンテンツ、ソーシャルメディアコンテンツ(たとえば投稿、メッセージ、メディアストリーム、友人イベント及び/またはゲームプレイ)、映像部分及び/または音声コンテンツ、及びブラウザ及びアプリケーションを介したインターネット上のソースからの消費のために作成されたコンテンツ、及び、任意の形式のストリームコンテンツ、のような、生成されまたは使用された任意の形式のコンテンツを見るため、及び/または相互作用するために使用されることができる。当然のことながら、前述のコンテンツのリストは限定するものではなく、HMDにおいて見られる限り任意の形式のコンテンツがレンダリングされ、あるいはスクリーンまたはHMDのスクリーンに対してレンダリングされ得る。

0146

クライアントは、要求されるものではないが、受信された映像を変更するために構成されたシステムをさらに含む。たとえば、クライアントは、ビデオ画像等を切り取るために、1つのビデオ画像を別のビデオ画像に対して重ねるためにさらなるレンダリングを実行するように構成されても良い。たとえばクライアントは、I−フレーム、P−フレーム及びB−フレームのような様々な形式の映像フレームを受信し、且つ、これらのフレームを使用者に対して表示するための画像へと処理するように構成されても良い。いくつかの実施形態において、クライアントのメンバーは、さらなるレンダリング、共有化、3Dへの変換、2Dへの変換、歪み除去サイジング、または映像ストリームにおける同等の操作を実行するように構成されても良い。クライアントのメンバーは、選択的に1よりも多い音声または映像ストリームを受信するように構成されても良い。

0147

クライアントの入力装置は、たとえば、片手用ゲームコントローラ、両手用ゲームコントローラ、ジェスチャー認識システム注視認識システム音声認識システムキーボード、ジョイスティック、位置指示装置力フィードバック装置運動検知装置及び/または位置検知装置マウスタッチスクリーン神経インタフェース、カメラ、及び/またはまだ開発中の入力装置等を含んでも良い。

0148

映像源は、たとえば、記憶装置のようなコンピュータ可読媒体に記憶されるハードウェア、ファームウェア、及び/またはソフトウェアのようなレンダリングロジックを含んでも良い。このレンダリングロジックは、ゲーム状態に基づいて映像ストリームの映像フレームを形成するように構成される。レンダリングロジックの全てまたは部分は、選択的に1つまたは複数のグラフィック処理装置(GPU)内に配置される。レンダリングロジックは、ゲーム状態及び視点に基づいて対象の間の3次元の空間関係を決定し及び/または適したテクスチャ等を適用するように構成された処理段階を概して含む。レンダリングロジックは、符号化された生の映像を生成し得る。例えば、生の映像は、アドビのフラッシュ(登録商標)標準HTML−5、.wav、H.264、H.263、On2、VP6、VC−1、WMA、Huffyuv、Lagarith、MPG−x.Xvid.FFmpeg、x264、VP6−8、realvideo、mp3等によって符号化されても良い。符号化プロセスは、装置におけるデコーダに対する送信のために選択的にパッケージされる映像ストリームを生成する。映像ストリームは、フレームサイズ及びフレームレートによって特徴付けられる。従来のフレームサイズは、800×600、1280×720(例えば720p)、1024×768、1080pを含むが、任意の他のフレームサイズが使用されても良い。フレームレートは、毎秒の映像フレームの数である。映像ストリームは、様々な形式の映像フレームを含んでも良い。たとえば、H.264標準は、「P」フレーム及び「I」フレームを含む。I−フレームがディスプレイ装置において全てのマクロブロックピクセルリフレッシュするための情報を含み、一方で、P−フレームはそのサブセットをリフレッシュするための情報を含む。P−フレームは、データサイズが概してI−フレームより小さい。本明細書において使用されるように、「フレームサイズ」という語は、フレーム内のピクセルの数を示すことを意味する。「フレームデータサイズ」という語は、フレームを記憶するために必要とされるバイト数を示すように使用される。

0149

いくつかの実施形態において、クライアントは、汎用コンピュータ、特定用途のコンピュータ、ゲームコンソール、パーソナルコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、モバイルコンピューティング装置ポータブルゲーム装置、携帯電話、セットトップボックス、ストリームメディアインタフェース/装置、スマートテレビまたはネットワーク化されたディスプレイ、または本明細書において定義されたようなクライアントの機能性を満たすように構成されることができる任意の他のコンピューティング装置、であり得る。1つの実施形態において、クラウドゲームサーバーは、使用者によって使用されるクライアント装置の形式を検出するように構成され、使用者のクライアント装置に適したクラウドゲーム体験を提供する。たとえば、画像設定音声設定、及び他の形式の設定は、使用者のクライアント装置のために最適化されても良い。

0150

図10は、情報サービスプロバイダアーキテクチャの実施形態を示す。情報サービスプロバイダ(ISP)1070は、地理的に分散され且つネットワーク1086を介して接続された使用者1082に対して複数の情報サービスを送信する。ISPは、株価更新のような1つの形式のサービスのみを送信することができ、または、放送メディアニューススポーツ、ゲーム等の様々なサービスを送信することができる。付加的に、それぞれのISPによって提供されたサービスは、動的であり、すなわち、サービスは、どの時点においても付加されることができ、または取り除かれ得る。したがって、特定の人に対して特定の形式のサービスを提供するISPは、経時的に変更し得る。たとえば、使用者は、彼ホームタウンにいる間、使用者の近傍のISPによって供給されても良く、使用者は異なる街へ移動するときに異なるISPによって供給されても良い。ホームタウンのISPは、要求された情報及びデータを新しいISPへと送信し、これによって、使用者情報は、使用者を、使用者により近い、且つ、よりアクセスし易い新しい街の作成するデータに対して「追従させる」。別の実施形態において、使用者のために情報を管理するマスターISPとマスターISPからの制御下で使用者と直接的に接するサーバーISPとの間のマスターサーバー関係が確立されても良い。別の実施形態において、クライアントがこれらのサービスを送信することになる使用者に供給するのにより好適な位置にあるISPを作るために世界中を移動したときに、データは、1つのISPから別のISPへと送信される。

0151

ISP1070は、ネットワーク上で顧客に対してコンピュータベースのサービスを提供するアプリケーションサービスプロバイダ(ASP)1072を含む。ASPモデルを用いて提供されるソフトウェアは、時々オンデマンドソフトウェアまたはサービス型ソフトウェア(SaaS)とも称される。特定のアプリケーションプログラム顧客関係管理等)に対するアクセスを提供する簡易な形式は、HTTPのような標準プロトコルの使用による。アプリケーションソフトウェアは、ベンダーのシステムに属し、HTMLを使用したウェブブラウザによって、ベンダーによって提供される特定用途のクライアントソフトウェアにより、またはシンクライアントのような他のリモートインタフェースにより、使用者によってアクセスされる。

0152

広い地理的エリアに亘り送信されるサービスは、クラウドコンピューティングを使用することが多い。クラウドコンピューティングは、コンピューティングの様式であり、動的に拡張可能な且つたびたび仮想化されるリソースがインターネット上のサービスとして提供される。使用者は、彼らをサポートする「クラウド」内の技術インフラにおける専門家になる必要がない。クラウドコンピューティングは、サービス型インフラ(IaaS)、サービス型プラットフォーム(PaaS)、及びサービス型ソフトウェア(SaaS)のような異なるサービスに分割され得る。ソフトウェア及びデータがサーバーに記憶される一方で、クラウドコンピューティングサービスは、ウェブブラウザからアクセスされる共通のビジネスアプリケーションオンラインで提供することが多い。クラウドという語は、コンピュータネットワーク図においてどのようにインターネットが示されるかに基づいて、インターネットのための象徴として使用され(たとえば、サーバー、記憶装置及びロジックを用いる)、それが包含する複雑なインフラのための抽象的概念である。

0153

さらに、ISP1070は、一人の及び複数のプレイヤーのビデオゲームをプレイするためにゲームクライアントによって使用されるゲーム処理サーバー(GPS)1074を含む。インターネット上でプレイされる多くのビデオゲームは、ゲームサーバーに対する接続を介して操作する。概して、ゲームは、プレイヤーからデータを取得し、それを他のプレイヤーに対して分配する専用のサーバーアプリケーションを使用する。これはピアツーピア構成より効率的且つ効果的であるが、サーバーアプリケーションをホストするための分離したサーバーを必要とする。別の実施形態において、GPSは、プレイヤー間の通信を確立し、それらの各ゲームプレイ装置は、中心化されたGPSに頼ることなく情報を交換する。

0154

専用GPSは、クライアントとは別個に機能するサーバーである。こうしたサーバーは、データセンターに配置された専用ハードウェアにおいて概して機能し、より高い処理能力及び専用の処理パワーを提供する。専用サーバーは、多くのPCベースの複数プレイヤーのゲームのためのゲームサーバーをホストするための好適な方法である。専用サーバーにおいて実行される大規模な複数のプレイヤーのオンラインゲームは、通常ゲームタイトル所有するソフトウェア会社によってホストされ、彼らがコンテンツを制御し且つ更新することを可能とする。

0155

放送処理サーバー(BPS)1076は、音声信号または映像信号視聴者に対して分配する。かなり狭い視聴者の範囲への放送は、ナロキャスティングと称されることがある。放送配信の最後の工程は、いかに信号がリスナーまたは視聴者に対して届けられ、ラジオ局またはテレビ局のように放送局を介してまたはネットワークから直接的にアンテナ及び受信機へと送信されあるいはケーブルテレビまたはケーブルラジオ(または「ワイヤレスケーブル」)によって送信されるか、ということである。インターネットは、特に信号及び帯域幅が共有化されるのを可能とするマルチキャストによってラジオまたはテレビを受信者へと送っても良い。歴史的に、放送は、全国放送または地域放送のように地理的領域によって区切られてきた。しかしながら、高速インターネットの普及により、コンテンツは世界のほとんどいかなる国へも届き得るため、放送は、地理によって定義されない。

0156

ストレージサービスプロバイダSSP)1078は、コンピュータストレージ空間及び関連する管理サービスを提供する。SSPは、定期的なバックアップ及びアーカイブも提供する。記憶装置をサービスとして提供することにより、使用者は、必要に応じてさらなる記憶装置をオーダーすることができる。別の主要な利点は、SSPがバックアップサービスを含み、使用者はコンピュータのハードドライブ故障した場合であっても全てのデータを失わないということである。さらに、複数のSSPは、使用者のデータの全体のまたは部分的なコピーを有することができ、使用者は、使用者がどこにいるのかに関係なく、またはデータにアクセスするのに使用される装置に関係なく、効率的な方法でデータにアクセスすることを可能とする。たとえば、使用者は、使用者が移動中の携帯電話におけるアクセスと同様に、家のコンピュータにおいて個人的なファイルにアクセスすることができる。

0157

通信プロバイダ1080は、使用者に対して接続性を提供する。一種の通信プロバイダは、インターネットへのアクセスを提供するインターネットサービスプロバイダ(ISP)である。ISPはダイアルアップ、DSL、ケーブルモデムファイバー、ワイヤレスまたは専用の高速相互接続のようなインターネットプロトコルデータグラムの配信に適したデータ伝送技術を用いてその顧客を接続する。通信プロバイダは、eメールインスタントメッセージ、及びSMSテキストのようなメッセージサービスを提供することもできる。別の形式の通信プロバイダは、インターネットに対する直接的な基幹アクセスを提供することにより回線容量またはネットワークアクセスを売るネットワークサービスプロバイダ(NSP)である。ネットワークサービスプロバイダは、高速インターネットアクセスを提供する電気通信会社、データキャリア、ワイヤレス通信プロバイダ、インターネットサービスプロバイダ、ケーブルテレビオペレータ等で構成される。

0158

データ交換1088は、ISP1070内の複数のモジュールを相互連結させ、これらのモジュールを、ネットワーク1086を介して使用者1082へと接続する。データ交換1088は、ISP1070の全てのモジュールが近傍にある小さなエリアをカバーすることができ、または異なるモジュールが地理的に分散されるときに大きな地理的エリアをカバーすることができる。たとえば、データ交換1088は、データセンターのキャビネット内の高速なギガビットイーサネット(登録商標)(またはより高速な)または大陸仮想エリアネットワーク(VLAN)を含むことができる。

0159

使用者1082は、クライアント装置1084により遠隔サービスにアクセスし、これは、少なくともCPU、ディスプレイ及びI/Oを含む。クライアント装置は、PC、携帯電話、ネットブック、タブレット、ゲームシステム、PDA等であり得る。1つの実施形態において、ISP1070は、クライアントによって使用される装置の形式を認識し、使用される通信方法を調整する。他の場合において、クライアント装置は、ISP1070にアクセスするためにhtmlのような標準の通信方法を使用する。

0160

本発明に係る実施形態は、手動操作式装置マイクロプロセッサシステムマイクロプロセッサベースのまたはプログラム可能家庭用電子機器ミニコンピュータ、及びメインフレームコンピュータ等を含む様々なコンピュータシステム構成によって実行されても良い。さらに本発明は、ワイヤーベースのネットワークまたはワイヤレスネットワークによってリンクされた遠隔処理装置によってタスクが実行される分散コンピューティング環境において実行され得る。

0161

上述の実施形態を考慮し、本発明が、コンピュータシステムに記憶されたデータを伴う様々な、コンピュータにより実施される操作を使用できることに留意されたい。これらの操作は、物理量の物理的操作を要するものである。本発明の部分を構成する本明細書に記載されたいかなる操作も有益な機械操作である。本発明は、さらにこれらの操作を実行するための装置または機器に関する。装置は、必要な目的のために特に構成されることができ、または装置は、コンピュータに記憶されたコンピュータプログラムによって選択的に起動されまたは構成される汎用コンピュータであり得る。特に、様々な汎用機械は、本明細書における技術にしたがって書かれたコンピュータプログラムによって使用されることができ、または、必要な操作を実行するためのより特化された機器を構成するとより好適になる。

0162

本発明は、コンピュータ可読媒体におけるコンピュータ可読コードとしてさらに具現化され得る。コンピュータ可読媒体は、データを記憶でき、したがってコンピュータシステムにより読まれ得る任意のデータ記憶装置である。コンピュータ可読媒体の例示は、ハードドライブ、ネットクワーク接続ストレージ(NAS)、読み込み専用メモリランダムアクセスメモリCD−ROM、CD−R、CD−RW、磁気テープ、及び他の光学的及び非光学的データ記憶装置を含む。コンピュータ可読媒体は、コンピュータ可読コードが離散された方法で記憶され且つ実行されるような、ネットワーク結合されたコンピュータシステムに亘り離散したコンピュータ可読有形媒体を含むことができる。

0163

方法操作は特定の順序で説明されたが、当然のことながら、操作の間において他の維持管理操作が実行されても良く、または操作はわずかに異なる時間においてそれらが生じるように調整されても良く、またはシステムにおいて離散されても良く、これは、重複操作の処理が目的とする方法において実行されるかぎり、処理と関連した様々な間隔で処理操作が生じるのを可能とする。

0164

理解の明確化の目的のためいくらかの詳細において前述の発明が説明されてきたが、特定の変形及び変更が添付の特許請求の範囲の範囲内で実行され得ることは明らかである。したがって、本実施形態は、限定するものではなく例示として考慮されるべきものであり、本発明は、本明細書において提供された詳細に限定されるべきものではなく、添付の特許請求の範囲の範囲内及び均等内において変更され得る。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ