図面 (/)

NEWこの技術のポテンシャルをビッグデータで簡単査定!

特許:約8,000万件, クラウドファンディング:約100万年件, 科研費・グラントデータ:約500万件, 発明者・研究者情報:約600万人

この項目の情報は公開日時点(2016年9月1日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

解決手段

頭部装着装置(HMD)の画像表示管理のための方法、システム及びコンピュータプログラムが提供される。ある方法は、仮想世界情景を表示しているHMDを着用しているユーザの凝視を追跡するオペレーションを含む。加えて、当該方法は、ユーザの凝視が所定エリアで所定時間固定していることを検出するオペレーションを含む。その検出に応答して、当該方法は領域の外側の表示エリアの仮想世界の場面を維持しながら、HMDの表示領域をフェードアウトする。更に、その方法は、ユーザが領域を見通しているときに、HMDがユーザにとって透明であるかのように現実世界に情景を領域にフェードインするオペレーションを含む。現実世界の情景のフェードインは領域の外側の仮想世界の場面を維持することを含む。

概要

背景

一般的に、HMDは、目から短い距離に配置されているディスプレイが、ユーザインタラクションのために画像を提供するように、ユーザの頭部の周りに装着される携帯装置である。HMDには、ユーザが計算装置で作成された画像と共に実際の画像を見ることができる現実世界仮想空間の混合環境を提供しているものがある。その他のHMDは、HMDディスプレイ上の仮想世界を提供しながら、ユーザに外の世界を遮断する没入型の経験を提供している。

概要

頭部装着装置(HMD)の画像表示管理のための方法、システム及びコンピュータプログラムが提供される。ある方法は、仮想世界の情景を表示しているHMDを着用しているユーザの凝視を追跡するオペレーションを含む。加えて、当該方法は、ユーザの凝視が所定エリアで所定時間固定していることを検出するオペレーションを含む。その検出に応答して、当該方法は領域の外側の表示エリアの仮想世界の場面を維持しながら、HMDの表示領域をフェードアウトする。更に、その方法は、ユーザが領域を見通しているときに、HMDがユーザにとって透明であるかのように現実世界に情景を領域にフェードインするオペレーションを含む。現実世界の情景のフェードインは領域の外側の仮想世界の場面を維持することを含む。

目的

一般的に、HMDは、目から短い距離に配置されているディスプレイが、ユーザインタラクションのために画像を提供する

効果

実績

技術文献被引用数
3件
牽制数
6件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

頭部装着装置(HMD)の画像表示管理方法であって、仮想世界の場面を表示する前記HMDを着用するユーザの凝視を追跡するステップと、前記ユーザの前記凝視が所定エリアに所定時間固定されていることを検出するステップと、前記検出するステップに応答して前記HMDの表示領域をフェードアウトする一方、前記領域外表示エリア内の前記仮想世界の前記場面を維持するステップと、前記領域を見通しているときに前記HMDが前記ユーザにとって透明であるかのように現実世界情景を前記領域にフェードインするステップとを含み、前記フェードインするステップは前記領域外の前記仮想世界の前記場面を維持するステップを含む、方法。

請求項2

前記所定エリアは、前記表示の下方に形成されたエリア、前記表示の片側に形成されたエリア、前記表示の上方に形成されたエリアまたは前記表示の角に形成されたエリアの1つである請求項1に記載の方法。

請求項3

前記所定エリアは前記表示の下方に形成され、前記領域は前記表示の下半分である請求項1に記載の方法。

請求項4

前記領域は前記表示の中心にある長方形である請求項1に記載の方法。

請求項5

前記フェードアウトの前に前記ユーザに確認を求めるステップを更に含む請求項1に記載の方法。

請求項6

前記現実世界の前記情景を終了するためのコマンドを前記ユーザから受信するステップと、前記領域の前記現実世界の前記情景をフェードアウトすること及び前記仮想世界の前記情景を前記領域にフェードインするステップとを更に含む請求項1に記載の方法。

請求項7

前記凝視を追跡するステップは、更に、前記ユーザの眼の画像を前記HMD内のカメラで取り込むステップと、前記ユーザの前記凝視を判断するために前記取り込んだ画像を分析するステップとを含む請求項1に記載の方法。

請求項8

前記現実世界の前記情景は前記HMDの前のカメラによって取り込まれる請求項1に記載の方法。

請求項9

前記所定の時間が2秒である請求項1に記載の方法。

請求項10

頭部装着装置(HMD)の画像表示管理方法であって、ユーザを前記HMDに順応させるためにオペレーションを検出するステップと、前記HMDが透明であるかのようにディスプレイに現実世界の情景を提示するステップと、仮想要素拡張現実モードにある前記現実世界の前記情景に加えるステップと、前記ディスプレイに前記仮想要素を維持しながら前記ディスプレイから前記現実世界をフェードアウトするステップと、前記仮想要素の周りの仮想世界をフェードインするステップとを含む、方法。

請求項11

前記拡張現実モードは仮想オブジェクトが前記現実世界に配置されているかのように前記仮想オブジェクトを提示するステップを含み、前記現実世界に関する前記HMDの動きが前記仮想オブジェクトの同一場所を前記現実世界に収容している請求項10に記載の方法。

請求項12

前記現実世界と前記仮想世界は前記仮想要素を除き前記ディスプレイ上で混合されない請求項10に記載の方法。

請求項13

前記現実世界と前記仮想世界は前記現実世界が、前記フェードアウトの間、混合される請求項10に記載の方法。

請求項14

前記仮想要素を加えるステップは、更に、前記現実世界の前記情景に前記仮想要素をフェードインするステップを含む請求項10に記載の方法。

請求項15

前記方法のオペレーションは1つまたは複数のプロセッサによって稼働されたときにコンピュータプログラムによって実行され、前記コンピュータプログラムは非一時的コンピュータ読取可能媒体に埋め込まれている、請求項10に記載の方法。

請求項16

頭部装着装置(HMD)の画像表示を管理するために1つまたは複数のプロセッサによって稼働されているときに非一時的コンピュータ読取可能媒体に埋め込まれているコンピュータプログラムであって、仮想世界の場面を表示する前記HMDを着用するユーザの凝視を追跡するプログラムインストラクションと、仮想世界の情景を表示する前記HMDを着用するユーザの凝視を追跡するプログラムインストラクションと、前記ユーザの前記凝視が所定エリアに所定時間固定されていることを検出するプログラムインストラクションと、前記検出に応答して、前記HMDの表示領域をフェードアウトする一方、前記領域外の表示エリアの前記仮想世界の前記場面を維持するプログラムインストラクションと、前記領域を見通しているときに前記HMDが前記ユーザにとって透明であるかのように現実世界の情景を前記領域にフェードインするプログラムインストラクションとを含み、前記フェードインするステップは前記領域外の前記仮想世界の前記場面を維持するステップを含む、コンピュータプログラム。

請求項17

前記所定エリアは、前記表示の下方に形成されたエリア、前記表示の片側に形成されたエリア、前記表示の上方に形成されたエリアまたは前記表示の角に形成されたエリアの1つである請求項16に記載のコンピュータプログラム。

請求項18

前記所定エリアは、前記表示の下方に形成され、前記領域は前記表示の下半分である請求項16に記載のコンピュータプログラム。

請求項19

前記現実世界の前記情景を終了するためのコマンドを前記ユーザから受信するステップと、前記領域の前記現実世界の前記情景をフェードアウトするステップと、前記領域の前記仮想世界の情景をフェードインするステップとを更に含む請求項16に記載のコンピュータプログラム。

請求項20

前記凝視を追跡するステップは、更に、前記ユーザの眼の画像を前記HMD内のカメラで取り込むステップと、前記ユーザの前記凝視を判断するために前記取り込んだ画像を分析するステップとを含む請求項16に記載のコンピュータプログラム。

請求項21

頭部装着装置(HMD)の画像表示管理方法であって、ユーザの凝視が前記HMDの表示上に投影されるときに前記ユーザの前記凝視を追跡するステップと、前記凝視の追跡のときに前記凝視のトラジェクトリ識別するステップと、前記識別されたトラジェクトリと前記ユーザのシグネチャを比較するステップと、前記シグネチャは凝視のシグネチャトラジェクトリを含んでおり、前記識別されたトラジェクトリが前記シグネチャトラジェクトリに対応するとき前記HMDのリソースアクセス可能にするステップとを含む、方法。

技術分野

0001

本発明の実施形態は、頭部装着装置(HMD)の有用性を改善するための方法に関し、より詳しく記述すると、本発明の実施形態はHMD内のディスプレイの画像をレンダリングするための方法、システム及びコンピュータプログラムに関するものである。

背景技術

0002

一般的に、HMDは、目から短い距離に配置されているディスプレイが、ユーザインタラクションのために画像を提供するように、ユーザの頭部の周りに装着される携帯装置である。HMDには、ユーザが計算装置で作成された画像と共に実際の画像を見ることができる現実世界仮想空間の混合環境を提供しているものがある。その他のHMDは、HMDディスプレイ上の仮想世界を提供しながら、ユーザに外の世界を遮断する没入型の経験を提供している。

発明が解決しようとする課題

0003

しかし、ユーザがHMDのディスプレイを通じて、現実世界や仮想世界を見ている間に、HMDの計算能力がディスプレイ上の画像をリフレッシュするのに十分ではない可能性があるため、問題が発生する場合がある。これは、HMDのユーザに乗り物酔いや、めまいを引き起こす可能性がある。この現象は、特に、ユーザが妨げられ(例えば、電話を受けて)、すぐにHMD環境を去りたい場合に重大である。

0004

ユーザが迅速な注意を特定の事象払う必要が場合に、ユーザがすぐに現実世界と調和することができるようなHMDが必要とされている。

0005

上述の状況に鑑み実施形態を提供する。

課題を解決するための手段

0006

頭部装着装置(HMD)における画像の表示を管理するために、方法、装置、システム、及びコンピュータプログラムが提示されている。本実施形態は、方法、装置、システム、デバイスまたはコンピュータ読取可能媒体上のコンピュータプログラムのような多数の方法で実行できることを理解すべきである。いくつかの実施形態を以下に記載する。

0007

一実施形態では、方法は、HMDが仮想世界の場面を表示しているHMDを装着しているユーザの凝視を追跡するためのオペレーションを含む。さらに、上述の方法は、ユーザの凝視が所定の時間、所定の領域上に固定されていることを検出するためのオペレーションを含む。検出に応答して、表示領域外の領域に仮想世界の場面を維持しながら、上述の方法は、HMDの表示領域をフェードアウトする。さらに、前述方法は、ユーザが領域を見ている間に、HMDがユーザにとって透明であるかのように、領域に現実世界の情景フェードインするオペレーションを含む。現実世界の情景のフェードインは領域外に仮想世界の場面を維持することを含む。

0008

別の実施形態においては、頭部装着装置(HMD)における画像の表示を管理するための方法は、HMDをユーザに順応させるためのコマンドを検出するオペレーションを含む。さらに、この方法は、HMDが透明であるかのようにディスプレイ上に現実世界の情景を提示するオペレーション、及び拡張現実モードでは、この方法は、現実世界の情景に仮想要素を追加するオペレーションを含む。さらに、この方法は、ディスプレイ上の仮想要素を維持しながら、ディスプレイから現実世界の情景をフェードアウトするための、及び、仮想要素の周囲に仮想世界の情景をフェードインするためのオペレーションを含む。

0009

さらに別の実施形態では、頭部装着装置(HMD)上の画像の表示を管理するための、一つ以上のプロセッサによって実行される非一時的なコンピュータ読取可能記憶媒体に埋め込まれたコンピュータプログラムは、仮想世界の場面を表示しているHMDを装着したユーザの凝視を追跡するためのプログラムインストラクションを含む。さらに、コンピュータプログラムは、仮想世界の場面を表示しているHMDを装着したユーザの凝視を追跡するためのプログラムインストラクション及びユーザの凝視が所定の時間の所定の領域上に固定されていることを検出するためのプログラムインストラクションを含む。また、コンピュータプログラムは、表示領域の外側の領域に仮想世界の場面を維持しながら、検出に応答して、HMDの表示領域をフェードアウトするためのプログラムインストラクションを含む。また、コンピュータプログラムは、ユーザが領域を見ている間に、HMDがユーザにとって透明であるかのように、領域に現実世界の情景をフェードインするプログラムインストラクションを含み、フェードインは領域外の仮想世界の場面を維持することを含む。

0010

さらに別の実施形態では、頭部装着装置(HMD)上の画像の表示を管理するための方法は、凝視がHMDのディスプレイ上に投影されるときに、ユーザの凝視を追跡するためのオペレーションを含む。さらに、この方法は、凝視が追跡される間、凝視のトラジェクトリを特定するためのオペレーションを含む。識別されたトラジェクトリは、ユーザのためのシグネチャと比較され、そのシグネチャは凝視のシグネチャトラジェクトリを含む。さらに、この方法は、識別されたトラジェクトリが、シグネチャのトラジェクトリに対応する場合にHMD上のリソースへのアクセスを可能にするためのオペレーションを含む。

0011

他の態様は、添付の図面と併せて以下の詳細な説明から明らかになるであろう。

図面の簡単な説明

0012

実施形態は、添付の図面と併せて、以下の説明を参照することによって理解できる。

0013

一実施形態による頭部装着装置(HMD)を含む複数のデバイスと相互に作用するユーザを図示している。

0014

一実施形態による画像解析を介したHMDの追跡を図示している。

0015

一実施形態によるユーザの凝視を追跡するための内部カメラを有するHMDを示している。

0016

視覚追跡のための照明ポイントを有するHMDの実施形態を示している。

0017

一実施形態による凝視によるパスワードの入力を図示している。

0018

一実施形態によるユーザがHMDを使用開始したときに検出するための方法を図示している。

0019

一実施形態による凝視シグネチャのエントリを図示している。

0020

一実施形態による現実世界の情景から仮想世界の情景への表示遷移を図示している。

0021

一実施形態による現実世界から拡張現実、そして仮想世界の情景への遷移を図示している。

0022

本発明の実施形態を実施するために使用することができるデバイスのアーキテクチャを図示している。

0023

いくつかの実施形態によるHMD環境から遷移するための入力を図示している。

0024

一実施形態による仮想世界と現実世界の情景の混在表示を図示している。

0025

一実施形態による凝視を介して入力された退出コマンドの検出を図示している。

0026

一実施形態によるHMD情景の没入の異なる段階を図示している。

0027

一実施形態によるユーザをHMDに順応させるためのフローチャートである。

0028

一実施形態によるユーザをHMDの順応を外すためのフローチャートである。

0029

一実施形態によるHMD上の画像の表示を管理するためのフローチャートである。

0030

本発明の実施形態を実行するために使用することができるハードウェア及びユーザインタフェイスを図示している。

0031

本発明の様々な実施形態によるゲームシステムブロック図である。

実施例

0032

以下の実施形態は、頭部装着装置(HMD)上の画像の表示を管理するための方法、装置、システム、及びコンピュータプログラムを記述する。なお、本実施形態はこれらの特定の詳細の一部または全てがなくても実施できることは、明らかであろう。他の例において、周知のプロセスオペレーションは、不必要に本発明の実施形態を不明瞭にしないために詳細に記載されていない。

0033

図1は、一実施形態による頭部装着装置(HMD)を含む複数のデバイスと相互に作用しているユーザを示している。ユーザ114は、ユーザの目に近い画像をレンダリングするディスプレイ110を含むHMD102を装着している。一実施形態では、画像は、3Dでレンダリングされている。

0034

一実施形態では、計算装置106は、HMD102上に表示されるゲームを実行する。したがって、計算装置106は、ゲームをプレイするための画像を表示するためにHMD102と協働している。ゲームオレーションの処理は、計算装置106、HMD102、または計算装置106とHMD102両方で実行してもよい。

0035

図1の実施形態では、HMD102は、計算装置106と無線(例えば、WiFi(登録商標)、Bluetooth(登録商標)など)で通信している。他の実施形態(図示せず)では、HMD102は、計算装置106に直接接続されているか、ネットワーク(例えば、インターネット)を介して計算装置106と通信している。例えば、計算装置106は、ゲームサービスを提供するネットワーク上のサーバであってもよい。実施形態には、HMDは、独立のゲームプレイ装置であり、ゲームを実行するために外部装置を必要とせず、HMDで直接実行されるものもある。

0036

一実施形態では、カメラ(または複数のカメラ)が計算装置106に接続されている。計算装置106はネットワーク上のサーバである場合、カメラ104はネットワーク(例えば、インターネット)を介して計算装置に画像を送信するネットワーク接続カメラであってもよい。カメラ104は、一つ以上の通常の画像カメラステレオカメラ(すなわち、2つ以上のレンズプレイエリアから画像を取り込むカメラ)、赤外線カメラデプスカメラ、3Dカメラなどであってもよい。

0037

カメラ104で撮影された画像は、HMD102の位置及び動きを追跡するために処理されてもよい。また、画像は、ユーザの位置及び動きまたはユーザの特性(例えば、ユーザの頭、口、手、胴体など)、コントローラ(例えば、片手コントローラ116、両手コントローラ118)、あるいはプレイエレアの他の要素を追跡するために使用されてもよい。

0038

一実施形態では、ユーザは、音声認識を介してコマンドを提供することができる。前述の音声認識は、1つまたは複数のマイクロフォン120を使用して音声キャプチャを介して計算装置106によって実行されるか、一実施形態では、1つまたは複数のマイクロフォンを含むHMD102によって実行される。別の実施形態において、ユーザ114は、計算装置106によって分析し、認識されたジェスチャを介して入力を入力できる。

0039

一実施形態では、計算装置106は、いくつかのゲームオペレーションを行うことができるディスプレイ108に接続されている。例えば、ユーザがHMD102を装着する前に、ディスプレイ108は、ユーザに指示を与えることができる。別の実施形態では、ディスプレイ108は、近傍の他のプレイヤがユーザ114のHMD102に表示されているゲーム上の進捗状況を認識できるように、HMDに示したものと同じ、または類似の表示を提供できる。

0040

一実施形態では、ユーザは、1つまたは複数のコントローラ116を保持する。計算装置106は、コントローラの位置及び動きを追跡し、コントローラの動きに関連するオペレーション、またはコントローラで入力された入力をゲームの入力として使用することができる。例えば、コントローラは、ハンドルを表すことができ、その剣がゲーム場面に表示されている。ユーザがコントローラを移動すると、剣はコントローラに同期して仮想世界内で移動する。このように、プレイヤは、剣が武器である格闘ゲームオペレーションを行うことができる。

0041

一実施形態では、計算装置106は、HMD102とゲームコントローラ116との間の相対位置を計算する。その後、ゲームは相対位置を使用して、HMD102に同期してゲームオブジェクトを移動する。

0042

また、計算装置は、HMDのディスプレイ上にレンダリングされたゲームオブジェクトにリンクできる第二のコントローラ116を追跡することができる。例えば、第二のコントローラは、楯であってもよく、ユーザは、仮想世界において、剣と楯で戦うことができる。他の実施形態では、コントローラは他の目的のために、武器(例えば、拳銃ライフルまたは各種の発射する武器、レーザーガン自動車のハンドルまたはオートバイのハンドルといったステアリングデバイス懐中電灯ハンマー、楯など)などとして、ゲームにおいて使用できる。

0043

別の実施形態では、ユーザは、片手コントローラと同様の方法で使用できる両手コントローラと相互作用することができる。例えば、両手コントローラを自動車のハンドルとして使用することができる。

0044

別の実施形態では、コントローラのボタンを押すことなどによってコントローラによって入力された入力は、ゲーム内のコマンドを実行するために使用できる。例えば、ユーザは、ゲーム内のアバターを移動するために、武器を発射するために、物体つかむためになどコントローラのボタンを使用することができる

0045

なお、図1に示す実施形態は例示的なものである。他の実施形態は、別のデバイスまたは別の数のデバイスを利用できる、異なるデバイス間で多かれ少なかれ相互作用を持っている、他の通信方法(例えば超音波)を使用する、個別にHMDを装着している二人のユーザが同じゲームをプレイするマルチプレイヤゲームを容易にすることなどができる。図1に示す実施形態は唯一でも、限定するものでもなく、典型例または具体例であると解釈すべきである。

0046

図2は一実施形態による画像解析を介したHMDの追跡を示している。一実施形態では、HMD208は、HMDの視覚追跡に役立つ要素が含まれている。例えば、HMDは、赤外光210、発光ダイオードLED)214及び画像解析によって容易に認識される特殊な形状の物体を含む。例えば、簡単に追跡できるために、1つ以上の球形オブジェクト212をHMDに追加してもよい。また、球形オブジェクト202は、LED光、赤外光、または他のタイプの照明で照明できる。

0047

また、HMD208は、再帰反射領域、特定の色を持つ領域(例えば、青色の長方形など)、またはマーキング(例えば、HMDの表面上に3本の平行線)などのような特別な視覚的なマーカー(図示せず)を含んでもよい。

0048

実施形態によっては、HMDは、HMDの後部(例えば、頭の後ろに触れるHMDの部分)にライトやマーカーを含むものもある。これにより、ユーザが回って、カメラに背を向けても、HMDの後ろにあるライトまたはマーカーを検出することにより、HMDの位置を視覚的に追跡することが可能になる。

0049

HMDの視覚追跡は、異なるタイプのカメラを用いて実行できる。一実施形態では、HMDは、2つ以上のレンズを含むカメラであるステレオカメラ202で追跡される。HMD位置の特定を支援するためにHMDにおける特徴の三角測量解析を行うならびに、HMDのプレイフィールド内の深さの計算(例えば、HMDからHMDの写真を撮るカメラまでの距離)を行うために、異なるレンズからの画像が比較される。

0050

別の実施形態では、赤外線カメラ204は、赤外光(例えば、赤外光210)を解析する。赤外光は人間の目には見えないが、赤外光は赤外線カメラに映る。このように、HMDは、HMDの外観を損なわない赤外光を含んでもよい。また、一部の環境(例えば、低輝度または高輝度)において、他のタイプのライトよりも赤外光を追跡する方が簡単である。

0051

さらに別の実施形態では、カメラは一つのレンズを有しているので、モノカメラと呼ぶ通常のカメラは、HMDにおけるライトまたは特徴を追跡するために使用される。通常カメラでプレイフィールド内のHMDの深さを特定するために、HMD上のいくつかの特徴のサイズが、深さを検出するために解析される。特徴が小さければ小さいほど、HMDはカメラからより遠くに離れている。また、追跡は、慣性運動追跡、デッドレコニング、計算装置におけるHMD間の超音波通信などといった他の種類の追跡と組み合わせることができる。

0052

なお、図2に示す実施形態は例示的なものである。他の実施形態は、一つの異なる種類のカメラまたはプレイフィールド内の複数のカメラなどを利用してもよい。図2に示された実施形態は、唯一でも、限定的なものでもなく、典型的なまたは例示的であると解釈すべきである。

0053

図3は、一実施形態によるユーザの凝視を追跡するための内側カメラ302、304を有するHMDを示している。一実施形態では、ユーザがHMD208におけるディスプレイ306を見ている間に、HMDは、ユーザの凝視を追跡するために1つまたは複数のカメラ(例えば302、304)を有している。1つの実施形態では、2つのカメラ302、304がユーザのビジョンを追跡し、各カメラが異なる目を追跡している。別の実施形態では、HMDのほぼ中心に位置している単一のカメラは、両目の画像を取得し、凝視を特定するために画像を分析している。

0054

なお、図3の実施形態では、目の前に位置している複数のカメラが含まれているが、カメラはHMDの異なる部分に位置していてもよい。ミラー及びフィルタを使用して、凝視追跡カメラを複数の位置に配置することが可能である。例えば、一実施形態では、カメラが表示の背後に位置し、光を一つの方向(例えば、目からカメラの方へ)に通過させてもよい。別の実施形態では、カメラを片側に位置づけて、カメラのビジョンを目の方向に向け直すHMDの中心にあるミラーの方に向けてもよい。

0055

図4は、視覚追跡のための照明ポイントを含むHMDの実施形態を示している。図4は、プレイフィールド内のHMDの動きの追跡を容易にする複数の特徴を有するHMDを示している。 HMD402は、HMDの正面、側面及び背面に位置している赤外光404を含む。

0056

HMDの正面にある4つの赤外光は、HMDの同じ前頭面に位置している。図4の実施形態では、上部の赤外光との間の距離は下部の赤外光との間の距離より小さくなっている。これにより、前面の赤外光により形成される台形パターンは、HMDの追跡を容易にする。例えば、ユーザが頭を片方に傾けた場合、前の赤外光によって形成された台形は、ユーザの頭部と同じ角度に傾斜されることになる。

0057

また、それぞれの側面にある3つの赤外光も追跡を支援する。側面の赤外光のうちの2つはHMDの前面と側面との間で角度をなすように配置されている。そのため、カメラがHMDの前またはHMDの側面にあるとき、これらの2つの赤外光はカメラによって写る。 HMDの側面のもう一つの赤外光は、頭の側面に向いている。言い換えると、この赤外光はHMDの正面に位置している赤外光を基準として、約90°になっている。最後に、HMDの背面にある赤外光は、ユーザがカメラと反対の方向を向いている場合に、HMDの追跡を可能にする。

0058

ユーザが頭を回転すると、赤外光は異なるパターンを形成し、カメラからの画角に基づいて、赤外光は異なるレベルの明るさで知覚される。これらの距離、赤外光の大きさ、明るさのレベルは、HMDの位置の追跡において計算装置を支援する。

0059

また、HMDは、3つのLEDライト406を含む。HMDの正面に位置する2つのLEDライト406は、2つの交差する平面を形成するカバーを有している。平面の1つは、HMDの側面にあり、もう一つの面は、HMDの正面を基準として傾いている(例えば、45°)。赤外光の追跡と同様に、計算装置は、カメラで撮影したLEDライトの形状及び強度を分析する。これにより、計算装置は、HMDの位置を特定することができる。この場合でも、HMDの背面に位置するLEDライトは、ユーザがカメラと反対の方向を向いている場合に、HMDの検出を可能にする。

0060

また、HMD402はHMDをオンまたはオフするスイッチ408を含む。なお、図4に示された実施形態は例示的なものである。他の実施形態は、異なる種類のただ一つのライト、一つ以上のタイプのライト、ライトの異なるレイアウト、ライトの異なる数などを利用してもよい。したがって、図4に示す実施形態は、唯一でも、限定的なものでもなく、典型例または具体例として解釈すべきである。

0061

図5は、一実施形態に従って、凝視によるパスワードの入力を図示している。一実施形態では、ユーザに、頭部装着ディスプレイ上の特定の図形を凝視で追跡するための情報または指示を提供できる。ユーザが正しい図形を追跡した場合、ユーザは、入力として使用できる凝視パターンを作成する。凝視入力は、ユーザの検証、ゲームの入力、ユーザの識別、ゲームオブジェクトの選択など複数の目的のために使用できる。

0062

一実施形態では、凝視検出は、パスワード、名前、ID、コマンドなどを入力するために使用されている。一実施形態では、(標準的なキーボードのすべての文字数字及び記号、またはそのサブセットを含む)仮想キーボードがディスプレイ上に提示されている。ユーザは、所望の文字上、凝視を一時停止することにより、各文字504を選択する。ユーザは所定の時間(例えば、1秒、2秒など)で凝視を文字上に一時停止すると、ユーザがその文字を選択したと仮定される。

0063

例えば、パスワードを入力するときに、ユーザは、順番に、パスワードの文字のそれぞれを選択することができ、すべての文字が入力された後、ユーザはパスワードが処理の準備ができたことを知らせるために、エンターキー、またはその他のコマンドを選択する。本明細書において、以下、凝視を介して入力されたパスワードを「gazeword」、「passgaze」、「passlook」または「gazepass」と呼ぶ。これらの用語を、図6を参照して以下でより詳細に説明するように、凝視シグネチャの入力を参照する場合にも使用できる。

0064

図5の例示的な実施形態では、ユーザは文字F、A、D及びEを順序に選択することで、パスワード「FADE」を入力する。その後、ユーザは、システムが入力されたパスワードを処理できることを示すために、エンターキー506を選択する。一実施形態では、ユーザが各文字を選択すると、インディケータはユーザに文字が入力されたことを知らせる。インディケータは、文字の色を変更する、文字を点滅する、音(例えば、ビープ音)を発生する、文字のサイズを大きくするなどから一つ以上であってもよい。別の実施形態(図示なし)では、ユーザが各文字を入力すると、形成される単語は、ディスプレイの別の領域に表示される。

0065

一実施形態(図示なし)では、1つの文字から次の文字への遷移をユーザに通知するための特別な領域がディスプレイ上に提供されている。これにより、ユーザは、凝視で文字または数字を入力し、選択を入力するために凝視を特別な領域に移動し、追加の文字や数字を選択するプロセスを継続する。別の実施形態では、ユーザが間違いを修正できるようにバックスペースキーが設けられている。

0066

なお、図5に示す実施形態は例示的なものである。他の実施形態は、異なる種類の仮想キーボードを利用してよい、より多くの文字と数字を含んでもよい、特殊文字を使用してよい、または幾何学的図形の部分を選択するための幾何学図形を使用してもよい。したがって、図5に示す実施形態は、唯一でも、限定するものでもなく、典型例または具体例として解釈すべきである。

0067

図6Aは、ユーザが一実施形態によるHMDを開始したときに検出する方法を示している。 HMDは、すでに動作している場合に、時々、3-Dグラフィックスのような複雑なグラフィックスを表示することがある。ユーザが順応プロセスを経ずに、HMDを装着する場合、ユーザはめまいを感じることがある。例えば、ゲームをプレイしているユーザは、HMDを脱いで、そのHMDを他のプレイヤに渡す。 HMDは、その遷移が検出されない場合は、2番目のプレイヤは、めまいを感じることがある。

0068

一実施形態では、HMDは、ユーザの凝視を追跡する。ユーザがHMDを脱ぐと、HMDは、凝視がもはや存在しないと検出し、ディスプレイをオフにするか、セーフモードに変更する。ユーザ、または他のユーザが、HMDを装着すると、HMDは(例えば、新規ユーザの目を検出することで)新しいユーザを検出し、ユーザが開始する準備ができていることを検証するプロセスを開始する。

0069

一実施形態では、オブジェクト(例えば、シンボル、単語、ボールなど)が画面上に表示され、ユーザは自分の凝視でそのオブジェクトに追従するように求められる。ユーザがディスプレイを通してそのオブジェクトのトラジェクトリに追従すると、HMDは、凝視がどのようにオブジェクトに追従しているかを検証できる。これにより、HMDは人間がディスプレイを見ていることを確認する。そのため、チェックが検証された場合、HMDは、より洗練されたグラフィックスの表示を開始するために順応プロセスを開始する。

0070

一実施形態では、画面上のオブジェクトに追従すればよいため、凝視でオブジェクトに追従することは非常に正確である必要はない。

0071

別の実施形態では、チェックは、HMDを使いにくいユーザを検出するために使用できる。ユーザは、実質的に画面上のオブジェクトに追従することができない場合、ユーザは、異なる深さでの視力焦点を合わせる能力を有する良好な眼の位置を必要とするグラフィックスに換える調整が困難であるかもしれない。

0072

図6Bは、一実施形態による凝視シグネチャのエントリを示している。一実施形態では、ユーザの凝視のトラジェクトリは、凝視での入力を生成するために監視される。例えば、所定のパターンに追従することによって、凝視でパスワードを入力するためにトラジェクトリを使用できる。HMDは複数のユーザが使用するように構成されている場合、凝視パターンは、どのユーザがHMDを装着しているかを識別するために使用できる。

0073

実施形態には、凝視パターンは、ユーザがシステムにアクセスするための凝視シグネチャを入力することができるパスワードとして使用してもよいものもある。システムは、新しいユーザに凝視パターンを入力するオプションを用意している。

0074

図6Bの例示的な実施形態では、凝視のシグネチャは3線で構成されている。つまり、ディスプレイの左上から右下に延びる第1線、右下から中央に延びる第2の水平線及びディスプレイの下部からディスプレイの上部に延びる垂直線である。ユーザがこの凝視パターンを入力した場合、ユーザは識別され、一実施形態では、システムへのアクセスが許可される。

0075

実施形態には、パターンが画面上に表示され、ユーザは、そのパターンに従うことが要求されるものもある。図6Bの例では、3つの線が画面上に描画され、ユーザは、3つの線に追従するように要求されることになる。このオペレーションは、較正の目的のために、またはユーザがHMDのディスプレイ上のパターンに追従することが可能であることを確認するために用いてもよい。較正は、表示を較正するために、または凝視追跡システムを較正するために、あるいは両方を較正するために使用できる。

0076

一実施形態では、頭部装着装置(HMD)の画像表示を管理する方法は、HMDのディスプレイ上に投影されるユーザの凝視を追跡するためのオペレーションを含む。また、この方法は、凝視追跡される凝視のトラジェクトリを特定するためのオペレーションを含む。識別されたトラジェクトリは、ユーザのシグネチャと比較される。前述シグネチャは凝視のトラジェクトリを含む。さらに、この方法は、識別されたトラジェクトリがシグネチャのトラジェクトリに対応している場合にHMD上のリソースへのアクセスを可能にするためのオペレーションを含む。

0077

図7Aは、一実施形態による現実世界の情景から仮想世界の情景への表示遷移を示している。実施形態には、頭部装着ディスプレイが提供する場面からの自動的遷移または場面への自動的遷移を提供するものもある。

0078

前述したように、HMDを使用した場合、時には人がめまいを感じることがある。その理由の一つは、目が通常の現実の情景からHMDのディスプレイを観察するために必要な視聴メカニックスに調整されるための時間が必要である。この問題を解決するために、ユーザがディスプレイ上の仮想場面に入る際、ユーザの視聴を適応させるために順応プロセスが利用される。本明細書において、このプロセスは、ユーザの「順応プロセス」と呼ぶ。

0079

同様に、ユーザが順応プロセスをせずに、HMDを脱ぐと、ユーザはめまいを感じる可能性がある。仮想世界の情景から現実世界の情景への遷移のために、ユーザを順応させるための逆のプロセスがある。本明細書において、ユーザがHMDの使用から現実世界に順応させる逆のプロセスは、「順応外しプロセス」と呼ぶ。詳細は、順応プロセス及び順応外しプロセスに関する図13A及び13Bを参照して以下に記述される。

0080

一実施形態では、仮想世界への遷移は、現実世界情景702(例えば、シースルーの情景)で始まり、仮想世界に向けて徐々に遷移が続き、このとき現実世界と仮想世界が重複している704。これを達成するために、仮想世界は徐々にフェードインされ、現実世界情景の上に重複される。その結果704は、現実世界の要素と仮想世界の要素を有する情景である。

0081

そして、現実世界情景が徐々にフェードアウトされ、仮想世界情景706のみが残る。仮想世界のフェードイン及び現実世界のフェードアウトのオペレーション期間は、変化に対するユーザの反応に応じて、1秒または2秒から15秒以上がかかる。ユーザの反応は、ユーザの凝視を追跡することによって特定できる。

0082

この現実世界情景は、シースルーの情景とも呼ぶ。透視HMDの様々な方法が存在しており、光学的に駆動する技術及びカメラで駆動されている技術に分類できる。例えば、頭部装着ディスプレイに搭載され、HMDの正面に向かっているカメラは、居間などユーザが実際にいる場面の画像を表示できる。この正面カメラで撮影された画像は、HMDが透明であるかのように、ユーザにHMDを通して見ている印象を与えるためにディスプレイに表示される。

0083

光学的駆動技術は、ディスプレイ、またはディスプレイの周りを介して、ユーザの情景を現実世界に導くために、ミラーやシースルーガラスを利用している。例えば、これらの光学的に駆動される方法は、回折光学ホログラフィック光学、偏光光学及び反射光学を含んでもよい。

0084

ユーザを順応から外すためには、プロセスが逆になる。最初に、ユーザは、仮想世界の表示に没入される。システムは、ユーザが外に出たいか出る必要があることを検出すると、ユーザが順応から外れるプロセスを開始する。一実施形態では、現実世界情景は、フェードインを開始し、仮想世界情景の上に重複される。プレイヤの環境のシースルーの情景を維持しながら、仮想情景が徐々にフェードアウトされる。その時点で、プレイヤは体調変化なしで、HMDを外すことができる。

0085

実施形態には、仮想世界の情景は、プレイヤがHMDを透視しているように完全に正確ではないものもある。提示された画像がユーザの目をユーザの環境に調整する方法で行われば、現実世界の情景の代わりに、他のいくつかの画像をユーザに提示することができる。例えば、提示された画像は、ユーザの目が数フィートと数ヤードの距離に焦点を合わせなければならないように、部屋の画像を含んでもよい。ユーザの視力が調整されると、ユーザの視力がすでに同様の環境に順応しているため、ユーザは体調を変化せずに、HMDを外すことができる。

0086

また、一実施形態では、仮想世界の外に遷移するとき、ゲームのオブジェクトが移動を停止し、仮想世界の表示が凍結される。そして、ディスプレイがHMDから外を見るカメラで見られる現実世界を表示するように遷移を開始する。

0087

図7Bは、一実施形態による現実世界から拡張現実、そして仮想世界への遷移を示している。拡張現実(AR)は、要素がサウンドビデオ、または画像などのコンピュータで生成された感覚入力によって拡張されている物理的な、現実世界の環境の直接的または間接的なライブ情景である。拡張現実は、現実の情景がコンピュータによって変更(増強より減少している可能性がある)された媒介現実と呼ばれる一般的な概念に関連する。これとは対照的に、仮想現実は現実世界をシミュレートされたものと置き換える。環境とそのオブジェクトについての人工情報を現実世界に重ね合わせることができる。

0088

HMDには、拡張現実感複合現実感を作成するために、コンピュータによって生成された画像(CGI)の現実世界の情景への重畳を可能とするものもある。現実世界の情景とCGIとの組み合わせは、CGIを部分反射ミラーを介して投影し、直接現実世界を見ることによって実現できる。この方法は、多くの場合、光学シースルーと呼ばれている。現実世界の情景とCGIとの組み合わせは、カメラからのビデオビデオを受け入れ、受け入れたビデオビデオをCGIと電子的に混合することによって電子的に実現できる。この方法は、多くの場合、ビデオシースルーと呼ばれている。

0089

一実施形態では、HMDは、ユーザの前にある世界を取り込む前面を向く(ユーザの顔と反対の方向を向く)カメラを含む。カメラで撮影したビデオや画像は、シースルーの情景を作成するためにディスプレイ上に再現することができる。実際の現場仮想オブジェクトを配置するために、HMDは、仮想オブジェクトを配置できる現実世界での場所を特定する方法を認知する必要がある。例えば、仮想キャラクタは、テーブルまたはその他の平らな表面上に配置されてもよい。もちろん、他の実施形態では、仮想オブジェクトが部屋に浮いているように配置されてもよい。この場合、HMDは、現実世界のオブジェクトが配置されていないHMDから離れた場所に仮想オブジェクトを提示することだけである。

0090

一実施形態では、HMDは、部屋内のオブジェクトの位置を特定するためにビデオ画像を使用している。カメラは、ゲームオブジェクトを参照して距離を特定するために使用されるステレオカメラやデプスカメラであってもよい。 HMDは、平坦な表面を特定すると、仮想オブジェクトをその表面上に配置することができる。

0091

別の実施形態では、現実世界のオブジェクトの位置は、HMDと通信中のゲームコンソールなどの計算装置に接続されたカメラによって計算される。計算装置は、HMDを参照して部屋内のオブジェクトの相対位置を計算することができるように、HMDの位置を追跡している。計算装置は、現実世界の環境やオブジェクトの位置に関する情報を提供するために、HMDにこの情報を送信する。

0092

1つの実施形態では、仮想世界の中に入るようにユーザを順応させるために、中間拡張現実情景が提供されている。最初に、シースルーの情景720は、ユーザに提示される。その後、ゲームオブジェクト728(例えば、キャラクタ、またはその他の仮想オブジェクトを使用してもよい)が拡張現実情景に配置される。例えば、ゲームオブジェクト728は、テーブルの上、壁、TV画面、またはゲームコンソールなどの上に置かれる。

0093

そして、現実世界情景はゲームオブジェクト728だけが残る仮想世界724まで徐々にフェードアウトする。その後、仮想世界が完全にレンダリングされるまで他のゲームオブジェクトが徐々に情景にフェードインされる。

0094

一実施形態では、ディスプレイ全体が仮想場面で埋まるまで、仮想世界がゲームオブジェクト728から円形に拡張される。別の実施形態では、仮想オブジェクトは、すべての仮想オブジェクトが追加されるまで、一つずつ仮想場面に追加される。

0095

実施形態には、全体の仮想場面が埋まり、プレイヤが完全に順応されるまで仮想場面が凍結されている(すなわち、仮想オブジェクトは移動していない)ものもある。

0096

なお、図7A及び7Bに示す実施形態は例示的なものである。他の実施形態では、異なる遷移、異なる仮想オブジェクト、オペレーションの異なる順序などを利用されてもよい。したがって、図7A及び7Bに例示する実施形態は、唯一でも、限定するものでもなく、典型例または具体例であると解釈すべきである。

0097

図8は、本発明の実施形態を実行するために使用できるデバイスのアーキテクチャを示している。頭部装着ディスプレイは、計算装置であり、プロセッサ804、メモリ816(RAM、ROMなど)、1つまたは複数のバッテリ806あるいはその他の電源、及び永久記憶装置848(ハードディスクなど)などからなる通常の計算装置上に見られるモジュールを含む。

0098

通信モジュールは、HMDが他の携帯機器、他のコンピュータ、他のHMDや他のサーバなどとの情報交換をできるようにする。通信モジュールは、ユニバーサルシリアルバス(USB)コネクタ846、通信リンク852(イーサーネット(登録商標)、など)、超音波通信856、Bluetooth(登録商標)858、及びWiFi854を含む。

0099

ユーザインタフェイスは、入力と出力のためのモジュールを含む。入力モジュールは、入力ボタン及びセンサ810、マイクロフォン832、タッチに敏感なスクリーン(図示なし、HMDを初期化または構成するために使用できる)、フロントカメラ840、リアカメラ842、及び凝視追跡カメラ844を含む。キーボードやマウスなどその他の入力または出力装置も、USBやBluetooth(登録商標)などの通信リンクを介して携帯デバイスに接続することができる。

0100

出力モジュールは、ユーザの目の前で画像をレンダリングするためのディスプレイ814を含む。実施形態には、1つのディスプレイを含むことができ、他の実施形態は、2つのディスプレイ、つまり各眼に対して1つを含むことができるものもある。他の出力モジュールは、発光ダイオード(LED)834(HMDの視覚追跡するために使用することができる)、振動触覚フィードバック850、スピーカ830、及びのサウンドの音像定位を行い、そのサウンドをスピーカまたはヘッドフォンに提供する音源定位モジュール812を含む。ヘッドフォンなどの他の出力装置も、通信モジュールを介してHMDに接続することができる。

0101

動きの追跡を容易にするために含まれ得る要素は、LED834、視認のための1つ以上のオブジェクト836、及び赤外光838を含む。

0102

異なるデバイスからの情報は、HMDの位置を計算する位置モジュール828によって使用される。これらのモジュールは、磁力計818、加速度計820、ジャイロスコープ822、全地球測位システム(GPS)モジュール824、及びコンパス826を含む。また、位置モジュールは、位置を計算するためにカメラ及びマイクロフォンで取り込まれた音や画像データを分析することができる。さらに、位置モジュールは、携帯デバイスの位置または近傍の他のデバイスの位置を特定するためにWiFi PINGテストまたは超音波テストなどのテストを実行できる。

0103

仮想現実発生器808は、既述の通り、位置モジュールによって計算された位置を使用して、仮想現実または拡張現実を生成する。仮想現実発生器808は、スクリーンの画像を生成するために、他の計算装置(例えば、ゲームコンソール、インターネットサーバなど)と協働することができる。遠隔装置は、ゲームオブジェクトをスクリーン上に作成するスクリーン更新またはインストラクション伝送する。

0104

図8に図示した実施形態は、携帯装置の例示的な実施であると認識すべきである。他の実施形態は、別のモジュールやモジュールサブセットを使用でき、また別のモジュールに関連するタスク割り当てることもできる。従って、図8に図示した実施形態は、唯一でも、限定するものでもなく、典型例または具体例であると解釈すべきである。

0105

図9A図9Bは、幾つかの実施形態によるHMD環境の遷移のための、別のタイプの入力を図示している。ユーザを順応から外すプロセスは、ユーザのアクションによって開始するか、他の環境事象契機にすることができる。例えば、ユーザが困難な状況にあり得るとシステムが検出した場合、順応外しが開始されることになる。

0106

一実施形態では、ユーザの画像(例えば、図1の環境)を撮ったカメラに接続されている計算装置により取り込まれたユーザからのジェスチャによって、その退出プロセスが開始される。図9Aの例示の実施形態では、ユーザが手を握り親指を伸ばして、円を描く動作をして、ユーザが退出を求めていることを示すが、他の予め決めたジェスチャを利用することができる。

0107

他の実施形態では、ユーザは所定の時間目を閉じて、退出コマンドを合図する。例えば、ユーザは、3秒を超える時間目を閉じた場合に、退出プロセスが開始され得るが、1秒から10秒の範囲にある他の時間を利用することができる。目を閉じるユーザの検出は、HMD内のユーザの凝視を追跡するカメラ(例えば、図3の実施形態参照)で撮られた画像を分析することによって実行される。

0108

他の実施形態では、ユーザが退出プロセスを開始する所定のコマンドを告げる。例えば、図9Bの例示の実施形態では、ユーザが退出のために、「ゲーム休止」という文言を告げる。一実施形態では、そのスピーチはHMDと通信している計算装置によって検出され、他の実施形態では、そのスピーチはHMD自体によって検出される。HMDがマイクロフォンを介してスピーチを取り込むのである。

0109

実施形態には、ユーザが困難な状況にあるとシステムが検出したときに、退出プロセスを開始できるものもある。バイオメトリックセンサがユーザの不快さを判断するために使用されてもよい。一実施形態では、ユーザの凝視がある時間不規則であり、ユーザの凝視がゲームプレイに関連する動きと一致しないとシステムが判断したときに、退出シーケンスが開始される。

0110

他の実施形態では、ユーザの動作、より詳しくは、ユーザの頭部の動作が追跡される(HMDの動きを追跡している計算装置によって追跡される)。ユーザの頭部の動作が不規則となり、ユーザの凝視またはゲーム活動に関連する動きと一致しない場合、システムは、ユーザが身体的に困難な状況にあると判断し、退出プロセスを開始する。

0111

一実施形態において、問題を意味することがある行動を特定するために、ユーザの凝視解析がユーザの頭部の動き解析と組み合わされる。問題行動が特定されると、安全な順応外しのために退出プロセスが開始される。

0112

図10は、一実施形態に従って、仮想世界と現実の情景が混在した表示を図示したものである。時に、HMDユーザは、現実の事象によって中断されることがある。例えば、ユーザは、電話の呼び出しを受信したり、他人から話しかけられるなどがあり得る。これらの場合、ユーザは迅速に現実世界と交流する必要があるが、ユーザが順応から外れるプロセスを実行するのは不都合な場合もある。実際、差し迫った緊急性があれば、ユーザはHMDを急いで脱ぐ傾向があり、そうして順応を外すプロセスを避けることになる。これによりユーザは、身体的に不快になりがちとなる。

0113

一実施形態では、現実世界に速やかにアクセスするために、ユーザがHMDを脱がなくても現実世界と交流できるように現実世界への窓が設けられている。例えば、ユーザが2秒以上、下を見ている場合、HMDは現実世界への窓を開く。

0114

図10の例示的な実施形態では、ディスプレイ152の上半分を仮想情景として残しながら、スクリーンの下半分(又は他の割合)がシースルーの情景154を示している。この方法により、ユーザは電話の呼び出しに応え、あるいは電話の発信者IDをチェックすることができる。

0115

他の実施形態では、現実世界への「窓」は、ディスプレイの中央(例えば、長方形)、ディスプレイの片側、またはディスプレイの角などに設けることができる。

0116

一実施形態では、混在情景モードの所定時間後、HMDは順応外しのプロセスを開始する。例えば、ユーザは電話で通話してもよく、電話で話し始めて1分後に、ユーザはHMDを外したいと思うことがある。しかし、ユーザは電話対応に忙しいために、順応外しを開始するコマンド入力に時間を費やせないこともある。

0117

他の実施形態では、HMDは他の計算装置と通信し、混在情景は遠隔の計算装置からのメッセージによって開始されることもある。例えば、HMDはBluethoothを介して電話と通信し、ユーザがかかってきた電話を受信したとき、HMDは発信者IDをディスプレイ上に示し、混在情景モードを開始する。こうして電話の着信に応えるかどうかを、ユーザは迅速に決断できる。

0118

図11は、一実施形態に従って、凝視を介して、入力された退出コマンドの検出を図示している。実施形態には、凝視ジェスチャが退出プロセスの開始のために検出できるものもある。例えば、退出の意図を示すために、ユーザは(図10を参照して既述したように)所定時間下を見たり、ディスプレイ上またはディスプレイの周りの特定ターゲットを見てもよい。

0119

例えば、退出コマンドを検出するターゲットであり得る凝視エリアは、円形ターゲット262及び264、あるいは、ディスプレイの頂部または上部エリア256、ディスプレイの左エリア254、ディスプレイの右エリア258、ディスプレイの下方エリア260などのように大きいエリアである。実施形態には、2以上のこれらのエリアが凝視ターゲットとして使用できる。

0120

他の実施形態では、ユーザがディスプレイを凝視することによって特定トラジェクトリを形成して、退出コマンドを示すことができる。例えば、ユーザは、図6Bを参照して既述した同一のトラジェクトリを凝視することによってトレースしてもよい。

0121

図12は、一実施形態に従って、HMD情景に没入する別のフェイズを図示している。ユーザがゲームをしていたところ、中断されたとき、重要なことは、ユーザがゲーム活動を再開したときに、そのゲームの進行を妨げることなく、ユーザがそれまでにいた同じ場所にゲームが復帰することである。例えば、誰かから電話の着信があったからといって、ゲームでのライフを失うことは嫌なことであろう。

0122

一実施形態においては、既に考察したように、システムが退出コマンドを検出し、順応外しを開始する。システム(例えば、HMD、ゲームコンソールまたは両方)は、ゲームの状態を保存し、ユーザがゲームに復帰できるようにする。一実施形態においては、ゲームはゲーム活動の経過を保持し、プレイヤが復帰したとき、ユーザが退出プロセスを開始した少し前に対応する箇所で再開する。例えば、ユーザは、実生活のできごとで中断されてしまい、ユーザが退出コマンドを入力するまでに数秒かかってしまうこともある。この遅れは、ゲームの進展いくらか失われるという犠牲を、ユーザに払わせることになりかねない。ゲームについての不満を避けるために、ゲームは、ユーザがゲームに十分に興じていたと判断しても差しつかえのない箇所に復帰する。実施形態には、回復時刻と退出コマンドが入力された時刻の差と定義されるマージン期間が使用される。復帰時刻とは、プレイヤがゲームに復帰したとき、ゲームが再開される時刻である。

0123

図12は、プレイヤがいかにゲームに入り退出するかの実施例を図示したものである。記述の目的で、没入レベルは、ユーザのHMDに対する順応度として定義される。完全な順応レベルとは、ユーザがHMDに順応していることを言い、低い順応レベルとは、ユーザがHMDの使用を開始するための順応化プロセスを経験していないことを言う。

0124

最初に、t0でユーザがHMDを装着し、順応を開始する。少し後で、t1においてユーザは順応化が済み、ゲームのプレイを開始する。少し経って、t3でゲーム機は、ユーザがコマンドを入力したか、またはシステムが潜在的な問題を検出したかのいずれかのために、ユーザは順応外しされる必要があることを検出する。

0125

順応外しのプロセスがt4で終了した後、ユーザはHMDを脱ぐことができる。その後のt5で、ユーザは再びHMDを着用し、順応されるよう依頼する。t6で、ユーザは順応が済み、ゲームを再開する。

0126

一実施形態においては、ユーザが順応外しを開始したt3と全く同一状態で、ゲームが再開する。他の実施形態では、ゲームは、t2のように、退出プロセスが開始されたときより前の時点に対応するゲーム状態を再開する。

0127

図13Aは、一実施形態に従って、ユーをHMDに順応させるフローチャートである。図13A−13Cのフローチャートにはいろいろなオペレーションが示され、連続して記述されているが、この分野の通常の知識を有する者は、一部または全てのオペレーションが別の順序で実行され、組み合わされ、省略され、あるいは並列に実行され得ることが理解できよう。

0128

オペレーション1302では、ユーザがHMDを着用しておりディスプレイを見ているとシステムは認知する。例えば、図6Aを参照して上述した実施形態は、ユーザを認知するために使用されてもよい。

0129

この方法は、オペレーション1302からオペレーション1304へと続き、このとき現実世界の画像がHMDのディスプレイ上に示されている。現実世界の画像はHMD上に提示されるシースルー画像であり、HMDがあたかも透明であるかのように、ユーザは現実世界を見ている。

0130

オペレーション1306では、仮想オブジェクトがフェードインされ現実世界の画像に重ね合わされる。仮想オブジェクトは、一実施形態では、拡張現実モードで提示される。他の実施形態では、仮想オブジェクトは、拡張現実を必要とせずに、単に現実世界の存在している画像の上に重ねられる。

0131

方法は、オペレーション1306からオペレーション1308へと続き、このときオペレーション1306で加えられた仮想画像はディスプレイ上で保持されながら、現実世界の情景が徐々にフェードアウトされる。従って、オペレーション1308の最後で、ディスプレイは仮想オブジェクトのみを示すことになる。

0132

方法は、オペレーション1308からオペレーション1310へと続き、このときディスプレイ上で既に提示されている仮想オブジェクトの周りで、仮想世界が徐々にフェードインされる。オペレーション1310の最後で、ユーザは順応に入ったとみなされ、HMDオペレーションが開始できる。

0133

図13Bは、一実施形態に従って、HMDのユーザを順応からはずすフローチャートである。オペレーション1320において、システムは、HMD上に表示された仮想世界を退出するリクエストを検出する。上述した通り、退出はユーザのアクションによって起こしてもよく、またはシステムによって検出された状況の結果によってもよい。

0134

当該方法は、オペレーション1320からオペレーション1322に続き、このときディスプレイに残っている1つまたは複数の仮想オブジェクトを除いて、仮想世界が徐々にフェードアウトされる。当該方法は、オペレーション1322からオペレーション1324に続き、このときオペレーション1322で保存された1つまたは複数の仮想オブジェクトを維持しながら、現実世界画像(例えば、シースルーの情景)が徐々にフェードインされる。その1つまたは複数の仮想オブジェクトが、拡張現実モードで表示され、現実世界に重ね合わされる。

0135

当該方法は、オペレーション1324からオペレーション1326に続き、このとき1つまたは複数の仮想オブジェクトがフェードアウトされる。その結果として、オペレーション1326の最後に、シースルーの情景のみがディスプレイに提示される。この時点で、ユーザは、順応から外れ、HMDを脱ぐことができる。

0136

図13Cは、一実施形態による、HMDの画像表示を管理するフローチャートである。オペレーション1352において、HMDを着用しているユーザの凝視が追跡される。HMDは、仮想世界の場面を表示している。

0137

当該方法は、オペレーション1352からオペレーション1354に続き、このときシステムがユーザの凝視が所定のエリアに所定時間固定されていること(例えば、図11を参照して上述した実施形態を参照)を検出するオペレーションを実行する。

0138

当該方法は、オペレーション1354からオペレーション1356に続き、領域の外側の表示エリアの仮想世界の場面を維持しながら、オペレーション1354の検出に応答して、HMDの表示領域をフェードアウトする。実施形態によっては、表示領域が表示の一部のみを範囲として全体の表示を含んでいないものもある。

0139

当該方法は、オペレーション1356からオペレーション1358に続き、領域を見通しているときにHMDが恰もユーザにとって透明であるかのように(つまり、シースルーの情景モードにおいて)、現実世界の情景を領域にフェードインする。現実世界にフェードインしながら、仮想世界の場面は、領域の外側に維持される。このようにして、ユーザは、現実世界と迅速に交流できる現実世界への窓が提示される。

0140

図14は、本発明の実施形態を実行するために使用されるハードウェアとユーザインタフェイスを図示している。図14は、Sony(登録商標)PlayStation(登録商標)3エンターテイメント装置の全体のシステムアーキテクチャの概略を図示している。システムユニット1400には、システムユニット1400に接続可能な各種周辺装置が用意される。システムユニット1400は、Cellプロセッサ1428、Rambus(登録商標)ダイナミックランダム・アクセス・メモリ(XDRAMユニット1426、専用ビデオ・ランダム・アクセス・メモリ(VRAM)ユニット1432を有するReality Synthesizerグラフィック・ユニット1430及びI/Oブリッジ1434を備えている。システムユニット1400は、また、I/Oブリッジ1434を介してアクセスできる、ディスク1440aを読み取るBlu−ray(登録商標)Disk BD−ROM(登録商標)オプティカル・ディスク・リーダ1440及び取り外し可能なスロットインハード・ディスク・ドライブ(HDD)1436を備えている。任意であるが、システムユニット1400は、また、同様にI/Oブリッジ1434を介してアクセス可能な、コンパクトフラッシュ・メモリ・カード及びMemory Stick(登録商標)メモリカードなどを読み取るメモリ・カード・リーダ1438を備えている。

0141

I/Oブリッジ1434は、また、6本のユニバーサルシリアルバス(USB)2.0ポート1424、ギガビット・イーサーネット・ポート1422、IEEE802.11b/g無線ネットワーク(Wi−Fi)ポート1420及び最大7個のBluetooth(登録商標)接続に対応可能なBluetooth(登録商標)無線リンク・ポート1418に接続する。

0142

動作中、I/Oブリッジ1434は、1つまたは複数のゲームコントローラ1402−1403及びHMD1417からのデータを含む、全ての無線、USB及びイーサーネットのデータを取り扱っている。例えば、ユーザがゲームをするとき、I/Oブリッジ1434は、Bluetooth(登録商標)リンクを介して、ゲームコントローラ1402−1403からデータを受信し、Cellプロセッサ1428に伝え、それに従いゲームの現行状態更新する。

0143

無線、USB及びイーサーネットは、また、ゲームコントローラ1402−1403及びHMD1417に加えて、遠隔制御1404、キーボード1406、マウス1408、SonyPSP(登録商標)エンターテイメント装置のような携帯娯楽装置1410、PlayStation(登録商標)アイカメラ1412、ヘッドフォン1414、及びマイクロフォン1415などのその他の周辺装置との接続を提供する。そのような周辺装置は、従って、基本的にはシステムユニット1400に無線で接続されている。例えば、携帯娯楽装置1410がWi−Fiのアドホック接続を介して通信する一方、ヘッドフォン1414はBluetooth(登録商標)リンクを介して通信しえる。

0144

これらのインターフェイスを備えることは、PlayStation3装置もまたデジタル・ビデオ・レコーダ(DVR)、セット・トップボックスデジタルカメラポータブルメディア・プレイヤ、インターネットプロトコル(IP)電話による音声、モーバイル電話、プリンタ及びスキャナなどの他の周辺装置と潜在的には互換性がある。加えて、旧式のメモリ・カード・リーダ1416をUSBポート1424を介してシステムユニットに接続し、PlayStationまたはPlayStation2装置によって使用される類いのメモリカードを読み込めるようにしてもよい。

0145

ゲームコントローラ1402−1403は、Blueetoothリンクを介してシステムユニット1400へ無線で通信でき、またはUSBポートと接続され、そうすることによって電力を供給し、ゲームコントローラ1402−1403のバッテリを充電する。ゲームコントローラ1402−1403は、また、メモリ、プロセッサ、メモリ・カード・リーダ、フラッシュメモリなどのパーマネントメモリ、照明された球状セクションなどの光エミッタ、LED、または、赤外光、超音波通信用マイクロフォン及びスピーカ、音響室、デジタルカメラ、内部クロック、ゲームコンソールに面する認識可能形状、Bluetooth(登録商標)、WiFi(商標)などのプロトコルを使用した無線通信を含む。認識可能形状は、球、六面体平行四辺形、長方形平行六面体、立錐、ピラミッド不完全球形、サッカボール、アメリカフットボールまたはラグビボール、球の一部、先端を切ったピラミッド、先端を切った立錐、ベースボールバット、先端を切った六面体、多面体星形など、または2つ以上のそれらの組み合わせの実質的な形状であってよい。

0146

ゲームコントローラ1402は、両手で使用されるように設計され、ゲームコントローラ1403は、ボールアッタチメントを備えた片手コントローラである。1つまたは複数のアナログジョイスティック及び従来のコントロールボタンに加えて、ゲームコントローラは、三次元位置特定ができる。その結果として、ゲームのユーザによるジェスチャ及び動きが従来のボタンまたはジョイスチックコマンドに加えてまたは代わりにゲームの入力として変換される。任意であるが、SonyPSP(登録商標)ポータブルデバイスなどの無線利用が可能な周辺装置が、コントローラとして使用されてもよい。SonyPSP(登録商標)ポータブルデバイスの場合、付加的なゲームまたはコントロール情報(例えば、コントロールの指示またはライフの数)が装置のスクリーン上に提供されてもよい。ダンスマット(図示せず)、光線銃(図示せず)、ハンドルまたはペダル(図示せず)あるいは快速応答クイズゲーム用単一または複数の大きなボタンなどの特注のコントローラ(これも図示せず)など、他の代替または補助制御装置が、また、使用されてもよい。

0147

遠隔制御1404も、また、Bluetooth(登録商標)リンクを介して、システムユニット1400と無線で通信できる。遠隔制御1404は、Blu−ray Disk BD−ROMリーダ1440の操作及びディスクコンテントナビゲーションに適するコントロールから構成される。

0148

Blu−ray Disk BD−ROMリーダ1440は、従来の予め記録されたCD及び記録可能なCD、所謂スーパオーディオCDに加えて、PlayStation及びPlayStation2装置と互換性があるCD−ROM読むことができる。またリーダ1440は、従来の予め記録されたDVD及び読み取り可能なDVDに加えて、PlayStation2及びPlayStation3装置と互換性のあるDVD−ROMを読むことができる。リーダ1440は、更に、従来の予め記録されたBlu−ray Disk及び読み取り可能のBlu−ray Disk、並びにPlayStation3装置と互換性のあるBD−ROMを読むことができる。

0149

システムユニット1400は、Reality Synthesizerグラフィック・ユニット(RSX)1430を介して、PlayStation3装置によって生成または復号のいずれかがなされたオーディオ及びビデオを、オーディオ1450及びビデオ1452コネクタを通して、ディスプレイ1444及び1つまたは複数のラウドスピーカ1446またはスタンドアローンのスピーカ1448を有するモニタまたはテレビジョンセットなどのディスプレイ及びサウンド出力装置1442に供給できる。一実施形態において、音声と凝視入力はユーザの凝視ポイント(POG)に従って特定のオーディオスピーカに向けてサウンドをプレイするために使用される。ビデオコネクタ1452はコンポーネントビデオ、S−ビデオ、複合ビデオ及び1つまたは複数の高精細マルチメディアインターフェイス(HDMI(登録商標))出力を各種含むことができるが、オーデイオコネクタ1450は、従来のアナログ及びデジタル出力を含むことができる。結果として、ビデオ出力は、PALまたはNTSCのようなフォーマットで、あるいは720p、1080iまたは1080p高精細であってよい。

0150

オーディオ処理(生成、復号など)は、Cellプロセッサ1428によって実行される。PlayStation3装置のオペレーティングシステムは、Dolby(登録商標)5.1サラウンドサウンド、Dolby(登録商標)シアターサラウンド(DTS)及びBlu−rayディスクからの7.1サラウンドサウンドの復号に対応している。

0151

本実施形態では、ビデオカメラ1412は、単一の電荷結合素子(CCD)、LEDインディケータ、ハードウェアベースリアルタイムデータ圧縮及び符号化装置から構成され、圧縮ビデオデータは、復号用イントライメージベースMPEG(ムービングピクチャーエクスパーツグループ)標準などの適切なフォーマットにして、システムユニット1400によって送信される。カメラLEDインディケータは、例えば、逆光条件を示すために、システムユニット1400からの適当な制御データに応答して照明するように配置される。ビデオカメラ1412の実施形態は、USB、Bluetooth(登録商標)またはWi−Fi通信ポートを介して、システムユニット1400に多様に接続することができる。ビデオカメラの実施形態は、1つまたは複数の付属マイクロフォンを備えてもよく、また、オーディオデータを送信することができる。ビデオカメラの実施形態では、CCDが高精細ビデオキャプチャ適合する解像度を持つことができる。使用において、ビデオカメラによって撮られた画像は、例えば、ゲーム内に組み込まれてもよく、またはゲーム制御入力として解釈されてもよい。他の実施形態では、カメラは、赤外光の検出に相応しい赤外線カメラである。

0152

一般に、ビデオカメラのような周辺装置またはシステムユニット1400の通信ポートの1つを介する遠隔制御と成功裏に通信をするために、ビデオドライバなどの適切なソフトウェアが提供されるべきである。デバイスドライバ技術は周知であり、この分野の通常の知識を有する者は、デバイスドライバまたは同様なソフトウェアインターフェイスが記述されている本実施形態において必要とされることに気が付いているだろうということを除いて、ここでは記述しない。

0153

図15は、本発明のいろいろな実施形態によるゲームシステム1100のブロック図である。ゲームシステム1100は、ネットワーク1115を介して、1つまたは複数のクライアント1110にビデオストリームを提供する構成にされている。ゲームシステム1100は、典型的には、ビデオサーバシステム1120及び任意のゲームサーバ1125を備えている。ビデオサーバシステム1120は、最小限度サービス品質で、ビデオストリームを1つまたは複数のクライアント1110に提供する構成にされている。例えば、ビデオサーバシステム1120は、ビデオゲーム内の状態または視点を変えるゲームコマンドを受信することができ、最小の遅延時間で状態変化を反映している更新ビデオストリームをクライアント1110に提供する。ビデオサーバシステム1120は、これから決められるフォーマットを含む広汎な代替ビデオフォーマットでビデオストリームを提供する構成とされてもよい。更に、ビデオストリームは、広汎なフレーム速度でユーザに提示するよう構成されたビデオフレームを含むことができる。典型的なフレーム速度は、1秒当たり30フレーム、1秒当たり60フレーム及び1秒当たり1120フレームである。ただし、もっと高い又は低いフレーム速度が、本発明の代替の実施形態に含まれる。

0154

クライアント1110は、本明細書では、個別に1110A、1110Bなどと称しているが、頭部装着ディスプレイ、ターミナルパーソナルコンピュータ、ゲームコンソール、タブレットコンピュータ、電話、セット・トップ・ボックス、キオスク無線装置デジタルパッドスタンドアロンデバイス、携帯型ゲームプレイングデバイスなどを含むことができる。典型的には、クライアント1110は、符号化ビデオストリームを受信し、ビデオストリームを復号し、結果として生じたビデオを、ユーザ、例えば、ゲームのプレイヤに提示する。符号化ビデオストリームの受信及び/またはビデオストリームの復号のプロセスは、典型的には、個々のビデオフレームをクライアントの受信バッファに格納することを含む。ビデオストリームは、クライアント1110と一体化したディスプレイ上で、あるいはモニタまたはテレビのような別の装置上で、ユーザに提示されてもよい。クライアント1110は、任意であるが、一人を超えるプレイヤに対応するように構成されてもよい。例えば、ゲームコンソールは、同時に、二人、三人、四人あるいはそれを超えるプレイヤに対応する構成とされることができる。これらのプレイヤのそれぞれは、別のビデオストリームを受信することができ、または単一のビデオストリームは、例えば各プレイヤの視点に基づいて、各プレイヤに個別に生成されるフレームの領域を含むこともできる。クライアント1110は、任意であるが、地理的に分散される。ゲームシステムに含まれるクライアント1100の数は、広汎に変化し、1つまたは2つから、数千、数万またはそれを超える数であってもよい。この明細書で使用されている通り、「ゲームプレイヤ」は、ゲームをする人を言い、「ゲームプレイングデバイス」は、ゲームをするために使用される装置を言う。実施形態には、ゲーム経験をユーザに伝えるために協働する複数の計算装置であってもよいものもある。例えば、ゲームコンソール及びHMDは、HMDを通して見るゲームを提供するために、ビデオサーバシステム1120と協働することができる。一実施形態において、ゲームコンソールはビデオサーバシステム1120からビデオストリームを受信し、そしてゲームコンソールはビデオストリームを、またはビデオストリームの更新を、レンダリングのためにHMDに伝送する。

0155

クライアント1110は、ネットワーク1115を介して、ビデオストリームを受信する構成にされる。ネットワーク1115は、電話ネットワーク、インターネット、無線ネットワーク、電力線ネットワークローカルエリアネットワーク広域ネットワークプライベートネットワークなどでどのタイプの通信ネットワークでもよい。典型的な実施形態では、ビデオストリームは、TCP/IPまたはUDP/IPなどの標準プロトコルを介して、通信される。代替的には、ビデオストリームは、独自の標準を介して、通信される。

0156

クライアント1110の典型的な実施例は、プロセッサ、不揮発性メモリ、ディスプレイ、復号ロジックネットワーク通信能力及び入力装置から構成されるパーソナルコンピュータである。復号ロジックは、ハードウェア、ファームウェア、及び/またはコンピュータ読取可能媒体に格納されたソフトウェアを備えてもよい。ビデオストリームを復号(及び符号化)するシステムは、この分野で周知であり、使用される特定の符号化スキームによって変わる。

0157

クライアント1110は、必ずしも必要とされないが、更に、受信されたビデオを修正する構成にされたシステムを備えている。例えば、クライアントは、更に、レンダリングを実行する、1つのビデオ画像をもう1つのビデオ画像にオーバーレイする、ビデオ画像の端を切るなどをする構成にされてもよい。例えば、クライアント1110は、I−フレーム、P−フレーム、B−フレームなどの各種タイプのビデオフレームを受信し、これらのフレームをユーザに表示する画像にする処理をするように構成にされてもよい。実施形態によっては、クライアント1110の構成要素は、さらなるレンダリング、シェーディング、3−Dへの変換などのビデオストリームに関するオペレーションを実行する構成にされる。クライアント1110の構成要素は、任意であるが、複数のオーディオまたはビデオストリームを受信する構成にされる。クライアント1110の入力装置は、例えば、片手のゲームコントローラ、両手のゲームコントローラ、ジェスチャア認識システム、凝視認識システム、音声認識システム、キーボード、ジョイスティック位置指示装置強制フィードバック装置、動き及び/または位置感知装置、マウス、タッチスクリーンニューラルインターフェイス、カメラ、これから開発される入力装置などを含むことができる。

0158

クライアント1110によって受信されたビデオストリーム(及び、任意であるが、オーディオストリーム)は、ビデオサーバシステム1120によって生成され、提供される。この明細書の他の箇所で更に記述している通り、このビデオストリームは、ビデオフレームを含む(及びオーディオストリームはオーディオフレームを含む)。ビデオフレームは、ユーザに表示される画像に大きく寄与する(例えば、それらは、適当なデータストラクチャピクセル情報を含む)構成にされる。この明細書に使用されている通り、用語「ビデオフレーム」は、ユーザに示される画像に寄与する、例えば効果を及ぼすように構成される情報を主体として含むフレームに言及するために使用される。この明細書におけるビデオフレームに関する教示の殆どは、オーディオフレームにも、また、適用され得る。

0159

クライアント1110は、典型的には、ユーザから入力を受信するように構成される。これらの入力は、ビデオゲームの状態を変え、さもなければゲームプレイに影響するように構成されたゲームコマンドを含むことができる。ゲームコマンドは、入力装置を使用して受信され、及び/またはクライアント1110上で実行されるコンピューティングインストラクションによって自動的に生成され得る。受信されたゲームコマンドは、ネットワーク1115を介して、クライアント1110からビデオサーバシステム1120及び/またはゲームサーバ1125に通信される。例えば、実施形態によっては、ゲームコマンドは、ビデオサーバシステム1120を介して、ゲームサーバ1125に通信されるものもある。実施形態には、ゲームコマンドの別のコピーがクライアント1110からゲームサーバ1125とビデオサーバシステム1120に通信されるものもある。ゲームコマンドの通信は、任意であるが、コマンドのアイデンティティに依存する。ゲームコマンドは、任意であるが、オーディオストリームまたはビデオストリームをクライアント1110Aに提供するために使用される別のルートあるいはコミュニケションチャンネルを介して、クライアント1110Aから通信される。

0160

ゲームサーバ1125は、任意にビデオサーバシステム1120とは別のエンティティによって操作されている。例えば、ゲームサーバ1125は、マルチプレイヤゲームのパブリッシャによって操作させ得る。この例では、ビデオサーバシステム1120は、任意にゲームサーバ1125によってクライアントとしてみなされ、任意に、ゲームサーバ1125の視点からは従来技術のゲームエンジンを実行している従来技術のクライアントであるとみえるように構成されている。ビデオサーバシステム1120及びゲームサーバ1125の間の通信は、任意にネットワーク1115を介して行われている。これにより、ゲームサーバ1125は、ゲームサーバシステム1120がそのうちの1つである複数のクライアントにゲームの状態情報を送信する従来技術のマルチプレイヤゲームサーバであってもよい。ビデオサーバシステム1120は、同時にゲームサーバ1125の複数のインスタンスと通信するように構成されてもよい。例えば、ビデオサーバシステム1120は、異なるユーザに複数の異なるビデオゲームを提供するように構成できる。これらの異なるビデオゲームのそれぞれは、異なるゲームサーバ1125によってサポートされ、及び/または異なるエンティティによって発表されてもよい。実施形態には、ビデオサーバシステム1120のいくつかの地理的に分散されたインスタンスが、複数の異なるユーザにゲームビデオを提供するように構成されているものもある。ビデオサーバシステム1120のこれらの各インスタンスは、ゲームサーバ1125の同じインスタンスと通信することができる。ビデオサーバシステム1120と1つまたは複数のゲームサーバ1125との通信は、任意に専用の通信チャネルを介して行われる。例えば、ビデオサーバシステム1120は、これら2つのシステム間の通信の専用の高帯域幅チャネルを介してゲームサーバ1125に接続し得る。

0161

ビデオサーバシステム1120は、少なくともビデオソース1130、I/Oデバイス1145、プロセッサ1150及び非一時的ストレージ1155を含む。ビデオサーバシステム1120は、一つの計算装置を含むか、または複数の計算装置間で分散されてもよい。これらの計算装置は、任意にローカルエリアネットワークのような通信システムを介して接続されている。

0162

ビデオソース1130は、ストリーミングビデオまたは動画像を構成する一連のビデオフレームなどのようなビデオストリームを提供するように構成されている。実施形態には、ビデオソース1130は、ビデオゲームエンジンレンダリングロジックを含むものもある。ビデオゲームエンジンは、プレイヤからゲームコマンドを受信し、受信したコマンドに基づいて、ビデオゲームの状態のコピーを維持するように構成されている。このゲームの状態は、ゲーム環境内のオブジェクトの位置だけでなく、一般的に視点を含む。またゲーム状態は、オブジェクトの特性、画像、色及び/またはテクスチャも含む。ゲーム状態は、典型的には、ゲームのルールならびに動き、旋回攻撃フォーカス設定対話、使用及び/またはそのようなゲームコマンドに基づいて維持されている。ゲームエンジンの一部は、任意にゲームサーバ1125内に配置されている。ゲームサーバ1125は、地理的に分散されているクライアントを使用して、複数のプレイヤから受信したゲームコマンドに基づくゲーム状態のコピーを維持することができる。これらの場合には、ゲーム状態がゲームサーバ1125からビデオソース1130に提供され、ビデオソース1130においてゲーム状態のコピーが格納され、そのコピーがレンダリングされる。ゲームサーバ1125は、ネットワーク1115を介して、クライアント1110からゲームコマンドを直接受信でき、及び/またはビデオサーバシステム1120を介してゲームコマンドを受信することができる。

0163

ビデオソース1130は、典型的には、ハードウェア、ファームウェア及び/またはストレージ1155のようなコンピュータ読取可能媒体に格納されるソフトウェアのようなレンダリングロジックを含む。このレンダリングロジックは、ゲーム状態に基づいて、ビデオストリームのビデオフレームを作成するように構成されている。レンダリングロジックの全部または一部は、任意にグラフィックス処理ユニット(GPU)内に配置される。レンダリングロジックは、典型的に、オブジェクト間の3次元空間的関係を決定するために構成された処理ステージ及び/またはゲーム状態と視点に基づいて適切なテクスチャを適用するために構成された処理ステージを含む。レンダリングロジックは、生のビデオを生成し、生のビデオはその後、通常は、クライアント1110との通信の前に符号化される。例えば、生のビデオは、Adobe Flash(登録商標)標準、.wav、H.264、H.263、On2、VP6、VC—1、WMA、Huffyuv、Lagarith、MPG−x.Xvid.FFmpeg、 x264、VP6—8、realvideo、mp3などに従って符号化できる。符号化処理は、任意にリモート装置上のデコーダへの配信のためにパッケージ化されたビデオストリームを生成する。ビデオストリームは、フレームサイズ及びフレームレートによって特徴付けられる。他のフレームサイズを使用してもよいが、典型的なフレームサイズは、800x600、1280x720(例えば、720p)、1024x768を含む。フレームレートは、毎秒のビデオフレームの数である。ビデオストリームは、異なるタイプのビデオフレームを含んでもよい。例えば、H.264規格は、 「P」フレーム及び「I」フレームを含む。 Iフレームは、表示デバイス上のすべてのマクロブロックピクセルをリフレッシュするための情報を含み、Pフレームは、そのサブセットをリフレッシュするための情報を含む。Pフレームは、典型的にはIフレームよりもデータサイズが小さい。本明細書において使用する用語「フレームサイズ」とは、フレーム内のピクセルの数を意味している。「フレームデータサイズ」という用語は、フレームを格納するのに必要なバイト数を指すために使用されている。

0164

代替的な実施形態では、ビデオソース1130は、カメラなどのビデオ記録装置を含む。このカメラは、コンピュータゲームのビデオストリームに含める遅延またはライブビデオを生成するために使用できる。得られたビデオストリームは、任意にレンダリングされた画像と静止画またはビデオカメラを使用して記録された画像の両方を含む。ビデオソース1130は、ビデオストリームに含まれるように、以前に記録されたビデオを記憶するように構成された記憶装置を含み得る。ビデオソース1130は、オブジェクト、例えば人の動きや位置を検出するように構成された動き検出装置または位置検出装置及び検出された動き及び/または位置に基づいて、ゲームの状態を特定またはビデオを生成するように構成されたロジックを含んでもよい。

0165

ビデオソース1130は、他のビデオの上に配置されるように構成されたオーバーレイを提供するように任意に構成されている。例えば、これらのオーバーレイは、コマンドインタフェースログインインストラクション、ゲームプレイヤへのメッセージ、他のゲームプレイヤの画像、他のゲームプレイヤのビデオフィード(例えば、ウェブカメラのビデオ)などを含んでもよい。タッチスクリーンインターフェースまたは凝視検出インターフェイスを含むクライアント1110Aの実施形態では、オーバーレイは、仮想キーボード、ジョイスティック、タッチパッド及び/または同様のものを含むことができる。オーバーレイの一実施例では、プレイヤの声は、音声ストリームにオーバーレイされている。ビデオソース1130は、任意に、さらに1つまたは複数のオーディオソースを含む。

0166

ビデオサーバシステム1120は、複数のプレイヤからの入力に基づいて、ゲームの状態を維持するように構成されている実施形態では、各プレイヤは、情景の位置及び方向を含む異なる視点を有することができる。ビデオソース1130は、各プレイヤの視点に基づいて、各プレイヤのための別個のビデオストリームを提供するように任意に構成されている。さらに、ビデオソース1130は、各クライアント1110に異なるフレームサイズ、フレームデータサイズ、及び/または符号化を提供するように構成され得る。ビデオソース1130は、3次元ビデオを提供するように任意に構成されている。

0167

I/Oデバイス1145は、ビデオ、コマンド、情報のリクエスト、ゲームの状態、凝視情報、デバイスの動き、デバイスの位置、ユーザの動き、クライアントのID、プレイヤのID、ゲームコマンド、セキュリティ情報、オーディオ及び/または同様の情報を送信及び/または受信するためにビデオサーバシステム1120用に構成されている。 I/Oデバイス1145は、典型的には、ネットワークカードモデムなどの通信ハードウェアを含む。 I/Oデバイス1145は、ゲームサーバ1125、ネットワーク1115、及び/またはクライアント1110と通信するように構成されている。

0168

プロセッサ1150は、本明細書において記載されたビデオサーバシステム1120の様々なコンポーネントに含まれているソフトウェアなどのロジックを実行するように構成されている。例えば、プロセッサ1150は、ビデオソース1130、ゲームサーバ1125、及び/またはクライアント・クオリファイヤ1160の機能を実行するためにソフトウェアインストラクションでプログラムされている。ビデオサーバシステム1120は、任意にプロセッサ1150の複数のインスタンスを含む。また、プロセッサ1150は、ビデオサーバシステム1120によって受信されたコマンドを実行するため、または本明細書において記載されたゲームシステム1100の種々の要素のオペレーションを調整するためにソフトウェアインストラクションでプログラムされている。プロセッサ1150は、1つまたは複数のハードウェア装置を含んでもよい。プロセッサ1150は、電子プロセッサである。

0169

ストレージ1155は、非一時的アナログ及び/またはデジタル記憶装置を含む。例えば、ストレージ1155はビデオフレームを格納するためのアナログストレージデバイスを含む。ストレージ1155は、ハードドライブ光学ドライブ、またはソリッドステート・ストレージなどのようなコンピュータ読み取り可能なデジタル・ストレージを含む。ストレージ1115は、ビデオフレーム、人工フレーム、ビデオフレーム及び人工フレームの両方を含むビデオストリーム、オーディオフレーム、オーディオストリーム、及び/または同様のものを格納するために(例えば、適切なデータ構造またはファイルシステムの方法によって)構成されている。ストレージ1155は、任意に、複数のデバイス間に分散されている。実施形態には、ストレージ1155は、本明細書において記載のビデオソース1130のソフトウェア・コンポーネントを格納するように構成されているものもある。これらのコンポーネントは、必要なときに提供できるような形式で格納することができる。

0170

ビデオサーバシステム1120は、任意に、更に、クライアント・クオリファイヤ1160を含む。クライアント・クオリファイヤ1160は、リモートでクライアント1110Aや1110Bなどのクライアントの能力を特定するように構成されている。これらの能力は、クライアント1110A自体の能力、ならびにビデオサーバシステム1120とクライアント1110Aとの間の1つまたは複数の通信チャネルの能力の両方を含み得る。例えば、クライアント・クオリファイヤ1160は、ネットワーク1115を介して通信チャネルをテストするように構成されてもよい。

0171

クライアント・クオリファイヤ1160は、手動または自動にクライアント1110Aの能力を判断(例えば、発見)することができる。手動の判断は、クライアント1110Aのユーザと通信し、能力を提供するようにユーザに求めることを含む。例えば、実施形態には、クライアント・クオリファイヤ1160は、画像、テキストなどをクライアント1110Aのブラウザ内に表示するように構成されているものもある。一実施形態では、クライアント1110Aは、ブラウザが含まれているHMDである。別の実施形態では、クライアント1110Aは、HMDに表示できるブラウザを有するゲーム機である。表示されるオブジェクトは、ユーザがクライアント1110Aのオペレーティングシステム、プロセッサ、ビデオ・デコーダ・タイプ、ネットワーク接続のタイプ、表示解像度などの情報を入力することを要求する。ユーザが入力した情報は、再びクライアント・クオリファイヤ1160に伝達される。

0172

自動の判断は、例えば、クライアント1110A上のエージェントを実行することにより、及び/またはクライアント1110Aにテストビデオを送信することによって行われる。エージェントは、ウェブページに埋め込まれた、またはアドオンとしてインストールされたJAVA(登録商標)スクリプトのような計算インストラクションを含み得る。エージェントは、任意にクライアント・クオリファイヤ1160によって提供されている。様々な実施形態では、エージェントは、クライアント1110Aの処理能力、クライアント1110Aの復号及び表示能力、クライアント1110Aとビデオサーバシステム1120との間の時間遅延信頼性と通信チャネルの帯域幅、クライアント1110Aの表示タイプ、クライアント1110Aに存在するファイアウォール、クライアント1110Aのハードウェア、クライアント1110A上で実行されるソフトウェア、クライアント1110A内のレジストリエントリなどを見つけることができる。

0173

クライアント・クオリファイヤ1160は、コンピュータ読取可能媒体に格納されたハードウェア、ファームウェア及び/またはソフトウェアを含む。クライアント・クオリファイヤ1160は、任意にビデオサーバシステム1120の1つ以上の他の要素とは別の計算装置上に配置されている。例えば、実施形態には、クライアント・クオリファイヤ1160は、クライアント1110とビデオサーバシステム1120の複数のインスタンスとの間の通信チャネルの特性を特定するように構成されているものもある。これらの実施形態では、クライアント・クオリファイヤによって発見された情報は、ビデオサーバシステム1120のどのインスタンスがクライアント1110の1つにストリーミングビデオを配信するのに最も適しているのかを特定するために使用できる。

0174

本明細書の実施形態は、ハンドヘルドデバイスマイクロプロセッサシステムマイクロプロセッサベースまたはプログラム可能コンシューマエレクトロニクスミニコンピュータメインフレームコンピュータなどを含む様々なコンピュータシステム構成で実施することができる。実施形態は、タスクがネットワークを介してリンクされているリモート処理装置によって実行される分散コンピューティング環境でも実施することができる。

0175

上記実施形態を留意して、実施形態は、コンピュータシステムに格納されたデータを伴う様々なコンピュータ実装オペレーションを使用できることが理解されるべきである。これらのオペレーションは、物理量の物理的操作を必要とするものである。実施形態の一部を形成する、本明細書に記載のいずれかのオペレーションは、有用なマシンオペレーションである。また、実施形態は、これらのオペレーションを実行するためのデバイスまたは装置に関する。装置は、専用コンピュータなどのように、必要な目的のために特に構築されてもよい。専用コンピュータとして定義すると、コンピュータは、特別な目的のために動作することが可能でありながら、他の処理、プログラムの実行または特別な目的の一部ではないルーチンを実行することができる。また、オペレーションは、コンピュータメモリキャッシュに格納されたまたはネットワークを介して取得された1つ以上のコンピュータプログラムによって選択的に起動または構成された汎用コンピュータにより処理されてもよい。データがネットワークを介して取得されるとき、データは、例えば、コンピューティングリソースクラウドのようなネットワーク上の他のコンピュータによって処理されてもよい。

0176

本明細書の一つ以上の実施形態は、コンピュータ読取可能媒体上のコンピュータ読み取り可能なコードとして生成することもできる。コンピュータ読取可能媒体は、データを記憶できる任意のデータ記憶装置であり、コンピュータシステムによってその後読み取ることができる。コンピュータ読取可能媒体の実施例としては、ハードドライブ、ネットワーク接続ストレージ(NAS)、リードオンリーメモリ(ROM)、ランダムアクセスメモリ(RAM)、CD—ROM、CD—R、CD—RW、磁気テープ及び他の光学及び非光学データ記憶装置を含む。コンピュータ読取可能媒体は、コンピュータ読取可能コードが分散方式で格納及び実行されるように、ネットワーク結合型コンピュータシステム上に分散コンピュータ読み取り可能な有形の媒体を含むことができる。

0177

方法オペレーションは特定の順序で記載されたが、オーバーレイ動作の処理が所望の方法で行われる限り、他のハウスキーピングオペレーションはオペレーションの間に行ってもよいし、オペレーションがわずかに異なる時間に発生するように調整されてもよく、処理に関連する様々な間隔で処理オペレーションの発生を許すシステムに分散されてもよいと理解されるべきである。

0178

上述した実施形態は理解を明確にする目的のためにある程度詳細に説明してきたが、特定の変更及び改変が、添付の特許請求の範囲内に実施できることは明らかであろう。従って、本明細書は、例示であって制限的なものではないと考えるべきであり、本発明は、本明細書に提示された詳細事項に限定されるものではなく、添付の特許請求の範囲及び均等物の範囲内で改変することができる。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 京セラ株式会社の「 電子機器、制御方法、及びプログラム」が 公開されました。( 2020/10/29)

    【課題】操作性を向上させた電子機器、制御方法、及びプログラムを提供する。【解決手段】電子機器1は、自機器に接触されないジェスチャを検出する第1センサ(近接センサ18)と、自機器に接触されるタッチを検出... 詳細

  • 京セラ株式会社の「 電子機器、制御方法、及びプログラム」が 公開されました。( 2020/10/29)

    【課題】移動体の運転の安全性を向上可能な電子機器、制御方法、及びプログラムを提供する。【解決手段】自動車に搭載可能な電子機器は、自機器に触れられずにジェスチャを検出する第1センサと、自機器に接触される... 詳細

  • 威海火峰電脳有限公司の「 マウスパッドの固定と調節装置」が 公開されました。( 2020/10/29)

    【課題】本発明はマウスパッドの固定と調節装置を開示した。【解決手段】主体を含み、前記主体の中には巻き装置が設置され、前記主体の下側には固定装置が設置され、前記巻き装置の上側には切換装置が設置され、前記... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ

特許:約8,000万件, クラウドファンディング:約100万年, 科研費・グラントデータ:約500万件, 発明者・研究者情報:約600万人