図面 (/)

この項目の情報は公開日時点(2015年5月28日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題・解決手段

電子デバイスタッチインターフェースを設けるシステムおよび方法を開示する。タッチ・インターフェースは、いずれの表面でも可能である。一例として、テーブルの上面をタッチ感応インターフェースとして使用することができる。一実施形態では、本システムは、表面のタッチ領域を判定し、このタッチ領域を、入力が供給される電子デバイスのディスプレイ相関付ける。本システムは、3Dカメラを有することができる。この3Dカメラは、ユーザー入力を可能にするために、ユーザーの手のタッチ領域に対する相対位置を識別する。尚、ユーザーの手はディスプレイを遮らないことを注記しておく。本システムは、ユーザーが表示画面上のエレメント相互作用するために、ユーザーの手の表現をディスプレイ上にレンダリングすることができる。

概要

背景

[0001] 過去において、計算デバイスは、キーボードおよびマウス入力デバイスとして使用していた。このような入力デバイスは確かに動作するが、ユーザーキーパッドを学習するかまたはマウス動作を学習する必要がある。また、このような入力デバイスは、多くのユーザーが使用したくなる程直観的ではない。

[0002] 更に最近になって、一部のコンピューターデバイスが、ユーザー入力を可能にするタッチ感表示画面を設けるようになった。これらのインターフェースは、以前のインターフェースよりも直観的であると考えられる。しかしながら、通例、これらはユーザーの手が表示画面を遮るという欠点がある。また、タッチ感応スクリーンは、表示画面がユーザーに近い携帯用デバイスまたは他のデバイスにとって最も実用的である。しかしながら、デスクトップ・コンピューターのように、デバイスは、通例、表示画面がユーザーからある距離だけ離れている。ユーザー入力を供給するためにこのような表示画面に手を伸ばしてタッチすることは、ユーザーにとって非実用的である可能性がある。

概要

電子デバイスにタッチ・インターフェースを設けるシステムおよび方法を開示する。タッチ・インターフェースは、いずれの表面でも可能である。一例として、テーブルの上面をタッチ感応インターフェースとして使用することができる。一実施形態では、本システムは、表面のタッチ領域を判定し、このタッチ領域を、入力が供給される電子デバイスのディスプレイ相関付ける。本システムは、3Dカメラを有することができる。この3Dカメラは、ユーザー入力を可能にするために、ユーザーの手のタッチ領域に対する相対位置を識別する。尚、ユーザーの手はディスプレイを遮らないことを注記しておく。本システムは、ユーザーが表示画面上のエレメント相互作用するために、ユーザーの手の表現をディスプレイ上にレンダリングすることができる。A

目的

ホバリングイベントの一例は、ディスプレイ96上のあるエレメントについて追加情報提示することである

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

3D画像データーに基づいて、表面に対する物体の三次元(3D)位置を判定するステップと、前記表面に対する前記物体の3D位置に基づいて、電子デバイスに関連するディスプレイ上にユーザー入力エレメントレンダリングするステップと、前記表面に対する前記物体の3D位置に基づいて、前記電子デバイスに対するユーザー入力を受けるステップと、を含む、方法。

請求項2

請求項1記載の方法において、前記ユーザー入力エレメントをレンダリングするステップが、ユーザーの手の表現を通して画像が見えるように、前記ユーザーの手の透過表現を前記ディスプレイ上で前記画像に重ねて表示して、するステップを含む、方法。

請求項3

請求項1記載の方法において、3D画像データーに基づいて表面に対して物体の3D位置を判定するステップが、前記物体が前記表面にタッチしているか、またはほぼタッチしているか否か判定するステップを含む、方法。

請求項4

請求項3記載の方法において、前記ユーザー入力が、前記ディスプレイ上に提示されたエレメントに関連する選択である、方法。

請求項5

請求項4記載の方法において、前記ユーザー入力エレメントをレンダリングするステップが、前記表面をタッチしているまたはほぼタッチしているユーザーの手の部分を表すために、前記ユーザー入力エレメントの一部を強調表示するステップを含む、方法。

請求項6

請求項1記載の方法において、3D画像データーに基づいて、表面に対する物体の3D位置を判定するステップが、前記物体が前記表面の上方においてホバリングゾーン内でホバリングしているか否か判定するステップを含む、方法。

請求項7

請求項6記載の方法において、前記ユーザー入力が、前記ディスプレイ上のエレメントに関連するホバリング・イベントであり、前記エレメントの上方において前記ユーザー入力エレメントがホバリングしている、方法。

請求項8

請求項7記載の方法において、前記ユーザー入力エレメントをレンダリングするステップが、前記表面の上方における前記ホバリング・ゾーン内にユーザーの手があることを表現するために、前記ディスプレイ上において前記ユーザー入力エレメントを強調表示するステップを含む、方法。

請求項9

3Dカメラと、ディスプレイと、前記3Dカメラおよび前記ディスプレイに結合された処理ロジックと、を含み、前記処理ロジックが、前記3Dカメラからの画像データーに基づいて表面の位置を判定し、前記3Dカメラからの画像データーに基づいて、前記表面に対するユーザーの手の3D位置を判定し、前記表面に対する前記ユーザーの手の3D位置に基づいて、前記ディスプレイ上に前記ユーザーの手の透過表現をレンダリングし、前記表面に対する前記ユーザーの手の3D位置に基づいて、ユーザー入力を受ける、ように構成される、装置。

請求項10

請求項9記載の装置において、前記処理ロジックが、前記表面上においてタッチ領域を判定し、前記タッチ領域内の一部を前記ディスプレイ上の位置に相関付ける、ように構成される、装置。

背景技術

0001

[0001] 過去において、計算デバイスは、キーボードおよびマウス入力デバイスとして使用していた。このような入力デバイスは確かに動作するが、ユーザーキーパッドを学習するかまたはマウス動作を学習する必要がある。また、このような入力デバイスは、多くのユーザーが使用したくなる程直観的ではない。

0002

[0002] 更に最近になって、一部のコンピューターデバイスが、ユーザー入力を可能にするタッチ感表示画面を設けるようになった。これらのインターフェースは、以前のインターフェースよりも直観的であると考えられる。しかしながら、通例、これらはユーザーの手が表示画面を遮るという欠点がある。また、タッチ感応スクリーンは、表示画面がユーザーに近い携帯用デバイスまたは他のデバイスにとって最も実用的である。しかしながら、デスクトップ・コンピューターのように、デバイスは、通例、表示画面がユーザーからある距離だけ離れている。ユーザー入力を供給するためにこのような表示画面に手を伸ばしてタッチすることは、ユーザーにとって非実用的である可能性がある。

0003

[0003] 本明細書において開示するのは、ディスプレイに関連する電子デバイスへのタッチ・ユーザー入力を可能にするシステムおよび方法である。タッチ・インターフェースは、いずれの表面でも可能である。一例として、テーブルの表面をタッチ感応インターフェースとして使用することができる。本システムは、ユーザー入力を考慮するために、ユーザーの手のタッチ・インターフェースに対する相対的な位置を識別する3Dカメラを有することもできる。つまり、ユーザーの手はディスプレイを遮らない。また、本システムは、ユーザーの手がタッチ・インターフェースの上方でホバリングしているか否か判断することもできる。したがって、本システムは、ユーザー入力の1タイプとして、ホバリング・イベントに対応する。

0004

[0004] 一実施形態は、ディスプレイに関連する電子デバイスへのユーザー入力を可能にする方法を含む。この方法は、三次元(3D)画像データーに基づいて物体の表面に対する3D位置を判定するステップを含む。更に、この方法は、物体の表面に対する3D位置に基づいて、ユーザー入力エレメントをディスプレイ上にレンダリングするステップも含む。更に、この方法は、物体の表面に対する3D位置に基づいて、電子デバイスのためのユーザー入力を受けるステップも含む。

0005

[0005] 一実施形態は、3Dカメラと、ディスプレイと、この3Dカメラおよびディスプレイに結合された処理ロジックとを含む装置を含む。処理ロジックは、3Dカメラからの画像データーに基づいて表面の位置を判定するように、そして3Dカメラからの画像データーに基づいてユーザーの手の表面に対する3D位置を判定するように構成される。処理ロジックは、表面に対するユーザーの手の3D位置に基づいて、ユーザーの手の透過表現をディスプレイ上にレンダリングする。更に、処理ロジックは、表面に対するユーザーの手の3D位置に基づいて、ユーザー入力を受ける。

0006

[0006] 一実施形態は、ディスプレイに関連する電子デバイスに対するユーザー入力を可能にする方法を含む。この方法は、3D画像データーに基づいて表面の位置を判定するステップを含む。この表面は、ディスプレイ・デバイスの表面でも、電子デバイスの表面でもない。この表面上におけるタッチ領域を判定する。この表面上のタッチ領域に対するユーザーの手の3D位置を、3D画像データーに基づいて判定する。タッチ領域内の位置を、電子デバイスに関連するディスプレイ上の位置に相関付ける。タッチ領域に対するユーザーの手の3D位置に基づいて、ユーザーの手の表現をディスプレイ上にレンダリングする。タッチ領域に対するユーザーの手の3D位置に基づいて、電子デバイスに対するユーザー入力を受ける。

0007

[0007] この摘要は、詳細な説明において以下で更に説明する概念から選択したものを、簡略化した形態で紹介するために設けられている。この摘要は、特許請求する主題の主要な特徴や必須の特徴を特定することを意図するのではなく、特許請求する主題の範囲を判断するときに補助として使用されることを意図するのでもない。更に、特許請求する主題は、本開示のいずれかの部分に特するいずれかの欠点を解決する実施態様に限定されるのではなく、全ての欠点を解決する実施態様に限定されるのでもない。

図面の簡単な説明

0008

図1Aは、タッチ領域によって入力を使用することを可能にするシステムの一実施形態を示す。
図1Bは、ユーザーの手の1つがテーブルのタッチ領域上方にあるときに、システムが表示するものの一実施形態を示す。
図1Cは、ディスプレイを除いたユーザー入力エレメントの一実施形態を示す。
図1Dは、テーブルの表面にタッチするかまたはテーブルの表面上方でホバリングすることによって、HMDを装着したユーザーが入力を供給することを可能にするシステムを示す。
図1Eは、ニアアイ頭部装着ディスプレイ・デバイスとして、透視型ディスプレイ・デバイス(see-through display device)を示す。
図1Fは、深度カメラ一体化された表示画面の表面にタッチするかまたはこの表面上方でホバリングすることによって、ユーザーが入力を供給することを可能にするシステムを示す。
図2は、電子デバイスに対するユーザー入力を可能にするために使用することができるキャプチャー・デバイスおよび計算システムを含むシステムの一実施形態を示す。
図3は、3D画像データーに基づいて、ディスプレイに関連する電子デバイスに対するユーザー入力を受けるプロセスの一実施形態のフローチャートである。
図4Aは、タッチ領域に対するユーザーの手の位置を判定するプロセスの一実施形態のフローチャートである。
図4Bは、ユーザーの手をタッチ領域にマッピングすることを示すための図である。
図5Aは、タッチ領域を判定するプロセスの一実施形態のフローチャートである。
図5Bは、タッチ領域に対する平面方程式(plane equations)の一実施形態の詳細を示す。
図5Cは、タッチ領域を定めるプロセスの一実施形態のフローチャートである。
図5Dは、タッチ領域を判定する一実施形態の詳細を示す。
図6Aは、ユーザーの手、およびタッチ領域に対する手の相対的な位置を識別するプロセスの一実施形態のフローチャートである。
図6Bは、深度画像バケット(bucket)に置くことによって形成される距離マップの一例を示す。
図6Cは、手と腕の一部のポイントクラウドモデル(point cloud model)を示す。
図6Dは、指先を追跡するプロセスの一実施形態のフローチャートを示す。
図7は、ユーザー入力エレメントおよび影(shadow)をレンダリングするプロセスの一実施形態のフローチャートである。
図8Aは、ハードウェアおよびソフトウェアコンポーネントのための支持体を設ける混合現実ディスプレイ・デバイス(mixed reality display device)のめがねの実施形態におけるめがねの弦(eyeglass temple)の側面図である。
図8Bは、ハードウェアおよびソフトウェア・コンポーネントのための支持体を設け、更にマイクロ・ディスプレイ・アセンブリの三次元調節を行う混合現実ディスプレイ・デバイスの一実施形態におけるめがねの弦の側面図である。
図9Aは、凝視検出エレメントの構成(arrangement)を含む、透視型ニアアイ混合現実デバイスの可動表示光学システムの一実施形態の上面図である。
図9Bは、凝視検出エレメントの構成を含む、透視型ニアアイ混合現実デバイスの可動表示光学システムの他の実施形態の上面図である。
図9Cは、凝視検出エレメントの構成を含む、透視型ニアアイ混合現実デバイスの可動表示光学システムの第3の実施形態の上面図である。
図9Dは、凝視検出エレメントの構成を含む、透視型ニアアイ混合現実デバイスの可動表示光学システムの第4の実施形態の上面図である。
図10Aは、1つ以上の実施形態と共に使用することができる、透視型ニアアイ混合現実ディスプレイ・ユニットのハードウェアおよびソフトウェア・コンポーネントの一実施形態のブロック図である。
図10Bは、透視型ニアアイ混合現実ディスプレイ・ユニットに関連する処理ユニットのハードウェアおよびソフトウェア・コンポーネントの一実施形態のブロック図である。
図11Aは、計算システムを実現するために使用することができるマルチメディアコンソール(またはゲーミング・コンソール)を含む計算環境の一例を示す。
図11Bは、計算システムを実現するために使用することができる計算環境の他の例を示す。

実施例

0009

[0037] これより、総合的に電子デバイス用タッチ・インターフェースに関する本技術の実施形態について説明する。タッチ・インターフェースは、任意の表面を含むことができる。一例として、テーブルの上面をタッチ感応インターフェースとして使用することができる。一実施形態では、本システムは表面のタッチ領域を判定し、入力が供給される対象の電子デバイスのディスプレイに、そのタッチ領域を相関付ける。本システムは、ユーザー入力を可能にするタッチ領域に対するユーザーの手の相対的な位置を識別する3Dカメラを有することができる。尚、ユーザーの手はディスプレイを遮らないことを注記しておく。本システムは、ユーザーが表示画面上のエレメントと対話処理するために、ディスプレイ上にユーザーの手の表現をレンダリングすることができる。

0010

[0038]広範囲にわたる種々のユーザー入力機能が可能であり、以下のものを含むが、これらに限定されるのではない。ユーザーは、ディスプレイ上でエレメントを選択するために、表面(またはタッチ領域)にタッチすることができる。ユーザーは、表面を横切って彼らの指を動かして、ディスプレイ上でエレメントをドラッグすることができる。ユーザーは、表面上で彼らの指を狭めて(pinch together)縮小すること、または彼らの指を広げて拡大することができる。尚、一実施形態のシステムは、3D画像データーに基づいて、左手右手と区別すること、および1本の指を他の指と区別することができることを注記しておく。したがって、この情報は、どの指または手がディスプレイと接触しているか通知することができない従来のタッチ感応ディスプレイで可能なユーザー入力よりも複雑なユーザー入力に使用することができる。

0011

[0039] 他の可能な入力に「ホバリング・イベント」(hover event)がある。電子デバイスに対するインターフェースのコンテキストでは、ホバリングするとは、興味を示すがコミットしないことを意味する。従来のユーザー・インターフェースでは、ユーザーが、マウスを「クリックする」ことなく、カーソルをあるエレメント(ハイパーリンク等)の情報に位置付けることもあり得る。つまり、ユーザーは選択もコミットもしない。しかしながら、ユーザーはそのエレメントに対する興味を示している。一実施形態では、ユーザーは、彼らの手をタッチ領域の上方におけるある範囲の距離以内(例えば、ホバリング・ゾーン)に保持することによって、ホバリング・イベントを生じさせる。ホバリング・ゾーンは、例えば、タッチ領域よりも上に1cmから10cmの範囲にするとよい。つまり、ユーザーの興味がホバリング・イベントをトリガーすることができる。また、ホバリング・イベントを「フォーカス・イベント」(focus event)と呼ぶこともできる。

0012

[0040] 一例として、ディスプレイはデスクトップ・コンピューター・システムと関連付けられる。タッチ領域は、コンピューター・キーボードの直ぐ右側または左側にすることができる。あるいは、ユーザーは、タッチ領域がキーボードが通常存在する場所となるように、キーボードを脇に寄せて設定することもできる。

0013

[0041]図1Aは、タッチ領域によってユーザー入力を可能にするシステムの一実施形態を示す。図1Aは、ユーザーの前にディスプレイ96があるテーブル9の前に座っているユーザーを示す。ユーザーは、彼または彼の手をテーブル9上に伸ばしている。ディスプレイ96の上にはキャプチャー・デバイス20がある。キャプチャー・デバイス20は、テーブル9に対するユーザーの手の位置を判定することができる3Dカメラを含むことができる。計算システム12は、通信可能にディスプレイ96およびキャプチャー・デバイス20に結合されればよい。一例として、計算システム12がデスクトップ・コンピューター・システムのタワー部(tower portion)であることもできるが、他の可能性も存在する。計算システム12、キャプチャー・デバイス20、およびディスプレイ96を纏めて「システム」と呼んでもよい。このシステムは、タッチ感応ユーザー入力を計算システム12に供給するためにテーブル9を使用することを可能にする。

0014

[0042] 一実施形態では、キャプチャー・デバイス20は平行光ビームを放出する。平行光の例には、赤外線(IR)およびレーザーが含まれるが、これらに限定されるのではない。キャプチャー・デバイス20からの光が視野内にある物体8に反射して、キャプチャー・デバイス20によって検出される。視野は、大まかに線12a、12bによって示される。この例では、物体8はユーザーの両手および両腕を含む。また、光はテーブル9からも反射して、キャプチャー・デバイス20に戻る。したがって、テーブル9に対するユーザーの手の位置を判定することができる。この例では、人は彼らの手を使用して入力を入力する。しかしながら、一実施形態では、本システムは、入力を可能にするためにユーザーの手以外の物体を追跡する。一例として、ユーザーが、ペンまたは鉛筆をタッチ領域11の上方またはタッチ領域11上で動かすことによって、入力を発生することもできる。

0015

[0043] 一実施形態では、キャプチャー・デバイス20は、1つのRGBカメラを使用して、3D画像データーを収集する。一実施形態では、RGBカメラはモーションステレオ(motion stereo)を使用して深度を判定する。モーション・ステレオを使用して深度を判定するには、異なる時刻にキャプチャーされた2つのRGB画像を比較することを含めばよい。1つのRGBカメラを使用して深度を判定するときに補助するために、場面理解のような儀容が使用されてもよい。

0016

[0044]タッチ領域11が、テーブル9上に破線で図示されている。タッチ領域11は、テーブル9の一部であり、ディスプレイ96に関連する電子デバイスに対してタッチ感応入力を供給するためにユーザーが使用することができる。また、ユーザーは、テーブル9にタッチすることなく、タッチ領域11の上方でホバリングして、ホバリング入力を供給することもできる。一実施形態では、本システムは、タッチ領域11として使用されるのに適したテーブル9の部分を判定する。一実施形態では、本システムは、テーブル9のどの部分がタッチ領域11として使用されるか、ユーザーに指定させる。1つよりも多いタッチ領域11があることも可能である。例えば、右手用のタッチ領域と、左手用の別のタッチ領域があることも可能である。尚、タッチ領域11は何らセンサー特殊な特性を有する必要がないことを注記しておく。つまり、テーブル9は特別の方法で製造される必要は全くない。テーブル9以外の表面も、タッチ領域11に使用することができる。

0017

[0045] 論述のために、テーブル9の表面がx−y平面であると見なすとよい。一実施形態では、本システムは、テーブル9(またはタッチ領域11)に対するユーザーの手の(x、y、z)座標を判定する。一実施形態では、タッチ領域のx−y座標が、ディスプレイ96に対するx−6座標系に相関付けられる。一実施形態では、z−軸はテーブル9の表面から離れる方向の距離に対応する。他の座標系を使用してもよい。例えば、キャプチャー・デバイス20の視点から座標を表現するのでもよい。これについては以下で論ずる。

0018

[0046]図1Bは、ユーザーの手の1つがテーブル9のタッチ領域の上方にあるときに本システムが表示するものの一実施形態を示す。この例では、ユーザーの手の透過表現18が、表示画面96上の種々のエレメント23に重なって表示される。ここでは、表現18を「ユーザー入力エレメント」18と呼ぶとよいであろう。透過性であるので、ユーザー入力エレメント18の後ろまたは下にあるエレメント23をはっきりと見ることができる。ユーザー入力エレメント18は、人の手に似ている必要はない。また、手がレンダリングされるとき、それは形状に関して必ずしもユーザーの手の正確な表現ではないことも注記しておく。

0019

[0047]ユーザーがユーザー入力を直観的に制御するのを助けるために、種々のレンダリング効果を使用することができる。一実施形態では、ユーザーがテーブル9の上方でホバリングしているときには、ユーザー入力エレメント18が何らかの特殊なやり方でレンダリングされる。例えば、ホバリングを示すために、ある色を使用することもできる。一例として、ユーザー入力エレメント18は、ホバリングを示すために、透明な青にすることができる。一実施形態では、テーブル9上のタッチ領域11に近い接触ゾーン(contact zone)内に指があるとき、その指がディスプレイ96上で強調表示(highlight)される。これは、指先のエッジに沿った強調表示15によって図示される。強調表示15は、発光する指先のエッジ、または任意の他の効果を示すことができる。

0020

[0048] 他の効果は、ユーザーに彼らの手がタッチ領域11からどの位離れているかという感覚を与えるために、影21a、21bを示すことである。例えば、2つの擬似光源に基づいて2つの影21a、21bがレンダリングされる場合、影21a、21bが互いに重なる(merge)程表面に近づいて見える。2つの影21a、21bの重複領域(merger region)27が図示される。また、ユーザー入力エレメント18の下に影がレンダリングされてもよいが、このような影は図1Bには示されていない。

0021

[0049]ユーザーに彼らの手がタッチ領域11からどの位離れているかという感覚を与えるために、他の効果を使用することもできる。一実施形態では、ユーザー入力エレメント18は、少なくともある程度、その下にレンダリングされるものを歪ませる。歪みの量は、一実施形態では、手がタッチ領域11から動かされて遠ざかる程増大する。例えば、「Store」という単語がいくらか歪んで見える。一実施形態では、ユーザーが彼らの手をタッチ領域11に近づくように動かすと、歪みが少なくなる。尚、ある程度の歪みがあっても、ユーザー入力エレメント18は、半透明になったりまたは不透明になるのではなく、透過性であり続けると考えることができる。

0022

[0050]図1Cは、ディスプレイ96を除いたユーザー入力エレメント18の一実施形態を示す。ユーザー入力エレメント18は、エッジ15、17によって囲まれた透過性の内部13を有する。エッジの一部はタッチ点14を表す。この例では、指および親指の内いくつかの先端がタッチ点15となる。タッチ点15は、他のエッジとは異なるやり方でレンダリングされるので、ユーザーはこれらが接触ゾーン内のどこにあるか見ることができる。尚、接触ゾーンはタッチ領域11に対して比較的近い距離以内にあるとよいことを注記しておく。したがって、タッチ点15は、実際にタッチ領域11と物理的に接触する部分には必ずしも対応しない。

0023

[0051] 尚、ユーザーがユーザー入力オブジェクト18のエッジを明確に見やすくするために、接触点ではないエッジ17は、内部透明部分13とは異なるレンダリングが行われるとよいことを注記しておく。例えば、エッジ17が目立ちやすくするために、エッジ17が透過領域13よりもいくらか明るく、または代わりに暗くレンダリングされるのでもよい。エッジ17が目立ちやすくするために、エッジ17に他の効果を使用してもよい。

0024

[0052]ディスプレイ96は、他のタイプの電子デバイスと関連付けることもできる。他の例は、「頭部装着ディスプレイ」または「ヘッドアップ・ディスプレイ」と呼ぶことができるものである。図1Dは、HMD2を装着したユーザーが、テーブル9の表面をタッチすることによってまたはその上方でホバリングすることによって入力を供給することを可能にするシステムを示す。一実施形態では、HMD2は3Dカメラを有する。この3Dカメラは、テーブル9上のタッチ領域11に対するユーザーの手の位置を判定することができる。しかしながら、異なるカメラ・システムを使用することもできる。つまり、HMDは、3Dカメラ・システムを有する必要はない。

0025

[0053] HMD2ディスプレイは、ユーザーの手がディスプレイ96上のエレメントに対してどこに位置するかユーザーに示すために、図1Bに示した画像と同様の画像をレンダリングすることができる。一実施形態では、HMD2は、テーブル9または壁のような何らかの表面が表示面として作用していることがユーザーに見えるように、画像をレンダリングする。尚、テーブル9が使用される場合、ユーザーの手が画像と干渉しないように、タッチ領域11とは異なるテーブル9の領域に画像が現れるように見えることを注記しておく。しかしながら、画像が大まかにタッチ領域11と一致するように表示画像提示するという選択肢もある。

0026

[0054]図1Eは、ワイヤ6を通じて処理ユニット4と通信するニアアイ、頭部装着ディスプレイ(HMD)デバイス2のような、透視型ディスプレイ・デバイスを示す。他の実施形態では、頭部装着ディスプレイ・デバイス2は、ワイヤレス通信によって処理ユニット4と通信する。処理ユニット4は種々の実施形態をなすことができる。実施形態では、処理ユニット4が別個のユニットであり、ユーザーの身体、例えば、図示の例ではウェストに装着されるのでもよく、ニアアイ・ディスプレイ・デバイス2を動作させるために使用される計算パワーの多くを含む。処理ユニット4は、1つ以上の計算システム12、ホットスポットセルラデーターネットワーク等にワイヤレスで(例えば、WiFi、Bluetooth(登録商標)、赤外線、または他のワイヤレス通信手段)通信することもできる。他の実施形態では、処理ユニット4の機能性が、HMD2のソフトウェアおよびハードウェア・コンポーネントに統合されてもよい。また、処理ユニットを「処理ロジック」と呼ぶこともできる。処理ロジックは、ハードウェアおよび/またはソフトウェアのあらゆる組み合わせを含むことができる。例えば、処理ロジックは、特定用途集積回路ASIC)を含むこともできる。処理ロジックは、プロセッサー実行可能命令が格納されたコンピューター読み取り能記憶デバイスと、これらの命令を実行するプロセッサーとを含むことができる。

0027

[0055]頭部装着ディスプレイ・デバイス2は、一実施形態では、めがねのフレーム115の形状をしており、ユーザーの頭部に装着されるので、ユーザーは、各目で、この例では表示光学系96として具体化されたディスプレイを通して見ることができ、これによってユーザーの前方にある空間の実際の直視野を有することができる。「実際の直視野」という用語の使用は、物体の作られた画像表現を見るのではなく、人間の目によって直接実世界の物体を見ることができることに言及する。例えば、ガラス(glass)を通して部屋を見ると、ユーザーはこの部屋の実際の直視野を得ることができるが、テレビジョン上で部屋のビデオを見ても、この部屋の直視野にはならない。ソフトウェア、例えば、ゲーミング・アプリケーションを実行するコンテキストに基づいて、本システムは、仮想画像と呼ばれることもある仮想物体の画像を、ディスプレイ上に投射することができ、これらの画像は、透視型ディスプレイ・デバイスを着用した人によって見ることができ、しかもこの人はディスプレイを通して実世界の物体も見ている。

0028

[0056]フレーム115は、本システムのエレメントを適所に保持するための支持体(support)となり、更に電気接続のための線渠にもなる。この実施形態では、フレーム115は、以下で更に論ずる本システムのエレメントのための支持体として、便利なめがねフレームを備える。他の実施形態では、他の支持構造を使用することができる。このような構造の一例に、バイザー帽子ヘルメット、またはゴーグルがある。フレーム115は、ユーザーのの各々の上に載せる弦、即ち、サイドアームを含む。弦102は、右側の弦の一実施形態を表し、HDM2の制御回路136を含む。フレームの鼻当て(nose bridge)104は、キャプチャー・デバイス20を含むことができ、キャプチャー・デバイス20は、3D撮像を使用してその視野内において物体を検出することができる。

0029

[0057]図1Fは、画面67の内部または背後にある深度カメラ・システムを使用するタッチ・インターフェースを設けるシステムの一実施形態を示す。ユーザーは、テーブル9の前に座っており、画面67と対話処理している。画面67は、その背後に、または画面に内蔵された深度カメラ・システムを有する。深度カメラ・システムは、3D画像データーをキャプチャーすることができる。深度カメラ・システムは、光源68と、1つ以上の(恐らくは多くの)光検出器とを含むことができる。一例として、光源は赤外線(IR)であってもよい。一実施形態では、画面67の各画素が光検出器として役割を果たす。しかしながら、光検出器が画素の一部である必要はない。画素はLCD画面の一部であることができるが、他の技術を使用してもよい。一実施形態では、光源68からの光は画面67を通過して進行し、ユーザー8から反射する。反射光は、画面67内または画面67の背後にある1つ以上の光検出器によって取り込まれる。こうして、画面67に対するユーザーの低の位置を判定することができる。尚、これは、x−、y−、およびz−位置を含めばよいことを注記しておく。

0030

[0058] また、画面67は、ディスプレイとしての使用も可能であるとよい。しかしながら、画面67は、タッチ・インタラクティブ・システムを使用するときは、ディスプレイとして使用される必要はない。むしろ、ユーザー8によって装着されるHMD2が、図1Dの例と同様に、ディスプレイとして使用されるとよい。このように、本システムは、画面67の内部または背後にある深度カメラ・システムを使用して、画面67に対するユーザーの手の位置を判定する。本システムは、HMD2(または他の何らかのディスプレイ)にユーザーの手の表現を表示する。例えば、HMD2は、図1Bにおける画像のような、画像を示すことができる。尚、ユーザーは、対話処理するとき、必ずしもテーブル9を見下ろすのではないことを注記しておく。例えば、HMD2内に提示される画像が壁上の表示画面になるように現れるのであれば、ユーザーは壁を見ているのでもよい。つまり、図1Fに示す実施形態と図1Dの実施形態との間の相違は、深度カメラ・システムの位置である。図1Fの実施形態では、HMD2は深度カメラを有する必要はない。

0031

[0059]図2は、システム10の一実施形態を示す。システム10は、キャプチャー・デバイス20と、電子デバイスへのユーザー入力を可能にするために使用することができる計算システム12を含む。この電子デバイスは、計算システム12を含むことができるが、これでなくてもよい。一実施形態では、キャプチャー・デバイス20は、3D画像データーをキャプチャーするように構成された深度カメラ(または深度検知カメラ)であり、3D画像データーは、深度情報と共に静止画像およびビデオを含む。深度情報は、深度値がある深度マップを含むことができる。深度カメラは、飛行時間、構造化光ステレオ画像等を含むがこれらに限定されない種々の技法を使用することができる。一実施形態では、キャプチャー・デバイス20は深度検知撮像センサーを含む。

0032

[0060]深度マップは、キャプチャーされた場面の二次元(2−D)画素エリアを含むことができ、2−D画素エリアにおける各画素は、カメラからキャプチャーされた場面における物体までの、例えば、センチメートル、ミリメートル等を単位とする距離というような、深度値を表すことができる。画像カメラ・コンポーネント32は、焦点距離主要点レンズ歪みパラメーター等というような、カメラの本質的なパラメーター推定値を得るように予め較正されるとよい。カメラの較正技法については、Z. Zhang, "A Flexible New Technique for Camera Calibration"(カメラ較正のための柔軟な新たな技法)IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11): 1330-1334, 2000において論じられている。この文献をここで引用したことにより、その内容が本願にも含まれるものとする。

0033

[0061]図2に示すように、キャプチャー・デバイス20は、IR発光コンポーネント34、三次元(3−D)カメラ36、およびキャプチャー・エリアの深度マップをキャプチャーするために使用することができるRGBカメラ38を含むことができる。例えば、飛行時間分析では、キャプチャー・デバイス20のIR発光コンポーネント34が、赤外線光をキャプチャー・エリアに放出することができ、次いで、例えば、3−Dカメラ36および/またはRGBカメラ38を使用して、キャプチャー・エリア内にある1つ以上のターゲットおよび物体の表面からの後方散乱光を、センサーを使用して検出することができる。実施形態では、キャプチャー・デバイス20がIRCMOS撮像センサーを含んでもよい。実施形態では、パルス状赤外線光が使用され、発信光パルスと対応する入射光パルスとの間の時間を測定し、キャプチャー・デバイス20からキャプチャー・エリア内にあるターゲットまたは物体上における特定の場所までの物理的距離を判定するために使用されてもよい。加えて、発信光波の位相着信光波の位相と比較して、位相ずれを判定するのでもよい。次いで、この位相ずれを使用して、キャプチャー・デバイスからターゲットまたは物体上の特定の場所までの物理的距離を判定することができる。

0034

[0062] 一実施形態では、飛行時間分析を使用して、例えば、散乱光パルス撮像(shuttered light pulse imaging)を含む種々の技法によって、経時的な光の反射ビームの強度を分析することによって、キャプチャー・デバイス20からターゲットまたは物体上の特定の場所までの物理的距離を間接的に判定することができる。

0035

[0063] 他の例では、キャプチャー・デバイス20が、構造化光を使用して深度情報をキャプチャーすることもできる。このような分析では、パターン光(即ち、格子パターンまたは縞模様パターンのような既知パターンとして表示される光)を、例えば、IR発光コンポーネント34によって、キャプチャー・エリアに向けて投射する。キャプチャー・エリアにおいて1つ以上のターゲット(または物体)の表面に衝突したときに、パターンが、それに応答して、変形すると考えられる。このようなパターンの変形を、例えば、3Dカメラ36および/またはRGBカメラ38によってキャプチャーし、分析して、キャプチャー・デバイスからターゲットまたは物体上における特定の場所までの物理的距離を判定することができる。

0036

[0064] 実施形態では、2つ以上の異なるカメラが統合キャプチャー・デバイスに組み込まれてもよい。例えば、深度カメラおよびビデオ・カメラ(例えば、RGBビデオ・カメラ)が共通のキャプチャー・デバイスに組み込まれてもよい。実施形態では、2つ以上の別個のキャプチャー・デバイスを協働するように使用することもできる。例えば、深度カメラおよび別個のビデオ・カメラを使用するのでもよい。ビデオ・カメラが使用されると、ターゲット追跡データー、ターゲット追跡の誤差補正用確認データー、画像キャプチャー、身体部分認識、指(または他の小さい身体部分(feature))の高精度追跡、光検知、および/または他の機能を設けるために使用することができる。

0037

[0065] 一実施形態では、キャプチャー・デバイス20は、2つ以上の物理的に分離されたカメラを含むこともでき、これらのカメラは、異なる角度からキャプチャー・エリアを捕らえて、視覚的ステレオ・データーを得ることができ、この視覚的ステレオ・データーを解明して深度情報を生成することができる。また、複数の検出器を使用して画像を取り込み、視差計算を実行することによって深度を判定することもできる。検出器は、白黒、赤外線、RGB、または他のいずれのタイプの検出器でもよい。他のタイプの深度撮像センサーも、深度画像を形成するために使用することができる。

0038

[0066]図2に示すように、キャプチャー・デバイス20はマイクロフォン40を含むことができる。マイクロフォン40は、音を受けて電気信号に変換する変換器またはセンサーを含むことができる。一実施形態では、マイクロフォン40は、ターゲット検出および追跡システム10におけるキャプチャー・デバイス20と計算システム12との間のフィードバックを減らす(reduce)ために使用することができる。加えて、マイクロフォン40は、ユーザー入力をコンピューター・システム12に供給するために同様にユーザーによって供給することができるオーディオ信号を受けるために使用することもできる。例えば、ユーザーがタッチ・インターフェースを使用して何らかのコマンドを入力した後、システム12が、オーディオ入力を供給することによってコマンドを検証するようにユーザーを促すのでもよい。

0039

[0067]キャプチャー・デバイス20は、撮像カメラ・コンポーネント22と通信するロジック42を含むことができる。ロジック42は、命令を実行することができる、標準プロセッサー、特殊プロセッサー、マイクロプロセッサー等を含むことができる。また、ロジック42は、ASIC、電子回路論理ゲート等のようなハードウェアも含むことができる。ロジック42がプロセッサーである場合、プロセッサー42は、深度マップを判定する命令、および手のようなターゲットが深度マップ内にあるか否か判定する命令を含む命令を実行することができる。尚、計算システム12が、タッチ・インターフェースによってユーザー入力を可能にする1つ以上のステップを実行するために別個のプロセッサーを有してもよいことを注記しておく。実施形態では、深度カメラにおけるロジック42は、深度画像の初期処理を実行し、コンピューター・システム12におけるプロセッサーは、それよりも高いレベルの機能を実行する。尚、キャプチャー・デバイス20におけるロジックとコンピューター・システム12におけるプロセッサーとの間における作業(labor)の分割は、任意のやり方で分割されればよいことを注記しておく。

0040

[0068]図2に示すように、キャプチャー・デバイス20は、プロセッサー42によって実行することができる命令、3−DカメラまたはRGBカメラによってキャプチャーされた画像または画像のフレーム、ユーザー・プロファイルまたは他のあらゆる適した情報、画像等を格納することができるメモリー・コンポーネント44を含むことができる。一例では、メモリー・コンポーネント44は、ランダムアクセス・メモリー(RAM)、リードオンリー・メモリー(ROM)、キャッシュフラッシュ・メモリー、ハードディスク、または他のあらゆる適した記憶コンポーネントを含むこともできる。メモリー・コンポーネント44は、コンピューター記憶媒体またはコンピューター記憶デバイスと呼ぶこともできる。図2に示すように、メモリー・コンポーネント44は、画像キャプチャー・コンポーネント34およびプロセッサー42と通信する別個のコンポーネントであってもよい。他の実施形態では、メモリー・コンポーネント44がプロセッサー42および/または画像キャプチャー・コンポーネント34に統合されてもよい。一実施形態では、図2に示すキャプチャー・デバイス20のコンポーネント34、36、38、40、42、および44の一部または全部が、1つの筐体内に収容される。

0041

[0069]図2に示すように、キャプチャー・デバイス20は、通信リンク46を通じて計算システム12と通信することができる。通信リンク46は、例えば、USB接続、FireWire接続、イーサネット(登録商標)・ケーブル接続等を含む有線接続、および/またはワイヤレス802.11b、g、a、またはn接続というようなワイヤレス接続とすることができる。計算システム12は、クロックをキャプチャー・デバイス20に供給することができ、このクロックは、例えば、通信リンク46を通じて場面をいつキャプチャーするか決定するときに使用することができる。

0042

[0070] 一実施形態では、キャプチャー・デバイス20は、例えば、3Dカメラ36および/またはRGBカメラ38によってキャプチャーされた画像を計算システム12に通信リンク46を介して供給することができる。次いで、計算システム12は、深度情報およびキャプチャーされた画像を使用して、例えば、仮想画面を作成し、ユーザー・インターフェースを適合させ、そしてゲームまたはワード・プロセッサーというようなアプリケーションを制御することができる。

0043

[0071]図2に示すように、計算システム12は、UIコマンド・ライブラリー192、構造データー198、ユーザー入力エンジン190、深度マップ処理およびオブジェクト報告モジュール194、ならびにオペレーティング・システム196を含む。深度マップ処理およびオブジェクト報告モジュール194は、深度マップを使用して、ユーザーまたは他の物体のような、物体の動き(motion)を追跡する。物体の追跡を補助するために、深度マップ処理およびオブジェクト報告モジュール194は、UIコマンド190、構造データー198、およびユーザー入力エンジン190を使用する。実施形態では、深度マップ処理およびオブジェクト報告モジュール194が、物体を識別するために、クラシファイア(classifier)195およびフィーチャー・ライブラリー(feature library)199を使用する場合もある。

0044

[0072] 一例では、構造データー198は、追跡されるかもしれない物体についての構造情報を含む。例えば、ユーザーの動きを理解し身体部分を認識するのを助けるために、人の骨格モデルが格納されるのでもよい。一実施形態では、ユーザーの手および指が認識されるのでもよい。骨格モデルは、右手を左手から区別することを可能にし、更に1本の指を他の指から区別することも可能にすることもある。他の例では、プロップ(prop)のような不動物体についての構造的情報も格納すると、これらの物体を認識するのに役立ち、動きを理解するのに役立つことができる。一例として、ペンおよび鉛筆のようなユーザー入力のために使用することもあり得るプロップを認識することもできる。

0045

[0073] 一例では、UIコマンド・ライブラリー192は、ユーザー入力コマンドの集合体を含むことができる。これらのコマンドは、どの手/指がその動き(motion)を行っているかだけでなく、ユーザーの種々の動き(motion)にも関与することができる。つまり、UIコマンド・ライブラリー192は、一実施形態では、特定の身体部分をコマンドにリンクする(link)のに役立つ情報を有する。例えば、UIコマンド・ライブラリー192は、キャプチャー・デバイス20によって骨格モデルの形態でキャプチャーされたデーター、およびそれに伴う動き(movement)を、UIコマンド・ライブラリー192におけるフィルターと比較して、いつユーザー(骨格モデルによって表される)が1つ以上のコマンドを実行したか特定することができる。これらのコマンドは、アプリケーションの種々の制御と関連付けられてもよい。

0046

[0074]図3は、3D画像データーに基づいて、ディスプレイ96に関連する電子デバイスへのユーザー入力を受けるプロセス300の一実施形態のフローチャートである。電子デバイスの例には、デスクトップ・コンピューター・システムおよびHMD2が含まれる。プロセス300は、一例として、テーブル9に接触することによってまたはテーブル9の上方でホバリングすることによって、ユーザーに入力を供給されるために使用することもできる。プロセス300は、デスクトップ・コンピューター、HMD2、または他の電子デバイスを含むことができる計算システム12によって実行することができる。

0047

[0075] ステップ302において、表面に対する物体の3D位置を判定する。この物体は、ユーザーの手であってもよい。多くの場合、表面は水平面であろうが、必須ではない。いずれの表面でも使用することができる。例えば、表面が垂直面、または任意の対角面であることもできる。更に、表面が平面である必要もない。例えば、表面に波打ちがあっても可能である。表面は、半球というような、他の何らかの幾何学的形状を有することもできる。

0048

[0076] ステップ302は、タッチ領域へのユーザーの手の投射を判定することを含むのでもよい。例えば、タッチ領域11は、x−y平面内に定められればよく、タッチ領域11に対するユーザーの手のx−y位置を判定する。また、ステップ302は、ユーザーの手がタッチ領域11からどの位離れているか判定することも含んでもよい。例えば、本システムは、タッチ領域11の面からユーザーの手がどの位離れているか判定する。タッチ領域11が水平面である場合、本システムは、手がタッチ領域11の上にどの位離れているか判定する。注記したように、タッチ領域11は水平面である必要はない。つまり、タッチ領域11からの距離は、垂直距離、または他のいずれの方位でも可能である。一実施形態では、少なくとも1つの平面がタッチ領域11に対して定められ、この平面からの距離は、この平面に対して垂直な線によって決定される。一実施形態では、タッチ領域11は、キャプチャー・デバイス20からの深度画像の画素と関連付けられる。この場合、平面方程式(plane equation)をこれらの画素の各々について定めることができる。このように、タッチ領域11を多くの平面と関連付けることもできる。

0049

[0077] ステップ304において、ユーザーの手の3D位置に基づいて、ユーザー入力エレメント18を、電子デバイスに関連するディスプレイ96上にレンダリングする。これは、ディスプレイ96の該当するx−y位置において、ユーザーの手の透過表現をレンダリングすることを含むのでもよい。また、タッチ領域11を有する表面からのユーザーの手までの距離を使用して、ユーザーが接触ゾーンにいるのか、ホバリング・ゾーンにいるのか、またはもっと離れているのか判断することもできる。この情報は、ユーザーが接触ゾーンにいるのか、ホバリング・ゾーンにいるのか、またはもっと離れているのか図示するようなやり方で、ユーザー入力エレメント18をレンダリングするために使用することもできる。

0050

[0078] ステップ306において、タッチ領域11に対するユーザーの手の3D位置に基づいて、電子デバイスに対するユーザー入力を受ける。ユーザーが、タッチ領域11を有する表面にタッチしているかまたは殆どタッチしている場合、この入力はディスプレイ96上におけるあるエレメントの選択であるかもしれない。ユーザーが表面から多少離れてホバリングしている場合、その入力はホバリング・イベントまたはフォーカス・イベントのためであるかもしれない。ホバリング・イベントの一例は、ディスプレイ96上のあるエレメントについて追加情報を提示することである。例えば、ユーザーがディスプレイ96上の電話番号の上方でホバリングしている場合、このホバリング・イベントが行われたなら、その番号をダイアルする、逆引き参照を実行する、その人に電子メールを送る(電子メール・アドレスが分かっている場合)等を含む、選択肢のメニューを提示するためである可能性がある。

0051

[0079]図4Aは、タッチ流域11に対するユーザーの手の位置を判定するプロセス400の一実施形態のフローチャートである。プロセス400は、ステップ302の一実施形態である。ステップ402において、タッチ領域11を判定する。一実施形態では、ステップ402は、図4の他のステップの前に実行することができる較正期間中に実行される。例えば、背景を判定するときに、ステップ402を使用してもよい。一実施形態では、いくらか連続的にタッチ領域11を判定する。つまり、キャプチャー・デバイス20が押しのけられた(jostle)場合、タッチ領域11の位置を定めるデーターに対してしかるべき調節を行い、ユーザーに対して実際のタッチ領域11を適所に維持しつつ、この押しのけを補償することができる。

0052

[0080] ステップ404において、ユーザーの手を識別する。一実施形態では、ステップ404は、較正期間が終了した後に実行される。つまり、ステップ404は、ステップ402とは異なる1組の画像データーを使用することができる。しかしながら、一実施形態では、ステップ402および404は、同じ1組の画像データーを使用して実行される。注記したように、タッチ領域11はいくらか連続的に判定されてもよく、この場合、タッチ領域を判定するため、および手を識別するために同じ画像データーを使用することができる。

0053

[0081] ステップ406において、タッチ領域11に対するユーザーの手の位置を判定する。ステップ406は、ユーザーの手が接触ゾーン内にあるのか、ホバリング・ゾーン内にあるのか、または更に遠くにあるのか判定することを含むとよい。また、ステップ406は、タッチ領域11の平面のどの部分に手が投射するか判定することを含むとよい。

0054

[0082]図4Bは、プロセス400のステップ406の間に実行することができる、ユーザーの手のタッチ領域11に対するマッピングを示す図である。ユーザーの手8が、タッチ領域11の上に描かれている。論述のために、タッチ領域11はx−y平面内にあり、z−軸はこの平面に対して垂直であるとする。尚、タッチ領域11内の全ての点が同じ平面内にある必要はないことを注記しておく。図4Bは、接触ゾーン45を示す。接触ゾーン45は、タッチ領域11のx−y平面から遠ざかるようにz−方向に広がる。ホバリング・ゾーン47は、接触ゾーン45の外側の領域に広がり、タッチ領域11から遠ざかるようにz−軸に沿って広がる。尚、手8がホバリング・ゾーン47の外側にあっても(例えば、z−軸に沿って更に離れても)、手8はキャプチャー・システム20によって検出できることに変わりはないことを注記しておく。また、図4Bは、タッチ領域11のx−y面上へのユーザーの手8の投射も示す。

0055

[0083]図4Aおよび図4B、ならびに本明細書において論じられる他の例は、ユーザーの手が識別されタッチ領域11にマッピングされる例に言及するが、他の物体もユーザー入力のために使用してもよいことは言うまでもない。また、物体が特定のタイプの物体であるとして疑いなく識別される必要はないことも注記しておく。例えば、物体が手であると識別される必要はない。しかしながら、実施形態では、物体認識が使用される場合もある。

0056

[0084]図5Aは、タッチ領域11を判定するプロセス500の一実施形態のフローチャートである。プロセス500は、ステップ402の一実施形態の詳細を示す。プロセス500では、ユーザーの手を識別する前における較正期間中に、タッチ領域11を判定することができる。ステップ502において、3D画像をキャプチャーする。この3D画像は、深度画素のアレイを含むことができる。論述のために、このアレイを(u,v)アレイと呼ぶことにする。つまり、各深度画素は、一実施形態では、(u,v)座標と関連付けられる。一実施形態では、各画素は深度値を有する。この時点では、深度値は、カメラからの距離に関するのでよい。つまり、これらの深度値はテーブル9からの距離ではないことを注記しておく。

0057

[0085] ステップ504において、3D画像に基づいて表面の平面を判定する。一実施形態では、最初に深度値を分析して、表面であると思われる画素を探す。同様の深度値を有する近隣画素グループは1つの目印である。可能な表面が1つよりも多い場合、表面サイズ、傾斜、およびキャプチャー・デバイス20からの距離というような要素を使用すればよい。

0058

[0086] 一実施形態では、平面方程式を深度画像内の画素毎に決定する。所与の画素に対する平面方程式は、近隣画素に対する深度値を分析することによって決定することができる。画素毎に、その3D位置およびその位置からの法線に基づいて、平面方程式を定めることができる。法線は、前述した近隣画素の位置の分析によって判定すればよい。つまり、ステップ504は、一実施形態では、3D画像における画素毎に平面方程式を決定することを含む。3D画像における各画素には一意の(u,v)座標を関連付けることができるので、ステップ504では種々の(u,v)座標に対して平面方程式を決定する。

0059

[0087]図5Bは、平面方程式を決定する一実施形態の詳細を示す。ステップ502において論じたように、深度画像を生成するために深度カメラ20を使用する。図5Bに示す(x,y,z)座標系は、タッチ領域11が定められるx−y平面についてである。つまり、深度カメラ20によって生成される深度画像は、通例、異なる座標系を有することを注記しておく。また、(x,y,z)座標系を参照するのは、論述を容易にするためであることも注記しておく。タッチ領域11は、1つよりも多い平面によって定められてもよい。

0060

[0088] 先に注記したように、深度画像の画素は、(u,v)座標および深度値に関して定めることができる。つまり、深度値における各画素には、何らかの座標系に関して、3D位置を割り当てることができる(必ずしも図5Bにおけるx,y,z系とは限らない)。画素501の内、その3D位置がタッチ領域11上に来るいくつかが、タッチ領域11の平面内におけるドットとして表される。図を曖昧にしないように、数個の画素501のみを図示する。法線502が深度画素502の1つから引かれる。所与の画素に対する法線502は、その画素501およびその近隣のいくつかによって定められる平面に対して垂直な線である。画素501およびその近隣間の外積を使用して、法線502を決定することができる。つまり、深度画素501についての平面方程式は、その深度画素の3D座標および法線502として定めることができる。

0061

[0089] ステップ506において、タッチ領域11を判定する。タッチ領域11は、ディスプレイ96とほぼ同じ形状を有する、クアッド形状領域(quad shaped region)として定めることができる。クアッドは、ディスプレイ96よりも大きいサイズ、小さいサイズ、または同じサイズであることができる。尚、タッチ領域11がディスプレイ96と同じ形状である必要はない。また、先に注記したように、2つの別個のタッチ領域11がある場合もある。各領域は、表示画面96全体を制御するために使用することができる。あるいは、各タッチ領域11がディスプレイ96の別個の部分を制御することもできる。

0062

[0090]図5Bにおいて、このx−y座標を、ディスプレイ96に関連するx−y座標系に相関付けることもできる。ディスプレイ96のx−y座標系を解像度(例えば、1280×800、1280×960、1280×720、1024×768等)に相関付けることもできる。解像度のようなディスプレイ・パラメーターは調節可能であると考えられるので、タッチ領域11とディスプレイ96との間のマッピングは、ディスプレイ・パラメーターの変化に応答して変化してもよい。

0063

[0091] 一実施形態では、較正期間中にタッチ領域11を判定するのではなく、タッチ領域11をいくらか連続的に判定する。図5Cは、任意の時点においてタッチ領域11を定めるプロセス520の一実施形態のフローチャートである。プロセス520は、ステップ402の一実施形態である。タッチ領域11は、新しい3D画像フレーム毎に、または他の何らかの頻度で判定することができる。ステップ522において、3D画像フレームにアクセスする。この3D画像に対して深度クラウド・モデルを生成することができる。深度クラウド・モデルについては、以下で更に詳しく論ずる。端的に言うと、深度クラウド・モデルは、深度画像における画素毎に3D座標を判定することによって形成することができる。

0064

[0092] ステップ524において、3D画像における3つのランダム点について平面方程式を決定する。この平面方程式は、3つの点の位置に基づいて外積を求めることによって決定することができる。これらの3つの点が、テーブル9の実際の表面上にあることにはならない場合もあるので、この平面方程式が必ずしも最後に使用されるとは限らない。

0065

[0093] ステップ526において、この平面方程式をバケットに入れる。互いに一致する(または少なくとも一致に近い)平面を表す平面方程式を同じバケットに入れてもよい。所望の点全てを分析するまで、ステップ524および526を3つのランダム点の他の1組に対して繰り返す(ステップ527)。テーブル9の平面は、かなり素早く判定することができる。尚、ユーザーが彼らの手をテーブル9の上方に持ってきても、この技法はテーブル9の平面を発見できることを注記しておく。このように、テーブル9に対するユーザーの手の位置を判定するためにも、画像データーを使用できることを注記しておく。

0066

[0094] ステップ528において、タッチ領域11を定める。一実施形態では、バケットの内1つに入れられることになった3つのランダム点のグループ全てが、タッチ領域11を有する平面上にあると判定する。このバケットは、一実施形態では、これらの点の殆どを有するものとして識別することができる。

0067

[0095]図5Dは、3つのランダム点のグループに基づいて、タッチ領域11を判定する一実施形態の一例を示す。2組の3つのランダム点が、各組に対する法線502と共に示されている。プロセス520の間、多数の組の3つのランダム点が、ほぼ同じ平面に該当するはずである。そうでない組は、最終的に破棄される。タッチ領域11は、判定した平面内にある何らかのクアッドとして定めることができる。

0068

[0096]図6Aは、ユーザーの手、およびタッチ領域11に対するこの手の相対的位置を識別するプロセス600の一実施形態のフローチャートである。プロセス600は、図4Aからのステップ404および406の一実施形態である。

0069

[0097] ステップ602において、キャプチャー・デバイス20によって画像データーをキャプチャーする。一実施形態では、タッチ領域11が識別された後にプロセス600を実行する。つまり、プロセス600の間に使用される画像データーは、タッチ領域11を判定するために使用される画像データーの後に収集することができる。また、タッチ領域11が判定されているので、この領域(およびテーブルのような表面の他の部分)を背景として分類することもできる。一実施形態では、タッチ領域11およびユーザーの手を判定するために、同じ画像データーを使用する。プロセス500は、ステップ602の前に、タッチ領域11を識別するために使用することができる。一実施形態では、タッチ領域11を識別するために使用する同じ画像データーを、プロセス60において使用する。プロセス520は、プロセス600において使用されたのと同じ画像データーを使用して、タッチ領域11を識別するために使用することができる。

0070

[0098] ステップ604において、表面(例えば、テーブル9)からの距離に基づいて、深度画像における深度画素を異なるバケットに入れる。一実施形態では、背景画素タッチ画素、およびホバリング画素のためのバケットがある。背景画素は、表面上にあると考えられる全ての画素であってよい。タッチ画素は、全てが実際に表面上にあるのではなく、表面から一定の距離以内にあればよい。例えば、タッチ画素は、表面上ではなく、表面から約5mm以内にあるものとしてもよい。ホバリング画素は、タッチ画素よりも表面から離れているが、なおも何らかの既定範囲内にあるものでよい。例えば、ホバリング画素は、表面から5mmよりも離れているが、6cm未満にあるものとしてもよい。

0071

[0099] 本明細書において注記したように、深度画像における各画素には、一実施形態では、一意の(u,v)座標と関連付けられる。深度画像からの各深度画素は、当該(u,v)座標に対して既に決定された平面方程式を参照することによって処理することができる。この平面方程式および深度画素からの距離に基づいて、平面を判定することができる。このように、実際には、各深度画素には、表面までの距離が割り当てられる。

0072

[00100]図6Bは、深度画素をバケットに入れることによって形成される距離マップの一例670を示す。距離マップ670における各画素は、背景バケット672、接触バケット674、またはホバリング・バケット676のいずれかに入れられる。ユーザーの左手は、殆どホバリング・ゾーン47内にある。したがって、左手の深度画素は、殆どホバリング・バケット676に入れられる。ユーザーの右手の多くはホバリング・ゾーン47内にある。しかしながら、指先のいくつかは接触ゾーン45内にある。したがって、右手の深度画素の多くはホバリング・バケット672に入れられる。しかしながら、一部は接触バケット674に入れられる。表面上のいずれかの場所にも、接触ゾーン45内にあると判定される画素のいくつかのランダムなグループがあり、このため、これらは少なくとも当面は接触バケット674に入れられる。深度画像における画素の殆どは、図6Bの例では、背景バケット672に入れられる。

0073

[00101]図6Aのステップ606において、3D画像データーにおいて候補「ブロブ」(blob)を検出する。「ブロブ」とは、その位置および深度値に基づいて、同じ物体の一部であると思われる画素のグループと定めることができる。一実施形態では、第1背景画素を識別する。つまり、ステップ606では、前景にある画素だけを分析すればよい(前景は、背景よりも深度カメラに近いあらゆるものとすればよい)。一実施形態では、ステップ606において、一連塗りつぶし(flood fill)を実行する。

0074

[00102] 多数の候補ブロブを識別した後、続くステップにおいて各ブロブを順番に処理することができる。ステップ608は、他にも処理するブロブがあるか否か判定するための検査である。ステップ610において、現在の候補ブロブをにかけて、それが腕、手、指等のような関心のある物体か否か判断する。例えば、ブロブが大きすぎるまたは小さすぎる場合、それを拒否すればよい。ブロブが大きすぎる場合、これは無効フレームを示すかもしれず、その場合このフレームを破棄すればよい。小さすぎるブロブは、ランダム・ノイズを示すかもしれず、これらは無視すればよい。ブロブに余りに多くの孔があって対象にならない場合、拒否すればよい。ブロブを拒否した場合(ステップ612)、処理は次にステップ608に戻る。

0075

[00103]ブロブが拒否されない場合、それを他のステップにおいて処理する。一実施形態では、手を含むと判定されたブロブを処理する(ステップ612参照)。しかしながら、他の判断基準を使用することもできる。篩にかけることが身体部分のためである必要はない。1つの代案として、ユーザーがユーザー入力を供給するために何らかの物体を使用してもよい。ペン、鉛筆等のような、任意の物体を使用することができる。

0076

[00104] 一実施形態では、更に分析すべきブロブに、ポイント・クラウド・モデル(point cloud model)を形成する(develop)。しかしながら、もっと早い時期にポイント・クラウド・モデルを決定できることを注記しておく。ポイント・クラウド・モデルは、深度画像内にある各深度画素に3D空間における座標を割り当てる3Dモデルとすることができる。ポイント・クラウドは、深度画像における深度画素毎に1つの点を有することができるが、これは絶対に必要なことではない。一実施形態では、ポイント・クラウドにおける各点は立体画素(volumetric pixel)即ちボクセルである。論述を容易にするために、ポイント・クラウドにおける各ボクセルが、深度画像において対応する深度画素を有すると仮定する。しかしながら、この1対1の対応は必須ではないことを注記しておく。

0077

[00105]図6Cは、腕の手および一部のポイント・クラウド・モデル605を示す。ポイント・クラウド・モデル605は、(a,b,c)座標系内部に描かれる。つまり、座標系のa-軸、b−軸、およびc−軸が描かれる。実施形態では、この座標系における軸の内2本が、深度画像のu-軸およびv−軸に対応するものもある。しかしながら、この対応は必要なことではない。グローバル座標系における第3軸に沿った位置は、深度マップにおける深度画素に対する深度値に基づいて決定することができる。尚、ポイント・クラウド・モデル605が他のやり方で生成されてもよいことを注記しておく。

0078

[00106]図6Aのステップ614において、本システムは、ユーザーの手の少なくとも一部が接触ゾーン45内部にあると判定する。一実施形態では、本システムは、ブロブの一部が接触ゾーン45内部にあるか否か判定することができる。一実施形態では、本システムは複数の指先を追跡して、1つの指先が接触ゾーン45内にあるか否か判定する。更なる詳細については、以下で論ずる。

0079

[00107] 手の一部が接触ゾーン45内部にある場合、一実施形態では、ステップ616においてタッチ・イベントを生成する。ステップ616は、指先が接触していること、またはエレメントを選択していることをユーザーに示すように、指先をレンダリングすることを含めばよい。また、ステップ616は、電子デバイスへの入力として選択を受けることを含むこともできる。更なる詳細については、以下で論ずる。ステップ614または616の後に、処理はステップ618に進む。

0080

[00108] ステップ618において、手がホバリング・ゾーン47内部にあるか否か判定を行う。ホバリング・ゾーン47は、タッチ領域11の表面から一定の距離以内にあると定められるとよい。手がホバリング・ゾーン47内部にある場合、一実施形態では、ステップ620においてホバリング・イベントを生成する。ステップ620は、手がホバリング・ゾーン内にあることをユーザーに示すように、ホバリング・ゾーン内にある手の部分をレンダリングすることを含めばよい。また、ホバリング・イベントは、電子デバイスに対するユーザー入力であってもよい。先に注記したように、ホバリングするユーザーは、ディスプレイ上のあるエレメントに対する興味またはフォーカスがあるが、コミットではないことを示すことができる。更なる詳細については、以下で論ずる。ステップ618または620の後、処理はステップ622に進む。

0081

[00109] 手が接触ゾーン45にもホバリング・ゾーン47にも入っていない場合、ステップ622において、手が接触ゾーンおよびホバリング・ゾーンの外側にあることを注意する。ユーザーの手が接触ゾーン45およびホバリング・ゾーン47の外側にあってもその位置を示し、ディスプレイ96上にフィードバックを提示することができるように、この情報を注記する。次いで、プロセス600はステップ608に戻り、他にも処理すべきブロブがあるか否か判定することができる。

0082

[00110]図6Dは、指先を追跡するプロセス680の一実施形態のフローチャートを示す。指先の追跡は、接触ゾーン45内部にブロブがあると判定したときに実行することができる。プロセス680は、プロセス600のステップ614において、手の一部が接触ゾーン45内にあると判定されたときに実行することができる。ステップ682において、タッチ領域11とタッチしている手の部分を検出する。一実施形態では、ステップ682において、タッチ・ブロブを検出する。一実施形態では、接触ゾーン45内にある指先ブロブを識別するために、一連の塗りつぶしを実行する。これらの塗りつぶしは、一実施形態では、手/腕ブロブの一部であると識別された画素のみに作用する。これによって、ユーザーの手に関連しないランダム画素が誤ってタッチ点であると識別されることを防ぐ。再度図6Bを参照すると、距離マップ670において接触ゾーン・バケット674に入れられ、手の一部である画素のみが、タッチ点であると識別される。

0083

[00111] 一実施形態では、これらのタッチ・ブロブの各々が、特定の指および手であると識別される。例えば、所与のタッチ・ブロブが、右人差し指の一部であると識別されるのでもよい。この情報は、後に、どの指および/または手が使用されているかに左右される入力をユーザーに入力させるために使用することができる。しかしながら、特定の指/手の識別は他のいずれの時点において実行してもよいことを注記しておく。

0084

[00112]ブロブが接触ゾーン45内部にあるか否か判定するとき、処理はボクセル毎に進むことができる。つまり、ステップ682では、ポイント・クラウド605において、ブロブを表す点が接触ゾーン45内部にあるか否か判定することができる。

0085

[00113] 一実施形態では、ステップ682は一度に1つの画像フレームを分析する。ステップ682は、新たな画像フレーム毎に繰り返すことができる。ステップ684において、指先ブロブを経時的に追跡する。つまり、ステップ684は、多くの異なる画像フレームを処理する。ステップ684は、指先ブロブを1フレームずつ照合することを含むのでもよい。尚、前述のように、指先ブロブ毎に特定の手/指を識別することは必須ではないことを注記しておく。一実施形態では、エネルギー最小化を使用して、指先ブロブを現在のフレームから1つ以上前のフレームに照合する。

0086

[00114] ステップ686において、指先ブロブの追跡に基づいて、ユーザー入力を判定する。一実施形態では、1つ以上の指先のタッチ領域11におけるx−y座標を経時的に追跡する。一実施形態では、タッチ領域11において動いている指先の数が、ユーザー入力のタイプを決定する。例えば、1本の指が動いている場合、ユーザーがディスプレイ96上においてあるエレメントを動かしたいことを示すのでもよい。2本の指が同時に動かされている場合、これは、ユーザーが拡大(zoom in)または縮小(zoom out)したいことを示すのでもよい。あるタイプのズーミングは、レンダリングされているもののサイズを変更するためにある。例えば、ユーザーがマップを拡大または縮小することを望むこともある。他のタイプのズーミングは、ディレクトリーにおけるもっと高いレベルまたは低いレベルに移動させるためにある。例えば、ユーザーが彼らの指を広げて、次のディレクトリーにあるファイルまたは他の情報を見たいことを示すこともできる。他の例として、彼らの指を離れるように動かすことは、フォルダーを開いてその内容を明示することを伝えるために使用することができる。指を一緒に動かすと、フォルダーを閉じること、またはユーザーが階層において1レベル上げる(または戻る)ことを望むことを示すことができる。

0087

[00115] 一実施形態では、ユーザー入力は、どの手および/または指を彼らが使用しているかによって異なる。尚、従来のタッチ・インターフェースとは異なり、実施形態のタッチ・インターフェースは、どの手および指をユーザーが使用しているか判定することもできる。例えば、ユーザーは(いずれかの手の)親指および指を互いに狭める場合もあり、更に一方の手の指を他方の手の指に向けて狭める場合もある。従来のタッチ・インターフェースでは、これらのアクションを区別できないものもある。しかしながら、一実施形態では、異なるユーザー入力が、これら2つの異なるユーザー・アクションに割り当てられる。どの手および/または指が使用されているかに左右されるユーザー入力に備える(provide for)ために、多くの他の可能性が存在する。

0088

[00116] 1つのタイプのユーザー入力は、ディスプレイ96上に提示されたエレメントの選択である。この選択は、ユーザーが単にそのエレメントにタッチすることによって示すことができる。これが選択であると見なされるためにはユーザーがどの位の間そのエレメントにタッチしなければならないか定めるパラメーターも可能である。また、この選択は、ユーザーが1回以上タップすることによって示すこともできる。例えば、ユーザーはあるエレメントを選択するためには、単にそれをタップだけで可能である。あるいは、この選択は二重タップによって示すこともできる。多くの他のタイプの入力も使用することができる。

0089

[00117] 尚、図6Dは、指先ブロブが追跡される例について説明したことを注記しておく。しかしながら、他の物体を追跡することもできる。注記したように、タッチ入力を供給するために身体部分を使用することは必須ではない。例えば、ユーザーが、ペンのような物体を使用して、タッチ領域11と対話処理するのでもよい。この例では、接触ゾーン内にあるペンの部分を経時的に追跡して、ユーザー入力を判定することができる。

0090

[00118]図7は、ユーザー入力エレメント18および影21をレンダリングするプロセス700の一実施形態のフローチャートである。ステップ702において、手のポイント・クラウド・モデル605にアクセスする。一実施形態では、ポイント・クラウド・モデル605における各画素の深度値に基づいて、更に他のレンダリング・ステップによって図1Cの例のような画像を生成することができるように、各画素を処理する。図1Cの例において論じたように、ユーザー入力エレメント18は、透過性の内部13、およびエッジ15、17を有することができる。エッジの一部は、これがタッチ点15であることをユーザーに示すために、強調表示することができる。

0091

[00119] ステップ704において、ユーザー入力エレメント18をレンダリングするためにデーターを生成する。ステップ704は、1つ以上のブレンディング(blending)、陰影付け(shading)、および他のグラフィクス処理ステップを含むことができる。一実施形態では、ポイント・クラウド・モデル605における各画素は、円または球として表され、その直径が当該画素のタッチ領域11からの距離に依存する。一実施形態では、円がタッチ領域11から遠ざかる程、円の直径は大きくなる。手がタッチ領域11から離れる程円を大きくすることにより、一実施形態では、下地の画像が一層ぼける結果となる。これによって、ユーザーがタッチ領域11と対話処理することから増々離れていくことの視覚的合図をユーザーに供給する。

0092

[00120] 一実施形態では、ステップ704の処理は、円が合体される(blend)ように、合体動作を実行する。これによって、内側部分13およびエッジ15、17が異なる明るさレベルを有する中間画像を生成する。つまり、透過性の内部13を容易に識別して、どの領域が、歪みのような、内側部分13に関連する種々の効果を有するか判定することができる。また、タッチ・エッジ15を強調表示としてレンダリングするためのデーターを生成することができるように、タッチ・エッジ15を容易に識別することができる。一実施形態では、中間画像をシェーダー(shader)に入力する。

0093

[00121] ステップ706において、ユーザー入力エレメント18に対する影21a、21bを生成する。一実施形態では、2つの擬似光源に基づいてこれらの影を定める。これらの擬似光源は、タッチ領域11におけるユーザーの手の影を表すためのデーターを生成するために使用することができる。一例として、擬似光源は、タッチ領域11に対して約45度の角度にあるとよい。先に注記したように、ポイント・クラウド・モデル605における各画素は、円または同様のオブジェクトとして表すことができる。一実施形態では、光源は、これらの円を通過して、タッチ領域11の平面上に投射され、影21a、21bのデーターを生成する。

0094

[00122] ステップ708において、ユーザー入力エレメント18および影21a、21bを、ディスプレイ96上の該当する位置にレンダリングする。尚、ステップ708が、タッチ領域11のx−y座標系をディスプレイ96のx−y座標に相関付けることを含んでもよいことを注記しておく。ディスプレイ96のx−y座標は、ディスプレイの解像度(例えば、1280×600等)に基づいて定義することができる。入力物体18および影21a、21bの双方のレンダリングは、これらの物体を表すデーターを、ディスプレイ96上にレンダリングされているものは何でも表すデーターと混ぜることを含むのでもよい。

0095

[00123]注記したように、ディスプレイ96はHMD2と関連付けられてもよい。以下に、HMD2の更なる詳細を示す。図8Aは、透視型混合実現ディスプレイ・デバイスのめがねの実施形態におけるフレーム115のめがねの弦(eyeglass temple)102の側面図である。フレーム115の前面には、ビデオおよび静止画像をキャプチャーすることができるビデオ・カメラ113に面する物理環境がある。特に、実施形態では、物理環境対面カメラ113が、可視光カメラ即ちRGBカメラだけでなく、深度カメラでもよい。例えば、深度カメラは、IR照明伝搬器(IR illuminator transmitter)およびホット・ミラーのような高温反射面(hot reflecting surface)を可視光撮像センサー(visible image sensor)の前に含むことができる。可視光撮像センサーは、可視光を通過させ、照明器を透過する波長範囲内の反射IR放射光線または所定の波長を中心とする反射IR放射光線を、CCDまたは他のタイプの深度センサーに導く。他のタイプの可視光カメラ(RGBカメラ)および深度カメラを使用することもできる。深度カメラについてのこれ以上の情報は、2010年6月11日に出願された米国公開特許出願第2011/0307260号において見出すことができる。この特許出願をここで引用したことにより、その内容全体が本願にも含まれるものとする。これらのセンサーからのデーターは、制御回路136のプロセッサー210または処理ユニット4、5、あるいは双方に送ることができる。ユニット4、5がこのデーターを処理するのでもよいが、ユニット4、5が、処理のために、ネットワークまたはハブ計算システム12を介してコンピューター・システムにデーターを送ることもできる。この処理は、画像セグメント化およびエッジ検出技法によって物体を識別し、深度をユーザーの実世界視野内にある物体にマッピングする。加えて、物理環境対面カメラ113は、周囲光を測定する測光計も含むことができる。

0096

[00124]制御回路136は、頭部装着ディスプレイ・デバイス150の他のコンポーネントをサポートする種々の電子回路を設ける。制御回路136のこれ以上の詳細については、図10Aに関して以下で示す。弦102の内部にある、または弦102に装着されるのは、イヤホン130、慣性センサー132、GPS送受信機144、および温度センサー138である。一実施形態では、慣性センサー132は、三軸磁力計132A、三軸ジャイロ132B、および三軸加速度計132C(図10C参照)を含む。慣性センサーは、頭部装着ディスプレイ・デバイス2の位置、向き、および突然の加速を検知するためにある。これらの動きから、頭の位置を判定することもできる。

0097

[00125]ディスプレイ・デバイス2は、1つ以上の仮想物体を含む1つ以上の画像を生成することができる画像生成ユニットを備える。実施形態では、マイクロディスプレイを画像生成ユニットとして使用できる場合がある。この例におけるマイクロディスプレイ・アセンブリー173は、光学処理エレメント、および可変焦点調節器135を含む。光学処理エレメントの一例は、マイクロディスプレイ・ユニット120である。他の例には、レンズ系122の1つ以上のレンズというような1つ以上の光学エレメント、ならびに図9Aおよび図9Bにおける表面124a、および124bまたは図9Cおよび図9Dにおける表面124のような1つ以上の反射エレメントが含まれる。レンズ系122は、1枚のレンズを含んでもよく、または複数のレンズを含んでもよい。

0098

[00126]マイクロディスプレイ・ユニット120は、弦102に装着されるかまたはその内側に装着され、画像源を含み、仮想物体の画像を生成する。マイクロディスプレイ・ユニット120は、以下の図に示すように、レンズ系122、ならびに反射面124または反射面124aおよび124bと光学的に整列される。光学的な整列は、光軸133、または1つ以上の光軸を含む光路133に沿っていればよい。マイクロディスプレイ・ユニット120は、レンズ系122を通して仮想物体の画像を投射する。レンズ系122は、画像光を反射エレメント124上に導くことができ、反射エレメント124は、この光を、図9Cおよび図9Dにおけるような導光光学エレメント112に導くか、または反射面124a(例えば、ミラーまたは他の表面)に導く。反射面124aは、仮想画像の光を部分的反射エレメント124bに導き、部分的反射エレメント124bは、図9A図9Dにおけるように、経路133に沿った仮想画像視野(virtual image view)を、光軸142に沿った自然な即ち実際の直視野(direct view)と組み合わせる。この視野の組み合わせが、ユーザーの目に導かれる。

0099

[00127]可変焦点調節器135は、マイクロディスプレイ・アセンブリーの光路内にある1つ以上の光学処理エレメント間における変位(displacement)、またはマイクロディスプレイ・アセンブリーにおけるエレメントの光学倍率(optical power)を変化させる。レンズの光学倍率は、その焦点距離の逆数、例えば、1/焦点距離と定められているので、一方が変化すると他方に影響を及ぼす。この焦点距離の変化の結果、マイクロディスプレイ・アセンブリー173によって生成された画像に対して焦点が合う視野の領域、例えば、ある距離における領域が変化することになる。

0100

[00128]変位変化を起こすマイクロディスプレイ・アセンブリー173の一例では、この変位変化は、アーマチャー137内部で導かれる。アーマチャー137は、この例では、レンズ系122およびマイクロディスプレイ120のような、少なくとも1つの光学処理エレメントを支持する。アーマチャー137は、エレメントの物理的移動の間光路133に沿った整列を安定させて、選択された変位または選択された光学パワーを得るのに役立つ。例の中には、調節器135がアーマチャー137内部でレンズ系122におけるレンズのような1つ以上の光学エレメントを移動させるとよい場合もある。他の例では、このアーマチャーは、光学処理エレメントの周囲のエリアに溝または空間を有し、光学処理エレメントを移動させることなく、エレメント、例えば、マイクロディスプレイ120を超えて滑るようにすることができる。レンズ系122のようなアーマチャー内にある他のエレメントは、レンズ系122またはその中のレンズが、移動するアーマチャー137と共に摺動または移動するように取り付けられる。変位の範囲は、通例、数ミリメートル(mm)程度である。一例では、この範囲は1〜2mmである。他の例では、アーマチャー137は、変位以外の他の物理パラメーターの調節を伴う焦点調節技法のために、レンズ系122に支持体を設けることができる。このようなパラメーターの一例に、偏光(polarization)がある。

0101

[00129]マイクロディスプレイ・アセンブリーの焦点距離を調節することについてのこれ以上の情報は、"Automatic Variable Virtual Focus for Augmented Reality Display"(拡張現実ディスプレイのための自動可変仮想焦点)と題し2010年11月8日に出願された米国特許出願第12/941,825号を参照のこと。この出願の発明者は、Avi Bar-ZeevおよびJohn Lewisであり、この出願をここで引用したことによりその内容が本願にも含まれるものとする。

0102

[00130] 一例では、調節器135が圧電モーターのようなアクチュエーターであってもよい。また、アクチュエーターのための他の技術を使用してもよく、このような技術の例をいくつか挙げると、コイル永久磁石によって形成されたボイス・コイル、磁気歪みエレメント、および電気歪みエレメントがある。

0103

[00131]マイクロディスプレイ120を実現するために使用することができる複数の異なる画像生成技術がある。例えば、マイクロディスプレイ120は、透過型投射技術(trans missive projection technology)を使用して実現することができる。この場合、光源は、白色光によるバックライトを受ける、光学活性物質によって変調される。これらの技術は、通常、強力なバックライトおよび高い光エネルギー密度を有するLCD型ディスプレイを使用して実現される。また、マイクロディスプレイ120は、反射技術を使用して実現することもできる。この場合、外部光が反射され光学活性物質によって変調される。技術に応じて、白色光源またはRGB光源のいずれかによって照明が前方に照らされる。ディジタル光学処理(DLP)、シリコン液晶(LCOS)、およびQualcomm, inc.(クアルコム社)からのMirasol(登録商標)表示技術は全て反射技術の例である。これらの技術は、殆どのエネルギー変調構造(modulated structure)から遠ざかるように反射されるので効率的であり、本明細書において記載するシステムにおいて使用することができる。加えて、マイクロディスプレイ120は、発光技術(emissive technology)を使用して実現することもできる。この場合、光はディスプレイによって生成される。例えば、Microvision, Inc.(マイクロビジョン社)からのPicoP(登録商標)は、レーザー信号を、マイクロ・ミラー制御(steering)によって、透過性エレメントとして作用する小さな画面上に出すか、または直接目に向けて送る(例えば、レーザー)。

0104

[00132] 前述のように、マイクロディスプレイ・アセンブリー173の光学処理エレメントの構成から、仮想物体が画像において現れる焦点距離または焦点領域が求められる。この構成を変化させると、仮想物体画像の焦点領域が変化する。光学処理エレメントによって決定される焦点領域は、式1/S1+1/S2=1/fに基づいて決定し、そして変化させることができる。

0105

[00133]記号fは、マイクロディスプレイ・アセンブリー173におけるレンズ系122のような、レンズの焦点距離を表す。レンズ系122は、前節点(front nodal point)および後節点(rear nodal point)を有する。光線がいずれかの節点に向けて、光軸に対して所与の角度で導かれると、この光線は他方の節点から光軸に対して同等の角度で現れる。一例では、レンズ系122の後節点は、それ自体とマイクロディスプレイ120との間にある。後節点からマイクロディスプレイ120までの距離をS2で示すことができる。前節点は、通例、レンズ系122の数mm以内にある。目標位置は、三次元物理空間においてマイクロディスプレイ120によって生成される仮想画像の位置である。前節点から仮想画像の目標位置までの距離はS1で示すことができる。画像は、レンズのマイクロディスプレイ120と同じ側に現れる仮想画像になるので、符号の慣例によりS1は負の値を有することになる。

0106

[00134]レンズの焦点距離が固定されている場合、仮想物体を異なる深度で合焦するためには、S1およびS2を変化させる。例えば、初期位置において、S1を無限遠に設定し、S2をレンズ系122の焦点距離に等しく設定するとよい。レンズ系122の焦点距離が10mmであると仮定して、仮想物体をユーザーの視野内約1フィートまたは300mmに置く例について考える。この場合、S1は約−300mmであり、fは10mmであり、S2は現焦点距離である10mmの初期位置にあり、レンズ系122の後節点がマイクロディスプレイ120から10mmのところにあることを意味する。1/(−300)+1/S2=1/10に基づいて、レンズ122とマイクロディスプレイ120との間における新たな距離または新たな変位を決定する。ここで、全ての単位はmmである。その結果、S2は約9.67mmとなる。

0107

[00135] 一例では、制御回路における1つ以上のプロセッサー、処理ユニット4、5、または双方が、S1およびS2について変位値を計算することができ、焦点距離fを固定のままにして、制御回路136に駆動信号を可変調節器ドライバー237(図10A参照)に送らせて、例えば、可変仮想焦点調節器135にレンズ系122を光路133に沿って移動させることができる。他の実施形態では、レンズ系122を移動させる代わりにまたはそれに加えて、マイクロディスプレイ・ユニット120を移動させてもよい。他の実施形態では、光路133に沿った変位変化の代わりにまたはこれと共に、レンズ系122における少なくとも1つのレンズの焦点距離を変更してもよい。

0108

[00136]図8Bは、混合現実ディスプレイ・デバイスの他の実施形態において、ハードウェアおよびソフトウェア・コンポーネントの支持、ならびにマイクロディスプレイ・アセンブリーの三次元調節を行う、めがねの弦の側面図である。先に図8Aにおいて示した番号の一部は、図面における煩雑さを回避するために削除した。表示光学系14が3つの次元のいずれにでも移動させられる実施形態では、反射面124によって表される光学エレメント、およびマイクロディスプレイ・アセンブリー173の他のエレメント、例えば、120、122も、仮想画像の光の表示光学系に対する光路133を維持するために、移動させることができる。この例におけるXYZメカニズムは、モーター・ブロック203によって代表される1つ以上のモーターおよび軸205によって構成され、制御回路136のプロセッサー210の制御の下で(図10A参照)、マイクロディスプレイ・アセンブリー173のエレメントの移動を制御する。使用することができるモーターの例に、圧電モーターがある。図示する例では、1つのモーターがアーマチャー137に取り付けられ、可変焦点調節器135も移動させて、他の代表的なモーター203が反射エレメント124の移動を制御する。

0109

[00137]図9Aは、凝視検出エレメントの構成を含む透視型ニアアイ混合現実デバイス2の可動表示光学系14の一実施形態の上面図である。ニアアイ・ディスプレイ・デバイス2のフレーム115の一部は、表示光学系14を包囲し、図示のように、マイクロディスプレイ120およびそれに付帯するエレメントを含むマイクロディスプレイ・アセンブリー173の一実施形態のエレメントに対する支持体を設ける。ディスプレイ・システム14の右目システム、この場合14rのコンポーネントを示すために、表示光学系を取り囲むフレーム115の最上位部分は描かれていない。加えて、この図では、表示調節メカニズム203の動作に傾注するために、ブリッジ104におけるマイクロフォン110も示されていない。図4Cの例におけると同様、この実施形態における表示光学系14は、内側フレーム117rを移動させることによって移動させられる。この例では、内側フレーム117rはマイクロディスプレイ・アセンブリー173も包囲する。この実施形態では、表示調節メカニズムは三軸モーター203として具体化されている。三軸モーター203は、三(3)軸の移動を示す記号144によって示されるように、3つの次元のいずれにでも表示光学系14を並進させるために、その軸205を内側フレーム117rに取り付ける。この実施形態では、表示光学系14はマイクロディスプレイ・アセンブリー173を含む。

0110

[00138] この実施形態における表示光学系14は、光軸142を有し、ユーザーが実世界を実際に直接見ることを可能にする透視レンズ118を含む。この例では、透視レンズ118は、めがねに使用される標準的なレンズであり、任意の処方(prescription)に合わせて(処方がない場合も含む)作ることができる。他の実施形態では、透視レンズ118を可変処方レンズと置き換えることができる。実施形態では、透視型ニアアイ・ディスプレイ・デバイス2が追加のレンズを含む場合もある。

0111

[00139] 更に、表示光学系14は、反射面124aおよび124bも備えている。この実施形態では、マイクロディスプレイ120からの光は、レンズ118に埋め込まれた部分的反射エレメント124aによって、光路133に沿って、レンズ118に埋め込まれた部分反射エレメント124bに向けて導かれる。部分反射エレメント124bは、光路133に沿って進む仮想物体画像を、光軸142に沿った自然な即ち実際の直視野と組み合わせて、光軸において、即ち、最も明確な光景(view)が得られる最も平行化された光が来る位置において、組み合わせられた光景がユーザーの目、この例では右目に向けて導かれるようにする。

0112

[00140]光センサー検出エリア139rは、表示光学系14rの一部でもある。光学エレメント125は、光軸142に沿ってユーザーの目から受光された反射光を取り込むことによって、検出エリア139rを具体化し、取り込んだ光を、この例では、内側フレーム117r内部にあるレンズ118内に配置されているセンサー134rに導く。図示のように、この配列では、センサー134rの検出エリア139が、その中心をディスプレイ光学系14の中心と整列させることができる。例えば、センサー134rが撮像センサーである場合、センサー134rは検出エリア139を取り込むので、撮像センサーにおいてキャプチャーされた画像は、光軸を中心として位置付けられる。何故なら、検出エリア139は。一例では、センサー134rは可視光カメラまたはRGB/IRカメラの組み合わせであり、光学エレメント125は、ユーザーの目から反射した可視光を反射する光学エレメント、例えば、部分反射ミラーを含む。

0113

[00141] 他の実施形態では、センサー134rはIRカメラのようなIR感応デバイスであり、エレメント125は可視光を通過させIR放射光線をセンサー134rに向けて反射する高温反射面を含む。IRカメラは、グリント(glints)だけでなく、瞳を含むユーザーの目の赤外線または近赤外線画像もキャプチャーすることができる。

0114

[00142] 他の実施形態では、IRセンサー・デバイス134rは位置感応デバイス(PSD)である。これは、光学位置センサーと呼ばれることもある。センサーの表面上で検出された光の位置が特定される。PSDは、グリントに対するIR照明器の波長範囲またはIR照明器の所定の波長の前後に感応するものを選択することができる。この位置感応デバイスの波長範囲内の光、または所定の波長を中心とした光が、デバイスのセンサー即ち光感応部において検出されると、検出器の表面上における位置を識別する電気信号が生成される。実施形態では、PSDの表面が画素のような複数の離散センサーに分割される場合があり、これらの離散センサーから、光の位置を判定することができる。他の例では、PSD等方性センサー(PSD isotropic sensor)を使用してもよく、この場合、表面上における局所抵抗の変化を使用して、PSD上の光スポットの位置を特定することができる。また、PSDの他の実施形態を使用してもよい。所定のシーケンスで照明器153を動作させることによって、PSD上におけるグリントの反射位置を識別し、したがって角膜面上におけるそれらの位置に逆に関係付けることができる。

0115

[00143]図9A図6Dにおける導光エレメント、この場合、反射エレメント125、124、124a、および124bの描画は、それらの機能を表す。これらのエレメントは、いずれの数の形態でもなすことができ、カメラ・センサーまたはユーザーの目というようなその意図する宛先に光を導くために、1つ以上の配列とした1つ以上の光学コンポーネントで実現することができる。図示のように、この配列によって、センサーの検出エリア139はその中心を表示光学系14の中心と整列させることが可能になる。撮像センサー134rは、検出エリア139を取り込むので、撮像センサーにおいてキャプチャーされた画像は、光軸を中心として位置付けられる。何故なら、検出エリア139は。

0116

[00144]ユーザーが真っ直ぐ前を見ており、検出エリア139または撮像センサー134rが事実上ディスプレイの光軸を中心として整列されるときに、ユーザーの瞳の中心がユーザーの目を取り込んだ画像において中心に位置すると、表示光学系14rは瞳と整列されることになる。双方の表示光学系14がそれらのそれぞれの瞳と整列されるとき、光学的中心間の距離はユーザーの瞳間距離と一致する、即ち、整列されることになる。図9Aの例では、3つの次元において、瞳間距離を表示光学系14と整列させる(align)ことができる。

0117

[00145] 一実施形態では、センサー134によってキャプチャーされたデーターが、瞳が光軸と整列されていないことを示す場合、処理ユニット4、5または制御回路136あるいは双方における1つ以上のプロセッサーは、瞳の画像がどのくらい光軸142から離れているか判定するために、距離または長さの測定単位を画像の画素または他の離散単位あるいは面積に相関付けるマッピング判断基準を使用する。判定された距離に基づいて、1つ以上のプロセッサーは、光軸142を瞳と整列させるためにはどのくらいの距離そしてどの方向に表示光学系14を移動させるべきかについて調節値を決定する。制御信号は、1つ以上の表示調節メカニズム・ドライバー245によって、1つ以上の表示調節メカニズム203を構成するコンポーネント、例えば、モーター203の各々に印加される。この例におけるモーターの場合、これらのモーターは、制御信号によって示された少なくとも1つの方向に内側フレーム117rを移動させるために、それらの軸205を動かす。内側フレーム117rの弦側には、フレーム115の可撓性セクション215a、215bがあり、これらの可撓性セクションは、一端において内側フレーム117rに取り付けられており、表示光学系14がそれぞれの瞳に関して幅、高さ、または奥行き変化に対する3つの方向のいずかに移動すると、フレーム115の弦の内部にある溝217aおよび217b内を摺動して、内側フレーム117をフレーム115に固定する。

0118

[00146]センサーに加えて、表示光学系14は他の凝視検出エレメントも含む。この実施形態では、レンズ118の両側においてフレーム117rに取り付けられているのは、少なくとも2つであるがそれ以上でもよい赤外線(IR)照明デバイス153である。赤外線照明デバイス153は、特定の波長範囲内または所定の波長を中心とする狭い赤外線光ビームをユーザーの目に向けて出射し、各々ユーザーの角膜の表面上にそれぞれのグリントを生成する。他の実施形態では、照明器およびいずれのフォトダイオードも、レンズ上の、例えば、角またはエッジにあってもよい。この実施形態では、少なくとも2つの赤外線(IR)照明デバイス153に加えて、IR光検出器152がある。各光検出器152は、その対応するIR照明器153の特定の波長範囲内のIR放射光線にレンズ118を通して感応し、それぞれのグリントを検出するように位置付けられる。図4A〜図4Cに示すように、この照明器および光検出器は、バリア154によって分離されているので、照明器153からの入射IR光は、光検出器152において受光される反射IR光と干渉しない。センサー134がIRセンサーである場合、光検出器152は必要でないこともあり、または追加のグリント・データー・キャプチャー源であってもよい。可視光カメラを使用する場合、光検出器152はグリントからの光を取り込み、グリント強度値を生成する。

0119

[00147]図9A図9Dにおいて、凝視検出エレメント、例えば、検出エリア139、ならびに照明器153および光検出器152の位置は、表示光学系14の光軸に関して固定される。これらのエレメントは、表示光学系14rと共に、したがってその光軸と共に、内側フレーム上で移動することができるが、光軸142に対するこれらの空間関係は変化しない。

0120

[0148]図9Bは、凝視検出エレメントの構成を含む透視型ニアアイ混合現実デバイスの可動表示光学系の他の実施形態の上面図である。この実施形態では、光センサー134rは、RGBカメラと呼ばれることもある可視光カメラとして具体化することができ、あるいはIRカメラまたは可視光およびIR範囲双方における光を処理することができるカメラ、例えば、深度カメラとして具体化することもできる。この例では、撮像センサー134rが検出エリア139rとなる。このカメラの撮像センサー134は、表示光学系の光軸142上に垂直に配置される。例の中には、このカメラをフレーム115上において透視レンズ118の上または下に配置するか、あるいはレンズ118に埋め込むことができる場合もある。実施形態の中には、照明器153がカメラのために光を供給する場合もあり、更に他の実施形態では、カメラが周囲光(ambient lighting)またはそれ自体の光源からの光によって画像をキャプチャーする場合もある。キャプチャーされた画像データーは、瞳の光軸との整列を判定するために使用することができる。凝視検出エレメントの幾何学的形状に基づいて、画像データー、グリント・データーまたは双方に基づく凝視判定技法を使用することができる。

0121

[00149] この例では、ブリッジ104内にあるモーター203が、方向記号145によって示すように、ユーザーの目に関して水平方向に表示光学系14rを移動させる。システム14が移動させられると、可撓性フレーム部分215aおよび215bは溝217aおよび217b内を摺動する。この例では、マイクロディスプレイ・アセンブリー173の実施形態の反射エレメント124aは静止(stationery)する。IPDは通例1回判定されて格納されるので、マイクロディスプレイ120と反射エレメント124aとの間において行うことができる焦点距離の調節はいずれも、マイクロディスプレイ・アセンブリーによって、例えば、アーマチャー137内にあるマイクロディスプレイ・エレメントの調節によって行うことができる。

0122

[00150]図9Cは、凝視検出エレメントの構成を含む透視型ニアアイ混合現実ディスプレイ・デバイスの可動表示光学系の第3の実施形態の上面図である。表示光学系14は、IR照明器153および光検出器152を含む凝視検出エレメント、ならびに光軸142の下または上においてフレーム115またはレンズ118上に配置された光センサー134rも同様の構成を有する。この例では、表示光学系14は、仮想画像をユーザーの目に導くための反射エレメントとして導光光学エレメント112を含み、追加の透視レンズ116と透視レンズ118との間に配置されている。反射エレメント124が導光光学エレメントの内部にありエレメント112と共に移動するので、マイクロディスプレイ・アセンブリー173の一実施形態は、この例では、弦102の上において、表示光学系14のための表示調節メカニズム203に取り付けられる。表示調節メカニズム203は、1組の三軸モーター203および軸205として具体化され、マイクロディスプレイ・アセンブリーを移動させるために少なくとも1つを含む。ブリッジ104上にある1つ以上のモーター203は、三軸移動145を行う表示調節メカニズム203の他のコンポーネントを代表する。他の実施形態では、これらのモーターは、それらの取り付けられた軸205を介して水平方向にデバイスを移動させるためだけに動作するのでもよい。また、マイクロディスプレイ・アセンブリー173用のモーター203は、マイクロディスプレイ120から出射する光と反射エレメント124との間における整列を維持するために、水平方向にもそれを移動させる。制御回路(図10A参照)のプロセッサー210はこれらの移動を調整する。

0123

[00151]導光光学エレメント112は、マイクロディスプレイ120からの光を、頭部装着ディスプレイ・デバイス150を着用しているユーザーの目に伝える。また、導光光学エレメント112は、頭部装着ディスプレイ・デバイス2の前方からの光を透過させ、導光光学エレメント112を通ってユーザーの目まで到達させることによって、ユーザーが、マイクロディスプレイ120からの仮想画像を受けることに加えて、頭部装着ディスプレイ・デバイス150の前方にある空間の実際の直視野も有することを可能にする。このため、導光光学エレメント112の壁は透視型になっている。導光光学エレメント112は、第1反射面124(例えば、ミラーまたはその他の表面)を含む。マイクロディスプレイ120からの光は、レンズ122を通過し、反射面124に入射する。反射面124は、内部反射によって、導光光学エレメント112を構成する平面基板の内側で光が捕獲されるように、マイクロディスプレイ120からの入射光を反射する。

0124

[00152] この基板の表面から数回反射した後、取り込まれた光波は、選択的反射面126のアレイに到達する。尚、図面が混み過ぎるのを防止するために、5つの表面の内1つだけに126を付することを注記しておく。反射面126は、基板の外側からこれらの反射面上に入射した光波を、ユーザーの目に結合する。導光光学エレメントのこれ以上の詳細は、2008年11月20日に公開された米国特許出願公開第2008/0285140、出願番号第12/214,366号、"Substrate-Guided Optical Devices"(基板導光光学デバイス)において見出すことができる。この特許出願をここで引用したことにより、その内容全体が本願にも含まれるものとする。一実施形態では、各目がそれ自体の導光光学エレメント112を有する。

0125

[00153]図9Dは、凝視検出エレメントの構成を含む透視型ニアアイ混合現実ディスプレイ・デバイスの可動表示光学系の第4の実施形態の上面図である。この実施形態は、導光光学エレメント112を含む図9Cの実施形態に類似する。しかしながら、光検出器はIR光検出器152だけであるので、この実施形態は、以下の例において論ずるように、グリント検出を頼りにするのは凝視検出のためだけである。

0126

[00154]図9A図9Dの実施形態では、凝視検出エレメント、例えば、検出エリア139、照明器153、および光検出器152の位置は、互いに対して固定される。これらの例では、これらは表示光学系14の光軸に関しても固定される。

0127

[00155] 以上の実施形態では、示された具体的なレンズの数は単なる例に過ぎない。他の数または構成のレンズであっても、同じ原理で動作するのであれば、使用することができる。加えて、以上の例では、透視型ニアアイ・ディスプレイ2の右側だけが示された。ニアアイ混合現実ディスプレイ・デバイス全体であれば、例として、他の1組のレンズ116および/または118、図9Cおよび図9Dの実施形態の他の導光光学エレメント112、他のマイクロディスプレイ120、他のレンズ系122、恐らくは(likely)他の環境対面カメラ113、図9A図9Cまでの実施形態の他の視線追跡カメラ134、イヤホン130、ならびに温度センサー138を含む。

0128

[00156]図10Aは、1つ以上の実施形態と共に使用することができる透視型ニアアイ混合現実ディスプレイ・ユニット2のハードウェアおよびソフトウェア・コンポーネントの一実施形態のブロック図である。図10Bは、処理ユニット4、5の種々のコンポーネントを記述するブロック図である。この実施形態ではニアアイ・ディスプレイ・デバイス2は、仮想画像についての命令を処理ユニット4、5から受け、逆にセンサー情報を処理ユニット4、5に提供する。処理ユニット4、5内において具体化することができるソフトウェアおよびハードウェア・コンポーネントは、図10Bにおいて図示され、ディスプレイ・デバイス2からセンサー情報(sensory information)を受け、更にハブ計算デバイス12(図1A参照)からもセンサー情報を受けることができる。この情報に基づいて、処理ユニット4、5は、仮想画像をどこにそしていつユーザーに供給すべきか判断し、それに応じて命令をディスプレイ・デバイス2の制御回路136に送る。

0129

[00157] 尚、図10Aのコンポーネントの一部(例えば、物理環境対面カメラ113、アイ・カメラ134、可変仮想焦点調節器135、光検出器インターフェース139、マイクロディスプレイ120、照明デバイス153または照明器、イヤホン130、温度センサー138、表示調節メカニズム203)は、これらのデバイスが各々2つずつあり、1つが頭部装着ディスプレイ・デバイス150の左側、そして1つが右側にあることを示すために、陰に隠れて(in shadow)図示されることを注記しておく。図10Aは、電力管理回路202と通信可能な制御回路200を示す。制御回路200は、プロセッサー210、メモリー214(例えば、D−RAM)と通信可能なメモリー・コントローラー212、カメラ・インターフェース216、カメラ・バッファー218、ディスプレイ・ドライバー220、ディスプレイ・フォーマッター222、タイミング発生器226、ディスプレイ出力インターフェース228、およびディスプレイ入力インターフェース230を含む。一実施形態では、制御回路220のコンポーネントは全て、1つ以上のバス専用線を通じて互いに通信可能である。他の実施形態では、制御回路200のコンポーネントの各々はプロセッサー210と通信可能である。

0130

[00158]カメラ・インターフェース216は、2つの物理環境対面カメラ113および各アイ・カメラ134のためのインターフェースを設け、カメラ113、134から受けたそれぞれの画像をカメラ・バッファー218に格納する。ディスプレイ・ドライバー220は、マイクロディスプレイ120を駆動する。ディスプレイ・フォーマッター222は、マイクロディスプレイ120上に表示される仮想画像についての情報を、拡張現実システムのために処理を実行する1つ以上のコンピューター・システム、例えば、4、5、12、210の1つ以上のプロセッサーに提供することができる。タイミング発生器226は、システムにタイミング・データーを供給するために使用される。ディスプレイ出力228は、物理環境対面カメラ113およびアイ・カメラ134から処理ユニット4、5に画像を供給するためのバッファーである。ディスプレイ入力230は、マイクロディスプレイ120に表示しようとする仮想画像のような画像を受けるためのバッファーである。ディスプレイ出力228およびディスプレイ入力230は、処理ユニット4、5に対するインターフェースである帯域インターフェース232と通信する。

0131

[00159]電力管理回路202は、電圧レギュレーター234、視線追跡照明ドライバー236、可変調節器ドライバー237、光検出器インターフェース239、オーディオDACおよび増幅器238、マイクロフォン・プリアンプおよびオーディオADC240、温度センサー・インターフェース242、表示調節メカニズム・ドライバー(1つまたは複数)245、ならびにクロック発振器244を含む。電圧レギュレーター234は電力を処理ユニット4、5から帯域インターフェース232を介して受け、その電力を頭部装着ディスプレイ・デバイス2の他のコンポーネントに供給する。照明ドライバー236は、例えば、駆動電流または電圧によって、所定の周波数を中心にまたは波長範囲内で動作するように、照明デバイス153を制御する。オーディオDACおよび増幅器238は、オーディオ情報をイヤホン130から受ける。マイクロフォン・プリアンプおよびオーディオADC240は、マイクロフォン110のためのインターフェースを設ける。温度センサー・インターフェース242は、温度センサー138のためのインターフェースである。1つ以上の表示調節ドライバー245は、各表示調節メカニズム203を構成する1つ以上のモーターまたは他のデバイスに、3つの方向の内少なくとも1つにおける移動の調節量を表す制御信号を供給する。また、電力管理ユニット202は、三軸磁力計132A、三軸ジャイロ132B、および三軸加速度計132Cに電力を供給し、三軸磁力計132A、三軸ジャイロ132B、および三軸加速度計132Cからは逆にデーターを受ける。また、電力管理ユニット202は、GPS送受信機144にも電力を供給し、逆にデーターをGPS送受信機144から受信し、データーをGPS送受信機144に送る。

0132

[00160]可変調節器ドライバー237は、制御信号、例えば、駆動電流または駆動電圧を調節器135に供給し、マイクロディスプレイ・アセンブリーの1つ以上のエレメントを移動させて、焦点領域に対する変位を行う。この変位は、制御回路13のプロセッサー210、あるいは処理ユニット4、5またはハブ・コンピューター12あるいは双方において実行するソフトウェアによって計算される。ある範囲の変位にわたって、したがって焦点領域の範囲にわたって掃引する実施形態では、可変調節器ドライバー237は、タイミング信号をタイミング発生器226から受け、または代わりにクロック発振器244から受け、プログラミングされたレートまたは頻度で動作する。

0133

[00161]光検出器インターフェース239は、各光検出器からの電圧または電流読み取り値に必要とされるあらゆるアナログディジタル変換を実行し、メモリー・コントローラー212によってこの読み取り値をプロセッサー読み取り可能なフォーマットでメモリーに格納し、温度および波長精度というような、光検出器152の動作パラメーター監視する。

0134

[00162]図10Bは、透視型ニアアイ、混合現実ディスプレイ・ユニットに関連する処理ユニット4のハードウェアおよびソフトウェア・コンポーネントの一実施形態のブロック図である。移動体デバイス5は、ハードウェアおよびソフトウェア・コンポーネントのこの実施形態も含み、または同様の機能を実行する同様のコンポーネントを含むこともできる。図10Bは、電力管理回路307と通信可能な制御回路304を示す。制御回路305は、中央処理ユニット(CPU)320、グラフィクス処理ユニット(GPU)322、キャッシュ324、RAM326、メモリー330(例えば、D−RAM)と通信可能なメモリー制御部328、フラッシュ・メモリー334(または他のタイプの不揮発性ストレージ)と通信可能なフラッシュ・メモリー・コントローラー332、帯域インターフェース303および帯域インターフェース232を介して透視型ニアアイ・ディスプレイ・デバイス2と通信可能なディスプレイ出力バッファー336、帯域インターフェース303および帯域インターフェース232を介して透視型ニアアイ・ディスプレイ・デバイス2と通信可能なディスプレイ入力バッファー338、マイクロフォンに接続するために外部マイクロフォンコネクター342と通信可能なマイクロフォン・インターフェース340、ワイヤレス通信デバイス346に接続するためのPCIエクスプレス・インターフェース、ならびにUSBポート(1つまたは複数)348を含む。

0135

[00163] 一実施形態では、ワイヤレス通信コンポーネント346は、Wi−Fi対応通信デバイス、Bluetooth(登録商標)通信デバイス、赤外線通信デバイス等を含むことができる。USBポートは、処理ユニット4、5をハブ計算デバイス12にドッキングして、データーまたはソフトウェアを処理ユニット4、5および充電処理ユニット4、5にロードするために使用することができる。一実施形態では、CPU320およびGPU322は、どこに、いつ、そしてどのように画像をユーザーの視野に挿入すべきか判断するための主要な機械(workhorse)である。

0136

[00164]電力管理回路307は、クロック発振器360、アナログ/ディジタル変換器362、バッテリー充電器364、電圧レギュレーター366、透視型ニアアイ・ディスプレイ電源376、および温度センサー374(処理ユニット4の手首バンド上に配置される)と通信可能な温度センサー・インターフェース372を含む。交流直流変換器362は、AC供給電力を受け、本システムにDC供給電力を発電するために、充電用ジャック370に接続されている。電圧レギュレーター366は、本システムに電力を供給するために、バッテリー368と通信する。バッテリー充電器364は、充電用ジャック370から受電したときに、バッテリー368を充電する(電圧レギュレーター366を介して)ために使用される。デバイス電力インターフェース376は、電力をディスプレイ・デバイス2に供給する。

0137

[00165]図11Aは、計算システム12を実現するために使用することができるマルチメディア・コンソール(またはゲーミング・コンソール)900を含む計算環境の一例を示す。キャプチャー・デバイス20は、計算システム12に結合されてもよい。図11Aに示すように、マルチメディア・コンソール900は、レベル1キャッシュ902、レベル2キャッシュ904、およびフラッシュROM(リード・オンリー・メモリー)906を有する中央処理ユニット(CPU)901を有する。レベル1キャッシュ902およびレベル2キャッシュ904は、一時的にデーターを格納し、こうしてメモリー・アクセス・サイクル回数を減らすことによって、処理速度およびスループットを向上させる。CPU901は、1つよりも多いコア、つまり、追加のレベル1およびレベル2キャッシュ902および904を有するものを設けてもよい。フラッシュROM906は、実行可能コードを格納することができる。実行可能コードは、マルチメディア・コンソール900に電源を入れたときのブート・プロセスの初期段階の間にロードされる。

0138

[00166]グラフィクス処理ユニット(GPU)908およびビデオ・エンコーダー/ビデオ・コデックコーダデコーダ)914は、高速および高解像度グラフィクス処理のためのビデオ処理パイプラインを形成する。データーは、グラフィクス処理ユニット908からビデオ・エンコーダー/ビデオ・コデック914にバスを通じて搬送される。このビデオ処理パイプラインは、テレビジョンまたは他のディスプレイへの送信のためにデーターをA/V(オーディオ/ビデオ)ポート940に出力する。メモリー・コントローラー910は、限定ではないが、RAM(ランダム・アクセス・メモリー)のような種々のタイプのメモリー912へのプロセッサー・アクセスを容易にするために、GPU908に接続される。

0139

[00167]マルチメディア・コンソール900は、I/Oコントローラー920、システム管理コントローラー922、オーディオ処理ユニット923、ネットワーク・インターフェース・コントローラー924、第1USBホスト・コントローラー926、第2USBコントローラー928、およびフロントパネルI/Oサブアセンブリ930を含む。これらは、好ましくは、モジュール918上に実装される。USBコントローラー926および928は、周辺コントローラー942(1)〜942(2)、ワイヤレス・アダプター948、および外部メモリー・デバイス946(例えば、フラッシュ・メモリー、外部CD/DVDROMドライブリムーバブル媒体等)のためのホストとしての役割を果たす。ネットワーク・インターフェース924および/またはワイヤレス・アダプター948は、ネットワーク(例えば、インターネット家庭内ネットワーク等)へのアクセスを与え、イーサネット(登録商標)・カードモデム、Bluetooth(登録商標)モジュール、ケーブル・モデム等を含む広範囲にわたる種々の有線またはワイヤレス・アダプター・コンポーネントの内いずれでもよい。

0140

[00168] システム・メモリー943は、ブート・プロセスの間にロードされるアプリケーション・データーを格納するために設けられる。メディアドライブ944が設けられ、DVD/CDドライブ、ハード・ドライブ、またはその他のリムーバブル・メディア・ドライブ等を含むことができる。メディア・ドライブ944は、マルチメディア・コンソール900の内部にあっても外部にあってもよい。アプリケーション・データーには、マルチメディア・コンソール900が実行、再生等のために、メディア・ドライブ944を介してアクセスすることができる。メディア・ドライブ944は、シリアルATAバスまたはその他の高速接続(例えば、IEEE1394)のようなバスを介して、I/Oコントローラー920に接続される。

0141

[00169]システム管理コントローラー922は、マルチメディア・コンソール900の利用可能性を確保することに関する種々のサービス機能を提供する。オーディオ処理ユニット923およびオーディオ・コデック932は、高忠実度およびステレオ処理を行う、対応のオーディオ処理パイプラインを形成する。オーディオ・データーは、通信リンクを介して、オーディオ処理ユニット923とオーディオ・コデック932との間で搬送される。オーディオ処理パイプラインは、外部オーディオプレーヤーまたはオーディオ処理能力を有するデバイスによる再生のために、データーをA/Vポート940に出力する。

0142

[00170]フロント・パネルI/Oサブアセンブリ930は、電力ボタン950およびイジェクト・ボタン952の機能をサポートするだけでなく、あらゆるLED(発光ダイオード)またはマルチメディア・コンソール900の外面上に表出されるその他のインディケーターもサポートする。システム電源モジュール936は、マルチメディア・コンソール900のコンポーネントに電力を供給する。ファン938は、マルチメディア・コンソール900内部にある回路を冷却する。

0143

[00171] CPU901、GPU908、メモリー・コントローラー910、およびマルチメディア・コンソール900内部にある種々のその他のコンポーネントは、1系統以上のバスを介して相互接続される。これらのバスには、シリアルおよびパラレル・バス、メモリー・バス、周辺バス、ならびに種々のバス・アーキテクチャーの内いずれかを使用するプロセッサー・バスまたはローカル・バスが含まれる。一例として、このようなアーキテクチャーは、ペリフェラル・コンポーネント相互接続(PCI)バス、PCI-Expressバス等を含むことができる。

0144

[00172]マルチメディア・コンソール900に電源を入れると、システム・メモリー943からメモリー912および/またはキャッシュ902、904にアプリケーション・データーがロードされ、CPU901において実行することができる。アプリケーションは、グラフカル・ユーザー・インターフェースを提示することができる。このグラフィカル・ユーザー・インターフェースは、マルチメディア・コンソール900において利用可能な異なるタイプのメディアにナビゲートするときに、一貫性のあるユーザー体験を提供する。動作において、アプリケーションおよび/またはメディア・ドライブ944内に収容される他のメディアをメディア・ドライブ944から起動または再生して、マルチメディア・コンソール900に追加の機能を設けることもできる。

0145

[00173]マルチメディア・コンソール900は、単にシステムをテレビジョンまたはその他のディスプレイに接続することによって、単体システムとして動作させることができる。この単体モードでは、マルチメディア・コンソール900は、1人以上のユーザーがシステムと対話処理を行い、ムービーを見ること、または音楽を聞くことを可能にする。しかしながら、ネットワーク・インターフェース924またはワイヤレス・アダプター948によって利用可能となるブロードバンド接続機能を統合することにより、マルチメディア・コンソール900を更に大きなネットワーク・コミュニティにおける関与個体(participant)として動作させることもできる。

0146

[00174]マルチメディア・コンソール900に電源を入れると、マルチメディア・コンソールのオペレーティング・システムによって、設定された量のハードウェア・リソースがシステムの使用のために確保される。これらのリソースは、メモリー(例えば、96MB)、CPUおよびGPUサイクル(例えば、5%)、ネットワーク接続帯域幅(例えば、8kbs)等の確保を含むことができる。これらのリソースは、システムのブート時に確保されるので、確保されたリソースは、アプリケーションの視点からは存在しない。

0147

[00175] 特に、メモリーの確保は、起動カーネルコンカレント・システム・アプリケーション、およびドライバーを収容できる程に十分大きいことが好ましい。確保されたCPU使用枠(usage)がシステム・アプリケーションによって使用されない場合、アイドルスレッドがいずれかの未使用サイクル消費するように、CPUの確保は一定であることが好ましい。

0148

[00176] GPUの確保に関して、GPU割り込みを使用してポップアップオーバーレイにレンダリングするコードをスケジューリングすることによって、システム・アプリケーション(例えば、ポップアップ)が生成する軽量メッセージ(lightweight message)を表示する。オーバーレイに使用されるメモリー量は、オーバーレイのエリア・サイズによって異なり、オーバーレイは画面の解像度に合わせて倍率調整する(scale)ことが好ましい。コンカレント・システム・アプリケーションによって完全ユーザー・インターフェースが使用される場合、アプリケーションの解像度とは独立した解像度を使用することが好ましい。周波数を変更してTVの同期を取り直す必要性をなくすように、この解像度を設定するためにスケーラー(scaler)を使用してもよい。

0149

[00177]マルチメディア・コンソール900がブートして、システム・リソースが確保された後、コンカレント・システム・アプリケーションが実行してシステム機能を提供する。システム機能は、前述の確保したシステム・リソースの内部で実行する1組のシステム・アプリケーションの中にカプセル化される。オペレーティング・システム・カーネルは、システム・アプリケーション・スレッドと、ゲーミング・アプリケーション・スレッドとの間でスレッドを識別する。一貫したシステム・リソース・ビューをアプリケーションに提供するために、システム・アプリケーションは、所定の時点および間隔でCPU901において実行するようにスケジューリングされることが好ましい。このスケジューリングは、コンソール上で実行しているゲーミング・アプリケーションに対するキャッシュ破壊(disruption)を最少に抑えるためにある。

0150

[00178]コンカレント・システム・アプリケーションがオーディオを必要とする場合、時間に敏感であるため、ゲーミング・アプリケーションには非同期にオーディオ処理をスケジューリングする。マルチメディア・コンソール・アプリケーション・マネージャー(以下で説明する)は、システム・アプリケーションがアクティブのとき、ゲーミング・アプリケーションのオーディオ・レベル(例えば、無音化、減衰)を制御する。

0151

[00179]入力デバイス(例えば、コントローラー942(1)および942(2))は、ゲーミング・アプリケーションおよびシステム・アプリケーションによって共有される。入力デバイスは、確保されるリソースではないが、各々がデバイスのフォーカスを有するように、システム・アプリケーションとゲーミング・アプリケーションとの間で切り換えられる。アプリケーション・マネージャーは、ゲーミング・アプリケーションの知識を使用せずに入力ストリームの切換を制御し、ドライバーはフォーカス・スイッチ(focus switches)に関する状態情報を維持する。実施形態では、図2のキャプチャー・デバイス20がマルチメディア・コンソール900に対する追加の入力デバイスであってもよい。

0152

[00180]図11Bは、計算システム12を実現するために使用することができる計算環境の他の例を示す。キャプチャー・デバイス20は、この計算環境に結合されてもよい。図11Bの計算環境は、適した計算環境の一例に過ぎず、現在開示される主題の使用範囲または機能性に関して、いかなる限定を示唆する意図もない。また、図2の計算環境12が、図11B動作環境例において例示されるいずれの1つのコンポーネントまたはコンポーネントの組み合わせに関しても依存性または要件を有するように解釈しては決してならない。実施形態によっては、図示する種々の計算エレメントが、本開示の特定の態様をインスタンス化するように構成される回路を含むこともあり得る。例えば、本開示において使用される回路(circuitry)という用語は、ファームウェアまたはスイッチによって機能(1つまたは複数)を実行するように構成される特殊ハードウェア・コンポーネントを含むことができる。別の例では、回路という用語は、機能(1つまたは複数)を実行するために動作可能なロジックを具体化するソフトウェア命令によって構成される汎用処理ユニット、メモリー等を含むことができる。回路がハードウェアおよびソフトウェアの組み合わせを含む実施形態例では、実装者(implementer)は、ロジックを具体化するソース・コードを書くことができ、ソース・コードを機械読み取り可能コードにコンパイルすることができ、この機械読み取り可能コードを汎用処理ユニットによって処理することができる。

0153

[00181]図11Bにおいて、計算システム1120は、コンピューター1141を含む。コンピューター1141は、通例、種々のコンピューター読み取り可能媒体を含む。コンピューター読み取り可能媒体(またはプロセッサー読み取り可能記憶デバイス)は、コンピューター1141がアクセス可能入手可能な媒体であればいずれでも可能であり、揮発性および不揮発性の双方、リムーバブル、および非リムーバブル媒体を含む。一例として、そして限定ではなく、コンピューター読み取り可能媒体は、コンピューター記憶媒体を含むこともできる。コンピューター記憶媒体は、揮発性および不揮発性双方の、リムーバブルおよび非リムーバブル媒体を含み、これらはコンピューター読み取り可能命令、データー構造、プログラム・モジュール、または他のデーターというような情報の記憶のための任意の方法または技術で実現される。コンピューター記憶媒体は、RAM、ROM、EEPROM、フラッシュ・メモリーまたは他のメモリー技術、CD−ROM、ディジタル・バーサタイル・ディスク(DVD)または他の光ディスクストレージ磁気カセット磁気テープ磁気ディスク・ストレージまたは他の磁気記憶デバイス、あるいは、所望の情報を格納するために使用することができその上コンピューターによってアクセスすることができる他のあらゆる記憶媒体を含むが、これらに限定されるのではない。

0154

[00182] また、コンピューター1141は、その他のリムーバブル/非リムーバブル揮発性/不揮発性コンピューター記憶媒体も含むことができる。一例にすぎないが、図11Bは、非リムーバブル不揮発性磁気媒体からの読み取りおよびこれへの書き込みを行なうハード・ディスク・ドライブ1138、リムーバブル不揮発性磁気ディスク1154からの読み取りおよびこれへの書き込みを行なう磁気ディスク・ドライブ1139、ならびにCD ROMまたはその他の光媒体のようなリムーバブル不揮発性光ディスク1153からの読み取りおよびこれへの書き込みを行なう光ディスク・ドライブ1140を示す。この動作環境の一例において使用可能なその他のリムーバブル/非リムーバブル、揮発性/不揮発性コンピューター記憶媒体には、限定する訳ではないが、磁気テープ・カセット、フラッシュ・メモリー・カード、ディジタル・バーサタイル・ディスク、ディジタル・ビデオ・テープソリッドステートRAM、ソリッド・ステートROM等が含まれる。ハード・ディスク・ドライブ1138は、通例、インターフェース1134のような非リムーバブル・メモリー・インターフェースを介してシステム・バス1121に接続され、磁気ディスク・ドライブ1139および光ディスク・ドライブ1140は、通例、インターフェース1135のようなリムーバブル・メモリー・インターフェースによって、システム・バス1121に接続する。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ