図面 (/)

技術 深度検知のためのプログラム可能回折光学素子を有するカメラアセンブリ

出願人 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニー
発明者 バーダグジー,アンドリューマシューダッガン,ジョセフヘーゼグ,シナリュウ,フェイサリバン,マークティモシーワイス,サイモンモリスシャンド
出願日 2018年8月6日 (2年6ヶ月経過) 出願番号 2020-505267
公開日 2020年10月29日 (3ヶ月経過) 公開番号 2020-530900
状態 未査定
技術分野 光学的手段による測長装置 その他の光学系・装置、色の干渉・色の制御 照明装置の配光に係わる部品細部及び防護 非携帯用の照明装置またはそのシステム
主要キーワード ディスプレイブロック 時間的挙動 拡張ビュー 機械ベース ファイバテーパ 局所エリア MEMデバイス 探索テーブル
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年10月29日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (8)

課題・解決手段

局所エリア深度検知のための深度カメラアセンブリ(DCA)は、構造光発生器イメージデバイス、およびコントローラを含む。構造光発生器は、構造光パターンで局所エリアを照らす。構造光発生器は、光学ビームを使用する回折スキャンビームを生成するプログラム可能回折光学素子(PDOE)を含む。PDOEは、光学ビームの回折を動的に調節して種々のパターンの回折スキャンビームを生成する動的回折格子として機能する。回折スキャンビームは、構造光パターンとして局所エリアに投影され、構造光パターンは、PDOEに基づいて動的に調節可能である。イメージデバイスは、局所エリア内のオブジェクトから反射された構造光パターンの少なくとも一部のイメージキャプチャする。コントローラは、キャプチャされたイメージに基づいて、オブジェクトの深度情報を決定する。

概要

背景

ヘッドマウントディスプレイ(HMD:head−mounted display)を使用するときの深度検知に対する感動的なユーザ体感を実現するためには、リアルタイムに動的に調節可能な照明パターンを提供するスキャンデバイスを作り出すことが重要である。ほとんどの深度検知方法は、アクティブ照明および検出に依存する。深度検知のための従来の方法は、構造光または飛行時間技法を使用する機械スキャンまたは固定された回折光学素子パターン投影を伴う。飛行時間に基づく深度検知は、短パルスオブジェクト空間に送信するために、機械ベースミラーデバイススキャナ)を使用する。飛行時間に基づく深度検知は、高解像度深度マップを作り出すために、オブジェクトからの時間ゲート後方散乱光に対してハイスピード検出器をさらに使用する。しかし、機械ベースのスキャナは、スキャンスピード、リアルタイム再構成、および機械的安定性において十分に作動しない。固定された構造光に基づく深度検知は、オブジェクト空間に投影される静的な(固定された)パターンの構造光を生成するために、回折光学素子を使用する。固定された構造光に基づく深度検知は、深度マップを計算して抽出するために、予め格納された探索テーブルをさらに使用する。しかし、固定された構造光および回折光学素子に基づく深度検知は、照明パターンの調節が必要な場合の動的な深度検知には十分堅牢ではない。

概要

局所エリアの深度検知のための深度カメラアセンブリ(DCA)は、構造光発生器イメージデバイス、およびコントローラを含む。構造光発生器は、構造光パターンで局所エリアを照らす。構造光発生器は、光学ビームを使用する回折スキャンビームを生成するプログラム可能回折光学素子(PDOE)を含む。PDOEは、光学ビームの回折を動的に調節して種々のパターンの回折スキャンビームを生成する動的回折格子として機能する。回折スキャンビームは、構造光パターンとして局所エリアに投影され、構造光パターンは、PDOEに基づいて動的に調節可能である。イメージデバイスは、局所エリア内のオブジェクトから反射された構造光パターンの少なくとも一部のイメージキャプチャする。コントローラは、キャプチャされたイメージに基づいて、オブジェクトの深度情報を決定する。A

目的

ヘッドマウントディスプレイ(HMD:head−mounted display)を使用するときの深度検知に対する感動的なユーザ体感を実現するためには、リアルタイムに動的に調節可能な照明パターンを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

放射指令に従って、構造光パターン局所エリアを照らすように構成された構造光発生器であって、光学ビームを放射するように構成された照明光源、前記光学ビームから回折スキャンビームを、前記放射指令に部分的に基づいて生成するプログラム可能回折光学素子(PDOE)であって、前記光学ビームの回折を動的に調節して種々のパターンの前記回折スキャンビームを生成する動的回折格子として機能する、プログラム可能回折光学素子(PDOE)、および前記回折スキャンビームを前記構造光パターンとして前記局所エリアに投影するように構成された投影アセンブリであって、前記構造光パターンが、前記PDOEに基づいて動的に調節可能である、投影アセンブリ、を備える、構造光発生器と、前記局所エリア内の1つまたは複数のオブジェクトから反射された前記構造光パターンの少なくとも一部の1つまたは複数のイメージキャプチャするように構成されたイメージデバイスと、コントローラであって、前記放射指令を生成すること、前記構造光発生器に前記放射指令を提供すること、およびキャプチャした前記1つまたは複数のイメージに部分的に基づいて、前記1つまたは複数のオブジェクトの深度情報を決定することを行うように構成されたコントローラとを備える、深度カメラアセンブリ(DCA)。

請求項2

前記PDOEが、空間光モジュレータリキッドクリスタルオンシリコン(LCOS)デバイス微小電気機械MEM)デバイス、およびデジタルマイクロミラーデバイスDMD)からなる群から選択される、請求項1に記載のDCA。

請求項3

前記PDOEが、液晶(LC)ベースの回折光学素子を含み、前記コントローラが、前記LCベースの回折光学素子の回折角を調節して前記種々のパターンを有する前記回折スキャンビームを形成するために、前記LCベースの回折光学素子に印加される電圧レベルを動的に調節する、請求項1に記載のDCA。

請求項4

前記PDOEが、前記回折スキャンビームを変調光として形成するために、変調信号空間周波数を有することに基づいて前記光学ビームを空間変調する空間光モジュレータを含み、前記コントローラが、前記種々のパターンを有する前記変調光を形成するために、前記光学ビームに適用される前記変調信号の前記空間周波数を動的に調節する、請求項1に記載のDCA。

請求項5

前記PDOEが、マイクロミラーセルアレイを含み、前記コントローラが、前記種々のパターンを有する前記回折スキャンビームを形成するために、前記放射指令に部分的に基づいて、前記光学ビームの一部を吸収するように前記アレイにおける第1の複数のセルを動的に再構成し、前記光学ビームの別の部分を反射するように前記アレイにおける第2の複数のセルを動的に再構成する、請求項1に記載のDCA。

請求項6

前記照明光源が、前記放射指令に部分的に基づいて前記光学ビームを放射するように構成された光エミッタと、前記光学ビームをコリメート光コリメートするように構成されたコリメーションアセンブリと、前記コリメート光を前記PDOEに向けるように構成されたプリズムとを含む、請求項1に記載のDCA。

請求項7

前記照明光源が、前記放射指令に部分的に基づいて前記光学ビームを放射するように構成された光エミッタと、単一の光学素子であって、コリメート光を生成するために前記光学ビームをコリメートすること、および前記コリメート光を前記PDOEに向けることを行うように構成された単一の光学素子とを含む、請求項1に記載のDCA。

請求項8

前記PDOEが、前記放射指令に部分的に基づいて前記回折スキャンビームを形成するために、ブラッグ整合条件を満たす角度で前記PDOEに入射する前記光学ビームを回折させる、請求項1に記載のDCA。

請求項9

前記構造光パターンが時間的に変調されるように、前記光学ビームが時間的に変調される、請求項1に記載のDCA。

請求項10

前記コントローラが、決定された前記深度情報に基づいて、前記光学ビームの回折を調節するように前記動的回折格子を制御することを行うようにさらに構成される、請求項1に記載のDCA。

請求項11

前記コントローラが、前記局所エリア内の前記1つまたは複数のオブジェクトのロケーション情報に基づいて、前記光学ビームの回折を調節するように前記動的回折格子を制御することを行うようにさらに構成される、請求項1に記載のDCA。

請求項12

前記DCAが、ヘッドマウントディスプレイの構成要素である、請求項1に記載のDCA。

請求項13

放射指令を生成することと、光学ビームの回折を動的に調節して種々のパターンの回折スキャンビームを生成する動的回折格子として機能するプログラム可能回折光学素子(PDOE)を使用して前記光学ビームを回折させることによって、前記光学ビームから前記回折スキャンビームを、前記放射指令に部分的に基づいて生成することと、前記回折スキャンビームを構造光パターンとして局所エリアに投影することと、前記局所エリア内の1つまたは複数のオブジェクトから反射した前記構造光パターンの少なくとも一部の1つまたは複数のイメージをキャプチャすることと、キャプチャした前記1つまたは複数のイメージに少なくとも部分的に基づいて、前記1つまたは複数のオブジェクトの深度情報を決定することとを含む、方法。

請求項14

前記PDOEが、液晶(LC)ベースの回折光学素子を含み、前記方法が、前記LCベースの回折光学素子の回折角を調節して前記種々のパターンを有する前記回折スキャンビームを形成するために、前記LCベースの回折光学素子に印加される電圧レベルを動的に調節することをさらに含む、請求項13に記載の方法。

請求項15

変調信号が空間周波数を有することに基づいて、前記回折スキャンビームを変調光として形成するために、空間光モジュレータとして構成された前記PDOEを使用して前記光学ビームを変調することと、前記種々のパターンを有する前記変調光を形成するために、前記光学ビームに適用される前記変調信号の前記空間周波数を動的に調節することとをさらに含む、請求項13に記載の方法。

請求項16

前記PDOEが、マイクロミラーセルのアレイを含み、前記方法が、前記種々のパターンを有する前記回折スキャンビームを形成するために、前記放射指令に部分的に基づいて、前記光学ビームの一部を吸収するように前記アレイにおける第1の複数のセルを動的に再構成し、前記光学ビームの別の部分を反射するように前記アレイにおける第2の複数のセルを動的に再構成することをさらに含む、請求項13に記載の方法。

請求項17

前記放射指令に部分的に基づいて前記光学ビームを放射することと、コリメート光を生成するために前記光学ビームをコリメートすることと、前記コリメート光を前記PDOEに向けることとをさらに含む、請求項13に記載の方法。

請求項18

決定された前記深度情報に基づいて、前記光学ビームの回折を調節するように前記動的回折格子を制御することをさらに含む、請求項13に記載の方法。

請求項19

前記局所エリア内の前記1つまたは複数のオブジェクトのロケーション情報に基づいて、前記光学ビームの回折を調節するように前記動的回折格子を制御することをさらに含む、請求項13に記載の方法。

請求項20

ヘッドマウントディスプレイ(HMD)であって、イメージ光を放射するように構成された電子ディスプレイと、放射指令に従って、構造光パターンで局所エリアを照らすように構成された光発生器であって、光学ビームを放射するように構成された照明光源、前記光学ビームから回折スキャンビームを、前記放射指令に部分的に基づいて生成するプログラム可能回折光学素子(PDOE)であって、前記光学ビームの回折を動的に調節して種々のパターンの前記回折スキャンビームを生成する動的回折格子として機能する、プログラム可能回折光学素子(PDOE)、および前記回折スキャンビームを前記構造光パターンとして前記局所エリアに投影するように構成された投影アセンブリであって、前記構造光パターンが、前記PDOEに基づいて動的に調節可能である、投影アセンブリを備える、光発生器と、前記局所エリア内の1つまたは複数のオブジェクトから反射した前記構造光パターンの少なくとも一部の1つまたは複数のイメージをキャプチャするように構成されたイメージデバイスと、コントローラであって、前記放射指令を生成すること、前記光発生器に前記放射指令を提供すること、およびキャプチャした前記1つまたは複数のイメージに部分的に基づいて、前記1つまたは複数のオブジェクトの深度情報を決定することを行うように構成されたコントローラと、ユーザの眼のロケーションに対応する前記HMDの射出瞳に前記イメージ光を向けるように構成された光学アセンブリであって、前記イメージ光が、決定された前記深度情報を含む、光学アセンブリとを備える、ヘッドマウントディスプレイ(HMD)。

請求項21

放射指令に従って、構造光パターンで局所エリアを照らすように構成された構造光発生器であって、光学ビームを放射するように構成された照明光源、前記光学ビームから回折スキャンビームを、前記放射指令に部分的に基づいて生成するプログラム可能回折光学素子(PDOE)であって、前記光学ビームの回折を動的に調節して種々のパターンの前記回折スキャンビームを生成する動的回折格子として機能する、プログラム可能回折光学素子(PDOE)、および前記回折スキャンビームを前記構造光パターンとして前記局所エリアに投影するように構成された投影アセンブリであって、前記構造光パターンが、前記PDOEに基づいて動的に調節可能である、投影アセンブリを備える、構造光発生器と、前記局所エリア内の1つまたは複数のオブジェクトから反射した前記構造光パターンの少なくとも一部の1つまたは複数のイメージをキャプチャするように構成されたイメージデバイスと、コントローラであって、前記放射指令を生成すること、前記構造光発生器に前記放射指令を提供すること、およびキャプチャした前記1つまたは複数のイメージに部分的に基づいて、前記1つまたは複数のオブジェクトの深度情報を決定することを行うように構成されたコントローラとを備える、深度カメラアセンブリ(DCA)。

請求項22

前記PDOEが、空間光モジュレータ、リキッドクリスタルオンシリコン(LCOS)デバイス、微小電気機械(MEM)デバイス、およびデジタルマイクロミラーデバイス(DMD)からなる群から選択される、請求項21に記載のDCA。

請求項23

前記PDOEが、液晶(LC)ベースの回折光学素子を含み、前記コントローラが、前記LCベースの回折光学素子の回折角を調節して前記種々のパターンを有する前記回折スキャンビームを形成するために、前記LCベースの回折光学素子に印加される電圧レベルを動的に調節する、請求項21または22に記載のDCA。

請求項24

前記PDOEが、前記回折スキャンビームを変調光として形成するために、変調信号が空間周波数を有することに基づいて前記光学ビームを空間変調する空間光モジュレータを含み、前記コントローラが、前記種々のパターンを有する前記変調光を形成するために、前記光学ビームに適用される前記変調信号の前記空間周波数を動的に調節する、請求項21から23のいずれか一項に記載のDCA。

請求項25

前記PDOEが、マイクロミラーセルのアレイを含み、前記コントローラが、前記種々のパターンを有する前記回折スキャンビームを形成するために、前記放射指令に部分的に基づいて、前記光学ビームの一部を吸収するように前記アレイにおける第1の複数のセルを動的に再構成し、前記光学ビームの別の部分を反射するように前記アレイにおける第2の複数のセルを動的に再構成する、請求項21から24のいずれか一項に記載のDCA。

請求項26

前記照明光源が、前記放射指令に部分的に基づいて前記光学ビームを放射するように構成された光エミッタと、前記光学ビームをコリメート光にコリメートするように構成されたコリメーションアセンブリと、前記コリメート光を前記PDOEに向けるように構成されたプリズムとを含み、ならびに/または前記照明光源が、前記放射指令に部分的に基づいて前記光学ビームを放射するように構成された光エミッタと、単一の光学素子であって、コリメート光を生成するために前記光学ビームをコリメートすること、および前記コリメート光を前記PDOEに向けることを行うように構成された単一の光学素子とを含む、請求項21から25のいずれか一項に記載のDCA。

請求項27

前記PDOEが、前記放射指令に部分的に基づいて前記回折スキャンビームを形成するために、ブラッグ整合条件を満たす角度で前記PDOEに入射する前記光学ビームを回折させ、および/または前記構造光パターンが時間的に変調されるように、前記光学ビームが時間的に変調される、請求項21から26のいずれか一項に記載のDCA。

請求項28

前記コントローラが、決定された前記深度情報に基づいて、前記光学ビームの回折を調節するように前記動的回折格子を制御することをさらに行うように構成され、および/または前記コントローラが、前記局所エリア内の前記1つまたは複数のオブジェクトのロケーション情報に基づいて、前記光学ビームの回折を調節するように前記動的回折格子を制御することをさらに行うように構成される、請求項21から27のいずれか一項に記載のDCA。

請求項29

前記DCAが、ヘッドマウントディスプレイの構成要素である、請求項21から28のいずれか一項に記載のDCA。

請求項30

放射指令を生成することと、光学ビームの回折を動的に調節して種々のパターンの回折スキャンビームを生成する動的回折格子として機能するプログラム可能回折光学素子(PDOE)を使用して前記光学ビームを回折させることによって、前記光学ビームから前記回折スキャンビームを、前記放射指令に部分的に基づいて生成することと、前記回折スキャンビームを構造光パターンとして局所エリアに投影することと、前記局所エリア内の1つまたは複数のオブジェクトから反射した前記構造光パターンの少なくとも一部の1つまたは複数のイメージをキャプチャすることと、キャプチャした前記1つまたは複数のイメージに少なくとも部分的に基づいて、前記1つまたは複数のオブジェクトの深度情報を決定することとを含む、方法。

請求項31

前記PDOEが、液晶(LC)ベースの回折光学素子を含み、前記方法が、前記LCベースの回折光学素子の回折角を調節して前記種々のパターンを有する前記回折スキャンビームを形成するために、前記LCベースの回折光学素子に印加される電圧レベルを動的に調節することをさらに含む、請求項30に記載の方法。

請求項32

変調信号が空間周波数を有することに基づいて、前記回折スキャンビームを変調光として形成するために、空間光モジュレータとして構成された前記PDOEを使用して前記光学ビームを変調することと、前記種々のパターンを有する前記変調光を形成するために、前記光学ビームに適用される前記変調信号の前記空間周波数を動的に調節することとをさらに含み、ならびに/または前記PDOEが、マイクロミラーセルのアレイを含み、前記方法が、前記種々のパターンを有する前記回折スキャンビームを形成するために、前記放射指令に部分的に基づいて、前記光学ビームの一部を吸収するように前記アレイにおける第1の複数のセルを動的に再構成し、前記光学ビームの別の部分を反射するように前記アレイにおける第2の複数のセルを動的に再構成することをさらに含む、請求項30または31に記載の方法。

請求項33

前記放射指令に部分的に基づいて前記光学ビームを放射することと、コリメート光を生成するために前記光学ビームをコリメートすることと、前記コリメート光を前記PDOEに向けることとをさらに含む、請求項30から32のいずれか一項に記載の方法。

請求項34

決定された前記深度情報に基づいて、前記光学ビームの回折を調節するように前記動的回折格子を制御することをさらに含み、および/または前記局所エリア内の前記1つまたは複数のオブジェクトのロケーション情報に基づいて、前記光学ビームの回折を調節するように前記動的回折格子を制御することをさらに含む、請求項30から33のいずれか一項に記載の方法。

請求項35

ヘッドマウントディスプレイ(HMD)であって、イメージ光を放射するように構成された電子ディスプレイと、放射指令に従って、構造光パターンで局所エリアを照らすように構成された光発生器であって、光学ビームを放射するように構成された照明光源、前記光学ビームから回折スキャンビームを、前記放射指令に部分的に基づいて生成するプログラム可能回折光学素子(PDOE)であって、前記光学ビームの回折を動的に調節して種々のパターンの前記回折スキャンビームを生成する動的回折格子として機能する、プログラム可能回折光学素子(PDOE)、および前記回折スキャンビームを前記構造光パターンとして前記局所エリアに投影するように構成された投影アセンブリであって、前記構造光パターンが、前記PDOEに基づいて動的に調節可能である、投影アセンブリを備える、光発生器と、前記局所エリア内の1つまたは複数のオブジェクトから反射した前記構造光パターンの少なくとも一部の1つまたは複数のイメージをキャプチャするように構成されたイメージデバイスと、コントローラであって、前記放射指令を生成すること、前記光発生器に前記放射指令を提供すること、およびキャプチャした前記1つまたは複数のイメージに部分的に基づいて、前記1つまたは複数のオブジェクトの深度情報を決定することを行うように構成されたコントローラと、ユーザの眼のロケーションに対応する前記HMDの射出瞳に前記イメージ光を向けるように構成された光学アセンブリであって、前記イメージ光が、決定された前記深度情報を含む、光学アセンブリとを備える、ヘッドマウントディスプレイ(HMD)。

技術分野

0001

本開示は、一般に、深度検知に関し、詳細には、3次元深度検知のためのプログラム可能回折光学素子(PDOE:programmable diffractive optical element)を有するカメラアセンブリに関する。

背景技術

0002

ヘッドマウントディスプレイ(HMD:head−mounted display)を使用するときの深度検知に対する感動的なユーザ体感を実現するためには、リアルタイムに動的に調節可能な照明パターンを提供するスキャンデバイスを作り出すことが重要である。ほとんどの深度検知方法は、アクティブ照明および検出に依存する。深度検知のための従来の方法は、構造光または飛行時間技法を使用する機械スキャンまたは固定された回折光学素子パターン投影を伴う。飛行時間に基づく深度検知は、短パルスオブジェクト空間に送信するために、機械ベースミラーデバイススキャナ)を使用する。飛行時間に基づく深度検知は、高解像度深度マップを作り出すために、オブジェクトからの時間ゲート後方散乱光に対してハイスピード検出器をさらに使用する。しかし、機械ベースのスキャナは、スキャンスピード、リアルタイム再構成、および機械的安定性において十分に作動しない。固定された構造光に基づく深度検知は、オブジェクト空間に投影される静的な(固定された)パターンの構造光を生成するために、回折光学素子を使用する。固定された構造光に基づく深度検知は、深度マップを計算して抽出するために、予め格納された探索テーブルをさらに使用する。しかし、固定された構造光および回折光学素子に基づく深度検知は、照明パターンの調節が必要な場合の動的な深度検知には十分堅牢ではない。

0003

深度カメラアセンブリ(DCA:depth camera assembly)は、局所エリア内の1つまたは複数のオブジェクトと関連付けられた深度情報を決定する。DCAは、構造光発生器イメージデバイス、およびコントローラを備える。構造光発生器は、放射指令に従って、構造光パターン(例えば、ドットパターンラインパターン、等)で局所エリアを照らすように構成される。構造光発生器は、照明光源、プログラム可能回折光学素子(PDOE)、および投影アセンブリを含む。照明光源は、光学ビームを放射するように構成される。PDOEは、光学ビームから回折スキャンビームを、放射指令に部分的に基づいて生成する。PDOEは、光学ビームの回折を動的に調節して種々のパターンの回折スキャンビームを生成する動的回折格子として機能する。投影アセンブリは、回折スキャンビームを構造光パターンとして局所エリアに投影するように構成され、構造光パターンは、PDOEに基づいて動的に調節可能である。イメージデバイスは、局所エリア内の1つまたは複数のオブジェクトから反射された構造光パターンの少なくとも一部の1つまたは複数のイメージキャプチャするように構成される。コントローラは、構造光発生器とイメージデバイスの両方に連結されることが可能である。コントローラは、放射指令を生成し、構造光発生器に放射指令を提供する。コントローラは、キャプチャした1つまたは複数のイメージに部分的に基づいて、1つまたは複数のオブジェクトの深度情報を決定することも行うように構成される。

0004

ヘッドマウントディスプレイ(HMD)は、DCAをさらに統合することができる。HMDは、電子ディスプレイおよび光学アセンブリをさらに含む。HMDは、例えば、仮想現実VR:virtual reality)システム拡張現実(AR:augmented reality)システム、複合現実MR:mixed reality)システム、またはこれらのいくつかの組合せであることが可能である。電子ディスプレイは、イメージ光を放射するように構成される。光学アセンブリは、ユーザの眼のロケーションに対応するHMDの射出瞳にイメージ光を向けるように構成され、イメージ光は、DCAによって決定された局所エリア内の1つまたは複数のオブジェクトの深度情報を含む。

0005

本発明による実施形態は、深度カメラアセンブリ(DCA)、方法、およびヘッドマウントディスプレイ(HMD)を対象とする添付の特許請求の範囲において具体的に開示され、例えばDCAといった1つの請求項のカテゴリにおいて言及されるいずれかの特徴は、例えば、方法、HMD、システム、ストレージ媒体、およびコンピュータプログラム製品といった別の請求項のカテゴリにおいて同様に特許請求される可能性がある。添付の特許請求の範囲における従属または逆参照は、正式の理由のためだけに選ばれる。しかし、前にあるいずれかの請求項への意図的な逆参照から生じるいずれかの主題(特に複数の従属)は、請求項およびその特徴のいずれかの組合せが開示され、添付の特許請求の範囲において選ばれた従属とは関係なく特許請求されることが可能になるように、同様に特許請求されることが可能である。特許請求されることが可能な主題は、添付の特許請求の範囲において提示されるような特徴の組合せだけでなく、特許請求の範囲における特徴の他のいずれかの組合せも含み、特許請求の範囲において言及される各特徴は、特許請求の範囲における他のいずれかの特徴または他の特徴の組合せと組み合わされることが可能である。さらに、本明細書において説明または描写される実施形態および特徴のいずれかは、別個の請求項において、および/あるいは本明細書において説明もしくは描写されるいずれかの実施形態もしくは特徴、または添付の特許請求の範囲の特徴のいずれか、とのいずれかの組合せにおいて、特許請求されることが可能である。

0006

本発明による1つの実施形態において、深度カメラアセンブリ(DCA)は、
放射指令に従って、構造光パターンで局所エリアを照らすように構成された構造光発生器であって、
光学ビームを放射するように構成された照明光源、
光学ビームから回折スキャンビームを、放射指令に部分的に基づいて生成するプログラム可能回折光学素子(PDOE)であって、光学ビームの回折を動的に調節して種々のパターンの回折スキャンビームを生成する動的回折格子として機能する、プログラム可能回折光学素子(PDOE)、および
回折スキャンビームを構造光パターンとして局所エリアに投影するように構成された投影アセンブリであって、構造光パターンが、PDOEに基づいて動的に調節可能である、投影アセンブリ
を備える、構造光発生器と、
局所エリア内の1つまたは複数のオブジェクトから反射された構造光パターンの少なくとも一部の1つまたは複数のイメージをキャプチャするように構成されたイメージデバイスと、
放射指令を生成すること、
構造光発生器に放射指令を提供すること、および
キャプチャした1つまたは複数のイメージに部分的に基づいて、1つまたは複数のオブジェクトの深度情報を決定すること
を行うように構成されたコントローラと
を備えることができる。

0007

PDOEは、空間光モジュレータリキッドクリスタルオンシリコン(LCOS:liquid crystal on Silicon)デバイス微小電気機械MEM:microelectromechanical)デバイス、およびデジタルマイクロミラーデバイスDMD)からなる群から選択されることが可能である。

0008

PDOEは、液晶(LC:liquid crystal)ベースの回折光学素子を含むことができ、
コントローラは、LCベースの回折光学素子の回折角を調節して種々のパターンを有する回折スキャンビームを形成するために、LCベースの回折光学素子に印加される電圧レベルを動的に調節することができる。

0009

PDOEは、回折スキャンビームを変調光として形成するために、変調信号空間周波数を有することに基づいて光学ビームを空間変調する空間光モジュレータを含むことができ、
コントローラは、種々のパターンを有する変調光を形成するために、光学ビームに適用される変調信号の空間周波数を動的に調節することができる。

0010

PDOEは、マイクロミラーセルアレイを含むことができ、
コントローラは、種々のパターンを有する回折スキャンビームを形成するために、放射指令に部分的に基づいて、光学ビームの一部を吸収するようにアレイにおける第1の複数のセルを動的に再構成し、光学ビームの別の部分を反射するようにアレイにおける第2の複数のセルを動的に再構成することができる。

0011

照明光源は、
放射指令に部分的に基づいて光学ビームを放射するように構成された光エミッタと、
光学ビームをコリメート光コリメートするように構成されたコリメーションアセンブリと、
コリメート光をPDOEに向けるように構成されたプリズム
を含むことができる。

0012

照明光源は、
放射指令に部分的に基づいて光学ビームを放射するように構成された光エミッタと、
コリメート光を生成するために光学ビームをコリメートすること、および
コリメート光をPDOEに向けること
を行うように構成された単一の光学素子
を含むことができる。

0013

PDOEは、放射指令に部分的に基づいて回折スキャンビームを形成するために、ブラッグ整合条件を満たす角度でPDOEに入射する光学ビームを回折させることができる。

0014

構造光パターンが時間的に変調されるように、光学ビームを時間的に変調することが可能である。

0015

コントローラは、
決定された深度情報に基づいて、光学ビームの回折を調節するように動的回折格子を制御すること
を行うように構成されることが可能である。

0016

コントローラは、
局所エリア内の1つまたは複数のオブジェクトのロケーション情報に基づいて、光学ビームの回折を調節するように動的回折格子を制御すること
を行うように構成されることが可能である。

0017

DCAは、ヘッドマウントディスプレイの構成要素であることが可能である。

0018

本発明による1つの実施形態において、方法は、
放射指令を生成することと、
光学ビームの回折を動的に調節して種々のパターンの回折スキャンビームを生成する動的回折格子として機能するプログラム可能回折光学素子(PDOE)を使用して光学ビームを回折させることによって、光学ビームから回折スキャンビームを、放射指令に部分的に基づいて生成することと、
回折スキャンビームを構造光パターンとして局所エリアに投影することと、
局所エリア内の1つまたは複数のオブジェクトから反射した構造光パターンの少なくとも一部の1つまたは複数のイメージをキャプチャすることと、
キャプチャした1つまたは複数のイメージに少なくとも部分的に基づいて、1つまたは複数のオブジェクトの深度情報を決定することと
を含むことができる。

0019

PDOEは、液晶(LC)ベースの回折光学素子を含むことができ、方法は、
LCベースの回折光学素子の回折角を調節して種々のパターンを有する回折スキャンビームを形成するために、LCベースの回折光学素子に印加される電圧レベルを動的に調節すること
を含むことができる。

0020

方法は、
変調信号が空間周波数を有することに基づいて、回折スキャンビームを変調光として形成するために、空間光モジュレータとして構成されたPDOEを使用して光学ビームを変調することと、
種々のパターンを有する変調光を形成するために、光学ビームに適用される変調信号の空間周波数を動的に調節することと
を含むことができる。

0021

PDOEは、マイクロミラーセルのアレイを含むことができ、方法は、
種々のパターンを有する回折スキャンビームを形成するために、放射指令に部分的に基づいて、光学ビームの一部を吸収するようにアレイにおける第1の複数のセルを動的に再構成し、光学ビームの別の部分を反射するようにアレイにおける第2の複数のセルを動的に再構成すること
を含むことができる。

0022

方法は、
放射指令に部分的に基づいて光学ビームを放射することと、
コリメート光を生成するために光学ビームをコリメートすることと、
コリメート光をPDOEに向けることと
を含むことができる。

0023

方法は、
決定された深度情報に基づいて、光学ビームの回折を調節するように動的回折格子を制御すること
を含むことができる。

0024

方法は、
局所エリア内の1つまたは複数のオブジェクトのロケーション情報に基づいて、光学ビームの回折を調節するように動的回折格子を制御すること
を含むことができる。

0025

本発明による1つの実施形態において、ヘッドマウントディスプレイ(HMD)は、
イメージ光を放射するように構成された電子ディスプレイと、
放射指令に従って、構造光パターンで局所エリアを照らすように構成された光発生器であって、
光学ビームを放射するように構成された照明光源、
光学ビームから回折スキャンビームを、放射指令に部分的に基づいて生成するプログラム可能回折光学素子(PDOE)であって、光学ビームの回折を動的に調節して種々のパターンの回折スキャンビームを生成する動的回折格子として機能する、プログラム可能回折光学素子(PDOE)、および
回折スキャンビームを構造光パターンとして局所エリアに投影するように構成された投影アセンブリであって、構造光パターンが、PDOEに基づいて動的に調節可能である、投影アセンブリ
を備える、光発生器と、
局所エリア内の1つまたは複数のオブジェクトから反射した構造光パターンの少なくとも一部の1つまたは複数のイメージをキャプチャするように構成されたイメージデバイスと、
放射指令を生成すること、
光発生器に放射指令を提供すること、および
キャプチャした1つまたは複数のイメージに部分的に基づいて、1つまたは複数のオブジェクトの深度情報を決定すること
を行うように構成されたコントローラと、
ユーザの眼のロケーションに対応するHMDの射出瞳にイメージ光を向けるように構成された光学アセンブリであって、イメージ光が、決定された深度情報を含む、光学アセンブリと
を備えることができる。

0026

本発明のさらなる実施形態において、1つまたは複数のコンピュータ可読非一時的ストレージ媒体は、本発明または上述の実施形態のいずれかによるシステムにおいて行うように実行されるときに動作可能なソフトウェアを含む。

0027

本発明のさらなる実施形態において、コンピュータ実行方法は、本発明または上述の実施形態のいずれかによるシステムを使用する。

0028

本発明のさらなる実施形態において、コンピュータプログラム製品は、好ましくはコンピュータ可読非一時的ストレージ媒体を備え、本発明または上述の実施形態のいずれかによるシステムにおいて使用される。

図面の簡単な説明

0029

1つの実施形態による、ヘッドマウントディスプレイ(HMD)の図である。
1つの実施形態による、図1におけるHMDの前部剛体横断面を示す図である。
1つの実施形態による、プログラム可能回折光学素子(PDOE)を備える深度カメラアセンブリ(DCA)の例を示す図である。
1つの実施形態による、反射型PDOEを備えるDCAの例を示す図である。
1つの実施形態による、音響光学モジュレータ(AOM:acousto−optic modulator)およびPDOEを備えるDCAの例を示す図である。
1つの実施形態による、局所エリア内のオブジェクトの深度情報を決定する処理を示す流れ図である。
1つの実施形態による、コンソールが動作するHMDシステムブロック図である。

実施例

0030

図は、例証のためだけに本開示の実施形態を描写する。本明細書において示される構造および方法の代替実施形態は、本明細書において説明される本開示の原理またはうたわれる利益から逸脱することなく用いられることが可能であるということを当業者は以下の説明から容易に認識するであろう。

0031

DCAのいくらかまたは全てを取り囲む局所エリア内のオブジェクトの深度情報を決定するための深度カメラアセンブリ(DCA)。DCAは、照明光源、カメラ、およびコントローラを含む。照明光源は、光源、プログラム可能回折光学素子(PDOE)、および投影アセンブリを含む。PDOEは、例えば、空間光モジュレータ、リキッドクリスタルオンシリコン(LCOS)、微小電気機械(MEM)デバイス、種々のパターンの光を生み出すことができる他のいくつかのデバイス、またはこれらのいくつかの組合せであることが可能である。いくつかの実施形態において、照明光源は、光源、コリメータ、およびコリメート光をPDOEに向けるプリズムを含む。他の実施形態において、照明光源は、光源、および、コリメートしてコリメートビームをPDOEの方に向けるように振る舞う単一の複合光学素子を有するレンズ、を含む。PDOEの前に位置する投影アセンブリは、PDOEによって生成された光を局所エリアに投影し、投影光のパターンは、PDOEに基づいて動的に調節可能である。コントローラは、局所エリア内のオブジェクトから反射された調節可能な光パターンの少なくとも一部のキャプチャした1つまたは複数のイメージに部分的に基づいて深度情報を決定する。

0032

いくつかの実施形態において、DCAは、HMDのいくらかまたは全てを取り囲む局所エリア内の深度情報を説明するデータをキャプチャするヘッドマウントディスプレイ(HMD)に統合される。HMDは、例えば、仮想現実(VR)システム、拡張現実(AR)システム、複合現実(MR)システム、またはこれらのいくつかの組合せの一部であることが可能である。HMDは、電子ディスプレイおよび光学アセンブリをさらに含む。電子ディスプレイは、イメージ光を放射するように構成される。光学アセンブリは、ユーザの眼のロケーションに対応するHMDの射出瞳にイメージ光を向けるように構成され、イメージ光は、DCAによって決定された局所エリア内のオブジェクトの深度情報を含む。

0033

図1は、1つの実施形態によるHMD100の図である。HMD100は、例えば、VRシステム、ARシステム、MRシステム、またはこれらのいくつかの組合せの一部であることが可能である。ARシステムおよび/またはMRシステムを説明する実施形態において、HMD100の前面102の一部は、可視帯(380nmから750nmまで)において少なくとも部分的に透明であり、HMD100の前面102とユーザの眼との間にあるHMD100の部分は、少なくとも部分的に透明である(例えば、部分的に透明な電子ディスプレイ)。HMD100は、前部剛体105、バンド110、および基準点115を含む。HMD100は、HMD100のいくらかまたは全てを取り囲む局所エリアの深度情報を決定するように構成されたDCAも含む。HMD100は、イメージ開口120および照明開口125も含み、DCAの照明光源は、照明開口125を通じて光(例えば、構造光パターン)を放射する。DCAのイメージデバイスは、イメージ開口120を通じて局所エリアから反射された照明光源からの光をキャプチャする。照明開口125を通じてDCAの照明光源から放射された光は、図2図4に関してより詳細に論じられるような構造光パターンを含む。イメージ開口120を通じて局所エリアから反射され、DCAのイメージデバイスによってキャプチャされる光は、図2図4に関してより詳細に同じく論じられるように、反射された構造光パターンの少なくとも一部を含む。

0034

前部剛体105は、1つまたは複数の電子ディスプレイ要素(図1において図示せず)、1つまたは複数の統合された視標追跡システム図1において図示せず)、慣性計測ユニットIMU:Inertial Measurement Unit)130、1つまたは複数のポジションセンサ135、および基準点115を含む。図1によって示された実施形態において、ポジションセンサ135はIMU130の中にあり、IMU130もポジションセンサ135も、HMD100のユーザには見えない。IMU130は、ポジションセンサ135の1つまたは複数から受信された測定信号に基づいて較正データをすばやく生成する電子デバイスである。ポジションセンサ135は、HMD100の動き応答して1つまたは複数の測定信号を生成する。ポジションセンサ135の例は、1つもしくは複数の加速度計、1つもしくは複数のジャイロスコープ、1つもしくは複数の磁力計、動きを検出するセンサの別の適切なタイプ、IMU130の誤差補正のために使用されるセンサのタイプ、またはこれらのいくつかの組合せを含む。ポジションセンサ135は、IMU130の外部、IMU130の内部、またはこれらのいくつかの組合せの場所にあることが可能である。

0035

図2は、図1において示されたHMD100の前部剛体105の横断面200である。図2に示されるように、前部剛体105は、イメージ光を射出瞳225に共に送る電子ディスプレイ210および光学アセンブリ220含む。射出瞳225は、ユーザの眼230によって占有されることになる空間内の領域である。場合によっては、射出瞳225は、アイボックスと呼ばれることもある。例証のために、図2は、ただ1つの眼230と関連付けられた横断面200を示しているが、光学アセンブリ220とは別個の別の光学アセンブリ220が、変えられたイメージ光をユーザの別の眼に送る。

0036

電子ディスプレイ210は、イメージ光を生成する。いくつかの実施形態において、電子ディスプレイ210は、生成したイメージ光の焦点を調節する光学素子を含む。電子ディスプレイ210は、コンソール(図2において図示せず)から受信されたデータに従ってイメージをユーザに表示する。様々な実施形態において、電子ディスプレイ210は、単一の電子ディスプレイまたは複数の電子ディスプレイ(例えば、ユーザのそれぞれの眼に対するディスプレイ)を備えることができる。電子ディスプレイ210の例は、液晶ディスプレイ(LCD)、有機発光ダイオード(OLED)ディスプレイ、無機発光ダイオードILED)ディスプレイ、アクティブマトリックス有機発光ダイオード(AMOLED)ディスプレイ、透明有機発光ダイオード(TOLED)ディスプレイ、他のいくつかのディスプレイ、プロジェクタ、またはこれらのいくつかの組合せを含む。電子ディスプレイ210は、開口、フレネルレンズ凸レンズ凹レンズ回折素子導波路フィルタ偏光子ディフューザファイバテーパ、反射面、偏光反射面、または電子ディスプレイから放射されたイメージ光に影響を及ぼす他の任意の適切な光学素子を含むこともできる。いくつかの実施形態において、ディスプレイブロック光学素子の1つまたは複数は、反射防止コーティングなどの1つまたは複数のコーティングを有することが可能である。

0037

光学アセンブリ220は、電子ディスプレイ210から受信された光を拡大し、イメージ光と関連付けられた光学収差補正し、補正されたイメージ光は、HMD100のユーザに提示される。光学アセンブリ220の少なくとも1つの光学素子は、開口、フレネルレンズ、反射レンズ、反射面、回折素子、導波路、フィルタ、または電子ディスプレイ210から放射されたイメージ光に影響を及ぼす他の任意の適切な光学素子であることが可能である。その上、光学アセンブリ220は、種々の光学素子の組合せを含むことができる。いくつかの実施形態において、光学アセンブリ220における光学素子の1つまたは複数は、反射防止コーティング、二色性コーティング、等などの1つまたは複数のコーティングを有することができる。光学アセンブリ220によってイメージ光を拡大することは、電子ディスプレイ210の要素が、より大きいディスプレイより物理的に小さくなること、重さが軽くなること、および電力消費量が少なくなることを可能にする。追加として、拡大は、表示された媒体視野を増大させることができる。例えば、表示された媒体の視野は、ユーザの視野のほぼ全て(例えば、対角110度)、および場合によっては全てを使用して、表示された媒体が提示されるといったようなものである。いくつかの実施形態において、光学アセンブリ220は、その有効焦点距離が、電子ディスプレイ210までの間隔より大きくなるように設計され、このことが、電子ディスプレイ210によって投影されたイメージ光を拡大する。追加として、いくつかの実施形態において、拡大量は、光学素子を追加または除去することによって調節されることが可能である。

0038

図2において示されるように、前部剛体105は、HMD100のいくらかまたは全てを取り囲む局所エリア245における1つまたは複数のオブジェクトの深度情報を決定するためのDCA240をさらに含む。DCA240は、構造光発生器250、イメージデバイス255、および構造光発生器250とイメージデバイス255の両方に連結されることが可能なコントローラ260を含む。構造光発生器250は、照明開口125を通じて光を放射する。本開示の実施形態によれば、構造光発生器250は、コントローラ260によって生成された放射指令に従って、構造光265で局所エリア245を照らすように構成される。コントローラ260は、放射指令に基づいて、構造光発生器250の一定の構成要素の動作を制御するように構成される。コントローラ260は、局所エリア245を照らす構造光265のパターンを動的に調節するために、構造光発生器250の1つまたは複数の回折光学素子に放射指令を送る。構造光発生器250の1つまたは複数の回折光学素子を制御すること、および構造光265のパターンを動的に調節することについてのさらなる詳細は、図3A図3Cおよび図4に関して開示される。

0039

構造光発生器250は、一定の特性(例えば、波長偏光干渉時間的挙動、等)を有する光をそれぞれが放射する複数のエミッタを含むことができる。特性は、エミッタ間で同じであることまたは異なることが可能であり、エミッタは、同時にまたは個別に動作することが可能である。1つの実施形態において、複数のエミッタは、例えば、レーザダイオード(例えば、エッジエミッタ)、無機LEDもしくは有機LED垂直キャビティ面発光レーザVCSEL)、または他のいくつかの光源であることが可能である。いくつかの実施形態において、構造光発生器250における単一のエミッタまたは複数のエミッタは、1つまたは複数の光線を放射することができる。構造光発生器250を含むDCA240についてのさらなる詳細が、図3Aに関して開示される。

0040

イメージデバイス255は、局所エリア245から反射された構造光265の少なくとも一部を、イメージ開口120を通じてキャプチャするように構成された1つまたは複数のカメラを含む。イメージデバイス255は、構造光265で照らされた局所エリア245における1つまたは複数のオブジェクトの1つまたは複数のイメージをキャプチャする。イメージデバイス255に連結されたコントローラ260は、反射された構造光のキャプチャ部分に基づいて、1つまたは複数のオブジェクトの深度情報を決定するように同様に構成される。いくつかの実施形態において、コントローラ260は、決定された深度情報を、HMD100のコンソール(図2において図示せず)および/または妥当モジュール(例えば、可変焦点モジュール、図2において図示せず)に送る。コンソールおよび/またはHMD100は深度情報を利用して、例えば、電子ディスプレイ210上に提示するためのコンテンツを生成することができる。

0041

いくつかの実施形態において、前部剛体105は、ユーザの眼230の視標追跡情報を決定する視標追跡システム(図2において図示せず)をさらに備える。決定された視標追跡情報は、アイボックス内のユーザの眼230の方向についての情報、すなわち、視線の角度についての情報を含むことができる。アイボックスは、イメージ光を受信するためにユーザの眼があるHMDの出力における3次元体積に相当する。1つの実施形態において、ユーザの眼230は、構造光で照らされる。次に、視標追跡システムは、キャプチャされたイメージ内の反射された構造光のロケーションを使用して、眼のポジションおよび視線を決定することができる。別の実施形態において、視標追跡システムは、複数の時刻にわたってキャプチャされたイメージ光の等級に基づいて眼のポジションおよび視線を決定する。

0042

いくつかの実施形態において、前部剛体105は、可変焦点モジュール(図2において図示せず)をさらに備える。可変焦点モジュールは、視標追跡情報に基づいて、電子ディスプレイ210上に表示された1つまたは複数のイメージの焦点を調節することができる。1つの実施形態において、可変焦点モジュールは、決定された視標追跡情報に基づいて光学アセンブリ220の焦点距離を調節することによって、表示されたイメージの焦点を調節して両眼連動調節の不一致(vergence−accommodation conflict)を緩和する。別の実施形態において、可変焦点モジュールは、決定された視標追跡情報に基づいて、1つまたは複数のイメージの中心窩適応レンダリング(foveated rendering)を行うことによって、表示されたイメージの焦点を調節する。さらに別の実施形態において、可変焦点モジュールは、コントローラ260からの深度情報を利用して、電子ディスプレイ210上に提示するためのコンテンツを生成する。

0043

図3Aは、1つの実施形態による、DCA300の例である。DCA300は、動的に調節可能なパターンの構造光を使用して、大きい視野にわたる深度検知のために構成される。DCA300は、構造光発生器305、イメージデバイス310、および構造光発生器305とイメージデバイス310の両方に連結されたコントローラ315を含む。DCA300は、図1におけるHMD100の構成要素として構成されることが可能である。したがって、DCA300は、図2におけるDCA240の実施形態であることが可能であり、構造光発生器305は、図2における構造光発生器250の実施形態であることが可能であり、イメージデバイス310は、図2におけるイメージデバイス255の実施形態であることが可能である。

0044

構造光発生器305は、コントローラ315からの放射指令に従って、局所エリア320を構造光で照らしてスキャンするように構成される。構造光発生器305は、照明光源325、PDOE330、および投影アセンブリ335を含む。照明光源325は、光を生成してPDOE330に向ける。照明光源325は、光エミッタ340およびビーム調整アセンブリ345を含む。

0045

光エミッタ340は、コントローラ315からの放射指令に部分的に基づいて光学ビーム350を放射するように構成される。いくつかの実施形態において、光エミッタ340は、赤外線スペクトルで光学ビーム350を放射するレーザダイオードのアレイを含む。他の実施形態において、光エミッタ340は、可視スペクトルで光学ビーム350を放射するレーザダイオードのアレイを含む。いくつかの実施形態において、光エミッタは、定義されたパターン(例えば、ドットパターン、またはラインパターン)の構造光として光学ビーム350を放射する。代替または追加として、光エミッタ340は、構造照明に加えて局所エリア320の時間的に変調された照明を生成するために、コントローラ315からの放射指令に部分的に基づいて時間的に変調された光として光学ビームを放射する。

0046

ビーム調整アセンブリ345は、照明エミッタ340から放射された光学ビーム350を集め、光学ビーム350をPDOE330の一部に向ける。ビーム調整アセンブリ345は、1つまたは複数の光学素子(レンズ)から成る。いくつかの実施形態において、ビーム調整アセンブリ345は、コリメーションアセンブリおよびプリズム(図3Aにおいて図示せず)を含む。コリメーションアセンブリは、光学ビーム350をコリメート光にコリメートする1つまたは複数の光学素子(レンズ)を含む。プリズムは、コリメート光をPDOE330に向ける光学素子である。代替実施形態において、ビーム調整アセンブリ345は、光学ビーム350をコリメートしてコリメート光を生成することと、コリメート光をPDOE330に向けることと、の両方を行う単一の複合光学素子(レンズ)を含む。

0047

PDOE330は、コントローラ315からの放射指令に部分的に基づいて、光学ビーム350から回折スキャンビーム355を生成する。PDOE330は、光学ビーム350の回折を動的に調節して種々のパターンの回折スキャンビーム355を生成する動的回折格子として機能する。回折スキャンビーム355の種々のパターンを生成することによって、局所エリア320を照らす構造光パターン360は経時的に変化する。回折スキャンビーム355および構造光パターン360のパターンを動的に調節する能力があることは、局所エリア320におけるオブジェクトの種々のエリアおよび様々なタイプのスキャンに対する柔軟性をもたらす。PDOE330は、リキッドクリスタルオンシリコン(LCOS)デバイス、空間光モジュレータ、デジタルマイクロミラーデバイス、および微小電気機械(MEM)デバイスからなる群から選択されることが可能である。

0048

いくつかの実施形態において、LCOSデバイスとして実行されたPDOE330は、液晶(LC)ベースの回折光学素子(図3Aにおいて図示せず)を含むことができる。LCベースの回折光学素子に印加される電圧レベルは、(例えばコントローラ315によって)動的に調節されることが可能である。電圧レベルを動的に調節することによって、PDOE330のLCベースの回折光学素子の回折角は、経時的に変化するパターンを有するPDOE330の出力における回折スキャンビーム355を形成するようにリアルタイムに変化する。

0049

他の実施形態において、PDOE330は、空間光モジュレータ(図3Aにおいて図示せず)を含むことができる。空間光モジュレータは、変調信号が空間周波数を有することに基づいて、回折スキャンビーム355を変調光として形成するために、光学ビーム350を空間変調する。変調信号の空間周波数は、経時的に変化するパターンを有する変調光(すなわち、回折スキャンビーム355および構造光360)を形成するように、(例えばコントローラ315を介して)動的に調節可能である。

0050

さらに他の実施形態において、デジタルマイクロミラーデバイス(DMD)またはMEMデバイスとして実装されたPDOE330は、マイクロミラーセルのアレイを含むことができる。アレイにおける第1の複数のマイクロミラーセルは、PDOE330に入射する光学ビーム350の一部を吸収するように(例えばコントローラ315を介して)動的に再構成されることが可能である。さらに、アレイにおける第2の複数のマイクロミラーセルは、PDOE330に入射する光学ビーム350の別の部分を反射する(回折する)ように(例えばコントローラ315を介して)動的に再構成されることが可能である。入射光の吸収および反射のためのPDOE330におけるマイクロミラーセルの異なるサブセットを複数の時刻にわたって再構成することによって、複数の時刻にわたってパターンを変化させる回折スキャンビーム355(および構造光360)が生成されることが可能である。

0051

いくつかの実施形態において、PDOE330は、別のプログラム不能DOEまたは他のプログラム不能光学素子(図3Aにおいて図示せず)と組み合わされることが可能である。プログラム不能DOEまたは光学素子は、例えば、PDOE330の前にあることが可能である。この場合、構造光パターン360は「タイル+タイラ」アーキテクチャで形成され、構造光パターン360のタイラまたはファンアウトはプログラム可能である。プログラム不能DOEまたは光学素子とPDOEを組み合わせることによって、構造光パターン360によって照らされる局所エリア320の視野は、より広くなる。

0052

好ましい回折効率のために、PDOE330は、コントローラ315からの放射指令に部分的に基づいて回折スキャンビーム355を形成するために、ブラッグ整合条件を満たす角度でPDOE330の少なくとも一部に入射する光学ビーム350を回折させるように構成されることが可能である。いくつかの実施形態において、PDOE330は、例えば、ブラッグ整合条件を満たす形状でPDOE330における液晶に光学ビーム350の方向を合わせることによって、偏光光(例えば、円偏光光)として回折スキャンビーム355を生成するように構成されることが可能である。回折スキャンビーム355は、PDOE330における液晶に基づいて右回り円偏光されること、または左回りに円偏光されることが可能であるということに留意されたい。いくつかの実施形態において、PDOE330に入射する光学ビーム350の偏光状態(SOP)は、PDOE330の最大回折効率を実現するためのブラッグ角度における偏光の固有状態マッチする。

0053

投影アセンブリ335は、PDOE330の前面に位置する。投影アセンブリ335は、1つまたは複数の光学素子(レンズ)を含む。投影アセンブリ335は、例えば広い視野にわたって、回折スキャンビーム355を構造光パターン360として局所エリア320に投影する。構造光パターン360は、PDOE330に基づいて経時的に動的に調節可能である。構造光パターン360は、局所エリア320における1つまたは複数のオブジェクトを含む局所エリア320の一部を照らす。構造光パターン360は経時的に動的に調節可能なので、局所エリア320の異なる一部が、異なる時刻において照らされることが可能である。反射された構造光パターン365は、局所エリア320における1つまたは複数のオブジェクトから構造光パターン360の反射に基づいて生成される。

0054

イメージデバイス310は、反射された構造光パターン365の少なくとも一部をキャプチャすることによって局所エリア320における1つまたは複数のオブジェクトの1つまたは複数のイメージをキャプチャする。1つの実施形態において、イメージデバイス310は、赤外線スペクトルでイメージをキャプチャするように構成された赤外線カメラである。別の実施形態において、イメージデバイス310は、可視スペクトルのイメージ光をキャプチャするように構成される。イメージデバイス310は、電荷結合素子(CCD)検出器、相補型金属酸化膜半導体(CMOS)検出器、または検出器の他のいくつかのタイプ(図3Aにおいて図示せず)を含むことができる。イメージデバイス310は、局所エリア320におけるオブジェクトの高速検出のために、kHzからMHzの範囲のフレームレートで動作するように構成されることが可能である。いくつかの実施形態において、イメージデバイス310は、反射された構造光パターン365の少なくとも一部をキャプチャするための2次元検出ピクセルアレイを含む。他の実施形態において、イメージデバイス310は、反射された構造光パターン365の少なくとも一部をキャプチャするための2つ以上のカメラを含む。

0055

いくつかの実施形態において、イメージデバイス310は、特定の偏光の反射された構造光パターン365を受信し、伝搬させるためのカメラの前に置かれた偏光素子図3Aにおいて図示せず)を含むことができる。偏光素子は、線形偏光子循環偏光子、長円形偏光子、等であることが可能である。偏光素子は、薄膜偏光子(吸収性、反射性)、線形偏光子と組み合わされた4分の1波長板、等として実装されることが可能である。反射された構造光パターン365は、線形偏光光(垂直および水平)、右回りの円偏光光、左回りの円偏光光、ならびに楕円偏光光からなる群から選択されることが可能である。反射された構造光パターン365の偏光は、局所エリア320を照らす構造光パターン360の偏光とは異なる可能性があるということに留意されたい。

0056

コントローラ315は、図3AにおけるDCA300の様々な構成要素の動作を制御する。いくつかの実施形態において、コントローラ315は放射指令を光エミッタ340に送り、放射された光学ビーム350の強さ、光学ビーム350の(空間)変調、光エミッタ340がアクティブにされる時間、等を制御する。コントローラ315は、回折スキャンビーム355のパターンおよび局所エリア320を照らす構造光パターン360を動的に調節するために、PDOE330の動作を制御するための放射指令をさらに作り出すことができる。いくつかの実施形態において、コントローラ315は、回折スキャンビーム355の強さがプログラム可能になるように、PDOE330の動作を放射指令に部分的に基づいて制御することができる。他の実施形態において、コントローラ315は、回折スキャンビーム355の位相がプログラム可能になるように、PDOE330の動作を放射指令に部分的に基づいて制御することができる。

0057

いくつかの実施形態において、コントローラ315は、LCベースの回折光学素子の回折角を動的に変化させて、経時的に変化するパターンを有する回折スキャンビーム355を形成するために、LCベースの回折光学素子を有するPDOE330に印加された電圧レベルを制御する。他の実施形態において、コントローラ315は、回折スキャンビーム355のパターンおよび構造光パターン360を動的に調節するために、空間光モジュレータを含むPDOE330を介して光学ビーム350に適用された変調信号の空間周波数を経時的に修正する。さらに他の実施形態において、コントローラ315は、PDOE330におけるマイクロミラーセルのサブセットを動的に再構成する。入射光の吸収および反射のためにマイクロミラーセルの異なるサブセットを複数の時刻にわたって再構成することによって、コントローラ315は、回折スキャンビーム355のパターンおよび構造光パターン360を動的に調節する。

0058

図3Aに示されるように、コントローラ315は、イメージデバイス310にさらに連結され、局所エリア320における1つまたは複数のオブジェクトの深度情報を決定するように構成されることが可能である。コントローラ315は、イメージデバイス310によってキャプチャされた1つまたは複数のイメージに部分的に基づいて1つまたは複数のオブジェクトの深度情報を決定する。コントローラ315は、局所エリア320における1つまたは複数のオブジェクトの形状によって歪曲した、イメージデバイス310によってキャプチャされた光の位相偏移パターンに基づいて深度情報を決定すること、および局所エリア320の深度マップを取得するために三角測量計算を使用すること、を行うように構成されることが可能である。代替として、コントローラ315は、飛行時間情報、および1つまたは複数のオブジェクトの形状によって歪曲した反射された構造光パターン365についての情報、に基づいて深度情報を決定するように構成されることが可能である。いくつかの実施形態において、コントローラ315は、反射された構造光パターン365の偏光情報、および/または構造光パターン360の偏光情報に基づいて深度情報を決定するように構成されることが可能である。

0059

いくつかの実施形態において、局所エリア320における1つまたは複数のオブジェクトの決定された深度情報に基づいて、コントローラ315は、光学ビーム350の回折を調節するために、動的回折格子としてのPDOE330の動作を(例えば、放射指令に部分的に基づいて)制御することができる。したがって、コントローラ315は、決定された深度情報の質、局所エリア320における1つまたは複数のオブジェクトの表面タイプ、等に基づいて、光学ビーム350の回折を動的に調節するようにPDOE330に命令することができる。追加または代替として、コントローラ315は、局所エリア320における1つまたは複数のオブジェクトのロケーション情報に基づいて、光学ビーム350の回折を調節するために、動的回折格子としてのPDOE330の動作を(例えば、放射指令に部分的に基づいて)制御することができる。したがって、コントローラ315およびPDOE330は、局所エリア320における各オブジェクトのロケーションに基づいて構造光パターン360を動的に調節する。

0060

いくつかの実施形態において、コントローラ315は、局所エリア320の関心のある1つの領域または複数の領域に構造光パターン360が指し示されるように、PDOE330の動作を制御することができる。他の実施形態において、コントローラ315は、局所エリア320における関心のあるオブジェクトへの、例えばz次元に沿った、距離に応じて構造光パターン360の密度を調節するようにPDOE330の動作を制御することができる。さらに他の実施形態において、コントローラ315は、例えば、反射された構造光パターン365の一部をキャプチャすること、および深度決定のために、イメージデバイス310およびコントローラ315によって浪費される電力を節約するために、構造光パターン360の密度を減少させるようにPDOE330の動作を制御することができる。さらに他の実施形態において、コントローラ315は、局所エリア320の深度マップにおける深度ポイントの数を増加させるために、構造光パターン360の密度を増大させるようにPDOE330の動作を制御することができる。さらに他の実施形態において、コントローラ315は、例えば、ルームまたはオブジェクト再構築に対する手動式の追跡に、より適したものになるように構造光パターン360を変化させるようにPDOE330の動作を制御することができる。

0061

図3Bは、1つの実施形態による、照明光源325、および反射型空間光モジュレータとして実装されたPDOE330、を含むDCA300の構造光発生器305を示す。照明光源325は、反射型PDOE330の一部に向けて光学ビーム350を放射する。いくつかの実施形態において、照明光源325は、光学ビーム350をコリメート光として反射型PDOE330に向けるコリメーションアセンブリ(図3Bにおいて図示せず)を含む。図3Bにおいて示された反射型PDOE330は、PDOE330に入射する光学ビーム350を反射して構造光パターン360を生成する。例証の簡潔さのために、図3Bにおいて示された構造光発生器305は、構造光パターン360を局所エリア320に投影する投影アセンブリ335を含むこともできるが、図3Aにおいて示された投影アセンブリ335は図3Bにおいて省略されている。図3Bにおいて示された反射型PDOE330は、LCOSデバイス、空間光モジュレータ、デジタルマイクロミラーデバイス、または他のいくつかのプログラム可能反射型光学素子として実装されることが可能である。コントローラ315は、構造光パターン360を動的に調節するように反射型PDOE330の動作を制御するための放射指令を作り出すことができる。

0062

図3Cは、1つの実施形態による、PDOE330の前に置かれた音響光学モジュレータ(AOM)370を備えるDCA300の構造光発生器305を示す。照明光源325は、AOM370の一部に向けて光学ビーム350を放射する。AOM370は、光学ビーム350を1つまたは複数の次元に回折する。AOM370は、光学ビーム350を回折させることによって、1つまたは2つの次元における回折スキャンビーム375を生成する1つまたは複数の音響光学デバイスから成る。回折スキャンビーム375は、第1のオーダーの回折スキャンビームを含むことができる。代替として、回折スキャンビーム375は、第1のオーダーより高いオーダーの回折スキャンビームを含むことができる。

0063

いくつかの実施形態において、AOM370における各音響光学デバイスは、コントローラ315からの放射指令に部分的に基づいて回折スキャンビーム375を形成するための、光学ビーム350を回折させる動的回折格子として機能するように構成される。AOM370における各音響光学デバイスは、トランスデューサまたはトランスデューサのアレイ、および1つまたは複数の回折エリア図3Cにおいて図示せず)を含むことができる。放射指令における少なくとも1つの無線周波数に応じて、AOM370における音響光学デバイスのトランスデューサまたはトランスデューサのアレイは、動的回折格子を形成するために、音響光学デバイスの1つまたは複数の回折エリアにおいて少なくとも1つの音波を生成するように構成されることが可能である。AOM370によって生成された回折スキャンビーム375は、より広い視野の回折スキャンビーム355を生成するために、回折スキャンビーム375をさらに回折させるPDOE330の少なくとも一部に入射する。投影アセンブリ335は、局所エリア320を照らす構造光パターン360として回折スキャンビーム355を投影する。

0064

図4は、1つの実施形態による、局所エリア内のオブジェクトの深度情報を決定する処理400を示す流れ図である。図4の処理400は、DCA(例えばDCA300)の構成要素によって行われることが可能である。他のエンティティ(例えば、HMDおよび/またはコンソール)は、他の実施形態における処理のステップのいくつかまたは全てを行うことができる。同様に、実施形態は、異なるステップおよび/もしくは追加のステップを含むこと、または異なる順序でステップを行うことができる。

0065

DCAは、(例えばコントローラを介して)放射指令を生成する410。DCAは、DCA内の照明光源およびPDOEに放射指令を送ることができる。放射指令に基づいて、照明光源は、光学ビームを放射することができる。放射指令に基づいて、放射された光学ビームは、固有の強さおよび/または変調(空間的、時間的、等)を有することができる。いくつかの実施形態において、DCAは、PDOEのLCベースの回折光学素子に印加される電圧レベルについての情報を含む放射指令を生成する。放射指令における電圧レベルに応じて、DCAは、PDOEの回折角を調節して、PDOEによって生成される光のパターンを動的に調節する。他の実施形態において、DCAは、PDOEの空間光モジュレータによって生成された光のパターンを動的に調節するために、光学ビームに適用された変調信号の空間周波数についての情報を含む放射指令を生成する。

0066

DCAは、PDOEおよび放射指令を使用して回折スキャンビームを(例えばPDOEを介して)生成する420。PDOEは、放射指令に従って、光学ビームの回折を動的に調節して種々のパターンの回折スキャンビームを生成する動的回折格子として機能する。いくつかの実施形態において、PDOEは、空間光モジュレータ、LCOSデバイス、MEMデバイス、およびデジタルマイクロミラーデバイス(DMD)からなる群から選択される。いくつかの実施形態において、PDOEは、LCベースの回折光学素子を含む。LCベースの回折光学素子に印加された電圧レベルは、LCベースの回折光学素子の回折角を調節して種々のパターンを有する回折スキャンビームを生成するように(例えばコントローラを介して)変化させることができる。他の実施形態において、PDOEは、変調光として回折スキャンビームを生成するために、変調信号が空間周波数を有することに基づいて光学ビームを空間変調する空間光モジュレータを含む。光学ビームに適用された変調信号の空間周波数は、種々のパターンを有する変調光を生成するために(例えばコントローラを介して)動的に調節されることが可能である。さらに他の実施形態において、PDOEは、マイクロミラーセルのアレイを含む。アレイにおける第1の複数のセルは、光学ビームの一部を吸収するように(例えばコントローラを介して)動的に再構成されることが可能であり、アレイにおける第2の複数のセルは、光学ビームの別の部分を反射して種々のパターンを有する回折スキャンビームを生成するように(例えばコントローラを介して)動的に再構成されることが可能である。

0067

DCAは、回折スキャンビームを構造光パターンとして局所エリアに(例えば投影アセンブリを介して)投影する430。局所エリアを照らす構造光パターンは、PDOEに基づいて動的に調節可能である。構造光パターンは、異なる時刻の中で局所エリアの異なる部分を照らすようにリアルタイムに変化させることができる。

0068

DCAは、局所エリア内の1つまたは複数のオブジェクトから反射した構造光パターンの少なくとも一部の1つまたは複数のイメージを(例えばイメージデバイスを介して)キャプチャする440。いくつかの実施形態において、イメージデバイスは、1つまたは複数のイメージをキャプチャする2次元検出ピクセルアレイを含む。他の実施形態において、イメージデバイスは、1つまたは複数のイメージをキャプチャするための2つ以上のカメラを含む。いくつかの実施形態において、イメージデバイスは偏光素子およびカメラを含み、偏光素子は、カメラの前に位置する。偏光素子は、固有の偏光を有する反射された構造光パターンの少なくとも一部を受信し、反射された偏光光の受信部分をカメラに伝搬させるように構成される。

0069

DCAは、キャプチャした1つまたは複数のイメージに部分的に基づいて、1つまたは複数のオブジェクトの深度情報を(例えばコントローラを介して)決定する450。いくつかの実施形態において、DCAは、1つまたは複数のオブジェクトの形状によって歪曲した反射された構造光パターンについての情報に基づいて、1つまたは複数のオブジェクトの深度情報を決定する。DCAは、反射された構造光パターンのキャプチャ部分の偏光情報に部分的に基づいて、1つまたは複数のオブジェクトの深度情報を決定することもできる。

0070

いくつかの実施形態において、DCAは、例えば図1におけるHMD100といった、HMDの一部として構成される。1つの実施形態において、DCAは、HMDに連結されたコンソールに、決定された深度情報を送る。コンソールは、次に、深度情報に基づいて、HMDの電子ディスプレイ上に提示するためのコンテンツを生成するように構成される。別の実施形態において、DCAは、深度情報に基づいて、HMDの電子ディスプレイ上に提示するためのコンテンツを生成するHMDのモジュールに、決定された深度情報を送る。代替実施形態において、DCAは、ARシステムの一部としてHMDに統合される。この場合、DCAは、HMDを着用しているユーザの頭の背後にあるオブジェクトを検知して表示すること、または前もって記録されたオブジェクトを表示すること、を行うように構成されることが可能である。さらに他の実施形態において、DCAは、HMDの外部にある基地局またはセンサバーに統合される。この場合、DCAは、例えばユーザの下半身といった、HMDを着用しているユーザの体の様々な部位を検知するように構成されることが可能である。

0071

システム環境
図5は、コンソール510が動作するHMDシステム500の1つの実施形態のブロック図である。HMDシステム500は、VRシステム環境、ARシステム環境、MRシステム環境、またはこれらのいくつかの組合せにおいて動作することができる。図5によって示されたHMDシステム500は、コンソール510に連結されたHMD505および入力/出力(I/O:input/output)インターフェース515を備える。図5は、1つのHMD505および1つのI/Oインターフェース515を含むHMDシステム500の例を示すが、他の実施形態において、任意の数のこれらの構成要素が、HMDシステム500に含まれることが可能である。例えば、複数のHMD505があることが可能であり、それぞれのHMD505は、関連付けられたI/Oインターフェース515を有し、各HMD505およびI/Oインターフェース515は、コンソール510と通信する。代替構成において、異なる構成要素および/または追加の構成要素が、HMDシステム500に含まれることが可能である。追加として、図5において示された構成要素の1つまたは複数に関して説明される機能は、いくつかの実施形態において図5に関して説明されるものとは異なる手法で構成要素の中に分散されることが可能である。例えば、コンソール510の機能のいくつかまたは全ては、HMD505によって提供される。

0072

HMD505は、コンピュータ生成要素(例えば、2次元(2D:two−dimensional)または3次元(3D:three−dimensional)イメージ、2Dまたは3Dビデオサウンド、等)で物理的現実世界環境仮想ビューおよび/または拡張ビューを含むコンテンツをユーザに提示するヘッドマウントディスプレイである。いくつかの実施形態において、本コンテンツは、HMD505、コンソール510、または両方、からのオーディオ情報を受信する外部デバイス(例えばスピーカおよび/またはヘッドホン)を介して提示されるオーディオを含み、オーディオ情報に基づいてオーディオデータを提示する。HMD505は、硬直的または非硬直的に相互に連結されることが可能な1つまたは複数の剛体を含むことができる。剛体間の硬直的な連結は、連結された剛体を単一の硬直的なエンティティとして振る舞わせる。対照的に、剛体間の非硬直的な連結は、剛体が互いに対して移動できるようにする。HMD505の実施形態は、図1に関して上述されたHMD100である。

0073

HMD505は、DCA520、電子ディスプレイ525、光学アセンブリ530、1つまたは複数のポジションセンサ535、IMU540、任意選択の視標追跡システム545、および任意選択の可変焦点モジュール550を含む。HMD505のいくつかの実施形態は、図5に関して説明されたものとは異なる構成要素を有する。追加として、図5に関して説明された様々な構成要素によって提供される機能は、他の実施形態におけるHMD505の構成要素の中にそれぞれに分散されることが可能である。

0074

DCA520は、HMD505のいくらかまたは全てを取り囲む局所エリアの深度情報を説明するデータをキャプチャする。DCA520は、(例えば、構造光パターンのキャプチャ部分に基づく)データを使用して深度情報を計算することができ、またはDCA520は、DCA520からのデータを使用して深度情報を決定することができるコンソール510などの別のデバイスにこの情報を送信することができる。

0075

DCA520は、構造光発生器、イメージデバイス、およびコントローラを含む。DCA520の構造光発生器は、放射指令に従って、構造光パターン(例えば、ドットパターン、ラインパターン、等)で局所エリアを照らすように構成される。DCA520の構造光発生器は、照明光源、PDOE、および投影アセンブリを含む。照明光源は、光学ビームを放射するように構成される。PDOEは、光学ビームから回折スキャンビームを、放射指令に部分的に基づいて生成する。PDOEは、光学ビームの回折を動的に調節して種々のパターンの回折スキャンビームを生成する動的回折格子として機能する。投影アセンブリは、回折スキャンビームを構造光パターンとして局所エリアに投影するように構成され、構造光パターンは、PDOEに基づいて動的に調節可能である。DCA520のイメージデバイスは、局所エリア内の1つまたは複数のオブジェクトから反射された構造光パターンの少なくとも一部の1つまたは複数のイメージをキャプチャするように構成される。DCA520のコントローラは、構造光発生器とイメージデバイスの両方に連結されることが可能である。DCA520のコントローラは、放射指令を生成して、構造光発生器に放射指令を送る。DCA520のコントローラは、キャプチャした1つまたは複数のイメージに部分的に基づいて、1つまたは複数のオブジェクトの深度情報を決定することも行うように構成される。DCA520は、図2におけるDCA240、または図3A図3CにおけるDCA300の実施形態である。

0076

電子ディスプレイ525は、コンソール510から受信されたデータに従って、2次元または3次元のイメージをユーザに表示する。様々な実施形態において、電子ディスプレイ525は、単一の電子ディスプレイまたは複数の電子ディスプレイ(例えば、ユーザのそれぞれの眼のためのディスプレイ)を備える。電子ディスプレイ525の例は、液晶ディスプレイ(LCD)、有機発光ダイオード(OLED)ディスプレイ、無機発光ダイオード(ILED)ディスプレイ、アクティブマトリックス有機発光ダイオード(AMOLED)ディスプレイ、透明有機発光ダイオード(TOLED)ディスプレイ、他のいくつかのディスプレイ、またはこれらのいくつかの組合せを含む。いくつかの実施形態において、電子ディスプレイ525は、図2における電子ディスプレイ210に相当することが可能である。

0077

光学アセンブリ530は、電子ディスプレイ525から受信されたイメージ光を拡大し、イメージ光と関連付けられた光学誤差を補正し、補正されたイメージ光をHMD505のユーザに提示する。光学アセンブリ530は、複数の光学素子を含む。光学アセンブリ530に含まれる光学素子の例は、開口、フレネルレンズ、凸レンズ、凹レンズ、フィルタ、反射面、またはイメージ光に影響を及ぼす他の任意の適切な光学素子を含む。その上、光学アセンブリ530は、異なる光学素子の組合せを含むことができる。いくつかの実施形態において、光学アセンブリ530における光学素子の1つまたは複数は、部分的に反射性のコーティング、または反射防止コーティングなどの、1つまたは複数のコーティングを有することができる。

0078

光学アセンブリ530によってイメージ光を拡大することおよび焦点を合わせることは、電子ディスプレイ525が、より大きいディスプレイより物理的に小さくなること、重さが軽くなること、および電力消費量が少なくなることを可能にする。追加として、拡大することは、電子ディスプレイ525によって提示されるコンテンツの視野を増大させることができる。例えば、表示されるコンテンツの視野は、ユーザの視野のほぼ全て(例えば、およそ110度の対角)、および場合によっては全てを使用して、表示されたコンテンツが提示されるようなものである。追加として、いくつかの実施形態において、拡大量は、光学素子を追加または除去することによって調節されることが可能である。

0079

いくつかの実施形態において、光学アセンブリ530は、1つまたは複数のタイプの光学誤差を補正するように設計されることが可能である。光学誤差の例は、樽型もしくは糸巻型の歪曲、縦色収差、または横色収差を含む。他のタイプの光学誤差は、球面収差レンズフィールド曲率による色収差もしくは誤差非点収差、または他の任意のタイプの光学誤差をさらに含むことができる。いくつかの実施形態において、表示のために電子ディスプレイ525に提供されるコンテンツは元々歪曲しており、光学アセンブリ530は、コンテンツに基づいて生成された電子ディスプレイ525からのイメージ光を受信したときに歪曲を補正する。いくつかの実施形態において、光学アセンブリ530は、図2における光学アセンブリ220に相当することが可能である。

0080

IMU540は、ポジションセンサ535の1つまたは複数から受信された測定信号に基づいて、およびDCA520から受信された深度情報から、HMD505のポジションを示すデータを生成する電子デバイスである。ポジションセンサ535は、HMD505の動きに応答して1つまたは複数の測定信号を生成する。ポジションセンサ535の例は、1つもしくは複数の加速度計、1つもしくは複数のジャイロスコープ、1つもしくは複数の磁力計、動きを検出するセンサの別の適切なタイプ、IMU540の誤差補正のために使用されるセンサのタイプ、またはこれらのいくつかの組合せを含む。ポジションセンサ535は、IMU540の外部、IMU540の内部、またはこれらのいくつかの組合せの場所にあることが可能である。

0081

1つまたは複数のポジションセンサ535からの1つまたは複数の測定信号に基づいて、IMU540は、HMD505の当初のポジションに対するHMD505の現在の推定ポジションを示すデータを生成する。例えば、ポジションセンサ535は、並進運動(前/後、上/下、左/右)を測定するための複数の加速度計、および回転運動(例えば、縦揺れ偏揺れ横揺れ)を測定するための複数のジャイロスコープを含む。いくつかの実施形態において、ポジションセンサ535は、図1におけるポジションセンサ135に相当することが可能である。いくつかの実施形態において、IMU540は、測定信号を迅速にサンプリングし、サンプリングデータからHMD505の現在の推定ポジションを計算する。例えば、IMU540は、速度ベクトルを推定するために加速度計から経時的に受信された測定信号を統合し、HMD505上の基準点の現在の推定ポジションを決定するために速度ベクトルを経時的に統合する。代替として、IMU540は、サンプリングした測定信号をコンソール510に送り、コンソール510は誤差を低減するためにデータを解釈する。基準点は、HMD505の位置を説明するために使用されることが可能なポイントである。基準点は、一般に、HMD505の方向およびポジションに関連した空間内のポイントまたはポジションとして定義されることが可能である。

0082

IMU540は、1つまたは複数のパラメータをコンソール510から受信する。1つまたは複数のパラメータは、HMD505の追跡を維持するために使用される。受信したパラメータに基づいて、IMU540は、1つまたは複数のIMUパラメータ(例えばサンプリングレート)を調節することができる。いくつかの実施形態において、一定のパラメータは、基準点の当初のポジションが基準点の次のポジションに対応するように、基準点の当初のポジションをIMU540に更新させることができる。基準点の較正された次のポジションとして基準点の当初のポジションを更新することは、IMU540によって現在の推定ポジションと関連付けられた蓄積された誤差を低減するのに役立つ。蓄積された誤差は、変動誤差とも呼ばれ、基準点の推定ポジションが基準点の実際のポジションから経時的に「変動して」離れていく原因となる。HMD505のいくつかの実施形態において、IMU540は、専用ハードウェア構成要素であることが可能である。他の実施形態において、IMU540は、1つまたは複数のプロセッサにおいて実行されるソフトウェア構成要素であることが可能である。いくつかの実施形態において、IMU540は、図1におけるIMU130に相当することが可能である。

0083

いくつかの実施形態において、視標追跡システム545は、HMD505に統合される。視標追跡システム545は、HMD505を着用しているユーザの眼と関連付けられた視標追跡情報を決定する。視標追跡システム545によって決定された視標追跡情報は、ユーザの眼の方向についての情報、すなわち、視線の角度についての情報を含むことができる。いくつかの実施形態において、視標追跡システム545は、光学アセンブリ530に統合される。視標追跡システム545の実施形態は、照明光源およびイメージデバイス(カメラ)を備えることができる。

0084

いくつかの実施形態において、可変焦点モジュール550は、HMD505にさらに統合される。可変焦点モジュール550は、視標追跡システム545によって決定された視標追跡情報を取得するために、視標追跡システム545に連結されることが可能である。可変焦点モジュール550は、視標追跡システム545から取得された決定された視標追跡情報に基づいて、電子ディスプレイ525上に表示された1つまたは複数のイメージの焦点を調節するように構成されることが可能である。このようにして、可変焦点モジュール550は、イメージ光に関する両眼連動調節の不一致を緩和することができる。可変焦点モジュール550は、電子ディスプレイ525、および光学アセンブリ530の少なくとも1つの光学素子のうちの少なくとも1つと(例えば、機械的または電気的に)インターフェースされることが可能である。次に、可変焦点モジュール550は、視標追跡システム545から取得された決定された視標追跡情報に基づいて、電子ディスプレイ525、および光学アセンブリ530の少なくとも1つ光学素子のうちの少なくとも1つのポジションを調節することによって、電子ディスプレイ525上に表示された1つまたは複数のイメージの焦点を調節するように構成されることが可能である。ポジションを調節することによって、可変焦点モジュール550は、ユーザの眼に向けて電子ディスプレイ525から出力されたイメージ光の焦点を変化させる。可変焦点モジュール550は、視標追跡システム545から取得された決定された視標追跡情報に少なくとも部分的に基づいて、表示されたイメージの中心窩適応レンダリングを行うことによって、電子ディスプレイ525上に表示されたイメージの解像度を調節するように構成されることも可能である。この場合、可変焦点モジュール550は、妥当なイメージ信号を電子ディスプレイ525に送る。可変焦点モジュール550は、ユーザの視線の中心窩領域においてのみ、最大ピクセル密度のイメージ信号を電子ディスプレイ525に送る一方で、電子ディスプレイ525の他の領域において、より低いピクセル密度のイメージ信号を送る。1つの実施形態において、可変焦点モジュール550は、DCA520によって取得された深度情報を利用して、例えば、電子ディスプレイ525上で提示するためのコンテンツを生成することができる。

0085

I/Oインターフェース515は、ユーザがアクションリクエストを送信すること、およびコンソール510からレスポンスを受信することを可能にするデバイスである。アクションリクエストは、特定のアクションを行うというリクエストである。例えば、アクションリクエストは、イメージデータもしくはビデオデータのキャプチャを開始もしくは終了するという命令、またはアプリケーションにおいて特定のアクションを行うという命令であることが可能である。I/Oインターフェース515は、1つまたは複数の入力デバイスを含むことができる。入力デバイスの例は、キーボードマウスゲームコントローラ、または、アクションリクエストを受信することおよびアクションリクエストをコンソール510に通信することに適した他の任意のデバイス、を含む。I/Oインターフェース515によって受信されたアクションリクエストはコンソール510に通信され、コンソール510は、アクションリクエストに対応するアクションを行う。いくつかの実施形態において、I/Oインターフェース515は、I/Oインターフェース515の当初のポジションに対するI/Oインターフェース515の推定ポジションを示す較正データをキャプチャするIMU540を含む。いくつかの実施形態において、I/Oインターフェース515は、コンソール510から受信された命令に従って、触感フィードバックをユーザに提供することができる。例えば、触感のフィードバックは、アクションリクエストが受信されたときに提供され、またはコンソール510は、命令をI/Oインターフェース515に通信し、コンソール510がアクションを行うときの触感のフィードバックをI/Oインターフェース515に生成させる。

0086

コンソール510は、DCA520、HMD505、およびI/Oインターフェース515の1つまたは複数から受信された情報に従って処理するためにコンテンツをHMD505に送る。図5において示された例において、コンソール510は、アプリケーションストア555、追跡モジュール560、およびエンジン565を含む。コンソール510のいくつかの実施形態は、図5に関して説明されたものとは異なるモジュールまたは構成要素を有する。同様に、下記においてさらに説明される機能は、図5に関して説明されたものとは異なる手法でコンソール510の構成要素の中に分散されることが可能である。

0087

アプリケーションストア555は、コンソール510によって実行するための1つまたは複数のアプリケーションを格納する。アプリケーションは、命令の群であり、プロセッサによって実行されるとき、ユーザに提示するためのコンテンツを生成する。アプリケーションによって生成されるコンテンツは、HMD505またはI/Oインターフェース515の移動を介してユーザから受信された入力に応答するものであることが可能である。アプリケーションの例は、ゲームアプリケーション会議アプリケーションビデオ再生アプリケーション、または他の適切なアプリケーションを含む。

0088

追跡モジュール560は、1つまたは複数の較正パラメータを使用してHMDシステム500を較正し、1つまたは複数の較正パラメータを調節して、HMD505のポジションまたはI/Oインターフェース515のポジションの決定の際の誤差を低減することができる。例えば、追跡モジュール560は、DCA520の焦点を調節して、DCA520によってキャプチャされた構造光要素のポジションをより正確に決定するために、較正パラメータをDCA520に通信する。追跡モジュール560によって行われる較正は、HMD505におけるIMU540、および/またはI/Oインターフェース515に含まれるIMU540から受信された情報を考慮に入れる。追加として、HMD505の追跡が失われた(例えば、DCA520が少なくとも閾値数の構造光要素の照準線を見失う)場合、追跡モジュール560は、HMDシステム500のいくつかまたは全てを再較正することができる。

0089

追跡モジュール560は、DCA520、1つもしくは複数のポジションセンサ535、IMU540、またはこれらのいくつかの組合せからの情報を使用して、HMD505の移動またはI/Oインターフェース515の移動を追跡する。例えば、追跡モジュール550は、HMD505からの情報に基づいて、局所エリアのマッピングにおいてHMD505の基準点のポジションを決定する。追跡モジュール560は、IMU540からのHMD505のポジションを示すデータを使用すること、またはI/Oインターフェース515に含まれるIMU540からのI/Oインターフェース515のポジションを示すデータを使用すること、をそれぞれ行って、HMD505の基準点またはI/Oインターフェース515の基準点のポジションを決定することもできる。追加として、いくつかの実施形態において、追跡モジュール560は、IMU540からのHMD505のポジションを示すデータ、ならびにDCA520からの局所エリアの表現、の一部を使用して、HMD505の将来のロケーションを予測することができる。追跡モジュール560は、HMD505またはI/Oインターフェース515の推定または予測された将来のロケーションをエンジン555に送る。

0090

エンジン565は、HMD505から受信された情報に基づいて、HMD505のいくらかまたは全てを取り囲むエリア(すなわち「局所エリア」)の3Dマップを生成する。いくつかの実施形態において、エンジン565は、深度を計算する際に使用される技法に適切な、DCA520から受信された情報に基づいて、局所エリアの3Dマップの深度情報を決定する。エンジン565は、構造光から深度を計算する際の1つまたは複数の技法を使用して深度情報を計算することができる。様々な実施形態において、エンジン565は、深度情報を使用して、例えば局所エリアのモデルを更新し、更新されたモデルに部分的に基づいてコンテンツを生成する。

0091

エンジン565は、HMDシステム500においてアプリケーションを実行し、HMD505のポジション情報加速度情報速度情報、予測される将来のポジション、またはこれらのいくつかの組合せを追跡モジュール560から受信することも行う。受信情報に基づいて、エンジン565は、ユーザに提示するための、HMD505に送ることになるコンテンツを決定する。例えば、ユーザが左を見たということを受信情報が示す場合、エンジン565は、仮想の環境における、または追加コンテンツで局所エリアを拡張する環境における、ユーザの移動を映すHMD505のためのコンテンツを生成する。追加として、エンジン565は、I/Oインターフェース515から受信されたアクションリクエストに応答して、コンソール510上で実行するアプリケーションの中でアクションを行い、アクションが行われたというフィードバックをユーザに提供する。提供されるフィードバックは、HMD505を介した視覚もしくは可聴のフィードバック、またはI/Oインターフェース515を介した触感のフィードバックであることが可能である。

0092

いくつかの実施形態において、視標追跡システム545から受信された視標追跡情報(例えば、ユーザの眼の方向)に基づいて、エンジン565は、電子ディスプレイ525上でユーザに提示するための、HMD505に提供されるコンテンツの解像度を決定する。エンジン565は、ユーザの視線の中心窩領域において、電子ディスプレイ525上の最大ピクセル解像度を有するコンテンツをHMD505に提供し、その一方でエンジン565は、電子ディスプレイ525の他の領域においてピクセル解像度を小さくし、このようにして、ユーザの視覚的体感を損なうことなく、HMD505における電力消費量を少なくすることを実現し、コンソール510の計算サイクルを節約する。いくつかの実施形態において、エンジン565は、視標追跡情報をさらに使用して、電子ディスプレイ525上でオブジェクトが表示される場所を調節し、両眼連動調節の不一致を防ぐことができる。

0093

追加の構成情報
本開示の実施形態の前述の説明は、例証のために提示されてきたが、網羅的であること、または、開示された厳密な形式に本開示を限定すること、を意図するものではない。上記の開示の観点から多くの修正および変形が可能であるということを当業者は正しく認識するであろう。

0094

本説明のいくつかの部分は、情報の操作に関するアルゴリズムおよび象徴的な表現の観点から本開示の実施形態を説明している。これらのアルゴリズム的説明および表現は、一般に、これらの作業の実体を効果的に他の当業者に伝えるために、データ処理の当業者によって使用される。これらの動作は、機能的、計算的、または論理的に説明されるが、コンピュータプログラムもしくは同等の電気回路マイクロコード、または同様のものによって実行されるものと理解される。さらに、一般性を損なうことなく、動作のこれらの配列をモジュールと呼ぶことが便利であると時々証明してきた。説明された動作およびこれらの関連付けられたモジュールは、ソフトウェア、ファームウェアハードウェア、またはこれらのいずれかの組合せに含まれることも可能である。

0095

本明細書において説明されるステップ、動作、または処理のいずれかは、単独で、または他のデバイスと組み合わせて、1つまたは複数のハードウェアモジュールまたはソフトウェアモジュールによって、行われることまたは実行されることが可能である。1つの実施形態において、ソフトウェアモジュールは、説明されたステップ、動作、または処理のいずれかまたは全てを行うためにコンピュータプロセッサによって実行されることが可能な、コンピュータプログラムコードを収めるコンピュータ可読媒体を含むコンピュータプログラム製品によって実行される。

0096

本開示の実施形態は、本明細書における動作を行うための装置に関するものであることも可能である。この装置は、必要な目的のために具体的に構築されることが可能であり、および/またはこの装置は、コンピュータに格納されたコンピュータプログラムによって選択的にアクティブにされるか、もしくは再構成された汎用コンピューティングデバイスを備えることができる。このようなコンピュータプログラムは、コンピュータシステムバスに連結されることが可能な、非一時的な有形のコンピュータ可読ストレージ媒体、または電子命令を格納するのに適した任意のタイプの媒体に格納されることが可能である。さらに、明細書において参照されるいずれかのコンピューティングシステムは単一のプロセッサを含むことができ、または向上した計算能力のために複数のプロセッサ設計を用いるアーキテクチャであることも可能である。

0097

本開示の実施形態は、本明細書において説明される計算処理によって生み出される製品に関するものであることも可能である。このような製品は、計算処理から生じる情報を含むことができ、ここで、情報は、非一時的な有形のコンピュータ可読ストレージ媒体に格納され、本明細書において説明されるコンピュータプログラム製品または他のデータの組合せのいずれかの実施形態を含むことができる。

0098

最後に、明細書において使用される言語は、可読性および教授目的のために主に選択されてきたが、発明の主題を詳しく説明すること、または制限することを行うように選択されなかった可能性がある。したがって、本開示の範囲は、本詳細な説明によってではなく、むしろ本明細書に基づく出願に関して発行するいずれかの請求項によって限定されるということを意図するものである。したがって、本実施形態の開示は、以下の特許請求の範囲において示される本開示の範囲の例証であることを意図するものであるが、限定を意図するものではない。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ