図面 (/)

技術 仮想および拡張現実のためのアドレス可能焦点を伴う自由形状光学システムを用いて立体視を表示する方法およびシステム

出願人 マジックリープ,インコーポレイテッド
発明者 ガオ,チュンユ
出願日 2015年5月29日 (5年7ヶ月経過) 出願番号 2016-570034
公開日 2017年7月6日 (3年5ヶ月経過) 公開番号 2017-518532
状態 特許登録済
技術分野 テレビジョン受像機の構造の細部 その他の光学系・装置、色の干渉・色の制御
主要キーワード 可変深度 一次表示 設計選択肢 焦点要素 二次表示 物理的空間内 視覚的入力 表面外形
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年7月6日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題・解決手段

自由形状光学表示ステムのためのいくつかの固有ハードウェア構成および方法が、開示される。自由形状表示システムは、水平視野(FOV)または垂直視野拡張するために、タイル式配置における一次自由形状光学要素および二次自由形状光学要素を含む。システムは、遠近調節収束衝突を解決しながら、オブジェクト焦点を合わせてレンダリングするために、中間瞳を生成し、単一の焦点面の焦点距離を変更するか、または複数の焦点面を切り替える、可変焦点合わせシステムを含み得る。システムは、光サンプル物理的空間内の適切な光線マップし、プロジェクタクラスタを使用して、マップされた光線を投影し、仮想表示コンテンツライトフィールドを生成し得る。タイル式自由形状光学表示システムを作製する方法と、可変焦点自由形状光学を用いて仮想コンテンツを生成し、ライトフィールドをレンダリングする方法もまた、開示される。

概要

背景

頭部搭載式ディスプレイ(HMD)は、長い間、科学的可視化医学、および訓練工学設計およびプロトタイプ化、遠隔操作およびテレプレゼンス、ならびに個人用娯楽システムの分野に及ぶ、多くの用途のために非常に貴重であることが証明されている。混合および拡張現実システムでは、光学シースルーHMDは、コンピュータ生成仮想場面を実世界場面のビューと組み合わせる基本アプローチの1つである。典型的には、光学コンバイナを通して、光学シースルー頭部搭載式ディスプレイ(OST−HMD)は、実世界ビューの直接的劣化を最小限に維持しながら、コンピュータ生成画像を実世界ビュー上に光学的にオーバーレイする。OST−HMDは、スマートフォンおよびPDA(携帯情報端末)等の他の一般的モバイルプラットフォームよりもはるかに多くの魅力的画質および画面サイズをもたらすモバイルディスプレイソリューションを作り出す、大きな潜在性提示する。技術が広く採用されることを阻む、多くの技術的および実践的難点も存在する。

現代コンピューティングおよびディスプレイ技術は、デジタル的に再現された画像またはその一部が、現実であるように見える様式、もしくはそのように知覚され得る様式においてユーザに提示される、いわゆる「仮想現実」または「拡張現実体験のためのシステムの開発を促進している。仮想現実、すなわち、「VRシナリオは、典型的には、他の実際の実世界の視覚的入力に対して透明性を伴わずに、デジタルまたは仮想画像情報の提示を伴い、拡張現実、すなわち、「AR」シナリオは、典型的には、ユーザの周囲の実際の世界の視覚化拡張として、デジタルまたは仮想画像情報の提示を伴う。

デジタルコンテンツ(例えば、部屋の実世界ビューを拡張するために提示される仮想シャンデリアオブジェクト等の3−Dコンテンツ、または部屋の実世界ビューを拡張するために提示される平面/平坦仮想油絵オブジェクト等の2−Dコンテンツ)を設置するとき、オブジェクトの挙動を制御するための設計選択が、行われ得る。例えば、2−D油絵オブジェクトは、頭部を中心とし得、その場合、オブジェクトは、ユーザの頭部に伴って移動する(例えば、Google Glassアプローチにおけるように);または、オブジェクトは、世界を中心とし得、その場合、ユーザが、実世界に対してオブジェクトの位置を移動させずに、その頭部または眼を移動させ得るように、実世界座標系の一部であるかのように提示され得る。

その結果、オブジェクトが、世界を中心として提示されるべきか(すなわち、仮想オブジェクトは、ユーザが、実世界の壁等のそれを包囲する実世界オブジェクトに対してその位置を変化させずに、その身体、頭部、眼をその周囲で移動させ得るように、実世界内の定位置に留まる)、身体、すなわち、胴体を中心として提示されるべきか(その場合、仮想要素は、ユーザが、オブジェクトを移動させずに、その頭部または眼を移動させることができるが、そのような移動は、胴体の移動に追従させられるように、ユーザの胴体に対して固定され得る)、頭部を中心として提示されるべきか(その場合、表示されるオブジェクト(および/またはディスプレイ自体)は、Google Glassを参照して前述のように、頭部の移動に伴って移動させられ得る)、または、以下に説明されるような「中心窩ディスプレイ」構成におけるように、眼を中心として(コンテンツは、眼の位置の関数として回転させられる)、提示されるべきかについて、疑問または設計選択肢が、多くの場合、生じる。

従来の立体ディスプレイは、任意の点上における収束支援するが、視認者が、ディスプレイ表面上に遠近調節することのみを可能にする両眼視差を提供し、したがって、遠近調節−収束衝突に悩まされる。これらの従来のディスプレイは、多くの場合、遠近調節キューを収束キューから分断し、遠近調節キューを固定された距離に結び付ける。したがって、仮想および/または拡張現実のためのアドレス可能焦点を伴う自由形状光学システムを用いる画像表示立体視のための方法およびシステムの必要性が存在する。

概要

自由形状光学表示システムのためのいくつかの固有ハードウェア構成および方法が、開示される。自由形状表示システムは、水平視野(FOV)または垂直視野を拡張するために、タイル式配置における一次自由形状光学要素および二次自由形状光学要素を含む。システムは、遠近調節−収束衝突を解決しながら、オブジェクトを焦点を合わせてレンダリングするために、中間瞳を生成し、単一の焦点面の焦点距離を変更するか、または複数の焦点面を切り替える、可変焦点合わせシステムを含み得る。システムは、光サンプル物理的空間内の適切な光線マップし、プロジェクタクラスタを使用して、マップされた光線を投影し、仮想表示コンテンツのライトフィールドを生成し得る。タイル式自由形状光学表示システムを作製する方法と、可変焦点自由形状光学を用いて仮想コンテンツを生成し、ライトフィールドをレンダリングする方法もまた、開示される。

目的

1つ以上の二次自由形状光学要素は、識別され、タイル式配置で一次表示デバイスに取り付けられ、水平視認方向、垂直視認方向、または両方向に拡張された視野を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

タイル自由形状光学表示ステムであって、光線を一次自由形状光学要素の中に投入する画像源と、前記画像源からの光線を用いて仮想表示コンテンツを表示するためのタイル式自由形状光学表示デバイスを形成するために、第1のタイル式配置で前記一次自由形状光学要素に取り付けられている二次自由形状光学要素と、前記画像源および前記タイル式自由形状光学表示デバイスに動作可能に結合されている可変焦点合わせ要素であって、前記可変焦点合わせ要素は、前記仮想表示コンテンツの少なくとも一部が焦点が合ってレンダリングされる焦点面の焦点距離を変化させる、可変焦点合わせ要素とを備えている、タイル式自由形状光学表示システム。

請求項2

前記一次自由形状光学要素および/または前記二次自由形状光学要素の少なくとも一部に取り付けられている補償レンズをさらに備え、前記補償レンズは、前記一次自由形状光学要素および/または前記二次自由形状光学要素の少なくとも一部を通して実世界場面から放出する光線の品質を改善する、請求項1に記載のタイル式自由形状光学表示システム。

請求項3

前記一次自由形状光学要素は、1つ以上の中継レンズに動作可能に結合されている自由形状を含む、請求項1に記載のタイル式自由形状光学表示システム。

請求項4

前記一次自由形状光学要素は、折り曲げ反射体にさらに結合され、前記反射体は、前記第1の光線を前記可変焦点合わせ要素から受信する、請求項3に記載のタイル式自由形状光学表示システム。

請求項5

前記可変焦点合わせ要素は、中間瞳を形成するための液体レンズを含む、請求項1に記載のタイル式自由形状光学表示システム。

請求項6

前記可変焦点合わせ要素は、中間瞳を形成するための変形可能膜ミラーを含む、請求項1に記載のタイル式自由形状光学表示システム。

請求項7

前記可変焦点合わせ要素は、前記変形可能膜ミラーに動作可能に結合されている結合レンズ群、2つ以上のビームスプリッタを含む、請求項6に記載のタイル式自由形状光学表示システム。

請求項8

前記一次自由形状表示要素および前記二次自由形状表示要素は、同一である2つの視野提示する、請求項1に記載のタイル式自由形状光学表示システム。

請求項9

前記一次自由形状表示要素は、増加させられた一次垂直視野または最大化された一次垂直視野を画定し、前記二次自由形状表示要素は、前記増加させられた一次垂直視野または最大化された一次垂直視野に部分的に基づいて、二次垂直視野を画定し、前記タイル式自由形状光学表示デバイスは、前記増加させられた一次垂直視野または最大化された一次垂直視野、および、前記視野に対する所定の縦横比に少なくとも部分的に基づいて、視野を画定する、請求項1に記載のタイル式自由形状光学表示システム。

請求項10

前記一次自由形状表示要素は、増加させられた一次垂直視野または最大化された一次垂直視野を画定し、前記二次自由形状表示要素は、増加させられた二次水平視野または最大化された二次水平視野を画定し、前記タイル式自由形状光学表示デバイスは、前記増加させられた一次垂直視野または最大化された一次垂直視野、および、前記増加させられた二次水平視野または最大化された二次水平視野に少なくとも部分的に基づいて、視野を画定する、請求項1に記載のタイル式自由形状光学表示システム。

請求項11

自由形状ライトフィールド表示システムであって、コンピューティングデバイスであって、前記コンピューティングデバイスは、前記自由形状ライトフィールド表示システムを用いてオブジェクトに対する仮想コンテンツ表示を再現するために、オブジェクトから反射され、記録された光サンプルから光線を決定する、コンピューティングデバイスと、前記光線を自由形状光学要素の中に投入するためのプロジェクタの束を備えている画像源であって、前記コンピューティングデバイスは、前記オブジェクトに対する前記仮想コンテンツ表示を表示するために、ライトフィールドの一部をレンダリングするための1つ以上の光線を前記光線からさらに決定する、画像源と、前記画像源と前記自由形状光学要素との間に位置し、それらに動作可能に結合され、中間瞳を生成する結合レンズ群とを備えている、自由形状ライトフィールド表示システム。

請求項12

前記自由形状ライトフィールド表示システムは、前記自由形状光学要素によって画定される少なくとも前記中間瞳および射出瞳を使用することによって、前記ライトフィールドを合成する、請求項11に記載の自由形状ライトフィールド表示システム。

請求項13

タイル式配置における自由形状光学表示機構を用いて立体画像を生成する方法であって、一次自由形状光学要素を備え、一次視野を画定する一次表示デバイス識別することと、二次視野を画定し、二次自由形状光学要素を備えている二次表示デバイスを識別することと、少なくとも前記二次表示デバイスを前記一次表示デバイスに統合することによって、前記一次表示デバイスの一次視野を拡張するタイル式表示デバイス考案することとを含む、方法。

請求項14

前記二次表示デバイスおよび前記一次表示デバイスは、第1のタイル式配置の中に統合され、前記一次表示デバイスのこめかみ水平視野を拡張する前記タイル式表示デバイスを形成する、請求項13に記載の方法。

請求項15

前記自由形状光学表示機構内の可変焦点合わせ機構を使用することによって、1つ以上の焦点面の焦点距離を調節することをさらに含む、請求項13に記載の方法。

請求項16

前記自由形状光学表示機構内の可変焦点合わせ機構内の変形可能ミラー屈折力を変えることによって、前記1つ以上の焦点面の焦点距離を変更することをさらに含む、請求項15に記載の方法。

請求項17

前記可変焦点合わせ機構を用いて、前記自由形状光学表示機構の1つ以上の焦点面の1つ以上の焦点距離を調節することをさらに含む、請求項15に記載の方法。

請求項18

少なくとも前記自由形状光学表示機構によって生成される立体画像に対する焦点面の焦点距離を制御することによって、アドレス可能焦点機能性を伴う前記一次表示デバイスおよび/または前記二次表示デバイスを考案することをさらに含む、請求項13に記載の方法。

請求項19

少なくとも、前記自由形状光学表示機構によって生成される立体画像に対する複数の焦点面を切り替えることによって、アドレス可能焦点機能性を伴う前記一次表示デバイスおよび/または前記二次表示デバイスを考案することをさらに含む、請求項13に記載の方法。

請求項20

可変焦点合わせ機構を用いて、前記複数の焦点面のそれぞれの焦点距離をアドレスすることをさらに含む、請求項19に記載の方法。

請求項21

少なくとも、少なくとも1つの補償レンズを前記一次表示デバイスの少なくとも一部と統合することによって、周囲環境視認の品質を改善することをさらに含む、請求項13に記載の方法。

請求項22

前記少なくとも1つの補償レンズは、前記自由形状光学表示機構の一次表示デバイスの少なくとも一部を覆っている、請求項13に記載の方法。

請求項23

前記二次表示デバイスの二次水平視野を増加させることまたは最大化することをさらに含む、請求項13に記載の方法。

請求項24

前記一次視野および/または前記二次視野に部分的または全体的に基づいて、前記一次表示デバイスおよび前記二次表示デバイスのための第1の配置を決定することをさらに含む、請求項13に記載の方法。

請求項25

前記一次表示デバイスおよび前記二次表示デバイスを互に隣接して配置する前記第1の配置を用いて、前記自由形状光学表示機構の水平視野または対角線視野を拡張することをさらに含む、請求項24に記載の方法。

請求項26

前記一次視野および/または前記二次視野に部分的または全体的に基づいて、前記一次表示デバイスおよび前記二次表示デバイスのための第2の配置を決定することをさらに含む、請求項13に記載の方法。

請求項27

前記一次表示デバイスを前記二次表示デバイスの上に、または前記二次表示デバイスを前記一次表示デバイスの上に配置する前記第2の配置を用いて、前記自由形状光学表示機構の垂直視野または対角線視野を拡張することをさらに含む、請求項26に記載の方法。

請求項28

前記一次視野および/または前記二次視野に部分的または全体的に基づいて、前記一次表示デバイスおよび前記二次表示デバイスのための第3の配置を決定することをさらに含む、請求項13に記載の方法。

請求項29

少なくとも、前記二次表示デバイスの二次視野を前記一次表示デバイスの一次視野とほぼ一致させることまたは正確に一致させることによって、前記第3の配置を伴う前記自由形状光学表示機構を考案することをさらに含む、請求項28に記載の方法。

請求項30

前記一次表示デバイスの一次垂直視野を増加させることまたは最大化することによって、前記一次表示デバイスを考案することと、前記二次表示デバイスの二次垂直視野を増加させられ、または最大化された前記一次垂直視野と正確に一致させることまたはほぼ一致させることとをさらに含む、請求項13に記載の方法。

請求項31

前記二次表示デバイスの二次水平視野を増加させることまたは最大化することによって、前記二次表示デバイスを考案することをさらに含む、請求項13に記載の方法。

請求項32

前記一次表示デバイスは、第1の光学結合機構を介して第1の画像源と動作可能に結合され、前記第1の光学結合機構は、可変焦点合わせ機構を含む、請求項13に記載の方法。

請求項33

1つ以上の他の二次表示デバイスを統合し、前記自由形状光学表示機構の視野をさらに拡張する前記タイル式表示デバイスを考案することをさらに含む、請求項13に記載の方法。

請求項34

補償レンズの1つ以上の自由形状屈折表面特性を使用することによって、実世界場面によって放出される光線によって前記立体画像に導入されるシフトおよび/または歪を低減させることまたは最小化することをさらに含む、請求項13に記載の方法。

請求項35

少なくとも、前記一次表示デバイスおよび1つ以上の画像源を光学結合光学機構と結合することによって、前記自由形状光学表示機構によって生成される立体画像の品質を改善することをさらに含む、請求項13に記載の方法。

請求項36

仮想または拡張現実のための可変焦点合わせ自由形状光学表示システムを用いて立体画像を生成する方法であって、入力光ビーム光学システムにおいて画像源から受信することと、前記立体画像に対する少なくとも1つの焦点面の位置決めに部分的または全体的に基づいて、前記入光ビームのための可変焦点機構の焦点距離を変えることと、変えられた焦点距離を伴う前記可変焦点機構を使用することによって、前記入力光ビームを自由形状光学機構に伝搬することと、前記自由形状光学機構を用いて、仮想または拡張現実提示のために前記少なくとも1つの焦点面上に前記立体画像を生成することとを含む、方法。

請求項37

前記入力光ビームを第1の光学を通して1つ以上のビームスプリッタに伝搬することと、前記1つ以上のビームスプリッタを通して前記可変焦点機構に前記入力光ビームを向け直すこととをさらに含む、請求項36に記載の方法。

請求項38

前記立体画像に対する1つ以上の焦点面の位置決めに部分的または全体的に基づいて前記可変焦点機構の屈折力を変えることによって、前記可変焦点機構の焦点距離を変更することをさらに含む、請求項36に記載の方法。

請求項39

変えられた焦点距離を伴う前記可変焦点機構を用いて、前記1つ以上のビームスプリッタに戻るように前記入力光ビームを向け直すことと、前記入力光ビームを前記1つ以上のビームスプリッタから前記自由形状光学機構に伝搬することとをさらに含む、請求項36に記載の方法。

請求項40

前記自由形状光学表示機構によって生成される立体画像に対する焦点面を変更するための要件を識別することと、前記要件に部分的または全体的に基づいて、前記可変焦点機構の焦点距離を変えるための1つ以上の制御を提供することと、前記1つ以上の制御を用いて、前記可変焦点機構の焦点距離を変えられた焦点距離に変えることとをさらに含む、請求項36に記載の方法。

請求項41

前記入力光ビームを前記変えられた焦点距離を伴う前記可変焦点機構から前記自由形状光学機構に伝搬することと、前記自由形状光学機構を用いて、仮想または拡張現実提示のために前記1つ以上の焦点面上に前記立体画像を生成することとをさらに含む、請求項40に記載の方法。

請求項42

前記立体画像の少なくとも一部を焦点を合わせてレンダリングするための第1の焦点面の第1の焦点距離を決定することと、遠近調節キューまたは収束キューを固定された焦点距離に結び付けることなく、前記遠近調節キューおよび前記収束キューの両方を前記第1の焦点距離を用いてアドレスすることと、少なくとも前記自由形状光学機構および前記第1の焦点距離を使用することによって、前記入力光ビームを用いて前記立体画像の前記少なくとも一部をレンダリングすることとをさらに含む、請求項36に記載の方法。

請求項43

前記自由形状光学表示機構の前記可変焦点機構を使用することによって、前記第1の焦点距離をアドレスすることをさらに含む、請求項42に記載の方法。

請求項44

前記第1の焦点距離をアドレスする行為は、前記可変焦点機構内のアドレス可能可変焦点合わせ要素の屈折力を変動させ、前記立体画像の前記少なくとも一部をレンダリングするための前記第1の焦点距離を変更することを含む、請求項43に記載の方法。

請求項45

前記第1の焦点距離をアドレスする行為は、前記入力光ビームを用いて前記立体画像の前記少なくとも一部を表示するための前記第1の焦点距離に部分的または全体的に部分的または全体的に基づいて、前記第1の焦点面を複数の焦点面から識別することを含む、請求項42に記載の方法。

請求項46

自由形状光学システムを用いてライトフィールドディスプレイを生成する方法であって、光線束を画像源から受信し、前記光線束内に仮想オブジェクトのための仮想表示コンテンツを生成することと、前記光線束から前記仮想オブジェクトについての情報を抽出することと、前記光線束から抽出された情報に部分的または全体的に基づいて、変調された光線束を生成することと、前記変調された光線束および自由形状光学表示デバイスを用いて、前記仮想オブジェクトのための仮想表示コンテンツをレンダリングすることとを含む、方法。

請求項47

前記光線束内にレンダリングされるべき仮想オブジェクトを識別することと、前記仮想オブジェクトを表示するための1つ以上のパラメータを識別することまたは決定することとをさらに含む、請求項46に記載の方法。

請求項48

遠近調節範囲に部分的または全体的に基づいて、前記仮想オブジェクトに対応するライトフィールドを合成するための第1の光線を識別することまたは決定することと、前記光線束を前記画像源から前記自由形状光学表示デバイスに伝搬することとをさらに含む、請求項47に記載の方法。

請求項49

肉眼遠近調節範囲に部分的または全体的に基づいて、前記仮想オブジェクトに対応するライトフィールドを合成し、第1の焦点距離を用いて、前記遠近調節キューおよび前記収束キューの両方をアドレスすることと、少なくとも前記自由形状光学表示デバイスを用いて、前記仮想表示コンテンツを生成することであって、ヒト観察者見える前記仮想表示コンテンツの仮想画像距離は、前記第1の焦点距離に等しい、こととをさらに含む、請求項48に記載の方法。

請求項50

前記ライトフィールドを合成する行為は、少なくとも部分的にユーザの視覚系の肉眼遠近調節範囲に基づいて、行われる、請求項49に記載の方法。

請求項51

可変焦点距離を用いて、前記仮想表示コンテンツに関連付けられた遠近調節キューおよび収束キューの両方をアドレスすることをさらに含み、前記可変焦点距離は、単一の焦点面の距離値を決定することによって、または異なる焦点距離値を有する複数の焦点面を切り替えることによって変動させられる、請求項49に記載の方法。

請求項52

前記光線束から抽出された情報に部分的または全体的に基づいて、前記光線束を変調された光線束に変調することをさらに含む、請求項46に記載の方法。

請求項53

前記情報は、前記光線束の1つ以上の色、前記光線束の1つ以上の放射輝度、前記光線束の1つ以上の深度情報、または任意のそれらの組み合わせのうちの少なくとも1つを含む、請求項52に記載の方法。

請求項54

前記光線束から抽出された情報に部分的または全体的に基づいて、前記変調された光線束が投影されるべき場所を決定することをさらに含む、請求項52に記載の方法。

請求項55

変調された光線束を投影し、前記仮想表示コンテンツをレンダリングするために使用されるべき画像プロジェクタを決定することをさらに含む、請求項52に記載の方法。

請求項56

前記仮想オブジェクトをレンダリングするための1つ以上のパラメータを識別することまたは決定することをさらに含む、請求項52に記載の方法。

請求項57

前記1つ以上のパラメータは、1つ以上の屈折表面パラメータ、1つ以上の反射表面パラメータ、または、前記1つ以上の屈折表面パラメータのうちの少なくとも1つの屈折表面パラメータと前記1つ以上の反射表面パラメータのうちの少なくとも1つの反射表面パラメータとの組み合わせを含む、請求項56に記載の方法。

請求項58

前記変調された光線束を結合光アセンブリに伝搬し、中間瞳を生成することをさらに含む、請求項56に記載の方法。

請求項59

前記変調された光線束を前記結合光学アセンブリから前記自由形状光学表示デバイスに中継することと、前記1つ以上のパラメータに部分的または全体的に基づいて、前記自由形状光学表示デバイス内の屈折および/または反射を介して、前記変調された光線束を伝搬することとをさらに含む、請求項56に記載の方法。

請求項60

仮想または拡張現実のための立体画像を生成するための請求項13−35のいずれかに記載の方法を行うための自由形状光学表示機構。

請求項61

仮想または拡張現実のための立体画像を生成するための請求項36−45のいずれかに記載の方法を行うための可変焦点合わせ自由形状光学表示システム。

請求項62

仮想または拡張現実のためのライトフィールドディスプレイを生成するための請求項46−59のいずれかに記載の方法を行うための自由形状光学システム。

技術分野

0001

(関連出願の引用
本願は、米国仮特許出願第62/005,865号(2014年3月30日出願、名称「METHODS AND SYSTEMS FOR DISPLAYING STEREOSCOPY WITH A FREEFORM OPTICAL SYSTEM WITH ADDESSABLE FOCUS FOR VIRTUAL AND AUGMNTED REALITY」)の利益を主張する。本願は、米国仮特許出願第62/005,807号(2014年3月30日出願、名称「METHODS AND SYSTEM FOR CREATING FOCALPLANES IN VIRTUAL AND AUGMENTED REALITY」、代理人事件番号ML 30017.00)、米国仮特許出願第62/005,8345号(2014年3月30日出願、名称「METHODS AND SYSTEMS FOR VIRTUAL AND AUGMENTED REALITY」、代理人事件番号ML 30016.00)、米国特許出願第13/335,884号(2011年12月22日出願、名称「ERGONOMICHEAD MOUNTED DISPLAY DEVICE AND OPTICAL SYSTEM」)に関連し、該米国特許出願は、米国仮特許出願第61,427,162号(2010年12月24日出願)、国際出願PCT/US2011/067033(2011年12月22日出願、名称「An Ergonomic Head Mounted Display Device and Optical System」、特許協力条約(PCT)の下で国際公開)、および米国仮特許出願第61,427,162号(2010年12月24日出願)に対する利益を主張する。

背景技術

0002

頭部搭載式ディスプレイ(HMD)は、長い間、科学的可視化医学、および訓練工学設計およびプロトタイプ化、遠隔操作およびテレプレゼンス、ならびに個人用娯楽システムの分野に及ぶ、多くの用途のために非常に貴重であることが証明されている。混合および拡張現実システムでは、光学シースルーHMDは、コンピュータ生成仮想場面を実世界場面のビューと組み合わせる基本アプローチの1つである。典型的には、光学コンバイナを通して、光学シースルー頭部搭載式ディスプレイ(OST−HMD)は、実世界ビューの直接的劣化を最小限に維持しながら、コンピュータ生成画像を実世界ビュー上に光学的にオーバーレイする。OST−HMDは、スマートフォンおよびPDA(携帯情報端末)等の他の一般的モバイルプラットフォームよりもはるかに多くの魅力的画質および画面サイズをもたらすモバイルディスプレイソリューションを作り出す、大きな潜在性提示する。技術が広く採用されることを阻む、多くの技術的および実践的難点も存在する。

0003

現代コンピューティングおよびディスプレイ技術は、デジタル的に再現された画像またはその一部が、現実であるように見える様式、もしくはそのように知覚され得る様式においてユーザに提示される、いわゆる「仮想現実」または「拡張現実体験のためのシステムの開発を促進している。仮想現実、すなわち、「VRシナリオは、典型的には、他の実際の実世界の視覚的入力に対して透明性を伴わずに、デジタルまたは仮想画像情報の提示を伴い、拡張現実、すなわち、「AR」シナリオは、典型的には、ユーザの周囲の実際の世界の視覚化拡張として、デジタルまたは仮想画像情報の提示を伴う。

0004

デジタルコンテンツ(例えば、部屋の実世界ビューを拡張するために提示される仮想シャンデリアオブジェクト等の3−Dコンテンツ、または部屋の実世界ビューを拡張するために提示される平面/平坦仮想油絵オブジェクト等の2−Dコンテンツ)を設置するとき、オブジェクトの挙動を制御するための設計選択が、行われ得る。例えば、2−D油絵オブジェクトは、頭部を中心とし得、その場合、オブジェクトは、ユーザの頭部に伴って移動する(例えば、Google Glassアプローチにおけるように);または、オブジェクトは、世界を中心とし得、その場合、ユーザが、実世界に対してオブジェクトの位置を移動させずに、その頭部または眼を移動させ得るように、実世界座標系の一部であるかのように提示され得る。

0005

その結果、オブジェクトが、世界を中心として提示されるべきか(すなわち、仮想オブジェクトは、ユーザが、実世界の壁等のそれを包囲する実世界オブジェクトに対してその位置を変化させずに、その身体、頭部、眼をその周囲で移動させ得るように、実世界内の定位置に留まる)、身体、すなわち、胴体を中心として提示されるべきか(その場合、仮想要素は、ユーザが、オブジェクトを移動させずに、その頭部または眼を移動させることができるが、そのような移動は、胴体の移動に追従させられるように、ユーザの胴体に対して固定され得る)、頭部を中心として提示されるべきか(その場合、表示されるオブジェクト(および/またはディスプレイ自体)は、Google Glassを参照して前述のように、頭部の移動に伴って移動させられ得る)、または、以下に説明されるような「中心窩ディスプレイ」構成におけるように、眼を中心として(コンテンツは、眼の位置の関数として回転させられる)、提示されるべきかについて、疑問または設計選択肢が、多くの場合、生じる。

0006

従来の立体ディスプレイは、任意の点上における収束支援するが、視認者が、ディスプレイ表面上に遠近調節することのみを可能にする両眼視差を提供し、したがって、遠近調節−収束衝突に悩まされる。これらの従来のディスプレイは、多くの場合、遠近調節キューを収束キューから分断し、遠近調節キューを固定された距離に結び付ける。したがって、仮想および/または拡張現実のためのアドレス可能焦点を伴う自由形状光学システムを用いる画像表示立体視のための方法およびシステムの必要性が存在する。

課題を解決するための手段

0007

開示されるのは、仮想および拡張現実用途だけではなく、ニアアイディスプレイ、コンピューティング、およびディスプレイ用途、またはさらにテキスト専用ディスプレイ等の他の用途のためにも非常に好適である、視覚的ディスプレイのための方法およびシステムである。いくつかの実施形態は、仮想および/または拡張現実のためのアドレス可能焦点を伴う自由形状光学システムを用いて立体視を表示するためのシステムを対象とする。いくつかの実施形態では、システムは、介在要素を伴わずに直接、もしくは1つ以上の介在要素を用いて間接的に、ユーザの眼のための1つ以上の一次自由形状光学要素の中に光線投入する、画像源を含み得る。一次自由形状光学要素は、いくつかの実施形態では、折り曲げミラーおよび1つ以上の中継レンズと結合される、楔形状の自由形状光学要素を含み得る。いくつかの他の実施形態では、一次自由形状光学要素は、自由形状導波管を含み得る。一次自由形状光学要素は、1つ以上の屈折表面と、1つ以上の反射表面とを備え、最後に、一次自由形状光学要素を出射し、仮想表示コンテンツを形成する前に、投入された光線が、これらの表面間で偏向または反射することを可能にする。

0008

これらの1つ以上の屈折表面もしくは1つ以上の反射表面は、例えば、屈折率反射率表面外形表面コーティングの材料および/または厚さ、透過係数もしくは曲線、1つ以上のフィルタ係数、もしくは任意のそれらの組み合わせを含む、同一もしくは異なる表面特性を有し得る。システムはさらに、1つ以上の一次自由形状光学要素に動作可能に結合され、水平視野(FOV)および/または垂直視野を拡張する、タイル式自由形状光学表示システムを形成する、1つ以上の二次自由形状光学要素を含み得る。システムはまた、画像源、1つ以上の一次自由形状光学要素、および/もしくは1つ以上の二次自由形状光学要素に動作可能に結合され、光線を中継または結合し、画像源から投入された光線ならびに1つ以上の一次および/または二次自由形状光学要素を通過する実世界場面からの光線のある特性を補正もしくは改良する、光学結合レンズまたは光学結合レンズ群を含み得る。

0009

いくつかの実施形態では、自由形状光学表示システムは、自由形状光学要素を含み得る。自由形状光学要素は、1つ以上の屈折表面および1つ以上の反射表面を有する導波管を含み、投入された光線が、最後に、一次自由形状光学要素から出射し、仮想表示コンテンツを形成する前に、これらの表面間で偏向または反射することを可能にし得る。これらの1つ以上の屈折表面もしくは1つ以上の反射表面は、例えば、屈折率、反射率、表面外形、表面コーティングの材料および/または厚さ、透過係数または曲線、1つ以上のフィルタ係数、もしくは任意のそれらの組み合わせを含む、同一または異なる表面特性を有し得る。

0010

システムはまた、仮想表示コンテンツをレンダリングするために、光線を自由形状光学要素の中に投入するための画像源を含み得る。これらの実施形態のいくつかでは、システムは、仮想表示コンテンツの少なくとも一部が焦点が合ってレンダリングされるであろう、単一の焦点面の焦点距離を変化させる可変焦点合わせシステムを含み得る。いくつかの他の実施形態では、システムは、無明滅レートで複数の焦点面を切り替え、仮想表示コンテンツの少なくとも一部を焦点を合わせてレンダリングする可変焦点合わせシステムを含み得る。システムは、仮想表示コンテンツまたはそのそれぞれの部分を複数の焦点面のうちのいくつかの焦点面上に並行してレンダリングし得る。

0011

システムは、遠近調節−収束衝突を解決するために、遠近調節キューまたは収束キューを固定された距離値に結び付けずに、可変焦点合わせシステムを採用し、遠近調節キューおよび収束キューの両方を変化する焦点距離に対してアドレスする。さらにいくつかの他の実施形態では、システムは、仮想表示コンテンツの少なくとも一部が焦点が合ってレンダリングされるであろう、複数の焦点面のそれぞれの焦点距離を変化させる可変焦点合わせシステムを含み得る。

0012

いくつかの実施形態では、自由形状光学表示システムは、コンピューティングデバイスを含み、コンピューティングデバイスは、自由形状光学表示システムを用いてオブジェクトのための仮想コンテンツ表示を再現するために、オブジェクトから反射され、またはオブジェクトのために人工的に作成され、記録された光サンプルから適切な光線を決定する。自由形状光学表示システムは、光線を形成する放射輝度および/または深度情報を抽出し、抽出された情報を使用して、光線が投影されるべき場所、対応する光線を投影するために使用されるべき画像プロジェクタ、および画像プロジェクタが、対応する光線を投影し、ライトフィールドをレンダリングする場所を決定し得る。自由形状光学表示システムは、次いで、その対応する画像プロジェクタを用いて、種々の光線を投影し、ライトフィールドを合成し得る。

0013

いくつかの実施形態は、タイル式配置における自由形状光学表示システムを用いて、立体画像を生成する方法を対象とする。方法は、一次垂直視野を画定する一次表示デバイス識別し、随意に、一次表示デバイスの一次垂直視野を増加させまたは最大化し得る。一次表示デバイスは、1つ以上の自由形状光学要素を含み得る。加えて、または代替として、方法はさらに、随意に、増加させられた二次水視野または最大化された二次水平視野を有するように二次表示デバイスを構成または考案し得る。

0014

1つ以上の二次自由形状光学要素は、識別され、タイル式配置で一次表示デバイスに取り付けられ、水平視認方向、垂直視認方向、または両方向に拡張された視野を提供するタイル式自由形状表示デバイスを形成し得る。方法はさらに、自由形状光学表示システム内の可変焦点合わせシステムを使用することによって、1つ以上の焦点面の焦点距離を調節し得る。いくつかの実施形態では、方法は、仮想表示コンテンツがレンダリングされる単一の焦点面の焦点距離を調節またはアドレスし得る。いくつかの他の実施形態では、方法は、可変焦点合わせシステムを使用し、それらのそれぞれの焦点距離を有する複数の焦点面を切り替え、仮想表示コンテンツの焦点合わせ要件に従って、焦点距離をアドレスまたは調節し得る。さらにいくつかの他の実施形態では、システムは、仮想表示コンテンツの少なくとも一部が焦点が合ってレンダリングされるであろう、複数の焦点面のそれぞれの焦点距離を変更またはアドレスする可変焦点合わせシステムを含み得る。

0015

いくつかの実施形態は、可変焦点合わせ自由形状光学表示システムを用いて立体画像を生成する方法を対象とする。方法は、仮想表示コンテンツの一部を焦点を合わせてレンダリングするために、光学システムにおいて画像源から第1の光信号を受信し、仮想表示コンテンツの一部を焦点を合わせてレンダリングするための第1の焦点面の第1の焦点距離を決定し得る。方法はさらに、遠近調節キューまたは収束キューを固定された焦点距離に結び付けることなく、第1の焦点距離を用いて、遠近調節キューおよび収束キューの両方をアドレスし、少なくとも自由形状光学表示デバイスおよび第1の焦点距離を使用して、第1の光信号を用いて仮想表示コンテンツをレンダリングし得る。

0016

これらの実施形態のいくつかでは、方法はさらに、可変焦点合わせ自由形状光学表示システムの可変焦点合わせシステムを使用することによって、第1の焦点距離をアドレスし得る。第1の焦点距離をアドレスすることは、いくつかの実施形態では、光学システム内のアドレス可能可変焦点合わせ要素の屈折力を変動させ、仮想表示コンテンツをレンダリングするための第1の焦点距離を変更する行為、または、いくつかの他の実施形態では、第1の光信号を用いて仮想表示コンテンツを表示するために、少なくとも部分的に、第1の焦点距離に基づいて、第1の焦点面を複数の平面から識別する行為を含み得る。

0017

いくつかの実施形態は、自由形状光学システムを用いてライトフィールドディスプレイを生成する方法を対象とする。方法は、仮想表示コンテンツ内に仮想オブジェクトをレンダリングするために使用されるべき第1の光線を識別し、第1の光線を画像源の束から自由形状光学表示デバイスに伝送し得る。方法はさらに、自由形状光学表示デバイスを使用することによって、仮想オブジェクトに対応するライトフィールドを合成し、仮想オブジェクトのための仮想表示コンテンツをレンダリングし得る。これらの実施形態のいくつかでは、方法はまた、第1の光線によってレンダリングされるべき仮想オブジェクトを識別し、仮想表示コンテンツ内に仮想オブジェクトをレンダリングするための1つ以上のパラメータを識別もしくは決定し得る。

0018

いくつかの実施形態では、方法は、仮想オブジェクトをレンダリングするために使用されるべき第1の光線を識別し、これは、少なくとも部分的に、遠近調節範囲に基づいて、行われる。加えて、または代替として、方法は、仮想オブジェクトに対応するライトフィールドを合成し得、これは、少なくとも部分的にユーザの視覚系肉眼遠近調節範囲に基づいて、行われる。方法は、したがって、異なる距離に現れる仮想表示コンテンツに関連付けられた遠近調節キューおよび収束キューの両方をアドレスし得る。

0019

いくつかの第1の実施形態は、光線を一次自由形状光学要素の中に投入する画像源と、第1のタイル式配置で一次自由形状光学要素に取り付けられ、画像源からの光線を用いて仮想表示コンテンツを表示するためのタイル式自由形状光学表示デバイスを形成する、二次自由形状光学要素と、画像源およびタイル式自由形状光学表示デバイスに動作可能に結合され、仮想表示コンテンツの少なくとも一部が焦点が合ってレンダリングされる焦点面の焦点距離を変化させる可変焦点合わせ要素とを備えているタイル式自由形状光学表示システムを対象とする。

0020

第1の実施形態のいくつかでは、タイル式自由形状光学表示システムはさらに、一次自由形状光学要素および/または二次自由形状光学要素の少なくとも一部に取り付けられ、一次自由形状光学要素および/または二次自由形状光学要素の少なくとも一部を通して実世界場面から放出する光線の品質を改善する、補償レンズを含み得る。加えて、または代替として、一次自由形状光学要素は、1つ以上の中継レンズに動作可能に結合されている自由形状を含む。直前の実施形態のいくつかでは、一次自由形状光学要素はさらに、第1の光線を可変焦点合わせ要素から受信する折り曲げ反射体に結合される。

0021

可変焦点合わせ要素はまた、随意に、中間瞳を形成するための液体レンズを含み得る。第1の実施形態のいくつかでは、可変焦点合わせ要素は、中間瞳を形成するための変形可能膜ミラーを含む。これらの直前の実施形態のいくつかでは、可変焦点合わせ要素は、変形可能膜ミラーに動作可能に結合されている結合レンズ群、2つ以上のビームスプリッタを含む。第1の実施形態のいくつかでは、一次自由形状表示要素および二次自由形状表示要素は、同一である2つの視野を提示する。

0022

加えて、または代替として、一次自由形状表示要素は、増加させられた一次垂直視野または最大化された一次垂直視野を画定し、二次自由形状表示要素は、部分的に、増加させられた一次垂直視野または最大化された一次垂直視野に基づいて、二次垂直視野を画定し、タイル式自由形状光学表示デバイスは、少なくとも部分的に、増加させられた一次垂直視野または最大化された一次垂直視野、および、視野に対する所定の縦横比に基づいて、視野を画定する。第1の実施形態のいくつかでは、一次自由形状表示要素は、増加させられた一次垂直視野または最大化された一次垂直視野を画定し、二次自由形状表示要素は、増加させられた二次水平視野または最大化された二次水平視野を画定し、タイル式自由形状光学表示デバイスは、少なくとも部分的に、増加させられた一次垂直視野または最大化された一次垂直視野、および、増加させられた二次水平視野または最大化された二次水平視野に基づいて、視野を画定する。

0023

いくつかの第2の実施形態は、自由形状ライトフィールド表示システムを用いてオブジェクトに対する仮想コンテンツ表示を再現するためにオブジェクトから反射され、記録される光サンプルから光線を決定するためのコンピューティングデバイスと、光線を自由形状光学要素の中に投入するためのプロジェクタの束を備えている画像源であって、コンピューティングデバイスはさらに、オブジェクトに対する仮想コンテンツ表示を表示するために、光線からライトフィールドの一部をレンダリングするための1つ以上の光線を決定する、画像源と、画像源と自由形状光学要素との間に位置し、それらに動作可能に結合され、中間瞳を生成するための結合レンズ群とを含む自由形状ライトフィールド表示システムを対象とする。第2の実施形態のいくつかでは、自由形状ライトフィールド表示システムは、自由形状光学要素によって画定される少なくとも中間瞳および射出瞳を使用することによって、ライトフィールドを合成する。

0024

いくつかの第3の実施形態は、タイル式配置における自由形状光学表示機構を用いて立体画像を生成する方法を対象とする。これらの実施形態では、一次自由形状光学要素を備え、一次視野を画定する一次表示デバイスが、識別され得、二次視野を画定し、二次自由形状光学要素を備えている二次表示デバイスもまた、識別され得、一次表示デバイスの一次視野を拡張するタイル式表示デバイスは、少なくとも、二次表示デバイスを一次表示デバイスに統合することによって、考案され得る。

0025

これらの第3の実施形態のいくつかでは、二次表示デバイスおよび一次表示デバイスは、第1のタイル式配置の中に統合され、一次表示デバイスのこめかみ水平視野を拡張する、タイル式表示デバイスを形成する。加えて、または代替として、1つ以上の焦点面の焦点距離は、自由形状光学表示機構内の可変焦点合わせ機構を使用することによって、調節され得る。これらの直前の実施形態のいくつかでは、1つ以上の焦点面の焦点距離は、自由形状光学表示機構内の可変焦点合わせ機構内の変形可能ミラーの屈折力を変えることによって、変更され得る。加えて、または代替として、自由形状光学表示機構の1つ以上の焦点面の1つ以上の焦点距離は、可変焦点合わせ機構を用いて、変更され得る。

0026

第3の実施形態のいくつかでは、一次表示デバイスおよび/または二次表示デバイスは、少なくとも、自由形状光学表示機構によって生成される立体画像に対する焦点面の焦点距離を制御することによって、アドレス可能焦点機能性とともに考案または構成され得る。加えて、または代替として、一次表示デバイスおよび/または二次表示デバイスは、少なくとも、自由形状光学表示機構によって生成される立体画像に対する複数の焦点面を切り替えることによって、アドレス可能焦点機能性とともに考案または構成され得る。これらの直前の実施形態のいくつかでは、複数の焦点面のそれぞれの焦点距離は、可変焦点合わせ機構を用いて、アドレスされ得る。

0027

第3の実施形態のいくつかでは、周囲環境視認の品質は、少なくとも、少なくとも1つの補償レンズを一次表示デバイスの少なくとも一部と統合することによって、改良され得る。加えて、または代替として、少なくとも1つの補償レンズは、自由形状光学表示機構の一次表示デバイスの少なくとも一部を覆う。第3の実施形態のいくつかでは、二次表示デバイスの二次水平視野は、増加させられ、または最大化され得る。加えて、または代替として、一次表示デバイスおよび二次表示デバイスのための第1の配置は、一次視野および/もしくは二次視野に部分的または全体的に基づいて、決定され得る。

0028

直前の実施形態のいくつかでは、自由形状光学表示機構の水平視野または対角線視野は、一次表示デバイスおよび二次表示デバイスを互に隣接して配置する第1の配置を用いて、拡張され得る。第3の実施形態のいくつかでは、一次表示デバイスおよび二次表示デバイスのための第2の配置は、一次視野および/もしくは二次視野に部分的または全体的に基づく。

0029

これらの直前の実施形態のいくつかでは、自由形状光学表示機構の垂直視野または対角線視野は、一次表示デバイスを二次表示デバイスの上に、または二次表示デバイスを一次表示デバイスの上に配置する第2の配置を用いて、拡張され得る。第3の実施形態のいくつかでは、一次表示デバイスおよび二次表示デバイスのための第3の配置は、一次視野および/または二次視野に部分的または全体的に基づいて、決定され得る。これらの直前の実施形態のいくつかでは、第3の配置を伴う自由形状光学表示機構は、少なくとも、二次表示デバイスの二次視野を一次表示デバイスの一次視野とほぼ一致させることまたは正確に一致させることによって、考案され得る。

0030

第3の実施形態のいくつかでは、一次表示デバイスは、一次表示デバイスの一次垂直視野を増加させることまたは最大化することによって、考案され得、二次表示デバイスの二次垂直視野は、増加させられた一次垂直視野または最大化された一次垂直視野と正確にまたはほぼ一致させられ得る。第3の実施形態のいくつかでは、二次表示デバイスは、二次表示デバイスの二次水平視野を増加させることまたは最大化することによって、考案され得る。加えて、または代替として、一次表示デバイスは、第1の光学結合機構を介して第1の画像源と動作可能に結合され、第1の光学結合機構は、可変焦点合わせ機構を含む。

0031

第3の実施形態のいくつかでは、1つ以上の他の二次表示デバイスは、一次表示デバイスと統合され、自由形状光学表示機構の視野をさらに拡張するタイル式表示デバイスを考案し得る。随意に、実世界場面によって放出される光線によって立体画像に導入されるシフトおよび/または歪は、補償レンズの1つ以上の自由形状屈折表面特性を使用することによって、低減または最小化され得る。加えて、または代替として、生成される立体画像の品質は、少なくとも、一次表示デバイスおよび1つ以上の画像源を光学結合光学機構と結合することによって、自由形状光学表示機構によって改良され得る。

0032

いくつかの第4の実施形態は、仮想または拡張現実のための可変焦点合わせ自由形状光学表示システムを用いて立体画像を生成する方法を対象とする。これらの実施形態では、入力光ビームは、光学システムにおいて画像源から受信され得、入力光ビームのための可変焦点機構の焦点距離は、立体画像に対する少なくとも1つの焦点面の位置決めに部分的または全体的に基づいて、変えられ得、入力光ビームは、自由形状光学機構までの変えられた焦点距離を伴う可変焦点機構を使用することによって、可変焦点合わせ自由形状光学システムの少なくとも一部内を伝搬され得、立体画像は、自由形状光学機構を用いて、仮想または拡張現実提示のための少なくとも1つの焦点面上に生成され得る。

0033

これらの第4の実施形態のいくつかでは、入力光ビームは、第1の光学を通して1つ以上のビームスプリッタに伝搬され得、入力光ビームは、1つ以上のビームスプリッタを通して、可変焦点機構に向け直され得る。加えて、または代替として、可変焦点機構の焦点距離は、立体画像に対する1つ以上の焦点面の位置決めに部分的または全体的に基づいて、可変焦点機構の屈折力を変えることによって、変更され得る。随意に、入力光ビームは、変えられた焦点距離を伴う可変焦点機構を用いて、1つ以上のビームスプリッタに戻るように向け直され得、入力光ビームは、1つ以上のビームスプリッタから自由形状光学機構に伝搬され得る。

0034

第4の実施形態のいくつかでは、焦点面を変更するための要件が、自由形状光学表示機構によって生成される立体画像のために識別され得、1つ以上の制御は、要件に部分的または全体的に基づいて、可変焦点機構の焦点距離を変えるために提供され得、可変焦点機構の焦点距離は、1つ以上の制御を用いて、変えられた焦点距離に変えられ得る。これらの直前の実施形態のいくつかでは、入力光ビームは、変えられた焦点距離を伴う可変焦点機構から自由形状光学機構に伝搬され得、立体画像は、自由形状光学機構を用いて、仮想または拡張現実提示のための1つ以上の焦点面上に生成され得る。

0035

第4の実施形態のいくつかでは、立体画像の少なくとも一部を焦点を合わせてレンダリングするための第1の焦点面の第1の焦点距離が、決定され得、遠近調節キューおよび収束キューの両方が、遠近調節キューまたは収束キューを固定された焦点距離に結び付けることなく、第1の焦点距離を用いて、アドレスされ得、立体画像の少なくとも一部は、少なくとも自由形状光学機構および第1の焦点距離を使用することによって、入力光ビームを用いてレンダリングされ得る。これらの実施形態のいくつかでは、第1の焦点距離は、自由形状光学表示機構の可変焦点機構を使用することによって、アドレスされ得る。これらの直前の実施形態のいくつかでは、可変焦点機構内のアドレス可能可変焦点合わせ要素の屈折力は、立体画像の少なくとも一部をレンダリングするための第1の焦点距離を変更するように変動させられ得る。第4の実施形態のいくつかでは、複数の焦点面からの第1の焦点面は、入力光ビームを用いて立体画像の少なくとも一部を表示するための第1の焦点距離に部分的または全体的に基づいて、識別され、第1の焦点距離をアドレスし得る。

0036

いくつかの第5の実施形態は、自由形状光学システムを用いてライトフィールドディスプレイを生成する方法を対象とする。これらの実施形態では、光線束は、画像源から受信され、光線束内に仮想オブジェクトのための仮想表示コンテンツを生成し得、仮想オブジェクトのための情報は、光線束から抽出され得、変調された光線束は、光線束から抽出された情報に部分的または全体的に基づいて、生成され得、仮想オブジェクトのための仮想表示コンテンツは、変調された光線束および自由形状光学表示デバイスを用いて、レンダリングされ得る。

0037

これらの実施形態のいくつかでは、光線束内にレンダリングされるべき仮想オブジェクトは、識別され得、仮想オブジェクトを表示するための1つ以上のパラメータが、次いで、識別または決定され得る。これらの直前の実施形態のいくつかでは、仮想オブジェクトに対応するライトフィールドを合成するための第1の光線が、遠近調節範囲に部分的または全体的に基づいて、識別または決定され得、光線束は、画像源から自由形状光学表示デバイスに伝搬され得る。これらの直前の実施形態のいくつかでは、仮想オブジェクトに対応するライトフィールドは、肉眼遠近調節範囲に部分的または全体的に基づいて、合成され、第1の焦点距離を用いて、遠近調節キューおよび収束キューの両方をアドレスし得、仮想表示コンテンツは、少なくとも、自由形状光学表示デバイスを用いて、生成され得、ヒト観察者に見える仮想表示コンテンツの仮想画像距離は、第1の焦点距離に等しい。

0038

これらの実施形態のいくつかでは、ライトフィールドを合成する行為は、少なくとも部分的にユーザの視覚系の肉眼遠近調節範囲に基づいて、行われる。加えて、または代替として、仮想表示コンテンツに関連付けられた遠近調節キューおよび収束キューの両方は、可変焦点距離を用いて、アドレスされ得、可変焦点距離は、単一の焦点面の距離値を決定することによって、または異なる焦点距離値を有する複数の焦点面を切り替えることによって変動させられる。第5の実施形態のいくつかでは、光線束は、光線束から抽出された情報に部分的または全体的に基づいて、変調された光線束に変調され得る。

0039

加えて、または代替として、情報は、光線束の1つ以上の色、光線束の1つ以上の放射輝度、光線束の1つ以上の深度情報、または任意のそれらの組み合わせのうちの少なくとも1つを含む。1つ以上の決定が、行われ得る。これらの1つ以上の決定は、光線束から抽出された情報に部分的もしくは全体的に基づく変調された光線束が投影されるべき場所の第1の決定、変調された光線束を投影し、仮想表示コンテンツをレンダリングするために使用されるべき画像プロジェクタの第2の決定、または第1の決定および第2の決定の組み合わせのうちの少なくとも1つを含む。

0040

実施形態のいくつかでは、仮想オブジェクトをレンダリングするための1つ以上のパラメータが、識別または決定され得る。これらの直前の実施形態のいくつかでは、1つ以上のパラメータは、1つ以上の屈折表面パラメータ、1つ以上の反射表面パラメータ、または、1つ以上の屈折表面パラメータのうちの少なくとも1つの屈折表面パラメータと1つ以上の反射表面パラメータのうちの少なくとも1つの反射表面パラメータとの組み合わせを含む。加えて、または代替として、変調された光線束は、結合光アセンブリに伝搬され、中間瞳を生成し得る。随意に、または加えて、変調された光線束は、結合光学アセンブリから自由形状光学表示デバイスに中継され得、変調された光線束は、1つ以上のパラメータに部分的または全体的に基づいて、自由形状光学表示デバイス内の屈折および/または反射を介して、伝搬され得る。

0041

いくつかの第6の実施形態は、一次自由形状光学要素を備え、一次視野を画定する一次表示デバイスと、二次視野を画定し、二次自由形状光学要素を備えている二次表示デバイスと、一次視野を拡張するための一次表示デバイスおよび二次表示デバイスを含むタイル式表示デバイスとを含む立体画像を生成するための自由形状光学表示機構を対象とする。二次表示デバイスおよび一次表示デバイスは、随意に、第1のタイル式配置の中に統合され、一次表示デバイスのこめかみ水平視野を拡張する、タイル式表示デバイスを形成し得る。

0042

自由形状光学表示機構はまた、随意に、自由形状光学表示機構の一次表示デバイスと光学的に結合され、1つ以上の焦点面の焦点距離を調節するための可変焦点合わせ機構を含み得る。加えて、または代替として、自由形状光学表示機構は、自由形状光学表示機構の可変焦点合わせ機構内の変形可能ミラーと動作可能に結合され、1つ以上の焦点面の焦点距離を変更するための屈折力制御を備え得る。これらの第6の実施形態のいくつかでは、可変焦点合わせ機構は、自由形状光学表示機構の1つ以上の1つ以上の焦点面の焦点距離を調節する。一次表示デバイスおよび/または二次表示デバイスは、随意に、アドレス可能焦点機能性を含み、自由形状光学表示機構によって生成される立体画像のための焦点面の焦点距離を制御し得る。加えて、または代替として、一次表示デバイスおよび/または二次表示デバイスは、アドレス可能焦点機能性を含み、自由形状光学表示機構によって生成される立体画像のための複数の焦点面を切り替える。

0043

これらの第6の実施形態のいくつかでは、自由形状光学表示機構は、一次表示デバイスの少なくとも一部と結合される少なくとも1つの補償レンズを含み得、少なくとも1つの補償レンズは、自由形状光学表示機構の一次表示デバイスの少なくとも一部を覆う。一次および二次表示デバイスは、第1の配置、第2の配置、第3の配置、または任意のそれらの組み合わせを含む、1つ以上の配置で配置され得る。第1の配置は、一次表示デバイスと二次表示デバイスとを互に隣接して配置し、自由形状光学表示機構の水平視野または対角線視野を拡張する。

0044

第2の配置は、一次表示デバイスを二次表示デバイス上に、または二次表示デバイスを一次表示デバイス上に配置し、自由形状光学表示機構の垂直視野または対角線視野を拡張する。二次表示デバイスの二次視野を一次表示デバイスの一次視野とほぼまたは正確に一致させる第3の配置は、自由形状光学表示機構の垂直視野または対角線視野を拡張する。第6の実施形態のいくつかでは、自由形状光学表示機構はまた、一次表示デバイスと動作可能に結合される1つ以上の他の二次表示デバイスを含み、さらに、自由形状光学表示機構の視野を拡張させ得る。加えて、または代替として、自由形状光学表示機構は、一次表示デバイスおよび1つ以上の画像源と動作可能に結合される、光学結合光学機構を含み、自由形状光学表示機構によって生成される立体画像の品質を改善し得る。

0045

いくつかの第7の実施形態は、入力光ビームを光学システムの中に放出する画像源と、立体画像に対する少なくとも1つの焦点面の位置決めに部分的または全体的に基づいて、変えられた焦点距離に変えられる焦点距離を有する可変焦点機構と、変えられた焦点距離を伴う可変焦点機構によって向かわせられた入力光ビームを受信し、自由形状光学機構を用いて、仮想または拡張現実提示のために少なくとも1つの焦点面上に立体画像を生成するための自由形状光学機構とを備えている、立体画像を生成するための仮想または拡張現実のための可変焦点合わせ自由形状光学表示システムを対象とする。

0046

可変焦点合わせ自由形状光学表示システムはまた、これらの実施形態のいくつかでは、1つ以上のビームスプリッタを含み、1つ以上のビームスプリッタは、画像源から第1の光学を通して伝搬される入力光ビームを受信し、入力光ビームを可変焦点機構に向け直し得る。加えて、または代替として、可変焦点合わせ自由形状光学表示システムは、屈折力制御機構を含み、屈折力制御機構は、立体画像に対する1つ以上の焦点面の位置決めに部分的または全体的に基づいて、可変焦点機構の屈折力を変え得る。

0047

いくつかの実施形態では、1つ以上のビームスプリッタは、変えられた焦点距離を用いて、入力光ビームを可変焦点機構に戻るように向け直し、入力光ビームは、1つ以上のビームスプリッタから自由形状光学機構に伝搬される。随意に、可変焦点合わせ自由形状光学表示システムは、制御機構を含み、制御機構は、自由形状光学表示機構によって生成される立体画像に対する焦点面を変更するための要件に部分的または全体的に基づいて、可変焦点機構の焦点距離を変えための1つ以上の制御を提供し得る。

0048

これらの直前の実施形態のいくつかでは、可変焦点機構は、自由形状光学機構と動作可能に結合され、入力光ビームを変えられた焦点距離を伴う可変焦点機構から自由形状光学機構に伝搬し、自由形状光学機構は、仮想または拡張現実提示のための1つ以上の焦点面上に立体画像を生成する。これらの第7の実施形態のいくつかでは、可変焦点合わせ自由形状光学表示システムは、立体画像の少なくとも一部を焦点を合わせてレンダリングするための第1の焦点面の第1の焦点距離を決定するための決定機構と、遠近調節キューまたは収束キューを固定された焦点距離に結び付けることなく、第1の焦点距離を用いて遠近調節キューおよび収束キューの両方をアドレスするための可変焦点機構とを含み得、少なくとも、自由形状光学機構を使用することは、入力光ビームおよび第1の焦点距離を用いて、立体画像の少なくとも一部をレンダリングするためである。

0049

いくつかの第8の実施形態は、光線束内に仮想オブジェクトのための仮想表示コンテンツを生成するための光線束を放出するための画像源と、光線束から仮想オブジェクトについての情報を抽出するための抽出機構と、光線束から抽出された情報に部分的または全体的に基づいて、変調された光線束を生成するための変調機構と、変調された光線束を用いて、仮想オブジェクトのための仮想表示コンテンツをレンダリングするための自由形状光学表示デバイスとを含む、ライトフィールドディスプレイを生成するための自由形状光学システムを対象とする。

0050

いくつかの実施形態では、自由形状光学システムはさらに、コンピューティングシステムを含み、コンピューティングシステムは、光線束内にレンダリングされるべき仮想オブジェクトを識別し、仮想オブジェクトを表示するための1つ以上のパラメータを識別または決定し得る。1つ以上のパラメータが、仮想オブジェクトをレンダリングするために識別され、または決定され、1つ以上のパラメータは、これらの実施形態のいくつかでは、1つ以上の屈折表面パラメータ、1つ以上の反射表面パラメータ、または、1つ以上の屈折表面パラメータのうちの少なくとも1つの屈折表面パラメータと1つ以上の反射表面パラメータのうちの少なくとも1つの反射表面パラメータとの組み合わせを含む。

0051

これらの実施形態のいくつかでは、コンピューティングシステムはさらに、遠近調節範囲に部分的または全体的に基づいて、仮想オブジェクトに対応するライトフィールドを合成するための第1の光線を識別または決定する。加えて、または代替として、コンピューティングシステムはさらに、肉眼遠近調節範囲に部分的または全体的に基づいて、仮想オブジェクトに対応するライトフィールドを合成し、自由形状光学表示デバイスのための第1の焦点距離を用いて、遠近調節キューおよび収束キューの両方をアドレスし、少なくとも、自由形状光学表示デバイスを用いて、仮想表示コンテンツを生成し、ヒト観察者に見える仮想表示コンテンツの仮想画像距離は、第1の焦点距離に等しい。

0052

随意に、ライトフィールドは、少なくとも部分的にユーザの視覚系の肉眼遠近調節範囲に基づいて、合成される。これらの第8の実施形態のいくつかでは、自由形状光学システムは、アドレス機構を含み、仮想表示コンテンツに関連付けられた遠近調節キューおよび収束キューの両方を可変焦点距離を用いてアドレスし得、可変焦点距離は、単一の焦点面の距離値を決定することによって、または異なる焦点距離値を有する複数の焦点面を切り替えることによって変動させられる。随意に、変調機構は、光線束から抽出された情報に部分的または全体的に基づいて、変調された光線束に光線束を変調する。

0053

加えて、または代替として、情報は、光線束の1つ以上の色、光線束の1つ以上の放射輝度、光線束の1つ以上の深度情報、または任意のそれらの組み合わせのうちの少なくとも1つを含む。これらの第8の実施形態のいくつかでは、自由形状光学システムはまた、光線束から抽出された情報に部分的または全体的に基づいて、変調された光線束が投影されるべき場所を決定するための決定機構を含み得る。加えて、または代替として、自由形状光学システムは、変調された光線束を投影し、仮想表示コンテンツをレンダリングするために使用されるべき画像プロジェクタを決定するための決定機構を含み得る。自由形状光学システムはまた、随意に、結合光学アセンブリを備え、変調された光線束を受信し、屈折および/または反射を介して、変調された光線束を自由形状光学表示デバイスに伝搬し、中間瞳を生成し得る。

0054

仮想および/または拡張現実のためのアドレス可能焦点を伴う自由形状光学システムを用いて、立体視を表示する方法およびシステムの追加の詳細は、図1−14Dを参照して以下の発明を実施するための形態に説明される。

図面の簡単な説明

0055

図面は、本発明の種々の実施形態の設計および有用性を図示する。図は、正確な縮尺で描かれておらず、類似構造または機能の要素は、図全体を通して類似参照番号によって表されることに留意されたい。本発明の種々の実施形態の前述および他の利点ならびに目的を得る方法をより深く理解するために、簡単に前述された発明を実施するための形態が、付随の図面に図示されるその具体的実施形態を参照することによって与えられるであろう。これらの図面は、本発明の典型的実施形態のみを描写し、その範囲の限定として見なされないことを理解した上で、本発明は、付随の図面の使用を通して追加の具体性および詳細とともに記載および説明されるであろう。
図1は、いくつかの実施形態における、仮想および/または拡張現実のためのアドレス可能焦点を伴う自由形状光学システムを用いて立体視を表示するためのラップアラウンド式システムの概略図を図示する。
図2は、いくつかの実施形態における、仮想および/または拡張現実のためのアドレス可能焦点を伴う自由形状光学システムを用いて水立体視を表示するための水平搭載式システムの部分概略図を図示する。
図3は、いくつかの実施形態における、仮想および/または拡張現実のためのアドレス可能焦点を伴う自由形状光学システムを用いて立体視を表示するための垂直搭載式システムの部分概略図を図示する。
図4A−Bは、いくつかの実施形態における、仮想および/または拡張現実のための補償レンズ要素を用いて立体視を表示するためのシステムの自由形状光学要素の部分概略図を図示する。
図4A−Bは、いくつかの実施形態における、仮想および/または拡張現実のための補償レンズ要素を用いて立体視を表示するためのシステムの自由形状光学要素の部分概略図を図示する。
図5は、いくつかの実施形態における、タイル式配置におけるいくつかの自由形状光学要素の水平視野(FOV)の略図を示す。
図6は、いくつかの実施形態における、水平タイル式配置における2つの自由形状光学要素の垂直および水平視野(FOV)の略図を図示する。
図7は、いくつかの実施形態における、水平タイル式配置における2つの自由形状光学要素の垂直および水平視野(FOV)の別の略図を図示する。
図8は、いくつかの実施形態における、水平タイル式配置における2つの自由形状光学要素の垂直および水平視野(FOV)の別の略図を図示する。
図9Aは、いくつかの実施形態における、タイル式配置の自由形状光学要素内の一次表示デバイスの簡略化された略図を図示する。
図9Bは、いくつかの実施形態における、タイル式配置の自由形状光学要素内の一次表示デバイスの別の簡略化された略図を図示する。
図9Cは、いくつかの実施形態における、タイル式配置の自由形状光学要素内の一次表示デバイスの別の簡略化された略図を図示する。
図10Aは、いくつかの実施形態における、自由形状光学システムを有する可変焦点合わせ表示システムの簡略化された略図を図示する。
図10Bは、いくつかの実施形態における、自由形状光学システムを有する別の可変焦点合わせ表示システムの別の簡略化された略図を図示する。
図11Aは、いくつかの実施形態における、従来の2次元ディスプレイと比較したライトフィールドディスプレイの簡略化された表現を図示する。
図11Bは、いくつかの実施形態における、クラスタ化された光線束の制御を提供し、光線の方向の関数として、光線の放射輝度および色を変調する、自由形状光学を伴うライトフィールドディスプレイの簡略化された略図を図示する。
図11Cは、いくつかの実施形態における、図11B内のライトフィールドディスプレイのためのディスプレイ源の簡略化された略図を図示する。
図11Dは、いくつかの実施形態における、クラスタ化された光線束の制御を提供し、光線の方向の関数として、光線の放射輝度および色を変調する、自由形状光学を伴うライトフィールドディスプレイの別の簡略化された略図を図示する。
図12Aは、いくつかの実施形態における、タイル式配置における自由形状光学システムを用いて立体画像を生成する方法の高レベル流れ図を図示する。
図12B−Eは一緒に、いくつかの実施形態における、タイル式配置における自由形状光学システムを用いて立体画像を生成する方法のより詳細な流れ図を図示する。
図12B−Eは一緒に、いくつかの実施形態における、タイル式配置における自由形状光学システムを用いて立体画像を生成する方法のより詳細な流れ図を図示する。
図12B−Eは一緒に、いくつかの実施形態における、タイル式配置における自由形状光学システムを用いて立体画像を生成する方法のより詳細な流れ図を図示する。
図12B−Eは一緒に、いくつかの実施形態における、タイル式配置における自由形状光学システムを用いて立体画像を生成する方法のより詳細な流れ図を図示する。
図13Aは、いくつかの実施形態における、タイル式配置における可変焦点合わせ自由形状光学システムを用いて立体画像を生成する方法の高レベル流れ図を図示する。
図13Bは、いくつかの実施形態における、タイル式配置における可変焦点合わせ自由形状光学システムを用いて立体画像を生成する方法のより詳細な流れ図を図示する。
図13C−Dは一緒に、いくつかの実施形態における、タイル式配置における可変焦点合わせ自由形状光学システムを用いて立体画像を生成するためのプロセスの流れ図を図示する。
図13C−Dは一緒に、いくつかの実施形態における、タイル式配置における可変焦点合わせ自由形状光学システムを用いて立体画像を生成するためのプロセスの流れ図を図示する。
図14Aは、いくつかの実施形態における、自由形状光学システムを用いてライトフィールドディスプレイを生成する方法の高レベル流れ図を図示する。
図14Bは、いくつかの実施形態における、自由形状光学システムを用いてライトフィールドディスプレイを生成する方法のより詳細な流れ図を図示する。
図14C−Dは一緒に、いくつかの実施形態における、自由形状光学システムを用いてライトフィールドディスプレイを生成する方法の別のより詳細な流れ図を図示する。
図14C−Dは一緒に、いくつかの実施形態における、自由形状光学システムを用いてライトフィールドディスプレイを生成する方法の別のより詳細な流れ図を図示する。

実施例

0056

本発明の種々の実施形態は、単一の実施形態またはいくつかの実施形態における、仮想および/または拡張現実のためのアドレス可能焦点を伴う自由形状光学システムを用いて立体視を表示する方法、システム、および製造品を対象とする。本発明の他の目的、特徴、および利点は、発明を実施するための形態、図、および請求項に説明される。

0057

開示されるのは、仮想および拡張現実用途だけではなく、ニアアイ(near−to−eye)ディスプレイ、コンピューティング、およびディスプレイ用途、またはさらにテキスト専用ディスプレイ等の他の用途のためにも非常に好適である視覚的ディスプレイのための方法およびシステムである。いくつかの実施形態は、仮想および/または拡張現実のためのアドレス可能焦点を伴う自由形状光学システムを用いて立体視を表示するためのシステムを対象とする。いくつかの実施形態では、システムは、介在要素を伴わずに直接的に、もしくは1つ以上の介在要素を用いて間接的にユーザの眼のための1つ以上の一次自由形状光学要素の中に光線を投入する画像源を含み得る。一次自由形状光学要素は、いくつかの実施形態では、折り曲げミラーおよび1つ以上の中継レンズと結合される楔形状の自由形状光学要素を含み得る。いくつかの他の実施形態では、一次自由形状光学要素は、自由形状導波管を含み得る。一次自由形状光学要素は、1つ以上の屈折表面と、1つ以上の反射表面とを備え、投入された光線が、最後に一次自由形状光学要素を出て仮想表示コンテンツを形成する前に、これらの表面間で偏向または反射することを可能にする。

0058

これらの1つ以上の屈折表面もしくは1つ以上の反射表面は、例えば、屈折率、反射率、表面外形、表面コーティングの材料および/または厚さ、透過係数もしくは曲線、1つ以上のフィルタ係数、もしくは任意のそれらの組み合わせを含む、同一もしくは異なる表面特性を有し得る。システムは、タイル式自由形状光学表示システムを形成するために、1つ以上の一次自由形状光学要素に動作可能に結合され、水平視野(FOV)および/または垂直視野を拡張する1つ以上の二次自由形状光学要素をさらに含み得る。システムはまた、画像源、1つ以上の一次自由形状光学要素、および/もしくは1つ以上の二次自由形状光学要素に動作可能に結合された光学結合レンズまたは光学結合レンズ群を含み得、それらは、光線を中継または結合し、かつ、1つ以上の一次および/もしくは二次自由形状光学要素を通過する画像源から投入された光線と実世界場面からの光線とのある特性を補正もしくは改良する。

0059

いくつかの実施形態では、自由形状光学表示システムは、自由形状光学要素を含み得る。自由形状光学要素は、1つ以上の屈折表面および1つ以上の反射表面を有する導波管を含み、投入された光線が、最後に、一次自由形状光学要素から出て仮想表示コンテンツを形成する前に、これらの表面間で偏向または反射することを可能にし得る。これらの1つ以上の屈折表面もしくは1つ以上の反射表面は、例えば、屈折率、反射率、表面外形、表面コーティングの材料および/または厚さ、透過係数または曲線、1つ以上のフィルタ係数、もしくは任意のそれらの組み合わせを含む、同一または異なる表面特性を有し得る。

0060

システムはまた、仮想表示コンテンツをレンダリングするために、光線を自由形状光学要素の中に投入するための画像源を含み得る。これらの実施形態のいくつかでは、システムは、仮想表示コンテンツの少なくとも一部が焦点が合ってレンダリングされるであろう、単一の焦点面の焦点距離を変化させる可変焦点合わせシステムを含み得る。いくつかの他の実施形態では、システムは、無明滅レートで複数の焦点面を切り替え、仮想表示コンテンツの少なくとも一部を焦点を合わせてレンダリングする可変焦点合わせシステムを含み得る。システムは、仮想表示コンテンツまたはそれらのそれぞれの部分を複数の焦点面のうちのいくつかの焦点面上に並行してレンダリングし得る。

0061

システムは、遠近調節−収束衝突を解決するために、遠近調節キュー(accommodation cue)または収束キュー(convergence cue)を固定された距離値に結び付けずに、可変焦点合わせシステムを採用し、変化する焦点距離を用いて遠近調節キューおよび収束キューの両方をアドレスする。さらにいくつかの他の実施形態では、システムは、仮想表示コンテンツの少なくとも一部が焦点が合ってレンダリングされるであろう、複数の焦点面のそれぞれの焦点距離を変化させる可変焦点合わせシステムを含み得る。

0062

いくつかの実施形態では、自由形状光学表示システムは、コンピューティングデバイスを含み、コンピューティングデバイスは、自由形状光学表示システムを用いてオブジェクトに対する仮想コンテンツ表示を再現するために、オブジェクトから反射されるかまたはオブジェクトに対して人工的に作成され、記録された光サンプルから適切な光線を決定する。自由形状光学表示システムは、光線を形成する放射輝度および/または深度情報を抽出し、抽出された情報を使用して、光線が投影されるべき場所、対応する光線を投影するために使用されるべき画像プロジェクタ、および、画像プロジェクタが、対応する光線を投影し、ライトフィールド(light field)をレンダリングする場所を決定し得る。自由形状光学表示システムは、次いで、その対応する画像プロジェクタを用いて、種々の光線を投影し、ライトフィールドを合成し得る。

0063

自由形状表示システムは、一次自由形状光学要素と、1つ以上の二次自由形状光学要素とを含み、仮想または拡張現実のための仮想コンテンツを表示するために、自由形状表示システムの水平視野(FOV)または垂直視野を拡張させ得る。一次自由形状および1つ以上の二次自由形状光学要素は、タイル式配置で配置され得る。自由形状表示システムはさらに、可変焦点合わせシステムを含み、中間瞳を生成し得る。可変焦点合わせシステムは、いくつかの実施形態では、単一の焦点面の焦点距離を変化させ得るか、または、いくつかの他の実施形態では、遠近調節−収束衝突を解決しながら、オブジェクトを焦点を合わせてレンダリングするために、複数の焦点面を切り替え得る。自由形状表示システムは、いくつかの実施形態では、光サンプルを物理的空間において適切な光線にマップし、プロジェクタのクラスタを使用して、マップされた光線を投影し、仮想表示コンテンツのライトフィールドを生成し得る。自由形状光学表示システムを作製または使用する方法と、可変焦点自由形状光学を用いて仮想コンテンツを生成し、ライトフィールドをレンダリングする方法もまた、開示される。

0064

自由形状表示システムは、一次自由形状光学要素と、1つ以上の二次自由形状光学要素とを含み、仮想または拡張現実のための仮想コンテンツを表示するために、自由形状表示システムの水平視野(FOV)または垂直視野を拡張させ得る。一次自由形状および1つ以上の二次自由形状光学要素は、タイル式配置で配置され得る。自由形状表示システムはさらに、可変焦点合わせシステムを含み、中間瞳を生成し得る。可変焦点合わせシステムは、いくつかの実施形態では、単一の焦点面の焦点距離を変化させ得るか、または、いくつかの他の実施形態では、遠近調節−収束衝突を解決しながら、オブジェクトを焦点を合わせてレンダリングするために、複数の焦点面を切り替え得る。自由形状表示システムは、いくつかの実施形態では、光サンプルを物理的空間において適切な光線にマップし、プロジェクタのクラスタを使用して、マップされた光線を投影し、仮想表示コンテンツのライトフィールドを生成し得る。自由形状光学表示システムを作製または使用する方法と、可変焦点自由形状光学を用いて仮想コンテンツを生成し、ライトフィールドをレンダリングする方法もまた、開示される。

0065

ここで、種々の実施形態が、当業者が本発明を実践することを可能にするように、本発明の例証的実施例として提供される、図面を参照して詳細に説明される。留意すべきこととして、以下の図および実施例は、本発明の範囲を限定することを意味するものではない。本発明のある要素が、公知の構成要素(または方法もしくはプロセス)を使用して部分的または完全に実装され得る場合、本発明の理解のために必要なそのような公知の構成要素(または方法もしくはプロセス)のそれらの部分のみ、説明され、そのような公知の構成要素(または方法もしくはプロセス)の他の部分の詳細な説明は、本発明を曖昧にしないように、省略されるであろう。さらに、種々の実施形態は、例証として本明細書に参照される構成要素の現在および将来的公知の均等物を包含する。

0066

仮想および/または拡張現実のためのアドレス可能焦点を伴う自由形状光学システムを用いて立体視を表示する方法およびシステムが開示される。図1は、いくつかの実施形態における、仮想および/または拡張現実のためのアドレス可能焦点を伴う自由形状光学システムを用いて立体視を表示するためのラップアラウンド式表示システムの概略図を図示する。図1に図示されるこれらの実施形態では、ラップアラウンド式表示システムは、頭部または顔外形102の周囲に適合する、単眼または双眼ヒト装着式ディスプレイ眼鏡、頭部搭載式ディスプレイ、またはニアアイディスプレイを含み得る。図1に図示されるような表示システムの双眼バージョンは、一対の光誘導デバイス104(以降、自由形状導波管プリズムまたは自由形状光学要素と称される)を含み得、各々は、1つ以上の自由形状屈折表面と、1つ以上の反射表面とを含む。

0067

自由形状光学要素104のユーザの眼により近い内側物理的表面およびユーザの眼から離れた外側物理的表面は、いずれの表面においても不連続性を有していない2つの連続した平滑表面を含む。これらの2つの物理的表面の各々は、一組の自由形状表面パラメータによって説明される。自由形状光学要素104は、内側表面の一部ではない1つ以上の屈折表面を含み得、1つ以上の屈折表面は、1つ以上の異なる組の表面パラメータによって説明され得る。自由形状光学要素104はさらに、1つ以上の反射表面を含み得、1つ以上の反射表面は、内側表面または外側表面の一部であることも、そうでないこともあり、同一または1つ以上の異なる組の表面パラメータによって説明され得る。いくつかの実施形態では、表示システムは、複数の自由形状光学要素を含み得、複数の自由形状光学要素は、タイル式配置で配置され、水平視野、垂直視野、または両方を拡張する、
複数の自由形状光学要素は、自由形状光学要素の1つ以上の水平列を有するアレイで配置され得、水平列の各々は、1つ以上の自由形状光学要素を水平配置で有し、互に連動し、水平視野(故に、対角線視野)を拡張する。アレイが垂直配置で配置される複数の列を含むいくつかの実施形態では、垂直配置における自由形状光学要素はまた、互に連動して機能し、垂直視野(故に、対角線視野)を拡張する。これらの複数の自由形状光学要素は、いくつかの実施形態では、1つ以上の一次自由形状光学要素と、1つ以上の二次自由形状光学要素とを含み得る。いくつかの実施形態では、一次自由形状光学要素は、垂直配置(例えば、図3に示される垂直配置)または水平配置(例えば、図2に示される配置)における自由形状導波管を含み得る。いくつかの他の実施形態では、一次自由形状光学要素は、折り畳まれた配置において自由形状楔と、1つ以上の中継レンズとを含み得る(例えば、図9A−Bに示される自由形状楔および中継レンズ)。複数の自由形状光学要素はまた、いくつかの実施形態では、自由形状導波管または自由形状楔を含み得る、1つ以上の二次自由形状光学要素を含み得る。

0068

表示システムはまた、光を画像源110(例えば、プロジェクタの束)から導波管プリズム104の中に適切に投入するための1つ以上の追加の結合光学要素(例えば、結合レンズ108、焦点合わせ要素106、および/もしくは1つ以上の中継レンズ等)を含み得る。自由形状導波管プリズムおよび結合光学の場所および表面の幾何学的外形は、視認者が画像源110から表示されるコンテンツの鮮明かつ拡大された画像を見ることが可能であるように設計され得る。画像源110は、微小ディスプレイパネルと、微小ディスプレイ表面において光のテレセントリック性を達成するために使用されるフィールドレンズとを含み得る。

0069

微小ディスプレイパネルは、反射型微小ディスプレイ(例えば、:LCoSまたは反射型液晶FLCoSまたは強誘電反射型液晶、もしくはDMDまたはデジタルMicroミラーデバイスパネル)または透過型微小ディスプレイ(例えば、:LCDまたは液晶ディスプレイパネル)または自己放出型微小ディスプレイ(例えば、:OLEDまたは有機発光ダイオードパネル)のいずれかであり得る。反射型微小ディスプレイパネルが使用されるいくつかの実施形態では、1つ以上のビームスプリッタ(図示せず)が、照明経路を導入するために、フィールドレンズ(図示せず)の後に使用され得る。画像源110と自由形状光学要素104との間に、表示システムはさらに、結合レンズ108を含み、光学収差を補正し、画像品質を改善し得る。焦点合わせ要素106は、いくつかの実施形態では、液体レンズを含む、多焦点要素であり得る。

0070

焦点合わせ要素106(例えば、液体レンズ)はまた、1つ以上の結合レンズを含み得る結合レンズ群108に統合され得る。いくつかの他の実施形態では、焦点合わせ要素106は、変形可能膜ミラー(DMM)と、ビーム分割デバイスとを含み得、ビーム分割デバイスは、結合レンズ群(例えば、結合レンズ群108)に結合され、表示コンテンツを画像源110から受信し、表示コンテンツを自由形状要素に渡す。焦点合わせ要素についてのさらなる詳細は、図10A−10Bを参照して後続段落に説明されるであろう。

0071

いくつかの実施形態では、二次ディスプレイは、アドレス可能焦点合わせ機能性を有することも、有しないこともある。アドレス可能焦点合わせ機能性が要求または所望されないこともあるこれらの実施形態のいくつかでは、二次ディスプレイは、より大きい全体的視野(FOV)、より軽い重量、および/またはよりコンパクトなサイズに有利になるように実装され得る。

0072

図1に図示されるこれらの実施形態では、画像源110から発生する光線は、屈折表面112を通して自由形状光学要素104に進入し、自由形状光学要素104の内側表面および外側表面によって3回反射され、次いで、屈折表面120を通して伝送され、射出瞳122に到達する。これらの実施形態では、3回の反射のうち、表面114および116からの反射は、TIR条件を満たし得、外側表面上の表面118からの反射は、TIR条件を満たさないこともある。表面118からの反射のための反射効率を増加させるために、半透明コーティングを外側表面118に塗布することが要求または所望され得る。表面114からの反射のためのTIR条件を維持するために、誘電コーティングが、いくつかの実施形態では、表面114に塗布され得る。眼鏡形状因子を確実にするために、自由形状光学要素の内側表面は、いくつかの実施形態では、事前に画定された曲線に近いように拘束され得る。

0073

自由形状光学要素がシースルー光学要素を備えているいくつかの実施形態では、頭部搭載式表示デバイスのシースルー経路は、自由形状光学要素104と、自由形状光学要素104の外部表面に分離可能または分離不能に取り付けられ得る自由形状シースルー補償レンズ(例えば、図4の参照番号408)とを含む。1つ以上の自由形状屈折表面を含む、シースルー補償レンズは、超広角シースルー視野にわたる周囲環境の適切な視認を提供し得る。自由形状光学要素104およびシースルー補償レンズはまた、ヒト頭部の人間工学的因子(例えば、頭部または顔外形102)と人間工学的に適合するように適切に設計され、眼鏡形態またはヘルメット形態外観、広角シースルー視野、および優れた光学性能を有し得る、軽量、薄型外形、コンパクト、かつシースルーの表示システムのラップアラウンド式設計を可能にし得る。

0074

1つ以上の自由形状屈折表面を含む、補償レンズは、超広角視野にわたる周囲環境の適切な視認を提供する。補償レンズの表面は、補償レンズが自由形状光学要素(例えば、図1の104)と組み合わせられると、実世界場面から光線に導入されるシフトおよび歪を最小化または低減させるように向上もしくは最適化され得る。自由形状光学要素104の取り付けられた表面上の反射が自由形状光学要素104内の仮想画像ディスプレイ経路に沿ったTIR(全内部反射)条件を満たす、いくつかの実施形態では、自由形状光学要素104と補償レンズとの間に小空気間隙を維持することが要求または所望され得る。

0075

いくつかの実施形態は、表示システム内にシースルー能力を提供し、ユーザが、視認光学(例えば、自由形状光学要素104および自由形状シースルー補償レンズ)を通したユーザの周囲環境と表示デバイス上に表示されるコンテンツとを視認することを可能にする。これらの実施形態のいくつかでは、表示システムは、仮想ビューのFOVより実質的に大きくあり得る(例えば、水平、垂直、または対角線FOVにおいて15度を上回ってより大きい)、シースルー視野(FOV)をもたらす。この実質的により大きいFOVは、例えば、画像源110を頭部の片側により近くなるように移動させ、自由形状光学要素104の鮮明な光学開口を拡張すること、自由形状光学要素104および補償レンズ上の表面を制御し、光線シフトおよび歪を補正すること、ならびに/または大きなFOVにわたる高シースルー性能を確実にすることを含むいくつかの機構によって提供され得る。

0076

これらの実施形態のいくつかでは、シースルーFOVは、水平方向に120度および垂直方向に80度程度に拡張し得る。表示デバイスのFOVを通したシースルーは、いくつかの実施形態では、ヒトの眼の視野に一致するように拡張され得る。いくつかの実施形態では、画像源上の同一点からの光線は、自由形状光学要素104の内側で少なくとも1回交差し得る。光線の交差は、自由形状光学要素104内に仮想ディスプレイ中間画像または中間瞳を形成するが、光線交差点は、自由形状光学要素104内の光経路複雑性に起因して、良好に形成されない場合がある。

0077

いくつかの実施形態では、表示デバイスの仮想画像経路は、表示コンテンツを供給するための画像源110(例えば、プロジェクタの束、微小アレイディスプレイ、LCoSまたは反射型液晶、もしくはDLPまたはデジタル光処理等)と、それを通してユーザが表示コンテンツの拡大された画像を視認する人間工学的に成形されたディスプレイ視認光学とを含み得る。ディスプレイ視認光学は、1つ以上の自由形状屈折表面と1つ以上の反射表面とを含む1つ以上の自由形状光学要素を含み得、追加の結合光学も含み得る。導波管プリズムは、ユーザが知覚するための画像を拡大する、ニアアイ視認光学としての役割を果たし得る。

0078

画像源110から放出される光線は、自由形状光学要素104の第1の屈折表面を介して、自由形状光学要素104の中に投入される。光線は、直接画像源110から直接的に、または結合レンズ群(例えば、結合レンズ108、焦点合わせ要素106、および/または1つ以上の中継レンズ等)を通して、プリズムの中に投入され得る。投入された光線は、反射(典型的には、3回以上の反射)を介して、自由形状光学要素104を通して伝搬し、次いで、自由形状光学要素104の第2の屈折表面を介して、自由形状光学要素104から出て結合される。出て行く光線は、伝搬し続け、ユーザが仮想表示コンテンツを視認するためにその眼を向ける、システムの射出瞳に到達する。

0079

光が自由形状光学要素104を通して伝搬するとき、反射表面上の全内部反射(TIR)条件が満たされる場合、反射を通した光損失は、低減または最小化され得る。したがって、これらの例証される実施形態のいくつかでは、厳密に要求されるわけではないが、反射の全部または大部分がTIR条件を満たすことが所望される。但し、いくつかの実施形態では、反射表面のうちのいくつか上のTIR条件を妥協することによって、導波管プリズムの薄型設計を達成することが望ましくあり得る。TIR条件が満たされない、デバイスの指定されたシースルーFOVの内側に位置する反射表面のために、半透明コーティングがこれらの表面に塗布され、光学シースルー能力を促進しながら、画像源ユニット110から十分な光が射出瞳に到達し、十分に輝度のある画像を生成することを確実にし得る。

0080

表示デバイスのシースルーFOVの外側の反射表面のために、TIR条件が満たされない場合、高反射コーティングが、自由形状光学要素104の外部表面のうちの少なくともいくつかに塗布され、光損失を低減または最小化し得る。いくつかの実施形態では、画像源110は、限定ではないが、反射型液晶(LCoS)表示デバイス、液晶ディスプレイ(LCD)パネル、有機発光ディスプレイ(OLED)、強誘電反射型液晶(FLCoS)デバイス、デジタルミラーデバイス(DMD)、前述のこれら上に構築される微小プロジェクタまたはピコプロジェクタレーザプロジェクタまたはファイバスキャナの束等のプロジェクタの束、もしくは任意の他の好適なタイプの微小表示デバイスを含む、画像源として役立ち得る任意のタイプの自己放出または照明ピクセルアレイを含み得る。

0081

いくつかの実施形態では、自由形状光学要素104は、自由形状光学要素104内に、ディスプレイFOVからの画像源110のシフトを可能にする、長い光学経路を含み得る。ディスプレイFOVからの画像源110のこのシフトは、画像源をユーザの前額部またはユーザの頭部の片側に設置し得、例えば、HMDシステムの正面重量を低減させることによって、より優れた重量平衡を達成し、故に、システムの人間工学的適合を改良し得る。ディスプレイFOVからの画像源110のこのシフトは、結合レンズおよびディスプレイをヒトの自然視野から移動させることによって、システム全体の達成可能シースルーFOVを増加させ得る。

0082

加えて、または代替として、自由形状光学要素104の形状は、より優れた最適な人間工学的適合のために、ヒト頭部(例えば、頭部または顔曲線もしくは外形102)の自然曲線または外形に近いように設計され得る。例えば、自由形状光学要素104の形状は、いくつかの実施形態では、一対の8ベースカーブ眼鏡の曲率に近いように湾曲させられ得、自由形状光学要素104の形状は、いくつかの他の実施形態では、一対の4ベースカーブ眼鏡の形状因子にほぼ従い得る。さらに、視認方向における自由形状光学要素104および補償レンズの全体的厚さは、より薄い光学外形(例えば、30mm未満)を達成し、より優れた人間工学的適合およびより魅力的眼鏡状スタイルをもたらす、光学シースルー表示システムのラップアラウンド式設計を達成するように制御され得る。

0083

いくつかの実施形態では、表示システムは、画像源の束を含み、各光サンプルを物理的空間における適切な光線にマップし、適切な光線から放射輝度および/または深度を含む情報を抽出し、立体画像をレンダリングすることによって、ライトフィールドを合成し得る。

0084

図2は、いくつかの実施形態における、仮想および/または拡張現実のためのアドレス可能焦点を伴う自由形状光学システムを用いて立体視を表示するための水平搭載式システムの部分概略図を図示する。これらの実施形態では、表示システムは、重量分布をユーザの頭部の片側により近くなるようシフトさせるように水平に搭載され得る。より具体的には、表示システムは、自由形状光学要素202と、焦点合わせシステム204と、結合レンズシステム206と、画像源208とを含む。図2が示すように、焦点合わせシステム204、結合レンズシステム206、ならびに画像源208は、ユーザの頭部の片側にシフトされ、これらのシステムが視野を遮断することを防止し、さらに、表示システムの重量分布を後側にシフトさせ、より優れた快適性のために、正面が重くなる構成を防止する。

0085

この例証的構成では、画像源208(例えば、プロジェクタの束、微小アレイディスプレイ、LCoSまたは反射型液晶、もしくはDLPまたはデジタル光処理等)は、光線シフトおよび歪を補正し、ならびに/または大きなFOVにわたり高性能を確実にし得る結合レンズシステム206の中に表示コンテンツの光線を投入する。結合レンズシステム206は、焦点合わせシステム204に動作可能に結合され、焦点合わせシステムは、単一の焦点面の仮想表示コンテンツの焦点距離を調節することによって、または異なる焦点距離において複数の焦点面(例えば、6〜20)を切り替えることによって、表示コンテンツの焦点距離を変化させ得る。さらにいくつかの他の実施形態では、システムは、仮想表示コンテンツの少なくとも一部が焦点が合ってレンダリングされるであろう複数の焦点面のそれぞれの焦点距離を変化させる可変焦点合わせシステムを含み得る。システムは、これらの実施形態のいくつかでは、個々に、またはいくつかの他の実施形態では、これらの焦点面のうちの少なくとも2つを並行してのいずれかにおいて、これらの複数の焦点面をレンダリングし得る。

0086

すなわち、焦点合わせシステム204は、遠近調節キューと収束キューとを分断するのではなく、単一の焦点面の焦点距離の動的アドレス能力を提供するか、または無明滅レートで仮想表示コンテンツ内の仮想オブジェクトを複数の焦点面上に並行してレンダリングすることによって、遠近調節キューを固定された焦点距離に結び付けずに遠近調節キューを強いることなく、遠近調節キューと収束キューとを結合し得る。表示システムが、仮想表示コンテンツを複数の焦点面上に並行してレンダリングする、いくつかの実施形態では、2つの直接近隣する焦点面間の分離は、1/7ジオプトリーである。自由形状光学要素202は、図1の参照番号104と実質的に類似または同じであり、補償レンズも、図1に示されない。焦点合わせシステム204は、いくつかの実施形態では、液体ミラーまたは変形可能膜ミラー(DMD)を含み得る。

0087

可変深度の知覚を作成するための2つの主な方法がある。すなわち、複数平面焦点システムおよび可変焦点システムである。複数平面焦点システムでは、システムは、画像をz方向に固定された深度平面上に投影可能である。可変焦点システムでは、システムは、限定数の深度平面を投影するが、深度平面を空間内で移動させ、3D知覚を作成する。いくつかの実施形態では、仮想または拡張現実システムは、少なくとも1つの画像生成プロセッサと、少なくとも1つの空間光変調器と、複数のレンズ/光学要素と、1つ以上のビームスプリッタと、1つ以上の可変焦点要素とを含み得る。

0088

画像生成プロセッサは、ユーザに最終的に表示されるべき仮想コンテンツの生成に関与する。画像生成プロセッサは、仮想コンテンツに関連付けられた画像またはビデオを3次元空間内でユーザに投影され得るフォーマットに変換し得る。例えば、3Dコンテンツを生成することにおいて、仮想コンテンツは、特定の画像の一部が特定の深度平面上に表示される一方、他が他の深度平面上に表示されるようにフォーマットされる必要があり得る。または、画像は全て、特定の深度平面に生成され得る。または、画像生成プロセッサは、一緒に視認されると、仮想コンテンツがユーザの眼にコヒーレントかつ快適に見えるように、若干異なる画像を右および左眼フィードするようにプログラムされ得る。

0089

画像生成プロセッサはさらに、メモリと、CPU(中央処理ユニット)と、GPU(グラフィック処理ユニット)と、画像生成および処理のための他の回路とを含み得る。画像生成プロセッサは、プログラムされ得、所望の仮想コンテンツが、仮想または拡張現実システムのユーザに提示される。いくつかの実施形態では、画像生成プロセッサは、装着式仮想または拡張現実システム内に格納され得ることを理解されたい。他の実施形態では、画像生成プロセッサおよび他の回路は、装着式光学に結合される、ベルトパック内に格納され得る。

0090

焦点合わせ要素(106および204)は、空間光変調器から生成される投影された光の焦点を所望の深度平面上に合わせるために構成される可変焦点要素(VFE)を備えている。VFEは、多焦点および可変焦点合わせシステムの両方において使用され得ることを理解されたい。したがって、VFEは、複数のレンズおよびミラーとともに、ユーザの眼に3次元オブジェクトとして知覚されるように、所望の深度平面において、仮想オブジェクトに関連付けられた光を投影するために構成され得る。

0091

可変焦点レンズ要素は、液晶レンズ電気活性レンズ可動要素を伴う従来の屈折レンズ機械的変形ベースのレンズ(可撓性要素が1つ以上のアクチュエータによって撓曲および弛緩され得る、流体充填膜レンズまたはヒトの水晶体に類似するレンズ等)、電気湿潤レンズ、または異なる屈折率を伴う複数の流体等の屈折要素であり得る。可変焦点要素はまた、切り替え可能回折光学要素ポリマー材料等のホスト媒体が材料内に分散された液晶微小液滴を有し、電圧印加されると、その屈折率がもはやホスト媒体のものと一致しないように、分子再配向し、それによって、高周波数切り替え可能回折パターンを作成する、ポリマー分散液晶アプローチを特徴とするもの等)を備え得る。

0092

一実施形態は、ニオブ酸リチウム等のカー効果ベースの電気活性材料の微小液滴が、ホスト媒体内に分散され、ファイバ走査式ディスプレイまたは走査ミラーベースのディスプレイ等の走査光ディスプレイと結合されると、ピクセルごとまたは線ごとの画像情報の再焦点合わせを可能にする、ホスト媒体を含む。液晶、ニオブ酸リチウム、または他の技術がパターンを提示するために利用される、可変焦点要素構成では、パターン間隔は、可変焦点レンズ要素の焦点力を変化させるだけではなく、さらに、ズームレンズタイプの機能性のために、全体的光学系の焦点力を変化させるために変調され得る。

0093

一実施形態では、複数のレンズは、写真撮影用のズームレンズが焦点をズーム位置から切り離すように構成され得るものと同一方法で、表示画像の焦点が倍率を一定に保ちながら変えられることができるという点において、テレセントリックであり得る。別の実施形態では、レンズは、焦点変化がまた、ズーム変化も伴うであろうように、非テレセントリックであり得る。そのような構成では、そのような倍率変化は、焦点変化と同期するグラフィックシステムからの出力の動的スケーリングを用いて、ソフトウェアにおいて補償され得る。

0094

いくつかの実施形態では、種々のタイプの格子が、種々の焦点要素を実装するために使用され得る。例えば、代理人事件番号ML30016.00下で2014年5月30日に出願され、「METHODS AND SYSMS FOR VIRTUAL AND AUGMENTED REALITY」と題された米国仮特許出願第62/005,807号に説明されるOPE(直交瞳エキスパンダ)格子およびEPE(射出瞳エキスパンダ)格子が、VFEを実装するために使用され得る。より具体的には、OPE格子およびEPE格子は、いくつかの実施形態では、折り畳まれたまたは重ね合わせられた様式で層の両側に配置され得る。いくつかの他の実施形態では、OPE格子およびEPE格子は、単一の一体型で空間的に一致する入射層内に配置および記録され、OPE格子およびEPE格子の両方の機能を有する多重化層を形成し得る。前述の複数のそのような層は、互の上にスタックされ、多平面構成を形成し得、各層は、そのそれぞれの焦点距離に関連付けられたそのそれぞれの焦点面をホストし得る。

0095

用語「格子」の使用は、「格子」内の回折構造が、線形回折要素または構造のみを含むことを含意もしくは示唆するものではないことに留意されたい。むしろ、格子(例えば、EPE格子、OPE格子等)は、線形回折構造、円形回折構造、放射対称回折構造、または任意のそれらの組み合わせを含み得る。OPE回折要素およびEPE回折要素は、光ビームを偏向させることおよび光ビームの焦点を合わせることの両方を行うための線形格子構造および円形または放射対称構造の両方を含み得る。

0096

多平面構成は、より大きい焦点範囲を提供し得、多平面構成内の各層は、オンおよびオフに動的に切り替えられ、視認者に対して異なる焦点距離で見える画像を提示し得る。可変焦点合わせ要素またはシステムについてのさらなる詳細は、2014年5月30日に出願され、「METHODS AND SYSTEMFOR CREATING FOCALPLANESIN VIRTUAL AND AUGUMENTED REALITY」と題された米国仮特許出願第62/005,834号、および代理人事件番号ML30016.00下で2014年5月30日に出願され、「METHODS AND SYSTEMS FOR VIRTUAL AND AUGUMENTED REALITY」と題された米国仮特許出願第62/005,807号に説明される。

0097

図3は、いくつかの実施形態における、仮想および/または拡張現実のためのアドレス可能焦点を伴う自由形状光学システムを用いて立体視を表示するための垂直搭載式システムの部分概略図を図示する。これらの実施形態では、表示システムは、垂直に搭載され、ユーザの頭部の周囲に適合し得る。より具体的には、表示システムは、自由形状光学要素308と、焦点合わせシステム306と、結合レンズシステム304と、画像源302とを含む。この例証的構成では、画像源302(例えば、プロジェクタの束、微小アレイディスプレイ、LCoSまたは反射型液晶、もしくはLCDベースのDLPまたはデジタル光処理等)は、光線シフトおよび歪を補正し、および/または大きなFOVにわたる高性能を確実にし得る結合レンズシステム304の中に表示コンテンツの光線を投入する。

0098

結合レンズシステム304はさらに、焦点合わせシステム306に動作可能に結合され得、焦点合わせシステムは、単一の焦点面の焦点距離を調節することによって、または、異なる焦点距離における複数の焦点面焦点面を切り替え、仮想表示コンテンツを複数の焦点面の上にレンダリングすることによって、表示コンテンツの焦点距離をアドレスし得る。さらにいくつかの他の実施形態では、システムは、仮想表示コンテンツの少なくとも一部が焦点が合ってレンダリングされるであろう、複数の焦点面のそれぞれの焦点距離を変化させる可変焦点合わせシステムを含み得、システムは、いくつかの実施形態では、個々に、またはいくつかの他の実施形態では、これらの焦点面のうちの少なくとも2つ上に並行して、仮想コンテンツをこれらの複数の焦点面上にレンダリングし得る。自由形状光学要素308は、出力光線の射出瞳310がユーザの眼を覆うように考案され得る。図3に示されるものと実質的に類似する構成を採用する具体的実施形態の1つでは、射出瞳直径は、10mmであり得、対角線視野は、50度であり得、水平視野は、44.23度であり得、垂直視野は、25.75度であり得る。

0099

図9Aは、いくつかの実施形態における、自由形状光学システムを有する可変焦点合わせ表示システムの簡略化された略図を図示する。これらの実施形態では、表示システムは、図9Aに示されるように、垂直に搭載され、ユーザの頭部の周囲に適合するか、または図2に示されるように、水平に搭載され得る。より具体的には、表示システムは、一次自由形状光学要素908と、焦点合わせシステム906と、結合レンズシステム904と、画像源902とを含む。これらの図示される実施形態では、画像源902(例えば、プロジェクタの束、微小アレイディスプレイ、LCoSまたは反射型液晶、もしくはDLPまたはデジタル光処理等)は、光線シフトおよび歪を補正し、ならびに/または大きなFOVにわたる高性能を確実にし得る、結合レンズシステム904の中に表示コンテンツの光線を投入する。

0100

結合レンズシステム904はさらに、焦点合わせシステム906に動作可能に結合され得、焦点合わせシステムは、単一の焦点面の焦点距離を調節することによって、または異なる焦点距離において複数の焦点面焦点面を切り替え、仮想表示コンテンツを焦点面の上にレンダリングすることによって、表示コンテンツの焦点距離をアドレスし得る。いくつかの実施形態では、システムは、仮想表示コンテンツの少なくとも一部が焦点が合ってレンダリングされるであろう、複数の焦点面のそれぞれの焦点距離を変更またはアドレスする可変焦点合わせシステムを含み得る。一次自由形状光学要素908は、出力光線の射出瞳910がユーザの眼を覆うように考案され得る。

0101

図9Bは、いくつかの実施形態における、自由形状光学システムを有する可変焦点合わせ表示システムの別の簡略化された略図を図示する。図9Bに図示されるこれらの実施形態では、表示システムは、光線を第1の中継レンズ934の中に投入する画像源932(例えば、プロジェクタの束、微小アレイディスプレイ、LCoSまたは反射型液晶、もしくはDLPまたはデジタル光処理等)を含み得る。第1の中継レンズ934は、仮想表示コンテンツの焦点距離を調節する可変焦点合わせシステム936に動作可能に結合される。

0102

可変焦点合わせシステム936は、単一の焦点面の仮想表示コンテンツのための焦点距離を調節するか、または異なる焦点距離における複数の焦点面(例えば、6〜20)焦点面を切り替え、仮想コンテンツを焦点面の上にレンダリングし得る。可変焦点合わせシステム936は、したがって、単一の焦点面の焦点距離の動的アドレス能力を提供するか、または無明滅レートで、仮想表示コンテンツ内の仮想オブジェクトを複数の焦点面上に並行してレンダリングすることによって、遠近調節キューを固定された焦点距離に結び付けずに遠近調節キューを強いることなく、遠近調節キューおよび収束キューを、分断するのではなく、結合し得る。表示システムが、仮想表示コンテンツを複数の焦点面上に並行してレンダリングするいくつかの実施形態では、2つの直接近隣する焦点面間の分離は、1/7ジオプトリーである。

0103

可変焦点合わせシステム936はさらに、反射体940上に光線を伝送する第2の中継レンズ938に動作可能に結合され、さらに、反射体940は、光線を自由形状楔または自由形状楔形状の光学要素942(以降、集合的に、自由形状楔)の中に結合する。いくつかの実施形態では、反射体940は、折り曲げミラーアセンブリを含み得る。自由形状楔942は、前述の自由形状光学要素に関して説明されたものと実質的に類似する様式で機能する。光線は、自由形状楔942内の1つ以上の屈折表面と1つ以上の反射表面との間を伝搬する。

0104

自由形状楔942は、射出瞳942を生成するために、これらの1つ以上の屈折表面および1つ以上の反射表面のための適切な表面パラメータとともに考案され得る。第1の中継レンズ934および中継レンズ938の各々は、単一の中継レンズまたはレンズ群を含み、画像を反転させ得る。中継レンズは、したがって、1つ以上の従来のレンズ、色収差補正ダブレット、または円筒形勾配屈折率レンズを含み得る。第1および第2の中継レンズ934ならびに938は、表示システムのための中間焦点面を生成するために使用され得る。

0105

図9Cは、いくつかの実施形態における、自由形状光学システムを有する可変焦点合わせ表示システムの別の簡略化された略図を図示する。これらの実施形態では、画像源932は、仮想表示コンテンツの焦点距離を変化させる可変焦点合わせシステム936に動作可能に結合される第1の中継レンズ934を通して光線を投入し得る。

0106

可変焦点合わせシステム936は、仮想表示コンテンツのための立体視のために、単一の焦点面の仮想表示コンテンツのための焦点距離を変化させるか、または異なる焦点距離における複数の焦点面(例えば、6〜20)焦点面を切り替え、仮想コンテンツを焦点面の上にレンダリングし得る。光線はさらに、光線を自由形状楔942の中に反射および結合する反射体940(例えば、折り曲げミラーアセンブリ)に動作可能に結合される第2の中継レンズ938に伝送される。反射体940は、ゴーグルまたは眼鏡状外観に有利に働くように、光学経路を前額部から眉毛に沿って頭部の片側へ折り曲げ、または転換させる。自由形状楔942は、前述の自由形状光学要素に関して説明されるものと実質的に類似する様式で機能する。

0107

加えて、または代替として、補償レンズ要素946は、自由形状楔942に取り付けられ、補償レンズが自由形状光学要素(例えば、自由形状楔942)と組み合わせられると、超広角シースルー視野にわたり、周囲環境の適切な視認を提供し、および/または実世界場面から光線に導入されるシフトおよび歪を最小化または低減させ得る。光線は、自由形状楔942内の1つ以上の屈折表面と1つ以上の反射表面との間で伝搬する。自由形状楔942は、射出瞳942を生成するために、これらの1つ以上の屈折表面および1つ以上の反射表面のための適切な表面パラメータとともに考案され得る。

0108

図10Aは、いくつかの実施形態における、自由形状光学システムを有する可変焦点合わせ表示システムの簡略化された略図を図示する。これらの実施形態では、可変焦点合わせ表示システムは、プロジェクタの束(例えば、ピコプロジェクタ、レーザプロジェクタ等)、微小アレイディスプレイ、LCoSまたは反射型液晶、もしくはLCDベースのDLPまたはデジタル光処理等のうちの1つ以上のものを含み得る、画像源1002を含み得る。画像源1002は、結合レンズ群1004を通して光線を投入し、結合レンズ群は、結合レンズ群1004内に液体レンズを含み、中間瞳または中間焦点平面1010を形成するように考案され得る。

0109

可変焦点合わせ表示システムは、結合レンズ群1004内の液体レンズの屈折力を変え、液体レンズの焦点距離を変化させ得る。液体レンズの焦点距離の変化は、中間焦点平面1010を効果的に移動させる。表示システムはさらに、液体レンズを駆動し、高速かつ連続した焦点制御を生成し、例えば、高速かつ継続的に焦点面を変更しながら、仮想表示コンテンツを生成し得る。光線は、次いで、自由形状光学要素1006の中に中継され、1つ以上の自由形状屈折表面と1つ以上の自由形状反射表面との間で伝搬し、仮想表示コンテンツを共役された射出瞳1008に生成する。

0110

図10Bは、いくつかの実施形態における、別の自由形状光学システムを有する可変焦点合わせ表示システムの別の簡略化された略図を図示する。これらの実施形態では、可変焦点合わせ表示システムは、同じまたは実質的に類似する仮想表示コンテンツを射出瞳1008に生成する自由形状光学要素1006を含む。

0111

マイクロディスプレイからの光線は、一対の偏光されたビームスプリッタ1026(例えば、Xキューブビームスプリッタ)の中に伝搬される。ビームスプリッタ1026は、最初に、画像源1028から可変焦点合わせ機構内の光学1022を通して光線を受信し、光線を変形可能膜ミラーまたは変形可能ミラー1024に向かわせ、変形可能ミラー1024は、光線をビームスプリッタ1026に戻るように反射し、ビームスプリッタ1026は、次いで、光線を自由形状光学要素1006の中に中継する。変形可能ミラー1024は、波正面制御および他の光学機能(例えば、光学収差の補正等)を達成するように変形させられ得る、表面(図示せず)を有する。可変焦点合わせ表示システムは、変形可能ミラー1024の屈折力を変え、変形可能ミラー1024の焦点距離を変化させ得る。

0112

変形可能ミラー1024の焦点距離の変化は、中間焦点平面を効果的に移動させる。表示システムはさらに、変形可能ミラーを駆動し、高速かつ連続した焦点制御を生成し、例えば、高速かつ継続的に焦点面を変更しながら、仮想表示コンテンツを生成し得る。光線は、自由形状光学要素1006の中に中継され、1つ以上の自由形状屈折表面と1つ以上の自由形状反射表面との間を伝搬する。光線は、自由形状光学要素1006内で反射および偏向し、最終的に、仮想表示コンテンツを共役された射出瞳1008に生成する。

0113

図11Aは、いくつかの実施形態における、従来の2次元ディスプレイと比較したライトフィールドディスプレイの簡略化された表現を図示する。光を等方的に放出する従来の2次元ディスプレイ1002と異なり、ライトフィールドディスプレイは、1104に図式的に図示されるように、異なる色および放射輝度の光サンプルを物理的空間内の適切な光線(例えば、それぞれ、赤色、橙色、黄色、緑色、青色、藍色、および紫色における光線に対する1106R、1106O、1106Y、1106G、1106B、1106I、1106P)にマップする。

0114

図11Bは、いくつかの実施形態における、クラスタ化された光線束の制御を提供し、光線の方向の関数として、光線の色および放射輝度を変調する自由形状光学を伴う、ライトフィールド表示システムの簡略化された略図を図示する。図11Bに図示されるライトフィールドディスプレイは、クラスタ化された光線束の制御を提供し、方向の関数として、その放射輝度および/または色を変調する。図11Bに図示されるこれらの実施形態では、ライトフィールド表示システムは、光線束1108、1110、および1112を処理し、変調された放射輝度および/または色が、1つ以上の画像源1150から放出され、1つ以上の結合レンズ1103を有する結合レンズ群1107の中に伝搬され、1つ以上の結合レンズ1103は、光学収差を補正し、画像品質を改善し、および/または中間瞳1111を生成する。

0115

光線は、次いで、自由形状光学要素1113の中に中継され、種々の表面パラメータを有する、1つ以上の屈折表面と1つ以上の反射表面との間を反射および偏向し、仮想表示コンテンツを共役された射出瞳1109に生成する。図11Bに図示されるライトフィールドディスプレイはまた、適切なライトフィールドコンテンツを表示するために、遠近調節キューを固定された焦点距離に結び付ける必要なく、遠近調節−収束衝突を解決し得る。

0116

ライトフィールド表示システムが頭部搭載式ディスプレイまたはヒト装着式ディスプレイとして実装されるいくつかの実施形態では、ライトフィールド表示システムは、遠近調節−収束衝突を解決し、広角視野を提供し(特に、図2−10Bを参照して前述のように、自由形状光学要素のタイル式配置を用いて)、ライトフィールドディスプレイが眼に近接近しているにもかかわらず、ヒトの眼の自然遠近調節範囲内に仮想表示コンテンツ画像を焦点を合わせて生成する。

0117

画像源1150は、変調された光線を放出可能であるマイクロディスプレイまたは表示システムである。図11Cは、そのような画像源の一実施例を図示する。より具体的には、図11Cは、画像プロジェクタの束(1108C、1110C、および1112C)を用いて、物理的空間において、仮想表示コンテンツ内の1つ以上のオブジェクトを表す異なる色および放射輝度を有する異なる光サンプルを適切な光線にマップおよび投入する画像源1150Cの一実施例を図示する。画像プロジェクタの束(1108C、1110C、および1112C)から放出される光線は、一対のフィールドレンズ群を通して一緒に効果的に混合され、結合レンズ1103(図11B)および中間瞳1111Cを通して自由形状要素の中に投入される。ライトフィールド表示システムが頭部搭載式ディスプレイまたはヒト装着式ディスプレイとして実装されるいくつかの実施形態では、ライトフィールド表示システムは、画面を必要とせずに、仮想表示コンテンツをユーザの眼に表示する。

0118

図11Dは、いくつかの実施形態における、クラスタ化された光線束の制御を提供し、クラスタ化された光線束の位置および/または方向の関数として、クラスタ化された光線束の放射輝度および/または色を変調する、自由形状光学を伴うライトフィールド表示システムの別の簡略化された略図を図示する。図11Dに図示されるこれらの実施形態では、ライトフィールド表示システムは、コンピューティングシステム(図示せず)を含み、コンピューティングシステムは、1つ以上の仮想オブジェクトの異なる色、放射輝度、および/または深度のこれらの光サンプル(仮想オブジェクトが仮想表示コンテンツ内でこれらの光サンプルを放出する)を適切な光線にマップする。ライトフィールド表示システムはさらに、コンピューティングシステムによって制御される画像プロジェクタの束(例えば、1108D、1110D、および1112D)を使用し得、画像プロジェクタの束は、焦点合わせシステムまたは要素を使用せずに、これらのマップされた光線を中間瞳1111Dを通して自由形状光学要素1114Dの中に放出し、最後に、仮想表示コンテンツを射出瞳1117Dに生成する。

0119

いくつかの実施形態では、画像プロジェクタの束内のプロジェクタの数は、要求または所望される分解能、ヒトの眼の角度分解能、もしくは任意の他の適切な要因に少なくとも部分的に基づいて決定され得る。すなわち、ライトフィールド表示システムは、仮想表示コンテンツ内の仮想オブジェクトを再現するために後に使用される光線を記録または生成するとき、第1の光線を放出する仮想オブジェクトの異なる色、放射輝度、および/または深度の光サンプルを変調またはマップすることによって、第1の光線を決定または識別し得る。そのような記録された情報が提供されると、ライトフィールド表示システムは、光線を形成する放射輝度および/または深度情報を抽出し、抽出された情報を使用して、光線が投影されるべき場所、対応する光線を投影するために使用されるべき画像プロジェクタ、および画像プロジェクタが、対応する光線を投影し、ライトフィールドをレンダリングする場所を決定し得る。

0120

図5は、いくつかの実施形態における、タイル式配置におけるいくつかの自由形状光学要素の水平視野(FOV)の略図を示す。より具体的には、図5は、一次自由形状光学要素502および二次自由形状光学要素504の水平配置を図示する。一次自由形状光学要素502は、アドレス可能焦点能力を伴い、ユーザ眼と心合わせされた自由形状光学システムである。二次自由形状光学要素504もまた、アドレス可能焦点能力の有無を問わない、自由形状光学システムであり、一次ディスプレイ502の片側に設置される。

0121

一次自由形状光学要素502および二次自由形状光学要素504は、一次自由形状光学要素502の水平視野508および二次自由形状光学要素504の水平視野510からの寄与を含む、拡張された水平視野506を一緒に提供する。一実施形態では、一次自由形状光学要素502および二次自由形状光学要素504のタイル式水平視野は、60〜120度の範囲内にある。

0122

図6は、いくつかの実施形態における、単眼水平タイル式配置での2つの自由形状光学要素の垂直および水平視野(FOV)の略図を図示する。略図は、一次自由形状光学要素によって提供される一次視野614と、二次自由形状光学要素によって提供される二次視野616とを含む。一次自由形状光学要素は、この略図では、ユーザの側602の近傍に配置され、二次自由形状光学要素は、ユーザのこめかみ側606の近傍に配置される。

0123

この特定の表現では、一次自由形状光学要素および二次自由形状光学要素は、同一視野および縦横比を有する。これらの実施形態では、一次および二次自由形状光学要素は両方とも、垂直視野604を有し、垂直視野604は、一次および二次自由形状光学要素のタイル式配置の垂直視野でもある。ヒトの眼によって自然に知覚されるように、このタイル式配置の集合水平視野612は、鼻水平視野608と、こめかみ水平視野610とを含み得る。2つの水平タイル式自由形状光学要素は、図6に図示されるような対角線視野618を一緒に提供する。

0124

図7は、いくつかの実施形態における、単眼水平タイル式配置での2つの自由形状光学要素の垂直および水平視野(FOV)の別の略図を図示する。より具体的には、図7は、一次および二次自由形状光学要素の別のタイル式配置の視野を図示する。一次自由形状光学要素は、鼻側702により近くなるように配置され、垂直視野704を有する一次視野714を提供する。二次自由形状光学要素は、こめかみ側により近くなるように配置され、同様に、垂直視野704を有する二次視野716を提供する。これらの実施形態では、一次自由形状光学要素は、垂直視野を増加または最大化するように考案される。

0125

二次自由形状光学要素は、一次自由形状光学要素と同一垂直視野704を提供するように考案され、水平視野を増加または最大化するように考案される。縦横比、したがって、一次自由形状光学要素によって提供される水平視野に応じて、いくつかの実施形態では、二次自由形状光学要素はまた、一次自由形状光学要素によって提供される水平視野を所望のまたは要求される縦横比に拡張するように考案され得る。二次自由形状光学要素は、一次視野のそれと異なる縦横比を伴う視野を提供し得る。一次および二次自由形状光学要素のタイル式配置視野は、したがって、図7に図示されるような対角線視野718を提供する。ヒトの眼によって自然に知覚されるように、集合水平視野712は、鼻水平視野708と、こめかみ水平視野710とを含み得る。

0126

図8は、いくつかの実施形態における、水平タイル式単眼配置での2つの自由形状光学要素の垂直および水平視野(FOV)の別の略図を図示する。より具体的には、図8は、一次および二次自由形状光学要素の別のタイル式配置の視野を図示する。一次自由形状光学要素は、鼻側802により近くなるように配置され、垂直視野804を有する一次視野814を提供する。二次自由形状光学要素は、こめかみ側により近くなるように配置され、同様に、垂直視野820を有する二次視野816を提供する。これらの実施形態では、一次自由形状光学要素は、垂直視野804(例えば、約135度)を増加または最大化するように考案される。

0127

二次自由形状光学要素は、水平視野を増加または最大化するように考案される。二次自由形状光学要素は、垂直FOV804に一致することも、一致しないこともある垂直視野806を有する二次視野816を提供する。第2の自由形状光学要素は、一次自由形状光学要素によって生成されるそれと同一の縦横比を伴う視野を生成し得、またはそうでなくてもよい。但し、一次および二次自由形状光学要素のタイル式配置の対角線視野818は、一次自由形状光学要素の垂直視野804および集合水平視野812によって画定される。ヒトの眼によって自然に知覚されるように、集合水平視野812は、鼻水平視野808と、こめかみ水平視野810とを含み得る。

0128

図4Aは、いくつかの実施形態における、補償レンズを有する一次表示デバイスの簡略化された略図を図示する。これらの実施形態では、1つ以上の自由形状屈折表面を含む、補償レンズ402は、超広角シースルー視野にわたり周囲環境の適切な視認を提供し得る。補償レンズ402の表面は、補償レンズ要素402が自由形状光学要素(例えば、自由形状楔414)とともに機能するとき、実世界場面から光線に導入されるシフトおよび歪を最小化または低減させるように向上もしくは最適化され得る。

0129

図4Bは、いくつかの実施形態における、一次表示要素、第2の表示要素、および補償レンズ要素の別の簡略化された略図を図示する。より具体的には、図4Bは、一次自由形状表示要素404Bと、二次自由形状表示要素406Bとをタイル式配置で図示する。簡略化された略図はさらに、一次ディスプレイ自由形状要素404Bおよび二次自由形状表示要素406Bに取り付けられ、それらの少なくとも一部を覆っている、補償レンズ要素408Bを含む。補償レンズ要素408Bは、2つの自由形状表示要素とともに機能し、超広角シースルー視野にわたり周囲環境の適切な視認を提供し得る。加えて、または代替として、補償レンズ408Bの表面は、補償レンズ要素408Bが自由形状光学要素とともに機能するとき、実世界場面から光線に導入されるシフトおよび歪を最小化または低減させるように向上もしくは最適化され得る。

0130

図12Aは、いくつかの実施形態における、タイル式配置での自由形状光学表示システムを用いて立体画像を生成する方法の高レベル流れ図を図示する。図12Aに図示されるこれらの実施形態では、方法は、1202Aにおいて、一次表示デバイスを識別することを含み得る。これらの実施形態のいくつかでは、一次表示デバイスは、一次垂直視野を画定する。一次視野は、一次水平視野、一次垂直視野、または一次水平視野および一次垂直視野の組み合わせのうちの少なくとも1つを含み得る。加えて、または代替として、一次表示デバイスは、図9Aの自由形状光学要素908または図9Bの940等の第1の自由形状光学要素を備え得る。一次表示デバイスは、これらの図示される実施形態のいくつかでは、可変焦点要素を含む第1の結合光学システムを介して、第1の画像源(例えば、図9Aの画像源902または図9Bの932)に結合される。

0131

これらの図示される実施形態のいくつかでは、第1の結合光学システムは、正しい光学収差を補正し、自由形状光学システムによってレンダリングされる仮想表示コンテンツの画像品質を改善するように考案される。一次表示デバイスの一次垂直視野は、随意に、増加させられ、または最大化され得る。いくつかの実施形態では、1204Aにおいて、二次表示デバイスが、考案(まだ考案されていない場合)または識別(すでに存在する場合)され得る。二次表示デバイスは、図9Aの自由形状光学要素908または図9Bの940等の第2の自由形状光学要素を含む。加えて、または代替として、二次表示デバイスは、増加させられた二次水平視野または最大化された二次水平視野を有し得る。二次表示デバイスの二次垂直視野は、いくつかの実施形態では、第1の表示デバイスの一次垂直視野に正確にまたはほぼ一致し得る。これらの実施形態のいくつかでは、1204Aにおいて識別された二次表示デバイスは、第2の自由形状光学要素を備えている。

0132

タイル式表示デバイスは、二次表示デバイスをタイル式配置で一次デバイスに取り付け、タイル式表示デバイスを形成することによって、考案(すでに存在する場合)または識別(まだ存在しない場合)され得る。図12Aにおける1206Aに図示されるこれらの実施形態のいくつかでは、二次表示デバイスは、一次表示デバイスの水平視野を拡張するタイル式配置で、一次デバイスに取り付けられ得る。いくつかの実施形態では、タイル式配置は、二次表示デバイスと一次表示デバイスとが互に隣接して配置される水平配置を含む。いくつかの他の実施形態では、タイル式配置は、二次表示デバイスが一次表示デバイスの上に配置されるか、または一次表示デバイスが二次表示デバイスの上に配置される垂直配置を含む。

0133

加えて、または代替として、1つ以上の他の二次表示デバイスは、タイル式表示デバイスのために、第1のタイル式配置で一次表示デバイスに取り付けられるか、または統合され得る。これらの実施形態のいくつかでは、第1のタイル式配置は、1つ以上の他の二次表示デバイスのうちの少なくともいくつかをタイル式表示デバイスの水平側に取り付けることを含む。いくつかの他の実施形態では、第1のタイル式配置は、1つ以上の他の二次表示デバイスのうちの少なくともいくつかをタイル式表示デバイスの垂直側に取り付けることを含む。さらに他の実施形態では、第1のタイル式配置は、1つ以上の他の二次表示デバイスのうちの少なくともいくつかをタイル式表示デバイスの水平側および垂直側の両方に取り付けることを含む。図12Aに図示されるいくつかの実施形態では、タイル式表示デバイスの視野は、要求または所望される縦横比を満たす、集合水平視野および集合垂直視野を画定する。一実施形態では、幅と高さの要求または所望される縦横比は、16:9である。別の実施形態では、幅と高さの要求または所望される縦横比は、4:3である。別の実施形態では、幅と高さの要求または所望される縦横比は、2.35:1である。

0134

図12B−Eは、いくつかの実施形態における、タイル式配置における自由形状光学システムを用いて立体画像を生成する方法のより詳細な流れ図を一緒に図示する。図12B−Eに図示されるこれらの実施形態では、1202Bにおいて、一次視野を画定し、第1の自由形状光学要素を備えている一次表示デバイスが、識別(すでに存在する場合)または考案(まだ存在しない場合)され得る。一次表示デバイスはまた、プロジェクタの束、1つ以上のピコプロジェクタ、1つ以上の微小プロジェクタ等の第1の画像源に結合され得る。これらの実施形態のいくつかでは、一次表示デバイスは、自由形状光学表示装置のための可変焦点合わせ機構を含み得る。

0135

一次表示デバイスの一次視野は、随意に、1204Bにおいて、増加させられ、または最大化され得る。一次視野は、いくつかの実施形態では、一次水平視野、一次垂直視野、または一次水平視野および一次垂直視野の組み合わせのうちの少なくとも1つを含み得る。二次表示デバイスが、1206Bにおいて、識別(すでに存在する場合)または考案(まだ存在しない場合)され得る。二次表示デバイスは、二次視野を画定し、第2の自由形状光学要素を備えている。

0136

図12Bに図示されるこれらの実施形態のいくつかでは、二次視野は、一次視野に正確にまたはほぼ一致し得る。二次視野は、いくつかの実施形態では、二次水平視野、二次垂直視野、または二次水平視野および二次垂直視野の組み合わせのうちの少なくとも1つを含み得る。1208Bにおいて、二次表示デバイスの二次水平視野は、図12Bに図示されるこれらの実施形態のいくつかでは、随意に、増加させられ、または最大化され得る。参照番号1210Bは、一次および二次表示デバイスを統合するために使用され得る、3つの配置を生成するための3つの異なるプロセスを図示する。

0137

図12B−Eに説明される自由形状表示装置は、これらの3つの配置のうちの1つ以上の配置を含み得る。いくつかの実施形態では、第1の配置が、1212Bにおいて、一次視野および/または二次視野に部分的または全体的に基づいて、一次および二次表示デバイスのために決定され得る。いくつかの実施形態では、第1の配置は、水平配置を含む。

0138

1214Bにおいて、自由形状表示装置の水平または対角線視野は、一次および二次表示デバイスを互に隣接して配置する、第1の配置を用いて拡張され得る。加えて、または代替として、第2の配置が、1216Bにおいて、一次視野および/または二次視野に部分的または全体的に基づいて、一次および二次表示デバイスのために決定され得る。いくつかの実施形態では、第2の配置は、垂直配置を含み得る。自由形状表示装置の垂直および/または対角線視野は、1218Bにおいて、第2の配置を用いて拡張され得る。

0139

いくつかの実施形態では、一次表示デバイスは、二次表示デバイスの上に設置され得る。いくつかの他の実施形態では、二次表示デバイスは、一次表示デバイスの上に設置され得る。加えて、または代替として、第3の配置が、1220Bにおいて、一次視野および/または二次視野に部分的または全体的に基づいて、自由形状表示装置のために決定され得る。自由形状表示装置は、1222Bにおいて、二次表示デバイスの二次視野(例えば、二次垂直視野)を一次表示デバイスの一次視野(例えば、一次垂直視野)と少なくとも正確に一致させることまたはほぼ一致させることによって、第3の配置を用いて考案され得る。

0140

一次表示デバイスおよび第2の表示デバイスが、タイル式表示デバイスのために統合された状態で、いくつかの実施形態では、1224Bにおいて、1つ以上の他の二次表示デバイスが、一次表示デバイスに取り付けられるか、または、それもしくはタイル式表示デバイスと統合され、自由形状表示装置の視野をさらに拡張し得る。いくつかの実施形態では、一次表示デバイスは、アドレス可能焦点能力を有し得る。二次表示デバイスはまた、いくつかの実施形態では、アドレス可能焦点能力を有し得、いくつかの他の実施形態では、アドレス可能焦点能力を有していないこともある。アドレス可能焦点能力についてのさらなる詳細は、以下に説明されるであろう。

0141

自由形状表示装置によって生成される立体画像の品質は、随意に、1226Bにおいて、少なくとも、一次表示デバイスおよび/または1つ以上の画像源を光学結合光学機構と結合することによって、改良され得る。例えば、結合デバイス(例えば、結合レンズ108)は、いくつかの実施形態では、1226Bにおいて、一次表示デバイスと結合され、光学収差を補正し得る。別の実施例として、一次表示デバイスは、いくつかの実施形態では、1つ以上の自由形状屈折表面を有する補償レンズを含むか、またはそれと統合され、補償レンズは、実世界場面から光線に導入されるシフトおよび歪を最小化または低減させ、ならびに/または周囲環境の視認を提供し得る。

0142

これらの実施形態では、本明細書に説明される自由形状表示装置は、シースルー視野を提供する。これらの実施形態のいくつかでは、補償レンズは、一次表示デバイスまたは一次表示デバイスの自由形状光学要素の少なくとも一部を覆い得る。焦点距離はまた、随意に、1227Bにおいて、可変焦点機構の屈折力を変えることによって変更され得る。可変焦点機構が変形可能ミラーまたは変形可能膜ミラーを含む、いくつかの実施形態では、焦点距離はまた、随意に、1227Bにおいて、可変焦点機構の変形可能ミラーまたは変形可能膜ミラーの屈折力を変えることによって変更され得る。

0143

1228Bにおいて、自由形状表示装置の1つ以上の焦点面の焦点距離は、随意に、可変焦点機構を用いて調節され得る。一次表示デバイスおよび/または二次表示デバイスは、いくつかの実施形態では、随意に、1230Bにおいて、少なくとも、単一の焦点面の焦点距離を制御および変動させることによって、アドレス可能焦点機能性とともに考案され得る。いくつかの他の実施形態では、一次表示デバイスおよび/または二次表示デバイスはまた、随意に、1232Bにおいて、少なくとも、複数の焦点面を切り替えることによって、アドレス可能焦点を伴う機能性とともに考案され得る。

0144

これらの後者の実施形態では、複数の焦点面の各々は、固定された焦点距離を有し、アドレス可能焦点機能性は、自由形状表示装置が、立体画像を投影することにおいて、複数の焦点面を切り替えることを可能にする。これらの実施形態のいくつかでは、複数の焦点面のそれぞれの焦点距離は、1234Bにおいて、可変焦点機構を用いてアドレスされ得る。周囲環境視認の品質は、随意に、1236Bにおいて、少なくとも、一次表示デバイスの少なくとも一部を伴う少なくとも1つの補償レンズによって改良され得る。補償レンズは、実世界場面と観察者の片眼(単眼自由形状表示装置の場合)または両眼(双眼自由形状表示装置の場合)との間の自由形状表示装置の存在に起因する視認品質の低減を補償するためのものであり、実世界場面から光線に導入されるシフトおよび歪を最小化または低減させるための1つ以上の屈折表面を備え、一次、二次、および/もしくは1つ以上の他の二次表示デバイスを補償し、周囲環境の適切な視認を提供し得る。

0145

図13Aは、いくつかの実施形態における、自由形状表示装置のためにタイル式配置での可変焦点合わせ機構を用いて立体画像を生成する方法の高レベル流れ図を図示する。これらの実施形態では、入力光ビームは、1302Aにおいて、画像源から受信され得る。画像源は、プロジェクタの束(例えば、ピコプロジェクタ、レーザプロジェクタ等)、微小アレイディスプレイ、LCoSまたは反射型液晶、もしくはLCDベースのDLPまたはデジタル光処理等のうちの1つ以上のものを含み得る。入力光ビームの焦点距離は、1304Aにおいて、自由形状表示装置によって生成され、観察者の片眼(単眼自由形状表示装置の場合)または両眼(双眼自由形状表示装置の場合)によって観察される、立体画像のための少なくとも1つの焦点面の位置決めに部分的または全体的に基づいて、可変焦点機構を用いて変えられ得る。

0146

変えられた焦点距離を伴う入力光ビームは、1306Aにおいて、自由形状光学機構に伝搬され得る。立体画像は、次いで、1308Aにおいて、自由形状光学機構を用いて、ヒト観察者への仮想または拡張現実提示のための少なくとも1つの焦点面上に生成または投影され得る。図13Aに図示される自由形状表示装置のためのタイル式配置における可変焦点合わせ機構を用いて立体画像を生成する方法についてのさらなる詳細は、図13B−Dを参照して以下のセクションに提供される。

0147

図13Bは、いくつかの実施形態における、可変焦点合わせ自由形状光学表示システムを用いて立体画像を生成する方法の流れ図を図示する。図13Bに図示されるこれらの実施形態では、第1の光信号が、1302Bにおいて、光学システムにおいて画像源から受信され得る。これらの実施形態のいくつかでは、画像源は、1つ以上のプロジェクタの束、反射型液晶微小アレイディスプレイ、またはデジタル光処理微小アレイ表示システムを含む。加えて、または代替として、光学システムは、いくつかの実施形態では、図9Bの可変焦点合わせシステム936または図10Aのそれ等の可変焦点合わせシステムを含み得る。いくつかの実施形態では、光学システムは、画像源をさらに含み得、可変焦点合わせ機構は、液体レンズまたは変形可能膜ミラーを含み得、液体レンズまたは変形可能膜ミラーは、1つ以上の中継レンズにさらに結合される。

0148

1304Bにおいて、第1の焦点距離が、画像源からの第1の光信号のために決定され得る。いくつかの実施形態では、第1の焦点距離は、可変焦点合わせ自由形状光学表示システムによってレンダリングされる仮想表示コンテンツを視認するユーザによって、焦点が合ってレンダリングされる仮想表示コンテンツの部分がユーザからその距離に位置するかのように知覚される焦点面の距離を含む。これらの実施形態のいくつかでは、光学システム内のアドレス可能可変焦点合わせ機構の屈折力は、1306Bにおいて、第1の光信号のための第1の焦点距離をアドレスするように変動させられ得る。これらの実施形態では、光学システムは、単一の焦点面を含み、単一の焦点面の焦点距離を変化させ、遠近調節キューおよび収束キューを変化する焦点距離に結合する。

0149

これらの実施形態のいくつかでは、アドレス可能可変焦点合わせ要素は、液体レンズを備えている。いくつかの他の実施形態では、アドレス可能可変焦点合わせ要素は、1つ以上の中継レンズにさらに結合される、変形可能膜ミラーを備え得る。代替として、1308Bにおいて、第1の焦点面が、第1の光信号の第1の画像を表示するために、複数の焦点面から識別され、第1の光信号の第1の焦点距離をアドレスし得る。これらの実施形態では、光学システムは、複数の焦点面を含み、仮想表示コンテンツを複数の焦点面のうちの少なくとも2つ上に並行してレンダリングし、遠近調節キューおよび収束キューを変化する焦点距離に結合し得る。

0150

1310Bにおいて、収束キューおよび遠近調節キューは両方とも、複数の焦点面間で変動する第1の焦点距離にアドレスされ、位置合わせされ、または関連付けられ得る(集合的に、アドレスされる)。いくつかの実施形態では、収束キューおよび遠近調節キューは両方とも、遠近調節キューまたは収束キューを固定された焦点距離に結び付けることなく、収束キューおよび遠近調節キューの両方を第1の焦点距離と結合することによって、アドレスされ得る。1312Bにおいて、2次元の第1の画像が、少なくとも第1の焦点距離を使用することによって、視認するために、自由形状光学表示デバイスを使用して、第1の光信号を用いて生成またはレンダリングされ得る。

0151

図13C−Dは、いくつかの実施形態における、可変焦点合わせ自由形状光学システムを用いて立体画像を生成するためのプロセスの流れ図を一緒に図示する。これらの実施形態では、入力光ビームは、1302Cにおいて、1302Bまたは1302Aに関して説明されるものと同じまたは実質的に類似する様式において、画像源から受信され得る。受信された入力光ビームは、1304Cにおいて、可変焦点機構内の第1の光学を通して1つ以上のビームスプリッタに伝搬され得る。

0152

いくつかの実施形態では、第1の光学は、両凸レンズを含み、受信された入力光ビームを平行光ビームに変換し得る。第1の光学を通過後、入力光ビームは、1306Cにおいて、1つ以上のビームスプリッタを通して可変焦点機構内の第2の光学に向け直され得る。いくつかの実施形態では、第2の光学は、可変焦点能力または機能性を提供する変形可能ミラー、変形可能膜ミラー、または任意の他の好適な光学を備えている。可変焦点機構の焦点距離は、1308Cにおいて、立体画像が自由形状表示装置によってレンダリングされるであろう1つ以上の焦点面の位置決めに部分的または全体的に基づいて、可変焦点機構の屈折力を変えることによって変更され得る。

0153

入力光ビームが変えられた焦点距離を伴う可変焦点機構によって処理された後、入力光ビームは、1310Cにおいて、1つ以上のビームスプリッタに戻るように向け直され得る。焦点面を変更するための要件が、1312Cにおいて識別され得る。いくつかの実施形態では、要件は、例えば、焦点面または焦点距離が変化する速度(空間的、時間的、または空間的および時間的の両方)、焦点面または焦点距離が継続的にまたは周期的に変化するかどうか、もしくは焦点面または焦点距離の変化に関連付けられた任意の他の要件を含み得る。

0154

1312Cにおいて識別された要件はまた、いくつかの実施形態では、屈折力が制御されるべき方法を決定するために使用され得る。1つ以上の制御が、1314Cにおいて、1312Cにおいて識別された要件に部分的または全体的に基づいて、可変焦点機構の焦点距離を変えるために提供され得る。可変焦点機構の焦点距離は、1316Cにおいて、変えられた焦点距離に部分的または全体的に基づいて、1つ以上の制御を用いて変えられ得る。変えられた焦点距離を用いて、入力光ビームは、1318Cにおいて、自由形状光学機構に伝搬され得、立体画像は、1320Cにおいて、1人以上のヒト観察者のために、仮想または拡張現実提示のために、自由形状光学機構を用いて、1つ以上の焦点面上に生成または投影され得る。

0155

図14Aは、いくつかの実施形態における、自由形状光学システムを用いてライトフィールドディスプレイを生成する方法の高レベル流れ図を図示する。これらの実施形態では、光線束が、1402Aにおいて、光線束内に仮想オブジェクトのための仮想表示コンテンツを生成するために、画像デバイスから受信され得る。仮想オブジェクトについての情報は、1404Aにおいて、光線束から抽出され得る。例えば、第1の光線を放出する仮想オブジェクトの色、放射輝度、および/または深度が、1404Aにおいて、仮想オブジェクトを仮想表示コンテンツ内に再現するために後に使用される、光線束の記録から抽出され得る。変調された光線束が、1406Aにおいて、光線束から抽出された情報に部分的または全体的に基づいて、生成され得る。仮想表示コンテンツは、次いで、1408Aにおいて、変調された光線束および自由形状光学表示デバイスを用いて、レンダリングされ得る。図14Aに図示される自由形状光学システムを用いてライトフィールドディスプレイを生成する方法についてのさらなる詳細は、図14B−Dを参照して以下に提供されるであろう。

0156

図14Bは、いくつかの実施形態における、自由形状光学システムを用いてライトフィールドディスプレイを生成する方法の流れ図を図示する。図14Bに図示されるこれらの実施形態では、方法は、1402Bにおいて、第1の光線内に表される仮想オブジェクトを識別し、1404Bにおいて、自由形状表示システム内の第1の光線を用いて仮想オブジェクトを表示するための1つ以上のパラメータを識別もしくは決定し得る。第1の光線のための1つ以上のパラメータは、いくつかの実施形態では、仮想オブジェクトをレンダリングする際の第1の光線の放射輝度、自由形状表示システムによってレンダリングされる仮想コンテンツ表示内の仮想オブジェクトの仮想深度、第1の光線によってレンダリングされる仮想オブジェクトの一部(例えば、1つ以上のピクセル)のための第1の光線の一部の場所、要求または所望される分解能、自由形状表示デバイスの視野、1つ以上の人間工学的パラメータ、自由形状表示デバイスの1つ以上の形状因子、または任意のそれらの組み合わせを含み得る。

0157

1406Bにおいて、方法は、少なくとも部分的に、ユーザの視覚系の遠近調節範囲に基づいて、仮想オブジェクトに対応するライトフィールドを合成するための第1の光線を決定し得る。これらの実施形態のいくつかでは、方法は、仮想表示コンテンツ内に仮想オブジェクトを再現するために後に使用され得る光線を記録または生成するとき、第1の光線を放出する仮想オブジェクトの異なる色、放射輝度、および/または深度の光サンプルを変調またはマップすることによって、第1の光線を決定し得る。方法は、光線を形成する放射輝度および/または深度情報を抽出し、抽出された情報を使用して、光線が投影されるべき場所、対応する光線を投影するために使用されるべき画像プロジェクタ、および画像プロジェクタが対応する光線を投影する場所を決定し得る。1408Bにおいて、方法は、第1の光線を画像源の束から自由形状光学表示デバイスに伝送し得る。

0158

これらの実施形態のいくつかでは、画像源の束は、複数のプロジェクタを含み、複数のプロジェクタの各々は、1つ以上の光線を投入し、仮想表示コンテンツのライトフィールドを合成する。1410Bにおいて、方法は、肉眼遠近調節範囲に少なくとも部分的に基づいて、識別された仮想オブジェクトに対応するライトフィールドを合成し得る。これらの実施形態のいくつかでは、方法は、ライトフィールドを合成し、ある遠近調節範囲において遠近調節キューおよび収束キューの両方をアドレスし得る。加えて、または代替として、方法は、仮想オブジェクトの光サンプルをマップすることから決定される第1の光線を使用して、自由形状光学表示デバイスを使用するユーザによって知覚される実世界ビュー上に重ね合わせられた立体ビューをレンダリングすることによって、仮想オブジェクトのためのライトフィールドを合成し得る。1412Bにおいて、方法はさらに、自由形状光学表示デバイスを用いて、仮想オブジェクトのための第1の仮想表示コンテンツをレンダリングし得る。いくつかの実施形態では、方法は、1410Bにおいて識別または決定される第1の焦点距離に等しい仮想画像距離に、仮想表示コンテンツをレンダリングし得る。

0159

図14C−Dは、いくつかの実施形態における、自由形状光学システムを用いてライトフィールドディスプレイを生成する方法の別のより詳細な流れ図を一緒に図示する。これらの実施形態では、光線束が、1402Cにおいて、光線束内に仮想オブジェクトのための仮想表示コンテンツを生成するために、画像源から受信され得る。いくつかの実施形態では、画像源は、いくつかのプロジェクタを含む。これらの実施形態のいくつかでは、画像源内のプロジェクタの数は、仮想表示コンテンツの所望のまたは要求される分解能、ヒトの眼の角度分解能、それらの組み合わせ、または任意の他の好適な要因に部分的または全体的に基づいて、決定され得る。

0160

光線束内の仮想オブジェクトは、1404Cにおいて、識別され得、仮想オブジェクトのための情報は、1406Cにおいて、光線束から抽出され得る。これらの実施形態のいくつかでは、抽出される情報は、仮想表示コンテンツ内にレンダリングされるべき仮想オブジェクトの色、放射輝度、および/または深度情報を含み得る。光線束は、いくつかの実施形態では、1408Cにおいて、光線束から抽出された情報に部分的または全体的に基づいて、変調され得る。

0161

光線束の変調は、いくつかの実施形態では、仮想オブジェクトの異なる色、放射輝度、および/または深度の光サンプルを変調された光サンプルまたは変調された光線束の中にマップするコンピューティングシステムによって行われ得る。1410Cにおいて、変調された光線束が投影されるべき場所が、光線束から抽出された情報に部分的または全体的に基づいて、決定され得る。1412Cにおいて、変調された光線または変調された光線束を投影するために使用される画像プロジェクタが、決定され得る。

0162

1414Cにおいて、画像プロジェクタが、変調された光線または変調された光線束を投影し、ライトフィールドをレンダリングする場所もまた、いくつかの実施形態では、決定され得る。変調された光線束が、次いで、1416Cにおいて、遠近調節範囲に部分的または全体的に基づいて、仮想オブジェクトに対応するライトフィールドを合成するために生成され得る。いくつかの実施形態では、コンピューティングシステムは、1つ以上の光線束の方向の関数として変調された色、放射輝度、および/または深度を伴う、変調された光線束を生成し得る。1つ以上のパラメータが、1418Cにおいて、仮想オブジェクトを仮想コンテンツ表示内にレンダリングするために決定され得る。

0163

いくつかの実施形態では、1つ以上のパラメータは、例えば、1つ以上の屈折特性の1つ以上の特性、1つ以上の反射表面の1つ以上の特性、もしくは1つ以上の光学表面の任意の他の好適なパラメータを含む。変調された光線束は、次いで、1422Cにおいて、に伝搬され、結合光学アセンブリは、中間瞳を形成し、および/または画質を改良し得る。変調された光線束は、1424Cにおいて、自由形状光学表示デバイスに中継され得、1426Cにおいて、1418Cにおいて識別または決定された1つ以上のパラメータに部分的または全体的に基づいて、自由形状光学表示デバイス内で反射および/または屈折され得る。仮想オブジェクトに対応するライトフィールドは、1428Cにおいて、肉眼遠近調節範囲に部分的または全体的に基づいて、合成され、焦点距離を用いて、遠近調節キューおよび収束キューの両方をアドレスし得る。仮想表示コンテンツは、次いで、1430Cにおいて、自由形状光学表示デバイスを用いて、仮想オブジェクトのためにレンダリングされ得る。これらの実施形態のいくつかでは、仮想表示コンテンツの仮想画像距離は、焦点距離に等しい。

0164

前述の明細書では、本発明は、その具体的実施形態を参照して説明された。しかしながら、本発明のより広範な精神および範囲から逸脱することなく、種々の修正ならびに変更がそこに行われ得ることは明白となるであろう。例えば、前述のプロセスフローは、プロセスアクションの特定の順序を参照して説明されている。しかしながら、説明されるプロセスアクションの多くの順序は、本発明の範囲または動作に影響を及ぼすことなく、変更され得る。本明細書および図面は、故に、制限的意味ではなく、例証的意味におけるものであると見なされる。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ