図面 (/)

この項目の情報は公開日時点(2019年4月18日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (6)

課題・解決手段

仮想現実装置仮想現実表示スクリーンを含む。更に、仮想現実装置は、仮想現実表示において注目のオブジェクトを決定するようユーザの1つ以上の目の注視方向を追跡する視標追跡システムを含む。その上、仮想現実装置はプロセッサを含む。仮想現実装置は、プロセッサによって実行される場合に、仮想現実装置に、仮想現実表示によって表示されている仮想現実イメージ輝度に基づき1つ以上の目の1つ以上の瞳孔寸法推定させる命令の組を有するメモリを更に含む。仮想現実装置は、更に、推定された1つ以上の瞳孔寸法に基づき焦点面を決定させられる。

概要

背景

仮想現実(“VR”)(virtual reality)システムは、現実世界環境におけるユーザの現実所在シミュレートする。シミュレーションは、様々な感覚的経験、例えば、視界、音響、触覚、におい、などをユーザに与えることによって、人工的に生成される。

いくつかの現在のVRシステムは、立体表示デバイスを介して実施されている。立体表示デバイスは、立体視、すなわち、第1の画像をユーザの第1の目に、第2の画像をユーザの第2の目に提示して、2D画像から3D画像を人工的に生成すること、を介して、画像における奥行きの錯覚を提供する。

VRメガネは、立体視を利用するVRシステムの一例である。例えば、VRメガネは、ユーザの両目の直接的な周辺視野カバーするヘッドマウント型表示スクリーンを通常は含む。VRメガネは、同じ3Dシーンの2つの画像を表示する。次いで、それら2つの画像は、3Dシーンを現実的な方法でレンダリングする対応する量のパララックスを伴ってコンピュータグラフィクス・システムによって合成される。パララックスは、2つの異なる視線(lines of sight)から見られるオブジェクト知覚されたポジションの差である。3Dシーンの現実的なレンダリングは、通常、近くのオブジェクトについてはより大きいパララックスを、遠くのオブジェクトについてはより小さいパララックスを有している。いくつかのVRシステムはまた、VRメガネによる表示のために画像を捕捉するよう立体画像捕捉リグを利用することがある。立体画像捕捉リグは、VRシステムを利用するビューアーが、VRシステムによって供給される仮想環境において異なるオブジェクトを見回すよう、VRシステムを利用するときに頭を回転することができるように、360°パノラマとして画像を捕捉する。

概要

仮想現実装置は仮想現実表示スクリーンを含む。更に、仮想現実装置は、仮想現実表示において注目のオブジェクトを決定するようユーザの1つ以上の目の注視方向を追跡する視標追跡システムを含む。その上、仮想現実装置はプロセッサを含む。仮想現実装置は、プロセッサによって実行される場合に、仮想現実装置に、仮想現実表示によって表示されている仮想現実イメージ輝度に基づき1つ以上の目の1つ以上の瞳孔寸法推定させる命令の組を有するメモリを更に含む。仮想現実装置は、更に、推定された1つ以上の瞳孔寸法に基づき焦点面を決定させられる。

目的

立体表示デバイスは、立体視、すなわち、第1の画像をユーザの第1の目に、第2の画像をユーザの第2の目に提示して、2D画像から3D画像を人工的に生成すること、を介して、画像における奥行きの錯覚を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

仮想現実装置(102)であって、仮想現実表示スクリーン(203)と、仮想現実表示(203)において注目のオブジェクト(207)を決定するようユーザの1つ以上の目の注視方向を追跡する視標追跡システム(204)と、プロセッサ(401)と、命令の組を有するメモリ(403)とを有し、前記命令の組は、前記プロセッサ(401)によって実行される場合に、当該仮想現実装置(102)に、前記仮想現実表示(203)によって表示されている仮想現実イメージ輝度に基づき前記1つ以上の目の1つ以上の瞳孔寸法推定させ、前記推定された1つ以上の瞳孔寸法に基づき焦点面(206)を決定させ、前記焦点面(206)に基づき合成被写界深度を生成させ、前記仮想現実表示(203)の1つ以上のピクセルが前記合成被写界深度の外にあることに基づき該1つ以上のピクセルにブラー効果を適用させる、仮想現実装置(102)。

請求項2

前記プロセッサ(401)は、更に、当該仮想現実装置(102)に、前記仮想現実イメージに関連するフレームデータを解析することによって該仮想現実イメージの輝度を決定させる、請求項1に記載の仮想現実装置(102)。

請求項3

前記プロセッサ(401)は、更に、当該仮想現実装置(102)に、前記仮想現実表示(203)の1つ以上のピクセルが前記合成被写界深度の中にあることに基づき該1つ以上のピクセルから前のブラー効果を取り除かせる、請求項1に記載の仮想現実装置(102)。

請求項4

前記視標追跡システム(204)は、1つ以上の画像捕捉デバイスを有する、請求項1に記載の仮想現実装置(102)。

請求項5

前記視標追跡システム(204)は、前記仮想現実表示(203)においてピクセル座標により前記注視方向を追跡する、請求項1に記載の仮想現実装置(102)。

請求項6

前記仮想現実イメージは、現実世界景色捕捉された立体イメージである、請求項1に記載の仮想現実装置(102)。

請求項7

当該仮想現実装置(102)をユーザの頭部に取り付ける取付デバイスを更に有する請求項1に記載の仮想現実装置(102)。

請求項8

前記合成被写界深度の外にある1つ以上のピクセルは、前記合成被写界深度の外にあり且つ注目のオブジェクト(207)の前にある前景オブジェクト(210)に対応する、請求項1に記載の仮想現実装置(102)。

請求項9

前記合成被写界深度の外にある1つ以上のピクセルは、前記合成被写界深度の外にあり且つ注目のオブジェクト(207)の後ろにある背景オブジェクト(211)に対応する、請求項1に記載の仮想現実装置(102)。

請求項10

前記プロセッサ(401)は、更に、当該仮想現実装置(102)に、前記仮想現実イメージのパノラマビューを供給させる、請求項1に記載の仮想現実装置(102)。

請求項11

視標追跡システム(204)により、仮想現実装置(102)の仮想現実表示(203)において注目のオブジェクト(207)を決定するようユーザの1つ以上の目の注視方向を追跡することと、プロセッサ(401)により、前記仮想現実表示(203)によって表示されている仮想現実イメージの輝度に基づき前記1つ以上の目の1つ以上の瞳孔寸法を推定することと、前記プロセッサ(401)により、前記推定された1つ以上の瞳孔寸法に基づき焦点面(206)を決定することと、前記プロセッサ(401)により、前記焦点面(206)に基づき合成被写界深度を生成することと、前記プロセッサ(401)により、前記仮想現実表示(203)の1つ以上のピクセルが前記合成被写界深度の外にあることに基づき該1つ以上のピクセルにブラー効果を適用することとを有する方法。

請求項12

前記プロセッサ(401)により、前記仮想現実イメージに関連するフレームデータを解析することによって該仮想現実イメージの輝度を決定することを更に有する請求項11に記載の方法。

請求項13

前記プロセッサ(401)により、前記仮想現実表示(203)の1つ以上のピクセルが前記合成被写界深度の中にあることに基づき該1つ以上のピクセルから前のブラー効果を取り除くことを更に有する請求項11に記載の方法。

請求項14

前記視標追跡システム(204)は、1つ以上の画像捕捉デバイスを有する、請求項11に記載の方法。

請求項15

前記視標追跡システム(204)により、前記仮想現実表示(203)においてピクセル座標により前記注視方向を追跡することを更に有する請求項11に記載の方法。

請求項16

前記仮想現実イメージは、現実世界の景色の捕捉された立体イメージである、請求項11に記載の方法。

請求項17

前記仮想現実装置(102)は、該仮想現実装置(102)をユーザの頭部に取り付ける取付デバイスを有する、請求項11に記載の方法。

請求項18

前記合成被写界深度の外にある1つ以上のピクセルは、前記合成被写界深度の外にあり且つ注目のオブジェクト(207)の前にある前景オブジェクト(210)に対応する、請求項11に記載の方法。

請求項19

前記合成被写界深度の外にある1つ以上のピクセルは、前記合成被写界深度の外にあり且つ注目のオブジェクト(207)の後ろにある背景オブジェクト(211)に対応する、請求項11に記載の方法。

請求項20

前記仮想現実イメージのパノラマビューを供給することを更に有する請求項11に記載の方法。

請求項21

視標追跡システム(204)により、仮想現実装置(102)の仮想現実表示(203)において注目のオブジェクト(207)を決定するようユーザの1つ以上の目の注視方向を追跡することと、プロセッサ(401)により、前記仮想現実表示(203)によって表示されている仮想現実イメージの輝度に基づき前記1つ以上の目の1つ以上の瞳孔寸法を推定することと、前記プロセッサ(401)により、前記推定された1つ以上の瞳孔寸法に基づき焦点面(206)を決定することと、前記プロセッサ(401)により、前記焦点面(206)に基づき合成被写界深度を生成することと、前記プロセッサ(401)により、前記仮想現実表示(203)の1つ以上のピクセルが前記合成被写界深度の外にあることに基づき該1つ以上のピクセルにブラー効果を適用することとを有する方法を実施するためのコンピュータ実行可能プログラム命令を記憶している非一時的なコンピュータ可読媒体

請求項22

前記プロセッサ(401)により、前記仮想現実イメージに関連するフレームデータを解析することによって該仮想現実イメージの輝度を決定することを更に有する請求項21に記載の非一時的なコンピュータ可読媒体。

請求項23

前記プロセッサ(401)により、前記仮想現実表示(203)の1つ以上のピクセルが前記合成被写界深度の中にあることに基づき該1つ以上のピクセルから前のブラー効果を取り除くことを更に有する請求項21に記載の非一時的なコンピュータ可読媒体。

請求項24

前記視標追跡システム(204)は、1つ以上の画像捕捉デバイスを有する、請求項21に記載の非一時的なコンピュータ可読媒体。

請求項25

前記視標追跡システム(204)により、前記仮想現実表示(203)においてピクセル座標により前記注視方向を追跡することを更に有する請求項21に記載の非一時的なコンピュータ可読媒体。

請求項26

前記仮想現実イメージは、現実世界の景色の捕捉された立体イメージである、請求項21に記載の非一時的なコンピュータ可読媒体。

請求項27

前記仮想現実装置(102)は、該仮想現実装置(102)をユーザの頭部に取り付ける取付デバイスを有する、請求項21に記載の非一時的なコンピュータ可読媒体。

請求項28

前記合成被写界深度の外にある1つ以上のピクセルは、前記合成被写界深度の外にあり且つ注目のオブジェクト(207)の前にある前景オブジェクト(210)に対応する、請求項21に記載の非一時的なコンピュータ可読媒体。

請求項29

前記合成被写界深度の外にある1つ以上のピクセルは、前記合成被写界深度の外にあり且つ注目のオブジェクト(207)の後ろにある背景オブジェクト(211)に対応する、請求項21に記載の非一時的なコンピュータ可読媒体。

請求項30

前記仮想現実イメージのパノラマビューを供給することを更に有する請求項21に記載の非一時的なコンピュータ可読媒体。

技術分野

0001

本開示は、コンピューティング・システムの分野に概して関係がある。より具体的には、本開示は仮想現実システムに関係がある。

背景技術

0002

仮想現実(“VR”)(virtual reality)システムは、現実世界環境におけるユーザの現実所在シミュレートする。シミュレーションは、様々な感覚的経験、例えば、視界、音響、触覚、におい、などをユーザに与えることによって、人工的に生成される。

0003

いくつかの現在のVRシステムは、立体表示デバイスを介して実施されている。立体表示デバイスは、立体視、すなわち、第1の画像をユーザの第1の目に、第2の画像をユーザの第2の目に提示して、2D画像から3D画像を人工的に生成すること、を介して、画像における奥行きの錯覚を提供する。

0004

VRメガネは、立体視を利用するVRシステムの一例である。例えば、VRメガネは、ユーザの両目の直接的な周辺視野カバーするヘッドマウント型表示スクリーンを通常は含む。VRメガネは、同じ3Dシーンの2つの画像を表示する。次いで、それら2つの画像は、3Dシーンを現実的な方法でレンダリングする対応する量のパララックスを伴ってコンピュータグラフィクス・システムによって合成される。パララックスは、2つの異なる視線(lines of sight)から見られるオブジェクト知覚されたポジションの差である。3Dシーンの現実的なレンダリングは、通常、近くのオブジェクトについてはより大きいパララックスを、遠くのオブジェクトについてはより小さいパララックスを有している。いくつかのVRシステムはまた、VRメガネによる表示のために画像を捕捉するよう立体画像捕捉リグを利用することがある。立体画像捕捉リグは、VRシステムを利用するビューアーが、VRシステムによって供給される仮想環境において異なるオブジェクトを見回すよう、VRシステムを利用するときに頭を回転することができるように、360°パノラマとして画像を捕捉する。

0005

仮想現実装置は仮想現実表示スクリーンを含む。更に、当該仮想現実装置は、仮想現実表示において注目のオブジェクトを決定するようユーザの1つ以上の目の注視方向を追跡する視標追跡システムを含む。その上、当該仮想現実装置はプロセッサを含む。当該仮想現実装置は、前記プロセッサによって実行される場合に、当該仮想現実装置に、前記仮想現実表示によって表示されている仮想現実イメージ輝度に基づき前記1つ以上の目の1つ以上の瞳孔寸法推定させる命令の組を有するメモリを更に含む。当該仮想現実装置は、更に、前記推定された1つ以上の瞳孔寸法に基づき焦点面を決定させられる。更に、当該仮想現実装置は、前記焦点面に基づき合成被写界深度を生成させられる。その上、当該仮想現実装置は、前記仮想現実表示の1つ以上のピクセルが前記合成被写界深度の外にあることに基づき該1つ以上のピクセルにブラー効果を適用させられる。

0006

更に、プロセスは、視標追跡システムにより、仮想現実装置の仮想現実表示において注目のオブジェクトを決定するようユーザの1つ以上の目の注視方向を追跡する。その上、当該プロセスは、プロセッサにより、前記仮想現実表示によって表示されている仮想現実イメージの輝度に基づき前記1つ以上の目の1つ以上の瞳孔寸法を推定する。当該プロセスはまた、前記プロセッサにより、前記推定された1つ以上の瞳孔寸法に基づき焦点面を決定する。更に、当該プロセスは、前記プロセッサにより、前記焦点面に基づき合成被写界深度を生成する。その上、当該プロセスは、前記プロセッサにより、前記仮想現実表示の1つ以上のピクセルが前記合成被写界深度の外にあることに基づき該1つ以上のピクセルにブラー効果を適用する。

図面の簡単な説明

0007

本開示の上記の特徴は、添付の図面と関連して検討される以下の記載を参照して、より明らかになるだろう。図面において、同じ参照符号は、同じ要素を表す。

0008

ユーザがVR環境を見るようヘッドマウント型VRデバイスを利用するVR構成を表す。

0009

図1に表されているユーザによって見られるヘッドマウント型VRデバイスの内部コンポーネントの上面図を表す。

0010

異なる焦点面及び対応する被写界深度(“DoF”)(depth of field)を有しているヘッドマウント型VRデバイスの内部コンポーネントの上面図を表す。

0011

図2及び図3に表されている適応焦点面システムの内部コンポーネントを表す。

0012

輝度に基づき正面点を適応させるよう適応焦点面システムによって利用されるプロセスを表す。

実施例

0013

適応焦点面を有してVRをレンダリングするための構成が提供される。従前のVRシステムは、3D世界ジオメトリがコンピュータ・グラフィクス・パイプラインを用いて輝かされレンダリングされた合成3Dシーンとの関連でパララックスを生成することができたが、そのようなVRシステムは、通常、全てのオブジェクトを焦点が合って表示した。換言すれば、全ての仮想オブジェクトは、ユーザが焦点を合わせられているオブジェクトの前景及び背景において焦点が合ったままであった。そのような環境は、ヒトの視覚系がパララックスに加えて焦点面に依存するということで、非現実的な見掛けを有している。換言すれば、現実的な環境は、ユーザに明らかに見える特定の奥行きでの焦点面においてオブジェクトを有し、一方で、前景又は背景にある面におけるオブジェクトは、一定量のブラーを有している。

0014

様々なシステムは、ユーザの目を追跡し瞳孔拡張を測定して、明らかに表示すべき注目のオブジェクト及びブラーを適用すべき他のオブジェクトを決定することによって、仮想環境の部分にブラーを適用するよう試みてきたが、そのようなシステムは、通常、複雑な画像処理を利用する。例えば、そのようなシステムは、大きい瞳孔拡張の結果起こる低DoFをシミュレートするように更なるブラーを適用するよう瞳が拡張されるかどうか、すなわち、奥行きがはっきりと焦点が合っているように焦点が合っているオブジェクトの前及び後ろの奥行きを決定するよう、あるいは、小さい瞳孔拡張の高DoFをシミュレートするようにより少ないブラーを適用するよう瞳が収縮されるかどうかを決定するよう、瞳の画像を解析する。換言すれば、DoFは、焦点が合って見えるべきシーン内の最も近いオブジェクトから最も遠いオブジェクトまでの間の距離を測り、一方で、その距離の外にあるオブジェクトは、一定量のブラーを有するべきである。対照的に、適応焦点面を有してVRをレンダリングするための構成は、仮想シーンの輝度に基づきユーザの瞳の直径を推定する。結果として、VRシステムの計算効率、例えば、処理スピードは、瞳孔直径推定が瞳孔拡張の画像処理よりも効率的であるということで、改善される。更に、適応焦点面を有してVRをレンダリングするための構成は、複雑な画像解析のための装置が、従来のVRシステムと対照的に、適応焦点面を有してVRをレンダリングするための構成には不要であるということで、従来のVRシステムのコストを削減する。

0015

適応焦点面を有してVRをレンダリングするための構成はまた、従来のVRシステムよりも正確である。例えば、実際の屋外シーンにおけるユーザの瞳は、シーン内の全てのオブジェクトの焦点が合っているように、収縮されうる。VR環境において同様のシーンを見るときに、ユーザは表示輝度下げることがある。これは、現実世界のシーンの輝度に相応しない瞳孔拡張を生じさせる可能性がある。従来のVRシステムは、たとえユーザが仮想環境において明るく輝かされたシーンを見ていたとしても、測定された瞳孔拡張に基づき、前景及び背景のオブジェクトにブラーを適用した。換言すれば、ユーザは、仮想シーン内の全てのオブジェクトを焦点が合って見えると期待していたかもしれないが、従来のVRシステムが測定された瞳孔拡張をブラー適用のために利用した結果として、特定の前景及び背景のオブジェクトに関してブラーを見ることがある。対照的に、適応焦点面を有してVRをレンダリングするための構成は、シーンの輝度がブラー適用のための基準として利用されるので、ブラー適用のために更なる正確さを与えることによって従来のVRシステムを改良する。例えば、適応焦点面を有してVRをレンダリングするための構成は、ユーザが表示輝度を低減させた太陽に照らされたVRシーンに等しくブラーを適用しない。これは、太陽に照らされたVRシーンがユーザによって変更されていないからである。

0016

図1は、ユーザ101がVR環境を見るためにヘッドマウント型VRデバイス102を利用するVR構成100を表す。ユーザ101は、ヘッドマウント型VRデバイス102内に位置付けられた、図2に表されているVR表示スクリーン203を見る。様々な実施形態で、VR環境は、現実世界イメージの捕捉された立体画像を有している。立体画像は、合成イメージとしてVR環境においてレンダリングされる。ユーザ101は、様々なモダリティ、例えば、頭部旋回、ヘッドマウント型VRデバイスに位置付けられたマイクロホンボイス入力を供給すること、ヘッドマウント型VRデバイス102に位置付けられたアクチュエータタッチ入力を供給すること、ヘッドマウント型VRデバイス102の近くに位置するアクチュエータにタッチ入力を供給すること、などを介して、VR環境をナビゲートし得る。様々な頭部取付デバイス、例えば、ストラップ構成が、ユーザ101の頭へのVRデバイス102の頭部取り付けを達成するために利用されてよい。VR構成100は、ヘッドマウント型VRデバイス102を利用するものとして表されているが、VRシステムの様々な他の実施形態は、ユーザから離れて位置付けられて、VR表示スクリーンに対するユーザの追跡された頭部の動きに基づきVR環境を変更するVR表示スクリーンを含む。従って、VR構成100は、特定のVRシステムに制限されない。

0017

図2は、図1で表されているユーザ101によって見られるヘッドマウント型VRデバイス102の内部コンポーネントの上面図を表す。ユーザ101は、VR環境における様々なオブジェクト207〜211を知覚するよう表示スクリーン203を見る。例えば、ユーザ101の左眼201及び右眼202は、注目のオブジェクト207をじっと見る。視標追跡システム204(例えば、1つ以上の画像捕捉デバイス)は、注目のオブジェクト207を決定するよう目201及び202の注視を捕捉する。視標追跡システム204は、捕捉された視標追跡データを適応焦点面システム205へ供給する。

0018

様々な実施形態において、視標追跡システム204は、目201及び202の夫々についてカメラ座標系(例えば、x座標及びy座標)を有してよい。世界ジオメトリは、目201及び202の夫々が世界ジオメトリの原点にあると見なされるように、目201及び202の夫々についてのカメラ座標系に従って表され得る。視標追跡システム204は、VR表示スクリーン203における(x,y)ピクセル座標に関して目201及び202の夫々のビュー方向を推定する。

0019

適応焦点面システム205は、目201及び202についての焦点面206を推定するよう、捕捉された視標追跡データのビュー方向を利用する。様々な実施形態において、適応焦点面システム205は、目201及び202が注目のオブジェクト207の同じ点をじっと見ているということに基づいて、焦点面206を単一の焦点面206として推定する。様々な他の実施形態において、適応焦点面システム205は、目201及び202がVR環境におけるオブジェクトの異なる点又は異なるオブジェクトをじっと見ているということに基づいて、目201及び202の夫々についての異なる焦点面を推定する。

0020

適応焦点面システム205は、次いで、VR表示スクリーン203の輝度に基づき目201及び202の瞳孔拡張を推定する。例えば、適応焦点面システム205は、VR表示スクリーン203が低輝度を有しているイメージを出す場合には、目201及び202の大きい瞳孔拡張を推定し得る。そのような瞳孔収縮は、最小限の明暗を有している現実世界のシーンの瞳孔拡張と相互に関連がある。他の例として、適応焦点面システム205は、VR表示スクリーン203が高い輝度を有しているイメージを出す場合には、目201及び202の小さい瞳孔拡張を発生させ得る。そのような瞳孔拡張は、瞳孔拡張が現実世界のシーンにおけるオブジェクトを知覚するには不要であるように、最適な明暗又はほぼ最適な明暗を有しているその現実世界のシーンの瞳孔収縮と相互に関連がある。

0021

適応焦点面システム205は、推定された焦点面206に基づき合成DoFを生成する。適応焦点面システム205は、合成DoF内のオブジェクトのピクセルが明りょうであることを可能にする、又はそのように変更し、一方、適応焦点面システム205は、ブラーが未だ適用されていない場合には、合成DoFの外にあるオブジェクトにブラーを適用する。例えば、注目のオブジェクト207がユーザ101によって明らかに見られて知覚されるよう意図される場合に、注目のオブジェクト207のピクセルは変更されないか、あるいは、適応焦点面システム205によって、如何なるブラーも除去するよう変更される。その上、合成DoF内の前景オブジェクト及び/又は背景オブジェクトも、ユーザ101によって明らかに見られて知覚されるよう意図される。従って、適応焦点面システム205は、そのようなオブジェクトのピクセルが如何なるブラーもなしで見られることを可能にするか、又はそのように変更する。

0022

図2に表されているDoFの例は、VR表示スクリーン203によって発せられた低輝度に基づく大きな瞳孔拡張の推定から生じる低いDoFである。例えば、DoFは、VR表示スクリーン203の全体に満たない最短距離だけ注目のオブジェクト207から前及び後ろに延在するものとして表される。結果として、適応焦点面システム205は、DoF内に存在している前景オブジェクト209及び背景オブジェクト208にブラーを適用せず、DoFの外にある前景オブジェクト210及び背景オブジェクト211にブラーを適用する。

0023

様々な実施形態において、輝度は、VR表示スクリーン203によって表示されるVR環境が合成イメージであることから、予め決定されている。換言すれば、特定のシーンの輝度は、たとえユーザが明るさのような様々な入力を調整するとしても、変化しない。例えば、輝度シーン値は、適応焦点面システム205へ、例えば、ストリーミングダウンロード、などを介して供給されるビデオフレーム内に符号化されてよい。それにより、適応焦点面システム205は、特定のシーンに関連した所定の輝度を決定する。様々な実施形態において、適応焦点面システム205は、特定のVRシーンに関連するVR表示スクリーン203によって表示されるコードを解析すること、VR表示スクリーン203から受信されるメタデータを解析すること、特定の画像に関連すると予め決定されるシーンを決定するよう画像解析を行うこと、などによって、特定のシーンを決定してよい。

0024

ブラーデータは、適応焦点面システム205によって決定される。適応焦点面システム205は、そのようなデータを、レンダリングのために、VR表示スクリーン203へ送ってよい。換言すれば、適応焦点面システム205は、合成DoFの外にある特定のオブジェクト又はオブジェクトの部分にブラー効果をかけるよう表示データを変更してよい。VR表示スクリーン203は、次いで、変更されたデータをレンダリングしてよい。

0025

適応焦点面システム205は単一のシステムとして表されているが、様々な実施形態において、複数のシステムが、適応焦点面システム205の機能性を実行するために利用されてよい。例えば、第1のシステムは、輝度に基づき瞳孔寸法を推定してよく、第2のシステムは、瞳孔寸法の推定に基づき焦点面を決定するか又は既存の焦点面を適応させてよく、第3のシステムは、焦点面に基づき合成DoFを生成してよく、第4のシステムは、合成DoFに基づきブラー適用を実行してよい。異なる機能性を実行するために利用されるシステムの数は他にもいくつであってもよい。

0026

適応焦点面システム205は、様々な瞳孔サイズ推定に焦点面を適応させる。図3は、異なる焦点面301及び対応するDoFを有しているヘッドマウント型VRデバイス102の内部コンポーネントの上面図を表す。一例として、図3の適応焦点面システム205は、目201及び202の小さい瞳孔拡張、すなわち、VR表示スクリーン203から発せられた最適な又はほぼ最適な輝度から生じる瞳孔収縮を推定する。結果として、適応焦点面システム205は、全てのオブジェクト207〜211がVR表示スクリーン203によって明りょうにレンダリングされるような高いDoFを計算する。

0027

図4は、図2及び図3で表されている適応焦点面システム205の内部コンポーネントを表す。適応焦点面システム205は、プロセッサ401と、様々な入出力(I/O)デバイス402、例えば、オーディオビデオ出力及びオーディオ/ビデオ入力テープドライブフロッピー登録商標)・ドライブ、ハードディスク・ドライブ若しくはコンパクトディスク・ドライブを含むがそれらに限られない記憶デバイス受信器送信器スピーカディスプレイ画像捕捉センサ、例えば、デジタル静止カメラ若しくはデジタルビデオカメラで使用されるもの、クロック出力ポートユーザ入力デバイス、例えば、キーボードキーパッドマウス、及び同様のもの、又は発話コマンドを捕捉するマイクロホンと、メモリ403、例えば、ランダムアクセス・メモリ(“RAM”)(random access memory)及び/又はリードオンリー・メモリ(“ROM”)(read only memory)と、データ記憶デバイス404と、合成DoF生成コード405とを有する。

0028

プロセッサ401は、具体的に、VRシーンのどの部分がブラー効果をかけられるか又はかけられないかを決定するために利用される合成DoFを生成するように合成DoF生成コード405を実行するよう構成される。瞳孔拡張を決定するために計算負荷の重い画像処理を利用した従来のコンピューティング・システムと対照的に、プロセッサ401は、輝度に基づく瞳孔拡張のより計算効率の良い推定を利用する。従って、プロセッサ401は、現実的なVR景観をレンダリングするようブラー適用の処理スピードを改善することによって、コンピュータの機能を改善する。

0029

更に、プロセッサ401は、画像処理を介して瞳孔拡張を決定することによるよりも正確な合成DoFを生成するよう輝度値を利用することによって、コンピュータの精度を改善する。換言すれば、プロセッサ401は、どのような瞳孔拡張が、ユーザ101によって調整されているかもしれず且つ瞳孔拡張に対して影響を有している可能性がある特定の明るさレベルよりもむしろ、所定の同姓イメージの特定の輝度値に基づくべきであるかを決定する。よって、合成イメージの輝度の使用は、明るさ調整のような他の制約によって影響を及ぼされる可能性がある瞳孔拡張と比べて、合成DoFを生成するためのより正確な決定因子である。

0030

図5は、輝度に基づき焦点面を適応させるよう適応焦点面システム205によって利用されるプロセス500を表す。処理ブロック501で、プロセス500は、視標追跡システム204により、仮想現実装置102の仮想現実表示203において注目のオブジェクト207を決定するようユーザ101の1つ以上の目201及び202の注視方向を追跡する。その上、処理ブロック502で、プロセス500は、プロセッサ401により、仮想現実表示203によって表示されている仮想現実イメージの輝度に基づき、1つ以上の目201及び202の1つ以上の瞳孔寸法を推定する。処理ブロック503で、プロセス500はまた、プロセッサ401により、推定された1つ以上の瞳孔寸法に基づき焦点面206を決定する。更に、処理ブロック504で、プロセス500は、プロセッサ401により、焦点面206に基づき合成DoFを生成する。その上、処理ブロック505で、プロセス500は、プロセッサ401により、仮想現実表示203の1つ以上のピクセルが合成被写界深度の外にあることに基づき、それらの1つ以上のピクセルにブラー効果を適用する。

0031

本願で記載されるプロセスは、図4に表されているプロセッサ401によって実装されてよい。そのようなプロセッサは、プロセスを実行するよう、コンパイルされたアセンブリ又はマシンレベルのいずれかで、命令を実行する。それらの命令は、プロセスに対応する図の記載に従って当業者によって記述され、そして、コンピュータ可読記憶デバイスのようなコンピュータ可読媒体において記憶又は送信され得る。命令はまた、ソースコード又は何らかの他の既知コンピュータ支援設計ツールを用いて作成されてよい。コンピュータ可読媒体は、それらの命令を運ぶことが可能な如何なる媒体であってもよく、CD−ROM、DVD、磁気又は他の光ディスク、テープ、シリコン・メモリ、例えば、ローカルで若しくは遠隔ネットワークを通じた有線若しくは無線伝送によるリムーバブル、非リムーバブル、揮発性若しくは不揮発性パケット化された若しくはパケット化されていないデータを含む。コンピュータは、本願では、上述されたような一般的な多目的又は単一目的のプロセッサを有している如何なるデバイスも含むよう意図される。

0032

本願で記載される構成は、VRシステムを対象としているが、そのような構成は、拡張現実(“AR”)(augmented reality)システムとの関連でも利用されてよい。ARシステムは、通常、表示システム、例えば、メガネのような、現実世界のイメージの上に仮想イメージオーバーレイするヘッドマウント型システムを利用する。結果として、ユーザは、仮想イメージがオーバーレイされた現実世界の景観を見ることができる。本願のために提供された構成は、仮想イメージがより現実的に見えるように、仮想イメージの輝度値から生成された瞳孔拡張推定に基づきその仮想イメージの焦点面を調整するために利用されてよい。

0033

“及び/又は(and/or)”及び“〜のうちの少なくとも1つ(at least one of)”の使用(例えば、“A及び/又はB”及び“A及びBのうちの少なくとも1つ”の場合)は、最初に挙げられているオプション(A)のみの選択、又は2番目に挙げられているオプション(B)のみの選択、又は両方のオプション(A及びB)の選択を包含するよう意図される。更なる例として、“A、B、及び/又はC”及び“A、B、及びCのうちの少なくとも1つ”の場合に、そのような言い回しは、最初に挙げられているオプション(A)のみの選択、又は2番目に挙げられているオプション(B)のみの選択、又は3番目に挙げられているオプション(C)のみの選択、又は最初と2番目に挙げられているオプション(A及びB)のみの選択、又は最初と3番目に挙げられているオプション(A及びC)のみの選択、又は2番目と3番目に挙げられているオプション(B及びC)のみの選択、又は3つ全てのオプション(A及びB及びC)の選択を包含するよう意図される。これは、挙げられているアイテムの数だけ拡張され得る。

0034

本願で記載されているプロセス、システム、装置、及びコンピュータ・プログラム製品は、他のタイプのプロセス、システム、装置、及びコンピュータ・プログラム製品においても適用されてよいことが理解される。当業者に明らかなように、本願で記載されているプロセス、システム、装置、及びコンピュータ・プログラム製品の実施形態の様々な適応及び変更は、目下のプロセス及びシステムの適用範囲及び精神から外れることなしに構成されてよい。従って、添付の特許請求の範囲の適用範囲の中で、目下のプロセス、システム、装置、及びコンピュータ・プログラム製品は、本願で具体的に記載されている以外にも実施されてよいことが理解されるべきである。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ