図面 (/)

この項目の情報は公開日時点(2016年8月25日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (13)

課題・解決手段

視覚要素の階層をナビゲートすることに関する実施形態が開示される。一実施形態において、方法は、2次元平面からディスプレイデバイスを介して1つまたは複数の視覚要素を提示することを含む。ディスプレイ可視領域内ホーム位置確立される。各要素と他の要素の各々との間の比例サイズ関係が確立される。凝視追跡データを使用して、可視領域内でユーザが凝視している凝視位置が決定される。凝視位置はターゲット位置マッピングされ、ホーム位置に向かうターゲット位置の移動が開始される。ターゲット位置がホーム位置の近くに移動するにつれて、視覚要素の各々が漸進的に拡大され、一方、視覚要素の各々と他の視覚要素の各々との間の比例サイズ関係も維持される。

概要

背景

コンテンツの関連部分を検索および選択するために電子コンテンツナビゲートすることは、一般的なタスクである。多くの例において、コンテンツはコンピューティングデバイスに関連付けられたディスプレイを介してユーザに表示される。コンテンツの集まりがより大きい場合、ユーザディスプレイの限られたスペース内で、コンテンツの全領域および範囲を一度に見ることはできない可能性がある。これらの例では、ユーザは通常、新しいコンテンツを見えるようにするためにスクロールまたはパンすることによって、コンテンツをナビゲートする。いくつかの例では、視標追跡技術を利用して、ディスプレイに対してユーザが凝視している位置を監視すること、およびコンテンツを移動またはスクロールするためにこうした凝視位置を使用することができる。

概要

視覚要素の階層をナビゲートすることに関する実施形態が開示される。一実施形態において、方法は、2次元平面からディスプレイデバイスを介して1つまたは複数の視覚要素を提示することを含む。ディスプレイの可視領域内ホーム位置確立される。各要素と他の要素の各々との間の比例サイズ関係が確立される。凝視追跡データを使用して、可視領域内でユーザが凝視している凝視位置が決定される。凝視位置はターゲット位置マッピングされ、ホーム位置に向かうターゲット位置の移動が開始される。ターゲット位置がホーム位置の近くに移動するにつれて、視覚要素の各々が漸進的に拡大され、一方、視覚要素の各々と他の視覚要素の各々との間の比例サイズ関係も維持される。

目的

特にコンテンツが広範な情報の階層を含む場合、こうした視標追跡インターフェースは通常、情報の階層の全領域および範囲をナビゲートするための受け入れ可能なユーザ体験を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

視覚要素の階層をナビゲートするためのユーザインターフェースシステムであって、前記階層は、前記視覚要素を含み、第1の軸および前記第1の軸に直交する第2の軸を含む、2次元平面を備え、前記ユーザインターフェースシステムは、コンピューティングデバイスに動作可能に接続されたディスプレイデバイスであって、凝視追跡システム、および、前記視覚要素のうちの1つまたは複数を提示するためのディスプレイシステムを含む、ディスプレイデバイスと、前記コンピューティングデバイスのプロセッサによって実行されるナビゲーションモジュールであって、ホーム位置を前記ディスプレイデバイスの可視領域内確立すること、前記視覚要素の各々と前記平面内の他の視覚要素の各々との間の比例サイズ関係を確立すること、前記凝視追跡システムから凝視追跡データを受信すること、前記凝視追跡データを使用して、前記ディスプレイデバイスの前記可視領域内でユーザが凝視している凝視位置を決定すること、前記凝視位置を前記平面内のターゲット位置マッピングすることであって、前記ターゲット位置は前記ホーム位置から前記第1の軸に沿って離間されて配置される、マッピングすること、前記ホーム位置に向かう前記ターゲット位置の移動を開始することであって、前記移動は前記第1の軸に沿った第1の成分を含む、開始すること、および、前記ターゲット位置が前記ホーム位置の近くに移動するにつれて、前記可視領域内に見える前記視覚要素の各々を漸進的に拡大し、一方、前記視覚要素の各々と前記他の視覚要素の各々との間の前記比例サイズ関係も維持すること、を実行するように構成された、ナビゲーションモジュールと、を備える、ユーザインターフェースシステム。

請求項2

前記ナビゲーションモジュールは、前記ターゲット位置が前記第1の軸に沿った前記第1の方向で前記ホーム位置の近くに移動するにつれて、前記可視領域内に見える前記視覚要素の各々を漸進的に拡大し、一方、前記視覚要素の各々と前記他の視覚要素の各々との間の前記比例サイズ関係も維持するように、さらに構成される、請求項1に記載のユーザインターフェースシステム。

請求項3

前記ナビゲーションモジュールは、前記ターゲット位置が前記第1の軸に沿った第1の方向とは反対の第2の方向で前記ホーム位置の近くに移動するにつれて、前記可視領域内に見える前記視覚要素の各々を漸進的に縮小し、一方、前記視覚要素の各々と前記他の視覚要素の各々との間の前記比例サイズ関係も維持するように、さらに構成される、請求項2に記載のユーザインターフェースシステム。

請求項4

前記ナビゲーションモジュールは、前記ターゲット位置が前記ホーム位置を取り囲む休止領域内にある場合、前記ホーム位置に向かう前記ターゲット位置の移動を開始するのを控えるようにさらに構成される、請求項1に記載のユーザインターフェースシステム。

請求項5

前記ナビゲーションモジュールは、前記ホーム位置からの前記ターゲット位置の距離が減少するにつれて、前記ホーム位置に向かう前記ターゲット位置の前記移動の速度を比例して低下させるようにさらに構成される、請求項1に記載のユーザインターフェースシステム。

請求項6

視覚要素の階層をナビゲートするための方法であって、前記階層は、第1の軸および前記第1の軸に直交する第2の軸を含む2次元平面を備え、コンピューティングデバイスに動作可能に接続されたディスプレイデバイスのディスプレイシステムを介して、前記視覚要素のうちの1つまたは複数を提示することであって、前記ディスプレイデバイスは凝視追跡システムを含む、提示すること、ホーム位置を前記ディスプレイデバイスの可視領域内に確立すること、前記視覚要素の各々と前記平面内の他の視覚要素の各々との間の比例サイズ関係を確立すること、前記凝視追跡システムから凝視追跡データを受信すること、前記凝視追跡データを使用して、前記可視領域内でユーザが凝視している凝視位置を決定すること、前記凝視位置を前記平面内のターゲット位置にマッピングすることであって、前記ターゲット位置は前記ホーム位置から前記第1の軸に沿って離間されて配置される、マッピングすること、前記ホーム位置に向かう前記ターゲット位置の移動を開始することであって、前記移動は前記第1の軸に沿った第1の成分を含む、開始すること、および、前記ターゲット位置が前記第1の軸に沿って前記ホーム位置の近くに移動するにつれて、前記可視領域内に見える前記視覚要素の各々を漸進的に拡大し、一方、前記視覚要素の各々と前記他の視覚要素の各々との間の前記比例サイズ関係も維持すること、を含む、方法。

請求項7

前記ターゲット位置は、前記ホーム位置から前記第2の軸に沿っても離間されて配置され、前記移動は前記第2の軸に沿った第2の成分をさらに含み、前記方法は、前記ターゲット位置の前記移動の前記第2の成分に関して、前記ディスプレイを介して見ることができる前記視覚要素の修正を控えることをさらに含む、請求項6に記載の方法。

請求項8

前記視覚要素は、1つまたは複数の頂点要素と、前記1つまたは複数の頂点要素に従属する複数の従属要素とを含み、前記従属要素の各々は前記視覚要素の1つの他の要素のみに直接従属する、請求項6に記載の方法。

請求項9

ユーザ入力を受信すること、および、前記ユーザ入力に基づいて、前記ターゲット位置に関連付けられた前記視覚要素のうちの1つを選択すること、をさらに含む、請求項6に記載の方法。

請求項10

前記ターゲット位置が前記ホーム位置を取り囲む休止領域内にある場合、前記ユーザ入力に基づいて前記ターゲット位置に関連付けられた前記視覚要素のうちの前記1つを選択することをさらに含む、請求項9に記載の方法。

背景技術

0001

コンテンツの関連部分を検索および選択するために電子コンテンツナビゲートすることは、一般的なタスクである。多くの例において、コンテンツはコンピューティングデバイスに関連付けられたディスプレイを介してユーザに表示される。コンテンツの集まりがより大きい場合、ユーザディスプレイの限られたスペース内で、コンテンツの全領域および範囲を一度に見ることはできない可能性がある。これらの例では、ユーザは通常、新しいコンテンツを見えるようにするためにスクロールまたはパンすることによって、コンテンツをナビゲートする。いくつかの例では、視標追跡技術を利用して、ディスプレイに対してユーザが凝視している位置を監視すること、およびコンテンツを移動またはスクロールするためにこうした凝視位置を使用することができる。

発明が解決しようとする課題

0002

しかしながら、典型的な視標追跡インターフェースは、ディスプレイを介してコンテンツをナビゲートするときに、直感的かつ心地よいユーザ体験を提供できない場合がある。特にコンテンツが広範な情報の階層を含む場合、こうした視標追跡インターフェースは通常、情報の階層の全領域および範囲をナビゲートするための受け入れ可能なユーザ体験を提供することができない。この欠点は、スマートフォンなどのようにディスプレイが限られたサイズである場合、特に顕著であり得る。

課題を解決するための手段

0003

本明細書では、視覚要素の階層をナビゲートするためのシステムおよび方法に関する様々な実施形態が開示されている。たとえば開示された一実施形態は、視覚要素の階層をナビゲートするための方法を提供し、階層は第1の軸および第1の軸に直交する第2の軸を含む2次元平面を備える。方法は、凝視追跡システムを含むディスプレイデバイスディスプレイシステムを介して、視覚要素のうちの1つまたは複数を提示することを含み、ディスプレイデバイスはコンピューティングデバイスに動作可能に接続されている。

0004

ホーム位置が、ディスプレイデバイスの可視領域内確立される。視覚要素の各々と平面内の他の視覚要素の各々との間の比例サイズ関係も確立される。方法は、凝視追跡システムから凝視追跡データを受信すること、および、凝視追跡データを使用して、可視領域内でユーザが凝視している凝視位置を決定することを含む。方法は、凝視位置を2次元平面内ターゲット位置マッピングすることをさらに含み、ターゲット位置はホーム位置から第1の軸に沿って離間されて配置される。

0005

方法は、ホーム位置に向けてターゲット位置の移動を開始することを含み、移動は第1の軸に沿った第1の成分を含む。ターゲット位置が第1の軸に沿ってホーム位置の近くに移動するにつれて、方法は、可視領域内に見える視覚要素の各々を漸進的に拡大し、一方、視覚要素の各々と他の視覚要素の各々との間の比例サイズ関係も維持することを含む。

0006

この課題を解決する手段は、以下の発明を実施するための形態でより詳細に説明する、概念の選択を簡略化された形で紹介するために提供される。この課題を解決するための手段は、請求する主題の主要な特徴または必須の特徴を識別することは意図されておらず、また、請求する主題の範囲を限定するために使用されることも意図されていない。さらに、請求する主題は、本開示のいずれかの部分に示された任意またはすべての欠点を解決する実装に限定されるものではない。

図面の簡単な説明

0007

本開示の実施形態による、視覚要素の階層をナビゲートするためのユーザインターフェースシステムを示す概略図である。
本開示の実施形態による、例示の頭部装着型ディスプレイデバイスを示す図である。
図2の頭部装着型ディスプレイデバイスを装着しているユーザ、壁面取付け型ディスプレイ、およびタブレットコンピュータを保持している別のユーザを含む部屋を示す、概略斜視図である。
2次元平面からの視覚要素の一部を表示しているディスプレイデバイスの可視領域を示す概略図、および、2次元平面内に配設された視覚要素の階層を示す対応する概略図である。
視覚要素の階層の一部を表示し、ホーム位置および凝視位置を示す、図4のディスプレイデバイスの可視領域を示す概略図である。
可視領域に対して移転された視覚要素面、および相応して拡大された視覚要素を示す、図5のディスプレイデバイスの可視領域を示す概略図である。
可視領域に対してさらに移転された視覚要素面、および相応してさらに拡大された視覚要素を示す、図6のディスプレイデバイスの可視領域を示す概略図である。
可視領域内のホーム位置の上の凝視位置を示す、ディスプレイデバイスの可視領域を示す概略図である。
可視領域に対して下方に移転された視覚要素面、および相応してサイズが修正されない視覚要素を示す、図8のディスプレイデバイスの可視領域を示す概略図である。
本開示の実施形態による、視覚要素の階層をナビゲートするための方法を示すフローチャートである。
本開示の実施形態による、視覚要素の階層をナビゲートするための方法を示すフローチャートである。
コンピューティングデバイスの実施形態を示す簡略図である。

実施例

0008

図1は、視覚要素の階層をナビゲートするためのユーザインターフェースシステム10の一実施形態の概略図を示す。ユーザインターフェースシステム10は、コンピューティングデバイス22の大容量ストレージ18に記憶され得るナビゲーションモジュール14を含む。ナビゲーションモジュール14は、メモリ26内にロードし、以下でより詳細に説明する方法およびプロセスのうちの1つまたは複数を実行するためにコンピューティングデバイス22のプロセッサ30によって実行することが可能である。

0009

ユーザインターフェースシステム10は、コンピューティングデバイス22に動作可能に接続されたディスプレイデバイスを含むことができる。一例において、ディスプレイデバイスは、有線または無線接続を介してコンピューティングデバイス22に動作可能に接続された、たとえばスタンドアロン型モニタなどのセパレートディスプレイ34を含むことができる。以下でより詳細に説明するように、ディスプレイ34は、1つまたは複数の視覚要素をユーザおよび凝視追跡システム60に提示するためのディスプレイシステム36を含むことができる。

0010

他の例において、コンピューティングデバイス22は、単一デバイスを形成するためにディスプレイ34に組み込むことができる。こうしたデバイスは、たとえばハンドヘルドスマートフォン、電子リーダーラップトップノートブック、およびタブレットコンピュータなどを含むことができる。コンピューティングデバイス22と分離しているか一体化しているかにかかわらず、様々なフォームファクタを有する多くの他のタイプおよび構成のディスプレイデバイスも使用可能であり、本開示の範囲内にあることを理解されよう。

0011

コンピューティングデバイス22は、デスクトップコンピューティングデバイス、スマートフォンなどのモバイルコンピューティングデバイス、ラップトップ、ノートブック、またはタブレットコンピュータ、ネットワークコンピュータホームエンターテイメントコンピュータインタラクティブテレビジョンゲームシステム、または他の好適なタイプのコンピューティングデバイスの形を取ることができる。コンピューティングデバイス22の構成要素およびコンピューティング面に関する追加の詳細は、図11を参照しながら以下でより詳細に説明する。

0012

他の例において、ディスプレイデバイスは、混合現実環境58を作成し得る、頭部装着型ディスプレイ(HMD)デバイス38などの仮想または混合現実対応デバイスの形を取ることができる。これらの例において、ユーザインターフェースシステム10は、HMDデバイス38を介して表示するための仮想環境42を生成し得る、混合現実表示プログラム40を含むことができる。仮想環境42は、HMDデバイス38を介して生成および表示される、3次元(3D)ホログラフィックオブジェクトおよび2次元(2D)仮想イメージなどの、1つまたは複数の仮想イメージを含むことができる。

0013

コンピューティングデバイス22は、有線接続を使用してHMDデバイス38と動作可能に接続すること、あるいはWiFi、Bluetooth、または任意の他の好適な無線通信プロトコルを介した無線接続を採用することができる。たとえばコンピューティングデバイス22は、ネットワーク44に通信可能に結合することができる。ネットワーク44は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワークWAN)、有線ネットワーク無線ネットワークパーソナルエリアネットワーク、またはそれらの組み合わせの形を取ることが可能であり、インターネットを含むことができる。加えて、図1に示された例は、HMDデバイス38とは分離した構成要素としてコンピューティングデバイス22を示している。他の例において、コンピューティングデバイス22はHMDデバイス38に組み込み可能であることを理解されよう。

0014

次に、図2も参照すると、透過型ディスプレイ52を備えるウェアラブル眼鏡の形のHMDデバイス200の一例が示されている。他の例では、HMDデバイス200は、透過型半透過型、または非透過型のディスプレイが視聴者の片眼または両眼の前で支持される、他の好適な形を取り得ることを理解されよう。図1に示されるHMDデバイス38は、以下でより詳細に説明するようなHMDデバイス200、または任意の他の好適なHMDデバイスの形を取り得ることも理解されよう。

0015

図1および図2を参照すると、HMDデバイス38は、HMDディスプレイシステム48、およびホログラフィックオブジェクトなどのイメージをユーザ46の眼に送達することができる透過型ディスプレイ52を含む。透過型ディスプレイ52は、透過型ディスプレイを介して物理環境を見ているユーザ46に対する物理環境56の出現視覚的に増補するように構成することができる。たとえば物理環境56の出現は、混合現実環境58を作成するために透過型ディスプレイ52を介して提示されるグラフィカルコンテンツ(たとえば各々がそれぞれの色および輝度を有する1つまたは複数のピクセル)によって、増補することができる。

0016

透過型ディスプレイ52は、仮想オブジェクト表現を表示している1つまたは複数の部分的に透明なピクセルを介して、ユーザが物理環境56内の物理的な現実世界のオブジェクトを見られるように構成することも可能である。図2に示されるように、位置例において、透過型ディスプレイ52は、レンズ204内に配置されたイメージ生成要素(たとえば、シースルー有機発光ダイオード(OLED)ディスプレイなど)を含むことができる。別の例として、透過型ディスプレイ52は、レンズ204のエッジ上に光変調器を含むことができる。この例では、レンズ204は、光変調器からユーザの眼へと光を送達するための導光器として働くことができる。こうした導光器は、ユーザが見ている物理環境56内に配置された3Dホログラフィックイメージをユーザが知覚できるようにし、一方、物理環境内の物理オブジェクトも見ることができようにするため、結果として混合現実環境を作成することができる。

0017

HMDデバイス38は、様々なセンサおよび関連システムも含むことができる。たとえばHMDデバイス38は、少なくとも1つの内向きセンサ212を使用する凝視追跡システム60を含むことができる。内向きセンサ212は、ユーザの眼から凝視追跡データ64の形でイメージデータを獲得するように構成された、イメージセンサとすることができる。ユーザがこの情報の獲得および使用を承諾すれば、凝視追跡システム60はこの情報を使用してユーザの眼の位置および/または動きを追跡することができる。

0018

一例において、凝視追跡システム60は、ユーザの各々の眼の凝視方向を検出するように構成された凝視検出サブシステムを含む。凝視検出サブシステムは、任意の好適な様式でユーザの各々の眼の凝視方向を決定するように構成することができる。たとえば凝視検出サブシステムは、ユーザの各眼の角膜から光のきらめき反射させるように構成された、赤外光源などの1つまたは複数の光源を含むことができる。次いで1つまたは複数のイメージセンサは、ユーザの眼のイメージをキャプチャするように構成することができる。

0019

イメージセンサから収集したイメージデータから決定されたきらめきおよび瞳孔のイメージを使用して、各眼の光軸を決定することができる。次いでこの情報を使用し、凝視追跡システム60は、ユーザが凝視している方向および/または物理オブジェクトまたは仮想オブジェクトを決定することができる。凝視追跡システム60は、ユーザが物理または仮想オブジェクト上のどの地点を凝視しているかを、さらに決定することができる。次いで、こうした凝視追跡データ64をコンピューティングデバイス22に提供することができる。凝視検出サブシステムは、任意の好適な数および配置構成の光源およびイメージセンサを有することができることを理解されよう。

0020

HMDデバイス38は、物理環境56から物理環境データ66を受信するセンサシステムも含むことができる。たとえばHMDデバイス38は、イメージデータをキャプチャするために光学センサなどの少なくとも1つの外向きセンサ216を使用する、光学センサシステム68を含むことができる。外向きセンサ216は、ユーザ46あるいは視野内の人物または物理オブジェクトによって実行されるジェスチャベースの入力または他の動きなどの、その視野内の動きを検出することができる。外向きセンサ216は、物理環境56および環境内の物理オブジェクトからの、2次元イメージ情報および深度情報をキャプチャすることもできる。たとえば外向きセンサ216は、深度カメラ可視光カメラ赤外光カメラ、および/または位置追跡カメラを含むことができる。

0021

HMDデバイス38は、1つまたは複数の深度カメラを介した深度感知を含むことができる。一例において、各深度カメラは立体視システムの左右のカメラを含むことができる。これらの深度カメラのうちの1つまたは複数からの時間分解イメージは、相互に、および/または可視スペクトルカメラなどの別の光学センサからのイメージに登録可能であり、深度分解ビデオを生成するために組み合わせることが可能である。

0022

他の例において、構造化光深度カメラは、構造化赤外線照明投影するように、および照明が投影されたシーンから反射される照明を撮像するように、構成可能である。シーンの深度マップは、撮像されたシーンの様々な領域内の隣接フィーチャ間の間隔に基づいて構成可能である。さらに他の例において、深度カメラは、シーン上にパルス状の赤外線照明を投影し、シーンから反射される照明を検出するように構成される、飛行時間型深度カメラの形を取ることができる。本開示の範囲内で、任意の他の好適な深度カメラが使用できることを理解されよう。

0023

外向きセンサ216は、ユーザ46が位置している物理環境56のイメージをキャプチャすることができる。一例において、混合現実表示プログラム40は、ユーザ46を取り巻く物理環境56をモデル化する仮想環境42を生成するためにこうした入力を使用する、3Dモデリングシステムを含むことができる。

0024

HMDデバイス38は、位置データ76をキャプチャするために1つまたは複数の動きセンサ220を使用する位置センサシステム72も含むことが可能であり、それによってHMDデバイスの動き検出、位置追跡、および/または配向感知が可能となる。たとえば、位置センサシステム72を使用して、ユーザの頭部の方向、速度、および加速度を決定することができる。位置センサシステム72は、ユーザの頭部の頭部姿勢配向を決定するために使用することも可能である。一例において、位置センサシステム72は、6軸または6度の自由位置センサシステムとして構成された慣性測定ユニットを備えることができる。この例の位置センサシステムは、たとえば、3本の直交軸に沿った3次元空間内でのHMDデバイス38の位置の変化(たとえばx、y、z)、および、3本の直交軸を中心とするHMDデバイスの配向の変化(たとえばロールピッチ、ヨー)を、示すかまたは測定するための、3つの加速度計および3つのジャイロスコープを含むことができる。

0025

位置センサシステム72は、GPSまたは他のグローバルナビゲーションシステムなどの、他の好適な位置決技法サポートすることができる。さらに、これまで位置センサシステムの特定の例を説明してきたが、他の好適な位置センサシステムも使用可能であることを理解されよう。いくつかの例において、動きセンサ220は、ユーザが首および頭部、あるいは身体のジェスチャを介して、HMDデバイス38と対話できるようにする、ユーザ入力デバイスとしても使用可能である。HMDデバイス38は、音声データをキャプチャする1つまたは複数のマイクロフォン224を含む、マイクロフォンシステム80も含むことができる。他の例において、音声は、HMDデバイス38上の1つまたは複数のスピーカ228を介してユーザに提示することができる。

0026

HMDデバイス38は、図11に関して以下でより詳細に考察する、HMDデバイスの様々なセンサおよびシステムと通信している、論理サブシステムおよびストレージサブシステムを有するプロセッサ230も含むことができる。一例において、ストレージサブシステムは、センサから信号入力を受信し、こうした入力を(未処理または処理済みの形で)コンピューティングデバイス22に転送するため、および、透過型ディスプレイ52を介してイメージをユーザに提示するための、論理サブシステムによって実行可能な命令を含むことができる。

0027

HMDデバイス38および関連するセンサ、ならびに上記で説明され、図1および図2に示された他の構成要素は、例として提供されていることを理解されよう。これらの例は、任意の他の好適なセンサ、構成要素、ならびに/または、センサおよび構成要素の組み合わせが使用可能であるため、いかなる形でも限定的であるものとは意図されていない。したがってHMDデバイス38は、本開示の範囲を逸脱することなく、追加および/または代替のセンサ、カメラ、マイクロフォン、入力デバイス出力デバイスなどを含むことができることを理解されよう。さらに、HMDデバイス38ならびにその様々なセンサおよびサブコンポーネント物理構成は、本開示の範囲を逸脱することなく、様々な異なる形を取ることができる。

0028

次に図3図9を参照しながら、ユーザインターフェースシステム10の例示の使用ケースおよび実施形態を説明する。図3は、リビングルーム308を含む物理環境内に配置されたユーザ304の概略図を提供し、ユーザは、HMDデバイス200の形のHMDデバイス38を介して混合現実環境58を体験している。以下でより詳細に論じるように、ナビゲーションモジュール14は、HMDデバイス200を介して視覚要素の階層を表示し、ユーザ304の凝視追跡を介した階層のナビゲート可能にするように構成可能である。

0029

別のユーザ312は、前述のようにユーザインターフェースシステム10を含み、凝視追跡システムを含む、タブレットコンピュータ316を保持することができる。リビングルーム308は、ゲームシステム324に動作可能に接続できる壁面取付け型ディスプレイ320も含むことができる。ゲームシステム324および/またはディスプレイ320は、前述のようなユーザインターフェースシステム10および凝視追跡システムも含むことができる。以下での説明では、タブレットコンピュータ316に接続されたユーザインターフェースシステム10の使用ケースについて説明する。任意の好適なディスプレイデバイスも使用可能であることも理解されよう。

0030

図1に示されるように、ナビゲーションモジュール14は、2D平面74全体にわたって要素が配設された視覚要素70の階層を受信または生成することができる。次に図4を参照すると、2D平面74に配設された視覚要素の階層の一例の概略図が提供されている。図4は、2D平面74内の視覚要素70の一部を示している、タブレットコンピュータ316などのディスプレイデバイス408の可視領域404の対応する概略図も示している。以下でより詳細に説明するように、ナビゲーションモジュール14は、ユーザが、視線を介して1つまたは複数の所望の要素を可視領域404内に引き入れることによって、2D平面74内の視覚要素70間を自然にかつ直感的にナビゲートできるようにするものである。

0031

この例において、視覚要素70はアラームクロックプログラム78に関し、AM、PM、およびMIL用)の表示、ならびに、アラーム用の時設定を表す列番号および分設定を表す列番号を含む。2D平面74内の位置および移動の方向は、横軸Xおよび縦軸Yで表すことができる。他の例において、視覚要素によって表される任意の好適なデータの階層は、本明細書で説明するようなユーザインターフェースシステム10を使用してナビゲート可能であることを理解されよう。

0032

図4に示されるように、2D平面74内の視覚要素70は、要素の各々が1つの他の要素のみに直接従属するように、階層状に配置構成される。この例において、視覚要素70の階層は3つのレベルまたは列A、B、およびCを含む。視覚要素PM、AM、およびMILは、すべての他の視覚要素が直接または間接的に従属している頂点要素として説明することができる。たとえば番号5は頂点要素AMに直接従属しており、頂点要素PMおよびMILに間接的に従属している。加えてこの例では、番号12などのいくつかの視覚要素70は、親視覚要素に直接従属していない。

0033

さらにこの例の階層では、各親視覚要素に対して3つ以下の子視覚要素が与えられる。たとえば番号1、2、および3は、親視覚要素PMに対する子視覚要素である。本明細書で説明するユーザインターフェースシステム10に関連して、視覚要素の階層の多くの他の変形および異なる配置構成が使用可能であることを理解されよう。こうした他の階層は、視覚要素70よりも少ないかまたは多いレベルを含むことができる。

0034

前述のように、図4は、ディスプレイデバイスの下に示される2D平面74内の視覚要素70の一部を表示している、ディスプレイデバイス408の可視領域404の概略図を示す。説明を容易にするために、可視領域内に表示される2D平面の対応部分を示すために、可視領域404のインジケーション404’およびディスプレイデバイス408のインジケーション408’が2D平面74と重なって提供される。

0035

ナビゲーションを容易にするために、ナビゲーションモジュール14は、2D平面74内の各視覚要素70と平面内の他の視覚要素の各々との間に、比例サイズ関係を確立することができる。本開示では、2つの視覚要素70間の「比例サイズ関係」は、可視領域404内に表示されるときに、第2の視覚要素の第2のサイズに比例する第1のサイズを有する第1の可視要素として定義される。

0036

たとえば、図4図7に示される例において、列B内の番号7は列B内の他の番号に対して比例サイズ関係を有する。この比例サイズ関係では、列B内の番号7および他の番号は同じサイズを有する。さらに、列B内の視覚要素70間のこの比例サイズ関係は、ディスプレイ408の可視領域404内でのそれらの位置または実際に表示されるサイズに関係なく維持される。言い換えれば、列B内の視覚要素70は、可視領域404内でのそれらの位置に関係なく互いに同じサイズを維持する。本例では、この比例サイズ関係は、列AおよびC内の視覚要素70にも当てはまる

0037

列B内の視覚要素70は、列AおよびC内の視覚要素70に対しても比例サイズ関係を有する。別の例では、図4図7に示されるように、列A内の視覚要素PM、AM、およびMILの各々は、列B内の視覚要素の各々よりも150%大きいものとすることができる。この比例サイズ関係も、可視領域404内でのこれらの視覚要素70の位置または実際のサイズに関係なく維持される。

0038

たとえば、視覚要素AMは、可視領域404内のこれらの視覚要素の位置または実際のサイズに関係なく、番号7のサイズよりも150%大きいサイズで表示され得る。同様に、列B内の視覚要素70の各々は、可視領域404内のこれらの視覚要素の位置または表示されるサイズに関係なく、列C内の視覚要素の各々よりも120%大きいものとすることができる。

0039

異なる列の視覚要素70間で異なるサイズ差分を有する様々な他の比例サイズ関係も使用可能であることを、理解されよう。図4図7に示される開示された例において、比例サイズ関係は横軸すなわちX軸方向に関して変化することも理解されよう。他の例では、比例サイズ関係は縦軸すなわちY軸方向に関して変化することができる。図4図7は概略図であり、一定の縮尺レンダリングされていない可能性があることも理解されよう。

0040

他の例において、ナビゲーションモジュール14は、可視領域404内の中央に表示されるすべての視覚要素70が同じサイズで表示され得るように構成可能である。これらの例において、視覚要素間の比例サイズ関係は相応に縮尺可能である。一例では、以下でより詳細に説明する、視覚要素70の漸進的拡大の結果として、可視領域404の中央に一貫したサイズの視覚要素が均一に生じることを保証するために、等比級数の和が使用可能である。

0041

図4図7で概略的に示すように、またX軸に沿って右から左に見ていくと、視覚要素70は列から列へとサイズが大きくなっている。さらに前述のように、また以下でより詳細に説明するように、視覚要素70の階層を介してユーザがナビゲートする場合、および、ディスプレイ408の可視領域404を介して異なる要素が移動するときにそれらのサイズが変化する場合、比例サイズ関係は維持される。有利なことに、このように視覚要素70間の比例サイズ関係を維持することで、複数レベルの視覚要素の階層を介したナビゲーションの一貫した自然な視覚体験がユーザに提供される。

0042

次に、凝視追跡を介した視覚要素70の2D平面74のナビゲーションを容易にする例が提供される。ここで図5を参照すると、ディスプレイデバイス408の可視領域404の概略図が提供されている。可視領域404は、図4に示された2D平面74内に、視覚要素70の階層の一部を表示している。図5は、ナビゲーションモジュール14によって確立され、この例では可視領域404の中央に配置された、ホーム位置Hも示している。他の例では、ホーム位置Hは可視領域404内のいずれにも配置可能である。図4に示されるように、ホーム位置Hは2D平面74内の対応する位置にもマッピングされる。

0043

以下でより詳細に説明し、図6および図7に示されるように、ホーム位置Hは可視領域404に対して示された位置に継続して固定され、一方、視覚要素70の階層は、ユーザが階層をナビゲートするにつれて、可視領域404を介してスクロールまたはパンすることができる。いくつかの例において、ホーム位置Hはディスプレイデバイス408を見ているユーザに対して表示され得、図示されたように円内のHによって、または任意の他の好適な様式で示すことができる。他の例では、ホーム位置はユーザに表示されない場合がある。

0044

ディスプレイデバイス408の凝視追跡システムは、凝視追跡データ64をナビゲーションモジュール14に提供することができる。この凝視追跡データを使用して、ナビゲーションモジュール14は、ユーザ312がディスプレイデバイス408の可視領域404内で凝視している凝視位置を決定することができる。図5図7において、凝視位置504は星形によって示され、これはユーザ312に対して表示される場合または表示されない場合がある。図4に示されるように、凝視位置504は2D平面74内の対応するターゲット位置504’にもマッピングされる。

0045

この例において、凝視位置504および対応するターゲット位置504’は、横X軸および縦Y軸に沿ってホーム位置Hから離間される。他の例において、凝視位置504および対応するターゲット位置504’は、横X軸のみに沿ってホーム位置Hから離間させること(すなわち、ホーム位置Hと縦に位置合わせされること)ができることを理解されよう。他の例において、凝視位置504および対応するターゲット位置504’は、縦Y軸のみに沿ってホーム位置Hから離間させること(すなわち、ホーム位置Hと横に位置合わせされること)ができる。

0046

2D平面74内の凝視位置504および対応するターゲット位置504’の決定に基づき、ナビゲーションモジュール14は、ホーム位置Hに向かってターゲット位置504’の移動を開始するように構成され、こうした移動は一般にアクション矢印Mによって示される。さらに、2D平面74内のターゲット位置504’は2D平面に「固定」され、結果としてターゲット位置の移動は2D平面の対応する移動を生じさせることになる。言い換えれば、図4を参照すると、ターゲット位置504’がホーム位置Hに向かって動くにつれて、2D平面74内のすべての視覚要素70はそれに応じて2D平面と共に移動する。

0047

ナビゲーションモジュール14は、30Hz、60Hz、120Hzなどの特定のサンプリングレートまたは周波数、あるいは任意の他の好適なレートに対応する、周期的な間隔で、ユーザの凝視位置を決定するように構成される。各サンプルで、ユーザの凝視位置が以前のサンプルから変更された場合、ナビゲーションモジュール14は凝視位置504および対応するターゲット位置504’を更新する。次いでナビゲーションモジュール14は、ホーム位置に向かうターゲット位置504’の移動を開始する。このように、ユーザインターフェースシステム10は、ユーザの凝視位置504にあるかまたはその近くにある2D平面74および視覚要素70がホーム位置Hに向かって移動しているように知覚される、ナビゲーション体験を生成することを理解されよう。

0048

一例において、ならびに図4および図5を参照すると、ユーザは、2D平面74から番号7を選択することに関心を持つことができる。ユーザは初期に、ターゲット位置504’に対応する凝視位置504を凝視することができる。次いでターゲット位置504’および対応する2D平面74上の位置がホーム位置Hに向かって移動するにつれて、ユーザの凝視は、図7に示されるように、ユーザの凝視位置504がホーム位置Hに合致するまで2D平面上のこの位置に追従することができる。このように、ユーザインターフェースシステム10は、ユーザが、番号7を可視領域内の中央にあるホーム位置Hへと誘導または操縦できるようにする。図6は、図5に示された初期位置と図7に示されたホーム位置Hの位置との間の、2D平面74の位置および凝視位置504を示すことも理解されよう。

0049

加えて、図5図7に示されるように、ターゲット位置504’がホーム位置Hに近づくにつれて、可視領域404内に見える視覚要素70の各々は漸進的に拡大され、一方、各要素と他の各要素との間の比例サイズ関係も維持される。たとえば、番号7は、図5に示された位置から図7に示された位置へと移動するにつれて、サイズが大きくなることを理解されよう。別の例として、視覚要素AM内の文字Mは図5から図6へとサイズが大きくなる。図7では、文字Mはディスプレイ408の可視領域404の外へ移動しているため、もはや見えないことを理解されよう。

0050

いくつかの例において、所与の列内の視覚要素70のサイズは縦方向に均一であること、およびX軸に沿って要素の横位置に対してのみ比例することが可能である。言い換えれば、図4を参照すると、列A内の視覚要素PM、AM、およびMILはすべて、72ポイントタイプなどの同じサイズを有することができる。同様に、列B内の視覚要素1〜23はすべて、28ポイントタイプなどの同じサイズを有することができる。列C内の視覚要素0〜59も、8ポイントタイプなどの同じサイズを有することができる。したがって、視覚要素70が2D平面74内の特定の位置を介して移動するにつれて、各要素はその位置で同じサイズを有することになる。加えて、いくつかの例において、ホーム位置Hに到達した各視覚要素70は同じサイズで表示されることになる。

0051

一例において、視覚要素70は、ターゲット位置504’および2D平面74の負のX軸方向(言い換えれば、図4図7における右から左)の移動に関してのみ、漸進的に拡大される。これに対応して、視覚要素70は、ターゲット位置504’および2D平面74の正のX軸方向(言い換えれば、図4図7における左から右)の移動に関してのみ、漸進的に縮小される。したがってこの例において、可視領域404内に表示される視覚要素70のサイズは、領域内のX軸に沿ったその位置に直接関係する。

0052

加えてこの例において、視覚要素70は、ターゲット位置504’および2D平面74の正または負のいずれのY軸方向(言い換えれば、図4図7における上および下)の移動に関しても、サイズ変更またはその他の方法で修正されることはない。たとえば図8および図9を参照すると、ユーザの凝視位置504および対応するターゲット位置504’が縦方向下方のホーム位置Hに向かって移動する場合、視覚要素PM、AM、MILおよび番号1〜8のサイズは固定されたままであり、互いの比例サイズ関係も維持される。

0053

ナビゲーションモジュール14は、ホーム位置Hからのターゲット位置504’の距離に基づいて、ターゲット位置504’および2D平面74の移動速度を制御するようにも構成可能である。一例において、ナビゲーションモジュール14は、ホーム位置Hからターゲット位置までの距離が減少するにつれて、ホーム位置Hへと向かうターゲット位置504’の移動速度をそれに比例して低下させることができる。

0054

たとえば図5を参照すると、ホーム位置Hに向かって凝視位置504に対応するターゲット位置504’の移動が開始すると同時に、可視領域404内の視覚要素70に速度4cm/秒を与えることができる。ターゲット位置504’および対応する凝視位置504が、図6に示されるホーム位置Hにより近い位置に達すると、可視領域404内の視覚要素70には、ホーム位置Hまでの減少された距離に比例して、2cm/秒などのより遅い速度を与えることができる。視覚要素70の速度は、図5図6のターゲット位置504’間で、線形に減少することも可能である。

0055

図7を参照すると、視覚要素70の速度は、図6および図7の凝視位置504と対応するターゲット位置504’との間で、さらに減少することも可能である。ターゲット位置504’および対応する凝視位置504がホーム位置Hに到達したときに、視覚要素70および2D平面74の移動を停止することができる。この点で、また以下でより詳細に説明するように、ユーザはターゲット位置504’に関連付けられた視覚要素70を選択することができる。一例において、ターゲット位置504’に最も近い視覚要素70をターゲット位置に関連付けることができる。図7に示される例では、番号7をターゲット位置504’に関連付けることができる。

0056

次いでディスプレイデバイス408は、番号7のユーザ選択を示すユーザ入力を受信することができる。このユーザ入力に基づき、次いでナビゲーションモジュール14は番号7を選択することができる。ユーザ入力は、たとえばユーザからの口頭命令、ユーザの手、頭、身体などによるジェスチャ、連続するまばたきなどの凝視追跡システムによって受信される入力、特定の位置に所定の期間存在する凝視、キーボードまたはマウスなどの別の入力デバイスを介した入力、あるいは任意の他の好適なユーザ入力を、含むことができる。

0057

一例において、ナビゲーションモジュール14は、ホーム位置周囲の休止領域内にターゲット位置が存在する場合にのみ、ユーザ入力に基づいてターゲット位置504’に関連付けられた視覚要素70を選択するように構成可能である。図7を参照すると、一例において休止領域704は、所定の直径を有し、ホーム位置Hを取り囲む、円形領域を含むことができる。ターゲット位置504’および対応する凝視位置504が休止領域704内にある場合、ナビゲーションモジュール14はユーザ入力を介した視覚要素の選択を可能にすることができる。休止領域704およびホーム位置Hは、可視領域404内の任意の好適な位置に配置可能であることを理解されよう。さらに休止領域704は、任意の好適なサイズおよび形状とすることができる。

0058

別の例において、ナビゲーションモジュール14は、ターゲット位置の少なくとも一部が休止領域704内にある場合、ホーム位置Hに向かうターゲット位置504’の移動を開始することを控えるように構成可能である。言い換えれば、ターゲット位置の少なくとも一部が休止領域704内にある場合、ホーム位置Hに向かうターゲット位置504’の移動は中止することができる。たとえば、ターゲット位置504’および対応する凝視位置504が休止領域704の境界を越えると、視覚要素70および2D平面74の移動を中止することができる。

0059

有利なことに、これによって、関連付けられたターゲット位置504’が可視領域404内の休止領域704に到達したときに、ユーザが番号7などの特定の視覚要素70に焦点をあてることを可能にし、これを支援することができる。さらに、このように休止領域704を利用することは、ユーザ312が要素を読むか検討するために自分の凝視を移動させるか、またはユーザの眼が衝動または他の不随意の動きを体験した場合に、特定の視覚要素70の意図しない移動を回避するのに役立つ場合がある。したがって、休止領域704は、読みやすくするために動かない視覚要素70を提供する静止状態を提供することができる。

0060

別の例において、ナビゲーションモジュール14は、ターゲット位置が休止領域704内にある場合、ホーム位置Hに向かうターゲット位置504’および対応する凝視位置504の移動を大幅に遅くするように構成可能である。たとえば、休止領域704のすぐ外側では、ホーム位置Hに向かうターゲット位置504’の速度は1.0cm/秒とすることができる。ターゲット位置504’の少なくとも一部が休止領域704内にあれば、ターゲット位置の速度は0.1cm/秒まで低下させることができる。任意の好適な速度および速度差が使用可能であることを理解されよう。

0061

ユーザは、視覚要素70の階層を介して横方向にスクロールできることも理解されよう。一例において、ユーザは、図4の番号5などの、ホーム位置Hの右側の可視領域404内の位置に自分の凝視を固定させることが可能である。ユーザがディスプレイ上のこの位置での凝視を続行すると、2D平面74はディスプレイ408を横切って右から左へ進み、結果として列C上の番号は可視領域404内に入ることになる。同様にユーザは、図7の番号7の左側などの、ホーム位置Hの左側の可視領域404内の位置で、凝視を固定させることができる。ユーザがディスプレイ上のこの位置での凝視を続行すると、2D平面74はディスプレイ408を横切って左から右へ進み、視覚要素70はこれに応じてサイズを減少させることになる。

0062

再度図6を参照すると、別の例において、凝視位置504が示された位置に到達すると、ユーザは自分の凝視を、番号6内の異なる凝視位置512にそらすことができる。この時点で、ナビゲーションモジュール14は、凝視位置512および対応する新しいターゲット位置512’(図示せず)を使用して、ホーム位置Hに向かう新しいターゲット位置512’の移動を開始することができる。したがって、対応するターゲット位置512’、2D平面74、および視覚要素70も、これに対応して移動する。

0063

ユーザインターフェースシステム10および前述の様々な実施形態は、ユーザが視覚要素の階層を自然かつ滑らかにナビゲートできるようにするものであり得ることを理解されよう。1本の軸に沿った動きを、視覚要素70に適用されたズームまたは拡大機能にマッピングすることによって、ユーザインターフェースシステム10は、階層のすべてのレベルで一貫した要素サイズを提供するように動作可能である。ユーザインターフェースシステム10は、2D平面内に表すことが可能な視覚要素の任意の階層と共に使用可能であることも理解されよう。

0064

使用ケースの一例において、ユーザは、たとえばタブレットコンピュータ316を介してアラーム時刻を設定するためにアラームクロックプログラム78をインスタンス化することができる。この例では、ユーザはアラーム時刻を午前7時30分に設定したい可能性がある。図4を参照すると、ナビゲーションモジュール14は初期に、2D平面74内の視覚要素70の列Aを、可視領域404内に表示することができる。AM視覚要素がホーム位置Hの上に表示されると、ユーザは、前述のような任意の好適な方法でAMを選択することができる。

0065

次にユーザは、たとえば凝視位置504および対応するターゲット位置504’にある番号7に注目することができる。前述のように、次いでターゲット位置504’はホーム位置Hに向かって移動することができる。ユーザは番号7の隣の位置を凝視したまま、この位置からホーム位置Hへと追従することが可能であり、ここで2D平面74内のターゲット位置および視覚要素の移動は中止する。次いでユーザは、番号7を選択することができる。

0066

図7を参照すると、次いでユーザは、自分の凝視を可視領域404の右上域に向け、これによって、番号30が可視領域内で見えるようになるまで視覚要素70を下方および左にスクロールさせることができる。ユーザは、番号30またはその近くを凝視し、この位置をホーム位置Hまで追従することができる。次いでユーザは、番号30を選択し、それによってアラーム時刻の午前7時30分を入力することができる。

0067

図10Aおよび図10Bは、本開示の実施形態による、可視要素の階層をナビゲートするための方法1000のフローチャートを示す。方法1000の以下の説明は、上記で説明され図1図9に示された、ユーザインターフェースシステム10のソフトウェアおよびハードウェア構成要素を参照しながら提供される。方法1000は、他の好適なハードウェアおよびソフトウェア構成要素を使用する他のコンテキストでも実行可能であることを理解されよう。

0068

図10Aを参照すると、1002で、方法1000は、第1の軸および第1の軸に直交する第2の軸を含む2D平面を備える、視覚要素の階層を提供することを含む。1006で、方法1000は、凝視追跡システムを含むディスプレイデバイスのディスプレイシステムを介して、1つまたは複数の視覚要素を提示することを含むことができる。1008で、視覚要素は、1つまたは複数の頂点要素と、1つまたは複数の頂点要素に従属する複数の従属要素とを含むことが可能であり、各従属要素は視覚要素の1つの他の要素のみに従属する。1010で、方法1000は、ディスプレイデバイスの可視領域内にホーム位置を確立することを含むことができる。

0069

1012で、方法1000は、視覚要素の各々と平面内の他の視覚要素の各々との間に比例サイズ関係を確立することを含むことができる。1014で、方法1000は、凝視追跡システムから凝視追跡データを受信することを含むことができる。1018で、方法1000は、凝視追跡データを使用して、可視領域内でユーザが凝視している凝視位置を決定することを含むことができる。1022で、方法1000は、凝視位置を2D平面内のターゲット位置にマッピングすることを含むことができ、ターゲット位置は第1の軸に沿ってホーム位置から離間される。

0070

1026で、方法1000は、ホーム位置に向かうターゲット位置の移動を開始することを含むことができ、移動は第1の軸に沿った第1の成分を含む。次に図10Bを参照すると、1030で、方法1000は、ターゲット位置がホーム位置のより近くに移動するにつれて、可視領域内で見ることができる視覚要素の各々を漸進的に拡大しながら、視覚要素の各々と他の視覚要素の各々との間の比例サイズ関係も維持することを、含むことができる。

0071

1034で、方法1000は、ターゲット位置が第1の軸に沿った第1の方向でホーム位置のより近くに移動するにつれて、視覚要素の各々を漸進的に拡大することを含むことができる。1038で、方法1000は、ターゲット位置が第1の軸に沿った第1の方向とは反対の第2の方向で、ホーム位置のより近くに移動するにつれて、視覚要素の各々を漸進的に縮小することを含むことができる。

0072

1042で、方法1000は、ターゲット位置がホーム位置を取り囲む休止領域内にある場合、ホーム位置に向かうターゲット位置の移動を開始するのを控えることを含むことができる。1046で、方法1000は、ホーム位置からのターゲット位置の距離が減少するにつれて、ホーム位置に向かうターゲット位置の移動速度を比例して低下させることを含むことができる。1050で、方法1000は、ターゲット位置が第2の軸に沿ってホーム位置からも離間され、移動は縦軸に沿った第2の成分をさらに含む場合、ターゲット位置の移動の第2の成分に関して、ディスプレイを介して見ることができる視覚要素の修正を控えることを含むことができる。

0073

1058で、方法1000は、ユーザ入力を受信することを含むことができる。1062で、方法1000は、ユーザ入力に基づいて、ターゲット位置に関連付けられた視覚要素のうちの1つを選択することを含むことができる。1066で、方法1000は、ターゲット位置がホーム位置を取り囲む休止領域内にある場合にのみ、ユーザ入力に基づいてターゲット位置に関連付けられた視覚要素を選択することを含むことができる。

0074

方法1000は例として提供され、限定的であるものと意図されないことを理解されよう。したがって方法1000は、図10Aおよび図10Bに示された以外の追加および/または代替のステップを含むことができることを理解されよう。さらに、方法1000は任意の好適な順序で実行可能であることを理解されよう。さらにまた、本開示の範囲を逸脱することなく、1つまたは複数のステップを方法1000から省略できることを理解されよう。

0075

図11は、前述の方法およびプロセスのうちの1つまたは複数を実行可能な、コンピューティングシステム1100の非限定的実施形態を概略的に示す。コンピューティングデバイス22は、コンピューティングシステム1100の形を取ることができる。コンピューティングシステム1100は簡略化された形で示されている。事実上、本開示の範囲を逸脱することなく、いずれのコンピュータアーキテクチャも使用可能であることを理解されよう。様々な実施形態において、コンピューティングシステム1100は、メインフレームコンピュータ、サーバコンピュータデスクトップコンピュータラップトップコンピュータ、タブレットコンピュータ、ホームエンターテイメントコンピュータ、ネットワークコンピューティングデバイス、モバイルコンピューティングデバイス、モバイル通信デバイスゲームデバイスなどの形を取ることができる。前述のように、いくつかの例において、コンピューティングシステム1100はディスプレイデバイスに組み込むことができる。

0076

図11に示されるように、コンピューティングシステム1100は論理サブシステム1104およびストレージサブシステム1108を含む。コンピューティングシステム1100は、任意選択により、ディスプレイサブシステム1112、通信サブシステム1116、センササブシステム1120、入力サブシステム1122、および/または、図11に示されていない他のサブシステムおよび構成要素を含むことができる。コンピューティングシステム1100はコンピュータ可読媒体も含むことが可能であり、コンピュータ可読媒体はコンピュータ可読記憶媒体およびコンピュータ可読通信媒体を含む。コンピューティングシステム1100は、任意選択により、たとえばキーボード、マウス、ゲームコントローラ、および/またはタッチスクリーンなどの、他のユーザ入力デバイスも含むことができる。さらにいくつかの実施形態において、本明細書で説明する方法およびプロセスは、コンピュータアプリケーションコンピュータサービス、コンピュータAPI、コンピュータライブラリ、および/または他のコンピュータプログラム製品として、1つまたは複数のコンピュータを含むコンピューティングシステム内に実装することができる。

0077

論理サブシステム1104は、1つまたは複数の命令を実行するように構成された1つまたは複数の物理デバイスを含むことができる。たとえば論理サブシステム1104は、1つまたは複数のアプリケーションサービス、プログラム、ルーチン、ライブラリ、オブジェクト、構成要素、データ構造、または他の論理構成の一部である、1つまたは複数の命令を実行するように構成可能である。こうした命令は、タスクを実行するため、データ型を実装するため、1つまたは複数のデバイスの状態を変換するため、あるいは所望の結果に到達するために、実装可能である。

0078

論理サブシステム1104は、ソフトウェア命令を実行するように構成された1つまたは複数のプロセッサを含むことができる。追加または代替として、論理サブシステムは、ハードウェアまたはファームウェア命令を実行するように構成された、1つまたは複数のハードウェアまたはファームウェア論理マシンを含むことができる。論理サブシステムのプロセッサは、シングルコアまたはマルチコアとすることが可能であり、そこで実行されるプログラムは、並列または分散型処理用に構成可能である。論理サブシステムは、任意選択により、リモートに配置すること、および/または協調処理用に構成することが可能な、2つまたはそれ以上のデバイス全体にわたって分散された、個々の構成要素を含むことができる。論理サブシステムの1つまたは複数の態様は、クラウドコンピューティング構成で構成された、リモートアクセスが可能なネットワーク化コンピューティングデバイスによって仮想化および実行が可能である。

0079

ストレージサブシステム1108は、本明細書で説明する方法およびプロセスを実装するために、論理サブシステム1104による実行が可能なデータおよび/または命令を保持するように構成された、1つまたは複数の物理的な永続デバイスを含むことができる。こうした方法およびプロセスが実装される場合、ストレージサブシステム1108の状態は(たとえば異なるデータを保持するために)変換可能である。

0080

ストレージサブシステム1108は、取り外し可能媒体および/または組み込み型デバイスを含むことができる。ストレージサブシステム1108は、光学メモリデバイス(たとえばCD、DVD、HD−DVD、ブルーレイディスクなど)、半導体メモリデバイス(たとえばRAM、EPROM、EEPROMなど)、および/または磁気メモリデバイス(たとえばハードディスクドライブフロッピーディスクドライブテープドライブMRAMなど)などを含むことができる。ストレージサブシステム1108は、揮発性不揮発性、動的、静的、読み取り/書き込み、読み取り専用ランダムアクセス順次アクセス位置アドレス可能、ファイルアドレス可能、およびコンテンツアドレス可能などの、特徴のうちの1つまたは複数を備える、デバイスを含むことができる。

0081

いくつかの実施形態において、論理サブシステム1104およびストレージサブシステム1108の態様は、それを介して本明細書で説明する機能を少なくとも部分的に規定することが可能な、1つまたは複数の共通デバイス統合することができる。こうしたハードウェア論理構成要素は、たとえばフィールドプログラマブルゲートアレイFPGA)、特定プログラム向けおよび特定用途向け集積回路PASIC/ASIC)、特定プログラム向けおよび特定用途向け標準製品(PSSP/ASSP)、システムオンチップ(SOC)システム、および複合プログラマブル論理デバイス(CPLD)を含むことができる。

0082

図11は、本明細書で説明する方法およびプロセスを実装するために実行可能なデータおよび/または命令を記憶するために使用可能な、取り外し可能コンピュータ可読記憶媒体1124の形のストレージサブシステム1108の態様も示す。取り外し可能コンピュータ可読記憶媒体1124は、CD、DVD、HD−DVD、ブルーレイディスク、EEPROM、および/またはフロッピーディスクなどの形を取ることができる。

0083

ストレージサブシステム1108は、1つまたは複数の物理的な永続デバイスを含むことを理解されよう。これに対して、いくつかの実施形態において、本明細書で説明する命令の態様は、少なくとも限定された期間、物理デバイスによって保持されない純粋な信号(たとえば電磁信号光信号など)によって一時的に伝搬可能である。さらに、本開示に関連するデータおよび/または他の形の情報は、コンピュータ可読通信媒体を介して純信号によって伝搬可能である。

0084

含まれる場合、ディスプレイサブシステム1112を使用して、ストレージサブシステム1108によって保持されるデータの視覚表現を提示することができる。前述の方法およびプロセスがストレージサブシステム1108によって保持されるデータを変更し、それによってストレージサブシステムの状態を変換する場合、ディスプレイサブシステム1112の状態も同様に、基本的なデータの変化を視覚的に表すように変換することができる。ディスプレイサブシステム1112は、任意のタイプの技術を事実上使用する1つまたは複数のディスプレイデバイスを含むことができる。こうしたディスプレイデバイスは、共有エンクロージャ内の論理サブシステム1104および/またはストレージサブシステム1108と組み合わせることができるか、あるいはこうしたディスプレイデバイスは周辺ディスプレイデバイスとすることができる。ディスプレイサブシステム1112は、たとえばHMDデバイス38のディスプレイシステム48および透過型ディスプレイ52を含むことができる。

0085

含まれる場合、通信サブシステム1116は、コンピューティングシステム1100を、1つまたは複数のネットワークおよび/または1つまたは複数の他のコンピューティングデバイスに、通信可能に結合するように構成可能である。通信サブシステム1116は、1つまたは複数の異なる通信プロトコル適合可能な、有線および/または無線通信デバイスを含むことができる。非限定的な例として、通信サブシステム1116は、無線電話網無線ローカルエリアネットワーク、有線ローカルエリアネットワーク、無線ワイドエリアネットワーク、有線ワイドエリアネットワークなどを介して通信するように、構成可能である。いくつかの実施形態において、通信サブシステムは、インターネットなどのネットワークを介して、他のデバイスにメッセージを送信すること、および/または他のデバイスからメッセージを受信することを、コンピューティングシステム1100が実行できるようにすることが可能である。

0086

センササブシステム1120は、前述のように異なる物理現象(たとえば可視光赤外光、音声、加速、配向、位置など)を感知するように構成された、1つまたは複数のセンサを含むことができる。センササブシステム1120は、たとえばセンサデータを論理サブシステム1104に提供するように構成可能である。前述のように、こうしたデータは、視線追跡情報、イメージ情報オーディオ情報周囲照明情報、深度情報、位置情報動き情報ユーザ位置情報、および/または、前述の方法およびプロセスを実行するために使用可能な任意の他の好適なセンサデータを、含むことができる。

0087

含まれる場合、入力サブシステム1122は、1つまたは複数のセンサ、あるいは、ゲームコントローラ、ジェスチャ入力検出デバイス音声認識装置、慣性測定ユニット、キーボード、マウス、またはタッチスクリーンなどの、ユーザ入力デバイスを備えるか、またはこれらとインターフェースすることができる。いくつかの実施形態において、入力サブシステム1122は、選択された自然なユーザ入力(NUI)構成要素を含むか、またはこれとインターフェースすることができる。こうした構成要素は、組み込まれるかまたは周辺装置とすることが可能であり、入力アクションの変換および/または処理は、オンボードまたはオフボードで取り扱うことができる。NUI構成要素の例は、会話および/または音声認識用のマイクロフォンと、機械視覚および/またはジェスチャ認識用の赤外線、色、立体、および/または深度カメラと、動き検出および/または意図認識用の頭部追跡装置眼球追跡装置、加速度計、および/またはジャイロスコープと、脳活動を評価するための電界感知構成要素とを、含むことができる。

0088

モジュール」という用語は、1つまたは複数の特定の機能を実行するために実装される、ユーザインターフェースシステム10の態様を説明するために使用可能である。いくつかのケースでは、こうしたモジュールは、ストレージサブシステム1108によって保持される命令を実行する論理サブシステム1104を介してインスタンス化することができる。同じアプリケーション、サービス、コードブロック、オブジェクト、ライブラリ、ルーチン、API、関数などから、異なるモジュールがインスタンス化可能であることを理解されよう。同様に、同じモジュールが、異なるアプリケーション、サービス、コードブロック、オブジェクト、ルーチン、API、関数などによってインスタンス化可能である。「モジュール」という用語は、実行可能ファイルデータファイル、ライブラリ、ドライバスクリプトデータベース記録などの、それぞれまたはグループ包含することを意味している。

0089

本明細書で説明する構成および/または手法は、本来例示的なものであり、これらの特定の実施形態または例は、様々な変形が可能であることから、限定的な意味であるものとみなされないことを理解されよう。本明細書で説明する特定のルーチンまたは方法は、任意数の処理ストラテジのうちの1つまたは複数を表すものとすることができる。したがって、図示された様々な動作は、図示された順序で、他の順序で、並行して、または場合によっては省略して、実行可能である。同様に、前述のプロセスの順序は変更可能である。

0090

本開示の主題は、本明細書で開示される、様々なプロセス、システム、および構成、ならびに他の特徴、機能、動作、および/または特性、ならびにそれらのいずれかまたはすべての等価物の、すべての新規かつ非自明の組み合わせおよび下位組み合わせを含む。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 京セラ株式会社の「 電子機器、制御方法、及びプログラム」が 公開されました。( 2020/10/29)

    【課題】操作性を向上させた電子機器、制御方法、及びプログラムを提供する。【解決手段】電子機器1は、自機器に接触されないジェスチャを検出する第1センサ(近接センサ18)と、自機器に接触されるタッチを検出... 詳細

  • 京セラ株式会社の「 電子機器、制御方法、及びプログラム」が 公開されました。( 2020/10/29)

    【課題】移動体の運転の安全性を向上可能な電子機器、制御方法、及びプログラムを提供する。【解決手段】自動車に搭載可能な電子機器は、自機器に触れられずにジェスチャを検出する第1センサと、自機器に接触される... 詳細

  • 威海火峰電脳有限公司の「 マウスパッドの固定と調節装置」が 公開されました。( 2020/10/29)

    【課題】本発明はマウスパッドの固定と調節装置を開示した。【解決手段】主体を含み、前記主体の中には巻き装置が設置され、前記主体の下側には固定装置が設置され、前記巻き装置の上側には切換装置が設置され、前記... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ