図面 (/)

この項目の情報は公開日時点(2018年5月31日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

誤操作を抑制しつつ短時間で選択可能な操作方法を実現すること。

解決手段

端末装置は、仮想空間におけるユーザの操作点を検出する検出部と、ユーザの操作により選択可能な選択オブジェクト仮想空間内に配置するオブジェクト配置部と、仮想空間内に配置された選択オブジェクトが選択されたか否かを判定する第1の判定領域と、検出部により検出された操作点と、第1の判定領域とは異なる第2の判定領域とを表示部に表示させる表示制御部と、表示部に表示された第1の判定領域と操作点とが重ならない位置関係から重なる位置関係になってから所定の時間が経過したことを条件として、選択オブジェクトが選択されたと判定する第1判定部と、第2の判定領域と操作点との位置関係が所定の条件を満たしたことを条件として、所定の時間が経過していなくとも選択オブジェクトが選択されたと判定する第2判定部と、を備える。

概要

背景

ユーザの頭部に装着し、該ユーザの眼前に配置されたディスプレイ仮想空間における画像を表示可能なヘッドマウントディスプレイ(HMD:Head Mounted Display)がある。例えば、HMDを利用したゲームでは、頭部に装着するディスプレイの他、手に持って操作されるコントローラ等のデバイスを併用してゲームをプレイするものがある。しかしながら、ユーザはHMDによって現実空間への視界が覆われており手元を観察できないため、コントローラから一旦指が離れた場合などに誤操作が発生することがあった。そこで、頭部の傾き等の動きを検出して、選択肢の表示/非表示操作などを行うHMDがある(例えば、特許文献1)。

また、近年、スマートフォンなどの高性能化に伴いスマートフォンなどをHMDとして利用するものがある。例えば、簡易的なアタッチメントを用いてスマートフォンを頭部に装着することで、HMDとして利用することができる。この場合、頭部へ装着されることにより、スマートフォンに備えられているタッチパネル等の入力デバイスが利用できなくなる。そのため、例えばスマートフォンに内蔵されたジャイロなどのセンサを利用して頭部の動きを検出することで、HMDに表示される選択肢に対する操作を実現する方法がある。

概要

誤操作を抑制しつつ短時間で選択可能な操作方法を実現すること。端末装置は、仮想空間におけるユーザの操作点を検出する検出部と、ユーザの操作により選択可能な選択オブジェクト仮想空間内に配置するオブジェクト配置部と、仮想空間内に配置された選択オブジェクトが選択されたか否かを判定する第1の判定領域と、検出部により検出された操作点と、第1の判定領域とは異なる第2の判定領域とを表示部に表示させる表示制御部と、表示部に表示された第1の判定領域と操作点とが重ならない位置関係から重なる位置関係になってから所定の時間が経過したことを条件として、選択オブジェクトが選択されたと判定する第1判定部と、第2の判定領域と操作点との位置関係が所定の条件を満たしたことを条件として、所定の時間が経過していなくとも選択オブジェクトが選択されたと判定する第2判定部と、を備える。

目的

本発明のいくつかの態様は、誤操作を抑制しつつ短時間で選択可能な操作方法を実現する端末装置、及びプログラムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

仮想空間におけるユーザの操作点を検出する検出部と、前記ユーザの操作により選択可能な選択オブジェクトを前記仮想空間内に配置するオブジェクト配置部と、前記仮想空間内に配置された前記選択オブジェクトが選択されたか否かを判定する第1の判定領域と、前記検出部により検出された前記操作点と、前記第1の判定領域とは異なる第2の判定領域とを表示部に表示させる表示制御部と、前記表示部に表示された前記第1の判定領域と前記操作点とが重ならない位置関係から重なる位置関係になってから所定の時間が経過したことを条件として、前記選択オブジェクトが選択されたと判定する第1判定部と、前記第2の判定領域と前記操作点との位置関係が所定の条件を満たしたことを条件として、前記所定の時間が経過していなくとも前記選択オブジェクトが選択されたと判定する第2判定部と、を備える端末装置

請求項2

前記第2判定部は、前記第2の判定領域と前記操作点とが重ならない位置関係から重なる位置関係になった場合、前記所定の時間が経過していなくとも前記選択オブジェクトが選択されたと判定する、請求項1に記載の端末装置。

請求項3

前記第2判定部は、前記第2の判定領域と前記操作点とが重ならない位置関係から重なる位置関係になり、且つ前記操作点が前記第2の判定領域に対して所定の動きをした場合、前記所定の時間が経過していなくとも前記選択オブジェクトが選択されたと判定する、請求項1に記載の端末装置。

請求項4

前記所定の動きは、前記第2の判定領域内の予め設定された経路に対応する動きである、請求項3に記載の端末装置。

請求項5

前記第2判定部は、前記第2の判定領域内の前記経路上に存在する特定領域を前記操作点が通過したか否かに基づいて、前記操作点が前記第2の判定領域内で前記第2の判定領域に対して所定の動きをしたか否かを判定する、請求項4に記載の端末装置。

請求項6

前記表示制御部は、前記第1の判定領域と前記操作点とが重ならない位置関係から重なる位置関係になった場合、該重なる位置関係になってからの経過時間の進捗視認可能とするための経過時間ゲージを前記第2の判定領域として前記表示部に表示させ、前記第2判定部は、前記操作点が前記経過時間ゲージに対して所定の動きをした場合、前記所定の時間が経過していなくとも前記選択オブジェクトが選択されたと判定する、請求項1に記載の端末装置。

請求項7

前記第2の判定領域は、前記第1の判定領域内の前記第1の判定領域より小さい領域である、請求項1から請求項6のいずれか一項に記載の端末装置。

請求項8

前記表示制御部は、前記第1の判定領域と前記操作点とを前記表示部に表示させた後、前記第1の判定領域と前記操作点とが重ならない位置関係から重なる位置関係になった場合に、さらに前記第2の判定領域を前記表示部に表示させる、請求項1から請求項7のいずれか一項に記載の端末装置。

請求項9

両眼視差を利用した立体視画像として、仮想空間内の仮想視点からの視界を表す視界画像表示可能なヘッドマウントディスプレイシステムの少なくとも一部として利用可能な前記端末装置であって、前記検出部は、前記端末装置の方向に関する情報を検出するとともに、前記仮想空間における前記仮想視点からの視線方向に対応する注視点を前記操作点として検出し、前記表示制御部は、前記端末装置の方向に関する情報に基づいて、前記仮想空間内の前記仮想視点からの視界方向に配置されている前記選択オブジェクトと前記注視点とを前記端末装置の方向に応じて表示部に表示させる、請求項1から請求項8のいずれか一項に記載の端末装置。

請求項10

前記端末装置の方向は、前記ヘッドマウントディスプレイシステムを頭部に装着したユーザの頭部の方向に対応しており、前記第2判定部は、前記第2の判定領域と前記注視点とが重ならない位置関係から重なる位置関係になり、且つ前記検出部が前記ユーザの視線方向を回転軸とした回転方向への変化に対応した端末装置の方向の変化に関する情報を検出した場合、前記所定の時間が経過していなくとも前記選択オブジェクトが選択されたと判定する、請求項9に記載の端末装置。

請求項11

前記表示制御部は、前記端末装置の方向に関する情報に基づいて、前記仮想空間内の前記仮想視点からの視界方向の視界画像を、前記表示部に表示させる、請求項9または請求項10に記載の端末装置。

請求項12

コンピュータを、請求項1から請求項11のいずれか一項に記載の端末装置として機能させるためのプログラム

技術分野

0001

本発明は、端末装置、及びプログラムに関する。

背景技術

0002

ユーザの頭部に装着し、該ユーザの眼前に配置されたディスプレイ仮想空間における画像を表示可能なヘッドマウントディスプレイ(HMD:Head Mounted Display)がある。例えば、HMDを利用したゲームでは、頭部に装着するディスプレイの他、手に持って操作されるコントローラ等のデバイスを併用してゲームをプレイするものがある。しかしながら、ユーザはHMDによって現実空間への視界が覆われており手元を観察できないため、コントローラから一旦指が離れた場合などに誤操作が発生することがあった。そこで、頭部の傾き等の動きを検出して、選択肢の表示/非表示操作などを行うHMDがある(例えば、特許文献1)。

0003

また、近年、スマートフォンなどの高性能化に伴いスマートフォンなどをHMDとして利用するものがある。例えば、簡易的なアタッチメントを用いてスマートフォンを頭部に装着することで、HMDとして利用することができる。この場合、頭部へ装着されることにより、スマートフォンに備えられているタッチパネル等の入力デバイスが利用できなくなる。そのため、例えばスマートフォンに内蔵されたジャイロなどのセンサを利用して頭部の動きを検出することで、HMDに表示される選択肢に対する操作を実現する方法がある。

先行技術

0004

特許第5767386号公報

発明が解決しようとする課題

0005

上述したようにHMDにおける操作では、ユーザの視線方向に相当する頭部の方向を特定の範囲内(選択肢の判定領域)に向けた状態で所定の時間(例えば3秒など)経過したと判定された場合に選択が確定される操作方法がある。このような操作方法では判定期間を設けることで誤操作を防止しているが、選択が確定されるまでに一定期間の待ち時間が必要となる。そのため、選択することが多いような場面ではユーザに多くの待ち時間を強いることがある。

0006

本発明のいくつかの態様は、誤操作を抑制しつつ短時間で選択可能な操作方法を実現する端末装置、及びプログラムを提供することを目的の一つとする。

0007

また、本発明の他の態様は、後述する実施形態に記載した作用効果を奏することを可能にする端末装置、及びプログラムを提供することを目的の一つとする。

課題を解決するための手段

0008

上述した課題を解決するために、本発明の一態様は、仮想空間におけるユーザの操作点を検出する検出部と、前記ユーザの操作により選択可能な選択オブジェクトを前記仮想空間内に配置するオブジェクト配置部と、前記仮想空間内に配置された前記選択オブジェクトが選択されたか否かを判定する第1の判定領域と、前記検出部により検出された前記操作点と、前記第1の判定領域とは異なる第2の判定領域とを表示部に表示させる表示制御部と、前記表示部に表示された前記第1の判定領域と前記操作点とが重ならない位置関係から重なる位置関係になってから所定の時間が経過したことを条件として、前記選択オブジェクトが選択されたと判定する第1判定部と、前記第2の判定領域と前記操作点との位置関係が所定の条件を満たしたことを条件として、前記所定の時間が経過していなくとも前記選択オブジェクトが選択されたと判定する第2判定部と、を備える端末装置である。

0009

また、本発明の一態様は、コンピュータを、上記の端末装置として機能させるためのプログラムである。

図面の簡単な説明

0010

第1の実施形態に係るHMDシステムの一例を示す外観図
第1の実施形態に係る端末装置のハードウェア構成の一例を示す図。
第1の実施形態に係る仮想空間の方向の定義を示す図。
第1の実施形態に係る視界方向と注視点との説明図。
第1の実施形態に係る選択メニュー画面の一例を示す図。
注視点が選択オブジェクトの判定領域に重なった選択メニュー画面の一例を示す図。
注視点が選択オブジェクトの判定領域に重なったことにより表示内容が変化した後の選択メニュー画面の一例を示す図。
注視点が選択オブジェクトの選択確定領域に重なった選択メニュー画面の一例を示す図。
第1の実施形態に係る端末装置の機能構成の一例を示すブロック図。
第1の実施形態に係る選択オブジェクト配置処理の一例を示すフローチャート
第1の実施形態に係る選択オブジェクトの選択有無を判定する判定処理の一例を示すフローチャート。
第2の実施形態に係る選択メニュー画面の一例を示す図。
第3の実施形態に係る選択メニュー画面の一例を示す図。
注視点が始点領域の位置に移動した状態の選択メニュー画面の一例を示す図。
注視点が終点領域まで移動したことにより選択が確定した状態の選択メニュー画面の一例を示す図。
第3の実施形態に係る選択オブジェクトの選択有無を判定する判定処理の一例を示すフローチャート。
第4の実施形態に係る選択メニュー画面の一例を示す図。
第5の実施形態に係る選択メニュー画面の一例を示す図。
経過時間ゲージが注視点の動きに追従する状態の選択メニュー画面の一例を示す図。
第6の実施形態に係る選択メニュー画面の一例を示す図。
第6の実施形態に係る選択メニュー画面の他の例を示す図。

実施例

0011

以下、本発明の一実施形態について、図面を参照して説明する。
[第1の実施形態]
本発明の第1の実施形態について説明する。
図1は、本実施形態に係るHMD(Head Mounted Display)システムの一例を示す外観図である。HMDは、ユーザの頭部に装着され、仮想空間内の仮想視点からの視界を表す視界画像を表示可能である。例えば、HMDは、右目左目との両眼視差を利用した立体視画像を表示可能である。また、HMDは、ジャイロ等のHMDの動きや傾きを検知するセンサを搭載しており、装着されているユーザの頭部の動きや傾きの変化などを検知し、その変化に応じてディスプレイに仮想空間の視界方向の視界画像を表示する。例えば、HMDに映し出される視界画像は、ユーザの頭部が右方向を向けば仮想空間内の右方向の視界画像に変化し、上方向を向けば仮想空間内の上方向の視界画像に変化し、あたかもその場にいるような没入感をユーザに与えることができる。

0012

図示するHMDシステム1は、表示部12を備えた端末装置10をアタッチメント2に取り付けることで、端末装置10をHMDとして利用可能な構成である。アタッチメント2は、ユーザの頭部に装着された状態でユーザの正面の視界を覆うように端末装置10が取り付け可能であり、取り付けられた端末装置10の表示部12を視認するための右目用レンズ3R及び左目用レンズ3Lと、HMDシステム1をユーザの頭部に装着するためのストラップ5とを備えている。ユーザは、HMDシステム1を頭部に装着することで、端末装置10に表示される視界画像を、右目用レンズ3R及び左目用レンズ3Lを介して視認できる。

0013

〔端末装置10のハードウェア構成〕
端末装置10は、HMDシステム1の少なくとも一部として利用可能な携帯型のコンピュータ装置であり、スマートフォンやフィーチャーフォン等の携帯電話機携帯情報端末(PDA:Personal Digital Assistant)、タブレットPC、家庭用ゲーム機、等が適用できる。本実施形態では、端末装置10はスマートフォンであるとして説明する。

0014

図2は、端末装置10のハードウェア構成の一例を示す図である。端末装置10は、例えば、表示部12と、センサ13と、タイマ14と、記憶部15と、通信部16と、CPU(Central Processing Unit)17と、を備えている。

0015

表示部12は、画像やテキスト等の情報を表示するディスプレイであり、例えば、液晶ディスプレイパネル有機EL(ElectroLuminescence)ディスプレイパネルなどを含んで構成される。例えば、表示部12は、仮想空間内の仮想視点(HMDを装着しているユーザの眼)からの視界画像として、両眼視差を利用した立体視画像(右目用画像及び左目用画像)を表示する。また、表示部12は、仮想空間内に配置された各種オブジェクトを視界画像とともに表示する。各種オブジェクトとは、例えば、ユーザの操作により選択可能な選択オブジェクト(選択肢)、仮想視点からの視線方向に対応する注視点を視認可能とするためのオブジェクト等のユーザーインターフェース(UI)用として表示するためのオブジェクトである。ここで、選択オブジェクトは、ユーザの操作による選択の有無を判定する判定領域を有しており、例えば、選択オブジェクトの一部または全部の領域が判定領域となる。また、仮想視点からの視線方向に対応する注視点とは、視線方向の先の視線位置を示す点である。

0016

センサ13は、端末装置10の方向に関する情報を検知するセンサである。例えば、センサ13は、物体の角度、角速度、角加速度等を検知するジャイロセンサである。なお、センサ13は、方向の変化を検知するセンサであってもよいし、方向そのものを検知するセンサであってもよい。例えば、センサ13は、ジャイロセンサに限られるものではなく、加速度センサ傾斜センサ地磁気センサ等であってもよい。

0017

タイマ14は、時間を計測する計時機能を有する。

0018

記憶部15は、例えば、HDD(Hard Disk Drive)やSSD(Solid State Drive)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、ROM(Read-Only Memory)、RAM(Random Access Memory)などを含み、仮想空間データ(画像データ)や、仮想空間内に配置されるオブジェクトのデータ、仮想空間を用いたゲームのプログラム等を記憶する。

0019

通信部16は、ネットワークNWを介して、他の装置と通信を行う。

0020

CPU17は、端末装置10が備える各部を制御する制御中枢として機能する。例えば、CPU17は、記憶部15に記憶された各種プログラムを実行することで、端末装置10の各部を制御する制御部として機能する。

0021

上述した各構成は、バス(Bus)を介して相互に通信可能に接続されている。また、端末装置10は、不図示のスピーカ音声出力端子カメラ、GPS(Global Positioning System)受信モジュール、ユーザの操作入力受け付ける操作ボタンまたはタッチパネルなどのハードウェア構成を含んで構成されてもよい。

0022

例えば、端末装置10は、HMDを利用したゲームのプログラムを実行する。このゲームは、ユーザがHMDシステム1を装着した状態で、表示部12に表示される視界画像(ゲーム画面)の視野範囲を頭部の向きなどを変えて変更しながらプレイするものである。端末装置10は、センサ13の検知結果に基づいて端末装置10の方向に関する情報を検出し、検出結果に基づいて視界方向の視界画像(ゲーム画面)を表示部12に表示させる。端末装置10の方向は、HMDを頭部に装着したユーザの頭部の方向に対応する。また、端末装置10は、ユーザによる選択操作の入力を受け付ける場合、ユーザからの選択の有無を判定する判定領域を有する選択オブジェクト(選択肢)を仮想空間内に配置し、視界画像とともに表示部12に表示させる。

0023

〔仮想空間の定義〕
図3は、本実施形態に係る仮想空間の方向の定義を示す図である。本実施形態では、ユーザが直立する方向である垂直方向をZ軸とし、Z軸に直交する軸であってユーザと表示部12とを結ぶ方向をX軸とし、Z軸及びX軸と直交する軸をY軸とする。

0024

ここで、Z軸を軸とした回転方向への変化をヨー方向(左右方向)への変化ともいい、Y軸を軸とした回転方向への変化をピッチ方向(上下方向)への変化ともいい、X軸を軸とした回転方向への変化をロール方向への変化ともいう。例えば、上述したセンサ13は、各軸の回転方向(ヨー方向、ピッチ方向、およびロール方向)の角速度または角加速度を検知する。なお、ヨー方向への変化を左右方向への変化、ピッチ方向への変化を上下方向への変化、ともいうことがある。

0025

図4は、本実施形態に係る視界方向と注視点との説明図である。この図において、仮想空間内の仮想視点K(ユーザの仮想視点)をX軸、Y軸、及びZ軸の交点原点)とし、ユーザの視線方向をX軸方向とすると、仮想視点からの視界方向の視界画像の範囲(即ち、視界)は、視線方向(X軸方向)を中心としたヨー角α(破線aと破線bとの内角、及び破線cと破線dとの内角)とピッチ角β(破線aと破線dとの内角、及び破線bと破線cとの内角)とで定まる範囲である。ここで、ヨー角α及びピッチ角βは、HMDシステム1に表示させる仮想空間の視界画像の画角として予め設定された角度である。ユーザの頭部がピッチ方向またはヨー方向に変化すると、その変化に応じて視線方向がX軸方向からピッチ方向またはヨー方向に変化し、視界方向もピッチ方向またはヨー方向に変化する。また、ユーザの頭部がロール方向に変化すると、視線方向はX軸方向のまま、視界方向がロール方向に回転する。

0026

また、仮想空間内には、各種のオブジェクトが必要に応じて配置される。例えば、仮想空間内の視線方向に直交する面に各種のオブジェクトが配置される。例えば、図示するように仮想空間内においてオブジェクトが配置される面を面L1とすると、視線方向に対応する注視点を視認可能とするためのオブジェクトである注視点P1が、この面L1において視界方向の範囲を示す破線a、b、c、dとの交点a1、b1、c1、d1を頂点とした四角形で囲まれる範囲(視界)の中央(即ち、面L1とX軸の交点)に配置される。なお、注視点P1が配置される位置は、面L1において、交点a1、b1、c1、d1を頂点とした四角形で囲まれる範囲(視界)の中央に限らず、他の位置(例えば、中央より若干下の位置など)に配置されてもよい。また、仮想空間内の面L1に、ユーザの操作による選択の有無を判定する判定領域を有する選択オブジェクト(選択肢)が配置される。判定領域は、面(2次元形状)であってもよいし、立体(3次元形状)であってもよい。例えば、この面L1と破線a、b、c、dとの交点a1、b1、c1、d1を頂点とした四角形で囲まれる範囲(視界)に配置される選択オブジェクト(選択肢)と、注視点P1とが視界画像とともに表示部12に表示されることになる。本実施形態では、このユーザの視線方向に対応する注視点P1が、選択オブジェクト(選択肢)を選択する操作の位置を示す操作点となる。なお、仮想空間内に配置される各種オブジェクトは、同一面(同一レイヤ)に配置されてもよいし、複数の面(複数レイヤ)に区別して配置されてもよい。

0027

ユーザの頭部がピッチ方向またはヨー方向に変化すると、その変化に応じて視界方向及び視線方向がピッチ方向またはヨー方向に変化するため、注視点P1は、視線方向に対応する位置(視界画像の中央)に表示されるように移動する。また、ユーザの頭部がロール方向に変化した場合、注視点P1は、配置されている位置のままロール方向の変化に応じて回転する。一方、選択オブジェクトは、視界方向がピッチ方向、ヨー方向、またはロール方向に変化しても配置されている位置から移動しない。つまり、視界方向が変化した場合、変化した視界の中に配置されている選択オブジェクトが表示される。

0028

なお、両眼視差を利用した立体視画像を表示する場合、右目用左目用のそれぞれの仮想視点に対応する視界方向及び視線方向があり、それぞれの視界方向及び視線方向の視界画像と各種オブジェクトとが含まれる右目用画像と左目用画像が表示されるが、本実施形態では、説明を容易にするために右目用と左目用とを区別せずに説明する。

0029

〔選択オブジェクトの表示例と操作例〕
次に、選択オブジェクトの表示例と操作例について説明する。以下において、複数の選択オブジェクトが選択可能に表示部12に表示される画面を「選択メニュー画面」ともいうこととする。選択メニュー画面は、仮想空間における視界方向の視界画像を背景画像として、同じく仮想空間に配置されている選択オブジェクトと、視線方向に対応する注視点P1とが表示される画面である。

0030

図5は、本実施形態に係る選択メニュー画面の一例を示す図である。図示する選択メニュー画面G10には、仮想空間内の視線方向に対応する注視点に配置されているオブジェクトである注視点P1が画面の中央に表示されている。また、仮想空間内にY軸方向に所定の間隔を空けて並んで配置されている2つの選択オブジェクトが注視点P1を挟んで左右にそれぞれ表示されている。選択オブジェクトは、選択の有無を判定する判定領域を有しており、ここでは、選択オブジェクトの表示領域が、選択の有無を判定する判定領域であるものとする。注視点P1の左側には判定領域R1を有する選択肢Aの選択オブジェクトが表示されている。また、注視点P1の右側には判定領域R2を有する選択肢Bの選択オブジェクトが表示されている。なお、選択オブジェクトの表示領域と、選択の有無を判定する判定領域とは、異なる領域であってもよい。注視点P1がいずれの選択オブジェクト(選択肢)の判定領域とも視線方向において重ならない位置関係にあるため、いずれの選択肢も選択されていない状態である。

0031

図5に示す選択メニュー画面G10が表示されている状態で、ユーザの頭部の向きが変化すると、選択オブジェクトと注視点P1との相対位置が変化する。注視点P1は、頭部の向きの変化に応じて視界方向が変化するが、視線の先の位置を保つように視界方向に追従して移動するため、画面の中央に固定されて表示される。一方、選択オブジェクトは、頭部の向きの変化による視界方向の変化に応じて画面上では移動する。

0032

図6は、注視点が選択オブジェクトの判定領域に重なった選択メニュー画面の一例を示す図である。図示する選択メニュー画面G11では、注視点P1と選択肢Aの選択オブジェクトの判定領域Rとが、視線方向において重なる位置関係になった状態を示している。以下では、選択肢Aの選択オブジェクトのことを、単に「選択肢A」ともいうこととする。注視点P1が選択肢Aの判定領域に重なると、図7に示すように選択メニュー画面の表示内容が変化する。

0033

図7は、注視点が選択オブジェクトの判定領域に重なったことにより表示内容が変化した後の選択メニュー画面の一例を示す図である。図示する選択メニュー画面G12では、経過時間ゲージT1と選択確定領域R11とが表示される。

0034

経過時間ゲージT1は、注視点P1が選択肢Aの判定領域R1に重なってからの経過時間を視認可能とするためのオブジェクトであり、選択肢Aの判定領域R1の近傍に配置されて表示される。例えば、経過時間ゲージT1は、円形状のゲージであり、注視点P1が判定領域R1に重なってから時間の経過とともに円周方向にバーの長さが増加していき、所定の時間以上経過するとこのバーが一周分伸びる。ここで、上記の所定の時間とは、選択オブジェクトの選択の有無を判定するための閾値として予め設定された判定時間であり、注視点P1が判定領域R1に所定の時間重なってからの経過時間が所定の時間以上(例えば、3秒など)となった場合に、その判定領域R1の選択肢Aが選択されたと判定される。例えば、経過時間ゲージT1のバーが一周分になると、注視点P1が判定領域R1に重なっている選択肢Aが選択されたと判定される。一方、注視点P1が判定領域R1に重なってからの経過時間が所定の時間未満の場合には、その判定領域R1の選択肢Aはまだ選択されていないと判定される。例えば、経過時間ゲージT1のバーが一周分になる前に、注視点P1が判定領域R1から外れた場合、選択肢Aは選択されていないものと判定され、計測時間(経過時間)がリセットされる。

0035

選択確定領域R11は、判定領域R1とは異なる領域であり、注視点P1が選択肢Aの判定領域R1に重なった場合に選択肢Aへの選択を確定するための領域として表示される。例えば、選択確定領域R11は、選択肢Aの判定領域R1の中に判定領域R1よりも小さい領域で表示される。

0036

図8は、注視点が選択オブジェクトの選択確定領域に重なった選択メニュー画面の一例を示す図である。ユーザが頭部の向きを変化させることにより、選択肢Aの判定領域R1に重なった注視点P1がさらに選択確定領域R11に重なった場合、経過時間ゲージT1のバーが一周分になる前であっても(即ち、上記所定の時間が経過していなくとも)、選択肢Aが選択されたと判定される。つまり、ユーザは、早く選択を確定させたい場合には、注視点P1を選択確定領域R11に移動すればよいことになる。

0037

例えば、選択肢Aの選択オブジェクトの表示色は、注視点P1が選択確定領域R11に重なっていない状態、及び重なっても選択確定領域R11に重なっていない状態では青色であり、注視点P1が選択確定領域R11に重なると(または所定の時間が経過した場合)、選択が確定したことを示す赤色に変更される。

0038

なお、図7、8に示す例では、判定領域R1の中心近くに選択確定領域R11が表示されているが、注視点P1がどこから判定領域R1に入るかに応じて選択確定領域R11の位置を変えてもよい。例えば、注視点P1が右から判定領域R1に入った場合には、判定領域R1内において左寄りに選択確定領域R11が表示されてもよい。これにより、誤操作を防止し易くなる。即ち、注視点P1がどこから判定領域R1に入ったかに応じて選択確定領域R11の位置が定められてもよい。なお、現在の注視点P1の位置に基づいて選択確定領域R11の位置が定められてもよい。

0039

また、図7、8に示す例では、判定領域R1の中に選択確定領域R11の全部が含まれている例を示しているが、選択確定領域R11の一部が含まれるようにしてもよい。また、選択確定領域R11は、判定領域R1の近傍の重ならない位置に表示されてもよい。

0040

なお、注視点P1と選択オブジェクトの判定領域との位置関係に応じて選択オブジェクト(判定領域)の大きさが変更されてもよい。例えば、注視点P1が選択肢Aの判定領域R1に重なっていない状態から判定領域R1に重なると選択肢Aの選択オブジェクト(判定領域R1)の大きさが拡大されてもよい。また、選択肢Aの選択オブジェクト(判定領域R1)が拡大された場合、他の選択肢(ここでは、選択肢B)の選択オブジェクトが配置されている位置が変更されてもよい。この場合、選択肢Aの判定領域R1に重なった注視点P1をさらに選択確定領域R11に重なるようにユーザが頭部の向きを変化させる際の操作をし易くできる。

0041

また、注視点P1が選択肢Aの判定領域R1に重なった場合、仮想空間内に配置されている他の選択オブジェクト(例えば、選択肢B)は、消去されたり、透過率を上げて目立たないように表示されてもよい。これにより、ユーザが選択しようとしている選択肢が相対的に強調された表示となる。これにより、ユーザが選択しようとしている選択肢や選択した選択肢の状態を判別しやすくすることができる。

0042

〔端末装置10の機能構成〕
次に、図9を参照して、端末装置10の機能構成について説明する。図9は、本実施形態に係る端末装置10の機能構成の一例を示すブロック図である。端末装置10は、記憶部15に記憶されているプログラムをCPU17が実行することにより実現される機能構成として、制御部110を備えている。制御部110は、検出部111と、判定部112と、オブジェクト配置部113と、表示制御部114と、を備えている。

0043

検出部111は、センサ13の検知結果に基づいて、端末装置10の方向に関する情報を検出する。また、検出部111は、端末装置10の方向に関する情報に基づいて、仮想空間における仮想視点からの視線方向に対応する注視点を検出する。例えば、検出部111は、センサ13が検知する方向、または方向の変化に関する情報に基づいて、端末装置10が取り付けられたHMDシステム1を装着したユーザの視界方向または視界方向の変化を、端末装置10が向いている方向によって検出するとともに、視界の中央を注視点の位置とする。なお、検出部111は、視界方向の変化速度に関する情報を検出してもよい。

0044

判定部112は、ユーザの注視点P1と選択オブジェクトの判定領域との位置関係に基づいて、選択オブジェクトの選択の有無を判定する(第1判定部としての機能)。例えば、判定部112は、注視点P1と選択オブジェクトの判定領域とが視線方向において重ならない位置関係から重なる位置関係になってからの経過時間を計時するとともに、計時した経過時間に基づいて選択の有無を判定する。例えば、判定部112は、注視点P1と選択オブジェクトの判定領域とが重なる位置関係になってから所定時間以上経過した場合に、その選択オブジェクトが判定された(選択有)と判定する。一方、判定部112は、注視点P1と選択オブジェクトの判定領域とが重なる位置関係になってからの経過時間が所定の時間未満の場合に、その選択オブジェクトはまだ選択されていない(選択無)と判定する。

0045

また、判定部112は、ユーザの注視点P1と選択オブジェクトの選択確定領域との位置関係が所定の条件を満たしたことを条件として、所定の時間が経過していなくとも選択オブジェクトが選択されたと判定する(第2判定部としての機能)。例えば、判定部112は、注視点P1と選択確定領域とが重ならない位置関係から重なる位置関係になった場合、所定の時間が経過していなくとも選択オブジェクトが選択されたと判定する。

0046

オブジェクト配置部113は、仮想空間内に各種のオブジェクトを配置する。例えば、オブジェクト配置部113は、検出部111の検出結果に基づいて、視線方向に対応する注視点P1を仮想空間内に配置する。また、オブジェクト配置部113は、ユーザの操作により選択可能な選択オブジェクト、選択確定領域、経過時間ゲージ等を仮想空間内に配置する。なお、オブジェクト配置部113は、上記の各種オブジェクトを仮想空間内において同一面(同一レイヤ)に配置してもよいし、複数の面(複数のレイヤ)に分けて配置してもよい。なお、オブジェクト配置部113は、経過時間等の時間情報を、タイマ14を用いて計時して取得する。

0047

例えば、オブジェクト配置部113は、ユーザの操作により選択されたか否かを判定する判定領域を有する選択オブジェクトを仮想空間内に配置するとともに、該判定領域と注視点P1とが重ならない位置関係から重なる位置関係になった場合、該選択オブジェクトの選択確定領域を仮想空間内に配置する。

0048

表示制御部114は、検出部111の検出結果に応じて仮想空間内の仮想視点からの視界方向の視界画像を背景画像として表示部12に表示させる。仮想空間内の各方向の視界画像のデータは、仮想空間データとして記憶部15に記憶されている。表示制御部114は、視界方向に対応する視界画像を仮想空間データから取得して視界画像として表示部12に表示させる。

0049

また、表示制御部114は、検出部111の検出結果に応じて仮想空間内の仮想視点からの視界方向に配置されている各種オブジェクト(注視点、選択オブジェクト、選択確定領域、経過時間ゲージ等)を、視界画像に重ねて表示部12に表示させる。例えば、表示制御部114は、仮想空間内に配置された選択オブジェクト(即ち、判定領域)を表示部12に表示させるとともに、該判定領域と注視点P1とが重ならない位置関係から重なる位置関係になった場合、仮想空間内に配置された選択確定領域を表示部12に表示させる。

0050

〔選択オブジェクト配置処理の動作〕
次に、図10を参照して、本実施形態に係る選択オブジェクト配置処理の動作を説明する。図10は、本実施形態に係る選択オブジェクト配置処理の一例を示すフローチャートである。なお、表示部12には、視界方向の視界画像と注視点P1とが表示されているものとする。まず、選択メニュー表示のトリガを受け付けると、制御部110は、複数の選択オブジェクトを仮想空間内に配置する(ステップS100)。これにより、表示部12には、視界画像と複数の選択オブジェクトとが含まれる選択メニュー画面(例えば、図5参照)が表示される。ここで、選択メニュー表示のトリガとは、ゲームが開始されたこと、ゲームが開始されて所定の時間経過したこと、ゲーム内で特定の行為が行われたこと、等のように、ゲームにおいてユーザの意思確認が必要な場面で設定されたものである。

0051

制御部110は、注視点P1と選択オブジェクトの判定領域とが視線方向において重なっているか否かを判定する(ステップS102)。注視点P1と選択オブジェクトの判定領域とが視線方向において重なっている(例えば、図6参照)と判定された場合(YES)、制御部110は、注視点P1が判定領域に重なっている選択オブジェクトの選択確定領域を配置して選択メニュー画面に表示させる(ステップS104)。例えば、制御部110は、注視点P1と選択肢Aの判定領域R1とが視線方向において重なっていると判定された場合、判定領域R1の中に選択確定領域R11を表示させる(図7参照)。

0052

一方、注視点P1と選択オブジェクトの判定領域とが視線方向において重なっていない(例えば、図5参照)と判定された場合(NO)、制御部110は、選択確定領域を非表示とする。例えば、制御部110は、選択確定領域が表示されていなければそのまま非表示とし、表示されていた場合にはそれを非表示とする(ステップS106)。

0053

次に、制御部110は、選択メニューの表示オフのトリガを受け付けたか否かを判定する(ステップS108)。ここで、選択メニューの表示オフのトリガとは、いずれかの選択オブジェクトが選択された場合、選択オブジェクトを表示させてから所定の時間が経過した場合、選択メニューの表示をオフさせる選択肢が選択された場合、等である。選択メニューの表示オフのトリガを受け付けたと判定された場合(YES)、制御部110は、仮想空間内に配置している選択オブジェクトを消去して(ステップS110)、選択オブジェクト配置処理を終了する。

0054

一方、選択メニューの表示オフのトリガを受け付けていないと判定された場合(NO)、制御部110は、センサ13の検知結果に基づいて角速度を検出する(ステップS112)。そして、制御部110は、検出した角速度に基づいて、視界方向の変化があるか否かを判定する(ステップS114)。視界方向の変化がないと判定された場合(NO)、注視点P1と選択オブジェクトの判定領域との相対位置に変化がないため、制御部110は、ステップS108の処理に戻し、選択メニューの表示オフのトリガを受け付けたか否かを判定する。一方、視界方向の変化があると判定された場合(YES)、注視点P1と選択オブジェクトの判定領域との相対位置に変化が生じるため、制御部110は、ステップS102の処理に戻し、注視点P1と選択オブジェクトの判定領域とが視線方向において重なっているか否かを判定する。制御部110は、注視点P1と選択オブジェクトの判定領域とが継続して重なっている場合には選択確定領域を表示させたままとし、重なっていない状態から重なっている状態になった場合には選択確定領域を表示させ、重なっている状態から重なっていない状態になった場合には選択確定領域を非表示にする。

0055

〔選択有無の判定処理の動作〕
次に、図11を参照して、本実施形態に係るオブジェクト配置処理において配置した選択オブジェクトの選択有無を判定する判定処理の動作を説明する。図11は、本実施形態に係る選択オブジェクトの選択有無を判定する判定処理の一例を示すフローチャートである。まず、選択メニュー表示のトリガを受け付けると、制御部110は、複数の選択オブジェクトを仮想空間内に配置することにより、表示部12に選択メニュー画面(例えば、図5参照)が表示される(ステップS200)。また、制御部110は、計測時間をリセットする(ステップS202)。

0056

次に、制御部110は、注視点P1と選択オブジェクトの判定領域とが視線方向において重なっているか否かを判定する(ステップS204)。注視点P1と選択オブジェクトの判定領域とが視線方向において重なっていない(例えば、図5参照)と判定された場合(NO)、制御部110は、ステップS202に処理を戻す。一方、注視点P1と選択オブジェクトの判定領域とが視線方向において重なっている(例えば、図6参照)と判定された場合(YES)、制御部110は、経過時間の計時を開始するとともに、仮想空間内において、その重なったと判定された選択オブジェクトの近傍に経過時間ゲージT1を配置する(ステップS206)。ここでは、図7に示すように、注視点P1が選択肢Aの判定領域R1に重なったものとする。これにより、その選択肢Aの近傍に経過時間ゲージT1が表示される。

0057

次に、制御部110は、注視点P1と選択肢Aの判定領域R1とが重なってから所定の時間以上経過したか否かを判定する(ステップS208)。注視点P1と選択肢Aの判定領域R1とが重なってから所定の時間以上経過したと判定された場合(YES)、制御部110は、選択肢Aが選択されたと決定し、判定処理を終了する(ステップS220)。

0058

一方、注視点P1と選択肢Aの判定領域R1とが重なってから所定の時間以上経過していないと判定された場合(NO)、制御部110は、注視点P1と選択確定領域R11とが重なっているか否かを判定する(ステップS210)。注視点P1と選択確定領域R11とが重なっていると判定された場合(YES、図8参照)、制御部110は、注視点P1と選択肢Aの判定領域R1とが重なってから所定の時間以上経過していなくとも、選択肢Aが選択されたと決定し、判定処理を終了する(ステップS220)。一方、注視点P1と選択確定領域R11とが重なっていないと判定された場合(NO)、制御部110は、ステップS204の処理に戻し、重なってからの経過時間の計測を続ける。なお、ステップS204において、注視点P1と選択肢Aの判定領域R1とが重なっていないと判定された場合には(NO)、制御部110は、それまで計時した計測時間をリセットする(ステップS202)。

0059

なお、注視点P1と選択オブジェクトの判定領域とが重なっている状態から重なっていない状態に変化した場合、制御部110は、それまで計時した計測時間をリセットするのではなく、計時を一時的に停止させてもよい。そして、再び注視点P1と選択オブジェクトの判定領域とが重なった場合には、停止を解除して計時を再開してもよい。また、注視点P1と選択オブジェクト判定領域とが重なっている状態から重ならない状態に変化した場合、制御部110は、重なっている状態の経過時間の計時よりも時間の進みを遅くしてもよいし、時間を後退させてもよい。つまり、制御部110は、注視点P1と選択オブジェクトの判定領域とが視線方向において重ならない位置関係にある場合と重なる位置関係にある場合とで異なる計時を行うようにしてもよい。

0060

この場合、注視点P1が選択オブジェクトの判定領域から一旦外れても、再び同じ選択オブジェクトの判定領域内に視線を移すことで注視点P1が重なると、経過時間の計時が続きから再開されるので、誤って一瞬判定領域から視線が外れてしまった場合であっても、経過時間を0から計時し直す必要がなくなる。

0061

なお、注視点P1が選択オブジェクトの判定領域から外れて所定の時間(例えば、10秒など)が経過した場合、制御部110は、ユーザに選択を継続する意思がないとみなして、計測時間がリセットされてもよい。例えば、制御部110は、注視点P1と選択オブジェクトの判定領域とが重なる位置関係になってから計時した経過時間を、注視点P1と選択オブジェクトの判定領域とが重ならない位置関係になって所定の時間が経過すると、計測時間(経過時間)をリセットしてもよい。

0062

また、他の選択オブジェクト(例えば、選択肢B)の判定領域に注視点P1が移った場合には、計時された計測時間(経過時間)がリセットされ、0から経過時間の計時が開始される。例えば、判定部112は、注視点P1と選択オブジェクトの判定領域とが重なる位置関係になってから計時した経過時間を、注視点P1と他の選択オブジェクトの判定領域とが重なる位置関係になった場合、計測時間(経過時間)をリセットする。

0063

〔第1の実施形態のまとめ〕
以上説明してきたように、本実施形態に係る端末装置10は、両眼視差を利用した立体視画像として、仮想空間内の仮想視点からの視界を表す視界画像を表示可能なHMDシステムの少なくとも一部として利用可能な端末装置である。端末装置10は、検出部111と、オブジェクト配置部113と、表示制御部114と、判定部112とを備えている。検出部111は、仮想空間におけるユーザの注視点P1(操作点の一例)を検出する。例えば、検出部111は、端末装置10の方向に関する情報を検出するとともに、仮想空間における仮想視点からの視線方向に対応する注視点P1をユーザの操作点として検出する。オブジェクト配置部113は、ユーザの操作により選択可能な選択オブジェクトを仮想空間内に配置する。表示制御部114は、仮想空間内に配置された選択オブジェクトが選択されたか否かを判定する判定領域R1(第1の判定領域の一例)と、検出部111により検出された注視点P1と、判定領域R1とは異なる選択確定領域R11(第2の判定領域の一例)とを表示部12に表示させる。例えば、表示制御部114は、端末装置10の方向に関する情報に基づいて、仮想空間内の仮想視点からの視界方向に配置されている選択オブジェクト(例えば、判定領域R1、選択確定領域R11等)と注視点P1とを端末装置10の方向に応じて表示部12に表示させる。そして、判定部112は、表示部12に表示された判定領域R1と注視点P1とが重ならない位置関係から重なる位置関係になってから所定の時間が経過したことを条件として、選択オブジェクトが選択されたと判定する(第1判定部としての機能の一例)。また、判定部112は、選択確定領域R11と注視点P1との位置関係が所定の条件を満たしたことを条件として、所定の時間が経過していなくとも選択オブジェクトが選択されたと判定する(第2判定部としての機能の一例)。

0064

これにより、端末装置10は、注視点P1が重なってから所定の時間が経過したことを条件として選択が確定する判定領域R1に加えて、注視点P1が判定領域R1に重なってから所定の時間が経過しなくとも選択が確定する選択確定領域R11を設けるため、誤操作を抑制しつつ短時間で選択可能な操作方法を実現できる。例えば、判定領域R1と選択確定領域R11の2種類が存在するため、ユーザは、判定領域R1に注視点P1を重ねる操作を行い選択の確定をゆっくり待つことも、急ぐ場合には、さらに選択確定領域R11に注視点P1を重ねる操作を行うことで選択の確定を短時間で行うことも、両方の操作方法を選ぶことができるようになる。

0065

例えば、判定部112は、選択確定領域R11(第2の判定領域の一例)と注視点P1(操作点の一例)とが重ならない位置関係から重なる位置関係になった場合、所定の時間が経過していなくとも選択オブジェクトが選択されたと判定する。

0066

これにより、端末装置10は、注視点P1が判定領域R1に重なってから所定の時間が経過しなくとも、注視点P1が選択確定領域R11に重なるようにユーザが操作することで選択が確定するため、短時間で選択オブジェクトを選択することが可能となる。

0067

また、選択確定領域R11(第2の判定領域の一例)は、判定領域R1(第1の判定領域の一例)内の判定領域R1より小さい領域である。

0068

これにより、端末装置10は、ユーザが注視点P1を判定領域R1に重ねた後に、さらに判定領域R1内のより小さな選択確定領域R11に重ねることで選択が確定するため、誤操作を抑制しつつ短時間で選択オブジェクトを選択することが可能となる。

0069

表示制御部114は、判定領域R1(第1の判定領域の一例)と注視点P1(操作点の一例)とを表示部12に表示させた後、判定領域R1と注視点P1とが重ならない位置関係から重なる位置関係になった場合に、さらに選択確定領域R11(第2の判定領域の一例)を表示部12に表示させる。

0070

これにより、端末装置10は、ユーザが注視点P1を判定領域R1に重ねた後に表示される選択確定領域R11にさらに注視点P1を重ねることで選択が確定するため、誤操作を抑制しつつ短時間で選択オブジェクトを選択することが可能となる。また、端末装置10は、選択オブジェクトを選択する段階で不要な情報を表示しないことで、ユーザの選択したい選択オブジェクトを判断しやすくすることができる。

0071

また、表示制御部114は、端末装置10の方向に関する情報に基づいて、仮想空間内の仮想視点からの視界方向の視界画像を、表示部12に表示させる。これにより、端末装置10は、HDMシステム1が装着されたユーザの頭部の動きに応じて、仮想空間内の視界方向の視界画像をユーザが視認可能なように提供できる。また、端末装置10は、仮想空間内の視界画像と選択オブジェクトを同時に表示することができるため、ユーザが仮想空間内のゲーム情報を参考にしつつ選択することが可能となる。

0072

[第2の実施形態]
次に、本発明の第2の実施形態について説明する。
本実施形態に係るHMDシステム1及び端末装置10の基本的な構成は、図1図2、及び図9に示す各構成と同様であるので、本実施形態において特徴的な処理について説明する。第1の実施形態では、注視点P1が選択オブジェクトの選択確定領域に重なった場合、所定の時間以上経過していなくとも、その選択オブジェクトが選択されたと決定する例を説明した。本実施形態では、注視点P1が選択オブジェクトの選択確定領域に重なった場合、計時の速度を速めることで選択決定までの時間を短縮する例を説明する。

0073

図12は、本実施形態に係る選択メニュー画面の一例を示す図である。図示する選択メニュー画面G20は、注視点P1が選択肢Aの判定領域R1に重なった状態であり、経過時間ゲージT1及び選択確定領域R12が表示されている。選択確定領域R12には、計時の速度が速まることを示すアイコンが表示されている(早送り表示)。

0074

判定部112は、注視点P1と選択オブジェクトの判定領域とが視線方向において重ならない位置関係から重なる位置関係になってからの経過時間を計時するとともに、注視点P1と選択確定領域とが重ならない位置関係から重なる位置関係になった場合、経過時間の計時を速くする。これにより、端末装置10は、ユーザが注視点P1を選択確定領域に入れる操作(頭の向きを変える操作)をすることで、その選択オブジェクトの選択が確定されるまでの時間を短縮することができる。

0075

[第3の実施形態]
次に、本発明の第3の実施形態について説明する。
本実施形態に係るHMDシステム1及び端末装置10の基本的な構成は、図1図2、及び図9に示す各構成と同様であるので、本実施形態において特徴的な処理について説明する。第1の実施形態では、注視点P1が選択オブジェクトの選択確定領域に重なった場合、所定の時間以上経過していなくとも、その選択オブジェクトが選択されたと決定する例を説明した。本実施形態では、注視点P1が選択オブジェクトの選択確定領域に重なった後、さらに注視点P1が所定の動きをした場合に、所定の時間が経過していなくとも選択オブジェクトが選択されたと決定する例を説明する。

0076

図13は、本実施形態に係る選択メニュー画面の一例を示す図である。図示する選択メニュー画面G30は、注視点P1が選択肢Aの判定領域R1に重なった状態であり、経過時間ゲージT1及び選択確定領域R13が表示されている。本実施形態に係る選択確定領域R13は、Y軸方向の辺が長辺となる長方形の領域であり、この領域内のY軸方向の一端側に始点領域R131が配置され、他端側に終点領域R132が配置されている。オブジェクト配置部113は、注視点P1と判定領域とが重ならない位置関係から重なる位置関係になった場合、図示するような始点領域R131及び終点領域R132が含まれる選択確定領域R13を配置する。これにより、表示制御部114は、図13に示すような選択確定領域R13が配置された選択メニュー画面を表示部12に表示させる。

0077

ユーザが注視点P1を選択確定領域R13に重なる位置に移動させた後に、まず、選択確定領域R13内の始点領域R131の位置に移動さる。図14は、注視点P1が始点領域R131の位置に移動した状態の選択メニュー画面G31を示す図である。注視点P1が始点領域R131に入ると、始点領域R131に注視点P1が入ったことを示すために、始点領域R131の表示態様(色や大きさ)が変更されてもよい。次に、選択確定領域R13内を始点領域R131から終点領域R132まで、図15に示す矢印の方向へ移動させることで、所定の時間が経過していなくとも選択肢Aが選択されたことが確定する。図15は、注視点P1が始点領域R131から終点領域R132まで移動したことにより選択が確定した状態の選択メニュー画面G32を示す図である。

0078

なお、始点領域R131から終点領域R132へ移動中に注視点P1が選択確定領域R13外に外れると始点領域R131に注視点P1が重なったことがリセットされる。また、上記の選択確定領域R13での操作が完了する前に経過時間ゲージT1による計時が完了した場合(所定の時間以上経過した場合)には、選択確定領域R13における操作を待たずして選択が確定する。どちらか早い方のタイミングで選択が確定する。なお、図13〜15の例では、右端に始点領域R131が配置され、左端に終点領域R132が配置されているが、逆であってもよい。また、選択確定領域R13の両端のうち、注視点P1が選択確定領域R13に入った位置に近い側を始点領域R131とし、反対側を終点領域R132にしてもよい。また、注視点P1が選択確定領域R13に入ったことに応じて選択確定領域R13内にまず始点又は終点の定められていない2つの特定領域が配置され、その2つの特定領域のうち注視点P1が最初に入った方の特定領域を始点領域R131とし、一方を終点領域R132としてもよい。また、図15に示す矢印は、ガイドとして表示されてもよい。

0079

即ち、判定部112は、注視点P1と選択確定領域とが重ならない位置関係から重なる位置関係になり、且つ注視点P1が選択確定領域に対して所定の動きをした場合、所定の時間が経過していなくとも選択オブジェクトが選択されたと判定する。所定の動きとは、例えば、選択確定領域内の予め設定された経路に対応する動きであり、上述した例では、始点領域R131から終点領域R132まで注視点P1が移動することである。

0080

図16は、本実施形態に係る選択オブジェクトの選択有無を判定する判定処理の一例を示すフローチャートである。この図を参照して、本実施形態に係る選択オブジェクトの選択有無を判定する判定処理の動作を説明する。なお、この図16において、図11に示す各処理に対応する処理には、同一の符号を付しており、その説明を省略する。図16に示す処理は、図11のステップS210において、注視点P1と選択確定領域とが重なっていると判定(YES)された後の処理が異なる。ここでは、図13に示すように注視点P1が選択肢Aの判定領域R1に重なったことにより選択確定領域R13が表示され、注視点P1と選択確定領域R11とが重なった場合を例とする。

0081

ステップS210において注視点P1と選択確定領域R11とが重なっていると判定された場合(YES)、制御部110は、注視点P1と始点領域R131とが重なったか否かを判定する(ステップS212)。注視点P1と始点領域R131とが重なっていないと判定された場合(NO)、制御部110は、ステップS208の処理に戻し、所定の時間以上経過していなければ、注視点P1と始点領域R131とが重なるのを待つ。一方、注視点P1と始点領域R131とが重なったと判定された場合(YES、図14参照)、次に、制御部110は、注視点P1と終点領域R132とが重なったか否かを判定する(ステップS214)。

0082

注視点P1と終点領域R132とが重なっていないと判定された場合(NO)、制御部110は、注視点P1と選択確定領域R11とが重なっているか否かを判定し(ステップS216)、重なっていると判定された場合(YES)は、ステップS208の処理に戻し、所定の時間以上経過していなければ、注視点P1と終点領域R132とが重なるのを待つ。また、注視点P1と終点領域R132とが重なる前に、ステップS216において注視点P1と選択確定領域R11とが重なっていないと判定された場合(NO)、制御部110は、ステップS204に処理を戻し、始点領域R131への操作があったことをリセットする。

0083

一方、ステップS214において注視点P1が終点領域R132とが重なったと判定された場合(YES)、制御部110は、注視点P1と選択オブジェクトの判定領域とが重なってから所定の時間以上経過していなくとも、その選択オブジェクトが選択されたと決定し、判定処理を終了する(ステップS220)。

0084

なお、図16に示す例では、注視点P1と始点領域R131とが重なった後、注視点P1が選択確定領域R11から外れた場合には、もう一度、注視点P1を始点領域R131とが重なるように操作してから、注視点P1と終点領域R132とが重なるように操作する必要がある。しかしながら、注視点P1と始点領域R131とが重なった後、注視点P1が選択確定領域R11から外れた場合でも、注視点P1と始点領域R131とが重なったことをリセットせずに、続いて、注視点P1と終点領域R132とが重なるように操作しても選択オブジェクトの選択が確定する構成としてもよい。

0085

また、本実施形態では、判定領域R1内の選択確定領域R13の中に始点領域R131と終点領域R132とが表示される例を示したが、選択確定領域R13は表示されず、始点領域R131と終点領域R132とが選択確定領域として判定領域R1の中に表示されてもよい。

0086

以上説明してきたように、本実施形態に係る端末装置10の判定部112は、選択確定領域R13(第2の判定領域の一例)と注視点P1(操作点の一例)とが重ならない位置関係から重なる位置関係になり、且つ注視点P1が選択確定領域R13に対して所定の動きをした場合、所定の時間が経過していなくとも、その選択確定領域R13に対応する選択オブジェクトが選択されたと判定する。

0087

これにより、端末装置10は、選択を確定させる操作が単に注視点P1を選択確定領域R13に重ねる操作だけではないため、ユーザが意図せず選択確定領域R13に注視点P1を重ねてしまうことで生じる誤操作を防止でき、且つ選択オブジェクトの選択を確定させる時間を短縮できる。

0088

例えば、上記の所定の動きは、選択確定領域R13内の予め設定された経路に対応する動きである。例えば、予め設定された経路は、始点領域R131から終点領域R132への移動である。

0089

これにより、端末装置10は、選択オブジェクトの選択を確定させるために、選択確定領域R13内で意図的な操作が必要となるため、誤操作を防止できる。

0090

[第4の実施形態]
次に、本発明の第4の実施形態について説明する。
本実施形態に係るHMDシステム1及び端末装置10の基本的な構成は、図1図2、及び図9に示す各構成と同様であるので、本実施形態において特徴的な処理について説明する。図13図15を参照して説明したように、第3の実施形態では選択オブジェクトの選択が確定する所定の動きが、始点領域R131から終点領域R132への経路に対する注視点P1の動きであったが、これに限られるものではなく、例えば、複数の領域を通る経路に対する注視点P1の動きであってもよい。例えば、始点領域R131から終点領域R132への経路上にさらに特定領域が設けられ、その特定領域を含む経路に対する注視点P1の動きであってもよい。

0091

図17は、本実施形態に係る選択メニュー画面の一例を示す図である。図示する選択メニュー画面G40は、注視点P1が選択肢Aの判定領域R1に重なった状態であり、経過時間ゲージT1及び選択確定領域R14が表示されている。本実施形態に係る選択確定領域R14は、コの字形の領域である。選択確定領域R14の一端に始点領域R141が配置され、他端に終点領域R144が配置されている。また、始点領域R141から終点領域R144へ至るコの字形の経路上の途中に(経路上の2つの角のそれぞれに)、特定領域として通過点領域R142と通過点領域R143とが順に配置されている。ユーザが注視点P1を選択確定領域R14に重なる位置に移動させた後に、まず、選択確定領域R14内の始点領域R141の位置に移動させ、次に選択確定領域R13内の通過点領域R142と通過点領域R143とを順に通過するように移動させ、最後に終点領域R144まで移動させることで(図17に示す矢印の方向へ移動させることで)、所定の時間が経過していなくとも選択肢Aが選択されたことが確定する。なお、図17に示す矢印は、ガイドとして表示されてもよい。

0092

例えば、判定部112は、選択確定領域(第2の判定領域の一例)内の経路上に存在する特定領域を注視点P1(操作点の一例)が通過したか否か(例えば、所定の順に通過したか否か)に基づいて、注視点P1が選択確定領域内で選択確定領域に対して所定の動きをしたか否かを判定する。

0093

これにより、端末装置10は、選択オブジェクトの選択を確定させるために、選択確定領域R13内で複雑な操作が必要となるため、より誤操作を防止できる。例えば、課金による購入決済などのように重要な選択に関する部分では、誤操作の防止を強化する目的で、本実施形態のような複雑な操作が有効である。

0094

なお、本実施形態では、選択オブジェクトの選択が確定する所定の動きが、始点領域R141、通過点領域R142、通過点領域R143、終点領域R144の順に注視点P1が通過する動きである例を説明したが、これら複数の領域を通過する順番は定められていなくてもよい。即ち、判定部112は、複数の領域をいずれの順で注視点P1が通過した場合であっても、選択確定領域に対して所定の動きをしたと判定するようにしてもよい。

0095

また、始点領域R141、通過点領域R142、通過点領域R143、終点領域R144は、最初から一度に表示されなくてもよい。例えば、最初は始点領域R141のみ表示され、注視点P1が始点領域R141に重なると次の通過点領域R142が表示され、注視点P1が通過点領域R142に重なるとさらに次の通過点領域R143が表示されるといったように各領域が順次表示されていくようにしてもよい。また、通過点領域の数や位置、経路の形状は、任意に定めることができる。

0096

また、本実施形態では、始点領域R141、通過点領域R142、通過点領域R143、終点領域R144の順に注視点P1が通過したか否かによりコの字を描くように注視点P1が移動したか否かが判定されるが、各領域は設定されていなくてもよい。例えば、注視点P1がどのような軌跡を描くかは、予め設定された軌跡と注視点P1が移動した軌跡との差に基づいて判定されてもよい。

0097

[第5の実施形態]
次に、本発明の第5の実施形態について説明する。
本実施形態に係るHMDシステム1及び端末装置10の基本的な構成は、図1図2、及び図9に示す各構成と同様であるので、本実施形態において特徴的な処理について説明する。本実施形態では、経過時間ゲージが選択確定領域として表示され、経過時間ゲージに対して注視点P1が所定の動きをした場合に、選択オブジェクトの選択が確定する。

0098

図18は、本実施形態に係る選択メニュー画面の一例を示す図である。図示する選択メニュー画面G50は、注視点P1が選択肢Aの判定領域R1に重なった状態であり、選択確定領域R15が表示されている。本実施形態に係る選択確定領域R15は、経過時間ゲージを兼用している。つまり、経過時間ゲージが選択確定領域R15として表示される。選択確定領域R15は、Y軸方向に伸びる直線形状の経過時間ゲージであり、注視点P1が判定領域R1に重なってから時間の経過とともに直線方向にバーの長さが一端(ここでは、左端)から他端(ここでは、右端)に向けて増加していき、所定の時間以上経過するとこのバーが右端まで伸びる。所定の時間以上経過する前にバーの右端へ向かって伸びる側の先端部分B1に注視点P1が接近すると、先端部分B1と注視点P1とが密着したような状態となり、注視点P1の動きに先端部分B1が連動するようになる。つまり、経過時間とは関係なくバーの長さが注視点P1の動きに追従するようになる。

0099

図19は、経過時間ゲージが注視点P1の動きに追従する状態の選択メニュー画面の一例を示す図である。図示する選択メニュー画面G51は、先端部分B1に注視点P1が接近し、バーの先端部分B1が注視点P1の動きに追従する状態を示している。この状態で、注視点P1を右方向(矢印の方向)へ移動させると、経過時間とは関係なくバーの長さが右方向へ伸びる。バーの長さが右端まで伸びると選択肢Aが選択されたことが確定する。なお、この状態で、注視点P1左方向(矢印とは反対の方向)へ移動させた場合は、経過時間とは関係なくバーの長さが左方向へ短くなってもよいし、バーの長さが変わらないようにしてもよい。

0100

例えば、オブジェクト配置部113は、判定領域R1と注視点P1とが重ならない位置関係から重なる位置関係になった場合、該重なる位置関係になってからの経過時間の進捗を視認可能とするための経過時間ゲージを選択確定領域R15として配置する。つまり、表示制御部114は、判定領域R1と注視点P1とが重ならない位置関係から重なる位置関係になった場合、該重なる位置関係になってからの経過時間の進捗を視認可能とするための経過時間ゲージを選択確定領域R15として表示部12に表示させる。そして、判定部112は、注視点P1が経過時間ゲージに対して所定の動きをした場合、所定の時間が経過していなくとも選択オブジェクトが選択されたと判定する。所定の動きとは、所定の時間経過した状態のバーの長さに伸ばす動きであり、例えば、図18及び図19を参照して説明したように、注視点P1が経過時間ゲージのバーの先端部分B1に接近した後に経過時間ゲージ(選択確定領域R15)の右端まで移動させる動きである。

0101

このように、端末装置10は、経過時間を計時している経過時間ゲージのバーをユーザの操作により注視点P1で引っ張って伸ばすことで、時間経過を待たずに強制的に、かつ直感的に選択を確定することができる。また、ユーザが経過時間ゲージのバーを注視点P1で途中まで引っ張って伸ばした場合、選択が確定するまでの時間が短縮される。

0102

[第6の実施形態]
次に、本発明の第6の実施形態について説明する。
本実施形態に係るHMDシステム1及び端末装置10の基本的な構成は、図1図2、及び図9に示す各構成と同様であるので、本実施形態において特徴的な処理について説明する。第1〜4の実施形態では、選択オブジェクト(判定領域)内に選択確定領域が表示される例を説明したが、選択オブジェクト(判定領域)外に選択確定領域が表示されてもよい。

0103

図20は、本実施形態に係る選択メニュー画面の一例を示す図である。図示する選択メニュー画面G60は、注視点P1が選択肢Aの判定領域R1に重なった状態であり、経過時間ゲージT1に加えて、選択確定領域R161とキャンセル領域R162とが表示されている。選択確定領域R161とキャンセル領域R162とは、選択肢Aの判定領域R1外に表示されている。選択確定領域R161は、注視点P1が重なった選択オブジェクト(ここでは、選択肢A)への選択を確定させるための領域である。キャンセル領域R162は、注視点P1が重なった選択オブジェクト(ここでは、選択肢A)への選択をキャンセルするための領域である。

0104

この状態で、ユーザが注視点P1を選択確定領域R161に重なる位置に移動させると、所定の時間が経過していなくとも選択肢Aが選択されたことが確定する。また、ユーザが注視点P1をキャンセル領域R162に重なる位置に移動させると、注視点P1が選択肢Aの判定領域R1に重なったことがキャンセルされ、選択確定領域R161とキャンセル領域R162とが非表示になる。注視点P1が判定領域R1、選択確定領域R161、及びキャンセル領域R162のいずれとも重ならない位置にある場合には、注視点P1が判定領域R1に重なってからの経過時間の計時が中断(経過時間ゲージT1のバーが伸びも縮みもせず停止)される。

0105

例えば、オブジェクト配置部113は、判定領域R1と注視点P1とが重ならない位置関係から重なる位置関係になった場合、判定領域R1外であり、且つ判定領域R1の近傍に選択確定領域R161及びキャンセル領域R162を配置する。つまり、表示制御部114は、判定領域R1と注視点P1とが重ならない位置関係から重なる位置関係になった場合、判定領域R1外であり、且つ判定領域R1の近傍に選択確定領域R161及びキャンセル領域R162を表示部12に表示させる。

0106

なお、選択確定領域R161が配置される場所は、判定領域R1の位置を基準に予め設定された位置としてもよいし、判定領域R1に重なった注視点P1の位置を基準に予め設定された位置としてもよい。例えば、オブジェクト配置部113は、判定領域R1と注視点P1とが重ならない位置関係から重なる位置関係になった場合、判定領域R1外であり、且つ注視点P1から所定の方向及び距離の位置に選択確定領域R161を配置してもよい。例えば、注視点P1に対して左斜め上の一定距離に常に選択確定領域を表示するようにすれば、ユーザがいずれの選択オブジェクトの判定領域に注視点P1を置いた後でも、いつも同じ動作(左斜め上を向く)によって選択を確定することができるため、利便性が高くなる。なお、キャンセル領域R162についても同様に、判定領域R1の位置を基準に予め設定された位置としてもよいし、判定領域R1に重なった注視点P1の位置を基準に予め設定された位置としてもよい。

0107

なお、選択確定領域R161が表示されるタイミングではキャンセル領域R162は表示されなくてもよい。図21は、本実施形態において、選択確定領域R161のみが表示される選択メニュー画面の一例を示す図である。この場合、注視点P1が選択肢Aの判定領域R1から外れた場合にキャンセル領域R162が表示されてもよいし、注視点P1が選択肢Aの判定領域R1から外れてからしばらくして(例えば、2〜3秒後)キャンセル領域R162が表示されてもよい。また、注視点P1が選択肢Aの判定領域R1から外れてからしばらくした後(例えば、2〜3秒後)、選択確定領域R161がキャンセル領域R162に変更されてもよいし、キャンセル領域R162が表示されることなくキャンセルされ、選択確定領域R161が非表示となってもよい。

0108

[変形例]
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成は上述の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。例えば、上述の第1〜6の実施形態において説明した各構成は、任意に組み合わせることができる。

0109

上記実施形態では、注視点P1が選択オブジェクトの判定領域に重なった場合に、選択確定領域が表示される例を説明したが、これに限られるものではなく、選択確定領域が選択オブジェクト(判定領域)とともに、選択オブジェクトが表示される最初から表示されてもよい。

0110

また、上記実施形態では、注視点P1と判定領域とが重ならない位置関係から重なる位置関係になった後に、注視点P1と選択確定領域との位置関係が重なったこと、またはさらに注視点P1が所定の動きをしたことを条件として、所定の時間が経過していなくとも選択オブジェクトが選択されたことが確定される例を説明したが、これに限られるものではない。例えば、判定部112は、選択確定領域(第2の判定領域の一例)と注視点P1とが重ならない位置関係から重なる位置関係になり、且つ検出部111がX軸方向(ユーザの視線方向)を回転軸としたロール方向(回転方向)への変化に対応した端末装置10の方向の変化に関する情報を検出した場合、所定の時間が経過していなくとも選択オブジェクトが選択されたと判定してもよい。ここで、端末装置10の方向は、HMD1を頭部に装着したユーザの頭部の方向に対応する。これにより、端末装置10は、注視点P1が判定領域R1に重なってから所定の時間が経過しなくとも、ユーザが頭をロール方向に一定以上傾けることで選択が確定するため、誤操作を抑制しつつ短時間で選択オブジェクトを選択することが可能となる。なお、端末装置10は、注視点P1が判定領域R1に重なってから、所定の時間内の(例えば、1秒以内)の頭部の動き(左右、または上下に一定以上何回動いたか)などによって、所定の時間が経過していなくとも選択オブジェクトが選択されたと判定してもよい。

0111

また、上記実施形態では、選択オブジェクトの並び方向がY軸方向である例を説明したが、選択オブジェクトの並び方向は、Y軸方向に限られるものではなく、例えば、Z軸方向であってもよいし、Y軸成分とZ軸成分とを有する方向であってもよい。また、選択オブジェクトが3次元に配置されている場合、選択オブジェクトの並び方向は、X軸成分とY軸成分とZ軸成分とを有する方向であってもよい。

0112

また、本実施形態では、端末装置10の方向に基づいて視線方向を検出する例を説明したが、これに限られるものではなく、例えば、ユーザの眼球の向きを検知することで視線方向を検出(アイトラッキング)してもよい。その場合、視線方向は頭部の動きとは異なる検出に基づくため、注視点P1は視界画像内の固定された位置ではなく、視界画像内で動くこととなる。

0113

また、上記実施形態では、端末装置10をアタッチメント2に装着することでHMDとして利用できるHMDシステム1の構成を例に説明したが、これに限られるものではなく、例えば、端末装置10は、アタッチメント2を必要としなくともそれ自体で頭部に装着可能な形態、即ちHMDであってもよい。アタッチメントを必要としないHMDは、表示装置として、例えばパーソナルコンピュータまたはゲーム機などとコンソール接続されて利用される。この場合、例えば図2に示す表示部12及びセンサ13がHMD側に備えられ、タイマ14、記憶部15、及びCPU17がコンソール側(パーソナルコンピュータまたはゲーム機など)に備えられている。また、通信部16は、HMD側及びコンソール側の両者に備えられ、相互に通信が行われる。なお、HMD側にも通信制御などのためのCPUが備えられている。

0114

また、上記実施形態において、端末装置10が少なくとも一部に構成されるHMD(HMDシステム)として、ユーザの頭部に装着可能な構成例を説明したが、HMDは、頭部に完全に装着可能な形状の構成に限られるものではない。例えば、HMDとして利用可能な端末装置10は、アタッチメントの有無にかかわらず、ユーザが目の前に把持することで、ユーザの目と表示部12との位置関係を所定の関係に保ち、仮想空間内の視界画像や各種オブジェクトを視認可能とする装置(例えば、双眼鏡のような形状)であってもよい。

0115

また、上記実施形態では、選択メニュー画面に表示される選択肢としての選択オブジェクトの例を説明したが、これに限られるものではない。例えば、選択オブジェクトは、端末装置10が実行するゲーム内の仮想空間において、判定領域を有するキャラクタアイテム等として配置されるオブジェクトであってもよい。一例として、第1の実施形態において説明した選択オブジェクトに関する処理を、ゲームの仮想空間内を飛び交う複数の敵オブジェクト(選択オブジェクト)に対する処理において適用してもよい。例えば、ユーザの注視点P1に基づいて攻撃照射され、敵オブジェクト(選択オブジェクト)に対しての照射(判定領域と注視点P1とが重なる位置関係)が所定の時間経過すると敵オブジェクトを撃墜(選択オブジェクトの選択有)するといった処理において適用してもよい。

0116

また、上記実施形態では、HMDシステム1において表示される選択メニュー画面を例に説明したが、HMDシステム1に限られるものではない。即ち、選択メニュー画面が表示される端末装置10は、頭部に装着されなくてもよく、例えば、そのままユーザが手に持って、またはなどに置いて利用されてもよい。また、端末装置10は、設置されているテレビモニターなどに選択メニュー画面を表示させてもよい。この場合、選択メニュー画面に対する操作方法は、画面に対するタッチ操作を受け付けるタッチパネルや、マウスジョイスティックタッチパッドなどのポインティングデバイスジェスチャーなどの人の動きによる操作を認識するポインティングデバイス、などによる操作方法であってもよい。即ち、注視点P1は、各操作方法によって操作される操作点であってもよい。

0117

また、上述の制御部110の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより制御部110としての処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、インターネットWAN、LAN、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、CD−ROM等の非一過性の記録媒体であってもよい。また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部または外部に設けられた記録媒体も含まれる。配信サーバの記録媒体に記憶されるプログラムのコードは、端末装置で実行可能な形式のプログラムのコードと異なるものでもよい。すなわち、配信サーバからダウンロードされて端末装置で実行可能な形でインストールができるものであれば、配信サーバで記憶される形式は問わない。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に端末装置で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル差分プログラム)であってもよい。

0118

また、上述した制御部110の機能の一部または全部を、LSI(Large Scale Integration)等の集積回路として実現してもよい。上述した各機能は個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

0119

[付記]
以上の記載から本発明は例えば以下のように把握される。なお、本発明の理解を容易にするために添付図面の参照符号を便宜的に括弧書きにて付記するが、それにより本発明が図示の態様に限定されるものではない。

0120

(付記1)本発明の一態様に係る端末装置(10)は、仮想空間におけるユーザの操作点を検出する検出部(111、S112)と、前記ユーザの操作により選択可能な選択オブジェクトを前記仮想空間内に配置するオブジェクト配置部(113、S100)と、前記仮想空間内に配置された前記選択オブジェクトが選択されたか否かを判定する第1の判定領域(R1)と、前記検出部により検出された前記操作点(P1)と、前記第1の判定領域とは異なる第2の判定領域(R11、R12、R13、R14、R15、R161)とを表示部(12)に表示させる表示制御部(114、S100、S104)と、前記表示部に表示された前記第1の判定領域と前記操作点とが重ならない位置関係から重なる位置関係になってから所定の時間が経過したことを条件として、前記選択オブジェクトが選択されたと判定する第1判定部(112、S208)と、前記第2の判定領域と前記操作点との位置関係が所定の条件を満たしたことを条件として、前記所定の時間が経過していなくとも前記選択オブジェクトが選択されたと判定する第2判定部(112、S210)と、を備える。

0121

付記1の構成によれば、端末装置は、操作点が重なってから所定の時間が経過したことを条件として選択が確定する第1の判定領域に加えて、操作点が第1の判定領域に重なってから所定の時間が経過しなくとも選択が確定する第2の判定領域を設けるため、誤操作を抑制しつつ短時間で選択可能な操作方法を実現できる。

0122

(付記2)また、本発明の一態様は、付記1に記載の端末装置であって、前記第2判定部は、前記第2の判定領域(R11)と前記操作点(P1)とが重ならない位置関係から重なる位置関係になった場合、前記所定の時間が経過していなくとも前記選択オブジェクトが選択されたと判定する。

0123

付記2の構成によれば、端末装置は、操作点が第1の判定領域に重なってから所定の時間が経過しなくとも、操作点が第2の判定領域に重なるようにユーザが操作することで選択が確定するため、短時間で選択オブジェクトを選択することが可能となる。

0124

(付記3)また、本発明の一態様は、付記1に記載の端末装置であって、前記第2判定部は、前記第2の判定領域(R13、R14、R15)と前記操作点(P1)とが重ならない位置関係から重なる位置関係になり、且つ前記操作点が前記第2の判定領域に対して所定の動きをした場合、前記所定の時間が経過していなくとも前記選択オブジェクトが選択されたと判定する。

0125

付記3の構成によれば、端末装置は、選択を確定させる操作が単に操作点を第2の判定領域に重ねる操作だけではないため、ユーザが意図せず第2の判定領域に操作点を重ねてしまうことで生じる誤操作を防止でき、且つ選択オブジェクトの選択を確定させる時間を短縮できる。

0126

(付記4)また、本発明の一態様は、付記3に記載の端末装置であって、前記所定の動きは、前記第2の判定領域(R13、R14)内の予め設定された経路に対応する動きである。

0127

付記4の構成によれば、端末装置は、選択オブジェクトの選択を確定させるために、第2の判定領域内で意図的な操作が必要となるため、誤操作を防止できる。

0128

(付記5)また、本発明の一態様は、付記4に記載の端末装置であって、前記第2判定部は、前記第2の判定領域(R14)内の前記経路上に存在する特定領域(R142、R143)を前記操作点(P1)が通過したか否かに基づいて、前記操作点が前記第2の判定領域内で前記第2の判定領域に対して所定の動きをしたか否かを判定する。

0129

付記5の構成によれば、端末装置は、選択オブジェクトの選択を確定させるために、第2の判定領域内で複雑な操作が必要となるため、より誤操作を防止できる。例えば、課金による購入決済などのように重要な選択に関する部分では、誤操作の防止を強化する目的で、複雑な操作が有効である。

0130

(付記6)また、本発明の一態様は、付記1に記載の端末装置であって、前記表示制御部は、前記第1の判定領域(R1)と前記操作点(P1)とが重ならない位置関係から重なる位置関係になった場合、該重なる位置関係になってからの経過時間の進捗を視認可能とするための経過時間ゲージを前記第2の判定領域(R15)として前記表示部に表示させ、前記第2判定部は、前記操作点が前記経過時間ゲージに対して所定の動きをした場合、前記所定の時間が経過していなくとも前記選択オブジェクトが選択されたと判定する。

0131

付記6の構成によれば、端末装置は、経過時間を計時している経過時間ゲージのバーをユーザの操作により注視点P1で引っ張って伸ばすことで、時間経過を待たずに強制的に、かつ直感的に選択を確定することができる。

0132

(付記7)また、本発明の一態様は、付記1から付記6のいずれか一に記載の端末装置であって、前記第2の判定領域は、前記第1の判定領域内の前記第1の判定領域より小さい領域である。

0133

付記7の構成によれば、端末装置は、ユーザが操作点を第1の判定領域に重ねた後に、さらに第1の判定領域内のより小さな第2の判定領域に重ねることで選択が確定するため、誤操作を抑制しつつ短時間で選択オブジェクトを選択することが可能となる。

0134

(付記8)また、本発明の一態様は、付記1から付記7のいずれか一に記載の端末装置であって、前記表示制御部は、前記第1の判定領域と前記操作点とを前記表示部に表示させた後、前記第1の判定領域と前記操作点とが重ならない位置関係から重なる位置関係になった場合に、さらに前記第2の判定領域を前記表示部に表示させる。

0135

付記8の構成によれば、端末装置は、ユーザが操作点を第1の判定領域に重ねた後に表示される第2の判定領域にさらに操作点を重ねることで選択が確定するため、誤操作を抑制しつつ短時間で選択オブジェクトを選択することが可能となる。また、端末装置は、選択オブジェクトを選択する段階で不要な情報を表示しないことで、ユーザの選択したい選択オブジェクトを判断しやすくすることができる。

0136

(付記9)また、本発明の一態様は、付記1から付記8のいずれか一に記載の端末装置であって、両眼視差を利用した立体視画像として、仮想空間内の仮想視点からの視界を表す視界画像を表示可能なヘッドマウントディスプレイシステム(HMD)の少なくとも一部として利用可能な前記端末装置であって、前記検出部は、前記端末装置の方向に関する情報を検出するとともに、前記仮想空間における前記仮想視点からの視線方向に対応する注視点を前記操作点として検出し、前記表示制御部は、前記端末装置の方向に関する情報に基づいて、前記仮想空間内の前記仮想視点からの視界方向に配置されている前記選択オブジェクトと前記注視点とを前記端末装置の方向に応じて表示部に表示させる。

0137

付記9の構成によれば、HMDの少なくとも一部として利用可能な端末装置は、注視点が重なってから所定の時間が経過したことを条件として選択が確定する第1の判定領域に加えて、注視点が第1の判定領域に重なってから所定の時間が経過しなくとも選択が確定する第2の判定領域を設けるため、誤操作を抑制しつつ短時間で選択可能な操作方法を実現できる。

0138

(付記10)また、本発明の一態様は、付記9に記載の端末装置であって、前記端末装置の方向は、前記ヘッドマウントディスプレイシステムを頭部に装着したユーザの頭部の方向に対応しており、前記第2判定部は、前記第2の判定領域と前記注視点とが重ならない位置関係から重なる位置関係になり、且つ前記検出部が前記ユーザの視線方向を回転軸とした回転方向への変化に対応した端末装置の方向の変化に関する情報を検出した場合、前記所定の時間が経過していなくとも前記選択オブジェクトが選択されたと判定する。

0139

付記10の構成によれば、端末装置は、注視点が第1の判定領域に重なってから所定の時間が経過しなくとも、ユーザが頭をロール方向に一定以上傾けることで選択が確定するため、誤操作を抑制しつつ短時間で選択オブジェクトを選択することが可能となる。

0140

(付記11)また、本発明の一態様は、付記9または付記10に記載の端末装置であって、前記表示制御部は、前記端末装置の方向に関する情報に基づいて、前記仮想空間内の前記仮想視点からの視界方向の視界画像を、前記表示部に表示させる。

0141

付記11の構成によれば、端末装置は、HDMシステムが装着されたユーザの頭部の動きに応じて、仮想空間内の視界方向の視界画像をユーザが視認可能なように提供できる。

0142

(付記12)また、本発明の一態様に係るプログラムは、コンピュータを、付記1から付記11のいずれか一に記載の端末装置として機能させるためのプログラムである。

0143

付記12の構成によれば、プログラムは、操作点が重なってから所定の時間が経過したことを条件として選択が確定する第1の判定領域に加えて、操作点が第1の判定領域に重なってから所定の時間が経過しなくとも選択が確定する第2の判定領域を設けるため、誤操作を抑制しつつ短時間で選択可能な操作方法を実現できる。

0144

1 HMDシステム、2アタッチメント、3R右目用レンズ、3L左目用レンズ、5ストラップ、10端末装置、12 表示部、13センサ、14タイマ、15 記憶部、16通信部、17 CPU、110 制御部、111 検出部、112 判定部、113オブジェクト配置部、114表示制御部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

新着 最近 公開された関連が強い 技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する挑戦したい社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ