図面 (/)

技術 ヘッドマウントディスプレイへ表示するためのユーザインタフェース表示方法、及びプログラム

出願人 株式会社コロプラ
発明者 橋詰卓司
出願日 2015年3月10日 (5年9ヶ月経過) 出願番号 2015-047273
公開日 2016年9月15日 (4年3ヶ月経過) 公開番号 2016-167217
状態 特許登録済
技術分野 電子ゲーム機 表示装置の制御、回路 イメージ処理・作成 デジタル計算機のユーザインターフェイス 表示による位置入力
主要キーワード 操作開始状態 巻き取り回数 接触変位 接触終了位置 操作終了位置 装置速度 傾き検出センサ 次表示領域
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年9月15日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (14)

課題

解決手段

ヘッドマウントディスプレイと該ヘッドマウントディスプレイに通信可能に接続されているタッチパネル式装置とを備えたヘッドマウントディスプレイシステムは、ヘッドマウントディスプレイの表示領域112に表示オブジェクトを表示するために、タッチパネル式装置のタッチセンサ132に対するユーザによる接触開始位置からの接触変位量を検出する接触変位量算出部204と、タッチパネル式装置の傾きの変化を検出する傾き変化算出部206と、検出された操作開始位置からの接触変位量と、タッチパネル式装置の傾きの変化とに基づいて、表示領域に表示する仮想空間内の表示オブジェクトを表示制御する表示制御部210と、を備える。

概要

背景

ユーザの頭部に装着され、眼前に配置されたディスプレイ等によってユーザに仮想空間における画像を提示することが可能な非透過型のヘッドマウントディスプレイ(HMD)が知られている。また、近年、ディスプレイとタッチパネルとが一体となった携帯端末が知られている。このような携帯端末のタッチパネルを用いて、携帯端末のディスプレイに表示された表示オブジェクトの操作を直感的に実現するための技術が種々提案されている。(例えば、特許文献1)

概要

ヘッドマウントディスプレイへ表示するためのユーザインタフェース表示方法、及びプログラムを提供する。ヘッドマウントディスプレイと該ヘッドマウントディスプレイに通信可能に接続されているタッチパネル式装置とを備えたヘッドマウントディスプレイシステムは、ヘッドマウントディスプレイの表示領域112に表示オブジェクトを表示するために、タッチパネル式装置のタッチセンサ132に対するユーザによる接触開始位置からの接触変位量を検出する接触変位量算出部204と、タッチパネル式装置の傾きの変化を検出する傾き変化算出部206と、検出された操作開始位置からの接触変位量と、タッチパネル式装置の傾きの変化とに基づいて、表示領域に表示する仮想空間内の表示オブジェクトを表示制御する表示制御部210と、を備える。

目的

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

ヘッドマウントディスプレイと該ヘッドマウントディスプレイに通信可能に接続されているタッチパネル式装置とを備えたヘッドマウントディスプレイシステムにおいて、前記ヘッドマウントディスプレイの表示領域に表示オブジェクトを表示するユーザインタフェース表示方法であって、前記タッチパネル式装置のタッチパネルに対するユーザによる接触開始位置からの接触変位量を検出するステップと、前記タッチパネル式装置の傾きの変化を検出するステップと、検出された前記操作開始位置からの接触変位量と、前記タッチパネル式装置の傾きの変化とに基づいて、前記表示領域に表示する仮想空間内の表示オブジェクトを表示制御するステップと、を備えることを特徴とする、ユーザインタフェース表示方法。

請求項2

前記表示制御するステップは、検出された前記タッチパネルに対する接触開始位置からの接触変位量に基づいて、前記表示領域に表示される第1のオブジェクトの向きを表示制御するステップと、検出された前記タッチパネル式装置の傾き変化に基づいて、前記表示領域に表示される第2のオブジェクトの向きを表示制御するステップと、を備えることを特徴とする、請求項1に記載のユーザインタフェース表示方法。

請求項3

前記接触変位量を検出するステップはさらに前記タッチパネルに対するユーザによる接触開始位置からの接触変位方向を検出するステップを含み、前記表示制御するステップは、検出された前記タッチパネルに対する接触開始位置からの接触変位量及び前記接触変位方向に基づいて、前記表示領域に表示される第1のオブジェクトの移動量及び進行方向を表示制御するステップと、検出された前記タッチパネル式装置の傾き変化に基づいて、ヘッドマウントディスプレイの表示領域に表示される第1のオブジェクトの傾きを表示制御するステップと、を備えることを特徴とする、請求項1に記載のインタフェースプログラム

請求項4

請求項3に記載のインタフェースプログラムにおいて、前記表示領域表示される第1のオブジェクトの仮想空間内の位置は、前記接触変位量、接触変位方向に前記傾き変化を合成した位置を3次元仮想得空間内の座標に変換した位置であることを特徴とするインタフェースプログラム。

請求項5

ヘッドマウントディスプレイと該ヘッドマウントディスプレイに通信可能に接続されているタッチパネル式装置とを備えたヘッドマウントディスプレイシステムにおいて、前記ヘッドマウントディスプレイの表示領域に表示オブジェクトを表示するユーザインタフェース表示方法であって、前記タッチパネル式装置のタッチパネルに対するユーザによる接触開始位置からの接触変位量を検出するステップと、前記タッチパネル式装置の実空間における装置変位量を検出するステップと、検出された前記操作開始位置からの接触変位量と、前記タッチパネル式装置の装置変位量とに基づいて、前記表示領域に表示する仮想空間内の表示オブジェクトを表示制御するステップと、を備えることを特徴とする、ユーザインタフェース表示方法。

請求項6

前記表示制御するステップは、検出された前記タッチパネルに対する操作開始位置からの接触変位量に基づいて、前記表示領域に表示される第1のオブジェクトの移動量を表示制御するステップと、検出された前記タッチパネル式装置の実空間における装置変位量に基づいて、前記表示領域に表示される第1のオブジェクトの動作を表示制御するステップと、を備えることを特徴とする、請求項5に記載のユーザインタフェース表示方法。

請求項7

請求項6に記載のインタフェースプログラムにおいて、前記表示領域表示される第1のオブジェクトの仮想空間内の位置は、前記接触変位量に前記装置変位量を合成した位置を3次元仮想空間内の座標に変換した位置である、ことを特徴とするインタフェースプログラム。

請求項8

前記表示制御するステップは、検出された前記タッチパネル式装置の実空間における装置変位量及び、前記タッチパネルに対するスワイプ回転数に基づいて、ヘッドマウントディスプレイの表示領域に表示される第1のオブジェクトに関するパラメータを算出し、該算出されたパラメータに基づいて表示オブジェクトを表示制御するステップと、を備えることを特徴とする、請求項5に記載のユーザインタフェース表示方法。

請求項9

前記スワイプ回転数は、前記タッチパネルに対する操作開始位置からの接触変位量、接触変位方向、に基ついて算出される、請求項8に記載のユーザインタフェース表示方法。

請求項10

前記タッチパネル式装置はスマートフォンである、請求項1から9に記載のユーザインタフェース表示方法。

請求項11

請求項1から10のいずれか1項に記載の、前記表示領域に表示オブジェクトを表示するユーザインタフェース表示方法を、ヘッドマウントディスプレイシステムに搭載されたプロセッサに実行させるためのインタフェースプログラム。

技術分野

0001

本発明は、ユーザの頭部に装着して、ユーザ視野内に仮想空間における画像を表示し、タッチパネル式装置による操作で該画像に表示される表示オブジェクトを操作可能なヘッドマウントディスプレイシステムにおいて、表示オブジェクトを表示するための方法及びプログラムに関する。

背景技術

0002

ユーザの頭部に装着され、眼前に配置されたディスプレイ等によってユーザに仮想空間における画像を提示することが可能な非透過型のヘッドマウントディスプレイ(HMD)が知られている。また、近年、ディスプレイとタッチパネルとが一体となった携帯端末が知られている。このような携帯端末のタッチパネルを用いて、携帯端末のディスプレイに表示された表示オブジェクトの操作を直感的に実現するための技術が種々提案されている。(例えば、特許文献1)

先行技術

0003

特開2014−149653号公報

発明が解決しようとする課題

0004

上記背景技術に係る非透過型ヘッドマウントディスプレイを装着した場合、ユーザは仮想空間に完全に没入しているため手元を観察することができない。
また、上記特許文献1に記載された技術は、ディスプレイがタッチパネル式である携帯端末を用いて該ディスプレイに表示された表示オブジェクトを操作する。この場合、ユーザは保持している端末のディスプレイを見ながら、該ディスプレイと一体化したタッチパネルを用いて表示オブジェクトを操作する。しかしながら、ディスプレイがタッチパネルと一体化しているため、タッチパネルに対するユーザの指などによりディスプレイの一部が隠れてしまうことがあった。さらに、非透過型HMDを装着する場合、ユーザはディスプレイを観察しながら、ディスプレイと一体型のタッチパネル上で表示オブジェクトの操作を行うことができない。

課題を解決するための手段

0005

(1)本発明は、ヘッドマウントディスプレイと該ヘッドマウントディスプレイに通信可能に接続されているタッチパネル式装置とを備えたヘッドマウントディスプレイシステムにおいて、ヘッドマウントディスプレイの表示領域に表示オブジェクトを表示するユーザインタフェース表示方法であって、
タッチパネル式装置のタッチパネルに対するユーザによる接触開始位置からの接触変位量を検出するステップと、
タッチパネル式装置の傾きの変化を検出するステップと、
検出された操作開始位置からの接触変位量と、タッチパネル式装置の傾きの変化とに基づいて、表示領域に表示する仮想空間内の表示オブジェクトを表示制御するステップと、を備えることを特徴とする、ユーザインタフェース表示方法に関する。
(2)また、本発明は、表示制御するステップが、
検出されたタッチパネルに対する接触開始位置からの接触変位量に基づいて、表示領域に表示される第1のオブジェクトの向きを表示制御するステップと、
検出されたタッチパネル式装置の傾き変化に基づいて、表示領域に表示される第2のオブジェクトの向きを表示制御するステップと、
を備えることを特徴とする。
(3)また、本発明は、
接触変位量を検出するステップがさらにタッチパネルに対するユーザによる接触開始位置からの接触変位方向を検出するステップを含み、
表示制御するステップが、
検出されたタッチパネルに対する接触開始位置からの接触変位量及び接触変位方向に基づいて、表示領域に表示される第1のオブジェクトの移動量及び進行方向を表示制御するステップと、
検出されたタッチパネル式装置の傾き変化に基づいて、ヘッドマウントディスプレイの表示領域に表示される第1のオブジェクトの傾きを表示制御するステップと、
を備えることを特徴とする。
(4)また、本発明は、上記(3)において、表示領域表示される第1のオブジェクトの仮想空間内の位置は、接触変位量、接触変位方向に傾き変化を合成した位置を3次元仮想得空間内の座標に変換した位置であることを特徴とする。
(5)また、本発明は、ヘッドマウントディスプレイと該ヘッドマウントディスプレイに通信可能に接続されているタッチパネル式装置とを備えたヘッドマウントディスプレイシステムにおいて、ヘッドマウントディスプレイの表示領域に表示オブジェクトを表示するユーザインタフェース表示方法であって、
タッチパネル式装置のタッチパネルに対するユーザによる接触開始位置からの接触変位量を検出するステップと、
タッチパネル式装置の実空間における装置変位量を検出するステップと、
検出された操作開始位置からの接触変位量と、タッチパネル式装置の装置変位量とに基づいて、表示領域に表示する仮想空間内の表示オブジェクトを表示制御するステップと、を備えることを特徴とする、ユーザインタフェース表示方法に関する。
(6)また、本発明は、表示制御ステップが、
検出されたタッチパネルに対する操作開始位置からの接触変位量に基づいて、表示領域に表示される第1のオブジェクトの移動量を表示制御するステップと、
検出されたタッチパネル式装置の実空間における装置変位量に基づいて、表示領域に表示される第1のオブジェクトの動作を表示制御するステップと、
を備えることを特徴とする。
(7)また、本発明は、上記(6)において、表示領域表示される第1のオブジェクトの仮想空間内の位置は、接触変位量に装置変位量を合成した位置を3次元仮想空間内の座標に変換した位置である、ことを特徴とする。
(8)また、本発明は、表示制御するステップが、
検出されたタッチパネル式装置の実空間における装置変位量及び、タッチパネルに対するスワイプ回転数に基づいて、ヘッドマウントディスプレイの表示領域に表示される第1のオブジェクトに関するパラメータを算出し、該算出されたパラメータに基づいて表示オブジェクトを表示制御するステップと、
を備えることを特徴とする。
(9)また、本発明は、スワイプ回転数が、タッチパネルに対する操作開始位置からの接触変位量、接触変位方向、に基ついて算出されることを特徴とする。
(10)また、本発明は、タッチパネル式装置はスマートフォンである、上記(1)から(9)に記載のユーザインタフェース表示方法に関する。
(11)また、本発明は、上記(1)から(10)のいずれかにおいて、表示領域に表示オブジェクトを表示するユーザインタフェース表示方法を、ヘッドマウントディスプレイシステムに搭載されたプロセッサに実行させるためのインタフェースプログラムに関する。

0006

この発明の上記の、及び他の特徴及び利点は、この発明の実施形態の以下のより特定的な説明、添付の図面、及び請求の範囲から明らかになるであろう。

発明の効果

0007

本発明によれば、タッチパネル式装置を用いて、タッチパネル式装置と通信可能に接続されたHMDの表示領域に表示される3次元仮想空間内の表示オブジェクトを容易にかつ直感的に指示することができる。

図面の簡単な説明

0008

本発明の一実施形態に従った、HMDシステムの概略図を示す。
本発明の一実施形態に従った、HMDシステムの表示処理を実現するための機能的構成を示す。
本発明の一実施形態に従った、タッチパネル式装置の3次元実空間の直交座標系、及びタッチパネル平面の直交座標系、及びこれら座標系において用いられる各種パラメータを示す。
本発明の一実施形態に従った、3次元仮想空間内で宇宙船及び大砲を操作する場合の、(イ)宇宙船及び大砲の操作開始状態、(ロ)タッチパネル式装置に対する操作開始状態、(ハ)(ロ)に示されるタッチパネル式装置を破線aで切断した断面の概略図を示す。
本発明の一実施形態に従った、3次元仮想空間内で宇宙船及び大砲を操作する場合の、(イ)宇宙船及び大砲の操作中の状態、(ロ)タッチパネル式装置に対する操作中の状態、(ハ)(ロ)に示されるタッチパネル式装置を破線aで切断した断面の概略図を示す。
本発明の一実施形態に従った、3次元仮想空間内で宇宙船及び大砲を操作する場合の、HMDを装着しているユーザが観察することのできる表示領域に表示される3次元仮想空間内の画像を示す。
本発明の一実施形態に従った、3次元仮想空間内で飛行機を操作する場合の、(イ)飛行機の操作開始状態、(ロ)タッチパネル式装置に対する操作開始状態、(ハ)(ロ)に示されるタッチパネル式装置を破線aで切断した断面の概略図を示す。
本発明の一実施形態に従った、3次元仮想空間内で飛行機を操作する場合の、(イ)飛行機の操作中の状態、(ロ)タッチパネル式装置に対する操作中の状態、(ハ)(ロ)に示されるタッチパネル式装置を破線aで切断した断面の概略図を示す。
本発明の一実施形態に従った、3次元仮想空間内で竜を操作する場合の、(イ)竜の操作開始状態、(ロ)タッチパネル式装置に対する操作開始状態、(ハ)(ロ)に示されるタッチパネル式装置を破線aで切断した断面の概略図を示す。
本発明の一実施形態に従った、3次元仮想空間内で竜を操作する場合の、(イ)竜の操作中の状態、(ロ)タッチパネル式装置に対する操作中の状態、(ハ)(ロ)に示されるタッチパネル式装置を破線aで切断した断面の概略図を示す。
本発明の一実施形態に従った、3次元仮想空間内で釣り竿を操作する場合の、(イ)釣り竿の操作開始状態、(ロ)タッチパネル式装置に対する操作開始状態、(ハ)(ロ)に示されるタッチパネル式装置を破線aで切断した断面の概略図を示す。
本発明の一実施形態に従った、3次元仮想空間内で釣り竿を操作する場合の、(イ)釣り竿の操作中の状態、(ロ)タッチパネル式装置に対する操作中の状態、(ハ)(ロ)に示されるタッチパネル式装置を破線aで切断した断面の概略図を示す。
本発明の一実施形態に従った、HMDシステムにおける表示を制御するための処理の流れを示す。

実施例

0009

以下、本実施形態について説明する。図1は、一実施形態に係るシステムの構成図である。このシステムでは、タッチパネル式装置130と本体装置120が無線又は有線で通信可能に接続され、本体装置120とHMD110が無線又は有線で通信可能に接続されている。HMD110は、表示領域112を備えており、HMDを装着したユーザは表示領域112に表示される画像のみを観察することができる。
<本体装置のハードウェア構成
本体装置120は、プロセッサ、メモリ、通信部(図示せず)を備えることができる。さらに、本体装置120は、当該本体装置120に対して交換可能に用いられる情報記憶媒体(例えば光ディスク)が着脱可能に挿入することができる。光ディスクに、本体装置で実行されるアプリケーションプログラムを記憶することができる。

0010

本体装置120のプロセッサは、メモリ又は光ディスクに記憶されたアプリケーションプログラムを実行することによって、アプリケーション処理ゲーム処理)を実行するものである。

0011

本体装置120のメモリはプロセッサによって実行される各種アプリケーションプログラムや、各種アプリケーションプログラムの実行に伴い生じる各種データ(ゲームの結果データ又は途中データ等)を格納することができる。例えば、大砲を備えた宇宙船が敵機攻撃するためのゲームアプリケーションプログラムを格納することができる。

0012

本体装置の通信部は、タッチパネル式装置130から出力された各種データを受信したり、HMD110の表示領域112に対し生成した表示画像を送信したりすることができる。

0013

本体装置120は、公知のパーソナルコンピュータ据え置き型ゲーム機等により実現されうる。本体装置120は、図2に示される機能を実現するための装置である。図1において、本体装置120はタッチパネル式装置130、HMD110とは別個に構成されているが、本体装置120により実現される図2に示される機能の一部又は全部を、機能を実現するために必要とされるハードウェアを備えたタッチパネル式装置130又はHMD110に搭載することができる。この場合、本体装置120をタッチパネル式装置130及び/又はHMD110と一体化することもできる。
<タッチパネル式装置のハードウェア構成>
タッチパネル式装置130は、タッチパネルに配設されたタッチセンサ132と、傾き検出センサ134、3軸加速度センサ136、送信部、メモリ)、プロセッサ(図示せず)を備えることができる。タッチパネル式装置130はユーザにより保持され、HMDのコントローラとして使用することができる。タッチパネル式装置130は、公知のスマートフォン、タブレット端末、PDAにより実現され得る。

0014

タッチパネル式装置のタッチセンサ132はユーザによるタッチパネルに対するタッチ入力が行われた位置(接触位置)を検出する。ユーザがタッチパネル式装置のタッチパネルに対して指やスタイラスペンを用いてタッチ操作を行うと、タッチセンサ132は該操作に関する各種データ(タッチパネルへの接触位置)を検出することができる。なお、接触変位量算出部204は検出された接触位置情報を用いて、スワイプ操作を行う際の、タッチパネルへの接触開始位置からのタッチパネルへの連続した接触の変位量(接触変位量)、接触開始位置からの接触変位方向、接触変位速度、接触回数、スワイプ回転数などを算出することができる。非透過型のHMDを装着している場合、ユーザは保持しているタッチパネル式装置130の表示面を観察することはできない。その代わりに、HMDの表示領域を観察することができる。従って、タッチパネルは、タッチセンサ132機能を有していれば良く、表示機能を有していなくても良い。なお、本実施形態において、スワイプ操作とは、ユーザ指やタッチペンによってタッチパネル上をタッチし、タッチしたまま線を描くようにタッチ位置をタッチパネル上で動かす操作を意味する。

0015

タッチパネル式装置の傾き検出センサ134は、タッチパネル式装置130の3次元実空間でのXYZ軸回りのそれぞれの角速度を検出するためのものであり、ジャイロセンサにより実現され得る。

0016

タッチパネル式装置の3軸加速度センサ136は、タッチパネル式装置の3次元実空間でのXYZ軸方向の加速度を検出するためのものである。加速度センサ136が検出した加速度は、タッチパネル式装置130の筐体の傾き(傾斜角度)や動きに応じて変化するので、取得された加速度データを用いて、タッチパネル式装置120の筐体の傾きや動き、3次元実空間における装置変位量を算出することができる。例えば、この3軸加速度センサからの加速度出力モニタリングすることにより、重力加速度を基準として、タッチパネル式装置の姿勢姿勢変化、例えばタッチパネル式装置130の筐体の一方の端をあおり上げるような姿勢変化があった場合に、その方向と度合いとを検出することができる。

0017

タッチパネル式装置のメモリは、各センサより出力されたタッチパネル式装置に対して行われた所定の操作に関する操作入力情報、即ち、タッチセンサへの接触位置、タッチパネル式装置130の3次元実空間での筐体のXYZ軸回りの角速度、3次元実空間での筐体のXYZ軸方向の加速度を操作入力情報として格納する。

0018

タッチパネル式装置の送信部は、タッチパネル式装置のメモリに格納された、タッチパネル式装置に対して行われたユーザ操作に関する操作入力情報を、本体装置120のアプリケーション進行部202からのリクエストに応じて出力データとして送信することができる。アプリケーション進行部202がアプリケーションプログラムの実行に必要な操作入力情報をリクエストすることで、タッチパネル式装置130は検出された全ての操作入力情報を本体装置120へ送信することなく、必要な情報のみを出力データとして送信することができる。従って、本体装置120とタッチパネル式装置130との間の通信負荷を低減することができる。

0019

図2は、本発明の一実施形態に係るHMDシステムの表示処理を実現するための機能的構成図である。本体装置120は、プロセッサなどの演算部に組み込まれたプログラムで制御された、アプリケーション進行部202と、接触変位量算出部204と、傾き変化算出部206と、装置変位量算出部208を備えている。

0020

アプリケーション進行部202は、まず、本体装置120で実行中のアプリケーションプログラムの内容に基づいて、アプリケーションプログラムにより入力が求められるユーザ操作が何かを決定する。また、アプリケーション進行部202は、実行中のアプリケーションプログラムの内容に基づいて出力データを取得する期間(所定の期間)を決定する。求められるユーザ操作とは、実行中のアプリケーションプログラムの内容、実行中のアプリケーションプログラムにおいてユーザが現在操作している状況に基づいて定められ、実行中のアプリケーションプログラムが入力を許可する、コントローラに対するユーザ操作のことである。例えば、ユーザが仮想空間内で宇宙船を操作するゲームを行い、敵と戦闘中の操作状態では、その操作状態に対応する求められるユーザ操作は例えば、「宇宙船の進行方向を操作する」、「大砲の向きを操作する」である。このように、アプリケーションプログラムの内容に基づいて求められるユーザ操作を決定することで、アプリケーション実行中にユーザが意図しない操作を排除することができる。ユーザは意図しないで、タッチパネル式装置の姿勢操作移動操作を行ってしまうことがある。特にHMDを装着しているユーザは、自身が保持しているタッチパネル式装置を観察することができないため、意図しない操作を行う可能性がある。

0021

次に、アプリケーション進行部202は、求められるユーザ操作に関する情報に対応する操作入力情報を出力データとしてタッチパネル式装置130へリクエストするとともに、出力データを取得する期間(所定の期間)をタッチパネル式装置130へ送信する。例えば、求められるユーザ操作が「宇宙船の進行方向を操作する」、「大砲の向きを操作する」場合に、該求められるユーザ操作に対応する操作入力情報は、タッチセンサ132からのユーザのタッチ操作に関する情報(接触位置)、傾き検出センサ134からのタッチパネル装置130の傾きの変化に関する情報(ロール角速度))である。アプリケーション進行部202は、求められるユーザ操作に対応しない操作入力情報、例えば、タッチパネル式装置のピッチ角速度ヨー角速度、タッチパネル装置130の3次元実空間における加速度をリクエストしないことができる。必要な情報のみをリクエストすることで、本体装置120とタッチパネル式装置130との間の通信負荷を低減することができる。

0022

次に、タッチパネル式装置130の送信部は、アプリケーション進行部202からのリクエストに応じて、所定の期間に亘って、メモリに格納されたタッチセンサ、傾き検出センサ、3軸加速度センサから得られた各種操作入力情報に関する情報のうち、求められるユーザ操作に対応する情報を出力データとして本体装置120へ逐次出力する。

0023

接触変位量算出部204は、出力データがユーザのタッチパネルに対するタッチ操作に関する情報である場合に、該タッチ操作に関する情報に基づいて、タッチ操作のタッチパネルに対する連続した接触の接触開始位置からの接触変位量、接触開始位置からの接触変位方向、接触変位速度、接触回数、スワイプ回転数、接触時間など、又はこれらの一部を操作データとして算出する。接触変位量算出部204は、所定期間に亘って、タッチパネルに対し連続した入力が行われる間、これらの操作データの算出を繰り返し実行する。

0024

傾き変化算出部206は、出力データがユーザのタッチパネル装置130に対する3次元実空間での傾き操作に関する情報(角速度)である場合に、該傾き操作に関する情報に基づいて、タッチパネル装置130の筐体の3次元実空間での3軸回りの角度変化、角加速度など又はこれらの一部を操作データとして算出する。傾き変化算出部206は、所定期間に亘って、これらの操作データの算出を繰り返し実行する。

0025

装置変位量算出部208は、出力データがタッチパネル装置130に対する3次元実空間での変位操作に関する情報である場合に、該変位操作に関する情報(加速度)に基づいて、タッチパネル装置130の3次元実空間内でのXYZ軸方向の装置速度、装置変位量など、又はこれらの一部を操作データとして算出する。装置変位量算出部208は、所定期間に亘って、これらの操作データの算出を繰り返し実行する。

0026

表示制御部210は、アプリケーション進行部202により決定されたアプリケーションプログラムにより入力が求められるユーザ操作に基づいて、表示オブジェクトに行わせる動作と操作データとを対応付けする。そして、表示制御部210は、表示オブジェクトの動作に対応付けられた操作データに基づいて、表示オブジェクトの表示演算を行い、これにより表示オブジェクトの画像をフレーム毎に生成する。例えば、アプリケーション進行部202により決定された求められるユーザ操作が「宇宙船の進行方向を操作する」、「大砲の向きを操作する」である場合に、表示オブジェクトである「宇宙船」、「大砲」に対し、それぞれ「宇宙船」の進行方向の変更を操作データである「タッチパネル式装置130の3次元実空間内でのロール角変化、ロール角速度」の一部、又は全てに基づいて表示演算し、「大砲」の向きの変更を操作データである「タッチパネルに対する接触変位量、接触変位方向、接触変位速度」の一部、又は全てに基づいて表示演算する。表示制御部210は表示オブジェクトの表示演算に基づいて、表示オブジェクトの画像を生成し、表示領域112へ出力する。いわゆる3次元の画像を生成する場合には、表示オブジェクトの各頂点のデータ(頂点のワールド座標系での位置座標色データ)を含む表示パラメータを演算し、演算された表示パラメータに基づいて、表示オブジェクトの画像をフレーム毎に順次生成する。

0027

本発明によると、ユーザは、タッチパネル式装置を用いて3次元仮想空間内で表示オブジェクトに行わせる操作を容易にかつ直感的に指示することができる。特に非透過型のHMDを装着しているユーザにとって、手元を観察することができないため、タッチパネル式装置のタッチパネルを観察しながら表示オブジェクトに対して指示できない。さらに、タッチパネルのタッチセンサのみを用いて指示する場合、画面上の2次元位置しか指示することができず、3次元仮想空間内の方向、速度を指示することはできなかった。本発明によると、ジャイロセンサ、加速度センサ、タッチセンサを備えたタッチパネル式装置を用いて、ユーザは手元を観察することなく、HMDの表示領域に表示される3次元仮想空間内の表示オブジェクトの方向を容易にかつ直感的に指示することができる。

0028

また、タッチパネルのタッチセンサを用いて、該タッチパネルに表示される表示オブジェクトに対する指示を行う場合、操作を行う指などに表示オブジェクトが隠れて見えなくなってしまうことがあった。本発明によると、タッチ操作を行うタッチパネルと、表示領域とが別個に構成される。従って、ユーザは表示オブジェクトが操作により隠れてしまうことを気にすることなく表示オブジェクトの操作を行うことができる。

0029

図3は、本発明の一実施形態に従った、タッチパネル式装置130の筐体の3次元実空間での直交座標系(X,Y,Z)、及びタッチパネル式装置のタッチパネル平面の2次元直交座標系(x,y)、及びこれら座標系において用いられる各種パラメータを示す。θr、θp、θyはそれぞれ、タッチパネル式装置の筐体の3次元実空間での直交座標系(X,Y,Z)において、タッチパネル式装置の前後を軸とした回転を示すロール角(θr)、左右を軸とした回転を示すピッチ角(θp)、上下を軸とした回転を示すヨー角(θy)を示す。P0(xp0,yp0)、P1(xp1,yp1)はそれぞれ、タッチパネル平面の2次元座標系(x,y)上の座標値を示し、P0(xp0,yp0)はユーザのタッチ操作による接触開始位置、P1(xp1,yp1)はタッチ操作による接触終了位置を示す。

0030

次に、タッチパネル式装置130の操作によりHMDの表示領域に表示される3次元仮想空間内に表示される表示オブジェクトを操作する処理を図に基づき説明する。
なお、表示領域に表示される表示オブジェクトの操作に関し、アプリケーションで設定された内容に従って次の4実施形態、
<第1の実施形態>タッチパネル及びジャイロセンサを用いて2つの表示オブジェクトを別個に操作する。
<第2の実施形態> タッチパネル及びジャイロセンサを用いて1つの表示オブジェクトの傾きと進行方向を別個に操作する。
<第3の実施形態> タッチパネル及び加速度センサを用いて1つの表示オブジェクトの動作と進行方向とを別個に操作する。
<第4の実施形態> タッチパネル及び加速度センサを用いて1つの表示オブジェクトに関する1つの動作を操作する。
のうちから1つを選択して操作を行うものとする。
<第1の実施形態>
まず、第1の実施形態における操作の概要について図4に基づいて説明する。第1の実施形態は、タッチパネル式装置に対するユーザ操作によって、3次元仮想空間内において2つの表示オブジェクト(宇宙船、大砲)の向きを操作するゲームに関する。ユーザはタッチパネル式装置130のタッチパネル132上をスワイプ操作し、タッチパネル式装置130の筐体の姿勢を操作することによって、3次元仮想空間内において2つの表示オブジェクトを別個に操作することができる。図4A図4Bは第1の実施形態に基づく宇宙船402及び大砲404を操作する場合の3次元仮想空間内の状態の遷移(イ)、及びタッチパネル式装置の状態の遷移(ロ、ハ)を例示する図である。図4Cは、第1の実施形態に基づく3次元仮想空間内で宇宙船302及び大砲304を操作する場合のHMDを装着しているユーザが観察することのできる表示領域に表示される3次元仮想空間内の画像を例示する図である。

0031

まず、アプリケーション進行部202は、本体装置120で実行中のアプリケーションプログラムの内容に基づいて、アプリケーションプログラムにより入力が求められるユーザ操作が、「宇宙船の進行方向(又は向き)を操作する」及び「大砲の向きを操作する」であると決定する。ユーザは、タッチパネル式装置130の筐体の傾き(ロール角)を変化させることで、HMDの表示領域112に表示される宇宙船402の進行方向(ヨー角)を指示することができ、タッチパネル式装置のタッチパネル132上をスワイプ操作することによって、HMDの表示領域112に表示される宇宙船402に搭載されている大砲の向き(ヨー角)を指示することができる。

0032

次に、タッチパネル式装置130は、アプリケーション進行部202からのリクエストに応じて、タッチパネル式装置130のメモリに格納された操作入力情報のうち、入力が求められるユーザ操作に対応する情報を出力データとして本体装置120へ所定の期間に亘って逐次出力する。本実施態様においては、出力データは、タッチセンサ132からのユーザのタッチ操作に関する情報(接触位置)、傾き検出センサ134からのタッチパネル装置130の傾き操作に関する情報(前後方向を軸とした角速度(ロール角速度))である。

0033

次に、タッチパネル式装置130の送信部は、所定の期間に亘って求められるユーザ操作に対応する情報を出力データとして本体装置120へ逐次出力する。そして、接触変位量算出部204は、ユーザのタッチ操作に関する情報に基づいて、接触開始位置からの接触変位量などを操作データとして算出する。また、傾き変化算出部206は、タッチパネル装置130の傾き操作に関する情報(角速度)に基づいて、タッチパネル装置130の3次元実空間でのY軸回りのロール角変化などを操作データとして算出する。

0034

次に、表示制御部210は、アプリケーション進行部202により決定されたアプリケーションプログラムにより入力が求められるユーザ操作に基づいて、表示オブジェクトに行わせる動作と操作データとを対応付けする。そして、表示制御部210は、表示オブジェクトの動作に対応付けられた操作データ(接触変位量、ロール角変化など)に基づいて、表示オブジェクトの表示演算を行い、これにより表示オブジェクトの画像をフレーム毎に生成する。

0035

図4A(イ)は、3次元仮想空間内において操作される宇宙船402及び大砲404の操作開始状態を例示する図である。図4A(イ)に示される画像をHMDの表示領域112に表示することもできる。図4A(イ)は、3次元仮想空間内における宇宙船402及び大砲404の操作開始状態を上から見た図を示しており、宇宙船402は3次元仮想空間内でψy0、大砲404はψ'y0に対応する操作開始角度(ヨー角)を有する。図4A(ロ)に示すタッチパネル式装置の操作開始状態は、図4A(イ)に示す3次元仮想空間内における宇宙船402、大砲404の操作開始状態に対応する。図4A(ロ)においてP0(xp0,yp0)はユーザによるタッチパネル平面上の接触開始位置(黒丸)を示す。θr0はユーザが保持しているタッチパネル式装置の前後方向を軸とした操作開始角度(ロール角)を示す。図4A(ハ)は、図4A(ロ)に示されるタッチパネル式装置を破線aで切断したタッチパネル式装置の断面の概略図を示す。なお、図4A(ロ)には、操作開始位置を黒丸で表しているが、この黒丸は実際には表示されなくても良い。

0036

図4Bは、3次元仮想空間内において操作される宇宙船402及び大砲404の操作中の状態を例示する図である。宇宙船402の進行方向は、タッチパネル式装置の前後方向を軸とした回転角(ロール角)に基づいて決定され、大砲404の向きはタッチパネルに対する接触開始位置からの接触変位量に基づいて決定される。即ち、大砲404の向きは、タッチパネル式装置のタッチパネルに入力される線(入力軌跡406)に基づいて算出される。

0037

図4B(イ)は、3次元仮想空間内における宇宙船402及び大砲404の操作中の状態を上から見た図を示しており、宇宙船402は3次元仮想空間内でΔψyに対応する操作角度だけ反時計方向に進行方向が変化し、大砲404はΔψ'yに対応する操作角度だけ時計方向に傾きが変化している。図4B(イ)に示す3次元仮想空間内における宇宙船402、大砲404の操作中の状態は、図4B(ロ)に示すタッチパネル式装置の操作中の状態に対応する。

0038

図4B(ロ)は、タッチパネル式装置のタッチパネル上を接触開始位置P0(xp0,yp0)から接触終了位置P1(xp1,yp1)までスワイプ操作する際の入力軌跡406、及び実空間における操作開始角度θr0からΔθrだけ反時計方向に傾いたタッチパネル式装置を示す。ユーザは、図4B(ロ)に示すように、タッチパネルに対して線を描く操作を行うことで大砲の向きを操作する。図4B(ロ)において、スワイプ操作する際の入力軌跡406は、直線で描かれているが、入力軌跡は曲線であっても往復線であっても良い。また、図4B(ロ)において、タッチパネル式装置130に対する傾き操作はΔθrだけ反時計方向に傾けるものであるが、所定期間内であれば連続してさらに傾きを時計方向に傾けることもできる。さらに、所定期間内であれば、一旦タッチ操作が接触終了位置P1において終了しても、新たに接触開始位置P0を設定してスワイプ操作を行うことができる。また、表示制御部210は、タッチパネルに対する接触の変位速度に基づいて、大砲404の向きの変化速度を変えることができる。また、表示制御部210は、タッチパネル式装置の角度変化、及び角速度に基づいて、宇宙船の進行方向の変化速度を変えることができる。なお、図4B(ロ)には、操作開始位置を点線丸、操作終了位置を黒丸、ユーザによって描かれた線を点線矢印で表しているが、これらは実際には表示されなくても良い。また、図4B(ロ)に表される点線矢印、(ロ)、(ハ)に表される黒塗り矢印は、それぞれ図4B(イ)に表される点線矢印、黒塗り矢印に対応している。

0039

図4B(ハ)は、図4B(ロ)に示されるタッチパネル式装置を破線aで切断したタッチパネル式装置の断面の概略図を示す。
非透過型HMDを装着しているユーザは、タッチパネルを観察しながらタッチパネルに対する操作をすることができない。本実施形態においては、ユーザはタッチパネル式装置を傾ける、タッチパネル上にタッチ操作を行うといった直感的な操作でHMDの表示領域に表示される表示オブジェクトを操作することができるため、HMDを装着しているユーザにとって極めて操作性が良い。

0040

また、このようなユーザにとって、タッチパネルに対して直線を一定の方向(例えば真横)に描く操作を行うことが困難な場合がある。本実施形態においては、例えば、接触開始位置P0から接触終了位置P1のy軸方向の接触変位を考慮せず、x軸方向の接触変位のみに着目して大砲の向きを操作することもできる。

0041

なお、図4B(イ)は、図4B(ロ)において接触終了位置が(xp1,yp1)、操作終了角度がθr1である場合の、宇宙船402と大砲404の操作終了状態を示しているが、接触終了位置が(xp1,yp1)、操作終了角度をθr0のままとすることもできる。タッチパネルに対するタッチ操作と、タッチパネル式装置の姿勢操作を独立して行うことができるためである。この場合、大砲404の操作角度はψ'y0からΔψ'yだけ変化するが、宇宙船402の進行方向はψy0のまま変化しない。

0042

図4Cは、3次元仮想空間内で宇宙船402及び大砲404を操作する場合の、HMDを装着しているユーザが観察することのできる表示領域に表示される3次元仮想空間内の例示的な画像である。ユーザは、あたかも宇宙船402の司令室にいるかのような画像を観察することができる。
<第2の実施形態>
次に、第2の実施形態における操作の概要について図5に基づいて説明する。第2の実施形態は、タッチパネル式装置に対するユーザ操作によって、3次元仮想空間内において1つの表示オブジェクト(飛行機)の進行方向、傾きを操作するゲームに関する。ユーザはタッチパネル式装置130のタッチパネル132上をスワイプ操作し、タッチパネル式装置130の筐体の姿勢を操作することによって、3次元仮想空間内において1つの表示オブジェクトの傾きと進行方向を別個に操作することができる。図5A図5Bは第2の実施形態に基づく飛行機502を操作する場合の3次元仮想空間内の状態の遷移(イ)、及びタッチパネル式装置の状態の遷移(ロ、ハ)を例示する図である。

0043

まず、アプリケーション進行部202は、本体装置120で実行中のアプリケーションプログラムの内容に基づいて、アプリケーションプログラムにより入力が求められるユーザ操作が、「飛行機の進行方向、移動量を操作する」及び「飛行機の傾きを操作する」であると決定する。このとき、ユーザは、タッチパネル式装置130の筐体の傾き(ピッチ角)を変化させることで、HMDの表示領域112に表示される飛行機の傾き(ピッチ角)を指示することができ、タッチパネル132に対して図5B(ロ)に示すように、線を描くスワイプ操作することによって、HMDの表示領域112に表示される飛行機502の進行方向、移動量を指示することができる。ユーザは飛行機のピッチ角及び進行方向、移動量を指示することにより、仮想空間内で飛行機を離発着飛行操作をすることができる。

0044

次に、タッチパネル式装置130は、アプリケーション進行部202からのリクエストに応じて、タッチパネル式装置130のメモリに格納された操作入力情報のうち、入力が求められるユーザ操作に対応する情報を出力データとして本体装置120へ所定の期間に亘って逐次出力する。本実施態様においては、出力データは、タッチセンサ132からのユーザのタッチ操作に関する情報(接触位置)、傾き検出センサ134からのタッチパネル装置130の傾き操作に関する情報(左右方向を軸とした角速度(ピッチ角速度))である。

0045

図5A(イ)は、3次元仮想空間内において操作される飛行機502の操作開始状態を例示する図である。図5A(イ)に示される画像をHMDの表示領域112に表示することもできる。図5A(イ)は、3次元仮想空間内における飛行機502の操作開始状態を横から見た図を示しており、飛行機502は3次元仮想空間内で、(xv0,yv0,zv0)に対応する操作開始位置、及びψp0に対応する操作開始角度(ピッチ角)を有する。図5A(ロ)に示すタッチパネル式装置の操作開始状態は、図5A(イ)に示す3次元仮想空間内における飛行機502の操作開始状態に対応する。図5A(ロ)において、P0(xp0,yp0)はユーザによるタッチパネル平面上の接触開始位置(黒丸)を示す。θp0はユーザが保持しているタッチパネル式装置の左右方向を軸とした操作開始角度(ピッチ角)を示す。

0046

図5A(ハ)は、図5A(ロ)に示されるタッチパネル式装置を破線aで切断したタッチパネル式装置の断面の概略図を示す。なお、図5A(ロ)には、操作開始位置を黒丸で表しているが、この黒丸は実際には表示されなくても良い。

0047

図5Bは、3次元仮想空間内において操作される飛行機502の操作中の状態を例示する図である。飛行機502の左右方向を軸とした傾きは、タッチパネル式装置の左右方向を軸とした回転角(ピッチ角)に基づいて決定され、飛行機502の進行方向、移動量はタッチパネルに対する接触開始位置からの接触変位方向、接触変位量に基づいて決定される。ここで、飛行機502の進行方向は、タッチパネル式装置のタッチパネルに入力される線(入力軌跡506)に基づいて算出される。

0048

図5B(イ)は、3次元仮想空間内における飛行機502の操作終了後の状態を横から見た図を示しており、飛行機502は3次元仮想空間内で、(xv1,yv1,zv1)に対応する操作中の位置を有しており、Δψpに対応する角度だけ傾きが変化している。ここで、3次元仮想空間内の操作終了位置(xv1,yv1,zv1)は、操作開始位置(xv0,yv0,zv0)に対し、タッチパネルに対する操作開始位置からの接触変位量、変位方向(P0→P1)に加えて、タッチパネル式装置の左右方向を軸とした傾きの変化(θp0→θp1)を加えた位置を3次元仮想空間内の座標に変換した位置となる。従って、ユーザはタッチパネル式装置を用いてより詳細に表示オブジェクトを制御することができる。なお、タッチパネルに対する操作開始位置からの接触変位方向を用いずに、接触変位量と傾き変化のみを用いて、3次元仮想空間内の座標に変換することもできる。図5B(イ)に示す3次元仮想空間内における飛行機502の操作中の状態は、図4B(ロ)に示すタッチパネル式装置の操作中の状態に対応する。

0049

図5B(ロ)は、タッチパネル式装置のタッチパネル上を接触開始位置P0(xp0,yp0)から接触終了位置P1(xp1,yp1)までスワイプ操作する際の入力軌跡、及び実空間における操作開始角度θp0からΔθpだけ傾いたタッチパネル式装置を示す。本実施形態においては、タッチパネルに対するタッチ操作と、タッチパネル式装置の姿勢操作を独立して行うことができる。例えば、飛行機502の進行方向のみを変化させ、飛行機502のピッチ角は変化させないでおくことができる。図5B(ロ)には、操作開始位置を点線丸、操作終了位置を黒丸、ユーザによって描かれた線を点線矢印で表しているが、これらは実際には表示されなくても良い。

0050

図5B(ハ)は、図5B(ロ)に示されるタッチパネル式装置を破線aで切断したタッチパネル式装置の断面の概略図を示す。
<第3の実施形態>
次に、第3の実施形態における操作の概要について図6に基づいて説明する。第3の実施形態は、タッチパネル式装置に対するユーザ操作によって、3次元仮想空間内において表示オブジェクト(竜)の移動量、動作を操作するゲームに関する。ユーザはタッチパネル式装置130のタッチパネル132上をスワイプ操作し、タッチパネル式装置130の筐体の実空間(X,Y,Z)内における位置を操作することによって、3次元仮想空間内において1つの表示オブジェクトの動作と移動量を別個に操作することができる。図6A図6Bは第3の実施形態に基づく竜602を操作する場合の3次元仮想空間内の状態の遷移(イ)、及びタッチパネル式装置の状態の遷移(ロ、ハ)を例示する図である。

0051

まず、アプリケーション進行部202は、本体装置120で実行中のアプリケーションプログラムの内容に基づいて、アプリケーションプログラムにより入力が求められるユーザ操作が、「竜の移動量の操作」及び「竜のジャンプ動作」であると決定する。このとき、ユーザは、タッチパネル式装置130の筐体の実空間における位置(高さZ)を短期間に変化させることで、HMDの表示領域112に表示される竜にジャンプを指示することができ、タッチパネル132に対して図6B(ロ)に示すように、線を描くスワイプ操作することによって、HMDの表示領域112に表示される竜602の移動量を指示することができる。
なお、本実施形態において、筐体の実空間における位置(高さZ)を短期間に変化させる操作は、例えば、短期間に筐体を持ち上げる操作や、短期間に筐体を持ち上げた直後に下げる操作を意味する。このような筐体の実空間における高さを操作することより、ユーザはHMDの表示領域に表示された竜602を直感的にジャンプさせることができる。

0052

次に、タッチパネル式装置130は、アプリケーション進行部202からのリクエストに応じて、タッチパネル式装置130のメモリに格納された操作入力情報のうち、入力が求められるユーザ操作に対応する情報を出力データとして本体装置120へ所定の期間に亘って逐次出力する。本実施態様においては、出力データは、タッチセンサ132からのユーザのタッチ操作に関する情報(接触位置)、3軸加速度センサ136からのタッチパネル装置130の変位操作に関する情報(実空間におけるZ軸方向の加速度)である。

0053

次に、タッチパネル式装置130の送信部は、所定の期間に亘って求められるユーザ操作に対応する情報を出力データとして本体装置120へ逐次出力する。そして、接触変位量算出部204は、ユーザのタッチ操作に関する情報に基づいて、接触開始位置からの接触変位量などを操作データとして算出する。また、装置変位量算出部208は、タッチパネル装置130の変位操作に関する情報に基づいて、タッチパネル装置130の3次元実空間内でのXYZ軸方向の装置変位量などを操作データとして算出する。

0054

次に、表示制御部210は、アプリケーション進行部202により決定されたアプリケーションプログラムにより入力が求められるユーザ操作に基づいて、表示オブジェクトに行わせる動作と操作データとを対応付けする。そして、表示制御部210は、表示オブジェクトの動作に対応付けられた操作データ(接触変位量、装置変位量など)に基づいて、表示オブジェクトの表示演算を行い、これにより表示オブジェクトの画像をフレーム毎に生成する。

0055

図6A(イ)は、3次元仮想空間内において操作される竜602の操作開始状態を例示する図である。図6A(イ)に示される画像をHMDの表示領域112に表示することもできる。図6A(イ)は、3次元仮想空間内における竜602の操作開始状態を横から見た図を示しており、竜602は3次元仮想空間内で、(xv0,yv0、zv0)に対応する操作開始位置を有する。図6A(ロ)に示すタッチパネル式装置の操作開始状態は、図6(イ)に示す3次元仮想空間における竜602の状態に対応する。図6A(ロ)において、P0(xp0,yp0)はユーザによるタッチパネル平面上の接触開始位置(黒丸)を示す。

0056

図6A(ハ)は、図6A(ロ)に示されるタッチパネル式装置を破線aで切断したタッチパネル式装置の断面の概略図を示す。なお、図4A(ロ)には、操作開始位置を黒丸で表しているが、この黒丸は実際には表示されなくても良い。

0057

図6Bは、3次元仮想空間内において操作される竜602の操作中の状態を例示する図である。竜602にジャンプさせる操作は、タッチパネル式装置の実空間におけるZ軸方向の短期間における変位(ΔZ)に基づいて決定され、竜602の進行方向はタッチパネルに対する接触開始位置からの接触変位量に基づいて決定される。ここで、竜602の進行方向は、タッチパネル式装置のタッチパネルに入力される線(入力軌跡606)に基づいて算出される。

0058

図6B(イ)は、3次元仮想空間内における竜602の操作終了後の状態を横から見た図を示しており、竜602は3次元仮想空間内で、(xv1,yv1、zv1)に対応する操作中の位置を一旦有し、その直後に着地(xv1,yv1、0)する。図6B(イ)に示す3次元仮想空間内における竜602の操作中の状態は、図6B(ロ)に示すタッチパネル式装置の操作中の状態に対応する。

0059

図6B(ロ)は、タッチパネル式装置のタッチパネル上を接触開始位置P0(xp0,yp0)から接触終了位置P1(xp1,yp1)までスワイプ操作する際の入力軌跡、及び実空間においてZ軸方向にΔZだけ移動したタッチパネル式装置を示す。図6B(ロ)には、操作開始位置を点線丸、操作終了位置を黒丸、ユーザによって描かれた線を点線矢印で表しているが、これらは実際には表示されなくても良い。

0060

図6B(ハ)は、図6B(ロ)に示されるタッチパネル式装置を破線aで切断したタッチパネル式装置の断面の概略図を示す。
<第4の実施形態>
次に、第4の実施形態における操作の概要について図7に基づいて説明する。第4の実施形態は、タッチパネル式装置に対するユーザ操作によって、3次元仮想空間内において表示オブジェクト(釣り竿)の釣り糸にかかる張力(パラメータ)を算出し、該張力に基づいて釣り竿を操作するゲームに関する。ユーザはタッチパネル式装置130のタッチパネル132上をスワイプ操作し、タッチパネル式装置130の筐体の実空間(X,Y,Z)内における位置を操作することによって、3次元仮想空間内において1つの表示オブジェクトの1つのパラメータ(釣り糸にかかる張力)を算出し、該算出されたパラメータに基づいて釣り竿702を操作することができる。図7A図7Bは第4の実施形態に基づく3次元仮想空間内で釣り竿702を操作する場合の3次元仮想空間内の状態の遷移(イ)、及びタッチパネル式装置の状態の遷移(ロ、ハ)を例示する図である。

0061

まず、アプリケーション進行部202は、本体装置120で実行中のアプリケーションプログラムの内容に基づいて、アプリケーションプログラムにより入力が求められるユーザ操作が、「釣り竿のリール操作(釣り糸を巻く操作)」及び「釣り竿の上げ操作」であると決定する。このとき、ユーザは、タッチパネル式装置130の筐体の実空間における位置(高さZ)を変化させることで、HMDの表示領域112に表示される釣り竿の上げ操作(釣り竿を持ち上げる量)を指示することができ、タッチパネル132に対して図7B(ロ)に示すように、円を描くスワイプ回転操作することによって、HMDの表示領域112に表示される釣り竿のリール操作量(リールによる釣り糸の巻き取り量)を指示することができる。ここでスワイプ回転操作とは、指やタッチペンによってタッチパネル上をタッチし、タッチしたまま周期的な線(円、楕円、往復線)を描くようにタッチ位置をタッチパネル上で動かす操作を意味する。本実施形態においては、タッチパネル式装置は、3次元実空間のZ軸がタッチパネル式装置の左右軸に対応するよう配置、すなわち、タッチ面がユーザの右手側に向くよう配置されている。これにより、ユーザはあたかもタッチパネルを釣り竿のリール(釣り糸を巻き取る道具)に見立てて、直感的にリールによる巻き取り操作ができる。

0062

次に、タッチパネル式装置130は、アプリケーション進行部202からのリクエストに応じて、タッチパネル式装置130のメモリに格納された操作入力情報のうち、入力が求められるユーザ操作に対応する情報を出力データとして本体装置120へ所定の期間に亘って逐次出力する。本実施態様においては、出力データは、アプリケーション進行部202は、タッチセンサ132からのユーザのタッチ操作に関する情報(接触位置))、3軸加速度センサ136からのタッチパネル装置130の変位操作に関する情報(実空間におけるZ軸方向の加速度)である。

0063

次に、タッチパネル式装置130の送信部は、所定の期間に亘って求められるユーザ操作に対応する情報を出力データとして本体装置120へ逐次出力する。そして、接触変位量算出部204は、ユーザのタッチ操作に関する情報に基づいて、接触開始位置からの接触変位量、接触変位方向、接触変位速度、スワイプ回転数などを操作データとして算出する。また、装置変位量算出部208は、タッチパネル装置130の変位操作に関する情報に基づいて、タッチパネル装置130の3次元実空間内でのXYZ軸方向の装置速度、装置変位量などを操作データとして算出する。

0064

次に、表示制御部210は、アプリケーション進行部202により決定されたアプリケーションプログラムにより入力が求められるユーザ操作に基づいて、表示オブジェクトに行わせる動作と操作データとを対応付けする。そして、表示制御部210は、表示オブジェクトの動作に対応付けられた操作データ(接触変位量、接触変位方向、接触変位速度、スワイプ回転数、装置変位量など)に基づいて、表示オブジェクトの表示演算を行い、これにより表示オブジェクトの画像をフレーム毎に生成する。

0065

図7A(イ)は、3次元仮想空間内において操作される釣り竿702の操作開始状態を例示する図である。図7A(イ)に示される画像をHMDの表示領域112に表示することもできる。図7A(イ)は、3次元仮想空間内における釣り竿702の操作開始状態を横から見た図を示しており、釣り竿702は3次元仮想空間内で、巻き取り回数t0、釣り竿の先端位置の高さzv0に対応する操作開始状態を有する。図7A(ロ)に示すタッチパネル式装置の操作開始状態は、図7A(イ)に示す3次元仮想空間における釣り竿702の操作開始状態に対応する。図7A(ロ)において、P0(xp0,yp0)はユーザによるタッチパネル平面上の接触開始位置(黒丸)を示す。

0066

図7A(ハ)は、図7A(ロ)に示されるタッチパネル式装置を破線aで切断したタッチパネル式装置の断面の概略図を示す。なお、図7A(ロ)には、操作開始位置を黒丸で表しているが、この黒丸は実際には表示されなくても良い。

0067

図7Bは、3次元仮想空間内において操作される釣り竿702の操作中の状態を例示する図である。釣り竿702のリール操作による釣り糸巻き取り量は、タッチパネルに対する接触開始位置からのスワイプ回数数に基づいて決定され、釣り竿702の上げ操作は、タッチパネル式装置の実空間におけるZ軸方向の変位(ΔZ)に基づいて決定される。釣り糸にかかる張力(パラメータ)はスワイプ回転数及びタッチパネル式装置の実空間におけるZ軸方向の変位に基づいて決定される。ユーザは、例えば釣り糸にかかる張力(パラメータ)が大きい場合、釣り竿が大きくしなっている様子をHMDの表示領域に観察することができる。なお、スワイプ回転数は、タッチパネルに入力される線(入力軌跡706)に基づいて接触変位量算出部204により算出される。

0068

図7B(イ)は、3次元仮想空間内における釣り竿702の操作終了後の状態を横から見た図を示しており、釣り竿02は3次元仮想空間内で、巻き取り回数t1、釣り竿の先端位置の高さzv1に対応する操作中の状態を有する。図7B(ロ)に示すタッチパネル式装置の操作中の状態は、図7A(イ)に示す3次元仮想空間における釣り竿702の操作中の状態に対応する。

0069

図7B(ロ)は、タッチパネル式装置のタッチパネル上を接触開始位置P0(xp0,yp0)から接触終了位置P1(xp1,yp1)までスワイプ回転操作する際の入力軌跡706、及び実空間においてZ軸方向にΔZだけ移動したタッチパネル式装置を示す。図7B(ロ)には、操作開始位置を点線丸、操作終了位置を黒丸、ユーザによって描かれた線を点線矢印で表しているが、これらは実際には表示されなくても良い。

0070

図7B(ハ)は、図6B(ロ)に示されるタッチパネル式装置を破線aで切断したタッチパネル式装置の断面の概略図を示す。なお、図7B(ロ)には、操作開始位置を点線丸、操作終了位置を黒丸、ユーザによって描かれた線を点線矢印で表しているが、これらは実際には表示されなくても良い。
<HMDシステムの表示制御処理の流れ>
図8を参照してHMDシステムの表示を制御するための処理の流れを説明する。なお、図8に示すフローチャートにおける各ステップの処理は、単なる一例に過ぎず、同様の結果が得られるのであれば、各ステップの処理の順序入れ替えても良い。

0071

まず、ステップS1において、初期処理を実行する。アプリケーション処理部202は、本体装置120においてアプリケーションプログラムを起動し、各種パラメータの初期値を設定し、3次元仮想空間を構築し、仮想空間に登場する表示オブジェクトを初期位置に配置する。アプリケーション処理部202は、これら構築された3次元仮想空間、初期位置に配置された表示オブジェクトをHMDの表示領域へ出力する。初期処理においては、例えば第1の実施形態において宇宙船の司令室から観察することのできる陸地や海などで構成される3次元仮想空間を、第2の実施形態において飛行機のコックピットから観察することのできる空やなどで構成される3次元仮想空間を、第3の実施形態においては、平面に存在する竜を斜め上から観察することのできる陸地や海などで構成される3次元仮想空間を、第4の実施形態においては、ユーザがタッチパネル式装置130をあたかも釣り竿のように保持したときに観察することのできる海と空などで構成される3次元仮想空間を構築することができる。

0072

ステップS2においては、タッチパネル式装置130は、タッチセンサ132、傾き検出センサ134、3軸加速度センサから出力される各情報をユーザ操作に関する操作入力情報として取得しメモリへ格納する。すなわち、タッチセンサ132からはユーザによるタッチパネルに対するタッチ操作に関する情報(接触位置)を、傾き検出センサ134からは、ユーザによるタッチパネル式装置130に対する傾き操作に関する情報(3次元実空間でのXYZの3軸回りの角速度)を、3軸加速度センサ136からは、ユーザによるタッチパネル式装置に対する変位操作に関する情報(3次元実空間での3軸方向の加速度)を取得する。そして、タッチパネル式装置はこれら取得された情報を操作入力情報としてメモリに逐次格納する。

0073

次に、ステップS3において、アプリケーション進行部202は、本体装置120で実行中のアプリケーションプログラムの内容に基づいて、アプリケーションプログラムにより入力が求められるユーザ操作を決定する。また、アプリケーション進行部202は、実行中のアプリケーションプログラムの内容に基づいて、操作入力情報に基づく出力データを取得する期間(所定の期間)を決定する。

0074

次に、ステップS4において、アプリケーション進行部202は、求められるユーザ操作に関する情報に対応する操作入力情報をタッチパネル式装置130へリクエストするとともに、出力データを取得する期間(所定の期間)をタッチパネル式装置130へ送信する。

0075

次に、ステップS5において、タッチパネル式装置130の送信部は、アプリケーション進行部202からのリクエストに応じて、所定の期間に亘って、メモリに格納された各種操作入力情報のうち、求められるユーザ操作に対応する情報を出力データとして本体装置120へ逐次出力する。

0076

そして、ステップS6において、本体装置120はタッチパネル式装置130より送信された出力データの種類を判定する。
次に、ステップS7において、出力データがユーザのタッチパネルに対するタッチ操作に関する情報である場合に、接触変位量算出部204は、該タッチ操作に関する情報(接触位置)に基づいて、タッチ操作のタッチパネルに対する接触開始位置からの接触変位量、接触変位方向、接触変位速度、スワイプ回転数などを操作データとして算出する。

0077

次に、ステップS8において、出力データがユーザのタッチパネル装置130に対する3次元実空間での傾き操作に関する情報である場合に、傾き変化算出部206は、該傾き操作に関する情報(角速度)に基づいて、タッチパネル装置130の3次元実空間内での3軸回りの角度変化、角加速度などを操作データとして算出する。

0078

次に、ステップS9において、出力データがタッチパネル装置130に対する3次元実空間での変位操作に関する情報である場合に、装置変位量算出部208は、該変位操作に関する情報(加速度)に基づいて、タッチパネル装置130の3次元実空間内でのXYZ軸の装置速度、装置変位量を操作データとして算出する。

0079

次に、ステップS10において、表示制御部210は、アプリケーション進行部202により決定されたアプリケーションプログラムにより入力が求められるユーザ操作に基づいて、算出された操作データを表示オブジェクトに行わせる動作に対応付けする。そして、表示制御部210は、表示オブジェクトの動作に対応付けられた操作データに基づいて、表示オブジェクトの表示演算を行い、これにより表示オブジェクトの画像をフレーム毎に生成する。

0080

次に、ステップS11において、表示制御部210は、生成された表示オブジェクトの画像を逐次表示領域へ出力する。HMDは表示制御部210により出力された表示オブジェクトの画像を表示領域112に表示される3次元仮想空間へ表示する。

0081

以上、本発明の一実施形態に付き説明したが、本発明は上記実施形態に限定されるものではない。前述の請求項に記載されるこの発明の精神及び範囲から逸脱することなく、様々な実施形態の変更がなされうることを当業者は理解するであろう。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 京セラ株式会社の「 電子機器、制御方法、及びプログラム」が 公開されました。( 2020/10/29)

    【課題】操作性を向上させた電子機器、制御方法、及びプログラムを提供する。【解決手段】電子機器1は、自機器に接触されないジェスチャを検出する第1センサ(近接センサ18)と、自機器に接触されるタッチを検出... 詳細

  • 京セラ株式会社の「 電子機器、制御方法、及びプログラム」が 公開されました。( 2020/10/29)

    【課題】移動体の運転の安全性を向上可能な電子機器、制御方法、及びプログラムを提供する。【解決手段】自動車に搭載可能な電子機器は、自機器に触れられずにジェスチャを検出する第1センサと、自機器に接触される... 詳細

  • 威海火峰電脳有限公司の「 マウスパッドの固定と調節装置」が 公開されました。( 2020/10/29)

    【課題】本発明はマウスパッドの固定と調節装置を開示した。【解決手段】主体を含み、前記主体の中には巻き装置が設置され、前記主体の下側には固定装置が設置され、前記巻き装置の上側には切換装置が設置され、前記... 詳細

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ