図面 (/)

技術 オーディオ・トラックを介して触覚効果を与えるための触覚デバイスおよび方法

出願人 イマージョンコーポレーション
発明者 ウィリアムリーンヘンリイダコスタ
出願日 2015年6月9日 (5年11ヶ月経過) 出願番号 2015-116222
公開日 2016年1月7日 (5年5ヶ月経過) 公開番号 2016-001472
状態 特許登録済
技術分野 表示による位置入力 デジタル計算機のユーザインターフェイス 電子ゲーム機
主要キーワード ドッキング部分 作動デバイス 出力ディレクトリ 車両関連 多用性 偏心質量 運動経路 振動効果
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年1月7日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (16)

課題

オーディオトラックを介して触覚効果を与えるための触覚デバイスおよび方法を提供すること。

解決手段

本発明の実施形態は、プロセッサと、触覚出力デバイスをもつ触覚周辺機器とを含むシステムに関する。プロセッサは、第1の触覚効果を生成するための第1の組の制御パラメータを有する第1のチャネルと、第2の触覚効果を生成するための第2の組の制御パラメータを有する第2のチャネルとを含むオーディオ・ファイル、またはオーディオ・ファイルから生成された触覚ファイルを受け取り、触覚効果の第1および第2の組の制御パラメータを含む制御信号を出力するように構成される。触覚出力デバイスは、プロセッサからの制御信号を受け取り、触覚効果を触覚周辺機器に出力するように構成される。一実施形態では、触覚出力デバイスは双方向トリガに結合され、制御パラメータはトリガを対向する方向に動かす。別の実施形態では、制御パラメータは、ユーザ入力要素への異なるタイムラインの触覚効果を生成する。

概要

背景

ビデオ・ゲームおよび仮想現実システムは、カジアルゲーマーへのマーケティング、およびカジュアル・ゲーマーからの結果として生じる関与のために一層人気が高まっている。典型的な実施態様では、コンピュータ・システムが、ユーザへの視覚またはグラフカル環境をディスプレイデバイスに表示する。ユーザは、インタフェース・デバイスからのコマンドまたはデータを入力することによって、表示された環境と対話することができる。コンピュータは、ジョイスティックハンドルなどの移動型マニピュランダムユーザ操作応答して環境を更新し、ディスプレイ画面を使用してユーザに視覚フィードバックを与える。

従来のビデオ・ゲーム・デバイスまたはコントローラは視覚および聴覚キューを使用して、ユーザにフィードバックを与える。いくつかのインタフェース・デバイスでは、運動感覚フィードバック(能動的および抵抗性触覚フィードバックなど)および/または触感フィードバック振動質感、および熱など)が、さらに、ユーザに与えられ、より一般的には、まとめて、「触覚フィードバック」または「触覚効果」として知られている。触覚フィードバックは、ユーザ・インターフェース強化簡単化するキューを与えることができる。例えば、振動効果または振動触感触覚効果は、電子デバイスのユーザにキューを与えて特定のイベントについてユーザに警報を出すときに有用であり、または現実的なフィードバックを与えて、シミュレートされたまたは仮想の環境内により大きい知覚没入を作り出すことができる。ゲーミング・デバイスおよび他のデバイスのための従来の触覚フィードバック・システムは、一般に、コントローラ/周辺機器ハウジングに取り付けられた、触覚フィードバックを生成するためのアクチュエータを含む。より詳細には、インタフェース・デバイスのモータまたは他のアクチュエータがコントローラ内に収納され、制御用コンピュータ・システムに接続される。コンピュータ・システムはインタフェース・デバイスからセンサ信号受け取り、適切な触覚フィードバック制御信号をアクチュエータに送る。その後、アクチュエータは、触覚フィードバックをコントローラに与える。このようにして、コンピュータ・システムは、他の視覚および聴覚フィードバックとともにユーザに身体的感覚を伝えることができる。

より没入できより楽しい経験をユーザに与えるために以前には利用可能でなかった変種の触覚効果を与える触覚フィードバック・システムへの要求がある。

概要

オーディオトラックを介して触覚効果を与えるための触覚デバイスおよび方法を提供すること。本発明の実施形態は、プロセッサと、触覚出力デバイスをもつ触覚周辺機器とを含むシステムに関する。プロセッサは、第1の触覚効果を生成するための第1の組の制御パラメータを有する第1のチャネルと、第2の触覚効果を生成するための第2の組の制御パラメータを有する第2のチャネルとを含むオーディオ・ファイル、またはオーディオ・ファイルから生成された触覚ファイルを受け取り、触覚効果の第1および第2の組の制御パラメータを含む制御信号を出力するように構成される。触覚出力デバイスは、プロセッサからの制御信号を受け取り、触覚効果を触覚周辺機器に出力するように構成される。一実施形態では、触覚出力デバイスは双方向トリガに結合され、制御パラメータはトリガを対向する方向に動かす。別の実施形態では、制御パラメータは、ユーザ入力要素への異なるタイムラインの触覚効果を生成する。

目的

オーディオ・ミキシング・プロセスにおけるパニングは、音響信号モノラル式またはステレオ式対)をパン制御設定によって決定される新しいステレオまたはマルチチャネル音場分配することである

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

触覚効果制御パラメータを含むファイル受け取り、前記触覚効果の前記制御パラメータを含む制御信号を出力するように構成されたプロセッサであり、前記ファイルが、オーディオ・ファイル、または前記オーディオ・ファイルから生成された触覚ファイルである、プロセッサと、触覚出力デバイスを含む触覚周辺機器であり、前記触覚出力デバイスが前記プロセッサからの前記制御信号を受け取り、前記触覚効果を前記触覚周辺機器に出力するように構成される、触覚周辺機器とを備えるシステム

請求項2

前記プロセッサが、前記ファイルの前記制御パラメータを復号するように構成されたソフトウェアを含む、請求項1に記載のシステム。

請求項3

前記オーディオ・ファイルがWAVファイルである、請求項2に記載のシステム。

請求項4

前記オーディオ・ファイルが音響信号パニングを介して生成される、請求項1に記載のシステム。

請求項5

前記音響信号が、モノラルオーディオ信号またはステレオ式オーディオ信号である、請求項4に記載のシステム。

請求項6

前記オーディオ・ファイルが、複数のモノラル式トラックミックス・ダウンすることによって生成されたインターリーブ・ファイルである、請求項1に記載のシステム。

請求項7

前記触覚出力デバイスが前記触覚周辺機器の双方向トリガに結合され、前記オーディオ・ファイルが、前記トリガを第1の方向に動かすための制御パラメータを有する第1のチャネルと、前記トリガを第2の反対方向に動かすための制御パラメータを有する第2のチャネルとを含む、請求項1に記載のシステム。

請求項8

前記触覚周辺機器が複数の触覚出力デバイスを含み、前記プロセッサが複数のファイルを受け取るように構成され、各ファイルが前記複数の触覚出力デバイスのうちの1つのための触覚効果の制御パラメータを含み、各ファイルが、オーディオ・ファイル、または前記オーディオ・ファイルから生成された触覚ファイルである、請求項1に記載のシステム。

請求項9

前記触覚出力デバイスが前記触覚周辺機器のユーザ入力要素に結合され、前記オーディオ・ファイルが、前記ユーザ入力要素への第1のタイムラインの触覚効果を生成するための制御パラメータを有する第1のチャネルと、前記ユーザ入力要素への第2のタイムラインの触覚効果を生成するための制御パラメータを有する第2のチャネルとを含む、請求項1に記載のシステム。

請求項10

前記第1のタイムラインが前記ユーザ入力要素の振動を含み、前記第2のタイムラインが前記ユーザ入力要素のデテントを含む、請求項9に記載のシステム。

請求項11

前記ユーザ入力要素が、双方向トリガ、ジョイスティック、またはボタンのうちの1つである、請求項9に記載のシステム。

請求項12

前記プロセッサがホスト・コンピュータに配設される、請求項1に記載のシステム。

請求項13

前記プロセッサが前記触覚周辺機器に配設される、請求項1に記載のシステム。

請求項14

第1の触覚効果を生成するための第1の組の制御パラメータを有する第1のチャネルと、第2の触覚効果を生成するための第2の組の制御パラメータを有する第2のチャネルとを含むファイルを受け取り、前記触覚効果の前記第1および第2の組の制御パラメータを含む制御信号を出力するように構成されたプロセッサであり、前記ファイルが、オーディオ・ファイル、または前記オーディオ・ファイルから生成された触覚ファイルである、プロセッサと、触覚出力デバイスを含む触覚周辺機器であり、前記触覚出力デバイスが前記プロセッサからの前記制御信号を受け取り、前記触覚効果を前記触覚周辺機器に出力するように構成される、触覚周辺機器とを備えるシステム。

請求項15

前記オーディオ・ファイルが音響信号のパニングを介して生成される、請求項14に記載のシステム。

請求項16

前記触覚出力デバイスが前記触覚周辺機器の双方向トリガに結合され、前記第1の組の制御パラメータが前記トリガを第1の方向に動かし、前記第2の組の制御パラメータが前記トリガを第2の反対方向に動かす、請求項14に記載のシステム。

請求項17

前記触覚出力デバイスが前記触覚周辺機器のユーザ入力要素に結合され、前記第1の組の制御パラメータが、前記ユーザ入力要素への第1のタイムラインの触覚効果を生成し、前記第2の組の制御パラメータが、前記ユーザ入力要素への第2のタイムラインの触覚効果を生成する、請求項14に記載のシステム。

請求項18

触覚効果を触覚周辺機器に与える方法であって、第1の触覚効果を生成するための第1の組の制御パラメータを有する第1のチャネルと、第2の触覚効果を生成するための第2の組の制御パラメータを有する第2のチャネルとを含むオーディオ・ファイルを生成するステップと、前記オーディオ・ファイルをプロセッサに送るステップであり、前記プロセッサが、前記オーディオ・ファイルを受け取り、前記触覚効果の前記第1および第2の組の制御パラメータを含む制御信号を出力するように構成され、前記制御信号が、前記触覚効果を前記触覚周辺機器に出力するように構成された前記触覚周辺機器の触覚出力デバイスによって受け取られるように構成される、送るステップとを含む、方法。

請求項19

オーディオ・ファイルを生成する前記ステップが、オーディオ信号をパンするステップを含む、請求項18に記載の方法。

請求項20

オーディオ・ファイルを生成する前記ステップが、複数のモノラル式トラックをミックス・ダウンするステップを含む、請求項18に記載の方法。

技術分野

0001

本発明は、触覚効果または触覚フィードバックを与えるためのシステムおよび方法に関する。

背景技術

0002

ビデオ・ゲームおよび仮想現実システムは、カジアルゲーマーへのマーケティング、およびカジュアル・ゲーマーからの結果として生じる関与のために一層人気が高まっている。典型的な実施態様では、コンピュータ・システムが、ユーザへの視覚またはグラフカル環境をディスプレイデバイスに表示する。ユーザは、インタフェース・デバイスからのコマンドまたはデータを入力することによって、表示された環境と対話することができる。コンピュータは、ジョイスティックハンドルなどの移動型マニピュランダムユーザ操作応答して環境を更新し、ディスプレイ画面を使用してユーザに視覚フィードバックを与える。

0003

従来のビデオ・ゲーム・デバイスまたはコントローラは視覚および聴覚キューを使用して、ユーザにフィードバックを与える。いくつかのインタフェース・デバイスでは、運動感覚フィードバック(能動的および抵抗性触覚フィードバックなど)および/または触感フィードバック振動質感、および熱など)が、さらに、ユーザに与えられ、より一般的には、まとめて、「触覚フィードバック」または「触覚効果」として知られている。触覚フィードバックは、ユーザ・インターフェース強化簡単化するキューを与えることができる。例えば、振動効果または振動触感触覚効果は、電子デバイスのユーザにキューを与えて特定のイベントについてユーザに警報を出すときに有用であり、または現実的なフィードバックを与えて、シミュレートされたまたは仮想の環境内により大きい知覚没入を作り出すことができる。ゲーミング・デバイスおよび他のデバイスのための従来の触覚フィードバック・システムは、一般に、コントローラ/周辺機器ハウジングに取り付けられた、触覚フィードバックを生成するためのアクチュエータを含む。より詳細には、インタフェース・デバイスのモータまたは他のアクチュエータがコントローラ内に収納され、制御用コンピュータ・システムに接続される。コンピュータ・システムはインタフェース・デバイスからセンサ信号受け取り、適切な触覚フィードバック制御信号をアクチュエータに送る。その後、アクチュエータは、触覚フィードバックをコントローラに与える。このようにして、コンピュータ・システムは、他の視覚および聴覚フィードバックとともにユーザに身体的感覚を伝えることができる。

0004

より没入できより楽しい経験をユーザに与えるために以前には利用可能でなかった変種の触覚効果を与える触覚フィードバック・システムへの要求がある。

課題を解決するための手段

0005

本発明の実施形態は、プロセッサと、触覚出力デバイスをもつ触覚周辺機器とを含むシステムに関する。プロセッサは、触覚効果の制御パラメータを含むファイルを受け取り、触覚効果の制御パラメータを含む制御信号を出力するように構成される。ファイルは、オーディオ・ファイル、またはオーディオ・ファイルから生成された触覚ファイルである。触覚出力デバイスは、プロセッサからの制御信号を受け取り、触覚効果を触覚周辺機器に出力するように構成される。

0006

本発明の実施形態は、さらに、プロセッサと、触覚出力デバイスをもつ触覚周辺機器とを含むシステムに関する。プロセッサは、第1の触覚効果を生成するための第1の組の制御パラメータを有する第1のチャネルと、第2の触覚効果を生成するための第2の組の制御パラメータを有する第2のチャネルとを含むファイルを受け取り、触覚効果の第1および第2の組の制御パラメータを含む制御信号を出力するように構成される。ファイルは、オーディオ・ファイル、またはオーディオ・ファイルから生成された触覚ファイルである。触覚出力デバイスは、プロセッサからの制御信号を受け取り、触覚効果を触覚周辺機器に出力するように構成される。

0007

本発明の実施形態は、さらに、触覚効果を触覚周辺機器に与える方法に関する。この方法は、オーディオ・ファイルを生成し、オーディオ・ファイルをプロセッサに送るステップを含む。オーディオ・ファイルは、第1の触覚効果を生成するための第1の組の制御パラメータを有する第1のチャネルと、第2の触覚効果を生成するための第2の組の制御パラメータを有する第2のチャネルとを含む。プロセッサは、オーディオ・ファイルを受け取り、触覚効果の第1および第2の組の制御パラメータを含む制御信号を出力するように構成され、制御信号は、触覚効果を触覚周辺機器に出力するように構成された触覚周辺機器の触覚出力デバイスによって受け取られるように構成される。

図面の簡単な説明

0008

本発明の実施形態による、触覚フィードバックを触覚周辺機器に与えるためのシステムのブロック図である。
図1のシステムの概略図であり、触覚周辺機器は触覚ジョイスティックである。
本発明の実施形態による触覚周辺機器の斜視図であり、触覚周辺機器は手持ち式ゲーミング・コントローラである。
本発明の実施形態による触覚周辺機器の斜視図であり、触覚周辺機器は手持ち式ゲーミング・コントローラである。
図3および4のゲーミング・コントローラのブロック図である。
本発明の実施形態による、触覚フィードバックを触覚周辺機器に与えるためのシステムの斜視図であり、触覚周辺機器は、タブレット・コンピュータとともに使用することができるゲーミング・タブレット・コントローラである。
図6のシステムのブロック図である。
本発明の実施形態による、触覚効果を触覚周辺機器に与えるためのシステムのブロック図であり、オーディオ・ファイルは、第1の触覚効果を生成するための第1の組の制御パラメータを有する第1のチャネルと、第2の触覚効果を生成するための第2の組の制御パラメータを有する第2のチャネルとを含む。
図8のオーディオ・ファイルを生成するためのオーディオ・エディタプログラムの例示的なスクリーンショットを示す図である。
図3の触覚周辺機器のトリガの側面図であり、トリガは、単なる例証のために触覚周辺機器から取り出されており、トリガは図8の第1の触覚効果を出力することが示される。
図3の触覚周辺機器のトリガの側面図であり、トリガは、単なる例証のために触覚周辺機器から取り出されており、トリガは図8の第2の触覚効果を出力することが示される。
本発明の実施形態による、触覚効果を触覚周辺機器の多数の触覚出力デバイスに与えるためのシステムのブロック図であり、各オーディオ・ファイルは、それぞれの触覚出力デバイスごとに触覚効果を生成するための1組の制御パラメータを有する少なくとも1つのチャネルを含む。
触覚出力デバイスごとに触覚効果を生成するためのプログラム化制御パラメータを有する触覚周辺機器のための触覚プレビュー・ツールの例示的なスクリーン・ショットを示す図であり、制御パラメータは、それぞれの触覚出力デバイスごとにオーディオ・ファイルを介して生成されている。
触覚効果の1組の制御パラメータをもつオーディオ・ファイルを生成するためのカスタムパニング環境を示す図である。
本発明の実施形態による、ホスト・コンピュータからの触覚信号を決定し送出する方法を示す流れ図であり、与えられる触覚効果は、本明細書で説明するように、1つまたは複数のオーディオ・ファイルの使用を介してプログラムされるかまたは生成される。

実施例

0009

本発明の前述のおよび他の特徴および利点は、添付図面に示されるような本発明の実施形態の以下の説明から明らかになる。本明細書に組み込まれ、本明細書の一部を形成する添付図面は、本発明の原理を説明し、当業者が本発明を実施し使用することを可能にするのにさらに役立つ。図面は正しい縮尺ではない。

0010

本発明の実施形態は、プロセッサと、触覚出力デバイスをもつ触覚周辺機器とを含むシステムに関する。図に関してより詳細に本明細書で説明する本発明の実施形態によれば、触覚効果の制御パラメータを含むオーディオ・トラックまたはファイルが生成される。プロセッサは、オーディオ・ファイル、またはオーディオ・ファイルから生成された触覚ファイルを受け取り、触覚効果の制御パラメータを含む制御信号を出力するように構成される。触覚出力デバイスは、プロセッサからの制御信号を受け取り、触覚効果を触覚周辺機器に出力するように構成される。

0011

触覚効果の制御パラメータを含むオーディオ・ファイルは、図1〜7に示すような、様々なタイプの触覚周辺機器で利用することができる。より詳細には、図1は、本発明の実施形態による、触覚フィードバックを触覚周辺機器102に与えるためのシステム100のブロック図であり、図2は、図1のシステムの概略図である。図1〜2の実施形態において、触覚周辺機器102は、単一のマニピュランダム122のみをもつ触覚ジョイスティックである。しかしながら、触覚ジョイスティックは単に触覚周辺機器の例示的な実施形態であり、他の構成、形状、およびサイズをもつ触覚周辺機器を使用することができることを当業者は認識されよう。例えば、本明細書でより詳細に説明するように、触覚周辺機器は、ビデオ・ゲーム・コンソール・システムで現在利用可能な多くの「ゲームパッド」と同様の形状およびサイズである図3〜5に示すようなゲーミング・システムのための手持ち式ゲーミング・コントローラ302、図6〜7に示すようなタブレット・コンピュータ604とともに使用することができる触覚周辺機器602、または、限定はしないが、タッチ・スクリーン、タッチ面電話携帯情報端末(PDA)、タブレット、コンピュータ、ゲーミング周辺機器、および当業者に知られている仮想現実システムのための他のコントローラなどのユーザ入力(UI)要素を有する他のコントローラとすることができる。

0012

図1〜2の実施形態を参照すると、触覚周辺機器102は、ユーザへの仮想環境をディスプレイ106上に生成するように構成されたホスト・コンピュータまたはコンピュータ・システム104と連通する。ホスト・コンピュータ104は、ビデオ・ゲーム・コンソール、またはモバイル・デバイス、またはユーザへの仮想環境をディスプレイ上に生成するように構成されたプロセッサを含む任意の他のタイプのコンピュータ・システムを含むことができる。図1のブロック図に示すように、ホスト・コンピュータ104は、ホスト・プロセッサ108、メモリ110、およびディスプレイ106を含む。メモリ110に格納され、ホスト・プロセッサ108によって実行されるソフトウェアアプリケーションをホスト・コンピュータ104は実行する。ホスト・プロセッサ108は、任意のタイプの汎用プロセッサとすることができ、または触覚効果信号を供給するように特別に設計されたプロセッサとすることができる。ホスト・プロセッサ108は、ホスト・コンピュータ104全体を操作する同じプロセッサとすることができ、または別個のプロセッサとすることができる。ホスト・プロセッサ108は、どの触覚効果を触覚周辺機器102に送るべきか、およびどの順序で触覚効果を送るべきかを決めることができる。メモリ110は、限定はしないが、ランダムアクセス・メモリ(RAM)または読み取り専用メモリ(ROM)などの任意のタイプの記憶デバイスまたはコンピュータ可読媒体とすることができる。メモリ110は、さらに、ホスト・プロセッサの内部に配置されるか、または内部および外部メモリの任意の組合せとすることができる。

0013

ホスト・コンピュータ104は、有線または無線手段を介してディスプレイ106に結合される。ディスプレイ106は、ユーザにグラフィカル情報を与える任意のタイプの媒体とすることができ、これは、限定はしないが、モニタテレビジョン画面プラズマ、LCD、プロジェクタ、または他のディスプレイ・デバイスを含む。一実施形態では、ホスト・コンピュータ104はゲーミング・デバイス・コンソールであり、ディスプレイ106は、当技術分野で知られているような、ゲーミング・デバイス・コンソールに結合されるモニタである。別の実施形態では、当業者に知られているように、ホスト・コンピュータ104およびディスプレイ106は単一デバイスに組み合わせることができる。

0014

図1〜2に示した実施形態では、ホスト・コンピュータ104は、有線またはUSB接続103によって触覚周辺機器102と連通する。しかしながら、他の実施形態では、触覚周辺機器102は、当業者に知られている他の有線通信または無線通信手段を使用してホスト・コンピュータ104と通信することができる。これは、限定はしないが、シリアルまたはBluetooth接続を含むことができる。

0015

図2に最もよく示されるように、触覚周辺機器102は、ハウジングまたは基部120と、1つまたは複数の自由度で移動できるマニピュランダムまたはユーザ入力デバイス122とを含む。マニピュランダム122はハウジング120から延びる。図2はジョイスティックを触覚周辺機器のマニピュランダムとして示しているが、本開示はジョイスティック・マニピュランダムに限定されず、全体的にまたは部分的に1つまたは複数の自由度で移動可能な任意のデバイスをさらに含むことを当業者は理解されよう。ジョイスティックは単なるコントローラのマニピュランダムの例示的な実施形態であり、トリガ、ボタン、または他のユーザ入力要素などの他の構成をもつマニピュランダムを、本明細書でより詳細に説明するように、使用することができることを当業者は認識されよう。

0016

図1をさらに参照すると、触覚周辺機器102は、ローカル・プロセッサ112、ローカル・メモリ114、マニピュランダム・センサ123、および少なくとも1つのアクチュエータまたは触覚出力デバイス118を含む。代替として、触覚周辺機器102はローカル・プロセッサ112を含まないように構成することができ、それによって、触覚周辺機器102からのすべての入力/出力信号は、ホスト・コンピュータ104によって直接扱われ処理される。本明細書でより詳細に説明するように、ローカル・プロセッサ112は触覚出力デバイス118に結合されて、ホスト・コンピュータ104からの高水準監視またはストリーミング・コマンドに基づいて触覚効果を触覚出力デバイス118に与える。ホスト・プロセッサ108と同様に、ローカル・プロセッサ112は、どの触覚効果を送るべきか、およびどの順序で触覚効果を送るべきかを決めることもできる。加えて、触覚周辺機器102が1つを超える触覚出力デバイスを含む場合、ローカル・プロセッサ112はどの触覚出力デバイスが触覚効果信号を受け取ることになるかを決めることができる。加えて、ホスト・コンピュータ104のメモリ110と同様に、ローカル・メモリ114は、限定はしないが、ランダム・アクセス・メモリ(RAM)または読み取り専用メモリ(ROM)などの任意のタイプの記憶デバイスまたはコンピュータ可読媒体とすることができる。ローカル・メモリ114は、さらに、ローカル・プロセッサの内部に配置されるか、または内部および外部のメモリの任意の組合せとすることができる。

0017

上述のように、触覚周辺機器102のマニピュランダム122は、1つまたは複数の自由度内で物理的に移動することができる。例えば、ユーザは、マニピュランダム122を、前に、後に、左に、または右に移動させることができる。ユーザがマニピュランダム122を移動させると、マニピュランダム・センサ123は、マニピュランダムの移動および/または位置を検出し、センサ信号をローカル・プロセッサ112に送出する。次に、ローカル・プロセッサ112は、センサ信号をホスト・コンピュータ104に通信するかまたは送出する。受け取ったセンサ信号に基づいて、ホスト・コンピュータ104は、ビデオ・ゲーム内アクションを実行し、仮想環境を更新する。別の言い方をすれば、触覚周辺機器102のマニピュランダム122の移動はユーザからの入力を表し、その入力により、ユーザは、限定はしないが、一人称射手に関連するビデオ・ゲーム、三人称キャラクタインタラクション車両関連ゲーム、またはコンピュータ・シミュレーションを含む、ホスト・コンピュータ104で作動しているソフトウェア・アプリケーションと対話することができるようになる。マニピュランダム122の移動は、カーソルもしくは他の画像などのコンピュータ生成グラフィカル物体、またはディスプレイ106を介してホスト・コンピュータ104によって表示される何か他のグラフィカル物体の移動に対応する入力、あるいは人、車両、またはゲームもしくコンピュータ・シミュレーションで見いだすことができる何か他のエンティティなどの仮想キャラクタまたはゲーミング・アバターを制御するための入力をホスト・コンピュータ104に供給することができる。

0018

マニピュランダム・センサ123からのセンサ信号を受け取ることに加えて、ローカル・プロセッサ112は、さらに、触覚出力デバイス118から出力されるべき触覚効果に関連するホスト・コンピュータ104からの高水準監視またはストリーミング・コマンドを受け取る。次に、ローカル・プロセッサ112は、ホスト・コンピュータ104からの高水準監視またはストリーミング・コマンドに基づいて触覚出力デバイス118に制御または駆動信号を供給する。例えば、作動時に、電圧の大きさおよび期間がホスト・コンピュータ104から触覚周辺機器102に流され、情報はローカル・プロセッサ112を介して触覚出力デバイス118に供給される。ホスト・コンピュータ104は、触覚出力デバイス118によって出力されるべき触覚効果のタイプなど(例えば振動、急激な揺れデテントポップなど)の高水準コマンドをローカル・プロセッサ112に供給することができ、それによって、ローカル・プロセッサ112は、出力されるべき触覚効果の特定の特性(例えば、大きさ、周波数、期間など)に応じて触覚出力デバイス118に命令する。ローカル・プロセッサ112は、それに結合されたローカル・メモリ114から触覚効果のタイプ、大きさ、周波数、期間、または他の特性を引き出すことができる。ホスト・コンピュータ104から受け取ったゲーム・アクションおよび制御信号に応じて、ローカル・プロセッサ112は制御または駆動信号を触覚出力デバイス118に送って、振動、デテント、質感、急激な揺れ、またはポップを含む多種多様な触覚効果または感覚のうちの1つを出力することができる。

0019

触覚出力デバイス118は、仮想現実システムの当業者に知られているような慣性または運動感覚アクチュエータとすることができる。あり得る触覚出力デバイスには、限定はしないが、偏心質量がモータによって移動される偏心回転質量(「ERM」)アクチュエータ、ばねに取り付けられた質量が前後に駆動される線形共振アクチュエータ(「LRA」)、圧電アクチュエータ、偏心質量がモータによって移動される電磁モータ、振動触感アクチュエータ、慣性アクチュエータ、形状記憶合金、信号に応答して変形す電気活性ポリマー剛性静電摩擦ESF)、超音波表面摩擦(USF)を変化させるための機構、または他の好適なタイプの作動デバイスが含まれる。あり得る触覚出力デバイスには、前掲した複数のタイプのアクチュエータの組み合わせも含まれる。別の実施形態では、触覚出力デバイスは、例えば、マニピュランダム122および/またはハウジング120の剛性/減衰を変化させるソレノイド、マニピュランダム122および/またはハウジング120のサイズを変化させる小さいエアバッグ、または形状変化材料を含む運動触覚フィードバックを使用することができる。

0020

前に述べたように、触覚周辺機器102は単に触覚周辺機器の例示的な実施形態であり、他の構成、形状、およびサイズをもつ触覚周辺機器を使用することができる。例えば、図3〜5は、本発明の実施形態で利用することができる触覚周辺機器302の別の実施形態を示す。図3および4は、触覚周辺機器302の異なる斜視図であり、触覚周辺機器は手持ち式ゲーミング・コントローラであり、一方、図5は、ホスト・コンピュータ104およびディスプレイ106をさらに含むゲーミング・システム300で使用される触覚周辺機器302のブロック図を示す。触覚周辺機器302のハウジング324は、左利きのユーザによってもまたは右利きのユーザによっても、デバイスを把持する2つの手を容易に収容するように整形される。触覚周辺機器302は、単に、ビデオ・ゲーム・コンソール・システムで現在利用可能な多くの「ゲームパッド」と同様の形状およびサイズのコントローラの例示的な実施形態であり、限定はしないが、Wii(商標リモートまたはWii(商標)Uコントローラ、Sony(登録商標)SixAxis(商標)コントローラまたはSony(登録商標)Wandコントローラ、Xbox(商標)コントローラまたは類似のコントローラなどのコントローラならびに実在の物体(テニスラケットゴルフクラブ野球用バットなどのような)および他の形状のように整形されたコントローラを含む、他のユーザ入力要素の構成、形状、およびサイズをもつコントローラを使用することができることを当業者は認識されよう。

0021

触覚周辺機器302は、ジョイスティック322、ボタン330、およびトリガ332を含むいくつかのユーザ入力要素またはマニピュランダムを含む。本明細書で使用するユーザ入力要素は、ホスト・コンピュータ104と対話するためにユーザによって操作されるトリガ、ボタン、ジョイスティックなどのようなインタフェース・デバイスを指す。図3〜4で見て分かるように、および当業者に知られているように、各ユーザ入力要素および追加のユーザ入力要素について1つを超えるものが触覚周辺機器302に含まれ得る。したがって、トリガ332の本説明は、例えば、触覚周辺機器302を単一のトリガに限定しない。さらに、図5のブロック図は、ジョイスティック322、ボタン330、およびトリガ332の各々について1つのみを示している。しかしながら、多数のジョイスティック、ボタン、およびトリガ、ならびに他のユーザ入力要素を上述のように使用することができることを当業者は理解されよう。

0022

図5のブロック図で見て分かるように、触覚周辺機器302は、そのユーザ入力要素の各々を直接駆動するためのターゲット・アクチュエータまたは触覚出力デバイス、ならびにユーザの手が一般に置かれる場所でハウジング324に結合される1つまたは複数の全体またはランブル触覚出力デバイス326、328を含む。より詳細には、ジョイスティック322は、それに結合されたターゲット・アクチュエータまたは触覚出力デバイス318Aを含み、ボタン330は、それに結合されたターゲット・アクチュエータまたは触覚出力デバイス318Bを含み、トリガ332は、それに結合されたターゲット・アクチュエータまたは触覚出力デバイス318Cを含む。複数のターゲット触覚出力デバイスに加えて、触覚周辺機器302は、そのユーザ入力要素の各々に結合された位置センサを含む。より詳細には、ジョイスティック322は、それに結合された位置センサ323を含み、ボタン330は、それに結合された位置センサ331を含み、トリガ332は、それに結合された位置センサ333を含む。ローカル・プロセッサ312は、それぞれ、ターゲット触覚出力デバイス318A、318B、318C、ならびにジョイスティック322、ボタン330、およびトリガ332の位置センサ323、331、333に結合される。位置センサ323、331、333から受け取った信号に応答して、ローカル・プロセッサ312は、それぞれ、ジョイスティック322、ボタン330、およびトリガ332に指向性またはターゲット効果を直接与えるようにターゲット触覚出力デバイス318A、318B、318Cに命令する。そのようなターゲット効果は、全体触覚出力デバイス326、328によってコントローラの本体全体に沿って生成される全体またはランブル触覚効果から識別可能または区別可能である。総体的な触覚効果は、多数の感覚の種類、例えば、映像音声、および触覚が同時に関与するとき、ゲームへのより大きい没入感をユーザに与える。触覚周辺機器102およびホスト・コンピュータ104と同様に、触覚周辺機器302は、ディスプレイ106を有するホスト・コンピュータ104に結合され、それと通信する。触覚周辺機器302のローカル・プロセッサ312は各触覚出力デバイスに結合されて、ホスト・コンピュータ104からの高水準監視またはストリーミング・コマンドに基づいて触覚効果を各触覚出力デバイスに与える。触覚周辺機器302の触覚出力デバイスは、触覚周辺機器102の触覚出力デバイス118に対して本明細書で列記した任意のタイプのアクチュエータとすることができる。

0023

図6〜7は、本発明の別の実施形態による触覚周辺機器602を示し、触覚周辺機器602は、タブレット・コンピュータ604とともに使用することができるゲーミング・タブレット・コントローラである。タブレット・コンピュータ604は、ゲーミング・アクティビティのために特別に設計することができ、例えば、Razer Inc.などから入手可能であり、または市場でよく知られており入手可能であるタブレット・コンピュータ、例えば、Apple(登録商標)Ipad(登録商標)、Kindle(登録商標)Fire(登録商標)、およびSamsung(登録商標)Galaxy Tab(登録商標)などとすることができる。触覚周辺機器602は、タブレット・コンピュータ604を受け取るように構成されたドッキング部分640と、ユーザがタブレット・コンピュータ604上のゲームを制御するためにマニピュランダムが上に配設されているハンドル642、644とを含む。ドッキング部分640は触覚周辺機器602をタブレット・コンピュータ604に接続し、その結果、ボタンを押す、ジョイスティックを動かす、トリガを押すなどのハンドル642、644へのユーザによるアクションが、タブレット・コンピュータ604でプレーされているゲームへのアクションをもたらす。

0024

ハンドル642、644は、コントローラ上にある一般的なマニピュランダムまたはユーザ入力要素を含む。マニピュランダムは、ハンドル644に関して説明されることになる。しかしながら、当業者は、同じまたは同様のマニピュランダムをハンドル642上で使用することができることを認識されよう。特に、ハンドル644は、ジョイスティック622、ボタン630、およびトリガ632を含む。図6で見て分かるように、および当業者に知られているように、これらのユーザ入力要素の各々について2つ以上を各ハンドル642、644に含めることができる。さらに、ハンドル642、644は、全体またはランブル触覚出力デバイス326、328に関して上述したように全体またはランブル触覚効果をハンドル642、644に与えるために、ユーザの手が一般に配置される場所でハンドル642、644に取り付けられた全体およびランブル触覚出力デバイス626、628を含む。

0025

図7のブロック図に示すように、触覚周辺機器602は、ドッキング部分640を介してタブレット・コンピュータ604と通信するローカル・プロセッサ612を含む。図7のブロック図は、ジョイスティック622、ボタン630、およびトリガ632の各々について1つのみを示している。しかしながら、多数のジョイスティック、ボタン、およびトリガ、ならびに他のユーザ入力要素を上述のように使用することができることを当業者は理解されよう。ローカル・プロセッサ612は、それぞれ、ターゲット触覚出力デバイス618A、618B、618Cならびにジョイスティック622、ボタン630、およびトリガ632の位置センサ623、631、633に結合される。位置センサ623、631、633から受け取った信号に応答して、ローカル・プロセッサ612は、それぞれ、ジョイスティック622、ボタン630、およびトリガ632に指向性またはターゲット効果を直接与えるようにターゲット触覚出力デバイス618A、618B、618Cに命令する。触覚周辺機器602のローカル・プロセッサ612は各触覚出力デバイスに結合されて、ホスト・コンピュータ604からの高水準監視またはストリーミング・コマンドに基づいて触覚効果を各触覚出力デバイスに与える。触覚周辺機器602の触覚出力デバイスは、触覚周辺機器102の触覚出力デバイス118に対して本明細書で列記した任意のタイプのアクチュエータとすることができる。

0026

どの触覚周辺機器構成または実施形態が利用されるかにかかわらず、システムのホスト・プロセッサおよび/またはローカル・プロセッサは、触覚周辺機器の触覚出力デバイスを介して出力されるべき触覚効果の制御パラメータを含むオーディオ・トラックまたはファイルを受け取るように構成される。別の言い方をすれば、オーディオ・トラックまたはファイルは、システムのホスト・プロセッサおよび/またはローカル・プロセッサに触覚効果を届けるかまたは供給するための手段として利用される。本質的に、1つまたは複数の触覚効果の制御パラメータが、オーディオ・トラックまたはファイル上に符号化され、次に、システムのホスト・プロセッサおよび/またはローカル・プロセッサに供給されるかまたは送出される。一実施形態では、オーディオ・トラックまたはファイルは、1つまたは複数の独立したオーディオ・チャネルを含むことができるオーディオ成分を有するWAVファイルまたは他のファイルとすることができる。例えば、オーディオ・トラックまたはファイルは、1つまたは複数の独立したオーディオ・チャネルを含むMOVファイルなどのビデオ・ファイルとすることができる。オーディオ・トラックまたはファイルは、モノもしくはモノラル式オーディオ・フォーマットステレオもしくはステレオ式オーディオ・フォーマット、またはマルチチャネル・オーディオ・フォーマットを有することができる。図12に関してより詳細に本明細書で説明するように、1つまたは複数の触覚効果の制御パラメータがオーディオ・トラックまたはファイル上に符号化された後、オーディオ・トラックまたはファイルは、システムのホスト・プロセッサおよび/またはローカル・プロセッサに供給されるかまたは送出される前に、HAPTファイルなどの触覚専用ファイルまたはフォーマットに変換することができる。別の言い方をすれば、最初にオーディオ・トラックまたはファイル上に符号化されるが、触覚効果は、その後、本発明の範囲から逸脱することなく、オーディオ成分を含まない触覚ファイル(例えば、HAPTファイルなどの触覚専用フォーマットを有するファイル)に変換することができる。プロセッサ上のソフトウェアは、オーディオ・トラックまたはファイルを復号するか、あるいはオーディオ・トラックまたはファイルから生成された触覚ファイルを復号し、制御パラメータに応じた触覚効果を出力するように触覚周辺機器の触覚出力デバイスに命じる。

0027

とりわけ、触覚効果を与えるためのオーディオ・トラックまたはファイル850の使用が、図8に関してより詳細に説明される。図8は、本発明の実施形態による、触覚効果を触覚周辺機器に与えるためのシステムのブロック図を示す。単なる例証のために、触覚効果を与えるためのオーディオ・トラックまたはファイルの使用が、上述のような触覚周辺機器302およびターゲット触覚出力デバイス318Cを有するトリガ332に関してより詳細に説明される。しかしながら、触覚効果を与えるためのオーディオ・トラックまたはファイルの使用は、触覚周辺機器102、触覚周辺機器602、またはビデオ・ゲーム技術分野で知られているような別の構成を有する触覚周辺機器に同様に適用されうることを当業者は理解されよう。さらに、触覚効果を与えるオーディオ・トラックまたはファイルの使用は、触覚周辺機器の他のユーザ入力要素、例えば、それぞれ、ターゲット触覚出力デバイス318A、318Bを有するジョイスティック322、ボタン330、および/またはランブル触覚出力デバイス326、328を有するハウジング324に同様に適用されうることを当業者は理解されよう。さらに、本発明の別の実施形態では、触覚効果を与えるためのオーディオ・トラックまたはファイルの使用は、触覚周辺機器自体に同様に適用されて、それの動きをもたらすかまたは引き起こすことができる。

0028

この実施形態では、オーディオ・トラックまたはファイル850は、触覚周辺機器302の触覚出力デバイス318Cを介して出力されるべき第1の触覚効果858を生成するための第1の組の制御パラメータを有する第1のチャネル852と、触覚周辺機器302の触覚出力デバイス318Cを介して出力されるべき第2の触覚効果860を生成するための第2の組の制御パラメータを有する第2のチャネル854とを含む。オーディオ・トラックまたはファイル850は、オーディオのミキシング・プロセスによって生成される2つの独立したオーディオ・チャネル(第1のチャネル852および第2のチャネル854)を含むWAVファイルまたは他の音響ファイルである。オーディオ・ミキシングは、多重ソース音響信号が1つまたは複数のチャネルに組み合わされるプロセスである。このプロセスにおいて、ソース信号のレベル周波数内容ダイナミクス、および/またはパノラマ位置を操作することができる。本明細書の実施形態により触覚効果を与えるためにこれに関して利用される場合、ソース信号は、より詳細に本明細書で説明するように、触覚周辺機器の触覚出力デバイスに特定の触覚効果を伝えるために操作される。

0029

図8の実施形態では、オーディオ・トラックまたはファイル850は、2つの独立したオーディオ・チャネル、例えば、第1のチャネル852および第2のチャネル854をもつステレオまたはステレオ式オーディオ・フォーマットを有する。ステレオまたはステレオ式オーディオ・フォーマットは、自然に聞いているように対向する方向から聞こえる音響の印象を作り出すように2つのスピーカ(例えば、左スピーカおよび右スピーカ)を介して出力することができる2つの独立したオーディオ・チャネル(例えば、左チャネルおよび右チャネル)を使用することによって達成される。2つの独立したオーディオ・チャネルにより示されているが、オーディオ・トラックまたはファイル850は、オーディオ・トラックまたはファイルが2つを超える独立したオーディオ・チャネルを含むマルチチャネル・オーディオ・フォーマットを有することができる。さらに、オーディオ・トラックまたはファイル850は、1つの位置から出力することができる単一のオーディオ・チャネルが、多くの場合、音場の中心にある状態のモノまたはモノラル式オーディオ・フォーマットを有することができる。

0030

本発明の一実施形態では、オーディオ・トラックまたはファイル850はソース信号のパニングを介して生成される。別の言い方をすれば、オーディオ・トラックまたはファイル850は、オーディオ・ミキシング・プロセスで利用されるパニング・ツールを介して生成されるかまたはプログラムされる。オーディオ・ミキシング・プロセスにおけるパニングは、音響信号(モノラル式またはステレオ式対)をパン制御設定によって決定される新しいステレオまたはマルチチャネル音場に分配することである。利用することができる例示のパニング・ツールは、限定はしないが、 Pro Tools、Logic Pro、Audition、Audacity、Sony SoundForge、Ableton Live、またはBitwig Studioなどの商用オーディオ・エディティングスイートまたはプログラムで利用可能なパニング機能、ならびに限定はしないがPremiere ProまたはAvidなどの商用ビデオ・エディタで利用可能なパニング機能を含む。

0031

図9は、図8のオーディオ・ファイルを生成するためのオーディオ・エディタ・プログラムの例示的なスクリーン・ショットを示す。より詳細には、図9は、モノラル式ソース信号962のパニングを介して生成されるオーディオ・トラックまたはファイル850のスクリーン・ショット961である。パニング機能964を利用して、モノラル式ソース信号962を2つのチャネル、すなわち、触覚周辺機器302の触覚出力デバイス318Cを介して出力されるべき第1の触覚効果858を生成するための第1の組の制御パラメータを有する第1のチャネル852と、触覚周辺機器302の触覚出力デバイス318Cを介して出力されるべき第2の触覚効果860を生成するための第2の組の制御パラメータを有する第2のチャネル854とに分配するかまたは分割する。パニングに加えて、各チャネルの信号のレベル、周波数内容、ダイナミクス、および/またはパノラマ位置もオーディオ・エディタ・プログラムを介して操作することができる。例えば、オーディオ・エディタ・プログラムのペンシル・ツールを使用して、2つのチャネルを編集することができる。ペンシル・ツールは、ボリュームオートメーション(volume automation)、パニング・オートメーション、および波形操作のために使用することができる。オートメーションにより、ミキシングがずっと正確になり、多くの時間が節約され、一方、波形を作成し直すかまたは操作することにより、プログラマは普通でない効果を作り出し、トラックの欠陥修正することができる。

0032

チャネル852、854が、パニング・ツールを介して生成されるように本明細書では説明されているが、パニング・ツールは、ソース音響信号を分配するかまたは分割するための唯一の実施態様ではない。本発明の別の実施形態では、チャネル852、854は、インターリーブWAVファイルにミックス・ダウンされる多数のモノラル式トラックで構成される。

0033

一実施形態では、第1および第2の触覚効果858、860は、触覚周辺機器302のトリガ332を対向する方向に動かすように構成される。より詳細には、図10Aおよび10Bに示したトリガ332の側面図を参照すると、トリガ332は、ターゲット触覚出力デバイス318Cを介して内側におよび外側に動くことができる双方向トリガである。図10Aおよび10Bは触覚周辺機器302のトリガ332の側面図であり、トリガは単なる例証のために触覚周辺機器から取り出されており、図10Aは、トリガ332が第1の触覚効果858を出力していることを示し、図10Bは、トリガ332が第2の触覚効果860を出力していることを示す。第1のチャネル852(図8を参照)からの第1の組の制御パラメータは、方向矢印966によって示すように第1のまたは内側の方向にトリガ332を動かし、第2のチャネル854(図8を参照)からの第1の組の制御パラメータは、方向矢印968によって示すように第2のまたは外側の方向にトリガ332を動かす。別の言い方をすれば、トリガ332に適用されると、オーディオ・トラックまたはファイル850の第2のチャネル854からの第2の触覚効果860は、トリガを外側に押すかまたは動かし、それは抵抗を引き起こし、一方、オーディオ・トラックまたはファイル850の第1のチャネル852からの第1の触覚効果858は、トリガを内側に引くかまたは動かし、それは抵抗の消失を引き起こす。人の指はトリガを内側に動かすことしかできないので、トリガを外側に押すかまたは動かすことにより、抵抗が引き起こされ、一方、トリガを内側に引くかまたは動かすことにより、デテントを伝えるのに有用である抵抗の消失が引き起こされる。各組の制御パラメータまたは触覚効果は、異なる感じをユーザにもたらすことになる。例えば、第1の触覚効果858は、抵抗の消失の感じの作り出すための内側にまたは下方に引く運動を強調するために十分に機能し、その一方で、第2の触覚効果860は、抵抗の感じを作り出すための前方にまたは上方に押す運動のために十分に機能する。押しまたは引き効果の使用は、コンテキストアニメーション、および触覚出力デバイスの強度に大きく依存する。強力な触覚出力デバイスは、アニメーション全体にわたって押し効果をもつ押しアニメーション(pushing animation)を一種間接的な現実感として模倣することができ、その一方で、比較的弱い触覚出力デバイスは、代りに、押しアニメーションの最終でユーザの脳をだますために短い引きを使用することになる。別の例では、トリガ332を外側に押すこととトリガ332を内側に引くこととの間を30ミリ秒ごとに変化させることを利用して、射撃効果を作り出すかまたはシミュレートすることができる。

0034

別の実施形態では、第1および第2の触覚効果858、860は、異なる時間でのおよび/または異なる感知状況または状態に応じた、トリガ332に出力されるべき異なるタイムラインの触覚効果である。第1のチャネル852(図8を参照)からの第1の組の制御パラメータは、トリガ332に適用されるべき第1のタイムラインまたはシーケンスの触覚効果であり、第2のチャネル854(図8を参照)からの第2の組の制御パラメータは、トリガ332に適用されるべき第2のタイムラインまたはシーケンスの触覚効果である。例えば、一実施形態では、トリガ332に適用されるべき第1のタイムラインまたはシーケンスの触覚効果はトリガ332の振動を含むことができ、一方、トリガ332に適用されるべき第2のタイムラインまたはシーケンスの触覚効果はトリガ332のデテントを含むことができる。振動効果をトリガ332に伝えるかまたは指示するために、チャネル852のソース信号は、10ミリ秒などの所定の周期を有する周期信号を含むように操作することができる。ターゲット触覚出力デバイス318Cを介して触覚周辺機器302のトリガ332に適用されると、10ミリ秒周期(10ミリ秒のオン、10ミリ秒の途切れ、それの繰り返し)がトリガの振動をもたらす。デテント効果をトリガ332に伝えるかまたは指示するのに、チャネル854のソース信号は、図10Aに関して上述したように抵抗の消失を作り出すかまたは引き起こすために、トリガ332が内側におよび/または下向きに引かれるかまたは動かされる一時的効果を含むように操作することができる。デテントは、信号の短く強力なパルスを使用して作り出される。別のテクスチャまたは効果が同時にプレーされている場合、信号は、プレーされている主要効果の逆方向に与えられる必要があることになる。代替として、他の効果を弱めることができ(他の効果の全体において、またはデテント効果の両側の少なくとも30ミリ秒において)、短パルスの押し信号(push signal)を送ることができる(通常、5〜30msの範囲)。触覚出力デバイス318Cによって出力される触覚効果は、限定はしないが、さまざまな程度の振動、さまざまな程度のデテント、または他のタイプの触覚効果を含むことができる。したがって、オーディオ・トラックまたはファイル850を生成するかまたはプログラムするとき、商用オーディオ・エディティング・プログラムの多用性を使用して、多数のタイムラインをもつ触覚効果を生成することができる。制御パラメータは、オーディオ・エディティング・プログラム内のパニングまたは他のツールを介して第1および第2のチャネル852、854にマップされ、各チャネルの制御パラメータは、トリガ332に適用されるべき触覚効果のタイプ、量、および周波数を指示する。

0035

オーディオ・トラックまたはファイル850が、所望に応じて、生成されたかまたはプログラムされた後、オーディオ・トラックまたはファイル850は、ホスト・コンピュータ104のホスト・プロセッサ108および/または触覚周辺機器302のローカル・プロセッサ312に送られるかまたはさもなければ送出される。生成されたかまたはプログラムされたオーディオ・トラックまたはファイル850は、任意のタイプの記憶デバイスまたはコンピュータ可読媒体上にセーブされる。ゲーム・アプリケーションなどのアプリケーションによって、オーディオ・トラックまたはファイル850は、記憶デバイスまたはコンピュータ可読媒体からロードされ、触覚周辺機器に送出される。さらに、図12に関して説明するように、ホスト・コンピュータ104のホスト・プロセッサ108および/または触覚周辺機器302のローカル・プロセッサ312に送出する前に、触覚プレビュー・ツールを利用して、オーディオ・トラックまたはファイル850からの触覚効果を視覚化するおよび/または変更することができる。ホスト・コンピュータ304のホスト・プロセッサ308および/または触覚周辺機器302のローカル・プロセッサ312は、オーディオ・トラックまたはファイル850を受け取る(または図12に関して説明するようにオーディオ・トラックまたはファイル850から変換された触覚専用ファイルを受け取る)ように構成され、オーディオ・トラックまたはファイル850からの第1および第2の組の制御パラメータ(または図12に関して説明するようにオーディオ・トラックまたはファイル850から変換された触覚専用ファイルからの制御パラメータ)を復号するように構成されたソフトウェアを含む。次に、トリガ332のターゲット触覚出力デバイス318Cの触覚効果は、ホスト・コンピュータ304のホスト・プロセッサ308および/または触覚周辺機器302のローカル・プロセッサ312上にプログラムされると考えることができる。これらの触覚効果は、状態の変化および触覚効果の事前定義マッピングを形成することができる。例えば、事前定義マッピング・システムは、特定のタイムラインまたはシーケンスのプログラム化触覚効果が、検出された状態に応じてプレーされることを指示することができる。検出された状態が関連触覚効果を有すると決定された場合、ホスト・プロセッサ108および/またはローカル・プロセッサ312は、関連触覚効果の第1および/または第2の組の制御パラメータを含む関連制御信号を出力する。

0036

ホスト・コンピュータ304のホスト・プロセッサ308および/または触覚周辺機器302のローカル・プロセッサ312は、触覚効果の制御パラメータを含むターゲット触覚出力デバイス318Cへの制御または駆動信号を出力するように構成される。例えば、動作時に、電圧の大きさおよび継続時間がホストまたはローカル・プロセッサから流され、情報がターゲット触覚出力デバイス318Cに供給される。制御または駆動信号は、出力されるべき触覚効果の特定の特性(例えば、大きさ、周波数、継続時間など)に関してターゲット触覚出力デバイス318Cに命令する。トリガ332のターゲット触覚出力デバイス318Cは、ホスト・プロセッサ108および/またはローカル・プロセッサ312から制御信号を受け取り、触覚効果を触覚周辺機器に出力するように構成される。実例として、ユーザがキャラクタまたは何か他のグラフィカル物体を制御しており、そのとき、仮想環境で爆発に出会う場合、関連触覚効果は振動とすることができる。この場合、ホスト・プロセッサ108および/またはローカル・プロセッサ312はターゲット触覚出力デバイス318Cに制御信号を送って、適切な触覚効果、この例では特定の強度をもつ振動を与える。

0037

トリガ332のための触覚効果を用意するかまたはプログラムするためにオーディオ・ファイル850を使用すると、触覚効果を触覚周辺機器に与えるためのツール・チェーンおよびワークフローが保護される。より詳細には、触覚出力デバイスごとに時間がかかる触覚効果のカスタム・オーサリングを行うのではなく、オーディオ・ファイル850を使用すると、オーディオ・ファイルを生成するオーディオ・エディタ・プログラムが触覚効果の視覚化を行うので、トリガ332のための触覚効果を作り出すこと、ならびにオーディオ・エディタ・プログラムのためのプラグイン・ツールまたはアプリを作り出すプロセスの両方が簡単になる。加えて、オーディオ・ファイル850を使用すると、複雑なまたは多様な触覚効果を迅速に生成するために多数のタイムラインを融通できるようになる。

0038

図11は、触覚効果を触覚周辺機器302の多数の触覚出力デバイスに与えるためのシステムのブロック図を示す。触覚効果は、空間的触覚効果を与えるための触覚出力デバイスごとの別個のオーディオ・ファイルから構成することができ、異なる触覚効果が別個のまたは異なる触覚出力デバイスを介して出力される。単なる例証のために、触覚効果を与えるオーディオ・トラックまたはファイルの使用が、上述のような触覚周辺機器302およびターゲット触覚出力デバイス318A、318B、318Cを有するジョイスティック322、ボタン330、トリガ332に関してより詳細に説明される。しかしながら、触覚効果を与えるオーディオ・トラックまたはファイルの使用は、触覚周辺機器102、触覚周辺機器602、またはビデオ・ゲーム技術分野で知られているような別の構成を有する触覚周辺機器に同様に適用されうることを当業者は理解されよう。

0039

より詳細には、複数のオーディオ・ファイル11501、11502、11503、11504は、各々それぞれの触覚出力デバイス318A、318B、318C、326/328を介してそれぞれの触覚効果11561、11562、11563、11564を生成するための1組の制御パラメータを有する少なくとも1つのチャネル(図11には図示せず)を含む。別の言い方をすれば、オーディオ・ファイル11501は、触覚周辺機器302のターゲット触覚出力デバイス318Aを介してジョイスティック322に出力されるべき触覚効果11561を生成するための1組の制御パラメータを有する少なくとも1つのチャネルを含む。同様に、オーディオ・ファイル11502は、触覚周辺機器302のターゲット触覚出力デバイス318Bを介してボタン330に出力されるべき触覚効果11562を生成するための1組の制御パラメータを有する少なくとも1つのチャネルを含む。同様に、オーディオ・ファイル11503は、触覚周辺機器302のターゲット触覚出力デバイス318Cを介してトリガ332に出力されるべき触覚効果11563を生成するための1組の制御パラメータを有する少なくとも1つのチャネルを含む。同様に、オーディオ・ファイル11504は、触覚周辺機器302のランブル触覚出力デバイス326、328の一方を介してハウジング324に出力されるべき触覚効果11564を生成するための1組の制御パラメータを有する少なくとも1つのチャネルを含む。オーディオ・ファイル850に関して上述したように、各オーディオ・ファイル11501、11502、11503、11504は1つを超えるチャネルを含むことができる。例えば、各オーディオ・ファイル11501、11502、11503、11504は、オーディオ・ミキシング・プロセスによって生成される2つの独立したオーディオ・チャネルを含むことができる。

0040

本発明の一実施形態では、オーディオ・ファイル11501、11502、11503、11504のうちの2つ以上が、ソース信号のパニングを介して生成されうる。別の言い方をすれば、オーディオ・ファイル11501、11502、11503、11504のうち2つ以上が、オーディオ・ミキシング・プロセスに利用されるパニング・ツールを介して生成されるかまたはプログラムされる。例えば、パニング・ツールを適用して、多数の触覚出力デバイスを有するデバイスのために拡大するようにマルチチャネル・オーディオ・フォーマットを迅速に作り出することができる。モノラル式ソース信号は、2つ以上のトラックに迅速に分割するかまたは分配することができ、各トラックは、触覚出力デバイスのうちの1つを介して出力されるべき触覚効果を生成するための1組の制御パラメータを含む。加えてまたは代替として、オーディオ・ファイル11501、11502、11503、11504のうちの2つ以上は、オーディオ・ミキシング・プロセスで利用されるペンシル・ツールを介して生成されるかまたはプログラムされる。ペンシル・ツールを使用して、パニング、波形、周波数、ボリューム/強度などに関連して速い形状(quick shape)を生成することになる。ペンシル・ツールを使用して、同じ周期および強度で生じる規則的なテクスチャ、または同じ周期であるがランダムな強度またはボリュームで生じるランダム化テクスチャを生成することもできる。

0041

本発明の一実施形態では、ホスト・コンピュータ304のホスト・プロセッサ308および/または触覚周辺機器302のローカル・プロセッサ312は、オーディオ・ファイル(例えば、オーディオ・ファイル850またはオーディオ・ファイル11501、11502、11503、11504)を直接受け取るように構成され、オーディオ・ファイルの制御パラメータを復号するように構成される。本発明の別の実施形態では、触覚効果がホスト・コンピュータ304のホスト・プロセッサ308および/または触覚周辺機器302のローカル・プロセッサ312に送出される前に、触覚効果視覚化および/または変更のために触覚プレビュー・ツールを利用することができる。例えば、図12は、オーディオ・ファイル(例えば、オーディオ・ファイル850またはオーディオ・ファイル11501、11502、11503、11504)からの触覚効果の制御パラメータをプレビューおよび/または変更するための触覚プレビュー・ツールの例示のスクリーン・ショット1270を示す。別の言い方をすれば、触覚効果の制御パラメータは、それぞれの触覚出力デバイスごとにオーディオ・ファイルを介して生成された。スクリーン・ショット1270は、新規ボタン1272、インポート・ボタン1274、およびエクスポート・ボタン1276を含む。新規ボタン1272は、空き効果テンプレートを開き、ユーザが、1つまたは複数のオーディオ・ファイルを異なるトラックに配置し、それらを組み合わせることによって、1つまたは複数のオーディオ・ファイルから新しい効果を作り出すようにさせる。インポート・ボタン1274は、ユーザが利用可能な触覚出力デバイス(例えば、この実施形態では、利用可能な触覚出力デバイスは、左トリガ、右トリガ、右ランブル、および左ランブルを含む)の各々に対して1つまたは複数のオーディオ・ファイルをインポートできるようにするウインドウを開く。ユーザは、出力ディレクトリならびに名前を指定できることになる。エクスポート・ボタン1276は、1つまたは複数のオーディオ・ファイル(例えば、オーディオ・ファイル850またはオーディオ・ファイル11501、11502、11503、11504)からの制御パラメータを、触覚周辺機器で再生するための所定の触覚ファイル・フォーマットに変換する。このように、エクスポート・ボタン1276が利用された後、触覚効果は、もはやオーディオ・ファイルまたはフォーマット(例えば、WAVファイル)に符号化されず、むしろ、触覚効果は、オーディオ成分を含まないHAPTファイルなどの触覚専用ファイルまたはフォーマットに変換される。

0042

スクリーン・ショット1270を生成する触覚プレビュー・ツールは、触覚効果視覚化を行い、その結果、最終効果がホスト・コンピュータ304のホスト・プロセッサ308および/または触覚周辺機器302のローカル・プロセッサ312への送出を介してビデオ・ゲームに統合される前に、ユーザが触覚効果のライブラリを感じて変更することが可能になる。より詳細には、触覚プレビュー・ツールが開けられると、触覚プレビュー・ツールは、触覚出力デバイスの各々に対して別個のトラックを表示する。各トラックは、オーディオ・ファイルによって以前に生成されたか、またはオーディオ・ファイルに符号化されたプログラム化触覚効果または制御パラメータの視覚表示である。視覚化により、ユーザは、プログラム化触覚効果がどのように構成されているか、およびプログラム化触覚効果がどのように異なる触覚出力デバイスにわたってプレーするかを直観的に理解する。例えば、図12は、ターゲット触覚出力デバイス318Cを介した右トリガ332のための第1および第2のプログラム化触覚効果858、860と、右ランブル触覚出力デバイス326を介したハウジング324のためのプログラム化触覚効果1278とを示す。第1および第2のプログラム化触覚効果858、860(すなわち、図10Aおよび10Bに関して上述した「押し」および「引き」効果)が、異なる色で表示される。

0043

トラックが、プレーまたはスタート・ボタン1280を介してプレーされると、プログレス・バー1282がプレーするかまたは充満し、トラックそれ自体も色で充満する。個別のトラックまたは触覚出力デバイスは、各トラックの「M」ボタンを介して弱められうる。これは非常に有用であり、その理由は、それが、ある触覚出力デバイスのみの選択的再生を可能にするからである。例えば、ランブル効果がプレーしている場合、かすかトリガ効果を意識的に識別するのは困難なことがある。ランブル・トラックを弱めると、ユーザはトリガ効果のみを経験する。

0044

スクリーン・ショット1270を生成する触覚プレビュー・ツールをさらに使用して、効果特性メニュー1284を介して全体的な効果の強度またはボリュームをカスタマイズするかまたは調節することができる。触覚効果の強度またはボリュームは、強度スライダ1286を介してグラフィック的に変更することができ、それにより、触覚専用ファイル(例えばHAPTファイル)は変更されるが、触覚専用ファイルがそこから生成されたソース・オーディオ・ファイル(例えば、WAVファイル)は変更されない。強度スライダ1286を介して強度設定を変更すると、スクリーン・ショット1270上に表示される視覚表示もまた変化することになる。効果特性メニュー1284は、トリガ・スロー・スライダ(trigger throw slider)1288をさらに含む。触覚効果がプレーを始める抑圧または程度または移動の点であるトリガ332のトリガまたは作動点は、トリガ・スロー・スライダ1288を介してグラフィック的に変更するかまたは設定することができる。

0045

上述のように、触覚効果を与えるためのオーディオ・トラックまたはファイルは、限定はしないが、Pro Tools、Logic Pro, Audition、Audacity、Sony SoundForge、Ableton Live、またはBitwig Studioなどの商用オーディオ・エディティング・スイートまたはプログラム、ならびに限定はしないがPremiere ProまたはAvidなどの商用ビデオ・エディタで利用可能なパニング機能を使用して生成することができる。しかしながら、本発明の別の実施形態では、カスタム・オーディオ・エディティング・プログラムを、触覚効果を与えるために開発することができる。例えば、図13は、触覚効果の1組の制御パラメータをもつオーディオ・ファイルを生成するためのカスタム・パニング環境を示す。図13において、ワークスペース1371は、レセプション(reception)のシミュレートされる場所基部または点1373を含む。1次元エミッタまたはチャネル1375および/または多次元エミッタまたはチャネル1377が、レセプションのシミュレートされる点1373のまわりに構成され、次に、パン効果1379が、所望に応じて触覚効果1381の運動経路を描画することによって生成される。パン効果1379は、ユーザによって描画されたようにチャネル1375、1377の間に触覚効果1381を分配する。したがって、図13に示すように、触覚効果1381はパン効果1379を介してマルチチャネルに分配される。

0046

図14は、本発明の実施形態による、ホスト・コンピュータからの触覚信号を決定し送出する方法を示す流れ図であり、与えられる触覚効果は、本明細書で説明するように1つまたは複数のオーディオ・ファイルの使用を介してプログラムされるかまたは生成される。一実施形態では、図14の流れ図の機能は、ホスト構成要素のホスト・メモリに格納され、ホスト・プロセッサによって実行されるソフトウェアによって、および/または触覚周辺機器のローカル・メモリに格納され、ローカル・プロセッサによって実行されるソフトウェアによって実施される。他の実施形態では、機能は、特定用途向け集積回路(「ASIC」)、プログラマブルゲートアレイ(「PGA」)、フィールド・プログラマブル・ゲート・アレイ(「FPGA」)、またはハードウェアとソフトウェアとの任意の組合せの使用を通してハードウェアによって実行することができる。

0047

ステップ1490において、ホストまたはローカル・プロセッサは、状態の変化があるかどうかを決定する。1つの実施形態では、この変化は、ゲームまたはシミュレーションのための仮想空間の変化とすることができる。一例として、ユーザは、キャラクタまたは他のグラフィカル物体を移動させており、そのとき、仮想環境で爆発に出会う。キャラクタ移動、および/または爆発(または触覚効果の発生源もしくは原因である他の仮想物体)との出会いは、状態の変化とすることができる。別の実施形態では、この変化は、位置センサ323、331、333のうちの1つによる感知された位置または状態とすることができる。上述のように、ジョイスティック322は、それに結合された位置センサ323を含み、ボタン330は、それに結合された位置センサ331を含み、トリガ332は、それに結合された位置センサ333を含む。状態の変化は上述の例に限定されないことを当業者は理解されよう。

0048

ステップ1492において、ホストまたはローカル・プロセッサは、状態の変化を用いて関連触覚効果を決定する。例えば、ユーザが仮想キャラクタを制御し、そのキャラクタが爆発などの仮想物体に出会うシナリオでは、そのような出会いは、関連触覚効果、例えば振動などを有することができる。状態の変化に伴う関連触覚効果があるかどうかを決定するプロセスは、多くの方法で行うことができる。状態の変化が関連触覚効果を有すると決定された場合、触覚信号が送られることになる。状態の変化が関連触覚効果を有していないと決定された場合、触覚信号が送られないことになる。1つの実施形態では、ホスト・コンピュータ104は、状態の変化、および1つまたは複数のオーディオ・ファイルから形成された触覚効果の事前定義マッピングにアクセスする。例えば、事前定義マッピング・システムは、特定のタイムラインまたはシーケンスのプログラム化触覚効果が、検出された状態に応じてプレーされることを指示することができる。検出された状態が関連触覚効果を有すると決定された場合、ホストまたはローカル・プロセッサは、関連触覚効果の制御パラメータを含む関連制御信号を出力する。

0049

ステップ1494において、ホストまたはローカル・プロセッサは、関連触覚情報をもつ制御信号を使用して触覚情報を適切なターゲット触覚出力デバイスに送出する。触覚情報の送出は、前に説明したように有線または無線通信のいずれかで行うことができる。ターゲット触覚出力デバイスは、ホストまたはローカル・プロセッサからの制御信号を受け取り、触覚効果を触覚周辺機器のそれぞれのユーザ入力要素(例えば、ジョイスティック、ボタン、トリガ)またはハウジングに出力するように構成される。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 株式会社セガゲームスの「 ゲーム装置およびプログラム」が 公開されました。( 2021/04/01)

    【課題】自動車の搭乗者がプレイするモバイルゲームにおいて、その環境や状況に適した機能が実現される。【解決手段】モバイルゲーム装置100は、自動運転機能を有する自動車から、自動運転の設定を示す運転設定情... 詳細

  • 株式会社セガゲームスの「 ゲームシステム」が 公開されました。( 2021/04/01)

    【課題】 イベントの観客にゲームを体験させることで、ゲームの楽しさを広く伝える。【解決手段】野球場120において、ゲームサーバは、複数のユーザ(観客)それぞれが保有する複数のユーザ端末から位置情報を... 詳細

  • グリー株式会社の「 情報処理システム、情報処理方法およびコンピュータプログラム」が 公開されました。( 2021/04/01)

    【課題】 視聴ユーザのギフティングの意欲を向上させる。【解決手段】 配信ユーザの動きに基づいて生成されるキャラクタオブジェクトを含む動画を複数の視聴ユーザの各々のクライアント装置に配信し、視聴ユー... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ