図面 (/)

技術 触覚フィードバックを使用する音声データ出力および操作

出願人 イマージョンコーポレーション
発明者 チュ,ロニー,エル.
出願日 2002年10月8日 (17年0ヶ月経過) 出願番号 2003-535377
公開日 2005年3月3日 (14年7ヶ月経過) 公開番号 2005-506614
状態 特許登録済
技術分野 音声入出力 デジタル計算機のユーザインターフェイス デジタル計算機のユーザインターフェイス
主要キーワード アナログ制御装置 二次バッファ リングノブ 連続設定 再生調整 出力アクチュエータ ノブ装置 相対センサ
関連する未来課題
重要な関連分野

NEWこの技術のポテンシャルをビッグデータで簡単査定!

特許:約8,000万件, クラウドファンディング:約100万年件, 科研費・グラントデータ:約500万件, 発明者・研究者情報:約600万人

この項目の情報は公開日時点(2005年3月3日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (12)

課題・解決手段

触覚フィードバックを使用する音声データ出力および操作。触覚感覚サウンドデータに関連付けて、前記サウンドデータのナビゲーションおよび編集支援する。サウンドデータはコンピュータメモリにロードされ、該サウンドデータは、サウンドオーディオ装置から出力されるように再生される。サウンドの再生は、サウンドデータのナビゲーションのためにユーザ入力によって制御される。触覚コマンドは、サウンドデータに基づいて生成され、ユーザによって操作される触覚フィードバック装置によって触覚感覚をユーザに出力するのに使用される。触覚感覚はサウンドデータの一つまたはそれ以上の特性に対応し、サウンドデータのナビゲーションおよび編集中にユーザがサウンドデータの特徴を識別するのを支援する。

概要

背景

概要

触覚フィードバックを使用する音声データ出力および操作。触覚感覚サウンドデータに関連付けて、前記サウンドデータのナビゲーションおよび編集支援する。サウンドデータはコンピュータメモリにロードされ、該サウンドデータは、サウンドオーディオ装置から出力されるように再生される。サウンドの再生は、サウンドデータのナビゲーションのためにユーザ入力によって制御される。触覚コマンドは、サウンドデータに基づいて生成され、ユーザによって操作される触覚フィードバック装置によって触覚感覚をユーザに出力するのに使用される。触覚感覚はサウンドデータの一つまたはそれ以上の特性に対応し、サウンドデータのナビゲーションおよび編集中にユーザがサウンドデータの特徴を識別するのを支援する。

目的

本発明は、一般的に人間がコンピュータシステムインタフェースすることを可能にするシステムに関し、さらに詳しくは、コンピュータ音声編集および再生環境でユーザに触覚フィードバックを提供する

効果

実績

技術文献被引用数
6件
牽制数
3件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

触覚感覚サウンドデータに関連付けて、前記サウンドデータのナビゲーションおよび編集支援するための方法において、前記サウンドデータの少なくとも一部分をコンピュータメモリにロードするステップと、オーディオ信号が生成されて、オーディオ装置からサウンドを出力するために使用されるように、前記サウンドデータを再生するステップであって、前記サウンドの前記再生が、前記サウンドデータのナビゲーションのためにユーザから前記コンピュータが受け取るユーザ入力によって制御されるように構成されたステップと、前記サウンドデータに基づいて触覚コマンドを生成するステップであって、前記触覚コマンドは、前記ユーザによって操作されかつ前記コンピュータと通信する触覚フィードバック装置によって前記ユーザに触覚感覚を出力するために使用され、前記触覚感覚は前記サウンドデータの一つまたはそれ以上の特性に対応して、前記サウンドデータの前記ナビゲーションおよび編集中に前記ユーザが前記サウンドデータの特徴を識別するのを支援するように構成されたステップと、を含む方法。

請求項2

前記ユーザが前記サウンドデータの前記再生の速度を制御することができる、請求項1に記載の方法。

請求項3

前記ユーザが、前記サウンドデータの前記再生の方向を制御することができ、前記方向が順方向および逆方向を含む、請求項1に記載の方法。

請求項4

前記触覚感覚が前記サウンドデータの前記再生中に連続的に出力され、出力される触覚感覚が、現在再生されている前記サウンドデータの振幅に基づく大きさを持つ、請求項1に記載の方法。

請求項5

前記触覚感覚が前記再生サウンドデータの前記振幅に正比例する大きさを持つ、請求項4に記載の方法。

請求項6

前記触覚感覚が前記再生サウンドデータの前記振幅に反比例する大きさを持つ、請求項4に記載の方法。

請求項7

予め定められた特性を有する前記サウンドデータの特徴が再生されたときにだけ前記触覚感覚が出力される、請求項1に記載の方法。

請求項8

前記予め定められた特性が、予め定められたしきい値を超える前記サウンドデータの振幅の上昇を含む、請求項7に記載の方法。

請求項9

前記予め定められた特性が、前記振幅の上昇に後続する予め定められた量の振幅の低下を含む、請求項8に記載の方法。

請求項10

前記予め定められた特性が、二つの振幅のピークのうち第二のピークが再生されるときに触覚感覚を出力させるために前記二つのピークの間に発生しなければならない最小時間間隔を含む、請求項7に記載の方法。

請求項11

前記サウンドデータによって生成されるサウンドの望ましくない周波数が除去され、望ましい範囲の周波数が残るように、前記サウンドデータをフィルタリングするステップをさらに含む、請求項1に記載の方法。

請求項12

前記望ましい範囲の周波数が特定の型の触覚感覚に関連付けられる、請求項11に記載の方法。

請求項13

前記サウンドの前記再生中に、前記サウンドデータ中の特定の位置に対して事前に格納されたマーカに達した場合に、前記触覚コマンドの一つが生成され、触覚感覚が出力される、請求項1に記載の方法。

請求項14

前記サウンドデータの一部分を二次バッファに格納し、前記サウンドデータの前記再生中に、前記サウンドデータの前記部分を処理して、前記サウンドデータ内の前記一つまたはそれ以上の特性を実時間で見つけるステップをさらに含む、請求項1に記載の方法。

請求項15

前記サウンドデータの視覚的表現および再生中の前記サウンドデータの現在の部分を示す可動カーソルを表示するステップをさらに含む、請求項1に記載の方法。

請求項16

サウンドデータを前処理して、前記サウンドデータがユーザに再生されるときに前記サウンドデータに関連付けられる触覚感覚を出力させるための方法において、前記サウンドデータの少なくとも一部分をコンピュータのメモリにロードするステップであって、前記サウンドデータがサウンド波形を記述するように構成されたステップと、前記サウンドデータを処理して、一つまたはそれ以上の予め定められた特性を持つサウンド特徴を見つけるステップと、前記サウンド特徴が見つかったときに、マーカリストにマーカを格納するステップであって、前記マーカは前記サウンドデータ内の前記関連付けられたサウンド特徴の位置を示し、前記位置に少なくとも一つの触覚感覚が関連付けられ、前記サウンドデータが再生されるときに、前記サウンドデータの前記再生中に前記マーカに達すると、前記関連付けられた少なくとも一つの触覚感覚がユーザに出力されるように構成されたステップと、を含む方法。

請求項17

前記一つまたはそれ以上の予め定められた特性が、前記サウンドデータによって記述される前記サウンド波形の振幅の上昇を含み、前記振幅の上昇が予め定められたしきい振幅を超える、請求項16に記載の方法。

請求項18

前記一つまたはそれ以上の予め定められた特性が、前記振幅の上昇に後続する予め定められた量の振幅の低下を含む、請求項16に記載の方法。

請求項19

前記一つまたはそれ以上の予め定められた特性が、二つの振幅のピークのうち第二のピークが再生されるときに触覚感覚を出力させるために前記二つのピークの間に発生しなければならない最小時間間隔を含む、請求項16に記載の方法。

請求項20

前記サウンドデータの前記処理が、前記サウンドデータの望ましくない周波数が除去されるように前記サウンドデータをフィルタリングするステップを含む、請求項16に記載の方法。

請求項21

前記マーカの特定の一つに関連付けられる一つまたはそれ以上の特定の触覚感覚の指示を格納するステップをさらに含む、を請求項16に記載の方法。

請求項22

前記一つまたはそれ以上の特定の触覚感覚の型が、前記特定のマーカが指し示す前記サウンド特徴の前記一つまたはそれ以上の予め定められた特性に基づく、請求項21に記載の方法。

請求項23

触覚感覚をサウンドデータに関連付けて、前記サウンドデータのナビゲーションおよび編集を支援するステップを実行するためのプログラム命令を含むコンピュータ可読媒体において、前記ステップが前記サウンドデータの少なくとも一部分をコンピュータのメモリにロードするステップと、オーディオ信号が生成されて、オーディオ装置からサウンドを出力するために使用されるように、前記サウンドデータを再生するステップであって、前記サウンドの前記再生が、前記サウンドデータのナビゲーションのためにユーザから前記コンピュータが受け取るユーザ入力によって制御されるように構成されたステップと、前記サウンドデータに基づいて触覚コマンドを生成するステップであって、前記触覚コマンドは、前記ユーザによって操作されかつ前記コンピュータと通信する触覚フィードバック装置によって前記ユーザに触覚感覚を出力するために使用され、前記触覚感覚は前記サウンドデータの一つまたはそれ以上の特性に対応して、前記サウンドデータの前記ナビゲーションおよび編集中に前記ユーザが前記サウンドデータの特徴を識別するのを支援するように構成されたステップと、を含んで成る媒体。

請求項24

前記ユーザが前記サウンドデータの前記再生の速度を制御することができる、請求項23に記載の媒体。

請求項25

前記ユーザが、前記サウンドデータの前記再生の方向を制御することができ、前記方向が順方向および逆方向を含む、請求項23に記載の媒体。

請求項26

前記触覚感覚が前記サウンドデータの前記再生中に連続的に出力され、出力される触覚感覚が、現在再生されている前記サウンドデータの振幅に基づく大きさを持つ、請求項23に記載の媒体。

請求項27

予め定められた特性を有する前記サウンドデータの特徴が再生されたときにだけ前記触覚感覚が出力される、請求項23に記載の媒体。

請求項28

前記サウンドの前記再生中に、前記サウンドデータ中の特定の位置に対して事前に格納されたマーカに達した場合に、前記触覚コマンドの一つが生成され、触覚感覚が出力される、請求項23に記載の媒体。

請求項29

前記サウンドデータの一部分を二次バッファに格納し、前記サウンドデータの前記再生中に、前記サウンドデータの前記部分を処理して、前記サウンドデータ内の前記一つまたはそれ以上の特性を実時間で見つけるステップをさらに含む、請求項23に記載の媒体。

--

0001

背景技術
本発明は、一般的に人間がコンピュータシステムインタフェースすることを可能にするシステムに関し、さらに詳しくは、コンピュータ音声編集および再生環境でユーザに触覚フィードバックを提供するための方法に関する。

0002

コンピュータは、音楽および他のオーディオ関係データの作成および編集に幅広く使用されるツールになった。音楽または他の型の聴性コンポジションまたはレコーディングを表わすデジタルデータは、Digidesign(登録商標)のProToolsおよびその他のような利用可能な編集ソフトウェアを使用して、容易に作成および/または操作することができる。ミュージシャンはそのようなソフトウェアを使用して、サウンドファイルまたはサウンドデータのどの部分でも再生し、かつデータのどの部分でもコピー、編集、または他の操作を行なうことができる。スライダノブ、ボタンポインタ、またはカーソル等のようなグラフィカルユーザインタフェースグラフカルコントロールは一般的にコンピュータ画面に表示され、ユーザはそれを操作してサウンドデータの再生および編集を制御することができる。サウンドデータの視覚表現は一般的に、ユーザが所望のスケールカスタマイズすることのできる一つまたはそれ以上の時間対振幅のグラフとして表示される。一部のより精巧なシステムは、スプリングセンタリングノブであるジョグシャトルホイールのようなハードウェア制御を備え、ユーザはそれを回転してサウンド選択を順方向または逆方向に再生させることができる。

0003

しかし、現代コンピュータ操作音楽における課題の一つは、自然かつ直観的な音楽の作曲および編集を助長するような仕方で、ミュージシャンがコンピュータに関わることを可能にすることである。編集および作曲プロセスの多くは、人々がコンピュータを制御するために使用する物理的インタフェースに関係する仕方に存する。従来、ミュージシャンは、物理的操作をサウンドの生成に直接結び付ける(例えば、ピアノの作用、または振動共鳴装置としてのトランペット楽器と共に作業することを学習してきた。しかし、この型の物理的関係をコンピュータで再現することは難しい。今日、多くの場合、コンピュータとの対話キーボードおよびマウスを通して行なわれ、あるいはより低い頻度の状況で、特注開発された電子音楽制御装置などの特殊ハードウェアを通して行なわれる。これらの型のインタフェースは単方向であり、ミュージシャンまたは他のユーザが物理的入力をコンピュータに送ることは可能であるが、物理フィードバックを受け取ることはできない。

0004

現在のサウンド編集システムは、ミュージシャンがサウンドを編集しながらキーボードおよびマウス、受動スクロールホイール、または受動ジョイスティック、などの入力装置を使用する必要がある。これらの場合、ミュージシャンは聴覚的および視覚的フィードバックに頼らなければならない。しかし、ミュージシャンまたはユーザはしばしば、編集または操作すべき特定の領域を見つけるために、音楽またはスピーチの選択をナビゲートするなど、正確さを要する反復編集作業を実行する。そのようなナビゲーションおよび編集タスク時の標準的入力装置および聴覚的および視覚的フィードバックは時々ぎこちなく、非効率的であり、あるいは精度が不十分であり、したがってミュージシャンの創造努力欲求不満をもたらす。

0005

発明の概要
本発明は、オーディオの出力と連動して触覚感覚を出力することを目的とする。触覚感覚をオーディオ出力に関連付け、ユーザがサウンドデータの再生および編集をより正確かつ効率的に制御することを可能にする。

0006

さらに詳しくは、本発明の方法は触覚感覚をサウンドデータに関連付けて、前記サウンドデータのナビゲーションおよび編集を支援する。サウンドデータの少なくとも一部分はコンピュータのメモリにロードされ、該サウンドデータは、オーディオ信号が生成されてオーディオ装置からサウンドを出力するのに使用されるように再生される。サウンドの再生は、サウンドデータのナビゲーションのためにユーザからコンピュータが受け取ったユーザ入力によって制御される。触覚コマンドは、サウンドデータに基づいて生成され、ユーザによって操作される触覚フィードバック装置によって触覚感覚をユーザに出力するのに使用される。触覚感覚はサウンドデータの一つまたはそれ以上の特性に対応し、サウンドデータのナビゲーションおよび編集中にユーザがサウンドデータの特徴を識別するのを支援する。

0007

ユーザは、速度制御または位置制御パラダイムを使用して、サウンドデータの再生の速度および/または方向を制御することができることが好ましい。触覚感覚は、サウンドデータの再生中に連続的に出力することができ、現在再生されているサウンドデータの振幅に基づく大きさを持つことができる。あるいは触覚感覚は、予め定められた特性を有するサウンドデータの特徴が再生されたときにだけ出力することができる。

0008

一実施形態は、サウンドデータを前処理して、サウンドデータに関連付けられる触覚感覚を、ユーザにそのサウンドデータが再生されるときに出力させる。メモリ内のサウンドデータを処理して、一つまたはそれ以上の予め定められた特性を有するサウンド特徴を見つけ出す。サウンド特性が見つかると、マーカのリストにマーカが格納される。そこでマーカはサウンドデータにおける関連サウンド特性の位置を示す。位置は少なくとも一つの触覚感覚に関連付けられるので、サウンドデータが再生される際に、サウンドデータの再生中にマーカに達したときに、関連付けられた触覚感覚がユーザに出力される。

0009

別の実時間実施形態では、サウンドデータの一部分を二次バッファに格納し、サウンドデータの再生中にサウンドデータの該部分を処理して、実時間でサウンドデータの特性を見つける。いずれの実施形態でも、サウンドデータの視覚的表現、および再生されているサウンドデータの現在の部分を示す移動カーソルをコンピュータによって表示させることができる。

0010

本発明は、触覚フィードバックをサウンド出力調和するものとしてユーザが経験することを可能にすることが有利である。例えば、触覚フィードバックをデジタルオーディオ編集システムに統合することができ、オーディオデータの再生に直接関係し、かつオーディオデータに行なわれる操作に関係する触覚感覚をユーザに感じさせることが可能になる。ユーザはサウンドデータをナビゲートして、データ内の特定の箇所を見つけることができ、触覚感覚は、有意の特徴が再生されたときにユーザによりよく知らせることができる。これはナビゲーションおよび編集タスクでユーザを大いに支援する。この結果、より優れたユーザパフォーマンス、より高い満足度、およびユーザ経験の全体的改善が達成される。

0011

本発明のこれらおよび他の利点は、本発明の以下の明細書を読み、かつ図面の幾つかの図を検討することにより、当業者には明らかになるであろう。
図面の簡単な記述
図1は触覚フィードバックにより増強されたユーザのためのサウンドデータ操作能力を提供するためのシステムを示すブロック図である。
図2ホストコンピュータ通信する触覚フィードバックインタフェース装置を含む、図1触覚フィードバックシステムの一実施形態を示すブロック図である。
図3は本発明に使用するのに適した触覚フィードバック装置のマウスの実施形態の側面断面図である。
図4は本発明に使用するのに適したインタフェース装置12の別の実施形態150の斜視図である。
図5は本発明に従ってサウンドデータを前処理するための方法の流れ図である。
図6サウンド波形および該サウンド波形と相関される触覚感覚の模式図である。
図7は本発明に従って前処理されたサウンドデータおよび触覚感覚を再生するためのプロセスを示す流れ図である。
図8は本発明に係るサウンド再生に従って触覚感覚を出力する実時間再生プロセスを示す流れ図である。
図9aは直接出力における連続触覚出力のサウンドおよび触覚波形を基本的時間対振幅の形で示す模式図である。
図9B反転出力における連続触覚出力のサウンドおよび触覚の波形を基本的時間対振幅の形で示す模式図である。
図10は本発明のためにユーザに選好および設定を入力させるだけでなく、サウンド再生を制御させることもできる、グラフィカルユーザインタフェースの模式図である。
図11は本発明のためにユーザに選好および設定を入力させることができる、別のグラフィカルユーザインタフェースの模式図である。

0012

好適な実施形態の詳細な記述
図1は、触覚フィードバックにより増強されたユーザのためのサウンドデータ操作能力を提供するためのシステム10を示すブロック図である。ホストコンピュータ14は、ユーザ16がホストコンピュータにコマンドを入力することによってサウンドデータ15を操作することを可能にする、サウンドデータ操作アプリケーションプログラムを実行する。これらのコマンドを入力するために、ユーザ16は触覚フィードバックインタフェース装置12を操作する。触覚フィードバックインタフェース装置はユーザがコマンドおよびデータを入力することを可能にし、かつ、ここでより一般的に「触覚フィードバック」として知られる、運動感覚力フィードバックまたは触感フィードバックをも提供する。モータまたは他の型のアクチュエータを使用して、これらのインタフェース装置は、装置に触れるかまたは装置のユーザマニピュランダムを操作するユーザが感じる物理的感覚を提供することができる。例えば、装置12はノブ、マウス、トラックボール、ジョイスティック、またはユーザが方向、値、大きさ等を入力するために所定の自由度で動かす他の装置とすることができる。ユーザが入力を提供するために装置12に物理的に接触している間に、彼または彼触覚装置12によって出力される触覚感覚を経験することもできる。本発明では、触覚感覚は、ホストコンピュータのアプリケーションプログラムで発生する編集および他のサウンド操作機能に関連付けられ、ユーザが操作タスクをより容易に実行し、サウンドデータを扱うことを可能にする。

0013

ホストコンピュータ14はまた、オーディオスピーカ24にも信号を出力し、ユーザ16が再生するように選択したサウンドデータを聞くことを可能にする。ホストコンピュータの視覚的表示および触覚装置12からの触覚感覚の出力と調和したスピーカからのサウンドデータの出力は、ユーザがサウンドデータ中の特定または予め選択された事象をより容易に経験し、かつ気付くのを可能にする。これは、ユーザが、聴覚および視覚に加えて触覚を通してそのような事象を識別することによって、サウンドをより容易に編集することを可能にする。

0014

触覚フィードバック装置は、コンピュータインタフェースへの入力および出力を処理することができる。これは、成功のために迅速かつ効率的な人間の物理的反応が不可欠である実時間タスクにとって非常に効果を発揮する。触覚フィードバックインタフェースは、コンピュータタスクを達成するために要求される認識負荷を軽減しながらユーザ効率および精度を改善することができる。効果的な音楽インタフェースの必須の特徴の一つは、ユーザが過度に特定の物理的ジェスチャを意識することなく、音楽的経験に没頭することを可能にすることであるので、この種の結果は、音楽の創造および編集には非常に有益になり得る。本発明は、安価な触覚装置をコンピュータ支援音楽およびサウンド編集および創造に組み込むことを可能にする。

0015

図2は、ホストコンピュータ14と通信する触覚フィードバックインタフェース装置12を含む、図1の触覚フィードバックシステムの一実施形態を示すブロック図である。

0016

ホストコンピュータ14は、ホストマイクロプロセッサ20、クロック22、表示スクリーン26、およびオーディオ出力装置24を含むことが好ましい。ホストコンピュータはまた、ランダムアクセスメモリ(RAM)、読出し専用メモリ(ROM)、および入力/出力(I/O)電子部品(図示せず)のような他の周知の構成部品をも含む。ホストコンピュータ14は、多種多様な形態を取ることができるコンピューティング装置である。例えば、記載する実施形態では、コンピュータ14は、PC互換性コンピュータまたはマッキントッシュパーソナルコンピュータ、もしくはサンまたはシリコングラフィックスワークステーションのようなパーソナルコンピュータまたはワークステーションである。そのようなコンピュータ14は、Windows(登録商標)、MacOS(登録商標)、Unix(登録商標)、MS−DOS、または他のオペレーティングシステムの下で動作することができる。代替的に、ホストコンピュータ14は、任天堂、セガ、ソニー、またはマイクロソフトから入手可能なシステムのような、テレビジョンセットまたは他の表示装置に一般的に接続される種々のホームビデオゲームコンソールシステムの一つとすることができる。他の実施形態では、ホストコンピュータシステム14は「セットトップボックス」、「ネットワーク」、または「インターネットコンピュータ」、携帯コンピュータまたはゲーム装置家庭用電子機器ステレオコンポーネント等)、PDA等とすることができる。

0017

ホストコンピュータ14は、ユーザが装置12および適切な場合には他の周辺装置を介して対話する、ホストアプリケーションプログラム実装することが好ましい。本発明の文脈では、ホストアプリケーションプログラムとは、以下でさらに詳述する通り、デジタルオーディオ編集プログラムである。装置12の入力を利用し、かつ装置12に触覚フィードバックコマンドを出力する、他のアプリケーションプログラムを使用することもできる。ホストアプリケーションプログラムは、グラフィカルユーザインタフェース(GUI)を利用してユーザにオプション提示し、かつユーザから入力を受け取ることが好ましい。このアプリケーションプログラムは、以下で述べる触覚フィードバック機能性を含むことができ、あるいは触覚フィードバック制御は、ドライバまたは他のアプリケーションプログラムなど、ホストコンピュータで実行される別のプログラムに実装することができる。ここで、コンピュータ14は「グラフィカル環境」を提示すると言うことができ、それはグラフィカルユーザインタフェース、ゲーム、シミュレーション、または他の視覚的環境とすることができる。コンピュータは「グラフィカルオブジェクト」または「コンピュータオブジェクト」を表示する。それらは物理的オブジェクトではなく、当業者には周知の通り、コンピュータ14によって表示スクリーン26上に画像として表示することのできるデータおよび/またはプロシージャ論理ソフトウェア単位集合である。ソフトウェアを触覚フィードバック装置とインタフェースする適切なソフトウェアドライバは、カリフォルニア州サンノゼのイマージョン・コーポレーションから入手可能である。

0018

表示装置26はホストコンピュータシステム14に含めることができ、標準表示スクリーン(LCD、CRTフラットパネル等)、3Dゴグル映写装置、または他の映像出力装置とすることができる。表示装置26は、オペレーティングシステムアプリケーション、シミュレーション、ゲーム等によって命令された画像を表示する。スピーカなどのオーディオ出力装置24は、ユーザにサウンド出力を提供する。本発明の文脈では、ミキサ増幅器、特殊ハードウェア等のような、他のオーディオ関連装置をホストコンピュータに接続することもできる。記憶装置ハードディクスドライブ、CDROMドライブフロッピーディスクドライブ等)、プリンタ、および他の入出力装置のような、他の型の周辺装置もホストプロセッサ20に接続することができる。

0019

マウス、ノブ、ゲームパッド、トラックボール、ジョイスティック、リモートコントロールなどのインタフェース装置12は、双方向バス30によってホストコンピュータシステム14に接続される。双方向バスはホストコンピュータシステム14とインタフェース装置との間でどちらの方向にも信号を送信する。バス30は、RS232シリアルインタフェース、RS−422、ユニバーサルシリアルバス(USB)、MIDI、または当業者には周知の他のプロトコルなどのシリアルインタフェースバスとすることができ、あるいはパラレルバス、またはワイヤレスリンクとすることができる。一部のインタフェースは装置12のアクチュエータに電力を提供することもできる。

0020

装置12はローカルプロセッサ40を含むことができる。ローカルプロセッサ40は任意選択的に、マウスの他の構成部品との効率的な通信を可能にするために、装置12のハウジング内に含めることができる。プロセッサ40は、コンピュータホスト14からのコマンドまたは要求を待ち、コマンドまたは要求を復号し、コマンドまたは要求に従って入力および出力信号を処理/制御するためのソフトウェア命令を備えることができる。加えて、プロセッサ40は、センサ信号読み取り、これらのセンサ信号、時間信号、およびホストコマンドに従って選択された格納またはリレーされた命令から適切な力を計算することによって、ホストコンピュータ14とは独立して動作することができる。ローカルプロセッサ40として使用するための適切なマイクロプロセッサとして、例えばモトローラによるMC68HC711E9、マイクロチップによるPIC16C74、およびインテル社による82930AXのみならず、イマージョン・タッチセンス・プロセッサのようなより高機能の力フィードバックプロセッサがある。プロセッサ40は、一個マイクロプロセッサチップ複数個のプロセッサおよび/またはコプロセッサチップ、および/またはデジタル信号プロセッサ(DSP)機能を含むことができる。

0021

マイクロプロセッサ40は、ホストコンピュータ14によって提供される命令に従って、センサ42から信号を受け取りアクチュエータアセンブリ44に信号を提供することができる。例えば、ローカル制御の実施形態では、ホストコンピュータ14はバス30を通して高レベル監視コマンドをプロセッサ40に提供し、プロセッサ40はホストコンピュータ14の高レベルコマンドコマンドに従ってホストコンピュータとは独立してコマンドを復号し、センサおよびアクチュエータへの低レベル力制御ループを管理する。この動作は米国特許第5739811号および第5734373号に詳細に記載されており、両方を参照によってここに組み込む。ホスト制御ループでは、ホストコンピュータからの力コマンドが、指定された特性を有する力または力感覚を出力するようにプロセッサに指示する。ローカルプロセッサ40は位置および他のセンサデータをホストコンピュータに報告し、ホストコンピュータはそれを使用して実行プログラム更新する。ローカル制御ループでは、アクチュエータ信号がプロセッサ40からアクチュエータ44に提供され、センサ信号がセンサ42および他の入力装置48からプロセッサ40に提供される。プロセッサ40は入力センサ信号を処理して、格納された命令に従うことによって適切な出力アクチュエータ信号を決定することができる。ここで、用語「触覚感覚」または「触感」とは、ユーザに感覚を与えるアクチュエータ組立体によって出力される単一の力または一連の力のいずれかを指す。

0022

さらに別の実施形態では、プロセッサ40としての機能性を提供するために、他のより簡単なハードウェアを装置12に局所的に提供することができる。例えば、ハードウェア状態機械または固定論理を組み込んだASICを使用して、アクチュエータ44に信号を提供し、センサ42からセンサ信号を受け取り、予め定められたシーケンスアルゴリズム、またはプロセスに従って触感信号を出力することができる。

0023

異なるホスト制御実施形態では、ホストコンピュータ14はバス30を通して低レベル力コマンドを提供することができ、それはプロセッサ40を介してアクチュエータ44に直接伝送される。ホストコンピュータ14はこうして、装置12への、または装置12からの全ての信号を直接制御し、かつ処理する。単純なホスト制御の実施形態では、ホストから装置への信号は、アクチュエータに予め定められた周波数および大きさの力を出力するように命令することができ、あるいは大きさおよび/または方向を含むか、もしくは長時間にわたって加えるべき所望の力値を示す単純なコマンドとすることができる。

0024

プロセッサ40のための命令を格納し、かつ一時的データおよび他のデータを格納するために、RAMおよび/またはROMなどのローカルメモリ52を装置12内のプロセッサ40に接続することが好ましい。例えば、プロセッサによって出力することのできる一連の格納された力値、またはユーザオブジェクトの現在の位置に基づいて出力される力値のルックアップテーブルのような力プロファイルをメモリ52に格納することができる。加えて、ホストコンピュータ14のシステムクロックと同様のタイミングデータを提供するために、ローカルクロック54をプロセッサ40に接続することができる。タイミングデータは、例えばアクチュエータ44によって出力される力(例えば、算出された速度または他の時間依存因子に依存する力)を算出するために必要となる。USB通信インタフェースを使用する実施形態では、プロセッサ40のためのタイミングデータは代替的にUSB信号から検索することができる。

0025

センサ42は装置および/またはマニピュランダムの位置または動き感知し、位置または動きを表わす情報を含む信号をプロセッサ40(またはホスト14)に提供する。操作を検出するのに適したセンサとして、デジタル光符号器光センサシステム線形光符号器電位差計光センサ速度センサ加速センサ歪み計が含まれ、あるいは他の型のセンサも使用することができ、相対センサまたは絶対センサのいずれでも設けることができる。センサ信号をプロセッサ40および/またはホスト14が解釈できる信号に変換するために、任意選択的センサインタフェース46を使用することができる。

0026

アクチュエータ44は、プロセッサ40および/またはホストコンピュータ14から受け取った信号に応答して、装置12のハウジングまたは一つまたはそれ以上のマニピュランダム60に力を伝達する。アクチュエータ44は、DCモータボイスコイル空気圧または油圧アクチュエータトルカー、圧電アクチュエータ可動磁石アクチュエータ等のような能動アクチュエータ、またはブレーキなどの受動アクチュエータをはじめとする、多くの型のアクチュエータのいずれにもすることができる。

0027

プロセッサ40からの信号を、アクチュエータ44を駆動するのに適した信号に変換するために、アクチュエータ44とプロセッサ40との間に任意選択的にアクチュエータインタフェース50を接続することができる。インタフェース50は、当業者には周知の通り、電力増幅器、スイッチ、デジタルアナログ制御装置(DAC)、アナログデジタル制御装置ADC)、および他の構成要素を含むことができる。装置12内に他の入力装置48が含まれ、ユーザによって操作されたときに入力信号をプロセッサ40またはホスト14に送る。そのような入力装置はボタン、スクロールホイール、dパッドダイヤル、スイッチ、または他の制御装置または機構を含むことができる。

0028

アクチュエータに電力を提供するために、アクチュエータインタフェース50および/またはアクチュエータ44に接続された電源56を任意選択的に装置12に含むか、または別個の構成要素として設けることができる。代替的に、電力は装置12から分離された電源から引き込むか、またはバス30を介して受け取ることができる。一部の実施形態は、ピーク力を加えることができることを確実にするために、(参照によってここに組み込む米国特許第5929607号に記載するように)装置内の電力貯蔵装置を使用することができる。代替的に、この技術をワイヤレス装置に使用することができ、その場合、触感アクチュエータを駆動するためにバッテリ電力が使用される。ユーザが安全上の理由からアクチュエータ44の動作を停止させることを可能にするために、任意選択的に安全スイッチ58を含めることができる。

0029

アクチュエータ44は、インタフェース装置12のハウジングおよび/またはマニピュランダム60に対し力を出力する。センサ42はハウジングまたはマニピュランダム60の位置または動きを感知することができる。ここに記載する本発明では、多くの型のインタフェースまたは制御装置を使用することができる。例えば、そのようなインタフェース装置は触覚フィードバックトラックボール、ジョイスティックハンドルステアリングホイール、ノブ、ハンドヘルドリモートコントロール装置ビデオゲームまたはコンピュータゲーム用のゲームパッドコントローラスタイラスグリップ、ホイール、ボタン、携帯電話、PDA、タッチパッド、または他の操作可能な物体、表面またはハウジングを含めることができる。

0030

図3は、本発明に使用するのに適した装置12のマウスの実施形態100の側面断面図である。

0031

マウス装置100は、ハウジング101、センシングシステム102、およびアクチュエータ104を含む。ハウジング101は、ユーザが平面自由度内でマウスを移動し、ボタン106を操作する間、標準的マウスのようにユーザの手にフィットするように形作られる。多くの異なる実施形態では、他のハウジング形状を提供することができる。

0032

センサ102はその平面自由度内で、たとえばXおよびY軸に沿って、マウスの位置を検出する。記載する実施形態では、センサ102は、コンピュータシステムに方向入力を提供するために、標準的マウスボール110を含む。代替的に、任意選択的センサまたは他の型のセンサを使用することができる。

0033

マウス装置100は、マウスのユーザに触感などの触覚フィードバックを与えるために、一つまたはそれ以上のアクチュエータ104を含む。アクチュエータ104は、ユーザに触覚フィードバックを提供するためにハウジング101に接続される。一実施形態では、アクチュエータはアクチュエータによって運動する慣性質量に接続される。慣性質量の運動によって生じる慣性力は、慣性質量に対してマウスのハウジングに加えられ、それによってハウジングに触れているマウスのユーザに触感のような触覚フィードバックを伝える。一部の実施形態は、アクチュエータ自体が慣性質量として運動することができる。そのような実施形態は米国特許第6211861号および米国特許出願第09/585741号にさらに詳しく記載されており、参照によって両方を丸ごとここに組み込む。ゲームパッド、ハンドヘルドリモートコントロール、携帯電話、PDA等のような他の型のインタフェース装置は、慣性触感用のアクチュエータを含むことができる。

0034

他の型のインタフェース装置およびアクチュエータも本発明で使用することができる。例えば、ゲームパッド、マウス、または他の装置は、装置のハウジングまたはマニピュランダムに慣性触感を提供するために、アクチュエータの回転軸に結合された偏心回転質量を含むことができる。ジョイスティック、ノブ、スクロールホイール、ゲームパッド、ステアリングホイール、トラックボール、マウス等のような他の型の触覚装置は、運動感覚力フィードバックを提供することができ、力はマニピュランダムの感知される自由度で出力される。例えば、運動感覚マウス触覚装置の実施形態は米国特許第6100874号および第6166723号に開示されており、参照によって両方を丸ごとここに組み込む。

0035

図4は、本発明に使用するのに適したインタフェース装置12の別の実施形態150の斜視図である。ノブ装置150は、電子装置またはホストコンピュータ14の様々な機能を制御するためにユーザによって操作される制御ノブ152を含む。例えばノブ装置は、以下で述べる編集ソフトウェアを実行するホストコンピュータ14に接続された別個のハウジングに設けることができ、あるいはオーディオ編集に関連する他のコントロールまたは希望する他の制御機能を含む完全制御パネルに設けることができる。ホストコンピュータ14の表示装置26(またはノブ装置専用の表示装置)は、以下で述べる通り編集コントロールを表示することができる。

0036

制御ノブ152は、ユーザが本発明の機能および設定を直接操作することを可能にする。ノブ152は、ユーザによって係合可能な略円筒形物体とすることができる。記載する実施形態では、ノブ152は、矢印154によって示すように、ノブから外延する軸線Aのような軸線を中心に一回転自由度で回転する。ユーザはノブ152の周面156を把持するかそれに触れて、所望の量だけそれを回転することが好ましい。代替の実施形態では、各ノブが異なるかまたは同様の制御機能を提供するように、複数のノブ152を設けることができる。

0037

さらに、制御ノブ152の一部の実施形態は、ユーザのために追加の制御機能性を与えることができる。制御ノブ152は、軸線Aに沿った自由度で(または軸線Aにほぼ平行に)押しかつ/または引くことができることが好ましく、この運動はアキシャルスイッチまたはセンサによって感知される。これはユーザに、ノブから彼または彼女の把持を解除する必要なく、機能または設定を選択する追加の方法を提供する。例えば、一実施形態では、ユーザは表示装置14に表示されたカーソルまたは他のインジケータを、ノブ152の回転を使用して移動させることができる。カーソルを表示装置上の所望の設定または領域まで移動させたとき、ユーザはノブ152を押して、所望の設定を選択することができる。ノブ152の押しおよび/または引き機能性は、スプリングリターンバイアスを備えることができ、あるいはユーザが積極的にノブを新しい位置に移動するまで、押されるかまたは引かれた位置に留まるように実現することができる。

0038

他の実施形態では、ノブ152は、回転軸線Aに対して略垂直(直交)な平面内で一つまたはそれ以上の横方向または側方方向に、ユーザによって移動させることができる。この横方向移動を矢印158によって示す。例えば、ノブ152は、図示した四つの直交方向または四つの対角方向に移動させることができる。ノブ152のこの横方向移動により、ユーザはモード選択、カーソル位置、または値もしくは大きさの設定など、被制御装置の追加の設定または機能を選択することが可能になる。

0039

ノブ152は、ノブの少なくとも回転自由度の力フィードバックを備えることが好ましい。ノブ152に接続された軸を有する、回転DCモータなどのアクチュエータ160を設けることができる。アクチュエータは、回転中のノブにデテントスプリング制動バリア、または他の力感覚を提供する力を出力することができる。ノブの回転位置を読み取るためのセンサをアクチュエータに組み込むか、または別個に設けることができる。代替的に、または追加的に、ノブの横方向および/または直線軸方向運動を作動させることができる。ノブハードウェア実現は米国特許第6154201号に詳細に記載されており、参照によってここに組み込む。幾つかの力感覚について米国特許第5734374号および第6154201号に記載されており、参照によってそれらを丸ごとここに組み込む。

0040

触覚フィードバックによるサウンドデータの出力および操作
本発明は、触覚フィードバックインタフェース装置によって出力される触覚感覚を使用することにより、デジタルサウンドデータ(「オーディオデータ」とも呼ぶ)の操作におけるユーザの経験を改善する。

0041

図5は、本発明の前処理の一実施形態200の流れ図である。この方法は、記載の実施形態で使用される例であるサウンドコンポジション/編集プログラムなどのアプリケーションプログラムによって実現することができる。代替的に、該方法は、サウンドコンポジション/編集プログラムと一緒に実行される別個のアプリケーションプログラムまたはドライバプログラムを使用して実現することができる。他の型のアプリケーションプログラムを本発明に使用することもできる。

0042

該方法は202で開始され、ステップ204で、ユーザによって行なわれた設定が読み込まれる。例えば、ユーザは、グラフィカルユーザインタフェースで表示されたフィールドに設定を事前に入力しておくことができる。そのようなユーザインタフェースの例については、図10および11に関連して後述する。設定は、ユーザが触覚感覚の感じおよび再生または編集されるサウンドに対するそれらの関係を調整することを可能にする。ユーザ設定は他の方法で、例えばデータベースを読み出すプログラムによって、ネットワーク接続された記憶装置を介するなどによって、入力することもできる。

0043

次のステップ206で、サウンドファイルまたはサウンドデータ、もしくはとりわけサウンドデータを含むファイルの全部または一部がメモリにロードされる。サウンドデータは一般的に、当業者には周知の通り、サンプルからオーディオ信号をどのように生成するかをドライバまたは他のI/Oプログラムまたは装置に指示する、一連の個々のデジタルサウンドサンプルから成る。このサウンドデータは本発明の方法によって前処理され、サウンドデータが後でスピーカまたは他のオーディオ出力装置によってユーザに再生されるときに、触覚感覚を出力することが可能になる。本発明方法をサウンド編集または再生プログラム以外の別個のプログラムによって実行する場合には、別個のプログラムは前処理のためにサウンドデータをメモリにロードすることができる。

0044

次のステップ208で、メモリにロードされたサウンドデータは、触覚感覚に関連付けるべき所望のサウンド特性を見つけるために前処理される。例えば、該方法は、サウンドファイルが再生装置によって再生または出力されるように仕方で、例えば時間シーケンス、または他の実施形態では他のシーケンスで、サウンドファイルを検討することができる。

0045

探索される所望のサウンド特性は様々な実施形態で異なることができ、ステップ204で読み込まれたユーザ設定によって影響を与えることができる。一実施形態では、該方法はサウンドデータにおける振幅の極端な上昇を探索することができる。これを図6の波形図220に図示する。サウンドデータはサウンド波形222を表わし、音楽中のドラムビートまた他のパーカッションの音のような、サウンド中の短いまたは突然の特徴に対応するサウンドの短いピーク224を持つかもしれない。例えば第一ピーク224における振幅の上昇を、ステップ208で探索する特性とすることができる。振幅の最小しきい上昇を課すことが好ましい。例えば、サウンド波形の平均振幅より大きい予め定められた百分率、例えば50%をしきい値とすることができる。ステップ206でメモリにロードされたサウンドデータの全量に対し、サウンドデータの平均振幅を事前に算出することができる。しきい値の百分率値はステップ204でロードするユーザ設定とすることができ、あるいはデフォルト値とすることができる。

0046

該方法は、例えばノイズが所望のサウンド特性として検出されないように、誤り訂正を含む、より精巧な方法も使用することができる。例えば、触覚感覚を割り当てるべきサウンドデータで特徴をピークとして識別するには、該方法は、特徴をサウンドデータにおけるピークとして登録するために、立ち上がり後に、サウンド波形がサウンドデータのその箇所で平均値よりある百分率下まで立ち下がることを要求することができる。波形にこの立ち下がりが無ければ、見つかった振幅の低下は低下、例えばノイズとみなすことができるので、真の振幅の低下は波形中に後で発生することがある。この検査は、唯一の望ましいピークおよび振幅の小さい低下を引き起こしたノイズがあるときに、誤って複数のピークを見出す機会を低減する。

0047

何らかのサウンドの特徴が所望の触覚特徴として過剰計数されるのを防止するために、他の誤り訂正措置を取ることができる。例えば、該方法がサウンドデータのピークに遭遇した場合に、該方法はサウンドデータで見つかった前回のサウンドピークを検査することができる。現在見つかったピークが前回のピークから予め定められた最小時間間隔によって分離されない場合には、現在のピークは所望の触覚サウンド特性として計数すべきではない。これは、再生中に時間的に近接し過ぎているのでユーザがそれらを区別できないサウンド特性に触覚感覚を割り当てるのを防止し、したがって処理時間を節約する。他の実施形態では、現在のサウンド特性と前に見つかった特性との間で他の比較を行なって、現在の特性を触覚感覚に割当可能とみなすべきか否かを決定することができる。予め定められた振動数、振幅の予め定められた百分率の低下等のような、サウンドデータの他の特性を探索することもできる。

0048

サウンドデータ内でサウンド特性が見つかると、次のステップ210で、見つかったサウンド特性の位置を示すマーカがマーカのランニングリストに追加される。マーカは簡単に、サウンド特性が始まる位置、または特性の何らかの他の標準化位置におけるサウンドサンプルの番号(例えばサウンドデータの開始を基準とする)を示す数字とすることができる。例えば、マーカは図6でピーク224の開始における破線226によって表わされる。線226の位置におけるサウンドサンプルの識別番号(または他の識別子)をマーカリストに格納することができる。

0049

マーカのリストは、本発明の以前の繰返しで見つかった、触覚感覚に一致する所望のサウンド特性、例えば、順次処理が実現される場合に、サウンドデータストリーム中で先に発生する触覚連関の特性を全て含む。リストは、再生中にリスト内のサウンドサンプルを現在再生されているサウンドサンプルと容易に比較できるように編成される。

0050

一部の実施形態は単にリスト内のマーカを提示するだけであり、全てのマーカはデテントのような標準的触覚感覚に関連付けられる。したがって、再生中にマーカに達したときはいつでも、ユーザにデテントが出力される。他のより複雑な実施形態では、各マーカは、見つかったサウンド特性の型または特徴に基づいて、一型の触覚感覚に関連付けることができる。例えば、関連付けられる触覚感覚(その型および/またはパラメータ)の指示を、各マーカと共にマーカリストに格納することができる。他の実施形態では、各サウンドサンプルまたは数個のサウンドサンプル毎にマーカを配置することができ、各マーカに関連してそのサンプルのサウンドの振幅に比例するように力値が算出される。これにより、触覚出力をサウンドデータの振幅に連続的に一致させることができる。しかし、そのような連続的一致は、以下で図8に関連して述べるように、実時間処理の実施形態でよりよく実現される。

0051

次のステップ212で、サウンドファイルまたはサウンドデータの終わりに達し、前処理が必要なデータがもう残っていないかどうかが検査される。これが当てはまらない場合には、該方法はステップ208に戻って、別の所望のサウンド特性が見つかるまでサウンドデータをさらに前処理する。前処理が必要なデータがそれ以上無ければ、該方法は214で終了する。

0052

図7は、本発明に従って前処理されたサウンドデータおよび触覚感覚を再生するための方法250を示す流れ図である。この方法では、ユーザまたはアプリケーションプログラムがスピーカまたは他のオーディオ装置を介してユーザにサウンドを出力することを想定している。この方法例が主に関連する一実施形態では、アプリケーションプログラムは、ユーザがユーザからの入力に基づいて音楽を触覚装置12を介して再生することを可能にする音楽作曲/編集プログラムである。例えばユーザはノブ装置を操作して、ノブを一方向に回してサウンドを順方向に再生し、かつノブを逆方向に回してサウンドを逆方向に再生することによって、サウンドを再生することができる。あるいは、ユーザはマウス、ジョイスティック、または他の装置を使用することができる。ユーザはしばしばこの順方向および逆方向再生を実行して、ユーザがアプリケーションプログラムを使用して編集または作曲したばかりのサウンドサンプルを聞き、またこの特徴を使用して、サウンドデータをさらに編集するためにサウンドデータストリームの所望の位置にカーソルを配置することもできる。

0053

該方法は252で開始され、ステップ254で該方法は、サウンドの再生を開始または続行するかどうかを検査する。しない場合には、該方法は256で終了する。する場合には、ステップ258で、ユーザが触覚装置のノブまたは他のマニピュランダムを新しい位置へ回転するなどの新しいユーザ入力を受け取ることができる。あるいはユーザによって新しい入力が提供できないこともある。ステップ260で、サウンドデータは、ユーザによって指示された順方向または逆方向のいずれかの方向に、スピーカを介して再生される。方向は、ノブの回転の方向、マウスまたはジョイスティックまたはホイールの動きの方向等に対応することができる。

0054

一部の実施形態は、ユーザがサウンド再生の速度を制御できる速度制御モードを提供することができる。再生速度は、基準位置からのマニピュランダムまたはオブジェクトの現在の位置に基づく。例えば、ノブの実施形態で、ユーザがノブを原点静止位置から遠くに回転すればするほど、サウンド再生の速度は大きくなる。一部の実施形態では、ユーザはこの速度制御を支援するためにノブにばね抵抗をも有する。他の実施形態は、ユーザマニピュランダムが移動しているときにだけ音楽が再生され、特定の移動量が音楽再生の特定の量または持続時間に対応する位置制御モードを設けることができる。例えば、位置制御モードで、ユーザはノブを持続的に時計方向に回転して音楽の再生を聞くことができ、かつその回転の速度を調整して再生の速度を調整することができる。ユーザがノブの回転を停止すると、サウンドの再生が停止する。該モードはまた、どの触覚感覚を出力するかを決定することもできる。例えば、時間ベースポップまたは衝撃は速度制御モードに適しており、位置ベースのデテントまたは跳びはねは位置制御モードで出力することができる。

0055

次のステップ262で、該方法は、サウンドデータ内のマーカに達した場合に触覚効果を再生する。マーカは図5の前処理に基づいてリストに配置されていることが好ましく、各マーカは関連付けられるサウンドサンプルまたはサウンドデータ内の位置を有する。再生中にそのサウンドサンプルまたは位置に達すると、そのマーカに関連付けられた触覚作用を出力するように命令される。例えば、図6に示すように、触覚感覚は線228によって指定される。再生中にマーカ226に達すると、関連付けられた触覚感覚が出力され、それは本実施例では、線228でくぼみ230によって示される力デテントである。上述の通り、一部の実施形態は、到達した特定のマーカと共に触覚感覚の型を格納することができ、多種多様の触覚感覚を出力することが可能になる。

0056

したがって、触覚感覚は、関連付けられたサウンドの特徴の出力と同時に、触覚装置によって直ちにユーザに出力される。例えば、出力されるドラムビートサウンドは同時に、触覚装置からユーザへの力パルスまたは衝撃の出力と協調する。次いで、該方法はステップ254に戻って、再生を続行するかどうかを検査する。そうする場合、サウンドは再生され、同様の仕方でマーカに達したときに触覚効果が再生される。

0057

一部の実施形態は、ユーザ入力のような他の因子に基づいて、出力触覚感覚を変化させることができる。例えば、触覚感覚は、ユーザによって制御されるサウンド再生の速度に基づくことができる。一実施形態では、デテントまたは他の触覚感覚の大きさは、再生の速度に正比例するか、または予め定められたしきい速度に対する現在の再生速度の関係に基づくことができる。

0058

音楽以外に、スピーチのような他のサウンド、例えば映画の音声のみまたは対話を再生することができる。したがって触覚感覚はサウンドデータにおけるスピーチ特性に基づくことができる。一部のプログラムは、文または文内の語句および語の間またはその内部における休止のように、スピーチ特性を区切り、ユーザにスピーチ出力を表わすサウンドデータを編集させることができる。

0059

したがって本発明は、サウンドデータの特徴の出力と相関する触覚感覚を提供する。ユーザはサウンドデータをナビゲートしてシリアルデータ内の特定の箇所を見つけることができ、触覚感覚は、ピークのような有意の特徴がアプリケーションプログラムによって提供されるカーソルまたはポインタによってスクロールされたか、またはそれらの位置で突き止められたときにそれをユーザに知らせることができる。これはユーザのナビゲーションおよび編集タスクを大いに支援する。

0060

図8は、本発明に係るサウンド再生に従って触覚感覚を出力する実時間再生プロセスを示す流れ図である。実際のサウンド再生の前に、触覚感覚にマッピングすべき特性を求めて前処理される図5および7の方法とは対照的に、本方法では、サウンドデータは再生中に処理され、したがって前処理時間および計算が省かれる。

0061

該方法は302で開始され、ステップ303で、サウンドデータはメモリ(一次バッファ)にロードされる。上述の通り、これは再生すべきサウンドファイル、または再生すべき他のデータ(例えば視覚的データ)の中にサウンドデータを含むファイルとすることができる。ステップ304で、該方法は、サウンド再生を開始または続行するかどうかが検査される。しない場合、該方法は306で終了する。する場合、ステップ308で、図7について上述したのと同様に、ユーザが触覚装置のノブまたは他のマニピュランダムを新しい位置へ回転するなどの新しいユーザ入力を受け取ることができる。ステップ310で、サウンドデータは、図7の方法について述べたのと同様に、ユーザによって指示された方向に、スピーカを介して再生される。速度制御モード、位置制御モード、または他の制御パラダイムを使用することができる。再生のために、再生プログラム(音楽編集プログラムなど)は、再生されている現在のサウンドサンプルまたはサウンドデータ中のサンプルが次に再生されるかを示す「再生ポインタ」を提供することができ、ポインタはサウンドサンプルが出力されるときにそれに沿って単に移動する。

0062

次のステップ312で、再生ポインタ近くのサウンドデータの部分は二次バッファに格納される。例えば、これは、再生ポインタの現在位置の直後に再生される、100ミリ秒分のサウンドのように、予め定められた量のサウンドデータとすることができる。ステップ314で、二次サウンドバッファ中のデータは、サウンド特性について処理され分析される。このステップは、図5の処理ステップ208と同様とすることができ、そこで触覚感覚に関連付けることを希望するサウンドデータの特徴が探索される。例えば、振幅の上昇および/または低下を調べることができる。触覚感覚にマッピングすべきサウンド特性が存在するか否か、およびマップされる特定の触覚感覚を決定するのを助ける際に、全てのユーザの選好または設定を使用することができる。触覚感覚の大きさが連続的にサウンド振幅に従う場合(図9Aおよび9B参照)のような他の実施形態では、サウンドの特定の特徴を見つける必要は無い。

0063

次のステップ316では、ステップ314で見つかったサウンド特性に基づいて、触覚作用が触覚装置に送られて再生される。例えば、サウンドの振幅の上昇が見つかった場合、図7前処理方法でマーカが見つかった場合と同様に、デテント感覚を出力することができる。代替的に、連続的にサウンドの振幅に基づく大きさを持つ触覚感覚を出力することができる。例えば、図9Aは、二つの波形330および332を基本的時間対振幅の形で示す模式図である。波形330は、経時的なサウンドデータのサウンド振幅を表わす。この実時間処理の実施形態では、該方法は、二次バッファのサウンドデータのサウンド振幅に連続的に比例する、波形332によって表わされる触覚感覚の振幅を算出することができる。例えば、ノブなどのマニピュランダムに抵抗を出力することができ、ここで抵抗の大きさは現在のサウンド振幅に対応し、サウンド振幅により変化する。図9Bでは、サウンド波形振幅330は同様に示されているが、触覚感覚振幅336は連続的にサウンド振幅とは逆に変化して、異なる触覚経験をユーザに提供することができる。他の連続触覚感覚マッピングまたはサウンド特性感覚マッピングを使用することもできる。

0064

サウンド特性が見つかり、触覚感覚がマッピングされ、出力するように命令された後、触覚感覚に対応するサウンドサンプルがスピーカによって再生されているおおよその時間に、ユーザは触覚感覚を感じる。見つかったサウンド特性に対して触覚作用が再生されると、該方法はステップ304に戻り、サウンド再生を続行するかどうかを検査する。

0065

図10は、本発明のためにユーザに選好および設定を入力させるだけでなく、サウンド再生を簡単に制御させてユーザ設定をテストすることもできる、グラフィカルユーザインタフェース400の模式図である。例えば、これらの設定は、サウンド/音楽編集プログラムなどのアプリケーションプログラムに組み込むことができ、あるいは別個のテストプログラムで使用することができる。

0066

サウンド制御パラメータ402は、サウンドファイルフィールド404を含むことができ、これによりユーザは、触覚感覚が相関するサウンドデータを含む、再生すべき所望のサウンドファイルを選択することができる。サウンドファイルは丸ごとメモリにロードすることができ、一部の実施形態では、反転再生ができるようにファイルの反転バージョンを第二バッファにロードすることができる。状態フィールド406は、ファイルを開いている、サウンドデータを処理中、反転再生のために反転バッファを作成中などのような、プログラムの現在の状態を表示することができる。再生調整フィールド408は、ユーザが値を入力してサウンドデータの再生をカスタマイズすることを可能にし、再生の速度を調整する周波数フィールド(そのファイルの再生の通常の周波数を最初に自動的に設定することができる)、左右のスピーカ間の再生のバランスを調整するパンフィールド、およびサウンドの出力振幅を調整するボリュームフィールドを含む。これらのユーザ設定を入力するためにスライダバー410を使用することもできる。ループサウンドボックス412は、サウンドファイルのデータの最後に達したときにサウンドファイルが再生を繰り返すか、それとも停止するかをユーザに選択させる。ボタン414は、ユーザにサウンドファイルの再生を始動、停止、または休止させる。

0067

処理パラメータ420は、触覚感覚がサウンドデータに基づいて生成される仕方に影響を及ぼすパラメータをユーザに調整させる。ピークしきいパラメータ422は、上述したように触覚事象をトリガする、平均サウンドレベルに比較したサウンド信号の上昇の量を指定するために使用することができる。該パラメータは平均サウンド振幅の百分率で指定することができる。例えば平均振幅の50%またはそれ以上の上昇は、触覚感覚をその上昇に関連付けさせるのに充分な有意の上昇である。ピークリセットパラメータ424は、検出された上昇後に、サウンド振幅のピークとするのに充分有意とみなされ、触覚感覚を保証し、かつ上述した偽の多数のピークを見つけ出すのを防止する、(平均サウンド振幅に比較した)サウンド振幅の百分率低下を指定させる。最小ビート間隔パラメータ426は、第二のピークを計数するために二つのピークの間に存在しなければならない最小間隔である時間間隔(例えばミリ秒単位)をユーザに指定させる、別の誤り検査パラメータである。最小間隔が存在しなければ、第二のピークは、上述したとおり、ノイズによって生じた偽ピークとみなされる。窓サイズパラメータ428は、サウンドデータ振幅を平均化するのに使用される分解能を定義する、サウンドサンプル数単位の窓サイズをユーザに指定させる。該方法は各窓内のサンプルを平均化し、次いで全ての窓をひとまとめに平均化して平均サウンド振幅を見出すことができる。

0068

装置選択430は、システムでどの型の触覚装置12が現在使用され、どれによって触覚感覚が出力されるかをユーザに選択させる。異なる装置は、触覚感覚を出力するために異なるコマンドを必要とする。位置制御または速度制御を有するノブ装置、触知フィードバックマウス、および運動感覚フィードバックマウスが選択肢として示されているが、どんな触覚装置でも使用することができる。マウス制御フィールド432は、ユーザがマウスカーソルを使用してサウンド再生を制御することを可能にし、サウンド再生およびユーザの選好および設定によって変更された触覚感覚出力をテストするために使用することができる。例えば、シャトルフィールド436は、ユーザがシャトルフィールド内でカーソルを移動させて、サウンドファイルを位置制御モードで再生させることを可能にする。カーソルがシャトルフィールド436内で左右に移動しながらボタンを押し下げると、音楽はカーソルの速度に比例する速度で再生され、右に移動すると順方向再生になり、左に移動すると逆方向再生になる。スクロールフィールド434は、ユーザがフィールド内でカーソルを移動させて、サウンドファイルを速度制御モードで再生させることを可能にする。ユーザはカーソルを配置または移動させて、再生の方向および速度に影響を及ぼす。カーソルの位置がフィールド434の中心点の右側にあると、カーソルと中心点との間の距離に比例する速度で順方向再生が生じ、カーソルの位置が中心点の左側にあると、同様に比例する逆方向再生が生じる。

0069

テストボタン438は、図5について記述した前処理実施形態で、処理パラメータまたは装置選択が変更された場合に、ユーザがメモリ内のサウンドデータの再処理を開始することを可能にする。

0070

図11は、本発明のためにユーザに追加的選好および設定を入力させることができる、別のグラフィカルユーザインタフェース500の模式図である。希望するならば、これらの設定のいずれかまたは全部を、図10の設定の一部または全部と共に、単一インタフェースに含めることができる。サウンドファイルフィールド502はユーザにサウンドファイルを指定させ、触覚装置設定504はユーザに触覚装置の型を選択させる。

0071

フィルタ506は、本発明の一部の実施形態で、図5または図8の方法のサウンドデータ処理ステップで使用することのできるフィルタの周波数範囲をユーザにカスタマイズさせる。低域通過フィルタ高域通過フィルタ、および/または帯域通過フィルタを使用して、触覚感覚を適用することのできるサウンドデータの様々な周波数範囲を分離させることができる。ユーザは、これらのフィルタにカットオフおよび範囲限界を設定することができ、低域通過フィルタはユーザ指定カットオフより上の周波数を除去し、高域通過フィルタはユーザ指定カットオフより下の周波数を除去し、帯域通過フィルタはユーザ指定周波数範囲外の周波数を除去する。

0072

異なる型のサウンドは異なる周波数範囲に依存するので、フィルタはサウンド編集タスクに役立てることができる。例えば、スピーチの有意義な情報は、より高い周波数に存在するので、スピーチを編集するユーザは、関連周波数だけが存在するように高域フィルタを適用したいと思うだろう。そうするとスピーチの所望の特徴は、これらの関連周波数でより容易に見出される。同様に、重く強いビートまたはリズムに依存する音楽(例えばロックロールダンス音楽、ラップ)は、低周波数に多くの情報を含む一方、多くのクラシック音楽は高および中間範囲の周波数を中心とする。再生される音楽のスタイルに応じて適切なフィルタを使用して、有意義な周波数範囲を分離することができる。フィルタはまた、楽器の特性に合致するように周波数成分を制御することができるので、サウンドデータの個々の楽器のサウンドを編集するときにも有用である。

0073

調波トラッキング設定508は、ユーザがオンまたはオフに設定することができる。調波トラッキング機能は、オンに設定された場合、サウンドの調波成分または音色への触覚感覚(例えばテクスチャまたは振動)のマッピングを生成することができる。触覚テクスチャとは、予め定められた方法で相隔配置または編成され、かつ触覚装置のユーザマニピュランダムがテクスチャフィールドの各「バンプ」位置(例えばデテント、衝撃等)の上を移動するときに出力される、デテントまたは衝撃などの短い触覚特徴のパターンである。触覚テクスチャは出力サウンドの音色に関連付けることができる。例えば、より遠くに離して配置された「バンプ」を有するクリーンで単純な触覚テクスチャは、純音をサウンドとして出力しながら、触覚的に出力することができる。対照的に、近接配置されたバンプを有する複雑かつ濃密なテクスチャは、サウンドの複合音が出力されるときに触覚的に出力することができる。フルートのサウンドはどちらかというと純音であり、非常に軽くかつ単純な触覚テクスチャにマッピングするか、あるいは全くテクスチャ無しとすることさえできる。スペクトルの他端では、エレキギターディストーションの超複合音であり、重く、複雑な触覚テクスチャにマッピングすることができる。テクスチャは位置制御モードにより適している。速度制御モードでは、振動を同様に出力することができ、低周波振動は遠くに離して配置されたテクスチャに対応し、高周波振動は近接して配置されたテクスチャに対応する。

0074

効果設定は、触覚感覚の一部をどのように感じるようにするかをユーザに調整させる。連続性設定510は、触覚出力を連続的に変化させるか、それとも事象ベースとするかをユーザに選択させる。「連続」を選択すると、触覚出力は、図9Aおよび9Bに関連して上述した通り、サウンド特性の変化と共に実時間で変化する。これは、ユーザがナビゲーション中にサウンドの振幅を連続的に追跡したい場合に選択することができる。「事象ベース」を選択した場合、図6に関連して上述した振幅の上昇のような、サウンドデータ内の有意の事象だけが触覚事象をトリガする。例えば、ビート、振幅ピークが触覚デテントをトリガすることができる。他の実施形態では、ユーザは、連続触覚出力および事象ベース触覚出力の両方を可能にする選択肢、例えば抵抗力の上に重ねられる衝撃またはデテントで補足される連続抵抗を選択することができる。

0075

サウンド対力の大きさのマッピング設定512は、触覚出力応答をどのように出力するかをユーザに選択させる。例えば、直接マッピングを選択した場合、図9Aに関連して上述した通り、サウンド振幅が大きいほど、生成される触覚力の大きさが強くなる。反転マッピングが選択された場合、図9Bに関連して上述した通り、サウンド振幅が大きいほど、生成される触覚力の大きさが弱くなる。このマッピングは連続性設定510の連続設定、または事象ベース設定に適用させることができる(例えば反転デテントを出力することができる)。

0076

波形514は、メモリにロードされたサウンドデータを表わす波形の図形表現である。波形は、例えばユーザがサウンドデータをナビゲートするときに表示することができる。サウンドデータファイル全体を波形として表わすことができ、あるいはサウンドデータの一部分を表わすことができる。図示した例では、カーソル516は、波形における現在の再生位置を示す縦棒である。ナビゲーションおよびサウンドの再生中に、カーソル516は再生方向に対応する方向に移動し、かつ再生の速度で移動する(代替的に、波形全体をスクロールさせ、カーソルを静止させておくことができる)。したがってユーザは、カーソルがサウンド内の特徴の上を移動するときにそれを視覚的に感知し、これらの特徴に対応する触覚感覚を感じることができる。触覚感覚にマッピングされたサウンド特性を示すマーカを格納するこれらの前処理実施形態では(図5参照)、マーカを波形に対するそれらの位置に表示することもできる。

0077

本発明は、音楽またはスピーチに使用されるような独立サウンドファイルに使用することができ、それは多くの標準化フォーマット(wav、mp3、MIDI等)の一つとすることができる。加えて、本発明は、ビデオ、映画、および動画などの視覚的表現を記述する他のデータと共に含めることのできるサウンドデータに使用することができる。

0078

本発明を幾つかの好適な実施形態に関して説明したが、その変形、並べ替え、および均等物は、本明細書を読み、図面を検討することにより、当業者には明らかになるであろう。例えば、触覚フィードバック装置の多くの様々な実施形態を使用して、本書で記述した触覚感覚を出力することができる。さらに、特定の用語法を使用したのは説明を分かり易くするためであって、本発明を限定するためではない。

図面の簡単な説明

0079

図1
触覚フィードバックにより増強されたユーザのためのサウンドデータ操作能力を提供するためのシステムを示すブロック図である。
図2
ホストコンピュータと通信する触覚フィードバックインタフェース装置を含む、図1の触覚フィードバックシステムの一実施形態を示すブロック図である。
図3
本発明に使用するのに適した触覚フィードバック装置のマウスの実施形態の側面断面図である。
図4
本発明に使用するのに適したインタフェース装置12の別の実施形態150の斜視図である。
図5
本発明に従ってサウンドデータを前処理するための方法の流れ図である。
図6
サウンド波形および該サウンド波形と相関される触覚感覚の模式図である。
図7
本発明に従って前処理されたサウンドデータおよび触覚感覚を再生するためのプロセスを示す流れ図である。
図8
本発明に係るサウンド再生に従って触覚感覚を出力する実時間再生プロセスを示す流れ図である。
図9A
直接出力における連続触覚出力のサウンドおよび触覚の波形を基本的時間対振幅の形で示す模式図である。
図9B
反転出力における連続触覚出力のサウンドおよび触覚の波形を基本的時間対振幅の形で示す模式図である。
図10
本発明のためにユーザに選好および設定を入力させるだけでなく、サウンド再生を制御させることもできる、グラフィカルユーザインタフェースの模式図である。
図11
本発明のためにユーザに選好および設定を入力させることができる、別のグラフィカルユーザインタフェースの模式図である。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ

特許:約8,000万件, クラウドファンディング:約100万年, 科研費・グラントデータ:約500万件, 発明者・研究者情報:約600万人