図面 (/)

技術 音声信号に関係付けられる触覚効果を生成するためのシステム及び方法

出願人 イマージョンコーポレーション
発明者 クルス-エルナンデス、ユアンマヌエルサボーネ、ジャマールレベスク、ビンセントモダレス、アリ
出願日 2014年9月5日 (6年2ヶ月経過) 出願番号 2014-180754
公開日 2015年3月19日 (5年8ヶ月経過) 公開番号 2015-053054
状態 特許登録済
技術分野 デジタル計算機のユーザインターフェイス 電話機の機能
主要キーワード 小型イヤホン 静電摩擦 表面ベース 高圧増幅器 機械ノイズ 感情的状態 慣性測定装置 スペクトル重心
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2015年3月19日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (14)

課題

音声信号関係付けられる触覚効果を生成するためのシステム及び方法を提供する。

解決手段

触覚効果を出力するためのシステムは、音声信号を受信し(402)、音声信号における1つ以上の成分を識別することによって音声信号に部分的に基づいて触覚効果を決定し(404)、1つ以上の成分に関係付けられる触覚効果を決定し、触覚効果に関係付けられる触覚信号を出力する(406)ように構成されるプロセッサを含む。

概要

背景

タッチ可能装置の人気が高まってきている。例えば、ユーザがタッチセンサ式ディスプレイタッチ部分で入力を提供できるように、携帯式及び他の装置はタッチセンサ式ディスプレイを用いて構成される場合がある。別の例示として、トラックパッドマウス又は他の装置等のディスプレイとは別のタッチ可能表面が入力に使用される場合がある。更に、一部のタッチ可能装置は、触覚効果、例えば、テクスチャ又はタッチ面における摩擦シミュレートするように構成される触覚効果を利用する。一部の装置では、こうした触覚効果は、装置によって出力される音声又は他の効果と相関する場合がある。しかしながら、音声及び触覚効果を処理して出力するレイテンシのために、こうした効果は説得力が少ない場合がある。従って、音声効果関係付けられる改善された触覚効果が必要とされている。

概要

音声信号に関係付けられる触覚効果を生成するためのシステム及び方法を提供する。触覚効果を出力するためのシステムは、音声信号を受信し(402)、音声信号における1つ以上の成分を識別することによって音声信号に部分的に基づいて触覚効果を決定し(404)、1つ以上の成分に関係付けられる触覚効果を決定し、触覚効果に関係付けられる触覚信号を出力する(406)ように構成されるプロセッサを含む。

目的

この例示の実施形態は、本主題限界を限定又は定義するためではなく、その理解を支援するための例示を提供する

効果

実績

技術文献被引用数
1件
牽制数
1件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

音声信号を受信し、前記音声信号における1つ以上の成分を識別すること、及び前記1つ以上の成分に関係付けられる触覚効果を決定することによって、前記音声信号に部分的に基づいて触覚効果を決定し、前記触覚効果に関係付けられる触覚信号を出力するように構成されるプロセッサを備える、触覚効果を出力するためのシステム

請求項2

前記音声信号の1つ以上の成分を識別することは、1つ以上の成分に関係付けられる信号を受信すること、前記音声信号を複数のセグメントに分割すること、前記1つ以上の成分が存在するかどうかを決定するために前記複数のセグメントの1つを分析すること、及び前記1つ以上の成分の存在に基づいて前記セグメントを分類することを含む、請求項1に記載のシステム。

請求項3

複数の音声セグメントの1つを分析することは、聴覚イベント検出技術を実行することを含む、請求項2に記載のシステム。

請求項4

前記聴覚イベント検出技術は、自動発話認識を含む、請求項3に記載のシステム。

請求項5

前記複数の音声セグメントの1つを分類することは、前記音声セグメントを前記1つ以上の成分に関係付けられるデータのデータベースと比較することを含む、請求項2に記載のシステム。

請求項6

触覚効果を決定することは、前記セグメントの分類に基づいて触覚効果を割り当てることを含む、請求項2に記載のシステム。

請求項7

前記音声信号の1つ以上の成分を識別することは、前記音声信号における音声効果ソースを分離することを含む、請求項1に記載のシステム。

請求項8

前記1つ以上の成分に関係付けられる触覚効果を決定することは、前記ソースに触覚効果を割り当てることを含む、請求項7に記載のシステム。

請求項9

前記音声信号における音声効果のソースを分離することは、前記音声信号における発話を分離することを含む、請求項7に記載のシステム。

請求項10

前記1つ以上の成分に関係付けられる触覚効果を決定することは、前記発話に関係付けられる1つ以上の感情を決定すること、及び前記1つ以上の感情に関係付けられる触覚効果を決定することを含む、請求項9に記載のシステム。

請求項11

発話に関係付けられる1つ以上の感情を決定することは、周波数に基づいた分析、時間に基づいた分析、音声品質分析、又は前記発話の特性を発話における感情に関係付けられるデータのデータベースと比較することの1つ以上を含む、請求項10に記載のシステム。

請求項12

前記音声信号を受信して、可聴効果を出力するように構成される音声出力装置と、前記プロセッサと通信する触覚出力装置であって、前記触覚信号を受信して、前記触覚効果を出力するように構成される触覚出力装置とを更に備える、請求項1に記載のシステム。

請求項13

前記触覚信号を受信して、触覚トラックに前記触覚信号を記憶するように構成されるデータストアを更に備える、請求項1に記載のシステム。

請求項14

前記触覚効果は、摩擦係数の変化、擬似テクスチャ、又は振動の1つ以上を含む、請求項1に記載のシステム。

請求項15

音声信号を受信するステップと、前記音声信号における1つ以上の成分を識別すること、及び前記1つ以上の成分に関係付けられる触覚効果を決定することによって、前記音声信号に部分的に基づいて触覚効果を決定するステップと、前記触覚効果に関係付けられる触覚信号を出力するステップとを含む、触覚効果を出力するための方法。

請求項16

前記音声信号の1つ以上の成分を識別することは、1つ以上の成分に関係付けられる信号を受信すること、前記音声信号を複数のセグメントに分割すること、前記1つ以上の成分が存在するかどうかを決定するために前記複数のセグメントの1つを分析すること、及び前記1つ以上の成分の存在に基づいて前記セグメントを分類することを含む、請求項15に記載の方法。

請求項17

複数の音声セグメントの1つを分析することは、聴覚イベント検出技術を実行することを含む、請求項16に記載の方法。

請求項18

前記聴覚イベント検出技術は、自動発話認識を含む、請求項17に記載の方法。

請求項19

前記複数の音声セグメントの1つを分類することは、前記音声セグメントを前記1つ以上の成分に関係付けられるデータのデータベースと比較することを含む、請求項16に記載の方法。

請求項20

触覚効果を決定することは、前記セグメントの分類に基づいて触覚効果を割り当てることを含む、請求項16に記載の方法。

請求項21

前記音声信号の1つ以上の成分を識別することは、前記音声信号における音声効果のソースを分離することを含む、請求項15に記載の方法。

請求項22

前記1つ以上の成分に関係付けられる触覚効果を決定することは、前記ソースに触覚効果を割り当てることを含む、請求項21に記載の方法。

請求項23

前記音声信号における音声効果のソースを分離することは、前記音声信号における発話を分離することを含む、請求項21に記載の方法。

請求項24

前記1つ以上の成分に関係付けられる触覚効果を決定することは、前記発話に関係付けられる1つ以上の感情を決定すること、及び前記1つ以上の感情に関係付けられる触覚効果を決定することを含む、請求項23に記載の方法。

請求項25

発話に関係付けられる1つ以上の感情を決定することは、周波数に基づいた分析、時間に基づいた分析、音声品質分析、又は前記発話の特性を発話における感情に関係付けられるデータのデータベースと比較することの1つ以上を含む、請求項24に記載の方法。

請求項26

可聴効果を出力するステップと、前記触覚効果を出力するステップとを更に含む、請求項15に記載の方法。

請求項27

前記触覚信号を触覚トラックに記憶するステップを更に含む、請求項15に記載の方法。

請求項28

前記触覚効果は、摩擦係数の変化、擬似テクスチャ、又は振動の1つ以上を含む、請求項15に記載の方法。

請求項29

プロセッサによって実行されると、前記プロセッサに音声信号を受信すること、前記音声信号における1つ以上の成分を識別すること及び前記1つ以上の成分に関係付けられる触覚効果を決定することによって、前記音声信号に部分的に基づいて触覚効果を決定すること、前記触覚効果に関係付けられる触覚信号を出力することを行わせるように構成されるプログラムコードを含む、一時的でないコンピュータ可読媒体

請求項30

前記音声信号の1つ以上の成分を識別することは、1つ以上の成分に関係付けられる信号を受信すること、前記音声信号を複数のセグメントに分割すること、前記1つ以上の成分が存在するかどうかを決定するために前記複数のセグメントの1つを分析すること、及び前記1つ以上の成分の存在に基づいて前記セグメントを分類することを含む、請求項29に記載のシステム。

請求項31

複数の音声セグメントの1つを分析することは、聴覚イベント検出技術を実行することを含む、請求項30に記載の一時的でないコンピュータ可読媒体。

請求項32

前記聴覚イベント検出技術は、自動発話認識を含む、請求項31に記載の一時的でないコンピュータ可読媒体。

請求項33

前記複数の音声セグメントの1つを分類することは、前記音声セグメントを前記1つ以上の成分に関係付けられるデータのデータベースと比較することを含む、請求項31に記載の一時的でないコンピュータ可読媒体。

請求項34

触覚効果を決定することは、前記セグメントの分類に基づいて触覚効果を割り当てることを含む、請求項30に記載の一時的でないコンピュータ可読媒体。

請求項35

前記音声信号の1つ以上の成分を識別することは、前記音声信号における音声効果のソースを分離することを含む、請求項29に記載の一時的でないコンピュータ可読媒体。

請求項36

前記1つ以上の成分に関係付けられる触覚効果を決定することは、前記ソースに触覚効果を割り当てることを含む、請求項35に記載の一時的でないコンピュータ可読媒体。

請求項37

前記音声信号における音声効果のソースを分離することは、前記音声信号における発話を分離することを含む、請求項35に記載の一時的でないコンピュータ可読媒体。

請求項38

前記1つ以上の成分に関係付けられる触覚効果を決定することは、前記発話に関係付けられる1つ以上の感情を決定すること、及び前記1つ以上の感情に関係付けられる触覚効果を決定することを含む、請求項37に記載の一時的でないコンピュータ可読媒体。

請求項39

発話に関係付けられる1つ以上の感情を決定することは、周波数に基づいた分析、時間に基づいた分析、音声品質分析、又は前記発話の特性を発話における感情に関係付けられるデータのデータベースと比較することの1つ以上を含む、請求項38に記載の一時的でないコンピュータ可読媒体。

請求項40

プロセッサによって実行されると、前記プロセッサに、前記触覚信号を触覚トラックに記憶させるように構成されるプログラムコードを更に含む、請求項29に記載の一時的でないコンピュータ可読媒体。

技術分野

0001

本発明は、概して触覚フィードバックに関し、より詳細には音声信号関係付けられる触覚効果を生成するためのシステム及び方法に関する。

0002

(関連出願の相互参照
本願は、2013年9月6日に提出され、“Audio to Haptics”と題された米国仮出願第61/874,933号への優先権を主張し、その全体は参照により本明細書に組み込まれる。

0003

本願は、同日付で提出され、“Systems and Methodsfor Generating Haptic Effects Associated with an Transitions in Audio Signals”(Attorney Docket No.IMM477(51851−879623))と題された米国特許出願第14/078,438号に関連し、その全体は参照により本明細書に組み込まれる。

0004

本願は、本願と同日付で提出され、“Systems and Methodsfor Generating Haptic Effects Associated with an Envelope in Audio Signals”(Attorney Docket No.IMM478(51851−879624))と題された米国特許出願第14/078,442号に関連し、その全体は参照により本明細書に組み込まれる。

背景技術

0005

タッチ可能装置の人気が高まってきている。例えば、ユーザがタッチセンサ式ディスプレイタッチ部分で入力を提供できるように、携帯式及び他の装置はタッチセンサ式ディスプレイを用いて構成される場合がある。別の例示として、トラックパッドマウス又は他の装置等のディスプレイとは別のタッチ可能表面が入力に使用される場合がある。更に、一部のタッチ可能装置は、触覚効果、例えば、テクスチャ又はタッチ面における摩擦シミュレートするように構成される触覚効果を利用する。一部の装置では、こうした触覚効果は、装置によって出力される音声又は他の効果と相関する場合がある。しかしながら、音声及び触覚効果を処理して出力するレイテンシのために、こうした効果は説得力が少ない場合がある。従って、音声効果に関係付けられる改善された触覚効果が必要とされている。

0006

本開示の実施形態は、タッチ領域感じられ且つ音声信号に関係付けられる触覚効果を特徴とする装置を含む。限定されないが、こうした触覚効果には、テクスチャの変化、摩擦係数の変化及び/又は境界障害物シミュレーション、又は表面と接触しているオブジェクトの使用を通じて知覚され得るタッチ面の他の不連続性が含まれてもよい。

0007

一実施形態では、本開示のシステムは、音声信号を受信し、音声信号における1つ以上の成分を識別することによって音声信号に部分的に基づいて触覚効果を決定し、1つ以上の成分に関係付けられる触覚効果を決定し、触覚効果に関係付けられる触覚信号を出力するように構成されるプロセッサを含んでもよい。別の実施形態は、音声信号に部分的に基づいて触覚効果を決定するための方法を含む。

0008

この例示の実施形態は、本主題限界を限定又は定義するためではなく、その理解を支援するための例示を提供するために言及される。例示の実施形態は、詳細な説明において検討され、そこでは更なる説明が提供される。本明細書を吟味することによって、及び/又は請求項に記載の主題の1つ以上の実施形態を実施することによって、様々な実施形態によってもたらされる利点が更に理解され得る。

図面の簡単な説明

0009

本明細書の以下の部分には完全且つ実施可能な開示がより詳細に説明される。本明細書は以下の添付の図面を参照する。
音声信号に関係付けられる触覚効果を生成するための例示的なシステムを示す。
図1Aで示されたシステムの一実施形態の外観図を示す。
図1Aで示されたシステムの別の実施形態の外観図を示す。
音声信号に関係付けられる触覚効果を生成するための例示的な実施形態を示す。
音声信号に関係付けられる触覚効果を生成するための例示的な実施形態を示す。
一実施形態によって音声信号に関係付けられる触覚効果を生成するための例示的な実施形態を示す。
一実施形態によって音声信号に関係付けられる触覚効果を生成するための方法のフローチャートを示す。
一実施形態によって音声信号に関係付けられる触覚効果を生成するための方法のフローチャートを示す。
一実施形態によって音声信号に関係付けられる触覚効果を生成するための方法のフローチャートを示す。
一実施形態によって音声信号に関係付けられる触覚効果を生成するための方法のフローチャートを示す。
一実施形態によって音声信号に関係付けられる触覚効果を生成するための方法のフローチャートを示す。
一実施形態によってA/V信号を有するコンテンツを生成するためのシステム概略図を示す。
別の実施形態によってA/V信号を有するコンテンツを生成するためのシステム概略図を示す。

実施例

0010

次に、多様な及び代替的な例示の実施形態並びに添付の図面を詳細に参照する。各例示は、限定としてではなく、説明目的で提供される。修正及び変更が行われ得ることは、当業者には明らかであろう。例えば、一実施形態の一部として例示され又は記載された特徴は、更なる実施形態を生み出すために別の実施形態に対して使用されてもよい。従って、本開示は、添付の請求項及び均等物の範囲に入る修正及び変形を含むことが意図されている。

0011

(音声信号に関係付けられる触覚効果を生成するための装置の例示)
本開示の例示的な実施形態の1つは、スマートフォンタブレット又は携帯ミュージック装置等のコンピュータシステムを含む。一部の実施形態では、コンピュータシステムは、装着可能装置を含み、又は家具若しくは衣服に埋め込まれてもよい。コンピュータシステムは、この例示において、装置の画面に対応する表示領域に対するタッチの場所を決定するために加速度計及びセンサ(例えば、光学抵抗性又は容量性)等の1つ以上のセンサを含み及び/又はこれらと通信してもよい。

0012

ユーザが装置と相互作用すると、触覚効果を提供するために、1つ以上の触覚出力装置、例えば、アクチュエータが使用される。例えば、触覚効果は、装置の表面におけるテクスチャの存在をシミュレートするように構成されてもよい。このような実施形態では、表面でユーザの指が動くと、装置の表面におけるテクスチャの感覚をシミュレートするために、振動電界又は他の効果が出力されてもよい。同様に、別の実施形態では、ユーザが装置上で指を動かすと、スクリーンの知覚される摩擦係数が、指の位置、速度、及び/又は加速度又は指が装置と接触している時間の長さに基づいて変化(例えば、増加又は減少)し得る。他の実施形態では、移動装置は、振動、ポップクリック、又は表面変形等の触覚効果を出力してもよい。一部の実施形態では、所定のイベントが発生するときに、所定期間の間(例えば、50ms)、触覚効果が出力されてもよい。他の実施形態では、触覚効果は、固定期間で変化してもよい。例えば、一実施形態では、100Hzの速度、例えば、100Hzの正弦波で変化するテクスチャが出力されてもよい。

0013

例示の実施形態では、触覚効果は、音声信号に関係付けられる効果を含む。例えば、一部の実施形態では、触覚効果は、音声トラックに関係付けられる触覚効果を含んでもよい。一部の実施形態では、ユーザは、(例えば、ヘッドホンスピーカ、又は何らかの他の種類の音声出力装置を使用して)触覚効果が決定される時間に音声トラックを聴いてもよい。他の実施形態では、触覚効果は、「触覚トラック」の一部として前もって決定されてもよい。この触覚トラックは、音声トラックと平行して再生され得るように、音声ファイルと共に配布されてもよい。一部の実施形態では、触覚トラックは、触覚効果が音声トラックの成分に対応するように、音声トラックと同期されてもよい。他の実施形態では、触覚効果は、「AV」(Audio−Visual)トラック、例えば、映像ファイル音声部分に関係付けられてもよい。

0014

1つの例示的な実施形態では、触覚効果は、音声信号を分析して音声信号内の成分を識別又は決定することによって決定されてもよい。一部の実施形態では、成分は、別々のイベント、例えば、砲撃爆発叫び声、又は戦闘等の音声信号内のイベントを含んでもよい。更に、一部の実施形態では、成分は、繰り返し発生する音声効果、例えば、ギターピアノ、又はスピーカに関係付けられるソースを含んでもよい。更に、一部の実施形態では、成分は、音声信号内で起こる特徴を含んでもよい。特徴(feature)という用語は、音声セグメント記述子を意味する専門用語であり、これは一部の実施形態では、アルゴリズムが、例えば、感情を識別することによって音声信号のセグメント分類することを可能にしてもよい。一実施形態では、分類に使用される音声特徴として、メル周波数ケプストラムMFCC)が使用されてもよい。このような実施形態では、システムは、こうしたMFCC又は他の特徴若しくは記述子を用いてイベント又はソースを識別してもよい。更に、一部の実施形態では、音声信号は、アクション(例えば、発砲自動車ノイズ、及び特殊効果)、及びバックグラウンドノイズ(例えば、音楽又は機械音)に関係付けられる成分と共に、声の音(例えば、発話又は歌唱)等の音声成分を含んでもよい。1つの例示的な実施形態では、システムは、音声ファイルを分析して、こうした成分の場所を決定し、特定の成分に触覚効果を割り当ててもよい。更なる実施形態では、システムは、所定の音が関連する触覚効果を含むべきでないことを決定してもよい。従って、一実施形態では、システムは、音声信号内に所定の成分の存在を決定して、こうした成分に触覚効果を割り当てないことを決定してもよい。

0015

一部の実施形態では、本開示のシステムは、音声信号を時間、周波数又は振幅に基づいた複数のセグメントに分割することによって音声信号における成分を決定してもよい。次に、こうしたセグメントは、所定の成分(例えば、発話、特殊効果、バックグラウンドノイズ、又は音楽)の存在に関して個々に分析されてもよい。次に、システムは、1つ以上の成分の存在に基づいて各セグメントを分類してもよい。例えば、セグメントは、砲撃、爆発、及びエンジン回転数を上げることに関係付けられる音を含んでもよい。このような実施形態では、システムは、「アクション」セグメントとしてセグメントを分類してもよい。更に、一部の実施形態では、システムは、分類に基づいて触覚効果を割り当ててもよい。このような実施形態では、上記の例において、システムは、音声ファイルのアクションセグメントを特定の触覚効果、又は触覚効果の組、例えば、発砲及び爆発等の成分の発生と同期した高強度の振動に関連付けてもよい。

0016

更に、本開示の一部の実施形態では、システムは、音声信号を分析して、音声信号における1つ以上の成分のソースを分離してもよい。例えば、システムは、様々な音のソースを検出及び分離するために音声信号を分析してもよい。一実施形態では、音声信号は、混合した音声信号(例えば、発話、特殊効果(例えば、爆発、発砲、機械ノイズ)、動物音、又は楽器(例えば、ピアノ、ギター、ドラム機械等を含む信号)を含んでもよく、このような実施形態では、システムは、例えば、発話、音楽、又は特殊効果を分離して、音声信号における所定のソースを分離してもよい。このような実施形態では、システムが音のソースを分離すると、システムはソースに触覚効果を割り当ててもよい。例えば、例示の実施形態では、システムは、ロックソングに関係付けられる信号からギターによって生成された音を分離してもよい。このような実施形態では、システムは、触覚効果をギターに適用し、音声信号の他のいかなる成分にも適用しなくてもよい。代替的に、一部の実施形態では、システムは、複数のソースを分離して、複数のソースの1つ以上に触覚効果を割り当ててもよい。例えば、例示の実施形態では、システムは、ギター及びバスを音声トラックの残りの部分と分離してもよい。このような実施形態では、システムは、触覚効果をギター信号及びバス信号の両方に適用してもよい。更に、一実施形態では、システムは、その成分(例えば、ギター又はバス信号)を分離して、こうした成分に関係付けられる触覚効果を取り除くことを決定してもよい。例えば、一実施形態では、システムは、その成分に関係付けられる触覚効果を取り除くために自動変換によって生成される触覚トラックをクリーニングしてもよい。

0017

本開示の別の実施形態では、システムは、音声ファイルにおける発話を検出するように構成されてもよい。上記のように、一部の実施形態では、システムは、発話のソース、例えば、1人又は複数の発話者を分離してもよい。更に、一部の実施形態では、システムは、発話を分析して、発話者に関係付けられる1つ以上の感情を決定するように構成されてもよい。例えば、システムは、発話者に関係付けられる1つ以上の感情を決定するために、周波数、ピッチ又はトーンを分析してもよい。更に、一部の実施形態では、システムは、発話者の感情に関係付けられるように触覚効果を決定又は修正してもよい。例えば、一部の実施形態では、立腹した発話者(又は立腹した発話者に関係付けられるシーン)に関係付けられる触覚効果は、好色な発話者に関係付けられる触覚効果よりも強度が大きくてもよい。代替的に、一部の実施形態では、特定の感情は、それに対して関係付けられた触覚効果が存在しない感情を含んでもよい。例えば、一部の実施形態では、悲哀等の感情は触覚効果を含まなくてもよいので、一部の実施形態では、発話者が悲しんでいることをシステムが検出すると、システムは触覚効果を発話者に又は発話者に関係付けられるシーンに割り当てない。更に、一実施形態では、システムは、音声信号の成分、例えば、発話に関係付けられる成分を分離して、こうした成分に関係付けられる触覚効果を取り除くことを決定してもよい。例えば、一実施形態では、システムは、発話に関係付けられる触覚効果を取り除くために自動変換によって生成される触覚トラックをクリーニングしてもよい。

0018

以下で更に詳細に検討されるように、任意の数の成分が音声信号に見つかってもよい。本開示の実施形態は、こうした成分を識別して、こうした成分と同期された触覚効果を決定及び出力するためのシステム及び方法を提供する。更に、一部の実施形態では、本明細書で検討されたシステム及び方法は、他の種類の信号、例えば、圧力、加速度、速度、又は温度信号に関係付けられる触覚効果を決定するために使用されてもよい。

0019

(音声信号に関係付けられる触覚効果を生成するための例示的なシステム)
図1Aは、音声信号に関係付けられる触覚効果を生成するための例示的なシステムを示す。特に、この例示では、システム100は、バス106を介して他のハードウェアインターフェース接続されるプロセッサ102を有するコンピュータ装置101を含む。RAM、ROM又はEEPROM等の任意の適切な有形の(及び一時的でない)コンピュータ可読媒体を含み得るメモリ104が、コンピュータ装置の動作を構成するプログラム要素具現化する。この例示では、コンピュータ装置101は、1つ以上のネットワークインターフェース装置110、入力/出力(I/O)インターフェース要素112、及び追加の記憶装置114を更に含む。

0020

ネットワーク装置110は、ネットワーク接続を容易にする1つ以上の任意の構成要素を表し得る。限定されないが、例示には、Ethernet(登録商標)、USB、IEEE1394等の有線インターフェース、及び/又はIEEE802.11、Bluetooth(登録商標)等の無線インターフェース、又は携帯電話ネットワークアクセスするための無線インターフェース(例えば、CDMA、GSM(登録商標)、UMTS又は他の移動通信ネットワーク)が含まれる。

0021

I/O要素112は、1つ以上のディスプレイ、キーボード、マウス、スピーカ、マイクロホンカメラ、及び/又はデータの入力又は出力に使用される他のハードウェア等の装置への接続を容易にするために使用されてもよい。例えば、一部の実施形態では、I/O要素112は、プロセッサ102によって提供される音声信号を再生するように構成されるスピーカを含んでもよい。記憶装置114は、装置101に含まれる磁気、光学、又は他の記憶媒体等の不揮発性記憶装置を表す。一部の実施形態では、記憶装置114は、I/O要素112を介してユーザに再生されるように構成される音声ファイルを記憶するように構成されてもよい。

0022

システム100は、この例示では、装置101に統合されるタッチ面116を更に含む。タッチ面116は、ユーザの接触入力感知するように構成される任意の表面を表す。1つ以上のセンサ108は、物体がタッチ面に接触する場合に接触領域における接触を検出して、プロセッサ102によってユーザに適切なデータを提供するように構成される。センサの任意の適切な数、種類、又は配置が使用され得る。例えば、抵抗性及び/又は容量性のセンサが、タッチ面116に組み込まれて、タッチの場所及び圧力等の他の情報を検出するために使用されてもよい。別の例示として、接触位置を決定するためにタッチ面のビューを備える光学センサが使用されてもよい。一部の実施形態では、センサ108及びタッチ面116は、タッチスクリーン又はタッチパッドを含んでもよい。例えば、一部の実施形態では、タッチ面116及びセンサ108は、表示信号を受信して、ユーザに画像を出力するように構成されるディスプレイの上に取り付けられるタッチスクリーンを含んでもよい。他の実施形態では、センサ108は、LE検出器を含んでもよい。例えば、一実施形態では、タッチ面116は、ディスプレイの側部に取り付けられるLED指検出器を含んでもよい。一部の実施形態では、プロセッサは単一のセンサ108と通信し、他の実施形態では、プロセッサは複数のセンサ108、例えば、第1のタッチスクリーン及び第2のタッチスクリーンと通信する。センサ108は、ユーザ相互作用を検出し、ユーザ相互作用に基づいて、プロセッサ102に信号を送信するように構成される。一部の実施形態では、センサ108は、ユーザ相互作用の複数の態様を検出するように構成されてもよい。例えば、センサ108は、ユーザ相互作用の速度及び圧力を検出して、この情報をインターフェース信号に組み込んでもよい。

0023

更に、装置101は、触覚出力装置118を含む。図1Aに示される例示では、触覚出力装置118がプロセッサ102と通信し、タッチ面116に結合される。一部の実施形態では、触覚出力装置118は、触覚信号に応じてタッチ面においてテクスチャをシミュレートする触覚効果を出力するように構成される。追加的又は代替的に、触覚出力装置118は、制御されるようにタッチ面を動かす振動触覚効果を提供してもよい。一部の触覚効果は、装置の筐体に結合されるアクチュエータを利用してもよい。また、一部の触覚効果は、順番に及び/又は同時に複数のアクチュエータを使用してもよい。例えば、一部の実施形態では、表面テクスチャは、異なる周波数で表面を振動させることによりシミュレートされてもよい。このような実施形態では、触覚出力装置118は、例えば、圧電アクチュエータ電気モータ電磁アクチュエータ音声コイル形状記憶合金電気活性ポリマソレノイド偏心回転質量モータERM)又は線形共振アクチュエータ(LRA)の1つ以上を含んでもよい。一部の実施形態では、触覚出力装置118は、複数のアクチュエータ、例えば、ERM及びLRAを含んでもよい。一部の実施形態では、触覚装置118は、装着可能装置、家具、又は衣服を含み、又はこれらに埋め込まれてもよい。

0024

本明細書では単一の触覚出力装置118が示されているが、複数の実施形態では、触覚効果を出力するために、例えば、タッチ面において表面テクスチャをシミュレートし又は知覚される摩擦係数を変化させるために同じ又は異なる種類の複数の触覚出力装置が使用されてもよい。例えば、一実施形態では、超音波周波数で、例えば、一部の実施形態では20−25kHzよりも高い周波数で動作するアクチュエータを使用することによって、垂直に及び/又は水平にタッチ面116の一部又は全部を移動するために圧電アクチュエータが使用されてもよい。一部の実施形態では、偏心回転質量モータ及び線形共振アクチュエータ等の複数のアクチュエータが、異なるテクスチャ、摩擦係数の変化、又は他の触覚効果を与えるために単独で又は同時に使用され得る。

0025

更に他の実施形態では、触覚出力装置118は、タッチ面116の表面でテクスチャをシミュレートするために、例えば、静電表面アクチュエータを使用することによって、静電摩擦又は引力を適用してもよい。同様に、一部の実施形態では、触覚出力装置118は、タッチ面116の表面でユーザが感じる摩擦を変化させるために静電引力を使用してもよい。例えば、一実施形態では、触覚出力装置118は、触覚効果を生成するために機械的な動きの代わりに電圧及び電流を加える静電ディスプレイ又は任意の他の装置を含んでもよい。このような実施形態では、静電アクチュエータは、導電層及び絶縁層を含んでもよい。このような実施形態では、導電層は、任意の半導体又は銅、アルミニウム、金又は銀等の他の導電性材料であってもよい。また、絶縁層は、ガラスプラスチックポリマ、又は任意の他の絶縁性材料であってもよい。更に、プロセッサ102は、導電層に電気信号を加えることによって静電アクチュエータを動作させてもよい。一部の実施形態では、電気信号は、導電層をタッチ面116に近くの又は接触しているオブジェクトと容量結合するAC信号であってもよい。一部の実施形態では、AC信号は、高圧増幅器によって生成されてもよい。他の実施形態では、容量結合は、タッチ面116の表面における摩擦係数又はテクスチャをシミュレートしてもよい。例えば、一実施形態では、タッチ面116の表面は円滑であるが、容量結合はタッチ面116の表面の付近オブジェクト間に引力を生み出してもよい。一部の実施形態では、オブジェクトと導電層との間の引力のレベルを変化させることは、タッチセンサ面116の表面で動くオブジェクトにおける擬似テクスチャを変化させること、又はオブジェクトがタッチ面116の表面で動くときに感じられる摩擦係数を変化させることができる。更に、一部の実施形態では、静電アクチュエータが、タッチ面116の表面において擬似テクスチャを変化させるために従来のアクチュエータと共に使用されてもよい。例えば、アクチュエータはタッチ面116の表面のテクスチャの変化をシミュレートするように振動してもよい。一方では同時に、静電アクチュエータがタッチ面116の表面において異なるテクスチャ又は他の効果をシミュレートしてもよい。

0026

当業者であれば、摩擦係数を変化させることに加えて、例えば、表面上のテクスチャをシミュレートするために他の技術又は方法が使用され得ることを理解するであろう。一部の実施形態では、テクスチャは、表面再構成可能な触覚基板(限定されないが、例えば、繊維、ナノチューブ、電気活性ポリマ、圧電要素、又は形状記憶合金を含む)又は磁性流体からの接触に基づいてそのテクスチャを変化させるように構成される可撓性表面層を使用してシミュレートされ又は出力されてもよい。別の実施形態では、表面のテクスチャは、例えば、変形機構、空気若しくは流体ポケット、材料の局部変形共振機構要素圧電性材料微小電気機械システム(“MEMS”)要素、熱流体ポケットMEMSポンプ可変多孔性膜(variable porosity membranes)、又は層流変調で、1つ以上の表面成分を上昇又は下降させることによって変化させられてもよい。

0027

一部の実施形態では、タッチ面116に近接した又は接触している体の部分をシミュレートすることによって触覚効果を生成するために静電アクチュエータが使用されてもよい。例えば、一部の実施形態では、ユーザの指の皮膚の神経終端又は静電アクチュエータに応答することができるスタイラスの構成要素をシミュレートしてもよい。例えば、皮膚の神経終端は、刺激されて、振動又は何らかのより具体的な感覚として静電アクチュエータ(例えば、容量結合)を感知してもよい。例えば、一実施形態では、静電アクチュエータの導電層が、ユーザの指の導電部分と結合するAC電圧信号を受信してもよい。ユーザがタッチ面116に触れてタッチ面上で自身の指を動かすと、ユーザは、チクチク、ザラザラ、ガタガタ、でこぼこ、粘々、又は何らかの他のテクスチャを感知してもよい。

0028

更に、一部の実施形態では、触覚効果を出力するために複数のアクチュエータが使用されてもよい。これは、触覚出力装置118が出力できる効果の範囲を広げる役割を果たしてもよい。例えば、一部の実施形態では、広範囲の効果を生成するために静電アクチュエータと協調して振動アクチュエータが使用されてもよい。更なる実施形態では、タッチ面を変形するように構成される装置等の追加の種類の触覚出力装置が、振動アクチュエータ等の他の触覚出力装置と協調して使用されてもよい。

0029

メモリ104に関しては、例示のプログラム構成要素124、126及び128は、音声信号に関係付けられる触覚効果を生成するために装置がどのように構成され得るかを示すように描かれている。この例示では、検出モジュール124が、タッチの位置を決定するためにセンサ108を介してタッチ面116を監視するようにプロセッサ102を構成する。例えば、モジュール124は、タッチの存在又は不存在を追跡して、タッチが存在する場合、場所、経路、速度、加速度、圧力及び/又は経時的なタッチの他の特性を追跡するためにセンサ108をサンプリングしてもよい。

0030

触覚効果決定モジュール126は、生成すべき触覚効果を選択するために、音声効果からのデータ等の音声データを分析するプログラム構成要素を表す。特に、モジュール126が、音声データに基づいて、出力する触覚効果の種類を決定するコードを含む。

0031

触覚効果生成モジュール128は、プロセッサ102に触覚信号を生成させて触覚出力装置118に送信させ、それにより、触覚出力装置118に選択された触覚効果を生成するプログラミングを表す。例えば、生成モジュール128は、記憶された波形又はコマンドにアクセスして、触覚出力装置118に送信してもよい。別の例示として、触覚効果生成モジュール128は、所望の種類の効果を受信して、適切な信号を生成して触覚出力装置118に送信するために、信号処理アルゴリズムを利用してもよい。一部の実施形態は、触覚効果を出力するために同時に複数の触覚出力装置を利用してもよい。一部の実施形態では、プロセッサ102は、触覚信号を触覚出力装置118にストリーミング又は送信してもよい。

0032

コンピュータシステムの特定の実施形態によっては、タッチ面がディスプレイをオーバレイしもよく又はオーバレイしなくてもよい(或いは、対応しても、対応してなくてもよい)。図1Bでは、コンピュータシステム100Bの外観図が示される。コンピュータ装置101は、装置の接触面及びディスプレイを組み合わせたタッチ可能ディスプレイ116を含む。タッチ面は、ディスプレイ外部又は実際のディスプレイ構成要素上の1つ以上の材料層に対応してもよい。

0033

図1Cは、タッチ面がディスプレイをオーバレイしないタッチ可能コンピュータシステムの別の例を示す。この例示では、コンピュータ装置101は、装置101とインターフェース接続されたコンピュータシステム120に含まれるディスプレイ122に設けられるグラフィカルユーザインターフェースマッピングされ得るタッチ面116を含む。例えば、コンピュータ装置101は、マウス、トラックパッド、又は他の装置を含んでもよいが、コンピュータシステム120は、デスクトップ若しくはラップトップコンピュータセットトップボックス(例えば、DVDプレーヤ、DVRケーブルテレビボックス)、又は別のコンピュータシステムを含んでもよい。別の例示として、タッチ面116及びディスプレイ122は、ディスプレイ122備えるラップトップコンピュータにおけるタッチ可能トラックパッド等の同じ装置に配置されてもよい。ディスプレイと統合されるか否かに関わらず、本明細書の例示における平面的なタッチ面の描写は、限定することを意図していない。他の実施形態は、表面ベースの触覚効果を与えるように更に構成される湾曲した又は不規則なタッチ可能面を含む。

0034

図2A−Bは、音声信号に関係付けられる触覚効果を生成し得る例示的な装置を示す。図2Aは、タッチ可能ディスプレイ202を備えるコンピュータ装置201を含むシステム200の外観図を示す図面である。図2Bは、装置201の断面図を示す。装置201は図1Aの装置101と同様に構成され得るが、プロセッサ、メモリ及びセンサ等は明確のためこの図面には示されていない。

0035

図2Bに見られるように、装置201は、複数の触覚出力装置218及び追加の触覚出力装置222を特色とする。触覚出力装置218−1は、ディスプレイ202に垂直の力を与えるように構成されるアクチュエータを含んでもよいが、一方で218−2は横方向にディスプレイ202を動かしてもよい。この例では、触覚出力装置218及び222はディスプレイに直接結合されているが、触覚出力装置218及び222は別のタッチ面、例えば、ディスプレイ202の上にある材料の層に結合され得ることが理解されるべきである。更に、1つ以上の触覚出力装置218又は222が上記の静電アクチュエータを含んでもよいことが理解されるべきである。更に、触覚出力装置222は、装置201の構成要素を保持する筐体に結合されてもよい。図2A−2Bの例では、ディスプレイ202の領域はタッチ領域に対応するが、原理はディスプレイとは完全に分離したタッチ面に適用され得る。

0036

一実施形態では、触覚出力装置218の各々は圧電アクチュエータを含むが、追加の触覚出力装置222は、偏心回転質量モータ、線形共振アクチュエータ又は別の圧電アクチュエータを含む。触覚出力装置222は、プロセッサからの触覚信号に応答して振動触覚効果を提供するように構成され得る。振動触覚効果は、表面ベースの触覚効果と併せて及び/又は他の目的で利用され得る。例えば、ディスプレイ202の表面における振動を出力し、テクスチャをシミュレートし又は摩擦係数を変化させるために各アクチュエータが併せて使用されてもよい。

0037

一部の実施形態では、触覚出力装置218−1及び218−2のいずれか又は両方は、圧電アクチュエータ以外のアクチュエータを含み得る。いずれのアクチュエータも、例えば、圧電アクチュエータ、電磁アクチュエータ、電気活性ポリマ、形状記憶合金、可撓性複合圧電アクチュエータ(例えば、可撓性材料を含むアクチュエータ)、静電、及び/又は磁歪アクチュエータを含み得る。更に、触覚出力装置222が示されているが、複数の他の触覚出力装置が装置201の筐体に結合可能であり、及び/又は触覚出力装置222は別の場所に結合されてもよい。装置201は、異なる場所でもタッチ面に結合される複数の触覚出力装置218−1/218−2を含んでもよい。

0038

次に図3を参照すると、図3は、本開示によって音声信号に関係付けられる触覚効果を生成するためのシステムの一実施形態を示す。図3に示されたシステム300は、列車304を含む映像を示すディスプレイ302を有するコンピュータ装置301を備える。一部の実施形態では、コンピュータ装置301は、ハンドヘルドコンピュータ装置、例えば、携帯電話、タブレット、ミュージックプレーヤ、又はラップトップコンピュータを含んでもよい。別の実施形態では、コンピュータ装置301は、多機能コントローラを備えてもよい。例えば、キオスクATM又は他のコンピュータ装置で使用されるコントローラである。更に、一実施形態では、コンピュータ装置301は、車内で使用されるコントローラを含んでもよい。

0039

映像304は、(図3には示されない)コンピュータ装置301に結合される音声出力装置(例えば、スピーカ又はヘッドホン)によって再生される可聴効果を更に含んでもよい。本開示の実施形態は、音声信号に基づいて触覚効果を決定するための方法を含む。例えば、一部の実施形態は、映像信号から音声信号を分離して、音声トラックと平行して出力される触覚効果を決定するために、以下で更に詳細に検討される様々な操作を実行してもよい。

0040

一部の実施形態では、ディスプレイ302は、タッチ可能ディスプレイを含んでもよい。更に、映像を表示するのではなく、ディスプレイ302は、グラフィカルユーザインターフェース、例えば、キオスク、ATM、ステレオシステム、車両ダッシュボード電話、コンピュータ、ミュージックプレーヤのためのグラフィカルユーザインターフェース、又は当分野で周知の何らかの他のグラフィカルユーザインターフェースをユーザに提供してもよい。このような実施形態では、コンピュータ装置301は、グラフィカルユーザインターフェースに関係付けられる音声信号に基づいて触覚効果を決定してもよい。例えば、一部の実施形態では、グラフィカルユーザインターフェースは、ユーザがアイコン、ボタン又は他のインターフェース要素と相互作用するときに出力される音声効果を含んでもよい。一部の実施形態では、コンピュータ装置301は、こうした音声効果の1つ以上に関係付けられる触覚効果を更に決定してもよい。一部の実施形態では、コンピュータ装置301は、音声信号又は任意の他のセンサから生じる信号、例えば、ユーザインターフェース、加速度計、ジャイロスコープ慣性測定装置(Inertial Measurement Unit)等のセンサからの信号から触覚効果を導き出してもよい。

0041

一部の実施形態では、映像信号が含まれなくてもよい。例えば、一部の実施形態では、触覚効果は、映像に関係付けられない音声トラックと平行して再生されてもよい。このような実施形態では、本明細書に開示のシステム及び方法は、リアルタイムで、信号が再生されているときに、又は信号が再生されるよりも前の時間に、音声信号に作用してもよい。例えば、一部の実施形態では、将来再生するためにデータストアに記憶される触覚トラックを決定するために音声信号が処理されてもよい。このような実施形態では、触覚トラックは、触覚トラックを再生するコンピュータ装置によって決定されてもよい。他の実施形態では、触覚トラックは、音声トラックの著者又は配布者によって生成されてもよい。このような実施形態では、著者又は配布者は、音声トラックと共に触覚トラックを配布してもよい。

0042

(音声信号に関係付けられる触覚効果を生成するための例示的な方法)
図4及び5は、音声信号に関係付けられる触覚効果を生成するための例示的な方法400及び500を示すフローチャートである。一部の実施形態では、フローチャート400及び500におけるステップは、プロセッサ、例えば、汎用コンピュータ、移動装置又はサーバにおけるプロセッサによって実行されるプログラムコード実装されてもよい。一部の実施形態では、こうしたステップは一群のプロセッサによって実装されてもよい。一部の実施形態では、図4及び5に示されるステップは異なる順番で行われてもよい。代替的に、一部の実施形態では、図4及び5に示される1つ以上のステップはスキップされてもよく、又は図4及び5には示されていない追加のステップが行われてもよい。図4及び5におけるステップは、音声信号に関して記載される。しかしながら、一部の実施形態では、方法は、他の種類の信号、例えば、圧力、加速度、速度、又は温度信号に関係付けられる触覚効果を決定するために使用されてもよい。以下のステップは図1Aに示されたシステム100に関して記載された構成要素を参照して記載される。

0043

プロセッサ102が音声信号を受信すると、方法400が開始する(402)。一部の実施形態では、音声信号は、コンピュータ装置101で再生される映像に関係付けられる信号を含んでもよい。他の実施形態では、音声信号は、コンピュータ装置101で現在再生されている音声ファイルに関係付けられる信号を含んでもよい。更に他の実施形態では、音声信号は、コンピュータ装置101でローカルに記憶されている又はリモートサーバに記憶されている音声ファイルに関係付けられる信号を含んでもよい。例えば、一部の実施形態では、音声信号は、サーバに記憶され、オンデマンドでユーザにダウンロードされる音声ファイルを含んでもよい。

0044

プロセッサ102が音声信号に基づいて触覚効果を決定すると、方法400は継続する(404)。一部の実施形態では、触覚効果は、1つ以上の触覚出力装置118によって出力される振動を含んでもよい。一部の実施形態では、振動は、コンピュータ装置101で再生される音声トラックのユーザの知覚を向上させるために使用されてもよい。同様に、一部の実施形態では、触覚効果は、タッチ面116における摩擦係数の変化を含んでもよい。他の実施形態では、触覚効果は、タッチ面116の表面における擬似テクスチャ(例えば、水、草、、金属、砂土砂利レンガ毛皮皮革、皮膚、繊維、ゴム、葉又は任意の他の利用可能なテクスチャの1つ以上のテクスチャ)を含んでもよい。

0045

一部の実施形態では、プロセッサ102は、触覚効果を決定するために触覚効果決定モジュール126に含まれるプログラミングを利用してもよい。例えば、プロセッサ102は、メモリ104内に記憶されて特定の触覚効果に関係付けられる駆動信号にアクセスしてもよい。別の例示として、信号は、効果に関係付けられる記憶済みアルゴリズム及び入力パラメータにアクセスすることによって生成されてもよい。例えば、アルゴリズムは、振幅及び周波数パラメータに基づいて駆動信号を生成するのに使用されるデータを出力してもよい。別の例として、触覚信号は、アクチュエータによって復号するためにアクチュエータに送信されるデータを含んでもよい。例えば、アクチュエータ自体が、振幅及び周波数等パラメータを特定するコマンドに応答してもよい。

0046

更に、一部の実施形態では、ユーザは、コンピュータ装置101をカスタマイズするために、振動、テクスチャ、摩擦係数の変化又は音声ファイルに関係付けられる他の触覚効果を選択することが可能であってもよい。例えば、一部の実施形態では、ユーザは、タッチインターフェースの感覚をパーソナライズするために表面テクスチャ等の触覚効果を選択してもよい。一部の実施形態では、この触覚効果は、例えば、着呼Eメールテキストメッセージアラーム、又は他のイベントに対する着信音に関係付けられてもよい。一部の実施形態では、ユーザは、設定を修正すること又は特定の効果に関係付けられるソフトウェアをダウンロードすることによってこうしたパーソナライズされた触覚効果又は表面テクスチャを選択してもよい。他の実施形態では、ユーザは、検出された装置との相互作用を介して効果を指定してもよい。一部の実施形態では、触覚効果のパーソナライズは、ユーザの所有意識及びユーザと装置との間の繋がりを増加させてもよい。

0047

更に他の実施形態では、装置製造業者アーティスト動画撮影者又はソフトウェア開発者は、装置、ユーザインターフェース又は芸術的作品(例えば、歌曲、映像、又は音声トラック)をブランド化するために、表面テクスチャ等の特有の触覚効果を選択してもよい。一部の実施形態では、こうした触覚効果は、ブランド化された装置に独自であり、ブランド認知を増加させ得る他の特有の要素と同様であってもよい。例えば、多くの移動装置及びタブレットは、カスタム又はブランド化されたホームスクリーン環境を含んでもよい。例えば、一部の実施形態では、異なる製造業者によって製造された装置が同じオペレーティングシステムを含んでもよいが、製造業者はこのホームスクリーン環境を修正することによって装置を区別してもよい。同様に、所定の会社によって作られる映像又は音声トラックが特定の種類の触覚効果を含んでもよい。従って、一部の実施形態では、一部の装置製造業者、制作会社又はソフトウェア開発者は、独自であり差別化されるユーザ体験を生み出すためにテクスチャ又は摩擦に基づいた効果等の触覚効果を使用してもよい。

0048

一部の実施形態では、プロセッサ102は「触覚プロファイル」を実装してもよい。触覚プロファイルは、プロセッサ102に所定の特徴を有する触覚効果を決定させるように構成される特定のアルゴリズム又は設定を含んでもよい。一部の実施形態では、触覚プロファイルは、ユーザ又は設計者によって生成又は特定されてもよい。更に、一部の実施形態では、装置が予めプログラミングされた触覚プロファイルを含んでもよい。一部の実施形態では、こうした触覚プロファイルは、例えば、アクティブな効果、繊細な効果、又は特定の種類の音声信号(例えば、音楽、発話、特殊効果、映画の種類(例えば、アクション、ドラマスリラー、ホラー、コメディ)用の特定の触覚プロファイル)、スポーツイベント、又は本明細書に記載の信号の著者の種類のためにカスタマイズされたプロファイルを出力するように設計された触覚プロファイルを含んでもよい。例えば、一実施形態では、ユーザは、ロック音楽に関係付けられる特定の触覚プロファイルを特定し、スポーツイベントに関係付けられる異なる触覚プロファイルを特定してもよい。

0049

プロセッサ102が触覚効果に関係付けられる触覚信号を出力すると、方法400は継続する(406)。プロセッサ102は、触覚効果を出力するように構成される触覚出力装置118に触覚信号を出力する。一部の実施形態では、触覚出力装置118は、タッチ面116上に触覚効果を出力してもよい。一部の実施形態では、触覚出力装置118は、タッチ面116又はコンピュータ装置101内の他の構成要素に結合される圧電アクチュエータ又は電気モータ等の従来のアクチュエータを含んでもよい。他の実施形態では、触覚出力装置118は、静電界を使用してテクスチャをシミュレートする又は摩擦係数を変化させるように構成される静電アクチュエータを含んでもよい。一部の実施形態では、プロセッサ102は、複数の触覚効果をシミュレートするために複数の触覚出力装置を制御してもよい。例えば、一実施形態では、プロセッサ102は、タッチ面116の表面でテクスチャをシミュレートするために静電アクチュエータを制御してもよい。また、プロセッサ102は、他の特徴をシミュレートするために他の触覚出力装置118を更に制御してもよい。例えば、触覚出力装置118は、タッチ面116におけるバリア、デテント、移動又は衝突をシミュレートするように構成される振動等、他の効果を出力するように構成されるアクチュエータを含んでもよい。一部の実施形態では、プロセッサ102は、ユーザがタッチ面116と相互作用すると複数の効果を共に感じることができるように、効果を調整してもよい。

0050

次に、プロセッサ102は音声信号を出力する(408)。一部の実施形態では、プロセッサ102は、スピーカ、ヘッドホン、又は小型イヤホン(ear bud)等の音声出力装置に音声信号を出力してもよい。一部の実施形態では、音声出力装置は、コンピュータ装置101に統合されてもよい。他の実施形態では、音声出力装置は、コンピュータ装置101に結合されてもよい。更に、一部の実施形態では、音声信号は触覚効果に同期されてもよく、例えば、一部の実施形態では、触覚効果は対応する音声効果と実質的に同時に出力されてもよい。

0051

次に図5を参照すると、図5は、音声信号に関係付けられる触覚効果を決定するための例示的な方法500を示す。方法500は、プロセッサ102が音声信号の成分を識別すると開始する。音声信号の成分を識別するための様々な例示的な方法が、以下でより詳細に検討される。一部の実施形態では、こうした遷移は、音声信号の振幅、周波数、トーン、ピッチ、又は速度の変化に関係付けられてもよい。こうした変化は、例えば、楽器の変化、映画のシーンの変化、ソースの変化(例えば、発話者の変化)、又は音声ファイルに一般的に見つかる何らかの他の遷移に関係付けられてもよい。

0052

プロセッサ102がステップ502で決定された成分に関係付けられる触覚効果を決定すると、方法500はステップ504に続く。一部の実施形態では、触覚効果はその成分をシミュレートするように構成されてもよい。例えば、決定された成分がアクション(例えば、発砲又は爆発)に関係付けられる場合、触覚効果は強度の高い触覚効果を含んでもよい。他の実施形態では、触覚効果は、強度の低い触覚効果、例えば、パンフルートによって生成されるような穏やかな音楽に関係付けられる効果を含んでもよい。代替的に、一部の実施形態では、触覚効果を決定することは、触覚効果が成分に関係付けられるべきではないことを決定することを含む。例えば、一実施形態では、バックグラウンドノイズは、触覚効果を含まなくてもよい。従って、システムがバックグラウンドノイズに関係付けられる成分を決定又は識別すると、システムは触覚効果を決定しなくてもよい。同様に、一部の実施形態では、システムは、発話に関係付けられる成分が触覚効果を有するべきではないことを決定してもよい。更に、一実施形態では、システムは、その成分(例えば、バックグラウンドノイズ)を分離して、こうした成分に関係付けられる触覚効果を取り除くことを決定してもよい。例えば、一実施形態では、システムは、その成分に関係付けられる触覚効果を取り除くために自動変換によって生成される触覚トラックをクリーニングしてもよい。

0053

更に、一部の実施形態では、プロセッサ102は、(複数の)触覚効果を成分と同期してもよい。一部の実施形態では、(複数の)触覚効果を成分と同期することは、音声効果と実質的に対応する時間に触覚効果に関係付けられる触覚信号を出力するようにプロセッサ102を構成することを含む。他の実施形態では、触覚効果は、音声効果の所定期間の後に出力されてもよい。例えば、一部の実施形態では、プロセッサ102は、エコーとして作用する触覚効果を出力してもよい。例えば、一実施形態では、音声トラックは、砲撃をシミュレートする音等の成分を含んでもよい。このような実施形態では、プロセッサは、音声効果と同時に起こる触覚効果を決定してもよい。プロセッサは、砲撃に関係付けられるエコーをシミュレートするために数秒後に出力される第2の触覚効果を更に決定してもよい。

0054

(音声信号に関係付けられる触覚効果を決定するための例示的な方法)
図6〜8は、音声信号に関係付けられる触覚効果を決定するための例示的な方法600,700及び800を示すフローチャートである。一部の実施形態では、図6〜8のステップは、プロセッサ、例えば、汎用コンピュータ、移動装置又はサーバにおけるプロセッサによって実行されるプログラムコードで実装されてもよい。一部の実施形態では、こうしたステップは一群のプロセッサによって実装されてもよい。一部の実施形態では、図6〜8に示されるステップは異なる順番で行われてもよい。代替的に、一部の実施形態では、図6〜8に示される1つ以上のステップはスキップされてもよく、又は図6〜8には示されていない追加のステップが行われてもよい。図6〜8におけるステップは、音声信号に関して記載される。しかしながら、一部の実施形態では、方法は、他の種類の信号、例えば、圧力、加速度、速度、又は温度信号に関係付けられる触覚効果を決定するために使用されてもよい。

0055

一部の実施形態では、図6〜8に記載の方法は、最終的に触覚効果を出力する触覚出力装置に結合される装置によって実装されてもよい。他の実施形態では、図6〜8に記載の方法は、触覚開発者又はコンテンツ作成者によって実装されてもよい。このような実施形態では、方法は、設計者又はコンテンツ作成者がマルチメディアコンテンツに触覚効果を割り当てるのを支援するツールボックスの一部として実装されてもよい。例えば、一部の実施形態では、こうした方法は、音声又は音声映像編集ソフトウェア(例えば、触覚スタジオ、又は触覚を開発するためのモバイルアプリケーション)の一部として見出されてもよい。

0056

次に図6を参照すると、図6は、一実施形態によって音声信号に関係付けられる触覚効果を生成するための方法600のフローチャートを示す。図6に示されるように、方法600は、プロセッサ102が1つ以上の成分に関係付けられる信号を受信すると開始する。一部の実施形態では、こうした成分は、AED(聴覚イベント検出;Acoustic Event Detection)又はASR(自動発話認識;Automatic Speech recognition)に関係付けられる方法又はシステムを含んでもよい。更に、一部の実施形態では、こうした方法は、一次及び二次導関数に沿ったメル周波数ケプストラム係数(MFCC)、MPEG−7スペクトル特性、CB−TEO(Critical Band combined with Teager Energy Operator)特性、信号の周期性ウェーブレットベースケプストラム係数スペクトル中心(Spectral centroid)、スペクトル非対称性スペクトル帯域幅、ZCR(Zero Crossing Rate)、LPC(Linear Predictor Coefficient)、LPCC(Linear Predictive Cepstral Coefficients)、LFCC(Log Frequency Cepstral Coefficients)、又は基本周波数の1つ以上に関係付けられる音声特性を用いる。一部の実施形態では、こうした成分は、音声ファイルを聴くであろうユーザによって識別又はタグ付けされてもよい。他の実施形態では、こうした成分は、音声トラックを開発したプログラミング又はアーティストによって識別又はタグ付けされてもよい。

0057

次に、ステップ604では、プロセッサ102は、音声信号を1つ以上のセグメントに分割する(604)。一部の実施形態では、こうしたセグメントは重複したセグメントを含んでもよく、代替的に、一部の実施形態では、セグメントは重複していないセグメントを含んでもよい。一部の実施形態では、こうしたセグメントは時間セグメントを含んでもよい。例えば、一部の実施形態では、セグメントは既定の期間、例えば、1、.5、.1、又は.01秒ごとの時間セグメントを含んでもよい。他の実施形態では、セグメントは、値が変化する時間セグメントを含んでもよい。更に他の実施形態では、セグメントは、音声信号の異なる測定値を含んでもよい。例えば、一実施形態では、セグメントは振幅セグメントを含んでもよい。例えば、所定の振幅範囲内の信号の成分がセグメントを形成してもよい。更に他の実施形態では、セグメントは、信号内の周波数帯域を含んでもよい。このような実施形態では、その周波数帯域内の音声信号の成分がセグメントを形成してもよい。一部の実施形態では、例示的な周波数帯域は、50Hzから200Hz、又は1,000Hzから10,000Hzの範囲を含んでもよい。

0058

次に、ステップ606において、プロセッサ102はセグメントを分析する。プロセッサ102は、セグメントを分析して、ステップ602で検討された1つ以上の成分を識別する。例えば、プロセッサ102は、発話又は音楽等の成分が存在するかどうかを決定してもよい。一部の実施形態では、プロセッサ102は、AED(聴覚イベント検出;Acoustic Event Detection)又はASR(自動発話認識;Automatic Speech recognition)の1つを用いてセグメントを分析してもよい。一部の実施形態では、分析は、周波数、振幅、トーン、又はピッチに基づいた分析の1つ以上を含んでもよい。例えば、一部の実施形態では、プロセッサは、音声信号に高速フーリエ変換FFT)を実行して、周波数領域で音声信号を分析してもよい。例えば、一実施形態では、プロセッサ102は、FFTを実行することによってセグメントを分析して、ピーク周波数成分を分離してもよい。プロセッサは更に、音声信号データデータベース(例えば、ネットワーク110を介してアクセス可能リモートデータベース、又は記憶装置114に記憶されているローカルデータベース)にアクセスして、セグメントをデータベースと比較してもよい。一部の実施形態では、これは、プロセッサが音声効果のソースを分離すること、例えば、発話者を分離すること又は楽器若しくは音声効果(例えば、発砲、爆発、又はエンジン音等のアクション映画に見出される効果)を分離することを可能にしてもよい。

0059

次に、ステップ608において、プロセッサ102はセグメントを分類する。一部の実施形態では、プロセッサ102は、セグメントにおける特定の音声特性の値又はセグメントにおける特定の成分の存在に基づいてセグメントを分類してもよい。一部の実施形態では、分類のためのアルゴリズム(例えば、認識アルゴリズム)が、セグメントの成分又は特性値を異なる成分又は特性を記述する異なるモデルに対して比較してもよい。このアルゴリズムは更に、最も可能性が高いモデルのラベルに基づいてセグメントを分類してもよい。

0060

一部の実施形態では、モデルは、そのモデルに関係付けられる成分の種類に基づいて考案されてもよい。一実施形態では、一種類の成分又は特性のためのモデルが、過去に自動的に又は手動で同じ種類でラベル付けされた音声セグメントのデータベースからの成分又は特性を用いて構築されてもよい。一部の実施形態では、このデータベースは、音声効果に関係付けられる高速検索を可能にするように構成される複数の分類子を含む大規模データベースを含んでもよい。一実施形態では、例示の分類は、成分ごとの分類システム(例えば、発話認識システム)又は一組の中の1つの成分にセグメントを割り当てる分類システムを含んでもよい。AEDに使用される分類技術の例は、例えば、GMM(混合ガウスモデル;Gaussian Mixture Models)、SVM(サポートベクターマシン;Support Vector Machine)、HMM(隠れマルコフモデル;Hidden Markov Models)、KNN(K近傍法;K Nearest Neighbors)、決定木(Decision trees)、ANN(人工ニューラルネットワーク;Artificial Neural Network)、VQ(ベクトル量子化;Vector Quantization)、又はBN(ベイジアンネットワーク;Bayesian Networks)を含んでもよい。更に、一部の実施形態では、プロセッサ102は、データベースにアクセスして、特定の特性若しくは成分を記憶し、又は特性若しくは成分に関係付けられるデータベースにおける検索を実行してもよい。

0061

次に、ステップ610において、プロセッサ102は、分類に基づいて触覚効果を割り当てる。一部の実施形態では、触覚効果は、分類に関係付けられる特定の種類の効果を含んでもよい。例えば、一部の実施形態では、信号の特定のクラスが特定の触覚効果を含んでもよい。このような実施形態では、例えば、発話が特定の周波数振動を含んでもよいが、車の走行等の別の可聴効果が異なる周波数振動を含んでもよい。更に、一部の実施形態では、プロセッサ102は、所定のクラスの音声信号が触覚効果を有するべきではないことを決定してもよい。例えば、一部の実施形態では、プロセッサ102は、バックグラウンドノイズ又は発話がどの触覚効果にも関係付けられるべきではないことを決定してもよい。例えば、一実施形態では、ユーザ又は設計者は、プロセッサ102がバックグラウンドノイズ又は発話に関係付けられる触覚効果を出力しないことを決定するように設定を調節してもよい。更に、一実施形態では、ユーザ又は設計者は、プロセッサ102が音声ファイルの検索を実行して、バックグラウンドノイズ又は発話に関係付けられる触覚効果を取り除くために触覚トラックをクリーニングするように設定を調節してもよい。

0062

次に図7を参照すると、図7は、一実施形態によって音声信号に関係付けられる触覚効果を生成するための方法700のフローチャートを示す。図7に示されるように、方法700は、プロセッサ102が音声信号内のソースを分離すると開始する(702)。一部の実施形態では、プロセッサ102は、音声ソースを分離するために1つ以上の複数の異なる方法を実装してもよい。一部の実施形態では、こうした方法は、AED(聴覚イベント検出;Acoustic Event Detection)又はASR(自動発話認識;Automatic Speech recognition)に関する方法を含んでもよい。更に、一部の実施形態では、こうした方法は、一次及び二次導関数に沿ったメル周波数ケプストラム係数(MFCC)、MPEG−7スペクトル特性、CB−TEO(Critical Band combined with Teager Energy Operator)特性、信号の周期性、ウェーブレットベースのケプストラム係数、スペクトル中心(Spectral centroid)、スペクトル非対称性、スペクトル帯域幅、ZCR(Zero Crossing Rate)、LPC(Linear Predictor Coefficient)、LPCC(Linear Predictive Cepstral Coefficients)、LFCC(Log Frequency Cepstral Coefficients)、又は基本周波数の1つ以上を使用するように構成されるアルゴリズムを含んでもよい。

0063

次に、ステップ704において、プロセッサ102は、ソースに触覚効果を割り当てる。例えば、一部の実施形態では、プロセッサは、触覚効果が所定のソースにのみ関係付けられるべきであることを決定してもよい。例えば、プロセッサは、音楽に関係付けられる音声に触覚効果を適用するが、話すことに関係付けられる触覚効果を除去又は「クリーニング」してもよい。同様に、プロセッサは、発砲、エンジン音、気象ノイズ、又はバックグラウンドノイズ等の効果に関係付けられる音声に対する特定の効果を決定してもよい。一部の実施形態では、プロセッサ102は、多数のアクチュエータを異なる音声効果に割り当ててもよい例えば、プロセッサ102は、1つのソース(例えば、第1の発話者又は第1のギター)に関係付けられる触覚効果を生成するために第1の触覚出力装置118を割り当て、第2のソース(例えば、第2の発話者又は音声信号における特殊効果)に関係付けられる触覚効果を生成するために第2の触覚出力装置118を割り当ててもよい。

0064

次に図8を参照すると、図8は、一実施形態によって音声信号に関係付けられる触覚効果を生成するための方法800のフローチャートを示す。図8に示されるように、方法800は、ステップ802において、プロセッサ102が音声信号における発話を分離すると開始する。一部の実施形態では、プロセッサ102は、音声信号のセグメントを分類することによって、例えば、音声信号における音声特性又は成分の識別を用いて発話を分離する。一部の実施形態では、プロセッサ102は、事前にタグ付けされた音声信号のローカル又はリモートデータベースにアクセスしてもよい。このデータベースは、異なる種類の、異なる発話者の、及び異なるレベルのノイズを有する音を含んでもよい。一部の実施形態では、プロセッサは、以下の1つ以上を用いて信号を発話として分類してもよい。信号エネルギ、高/低エネルギ、メル周波数ケプストラム係数(MFCC)及びその導関数、LFCC(Log Frequency Cepstral Coefficients)及びZCR(Zero Crossing Rate)、自己相関周波数、又はスペクトル重心。更に、一部の実施形態では、識別タスクに用いられる分類子は、以下を含んでもよい。ニューラルネットワーク、GMM(Gaussian Mixture Models)、又はHMM(Hidden Markov Models)。

0065

プロセッサ102が発話に関係付けられる1つ以上の感情を決定すると、方法800は継続する(804)。発話者の感情的状態は、発話パターンに影響を及ぼす。例えば、発話者の感情は、発話者のイントネーション音量、速度、又は他の発話パラメータを変化させてもよい。一部の実施形態では、プロセッサ102は、信号を再度分類することによって発話における感情を決定する。一部の実施形態では、この分類は、音声信号から1つ以上の特性値又は成分を推定して、発話者の感情的状態がタグ付けされた発話サンプルのローカル又はリモートデータベースに対してそれらを分類することを含む。一部の実施形態では、分類のためのアルゴリズム(例えば、認識アルゴリズム)が、セグメントの成分又は特性値を異なる感情を記述する異なるモデルに対して比較してもよい。このアルゴリズムは更に、最も可能性が高い感情に基づいてセグメントを分類してもよい。一部の実施形態では、モデルは、そのモデルに関係付けられる感情の種類に基づいて考案されてもよい。一実施形態では、一種類の感情のためのモデルが、同じ感情で過去にラベル付けされた(例えば、自動的に又は手動で)音声セグメントのデータベースからの成分又は特性を用いて構築されてもよい。一部の実施形態では、データベースは、異なる年齢性別、感情的状態及び訛り/言語の発話者のサンプルを含むのに十分な大きさであってもよい。更に、一部の実施形態では、検出可能な感情の種類は、中立喜び、怒り、悲しみ攻撃性、退屈、嫌悪恐怖ストレス、驚き、又は憤りを含む。

0066

プロセッサ102は、感情検出のために多数の異なる成分を使用してもよい。一部の実施形態では、成分は、周波数に基づいた成分、例えば、基本周波数変化、平均ピッチピッチ範囲、スペクトル特性、MFCC、LFCC、フォルマント特性、又は曲線勾配(contour slope)を含んでもよい。他の実施形態では、こうした成分は、時間に基づいた成分、例えば、発話速度、ストレス頻度エネルギ、又はZCRを含んでもよい。更に他の実施形態では、こうした成分は、音声品質パラメータ、例えば、気息音輝度、声の強さ、ポーズの不連続性、又はピッチの不連続性を含んでもよい。例えば、一部の実施形態では、怒り及び攻撃性は、強い高周波のエネルギ及びより広いピッチ範囲を有する高振幅で速い発話で翻訳され得る。他の実施形態では、悲しみは遅くて低いピッチの信号を生み出してもよい。一部の実施形態では、感情分類タスクに用いられ得る分類子は、ニューラルネットワーク、SVM、GMM、HMM、KNN、又は決定木を含んでもよい。

0067

更に、一部の実施形態では、音声信号は、音声セグメントの記述子として作用する特性を含んでもよく、これは一部の実施形態では、アルゴリズムが、例えば、感情を識別することによって音声信号のセグメントを分類することを可能にしてもよい。一実施形態では、分類に使用される音声特徴として、メル周波数ケプストラム(MFCC)が使用されてもよい。このような実施形態では、システムは、こうしたMFCC又は他の特徴若しくは記述子を用いてイベント又はソースを識別してもよい。

0068

感情に関係付けられる触覚効果を決定すると、方法800は継続する(806)。一部の実施形態では、プロセッサ102は、触覚効果を生成するのではなく触覚無効(haptic silence)を生成することを決定してもよい。例えば、いくつかの感情(例えば、憂鬱、悲しみ)に対して、プロセッサ102はこのセグメントにおける全ての触覚効果を無効にしてもよい。また、プロセッサ102は、セグメントに触覚テーマを割り当ててもよい。例えば、検出された感情は、より意味を持たせるようにセグメント/シーンにおける触覚効果を変調するために使用されてもよい。こうした触覚効果は、自動変換(音声及び/又は映像)によって生成されてもよく、発話又は何らかの他の音に関連付けられ得る。例えば、俳優が怒り及びストレスの感情を有するアクション映画のシーンにおいて、触覚効果は、視聴者に対する類似のストレス状態をシミュレートするように決定されてもよい。このような実施形態では、プロセッサ102は、ストレスの多いシーンにおいて全ての触覚効果を強化するように構成されてもよい。他の実施形態では、愉快なシーンの場合、プロセッサは、そのシーンに関係付けられる1つ以上の触覚効果を弱めるように構成されてもよい。更に他の実施形態では、プロセッサ102は、事前設定された効果を決定するように構成されてもよい。このような実施形態では、自動変換を用いるのではなく、プロセッサ102は、タグ付けされた感情から直接的に効果を生成してもよい。例えば、一実施形態では、感情は、ユーザ、プログラマ、又はコンテンツ作成者にタグ付けされてもよい。一部の実施形態では、事前設定された効果は、発話者の感情状態適合するように設計されることができ、このような実施形態では、この状態を反映及び強調するために発話に沿って再生されてもよい。更に他の実施形態では、発話信号に適合しないかもしれない自動変換アルゴリズムを使用する代わりに、プロセッサ102は、自動的に生成された触覚トラックにおける発話に関連する全ての効果を無効にするように構成されてもよい。このような実施形態では、プロセッサ102は、検出された感情に専用に設計されたアルゴリズムで独立して発話を処理してもよい。更に、一部の実施形態では、プロセッサ102は、検出された感情に基づいて触覚に発話のための既定のアルゴリズムを適用してもよい。例えば、一実施形態では、プロセッサは、各々が複数の感情に関係付けられる複数の自動発話−触覚アルゴリズム(automatic speech to haptics algorithm)を含んでもよい。このような実施形態では、プロセッサ102が1つの感情を決定すると、プロセッサ102は対応するアルゴリズムを用いて触覚効果を決定してもよい。

0069

触覚メディアを生成するための音声信号に関係付けられる触覚コンテンツを生成するための例示のシステム)
次に図9A及び9Bを参照して、触覚コンテンツを生成するためのシステム環境に関する実施形態を説明する。図9Aに示されるように、システム900は、1つ以上のメディアサーバ904に記憶されたA/Vコンテンツ902及び1つ以上の触覚メディアサーバ910に記憶された触覚コンテンツ908を含む。システム900に示されるように、メディアサーバ904及び触覚メディアサーバ910の各々は、当技術分野で周知の標準的な構成要素、例えば、プロセッサ、メモリ、データ記憶装置、(複数の)ネットワーク接続、及びサーバにデータを記憶して記憶されたデータにアクセスするように構成されるソフトウェアを有する1つ以上のサーバを備える。メディアサーバ904及び触覚メディアサーバ910は共に、クラウド接続906(a)又は906(b)の1つに結合される。クラウド接続906(a)又は906(b)は、当技術分野で周知の有線及び/又は無線インターネット接続を含む。

0070

システム900に示されるように、A/Vコンテンツ902(音声、画像、又は映像ファイル等)は、触覚コンテンツ908(上記の触覚トラック等)とは別に送信される。例えば、上記の種類のコンピュータ装置によって受信されると、発行者アプリケーション912等のアプリケーション(例えば、触覚使用可能なアンドロイドアプリケーション又は触覚メディアSDK)が、映像及び触覚ストリームを同期させ及び/又は再生するためにアクセスされてもよい。

0071

システム950として図9Bに示される別の実施形態では、組み込み触覚情報952を有するA/Vコンテンツが1つ以上のメディアサーバ954に記憶される。こうしたメディアサーバは、1つ以上のクラウド接続956に結合されてもよい。このような実施形態では、発行者のアプリケーション958等のアプリケーション(例えば、触覚使用可能なアンドロイドアプリケーション又は触覚メディアSDK)が、A/Vコンテンツ及び組み込み触覚コンテンツ952を決定し及び/又は再生するためにアクセスされてもよい。

0072

(音声信号に関係付けられる触覚効果を生成するためのシステム及び方法の利点)
音声信号に関係付けられる触覚効果の生成には多数の利点がある。例えば、自動音声−触覚変換アルゴリズムは、信号に混合された異なる音を区別せずにできるだけ多くの音声コンテンツを触覚化(haptify)しようとする場合がある。しかしながら、この手法は、触覚効果が圧倒的になるので望ましくない触覚効果をもたらす。例えば、音声トラックを用いて映画に対する触覚効果を自動的に生成する場合、発話及びバックグラウンド音楽が触覚化されるかもしれない。こうした効果は、ほとんどのユーザにとって不適切であり、それによりユーザ体験を格下げしてしまう。しかしながら、本開示の実施形態は、触覚効果を所定の音声効果のみに知的に割り当てる自動音声−触覚変換を可能にする。これは、結果の触覚効果が圧倒的になることを防ぐ。

0073

更に、本開示の実施形態は、ユーザ、コンテンツ作成者、又はシステム設計者が触覚効果を含むべき音声信号の成分を特定することを可能にする。ユーザは触覚効果が存在しない所定のソースを特定することができるので、これは、ユーザ、コンテンツ作成者、又はシステム設計者が、音声信号に対してより説得力のある触覚効果を自動的に作成することを可能にする。例えば、一部の種類の成分は触覚化されると迷惑な場合があり、一部の実施形態では、こうした成分は、キーボードのタイピング、音楽のビート拍手喝采クラシック音楽、叫び声等を含んでもよい。本明細書に開示のシステム及び方法は、設計者がこうした成分を触覚化することを避けること、又はこうした成分に関係付けられる触覚効果を触覚トラックから取り除くことを可能にしてもよい。

0074

(概論)
上記の方法、システム及び装置は例示である。様々な構成によって、適宜、様々な手続き又は構成要素が省略、置換、又は追加されてもよい。例えば、代替的な構成では、方法は記載されたものとは異なる順序で実行されてもよく、及び/又はステージが追加、省略及び/又は結合されてもよい。また、所定の構成に関して記載された機能は、様々な他の構成に結合されてもよい。構成の異なる態様及び要素が、同様に結合されてもよい。また、技術は進歩するものであり、そのため要素の多くは例示であり、本開示又は請求項の範囲を限定しない。

0075

例示的な構成(実装を含む)の十分な理解を与えるために説明の中で特定の詳細が与えられている。しかしながら、こうした構成は特定の詳細なしで実施されてもよい。例えば、周知の回路、工程、アルゴリズム、構造及び技術が、構成を不明確にするのを避けるために不要な詳細なしで示されている。この説明は、例示的な構成のみを提供するものであり、請求項の範囲、応用性又は構成を限定しない。むしろ、構成の上記説明は、当業者に記載された技術を実装するための実施可能な説明を提供するであろう。本開示の精神又は範囲から逸れることなく、要素の機能及び配置の様々な変更が行われてもよい。

0076

また、構成は、流れ図又はブロック図として描かれる処理として記載されてもよい。各々が連続した工程として操作を説明している場合があるが、こうした操作の多くは並列的又は同時に行われ得る。更に、操作の順序は並び替えられてもよい。工程は、図面に含まれない追加のステップを有してもよい。更に、方法の例示は、ハードウェア、ソフトウェア、ファームウェアミドルウェアマイクロコードハードウェア記述言語、又はこれらの任意の組み合わせによって実装されてもよい。ソフトウェア、ファームウェア、ミドルウェア又はマイクロコードで実装される場合、必要なタスクを実行するためのプログラムコード又はコードセグメントは、記憶媒体等の一時的でないコンピュータ可読媒体に記憶されてもよい。プロセッサは、記載されたタスクを実行してもよい。

0077

複数の例示的な構成が記載されているが、本開示の精神から逸脱することなく、様々な修正、代替構造及び均等物が使用されてもよい。例えば、上記の要素は、より大きなシステムの構成要素であってもよく、他の規則が本発明のアプリケーションに優先し又はそれを修正してもよい。また、上記の要素が検討される前、間、又は後で多くのステップが行われてもよい。従って、先の記載によって請求項の範囲は縛られない。

0078

本明細書における「適合される」又は「構成される」の使用は、追加のタスク又はステップを実行するように適合又は構成される装置を排除しない開放的且つ包括的な言語を意図している。更に、「基づいて」の使用は開放的且つ包括的であることが意図されており、即ち、1つ以上の記載された条件又は値に「基づく」処理、ステップ、計算、又は他の動作が、実際には、記載されたものを超える追加の条件又は値に基づいてもよい。本明細書に含まれる表題リスト及び番号は、単に説明を容易にするためのものであって、限定することを意図していない。

0079

本主題の態様に従う実施形態は、デジタル電子回路コンピュータハードウェア、ファームウェア、ソフトウェア又はこれらの組み合わせに実装され得る。一実施形態では、コンピュータは、1つ又は複数のプロセッサを備えてもよい。プロセッサは、プロセッサに結合されるRAM(random access memory)等のコンピュータ可読媒体を備え、又はそれへのアクセスを有する。プロセッサは、センササンプリングルーチン選択ルーチン、及び上述の方法を実行する他のルーチン等、メモリに記憶されたコンピュータ実行可能プログラム命令を実行する。

0080

このようなプロセッサは、マイクロプロセッサ、DSP(digital signal processor)、ASIC(application−specific integrated circuit)、FPGA(field programmable gate array)、及び状態機械を含む。このようなプロセッサは、PLC、PIC(programmable interrupt controller)、PLD(programmable logic device)、PROM(programmable read−only memory)、EPROM又はEEPROM(electronically programmable read−only memory)、又は他の類似の装置等のプログラム可能電子装置を更に備えてもよい。

0081

このようなプロセッサは、媒体、例えば、プロセッサによって実行されると、プロセッサによって遂行又は支援される本明細書に記載のステップをプロセッサに実行させることが出来る命令を記憶し得る有形のコンピュータ可読媒体を備え、又はこれと通信してもよい。コンピュータ可読媒体の実施形態は、限定されないが、プロセッサ、例えばウェブサーバのプロセッサにコンピュータ可読命令を提供することができる全ての電子、光学、磁気、又は他の記憶装置を備えてもよい。媒体の他の例は、限定されないが、フロッピー(登録商標)ディスクCD−ROM磁気ディスクメモリチップ、ROM、RAM、ASIC、構成プロセッサ、全ての光学媒体、全ての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサ読み取り可能な任意の他の媒体を含む。また、様々な他の装置は、ルータプライベート若しくはパブリックネットワーク、又は他の伝送装置等のコンピュータ可読媒体を含んでもよい。記載されたプロセッサ及び処理は、1つ以上の構造内にあってもよく、1つ以上の構造を通じて分散されてもよい。プロセッサは、本明細書に記載の1つ以上の方法(又は方法の一部)を実行するためのコードを備えてもよい。

0082

本主題はその特定の実施形態に関して詳細に記載されているが、上記のことを理解すると、このような実施形態の変形、変化及び均等物を当業者であれば容易に生み出し得ることが理解されるであろう。従って、本開示は、限定ではなく例示を目的として提示されており、当業者には容易に明らかとなる本主題への修正、変更及び/又は追加を含むことを排除しないことが理解されるべきである。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ