図面 (/)

技術 ナビゲーションサウンドスケーピング

出願人 クゥアルコム・インコーポレイテッド
発明者 ペイ・シャン
出願日 2016年8月31日 (3年6ヶ月経過) 出願番号 2016-169551
公開日 2017年2月9日 (3年1ヶ月経過) 公開番号 2017-032568
状態 特許登録済
技術分野 航行(Navigation) ステレオ方式 無線による位置決定
主要キーワード 開放カバー ユーザ座標 修正ブロック 広域通過フィルタ ヘッドフォーン 修正ソフト 音声キュー 自動車音
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年2月9日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (8)

課題

ユーザが、陸標などのマッピングされた物体の位置を聴覚的に知覚することを可能にするナビゲーションシステムを提供する。

解決手段

ユーザの位置を決定する位置決定システム12と、ユーザの位置周辺施設等の陸標情報34と、1つ以上の陸標に関する階層的に構成された情報を記憶する音声コンテンツ38とを有する。プロセッサ16は、ユーザの位置周辺の陸標を抽出し、ユーザに対する方向及び距離に基づき3次元音声空間に空間化し、空間化された音声信号を混合し、混合された音声信号をスピーカなどの変換器24より出力する。

概要

背景

人間−コンピュータインタフェースにおいて、しばしば問題となるのは、情報のオーバフローあるいは過負荷である。人間は提示された情報を感知する能力が制限されており、コンピュータ及び他の情報機器によって、同時に提示されるデータの量は一般的なユーザを圧倒するであろう。重要なことは、過剰の情報を提示されることはしばしば、ある種の状況において安全性を危うくしてしまうことである。

我々の周囲の知覚に関しては、見ること(視覚)と聞くこと(聴覚)は2つの最も重要な感覚である。各人はしばしば、正確かつ特別な情報に関して視覚に頼るが、さほど正確でない情報に関しては聴覚に頼る。しばしば聞くことは状況をよりよく理解するのに視覚に加えて補足することができる。

人間が聴覚的かつ視覚的に感知する現代的状況の一例は、グローバルポジショニングシステム(GPS)ナビゲーションを使用した車の運転である。この状況における一般的なドライバにとって、彼らの目は概して道路を見るのに忙しい。搭載されたGPSナビゲーションシステムがONされているとき、ナビゲーションシステムからの情報(地図、方向指示経路指示近接物の指示など)が視覚情報であるならば、ドライバは注意をそらされてしまう。このような注意力散漫を低減するために、一部の自動車ナビゲーションシステムは、音声コマンドによってドライバに配送される、可聴ターンバイターン(turn-by-turn)指令を提供する。

一部のナビゲーションシステムでは、地図や方向指示以外にも、銀行、学校、ガソリンスタンド病院客船タラップ空港レストラン、学校、興味のある場所などの特定の陸標(landmark)の位置などの付加的な補助データ利用可能である。しかしながら、これらの付加データはユーザに対して情報過負荷をもたらしてしまう。

概要

ユーザが、陸標などのマッピングされた物体の位置を聴覚的に知覚することを可能にするナビゲーションシステムを提供する。ユーザの位置を決定する位置決定システム12と、ユーザの位置周辺施設等の陸標情報34と、1つ以上の陸標に関する階層的に構成された情報を記憶する音声コンテンツ38とを有する。プロセッサ16は、ユーザの位置周辺の陸標を抽出し、ユーザに対する方向及び距離に基づき3次元音声空間に空間化し、空間化された音声信号を混合し、混合された音声信号をスピーカなどの変換器24より出力する。

目的

このような注意力散漫を低減するために、一部の自動車ナビゲーションシステムは、音声コマンドによってドライバに配送される、可聴ターンバイターン(turn-by-turn)指令を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

装置であって、ユーザの位置を決定するように構成された位置決定システムと、1つ以上の陸標に関する階層的に構成された情報を記憶するように構成されたメモリと、前記階層的に構成された情報に基づく音声信号を前記ユーザに対応する所定の音声空間に変換して、前記ユーザの位置に対する前記陸標の少なくとも1つの位置のユーザ知覚を可能にするプロセッサと、を具備する装置。

請求項2

前記階層的に構成された情報は、各陸標に対する音声アイコンを含む請求項1に記載の装置。

請求項3

前記階層的に構成された情報は、複数のカテゴリを含み、各カテゴリは異なる種別の陸標を定義し、音声アイコンを、前記カテゴリを他のカテゴリから区別する各カテゴリに関連付ける請求項1に記載の装置。

請求項4

前記階層的に構成された情報はさらに、前記カテゴリの少なくとも1つに対して定義された複数のサブカテゴリを含み、各サブカテゴリは、異なるサブ種別の陸標を定義し、前記階層的に構成された情報は、音声アイコンを前記サブカテゴリを前記他のサブカテゴリから区別する各サブカテゴリと関連付ける請求項3に記載の装置。

請求項5

前記メモリは音声アイコンの音源ライブラリを記憶する請求項1に記載の装置。

請求項6

前記陸標を前記音声アイコンにマッピングするように構成されたルックアップテーブルをさらに備える請求項5に記載の装置。

請求項7

前記音声信号に応答して聴覚音を生成するように構成された1つ以上の変換器をさらに備え、前記聴覚音は、前記ユーザ位置に対する前記陸標の位置のユーザ知覚を可能にすべく前記音声空間において知覚可能である請求項1に記載の装置。

請求項8

前記プロセッサは、前記ユーザの位置に対する前記陸標の少なくとも1つの距離と方向のユーザ知覚を可能にすべく前記音声信号を提供する請求項1に記載の装置。

請求項9

前記プロセッサは、より遠い陸標に対応する前記聴覚音は、前記ユーザにより近い陸標に対応する聴覚音よりもより遠くに聞こえるものとして前記ユーザによって知覚されるように、前記聴覚音を提供する請求項1に記載の装置。

請求項10

前記ユーザが前記音声信号を修正できるように構成されたユーザインタフェースをさらに備える請求項1に記載の装置。

請求項11

前記ユーザインタフェースは、環境条件に基づいて前記音声信号を修正するために、前記ユーザが前記プロセッサを構成できるように構成されている請求項10に記載の装置。

請求項12

前記ユーザインタフェースは、効果音を追加することによって前記ユーザが前記聴覚音を修正可能にする請求項10に記載の装置。

請求項13

前記ユーザインタフェースは、前記ユーザがユーザにより選択された陸標に対する前記階層的に構成された情報を構成可能にする請求項10に記載の装置。

請求項14

前記プロセッサは前記音声信号の音声コンテンツを合成するように構成されている請求項1に記載の装置。

請求項15

ユーザに対して音声情報提示する方法であって、位置決定システムを用いてユーザ位置を決定することと、前記ユーザ位置に基づいて、陸標に関する階層的に構成された情報をメモリから取り出すことと、1つ以上の変換器を介して、前記階層的に構成された情報に基づいて聴覚音を生成することであって、前記聴覚音は、前記ユーザ位置に対する前記陸標の位置のユーザ知覚を可能にするべく生成されることと、を具備する方法。

請求項16

前記階層的に構成された情報は、各陸標に対する音声アイコンを含む請求項15に記載の方法。

請求項17

前記階層的に構成された情報は、複数のカテゴリを含み、各カテゴリは異なる種別の陸標を定義し、音声アイコンを、前記カテゴリを他のカテゴリから区別する各カテゴリに関連付ける請求項15に記載の方法。

請求項18

前記階層的に構成された情報はさらに、前記カテゴリの少なくとも1つに対して定義された複数のサブカテゴリを含み、各サブカテゴリは、異なるサブ種別の陸標を定義し、前記階層的に構成された情報は、音声アイコンを前記サブカテゴリを前記他のサブカテゴリから区別する各サブカテゴリと関連付ける請求項17に記載の方法。

請求項19

音声アイコンの音源ライブラリを提供することをさらに備える請求項15に記載の方法。

請求項20

複数の陸標をルックアップテーブルによって前記音声アイコンにマッピングすることをさらに備える請求項19に記載の方法。

請求項21

前記ユーザの位置に対する前記陸標の少なくとも1つの距離と方向のユーザ知覚を可能にすべく前記聴覚音を提供する請求項20に記載の方法。

請求項22

より遠い陸標に対応する前記聴覚音は、前記ユーザにより近い陸標に対応する聴覚音よりもより遠くに聞こえるものとして前記ユーザによって知覚されるように、前記聴覚音を提供する請求項21に記載の方法。

請求項23

前記聴覚音を修正するためのユーザ入力を受信することをさらに備える請求項15に記載の方法。

請求項24

前記ユーザ入力は環境条件に基づいて前記聴覚音を修正する請求項23に記載の方法。

請求項25

効果音を加えることによって前記ユーザ入力は前記聴覚音を修正する請求項23に記載の方法。

請求項26

ユーザによって選択された陸標に対して前記階層的に構成された情報を構成するためのユーザ入力を受信することをさらに備える請求項23に記載の方法。

請求項27

前記メモリから前記情報を取り出すのではなく、前記ユーザ位置に基づいて前記階層的に構成された情報を合成することをさらに備える請求項15に記載の方法。

請求項28

装置であって、位置決定システムを用いてユーザ位置を決定するための手段と、前記ユーザ位置に基づいて、陸標に関する階層的に構成された情報をメモリから取り出すための手段と、前記階層的に構成された情報に基づいて聴覚音を生成するための手段であって、前記聴覚音は、前記ユーザ位置に対する前記陸標の位置のユーザ知覚を可能にするべく生成される手段と、を具備する装置。

請求項29

前記階層的に構成された情報は、複数の陸標の各々に対する音声アイコンを含む請求項28に記載の装置。

請求項30

前記階層的に構成された情報は、複数のカテゴリを含み、各カテゴリは異なる種別の陸標を定義し、音声アイコンを、前記カテゴリを他のカテゴリから区別する各カテゴリに関連付ける請求項28に記載の装置。

請求項31

前記階層的に構成された情報はさらに、前記カテゴリの少なくとも1つに対して定義された複数のサブカテゴリを含み、各サブカテゴリは、異なるサブ種別の陸標を定義し、前記階層的に構成された情報は、音声アイコンを前記サブカテゴリを前記他のサブカテゴリから区別する各サブカテゴリと関連付ける請求項30に記載の装置。

請求項32

前記メモリは、音声アイコンの音源ライブラリを記憶する請求項29に記載の装置。

請求項33

前記陸標を前記音声アイコンにマッピングするように構成されたルックアップテーブルをさらに備える請求項32に記載の装置。

請求項34

前記ユーザの位置に対する前記陸標の少なくとも1つの距離と方向のユーザ知覚を可能にすべく前記音声信号を提供するための手段をさらに備える請求項29に記載の装置。

請求項35

より遠い陸標に対応する前記聴覚音は、前記ユーザにより近い陸標に対応する聴覚音よりもより遠くに聞こえるものとして前記ユーザによって知覚されるように、前記音声信号を提供するための手段をさらに備える請求項28に記載の装置。

請求項36

前記ユーザが前記聴覚音を修正可能にするための手段をさらに備える請求項28に記載の装置。

請求項37

前記ユーザが環境条件に基づいて前記聴覚音を修正可能にするための手段をさらに備える請求項36に記載の装置。

請求項38

効果音を加えることによって前記ユーザが前記聴覚音を修正するための手段をさらに備える請求項36に記載の装置。

請求項39

前記ユーザが、ユーザによって選択された陸標に対して前記階層的に構成された情報を構成可能にするための手段をさらに備える請求項36に記載の装置。

請求項40

前記ユーザ位置に基づいて、前記階層的に構成された情報を合成するための手段をさらに備える請求項28に記載の装置。

請求項41

1つ以上のプロセッサによって実行可能な一組の命令を格納したコンピュータ読み取り可能な媒体であって、位置決定システムを用いてユーザ位置を決定するためのプログラムコードと、前記ユーザ位置に基づいて、陸標に関する階層的に構成された情報を取り出すためのプログラムコードと、前記階層的に構成された情報に基づいて聴覚音を生成するためのプログラムコードであって、前記聴覚音は、前記ユーザ位置に対する前記陸標の位置のユーザ知覚を可能にするべく生成されるプログラムコードと、を具備するコンピュータ読み取り可能な媒体。

請求項42

前記階層的に構成された情報は、複数の陸標の各々に対する音声アイコンを含む請求項41に記載のコンピュータ読み取り可能な媒体。

請求項43

前記階層的に構成された情報は、複数のカテゴリを含み、各カテゴリは異なる種別の陸標を定義し、音声アイコンを、前記カテゴリを他のカテゴリから区別する各カテゴリに関連付ける請求項41に記載のコンピュータ読み取り可能な媒体。

請求項44

前記階層的に構成された情報はさらに、前記カテゴリの少なくとも1つに対して定義された複数のサブカテゴリを含み、各サブカテゴリは、異なるサブ種別の陸標を定義し、前記階層的に構成された情報は、音声アイコンを前記サブカテゴリを前記他のサブカテゴリから区別する各サブカテゴリと関連付ける請求項43に記載のコンピュータ読み取り可能な媒体。

請求項45

前記ユーザ位置に基づいて、前記階層的に構成された情報を合成するためのプログラムコードをさらに備える請求項41に記載のコンピュータ読み取り可能な媒体。

技術分野

0001

関連出願の相互参照
本発明は、2011年12月15日に出願された、非仮出願としての米国特許出願第13/327544の利益を請求する。その開示の全体はここに参照によって組み込まれている。

0002

本開示は概してナビゲーションシステムに関するものであり、特に、オーディオキュー(audio cue)を組み込んだナビゲーションシステムに関する。

背景技術

0003

人間−コンピュータインタフェースにおいて、しばしば問題となるのは、情報のオーバフローあるいは過負荷である。人間は提示された情報を感知する能力が制限されており、コンピュータ及び他の情報機器によって、同時に提示されるデータの量は一般的なユーザを圧倒するであろう。重要なことは、過剰の情報を提示されることはしばしば、ある種の状況において安全性を危うくしてしまうことである。

0004

我々の周囲の知覚に関しては、見ること(視覚)と聞くこと(聴覚)は2つの最も重要な感覚である。各人はしばしば、正確かつ特別な情報に関して視覚に頼るが、さほど正確でない情報に関しては聴覚に頼る。しばしば聞くことは状況をよりよく理解するのに視覚に加えて補足することができる。

0005

人間が聴覚的かつ視覚的に感知する現代的状況の一例は、グローバルポジショニングシステム(GPS)ナビゲーションを使用した車の運転である。この状況における一般的なドライバにとって、彼らの目は概して道路を見るのに忙しい。搭載されたGPSナビゲーションシステムがONされているとき、ナビゲーションシステムからの情報(地図、方向指示経路指示近接物の指示など)が視覚情報であるならば、ドライバは注意をそらされてしまう。このような注意力散漫を低減するために、一部の自動車ナビゲーションシステムは、音声コマンドによってドライバに配送される、可聴ターンバイターン(turn-by-turn)指令を提供する。

0006

一部のナビゲーションシステムでは、地図や方向指示以外にも、銀行、学校、ガソリンスタンド病院客船タラップ空港レストラン、学校、興味のある場所などの特定の陸標(landmark)の位置などの付加的な補助データ利用可能である。しかしながら、これらの付加データはユーザに対して情報過負荷をもたらしてしまう。

0007

ナビゲーションシステムにおける地理的情報を示すために、空間音声キュー(spatial audio cue)及び直観的な階層的音声コンテンツを提示することによって情報過負荷を低減することができる技術がここに記述される。そのような技術は、ナビゲーションシステムを使用する視覚的負荷の少なくとも一部をなくしながら、ユーザに対してより多くの情報を提供することができる。1つの考えられる応用は、自動車ナビゲーションシステムである。

0008

空間音すなわち異なる特定の場所から発せられていると知覚される音、を使用することによって、開示された技術は、地図上に物体(例えば陸標)を図表化し、それを音声で提示して、それらがユーザの周囲例えば自動車の内部で知覚されるように、直観的音声コンテンツを使用する。多くの音声キューは、過負荷であると知覚されることなしに、3次元(3D)聴覚空間(auditory space)において共存する。人間のは、多くの音声事象を同時に知覚する自然の能力をもっている。加えて、各物体を示す音声コンテンツは階層的に組織化され直観的である。階層的聴覚コンテンツは物体の各タイプに対して他のレベルの区別(distinction)を提供する。

0009

一側面によれば、装置は、位置決定システムと、メモリと、プロセッサとを含む。前記位置決定システムは、ユーザの位置を決定し、前記メモリは、例えば陸標などの1つ以上の地理的オブジェクトについての階層的に構成された情報を記憶する。プロセッサは、前記階層的に構成された情報に基づいて音声信号を生成するように構成される。音声信号は、前記ユーザの位置に対する前記地理的オブジェクトの少なくとも1つの位置のユーザ知覚を可能にするために、前記ユーザについての音声空間における音として出力されることができる。

0010

他の側面によれば、音声情報をユーザに対して提示する方法は、位置決定システムを用いてユーザ位置を決定することと、前記ユーザ位置に基づいて、陸標についての階層的に構成された情報をメモリから取り出すことと、1つ以上の変換器を介して、前記階層的に構成された情報に基づいて聴覚音を生成することを含む。前記聴覚音は、前記ユーザ位置に対する前記陸標の位置のユーザ知覚を可能にするべく生成される。

0011

他の側面によれば、装置は、位置決定システムを用いてユーザ位置を決定するための手段と、前記ユーザ位置に基づいて、陸標についての階層的に構成された情報を取り出すための手段と、前記階層的に構成された情報に基づいて聴覚音を生成するための手段とを含む。前記聴覚音は、前記ユーザ位置に対する前記陸標の位置のユーザ知覚を可能にするべく生成される。

0012

さらなる側面によれば、1つ以上のプロセッサによって実行可能な一組の命令を格納したコンピュータ読み取り可能な媒体が提供される。前記命令は、位置決定システムを用いてユーザ位置を決定するためのプログラムコードと、前記ユーザ位置に基づいて、陸標についての階層的に構成された情報を取り出すためのプログラムコードと、前記階層的に構成された情報に基づいて聴覚音を生成するためのプログラムコードとを含む。前記聴覚音は、前記ユーザ位置に対する前記陸標の位置のユーザ知覚を可能にするべく生成される。

0013

他の側面、特徴および利点は、以下の図および詳細な説明を吟味することによって当業者に明らかになるあるいは明らかになるであろう。すべてのそのような特徴、側面および利点はこの記述の中に含まれ、添付の請求の範囲によって保護されることを意図する。

図面の簡単な説明

0014

図面は例示の目的のみで用いられることを理解されるべきである。図面内の各要素は必ずしも縮尺したものではなく、ここに記述された技術と装置の原理を説明することに強調が置かれる。図面において、同じ参照数字は異なる図の間で対応する部位を示している。
3D聴覚ナビゲーションキューを生成するための例示的システムを示すブロック図である。
陸標(landmark)音声アイコンの階層的構成を概念的に示すブロック図である。
図1のナビゲーションシステムとともに用いられる、例示的な自動車音サラウンドサウンド(surround sound)システムを示す図である。
図1のナビゲーションシステムとともに用いられる、例示的なニアフォーンサウンド(near-phone sound)システムを示す図である。
図1のナビゲーションシステムとともに用いられる、例示的なヘッドフォーンを示す図である。
3D聴覚ナビゲーションキューを生成する例示的方法を示すフローチャートである。
3D聴覚ナビゲーションキューを生成するための例示的システムアーキテクチャを示すブロック図である。

実施例

0015

図面を参照し、組み入れる以下の詳細な説明は、1つ以上の詳細な説明を記述及び例示するものである。これらの実施形態は、限定する意味ではなく具体例を述べる目的のみで提供されるものである。そしてこれらの実施形態は、当業者が請求されたことを実施することを可能にするために十分詳細に示されかつ記述されている。すなわち、説明を簡略化するために、当業者にとって既知の情報については省略する。

0016

“例示的”という語句は,“一例、一面、一実例として提供される”という意味合いでこの開示全体にわたって使用される。ここにおいて“模範的”として記述されることは何であっても、必ずしも他の方法や特徴と比較して望ましいあるいは有利なものとして解釈されるべきではない。その文脈によって明示的に限定されない限りにおいて、ここで用いられる“信号”は通常の意味を示すために用いられ、例えば、導線バス、あるいは他の伝送媒体に関して伝送されるメモリ位置の状態(あるいはメモリ位置の組)を含むものである。

0017

図1は、3D聴覚ナビゲーションキューを生成するための例示的システム10を示すブロック図である。システム10は、グローバル位置決めシステム(GPS)などの位置決めシステム12、プロセッサ16、ユーザインタフェース(UI)14、メモリ18、音声ミキサ20、音声後処理回路22、音声スピーカなどの1つ以上の変換器24を含む。

0018

プロセッサ16は、陸標抽出ブロック26、音声コンテンツ合成/関連付けブロック28、音声コンテンツ修正ブロック30、空間化(spatialization)ブロック32を含む。
プロセッサ16は、ARM7などのマイクロプロセッサソフトウエアを実行するデジタルシグナルプロセッサ(DSP)、1つ以上の特定用途向け集積回路ASIC)、フィールドプログラマブルゲートアレイFPGA)、複合プログラマブルロジックデバイス(CPLD)、ディスクリートロジック、あるいは前記した素子の任意の適切な組み合わせ、であることができる。

0019

メモリ18は、陸標情報34および音源ライブラリ36を記憶する。音源ライブラリ36は、階層的に構成された音声コンテンツ38を含む。メモリ18は、プロセッサ16から分離したデバイスであるか、あるいは同一チップ上にプロセッサ16とともに集積されている。
ユーザ位置および速度は、陸標抽出ブロック26によってGPS12から取得される。
陸標ブロック26はユーザ座標を用いて、メモリ18の関連する陸標情報にアクセスする。関連する陸標は、通常はユーザの周辺に存在する、すなわち、それらはユーザの現在の位置から予め定められた距離内に位置するものとして決定される。陸標抽出ブロック26は、ユーザ位置GPS座標に基づいて、ユーザの座標周りの座標の範囲を決定して、陸標情報34を探索し、ユーザの周辺を示す、範囲内の陸標のための情報を取り出す。ユーザ周辺における各特定された陸標に関して、システム10は、音声アイコンを以下のようにして処理および生成することができる。

0020

コンテンツ合成/関連付けブロック28は、直観的な規則(intuitive rule)および地方文化背景(local cultural background)に基づいて、音声(あるいは音声アイコンとも呼ぶ)の短い抜粋を各陸標と合成あるいは関連付ける。音声アイコンは非発話音声であってもよい。すなわち、ユーザは音声アイコン音を聞くたびに、彼/彼は心の中に陸標の種別を描くことができる。例えば、銀行は硬貨が落下するときの音に、ガソリンスタンドはエンジンのうなる音に、海港船舶の点に、レストランはフォークナイフの音に、関連付けることができる。

0021

各音声アイコンのための音声コンテンツは、階層的に構成された音声コンテンツライブラリ38から選択されるかあるいはプロセッサ16の音声コンテンツ関連付け/合成ブロックによって合成される。この合成機能は、プロセッサ16を用いてリアルタイムの音声を生成するように構成された適切なデバイスによって実現できる。これは、回路および/又はMIDI合成を実行するためにプロセッサ16によって実行可能なソフトウエア、あるいは、発振器、雑音発生器波形テーブルフィルタエンベロープフォロワーなどを備える、音声を付与するための任意の適切な電子設計を含むことができる。合成機能は、ブロック28によって生成される合成音声コンテンツが、音源ライブラリ36に記憶された階層的に構成された音声コンテンツ38のそれと類似の方法によって階層的に構成されている。

0022

システム10の一部の構成において、音声コンテンツは、ブロック28によって完全に合成され、それゆえ、音源ライブラリ36及び音声コンテンツ関連付け機能はシステム10から省略することができる。システム10の他の構成において、音声コンテンツ合成機能はブロック28から省略され、音声アイコンの音声コンテンツを生成するために、音声コンテンツ関連付け機能および音源ライブラリ36がもっぱら用いられる。

0023

ブロック28によって用いられるコンテンツ関連付け方法はシステム10のアプリケーションによって異なる。当該方法はルックアップテーブルに記憶された所定の陸標対音マッピングを使用することができる。このマッピングは階層的に構成された音声コンテンツ38として音源ライブラリに記憶された音声アイコンを指し示す。すなわち、陸標が陸標抽出ブロック26によって検出されたときに、再生のために、音源ライブラリ36から対応する記憶された音声アイコンを取り出すために、陸標座標あるいは識別子を用いることができる。このマッピングは工場において指定されるかあるいはUI14を介してユーザによって構成されうる;およぶ/またはそれらは学習アルゴリズムに関連付けることができ、ユーザの習慣に基づいて使用中により良いパフォーマンス適応することができる。
用いられる特定の関連付け方法とは無関係に、当該方法は最終結果を提供するものであり、いったん陸標が識別されるとそれはユーザに提示される必要がある。対応する音(音声アイコン)は聴取者に対する陸標を直観的に示す。直観的な聴覚アイコンは押し付けがましくない情報を提供する。例えば、一人以上の聴取者を取り囲む聴覚空間は、聴取者にとって心地よくかつ楽しい感じを与えるように構成可能な、自然音からなる3Dサウンドスケープ(音風景)(soundscape)となることができる。

0024

特定の音に関連する陸標の高レベルの特徴(例えば種別)のみならず、陸標の縮尺(scale)および他の詳細は、音の異なるサブカテゴリ内で階層的に表される。例えば、スタンドアロンの銀行における現金自動預け払い機ATM)はひとつあるいは少数の落下する硬貨の音によって示されるが、主要銀行の支店は、多数の硬貨が落下するときの音によって表されることができる。中国のレストランは、フォークとナイフの音およびそれに続く五音音階メロディによって表され、イランのレストランは、フォークとナイフの音およびそれに続く適量のベリーダンス音楽によって表される。聴覚アイコンのこれらの後者の例は、連結された音声設計ということができ、単一の音声アイコンを生成するために、複数の音声音がともに連結される。音声アイコンの設計は種々考えられ、UI14を介してユーザによってカスタマイズすることができる。

0025

音声コンテンツ修正ブロック30は、コンテンツが空間的な音声信号に変換される前に、音声アイコンコンテンツ修正する。ユーザはUI14を介して、時刻気象状態などにしたがって、重要レベルを割り当て、あるいはカスタム行動を定義かつ関連付けることができる。ユーザはまた、UI14を用いてユーザによって選択された陸標のために特殊な効果音(sound effect)を設定することができる。

0026

UI14は、液晶表示(LCD)などの視覚的表示部と、1つ以上のボタンダイヤル、および/またはタッチスクリーン入力などのユーザ入力手段とを含むことができる。前記表示部およびユーザ入力手段を制御かつ実装するために、プロセッサ16によって実行可能なソフトウエアを用いることができる。前記表示部はセットアップメニューを提示することができる。ここでは、陸標の各カテゴリリスト化され、音声コンテンツファイルを選択するための1つ以上の付随するドロップダウンメニューおよび、陸標に関連付けるための合成方法及びパッチが提供される。UI14はさらに、個々の陸標の選択および構成を許可するように構成される。各陸標のための選択はデフォルト設定を含む。

0027

フィルタリング変調レベル制御残響などのユーザ選択による処理は、UI14を介して選択されることができ、UI14を介してユーザによって選択された特定の陸標のためにシステム10によって生成される3D音を修正したり効果を付加するのに用いられる。例えば、コーラス/フェィザ(phaser)のような効果音あるいは振幅変調のような変調技術は、混合音(mixture of sounds)から区別する(stand out)ための特殊音を引き起こす。これらの方法は必要に応じて重要な陸標に適用されることができる。例えば、ダイナミックレンジ制御(DRC)モジュールなどのレベル制御アルゴリズムは、現存の音にさらなる音の上昇を付加するのに有用である。このことは重要な陸標が全体の音混合(sound mix)において平板なより大きな所定の限定されたヘッドルームを与える(sound even louder given limited headroom)のを助ける。

0028

空間化ブロック32は、ユーザに対する方向及び距離にしたがって、各音源(音声空間の仮想化された陸標に対応する音声コンテンツ)を、3D音声空間に変換(render)する。より遠く離れている陸標は、より遠くに感じられ、音声空間における知覚の方向はユーザに対するそれらの位置に合致する。

0029

3D音声レンダリング技術は、先端のソフトウエアアーキテクチャ及びAPI(アプリケーションプログラミングインタフェース)において公知である。音を空間化するための方法は、ベクトルに基づく振幅パニング(VBAP)、アンビソニックス(Ambisonics)、頭部伝達関数RTF)フィルタリング、バーチャル3Dオーディオなどのバイノーラル(binaural)レンダリング技術を含む。OpenSL、OpenAL、DirectXのような標準はすべて3DオーディオAPIを研究している専用の部門を有し、一部はレンダリング方法に関わっている。プレゼンテーションデバイスに応じて、ヘッドフォーンに関するバイノーラルフィルタスピーカに関するパニング方法など、3D効果を提示するのに種々のコアアルゴリズムが用いられる。低域通過広域通過フィルタおよび環境残響効果(reverberation effect)はしばしば3Dオーディオソフトウエア一体化された部分である。

0030

空間化ブロック32によって各音源を処理した後、ミキサ20は空間化ブロック32からの音声信号を共に混合し、混合した音声信号を音声後処理回路22に入力する。音声後処理回路は増幅インピーダンス整合、などの機能を実行する。音声信号は音声後処理回路22から出力されて音声変換器24に入力されて音エネルギに変換される。変換器24はスピーカなどの電子的音声信号に応答して音を生成するための任意の装置であってよい。

0031

図2は、陸標アイコンの例示的な階層構造100を概念的に示す図である。この例示的構造100あるいはそれに類似の構造は、図1の階層的に構成された音声コンテンツ38のために使用される。

0032

データ構造100を参照すると、最上位レベルレベル1)102で、陸標のカテゴリあるいは種別が定義される。図の例では、例えば、銀行カテゴリ104、ガソリンスタンドカテゴリ106、レストランカテゴリ108など、いくつかの異なる種別の陸標が示されている。他のカテゴリも可能である。次の下のレベルにおいて、サブカテゴリあるいはサブ種別(レベル2)110a−cがレベル1カテゴリの少なくとも一部に対して定義される。これらのサブカテゴリはさらに陸標の種別を細分化(refine)する。例に示すように、銀行カテゴリ104は、異なる種別の銀行業務場所である現金自動預け払い機(ATM)112、オフィス114、主要なフルサビス支店116の3つのレベル2サブカテゴリに細分化される。レストランカテゴリ108はさらに、フランスレトラン118、イタリアレストラン120および中国レストラン122に細分化される。

0033

図1に関して上記したように、音声コンテンツ関連付けは複数レベルとなっており、異なる手順を使用する。一例として、図2には、2つのレベルの索引付け(indexing)に対して2つの異なるカテゴリが示されている。銀行の音に関しては、お金の音の量を、銀行オフィスのサイズに直観的に関連付けることによってさらに細分化される。レストランに関しては、一般的なレストランを、料理法国籍に関連したより詳細な文化的音に連結することによって、料理の様式が示される。

0034

図2に示されるように、レベル2サブカテゴリはさらにレベル3サブカテゴリ124に細分化される。

0035

3つのレベルをもつ場合のみを想定した、例示的階層の陸標アイコンが示されているが、ここに記載されたシステムおよび方法の範囲内で、任意の数のレベル、カテゴリ、サブカテゴリが定義されて使用されることができる。

0036

図3は、図1のナビゲーションシステム10とともに用いることができる、例示的な自動車音声サラウンドサウンドシステム200を示す図である。サラウンドサウンドシステム200は、乗用車などの乗り物202内に配置された複数の音声スピーカ203、206、208を含む。スピーカ203−208は、1つ以上のバス(ウーファ)スピーカ208、1つ以上のミッドレンジスピーカ203、1つ以上のツィータ206を含む。スピーカ203−208は実質的には図1に示される音声変換器24として動作する。ハイエンド自動車においては、環状配置のスピーカを有するサラウンドスピーカシステムは、空間聴覚表示のために用いられる。音を空間化するための方法は、ベクトルに基づく振幅パニング(VBAP)、アンビソニックス、その他を含む。例えば、VBAPはそれらの相対距離と位置とに応じて、異なるスピーカゲインを割り当て、それによって音は実質的にスピーカの物理空間間において表される。アンビソニックスにおいては、音はそれらの空間的球調和関数(spherical harmonics)にしたがって符号化され、ラウドスピーカ配置の以前の知識によって提供(rendered back)される。これらの方法は既知の空間音アルゴリズムである。

0037

図4は、図1のナビゲーションシステム10とともに使用可能な例示的ニアフォーンサウンドシステムを示す図である。ニアフォーンサウンドシステム248は、使用時にユーザの耳が存在する場所に密接させて取り付けられた1つ以上のスピーカ252をもつ、いす250などの構造を含む。ニアフォーンスピーカ252はナビゲーションシステム10とともに使用されるときに実質的に図1に示される音声変換器24として動作する。図4に示される例において、いす250に座ったユーザに空間音声を配送するために、いすのヘッドレスト上に2つの隣接したスピーカ252が取り付けられている。音声品質を改善するために、クロストーク消去および種々のフィルタリング方法などの3つのディメンショナルオーディオ(dimensional audio)技術が使用可能である。システム248において音を空間化するための方法は、VBAP、アンビソニックス、その他を含む。

0038

図5は、図1のナビゲーションシステム10とともに使用可能な例示的ヘッドセット300を示す図である。ヘッドセット300は任意のタイプのヘッドフォーンである。例えば、ヘッドセット300は開放カバータイプのヘッドフォーンであることができる。通常のヘッドフォーンを身に着けることは重要な音を遮断する可能性がある。開放カバータイプのヘッドフォーンは、ユーザ300が周囲領域の音を聞きながら、音声を聞くことを可能にする。ヘッドフォーン300上に空間音を提供するために、バイノーラルレンダリング技術(HRTFフィルタリング、バーチャル3D音声、その他)を使用することができる。一方、ヘッドセット300は図5に示されるような、骨伝導(bone conduction)ヘッドフォーンであることができる。骨伝導ヘッドフォーンは、耳を遮ることがない。この場合、音は顎骨伝導によってユーザ300に配送される。その形状は何であっても、ヘッドセット300は実質的に図1に示される音声変換器23として動作する。

0039

図6は、3D聴覚ナビゲーションキューを生成する例示的方法を示すフローチャート400である。ステップ402において、例えばGPSなどの位置決定システムによってユーザの位置が決定される。ステップ404において、周囲の陸標に関する情報が陸標データベースから抽出される。データベースにおいて、各陸標はGPS座標に関連付けられる。ユーザの位置GPS座標を用いて、ユーザ座標のまわりの座標範囲がデータベース内を探索されて、ユーザの周辺を示す、当該範囲内の陸標の情報が取り出される。

0040

ステップ406において、音声コンテンツは、抽出された陸標情報に基づいて、1つ以上の陸標に関して関連付けあるいは合成される。位置決めシステムが各陸標を抽出した後、階層的索引付け方法は、各陸標を、ソースライブラリからのあるカテゴリの音(すなわち音声アイコン)に関連付けることができる。あるいは代替的に、音声アイコンは図1に関連して上記したように、プロセッサによって合成されうる。図1に関して上記したように、関連付けあるいは索引付けは陸標対音マッピングからなるルックアップテーブルによって達成される。

0041

関連付けプロセスの一部として、階層的に索引付けされた音源ライブラリから1つ以上の音声アイコンに対する音声コンテンツが取り出される(ステップ408)。音声アイコンがその代わりにプロセッサによって完全に合成されるならば、ステップ408は無視される。

0042

ステップ410において、陸標がユーザによって構成された音声アイコンとの関連付けのためにユーザによって指定されたかどうかを決定するためのチェックがなされる。陸標が特殊な処置のためにユーザにより指定されないならば、ナビゲーションシステムは、ソースライブラリから取り出された及び/またはプロセッサによって合成された音声コンテンツを用いて音声信号を生成する(ステップ414)。しかしながら、陸標が指定されたならば、ユーザによって規定された音声コンテンツは取り替えられるかあるいは合成されたアイコンあるいはコンテンツライブラリの階層的に索引付けされた部分から取り出された音声アイコンを取り替える(ステップ412)。ユーザによって規定された音声コンテンツは次に処理されて音声信号が生成される(ステップ414)。

0043

ステップ416において、付加された効果音、フィルタリング、残響などの、いくつかの選択的なユーザによる変更が音声信号に関して実行される。関連付けブロックによって陸標にマッピングされた音声アイコンとは別個に、ユーザは、ソースライブラリからの階層的に索引付けされた音の代わりに、特殊な警告トーンを引き起こすためにある種の陸標を特定することができる。例えば、燃料切れに近い自動車をドライブしている場合、ユーザあるいは自動車それ自身は、ガソリンスタンドを特殊な陸標として指定するように当該システムを設定する。ガソリンスタンド音声アイコンを出力する代わりに、当該システムは、当該自動車がガソリンスタンドの周辺に入ったときに高レベルの警告音(buzz)を発することができる。

0044

次に音声信号は3D空間に空間化される(ステップ418)。上記したように、音を空間化するためのソフトウエアが市場入手可能であり、音を空間化するための方法は、ベクトルに基づく振幅パニング(VBAP)、アンビソニックス、頭部伝達関数(HRTF)フィルタリング、バーチャル3D音声などのバイノーラルレンダリング技術を含む。

0045

ステップ420において、空間化された3D音声信号は、3D音に変換され、それによってユーザによって聞かれる。ここで述べられたいくつかの音声変換器が用いられる。

0046

図7は、3D聴覚ナビゲーションキューを生成するための例示的システムアーキテクチャ500を示すブロック図である。システムアーキテクチャ500は図1に示されるシステム10及び/または図6に示される方法を実装するために用いられる。当該システム500は、マイクロプロセッサ(uP)などのプロセッサ502、GPSモジュール504、ユーザインタフェース506、メモリ508、デジタルアナログ(D/A)変換モジュール510、アナログ音声後処理回路512、1つ以上の音声変換器514、バーチャルナビゲーションディスプレイ530を含む。システム500の要素502−512、530は、バス503を介して互いに通信することができる。

0047

メモリ508はプロセッサ502によって使用されるプログラムコードとデータを記憶する。メモリ508は、データ及びプログラムコード(プログラム命令)を記憶するのに適した任意のメモリ装置であることができ、RAM、ROM、EEPROM登録商標)、光学記憶装置磁気記憶装置、あるいはプログラムコード及び/またはデータを記憶するのに用いることができ、プロセッサ502によってアクセスすることができる任意の媒体を含む。プログラムコードは、プロセッサ502によって実行可能な、少なくとも以下のソフトウエアを含む。陸標抽出ソフトウエア516、音声コンテンツ関連付け/合成ソフトウエア518、音声混合ソフトウエア520、音声
コンテンツ修正ソフトウエア524、空間化ソフトウエア522、および視覚ナビゲーションディスプレイソフトウエア532。メモリ508はまた、陸標情報34および階層的に構成された音声コンテンツを含む、音源ライブラリ36を記憶することができる。

0048

陸標抽出ソフトウエア516は、図1に関連して記述された陸標抽出ブロック26の機能をシステム500に実行させるべく、プロセッサ502によって実行可能な命令を含む。音声コンテンツ関連付け/合成ソフトウエア518は、図1に関連して記述された音声コンテンツ関連付け/合成ブロック28の機能をシステム500に実行させるべく、プロセッサ502によって実行可能な命令を含む。音声混合ソフトウエア520は、図1に関連して記述されたミキサ20の機能をシステム500に実行させるべく、プロセッサ502によって実行可能な命令を含む。音声コンテンツ修正ソフトウエア524は、図1に関連して記述された音声コンテンツ修正ブロック30の機能をシステム500に実行させるべく、プロセッサ502によって実行可能な命令を含む。空間化ソフトウエア522は、図1に関連して記述された空間化ブロック30の機能をシステム500に実行されるべく、プロセッサ502によって実行可能な命令を含む。

0049

視覚ナビゲーションディスプレイソフトウエア532は、システム500に含まれた視覚ナビゲーションディスプレイ530を制御するためにプロセッサ502によって実行可能な命令を含む。視覚ナビゲーションディスプレイソフトウエア532は、商業的に入手可能なナビゲーションシステムにおいて通常なされているように、マップナビゲーション情報をユーザに対して視覚的に表示するための、LCDなどのスクリーンを含む。ソフトウエア532は、GPSモジュール504から出力されたユーザ位置座標情報に基づいて、マップや視覚的アイコンをディスプレイ上に提示するためのコードを含む。

0050

プロセッサ502は、図1−6に関連して記述されたシステムのいずれかの機能及び方法をシステム500に実行させるために、ソフトウエアを実行するとともにメモリ508に記憶されたデータを使用する。プロセッサ502は、ARM7などのマイクロプロセッサ、デジタルシグナルプロセッサ(DSP)、1つ以上の特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、複合プログラマブルロジックデバイス(CPLD)、ディスクリートロジック、あるいは前記した素子の任意の適切な組み合わせ、であることができる。

0051

D/A変換モジュール510は、デジタル音声出力信号アナログ音声出力信号に変換するために好適するD/Aコンバータであることができる。システム500において、デジタル音声出力信号は概して音声混合ソフトウエア520を実行するときにプロセッサ502から出力される。D/A変換器610はマルチチャネルD/A変換器であり、それによって、システム500によって再生されたステレオ出力などの複数の音声出力チャネルを同時に変換することができる。

0052

アナログ後処理回路512は、D/A変換モジュール510からの出力音声信号アナログ処理するために、1つ以上の増幅器、フィルタ、レベルシフタエコーキャンセラなどの好適する回路を含み、処理された出力音声信号は拡声器514によって適宜出力される。

0053

ユーザインタフェース506は図1に関連して記述されたUI14の特徴を含む。

0054

システム、モジュール、デバイスおよびそれらの構成要素の機能およびここに記述された方法ステップおよびモジュールはハードウエア、ハードウエアによって実行されるソフトウエア/ファームウエア、あるいはそれらの好適する組み合わせによって実装される。
ソフトウエア/ファームウエアは、マイクロプロセッサ、DSP、埋め込みコントローラ、あるいはインテクチュアルプロパティ(IP)コアなどの、1つ以上のデジタル回路によって実行可能な命令(例えばプログラムコード要素)の組をもつプログラムである。ソフトウエア/ファームウエアにおいてにおいて実装されるならば、機能は1つ以上のコンピュータ読み取り可能な媒体に命令あるいはコードとして記憶されるかあるいは送信される。コンピュータ読み取り可能な媒体は、1つの場所から他の場所にコンピュータプログラム転送を行う媒体を含む、コンピュータ記憶メディアおよびコミュニケーションメディアを含む。記憶媒体はコンピュータによってアクセス可能な利用可能な媒体である。一例として、そのようなコンピュータ読み取り可能な媒体はRAM、ROM、EEPROM、CD−ROMあるいは他の光学ディスクストレージ磁気ディスクストレージ、あるいは磁気ディスクストレージ、命令あるいはデータ構造の形態の所望のプログラムコードを運搬あるいは記憶するのに用いられ、コンピュータによってアクセス可能な他の媒体を備える。

0055

ディスク及びここで用いられるディスクは、コンパクトディスク(CD)、レーザーディスク(登録商標)、光学ディスク、デジタルバータイルディスク(DVD)、フロッピー(登録商標)ディスク、およびブルーレイディスクを含む。ここで、ディスクは通常データ磁気的に再生するものもあるが、レーザによって光学的にデータを再生するものもある。上記の組み合わせもコンピュータ読み取り可能な媒体の範囲に含められるべきである。

0056

ナビゲーションサウンドスケープ(soundscape)技術の一例が開示された。これらの技術は一例であり、ここに記述されたものに限定されない可能な統合が可能である。これらの例に対する種々の変形が可能であり、ここに提示された原理はパーソナルコンピュータステレオシステム、エンターテインメントカウセルビデオゲームなどの他のデバイスにも適用できる。さらに、ここに特別に開示された構成以外の構成において、特許請求の範囲から逸脱することなしに、種々の構成要素および/または方法ステップ/ブロックが実装され得る。

0057

すなわち、これらの教義を見た当業者ならば、他の実施形態及び変形例を容易に考えることができる。したがって、以下の特許請求の範囲は、上記した明細書及び添付の図面を参照して見たときに、そのようなすべての実施形態および変形例をカバーすることを意図している。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 有限会社金鹿哲学承継塾の「 自律航行型海洋ブイとこれを用いた海洋情報システム」が 公開されました。( 2019/09/19)

    【課題】自律航行型海洋ブイであり、遭難信号受信時には自律的に遭難者の救助に向かい、また海上の通信基地局として機能するとともに、海洋情報システムを提供する。【解決手段】GPS信号と内部センサーの情報と海... 詳細

  • テスラ,インコーポレイテッドの「 車両測位技術」が 公開されました。( 2019/09/12)

    【課題・解決手段】航法衛星からの信号に影響を及ぼす様々なファクタにもかかわらず、測位精度を向上させる様々な車両技術。差動アルゴリズムでの使用のために、オフセットを決定し、様々な方法でオフセットを通信す... 詳細

  • パイオニア株式会社の「 ナビゲーション装置」が 公開されました。( 2019/09/12)

    【課題】ユーザが他の移動体の現在位置を誤った位置に誤認識するのを抑える。【解決手段】車載装置100は、無線通信を介して受信された情報から他車両V2の位置情報を取得する取得部102と、取得部102により... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ