図面 (/)

技術 音声信号再生装置、音声信号再生方法、プログラム、および記録媒体

出願人 シャープ株式会社
発明者 末永健明
出願日 2016年2月16日 (5年8ヶ月経過) 出願番号 2017-503403
公開日 2018年1月11日 (3年9ヶ月経過) 公開番号 WO2016-140058
状態 特許登録済
技術分野
  • -
主要キーワード 仮想出力 音響効果処理 音声ファイル形式 情報端末自身 アナログ変換装置 音声信号取得 ポータブル音楽プレーヤ 音声信号再生装置
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2018年1月11日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (14)

課題・解決手段

仮想音源位置決定部(122)は、検知されたユーザ(31)の動作に基づき、音声信号によって表される音声が出力される仮想音源の位置を決定する。音声信号処理部(123)は、決定された仮想音源の位置に基づく立体音響処理を音声信号に施す。音声信号処理部(123)は、立体音響処理が施された音声信号を再生する。これにより、ユーザの動作に適した音声が出力されるように音声信号を再生する。

概要

背景

昨今、スマートフォンなどに代表される個人向け情報端末の普及によって、各個人が受け取る情報量が増大しつつある。これらの情報端末では、通常、複数のアプリケーションが、非同期に動作することによって不定期かつ高頻度に情報を発信している。

情報端末自身または情報端末内で実行されるアプリケーションによって発信される情報には、たとえば画像情報または文字情報などの視覚的な情報が含まれる。これらの場合、画像情報または文字情報は、情報端末の本体に備えられるディスプレイまたは情報端末に接続された外部の表示端末に、画像または文字として表示されることによって、ユーザに提供される。特許文献1には、このような情報端末の一例として、眼鏡型の画像情報表示端末が開示されている。

しかしながら、特許文献1に開示された、発信される通知情報を画像として表示する画像情報表示端末では、ユーザが、ディスプレイなどの画像表示部に表示された画像を注視するために、直前まで行っていた作業を中断する必要があるなど、ユーザに一定の手間が発生する問題がある。

一方、情報端末またはアプリケーションから発信される情報には、たとえば音声情報などの聴覚的な状況も含まれる。この場合、音声情報は、情報端末に備えられるスピーカあるいは情報端末に接続されるヘッドホンまたはイヤホンなどを通じて、ステレオ形式または立体音響形式などの音声として出力されることによって、ユーザに提供される。そこで、ユーザの作業の中断を回避するために、画像または文字の表示によってユーザに情報を通知するのではなく、音声の出力によって情報を通知することが考えられる。特許文献2には、音声によって聴取者に方向の指示を与える立体音響制御装置が開示されている。

概要

仮想音源位置決定部(122)は、検知されたユーザ(31)の動作に基づき、音声信号によって表される音声が出力される仮想音源の位置を決定する。音声信号処理部(123)は、決定された仮想音源の位置に基づく立体音響処理を音声信号に施す。音声信号処理部(123)は、立体音響処理が施された音声信号を再生する。これにより、ユーザの動作に適した音声が出力されるように音声信号を再生する。

目的

そしてその目的は、ユーザの動作に適した音声が出力されるように音声信号を再生する音声信号再生装置、声信号再生方法プログラム、および記録媒体を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

該当するデータがありません

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

音声を示す音声信号を取得する取得部と、ユーザの動作を検知する検知部と、検知された上記動作に基づき、取得された上記音声信号によって表される上記音声が出力される仮想音源の位置を決定する決定部と、決定された上記仮想音源の位置に応じた立体音響処理を、取得された上記音声信号に施す処理部と、上記立体音響処理が施された上記音声信号を再生する再生部とを備えていることを特徴とする音声信号再生装置

請求項2

上記決定部は、上記ユーザを基準にした所定の原点から上記仮想音源までの距離および上記原点に対する上記仮想音源の角度のうち少なくともいずれかを、検知された上記ユーザの動作に基づき異ならせるように、上記仮想音源の位置を決定することを特徴とする請求項1に記載の音声信号再生装置。

請求項3

上記検知部は、上記ユーザの動作として、上記ユーザが移動していることを示す移動または上記ユーザが静止していることを示す静止を検知し、上記決定部は、上記仮想音源の位置を、検知された上記移動または上記静止に基づき異ならせるように、上記仮想音源の位置を決定することを特徴とする請求項2に記載の音声信号再生装置。

請求項4

上記決定部は、上記移動が検知された場合、上記仮想音源の位置を上記ユーザの後方に決定し、上記静止が検知された場合、上記仮想音源の位置を上記ユーザの前方に決定することを特徴とする請求項3に記載の音声信号再生装置。

請求項5

上記決定部は、上記移動が検知された場合の上記仮想音源の上記距離を、上記静止が検知された場合の上記仮想音源の上記距離よりも長くするように、上記仮想音源の位置を決定することを特徴とする請求項3または4に記載の音声信号再生装置。

請求項6

上記検知部は、上記動作として、上記ユーザが一定の領域を注視していることを表す注視または上記ユーザが上記一定の領域を注視していないことを表す非注視を検知し、上記決定部は、上記一定の領域内に位置する上記仮想音源の位置を、検知された上記注視または上記非注視に基づき異ならせるように、上記仮想音源の位置を決定することを特徴とする請求項2に記載の音声信号再生装置。

請求項7

上記決定部は、上記注視が検知された場合の上記一定の領域内に位置する上記仮想音源の上記距離を、上記非注視が検知された場合の上記一定の領域内に位置する上記仮想音源の上記距離よりも短くするように、上記仮想音源の位置を決定することを特徴とする請求項6に記載の音声信号再生装置。

請求項8

上記決定部は、上記注視が検知された場合の上記一定の領域外に位置する上記仮想音源の上記距離を、上記非注視が検知された場合の上記一定の領域外に位置する上記仮想音源の上記距離よりも長くするように、上記仮想音源の位置を決定することを特徴とする請求項6または7に記載の音声信号再生装置。

請求項9

上記決定部は、上記注視が検知された場合、上記一定の領域外に位置する上記仮想音源の上記位置を上記一定の領域とは異なる他の領域に移動させるように、上記仮想音源の位置を決定することを特徴とする請求項6〜7のいずれか1項に記載の音声信号再生装置。

請求項10

上記音声信号に付加される所定の付加データを取得する付加データ取得部をさらに備えており、上記決定部は、検知された上記動作と取得された上記付加データとの双方に基づき、上記仮想音源の位置を決定することを特徴とする請求項1〜9のいずれか1項に記載の音声信号再生装置。

請求項11

音声を示す音声信号を取得する取得工程と、ユーザの動作を検知する検知工程と、検知された上記ユーザの動作に基づき、取得された上記音声信号によって表される上記音声が出力される仮想音源の位置を決定する決定工程と、決定された上記仮想音源の位置に応じた立体音響処理を、取得された上記音声信号に施す処理工程と、上記立体音響処理が施された上記音声信号を再生する再生工程とを有することを特徴とする音声信号再生方法

技術分野

0001

本発明は、音声信号再生する音声信号再生装置および音声信号再生方法に関する。さらには、当該音声信号再生装置としてコンピュータを動作させるためのプログラム、および、そのようなプログラムが記録されている記録媒体にも関する。

背景技術

0002

昨今、スマートフォンなどに代表される個人向け情報端末の普及によって、各個人が受け取る情報量が増大しつつある。これらの情報端末では、通常、複数のアプリケーションが、非同期に動作することによって不定期かつ高頻度に情報を発信している。

0003

情報端末自身または情報端末内で実行されるアプリケーションによって発信される情報には、たとえば画像情報または文字情報などの視覚的な情報が含まれる。これらの場合、画像情報または文字情報は、情報端末の本体に備えられるディスプレイまたは情報端末に接続された外部の表示端末に、画像または文字として表示されることによって、ユーザに提供される。特許文献1には、このような情報端末の一例として、眼鏡型の画像情報表示端末が開示されている。

0004

しかしながら、特許文献1に開示された、発信される通知情報を画像として表示する画像情報表示端末では、ユーザが、ディスプレイなどの画像表示部に表示された画像を注視するために、直前まで行っていた作業を中断する必要があるなど、ユーザに一定の手間が発生する問題がある。

0005

一方、情報端末またはアプリケーションから発信される情報には、たとえば音声情報などの聴覚的な状況も含まれる。この場合、音声情報は、情報端末に備えられるスピーカあるいは情報端末に接続されるヘッドホンまたはイヤホンなどを通じて、ステレオ形式または立体音響形式などの音声として出力されることによって、ユーザに提供される。そこで、ユーザの作業の中断を回避するために、画像または文字の表示によってユーザに情報を通知するのではなく、音声の出力によって情報を通知することが考えられる。特許文献2には、音声によって聴取者に方向の指示を与える立体音響制御装置が開示されている。

先行技術

0006

日本国公開特許公報「特開2006−209144号公報(2006年3月20日公開)」
日本国公開特許公報「特開2008−151766号公報(2008年7月8日公開)」

発明が解決しようとする課題

0007

しかし、引用文献2に操作された装置では、音声信号によって情報をユーザに提示する際に、ユーザの行動が考慮されない。そのため、ユーザの行動にそぐわない音声がユーザに提示されることによって、ユーザの行動を阻害する問題が生じ得る。

0008

本発明は上記の問題を解決するためになされたものである。そしてその目的は、ユーザの動作に適した音声が出力されるように音声信号を再生する音声信号再生装置、声信号再生方法、プログラム、および記録媒体を提供することにある。

課題を解決するための手段

0009

本発明の一態様に係る音声信号再生装置は、上記の課題を解決するために、音声を示す音声信号を取得する取得部と、ユーザの動作を検知する検知部と、検知された上記動作に基づき、取得された上記音声信号によって表される上記音声が出力される仮想音源の位置を決定する決定部と、決定された上記仮想音源の位置に応じた立体音響処理を、取得された上記音声信号に施す処理部と、上記立体音響処理が施された上記音声信号を再生する再生部とを備えていることを特徴としている。

0010

本発明の一態様に係る音声信号再生方法は、上記の課題を解決するために、音声を示す音声信号を取得する取得工程と、ユーザの動作を検知する検知工程と、検知された上記ユーザの動作に基づき、取得された上記音声信号によって表される上記音声が出力される仮想音源の位置を決定する決定工程と、決定された上記仮想音源の位置に応じた立体音響処理を、取得された上記音声信号に施す処理工程と、上記立体音響処理が施された上記音声信号を再生する再生工程とを有することを特徴としている。

発明の効果

0011

本発明の一態様によれば、ユーザの動作に適した音声が出力されるように音声信号を再生することができるという効果を奏する。

図面の簡単な説明

0012

本発明の実施形態1に係る音声信号再生装置の要部構成を示すブロック図である。
本発明の実施形態1に係る音声信号再生システムの要部構成を示すブロック図である。
本発明の実施形態1におけるユーザと仮想音源の位置との関係を説明する図である。
(a)は、本発明の実施形態1における、ユーザが静止している時の仮想音源の位置の一例を示す図であり、(b)は、本発明の実施形態1における、ユーザが静止している時の仮想音源の位置の一例を示す図である。
(a)は、本発明の実施形態1における、ユーザが静止している時の仮想音源の位置の一例を示す図であり、(b)は、本発明の実施形態1における、ユーザが移動している時の仮想音源の位置の一例を示す図である。
(a)は、本発明の実施形態1における、ユーザが静止している時の仮想音源の位置の一例を示す図であり、(b)は、本発明の実施形態1における、ユーザが移動している時の仮想音源の位置の一例を示す図である。
(a)は、本発明の実施形態1における、ユーザが静止している時の複数の仮想音源の位置の一例を示す図であり、(b)は、本発明の実施形態1における、ユーザが移動している時の複数の仮想音源の位置の一例を示す図である。
(a)は、本発明の実施形態1における、ユーザが静止している時の複数の仮想音源の位置の一例を示す図であり、(b)は、本発明の実施形態1における、ユーザが移動している時の複数の仮想音源の位置の一例を示す図である。
(a)は、本発明の実施形態1における、ユーザが一定の注視領域を注視していない時の複数の仮想音源の位置の一例を示す図であり、(b)は、本発明の実施形態1における、ユーザが注視領域を注視している時の複数の仮想音源の位置の一例を示す図であり、(c)は、本発明の実施形態1における、ユーザが注視領域を注視している時の複数の仮想音源の位置の他の例を示す図であり、(c)は、本発明の実施形態1における、ユーザが注視領域を注視している時の複数の仮想音源の位置のさらに他の例を示す図である。
本発明の実施形態2に係る音声信号再生装の要部構成を示すブロック図である。
(a)〜(c)は、本発明の実施形態2におけるメタデータの各例を示す図である。
(a)は、本発明の実施形態2における、ユーザが静止している時の複数の仮想音源の位置の一例を示す図であり、(b)は、本発明の実施形態2における、ユーザが移動している時の複数の仮想音源の位置の一例を示す図である。
本発明の実施形態3に係る音声信号再生装の要部構成を示すブロック図である。

実施例

0013

本発明に係る各実施形態について、以下に詳細に説明する。ただしこれらの実施形態に記載される構成は、特に記載がない限り、本発明の範囲をそれのみに限定するものではない。

0014

〔実施形態1〕
本発明の実施形態1について、図1図9を参照して以下に説明する。

0015

本発明の実施形態1に係る音声信号再生装置1は、少なくとも1つの音声信号を取得すると共に、音声信号再生装置1のユーザの動作を検知する。そして、検知されたユーザの動作に基づき、予め設定された任意の規則に基づいた位置に、取得された音声信号を仮想的に配置する。その後、配置された仮想的な音声信号位置に基づき各音声信号を立体音響方式の音声信号に変換した上で、変換後の音声信号を再生する。

0016

本実施形態に係る音声信号再生装置1について、図1を参照して説明する。図1は、本発明の実施形態1に係る音声信号再生装置1の要部構成を示すブロック図である。この図に示すように、音声信号再生装置1は、音声信号取得部11(取得部)、制御部12、音声信号再生部13(再生部)、および記憶部14を備えている。さらに制御部12は、ユーザ動作検知部121(検知部)、仮想音源位置決定部122(決定部)、および音声信号処理部123(処理部)を備えている。

0017

音声信号取得部11は、少なくとも1つの音声信号を音声信号再生装置1の外部から取得する。音声信号は、ステレオ形式またはモノラル形式のいずれであってもよい。音声信号取得部11は、複数の音声信号がインタリーブされた形式の音声信号を取得することもできる。この場合、音声信号取得部11は、取得した音声信号を複数のモノラル音声信号デインタリーブする。

0018

制御部12は、音声信号取得部11、音声信号再生部13、および記憶部14を制御すると共に、これらの各部材との間でデータを入出力する。制御部12は、たとえば、所定のメモリに格納されたプログラムをCPU(Central Processing Unit)が実行することによって、実現される。

0019

音声信号再生部13は、制御部12によって立体音響処理(音響効果処理)が施された各音声信号を再生することによって、イヤホン24を通じて音声を出力する。

0020

記憶部14は、制御部12によって用いられる所定のデータを記憶するための二次記憶装置によって構成される。記憶部14は、たとえば、磁気ディスク光ディスク、またはフラッシュメモリとして、具体的には、HDD(Hard Disk Drive)、SSD(Solid State Drive)、BD(Blu-Ray Disc、登録商標)などとして実現される。制御部12は、必要に応じて記憶部14からデータを読み出したり、または記憶部14にデータを記録したりすることができる。

0021

ユーザ動作検知部121は、接続された各種センサの出力に基づき、ユーザの行動または動作を検知する。

0022

仮想音源位置決定部122は、検知されたユーザの行動または動作に基づき、各音声信号が仮想的に出力される仮想音源の位置を決定する。

0023

音声信号処理部123は、決定された各仮想出力の位置に基づき、音声信号取得部11によって取得された各音声信号に立体音響処理を施す。

0024

(音声信号再生システム2)
図2は、本発明の実施形態1に係る音声信号再生システム2の要部構成を示すブロック図である。この図に示すように、音声信号再生システム2は、音声信号再生装置1に加え、信号受信装置21、デジタルアナログ変換装置(DAC)22、増幅装置23、およびイヤホン24をさらに備えている。

0025

信号受信装置21は、有線通信または無線通信によって、音声信号再生装置1の外部から音声信号を受信する。無線通信としては、Bluetooth(登録商標)またはWiFi(Wireless Fidelity、登録商標)等の無線伝送技術を用いることができるが、これらには限定されない。図2に示すように、音声信号取得部11は、音楽プレーヤまたはスマートフォンである携帯端末25から、信号受信装置21を介して、音声信号を受信する。説明の簡単のため、本実施形態では、特に断りがない限り、音声信号取得部11は、Bluetoothを用いた無線通信によって、デジタル信号である音声信号を取得する。

0026

DAC22は、入力されたデジタル形式の音声信号をアナログ形式の音声信号に変換し、増幅装置23に出力する。

0027

増幅装置23は、入力された音声信号を増幅して、イヤホン24に出力する。

0028

イヤホン24は、入力された音声信号に基づく音声を出力する。

0029

ユーザ動作検知部121は、音声信号再生装置1を用いるユーザの現在の動作を取得し、仮想音源位置決定部122に出力する。このとき通知されるユーザの動作は、仮想音源位置決定部122が各音声信号の位置を決定する際の指標として用いられる。

0030

本実施形態では、ユーザ動作検知部121は、ユーザ31の動作を検知するための各種のセンサまたはシステムからの出力に基づき、ユーザ31の動作を検知する。センサはたとえば加速度センサまたはジャイロセンサであり、システムはたとえばGPS(Global Positioning System)であるが、これらには限定されない。これらのセンサは、ユーザの動作を検知するために、ユーザの体の一部(好ましくは頭部)に設置されることが望ましい。

0031

また、本実施形態では、ユーザ動作検知部121は、図示しない加速度センサの出力に基づき、ユーザ31の動作を検知するものとする。具体的には、ユーザ動作検知部121は、加速度センサの出力が所定の閾値Th以上であれば、ユーザ31の動作を「移動」であると検知(判定)する。一方、加速度センサの出力が閾値Thよりも小さければ、ユーザ31の動作を「静止」であると検知(判定)する。閾値Thは記憶部14に予め記憶されている。ユーザ31の動作は時々刻々と変化し、その時々のユーザ31の動作に基づき、ユーザ動作検知部121から仮想音源位置決定部122に通知されるユーザ31の動作、「移動」または「静止」に変化する。

0032

仮想音源位置決定部122は、ユーザ動作検知部121によって検知されたユーザの動作に基づき、音声信号取得部11によって取得された各音声信号によって表される音声が仮想的に出力される各仮想音源の位置を決定し、音声信号処理部123に通知する。仮想音源位置決定部122は、検知されたユーザの動作に加え、記憶部14に予め記憶されている前提条件(たとえば、ユーザ31の周囲に配置される仮想音源の位置および個数など)に基づき、各音声信号における仮想音源の位置を決定してもよい。

0033

(仮想音源の位置)
図3を参照して、仮想音源の位置についてより詳細に説明する。図3は、本発明の実施形態1におけるユーザ31と仮想音源33の位置との関係を説明する図である。ユーザ(聴取者)31は、各音声信号によって表される音声を、実際の音源(すなわちイヤホン24)の位置から出力された音声としては、知覚しない。その代わりにユーザ31は、各音声信号によって表される音声を、音声信号処理部123の立体音響処理によって各音声信号に設定される仮想的な音源から出力される音声して、知覚する。以下では、各音声信号によって表される音声が仮想的に出力される音源を、「仮想音源」と表記する。仮想音源の位置は、ユーザ31の周囲に配置される仮想音源の、ユーザ31に対する相対的な位置である。

0034

本実施形態では、仮想音源の位置は、ユーザ31の右耳左耳との中間位置を原点32とする、所定の座標系によって表される。図3に、仮想音源の一例として仮想音源33を示す。特に断りがない限り、この座標系は、原点32から仮想音源33までの距離(動径)rと、原点32を基準とする仮想音源33の角度(偏角)θとからなる2次元極座標系である。すなわち仮想音源33の位置は、距離rと角度θとの組み合わせとして表される。図3に示すように、仮想音源の角度θは、原点32を通る直線L1と、原点32と仮想音源33とを結ぶ直線L2とが成す角度のことである。

0035

本実施形態では、説明の簡単のため、仮想音源33の距離rは、3段階(r1、r2、またはr3)のいずれかの値を取るものとする。なお、r1<r2<r3の関係を満たす。図3の例では、仮想音源33の距離がr1である場合、仮想音源33は円周C1上のいずれかの位置にある。また、仮想音源33の距離がr2である場合、仮想音源33は円周C2上のいずれかの位置にある。仮想音源33の距離がr3である場合、仮想音源33は円周C3上のいずれかの位置にある。

0036

音声信号処理部123は、音声信号取得部11から入力された各音声信号に、仮想音源位置決定部122から通知された各音声信号の仮想音源の位置に応じた所定の立体音響処理を施す。これにより、通知された位置から音声を仮想的に出力する仮想音源を、各音声信号に設定する。音声信号処理部123は、処理後の各音声信号を音声信号再生部13に出力する。

0037

立体音響処理の詳細について、以下に説明する。音声信号処理部123は、音声信号取得部11から入力された各音声信号に、頭部伝達関数(Head Related Transfer Function:HRTF)を適用することによって、立体音響方式の各音声信号に変換する。具体的には、下記の式(1)に示すように、N(Nは自然数)個の各入力信号In(z)に頭部伝達関数(HRTF)であるHLn(z)およびHRn(z)を乗算した上で、乗算後の各入力信号In(z)をそれぞれ合算することによって、合算し、左耳用信号LOUTおよび右耳用信号ROUTを生成する。

0038

0039

式(1)において、n=1、2、・・・Nである。HLn(z)は、それぞれ、入力信号In(z)に設定された仮想音源の位置(偏角)における、左耳用のHRTFである。HRn(z)は、それぞれ、入力信号In(z)に設定された仮想音源の位置(偏角)における右耳用のHRTFである。本実施形態では、これらのHRTFは、離散的テーブル情報として、記憶部14に予め記憶されている。また、係数dは、各仮想音源の原点32からの距離rに基づく減衰量を示すものであり、本実施形態では次の式(2)によって表される。

0040

0041

式(2)において、rは、原点32からの仮想音源の距離を示し、εは、予め設定された係数である。

0042

音声信号再生部13は、音声信号処理部123によって生成された左耳用信号LOUTおよび右耳用信号ROUTを、任意の音声ファイル形式デジタル音声信号に変換する。音声信号再生部13は、変換後のデジタル音声信号を音声信号再生装置1の外部に出力することによって、再生する。図2に示すように、音声信号再生装置1が音声信号再生システム2に備えられている場合、音声信号再生部13は、たとえばInter-IC Sound(I2S)形式のデジタル音声信号を生成してDAC22に出力する。

0043

(処理の流れ)
音声信号再生システム2における音声信号再生処理の流れの一例について、以下に説明する。音声信号取得部11は、信号受信装置21を通じて、音声信号再生装置1の外部(たとえば携帯端末25)から少なくとも1つの音声信号を取得し、仮想音源位置決定部122に出力する。一方、ユーザ動作検知部121は、音声信号再生装置1のユーザ31の現在動作を検知し、仮想音源位置決定部122に通知する。

0044

仮想音源位置決定部122は、通知されたユーザ31の動作に基づき、入力された各音声信号によって表される各音声が仮想的に出力される位置を決定する。仮想音源位置決定部122は、決定された各位置を、対応する各音声信号に関連付けて、音声信号処理部123に出力する。

0045

音声信号処理部123は、仮想音源位置決定部122によって決定された各仮想音源の位置に基づき、入力された各音声信号に立体音響処理を施すことによって、左耳用信号LOUTおよび右耳用信号ROUTを生成し、音声信号再生部13にそれぞれ出力する。音声信号再生部13は、入力された左耳用信号LOUTおよび右耳用信号ROUTを任意の音声ファイル形式のデジタル音声信号に変換し、DAC22に出力する。DAC22は、入力されたデジタル音声信号をアナログ音声信号に変換し、増幅装置23に出力する。増幅装置23は、入力されたアナログ音声信号を増幅し、イヤホン24に出力する。イヤホン24は、入力されたアナログ音声信号によって表される音声を出力する。この結果、ユーザ31は、音声信号取得部11によって取得された各音声信号によって表される各音声を、各音声信号に設定された各仮想音源から出力される音声として、知覚する。

0046

(仮想音源41の位置)
上述したように、各仮想音源の位置は、ユーザ31の動作に基づき決定される。その一例について、図4を参照して以下に説明する。

0047

図4の(a)は、本発明の実施形態1における、ユーザ31が静止している時の仮想音源41の位置の一例を示す図であり、図4の(b)は、本発明の実施形態1における、ユーザ31が静止している時の仮想音源41の位置の一例を示す図である。この図の例では、音声信号取得部11は、音声信号再生装置1の外部から1つの音声信号を取得する。

0048

図4の(a)では、ユーザ31は現在静止しているので、ユーザ動作検知部121は、ユーザ31の動作を「静止」であると検知する。また、仮想音源位置決定部122は、取得された1つの音声信号に対応する1つの仮想音源41の位置を、検知された「静止」に応じた位置(r2、θ1)に決定する。これにより、図4の(a)に示すように、仮想音源41が、ユーザ31の前方における位置(r2、θ1)に配置される。

0049

一方、図4の(b)では、ユーザ31は現在前方(方向X)に移動しているので、ユーザ動作検知部121は、ユーザ31の動作を「移動」であると検知する。また、仮想音源位置決定部122は、取得された1つの音声信号に対応する1つの仮想音源41の位置を、検知された「移動」に応じた位置(r3、θ1)に決定する。これにより、図4の(a)に示すように、仮想音源41が、ユーザ31の前方における位置(r3、θ1)に配置される。

0050

図4の例では、仮想音源位置決定部122は、「移動」が検知された場合の仮想音源41の距離を、「静止」が検知された場合の仮想音源41の距離よりも長くするように、仮想音源41の位置を決定する。この結果、ユーザ31の動作が「静止」から「移動」に変化すると、仮想音源41の位置は、位置(r2、θ1)から位置(r3、θ1)に遠ざかる。このとき、仮想音源41の角度はθ1のままであり、仮想音源41の距離がr2からr3に変化する。この結果、ユーザ31は、静止時にはより近くの仮想音源41から聞こえていた音声が、移動時にはより遠くの仮想音源41から聞こえるようになる。これにより、移動時にユーザ31の近くから発せられる周囲音と、仮想音源41から出力される音声とが聞き分けやすくなるので、ユーザ31が周囲音をより聞き取りやすくなる。そのためユーザ31は、移動中に周囲音を確認するために立ち止まる必要がない。この結果、ユーザ31は、移動するという自身の行動を、仮想音源41から出力される音声によって阻害されずに済む。

0051

検知されたユーザ31の動作が「静止」または「移動」である場合に仮想音源41が配置される位置は、音声信号再生装置1において予め決定されている。それぞれの位置を示す位置情報が、記憶部14に予め保存されており、仮想音源位置決定部122は、それらの情報を記憶部14から読み出して用いることによって、ユーザ31の動作に応じた仮想音源41の位置を決定する。

0052

仮想音源41の位置を示す情報は、仮想音源41の位置を絶対値で指定するものであってもよいし、または、相対値で示すものであってもよい。たとえば、ユーザ31の動作が「移動」である場合の仮想音源41の位置を示す情報が、「静止時の距離+α」であるとする。この場合、仮想音源位置決定部122は、図4の(a)に示す「静止」時の仮想音源41の位置(r2、θ1)を基準として、次の式(3)を満たす係数αを用いて、「動作」時の仮想音源41の位置を位置(r2+α、θ1)であると決定する。

0053

0054

(角度の変化)
図4の例では、ユーザ31の動作が変化した場合、仮想音源41の距離のみが変化する。しかし本発明はこれに限らず、ユーザ31の動作が変化した場合、仮想音源の距離ではなく角度のみが変化してもよい。この例について、図5を参照して以下に説明する。

0055

図5の(a)は、本発明の実施形態1における、ユーザ31が静止している時の仮想音源51の位置の一例を示す図であり、図5の(b)は、本発明の実施形態1における、ユーザ31が移動している時の仮想音源51の位置の一例を示す図である。

0056

図5の(a)では、ユーザ31は現在静止しているので、取得された1つの音声信号に対応する仮想音源51が、ユーザ31の前方における位置(r2、θ1)に配置される。一方、図5の(b)では、ユーザ31は現在前方(方向X)に移動しているので、仮想音源51が、ユーザ31の後方における位置(r2、θ2)に配置される。このとき、仮想音源51の距離はr2のままであり、仮想音源51の角度がθ1からθ2に変化する。

0057

図5の例では、ユーザ31の動作が「静止」から「移動」に変化すると、仮想音源51の位置は、ユーザ31の前方における位置(r2、θ1)から、ユーザ31の後方における位置(r2、θ2)に変化する。この結果、ユーザ31は、静止時には自身の前方の仮想音源51から聞こえていた音声が、移動時には自身の後方の仮想音源51から聞こえるようになる。これにより、移動時にユーザ31の前方から音声が発せられなくなるので、ユーザ31が前方から発せられる音声を気にして前方への移動をためらうことを、防止することができる。この結果、ユーザ31は、前方に移動するという自身の行動を、仮想音源51から出力される音声によって阻害されずに済む。

0058

(距離および角度の変化)
ユーザ31の動作が変化した場合、仮想音源の距離および角度の双方が変化してもよい。この例について、図6を参照して以下に説明する。

0059

図6の(a)は、本発明の実施形態1における、ユーザ31が静止している時の仮想音源61の位置の一例を示す図であり、図5の(b)は、本発明の実施形態1における、ユーザ31が移動している時の仮想音源61の位置の一例を示す図である。

0060

図6の(a)では、ユーザ31は現在静止しているので、取得された1つの音声信号に対応する仮想音源61が、ユーザ31の前方における位置(r2、θ1)に配置される。一方、図6の(b)では、ユーザ31は現在前方(方向X)に移動しているので、仮想音源51が、ユーザ31の後方における位置(r3、θ2)に配置される。このとき、仮想音源51の距離がr2からr3に変化し、かつ、仮想音源51の角度がθ1からθ2に変化する。

0061

図4図6に示すように、仮想音源位置決定部122は、ユーザ31を基準にした原点32から仮想音源までの距離および角度のうち少なくともいずれかを、検知されたユーザ31の動作に基づき異ならせるように、仮想音源の位置を決定することができる。

0062

(距離の変化:複数の仮想音源)
音声信号取得部11は、複数の音声信号を音声信号再生装置1の外部から取得することもできる。この場合、各音声信号に対応する各仮想音源の位置が、検知されたユーザ31の動作に基づきそれぞれ検知される。

0063

図7の(a)は、本発明の実施形態1における、ユーザ31が静止している時の複数の仮想音源71〜73の位置の一例を示す図であり、図7の(b)は、本発明の実施形態1における、ユーザ31が移動している時の複数の仮想音源71〜73の位置の一例を示す図である。以下では、ユーザ31の動作が変化した場合に、各仮想音源71〜73の距離のみが変化する場合を説明する。

0064

図7の(a)では、ユーザ31は現在静止しているので、取得された3つの音声信号に対応する仮想音源71〜73が、ユーザ31の周囲における位置(r2、θ1)、位置(r2、θ2)、および位置(r2、θ3)にそれぞれ配置される。一方、図7の(b)では、ユーザ31は現在前方(方向X)に移動しているので、仮想音源71〜73が、ユーザ31の周囲における位置(r3、θ1)、位置(r3、θ2)、および位置(r3、θ3)に配置される。このとき、仮想音源71〜73の角度はいずれも変化せず、一方、仮想音源71〜73の距離いずれもr2からr3に変化する。

0065

(距離および角度の変化:複数の仮想音源)
図8の(a)は、本発明の実施形態1における、ユーザ31が静止している時の複数の仮想音源81〜83の位置の一例を示す図であり、図8の(b)は、本発明の実施形態1における、ユーザ31が移動している時の複数の仮想音源81〜83の位置の一例を示す図である。以下では、ユーザ31の動作が変化した場合に、各仮想音源81〜83の距離および角度の双方が変化する場合を説明する。

0066

図8の(a)では、ユーザ31は現在静止しているので、取得された3つの音声信号に対応する仮想音源81〜83が、ユーザ31の周囲における位置(r2、θ1)、位置(r2、θ2)、および位置(r2、θ3)にそれぞれ配置される。一方、図8の(b)では、ユーザ31は現在前方(方向X)に移動しているので、仮想音源81〜83が、ユーザ31の周囲における位置(r3、θ4)、位置(r3、θ5)、および位置(r3、θ6)に配置される。このとき、仮想音源71〜73の距離がいずれもr2からr3に変化し、かつ、仮想音源71〜73の角度がθ1、θ2、およびθ3からθ4、θ5、およびθ6にそれぞれ変化する。

0067

<変形例>
本実施形態では、ユーザ動作検知部121が、ユーザ31の動作として「静止」または「移動」を検知し、仮想音源位置決定部122は、検知されたこれらの「静止」または「移動」に応じた仮想音源の位置を決定する例を説明した。しかし、ユーザ動作検知部121および仮想音源位置決定部122の処理は、これに限定されない。たとえば、ユーザ動作検知部121は、ユーザ31の動作として、ユーザ31が一定の領域を注視していることを表す「注視」、または、ユーザ31が一定の領域を注視していないことを表す「非注視」を検知することもできる。この場合、仮想音源位置決定部122は、仮想音源の位置を、検知された「注視」または「非注視」に基づく位置に決定する。

0068

ユーザ動作検知部121は、ユーザ31に取り付けられた各種センサからの出力に基づき、ユーザ31の動作が「注視」または「非注視」のいずれであるかを検知する。具体的には、ユーザ31にジャイロセンサが取り付けられている場合、ユーザ動作検知部121は、予め設定された単位時間t1ごとのジャイロセンサの出力(すなわち角度)の変化が、予め設定された閾値Th1以内である場合、ユーザ31の動作として「注視」を検知する。一方、角度の変化が閾値Th1よりも大きい場合、ユーザ31の動作として「非注視」を検知する。

0069

ユーザ動作検知部121は、「注視」を検知した場合、ジャイロセンサからの出力に基づき、ユーザ31が実際に注視している注視領域94(一定の領域)を算出する。そして、「注視」を検知したことと、算出した注視領域94とを仮想音源位置決定部122に通知する。仮想音源位置決定部122は、注視領域94内に位置する仮想音源91の位置を、検知された「注視」または「非注視」に基づき異ならせるように、仮想音源91の位置を決定する。より具体的には、仮想音源位置決定部122は、「注視」が検知された場合の注視領域94内に位置する仮想音源91の距離を、「非注視」が検知された場合の注視領域94内に位置する仮想音源91の距離よりも短くするように、仮想音源91の位置を決定する。

0070

図9の(a)は、本発明の実施形態1における、ユーザ31が一定の注視領域94を注視していない時の複数の仮想音源91〜93の位置の一例を示す図である。図9の(b)は、本発明の実施形態1における、ユーザ31が注視領域94を注視している時の複数の仮想音源91〜93の位置の一例を示す図である。図9の(c)は、本発明の実施形態1における、ユーザが注視領域を注視している時の複数の仮想音源の位置の他の例を示す図である。図9の(d)は、本発明の実施形態1における、ユーザが注視領域を注視している時の複数の仮想音源の位置のさらに他の例を示す図である。

0071

図9の(a)に示すように、ユーザ31の動作が「非注視」である場合、3つの仮想音源91〜93が、それぞれ、位置(r2、θ1)、位置(r2、θ2)、および位置(r2、θ3)に配置されている。ここで、ユーザ31が注視領域94を注視していることをユーザ動作検知部121が検知したとする。これにより、3つの仮想音源91〜93のうち、注視領域94に含まれる仮想音源91の位置が、図9の(b)に示すように、ユーザ31により近い位置(r1、θ1)に変更される。一方、残りの仮想音源92および93の位置は変更されない。

0072

以上の処理によって、ユーザ31が注視領域94を注視すると、注視領域94内にある仮想音源91から発せられる音声が、注視前に比べてユーザ31により近づいて聞こえるようになる。すなわち、3つの仮想音源91〜93のうち、ユーザ31が現在関心を持つと思われる仮想音源91からの音声が、より大きく聞こえるようになるので、ユーザ31をより満足させることができる。

0073

注視時の3つの仮想音源91〜93の位置変更は、図9の(b)に示す例に限定されない。ユーザ31が注視領域94を注視していることをユーザ動作検知部121が検知した場合、3つの仮想音源91〜93の位置は、図9の(c)に示す位置に変更されてもよい。図9の(c)の例では、注視領域94に含まれる仮想音源91の位置は変更されず、一方、仮想音源92および93の位置は、ユーザ31からより遠い位置(r3、θ2)および位置(r3、θ3)に変更される。

0074

以上の処理によって、ユーザ31が注視領域94を注視すると、注視領域94外にある仮想音源92および93から発せられる各音声が、注視前に比べてユーザ31からより遠ざかって聞こえるようになる。この結果、3つの仮想音源91〜93のうち、ユーザ31が現在関心を持つと思われる仮想音源91からの音声が、相対的により大きく聞こえるようになるので、ユーザ31をより満足させることができる。

0075

注視時の3つの仮想音源91〜93の位置変更は、図9の(b)に示す例および図9の(c)に示す例に限定されない。ユーザ31が注視領域94を注視していることをユーザ動作検知部121が検知した場合、3つの仮想音源91〜93の位置は、図9の(d)に示す位置に変更されてもよい。図9の(d)の例では、注視領域94に含まれる仮想音源91の位置は変更されず、一方、仮想音源92および93の位置は、注視領域94の反対側にある領域95(他の領域)内の位置(r2、θ4)および位置(r2、θ5)にそれぞれ移動する。

0076

以上の処理によって、ユーザ31が注視領域94を注視すると、注視領域94内にある仮想音源91から発される音声は、ユーザ31の正面から聞こえるようになり、一方、注視領域94外にある仮想音源92および93から発せられる各音声は、ユーザ31の背後から聞こえるようになる。この結果、3つの仮想音源91〜93のうち、ユーザ31が現在関心を持つと思われる仮想音源91からの音声が、より聞きやすくなるので、ユーザ31をより満足させることができる。なお、領域95は、注視領域94の反対側に限らず、注視領域とは異なる場所にある任意の領域であり得る。

0077

ユーザ動作検知部121によって検知されるユーザ31の動作は、「注視」および「非注視」に限られない。たとえばユーザ動作検知部121は、ジャイロセンサからの出力とおよび加速度センサから出力との双方に基づき、ユーザが横たわった状態を検知することができる。この場合、ユーザ動作検知部121は、ユーザ31の動作として、ユーザ31がっていることを表す「睡眠」を検知し、仮想音源位置決定部122に通知する。仮想音源位置決定部122は、「睡眠」が通知された場合、各仮想音源から出力される音声のボリューム下げたり、または各仮想音源からの音声の出力を停止したりすることを、決定してもよい。この結果、ユーザ31の睡眠が各仮想音源からの音声によって阻害されることを、防止することができる。

0078

本実施形態では、説明の簡単のため、仮想音源位置決定部122によって検知されるユーザの動作が互いに異なる2種類である場合を説明したが、本発明はこれに限定されない。仮想音源位置決定部122によって検知されるユーザ31の動作は、互いに異なる3種類以上の動作のいずれかであってもよい。

0079

また、本実施形態では、音声信号を再生する音声信号再生装置1と、音声を出力するイヤホン24とを備えている音声信号再生システム2について説明したが、本発明の実施形態はこのような構成に特に限定されない。たとえば音声信号再生装置1は、チューナプレーヤ、およびスピーカによって構成されるオーディオシステム(各構成要素は別体であってもよく、または一体に形成されていてもよい)において、スピーカに音声信号を出力するプレーヤとして実現されることができる。または、音声信号再生装置1は、音声信号処理が可能な音声信号再生装置(プレーヤ)および音声出力可能な音声出力機器(たとえばスピーカまたはヘッドホン)によって構成される単体の装置としても、実現される。

0080

〔実施形態2〕
本発明に係る実施形態2について、図10図12に基づき以下に説明する。上述した実施形態1と共通する各部材には同じ符号を付し、詳細な説明を省略する。

0081

実施形態1では、仮想音源位置決定部122が、ユーザ動作検知部121によって検知されたユーザ31の動作のみに基づき各仮想音源の位置を決定する例を説明したが、本発明はこれには限定されない。本実施形態では、仮想音源位置決定部122が、検知されたユーザ31の動作と、各音声信号に付加された所定のメタデータ(付加データ)との双方に基づき各仮想音源の位置を決定する例について、説明する。

0082

(音声信号再生装置1aの構成)
まず、図10を参照して、本実施形態に係る音声信号再生装置1aの構成の概要について説明する。図10は、本発明の実施形態2に係る音声信号再生装置1aの要部構成を示すブロック図である。この図に示すように、音声信号再生装置1は、実施形態1に係る音声信号再生装置1に備えられる各部材に加えて、さらに、メタデータ取得部15(付加データ取得部)を備えている。これに伴い、本実施形態に係る仮想音源位置決定部122による処理の内容が、実施形態1に係る仮想音源位置決定部122による処理の内容と異なっている。音声信号取得部11等のその他の部材による処理の内容は実施形態1におけるそれと同一であるため、詳細な説明を省略する。

0083

メタデータ取得部15は、音声信号取得部11によって取得される各音声信号に付加される所定のメタデータを取得し、仮想音源位置決定部122に出力する。本実施形態では、メタデータ取得部15は、各音声信号に付加されるメタデータを、音声信号取得部11によって取得される音声信号とは別に、音声信号再生装置1aの外部から取得する。メタデータ取得部15は、有線通信または無線通信のいずれによっても、メタデータを取得することができる。一方、メタデータが予め記憶部14に記憶されている場合、メタデータ取得部15は記憶部14からメタデータを取得してもよい。

0084

音声信号と、これに対応するメタデータとは、音声信号再生装置1aの外部において、これらを対にした任意の音声ファイル形式の音声データとして管理されていてもよい。この場合、音声信号再生装置1aまたは音声信号再生システム2のいずれかに備えられるデコーダ(不図示)が、この音声データを取得しかつ適切にデコードすることによって、音声データを音声信号とメタデータとに分離する。音声信号取得部11は、デコーダによって音声データ分離された音声信号を取得し、一方、メタデータ取得部15は、デコーダによって音声データから分離されたメタデータを取得する。

0085

(処理の流れ)
本実施形態に係る音声信号再生装置1aによって実行される処理の詳細について、図10の各矢印によって示されるデータの流れに基づき、以下に説明する。

0086

音声信号取得部11は、信号受信装置21を通じて、音声信号再生装置1の外部(たとえば携帯端末25)から少なくとも1つの音声信号を取得し、仮想音源位置決定部122に出力する。一方、ユーザ動作検知部121は、音声信号再生装置1のユーザ31の現在動作を検知し、仮想音源位置決定部122に通知する。

0087

仮想音源位置決定部122は、通知されたユーザ31の動作と、入力されたメタデータとに基づき、入力された各音声信号によって表される各音声が仮想的に出力される仮想音源の位置を決定する。また、仮想音源位置決定部122は、通知されたユーザ31の動作と、記憶部14に予め記憶されている各仮想音源の位置を示す位置情報とに基づき、仮想音源の位置を決定することもできる。仮想音源位置決定部122は、決定された各位置を、対応する各音声信号に関連付けて、音声信号処理部123に出力する。音声信号処理部123による処理は実施形態1と同一であるため、説明を省略する。

0088

(メタデータの各例)
図11の(a)〜(c)は、本発明の実施形態2におけるメタデータの各例を示す図である。図11の(a)に示すメタデータは、3つの仮想音源のそれぞれについて、その位置の変更を許可するか否かを規定している。図11の(b)に示すメタデータは、3つの仮想音源のそれぞれについて、検知されたユーザ31の各動作(静止または移動)に応じた、仮想音源からのユーザ31への音声の出力の重要度を規定している。図11の(c)に示すメタデータは、3つの仮想音源のそれぞれについて、検知されたユーザ31の各動作(静止または移動)に応じた仮想音源の位置を、2次元極座標上における絶対的な値として規定している。

0089

(仮想音源の位置)
図12の(a)は、本発明の実施形態2における、ユーザ31が静止している時の複数の仮想音源121〜123の位置の一例を示す図であり、図12の(b)は、本発明の実施形態2における、ユーザ31が移動している時の複数の仮想音源121〜123の位置の一例を示す図である。この図の例では、音声信号取得部11は、音声信号再生装置1aの外部から3つの異なる音声信号を取得する。また、メタデータ取得部15は、図11の(a)に示すメタデータを取得する。

0090

図12の(a)では、ユーザ31は現在静止しているので、ユーザ動作検知部121は、ユーザ31の動作を「静止」であると検知する。記憶部14には、ユーザ31の動作が「静止」である場合の3つの仮想音源の位置として、位置(r2、θ1)、位置(r2、θ2)、および(r2、θ3)を示すそれぞれ位置情報が記憶されている。そこで仮想音源位置決定部122は、取得された3つの音声信号に対応する3つの仮想音源121〜123の位置を、それぞれ位置(r2、θ1)、位置(r2、θ2)、および(r2、θ3)に決定する。これにより、図12の(a)に示すように、仮想音源121〜123が、ユーザ31の周囲における位置(r2、θ1)、位置(r2、θ2)、および(r2、θ3)にそれぞれ配置される。

0091

ここで、図12の(b)に示すように、ユーザ31が、前方(方向X)への移動を開始したとする。このとき、ユーザ動作検知部121は、ユーザ31の動作を「移動」であると検知する。記憶部14には、ユーザ31の動作が「移動」である場合の3つの仮想音源の位置として、位置(r3、θ1)、位置(r3、θ2)、および(r3、θ3)を示すそれぞれ位置情報が記憶されている。そこで仮想音源位置決定部122は、取得された3つの音声信号に対応する3つの仮想音源121〜123の位置を、検知された「移動」と、図11の(a)に示すメタデータとの双方に応じた位置に決定する。

0092

具体的には、図11の(a)に示すメタデータに、音源番号1に対応する仮想音源121および音源番号3に対応する仮想音源123の位置の移動を許可することが規定されているので、仮想音源位置決定部122は、仮想音源121および仮想音源123の位置を、「移動」に応じた位置情報に規定されている位置(r3、θ1)および位置(r3、θ3)に変更する。一方、図11の(a)に示すメタデータに、音源番号2に対応する仮想音源122の位の移動を許可しないことが規定されているので、仮想音源位置決定部122は、仮想音源122の位置を、「移動」に応じた位置情報に規定されている位置(r3、θ2)に変更せず、「静止」に応じた位置(r2、θ2)のまま維持する。これにより、図12の(b)に示すように、仮想音源121〜123が、ユーザ31の周囲における位置(r3、θ1)、位置(r2、θ2)、および位置(r3、θ3)にそれぞれ配置される。

0093

以上のように、本実施形態では、各仮想音源が、ユーザ31の動作と、メタデータとに応じた位置に配置される。したがって、メタデータの内容を適宜変更することによって、ユーザ31の動作に応じた各仮想音源の位置を柔軟に制御することができる。

0094

〔実施形態3〕
本発明に係る実施形態3について、図13に基づき以下に説明する。上述した実施形態1または2と共通する各部材には同じ符号を付し、詳細な説明を省略する。

0095

実施形態1では、音声信号取得部11が、ユーザ動作検知部121によって検知されたユーザ31の動作に無関係の音声信号を取得する例を説明したが、本発明はこれには限定されない。本実施形態では、音声信号取得部11が、検知されたユーザ31の動作に応じた適切な音声信号を取得する例について、以下に説明する。

0096

(音声信号再生装置1bの構成)
まず、図13を参照して、本実施形態に係る音声信号再生装置1bの構成の概要について説明する。図13は、本発明の実施形態3に係る音声信号再生装置1bの要部構成を示すブロック図である。この図に示すように、音声信号再生装置1bが備える各部材は、実施形態1に係る音声信号再生装置1に備えられる各部材と同一である。ただし、本実施形態では、音声信号取得部11およびユーザ動作検知部121による処理の内容が、実施形態1に係る仮想音源位置決定部122による処理の内容と異なっている。仮想音源位置決定部122等のその他の部材による処理の内容は実施形態1におけるそれと同一であるため、詳細な説明を省略する。

0097

本実施形態では、ユーザ動作検知部121が、検知したユーザ31の動作を、仮想音源位置決定部122のみならず音声信号取得部11にも通知する。そして音声信号取得部11が、通知されたユーザ31の動作に応じた音声信号を音声信号再生装置1bの外部から取得する。このように音声信号取得部11は、通知されたユーザ31の動作に基づき、携帯端末25から取得する音声信号を変化させる。

0098

携帯端末25には、ユーザ31の各動作に対応する異なる音声信号が、予め用意されている。たとえば携帯端末25には、「静止」に対応する音声信号Aと「移動」に対応する音声信号とが予め用意されている。音声信号Aは、ユーザ31が静止しているときに再生されることが好ましい信号であり、一方、音声信号Bは、ユーザ31が移動しているときに再生されることが好ましい信号である。

0099

音声信号取得部11は、検知されたユーザ31の動作が「静止」である場合、「静止」に対応する音声信号Aを携帯端末25に要求する。携帯端末25は、その要求に応えて音声信号Aを音声信号取得部11に提供する。これにより、ユーザ31の静止時に再生されることが好ましい音声信号Aが、実際のユーザ31が静止しているときに再生される。したがってユーザ31は、自身の静止時に、その状態に相応しい音声を、静止に対応した適切な位置の仮想音源から出力される音声として、知覚する。

0100

音声信号取得部11は、検知されたユーザ31の動作が「移動」である場合、「移動」に対応する音声信号Bを携帯端末25に要求する。携帯端末25は、その要求に応えて音声信号Bを音声信号取得部11に提供する。これにより、ユーザ31の移動時に再生されることが好ましい音声信号Bが、実際にユーザ31が移動しているときに再生される。したがってユーザ31は、自身の移動時に、その状況に相応しい音声を、移動に対応した適切な位置の仮想音源から出力される音声として、知覚する。

0101

(処理の流れ)
本実施形態に係る音声信号再生装置1bによって実行される処理の詳細について、図13の各矢印によって示されるデータの流れに基づき、以下に説明する。

0102

ユーザ動作検知部121は、音声信号再生装置1のユーザ31の現在動作を検知し、音声信号取得部11および仮想音源位置決定部122に通知する。音声信号取得部11は、信号受信装置21を通じて、音声信号再生装置1の外部(たとえば携帯端末25)から、通知されたユーザ31の動作に応じた少なくとも1つの音声信号を取得し、仮想音源位置決定部122に出力する。

0103

仮想音源位置決定部122は、通知されたユーザ31の動作に基づき、入力された各音声信号によって表される各音声が仮想的に出力される仮想音源の位置を決定する。仮想音源位置決定部122は、決定された各位置を、対応する各音声信号に関連付けて、音声信号処理部123に出力する。音声信号処理部123は、決定された位置に応じた立体音響処理を音声信号に施す。

0104

〔まとめ〕
本発明の態様1に係る音声信号再生装置は、
音声を示す音声信号を取得する取得部(音声信号取得部11)と、
ユーザの動作を検知する検知部(ユーザ動作検知部121)と、
検知された上記動作に基づき、取得された上記音声信号によって表される上記音声が出力される仮想音源の位置を決定する決定部(仮想音源位置決定部122)と、
決定された上記仮想音源の位置に応じた立体音響処理を、取得された上記音声信号に施す処理部(音声信号処理部123)と、
上記立体音響処理が施された上記音声信号を再生する再生部(音声信号再生部13)とを備えていることを特徴としている。

0105

上記の構成によれば、検知されたユーザの動作に応じた適切な位置に、仮想音源が配置される。これにより音声信号再生装置は、ユーザの動作に適した位置から音声が出力されるように音声信号を再生することができる。

0106

本発明の態様2に係る音声信号再生装置は、上記態様1において、
上記決定部は、上記ユーザを基準にした所定の原点から上記仮想音源までの距離および上記原点に対する上記仮想音源の角度のうち少なくともいずれかを、検知された上記ユーザの動作に基づき異ならせるように、上記仮想音源の位置を決定することを特徴としている。

0107

上記の構成によれば、仮想音源の距離および角度の少なくともいずれかが、ユーザの動作に応じた適切な値になるように、仮想音源の位置が決定される。

0108

本発明の態様3に係る音声信号再生装置は、上記態様2において、
上記検知部は、上記ユーザの動作として、上記ユーザが移動していることを示す移動または上記ユーザが静止していることを示す静止を検知し、
上記決定部は、上記仮想音源の位置を、検知された上記移動または上記静止に基づき異ならせるように、上記仮想音源の位置を決定することを特徴としている。

0109

上記の構成によれば、ユーザの静止時および移動時において、ユーザの動作に応じた適切な位置に仮想音源が配置される。

0110

本発明の態様4に係る音声信号再生装置は、上記態様3において、
上記決定部は、上記移動が検知された場合、上記仮想音源の位置を上記ユーザの後方に決定し、上記静止が検知された場合、上記仮想音源の位置を上記ユーザの前方に決定することを特徴としている。

0111

上記の構成によれば、ユーザは、静止時には自身の前方の仮想音源から聞こえていた音声が、移動時には自身の後方の仮想音源から聞こえるようになる。これにより、移動時にユーザの前方から音声が発せられなくなるので、ユーザが前方から発せられる音声を気にして前方への移動をためらうことを、防止することができる。この結果、ユーザは、前方に移動するという自身の行動を、仮想音源から出力される音声によって阻害されずに済む。

0112

本発明の態様5に係る音声信号再生装置は、上記態様3または4において、
上記決定部は、上記移動が検知された場合の上記仮想音源の上記距離を、上記静止が検知された場合の上記仮想音源の上記距離よりも長くするように、上記仮想音源の位置を決定することを特徴としている。

0113

上記の構成によれば、移動時にユーザの近くから発せられる周囲音と、仮想音源から出力される音声とが聞き分けやすくなるので、ユーザが周囲音をより聞き取りやすくなる。そのためユーザは、移動中に周囲音を確認するために立ち止まる必要がない。この結果、ユーザは、移動するという自身の行動を、仮想音源から出力される音声によって阻害されずに済む。

0114

本発明の態様6に係る音声信号再生装置は、上記態様2において、
上記検知部は、上記動作として、上記ユーザが一定の領域を注視していることを表す注視または上記ユーザが上記一定の領域を注視していないことを表す非注視を検知し、
上記決定部は、上記一定の領域内に位置する上記仮想音源の位置を、検知された上記注視または上記非注視に基づき異ならせるように、上記仮想音源の位置を決定することを特徴としている。

0115

上記の構成によれば、ユーザの注視時および非注注視時において、ユーザの動作に応じた適切な位置に仮想音源が配置される。

0116

本発明の態様7に係る音声信号再生装置は、上記態様6において、
上記決定部は、上記注視が検知された場合の上記一定の領域内に位置する上記仮想音源の上記距離を、上記非注視が検知された場合の上記一定の領域内に位置する上記仮想音源の上記距離よりも短くするように、上記仮想音源の位置を決定することを特徴としている。

0117

上記の構成によれば、ユーザが一定の領域を注視すると、当該領域内にある仮想音源から発せられる音声が、注視前に比べてユーザにより近づいて聞こえるようになる。すなわち、ユーザが現在関心を持つと思われる仮想音源からの音声が、より大きく聞こえるようになるので、ユーザをより満足させることができる。

0118

本発明の態様8に係る音声信号再生装置は、上記態様6または7において、上記決定部は、上記注視が検知された場合の上記一定の領域外に位置する上記仮想音源の上記距離を、上記非注視が検知された場合の上記一定の領域外に位置する上記仮想音源の上記距離よりも長くするように、上記仮想音源の位置を決定することを特徴としている。

0119

上記の構成によれば、ユーザが一定の領域を注視すると、当該領域外にある仮想音源から発せられる音声が、注視前に比べてユーザから遠ざかって聞こえるようになる。この結果、ユーザが現在関心を持つと思われる仮想音源からの音声が、相対的により大きく聞こえるようになるので、ユーザをより満足させることができる。

0120

本発明の態様9に係る音声信号再生装置は、上記態様6〜8のいずれかにおいて、上記決定部は、上記注視が検知された場合、上記一定の領域外に位置する上記仮想音源の上記位置を上記一定の領域とは異なる他の領域に移動させるように、上記仮想音源の位置を決定することを特徴としている。

0121

上記の構成によれば、ユーザが一定の領域を注視すると、当該領域外にある仮想音源から発せられる音声が、当該領域とは異なる他の領域(たとえばユーザの背後)から聞こえるようになる。この結果、ユーザが現在関心を持つと思われる仮想音源からの音声が、より聞こえやすくなるので、ユーザをより満足させることができる。

0122

本発明の態様10に係る音声信号再生装置は、上記態様1〜9のいずれかにおいて、
上記音声信号に付加される所定の付加データを取得する付加データ取得部をさらに備えており、
上記決定部は、検知された上記動作と取得された上記付加データとの双方に基づき、上記仮想音源の位置を決定することを特徴としている。

0123

上記の構成によれば、付加データの内容を適宜変更することによって、ユーザの動作に応じた仮想音源の位置を柔軟に制御することができる。

0124

本発明の態様11に係る音声信号再生装置は、上記態様1〜10のいずれかにおいて、
上記取得部は、検知された上記ユーザの動作に応じた上記音声信号を取得することを特徴としている。

0125

上記の構成によれば、ユーザは、自身の行動に相応しい音声を、その行動に応じた適切な位置の仮想音源から出力される音声として、知覚することができる。

0126

本発明の態様12に係る音声信号再生方法は、
音声を示す音声信号を取得する取得工程と、
ユーザの動作を検知する検知工程と、
検知された上記ユーザの動作に基づき、取得された上記音声信号によって表される上記音声が出力される仮想音源の位置を決定する決定工程と、
決定された上記仮想音源の位置に応じた立体音響処理を、取得された上記音声信号に施す処理工程と、
上記立体音響処理が施された上記音声信号を再生する再生工程とを有することを特徴としている。

0127

上記の構成によれば、上記態様1に係る音声信号再生装置と同様の作用効果を奏する。

0128

本発明の各態様に係る音声信号再生装置は、コンピュータによって実現してもよい。この場合、コンピュータを上記音声信号再生装置が備える各部として動作させることによって上記音声信号再生装置をコンピュータにて実現させる音声信号再生装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

0129

ソフトウェアによる実現例〕
図1に示す音声信号再生装置1の各機能ブロックは、集積回路ICチップ)等に形成された論理回路ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。

0130

後者の場合、音声信号再生装置1は、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、上記プログラムおよび各種データがコンピュータ(又はCPU)で読み取り可能に記録されたROM(Read Only Memory)又は記憶装置(これらを「記録媒体」と称する)、上記プログラムを展開するRAM(Random Access Memory)等を備えている。そして、コンピュータ(またはCPU)が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。

0131

上記記録媒体としては、「一時的でない有形媒体」、例えば、テープディスクカード半導体メモリプログラマブルな論理回路等を用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体通信ネットワーク放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

0132

同様に、図10に示す音声信号再生装置1aおよび図13に示す音声信号再生装置1bも、ハードウエアまたはソフトウェアのずれかによって実現することができる。

0133

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることによって、新しい技術的特徴を形成することができる。

0134

本発明は、各種のポータブル音楽プレーヤまたはオーディオシステム等として好適に利用することができる。

0135

1,1a、1b音声信号再生装置
2音声信号再生システム
11音声信号取得部(取得部)
12 制御部
14 記憶部
15メタデータ取得部(付加データ取得部)
121ユーザ動作検知部(検知部)
122仮想音源位置決定部(決定部)
123音声信号処理部(処理部)
22 DAC
23増幅装置
24 イヤホン

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

該当するデータがありません

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

この 技術と関連性が強い技術

該当するデータがありません

この 技術と関連性が強い法人

該当するデータがありません

この 技術と関連性が強い人物

該当するデータがありません

この 技術と関連する社会課題

該当するデータがありません

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ