図面 (/)

技術 信号処理装置、信号処理方法およびプログラム

出願人 ヤマハ株式会社
発明者 湯山雄太関口康平
出願日 2017年10月31日 (2年4ヶ月経過) 出願番号 2018-547227
公開日 2019年9月19日 (6ヶ月経過) 公開番号 WO2018-079846
状態 不明
技術分野
  • -
主要キーワード 自動選出 走行ピッチ 風圧センサ 専用ユニット 匂いセンサ 音場データ 気象情報サーバ オーディオ信号処理システム
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2019年9月19日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (17)

課題・解決手段

信号処理装置は、情報取得部と、状態判定部と、入力部と、信号処理部と、を備えている。情報取得部は、生体情報および環境情報を取得する。状態判定部は、前記情報取得部で取得した前記生体情報および前記環境情報に基づいて、現在の状態を判定する。入力部は、オーディオ信号を入力する。信号処理部は、前記状態判定部の判定結果に応じて、前記入力部に入力された前記オーディオ信号に信号処理を行なう。

概要

背景

特許文献1には、ユーザに関する情報をセンサで検出して、状況に応じた音楽を選択し再生を開始する構成が開示されている。

また、特許文献2にも、ユーザの移動速度をセンサで検出して、再生音楽の速度を変更する構成が開示されている。

概要

信号処理装置は、情報取得部と、状態判定部と、入力部と、信号処理部と、を備えている。情報取得部は、生体情報および環境情報を取得する。状態判定部は、前記情報取得部で取得した前記生体情報および前記環境情報に基づいて、現在の状態を判定する。入力部は、オーディオ信号を入力する。信号処理部は、前記状態判定部の判定結果に応じて、前記入力部に入力された前記オーディオ信号に信号処理を行なう。

目的

本発明は、現在の状態に適した信号処理を行なうことができる信号処理装置、信号処理方法およびプログラムを提供する

効果

実績

技術文献被引用数
- 件
牽制数
- 件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

該当するデータがありません

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

生体情報および環境情報を取得する情報取得部と、前記情報取得部で取得した前記生体情報および前記環境情報に基づいて、現在の状態を判定する状態判定部と、オーディオ信号を入力する入力部と、前記状態判定部の判定結果に応じて、前記入力部に入力された前記オーディオ信号に信号処理を行なう信号処理部と、を備えた信号処理装置

請求項2

前記信号処理は、音場支援処理を含む、請求項1に記載の信号処理装置。

請求項3

前記信号処理は、音源定位させる処理を含む、請求項1または請求項2に記載の信号処理装置。

請求項4

前記信号処理の内容に応じて、再生対象コンテンツ選出する選出部を備えた、請求項1乃至請求項3のいずれかに記載の信号処理装置。

請求項5

前記信号処理のパラメータ補正する補正操作受け付ける受付部を備え、前記信号処理部は、前記補正操作に基づいて、前記信号処理の内容を補正する、請求項1乃至請求項4のいずれかに記載の信号処理装置。

請求項6

前記補正操作における第1補正量を記憶する記憶部を備え、前記信号処理部は、前記記憶部に記憶されている前記第1補正量に所定の係数乗算した第2補正量で、前記信号処理の内容を補正する、請求項5に記載の信号処理装置。

請求項7

前記信号処理部は、前記状態判定部の判定結果と、前記信号処理の内容と、の対応を学習し、学習結果に基づいて、前記信号処理を行なう、請求項1乃至請求項6のいずれかに記載の信号処理装置。

請求項8

前記生体情報を検出する第1センサと、前記環境情報を検出する第2センサと、をさらに備えた、請求項1乃至請求項7のいずれかに記載の信号処理装置。

請求項9

生体情報および環境情報を取得し、取得した前記生体情報および前記環境情報に基づいて、現在の状態を判定し、オーディオ信号を入力し、前記現在の状態の判定結果に応じて、入力した前記オーディオ信号に信号処理を行なう、信号処理方法

請求項10

前記信号処理は、音場支援処理を含む、請求項9に記載の信号処理方法。

請求項11

前記信号処理は、定位処理を含む、請求項9または請求項10に記載の信号処理方法。

請求項12

前記信号処理の内容に応じて、再生対象のコンテンツを選出する、請求項9乃至請求項11のいずれかに記載の信号処理方法。

請求項13

前記信号処理のパラメータを補正する補正操作を受け付け、前記補正操作に基づいて、前記信号処理の内容を補正する、請求項9乃至請求項12のいずれかに記載の信号処理方法。

請求項14

前記補正操作における第1補正量を記憶し、記憶した前記第1補正量に所定の係数を乗算した第2補正量で、前記信号処理の内容を補正する、請求項13に記載の信号処理方法。

請求項15

前記状態判定部の判定結果と、前記信号処理の内容と、の対応を学習し、学習結果に基づいて、前記信号処理の内容を補正する、請求項9乃至請求項14のいずれかに記載の信号処理方法。

請求項16

前記生体情報を第1センサで検出し、前記環境情報を第2センサで検出する、請求項9乃至請求項15のいずれかに記載の信号処理方法。

請求項17

情報処理装置に、生体情報および環境情報を取得する情報取得部と、前記情報取得部で取得した前記生体情報および前記環境情報に基づいて、現在の状態を判定する状態判定部と、オーディオ信号を入力する入力部と、前記状態判定部の判定結果に応じて、前記入力部に入力された前記オーディオ信号に信号処理を行なう信号処理部と、を実現させる、プログラム

技術分野

0001

この発明は、オーディオ信号に種々の信号処理を行なう信号処理装置信号処理方法およびプログラムに関するものである。

背景技術

0002

特許文献1には、ユーザに関する情報をセンサで検出して、状況に応じた音楽を選択し再生を開始する構成が開示されている。

0003

また、特許文献2にも、ユーザの移動速度をセンサで検出して、再生音楽の速度を変更する構成が開示されている。

先行技術

0004

特表2014−513628号公報
特開2006−56312号公報

発明が解決しようとする課題

0005

ユーザは、自身の状態に応じて、信号処理の内容(例えば、音場支援の有無、音場支援の強さ、または周波数特性の調整等)を変更したい場合がある。

0006

そこで、本発明は、現在の状態に適した信号処理を行なうことができる信号処理装置、信号処理方法およびプログラムを提供することを目的とする。

課題を解決するための手段

0007

この発明の信号処理装置は、情報取得部と、状態判定部と、入力部と、信号処理部と、を備えている。情報取得部は、生体情報および環境情報を取得する。状態判定部は、前記情報取得部で取得した前記生体情報および前記環境情報に基づいて、現在の状態を判定する。入力部は、オーディオ信号を入力する。信号処理部は、前記状態判定部の判定結果に応じて、前記入力部に入力された前記オーディオ信号に信号処理を行なう。

発明の効果

0008

本発明の信号処理装置は、現在の状態に適した信号処理を行なうことができる。

図面の簡単な説明

0009

オーディオ信号処理システムを示す概略図である。
信号処理装置の構成を示すブロック図である。
信号処理装置の動作を示すフローチャートである。
オーディオ信号処理システムを示す概略図である。
信号処理部12の機能的構成を示すブロック図である。
現在の状態と信号処理との関係を示す図である。
応用例1に係る信号処理装置の構成を示すブロック図である。
応用例1に係る信号処理装置の動作を示すフローチャートである。
現在の状態と信号処理との関係を示す図である。
応用例2に係る信号処理装置の動作を示すフローチャートである。
現在の状態と信号処理との関係を示す図である。
応用例3に係る信号処理装置の構成を示すブロック図である。
信号処理装置の動作を示すフローチャートである。
応用例4に係る信号処理装置の構成を示すブロック図である。
信号処理装置1Eの構成を示すブロック図である。
GUIの一例を示す図である。

実施例

0010

図1は、オーディオ信号処理システムを示す概略図(上面図)である。図2は、信号処理装置1の構成を示すブロック図である。図3は、信号処理装置1の動作を示すフローチャートである。

0011

図1に示すように、オーディオ信号処理システムは、信号処理装置1と、ヘッドフォンユニット2Lと、ヘッドフォンユニット2Rと、を備えている。

0012

信号処理装置1は、入力インタフェース(I/F)11、信号処理部12、出力インタフェース(I/F)13、制御部14、および記憶部15を備えている。信号処理装置1は、ヘッドフォン専用ユニットポータブルアンプまたはポータブル音楽再生装置)であってもよいが、一般的な情報処理装置(例えばスマートフォン)であってもよい。信号処理装置1における各構成は、ハードウェアであってもよいが、制御部14の機能により構成されてもよい。制御部14は、IC、CPU、MPU、LSI、またはマイクロコントローラ、等と称されるハードウェアである。制御部14は、記憶部15に記憶されているプログラムを実行することにより、各構成をソフトウェアで実現することが可能である。記憶部15は、プログラムを記憶するメモリ記憶媒体)である。記憶部15は、HDDSSD、フラッシュメモリ、またはEEPROM、等と称されるハードウェアである。

0013

入力I/F11は、機能的に、入力部101および情報取得部102を備えている。入力部101は、オーディオプレーヤ等の他装置、または自装置の記憶部15から、オーディオ信号を入力する。入力されたオーディオ信号は、信号処理部12に入力される。入力されるオーディオ信号は、アナログ信号であってもデジタル信号であってもよい。また、入力部101は、コンテンツデータを入力してもよい。この場合、信号処理部12がコンテンツデータをデコードして、オーディオ信号を生成する。

0014

信号処理部12は、例えばDSP(Digital Signal Processor)からなる。信号処理部12は、入力したオーディオ信号に種々の信号処理を施す。なお、信号処理部12は、制御部14が実行するプログラムにより実現することも可能である。

0015

情報取得部102は、センサ、またはセンサを備えた他装置から、各種情報を取得する(s11)。各種情報は、生体情報および環境情報が含まれる。

0016

生体情報は、例えば心拍数体温、または移動状態加速度)等のユーザの生体に関する情報である。心拍数は、心拍センサまたはカメラによる血管の画像変化により取得される。体温は、温度センサにより取得される。加速度は、加速度センサにより取得される。

0017

環境情報は、例えば天気気温湿度、明るさ、風の強さ、匂い、位置、または周囲の画像等である。天気は、気象情報サーバから取得される。気温は、温度センサにより取得される。湿度は、湿度センサにより取得される。明るさは、照度センサにより取得される。風の強さは、風圧センサまたは気象情報サーバから取得される。匂いは、匂いセンサにより取得される。位置は、GPS等の位置情報取得センサにより取得される。周囲の画像は、カメラにより取得される。

0018

生体情報および環境情報は、状態判定部141に入力される。状態判定部141は、制御部14が実行するプログラムによって実現する機能である。状態判定部141は、入力された生体情報および環境情報に基づいて、現在の状態を判定する(s12)。現在の状態とは、ユーザ自身の状態を示す。例えば、状態判定部141は、入力された生体情報の心拍数が高く、環境情報として天気が晴れである情報を入力した場合には、ユーザ自身の状態は、強いポジティブ状態(正の状態)であると判定する。

0019

そして、制御部14は、状態判定部141の判定結果に応じて、信号処理部12における信号処理の内容を決定する(s13)。信号処理部12は、状態判定部141の判定結果に応じて、入力されたオーディオ信号に信号処理を行なう(s14)。

0020

信号処理部12は、音源定位処理、音場支援処理ノイズ除去処理、または周波数特性の調整処理等を含む、各種の信号処理を行なう。音源の定位処理は、例えば、所定の音源位置音像定位するように、頭部伝達関数(HRTF)を付与する処理を行う。また、信号処理部12は、不図示の遅延器およびゲイン制御部で、遅延およびゲインの制御を行うことで、定位処理を行なってもよい。信号処理部12は、ヘッドフォンユニット2Lおよびヘッドフォンユニット2Rに供給するそれぞれのオーディオ信号の音量バランスを調整することで、音源の方向感を制御することができる。例えば、ヘッドフォンユニット2Lおよびヘッドフォンユニット2Rに全く同じ音が入力されると、ユーザは、頭内に音源が定位する。同じ音であっても、ヘッドフォンユニット2L側の音が大きい場合には、ユーザは、自身の左側に音源を認識する。また、同じ音源の音でも、スピーカの位置が遠いほど、遅延が生じ、かつレベルが低下する。したがって、信号処理部12は、オーディオ信号に遅延を付与して、レベルを低下させることで、仮想的に遠い位置のスピーカから音が発生したように聴取者知覚させることもできる。この様にして、信号処理部12は、ヘッドフォンユニット2Lおよびヘッドフォンユニット2Rに供給するそれぞれのオーディオ信号における時間差およびレベル差を制御することで、聴取者の周囲の所定の位置に、音源を仮想定位させることができる。

0021

また、HRTFは、ある位置に設置した仮想スピーカからそれぞれ左右のに至る音の大きさ、到達時間、および周波数特性の差を表現したインパルス応答である。信号処理部12は、例えば、図4の上面図に示すように、右前方に位置する仮想スピーカVR1および左前方に位置する仮想スピーカVL1に定位させるHRTFを、オーディオ信号に付与する。これにより、ユーザは、仮想スピーカVR1および仮想スピーカVL1の位置における音源から、コンテンツに係る音が出力されている様に知覚することができる。

0022

図5は、信号処理部12の機能的構成を示すブロック図である。信号処理部12は、フィルタ121L、フィルタ121R、フィルタ122L、フィルタ122R、加算器123L、および加算器123Rを備えている。

0023

フィルタ121Lは、仮想スピーカVL1から左耳に至る経路のHRTFを、左チャンネル(Lch)のオーディオ信号に付与する。フィルタ121Rは、仮想スピーカVL1から右耳に至る経路のHRTFを、左チャンネル(L ch)のオーディオ信号に付与する。

0024

フィルタ122Lは、仮想スピーカVR1から左耳に至る経路のHRTFを、右チャンネル(L ch)のオーディオ信号に付与する。フィルタ122Rは、仮想スピーカVR1から右耳に至る経路のHRTFを、右チャンネル(R ch)のオーディオ信号に付与する。

0025

加算器123Lは、フィルタ121Lおよびフィルタ122Lの出力信号を合成する。加算器123Rは、フィルタ121Rおよびフィルタ122Rの出力信号を合成する。

0026

加算器123Lの出力信号は、出力部13からヘッドフォンユニット2Lに出力される。これにより、ヘッドフォンユニット2Lには、Lチャンネルのオーディオ信号が入力される。加算器123Rの出力信号は、出力部13からヘッドフォンユニット2Rに出力される。これにより、ヘッドフォンユニット2Rには、Rチャンネルのオーディオ信号が入力される。

0027

これにより、ユーザは、仮想スピーカVL1および仮想スピーカVR1の位置における音源から、コンテンツに係る音が出力されている様に知覚することができる。

0028

一方、音場支援処理は、所定の音場環境コンサートホールラウンジ、またはスタジオ等)における間接音反射音および残響音)を模擬した擬似間接音を付与する処理である。ヘッドフォンで音場支援を行なうためには、例えば、各反射音に対応する複数の音源位置に音像が定位するように、頭部伝達関数(HRTF)を付与する処理を行う。

0029

信号処理部12は、聴取者の周囲における複数の位置(図中のVRI)に、音源を定位させる。信号処理部12は、入力されたオーディオ信号に対して、所定の音場環境における反射音(インパルス応答)に対応する、複数の音源位置VRIから左耳および右耳に至る経路のHRTFをそれぞれ付与する。これにより、信号処理部12は、図4に示すように、ユーザの周囲に、所定の音場空間(Room)を形成させる。この場合、信号処理部12は、Lチャンネルオーディオ信号およびRチャンネルオーディオ信号を合成してモノラル信号にする。信号処理部12は、当該モノラル信号にHRTFを付与する。フィルタ121L(またはフィルタ122L)は、Roomで発生する各間接音に対応する複数の音源位置から左耳に至る経路のHRTFを、モノラル信号に付与する。また、フィルタ121R(またはフィルタ122R)は、該Roomで発生する各間接音に対応する複数の音源位置から右耳に至る経路のHRTFを、モノラル信号に付与する。これにより、信号処理部12は、ユーザの周囲に所定の音場環境を提供する、音場支援を行なうことができる。

0030

そして、上述の様に、制御部14は、状態判定部141の判定結果に応じて、信号処理部12における信号処理の内容を決定する(s13)。信号処理の内容とは、例えば上記の音場支援における空間の大きさ(Room Size)、音場支援における反射音のレベルである。また、周波数特性の調整における高域カットLPF)の有無、あるいは該LPFの遮断周波数の変更等も、信号処理の内容に含まれる。あるいは、模擬する音場環境の切り替えも、信号処理の内容に含まれる。模擬する音場環境を切り替えると、Room Sizeおよび反射音のレベルも変更される。また、音源の定位処理の変更も、信号処理の内容に含まれる。例えば、制御部14は、定位処理をせずに頭内定位させる場合と、図4に示したようなユーザの前方の所定位置に定位させる場合と、さらに遠方の位置に定位させる場合と、を切り替える。

0031

Room Sizeは、反射音の位置または残響音の長さ等に影響する。Room Sizeは、大きいほど反射音の位置が遠くなる、または残響音が長くなり、大きい空間の音場環境を模擬した状態となる。Room Sizeは、小さいほど反射音の位置が近くなる、または残響音が短くなり、小さい空間の音場環境を模擬した状態となる。反射音のレベルは、高いほど響きが強くなるため、派手な音場環境を表現することになる。反射音のレベルは、低いほど響きが弱くなるため、落ち着いた音場環境を表現することになる。同様に、LPFにより高域がカットされると、落ち着いた音場環境を表現することになる。LPFの遮断周波数は、低いほどカットされる高域成分が増えるため、より落ち着いた音場環境を表現することになる。

0032

図6は、状態判定部141により判定された現在の状態と、信号処理と、の関係を示す図である。

0033

図6の例に示すグラフ横軸は、生体情報に対応し、縦軸は、環境情報に対応する。状態判定部141は、生体情報および環境情報が、それぞれどの領域に属するかによって、現在の状態を判定する。状態判定部141は、例えば、心拍数が所定値以上の場合に、生体情報がポジティブ(正)であり、所定値未満の場合に生体情報がネガティブ(負)である、と判定する。また、状態判定部141は、天気が晴れである場合に、環境情報が正であり、曇りまたは雨である場合に、環境情報が負であると判定する。

0034

あるいは、状態判定部141は、加速度センサから得られた加速度が所定値以上の場合に、生体情報が正であり、所定値未満の場合に生体情報が負である、と判定してもよい。また、状態判定部141は、気温が所定値以上である場合に、環境情報が正であり、所定値未満である場合に、環境情報が負であると判定してもよい。また、状態判定部141は、明るさ(照度)が所定値以上である場合に、環境情報が正であり、所定値未満である場合に、環境情報が負であると判定してもよい。また、状態判定部141は、湿度が所定値以上である場合に、環境情報が負であり、所定値未満である場合に、環境情報が正であると判定してもよい。

0035

さらに、状態判定部141は、複数の生体情報(心拍数および加速度)を用いて、生体情報が正であるか、負であるかを判定してもよい。また、状態判定部141は、複数の環境情報(天気、気温、および明るさ)を用いて、環境情報が正であるか、負であるかを判定してもよい。なお、状態判定部141は、複数の生体情報または環境情報を用いる場合、各情報の寄与率を設定してもよい。例えば、天気の寄与率が40%であり、気温の寄与率が30%であり、明るさの寄与率が20%であり、湿度の寄与率が10%である場合に、明るさおよび湿度が正であったとしても、天気および気温が負である場合には、環境情報は負であると判定される。

0036

制御部14は、状態判定部141が判定した現在の状態(生体情報および環境情報がそれぞれどの領域に属するか)に基づいて、信号処理の内容を決定する。例えば、生体情報および環境情報がいずれも正である場合には、制御部14は、Room Sizeを小さく、反射音レベルを小さく、かつLPFにより高域をカットする内容を決定する。逆に、生体情報および環境情報がいずれも負である場合には、制御部14は、Room Sizeを大きく、反射音レベルを大きく、かつLPFをオフする内容を決定する。生体情報が負であり、環境情報が正である場合には、制御部14は、Room Sizeを大きく、反射音レベルを中程度、かつLPFをオフする内容を決定する。生体情報が正であり、環境情報が負である場合には、制御部14は、Room Sizeを中程度、反射音レベルを中程度、かつLPFにより高域をカットする内容を決定する。この例では、制御部14は、生体情報の寄与率を大きくしている。すなわち、生体情報が正である場合、環境情報が負であっても、相対的に落ち着いた音場環境を表現する内容とする。

0037

ただし、制御部14は、環境情報だけが負であり、生体情報が正である場合に、相対的に落ち着いた音場環境を表現する内容としてもよい。また、この例では、制御部14は、現在の状態が正である場合に相対的に落ち着いた音場環境を表現する内容として、ユーザの気持ちを落ち着かせる効果を生じさせ、現在の状態が負である場合に派手な音場環境を表現する内容として、ユーザの気持ちを持ち上げる効果を生じさせている。しかし、逆に、現在の状態が負である場合に相対的に落ち着いた音場環境を表現する内容とし、現在の状態が正である場合に、派手な音場環境を表現する内容としてもよい。

0038

あるいは、生体情報および環境情報は、数値化されてもよい。この場合、制御部14は、生体情報および環境情報の数値に応じて、音場支援の強さを変更する。例えば、制御部14は、心拍数が高いほどRoom Sizeを大きくしたり、気温が高いほど反射音のレベルを高くする。

0039

また、制御部14は、状態判定部141が判定した現在の状態(生体情報および環境情報がそれぞれどの領域に属するか)に基づいて、音源の定位処理の変更を行なってもよい。例えば、制御部14は、生体情報および環境情報がいずれも負である場合には、ユーザがストレス感じている状態であるとして、音源を遠方の位置に定位させて、ユーザの気持ちを落ち着かせる効果を生じさる。逆に、生体情報および環境情報がいずれも正である場合には、ユーザがコンテンツの音に集中し易いように、HRTFの処理をせずに音源を頭内に定位させる。また、生体情報または環境情報がいずれか一方が正であり、他方が負である場合には、図4に示したように、ユーザの前方に音源を定位させる。

0040

以上のようにして、信号処理装置1は、現在のユーザの状態に適した信号処理を行なう。特に、本実施形態の信号処理装置1は、ユーザの状態として、心拍数等の生体情報だけではなく、天気または気温等の周囲の環境情報も考慮して信号処理の内容を決定するため、従来よりも高精度にユーザの状態に応じた信号処理を行なうことができる。

0041

次に、図7は、応用例1に係る信号処理装置1Aの構成を示すブロック図である。図7において、図2に示した信号処理装置1のブロック図と同じ構成については同じ符号を付し、説明を省略する。図8は、応用例1に係る信号処理装置1Aの動作を示すフローチャートである。図8において、図3のフローチャートにおける動作と同じ動作については同じ符号を付し、説明を省略する。

0042

この例では、信号処理装置1Aは、ユーザI/F16を備えている。ユーザI/F16は、例えばタッチパネルを備えた表示装置として実現される。図9は、ユーザI/F16を介して、信号処理のパラメータ補正する補正操作受け付ける例を示した図である。ユーザI/F16は、信号処理のパラメータを補正する補正操作を受け付ける受付部に相当する。図9の例では、補正操作を受け付ける態様として、フェーダが表示されている。ユーザは、フェーダを上下させることで、信号処理のパラメータの補正を行なう。制御部14は、補正操作を受け付けたか否かを確認し(s21)、補正操作を受け付けた場合には、信号処理のパラメータを補正する。

0043

例えば、図9では、生体情報が正であり、環境情報が負であるため、制御部14は、Room Sizeを中程度、反射音レベルを中程度、かつLPFにより高域をカットする内容を決定している(s13)。しかし、ユーザI/F16を介して、ユーザから音場支援を強くする補正を受け付けた場合(s21のYes)、制御部14は、受け付けた補正操作に応じて、信号処理のパラメータを補正する(s22)。例えば、図9では、ユーザがフェーダを上に移動させ、信号処理を強くする補正操作を行なっている。この場合、制御部14は、より派手な音場環境を表現するように、信号処理のパラメータを補正する。例えば、制御部14は、Room Sizeを大きく、反射音レベルを大きく、かつLPFをオフする内容に補正している。つまり、図9の例では、制御部14は、状態判定部141で判定された現在の状態よりも、より負の状態に対応する音場環境を表現する。図9のグラフでは、生体情報および環境情報ともに負の側に補正される場合に相当する。また、仮に、ユーザがフェーダを下に移動させ、信号処理を弱くする補正操作を行なった場合、制御部14は、状態判定部141で判定された現在の状態よりも、より正の状態に対応する音場環境を表現する。例えば、制御部14は、Room Sizeを小さく、反射音レベルを小さく、かつLPFをオンする内容に補正する。

0044

次に、図10は、応用例2に係る信号処理装置1Bの動作を示すフローチャートである。応用例2に係る信号処理装置1Bのハードウェアは、図7に示した信号処理装置1Aと同じ構成である。また、図10において、図8のフローチャートにおける動作と同じ動作については同じ符号を付し、説明を省略する。図11は、応用例2における現在の状態と信号処理との関係を示す図である。図11に示すように、応用例2に係る信号処理装置1Bでは、ユーザI/F16(この例では例えばタッチパネルを備えた表示装置)に、FB(フィードバック)ボタンと、HOLD(ホールド)ボタンと、が表示されている。ユーザがHOLDボタンをタッチすると、制御部14は、ユーザの状態が変化しても、信号処理の内容を変更せずに、固定する。

0045

信号処理装置1Bは、ユーザから補正操作を受け付けた後に、FB(フィードバック)操作を受け付けたか否かをさらに確認する(s23)。ユーザが、FBボタンをタッチすると、制御部14は、ユーザから受け付けた補正操作の補正量を記憶部15に記憶する(s24)。例えば、図11に示すように、現在の状態に応じて決定した音場効果の強さが「−4」であった場合において、ユーザが音場支援の効果を「+8」まで強く補正した場合、制御部14は、補正量を「+12」として、記憶部15に記憶する。そして、次回、現在の状態に応じて信号処理の内容を決定した時、制御部14は、FBボタンがタッチされたか否かを判断し(s25)、FBボタンがタッチされた場合には、記憶部15に記憶された補正量(第1補正量)を読み出す(s26)。制御部14は、読み出した第1補正量で、今回の補正量(第2補正量)を算出する(s27)。例えば、上述のように、第1補正量として「+12」が記憶されていた場合に、制御部14は、読み出した第1補正量にさらに所定の係数(例えば0.8)を乗算して、「+10」の第2補正量を算出する。そして、制御部14は、算出した第2補正量を用いて、信号処理のパラメータの補正を行なう(s28)。例えば、現在の状態により決定された音場効果の強さが「−4」であった場合には、算出した第2補正量「+10」を用いて、音場効果の強さとして「+6」を決定する。

0046

以上の構成により、信号処理装置1Bは、ユーザの状態を反映した信号処理の内容を決定するとともに、ユーザの補正操作の内容も反映させる。したがって、信号処理装置1Bは、よりユーザの意図に応じた信号処理を行なうことができる。

0047

次に、図12は、応用例3に係る信号処理装置1Cの構成を示すブロック図である。図7の信号処理装置1Bと同じ構成については、同じ符号を付し、説明を省略する。図13は、信号処理装置1Cの動作を示すフローチャートである。

0048

応用例3に係る信号処理装置1Cは、機能的に選出部142を備えている。選出部142は、制御部14が実行するプログラムにより実現される。

0049

選出部142は、再生対象のコンテンツを選出する。すなわち、上記の例では、再生対象のコンテンツは、ユーザが手動で指定していたが、応用例3においては、信号処理の内容が決定された後に(s13)、決定された信号処理の内容に適したコンテンツが自動選出される(s31)。例えば、制御部14が、ユーザが落ち着いた状態であると判断し、落ち着いた音場効果を決定した場合には、選出部142は、ジャズまたはクラシックジャンル等の落ち着いたジャンルのコンテンツを選出する。また、選出部142は、制御部14が落ち着いた音場効果を決定した場合には、演奏テンポが低い、または音の情報量(楽器の数の多さ等)が少ないコンテンツを選出してもよい。

0050

また、選出部142は、強い音場効果が決定された場合には、ロック等のジャンルのコンテンツを選択する。また、選出部142は、強い音場効果が決定された場合には、演奏テンポが高く、音の情報量が多いコンテンツを選出してもよい。

0051

制御部14は、選出部142が選出したコンテンツが自装置の記憶部15に記憶されている場合には、記憶部15からコンテンツを読み出して、信号処理部12に再生処理を行なわせる。制御部14は、選出部142が選出したコンテンツが自装置の記憶部15に記憶されてない場合には、入力部101を介して、他装置から取得する。

0052

応用例3に係る信号処理装置1Cでは、ユーザの状態に応じて、再生対象のコンテンツが自動で選出されるため、ユーザ自身でコンテンツを選出する手間が省かれる。例えば、ユーザがカフェコーヒーを飲み、落ち着いた環境の場合、ラウンジ等の落ち着いた音場環境が自動的に再現され、さらに、ジャズまたはクラシックのジャンル等の落ち着いたジャンルのコンテンツが自動的に選出される。

0053

図14は、応用例4に係る信号処理装置1Dの構成を示したブロック図である。図12と共通する構成については同じ符号を付し、説明を省略する。信号処理装置1Dは、第1センサ171および第2センサ172を備えている。第1センサ171は、生体情報を検出する。第2センサ172は、環境情報を検出する。情報取得部102は、第1センサ171から生体情報を取得し、第2センサ172から環境情報を取得する。

0054

このように、生体情報または環境情報は、自装置に設けられたセンサで検出してもよい。

0055

上述の様に、生体情報は、例えば心拍数、体温、または移動状態(加速度)等のユーザの生体に関する情報である。したがって、第1センサ171は、例えば心拍センサ、カメラ、温度センサ、または加速度センサである。環境情報は、例えば天気、気温、湿度、明るさ、風の強さ、匂い、位置、または周囲の画像等である。したがって、第2センサ172は、例えば温度センサ、湿度センサ、照度センサ、位置情報取得センサ、または匂いセンサである。なお、状態判定部141は、カメラで取得した周囲の画像を解析することで、周囲の環境(天気、明るさ、または位置等)を取得することができる。したがって、カメラも第2センサ172の一例である。さらに、状態判定部141は、マイクで取得した周囲の音を解析することで、周囲の環境情報を取得することもできる。例えば、状態判定部141は、雨音を取得した場合に、天気が雨であると判定することができる。したがって、マイクも第2センサ172の一例である。制御部14は、マイクにより取得した音が雑踏などのノイズ音である場合に、信号処理の内容としてノイズ除去処理を行なってもよい。

0056

状態判定部141は、加速度センサで、ユーザが走っている状態であると判定し、さらに走行ピッチに応じて、ユーザの気分を推定する。走行ピッチが速い場合には、ユーザが興奮状態であると推定する。走行ピッチが遅い場合には、ユーザが穏やかな状態であると推定する。例えば、選出部17は、興奮状態であるときは、Room Sizeを小さく、反射音レベルを小さく、かつLPFにより高域をカットする内容を決定する。また、例えば、選出部17は、予めセンサの値と信号処理の内容とを対応付けて記憶部15に記憶しておくことで、ユーザの状態に応じた信号処理を行なうこともできる。

0057

なお、上述の実施形態では、環境情報として、落ち着いた環境であるか、派手な環境であるかを判断して、音場支援の強さを決定する例を示したが、例えば、制御部14は、匂いセンサから匂いに関する情報を取得した場合には、当該匂いの情報に基づいて信号処理の内容を決定してもよい。例えば、制御部14は、コーヒーの匂いの情報を取得した場合には、ラウンジ等の落ち着いた環境の音場を再現する。あるいは、信号処理装置1は、逆に、音場環境に応じた匂いを発生させてもよい。例えば、信号処理装置1は、カフェの音場環境を再現する場合には、コーヒーの匂いを発生させる。

0058

さらに、信号処理装置1は、コンテンツまたは音場環境に応じた振動を生じさせてもよい。振動を生じさせる場合、信号処理装置1は、モータ等の振動子を備える。信号処理装置1は、例えば、落ち着いた環境の音場では振動を停止し、派手な環境の音場環境を再現する場合には、振動を生じさせる。

0059

また、例えば、制御部14は、位置情報に基づいて、信号処理の内容を決定してもよい。例えば、制御部14は、現在の位置に最も近いコンサートホールに対応する音場環境を再現する。コンサートホール等の音場を模擬したインパルス応答に係るデータ(以下音場データと言う。)は、予め記憶部15に記憶しておく。制御部14は、該音場データが記憶部15に記憶されていない場合には外部(例えばサーバ)からダウンロードしてもよい。制御部14は、センサで取得した自装置の位置情報を用いて、記憶部15または外部のサーバ等から、対応する音場データを取得する。この場合、複数の音場データは、それぞれの位置情報が対応付けられて、記憶部15または外部のサーバ等に記憶されている。制御部14は、センサで取得した自装置の位置情報に最も近い位置情報が対応付けられた音場データを読み出し、オーディオ信号に擬似間接音を付与する処理を行なう。これにより、現在の位置に最も近いコンサートホールに対応する音場環境が再現される。

0060

例えば、ユーザが特定のコンサートイベントに参加した場合、ユーザは、そのコンサートイベントが行なわれている会場の音場環境を再現した音場データを取得することができる。この場合、後でユーザが該コンサートホールに戻ってきた場合に、制御部14は、信号処理部12を制御して、該コンサートホールに対応する音場環境を再現する。したがって、ユーザは、過去のコンサートイベントの音場環境を再現してコンテンツを聞くことができ、コンサートイベントに参加したことを思い出すことができる。

0061

この場合、ユーザが特定のイベントに参加して、新たな音場データが記憶部15に記憶されると、ユーザは、今まで利用できなかった音場環境を体感することができる。これにより、信号処理装置1は、例えば、ユーザのイベントへの参加意欲を向上させることができる。

0062

あるいは、制御部14は、その場の音場環境を測定することもできる。図15は、音場環境を測定する場合の信号処理装置1Eの構成を示すブロック図である。信号処理装置1Eは、複数のマイク(マイク151およびマイク152)およびスピーカ200を備えている。その他の構成は、図2に示した信号処理装置1と同じ構成である。

0063

制御部14は、記憶部15からプログラムを読み出して、該プログラムを実行することにより音場測定部143を実現する。

0064

音場測定部143は、信号処理部12を介してスピーカ200から測定音を発生させる。測定音は、例えばパルス音である。音場測定部143は、情報取得部102を介して、マイク151およびマイク152で取得した周囲の音、すなわちスピーカ200から出力された測定音の直接音および反射音を入力する。なお、マイク151およびマイク152は、ヘッドフォンユニット2Lおよびヘッドフォンユニット2Rに対応して、聴取者の頭部に配置されていることが好ましい。聴取者の頭部に配置されることで、バイノーラル録音を実現することができる。したがって、後に信号処理部12が仮想反射音を再現する場合には、信号処理部12は、あらためてHRTFによる定位処理を行う必要がなく、ユーザの周囲の所定位置に音源を定位させることができる。これにより、音場測定部143は、実際のコンサートホールなどの音場環境に係るインパルス応答を取得することができる。

0065

例えば、ユーザが特定のコンサートイベントに参加した場合、ユーザは、そのコンサートイベントが行なわれている会場の音場環境を取得することができる。これにより、ユーザは、後でコンサートホールを離れた場合でも、同じ音場環境でコンテンツの音を聴くことができる。あるいは、後でユーザがコンサートホールに戻ってきた場合に、制御部14が、該コンサートホールに対応する音場環境を再現する。したがって、ユーザは、過去のコンサートイベントの音場環境を再現してコンテンツを聞くことができ、コンサートイベントに参加したことを思い出すことができる。また、この場合も、ユーザが特定のイベントに参加すると、今まで利用できなかった音場環境を利用することができる。これにより、例えば、イベントへの参加意欲を向上させることができる。さらには、取得した音場環境は、ユーザ間で共有してもよい。

0066

なお、匂いの情報および位置情報は、環境情報の一例である。したがって、制御部14は、匂いの情報、または位置情報等に基づいて、再現する音場環境を選択して、さらに生体情報に基づいて、当該音場環境のRoom Size、または反射音のレベル等を決定する。また、制御部14は、匂いの情報、または位置情報等に基づいて、再現する音場環境を選択して、さらに生体情報に基づいて、LPFのオン、オフを行なったり、LPFのカットオフ周波数を変更したりしてもよい。

0067

さらに、信号処理装置における一部の処理は、サーバ上で行なうようにしてもよい。例えば、信号処理装置は、生体情報をサーバに送信する。サーバは、気象情報サーバから環境情報として、天気情報を取得する。サーバは、受信した生体情報と、天気情報と、に基づいて、現在の状態を判定し、信号処理の内容を決定する。サーバは、決定した信号処理の内容を示す情報を信号処理装置に送信する。信号処理装置は、受信した情報に基づいて、信号処理を行なう。

0068

また、制御部14は、過去に検出したユーザの状態と、過去に行なった信号処理の内容と、の組み合わせを学習し、学習結果に基づいて信号処理を行なってもよい。

0069

図16は、学習を行なう場合に、信号処理装置が表示部(不図示)に表示するGUIの一例である。制御部14は、所定の音場環境の擬似間接音を付与する処理を行うとともに、GUIを介してユーザの評価を受け付ける。この例では、「Like」または「Dislike」を受け付ける。制御部14は、ユーザI/F16を介して、「Like」の選択を受け付けた場合に、現在処理を行なっている音場支援の内容(Room Size、反射音のレベル、LPFの有無、あるいは該LPFの遮断周波数)を記憶部15に記憶する。制御部14は、この時のセンサの値を、音場支援の内容と対応付けて記憶部15に記憶する。センサの値は、心拍数、体温、または移動状態(加速度)等のユーザの生体に関する情報と、気温、湿度、照度、風速、または位置等の環境に関する情報である。制御部14は、ユーザI/F16を介して、「Dislike」の選択を受け付けた場合に、別の信号処理(別の音場支援)を行ない、再度、「Like」または「Dislike」の選択を受け付ける。この様な評価を繰り返すことで、現在の状態に応じて、センサの値と、信号処理の内容と、が高精度に対応付けられる。

0070

制御部14は、センサの値が変化し、現在の状態が変化したとき、その時点のセンサの値で記憶部15を参照し、対応する(例えば最も近い値の)信号処理の内容を読み出す。これにより、信号処理装置は、ユーザが現在の状態に適合すると判断した信号処理(音場)の内容を、自動的に再現することができる。

0071

また、学習は、ニューラルネットワークを用いた人工知能により行ってもよい。ニューラルネットワークを用いる場合、センサの値が入力層になり、周囲の環境およびユーザの状態等の要素が中間層になる。信号処理の内容は、出力層になる。ニューラルネットワークは、センサの値を入力すると、対応する信号処理の内容を出力する。ここで、信号処理装置またはサーバは、他の複数のユーザが利用する信号処理装置から、センサの値と、選択された信号処理の内容と、を示すデータが入力される。ニューラルネットワークは、このデータに基づいてディープラーニングを行なう。これにより、学習が進む。制御部14は、学習が進んだニューラルネットワークにセンサの値を入力するだけで、最適な信号処理の選出がなされる。

0072

なお、本実施形態では、信号処理を行なったオーディオ信号をヘッドフォンに出力する例を示したが、例えばスピーカに出力してもよい。スピーカを用いてHRTFによる定位処理を行なう場合にはクロストークキャンセルの処理を行なう。クロストークキャンセル処理は、ある第1スピーカから放音され、右耳(または左耳)に至るクロストーク逆位相の成分を第2スピーカから放音して右耳(または左耳)の位置で音圧打ち消すことにより、第1スピーカの音が右耳(または左耳)に聞こえるのを抑制する処理である。

0073

また、複数のスピーカを用いて音場支援を行なう場合、信号処理部12は、複数のスピーカに供給するオーディオ信号にそれぞれ遅延を付与することにより、仮想的に、複数のスピーカと聴取者との距離を変更することができる。したがって、信号処理部12は、複数のスピーカに供給するそれぞれのオーディオ信号における時間差およびレベル差を制御することで、聴取者の周囲の所定の位置に、反射音を仮想定位させることができる。

0074

1,1A,1B,1C,1D…信号処理装置
2L,2R…ヘッドフォンユニット
11…入力I/F
12…信号処理部
13…出力部
14…制御部
15…記憶部
16…ユーザI/F
101…入力部
102…情報取得部
141…状態判定部
142…選出部
171…第1センサ
172…第2センサ

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

該当するデータがありません

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

この 技術と関連性が強い技術

該当するデータがありません

この 技術と関連性が強い法人

該当するデータがありません

この 技術と関連性が強い人物

該当するデータがありません

この 技術と関連する社会課題

該当するデータがありません

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ