図面 (/)

技術 処理装置、処理方法、再生方法、及びプログラム

出願人 株式会社JVCケンウッド
発明者 高地邦明村田寿子小西正也下条敬洋藤井優美永井俊明
出願日 2018年9月21日 (2年3ヶ月経過) 出願番号 2018-176868
公開日 2020年3月26日 (9ヶ月経過) 公開番号 2020-048147
状態 未査定
技術分野 音声の分析・合成
主要キーワード バンドパスフィルタ群 スイープ信号 Rch側 平均化時間 Lch側 左マイク マスクROM 右マイク
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年3月26日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (8)

課題

適切なゲインを求めることができる処理装置処理方法再生方法、及びプログラムを提供することを目的とする。

解決手段

本実施の形態にかかる処理装置200は、再生信号に対するフィルタ処理に用いられるフィルタ周波数特性に基づいて、周波数情報を取得する周波数情報取得部213と、周波数情報に基づいて、再生信号における時間情報を取得する時間情報取得部216と、時間情報に基づいて、再生信号の少なくとも一部の時間に対応する時間信号を抽出する時間信号抽出部217と、時間信号に対してフィルタ処理を行うフィルタ処理部218と、フィルタ処理が行われていない時間信号と、フィルタ処理が行われた処理後の時間信号に基づいて、ゲインを取得するゲイン取得部219と、を備えている。

概要

背景

特許文献1には、音響信号音量補正する音量補正装置が開示されている。特許文献1の音量補正装置は、音響信号の周波数帯域ごとの信号レベルを異なる平均化時間で平均化している。音量補正装置は、複数の平均値重み付けして、重み付けされた代表値を求めている。音量補正装置は、代表値に基づいて利得(ゲイン)を決定して、利得に基づいて音量を補正している。

ところで、音像定位技術として、ヘッドホンを用いて受聴者の頭部の外側に音像定位させる頭外定位技術がある。頭外定位技術では、ヘッドホンからまでの特性をキャンセルし、ステレオスピーカから耳までの4本の特性(空間音響伝達特性)を与えることにより、音像を頭外に定位させている。

頭外定位再生においては、2チャンネル(以下、chと記載)のスピーカから発した測定信号インパルス音等)を聴取者リスナー)本人の耳に設置したマイクロフォン(以下、マイクとする)で録音する。そして、測定信号を集音して得られた収音信号に基づいて、処理装置フィルタを生成する。生成したフィルタを2chのオーディオ信号に畳み込むことにより、頭外定位再生を実現することができる。

さらに、ヘッドホンから耳までの特性をキャンセルするフィルタを生成するために、ヘッドホンから耳元乃至鼓膜までの特性(外耳道伝達関数ECTF、外耳道伝達特性とも称する)を聴取者本人の耳に設置したマイクで測定する。

概要

適切なゲインを求めることができる処理装置、処理方法再生方法、及びプログラムを提供することを目的とする。本実施の形態にかかる処理装置200は、再生信号に対するフィルタ処理に用いられるフィルタの周波数特性に基づいて、周波数情報を取得する周波数情報取得部213と、周波数情報に基づいて、再生信号における時間情報を取得する時間情報取得部216と、時間情報に基づいて、再生信号の少なくとも一部の時間に対応する時間信号を抽出する時間信号抽出部217と、時間信号に対してフィルタ処理を行うフィルタ処理部218と、フィルタ処理が行われていない時間信号と、フィルタ処理が行われた処理後の時間信号に基づいて、ゲインを取得するゲイン取得部219と、を備えている。

目的

本発明は上記の点に鑑みなされたものであり、適切にゲイン値を設定することができる処理装置、処理方法、及びプログラムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

再生信号に対するフィルタ処理に用いられるフィルタ周波数特性に基づいて、周波数情報を取得する周波数情報取得部と、前記周波数情報に基づいて、再生信号における時間情報を取得する時間情報取得部と、前記時間情報に基づいて、前記再生信号の少なくとも一部の時間に対応する時間信号を抽出する抽出部と、前記時間信号に対して、前記フィルタを用いてフィルタ処理を行うフィルタ処理部と、前記フィルタ処理が行われていない時間信号と、フィルタ処理が行われた処理後の時間信号とに基づいて、前記再生信号の音量に対するゲインを取得するゲイン取得部と、を備えた処理装置

請求項2

前記周波数情報取得部は、前記フィルタの周波数特性のピークとなるピーク周波数に応じた周波数情報を取得する請求項1に記載の処理装置。

請求項3

前記時間情報取得部は、前記周波数情報に基づく周波数又は周波数帯域において、前記再生信号の振幅がピークとなるピーク時間に応じた時間情報を取得する請求項1、又は2に記載の処理装置。

請求項4

前記再生信号の周波数特性において、複数の周波数帯域と、前記周波数帯域毎に、振幅がピークとなるピーク時間とが対応付けられており、前記周波数情報取得部が、前記フィルタの周波数特性がピークとなる周波数を含む前記周波数帯域を周波数情報として取得し、時間情報取得部が、前記周波数情報として取得された周波数を含む周波数帯域の前記ピーク時間を前記時間情報として取得する請求項1、又は2に記載の処理装置。

請求項5

再生信号に対するフィルタ処理に用いられるフィルタの周波数特性に基づいて、周波数情報を取得するステップと、前記周波数情報に基づいて、再生信号における時間情報を取得するステップと、前記時間情報に基づいて、前記再生信号の少なくとも一部の時間に対応する時間信号を抽出するステップと、前記時間信号に対して、前記フィルタを用いてフィルタ処理を行うステップと、前記フィルタ処理が行われていない時間信号と、フィルタ処理が行われた処理後の時間信号に基づいて、前記再生信号の音量に対するゲインを取得するステップと、を含む処理方法

請求項6

前記フィルタを用いて、前記再生信号に頭外定位処理を行い、請求項5で求められたゲインに応じた音量で、頭外定位処理された再生信号を再生する再生方法

請求項7

コンピュータに対して処理方法を実行させるためのプログラムであって、前記処理方法は、再生信号に対するフィルタ処理に用いられるフィルタの周波数特性に基づいて、周波数情報を取得するステップと、前記周波数情報に基づいて、再生信号における時間情報を取得するステップと、前記時間情報に基づいて、前記再生信号の少なくとも一部の時間に対応する時間信号を抽出するステップと、前記時間信号に対して、前記フィルタを用いてフィルタ処理を行うステップと、前記フィルタ処理が行われていない時間信号と、フィルタ処理が行われた処理後の時間信号に基づいて、前記再生信号の音量に対するゲインを取得するステップと、を含む、プログラム。

技術分野

0001

本発明は、処理装置処理方法再生方法、及びプログラムに関する。

背景技術

0002

特許文献1には、音響信号音量補正する音量補正装置が開示されている。特許文献1の音量補正装置は、音響信号の周波数帯域ごとの信号レベルを異なる平均化時間で平均化している。音量補正装置は、複数の平均値重み付けして、重み付けされた代表値を求めている。音量補正装置は、代表値に基づいて利得(ゲイン)を決定して、利得に基づいて音量を補正している。

0003

ところで、音像定位技術として、ヘッドホンを用いて受聴者の頭部の外側に音像定位させる頭外定位技術がある。頭外定位技術では、ヘッドホンからまでの特性をキャンセルし、ステレオスピーカから耳までの4本の特性(空間音響伝達特性)を与えることにより、音像を頭外に定位させている。

0004

頭外定位再生においては、2チャンネル(以下、chと記載)のスピーカから発した測定信号インパルス音等)を聴取者リスナー)本人の耳に設置したマイクロフォン(以下、マイクとする)で録音する。そして、測定信号を集音して得られた収音信号に基づいて、処理装置がフィルタを生成する。生成したフィルタを2chのオーディオ信号に畳み込むことにより、頭外定位再生を実現することができる。

0005

さらに、ヘッドホンから耳までの特性をキャンセルするフィルタを生成するために、ヘッドホンから耳元乃至鼓膜までの特性(外耳道伝達関数ECTF、外耳道伝達特性とも称する)を聴取者本人の耳に設置したマイクで測定する。

先行技術

0006

特開2012−244246号公報

発明が解決しようとする課題

0007

頭外定位処理装置やイコライジングなどで、特定の周波数が強調されるようなフィルタ処理を行う場合がある。このような場合、再生する音源やフィルタの周波数特性によっては、音質フィルタ特性を損なうことがある。よって、ユーザが違和感を覚えることがある。

0008

特許文献1の装置では、常に音源の信号レベルを監視する必要があるため、再生装置での処理負担が大きくなる。また、音源再生中に生じる音量変化の違和感は軽減されるかもしれないが、完全になくなるわけではない。

0009

本発明は上記の点に鑑みなされたものであり、適切にゲイン値を設定することができる処理装置、処理方法、及びプログラムを提供することを目的とする。

課題を解決するための手段

0010

本実施の形態にかかる処理装置は、再生信号に対するフィルタ処理に用いられるフィルタの周波数特性に基づいて、周波数情報を取得する周波数情報取得部と、前記周波数情報に基づいて、再生信号における時間情報を取得する時間情報取得部と、前記時間情報に基づいて、前記再生信号の少なくとも一部の時間に対応する時間信号を抽出する抽出部と、前記時間信号に対して、前記フィルタを用いてフィルタ処理を行うフィルタ処理部と、前記フィルタ処理が行われていない時間信号と、フィルタ処理が行われた処理後の時間信号に基づいて、前記再生信号の音量に対するゲインを取得するゲイン取得部と、を備えたものである。

0011

本実施の形態にかかる処理方法は、再生信号に対するフィルタ処理に用いられるフィルタの周波数特性に基づいて、周波数情報を取得するステップと、前記周波数情報に基づいて、再生信号における時間情報を取得するステップと、前記時間情報に基づいて、前記再生信号の少なくとも一部の時間に対応する時間信号を抽出するステップと、前記時間信号に対して、前記フィルタを用いてフィルタ処理を行うステップと、前記フィルタ処理が行われていない時間信号と、フィルタ処理が行われた処理後の時間信号に基づいて、前記再生信号の音量に対するゲインを取得するステップと、を含むものである。

0012

本実施の形態にかかる処理装置は、コンピュータに対して処理方法を実行させるためのプログラムであって、前記処理方法は、再生信号に対するフィルタ処理に用いられるフィルタの周波数特性に基づいて、周波数情報を取得するステップと、前記周波数情報に基づいて、再生信号における時間情報を取得するステップと、前記時間情報に基づいて、前記再生信号の少なくとも一部の時間に対応する時間信号を抽出するステップと、前記時間信号に対して、前記フィルタを用いてフィルタ処理を行うステップと、前記フィルタ処理が行われていない時間信号と、フィルタ処理が行われた処理後の時間信号に基づいて、前記再生信号の音量に対するゲインを取得するステップと、を含むものである。

発明の効果

0013

本発明によれば、適切にゲイン値を設定することができる処理装置、処理方法、再生方法、及びプログラムを提供することができる。

図面の簡単な説明

0014

本実施の形態に係る頭外定位処理装置を示すブロック図である。
ゲイン値を設定するための処理を行う処理装置の構成を示すブロック図である。
フィルタの周波数特性を示す図である。
再生信号のスペクトログラムを示す図である。
周波数情報を取得する処理を説明するためのフローチャートである。
時間情報を取得する処理を説明するためのフローチャートである。
実施の形態2において、周波数帯域毎ピーク時間Tb1〜Tb5を示す図である。

実施例

0015

本実施の形態にかかる音像定位処理概要について説明する。本実施の形態にかかる頭外定位処理は、空間音響伝達特性と外耳道伝達特性を用いて頭外定位処理を行うものである。空間音響伝達特性は、スピーカなどの音源から外耳道までの伝達特性である。外耳道伝達特性は、ヘッドホン又はイヤホンスピーカユニットから鼓膜までの伝達特性である。本実施の形態では、ヘッドホン又はイヤホンを装着していない状態での空間音響伝達特性を測定し、かつ、ヘッドホン又はイヤホンを装着した状態での外耳道伝達特性を測定し、それらの測定データを用いて頭外定位処理を実現している。本実施の形態は、空間音響伝達特性、又は外耳道伝達特性を測定するためのマイクシステムに特徴を有している。

0016

本実施の形態にかかる頭外定位処理は、パーソナルコンピュータスマートホンタブレットPCなどのユーザ端末で実行される。ユーザ端末は、プロセッサ等の処理手段、メモリハードディスクなどの記憶手段、液晶モニタ等の表示手段、タッチパネル、ボタンキーボードマウスなどの入力手段を有する情報処理装置である。ユーザ端末は、データを送受信する通信機能を有していてもよい。さらに、ユーザ端末には、ヘッドホン又はイヤホンを有する出力手段(出力ユニット)が接続される。ユーザ端末と出力手段との接続は、有線接続でも無線接続でもよい。

0017

実施の形態1.
(頭外定位処理装置)
本実施の形態にかかる音場再生装置の一例である、頭外定位処理装置100のブロック図を図1に示す。頭外定位処理装置100は、ヘッドホン43を装着するユーザUに対して音場を再生する。そのため、頭外定位処理装置100は、LchとRchのステレオ入力信号XL、XRについて、音像定位処理を行う。LchとRchのステレオ入力信号XL、XRは、CD(Compact Disc)プレイヤーなどから出力されるアナログオーディオ再生信号、又は、mp3(MPEG Audio Layer-3)等のデジタルオーディオデータである。なお、オーディオ再生信号、又はデジタルオーディオデータをまとめて再生信号と称する。すなわち、LchとRchのステレオ入力信号XL、XRが再生信号となっている。

0018

なお、頭外定位処理装置100は、物理的に単一な装置に限られるものではなく、一部の処理が異なる装置で行われてもよい。例えば、一部の処理がスマートホンなどにより行われ、残りの処理がヘッドホン43に内蔵されたDSP(Digital Signal Processor)などにより行われてもよい。

0019

頭外定位処理装置100は、頭外定位処理部10、逆フィルタLinvを格納するフィルタ部41、逆フィルタRinvを格納するフィルタ部42、及びヘッドホン43を備えている。頭外定位処理部10、フィルタ部41、及びフィルタ部42は、具体的にはプロセッサ等により実現可能である。

0020

頭外定位処理部10は、空間音響伝達特性Hls、Hlo、Hro、Hrsを格納する畳み込み演算部11〜12、21〜22、及び加算器24、25を備えている。畳み込み演算部11〜12、21〜22は、空間音響伝達特性を用いた畳み込み処理を行う。頭外定位処理部10には、CDプレイヤーなどからのステレオ入力信号XL、XRが入力される。頭外定位処理部10には、空間音響伝達特性が設定されている。頭外定位処理部10は、各chのステレオ入力信号XL、XRに対し、空間音響伝達特性のフィルタ(以下、空間音響フィルタとも称する)を畳み込む。空間音響伝達特性は被測定者の頭部や耳介で測定した頭部伝達関数RTFでもよいし、ダミーヘッドまたは第三者の頭部伝達関数であってもよい。

0021

4つの空間音響伝達特性Hls、Hlo、Hro、Hrsを1セットとしたものを空間音響伝達関数とする。畳み込み演算部11、12、21、22で畳み込みに用いられるデータが空間音響フィルタとなる。空間音響伝達特性Hls、Hlo、Hro、Hrsを所定のフィルタ長切り出すことで、空間音響フィルタが生成される。

0022

空間音響伝達特性Hls、Hlo、Hro、Hrsのそれぞれは、インパルス応答測定などにより、事前に取得されている。例えば、ユーザUが左右の耳にマイクをそれぞれ装着する。ユーザUの前方に配置された左右のスピーカが、インパルス応答測定を行うための、インパルス音をそれぞれ出力する。そして、スピーカから出力されたインパルス音等の測定信号をマイクで収音する。マイクでの収音信号に基づいて、空間音響伝達特性Hls、Hlo、Hro、Hrsが取得される。左スピーカ左マイクとの間の空間音響伝達特性Hls、左スピーカと右マイクとの間の空間音響伝達特性Hlo、右スピーカと左マイクとの間の空間音響伝達特性Hro、右スピーカと右マイクとの間の空間音響伝達特性Hrsが測定される。

0023

そして、畳み込み演算部11は、Lchのステレオ入力信号XLに対して空間音響伝達特性Hlsに応じた空間音響フィルタを畳み込む。畳み込み演算部11は、畳み込み演算データを加算器24に出力する。畳み込み演算部21は、Rchのステレオ入力信号XRに対して空間音響伝達特性Hroに応じた空間音響フィルタを畳み込む。畳み込み演算部21は、畳み込み演算データを加算器24に出力する。加算器24は2つの畳み込み演算データを加算して、フィルタ部41に出力する。

0024

畳み込み演算部12は、Lchのステレオ入力信号XLに対して空間音響伝達特性Hloに応じた空間音響フィルタを畳み込む。畳み込み演算部12は、畳み込み演算データを、加算器25に出力する。畳み込み演算部22は、Rchのステレオ入力信号XRに対して空間音響伝達特性Hrsに応じた空間音響フィルタを畳み込む。畳み込み演算部22は、畳み込み演算データを、加算器25に出力する。加算器25は2つの畳み込み演算データを加算して、フィルタ部42に出力する。

0025

フィルタ部41、42にはヘッドホン特性(ヘッドホンの再生ユニットとマイク間の特性)をキャンセルする逆フィルタLinv、Rinvが設定されている。そして、頭外定位処理部10での処理が施された再生信号(畳み込み演算信号)に逆フィルタLinv、Rinvを畳み込む。フィルタ部41で加算器24からのLch信号に対して、Lch側のヘッドホン特性の逆フィルタLinvを畳み込む。同様に、フィルタ部42は加算器25からのRch信号に対して、Rch側のヘッドホン特性の逆フィルタRinvを畳み込む。逆フィルタLinv、Rinvは、ヘッドホン43を装着した場合に、ヘッドホンユニットからマイクまでの特性をキャンセルする。マイクは、外耳道入口から鼓膜までの間ならばどこに配置してもよい。

0026

フィルタ部41は、処理されたLch信号YLをヘッドホン43の左ユニット43Lに出力する。フィルタ部42は、処理されたRch信号YRをヘッドホン43の右ユニット43Rに出力する。ユーザUは、ヘッドホン43を装着している。ヘッドホン43は、Lch信号YLとRch信号YR(以下、Lch信号YLとRch信号YRをまとめてステレオ信号とも称する)をユーザUに向けて出力する。これにより、ユーザUの頭外に定位された音像を再生することができる。

0027

このように、頭外定位処理装置100は、空間音響伝達特性Hls、Hlo、Hro、Hrsに応じた空間音響フィルタと、ヘッドホン特性の逆フィルタLinv,Rinvを用いて、頭外定位処理を行っている。以下の説明において、空間音響伝達特性Hls、Hlo、Hro、Hrsに応じた空間音響フィルタと、ヘッドホン特性の逆フィルタLinv,Rinvとをまとめて頭外定位処理フィルタとする。2chのステレオ再生信号の場合、頭外定位フィルタは、4つの空間音響フィルタと、2つの逆フィルタとから構成されている。そして、頭外定位処理装置100は、ステレオ再生信号に対して合計6個の頭外定位フィルタを用いて畳み込み演算処理を行うことで、頭外定位処理を実行する。頭外定位フィルタは、ユーザU個人の測定に基づくものであることが好ましい。例えば,ユーザUの耳に装着されたマイクが収音した収音信号に基づいて、頭外定位フィルタが設定されている。

0028

このように空間音響フィルタと、ヘッドホン特性の逆フィルタはオーディオ信号用のフィルタである。これらのフィルタが再生信号(ステレオ入力信号XL、XR)に畳み込まれることで、頭外定位処理装置100が、頭外定位処理を実行する。

0029

(処理装置)
図2を用いて、本実施の形態にかかる処理装置200、及び処理方法について説明する。図2は、処理装置200の構成を示すブロック図である。処理装置200は、図1に示す頭外定位処理装置100と共通の装置であってもよい。あるいは、処理装置200の一部又は全部が頭外定位処理装置100と異なる装置となっていてもよい。

0030

処理装置200は、フィルタ211、フィルタ特性取得部212、周波数情報取得部213、音源214、スペクトログラム取得部215、時間情報取得部216、時間信号抽出部217、フィルタ処理部218、及びゲイン取得部219を備えている。

0031

フィルタ211には、頭外定位処理フィルタのデータ、つまり、空間音響伝達特性Hls、Hlo、Hro、Hrsに応じた空間音響フィルタと、ヘッドホン特性の逆フィルタLinv,Rinvが保存されている。ここでは、逆フィルタLinvを用いた処理を行う例について説明する。もちろん、他のフィルタを用いた処理が行なわれてもよい。フィルタ211は、フィルタ特性取得部212、及びフィルタ処理部218に入力される。処理装置200と頭外定位処理装置100とが異なる装置の場合、無線通信、又は有線通信により、処理装置200は、フィルタ211のデータを頭外定位処理装置100から取得する。

0032

音源214には、頭外定位処理装置で再生される再生信号s[t]のデータが保存されている。なお、再生信号s[t]は、例えば、頭外定位受聴するために再生する曲である。従って、1曲分の再生信号のデータが、音源214に保存されている。

0033

フィルタ特性取得部212は、フィルタ211の周波数特性を取得する。フィルタ特性取得部212は、FFT(Fast Fourier Transform:高速フーリエ変換)により、時間領域のフィルタから周波数領域のスペクトルを算出する。これにより、フィルタの振幅特性振幅スペクトル)と、位相特性位相スペクトル)が生成される。図3に、時間領域のフィルタf(t)をFFTすることで得られた周波数特性F[w]の一例を示す。なお、tは時間、wは周波数を表す。フィルタ特性取得部212は、周波数特性F[w]を周波数情報取得部213に出力する。

0034

なお、振幅スペクトルの代わりにパワースペクトルを周波数特性として用いてもよい。なお、フィルタ特性取得部212は、離散フーリエ変換離散コサイン変換により、フィルタを周波数領域のデータ(周波数特性)に変換することができる。もちろん、頭外定位処理装置100が周波数特性を算出してもよい。この場合、処理装置200は、頭外定位処理装置100から送信された周波数特性を取得すればよい。

0035

周波数情報取得部213は、フィルタの周波数特性F[w]に基づいて、周波数情報を取得する。周波数情報は、音量を評価する周波数を示す情報である。周波数情報は、例えば、フィルタの周波数特性がピークとなるピーク周波数である。より具体的には、周波数情報取得部213は周波数特性F[w]の中で最大振幅となる周波数をピーク周波数F1とする。そして、周波数情報取得部213は、ピーク周波数F1を周波数情報として取得する。図3に、ピーク周波数F1とピーク周波数F1での最大振幅P1を示す。周波数情報取得部213は、周波数情報を時間情報取得部216に出力する。

0036

スペクトログラム取得部215は、再生信号のスペクトログラムS[t,w]を取得する。スペクトログラムS[t,w]は、例えば、横軸を時間t、縦軸を周波数wとして、振幅輝度で示すデータである。図4に、スイープ信号を再生信号とした場合のスペクトログラムS[t,w]を示す。図4において、白色に近いほど振幅が大きく、黒色に近いほど振幅が小さくなる。つまり、振幅が多階調グレースケールで示されており、黒から白になるほど、振幅が大きくなる。

0037

スペクトログラム取得部215はスペクトログラムS[t,w]を、例えば、バンドパスフィルタ群フィルタバンク)を用いる方法や、短時間フーリエ変換(STFT:Short-Time Fourier Transform)により生成することができる。また、スペクトログラムS[t,w]は、再生する曲が指定された時点で生成されてもよく、再生する曲が指定される前に予め生成されていてもよい。スペクトログラム取得部215は、スペクトログラムS[t,w]を時間情報取得部216に出力する。

0038

時間情報取得部216は、周波数情報と再生信号に基づいて、時間情報を取得する。時間情報は、音量を評価する時間を示す情報である。時間情報取得部216は、例えば、スペクトログラムS[t,w]を参照して、ピーク周波数F1でのスペクトログラム[t,F1]がピークとなるピーク時間T1を時間情報として取得する。つまり、ピーク時間T1は、ピーク周波数F1において、再生信号の音量が最大となる時間である。図4のスペクトログラムにピーク周波数F1と、ピーク時間T1を示す。時間情報取得部216は、時間情報を時間信号抽出部217に出力する。

0039

時間信号抽出部217は、時間情報に基づいて、再生信号s[t]の少なくとも一部の時間に対応する時間信号Aを抽出する。例えば、時間信号抽出部217は、ピーク時間T1に基づいて、再生信号s[t]から時間信号Aを切り出す。具体的には、時間信号Aは、ピーク時間T1を開始時間とし、FFTの1フレーム長に対応する時間分の信号である。時間信号抽出部217は、時間信号Aをフィルタ処理部218、及びゲイン取得部219に出力する。なお、開始時間はピーク時間T1より少し前(例えば、数サンプル〜数十サンプル前)であってもよい。また、時間信号Aは、再生信号s[t]の一部となっているが、再生信号s[t]全部であってもよい。

0040

次に、フィルタ処理部218は、時間信号Aに対して、フィルタ211を用いて、フィルタ処理を行う。つまり、抽出された時間信号にフィルタLinvを畳み込む。フィルタ処理が行われた時間信号を処理後時間信号FAとする。

0041

ゲイン取得部219は、フィルタ処理を行う前後の時間信号に基づいて、ゲインを取得する。例えば、ゲイン取得部219は、時間信号Aと、処理後時間信号FAとを比較して、ゲインG=Ap/FApとする。ここで、Apは、時間信号Aの最大振幅であり、FApは処理後時間信号FAの最大振幅である。このように、ゲイン取得部219は、時間信号Aと処理後時間信号FAとに基づいて、再生信号に最適なゲインGを算出する。このようにすることで、再生信号、及びフィルタに応じたゲインを求めることができる。

0042

そして、ゲイン取得部219は、ゲインGを頭外定位処理装置100に出力する。頭外定位処理装置100は、ゲインGに応じた音量で、頭外定位処理した再生信号を再生する。これにより、音量を適切に補正することができる。従って、ユーザUは、頭外定位処理された再生信号を違和感なく受聴することができる。

0043

頭外定位処理用のフィルタはユーザ毎に異なるため、ユーザ毎に適切に音量を補正することができる。さらに、再生信号毎、つまり曲毎に、再生信号毎に適切に音量を補正することができる。また、再生信号の再生前に最適なゲインを求めることができるため、再生中に処理を行う必要がなくなる。

0044

次に、図5を用いて、周波数情報を取得する処理について、詳細に説明する。図5は、フィルタ特性取得部212、及び周波数情報取得部213での処理の一例を示すフローチャートである。

0045

まず、フィルタ特性取得部212が、フィルタf[t]を周波数変換することで、周波数特性F[w]を求める(S11)。ここでは、フィルタ特性取得部212がFFTを行うことで得られた振幅スペクトルを周波数特性F[w]としている。周波数wは、FFTにより得られた離散的な周波数を示す整数である。具体的には、wは、1〜Wmaxまでの整数である。なお、周波数は必ずしも整数を用いる必要はなく、例えば、離散的な各周波数に番号を付してテーブル等で管理し、後述するwのインクリメントに応じてテーブルの周波数を番号順にwへ入力することで、整数以外の周波数を用いることができる。

0046

次に、周波数情報取得部213が、初期値として、wに1を入力する(S12)。そして、周波数情報取得部213がwがWmaxよりも小さいか否かを判定する(S13)。なお、Wmaxは、周波数特性F[w]の最大周波数に対応する整数である。wがWmaxよりも小さい場合(S13のYES)、F[w]がP1よりも大きいか否かを判定する(S14)。P1は、周波数w未満での最大振幅である。

0047

F[w]がP1よりも大きい場合(S14のYES)、周波数情報取得部213が、P1にF[w]を入力する(S15)。さらに、周波数情報取得部213が、ピーク周波数F1にwを入力する(S16)。すなわち、周波数情報取得部213が、F[w]を用いてP1を更新し、wを用いてF1を更新する。そして、周波数情報取得部213が、wをインクリメントする(S17)。

0048

F[w]がP1よりも大きくない場合(S14のNO)、周波数情報取得部213が、F1、P1を更新せずに、wをインクリメントする(S17)。そして、周波数情報取得部213が、wをインクリメントしていき、wがWmax以上となったら(S13のNO)、処理を終了する。このようにすることで、振幅が最大値となるピーク周波数F1を求めることができる。なお、図5に記載の処理に限らず、周波数と振幅との組を振幅に基づいてソートし、振幅が最大となるピーク周波数F1を求めるなど、他の方法を用いてピーク周波数F1を求めてもよい。

0049

さらに、図6を用いて、時間情報を取得する処理について、詳細に説明する。図6は、スペクトログラム取得部215、及び時間情報取得部216での処理の一例を示すフローチャートである。ここで、時間tは、再生信号の時間を示す整数である。具体的には、tは、0〜Tmaxまでの整数である。曲の先頭時間が0、終了時間がTmaxとなっている。なお、時間は必ずしも整数を用いる必要はなく、例えば、各時間に番号を付してテーブル等で管理し、後述するtのインクリメントに応じてテーブルの時間を番号順にtへ入力することで、整数以外の時間を用いることができる。

0050

まず、スペクトログラム取得部215が、再生信号s[t]のスペクトログラムS[t,w]を取得する(S21)。例えば、スペクトログラム取得部215は、再生信号s[t]を短時間フーリエ変換(STFT)することで、スペクトログラムS[t,w]を取得する。あるいは、スペクトログラムが予め求められており、メモリなどに格納されていてもよい。この場合、スペクトログラム取得部215はメモリからスペクトログラムS[t,w]を読み出す。

0051

次に、時間情報取得部216は、初期値として、tに0を入力する(S22)。そして、時間情報取得部216は、tがTmaxよりも小さいか否かを判定する(S23)。tがTmaxよりも小さい場合(S23のYES)、S[t,F1]がSmaxよりも大きいか否かを判定する(S24)。Smaxは、時間t未満での振幅の最大値である。

0052

S[t,F1]がSmaxよりも大きい場合(S24のYES)、時間情報取得部216が、SmaxにS[t,F1]を入力する(S25)。さらに、時間情報取得部216が、ピーク時間T1にtを入力する(S26)。すなわち、時間情報取得部216が、S[t,F1]を用いてSmaxを更新し、tを用いてT1を更新する。そして、時間情報取得部216が、tをインクリメントする(S27)。

0053

S[t,F1]がSmaxよりも大きくない場合(S24のNO)、時間情報取得部216が、Smax、T1を更新せずに、tをインクリメントする(S27)。そして、時間情報取得部216が、tをインクリメントしていき、tがTmax以上となったら(S23のNO)、処理を終了する。このようにすることで、ピーク周波数F1において、振幅が最大値となるピーク時間T1を求めることができる。なお、図6に記載の処理に限らず、時間と振幅との組を振幅に基づいてソートし、振幅が最大となるピーク時間T1を求めるなど、他の方法を用いてピーク時間T1を求めてもよい。

0054

本実施に係る処理方法によれば、適切なゲインGを取得することができる。よってユーザUが頭外定位受聴を行った場合の違和感を低減することができる。なお、上記の説明では、処理装置200が、Lchの逆フィルタLinvを用いて処理を行ったが、Rchの逆フィルタRinvを用いて処理を行ってもよい。さらには、処理装置200は、逆フィルタLinv、逆フィルタRinvの両方を用いて処理を行ってもよい。この場合、両方のチャネルのゲインのうち、小さい方の値又は平均値等をゲインGとすることができる。

0055

また、処理装置200は、曲が再生されるよりも前に、ゲインGを求めることができる。音源の信号レベルを監視する必要がなくなる。次に再生される曲が指定されている場合、あるいは、次に再生される曲が予測されている場合、予め、スペクトログラムを求めておくことが可能となる。なお、再生が予測される複数の曲につき、予め、スペクトログラムを求めておいてもよい。よって、処理による遅延が生じるのを防ぐことができる。

0056

変形例1
実施の形態1では、音量評価用の周波数及び時間が1つずつとなっていたが、複数の周波数、及び時間を音量評価に用いてもよい。例えば、変形例1では、2つ以上の周波数を周波数情報として取得している。具体的には、周波数情報取得部213は、フィルタ211の周波数特性の振幅が高い方から順に、複数のピークを求める。周波数情報取得部213は、複数のピークのピーク周波数を周波数情報として取得する。周波数情報取得部213は、N個(Nは2以上の整数)のピークのピーク周波数F1、F2、・・・FNを周波数情報として取得する。

0057

そして、時間情報取得部216は、ピーク周波数F1、F2、・・・FNのそれぞれについて、振幅が最大となるピーク時間T1、T2、・・・TNを求める。時間信号抽出部217は、ピーク時間T1、T2、・・・TNについて、時間信号を抽出する。これにより、時間信号抽出部217は、N個の時間信号A1、A2、・・・ANを抽出する。フィルタ処理部218は、時間信号A1、A2、・・・ANに対して、それぞれフィルタ処理を行う。これにより、N個の処理後時間信号FA1、FA2、・・・FANが求められる。

0058

ゲイン取得部219は、時間信号A1、A2、・・・ANと、処理後時間信号FA1、FA2、・・・FANとに基づいて、N個のゲインG1〜GNを求める。例えば、ゲイン取得部219は、時間信号A1、A2、・・・ANと、処理後時間信号FA1、FA2、・・・FANとをそれぞれ比較する。ゲイン取得部219は、時間信号A1の最大振幅A1pと処理後時間信号FA1の最大振幅FA1pの比(A1p/FA1p)をゲインG1とする。同様に、ゲイン取得部219は、G2=(A1p/FA1p)、・・・GN=(ANp/FN1p)とする。そして、ゲイン取得部219はゲインG1〜GNの最大値をゲインGとする。

0059

変形例2
変形例2では、1つのピーク周波数F1に対して、複数の時間を求めている。つまり、ピーク周波数F1において、振幅が高い方から順にN個(Nは2以上の整数)の時間T1〜TNを時間情報として取得する。そして、時間T1〜TNに対して、変形例1と同様の処理を行うことで、ゲインG1〜GNが求められる。ゲイン取得部219は、ゲインG1〜GNの最大値をゲインGとする。

0060

変形例1,2によれば、処理装置200が、より適切なゲインGを求めることができる。頭外定位処理装置100は、ゲインGに応じた音量で再生信号を再生する。これにより、音量を適切に補正することができる。従って、ユーザUは、頭外定位処理された再生信号を違和感なく受聴することができる。もちろん、変形例1と、変形例2とを組み合わせてもよい。例えば、N個の周波数F1〜FNのそれぞれに対して、時間情報取得部216がM個の時間を時間情報として求めてもよい。この場合、N×M個のゲインの最大の値をゲインGとして用いればよい。

0061

処理装置200は、頭外定位処理装置100と異なる装置であってもよい。例えば、ストリーミングで再生信号を再生する場合、処理装置200は、再生信号を配信するストリーミングサーバとなる。一方、頭外定位処理装置100は、パーソナルコンピュータ、スマートホン、タブレットPCなどのユーザ端末となる。ユーザUは、ユーザ端末である頭外定位処理装置100を操作して、再生する曲を選択している。頭外定位処理装置100は、フィルタと、再生する曲の情報とをサーバの処理装置200に送信する。そして、処理装置200が上記の処理によりゲイン値を求めて、頭外定位処理装置100に送信する。

0062

さらには、処理装置200は、物理的に単一の装置に限られるものでない。例えば、図2に示す処理装置200の一部の処理が、サーバで行われ、残りがユーザ端末で行われていてもよい。具体的には、ユーザ端末が、フィルタ211の周波数特性を求めて、サーバである処理装置200に送信してもよい。あるいは、ユーザ端末が、1つまたは複数のピーク周波数を求めて、処理装置200に送信してもよい。

0063

ストリーミング再生を行う場合、事前にフィルタのピーク周波数F1を処理装置200となるサーバ側に送信しておけばよい。サーバは、ユーザアカウント対応付けてピーク周波数F1を登録しておく。そして、サーバは、適切なゲインを求めて、ユーザ端末である頭外定位処理装置100に送信する。これにより、曲毎に適切なゲインでの再生が可能となる。

0064

実施の形態2.
実施の形態1では音量を評価するための周波数情報、及び時間情報として、フィルタのピーク周波数、及び、再生信号のピーク時間が用いられていたが、実施の形態2では、これら以外の周波数情報、及び時間情報を用いて、音量を評価している。以下、本実施の形態にかかる処理装置、及び処理方法について、図7を用いて説明する。図7は、再生信号にスイープ信号を用いた場合のスペクトログラムを示す図である。ここでは、スペクトログラムS[t,w]が5つの周波数帯域B1〜B5に分けられている。

0065

処理装置200は、周波数帯域B1〜B5の上限、及び下限の周波数を記憶している。処理装置200は、周波数帯域B1〜B5のそれぞれにおいて、振幅が最大となるピーク時間Tb1〜Tb5を記憶している。周波数情報取得部213は、実施の形態1と同様にピーク周波数F1を求める。時間情報取得部216は、ピーク周波数F1が周波数帯域B1〜B5の中で、どの周波数帯域に含まれているかを判定する。すなわち、時間情報取得部216は、ピーク周波数F1に応じて選択した1つの周波数帯域を周波数情報として取得する。

0066

時間情報取得部216は、ピーク周波数F1が含まれる周波数帯域のピーク時間を時間情報として取得する。例えば、ピーク周波数F1が周波数帯域B1に含まれている場合、時間情報取得部216は、ピーク時間Tb1を時間情報として求める。そして、ピーク時間Tb1に基づいて抽出した時間信号A1に対して、実施の形態1と同様の処理を行えばよい。これにより、ゲインGを適切に求めることができる。

0067

実施の形態2では、周波数帯域B1〜B5のピーク時間Tb1〜Tb5を予め算出しておくことができる。従って、ピーク時間Tb1〜Tb5をメタ情報として、再生信号に付加することができる。これにより、再生信号(再生される曲)が指定される毎に、スペクトログラムを求める処理が不要となる。つまり、時間情報取得部216が、ピーク周波数F1がどの周波数帯域に含まれるか否かを判定する。そして、時間情報取得部216が判定結果に応じて、ピーク時間Tb1〜Tb5のうちの1つを選択すればよい。

0068

このようにすることで、再生時の処理負荷をさらに軽減することができる。例えば、サーバ側で再生信号毎にピーク時間Tb1〜Tb5を予め求めておけばよい。そして、ユーザ端末がピーク周波数、または周波数帯域を周波数情報として、送信することができる。よって、再生信号(再生される曲)が指定される毎に、スペクトログラムを求める処理が不要となる。ユーザ毎の周波数情報が既知であるため、処理装置200は、速やかに時間情報、及び時間信号を取得することができる。もちろん、再生信号の周波数特性の周波数帯域分割数は、5に限られるものではない。

0069

また、実施の形態1,2において、現在再生されている曲から、次の曲を予測して、事前に処理を行うことも可能である。例えば、音楽再生アプリケーション等のリコメンド機能により推薦された曲について、ゲインを求めるための処理の一部または全部を予め実行しておくことが可能となる。例えば、再生リストの次の曲のスペクトログラムを事前に求めておけばよい。このようにすることで、処理負荷を軽減することができる。

0070

もちろん、実施の形態2においても、時間信号抽出部217が複数の時間信号を抽出してもよい。例えば、最大振幅となるピーク時間Tb1〜Tb5について、時間信号A1〜A5を抽出する。フィルタ処理部218は、時間信号A1〜A5のそれぞれにフィルタを畳み込むことで、処理後時間信号FA1〜FA5を生成する。ゲイン取得部219は、時間信号A1〜A5と処理後時間信号FA1〜FA5とをそれぞれ比較して、ゲインG1〜G5を求める。ゲイン取得部219は、ゲインG1〜G5の最大値をゲインGとする。

0071

なお、実施の形態1,2では、処理装置200が頭外定位処理に用いられるフィルタに対して処理を行うが、処理に用いられるフィルタは特に限定されるものではない。例えば、処理装置200は、ユーザ毎の好み、または楽曲音楽ジャンルなどへの適正に応じてイコライジングなどで生成されたフィルタに対して、処理を行ってもよい。

0072

上記処理のうちの一部又は全部は、コンピュータプログラムによって実行されてもよい。上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non−transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク磁気テープハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、半導体メモリ(例えば、マスクROMPROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

0073

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は上記実施の形態に限られたものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。

0074

U ユーザ
1被測定者
10頭外定位処理部
11畳み込み演算部
12 畳み込み演算部
21 畳み込み演算部
22 畳み込み演算部
24加算器
25 加算器
41フィルタ部
42 フィルタ部
43ヘッドホン
200処理装置
211 フィルタ
212フィルタ特性取得部
213周波数情報取得部
214音源
215スペクトログラム取得部
216時間情報取得部
217 時間信号抽出部
218フィルタ処理部
219ゲイン取得部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

該当するデータがありません

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

該当するデータがありません

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ