技術 効果音生成装置、効果音生成方法およびプログラム

0001

この発明は、オーディオ信号に音場効果を付与するための効果音を生成する効果音生成装置に関する。

0002

従来、コンテンツの音に音場効果を付与するための装置として、例えば特許文献１には、音場制御装置が記載されている。音場効果とは、コンサートホール等の音響空間で発生する反射音を模擬した擬似反射音（効果音）を再生することで、部屋に居ながらにして実際のコンサートホール等の別の空間に居るような臨場感を聴取者に体感させるものである。

0003

図１３（Ａ）は、聴取環境におけるスピーカの配置を模式的に示した平面図である。図１３（Ｂ）は、音場効果を付与した場合の直接音および擬似反射音の音源分布のイメージ図である。図１３（Ｃ）は、ある音響空間のインパルス応答を示す図（直接音と擬似反射音の発生時間とレベルを示すグラフ）である。

0004

音場制御装置は、ユーザが選択した音響空間（例えばコンサートホール）に対応する音場効果情報に基づいて、入力されたオーディオ信号から擬似反射音に対応するオーディオ信号を生成し、各スピーカに供給する。

0005

音場効果情報は、ある音響空間で発生する反射音群のインパルス応答（図１３（Ｃ）を参照）および反射音群の音源位置を示す情報を含む。音場制御装置は、音場効果情報に基づいて、入力されたオーディオ信号にインパルス応答を畳み込み、かつ各スピーカに供給するオーディオ信号のゲイン比率および遅延量を変化させることで、図１３（Ｂ）に示すように、複数の位置に擬似反射音群を生成する。

0006

特開平８−２７５３００号公報

0007

しかし、反射音群の音源位置は、選択された音響空間に対応して予め決められている。したがって、例えば直接音の音源位置が移動したとしても、反射音群の音源位置が追従して移動することはない。

0008

そこで、この発明は、反射音群の音源位置を移動させることができる効果音生成装置を実現することを目的とする。

0009

効果音生成装置は、入力部と、記憶部と、擬似反射音生成部と、効果付与部と、を備えている。入力部は、オーディオ信号を入力する。記憶部は、所定の音響空間で発生する反射音に対応する擬似反射音を生成するための生成情報、および前記擬似反射音の音源位置を示す音源位置情報、が含まれた効果音情報を記憶する。擬似反射音生成部は、前記生成情報に基づいて擬似反射音を生成する。効果付与部は、前記音源位置情報に基づいて、所定の方向を基準として、前記擬似反射音を定位させる処理を行う。

0010

このように、効果音生成装置は、所定の方向を基準として、擬似反射音の位置を定位させる。例えば、右チャンネルについては、右４５°の方向を基準として、擬似反射音を定位させる。左チャンネルについては、左４５°の方向を基準として、擬似反射音を定位させる。所定の方向を基準として擬似反射音を定位させるためには、効果付与部が音源位置情報をオフセットしてもよいし、予め右方向および左方向にオフセットされた複数の音源位置情報を記憶部が記憶しておいてもよい。これにより、反射音群の音源位置が変化するため、音場効果にも方向感が生じる。

0011

効果音生成装置は、反射音群の音源位置を移動させることができる。

0012

オーディオシステムおよびオーディオ信号処理装置の構成を示したブロック図である。
処理部の機能ブロック図である。
聴取環境を模式的に示した平面図である。
聴取環境を模式的に示した平面図である。
聴取環境を模式的に示した平面図である。
直接音および擬似反射音が移動する様子を示す図である。
同相成分が入力された場合の直接音および擬似反射音の定位を示す図である。
オーディオ信号処理装置の動作を示すフローチャートである。
音源位置情報を反転させる場合の、聴取環境を模式的に示した平面図である。
センタチャンネルを入力する場合の、処理部の機能ブロック図である。
予めオフセットした音源位置情報を用意する場合の、処理部の機能ブロック図である。
聴取環境を模式的に示した立体図である。
聴取環境を模式的に示した平面図である。

0013

図１は、オーディオシステムおよびオーディオ信号処理装置の構成を示したブロック図である。図２は、処理部の機能ブロック図である。図３は、聴取環境を模式的に示した平面図である。

0014

オーディオシステムは、オーディオ信号処理装置１、コンテンツ再生機器５、および複数のスピーカ１０（スピーカ１０Ｌ、スピーカ１０Ｒ、スピーカ１０ＳＬ、スピーカ１０ＳＲ、およびスピーカ１０Ｃ）を備えている。

0015

複数のスピーカ１０は、図３に示すように、聴取環境において、聴取位置Ｇの周囲に設置されている。この例では、聴取位置の正面（以下、聴取位置の正面を０°の方位とし、時計回りに正の角度とする。）にスピーカ１０Ｃが設置され、聴取位置の右前方（４５°の方位）にスピーカ１０Ｒが設置され、聴取位置の右後方（１３５°の方位）にスピーカ１０ＳＲが設置され、聴取位置の左後方（２２５°の方位）にスピーカ１０ＳＬが設置され、聴取位置の左前方（３１５°の方位）にスピーカ１０Ｌが設置されている。

0016

オーディオ信号処理装置１は、本発明の効果音生成装置に相当し、例えばオーディオレシーバからなる。本発明の効果音生成装置は、オーディオレシーバ以外にも、例えばパーソナルコンピュータ等の情報処理装置により、実現可能である。

0017

オーディオ信号処理装置１は、入力部１１、処理部１２、出力部１３、ＣＰＵ１４、およびメモリ１５を備えている。処理部１２は、ＤＳＰ１２１およびＣＰＵ１２２を備えている。

0018

入力部１１は、コンテンツ再生機器５からコンテンツデータを受信して、当該コンテンツデータから抽出されるオーディオ信号をＤＳＰ１２１に出力する。入力部１１には、一例として、左フロント（ＦＬ）チャンネル、右フロント（ＦＲ）チャンネル、センタ（Ｃ）チャンネル、左サラウンド（ＳＬ）チャンネル、および右サラウンド（ＳＲ）チャンネルのマルチチャンネルオーディオ信号が入力される。なお、入力部１１は、アナログ信号を受信した場合には、デジタル信号に変換して出力する機能も有する。

0019

ＣＰＵ１２２は、メモリ１５に記憶されているプログラムを読み出し、入力部１１およびＤＳＰ１２１の制御を行う。ＣＰＵ１２２が当該プログラムによりＤＳＰ１２１に効果音を生成する処理を実行させることで、本発明の効果音生成部が実現される。

0020

ＤＳＰ１２１は、ＣＰＵ１２２の制御に従って、入力部１１から入力されたオーディオ信号に所定の処理を施す。ここでは、ＤＳＰ１２１は、上述のように、音場効果音を生成する処理を行う。

0021

図２は、処理部１２の機能ブロック図である。処理部１２は、擬似反射音生成部１０１Ｌ、擬似反射音生成部１０１Ｒ、記憶部１０２、ベクトル分解処理部１０３Ｌ、ベクトル分解処理部１０３Ｒ、および合成部１０４を備えている。

0022

擬似反射音生成部１０１Ｌおよび擬似反射音生成部１０１Ｒは、入力されたオーディオ信号から擬似反射音を生成する。

0023

擬似反射音は、記憶部１０２に記憶されている音場効果情報に基づいて生成される。音場効果情報には、ある音響空間で発生する反射音群に対応する擬似反射音を生成するための生成情報（インパルス応答）と、擬似反射音群の定位位置を示す音源位置情報が含まれている。インパルス応答には、具体的には、直接音からの遅延時間（発生タイミングを示す情報）、および直接音のレベルに対する反射音のレベルの割合を示す情報（レベルを示す情報）が含まれている。また、記憶部１０２には、各反射音の位置を示す情報（音源位置情報）が記憶されている。なお、この例では、記憶部１０２は、処理部１２（ＤＳＰ１２１またはＣＰＵ１２２）に内蔵されているが、実際には、メモリ１５等の他の記憶媒体が、記憶部１０２に相当する。

0024

擬似反射音生成部１０１Ｌおよび擬似反射音生成部１０１Ｒは、ユーザが選択した音響空間に対応するインパルス応答を記憶部１０２から読み出し、読み出したインパルス応答に基づいて、擬似反射音を生成する。

0025

擬似反射音生成部１０１Ｌは、左チャンネル（この例ではＦＬチャンネルおよびＳＬチャンネル）のオーディオ信号を入力し、該左チャンネルのオーディオ信号にインパルス応答を畳み込み、左チャンネルの擬似反射音を生成する。生成された左チャンネルの擬似反射音は、ベクトル分解処理部１０３Ｌに入力される。

0026

擬似反射音生成部１０１Ｒは、右チャンネル（この例ではＦＲチャンネルおよびＳＲチャンネル）のオーディオ信号を入力し、該右チャンネルのオーディオ信号にインパルス応答を畳み込み、右チャンネルの擬似反射音を生成する。生成された右チャンネルの擬似反射音は、ベクトル分解処理部１０３Ｒに入力される。

0027

ベクトル分解処理部１０３Ｌおよびベクトル分解処理部１０３Ｒは、本発明の効果付与部に相当する。ベクトル分解処理部１０３Ｌおよびベクトル分解処理部１０３Ｒは、記憶部１０２から読み出した音源位置情報に基づいて、各スピーカに供給するオーディオ信号（各チャンネル）の分配ゲイン比率を変化させることで、擬似反射音を定位させる処理を行う。

0028

例えば、図３に示すように、スピーカ１０Ｌおよびスピーカ１０Ｒに、所定の遅延量および所定のゲイン比率（例えばスピーカ１０Ｌ側に大きいゲイン）でオーディオ信号が供給されると、擬似反射音１０１は、所定の位置（例えば聴取位置Ｇの正面左側−１５°付近）に定位する。

0029

このように、ベクトル分解処理部１０３Ｌおよびベクトル分解処理部１０３Ｒは、入力された擬似反射音を、所定のゲイン比率で各チャンネルに分配することで、当該擬似反射音を所定の位置に定位させる処理を行う。そして、合成部１０４は、ベクトル分解処理部１０３Ｌおよびベクトル分解処理部１０３Ｒから出力されたオーディオ信号と、入力部１１から入力されたオーディオ信号と、をチャンネル毎に合成する。合成部１０４は、合成後の各チャンネルのオーディオ信号を、出力部１３に出力する。

0030

出力部１３は、合成部１０４から出力された各チャンネルのオーディオ信号を、各チャンネルに対応するスピーカ１０Ｌ、スピーカ１０Ｒ、スピーカ１０Ｃ、スピーカ１０ＳＬまたはスピーカ１０ＳＲに供給する。これにより、擬似反射音は、所定の位置に定位する。したがって、聴取位置Ｇの前方に音場効果の領域１００が形成される。

0031

そして、本実施形態のベクトル分解処理部１０３Ｌおよびベクトル分解処理部１０３Ｒは、所定の方向を基準として音源位置情報を変更する処理を行う。

0032

図４は、聴取環境を模式的に示した平面図において、ベクトル分解処理部１０３Ｌの処理により生成される音場効果を示す図である。図５は、聴取環境を模式的に示した平面図において、ベクトル分解処理部１０３Ｒの処理により生成される音場効果を示す図である。

0033

ベクトル分解処理部１０３Ｌは、記憶部１０２から読み出した音源位置情報を、聴取位置を中心として左方向に４５°に回転させることで、擬似反射音群の定位置を左方向にオフセットする。これにより、図３で聴取位置Ｇの正面左側（−１５°付近）に定位していた擬似反射音１０１は、左方向（−６０°付近）に移動する。したがって、図３で示したような、聴取位置Ｇの前方における音場効果の領域１００は、ベクトル分解処理部１０３Ｌの処理により、聴取位置Ｇの左方向に−４５°だけオフセットする。

0034

ベクトル分解処理部１０３Ｒは、記憶部１０２から読み出した音源位置情報を、聴取位置を中心として右方向に４５°回転させることで、擬似反射音群の定位置を右方向にオフセットする。これにより、図３で聴取位置Ｇの正面左側（−１５°付近）に定位していた擬似反射音１０１は、右方向（３０°付近）に移動する。したがって、図３で示したような、聴取位置Ｇの前方における音場効果の領域１００は、ベクトル分解処理部１０３Ｒの処理により、聴取位置Ｇの右方向に４５°だけオフセットする。

0035

図６は、直接音および擬似反射音が移動する様子を示す図である。例えば、ＦＬチャンネルのオーディオ信号において、高レベルの入力があった場合、スピーカ１０Ｌが設置された方向に、直接音の音源２０１が定位する。このとき、ベクトル分解処理部１０３Ｌには、高レベルのオーディオ信号が入力されるため、図４で示したように、聴取位置Ｇの左側の−６０°付近に擬似反射音１０１が定位する。ＦＲチャンネルのオーディオ信号のレベルは低いため、ベクトル分解処理部１０３Ｒによる処理で擬似反射音１０１が定位することはない。

0036

ＦＲチャンネルのオーディオ信号において、高レベルの入力があった場合、スピーカ１０Ｒが設置された方向に、直接音の音源２０１が定位する。このとき、ベクトル分解処理部１０３Ｒには、高レベルのオーディオ信号が入力されるため、図５で示したように、聴取位置Ｇの右側の３０°付近に擬似反射音１０１が定位する。ＦＬチャンネルのオーディオ信号のレベルは低いため、ベクトル分解処理部１０３Ｌによる処理で擬似反射音１０１が定位することはない。

0037

そして、ＦＬチャンネルおよびＦＲチャンネルの両方のオーディオ信号において高レベルの入力がなされた場合、すなわち、同相成分のオーディオ信号が入力された場合、図７に示すように、聴取位置の前方で、直接音の音源２０１がファントム音源として定位する。このとき、ベクトル分解処理部１０３Ｌおよびベクトル分解処理部１０３Ｒのそれぞれにおいて、高レベルのオーディオ信号が入力されるため、擬似反射音１０１は、元の位置である聴取位置Ｇの前方左側の−１５°付近に擬似反射音１０１がファントム音源として定位する。

0038

したがって、図６に示したように、例えば直接音の音源２０１の定位位置が、聴取位置Ｇの前方左方向から正面を経て右方向へ移動する場合、擬似反射音１０１の定位置も聴取位置Ｇの前方左方向から正面を経て右方向へ移動することになる。すなわち、直接音の音源位置の移動に追従して、音場効果の領域１００が移動することになる。

0039

このように、本実施形態のオーディオ信号処理装置１は、反射音群の音源位置を変化させることで、音場効果にも方向感を生じさせることができる。

0040

また、オーディオ信号処理装置１は、音源位置情報を変更する処理により擬似反射音の定位位置を変更するため、方向毎に個別の音源位置情報を用意する必要は無い。すなわち、ベクトル分解処理部１０３Ｌおよびベクトル分解処理部１０３Ｒは、それぞれ同じ音源位置情報を読み出しているため、ベクトル分解処理部１０３Ｌおよびベクトル分解処理部１０３Ｒのそれぞれについて個別の音源位置情報を用意する必要はない。よって、本実施形態のオーディオ信号処理装置１は、音源位置情報（およびインパルス応答）のデータ量を増大させることなく、反射音群の音源位置を変化させ、音場効果に方向感を生じさせることができる。

0041

ただし、記憶部１０２は、方向毎の音源位置情報を記憶してもよい。例えば、記憶部１０２は、図１１に示すように、Ｌ用音源位置情報およびＲ用音源位置情報を記憶する。Ｌ用音源位置情報は、ある音響空間における擬似反射音の音源位置情報を、予め左方向にオフセットした（例えば左方向に４５°回転した）ものである。Ｒ用音源位置情報は、ある音響空間における擬似反射音の音源位置情報を、予め右方向にオフセットした（例えば右方向に４５°回転した）ものである。ベクトル分解処理部１０３Ｌは、Ｌ用音源位置情報を読み出し、ベクトル分解処理部１０３Ｒは、Ｒ用音源位置情報を読み出す。この場合も、オーディオ信号処理装置１は、反射音群の音源位置を変化させることで、音場効果に方向感を生じさせることができる。

0042

次に、図８は、オーディオ信号処理装置の動作を示すフローチャートである。オーディオ信号処理装置１は、まずオーディオ信号を入力する（ｓ１１）。すなわち、処理部１２には、オーディオ信号が入力される。

0043

そして、処理部１２は、音場効果情報を読み出す（ｓ１２）。擬似反射音生成部１０１Ｌおよび擬似反射音生成部１０１Ｒは、インパルス応答を読み出し、ベクトル分解処理部１０３Ｌおよびベクトル分解処理部１０３Ｒは、音源位置情報を読み出す。

0044

次に、擬似反射音生成部１０１Ｌおよび擬似反射音生成部１０１Ｒは、それぞれ読み出したインパルス応答に基づいて、擬似反射音を生成する（ｓ１３）。その後、ベクトル分解処理部１０３Ｌおよびベクトル分解処理部１０３Ｒは、それぞれ読み出した音源位置情報を変更する（ｓ１４）。

0045

上述のように、ベクトル分解処理部１０３Ｌは、読み出した音源位置情報を、聴取位置を中心として左方向に４５°回転させる。ベクトル分解処理部１０３Ｒは、読み出した音源位置情報を、聴取位置を中心として右方向に４５°回転させる。

0046

ただし、音源位置情報のオフセットの手法は、この例に限るものではない。例えば、音源位置情報は、ＩＴＵ勧告で定められた理想的なスピーカの設置方向（例えば右方向に３０°および左方向に３０°）に回転されてもよい。また、音源位置情報は、ユーザが手動で設定した方向に回転されてもよい。

0047

なお、音源位置情報は、実際にスピーカが設置されている方向にオフセットすることが理想的である。そこで、オーディオ信号処理装置１は、各チャンネルのスピーカから測定音を出力し、当該測定音を聴取位置Ｇに設置したマイク（不図示）で収音することで、スピーカの配置を割り出すこともできる。例えば、特開２００９−３７１４３号に開示されているように、少なくとも３箇所の位置で測定を行うことで、オーディオ信号処理装置１は、各スピーカの正確な位置を割り出すことができる。この場合、オーディオ信号処理装置１は、測定音で割り出したスピーカの配置に合わせて、音源位置情報をオフセットすることができる。

0048

さらに、オフセットの手法は、回転ではなく、例えば図９に示すように、反転する態様であってもよい。ただし、左右に連続的に音源が移動する場合には、音源位置情報を回転させる場合のほうが、擬似反射音が自然に移動するため、利用者は、より自然に音場効果の移動感を得ることができる。

0049

図８に戻り、ベクトル分解処理部１０３Ｌおよびベクトル分解処理部１０３Ｒは、以上のようにして変更した後の音源位置情報に基づいて、擬似反射音を定位させる処理を行う（ｓ１５）。最後に、合成部１０４は、ベクトル分解処理部１０３Ｌおよびベクトル分解処理部１０３Ｒから出力されたオーディオ信号と、入力部１１から入力されたオーディオ信号と、を各チャンネルについて合成して、合成後の各チャンネルのオーディオ信号を、出力部１３に出力する（ｓ１６）。

0050

なお、本実施形態では、右側のチャンネルと左側のチャンネルのそれぞれについて、擬似反射音を生成し、定位させる処理を行ったが、全チャンネルのオーディオ信号をミックスダウンしたモノラル信号を用いても、音源位置情報が左側および右側にそれぞれオフセットされるため、左側の擬似反射音および右側の擬似反射音がそれぞれ生成される。よって、オーディオ信号処理装置１は、入力されるオーディオ信号がモノラル信号であっても、音場効果に方向感を生じさせることができる。本実施形態では、５チャンネルのオーディオ信号が入力される例を示したが、２チャンネルあるいは７．１チャンネル等のオーディオ信号が入力される場合も、本発明は実現可能である。本発明は、スピーカの数が２つ以上であれば、どの様なチャンネル数のオーディオ信号が入力されても、適用可能である。

0051

なお、本実施形態のオーディオ信号処理装置１は、第１チャンネルとしてＦＬチャンネルおよびＳＬチャンネルのオーディオ信号を合成して、左側にオフセットした擬似反射音を生成するとともに、第２チャンネルとしてＦＲチャンネルおよびＳＲチャンネルのオーディオ信号を合成して、右側にオフセットした擬似反射音を生成する処理を行った。しかし、例えば、第１チャンネルとしてＦＬチャンネルおよびＦＲチャンネルを合成して、第２チャンネルとしてＳＬチャンネルおよびＳＲチャンネルを合成して、同じ音源位置情報を前後にオフセットしてもよい。また、例えば、各チャンネルについて、個別に擬似反射音を生成して、音源位置情報をオフセットする処理を行ってもよい。

0052

ただし、フロント側のスピーカとサラウンド側のスピーカとの距離は、左右のスピーカ間の距離よりも長いため、フロント側とサラウンド側とで個別の処理を行うと、前後のつながり感が薄れる可能性がある。したがって、オーディオ信号処理装置１は、フロント側とサラウンド側のオーディオ信号を合成して擬似反射音を生成することで、前後のつながりをより自然に表現することが好ましい。

0053

また、オーディオ信号処理装置１は、図１０に示すように、センタチャンネルを第３チャンネルの信号として、第１チャンネル（ＦＬチャンネルおよびＳＬチャンネル）と第２チャンネル（ＦＲチャンネルおよびＳＲチャンネル）のオーディオ信号に分配してもよい。

0054

この場合、Ｃチャンネルのオーディオ信号は、ゲイン調整器１５１Ｌおよびゲイン調整器１５１Ｒに分配される。分配されたＣチャンネルのオーディオ信号は、ゲイン調整器１５１Ｌおよびゲイン調整器１５１Ｒそれぞれにおいてゲイン調整がされ、擬似反射音生成部１０１Ｌおよび擬似反射音生成部１０１Ｒに入力される。

0055

この場合、左側にオフセットした音場効果と、右側にオフセットした音場効果に加えて、聴取位置の正面にも常に音場効果が生じることになる。よって、左右のつながりがより強化されることになる。

0056

さらに、ＳＬチャンネルおよびＳＲチャンネルに加えて、サラウンドバックチャンネルのオーディオ信号が入力される場合にも、Ｃチャンネルと同様に、当該サラウンドバックチャンネルのオーディオ信号を、ＳＬチャンネルおよびＳＲチャンネルに分配してもよい。この場合も、聴取位置の後方に、常に音場効果が生じることになる。

0057

さらに、音場効果は、同一平面上で生じるものに限らない。例えば、図１２の立体図に示すように、聴取位置Ｇの上方にスピーカ１０ＶＬおよびスピーカ１０ＶＲが設置される場合、直接音の音源位置は、立体的に定位する。この場合、音源位置情報には、反射音群の３次元位置（例えば聴取位置からの水平方位および垂直方位）を示す情報が含まれている。ベクトル分解処理部は、音源位置情報に基づいて、スピーカ１０ＶＬおよびスピーカ１０ＶＲを含めて、各スピーカに供給するオーディオ信号の分配ゲイン比率を変化させることで、擬似反射音を立体的に定位させる。そして、音源位置情報は、上下方向を含めた３次元の方向にオフセットされる。予めオフセットされた音源位置情報を記憶部が記憶しておいてもよいし、ベクトル分解処理部においてオフセットする処理を行なってもよい。これにより、オーディオ信号処理装置１は、音場効果に立体的な方向感を生じさせることができる。

0058

１…オーディオ信号処理装置
５…コンテンツ再生機器
１０，１０Ｃ，１０Ｌ，１０Ｒ，１０ＳＬ，１０ＳＲ，１０ＶＬ，１０ＶＲ…スピーカ
１１…入力部
１２…処理部
１３…出力部
１４…ＣＰＵ
１５…メモリ
１０１…擬似反射音
１０１Ｌ，１０１Ｒ…擬似反射音生成部
１０２…記憶部
１０３Ｌ，１０３Ｒ…ベクトル分解処理部
１０４…合成部
１００…音場効果の領域
１２１…ＤＳＰ
１２２…ＣＰＵ
１５１Ｌ…ゲイン調整器
１５１Ｒ…ゲイン調整器
２０１…音源