図面 (/)

技術 三次元音響再生装置及びプログラム

出願人 日本放送協会
発明者 中山靖茂大出訓史
出願日 2014年11月26日 (5年3ヶ月経過) 出願番号 2014-239135
公開日 2016年5月30日 (3年9ヶ月経過) 公開番号 2016-100877
状態 特許登録済
技術分野 ステレオ方式
主要キーワード 周波数特徴量 音響方式 合計パワー 両耳聴 チャンネル音響信号 音響用 チャンネル配置 ch信号
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年5月30日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (4)

課題

マルチチャンネル音響信号バイノーラル化して再生する際、マルチチャンネル音響信号の包み込まれ成分を強調して再生する。

解決手段

本発明に係る三次元音響再生装置は、マルチチャンネル音響信号を音像成分と包み込まれ成分とに分離する分析部と、前記音像成分をバイノーラル化する音像成分処理部と、前記包み込まれ成分を強調してバイノーラル化する包み込まれ成分強調処理部と、バイノーラル化された前記音像成分及び前記包み込まれ成分を加算する加算器とを備え、前記包み込まれ成分強調処理部は、両相関係数が小さくなるように前記包み込まれ成分のチャンネル数を変更し、変更後のチャンネル数による前記包み込まれ成分をバイノーラル化することにより前記包み込まれ成分を強調する。

概要

背景

スーパーハイビジョン音響方式である22.2マルチチャンネル音響は、22個のスピーカと2個の低音効果(LFE:Low Frequency Effects)用のスピーカとを視聴者を取り囲むように配置して、三次元的な音響空間再現する方式である。この22.2マルチチャンネル音響を家庭簡易再生するための要素技術として、バイノーラル技術の研究が進められている(非特許文献1参照)。

バイノーラル技術は、音源から左右耳までの音の伝搬特性模擬することで、聴取者に任意の方向の音源から音が到来するように知覚させる技術である。音源から左右耳までの音の伝搬特性を頭部伝達関数(HRTF:Head-Related Transfer Function)といい、この頭部伝達関数を音響信号に作用させることによって、ヘッドホン再生トランスオーラル再生にて知覚される音の到来方向を制御することができる。

概要

マルチチャンネル音響信号バイノーラル化して再生する際、マルチチャンネル音響信号の包み込まれ成分を強調して再生する。本発明に係る三次元音響再生装置は、マルチチャンネル音響信号を音像成分と包み込まれ成分とに分離する分析部と、前記音像成分をバイノーラル化する音像成分処理部と、前記包み込まれ成分を強調してバイノーラル化する包み込まれ成分強調処理部と、バイノーラル化された前記音像成分及び前記包み込まれ成分を加算する加算器とを備え、前記包み込まれ成分強調処理部は、両相関係数が小さくなるように前記包み込まれ成分のチャンネル数を変更し、変更後のチャンネル数による前記包み込まれ成分をバイノーラル化することにより前記包み込まれ成分を強調する。

目的

本発明の目的は、マルチチャンネル音響信号をバイノーラル化して再生する際、マルチチャンネル音響信号の包み込まれ成分を強調して再生することが可能な三次元音響再生装置及びプログラムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

マルチチャンネル音響信号音像成分と包み込まれ成分とに分離する分析部と、前記音像成分をバイノーラル化する音像成分処理部と、前記包み込まれ成分を強調してバイノーラル化する包み込まれ成分強調処理部と、バイノーラル化された前記音像成分及び前記包み込まれ成分を加算する加算器とを備え、前記包み込まれ成分強調処理部は、前記マルチチャンネル音響信号のチャンネル数で前記包み込まれ成分をバイノーラル化した信号より両相関係数が小さくなるように前記包み込まれ成分のチャンネル数を変更し、変更後のチャンネル数による前記包み込まれ成分をバイノーラル化することにより前記包み込まれ成分を強調する、三次元音響再生装置

請求項2

前記包み込まれ成分強調処理部は、前記包み込まれ成分のチャンネル数を前記マルチチャンネル音響信号のチャンネル数より増加させる場合、前記マルチチャンネル音響信号において隣り合う2つのチャンネルの間に新たなチャンネルを設ける、請求項1に記載の三次元音響再生装置。

請求項3

前記包み込まれ成分強調処理部は、前記包み込まれ成分のチャンネル数を変更する場合、変更後のチャンネル配置による再生時のパワーが前記マルチチャンネル音響信号による再生時のパワーから変化しないよう各チャンネルの出力を調整する、請求項1又は2に記載の三次元音響再生装置。

請求項4

前記分析部は、前記マルチチャンネル音響信号を主成分分析し、得られた固有値に基づき前記マルチチャンネル音響信号を前記音像成分と前記包み込まれ成分とに分離する、請求項1乃至3のいずれか一項に記載の三次元音響再生装置。

請求項5

コンピュータを、請求項1乃至4のいずれか一項に記載の三次元音響再生装置として機能させるためのプログラム

技術分野

0001

この発明は、三次元音響再生装置及びプログラムに関し、特に、2チャンネル以上の音響信号からなるマルチチャンネル立体音響頭部伝達関数(HRTF:Head-Related Transfer Function)によりバイノーラル化両耳聴化)して再生するものに関する。

背景技術

0002

スーパーハイビジョン音響方式である22.2マルチチャンネル音響は、22個のスピーカと2個の低音効果(LFE:Low Frequency Effects)用のスピーカとを視聴者を取り囲むように配置して、三次元的な音響空間再現する方式である。この22.2マルチチャンネル音響を家庭簡易に再生するための要素技術として、バイノーラル技術の研究が進められている(非特許文献1参照)。

0003

バイノーラル技術は、音源から左右耳までの音の伝搬特性模擬することで、聴取者に任意の方向の音源から音が到来するように知覚させる技術である。音源から左右耳までの音の伝搬特性を頭部伝達関数(HRTF:Head-Related Transfer Function)といい、この頭部伝達関数を音響信号に作用させることによって、ヘッドホン再生トランスオーラル再生にて知覚される音の到来方向を制御することができる。

先行技術

0004

井健太郎、「スーパーハイビジョン音響用バイノーラル技術」、日本放送協会放送技術研究所、NHK技研R&D(134)、p.20-25、2012年07月

発明が解決しようとする課題

0005

頭部伝達関数を用いた再生では、音像定位がはっきりした信号の方向については比較的認識しやすいが、音像成分と比較して、周囲を囲まれたような音像や残響など包み込まれ感を空間的に再現するものの中には、その音響空間を認識しにくいものがある。

0006

したがって、かかる点に鑑みてなされた本発明の目的は、マルチチャンネル音響信号をバイノーラル化して再生する際、マルチチャンネル音響信号の包み込まれ成分を強調して再生することが可能な三次元音響再生装置及びプログラムを提供することにある。

課題を解決するための手段

0007

上述した諸課題を解決すべく、本発明に係る三次元音響再生装置は、マルチチャンネル音響信号を音像成分と包み込まれ成分とに分離する分析部と、前記音像成分をバイノーラル化する音像成分処理部と、前記包み込まれ成分を強調してバイノーラル化する包み込まれ成分強調処理部と、バイノーラル化された前記音像成分及び前記包み込まれ成分を加算する加算器とを備え、前記包み込まれ成分強調処理部は、前記マルチチャンネル音響信号のチャンネル数で前記包み込まれ成分をバイノーラル化した信号より両相関係数が小さくなるように前記包み込まれ成分のチャンネル数を変更し、変更後のチャンネル数による前記包み込まれ成分をバイノーラル化することにより前記包み込まれ成分を強調する、ものである。

0008

また、前記包み込まれ成分強調処理部は、前記包み込まれ成分のチャンネル数を前記マルチチャンネル音響信号のチャンネル数より増加させる場合、前記マルチチャンネル音響信号において隣り合う2つのチャンネルの間に新たなチャンネルを設ける、ことが好ましい。

0009

また、前記包み込まれ成分強調処理部は、前記包み込まれ成分のチャンネル数を変更する場合、変更後のチャンネル配置による再生時のパワーが前記マルチチャンネル音響信号による再生時のパワーから変化しないよう各チャンネルの出力を調整する、ことが好ましい。

0010

また、前記分析部は、前記マルチチャンネル音響信号を主成分分析し、得られた固有値に基づき前記マルチチャンネル音響信号を前記音像成分と前記包み込まれ成分とに分離する、ことが好ましい。

0011

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記三次元音響再生装置として機能させるものである。

発明の効果

0012

本発明に係る三次元音響再生装置及びプログラムによれば、マルチチャンネル音響信号をバイノーラル化して再生する際、マルチチャンネル音響信号の包み込まれ成分を強調して再生することが可能になる。

図面の簡単な説明

0013

本発明の一実施形態に係る三次元音響再生装置の概略構成を示す図である。
分析部の概略構成を示す図である。
包み込まれ成分強調処理部の概略構成を示す図である。

実施例

0014

以降、諸図面を参照しながら、本発明の実施態様を詳細に説明する。なお、本実施形態では、マルチチャンネル音響信号として22.2マルチチャンネル音響信号を例に説明を行うが、本発明はこれに限定されず、5.1チャンネル音響信号など、種々のマルチチャンネル音響方式の音響信号に対応できるものである。以降の説明において、22.2マルチチャンネル音響信号を適宜「22ch音響信号」と略記する。

0015

図1は、本発明の一実施形態に係る三次元音響再生装置の概略構成を示す図である。三次元音響再生装置は、分析部10と、包み込まれ成分強調処理部20と、音像成分処理部30と、加算器40を備える。三次元音響再生装置の各機能部10〜40は、CPU等の好適なプロセッサや好適な電子回路により構成されるものである。

0016

分析部10は、マルチチャンネル音響信号から音像成分と包みこまれ成分とを分離する。包み込まれ成分強調処理部20は、マルチチャンネル音響信号の包み込まれ成分を強調し、2チャンネルの信号へとバイノーラル化する。また、音像成分処理部30は、マルチチャンネル音響信号の音像成分に頭部伝達関数を作用させ2チャンネルの信号へとバイノーラル化する。加算器40は、包み込まれ成分に対応する2チャンネルの信号と、音像成分に対応する2チャンネルの信号とを加算して出力し、出力信号後段再生装置(図示せず)にてヘッドホン再生又はトランスオーラル再生される。

0017

以下、分析部10及び包み込まれ成分強調処理部20について詳述する。

0018

分析部10は、マルチチャンネル音響信号から音像成分と包みこまれ成分を分離する。音像成分とは、音像定位(信号の方向)がはっきりした信号であり、包み込まれ成分とは、残響等の空間的な特徴(包み込まれ感)に関する信号である。図2は、分析部10の概略構成を示す図である。分析部10は、主成分分析部11と、固有値判定部12と、変換行列生成部13と、音像成分変換部14と、包み込まれ成分変換部15と、を備える。

0019

主成分分析部11は、あるサンプル数(例えば2048サンプル)を単位とするフレーム毎に、入力されたマルチチャンネル音響信号を分散共分散行列により主成分分析する。主成分分析の結果、固有値と固有値に対応した固有ベクトルが出力される。

0020

固有値判定部12は、主成分分析により得られた固有値の総計とそれぞれの固有値の大きさから、音像成分に対応する固有値と包み込まれ成分に対応する固有値とを判定する。例えば、固有値判定部12は、所定値以上の固有値を音像成分に対応する固有値とし、それ以外の固有値を包み込まれ成分に対応する固有値とすることができる。また、固有値判定部12は、固有値の大きい方から順に累計して固有値の総計に占める割合が所定値以内となる固有値を音像成分に対応する固有値とし、それ以外の固有値を包み込まれ成分に対応する固有値とすることができる。また、固有値判定部12は、固有値の大きい方から順に所定数の固有値を音像成分に対応する固有値とし、それ以外の固有値を包み込まれ成分に対応する固有値とすることができる。

0021

変換行列生成部13は、音像成分に対応する固有値の固有ベクトルを用いて音像成分変換行列を生成する。また、変換行列生成部13は、包み込まれ成分に対応する固有値の固有ベクトルを用いて包み込まれ成分変換行列を生成する。

0022

音像成分変換部14は、変換行列生成部13が生成した音像成分変換行列を入力信号である22ch音響信号に作用させることにより、入力信号から音像成分を分離することができる。音像成分変換部14は、後段の頭部伝達関数による処理のため、分離した音像成分を22.2マルチチャンネル音響の信号として出力する。

0023

包み込まれ成分変換部15は、変換行列生成部13が生成した包み込まれ成分変換行列を入力信号である22ch音響信号に作用させることにより、入力信号から包み込まれ成分を分離して出力する。包み込まれ成分変換部15は、後段の頭部伝達関数による処理のため、分離した音像成分を22.2マルチチャンネル音響の信号として出力する。

0024

包み込まれ成分強調処理部20は、マルチチャンネル音響信号の包み込まれ成分を強調し、ヘッドホン等による再生のため2チャンネルの信号へとバイノーラル化(両耳聴化)する。ここで、包み込まれ感に関する指標として両耳間相関係数(IACC:Inter-Aural Cross Correlation)が知られており、一般に、再生される音響信号のIACCが大きいと空間的な包み込まれ感を認識することが困難になり、IACCが小さいと空間的な包み込まれ感を認識することが可能となる。このため、本実施形態に係る包み込まれ成分強調処理部20は、再生する音響信号のIACCが小さくなるように包み込まれ成分のチャンネル数を変更する。

0025

ここで、チャンネル数の変換には、チャンネル数を増やす方向と減らす方向が考えられる。一般に、スピーカにより音響信号の再生を行った場合、部屋の反射音が付加されるため、時間・空間的に入力されたマルチチャンネル音響信号以上のチャンネル数と同等の再生環境になっていると考えられる。一方、音の方向性の内、前後感や上下感に関わる特徴量として周波数特性上のピークノッチの存在が指摘されているが、包み込まれ成分とより多くの方向(チャンネル)からの信号とを頭部伝達関数を作用させ加算して再生すると、それぞれの周波数特徴量が異なるため、マスキング効果により、結果的に方向性が失われてしまうことも考えられる。そのため、包み込まれ成分強調処理部20によるチャンネル数の変更はチャンネルの増加又は減少の一方向に限定されず、IACCを小さくする任意の方向に変更できるものである。

0026

図3は、包み込まれ成分強調処理部20の概略構成を示す図である。包み込まれ成分強調処理部20は、チャンネル数変換部21と、HRTF処理部22と、IACC計算部23と、を備える。

0027

チャンネル数変換部21は、包み込まれ成分である22ch音響信号を他のチャンネル数の信号(Nch信号)へと変換する。なお、Nの値は2以上とする。チャンネル数変換部21は、22ch音響信号をより多いチャンネル数にアップミックスする場合と、より少ないチャンネル数にダウンミックスする場合とがある。チャンネル数変換部21は、チャンネル数を増やしてアップミックスする場合、22.2チャンネルのうち隣り合う2つのチャンネルの間に新たなチャンネルを設け、隣り合う信号をミックスした信号を生成した新たなチャンネルへ割り当てることができる。この場合、チャンネル数変換部21は、新たなチャンネルを含む3つのチャンネルの合計パワーが同じになるようにレベルを調整しても良い。チャンネル数変換部21は、チャンネル数を減らしてダウンミックスする場合、所望のチャンネル配置に対して再生時のパワーが変化しないようにレベル調整を行うことができる。

0028

HRTF処理部22は、チャンネル数変更後のNch信号に対し、Nch信号に対応する頭部伝達関数を作用させ、2チャンネルの信号へとバイノーラル化する。

0029

IACC計算部23は、HRTF処理部22による2チャンネルの信号のIACCを計算し、その際のチャンネル配置情報をIACCの値と共に保持する。

0030

包み込まれ成分強調処理部20は、Nの値を順次インクリメント又はデクリメントさせながら、22ch音響信号に対する全組み合わせについて、チャンネル数変換部21、HRTF処理部22、IACC計算部23の処理を繰り返すことにより、少なくとも22ch音響信号として包み込まれ成分をバイノーラル化した際のIACCよりIACCが小さくなるチャンネル配置(Nch信号)を検出し、対応するNch信号を頭部伝達関数によりバイノーラル化して出力する。好適には、包み込まれ成分強調処理部20は、ダウンミックス及びアップミックスを含む種々のチャンネル配置に対してIACCの検出を繰り返し行い、その中でIACCが最小となるチャンネル配置(Nch信号)を検出し、対応するNch信号を頭部伝達関数によりバイノーラル化して出力する。

0031

このように、本実施形態によれば、包み込まれ成分強調処理部20は、入力信号であるマルチチャンネル音響信号のチャンネル数で包み込まれ成分をバイノーラル化した信号よりも、両耳間相関係数が小さくなるように包み込まれ成分のチャンネル数を変更し、変更後のチャンネル数による包み込まれ成分をバイノーラル化することにより前記包み込まれ成分を強調する。これにより、マルチチャンネル音響信号をバイノーラル化して再生する際、マルチチャンネル音響信号の包み込まれ成分を強調して再生することが可能になる。すなわち、包み込まれ感が認識しにくい番組などでも包み込まれ感を強調することで音響空間の広がりを向上させることが可能になる。

0032

また、包み込まれ成分強調処理部20は、包み込まれ成分のチャンネル数を増加させる場合、入力信号のマルチチャンネル音響方式において隣り合う2つのチャンネルの間に新たなチャンネルを設けることができる。これにより、アップミックスに伴う新たなチャンネル位置決定演算負荷を低減し、かつ、新たなチャンネルを変更前のチャンネル配置に対し効果的な位置に配置することが可能となる。

0033

また、包み込まれ成分強調処理部20は、包み込まれ成分のチャンネル数を変更する場合、変更後のチャンネル配置による再生時のパワーが入力信号のマルチチャンネル音響方式による再生時のパワーから変化しないよう各チャンネルの出力を調整することができる。これにより、後段で音像成分のバイノーラル信号と加算され再生された場合、包み込まれ成分のみが過剰に増大又は縮小されることを防ぐことができ、聴取時の違和感を低減することが可能になる。

0034

また、分析部10は、マルチチャンネル音響信号を主成分分析し、得られた固有値に基づきマルチチャンネル音響信号を音像成分と包み込まれ成分とに分離する。これにより、音像成分と包み込まれ成分とを定量的に分離することが可能となる。

0035

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各構成部、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部やステップなどを1つに組み合わせたり、或いは分割したりすることが可能である。

0036

なお、上述した三次元音響再生装置として機能させるためにコンピュータを用いることができ、そのようなコンピュータは、三次元音響再生装置の各機能を実現する処理内容記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのCPUによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録することができる。

0037

10分析部
11主成分分析部
12固有値判定部
13変換行列生成部
14音像成分変換部
15包み込まれ成分変換部
20 包み込まれ成分強調処理部
21チャンネル数変換部
22 HRTF処理部
23 IACC計算部
30 音像成分処理部
40 加算器

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

該当するデータがありません

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

該当するデータがありません

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ