図面 (/)

技術 音響処理装置、音響処理方法、及びプログラム

出願人 日本放送協会
発明者 北島周小野一穂大出訓史杉本岳大小森智康佐々木陽
出願日 2016年5月24日 (4年5ヶ月経過) 出願番号 2016-103747
公開日 2017年11月30日 (2年11ヶ月経過) 公開番号 2017-212556
状態 特許登録済
技術分野 可聴帯域変換器の回路等 ステレオ方式
主要キーワード Nチャンネル 信号変換ステップ 禁止範囲 信号識別情報 優先信号 ドロネー三角形分割 係数部分 スピーカ情報
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年11月30日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (12)

課題

出力する音の明瞭性を高める。

解決手段

音響処理装置は、音信号優先度を示す優先度情報と、前記音信号の音源方向を示す方向情報とに基づいて、使用可能な音信号の出力先のうちから、当該音信号を優先して出力する優先出力先を選択し、当該優先出力先に当該音信号を優先音信号として対応付ける優先出力先選択部と、前記優先出力先選択部によって選択された前記優先出力先に対応するチャンネルに、当該優先音信号を優先して出力する変換を行うとともに、複数の前記音信号を前記使用可能な音信号の出力先に対応したチャンネル数の音信号に変換する信号変換部とを備える。

概要

背景

近年、多数の音声チャンネルマルチチャンネル)を用いることにより,高い臨場感音響再生を実現する音響システムが提案されている(例えば、非特許文献1を参照)。例えば、8Kスーパーハイビジョン放送においては、22.2チャンネル音響というマルチチャンネル音響が採用されている。また,例えば,音声オブジェクトを用いたオブジェクトベース方式音響(例えば、DolbyATMOSなど)によるホームシアターシステムが,家庭用として登場している。

しかしながら、家庭における使用を想定した場合、各家庭に設置されるスピーカの数は、コンテンツ制作時に使用されたスピーカ数よりも少ないことがほとんどである。このため、オブジェクトベース音響やマルチチャンネル音響を家庭で再生するには、例えば、レンダリングダウンミックスのような、チャンネル数を少なく変換する音響処理技術が必要になる。

概要

出力する音の明瞭性を高める。音響処理装置は、音信号優先度を示す優先度情報と、前記音信号の音源方向を示す方向情報とに基づいて、使用可能な音信号の出力先のうちから、当該音信号を優先して出力する優先出力先を選択し、当該優先出力先に当該音信号を優先音信号として対応付ける優先出力先選択部と、前記優先出力先選択部によって選択された前記優先出力先に対応するチャンネルに、当該優先音信号を優先して出力する変換を行うとともに、複数の前記音信号を前記使用可能な音信号の出力先に対応したチャンネル数の音信号に変換する信号変換部とを備える。

目的

本発明は、上記問題を解決すべくなされたもので、その目的は、出力する音の明瞭性を高めることができる音響処理装置、音響処理方法、及びプログラムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

音信号優先度を示す優先度情報と、前記音信号の音源方向を示す方向情報とに基づいて、使用可能な音信号の出力先のうちから、当該音信号を優先して出力する優先出力先を選択し、当該優先出力先に当該音信号を優先音信号として対応付ける優先出力先選択部と、前記優先出力先選択部によって選択された前記優先出力先に対応するチャンネルに、当該優先音信号を優先して出力する変換を行うとともに、複数の前記音信号を前記使用可能な音信号の出力先に対応したチャンネル数の音信号に変換する信号変換部とを備えることを特徴とする音響処理装置

請求項2

前記優先度を判定し、前記優先度情報を生成する優先度判定部と、前記使用可能な音信号の出力先のうちから、前記優先出力先選択部によって選択された前記優先出力先を除外した出力先を、新たな前記使用可能な音信号の出力先として更新する出力先更新部とを備え、前記信号変換部は、前記優先音信号を含まない前記複数の音信号を、前記出力先更新部によって更新された前記使用可能な音信号の出力先に対応したチャンネル数の音信号に変換することを特徴とする請求項1に記載の音響処理装置。

請求項3

前記優先度判定部は、前記チャンネルの重要度を示す重要度情報、ダイアログ情報、及び前記チャンネルの位置を示すチャンネル位置情報のうちの少なくとも1つに基づいて、前記優先度を判定し、前記優先度情報を生成することを特徴とする請求項2に記載の音響処理装置。

請求項4

前記優先出力先選択部は、前記複数の音信号のうちの前記優先度が高い順に、前記優先出力先を選択することを特徴とする請求項1から請求項3のいずれか一項に記載の音響処理装置。

請求項5

前記優先出力先選択部は、前記使用可能な音信号の出力先の数に応じて設定された前記優先度のグループ数に基づいて、前記優先出力先を選択することを特徴とする請求項1から請求項3のいずれか一項に記載の音響処理装置。

請求項6

前記優先出力先選択部は、前記優先出力先を選択した前記優先度の指標を示す第1指標値と、当該第1指標値より下位の前記優先度の指標を示す第2指標値との差に応じて、前記使用可能な音信号の出力先のうちの前記下位の優先度に対応する音信号の前記優先出力先を選択禁止にする禁止範囲を設定し、当該禁止範囲の出力先が選択されないように、前記下位の優先度に対応する音信号の前記優先出力先を選択することを特徴とする請求項1から請求項5のいずれか一項に記載の音響処理装置。

請求項7

前記優先出力先選択部は、前記第1指標値が、第1閾値以上である場合に、前記第1指標値と、前記第2指標値との差に応じて、前記禁止範囲を設定することを特徴とする請求項6に記載の音響処理装置。

請求項8

前記優先出力先選択部は、前記第1指標値が、第2閾値より低い場合に、前記第1指標値と、前記第2指標値との差に応じて、前記第1指標値の優先度に対応する音信号に選択された前記優先出力先に、前記下位の優先度に対応する音信号の割り当てを許可し、前記信号変換部は、前記下位の優先度に対応する音信号の割り当てが許可されている場合に、前記優先出力先に、前記下位の優先度に対応する音信号を、所定の信号レベル以下で割り当てることを特徴とする請求項6又は請求項7に記載の音響処理装置。

請求項9

前記優先出力先選択部は、前記優先出力先を選択した前記優先度の指標を示す第1指標値が、第2閾値より低い場合に、前記第1指標値と、当該第1指標値より下位の前記優先度の指標を示す第2指標値との差に応じて、前記第1指標値の優先度に対応する音信号に選択された前記優先出力先に、前記下位の優先度に対応する音信号の割り当てを許可し、前記信号変換部は、前記下位の優先度に対応する音信号の割り当てが許可されている場合に、前記優先出力先に、前記下位の優先度に対応する音信号を、所定の信号レベル以下で割り当てることを特徴とする請求項1から請求項5のいずれか一項に記載の音響処理装置。

請求項10

優先出力先選択部が、音信号の優先度を示す優先度情報と、前記音信号の音源方向を示す方向情報とに基づいて、使用可能な音信号の出力先のうちから、当該音信号を優先して出力する優先出力先を選択し、当該優先出力先に当該音信号を優先音信号として対応付ける優先出力先選択ステップと、信号変換部が、前記優先出力先選択ステップによって選択された前記優先出力先に対応するチャンネルに、当該優先音信号を優先して出力する変換を行うとともに、複数の前記音信号を前記使用可能な音信号の出力先に対応したチャンネル数の音信号に変換する信号変換ステップとを含むことを特徴とする音響処理方法

請求項11

コンピュータに、音信号の優先度を示す優先度情報と、前記音信号の音源方向を示す方向情報とに基づいて、使用可能な音信号の出力先のうちから、当該音信号を優先して出力する優先出力先を選択し、当該優先出力先に当該音信号を優先音信号として対応付ける優先出力先選択ステップと、前記優先出力先選択ステップによって選択された前記優先出力先に対応するチャンネルに、当該優先音信号を優先して出力する変換を行うとともに、複数の前記音信号を前記使用可能な音信号の出力先に対応したチャンネル数の音信号に変換する信号変換ステップとを実行させるためのプログラム

技術分野

0001

本発明は、音響処理装置音響処理方法、及びプログラムに関する。

背景技術

0002

近年、多数の音声チャンネルマルチチャンネル)を用いることにより,高い臨場感音響再生を実現する音響システムが提案されている(例えば、非特許文献1を参照)。例えば、8Kスーパーハイビジョン放送においては、22.2チャンネル音響というマルチチャンネル音響が採用されている。また,例えば,音声オブジェクトを用いたオブジェクトベース方式音響(例えば、DolbyATMOSなど)によるホームシアターシステムが,家庭用として登場している。

0003

しかしながら、家庭における使用を想定した場合、各家庭に設置されるスピーカの数は、コンテンツ制作時に使用されたスピーカ数よりも少ないことがほとんどである。このため、オブジェクトベース音響やマルチチャンネル音響を家庭で再生するには、例えば、レンダリングダウンミックスのような、チャンネル数を少なく変換する音響処理技術が必要になる。

先行技術

0004

Rec.ITU-RBS.2051-0 “Advanced sound system for programme production”(02/2014)

発明が解決しようとする課題

0005

従来の音響処理技術では、例えば、ナレーション台詞などのダイアログオブジェクトと、背景音楽器音などのオブジェクトとが同じスピーカから再生されることでマスキングが生じ、ダイアログ音声明瞭性が損なわれる場合があった。ここでのマスキングとは、ある音が、別の音によって妨害され、聞き取り難くなる現象のことである。

0006

本発明は、上記問題を解決すべくなされたもので、その目的は、出力する音の明瞭性を高めることができる音響処理装置、音響処理方法、及びプログラムを提供することにある。

課題を解決するための手段

0007

[1]上記問題を解決するために、本発明の一態様は、音信号優先度を示す優先度情報と、前記音信号の音源方向を示す方向情報とに基づいて、使用可能な音信号の出力先のうちから、当該音信号を優先して出力する優先出力先を選択し、当該優先出力先に当該音信号を優先音信号として対応付ける優先出力先選択部と、前記優先出力先選択部によって選択された前記優先出力先に対応するチャンネルに、当該優先音信号を優先して出力する変換を行うとともに、複数の前記音信号を前記使用可能な音信号の出力先に対応したチャンネル数の音信号に変換する信号変換部とを備えることを特徴とする音響処理装置である。

0008

[2]また、本発明の一態様は、上記の音響処理装置において、前記優先度を判定し、前記優先度情報を生成する優先度判定部と、前記使用可能な音信号の出力先のうちから、前記優先出力先選択部によって選択された前記優先出力先を除外した出力先を、新たな前記使用可能な音信号の出力先として更新する出力先更新部とを備え、前記信号変換部は、前記優先音信号を含まない前記複数の音信号を、前記出力先更新部によって更新された前記使用可能な音信号の出力先に対応したチャンネル数の音信号に変換することを特徴とする。

0009

[3]また、本発明の一態様は、上記の音響処理装置において、前記優先度判定部は、前記チャンネルの重要度を示す重要度情報、ダイアログ情報、及び前記チャンネルの位置を示すチャンネル位置情報のうちの少なくとも1つに基づいて、前記優先度を判定し、前記優先度情報を生成することを特徴とする。

0010

[4]また、本発明の一態様は、上記の音響処理装置において、前記優先出力先選択部は、前記複数の音信号のうちの前記優先度が高い順に、前記優先出力先を選択することを特徴とする。

0011

[5]また、本発明の一態様は、上記の音響処理装置において、前記優先出力先選択部は、前記使用可能な音信号の出力先の数に応じて設定された前記優先度のグループ数に基づいて、前記優先出力先を選択することを特徴とする。

0012

[6]また、本発明の一態様は、上記の音響処理装置において、前記優先出力先選択部は、前記優先出力先を選択した前記優先度の指標を示す第1指標値と、当該第1指標値より下位の前記優先度の指標を示す第2指標値との差に応じて、前記使用可能な音信号の出力先のうちの前記下位の優先度に対応する音信号の前記優先出力先を選択禁止にする禁止範囲を設定し、当該禁止範囲の出力先が選択されないように、前記下位の優先度に対応する音信号の前記優先出力先を選択することを特徴とする。

0013

[7]また、本発明の一態様は、上記の音響処理装置において、前記優先出力先選択部は、前記第1指標値が、第1閾値以上である場合に、前記第1指標値と、前記第2指標値との差に応じて、前記禁止範囲を設定することを特徴とする。

0014

[8]また、本発明の一態様は、上記の音響処理装置において、前記優先出力先選択部は、前記第1指標値が、第2閾値より低い場合に、前記第1指標値と、前記第2指標値との差に応じて、前記第1指標値の優先度に対応する音信号に選択された前記優先出力先に、前記下位の優先度に対応する音信号の割り当てを許可し、前記信号変換部は、前記下位の優先度に対応する音信号の割り当てが許可されている場合に、前記優先出力先に、前記下位の優先度に対応する音信号を、所定の信号レベル以下で割り当てることを特徴とする。

0015

[9]また、本発明の一態様は、上記の音響処理装置において、前記優先出力先選択部は、前記優先出力先を選択した前記優先度の指標を示す第1指標値が、第2閾値より低い場合に、前記第1指標値と、当該第1指標値より下位の前記優先度の指標を示す第2指標値との差に応じて、前記第1指標値の優先度に対応する音信号に選択された前記優先出力先に、前記下位の優先度に対応する音信号の割り当てを許可し、前記信号変換部は、前記下位の優先度に対応する音信号の割り当てが許可されている場合に、前記優先出力先に、前記下位の優先度に対応する音信号を、所定の信号レベル以下で割り当てることを特徴とする。

0016

[10]また、本発明の一態様は、優先出力先選択部が、音信号の優先度を示す優先度情報と、前記音信号の音源方向を示す方向情報とに基づいて、使用可能な音信号の出力先のうちから、当該音信号を優先して出力する優先出力先を選択し、当該優先出力先に当該音信号を優先音信号として対応付ける優先出力先選択ステップと、信号変換部が、前記優先出力先選択ステップによって選択された前記優先出力先に対応するチャンネルに、当該優先音信号を優先して出力する変換を行うとともに、複数の前記音信号を前記使用可能な音信号の出力先に対応したチャンネル数の音信号に変換する信号変換ステップとを含むことを特徴とする音響処理方法である。

0017

[11]また、本発明の一態様は、コンピュータに、音信号の優先度を示す優先度情報と、前記音信号の音源方向を示す方向情報とに基づいて、使用可能な音信号の出力先のうちから、当該音信号を優先して出力する優先出力先を選択し、当該優先出力先に当該音信号を優先音信号として対応付ける優先出力先選択ステップと、前記優先出力先選択ステップによって選択された前記優先出力先に対応するチャンネルに、当該優先音信号を優先して出力する変換を行うとともに、複数の前記音信号を前記使用可能な音信号の出力先に対応したチャンネル数の音信号に変換する信号変換ステップとを実行させるためのプログラムである。

発明の効果

0018

本発明によれば、出力する音の明瞭性を高めることができる。

図面の簡単な説明

0019

第1の実施形態による音響処理装置の一例を示すブロック図である。
第1の実施形態による優先信号再生スピーカを選択する処理の一例を説明する図である。
第1の実施形態による音声信号変換処理の一例を説明する図である。
第1の実施形態による音響処理装置の動作の一例を示すフローチャートである。
第2の実施形態による音響処理装置の一例を示すブロック図である。
第2の実施形態による音響処理装置の動作の一例を示すフローチャートである。
第3の実施形態による音響処理装置の一例を示すブロック図である。
第3の実施形態による再生スピーカの禁止範囲の一例を説明する図である。
第3の実施形態による音響処理装置の動作の一例を示すフローチャートである。
第4の実施形態による音響処理装置の一例を示すブロック図である。
第4の実施形態による音響処理装置の動作の一例を示すフローチャートである。

実施例

0020

以下、本発明の実施形態による音響処理装置について、図面を参照して説明する。
[第1の実施形態]
図1は、第1の実施形態による音響処理装置1の一例を示すブロック図である。
音響処理装置1は、例えば、音声ストリームデータに含まれる複数の音声信号を、出力可能な再生スピーカ(以下、有効スピーカということがある)に対応したチャンネル数の音声信号に変換する。ここで、音声信号には、人の声の音信号の他に、背景音などの人の声以外の音信号も含まれる。

0021

図1に示すように、音響処理装置1は、音声信号抽出部10と、記憶部20と、音響処理部30とを備える。
音声信号抽出部10は、入力された音声ストリームデータに含まれる複数の音声信号データ、及び付加情報を抽出する。ここで、音声信号データには、音声信号の他に、例えば、ダイアログ音声信号であるか否かを示すダイアログ情報、チャンネル情報などの3次元空間における音源座標情報などが含まれる。また、付加情報には、例えば、メタデータとして付与される音声信号のimportance情報(重要度情報)などが含まれる。また、音声信号抽出部10は、例えば、後述する音響処理の処理単位で、音声信号データを抽出する。

0022

記憶部20は、音響処理装置1が実行する処理に利用する各種情報を記憶する。記憶部20は、例えば、音声情報記憶部21と、優先信号再生スピーカ記憶部22と、有効スピーカ記憶部23と、変換情報記憶部24とを備える。
音声情報記憶部21は、音声信号抽出部10によって抽出された音声信号に関する情報を記憶する。音声情報記憶部21は、例えば、音声信号を識別する信号識別情報(例えば、チャンネル名、チャンネル番号など)と、音声信号の優先度を示す優先度情報と、音声信号の音源方向を示す方向情報(例えば、上述した座標情報など)とを対応付けて記憶する。

0023

優先信号再生スピーカ記憶部22(優先出力先記憶部の一例)は、後述する優先信号再生スピーカ選択部32によって、選択された音声信号及び再生スピーカに関する情報を記憶する。優先信号再生スピーカ記憶部22は、例えば、再生スピーカを識別するスピーカ識別情報(優先出力先情報)と、優先信号(優先音信号)を識別する優先信号識別情報とを対応付けて記憶する。なお、優先信号識別情報は、例えば、上述した信号識別情報である。

0024

有効スピーカ記憶部23は、音響処理装置1の出力先である使用可能(有効)な再生スピーカに関する有効スピーカ情報を記憶する。有効スピーカ記憶部23は、例えば、音響処理装置1に接続される再生装置(不図示)が保有している全再生スピーカを使用可能な再生スピーカとして記憶する。有効スピーカ記憶部23は、例えば、使用可能な再生スピーカのスピーカ識別情報の一覧(リスト)を有効スピーカ情報として予め記憶する。なお、有効スピーカ記憶部23は、使用可能な再生スピーカのスピーカ識別情報と、当該再生スピーカの配置情報(位置情報)とを対応付けて記憶してもよい。

0025

変換情報記憶部24は、音声信号抽出部10によって抽出された音声信号を、再生スピーカに出力する音声信号に変換する変換情報を記憶する。変換情報記憶部24は、例えば、VBAP法(Vector Base Amplitude Panning法)などの手法を利用するための変換情報を記憶する。例えば、音声信号抽出部10によって抽出された音声信号がMチャンネルの音声信号であり、Nチャンネルの音声信号に変換する場合(M>N)には、変換情報は、例えば、N列×M行の変換行列({K11、・・・、K1M、K21、・・・、KNM})である。ここで、変換行列の各要素KXXは、各信号の変換係数値を示している。変換情報記憶部24は、このような変換行列(変換マトリックス)を、変換元の音声信号のチャンネル数と、変換先のチャンネル数に応じて、予め複数記憶している。

0026

音響処理部30は、例えば、CPU(Central Processing Unit)やDSP(Digital Signal Processor)を含み、後述する音響処理を実行する。音響処理部30は、優先度判定部31と、優先信号再生スピーカ選択部32と、有効スピーカ更新部33と、信号変換部34とを備える。

0027

優先度判定部31は、例えば、音声信号抽出部10によって抽出された音声信号データに含まれる情報(例えば、ダイアログ情報)や付加情報(例えば、音声信号に付与されたメタ情報)に含まれる音声信号のimportance情報に基づいて、音声信号の優先度を判定し、当該音声信号の優先度を示す優先度情報を生成する。また、優先度判定部31は、利用者の正面から出力する音声信号に対して優先度を高くするなどのチャンネル位置情報に基づいて、音声信号の優先度を示す優先度情報を生成してもよい。すなわち、優先度判定部31は、チャンネルの重要度を示す重要度情報(importance情報)、ダイアログ情報、及びチャンネルの位置を示すチャンネル位置情報のうちの少なくとも1つに基づいて、優先度を判定し、優先度情報を生成する。

0028

例えば、ダイアログ情報に基づいて優先度情報を生成する際には、優先度判定部31は、音声信号がダイアログである場合に、優先度情報を“高優先度”として生成し、音声信号がダイアログでない場合に、優先度情報を“低優先度”として生成する。
また、例えば、重要度情報(importance情報)に基づいて優先度情報を生成する際には、優先度判定部31は、importance情報の値を優先度情報とし、多段階の優先度を設定する。

0029

また、優先度判定部31は、音声信号抽出部10によって抽出された音声信号データに含まれる音声信号を抽出するとともに、位置情報を方向情報として抽出する。優先度判定部31は、各音声信号の信号識別情報と、優先度情報と、方向情報とを対応付けて音声情報記憶部21に記憶させる。
なお、本実施形態において、ダイアログ音声信号に含まれる音声は、必ずしもダイアログ(対話)の音声に限られるものではなく、主に人の声で構成される音声信号をダイアログ音声信号としてもよい。また、優先度情報には、ダイアログ情報や重要度情報(importance情報)そのものを用いてもよい。

0030

優先信号再生スピーカ選択部32(優先出力先選択部の一例)は、優先度情報と、方向情報とに基づいて、使用可能な再生スピーカ(音声信号の出力先)のうちから、当該音声信号を優先して出力する優先信号再生スピーカ(優先出力先)を選択する。優先信号再生スピーカ選択部32は、音声情報記憶部21が記憶する音声情報に基づいて、音声信号抽出部10によって抽出された音声信号のうち、例えば、優先度が最も高い音声信号を優先信号として抽出する。

0031

また、優先信号再生スピーカ選択部32は、方向情報に基づいて、有効スピーカ記憶部23が記憶する有効スピーカ情報に含まれる再生スピーカのうちから、抽出した優先信号を出力する再生スピーカを選択する。すなわち、優先信号再生スピーカ選択部32は、例えば、優先信号に対応付けられた方向情報に最も近い配置の再生スピーカを選択する。また、優先信号再生スピーカ選択部32は、優先信号再生スピーカの選択方法として、音声信号の方向情報(座標情報)を用いて、例えば、ドロネー三角形分割法などの手法を用いてもよい。また,優先信号再生スピーカ選択部32は、事前に優先度に応じて優先信号を割り当てる再生スピーカを決めておき、音声信号の位置情報(座標情報)に依らず、特定のスピーカを選択してもよい。
優先信号再生スピーカ選択部32は、選択した優先信号再生スピーカのスピーカ識別情報と、当該優先信号識別情報とを対応付けて優先信号再生スピーカ記憶部22に記憶させる。

0032

ここで、例えば、図2に示すような再生スピーカ配置に場合の一例により、優先信号再生スピーカ選択部32の処理を具体的に説明する。
図2は、本実施形態による優先信号の再生スピーカを選択する処理の一例を説明する図である。この図において、有効スピーカが、利用者HD前方にある5つのスピーカ(SPFL、SPFLC、SPFC、SPFRC、SPFR)であり、有効スピーカ記憶部23は、当該5つのスピーカ(SPFL、SPFLC、SPFC、SPFRC、SPFR)を含む有効スピーカ情報を記憶している。このような状態において、最も優先度の高い音声信号が、ダイアログ音声信号である場合に、優先信号再生スピーカ選択部32は、当該ダイアログ音声信号を優先信号として抽出するとともに、方向情報に基づいて、例えば、当該ダイアログ音声信号の音源方向に最も近いスピーカSPFCを優先信号再生スピーカとして選択する。

0033

また、優先信号再生スピーカ選択部32は、優先度が複数レベル複数グループ)ある場合には、優先度が高い順に音声信号と、優先信号である当該音声信号のチャンネル数の変換先となる優先信号再生スピーカとの組み合わせを選定する。すなわち、優先信号再生スピーカ選択部32は、優先度が高い順に優先信号と優先信号再生スピーカとの対応づけを行う。例えば、図2に示す例では、優先信号再生スピーカ選択部32は、次に優先度の高い音声信号に対応する優先信号再生スピーカを、5つのスピーカのうちのスピーカSPFCを除いた有効スピーカ(SPFL、SPFLC、SPFRC、SPFR)のうちから選択する。

0034

有効スピーカ更新部33(出力先更新部の一例)は、使用可能な再生スピーカのうちから、優先信号再生スピーカ選択部32によって選択された優先信号再生スピーカを除外した再生スピーカを、新たな使用可能な再生スピーカ(有効スピーカ)として更新する。有効スピーカ更新部33は、例えば、有効スピーカ記憶部23が記憶する有効スピーカ情報から、優先信号再生スピーカを削除してもよいし、優先信号再生スピーカのスピーカ識別情報に有効スピーカから除外したことを示す情報を付与してもよい。

0035

また、有効スピーカ更新部33は、優先信号再生スピーカ選択部32によって、優先信号と優先信号再生スピーカとの組み合わせが選定されるごとに、有効スピーカ情報を更新してもよいし、一連の優先信号と優先信号再生スピーカとの組み合わせの選定が完了した後に、まとめて有効スピーカ情報を更新してもよい。
例えば、上述した図2に示す例では、有効スピーカ更新部33は、4つのスピーカ(SPFL、SPFLC、SPFRC、SPFR)を有効スピーカとして、有効スピーカ記憶部23が記憶する有効スピーカ情報を更新する。

0036

信号変換部34は、優先信号再生スピーカ選択部32によって選択された優先信号再生スピーカに対応するチャンネルに、当該優先信号を優先して出力する変換を行うとともに、複数の音声信号を使用可能な再生スピーカに対応したチャンネル数の音声信号に変換する。信号変換部34は、例えば、優先信号を含まない複数の音声信号を、有効スピーカ更新部33によって更新された使用可能な再生スピーカに対応したチャンネル数の音声信号に変換する。具体的に、信号変換部34は、優先信号再生スピーカ記憶部22が記憶する優先信号及び優先信号再生スピーカの組み合わせと、有効スピーカ記憶部23が記憶する有効スピーカ情報と、変換情報記憶部24が記憶する変換マトリックスとに基づいて、変換係数(例えば、ダウンミックス係数)を生成する。

0037

図3は、本実施形態による音声信号の変換処理の一例を説明する図である。
図3に示す例では、Mチャンネルの音声信号(SI1〜SIM)をNチャンネルの音声信号(SO1〜SON)に変換する場合の一例であり、音声信号SI1が優先信号として、チャンネル1の音声信号SO1が優先信号再生スピーカに対応する音声信号として割り当てられている。

0038

この場合、音声信号(SO1〜SON)は、図3に示すように、音声信号(SI1〜SIM)の行列にダウンミックス係数MK(変換行列)を乗算して各音声信号を加算することにより求められる。ここで、例えば、ダウンミックス係数MK(変換行列)の初期値未知数である場合には、信号変換部34は、優先信号を優先して割り付けるように、優先信号に対応する係数部分SK1を決定した後に、係数部分SK2を新たに決定する。図3に示す例では、優先信号以外の信号は、“優先度なし”の全て同一の優先度であり、優先信号以外の信号に対応する係数部分SK2である係数SK22、・・・、SK2M、・・・、SKN2、・・・、SKNMは、係数部分SK1が決定された後に、新たに決定される。
また、ダウンミックス係数MKの初期値(例えば、上述した{K11、・・・、K1M、K21、・・・、KNM})が予め定められていてもよい。その場合、信号変換部34は、必要な変換処理に対応する変換マトリックスを変換情報記憶部24から取得し、優先信号を優先して割り付けるように、優先信号に対応する係数部分SK1を変更して、ダウンミックス係数MK(変換行列)を生成する。なお、優先信号以外の信号に関しては、信号変換部34は、取得した変換マトリックスの優先信号以外の信号に対応する係数部分SK2を係数部分SK1に応じて変更する。

0039

信号変換部34は、このように生成したダウンミックス係数MKを使用して、Mチャンネルの音声信号(SI1〜SIM)をNチャンネルの音声信号(SO1〜SON)に変換する。信号変換部34は、変換処理したNチャンネルの音声信号(SO1〜SON)を再生装置が保有している再生スピーカに出力する。

0040

次に、図4を参照して、本実施形態による音響処理装置1の動作について説明する。
図4は、本実施形態による音響処理装置1の動作の一例を示すフローチャートである。
図4に示すように、音響処理装置1は、まず、音声信号を抽出する(ステップS101)。すなわち、音響処理装置1の音声信号抽出部10は、入力された音声ストリームデータに含まれる複数の音声信号データ、及び付加情報を、音響処理の処理単位で抽出する。音声信号抽出部10は、抽出した複数の音声信号データ、及び付加情報を、音響処理部30の優先度判定部31に出力する。

0041

次に、優先度判定部31は、優先度を判定する(ステップS102)。すなわち、優先度判定部31は、例えば、音声信号抽出部10によって抽出された音声信号データに含まれるダイアログ情報や音声信号に付与されたメタ情報に含まれる音声信号のimportance情報に基づいて、音声信号の優先度を判定し、当該音声信号の優先度を示す優先度情報を生成する。優先度判定部31は、各音声信号の信号識別情報と、優先度情報と、方向情報とを対応付けて音声情報記憶部21に記憶させる。

0042

次に、音響処理部30の優先信号再生スピーカ選択部32は、最優先度の音声信号があるか否かを判定する(ステップS103)。優先信号再生スピーカ選択部32は、音声情報記憶部21が記憶する音声情報に基づいて、最も優先度の高い優先度情報があるか否かを判定する。優先信号再生スピーカ選択部32は、最も優先度の高い優先度情報があると判定した場合(ステップS103:YES)に、処理をステップS104に進める。また、優先信号再生スピーカ選択部32は、最も優先度の高い優先度情報がないと判定した場合(ステップS103:NO)に、処理をステップS106に進める。

0043

ステップS104において、優先信号再生スピーカ選択部32は、最優先度の音声信号を優先信号再生スピーカに割り付ける。すなわち、優先信号再生スピーカ選択部32は、最も優先度の高い優先度情報に対応する信号識別情報及び方向情報(座標情報)を音声情報記憶部21から取得する。優先信号再生スピーカ選択部32は、例えば、音声信号の方向情報(座標情報)を用いて、例えば、ドロネー三角形分割法などの手法を用いて、当該信号識別情報に割り付ける優先信号再生スピーカを選択する。優先信号再生スピーカ選択部32は、選択した優先信号再生スピーカのスピーカ識別情報と、当該優先信号識別情報とを対応付けて優先信号再生スピーカ記憶部22に記憶させる。

0044

次に、音響処理部30の有効スピーカ更新部33は、有効スピーカ情報を更新する(ステップS105)。有効スピーカ更新部33は、例えば、使用可能な再生スピーカのうちから、優先信号再生スピーカ選択部32によって選択された優先信号再生スピーカを除外した再生スピーカを、新たな使用可能な再生スピーカ(有効スピーカ)として更新する。有効スピーカ更新部33は、例えば、有効スピーカ記憶部23が記憶する有効スピーカ情報から、優先信号再生スピーカを除外して、再び有効スピーカ記憶部23に有効スピーカ情報を記憶させる。ステップS105の処理後に、有効スピーカ更新部33は、処理を上述したステップS103に戻し、次の優先度のグループに対して、ステップS103からステップS105の処理と同様の処理を実行させる。

0045

また、ステップS106(最も優先度の高い優先度情報がない場合)において、信号変換部34は、優先信号再生スピーカの情報、及び有効スピーカ情報に基づいて、音声信号を変換する。すなわち、信号変換部34は、優先信号再生スピーカ記憶部22が記憶する優先信号及び優先信号再生スピーカの組み合わせと、有効スピーカ記憶部23が記憶する有効スピーカ情報と、変換情報記憶部24が記憶する変換マトリックスとをまず取得する。信号変換部34は、取得した優先信号及び優先信号再生スピーカの組み合わせと、有効スピーカ情報と、変換マトリックスとに基づいて、変換係数(例えば、図3のダウンミックス係数MK)を生成する。そして、信号変換部34は、生成した変換係数に基づいて、例えば、図3の示す変換式を用いて、再生スピーカに出力する音声信号に変換する。

0046

次に、信号変換部34は、変換した音声信号を各再生スピーカに出力して(ステップS107)、処理を終了する。なお、音響処理装置1は、上述したステップS101からステップS107の処理を、音声ストリームでデータから音響処理の処理単位で音声信号データを抽出して繰り返し実行する。また、上述した例では、ステップS103及びステップS104の処理が、優先信号再生スピーカ選択ステップ(優先出力先選択ステップ)に対応し、ステップS106の処理が、信号変換ステップに対応する。

0047

以上説明したように、本実施形態による音響処理装置1は、優先信号再生スピーカ選択部32(優先出力先選択部)と、信号変換部34とを備える。優先信号再生スピーカ選択部32は、音声信号(音信号)の優先度を示す優先度情報と、音声信号の音源方向を示す方向情報とに基づいて、使用可能な再生スピーカ(音声信号の出力先)のうちから、当該音声信号を優先して出力する優先信号再生スピーカ(優先出力先)を選択する。そして、優先信号再生スピーカ選択部32は、当該優先信号再生スピーカに当該音声信号を優先信号(優先音信号)として対応付ける。信号変換部34は、優先信号再生スピーカ選択部32によって選択された優先信号再生スピーカに対応するチャンネルに、当該優先信号を優先して出力する変換を行うとともに、複数の音声信号を使用可能な再生スピーカに対応したチャンネル数の音声信号に変換する。

0048

これにより、本実施形態による音響処理装置1は、例えば、優先度が高い音声信号を優先して優先信号再生スピーカに出力するため、優先度が高い音声信号(例えば、ナレーションや台詞などのダイアログ音声信号)に、他の音声信号(例えば、背景音や楽器音など)によるマスキングが生じて明瞭性が損なわれることを低減することができる。よって、本実施形態による音響処理装置1は、出力する音の明瞭性を高めることができる。

0049

また、本実施形態による音響処理装置1は、優先度判定部31と、有効スピーカ更新部33(出力先更新部)とを備える。優先度判定部31は、優先度を判定し、優先度情報を生成する。有効スピーカ更新部33は、使用可能な再生スピーカのうちから、優先信号再生スピーカ選択部32によって選択された優先信号再生スピーカを除外した出力先を、新たな使用可能な再生スピーカとして更新する。そして、信号変換部34は、優先信号を含まない複数の音声信号を、有効スピーカ更新部33によって更新された使用可能な再生スピーカに対応したチャンネル数の音声信号に変換する。
これにより、本実施形態による音響処理装置1は、優先度が高い音声信号を出力する優先信号再生スピーカに割り付けた再生スピーカを使用可能な再生スピーカから除外するため、優先度が高い音声信号を出力する優先信号再生スピーカに、他の音声信号が出力されることを適切に防止することができる。

0050

また、本実施形態では、優先度判定部31は、チャンネルの重要度を示す重要度情報(例えば、importance情報)、ダイアログ情報、及びチャンネルの位置を示すチャンネル位置情報のうちの少なくとも1つに基づいて、優先度を判定し、優先度情報を生成する。
これにより、本実施形態による音響処理装置1は、音声信号の優先度を適切に判定することができる。

0051

また、本実施形態では、優先信号再生スピーカ選択部32は、複数の音声信号のうちの優先度が高い順に、優先信号再生スピーカを選択する。
これにより、本実施形態による音響処理装置1は、音声信号の優先度が高い順に、優先して優先信号再生スピーカに割り付けるため、優先度に応じて、出力する音の明瞭性を高めることができる。

0052

また、本実施形態による音響処理方法は、優先信号再生スピーカ選択ステップ(優先出力先選択ステップ)と、信号変換ステップとを含む。優先信号再生スピーカ選択ステップにおいて、優先信号再生スピーカ選択部32が、音声信号の優先度を示す優先度情報と、音声信号の音源方向を示す方向情報とに基づいて、使用可能な再生スピーカのうちから、当該音声信号を優先して出力する優先信号再生スピーカを選択し、当該優先信号再生スピーカに当該音声信号を優先信号として対応付ける。信号変換ステップにおいて、信号変換部34が、優先信号再生スピーカ選択ステップによって選択された優先信号再生スピーカに対応するチャンネルに、当該優先信号を優先して出力する変換を行うとともに、複数の音声信号を使用可能な再生スピーカに対応したチャンネル数の音声信号に変換する。
これにより、本実施形態による音響処理方法は、上述した音響処理装置1と同様に、出力する音の明瞭性を高めることができる。

0053

[第2の実施形態]
次に、図面を参照して、第2の実施形態による音響処理装置1aについて説明する。
図5は、本実施形態による音響処理装置1aの一例を示すブロック図である。
図5に示すように、音響処理装置1aは、音声信号抽出部10と、記憶部20aと、音響処理部30aとを備える。この図において、図1に示す構成と同一の構成については、同一の符号を付与し、その説明を省略する。
なお、本実施形態による音響処理装置1aは、音声信号のグルーピングを行う点が第1の実施形態と異なる。

0054

記憶部20aは、音響処理装置1aが実行する処理に利用する各種情報を記憶する。記憶部20aは、例えば、音声情報記憶部21aと、優先信号再生スピーカ記憶部22と、有効スピーカ記憶部23と、変換情報記憶部24とを備える。
音声情報記憶部21aは、音声信号抽出部10によって抽出された音声信号に関する情報を記憶する。音声情報記憶部21aは、例えば、音声信号を識別する信号識別情報(例えば、チャンネル名、チャンネル番号など)と、音声信号の優先度を示す優先度情報と、音声信号の音源方向を示す方向情報と、音声信号のグループを示すグループ識別情報とを対応付けて記憶する。

0055

音響処理部30aは、例えば、CPUやDSPを含み、音響処理を実行する。音響処理部30aは、優先度判定部31aと、優先信号再生スピーカ選択部32と、有効スピーカ更新部33と、信号変換部34とを備える。

0056

優先度判定部31aは、例えば、音声信号抽出部10によって抽出された音声信号データに含まれる情報や付加情報に含まれる音声信号のimportance情報などに基づいて、音声信号の優先度を判定し、当該音声信号の優先度を示す優先度情報を生成する。また、優先度判定部31aは、優先度に応じて、音声信号をグループに分類(グルーピング)する。例えば、優先度判定部31aは、同一の優先度に対応する音声信号を同一のグループに分類してもよいし、使用可能な再生スピーカの数に応じてグループ数を決定し、当該グループ数に応じて、優先度の近い音声信号を同一のグループに分類してもよい。優先度判定部31aは、信号識別情報と、優先度情報と、方向情報と、音声信号のグループを示すグループ識別情報とを対応付けて、音声情報記憶部21aに記憶させる。

0057

なお、本実施形態における優先信号再生スピーカ選択部32は、基本的に第1の実施形態と同様であるが、優先度判定部31aによって分類されたグループに基づいて、優先信号と優先信号再生スピーカとの組み合わせを選択する。例えば、優先度が最も高いグループに3つの音声信号が含まれる場合に、優先信号再生スピーカ選択部32は、当該グループに含まれる3つの音声信号についてそれぞれ、優先信号再生スピーカを選択する。
このように、本実施形態では、優先信号再生スピーカ選択部32は、分類した音声信号のグループを、所定のグループ数を有する優先度として、優先信号再生スピーカを選択する。すなわち、優先信号再生スピーカ選択部32は、使用可能な再生スピーカの数に応じて設定された優先度のグループ数に基づいて、優先信号再生スピーカを選択する。

0058

次に、図6を参照して、本実施形態による音響処理装置1aの動作について説明する。
図6は、本実施形態による音響処理装置1aの動作の一例を示すフローチャートである。
図6において、ステップS201及びステップS202の処理は、図4に示すステップS101及びステップS102の処理と同様であるため、ここではその説明を省略する。

0059

ステップS203において、優先度判定部31aは、音声信号をグループに分類する。例えば、優先度判定部31aは、使用可能な再生スピーカの数と、優先度情報とに基づいて、音声信号をグループに分類する。すなわち、優先度判定部31aは、使用可能な再生スピーカの数と優先度情報とに応じて、分類するグループ数(優先度のグループ数)を決定し、当該グループ数と優先度情報とに基づいて、各音声信号を各グループに分類する。また、優先度判定部31aは、信号識別情報と、優先度情報と、方向情報と、グループ識別情報とを対応付けて、音声情報記憶部21aに記憶させる。

0060

続く、ステップS204及びステップS205の処理は、優先信号再生スピーカ選択部32が、音声情報記憶部21aが記憶する音声信号のグループを音声信号の優先度として、図4に示すステップS103及びステップS104の処理と同様の処理を実行する。
また、ステップS206からステップS208までの処理は、図4に示すステップS105からステップS107までの処理と同様であるので、ここでは、その説明を省略する。
なお、音響処理装置1aは、上述したステップS201からステップS208の処理を、音声ストリームでデータから音響処理の処理単位で音声信号データを抽出して繰り返し実行する。

0061

以上説明したように、本実施形態による音響処理装置1aは、優先度判定部31aと、優先信号再生スピーカ選択部32(優先出力先選択部)と、信号変換部34とを備える。優先度判定部31aは、優先度情報に基づいて、音声信号を所定のグループ数のグループに分類する。優先信号再生スピーカ選択部32は、分類されたグループに基づいて、優先信号再生スピーカを選択する。そして、優先信号再生スピーカ選択部32は、当該優先信号再生スピーカに当該音声信号を優先信号(優先音信号)として対応付ける。信号変換部34は、優先信号再生スピーカ選択部32によって選択された優先信号再生スピーカに対応するチャンネルに、当該優先信号を優先して出力する変換を行うとともに、複数の音声信号を使用可能な再生スピーカに対応したチャンネル数の音声信号に変換する。

0062

これにより、本実施形態による音響処理装置1aは、第1の実施形態と同様に、優先度が高い音声信号に、他の音声信号によるマスキングが生じて明瞭性が損なわれることを低減することができる。よって、本実施形態による音響処理装置1aは、出力する音の明瞭性を高めることができる。

0063

また、本実施形態では、優先度判定部31aは、使用可能な再生スピーカの数に応じてグループ数を決定する。優先信号再生スピーカ選択部32は、音声信号のグループを音声信号の優先度として優先信号再生スピーカを選択する。すなわち、優先信号再生スピーカ選択部32は、使用可能な再生スピーカの数に応じて設定された優先度のグループ数に基づいて、優先信号再生スピーカを選択する。
これにより、本実施形態による音響処理装置1aは、使用可能な再生スピーカの数に応じて適切に優先度のグループ数を設定することができる。よって、本実施形態による音響処理装置1aは、使用可能な再生スピーカの数に応じて、出力する音の明瞭性を適切に高めることができる。

0064

[第3の実施形態]
次に、図面を参照して、第3の実施形態による音響処理装置1bについて説明する。
図7は、本実施形態による音響処理装置1bの一例を示すブロック図である。
図7に示すように、音響処理装置1bは、音声信号抽出部10と、記憶部20bと、音響処理部30bとを備える。この図において、図1に示す構成と同一の構成については、同一の符号を付与し、その説明を省略する。
なお、本実施形態による音響処理装置1bは、優先度の差に応じて、他の信号の出力を禁止する禁止範囲を、優先信号に対して設定する点が第1の実施形態と異なる。

0065

記憶部20bは、音響処理装置1bが実行する処理に利用する各種情報を記憶する。記憶部20bは、例えば、音声情報記憶部21と、優先信号再生スピーカ記憶部22と、有効スピーカ記憶部23と、変換情報記憶部24と、禁止範囲情報記憶部25とを備える。
禁止範囲情報記憶部25は、優先信号に対して設定される禁止範囲であって、他の信号の出力を禁止する禁止範囲を示す禁止範囲情報を記憶する。禁止範囲情報記憶部25は、例えば、優先信号識別情報と、禁止範囲(例えば、優先信号に対応する優先信号再生スピーカを中心とした所定の範囲)を示す情報とを対応付けて記憶する。ここで、禁止範囲を示す情報は、例えば、±θのような角度の範囲情報である。

0066

音響処理部30bは、例えば、CPUやDSPを含み、音響処理を実行する。音響処理部30bは、優先度判定部31と、優先信号再生スピーカ選択部32aと、有効スピーカ更新部33aと、信号変換部34aとを備える。

0067

優先信号再生スピーカ選択部32a(優先出力先選択部の一例)は、下位の優先度の差に応じて、使用可能な再生スピーカのうちの下位の優先度に対応する音信号の優先信号再生スピーカを選択禁止にする禁止範囲を設定する。ここで、下位の優先度の差とは、優先信号再生スピーカを選択した優先度の指標を示す指標値(第1指標値)と、当該第1指標値より下位の優先度の指標を示す指標値(第2指標値)との差である。なお、指標値は、例えば、importance情報の値であってもよいし、所定の演算手法によって優先度に応じて算出される値であってもよい。優先信号再生スピーカ選択部32aは、設定した禁止範囲を示す情報と、当該優先信号の優先信号識別情報とを対応付けて、禁止範囲情報記憶部25に記憶させる。

0068

また、優先信号再生スピーカ選択部32aによる優先信号再生スピーカの選択処理は、基本的には、第1の実施形態と同様であるが、禁止範囲内の再生スピーカを次の優先信号再生スピーカとして選択しない処理が付加される。すなわち、優先信号再生スピーカ選択部32aは、禁止範囲内の再生スピーカ(出力先)が選択されないように、下位の優先度に対応する音声信号の優先信号再生スピーカを選択する。また、優先信号再生スピーカ選択部32aは、例えば、第1指標値が、第1閾値以上である場合に、第1指標値と、第2指標値との差に応じて、禁止範囲を設定する。すなわち、優先信号再生スピーカ選択部32aは、優先度が高い場合(例えば、第1閾値以上)に、禁止範囲を設定する。
また、優先信号再生スピーカ選択部32aは、例えば、禁止範囲情報記憶部25が記憶する禁止範囲を示す情報に基づいて、禁止範囲の再生スピーカ(出力先)が選択されないように、下位の優先度に対応する音声信号の優先信号再生スピーカを選択する。

0069

ここで、図8を参照して、本実施形態による再生スピーカの禁止範囲について説明する。
図8は、本実施形態による再生スピーカの禁止範囲の一例を説明する図である。
この図において、再生スピーカの配置は、上述した図2と同様である。
図8において、優先信号再生スピーカ選択部32aが、スピーカSPFCを優先信号再生スピーカとして選択した場合、優先信号の優先度の指標値と、次の(下位の)優先度の指標値との差に応じて、禁止範囲Dθを設定する。この禁止範囲Dθは、例えば、スピーカSPFCを中心とした±θの角度範囲である。優先信号再生スピーカ選択部32aが、上述した指標値の差が大きい程、広い禁止範囲Dθを設定し、上述した指標値の差が小さい程、狭い禁止範囲Dθを設定する。図8に示す例では、禁止範囲Dθは、スピーカSPFLC及びスピーカSPFRCを含んだ範囲になっており、この場合、優先信号再生スピーカ選択部32aは、スピーカSPFLC及びスピーカSPFRCを有効スピーカ情報から除外する。

0070

有効スピーカ更新部33a(出力先更新部の一例)は、使用可能な再生スピーカのうちから、優先信号再生スピーカ選択部32aによって選択された優先信号再生スピーカ及び上述した禁止範囲の再生スピーカを除外した再生スピーカを、新たな使用可能な再生スピーカ(有効スピーカ)として更新する。

0071

信号変換部34aは、優先信号再生スピーカ選択部32aによって選択された優先信号再生スピーカに対応するチャンネルに、当該優先信号を優先して出力する変換を行うとともに、上述した禁止範囲と、有効スピーカ情報とに基づいて、複数の音声信号を使用可能な再生スピーカに対応したチャンネル数の音声信号に変換する。信号変換部34aは、例えば、優先信号及び優先信号再生スピーカの組み合わせと、有効スピーカ情報と、変換マトリックスと、禁止範囲情報記憶部25が記憶する禁止範囲情報とに基づいて、変換係数(例えば、ダウンミックス係数)を生成する。なお、信号変換部34aは、優先信号及び優先信号再生スピーカの組み合わせを優先信号再生スピーカ記憶部22から取得し、有効スピーカ情報を有効スピーカ記憶部23から取得し、変換マトリックスを変換情報記憶部24から取得する。信号変換部34aは、生成した変換係数(例えば、ダウンミックス係数)を利用して、複数の音声信号を使用可能な再生スピーカに対応したチャンネル数の音声信号に変換する。

0072

次に、図9を参照して、本実施形態による音響処理装置1bの動作について説明する。
図9は、本実施形態による音響処理装置1bの動作の一例を示すフローチャートである。
図9において、ステップS301及びステップS303の処理は、図4に示すステップS101及びステップS103の処理と同様であるため、ここではその説明を省略する。

0073

ステップS304において、音響処理部30bの優先信号再生スピーカ選択部32aは、最高優先度が第1閾値以上であるか否かを判定する。すなわち、優先信号再生スピーカ選択部32aは、最優先度の指標を示す第1指標値が、予め設定された第1閾値以上であるか否かを判定する。優先信号再生スピーカ選択部32aは、最高優先度が第1閾値以上である場合(ステップS304:YES)に、処理をステップS305に進める。また、優先信号再生スピーカ選択部32aは、最高優先度が第1閾値未満である場合(ステップS304:NO)に、処理をステップS306に進める。

0074

ステップS305において、優先信号再生スピーカ選択部32aは、優先度の差に応じて、禁止範囲を設定する。すなわち、優先信号再生スピーカ選択部32aは、上述した第1指標値と、次の優先度の指標を示す第2指標値との差(優先度の差)に応じて、禁止範囲を設定する。優先信号再生スピーカ選択部32aは、設定した禁止範囲を示す情報と、当該優先信号の優先信号識別情報とを対応付けて、禁止範囲情報記憶部25に記憶させる。

0075

ステップS306において、優先信号再生スピーカ選択部32aは、最優先度の音声信号を優先信号再生スピーカに割り付ける。なお、上位の優先度(前の優先信号)において禁止範囲が設定されている場合には、優先信号再生スピーカ選択部32aは、上位の優先度(前の優先信号)で設定された禁止範囲の再生スピーカ(出力先)が選択されないように、現在の優先度に対応する音声信号の優先信号再生スピーカを選択する。優先信号再生スピーカ選択部32aは、選択した優先信号再生スピーカのスピーカ識別情報と、当該優先信号識別情報とを対応付けて優先信号再生スピーカ記憶部22に記憶させる。

0076

次に、有効スピーカ更新部33aは、有効スピーカ情報を更新する(ステップS307)。有効スピーカ更新部33aは、使用可能な再生スピーカのうちから、優先信号再生スピーカ選択部32aによって選択された優先信号再生スピーカ及び上述した禁止範囲の再生スピーカを除外した再生スピーカを、新たな使用可能な再生スピーカ(有効スピーカ)として更新する。ステップS307の処理後に、有効スピーカ更新部33aは、処理を上述したステップS303に戻し、次の優先度のグループに対して、ステップS303からステップS307の処理と同様の処理を実行させる。

0077

ステップS303において、優先信号再生スピーカ選択部32aが、最も優先度の高い優先度情報がないと判定した場合(ステップS303:NO)に、処理をステップS308に進め、信号変換部34aは、優先信号再生スピーカの情報、禁止範囲、及び有効スピーカ情報に基づいて、音声信号を変換する。信号変換部34aは、例えば、優先信号及び優先信号再生スピーカの組み合わせと、有効スピーカ情報と、変換マトリックスと、禁止範囲情報記憶部25が記憶する禁止範囲情報とに基づいて、変換係数(例えば、ダウンミックス係数)を生成する。そして、信号変換部34aは、生成した変換係数(例えば、ダウンミックス係数)を利用して、複数の音声信号を使用可能な再生スピーカに対応したチャンネル数の音声信号に変換する。

0078

続く、ステップS309の処理は、図4に示すステップS107の処理と同様であるので、ここではその説明を省略する。
なお、音響処理装置1bは、上述したステップS301からステップS309の処理を、音声ストリームでデータから音響処理の処理単位で音声信号データを抽出して繰り返し実行する。

0079

以上説明したように、本実施形態による音響処理装置1bは、優先信号再生スピーカ選択部32a(優先出力先選択部)と、信号変換部34aとを備える。
これにより、本実施形態による音響処理装置1bは、第1の実施形態と同様に、優先度が高い音声信号に、他の音声信号によるマスキングが生じて明瞭性が損なわれることを低減することができる。よって、本実施形態による音響処理装置1bは、出力する音の明瞭性を高めることができる。

0080

また、本実施形態では、優先信号再生スピーカ選択部32aは、優先信号再生スピーカを選択した優先度の指標を示す第1指標値と、当該第1指標値より下位の優先度の指標を示す第2指標値との差に応じて、使用可能な再生スピーカのうちの下位の優先度に対応する音声信号の優先信号再生スピーカを選択禁止にする禁止範囲を設定する。また、優先信号再生スピーカ選択部32aは、当該禁止範囲の出力先が選択されないように、下位の優先度に対応する音声信号の優先信号再生スピーカを選択する。
これにより、本実施形態による音響処理装置1bは、優先度が高い音声信号を優先して優先信号再生スピーカに出力し、禁止範囲によりマスキングが生じることをさらに低減できるため、優先度が高い音声信号の明瞭性をさらに高めることができる。

0081

また、本実施形態では、優先信号再生スピーカ選択部32aは、第1指標値が、第1閾値以上である場合に、第1指標値と、第2指標値との差に応じて、禁止範囲を設定する。
これにより、本実施形態による音響処理装置1bは、優先度の高い場合に、禁止範囲を適切に設定することができる。

0082

[第4の実施形態]
次に、図面を参照して、第4の実施形態による音響処理装置1cについて説明する。
図10は、本実施形態による音響処理装置1cの一例を示すブロック図である。
図10に示すように、音響処理装置1cは、音声信号抽出部10と、記憶部20cと、音響処理部30cとを備える。この図において、図1に示す構成と同一の構成については、同一の符号を付与し、その説明を省略する。
なお、本実施形態による音響処理装置1cは、優先度が低い場合に、優先度の差に応じて、当該優先信号に他の信号の出力を許可する点が第1の実施形態と異なる。

0083

記憶部20cは、音響処理装置1cが実行する処理に利用する各種情報を記憶する。記憶部20cは、例えば、音声情報記憶部21と、優先信号再生スピーカ記憶部22と、有効スピーカ記憶部23と、変換情報記憶部24と、ミック許可情報記憶部26とを備える。
ミックス許可情報記憶部26は、優先信号に対して設定されるミックス許可情報を記憶する。ミックス許可情報記憶部26は、例えば、優先信号識別情報と、他の信号の出力を許可するミックス許可を示す情報とを対応付けて記憶する。

0084

音響処理部30cは、例えば、CPUやDSPを含み、音響処理を実行する。音響処理部30cは、優先度判定部31と、優先信号再生スピーカ選択部32bと、有効スピーカ更新部33と、信号変換部34bとを備える。

0085

優先信号再生スピーカ選択部32b(優先出力先選択部の一例)は、優先信号再生スピーカを選択した優先度の指標を示す第1指標値が、第2閾値より低い場合に、下位の優先度の差に応じて、第1指標値の優先度に対応する音声信号に選択された優先信号再生スピーカに、下位の優先度に対応する音声信号の割り当てを許可する。ここで、下位の優先度の差とは、優先信号再生スピーカを選択した優先度の指標を示す指標値(第1指標値)と、当該第1指標値より下位の優先度の指標を示す指標値(第2指標値)との差である。また、優先信号再生スピーカ選択部32bは、第1指標値が、第2閾値以上である場合に、第1指標値の優先度に対応する音声信号に選択された優先信号再生スピーカに、下位の優先度に対応する音声信号の割り当てを許可しない。

0086

優先信号再生スピーカ選択部32bは、例えば、下位の優先度の差が所定の値(第3閾値)以上である場合に、下位の優先度に対応する音声信号の割り当てを許可してもよいし、下位の優先度の差に応じて、下位の優先度に対応する音声信号を割り当てる際に、信号レベルを低減させる割合を変更してもよい。優先信号再生スピーカ選択部32bは、下位の優先度に対応する音声信号の割り当ての許可(ミックス許可)を示す情報と当該優先信号の優先信号識別情報とを対応付けて、ミックス許可情報記憶部26に記憶させる。

0087

信号変換部34bは、優先信号再生スピーカに対応するチャンネルに、当該優先信号を優先して出力する変換を行うとともに、上述したミックス許可情報と、有効スピーカ情報とに基づいて、複数の音声信号を使用可能な再生スピーカに対応したチャンネル数の音声信号に変換する。信号変換部34bは、下位の優先度に対応する音声信号の割り当てが許可されている場合に、優先信号再生スピーカに、下位の優先度に対応する音声信号を、所定の信号レベル以下で割り当てる。信号変換部34bは、例えば、優先信号及び優先信号再生スピーカの組み合わせと、有効スピーカ情報と、変換マトリックスと、ミックス許可情報記憶部26が記憶するミックス許可情報とに基づいて、変換係数(例えば、ダウンミックス係数)を生成する。信号変換部34bは、生成した変換係数(例えば、ダウンミックス係数)を利用して、複数の音声信号を使用可能な再生スピーカに対応したチャンネル数の音声信号に変換する。

0088

次に、図11を参照して、本実施形態による音響処理装置1cの動作について説明する。
図11は、本実施形態による音響処理装置1cの動作の一例を示すフローチャートである。
図11において、ステップS401及びステップS403の処理は、図4に示すステップS101及びステップS103の処理と同様であるため、ここではその説明を省略する。

0089

ステップS404において、音響処理部30cの優先信号再生スピーカ選択部32bは、最高優先度が第2閾値より低いか否かを判定する。すなわち、優先信号再生スピーカ選択部32bは、最優先度の指標を示す第1指標値が、予め設定された第2閾値未満であるか否かを判定する。優先信号再生スピーカ選択部32bは、最高優先度が第2閾値未満である場合(ステップS404:YES)に、処理をステップS405に進める。また、優先信号再生スピーカ選択部32bは、最高優先度が第2閾値以上である場合(ステップS404:NO)に、処理をステップS406に進める。

0090

ステップS405において、優先信号再生スピーカ選択部32bは、優先度の差に応じて、許可情報を設定する。すなわち、優先信号再生スピーカ選択部32bは、上述した第1指標値と、次の優先度の指標を示す第2指標値との差(優先度の差)に応じて、下位の優先度に対応する音声信号の割り当てを許可する許可情報(ミックス許可を示す情報)を設定する。優先信号再生スピーカ選択部32bは、許可情報(ミックス許可を示す情報)と、当該優先信号の優先信号識別情報とを対応付けて、ミックス許可情報記憶部26に記憶させる。

0091

ステップS406において、優先信号再生スピーカ選択部32bは、最優先度の音声信号を優先信号再生スピーカに割り付ける。優先信号再生スピーカ選択部32bは、選択した優先信号再生スピーカのスピーカ識別情報と、当該優先信号識別情報とを対応付けて優先信号再生スピーカ記憶部22に記憶させる。

0092

次に、有効スピーカ更新部33は、有効スピーカ情報を更新する(ステップS407)。有効スピーカ更新部33は、使用可能な再生スピーカのうちから、優先信号再生スピーカ選択部32bによって選択された優先信号再生スピーカを除外した再生スピーカを、新たな使用可能な再生スピーカ(有効スピーカ)として更新する。ステップS407の処理後に、有効スピーカ更新部33は、処理を上述したステップS403に戻し、次の優先度のグループに対して、ステップS403からステップS407の処理と同様の処理を実行させる。

0093

ステップS403において、優先信号再生スピーカ選択部32bが、最も優先度の高い優先度情報がないと判定した場合(ステップS403:NO)に、処理をステップS408に進め、信号変換部34bは、優先信号再生スピーカの情報、許可情報、及び有効スピーカ情報に基づいて、音声信号を変換する。信号変換部34bは、例えば、優先信号及び優先信号再生スピーカの組み合わせと、有効スピーカ情報と、変換マトリックスと、ミックス許可情報記憶部26が記憶する許可情報とに基づいて、変換係数(例えば、ダウンミックス係数)を生成する。なお、信号変換部34bは、下位の優先度に対応する音声信号の割り当てが許可されている場合に、優先信号再生スピーカに、下位の優先度に対応する音声信号を、所定の信号レベル以下で割り当てる変換係数(例えば、ダウンミックス係数)を生成する。そして、信号変換部34bは、生成した変換係数(例えば、ダウンミックス係数)を利用して、複数の音声信号を使用可能な再生スピーカに対応したチャンネル数の音声信号に変換する。

0094

続く、ステップS409の処理は、図4に示すステップS107の処理と同様であるので、ここではその説明を省略する。
なお、音響処理装置1cは、上述したステップS401からステップS409の処理を、音声ストリームでデータから音響処理の処理単位で音声信号データを抽出して繰り返し実行する。

0095

以上説明したように、本実施形態による音響処理装置1cは、優先信号再生スピーカ選択部32b(優先出力先選択部)と、信号変換部34bとを備える。
これにより、本実施形態による音響処理装置1cは、第1の実施形態と同様に、優先度が高い音声信号に、他の音声信号によるマスキングが生じて明瞭性が損なわれることを低減することができる。よって、本実施形態による音響処理装置1cは、出力する音の明瞭性を高めることができる。

0096

また、本実施形態では、優先信号再生スピーカ選択部32bは、優先信号再生スピーカを選択した優先度の指標を示す第1指標値が、第2閾値より低い場合に、第1指標値と、当該第1指標値より下位の優先度の指標を示す第2指標値との差に応じて、第1指標値の優先度に対応する音声信号に選択された優先信号再生スピーカに、下位の優先度に対応する音声信号の割り当てを許可する。そして、信号変換部34bは、下位の優先度に対応する音声信号の割り当てが許可されている場合に、優先信号再生スピーカに、下位の優先度に対応する音声信号を、所定の信号レベル以下で割り当てる。

0097

これにより、本実施形態による音響処理装置1cは、優先度が低い優先信号に対応する優先信号再生スピーカに対して、他の音声信号を所定の信号レベル以下で割り付けることを許可するため、例えば、再生スピーカ(音信号の出力先)の数が少ない場合であっても、複数の音声信号を適切に変換することができる。また、本実施形態による音響処理装置1cは、優先度が高い優先信号に対応する優先信号再生スピーカに対して、他の音声信号を割り付けることを許可しないため、優先度が高い音声信号に、他の音声信号によるマスキングが生じて明瞭性が損なわれることを低減することができる。

0098

なお、本発明は、上記の各実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
例えば、上記の各実施形態は、それぞれ単独で実施する例を説明したが、これに限定されるものではなく、上記の各実施形態の一部又は全部が、組み合わされて実施されてもよい。例えば、上記の第1の実施形態と第2の実施形態とが、組み合わされて実施されてもよいし、上記の第3の実施形態と第4の実施形態とが、組み合わされて実施されてもよい。また、上記の第1の実施形態から第4の実施形態の全ての実施形態が、組み合わされて実施されてもよい。

0099

また、上記の各実施形態において、信号変換部34(34a、34b)は、優先信号再生スピーカ記憶部22、有効スピーカ記憶部23、及び変換情報記憶部24が記憶する情報に基づいて、変換係数(例えば、ダウンミックス係数)を生成する例を説明したが、これに限定されるものではない。例えば、信号変換部34(34a、34b)は、さらに各音声信号の方向情報を加えた情報に基づいて、変換係数(例えば、ダウンミックス係数)を生成してもよい。

0100

また、上記の各実施形態において、信号変換部34(34a、34b)は、ダウンミックスの手法を用いて音声信号を変換する例を説明したが、例えば、レンダリングの手法などの他の変換手法を用いて音声信号を変換するようにしてもよい。
また、上記の各実施形態において、音響処理装置1(1a、1b、1c)は、音声信号抽出部10を備える例を説明したが、音声信号抽出部10を備えずに、音声信号、方向情報(座標情報)、及び優先度情報を外部から取得するようにしてもよい。

0101

なお、上述した音響処理装置1(1a、1b、1c)が備える各構成は、内部に、コンピュータシステムを有している。そして、上述した音響処理装置1(1a、1b、1c)が備える各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述した音響処理装置1(1a、1b、1c)が備える各構成における処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、インターネットWAN、LAN、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、CD−ROM等の非一過性の記録媒体であってもよい。

0102

また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部又は外部に設けられた記録媒体も含まれる。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に音響処理装置1(1a、1b、1c)が備える各構成で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル差分プログラム)であってもよい。

0103

また、上述した機能の一部又は全部を、LSI(Large Scale Integration)等の集積回路として実現してもよい。上述した各機能は個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、又は汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

0104

1、1a、1b、1c音響処理装置
10音声信号抽出部
20、20a、20b、20c 記憶部
21、21a音声情報記憶部
22優先信号再生スピーカ記憶部
23 有効スピーカ記憶部
24変換情報記憶部
25禁止範囲情報記憶部
26ミックス許可情報記憶部
30、30a、30b、30c音響処理部
31、31a優先度判定部
32、32a、32b 優先信号再生スピーカ選択部
33、33a 有効スピーカ更新部
34、34a、34b信号変換部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

該当するデータがありません

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 中興通訊股ふん有限公司の「 音声再生方法および端末、記憶媒体」が 公開されました。( 2020/09/24)

    【課題・解決手段】音声再生の過程においてターゲットスピーカーモジュールを識別し、前記ターゲットスピーカーモジュールを用いて音声を再生することを含む、音声再生方法である。端末である。本開示は受話器または... 詳細

  • 三菱電機株式会社の「 スピーカーシステム」が 公開されました。( 2020/09/24)

    【課題】高音質な音場空間を実現するスピーカーシステムを提供する。【解決手段】スピーカーシステムは、音場空間に設置されるキャビネットと、キャビネットに設けられ、音を放射する複数のスピーカーユニットと、音... 詳細

  • 日本精機株式会社の「 表示装置」が 公開されました。( 2020/09/24)

    【課題】薄型化を実現することができる表示装置を提供する。【解決手段】本実施形態の表示装置1は、表示ユニット20と、表示ユニット20を制御する回路基板30と、前面10aと、前面10aと反対の面である背面... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

該当するデータがありません

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ