図面 (/)

技術 音響処理装置、音響処理方法、およびプログラム

出願人 本田技研工業株式会社
発明者 中臺一博ガブリエルダニエル
出願日 2018年9月4日 (2年3ヶ月経過) 出願番号 2018-165365
公開日 2020年3月12日 (9ヶ月経過) 公開番号 2020-038123
状態 未査定
技術分野 音波、超音波を用いた位置、速度等の測定
主要キーワード スペクトル行列 多変量ガウス分布 外れ値除去 双曲線正接関数 入力相関 音響処理システム ミーゼス 変形ベッセル関数
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年3月12日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

音源の三次元方向の位置を精度良く推定することができる音響処理装置音響処理方法、およびプログラムを提供することを目的とする。

解決手段

音響処理装置は、位置が異なるM(Mは、3以上の整数)個の収音部のそれぞれから取得した複数チャネル音響信号に基づいて音源の方向である定位音源方向を定める音源定位部と、2個の収音部の組ごとに当該収音部のそれぞれから音源の推定音源位置への方向である推定音源方向への半直線双方に対して垂直となる線分中間点を推定音源位置として推定する音源位置推定部と、を備える。

概要

背景

環境理解において音環境の情報を取得することは重要である。従来から、音環境における種々の音源雑音から特定の音源を検出するために、音源定位音源分離音源同定などの要素技術が提案されている。特定の音源は、例えば、鳴き声や人の発話など、装置の利用者である受聴者にとって有用な音である。音源定位とは、音源の方向や位置を推定することを意味する。推定された音源の方向や位置は、音源分離や音源同定の手掛かりとなる。また、音源分離とは、複数の音それぞれを分離することを意味する。音源同定とは、音源を同定することを意味する。

このような音源分離や音源定位においては、複数のマイクロホンを有するマイクロホンアレイを用いて音声信号収音を行う。このようなマイクロホンアレイでは、マイクロホン毎に音の到来時間差が異なる。これにより、装置は音源方向を得ることができる。

一方、現在、どのような鳥の種類やどの方向から鳴いているかなどの識別等の処理を、自動的に行う研究が行われている。このような鳥の定位においては、鳥の大きさが小さく、鳥の動きが速いため、方向推定よりも位置推定が好ましい。
このため、非特許文献1には、方位角データを用いて二次元音源位置を得るための三角測量手法が開示されている。

概要

音源の三次元方向の位置を精度良く推定することができる音響処理装置音響処理方法、およびプログラムを提供することを目的とする。音響処理装置は、位置が異なるM(Mは、3以上の整数)個の収音部のそれぞれから取得した複数チャネル音響信号に基づいて音源の方向である定位音源方向を定める音源定位部と、2個の収音部の組ごとに当該収音部のそれぞれから音源の推定音源位置への方向である推定音源方向への半直線双方に対して垂直となる線分中間点を推定音源位置として推定する音源位置推定部と、を備える。

目的

本発明は、上記の問題点に鑑みてなされたものであって、音源の三次元方向の位置を精度良く推定することができる音響処理装置、音響処理方法、およびプログラムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

位置が異なるM(Mは、3以上の整数)個の収音部のそれぞれから取得した複数チャネル音響信号に基づいて音源の方向である定位音源方向を定める音源定位部と、2個の前記収音部の組ごとに当該収音部のそれぞれから前記音源の推定音源位置への方向である推定音源方向への半直線双方に対して垂直となる線分中間点を前記推定音源位置として推定する音源位置推定部と、を備える音響処理装置

請求項2

前記音源位置推定部は、前記中間点の分布を複数のクラスタ分類し、前記推定音源位置が前記音源に対応するクラスタに分類される確率である推定確率が高くなるように前記推定音源位置を更新する、請求項1に記載の音響処理装置。

請求項3

前記推定確率は、前記定位音源方向が定められるとき前記推定音源方向が得られる確率である第1確率と、前記中間点が定められるとき前記推定音源位置が得られる確率である第2確率と、前記中間点が分類されるクラスタの出現確率である第3確率と、をそれぞれ因子とする積である、請求項2に記載の音響処理装置。

請求項4

前記第1確率は、前記定位音源方向を基準とするフォンミーゼス分布に従い、前記第2確率は、前記中間点の位置を基準とする多次元ガウス関数に従い、前記音源位置推定部は、前記推定確率が高くなるように、前記フォン・ミーゼス分布の形状パラメータと、前記多次元ガウス関数の平均ならびに分散と、を更新する、請求項3に記載の音響処理装置。

請求項5

前記音源位置推定部は、前記収音部の3個から定められる3個の前記中間点の重心を前記推定音源位置の初期値として定める、請求項1から請求項4のいずれか一項に記載の音響処理装置。

請求項6

前記複数チャネルの音響信号から音源ごと音源別信号に分離する音源分離部と、前記音源別信号のスペクトルを算出する周波数分析部と、前記スペクトルを複数の第2クラスタに分類し、前記第2クラスタのそれぞれに分類される各スペクトルに係る音源が同一であるか否かを判定し、同一と判定した音源の前記推定音源位置を、同一でないと判定した音源よりも優先して選択する音源特定部と、を備える請求項1から請求項5のいずれか一項に記載の音響処理装置。

請求項7

前記音源特定部は、前記第2クラスタのそれぞれに分類されるスペクトルに係る音源の前記推定音源位置の分散に基づいて当該第2クラスタの安定性を評価し、前記安定性が高い第2クラスタほど当該第2クラスタにスペクトルが分類される音源の前記推定音源位置を優先して選択する、請求項6に記載の音響処理装置。

請求項8

音響処理装置における音響処理方法であって、前記音響処理装置が、位置が異なるM(Mは、3以上の整数)個の収音部のそれぞれから取得した複数チャネルの音響信号に基づいて音源の方向である定位音源方向を定める音源定位過程と、2個の前記収音部の組ごとに当該収音部のそれぞれから前記音源の推定音源位置への方向である推定音源方向への半直線双方に対して垂直となる線分の中間点を前記推定音源位置として推定する音源位置推定過程と、を有する音響処理方法。

請求項9

音響処理装置のコンピュータに、位置が異なるM(Mは、3以上の整数)個の収音部のそれぞれから取得した複数チャネルの音響信号に基づいて音源の方向である定位音源方向を定める音源定位手順と、2個の前記収音部の組ごとに当該収音部のそれぞれから前記音源の推定音源位置への方向である推定音源方向への半直線双方に対して垂直となる線分の中間点を音源位置推定手順と、を実行させるためのプログラム

技術分野

0001

本発明は、音響処理装置音響処理方法、およびプログラムに関する。

背景技術

0002

環境理解において音環境の情報を取得することは重要である。従来から、音環境における種々の音源雑音から特定の音源を検出するために、音源定位音源分離音源同定などの要素技術が提案されている。特定の音源は、例えば、鳴き声や人の発話など、装置の利用者である受聴者にとって有用な音である。音源定位とは、音源の方向や位置を推定することを意味する。推定された音源の方向や位置は、音源分離や音源同定の手掛かりとなる。また、音源分離とは、複数の音それぞれを分離することを意味する。音源同定とは、音源を同定することを意味する。

0003

このような音源分離や音源定位においては、複数のマイクロホンを有するマイクロホンアレイを用いて音声信号収音を行う。このようなマイクロホンアレイでは、マイクロホン毎に音の到来時間差が異なる。これにより、装置は音源方向を得ることができる。

0004

一方、現在、どのような鳥の種類やどの方向から鳴いているかなどの識別等の処理を、自動的に行う研究が行われている。このような鳥の定位においては、鳥の大きさが小さく、鳥の動きが速いため、方向推定よりも位置推定が好ましい。
このため、非特許文献1には、方位角データを用いて二次元音源位置を得るための三角測量手法が開示されている。

先行技術

0005

Daniel Gabriel, et.al., "Iterative Outlier Removal Method Using In-Cluster Variance Changes in Multi-Microphone Array Sound Source Localization", The Proceedings of The 79th National Convention of IPSJ, pp. 2-229-230, Nagoya University, Nagoya, Mar. 16-18,2017.

発明が解決しようとする課題

0006

しかしながら、非特許文献1に記載の技術では、音源が同じ方向に位置し且つ高さが異なる位置にある音源同士を区別することができなかった。

0007

本発明は、上記の問題点に鑑みてなされたものであって、音源の三次元方向の位置を精度良く推定することができる音響処理装置、音響処理方法、およびプログラムを提供することを目的とする。

課題を解決するための手段

0008

(1)上記目的を達成するため、本発明の一態様に係る音響処理装置(1)は、位置が異なるM(Mは、3以上の整数)個の収音部(20)のそれぞれから取得した複数チャネル音響信号に基づいて音源の方向である定位音源方向を定める音源定位部(120)と、2個の前記収音部の組ごとに当該収音部のそれぞれから前記音源の推定音源位置への方向である推定音源方向への半直線双方に対して垂直となる線分中間点を前記推定音源位置として推定する音源位置推定部(14)と、を備える。

0009

(2)また、本発明の一態様に係る音響処理装置において、前記音源位置推定部は、前記中間点の分布を複数のクラスタ分類し、前記推定音源位置が前記音源に対応するクラスタに分類される確率である推定確率が高くなるように前記推定音源位置を更新するようにしてもよい。

0010

(3)また、本発明の一態様に係る音響処理装置において、前記推定確率は、前記定位音源方向が定められるとき前記推定音源方向が得られる確率である第1確率と、前記中間点が定められるとき前記推定音源位置が得られる確率である第2確率と、前記中間点が分類されるクラスタの出現確率である第3確率と、をそれぞれ因子とする積であるようにしてもよい。

0011

(4)また、本発明の一態様に係る音響処理装置において、前記第1確率は、前記定位音源方向を基準とするフォンミーゼス分布に従い、前記第2確率は、前記中間点の位置を基準とする多次元ガウス関数に従い、前記音源位置推定部は、前記推定確率が高くなるように、前記フォン・ミーゼス分布の形状パラメータと、前記多次元ガウス関数の平均ならびに分散と、を更新するようにしてもよい。

0012

(5)また、本発明の一態様に係る音響処理装置において、前記音源位置推定部は、前記収音部の3個から定められる3個の前記中間点の重心を前記推定音源位置の初期値として定めるようにしてもよい。

0013

(6)また、本発明の一態様に係る音響処理装置において、前記複数チャネルの音響信号から音源ごと音源別信号に分離する音源分離部(122)と、前記音源別信号のスペクトルを算出する周波数分析部(124)と、前記スペクトルを複数の第2クラスタに分類し、前記第2クラスタのそれぞれに分類される各スペクトルに係る音源が同一であるか否かを判定し、同一と判定した音源の前記推定音源位置を、同一でないと判定した音源よりも優先して選択する音源特定部(16)と、を備えるようにしてもよい。

0014

(7)また、本発明の一態様に係る音響処理装置において、前記音源特定部は、前記第2クラスタのそれぞれに分類されるスペクトルに係る音源の前記推定音源位置の分散に基づいて当該第2クラスタの安定性を評価し、前記安定性が高い第2クラスタほど当該第2クラスタにスペクトルが分類される音源の前記推定音源位置を優先して選択するようにしてもよい。

0015

(8)上記目的を達成するため、本発明の一態様に係る音響処理方法は、音響処理装置における音響処理方法であって、前記音響処理装置が、位置が異なるM(Mは、3以上の整数)個の収音部のそれぞれから取得した複数チャネルの音響信号に基づいて音源の方向である定位音源方向を定める音源定位過程と、2個の前記収音部の組ごとに当該収音部のそれぞれから前記音源の推定音源位置への方向である推定音源方向への半直線双方に対して垂直となる線分の中間点を前記推定音源位置として推定する音源位置推定過程と、を有する。

0016

(9)上記目的を達成するため、本発明の一態様に係るプログラムは、音響処理装置のコンピュータに、位置が異なるM(Mは、3以上の整数)個の収音部のそれぞれから取得した複数チャネルの音響信号に基づいて音源の方向である定位音源方向を定める音源定位手順と、2個の前記収音部の組ごとに当該収音部のそれぞれから前記音源の推定音源位置への方向である推定音源方向への半直線双方に対して垂直となる線分の中間点を音源位置推定手順と、を実行させる。

発明の効果

0017

上述した(1)または(8)あるいは(9)によれば、それぞれ異なる収音部からの定位音源方向による半直線が交差しなくても半直線双方に対して垂直となる線分の中間点によって定まる点を推定音源位置として推定することができる。

0018

上述した(2)によれば、それぞれ異なる収音部からの定位音源方向により定まる中間点が分類されるクラスタの範囲内に、対応する音源の推定音源位置が分類される可能性が高くなるように推定音源位置が調整される。クラスタの範囲内に音源が存在する可能性が高くなるので、調整される推定音源位置がより正確な音源位置として得られる。

0019

一般に、定位音源方向、推定音源位置及び中間点は相互に依存するが、(3)の音源位置推定部は、第1確率、第2確率及び第3確率をそれぞれ独立な推定確率の因子として推定音源位置を定めることができる。そのため、(3)の構成によれば、推定音源位置の調整に係る計算負荷が低減する。

0020

上述した(4)の構成によれば、第1確率の推定音源方向の関数、第2確率の推定音源位置の関数が、それぞれ形状パラメータ、平均ならびに分散といった少数パラメータで表される。そのため、推定音源位置の調整に係る計算負荷がさらに低減する。

0021

上述した(5)の構成によれば、推定音源位置の初期値を、音源が存在する可能性が高い3個の中間点をそれぞれ頂点とする三角形の領域内に設定することができる。そのため、調整による推定音源位置の変化が収束するまでの計算負荷が低減する。

0022

上述した(6)の構成によれば、スペクトルに基づいて同一と判定されなかった音源の定位音源方向の中間点に基づいて推定された推定音源位置が棄却される可能性が高くなる。
そのため、互いに異なる音源の推定音源方向の中間点に基づいて推定音源位置が虚像として誤って選択される可能性を低くすることができる。

0023

上述した(7)の構成によれば、推定音源位置が定常的な音源のスペクトルが分類される第2クラスタに対応する音源の推定音源位置が選択される可能性が高くなる。即ち、推定音源位置が選択される第2クラスタには、偶発的に互いに異なる音源の推定音源方向の中間点に基づいて推定される推定音源位置が含まれる可能性が低くなる。そのため、互いに異なる音源の推定音源方向の中間点に基づいて推定音源位置が虚像として誤って選択される可能性をさらに低くすることができる。

図面の簡単な説明

0024

本実施形態に係る音響処理システムの構成を示すブロック図である。
マイクロホンアレイ(収音部20)の外形例を示す図である。
二次元空間における2つのマイクロホンアレイそれぞれによって定位された音源方向を示す図である。
三次元空間における2つのマイクロホンアレイそれぞれによって定位された音源方向を示す図である。
本実施形態に係る3つのマイクロホンアレイから音源位置を推定する例を示す図である。
マイクロホンアレイの配置と推定される音源方向の一例を示す図である。
各マイクロホンアレイから推定される音源方向の組に基づく中間点(含む交点)の一例を示す図である。
本実施形態に係る音源位置の推定の初期設定処理の一例を示すフローチャートである。
4個のマイクロホンアレイMA1〜MA4のうち、3個のマイクロホンアレイMA1〜MA3をマイクロホンアレイm1〜m3として選択し、それぞれ推定された定位音源方向d’m1、d’m2、d’m3の組み合わせから推定音源位置の初期値xnを定める場合を示す図である。
本実施形態に係る確率モデル概念図である。
本実施形態に係る音源方向探索の説明図である。
本実施形態に係る音源位置更新処理の一例を示すフローチャートである。
虚像の検出例を示す図である。
本実施形態に係る周波数分析処理の一例を示すフローチャートである。
本実施形態に係るスコア算出処理の一例を示すフローチャートである。
本実施形態に係る音源選択処理の一例を示すフローチャートである。
本実施形態に係る音響処理の一例を示すフローチャートである。
処理対象データ区間の例を示す図である。
マイクロホンアレイの配置例を示す図である。
収音した第1の音響信号例を示す図である。
マイクロホンアレイm1,m2,m3,m4それぞれが収音した第1の音響信号それぞれに対して解析した結果である。
図20の音響信号から推定した鳥の位置を示す例である。
第2の音響信号から推定した鳥の位置を示す例である。
従来技術による2次元位置推定結果と本実施形態の3次元位置推定結果を比較した結果を示す図である。
収音した第2の音響信号の1チャネルの例を示す図である。
マイクロホンアレイm1,m2,m3,m4それぞれが収音した第2の音響信号それぞれに対して方位角方向を解析した結果である。
マイクロホンアレイm1,m2,m3,m4それぞれが収音した第2の音響信号それぞれに対して仰角方向を解析した結果である。

実施例

0025

以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の説明に用いる図面では、各部材を認識可能な大きさとするため、各部材の縮尺を適宜変更している。

0026

二次元配置のマイクロホンによるマイクロホンアレイを用いた音源定位の問題点)
ここで、二次元配置のマイクロホンによるマイクロホンアレイを用いた音源定位の問題点を説明する。
二次元の位置推定を行うマイクロホンアレイでは、マイクロホン同士の仰角に差が無い水平方向に複数のマイクロホンが配置されている。
このようなマイクロホンアレイを用いた収音した場合は、音源の高さ方向の情報を取得できない。

0027

(音響処理システム)
図1は、本実施形態に係る音響処理システムS1の構成を示すブロック図である。図1に示すように、音響処理システムS1は、音響処理装置1と、M個の収音部20と、を含んで構成される。また、収音部20は、収音部20−1,20−2,・・・20−Mを備えている。
なお、以下の説明において、収音する音響信号の対象は野鳥の鳴き声であり、収音場所が野外であるとする。なお、本実施形態の高さ方向も含む位置推定を三次元位置推定という。

0028

音響処理装置1は、M個の収音部20のそれぞれから取得した複数チャネルの音響信号について音源定位を行い、各音源の音源方向である定位音源方向を推定する。音響処理装置1は、M個の収音部20のうち2個の収音部20の組ごとに、収音部の位置から各音源の推定音源方向への半直線双方に対して垂直となる線分(二直線間の距離を表す線分)の中間点(含む交点)を定める。推定音源方向は、それぞれの収音部20から推定される音源の方向を意味する。推定される音源の位置を推定音源位置と呼ぶ。音響処理装置1は、定めた中間点(含む交点)の分布についてクラスタリングを行い複数のクラスタに分類する。音響処理装置1は、推定音源位置が、その音源に対応するクラスタに分類される確率である推定確率が高くなるように推定音源位置を更新する。音響処理装置1が行う処理については、後述する。

0029

M個の収音部20は、それぞれ異なる位置に配置される。個々の収音部20は、それぞれ自部に到来した音を収音し、収音した音からQ(Qは、2以上の整数)チャネルの音響信号を生成する。個々の収音部20は、例えば、所定の領域内にそれぞれ異なる位置に配置されたQ個のマイクロホン(電気音響変換素子)を含んで構成されるマイクロホンアレイである。個々の収音部20について、各マイクロホンが配置される領域の形状は任意である。領域の形状は、四角形円形、球形、楕円形、など、いずれであってもよい。個々の収音部20は、取得したQチャネルの音響信号を音響処理装置1に出力する。個々の収音部20は、Qチャネルの音響信号を無線又は有線で送信するための入出力インタフェースを備えてもよい。個々の収音部20は一定の空間を占めるが、特に断らない限り、収音部20の位置とは、その空間を代表する一点(例えば、重心)の位置を意味する。また、収音部20は、Qチャネルの音響信号を同じサンプリング周波数の信号を用いてアナログ信号からデジタル信号に変換し、デジタル信号に変換したQチャネルの音響信号を音響処理装置1に出力する。
なお、収音部20をマイクロホンアレイmと呼ぶことがある。また、個々のマイクロホンアレイmを、マイクロホンアレイmk等と、インデックスk等を付して区別することがある。

0030

(マイクロホンアレイ)
図2は、マイクロホンアレイ(収音部20)の外形例を示す図である。
図2に示すマイクロホンアレイは、例えば外形が球状であり、16個のマイクロホン201を球体の側面上に備えている。なお、マイクロホン201は、二次元方向の音源方向推定に用いられる従来の水平方向に加え、垂直方向にも配置されている。

0031

(音響処理装置)
次に、音響処理装置1の構成例について説明する。
図1に示すように、音響処理装置1は、入力部10、初期処理部12、音源位置推定部14、音源特定部16、出力部18、および記憶部19を備えている。
初期処理部12は、音源定位部120、音源分離部122、および周波数分析部124を備えている。
音源位置推定部14は、初期値設定部130、および音源位置更新部142を備える。
音源特定部16は、分散算出部160、スコア算出部162、および音源選択部164を備える。

0032

入力部10は、各マイクロホンアレイmから入力されるQチャネルの音響信号を初期処理部12に出力する。入力部10は、例えば、入出力インタフェースを含んで構成される。

0033

音源定位部120は、入力部10から入力され、各マイクロホンアレイmkから取得されたQチャネルの音響信号に基づいて音源定位を行って、各音源の方向を予め定めた長さのフレーム(例えば、100ms)ごとに推定する。音源定位部120は、音源定位において、例えば、MUSIC(Multiple Signal Classification;多重信号分類)法を用いて方向ごとのパワーを示す空間スペクトルを算出する。
音源定位部120は、空間スペクトルに基づいて音源ごとの音源方向を定める。音源定位部120は、マイクロホンアレイmごとに定めた各音源の音源方向を示す音源方向情報と、そのマイクロホンアレイmが取得したQチャネルの音響信号を対応付けて音源分離部122に出力する。MUSIC法については、後述する。

0034

音源分離部122には、音源定位部120からマイクロホンアレイmごとの音源方向情報とQチャネルの音響信号が入力される。音源分離部122は、各マイクロホンアレイmについて、Qチャネルの音響信号を音源方向情報が示す定位音源方向に基づいて音源ごとの成分を示す音源別音響信号に分離する。音源分離部122は、音源別音響信号に分離する際、例えば、GHSS(Geometric−constrained High−order Decorrelation−based Source Separation)法を用いる。音源分離部122は、各マイクロホンアレイmについて、分離した音源ごとの音源別音響信号とその音源の定位音源方向を示す音源方向情報を対応付けて周波数分析部124と音源位置推定部14に出力する。GHDSS法については、後述する。

0035

周波数分析部124には、各マイクロホンアレイmについて音源ごとの音源別音響信号と音源方向情報が対応付けて入力される。周波数分析部124は、個々のマイクロホンアレイmに係る音響信号から分離された各音源の音源別音響信号を所定の時間長(例えば、128点)のフレームごとに周波数分析を行ってスペクトル[Fm,1]、[Fm,2]〜[Fm,sm]を算出する。[…]は、ベクトル行列など複数の値からなるセットを示す。smは、マイクロホンアレイmが取得した音響信号から音源定位ひいては音源分離により推定された音源の音源数を示す。ここで、スペクトル[Fm,1]、[Fm,2]〜[Fm,sm]は、それぞれ行ベクトルである。周波数分析において、周波数分析部124は、例えば、各音源別音響信号に128点のハミング窓を作用して得られる信号に短時間フーリエ変換(STFT:Short Term Fourier Transform)を行う。周波数分析部124は、時間的に隣接するフレームを重複させ、分析対象区間をなすフレームを逐次にシフトさせる。
周波数分析部124は、音源ごとのスペクトルを行間統合して次式(1)に示すマイクロホンアレイmごとのスペクトル行列[Fm](mは、1からMまでの間の整数)を構成する。周波数分析部124は、構成したスペクトル行列[F1]、[F2]、〜[FM]を、さらに行間で統合して次式(2)に示すスペクトル行列[F]を構成する。周波数分析部124は、構成したスペクトル行列[F]と、各音源の定位音源方向を示す音源方向情報とを対応付けて音源特定部16に出力する。

0036

0037

0038

初期値設定部140は、音源分離部122から入力されるマイクロホンアレイmごとの音源方向情報に基づいて三角分割法(triangulation)を用いて音源の候補として推定される位置である推定音源位置の初期値を定める。三角分割法は、M個のうち3個のマイクロホンアレイの組から定められ、ある音源の候補に係る3個の中間点の重心を、その音源の推定音源位置の初期値として定める手法である。以下の説明では、音源の候補を音源候補と呼ぶ。中間点は、3個のマイクロホンアレイmのうち2個のマイクロホンアレイmの組ごとに、各マイクロホンアレイmの位置を通り、そのマイクロホンアレイmが取得された音響信号に基づいて推定された定位音源方向への半直線双方に対して垂直となる線分の中間点(半直線同士の交点も含む)である。初期値設定部140は、音源候補ごとの推定音源位置の初期値を示す初期推定音源位置情報を音源位置更新部142に出力する。初期値設定処理の例については、後述する。

0039

音源位置更新部142は、各2個のマイクロホンアレイmの組ごとに、それぞれのマイクロホンアレイmから、そのマイクロホンアレイmに基づく定位音源方向に係る音源候補の推定音源方向への半直線双方に対して垂直になる線分の中間点を定める。推定音源方向とは、推定音源位置への方向を意味する。音源位置更新部142は、定めた中間点の空間分布についてクラスタリングを行い複数のクラスタ(群)に分類する。音源位置更新部142は、音源候補ごとの推定音源位置がそれぞれの音源候補に対応するクラスタに分類される確率である推定確率が高くなるように、その推定音源位置を更新する。
音源位置更新部142は、音源候補ごとの推定音源位置の初期値として、初期値設定部140から入力される初期推定音源位置情報が示す推定音源位置の初期値を用いる。音源位置更新部142は、推定音源位置もしくは推定音源方向の更新量が所定の更新量の閾値未満となったとき、推定音源位置もしくは推定音源方向の変化が収束したと判定し、推定音源位置の更新を停止する。音源位置更新部142は、音源候補ごとの推定音源位置を示す推定音源位置情報を音源特定部16に出力する。更新量が所定の更新量の閾値以上であるとき、音源位置更新部142は、音源候補ごとの推定音源位置を更新する処理を継続する。推定音源位置の更新処理の例については、後述する。

0040

音源特定部16は、分散算出部160と、スコア算出部162と、音源選択部164と、を含んで構成される。
分散算出部160には、周波数分析部124からスペクトル行列[F]と音源方向情報が入力され、音源位置推定部14から推定音源位置情報が入力される。
分散算出部160は、次に説明する処理を所定の回数繰り返す。繰り返し回数Rは、予め分散算出部160に設定しておく。

0041

分散算出部160は、スペクトル行列[F]が示す収音部20ごとの各音源のスペクトルについてクラスタリングを行い、複数のクラスタ(群)に分類する。分散算出部160が実行するクラスタリングは、音源位置更新部142が実行するクラスタリングと独立である。分散算出部160は、クラスタリングの手法として、例えば、k−平均法(k−means clustering)を用いる。k−平均法では、クラスタリングの対象とする複数のデータのそれぞれをランダムにk個のクラスタに割り当てる。分散算出部160は、各繰り返し回数rにおいてスペクトルごとの初期値として、割り当てられるクラスタを変更する。以下の説明では、分散算出部160が分類したクラスタを第2クラスタと呼ぶ。分散算出部160は、第2クラスタのそれぞれに属する複数のスペクトルの類似度を示す指標値を算出する。分散算出部160は、算出した指標値が所定の類似度を示す指標値よりも高いか否かにより、各スペクトルに係る音源候補が同一であるか否かを判定する。

0042

音源候補が同一と判定した第2クラスタに対応する音源候補について、分散算出部160は、その推定音源位置情報が示すその音源候補の推定音源位置の分散を算出する。後述するように、この段階では、第2クラスタの個数よりも、音源位置更新部142が音源位置を更新する音源候補の個数の方が多くなる可能性があるためである。分散算出部160は、例えば、第2クラスタについて現在の繰り返し回数rにおいて算出した分散が、前回の繰り返し回数r−1において算出した分散より大きいとき、スコアを0とする。分散算出部160は、その第2クラスタについて現在の繰り返し回数rにおいて算出した分散が、前回の繰り返し回数r−1において算出した分散と等しいか、より小さいとき、スコアをεとする。εは、例えば、所定の正の実数である。分散の増加の頻度が多いほど、第2クラスタに分類される推定音源位置が繰り返し回数により異なる、つまり、第2クラスタとしての安定性が低くなる。言い換えれば、設定されるスコアは、第2クラスタの安定性を示す。音源選択部164において、スコアが高い第2クラスタほど対応する音源候補の推定音源位置が優先して選択される。

0043

他方、音源候補が同一ではないと判定した第2クラスタについて、分散算出部160は、対応する音源候補がないと判定し、その推定音源位置の分散が有効ではないと判定し、スコアをδとする。δは、例えば、0より小さい負の実数である。これにより、音源選択部164において、音源候補が同一と判定した音源候補に係る推定音源位置が、同一と判定しなかった音源候補よりも優先して選択される。
分散算出部160は、第2クラスタごとの各繰り返し回数のスコアと推定音源位置を示すスコア算出情報をスコア算出部162に出力する。

0044

スコア算出部162は、分散算出部160から入力されるスコア算出情報に基づいて第2クラスタに対応する音源候補ごとの最終スコアを算出する。ここで、スコア算出部162は、第2クラスタごとに有効な分散を定めた回数である有効を計数し、各回のスコアの合計値を算出する。スコアの合計値は、各回で分散が増加する回数である有効回数が多いほど大きくなる。即ち、第2クラスタの安定性が高いほど、スコアの合計値が大きくなる。なお、この段階では、1個の推定音源位置が複数の第2クラスタにまたがる場合がある。そこで、スコア算出部162は、推定音源位置ごとのスコアの合計値の総和を、計数した有効回数の総和で除算してその推定音源位置に対応する音源候補の最終スコアを算出する。スコア算出部162は、算出した音源候補の最終スコアと推定音源位置を示す最終スコア情報を音源選択部164に出力する。

0045

音源選択部164は、スコア算出部162から入力される最終スコア情報が示す音源候補の最終スコアが、所定の最終スコアの閾値θ2以上となる音源候補を音源として選択する。音源選択部164は、最終スコアが、閾値θ2未満となる音源候補を棄却する。音源選択部164は、選択した音源について、音源ごとの推定音源位置を示す出力音源位置情報を出力部18に出力する。

0046

出力部18は、音源選択部164から入力される出力音源位置情報を、音響処理装置1の外部に出力する。出力部18は、例えば、入出力インタフェースを含んで構成される。出力部18と入力部10とは、共通のハードウェアで構成されてもよい。出力部18は、出力音源位置情報を表示する表示部(例えば、ディスプレイ)を備えてもよい。音響処理装置1は、出力部18とともに、又は出力部18に代えて、出力音源位置情報を記憶する記憶媒体を含んで構成されてもよい。

0047

記憶部19は、予め所定の間隔(例えば、5°)で分布した方向ψごとの伝達関数を記憶する。記憶部19は、各マイクロホンアレイが収音した音響信号を記憶しておいてもよい。記憶部19は、後述するように所定期間の音響信号と導出されるデータを記憶する。

0048

(MUSIC法)
ここで、音源定位の一手法であるMUSIC法について説明する。
MUSIC法は、以下に説明する空間スペクトルのパワーPext(ψ)が極大であって、所定のレベルよりも高い方向ψを定位音源方向として定める手法である。音源定位部120が備える記憶部19には、予め所定の間隔(例えば、5°)で分布した方向ψごとの伝達関数を記憶させておく。本実施形態では、次に説明する処理をマイクロホンアレイm毎に実行する。

0049

音源定位部120は、音源から各チャネルq(qは、1以上Q以下の整数)に対応するマイクロホンまでの伝達関数D[q](ω)を要素とする伝達関数ベクトル[D(ψ)]を方向ψごとに生成する。
音源定位部120は、各チャネルqの音響信号ξqを所定の要素数からなるフレームごとに周波数領域に変換することによって変換係数ξq(ω)を算出する。音源定位部120は、算出した変換係数を要素として含む入力ベクトル[ξ(ω)]から次式(3)に示す入力相関行列[Rξξ]を算出する。

0050

0051

式(3)において、E[…]は、…の期待値を示す。[…]は、…が行列又はベクトルであることを示す。[…]*は、行列又はベクトルの共役転置(conjugate transpose)を示す。
音源定位部120は、入力相関行列[Rξξ]の固有値δp及び固有ベクトル[εp]を算出する。入力相関行列[Rξξ]、固有値δp、及び固有ベクトル[ξp]は、次式(4)に示す関係を有する。

0052

0053

式(4)において、pは、1以上Q以下の整数である。インデックスpの順序は、固有値δpの降順である。
音源定位部120は、伝達関数ベクトル[D(ψ)]と算出した固有ベクトル[εp]に基づいて、次式(5)に示す周波数別空間スペクトルのパワーPsp(ψ)を算出する。

0054

0055

式(5)において、Dmは、検出可能とする音源の最大個数(例えば、2)であって、Qよりも小さい予め定めた自然数である。
音源定位部120は、S/N比が予め定めた閾値(例えば、20dB)よりも大きい周波数帯域における空間スペクトルPsp(ψ)の総和を全帯域の空間スペクトルのパワーPext(ψ)として算出する。

0056

なお、音源定位部120は、MUSIC法に代えて、その他の手法を用いて定位音源方向を算出してもよい。例えば、重み付き遅延和ビームフォーミング(WDS−BF:Weighted Delay and Sum Beam Forming)法が利用可能である。WDS−BF法は、次式(6)に示すように各チャネルqの全帯域の音響信号ξq(t)の遅延和の二乗値を空間スペクトルのパワーPext(ψ)として算出し、空間スペクトルのパワーPext(ψ)が極大となる定位音源方向ψを探索する手法である。

0057

0058

式(6)において[D(ψ)]の各要素が示す伝達関数は、音源から各チャネルq(qは、1以上Q以下の整数)に対応するマイクロホンまでの位相遅延による寄与を示す。[ξ(t)]は、時刻tの時点における各チャネルqの音響信号ξq(t)の信号値を要素とするベクトルである。

0059

(GHDSS法)
次に、音源分離の一手法であるGHDSS法について説明する。
GHDSS法は、2つのコスト関数(cost function)として、分離尖鋭度(Separation Sharpness)JSS([V(ω)])と幾何制約度(Geometric Constraint)JGC([V(ω)])が、それぞれ減少するように分離行列[V(ω)]を適応的に算出する方法である。本実施形態では、各マイクロホンアレイmが取得した音響信号のそれぞれから音源別音響信号を分離する。

0060

分離行列[V(ω)]は、音源定位部120から入力されたQチャネルの音響信号[ξ(ω)]に乗じることによって、検出される最大Dm個の音源それぞれの音源別音響信号(推定値ベクトル)[u’(ω)]を算出するために用いられる行列である。ここで、[…]Tは、行列又はベクトルの転置を示す。

0061

分離尖鋭度JSS([V(ω)])、幾何制約度JGC([V(ω)])は、それぞれ、次式(7)、(8)のように表される。

0062

0063

0064

式(7)、(8)において、||…||2は、行列…のフロベニウスノルム(Frobenius norm)である。フロベニウスノルムとは、行列を構成する各要素値二乗和スカラー値)である。φ([u’(ω)])は、音源別音響信号[u’(ω)]の非線形関数、例えば、双曲線正接関数(hyperbolic tangent function)である。diag[…]は、行列…の対角成分の総和を示す。従って、分離尖鋭度JSS([V(ω)])は、音源別音響信号(推定値)のスペクトルのチャネル間非対角成分の大きさ、つまり、ある1つの音源が他の音源として誤って分離される度合いを表す指標値である。また、式(8)において、[I]は、単位行列を示す。従って、幾何制約度JGC([V(ω)])とは、音源別音響信号(推定値)のスペクトルと音源別音響信号(音源)のスペクトルとの誤差の度合いを表す指標値である。

0065

(マイクロホンアレイによる中間点(含む交点))
次に、マイクロホンアレイによる中間点(含む交点)について説明する。
まず、二次元空間におけるマイクロホンアレイによる交点について説明する。
図3は、二次元空間における2つのマイクロホンアレイそれぞれによって定位された音源方向を示す図である。図3において、横方向をx軸方向、縦方向をy軸方向とする。なお、xy平面は、例えば地面に水平な平面である。
この例では、マイクロホンアレイMA1とMA2の位置を通り、それぞれのマイクロホンアレイが取得した音響信号に基づいて推定された定位音源方向への半直線が定められる。これらの2本の半直線は、音源Sの位置において一点に交わる。

0066

次に、三次元平面におけるマイクロホンアレイによる中間点(含む交点)について説明する。
図4は、三次元空間における2つのマイクロホンアレイそれぞれによって定位された音源方向を示す図である。図4において、横方向をx軸方向、縦方向をy軸方向、高さ方向をz軸方向とする。なお、xy平面は、例えば地面に水平な水平平面である。

0067

本実施形態では、上述したように収音対象が野鳥の鳴き声であり、収音場所が野外であるため、反響音の影響が室内での収音と比べて少ない。このため、本実施形態では、推定音源位置を、互いに最も近い2つの方位線上の点として求める。
この例では、マイクロホンアレイMA1とMA2の位置を通り、それぞれのマイクロホンアレイが取得した音響信号に基づいて推定された定位音源方向への半直線が定められる。これらの2本の半直線は、三次元空間において、1点に交わらず互いに平行な場合がある。しかしながら、実際の環境で収音された音響信号を用いて解析する場合は、ある時間に単一の音源を示す全ての方向が互いに歪んだ線である仮定することができる。
このため、本実施形態では、推定音源位置を最短距離dの中点Pを交点とみなす

0068

マイクロホンアレイMA1とMA2の2つの方位角線上にある2つの点PとQとを、次式(9)と次式(10)のように表す。

0069

0070

0071

式(9)と式(10)において、mjとmkは2つのマイクロホンアレイの(x,y,z)座標、ajとakは2つの方向線方向余弦単位ベクトル)、rjとrkは対応するマイクロホンから点PとQまでの距離である。
式(9)と式(10)を用いて、点Pと点Qとのベクトルは、次式(11)のように表される。

0072

0073

ここで、点Pと点Qを通る2つの線の間において最も距離が近い線は、両方の線に直角の線である。
そして、mj、mk、aj、akの値は既知であるので、距離rjとrkは、次式(12)のように、PQベクトルを用いて両方の線の方向ベクトル内積を計算することで求めることができる。

0074

0075

音源位置を推定するために、マイクロホンアレイから得られた各方向線ペアについて上記の計算を行った。
推定音源位置は、複数のマイクロホンアレイのペアの点Pと点Qを通る2つの線の間において最も距離が短い垂線の中間点の重心となる。このため、各ペアのPとQの中間点と、中間点の重心を次式(13)によって計算する。

0076

0077

式(13)は、図5のように一度に3つのマイクロホンアレイから得られたデータに対して実行する。図5は、本実施形態に係る3つのマイクロホンアレイから音源位置を推定する例を示す図である。図5座標系図4と同じである。マイクロホンアレイMA1とMA2による両方の線に直角の線の中心点がC1である。マイクロホンアレイMA2とMA3による両方の線に直角の線の中心点がC2である。マイクロホンアレイMA1とMA3による両方の線に直角の線の中心点がC3である。また、定位音源方向d’m1とd’’m1は、マイクロホンアレイMA1による定位結果である。定位音源方向d’m2とd’’m2は、マイクロホンアレイMA2による定位結果である。定位音源方向d’m3とd’’m3は、マイクロホンアレイMA3による定位結果である。

0078

なお、3つ以上のマイクロホンアレイを使用する場合でも、3つのマイクロホンアレイのすべての組み合わせに対して式(13)を実施して例えばそれらの重心を求めることで、推定音源位置xを求める。

0079

(初期値の設定)
次に、初期値設定部140(図1)が行う初期値の設定の例について説明する。各2個のマイクロホンアレイmに基づいて定められる中間点(含む交点)は、理想的には各音源の音源位置と等しくなるはずである。図6を参照して、互いに異なる位置に設置されたマイクロホンアレイMA1、MA2、MA3のそれぞれが取得した音響信号に基づいて音源Sの定位音源方向が推定される場合を例にする。図6は、マイクロホンアレイの配置と推定される音源方向の一例を示す図である。この例では、マイクロホンアレイMA1、MA2、MA3の位置を通り、それぞれのマイクロホンアレイが取得した音響信号に基づいて推定された定位音源方向への半直線が定められる。これらの3本の半直線は、理想的には音源Sの位置において一点に交わる。

0080

しかしながら、音源Sの定位音源方向には誤差が含まれる。現実的には、図7に示すように1つの音源に係る中間点(含む交点)P1、P2、P3の位置が互いに異なる。図7は、各マイクロホンアレイから推定される音源方向の組に基づく中間点の一例を示す図である。中間点P1は、マイクロホンアレイMA1、MA2の位置を通り、それぞれのマイクロホンアレイMA1、MA2が取得した音響信号から推定された音源Sの定位音源方向の半直線双方に対して垂直になる線分の中間点である。中間点P2は、マイクロホンアレイMA2、MA3の位置を通り、それぞれのマイクロホンアレイMA2、MA3が取得した音響信号から推定された音源Sの定位音源方向の半直線双方に対して垂直になる線分の中間点である。中間点P3は、マイクロホンアレイMA1、MA3の位置を通り、それぞれのマイクロホンアレイMA1、MA3が取得した音響信号から推定された音源Sの定位音源方向の半直線双方に対して垂直になる線分の中間点である。同一の音源Sについて、各マイクロホンアレイが取得した音響信号から推定される定位音源方向の誤差がランダムであれば、真の音源位置は、中間点P1、P2、P3のそれぞれを頂点とする三角形の内部の領域にあることが期待される。そこで、初期値設定部140は、中間点P1、P2、P3間の重心を、音源Sの候補である音源候補の推定音源位置の初期値xnとして定める。

0081

ただし、音源定位部120が各マイクロホンアレイmから取得した音響信号から推定する音源方向の数は、1個には限らず、複数になることがある。そのため、中間点P1、P2、P3は、互いに同一の音源Sの方向に基づいて定められるとは限らない。そこで、初期値設定部140は、3個の中間点P1、P2、P3のうち、各2個の中間点間の距離L12、L23、L13が、いずれも予め定めた距離の閾値θ1未満であるか、少なくとも中間点間の距離のいずれかが、その閾値θ1以上となる距離が存在するか否かを判定する。いずれも閾値θ1未満と判定するとき、初期値設定部140は、それらの中間点P1、P2、P3の重心を音源候補nの音源位置の初期値xnとして採用する。初期値設定部140は、少なくとも中間点間の距離のいずれかが、その閾値θ1以上となる場合、中間点P1、P2、P3の重心を音源位置の初期値xnとして定めずに、棄却する。

0082

ここで、音源位置推定部14には、M個のマイクロホンアレイMA1,MA2,…,MAMのそれぞれの位置uMA1,uMA2,…,uMAMを、予め設定させておく。個々のマイクロホンアレイmの位置uMA1,uMA2,…,uMAMを要素とする位置ベクトル[u]は、次式(14)で表わされる。

0083

0084

式(14)において、マイクロホンアレイmの位置uMAm(mは、1からMの間の整数)は、x座標uMAxm、y座標uMAymを要素値とする2次元の座標[uMAxm,uMAym]である。
上述したように、音源定位部120は、各マイクロホンアレイMAmが取得したQチャネルの音響信号から、それぞれ最大Dm個の定位音源方向d’m(1),d’m(2),…,d’m(Dm)をフレームごとに定める。定位音源方向d’m(1),d’m(2),…,d’m(Dm)を要素とするベクトル[d’]は、次式(15)で表わされる。

0085

0086

次に、本実施形態に係る音源位置の推定の初期設定処理の一例について説明する。
図8は、本実施形態に係る音源位置の推定の初期設定処理の一例を示すフローチャートである。
(ステップS101)初期値設定部140は、三角分割法においてM個のマイクロホンアレイから互いに異なる3個のマイクロホンアレイm1、m2、m3の組(triplet)を選択する。処理後、ステップS102の処理に進む。

0087

(ステップS102)初期値設定部140は、選択した3個の組のマイクロホンアレイm1、m2、m3のそれぞれについて、それぞれのマイクロホンアレイが取得した音響信号に基づいて推定された最大Dm個の音源から各1個の音源δ1、δ2、δ3の定位音源方向d’m1(δ1)、d’m2(δ2)、d’m3(δ3)を選択する。続けて、初期値設定部140は、3個のマイクロホンアレイのうち各2つのマイクロホンアレイの組(対;pair)について、式(13)を用いて中間点P1、P2、P3の重心を算出する。ここで、マイクロホンアレイm1とm2による両方の線に直角の線の中心点がP1、マイクロホンアレイm2とm3による両方の線に直角の線の中心点がP2、マイクロホンアレイm1とm3による両方の線に直角の線の中心点がP3である。次式(16)に示すように、中間点P1は、マイクロホンアレイm1、m2の位置と、定位音源方向d’m1(δ1)、d’m2(δ2)により定まる。中間点P2は、マイクロホンアレイm2、m3の位置と、定位音源方向d’m2(δ2)、d’m3(δ3)により定まる。中間点PP3は、マイクロホンアレイm1、m3の位置と、定位音源方向d’m1(δ1)、d’m3(δ3)により定まる。なお、中間点には、2つのマイクロホンによる定位音源方向への半直線同士の交点も含まれる。その後、ステップS103の処理に進む。

0088

0089

(ステップS103)初期値設定部140は、マイクロホンアレイの組ごとに特定した音源ごとの中心点の重心を推定音源位置の初期値として定める。
算出した距離L12、L23、L13がいずれも閾値θ1以下となる場合、初期値設定部140は、3個の中間点P1、P2、P3の組み合わせを、音源候補nに係る組み合わせとして選択する。その場合、初期値設定部140は、次式(17)に示すように、中間点P1、P2、P3の重心を音源候補nの音源推定位置の初期値xnとして定める。
他方、距離L12、L23、L13の少なくともいずれか1つが閾値θ1より大きいとなる場合、初期値設定部140は、これらの中間点の組み合わせを棄却し、初期値xnを定めない。式(17)において、φは空集合を示す。その後、図6に示す処理を終了する。

0090

0091

初期値設定部140は、マイクロホンアレイm1、m2、m3ごとに推定される定位音源方向の組み合わせd’m1(δ1)、d’m2(δ2)、d’m3(δ3)ごとに、ステップS101〜S103の処理を実行する。これにより、音源候補として不適切な中間点の組み合わせが棄却され、音源候補nごとに音源推定位置の初期値xnが定められる。なお、以下の説明では音源候補数を、Nで表す。
また、初期値設定部140は、M個のマイクロホンアレイのうち、3個のマイクロホンアレイの組ごとに、ステップS101〜S103の処理を実行してもよい。これにより、音源の候補nの検出漏れを少なくすることができる。

0092

図9は、4個のマイクロホンアレイMA1〜MA4のうち、3個のマイクロホンアレイMA1〜MA3をマイクロホンアレイm1〜m3として選択し、それぞれ推定された定位音源方向d’m1、d’m2、d’m3の組み合わせから推定音源位置の初期値xnを定める場合を示す図である。

0093

中間点P1の方向は、それぞれマイクロホンアレイm1、m2の位置を基準とする定位音源方向d’m1、d’m2と同一の方向となる。中間点P2の方向は、それぞれマイクロホンアレイm2、m3の位置を基準とする音源方向d’m2、d’m3と同一の方向となる。中間点P3の方向は、それぞれマイクロホンアレイm1、m3の位置を基準とする定位音源方向d’m1、d’m3と同一の方向となる。定められた初期値xnの方向は、それぞれマイクロホンアレイm1、m2、m3の位置を基準とする方向d”m1、d”m2、d”m3となる。よって、音源定位により推定される定位音源方向d’m1、d’m2、d’m3が、それぞれ推定音源方向d”m1、d”m2、d”m3に修正される。なお、定位音源方向d’m1(δ1)、d’m2(δ2)、d’m3(δ3)を要素とする方向ベクトル[d”]は、次式(18)で表される。なお、δ1、δ2、δ3は、それぞれ1からDmの間の整数である。

0094

0095

(推定音源位置の更新処理)
次に、推定音源位置の更新処理について説明する。音源定位により推定される音源方向は誤差を含むため、音源方向間の中間点から推定される候補音源ごとの推定音源位置も誤差を含む。これらの誤差がランダムであれば、推定音源位置ならびに中間点は、各音源の真の音源位置の周囲に分布することが期待される。そこで、本実施形態に係る音源位置更新部142は、各2個のマイクロホンアレイ、推定音源方向間の中間点についてクラスタリングを行い、これらの中間点の分布を複数のクラスタに分類する。ここで、推定音源方向とは、推定音源位置の方向を意味する。クラスタリングの手法として、音源位置更新部142は、例えば、k−平均法を用いる。音源位置更新部142は、音源候補ごとの推定音源位置がそれぞれの音源候補に対応するクラスタに分類される可能性の度合いである推定確率が高くなるように、その推定音源位置を更新する。

0096

(確率モデル)
推定音源位置を算出する際、音源位置更新部142は、三角分割法に基づく確率モデルを用いる。この確率モデルでは、音源候補ごとの推定音源位置がそれぞれの音源候補に対応するクラスタに分類される推定確率が、第1確率と、第2確率と、第3確率と、をそれぞれ因子とする積で表されるように分解されるように近似できるものと仮定する。第1確率は、音源定位により定位音源方向が定められるとき、その音源に対応する音源候補の推定音源位置の方向である推定音源方向が得られる確率である。第2確率は、2つのマイクロホンアレイそれぞれの位置からその推定音源方向への半直線の中間点が定められるとき、その推定音源位置が得られる確率である。第3確率は、その中間点の分類されるクラスタへの出現確率である。

0097

より具体的には、第1確率は、それぞれ定位音源方向d’mj、d’mkを基準とするフォン・ミーゼス分布(von−Mises distribution)に従うものと仮定する。つまり、第1確率は、音源定位により各マイクロホンアレイmj、mkが取得される音響信号から推定される定位音源方向d’mj、d’mkに、確率分布がフォン・ミーゼス分布となる誤差が含まれるとの仮定に基づく。理想的には、図10に示す例では、誤差がなければ、定位音源方向d’mj、d’mkとして真の音源方向dmj、dmkが得られる。図10は、本実施形態に係る確率モデルの概念図である。

0098

第2確率は、マイクロホンアレイmj、mk、推定音源方向dmj、dmk間の中間点sj,kの位置を基準とする多次元ガウス関数に従うものと仮定する。つまり、第2確率は、各マイクロホンアレイmj、mkのそれぞれを通り、それぞれの方向が推定音源方向dmj、dmkとなる半直線の中間点sj,kとなる推定音源位置に、確率分布が多次元ガウス分布となる誤差としてガウス雑音が含まれているとの仮定に基づく。理想的には、中間点sj,kの座標が多次元ガウス関数の平均値μcj,kとなる。
従って、音源位置更新部142は、音源定位により得られた定位音源方向d’mj、d’mkに基づいて、音源候補の推定音源方向を与える中間点sj,kの座標が、中間点sj,kの分布を近似する多次元ガウス関数の平均値μcj,kに極力近づくように推定音源方向dmj、dmkを推定する。

0099

第3確率は、マイクロホンアレイmj、mkのそれぞれを通り、それぞれの方向が推定音源方向dmj、dmkとなる半直線の中間点sj,kが分類されるクラスタcj,kの出現確率を示す。つまり、第3確率は、その中間点sj,kに相当する推定音源位置のクラスタcj,kへの出現確率を示す。
各クラスタと音源を対応付けるため、音源位置更新部142は、音源候補ごとの推定音源位置xnの初期値について、初期クラスタリング(initial clustering)を行ってクラスタの個数Cを定める。

0100

初期クラスタリングでは、音源位置更新部142は、次式(19)に示すように、音源候補ごとの推定音源位置xnについて所定のユークリッド距離の閾値φをパラメータとしてそれぞれ用いて階層クラスタリング(hierarchical clustering)を行って複数のクラスタに分類する。階層クラスタリングとは、1個の対象データだけを含む複数のクラスタを初期状態として生成し、それぞれ異なる対応データを含む2つのクラスタ間のユークリッド距離を算出し、算出したユークリッド距離が最も小さいクラスタ同士を逐次に併合して、新たなクラスタを形成する手法である。クラスタを併合する処理は、ユークリッド距離が閾値φに達するまで繰り返す。閾値φとして、例えば、音源位置の推定誤差よりも大きい値を予め設定しておけばよい。従って、閾値φより距離が小さい複数の音源候補同士が1つのクラスタに集約され、それぞれのクラスタが音源に対応付けられる。そして、クラスタリングにより得られるクラスタの数Cが音源数として推定される。

0101

0102

式(19)において、hierarchyとは、階層クラスタリングを示す。cnは、クラスタリングに得られる各クラスタのインデックスcnを示す。max(…)は、…の最大値を示す。

0103

次に、確率モデルの適用例について説明する。上述したように、各マイクロホンアレイmiについて、定位音源方向d’miが定められるとき推定音源方向dmiが得られる第1確率(d’mi,dmi;βmi)は、次式(20)に示すフォン・ミーゼス分布に従うものと仮定する。

0104

0105

フォン・ミーゼス分布は、最大値、最小値を、それぞれ1、0とする連続関数であり、定位音源方向d’miと推定音源方向dmiが等しいときに最大値1をとり、定位音源方向d’miと推定音源方向dmiのなす角が大きいほど関数値が小さくなる。式(20)において、音源方向d’mi、推定音源方向dmiは、それぞれ大きさが1に正規化された単位ベクトルで示されている。βmiは、関数値の広がりを示す形状パラメータを示す。形状パラメータβmiが大きいほど、第1の確率は正規分布に近似し、形状パラメータβmiが小さいほど、第2の確率は一様分布に近似する。I0(βmi)は、第0次の第一種変形ベッセル関数を示す。フォン・ミーゼス分布は、音源方向のように角度に加わったノイズの分布をモデル化するうえで好適である。確率モデルでは、形状パラメータβmiをモデルパラメータの1つとする。

0106

音響処理システムS1全体として、定位音源方向[d’]のもとで推定音源方向[d]が得られる確率p([d’]|[d])は、次式(21)に示すようにマイクロホンアレイmi間での第1確率f(d’mi,dmi;βmi)の総乗と仮定する。

0107

0108

ここで、定位音源方向[d’]、推定音源方向[d]は、それぞれ定位音源方向d’mi、推定音源方向dmiを要素として含むベクトルである。
また、確率モデルでは、マイクロホンアレイmj、mk、推定音源方向dmj、dmk間の中間点sj,kが得られるとき、その中間点sj,kが分類されるクラスタcj,kに対応する推定音源位置が得られる第2確率p(sj,k|cj,k)が、次式(22)に示す多変量ガウス分布N(sj,k;μcj,k,Σcj,k)に従うことを仮定する。μcj,k、Σcj,kは、それぞれ多変量ガウス分布の平均、分散を示す。この平均は、推定音源位置の分布の大きさや偏りを示す。中間点sj,kは、上述したように、マイクロホンアレイmj、mkそれぞれの位置uj、ukと、推定音源方向dmj、dmkとから定まる関数である。以下の説明では、中間点の位置を、g(dmj、dmk)と示すことがある。確率モデルでは、平均μcj,k、分散Σcj,kをモデルパラメータの一部とする。

0109

0110

音響処理システムS1全体として、各2つのマイクロホンアレイ、推定音源方向[d]間の中間点の分布が得られるとき、それぞれの候補音源に対応するクラスタ[c]が得られる確率p([d]|[c])は、次式(22)に示すように中間点間での第2確率p(sj,k|cj,k)の総乗に近似されるものと仮定する。[c]は、クラスタcj,kを要素として含むベクトルである。

0111

0112

また、確率モデルでは、第3確率として、2つのマイクロホンアレイmj、mk、推定音源方向dmj、dmk間の中間点sj,kが分類されるクラスタcj,kの出現確率p(cj,k)をモデルパラメータの1つとする。このパラメータをπcj,kと表すことがある。

0113

(音源位置の更新)
次に、上述した確率モデルを用いた音源位置の更新処理について説明する。
音源位置更新部142は、音源定位により定位音源方向[d’]が得られるとき、音源候補ごとの推定音源位置[d]がそれぞれの音源候補に対応するクラスタ[c]に分類される推定確率p([c],[d],[d’])が高くなるように、推定音源位置[d]を再帰的に更新する。音源位置更新部142は、各2つのマイクロホンアレイ、推定音源方向間の中間点の分布についてクラスタリングを行ってクラスタ[c]に分類する。
推定音源位置[d]を更新するため、音源位置更新部142は、ビタビ学習法(Viterbi Training)を応用した手法を用いる。

0114

音源位置更新部142は、次式(23)に示すように、モデルパラメータ[μ*],[Σ*],[β*]を一定として、推定確率p([c],[d],[d’];[μ*],[Σ]*,[β*])を最大化する推定音源位置[d*]、クラスタ[c*]を算出する処理と、次式(24)に示すように、算出した推定音源位置[d*]、クラスタ[c*]を一定として、推定確率p([c*],[d*],[d’];[μ],[Σ],[β])を最大化するモデルパラメータ[π*]、[μ*]、[Σ*]、[β*]を算出する処理と、を逐次に繰り返す。…*は、最大化したパラメータ…を示す。ここで、最大化とは、巨視的に増加させること、もしくはそのための処理を意味し、その処理により一時的もしくは局所的に減少する場合もありうる。

0115

0116

0117

式(23)の右辺は、式(20)〜(22)を代入して、次式(25)に示すように変形される。

0118

0119

式(25)に示すように、推定確率p([c],[d],[d’])は、上述の第1確率と、第2確率と、第3確率と、をそれぞれ因子とする積で表される。但し、式(25)において値がゼロ以下となる因子を、乗算対象としない。
式(25)の右辺は、次式(26)、(27)に示すようにクラスタcj,kの関数と音源方向[d]の関数に分解される。従って、クラスタcj,kと推定音源方向[d]は、個々に更新可能となる。

0120

0121

0122

音源位置更新部142は、式(26)の右辺の値をより大きくするように全ての中間点(含む交点)g(d*mj,d*mk)をクラスタc*j,kを要素とするクラスタ[c*]に分類する。音源位置更新部142は、クラスタc*j,kを定める際、階層クラスタリングを行う。
階層クラスタリングは、各2つのクラスタ間の距離を算出し、最も距離が小さい2つのクラスタを併合して新たなクラスタを生成する処理を逐次に繰り返す手法である。このとき、音源位置更新部142は、2つのクラスタ間の距離として、一方のクラスタに分類される中間点g(d*mj,d*mk)と他方のクラスタcj’,k’の中心である平均μcj’,k’との間の距離のうち最も小さい距離を用いる。

0123

一般に、推定音源方向[d]は、他の変数との依存性が高いため解析的に最適値を算出することは困難である。そこで、式(27)の右辺を次式(28)に示すように近似的に推定音源方向dmiの関数に分解する。音源位置更新部142は、式(24)の右辺第3〜5行に示す値をコスト関数としてより大きくするように個々の推定音源方向dmiを更新する。

0124

0125

推定音源方向dmiを更新する際、音源位置更新部142は、次に説明する制約条件(c1)、(c2)のもとで、最急降下法(gradient descent method)を用いて推定音源方向d*miを探索する。
(c1)音源定位により推定された定位音源方向[d’]のそれぞれが、それぞれ対応する真の音源方向[d]に近似している。
(c2)推定音源位置に相当する平均μcj,kが、直前に更新された推定音源方向d*mj、d*mk、d*miに基づく3つの中間点Pj、Pk、Piを頂点とする三角形の領域内にある。但し、マイクロホンアレイmiは、マイクロホンアレイmj、mkとは別個のマイクロホンアレイである。

0126

例えば、推定音源方向dm3を更新する際、図11に示すように、音源位置更新部142は、マイクロホンアレイm3から中間点P2の方向を起点dmin(m3)とし、マイクロホンアレイm3から中間点P1の方向を終点dmax(m3)とする方向の範囲内で、上述のコスト関数が最も大きくなる推定音源方向dm3を推定音源方向d*m3として定める。図11は、本実施形態に係る音源方向探索の説明図である。他の音源方向dm1、dm2等を更新する際も、音源位置更新部142は、同様の制約条件を課してコスト関数が最も大きくなる推定音源方向dm1、dm2を探索する。即ち、音源位置更新部142は、マイクロホンアレイm1から中間点P3の方向を起点dmin(m1)とし、中間点P2の方向を終点dmax(m1)とする方向の範囲内で、コスト関数が最も大きくなる推定音源方向d*m1を探索する。音源位置更新部142は、マイクロホンアレイm2から中間点P1の方向を起点dmin(m2)とし、中間点P3の方向を終点dmax(m2)とする方向の範囲内で、コスト関数が最も大きくなる推定音源方向d*m2を探索する。従って、推定音源方向の探索領域が、直前に更新された推定音源方向d*m1等に基づいて定めた探索領域内に制限されるので、計算量が低減することができる。また、コスト関数の非線形性による解の不安定性が回避される。

0127

なお、式(24)の右辺は、式(20)〜(22)を代入して、次式(29)に示すように変形される。音源位置更新部142は、式(29)の右辺の値を大きくするように、モデルパラメータのセット[π*]、[μ*]、[Σ*]、[β*]を更新する。

0128

0129

音源位置更新部142は、式(29)の右辺の値をより大きくするため、次式(30)に示す関係を用いて、定位音源方向[d’]、更新された推定音源方向[d*]及び更新されたクラスタ[c*]に基づいて、各クラスタcのモデルパラメータπ*c、μ*c、Σ*cと各マイクロホンアレイmのモデルパラメータβ*mを算出することができる。

0130

0131

式(30)において、モデルパラメータπ*cは、音源候補数Nに対する、推定音源位置がクラスタcに属する音源候補数Ncの割合、即ち、推定音源が分類されるクラスタcへの出現確率を示す。モデルパラメータμ*cは、クラスタcに属する中間点sj,k(=g(d*mj,d*mk))の座標の平均値、即ち、クラスタcの中心を示す。モデルパラメータμ*cは、クラスタcに属する中間点sj,kの座標の分散を示す。モデルパラメータβ*mは、マイクロホンアレイiについての定位音源方向d’miと推定音源方向d*miとの内積の平均値を示す。

0132

次に、本実施形態に係る音源位置更新処理の一例について説明する。
図12は、本実施形態に係る音源位置更新処理の一例を示すフローチャートである。

0133

(ステップS182)音源位置更新部142は、更新処理に係る各種の初期値を設定する。音源位置更新部142は、初期値設定部140から入力された初期推定音源位置情報が示す音源候補ごとの推定音源位置の初期値を設定する。また、音源位置更新部142は、推定音源位置の初期値[d]、クラスタの初期値[c]、出現確率の初期値π*c、平均の初期値μ*c、分散の初期値Σ*c、形状パラメータの初期値β*m、を、それぞれ次式(31)に示すように設定する。推定音源方向の初期値[d]として、定位音源方向[d’]が設定される。クラスタの初期値cj,kとして、音源推定位置の初期値xnが属するクラスタcnが設定される。出現確率の初期値π*cとして、クラスタ数Cの逆数が設定される。平均の初期値μ*cとして、クラスタcに属する音源推定位置の初期値xnの平均値が設定される。分散の初期値Σ*cとして、単位行列が設定される。形状パラメータの初期値β*mとして、1が設定される。その後、ステップS184の処理に進む。

0134

0135

(ステップS184)音源位置更新部142は、上述の制約条件のもとで、式(24)の右辺に示すコスト関数が大きくなるように推定音源方向d*miを更新する。その後、ステップS186の処理に進む。

0136

(ステップS186)音源位置更新部142は、式(26)に示す関係を用いて各クラスタcの出現確率π*c、平均μ*c、分散Σ*cと各マイクロホンアレイmの形状パラメータβ*mを算出する。その後、ステップS188の処理に進む。

0137

(ステップS188)音源位置更新部142は、更新した推定音源方向d*mj、d*mkから中間点g(d*mj,d*mk)を定める。音源位置更新部142は、式(22)の右辺に示すコスト関数の値が大きくなるように、中間点(d*mj,d*mk)の分布についてクラスタリングを行って複数のクラスタcj,kに分類する。その後、ステップS190の処理に進む。

0138

(ステップS190)音源位置更新部142は、音源方向d*miと推定音源位置x*nとする平均μcj,kのいずれか又は両方の更新量を算出し、算出した更新量が所定の更新量よりも小さいか否かにより、収束したか否かを判定する。更新量は、例えば、更新前後の音源方向d*miの差分のマイクロホンアレイ間mi間の二乗和、平均μcj,kの更新前後の差分のクラスタc間の二乗和の一方又はそれらの重み付き和のいずれであってもよい。収束したと判定する場合(ステップS190 YES)、ステップS192の処理に進む。収束していないと判定する場合(ステップS190 NO)、ステップS184の処理に戻る。

0139

(ステップS192)音源位置更新部142は、更新された推定音源位置x*n最確(most probable)音源位置として定める。音源位置更新部142は、音源候補ごとの推定音源位置を示す推定音源位置情報を音源特定部16に出力する。音源位置更新部142は、更新された推定音源方向[d*]を最確音源方向として定め、音源候補ごとの推定音源方向を示す推定音源位置情報を音源特定部16に出力してもよい。また、音源位置更新部142は、音源候補ごとの音源識別情報をさらに推定音源位置情報に含めて出力してもよい。音源識別情報には、各音源候補の推定音源位置の初期値に係る3個のマイクロホンアレイを示すインデックスの少なくともいずれか1つと、マイクロホンアレイごとの音源定位により推定された音源を示すインデックスの少なくともいずれか1つが含まれればよい。その後、図12に示す処理を終了する。

0140

(音源特定部の処理)
次に、本実施形態に係る音源特定部16の処理について説明する。音源位置更新部142は、3個のマイクロホンアレイのうち、各2つのマイクロホンアレイにより取得された音源方向の3つの中間点に基づいて、推定音源位置を定めていた。しかしながら、各マイクロホンアレイから取得されて音響信号により独立に音源方向が推定されうる。そのため、音源位置更新部142は、2個のマイクロホンアレイのそれぞれについて、互いに異なる音源の音源方向同士で中間点を定めてしまうことがある。その中間点は、音源が実在している位置とは異なる位置に生じるため、いわゆるゴースト(虚像)として検出されることがある。例えば、図13に示す例では、マイクロホンアレイMA1、MA2、MA3により、それぞれ音源S1、S2、S1の方向に音源方向が推定される。図13は、虚像の検出例を示す図である。この場合、マイクロホンアレイMA1、MA3による中間点P3は、いずれも音源S1の方向に基づいて定められるため、音源S1の位置に近似する。しかしながら、マイクロホンアレイMA2、MA3による中間点P2は、それぞれ音源S2、S1の方向に基づいて定められるため、音源S1、S2のいずれの位置からも離れた位置となる。

0141

そこで、音源特定部16は、マイクロホンアレイごとの各音源の音源別信号のスペクトルを複数の第2のクラスタに分類し、前記第2のクラスタのそれぞれに属する各スペクトルに係る音源が同一であるか否かを判定する。音源特定部16は、同一と判定した音源の前記推定音源位置を、同一でないと判定した音源よりも優先して選択する。これにより、虚像の検出により音源位置が誤って推定されることが防止される。

0142

(周波数分析)
周波数分析部124は、音源ごとに分離された音源別音響信号について周波数分析を行う。図14は、本実施形態に係る周波数分析処理の一例を示すフローチャートである。

0143

(ステップS202)周波数分析部124は、各マイクロホンアレイmで取得された音響信号から分離された各音源の音源別音響信号をフレームごとに短時間フーリエ変換を行ってスペクトル[Fm,1]、[Fm,2]〜[Fm,sm]を算出する。その後、ステップS204の処理に進む。

0144

(ステップS204)周波数分析部124は、音源ごとに算出した周波数スペクトルをマイクロホンアレイmごとに行間で統合して、スペクトル行列[Fm]を構成する。周波数分析部124は、マイクロホンアレイmごとのスペクトル行列[Fm]を行間で統合してスペクトル行列[F]を構成する。周波数分析部124は、構成したスペクトル行列[F]と音源方向情報とを対応付けて音源特定部16に出力する。その後、図10に示す処理を終了する。

0145

(スコア算出)
音源特定部16の分散算出部160とスコア算出部162は、次に例示するスコア算出処理を行う。
図15は、本実施形態に係るスコア算出処理の一例を示すフローチャートである。

0146

(ステップS222)分散算出部160は、周波数分析部124から入力されるスペクトル行列[F]が示すマイクロホンアレイmならびに音源の組ごとのスペクトルについてk−平均法を用いてクラスタリングを行い、複数の第2クラスタに分類する。クラスタ数Kは、予め分散算出部160に設定しておく。但し、分散算出部160は、スペクトルごとのクラスタの初期値を、繰り返し回数rごとに変更する。クラスタ数Kは、音源候補数Nと等しくしてもよい。分散算出部160は、スペクトルごとに分類される第2クラスタのインデックスci,x*nを要素として含むクラスタ行列[c*]を構成する。クラスタ行列[c*]の各列、各行は、それぞれマイクロホンアレイi、音源x*nに対応付けられる。マイクロホンアレイの数Mが3である場合、クラスタ行列[c*]は、次式(32)に示すように、N行3列の行列となる。

0147

0148

分散算出部160は、音源位置更新部142から入力される推定音源位置情報が示す音源候補ごとの音源識別情報に基づいて、各音源候補に対応する第2クラスタを特定する。
分散算出部160は、例えば、クラスタ行列において音源識別情報が示すマイクロホンアレイの列と音源列のうち、クラスタ行列に含まれるマイクロホンアレイの列と音源の行に配置された、インデックスが示す第2クラスタを特定することができる。
分散算出部160は、第2クラスタに対応する音源候補ごとの推定音源位置の分散Vx*nを算出する。その後、ステップS224の処理に進む。

0149

(ステップS224)分散算出部160は、第2クラスタcx*nのそれぞれについて、分類された複数のスペクトルに係る音源が互いに同一の音源であるか否かを判定する。分散算出部160は、例えば、複数のスペクトルのうち、各2つのスペクトル間の類似度を示す指標が示す類似度が、いずれも所定の類似度よりも高いとき、同一の音源であると判定する。分散算出部160は、少なくとも1組のスペクトル間の類似度を示す指標が所定の類似度以下となるとき、同一の音源ではないと判定する。類似度の指標として、例えば、内積、ユークリッド距離、などを用いることができる。内積は、その値が大きいほど類似度が高いことを示す。ユークリッド距離は、その値が小さいほど類似度が低いことを示す。なお、分散算出部160は、複数のスペクトルの類似度の指標として、それらの分散を算出してもよい。分散算出部160は、分散が所定の分散の閾値よりも小さいとき、同一の音源であると判定し、分散がその閾値以上であるとき、同一の音源ではないと判定してもよい。同一の音源であると判定する場合(ステップS224;YES)、ステップS226の処理に進む。同一の音源ではないと判定する場合(ステップS224;NO)、ステップS228の処理に進む。

0150

(ステップS226)分散算出部160は、現在の繰り返し回数rにおいて第2クラスタcx*nについて算出した分散Vx*n(r)が、前回の繰り返し回数r−1に算出した分散Vx*n(r−1)以下になったか否かを判定する。分散Vx*n(r−1)以下になったと判定する場合(ステップS226;YES)、ステップS232の処理に進む。分散Vx*n(r−1)より大きいと判定する場合(ステップS226;NO)、ステップS230の処理に進む。

0151

(ステップS228)分散算出部160は、現在の繰り返し回数rの第2クラスタcx*nの分散Vx*n(r)をNaNと設定し、スコアen,rをδとする。NaNは、分散が無効であることを示す記号(not a number)である。δは、0よりも小さい所定の実数である。その後、ステップS234の処理に進む。

0152

(ステップS230)分散算出部160は、現在の繰り返し回数rの第2クラスタcx*nのスコアen,rを0とする。その後、ステップS234の処理に進む。

0153

(ステップS232)分散算出部160は、現在の繰り返し回数rの第2クラスタcx*nのスコアen,rをεとする。その後、ステップS234の処理に進む。

0154

(ステップS234)分散算出部160は、現在の繰り返し回数rが所定の繰り返し回数Rに達したか否かを判定する。達していないと判定するとき(ステップS234;NO)、ステップS236の処理に進む。達したと判定するとき(ステップS234;YES)、分散算出部160は、第2クラスタごとの各回のスコアと推定音源位置を示すスコア算出情報をスコア算出部162に出力し、ステップS238の処理に進む。

0155

(ステップS236)分散算出部160は、現在の繰り返し回数rを、1増加させる。その後、ステップS222の処理に戻る。

0156

(ステップS238)スコア算出部162は、次式(33)に示すように分散算出部160から入力されるスコア算出情報に基づいて、第2クラスタcx*nごとにスコアen,rの合計値enを算出する。スコア算出部162は、座標値xnが相互に所定の範囲内にある推定音源位置xiにそれぞれ対応する第2クラスタiの合計値eiの総和e’nを算出する。これは、相互に座標値が等しいもしくは所定の範囲内にある推定音源位置に対応する第2クラスタを、1個の第2クラスタとして統合するためである。相互に座標値が等しいもしくは所定の範囲内にある推定音源位置に対応する第2クラスタが生じるのは、一般に各1個の音源からの発音期間の方が周波数分析に係るフレーム長よりも長いうえ、周波数特性が変動するためである。

0157

0158

スコア算出部162は、次式(34)に示すように分散算出部160から入力されるスコア算出情報に基づいて、第2クラスタcx*nごとに有効な分散が算出された回数を存在度数anとして計数する。スコア算出部162は、有効な分散が算出されていないか否かを、分散Vx*n(r)にNaNが設定されたか否かにより判定することができる。式(30)の第1行の右辺のan,rは、NaNが設定された繰り返し回数rについて0、NaNが設定されていない繰り返し回数rについて1となる。
スコア算出部162は、座標値xnが相互に所定の範囲内にある推定音源位置xiにそれぞれ対応する第2クラスタiの存在度数aiの総和a’nを算出する。その後、ステップS240の処理に進む。

0159

0160

(ステップS240)スコア算出部162は、次式(35)に示すように、統合した第2クラスタnのそれぞれについてスコアの総和e’nを存在度数の総和a’nで除算して最終スコアe*nを算出する。統合した第2クラスタnは、個々の音源候補に対応する。スコア算出部162は、算出した音源候補ごとの最終スコアと推定音源位置を示す最終スコア情報を音源選択部164に出力する。その後、図15に示す処理を終了する。

0161

0162

上述の例では、ステップS228、S230、S232においてスコアen,rをそれぞれδ、0、εとする場合を例にしたが、これには限られない。ステップS228、S230、S232において定められるスコアen,rの値の大小関係は、その昇順であればよい。

0163

(音源選択)
音源選択部164は、次に例示する音源選択処理を行う。
図16は、本実施形態に係る音源選択処理の一例を示すフローチャートである。

0164

(ステップS242)音源選択部164は、スコア算出部162から入力された最終スコア情報が示す音源候補の最終スコアe*nが所定の最終スコアの閾値θ2以上であるか否かを判定する。閾値θ2以上と判定する場合(ステップS242;YES)、ステップS244の処理に進む。閾値θ2未満と判定する場合(ステップS242;NO)、ステップS246の処理に進む。

0165

(ステップS244)音源選択部164は、最終スコアe*nが正常値(Inlier)と判定し、その音源候補を音源として選択する。音源選択部164は、選択した音源に対応する推定音源位置を示す出力音源位置情報を音響処理装置1の外部に出力部18を介して出力する。

0166

(ステップS246)音源選択部164は、最終スコアe*nが異常値(Outlier)と判定し、対応する音源候補を音源として選択せずに棄却する。その後、図12に示す処理を終了する。

0167

(音響処理)
音響処理装置1は、全体として次に例示する音響処理を行う。
図17は、本実施形態に係る音響処理の一例を示すフローチャートである。

0168

(ステップS12)音源定位部120は、入力部10から入力され、各マイクロホンアレイから取得された複数チャネルの音響信号に基づいて各音源の定位音源方向を予め定めた長さのフレームごとに推定する(音源定位)。音源定位部120は、音源定位において、例えば、MUSIC法を用いる。その後、ステップS14の処理に進む。

0169

(ステップS14)音源分離部122は、音源ごとの定位音源方向に基づいて、各マイクロホンアレイから取得された音響信号を音源ごとの音源別音響信号に分離する。音源分離部122は、音源分離部において、例えば、GHDSS法を用いる。その後、ステップS16の処理に進む。

0170

(ステップS16)初期値設定部140は、三角分割法により、3個のマイクロホンアレイのうち、各2個のマイクロホンアレイの組ごとに推定された定位音源方向に基づいて中間点(含む交点)を定める。初期値設定部140は、定めた中間点を音源候補の推定音源位置の初期値として定める。その後、ステップS18の処理に進む。

0171

(ステップS18)音源位置更新部142は、各2個のマイクロホンアレイの組ごとに推定音源方向に基づいて定められる中間点の分布を複数のクラスタに分類する。音源位置更新部142は、音源候補ごとの推定音源位置が、それぞれの音源候補に対応するクラスタに属する確率が高くなるように推定音源位置を更新する。ここで、音源位置更新部142は、上述の音源位置更新処理を行う。その後、ステップS20の処理に進む。

0172

(ステップS20)周波数分析部124は、各マイクロホンアレイについて音源ごとに分離した音源別音響信号について周波数分析を行い、スペクトルを算出する。その後、ステップS22の処理に進む。

0173

(ステップS22)分散算出部160は、算出したスペクトルを複数の第2クラスタに分類し、分類した第2クラスタに属するスペクトルに係る音源が相互に同一であるか否かを判定する。分散算出部160は、第2クラスタに属するスペクトルに係る音源候補ごとの推定音源位置の分散を算出する。スコア算出部162は、同一と判定された音源に係る第2クラスタを、同一でないと判定した音源に係る第2クラスタよりも大きくなるように第2クラスタごとの最終スコアを定める。スコア算出部162は、クラスタの安定性として、繰り返しごとの推定音源位置の分散の増加が稀な第2クラスタほど大きくなるように最終スコアを定める。ここで、分散算出部160とスコア算出部162は、上述のスコア算出処理を行う。その後、ステップS24の処理に進む。

0174

(ステップS24)音源選択部164は、最終スコアが、所定の最終スコアの閾値以上となる第2クラスタに対応する音源候補を音源として選択し、最終スコアの閾値未満となる第2クラスタに対応する音源候補を棄却する。音源選択部164は、選択した音源に係る推定音源位置を出力する。その後、図17に示す処理を終了する。

0175

(フレームデータ解析
音響処理システムS1は、記憶部19を備え、図17に示す音響処理を行う前に、各マイクロホンアレイが収音した音響信号を記憶しておいてもよい。記憶部19は、音響処理装置1の一部として構成されてもよいし、音響処理装置1とは別個の外部機器に設置されてもよい。音響処理装置1は、記憶部から読み出した音響信号を用いて図17に示す音響処理を行ってもよい(バッチ処理)。

0176

上述の図17の音響処理のうち、音源位置更新処理(ステップS18)、スコア算出処理(ステップS22)は、複数のフレームの音響信号に基づく各種のデータを要するうえ、処理時間が長い。オンライン処理において、あるフレームについて図17の処理を完了した後で、次のフレームの処理を開始すると、出力が間欠的となるため現実的ではない。
そこで、オンライン処理において、初期処理部12によるステップS12、S14、S20の処理が、音源位置推定部14と音源特定部16によるステップS16、S18、S22、S24の処理と並列に行われてもよい。但し、ステップS12〜S14、S20の処理において、現時点t0までの第1区間内の音響信号もしくは音響信号から導出された各種のデータを処理対象とする。ステップS12、S14、S20の処理において、現時点t0までの第1区間内の音響信号もしくは音響信号から導出された各種のデータを処理対象とする。ステップS16、S18、S22、S24の処理において、第1区間よりも過去の第2区間内の音響信号もしくは各種のデータを処理対象とする。

0177

図18は、処理対象のデータ区間の例を示す図である。
図18において、左右方向は時刻を示す。右上のt0は、現時点を示す。wlは、個々のフレームw1、w2、…のフレーム長を示す。音響処理装置1の入力部10には、フレームごとに最新の音響信号が入力され、音響処理装置1の記憶部19は、期間がne・wlの音響信号と導出されるデータを記憶する。そして、記憶部は、フレームごとに最も過去の音響信号とデータを棄却する。neは、記憶される全データのフレーム数を示す。初期処理部12は、全データのうち最新の第1区間内のデータを用いて、ステップS12〜S14、S20の処理を行う。第1区間の長さが、初期処理長nt・wlに相当する。ntは、予め定めた初期処理長のフレーム数を示す。音源位置推定部14と音源特定部16は、全データのうち第1区間の終期よりも後の第2区間のデータを用いて、ステップS16、S18、S22、S24の処理を行う。第2区間の長さが、バッチ長nb・wlに相当する。nbは、予め定めたバッチ長のフレーム数を示す。第1区間、第2区間には、フレームごとに、それぞれ最新のフレームの音響信号、第nt+1フレームの音響信号と導出されるデータが加入される。他方、第1区間、第2区間には、フレームごとに第ntフレームの音響信号とその音響信号から導出されるデータと、第neフレームの音響信号と導出されるデータが棄却される。このように、初期処理部12と、音源位置推定部14ならびに音源特定部16は、それぞれ第1区間内のデータと、第2区間内のデータとを使い分けることで、出力がフレーム間で継続するように図13に示す音響処理がオンラインで実行可能となる。

0178

以上に説明したように、本実施形態に係る音響処理装置1は、位置が異なるM(Mは、3以上の整数)個の収音部のそれぞれから取得した複数チャネルの音響信号に基づいて音源の方向である定位音源方向を定める音源定位部と、2個の前記収音部の組ごとに当該収音部のそれぞれから前記音源の推定音源位置への方向である推定音源方向への半直線双方に対して垂直となる線分の中間点を前記推定音源位置として推定する音源位置推定部と、を備える。
この構成により、それぞれ異なる収音部からの定位音源方向による半直線が交差しなくても半直線双方に対して垂直となる線分の中間点(含む交点)によって定まる点を推定音源位置として推定することができる。

0179

また、本実施形態に係る音響処理装置1において、前記音源位置推定部は、前記中間点の分布を複数のクラスタに分類し、前記推定音源位置が前記音源に対応する。クラスタに分類される確率である推定確率が高くなるように前記推定音源位置を更新する
この構成により、それぞれ異なる収音部20からの定位音源方向により定まる中間点が分類されるクラスタの範囲内に、対応する音源の推定音源位置が分類される可能性が高くなるように推定音源位置が調整される。クラスタの範囲内には音源が存在する可能性が高くなるため、調整される推定音源位置がより正確な音源位置として得られる。

0180

また、推定確率は、定位音源方向が定められるとき推定音源方向が得られる確率である第1確率と、中間点が定められるとき推定音源位置が得られる確率である第2確率と、中間点が分類されるクラスタの出現確率である第3確率と、をそれぞれ因子とする積である。
一般に、定位音源方向、推定音源位置及び中間点は相互に依存するが、音源位置推定部14は、第1確率、第2確率及び第3確率をそれぞれ独立な推定確率の因子として推定音源位置を定めることができる。そのため、推定音源位置の調整に係る計算負荷が低減する。

0181

また、第1確率は、定位音源方向を基準とするフォン・ミーゼス分布に従い、第2確率は、中間点の位置を基準とする多次元ガウス関数に従う。音源位置推定部14は、推定確率が高くなるように、フォン・ミーゼス分布の形状パラメータと、多次元ガウス関数の平均ならびに分散と、を更新する。
この構成により、第1確率の推定音源方向の関数、第2確率の推定音源位置の関数が、それぞれ形状パラメータ、平均ならびに分散といった少数のパラメータで表される。そのため、推定音源位置の調整に係る計算負荷がさらに低減する。

0182

また、音源位置推定部14は、収音部20の3個から定められる3個の中間点(含む交点)の重心を推定音源位置の初期値として定める。
この構成により、推定音源位置の初期値を、音源が存在する可能性が高い3個の中間点をそれぞれ頂点とする三角形の領域内に設定することができる。そのため、調整による推定音源位置の変化が収束するまでの計算負荷が低減する。

0183

また、音響処理装置1は、複数チャネルの音響信号から音源ごとの音源別信号に分離する音源分離部122と、音源別信号のスペクトルを算出する周波数分析部124を備える。音響処理装置1は、算出したスペクトルを複数の第2クラスタに分類し、第2クラスタのそれぞれに分類される各スペクトルに係る音源が同一であるか否かを判定し、同一と判定した音源の推定音源位置を、同一でないと判定した音源よりも優先して選択する音源特定部16を備える。
この構成により、スペクトルに基づいて同一と判定されなかった音源の定位音源方向の中間点に基づいて推定された推定音源位置が棄却される可能性が高くなる。そのため、互いに異なる音源の推定音源方向の中間点に基づいて推定音源位置が虚像(ゴースト)として誤って選択される可能性を低くすることができる。

0184

音源特定部16は、第2クラスタのそれぞれに分類されるスペクトルに係る音源の推定音源位置の分散に基づいて当該第2クラスタの安定性を評価し、安定性が高い第2クラスタほど当該第2クラスタにスペクトルが分類される音源の推定音源位置を優先して選択する。
この構成により、推定音源位置が定常的な音源のスペクトルが分類される第2クラスタに対応する音源の推定音源位置が選択される可能性が高くなる。即ち、推定音源位置が選択される第2クラスタには、偶発的に互いに異なる音源の推定音源方向の中間点に基づいて推定される推定音源位置が含まれる可能性が低くなる。そのため、互いに異なる音源の推定音源方向の中間点に基づいて推定音源位置が虚像として誤って選択される可能性をさらに低くすることができる。

0185

測定結果
次に、本実施形態の音響処理装置1を用いて測定した結果例を説明する。
まず、マイクアレイの配置例を説明する。
図19は、マイクロホンアレイの配置例を示す図である。図19において、符号m1,m2,m3,m4それぞれがマイクロホンアレイである。
また、符号g11が示す画像は、実空間におけるマイクロホンアレイm1,m2,m3,m4の配置を示す図である。また、符号g12は、xy平面におけるマイクロホンアレイ設置座標を示す図である。なお、図19において、水平方向・向きにx軸、垂直方向・西向きにy軸、鉛直方向上向きにz軸を取る。また、原点はマイクロホンアレイm4の位置とする。高さzについて、x,yにかかわらず常にT1の位置の地表面を基準(z=0)とする。また、北をxy平面における方位の0度方向とする。また、各マイクロホンアレイの地上高さは1.3mである。また、使用したマイクロホンアレイそれぞれは、16個のマイクロホンがデバイスの表面上の異なる垂直および水平位置に分散されて配置されている。この環境で数時間の鳥の録音した。

0186

図20は、収音した第1の音響信号例を示す図である。図20において、横軸は時刻であり、縦軸は音響信号の大きさである。また、収音した音響信号は、野鳥の鳴き声である。録音時間は25秒である。この収音した音響信号に対して、上述した三次元の位置推定と外れ値除去(ゴースト除去)処理を行った。
図20に示すように、このデータは、4つの大きな鳴き声イベントから構成され、通過する車や鳥が遠くで鳴くなどのノイズなどが含まれている。

0187

図21は、マイクロホンアレイm1,m2,m3,m4それぞれが収音した第1の音響信号それぞれに対して解析した結果である。符号g21はマイクロホンアレイm1が収音した音響信号に対して解析した結果である。符号g22はマイクロホンアレイm2が収音した音響信号に対して解析した結果である。符号g23はマイクロホンアレイm3が収音した音響信号に対して解析した結果である。符号g24はマイクロホンアレイm4が収音した音響信号に対して解析した結果である。符号g21〜g24において、横軸は時刻であり、縦軸は方位角(rad)である。また、符号g31等の縦線は、各イベントのおおよその開始時間を示している。

0188

図21に示したように、外れ値除去アルゴリズム消去することができなかったいくつかの雑音イベントを伴うマイクロホンアレイm1、m2およびm3によって事象を適切に推定することができた。
マイクロホンアレイm4では、いくつかの主要イベントが省略されたが、他の3つのマイクロホンアレイからの情報を使用してローカライズを実行することができる。

0189

図22は、図20の音響信号から推定した鳥の位置を示す例である。
図22において、符号g31はXY平面における推定位置であり、横軸がX(m)軸、縦軸がY(m)軸である。符号g32はXZ平面における推定位置であり、横軸がX(m)軸、縦軸がZ(m)軸である。符号g33はYZ平面における推定位置であり、横軸がY(m)軸、縦軸がZ(m)軸である。
また丸印は、正常値である。バツ印は、異常値である。三角印は、マイクロホンアレイの位置を表す。

0190

番目のデータでは、最初のデータと同じ設定で22秒ごとに異なる鳥の曲の録音を選択した。
図23は、第2の音響信号(不図示)から推定した鳥の位置を示す例である。
図23において、符号g41は、本実施形態の3次元位置推定によるXY平面における推定位置であり、横軸がX(m)軸、縦軸がY(m)軸である。符号g42は、本実施形態の3次元位置推定によるXZ平面における推定位置であり、横軸がX(m)軸、縦軸がZ(m)軸である。符号g43は、本実施形態の3次元位置推定によるYZ平面における推定位置であり、横軸がY(m)軸、縦軸がZ(m)軸である。符号g44は、従来技術による2次元位置推定結果と本実施形態の3次元位置推定結果を比較したものであり、横軸がX(m)軸、縦軸がY(m)軸である。
また、符号g41〜g43において、丸印は正常値であり、バツ印は異常値であり、三角印はマイクロホンアレイの位置を表す。
符号g44において、丸印は従来技術による2次元位置推定結果であり、バツ印は本実施形態の3次元位置推定結果であり、三角印はマイクロホンアレイの位置を表す。

0191

図23に示す例では、いくつかの鳥が鳴いているように見えますが、それぞれ同じXY位置にあり、高さはそれぞれ異なっている。このため、従来技術による二次元位置推定では方位角方向のみを使用するため、結果は鳴いている1つの鳥の位置だけが推定される。一方、本実施形態の三次元位置推定を行った結果は、鳥の位置の高度の差も分析することができる。

0192

図24は、従来技術による2次元位置推定結果と本実施形態の3次元位置推定結果を比較した結果を示す図である。
符号g51は、XY平面における従来技術による2次元位置推定結果であり、横軸がX(m)、縦軸がY(m)である。符号g41とg42は、図23と同じである。符号g51において、丸印は正常値であり、バツ印は異常値であり、三角印はマイクロホンアレイの位置を表す。
符号g51と符号g41を重ねた結果が図23の符号g44の図である。符号g51と符号g41のように、上から見ると(XY平面)、鳥の推定位置は同じように見える。しかしながら、符号g42のように、違う高さで鳥が鳴いていることがわかる。

0193

図25は、収音した第2の音響信号の1チャネルの例を示す図である。図25において、横軸は時刻であり、縦軸は音響信号の大きさである。また、収音した音響信号は、野鳥の鳴き声である。録音時間は22秒である。この収音した音響信号に対して、上述した三次元の位置推定と外れ値除去(ゴースト除去)処理を行った。

0194

図26は、マイクロホンアレイm1,m2,m3,m4それぞれが収音した第2の音響信号それぞれに対して方位角方向を解析した結果である。符号g61はマイクロホンアレイm1が収音した音響信号に対して解析した結果である。符号g62はマイクロホンアレイm2が収音した音響信号に対して解析した結果である。符号g63はマイクロホンアレイm3が収音した音響信号に対して解析した結果である。符号g64はマイクロホンアレイm4が収音した音響信号に対して解析した結果である。符号g61〜g64において、横軸は時刻であり、縦軸は方位角(rad)である。

0195

図27は、マイクロホンアレイm1,m2,m3,m4それぞれが収音した第2の音響信号それぞれに対して仰角方向を解析した結果である。符号g71はマイクロホンアレイm1が収音した音響信号に対して解析した結果である。符号g72はマイクロホンアレイm2が収音した音響信号に対して解析した結果である。符号g73はマイクロホンアレイm3が収音した音響信号に対して解析した結果である。符号g74はマイクロホンアレイm4が収音した音響信号に対して解析した結果である。符号g71〜g74において、横軸は時刻であり、縦軸は仰角(rad)である。

0196

図26図17に示す例では、鳥のイベントがほぼ一定であり、これらのイベントの正確な開始時間を決定することは困難であった。
また、ほとんどの場合、情報は記録されたデータの主な音響信号のイベントと同時に取得される。

0197

以上の測定結果に示したように、本実施形態によれば、三次元位置推定により、高さの異なる鳥を区別することができる。また、測定結果より、樹木の位置や高さから、推定された鳥の位置が妥当と思われる。

0198

以上、図面を参照してこの発明の実施形態について説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

0199

例えば、分散算出部160は、図15の処理のうちステップS222、S224の処理を行い、ステップS226〜S240の処理を行わなくてもよい。その場合には、スコア算出部162が省略されてもよい。その場合、音源選択部164は、第2クラスタに分類されるスペクトルに係る音源が互いに同一と判定された第2クラスタに対応する候補音源を音源として選択し、同一と判定されない第2クラスタに対応する候補音源を棄却してもよい。音源選択部164は、選択した音源に対応する推定音源位置を示す出力音源位置情報を音響処理装置1の外部に出力する。
また、音響処理装置1において、周波数分析部124と音源特定部16が省略されてもよい。その場合、音源位置更新部142は、音源候補ごとの推定音源位置を示す推定音源位置情報を出力部18に出力する。

0200

音響処理装置1は、収音部20−1〜20−Mと一体化した単一の装置として構成されてもよい。
収音部20の数Mは、3個に限られず4個以上であってもよい。また、収音部20ごとに収音可能とする音響信号のチャネル数が異なってもよいし、それぞれの音響信号から推定可能な音源数が異なってもよい。
第1確率が従う確率分布は、フォン・ミーゼス分布に限られず、ロジスティック関数導関数など、1次元空間内のある基準値に対する最大値を与える1次元の確率分布であればよい。
第2確率が従う確率分布は、多次元ガウス関数に限られず、多次元ロジスティック関数の一次導関数など、多次元空間内のある基準値に対する最大値を与える多次元の確率分布であればよい。

0201

なお、本発明における音響処理装置1の機能の全てまたは一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより音響処理装置1が行う処理の全てまたは一部を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境(あるいは表示環境)を備えたWWWシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワーク電話回線等の通信回線を介してプログラムが送信された場合のサーバクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。

0202

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル差分プログラム)であってもよい。

0203

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。

0204

S1…音響処理システム、1…音響処理装置、20,20−1,20−2,・・・20−M…収音部、10…入力部、12…初期処理部、14…音源位置推定部、16…音源特定部、18…出力部、19…記憶部、120…音源定位部、122…音源分離部、124…周波数分析部、130…初期値設定部、142…音源位置更新部、160…分散算出部、162…スコア算出部、164…音源選択部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • アイシン精機株式会社の「 対象物位置検出センサ」が 公開されました。( 2020/10/08)

    【課題】対象物の検出位置精度が高い対象物位置検出センサを提供する。【解決手段】検出器1は、反射波Rを受信する超音波センサ11〜15を含むセンサ群、反射波Rの位相に基づいて障害物Tの位置を検出する制御部... 詳細

  • 井関農機株式会社の「 作業車両」が 公開されました。( 2020/10/08)

    【課題】車体が傾斜した場合や沈下した場合、障害物検出に誤作動が生じる。【解決手段】車体10の周辺に存在する障害物の検出を行う障害物検出機構600と、 あらかじめ設定された走行経路Cに沿って車体10を... 詳細

  • 東芝プラントシステム株式会社の「 埋設物探査装置、及びプローブ装置」が 公開されました。( 2020/10/08)

    【課題】埋設物探査装置の探査精度を向上する。【解決手段】実施形態に係る埋設物探査装置は、プローブ装置と解析装置を備える。プローブ装置は、第1周波数の音波を送受信可能なマトリクス状に配列された複数の第1... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ