図面 (/)

技術 マイクロホンアレイ方法及びシステム、並びにこれを用いた音声認識方法及び装置

出願人 三星電子株式会社
発明者 孔棟建崔昌圭方錫元李本容
出願日 2004年5月6日 (16年7ヶ月経過) 出願番号 2004-137875
公開日 2004年11月25日 (16年1ヶ月経過) 公開番号 2004-334218
状態 特許登録済
技術分野 音声認識 可聴帯域変換器の細部(特性を得るもの) 可聴帯域変換器用回路 可聴帯域変換器の回路等
主要キーワード 等間隔線 広域ビーム 減衰現象 信号歪曲 域周波数信号 アレイセンサー 広域空間 逆時計回り
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2004年11月25日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

室内環境のように反響が存在する環境で音声認識を高めるためのマイクロホンアレイ方法及びシステムと、これを用いた音声認識方法及び装置を提供する。

解決手段

サウンド信号を入力されるためにマイクロホンアレイを用いる入力部101と、入力された信号を周波数成分別に分離する離散フーリエ変換部102と、前記アレイサブアレイ集合と見なしてサブアレイの広域空間共分散行列を求め、これらの平均を求める平均空間共分散行列推定部104と、推定された共分散行列を通じて信号源の位置を決定する広域MUSIC部105と、推定された共分散行列を用いて信号の歪曲補正する広域MV部106と、周波数領域の信号を時間領域に復元する逆離散フーリエ変換部107と、を含むように、マイクロホンアレイシステムを構成する。

概要

背景

マルチメディア技術の発展とさらに便利な生活を追求する人間の欲求によって、TV、DVDをはじめとする家電製品音声で制御しようとする研究が新たに浮び上がっている。このように便利なHMI(Human-Machine Interface)のためにはユーザの音声を受け入れ音声入力モジュール及びそれを認識する音声認識モジュールが必要である。

実際の環境でHMIのための音声インターフェースを構成する場合、話者の音声だけでなく音楽、TV、背景雑音などの干渉信号も存在する。このような実際の生活環境でHMIのための音声インターフェースを構成しようとすれば、周辺雑音干渉に関係なく高品質音声信号を取得できる音声入力モジュールが必要である。

マイクロホンアレイ方法は、空間的に所望の信号方向に対して多くの利得を与え、そうでない方向に対しては少ない利得を与える空間フィルタリングを通じて高品質の音声信号の取得を可能にする。音声認識では、このようなマイクロホンアレイ方法を用いて高品質の音声信号を取得することによって、音声認識の性能を高めようとする研究が活発に進行しつつある。しかし、アレイ信号処理技術の基本仮定である狭域条件に比べて広い帯域幅を有する音声信号を用いなければならない問題と室内環境での反響などにより発生する問題によって実際の適用には難点が多い。

これを解決するためにGriffthsとJimらがGSC(Generalized Sidelobe Canceller)に基づく適応マイクロホンアレイ法を提案した。適応マイクロホンアレイ法の場合、比較的簡単な構造を持ち、かつ高いSINR(Signal to Interface and Noise Ratio)利得を得られる長所を有している。しかし、入射角推定誤差に対する影響と室内環境での反響により性能低下が発生するために推定誤差と反響とに強靭な適応アルゴリズムの開発を必要としている。

また、Caponらが提案したMVDR(Minimum Variance Distortionless Response)を広域信号を対象として拡張した広域MV方法がある。広域MV方法は、信号の自己相関行列を構成する方法によってMV方法とML(Maximum Likelihood)方法とに区分され、各方法でも自己相関行列を構成する多様な方法が提案されている。このような広域MVに基づいたマイクロホンアレイはAsano、Ward、Friedlanderらにより提案された。

次いで、従来の技術によるマイクロホンアレイ方法について説明する。まず、M個のセンサーを有しているマイクロホンアレイにD個の信号源がθ=[θ1、θ2,...,θd]の方向から入射される場合にθ1が目的信号の方向であり、残りは干渉信号の方向であると仮定する。アレイに受信されたデータを離散フーリエ変換した後、各周波数成分別に集めたベクトルを次の数式(3)のように表現して信号をモデリングする。この際、前記ベクトルを以下では周波数ビンと表する。

また、ak(θd)は、次のように表現しうる。

広域信号の入射角推定には、アレイ入力信号を離散フーリエ変換した後、各周波数成分毎にMUSIC(Multiple Signal Classification)アルゴリズムを適用し、関心のある周波数帯域で平均を取る方法が使われる。k番目周波数成分に対する類似空間スペクトルは次のように定義される。

この際、各信号源の入射角と一致すれば、指向ベクトルと雑音副空間とは直交するという性質により分母が0になるので、類似空間スペクトルは無限大ピーク値を有し、これに対応する角度が入射方向となる。

この際、平均化された類似空間スペクトルは次のように求められる。

広域MVアルゴリズムは広域信号である音声を離散フーリエ変換した後、各周波数成分毎に狭域MVアルゴリズムを適用する。その加重値ベクトルを求めるための最適化問題各周波数別に異なる線形制限条件を有するビーム形成方法から誘導される。

ここで、空間共分散行列Rkは次の通りである。

ラグランジュマルチプライヤ(Lagrange Multiplier)を用いて数式(8)を解けば加重値ベクトルは次の通りである。

このような広域MVは数式(9)でRkを推定する方法によって2つに区分される。目的信号と雑音とが同時に存在する区間加重値を求める方法をMVビーム形成方法と称し、雑音だけが存在する区間で加重値を求める方法をSINRビーム形成方法またはML(Maximum Likelihood)方法と称する。

図1は、従来に提案されたマイクロホンアレイシステムを示す。従来のマイクロホンアレイシステムは前述した入射角推定方法広域ビーム形成方法とを統合した。図1のマイクロホンアレイシステムは、複数のマイクロホンで構成された入力部1に入力されたサウンド信号を離散フーリエ変換部2で複数の狭域信号に分解した後、雑音と音声区間とを区分する音声信号検出器3を用いて空間共分散行列推定部4でそれぞれの狭域信号に対する空間共分散行列を推定する。推定された空間共分散行列は、広域MUSICモジュール5で固有値分解を通じて雑音副空間に該当する固有ベクトルを求めた後、数式(6)を用いて平均類似空間スペクトルを計算して目的信号の方向情報を得る。それから広域MVモジュール6で数式(9)を用いて各周波数成分に該当する加重値ベクトルを求め、これを各周波数成分に掛け合わせる。逆離散フーリエ変換部7は補正された各周波数成分をサウンド信号に復元する。

このような従来のシステムは干渉信号だけが存在する区間で空間共分散行列を推定する場合には安定した動作を示す。しかし、もし目的信号が存在する区間で空間共分散行列を求めれば、干渉信号だけでなく目的信号まで除去してしまう問題が発生する。このような現象が発生することは目的信号が直接経路だけでなく反響による多重経路を通じて伝送されるからである。すなわち、目的信号の方向以外の方向に伝送された目的信号は何れも干渉信号と見なされて相関度のある目的信号まで除去されてしまう。

前述したように反響による影響をあまり受けずに目的信号を効率よく入力されうる方法やシステムが必要である。

また、広域MUSICモジュール5ではそれぞれの周波数ビンに対してMUSICアルゴリズムの演算が行われるが、前記演算はシステム動作において多くの負荷として作用するところ、MUSICアルゴリズムの演算量を減らす方法が必要となった。

概要

室内環境のように反響が存在する環境で音声認識を高めるためのマイクロホンアレイ方法及びシステムと、これを用いた音声認識方法及び装置を提供する。サウンド信号を入力されるためにマイクロホンアレイを用いる入力部101と、入力された信号を周波数成分別に分離する離散フーリエ変換部102と、前記アレイをサブアレイ集合と見なしてサブアレイの広域空間共分散行列を求め、これらの平均を求める平均空間共分散行列推定部104と、推定された共分散行列を通じて信号源の位置を決定する広域MUSIC部105と、推定された共分散行列を用いて信号の歪曲を補正する広域MV部106と、周波数領域の信号を時間領域に復元する逆離散フーリエ変換部107と、を含むように、マイクロホンアレイシステムを構成する。

目的

本発明は前記必要性のために案出されたものであって、本発明は反響環境に強靭なマイクロホンアレイ方法及びシステムを提供することをその技術的課題とする。

効果

実績

技術文献被引用数
2件
牽制数
1件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

サウンド信号を入力されるために複数のマイクロホンを用いる入力部と、 前記入力部に入力された各サウンド信号を狭域の信号に分離する周波数分離部と、 前記入力部の複数のマイクロホンを仮想サブアレイの結合と仮定して各サブアレイ別に空間共分散行列を求め、これらを平均して平均空間共分散行列を算出する空間平滑法を用いて、前記周波数分離部を通じて分離されたサウンド信号の各周波数成分に対する空間共分散行列を求める平均空間共分散行列推定部と、 前記空間平滑法を通じて求められた平均空間共分散行列に基づいて前記サウンド信号の入射角を決定する信号源位置決定部と、 前記信号源位置決定部を通じて得たサウンド信号の入射角に基づいて前記サウンド信号の各周波数成分に掛け合わせる加重値を求め、これを掛け合わせる信号歪曲補正部と、補正された各周波数成分を用いてサウンド信号を復元する信号復元部と、を含むことを特徴とするマイクロホンアレイシステム

請求項2

前記周波数分離部は離散フーリエ変換を用いて周波数を分離し、前記信号復元部は逆離散フーリエ変換を通じてサウンド信号を復元することを特徴とする請求項1に記載のマイクロホンアレイシステム。

請求項3

前記空間平滑法は数式(1)によってなされ、この平均空間共分散行列を用いてMUSIC法により信号の入射角θ1を求めた後、この入射角θ1を数式(2)に代入して前記入力されたサウンド信号に掛け合わせる加重値を計算することを特徴とする請求項1に記載のマイクロホンアレイシステム。

請求項4

前記信号源位置決定部は、前記入力部から受信したサウンド信号を前記周波数分離部により分離されたサウンド信号の各周波数成分に分離し、前記分離された周波数成分のうちから所定の基準によって選択された周波数成分に対してのみMUSICアルゴリズム演算を行うことによって前記サウンド信号の入射角を決定することを特徴とする請求項1に記載のマイクロホンアレイシステム。

請求項5

前記信号源位置決定部は、前記入力部から受信したサウンド信号を前記周波数分離部により分離されたサウンド信号の各周波数成分に分離し、前記分離されたサウンド信号を同じ周波数成分ごとに複数のグループに分けて各グループ別音声の存在する可能性を測定する音声信号検出部と、 前記グループのうちから前記可能性が高い順に所定数だけのグループを選択するグループ選択部と、 前記選択されたグループに属する周波数成分に対してMUSICアルゴリズム演算を行う演算部と、を含むことを特徴とする請求項4に記載のマイクロホンアレイシステム。

請求項6

サウンド信号を入力されるために複数のマイクロホンを用いる入力部、前記入力部に入力された各サウンド信号を狭域の信号に分離する周波数分離部、前記入力部の複数のマイクロホンを仮想のサブアレイの結合と仮定して各サブアレイ別に空間共分散行列を求め、これらを平均して平均空間共分散行列を算出する空間平滑法を用いて、前記周波数分離部を通じて分離されたサウンド信号の各周波数成分に対する空間共分散行列を求める平均空間共分散行列推定部、前記空間平滑法を通じて求められた平均共分散行列に基づいて前記サウンド信号の入射角を決定する信号源位置検索部、前記信号源位置検索部を通じて得たサウンド信号の入射角に基づいて前記サウンド信号の各周波数成分に掛け合わせる加重値を求め、これを掛け合わせる信号歪曲補正部、及び補正された各周波数成分を用いてサウンド信号を復元する信号復元部を含むマイクロホンアレイシステムと、 前記マイクロホンアレイシステムから入力されたサウンド信号の特徴を抽出する特徴抽出部と、 前記抽出された特徴と比較されるパターンを保存する基準パターン保存部と、 前記基準パターン保存部のパターンと前記抽出された特徴とを比較する比較部と、 前記比較された結果で音声認識の如何を判定する決定部と、を含むことを特徴とする音声認識装置

請求項7

前記空間平滑法は数式(1)によってなされ、この平均空間共分散行列を用いてMUSIC法により信号の入射角θ1を求めた後、この入射角θ1を数式(2)に代入して前記入力されたサウンド信号に掛け合わせる加重値を計算することを特徴とする請求項6に記載の音声認識装置。

請求項8

前記信号源位置決定部は前記入力部から受信したサウンド信号を前記周波数分離部により分離されたサウンド信号の各周波数成分に分離し、前記分離された周波数成分のうちから所定の基準によって選択された周波数成分に対してのみMUSICアルゴリズム演算を行うことによって前記サウンド信号の入射角を決定することを特徴とする請求項6に記載の音声認識装置。

請求項9

前記信号源位置決定部は、 前記入力部から受信したサウンド信号を前記周波数分離部により分離されたサウンド信号の各周波数成分に分離し、前記分離されたサウンド信号を同じ周波数成分ごとに複数のグループに分けて各グループ別に音声の存在可能性を測定する音声信号検出部と、 前記グループのうちから前記可能性が高い順に所定数だけのグループを選択するグループ選択部と、 前記選択されたグループに属する周波数成分に対してMUSICアルゴリズム演算を行う演算部と、を含むことを特徴とする請求項8に記載の音声認識装置。

請求項10

複数のマイクロホンで構成されたアレイから広域のサウンド信号を入力される第1段階と、 入力された信号を複数の狭域に分離する第2段階と、 前記アレイを複数のマイクロホンで構成されたサブアレイの集合と仮定してサブアレイ別に前記分離された帯域別に所定の方式で空間共分散行列を求め、これを各帯域別に平均して帯域別に平均空間共分散行列を求める第3段階と、 前記平均空間共分散行列で前記サウンド信号の入射角を所定の公式で求める第4段階と、 前記求められた入射角に基づいて前記狭域に分離された信号に掛け合わせる加重値を計算し、これを前記狭域に分離された信号に掛け合わせる第5段階と、 前記加重値を掛け合わせた狭域信号から広域信号に復元する第6段階と、を含むことを特徴とするマイクロホンアレイ方法

請求項11

前記第2段階は離散フーリエ変換により、第6段階は逆離散フーリエ変換によることを特徴とする請求項10に記載のマイクロホンアレイ方法。

請求項12

前記第3段階は平均空間共分散行列を数式(1)により求め、前記第4段階は前記平均空間共分散行列を用いてMUSIC法により信号の入射角θ1を求め、前記第5段階は前記第3段階で求められた平均空間共分散行列と前記第4段階で求められたθ1とを数式(2)に代入してk番目の周波数成分に対する加重値を求め、これを各周波数成分に掛け合わせることを特徴とする請求項10に記載のマイクロホンアレイ方法。

請求項13

前記第4段階は、前記第1段階で受信したサウンド信号を前記第2段階で分離されたサウンド信号の各周波数成分に分離し、前記分離された周波数成分のうちから所定の基準によって選択された周波数成分に対してのみMUSICアルゴリズム演算を行うことによって前記サウンド信号の入射角を決定する段階を含むことを特徴とする請求項10に記載のマイクロホンアレイ方法。

請求項14

前記第4段階は前記第1段階で受信したサウンド信号を前記第2段階で分離されたサウンド信号の各周波数成分に分離する段階、前記分離された各周波数成分を複数のグループに分けて各グループ別に音声の存在可能性を測定する段階、前記可能性の高い順に所定数だけのグループを選択する段階、前記選択されたグループに属する周波数成分に対してMUSICアルゴリズム演算を行う段階を含むことを特徴とする請求項13に記載のマイクロホンアレイ方法。

請求項15

複数のマイクロホンで構成されたアレイから広域のサウンド信号を入力される第1段階と、 入力された信号を複数の狭域に分離する第2段階と、 前記アレイを複数のマイクロホンで構成されたサブアレイの集合と仮定してサブアレイ別に前記分離された帯域別に所定の方式で空間共分散行列を求め、これを各帯域別に平均して帯域別に平均空間共分散行列を求める第3段階と、 前記平均空間共分散行列で前記サウンド信号の入射角を所定の公式で求める第4段階と、 前記求められた入射角に基づいて前記狭域に分離された信号に掛け合わせる加重値を計算し、これを前記狭域に分離された信号に掛け合わせる第5段階と、 前記加重値を掛け合わせた狭域信号から広域信号に復元する第6段階と、 前記復元された広域信号の特徴を抽出する第7段階と、 前記抽出された特徴と基準パターンとを比較する第8段階と、 前記特徴と基準パターンとを比較した結果で音声認識如何を決定する第9段階と、を含むことを特徴とする音声認識方法

請求項16

前記第2段階は離散フーリエ変換により、第6段階は逆離散フーリエ変換によることを特徴とする請求項15に記載の音声認識方法

請求項17

前記第3段階は平均空間共分散行列を数式(1)により求め、前記第4段階は前記平均空間共分散行列を用いてMUSIC法により信号の入射角θ1を求め、前記第5段階は前記第3段階で求められた平均空間共分散行列と前記第4段階で求められたθ1とを数式(2)に代入してk番目の周波数成分に対する加重値を求め、これを各周波数成分に掛け合わせることを特徴とする請求項15に記載の音声認識方法。

請求項18

前記第4段階は、前記第1段階で受信したサウンド信号を前記第2段階で分離されたサウンド信号の各周波数成分に分離し、前記分離された周波数成分のうちから所定の基準によって選択された周波数成分に対してのみMUSICアルゴリズム演算を行うことによって前記サウンド信号の入射角を決定する段階を含むことを特徴とする請求項15に記載の音声認識方法。

請求項19

前記第4段階は、前記第1段階で受信したサウンド信号を前記第2段階で分離されたサウンド信号の各周波数成分に分離する段階、前記分離されたサウンド信号を同じ周波数成分ごとに複数のグループに分けて各グループ別に音声の存在する可能性を測定する段階、前記可能性の高い順に所定数だけのグループを選択する段階、前記選択されたグループに属する周波数成分に対してMUSICアルゴリズム演算を行う段階を含む請求項18に記載の音声認識方法。

請求項20

サウンド信号を入力される複数のマイクロホンを含む信号入力部と、 前記信号入力部に入力されたサウンド信号を狭域の信号に分離する周波数分離部と、 前記周波数分離部により分離されたサウンド信号の各周波数成分のうちから所定の基準によって選択された周波数成分に対してMUSICアルゴリズム演算を行う信号処理部と、 前記信号処理部の処理結果を用いて音声信号の方向を検出する方向検出部と、を含むことを特徴とする音声認識装置。

請求項21

前記周波数分離部は離散フーリエ変換を用いて周波数を分離することを特徴とする請求項20に記載の音声認識装置。

請求項22

前記信号処理部は、前記信号入力部から受信したサウンド信号を前記周波数分離部により分離されたサウンド信号の各周波数成分に分離し、前記分離された各周波数成分を複数のグループに分けて各グループ別に音声の存在可能性を測定する音声信号検出部と、 前記グループのうちから前記可能性の高い順に所定数だけのグループを選択するグループ選択部と、 前記選択されたグループに属する周波数成分に対してMUSICアルゴリズム演算を行う演算部と、を含むことを特徴とする請求項20に記載の音声認識装置。

請求項23

複数のマイクロホンからサウンド信号を受信する(a)段階と、 前記受信したサウンド信号を狭域の信号に分離する(b)段階と、 前記分離されたサウンド信号の各周波数成分のうちから所定の基準によって選択された周波数成分に対してMUSICアルゴリズム演算を行う(c)段階と、 前記(c)段階の演算結果を用いて音声信号の方向を検出する(d)段階と、を含むことを特徴とする音声認識装置。

請求項24

前記(b)段階は離散フーリエ変換を用いて周波数を分離する段階であることを特徴とする請求項23に記載の音声認識方法。

請求項25

前記(c)段階は、前記(a)段階から受信したサウンド信号を前記(b)段階により分離されたサウンド信号の各周波数成分に分離し、前記分離されたサウンド信号を同じ周波数成分ごとに複数のグループに分けて各グループ別に音声の存在する可能性を測定する段階と、 前記グループのうちから前記可能性の高い順に所定数だけのグループを選択する段階と、 前記選択されたグループに属する周波数成分に対してMUSICアルゴリズム演算を行う段階と、を含むことを特徴とする請求項23に記載の音声認識方法。

技術分野

0001

本発明はマイクロホンアレイ方法及びシステム係り、より詳細にはマイクロホンアレイに入力される信号のうちから目的信号を効率よく受信するためのマイクロホンアレイ方法及びシステムに関する。また、本発明は前記マイクロホンアレイ方法及びシステムで用いられるMUSICアルゴリズム演算量を減らす方法に関する。
また、本発明は前記マイクロホンアレイ方法及びシステムを用いた音声認識方法及び音声認識装置に関する。

背景技術

0002

マルチメディア技術の発展とさらに便利な生活を追求する人間の欲求によって、TV、DVDをはじめとする家電製品音声で制御しようとする研究が新たに浮び上がっている。このように便利なHMI(Human-Machine Interface)のためにはユーザの音声を受け入れ音声入力モジュール及びそれを認識する音声認識モジュールが必要である。

0003

実際の環境でHMIのための音声インターフェースを構成する場合、話者の音声だけでなく音楽、TV、背景雑音などの干渉信号も存在する。このような実際の生活環境でHMIのための音声インターフェースを構成しようとすれば、周辺雑音干渉に関係なく高品質音声信号を取得できる音声入力モジュールが必要である。

0004

マイクロホンアレイ方法は、空間的に所望の信号方向に対して多くの利得を与え、そうでない方向に対しては少ない利得を与える空間フィルタリングを通じて高品質の音声信号の取得を可能にする。音声認識では、このようなマイクロホンアレイ方法を用いて高品質の音声信号を取得することによって、音声認識の性能を高めようとする研究が活発に進行しつつある。しかし、アレイ信号処理技術の基本仮定である狭域条件に比べて広い帯域幅を有する音声信号を用いなければならない問題と室内環境での反響などにより発生する問題によって実際の適用には難点が多い。

0005

これを解決するためにGriffthsとJimらがGSC(Generalized Sidelobe Canceller)に基づく適応マイクロホンアレイ法を提案した。適応マイクロホンアレイ法の場合、比較的簡単な構造を持ち、かつ高いSINR(Signal to Interface and Noise Ratio)利得を得られる長所を有している。しかし、入射角推定誤差に対する影響と室内環境での反響により性能低下が発生するために推定誤差と反響とに強靭な適応アルゴリズムの開発を必要としている。

0006

また、Caponらが提案したMVDR(Minimum Variance Distortionless Response)を広域信号を対象として拡張した広域MV方法がある。広域MV方法は、信号の自己相関行列を構成する方法によってMV方法とML(Maximum Likelihood)方法とに区分され、各方法でも自己相関行列を構成する多様な方法が提案されている。このような広域MVに基づいたマイクロホンアレイはAsano、Ward、Friedlanderらにより提案された。

0007

次いで、従来の技術によるマイクロホンアレイ方法について説明する。まず、M個のセンサーを有しているマイクロホンアレイにD個の信号源がθ=[θ1、θ2,...,θd]の方向から入射される場合にθ1が目的信号の方向であり、残りは干渉信号の方向であると仮定する。アレイに受信されたデータを離散フーリエ変換した後、各周波数成分別に集めたベクトルを次の数式(3)のように表現して信号をモデリングする。この際、前記ベクトルを以下では周波数ビンと表する。

0008

また、ak(θd)は、次のように表現しうる。

0009

広域信号の入射角推定には、アレイ入力信号を離散フーリエ変換した後、各周波数成分毎にMUSIC(Multiple Signal Classification)アルゴリズムを適用し、関心のある周波数帯域で平均を取る方法が使われる。k番目周波数成分に対する類似空間スペクトルは次のように定義される。

0010

この際、各信号源の入射角と一致すれば、指向ベクトルと雑音副空間とは直交するという性質により分母が0になるので、類似空間スペクトルは無限大ピーク値を有し、これに対応する角度が入射方向となる。

0011

この際、平均化された類似空間スペクトルは次のように求められる。

0012

広域MVアルゴリズムは広域信号である音声を離散フーリエ変換した後、各周波数成分毎に狭域MVアルゴリズムを適用する。その加重値ベクトルを求めるための最適化問題各周波数別に異なる線形制限条件を有するビーム形成方法から誘導される。

0013

ここで、空間共分散行列Rkは次の通りである。

0014

ラグランジュマルチプライヤ(Lagrange Multiplier)を用いて数式(8)を解けば加重値ベクトルは次の通りである。

0015

このような広域MVは数式(9)でRkを推定する方法によって2つに区分される。目的信号と雑音とが同時に存在する区間加重値を求める方法をMVビーム形成方法と称し、雑音だけが存在する区間で加重値を求める方法をSINRビーム形成方法またはML(Maximum Likelihood)方法と称する。

0016

図1は、従来に提案されたマイクロホンアレイシステムを示す。従来のマイクロホンアレイシステムは前述した入射角推定方法広域ビーム形成方法とを統合した。図1のマイクロホンアレイシステムは、複数のマイクロホンで構成された入力部1に入力されたサウンド信号を離散フーリエ変換部2で複数の狭域信号に分解した後、雑音と音声区間とを区分する音声信号検出器3を用いて空間共分散行列推定部4でそれぞれの狭域信号に対する空間共分散行列を推定する。推定された空間共分散行列は、広域MUSICモジュール5で固有値分解を通じて雑音副空間に該当する固有ベクトルを求めた後、数式(6)を用いて平均類似空間スペクトルを計算して目的信号の方向情報を得る。それから広域MVモジュール6で数式(9)を用いて各周波数成分に該当する加重値ベクトルを求め、これを各周波数成分に掛け合わせる。逆離散フーリエ変換部7は補正された各周波数成分をサウンド信号に復元する。

0017

このような従来のシステムは干渉信号だけが存在する区間で空間共分散行列を推定する場合には安定した動作を示す。しかし、もし目的信号が存在する区間で空間共分散行列を求めれば、干渉信号だけでなく目的信号まで除去してしまう問題が発生する。このような現象が発生することは目的信号が直接経路だけでなく反響による多重経路を通じて伝送されるからである。すなわち、目的信号の方向以外の方向に伝送された目的信号は何れも干渉信号と見なされて相関度のある目的信号まで除去されてしまう。

0018

前述したように反響による影響をあまり受けずに目的信号を効率よく入力されうる方法やシステムが必要である。

0019

また、広域MUSICモジュール5ではそれぞれの周波数ビンに対してMUSICアルゴリズムの演算が行われるが、前記演算はシステム動作において多くの負荷として作用するところ、MUSICアルゴリズムの演算量を減らす方法が必要となった。

発明が解決しようとする課題

0020

本発明は前記必要性のために案出されたものであって、本発明は反響環境に強靭なマイクロホンアレイ方法及びシステムを提供することをその技術的課題とする。

0021

また、提供されたマイクロホンアレイ方法及びシステムを用いて反響環境に強靭な音声認識方法及び装置を提供することを他の技術的課題とする。

0022

また、周波数ビンの数を減少させることによって音声の方向を認識するために使われるMUSICアルゴリズムの演算量を減らす方法を提供することをさらに他の技術的課題とする。

課題を解決するための手段

0023

前記目的を達成するために本発明に係るマイクロホンアレイシステムは、サウンド信号を入力されるために複数のマイクロホンを用いる入力部と、前記入力部に入力された各サウンド信号を狭域の信号に分離する周波数分離部と、前記入力部の複数のマイクロホンを仮想サブアレイの結合と仮定して各サブアレイ別に空間共分散行列を求め、これらを平均して平均空間共分散行列を算出する空間平滑法を用いて、前記周波数分離部を通じて分離されたサウンド信号の各周波数成分に対する空間共分散行列を求める平均空間共分散行列推定部と、空間平滑法を通じて求められた平均共分散行列を通じて前記サウンド信号の入射角を決定する信号位置決定部と、前記信号源位置決定部を通じて得たサウンド信号の入射角に基づいて前記サウンド信号の各周波数成分に掛け合わせる加重値を求め、これを掛け合わせる信号歪曲補正部、及び補正された各周波数成分を用いてサウンド信号を復元する信号復元部を含む。一方、本発明によるマイクロホンアレイシステムの前記周波数分離部は離散フーリエ変換を用いて周波数を分離し、前記信号復元部は逆離散フーリエ変換を通じてサウンド信号を復元するように具現しうる。

0024

前記他の目的を達成するために本発明による音声認識装置は、前記具現されたマイクロホンアレイシステムと、前記マイクロホンアレイシステムで入力されたサウンド信号の特徴を抽出する特徴抽出部、前記抽出された特徴と比較されるパターンを保存している基準パターン保存部、前記基準パターン保存部のパターンと前記抽出された特徴とを比較する比較部、及び前記比較された結果で音声認識如何を判定する決定部を含む。

0025

このためのマイクロホンアレイ方法は、複数のマイクロホンで構成されたアレイから広域のサウンド信号を入力される段階、入力された信号を複数の狭域に分離する段階、前記アレイを複数のマイクロホンで構成されたサブアレイの集合と仮定してサブアレイ別に前記分離された帯域別に所定の方式で空間共分散行列を求め、これを各帯域別に平均して帯域別に平均空間共分散行列を求める段階、前記平均空間共分散行列で前記サウンド信号の入射角を所定の公式で求める段階、前記求められた入射角に基づいて前記狭域に分離された信号に掛け合わせる加重値を計算し、これを前記狭域に分離された信号に掛け合わせる段階、及び前記加重値を掛け合わせた狭域信号を広域信号に復元する段階を含む。本発明によるマイクロホンアレイ方法は、前記入力された信号を狭域に分離する段階は離散フーリエ変換により、前記加重値を掛け合わせた狭域信号を広域信号に復元する段階は逆離散フーリエ変換により具現しうる。

0026

また、音声認識方法は、前記マイクロホンアレイ方法により入力された信号の特徴を抽出する段階、前記抽出された特徴と基準パターンとを比較する段階、及び前記特徴と基準パターンとを比較した結果で音声認識如何を決定する段階を含む。

発明の効果

0027

本発明によれば、室内環境のように反響が存在する所でも広域の目的信号が除去される現象を減少させることによって、目的信号を最大限生かせる。また、本発明による音声認識装置は、このような目的信号除去現象を減少させるマイクロホンアレイを用いることによって高い音声認識率を達成しうる。また、本発明によって広域MUSICアルゴリズムの演算量を減らすことによってマイクロホンアレイシステムの性能向上を図れる。

発明を実施するための最良の形態

0028

以下、添付図面に基づいて本発明に係る望ましい実施形態を詳細に説明する。
図2は、本発明の一実施形態によって具現されたマイクロホンアレイシステムのブロック図である。

0029

マイクロホンアレイシステムは、サブアレイを含むM個のマイクロホンを用いる入力部101からサウンド信号を入力される。この際、M個のマイクロホンアレイはL個のマイクロホンで構成された仮想のサブアレイよりなるものと仮定するが、サブアレイを構成する方法については図4を通じて詳述する。M個のマイクロホンを通じて入力されたM個のサウンド信号は、狭域周波数信号に分離されるように、周波数分離部たる離散フーリエ変換部102に入力される。本発明の望ましい実施形態においては離散フーリエ変換を通じて音声のような広域のサウンド信号をN個の狭域の周波数成分に分離するが、これに限定されるものではない。離散フーリエ変換部102を通じて各サウンド信号はN個の周波数成分に分けられる。平均空間共分散行列推定部104は、M個のサウンド信号を所定の数よりなるサブアレイを基準として空間共分散行列を求め、これを平均して各周波数成分に対するN個の平均空間共分散行列を求める。これについては図5を通じて詳述する。推定された空間共分散行列を用いて信号源の位置を決定するための信号源位置検索部たる広域MUSIC部105が、信号源の位置を計算し、この結果に基づいて信号歪曲補正部たる広域MV部106は各周波数成分に掛け合わせる加重値行列を求め、これを通じて雑音と目的信号との反響による歪曲を補正する。補正されたN個の周波数成分は信号復元部たる逆離散フーリエ変換部107によりサウンド信号に復元される。

0030

図3は、本発明の一実施形態によって具現されたマイクロホンアレイシステム(信号歪曲補正モジュール)と音声認識モジュールとを含む音声認識装置を示す。
音声認識モジュールについて説明すれば次の通りである。まず、特徴抽出部201は逆離散フーリエ変換部107を通じて受けたデジタルサウンド信号に基づいて信号源の特徴を抽出する。抽出された特徴ベクトルパターン比較部202に入力され、パターン比較部202はこれと類似したサウンド探すためのパターンが保存されている基準パターン保存部203に保存されているパターンと特徴ベクトルとを比較する。両者を比較してマッチングされる程度の最も大きいパターン(相関度の最も大きいパターン)の相関度(マッチング点数)を決定部204に送る。決定部204はマッチング点数が一定程度以上であれば該当サウンド情報に該当する情報を決定する。

0031

図4は、空間平滑法(Spatial Smoothing、以下"SS"と称する。)の概念を説明するための図面である。全体アレイが幾つかのサブアレイで構成されたものと仮定して各副配列センサー出力の空間共分散行列に対して平均を取ることによって、新しい空間共分散行列を作る前処理方法である。この時に作られた空間共分散行列は全体アレイにより現れる指向行列と同じ特性を有する新しい指向行列と相関関係が除去された新しい信号源よりなる。M個のセンサーで構成された等間隔アレイマイクロホンの数がL個であるp個のサブアレイを次のように定義する。

0032

i番目サブアレイ入力ベクトルは、



と与えられ、D(i-1)は、



であり、
τ(θd)はd番目信号源のセンサー間遅延時間を意味する。

0033

また、Bは全体等間隔線形アレイのM次元指向ベクトルより減ったL次元サブアレイ指向ベクトルよりなる指向行列であって、次式で表される。

0034

各サブアレイで空間共分散行列を求め、平均化を取れば次の通りである。

0035

この際、p≧Dであれば、

のrankはDとなる。

のrankがDになれば、信号副空間次元がDとなるので残りの固有ベクトルと直交され、結果的に干渉信号の方向にナル(null)を形成する。もし、K個のコヒーレントな信号を分離するためには、信号源数より1つ以上多いセンサー数より構成されたサブアレイセンサーがK個あるべきなので、少なくとも全体アレイセンサーの数は2K以上にならねばならない。

0036

図5は、本発明により拡張された広域SSを説明するためのブロック図である。本発明では実際環境で発生する反響の問題を解決するために前述したSSを広域信号源に適用可能に拡張した。このために広域に入力される信号を望ましくは離散フーリエ変換によって狭域信号に分離した後、各狭域信号毎にSSを適用した。次のように、p個のサブアレイマイクロホンを定義すれば、k番目の周波数成分での1次元サブアレイマイクロホンの入力信号は次のように定義しうる。

0037

各サブアレイマイクロホンで空間共分散行列を求め、その平均を取れば次のようである。

0038

と、数式(5)、数式(6)、及び数式(9)とを用いて目的信号源の入射角推定とビーム形成とが可能である。本発明は

を目的信号源の入射角推定とビーム形成方法に用いることによって反響環境で現れる性能低下を防止しうる。

0039

図6は、本発明の一実施形態によって反響による歪曲を補正するアレイ方法を示すフローチャートである。

0040

まず、M個のマイクロホンアレイからサウンド信号を入力される(S1)。入力されたM個のサウンド信号に対してNポイント離散フーリエ変換を行う(S2)。離散フーリエ変換を通じて広域のサウンド信号の周波数を狭域のN個の周波数成分に分ける。次いで、狭域の各周波数成分に対して空間共分散行列を求める。空間共分散行列を求める時、M個の信号全部を対象として計算せず、L個のマイクロホンで構成された仮想サブアレイ各々に対してt周波数成分別に空間共分散行列を求め(S3)、各サブアレイから求められた空間共分散行列の平均を周波数成分別に求める(S4)。平均空間共分散行列が求められれば、これに基づいて目的信号源の位置(信号源の入射角度)を検索する(S5)。目的信号源の位置は、望ましくはMUSIC法を用いる。信号源の位置(入射角)を探せば、これに基づいて信号源の各周波数成分に対して信号歪曲を補正するための加重値を計算し、これを掛け合わせる(S6)。信号源に加重値を与える望ましい方法は広域MV法である。加重値が与えられた信号源の各周波数成分を合わせて本来のサウンド信号に復元する(S7)。望ましい復元方法は逆離散フーリエ変換を用いる。

0041

図7は、本発明の一実施形態に係る音声を認識する方法を示すフローチャートである。図6で説明した過程を通じて反響による信号歪曲を補正したサウンド信号、例えば人の音声を入力される(S10)。入力されたサウンド信号に対してその特徴点を抽出して特徴ベクトルを生成する(S11)。生成された特徴ベクトルを保存されている基準パターンと比較する(S12)。比較された両者の相関度が一定の基準を超えればその結果を出力し、そうでなければ新しいサウンド入力を有する(S13)。

0042

図8は、マイクロホンアレイを実験した室内環境を示す。大体仮定で数m2規模の大きさでTVのような家電機器と壁面とが存在し、複数の人が有り得る。このような物体や壁面または人々によってサウンド信号はマイクロホンアレイに直接伝達される以外に、反射されて伝達されることもある。図9は、実際に具現したマイクロホンアレイ構造を示す。本発明のための実験では9個のマイクロホンを用いてアレイシステム構築した。本発明で提案したサウンド信号に適した空間平滑法はマイクロホン数によって性能が変化する。サブアレイのマイクロホン数が減少すれば、サブアレイの数が増加して目的信号除去現象が減るが、分解能の減少によって干渉信号の除去性能が低下する。適切な数のマイクロホンでサブアレイを構成せねばならない。表1は、9個のマイクロホンアレイシステムでサブアレイのマイクロホン数に係るSINRと音声認識率とを実験した結果である。

0043

表1の結果に基づいてサブアレイの最適のマイクロホン数を6つに決定した。図10(A)は既存の方法による基準信号に対する出力信号を示す波形図であり、図10(B)は本発明による基準信号に対する出力信号を示す波形図である。

0044

各々(a)は基準信号であり、(b)は最初のマイクロホンに入力された信号であり、(c)は最終の出力信号である。図面から確認できるように、本発明を用いて目的信号減衰現象が克服可能なのを確認できる。

0045

従来の技術による音声認識率と本発明による音声認識率とを比較するために多様な雑音環境で実験した平均音声認識率は次の通りである。

0046

従来の技術は音声信号検出器の性能により全体システムの性能が左右される一方、本発明は空間平滑法を適用して目的信号の存在有無に関係なく安定した性能を保証しうる。

0047

一方、本発明の場合、前記図2で示した広域MUSIC部105では全ての周波数ビンに対してMUSICアルゴリズム演算が行われるが、これは前述したように音声信号の方向を認識するシステムにおいては相当なシステム負荷として作用する。すなわち、マイクロホンアレイを構成するマイクロホンの数がM個である場合、狭域MUSICアルゴリズムの大部分の演算量はM*Mとも分散行列から雑音副領域を探すために行う固有値分解で求められるが、この際、演算量はマイク数の3乗に比例し、Nポイント−離散フーリエ変換を行う場合、広域MUSICアルゴリズム演算量はO(M3)*NFFT/2のように示しうる。したがって、全体的なシステム性能の向上のために広域MUSICアルゴリズム演算量を減らす方法が必要となった。

0048

図11は、本発明の実施によってMUSICアルゴリズムの計算量を減らすためのマイクロホンアレイシステムのブロック図を示す例示図である。
一般に、広域MUSIC部105で行われるMUSICアルゴリズムは前述したように全ての周波数ビンに対して演算を行うので、MUSICアルゴリズムを用いる音声認識システムの計算に手間がたくさんかかる問題点がある。したがって、本発明では多数のマイクロホンで構成されるマイクロホンアレイから信号を受信した後、所定の基準によって受信した信号のうち音声信号が存在する可能性が高い周波数ビンを選択し、広域MUSIC部105をして前記選択された周波数ビンに対してのみMUSICアルゴリズム演算を行わせる周波数ビン選択部1110を前記図11で示したように信号歪曲補正モジュールに追加することによって、MUSICアルゴリズムの演算減少によるシステムの性能向上を図れる。また、共分散行列生成部1120は、前記図2で示した広域SS法を用いた空間共分散行列推定部104でもよいし、共分散行列を生成する他の形態の論理ブロックである場合も有り得る。この際、離散フーリエ変換部102では高速フーリエ変換も可能である。

0049

一方、広域MUSIC部105を構成する論理的ブロック図を図12で具体的に例示している。前記図12で示しているように、広域MUSIC部105にある共分散行列選択部1210は前記周波数ビン選択部1110により選択された周波数ビンに該当する共分散行列だけを選択する。したがって、例えば、NFFTポイント−離散フーリエ変換をする場合、NFFT/2個の周波数ビンが形成されうる。この際、共分散行列選択部1210で形成されたNFFT/2個の周波数ビン全部に対してMUSICアルゴリズム演算が行われるものではなく、周波数ビン選択部1110により選択されたL個の周波数ビンに対してのみMUSICアルゴリズム演算が行われるものである。したがって、MUSICアルゴリズム演算量が従来のO(M3)*NFFT/2からO(M3)*Lに減少する。一方、それぞれのMUSICアルゴリズム演算結果は、スペクトル平均過程1230を経た後、ピーク値検出部1240で音声信号の方向値を得る。この際、前記スペクトル平均及びピーク値検出演算は従来のMUSICアルゴリズム方法を用いられる。

0050

図13は、本発明の一実施形態にかかる周波数ビン選択部をさらに具体的に示した論理的ブロック図である。特に、図13では直接周波数ビンの数を選択することでなく、選択されたチャンネル数により間接的に周波数ビンの数が決定される方法を示している。この際、前記‘チャンネル'の意味については後述する図13動作過程を説明しつつ定義する。

0051

M個のマイクロホンで構成されるマイクロホンアレイから受信した信号を合わせた後(1310)、従来の公示技術を用いた音声信号検出器(Voice Activity Detector、以下‘VAD'と称する)1320から音声信号が検出されれば、前記VAD1320はそれぞれのチャンネル別に音声信号が存在する確率を出力値として提供する。この際、前記’チャンネル'とは、一定数の周波数ビンを束ねた束単位をいう。すなわち、音声が高周波へ行くほどパワーが減少する傾向があるために音声信号の処理をそれぞれの周波数ビンごとに行わず、チャンネル単位で行うことである。したがって、高周波へ行くほど1つのチャンネルを構成する周波数ビンの数は多くなる。

0052

図14では、本発明の実施において前記VAD1320で使われるチャンネルと周波数ビンとの関係を示すが、横軸は周波数ビンを、縦軸はチャンネルを示している。この際、本発明の実施では128ポイント−離散フーリエ変換を行ったので、周波数ビンの数は64個となる。しかし、実際には62個の周波数ビンが使われるが、これは最初の周波数ビンは直流成分の信号であり、2番目の周波数ビンは非常に低い低周波成分であるために、2つの周波数ビンを除いたものである。

0053

前記図14に示したように、高周波成分の信号であるほど幾つかの周波数ビンが1つのチャンネルを形成することが分かる。例えば、6番目のチャンネルには2つの周波数ビンが属しているが、16番目のチャンネルには8つの周波数ビンが属している。

0054

一方、本発明ではチャンネルの数を16個としたので、前記VAD1320は全て16個のチャンネル別に音声が存在する確率を出力する。次いで、チャンネル選択部1330は16個の確率値整列して確率が高い上位K個のチャンネルだけを選択してチャンネル−ビンコンバータ1340に伝達し、前記チャンネル−ビンコンバータ1340は前記選択されたK個のチャンネルを周波数ビンに転換し、転換された周波数ビンにのみ前記図12で示した広域MUSIC部105にある共分散行列選択部1210で選択される。

0055

例えば、図14に示した5番目のチャンネルと10番目のチャンネルで音声が存在する確率が最も高いと仮定すれば、チャンネル選択部で音声存在の確率の高い上位2つのチャンネルだけを選択させる場合(すなわち、K=2)、全て6個の周波数ビンに対してのみMUSICアルゴリズム演算が行われる。

0056

図15では、1.33dB程度のファン雑音が存在する時、前記図13に示したVAD1320で演算されたそれぞれのチャンネルに対する平均音声存在確率分布を示している。この際、K=6とすれば、チャンネル選択部1330では前記図15に示したように、2ないし6番目のチャンネルと、12、13番目のチャンネルを選択する。

0057

前記図15の右側上段にあるグラフは経時的な信号の大きさを示したものであって、サンプリング周波数を8kHzとして測定した信号を16ビットサンプリング値の大きさに示している。また、前記図15の右側下段にあるグラフはスペクトログラムを示したものであって、前記図14を参照すれば、前記選択された6個のチャンネルに属する周波数ビンに該当する部分はスペクトログラム上で四角形部分に該当し、雑音より音声が多く存在する部分であることが分かる。

0058

図16は、本発明の一実施形態にかかる周波数ビン選択部をさらに具体的に示した論理的ブロック図であって、前記図13で示す論理的ブロック図とは違って直接周波数ビンの数を選択する方法を示している。

0059

前記図14に示したように、それぞれのチャンネルには相異なる数の周波数ビンが属しているために音声が存在する確率の高い上位K個のチャンネルを選択しても、MUSICアルゴリズム演算を行う周波数ビンの数は変わる。したがって、MUSICアルゴリズム演算を行う周波数ビンの数を一定に保つための方法が必要であり、前記図16ではこれを示している。

0060

すなわち、周波数ビン数決定部1610でL個の周波数ビンを選択するように決定されれば、チャンネル選択部1620では音声が存在する確率の高い順に整列されたチャンネルでL番目の周波数ビンが属するK番目のチャンネルを決定する。この際、(K−1)番目のチャンネルまでは第1チャンネル-ビンコンバータ1630でM個の周波数ビンに変換され、広域MUSIC部105にある共分散行列選択部1210で変換されたM個の周波数ビンが選択される。

0061

一方、L番目の周波数ビンが属するK番目のチャンネルでは(L−M)個の周波数ビンが選択されるべきであるが、選択する方法としてK番目のチャンネル内で周波数ビンのパワーの高い順に(L−M)個の周波数ビンを選択する方法が用いられる。すなわち、第2チャンネル−ビンコンバータ1650でK番目のチャンネルを周波数ビンに変換し、残余ビン選択部1650では前記変換された周波数ビンのうちパワーの高い順に(L−M)個の周波数ビンを選択することによって、広域MUSIC部105にある共分散行列選択部1210が変換された(L−M)個の周波数ビンを選択してMUSICアルゴリズム演算を行わせる。この際、パワー測定部1660はVAD1320に入力される信号に対してそれぞれの周波数ビン別にパワーを測定した後、測定結果を残余ビン選択部1650に伝達することによって残余ビン選択部1650が(L−M)個の周波数ビンを選択可能にする。

0062

図17は、本発明の実施による実験環境を示す例示図であって、音声スピーカ1710と雑音スピーカ1720、及び信号処理するロボット1730で構成される。この際、前記音声スピーカ1710と前記雑音スピーカ1720とは、前記ロボット1730を基準に90°方向に位置する。雑音はファン雑音を利用し、信号対雑音比(Signal to Noise Ratio、以下‘SNR'と称する)は12.54dB、5.88dB、1.33dBの3つの場合に分けて実験した。雑音スピーカ1720はロボットから4m、270°に位置させた。また、前記音声スピーカ1710はロボット1730から1m、2m、3m、4m、5m離れた場合について逆時計回り方向に0°、45°、90°、135°、180°に移動しつつ測定した。但し、実験環境の制約によって5mの場合、45°と135°回転した場合にのみ測定した。

0063

一方、マイクロホンアレイ構造は、図18に示しているが、マイクロホンはすべて8個を利用し、前記8個のマイクロホンは前記ロボット1730の背面に付着させた。

0064

また、本実験では音声の存在確率の高い上位6つのチャンネルを選択するものとしてMUSICアルゴリズム演算を行わせたが、前記図15に示したように、2ないし6番目のチャンネルと、12、13番目のチャンネルとが選択されることによって全て62個の周波数ビンのうち前記選択されたチャンネルに対する21個の周波数ビンに対してMUSICアルゴリズム演算が行われた。

0065

前記図17及び前記図18のような実験環境で、本発明の実施による音声方向の認識実験を行った結果は次の通りである。この際、従来の方法とは、あらゆる周波数ビンに対してMUSICアルゴリズム演算を行う方法をいう。また、エラー限界外れた場合にはアンダーラインで表示した。

0066

(1) SNR=12.54dBである場合(エラーの限界:±5°)
(A) 従来の方法による実験結果



(B) 本発明の実施による実験結果(計算量70.0%減少)

0067

(2) SNR=5.88dBである場合(エラーの限界:±5°)
(A) 従来の方法による実験結果



(B) 本発明の実施による実験結果(計算量63.5%減少)

0068

(3) SNR=1.33dBである場合(エラーの限界:±5°)
(A) 従来の方法による実験結果



(B) 本発明の実施による実験結果

0069

前記(1)ないし(3)の結果を分析してみれば、全体計算量は平均約66%減少されたと現れるが、これは周波数ビンの数が減少した比率とほぼ同一であると見られる。但し、計算量が減少しただけ音声スピーカ1710の方向を示す成功率が多少落ちることがあるが、これを表9で示している。しかし、表9を見れば計算量減少に係る成功率の減少は僅かであることが分かる。

0070

図19(A)ないし図19(B)は本発明の実施によって雑音方向のスペクトルが改善されたことを示す例示図である。この際、前記図19(A)は、従来の方法によってあらゆる周波数ビンに対してMUSICアルゴリズム演算を行った結果を示すスペクトルであり、前記図19(B)は本発明の実施によって選択された周波数ビンに対してMUSICアルゴリズム演算を行った結果を示すスペクトルである。前記図19(A)に示したようにあらゆる周波数ビンを用いる場合には雑音方向にもスペクトルが大きく現れるが、前記図19(B)に示したように本発明の実施によって音声存在確率値に基づいて周波数ビンを選択すれば、雑音方向のスペクトルを多く減らせる。すなわち、チャンネル数を音声存在確率値に基づいて選択することによってMUSICアルゴリズムの演算量を減らす効果以外にもスペクトル改善効果も得られる。

0071

業者ならば本発明がその技術的思想や必須特徴を変更せずとも他の具体的な形に実施されうるということが理解できるであろう。したがって、前述した実施形態はあらゆる面で例示的なものであり、限定的なものと理解してはならない。本発明の範囲は前述した詳細な説明よりは特許請求の範囲によって現れ、特許請求の範囲の意味及び範囲、そしてその等価概念から導かれるあらゆる変更または変形された形が本発明の範囲に含まれると解釈せねばならない。

0072

本発明によるマイクロホンアレイ方法及びシステム、並びにそれを用いた音声認識方法及び音声認識装置は、HMIを具現するための全ての製品に適用されうる。

図面の簡単な説明

0073

従来のマイクロホンアレイシステムブロック図である。
本発明の一実施形態によって具現されたマイクロホンアレイシステムのブロック図である。
本発明の一実施形態によって具現されたマイクロホンアレイシステムを用いた音声認識装置のブロック図である。
狭域信号に対する空間平滑法の概念を説明するための図面である。
本発明によって広域の信号源にまで拡張された広域SSの概念を説明するための図面である。
本発明の一実施形態に係る反響による歪曲を補正する方法を示すフローチャートである。
本発明の一実施形態に係る音声を認識する方法を示すフローチャートである。
マイクロホンアレイを実験した室内環境を示す例示図である。
実際に具現したマイクロホンアレイを示す例示図である。
(A)は従来の方法による基準信号に対する出力信号を示す波形図であり、(B)は本発明による基準信号に対する出力信号を示す波形図である。
本発明の実施によってMUSICアルゴリズムの計算量を減らすためのマイクロホンアレイシステムのブロック図を示す例示図である。
本発明の実施による広域MUSIC部の論理的ブロック図を示す例示図である。
本発明の一実施形態にかかる周波数ビン選択部をさらに具体的に示した論理的ブロック図である。
本発明の実施によるチャンネルと周波数ビンとの関係を示す例示図である。
本発明の実施によるチャンネル別平均音声存在確率分布を示す例示図である。
本発明の一実施形態にかかる周波数ビン選択部をさらに具体的に示した論理的ブロック図である。
本発明の実施による実験環境を示す例示図である。
本発明の実施によるマイクロホンアレイ構造を示す例示図である。
(A)及び(B)は本発明の実施によって雑音方向のスペクトルが改善されたことを示す例示図である。

符号の説明

0074

101 入力部
102離散フーリエ変換部
104平均空間共分散行列推定部
105 広域MUSIC部
106 広域MV部
107逆離散フーリエ変換部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • コニカミノルタ株式会社の「 操作受付装置、制御方法、画像形成システム、及び、プログラム」が 公開されました。( 2020/10/29)

    【課題】印刷設定を短時間で行うことが可能な操作受付装置を提供する。【解決手段】表示部と、ユーザーの音声に関する認識結果を取得する取得部と、表示部に重ねて配置された、ユーザーの手操作を受け付ける操作受付... 詳細

  • アルパイン株式会社の「 オーディオ装置」が 公開されました。( 2020/10/29)

    【課題】 ミュート回路による暗電流を抑制しつつミュート回路を迅速に起動することができるオーディオ装置を提供する。【解決手段】 本発明のオーディオ装置は、オーディオ信号を生成するオーディオソースと、... 詳細

  • オンキヨー株式会社の「 天井埋込型スピーカー」が 公開されました。( 2020/10/29)

    【課題】キャビネットを天井に埋め込んで設置する場合にも指向性が広くなり、埋め込まれたスピーカーの直下と、スピーカーから離れた位置とで音圧レベル差が少なくなる天井埋込型スピーカーを提供する。【解決手段】... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ