図面 (/)

技術 外乱成分抑圧装置、コンピュータプログラム、及び音声認識システム

出願人 株式会社国際電気通信基礎技術研究所
発明者 藤本雅清中村哲
出願日 2005年3月2日 (15年11ヶ月経過) 出願番号 2005-057993
公開日 2006年9月14日 (14年5ヶ月経過) 公開番号 2006-243290
状態 特許登録済
技術分野 音声認識 音声の分析・合成
主要キーワード 許容確率 局所最適値 統計確率 要素分布 環境音声 状態空間内 音響データベース 初期値ベクトル
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2006年9月14日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (13)

課題

加法性雑音及び残響等の外乱による影響を受ける実環境下での音声認識性能を改善し、外乱の成分の抑圧を短時間で行なうことができる外乱成分抑圧装置を提供する。

解決手段

外乱成分抑圧部114は、加法性雑音及び乗法性歪みが生じる環境下で目的音声観測することにより得られる観測信号について、所定周期ごとフレーム化された所定時間長フレームよりそれぞれ抽出される特徴量124を受け、複数のパーティクルを有するパーティクルフィルタを用いて、外乱を表すパラメータ206をフレームごとに逐次生成するための外乱確率分布推定部200と、観測信号の特徴量124と、外乱の推定パラメータ206と、GMM130とを用いて、フレームごとに目的音声の推定特徴量126を算出するためのパラメータ生成部202及びクリーン音声推定部204とを含む。

概要

背景

人間にとって容易かつ自然なヒューマンマシンインタフェースを実現するための技術として、音声認識技術が研究されている。近年では、大規模音声テキストデータベース統計確率的な音声認識手法とにより、高い認識率での音声認識が実現されるようになった。今日ではさらに、人間が機械と接する実環境下において、高速にかつ高い認識率で音声認識を実現するための応用技術開発が進められている。

実環境が実験室等の環境と大きく異なる点の一つに、雑音の存在がある。雑音は、無視できない音量で絶間なく不規則に発生する。加えて実環境ではさらに、その環境下での音声の空間伝達特性に依存して、又は残響等によって、音声に乗法性の歪みが生じる。このような外乱は、音声認識を行なう際の妨げとなる。これらの外乱が生じる環境下での音声認識性能の改善は、音声認識の応用技術開発を行なう上で、早急に解決されるべき問題である。

雑音環境下での音声認識性能を改善するための技術のひとつに、音声認識の前処理の段階で雑音を推定抑圧する技術がある。後掲の非特許文献1には、雑音抑圧の一般的な方法であるスペクトルサブトラクション法が開示されている。この方法では、発話の前の区間において観測された雑音の振幅スペクトルが発話中の区間における雑音の振幅スペクトルと同じであると仮定し、発話から得られた音声信号の振幅スペクトルから、発話直前に観測された雑音の振幅スペクトルを減算することで雑音を抑圧する。

音声認識の前処理の段階において雑音を逐次的に推定し抑圧する技術もある。非特許文献2には、逐次EM(Expectation Maximization)アルゴリズムを適用して雑音の最尤推定値を逐次的に求める手法が開示されている。逐次EMアルゴリズムを用いて逐次的に雑音を推定する手法では、雑音の時間変動対処しつつ高精度に雑音の推定及び抑圧を行なうことができる。

非特許文献3及び非特許文献4に開示された、カルマンフィルタを用いて雑音の推定値を逐次的に求める手法も一般的に用いられている。この手法では、一期先予測フィルタリングとを交互に行なうことによって、雑音を逐次的に推定し抑圧する。

また、雑音環境下での音声認識性能を改善するための技術として、雑音を考慮した確率モデルを用いて適応的に音声認識を行なう技術がある。例えば後掲の特許文献1には、パーティクルフィルタと呼ばれる逐次推定法を用いて、雑音パラメータの推定と、隠れマルコフモデル(HMM:Hidden Markov Model)を構成する隠れ状態の時間的成長とを行ない、当該隠れマルコフモデルに基づく音声認識を行なう音声認識システムが開示されている。

乗法性歪みが生じる環境下での音声認識性能を改善するための技術として、ケプストラム平均算法(Cepstrum Mean Subtraction:CMS)を用いて乗法性歪みを除去する技術がある。この手法は、収録用のマイクロホンの特性による歪みなど、分析窓長より短いインパルス応答長の伝達特性を持つ乗法性歪みを除去することができる。

非特許文献5には、反射音加法性雑音とみなして残響下での音声認識を行なう技術が開示されている。この技術では、残響下で観測される音声(以下、「残響音声」と呼ぶ。)を、1次線形予測により表現している。ここに、時刻tにおける目的音声及び残響音声の線形メルスペクトルを要素に持つベクトルをStLin、及びXS,tLinとし、各メル周波数領域での音声の伝達特性、すなわち乗法性歪みの線形メルスペクトルを対角成分に持つ行列をHLinとする。また、各メル周波数領域での残響の線形予測係数を対角成分に持つ行列をALinとする。この技術では、残響音声のベクトルXS,tLinを次の再帰式によって表現する。

XS,tLin=HLinStLin+ALinXS,t-1Lin
また、この技術では、行列HLinの要素すなわち乗法性歪みの線形メルスペクトルと、行列ALinの要素すなわち残響の線形予測係数を、それぞれ時間固定パラメータとみなし、EMアルゴリズムによりこれらのパラメータを推定する。上記の再帰式により、分析窓長よりも長いインパルス応答長の歪みも表現されるため、反射音の影響等をモデル化することができる。

特開2002−251198号公報
S.F.ボル:「スペクトルサブトラクションを用いた、音声内の音響ノイズの抑圧」、IEEE Trans. ASSP、Vol.27、No.2、113−120頁、1979年(S.F.Boll: “Suppression of Acoustic Noise in Speech Using Spectral Subtraction,” IEEE Trans. ASSP, Vol. 27, No. 2, pp. 113-120, 1979)
M.アフィフィ、O.シオアン:「ロバスト音声認識のための最適な忘却による逐次推定」、IEEE Trans.SAP、Vol.12、No.1、19−26頁、2004年(M.Afify, O.Siohan: “Sequential Estimation with Optimal Forgetting for Robust Speech Recognition,” IEEE Trans. SAP, Vol. 12, No.1, pp. 19-26, 2004)
有本 卓:「カルマンフィルター」、産業図書
中野 道雄 監修、西山 清 著:「パソコン解くカルマンフィルタ」、丸善
タキグチ テツヤ他:「1次線形予測を用いた残響音声の認識」、ICASSP’04、869−872頁、2004年5月(T.Takiguchi et al: “Reverberant speech recognition using first-order linear prediction,” ICASSP'04, pp. 896-872, May 2004)

概要

加法性雑音及び残響等の外乱による影響を受ける実環境下での音声認識性能を改善し、外乱の成分の抑圧を短時間で行なうことができる外乱成分抑圧装置を提供する。外乱成分抑圧部114は、加法性雑音及び乗法性歪みが生じる環境下で目的音声を観測することにより得られる観測信号について、所定周期ごとフレーム化された所定時間長フレームよりそれぞれ抽出される特徴量124を受け、複数のパーティクルを有するパーティクルフィルタを用いて、外乱を表すパラメータ206をフレームごとに逐次生成するための外乱確率分布推定部200と、観測信号の特徴量124と、外乱の推定パラメータ206と、GMM130とを用いて、フレームごとに目的音声の推定特徴量126を算出するためのパラメータ生成部202及びクリーン音声推定部204とを含む。

目的

それゆえに、本発明の目的は、非定常雑音及び残響等の乗法性歪みが生じる環境下での音声認識性能を改善し、かつ外乱成分の抑圧を短時間で行なうことができる外乱成分抑圧装置を提供することである。

効果

実績

技術文献被引用数
5件
牽制数
3件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

外乱により加法性雑音及び乗法性歪みが生じる環境下で目的音声観測することにより得られる観測信号外乱成分抑圧する外乱成分抑圧装置であって、前記観測信号について所定周期ごとフレーム化された所定時間長フレームよりそれぞれ抽出される特徴量を受けて、複数のパーティクルを有するパーティクルフィルタを用いて、前記外乱を表す確率分布推定パラメータを前記フレームごとに逐次生成するための外乱パラメータ推定手段と、前記観測信号の特徴量と、前記推定パラメータと、前記目的音声に関する所定の音響モデルとを用いて、前記フレームごとに前記目的音声の推定特徴量を算出するための目的音声推定手段とを含む、外乱成分抑圧装置。

請求項2

前記外乱パラメータ推定手段は、前記外乱の初期分布を設定し、当該初期分布にしたがった確率で、前記複数のパーティクルの各々における外乱を表す確率分布の初期パラメータをそれぞれ設定するための初期パラメータ設定手段と、前記音響モデルと前記観測信号の特徴量とを基に、拡張カルマンフィルタを用いて、各パーティクルにおける先行する第1のフレームの前記推定パラメータをそれぞれ前記第1のフレームに後続する第2のフレームに対応するものに更新するための更新手段と、前記第2のフレームにおける前記複数のパーティクルの各々の重みを算出するための重み算出手段とを含む、請求項1に記載の外乱成分抑圧装置。

請求項3

コンピュータにより実行されると、当該コンピュータを請求項1又は請求項2に記載の外乱成分抑圧装置として動作させる、コンピュータプログラム

請求項4

請求項1又は請求項2に記載の外乱成分抑圧装置と、前記外乱成分抑圧装置により算出される前記目的音声の推定特徴量を受けて、前記目的音声に関する所定の音響モデルと、認識対象言語に関する所定の言語モデルとを用いて、前記目的音声に関する音声認識を行なうための音声認識手段とを含む、音声認識システム

技術分野

0001

本発明は、音声に影響を与えるような外乱が発生する実環境下での音声認識技術に関し、特に、非定常的加法性雑音残響等の乗法性歪みとが発生する環境下での音声認識精度を改善するための、外乱成分抑圧装置及びそれを使用した音声認識システムに関する。

背景技術

0002

人間にとって容易かつ自然なヒューマンマシンインタフェースを実現するための技術として、音声認識技術が研究されている。近年では、大規模な音声・テキストデータベース統計確率的な音声認識手法とにより、高い認識率での音声認識が実現されるようになった。今日ではさらに、人間が機械と接する実環境下において、高速にかつ高い認識率で音声認識を実現するための応用技術開発が進められている。

0003

実環境が実験室等の環境と大きく異なる点の一つに、雑音の存在がある。雑音は、無視できない音量で絶間なく不規則に発生する。加えて実環境ではさらに、その環境下での音声の空間伝達特性に依存して、又は残響等によって、音声に乗法性の歪みが生じる。このような外乱は、音声認識を行なう際の妨げとなる。これらの外乱が生じる環境下での音声認識性能の改善は、音声認識の応用技術開発を行なう上で、早急に解決されるべき問題である。

0004

雑音環境下での音声認識性能を改善するための技術のひとつに、音声認識の前処理の段階で雑音を推定抑圧する技術がある。後掲の非特許文献1には、雑音抑圧の一般的な方法であるスペクトルサブトラクション法が開示されている。この方法では、発話の前の区間において観測された雑音の振幅スペクトルが発話中の区間における雑音の振幅スペクトルと同じであると仮定し、発話から得られた音声信号の振幅スペクトルから、発話直前に観測された雑音の振幅スペクトルを減算することで雑音を抑圧する。

0005

音声認識の前処理の段階において雑音を逐次的に推定し抑圧する技術もある。非特許文献2には、逐次EM(Expectation Maximization)アルゴリズムを適用して雑音の最尤推定値を逐次的に求める手法が開示されている。逐次EMアルゴリズムを用いて逐次的に雑音を推定する手法では、雑音の時間変動対処しつつ高精度に雑音の推定及び抑圧を行なうことができる。

0006

非特許文献3及び非特許文献4に開示された、カルマンフィルタを用いて雑音の推定値を逐次的に求める手法も一般的に用いられている。この手法では、一期先予測フィルタリングとを交互に行なうことによって、雑音を逐次的に推定し抑圧する。

0007

また、雑音環境下での音声認識性能を改善するための技術として、雑音を考慮した確率モデルを用いて適応的に音声認識を行なう技術がある。例えば後掲の特許文献1には、パーティクルフィルタと呼ばれる逐次推定法を用いて、雑音パラメータの推定と、隠れマルコフモデル(HMM:Hidden Markov Model)を構成する隠れ状態の時間的成長とを行ない、当該隠れマルコフモデルに基づく音声認識を行なう音声認識システムが開示されている。

0008

乗法性歪みが生じる環境下での音声認識性能を改善するための技術として、ケプストラム平均算法(Cepstrum Mean Subtraction:CMS)を用いて乗法性歪みを除去する技術がある。この手法は、収録用のマイクロホンの特性による歪みなど、分析窓長より短いインパルス応答長の伝達特性を持つ乗法性歪みを除去することができる。

0009

非特許文献5には、反射音を加法性雑音とみなして残響下での音声認識を行なう技術が開示されている。この技術では、残響下で観測される音声(以下、「残響音声」と呼ぶ。)を、1次線形予測により表現している。ここに、時刻tにおける目的音声及び残響音声の線形メルスペクトルを要素に持つベクトルをStLin、及びXS,tLinとし、各メル周波数領域での音声の伝達特性、すなわち乗法性歪みの線形メルスペクトルを対角成分に持つ行列をHLinとする。また、各メル周波数領域での残響の線形予測係数を対角成分に持つ行列をALinとする。この技術では、残響音声のベクトルXS,tLinを次の再帰式によって表現する。

0010

XS,tLin=HLinStLin+ALinXS,t-1Lin
また、この技術では、行列HLinの要素すなわち乗法性歪みの線形メルスペクトルと、行列ALinの要素すなわち残響の線形予測係数を、それぞれ時間固定パラメータとみなし、EMアルゴリズムによりこれらのパラメータを推定する。上記の再帰式により、分析窓長よりも長いインパルス応答長の歪みも表現されるため、反射音の影響等をモデル化することができる。

0011

特開2002−251198号公報
S.F.ボル:「スペクトルサブトラクションを用いた、音声内の音響ノイズの抑圧」、IEEE Trans. ASSP、Vol.27、No.2、113−120頁、1979年(S.F.Boll: “Suppression of Acoustic Noise in Speech Using Spectral Subtraction,” IEEE Trans. ASSP, Vol. 27, No. 2, pp. 113-120, 1979)
M.アフィフィ、O.シオアン:「ロバスト音声認識のための最適な忘却による逐次推定」、IEEE Trans.SAP、Vol.12、No.1、19−26頁、2004年(M.Afify, O.Siohan: “Sequential Estimation with Optimal Forgetting for Robust Speech Recognition,” IEEE Trans. SAP, Vol. 12, No.1, pp. 19-26, 2004)
有本 卓:「カルマンフィルター」、産業図書
中野 道雄 監修、西山 清 著:「パソコン解くカルマンフィルタ」、丸善
タキグチ テツヤ他:「1次線形予測を用いた残響音声の認識」、ICASSP’04、869−872頁、2004年5月(T.Takiguchi et al: “Reverberant speech recognition using first-order linear prediction,” ICASSP'04, pp. 896-872, May 2004)

発明が解決しようとする課題

0012

実環境において雑音の多くは非定常な雑音である。すなわち、雑音の音響的特徴は時間の経過に伴い変動する。非特許文献1に記載のスペクトルサブトラクション法のように、雑音が定常的なものであるという前提のもとで雑音の推定及び抑圧を行なう技術では、雑音の時間変動に対応できず、高精度に雑音を抑圧することができない。

0013

非特許文献2に記載された逐次EMアルゴリズムを用いた手法は、尤度関数局所最適値に値が収束するまで反復計算を行なう。そのため、雑音が変動する度に膨大な量の計算が必要となり、計算に時間を要する。よって、この手法により実時間で雑音を推定し抑圧するのは困難である。

0014

非特許文献3及び非特許文献4に開示されたカルマンフィルタを用いる推定方法は、一期先予測とフィルタリングとを交互に行ない逐次推定を行なう。そのため、逐次EMアルゴリズムのような反復計算を必要とはしない。しかし、カルマンフィルタを用いた手法は、雑音の事後確率分布が単一正規分布であるものとして確率分布を推定する。真の確率分布が混合分布であった場合には、単一正規分布で近似される。そのため、精度が劣化する。

0015

特許文献1に記載の音声認識システムのように、雑音を考慮したモデルを用いて音声認識を行なう技術では、雑音が重畳された音声と確率モデルとのマッチングが行なわれる。そのため、例えば音響モデル適応など、雑音のない音声に基づいて行なうべき前処理を実行できない。

0016

非特許文献5に記載の技術では、上記の再帰式により反射音の影響についてモデル化されている。しかし、一般に残響は、音源から離れた地点で音を観測又は収録する際に生じる現象である。音源と観測地点との距離が離れている環境下では、反射音のみならず、音源と観測地点とを取り巻く環境で発生する雑音の存在が無視できなくなる。非特許文献5に記載の技術では、この点について考慮されていない。また、非特許文献5に記載の技術では、行列HLinの要素すなわち乗法性歪みの線形メルスペクトルと、行列ALinの要素すなわち残響の線形予測係数を、それぞれ時間固定のパラメータとみなしている。しかし、実環境においては、例えば音源及びその周囲で音を反射する物体が移動することがある。このような環境下では、乗法性歪みのパラメータも、残響の線形予測係数も時間の経過とともに変動する。そのため、非特許文献5に記載の技術では、残響の時間変動に対応できず、外乱の影響に高精度に対処することができない。

0017

それゆえに、本発明の目的は、非定常雑音及び残響等の乗法性歪みが生じる環境下での音声認識性能を改善し、かつ外乱成分の抑圧を短時間で行なうことができる外乱成分抑圧装置を提供することである。

課題を解決するための手段

0018

本発明の第1の局面に係る外乱成分抑圧装置は、加法性雑音及び乗法性歪みが生じる環境下で目的音声を観測することにより得られる観測信号の、外乱の成分を抑圧する装置である。この装置は、観測信号について所定周期ごとフレーム化された所定時間長フレームよりそれぞれ抽出される特徴量を受けて、複数のパーティクルを有するパーティクルフィルタを用いて、外乱を表す確率分布の推定パラメータをフレームごとに逐次生成するための外乱パラメータ推定手段と、観測信号の特徴量と、推定パラメータと、目的音声に関する所定の音響モデルとを用いて、フレームごとに目的音声の推定特徴量を算出するための目的音声推定手段とを含む。

0019

好ましくは、外乱パラメータ推定手段は、外乱の初期分布を設定し、当該初期分布にしたがった確率で、複数のパーティクルの各々における外乱を表す確率分布の初期パラメータをそれぞれ設定するための初期パラメータ設定手段と、音響モデルと観測信号の特徴量とを基に、拡張カルマンフィルタを用いて、各パーティクルにおける先行する第1のフレームの推定パラメータをそれぞれ第1のフレームに後続する第2のフレームに対応するものに更新するための更新手段と、第2のフレームにおける複数のパーティクルの各々の重みを算出するための重み算出手段とを含む。

0020

より好ましくは、初期パラメータ設定手段は、観測信号の特徴量を基に加法性雑音の初期分布を推定し、当該初期分布にしたがった確率で、複数のパーティクルの各々における加法性雑音の確率分布の初期パラメータをそれぞれサンプリングするための手段と、複数のパーティクルの各々における乗法性歪みの確率分布の初期パラメータの値を所定値に設定するための手段とを含む。

0021

より好ましくは、外乱パラメータ推定手段はさらに、再サンプリング手段により再サンプリングされたパラメータを基に、複数のパーティクルの各々において、第1のフレームに対応する推定パラメータをそれぞれ、第2のフレームに対応するものに再更新するための再更新手段と、複数のパーティクルの各々において、再更新手段により再更新された推定パラメータと、再サンプリング手段により再サンプリングされた推定パラメータとの一方を、所定の判定基準にしたがい第2のフレームの推定パラメータとして選択するための選択手段とを含む。

0022

好ましくは、目的音声推定手段は、観測信号の特徴量と、推定パラメータと、音響モデルとを基に、フレームに対応する観測信号の確率モデルを合成するための観測信号モデル合成手段と、観測信号の特徴量、推定パラメータ、音響モデル、及び観測信号の確率モデルを基に、フレームごとに、目的音声の推定特徴量を算出するための推定特徴量算出手段とを含む。

0023

より好ましくは、観測信号モデル合成手段は、複数のパーティクルの各々に対して、推定パラメータと、音響モデルとを基に、当該パーティクルにおける観測信号の確率モデルのパラメータを推定するためのパラメータ推定手段を含む。

0024

推定特徴量算出手段は、フレームごとに、複数のパーティクルの各々の目的音声の推定パラメータを、観測信号の特徴量、音響モデル、推定パラメータ、及び観測信号の確率モデルを基に算出するための手段と、複数のパーティクルの各々における目的音声の推定パラメータを基に、当該フレームにおける目的音声の推定特徴量を算出するための手段とを含んでもよい。

0025

本発明の第2の局面に係るコンピュータプログラムは、コンピュータにより実行されると、コンピュータを本発明の第1の局面に係るいずれかの外乱成分抑圧装置として動作させる。

0026

本発明の第3の局面に係る音声認識システムは、本発明の第1の局面に係るいずれかの外乱成分抑圧装置と、外乱成分抑圧装置により算出される目的音声の推定特徴量を受けて、目的音声に関する所定の音響モデルと、認識対象言語に関する所定の言語モデルとを用いて、目的音声に関する音声認識を行なうための音声認識手段とを含む。

発明を実施するための最良の形態

0027

以下、図面を参照しつつ、本発明の一実施の形態について説明する。なお、以下の説明に用いる図面では、同一の部品には同一の符号を付してある。それらの名称及び機能も同一である。したがって、それらについての説明は繰返さない。以下の説明のテキスト中で使用する記号「^」等は、本来はその直後の文字の直上に記載すべきものであるが、テキスト記法の制限により当該文字の直前に記載する。式中では、これらの記号等は本来の位置に記載してある。また以下の説明のテキスト中では、ベクトル又は行列については例えば「ベクトルXt」、「行列ΣW」等のように直前に「ベクトル」、「行列」等を付した通常のテキストの形で記載するが、式中ではいずれも太字で記載する。

0028

[構成]
図1に、本実施の形態に係る音声認識システム100全体の構成を示す。図1を参照して、この音声認識システム100は、音源102が発生する音122を収集し、収集した音から認識に用いる特徴量を抽出するための前処理部104と、前処理部104に接続され、音声と音素との関係を表す確率モデル(音響モデル)を準備するための前処理用音響モデル部106と、認識対象の言語における単語の連接確率等を表す確率モデル(言語モデル)を準備するための言語モデル部108と、前処理部104から出力された特徴量に対応する単語等を、言語モデル部108の言語モデルを用いて探索するための探索部110と、探索部110に接続され、探索部110による探索に用いられる音響モデルを準備するための認識用音響モデル部109とを含む。

0029

音源102は、認識されるべき音声(目的音声)120を発話する話者116と、話者116の周囲において音の伝達に影響を及ぼす外乱要因118とを含む。前処理部104に到達する音122は、話者116の発話により発生した目的音声120ではなく、外乱要因118の影響を受けて変化した音となる。本明細書では、話者116の発話により発生する雑音のない目的音声120を、「クリーン音声」と呼ぶ。また、前処理部104により収録される音、すなわち外乱要因118の影響により変化した状態で前処理部114に到達する音122を「観測音」と呼ぶ。

0030

前処理用音響モデル部106は、クリーン音声120に対するガウス混合モデルGMM:Gaussian Mixture Model)からなる音響モデルを準備し保持する。前処理用音響モデル部106は、予め用意された大量の学習データを記憶するための学習データ記憶部132と、学習データ記憶部132に記憶された学習データを用いてGMMに対する学習処理を行なうためのモデル学習部134と、モデル学習部134による学習で得られるGMM130を記憶するためのGMM記憶部136とを含む。

0031

図2に、GMM130の概念を模式的に示す。図2を参照して、GMM130は、時系列信号の値を、一つの定常信号源(状態)によりモデル化した確率モデルである。このGMM130においては、出力確率が定義される。具体的には、GMM130では、時刻tにおいてクリーン音声120として出力される可能性のある値と、その値が出力される確率とが定義される。GMM130においては、出力確率は混合正規分布によって表現される。例えばGMM130は単一正規分布148A,148B,…,148Kからなる混合正規分布を持つ。

0032

再び図1を参照して、前処理部104は、観測音122を収録し、得られる観測信号に所定の信号処理を施すことにより、当該観測信号に関する所定の特徴量ベクトル(以下単に「特徴量」と呼ぶ。)124を抽出するための計測部112と、計測部112が抽出する特徴量124に含まれる外乱の成分を、GMM130を用いて抑圧するための外乱成分抑圧部114とを含む。

0033

具体的には、計測部112は、観測信号を時間長数10ミリ秒のフレームごとに対数メルフィルタバンク分析し、得られる対数メルスペクトルを要素とするベクトルを特徴量124として出力する。

0034

外乱成分抑圧部114は、GMM130を用いて、観測信号の特徴量124からクリーン音声120の特徴量を推定する。そして推定により得られた特徴量126を探索部110に出力する。本明細書では、推定クリーン音声の特徴量126によって表される音声を「推定クリーン音声」と呼ぶ。

0035

図3に、外乱要因118の信号モデルを模式的に示す。図3を参照して、クリーン音声120は、図1に示す話者116から計測部112までの空間伝達特性等に依存して乗法性歪みを受けるため、話者116から計測部112に到達する音500は、クリーン音声120と異なる音となる。ここに、時刻tのフレーム(以下、単に「第tフレーム」と呼ぶ。)におけるクリーン音声120の線形メルスペクトルを要素に持つベクトルをStLinとし、乗法性歪みの線形メルスペクトルを対角成分に持つ行列をHtLinとする。計測部112に到達する音500の線形メルスペクトルを要素に持つベクトルをXS,tLin(D)とすると、XS,tLin(D)は一般に、次の式で表現される。すなわち、
XS,tLin(D)=HtLinStLin

0036

しかし、観測音122は、残響の影響を受ける。すなわち、直接的に到達する音500だけでなく、周囲の壁面等により反射して計測部112に到達する反射音502の影響を受ける。本実施の形態では、反射音を加法性雑音とみなす。反射音502の線形メルスペクトルを要素に持つベクトルをXS,tLin(R)とし、残響の影響を受けて計測部112に到達した音をXS,tLinとすると、XS,tLinは、次の式で表現される。すなわち、
XS,tLin=XS,tLin(D)+XS,tLin(R)

0037

直接音500と反射音502とはいずれも話者116が発した音であるが、伝播する経路の違いにより、反射音502は、直接音500より遅延して計測部112に到達する。非特許文献5によれば、各メル周波数帯域における残響の線形予測係数を対角成分に持つ行列を行列AtLinとすると、XS,tLin(R)は、次の式で表現される。すなわち、
XS,tLin(R)=AtLinXS,t-1Lin

0038

さらに実環境では、話者116及び計測部112の周囲において雑音504が発生し、計測部112に到達する。ここに雑音504の線形メルスペクトルを要素に持つベクトルをNtLinとし、観測音122の線形メルスペクトルを要素に持つベクトルをXS+N,tLinとする。XS+N,tLinは、次の信号モデルによりモデル化できる。すなわち、
XS+N,tLin=XS,tLin+NtLin=HtLinStLin+NtLin+ALinXS,t-1Lin
反射音は観測できないため、この式において反射音のベクトルXS,t-1Linを次のように近似する。すなわち、
XS,t-1Lin=XS+N,t-1Lin−Nt-1Lin

0039

第tフレームにおける観測信号の特徴量124、すなわち観測音122から得られる対数メルスペクトルを要素に持つベクトルを特徴量ベクトルXtとする。なお、特徴量ベクトルXtは、ベクトルXS,tLinの各要素を対数メルスペクトル領域に変換することにより得られるベクトルである。特徴量ベクトルXtは、計測により得られる既知のパラメータである。特徴量ベクトルXtは、クリーン音声120の対数メルスペクトルを要素に持つベクトルStが外乱の影響で変化したベクトルである。ベクトルStは、未知のベクトルである。外乱には、乗法性歪み、残響、及び加法性雑音による影響分が含まれる。ここに、乗法性歪みの対数メルスペクトルを対角成分に持つ行列をHtとし、加法性雑音の対数メルスペクトルを要素に持つベクトルをNtとする。また、外乱には、残響による影響分も含まれる。さらに第tフレームにおける線形予測係数の対数を対角成分に持つ行列を行列At、反射音のベクトルXS,t-1Linの各要素を対数化したベクトルをXS,t-1とする。

0040

上記したベクトルXt、St、Nt、及びXS,t-1の次元数は同一である。また、行列Ht及びAtの行数及び列数は同一である。なお、以下に説明する処理はこれらベクトル及び行列の要素についてそれぞれ行なわれるが、以下の説明では、簡単のために各の要素を特に区別して言及することはしない。

0041

図4に、観測信号の観測過程及び雑音の状態変化過程を表現する状態空間モデル160を示す。図4を参照して、状態空間モデル160において、クリーン音声120の出力過程はGMMでモデル化できるものと仮定する。すなわち、第tフレームにおけるクリーン音声120の成分であるベクトルStは、GMM130内のある要素分布にしたがって出力されるものと仮定する。

0042

GMM130において、第tフレームに対応する要素分布をktとする。なお、要素分布ktは、平均をμS,ktとし分散をΣS,ktとする単一正規分布とする。また、要素分布ktから出力されるパラメータのベクトルをベクトルSkt,tとする。以下、GMM130から出力されるパラメータベクトルSkt,tを、「(GMM130の)出力パラメータ」と呼ぶ。クリーン音声120の特徴量ベクトルStと、出力パラメータベクトルSkt,tとの間には誤差が存在する。また、XS+N,tLinを対数メルスペクトル領域に変換する際にも誤差を伴う。これらの誤差もまたベクトルであり、これらの誤差のベクトルをまとめて、ベクトルVtとする。また、外乱要因118による外乱を表す行列をΛt=(Nt,Ht,At)とする。観測信号の特徴量ベクトルXt(124)の観測過程は、上記のXS+N,tLinを対数メルスペクトル領域に変換することにより、GMM130の出力パラメータベクトルSkt,t及び誤差ベクトルVt、並びにベクトルXt、St、Nt、及びXS,t-1、並びに行列Ht及びΛtを用いて、次の式(1)により表現される。

0043

なお、式(1)でIは単位行列を表す。また行列の対数、行列の指数演算はそれぞれ、行列の各要素について対数をとり、又は指数計算をし、その結果を成分とする行列を表すものとする。誤差ベクトルVtは、次の式(2)のように平均が0で分散がΣS,ktの単一正規分布で表現される確率分布にしたがう値を要素に持つものとする。

0044

ただしこの式においてΣS,ktはGMM130内のある要素分布ktより得られるパラメータの共分散行列を表し、記号「〜」は左辺の値が右辺に示される確率分布にしたがうことを示す。すなわち、左辺の値が右辺に示す確率分布にしたがったサンプリングにより推定できることを示す。また、この式において、「N(μ,Σ)」は、平均値ベクトルμ、分散Σの単一正規分布を表す。

0045

また状態空間モデル160において、外乱を表す行列Λtは、ランダムウォーク過程にしたがって変化するものと仮定する。すなわち、第t−1フレームにおける外乱を表す行列Λt-1と時刻tにおける外乱を表す行列Λtとの間に誤差が生じるものと仮定する。ベクトルNt、行列Ht、及び行列Atに対するこの誤差をそれぞれ、ベクトルWN、行列WH、及び行列WAとし、これらをまとめて誤差を表す行列Wt=(WNt,WHt,WAt)と定義する。外乱を表す行列Λtの時間変動は、次の式(3)により表現される。

0046

この式において、誤差を行列Wt=(WNt,WHt,WAt)を構成する、ベクトルWNt、行列WHt、及び行列WAtはそれぞれ予測誤差であり、それぞれ平均0、共分散行列がΣWN、ΣWH、及びΣWAの単一正規分布で表現される確率分布にしたがう白色性ガウス雑音であるものとする。誤差を表す行列Wtは、次の式(4)のように単一正規分布にしたがう。

0047

ただし、式(4)においてΣWは、誤差を表す行列Wtの共分散行列を表す。

0048

図1に示す外乱成分抑圧部114は、上記の式(1)〜式(4)により表現される状態空間モデル160を用いて、フレームごとに、クリーン音声の特徴量ベクトルを逐次推定する。

0049

図5に、外乱成分抑圧部114の構成をブロック図で示す。図5を参照して、外乱成分抑圧部114は、観測信号の特徴量Xt(124)を受けて、GMM130を用いて状態空間モデル160における外乱を表す行列Λtの確率分布(以下、「外乱確率分布」と呼ぶ。)を推定するための外乱確率分布推定部200と、外乱確率分布推定部200により推定された外乱確率分布とGMM130とから観測信号の確率モデルの平均ベクトルと共分散行列とを生成するためのパラメータ生成部202と、外乱確率分布、観測信号の平均ベクトル及び共分散行列、並びにGMM130を用いて、推定クリーン音声の特徴量126を算出するためのクリーン音声推定部204とを含む。

0050

外乱確率分布推定部200は、外乱確率分布をフレームごとに逐次推定し、外乱確率分布を表すパラメータ206を出力する機能を持つ。ここに、外乱を表す行列Λ0,…,Λtからなる行列の系列を系列Λ0:t={Λ0,…,Λt}とする。系列Λ0:tの事後確率分布p(Λ0:t|X0:t)は、1次マルコフ連鎖を用いて、次の式(5)のように表される。

0051

式(5)のp(Λt|Λt-1)は、単一正規分布を用いて次の式(6)のようにモデル化される。

0052

また、式(5)のp(Xt|Λt)は、単一正規分布を用いて次の式(7)のようにモデル化される。

0053

0054

したがって、状態空間モデル160を基に外乱を表す行列Λtの確率分布を逐次推定する問題は、観測信号ベクトルXtが与えられた時の事後確率を最大にするような系列Λ0:tを推定する問題に帰着する。外乱確率分布推定部200は、観測信号ベクトルXtと状態空間モデル160とに基づき、この推定を行なう。

0055

外乱確率分布推定部200は、外乱を表す行列Λtの確率分布を逐次的に推定する際に、パーティクルフィルタと呼ばれる手法を用いる。この推定法は、状態空間内に、局限された状態空間(パーティクル)を多数生成して、各パーティクルにおいてパラメータの確率分布を推定し、状態空間内におけるパラメータの確率分布を、各パーティクルにおいて推定された確率分布を用いて近似的に表現する手法である。この手法では、多数のパーティクルにおける初期的なパラメータを、ランダムなサンプリングにより、又は当該パラメータの初期分布からのサンプリングにより決定する。そして、以下の処理をフレームごとに行なう。すなわち、あるフレームに対応して各パーティクルにおいてパラメータが決定されると、各パーティクルのパラメータを当該フレームに後続するフレームに対応するものに更新し、その更新の尤度に応じて各パーティクルに対して重みを付与する。そして、更新後のパーティクルにおけるパラメータの確率分布にしたがい、当該後続のフレームに対応する各パーティクルのパラメータを再サンプリングする。再サンプリングされたパラメータを基に、当該後続のフレームに対応する各パーティクルのパラメータを決定する。以上の処理をフレームごとに行なうことにより、逐次的に各パーティクルにおけるパラメータを決定する。状態空間におけるパラメータは、パーティクルにおけるパラメータの重み付き和によって近似的に表現される。すなわち、パーティクルの数をJ、j番目のパーティクルにおいて外乱を表す行列Λtに対応する各パラメータからなる行列を行列Λt(j)とし、当該パーティクルに対する重みをwt(j)とすると、式(5)に示す系列Λ0:tの事後確率分布p(Λ0:t|X0:t)は、次の式(8)によって近似的に表現される。

0056

0057

パラメータ生成部202は、具体的にはVTS(Vector Taylor Series)法と呼ばれるHMM合成法によって、パーティクルフィルタにより推定された外乱確率分布を用い、複数のパーティクルにおける観測信号の特徴量ベクトルXtの平均ベクトル及び共分散行列(208)をそれぞれ算出する機能を持つ。

0058

クリーン音声推定部204は、最小2乗誤差(Minimum Mean Square Error:MMSE)推定法で、フレームごとに、複数のパーティクルにおけるクリーン音声のパラメータをそれぞれ推定し、それら推定されたパラメータの重み付き和によって推定クリーン音声の特徴量126を算出する機能を持つ。クリーン音声推定部204はさらに、外乱確率分布推定部200に、次のフレームへの移行に関する要求210を発行する機能を持つ。

0059

図6に、外乱確率分布推定部200の構成をブロック図で示す。図6を参照して、外乱確率分布推定部200は、観測信号の特徴量124とクリーン音声推定部204からの要求210とを受けて、処理対象となるフレームを選択し、当該フレームにおける観測信号の特徴量124をフレームに応じた出力先に出力するためのフレーム選択部220と、フレーム選択部220から最初の所定フレーム分の観測信号の特徴量124を受けて初期状態における外乱確率分布を推定し、各パーティクルにおける外乱の初期的なパラメータを決定するための外乱初期分布推定部222と、フレーム選択部220からt(t≧1)番目フレームにおける観測信号の特徴量124を受けて、逐次的に、パーティクルにおける雑音のパラメータと当該パーティクルに対する重みとを算出するための逐次計算部224とを含む。

0060

外乱初期分布推定部222は、時刻t=0のフレームにおける外乱を表す行列Λ0=(N0,H0,A0)の確率分布(以下、「外乱初期分布」)を推定する。この際、加法性雑音の初期分布を以下のようにして推定する。

0061

外乱初期分布推定部222はまず、加法性雑音の初期分布、すなわち加法性雑音の初期値ベクトルN0の確率分布p(N0)が、単一正規分布であるものとみなし、加法性雑音の初期分布を推定する。加法性雑音の初期分布における平均ベクトルをμNとし、共分散行列を行列ΣNとすると、加法性雑音の初期分布p(N0)は次の式(9)のように表される。

0062

外乱初期分布推定部222は、最初の所定フレーム分の区間の観測信号の特徴量ベクトルXtが加法性雑音の成分のみからなるものとみなし、加法性雑音の初期分布の平均ベクトルμN、及び共分散行列ΣNを推定する。例えば0≦t≦9の10フレーム分の区間がこの区間に該当する場合、外乱初期分布推定部222は、平均ベクトルμN及び共分散行列ΣNをそれぞれ、次の式(10)及び式(11)によって算出する。ただし、ベクトルの右肩に付した「T」は転置を表す。

0063

次に外乱初期分布推定部222は、初期状態での各パーティクルにおける外乱を表す行列Λ0(j)を構成するベクトルN0(j)、行列H0(j)、及び行列A0(j)を、式(12)のように設定する。

0064

すなわち、各パーティクルにおける加法性雑音のベクトルN0(j)を、初期分布p(N0)からのサンプリングによって生成し、各パーティクルにおける乗法性歪みの行列H0(j)及び残響の行列A0(j)の各要素の値を0に設定する。

0065

さらに外乱初期分布推定部222は、各パーティクルにおける外乱を表す行列Λ0(j)を構成するベクトルN0(j)、行列H0(j)、及び行列A0(j)の共分散行列ΣN0(j)、ΣH0(j)、及びΣA0(j)を式(13)のように設定する。

0066

すなわち、各パーティクルにおける加法性雑音のベクトルN0(j)の共分散行列を、初期分布p(N0)の共分散行列に設定し、各パーティクルにおける乗法性歪みの行列H0(j)及び残響の行列A0(j)の共分散行列の各要素を0に設定する。外乱初期分布推定部222は、式(12)と式(13)とに示す設定を、パーティクルj(1≦j≦J)ごとに行なう。

0067

逐次計算部224は、GMM130の出力パラメータ140をサンプリンするためのGMMサンプリング部226と、第tフレームにおける観測信号の特徴量124を受け、各パーティクルにおける外乱のパラメータを更新するための更新部230と、更新後のパーティクルに対する重みをそれぞれ算出するための重み算出部232と、重み算出部232により算出された重みに基づき、パーティクルにおける外乱のパラメータを再サンプリングするための再サンプリング部234と、再サンプリングされたパーティクルにおける外乱のパラメータと第t−1フレームにおける各パーティクルにおける外乱のパラメータとに基づき、各パーティクルにおける外乱のパラメータを決定し、推定外乱分布206を生成するための推定外乱分布生成部236とを含む。

0068

更新部230は、状態空間モデル160(図4)を基に構成される拡張カルマンフィルタを用いて、第t−1フレームに対応するパーティクルにおける雑音のパラメータを、第tフレームに対応するものに更新する機能を持つ。拡張カルマンフィルタは、式(1)に示すように非線形項を含む状態空間モデルに対応したカルマンフィルタである。本実施の形態における拡張カルマンフィルタの分布更新式を、以下の式(14)〜式(19)に示す。なお、これらの数式において第t−1フレームに対応するパラメータから予測される第tフレームにおけるパラメータについては添え字として「t|t-1」を付してある。

0069

ただし、式(17)及び式(18)のベクトルS(j)kt(j),tは、j番目のパーティクルにおいてGMM130(図2参照)の出力パラメータベクトルSkt,tに相当するパラメータである。また前述した通り、行列ΣWは、第t−1フレームから第tフレームへの状態変化の際に外乱を表す行列Λtに生じる誤差の行列Wtの共分散行列を表す。

0070

GMMサンプリング部226は、GMM130(図2参照)内の混合分布から、要素分布である単一正規分布kt(j)をその混合重みに基づいてサンプリングする。GMMサンプリング部226はさらに、サンプリングされた要素分布kt(j)から出力パラメータベクトルS(j)kt(j),tを確率分布にしたがってサンプリングして、更新部230に与える。GMM130における要素分布ktの混合重みをPS,st(j),ktとすると、要素分布kt(j)は、混合重みPS,st(j),ktを出力確率とする確率分布にしたがう。すなわち、GMM130から次の式(20)に示すサンプリングによって得られる。

0071

要素分布kt(j)の平均ベクトルをベクトルμkt(j)とし、要素分布kt(j)の共分散行列を行列ΣS,kt(j)とすると、j番目のパーティクルにおけるGMM130の出力パラメータベクトルS(j)kt(j),tは、要素分布kt(j)から、次の式(21)に示すサンプリングによって得られる。

0072

なお、フレーム選択部220はさらに、GMMサンプリング部226に対し、第tフレームにおけるGMMの出力パラメータのサンプリングを要求する機能を持つ。

0073

重み算出部232は、第tフレームでの観測信号の特徴量ベクトルXtと、第tフレームの各パーティクルにおけるGMM130の出力パラメータベクトルS(j)kt(j),t、及び外乱のパラメータ行列Λt(j)と第t−1フレームのパーティクルに対する重みwt-1(j)とを基に、次の式(22)及び式(23)に示す算出方法を用いて、第tフレームのパーティクルに対する重みwt(j)を算出する機能を持つ。

0074

なお、重みwt(j)(1≦j≦J)は、Σj=1〜Jwt(j)=1となるように正規化される。

0075

再サンプリング部234は、パラメータが更新されたパーティクルにおける外乱のパラメータの確率分布にしたがい、時刻tに対応する各パーティクルにおける外乱のパラメータ行列Λt(j)を再サンプリングする機能を持つ。この際、再サンプリング部234は、微小な重みwt(j)しか与えられていないパーティクルにおける確率分布からは、パラメータの再サンプリングを行なわない。一方、大きな重みwt(j)が与えられているパーティクルにおける確率分布からは、パラメータを重みwt(j)の大きさに応じた回数の再サンプリングを行ない、得られたパラメータをそれぞれ、当該再サンプリングの回数と同数のパーティクルに割当てる。ただし再サンプリングの全回数及びパーティクルの全数は一定(J)である。このようにするのは、各パーティクルに割当てられる重みが、式(22)から分かるように観測された特徴量ベクトルXtの尤度に対応しているからである。

0076

推定外乱分布生成部236は、Metropolis-Hastingsアルゴリズムにより、第tフレームに対応するパーティクルの再生成を行なう機能を持つ。図7に、推定外乱分布生成部236の構成をブロック図で示す。図7を参照して、推定外乱分布生成部236は、再サンプリング部234による再サンプリングで得られた各パーティクルにおける外乱の確率分布を用いて状態空間モデル160における外乱の確率分布を表し、当該表した確率分布に基づき、第t−1フレームに対応するパーティクルにおける外乱のパラメータを第tフレームに対応するものへ、上記の式(14)〜式(19)に示す拡張カルマンフィルタを用いて再更新するための再更新部262と、再更新されたパーティクルに対する重み(これを以下「wt*(j)」とする。)を上記の式(22)及び式(23)に示す算出方法を用いて算出するための重み再計算部264と、再サンプリングされたパーティクルに対する重みwt(j)及び再更新されたパーティクルに対する重みwt*(j)から、再更新されたパラメータを許容するか否かの判定に用いる許容確率νを算出するための許容確率算出部266と、所定の乱数発生方法により0から1までの閉区間内の乱数uを発生させるための乱数発生部268と、許容確率νと乱数uとに基づき、第tフレームに対応するパーティクルにおけるパラメータとして、再サンプリングされたパーティクルにおけるパラメータと、再更新されたパーティクルにおけるパラメータとの一方を選択するためのパラメータ選択部270とを含む。

0077

許容確率算出部266は、重みwt(j)及び重みwt*(j)から次の式(24)にしたがって、許容確率νを算出する機能を持つ。

0078

0079

パラメータ選択部270は、uが許容確率ν以下であれば、当該パーティクルにおける外乱のパラメータを再更新で得られた新たなパラメータに変更する機能を持つ。

0080

プログラム構造
以下の説明からも明らかなように、図1に示す音声認識システム100の前処理部104、前処理用音響モデル部106、及び探索部110は、いずれもコンピュータハードウェアとその上で実行されるプログラムにより実現可能である。図8に、本実施の形態に係る前処理部104に含まれる外乱成分抑圧部114が行なう外乱成分の抑圧処理を実現するコンピュータプログラムの制御構造フローチャートで示す。

0081

図8を参照して、外乱成分の抑圧処理が開始されると、ステップ302において、初期状態における外乱Λ0の各要素の値に対応する初期分布を推定する。すなわち、上記の式(10)及び式(11)に示す算出方法により、式(9)に示す加法性雑音の初期分布p(N0)のパラメータ平均ベクトルμN及び共分散行列ΣNを算出する。さらに、式(12)及び式(13)にしたがい、初期分布p(N0)からパラメータベクトルN0(j)(j=1,…,J)をサンプリングし、各パーティクルにおける加法性雑音の初期的なパラメータに推定する。またこの際、各パーティクルにおける乗法性雑音の初期的なパラメータ行列H0(j)及び残響の初期的なパラメータ行列A0(j)についても、それぞれ式(12)及び式(13)にしたがい設定を行なう。

0082

ステップ304では、外乱抑圧の対象となるフレームを次のフレームに移行させる。ステップ306では、パーティクルフィルタを用いて、処理対象のフレームにおける外乱を表す行列に対応する確率分布のパラメータを推定する。すなわち、各パーティクルにおける外乱のパラメータ行列Λt(j)、及び行列Λt(j)の共分散行列を推定し、さらに、各パーティクルに対する重みw(j)を定める。このステップでの処理については、図9を用いて後述する。

0083

ステップ308では、ステップ306でパーティクルごとに定めた外乱のパラメータ行列Λt(j)と、その共分散行列とを用いて、各パーティクルにおける観測信号の特徴量ベクトルXt(124)の確率分布を推定する。さらに、GMM130を構成する要素分布k(1≦k≦K)ごとに、パーティクルにおける観測信号の確率モデルの平均ベクトルμXkt(j),tと、共分散行列ΣXk,t(j)とを算出する。

0084

ステップ310では、MMSE推定法により、第tフレームにおけるクリーン音声の特徴量を推定する。すなわちまず、ステップ306及びステップ308の処理で得られたパラメータを用いて、MMSE推定法によって、MMSE推定値ベクトル^Stを算出し、推定クリーン音声の特徴量126(図1参照)として出力する。

0085

この式において、P(k|Xt,(j))は、j番目のパーティクルにおける、GMM130内の要素分布kに対する混合重みを表す。混合重みP(k|Xt,(j))は、次の数式により算出される。

0086

0087

ステップ312では、終了判定を行なう。すなわち第tフレームが最終のフレームであれば外乱成分の抑圧処理を終了する。さもなければステップ304に戻る。

0088

図9に、ステップ306(図8参照)において行なわれる外乱確率分布の推定処理を実現するプログラムの制御構造をフローチャートで示す。図9を参照して、外乱確率分布の推定処理が開始されると、ステップ322において、式(14)〜式(19)により示す拡張カルマンフィルタを用いて、第t−1フレームのパーティクルにおける外乱確率分布から、第tフレームのパーティクルにおける外乱確率分布を推定する。

0089

ステップ324では、第tフレームの各パーティクルに対する重みwt(j)を、式(22)及び式(23)によって算出し、正規化する。ステップ326では、各パーティクルに与えられた重みwt(j)に基づき、各パーティクルからの再サンプリングの回数を決定し、当該パーティクルにおける外乱確率分布に基づいてパラメータを再サンプリングする。ステップ328では、Metropolis-Hastingsアルゴリズムを用いて第tフレームのパーティクルを再生成する。

0090

図10にステップ328(図9参照)における処理の詳細をフローチャートで示す。図10を参照して、ステップ328における処理が開始されると、ステップ342において、ステップ326(図9参照)での再サンプリングで得られたパーティクルにおけるパラメータを用いて、外乱確率分布の再更新を行なう。すなわち、時刻tのフレームのパーティクルを新たに準備し、ステップ322(図9参照)での処理と同様の処理により、第t−1フレームのパーティクルに対応するパラメータから、第tフレームのパーティクルに対応するパラメータへの再更新を行ない、準備したパーティクルのパラメータに設定する。ステップ344では、ステップ342で準備したパーティクルに対する重みwt*(j)を、図9に示すステップ324の処理と同様の処理で算出し正規化する。

0091

ステップ346では、ステップ324の処理で算出された重みwt(j)と、ステップ344で算出された重みwt*(j)との比較により、ステップ342で準備されたパーティクルの許容確率νを定める。ステップ348では、区間[0,1]の値からなる一様な集合U[0,1]の中から任意の値を選択することにより乱数uを発生する。ステップ350では、ステップ348で発生した乱数uの値と、ステップ346で定めた許容確率νの値とを比較する。uが許容確率の値以下であれば、ステップ352へ進む。さもなければステップ354に進む。ステップ352では、ステップ342で準備されたパーティクルを許容する。すなわち、ステップ326での再サンプリングで得られたパラメータを、準備されたパーティクルのパラメータで置換して処理を終了する。ステップ354では、ステップ342で準備されたパーティクルを棄却する。すなわち、準備されたパーティクル及びそのパラメータを破棄し、処理を終了する。

0092

[動作]
本実施の形態に係る音声認識システム100は以下のように動作する。まず、図6に示す外乱確率分布推定部200による初期状態における外乱の確率分布の推定動作を説明する。図1に示す計測部112が、音源102から観測音122を受け、観測信号の特徴量Xt(124)を抽出する。抽出された特徴量Xt(124)は、外乱成分抑圧部114の図5に示す外乱確率分布推定部200に与えられる。図6を参照して、外乱確率分布推定部200のフレーム選択部220は、特徴量Xt(124)のうち最初の10フレーム分を、外乱初期分布推定部222に与える。外乱初期分布推定部222は、上記の式(9)〜式(11)に示す処理により加法性雑音の初期分布p(N0)を推定する。さらに、雑音の初期分布p(N0)から、上記の式(12)及び式(13)に示すサンプリングをJ回行なう。このサンプリングによって、各パーティクルにおける雑音の初期的なパラメータベクトルN0(j)及び共分散行列ΣN0(j)が決定される。乗法性歪みの初期パラメータ行列H0(j)及びその共分散行列ΣH0(j)をともに0に設定し、残響の初期パラメータ行列A0(j)及びその共分散行列ΣA0(j)をともに0に設定する。外乱確率分布推定部200は、これらのパラメータを、時刻t=0のフレームにおける推定外乱分布206のパラメータとして出力する。

0093

次に、外乱確率分布推定部200による、第tフレーム(t≧1)における推定外乱分布206の推定動作を説明する。図6を参照して、次のフレームの処理の開始要求210に応答して、フレーム選択部220は、観測信号の特徴量Xt(124)を更新部230に与えるとともに、GMMサンプリング部226に、第tフレームにおけるGMMの出力パラメータのサンプリングを要求する。更新部230は、これに応答して、第t−1フレームの各パーティクルにおける推定確率分布のパラメータ206を取得する。

0094

GMMサンプリング部226は、GMM130から、出力パラメータベクトルS(j)kt(j),tのサンプリングを行なう。図11に、出力パラメータベクトルS(j)kt(j),tのサンプリングの概要を模式的に示す。例えば、j番目のパーティクルにおいて、GMM130内の混合正規分布400の中から、混合重みにしたがった確率で要素分布kt(j)(402)をサンプリングする。GMMサンプリング部226はさらに、要素分布kt(j)(402)により表される出力確率の分布にしたがい、出力パラメータベクトルS(j)kt(j),t(404)をサンプリングする。GMMサンプリング部226は、総数Jの各パーティクルにおける出力パラメータベクトルS(j)kt(j),tをそれぞれ、以上の手順でサンプリングし、図6に示す更新部230に与える。

0095

図12に、逐次計算部224によるパラメータの更新、及び再サンプリングの概要を模式的に示す。図12においては、ある外乱のパラメータが左右方向に分布し、時間が上から下に進行する。また、図12においては、パーティクルを、白抜きの丸印、及び黒塗りの丸印によって模式的に示す。例えば、白抜きの丸印で示すパーティクルが重みwt(j)の値の微小なパーティクルであり、黒塗りの丸印で示すパーティクルが重みwt(j)の値の大きなパーティクルであるものとする。

0096

図12を参照して、第t−1フレームに対応するパーティクルにより状態空間420が近似的に表現されているものとする。更新部230は、式(14)〜式(19)により示す拡張カルマンフィルタを用いて、状態空間420内の各パーティクルにおける外乱分布のパラメータ行列^Λt-1(j)を、第tフレームに対応する推定外乱分布のパラメータ行列^Λt(j)に更新する。これにより、状態空間420内の各パーティクルは更新され、パラメータが更新されたパーティクルにより第tフレームに対応する状態空間430が表現される。

0097

続いて重み算出部232は、状態空間430内の各パーティクルに対する重みwt(j)を、式(22)及び式(23)によって算出する。再サンプリング部234は、重みwt(j)に基づき、パーティクルにおける外乱のパラメータを再サンプリングする。この際、再サンプリング部234はまず、状態空間430内の各パーティクルからの再サンプリングの回数を、wt(j)に応じてパーティクルごとに設定する。白抜きの丸印で表される重みの微小なパーティクルからのサンプリングの回数を0に設定する。また、黒塗りの丸印で表される重みの大きなパーティクルからのサンプリングの回数を、重みの大きさに応じて1〜3に設定する。続いて、状態空間430内のパーティクルにおける外乱の確率分布に基づき、設定された回数ずつ、外乱のパラメータの再サンプリングを行なう。このようにして、第tフレームに対応する新たな状態空間440を表現するパーティクルがそれぞれ形成される。

0098

再サンプリング部234によるこのような再サンプリングが繰返し行なわれると、あるフレームに対応するパーティクルの多くにおける外乱のパラメータが、それ以前の時点のフレームに対応する少数のパーティクルにおける外乱のパラメータの確率分布からサンプリングされたものとなるおそれがある。そこで、推定外乱分布生成部236は、Metropolis-Hastingsアルゴリズムを用いて、新たに第tフレームに対応するパーティクルにおけるパラメータを生成することにより、このような事態を防止する。図7に示す再更新部262は、状態空間440における推定外乱分布にしたがい、第t−1フレームに対応する状態空間420内のパーティクルにおける外乱のパラメータを再更新する。重み再計算部264は、再更新されたパーティクルに対する重みwt*(j)を算出する。許容確率算出部266は、再更新されたパーティクルに対する重みwt*(j)と、再サンプリングされたパーティクルに対する重みwt(j)とを基に、許容確率νを算出する。パラメータ選択部270は、許容確率νと、乱数発生部268が発生した[0,1]の区間の乱数uとを比較し、乱数uが許容確率ν以下であれば、再サンプリングされたパーティクルにおけるパラメータを、再更新されたパーティクルにおけるパラメータで置換する。さもなければ、再更新されたパーティクルにおけるパラメータを破棄する。

0099

以上のような動作をフレームごとに繰返すことにより、各フレームに対応して、各パーティクルにおける推定外乱分布206のパラメータベクトルNt(j)Ht(j)及び行列At(j)、並びに共分散行列ΣNt(j)ΣHt(j)及びΣAt(j)が推定される。外乱確率分布推定部200は、各パーティクルにおける推定外乱分布206のパラメータベクトルNt(j)Ht(j)及び行列At(j)、並びに共分散行列ΣNt(j)ΣHt(j)及びΣAt(j)と、各パーティクルに対する重みwt(j)と、観測信号の特徴量ベクトルXtとを、フレームごとに、図5に示すパラメータ生成部202に与える。

0100

図5を参照して、パラメータ生成部202は、VTS法によって、第tフレームに対応する各パーティクルにおける観測信号の確率モデルの平均ベクトル及び共分散行列(208)を生成する。これにより、各パーティクルにおいて外乱の確率分布と、観測信号の確率分布とが推定されたことになる。クリーン音声推定部204は、MMSE推定法により、第tフレームに対応する各パーティクルにおいて、クリーン音声のMMSE推定値ベクトル^St(j)を算出する。さらに、MMSE推定値ベクトル^St(j)と重みwt(j)とを用いて、時刻tにおけるクリーン音声の推定特徴量ベクトル^Stを算出し、図1に示す探索部110に出力する。

0101

図1に示す探索部110は、クリーン音声の推定特徴量ベクトル^Stを用いて、認識用音響モデル部109に保持された音響モデルと、言語モデル部108に保持された言語モデルとを基に、適合する目的言語の単語等を探索し、その結果を認識出力128として出力する。

0102

実験
本実施の形態に係る音声認識システム100による効果を確認するために、観測信号からの雑音の推定実験と、観測信号の認識実験とを行なった。以下、実験方法及び結果について説明する。

0103

本実験においては、日本語の雑音下音声認識評価共通データベースに収録されたクリーン音声1001文のデータに、残響のインパルス応答を畳み込み、さらに加法性雑音を人工加算して、観測信号を生成した。残響のインパルス応答には、実環境音声音響データベースに収録されている、残響時間0.3秒及び1.3秒のインパルス応答を用いた。また加算する雑音には、それぞれ実環境で収録された工場雑音と道路工事雑音とを使用した。本実験では、雑音を加算していない試料と、クリーン音声に20dB、15dB、及び10dBのSNR(Signal-to-Noise Ratio)でそれぞれ雑音を加算した試料とを用意した。用意した各試料を23次対数メルフィルタバンク処理し、得られた23次対数メルスペクトルの各成分を要素とするベクトルをそれぞれ生成し、認識対象の特徴量ベクトルとした。

0104

認識実験では、比較のために、上記の各試料から、本実施の形態に係る外乱成分の抑圧処理の方法を含む次の5種の処理方法で、探索に用いる特徴量を生成した。すなわち、HTK Baselineすなわち外乱抑圧処理を行なわない観測信号の特徴量(Baseline)、ETSI(European Telecommunications StandardsInstitute)により勧告されているETSI Advanced front−end(ES202)による雑音抑圧処理を施した特徴量(ETSI)、従来のMMSE推定により得られる推定特徴量(MMSE)、非特許文献5に記載の手法での処理により得られる推定特徴量(EM)、及びパーティクルフィルタを用いた本実施の形態に係る外乱成分の抑圧処理(Proposed)により得られる推定特徴量である。

0105

パーティクルフィルタを用いた外乱成分の抑圧処理を行なう際の、GMM130(図1参照)には、混合分布数512のモデルを用いた。この処理においては、誤差ベクトルWtの共分散行列を、ΣWN=ΣWH=ΣWA=diag(0.01)に設定した。また、処理に用いるパーティクルの総数Jを20に設定した。

0106

抑圧後の推定クリーン音声を用いた音声認識を行なう際の特徴量には、39次MFCC(Mel Frequency Cepstrum Coefficient)(12次MFCC+C0+Δ+ΔΔ)を用いた。また、図1に示す認識用音響モデル109には、16状態20混合分布のHMMを用いた。

0107

この認識実験における処理に、クロック周波数3.2ギガヘルツ、32ビットの市販のCPU(Central Processing Unit)を用いた場合、処理に要した時間は、観測信号における実時間の0.8倍であった。すなわち、認識処理を実時間で処理できることが明らかとなった。

0108

表1〜表4に、各試料に対する認識実験で得られた認識精度を、上記の処理方法別に示す。

0109

表1〜表4を参照して、パーティクルフィルタによる抑圧処理(Proposed)を行なうことで、良好な単語認識精度が得られることが分かる。特に、残響1.3秒の観測信号においては、パーティクルフィルタによる抑圧処理(Proposed)により、高い単語認識精度が得られることが分かる。

0110

以上の実験結果から、本実施の形態の外乱成分の抑圧処理により、非定常な加法性雑音及び残響による歪みを受ける環境下での音声認識性能が改善され、かつ実時間処理が可能になることが明らかとなった。

0111

[変形例等]
なお、本実施の形態においては、パーティクルフィルタによる処理を外乱成分の抑圧に用いている。そのため、雑音抑圧後の推定クリーン音声のパラメータを用いて探索を行なう前に、さらに音響モデル適応を行なうこともできる。音響モデル適応により、推定クリーン音声に適合した音響モデルを探索に用いることができるようになる。したがって、認識精度が向上することが期待される。

0112

また、本実施の形態においては、前処理用の音響モデルにGMMを用いたが、前処理用の音響モデルにHMMを用いてもよい。この場合、上記の式(20)に示す要素分布のサンプリングに先立ち、HMMの遷移確率にしたがって状態のサンプリングを行なえばよい。

0113

今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内でのすべての変更を含む。

図面の簡単な説明

0114

本発明の一実施の形態に係る音声認識システム100の構成を示す概略図である。
GMM130の概念を示す概略図である。
外乱要因118を模式的に示す図である。
観測信号の状態空間モデル160の概念を示す概略図である。
外乱成分抑圧部114の構成を示すブロック図である。
外乱確率分布推定部200の構成を示すブロック図である。
推定外乱分布生成部236の構成を示すブロック図である。
雑音抑圧処理の制御構造を示すフローチャートである。
外乱確率分布推定処理の制御構造を示すフローチャートである。
Metropolis-Hastingsアルゴリズムによるサンプリング処理の制御構造を示すフローチャートである。
GMM130からパラメータをサンプリングする動作の概要を示す図である。
パーティクルフィルタによる処理の概要を示す図である。

符号の説明

0115

100音声認識システム
102音源
104 前処理部
106前処理用音響モデル部
108言語モデル部
109 認識用音響モデル部
110 探索部
112計測部
114外乱分布抑圧部
116話者
118外乱要因
120クリーン音声
122観測音
124観測信号の特徴量
126推定クリーン音声の特徴量
130GMM
132 学習データ記憶部
134モデル学習部
136 GMM記憶部
160状態空間モデル
200 外乱確率分布推定部
202パラメータ生成部
204 クリーン音声推定部
220フレーム選択部
222 外乱初期分布推定部
224 逐次計算部
226 GMMサンプリング部
230更新部
232重み算出部
234再サンプリング部
236推定外乱分布生成部
262 再更新部
264 重み再計算部
266許容確率算出部
268乱数発生部
270パラメータ選択部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

該当するデータがありません

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • パナソニックIPマネジメント株式会社の「 情報処理装置」が 公開されました。( 2020/12/17)

    【課題・解決手段】情報処理装置は、複数のデータベースへアクセスする。ここで、情報処理装置は、あるデータベースへアクセスし、そのアクセス結果に基づいて他のデータベースへアクセスする。... 詳細

  • 三菱電機株式会社の「 情報処理装置、情報処理方法及びプログラム」が 公開されました。( 2020/12/17)

    【課題・解決手段】1又は複数のユーザが発した複数の発話に対応する音声を示す音声信号から音声を認識し、認識された音声を文字列に変換して、複数の発話を特定するとともに、複数の発話の各々に対応する時刻を特定... 詳細

  • ソニー株式会社の「 情報処理装置、情報処理方法及びプログラム」が 公開されました。( 2020/12/17)

    【課題】テキストデータが読み上げられる音が音像から発生されるとき、ユーザにとって重要な部分を印象に残りやすくすることができる技術を提供すること。【解決手段】本技術に係る情報処理装置は、制御部を具備する... 詳細

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

該当するデータがありません

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ