図面 (/)

技術 パタン表現モデル学習装置及びパタン認識装置

出願人 三菱電機株式会社
発明者 花沢利行中島邦男水田忍
出願日 1994年6月15日 (26年6ヶ月経過) 出願番号 1994-132772
公開日 1995年3月10日 (25年9ヶ月経過) 公開番号 1995-064587
状態 特許登録済
技術分野 音声認識
主要キーワード 離散分布 状態間遷移 連続モデル パタン認識 音声パタン 中心ベクトル 連続分布 小カテゴリ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(1995年3月10日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (7)

構成

類似度の高いカテゴリ同士を一つの小カテゴリ群にクラス分けすることによって、複数のカテゴリ全体を所定数の小カテゴリ群に分類し、この分類結果を小カテゴリ群登録する小カテゴリ群登録手段11と、カテゴリ既知学習パタンを入力とし、この学習パタンが属するカテゴリを含む小カテゴリ群全てをまず選択し、選択された小カテゴリ群の中からこの学習パタンとの類似度が最も高い小カテゴリ群一個を最終的に選択する学習用小カテゴリ群選択手段13と、この選択された一個の小カテゴリの内部でのみ、カテゴリの識別能力を向上させるためのパラメータの再推定を行うパラメータ制御手段6を備える。

効果

学習精度を向上させる、識別性能の高いパタン表現モデル学習装置を実現可能とする。

概要

背景

音声パタン表現モデルとして、近年HMM(Hidden Markov Model 、隠れマルコフモデル)が広く用いられており、ここではパタン表現モデルとしてHMMを用いた場合を例にとり、従来技術の説明を行うこととする。

HMMは音声パタンの特徴ベクトルの時系列を確率的に表現するモデルであり、音声パタンはHMMにより複数の状態とその間の遷移によりモデル化される。HMMは状態間遷移の確率と、遷移時に出力される特徴ベクトルの出力確率分布パラメータとする。HMMの学習、すなわちパラメータ推定方式として最も一般的なものは、学習に用いる特徴ベクトルの時系列に対してHMMの出力する尤度が大きくなるようにHMMのパラメータを設定する方式で、最尤推定法と呼ばれている。

この最尤推定法によるHMMの学習は、モデル間の識別能力を学習時に考慮していないため、得られたモデルによる識別性能には限界がある。音声認識のためのHMM学習法についてこの問題を解決する目的で提案されているものは、本発明の発明者ら(水田忍、中島)による、文献:「混合連続分布HMMに対する最適識別学習法の検討」(日本音響学会平成2年季研究発表会講演論文集、1−3−12)のようなものがある。

図6は文献に記述されているパタン表現モデル学習装置及びパタン認識装置の一実施例を示す構成図である。

本例では、パタン表現モデルとして、出力確率分布が多次元正規分布混合分布で表現された連続型のHMMを用いるものとする。

また、学習や認識の対象となるカテゴリの単位は単語であるとする。

図6において、1は学習用パタンであり、各カテゴリの音声音響分析して得られる音響特徴ベクトルの時系列である。2は各カテゴリ毎にHMMの初期モデルを設定する初期モデル設定手段、3は初期モデル設定手段2によって設定された各カテゴリの初期モデル、4は入力された学習用パタンに応じて学習するカテゴリを選択する学習用カテゴリ選択手段、6は学習用カテゴリ選択手段4によって選択された学習カテゴリのパタン表現モデルのパラメータを制御するパラメータ制御手段、7はパラメータ制御手段によって得られた学習結果モデル、8は発声内容未知の音声を音響分析して得られる音響特徴ベクトルの時系列である、認識パタン、9は認識パタン8のカテゴリを決定する認識用カテゴリ選択手段、10は認識結果である。

まずパタン表現モデル学習装置の動作について説明する。

学習手続きに先立ち、初期モデル設定手段2によって、各カテゴリの初期モデル3は既に設定されているものとする。本例では初期モデル3は最尤推定法により設定されているものとする。

また学習用パタン1は、学習対象となるカテゴリの各々に対して一個上用意されているものとする。

学習は以下のように行う。

(学習手順1)学習対象となる前記複数の単語カテゴリのいずれかに属する、一個の学習用パタン1が、学習用カテゴリ選択手段4に入力されると、学習用カテゴリ選択手段4は、この学習パタン1に対して、前記各カテゴリの初期モデル3の各々からの生起確率を求め、これら複数の初期モデル3のうち、前記学習用パタン1と異なるカテゴリに属し、生起確率が最大となる最近傍他カテゴリのモデルを選択し、選択結果5を出力する。

(学習手順2)パラメータ制御手段6では、前記初期モデル3のうち前記学習パタン1と同じ単語カテゴリに属する自カテゴリモデル、及び前記選択手段により選択された最近傍他カテゴリモデルについて、この学習用パタン1が生起する確率が自カテゴリモデルでは高く、最近傍他カテゴリモデルでは低くなるようにモデルのパラメータを再推定する。

このパラメータ再推定は、モデルの出力確率分布と前記学習用パタン1との対応関係をViterbiパス(生起確率が最大となるような、前記学習パタン1の特徴ベクトルの時系列とモデルの状態との対応関係)により決定し、パラメータ更新は混合連続分布で表現された出力確率分布の中心ベクトルを、学習用パタン1を構成する音響特徴ベクトルの対応するベクトルに近づけ、また遠ざけることで実現する。

(学習手順3)再推定されたモデルを初期モデル3と置き換える。

(学習手順4)すべての学習パタンの各々に対して、上記の学習手順1から3を行う。

(学習手順5)上気の学習手順1から4までの処理を必要回数行った後、得られたモデルを学習結果モデル7として出力する。

次にパタン認識装置の動作について説明する。

認識対象となる前記複数の単語カテゴリのいずれかに属する、カテゴリ未知の認識パタン8が認識用カテゴリ選択手段9に入力されると、認識用カテゴリ選択手段9では、前記認識パタン8に対する学習結果モデル6の各々からの生起確率を求め、これらの学習結果モデルのうち、生起確率が最大となるモデルを選択し、このモデルの属するカテゴリを認識結果10として出力する。

概要

類似度の高いカテゴリ同士を一つの小カテゴリ群にクラス分けすることによって、複数のカテゴリ全体を所定数の小カテゴリ群に分類し、この分類結果を小カテゴリ群登録する小カテゴリ群登録手段11と、カテゴリ既知の学習パタンを入力とし、この学習パタンが属するカテゴリを含む小カテゴリ群全てをまず選択し、選択された小カテゴリ群の中からこの学習パタンとの類似度が最も高い小カテゴリ群一個を最終的に選択する学習用小カテゴリ群選択手段13と、この選択された一個の小カテゴリの内部でのみ、カテゴリの識別能力を向上させるためのパラメータの再推定を行うパラメータ制御手段6を備える。

学習精度を向上させる、識別性能の高いパタン表現モデル学習装置を実現可能とする。

目的

本発明は、上記問題点を解決するためになされたもので、識別性能の高いパタン表現モデル学習装置及びパタン認識装置を提供することを目的とする。

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

パタン認識において、認識の対象となるカテゴリに属する学習用パタンを用いて、前記カテゴリに属するパタンを表現するパタン表現モデルパラメータ初期値を設定する初期モデル設定手段と、前記初期モデル設定手段によって得られた各々のカテゴリに属する初期モデルを用いて、各カテゴリ間類似度を求め、類似度の高いカテゴリ同士を一つの小カテゴリ群にクラス分けすることによって、前記認識対象となる複数のカテゴリ全体を所定数の小カテゴリ群に分類し、この分類結果を小カテゴリ群登録する小カテゴリ群登録手段と、前記認識対象となる複数のカテゴリのいずれかに属するカテゴリ既知学習パタンを入力とし、この学習パタンが属するカテゴリを含む小カテゴリ群全てをまず選択し、選択された小カテゴリ群の中からこの学習パタンとの類似度が最大となる小カテゴリ群一個を、最終選択結果として出力する学習用小カテゴリ群選択手段と、前記学習用小カテゴリ群選択手段により選択された一個の小カテゴリ群を構成する複数のカテゴリのうち、前記学習パタンが属するカテゴリである学習自カテゴリと、前記学習パタンが属するカテゴリ以外で前記学習パタンとの類似度が最大となるカテゴリである最近傍学習他カテゴリとを、選択結果として出力する学習用カテゴリ選択手段と、前記学習用カテゴリ選択手段により選択された前記学習自カテゴリのパタン表現モデルに対しては前記学習パタンとの類似度がより高くなるようにモデルのパラメータを制御し、前記最近傍学習他カテゴリのパタン表現モデルに対しては前記学習パタンとの類似度がより低くなるようにモデルのパラメータを制御するパラメータ制御手段とを備え、前記パラメータ制御手段の出力パラメータ学習結果とするパタン表現モデル学習装置

請求項2

パタン認識において、認識の対象となるカテゴリに属する学習用パタンを用いて、前記カテゴリに属するパタンを表現するパタン表現モデルのパラメータの初期値を設定する初期モデル設定手段と、前記初期モデル設定手段によって得られた各々のカテゴリに属する初期モデルを用いて、各カテゴリ間の類似度を求め、類似度の高いカテゴリ同士を一つの小カテゴリ群にクラス分けすることによって、前記認識対象となる複数のカテゴリ全体を所定数の小カテゴリ群に分類し、この分類結果を小カテゴリ群帳に登録する小カテゴリ群登録手段と、前記認識対象となる複数のカテゴリのいずれかに属するカテゴリ既知の学習パタンを入力とし、この学習パタンが属するカテゴリを含む小カテゴリ群全てをまず選択し、選択された小カテゴリ群の中からこの学習パタンとの類似度が最大となる小カテゴリ群一個を、最終選択結果として出力する学習用小カテゴリ群選択手段と、前記学習用小カテゴリ群選択手段により選択された一個の小カテゴリ群を構成する複数のカテゴリのうち、前記学習パタンが属するカテゴリである学習自カテゴリと、前記学習パタンが属するカテゴリ以外で前記学習パタンとの類似度が最大となるカテゴリである最近傍学習他カテゴリとを、選択結果として出力する学習用カテゴリ選択手段と、前記学習用カテゴリ選択手段により選択された前記学習自カテゴリのパタン表現モデルに対しては前記学習パタンとの類似度がより高くなるようにモデルのパラメータを制御し、前記最近傍学習他カテゴリのパタン表現モデルに対しては前記学習パタンとの類似度がより低くなるようにモデルのパラメータを制御するパラメータ制御手段と、カテゴリ未知の認識パタンを入力とし、前記小カテゴリ群帳に登録された所定数の小カテゴリ群の中から、前記認識パタンとの類似度が最大となる一個の小カテゴリ群を選択する認識用小カテゴリ群選択手段と、前記パラメータ制御手段によってパラメータを制御された学習結果モデルを用いて、前記認識用小カテゴリ群選択手段によって選択された一個の小カテゴリ群を構成する複数のカテゴリのパタン表現モデルの各々と、前記認識パタンとの類似度を求め、類似度が最大となるパタン表現モデルの属するカテゴリを出力する認識用カテゴリ選択手段とを備え、前記認識用カテゴリ選択手段の出力であるカテゴリを、認識結果として得ることを特徴とするパタン認識装置

請求項3

パタン認識において、認識の対象となるカテゴリに属する学習用パタンを用いて、前記カテゴリに属するパタンを表現するパタン表現モデルのパラメータの初期値を設定する初期モデル設定手段と、前記初期モデル設定手段によって得られた各々のカテゴリに属する初期モデルと学習用パタンを用いて、各カテゴリ間での認識混同情報を生成する混同情報生成手段と、前記混同情報をもとに認識時に混同を生じやすいカテゴリ同士を一つの小カテゴリ群にクラス分けすることによって、前記認識対象となる複数のカテゴリ全体を所定数の小カテゴリ群に分類し、この分類結果を小カテゴリ群帳に登録する小カテゴリ群登録手段と、前記認識対象となる複数のカテゴリのいずれかに属するカテゴリ既知の学習パタンを入力とし、この学習パタンが属するカテゴリを含む小カテゴリ群全てをまず選択し、選択された小カテゴリ群の中からこの学習パタンとの類似度が最大となる小カテゴリ群一個を、最終選択結果として出力する学習用小カテゴリ群選択手段と、前記学習用小カテゴリ群選択手段により選択された一個の小カテゴリ群を構成する複数のカテゴリのうち、前記学習パタンが属するカテゴリである学習自カテゴリと、前記学習パタンが属するカテゴリ以外で前記学習パタンとの類似度が最大となるカテゴリである最近傍学習他カテゴリとを、選択結果として出力する学習用カテゴリ選択手段と、前記学習用カテゴリ選択手段により選択された前記学習自カテゴリのパタン表現モデルに対しては前記学習パタンとの類似度がより高くなるようにモデルのパラメータを制御し、前記最近傍学習他カテゴリのパタン表現モデルに対しては前記学習パタンとの類似度がより低くなるようにモデルのパラメータを制御するパラメータ制御手段とを備え、前記パラメータ制御手段の出力パラメータを学習結果とするパタン表現モデル学習装置。

請求項4

パタン認識において、認識の対象となるカテゴリに属する学学習用パタンを用いて、前記カテゴリに属するパタンを表現するパタン表現モデルのパラメータの初期値を設定する初期モデル設定手段と、前記初期モデル設定手段によって得られた各々のカテゴリに属する初期モデルと学習用パタンを用いて、各カテゴリ間での認識混同情報を生成する混同情報生成手段と、前記混同情報をもとに認識時に混同を生じやすいカテゴリ同士を一つの小カテゴリ群にクラス分けすることによって、前記認識対象となる複数のカテゴリ全体を所定数の小カテゴリ群に分類し、この分類結果を小カテゴリ群帳に登録する小カテゴリ群登録手段と、前記認識対象となる複数のカテゴリのいずれかに属するカテゴリ既知の学習パタンを入力とし、この学習パタンが属するカテゴリを含む小カテゴリ群全てをまず選択し、選択された小カテゴリ群の中からこの学習パタンとの類似度が最大となる小カテゴリ群一個を、最終選択結果として出力する学習用小カテゴリ群選択手段と、前記学習用小カテゴリ群選択手段により選択された一個の小カテゴリ群を構成する複数のカテゴリのうち、前記学習パタンが属するカテゴリである学習自カテゴリと、前記学習パタンが属するカテゴリ以外で前記学習パタンとの類似度が最大となるカテゴリである最近傍学習他カテゴリとを、選択結果として出力する学習用カテゴリ選択手段と、前記学習用カテゴリ選択手段により選択された前記学習自カテゴリのパタン表現モデルに対しては前記学習パタンとの類似度がより高くなるようにモデルのパラメータを制御し、前記最近傍学習他カテゴリのパタン表現モデルに対しては前記学習パタンとの類似度がより低くなるようにモデルのパラメータを制御するパラメータ制御手段と、カテゴリ未知の認識パタンを入力とし、前記小カテゴリ群帳に登録された所定数の小カテゴリ群の中から、前記認識パタンとの類似度が最大となる一個の小カテゴリ群を選択する認識用小カテゴリ群選択手段と、前記パラメータ制御手段によってパラメータを制御された学習結果モデルを用いて、前記認識用小カテゴリ群選択手段によって選択された一個の小カテゴリ群を構成する複数のカテゴリのパタン表現モデルの各々と、前記認識パタンとの類似度を求め、類似度が最大となるパタン表現モデルの属するカテゴリを出力する認識用カテゴリ選択手段とを備え、この認識用カテゴリ選択手段の出力であるカテゴリを、認識結果として得ることを特徴とするパタン認識装置。

技術分野

0001

本発明は、認識対象となるカテゴリパタン表現モデル学習装置及びパタン認識装置に関し、特にカテゴリ間認識能力の高いパタン表現モデル学習装置及びパタン認識装置を提供するものである。

背景技術

0002

音声パタンの表現モデルとして、近年HMM(Hidden Markov Model 、隠れマルコフモデル)が広く用いられており、ここではパタン表現モデルとしてHMMを用いた場合を例にとり、従来技術の説明を行うこととする。

0003

HMMは音声パタンの特徴ベクトルの時系列を確率的に表現するモデルであり、音声パタンはHMMにより複数の状態とその間の遷移によりモデル化される。HMMは状態間遷移の確率と、遷移時に出力される特徴ベクトルの出力確率分布パラメータとする。HMMの学習、すなわちパラメータ推定方式として最も一般的なものは、学習に用いる特徴ベクトルの時系列に対してHMMの出力する尤度が大きくなるようにHMMのパラメータを設定する方式で、最尤推定法と呼ばれている。

0004

この最尤推定法によるHMMの学習は、モデル間の識別能力を学習時に考慮していないため、得られたモデルによる識別性能には限界がある。音声認識のためのHMM学習法についてこの問題を解決する目的で提案されているものは、本発明の発明者ら(水田忍、中島)による、文献:「混合連続分布HMMに対する最適識別学習法の検討」(日本音響学会平成2年季研究発表会講演論文集、1−3−12)のようなものがある。

0005

図6は文献に記述されているパタン表現モデル学習装置及びパタン認識装置の一実施例を示す構成図である。

0006

本例では、パタン表現モデルとして、出力確率分布が多次元正規分布混合分布で表現された連続型のHMMを用いるものとする。

0007

また、学習や認識の対象となるカテゴリの単位は単語であるとする。

0008

図6において、1は学習用パタンであり、各カテゴリの音声音響分析して得られる音響特徴ベクトルの時系列である。2は各カテゴリ毎にHMMの初期モデルを設定する初期モデル設定手段、3は初期モデル設定手段2によって設定された各カテゴリの初期モデル、4は入力された学習用パタンに応じて学習するカテゴリを選択する学習用カテゴリ選択手段、6は学習用カテゴリ選択手段4によって選択された学習カテゴリのパタン表現モデルのパラメータを制御するパラメータ制御手段、7はパラメータ制御手段によって得られた学習結果モデル、8は発声内容未知の音声を音響分析して得られる音響特徴ベクトルの時系列である、認識パタン、9は認識パタン8のカテゴリを決定する認識用カテゴリ選択手段、10は認識結果である。

0009

まずパタン表現モデル学習装置の動作について説明する。

0010

学習手続きに先立ち、初期モデル設定手段2によって、各カテゴリの初期モデル3は既に設定されているものとする。本例では初期モデル3は最尤推定法により設定されているものとする。

0011

また学習用パタン1は、学習対象となるカテゴリの各々に対して一個上用意されているものとする。

0012

学習は以下のように行う。

0013

(学習手順1)学習対象となる前記複数の単語カテゴリのいずれかに属する、一個の学習用パタン1が、学習用カテゴリ選択手段4に入力されると、学習用カテゴリ選択手段4は、この学習パタン1に対して、前記各カテゴリの初期モデル3の各々からの生起確率を求め、これら複数の初期モデル3のうち、前記学習用パタン1と異なるカテゴリに属し、生起確率が最大となる最近傍他カテゴリのモデルを選択し、選択結果5を出力する。

0014

(学習手順2)パラメータ制御手段6では、前記初期モデル3のうち前記学習パタン1と同じ単語カテゴリに属する自カテゴリモデル、及び前記選択手段により選択された最近傍他カテゴリモデルについて、この学習用パタン1が生起する確率が自カテゴリモデルでは高く、最近傍他カテゴリモデルでは低くなるようにモデルのパラメータを再推定する。

0015

このパラメータ再推定は、モデルの出力確率分布と前記学習用パタン1との対応関係をViterbiパス(生起確率が最大となるような、前記学習パタン1の特徴ベクトルの時系列とモデルの状態との対応関係)により決定し、パラメータ更新は混合連続分布で表現された出力確率分布の中心ベクトルを、学習用パタン1を構成する音響特徴ベクトルの対応するベクトルに近づけ、また遠ざけることで実現する。

0016

(学習手順3)再推定されたモデルを初期モデル3と置き換える。

0017

(学習手順4)すべての学習パタンの各々に対して、上記の学習手順1から3を行う。

0018

(学習手順5)上気の学習手順1から4までの処理を必要回数行った後、得られたモデルを学習結果モデル7として出力する。

0019

次にパタン認識装置の動作について説明する。

0020

認識対象となる前記複数の単語カテゴリのいずれかに属する、カテゴリ未知の認識パタン8が認識用カテゴリ選択手段9に入力されると、認識用カテゴリ選択手段9では、前記認識パタン8に対する学習結果モデル6の各々からの生起確率を求め、これらの学習結果モデルのうち、生起確率が最大となるモデルを選択し、このモデルの属するカテゴリを認識結果10として出力する。

発明が解決しようとする課題

0021

上記従来例のパタン表現モデル学習方式では、複数のカテゴリの各カテゴリ間のすべての対立関係を考慮した学習が行われる。

0022

具体的には、例えばA,B,C,……,Jの認識すべき10個の単語カテゴリがある場合、カテゴリAに属する学習用パタン1を入力した時、学習用カテゴリBが最近傍他カテゴリとして選択されたならば、パラメータ制御手段5により前記学習用パタン1が属するカテゴリAのモデルに対しては、この学習用パタン1が生起する確率が高くなるようにパラメータを再推定し、逆にカテゴリBのモデルに対しては、この学習用パタン1が生起する確率が低くなるようにパラメータを再推定する。

0023

上より、上記パタン表現モデル学習方式においては、カテゴリAとカテゴリBとの識別性能の向上が期待される。しかし、前記パラメータの再推定により、他の認識すべき8個(C,D,E,……,J)の単語カテゴリの一つまたは複数との識別性能が低下する方向に前記パラメータが再推定されてしまう可能性がある。このような悪影響はカテゴリ総数が大きくなるほど、発生しやすくなるものと考えられる。

0024

本発明は、上記問題点を解決するためになされたもので、識別性能の高いパタン表現モデル学習装置及びパタン認識装置を提供することを目的とする。

課題を解決するための手段

0025

請求項1記載の発明においては、認識の対象となるカテゴリに属する学習用パタンを用いて、前記カテゴリに属するパタンを表現するパタン表現モデルのパラメータの初期値を設定する初期モデル設定手段と、前記初期モデル設定手段によって得られた各々のカテゴリに属する初期モデルを用いて、各カテゴリ間の類似度を求め、類似度の高いカテゴリ同士を一つの小カテゴリ群にクラス分けすることによって、前記認識対象となる複数のカテゴリ全体を所定数の小カテゴリ群に分類し、この分類結果を小カテゴリ群登録する小カテゴリ群登録手段と、前記認識対象となる複数のカテゴリのいずれかに属するカテゴリ既知の学習パタンを入力とし、この学習パタンが属するカテゴリを含む小カテゴリ群全てをまず選択し、選択された小カテゴリ群の中からこの学習パタンとの類似度が最大となる小カテゴリ群一個を、最終選択結果として出力する学習用小カテゴリ群選択手段と、前記学習用小カテゴリ群選択手段により選択された一個の小カテゴリ群を構成する複数のカテゴリのうち、前記学習パタンが属するカテゴリである学習自カテゴリと、前記学習パタンが属するカテゴリ以外で前記学習パタンとの類似度が最大となるカテゴリである最近学習他カテゴリとを、選択結果として出力する学習用カテゴリ選択手段と、前記学習用カテゴリ選択手段により選択された前記学習自カテゴリのパタン表現モデルに対しては前記学習パタンとの類似度がより高くなるようにモデルのパラメータを制御し、前記最近傍学習他カテゴリのパタン表現モデルに対しては前記学習パタンとの類似度がより低くなるようにモデルのパラメータを制御するパラメータ制御手段とを備える。

0026

また請求項2記載の発明においては、カテゴリ未知の認識パタンを入力とし、前記小カテゴリ群帳に登録された所定数の小カテゴリ群の中から、前記認識パタンとの類似度が最大となる一個の小カテゴリ群を選択する認識用小カテゴリ群選択手段と、前記パラメータ制御手段によってパラメータを制御された学習結果モデルを用いて、前記認識用小カテゴリ群選択手段によって選択された一個の小カテゴリ群を構成する複数のカテゴリのパタン表現モデルの各々と、前記認識パタンとの類似度を求め、類似度が最大となるパタン表現モデルの属するカテゴリを出力する認識用カテゴリ選択手段とを備える。

0027

また請求項3及び請求項4記載の発明においては、前記初期モデル設定手段によって得られた各々のカテゴリに属する初期モデルと学習用パタンを用いて、各カテゴリ間での認識混同情報を生成する混同情報生成手段と、前記混同情報をもとに認識時に混同を生じやすいカテゴリ同士を一つの小カテゴリ群にクラス分けすることによって、前記認識対象となる複数のカテゴリ全体を所定数の小カテゴリ群に分類し、この分類結果を小カテゴリ群帳に登録する小カテゴリ群登録手段を備える。

0028

請求項1記載の発明に係わるパタン学習装置において、小カテゴリ群登録手段は、類似度の高いカテゴリ同士を一つの小カテゴリ群にクラス分けすることによって、複数のカテゴリ全体を所定数の小カテゴリ群に分類し、この分類結果を小カテゴリ群帳に登録する。学習用小カテゴリ群選択手段は、前記複数のカテゴリのいずれかに属するカテゴリ既知の学習パタンを入力とし、この学習パタンが属するカテゴリを含む小カテゴリ群全てをまず選択し、選択された小カテゴリ群の中からこの学習パタンとの類似度が最大となる小カテゴリ群一個を最終的に選択する。パラメータ制御手段は、この選択された一個の小カテゴリ群の内部でのみ、カテゴリの識別能力を向上させるためのパラメータの再推定を行う。

0029

また請求項2記載の発明に係わるパタン認識装置において、カテゴリ未知の認識パタンを入力とし、認識用小カテゴリ群選択手段は前記小カテゴリ群帳に登録された所定数の小カテゴリ群の中から、前記認識パタンとの類似度が最大となる一個の小カテゴリ群を選択する。認識用カテゴリ選択手段は、前記認識小カテゴリ群選択手段によって選択された一個の小カテゴリ群を構成する複数のカテゴリのパタン表現モデルの各々と、前記認識パタンとの類似度を求め、類似度が最大となるパタン表現モデルの属するカテゴリを出力する。

0030

また請求項3及び請求項4記載の発明においては、混同情報生成手段は初期設定により得られた各々のカテゴリに属するパタン表現モデルと、パタン表現モデル学習用の音声データを用いて各カテゴリ間での認識混同情報を生成し、小カテゴリ群登録手段は、この混同情報をもとに、認識時に混同を生じやすいカテゴリ同士を一つの小カテゴリ群にまとめ、前記認識対象となる複数のカテゴリ全体を所定数の小カテゴリ群に分類し、この分類結果を小カテゴリ群帳に登録する。

0031

実施例1.図1は、請求項1と請求項2記載の発明の一実施例に係わる、パタン表現モデル学習装置及びパタン認識装置の構成図である。

0032

図1において、1は学習用パタンであり、各カテゴリの音声を音響分析して得られる音響特徴ベクトルの時系列である。2は各カテゴリ毎にHMMの初期モデルを設定する初期モデル設定手段、3は初期モデル設定手段2によって設定された各カテゴリの初期モデル、4は入力された学習用パタンに応じて学習するカテゴリを選択する学習用カテゴリ選択手段、6は学習用カテゴリ選択手段4によって選択された学習カテゴリのパタン表現モデルのパラメータを制御するパラメータ制御手段、7はパラメータ制御手段によって得られた学習結果モデル(図1には示されず、後述する図6に示されている。)、8は発声内容が未知の音声を音響分析して得られる音響特徴ベクトルの時系列である、認識パタン、9は認識パタン8のカテゴリを決定する認識用カテゴリ選択手段、10は認識結果、11は小カテゴリ群登録手段、12は小カテゴリ群が登録されている小カテゴリ群帳、13は学習用小カテゴリ群を選択する学習用小カテゴリ群選択手段、14は学習用小カテゴリ群の選択結果、15は学習途中の小カテゴリ群別学習途中モデル、16は学習が完了した小カテゴリ群別学習結果モデル、17は認識用の小カテゴリ群を選択する認識用小カテゴリ群選択手段、18は認識用小カテゴリ群の選択結果である。

0033

ここで小カテゴリ群別学習途中モデル15及び小カテゴリ群別学習結果モデル16は、各小カテゴリ群毎に別々に用意する。すなわち、複数の小カテゴリ群に属するカテゴリは、そのカテゴリが所属する小カテゴリ毎に別々のパタン表現モデルを設定する。

0034

本実施例においても従来技術の例と同様に、パタン表現モデルとして、出力確率分布が多次元正規分布の混合分布で表現された連続型のHMMを用いるものとする。また学習や認識の対象となるカテゴリの単位は単語であるとする。

0035

まずパタン表現モデル学習装置の動作について説明する。

0036

学習手続きに先立ち、初期モデル設定手段2によって、各カテゴリの初期モデル3は既に設定されているものとする。本例では初期モデル3は最尤推定法により設定されているものとする。

0037

また小カテゴリ群別学習途中モデル15の初期値としては、初期モデル3の値を各小カテゴリ群で共通に設定することとする。例えば、A,B,C,……,Jの認識すべき10の単語カテゴリがあり、小カテゴリ群帳にI 、II、III の3個の小カテゴリ群が登録されており、それぞれに属するカテゴリとして、I :(A,B,D,F)、II:(A,C,G,I)、III :(A,E,H,J)と分類されているとき、小カテゴリ群I に属するカテゴリAのパタン表現モデルも、小カテゴリ群IIに属するカテゴリAのパタン表現モデルも、初期モデル3のカテゴリAを表現するモデルのパラメータを初期値として設定する。

0038

また学習用パタン1は、学習対象となるカテゴリの各々に対して一個以上用意されているものとする。

0039

学習は以下のように行う。

0040

(学習手順1)学習対象となる前記複数の単語カテゴリのいずれかに属する、一個の学習用パタン1が、学習用小カテゴリ群選択手段13に入力されると、学習用小カテゴリ群選択手段13では、初期モデル3を用いて、小カテゴリ群帳12に登録された小カテゴリ群のうち、学習パタン1の属するカテゴリを含み、この学習用パタン1に最も適合した小カテゴリ群を選択し、小カテゴリ群選択結果14を出力する。ここでは小カテゴリ群の選択を以下のように行う。

0041

初期モデル3と学習用パタン1の類似度を求め、モデルの属する単語カテゴリを類似度の高いものから順にC(1)、C(2)、……とおく。小カテゴリ群kに単語カテゴリC(1)、C(2)、……C(N)がすべて含まれるとし、kに関するNの最大値をN(k)とおくとき、N(k)の最も大きい小カテゴリ群kを選択結果14として出力するものとする。ただし、選択された小カテゴリ群はこの学習パタン1が属するカテゴリを必ず含むものとする。ここで、前記複数の単語カテゴリの各々は前記複数の小カテゴリ群のいずれかに属するものとし、1つの単語カテゴリが複数の小カテゴリ群に属することも可能である。

0042

(学習手順2)学習用カテゴリ選択手段4は、前記学習パタン1が属するカテゴリを自カテゴリとして選択する。

0043

また学習小カテゴリ群選択手段13によって選択された小カテゴリ群に属する小カテゴリ群別学習途中モデル15を用いて、前記学習パタン1に対して、前記学習パタン1が属するカテゴリ以外のモデルからの生起確率を求め、前記生起確率が最大となるもののカテゴリを最近傍他カテゴリとして選択する。

0044

(学習手順3)パラメータ制御手段6では、小カテゴリ群別学習途中モデル15において、学習用小カテゴリ群選択手段13によって選択された小カテゴリ群に属し、かつ学習用カテゴリ選択手段4によって選択された自カテゴリのモデル、及び最近傍他カテゴリのモデルに対して、この学習用パタン1が生起する確率が自カテゴリモデルでは高く、最近傍他カテゴリモデルでは低くなるようにモデルのパラメータを再推定する。

0045

このパラメータ再推定は従来技術と同様の方法で行う。すなわち、モデルの出力確率分布と前記学習用パタン1との対応関係をViterbiパスにより決定し、出力確率分布の中心ベクトルを、学習用パタン1を構成する音響特徴ベクトルの対応するベクトルに自カテゴリモデルでは近づけ、最近傍他カテゴリモデルでは遠ざけることで実現する。

0046

パラメータの再推定は、学習用小カテゴリ群選択手段13によって選択された小カテゴリ群以外の小カテゴリ群に属するモデルに対しては行わない。

0047

(学習手順4)再推定されたモデルを、対応する小カテゴリ群別学習途中モデル15と置き換える。

0048

(学習手順5)すべての学習パタンの各々に対して、上記の学習手順1から4を行う。

0049

(学習手順6)上記の学習手順1から5までの処理を必要回数行った後、得られたモデルを小カテゴリ群別学習結果モデル16として出力する。

0050

本発明に係わるパタン表現モデル学習装置におけるパタン表現モデルの学習方式を例をあげて説明する。例えば、A,B,C,……,Jの認識すべき10の単語カテゴリがあり、小カテゴリ群帳12にI ,II,III の3個の小カテゴリ群が登録されており、それぞれに属するカテゴリとして、I :(A,B,D,F)、II:(A,C,G,I)、III :(A,E,H,J)と分類されているとする。カテゴリAに属する学習用パタン1を入力したとき、学習用小カテゴリ群選択手段13によって小カテゴリ群I が選択され、さらに学習用カテゴリ選択手段4により、カテゴリAの最近傍カテゴリとしてカテゴリBが選択されたならば、パラメータ制御手段6により、小カテゴリ群Jに属するカテゴリAのモデルに対しては、学習用パタン1が生起する確率が高くなるようにパラメータを再推定し、逆に小カテゴリI のカテゴリBのモデルに対しては、この学習用パタン1が生起する確率が低くなるようにパラメータを再推定することにより、カテゴリAとカテゴリBの識別性能を高めることができる。

0051

このパラメータの再推定により、小カテゴリ群I に属する他のカテゴリであるカテゴリDと、カテゴリAまたはカテゴリBとの、識別性能を低下させるようなパラメータに推定される可能性もあるが、このような悪影響を及ぼす可能性は小カテゴリ群I 内のみに限定されているので、全てのカテゴリを分割せずに一括して扱う従来技術として比較して、前記のような悪影響を及ぼす可能性のあるカテゴリ数が少ない。ゆえにモデルAとモデルBのパラメータを再推定したことにより、小カテゴリ群I 内の他カテゴリのモデルとの識別性能が低下した場合でも、さらに前記識別性能が低下したモデル同士のパラメータを再推定すればよく、その再推定結果が他のモデルとの識別性能に影響を与えた場合でも、小カテゴリ群内ではカテゴリ数が少ないので、さらに再推定を繰り返し行うことにより、前記悪影響を非常に小さく抑えることができる。

0052

また、この時、小カテゴリ群II、III に属するカテゴリAのパタン表現モデルのパラメータは変更しない。このため、小カテゴリ群II、及びIII に属するカテゴリ同士の識別性能には変化をあたえるとなく、小カテゴリ群I に属するカテゴリ同士の識別性能を高めることが可能である。このため、学習精度を高めることが可能である。

0053

次に認識の動作について説明する。

0054

認識パタン8が入力されると、認識用小カテゴリ選択手段17では、初期モデル3を用いて、小カテゴリ群帳12に登録された小カテゴリ群のうち、認識パタン8に最も適合した小カテゴリ群を選択し、認識用小カテゴリ群選択結果18を出力する。ここでは学習用小カテゴリ群選択手段13と同様にして選択を行う。ただし学習用小カテゴリ群選択手段13では、選択された小カテゴリ群は学習用パタン1が属するカテゴリを必ず含むものとしたが、ここでは対応する条件は設けない。

0055

認識用カテゴリ選択手段9では、前記認識用小カテゴリ群選択手段17によって選択された小カテゴリ群を構成するカテゴリに対して、小カテゴリ群別学習結果モデルを用いて、前記認識パタン8との生起確率を求め、これらのモデルのうち生起確率が最大となるカテゴリのモデルを選択し、認識結果10を出力する。

0056

実施例2.図2は、請求項1記載の発明の実施例に係わるパタン表現モデル学習装置及びパタン認識装置において、小カテゴリ群として2つの相異なるカテゴリの対を設定した場合の一実施例を示す構成図である。

0057

図2において、1は学習用パタンであり、各カテゴリの音声を音響分析して得られる音響特徴ベクトルの時系列である。2は各カテゴリ毎にHMMの初期モデルを設定する初期モデル設定手段、3は初期モデル設定手段2によって設定された各カテゴリの初期モデル、4は入力された学習用パタンに応じて学習するカテゴリを選択する学習用カテゴリ選択手段、6は学習用カテゴリ選択手段4によって選択された学習カテゴリのパタン表現モデルのパラメータを制御するパラメータ制御手段、8は発声内容が未知の音声を音響分析して得られる音響特徴ベクトルの時系列である、認識パタン、10は認識結果、19はカテゴリ対登録手段、20はカテゴリ対帳、21は学習用カテゴリ対選択手段、22は学習用カテゴリ対の選択結果、23は学習途中のカテゴリ対別学習途中モデル、24は学習が完了したカテゴリ対別学習結果モデル、25は認識用のカテゴリ対を選択する認識用カテゴリ対選択手段、26は認識用カテゴリ対の選択結果である。

0058

ここでカテゴリ対別学習途中モデル23及びカテゴリ対別学習結果モデル24は、各カテゴリ対毎に別々に用意する。

0059

本実施例においてもパタン表現モデルとして、出力確率分布が多次元正規分布の混合分布で表現された連続型のHMMを用いるものとする。また学習や認識の対象となるカテゴリの単位は単語であるとする。

0060

まずパタン表現モデル学習装置の動作について説明する。

0061

学習手続きに先立ち、初期モデル設定手段2によって、各カテゴリの初期モデル3は既に設定されているものとする。本例では初期モデル3は最尤推定法により設定されているものとする。

0062

またカテゴリ対別学習途中モデル23の初期値としては、初期モデル3の値を各カテゴリ対で共通に設定することとする。

0063

また学習用パタン1は、学習対象となるカテゴリの各々に対して一個以上用意されているものとする。

0064

まずパタン表現モデルの学習時の動作について説明する。

0065

パタン表現モデルの学習は、(1)カテゴリ対登録、(2)各小カテゴリ群内のパタン表現モデルの学習、の2つの手続きによって行う。

0066

(1)カテゴリ対登録
学習対象となっている全てのカテゴリを用いて作られる相異なる2個のカテゴリの対を、すべてカテゴリ対帳20に登録する。例えば、学習対象となっているカテゴリが、A,B,C,D,Eの5個であったとすると、登録されているカテゴリの対は、(A,B),(A,C),(A,D),(A,E),(B,C),(B,D),(B,E),(C,D),(C,E),(D,E)の10個である。

0067

(2)カテゴリ対内のパタン表現モデルの学習
学習は以下のように行う。

0068

(学習手順1)学習対象となる前記複数の単語カテゴリのいずれかに属する、1個の学習用パタン1が、学習用カテゴリ対選択手段21に入力されると、学習用カテゴリ対選択手段21では、初期モデル3を用いて、カテゴリ対帳20に登録されたカテゴリ対のうち、学習パタン1の属するカテゴリを含み、この学習用パタン1に最も適合したカテゴリ対を選択し、カテゴリ対選択結果22を出力する。

0069

学習カテゴリ対の選択は以下のように行う。

0070

選択手順1)カテゴリ対帳20に登録されたカテゴリ対のうち、学習用パタン1が属するカテゴリを含むカテゴリ対全てを選択対象とする。

0071

(選択手順2)選択対象となっているカテゴリ対に含まれるカテゴリのうち、学習用パタン1が属するカテゴリを除く全てのカテゴリの初期モデル3と学習用パタン1との類似度を求め、類似度のもっとも高いカテゴリを含むカテゴリ対を学習カテゴリ対選択結果として出力する。

0072

(学習手順2)学習用カテゴリ選択手段4では、学習用カテゴリ対選択手段21により選択されたカテゴリ対選択手段の選択結果22を構成するカテゴリのうち、前記学習用パタン1が属するカテゴリを学習自カテゴリとして選択し、また対を構成する他方のカテゴリとして選択し、選択結果5を出力する。

0073

(学習手順3)パラメータ制御手段6では、カテゴリ対別学習途中モデル23において、学習用カテゴリ対選択手段21によ選択されたカテゴリ対に属する自カテゴリのモデル、及び最近傍他カテゴリのモデルに対して、この学習用パタン1が生起する確率が自カテゴリモデルでは高く、最近傍他カテゴリモデルでは低くなるようにモデルのパラメータを再推定する。

0074

このパラメータ再推定は実施例1と同様の方法で行う。

0075

パラメータの再推定は、学習用カテゴリ対選択手段21によって選択されたカテゴリ対以外の小カテゴリ群に属するモデルに対しては行わない。

0076

(学習手順4)再推定されたモデルを対応するカテゴリ対別学習途中モデル23と置き換える。

0077

(学習手順5)すべての学習パタンの各々に対して、上記の学習手順1から4を行う。

0078

(学習手順6)上記の学習手順1から5までの処理を必要回数行った後、得られたモデルをカテゴリ対別学習結果モデル24として出力する。

0079

次に認識の動作について説明する。

0080

カテゴリ未知の認識用音響的特徴系列が入力されると、認識用カテゴリ対選択手段25では、初期モデル3を用いて、カテゴリ対帳20に登録されたカテゴリ対のうち、認識パタン8に最も適合したカテゴリ対を選択し、カテゴリ対選択結果22を出力する。

0081

認識カテゴリ対の選択は以下のように行う。

0082

(選択手順1)カテゴリ群帳に登録されているカテゴリ対全てを選択対象とする。

0083

(選択手順2) 認識用カテゴリ対選択手段25では、選択対象となっているカテゴリ対に含まれる全てのカテゴリの初期モデル3と認識パタン8との類似度を求め、類似度の高い1位、2位のカテゴリを、対として持っているカテゴリ対を認識カテゴリ対選択結果26として出力する。

0084

認識用カテゴリ選択手段9では、認識用カテゴリ対選択手段25によって選択されたカテゴリ対に対して、カテゴリ対別学習結果モデルを用いて、認識パタン8と前記カテゴリ対を構成する2個のモデルとの類似度を求め、これらのモデルのうち類似度が最大となるカテゴリのモデルを選択し、選択結果26を出力する。

0085

実施例3.図3は、請求項3及び請求項4記載の発明に係わるパタン表現モデル学習装置及びパタン認識装置の一実施例を示す構成図である。

0086

図3において、1は学習用パタンであり、各カテゴリの音声を音響分析して得られる音響特徴ベクトルの時系列である。2は各カテゴリ毎にHMMの初期モデルを設定する初期モデル設定手段、3は初期モデル設定手段2によって設定された各カテゴリの初期モデル、4は入力された学習用パタンに応じて学習するカテゴリを選択する学習用カテゴリ選択手段、6は学習用カテゴリ選択手段4によって選択された学習カテゴリのパタン表現モデルのパラメータを制御するパラメータ制御手段、7はパラメータ制御手段によって得られた学習結果モデル(図3には示されず、後述する図6に示されている。)、8は発声内容が未知の音声を音響分析して得られる音響特徴ベクトルの時系列である、認識パタン、9は認識パタン8のカテゴリを決定する認識用カテゴリ選択手段、10は認識結果、11は小カテゴリ群登録手段、12は小カテゴリ群が登録されている小カテゴリ群帳、13は学習用小カテゴリ群を選択する学習用小カテゴリ群選択手段、14は学習用小カテゴリ群の選択結果、15は学習途中の小カテゴリ群別学習途中モデル、16は学習が完了した小カテゴリ群別学習結果モデル、17は認識用の小カテゴリ群を選択する認識用小カテゴリ群選択手段、18は認識用小カテゴリ群の選択結果、27は各カテゴリ間の認識混同情報を生成する混同情報生成手段、28は学習用パタン1の出力場所切り換えるスイッチである。

0087

ここで小カテゴリ群別学習途中モデル15及び小カテゴリ群別学習結果モデル16は、各小カテゴリ群毎に別々に用意する。すなわち、複数の小カテゴリ群に属するカテゴリは、そのカテゴリが所属する小カテゴリ毎に別々のパタン表現モデルを設定する。

0088

本実施例においても、パタン表現モデルとして、出力確率分布が多次元正規分布の混合分布で表現された連続型のHMMを用いるものとする。また学習や認識の対象となるカテゴリの単位は単語であるとする。

0089

まずパタン表現モデル学習装置の動作について説明する。

0090

学習手続きに先立ち、初期モデル設定手段2によって、各カテゴリの初期モデル3は既に設定されているものとする。本例では初期モデル3は最尤推定法により設定されているものとする。

0091

また小カテゴリ群別学習途中モデル15の初期値としては、実施例1と同様に初期モデル3の値を各小カテゴリ群で共通に設定することとする。

0092

また学習用パタン1は、学習対象となるカテゴリの各々に対して一個以上用意されているものとする。

0093

まずパタン表現モデルの学習時の動作について説明する。

0094

パタン表現モデルの学習は、(1)小カテゴリ群登録、(2)各小カテゴリ群内のパタン表現モデルの学習、の2つの手続きによって行う。

0095

(1)小カテゴリ群登録
切り換えスイッチ28を端子Aに接続し、学習用パタン1が混同情報生成手段27に入力されるようにする。混同情報生成手段27では、学習対象となっている各カテゴリの初期モデル3を用いて、前記学習用パタン1に対する音声認識を行い、カテゴリ間の混同情報を生成する。

0096

例えば、学習用音響的特徴系列が属するカテゴリがAであり、認識結果がカテゴリBであったとすると、カテゴリAのカテゴリBへの認識混同情報として保持しておく。

0097

他の全ての学習用パタンに対しても、上記と同様に各カテゴリの初期モデルとの類似度を計算し、認識誤りの情報を保持しておく。全ての学習用パタンに対する上記処理の終了後の混同情報を表1に示す。表1からカテゴリAの学習用音響的特徴系列を入力した場合には、カテゴリB,D,Eと誤って認識される場合があることがわかる。

0098

ID=000003HE=100 WI=106 LX=0520 LY=1450
小カテゴリ群登録手段11では、混同情報生成手段27によって生成された、混同情報に基づいて小カテゴリ群を設定し、小カテゴリ群帳12に登録する。

0099

本実施例では、各カテゴリにおいて、当該カテゴリの学習用音響的特徴系列を入力した場合に、認識結果として出力されたカテゴリ及び当該カテゴリの和集合を一つの小カテゴリ群とする。すなわち表1において、入力カテゴリがAである場合の混同情報の結果から、構成要素がカテゴリA,B,D,Eある小カテゴリ群を小カテゴリ群帳12に登録する。同様に入力カテゴリがBである場合の混同情報の結果から、構成要素がカテゴリB,F,Gである小カテゴリ群を小カテゴリ群帳11に登録する。

0100

同様に入力カテゴリがC,D,E,……,Jの場合に対しても小カテゴリ群を構成し、小カテゴリ群帳12に登録する。

0101

以上で小カテゴリ群登録の手続きを終了する。

0102

(2)各小カテゴリ群内のパタン表現モデルの学習
切り換えスイッチ28を端子Bに接続し、学習用パタン1が学習用小カテゴリ群選択手段13に入力されるようにする。

0103

学習は以下のように行う。

0104

(学習手順1)学習対象となる前記複数の単語カテゴリのいずれかに属する、1個の学習用パタン1が、学習用小カテゴリ群選択択手段13に入力されると、学習用小カテゴリ群選択択手段13では、初期モデル3を用いて、小カテゴリ群帳12に登録された小カテゴリ群のうち、学習パタン1の属するカテゴリを含み、この学習用パタン1に最も適合した小カテゴリ群を選択し、小カテゴリ群選択結果14を出力する。学習用小カテゴリ群の選択は図4に示すように行う。

0105

すなわち、
(選択手順1)小カテゴリ群帳12に登録された小カテゴリ群のうち、学習用パタン1が属するカテゴリを含む小カテゴリ群全てを選択対象とする。

0106

(選択手順2)選択対象となっている小カテゴリ群に含まれるカテゴリのうち、学習用パタン1が属するカテゴリを除く全てのカテゴリの初期モデル3と学習用パタン1との類似度を求め、各カテゴリに対して類似度の高いものから順に類似度の順位を1位、2位、……と付与する。

0107

(選択手順3)類似度の順位を指定する変数nを、n=1とする。

0108

(選択手順4)選択対象となっている小カテゴリ群のなかから、類似度の順位がn位のカテゴリを含む小カテゴリ群を選択する。

0109

(選択手順5A) 選択手順4で選択された小カテゴリ群が1個の場合、その選択された小カテゴリ群を選択結果14として出力する。

0110

(選択手順5B) 選択手順4で選択された小カテゴリ群が0個の場合、類似度の順位を示す変数nを、n=n+1として選択手順4に戻る。

0111

(選択手順5C) 選択手順4で選択された小カテゴリ群が2個以上の場合は、選択対象とする小カテゴリ群を選択手順4で選択された小カテゴリ群のみに限定し、また類似度の順位を示す変数nを、n=n+1として選択手順4に戻る。

0112

(学習手順2)学習用カテゴリ選択手段4は、前記学習パタン1が属するカテゴリを自カテゴリとして選択する。

0113

また学習用小カテゴリ群選択手段13によって選択された小カテゴリ群に属する小カテゴリ群別学習途中モデル15を用いて、前記学習パタン1に対して、前記学習パタン1が属するカテゴリ以外のモデルからの生起確率を求め、前記生起確率が最大となるもののカテゴリを最近傍他カテゴリとして選択する。

0114

(学習手順3)パラメータ制御手段6では、小カテゴリ群別学習途中モデル15において、学習用小カテゴリ群選択手段13によ選択された小カテゴリ群に属し、かつ学習用カテゴリ選択手段4によって選択された自カテゴリのモデル、及び最近傍他カテゴリのモデルに対して、この学習用パタン1が生起する確率が自カテゴリモデルでは高く、最近傍他カテゴリモデルでは低くなるようにモデルのパラメータを再推定する。

0115

このパラメータ再推定は実施例1と同様の方法で行う。

0116

パラメータの再推定は、学習用小カテゴリ選択手段13によって選択された小テゴリ対以外の小カテゴリ群に属するモデルに対しては行わない。

0117

(学習手順4)再推定されたモデルを、対応する小カテゴリ群別学習途中モデル15と置き換える。

0118

(学習手順5)すべての学習パタンの各々に対して、上記の学習手順1から4を行う。

0119

(学習手順6)上記の学習手順1から5までの処理を必要回数行った後、得られたモデルを小カテゴリ群別学習結果モデル16として出力する。

0120

次に認識の動作について説明する。

0121

認識パタン8が入力されると、認識用小カテゴリ選択択手段17では、初期モデル3を用いて、小カテゴリ群帳12に登録された小カテゴリ群のうち、認識パタン8に最も適合した小カテゴリ群を選択し、小カテゴリ群選択結果14を出力する。この小カテゴリ群の選択は図5に示すように行う。

0122

すなわち、
(選択手順1)小カテゴリ群帳11に登録されている小カテゴリ群全てを選択対象とする。

0123

(選択手順2)選択対象となっている小カテゴリ群に含まれる全てのカテゴリの初期モデルと認識用パタン8との類似度を求め、各カテゴリに対して類似度の高いものから順に類似度の順位を1位、2位、……と付与しておく。

0124

(選択手順3)類似度の順位を指定す変数nを、n=1とする。

0125

(選択手順4)選択対象となっている小カテゴリ群のなかから、類似度の順位がn位のカテゴリを含む小カテゴリ群を選択する。

0126

(選択手順5A) 選択手段4で選択された小カテゴリ群が1個の場合、その選択された小カテゴリ群を選択結果15として出力する。

0127

(選択手順5B) 選択手順4で選択された小カテゴリ群が0個の場合、類似度の順位を示す変数nを、n=n+1として選択手順4に戻る。

0128

(選択手順5C) 選択手順4で選択された小カテゴリ群が2個以上の場合は、選択対象とする小カテゴリ群を選択手順4で選択された小カテゴリ群のみに限定し、また類似度の順位を示す変数nを、n=n+1として選択手順4に戻る。

0129

認識用カテゴリ選択手段9では、前記認識用小カテゴリ群選択手段17によって選択された小カテゴリ群を構成するカテゴリに対して、小カテゴリ群別学習結果モデル16を用いて、前記認識パタン8との生起確率を求め、これらのモデルのうち生起確率が最大となるカテゴリのモデルを選択し、認識結果10を出力する。

0130

上記実施例1、2、3においては、学習の対象を音声としたが、画像など他の対象に対して用いてもよい。また、小カテゴリ群選択及びカテゴリ選択に用いるモデルとして連続モデルを用い、パラメータ制御方式として最適識別学習を用いてモデルの確率分布平均ベクトルを再推定したが、カテゴリを代表する平均ベクトルをモデルとして用い、LVQ(Learning Vector Quantizatin)をパラメータ制御方式として用いる等、他のモデル、他の制御方式でもよい。

0131

また、例えば、小カテゴリ群選択及びカテゴリ選択に用いるモデルとして、音声の音響的特徴量ベクトル量子化して扱う離散分布モデルを用いてもよく、パラメータ再推定には遷移確率と、音声の音響的特徴量をベクトル量子化したコードラベル出力確率を再推定すればよい。この場合のパラメータ制御方式すなわち再推定方式としては、例えばcorrective training を用いればよい。

発明の効果

0132

以上のように、請求項1または請求項3記載の発明に係るパタン表現モデル学習装置では、類似するカテゴリ同士をまとめ、所定数の学習小カテゴリ群として分類し、この所定数の学習小カテゴリ群の中から、各学習パタン毎に、その学習パタンに最も類似する小カテゴリ群を、学習小カテゴリ群選択手段により、1個選択する。この選択された1個の小カテゴリ群の内部でのみ、パラメータの再推定をパラメータ制御手段により行う。この小カテゴリ群内のカテゴリ数は少ないので、再推定を繰り返すことにより選択された小カテゴリ群内におけるカテゴリ間の識別性能を向上させることができる。また、前記パラメータ制御手段は、前記選択された小カテゴリ群以外の小カテゴリ群には全く影響を及ぼさないため、前記選択された小カテゴリ群の内部のカテゴリの識別性能は高められ、かつ前記選択された小カテゴリ群以外のカテゴリの識別性能には影響を与えることがない。その結果、識別性能の高いパタン表現モデル学習装置を実現することを可能とする。

0133

また、請求項2または請求項4記載の発明に係わるパタン認識装置では、類似するカテゴリ同士をクラス分けすることによって、所定数の認識小カテゴリ群として分類し、未知の認識用パタンに対して、この所定数の認識小カテゴリ群の中から、最も類似する認識小カテゴリ群を選択し、この認識小カテゴリ群に含まれるカテゴリのモデルに対してのみ、前記未知の認識パタンとの類似度を計算する。認識小カテゴリ群内の各カテゴリのモデルは本発明に係わるパラメータ制御手段によって識別性能が高められており、その結果、認識性能の高いパタン認識装置を実現することができる。

図面の簡単な説明

0134

図1請求項1及び請求項2記載発明の一実施例に係るパタン表現モデル学習装置及びパタン認識装置の構成を示す構成図である。
図2請求項1及び請求項2記載発明の他の実施例に係るパタン表現モデル学習装置及びパタン認識装置の構成を示す構成図である。
図3請求項3及び請求項4記載発明の一実施例に係るパタン表現モデル学習装置及びパタン認識装置の構成を示す構成図である。
図4請求項3記載発明の一実施例に係るパタン表現モデル学習装置における学習用小カテゴリ群選択手段の動作を示すフローチャートである。
図5請求項4記載発明の一実施例に係るパタン認識装置における認識用小カテゴリ群選択手段の動作を示すフローチャートである。
図6従来例に係るパタン表現モデル学習装置を示す構成図である。

--

0135

1学習用パタン、2初期モデル設定手段、3 初期モデル、4 学習用カテゴリ選択手段、5 学習用カテゴリ選択手段の選択結果、6パラメータ制御手段、7学習結果モデル、8 認識パタン、9 認識用カテゴリ選択手段、10 認識結果、11小カテゴリ群登録手段、12 小カテゴリ群帳、13 学習用小カテゴリ選択手段、14 学習用小カテゴリ群選択結果、15 小カテゴリ群別学習途中モデル、16 小カテゴリ群別学習結果モデル、17 認識用小カテゴリ群選択手段、18 認識用小カテゴリ群選択結果、19カテゴリ対登録手段、20 カテゴリ対帳、21 学習用カテゴリ対選択手段、22 学習用カテゴリ対選択手段の選択結果、23 カテゴリ対別学習途中モデル、24 カテゴリ対別学習結果モデル、25 認識用カテゴリ対選択手段、26 認識用カテゴリ対選択手段の選択結果、27混同情報生成手段、28切り換えスイッチ。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

該当するデータがありません

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

該当するデータがありません

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ