図面 (/)

技術 モデル学習装置、形態素解析装置、及びプログラム

出願人 日本電信電話株式会社
発明者 斉藤いつみ貞光九月浅野久子松尾義博
出願日 2013年10月30日 (4年1ヶ月経過) 出願番号 2013-225853
公開日 2015年5月7日 (2年7ヶ月経過) 公開番号 2015-087952
状態 特許登録済
技術分野 機械翻訳 学習型計算機
主要キーワード 対応コスト 変換確率 小文字化 フィルタモデル シームレス化 コスト設定 正書法 識別学習

この技術の活用可能性のある市場・分野

関連する未来課題
重要な関連分野

この技術に関連する成長市場

関連メディア astavision

  • がん医療

    国立がん研究センターの統計予測は、2015年の国内全がん罹患者数を982,100人、同死亡数を370…

  • 生体情報デバイス・バイオセンサ

    「音楽を学習した人工知能は、人間を感動させることができるか?」をテーマに、クラブイベント「2045」…

  • IoT/M2M (InternetOfThings / MachinetoMachine)

    「Software-Defined Car(ソフトウェアで定義されるクルマ)」。そう呼ばれる米国Te…

後で読みたい技術情報を見つけたら、ブックマークしておきましょう!

ページの右上にあるブックマークボタンからこのページをブックマークできます。
あなたがブックマークした技術情報は、いつでもマイページのリストから閲覧することが出来ます。

この項目の情報は公開日時点(2015年5月7日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

揺らいだ表記である崩れ語を含む文字列に対しても形態素解析精度よく行うことができる。

解決手段

フレーズアライメント部31により、入力された正規化された表現である正規語と、正規語に対して揺らいだ表記である崩れ語との複数のペアに基づいて、複数のペアの各々について、正規語を文字列の区切り位置で区切った部分文字列である正規フレーズの各々と、崩れ語を文字列の区切り位置で区切った部分文字列である崩れフレーズの各々との最適対応関係を、動的計画法に従って求め、変換確率算出部32により、正規語と崩れ語とのペアの各々についての対応関係に基づいて、正規フレーズ及び崩れフレーズの各ペアについて、正規フレーズが崩れフレーズに変換される変換確率を算出する。

背景

従来の日本語形態素解析器は、図24に示すように、形態素連接確率(コスト)と生起確率(コスト)を用いて、入力文分かち書き単語分割)と品詞付与を同時に行っている(総コスト最小の組み合わせを選択する。)。

また、異なる文字種間での文字変換対応関係や、漢字−読みの対応関係を推定する際に用いられる手法として、トランスリタレーションという手法がある。トランスリタレーションとは、図25に示す様に、2つの文字列間の対応関係を求める手法であり、例えば、動的計画法を用いて、各文字の対応を推定する等、様々な拡張手法が提案されている(非特許文献1)。

また、従来、崩れ表記に対応するために、図26に示す様な、人手で文字列の変換ルール作成し、形態素解析に組み込むことで対応している。ここで「崩れた表記」とは、図27に示すように、口語超やweb特有書き言葉など、新聞などの正書法では現れない表記を指す。具体的には、小文字化(あ→ぁ、い→ぃ)、長音化(あ→−、う→−)など、特徴的なパターンに関して人手整備を行い、形態素解析において、入力文の書き換え辞書引き拡張を行う(非特許文献2、非特許文献3)。

辞書引きの拡張とは、入力文字列が別の文字列に変化した場合も考慮して辞書引きを行うことである。例えば、「軽−く」という入力文に対し、通常は「軽く」という形容詞は文字列が一致しないので列挙されないが、”「−」を削除”というルールを考慮した場合、「軽−く」と「軽く」という両方の文字列を辞書引きして一つラティスにする。この場合は、「軽く」という形態素も列挙されるため、図28のようなラティスが生成される。ここで、ラティスとは、入力文字列に対し、辞書引きを行った結果入力文字列に「マッチした形態素集合グラフ構造にしたもの」である。図29に例を示す。

概要

揺らいだ表記である崩れ語を含む文字列に対しても形態素解析を精度よく行うことができる。フレーズアライメント部31により、入力された正規化された表現である正規語と、正規語に対して揺らいだ表記である崩れ語との複数のペアに基づいて、複数のペアの各々について、正規語を文字列の区切り位置で区切った部分文字列である正規フレーズの各々と、崩れ語を文字列の区切り位置で区切った部分文字列である崩れフレーズの各々との最適な対応関係を、動的計画法に従って求め、変換確率算出部32により、正規語と崩れ語とのペアの各々についての対応関係に基づいて、正規フレーズ及び崩れフレーズの各ペアについて、正規フレーズが崩れフレーズに変換される変換確率を算出する。

目的

本発明では、上記問題点を解決するために成されたものであり、揺らいだ表記である崩れ語を含む文字列に対しても形態素解析を精度よく行うことができる形態素解析装置、及びプログラムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

入力された正規化された表現である正規語と、前記正規語に対して揺らいだ表記である崩れ語との複数のペアに基づいて、前記複数のペアの各々について、前記正規語を文字列の区切り位置で区切った部分文字列である正規フレーズの各々と、前記崩れ語を文字列の区切り位置で区切った部分文字列である崩れフレーズの各々との最適対応関係を、動的計画法に従って求めるフレーズアライメント部と、前記フレーズアライメント部により求められた前記複数のペアの各々についての前記対応関係に基づいて、前記正規フレーズ及び前記崩れフレーズの各ペアについて、前記正規フレーズが前記崩れフレーズに変換される変換確率算出する変換確率算出部と、を含む、モデル学習装置

請求項2

記入力された前記複数のペアに基づいて、前記正規フレーズ及び前記崩れフレーズの各ペアについて前記変換確率を格納した変換確率テーブルを初期化する初期設定部と、予め定められた反復終了条件が満たされるまで、前記フレーズアライメント部による処理及び前記変換確率算出部による算出を繰り返し、前記変換確率テーブルを正規崩れフレーズモデルとして出力する反復判定部とを更に含み、前記フレーズアライメント部は、前記変換確率テーブルに基づいて、前記複数のペアの各々についての最適な対応関係を、動的計画法に従って求め、前記変換確率算出部は、前記正規フレーズ及び前記崩れフレーズの各ペアについて、前記変換確率を算出し、前記変換確率テーブルを更新する請求項1記載のモデル学習装置。

請求項3

入力された複数のコーパスに基づいて、n個の文字からなる文字n−gram及びn個の単語からなる単語表層n−gramの少なくとも一方の各々について、統計量を算出する統計量算出部と、入力された正規化された表現である正規語と前記正規語に対して揺らいだ表記である崩れ語との複数のペア、及び前記崩れ語を文字列の区切り位置で区切った部分文字列である崩れフレーズを、前記正規語を文字列の区切り位置で区切った部分文字列である正規フレーズに変換するための予め求められた正規崩れフレーズモデルに基づいて、前記複数のペアの各々について、前記ペアの前記崩れ語に含まれる前記崩れフレーズを前記正規フレーズに変換し、前記変換された正規フレーズと前記ペアの前記正規語との比較結果に基づいて、前記崩れフレーズに対応する文字n−gram及び単語表層n−gramの少なくとも一方について算出された統計量と、前記正規フレーズに対応する文字n−gram及び単語表層n−gramの少なくとも一方について算出された統計量とを含む、正例データ及び負例データの何れか一方である学習データを生成するデータ生成部と、前記データ生成部によって前記複数のペアの各々について生成された学習データに基づいて、前記崩れフレーズを前記正規フレーズへ変換することの尤もらしさを判断するためのフレーズフィルタモデルを学習する学習部と、を含む、モデル学習装置。

請求項4

正規化された表現である正規語を文字列の区切り位置で区切った部分文字列である正規フレーズを、前記正規語に対して揺らいだ表記である崩れ語を文字列の区切り位置で区切った部分文字列である崩れフレーズに変換するための予め求められた正規崩れフレーズモデルに基づいて、入力された文字列について、前記崩れフレーズに一致する部分文字列を、対応する前記正規フレーズに置き換えた文字列を解析候補として生成する解析候補生成部と、前記入力された文字列及び前記解析候補生成部によって生成された前記解析候補の文字列の各々に対して辞書引きを行い、品詞付与された各部分文字列に対応するノード及び連結される部分文字列に対応するノードを結んだエッジからなるグラフ構造であるラティスを生成するラティス生成部と、前記ラティス生成部において生成されたラティスに基づいて、動的計画法に従って、前記ノードを結んだ最適な経路を選択し、解析結果として出力する選択部と、を含む、形態素解析装置

請求項5

正規化された表現である正規語を文字列の区切り位置で区切った部分文字列である正規フレーズを、前記正規語に対して揺らいだ表記である崩れ語を文字列の区切り位置で区切った部分文字列である崩れフレーズに変換するための予め求められた正規崩れフレーズモデルに基づいて、入力された文字列について、前記崩れフレーズに一致する部分文字列を、対応する前記正規フレーズに置き換えた文字列を解析候補として生成する解析候補生成部と、前記解析候補生成部によって生成された前記解析候補の各々について、前記崩れフレーズを前記正規フレーズへ変換することの尤もらしさを判断するための予め求められたフレーズフィルタモデルに基づいて、前記解析候補の尤もらしさを算出する算出部と、前記解析候補生成部によって生成された前記解析候補から、前記算出部によって算出された前記解析候補の尤もらしさと、予め定められた閾値とに基づいて、尤もらしい前記解析候補を抽出する解析候補抽出部と、前記入力された文字列及び前記解析候補抽出部によって抽出された前記解析候補の文字列の各々に対して辞書引きを行い、品詞が付与された各部分文字列に対応するノード及び連結される部分文字列に対応するノードを結んだエッジからなるグラフ構造であるラティスを生成するラティス生成部と、前記ラティス生成部において生成されたラティスに基づいて、動的計画法に従って、前記ノードを結んだ最適な経路を選択し、解析結果として出力する選択部と、を含む、形態素解析装置。

請求項6

コンピュータを、請求項1記載のモデル学習装置を構成する各部として機能させるためのプログラム

請求項7

コンピュータを、請求項3記載のモデル学習装置を構成する各部として機能させるためのプログラム。

請求項8

コンピュータを、請求項4又は5記載の形態素解析装置を構成する各部として機能させるためのプログラム。

技術分野

0001

本発明は、モデル学習装置形態素解析装置、及びプログラム係り、特に、口語調などの正書法では現れない表記である崩れた表記を頑健に解析するためのモデル学習装置、形態素解析装置、及びプログラムに関する。

背景技術

0002

従来の日本語形態素解析器は、図24に示すように、形態素連接確率(コスト)と生起確率(コスト)を用いて、入力文分かち書き単語分割)と品詞付与を同時に行っている(総コスト最小の組み合わせを選択する。)。

0003

また、異なる文字種間での文字変換対応関係や、漢字−読みの対応関係を推定する際に用いられる手法として、トランスリタレーションという手法がある。トランスリタレーションとは、図25に示す様に、2つの文字列間の対応関係を求める手法であり、例えば、動的計画法を用いて、各文字の対応を推定する等、様々な拡張手法が提案されている(非特許文献1)。

0004

また、従来、崩れた表記に対応するために、図26に示す様な、人手で文字列の変換ルール作成し、形態素解析に組み込むことで対応している。ここで「崩れた表記」とは、図27に示すように、口語超やweb特有書き言葉など、新聞などの正書法では現れない表記を指す。具体的には、小文字化(あ→ぁ、い→ぃ)、長音化(あ→−、う→−)など、特徴的なパターンに関して人手整備を行い、形態素解析において、入力文の書き換え辞書引き拡張を行う(非特許文献2、非特許文献3)。

0005

辞書引きの拡張とは、入力文字列が別の文字列に変化した場合も考慮して辞書引きを行うことである。例えば、「軽−く」という入力文に対し、通常は「軽く」という形容詞は文字列が一致しないので列挙されないが、”「−」を削除”というルールを考慮した場合、「軽−く」と「軽く」という両方の文字列を辞書引きして一つラティスにする。この場合は、「軽く」という形態素も列挙されるため、図28のようなラティスが生成される。ここで、ラティスとは、入力文字列に対し、辞書引きを行った結果入力文字列に「マッチした形態素集合グラフ構造にしたもの」である。図29に例を示す。

先行技術

0006

邦子、原章夫、永田昌明、小原永,「音声制御ブラウザVCWeb の英日シームレス化」,(2002),人工知能学会論文誌,pp.343-347
勝木健太、笹野遼平、河原大輔、黒橋禎夫,「web上の多彩な言語バリエーションに対応した頑健な形態素解析」,(2011),言語処理学会,第17回年次大会発表論文集
岡照晃、小守、小木曽智信、本裕治,「表記のバリエーションを考慮した近代日本語の形態素解析」,(2013),第27回人工知能学会発表論文集

発明が解決しようとする課題

0007

従来の日本語形態素解析器においては、辞書引きをベースとして解析を行うため、辞書存在しない語が出現した場合に解析失敗を起こす確率が高いという点が問題となる。

0008

また、上記の従来の崩れた表記に対応する手法においては、崩れパターンが多岐にわたるため、人手整備では網羅しきれず、再現率が低いという問題がある。また、崩れ確率は現象によって異なるものであるが、従来の手法においては、全ての崩れパターンに対して、同一のコストが与えられているという問題がある。

0009

本発明では、上記問題点を解決するために成されたものであり、揺らいだ表記である崩れ語を含む文字列に対しても形態素解析を精度よく行うことができる形態素解析装置、及びプログラムを提供することを目的とする。

0010

また、揺らいだ表記である崩れ語を含む文字列に対しても形態素解析を精度よく行うことができるモデルを学習することができるモデル学習装置、及びプログラムを提供することができる。

課題を解決するための手段

0011

上記目的を達成するために、第1の発明に係るモデル学習装置は、入力された正規化された表現である正規語と、前記正規語に対して揺らいだ表記である崩れ語との複数のペアに基づいて、前記複数のペアの各々について、前記正規語を文字列の区切り位置で区切った部分文字列である正規フレーズの各々と、前記崩れ語を文字列の区切り位置で区切った部分文字列である崩れフレーズの各々との最適な対応関係を、動的計画法に従って求めるフレーズアライメント部と、前記フレーズアライメント部により求められた前記複数のペアの各々についての前記対応関係に基づいて、前記正規フレーズ及び前記崩れフレーズの各ペアについて、前記正規フレーズが前記崩れフレーズに変換される変換確率算出する変換確率算出部と、を含んで構成されている。

0012

また、第1の発明に係るモデル学習装置において、前記入力された前記複数のペアに基づいて、前記正規フレーズ及び前記崩れフレーズの各ペアについて前記変換確率を格納した変換確率テーブルを初期化する初期設定部と、予め定められた反復終了条件が満たされるまで、前記フレーズアライメント部による処理及び前記変換確率算出部による算出を繰り返し、前記変換確率テーブルを正規崩れフレーズモデルとして出力する反復判定部とを更に含み、前記フレーズアライメント部は、前記変換確率テーブルに基づいて、前記複数のペアの各々についての最適な対応関係を、動的計画法に従って求め、前記変換確率算出部は、前記正規フレーズ及び前記崩れフレーズの各ペアについて、前記変換確率を算出し、前記変換確率テーブルを更新してもよい。

0013

第2の発明に係るモデル学習装置は、入力された複数のコーパスに基づいて、n個の文字からなる文字n−gram及びn個の単語からなる単語表層n−gramの少なくとも一方の各々について、統計量を算出する統計量算出部と、入力された正規化された表現である正規語と前記正規語に対して揺らいだ表記である崩れ語との複数のペア、及び前記崩れ語を文字列の区切り位置で区切った部分文字列である崩れフレーズを、前記正規語を文字列の区切り位置で区切った部分文字列である正規フレーズに変換するための予め求められた正規崩れフレーズモデルに基づいて、前記複数のペアの各々について、前記ペアの前記崩れ語に含まれる前記崩れフレーズを前記正規フレーズに変換し、前記変換された正規フレーズと前記ペアの前記正規語との比較結果に基づいて、前記崩れフレーズに対応する文字n−gram及び単語表層n−gramの少なくとも一方について算出された統計量と、前記正規フレーズに対応する文字n−gram及び単語表層n−gramの少なくとも一方について算出された統計量とを含む、正例データ及び負例データの何れか一方である学習データを生成するデータ生成部と、前記データ生成部によって前記複数のペアの各々について生成された学習データに基づいて、前記崩れフレーズを前記正規フレーズへ変換することの尤もらしさを判断するためのフレーズフィルタモデルを学習する学習部と、を含んで構成されている。

0014

第3の発明に係る形態素解析装置は、正規化された表現である正規語を文字列の区切り位置で区切った部分文字列である正規フレーズを、前記正規語に対して揺らいだ表記である崩れ語を文字列の区切り位置で区切った部分文字列である崩れフレーズに変換するための予め求められた正規崩れフレーズモデルに基づいて、入力された文字列について、前記崩れフレーズに一致する部分文字列を、対応する前記正規フレーズに置き換えた文字列を解析候補として生成する解析候補生成部と、前記入力された文字列及び前記解析候補生成部によって生成された前記解析候補の文字列の各々に対して辞書引きを行い、品詞付与された各部分文字列に対応するノード及び連結される部分文字列に対応するノードを結んだエッジからなるグラフ構造であるラティスを生成するラティス生成部と、前記ラティス生成部において生成されたラティスに基づいて、動的計画法に従って、前記ノードを結んだ最適な経路を選択し、解析結果として出力する選択部と、を含んで構成されている。

0015

第4の発明に係る形態素解析装置は、正規化された表現である正規語を文字列の区切り位置で区切った部分文字列である正規フレーズを、前記正規語に対して揺らいだ表記である崩れ語を文字列の区切り位置で区切った部分文字列である崩れフレーズに変換するための予め求められた正規崩れフレーズモデルに基づいて、入力された文字列について、前記崩れフレーズに一致する部分文字列を、対応する前記正規フレーズに置き換えた文字列を解析候補として生成する解析候補生成部と、前記解析候補生成部によって生成された前記解析候補の各々について、前記崩れフレーズを前記正規フレーズへ変換することの尤もらしさを判断するための予め求められたフレーズフィルタモデルに基づいて、前記解析候補の尤もらしさを算出する算出部と、前記解析候補生成部によって生成された前記解析候補から、前記算出部によって算出された前記解析候補の尤もらしさと、予め定められた閾値とに基づいて、尤もらしい前記解析候補を抽出する解析候補抽出部と、前記入力された文字列及び前記解析候補抽出部によって抽出された前記解析候補の文字列の各々に対して辞書引きを行い、品詞が付与された各部分文字列に対応するノード及び連結される部分文字列に対応するノードを結んだエッジからなるグラフ構造であるラティスを生成するラティス生成部と、前記ラティス生成部において生成されたラティスに基づいて、動的計画法に従って、前記ノードを結んだ最適な経路を選択し、解析結果として出力する選択部と、を含んで構成されている。

0016

また、本発明のプログラムは、コンピュータを、上記のモデル学習装置及び形態素解析装置を構成する各部として機能させるためのプログラムである。

0017

以上説明したように、本発明の形態素解析装置、及びプログラムによれば、揺らいだ表記である崩れ語を含む文字列に対しても、形態素解析を精度よく行うことができることができる。

0018

また、本発明のモデル学習装置、及びプログラムによれば、揺らいだ表記である崩れ語を含む文字列に対しても形態素解析を精度よく行うことができるモデルを学習することができる。

図面の簡単な説明

0019

崩れ語と正規語の例を示す図である。
正規フレーズと崩れフレーズの例を示す図である。
本発明の第1の実施の形態に係るモデル学習装置の機能的構成を示すブロック図である。
正規語崩れ語ペアの例を示す図である。
動的計画法に基づいて最小コストの経路を探索する際に用いられる表の例を示す図である。
コスト関数の例を示す図である。
正規崩れフレーズモデルの例を示す図である。
本発明の第1の実施の形態に係る形態素解析装置の機能的構成を示すブロック図である。
解析候補文を作成する例を示す図である。
ラティスの例を示す図である。
本発明の第1の実施の形態に係るモデル学習装置における正規崩れフレーズモデル学習処理ルーチンを示すフローチャートである。
本発明の第1の実施の形態に係るモデル学習装置におけるフレーズフィルタモデル学習処理ルーチンを示すフローチャートである。
本発明の第1の実施の形態に係る形態素解析装置における形態素解析処理ルーチンを示すフローチャートである。
本発明の第1の実施の形態に係る形態素解析装置を用いた結果の例を示す図である。
本発明の第1の実施の形態に係る形態素解析装置を用いた結果の例を示す図である。
本発明の第2の実施の形態に係るモデル学習装置の機能的構成を示すブロック図である。
本発明の第2の実施の形態に係る形態素解析装置の機能的構成を示すブロック図である。
本発明の第2の実施の形態に係るモデル学習装置におけるフレーズフィルタモデル学習処理ルーチンを示すフローチャートである。
本発明の第2の実施の形態に係る形態素解析装置における形態素解析処理ルーチンを示すフローチャートである。
本発明の第3の実施の形態に係るモデル学習装置の機能的構成を示すブロック図である。
本発明の第3の実施の形態に係る形態素解析装置の機能的構成を示すブロック図である。
本発明の第4の実施の形態に係るモデル学習装置の機能的構成を示すブロック図である。
本発明の第4の実施の形態に係る形態素解析装置の機能的構成を示すブロック図である。
従来の日本語形態素解析器の例を示す図である。
トランスリタレーションの例を示す図である。
人手で文字列の変換ルールを作成した例である。
崩れた表記の例を示す図である。
ラティスの例を示す図である。
マッチした形態素集合をグラフ構造にしたものの例を示す図である。

実施例

0020

以下、図面を参照して本発明の実施の形態を詳細に説明する。

0021

<発明の原理
本実施の形態において、「崩れフレーズ・正規フレーズ」と「崩れ語・正規語」という言葉を用いる。図1に示すように、「崩れ語・正規語」を、崩れモデルを推定する際に、人手アノテーションによって抽出された正規文字列と崩れ文字列の単位定義する。また、図2に示すように、「崩れフレーズ・正規フレーズ」を、崩れ語・正規語のペア(正解データ)を用いて、フレーズアライメントにより抽出した崩れ語・正規語中の部分文字列の単位と定義する。

0022

基本的な解決方針として、下記(1)式に示すように、従来の形態素解析の目的関数に、正規フレーズが崩れフレーズに変換される確率をかけることにより、正規表記の品詞と正しい単語区切りを同時に推定する。

0023

0024

ただし、P(V|W)は、正規語Vが観測語Wに変換される単語変換確率であり、正規フレーズが崩れフレーズに変換される確率と等しい。また、P(T)は、正規表記の品詞の列Tの接続確率であり、P(W|T)が、正規表記の品詞の列Tが与えられたときの観測語Wの正規確率である。

0025

また、単語変換確率を文字列(フレーズ)ごとに分解し、下記(2)式に示すように、フレーズ変換確率の積で単語変換確率を近似し、フレーズ確率をトランスリタレーションモデルで求める。

0026

0027

<第1の実施の形態に係るモデル学習装置の構成>
次に、本発明の第1の実施の形態に係るモデル学習装置の構成について説明する。図3に示すように、本発明の第1の実施の形態に係るモデル学習装置100は、CPUと、RAMと、後述する正規崩れフレーズモデル学習処理ルーチン及びフレーズフィルタモデル学習処理ルーチンを実行するためのプログラムや各種データを記憶したROMと、を含むコンピュータで構成することが出来る。このモデル学習装置100は、機能的には図3に示すように入力部10と、演算部20と、出力部50とを備えている。

0028

入力部10は、図4に示すような、Twitter(登録商標)やブログなど、崩れ表記が含まれる文から、人手で抽出された崩れ語に対し、対応する正規語が付与されたフレーズ推定用の正解データである正規語崩れ語ペアデータ受け付ける。また、入力部10は、web上の複数分野の大量の文書群を受け付け、複数分野のコーパスとする。

0029

演算部20は、初期設定部30と、フレーズアライメント部31と、変換確率算出部32と、反復判定部34と、正規崩れフレーズモデル記憶部36と、統計量算出部42と、モデル学習部44と、フレーズフィルタモデル記憶部46とを含んで構成されている。

0030

初期設定部30は、入力部10において受け付けた正規語崩れ語ペアデータに基づいて、正規フレーズfvと崩れフレーズfwの全てのペアを求め、各ペアについて変換確率P(fw|fv)をランダムに設定し、正規フレーズと崩れフレーズのペアの変換確率を格納した変換確率テーブルを生成しメモリ(図示省略)に記憶する。なお、正規フレーズfvと崩れフレーズfwの各ペアの変換確率P(fw|fv)をヒューリスティックに設定してもよい。

0031

フレーズアライメント部31は、正規語崩れ語ペアデータに含まれるペアの各々について、初期設定部30において生成された又は変換確率算出部32において更新された変換確率テーブルに基づいて、動的計画法により最適な対応関係である最適アライメントを求める。具体的には、動的計画法に基づいて、図5に示すような表を用いて最小コストの経路を探索し、文字間の対応関係を求める。経路の総コストは、経路上における文字列の対応コストの和で表される。コスト関数としては、例えば、図6のような確率値対数をとった値が用いられる。この場合、最小コストの経路が経路1であるとすると、出力アライメントは、(か,か),(な,な),(ぁー,null),(り,り)となる。ただし、(null,x)はxの挿入、(y,null)はyの削除を表す。

0032

変換確率算出部32は、フレーズアライメント部31においてt回目に求められた正規語崩れ語ペアデータに含まれるペアの各々の最適アライメントに基づいて、下記(3)式に従って、t回目の計算におけるP(fw|fv)の期待値Pt(fw|fv)を求め、メモリに記憶する。そして、求められた期待値Pt(fw|fv)の値により変換確率テーブルを更新メモリに記憶する。ただし、N(fw,fv)は、正規語崩れ語ペアデータの最適アライメントにおいて正規フレーズfvが崩れフレーズfwに変換された回数を表す。

0033

0034

反復判定部34は、変換確率算出部32において算出されたPt(fw|fv)に基づく尤度関数と、メモリに記憶されている前回算出されたPt−1(fw|fv)に基づく尤度関数との差分が予め定められた閾値ε(例えばε=0.05)以下か否か判定する。差分が閾値ε以下である場合には、反復終了条件が満たされたと判定し、図7に示すような、現在の変換確率テーブルを、正規崩れフレーズモデルとして記憶部36に記憶すると共に、出力部50に出力する。また、差分が閾値εよりも大きい場合には、反復終了条件が満たされていないと判定し、フレーズアライメント部31の処理と、変換確率算出部32の処理とを繰り返す。なお、尤度関数は、下記(4)式により表される。また、繰り返し回数が上限回数に達したことを反復終了条件としてもよい。

0035

0036

正規崩れフレーズモデル記憶部36には、正規崩れフレーズモデルが記憶されている。

0037

統計量算出部42は、入力部10において受け付けた複数分野のコーパスに基づいて、全ての文字n‐gramについて、文字n‐gram統計量を算出する。例えば、対象文書として「そんなんやってらんねーよ」があった場合、文字2グラム統計量として、P(ん|そ)、P(な|ん)等を算出し、文字3グラム統計量として、P(な|そ,ん)、P(ん|ん,な)等を算出する。なお、形態素解析処理済みの複数分野のコーパスに基づいて、全ての単語表層n‐gramについて、単語表層n‐gram統計量を算出してもよい。

0038

データ生成部43は、入力部10において受け付けた正規語崩れ語ペアデータに含まれるペアの各々について、正規崩れフレーズモデル記憶部36に記憶されている正規崩れフレーズモデルに基づいて、崩れ語の部分文字列のうち、崩れフレーズに該当する部分文字列を、当該崩れフレーズに対応する正規フレーズの部分文字列に変換する。そして、変換後の正規フレーズが当該崩れ語に対応する正規語に含まれるか否か判定し、含まれる場合には当該正規フレーズに対応する文字n‐gram統計量、及び当該崩れフレーズに対応する文字n‐gram統計量を含む学習データを正例データとして生成し、含まれない場合には当該正規フレーズに対応する文字n‐gram統計量及び崩れフレーズに対応する文字n‐gram統計量を含む学習データを、負例データとして生成する。

0039

モデル学習部44は、データ生成部43において生成された正例データ及び負例データからなる学習データに基づいて、サポートベクタマシン等を用いて識別学習を行い、崩れフレーズを正規フレーズへ変換することの尤もらしさを判断するためのフレーズフィルタモデルを学習し、フレーズフィルタモデル記憶部46に記憶すると共に、出力部50に出力する。

0040

フレーズフィルタモデル記憶部46には、モデル学習部44において学習されたフレーズフィルタモデル、及び統計量算出部42により算出された文字n‐gram統計量が記憶されている。

0041

<第1の実施の形態に係る形態素解析装置の構成>
次に、本発明の第1の実施の形態に係る形態素解析装置の構成について説明する。図8に示すように、本発明の第1の実施の形態に係る形態素解析装置200は、CPUと、RAMと、後述する形態素解析処理ルーチンを実行するためのプログラムや各種データを記憶したROMと、を含むコンピュータで構成することが出来る。この形態素解析装置200は、機能的には図8に示すように入力部210と、演算部220と、出力部250とを備えている。

0042

入力部210は、入力文を受け付ける。

0043

演算部220は、解析候補生成部230と、正規崩れフレーズモデル記憶部232と、辞書データベース233と、算出部235と、フレーズフィルタモデル記憶部236と、解析対象抽出部238と、ラティス生成部239と、選択部240とを含んで構成されている。

0044

解析候補生成部230は、正規崩れフレーズモデル記憶部232に記憶されている正規崩れフレーズモデルに基づいて、入力部10において受け付けた入力文から解析候補文を各々生成する。具体的には、入力部210において受け付けた入力文に、正規崩れフレーズモデルに含まれる崩れフレーズに一致する部分文字列がある場合には、部分文字列を当該崩れフレーズに対応する正規フレーズに変換することにより解析候補文を生成する。なお、解析候補文は、入力文に含まれる崩れフレーズのうち1か所のみ変更したものとし、崩れフレーズが複数ある場合には、崩れフレーズ毎に解析候補文が生成される。図9に具体例を示す。また、崩れフレーズに対応する正規フレーズが複数ある場合には、正規フレーズ毎に解析候補文が生成される。

0045

正規崩れフレーズモデル記憶部232には、モデル学習装置100において学習された正規崩れフレーズモデルと同一の正規崩れフレーズモデルが記憶されている。

0046

辞書データベース記憶部233には、形態素解析を行うために必要な辞書(読み、表記、品詞、コスト(生起確率))及び品詞ペアの各々の接続確率が記憶されている。

0047

フレーズフィルタモデル記憶部236には、モデル学習装置100において学習されたフレーズフィルタモデル及び文字n‐gram統計量と同一のフレーズフィルタモデル及び文字n‐gram統計量が記憶されている。

0048

解析対象抽出部238は、解析候補生成部230において生成された解析候補文の各々について、入力文と、フレーズフィルタモデル記憶部236に記憶されているフレーズフィルタモデル及び文字n‐gram統計量とに基づいて、崩れフレーズが正規フレーズへ正しく変換された解析候補文であるか否かを判定し、正しく変換された解析候補文であると判定された場合に、解析対象文として抽出し、正しく変換された解析候補文でないと判定された場合に、当該解析候補文を削除する。

0049

例えば、入力文の崩れフレーズを変換した正規フレーズの文字n‐gram統計量と、入力文の崩れフレーズの文字n‐gram統計量と、フレーズフィルタモデル記憶部236に記憶されているフレーズフィルタモデルとに基づいて、当該崩れフレーズを当該正規フレーズへ変換した変換の尤もらしさを示すスコアを算出し、算出されたスコアが閾値以上であれば、正しく変換された解析対象文であると判定する。

0050

ラティス生成部239は、入力部210において受け付けた入力文と、解析対象抽出部238において抽出された解析対象文の各々とに対して、辞書データベース記憶部233に記憶されている辞書を用いて辞書引きを行い、品詞が付与された各部分文字列に対応するノード及び連結される部分文字列に対応するノードを結んだエッジからなるグラフ構造であるラティスを生成する。作成したラティスの例を図10に示す。

0051

選択部240は、ラティス生成部239において生成したラティスと、正規崩れフレーズモデル記憶部232に記憶されている正規崩れフレーズモデルの変換確率と、辞書データベース記憶部233に記憶されている辞書のコスト及び品詞ペアの接続確率とに基づいて、動的計画法に従って、上記(1)式の目的関数を最大化する、当該ラティスのノードを結んだ最適な経路を選択し、選択された経路が表す正規表記の品詞と単語区切りを、形態素解析結果として出力する。

0052

<第1の実施の形態に係るモデル学習装置の作用>
次に、本発明の第1の実施の形態に係るモデル学習装置100の作用について説明する。入力部10において正規語崩れ語ペアデータを受け付けると、モデル学習装置100は、図11に示す正規崩れフレーズモデル学習処理ルーチンを実行する。

0053

まず、ステップS100では、入力部10において受け付けた正規語崩れ語ペアデータに基づいて、正規フレーズfvと崩れフレーズfwの全てのペアを求め、各ペアについて変換確率P(fw|fv)をランダムに設定し、各ペアの変換確率を格納した変換確率テーブルを生成し、メモリに記憶する。

0054

次に、ステップS104では、正規語崩れ語ペアデータに含まれるペアの各々について、ステップS100において生成した、又はステップS106において前回更新した変換確率テーブルに基づいて、動的計画法に従って、文字間の対応関係である最適アライメントを求める。

0055

次に、ステップS106では、ステップS104において正規語崩れ語ペアデータに含まれるペアの各々の最適アライメントに基づいて、P(fw|fv)の期待値Pt(fw|fv)を求め、メモリに記憶し、求められた期待値Pt(fw|fv)の値により変換確率テーブルを更新する。

0056

次に、ステップS108では、ステップS106において取得した正規フレーズと崩れフレーズペアの各々のP(fw|fv)の期待値Pt(fw|fv)に基づいて、上記(4)式に従って、尤度関数を算出する。

0057

次に、ステップS110では、ステップS108において取得した尤度関数の値と、前回のステップS108において取得した尤度関数の値の差分が、予め定められた閾値ε以下か否かを判定する。差分が閾値ε以下である場合には反復終了条件が満たされたと判定し、ステップS110へ移行し、差分が閾値εよりも大きい場合には反復終了条件が満たされていないと判定し、ステップS104へ移行し、ステップS104〜ステップS110の処理を繰り返す。

0058

次に、ステップS112では、ステップS106において最終的に更新された変換確率テーブルを、正規崩れフレーズモデルとして正規崩れフレーズモデル記憶部36に記憶する。

0059

次に、ステップS114では、ステップS112において取得した正規崩れフレーズモデルを出力部50により出力して、処理を終了する。

0060

次に、本発明の第1の実施の形態に係るモデル学習装置100の作用について説明する。入力部10において正規語崩れ語ペアデータ及び複数分野のコーパスを受け付けると、モデル学習装置100は、図12に示すフレーズフィルタモデル学習処理ルーチンを実行する。

0061

まず、ステップS201では、正規崩れフレーズモデル記憶部36に記憶されている正規崩れフレーズモデルを読み込む。

0062

次に、ステップS203では、入力部10において受け付けた複数分野のコーパスに基づいて、全ての文字n‐gramについて、文字n‐gram統計量を算出する。

0063

次に、ステップS204では、入力部10において受け付けた正規語崩れ語ペアデータに含まれるペアの各々について、ステップS201において取得した正規崩れフレーズモデルに基づいて、崩れ語の部分文字列のうち、崩れフレーズに該当する部分文字列を、当該崩れフレーズに対応する正規フレーズの部分文字列に変換する。

0064

次に、ステップS205では、入力部10において受け付けた正規語崩れ語ペアデータの処理対象のペアについて、ステップS204において変換した正規フレーズの各々について、処理対象のペアの正規語に含まれるか否か判定し、含まれる場合には、ステップS203において取得した当該正規フレーズと当該崩れフレーズとの各々に対応する文字n‐gram統計量を含む学習データを正例データとして作成し、含まれない場合には、ステップS203において取得した当該正規フレーズと当該崩れフレーズとの各々に対応する文字n‐gram統計量を含む学習データを負例データとして作成する。

0065

ステップ206では、正規語崩れ語ペアデータの全てのペアについて、上記ステップS204、S205の処理を実行したか否かを判定し、上記ステップS204、S205の処理を実行していないペアが存在する場合には、上記ステップS204へ戻り、当該ペアを、処理対象とする。一方、全てのペアについて、上記ステップS204、S205の処理を実行した場合には、ステップS207へ進む。

0066

次に、ステップS207では、ステップS205において取得した正例データ及び負例データからなる学習データに基づいて、サポートベクタマシン等を用いて識別学習を行い、崩れフレーズを正規フレーズへ変換することの尤もらしさを判断するためのフレーズフィルタモデルを学習し、フレーズフィルタモデル記憶部46に記憶する。また、上記ステップS203で算出された文字n‐gram統計量を、フレーズフィルタモデル記憶部46に記憶する。

0067

次に、ステップS208では、ステップS207において学習したフレーズフィルタモデル、及び上記ステップS203で算出された文字n‐gram統計量を出力部50により出力し、フレーズフィルタモデル学習処理ルーチンの処理を終了する。

0068

<第1の実施の形態に係る形態素解析装置の作用>
次に、本発明の第1の実施の形態に係る形態素解析装置200の作用について説明する。まず、モデル学習装置100により出力された正規崩れフレーズモデルが、形態素解析装置200に入力され、正規崩れフレーズモデル記憶部232に記憶される。また、モデル学習装置100により出力されたフレーズフィルタモデル及び文字n‐gram統計量が、形態素解析装置200に入力され、フレーズフィルタモデル記憶部236に記憶される。そして、入力部210において入力文を受け付けると、形態素解析装置200は、図13に示す形態素解析処理ルーチンを実行する。

0069

まず、ステップS300では、正規崩れフレーズモデル記憶部232に記憶されている正規崩れフレーズモデルを読み込む。

0070

次に、ステップS301では、辞書データベース記憶部233に記憶されている辞書を読み込む。

0071

次に、ステップS302では、フレーズフィルタモデル記憶部236に記憶されているフレーズフィルタモデル及び文字n‐gram統計量を読み込む。

0072

次に、ステップS304では、入力部210において受け付けた入力文について、ステップS300において取得した正規崩れフレーズモデルに基づいて、解析候補文の各々を生成する。

0073

次に、ステップS308では、ステップS304において取得した解析候補文の各々について、入力部210において受け付けた入力文と、ステップS302において取得したフレーズフィルタモデル及び文字n‐gram統計量とに基づいて、崩れフレーズが正規フレーズへ正しく変換された解析候補文であるか否かを判定し、正しく変換された解析候補文であると判定された場合に、解析対象文として抽出し、正しく変換された解析候補文でないと判定された場合に、当該解析候補文を削除する。

0074

次に、ステップS310では、ステップS308において抽出された解析対象文の各々と、入力部210において受け付けた入力文とに対して、ステップS301において取得した辞書を用いて辞書引きを行い、品詞が付与された各部分文字列に対応するノード及び連結される部分文字列に対応するノードを結んだエッジからなるグラフ構造であるラティスを生成する。

0075

次に、ステップS312では、ステップS310において取得したラティスと、ステップS300において取得した正規崩れフレーズモデルの変換確率と、ステップS301において取得した辞書のコスト及び品詞ペアの接続確率とに基づいて、動的計画法に従って、上記(1)式の目的関数を最大化する、当該ラティスのノードを結んだ最適な経路を選択する。

0076

次に、ステップS314では、ステップS312において選択された経路が表わす正規表記の品詞と単語区切りを、形態素解析結果として出力部250により出力して形態素解析処理ルーチンを終了する。

0077

上記の形態素解析処理ルーチンを実行することにより、例えば、入力文「そんなんやってらんねーよ」が入力された場合には、図14(B)に示すような、形態素解析結果が出力される。なお、比較例として、従来の形態素解析器を用いた場合の形態素解析結果を、図14(A)に示す。

0078

また、入力文「次の日にはすーぐ生きてーw」が入力された場合御には、図15(B)に示すような、形態素解析結果が出力される。一方、従来の形態素解析器を用いた場合には、図15(A)に示す形態素解析結果となる。

0079

以上説明したように、本発明の第1の実施の形態に係る形態素解析装置によれば、正規崩れフレーズモデル及びフレーズフィルタモデルを用いることにより、揺らいだ表記である崩れ語を含む文字列に対しても、形態素解析を精度よく行うことができることができる。

0080

また、本発明の第1の実施の形態に係るモデル学習装置によれば、揺らいだ表記である崩れ語を含む文字列に対しても形態素解析を精度よく行うことができる正規崩れフレーズモデル及びフレーズフィルタモデルを学習することができる。

0081

また、文字列レベル揺らぎモデルを正解データから自動構築し、形態素解析に組み込むことにより、崩れた表記にも頑健な形態素解析器の枠組みを提供できる。

0082

また、正規表記と崩れ表記の正解ペアデータを用いてトランスリタレーションによるフレーズ変換モデルを導入することにより、ルールとルールごとのコスト設定自動で行うことができる。

0083

また、崩れフレーズであるとして正規フレーズに変換された箇所が、正しく変換された否かを判別するフレーズフィルタモデルを導入することにより、解析対象となる候補を削減することができ、解析時における計算コストを削減することが出来る。

0084

また、トランスリタレーションモデルにより、正規フレーズ及び崩れフレーズのペア対と変換確率とを自動で獲得し、動的計画法との組み合わせにより処理速度と処理精度との向上を図ることができる。

0085

次に、第2の実施の形態について説明する。なお、第1の実施の形態と同様の構成及び作用となる部分については、同一符号を付して説明を省略する。

0086

第2の実施の形態では、文字n‐gram統計量をフレーズフィルタモデルとする点が第1の実施の形態と異なっている。

0087

<第2の実施の形態に係るモデル学習装置の構成>
次に、第2の実施の形態に係るモデル学習装置300の構成について説明する。

0088

本発明の第2の実施の形態に係るモデル学習装置300は、図16に示すように、入力部10と、演算部320と、出力部50とを備えている。

0089

演算部320は、初期設定部30と、フレーズアライメント部31と、変換確率算出部32と、反復判定部34と、正規崩れフレーズモデル記憶部36と、統計量算出部342と、フレーズフィルタモデル記憶部346とを含んで構成されている。

0090

統計量算出部342は、入力部10において受け付けた複数分野のコーパスに基づいて、全ての文字n‐gramについて、文字n−gram統計量を算出し、算出された文字n‐gram統計量の集合をフレーズフィルタモデルとしてフレーズフィルタモデル記憶部346に記憶する。

0091

フレーズフィルタモデル記憶部346には、統計量算出部342において生成されたフレーズフィルタモデルが記憶されている。

0092

<第2の実施の形態に係る形態素解析装置の構成>
次に、第2の実施の形態に係る形態素解析装置400の構成について説明する。

0093

本発明の第2の実施の形態に係る形態素解析装置400は、図17に示すように、入力部210と、演算部420と、出力部50とを備えている。

0094

演算部420は、解析候補生成部230と、正規崩れフレーズモデル記憶部232と、辞書データベース記憶部233と、算出部425と、フレーズフィルタモデル記憶部436と、解析対象抽出部438と、ラティス生成部239と、選択部240とを含んで構成されている。

0095

算出部435は、解析候補生成部230により生成された解析候補文の各々について、入力文と、フレーズフィルタモデル記憶部436に記憶されている文字n‐gram統計量の集合であるフレーズフィルタモデルとに基づいて、入力文中の崩れフレーズに対応する文字n‐gram統計量P(変換前)と、当該解析候補文中の正規フレーズに対応する文字n‐gram統計量P(変換後)を用いて、フレーズ変換の尤もらしさを示す値として、P(変換後)/P(変換前)を算出する。例えば、入力文「やってらんねーよ」と解析候補文「やってらんないよ」が有る場合、入力文中の変換部分変換文字列周辺の文字列とからなる部分文字列に対応する文字n‐gram統計量、P(よ|ん,ね,ー)と、解析候補文中の変換文返還文字列と周辺の文字列とからなる部分文字列に対応する文字n‐gram統計量、P(よ|ん,な,い)を用いて、P(よ|ん,な,い)/P(よ|ん,ね,ー)の値を算出する。

0096

解析対象抽出部438は、解析候補文の各々について、算出部435において当該解析候補文について算出された、フレーズ変換の尤もらしさを示す値が閾値Tよりも大きいか否か判定する。閾値Tよりもフレーズ変換の尤もらしさを示す値が大きい場合、当該解析候補文を解析対象文として抽出し、算出されたフレーズ変換の尤もらしさを示す値が閾値T以下である場合、当該解析候補文を削除する。

0097

<第2の実施の形態に係るモデル学習装置の作用>
次に、本発明の第2の実施の形態に係るモデル学習装置300の作用について説明する。入力部10において複数分野のコーパスを受け付けると、モデル学習装置300は、図18に示すフレーズフィルタモデル学習処理ルーチンを実行する。

0098

ステップS400では、ステップS203において取得した文字n‐gram統計量の集合をフレーズフィルタモデルとしてフレーズフィルタモデル記憶部346に記憶する。

0099

<第2の実施の形態に係る形態素解析装置の作用>
次に、本発明の第2の実施の形態に係る形態素解析装置400の作用について説明する。入力部210において入力文を受け付けると、形態素解析装置400は、図19に示す形態素解析処理ルーチンを実行する。

0100

ステップS500では、入力部210において受け付けた入力文と、ステップS304において取得した解析候補文の各々と、ステップS302において取得したフレーズフィルタモデルとに基づいて、解析候補文の各々について、フレーズ変換の尤もらしさを示す値を算出する。

0101

ステップS502では、ステップS500において算出した、フレーズ変換の尤もらしさを示す値が閾値Tよりも大きい値である解析候補文の各々を、解析対象文として抽出する。

0102

以上説明したように、本発明の第2の実施の形態に係る形態素装置によれば、正規崩れフレーズモデル及び文字n‐gram統計量の集合からなるフレーズフィルタモデルを用いて、揺らいだ表記である崩れ語を含む文字列に対しても、形態素解析を精度よく行うことができることができる。

0103

また、本発明の第2の実施の形態に係るモデル学習装置によれば、揺らいだ表記である崩れ語を含む文字列に対しても形態素解析を精度よく行うことができる正規崩れフレーズモデル及び文字n‐gram統計量の集合からなるフレーズフィルタモデルを学習することができる。

0104

なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

0105

第2の実施の形態においては、フレーズ変換の尤もらしさを示す値を、P(変換後)/P(変換前)として算出し、当該値が閾値Tよりも大きい解析候補文を解析対象文として抽出する場合について説明したがこの限りでない。例えば、P(変換後)−P(変換前)の値が予め定められた閾値以上である解析候補文を解析対象文として抽出しても良い。

0106

次に、第3の実施の形態について説明する。なお、第1の実施の形態と同様の構成及び作用となる部分については、同一符号を付して説明を省略する。

0107

第3の実施の形態では、正規崩れフレーズモデルのみを用いる点が第1の実施の形態と異なっている。

0108

<第3の実施の形態に係るモデル学習装置の構成>
次に、第3の実施の形態に係るモデル学習装置500の構成について説明する。

0109

本発明の第3の実施の形態に係るモデル学習装置500は、図20に示すように、入力部10と、演算部520と、出力部50とを備えている。

0110

演算部520は、初期設定部30と、フレーズアライメント部31と、変換確率算出部32と、反復判定部34と、正規崩れフレーズモデル記憶部36とを含んで構成されている。

0111

<第3の実施の形態に係る形態素解析装置の構成>
次に、第3の実施の形態に係る形態素解析装置600の構成について説明する。

0112

本発明の第3の実施の形態に係る形態素解析装置600は、図21に示すように、入力部10と、演算部620と、出力部50とを備えている。

0113

演算部620は、解析候補生成部230と、正規崩れフレーズモデル記憶部232と、辞書データベース記憶部233と、ラティス生成部639と、選択部240とを含んで構成されている。

0114

ラティス生成部639は、入力部210において受け付けた入力文と、解析候補生成部230において生成した解析候補文の各々とに対して辞書データベース記憶部233に記憶されている辞書を用いて辞書引きを行い、品詞が付与された各部分文字列に対応するノード及び連結される部分文字列に対応するノードを結んだエッジからなるグラフ構造であるラティスを生成する。

0115

以上説明したように、本発明の第3の実施の形態に係る形態素装置によれば、正規崩れフレーズモデルを用いて、揺らいだ表記である崩れ語を含む文字列に対しても、形態素解析を精度よく行うことができることができる。

0116

また、本発明の第3の実施の形態に係るモデル学習装置によれば、揺らいだ表記である崩れ語を含む文字列に対しても形態素解析を精度よく行うことができる正規崩れフレーズモデルを学習することができる。

0117

次に、第4の実施の形態について説明する。なお、第1の実施の形態と同様の構成及び作用となる部分については、同一符号を付して説明を省略する。

0118

第4の実施の形態では、正規崩れフレーズモデルの代わりに、予め人手で作成した正規崩れフレーズルールを用いる点が第1の実施の形態と異なっている。

0119

<第4の実施の形態に係るモデル学習装置の構成>
次に、第4の実施の形態に係るモデル学習装置700の構成について説明する。

0120

本発明の第4の実施の形態に係るモデル学習装置700は、図22に示すように、入力部10と、演算部720と、出力部50とを備えている。

0121

演算部720は、正規崩れフレーズルール記憶部736と、統計量算出部42と、データ生成部743と、モデル学習部44と、フレーズフィルタモデル記憶部46とを含んで構成されている。

0122

正規崩れフレーズルール記憶部736には、崩れフレーズと、当該崩れフレーズに対する正規フレーズとの複数のペアが、正規崩れフレーズルールとして予め記憶されている。

0123

データ生成部743は、入力部10において受け付けた正規語崩れ語ペアデータに含まれるペアの各々について、正規崩れフレーズルール記憶部736に記憶されている正規崩れフレーズルールに基づいて、当該ペアの崩れ語の部分文字列のうち、崩れフレーズに該当する部分文字列を、当該崩れフレーズを対応する正規フレーズの部分文字列に変換する。そして、変換後の正規フレーズが当該ペアの正規語に含まれるか否か判定し、含まれる場合には当該正規フレーズに対応する文字n‐gram統計量、及び当該崩れフレーズに対応する文字n‐gram統計量を含む学習データを正例データとして生成し、含まれない場合には当該正規フレーズに対応する文字n‐gram統計量、及び崩れフレーズに対応する文字n‐gram統計量を含む学習データを負例データとして生成する。

0124

<第4の実施の形態に係る形態素解析装置の構成>
次に、第4の実施の形態に係る形態素解析装置800の構成について説明する。

0125

本発明の第4の実施の形態に係る形態素解析装置800は、図23に示すように、入力部210と、演算部820と、出力部50とを備えている。

0126

演算部820は、解析候補生成部830と、正規崩れフレーズルール記憶部832と、辞書データベース記憶部233と、フレーズフィルタモデル記憶部236と、解析対象抽出部238と、ラティス生成部239と、選択部840とを含んで構成されている。

0127

解析候補生成部830は、正規崩れフレーズルール記憶部832に記憶されている正規崩れフレーズルールに基づいて、入力部210において受け付けた入力文から解析候補文を各々生成する。

0128

フレーズルール記憶部832には、モデル学習装置700のフレーズルール記憶部736に記憶されている正規崩れフレーズルールと同一の正規崩れフレーズルールが記憶されている。

0129

選択部840は、ラティス生成部239において生成したラティスと、辞書データベース記憶部233に記憶されている辞書のコスト及び品詞ペアの接続確率とに基づいて、動的計画法に従って、上記(1)式の目的関数を最大化する、当該ラティスのノードを結んだ最適な経路を選択し、選択された経路が表す正規表記の品詞と単語区切りを、形態素解析結果として出力する。なお、上記(1)式において、各変換確率として一定値を用いればよい。

0130

以上説明したように、本発明の第4の実施の形態に係る形態素装置によれば、正規崩れフレーズルール及びフレーズフィルタモデルを用いて、揺らいだ表記である崩れ語を含む文字列に対しても、形態素解析を精度よく行うことができることができる。

0131

また、本発明の第4の実施の形態に係るモデル学習装置によれば、揺らいだ表記である崩れ語を含む文字列に対しても形態素解析を精度よく行うことができるフレーズフィルタモデルを学習することができる。

0132

なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

0133

例えば、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能であるし、ネットワークを介して提供することも可能である。

0134

10入力部
20演算部
30初期設定部
31フレーズアライメント部
32変換確率算出部
34 反復判定部
36正規崩れフレーズモデル記憶部
42統計量算出部
43データ生成部
44モデル学習部
46 フレーズフィルタモデル記憶部
50 出力部
100モデル学習装置
200形態素解析装置
210 入力部
220 演算部
230解析候補生成部
232 正規崩れフレーズモデル記憶部
233辞書データベース記憶部
235 算出部
236 フレーズフィルタモデル記憶部
238解析対象抽出部
239ラティス生成部
240 選択部
250 出力部
300 モデル学習装置
320 演算部
342 統計量算出部
346 フレーズフィルタモデル記憶部
400 形態素解析装置
420 演算部
425 算出部
435 算出部
436 フレーズフィルタモデル記憶部
438 解析対象抽出部
500 モデル学習装置
520 演算部
600 形態素解析装置
620 演算部
639 ラティス生成部
700 モデル学習装置
720 演算部
736 正規崩れフレーズルール記憶部
743 データ生成部
800 形態素解析装置
820 演算部
830 解析候補生成部
832 正規崩れフレーズルール記憶部
840 選択部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する未来の課題

関連する公募課題

ページトップへ

おすすめの成長市場

関連メディア astavision

  • がん医療

    国立がん研究センターの統計予測は、2015年の国内全がん罹患者数を982,100人、同死亡数を370…

  • 生体情報デバイス・バイオセンサ

    「音楽を学習した人工知能は、人間を感動させることができるか?」をテーマに、クラブイベント「2045」…

  • 音声認識・音声合成・ボーカロイド

    米国Apple社は、2011年、iPhone向け知能型音声認識サービスSiriを市場に試験投入して以…

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

新着 最近公開された関連が強い技術

この技術と関連性が強い人物

関連性が強い人物一覧

この技術と関連する未来の課題

関連する未来の課題一覧

この技術と関連する公募課題

公募課題一覧

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ