技術 音声認識テキストデータ出力制御装置、音声認識テキストデータ出力制御方法、及びプログラム

0001

本発明は、音声認識テキストデータ出力制御技術に関する。

0002

現在、聴覚障がい者向けサービスのひとつとして、テレビ放送の音声をすべてテキスト化し、映像音声データと一緒にテキストをデータとして圧縮して放送をする、字幕放送が行われている。

0003

近年、テレビ放送の視聴スタイルが変化し、家事を行いながらといった、いわゆる「ながら視聴」が増え、聴覚障がい者以外でも、字幕を表示しながらの視聴できる字幕放送の需要が高まっている。さらにスマートフォン、タブレットの普及により、音を出力できない環境でのテレビ視聴も増加、字幕放送の需要が急激に高まってきており、国をあげて字幕付与率の向上に努めている。

0004

字幕番組用のテキストデータは、ドラマやバラエティといった事前収録番組の場合、あらかじめ準備をすることができるが、報道番組などの生放送では、放送しながらテキスト化をする必要があり、リアルタイムで音声をテキスト化する技術が求められている。

0005

特開２００１ー６０１９２号公報
特開２００４ー７２７０５号公報
特開２００４ー２２６９１０号公報
特開２００４ー２４０９２０号公報
特開２０１４ー１４９４９０号公報
特開２０１４ー２１９５６９号公報

0006

特許文献１、３の発明では、音声認識システムを利用した音声認識テキストをタッチパネル上にて、画面上に表示される認識結果をタッチして特定し、認識誤りの種別に応じて、必要であれば修正のための文字列を、キーボードを用いて入力している。この操作では画面タッチとキーボードの操作を行き来するため、修正手順だけでなくその動きにも習熟が必要で、迅速な修正作業が困難となる。

0007

特許文献２に記載されている従来のリアルタイム字幕制作システムでは、特殊訓練された数人の入力オペレータが音声を聞きながら高速タイピングを行う必要がある。この方式はオペレータコストが増加するだけではなく、聞き取り、タイピングによる遅延が発生、リアルタイム字幕放送にも関わらず字幕が実際の放送より遅れて表示されている。

0008

特許文献４に記載されている従来の校正システムは、数人オペレータが音声認識結果を確認しながら高速で修正を行う必要がある。特許文献２と同じくオペレータコストが増加するだけではなく、修正オペレーションよる遅延が発生し、リアルタイム字幕放送にも関わらず字幕が非常に遅れて表示されている。

0009

特許文献５に記載されている従来の誤り修正システムは、仮説ラティスを用いて認識スコアを導き、不明瞭な発音や言い間違いといった音響的な理由場合は手書き文字認識で素早く正確に修正可能としているが、各スコアに関してはオペレータは確認することができず、最終的にはオペレータの熟練度によってオペレーションスピードが左右されてしまう。

0010

特許文献６に記載されている辞書作成装置は、統計学的音響モデルを用いてエントロピー計算を行い、言い間違い直し等の認識を中心に辞書作成（言語モデル更新）を行っているが、最新のニュースで使われている固有名詞の出現回数などを使った言語モデル更新には何ら言及しておらず、トレンドのニュース単語の認識率は上がらない。

0011

そこで、本発明のいくつかの態様はかかる事情に鑑みてなされたものであり、辞書データを付き合って音声認識の精度を上げると共に、音声認識処理テキストデータを、より正確に、且つ、少ない人数のオペレータで迅速に修正することが可能な音声認識テキストデータ出力制御技術を提供することを目的とする。

0012

上記の課題を解決するために、請求項１記載の発明は、外部のシステムのテキストデータ群又は装置内部のテキストデータ群から受け取ることができるテキストデータ群入力手段と、前記テキストデータ群入力手段で入力されたテキストデータ群を形態素解析する解析手段と、前記解析手段結果のテキストデータが前記テキストデータ群内での出現する割合を計算し、前記テキストデータに出現率を付与する定量評価手段と、前記解析手段結果のテキストデータと読み音声データのデータ関連付けを持たせる組み合わせ手段と、前記組み合わせ手段で組みわせたデータ同士の関連付けの範囲を調整する第一調整手段と、前記第一調整手段で調整したデータ同士の関連付けと、前記定量評価手段で付与した出現率を利用して音声認識処理を制御する音声認識処理手段と、を備えることを特徴としている。

0013

本発明によれば、あらかじめニュース原稿として入稿されているテキストデータ群を解析することにより、現在トレンドワードとなっているテキストを、出現率を基に事前に辞書登録をすることによって、固有名詞の漢字変換の正答率が高まり、音声認識処理の認識率を向上させることができる。結果としてオペレータコストを抑えつつ、正確、且つ、迅速に音声認識テキストデータを作成することができ、その結果正確、且つ、迅速な字幕放送を送出することができる。

0014

請求項２記載の発明は、請求項１に記載の音声認識テキストデータ出力制御装置であって、前記音声認識処理手段で得られたテキストデータの認識確度を計算する計算手段と、前記計算手段結果の認識確度と前記音声認識処理手段で得られたテキストデータとを紐づけて表示制御部に送信する送信手段と、を特徴としている。

0015

本発明によれば、前記音声認識処理結果を使い音声認識した認識確率を表示することによって、誤って音声認識をしたテキストをオペレータが一目で確認できるため、オペレータコストを抑えつつ、正確、且つ、迅速な修正を行うことが可能となり、その結果、正確、且つ、迅速な字幕放送を送出することができる。

0016

請求項３記載の発明は、請求項２に記載の音声認識テキストデータ出力制御装置であって、前記音声認識処理手段で得られたテキストデータと、前記音声認識処理手段で得られたテキストデータの認識確度を色、乃至数値で表示する第一表示手段と、前記第一表示手段で表示された後に、前記音声認識処理手段で得られたテキストデータの認識音声が再生されるディレイ再生手段と、前記第一表示手段で表示されたテキストデータの一つを選択する選択手段と、前記選択手段で選択された前記テキストデータを確定テキストデータとして、テキストデータを出力する出力手段と、を備えることを特徴としている。

0017

本発明によれば、誤って音声認識をしたテキストをオペレータコストを抑えつつ、オペレータが正確、且つ、迅速な修正を行うことが可能となり、その結果、正確、且つ、迅速な字幕放送を送出することができる。

0018

請求項４記載の発明は、請求項３に記載の音声認識テキストデータ出力制御装置であって、前記選択手段で選択されたテキストデータの音声認識確度正答率を計算する計算手段と、前記計算手段で計算された数値を基に、前記解析手段結果のテキストと前記読み音声データの前記データ関連付けをする数を増減させる第二調整手段と、を備えることを特徴としている。

0019

本発明によれば、誤って音声認識をした確率から深層学習を経て、より確度が高い音声認識処理を行うことが可能となり、その結果、正確、且つ、迅速な字幕放送を送出することができる。

0020

請求項５記載の発明は、請求項３に記載の音声認識テキストデータ出力制御装置であって、前記第一表示手段で表示したテキストデータを認識テキストデータとして表示する第二表示手段と、前記選択手段で選択したテキストデータを正答テキストデータとして表示する第三表示手段と、前記第二表示手段と、前記第三表示手段で表示したテキストデータを並列表示した状態で、音声認識した音声を再生する任意再生手段と、を備えることを特徴としている。

0021

本発明によれば、正しく認識したテキストと、誤って音声認識をしたテキストを並記させ、認識させた音声を再生させることにより、音声認識エンジンが認識しやすい音声を発声した本人が確認し、より精度の高い音声認識をすることが可能となる発声の練習をすることが可能となり、その結果、正確、且つ、迅速な字幕放送を送出することができる。

0022

本発明によれば、音声認識処理テキストデータがの確度が上昇し、修正ポイントの減少が見込めるため、オペレータコストを抑えつつ、正確、且つ、迅速に修正することが可能となるため。音声認識テキストデータ出力制御技術を提供することができる。

0023

本発明の実施形態に係る情報処理システムの概略構成（システム構成）の一例を示す図である。
本発明の実施形態に係る音声認識処理サーバの一例を示す概略構成図（ブロック図）である。
本発明の実施形態に係る音声認識テキストデータ出力制御サーバ一例を示す概略構成図（ブロック図）である。
本発明の実施形態に係る形態素解析処理サーバの一例を示す概略構成図（ブロック図）である。
本発明の辞書生成処理例１に係る辞書生成処理制御の一例を示すフローチャートである。
本発明の辞書生成処理例１に係る辞書生成処理制御のテキスト選択過程の解説図と選択するための数式例である。
本発明の辞書生成処理例１に係る情報処理装置に表示される画面の一例を示す図である。
本発明の辞書生成処理例２に係る辞書生成処理制御の一例を示すフローチャートである。
本発明の音声認識テキストデータ出力実施例に係るテキストデータの出力一例を示すフローチャートである。
本発明の音声認識テキストデータ出力実施例に係る情報処理装置に表示される画面の一例を示す図である。
本発明の音声認識テキストデータ出力実施例に係る音声認識確度正答率の一例を示す図である。
本発明の音声認識テキストと正答テキストを並列表示し、認識させた音声を再生しながら音声認識結果を確認する画面の一例を示す図である。

0024

以下、添付図面を参照しながら本発明の実施の形態について説明する。以下の実施の形態は、本発明を説明するための例示であり、本発明をその実施の形態のみに限定する趣旨ではない。また、本発明は、その要旨を逸脱しない限り、様々な変形が可能である。さらに、各図面において同一の構成要素に対しては可能な限り同一の符号を付し、重複する説明は省略する。

0025

図１は、本発明の実施形態に係る情報処理システム１００の一実施形態を示す概略構成図（システム構成図）である。図１に示すように、本発明の実施の形態に係る情報処理システム１００は、例示的にリアルタイム音声入力処理装置１、音声認識処理サーバ２、音声認識テキストデータ出力制御サーバ３、形態素解析処理サーバ４、及び情報処理装置５を備えて構成されている。

0026

リアルタイム音声入力処理装置１は、アナログ音声データ及びデジタル音声データをリアルタイムで受信することができる装置である。リアルタイム音声入力処理装置１は、リアルタイム音声データとして受信された音声データを、情報処理システム１００内で処理を可能とする形式のデータに変更する機能を有し、例えば、人の声以外の周波数を取り除くノイズキャンセルや、無音区間で区切るなどのデータ処理を行う装置である。

0027

音声認識処理サーバ２は、リアルタイム音声入力処理装置１と通信可能に所定のネットワークに接続されたサーバ用コンピュータである。音声認識処理サーバ２は、音声認識処理方法に係るソフトウェアプログラムをサーバ用コンピュータが実行することにより、音声認識処理装置として機能するものである。具体的に、音声認識処理サーバ２は、リアルタイム音声入力処理装置１から送信される音声データを受信し、音声認識処理を実行し、音声認識させた結果であるテキストデータ、および音声データを後段のサーバに送信する。また、音声認識処理の精度を向上させるために、辞書データとなるテキストデータ群を受信する機能を有するものである。さらに、誤った音声認識をした際に、後段の装置で修正を行った場合、その修正の記録を受信する機能も有している。音声認識処理サーバ２は記憶領域を有しており、音声認識処理を実行する際に使用される、単数又は複数の、音声認識プログラム、各種データベース、及び各種モデルが格納されている。なお、本実施形態においては、日本語のみならず、英語等の外国語についても対象としてもよい。音声認識処理サーバ２のさらに具体的な構成及び動作については、後述する。

0028

音声認識テキストデータ出力制御サーバ３は、音声認識処理サーバ２と通信可能に所定のネットワークに接続されたサーバ用コンピュータである。音声認識テキストデータ出力制御サーバ３は、本実施形態に係る音声認識テキストデータ出力制御に係るソフトウェアプログラムをサーバ用コンピュータが実行することにより、音声認識テキストデータ出力制御装置として機能を有するものである。具体的に、音声認識テキストデータ出力制御サーバ３は、音声認識処理サーバ２から受信した音声認識テキストデータと音声データを後述する情報処理装置５に送信しながら、情報処理装置５から受信した修正結果であるテキストデータの出力を制御する。音声認識テキストデータ出力制御サーバ３のさらに具体的な構成及び動作については、後述する。

0029

形態素解析処理サーバ４は、音声認識処理サーバ２と通信可能に所定のネットワークに接続されたサーバ用コンピュータである。形態素解析処理サーバ４は、外部のシステムのテキストデータ群又は装置内部のテキストデータ群から受け取ったテキストデータ群を受信し、本実施形態に係る形態素解析処理に係るソフトウェアプログラムをサーバ用コンピュータが実行することにより、辞書データを生成する機能を有するものである。辞書データとなるテキストデータを生成後は音声認識処理サーバ２に辞書データを送信する機能も有する。形態素解析処理サーバ４は記憶領域を有しており、形態素解析処理を実行する際に使用される、単数又は複数の、形態素解析処理プログラム、各種データベースが格納されている。形態素解析処理サーバ４のさらに具体的な構成及び動作については、後述する。

0030

情報処理装置５は、形態素解析処理サーバ４から辞書データとなるテキストデータ群を受信し、辞書編集後に再度形態素解析処理サーバ４へ辞書を送信する機能、及び、音声認識テキストデータ出力制御サーバ３から取得したテキストデータを受信及び修正したテキストを音声認識テキストデータ出力制御サーバ３へ出力する機能を有する装置である。情報処理装置５は、汎用のコンピュータ装置であり、例えば、所定のネットワークに接続されたスマートフォン等の携帯電話、タブレット端末、ラップトップ/ノートブック型コンピュータ、及び据え置き型コンピュータ等である。

0031

音声認識プログラムは、音声認識処理サーバ２のメインプログラムである上述したサーバ用プログラム等である。音声認識プログラムは、リアルタイム音声入力処理装置１から送信されてくる音声データを基に、情報処理を行うため、記憶領域から呼び出されて実行される。各種データベースは、音声認識処理のために必要な各種辞書、例えば日本語辞書、外国語辞書等が含まれる。各種モデルは、音声認識に使用する音響モデルや言語モデル等を含む。またこの辞書は形態素解析処理サーバ４から受信した辞書データとなるテキストデータ群を受信、もしくは誤った音声認識結果を情報処理装置５で修正した修正データを音声認識テキストデータ出力制御サーバ３経由で受信し、辞書をアップデートする機能を有する。

0032

所定のネットワークは、例えばインターネット等を含む情報処理に係る通信回線又は通信網であり、リアルタイム音声入力処理装置１と音声認識処理サーバ２との間、音声認識処理サーバ２と音声認識テキストデータ出力制御サーバ３との間、音声認識処理サーバ２と形態素解析処理サーバ４との間、音声認識テキストデータ出力制御サーバ３と情報処理装置５との間で各種情報及び各種データの送受信が可能なように構成されていれば特に制限されない。所定のネットワークは、例えば、インターネットといった広帯域ネットワーク、携帯電話網といったコアネットワーク、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、あるいはこれらを組み合わせた狭帯域ネットワークにより実現される。

0033

なお、情報処理システム１００は、本実施形態では、リアルタイム音声入力処理装置１、音声認識処理サーバ２、音声認識テキストデータ出力制御サーバ３、形態素解析処理サーバ４、及び情報処理装置５を一台ずつ備えて構成されているが、必ずしも一台ずつである必要はない。例えば、リアルタイム音声入力処理装置１に関しては、情報処理システム１００が扱える音声データ形式で各装置に入力されていれば、設置しなくてもよい。また、情報処理装置５に関しては、複数台設置して、同時に音声認識テキストデータ出力制御サーバ３と通信を行ってもよい。また、音声認識処理サーバ２の機能と音声認識テキストデータ出力制御サーバ３の機能を同一のサーバで構成してもよいし、別の機能を有するサーバ上に機能を持たせてもよい。

0034

図２は、本発明の実施形態に係る音声認識処理サーバ２の一例を示す概略構成図（ブロック図）である。図２に示すように、音声認識処理サーバ２は、例示的に、各種データ及び各種情報を送受信する送受信部２１と、テキストデータ及び音声データの出力を制御するための各種処理を実行する情報処理部２２と、各種情報及び各種データを記録する記憶部２３と、を備えて構成される。なお、情報処理部２２は、例えば、不図示であるが、記憶部２３に格納されているプログラムをＣＰＵ等が実行したりすることにより実現することができる。

0035

送受信部２１は機能的に、リアルタイム音声データ受信部２１１と、辞書テキストデータ受信部２１２と、修正結果テキストデータ受信部２１３と、音声認識結果テキストデータ／音声データ送信部２１４と、を含んで構成されている。また、各種データ及び各種情報を送信する送信部（不図示）、及び、各種データ及び各種情報を受信する受信部（不図示）をも含む。

0036

リアルタイム音声データ受信部２１１は、図１に示すリアルタイム音声入力処理装置１からリアルタイム音声データを受信する。例えば、リアルタイム音声データ受信部２１１は、図１に示すリアルタイム音声入力処理装置１が区間分割、及び適正化し、音声が入力された時刻を時刻情報化し、タグ付けされた音声データを受信する。

0037

辞書テキストデータ受信部２１２は、図１に示す形態素解析処理サーバ４から辞書データとなるテキストデータを受信する。例えば、辞書テキストデータ受信部２１２は、図１に示す形態素解析処理サーバ４が外部テキストの形態素解析を実施し、生成した辞書テキストデータ適正なタイミングで受信する。

0038

修正結果テキストデータ受信部２１３は、図１に示す情報処理装置５からテキスト修正結果データを音声認識テキストデータ出力制御サーバ３経由で受信する。例えば、修正結果テキストデータ受信部２１３は、図１に示す情報処理装置５が、字幕を送出する直前で修正したテキストを時刻情報と共に辞書化したテキスト修正結果データを音声認識テキストデータ出力制御サーバ３へ送信し、音声認識テキストデータ出力制御サーバ３から修正結果を受信する。

0039

音声認識結果テキストデータ／音声データ送信部２１４は、音声認識結果であるテキストデータを図１に示す音声認識テキストデータ出力制御サーバ３へ送信する。例えば、リアルタイム音声データ受信部２１１で受信したリアルタイム音声データを情報処理部２２による音声認識処理でテキスト化し、結果であるテキストデータに音声時刻情報をタグ付けして図１に示す音声認識テキストデータ出力制御サーバ３へ送信する。また、テキストデータ送信と同時に音声データも送信する。音声認識テキストデータには認識候補が他にある場合、音声認識テキストデータに認識候補テキストを候補順にタグづけして送信する。その認識候補には音声認識の確度の高さを表す音声認識確度データを付与して送信してもよい。

0040

情報処理部２２は機能的に、音声認識部２２１と、辞書データ生成部２２２と、テキスト出力部２２３と、を含んで構成されている。

0041

音声認識部２２１は、リアルタイム音声データ受信部２１１から受信した音声データを記憶部２３に記憶されている音声認識プログラム（不図示）を使って、音声認識処理を行う。音声認識をする際に、認識候補テキストが他にある場合、認識候補テキストを候補順を認識テキストにタグづけしてもよい。その認識候補テキストには音声認識の確度の高さを表す音声認識確度データを付与して送信してもよい。例えば、このプログラム処理を行う際、記憶部２３に記憶されている各モデル、辞書を使うことによって、音声認識の効率を上げている。なお、音声認識部２２１は受信したリアルタイム音声データに時刻情報をタグ付けを行い、記憶部２３に保存する。

0042

辞書データ生成部２２２は、辞書テキストデータ受信部２１２から受信したテキストデータ、もしくは修正結果テキストデータ受信部２１３から受信した時刻情報付きテキストデータを、記憶部２３に記憶されている辞書に格納できる形式に辞書テキストデータへ変換する処理を行う。

0043

テキスト出力部２２３は、記憶部２３に記憶されている辞書を使って、音声認識部２２１が音声認識データから音声認識処理を行い、音声データをテキスト化した後、そのテキストを出力する処理を行う。

0044

記憶部２３は、あらかじめ定義された音響モデルＡＭＤと、言語モデルデータＬＭＤと、を記録し、保存されている。音響モデルＡＭＤと、言語モデルデータＬＭＤはあらかじめ定義されており、情報処理システム１００内では自動アップデートはされなくてもよいが、外部からのデータ受信（不図示）にてアップデートすることは可能である。音響モデルＡＭＤと、言語モデルデータＬＭＤは、図１に示す情報処理装置５から修正結果テキストデータ受信部２１３を通じて受信したテキスト修正結果データを利用し、自動アップデートはされてもよい。

0045

記憶部２３は、情報処理システム１００内で自動アップデートされる辞書データＤＩＤと、を記録し、保存されている。辞書データは辞書データ生成部２２２によって生成された辞書テキストデータにて自動アップデートされ、適宜辞書テキストデータが音声認識部２２１の処理を支援する。

0046

記憶部２３は、リアルタイム音声データ受信部２１１で受信したリアルタイム音声データに音声認識部２２１にて時刻情報をタグ付けされた、時刻付き音声データＡＴＤ２が記録されている。修正結果テキストデータ受信部２１３で受信したテキスト修正結果データと、最初に受信したリアルタイム音声データに時刻情報をタグ付けした時刻付き音声データＡＴＤ２を使って、音声認識部２２１の認識率向上に貢献する。

0047

図３は、本発明の実施形態に係る音声認識テキストデータ出力制御サーバ３の一例を示す概略構成図（ブロック図）である。図３に示すように、音声認識テキストデータ出力制御サーバ３は、例示的に、各種データ及び各種情報を送受信する送受信部３１と、テキストデータの修正制御するための各種処理を実行する情報処理部３２と、各種情報及び各種データを記録する記憶部３３と、を備えて構成される。なお、情報処理部３２は、例えば、不図示であるが、記憶部３３に格納されているプログラムをＣＰＵ等が実行したりすることにより実現することができる。

0048

送受信部３１は機能的に、音声認識結果テキスト／音声データ受信部３１１と、放送用テキストデータ送信部３１２と、辞書用修正結果テキストデータ送信部３１３と、を含んで構成されている。また、各種データ及び各種情報を送信する送信部（不図示）、及び、各種データ及び各種情報を受信する受信部（不図示）をも含む。

0049

音声認識結果テキスト／音声データ受信部３１１は、図１に示す音声認識処理サーバ２から音声認識結果である音声認識結果テキストデータと音声データを受信する。受信した音声認識結果テキストデータと音声データは音声認識処理サーバ２で時刻情報がタグ付けされ、音声認識結果テキストデータを生成した時間が判別できるようにしておく。

0050

放送用テキストデータ送信部３１２は、音声認識結果テキスト／音声データ受信部３１１で受信した音声認識結果テキストデータを修正した放送用テキストデータを外部システムに送信する。外部システムは放送用字幕を送出するデータに変換するシステムなどが考えられる。

0051

辞書用修正結果テキストデータ送信部３１３は、音声認識結果テキスト／音声データ受信部３１１で受信した音声認識結果テキストデータを、正しいテキストに修正したテキストデータを図１に示す音声認識処理サーバ２へ、修正結果テキストデータとして送信する。例えば、修正したテキストデータには、修正前の音声認識結果テキストデータにタグ付けされていた時刻情報を基に時刻情報をタグ付け、もしくは情報処理システム１００内で管理されている固有のシステムＩＤをタグ付けするなどで、修正したデータが特定できるようにしておく。

0052

修正前テキスト／音声送信部３１４は、音声認識結果テキスト／音声データ受信部３１１で受信した音声認識結果テキストデータと音声データを、図１に示す情報処理装置５へ、修正前データとして送信する。例えば、受信した音声認識結果テキストデータと音声データを情報処理装置５に送信し、情報処理装置５で音声認識が正しかったか確認ができるようにする。

0053

情報処理部３２は機能的に、音声結果修正部３２１と、修正結果辞書生成部３２２と、放送用テキスト出力部３２３と、を含んで構成されている。

0054

音声結果修正部３２１は、音声認識結果データテキスト／音声データ受信部３１１から受信した音声認識結果テキストデータの中で、誤って音声認識されたデータを、図１に示す情報処理装置５から指示された修正内容でテキスト修正処理を行う。例えば、情報処理装置５が音声結果修正プログラム処理を行う際、音声認識結果テキストデータには認識候補テキストが候補順にタグづけされているので、その候補を候補順に認識候補テキストを情報処理装置５へ送信部（不図示）から送信してもよいし、情報処理装置５から入力された全く異なるテキストを修正結果として送信してもよい。

0055

修正結果辞書生成部３２２は、音声結果修正部３２１で修正した内容を時刻情報と共に記憶部３３へ記録可能な形式に生成を行う。例えば、誤った認識結果テキストと、修正後のテキストが時刻情報と共に辞書として記録されることで、同様の誤った認識の防止を支援することができる。

0056

放送用テキスト出力部３２３は、音声結果修正部３２１で修正を行なったテキスト、または音声結果修正部３２１で修正を行わなかったテキストを、放送用テキストとして、情報処理装置５から指示で放送用テキストを出力する。

0057

記憶部３３は、音声認識結果データテキスト／音声データ受信部３１１で受信した受信テキストログＲＴＬと、放送用テキストデータ送信部３１２から送信した送信テキストログＳＴＬと、修正結果辞書生成部３２２で生成された修正結果である辞書データＭＤＤと、を記録し、保存されている。

0058

記憶部３３は、音声認識結果データテキスト／音声データ受信部３１１で受信した音声データに時刻情報がタグ付けされた、時刻付き音声データＡＴＤ３が記録されている。例えば、受信テキストログＲＴＬと、送信テキストログＳＴＬと、ＡＴＤ３を送信部（不図示）から情報処理装置５に送信することによって、情報処理装置５で音声認識エンジンが認識しやすい音声を、発声した本人が確認をすることが可能となる。

0059

図４は、本発明の実施形態に係る形態素解析処理サーバ４の一例を示す概略構成図（ブロック図）である。図４に示すように、形態素解析処理サーバ４は、例示的に、各種データ及び各種情報を送受信する送受信部４１と、テキストデータ群の解析、及び生成を制御するための各種処理を実行する情報処理部４２と、各種情報及び各種データを記録する記憶部４３と、を備えて構成される。なお、情報処理部４２は、例えば、不図示であるが、記憶部４３に格納されているプログラムをＣＰＵ等が実行したりすることにより実現することができる。

0060

送受信部４１は機能的に、外部テキスト受信部４１１と、辞書データ送信部４１２と、を含んで構成されている。また、各種データ及び各種情報を送信する送信部（不図示）、及び、各種データ及び各種情報を受信する受信部（不図示）をも含む。

0061

外部テキスト受信部４１１は、外部システム、もしくは形態素解析処理サーバ４内の記憶部４３に記録されているテキストを受信する。例えば、前記テキストはインターネット上でＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋｉｎｇ Ｓｅｒｖｉｃｅ）等から収集し受信したテキスト、もしくはＬＡＮ内でニュース原稿システムといった他システム等から収集し、受信したものでもよい。

0062

辞書データ送信部４１２は、情報処理部４２で生成した辞書データを図１に示す音声認識処理サーバ２へ送信する。例えば、前記辞書データはＳＮＳ、及び内部システムから取り込んだ比較的新しい辞書であると、ニュース番組等の音声認識率が上がると期待できる。

0063

情報処理部４２は機能的に、形態素解析部４２１と、ルビ生成部４２２と、辞書生成部４２３と、出現スコア計算部４２４と、を含んで構成されている。

0064

形態素解析部４２１は、外部テキスト受信部４１１で受信したテキストを形態素解析する。形態素解析とは文法的な情報の注記の無い自然言語のテキストデータから、対象言語の文法や、辞書と呼ばれる単語の品詞等の情報にもとづき、形態素の列に分割し、それぞれの形態素の品詞等を判別することをいう。形態素解析を行った前記テキストは形態素毎の列に分割され、記憶部４３に記録、保存をする。

0065

ルビ生成部４２２は、形態素解析部４２１で形態素毎の列に分割されたテキストにルビと呼ばれる読み仮名を関連づける。例えば、記憶部４３に記録されているルビ振りツール４３２などを利用してルビを検索し、該当するルビを形態素解析部４２１で形態素毎の列に分割されたテキストにタグ付け等をして、記憶部４３に記録、保存をする。

0066

辞書生成部４２３は、ルビ生成部４２２でタグ付けされたテキストを、図１に示す音声認識処理サーバ２へ送信した際に辞書として登録できる形式に整形、生成をする。例えば、形態素解析部４２１にて品詞毎に分割されたテキストと、ルビ生成部４２２でタグ付け等をされた読み仮名を図１に示す音声認識処理サーバ２が読み込み可能な辞書形式にデータベース化等を行う。

0067

出現スコア計算部４２４は、形態素解析部４２１で形態素毎の列に分割されたテキストがどの頻度で出現し、分割されたテキストごとにその出現率を付与し、定量評価する出現スコアを計算する。出現スコアの計算例は後述する。

0068

記憶部４３は、外部テキスト受信部４１１で受信したテキストを形態素解析部４２１にて形態素解析をする際に使用する形態素解析ツールＭＤＴと、前記形態素解析を行ったテキストの読み仮名を定義する際に使用するルビ振りツールＲＢＴと、を記録し、保存されている。

0069

記憶部４３は、外部テキスト受信部４１１で受信した外部テキストデータＯＤＴと、形態素解析部４２１にて品詞毎に分割されたテキストと、ルビ生成部４２２でタグ付け等をされた読み仮名を図１に示す音声認識処理サーバ２が読み込み可能な辞書形式にデータベース化等を行った辞書生成データＤＭＤと、を記録し、保存されている。

0070

＜辞書生成処理例１＞
図５、図６、および図７を参照して、辞書生成処理、もしくは出力制御処理としての、テキストデータの出力及び音声データの制御処理を実施例１として説明する。図５は、本発明の実施形態に係るデータ辞書生成処理の一例を示すフローチャートである。

0071

（ステップＳ１）
形態素解析処理サーバ４は、外部システム、もしくは形態素解析処理サーバ４内の図４に示す記憶部４３に記録されているテキストを受信する。例えば、前記テキストはインターネット上でＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋｉｎｇ Ｓｅｒｖｉｃｅ）等から収集し受信したテキスト、もしくはＬＡＮ内でニュース原稿システムといった他システム等から収集し受信したものでもよい。

0072

（ステップＳ２）
形態素解析処理サーバ４は、前記受信したテキストを形態素解析する。形態素解析とは前記同様の解析を意味し、文法的な情報の注記の無い自然言語のテキストデータから、対象言語の文法や、辞書と呼ばれる単語の品詞等の情報にもとづき、形態素の列に分割し、それぞれの形態素の品詞等を判別することをいう。

0073

（ステップＳ３）
図４に示す形態素解析部４２１で形態素毎の列に分割されたテキスト（以下辞書単語）にルビと呼ばれる読み仮名を関連づける。例えば、図４に示す記憶部４３に記録されているルビ振りツール４３２などを利用してルビを検索し、該当するルビを形態素解析部４２１で形態素毎の列に分割された辞書単語にタグ付け等をして、記憶部４３に記録、保存をする。もしく前記受信テキストにルビを振るルールが定義されていれば、それを基にルビを振ってもよい。

0074

（ステップＳ４）
図４に示す出現スコア計算部４２４で辞書単語の出現率を定量評価する出現スコアを計算する。図６を参照して出現スコアの計算方法を説明する。ＴＬは時刻の流れを表す軸タイムラインであり、どのタイミングでそのテキストが取り込まれたかをタイムライン上で表している。またこの出現スコアを作成する開始タイミングをＡＳｔとし、このＡＳｔの数値を変更しながら音声認識の制度を高めていく。ｔｐが現在時刻を表し、時刻を数値化した場合、ｔ１＜ｔ８＜ｔｐという関係が成り立つ。このような条件とした場合、たとえば以下のような式で出現スコアを定義しても良い。
（出現スコア式）

現在時刻から離れた時間ほど、ｔｐ−ｔｋは大きな値となり、その逆数は小さくなる。この数値の総和の対数を取ることにより、出現スコアは多く出現すれば大きくなり、時刻が過ぎればすぎるほど小さくなる数値となる。
例えば「国会会期末」といったテキストがｔ１のタイミングでＷ１として、ｔ２のタイミングでＷ２として、ｔ４のタイミングでｗ３として、ｔ６のタイミングでＷ６として、ｔ８のタイミングでＷ８として出現していた場合、計算式はＣＳ内のような式が成り立つ。「労働災害」「原辰徳」といったワードも同様である。出現回数も多く、現在時刻直近で出現した「国会会期末」の出現スコアＡＳ１と、「労働災害」の出現スコアＡＳ２は通常ＡＳ１＞ＡＳ２といった関係になるが、「原辰徳」の出現スコアＡＳ３と前記ＡＳ２の関係は双方の出現時間によって関係が変わってくる。前記出現スコアは定量評価値として、音声認識処理の際に認識結果確率の増減に利用する。

0075

（ステップＳ５ａ）
情報処理装置５は形態素解析処理サーバ４に対し、辞書単語表示の要求を行う。

0076

（ステップＳ５ｂ）
辞書単語表示の要求に対し、形態素解析処理サーバ４は前記形態素毎の列に分割されたルビに当たる辞書単語にタグ付け等された辞書を情報処理装置５に送信して辞書の表示をする。図７は情報処理装置５に表示される画面の一例を示す図である。図７を参照しながら、図１に示す情報処理装置５の表示部（不図示）に表示される、辞書登録画面について説明する。辞書登録表示画面は、例えば入力された原稿テキストの放送番組名５１１が放送時間と共に表示される。どの辞書単語群、もしくは辞書単語を登録するか、選択ボタン５１２、５１３が用意されている。表には形態素解析によって、分割された辞書単語となるテキスト５１４、それに対する読み表示５１５、その元となるテキストが登録された時間５１６などが表示されている。なお、出現スコアはここに表記しなくてもよいし、してもよい。

0077

（ステップＳ６）
登録される放送番組名５１１、もしくは辞書単語となるテキスト５１４をボタン５１２、もしくは５１３を選択した後、辞書登録ボタン５１７を押下する。押下後は図５に戻り、選択された辞書単語のを外部に送信する処理の準備を行う。また、図６に示した出現スコアＡＳｔをは出現スコア作成タイミング表示エリア５１８に表示され、手動で変更することができる。

0078

（ステップＳ７）
情報処理装置５上で選択された辞書単語送信処理により、形態素解析処理サーバ４に辞書単語群の送信指示が送信される。辞書単語群は辞書単語の選択はカテゴリ毎に送信されてもよいし、受信した時間毎に単語群毎に送信してもよい。

0079

（ステップＳ８）
送信指示を受けた形態素解析処理サーバ４は図４の辞書生成部４２３を使って、ルビ生成部４２２でタグ付けされたテキストを、音声認識処理サーバ２へ送信した際に辞書として登録できる形式に整形、生成をする変換処理を行う。

0080

（ステップＳ９）
前記ステップで変換処理をした辞書単語群は音声認識処理サーバ２へ送信する。

0081

（ステップＳ１０）
辞書単語群を受信した音声認識処理サーバ２は、この辞書を利用して音声認識処理を行う。音声認識処理は後述するステップＳ２３と同様である。

0082

＜辞書生成処理例２＞
次に図８を参照して、辞書生成処理、もしくは出力制御処理としての、テキストデータの出力及び音声データの制御処理を実施例２として説明する。図８は、本発明の実施形態に係るデータ辞書生成処理の一例を示すフローチャートである。

0083

（ステップＳ１１）から（ステップＳ１４）
上記ステップは図５のステップＳ１からステップＳ４のステップと同様である。

0084

（ステップＳ１５）
形態素解析処理サーバ４は自動で辞書単語登録を行う辞書単語を選択する。自動選択の選択基準はステップＳ１９で後述する。

0085

（ステップＳ１６）
自動で辞書単語を選択した形態素解析処理サーバ４は図４の辞書生成部４２３を使って、ルビ生成部４２２でタグ付けされたテキストを、音声認識処理サーバ２へ送信した際に辞書として登録できる形式に整形、生成をする変換処理を行う。

0086

（ステップＳ１７）
前記ステップで変換処理をした辞書単語群は音声認識処理サーバ２へ送信する。

0087

（ステップＳ１８）
辞書単語群を受信した音声認識処理サーバ２は、この辞書を利用して音声認識処理を行う。音声認識処理は後述するステップＳ２３と同様である。

0088

（ステップＳ１９）
音声認識処理サーバ２は、音声認識テキストデータ出力制御サーバ３から受信した時刻情報付き音声認識確度正答率を形態素解析処理サーバ４に送信をする。音声認識確度正答率とは、音声認識をした際に、音声認識結果であるテキストの他にその認識確率の高さである音声認識確度データを送信するが、音声認識確度と実際の認識正答がどの程度マッチングしていたかを表す確率のことをいう。形態素解析処理サーバ４は自動で選択した辞書と前記音声認識確度正答率を対比しデータベース化等を行う。生成されたデータベースから深層学習を行い、最適値を自動で算出していく仕組みを導入してもよい。具体例に関しては後述する（ステップＳ３２）、（ステップＳ３３）にて説明する。

0089

＜音声認識テキストデータ出力実施例＞
次に図９、図１０、および図１１を参照して、音声認識処理、テキスト出力制御処理、及びテキストの修正処理を実施例として説明する。図８は、本発明の実施形態に係る音声認識処理、テキスト出力制御処理、及びテキストの修正処理の一例を示すフローチャートである。

0090

（ステップＳ２１）
リアルタイム音声入力処理装置１は、音声データを受信する。例えば、映像データからＤＥＭＵＸした音声データであってもよいし、デジタル音声データはもちろん、アナログ音声データでもよい。リアルタイム音声入力処理装置１はリアルタイム音声を処理することを前提としているため、受信方法はストリーム、もしくは連続したアナログ音声を想定している。

0091

（ステップＳ２２）
リアルタイム音声入力処理装置１は、前記受信音声データを音声認識精度を上げるための処理を行う。例えば、前記音声データにおける無音区間を特定し、当該区間において音声データを区切る処理や、音声データを分割するルールを作成し、当該ルールに基づいて分割処理を実行してもよい。また、例えば、音声データから人間の声に近い周波数以外の周波数音域を低減させるノイズキャンセルなどの処理を実行してもよい。処理をした際には音声データの受信時刻を処理済み音声データに紐づけるようにタグづけなどの処理をしておく。

0092

（ステップＳ２３）
リアルタイム音声入力処理装置１１は、前記処置を行った処置済音声データを、音声認識処理サーバ２へ送信する。

0093

（ステップＳ２４）
音声認識処理サーバ２は、前記処理済音声データを受診後、前記処理済音声データを音声認識する。音声認識処理サーバ２は、例えば、未知のパラメータに従って確率的に変化する現象をモデル化する分析技術手法であるＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）（隠れマルコフモデル）により、入力された音声データを文字列データに変換する。なお、他の分析技術手法として、ＤＰマッチングやニューラルネットワーク等を採用してもよい。また、ステップＳ９やＳ１７で受け取った出現スコアを使って、言語モデルの絶えずアップデート行い、辞書単語をその都度増やしたり減らしたりしてもよい。この際、ステップＳ９、ステップＳ１７の音声認識処理と同様の処理となるが、ステップＳ９、ステップＳ１７では受信した辞書を利用しての音声認識となるため、音声認識確度の上昇が期待できる。

0094

（ステップＳ２５）
音声認識処理サーバ２は、音声認識処理をした後、認識候補テキストそれぞれの音声認識精度の確率の高さを表す、音声認識確度を計算する。その後、音声認識処理サーバ２は前記音声認識結果であるテキスト等を送信する。例えば、送信するテキスト等とは、認識候補テキストと、その区間の音声データ、他に認識候補テキストがあればその認識候補テキスト、それぞれの認識候補テキストの音声認識確度の高さを表す音声認識確度データ等である。

0095

（ステップＳ２６）
音声認識テキストデータ出力制御サーバ３は、受信したテキスト等を同時に、もしくは別ルートで受信した音声データ再生と共に表示できるように、処理を行う。例えば、テキスト修正を行いやすくするために、音声再生よりもテキストを早く表示させる処理を行っておく。

0096

（ステップＳ２７）
情報処理装置５の要求を受けた音声認識テキストデータ出力制御サーバ３は、処理を行ったテキスト群と音声データを情報処理装置５に送信を行う。

0097

（ステップＳ２８）
情報処理装置５は受信したテキスト群の修正を行う。図１０は情報処理装置５に表示される画面の一例を示す図である。図１０を参照しながら、図１に示す情報処理装置５の表示部（不図示）に表示される、テキストデータ群を含む画面の一例を説明する。まずボタンにて、候補選択エリア５２１、もしくは自由修正エリア５２２を選択する。候補選択エリア５２１、及び自由修正エリア５２２ともに番組枠情報５２３、５２４が表示され、現在放送をしている番組が目視可能である。
候補選択エリア５２１を選択中は、音声認識確度順にテキスト５２５、５２６を併記させ、音声認識確度が一番高い現在選択しているテキストエリアの色を変えてもよいし、図１０記載の通り音声認識確度を表示しても良い。テキスト表示から一定時間ｘ秒音声データが遅れて再生され、選択テキスト５２５が正答であれば、転送エリア５２７に表示されている確定ボタンを押下する。そこで音声認識テキストが確定する。選択テキストが正答でない場合は、別の認識候補テキスト５２６を選択する。認識候補テキスト５２６も正当でない場合には他候補エリアにある５２８の矢印を押下すると、さらに認識候補テキストが確度順に表示される。正答認識候補テキストが表示された場合は、正当認識候補テキストを選択して、転送エリア５２７に表示されている確定ボタンを押下する。
正答が認識候補テキスト内になかった場合、自由修正エリア５２２を選択し、キーボードを使ってテキストエリア５３０でキーボードを使って直接テキストを入力をする。

0098

（ステップＳ２９）
図８に戻り、ステップＳ２８で確定した字幕用テキストは字幕システムで受信可能なフォーマットに変換して、後段の前記字幕システムに送信する。テキストのフォーマットは放送規格ＡＲＩＢフォーマットＢ３７形式でもよいし、Ｗｅｂ配信形式であるＷｅｂＶｔｔ（Ｗｅｂ Ｖｉｄｅｏ Ｔｅｘｔ Ｔｒａｃｋｓ）形式でもよい。

0099

（ステップＳ３０）
ステップＳ２８で確定した字幕用テキストが認識候補エリアで選択候補テキストから選択された場合は、選択された認識候補テキストにタグづけされていた音声認識確度データと共に認識候補テキストを前段の音声認識テキストデータ出力制御サーバ３へ送信する。自由入力エリアで入力された場合は、入力された修正テキストを前段の音声認識テキストデータ出力制御サーバ３へ送信する。

0100

（ステップＳ３１）
ステップＳ３０で修正テキストを受信した音声認識テキストデータ出力制御サーバ３は音声認識確度正答率を計算する。図１１は情報処理装置５に表示される音声認識確度正答率の一例を示す画面の図である。音声認識後に確定させたテキストがｃｎ個とする。最初の確定テキストは「高速道路の」が正答であり、音声認識確度が９０％だったとすると、音声認識正答確度ＣＰの数値０．９に正答係数ｙを乗じ、それ以外のテキストは音声認識誤答確度ＩＰの数値と誤答係数ｚを乗じ、その総和を計算し、そのテキストの音声認識確度正答率Ｍ１とする。同様にＭ２、Ｍ３と計算を実施し、Ｍｋの総和に正答率変数ｗを乗じて、確定させたテキスト数ｃｎで割ると、音声認識確度正答率が求められる。変数ｙ、ｚ、ｗはそれぞれ深層学習で適切な数値に変更を加えていってもよい。

0101

（ステップＳ３２）
図９に戻り説明する。認識候補テキスト、及び修正テキストを受信した音声認識テキストデータ出力制御サーバ３は、辞書化する。例えば、音声認識確度正答率が高いテキストは音声認識確度が高いと判断し辞書化しなくてもよいが、音声認識確度正答率が低いテキストは優先的に辞書化を実施していく。全体の音声認識確度の数値が上がらない場合は、辞書を作成し始めるタイミングに１たる図６に示した出現スコア作成タイミングを深層学習によって進めてもよいし、戻してもよい。

0102

（ステップＳ３３）
音声認識テキストデータ出力制御サーバ３は、ステップＳ３１で辞書化した辞書データと、計算した音声認識確度正答率を、音声認識プログラムを有する音声認識処理サーバ２へ送信する。

0103

（ステップＳ３４）
音声認識処理サーバ２は受信したへ辞書データと、音声認識確度正答率を音声認識プログラムに組み込み、図２に図示した記憶部２３内の辞書データＤＩＤに辞書データを記憶する。例えば、この辞書データ、音声認識確度正答率を基に記憶部２３内の言語モデルデータＬＭＤのアップデートを行ってもよい。

0104

図１２は本発明の音声認識テキストと正答テキストを並列表示し、認識させた音声を再生しながら音声認識結果を確認する画面の一例を示す図である。例えば、音声認識テキストデータ出力制御サーバ３は図３に示した受信テキストログＲＴＬと、送信テキストログＳＴＬと、時刻付音声データＡＴＤ３を送信部（不図示）を使って情報処理装置５に送信する。受信テキストＲＴＬの音声認識確度が一番高い第一認識のテキストを５３４に表示し、送信テキストログＳＴＬを正答テキストログとして５３５に表示をする。５３３の再生ボタンを押下することによって、その欄に表示されたテキストにタグづけされた時刻５３６付近の時刻付音声データＡＴＤ３が再生される。その再生音声を発声した本人が確認すをることによって、どの音声が音声認識エンジンが認識しやすい音声かを、発声した本人が確認をすることが可能となり、その結果発声者がより音声認識制度が上がる音声を発声する補助となる。

0105

１リアルタイム音声入力処理装置
２音声認識処理サーバ
３音声認識テキストデータ出力制御サーバ
４形態素解析サーバ
５情報処理装置
２１ 音声認識処理サーバ送受信部
２２ 音声認識処理サーバ情報処理部
２３ 音声認識処理サーバ記憶部
３１ 音声認識テキストデータ出力制御サーバ送受信部
３２ 音声認識テキストデータ出力制御サーバ情報処理部
３３ 音声認識テキストデータ出力制御サーバ記憶部
４１ 形態素解析サーバ送受信部
４２ 形態素解析サーバ情報処理部
４３ 形態素解析サーバ記憶部
１００情報処理システム
２１１ リアルタイム音声データ受信部
２１２辞書テキストデータ受信部
２１３修正結果テキストデータ受信部
２１４音声認識結果テキストデータ／音声データ送信部
２２１音声認識部
２２２辞書データ生成部
２２３テキスト出力部
３１１ 音声認識結果テキスト／音声データ受信部
３１２放送用テキストデータ送信部
３１３辞書用修正結果テキストデータ送信部
３１４ 修正前テキスト／音声送信部
３２１音声認識結果修正処理部
３２２ 修正結果辞書生成部
３２３ 放送用テキスト出力部
３２４ 修正前テキスト／音声出力部
４１１ 外部テキスト受信部
４１２ 辞書データ送信部
４２１ 形態素解析部
４２２ルビ生成部
４２３ 辞書生成部
４２４出現スコア計算部
ＡＭＤ音響モデルデータ
ＡＴＤ２時刻付音声データ
ＡＴＤ３ 時刻付音声データ
ＤＩＤ 辞書データ
ＤＭＤ辞書生成データ
ＬＭＤ言語モデルデータ
ＭＤＤ修正結果辞書データ
ＭＤＴ形態素解析ツール
ＯＴＤ 外部テキストデータ
ＲＢＴルビ振りツール
ＲＴＬ受信テキストログ
ＳＴＬ送信テキストログ