図面 (/)

技術 情報提示方法、情報提示プログラム及び情報提示システム

出願人 パナソニックIPマネジメント株式会社
発明者 三浦康史星見昌克
出願日 2017年4月7日 (4年2ヶ月経過) 出願番号 2017-076693
公開日 2018年3月22日 (3年2ヶ月経過) 公開番号 2018-045675
状態 特許登録済
技術分野 音声入出力 音声の分析・合成 機械翻訳 音声認識
主要キーワード 接客者 時間マーク 基底周波数 説明対象 発話処理 接客業務 対話支援装置 提示指示
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2018年3月22日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (10)

課題

円滑な対話を実現することができる情報提示方法情報提示プログラム及び情報提示システムを提供する。

解決手段

音声認識部203は、対話に係る音声を音声認識することにより対話テキストを生成し、翻訳部204は、対話テキストを翻訳することにより対話翻訳テキストを生成し、音声波形合成部208は、対話翻訳テキストを音声合成することにより対話翻訳音声を生成し、意図理解部205は、対話テキストに基づいて補助情報が存在するか否かを判定し、通信部201は、補助情報が存在する場合、複数の話者のうちの少なくとも1人の前記情報提示システムの利用状況に応じて、補助情報が存在することを複数の話者のうちの少なくとも1人に提示するために補助情報及び対話翻訳音声を送信する。

概要

背景

従来、複数の話者による対話支援する対話支援装置において、対話の内容に応じて知識を補うための情報を提示して対話を支援する技術(例えば、特許文献1参照)が知られている。

概要

円滑な対話を実現することができる情報提示方法情報提示プログラム及び情報提示システムを提供する。音声認識部203は、対話に係る音声を音声認識することにより対話テキストを生成し、翻訳部204は、対話テキストを翻訳することにより対話翻訳テキストを生成し、音声波形合成部208は、対話翻訳テキストを音声合成することにより対話翻訳音声を生成し、意理解部205は、対話テキストに基づいて補助情報が存在するか否かを判定し、通信部201は、補助情報が存在する場合、複数の話者のうちの少なくとも1人の前記情報提示システムの利用状況に応じて、補助情報が存在することを複数の話者のうちの少なくとも1人に提示するために補助情報及び対話翻訳音声を送信する。

目的

ユーザ指示入力部112は、補助情報の提示を指示するユーザインタフェースを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

情報提示システムにおける情報提示方法であって、複数の話者による対話に係る音声音声認識することにより対話テキストを生成し、前記対話テキストを翻訳することにより対話翻訳テキストを生成し、前記対話翻訳テキストを音声合成することにより対話翻訳音声を生成し、前記対話テキストに基づいて前記対話を補助するための補助情報が存在するか否かを判定し、前記補助情報が存在する場合、前記複数の話者のうちの少なくとも1人の前記情報提示システムの利用状況に応じて、前記補助情報が存在することを前記複数の話者のうちの少なくとも1人に提示する、情報提示方法。

請求項2

前記複数の話者のうちの少なくとも1人から前記補助情報の提示指示受け付け、受け付けた前記提示指示に従って前記補助情報を提示する、請求項1記載の情報提示方法。

請求項3

前記対話翻訳テキストを音声波形合成することにより前記対話翻訳音声を生成し、前記補助情報を説明する説明テキストを前記対話テキストから特定し、前記説明テキストを音声分析合成することにより補助情報音声を生成する、請求項1又は2記載の情報提示方法。

請求項4

前記補助情報音声の基本周波数は、前記対話翻訳音声の基本周波数とは異なっている、請求項3記載の情報提示方法。

請求項5

第1の言語で質問する第1の話者の第1の音声を取得するとともに、前記第1の言語とは異なる第2の言語で前記質問に対して回答する第2の話者の第2の音声を取得し、前記第1の音声を音声認識することにより第1の対話テキストを生成し、前記第1の対話テキストを前記第2の言語に翻訳することにより第1の対話翻訳テキストを生成し、前記第1の対話翻訳テキストを音声合成することにより第1の対話翻訳音声を生成し、前記第2の音声を音声認識することにより第2の対話テキストを生成し、前記第2の対話テキストを前記第1の言語に翻訳することにより第2の対話翻訳テキストを生成し、前記第2の対話翻訳テキストを音声合成することにより第2の対話翻訳音声を生成し、前記第1の対話テキスト及び前記第2の対話テキストのうちの少なくとも一方に基づいて前記補助情報が存在するか否かを判定し、前記補助情報が存在する場合、前記第2の話者の前記情報提示システムの利用状況に応じて、前記補助情報が存在することを前記第1の話者及び前記第2の話者の少なくとも一方に提示する、請求項1〜4のいずれか1項に記載の情報提示方法。

請求項6

前記利用状況は、前記第1の言語に翻訳した回数を含み、前記補助情報が存在する場合、前記第1の言語に翻訳した回数が所定回数より多いか否かを判断し、前記第1の言語に翻訳した回数が所定回数より多いと判断した場合、前記補助情報が存在することを前記第2の話者に提示しない、請求項5記載の情報提示方法。

請求項7

前記利用状況は、前記第2の話者が前記情報提示システムの利用を開始してから現在までの利用時間を含み、前記補助情報が存在する場合、前記利用時間が所定時間より長いか否かを判断し、前記利用時間が所定時間より長いと判断した場合、前記補助情報が存在することを前記第2の話者に提示しない、請求項5記載の情報提示方法。

請求項8

前記補助情報は、説明対象を説明する情報を含み、前記利用状況は、同一の前記説明対象に対応する前記補助情報の提示回数を含み、前記補助情報が存在する場合、前記提示回数が所定回数より多いか否かを判断し、前記提示回数が所定回数より多いと判断した場合、前記補助情報が存在することを前記第2の話者に提示しない、請求項5記載の情報提示方法。

請求項9

コンピュータを、複数の話者による対話に係る音声を音声認識することにより対話テキストを生成する対話テキスト生成部と、前記対話テキストを翻訳することにより対話翻訳テキストを生成する対話翻訳テキスト生成部と、前記対話翻訳テキストを音声合成することにより対話翻訳音声を生成する対話翻訳音声生成部と、前記対話テキストに基づいて前記対話を補助するための補助情報が存在するか否かを判定する補助情報判定部と、前記補助情報が存在すると判定された場合、前記複数の話者のうちの少なくとも1人の前記コンピュータを構成要素とする情報提示システムの利用状況に応じて、前記補助情報が存在することを前記複数の話者のうちの少なくとも1人に提示するために前記補助情報及び前記対話翻訳音声を送信する送信部として機能させる、情報提示プログラム

請求項10

端末と、前記端末と通信可能に接続されたサーバとを備え、前記端末は、複数の話者による対話に係る音声を取得する音声取得部と、前記取得した音声を前記サーバへ送信する送信部と、を備え、前記サーバは、前記音声を受信する受信部と、前記対話に係る音声を音声認識することにより対話テキストを生成する対話テキスト生成部と、前記対話テキストを翻訳することにより対話翻訳テキストを生成する対話翻訳テキスト生成部と、前記対話翻訳テキストを音声合成することにより対話翻訳音声を生成する対話翻訳音声生成部と、前記対話テキストに基づいて前記対話を補助するための補助情報が存在するか否かを判定する補助情報判定部と、前記補助情報が存在すると判定された場合、前記複数の話者のうちの少なくとも1人の前記情報提示システムの利用状況に応じて、前記補助情報及び前記対話翻訳音声を前記端末へ送信する送信部と、を備え、前記端末は、前記補助情報及び前記対話翻訳音声を受信する受信部と、前記対話翻訳音声を出力する音声出力部と、前記補助情報が存在することを前記複数の話者のうちの少なくとも1人に提示する提示部と、を備える情報提示システム。

技術分野

0001

本開示は、複数の話者による対話に係る音声翻訳し、前記対話を補助するための補助情報提示する情報提示方法情報提示プログラム及び情報提示システムに関するものである。

背景技術

0002

従来、複数の話者による対話を支援する対話支援装置において、対話の内容に応じて知識を補うための情報を提示して対話を支援する技術(例えば、特許文献1参照)が知られている。

先行技術

0003

特開2013−73355号公報

発明が解決しようとする課題

0004

しかしながら、上記特許文献1では、更なる改善が必要とされていた。

課題を解決するための手段

0005

本開示の一態様に係る情報提示方法は、情報提示システムにおける情報提示方法であって、複数の話者による対話に係る音声を音声認識することにより対話テキストを生成し、前記対話テキストを翻訳することにより対話翻訳テキストを生成し、前記対話翻訳テキストを音声合成することにより対話翻訳音声を生成し、前記対話テキストに基づいて前記対話を補助するための補助情報が存在するか否かを判定し、前記補助情報が存在する場合、前記複数の話者のうちの少なくとも1人の前記情報提示システムの利用状況に応じて、前記補助情報が存在することを前記複数の話者のうちの少なくとも1人に提示する。

発明の効果

0006

上記態様によれば、更なる改善を実現することができる。

図面の簡単な説明

0007

本実施の形態の情報提示システムの翻訳端末の構成を示すブロック図である。
本実施の形態の情報提示システムの翻訳サーバの構成を示すブロック図である。
補助説明文記憶部に記憶される情報の一例を示す図である。
補助情報記憶部に記憶される情報の一例を示す図である。
本実施の形態における情報提示システムの動作を説明するためのフローチャートである。
翻訳端末及び翻訳サーバにおいて実行される客発話処理の動作を説明するためのフローチャートである。
翻訳端末及び翻訳サーバにおいて実行される店員発話処理の動作を説明するための第1のフローチャートである。
翻訳端末及び翻訳サーバにおいて実行される店員発話処理の動作を説明するための第2のフローチャートである。
補助情報が存在することを提示する際に、翻訳端末に表示される画面の一例を示す図である。

実施例

0008

(本開示に係る一態様を発明するに至った経緯)
まず、本開示に係る一態様の着眼点について説明する。

0009

上記特許文献1では、発話行為を示す発話行為タグと話者を示す話者タグとに基づいて補足情報を表示する技術を開示している。発話行為タグとしては、「挨拶」、「応答」及び「質問」などが示されている(特許文献1の図8参照)。また、補足情報を表示するタイミングとしては、話者と発話行為との組み合わせによって、情報提示の要否又は情報の提示タイミングを決める方法が示されている(特許文献1の図10)。

0010

このように、特許文献1では、発話行為と話者とに基づいて情報提示の要否及び情報の提示タイミングを制御することができる。しかしながら、情報提示の要否及び情報の提示タイミングは対話支援装置が決定するものであり、客又は接客者が決定するものではない。

0011

このように、対話支援装置が情報提示の要否及び情報の提示タイミングを決める場合、客が急いでいるため補足情報の提示を割愛したいという接客者の要望応えることができない。また、従来の対話支援装置では、対話支援装置を扱っている接客者が十分な知識を持っているため補足情報を提示する必要がない場合であっても、補足情報が通知されてしまう。

0012

また、特許文献1では、補足情報を提示する際に、補足情報の提示をユーザに知らせる方法として、音を鳴らす、表示を点滅させる、又は装置を振動させるなどの方法が示されている。しかしながら、これらの方法は、対話が主体である接客業務を妨げるおそれがあり、対話の中で自然な形で補足情報があることを知らせることができない。

0013

以上の課題を解決するために、本開示の一態様に係る情報提示方法は、情報提示システムにおける情報提示方法であって、複数の話者による対話に係る音声を音声認識することにより対話テキストを生成し、前記対話テキストを翻訳することにより対話翻訳テキストを生成し、前記対話翻訳テキストを音声合成することにより対話翻訳音声を生成し、前記対話テキストに基づいて前記対話を補助するための補助情報が存在するか否かを判定し、前記複数の話者のうちの少なくとも1人の前記情報提示システムの利用状況に応じて、前記補助情報が存在する場合、前記補助情報が存在することを前記複数の話者のうちの少なくとも1人に提示する。

0014

この構成によれば、複数の話者による対話に係る音声を音声認識することにより対話テキストが生成される。対話テキストを翻訳することにより対話翻訳テキストが生成される。対話翻訳テキストを音声合成することにより対話翻訳音声が生成される。対話テキストに基づいて対話を補助するための補助情報が存在するか否かが判定され、補助情報が存在する場合、複数の話者のうちの少なくとも1人の情報提示システムの利用状況に応じて、補助情報が存在することが複数の話者のうちの少なくとも1人に提示される。

0015

したがって、対話を補助するための補助情報が提示される前に、補助情報が存在することが提示されるので、必ずしも補助情報が提示されるのではなく、話者が補助情報の提示を必要としているときのみ、補助情報を提示させることができ、円滑な対話を実現することができる。

0016

また、上記の情報提示方法において、前記複数の話者のうちの少なくとも1人から前記補助情報の提示指示受け付け、受け付けた前記提示指示に従って前記補助情報を提示してもよい。

0017

この構成によれば、複数の話者のうちの少なくとも1人から補助情報の提示指示が受け付けられ、受け付けられた提示指示に従って補助情報が提示される。

0018

したがって、補助情報の提示を必要としている話者に、補助情報を提示することができる。

0019

また、上記の情報提示方法において、前記対話翻訳テキストを音声波形合成することにより前記対話翻訳音声を生成し、前記補助情報を説明する説明テキストを前記対話テキストから特定し、前記説明テキストを音声分析合成することにより補助情報音声を生成してもよい。

0020

この構成によれば、対話翻訳テキストを音声波形合成することにより対話翻訳音声が生成される。補助情報を説明する説明テキストが対話テキストから特定される。説明テキストを音声分析合成することにより補助情報音声が生成される。

0021

したがって、補助情報を説明する説明テキストを音声分析合成することにより補助情報音声が生成されるので、補助情報を音声により提示することができる。

0022

また、上記の情報提示方法において、前記補助情報音声の基本周波数は、前記対話翻訳音声の基本周波数とは異なっていてもよい。

0023

この構成によれば、補助情報音声の基本周波数は、対話翻訳音声の基本周波数とは異なっているので、話者は、発話を翻訳した音声と、情報提示システムから提示される補助情報の音声とを区別することができる。

0024

また、上記の情報提示方法において、第1の言語で質問する第1の話者の第1の音声を取得するとともに、前記第1の言語とは異なる第2の言語で前記質問に対して回答する第2の話者の第2の音声を取得し、前記第1の音声を音声認識することにより第1の対話テキストを生成し、前記第1の対話テキストを前記第2の言語に翻訳することにより第1の対話翻訳テキストを生成し、前記第1の対話翻訳テキストを音声合成することにより第1の対話翻訳音声を生成し、前記第2の音声を音声認識することにより第2の対話テキストを生成し、前記第2の対話テキストを前記第1の言語に翻訳することにより第2の対話翻訳テキストを生成し、前記第2の対話翻訳テキストを音声合成することにより第2の対話翻訳音声を生成し、前記第1の対話テキスト及び前記第2の対話テキストのうちの少なくとも一方に基づいて前記補助情報が存在するか否かを判定し、前記補助情報が存在する場合、前記第2の話者の前記情報提示システムの利用状況に応じて、前記補助情報が存在することを前記第1の話者及び前記第2の話者の少なくとも一方に提示してもよい。

0025

この構成によれば、第1の言語で質問する第1の話者の第1の音声が取得されるとともに、第1の言語とは異なる第2の言語で質問に対して回答する第2の話者の第2の音声が取得される。第1の音声を音声認識することにより第1の対話テキストが生成される。第1の対話テキストを第2の言語に翻訳することにより第1の対話翻訳テキストが生成される。第1の対話翻訳テキストを音声合成することにより第1の対話翻訳音声が生成される。第2の音声を音声認識することにより第2の対話テキストが生成される。第2の対話テキストを第1の言語に翻訳することにより第2の対話翻訳テキストが生成される。第2の対話翻訳テキストを音声合成することにより第2の対話翻訳音声が生成される。第1の対話テキスト及び第2の対話テキストのうちの少なくとも一方に基づいて補助情報が存在するか否かが判定される。補助情報が存在する場合、第2の話者の情報提示システムの利用状況に応じて、補助情報が存在することが第1の話者及び第2の話者の少なくとも一方に提示される。

0026

したがって、第1の話者が第1の言語で質問し、第2の話者が第2の言語で回答する際に、第2の話者が補助情報の提示を必要としているときのみ、補助情報を提示させることができ、円滑な対話を実現することができる。

0027

また、上記の情報提示方法において、前記利用状況は、前記第1の言語に翻訳した回数を含み、前記補助情報が存在する場合、前記第1の言語に翻訳した回数が所定回数より多いか否かを判断し、前記第1の言語に翻訳した回数が所定回数より多いと判断した場合、前記補助情報が存在することを前記第2の話者に提示しなくてもよい。

0028

この構成によれば、利用状況は、第1の言語に翻訳した回数を含む。補助情報が存在する場合、第1の言語に翻訳した回数が所定回数より多いか否かが判断される。第1の言語に翻訳した回数が所定回数より多いと判断された場合、補助情報が存在することが第2の話者に提示されない。

0029

したがって、第1の言語に翻訳した回数が所定回数より多い場合、第2の話者にとって補助情報は既知の情報であると推定することができるので、補助情報が存在することを提示する必要がなく、不要な情報を提示する処理を省略することができる。

0030

また、上記の情報提示方法において、前記利用状況は、前記第2の話者が前記情報提示システムの利用を開始してから現在までの利用時間を含み、前記補助情報が存在する場合、前記利用時間が所定時間より長いか否かを判断し、前記利用時間が所定時間より長いと判断した場合、前記補助情報が存在することを前記第2の話者に提示しなくてもよい。

0031

この構成によれば、利用状況は、第2の話者が情報提示システムの利用を開始してから現在までの利用時間を含む。補助情報が存在する場合、利用時間が所定時間より長いか否かが判断される。利用時間が所定時間より長いと判断された場合、補助情報が存在することが第2の話者に提示されない。

0032

したがって、第2の話者による情報提示システムの利用時間が所定時間より長い場合、第2の話者にとって補助情報は既知の情報であると推定することができるので、補助情報が存在することを提示する必要がなく、不要な情報を提示する処理を省略することができる。

0033

また、上記の情報提示方法において、前記補助情報は、説明対象を説明する情報を含み、前記利用状況は、同一の前記説明対象に対応する前記補助情報の提示回数を含み、前記補助情報が存在する場合、前記提示回数が所定回数より多いか否かを判断し、前記提示回数が所定回数より多いと判断した場合、前記補助情報が存在することを前記第2の話者に提示しなくてもよい。

0034

この構成によれば、補助情報は、説明対象を説明する情報を含む。利用状況は、同一の説明対象に対応する補助情報の提示回数を含む。補助情報が存在する場合、提示回数が所定回数より多いか否かが判断される。提示回数が所定回数より多いと判断された場合、補助情報が存在することが第2の話者に提示されない。

0035

したがって、同一の説明対象に対応する補助情報の提示回数が所定回数より多い場合、第2の話者にとって補助情報は既知の情報であると推定することができるので、補助情報が存在することを提示する必要がなく、不要な情報を提示する処理を省略することができる。

0036

本開示の他の態様に係る情報提示プログラムは、コンピュータを、複数の話者による対話に係る音声を音声認識することにより対話テキストを生成する対話テキスト生成部と、前記対話テキストを翻訳することにより対話翻訳テキストを生成する対話翻訳テキスト生成部と、前記対話翻訳テキストを音声合成することにより対話翻訳音声を生成する対話翻訳音声生成部と、前記対話テキストに基づいて前記対話を補助するための補助情報が存在するか否かを判定する補助情報判定部と、前記補助情報が存在すると判定された場合、前記複数の話者のうちの少なくとも1人の前記コンピュータを構成要素とする情報提示システムの利用状況に応じて、前記補助情報が存在することを前記複数の話者のうちの少なくとも1人に提示するために前記補助情報及び前記対話翻訳音声を送信する送信部として機能させる。

0037

この構成によれば、複数の話者による対話に係る音声を音声認識することにより対話テキストが生成される。対話テキストを翻訳することにより対話翻訳テキストが生成される。対話翻訳テキストを音声合成することにより対話翻訳音声が生成される。対話テキストに基づいて対話を補助するための補助情報が存在するか否かが判定され、補助情報が存在する場合、複数の話者のうちの少なくとも1人のコンピュータを構成要素とする情報提示システムの利用状況に応じて、補助情報が存在することを複数の話者のうちの少なくとも1人に提示するために補助情報及び対話翻訳音声が送信される。

0038

したがって、対話を補助するための補助情報が提示される前に、補助情報が存在することが提示されるので、必ずしも補助情報が提示されるのではなく、話者が補助情報の提示を必要としているときのみ、補助情報を提示させることができ、円滑な対話を実現することができる。

0039

本開示の他の態様に係る情報提示システムは、端末と、前記端末と通信可能に接続されたサーバとを備え、前記端末は、複数の話者による対話に係る音声を取得する音声取得部と、前記取得した音声を前記サーバへ送信する送信部と、を備え、前記サーバは、前記音声を受信する受信部と、前記対話に係る音声を音声認識することにより対話テキストを生成する対話テキスト生成部と、前記対話テキストを翻訳することにより対話翻訳テキストを生成する対話翻訳テキスト生成部と、前記対話翻訳テキストを音声合成することにより対話翻訳音声を生成する対話翻訳音声生成部と、前記対話テキストに基づいて前記対話を補助するための補助情報が存在するか否かを判定する補助情報判定部と、前記補助情報が存在すると判定された場合、前記複数の話者のうちの少なくとも1人の前記情報提示システムの利用状況に応じて、前記補助情報及び前記対話翻訳音声を前記端末へ送信する送信部と、を備え、前記端末は、前記補助情報及び前記対話翻訳音声を受信する受信部と、前記対話翻訳音声を出力する音声出力部と、前記補助情報が存在することを前記複数の話者のうちの少なくとも1人に提示する提示部と、を備える。

0040

この構成によれば、端末において、複数の話者による対話に係る音声が取得される。取得された音声がサーバへ送信される。サーバにおいて、音声が受信される。対話に係る音声を音声認識することにより対話テキストが生成される。対話テキストを翻訳することにより対話翻訳テキストが生成される。対話翻訳テキストを音声合成することにより対話翻訳音声が生成される。対話テキストに基づいて対話を補助するための補助情報が存在するか否かが判定される。補助情報が存在すると判定された場合、複数の話者のうちの少なくとも1人の情報提示システムの利用状況に応じて、補助情報及び対話翻訳音声が端末へ送信される。端末において、補助情報及び対話翻訳音声が受信される。対話翻訳音声が出力される。補助情報が存在することが複数の話者のうちの少なくとも1人に提示される。

0041

したがって、対話を補助するための補助情報が提示される前に、補助情報が存在することが提示されるので、必ずしも補助情報が提示されるのではなく、話者が補助情報の提示を必要としているときのみ、補助情報を提示させることができ、円滑な対話を実現することができる。

0042

(実施の形態)
以下、本開示の実施の形態について図面を参照しながら説明する。なお、各図面において、同じ構成要素については同じ符号が用いられている。また、以下の実施の形態は、本開示を具体化した一例であって、本開示の技術的範囲を限定するものではない。

0043

図1は、本実施の形態の情報提示システムの翻訳端末の構成を示すブロック図である。

0044

情報提示システムは、複数の話者による対話に係る音声を翻訳し、対話を補助するための補助情報を提示する。情報提示システムは、翻訳端末100と翻訳サーバ200とを備える。翻訳端末100と翻訳サーバ200とは、ネットワークを介して互いに通信可能に接続されている。

0045

翻訳端末100は、例えば、タブレット型コンピュータスマートフォン携帯電話機又はノート型PC(パーソナルコンピュータ)であってもよい。また、翻訳端末100は、複数の話者による対話に係る音声を翻訳するための専用の端末であってもよい。

0046

図1に示されるように、本実施の形態の情報提示システムの翻訳端末100は、音声入力部101、フォーマット変換部102、応答制御部103、通信部104、音声出力部105、応答保持部106、補助情報提示設定部107、補助情報有無判定部108、補助情報提示判定部109、補助情報提示部110、映像出力部111及びユーザ指示入力部112を備える。

0047

音声入力部101は、例えば訪日外国人などの日本語以外の言語を話す客、又は日本語を話す店員の音声を収集してアナログ音声信号を生成する。音声入力部101は、対話する複数の話者が発話した音声信号を取得する。

0048

フォーマット変換部102は、音声入力部101で生成したアナログ音声信号を例えばパルス符号変調PCM)によりデジタルデータに変換してPCM音声信号を生成する。

0049

応答制御部103は、音声入力部101から入力された発話音声の話者を判定する。また、応答制御部103は、フォーマット変換部102で生成されたPCM音声信号、及び応答保持部106に保持される客の発話を翻訳した結果を翻訳サーバ200へ送信する。また、応答制御部103は、翻訳結果、及び補助情報に関するコンテンツ情報を翻訳サーバ200から受信する。また、応答制御部103は、翻訳サーバ200から受信した翻訳結果を、音声出力部105を通じて音声出力する。また、応答制御部103は、補助情報の取得、及びユーザ指示入力部112から入力された店員の指示に従って、取得した補助情報の提示制御を行う。

0050

通信部104は、インターネットなどの通信回線を介して翻訳サーバ200とデータ通信を行う。通信部104は、複数の話者による対話に係る音声を翻訳サーバ200へ送信する。通信部104は、客の発話を翻訳した結果と、店員の発話を翻訳した結果と、店員の発話及び客の発話に対応する補助情報とを翻訳サーバ200から受信する。

0051

音声出力部105は、翻訳サーバ200から受信した客の発話を翻訳した結果と、店員の発話を翻訳した結果と、店員の発話及び客の発話に対応する補助情報とを音声出力する。

0052

応答保持部106は、例えば不揮発性メモリであり、翻訳サーバ200から受信した客の発話を翻訳した結果を保持する。

0053

補助情報提示設定部107は、補助情報を提示するか否かを設定するとともに、設定した補助情報を提示するか否かを示す提示要否情報を記憶する。店員は、補助情報提示設定画面などのユーザインタフェースを通じて、補助情報を提示するか否かを予め設定することが可能である。つまり、補助情報提示設定部107が補助情報を提示しないことを示す提示要否情報を設定することにより、店員は、補助情報の割り込みなしに、翻訳機能を利用した接客業務を遂行することができる。

0054

補助情報有無判定部108は、店員の発話及び客の発話に対応する補助情報が存在するか否かを判定する。

0055

補助情報提示判定部109は、補助情報提示設定部107の設定内容、補助情報有無判定部108の判定結果、及びユーザ指示入力部112から入力されたユーザ指示内容に基づいて、補助情報を提示するか否かを判定する。

0056

補助情報提示部110は、店員の発話及び客の発話に対応する補助情報を、音声出力部105及び映像出力部111を介して提示する。

0057

映像出力部111は、店員の発話及び客の発話に対応する補助情報(コンテンツ情報)を表示する。

0058

ユーザ指示入力部112は、補助情報の提示を指示するユーザインタフェースを提供する。

0059

図2は、本実施の形態の情報提示システムの翻訳サーバの構成を示すブロック図である。

0060

図2に示されるように、本実施の形態の情報提示システムの翻訳サーバ200は、通信部201、制御部202、音声認識部203、翻訳部204、意図理解部205、補助説明文記憶部206、補助情報記憶部207、音声波形合成部208及び音声分析合成部209を備える。

0061

通信部201は、インターネットなどの通信回線を介して翻訳端末100とデータ通信を行う。

0062

制御部202は、音声認識部203、翻訳部204、意図理解部205、音声波形合成部208及び音声分析合成部209を制御することにより、翻訳端末100から受信した客の音声又は店員の音声を翻訳し、その翻訳結果を音声合成する。また、制御部202は、客の発話及び店員の発話の意図を理解し、その発話意図に応じた補助説明及び補助情報を決定する。

0063

音声認識部203は、客の音声又は店員の音声を認識し、対話テキストを生成する。音声認識部203は、対話に係る音声を音声認識することにより対話テキストを生成する。

0064

翻訳部204は、音声認識部203で生成された対話テキストを翻訳することにより対話翻訳テキストを生成する。

0065

意図理解部205は、対話テキストに基づいて補助情報が存在するか否かを判定する。意図理解部205は、客又は店員の対話テキストから説明対象であるエンティティを抽出し、対話テキストから発話の意図を分類し、エンティティ及び意図に応じた補助情報が存在するか否かを判定する。発話の意図としては、例えば、エンティティへの行き方に関する発話であるのか、エンティティの情報に関する発話であるのかを示す。意図理解部205は、補助情報を説明する説明テキストを対話テキストから特定する。

0066

補助説明文記憶部206は、例えば不揮発性メモリであり、補助情報を提示する際に、翻訳端末100が音声で出力する説明文を記憶する。

0067

図3は、補助説明文記憶部206に記憶される情報の一例を示す図である。説明文ID301は、補助説明文記憶部206に記憶する説明文の識別子である。補助情報説明文302は、補助情報を説明する説明文を示す説明テキストである。補助説明文記憶部206は、説明文ID301と、補助情報説明文302とを対応付けて記憶している。

0068

補助情報記憶部207は、例えば不揮発性メモリであり、客又は店員の対話テキストから抽出されたエンティティと、対話テキストの発話意図と、エンティティ及び発話意図に応じた説明文とを対応付けて記憶する。

0069

図4は、補助情報記憶部207に記憶される情報の一例を示す図である。エンティティ401は、客又は店員の対話テキストに含まれる説明対象である。コンテンツID402は、エンティティ401の識別子である。意図ID403は、客又は店員の発話意図の識別子である。例えば、意図ID「0001」は、エンティティへの行き方に対応し、意図ID「0002」はエンティティの情報に対応している。説明文ID404は、エンティティの説明に用いる説明文の識別子である。コンテンツ情報は、エンティティの説明に用いる画像情報保存先を示すアドレスである。

0070

音声波形合成部208は、波形合成型の音声合成を行う。波形合成型の音声合成とは、予め録音された音の断片を連結することにより、音声を合成する手法である。波形合成型の音声合成は、一般的に分析合成型の音声合成よりも品質が高く、人の声に近い特徴を持つ。音声波形合成部208は、対話テキストを翻訳した対話翻訳テキストを音声波形合成することにより対話翻訳音声を生成する。

0071

音声分析合成部209は、分析合成型の音声合成を行う。分析合成型の音声合成とは、基底周波数又は音色などのパラメータを調整することにより、音声を合成する手法である。分析合成型の音声合成により生成された音声は、ロボット的に聞こえる音声になるという特徴を持つため、人の声と間違えることはない。音声分析合成部209は、補助情報を説明する説明テキストを音声分析合成することにより補助情報音声を生成する。補助情報音声の基本周波数は、対話翻訳音声の基本周波数とは異なっている。

0072

通信部201は、補助情報が存在すると判定された場合、補助情報が存在することを複数の話者のうちの少なくとも1人に提示するために補助情報及び対話翻訳音声を翻訳端末100に送信する。翻訳端末100の応答制御部103は、翻訳サーバ200から補助情報を受信すると、補助情報が存在することを複数の話者のうちの少なくとも1人に提示する。ユーザ指示入力部112は、複数の話者のうちの少なくとも1人から補助情報の提示指示を受け付ける。補助情報提示部110は、受け付けた提示指示に従って補助情報を提示する。

0073

上記のように、通信部201は、第1の言語で質問する第1の話者(客)の第1の音声を取得するとともに、第1の言語とは異なる第2の言語で質問に対して回答する第2の話者(店員)の第2の音声を取得する。音声認識部203は、第1の音声を音声認識することにより第1の対話テキストを生成する。翻訳部204は、第1の対話テキストを第2の言語に翻訳することにより第1の対話翻訳テキストを生成する。音声波形合成部208は、第1の対話翻訳テキストを音声合成することにより第1の対話翻訳音声を生成する。音声認識部203は、第2の音声を音声認識することにより第2の対話テキストを生成する。翻訳部204は、第2の対話テキストを第1の言語に翻訳することにより第2の対話翻訳テキストを生成する。音声波形合成部208は、第2の対話翻訳テキストを音声合成することにより第2の対話翻訳音声を生成する。意図理解部205は、第1の対話テキスト及び第2の対話テキストのうちの少なくとも一方に基づいて補助情報が存在するか否かを判定する。補助情報提示判定部109は、補助情報が存在する場合、補助情報が存在することを第1の話者(客)及び第2の話者(店員)の少なくとも一方に提示する。

0074

図5は、本実施の形態における情報提示システムの動作を説明するためのフローチャートである。本実施の形態では、客と店員とが対話する例について説明する。客が話す言語と、店員が話す言語とは異なる。情報提示システムは、客の発話を翻訳してから音声出力するとともに、店員の発話を翻訳してから音声出力する。図5に示す情報提示システムの動作は、客が発話してから開始される。

0075

まず、翻訳端末100の音声入力部101は、発話音声を取得し、音声信号を生成する(ステップS1)。客は翻訳端末100に対して発話する。客の話す言語及び店員の話す言語は、予め設定されている、もしくは、発話前に客又は店員によって選択される。さらに、翻訳端末100のフォーマット変換部102は、音声入力部101で生成した音声信号を例えばパルス符号変調(PCM)によりデジタルデータに変換し、PCM音声信号を生成する。

0076

次に、翻訳端末100の応答制御部103は、取得された発話音声が客の発話音声であるか否かを判定する(ステップS2)。例えば、翻訳端末100は、客による音声入力を受け付けるための客用音声入力開始タンと、店員による音声入力を受け付けるための店員用音声入力開始ボタンとを備えてもよい。ユーザ指示入力部112は、客用音声入力開始ボタンと店員用音声入力開始ボタンとのいずれが押下されたかを判断する。応答制御部103は、客用音声入力開始ボタンが押下された後に取得された発話音声は客からの発話音声であると判定し、店員用音声入力開始ボタンが押下された後に取得された発話音声は店員からの発話音声であると判定する。

0077

なお、翻訳端末100は、客による音声入力を受け付ける客用音声入力デバイスと、店員による音声入力を受け付ける店員用音声入力デバイスとを備えてもよい。また、応答制御部103は、入力された発話音声の言語を判別することにより、客による発話音声であるか、店員による発話音声であるかを判定してもよい。また、取得された発話音声が客の発話音声であるか否かを判定する判定方法については、どのような判定方法を用いてもよい。

0078

発話音声が客の発話音声であると判定された場合(ステップS2でYES)、後述する客発話処理が行われる(ステップS3)。また、発話音声が客の発話音声ではないと判定された場合、すなわち、発話音声が店員の発話音声であると判定された場合(ステップS2でNO)、後述する店員発話処理が行われる(ステップS4)。

0079

図6は、翻訳端末100及び翻訳サーバ200において実行される客発話処理の動作を説明するためのフローチャートである。図6の客発話処理は、翻訳端末100の応答制御部103によって発話音声が客の発話音声であると判定された場合に開始される。

0080

まず、翻訳端末100の通信部104は、客発話のPCM音声信号、客の発話であることを示す識別子、客発話の言語種別及び店員発話の言語種別を含む客発話情報を翻訳サーバ200に送信する(ステップS11)。

0081

次に、翻訳サーバ200の通信部201は、翻訳端末100によって送信された客発話情報を受信する(ステップS12)。

0082

次に、翻訳サーバ200の音声認識部203は、受信した客発話のPCM音声信号及び客発話の言語種別を用いて、PCM音声信号を音声認識し、客発話の対話テキストを生成する(ステップS13)。

0083

次に、翻訳サーバ200の翻訳部204は、生成された客発話の対話テキスト、客発話の言語種別及び店員発話の言語種別を用いて、客の言語の対話テキストを店員の言語に翻訳し、客発話の対話翻訳テキストを生成する(ステップS14)。

0084

次に、翻訳サーバ200の音声波形合成部208は、生成された客発話の対話翻訳テキスト及び店員発話の言語種別を用いて、客発話の対話翻訳テキストを音声合成し、客発話の翻訳合成音声を生成する(ステップS15)。

0085

次に、翻訳サーバ200の通信部201は、客発話の対話翻訳テキスト、客発話の翻訳合成音声、客の発話であることを示す識別子及び店員発話の言語種別を含む客発話翻訳情報を翻訳端末100に送信する(ステップS16)。

0086

次に、翻訳端末100の通信部104は、翻訳サーバ200によって送信された客発話翻訳情報を受信する(ステップS17)。

0087

次に、翻訳端末100の応答制御部103は、受信した客発話の対話翻訳テキスト及び店員発話の言語種別を応答保持部106に記憶する(ステップS18)。

0088

次に、翻訳端末100の音声出力部105は、受信した客発話の翻訳合成音声を音声出力する(ステップS19)。なお、映像出力部111は、客発話の翻訳合成音声が音声出力される際に、表示画面上にキャラクタを表示し、あたかも表示画面上のキャラクタが話しているように表示制御してもよい。

0089

図7は、翻訳端末100及び翻訳サーバ200において実行される店員発話処理の動作を説明するための第1のフローチャートであり、図8は、翻訳端末100及び翻訳サーバ200において実行される店員発話処理の動作を説明するための第2のフローチャートである。図7の店員発話処理は、翻訳端末100の応答制御部103によって発話音声が店員の発話音声であると判定された場合に開始される。

0090

まず、翻訳端末100の応答制御部103は、応答保持部106に保持されている客発話の対話翻訳テキストを取得する(ステップS21)。

0091

次に、翻訳端末100の通信部104は、店員発話のPCM音声信号、店員の発話であることを示す識別子、店員発話の言語種別、客発話の言語種別及び応答保持部106から取得した客発話の対話翻訳テキストを含む店員発話情報を翻訳サーバ200に送信する(ステップS22)。

0092

次に、翻訳サーバ200の通信部201は、翻訳端末100によって送信された店員発話情報を受信する(ステップS23)。

0093

次に、翻訳サーバ200の音声認識部203は、受信した店員発話のPCM音声信号及び店員発話の言語種別を用いて、PCM音声信号を音声認識し、店員発話の対話テキストを生成する(ステップS24)。

0094

次に、翻訳サーバ200の翻訳部204は、生成された店員発話の対話テキスト、店員発話の言語種別及び客発話の言語種別を用いて、店員の言語の対話テキストを客の言語に翻訳し、店員発話の対話翻訳テキストを生成する(ステップS25)。

0095

次に、翻訳サーバ200の音声波形合成部208は、生成された店員発話の対話翻訳テキスト及び客発話の言語種別を用いて、店員発話の対話翻訳テキストを音声合成し、店員発話の翻訳合成音声を生成する(ステップS26)。

0096

次に、翻訳サーバ200の意図理解部205は、客発話の対話翻訳テキスト及び店員発話の対話テキストを用いて、客発話及び店員発話の意図を理解する(ステップS27)。すなわち、意図理解部205は、客発話の対話翻訳テキスト及び店員発話の対話テキストからエンティティを抽出し、客発話の対話翻訳テキスト及び店員発話の対話テキストから、発話がエンティティへの行き方をねる発話であるか、発話がエンティティについての情報を尋ねる発話であるかを分類する意図IDを取得する。エンティティの抽出は、機械学習などの統計的方法を用いてもよいし、文法ルールを用いてもよい。また、分類の方法は、機械学習などの統計的方法を用いてもよいし、対話翻訳テキスト及び対話テキストに含まれる表現から所定のルールで推定する方法を用いてもよい。

0097

次に、翻訳サーバ200の意図理解部205は、取得したエンティティ及び意図IDを用いて、補助情報が存在するか否かを判定する(ステップS28)。意図理解部205は、エンティティ及び意図IDを用いて補助情報記憶部207を検索することにより、補助情報が存在するか否かを判定する。意図理解部205は、取得したエンティティ及び意図IDに対応する補助情報が補助情報記憶部207に存在する場合は、補助情報が存在すると判定し、取得したエンティティ及び意図IDに対応する補助情報が補助情報記憶部207に存在しない場合は、補助情報が存在しないと判定する。

0098

ここで、補助情報が存在しないと判定された場合(ステップS28でNO)、ステップS32の処理へ移行する。

0099

一方、補助情報が存在すると判定された場合(ステップS28でYES)、翻訳サーバ200の制御部202は、補助情報の説明テキスト及びコンテンツ情報を取得する(ステップS29)。制御部202は、取得したエンティティ及び意図IDに対応する説明文IDを補助情報記憶部207から取得し、取得した説明文IDに対応する説明テキスト(説明文)を補助説明文記憶部206から取得する。また、制御部202は、取得したエンティティ及び意図IDに対応するコンテンツ情報を補助情報記憶部207から取得する。

0100

なお、説明テキスト及びコンテンツ情報が必ずしも存在するとは限らず、制御部202は、コンテンツ情報がない場合、説明テキストのみを取得してもよく、説明テキストがない場合、コンテンツ情報のみを取得してもよい。

0101

次に、翻訳サーバ200の翻訳部204は、補助情報の説明テキスト、説明テキストの言語種別及び客発話の言語種別を用いて、補助情報の説明テキストを客の言語に翻訳し、補助情報の説明翻訳テキストを生成する(ステップS30)。

0102

次に、翻訳サーバ200の音声分析合成部209は、生成された補助情報の説明翻訳テキスト及び客発話の言語種別を用いて、補助情報の説明翻訳テキストを音声合成し、補助情報の翻訳合成音声を生成する(ステップS31)。

0103

次に、翻訳サーバ200の通信部201は、店員発話の対話翻訳テキスト、店員発話の翻訳合成音声、店員の発話であることを示す識別子、説明翻訳テキスト、補助情報の翻訳合成音声、客発話の言語種別及びコンテンツ情報を含む店員発話翻訳情報を翻訳端末100に送信する(ステップS32)。なお、ステップS28で補助情報が存在しないと判定された場合は、説明翻訳テキスト、補助情報の翻訳合成音声及びコンテンツ情報は送信されない。すなわち、補助情報が存在しないと判定された場合、通信部201は、店員発話の対話翻訳テキスト、店員発話の翻訳合成音声、店員の発話であることを示す識別子及び客発話の言語種別を含む店員発話翻訳情報を翻訳端末100に送信する。

0104

次に、翻訳端末100の通信部104は、翻訳サーバ200によって送信された店員発話翻訳情報を受信する(ステップS33)。

0105

次に、翻訳端末100の音声出力部105は、通信部104によって受信された店員発話翻訳情報に含まれる店員発話の翻訳合成音声を音声出力する(ステップS34)。なお、映像出力部111は、店員発話の翻訳合成音声が音声出力される際に、表示画面上にキャラクタを表示し、あたかも表示画面上のキャラクタが話しているように表示制御してもよい。

0106

次に、翻訳端末100の補助情報有無判定部108は、通信部104によって受信された店員発話翻訳情報に補助情報(説明翻訳テキスト、補助情報の翻訳合成音声及びコンテンツ情報)が含まれているか否かを判定する(ステップS35)。ここで、補助情報が含まれていないと判定された場合(ステップS35でNO)、処理を終了する。

0107

一方、補助情報が含まれていると判定された場合(ステップS35でYES)、翻訳端末100の補助情報提示判定部109は、補助情報提示設定部107の設定情報から補助情報を提示するか否かを判定する。設定情報には、補助情報を提示するか否かが予め設定されている。ここで、補助情報を提示しないと判定された場合(ステップS36でNO)、処理を終了する。

0108

一方、補助情報を提示すると判定された場合(ステップS36でYES)、翻訳端末100の補助情報提示判定部109は、補助情報が存在することを客及び店員の少なくとも一方に提示する(ステップS37)。補助情報が存在することが提示されることにより、店員又は客が補助情報を提示するか否かを決定することができる。すなわち、店員にとって補助情報の提示が不要である場合は、店員は、補助情報を提示させることなく、客との対話をそのまま続けることができ、店員にとって補助情報の提示が必要である場合は、店員は、客との対話を中断して、補助情報を提示させることができる。

0109

図9は、補助情報が存在することを提示する際に、翻訳端末に表示される画面の一例を示す図である。例えば、補助情報提示判定部109は、翻訳端末100の画面11に補助情報が存在することを示すマーク12を表示することにより、補助情報が存在することを提示する。

0110

なお、補助情報提示判定部109は、補助情報が存在することを示す通知音を音声出力することにより、補助情報が存在することを提示してもよい。

0111

次に、翻訳端末100の補助情報提示判定部109は、ユーザ指示入力部112から補助情報を提示するユーザ指示があるか否かを判定する(ステップS38)。ここで、ユーザ指示がないと判定された場合(ステップS38でNO)、処理を終了する。ユーザ指示入力部112は、翻訳端末100の画面11に表示された補助情報が存在することを示すマーク12がタッチされることにより、ユーザ指示を受け付けてもよい。なお、マーク12が表示された後、所定の時間マーク12がタッチされない場合、補助情報提示判定部109は、マーク12を消去させてもよい。

0112

なお、補助情報提示判定部109は、翻訳端末100に設けられたLEDを点灯又は点滅させることにより、補助情報が存在することを提示してもよい。この場合、ユーザ指示入力部112は、翻訳端末100に設けられたボタンが押下されることにより、ユーザ指示を受け付けてもよい。また、LEDが点灯又は点滅された後、所定の時間ボタンが押下されない場合、補助情報提示判定部109は、LEDを消灯させてもよい。

0113

一方、ユーザ指示があると判定された場合(ステップS38でYES)、翻訳端末100の補助情報提示部110は、音声出力部105を介して補助情報の翻訳合成音声を音声出力する(ステップS39)。

0114

次に、翻訳端末100の補助情報提示部110は、映像出力部111を介して補助情報のコンテンツ情報を表示する(ステップS40)。なお、補助情報提示部110は、コンテンツ情報を表示することなく、補助情報の翻訳合成音声のみを出力してもよい。また、補助情報提示部110は、補助情報の翻訳合成音声を出力することなく、コンテンツ情報のみを表示してもよい。

0115

なお、本実施の形態の情報提示システムでは、ステップS27に示す意図理解処理及びステップS28に示す補助情報が存在するか否かの判定処理は、店員発話の言語によって行われているが、客発話の言語によって行ってもよい。その場合、ステップS27及びステップS28の処理は、客発話の対話翻訳テキストの代わりに客発話の対話テキストを用いて行われるとともに、店員発話の対話テキストの代わりに店員発話の対話翻訳テキストを用いて行われる。

0116

なお、本実施の形態の情報提示システムでは、客と店員とが異なる言語を話す場合を想定して説明しているが、客と店員とが同じ言語を話す場合にも利用することが可能である。その場合、図6のステップS14、ステップS15、ステップS19、図7のステップS25、ステップS26、及び図8のステップS34の処理を省略してもよい。

0117

また、翻訳サーバ200は店員を識別する識別情報と、店員発話回数とを対応付けて記憶する発話回数記憶部を備えてもよい。補助情報が存在すると判定された場合、翻訳サーバ200の制御部202は、発話回数を参照し、店員発話の回数が所定回数より多いか否かを判断してもよい。店員発話が所定回数より多いと判断した場合、補助情報の提示は不要と判断し、補助情報が存在することを提示しなくてもよい。

0118

ここで、客と店員との具体的な対話について説明する。例えば、客が、日本語を話す店員に対し、英語で「アメリカ荷物送りたいのですが」と発話した場合、情報提示システムは、この客の発話を日本語に翻訳して音声出力する。そして、店員は、日本語で「国際宅配便があります」と発話し、情報提示システムは、この店員の発話を英語に翻訳して音声出力する。このとき、情報提示システムは、店員の対話テキストから、「国際宅配便」という文言をエンティティ(説明対象)として抽出し、国際宅配便に関する補助情報を取得する。情報提示システムは、補助情報が存在することを店員に提示する。情報提示システムは、店員から補助情報の提示指示を受け付けた場合、「国際宅配便で送ることができる荷物のサイズは160cmまで、重さは25kgまでです」という補助情報を音声出力する。

0119

なお、翻訳サーバ200は、店員を識別する識別情報と、客発話の言語に翻訳した回数とを対応付けて記憶する翻訳回数記憶部をさらに備えてもよい。そして、補助情報が存在すると判定された場合、翻訳サーバ200の制御部202は、翻訳回数記憶部を参照し、客発話の言語に翻訳した回数が所定回数より多いか否かを判断してもよい。制御部202は、客発話の言語に翻訳した回数が所定回数より多いと判断した場合、補助情報の提示は不要であると判断し、補助情報が存在することを店員に提示しなくてもよい。例えば、情報提示システムの利用回数が所定回数より多い店員にとって、補助情報は既知の情報である可能性が高い。そのため、客発話の言語に翻訳した回数が所定回数より多い場合、補助情報の提示は不要であると判断し、補助情報が存在することを店員に提示しなくてもよい。

0120

また、翻訳サーバ200は、店員を識別する識別情報と、店員が情報提示システムの利用を開始してから現在までの利用時間とを対応付けて記憶する利用時間記憶部をさらに備えてもよい。そして、補助情報が存在すると判定された場合、翻訳サーバ200の制御部202は、利用時間記憶部を参照し、店員が情報提示システムの利用を開始してから現在までの利用時間が所定時間より長いか否かを判断してもよい。制御部202は、利用時間が所定時間より長いと判断した場合、補助情報の提示は不要であると判断し、補助情報が存在することを店員に提示しなくてもよい。例えば、情報提示システムの利用時間が所定時間より長い店員にとって、補助情報は既知の情報である可能性が高い。そのため、店員の情報提示システムの利用時間が所定時間より長い場合、補助情報の提示は不要であると判断し、補助情報が存在することを店員に提示しなくてもよい。

0121

また、翻訳サーバ200は、店員を識別する識別情報と、同一の説明対象(エンティティ)に対応する補助情報の提示回数とを対応付けて記憶する提示回数記憶部をさらに備えてもよい。そして、補助情報が存在すると判定された場合、翻訳サーバ200の制御部202は、同一の説明対象に対応する補助情報の提示回数が所定回数より多いか否かを判断してもよい。制御部202は、提示回数が所定回数より多いと判断した場合、補助情報の提示は不要であると判断し、補助情報が存在することを店員に提示しなくてもよい。例えば、上記の「国際宅配便」という説明対象に対応する補助情報が、複数回数提示された場合、店員は、補助情報なしに国際宅配便について説明することが可能になる。そのため、特定の説明対象に対応する補助情報が所定回数より多く提示された場合、補助情報の提示は不要であると判断し、補助情報が存在することを店員に提示しなくてもよい。

0122

本開示に係る情報提示方法、情報提示プログラム及び情報提示システムは、必ずしも補助情報が提示されるのではなく、話者が補助情報の提示を必要としているときのみ、補助情報を提示させることができ、円滑な対話を実現することができ、複数の話者による対話に係る音声を翻訳し、前記対話を補助するための補助情報を提示する情報提示方法、情報提示プログラム及び情報提示システムとして有用である。

0123

100翻訳端末
101音声入力部
102フォーマット変換部
103応答制御部
104通信部
105音声出力部
106応答保持部
107補助情報提示設定部
108 補助情報有無判定部
109 補助情報提示判定部
110 補助情報提示部
111映像出力部
112ユーザ指示入力部
200翻訳サーバ
201 通信部
202 制御部
203音声認識部
204 翻訳部
205 意図理解部
206補助説明文記憶部
207 補助情報記憶部
208音声波形合成部
209音声分析合成部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • ソニー株式会社の「 情報処理装置及び情報処理方法、並びにロボット装置」が 公開されました。( 2021/04/01)

    【課題・解決手段】ユーザ識別などに使用する情報を処理する情報処理装置及び情報処理方法、並びにロボット装置を提供する。識別器により識別したユーザに対して自発的に行動する第1の装置に関する処理を行う情報処... 詳細

  • 株式会社NTTドコモの「 応答システム」が 公開されました。( 2021/04/01)

    【課題・解決手段】応答システムは、呼出者によるユーザへの呼出に応じて、前記ユーザに代わって前記呼出者に応答する応答システムであって、前記呼出者に対話で応答する応答部と、前記応答部による対話内容を前記ユ... 詳細

  • LiLz株式会社の「 音解析装置及びその処理方法、プログラム」が 公開されました。( 2021/04/01)

    【課題】 蓄積した多量の音データの中から教師データを効率的に生成し、特定の音関連イベントを容易に検知および検索する機械学習を用いた音解析装置を提供する。【解決手段】 特徴量生成手段111が音データ... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ