図面 (/)

技術 エージェント対話システム、エージェント装置、サーバ装置、エージェント対話方法、及びプログラム

出願人 エヌ・ティ・ティ・コムウェア株式会社
発明者 成瀬克巳佐藤芳明松本郷史福士雅広
出願日 2016年11月25日 (2年9ヶ月経過) 出願番号 2016-229249
公開日 2018年5月31日 (1年3ヶ月経過) 公開番号 2018-085697
状態 未査定
技術分野 電話通信サービス 音声認識 音声の分析・合成
主要キーワード 体型的 統合イベント 帰宅予定時刻 不在処理 学習要求 利用者判定 撮像データ内 判定ミス
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2018年5月31日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (13)

課題

便性を向上する。

解決手段

エージェント対話システムは、エージェント装置サーバ装置とを備え、エージェント装置は、受信音声データ受信テキストデータに変換するテキスト変換部と、受信テキストデータを含む応答要求をサーバ装置に送信するとともに、当該応答要求に応じてサーバ装置から受信した応答情報であって、発信者からの通話が迷惑電話であるか否かの判定結果を含む迷惑判定結果を含む応答情報を取得する応答取得部と、迷惑判定結果に基づいて、発信者との通話を切断する通話処理部とを備え、サーバ装置は、迷惑電話を予め機械学習させた学習結果と受信テキストデータとに基づいて、通話が迷惑電話であるか否かを判定する迷惑電話判定部を備える。

概要

背景

近年、モバイル端末の普及に伴い、あらゆる機器インターネットに接続することによる新たなビジネスの拡大が見込まれている。また、携帯電話コミュニケーションロボットなどのエージェント機器が、ユーザとのインターフェースとして対話を利用する技術が注目されている(例えば、特許文献1を参照)。

概要

便性を向上する。エージェント対話システムは、エージェント装置サーバ装置とを備え、エージェント装置は、受信音声データ受信テキストデータに変換するテキスト変換部と、受信テキストデータを含む応答要求をサーバ装置に送信するとともに、当該応答要求に応じてサーバ装置から受信した応答情報であって、発信者からの通話が迷惑電話であるか否かの判定結果を含む迷惑判定結果を含む応答情報を取得する応答取得部と、迷惑判定結果に基づいて、発信者との通話を切断する通話処理部とを備え、サーバ装置は、迷惑電話を予め機械学習させた学習結果と受信テキストデータとに基づいて、通話が迷惑電話であるか否かを判定する迷惑電話判定部を備える。

目的

本発明は、上記問題を解決すべくなされたもので、その目的は、利便性を向上させることができるエージェント対話システム、エージェント装置、サーバ装置、エージェント対話方法、及びプログラムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

エージェント装置と、通信回線を介して前記エージェント装置と接続可能なサーバ装置とを備え、前記エージェント装置は、前記通信回線を介して発信者から受信した受信音声データ受信テキストデータに変換するテキスト変換部と、前記テキスト変換部によって変換された前記受信テキストデータを含む応答要求を前記サーバ装置に送信するとともに、当該応答要求に応じて前記サーバ装置から受信した応答情報であって、前記発信者からの通話が迷惑電話であるか否かの判定結果を含む迷惑判定結果を含む応答情報を取得する応答取得部と、前記応答取得部によって取得した前記迷惑判定結果に基づいて、前記発信者との通話を切断する通話処理部とを備え、前記サーバ装置は、前記応答要求に応じて、迷惑電話を予め機械学習させた学習結果と、前記受信テキストデータとに基づいて、前記通話が迷惑電話であるか否かを判定する迷惑電話判定部を備えることを特徴とするエージェント対話システム

請求項2

前記エージェント装置は、応答テキストデータを応答音声データに変換する音声変換部を備え、前記応答取得部は、前記応答要求に応じて、前記迷惑判定結果と、前記応答テキストデータとを含む前記応答情報を取得し、前記通話処理部は、前記音声変換部によって変換された前記応答音声データを、前記通信回線を介して前記発信者に送信するとともに、前記迷惑判定結果に基づいて、前記発信者との通話を切断し、前記サーバ装置は、前記迷惑電話判定部によって判定された判定結果を含む前記迷惑判定結果と、前記応答要求に含まれる前記受信テキストデータとに基づいて、前記応答テキストデータを生成する応答生成部を備えることを特徴とする請求項1に記載のエージェント対話システム。

請求項3

前記通話処理部は、前記迷惑判定結果に含まれる前記判定結果が迷惑電話である場合に、前記通話を切断し、前記判定結果が迷惑電話でない場合に、利用者電話器に接続して前記通話を継続させることを特徴とする請求項1又は請求項2に記載のエージェント対話システム。

請求項4

前記利用者が不在しているか否かを示す不在情報を記憶する不在情報記憶部を備え、前記通話処理部は、前記通話を継続させる際に、前記不在情報記憶部が記憶する前記不在情報に基づいて、前記利用者が不在しているか否かを判定し、前記利用者が不在している場合に、予め定められた所定の不在処理を実行させることを特徴とする請求項3に記載のエージェント対話システム。

請求項5

知人の電話番号の一覧を含む電話帳情報と、前記通信回線を介して通知された前記発信者の電話番号とに基づいて、前記発信者が知人であるか否かを判定する知人判定部を備え、前記迷惑電話判定部は、前記知人判定部によって判定された前記発信者が知人であるか否かの判定結果である知人判定情報と、前記学習結果と、前記受信テキストデータとに基づいて、前記通話が迷惑電話であるか否かを判定することを特徴とする請求項1から請求項4のいずれか一項に記載のエージェント対話システム。

請求項6

前記迷惑電話判定部は、前記知人判定情報と、前記学習結果と、前記受信テキストデータに含まれる前記発信者の氏名及び前記通話の用件の少なくとも1つとに基づいて、前記通話が迷惑電話であるか否かを判定することを特徴とする請求項5に記載のエージェント対話システム。

請求項7

前記受信テキストデータを含む学習データに基づいて前記機械学習を実行し、前記学習結果を生成する学習処理部を備えることを特徴とする請求項1から請求項6のいずれか一項に記載のエージェント対話システム。

請求項8

通信回線を介してサーバ装置に接続可能なエージェント装置であって、前記通信回線を介して発信者から受信した受信音声データを受信テキストデータに変換するテキスト変換部と、前記テキスト変換部によって変換された前記受信テキストデータを含む応答要求を前記サーバ装置に送信するとともに、当該応答要求に応じて前記サーバ装置から受信した応答情報であって、迷惑電話を予め機械学習させた学習結果及び前記受信テキストデータに基づいて判定された前記発信者からの通話が迷惑電話であるか否かの判定結果を含む迷惑判定結果を含む応答情報を取得する応答取得部と、前記応答取得部によって取得した前記迷惑判定結果に基づいて、前記発信者との通話を切断する通話処理部とを備えることを特徴とするエージェント装置。

請求項9

受信した応答テキストデータを変換した応答音声データを、通信回線を介して発信者に送信するとともに、迷惑判定結果に基づいて前記発信者との通話を切断するエージェント装置に、前記通信回線を介して接続可能なサーバ装置であって、前記エージェント装置から送信された応答要求であって、前記通信回線を介して前記発信者から受信した受信音声データから変換された受信テキストデータを含む応答要求に応じて、迷惑電話を予め機械学習させた学習結果と、前記受信テキストデータとに基づいて、前記通話が迷惑電話であるか否かを判定する迷惑電話判定部を備えることを特徴とするサーバ装置。

請求項10

エージェント装置と、通信回線を介して前記エージェント装置に接続可能なサーバ装置とを備えるエージェント対話システムのエージェント対話方法であって、前記エージェント装置が、前記通信回線を介して発信者から受信した受信音声データを受信テキストデータに変換するテキスト変換ステップと、前記エージェント装置が、前記テキスト変換ステップによって変換された前記受信テキストデータを含む応答要求を前記サーバ装置に送信する応答要求送信ステップと、前記サーバ装置が、前記応答要求に応じて、迷惑電話を予め機械学習させた学習結果と、前記受信テキストデータとに基づいて、前記発信者との通話が迷惑電話であるか否かを判定する迷惑電話判定ステップと、前記エージェント装置が、前記応答要求に応じて前記サーバ装置から受信した応答情報であって、前記迷惑電話判定ステップによって判定された判定結果を含む迷惑判定結果を含む応答情報を取得する応答取得ステップと、前記エージェント装置が、前記応答取得ステップによって取得した前記迷惑判定結果に基づいて、前記通話を切断する通話処理ステップとを含むことを特徴とするエージェント対話方法。

請求項11

通信回線を介してサーバ装置に接続可能なエージェント装置が有するコンピュータに、前記通信回線を介して発信者から受信した受信音声データを受信テキストデータに変換するテキスト変換ステップと、前記テキスト変換ステップによって変換された前記受信テキストデータを含む応答要求を前記サーバ装置に送信する応答要求送信ステップと、前記応答要求に応じて前記サーバ装置から受信した応答情報であって、迷惑電話を予め機械学習させた学習結果及び前記受信テキストデータに基づいて判定された前記発信者からの通話が迷惑電話であるか否かの判定結果を含む迷惑判定結果を含む応答情報を取得する応答取得ステップと、前記応答取得ステップによって取得した前記迷惑判定結果に基づいて、前記発信者との通話を切断する通話処理ステップとを実行させるためのプログラム

技術分野

0001

本発明は、エージェント対話システムエージェント装置サーバ装置、エージェント対話方法、及びプログラムに関する。

背景技術

0002

近年、モバイル端末の普及に伴い、あらゆる機器インターネットに接続することによる新たなビジネスの拡大が見込まれている。また、携帯電話コミュニケーションロボットなどのエージェント機器が、ユーザとのインターフェースとして対話を利用する技術が注目されている(例えば、特許文献1を参照)。

先行技術

0003

特開2016−76007号公報

発明が解決しようとする課題

0004

しかしながら、例えば、家庭内において、電話インターネットアクセス端末などを利用したホームネットワークでは、電話、インターネットアクセス端末などの通信機器を、利用シーンに応じてユーザが使い分ける必要があり、エージェント機器を利用したより利便性が高いシステムが求められている。例えば、家庭内の電話では、セールス勧誘、詐欺などの迷惑電話に対して、ユーザが対応する必要があり、利便性が損なわれる場合があった。

0005

本発明は、上記問題を解決すべくなされたもので、その目的は、利便性を向上させることができるエージェント対話システム、エージェント装置、サーバ装置、エージェント対話方法、及びプログラムを提供することにある。

課題を解決するための手段

0006

上記問題を解決するために、本発明の一態様は、エージェント装置と、通信回線を介して前記エージェント装置と接続可能なサーバ装置とを備え、前記エージェント装置は、前記通信回線を介して発信者から受信した受信音声データ受信テキストデータに変換するテキスト変換部と、前記テキスト変換部によって変換された前記受信テキストデータを含む応答要求を前記サーバ装置に送信するとともに、当該応答要求に応じて前記サーバ装置から受信した応答情報であって、前記発信者からの通話が迷惑電話であるか否かの判定結果を含む迷惑判定結果を含む応答情報を取得する応答取得部と、前記応答取得部によって取得した前記迷惑判定結果に基づいて、前記発信者との通話を切断する通話処理部とを備え、前記サーバ装置は、前記応答要求に応じて、迷惑電話を予め機械学習させた学習結果と、前記受信テキストデータとに基づいて、前記通話が迷惑電話であるか否かを判定する迷惑電話判定部を備えることを特徴とするエージェント対話システムである。

0007

また、本発明の一態様は、上記のエージェント対話システムにおいて、前記エージェント装置は、応答テキストデータを応答音声データに変換する音声変換部を備え、前記応答取得部は、前記応答要求に応じて、前記迷惑判定結果と、前記応答テキストデータとを含む前記応答情報を取得し、前記通話処理部は、前記音声変換部によって変換された前記応答音声データを、前記通信回線を介して前記発信者に送信するとともに、前記迷惑判定結果に基づいて、前記発信者との通話を切断し、前記サーバ装置は、前記迷惑電話判定部によって判定された判定結果を含む前記迷惑判定結果と、前記応答要求に含まれる前記受信テキストデータとに基づいて、前記応答テキストデータを生成する応答生成部を備えることを特徴とする。

0008

また、本発明の一態様は、上記のエージェント対話システムにおいて、前記通話処理部は、前記迷惑判定結果に含まれる前記判定結果が迷惑電話である場合に、前記通話を切断し、前記判定結果が迷惑電話でない場合に、利用者電話器に接続して前記通話を継続させることを特徴とする。

0009

また、本発明の一態様は、上記のエージェント対話システムにおいて、前記利用者が不在しているか否かを示す不在情報を記憶する不在情報記憶部を備え、前記通話処理部は、前記通話を継続させる際に、前記不在情報記憶部が記憶する前記不在情報に基づいて、前記利用者が不在しているか否かを判定し、前記利用者が不在している場合に、予め定められた所定の不在処理を実行させることを特徴とする。

0010

また、本発明の一態様は、上記のエージェント対話システムにおいて、知人の電話番号の一覧を含む電話帳情報と、前記通信回線を介して通知された前記発信者の電話番号とに基づいて、前記発信者が知人であるか否かを判定する知人判定部を備え、前記迷惑電話判定部は、前記知人判定部によって判定された前記発信者が知人であるか否かの判定結果である知人判定情報と、前記学習結果と、前記受信テキストデータとに基づいて、前記通話が迷惑電話であるか否かを判定することを特徴とする。

0011

また、本発明の一態様は、上記のエージェント対話システムにおいて、前記迷惑電話判定部は、前記知人判定情報と、前記学習結果と、前記受信テキストデータに含まれる前記発信者の氏名及び前記通話の用件の少なくとも1つとに基づいて、前記通話が迷惑電話であるか否かを判定することを特徴とする。

0012

また、本発明の一態様は、上記のエージェント対話システムにおいて、前記受信テキストデータを含む学習データに基づいて前記機械学習を実行し、前記学習結果を生成する学習処理部を備えることを特徴とする。

0013

また、本発明の一態様は、通信回線を介してサーバ装置に接続可能なエージェント装置であって、前記通信回線を介して発信者から受信した受信音声データを受信テキストデータに変換するテキスト変換部と、前記テキスト変換部によって変換された前記受信テキストデータを含む応答要求を前記サーバ装置に送信するとともに、当該応答要求に応じて前記サーバ装置から受信した応答情報であって、迷惑電話を予め機械学習させた学習結果及び前記受信テキストデータに基づいて判定された前記発信者からの通話が迷惑電話であるか否かの判定結果を含む迷惑判定結果を含む応答情報を取得する応答取得部と、前記応答取得部によって取得した前記迷惑判定結果に基づいて、前記発信者との通話を切断する通話処理部とを備えることを特徴とするエージェント装置である。

0014

また、本発明の一態様は、受信した応答テキストデータを変換した応答音声データを、通信回線を介して発信者に送信するとともに、迷惑判定結果に基づいて前記発信者との通話を切断するエージェント装置に、前記通信回線を介して接続可能なサーバ装置であって、前記エージェント装置から送信された応答要求であって、前記通信回線を介して前記発信者から受信した受信音声データから変換された受信テキストデータを含む応答要求に応じて、迷惑電話を予め機械学習させた学習結果と、前記受信テキストデータとに基づいて、前記通話が迷惑電話であるか否かを判定する迷惑電話判定部を備えることを特徴とするサーバ装置である。

0015

また、本発明の一態様は、エージェント装置と、通信回線を介して前記エージェント装置に接続可能なサーバ装置とを備えるエージェント対話システムのエージェント対話方法であって、前記エージェント装置が、前記通信回線を介して発信者から受信した受信音声データを受信テキストデータに変換するテキスト変換ステップと、前記エージェント装置が、前記テキスト変換ステップによって変換された前記受信テキストデータを含む応答要求を前記サーバ装置に送信する応答要求送信ステップと、前記サーバ装置が、前記応答要求に応じて、迷惑電話を予め機械学習させた学習結果と、前記受信テキストデータとに基づいて、前記発信者との通話が迷惑電話であるか否かを判定する迷惑電話判定ステップと、前記エージェント装置が、前記応答要求に応じて前記サーバ装置から受信した応答情報であって、前記迷惑電話判定ステップによって判定された判定結果を含む迷惑判定結果を含む応答情報を取得する応答取得ステップと、前記エージェント装置が、前記応答取得ステップによって取得した前記迷惑判定結果に基づいて、前記通話を切断する通話処理ステップとを含むことを特徴とするエージェント対話方法である。

0016

また、本発明の一態様は、通信回線を介してサーバ装置に接続可能なエージェント装置が有するコンピュータに、前記通信回線を介して発信者から受信した受信音声データを受信テキストデータに変換するテキスト変換ステップと、前記テキスト変換ステップによって変換された前記受信テキストデータを含む応答要求を前記サーバ装置に送信する応答要求送信ステップと、前記応答要求に応じて前記サーバ装置から受信した応答情報であって、迷惑電話を予め機械学習させた学習結果及び前記受信テキストデータに基づいて判定された前記発信者からの通話が迷惑電話であるか否かの判定結果を含む迷惑判定結果を含む応答情報を取得する応答取得ステップと、前記応答取得ステップによって取得した前記迷惑判定結果に基づいて、前記発信者との通話を切断する通話処理ステップとを実行させるためのプログラムである。

発明の効果

0017

本発明によれば、利便性を向上させることができる。

図面の簡単な説明

0018

第1の実施形態によるエージェント対話システムの一例を示す機能ブロック図である。
第1の実施形態における電話帳記憶部のデータ例を示す図である。
第1の実施形態における不在情報記憶部のデータ例を示す図である。
第1の実施形態におけるエージェント対話システムの動作の一例を示す第1の図である。
第1の実施形態におけるエージェント対話システムの動作の一例を示す第2の図である。
第1の実施形態におけるエージェント対話システムの動作の一例を示す第3の図である。
第2の実施形態によるエージェント対話システムの一例を示す機能ブロック図である。
第2の実施形態におけるエージェント対話システムの動作の一例を示す図である。
第3の実施形態によるエージェント対話システムの一例を示す機能ブロック図である。
第3の実施形態における関連対応情報記憶部のデータ例を示す図である。
第3の実施形態におけるエージェント対話システムの動作の一例を示す第1の図である。
第3の実施形態におけるエージェント対話システムの動作の一例を示す第2の図である。

実施例

0019

以下、本発明の実施形態によるエージェント対話システムについて、図面を参照して説明する。
[第1の実施形態]
図1は、本実施形態によるエージェント対話システム1の一例を示す機能ブロック図である。
図1に示すように、エージェント対話システム1は、エージェント装置10と、HGW(Home Gate Way)装置20と、宅内電話器21と、サーバ装置3とを備えている。

0020

サーバ装置3は、統合イベント処理サーバ30と、機械学習サーバ40と、対話応答サーバ50とを含んでいる。また、エージェント装置10と、HGW(Home Gate Way)装置20と、宅内電話器21とは、例えば、住宅2内に設置されているものとする。

0021

エージェント装置10は、例えば、利用者と対話可能なエージェントデバイスであり、例えば、光回線などの通信回線を介してサーバ装置3に接続可能である。エージェント装置10は、NW(ネットワーク通信部11と、人感センサ12と、カメラ13と、マイク14と、スピーカ15と、表示部16と、記憶部17と、制御部18とを備えている。

0022

NW通信部11は、無線LAN(Local Area Network)通信、有線LAN通信などを利用してHGW装置20に接続し、HGW装置20を介して、サーバ装置3又は発信者電話器60との間で各種通信を行う。

0023

人感センサ12は、エージェント装置10の周辺に利用者が接近したことを検知するセンサである。
カメラ13(撮像部の一例)は、エージェント装置10の周辺の画像を撮像する。カメラ13は、例えば、利用者を含む撮像データを撮像する。

0024

マイク14(収音部の一例)は、エージェント装置10の周辺の音を収音する。マイク14は、利用者とエージェント装置10との対話の際に、利用者からの発話音声データを収音する。
スピーカ15(出力部の一例)は、各種音声データをエージェント装置10の外部に出力する。スピーカ15は、例えば、利用者とエージェント装置10との対話の際に、エージェント装置10から応答音声データを出力する。
表示部16は、例えば、液晶ディスプレイ装置などであり、各種情報を表示する。

0025

記憶部17は、エージェント装置10が利用する各種情報を記憶する。記憶部17は、電話帳記憶部171と、不在情報記憶部172とを備えている。
電話帳記憶部171は、知人の電話番号の一覧を含む電話帳情報を記憶する、電話帳記憶部171は、図2に示すように、「氏名」と、「電話番号」と、「関係」とを対応付けて記憶する。

0026

図2に示す例では、例えば、「氏名」が“○○ 一郎”の「電話番号」が“03XXXXXXX”であり、利用者との「関係」が“友人”であることを示している。また、「氏名」が“○△ 太郎”の「電話番号」が“080111XXXX”であり、利用者との「関係」が“親類”であることを示している。
なお、電話帳記憶部171には、例えば、NW通信部11を介して、宅内電話器21などから取得された電話帳情報が予め記憶されているものとする。

0027

図1の説明に戻り、不在情報記憶部172は、利用者が不在しているか否かを示す不在情報を記憶する。不在情報記憶部172は、例えば、図3に示すように、「不在情報」と、「帰宅予定時刻」と、「転送先」とを対応付けて記憶する。ここで、「不在情報」は、例えば、“○”である場合に利用者が不在していることを示し、“×”又は“Null(ヌル)”である場合に利用者が不在していない(在宅している)ことを示す。また、「帰宅予定時刻」は、利用者が不在している場合の帰宅予定時刻を示している。また、「転送先」は、利用者が在宅している場合に、通話を接続する際に転送する転送先を示している。

0028

図3に示す例では、「不在情報」が“○”であるため、利用者は不在であり、「帰宅予定時刻」が“18:00”であることを示している。また、利用者が在宅している場合には、「転送先」として“宅内電話器”に転送することを示している。

0029

なお、図3に示す例では、不在情報記憶部172が、例えば、通信回線網NW1の通信回線の契約者などである1人の利用者についての不在情報を記憶する例を説明したが、家族などの複数で利用する場合には、複数の利用者の不在情報を記憶するようにしてもよい。この場合、不在情報記憶部172は、氏名などの利用者識別情報と、不在情報とを対応付けて記憶する。
また、不在情報記憶部172には、例えば、マイク14を介して取得した利用者の音声データに基づいて、上述した不在情報が設定、変更、削除される。

0030

図1の説明に戻り、制御部18は、例えば、CPU(Central Processing Unit)などを含むプロセッサであり、エージェント装置10を統括的に制御する。制御部18は、例えば、発信者電話器60から宅内電話器21に電話(通話)の発信があった場合に、サーバ装置3に迷惑電話であるか否かの判定処理を実行させて、応答音声を発信者電話器60に送信する。また、制御部18は、発信者電話器60からの通話が迷惑電話であった場合に、発信者電話器60との通話を切断し、迷惑電話でない場合に、例えば、宅内電話器21に接続して、発信者電話器60と宅内電話器21とを通話させる。ここで、迷惑電話には、例えば、不要なセールスや勧誘の電話、詐欺の電話、不審電話などが含まれる。
また、制御部18は、テキスト変換部181と、応答取得部182と、知人判定部183と、音声合成部184と、通話処理部185とを備えている。

0031

テキスト変換部181は、音声データを音声認識により音声テキストデータに変換する。テキスト変換部181は、例えば、通信回線を介して発信者(例えば、発信者電話器60)から受信した受信音声データを受信テキストデータに変換する。

0032

応答取得部182は、テキスト変換部181によって変換された受信テキストデータを含む応答要求をサーバ装置3に送信するとともに、当該応答要求に応じてサーバ装置3から受信した応答情報を取得する。ここで、応答要求には、例えば、受信テキストデータと、利用者を識別する利用者識別情報(例えば、CAF番号、等の回線識別情報など)と、後述する知人判定情報などとが含まれてもよい。応答取得部182は、例えば、NW通信部11及びHGW装置20を介して、サーバ装置3(例えば、統合イベント処理サーバ30)に、応答要求を送信する。

0033

また、応答取得部182は、例えば、NW通信部11及びHGW装置20を介して、サーバ装置3(例えば、統合イベント処理サーバ30)から受信した応答情報を取得する。なお、応答情報には、例えば、発信者からの通話が迷惑電話であるか否かの判定結果を含む迷惑判定結果と、サーバ装置3により生成された応答テキストデータとが含まれる。また、迷惑判定結果には、迷惑電話であるか否かの判定結果の他に、迷惑電話の種類情報(例えば、セールス電話、詐欺電話など)を含んでもよい。

0034

知人判定部183は、知人の電話番号の一覧を含む電話帳情報と、通信回線を介して通知された発信者の電話番号とに基づいて、発信者が知人であるか否かを判定する。知人判定部183は、例えば、電話番号表サービスにより取得される発信者の電話番号が、電話帳記憶部171が記憶する電話帳情報に含まれるか否かを判定する。知人判定部183は、電話帳情報に発信者の電話番号が含まれている場合に、発信者が知人であると判定し、電話帳情報に発信者の電話番号が含まれていない場合に、発信者が知人でないと判定する。知人判定部183は、判定結果を知人判定情報として出力する。なお、知人判定情報には、発信者が知人であるか否かの判定結果の他に、知人との関係(例えば、友人、親類、取引業者、会社関係者など)を示す情報が含まれてもよい。

0035

音声合成部184(音声変換部の一例)は、応答取得部182によって取得した応答テキストデータを応答音声データに変換する。
通話処理部185は、発信者電話器60との通話に関する各種処理を実行する。通話処理部185は、例えば、発信者電話器60から宅内電話器21に発信を受けた場合に、自動応答音声(例えば、“お名前とご用件をお知らせください”などの音声データ)を発信者電話器60に送信する。また、通話処理部185は、例えば、音声合成部184によって変換された応答音声データを、通信回線を介して発信者に送信するとともに、迷惑判定結果に基づいて、発信者との通話を切断する。通話処理部185は、例えば、迷惑判定結果に含まれる判定結果が迷惑電話である場合に、通話を切断し、判定結果が迷惑電話でない場合に、宅内電話器21に接続して通話を継続させる。

0036

また、通話処理部185は、発信者との通話を継続させる際に、不在情報記憶部172が記憶する不在情報に基づいて、利用者が不在しているか否かを判定し、利用者が不在している場合に、予め定められた所定の不在処理を実行させる。通話処理部185は、例えば、不在情報記憶部172が記憶する不在情報が“○”である場合に、所定の不在処理として、上述した「帰宅予定時刻」の時刻を伝えるとともに伝言を促す自動音声を発信者電話器60に送信し、発信者の伝言を記憶部17に記憶させる。
また、通話処理部185は、例えば、不在情報記憶部172が記憶する不在情報が“×”又は“Null”である場合に、上述した「転送先」の電話番号に接続してもよい。すなわち、通話処理部185は、判定結果が迷惑電話でない場合に、「転送先」の電話番号(例えば、宅内電話器21や利用者の携帯電話など)に転送するようにしてもよい。

0037

HGW装置20は、住宅2内に構築されたホームネットワークと、通信回線網NW1との橋渡しを行う。ここで、通信回線網NW1は、例えば、光回線などの固定回線によるネットワークである。HGW装置20は、通信回線網NW1を介して、インターネット網NW2に接続されている。また、HGW装置20は、通信回線網NW1を介して、着信した外部の発信者電話器60からの通話を宅内電話器21と接続させて、住宅2内の利用者と、発信者との通話をさせる。

0038

統合イベント処理サーバ30は、迷惑電話判定の応答要求などのエージェント装置10からのイベント受け付けて、イベントに対応する処理を実行させるサーバ装置である。統合イベント処理サーバ30は、NW通信部31と、サーバ記憶部32と、サーバ制御部33とを備えている。

0039

NW通信部31は、例えば、インターネット網NW2に接続し、インターネット網NW2を介して各種通信を行う。NW通信部31は、例えば、統合イベント処理サーバ30と、エージェント装置10との間の通信を行うとともに、統合イベント処理サーバ30と、機械学習サーバ40及び対話応答サーバ50との間の通信を行う。

0040

サーバ記憶部32は、統合イベント処理サーバ30が利用する各種情報を記憶する。サーバ記憶部32は、例えば、インメモリデータベース機能を有している。

0041

サーバ制御部33は、例えば、CPUなどを含むプロセッサであり、統合イベント処理サーバ30を統括的に制御する。サーバ制御部33は、サーバ記憶部32のインメモリデータベース機能により、リアルタイムに処理するストリームコンピューティングを実現する。サーバ制御部33は、例えば、日本語解析部331と、迷惑通話処理部332とを備えている。

0042

日本語解析部331は、音声テキストデータを、例えば、形態素解析などにより日本語解析を行う。日本語解析部331は、例えば、応答要求に含まれる受信テキストデータを日本語解析し、解析後テキストを出力する。

0043

迷惑通話処理部332は、応答要求に応じて、通話が迷惑電話であるか否かを機械学習サーバ40に判定させる。迷惑通話処理部332は、例えば、応答要求に含まれる受信テキストデータを日本語解析部331に解析させて解析後テキストを生成させるとともに、当該解析後テキストと、応答要求に含まれる利用者識別情報及び知人判定情報とを機械学習サーバ40に送信して、通話が迷惑電話であるか否かを判定させる。
迷惑通話処理部332は、迷惑電話であるか否かの判定結果を機械学習サーバ40から取得し、当該判定結果を含む迷惑判定結果と、受信テキストデータとを対話応答サーバ50に送信して、応答テキストデータを生成させる。迷惑通話処理部332は、対話応答サーバ50によって生成された応答テキストデータと、迷惑判定結果とを含む応答情報をエージェント装置10に送信する。

0044

また、迷惑通話処理部332は、例えば、解析後テキストと、利用者識別情報及び知人判定情報と、迷惑判定結果とを含む学習要求を機械学習サーバ40に送信して、再学習を実行させる。

0045

機械学習サーバ40は、例えば、迷惑電話の判定処理などの機械学習を利用した判定処理を実行するサーバ装置である。機械学習サーバ40は、NW通信部41と、サーバ記憶部42と、サーバ制御部43とを備えている。
NW通信部41は、例えば、インターネット網NW2に接続し、インターネット網NW2を介して各種通信を行う。NW通信部41は、例えば、機械学習サーバ40と統合イベント処理サーバ30との間の通信を行う。

0046

サーバ記憶部42は、機械学習サーバ40が利用する各種情報を記憶する。サーバ記憶部42は、例えば、学習データ記憶部421と、学習結果記憶部422とを備えている。
学習データ記憶部421は、学習データを記憶する。学習データ記憶部421は、例えば、迷惑電話を判定させるための学習データを記憶する。学習データ記憶部421は、複数の利用者が機械学習サーバ40を利用する場合には、利用者識別情報と学習データとを対応付けて記憶してもよい。

0047

学習結果記憶部422は、学習データ記憶部421が記憶する学習データに基づいて、機械学習された学習結果を記憶する。学習結果記憶部422は、例えば、迷惑電話を予め機械学習させた学習結果を記憶する。学習結果は、例えば、ベイジアンフィルタを用いた機械学習の学習結果などである。学習結果記憶部422は、複数の利用者が機械学習サーバ40を利用する場合には、利用者識別情報と学習結果とを対応付けて記憶してもよい。

0048

サーバ制御部43は、例えば、CPUなどを含むプロセッサであり、機械学習サーバ40を統括的に制御する。サーバ制御部43は、学習処理部431と、迷惑電話判定部432とを備えている。
学習処理部431は、受信テキストデータを少なくとも含む学習データに基づいて機械学習を実行し、学習結果を生成する。学習処理部431は、例えば、学習データ記憶部421が記憶する学習データに基づいて、機械学習し、当該学習結果(例えば、ベイジアンフィルタを用いた機械学習の学習結果)を学習結果記憶部422に記憶させる。学習処理部431は、例えば、発信者からの通話が迷惑電話であるか否かの判定を機械学習する。

0049

迷惑電話判定部432は、応答要求に応じて、迷惑電話を予め機械学習させた学習結果と、受信テキストデータ(解析後テキスト)とに基づいて、通話が迷惑電話であるか否かを判定する。すなわち、迷惑電話判定部432は、例えば、統合イベント処理サーバ30から送信された解析後テキストと、応答要求に含まれる利用者識別情報及び知人判定情報と、学習結果記憶部422が記憶する学習結果とに基づいて、通話が迷惑電話であるか否かを判定する。また、迷惑電話判定部432は、例えば、知人判定部183によって判定された発信者が知人であるか否かの判定結果である知人判定情報と、学習結果と、受信テキストデータとに基づいて、通話が迷惑電話であるか否かを判定する。すなわち、迷惑電話判定部432は、知人判定情報と、学習結果と、受信テキストデータ(解析後テキスト)に含まれる発信者の氏名及び通話の用件の少なくとも1つとに基づいて、通話が迷惑電話であるか否かを判定する。迷惑電話判定部432は、当該判定結果を統合イベント処理サーバ30に送信する。
なお、通話が迷惑電話であるか否かの判定結果には、迷惑電話であるか否かを示す情報の他に、迷惑電話の種類(例えば、セールス電話、勧誘電話、詐欺電話など)を示す情報を含まれてもよい。

0050

対話応答サーバ50は、例えば、迷惑判定結果と、受信テキストデータとに基づいて、迷惑判定結果及び受信テキストデータに応じた適切な応答テキストデータを生成するサーバ装置である。対話応答サーバ50は、NW通信部51と、サーバ記憶部52と、サーバ制御部53とを備えている。
NW通信部51は、例えば、インターネット網NW2に接続し、インターネット網NW2を介して各種通信を行う。NW通信部51は、例えば、対話応答サーバ50と統合イベント処理サーバ30との間の通信を行う。

0051

サーバ記憶部52は、対話応答サーバ50が利用する各種情報を記憶する。
サーバ制御部53は、例えば、CPUなどを含むプロセッサであり、対話応答サーバ50を統括的に制御する。サーバ制御部53は、応答生成部531を備えている。

0052

応答生成部531は、迷惑電話判定部432によって判定された判定結果を含む迷惑判定結果と、応答要求に含まれる受信テキストデータとに基づいて、応答テキストデータを生成する。すなわち、応答生成部531は、例えば、統合イベント処理サーバ30から送信された迷惑判定結果及び受信テキストデータと、例えば、予め定められたルールに基づいて、応答テキストデータを生成する。応答生成部531は、例えば、迷惑判定結果がセールス電話などの迷惑電話である場合には、予め定められたルールに基づいて、必要ない旨を応答する応答テキストデータを生成する。また、応答生成部531は、例えば、迷惑判定結果が迷惑電話でない場合には、予め定められたルールに基づいて、“転送するのでしばらくお持ちください”などの案内を示す応答テキストデータを生成する。応答生成部531は、生成した応答テキストデータを統合イベント処理サーバ30に送信する。

0053

発信者電話器60は、発信者の電話器であり、例えば、固定電話であっても、携帯電話であってもよい。本実施形態において、発信者電話器60は、宅内電話器21に向けて通話を発信し、通信回線網NW1を介してHGW装置20に接続される。

0054

次に、図面を参照して、本実施形態によるエージェント対話システム1の動作について説明する。
図4は、本実施形態におけるエージェント対話システム1の動作の一例を示す第1の図である。図4では、発信者からの通話(電話)が迷惑電話である場合におけるエージェント対話システム1の動作の一例について説明する。

0055

図4において、発信者が発信者電話器60を使用して、例えば、住宅2の宅内電話器21に電話した場合に、発信者電話器60は、まず、HGW装置20に通話の開始を発信する(ステップS101)。
次に、HGW装置20は、通信回線網NW1を介して受信した、発信者電話器60からの発信をエージェント装置10に転送する(ステップS102)。

0056

次に、エージェント装置10は、自動応答をHGW装置20に送信する(ステップS103)。エージェント装置10の通話処理部185は、例えば、“お名前とご用件をお知らせください”などの自動応答音声を、NW通信部11を介して、HGW装置20に送信することで、発信者電話器60に自動応答を行う。
次に、HGW装置20は、自動応答を発信者電話器60に送信する(ステップS104)。すなわち、HGW装置20は、エージェント装置10から受信した自動応答を発信者電話器60に転送して、通信回線網NW1を介して、自動応答を発信者電話器60に送信する。

0057

次に、発信者電話器60が、発信者の対話音声をHGW装置20に送信し(ステップS105)、HGW装置20が、発信者電話器60から受信された対話音声をエージェント装置10に転送して、当該対話音声をエージェント装置10に送信する(ステップS106)。
なお、ステップS101からステップS106までの送信処理は、例えば、SIP(Session Initiation Protocol)を利用して送信される。

0058

次に、エージェント装置10は、受信した対話音声の音声テキスト変換を実行する(ステップS107)。すなわち、エージェント装置10のテキスト変換部181は、発信者電話器60からHGW装置20及びNW通信部11を介して受信した対話音声を受信音声データとして取得し、当該受信音声データを受信テキストデータに変換する。

0059

次に、エージェント装置10は、知人判定を実行する(ステップS108)。すなわち、エージェント装置10の知人判定部183は、例えば、電話番号表示サービスにより取得される発信者の電話番号が、電話帳記憶部171が記憶する電話帳情報に含まれるか否かを判定する。知人判定部183は、電話帳情報に発信者の電話番号が含まれている場合に、発信者が知人であると判定し、電話帳情報に発信者の電話番号が含まれていない場合に、発信者が知人でないと判定する。知人判定部183は、判定結果を知人判定情報として出力する。

0060

次に、エージェント装置10は、応答要求をHGW装置20に送信する(ステップS109)。すなわち、エージェント装置10の応答取得部182は、例えば、知人判定部183が判定した知人判定情報と、テキスト変換部181が変換した受信テキストデータとを含む応答要求を、NW通信部11を介してHGW装置20に送信する。なお、応答要求には、利用者識別情報が含まれていてもよい。

0061

次に、HGW装置20は、エージェント装置10から送信された応答要求を統合イベント処理サーバ30に送信する(ステップS110)。すなわち、HGW装置20は、エージェント装置10から送信された応答要求を統合イベント処理サーバ30に転送し、通信回線網NW1及びインターネット網NW2を介して、応答要求を統合イベント処理サーバ30に送信する。

0062

次に、統合イベント処理サーバ30は、受信テキストデータの日本語解析を実行する(ステップS111)。すなわち、統合イベント処理サーバ30の日本語解析部331は、NW通信部31を介して受信した応答要求に含まれる受信テキストデータに対して、例えば、形態素解析などにより日本語解析を行う。日本語解析部331は、日本語解析により受信テキストデータを単語に分割するとともに、発信者の氏名や電話の用件などを解析する。日本語解析部331は、受信テキストデータの解析結果を解析後テキストとして出力する。なお、解析後テキストには、受信テキストデータが含まれているものとする。

0063

次に、統合イベント処理サーバ30は、解析後テキストと、知人判定情報とを機械学習サーバ40に送信する(ステップS112)。すなわち、統合イベント処理サーバ30の迷惑通話処理部332は、応答要求に含まれる知人判定情報と、日本語解析部331が解析した解析後テキストとを、NW通信部31を介して機械学習サーバ40に送信する。

0064

次に、機械学習サーバ40は、迷惑判定処理を実行する(ステップS113)。すなわち、機械学習サーバ40の迷惑電話判定部432は、知人判定情報と、解析後テキスト(受信テキストデータを含む)と、学習結果記憶部422が記憶する学習結果(例えば、ベイジアンフィルタを用いた機械学習の学習結果)と、とに基づいて、通話が迷惑電話であるか否かを判定する。
迷惑電話判定部432は、例えば、セールスや勧誘の迷惑電話を、受信テキストデータに含まれるセールスや勧誘のキーワードを機械学習した学習結果に基づいて判定する。また、迷惑電話判定部432は、例えば、無言電話や嫌がらせなどの迷惑電話を、受信テキストデータに含まれる無言や不快な言葉などに基づいて判定する。また、迷惑電話判定部432は、例えば、詐欺などの迷惑電話を、受信テキストデータに含まれる詐欺に関連する言葉などに基づいて判定する。

0065

次に、機械学習サーバ40は、迷惑判定結果を統合イベント処理サーバ30に送信する(ステップS114)。すなわち、機械学習サーバ40の迷惑電話判定部432は、NW通信部41を介して、迷惑判定結果を統合イベント処理サーバ30に送信する。

0066

次に、統合イベント処理サーバ30は、迷惑判定結果と、対話テキスト(受信テキストデータ)とを、対話応答サーバ50に送信する(ステップS115)。すなわち、統合イベント処理サーバ30の迷惑通話処理部332は、NW通信部31を介して、機械学習サーバ40から取得した迷惑判定結果と、応答要求に含まれる受信テキストデータとを、NW通信部31を介して、対話応答サーバ50に送信する。

0067

次に、対話応答サーバ50は、対話テキスト(受信テキストデータ)に対する応答生成を生成する(ステップS116)。対話応答サーバ50の応答生成部531は、統合イベント処理サーバ30から送信された迷惑判定結果と、応答要求に含まれる受信テキストデータとに基づいて、応答テキストデータを生成する。応答生成部531は、例えば、統合イベント処理サーバ30から送信された迷惑判定結果及び受信テキストデータと、例えば、予め定められたルールに基づいて、応答テキストデータを生成する。

0068

次に、対話応答サーバ50は、生成した応答テキストデータを、統合イベント処理サーバ30に送信する(ステップS117)。すなわち、対話応答サーバ50の応答生成部531は、生成した応答テキストデータを、NW通信部51を介して、統合イベント処理サーバ30に送信する。

0069

次に、統合イベント処理サーバ30は、応答情報をHGW装置20に送信する(ステップS118)。すなわち、統合イベント処理サーバ30の迷惑通話処理部332は、対話応答サーバ50によって生成された応答テキストデータと、迷惑判定結果とを含む応答情報を、NW通信部31を介して、HGW装置20に送信する。なお、図4に示す例では、発信者の通話が迷惑電話であるため、応答テキストデータは、例えば、必要ない旨を応答する応答テキストデータである。
次に、HGW装置20は、応答情報をエージェント装置10に送信する(ステップS119)。すなわち、HGW装置20は、統合イベント処理サーバ30から送信された応答情報をエージェント装置10に転送し、応答情報をエージェント装置10に送信する。

0070

次に、エージェント装置10は、応答テキストデータに対して、音声合成を行う(ステップS120)。エージェント装置10の通話処理部185は、応答取得部182が取得した応答情報に含まれる応答テキストデータを、音声合成部184に、応答音声データに変換させる。

0071

次に、エージェント装置10は、応答音声をHGW装置20に送信する(ステップS121)。すなわち、エージェント装置10の通話処理部185は、音声合成部184が変換した応答音声データを、NW通信部11を介して、HGW装置20に送信する。
次に、HGW装置20は、応答音声データを応答音声として、発信者電話器60に送信する(ステップS122)。すなわち、HGW装置20は、エージェント装置10から受信した応答音声データを発信者電話器60に転送して、通信回線網NW1を介して、例えば、必要ない旨を応答する応答音声データを発信者電話器60に送信する。

0072

次に、発信者電話器60が、発信者の対話音声をHGW装置20に送信し(ステップS123)、HGW装置20が、発信者電話器60から送信された対話音声をエージェント装置10に転送して、当該対話音声をエージェント装置10に送信する(ステップS124)。

0073

次に、エージェント装置10は、通話切断をHGW装置20に送信し(ステップS125)、HGW装置20が、エージェント装置10から送信された通話切断を発信者電話器60に送信する。すなわち、エージェント装置10の通話処理部185は、迷惑判定結果に含まれる判定結果が迷惑電話であるため、発信者電話器60との通話を切断する。
なお、ステップS121からステップS126までの送信処理は、例えば、SIPを利用して送信される。

0074

また、統合イベント処理サーバ30は、解析後テキスト、知人判定情報、及び迷惑判定結果を含む学習要求を、機械学習サーバ40に送信する(ステップS127)。すなわち、統合イベント処理サーバ30の迷惑通話処理部332は、解析後テキスト、知人判定情報、及び迷惑判定結果を含む学習要求を、NW通信部31を介して、機械学習サーバ40に送信する。

0075

次に、機械学習サーバ40は、学習処理を実行する(ステップS128)。すなわち、機械学習サーバ40の学習処理部431は、学習要求に応じて、学習要求に含まれる知人判定情報、及び迷惑判定結果を、学習データ記憶部421が記憶する学習データに追加して、学習データを更新させる。そして、学習処理部431は、学習データ記憶部421が記憶する学習データに基づいて、機械学習を実行し、当該学習結果を、学習結果記憶部422に記憶させる。

0076

次に、機械学習サーバ40は、学習完了通知を、統合イベント処理サーバ30に送信する(ステップS129)。すなわち、機械学習サーバ40の学習処理部431は、学習処理が完了したことを示す学習完了通知を、NW通信部41を介して、統合イベント処理サーバ30に送信する。

0077

また、図5は、本実施形態におけるエージェント対話システム1の動作の一例を示す第2の図である。図5では、発信者からの通話(電話)が迷惑電話でない場合、且つ、利用者が不在でない場合(在宅している場合)におけるエージェント対話システム1の動作の一例について説明する。

0078

図5において、ステップS201の処理は、上述した図4に示すステップS115の処理と同様であり、ステップS201以前の処理は、図4に示すステップS101からステップS115までの処理と同様であるため、ここではその説明を省略する。
また、ステップS202からステップS205までの処理は、図4に示すステップS116からステップS119までの処理と同様であるため、ここではその説明を省略する。なお、図5に示す例では、発信者の通話が迷惑電話でないため、応答テキストデータは、例えば、“転送するのでしばらくお持ちください”などの応答テキストデータである。

0079

次に、エージェント装置10は、利用者の在宅判定を実行する(ステップS206)。エージェント装置10の通話処理部185は、発信者の通話が迷惑電話でないため、不在情報記憶部172が記憶する不在情報に基づいて、利用者が不在しているか否かを判定する。なお、ここでは、利用者が不在していない場合(在宅している場合)である。

0080

次に、エージェント装置10は、応答テキストデータに対して、音声合成を行う(ステップS207)。エージェント装置10の通話処理部185は、応答取得部182が取得した応答情報に含まれる応答テキストデータを、音声合成部184に、応答音声データに変換させる。

0081

次に、エージェント装置10は、応答音声をHGW装置20に送信する(ステップS208)。すなわち、エージェント装置10の通話処理部185は、音声合成部184が変換した応答音声データを、NW通信部11を介して、HGW装置20に送信する。
次に、HGW装置20は、応答音声データを応答音声として、発信者電話器60に送信する(ステップS209)。すなわち、HGW装置20は、エージェント装置10から受信した応答音声データを発信者電話器60に転送して、通信回線網NW1を介して、例えば、必要ない旨を応答する応答音声データを発信者電話器60に送信する。

0082

次に、エージェント装置10は、利用者の呼出接続要求をHGW装置20に送信する(ステップS210)。すなわち、エージェント装置10の通話処理部185は、宅内電話器21に接続して通話を継続させるために、宅内電話器21の呼出接続要求を、NW通信部11を介して、HGW装置20に送信する。

0083

次に、HGW装置20は、宅内電話器21を呼出し(ステップS211)、宅内電話器21と発信者電話器60との間の通話が、HGW装置20を介して接続される(ステップS212、及びステップS213)。
また、ステップS214からステップS216に処理は、図4に示すステップS127からステップS129までの処理と同様であるため、ここではその説明を省略する。なお、図5に示す例では、機械学習サーバ40は、通話が迷惑電話でない場合の受信テキストデータを学習データとして、再学習する。

0084

また、図6は、本実施形態におけるエージェント対話システム1の動作の一例を示す第3の図である。図6では、発信者からの通話(電話)が迷惑電話でない場合、且つ、利用者が不在である場合(在宅していない場合)におけるエージェント対話システム1の動作の一例について説明する。

0085

図6において、ステップS301の処理は、上述した図4に示すステップS115の処理と同様であり、ステップS301以前の処理は、図4に示すステップS101からステップS115までの処理と同様であるため、ここではその説明を省略する。
また、ステップS302からステップS305までの処理は、図4に示すステップS116からステップS119までの処理と同様であるため、ここではその説明を省略する。なお、図6に示す例では、発信者の通話が迷惑電話でないため、応答テキストデータは、例えば、“転送するのでしばらくお持ちください”などの応答テキストデータである。

0086

次に、エージェント装置10は、利用者の在宅判定を実行する(ステップS306)。エージェント装置10の通話処理部185は、発信者の通話が迷惑電話でないため、不在情報記憶部172が記憶する不在情報に基づいて、利用者が不在しているか否かを判定する。なお、ここでは、利用者が不在している場合(在宅していない場合)である。

0087

次に、エージェント装置10は、自動応答をHGW装置20に送信する(ステップS307)。すなわち、エージェント装置10の通話処理部185は、所定の不在処理として、例えば、不在情報記憶部172が記憶する「帰宅予定時刻」の時刻を伝えるとともに伝言を促す自動音声の応答を、NW通信部11を介して、HGW装置20に送信する。
次に、HGW装置20は、自動応答を発信者電話器60に送信する(ステップS308)。すなわち、HGW装置20は、エージェント装置10から受信した自動応答を発信者電話器60に転送して、通信回線網NW1を介して、例えば、「帰宅予定時刻」の時刻を伝えるとともに伝言を促す自動音声を発信者電話器60に送信する。

0088

次に、発信者電話器60は、伝言音声をHGW装置20に送信し(ステップS309)、発信者電話器60は、発信者電話器60から送信された伝言音声をエージェント装置10に転送して、当該伝言音声をエージェント装置10に送信する(ステップS310)。
次に、エージェント装置10は、伝言録音を実行する(ステップS311)。すなわち、エージェント装置10の通話処理部185は、NW通信部11を介して取得した発信者の伝言を記憶部17に記憶させる。

0089

また、ステップS315からステップS317に処理は、図4に示すステップS127からステップS129までの処理と同様であるため、ここではその説明を省略する。なお、図6に示す例では、機械学習サーバ40は、通話が迷惑電話でない場合の受信テキストデータを学習データとして、再学習する。

0090

なお、上述したエージェント対話システム1の一例では、エージェント装置10は、迷惑判定結果を含む応答情報を統合イベント処理サーバ30から取得した後に、応答音声を発信者電話器60に送信し、迷惑判定結果に基づいて、発信者との通話を切断する例を説明したが、これに限定されるものではない。例えば、エージェント装置10は、迷惑判定結果を含む応答情報を取得した後に、応答音声を発信者電話器60に送信せずに、発信者との通話を切断するようにしてもよい。また、この場合、統合イベント処理サーバ30は、対話応答サーバ50に、応答テキストデータを生成させなくてもよい。

0091

以上説明したように、本実施形態によるエージェント対話システム1は、エージェント装置10と、通信回線を介してエージェント装置10と接続可能なサーバ装置3とを備える。エージェント装置10は、テキスト変換部181と、応答取得部182と、通話処理部185とを備える。テキスト変換部181は、通信回線を介して発信者から受信した受信音声データを受信テキストデータに変換する。応答取得部182は、テキスト変換部181によって変換された受信テキストデータを含む応答要求をサーバ装置3に送信するとともに、当該応答要求に応じてサーバ装置3から受信した応答情報であって、発信者からの通話が迷惑電話であるか否かの判定結果を含む迷惑判定結果を含む応答情報を取得する。通話処理部185は、応答取得部182によって取得した迷惑判定結果に基づいて、発信者との通話を切断する。また、サーバ装置3は、迷惑電話判定部432と、応答生成部531とを備える。迷惑電話判定部432は、応答要求に応じて、迷惑電話を予め機械学習させた学習結果と、受信テキストデータとに基づいて、通話が迷惑電話であるか否かを判定する。なお、サーバ装置3には、統合イベント処理サーバ30と、機械学習サーバ40とが含まれる。

0092

これにより、本実施形態によるエージェント対話システム1では、サーバ装置3が、迷惑電話を予め機械学習させた学習結果に基づいて迷惑電話を適切に判定し、例えば、セールスや勧誘、詐欺などの迷惑電話に対して、利用者(ユーザ)の代わりに、エージェント装置10が対応する。そのため、利用者が、迷惑電話に直接対応する必要がない。よって、本実施形態によるエージェント対話システム1は、迷惑電話の対応において利便性を向上させることができる。

0093

また、本実施形態では、エージェント装置10は、応答テキストデータを応答音声データに変換する音声合成部184(音声変換部)を備え、応答取得部182は、応答要求に応じて、迷惑判定結果と、応答テキストデータとを含む応答情報を取得し、通話処理部185は、音声合成部184によって変換された応答音声データを、通信回線を介して発信者に送信するとともに、迷惑判定結果に基づいて、発信者との通話を切断し、サーバ装置3は、迷惑電話判定部432によって判定された判定結果を含む迷惑判定結果と、応答要求に含まれる受信テキストデータとに基づいて、応答テキストデータを生成する応答生成部531を備える。すなわち、エージェント装置10は、テキスト変換部181と、応答取得部182と、音声合成部184(音声変換部)と、通話処理部185とを備える。テキスト変換部181は、通信回線を介して発信者から受信した受信音声データを受信テキストデータに変換する。応答取得部182は、テキスト変換部181によって変換された受信テキストデータを含む応答要求をサーバ装置3に送信するとともに、当該応答要求に応じてサーバ装置3から受信した応答情報であって、発信者からの通話が迷惑電話であるか否かの判定結果を含む迷惑判定結果と、応答テキストデータとを含む応答情報を取得する。音声合成部184は、応答取得部182によって取得した応答テキストデータを応答音声データに変換する。通話処理部185は、音声合成部184によって変換された応答音声データを、通信回線を介して発信者に送信するとともに、迷惑判定結果に基づいて、発信者との通話を切断する。また、サーバ装置3は、迷惑電話判定部432と、応答生成部531とを備える。迷惑電話判定部432は、応答要求に応じて、迷惑電話を予め機械学習させた学習結果と、受信テキストデータとに基づいて、通話が迷惑電話であるか否かを判定する。応答生成部531は、迷惑電話判定部432によって判定された判定結果を含む迷惑判定結果と、応答要求に含まれる受信テキストデータとに基づいて、応答テキストデータを生成する。

0094

これにより、本実施形態によるエージェント対話システム1では、サーバ装置3が、迷惑電話に対応した適切な応答テキストデータを生成し、迷惑電話に対して、利用者(ユーザ)の代わりに、エージェント装置10が応答音声データを送信して適切に対応する。そのため、利用者が、迷惑電話に直接対応する必要がない。よって、本実施形態によるエージェント対話システム1は、迷惑電話の対応において利便性を向上させることができる。

0095

また、本実施形態では、統合イベント処理サーバ30のサーバ制御部33は、サーバ記憶部32のインメモリデータベース機能により、ストリームコンピューティングの処理を行う。
これにより、本実施形態によるエージェント対話システム1は、ストリームコンピューティングの処理により、迷惑電話の対応する処理をリアルタイムに実行することができる。

0096

また、本実施形態では、通話処理部185は、迷惑判定結果に含まれる判定結果が迷惑電話である場合に、通話を切断し、判定結果が迷惑電話でない場合に、利用者の電話器(宅内電話器21)に接続して通話を継続させる。
これにより、本実施形態によるエージェント対話システム1は、迷惑電話に対して、利用者が直接対応することなく、適切に対応することができる。

0097

また、本実施形態によるエージェント対話システム1は、利用者が不在しているか否かを示す不在情報を記憶する不在情報記憶部172を備える。通話処理部185は、通話を継続させる際に、不在情報記憶部172が記憶する不在情報に基づいて、利用者が不在しているか否かを判定し、利用者が不在している場合に、予め定められた所定の不在処理(例えば、伝言の録音などの処理)を実行させる。
これにより、本実施形態によるエージェント対話システム1は、利用者が不在している場合における発信者電話器60との通話に対して、所定の不在処理によって適切に対応することができるため、さらに利便性を向上させることができる。

0098

また、本実施形態によるエージェント対話システム1は、知人の電話番号の一覧を含む電話帳情報と、通信回線を介して通知された発信者の電話番号とに基づいて、発信者が知人であるか否かを判定する知人判定部183を備える。迷惑電話判定部432は、知人判定部183によって判定された発信者が知人であるか否かの判定結果である知人判定情報と、学習結果と、受信テキストデータとに基づいて、通話が迷惑電話であるか否かを判定する。
これにより、本実施形態によるエージェント対話システム1は、発信者が知人であるか否かを含めて、通話が迷惑電話であるか否かをより正確に判定することができる。

0099

また、本実施形態では、迷惑電話判定部432は、知人判定情報と、学習結果と、受信テキストデータに含まれる発信者の氏名及び通話の用件の少なくとも1つとに基づいて、通話が迷惑電話であるか否かを判定する。
これにより、エージェント対話システム1は、例えば、発信者の氏名及び通話の用件に基づいて、通話が迷惑電話であるか否かを適切に判定することができる。

0100

また、本実施形態によるエージェント対話システム1は、受信テキストデータを含む学習データに基づいて機械学習を実行し、学習結果を生成する学習処理部を備える。
これにより、エージェント対話システム1は、学習データを更新して、機械学習を再実行することが可能であり、通話が迷惑電話であるか否かの判定の精度を向上させることができる。

0101

また、本実施形態によるエージェント装置10は、通信回線を介してサーバ装置3に接続可能なエージェント装置であって、テキスト変換部181と、応答取得部182と、音声合成部184(音声変換部)と、通話処理部185とを備える。テキスト変換部181は、通信回線を介して発信者から受信した受信音声データを受信テキストデータに変換する。応答取得部182は、テキスト変換部181によって変換された受信テキストデータを含む応答要求をサーバ装置3に送信する。そして、応答取得部182は、当該応答要求に応じてサーバ装置3から受信した応答情報を取得する。ここで、応答情報には、迷惑電話を予め機械学習させた学習結果及び受信テキストデータに基づいて判定された発信者からの通話が、迷惑電話であるか否かの判定結果を含む迷惑判定結果と、当該迷惑判定結果及び受信テキストデータに基づいて生成された応答テキストデータとが含まれる。音声合成部184は、応答取得部182によって取得した応答テキストデータを応答音声データに変換する。通話処理部185は、音声合成部184によって変換された応答音声データを、通信回線を介して発信者に送信するとともに、迷惑判定結果に基づいて、発信者との通話を切断する。

0102

これにより、本実施形態によるエージェント装置10は、上述したエージェント対話システム1と同様の効果を奏し、迷惑電話の対応において利便性を向上させることができる。

0103

また、本実施形態によるサーバ装置3は、受信した応答テキストデータを変換した応答音声データを、通信回線を介して発信者に送信するとともに、迷惑判定結果に基づいて発信者との通話を切断するエージェント装置10に、通信回線を介して接続可能なサーバ装置である。サーバ装置3は、迷惑電話判定部432と、応答生成部531とを備えている。迷惑電話判定部432は、エージェント装置10から送信された応答要求であって、通信回線を介して発信者から受信した受信音声データから変換された受信テキストデータを含む応答要求に応じて、迷惑電話を予め機械学習させた学習結果と、受信テキストデータとに基づいて、通話が迷惑電話であるか否かを判定する。応答生成部531は、迷惑電話判定部432によって判定された判定結果を含む迷惑判定結果と、応答要求に含まれる受信テキストデータとに基づいて、応答テキストデータを生成する。

0104

これにより、本実施形態によるサーバ装置3は、上述したエージェント対話システム1及びエージェント装置10と同様の効果を奏し、迷惑電話の対応において利便性を向上させることができる。

0105

また、本実施形態によるエージェント対話方法は、エージェント装置10と、通信回線を介してエージェント装置10に接続可能なサーバ装置3とを備えるエージェント対話システム1のエージェント対話方法であって、テキスト変換ステップと、応答要求送信ステップと、迷惑電話判定ステップと、応答生成ステップと、応答取得ステップと、音声変換ステップと、通話処理ステップとを含む。テキスト変換ステップにおいて、エージェント装置10が、通信回線を介して発信者から受信した受信音声データを受信テキストデータに変換する。応答要求送信ステップにおいて、エージェント装置10が、テキスト変換ステップによって変換された受信テキストデータを含む応答要求をサーバ装置3に送信する。迷惑電話判定ステップにおいて、サーバ装置3が、応答要求に応じて、迷惑電話を予め機械学習させた学習結果と、受信テキストデータとに基づいて、発信者との通話が迷惑電話であるか否かを判定する。応答生成ステップにおいて、サーバ装置3が、迷惑電話判定ステップによって判定された判定結果を含む迷惑判定結果と、応答要求に含まれる受信テキストデータとに基づいて、応答テキストデータを生成する。応答取得ステップにおいて、エージェント装置10が、応答要求に応じてサーバ装置3から受信した応答情報であって、迷惑判定結果と、応答テキストデータとを含む応答情報を取得する。音声変換ステップにおいて、エージェント装置10が、応答取得ステップによって取得した応答テキストデータを応答音声データに変換する。通話処理ステップにおいて、エージェント装置10が、音声変換ステップによって変換された応答音声データを、通信回線を介して発信者に送信するとともに、迷惑判定結果に基づいて、通話を切断する。

0106

これにより、本実施形態によるエージェント対話方法は、上述したエージェント対話システム1、エージェント装置10及びサーバ装置3と同様の効果を奏し、迷惑電話の対応において利便性を向上させることができる。

0107

[第2の実施形態]
次に、図面を参照して、第2の実施形態によるエージェント対話システム1aについて説明する。本実施形態では、上述した第1の実施形態のエージェント対話システム1の変形例について説明する。
図7は、本実施形態によるエージェント対話システム1aの一例を示す機能ブロック図である。

0108

図7に示すように、エージェント対話システム1aは、エージェント装置10aと、HGW装置20と、宅内電話器21と、サーバ装置3aとを備えている。また、サーバ装置3aは、統合イベント処理サーバ30aと、機械学習サーバ40と、対話応答サーバ50とを含んでいる。
なお、この図において、図1と同一の構成は、同一の符号を付与して、その説明を省略する。

0109

また、本実施形態によるエージェント対話システム1aでは、エージェント装置10の代わりに、統合イベント処理サーバ30aが、電話帳記憶部321及び知人判定部333を備える点が、上述した第1の実施形態と異なる。

0110

エージェント装置10aは、NW通信部11と、人感センサ12と、カメラ13と、マイク14と、スピーカ15と、表示部16と、記憶部17aと、制御部18aとを備えている。
記憶部17aは、エージェント装置10aが利用する各種情報を記憶する。記憶部17aは、電話帳記憶部171を備えずに、不在情報記憶部172を備えている。

0111

制御部18aは、例えば、CPUなどを含むプロセッサであり、エージェント装置10aを統括的に制御する。制御部18aは、例えば、知人判定部183を備えずに、テキスト変換部181と、応答取得部182aと、音声合成部184と、通話処理部185とを備えている。
応答取得部182aは、応答要求を統合イベント処理サーバ30aに送信する際に、知人判定情報を含めない点を除いて、第1の実施形態の応答取得部182と同様である。

0112

統合イベント処理サーバ30aは、迷惑電話判定の応答要求などのエージェント装置10aからのイベントを受け付けて、イベントに対応する処理を実行させるサーバ装置である。統合イベント処理サーバ30aは、NW通信部31と、サーバ記憶部32aと、サーバ制御部33aとを備えている。

0113

サーバ記憶部32aは、統合イベント処理サーバ30aが利用する各種情報を記憶する。サーバ記憶部32aは、例えば、インメモリデータベース機能を有している。また、サーバ記憶部32aは、電話帳記憶部321を備えている。
電話帳記憶部321は、第1の実施形態の電話帳記憶部171と同様に、知人の電話番号の一覧を含む電話帳情報を記憶する。電話帳記憶部321は、図2に示すように、「氏名」と、「電話番号」と、「関係」とを対応付けて記憶する。

0114

サーバ制御部33aは、例えば、CPUなどを含むプロセッサであり、統合イベント処理サーバ30aを統括的に制御する。サーバ制御部33aは、例えば、日本語解析部331と、迷惑通話処理部332と、知人判定部333とを備えている。
知人判定部333は、第1の実施形態の知人判定部183と同様の処理を実行する。すなわち、知人判定部333は、電話番号表示サービスにより取得される発信者の電話番号が、電話帳記憶部321が記憶する電話帳情報に含まれるか否かを判定する。知人判定部333は、判定結果を知人判定情報として出力する。なお、本実施形態において、発信者の電話番号は、エージェント装置10aから送信される応答要求に含まれているものとする。

0115

次に、図面を参照して、本実施形態によるエージェント対話システム1aの動作について説明する。
図8は、本実施形態におけるエージェント対話システム1aの動作の一例を示す第1の図である。図8では、発信者からの通話(電話)が迷惑電話である場合におけるエージェント対話システム1aの動作の一例について説明する。

0116

図8において、ステップS401からステップS407までの処理は、上述した図4に示すステップS101からステップS107までの処理と同様であるため、ここではその説明を省略する。

0117

次に、エージェント装置10aは、応答要求をHGW装置20に送信する(ステップS408)。すなわち、エージェント装置10aの応答取得部182aは、例えば、電話番号表示サービスにより取得される発信者(発信者電話器60)の電話番号と、テキスト変換部181が変換した受信テキストデータとを含む応答要求を、NW通信部11を介してHGW装置20に送信する。なお、応答要求には、利用者識別情報が含まれていてもよい。

0118

次に、HGW装置20は、エージェント装置10aから送信された応答要求を統合イベント処理サーバ30aに送信する(ステップS409)。すなわち、HGW装置20は、エージェント装置10aから送信された応答要求を統合イベント処理サーバ30aに転送し、通信回線網NW1及びインターネット網NW2を介して、応答要求を統合イベント処理サーバ30aに送信する。

0119

次に、統合イベント処理サーバ30aは、知人判定を実行する(ステップS410)。すなわち、統合イベント処理サーバ30aの知人判定部333は、例えば、応答要求に含まれる電話番号が、電話帳記憶部321が記憶する電話帳情報に含まれるか否かを判定する。知人判定部333は、電話帳情報に発信者の電話番号が含まれている場合に、発信者が知人であると判定し、電話帳情報に発信者の電話番号が含まれていない場合に、発信者が知人でないと判定する。知人判定部333は、判定結果を知人判定情報として出力する。

0120

続くステップS411からステップS429までの処理は、上述した図4に示すステップS111からステップS129までの処理と同様であるため、ここではその説明を省略する。

0121

以上説明したように、本実施形態によるエージェント対話システム1aは、エージェント装置10aと、通信回線を介してエージェント装置10aと接続可能なサーバ装置3aとを備える。エージェント装置10aは、上述したテキスト変換部181と、応答取得部182aと、音声合成部184(音声変換部)と、通話処理部185とを備える。また、サーバ装置3aは、上述した迷惑電話判定部432と、応答生成部531とを備える。なお、サーバ装置3aには、統合イベント処理サーバ30aと、機械学習サーバ40と、対話応答サーバ50とが含まれる。
これにより、本実施形態によるエージェント対話システム1aは、第1の実施形態と同様の効果を奏し、迷惑電話の対応において利便性を向上させることができる。

0122

また、本実施形態では、サーバ装置3aの統合イベント処理サーバ30aが、知人の電話番号の一覧を含む電話帳情報と、通信回線を介して通知された発信者の電話番号とに基づいて、発信者が知人であるか否かを判定する知人判定部333を備える。そして、迷惑電話判定部432は、知人判定部333によって判定された発信者が知人であるか否かの判定結果である知人判定情報と、学習結果と、受信テキストデータとに基づいて、通話が迷惑電話であるか否かを判定する。
これにより、本実施形態によるエージェント対話システム1aは、第1の実施形態と同様に、発信者が知人であるか否かを含めて、通話が迷惑電話であるか否かをより正確に判定することができる。

0123

なお、上記の第1及び第2の実施形態において、サーバ装置3(3a)は、統合イベント処理サーバ30(30a)と、機械学習サーバ40と、対話応答サーバ50との3つの装置で構成する例を説明したが、これに限定されるものではない。例えば、サーバ装置3(3a)を1つの装置により構成するようにしてもよいし、3つ以外の複数の装置で構成してもよい。また、統合イベント処理サーバ30(30a)と、機械学習サーバ40と、対話応答サーバ50との各装置が実行する各機能の一部を他の装置が実行するようにしてもよい。

0124

また、上記の第1及び第2の実施形態において、エージェント装置10(10a)が、テキスト変換部181及び音声合成部184を備える例を説明したが、テキスト変換部181及び音声合成部184のうちのいずれか1つ又は両方を、サーバ装置3(3a)が備えるようにしてもよい。

0125

また、上記の第1及び第2の実施形態において、機械学習サーバ40は、学習データに、知人判定情報、及び迷惑判定結果などを追加して機械学習させる例を説明したが、学習データに、発信者の名前、通話の用件、利用者の家族構成、利用者の地域情報、迷惑キーワード、勧誘関連及びセールス関連の用語などを追加して機械学習させるようにしてもよい。これにより、エージェント対話システム1(1a)は、学習精度を向上させることができる。例えば、利用者の家族構成を学習データに含めることで、エージェント対話システム1(1a)は、例えば、成人式の着物購入勧誘や、子供の学習教材の購入勧誘などの特定の家族に対しての迷惑電話などを精度良く判定することができる。

0126

また、迷惑電話でないと判定された通話が、実際には迷惑電話であった場合など、エージェント装置10(10a)から迷惑電話の判定ミスを機械学習サーバ40に再学習させるようにしてもよい。また、機械学習は、家庭単位、地域単位個人単位などで実行するようにしてもよい。

0127

[第3の実施形態]
次に、図面を参照して、第3の実施形態によるエージェント対話システム1bについて説明する。本実施形態では、能動的に対話を開始するエージェント対話システムの一例について説明する。
図9は、本実施形態によるエージェント対話システム1bの一例を示す機能ブロック図である。

0128

図9に示すように、エージェント対話システム1bは、エージェント装置10bと、HGW装置20と、サーバ装置3bとを備えている。また、サーバ装置3bは、統合イベント処理サーバ30bと、機械学習サーバ40aと、対話応答サーバ50aと、サービス管理サーバ70とを含んでいる。
なお、この図において、図1と同一の構成は、同一の符号を付与して、その説明を省略する。

0129

エージェント装置10bは、例えば、利用者U1と対話可能なエージェントデバイスであり、例えば、光回線などの通信回線を介してサーバ装置3bに接続可能である。エージェント装置10bは、NW通信部11と、人感センサ12と、カメラ13と、マイク14と、スピーカ15と、表示部16と、記憶部17bと、制御部18bとを備えている。

0130

記憶部17bは、エージェント装置10bが利用する各種情報を記憶する。記憶部17bは、撮像画像記憶部173を備えている。
撮像画像記憶部173は、カメラ13が撮像した撮像データを記憶する。

0131

制御部18bは、例えば、CPUなどを含むプロセッサであり、エージェント装置10bを統括的に制御する。制御部18bは、例えば、人感センサ12によって利用者U1が検出された場合に、カメラ13が撮像した撮像データに基づいて、サーバ装置3bに利用者U1を特定させて、利用者U1に対応した話題の応答音声データを、スピーカ15に出力させて、利用者U1との対話を開始する。
また、制御部18bは、テキスト変換部181と、応答取得部182bと、音声合成部184と、顔認識処理部187と、対話処理部188とを備えている。

0132

本実施形態におけるテキスト変換部181は、例えば、マイク14によって収音された利用者U1からの発話音声データを発話テキストデータに変換する。
また、本実施形態における音声合成部184は、応答取得部182bによって取得した応答テキストデータを応答音声データに変換する。

0133

顔認識処理部187(特徴量抽出部の一例)は、人感センサ12によって利用者U1が検出された場合に、カメラ13が撮像した利用者U1を含む撮像データから、利用者U1の特徴量を抽出する。顔認識処理部187は、例えば、撮像画像記憶部173が記憶する撮像データを取得し、撮像データ内における利用者U1の顔領域を抽出する。そして、顔認識処理部187は、抽出した顔領域の画像データから利用者U1の特徴量を抽出する。

0134

応答取得部182bは、エージェント装置10bを識別する装置ID(装置識別情報)と、顔認識処理部187によって抽出された特徴量とを含む対話開始要求をサーバ装置3bに送信するとともに、当該対話開始要求に応じてサーバ装置3bから受信した応答情報を取得する。ここで、装置ID(装置識別情報)は、例えば、CAF番号、等の回線識別情報などである。また、応答情報には、利用者U1の関連情報に関連する話題に対応した応答テキストデータが含まれる。応答取得部182bは、例えば、NW通信部11及びHGW装置20を介して、サーバ装置3b(例えば、統合イベント処理サーバ30b)に、対話開始要求を送信する。

0135

また、応答取得部182bは、テキスト変換部181によって変換された発話テキストデータを含む応答要求をサーバ装置3bに送信するとともに、発話テキストデータに対応する応答テキストデータを含む応答情報を取得する。
また、応答取得部182bは、例えば、NW通信部11及びHGW装置20を介して、サーバ装置3b(例えば、統合イベント処理サーバ30b)から受信した応答情報を取得する。

0136

対話処理部188は、音声合成部184によって変換された応答音声データを、利用者U1に出力して、利用者U1との対話を開始する。また、対話処理部188は、発話音声データに対応する応答音声データを利用者U1に出力する。対話処理部188は、応答音声データを、例えば、スピーカ15に出力させる。

0137

統合イベント処理サーバ30bは、利用者U1と対話するエージェント装置10bからのイベントを受け付けて、イベントに対応する処理を実行させるサーバ装置である。統合イベント処理サーバ30bは、NW通信部31と、サーバ記憶部32と、サーバ制御部33bとを備えている。

0138

サーバ制御部33bは、例えば、CPUなどを含むプロセッサであり、統合イベント処理サーバ30bを統括的に制御する。サーバ制御部33bは、サーバ記憶部32のインメモリデータベース機能により、リアルタイムに処理するストリームコンピューティングを実現する。サーバ制御部33bは、例えば、日本語解析部331と、対話管理部334とを備えている。

0139

対話管理部334は、NW通信部31を介してエージェント装置10bから取得した装置ID及び特徴量を、NW通信部31を介して機械学習サーバ40aに送信して、利用者U1を判定させるとともに、利用者U1に対応した話題情報収集させる。また、対話管理部334は、NW通信部31を介して機械学習サーバ40aから取得した利用者判定情報及び話題情報を、NW通信部31を介して対話応答サーバ50aに送信して、応答テキストデータを生成させる。また、対話管理部334は、NW通信部31を介してエージェント装置10bから取得した発話テキストを、NW通信部31を介して対話応答サーバ50aに送信して、発話テキストに対する応答テキストデータを生成させる。

0140

また、対話管理部334は、NW通信部31を介して対話応答サーバ50aから取得した応答テキストデータを、NW通信部31及びHGW装置20を介してエージェント装置10bに送信する。
また、対話管理部334は、例えば、装置ID及び特徴量と、利用者判定結果とを含む学習要求を、NW通信部31を介して機械学習サーバ40aに送信して、再学習を実行させる。

0141

また、対話管理部334は、例えば、関連対応更新要求を、NW通信部31を介して機械学習サーバ40aに送信して、後述する関連対応情報を更新させる。対話管理部334は、例えば、利用者U1の発話テキストデータ及び対話応答サーバ50aが生成した応答テキストデータを日本語解析部331に日本語解析させる。対話管理部334は、発話テキストデータ及び応答テキストデータの解析後テキストから、利用者U1の関連情報を抽出する。すなわち、対話管理部334は、利用者U1とエージェント装置10bとの対話の内容から、利用者U1の関連情報を抽出する。対話管理部334は、抽出した利用者U1の関連情報と、利用者判定結果とを含む関連対応更新要求を、NW通信部31を介して機械学習サーバ40aに送信する。

0142

機械学習サーバ40aは、例えば、利用者U1の判定処理などの機械学習を利用した判定処理を実行するサーバ装置である。機械学習サーバ40aは、NW通信部41と、サーバ記憶部42aと、サーバ制御部43aとを備えている。

0143

サーバ記憶部42aは、機械学習サーバ40aが利用する各種情報を記憶する。サーバ記憶部42aは、例えば、学習データ記憶部421aと、学習結果記憶部422aと、関連対応情報記憶部423と、プロファイル情報記憶部424とを備えている。
学習データ記憶部421aは、例えば、利用者U1を判定させるための学習データを記憶する。学習データ記憶部421aは、例えば、装置IDと学習データとを対応付けて記憶する。

0144

学習結果記憶部422aは、学習データ記憶部421aが記憶する学習データに基づいて、機械学習された学習結果を記憶する。学習結果記憶部422aは、例えば、装置IDに対応する利用者U1の識別を利用者U1の特徴量に基づいて予め機械学習させた学習結果を記憶する。学習結果記憶部422aは、例えば、装置IDと学習結果とを対応付けて記憶する。

0145

関連対応情報記憶部423は、利用者U1と関連情報とを対応付けた関連対応情報を記憶する。関連対応情報記憶部423は、例えば、図10に示すように、「装置ID」と、「利用者」と、「関連情報」とを対応付けた関連対応情報を記憶する。ここで、「装置ID」は、エージェント装置10b(又は、利用者U1が契約している通信回線)を識別する装置識別情報であり、例えば、CAF番号である。また、「利用者」は、利用者U1を識別する利用者識別情報であり、例えば、利用者U1の名前などである。また、「関連情報」は、利用者U1に関連する情報であり、例えば、利用者U1の趣味興味のあるものなどの嗜好情報、家族に関する情報、等である。

0146

図10に示す例では、「装置ID」が“CAFXXXXXXX”のエージェント装置10bに対応する「利用者」は、“○○○”、“XXX”、・・・であり、“○○○”に対応する「関連情報」が“野球ドラマ、・・・”であることを示している。また、“XXX” に対応する「関連情報」が“料理旅行、・・・”であることを示している。

0147

図9の説明に戻り、プロファイル情報記憶部424は、装置IDと、利用者U1の家族構成を示す家族構成情報とを対応付けたプロファイル情報を記憶する。プロファイル情報記憶部424は、例えば、家族の名前、関係(例えば、、息子など)、連絡先(例えば、携帯電話番号など)などを含む家族構成情報を、装置IDごとに記憶する。

0148

サーバ制御部43aは、例えば、CPUなどを含むプロセッサであり、機械学習サーバ40aを統括的に制御する。サーバ制御部43aは、学習処理部431aと、利用者判定部433と、関連情報抽出部434と、関連情報更新部435とを備えている。

0149

学習処理部431aは、利用者U1の特徴量を少なくとも含む学習データに基づいて機械学習を実行し、学習結果を生成する。学習処理部431aは、例えば、学習データ記憶部421aが記憶する学習データに基づいて機械学習し、当該学習結果を装置IDと対応付けて、学習結果記憶部422aに記憶させる。学習処理部431aは、例えば、装置IDに対応する利用者U1の識別判定を機械学習する。

0150

利用者判定部433は、対話開始要求に応じて、装置IDに対応する利用者U1の識別を予め機械学習させた学習結果と、装置IDと、利用者U1の特徴量とに基づいて利用者U1を判定する。すなわち、利用者判定部433は、NW通信部41を介して、統合イベント処理サーバ30b(エージェント装置10b)から取得した装置ID及び利用者U1の特徴量と、学習結果記憶部422aが記憶する学習結果とに基づいて、利用者U1を判定する。

0151

関連情報抽出部434は、利用者U1と関連情報とを対応付けた関連対応情報と、利用者判定部433によって判定された利用者判定結果とに基づいて、関連情報を抽出する。関連情報抽出部434は、例えば、関連対応情報記憶部423が記憶する関連対応情報のうちから、利用者判定結果に対応する関連情報を抽出する。例えば、図10に示す関連対応情報が関連対応情報記憶部423に記憶されており、利用者判定結果が“○○○”である場合には、関連情報抽出部434は、関連情報として、“野球”、“ドラマ”を抽出する。なお、関連情報には、例えば、利用者U1が嗜好する嗜好情報、利用者U1の家族を示す家族情報、世の中の時事情報、利用者U1の健康状態などが含まれる。

0152

また、関連情報抽出部434は、抽出した関連情報を、NW通信部41を介して、サービス管理サーバ70に送信し、サービス管理サーバ70が収集した当該関連情報に関する話題を示す話題情報を、NW通信部41を介して取得する。そして、関連情報抽出部434は、上述した利用者判定結果と、話題情報とを、NW通信部41を介して統合イベント処理サーバ30bに送信する。

0153

関連情報更新部435は、抽出した利用者U1の関連情報と、利用者判定結果とを含む関連対応更新要求に応じて、関連対応情報を更新する。すなわち、関連情報更新部435は、発話テキストデータ及び応答テキストデータに基づいて抽出された関連情報と、利用者判定結果とによって、関連対応情報を更新する。関連情報更新部435は、関連対応更新要求を、NW通信部41を介して統合イベント処理サーバ30bから取得し、関連対応更新要求に含まれる関連情報を、利用者判定結果に対応する関連対応情報に追加して、又は置き換えて、関連対応情報記憶部423に記憶させる。

0154

対話応答サーバ50aは、例えば、利用者U1に対応する話題情報に基づいて、利用者U1との対話を開始するための応答テキストデータを生成するサーバ装置である。また、対話応答サーバ50aは、利用者U1からの発話テキストデータに対応する適切な応答テキストデータを生成する。
また、対話応答サーバ50aは、NW通信部51と、サーバ記憶部52aと、サーバ制御部53aとを備えている。

0155

サーバ記憶部52aは、対話応答サーバ50aが利用する各種情報を記憶する。サーバ記憶部52aは、対話履歴記憶部521を備えている。
対話履歴記憶部521は、利用者U1の利用者識別情報(利用者判定結果)と、利用者U1からの発話テキストデータと、対話応答サーバ50aが生成した応答テキストデータとを対応付けて、対話履歴として記憶する。

0156

サーバ制御部53aは、例えば、CPUなどを含むプロセッサであり、対話応答サーバ50aを統括的に制御する。サーバ制御部53aは、応答生成部531aを備えている。
応答生成部531aは、利用者判定部433によって判定された利用者判定結果に対応する利用者U1の関連情報に関連する話題情報と、利用者判定結果とに基づいて、応答テキストデータを生成する。また、応答生成部531aは、エージェント装置10bから送信された応答要求に応じて、当該応答要求に含まれる発話テキストデータと、利用者判定結果とに基づいて、応答テキストデータを生成する。また、応答生成部531aは、例えば、予め定められたルールに基づいて、応答テキストデータを生成する。応答生成部531aは、生成した応答テキストデータを統合イベント処理サーバ30bに送信する。また、応答生成部531aは、発話テキストデータと、応答テキストデータと、利用者判定結果とを対応付けて、対話履歴記憶部521に記憶する。

0157

サービス管理サーバ70は、例えば、利用者U1に対応する関連情報に関連する話題情報を収集するサーバ装置である。サービス管理サーバ70は、NW通信部71と、サーバ記憶部72と、サーバ制御部73とを備えている。
NW通信部71は、例えば、インターネット網NW2に接続し、インターネット網NW2を介して各種通信を行う。NW通信部71は、例えば、サービス管理サーバ70と機械学習サーバ40aとの間の通信を行う。

0158

サーバ記憶部72は、サービス管理サーバ70が利用する各種情報を記憶する。サーバ記憶部72は、話題情報記憶部721を備えている。
話題情報記憶部721は、サービス管理サーバ70が収集した関連情報に関連する話題情報を記憶する。

0159

サーバ制御部73は、例えば、CPUなどを含むプロセッサであり、サービス管理サーバ70を統括的に制御する。サーバ制御部73は、話題情報収集部731を備えている。
話題情報収集部731は、関連情報抽出部434によって抽出された関連情報に関連する話題情報を収集する。話題情報収集部731は、NW通信部71を介して、機械学習サーバ40aから取得した関連情報に関連する話題情報を、例えば、インターネット上、又は、利用者U1の対話の中から収集する。話題情報収集部731は、収集した話題情報を話題情報記憶部721に記憶させるとともに、NW通信部71を介して、機械学習サーバ40aに送信する。

0160

具体的に、話題情報収集部731は、例えば、関連情報が嗜好情報であり、嗜好情報が“野球”である場合に、“今日のプロ野球は、○○が勝った”、“今年のセリークは、××が優勝した”などの話題情報を収集する。また、例えば、関連情報には、利用者U1の家族を示す家族情報である場合に、話題情報収集部731は、家族情報に関する話題情報を、例えば、プロファイル情報記憶部424が記憶する家族構成情報に含まれる家族による対話履歴に基づいて収集する。すなわち、話題情報収集部731は、例えば、対話履歴記憶部521の中から、家族情報に関する話題情報(例えば、“子供が遠足に行った”など)を収集する。

0161

次に、図面を参照して、本実施形態によるエージェント対話システム1bの動作について説明する。
図11は、本実施形態におけるエージェント対話システム1bの動作の一例を示す第1の図である。図11では、エージェント装置10bに接近した利用者U1に対して、利用者U1を判定し、利用者U1に対応した適切な話題により利用者U1との対話を能動的に開始するエージェント対話システム1bの動作の一例について説明する。

0162

図11において、利用者U1がエージェント装置10bに接近すると、エージェント装置10bは、利用者U1を検知する(ステップS501)。すなわち、エージェント装置10bの人感センサ12が、接近した利用者U1を検知する。
次に、エージェント装置10bは、利用者U1を含む撮像データを撮像する撮像処理を実行する(ステップS502)。すなわち、エージェント装置10bのカメラ13は、撮像した撮像データを、撮像画像記憶部173に記憶させる。

0163

次に、エージェント装置10bは、撮像データから利用者U1の特徴量を抽出する(ステップS503)。エージェント装置10bの顔認識処理部187は、撮像画像記憶部173が記憶する撮像データを取得し、撮像データに含まれる利用者U1の顔領域を抽出する。そして、顔認識処理部187は、抽出した顔領域の画像データから利用者U1の特徴量を抽出する。

0164

次に、エージェント装置10bは、対話開始要求をHGW装置20に送信する(ステップS504)。すなわち、エージェント装置10bの応答取得部182bは、例えば、装置IDと、特徴量とを含む対話開始要求を、NW通信部11を介してHGW装置20に送信する。

0165

次に、HGW装置20は、エージェント装置10bから送信された対話開始要求を統合イベント処理サーバ30bに送信する(ステップS505)。すなわち、HGW装置20は、エージェント装置10bから送信された対話開始要求を統合イベント処理サーバ30bに転送し、通信回線網NW1及びインターネット網NW2を介して、対話開始要求を統合イベント処理サーバ30bに送信する。

0166

次に、統合イベント処理サーバ30bは、対話開始要求に含まれる装置ID及び特徴量を機械学習サーバ40aに送信する(ステップS506)。すなわち、統合イベント処理サーバ30bの対話管理部334は、NW通信部41を介して、HGW装置20から取得した装置ID及び特徴量を、NW通信部41を介して、機械学習サーバ40aに送信する。

0167

次に、機械学習サーバ40aは、利用者判定を実行する(ステップS507)。機械学習サーバ40aの利用者判定部433は、NW通信部41を介して、統合イベント処理サーバ30bから取得した装置ID及び利用者U1の特徴量と、学習結果記憶部422aが記憶する学習結果とに基づいて、利用者U1を判定する。

0168

次に、機械学習サーバ40aは、関連情報を抽出する(ステップS508)。機械学習サーバ40aの関連情報抽出部434は、例えば、関連対応情報記憶部423が記憶する関連対応情報のうちから、利用者判定部433による利用者判定結果に対応する関連情報を抽出する。ここで、関連情報には、例えば、利用者U1が嗜好する嗜好情報や利用者U1の家族を示す家族情報などが含まれる。

0169

次に、機械学習サーバ40aは、抽出した関連情報をサービス管理サーバ70に送信する(ステップS509)。すなわち、機械学習サーバ40aの関連情報抽出部434は、抽出した関連情報を、NW通信部41を介して、サービス管理サーバ70に送信する。

0170

次に、サービス管理サーバ70は、話題情報を収集する(ステップS510)。サービス管理サーバ70の話題情報収集部731は、関連情報抽出部434によって抽出された関連情報に関連する話題情報を収集する。例えば、関連情報が嗜好情報であり、嗜好情報が“野球”である場合に、話題情報収集部731は、“今日のプロ野球は、○○が勝った”、“今年のセリークは、××が優勝した”などの話題情報を収集する。

0171

次に、サービス管理サーバ70は、収集した話題情報を機械学習サーバ40aに送信する(ステップS511)。サービス管理サーバ70の話題情報収集部731は、収集した話題情報を話題情報記憶部721に記憶させるとともに、NW通信部71を介して、機械学習サーバ40aに送信する。

0172

次に、機械学習サーバ40aは、利用者判定結果、及び話題情報を統合イベント処理サーバ30bに送信する(ステップS512)。機械学習サーバ40aの関連情報抽出部434は、利用者判定結果、及び話題情報を、NW通信部41を介して統合イベント処理サーバ30bに送信する。

0173

次に、統合イベント処理サーバ30bは、利用者判定結果、及び話題情報を対話応答サーバ50aに送信する(ステップS513)。統合イベント処理サーバ30bの対話管理部334は、NW通信部31を介して、機械学習サーバ40aから取得した利用者判定結果、及び話題情報を、NW通信部31を介して、対話応答サーバ50aに送信する。

0174

次に、対話応答サーバ50aは、応答テキストデータを生成する(ステップS514)。対話応答サーバ50aの応答生成部531aは、話題情報と、利用者判定結果とに基づいて、応答テキストデータを生成する。例えば、話題情報が“今日のプロ野球は、○○が勝った”であり、利用者判定結果が“○×△”である場合に、応答生成部531aは、“○×△さん、今日のプロ野球で、○○が勝ちましたね”などの応答テキストデータを生成する。

0175

次に、対話応答サーバ50aは、生成した応答テキストデータを統合イベント処理サーバ30bに送信する(ステップS515)。すなわち、対話応答サーバ50aの応答生成部531aは、生成した応答テキストデータを、NW通信部51を介して、統合イベント処理サーバ30bに送信する。

0176

次に、統合イベント処理サーバ30bは、応答情報をHGW装置20に送信する(ステップS516)。すなわち、統合イベント処理サーバ30bの対話管理部334は、対話応答サーバ50aによって生成された応答テキストデータと、利用者判定結果とを含む応答情報を、NW通信部31を介して、HGW装置20に送信する。

0177

次に、HGW装置20は、応答情報をエージェント装置10bに送信する(ステップS517)。すなわち、HGW装置20は、統合イベント処理サーバ30bから送信された応答情報をエージェント装置10bに転送し、応答情報をエージェント装置10bに送信する。

0178

次に、エージェント装置10bは、応答テキストデータに対して、音声合成を行う(ステップS518)。エージェント装置10bの対話処理部188は、応答取得部182bが取得した応答情報に含まれる応答テキストデータを、音声合成部184に、応答音声データに変換させる。

0179

次に、エージェント装置10bは、応答音声データを対話音声(応答音声)として、利用者U1に出力させる(ステップS519)。すなわち、エージェント装置10bの対話処理部188は、例えば、“○×△さん、今日のプロ野球で、○○が勝ちましたね”などの対話音声(応答音声)を、スピーカ15から利用者U1に出力させる。

0180

また、統合イベント処理サーバ30bは、装置ID、利用者U1の特徴量、及び利用者判定結果を含む学習要求を、機械学習サーバ40aに送信する(ステップS520)。すなわち、統合イベント処理サーバ30bの対話管理部334は、装置ID、利用者U1の特徴量、及び利用者判定結果を含む学習要求を、NW通信部31を介して、機械学習サーバ40aに送信する。

0181

次に、機械学習サーバ40aは、学習処理を実行する(ステップS521)。すなわち、機械学習サーバ40aの学習処理部431aは、学習要求に応じて、学習要求に含まれる装置ID、利用者U1の特徴量、及び利用者判定結果を、学習データ記憶部421aが記憶する学習データに追加して、学習データを更新させる。そして、学習処理部431aは、学習データ記憶部421aが記憶する学習データに基づいて、機械学習を実行し、当該学習結果を、学習結果記憶部422aに記憶させる。

0182

次に、機械学習サーバ40aは、学習完了通知を、統合イベント処理サーバ30bに送信する(ステップS522)。すなわち、機械学習サーバ40aの学習処理部431aは、学習処理が完了したことを示す学習完了通知を、NW通信部41を介して、統合イベント処理サーバ30bに送信する。

0183

例えば、関連情報が“世の中の情報(時事情報)”である場合には、エージェント装置10bは、サービス管理サーバ70が収集した話題情報を基に、“昨日、○○な事件があったらしいよ”、“今日、○○のドラマが21:00からあるらしいよ”などにより、利用者U1との対話を開始する。
また、関連情報が“嗜好情報”の例えば、“野球”や“携帯電話”である場合には、エージェント装置10bは、サービス管理サーバ70が収集した話題情報を基に、“○○が総合優勝したらしいよ”、“○○の新機種は、16日に発売するって”などにより、利用者U1との対話を開始する。

0184

また、関連情報が“健康状態”である場合には、エージェント装置10bは、今までの対話の履歴からサービス管理サーバ70が収集した話題情報を基に、“顔色悪いけど、体調はどう?”、“今日は、薬飲んだ?”などにより、利用者U1との対話を開始する。
また、関連情報が“家族”である場合には、エージェント装置10bは、今までの対話の履歴からサービス管理サーバ70が収集した話題情報を基に、“おさんに最近、連絡取った?”などにより、利用者U1との対話を開始する。

0185

また、図12は、本実施形態におけるエージェント対話システム1bの動作の一例を示す第2の図である。図12では、エージェント装置10bから利用者U1に話しかけて対話が開始された後のエージェント対話システム1bの動作の一例について説明する。

0186

図12において、ステップS601の処理は、上述した図11に示すステップS519の処理と同様であり、ステップS601以前の処理は、図11に示すステップS501からステップS519までの処理と同様であるため、ここではその説明を省略する。

0187

エージェント装置10bからの対話音声に対して、利用者U1が発話音声を発すると(ステップS602)、エージェント装置10bは、発話音声に音声テキスト変換を実行する(ステップS603)。エージェント装置10bのテキスト変換部181は、マイク14によって収音された利用者U1の発話音声データを取得し、取得した発話音声データを発話テキストデータに変換する。

0188

次に、エージェント装置10bは、応答要求をHGW装置20に送信する(ステップS604)。すなわち、エージェント装置10bの応答取得部182bは、テキスト変換部181が変換した発話テキストデータを含む応答要求を、NW通信部11を介してHGW装置20に送信する。なお、応答要求には、装置IDが含まれていてもよい。

0189

次に、HGW装置20は、エージェント装置10bから送信された応答要求を統合イベント処理サーバ30bに送信する(ステップS605)。すなわち、HGW装置20は、エージェント装置10bから送信された応答要求を統合イベント処理サーバ30bに転送し、通信回線網NW1及びインターネット網NW2を介して、応答要求を統合イベント処理サーバ30bに送信する。

0190

次に、統合イベント処理サーバ30bは、利用者判定結果、及び発話テキストデータを対話応答サーバ50aに送信する(ステップS606)。統合イベント処理サーバ30bの対話管理部334は、NW通信部31を介して、機械学習サーバ40aから取得した利用者判定結果、及びHGW装置20から取得した応答要求に含まれる発話テキストデータを、NW通信部31を介して、対話応答サーバ50aに送信する。

0191

次に、対話応答サーバ50aは、応答テキストデータを生成する(ステップS607)。対話応答サーバ50aの応答生成部531aは、発話テキストデータと、利用者判定結果とに基づいて、応答テキストデータを生成する。
続く、ステップS608からステップS612までの処理は、図11に示すステップS515からステップS519までの処理と同様であるため、ここではその説明を省略する。

0192

また、統合イベント処理サーバ30bは、発話テキストデータ及び応答テキストデータに対して、日本語解析を実行する(ステップS613)。すなわち、統合イベント処理サーバ30bの日本語解析部331は、発話テキストデータ及び応答テキストデータに対して、例えば、形態素解析などにより日本語解析を行う。

0193

次に、統合イベント処理サーバ30bは、発話テキストデータ及び応答テキストデータの解析後テキストから関連情報を抽出する(ステップS614)。統合イベント処理サーバ30bの対話管理部334は、利用者U1とエージェント装置10bとの対話の内容から、利用者U1の関連情報を抽出する。

0194

次に、統合イベント処理サーバ30bは、関連対応更新要求を機械学習サーバ40aに送信する(ステップS615)。統合イベント処理サーバ30bの対話管理部334は、抽出した利用者U1の関連情報と、利用者判定結果とを含む関連対応更新要求を、NW通信部31を介して機械学習サーバ40aに送信する。

0195

次に、機械学習サーバ40aは、関連対応情報の更新を実行する(ステップS616)。機械学習サーバ40aの関連情報更新部435は、関連対応更新要求を、NW通信部41を介して統合イベント処理サーバ30bから取得し、関連対応更新要求に含まれる関連情報を、利用者判定結果に対応する関連対応情報に追加して、又は置き換えて、関連対応情報記憶部423に記憶させる。

0196

次に、機械学習サーバ40aは、更新完了通知を、統合イベント処理サーバ30bに送信する(ステップS617)。すなわち、機械学習サーバ40aの関連情報更新部435は、更新処理が完了したことを示す更新完了通知を、NW通信部41を介して、統合イベント処理サーバ30bに送信する。

0197

なお、上述したエージェント対話システム1bの一例では、エージェント装置10bは、カメラ13(撮像部)が撮像した利用者U1を含む撮像データから、利用者U1の特徴量を抽出する例を説明したが、利用者U1の特徴量が抽出できれば、撮像データ以外の取得情報であってもよい。また、特徴量は、利用者U1を判定できる特徴量であれば、他の特徴量(例えば、声紋、動作の癖、体型的な特徴など)であってもよい。また、人感センサ12(センサ)によって利用者U1が検出された場合に取得される取得情報としては、利用者U1の特徴量が抽出可能な情報であれば、例えば、利用者U1の音声や足音など音情報、におい、等であってもよい。また、撮像データも静止画像データに限定されるものではなく、動画データであってもよい。例えば、取得情報が、動画データである場合には、特徴量は、ジェスチャー等の利用者U1の動作の癖を抽出するようにしてもよい。
また、上述したエージェント対話システム1bの一例では、エージェント装置10bは、出力情報として、応答音声データを出力する例を説明したが、これに限定されるものではない。出力情報は、例えば、応答音声データの他に、映像データやテキストデータであってもよい。

0198

以上説明したように、本実施形態によるエージェント対話システム1bは、エージェント装置10bと、通信回線を介してエージェント装置10bに接続可能なサーバ装置3bとを備える。エージェント装置10bは、顔認識処理部187(特徴量抽出部)と、応答取得部182bと、対話処理部188とを備える。顔認識処理部187は、人感センサ12(センサ)によって利用者U1が検出された場合に取得した取得情報(例えば、撮像データ)から、利用者U1の特徴量を抽出する。応答取得部182bは、エージェント装置10bを識別する装置ID(装置識別情報)と、顔認識処理部187によって抽出された特徴量とを含む対話開始要求をサーバ装置3bに送信するとともに、当該対話開始要求に応じてサーバ装置3bから受信した応答情報であって、利用者U1に対応した応答データ(例えば、応答テキストデータ)を含む応答情報を取得する。対話処理部188は、応答取得部182bによって取得した応答データに基づく出力情報(例えば、応答音声データ)を、利用者U1に出力して、利用者U1との対話を開始する。また、サーバ装置3bは、利用者判定部433と、応答生成部531aとを備える。利用者判定部433は、対話開始要求に応じて、装置IDに対応する利用者U1の識別を予め機械学習させた学習結果と、装置IDと、特徴量とに基づいて利用者U1を判定する。応答生成部531aは、利用者判定部433によって判定された利用者判定結果に対応する利用者U1の関連情報に関連する話題情報と、利用者判定結果とに基づいて、応答データを生成する。なお、サーバ装置3bには、統合イベント処理サーバ30bと、機械学習サーバ40aと、対話応答サーバ50aと、サービス管理サーバ70とが含まれる。

0199

これにより、本実施形態によるエージェント対話システム1bでは、サーバ装置3bが、装置IDに対応する利用者U1の識別を予め機械学習させた学習結果に基づいて利用者U1を適切に判定し、当該利用者U1に対応した話題によりエージェント装置10bから能動的に、利用者U1との対話を開始する。そのため、例えば、利用者U1が、エージェント装置10bに話しかけ難いなどの場合であっても、エージェント装置10bから利用者U1との対話を開始することができる。よって、本実施形態によるエージェント対話システム1bは、対話において利便性を向上させることができる。

0200

また、本実施形態では、エージェント装置10bは、応答取得部182bによって応答データとして取得した応答テキストデータを応答音声データに変換する音声合成部184(音声変換部)を備える。顔認識処理部187は、人感センサ12によって利用者U1が検出された場合に、カメラ13が撮像した利用者U1を含む撮像データから、利用者U1の特徴量を抽出する。応答取得部182bは、対話開始要求に応じて、応答テキストデータを含む応答情報を取得する。対話処理部188は、音声合成部184によって変換された応答音声データを、出力情報として利用者U1に出力して、利用者U1との対話を開始する。応答生成部531aは、話題情報と、利用者判定結果とに基づいて、応答テキストデータを生成する。すなわち、本実施形態によるエージェント対話システム1bは、エージェント装置10bと、通信回線を介してエージェント装置10bに接続可能なサーバ装置3bとを備える。エージェント装置10bは、顔認識処理部187(特徴量抽出部)と、応答取得部182bと、音声合成部184と、対話処理部188とを備える。顔認識処理部187は、人感センサ12(センサ)によって利用者U1が検出された場合に、カメラ13(撮像部)が撮像した利用者U1を含む撮像データから、利用者U1の特徴量を抽出する。応答取得部182bは、エージェント装置10bを識別する装置ID(装置識別情報)と、顔認識処理部187によって抽出された特徴量とを含む対話開始要求をサーバ装置3bに送信するとともに、当該対話開始要求に応じてサーバ装置3bから受信した応答情報であって、応答テキストデータを含む応答情報を取得する。音声合成部184は、応答取得部182bによって取得した応答テキストデータを応答音声データに変換する。対話処理部188は、音声合成部184によって変換された応答音声データを、利用者U1に出力して、利用者U1との対話を開始する。また、サーバ装置3bは、利用者判定部433と、応答生成部531aとを備える。利用者判定部433は、対話開始要求に応じて、装置IDに対応する利用者U1の識別を予め機械学習させた学習結果と、装置IDと、特徴量とに基づいて利用者U1を判定する。応答生成部531aは、利用者判定部433によって判定された利用者判定結果に対応する利用者U1の関連情報に関連する話題情報と、利用者判定結果とに基づいて、応答テキストデータを生成する。なお、サーバ装置3bには、統合イベント処理サーバ30bと、機械学習サーバ40aと、対話応答サーバ50aと、サービス管理サーバ70とが含まれる。

0201

これにより、本実施形態によるエージェント対話システム1bでは、サーバ装置3bが、カメラ13が撮像した利用者U1を含む撮像データから抽出した利用者U1の特徴量と、装置IDに対応する利用者U1の識別を予め機械学習させた学習結果とに基づいて利用者U1を適切に判定する。そして、エージェント装置10bは、当該利用者U1に対応した話題の応答音声データを出力することによりエージェント装置10bから能動的に、利用者U1との対話を開始する。そのため、例えば、利用者U1が、エージェント装置10bに話しかけ難いなどの場合であっても、利用者U1に対応した話題の応答音声データにより、エージェント装置10bから利用者U1との対話を開始することができる。よって、本実施形態によるエージェント対話システム1bは、対話において利便性を向上させることができる。

0202

また、本実施形態では、統合イベント処理サーバ30bのサーバ制御部33bは、サーバ記憶部32のインメモリデータベース機能により、ストリームコンピューティングの処理を行う。
これにより、本実施形態によるエージェント対話システム1bは、ストリームコンピューティングの処理により、利用者U1との対話処理をリアルタイムに実行することができる。

0203

また、本実施形態によるエージェント対話システム1bは、利用者U1と関連情報とを対応付けた関連対応情報と、利用者判定結果とに基づいて、関連情報を抽出する関連情報抽出部434と、関連情報抽出部434によって抽出された関連情報に関連する話題情報を収集する話題情報収集部731とを備える。
これにより、本実施形態によるエージェント対話システム1bは、利用者U1の興味を引く適切な話題により、利用者U1との対話を開始することができる。

0204

また、本実施形態では、エージェント装置10bは、マイク14(収音部)によって収音された利用者U1からの発話音声データを発話テキストデータに変換するテキスト変換部181を備える。応答取得部182bは、テキスト変換部181によって変換された発話テキストデータを含む応答要求をサーバ装置3bに送信するとともに、発話テキストデータに対応する応答テキストデータを含む応答情報を取得する。対話処理部188は、発話音声データに対応する応答音声データを利用者U1に出力する。応答生成部531aは、応答要求に応じて、応答要求に含まれる発話テキストデータと、利用者判定結果とに基づいて、応答テキストデータを生成する。
これにより、本実施形態によるエージェント対話システム1bは、利用者U1との対話の開始後においても、適切な対話処理を行うことができる。

0205

また、本実施形態によるエージェント対話システム1bは、発話テキストデータ及び応答テキストデータに基づいて抽出された関連情報と、利用者判定結果とによって、関連対応情報を更新する関連情報更新部435を備える。
これにより、本実施形態によるエージェント対話システム1bは、利用者U1との対話によって、関連情報が更新されるため、さらに適切な話題によって利用者U1との対話を開始することができる。

0206

また、本実施形態では、関連情報には、利用者U1が嗜好する嗜好情報が含まれ、話題情報収集部731は、嗜好情報に関する話題情報を収集する。
これにより、本実施形態によるエージェント対話システム1bは、嗜好情報に関する話題情報により、利用者U1との対話を適切に開始することができる。

0207

また、本実施形態によるエージェント対話システム1bは、装置IDと、利用者U1の家族構成を示す家族構成情報とを対応付けたプロファイル情報を記憶するプロファイル情報記憶部424を備える。そして、関連情報には、利用者U1の家族を示す家族情報が含まれ、話題情報収集部731は、家族情報に関する話題情報を、プロファイル情報記憶部424が記憶する家族構成情報に含まれる家族による対話履歴に基づいて収集する。
これにより、本実施形態によるエージェント対話システム1bは、家族に関連する話題により、利用者U1との対話を適切に開始することができる。

0208

また、本実施形態によるエージェント装置10bは、通信回線を介してサーバ装置3bに接続可能なエージェント装置であって、顔認識処理部187と、応答取得部182bと、音声合成部184と、対話処理部188とを備える。顔認識処理部187は、センサによって利用者U1が検出された場合に、撮像部が撮像した利用者U1を含む撮像データから、利用者U1の特徴量を抽出する。応答取得部182bは、エージェント装置10bを識別する装置IDと、顔認識処理部187によって抽出された特徴量とを含む対話開始要求をサーバ装置3bに送信する。応答取得部182bは、当該対話開始要求に応じてサーバ装置3bから受信した応答情報であって、装置IDに対応する利用者U1の識別を予め機械学習させた学習結果、装置ID、及び特徴量に基づいて利用者U1を判定した利用者判定結果と、当該利用者判定結果に対応する利用者U1の関連情報に関連する話題情報とに基づいて生成された応答テキストデータを含む応答情報を取得する。音声合成部184は、応答取得部182bによって取得した応答テキストデータを応答音声データに変換する。対話処理部188は、音声合成部184によって変換された応答音声データを、利用者U1に出力して、利用者U1との対話を開始する。

0209

これにより、本実施形態によるエージェント装置10bは、上述したエージェント対話システム1bと同様の効果を奏し、対話において利便性を向上させることができる。

0210

また、本実施形態によるサーバ装置3bは、受信した応答テキストデータを変換した応答音声データを利用者U1に出力して、利用者U1との対話を開始するエージェント装置10bに、通信回線を介して接続可能なサーバ装置であって、利用者判定部433と、応答生成部531aとを備える。利用者判定部433は、エージェント装置10bから送信された対話開始要求であって、エージェント装置10bを識別する装置IDと、センサによって利用者U1が検出された場合に、撮像部が撮像した利用者U1を含む撮像データから抽出された特徴量とを含む対話開始要求に応じて、装置IDに対応する利用者の識別を予め機械学習させた学習結果と、装置IDと、特徴量とに基づいて利用者U1を判定する。応答生成部531aは、利用者判定部433によって判定された利用者判定結果に対応する利用者U1の関連情報に関連する話題情報と、利用者判定結果とに基づいて、応答テキストデータを生成する。
これにより、本実施形態によるサーバ装置3bは、上述したエージェント対話システム1b及びエージェント装置10bと同様の効果を奏し、対話において利便性を向上させることができる。

0211

また、本実施形態によるエージェント対話方法は、エージェント装置10bと、通信回線を介してエージェント装置10bに接続可能なサーバ装置3bとを備えるエージェント対話システム1bのエージェント対話方法であって、特徴量抽出ステップと、対話開始要求送信ステップと、利用者判定ステップと、応答生成ステップと、応答取得ステップと、音声変換ステップと、通話処理ステップとを含む。特徴量抽出ステップにおいて、エージェント装置10bが、センサによって利用者U1が検出された場合に取得した取得情報から、利用者U1の特徴量を抽出する。すなわち、特徴量抽出ステップにおいて、エージェント装置10bが、センサによって利用者U1が検出された場合に、撮像部が撮像した利用者U1を含む撮像データから、利用者U1の特徴量を抽出する。対話開始要求送信ステップにおいて、エージェント装置10bが、エージェント装置10bを識別する装置識別情報と、特徴量抽出ステップによって抽出された特徴量とを含む対話開始要求をサーバ装置3bに送信する。利用者判定ステップにおいて、サーバ装置3bが、対話開始要求に応じて、装置識別情報に対応する利用者U1の識別を予め機械学習させた学習結果と、装置識別情報と、特徴量とに基づいて利用者U1を判定する。応答生成ステップにおいて、サーバ装置3bが、利用者判定ステップによって判定された利用者判定結果に対応する利用者U1の関連情報に関連する話題情報と、利用者判定結果とに基づいて、利用者U1に対応した応答データを生成する。すなわち、応答生成ステップにおいて、サーバ装置3bが、利用者判定ステップによって判定された利用者判定結果に対応する利用者U1の関連情報に関連する話題情報と、利用者判定結果とに基づいて、応答テキストデータを生成する。応答取得ステップにおいて、エージェント装置10bが、対話開始要求に応じてサーバ装置3bから受信した応答情報であって、応答データ(例えば、応答テキストデータ)を含む応答情報を取得する。音声変換ステップにおいて、エージェント装置10bが、応答取得ステップによって取得した応答テキストデータを応答音声データに変換する。通話処理ステップにおいて、エージェント装置10bが、音声変換ステップによって変換された応答音声データを、利用者U1に出力して、利用者U1との対話を開始する。すなわち、通話処理ステップにおいて、エージェント装置10bが、応答取得ステップによって取得した応答データに基づく出力情報を、利用者U1に出力して、利用者U1との対話を開始する。

0212

これにより、本実施形態によるエージェント対話方法は、上述したエージェント対話システム1b、エージェント装置10b及びサーバ装置3bと同様の効果を奏し、対話において利便性を向上させることができる。

0213

なお、上記の第3の実施形態において、サーバ装置3bは、統合イベント処理サーバ30bと、機械学習サーバ40aと、対話応答サーバ50aと、サービス管理サーバ70との4つの装置で構成する例を説明したが、これに限定されるものではない。例えば、サーバ装置3bを1つの装置により構成するようにしてもよいし、4つ以外の複数の装置で構成してもよい。また、統合イベント処理サーバ30bと、機械学習サーバ40aと、対話応答サーバ50aと、サービス管理サーバ70との各装置が実行する各機能の一部を他の装置が実行するようにしてもよい。

0214

また、上記の第3の実施形態において、エージェント装置10bが、顔認識処理部187を備え、利用者U1の特徴量を抽出する例を説明したが、顔認識処理部187を、サーバ装置3bが備えるようにしてもよい。
また、上記の第3の実施形態において、話題情報収集部731は、インターネット上の話題情報を収集する例を説明したが、これに限定されるものではない、話題情報収集部731は、例えば、利用者U1との過去の対話や、プロファイル情報に基づいて他のエージェント装置10b(例えば、親戚の家のエージェント装置10bなど)の対話などにより話題情報を収集するようにしてもよい。

0215

なお、本発明は、上記の各実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
例えば、上記の各実施形態は、単独で実施する例を説明したが、上記の各実施形態を組み合わせて実施してもよい。例えば、上記の第1又は第2の実施形態と、第3の実施形態とを組み合わせて実施してもよい。

0216

また、上記の各実施形態において、対話応答サーバ50(50a)が、応答テキストデータを生成する例を説明したが、機械学習サーバ40(40a)が、機械学習結果に基いて、応答テキストデータを生成するようにしてもよい。

0217

なお、上述したエージェント対話システム1(1a、1b)が備える各構成は、内部に、コンピュータシステムを有している。そして、上述したエージェント対話システム1(1a、1b)が備える各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述したエージェント対話システム1(1a、1b)が備える各構成における処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、インターネットやWAN、LAN、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、CD−ROM等の非一過性の記録媒体であってもよい。

0218

また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部又は外部に設けられた記録媒体も含まれる。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後にエージェント対話システム1(1a、1b)が備える各構成で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル差分プログラム)であってもよい。

0219

また、上述した機能の一部又は全部を、LSI(Large Scale Integration)等の集積回路として実現してもよい。上述した各機能は個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、又は汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

0220

1、1a、1bエージェント対話システム
2 住宅
3、3a、3bサーバ装置
10、10a、10bエージェント装置
11、31、41、51、71 NW通信部
12人感センサ
13カメラ
14マイク
15スピーカ
16 表示部
17、17a、17b 記憶部
18、18a、18b 制御部
20 HGW装置
21宅内電話器
30、30a、30b統合イベント処理サーバ
32、32a、42、42a、52、52a、72サーバ記憶部
33、33a、33b、43、43a、53、53a、73サーバ制御部
40、40a機械学習サーバ
50、50a対話応答サーバ
60発信者電話器
70サービス管理サーバ
171、321電話帳記憶部
172不在情報記憶部
181テキスト変換部
182、182a、182b応答取得部
183、333知人判定部
184音声合成部
185通話処理部
331日本語解析部
332 迷惑通話処理部
334対話管理部
421、421a 学習データ記憶部
422、422a学習結果記憶部
423 関連対応情報記憶部
424プロファイル情報記憶部
431、431a学習処理部
432 迷惑電話判定部
433利用者判定部
434関連情報抽出部
435 関連情報更新部
521対話履歴記憶部
531、531a応答生成部
721話題情報記憶部
731 話題情報収集部
NW1通信回線網
NW2インターネット網
U1 利用者

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

該当するデータがありません

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

該当するデータがありません

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ