図面 (/)

技術 エージェント装置、エージェント装置の制御方法、およびプログラム

出願人 本田技研工業株式会社
発明者 本田裕栗原正樹
出願日 2019年3月19日 (1年9ヶ月経過) 出願番号 2019-051198
公開日 2020年9月24日 (3ヶ月経過) 公開番号 2020-154082
状態 未査定
技術分野 音声認識 車両用電気・流体回路 教示用装置 航行(Navigation) 交通制御システム
主要キーワード 中間辺 左側後部座席 応答候補 右側後部座席 DS側 混合ガウス分布モデル パーソナルプロファイル ハードウェアプロセッサ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年9月24日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (12)

課題

より適切な応答結果を提供することができるエージェント装置、エージェント装置の制御方法、およびプログラムを提供すること。

解決手段

実施形態のエージェント装置は、それぞれが車両の乗員の発話による音声を認識する認識部を備え、前記認識部による音声認識結果に応じて、応答を含むサービスを提供する複数のエージェント機能部と、前記乗員の発話の音声を記憶部に記憶させる記憶制御部と、を備え、前記複数のエージェント機能部のうち、前記乗員により選択された第1のエージェント機能部は、前記記憶部に記憶された音声と、前記第1のエージェント機能部が備える認識部により認識された音声認識結果とを、他のエージェント機能部に出力する。

概要

背景

従来、車両の乗員と対話を行いながら、乗員の要求に応じた運転支援に関する情報や車両の制御、その他のアプリケーション等を提供するエージェント機能に関する技術が開示されている(例えば、特許文献1参照)。

概要

より適切な応答結果を提供することができるエージェント装置、エージェント装置の制御方法、およびプログラムを提供すること。実施形態のエージェント装置は、それぞれが車両の乗員の発話による音声を認識する認識部を備え、前記認識部による音声認識結果に応じて、応答を含むサービスを提供する複数のエージェント機能部と、前記乗員の発話の音声を記憶部に記憶させる記憶制御部と、を備え、前記複数のエージェント機能部のうち、前記乗員により選択された第1のエージェント機能部は、前記記憶部に記憶された音声と、前記第1のエージェント機能部が備える認識部により認識された音声認識結果とを、他のエージェント機能部に出力する。

目的

従来、車両の乗員と対話を行いながら、乗員の要求に応じた運転支援に関する情報や車両の制御、その他のアプリケーション等を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

それぞれが車両の乗員の発話による音声を認識する認識部を備え、前記認識部による音声認識結果に応じて、応答を含むサービスを提供する複数のエージェント機能部と、前記乗員の発話の音声を記憶部に記憶させる記憶制御部と、を備え、前記複数のエージェント機能部のうち、前記乗員により選択された第1のエージェント機能部は、前記記憶部に記憶された音声と、前記第1のエージェント機能部が備える認識部により認識された音声認識結果とを、他のエージェント機能部に出力する、エージェント装置

請求項2

前記第1のエージェント機能部は、前記認識部により前記乗員の発話に対する音声認識結果が得られたタイミングで、前記記憶部に記憶された音声と、前記音声認識結果とを他のエージェント機能部に出力する、請求項1に記載のエージェント装置。

請求項3

前記乗員の発話に対する応答結果を出力部に出力させる出力制御部を、更に備え、前記出力制御部は、前記第1のエージェント機能部によって得られた応答結果の確信度閾値未満である場合に、前記乗員に提供する応答結果を、前記他のエージェント機能部によって得られた応答結果に変更して前記出力部に出力させる、請求項1または2に記載のエージェント装置。

請求項4

前記他のエージェント機能部は、前記第1のエージェント機能部の応答結果に基づいて、前記乗員の要求内容に対する応答結果を生成する、請求項1から3のうち何れか1項に記載のエージェント装置。

請求項5

前記第1のエージェント機能部は、前記認識部による音声認識結果に基づいて、前記複数のエージェント機能部から一以上の他のエージェント機能部を選択し、選択した他のエージェント機能部に前記記憶部に記憶された音声と前記音声認識結果とを出力する、請求項1から4のうち何れか1項に記載のエージェント装置。

請求項6

コンピュータが、それぞれが車両の乗員の発話による音声を認識する認識部を備えた複数のエージェント機能部を起動させ、前記起動したエージェント機能部の機能として、前記認識部による音声認識結果に応じて、応答を含むサービスを提供し、前記乗員の発話の音声を記憶部に記憶し、前記複数のエージェント機能部のうち、前記乗員により選択された第1のエージェント機能部が、前記記憶部に記憶された音声と、前記第1のエージェント機能部が備える認識部により認識された音声認識結果とを、他のエージェント機能部に出力する、エージェント装置の制御方法

請求項7

コンピュータに、それぞれが車両の乗員の発話による音声を認識する認識部を備えた複数のエージェント機能部を起動させ、前記起動させたエージェント機能部の機能として、前記認識部による音声認識結果に応じて、応答を含むサービスを提供させ、前記乗員の発話の音声を記憶部に記憶させ、前記複数のエージェント機能部のうち、前記乗員により選択された第1のエージェント機能部が、前記記憶部に記憶された音声と、前記第1のエージェント機能部が備える認識部により認識された音声認識結果とを、他のエージェント機能部に出力させる、プログラム

技術分野

0001

本発明は、エージェント装置、エージェント装置の制御方法、およびプログラムに関する。

背景技術

0002

従来、車両の乗員と対話を行いながら、乗員の要求に応じた運転支援に関する情報や車両の制御、その他のアプリケーション等を提供するエージェント機能に関する技術が開示されている(例えば、特許文献1参照)。

先行技術

0003

特開2006−335231号公報

発明が解決しようとする課題

0004

近年では、複数のエージェント機能を車両に搭載することについて実用化が進められているが、複数のエージェントを用いた場合であっても、乗員が一つのエージェントを呼び出して要求を伝える必要がある。そのため、乗員は、エージェントごとの特徴を把握していないと、要求に対する処理を実行させるのに最適なエージェントを呼び出すことができず、適切な結果が得られない場合があった。

0005

本発明は、このような事情を考慮してなされたものであり、より適切な応答結果を提供することができるエージェント装置、エージェント装置の制御方法、およびプログラムを提供することを目的の一つとする。

課題を解決するための手段

0006

この発明に係るエージェント装置、エージェント装置の制御方法、およびプログラムは、以下の構成を採用した。
(1):この発明の一態様に係るエージェント装置は、それぞれが車両の乗員の発話による音声を認識する認識部を備え、前記認識部による音声認識結果に応じて、応答を含むサービスを提供する複数のエージェント機能部と、前記乗員の発話の音声を記憶部に記憶させる記憶制御部と、を備え、前記複数のエージェント機能部のうち、前記乗員により選択された第1のエージェント機能部は、前記記憶部に記憶された音声と、前記第1のエージェント機能部が備える認識部により認識された音声認識結果とを、他のエージェント機能部に出力する、エージェント装置である。

0007

(2):上記(1)の態様において、前記第1のエージェント機能部は、前記認識部により前記乗員の発話に対する音声認識結果が得られたタイミングで、前記記憶部に記憶された音声と、前記音声認識結果とを他のエージェント機能部に出力するものである。

0008

(3):上記(1)または(2)の態様において、前記乗員の発話に対する応答結果を出力部に出力させる出力制御部を、更に備え、前記出力制御部は、前記第1のエージェント機能部によって得られた応答結果の確信度閾値未満である場合に、前記乗員に提供する応答結果を、前記他のエージェント機能部によって得られた応答結果に変更して前記出力部に出力させるものである。

0009

(4):上記(1)〜(3)のうち何れか1つの態様において、前記他のエージェント機能部は、前記第1のエージェント機能部の応答結果に基づいて、前記乗員の要求内容に対する応答結果を生成するものである。

0010

(5):上記(1)〜(4)のうち何れか1つの態様において、前記第1のエージェント機能部は、前記認識部による音声認識結果に基づいて、前記複数のエージェント機能部から一以上の他のエージェント機能部を選択し、選択した他のエージェント機能部に前記記憶部に記憶された音声と前記音声認識結果とを出力するものである。

0011

(6):本発明の他の態様に係るエージェント装置の制御方法は、コンピュータが、それぞれが車両の乗員の発話による音声を認識する認識部を備えた複数のエージェント機能部を起動させ、前記起動したエージェント機能部の機能として、前記認識部による音声認識結果に応じて、応答を含むサービスを提供し、前記乗員の発話の音声を記憶部に記憶し、前記複数のエージェント機能部のうち、前記乗員により選択された第1のエージェント機能部が、前記記憶部に記憶された音声と、前記第1のエージェント機能部が備える認識部により認識された音声認識結果とを、他のエージェント機能部に出力する、エージェント装置の制御方法である。

0012

(7):本発明の他の態様に係るプログラムは、コンピュータに、それぞれが車両の乗員の発話による音声を認識する認識部を備えた複数のエージェント機能部を起動させ、前記起動させたエージェント機能部の機能として、前記認識部による音声認識結果に応じて、応答を含むサービスを提供させ、前記乗員の発話の音声を記憶部に記憶させ、前記複数のエージェント機能部のうち、前記乗員により選択された第1のエージェント機能部が、前記記憶部に記憶された音声と、前記第1のエージェント機能部が備える認識部により認識された音声認識結果とを、他のエージェント機能部に出力させる、プログラムである。

発明の効果

0013

上記(1)〜(7)の態様によれば、より適切な応答結果を提供することができる。

図面の簡単な説明

0014

エージェント装置100を含むエージェントシステム1の構成図である。
実施形態に係るエージェント装置100の構成と、車両Mに搭載された機器とを示す図である。
表示・操作装置20およびスピーカユニット30の配置例を示す図である。
エージェントサーバ200の構成と、エージェント装置100の構成の一部とを示す図である。
乗員Pが発話する前の場面において、表示制御部122により表示される画像IM1の一例を示す図である。
第1のエージェント機能部が起動中である場面において、表示制御部122により表示される画像IM2の一例を示す図である。
応答結果が出力される様子の一例を示す図である。
他のエージェント機能部によって得られた応答結果が出力される様子について説明するための図である。
他のエージェント機能部が乗員に応答する様子を説明するための図である。
エージェント装置100により実行される処理の流れの一例を示すフローチャートである。
変形例においてエージェント装置100により実行される処理の流れの一例を示すフローチャートである。

実施例

0015

以下、図面を参照し、本発明のエージェント装置、エージェント装置の制御方法、およびプログラムの実施形態について説明する。エージェント装置は、エージェントシステムの一部または全部を実現する装置である。以下では、エージェント装置の一例として、車両(以下、車両M)に搭載され、複数種類のエージェント機能を備えたエージェント装置について説明する。エージェント機能とは、例えば、車両Mの乗員と対話をしながら、乗員の発話の中に含まれる要求(コマンド)に基づく各種の情報提供を行ったり、ネットワークサービス仲介したりする機能である。また、エージェント機能の中には、車両内の機器(例えば運転制御車体制御に関わる機器)の制御等を行う機能を有するものがあってよい。

0016

エージェント機能は、例えば、乗員の音声を認識する音声認識機能(音声をテキスト化する機能)に加え、自然言語処理機能(テキストの構造や意味を理解する機能)、対話管理機能、ネットワークを介して他装置を検索し、或いは自装置が保有する所定のデータベースを検索するネットワーク検索機能等を統合的に利用して実現される。これらの機能の一部または全部は、AI(Artificial Intelligence)技術によって実現されてよい。また、これらの機能を行うための構成の一部(特に、音声認識機能や自然言語処理解釈機能)は、車両Mの車載通信装置または車両Mに持ち込まれた汎用通信装置と通信可能なエージェントサーバ(外部装置)に搭載されてもよい。以下の説明では、構成の一部がエージェントサーバに搭載されており、エージェント装置とエージェントサーバが協働してエージェントシステムを実現することを前提とする。また、エージェント装置とエージェントサーバが協働して仮想的に出現させるサービス提供主体(サービス・エンティティ)をエージェントと称する。

0017

<全体構成>
図1は、エージェント装置100を含むエージェントシステム1の構成図である。エージェントシステム1は、例えば、エージェント装置100と、複数のエージェントサーバ200−1、200−2、200−3、…とを備える。符号の末尾ハイフン以下数字は、エージェントを区別するための識別子であるものとする。何れのエージェントサーバであるかを区別しない場合、単にエージェントサーバ200と称する場合がある。図1では3つのエージェントサーバ200を示しているが、エージェントサーバ200の数は2つであってもよいし、4つ以上であってもよい。それぞれのエージェントサーバ200は、例えば、互いに異なるエージェントシステムの提供者運営するものである。したがって、本実施形態におけるエージェントは、互いに異なる提供者により実現されるエージェントである。提供者としては、例えば、自動車メーカーネットワークサービス事業者電子商取引事業者携帯端末販売者等が挙げられ、任意の主体(法人、団体、個人等)がエージェントシステムの提供者となり得る。

0018

エージェント装置100は、ネットワークNWを介してエージェントサーバ200と通信する。ネットワークNWは、例えば、インターネットセルラー網、Wi−Fi網、WAN(Wide Area Network)、LAN(Local Area Network)、公衆回線電話回線無線基地局等のうち一部または全部を含む。ネットワークNWには、各種ウェブサーバ300が接続されており、エージェントサーバ200またはエージェント装置100は、ネットワークNWを介して各種ウェブサーバ300からウェブページやWebAPI(Web Application Programming Interface)経由で各種情報を取得することができる。

0019

エージェント装置100は、車両Mの乗員と対話を行い、乗員からの音声をエージェントサーバ200に送信し、エージェントサーバ200から得られた回答を、音声出力画像表示の形で乗員に提示する。また、エージェント装置100は、乗員からの要求に基づいて車両機器50に対する制御等を行う。

0020

<第1実施形態>
[車両]
図2は、実施形態に係るエージェント装置100の構成と、車両Mに搭載された機器とを示す図である。車両Mには、例えば、一以上のマイク10と、表示・操作装置20と、スピーカユニット30と、ナビゲーション装置40と、車両機器50と、車載通信装置60と、乗員認識装置80と、エージェント装置100とが搭載される。また、スマートフォン等の汎用通信装置70が車室内に持ち込まれ、通信装置として使用される場合がある。これらの装置は、CAN(Controller Area Network)通信線等の多重通信線シリアル通信線無線通信網等によって互いに接続される。なお、図2に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。表示・操作装置20と、スピーカユニット30とを合わせたものが「出力部」の一例である。

0021

マイク10は、車室内で発せられた音を収集する収音部である。表示・操作装置20は、画像を表示すると共に、入力操作を受付可能な装置(或いは装置群)である。表示・操作装置20は、例えば、タッチパネルとして構成されたディスプレイ装置を含む。表示・操作装置20は、更に、HUD(Head Up Display)や機械式入力装置を含んでもよい。スピーカユニット30は、例えば、車室内の互いに異なる位置に配設された複数のスピーカ音出力部)を含む。表示・操作装置20及びスピーカユニット30は、エージェント装置100とナビゲーション装置40とで共用されてもよい。これらの詳細については後述する。

0022

ナビゲーション装置40は、ナビMI(Human Machine Interface)と、GPS(Global Positioning System)等の位置測位装置と、地図情報を記憶した記憶装置と、経路探索等を行う制御装置ナビゲーションコントローラ)とを備える。マイク10、表示・操作装置20、およびスピーカユニット30のうち一部または全部がナビHMIとして用いられてもよい。ナビゲーション装置40は、位置測位装置によって特定された車両Mの位置から、乗員によって入力された目的地まで移動するための経路ナビ経路)を探索し、経路に沿って車両Mが走行できるように、ナビHMIを用いて案内情報を出力する。経路探索機能は、ネットワークNWを介してアクセス可能ナビゲーションサーバにあってもよい。この場合、ナビゲーション装置40は、ナビゲーションサーバから経路を取得して案内情報を出力する。なお、エージェント装置100は、ナビゲーションコントローラを基盤として構築されてもよく、その場合、ナビゲーションコントローラとエージェント装置100は、ハードウェア上は一体に構成される。

0023

車両機器50は、例えば、エンジン走行用モータ等の駆動力出力装置、エンジンの始動モータドアロック装置ドア開閉装置空調装置等を含む。

0024

車載通信装置60は、例えば、セルラー網やWi−Fi網を利用してネットワークNWにアクセス可能な無線通信装置である。

0025

乗員認識装置80は、例えば、着座センサ車室内カメラ画像認識装置等を含む。着座センサは座席の下部に設けられた圧力センサシートベルトに取り付けられた張力センサ等を含む。車室内カメラは、車室内に設けられたCCD(Charge Coupled Device)カメラやCMOS(Complementary Metal Oxide Semiconductor)カメラである。画像認識装置は、車室内カメラの画像を解析し、座席ごとの乗員の有無、顔向き等を認識する。

0026

図3は、表示・操作装置20およびスピーカユニット30の配置例を示す図である。表示・操作装置20は、例えば、第1ディスプレイ22と、第2ディスプレイ24と、操作スイッチASSY26とを含む。表示・操作装置20は、更に、HUD28を含んでもよい。また、表示・操作装置20は、更に、インストルメントパネルのうち運転席DSに対面する部分に設けられるメーターディスプレイ29を含んでもよい。第1ディスプレイ22と、第2ディスプレイ24と、HUD28と、メーターディスプレイ29とを合わせたものが「表示部」の一例である。

0027

車両Mには、例えば、ステアリングホイールSWが設けられた運転席DSと、運転席DSに対して車幅方向(図中Y方向)に設けられた助手席ASとが存在する。第1ディスプレイ22は、インストルメントパネルにおける運転席DSと助手席ASとの中間辺りから、助手席ASの左端部に対向する位置まで延在する横長形状のディスプレイ装置である。第2ディスプレイ24は、運転席DSと助手席ASとの車幅方向に関する中間あたり、且つ第1ディスプレイの下方に設置されている。例えば、第1ディスプレイ22と第2ディスプレイ24は、共にタッチパネルとして構成され、表示部としてLCD(Liquid Crystal Display)や有機EL(Electroluminescence)、プラズマディスプレイ等を備えるものである。操作スイッチASSY26は、ダイヤルスイッチボタン式スイッチ等が集積されたものである。HUD28は、例えば、風景重畳させて画像を視認させる装置であり、一例として、車両Mのフロントウインドシールドコンバイナーに画像を含む光を投光することで、乗員に虚像を視認させる。メーターディスプレイ29は、例えば、LCDや有機EL等であり、速度計回転速度計等の計器類を表示する。表示・操作装置20は、乗員によってなされた操作の内容をエージェント装置100に出力する。上述した各表示部が表示する内容は、エージェント装置100によって決定されてよい。

0028

スピーカユニット30は、例えば、スピーカ30A〜30Fを含む。スピーカ30Aは、運転席DS側の窓柱(いわゆるAピラー)に設置されている。スピーカ30Bは、運転席DSに近いドアの下部に設置されている。スピーカ30Cは、助手席AS側の窓柱に設置されている。スピーカ30Dは、助手席ASに近いドアの下部に設置されている。スピーカ30Eは、第2ディスプレイ24の近傍に設置されている。スピーカ30Fは、車室の天井ルーフ)に設置されている。また、スピーカユニット30は、右側後部座席左側後部座席に近いドアの下部に設置されてもよい。

0029

係る配置において、例えば、専らスピーカ30Aおよび30Bに音を出力させた場合、音像は運転席DS付近定位することになる。「音像が定位する」とは、例えば、乗員の左右のに伝達される音の大きさを調節することにより、乗員が感じ音源の空間的な位置を定めることである。また、専らスピーカ30Cおよび30Dに音を出力させた場合、音像は助手席AS付近に定位することになる。また、専らスピーカ30Eに音を出力させた場合、音像は車室の前方付近に定位することになり、専らスピーカ30Fに音を出力させた場合、音像は車室の上方付近に定位することになる。これに限らず、スピーカユニット30は、ミキサーアンプを用いて各スピーカの出力する音の配分を調整することで、車室内の任意の位置に音像を定位させることができる。

0030

[エージェント装置]
図2戻り、エージェント装置100は、管理部110と、エージェント機能部150−1、150−2、150−3と、ペアリングアプリ実行部152と、記憶部160とを備える。管理部110は、例えば、音響処理部112と、エージェントごとWU(Wake Up)判定部114と、記憶制御部116と、出力制御部120と備える。以下、何れのエージェント機能部であるか区別しない場合、単にエージェント機能部150と称する。3つのエージェント機能部150を示しているのは、図1におけるエージェントサーバ200の数に対応させた一例に過ぎず、エージェント機能部150の数は、2つであってもよいし、4つ以上であってもよい。図2に示すソフトウェア配置は説明のために簡易に示しており、実際には、例えば、エージェント機能部150と車載通信装置60の間に管理部110が介在してもよいように、任意に改変することができる。

0031

エージェント装置100の各構成要素は、例えば、CPU(Central Processing Unit)等のハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific IntegratedCircuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)等のハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めHDD(Hard Disk Drive)やフラッシュメモリ等の記憶装置(非一過性記憶媒体を備える記憶装置)に格納されていてもよいし、DVDやCD−ROM等の着脱可能な記憶媒体(非一過性の記憶媒体)に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。

0032

記憶部160は、上記の各種記憶装置により実現される。記憶部160には、例えば、音声情報162等のデータやプログラムが格納される。音声情報162には、例えば、マイク10から得られる乗員の発話の音声(生音声データ)または音響処理部112により音響処理された音声(音声ストリーム)のうち、一方または双方が含まれる。

0033

管理部110は、OS(Operating System)やミドルウェア等のプログラムが実行されることで機能する。

0034

管理部110の音響処理部112は、マイク10から収集される音を受け付け、受け付けた音に対して、エージェントごとに予め設定されているウエイクアップワードを認識するのに適した状態になるように音響処理を行う。音響処理とは、例えば、バンドパスフィルタ等のフィルタリングによるノイズ除去や音の増幅等である。

0035

エージェントごとWU判定部114は、エージェント機能部150−1、150−2、150−3のそれぞれに対応して存在し、エージェントごとに予め定められているウエイクアップワードを認識する。エージェントごとWU判定部114は、音響処理が行われた音声(音声ストリーム)から音声がウエイクアップワードであるか否かを認識する。まず、エージェントごとWU判定部114は、音声ストリームにおける音声波形振幅零交差に基づいて音声区間を検出する。エージェントごとWU判定部114は、混合ガウス分布モデルGMM;Gaussian mixture model) に基づくフレーム単位音声識別および非音声識別に基づく区間検出を行ってもよい。

0036

次に、エージェントごとWU判定部114は、検出した音声区間における音声をテキスト化し、文字情報とする。そして、エージェントごとWU判定部114は、テキスト化した文字情報がウエイクアップワードに該当するか否かを判定する。ウエイクアップワードであると判定した場合、エージェントごとWU判定部114は、対応するエージェント機能部150を起動させる。なお、エージェントごとWU判定部114に相当する機能が、エージェントサーバ200に搭載されてもよい。この場合、管理部110は、音響処理部112によって音響処理が行われた音声ストリームをエージェントサーバ200に送信し、エージェントサーバ200がウエイクアップワードであると判定した場合、エージェントサーバ200からの指示に従ってエージェント機能部150が起動する。なお、各エージェント機能部150は、常時起動しており且つウエイクアップワードの判定を自ら行うものであってよい。この場合、管理部110がエージェントごとWU判定部114を備える必要はない。

0037

記憶制御部116は、記憶部160に記憶される情報を制御する。例えば、記憶制御部116は、複数のエージェント機能部150のうち、何れかのエージェント機能部が乗員の発話に応答している場合に、マイク10から入力される音声や、音響処理部112により処理された音声を音声情報162として記憶部160に記憶させる。また、記憶制御部116は、音声情報162を記憶してから所定時間が経過した場合、または音声情報162に含まれる乗員の要求に対する応答が完了した場合に、音声情報162を記憶部160から削除する制御を行ってもよい。

0038

出力制御部120は、管理部110またはエージェント機能部150からの指示に応じて表示部またはスピーカユニット30に応答結果等の情報を出力させることで、乗員にサービス等の提供を行う。出力制御部120は、例えば、表示制御部122と、音声制御部124とを備える。

0039

表示制御部122は、出力制御部120からの指示に応じて表示部の少なくとも一部の領域に画像を表示させる。以下では、エージェントに関する画像を第1ディスプレイ22に表示させるものとして説明する。表示制御部122は、出力制御部120の制御により、例えば、車室内で乗員とのコミュニケーションを行う擬人化されたエージェントの画像(以下、エージェント画像と称する)を生成し、生成したエージェント画像を第1ディスプレイ22に表示させる。エージェント画像は、例えば、乗員に対して話しかける態様の画像である。エージェント画像は、例えば、少なくとも観者(乗員)によって表情や顔向きが認識される程度の顔画像を含んでよい。例えば、エージェント画像は、顔領域の中に目やに擬したパーツが表されており、顔領域の中のパーツの位置に基づいて表情や顔向きが認識されるものであってよい。また、エージェント画像は、立体的に感じられ、観者によって三次元空間における頭部画像を含むことでエージェントの顔向きが認識されたり、本体(胴体手足)の画像を含むことで、エージェントの動作や振る舞い、姿勢等が認識されるものであってもよい。また、エージェント画像は、アニメーション画像であってもよい。例えば、表示制御部122は、乗員認識装置80により認識された乗員の位置に近い表示領域にエージェント画像を表示させたり、乗員の位置に顔を向けたエージェント画像を生成して表示させてもよい。

0040

音声制御部124は、出力制御部120からの指示に応じて、スピーカユニット30に含まれるスピーカのうち一部または全部に音声を出力させる。音声制御部124は、複数のスピーカユニット30を用いて、エージェント画像の表示位置に対応する位置にエージェント音声の音像を定位させる制御を行ってもよい。エージェント画像の表示位置に対応する位置とは、例えば、エージェント画像がエージェント音声を喋っていると乗員が感じると予測される位置であり、具体的には、エージェント画像の表示位置付近(例えば、2〜3[cm]以内)の位置である。

0041

エージェント機能部150は、対応するエージェントサーバ200と協働してエージェントを出現させ、車両の乗員の発話に応じて、音声による応答を含むサービスを提供する。エージェント機能部150には、車両機器50を制御する権限が付与されたものが含まれてよい。また、エージェント機能部150には、ペアリングアプリ実行部152を介して汎用通信装置70と連携し、エージェントサーバ200と通信するものがあってよい。例えば、エージェント機能部150−1には、車両機器50を制御する権限が付与されている。エージェント機能部150−1は、車載通信装置60を介してエージェントサーバ200−1と通信する。エージェント機能部150−2は、車載通信装置60を介してエージェントサーバ200−2と通信する。エージェント機能部150−3は、ペアリングアプリ実行部152を介して汎用通信装置70と連携し、エージェントサーバ200−3と通信する。

0042

ペアリングアプリ実行部152は、例えば、Bluetooth(登録商標)によって汎用通信装置70とペアリングを行い、エージェント機能部150−3と汎用通信装置70とを接続させる。なお、エージェント機能部150−3は、USB(Universal Serial Bus)等を利用した有線通信によって汎用通信装置70に接続されるようにしてもよい。以下、エージェント機能部150−1とエージェントサーバ200−1が協働して出現させるエージェントをエージェント1、エージェント機能部150−2とエージェントサーバ200−2が協働して出現させるエージェントをエージェント2、エージェント機能部150−3とエージェントサーバ200−3が協働して出現させるエージェントをエージェント3と称する場合がある。エージェント機能部150−1〜150−3のそれぞれは、マイク10や音響処理部112等から入力された乗員の発話(音声)に対する処理を実行し、実行結果(例えば、発話に含まれる要求に対する応答結果)を管理部110に出力する。

0043

また、エージェント機能部150−1〜150−1のそれぞれは、マイク10から入力された音声や音声認識結果、応答結果等を他のエージェント機能部に受け渡して、他のエージェント機能部に処理を実行させる。上記機能の詳細については後述する。

0044

[エージェントサーバ]
図4は、エージェントサーバ200の構成と、エージェント装置100の構成の一部とを示す図である。以下、エージェントサーバ200の構成と共にエージェント機能部150等の動作について説明する。ここでは、エージェント装置100からネットワークNWまでの物理的な通信についての説明を省略する。また、以下では、主にエージェント機能部150−1およびエージェントサーバ200−1を中心として説明するが、他のエージェント機能部やエージェントサーバの組についても、それぞれの詳細な機能やデータベース等で相違はあるものの、ほぼ同様の動作を行う。

0045

エージェントサーバ200−1は、通信部210を備える。通信部210は、例えば、NIC(Network Interface Card)等のネットワークインターフェースである。更に、エージェントサーバ200−1は、例えば、音声認識部220と、自然言語処理部222と、対話管理部224と、ネットワーク検索部226と、応答文生成部228と、記憶部250とを備える。これらの構成要素は、例えば、CPU等のハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSIやASIC、FPGA、GPU等のハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めHDDやフラッシュメモリ等の記憶装置(非一過性の記憶媒体を備える記憶装置)に格納されていてもよいし、DVDやCD−ROM等の着脱可能な記憶媒体(非一過性の記憶媒体)に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。音声認識部220と、自然言語処理部222とを合わせたものが「認識部」の一例である。

0046

記憶部250は、上記の各種記憶装置により実現される。記憶部250には、例えば、辞書DB(データベース)252、パーソナルプロファイル254、知識ベースDB256、応答規則DB258等のデータやプログラムが格納される。

0047

エージェント装置100において、エージェント機能部150−1は、マイク10や音響処理部112等から得らえる音声ストリーム、或いは圧縮や符号化などの処理を行った音声ストリームを、エージェントサーバ200−1に送信する。エージェント機能部150−1は、ローカル処理(エージェントサーバ200−1を介さない処理)が可能なコマンド(要求内容)が認識できた場合には、コマンドで要求された処理を実行してもよい。ローカル処理が可能なコマンドとは、例えば、エージェント装置100が備える記憶部160を参照することで応答可能なコマンドである。より具体的には、ローカル処理が可能なコマンドとは、例えば、記憶部160内に存在する電話帳データから特定者名前を検索し、合致した名前に対応付けられた電話番号に電話をかける(相手を呼び出す)コマンドである。したがって、エージェント機能部150−1は、エージェントサーバ200−1が備える機能の一部を有してもよい。

0048

音声ストリームを取得すると、音声認識部220が音声認識を行ってテキスト化された文字情報を出力し、自然言語処理部222が文字情報に対して辞書DB252を参照しながら意味解釈を行う。辞書DB252は、例えば、文字情報に対して抽象化された意味情報が対応付けられたものである。辞書DB252は、同義語類義語一覧情報を含んでもよい。音声認識部220の処理と、自然言語処理部222の処理は、段階が明確に分かれるものではなく、自然言語処理部222の処理結果を受けて音声認識部220が認識結果を修正するなど、相互に影響し合って行われてよい。

0049

自然言語処理部222は、例えば、音声認識結果として、「今日の天気は」、「天気はどうですか」等のテキストが認識された場合、ユーザ意図を「天気:今日」に置き換え内部状態を生成する。これにより、リクエストの音声に文字揺らぎ言い回しの違いがあった場合にも要求にあった対話をし易くすることができる。また、自然言語処理部222は、例えば、確率を利用した機械学習処理等の人工知能処理を用いて文字情報の意味を認識したり、認識結果に基づくコマンドを生成してもよい。

0050

対話管理部224は、入力されたコマンドに基づいて、パーソナルプロファイル254や知識ベースDB256、応答規則DB258を参照しながら車両Mの乗員に対する応答内容(例えば、乗員への発話内容や出力する画像)を決定する。パーソナルプロファイル254は、乗員ごとに保存されている乗員の個人情報趣味嗜好、過去の対話の履歴等を含む。知識ベースDB256は、物事の関係性を規定した情報である。応答規則DB258は、コマンドに対してエージェントが行うべき動作(回答や機器制御の内容等)を規定した情報である。

0051

また、対話管理部224は、音声ストリームから得られる特徴情報を用いて、パーソナルプロファイル254と照合を行うことで、乗員を特定してもよい。この場合、パーソナルプロファイル254には、例えば、音声の特徴情報に、個人情報が対応付けられている。音声の特徴情報とは、例えば、声の高さ、イントネーションリズム(音の高低パターン)等の喋り方の特徴や、メル周波数ケプストラム係数(Mel Frequency Cepstrum Coefficients)等による特徴量に関する情報である。音声の特徴情報は、例えば、乗員の初期登録時に所定の単語や文章等を乗員に発声させ、発声させた音声を認識することで得られる情報である。

0052

対話管理部224は、コマンドが、ネットワークNWを介して検索可能な情報を要求するものである場合、ネットワーク検索部226に検索を行わせる。ネットワーク検索部226は、ネットワークNWを介して各種ウェブサーバ300にアクセスし、所望の情報を取得する。「ネットワークNWを介して検索可能な情報」とは、例えば、車両Mの周辺にあるレストラン一般ユーザによる評価結果であったり、その日の車両Mの位置に応じた天気予報であったりする。

0053

応答文生成部228は、対話管理部224により決定された発話の内容が車両Mの乗員に伝わるように、応答文を生成し、生成した応答文(応答結果)をエージェント装置100に送信する。また、応答文生成部228は、乗員認識装置80による認識結果をエージェント装置100から取得し、取得した認識結果によりコマンドを含む発話を行った乗員がパーソナルプロファイル254に登録された乗員であることが特定されている場合に、乗員の名前を呼んだり、乗員の話し方に合わせた話し方にした応答文を生成してもよい。

0054

エージェント機能部150は、応答文を取得すると、音声合成を行って音声を出力するように音声制御部124に指示する。また、エージェント機能部150は、音声出力に合わせてエージェント画像を表示するように表示制御部122に指示する。このようにして、仮想的に出現したエージェントが車両Mの乗員に応答するエージェント機能が実現される。

0055

[エージェント機能部の機能]
以下、エージェント機能部150の機能の詳細について具体的に説明する。なお、以下では、主にエージェント機能部150の機能と、エージェント機能部150の機能によって出力制御部120により出力され、乗員(以下、乗員Pと称する)に提供される応答結果を中心として説明する。また、以下では、乗員Pにより選択されたエージェント機能部を、「第1のエージェント機能部」と称するものとする。「乗員Pにより選択される」とは、例えば、乗員Pの発話に含まれるウエイクアップワードやエージェント起動スイッチ等によって起動される(または呼び出される)ことである。

0056

図5は、乗員Pが発話する前の場面において、表示制御部122により表示される画像IM1の一例を示す図である。なお、画像IM1に表示される内容やレイアウト等については、これに限定されるものではない。また、画像IM1は、出力制御部120等からの指示に基づいて表示制御部122により生成されるものである。上述の内容は、以降の画像の説明についても同様とする。

0057

出力制御部120は、例えば、乗員Pがエージェントと対話を行っていない状態(第1のエージェント機能部が存在していない状態)である場合に、表示制御部122に初期状態画面として画像IM1を生成させ、生成させた画像IM1を第1ディスプレイ22に表示させる。

0058

画像IM1には、例えば、文字情報表示領域A11と、応答結果表示領域A12とが含まれる。文字情報表示領域A11には、例えば、使用可能なエージェントの数や種類に関する情報が表示される。使用可能なエージェントとは、例えば乗員の発話に対して応答が可能なエージェントである。使用可能なエージェントは、例えば、車両Mが走行している地域、時間帯、エージェントの状況、乗員認識装置80により認識される乗員Pに基づいて設定される。エージェントの状況には、例えば、車両Mが地下やトンネル内に存在するためにエージェントサーバ200と通信できない状況、または、既に他のコマンドによる処理が実行中であり、次の発話に対する処理が実行できない状況が含まれる。図8の例において、文字情報表示領域A11には、「3つのエージェントが使用可能です」という文字情報が表示されている。

0059

応答結果表示領域A12には、使用可能なエージェントに対応付けられたエージェント画像が表示される。図5の例において、応答結果表示領域A12には、エージェント機能部150−1〜150−3に対応付けられたエージェント画像EI1〜EI3が表示されている。これにより、乗員Pは、使用可能なエージェントの数や種類を容易に把握することができる。

0060

ここで、エージェントごとWU判定部114は、乗員Pの発話に含まれるウエイクアップワードを認識し、認識したウエイクアップワードに対応する第1のエージェント機能部(例えば、エージェント機能部150−1)を起動させる。エージェント機能部150−1は、表示制御部122の制御によって、エージェント画像EI1を第1ディスプレイ22に表示させる。

0061

図6は、第1のエージェント機能部が起動中である場面において、表示制御部122により表示される画像IM2の一例を示す図である。画像IM2には、例えば、文字情報表示領域A21と、応答結果表示領域A22とが含まれる。文字情報表示領域A21には、例えば、乗員Pと対話を行うエージェントに関する情報が表示される。図6の例において、文字情報表示領域A21には、「エージェント1が応答中」という文字情報が表示されている。なお、この場面においては、文字情報表示領域A21に文字情報を表示させなくてもよい。

0062

応答結果表示領域A22には、対話中のエージェントに対応付けられたエージェント画像が表示される。図6の例において、応答結果表示領域A22には、エージェント機能部150−1に対応付けられたエージェント画像EI1が表示されている。これにより、乗員Pは、エージェント1が起動したことを容易に把握することができる。

0063

次に、乗員Pが「最近流行っているお店はどこ?」と発話した場合、記憶制御部116は、マイク10または音響処理部112から入力された音声または音声ストリームを音声情報162として記憶部160に記憶させる。また、エージェント機能部150−1は、発話内容に基づく音声認識を行う。そして、エージェント機能部150−1は音声認識結果が得られた場合、乗員Pに確認するために、音声認識結果に基づく応答結果(応答文)を生成し、生成した応答結果を乗員Pに出力する。

0064

図6の例において、音声制御部124は、エージェント1(エージェント機能部150−1、エージェントサーバ200−1)によって生成された応答文に対応させて、「最近流行っているお店を検索します!」という音声を生成し、生成した音声をスピーカユニット30に出力させる。また、音声制御部124は、上述した応答文の音声を、応答結果表示領域A22に表示されているエージェント画像EI1の表示位置付近に定位させる音像定位処理を行う。表示制御部122は、音声出力に合わせてエージェント画像EI1が喋っているように乗員Pに視認させるアニメーション画像等を生成して表示させてもよい。また、表示制御部122は、応答文を応答結果表示領域A22に表示させてもよい。これにより、乗員Pは、発話内容をエージェント1が認識できたか否かをより正確に把握することができる。

0065

次に、エージェント機能部150−1は、音声認識した内容に基づく処理を実行し、応答結果を生成する。また、エージェント機能部150−1は、発話の音声の認識が終了した時点で、記憶部160に記憶された音声情報162と、音声認識結果とを、他のエージェント機能部(例えば、エージェント機能部150−2、エージェント機能部150−3)に出力し、他のエージェント機能部のそれぞれに処理を実行させる。他のエージェント機能部に出力される音声認識結果とは、例えば、音声認識部220によりテキスト化された文字情報でもよく、自然言語処理部222による意味解析結果でもよく、コマンド(要求内容)でもよく、これらのうち複数の組み合わせでもよい。

0066

なお、音声情報162および音声認識結果を出力する際に、他のエージェント機能部が起動していなかった場合、エージェント機能部150−1は、他のエージェント機能部を起動させた後に、音声情報162および音声認識結果を出力する。

0067

また、エージェント機能部150−1は、予め決められている複数の他のエージェント機能部ごとの特徴や機能に基づいて、音声情報162または音声認識結果のうち、そのエージェント機能部に必要な情報を選択して、他のエージェント機能部に出力してもよい。

0068

また、エージェント機能部150−1は、複数の他のエージェント機能部の全てに音声情報162および音声認識結果を出力するのではなく、複数の他のエージェント機能部のうち、選択されたエージェント機能部に音声情報162および音声認識結果を出力してもよい。例えば、エージェント機能部150−1は、音声認識結果により、応答に必要となる機能(例えば、店の検索機能)を識別し、識別した機能を実現可能な他のエージェント機能部を選択して、選択した他のエージェント機能部のみに音声情報162および音声認識結果を出力する。これにより、応答ができない、または適切な応答結果が期待できないことが予測されるエージェントに対する処理負荷を軽減させることができる。

0069

エージェント機能部150−1は、自己の音声認識結果に基づいて、応答結果を生成する。また、エージェント機能部150−1により音声情報162および音声認識結果を取得した他のエージェント機能部は、取得した情報に基づいて、それぞれが応答結果を生成する。エージェント機能部150−1は、音声認識結果が得られたタイミングで他のエージェント機能部に情報を出力することで、それぞれのエージェント機能部が並行して、それぞれの応答結果を生成する処理を実行することができる。したがって、短時間で複数のエージェントによる応答結果を取得することができる。他のエージェント機能部によって生成された応答結果は、例えば、エージェント機能部150−1に出力される。

0070

エージェント機能部150−1は、エージェントサーバ200−1等の処理によって応答結果が得られた場合に、その応答結果を出力制御部120に出力させる。図7は、応答結果が出力される様子の一例を示す図である。図7の例では、第1ディスプレイ22に表示される画像IM3が示されている。画像IM3には、例えば、文字情報表示領域A31と、応答結果表示領域A32とが含まれる。文字情報表示領域A31には、文字情報表示領域A31と同様に対話中のエージェント1に関する情報が表示される。

0071

応答結果表示領域A32には、例えば、対話中のエージェント画像やエージェントの応答結果が表示される。図7の例において、応答結果表示領域A32には、エージェント画像EI1およびエージェント1の応答結果である「イタリアンレストラン「AAA」です。」という文字情報が表示されている。この場面において、音声制御部124は、エージェント機能部150−1によってなされた応答結果の音声を生成し、エージェント画像EI1の表示位置付近に定位させる音像定位処理を行う。図7の例において、音声制御部124は、「私が紹介するのはイタリアンレストラン「AAA」です。」という音声を出力させている。

0072

また、エージェント機能部150−1は、他のエージェント機能部からの応答結果を取得した場合に、その応答結果を出力制御部120に出力させる処理を行ってもよい。図8は、他のエージェント機能部によって得られた応答結果が出力される様子について説明するための図である。図8の例では、第1ディスプレイ22に表示される画像IM4が示されている。画像IM4には、例えば、文字情報表示領域A41と、応答結果表示領域A42とが含まれる。文字情報表示領域A41には、文字情報表示領域A31と同様に応答中のエージェントに関する情報が表示される。

0073

応答結果表示領域A42には、例えば、応答中のエージェント画像やエージェントの応答結果が表示される。表示制御部122は、エージェント機能部150−1から、応答結果、および応答結果を生成した他のエージェント機能部の識別情報を取得し、取得した情報に基づいて、応答結果表示領域A42に表示する画像を生成する。

0074

図8の例において、応答結果表示領域A42には、エージェント画像EI1およびエージェント2の応答結果である「エージェント2は、中華レストラン「BBB」を紹介しています。」という文字情報が表示されている。この場面において、音声制御部124は、応答結果に対応する音声を生成し、エージェント画像EI1の表示位置付近に定位させる音像定位処理を行う。これにより、乗員は、ウエイクアップワードにより指示したエージェントの応答結果だけでなく、他のエージェントの応答結果も取得することができる。また、エージェント機能部150−1は、エージェント機能部150−3から応答結果を取得した場合には、図8と同様に、エージェント3の応答結果を出力部に出力させる。

0075

なお、エージェント機能部150−1は、図7および図8に示すように、各エージェント機能部による応答結果を全て出力するのに代えて、複数の応答結果のうち選択された応答結果を出力させてもよい。この場合、エージェント機能部150−1は、例えば、応答結果ごとに設定される確信度に基づいて、出力する応答結果を選択する。確信度とは、例えば、乗員Pの発話に含まれる要求(コマンド)に対する応答結果が、正しい答えであると推定される度合指標値)である。また、確信度とは、例えば、乗員の発話に対する応答が、乗員の要求に合致している、または乗員が期待していた答えであると推定される度合である。複数のエージェント機能部150−1〜150−3のそれぞれは、例えば、個々の記憶部250に設けられたパーソナルプロファイル254や知識ベースDB256、応答規則DB258に基づいて応答内容を決定すると共に、応答内容に対する確信度を決定する。

0076

例えば、対話管理部224は、乗員Pから「最近流行っているお店はどこかな?」というコマンドを受け付けた場合、ネットワーク検索部226によりコマンドに対応する情報として各種ウェブサーバ300から「洋服のお店」、「のお店」、「イタリアンレストランのお店」の情報を取得したとする。ここで、対話管理部224は、パーソナルプロファイル254を参照し、乗員Pの趣味との合致度が高い応答結果の確信度を高く設定する。例えば、乗員Pの趣味が「食事」である場合、対話管理部224は、「イタリアンレストランのお店」の確信度を他の情報よりも高く設定する。また、対話管理部224は、各種ウェブサーバ300から取得したそれぞれの店に対する一般ユーザの評価結果(お薦め度合)が高いほど確信度を高く設定してもよい。

0077

また、対話管理部224は、コマンドに対する検索結果として得られた応答候補の数に基づいて確信度を決定してもよい。例えば、対話管理部224は、応答候補の数が1つである場合、他の候補が存在しないため、確信度を最も高く設定する。また、対話管理部224は、応答候補の数が多くなるほど、それぞれの確信度を低くなるように設定する。

0078

また、対話管理部224は、コマンドに対する検索結果として得られた応答内容の充実度に基づいて確信度を決定してもよい。例えば、対話管理部224は、検索結果として文字情報だけでなく画像情報も取得できた場合には、画像が取得できていない場合よりも充実度が高いため確信度を高く設定する。

0079

また、対話管理部224は、コマンドと応答内容の情報を用いて知識ベースDB256を参照し、両者の関係性に基づいて確信度を設定してもよい。また、対話管理部224は、パーソナルプロファイル254を参照し、最近(例えば、1か月以内)の対話の履歴で同様の質問があったか否かを参照し、同様の質問があった場合に、その回答と同様の応答内容の確信度を高く設定してもよい。対話の履歴は、発話した乗員Pとの対話の履歴でもよく、乗員P以外のパーソナルプロファイル254に含まれる対話の履歴でもよい。また、対話管理部224は、上述した複数の確信度の設定条件のそれぞれを組み合わせて確信度を設定してもよい。

0080

また、対話管理部224は、確信度に対する正規化を行ってもよい。例えば、対話管理部224は、上述したそれぞれの設定条件ごとに確信度が0〜1の範囲となる正規化を行う。これにより、複数の設定条件によって設定された確信度で比較を行う場合であっても均一に定量化されるため、何れかの設定条件の確信度だけが大きくなることがない。その結果、確信度に基づいて、より適切な応答結果を選択することができる。

0081

例えば、エージェント機能部150−1の応答結果の確信度が0.2であり、エージェント機能部150−2の応答結果の確信度が0.8であり、エージェント機能部150−3の応答結果の確信度が0.5であったとする。この場合、エージェント機能部150−1は、確信度が最も高いエージェント2の応答結果(つまり、上述した図8に示す画像や音声)を出力部に出力させる。また、エージェント機能部150−1は、応答結果の確信度が閾値以上である応答結果を出力させてもよい。

0082

また、エージェント機能部150−1は、自己の応答結果の確信度が閾値未満である場合に、他のエージェント機能部から取得した応答結果を、エージェント機能部150−1による応答結果として出力部に出力させてもよい。この場合、エージェント機能部150−1は、他のエージェント機能部から取得した応答結果の確信度が、自己の応答結果よりも大きい場合に、他のエージェント機能部から取得した応答結果を出力させる。

0083

また、エージェント機能部150−1は、図7に示す情報の出力を行った後、自己の応答結果を他のエージェント機能部150−1に出力すると共に、他のエージェント機能部に乗員Pとの対話を行わせてもよい。この場合、他のエージェント機能部は、エージェント機能部150−1の応答結果に基づいて、乗員Pの要求内容に対する応答結果を生成する。例えば、他のエージェント機能部は、エージェント機能部150−1の応答結果を加味した応答結果を生成してもよく、エージェント機能部150−1の応答結果と異なる応答結果を生成してもよい。「エージェント機能部150−1の応答結果を加味する」とは、例えば、エージェント機能部150−1の応答結果の一部または全部を用いることである。

0084

図9は、他のエージェント機能部が乗員に応答する様子を説明するための図である。以下、他のエージェント機能部は、エージェント機能部150−2であるものとして説明する。図9の例では、第1ディスプレイ22に表示される画像IM5が示されている。画像IM5には、例えば、文字情報表示領域A51と、応答結果表示領域A52とが含まれる。文字情報表示領域A51には、乗員Pと対話中のエージェント2に関する情報が表示される。

0085

応答結果表示領域A52には、例えば、対話中のエージェント画像やエージェントの応答結果が表示される。図9の例において、応答結果表示領域A52には、エージェント画像EI2およびエージェント2の応答結果である「中華レストラン「BBB」です。」という文字情報が表示されている。この場面において、音声制御部124は、応答結果の音声情報として、エージェント機能部150−1の応答結果を付加した音声情報を生成し、エージェント画像EI2の表示位置付近に定位させる音像定位処理を行う。図9の例では、「エージェント1は、イタリアンレストラン「AAA」を紹介したけど、私は中華レストラン「BBB」を紹介するよ。」といった音声がスピーカユニット30から出力されている。これにより、乗員Pは、複数のエージェントからの情報を取得することができる。また、乗員Pは、複数のエージェントからの情報を取得するために、個別にエージェントを呼び出して発話する必要がないため、利便性を向上させることができる。

0086

[処理フロー]
図10は、エージェント装置100により実行される処理の流れの一例を示すフローチャートである。本フローチャートの処理は、例えば、所定周期或いは所定のタイミングで繰り返し実行されてよい。

0087

まず、エージェントごとWU判定部114は、音響処理部112により音響処理された乗員の発話からウエイクアップワードを受け付けたか否かを判定する(ステップS100)。ウエイクアップワードを受け付けたと判定された場合、エージェントごとWU判定部114は、対応するエージェント機能部(第1のエージェント機能部)に乗員の応答を実行させる(ステップS102)。

0088

次に、第1のエージェント機能部は、マイク10から乗員の発話の入力を受け付けたか否かを判定する(ステップS104)。乗員の発話の入力を受け付けたと判定された場合、記憶制御部116は、乗員の発話の音声(音声情報162)を記憶部160に記憶させる(ステップS106)。次に、第1のエージェント機能部は、エージェントサーバ200に発話の音声に対する音声認識および自然言語処理を実行させ、音声認識結果を取得する(ステップS108、ステップS110)。次に、第1のエージェント機能部は、音声情報162と音声認識結果とを他のエージェント機能部に出力する(ステップS112)。

0089

次に、第1のエージェント機能部は、音声認識結果に基づく応答結果を生成し(ステップS114)、生成した応答結果を出力部に出力させる(ステップS116)。次に、第1のエージェント機能部は、他のエージェント機能部からの応答結果を出力部に出力させる(ステップS118)。ステップS118の処理では、例えば、第1のエージェント制御部が、他のエージェント機能部からの応答結果を取得して出力してもよく、他のエージェント機能部から応答結果を出力させてもよい。これにより、本フローチャートの処理は、終了する。また、ステップS100の処理において、ウエイクアップワードを受け付けていない場合、またはステップS104の処理において、乗員の発話の入力を受け受けていない場合、本フローチャートの処理は、終了する。なお、ステップS104の処理では、既に第1のエージェント機能部がウエイクアップワードにより起動しているものの、起動してから所定時間以上発話の入力を受け付けなかった場合には、エージェント装置100の管理部110は、第1のエージェント機能部を終了させる処理を行ってもよい。

0090

[変形例]
上述した実施形態において、乗員Pから呼び出された第1のエージェント機能部は、乗員Pの発話の音声認識結果が得られたタイミングで他のエージェント機能部に音声情報や音声認識結果を出力していたが、他のタイミングで出力してもよい。例えば、第1のエージェント機能部は、他のエージェント機能部に音声情報や音声認識結果を出力する前に応答結果を生成し、生成した自己の応答結果の確信度が閾値未満である場合に他のエージェントに音声情報や音声認識結果等を出力して処理を実行させる。

0091

図11は、変形例においてエージェント装置100により実行される処理の流れの一例を示すフローチャートである。図11に示すフローチャートは、上述した図11のフローチャートと比較して、ステップS112〜S118の処理に代えて、ステップS200〜S208の処理を備える点で相違する。したがって、以下では、主にステップS200〜S208の処理を中心として説明する。

0092

ステップS108およびステップS110の処理において、音声認識結果を取得した後、第1のエージェント機能部は、音声認識結果に基づく応答結果および確信度を生成する(ステップS200)。次に、第1のエージェント機能部は、応答結果の確信度が閾値未満であるか否かを判定する(ステップS202)。閾値未満であると判定された場合、第1のエージェント機能部は、音声情報162と音声認識結果とを他のエージェント機能部に出力し(ステップS204)、他のエージェント機能部からの応答結果を出力部に出力させる(ステップS206)。

0093

なお、ステップS206の処理では、他のエージェント機能部の応答結果を出力部に出力させる前に、その応答結果の確信度が閾値未満であるか否かを判定し、閾値未満でない場合に出力させるようにしてもよい。なお、他のエージェント機能部の応答結果の確信度が閾値未満である場合、第1のエージェント機能部は、応答結果が得られなかったことを示す情報を出力部に出力してもよく、第1のエージェント機能部および他のエージェント機能部のそれぞれの応答結果を出力部に出力させてもよい。

0094

また、ステップS202の処理において、応答結果の確信度が閾値未満でないと判定された場合、第1のエージェント機能部は、生成した応答結果を出力部に出力させる(ステップS208)。
上述した変形例によれば、応答結果の確信度が低い場合にのみ、他のエージェント機能部に処理を行わせるため、効率的に処理を実行させることができる。また、乗員に対しては確信度の高い情報を乗員に出力することができる。

0095

なお、上述した実施形態において、エージェント装置100の機能のうち一部または全部は、エージェントサーバ200に含まれていてもよい。また、エージェントサーバ200の機能のうち一部または全部は、エージェント装置100に含まれていてもよい。つまり、エージェント装置100およびエージェントサーバ200における機能の切り分けは、各装置の構成要素や、エージェントサーバ200またはエージェントシステム1の規模等によって適宜変更されてよい。また、エージェント装置100およびエージェントサーバ200における機能の切り分けは、車両Mごとに設定されてもよい。

0096

上述した実施形態に係るエージェント装置100によれば、それぞれが車両Mの乗員Pの発話による音声を認識する認識部(音声認識部220、自然言語処理部222)を備え、認識部による音声認識結果に応じて、応答を含むサービスを提供する複数のエージェント機能部150と、乗員Pの発話の音声を記憶部160に記憶させる記憶制御部116と、を備え、複数のエージェント機能部150のうち、乗員Pにより選択された第1のエージェント機能部は、記憶部160に記憶された音声と、認識部により認識された音声認識結果とを、他のエージェント機能部に出力することで、より適切な応答結果を提供することができる。

0097

また、実施形態に係るエージェント装置100によれば、乗員の音声(生音声データ)と、音声認識結果とを他のエージェント機能部に出力することで、各エージェント機能部は、それぞれの音声認識レベル認識条件に合わせて音声認識を実行できるため、音声認識に対する信頼性の低下を抑制することができる。したがって、乗員がエージェントごとの特徴や機能を把握していない状態で、あるエージェントを呼び出して要求を発話した場合であっても、他のエージェントに発話に対する処理を実行させて、より適切な応答結果を乗員に提供することができる。また、呼び出したエージェントが実現できない機能に関する要求(コマンド)が、乗員からあった場合であっても、他のエージェントに処理を受け渡して代わりに処理を実行させることができる。

0098

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

0099

1…エージェントシステム、10…マイク、20…表示・操作装置、30…スピーカユニット、40…ナビゲーション装置、50…車両機器、60…車載通信装置、70…汎用通信装置、80…乗員認識装置、100…エージェント装置、110…管理部、112…音響処理部、114…エージェントごとWU判定部、116…記憶制御部、120…出力制御部、122…表示制御部、124…音声制御部、150…エージェント機能部、152…ペアリングアプリ実行部、160、250…記憶部、200…エージェントサーバ、210…通信部、220…音声認識部、222…自然言語処理部、224…対話管理部、226…ネットワーク検索部、228…応答文生成部、300…各種ウェブサーバ、M…車両

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 京セラ株式会社の「 電子機器、制御方法、及びプログラム」が 公開されました。( 2020/10/29)

    【課題】操作性を向上させた電子機器、制御方法、及びプログラムを提供する。【解決手段】電子機器1は、自機器に接触されないジェスチャを検出する第1センサ(近接センサ18)と、自機器に接触されるタッチを検出... 詳細

  • 京セラ株式会社の「 電子機器、制御方法、及びプログラム」が 公開されました。( 2020/10/29)

    【課題】移動体の運転の安全性を向上可能な電子機器、制御方法、及びプログラムを提供する。【解決手段】自動車に搭載可能な電子機器は、自機器に触れられずにジェスチャを検出する第1センサと、自機器に接触される... 詳細

  • 三菱電機株式会社の「 電子制御装置」が 公開されました。( 2020/10/29)

    【課題】本願は、ケースの外周位置とカバーの外周位置に形成された環状シール部の密閉性を向上することができる電子制御装置を提供するものである。【解決手段】ケース(200A)の外周位置とカバー(300A)の... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ