図面 (/)

技術 エージェント装置、エージェント装置の制御方法、およびプログラム

出願人 本田技研工業株式会社
発明者 栗原正樹久保田基嗣
出願日 2019年3月19日 (1年9ヶ月経過) 出願番号 2019-051199
公開日 2020年9月24日 (3ヶ月経過) 公開番号 2020-152183
状態 未査定
技術分野 航行(Navigation) 車両用電気・流体回路 音声入出力 交通制御システム 音声認識
主要キーワード 中間辺 左側後部座席 右側後部座席 車両情報装置 DS側 混合ガウス分布モデル パーソナルプロファイル ハードウェアプロセッサ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年9月24日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (14)

課題

乗員の利便性を向上させることができるエージェント装置、エージェント装置の制御方法、およびプログラムを提供すること。

解決手段

エージェント装置100は、車両の乗員の発話に応じて、応答を含むサービスを提供する複数のエージェント機能部150を備え、複数のエージェント機能部150のうち、起動中である第1のエージェント機能部は、他のエージェント機能部の起動の指示を受け付けた場合に、他のエージェント機能部を起動させる。

概要

背景

従来、車両の乗員と対話を行いながら、乗員の要求に応じた運転支援に関する情報や車両の制御、その他のアプリケーション等を提供するエージェント機能に関する技術が開示されている(例えば、特許文献1参照)。

概要

乗員の利便性を向上させることができるエージェント装置、エージェント装置の制御方法、およびプログラムを提供すること。エージェント装置100は、車両の乗員の発話に応じて、応答を含むサービスを提供する複数のエージェント機能部150を備え、複数のエージェント機能部150のうち、起動中である第1のエージェント機能部は、他のエージェント機能部の起動の指示を受け付けた場合に、他のエージェント機能部を起動させる。

目的

従来、車両の乗員と対話を行いながら、乗員の要求に応じた運転支援に関する情報や車両の制御、その他のアプリケーション等を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

車両の乗員の発話に応じて、応答を含むサービスを提供する複数のエージェント機能部を備え、前記複数のエージェント機能部のうち、起動中である第1のエージェント機能部は、他のエージェント機能部の起動の指示を受け付けた場合に、前記他のエージェント機能部を起動させる、エージェント装置

請求項2

前記第1のエージェント機能部は、起動中に前記他のエージェント機能部の起動の指示を受け付けた場合に、前記他のエージェント機能部を起動させるとともに、前記第1のエージェント機能部を停止させる、請求項1に記載のエージェント装置。

請求項3

前記第1のエージェント機能部は、起動中に前記他のエージェント機能部の起動の指示を受け付けた場合に、前記他のエージェント機能部を起動させるとともに、前記他のエージェント機能部に、前記乗員の発話に対する応答を優先させる、請求項1に記載のエージェント装置。

請求項4

前記複数のエージェント機能部のうち、一部のエージェント機能部を、前記他のエージェント機能部を起動可能なエージェント機能部とする、請求項2または3に記載のエージェント装置。

請求項5

前記一部のエージェント機能部は、前記車両を制御するエージェント機能部を含む、請求項4に記載のエージェント装置。

請求項6

前記複数のエージェント機能部のそれぞれの起動を制御する起動制御部を更に備え、前記起動制御部は、前記他のエージェント機能部の起動の指示を受け付けた場合に、前記第1のエージェント機能部を停止させる、請求項1から5のうち何れか1項に記載のエージェント装置。

請求項7

前記起動制御部は、起動中の前記第1のエージェント機能部を終了させる終了ワードを出力する、請求項6に記載のエージェント装置。

請求項8

コンピュータが、複数のエージェント機能部のうちいずれかを起動させ、前記起動したエージェント機能部の機能として、車両の乗員の発話に応じて、応答を含むサービスを提供し、前記複数のエージェント機能部のうち、起動中である第1のエージェント機能部が、他のエージェント機能部の起動の指示を受け付けた場合に、前記他のエージェント機能部を起動させる、エージェント装置の制御方法

請求項9

コンピュータに、複数のエージェント機能部のうちいずれかを起動させ、前記起動したエージェント機能部の機能として、車両の乗員の発話に応じて、応答を含むサービスを提供させ、前記複数のエージェント機能部のうち、起動中である第1のエージェント機能部が、他のエージェント機能部の起動の指示を受け付けた場合に、前記他のエージェント機能部を起動させる、プログラム

技術分野

0001

本発明は、エージェント装置、エージェント装置の制御方法、およびプログラムに関する。

背景技術

0002

従来、車両の乗員と対話を行いながら、乗員の要求に応じた運転支援に関する情報や車両の制御、その他のアプリケーション等を提供するエージェント機能に関する技術が開示されている(例えば、特許文献1参照)。

先行技術

0003

特開2006−335231号公報

発明が解決しようとする課題

0004

近年では、複数のエージェント機能を車両に搭載することについて実用化が進められているが、あるエージェント起動している場合に、他のエージェントを起動させることが困難な場合があった。そのため、乗員の利便性が損なわれる場合があった。

0005

本発明は、このような事情を考慮してなされたものであり、乗員の利便性を向上させることができるエージェント装置、エージェント装置の制御方法、およびプログラムを提供することを目的の一つとする。

課題を解決するための手段

0006

この発明に係るエージェント装置、エージェント装置の制御方法、およびプログラムは、以下の構成を採用した。
(1):この発明の一態様に係るエージェント装置は、車両の乗員の発話に応じて、応答を含むサービスを提供する複数のエージェント機能部を備え、前記複数のエージェント機能部のうち、起動中である第1のエージェント機能部は、他のエージェント機能部の起動の指示を受け付けた場合に、前記他のエージェント機能部を起動させる、エージェント装置である。

0007

(2):上記(1)の態様において、前記第1のエージェント機能部は、起動中に前記他のエージェント機能部の起動の指示を受け付けた場合に、前記他のエージェント機能部を起動させるとともに、前記第1のエージェント機能部を停止させるものである。

0008

(3):上記(1)の態様において、前記第1のエージェント機能部は、起動中に前記他のエージェント機能部の起動の指示を受け付けた場合に、前記他のエージェント機能部を起動させるとともに、前記他のエージェント機能部に、前記乗員の発話に対する応答を優先させるものである。

0009

(4):上記(2)または(3)の態様において、前記複数のエージェント機能部のうち、一部のエージェント機能部を、前記他のエージェント機能部を起動可能なエージェント機能部とするものである。

0010

(5):上記(4)の態様において、前記一部のエージェント機能部は、前記車両を制御するエージェント機能部を含むものである。

0011

(6):上記(1)〜(5)のうち何れか1つの態様において、前記複数のエージェント機能部のそれぞれの起動を制御する起動制御部を更に備え、前記起動制御部は、前記他のエージェント機能部の起動の指示を受け付けた場合に、前記第1のエージェント機能部を停止させるものである。

0012

(7):上記(6)の態様において、前記起動制御部は、起動中の前記第1のエージェント機能部を終了させる終了ワードを出力するものである。

0013

(8):本発明の他の態様に係るエージェント装置の制御方法は、コンピュータが、複数のエージェント機能部のうちいずれかを起動させ、前記起動したエージェント機能部の機能として、車両の乗員の発話に応じて、応答を含むサービスを提供し、前記複数のエージェント機能部のうち、起動中である第1のエージェント機能部が、他のエージェント機能部の起動の指示を受け付けた場合に、前記他のエージェント機能部を起動させる、エージェント装置の制御方法である。

0014

(9):本発明の他の態様に係るプログラムは、コンピュータに、複数のエージェント機能部のうちいずれかを起動させ、前記起動したエージェント機能部の機能として、車両の乗員の発話に応じて、応答を含むサービスを提供させ、前記複数のエージェント機能部のうち、起動中である第1のエージェント機能部が、他のエージェント機能部の起動の指示を受け付けた場合に、前記他のエージェント機能部を起動させる、プログラムである。

発明の効果

0015

上記(1)〜(9)の態様によれば、乗員の利便性を向上させることができる。

図面の簡単な説明

0016

エージェント装置100を含むエージェントシステム1の構成図である。
第1実施形態に係るエージェント装置100の構成と、車両Mに搭載された機器とを示す図である。
表示・操作装置20およびスピーカユニット30の配置例を示す図である。
エージェント制御情報172の内容の一例を示す図である。
第1実施形態に係るエージェントサーバ200の構成と、エージェント装置100の構成の一部とを示す図である。
何れのエージェントも起動していない場面において、表示制御部122により表示される画像IM1の一例を示す図である。
第1のエージェント機能部が起動中である場面において、表示制御部122により表示される画像IM2の一例を示す図である。
応答結果が出力される様子の一例を示す図である。
他エージェント機能部による応答結果が出力される様子について説明するための図である。
応答の優先権が移動したときに出力される情報について説明するための図である。
第1実施形態に係るエージェント装置100により実行される処理の流れの一例を示すフローチャートである。
第2実施形態に係るエージェント装置100Aの構成と、車両Mに搭載された機器とを示す図である。
第2実施形態に係るエージェント装置100Aにより実行される処理の流れの一例を示すフローチャートである。

実施例

0017

以下、図面を参照し、本発明のエージェント装置、エージェント装置の制御方法、およびプログラムの実施形態について説明する。エージェント装置は、エージェントシステムの一部または全部を実現する装置である。以下では、エージェント装置の一例として、車両(以下、車両M)に搭載され、複数種類のエージェント機能を備えたエージェント装置について説明する。エージェント機能とは、例えば、車両Mの乗員と対話をしながら、乗員の発話の中に含まれる要求(コマンド)に基づく各種の情報提供を行ったり、ネットワークサービス仲介したりする機能である。複数種類のエージェントは、それぞれに果たす機能、処理手順、制御、出力態様・内容がそれぞれ異なってもよい。また、エージェント機能の中には、車両内の機器(例えば運転制御車体制御に関わる機器)の制御等を行う機能を有するものがあってよい。

0018

エージェント機能は、例えば、乗員の音声を認識する音声認識機能(音声をテキスト化する機能)に加え、自然言語処理機能(テキストの構造や意味を理解する機能)、対話管理機能、ネットワークを介して他装置を検索し、或いは自装置が保有する所定のデータベースを検索するネットワーク検索機能等を統合的に利用して実現される。これらの機能の一部または全部は、AI(Artificial Intelligence)技術によって実現されてよい。また、これらの機能を行うための構成の一部(特に、音声認識機能や自然言語処理解釈機能)は、車両Mの車載通信装置または車両Mに持ち込まれた汎用通信装置と通信可能なエージェントサーバ(外部装置)に搭載されてもよい。以下の説明では、構成の一部がエージェントサーバに搭載されており、エージェント装置とエージェントサーバが協働してエージェントシステムを実現することを前提とする。また、エージェント装置とエージェントサーバが協働して仮想的に出現させるサービス提供主体(サービス・エンティティ)をエージェントと称する。

0019

<全体構成>
図1は、エージェント装置100を含むエージェントシステム1の構成図である。エージェントシステム1は、例えば、エージェント装置100と、複数のエージェントサーバ200−1、200−2、200−3、…とを備える。符号の末尾ハイフン以下数字は、エージェントを区別するための識別子であるものとする。何れのエージェントサーバであるかを区別しない場合、単にエージェントサーバ200と称する場合がある。図1では3つのエージェントサーバ200を示しているが、エージェントサーバ200の数は2つであってもよいし、4つ以上であってもよい。それぞれのエージェントサーバ200は、例えば、互いに異なるエージェントシステムの提供者運営するものである。したがって、本実施形態におけるエージェントは、互いに異なる提供者により実現されるエージェントである。提供者としては、例えば、自動車メーカーネットワークサービス事業者電子商取引事業者携帯端末販売者製造者等が挙げられ、任意の主体(法人、団体、個人等)がエージェントシステムの提供者となり得る。

0020

エージェント装置100は、ネットワークNWを介してエージェントサーバ200と通信する。ネットワークNWは、例えば、インターネットセルラー網、Wi−Fi網、WAN(Wide Area Network)、LAN(Local Area Network)、公衆回線電話回線無線基地局等のうち一部または全部を含む。ネットワークNWには、各種ウェブサーバ300が接続されており、エージェントサーバ200またはエージェント装置100は、ネットワークNWを介して各種ウェブサーバ300からウェブページやWebAPI(Web Application Programming Interface)経由で各種情報を取得することができる。

0021

エージェント装置100は、車両Mの乗員と対話を行い、乗員からの音声をエージェントサーバ200に送信し、エージェントサーバ200から得られた回答を、音声出力画像表示の形で乗員に提示する。また、エージェント装置100は、乗員からの要求に基づいて車両機器50に対する制御等を行う。

0022

<第1実施形態>
[車両]
図2は、第1実施形態に係るエージェント装置100の構成と、車両Mに搭載された機器とを示す図である。車両Mには、例えば、一以上のマイク10と、表示・操作装置20と、スピーカユニット30と、ナビゲーション装置40と、車両機器50と、車載通信装置60と、乗員認識装置80と、エージェント装置100とが搭載される。また、スマートフォン等の汎用通信装置70が車室内に持ち込まれ、通信装置として使用される場合がある。これらの装置は、CAN(Controller Area Network)通信線等の多重通信線シリアル通信線無線通信網等によって互いに接続される。なお、図2に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。表示・操作装置20と、スピーカユニット30とを合わせたものが「出力部」の一例である。

0023

マイク10は、車室内で発せられた音を収集する収音部である。表示・操作装置20は、画像を表示するとともに、入力操作を受付可能な装置(或いは装置群)である。表示・操作装置20は、例えば、タッチパネルとして構成されたディスプレイ装置を含む。表示・操作装置20は、更に、HUD(Head Up Display)や機械式入力装置を含んでもよい。スピーカユニット30は、例えば、車室内の互いに異なる位置に配設された複数のスピーカ音出力部)を含む。表示・操作装置20及びスピーカユニット30は、エージェント装置100とナビゲーション装置40とで共用されてもよい。これらの詳細については後述する。

0024

ナビゲーション装置40は、ナビMI(Human Machine Interface)と、GPS(Global Positioning System)等の位置測位装置と、地図情報を記憶した記憶装置と、経路探索等を行う制御装置ナビゲーションコントローラ)とを備える。マイク10、表示・操作装置20、およびスピーカユニット30のうち一部または全部がナビHMIとして用いられてもよい。ナビゲーション装置40は、位置測位装置によって特定された車両Mの位置から、乗員によって入力された目的地まで移動するための経路ナビ経路)を探索し、経路に沿って車両Mが走行できるように、ナビHMIを用いて案内情報を出力する。経路探索機能は、ネットワークNWを介してアクセス可能ナビゲーションサーバにあってもよい。この場合、ナビゲーション装置40は、ナビゲーションサーバから経路を取得して案内情報を出力する。なお、エージェント装置100は、ナビゲーションコントローラを基盤として構築されてもよく、その場合、ナビゲーションコントローラとエージェント装置100は、ハードウェア上は一体に構成される。

0025

車両機器50は、例えば、車両Mに搭載される機器である。車両機器50は、例えば、エンジン走行用モータ等の駆動力出力装置、エンジンの始動モータドアロック装置ドア開閉装置、窓、窓の開閉装置および窓の開閉制御装置シートシート位置の制御装置、ルームミラーおよびその角度位置制御装置車両内外照明装置およびその制御装置、ワイパーデフォッガーおよびそれぞれの制御装置、方向指示灯およびその制御装置、空調装置走行距離やタイヤ空気圧の情報や燃料残量情報等の車両情報装置等を含む。

0026

車載通信装置60は、例えば、セルラー網やWi−Fi網を利用してネットワークNWにアクセス可能な無線通信装置である。

0027

乗員認識装置80は、例えば、着座センサ車室内カメラ画像認識装置等を含む。着座センサは座席の下部に設けられた圧力センサシートベルトに取り付けられた張力センサ等を含む。車室内カメラは、車室内に設けられたCCD(Charge Coupled Device)カメラやCMOS(Complementary Metal Oxide Semiconductor)カメラである。画像認識装置は、車室内カメラの画像を解析し、座席ごとの乗員の有無、顔向き等を認識する。

0028

図3は、表示・操作装置20およびスピーカユニット30の配置例を示す図である。表示・操作装置20は、例えば、第1ディスプレイ22と、第2ディスプレイ24と、操作スイッチASSY26とを含む。表示・操作装置20は、更に、HUD28を含んでもよい。また、表示・操作装置20は、更に、インストルメントパネルのうち運転席DSに対面する部分に設けられるメーターディスプレイ29を含んでもよい。第1ディスプレイ22と、第2ディスプレイ24と、HUD28と、メーターディスプレイ29とを合わせたものが「表示部」の一例である。

0029

車両Mには、例えば、ステアリングホイールSWが設けられた運転席DSと、運転席DSに対して車幅方向(図中Y方向)に設けられた助手席ASとが存在する。第1ディスプレイ22は、インストルメントパネルにおける運転席DSと助手席ASとの中間辺りから、助手席ASの左端部に対向する位置まで延在する横長形状のディスプレイ装置である。第2ディスプレイ24は、運転席DSと助手席ASとの車幅方向に関する中間あたり、且つ第1ディスプレイの下方に設置されている。例えば、第1ディスプレイ22と第2ディスプレイ24は、共にタッチパネルとして構成され、表示部としてLCD(Liquid Crystal Display)や有機EL(Electroluminescence)、プラズマディスプレイ等を備えるものである。操作スイッチASSY26は、ダイヤルスイッチボタン式スイッチ等が集積されたものである。HUD28は、例えば、風景重畳させて画像を視認させる装置であり、一例として、車両Mのフロントウインドシールドコンバイナーに画像を含む光を投光することで、乗員に虚像を視認させる。メーターディスプレイ29は、例えば、LCDや有機EL等であり、速度計回転速度計等の計器類を表示する。表示・操作装置20は、乗員によってなされた操作の内容をエージェント装置100に出力する。上述した各表示部が表示する内容は、エージェント装置100によって決定されてよい。

0030

スピーカユニット30は、例えば、スピーカ30A〜30Fを含む。スピーカ30Aは、運転席DS側の窓柱(いわゆるAピラー)に設置されている。スピーカ30Bは、運転席DSに近いドアの下部に設置されている。スピーカ30Cは、助手席AS側の窓柱に設置されている。スピーカ30Dは、助手席ASに近いドアの下部に設置されている。スピーカ30Eは、第2ディスプレイ24の近傍に設置されている。スピーカ30Fは、車室の天井ルーフ)に設置されている。また、スピーカユニット30は、右側後部座席左側後部座席に近いドアの下部に設置されてもよい。

0031

係る配置において、例えば、専らスピーカ30Aおよび30Bに音を出力させた場合、音像は運転席DS付近定位することになる。「音像が定位する」とは、例えば、乗員の左右のに伝達される音の大きさを調節することにより、乗員が感じ音源の空間的な位置を定めることである。また、専らスピーカ30Cおよび30Dに音を出力させた場合、音像は助手席AS付近に定位することになる。また、専らスピーカ30Eに音を出力させた場合、音像は車室の前方付近に定位することになり、専らスピーカ30Fに音を出力させた場合、音像は車室の上方付近に定位することになる。これに限らず、スピーカユニット30は、ミキサーアンプを用いて各スピーカの出力する音の配分を調整することで、車室内の任意の位置に音像を定位させることができる。

0032

[エージェント装置]
図2戻り、エージェント装置100は、管理部110と、エージェント機能部150−1、150−2、150−3と、ペアリングアプリ実行部160と、記憶部170とを備える。管理部110は、例えば、音響処理部112と、エージェントごとWU(Wake Up)判定部114と、出力制御部120と備える。以下、何れのエージェント機能部であるか区別しない場合、単にエージェント機能部150と称する。3つのエージェント機能部150を示しているのは、図1におけるエージェントサーバ200の数に対応させた一例に過ぎず、エージェント機能部150の数は、2つであってもよいし、4つ以上であってもよい。図2に示すソフトウェア配置は説明のために簡易に示しており、実際には、例えば、エージェント機能部150と車載通信装置60の間に管理部110が介在してもよいように、任意に改変することができる。また、以下では、エージェント機能部150−1とエージェントサーバ200−1が協働して出現させるエージェントをエージェント1、エージェント機能部150−2とエージェントサーバ200−2が協働して出現させるエージェントをエージェント2、エージェント機能部150−3とエージェントサーバ200−3が協働して出現させるエージェントをエージェント3と称する場合がある。

0033

エージェント装置100の各構成要素は、例えば、CPU(Central Processing Unit)等のハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific IntegratedCircuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)等のハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めHDD(Hard Disk Drive)やフラッシュメモリ等の記憶装置(非一過性記憶媒体を備える記憶装置)に格納されていてもよいし、DVDやCD−ROM等の着脱可能な記憶媒体(非一過性の記憶媒体)に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。

0034

記憶部170は、上記の各種記憶装置により実現される。記憶部170には、例えば、エージェント制御情報172等のデータやプログラムが格納される。図4は、エージェント制御情報172の内容の一例を示す図である。エージェント制御情報172は、例えば、エージェントを識別するエージェント識別情報に、ウエイクアップワード(起動ワード)と、起動制御可能エージェント種別と、終了ワードとが対応付けられている。ウエイクアップワードには、例えば、各エージェントに対応するエージェント機能部を起動させるためのワードやフレーズ等が格納される。起動制御可能エージェント識別情報には、例えば、ウエイクアップワードで指示されたエージェントを起動させる権限を有するエージェントの識別情報が格納される。図4の例では、エージェント1がエージェント2およびエージェント3を起動可能でありエージェント2やエージェント3が他のエージェントを起動できないことが示されている。終了ワードには、例えば、エージェントを終了させるためのワードやフレーズ等が格納される。エージェント制御情報172は、例えば、管理部110またはエージェントサーバ200により適宜更新される。

0035

管理部110は、OS(Operating System)やミドルウェア等のプログラムが実行されることで機能する。

0036

管理部110の音響処理部112は、マイク10から収集される音を受け付け、受け付けた音に対して、エージェントごとに予め設定されているウエイクアップワードを認識するのに適した状態になるように音響処理を行う。音響処理とは、例えば、バンドパスフィルタ等のフィルタリングによるノイズ除去や音の増幅等である。また、音響処理部112は、音響処理された音声を、エージェントごとWU判定部114や起動中のエージェント機能部に出力する。

0037

エージェントごとWU判定部114は、エージェント機能部150−1、150−2、150−3のそれぞれに対応して存在し、何れのエージェント機能部が起動していない状態において、エージェントごとに予め定められているウエイクアップワードを認識する。エージェントごとWU判定部114は、音響処理が行われた音声(音声ストリーム)から音声の意味を認識する。まず、エージェントごとWU判定部114は、音声ストリームにおける音声波形振幅零交差に基づいて音声区間を検出する。エージェントごとWU判定部114は、混合ガウス分布モデルGMM;Gaussian mixture model) に基づくフレーム単位音声識別および非音声識別に基づく区間検出を行ってもよい。

0038

次に、エージェントごとWU判定部114は、検出した音声区間における音声をテキスト化し、文字情報とする。そして、エージェントごとWU判定部114は、テキスト化した文字情報と、記憶部170に記憶されたエージェント制御情報172のウエイクアップワードとを照合し、文字情報がエージェント制御情報172に含まれるウエイクアップワードの何れかに該当するか否かを判定する。ウエイクアップワードであると判定した場合、エージェントごとWU判定部114は、対応するエージェント機能部150を起動させる。なお、エージェントごとWU判定部114に相当する機能が、エージェントサーバ200に搭載されてもよい。この場合、管理部110は、音響処理部112によって音響処理が行われた音声ストリームをエージェントサーバ200に送信し、エージェントサーバ200がウエイクアップワードであると判定した場合、エージェントサーバ200からの指示に従ってエージェント機能部150が起動する。また、各エージェント機能部150は、常時起動しており且つウエイクアップワードの判定を自ら行うものであってよい。この場合、管理部110がエージェントごとWU判定部114を備える必要はない。

0039

また、エージェントごとWU判定部114は、上述した手順と同様の手順で、発話された音声に含まれる終了ワードを認識した場合であり、且つ、終了ワードに対応するエージェントが起動している状態(以下、必要に応じて「起動中」と称する)である場合、起動しているエージェント機能部を停止(終了)させる。なお、起動中のエージェントは、音声の入力を所定時間以上受け付けなかった場合や、エージェントを終了させる所定の指示操作を受け付けた場合に、エージェントを停止させてもよい。

0040

出力制御部120は、管理部110またはエージェント機能部150からの指示に応じて表示部またはスピーカユニット30に応答結果等の情報を出力させることで、乗員にサービス等の提供を行う。出力制御部120は、例えば、表示制御部122と、音声制御部124とを備える。

0041

表示制御部122は、出力制御部120からの指示に応じて表示部の少なくとも一部の領域に画像を表示させる。以下では、エージェントに関する画像を第1ディスプレイ22に表示させるものとして説明する。表示制御部122は、出力制御部120の制御により、例えば、車室内で乗員とのコミュニケーションを行う擬人化されたエージェントの画像(以下、エージェント画像と称する)を生成し、生成したエージェント画像を第1ディスプレイ22に表示させる。エージェント画像は、例えば、乗員に対して話しかける態様の画像である。エージェント画像は、例えば、少なくとも観者(乗員)によって表情や顔向きが認識される程度の顔画像を含んでよい。例えば、エージェント画像は、顔領域の中に目やに擬したパーツが表されており、顔領域の中のパーツの位置に基づいて表情や顔向きが認識されるものであってよい。また、エージェント画像は、立体的に感じられ、観者によって三次元空間における頭部画像を含むことでエージェントの顔向きが認識されたり、本体(胴体手足)の画像を含むことで、エージェントの動作や振る舞い、姿勢等が認識されるものであってもよい。また、エージェント画像は、アニメーション画像であってもよい。例えば、表示制御部122は、乗員認識装置80により認識された乗員の位置に近い表示領域にエージェント画像を表示させたり、乗員の位置に顔を向けたエージェント画像を生成して表示させてもよい。

0042

音声制御部124は、出力制御部120からの指示に応じて、スピーカユニット30に含まれるスピーカのうち一部または全部に音声を出力させる。音声制御部124は、複数のスピーカユニット30を用いて、エージェント画像の表示位置に対応する位置にエージェント音声の音像を定位させる制御を行ってもよい。エージェント画像の表示位置に対応する位置とは、例えば、エージェント画像がエージェント音声を喋っていると乗員が感じると予測される位置であり、具体的には、エージェント画像の表示位置付近(例えば、2〜3[cm]以内)の位置である。

0043

エージェント機能部150は、対応するエージェントサーバ200と協働してエージェントを出現させ、車両の乗員の発話に応じて、音声による応答を含むサービスを提供する。エージェント機能部150には、車両M(例えば、車両機器50)を制御する権限が付与されたものが含まれてよい。また、エージェント機能部150には、ペアリングアプリ実行部160を介して汎用通信装置70と連携し、エージェントサーバ200と通信するものがあってよい。例えば、エージェント機能部150−1には、車両M(例えば、車両機器50)を制御する権限が付与されている。エージェント機能部150−1は、車載通信装置60を介してエージェントサーバ200−1と通信する。エージェント機能部150−2は、車載通信装置60を介してエージェントサーバ200−2と通信する。エージェント機能部150−3は、ペアリングアプリ実行部160を介して汎用通信装置70と連携し、エージェントサーバ200−3と通信する。

0044

ペアリングアプリ実行部160は、例えば、Bluetooth(登録商標)によって汎用通信装置70とペアリングを行い、エージェント機能部150−3と汎用通信装置70とを接続させる。なお、エージェント機能部150−3は、USB(Universal Serial Bus)等を利用した有線通信によって汎用通信装置70に接続されるようにしてもよい。

0045

エージェント機能部150−1〜150−3のそれぞれは、音響処理部112等から入力された乗員の発話(音声)に対する処理を実行し、実行結果(例えば、発話に含まれる要求に対する応答結果)を管理部110に出力する。また、エージェント機能部150−1〜150−3のそれぞれは、例えば、他エージェントWU判定部152と、他エージェント起動制御部154とを備える。第1実施形態において、他エージェント起動制御部154は、「起動制御部」の一例である。

0046

他エージェントWU判定部152は、例えば、自己のエージェントの起動中において、音響処理部112から得られる音声に、自己以外のエージェント(以下、他エージェント)に対応するエージェント機能部(以下、他エージェント機能部と称する)を起動させるウエイクアップワードが含まれているか否かを判定する。この場合、他エージェントWU判定部152は、エージェントごとWU判定部114と同様に、音響処理が行われた音声の意味を認識し、音声をテキスト化した文字情報と、エージェント制御情報172のウエイクアップワードとを照合し、文字情報がエージェント制御情報172に含まれる他のエージェントのウエイクアップワードの何れかに該当するか否かを判定する。

0047

他エージェント起動制御部154は、他エージェントWU判定部152の判定結果により、他のエージェントのウエイクアップワードがあると判定された場合に、対応するエージェント機能部を起動させる。また、他エージェントWU判定部152および他エージェント起動制御部154に相当する機能が、エージェントサーバ200に搭載されてもよい。エージェント機能部150の機能の詳細については、後述する。

0048

[エージェントサーバ]
図5は、第1実施形態に係るエージェントサーバ200の構成と、エージェント装置100の構成の一部とを示す図である。以下、エージェントサーバ200の構成とともに、エージェント機能部150等の動作について説明する。ここでは、エージェント装置100からネットワークNWまでの物理的な通信についての説明を省略する。また、以下では、主にエージェント機能部150−1およびエージェントサーバ200−1を中心として説明するが、他のエージェント機能部やエージェントサーバの組についても、それぞれの詳細な機能やデータベース等で相違はあるものの、ほぼ同様の動作を行う。

0049

エージェントサーバ200−1は、通信部210を備える。通信部210は、例えば、NIC(Network Interface Card)等のネットワークインターフェースである。更に、エージェントサーバ200−1は、例えば、音声認識部220と、自然言語処理部222と、対話管理部224と、ネットワーク検索部226と、応答文生成部228と、記憶部250とを備える。これらの構成要素は、例えば、CPU等のハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSIやASIC、FPGA、GPU等のハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めHDDやフラッシュメモリ等の記憶装置(非一過性の記憶媒体を備える記憶装置)に格納されていてもよいし、DVDやCD−ROM等の着脱可能な記憶媒体(非一過性の記憶媒体)に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。音声認識部220と、自然言語処理部222とを合わせたものが「認識部」の一例である。

0050

記憶部250は、上記の各種記憶装置により実現される。記憶部250には、例えば、辞書DB(データベース)252、パーソナルプロファイル254、知識ベースDB256、応答規則DB258等のデータやプログラムが格納される。

0051

エージェント装置100において、エージェント機能部150−1は、例えば、音響処理部112等から入力される音声ストリーム、或いは圧縮や符号化などの処理を行った音声ストリームを、エージェントサーバ200−1に送信する。エージェント機能部150−1は、ローカル処理(エージェントサーバ200−1を介さない処理)が可能なコマンド(要求内容)が認識できた場合には、コマンドで要求された処理を実行してもよい。ローカル処理が可能なコマンドとは、例えば、エージェント装置100が備える記憶部170を参照することで応答可能なコマンドである。より具体的には、ローカル処理が可能なコマンドとは、例えば、記憶部170内に存在する電話帳データから特定者名前を検索し、合致した名前に対応付けられた電話番号に電話をかける(相手呼び出す)コマンドである。したがって、エージェント機能部150−1は、エージェントサーバ200−1が備える機能の一部を有してもよい。

0052

音声ストリームを取得すると、音声認識部220が音声認識を行ってテキスト化された文字情報を出力し、自然言語処理部222が文字情報に対して辞書DB252を参照しながら意味解釈を行う。辞書DB252は、例えば、文字情報に対して抽象化された意味情報が対応付けられたものである。辞書DB252は、同義語類義語一覧情報を含んでもよい。音声認識部220の処理と、自然言語処理部222の処理は、段階が明確に分かれるものではなく、自然言語処理部222の処理結果を受けて音声認識部220が認識結果を修正するなど、相互に影響し合って行われてよい。

0053

自然言語処理部222は、例えば、音声認識結果として、「今日の天気は」、「天気はどうですか」等のテキストが認識された場合、ユーザ意図を「天気:今日」に置き換え内部状態を生成する。これにより、リクエストの音声に文字揺らぎ言い回しの違いがあった場合にも要求にあった対話をし易くすることができる。また、自然言語処理部222は、例えば、確率を利用した機械学習処理等の人工知能処理を用いて文字情報の意味を認識したり、認識結果に基づくコマンドを生成してもよい。

0054

対話管理部224は、入力されたコマンドに基づいて、パーソナルプロファイル254や知識ベースDB256、応答規則DB258を参照しながら車両Mの乗員に対する応答内容(例えば、乗員への発話内容や出力部から出力する画像、音声)を決定する。パーソナルプロファイル254は、乗員ごとに保存されている乗員の個人情報趣味嗜好、過去の対話の履歴等を含む。知識ベースDB256は、物事の関係性を規定した情報である。応答規則DB258は、コマンドに対してエージェントが行うべき動作(回答や機器制御の内容等)を規定した情報である。

0055

また、対話管理部224は、音声ストリームから得られる特徴情報を用いて、パーソナルプロファイル254と照合を行うことで、乗員を特定してもよい。この場合、パーソナルプロファイル254には、例えば、音声の特徴情報に、個人情報が対応付けられている。音声の特徴情報とは、例えば、声の高さ、イントネーションリズム(音の高低パターン)等の喋り方の特徴や、メル周波数ケプストラム係数(Mel Frequency Cepstrum Coefficients)等による特徴量に関する情報である。音声の特徴情報は、例えば、乗員の初期登録時に所定の単語や文章等を乗員に発声させ、発声させた音声を認識することで得られる情報である。

0056

対話管理部224は、コマンドが、ネットワークNWを介して検索可能な情報を要求するものである場合、ネットワーク検索部226に検索を行わせる。ネットワーク検索部226は、ネットワークNWを介して各種ウェブサーバ300にアクセスし、所望の情報を取得する。「ネットワークNWを介して検索可能な情報」とは、例えば、車両Mの周辺にあるレストラン一般ユーザによる評価結果であったり、その日の車両Mの位置に応じた天気予報であったりする。

0057

応答文生成部228は、対話管理部224により決定された発話の内容が車両Mの乗員に伝わるように、応答文を生成し、生成した応答文(応答結果)をエージェント装置100に送信する。また、応答文生成部228は、乗員認識装置80による認識結果をエージェント装置100から取得し、取得した認識結果によりコマンドを含む発話を行った乗員がパーソナルプロファイル254に登録された乗員であることが特定されている場合に、乗員の名前を呼んだり、乗員の話し方に合わせた話し方にした応答文を生成してもよい。

0058

エージェント機能部150は、応答文を取得すると、音声合成を行って音声を出力するように音声制御部124に指示する。また、エージェント機能部150は、音声出力に合わせてエージェント画像を生成し、生成したエージェント画像や応答結果に含まれる画像等を表示するように表示制御部122に指示する。このようにして、仮想的に出現したエージェントが車両Mの乗員に応答するエージェント機能が実現される。また、エージェント機能部150は、起動中に、入力される音声ストリームに対して他エージェントのウエイクアップワードが含まれるか否かの判定を行ったり、他エージェント機能部を起動させる制御等を行う。

0059

[エージェント機能部の機能]
以下、エージェント機能部150の機能の詳細について具体的に説明する。以下では、主にエージェント機能部150における他エージェント機能部の起動制御に関する機能と、エージェント機能部150の機能によって出力制御部120により出力され、乗員(以下、乗員Pと称する)に提供される応答結果を中心として説明する。また、以下では、音声に含まれるウエイクアップワードによりエージェントを起動させる方法を用いて説明するが、エージェントを起動させる方法はこれに限定されず、例えば、予め車内に設けられた起動ボタン(操作部)の操作によりエージェントを起動させてもよい。また、以下では、表示制御部122により画像が表示される場合には、第1ディスプレイ22に表示されるものとする。また、以下では、何れのエージェント機能部150も起動していない状態で最初に起動したエージェント機能部を「第1のエージェント機能部」と称するものとする。

0060

図6は、何れのエージェントも起動していない場面において、表示制御部122により表示される画像IM1の一例を示す図である。なお、画像IM1に表示される内容やレイアウト等については、これに限定されるものではない。また、画像IM1は、出力制御部120等からの指示に基づいて表示制御部122により生成されるものである。上述の内容は、以降の画像の説明についても同様とする。

0061

出力制御部120は、例えば、乗員Pがエージェントと対話を行っていない状態(第1のエージェント機能部が存在していない状態)である場合に、表示制御部122に初期状態画面として画像IM1を生成させ、生成させた画像IM1を第1ディスプレイ22に表示させる。

0062

画像IM1には、例えば、文字情報表示領域A11と、エージェント表示領域A12とが含まれる。文字情報表示領域A11には、例えば、使用可能なエージェントの数や種類に関する情報が表示される。使用可能なエージェントとは、例えば乗員により起動可能なエージェントであり、更に具体的には、乗員の発話に対して応答が可能なエージェントである。使用可能なエージェントは、例えば、車両Mが走行している地域、時間帯、エージェントの状況、乗員認識装置80により認識される乗員Pに基づいて設定される。エージェントの状況には、例えば、車両Mが地下やトンネル内に存在するためにエージェントサーバ200と通信できない状況、または、すでに他のコマンドによる処理が実行中であり、次の発話に対する処理が実行できない状況が含まれる。図6の例において、文字情報表示領域A11には、「3つのエージェントが使用可能です」という文字情報が表示されている。

0063

エージェント表示領域A12には、例えば、使用可能なエージェントに対応付けられたエージェント画像が表示される。図6の例において、エージェント表示領域A12には、エージェント機能部150−1〜150−3に対応付けられたエージェント画像EI1〜EI3が表示されている。これにより、乗員Pは、使用可能なエージェントの数や種類を容易に把握することができる。

0064

ここで、エージェントごとWU判定部114は、乗員Pの発話に含まれるウエイクアップワードを認識し、認識したウエイクアップワードに対応する第1のエージェント機能部を起動させる。図7の例において、乗員Pによる「おーい、AAA!」という発話に対し、エージェントごとWU判定部114は、ウエイクアップワードが「AAA」であるエージェント1(エージェント機能部150−1)を第1のエージェントとして起動させる。起動後、エージェント機能部150−1は、表示制御部122の制御によって、エージェント画像EI1を第1ディスプレイ22に表示させる。

0065

図7は、第1のエージェント機能部が起動中である場面において、表示制御部122により表示される画像IM2の一例を示す図である。画像IM2には、例えば、文字情報表示領域A21と、エージェント表示領域A22とが含まれる。文字情報表示領域A21には、例えば、乗員Pと対話を行うエージェントに関する情報が表示される。図7の例において、文字情報表示領域A21には、「エージェント1が応答中」という文字情報が表示されている。なお、この場面においては、文字情報表示領域A21に文字情報を表示させなくてもよい。

0066

エージェント表示領域A22には、例えば、対話中のエージェントに対応付けられたエージェント画像が表示される。図7の例において、エージェント表示領域A22には、エージェント機能部150−1に対応付けられたエージェント画像EI1が表示されている。これにより、乗員Pは、エージェント1が起動したことを容易に把握することができる。

0067

次に、乗員Pが「最近流行っているお店はどこ?」と発話した場合、エージェント機能部150−1は、発話内容に基づく音声認識を行う。そして、エージェント機能部150−1は、音声認識結果が得られた場合、乗員Pに確認するために、音声認識結果に基づく応答結果(応答文)を生成し、生成した応答結果を乗員Pに出力する。

0068

図7の例において、音声制御部124は、エージェント1(エージェント機能部150−1、エージェントサーバ200−1)によって生成された応答文に対応させて、「最近流行っているお店を検索します!」という音声を生成し、生成した音声をスピーカユニット30に出力させる。また、音声制御部124は、上述した応答文の音声を、エージェント表示領域A22に表示されているエージェント画像EI1の表示位置付近に定位させる音像定位処理を行う。また、音声が出力される場合、表示制御部122は、音声出力に合わせてエージェント画像EI1が喋っているように乗員Pに視認させるアニメーション画像等を生成して表示させてもよい。また、表示制御部122は、応答文をエージェント表示領域A22に表示させてもよい。これにより、乗員Pは、発話内容をエージェント1が認識できたか否かをより正確に把握することができる。

0069

次に、エージェント機能部150−1は、音声認識した内容に基づく処理を実行し、エージェントサーバ200−1等の処理によって得られた応答結果を、出力制御部120に出力させる。図8は、応答結果が出力される様子の一例を示す図である。図8の例では、第1ディスプレイ22に表示される画像IM3が示されている。画像IM3には、例えば、文字情報表示領域A31と、エージェント表示領域A32とが含まれる。文字情報表示領域A31には、文字情報表示領域A31と同様に対話中のエージェント1に関する情報が表示される。

0070

エージェント表示領域A32には、例えば、対話中のエージェント画像やエージェントの応答結果が表示される。図8の例において、エージェント表示領域A32には、エージェント画像EI1およびエージェント1の応答結果である「イタリアンレストラン「〇〇〇」です。」という文字情報が表示されている。この場面において、音声制御部124は、エージェント機能部150−1によってなされた応答結果の音声を生成し、エージェント画像EI1の表示位置付近に定位させる音像定位処理を行う。図8の例において、音声制御部124は、「私が紹介するのはイタリアンレストラン「〇〇〇」です。」という音声を出力させている。

0071

ここで、音響処理部112は、エージェント1が起動中の状態で、乗員Pの「BBB! 「△△△」の曲を聞かせて!」という発話を受け付けたとする。この場合、他エージェントWU判定部152−1は、「BBB」という文字情報と、エージェント制御情報172に含まれる他のエージェントのウエイクアップワードとを照合し、文字情報「BBB」がエージェント2のウエイクアップワードに該当すると判定する。

0072

他エージェント起動制御部154−1は、他エージェントWU判定部152−1の判定結果により、エージェント2のウエイクアップワードに該当すると判定された場合、エージェント機能部150−2(他エージェント機能部)を起動させる。この場合、他エージェント起動制御部154−1は、エージェント機能部150−2を起動させる指示を直接エージェント機能部150−2に出力してもよく、エージェント機能部150−2に対応付けられたエージェントごと判定部114に起動させる指示を出力し、エージェントごとWU判定部114に出力させてもよい。

0073

また、他エージェント起動制御部154−1は、自己のエージェントにエージェント機能部150−2を起動させるウエイクアップワード「BBB」に対応する音声を音声制御部124に生成させて、スピーカユニット30から出力させてもよい。これにより、マイク10から入力された「BBB」に対応する音声が音響処理部112に受け付けられ、エージェントごとWU判定部114によって、エージェント機能部150−2を起動させることができる。

0074

なお、エージェント装置100は、全てのエージェント機能部が他エージェント機能部を起動させることができるのではなく、一部のエージェント機能部のみが、他エージェント機能部を起動できるように制御してもよい。この場合、他エージェント起動制御部154−1は、エージェント制御情報172に含まれる起動制御可能エージェント識別情報を参照し、自己エージェント(エージェント1)が他エージェント(エージェント2)の起動制御が可能なエージェントであるか否かを判定する。図4の例において、エージェント1は、エージェント2の起動制御が可能なエージェントである。したがって、エージェント機能部150−1は、エージェント機能部150−2を起動させる。

0075

このように、一部のエージェント機能部のみが、他エージェント機能部を起動できるように制御することで、エージェントごとに異なる権限を設定することができ、エージェント間で主従(マスタエージェントサブエージェント)の関係性を持たせることができる。また、主(マスタ)となるエージェントには、車両機器50等を制御するエージェント(例えば、エージェント機能部150−1)が含まれることが好ましい。これにより、例えば、車内で起動している時間が他のエージェントよりも長いことが予測されるエージェント、または重要度の高いエージェントから、即座に他のエージェントを起動させることができる。

0076

また、他エージェント起動制御部154−1は、他エージェント(例えば、エージェント機能部150−2)を起動させた後、自己のエージェント1(エージェント機能部150−1)を停止させる制御を行ってもよい。この場合、他エージェント起動制御部154−1は、エージェント1を停止させる制御を直接行ってもよく、エージェント制御情報172から取得したエージェント1の終了ワード「XXX」をエージェントごとWU判定部114に出力し、エージェントごとWU判定部114によりエージェント1を終了させてもよい。

0077

また、他エージェント起動制御部154−1は、エージェント1の終了ワード「XXX」に対応する音声を音声制御部124に生成させて、スピーカユニット30から出力させてもよい。これにより、マイク10から入力された「XXX」に対応する音声が音響処理部112に受け付けられ、エージェントごとWU判定部114によって、エージェント機能部150−2を停止させることができる。エージェント1が停止した後、他エージェント機能部(エージェント機能部150−2)のエージェント2によって、乗員Pの発話に対する応答が実行される。

0078

図9は、他エージェント機能部による応答結果が出力される様子について説明するための図である。図9の例では、第1ディスプレイ22に表示される画像IM4が示されている。画像IM4には、例えば、文字情報表示領域A41と、エージェント表示領域A42とが含まれる。文字情報表示領域A41には、現在応答中のエージェントに関する情報が表示される。図9の例において、文字情報表示領域A41には、「エージェント2が応答中」という文字情報が表示されている。

0079

エージェント表示領域A42には、例えば、応答中のエージェント画像やエージェントの応答結果が表示される。表示制御部122は、エージェント機能部150−1から、応答結果、および応答結果を生成した他のエージェント機能部の識別情報を取得し、取得した情報に基づいて、エージェント表示領域A42に表示する画像を生成する。

0080

図9の例において、エージェント表示領域A42には、エージェント画像EI2およびエージェント2の応答結果である「「△△△」の曲を再生します。」という文字情報が表示されている。この場面において、音声制御部124は、応答結果に対応する音声を生成し、エージェント画像EI2の表示位置付近に定位させる音像定位処理を行う。更に、音声制御部124は、応答結果に含まれる「△△△」の曲をスピーカユニット30から出力させる。

0081

これにより、乗員Pは、起動中のエージェントを停止させる指示を行うことなく、他のエージェントを起動させる音声のみを発話することで、起動中のエージェントの停止と他のエージェントの起動を行うことができる。したがって、エージェントを切り替えるときの煩わしさを削減でき、エージェントの使用に関する乗員の利便性を向上させることができる。

0082

[変形例]
他エージェント起動制御部154は、他エージェントを起動させた後、自己のエージェントを停止させるのに代えて、自己のエージェントを起動させたまま乗員Pの発話に対する応答を他エージェントに優先させる制御を行ってもよい。「乗員Pの発話に対する応答を他エージェントに優先させる」とは、例えば、乗員Pに応答する優先権をすでに起動中のエージェントから新たに起動した他エージェントに移動させることである。上述した例の場合、エージェント1とエージェント2とが起動中となるが、乗員Pとの対話はエージェント2が行うこととなる。

0083

また、エージェント1は、エージェント2が乗員Pと対話している間も乗員Pからの音声やエージェント2からの音声を入力し、入力した音声の意味に基づく応答を生成してもよい。この場合、エージェント1は、生成した応答結果を、エージェント2からの指示や乗員Pからの指示があった場合にのみ出力する。これにより、エージェント1は、エージェント2の応答を補助するような振る舞いで応答結果を出力することができる。

0084

また、出力制御部120は、エージェント1からエージェント2が起動され、エージェント2に優先権が移動していることを示す情報を、出力部に出力させてもよい。図10は、応答の優先権が移動したときに出力される情報について説明するための図である。図10の例では、第1ディスプレイ22に表示される画像IM5が示されている。画像IM5には、例えば、文字情報表示領域A51と、エージェント表示領域A52とが含まれる。文字情報表示領域A51には、乗員Pの発話に応答するエージェントが移動されたことを示す情報が表示される。図10の例において、文字情報表示領域A51には、「応答の優先権がエージェント2に移動しました」という文字情報が表示されている。

0085

エージェント表示領域A52には、例えば、対話中のエージェント画像やエージェントの応答結果が表示されるとともに、優先権を移動する前のエージェント画像が表示される。図10の例において、エージェント表示領域A52には、上述した図9に示すエージェント表示領域A42に示す表示内容に加えて、エージェント画像EI1が表示されている。この場面において、表示制御部122は、優先権のないエージェント1のエージェント画像EI1を、優先権があるエージェント2のエージェント画像EI2よりも小さくなるように表示させる。これにより、乗員Pは、複数のエージェント画像が表示された場合であっても、応答するエージェントを容易に判別することができる。

0086

また、表示制御部122は、エージェント2が応答中であってもエージェント画像EI1の表情や顔の向き等を変えて表示させてもよい。図10の例において、エージェント表示領域A52には、エージェント画像EI2の方を向いているエージェント画像EI1の画像が表示されている。このように、エージェント2が応答中であってもエージェント画像EI1の表情や顔の向きを変えることで、エージェント2だけでなく、エージェント1も起動中であることを、乗員Pに直感的に把握させることができる。

0087

なお、変形例において、エージェント2の応答が完了した場合、他エージェント起動制御部154−1は、優先権を元に戻す(エージェント1に戻す)制御を行ってもよい。これにより、一時的に他のエージェントに応答させた場合であっても、円滑に元のエージェントに復帰させることができる。その結果、乗員の利便性を向上させることができる。

0088

[処理フロー]
図11は、第1実施形態に係るエージェント装置100により実行される処理の流れの一例を示すフローチャートである。なお、以下では、エージェント装置100により、第1のエージェント機能部(以下では、一例としてエージェント機能部150−1とする)がすでに起動中である場合の処理について説明する。本フローチャートの処理は、例えば、所定周期或いは所定のタイミングで繰り返し実行されてよい。

0089

まず、エージェント機能部150−1は、音響処理部112からの音声の入力を受け付けたか否かを判定する(ステップS100)。音声の入力を受け付けたと判定された場合、エージェント機能部150−1は、認識部に入力された音声に対する音声認識を実行させ、音声認識結果を取得する(ステップS102)。次に、エージェント機能部150−1の他エージェントWU判定部152−1は、他エージェントのウエイクアップワードを受け付けたか否かを判定する(ステップS104)。

0090

他エージェントのウエイクアップワードを受け付けたと判定された場合、他エージェント起動制御部154−1は、他エージェントに対応するエージェント機能部を起動させる(ステップS106)。また、他エージェント起動制御部154−1は、起動している自己のエージェントを停止させる(ステップS108)。また、ステップS104の処理において、他エージェントのウエイクアップワードを受け付けていない場合、エージェント機能部150−1は、認識結果に基づく応答を生成し(ステップS110)、生成した応答結果を出力させる(ステップS112)。これにより、本フローチャートの処理は、終了する。また、ステップS100の処理において、音声の入力を受け付けていないと判定された場合、本フローチャートの処理は、終了する。

0091

なお、ステップS106の処理において、他エージェント起動制御部154−1は、エージェント1が他エージェントを起動できる権限を有するか否かを判定し、起動できる権限を有する場合に、他エージェントを起動させてもよい。

0092

上述した第1実施形態に係るエージェント装置100によれば、車両Mの乗員の発話に応じて、応答を含むサービスを提供する複数のエージェント機能部150と、複数のエージェント機能部150のうち、第1のエージェント機能部が起動中で、他のエージェント機能部の起動の指示がなされた場合に、他のエージェント機能部を起動させる他エージェント起動制御部154とを備えることで、エージェントとの対話における乗員の利便性を向上させることができる。

0093

<第2実施形態>
以下、第2実施形態について説明する。第2実施形態のエージェント装置は、第1実施形態のエージェント装置100と比較して、エージェント機能部150の他エージェントWU判定部152および他エージェント起動制御部154に代えて、管理部110に起動状態管理部116および起動制御部118を備える点で相違する。したがって、以下では、主に起動状態管理部116および起動制御部118を中心として説明するものとし、それ以外の構成については、共通する名称および符号を付するものとし、ここでの具体的な説明は省略する。

0094

図12は、第2実施形態に係るエージェント装置100Aの構成と、車両Mに搭載された機器とを示す図である。車両Mには、例えば、一以上のマイク10と、表示・操作装置20と、スピーカユニット30と、ナビゲーション装置40と、車両機器50と、車載通信装置60と、乗員認識装置80と、エージェント装置100Aとが搭載される。また、汎用通信装置70が車室内に持ち込まれ、通信装置として使用される場合がある。これらの装置は、CAN通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。

0095

また、エージェント装置100Aは、管理部110Aと、エージェント機能部150A、150A−2、150A−3と、ペアリングアプリ実行部160と、記憶部170とを備える。管理部110Aは、例えば、音響処理部112と、エージェントごとWU判定部114と、起動状態管理部116と、起動制御部118と、出力制御部120とを備える。エージェント装置100Aの各構成要素は、例えば、CPU等のハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSIやASIC、FPGA、GPU等のハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めHDDやフラッシュメモリ等の記憶装置(非一過性の記憶媒体を備える記憶装置)に格納されていてもよいし、DVDやCD−ROM等の着脱可能な記憶媒体(非一過性の記憶媒体)に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。

0096

エージェント機能部150Aは、第1実施形態に示すエージェント機能部150の機能のうち、他エージェントWU判定部152および他エージェント起動制御部154を除く機能を備える。

0097

起動状態管理部116は、現在起動中のエージェントを管理する。例えば、起動状態管理部116は、エージェントごとWU判定部114により、入力された音声の文字情報が何れかのエージェントに対するウエイクアップワードに該当すると判定された場合、現在起動中のエージェントが存在するか否かを判定する。また、起動状態管理部116は、起動中のエージェントが存在する場合に、そのエージェント種別やエージェントの優先権(どのエージェントが乗員Pの発話に応答しているか)に関する情報を取得してもよい。

0098

起動制御部118は、エージェントごとWU判定部114によりウエイクアップワードが発話されたと判定され、且つ、現在起動しているエージェントにウエイクアップワードに対応するエージェントが含まれていない場合に、ウエイクアップワードに対応するエージェントを起動させる。また、起動制御部118は、上述した制御に加えて、エージェント制御情報172の起動制御可能エージェント識別情報を参照し、起動中のエージェントが起動制御可能エージェント識別情報に含まれるエージェントである場合にのみ、ウエイクアップワードに対応するエージェントを起動させてもよい。

0099

また、起動制御部118は、ウエイクアップワードに対応するエージェントを起動させることに加えて、すでに起動中のエージェントを停止させる制御を行ってもよい。この場合、起動制御部118は、停止させるエージェント機能部150Aに停止させる制御を直接行ってもよい。また、起動制御部118は、エージェント制御情報172から取得したエージェントの終了ワードに対応する音声を音声制御部124に生成させて、スピーカユニット30から出力させてもよい。これにより、マイク10から入力された終了ワードに対応する音声が音響処理部112に受け付けられ、エージェントごとWU判定部114によって、対象のエージェントを停止させることができる。また、起動制御部118は、すでに起動中のエージェントを停止させることに代えて、乗員の発話に対する応答の優先権を、すでに起動中のエージェントから、新たに起動させたエージェントに移動させる制御を行ってもよい。

0100

[処理フロー]
図13は、第2実施形態に係るエージェント装置100Aにより実行される処理の流れの一例を示すフローチャートである。本フローチャートの処理は、例えば、所定周期或いは所定のタイミングで繰り返し実行されてよい。

0101

まず、管理部110Aは、マイク10からの音声の入力を受け付けたか否かを判定する(ステップS200)。音声の入力を受け付けたと判定された場合、管理部110Aは、音響処理およびエージェントごとWU判定部114による音声認識を実行させ、音声認識結果を取得する(ステップS202)。次に、エージェントごとWU判定部114は、音声によりエージェントのウエイクアップワードを受け付けたか否かを判定する(ステップS204)。ウエイクアップワードを受け付けたと判定された場合、起動状態管理部116は、エージェントの起動状態を取得する(ステップS206)。

0102

次に、起動制御部118は、現在起動しているエージェントが存在するか否かを判定する(ステップS208)。現在起動しているエージェントが存在すると判定された場合、起動制御部118は、受け付けたウエイクアップワードが、起動中のエージェント以外のウエイクアップワードか否かを判定する(ステップS210)。起動中のエージェント以外のウエイクアップワードである場合、起動制御部118は、起動中のエージェントを停止させ(ステップS212)、ウエイクアップワードに対応するエージェントを起動させる(ステップS214)。また、ステップS208の処理において、エージェントが起動中でないと判定された場合、起動制御部118は、ウエイクアップワードに対応するエージェントを起動させる(ステップS214)。

0103

また、ステップS204の処理において、ウエイクアップワードを受け付けていない場合、管理部110または起動中のエージェント機能部150は、認識結果に基づく応答を生成し(ステップS216)、生成した応答結果を出力させる(ステップS218)。これにより、本フローチャートの処理は、終了する。また、ステップS200の処理において、音声の入力を受け付けていない場合、または、ステップS210の処理において、受け付けたウエイクアップワードが、起動中のエージェント以外のウエイクアップワードでないと判定された場合に、本フローチャートの処理は、終了する。

0104

上述した第2実施形態のエージェント装置100Aによれば、第1実施形態のエージェント装置100と同様の効果を奏する他、管理部110Aで各エージェントの状態を管理するとともに、エージェントの起動状態に基づく他のエージェントの起動や停止制御を行うことができる。

0105

上述した第1実施形態および第2実施形態のそれぞれは、他の実施形態の一部または全部を組み合わせてもよい。また、エージェント装置100(100A)の機能のうち一部または全部は、エージェントサーバ200に含まれていてもよい。また、エージェントサーバ200の機能のうち一部または全部は、エージェント装置100に含まれていてもよい。つまり、エージェント装置100(100A)およびエージェントサーバ200における機能の切り分けは、各装置の構成要素、エージェントサーバ200やエージェントシステム1の規模等によって適宜変更されてよい。また、エージェント装置100(100A)およびエージェントサーバ200における機能の切り分けは、車両Mごとに設定されてもよい。

0106

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

0107

1…エージェントシステム、10…マイク、20…表示・操作装置、30…スピーカユニット、40…ナビゲーション装置、50…車両機器、60…車載通信装置、70…汎用通信装置、80…乗員認識装置、100、100A…エージェント装置、110、110A…管理部、112…音響処理部、114…エージェントごとWU判定部、116…起動状態管理部、118…起動制御部、120…出力制御部、122…表示制御部、124…音声制御部、150…エージェント機能部、152…他エージェントWU判定部、154…他エージェント起動制御部、160…ペアリングアプリ実行部、170、250…記憶部、200…エージェントサーバ、210…通信部、220…音声認識部、222…自然言語処理部、224…対話管理部、226…ネットワーク検索部、228…応答文生成部、300…各種ウェブサーバ、M…車両

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 京セラ株式会社の「 電子機器、制御方法、及びプログラム」が 公開されました。( 2020/10/29)

    【課題】操作性を向上させた電子機器、制御方法、及びプログラムを提供する。【解決手段】電子機器1は、自機器に接触されないジェスチャを検出する第1センサ(近接センサ18)と、自機器に接触されるタッチを検出... 詳細

  • 京セラ株式会社の「 電子機器、制御方法、及びプログラム」が 公開されました。( 2020/10/29)

    【課題】移動体の運転の安全性を向上可能な電子機器、制御方法、及びプログラムを提供する。【解決手段】自動車に搭載可能な電子機器は、自機器に触れられずにジェスチャを検出する第1センサと、自機器に接触される... 詳細

  • 三菱電機株式会社の「 電子制御装置」が 公開されました。( 2020/10/29)

    【課題】本願は、ケースの外周位置とカバーの外周位置に形成された環状シール部の密閉性を向上することができる電子制御装置を提供するものである。【解決手段】ケース(200A)の外周位置とカバー(300A)の... 詳細

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ