図面 (/)

技術 車両制御システム、エージェント装置、車両制御方法、及びプログラム

出願人 本田技研工業株式会社
発明者 本田裕栗原正樹菊池慎一暮橋昌宏倉持俊克
出願日 2019年3月22日 (1年9ヶ月経過) 出願番号 2019-054878
公開日 2020年9月24日 (3ヶ月経過) 公開番号 2020-153917
状態 未査定
技術分野 航行(Navigation) 交通制御システム 音声入出力 車両用電気・流体回路
主要キーワード 中間辺 左側後部座席 右側後部座席 スイッチアッセンブリ キュー方式 DS側 制御コマ 混合ガウス分布モデル
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年9月24日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (16)

課題

利用者をより満足させることができる。

解決手段

車両制御システムは、車両の室内の第1ユーザの発話に応じて、前記車両を走行させるために必要な第1車載機器の制御を含む第1サービスを提供する第1エージェント装置と、前記車両の外部の第2ユーザの発話に応じて、前記第1車載機器の制御を含まない第2サービスを提供する第2エージェント装置と、第1サーバと、第2サーバと、を備え、前記第2エージェント装置は、前記第2ユーザの発話が、前記車両の外部から前記第1車載機器を遠隔制御することを指示する第1コマンドである場合、前記第2サーバおよび前記第1サーバを介して、前記第1コマンドを前記第1エージェント装置に送信し、前記第1エージェント装置は、前記第1コマンドを受信した場合、前記第1サービスとして、前記第1コマンドに基づいて前記第1車載機器を制御する。

概要

背景

従来、車両の乗員と対話を行いながら、乗員の要求に応じた運転支援に関する情報や車両の制御、その他のアプリケーション等を提供するエージェント機能に関する技術が開示されている(例えば、特許文献1参照)。

概要

利用者をより満足させることができる。車両制御システムは、車両の室内の第1ユーザの発話に応じて、前記車両を走行させるために必要な第1車載機器の制御を含む第1サービスを提供する第1エージェント装置と、前記車両の外部の第2ユーザの発話に応じて、前記第1車載機器の制御を含まない第2サービスを提供する第2エージェント装置と、第1サーバと、第2サーバと、を備え、前記第2エージェント装置は、前記第2ユーザの発話が、前記車両の外部から前記第1車載機器を遠隔制御することを指示する第1コマンドである場合、前記第2サーバおよび前記第1サーバを介して、前記第1コマンドを前記第1エージェント装置に送信し、前記第1エージェント装置は、前記第1コマンドを受信した場合、前記第1サービスとして、前記第1コマンドに基づいて前記第1車載機器を制御する。

目的

従来、車両の乗員と対話を行いながら、乗員の要求に応じた運転支援に関する情報や車両の制御、その他のアプリケーション等を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

車両の室内に存在する第1ユーザの発話に応じて、前記車両に搭載された複数の車載機器のうち、前記車両を走行させるために必要な第1車載機器の制御を含む第1サービスを提供する第1エージェント装置と、前記車両の外部に存在する第2ユーザの発話に応じて、前記第1車載機器の制御を含まない第2サービスを提供する第2エージェント装置と、前記第1エージェント装置および他のサーバ通信する第1サーバと、前記第1エージェント装置、前記第2エージェント装置、および他のサーバと通信する第2サーバと、を備え、前記第2エージェント装置は、前記第2ユーザの発話が、前記車両の外部から前記第1車載機器を遠隔制御することを指示する第1コマンドである場合、前記第2サーバおよび前記第1サーバを介して、前記第1コマンドを前記第1エージェント装置に送信し、前記第1エージェント装置は、前記第1コマンドを受信した場合、前記第1サービスとして、前記第1コマンドに基づいて前記第1車載機器を制御する、車両制御システム

請求項2

前記第1エージェント装置は、前記車両の外部装置と通信する通信部と、前記第1ユーザの発話に応じて、前記第1サービスを提供する第1エージェント機能部と、前記第1ユーザの発話に応じて、前記第2サービスを提供する第2エージェント機能部と、を有し、前記第1エージェント機能部は、前記通信部によって前記第1コマンドが受信された場合、前記第1サービスとして、前記第1コマンドに基づいて前記第1車載機器を制御する、請求項1に記載の車両制御システム。

請求項3

前記第2エージェント装置は、前記第2ユーザの発話が、前記第1車載機器と異なる第2車載機器を前記車両の外部から遠隔制御することを指示する第2コマンドである場合、前記第2サーバを介して、前記第2コマンドを前記第1エージェント装置に送信し、前記第2エージェント機能部は、前記通信部によって前記第2コマンドが受信された場合、前記第2サービスとして、前記第2コマンドに基づいて前記第2車載機器を制御する、請求項2に記載の車両制御システム。

請求項4

前記第1エージェント装置は、情報を格納する第1記憶部を有し、前記第2エージェント機能部は、前記第1エージェント機能部が前記第1車載機器の制御を完了させる以前に前記通信部によって受信された前記第2コマンドを、前記第1記憶部に格納し、前記第1エージェント機能部が前記第1車載機器の制御を完了させた場合、前記第1記憶部に格納した前記第2コマンドを読み出し、読み出した前記第2コマンドに基づいて前記第2車載機器を制御する、請求項3に記載の車両制御システム。

請求項5

前記第2エージェント装置は、前記第2ユーザの発話が、前記第1車載機器と異なる第2車載機器を前記車両の外部から遠隔制御することを指示する第2コマンドである場合、前記第2サーバおよび前記第1サーバを介して、前記第2コマンドを前記第1エージェント装置に送信し、前記第1エージェント機能部は、前記通信部によって前記第2コマンドが受信された場合、前記第1サービスとして、前記第2コマンドに基づいて前記第2車載機器を制御する、請求項2に記載の車両制御システム。

請求項6

車両の室内に存在する第1ユーザの発話に応じて、前記車両に搭載された複数の車載機器のうち、前記車両を走行させるために必要な第1車載機器の制御を含む第1サービスを提供する第1エージェント装置と、前記車両の外部に存在する第2ユーザの発話に応じて、前記第1車載機器の制御を含まない第2サービスを提供する第2エージェント装置と、前記第1エージェント装置および他のサーバと通信する第1サーバと、前記第1エージェント装置、前記第2エージェント装置、および他のサーバと通信する第2サーバと、を備え、前記第2エージェント装置は、前記第2ユーザの発話が、前記第1車載機器が稼働した後に稼働可能な第2車載機器を前記車両の外部から遠隔制御することを指示する第2コマンドである場合、前記第2サーバを介して、前記第2コマンドを前記第1エージェント装置に送信し、前記第1エージェント装置は、前記第2コマンドを受信した場合、前記第1サービスとして前記第1車載機器を制御した後に、前記第2サービスとして前記第2コマンドに基づき前記第2車載機器を制御する、車両制御システム。

請求項7

車両の外部装置と通信する通信部と、前記車両の室内に存在する第1ユーザの発話に応じて、前記車両に搭載された複数の車載機器のうち、前記車両を走行させるために必要な第1車載機器の制御を含む第1サービスを提供する第1エージェント機能部と、前記第1ユーザの発話に応じて、前記第1車載機器の制御を含まない第2サービスを提供する第2エージェント機能部と、を備え、前記第1エージェント機能部は、前記車両の外部に存在する第2ユーザによって発話された第1コマンドであって、前記車両の外部から前記第1車載機器を遠隔制御することを指示する前記第1コマンドが前記通信部によって受信された場合、前記第1サービスとして、前記第1コマンドに基づいて前記第1車載機器を制御する、エージェント装置。

請求項8

第1エージェント装置が、車両の室内に存在する第1ユーザの発話に応じて、前記車両に搭載された複数の車載機器のうち、前記車両を走行させるために必要な第1車載機器の制御を含む第1サービスを提供し、第2エージェント装置が、前記車両の外部に存在する第2ユーザの発話に応じて、前記第1車載機器の制御を含まない第2サービスを提供し、第1サーバが、前記第1エージェント装置および他のサーバと通信し、第2サーバが、前記第1エージェント装置、前記第2エージェント装置、および他のサーバと通信し、前記第2エージェント装置が、前記第2ユーザの発話が、前記車両の外部から前記第1車載機器を遠隔制御することを指示する第1コマンドである場合、前記第2サーバおよび前記第1サーバを介して、前記第1コマンドを前記第1エージェント装置に送信し、前記第1エージェント装置が、前記第1コマンドを受信した場合、前記第1サービスとして、前記第1コマンドに基づいて前記第1車載機器を制御する、車両制御方法

請求項9

車両の外部装置と通信する通信部を備えるコンピュータが、前記車両の室内に存在する第1ユーザの発話に応じて、前記車両に搭載された複数の車載機器のうち、前記車両を走行させるために必要な第1車載機器の制御を含む第1サービスを提供し、前記第1ユーザの発話に応じて、前記第1車載機器の制御を含まない第2サービスを提供し、前記車両の外部に存在する第2ユーザによって発話された第1コマンドであって、前記車両の外部から前記第1車載機器を遠隔制御することを指示する前記第1コマンドが前記通信部によって受信された場合、前記第1サービスとして、前記第1コマンドに基づいて前記第1車載機器を制御する、車両制御方法。

請求項10

車両の外部装置と通信する通信部を備えるコンピュータに、前記車両の室内に存在する第1ユーザの発話に応じて、前記車両に搭載された複数の車載機器のうち、前記車両を走行させるために必要な第1車載機器の制御を含む第1サービスを提供する処理と、前記第1ユーザの発話に応じて、前記第1車載機器の制御を含まない第2サービスを提供する処理と、前記車両の外部に存在する第2ユーザによって発話された第1コマンドであって、前記車両の外部から前記第1車載機器を遠隔制御することを指示する前記第1コマンドが前記通信部によって受信された場合、前記第1サービスとして、前記第1コマンドに基づいて前記第1車載機器を制御する処理と、を実行させるためのプログラム

技術分野

背景技術

0002

従来、車両の乗員と対話を行いながら、乗員の要求に応じた運転支援に関する情報や車両の制御、その他のアプリケーション等を提供するエージェント機能に関する技術が開示されている(例えば、特許文献1参照)。

先行技術

0003

特開2006−335231号公報

発明が解決しようとする課題

0004

近年では、エージェント機能を車両に搭載することについて実用化が進められているが、エージェント機能におけるサービスの提供について十分に検討されていなかった。このため、従来の技術では、エージェン機能のサービスの提供について利用者満足度が低い場合があった。

0005

本発明は、このような事情を考慮してなされたものであり、利用者をより満足させることができる車両制御システム、エージェント装置、車両制御方法、及びプログラムを提供することを目的の一つとする。

課題を解決するための手段

0006

本発明に係る車両制御システム、エージェント装置、車両制御方法、及びプログラムは、以下の構成を採用した。

0007

(1)本発明の一態様は、車両の室内に存在する第1ユーザの発話に応じて、前記車両に搭載された複数の車載機器のうち、前記車両を走行させるために必要な第1車載機器の制御を含む第1サービスを提供する第1エージェント装置と、前記車両の外部に存在する第2ユーザの発話に応じて、前記第1車載機器の制御を含まない第2サービスを提供する第2エージェント装置と、前記第1エージェント装置および他のサーバ通信する第1サーバと、前記第1エージェント装置、前記第2エージェント装置、および他のサーバと通信する第2サーバと、を備え、前記第2エージェント装置は、前記第2ユーザの発話が、前記車両の外部から前記第1車載機器を遠隔制御することを指示する第1コマンドである場合、前記第2サーバおよび前記第1サーバを介して、前記第1コマンドを前記第1エージェント装置に送信し、前記第1エージェント装置は、前記第1コマンドを受信した場合、前記第1サービスとして、前記第1コマンドに基づいて前記第1車載機器を制御する車両制御システムである。

0008

(2)の態様は、上記(1)の態様の車両制御システムにおいて、前記第1エージェント装置は、前記車両の外部装置と通信する通信部と、前記第1ユーザの発話に応じて、前記第1サービスを提供する第1エージェント機能部と、前記第1ユーザの発話に応じて、前記第2サービスを提供する第2エージェント機能部と、を有し、前記第1エージェント機能部は、前記通信部によって前記第1コマンドが受信された場合、前記第1サービスとして、前記第1コマンドに基づいて前記第1車載機器を制御するものである。

0009

(3)の態様は、上記(2)の態様の車両制御システムにおいて、前記第2エージェント装置は、前記第2ユーザの発話が、前記第1車載機器と異なる第2車載機器を前記車両の外部から遠隔制御することを指示する第2コマンドである場合、前記第2サーバを介して、前記第2コマンドを前記第1エージェント装置に送信し、前記第2エージェント機能部は、前記通信部によって前記第2コマンドが受信された場合、前記第2サービスとして、前記第2コマンドに基づいて前記第2車載機器を制御するものである。

0010

(4)の態様は、上記(3)の態様の車両制御システムにおいて、前記第1エージェント装置は、情報を格納する第1記憶部を有し、前記第2エージェント機能部は、前記第1エージェント機能部が前記第1車載機器の制御を完了させる以前に前記通信部によって受信された前記第2コマンドを、前記第1記憶部に格納し、前記第1エージェント機能部が前記第1車載機器の制御を完了させた場合、前記第1記憶部に格納した前記第2コマンドを読み出し、読み出した前記第2コマンドに基づいて前記第2車載機器を制御するものである。

0011

(5)の態様は、上記(2)の態様の車両制御システムにおいて、前記第2エージェント装置は、前記第2ユーザの発話が、前記第1車載機器と異なる第2車載機器を前記車両の外部から遠隔制御することを指示する第2コマンドである場合、前記第2サーバおよび前記第1サーバを介して、前記第2コマンドを前記第1エージェント装置に送信し、前記第1エージェント機能部は、前記通信部によって前記第2コマンドが受信された場合、前記第1サービスとして、前記第2コマンドに基づいて前記第2車載機器を制御するものである。

0012

(6)本発明の他の態様は、車両の室内に存在する第1ユーザの発話に応じて、前記車両に搭載された複数の車載機器のうち、前記車両を走行させるために必要な第1車載機器の制御を含む第1サービスを提供する第1エージェント装置と、前記車両の外部に存在する第2ユーザの発話に応じて、前記第1車載機器の制御を含まない第2サービスを提供する第2エージェント装置と、前記第1エージェント装置および他のサーバと通信する第1サーバと、前記第1エージェント装置、前記第2エージェント装置、および他のサーバと通信する第2サーバと、を備え、前記第2エージェント装置は、前記第2ユーザの発話が、前記第1車載機器が稼働した後に稼働可能な第2車載機器を前記車両の外部から遠隔制御することを指示する第2コマンドである場合、前記第2サーバを介して、前記第2コマンドを前記第1エージェント装置に送信し、前記第1エージェント装置は、前記第2コマンドを受信した場合、前記第1サービスとして前記第1車載機器を制御した後に、前記第2サービスとして前記第2コマンドに基づき前記第2車載機器を制御する車両制御システムである。

0013

(7)本発明の他の態様は、車両の外部装置と通信する通信部と、前記車両の室内に存在する第1ユーザの発話に応じて、前記車両に搭載された複数の車載機器のうち、前記車両を走行させるために必要な第1車載機器の制御を含む第1サービスを提供する第1エージェント機能部と、前記第1ユーザの発話に応じて、前記第1車載機器の制御を含まない第2サービスを提供する第2エージェント機能部と、を備え、前記第1エージェント機能部は、前記車両の外部に存在する第2ユーザによって発話された第1コマンドであって、前記車両の外部から前記第1車載機器を遠隔制御することを指示する前記第1コマンドが前記通信部によって受信された場合、前記第1サービスとして、前記第1コマンドに基づいて前記第1車載機器を制御するエージェント装置である。

0014

(8)本発明の他の態様は、第1エージェント装置が、車両の室内に存在する第1ユーザの発話に応じて、前記車両に搭載された複数の車載機器のうち、前記車両を走行させるために必要な第1車載機器の制御を含む第1サービスを提供し、第2エージェント装置が、前記車両の外部に存在する第2ユーザの発話に応じて、前記第1車載機器の制御を含まない第2サービスを提供し、第1サーバが、前記第1エージェント装置および他のサーバと通信し、第2サーバが、前記第1エージェント装置、前記第2エージェント装置、および他のサーバと通信し、前記第2エージェント装置が、前記第2ユーザの発話が、前記車両の外部から前記第1車載機器を遠隔制御することを指示する第1コマンドである場合、前記第2サーバおよび前記第1サーバを介して、前記第1コマンドを前記第1エージェント装置に送信し、前記第1エージェント装置が、前記第1コマンドを受信した場合、前記第1サービスとして、前記第1コマンドに基づいて前記第1車載機器を制御する車両制御方法である。

0015

(9)本発明の他の態様は、車両の外部装置と通信する通信部を備えるコンピュータが、前記車両の室内に存在する第1ユーザの発話に応じて、前記車両に搭載された複数の車載機器のうち、前記車両を走行させるために必要な第1車載機器の制御を含む第1サービスを提供し、前記第1ユーザの発話に応じて、前記第1車載機器の制御を含まない第2サービスを提供し、前記車両の外部に存在する第2ユーザによって発話された第1コマンドであって、前記車両の外部から前記第1車載機器を遠隔制御することを指示する前記第1コマンドが前記通信部によって受信された場合、前記第1サービスとして、前記第1コマンドに基づいて前記第1車載機器を制御する車両制御方法である。

0016

(10)本発明の他の態様は、車両の外部装置と通信する通信部を備えるコンピュータに、前記車両の室内に存在する第1ユーザの発話に応じて、前記車両に搭載された複数の車載機器のうち、前記車両を走行させるために必要な第1車載機器の制御を含む第1サービスを提供する処理と、前記第1ユーザの発話に応じて、前記第1車載機器の制御を含まない第2サービスを提供する処理と、前記車両の外部に存在する第2ユーザによって発話された第1コマンドであって、前記車両の外部から前記第1車載機器を遠隔制御することを指示する前記第1コマンドが前記通信部によって受信された場合、前記第1サービスとして、前記第1コマンドに基づいて前記第1車載機器を制御する処理と、を実行させるためのプログラムである。

発明の効果

0017

上記のいずれかの態様によれば、利用者をより満足させることができる。

図面の簡単な説明

0018

第1実施形態に係る車両制御システム1の構成図である。
第1実施形態に係る車内エージェント装置100の構成と、車両Mに搭載された機器との一例を示す図である。
表示・操作装置20の配置例を示す図である。
スピーカユニット30の配置例を示す図である。
音像定位する位置が定まる原理について説明するための図である。
第1実施形態に係る車外エージェント装置400の構成の一例を示す図である。
エージェントサーバ200の構成と、車内エージェント装置100の構成の一部とを示す図である。
第1実施形態に係る車両制御システム1の一連の処理の流れを示すシーケンス図である。
第1実施形態に係る車外エージェント装置400による一連の処理の流れを示すフローチャートである。
第1実施形態に係る第2エージェントサーバ200−2による一連の処理の流れを示すフローチャートである。
第1実施形態に係る第1エージェントサーバ200−1による一連の処理の流れを示すフローチャートである。
第1実施形態に係る車内エージェント装置100による一連の処理の流れを示すフローチャートである。
第1実施形態に係る車内エージェント装置100の構成の他の例を示す図である。
第1実施形態に係る車外エージェント装置400の構成の他の例を示す図である。
第2実施形態に係る車両制御システム1の一連の処理の流れを示すシーケンス図である。

実施例

0019

以下、図面を参照し、本発明の車両制御システム、エージェント装置、車両制御方法、及びプログラムの実施形態について説明する。

0020

<第1実施形態>

0021

エージェント装置は、車両制御システムの一部または全部を実現する装置である。エージェント装置は、典型的には、車両Mに搭載される。また、エージェント装置は、建物BL内に据え置かれてもよい。以下、車両Mに搭載されるエージェント装置を、「車内エージェント装置」と称し、建物BLに据え置かれるエージェント装置を、「車外エージェント装置」と称して説明する。車外エージェント装置は、例えば、スマートスピーカのような据え置き型の装置であってもよいし、携帯電話のようなユーザが携行可能な端末装置であってもよい。

0022

車内エージェント装置または車外エージェント装置は、複数種類のエージェント機能を備える。例えば、エージェント機能は、ユーザと対話をしながら、ユーザの発話の中に含まれる要求(コマンド)に基づく各種の情報提供を行ったり、ネットワークサービス仲介したりする機能である。特に、車内エージェント装置が備えるエージェント機能の中には、車両Mに搭載された車載機器(例えば運転制御車体制御に関わる機器)の制御等を行う機能を有する機能が含まれる。

0023

エージェント機能は、例えば、乗員の音声を認識する音声認識機能(音声をテキスト化する機能)に加え、自然言語処理機能(テキストの構造や意味を理解する機能)、対話管理機能、ネットワークを介して他装置を検索し、或いは自装置が保有する所定のデータベースを検索するネットワーク検索機能等を統合的に利用して実現される。これらの機能の一部または全部は、AI(Artificial Intelligence)技術によって実現されてよい。また、これらの機能を行うための構成の一部(特に、音声認識機能や自然言語処理機能)は、エージェントサーバ(外部装置)に搭載されてもよい。エージェントサーバは、例えば、車両Mに搭載された通信装置や車両M内に持ち込まれた汎用通信装置と通信したり、建物BLに設置された通信装置や建物BL内に持ち込まれた汎用通信装置と通信したりする。以下の説明では、構成の一部がエージェントサーバに搭載されており、エージェント装置とエージェントサーバが協働して車両制御システムを実現することを前提とする。また、エージェント装置とエージェントサーバが協働して仮想的に出現させるサービス提供主体(サービス・エンティティ)をエージェントAGと称する。エージェントAGは、音声アシスタントなどとも呼ばれる。

0024

<システムの全体構成>
図1は、第1実施形態に係る車両制御システム1の構成図である。車両制御システム1は、例えば、車内エージェント装置100と、複数のエージェントサーバ200−1、200−2、200−3、…と、車外エージェント装置400とを備える。符号の末尾ハイフン以下の数字は、エージェントAGを区別するための識別子であるものとする。いずれのエージェントサーバであるのかを区別しない場合、エージェントサーバ200と総称する場合がある。図1では3つのエージェントサーバ200を示しているが、エージェントサーバ200の数は2つであってもよいし、4つ以上であってもよい。以下、符号「200−1」が付されるエージェントサーバを、「第1エージェントサーバ」と称し、符号「200−2」が付されるエージェントサーバを、「第2エージェントサーバ」と称し、符号「200−3」が付されるエージェントサーバを、「第3エージェントサーバ」と称して説明する。これらのエージェントサーバ200は、互いに異なる事業者によって運営される。例えば、自動車メーカーネットワークサービス事業者電子商取引事業者携帯端末販売者などが、それぞれのエージェントサーバ200を運営および管理してよい。この場合、車内エージェント装置100または車外エージェント装置400によって提供されるエージェントAGは、互いに異なる事業者により実現される。車内エージェント装置100は「第1エージェント装置」の一例であり、車外エージェント装置400は「第2エージェント装置」の一例であり、第1エージェントサーバ200−1は「第1サーバ」の一例であり、第2エージェントサーバ200−2は「第2サーバ」の一例である。

0025

車両制御システム1に含まれる各装置はネットワークNWを介して接続される。ネットワークNWは、例えば、インターネットセルラー網、Wi−Fi網、WAN(Wide Area Network)、LAN(Local Area Network)、公衆回線電話回線無線基地局などのうち一部または全部を含む。ネットワークNWには、各種ウェブサーバ300が接続されており、エージェントサーバ200、車内エージェント装置100、または車外エージェント装置400は、ネットワークNWを介して各種ウェブサーバ300からウェブページやWebAPI(Application Programming Interface)経由で各種情報を取得することができる。

0026

第1エージェントサーバ200−1は、例えば、自動車メーカーによって運営および管理されるサーバである。例えば、第1エージェントサーバ200−1は、ネットワークNWを介して、他のエージェントサーバ200と通信したり、車内エージェント装置100と通信したりする。第1エージェントサーバ200−1は、例えば、車内エージェント装置100に、自動車メーカー独自のエージェント(以下、第1エージェントAG1と称する)をサービスとして提供させる。第1エージェントAG1を用いたサービスは、「第1サービス」の一例である。

0027

第2エージェントサーバ200−2は、例えば、ショッピングサイトなどを提供するネットワークサービス事業者によって運営および管理されるサーバである。例えば、第2エージェントサーバ200−2は、ネットワークNWを介して、他のエージェントサーバ200と通信したり、車内エージェント装置100や車外エージェント装置400と通信したりする。第2エージェントサーバ200−2は、例えば、車内エージェント装置100や車外エージェント装置400に、ネットワークサービス事業者独自のエージェント(以下、第2エージェントAG2と称する)をサービスとして提供させる。第2エージェントAG2を用いたサービスは、「第2サービス」の一例である。

0028

第3エージェントサーバ200−3は、種々の事業者によって運営および管理されるサーバである。例えば、第3エージェントサーバ200−3は、ネットワークNWを介して、他のエージェントサーバ200と通信したり、車内エージェント装置100や車外エージェント装置400と通信したりする。第3エージェントサーバ200−3は、例えば、車内エージェント装置100や車外エージェント装置400に、第3エージェントAG3をサービスとして提供させる。

0029

車内エージェント装置100は、車両Mに乗車したユーザと対話を行い、ユーザから得られた質問などをエージェントサーバ200に送信し、エージェントサーバ200から得られた回答を、音声として出力したり、画像として表示したりする。

0030

車外エージェント装置400は、建物BLに居るユーザと対話を行い、ユーザから得られた質問などをエージェントサーバ200に送信し、エージェントサーバ200から得られた回答を、音声として出力したり、画像として表示したりする。

0031

[車両の構成]
図2は、第1実施形態に係る車内エージェント装置100の構成と、車両Mに搭載された機器との一例を示す図である。車両Mには、例えば、一以上のマイクロフォン(以下、マイクと称する)10と、表示・操作装置20と、スピーカユニット30と、ナビゲーション装置40と、車両機器50と、車載通信装置60と、乗員認識装置80と、車内エージェント装置100とが搭載される。また、スマートフォンなどの汎用通信装置70が車室内に持ち込まれ、通信装置として使用される場合がある。これらの装置は、CAN(Controller Area Network)通信線等の多重通信線シリアル通信線無線通信網等によって互いに接続される。なお、図2に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。

0032

マイク10は、車両Mの室内の音声を収音する音声入力装置である。マイク10は、車内のユーザの発話音声やその他の環境音を含む音声データ(音響データともいう)を車内エージェント装置100に出力する。

0033

表示・操作装置20は、画像を表示すると共に、入力操作を受付可能な装置(或いは装置群)である。表示・操作装置20は、例えば、タッチパネルとして構成されたディスプレイ装置を含む。表示・操作装置20は、更に、HUD(Head Up Display)や機械式入力装置を含んでもよい。スピーカユニット30は、例えば、車室内の互いに異なる位置に配設された複数のスピーカを含む。表示・操作装置20及びスピーカユニット30は、車内エージェント装置100とナビゲーション装置40とで共用されてもよい。これらの詳細については後述する。

0034

ナビゲーション装置40は、ナビMI(Human machine Interface)と、GPS(Global Positioning System)などの位置測位装置と、地図情報を記憶した記憶装置と、経路探索などを行う制御装置ナビゲーションコントローラ)とを備える。マイク10、表示・操作装置20、およびスピーカユニット30のうち一部または全部がナビHMIとして用いられてもよい。ナビゲーション装置40は、位置測位装置によって特定された車両Mの位置から、乗員によって入力された目的地まで移動するための経路ナビ経路)を探索し、経路に沿って車両Mが走行できるように、ナビHMIを用いて案内情報を出力する。経路探索機能は、ネットワークNWを介してアクセス可能ナビゲーションサーバにあってもよい。この場合、ナビゲーション装置40は、ナビゲーションサーバから経路を取得して案内情報を出力する。なお、車内エージェント装置100は、ナビゲーションコントローラを基盤として構築されてもよく、この場合、ナビゲーションコントローラと車内エージェント装置100は、一つのハードウェア上で一体に構成される。

0036

アクセサリー電源は、例えば、ナビゲーション装置40やオーディオ装置、ドライブレコーダ、セットトップボックスといった、車両Mを走行させるのに必ずしも稼働している必要のない車載機器に対して電力を供給する二次電池である。

0037

イグニッション電源は、例えば、始動モータや走行モータといった車両Mを走行させるために必要な車載機器に対して電力を供給する二次電池である。また、車両Mがエンジンなどを動力源とした車両である場合、イグニッション電源は、そのエンジンの回転を利用して発電するオルタネータであってもよい。イグニッション電源は、始動モータや走行モータの他に、空調装置やパワーウィンドウといった比較的消費電力の大きい車載機器に対して電力を供給してよい。イグニッション電源や、始動モータ、走行モータは、「第1車載機器」の一例である。ナビゲーション装置40や空調装置、オーディオ装置、ドライブレコーダ、セットトップボックス、アクセサリー電源などは、「第2車載機器」の一例である。

0038

常時電源は、例えば、ドアロック装置、ドア開閉装置、車内エージェント装置100などに電力を供給する二次電池である。

0039

なお、上述した各種電源に対する車載機器の対応付けはあくまでも一例であり、どの電源の電力を利用して、どの機器を稼働させるのかは、自動車メーカなどが任意に変更してよい。例えば、空調装置やワイパーなどは、アクセサリー電源から電力の供給を受けてもよいし、ナビゲーション装置40やオーディオ装置などは、イグニッション電源から電力の供給を受けてもよい。

0040

車載通信装置60は、例えば、セルラー網やWi−Fi網を利用してネットワークNWにアクセス可能な無線通信装置である。

0041

乗員認識装置80は、例えば、着座センサ車室内カメラ画像認識装置などを含む。着座センサは座席の下部に設けられた圧力センサシートベルトに取り付けられた張力センサなどを含む。車室内カメラは、車室内に設けられたCCD(Charge Coupled Device)カメラやCMOS(Complementary Metal Oxide Semiconductor)カメラである。画像認識装置は、車室内カメラの画像を解析し、座席ごとの乗員の有無、顔向きなどを認識する。本実施形態において、乗員認識装置80は、着座位置認識部の一例である。

0042

図3は、表示・操作装置20の配置例を示す図である。表示・操作装置20は、例えば、第1ディスプレイ22と、第2ディスプレイ24と、操作スイッチアッセンブリ26とを含む。表示・操作装置20は、更に、HUD28を含んでもよい。

0043

車両Mには、例えば、ステアリングホイールSWが設けられた運転席DSと、運転席DSに対して車幅方向(図中Y方向)に並べられた助手席ASとが存在する。第1ディスプレイ22は、インストルメントパネルにおける運転席DSと助手席ASとの中間辺りから、助手席ASの左端部に対向する位置まで延在する横長形状のディスプレイ装置である。第2ディスプレイ24は、運転席DSと助手席ASとの車幅方向に関する中間あたり、且つ第1ディスプレイの下方に設置されている。例えば、第1ディスプレイ22と第2ディスプレイ24は、共にタッチパネルとして構成され、表示部としてLCD(Liquid Crystal Display)や有機EL(Electroluminescence)、プラズマディスプレイなどを備えるものである。操作スイッチアッセンブリ26は、ダイヤルスイッチボタン式スイッチなどの部品が一つに集積されたものである。表示・操作装置20は、乗員の操作内容を示す信号を車内エージェント装置100に出力する。第1ディスプレイ22または第2ディスプレイ24に表示される情報は、車内エージェント装置100によって決定されてよい。

0044

図4は、スピーカユニット30の配置例を示す図である。スピーカユニット30は、例えば、スピーカ30A〜30Hを含む。スピーカ30Aは、運転席DS側の窓柱(いわゆるAピラー)に設置されている。スピーカ30Bは、運転席DSに近いドアの下部に設置されている。スピーカ30Cは、助手席AS側の窓柱に設置されている。スピーカ30Dは、助手席ASに近いドアの下部に設置されている。スピーカ30Eは、右側後部座席BS1側に近いドアの下部に設置されている。スピーカ30Fは、左側後部座席BS2側に近いドアの下部に設置されている。スピーカ30Gは、第2ディスプレイ24の近傍に設置されている。スピーカ30Hは、車室の天井ルーフ)に設置されている。

0045

係る配置において、例えば、専らスピーカ30Aおよび30Bに音を出力させた場合、音像は運転席DS付近に定位することになる。また、専らスピーカ30Cおよび30Dに音を出力させた場合、音像は助手席AS付近に定位することになる。また、専らスピーカ30Eに音を出力させた場合、音像は右側後部座席BS1付近に定位することになる。また、専らスピーカ30Fに音を出力させた場合、音像は左側後部座席BS2付近に定位することになる。また、専らスピーカ30Gに音を出力させた場合、音像は車室の前方付近に定位することになり、専らスピーカ30Hに音を出力させた場合、音像は車室の上方付近に定位することになる。これに限らず、スピーカユニット30は、ミキサーアンプを用いて各スピーカの出力する音の配分を調整することで、車室内の任意の位置に音像を定位させることができる。

0046

[車内エージェント装置]
図2戻り、車内エージェント装置100は、管理部110と、第1エージェント機能部150−1と、第2エージェント機能部150−2と、第3エージェント機能部150−3と、ペアリングアプリ実行部152と、記憶部160とを備える。管理部110は、例えば、音響処理部112と、エージェントごとWU(Wake Up)判定部114と、表示制御部116と、音声制御部118とを備える。第1エージェント機能部150−1、第2エージェント機能部150−2、および第3エージェント機能部150−3のうち、いずれかのエージェント機能部であるのか区別しない場合、単にエージェント機能部150と称する。3つのエージェント機能部150を示しているのは、図1におけるエージェントサーバ200の数に対応させた一例に過ぎず、エージェント機能部150の数は、2つであってもよいし、4つ以上であってもよい。図2に示すソフトウェア配置は説明のために簡易に示しており、実際には、例えば、エージェント機能部150と車載通信装置60の間に管理部110が介在してもよいように、任意に改変することができる。

0047

車内エージェント装置100の各構成要素は、例えば、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)などのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific IntegratedCircuit)、FPGA(Field-Programmable Gate Array)などのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め記憶部160に格納されていてもよいし、DVDやCD−ROMなどの着脱可能な記憶媒体(非一過性の記憶媒体)に格納されており、その記憶媒体がドライブ装置に装着されることで記憶部160にインストールされてもよい。

0048

記憶部160は、HDD(Hard Disk Drive)、フラッシュメモリ、EEPROM(Electrically Erasable Programmable Read Only Memory)、ROM(Read Only Memory)、またはRAM(Random Access Memory)等により実現される。記憶部160には、例えば、プロセッサによって参照されるプログラムなどが格納される。記憶部160は、「第1記憶部」の一例である。

0049

管理部110は、例えば、OS(Operating System)やミドルウェアなどのプログラムがプロセッサによって実行されることで機能する。

0050

管理部110の音響処理部112は、ウエイクアップワードが認識しやすくなるように、マイク10から入力された音に対して、ノイズ除去などの音響処理を行う。ウエイクアップワードとは、提供可能な複数のエージェントAGの中から、起動すべきエージェントAGを呼び出すワード或いはフレーズである。

0051

エージェントごとWU判定部114は、音響処理部112によって音響処理が行われた音声が、第1エージェント機能部150−1に対応した第1エージェントAG1のウェイクアップワードであるのか、第2エージェント機能部150−2に対応した第2エージェントAG2のウェイクアップワードであるのか、或いは第3エージェント機能部150−3に対応した第3エージェントAG3のウェイクアップワードであるのかを判定する。

0052

例えば、エージェントごとWU判定部114は、音響処理が行われた音声信号(以下、音声ストリーム)から音声の意味を認識する。まず、エージェントごとWU判定部114は、音声ストリームにおける音声波形振幅零交差に基づいて、ユーザが発話した音声区間を検出する。エージェントごとWU判定部114は、混合ガウス分布モデルGMM;Gaussian mixture model)に基づくフレーム単位音声識別および非音声識別に基づく区間検出を行ってよい。

0053

次に、エージェントごとWU判定部114は、検出した音声区間における音声をテキストに変換する。そして、エージェントごとWU判定部114は、テキストがウエイクアップワードに該当するか否かを判定する。ウエイクアップワードであると判定した場合、エージェントごとWU判定部114は、対応するエージェント機能部150を起動させる。なお、エージェントごとWU判定部114に相当する機能がエージェントサーバ200に搭載されてもよい。この場合、例えば、管理部110は、音響処理部112によって音響処理が行われた音声ストリームをエージェントサーバ200に送信し、エージェントサーバ200がウエイクアップワードであると判定した場合、エージェントサーバ200からの指示に従ってエージェント機能部150が起動する。なお、各エージェント機能部150は、常時起動しており且つウエイクアップワードの判定を自ら行うものであってよい。この場合、管理部110がエージェントごとWU判定部114を備える必要はない。

0054

エージェント機能部150は、対応するエージェントサーバ200と協働して、音声による応答を含むサービスをエージェントAGとして乗員に提供する。例えば、第1エージェント機能部150−1は、車載通信装置60を介して第1エージェントサーバ200−1と通信し、第1エージェントAG1を乗員に提供する。また、第2エージェント機能部150−2は、車載通信装置60を介して第2エージェントサーバ200−2と通信し、第2エージェントAG2を乗員に提供する。また、第3エージェント機能部150−3は、ペアリングアプリ実行部152を介して汎用通信装置70と連携することで、第3エージェントサーバ200−3と通信し、第3エージェントAG3を乗員に提供する。

0055

これらのエージェント機能部150には、法律や条例、エージェントAGを提供する事業者同士の契約などに応じて、車載機器を制御する権限割り振られる。例えば、第1エージェント機能部150−1には、ナビゲーション装置40および車両機器50を制御する権限が付与され、第2エージェント機能部150−2および第3エージェント機能部150−3には、ナビゲーション装置40および車両機器50を制御する権限が付与されない。すなわち、第1エージェント機能部150−1は、少なくともナビゲーション装置40および車両機器50の制御を含むサービスを第1エージェントAG1として提供し、第2エージェント機能部150−2および第3エージェント機能部150−3は、少なくともナビゲーション装置40および車両機器50の制御を含まないサービスを第2エージェントAG2や第3エージェントAG3として提供する。

0056

また、第2エージェント機能部150−2および第3エージェント機能部150−3には、ナビゲーション装置40および車両機器50に含まれる一部の車載機器を制御する権限が付与されてもよい。例えば、ナビゲーション装置40やオーディオ装置、ドライブレコーダ、セットトップボックスといったアクセサリー電源の電力を利用して稼働する車載機器の制御権については、第2エージェント機能部150−2および第3エージェント機能部150−3に付与されてもよい。以下、一例として、第2エージェント機能部150−2および第3エージェント機能部150−3に対して、一部の車載機器の制御権が付与されるものとして説明する。

0057

ペアリングアプリ実行部152は、例えば、Bluetooth(登録商標)によって汎用通信装置70とペアリングを行い、第3エージェント機能部150−3と汎用通信装置70とを接続させる。なお、第3エージェント機能部150−3は、USB(Universal Serial Bus)などを利用した有線通信によって汎用通信装置70に接続されるようにしてもよい。

0058

表示制御部116は、エージェント機能部150からの指示に応じて第1ディスプレイ22または第2ディスプレイ24に画像を表示させる。以下では、表示制御部116は、一例として、第1ディスプレイ22を使用するものとする。表示制御部116は、一部のエージェント機能部150の制御により、例えば、車室内で乗員とのコミュニケーションを行う擬人化されたエージェントの画像(以下、エージェント画像と称する)を生成し、生成したエージェント画像を第1ディスプレイ22に表示させる。エージェント画像は、例えば、乗員に対して話しかける態様の画像である。エージェント画像は、例えば、少なくとも観者(乗員)によって表情や顔向きが認識される程度の顔画像を含んでよい。例えば、エージェント画像は、顔領域の中に目やに擬したパーツが表されており、顔領域の中のパーツの位置に基づいて表情や顔向きが認識されるものであってよい。また、エージェント画像は、観者によって、立体的感じられ、三次元空間における頭部画像を含むことでエージェントの顔向きが認識される画像である。エージェント画像は、エージェントの動作や振る舞い、姿勢等が認識され本体(胴体手足)の画像を含むものであってもよい。また、エージェント画像は、アニメーション画像であってもよい。

0059

音声制御部118は、エージェント機能部150からの指示に応じて、スピーカユニット30に含まれる複数のスピーカのうち一部または全部に音声を出力させる。音声制御部118は、スピーカユニット30を用いて、エージェント画像の表示位置に対応する位置にエージェント音声の音像を定位させる制御を行ってもよい。エージェント画像の表示位置に対応する位置とは、例えば、エージェント画像がエージェント音声を喋っていると乗員が感じると予測される位置であり、具体的には、エージェント画像の表示位置付近(例えば、2〜3[cm]以内)の位置である。また、音像が定位するとは、例えば、乗員の左右のに伝達される音の大きさが調節されることにより、乗員が感じる音源の空間的な位置が定められることである。

0060

図5は、音像が定位する位置が定まる原理について説明するための図である。図5では、説明を簡略化するために、上述したスピーカ30B、30D、および30Gを用いる例を示しているが、スピーカユニット30に含まれる任意のスピーカが使用されてよい。音声制御部118は、各スピーカに接続されたアンプ(AMP)32およびミキサー34を制御して音像を定位させる。例えば、図5に示す空間位置MP1に音像を定位させる場合、音声制御部118は、アンプ32およびミキサー34を制御することにより、スピーカ30Bに最大強度の5%の出力を行わせ、スピーカ30Dに最大強度の80%の出力を行わせ、スピーカ30Gに最大強度の15%の出力を行わせる。この結果、乗員Pの位置からは、図5に示す空間位置MP1に音像が定位しているように感じることになる。

0061

また、図5に示す空間位置MP2に音像を定位させる場合、音声制御部118は、アンプ32およびミキサー34を制御することにより、スピーカ30Bに最大強度の45%の出力を行わせ、スピーカ30Dに最大強度の45%の出力を行わせ、スピーカ30Gに最大強度の45%の出力を行わせる。この結果、乗員Pの位置からは、図5に示す空間位置MP2に音像が定位しているように感じることになる。このように、車室内に設けられる複数のスピーカとそれぞれのスピーカから出力される音の大きさを調整することで、音像が定位される位置を変化させることができる。なお、より詳細には、音像の定位する位置は、音源が元々保有している音特性や、車室内環境の情報、頭部伝達関数(HRTF;Head-related transfer function)に基づいて定まるため、音声制御部118は、予め官能試験などで得られた最適な出力配分でスピーカユニット30を制御することで、音像を所定の位置に定位させる。

0062

[車外エージェント装置]
図6は、第1実施形態に係る車外エージェント装置400の構成の一例を示す図である。第1実施形態に係る車外エージェント装置400は、例えば、マイク410と、表示・操作装置420と、スピーカ430と、通信装置440と、制御部450と、記憶部470とを備える。図6に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。

0063

マイク410は、建物BL内の音声を収音する音声入力装置である。マイク410は、建物BL内のユーザの発話音声やその他の環境音を含む音声データ(音響データ)を制御部450に出力する。

0064

表示・操作装置420は、制御部450の指示に基づいて画像を表示すると共に、入力操作を受付可能な装置である。表示・操作装置420は、例えば、タッチパネルとして構成されたディスプレイ装置を含む。表示・操作装置420は、更に、HUDや機械式の入力装置を含んでもよい。スピーカ430は、制御部450の指示に基づいて音声を出力する。

0065

通信装置440は、例えば、セルラー網やWi−Fi網を利用してネットワークNWにアクセス可能な無線通信装置である。

0066

制御部450は、例えば、音響処理部452と、表示制御部454と、音声制御部456と、エージェント機能部458とを備える。これらの構成要素は、例えば、CPUやGPUなどのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSIやASIC、FPGAなどのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め記憶部470に格納されていてもよいし、DVDやCD−ROMなどの着脱可能な記憶媒体(非一過性の記憶媒体)に格納されており、その記憶媒体がドライブ装置に装着されることで記憶部470にインストールされてもよい。

0067

記憶部470は、HDD、フラッシュメモリ、EEPROM、ROM、またはRAM等により実現される。記憶部470には、例えば、プロセッサによって参照されるプログラムなどが格納される。

0068

音響処理部452は、ウエイクアップワードが認識しやすくなるように、マイク410から入力された音に対して音響処理を行う。

0069

表示制御部454は、エージェント機能部458の指示に応じて、表示・操作装置420に画像を表示させる。例えば、表示制御部116は、表示・操作装置420にエージェント画像を表示させる。

0070

音声制御部456は、エージェント機能部458の指示に応じて、スピーカ430に音声を出力させる。

0071

エージェント機能部458は、第2エージェントサーバ200−2と協働し、建物BLに居るユーザと対話しながら、ユーザの質問や要求に対して、音声による応答などを行うサービスを第2エージェントAG2として建物BLに居るユーザに提供する。

0072

[エージェントサーバ]
図7は、エージェントサーバ200の構成と、車内エージェント装置100の構成の一部とを示す図である。ここでは、エージェントサーバ200の構成と共にエージェント機能部150等の動作について説明する。車内エージェント装置100からネットワークNWまでの物理的な通信については、説明を省略する。

0073

各エージェントサーバ200は、通信部210を備える。通信部210は、例えばNIC(Network Interface Card)などのネットワークインターフェースである。更に、エージェントサーバ200は、例えば、音声認識部220と、自然言語処理部222と、対話管理部224と、ネットワーク検索部226と、応答文生成部228とを備える。これらの構成要素は、例えば、CPUやGPUなどのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSIやASIC、FPGAなどのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め記憶部250に格納されていてもよいし、DVDやCD−ROMなどの着脱可能な記憶媒体(非一過性の記憶媒体)に格納されており、その記憶媒体がドライブ装置に装着されることで記憶部250にインストールされてもよい。

0074

エージェントサーバ200は、記憶部250を備える。記憶部250は、HDD、フラッシュメモリ、EEPROM、ROM、またはRAM等により実現される。記憶部250には、例えば、プロセッサによって参照されるプログラムの他に、パーソナルプロファイル252、辞書DB(データベース)254、知識ベースDB256、応答規則DB258などのデータやプログラムが格納される。

0075

車内エージェント装置100に含まれる各エージェント機能部150は、圧縮や符号化、暗号化などの処理を行った音声ストリーム、またはこれらの処理を行っていない音声ストリームを、エージェントサーバ200に送信する。例えば、第1エージェント機能部150−1は、音声ストリームを第1エージェントサーバ200−1に送信する。また、第2エージェント機能部150−2は、音声ストリームを第2エージェントサーバ200−2に送信する。また、第3エージェント機能部150−3は、音声ストリームを第1エージェントサーバ200−3に送信する。

0076

これらのエージェント機能部150は、音声ストリームをエージェントサーバ200に送信することに加えて、或いは代えて、音声ストリームに含まれる音声コマンドに基づいて、自らが音声コマンドに応じた処理を行ってもよい。例えば、エージェント機能部150は、音声ストリームからローカル処理(エージェントサーバ200を介さない処理)が可能な音声コマンドを認識した場合、その認識した音声コマンドに応じた処理を行う。ローカル処理が可能な音声コマンドとは、例えば、車内エージェント装置100が備える記憶部160を参照することで回答可能な音声コマンドである。例えば、音声コマンドが第1エージェント機能部150−1によって認識される場合、ローカル処理が可能な音声コマンドは、例えば、車両機器50やナビゲーション装置40の遠隔制御を指示する音声コマンドであってよい。このように、エージェント機能部150は、エージェントサーバ200が備える機能の一部を有してもよい。

0077

また、車外エージェント装置400に含まれるエージェント機能部458は、圧縮や符号化、暗号化などの処理を行った音声ストリーム、またはこれらの処理を行っていない音声ストリームを第2エージェントサーバ200−2に送信したり、ローカル処理可能な音声コマンドに応じた処理を行ったりする。

0078

エージェントサーバ200の音声認識部220は、通信部210によって受信された音声ストリームに対して音声認識を行って、音声ストリームをテキスト化した文字情報を生成する。文字情報は、例えば、発話の内容が文字として記述されたテキストデータであってよい。

0079

例えば、音声認識部220は、音声ストリームを、BiLSTM(Bi-directional Long short-term memory)やアテンション機構などを含むリカレントニューラルネットワークに入力することで、音声信号が低周波数高周波数などの複数の周波数帯に分離され、その各周波数帯の音声信号がフーリエ変換されたスペクトログラムメルスペクトログラム)を得る。リカレントニューラルネットワークは、例えば、学習用の音声信号から生成されたスペクトログラムに対して、その学習用の音声信号が教師ラベルとして対応付けられた教師データを利用することで、予め学習されていてよい。

0080

そして、音声認識部220は、スペクトログラムを、複数の隠れ層を含む畳み込みニューラルネットワークに入力することで、スペクトログラムから文字列を得る。畳み込みニューラルネットワークは、例えば、学習用のスペクトログラムに対して、その学習用のスペクトログラムを生成するのに使われた音声信号に対応する文字列が教師ラベルとして対応付けられた教師データを利用することで、予め学習されていてよい。音声認識部220は、畳み込みニューラルネットワークから得た文字列のテキストデータを、文字情報として生成する。

0081

自然言語処理部222は、辞書DB254を参照しながら、音声認識部220によって生成された文字情報の意味を解釈する。辞書DB254は、文字情報に対して抽象化された意味情報が対応付けられたものである。辞書DB254は、同義語類義語一覧情報を含んでもよい。音声認識と自然言語処理は、段階が明確に分かれるものではなく、自然言語処理部222の処理結果を受けて音声認識部220が認識結果を修正するなど、相互に影響し合って行われてよい。

0082

自然言語処理部222は、例えば、音声認識結果として、「今日の天気は」、「天気はどうですか」等のテキストが認識された場合、ユーザ意図を「天気:今日」に置き換え内部状態を生成する。これにより、リクエストの音声に文字揺らぎ言い回しの違いがあった場合にも要求にあった対話をし易くすることができる。また、自然言語処理部222は、辞書DB254を一つのルールとして利用して意味解釈を行うことに加えて、或いは代えて、例えば、確率を利用した機械学習処理等の人工知能処理を用いて文字情報の意味を認識したり、認識結果に基づくコマンドを生成したりしてもよい。

0083

対話管理部224は、自然言語処理部222によって生成されたコマンドに基づいて、パーソナルプロファイル252や知識ベースDB256、応答規則DB258を参照しながら車両Mの乗員に対する発話の内容を決定する。パーソナルプロファイル252は、乗員ごとに保存されている乗員の個人情報趣味嗜好、過去の対話の履歴などを含む。知識ベースDB256は、物事の関係性を規定した情報である。応答規則DB258は、コマンドに対してエージェントが行うべき動作(回答や機器制御の内容など)を規定した情報である。

0084

また、対話管理部224は、音声ストリームから得られる特徴情報を用いて、パーソナルプロファイル252と照合を行うことで、乗員を特定してもよい。この場合、パーソナルプロファイル252には、例えば、音声の特徴情報に、個人情報が対応付けられている。音声の特徴情報とは、例えば、声の高さ、イントネーションリズム(音の高低パターン)等の喋り方の特徴や、メル周波数ケプストラム係数(Mel Frequency Cepstrum Coefficients)等による特徴量に関する情報である。音声の特徴情報は、例えば、乗員の初期登録時に所定の単語や文章等を乗員に発声させ、発声させた音声を認識することで得られる情報である。

0085

対話管理部224は、コマンドが、ネットワークNWを介して検索可能な情報を要求するものである場合、ネットワーク検索部226に検索を行わせる。ネットワーク検索部226は、ネットワークNWを介して各種ウェブサーバ300にアクセスし、所望の情報を取得する。「ネットワークNWを介して検索可能な情報」とは、例えば、車両Mの周辺にあるレストラン一般ユーザによる評価結果であったり、その日の車両Mの位置に応じた天気予報であったりする。

0086

応答文生成部228は、対話管理部224により決定された発話の内容が車両Mの乗員に伝わるように応答文を生成し、生成した応答文を、音声ストリームの送信元である車内エージェント装置100に送信する。応答文には、例えば、発音記号が含まれていてもよいし、合成したい音声をテキストに置き換えた文字列が含まれていてもよい。応答文生成部228は、乗員がパーソナルプロファイルに登録された乗員であることが特定されている場合に、乗員の名前を呼んだり、乗員の話し方に合わせた話し方にした応答文を生成したりしてもよい。

0087

車内エージェント装置100のエージェント機能部150、または車外エージェント装置400のエージェント機能部458は、エージェントサーバ200から応答文を取得すると、その応答文に基づいて人工的な音声を合成する。例えば、エージェント機能部150またはエージェント機能部458は、波形接続型音声合成(Concatenative synthesis)と、フォルマント合成(Formant synthesis)とを行って、応答文に含まれる発音記号を読み上げる音声を合成する。また、エージェント機能部150またはエージェント機能部458は、応答文に発音記号が含まれず、音声として合成すべき文字列が含まれる場合、その文字列を発音記号に変換し、変換した発音記号を読み上げる音声を合成してよい。また、エージェント機能部150またはエージェント機能部458は、予め決められた複数のフレーズのそれぞれに対して音声が対応付けられている場合、それらの音声を組み合わせることで音声を合成してもよい。

0088

エージェント機能部150は、合成した音声を出力するように音声制御部118に指示する。また、エージェント機能部150は、音声出力に合わせてエージェントの画像を表示するように表示制御部116に指示してよい。同様に、エージェント機能部458は、合成した音声を出力するように音声制御部456に指示したり、音声出力に合わせてエージェントの画像を表示するように表示制御部454に指示したりしてよい。このようにして、質問や要求などに対して応答する仮想的なエージェントAGが車両Mの乗員に提供される。

0089

[車両制御システムのシーケンス]
以下、第1実施形態に係る車両制御システム1の一連の処理の流れをシーケンス図を用いて説明する。図8は、第1実施形態に係る車両制御システム1の一連の処理の流れを示すシーケンス図である。

0090

まず、車外エージェント装置400の音響処理部452は、マイク410に対して入力された音声に対して音響処理を行う(ステップS100)。エージェント機能部458は、音響処理部452によって音響処理された音声が、第2エージェントAG2に対応したウェイクアップワードであるのか否かを判定する(ステップS102)。

0091

エージェント機能部458は、第2エージェントAG2に対応したウェイクアップワードであると判定した場合、そのウェイクアップワードに続いて発話された音声ストリームを、通信装置440を介して第2エージェントサーバ200−2に送信する(ステップS104)。

0092

第2エージェントサーバ200−2は、車外エージェント装置400から音声ストリームを受信すると、音声ストリームに対して音声認識処理および自然言語処理(意味解釈処理を含む)を行う(ステップS106)。例えば、第2エージェントサーバ200−2の自然言語処理部222は、音声認識部220によって音声ストリームから生成された文字情報に対して自然言語処理を行い、音声コマンドの種類を認識する。

0093

例えば、音声コマンドには、イグニッション始動コマンドやアクセサリー始動コマンドが含まれる。イグニッション始動コマンドは、車両機器50に含まれるイグニッション電源を入れる(ONにする)コマンドである。また、イグニッション始動コマンドは、イグニッション電源を入れた後に、走行モータや始動モータを稼働するコマンドであってもよい。アクセサリー始動コマンドは、車両機器50に含まれるアクセサリー電源を入れる(ONにする)コマンドである。また、音声コマンドには、イグニッション電源やアクセサリー電源などから電力が供給される車載装置をどのように制御するのかを指示するアクセサリー制御コマンドが含まれる。イグニッション始動コマンドは、「第1コマンド」の一例である。アクセサリー始動コマンドまたはアクセサリー制御コマンドは、「第2コマンド」の一例である。

0094

例えば、建物BL内にいるユーザが、ガレージなどに駐車した車両Mを遠隔制御するために、車外エージェント装置400に向けて「車両のエンジンをかけて」と発話したとする。この場合、自然言語処理部222は、「車両のエンジンをかけて」という発話内容を含む音声ストリームのテキストから、イグニッション始動コマンドを認識する。また、例えば、建物BL内にいるユーザが車外エージェント装置400に向けて、「車内の暖房をつけて」と発話したとする。この場合、「暖房」は空調装置の機能であることから、ユーザは、車外から「空調装置をONにして」と指示したと見做すことができる。更に、空調装置は、イグニッション電源から電力をとっているため、ユーザは、車外から間接的に「イグニッション電源をONにして」と指示したと見做すことができる。自然言語処理部222は、このような意味解釈をすることで、「車内の暖房をつけて」という発話内容を含む音声ストリームのテキストから、イグニッション始動コマンドを認識するとともに、空調装置に車内を温めさせるという制御内容のアクセサリー制御コマンドを認識する。

0095

また、例えば、建物BL内にいるユーザが車外エージェント装置400に向けて、「ABCDEという映画ダウンロードしておいて」と発話したとする。この場合、「映画のダウンロード」はセットトップボックスの機能であることから、ユーザは、車外から「セットトップボックスをONにして」と指示したと見做すことができる。更に、セットトップボックスは、アクセサリー電源から電力をとっているため、ユーザは、車外から間接的に「アクセサリー電源をONにして」と指示したと見做すことができる。自然言語処理部222は、このような意味解釈をすることで、「ABCDEという映画をダウンロードしておいて」という発話内容を含む音声ストリームのテキストから、アクセサリー始動コマンドを認識するとともに、セットトップボックスに映画をダウンロードさせるという制御内容のアクセサリー制御コマンドを認識する。

0096

自然言語処理部222は、認識した音声コマンドの種類に応じて、音声コマンドの送信先を決定する。例えば、自然言語処理部222は、認識した音声コマンドにアクセサリー始動コマンドまたはアクセサリー制御コマンドの少なくとも一方が含まれている場合、通信部210を介して、そのコマンドを車内エージェント装置100に送信する(ステップS108)。

0097

車載通信装置60が第2エージェントサーバ200−2からアクセサリー始動コマンドを受信せず、単独でアクセサリー制御コマンドを受信した場合、すなわち、イグニッション電源がON状態であることを前提とした車載装置を制御することを指示するアクセサリー制御コマンドが車載通信装置60によって受信された場合、第2エージェント機能部150−2は、イグニッション電源がON状態となるまで、アクセサリー制御コマンドをRAMなどの記憶部160に格納する(ステップS110)。例えば、第2エージェント機能部150−2は、キュー方式で記憶部160にアクセサリー制御コマンドを格納する。

0098

一方、自然言語処理部222は、認識した音声コマンドにイグニッション始動コマンドが含まれている場合、通信部210を介して、そのコマンドを第1エージェントサーバ200−1に送信する(ステップS112)。

0099

第1エージェントサーバ200−1の通信部210が第2エージェントサーバ200−2からイグニッション始動コマンドを受信した場合、第1エージェントサーバ200−1の自然言語処理部222は、そのイグニッション始動コマンドを車内エージェント装置100に転送する(ステップS114)。

0100

車載通信装置60が第1エージェントサーバ200−1からイグニッション始動コマンドを受信した場合、第1エージェント機能部150−1は、イグニッション始動コマンドに従い、第1エージェントAG1によるサービスとして、イグニッション電源をONにすしたり、走行モータや始動モータを稼働させたりする(ステップS116)。

0101

次に、第1エージェント機能部150−1は、イグニッション始動コマンドに応じた車載機器を制御したことを示す情報を第2エージェント機能部150−2に出力する(ステップS118)。これを受けて、第2エージェント機能部150−2は、記憶部160からアクセサリー制御コマンドを読み出し、その読み出したアクセサリー制御コマンドに従い、第2エージェントAG2によるサービスとして、車載機器を制御する(ステップS120)。

0102

これによって、例えば、車内エージェント装置100は、車内を温めることを空調装置に指示するアクセサリー制御コマンドを第2エージェントサーバ200−2から受信した場合、空調装置に電力を供給するイグニッション電源がON状態となるまでの間、そのアクセサリー制御コマンドを記憶部160に格納しておくことができる。そして、車内エージェント装置100は、第1エージェントサーバ200−1からイグニッション始動コマンドを受信し、イグニッション電源をONにすると、記憶部160に格納しておいたアクセサリー制御コマンドに従って、電力が供給されている空調装置を制御して車内の温度を上げることができる。このように、一方のエージェント機能部150の処理を保留にして、他方のエージェント機能部150の処理を優先させることで、エージェントAGの提供元の事業者が互いに異なり、各エージェントAGに割り振られた車載機器の制御権が異なる場合であっても、それらのエージェントAGを組み合わせることで、ユーザの指示に応じて車両Mを遠隔制御することができる。

0103

第2エージェント機能部150−2は、アクセサリー制御コマンドに基づく処理が完了すると、その処理が完了したことを表す完了情報を、車載通信装置60を介して第2エージェントサーバ200−2に送信する(ステップS122)。

0104

第2エージェントサーバ200−2の応答文生成部228は、通信部210によって完了情報が受信されると、アクセサリー制御コマンドによって指示された処理が完了したことを表す応答文を生成する(ステップS124)。例えば、建物BL内のユーザが「車内の暖房をつけて」というアクセサリー制御コマンドを発話した場合、応答文生成部228は、「車内の暖房がつきました」というような応答文を生成する。そして、応答文生成部228は、通信部210を介して、生成した応答文を車外エージェント装置400に送信する(ステップS126)。

0105

次に、車外エージェント装置400のエージェント機能部458は、通信装置440によって応答文が受信されると、その応答文に基づいて合成音声を生成する。これを受けて、音声制御部456は、エージェント機能部458によって生成された合成音声を、スピーカ430に出力させる(ステップS128)。この際、表示制御部454は、表示・操作装置420にエージェント画像を表示させてよい。これによって、本シーケンスの一連の処理が終了する。

0106

[車外エージェント装置の処理フロー
以下、第1実施形態に係る車外エージェント装置400による一連の処理の流れをフローチャートを用いて説明する。図9は、第1実施形態に係る車外エージェント装置400による一連の処理の流れを示すフローチャートである。本フローチャートの処理は、例えば、第2エージェントAG2に対応付けられたウェイクアップワードが発話された場合に所定の周期で繰り返し行われる。

0107

まず、エージェント機能部458は、ユーザがマイク410に向けて発話するまで待機する(ステップS200)。エージェント機能部458は、ユーザがマイク410に向けて発話した場合、通信装置440を介して、マイク410に入力された音声ストリームを第2エージェントサーバ200−2に送信する(ステップS202)。

0108

次に、エージェント機能部458は、通信装置440が第2エージェントサーバ200−2から応答文を受信したか否かを判定し(ステップS204)、通信装置440が応答文を受信した場合、応答文に基づいて合成音声を生成する(ステップS206)。

0109

次に、音声制御部456は、エージェント機能部458によって生成された合成音声を、スピーカ430に出力させる(ステップS208)。これによって本フローチャートの処理が終了する。

0110

[第2エージェントサーバの処理フロー]
以下、第1実施形態に係る第2エージェントサーバ200−2による一連の処理の流れをフローチャートを用いて説明する。図10は、第1実施形態に係る第2エージェントサーバ200−2による一連の処理の流れを示すフローチャートである。本フローチャートの処理は、例えば、通信部210が車外エージェント装置400から音声ストリームを受信した場合に所定の周期で繰り返し行われる。

0111

まず、音声認識部220は、通信部210が受信した音声ストリームに対して音声認識を行い、音声ストリームをテキスト化した文字情報を生成する(ステップS300)。

0112

次に、自然言語処理部222は、辞書DB254を参照しながら、音声認識部220によって生成された文字情報の意味を解釈する(ステップS302)。

0113

次に、自然言語処理部222は、解釈した意味に基づいて音声コマンドを生成する(ステップS304)。

0114

次に、自然言語処理部222は、生成した音声コマンドの中にイグニッション始動コマンドが含まれているか否かを判定する(ステップS308)。

0115

自然言語処理部222は、生成した音声コマンドの中にイグニッション始動コマンドが含まれている場合、通信部210を介して、イグニッション始動コマンドを第1エージェントサーバ200−1に送信する(ステップS310)。

0116

次に、自然言語処理部222は、イグニッション始動コマンドを除く他の音声コマンド(例えば、アクセサリー始動コマンドやアクセサリー制御コマンドなど)を、通信部210を介して車内エージェント装置100に送信する(ステップS312)。

0117

一方、自然言語処理部222は、生成した音声コマンドの中にイグニッション始動コマンドが含まれていない場合、S310の処理を省略してS312の処理に進み、通信部210を介して、生成した音声コマンドを車内エージェント装置100に送信する。

0118

次に、応答文生成部228は、通信部210が完了情報を受信したか否かを判定し(ステップS314)、通信部210が完了情報を受信した場合、音声コマンドによって指示された処理が完了したことを表す応答文を生成する(ステップS316)。

0119

次に、応答文生成部228は、通信部210を介して、生成した応答文を車外エージェント装置400に送信する(ステップS318)。これによって本フローチャートの処理が終了する。

0120

[第1エージェントサーバの処理フロー]
以下、第1実施形態に係る第1エージェントサーバ200−1による一連の処理の流れをフローチャートを用いて説明する。図11は、第1実施形態に係る第1エージェントサーバ200−1による一連の処理の流れを示すフローチャートである。本フローチャートの処理は、例えば、通信部210が第2エージェントサーバ200−2からイグニッション始動コマンドを受信した場合に所定の周期で繰り返し行われる。

0121

まず、第1エージェントサーバ200−1の任意の機能部(例えば自然言語処理部222)は、通信部210によってイグニッション始動コマンドが受信されると、イグニッション始動コマンドを車内エージェント装置100に転送する(ステップS400)。

0122

次に、自然言語処理部222などは、通信部210がイグニッション始動コマンドの処理が完了したことを表す完了情報を受信したか否かを判定し(ステップS402)、通信部210が完了情報を受信した場合、通信部210を介して第2エージェントサーバ200−2に完了情報を転送する(ステップS404)。これによって本フローチャートの処理が終了する。

0123

[車内エージェント装置の処理フロー]
以下、第1実施形態に係る車内エージェント装置100による一連の処理の流れをフローチャートを用いて説明する。図12は、第1実施形態に係る車内エージェント装置100による一連の処理の流れを示すフローチャートである。本フローチャートの処理は、例えば、所定の周期で繰り返し行われる。

0124

まず、第1エージェント機能部150−1は、車載通信装置60によってアクセサリー制御コマンドが単独で受信されたか否かを判定する(ステップS500)。

0125

第1エージェント機能部150−1は、車載通信装置60によってアクセサリー制御コマンドが単独で受信された場合、イグニッション電源がON状態であるか否かを判定する(ステップS502)。

0126

第1エージェント機能部150−1は、イグニッション電源がOFF状態であると判定した場合、アクセサリー制御コマンドを記憶部160に格納する(ステップS504)。

0127

一方、S502の処理において、第1エージェント機能部150−1は、イグニッション電源がON状態であると判定した場合、アクセサリー制御コマンドに基づき、第1エージェントAG1によるサービスとして車載機器を制御する(ステップS506)。

0128

そして、第1エージェント機能部150−1は、アクセサリー制御コマンドに応じた処理が完了したことを表す完了情報を、車載通信装置60を介して第1エージェントサーバ200−1に送信する(ステップS508)。

0129

一方、S500の処理において、車載通信装置60によってアクセサリー制御コマンドが単独で受信されない場合、第2エージェント機能部150−2は、車載通信装置60によってアクセサリー制御コマンドとアクセサリー始動コマンドとが受信されたか否かを判定する(ステップS510)。

0130

第2エージェント機能部150−2は、車載通信装置60によってアクセサリー制御コマンドとアクセサリー始動コマンドとが受信された場合、アクセサリー始動コマンドに基づき、第2エージェントAG2によるサービスとしてアクセサリー電源をONにする(ステップS512)。

0131

次に、第2エージェント機能部150−2は、S506に処理を進め、アクセサリー制御コマンドに基づき、第2エージェントAG2によるサービスとして車載機器を制御する。そして、第2エージェント機能部150−2は、S508に処理を進め、アクセサリー制御コマンドに応じた処理が完了したことを表す完了情報を、車載通信装置60を介して第2エージェントサーバ200−2に送信する。

0132

一方、S510の処理において、車載通信装置60によってアクセサリー制御コマンドとアクセサリー始動コマンドとが受信されない場合、第1エージェント機能部150−1は、車載通信装置60によってイグニッション始動コマンドが受信されたか否かを判定する(ステップS514)。

0133

車載通信装置60によってイグニッション始動コマンドが受信されない場合、第1エージェント機能部150−1は、S500に処理を戻す。

0134

一方、車載通信装置60によってイグニッション始動コマンドが受信された場合、第1エージェント機能部150−1は、イグニッション始動コマンドに基づき、第1エージェントAG1によるサービスとしてイグニッション電源をONにしたり、走行モータや始動モータを稼働させたりする(ステップS516)。

0135

次に、第1エージェント機能部150−1は、記憶部160を参照し、実行待ちのアクセサリー制御コマンドが記憶部160に格納されているか否かを判定する(ステップS518)。

0136

実行待ちのアクセサリー制御コマンドが記憶部160に格納されていない場合、第1エージェント機能部150−1は、S508に処理を進め、イグニッション始動コマンドに応じた処理が完了したことを表す完了情報を、車載通信装置60を介して第1エージェントサーバ200−1に送信する。

0137

一方、実行待ちのアクセサリー制御コマンドが記憶部160に格納されていた場合、第1エージェント機能部150−1は、記憶部160からアクセサリー制御コマンドを読み出す(ステップS520)。そして、第1エージェント機能部150−1は、S506に処理を進め、読み出したアクセサリー制御コマンドに基づき、第1エージェントAG1によるサービスとして車載機器を制御する。これによって本フローチャートの処理が終了する。

0138

以上説明した第1実施形態によれば、車両制御システム1が、車内エージェント装置100(第1エージェント装置の一例)と、車外エージェント装置400(第2エージェント装置の一例)と、第1エージェントサーバ200−1(第1サーバの一例)と、第2エージェントサーバ200−2(第2サーバの一例)とを備える。車内エージェント装置100は、マイクロフォン10によって取得されたユーザの発話に応じて、車両Mに搭載された複数の車載機器のうち、イグニッション電源や始動モータ、走行モータ(第1車載機器の一例)を制御することを含むサービスを、第1エージェントAG1によるサービス(第1サービスの一例)として提供する。車外エージェント装置400は、マイクロフォン410によって取得されたユーザの発話に応じて、少なくともイグニッション電源や始動モータ、走行モータの制御を含まないサービスを、第2エージェントAG2によるサービス(第2サービスの一例)として提供する。第1エージェントサーバ200−1は、車内エージェント装置100および他のエージェントサーバ200と通信する。第2エージェントサーバ200−2は、車内エージェント装置100、車外エージェント装置400および他のエージェントサーバ200と通信する。車外エージェント装置400は、マイクロフォン410によって取得されたユーザの発話が、イグニッション始動コマンド(第1コマンドの一例)である場合、第2エージェントサーバ200−2および第1エージェントサーバ200−1を介して、イグニッション始動コマンドを車内エージェント装置100に送信する。車内エージェント装置100は、イグニッション始動コマンドを受信した場合、第1エージェントAG1によるサービスとして、イグニッション始動コマンドに基づきイグニッション電源や始動モータ、走行モータなどの車載機器を制御する。このように、エージェントAGの提供元の事業者が互いに異なり、各エージェントAGに割り振られた車載機器の制御権が異なる場合であっても、それらのエージェントAGを組み合わせることで、ユーザの指示に応じて車両Mを遠隔制御することができる。この結果、ユーザをより満足させることができる。

0139

また、上述した第1実施形態によれば、車内エージェント装置100が備える第2エージェント機能部150−2は、イグニッション始動コマンドに基づきイグニッション電源や始動モータ、走行モータなどの車載機器が第1エージェント機能部150−1によって制御されるよりも前に、車載通信装置60によってアクセサリー始動コマンドやアクセサリー制御コマンドが受信された場合、それらの音声コマンドを記憶部160に一時的に格納する。そして、第2エージェント機能部150−2は、イグニッション始動コマンドに基づきイグニッション電源や始動モータ、走行モータなどの車載機器の制御が完了すると、記憶部160に格納した音声コマンドを読み出し、読み出した音声コマンドに基づいて車載機器を制御する。これによって、付与された制御権を守りながら、ユーザの指示に応じて車両Mを遠隔制御することができる。

0140

<第1実施形態の変形例>
以下、第1実施形態の変形例について説明する。上述した第1実施形態では、車内エージェント装置100および車外エージェント装置400が、音声ストリームをエージェントサーバ200に送信し、エージェントサーバ200が受信した音声ストリームの音声認識を行うものとして説明したがこれに限られない。例えば、車内エージェント装置100または車外エージェント装置400が、音声ストリームの音声認識を行ってよい。

0141

図13は、第1実施形態に係る車内エージェント装置100の構成の他の例を示す図である。図示のように、管理部110は、上述した音響処理部112、エージェントごとWU判定部114、表示制御部116、および音声制御部118に加えて、更に音声認識部120を備える。音声認識部120は、例えば、エージェントごとWU判定部114によってウェイクアップワードが判定された後に、マイク10に対して入力された音声ストリームに対して音声認識を行い、音声ストリームをテキスト化した文字情報を生成する。そして、音声認識部120は、車載通信装置60を介して、生成した文字情報をエージェントサーバ200に送信する。

0142

図14は、第1実施形態に係る車外エージェント装置400の構成の他の例を示す図である。図示のように、制御部450は、上述した音響処理部452、表示制御部454、音声制御部456、およびエージェント機能部458に加えて、更に音声認識部460を備える。音声認識部460は、例えば、マイク410に対して入力された音声ストリームに対して音声認識を行い、音声ストリームをテキスト化した文字情報を生成する。そして、音声認識部460は、通信装置440を介して、生成した文字情報をエージェントサーバ200に送信する。

0143

このように、エージェントサーバ200に送信する前に、音声データをテキストデータに変換することで、データ転送に係る処理時間を短くしたり、処理負荷を軽減したりすることができる。

0144

<第2実施形態>
以下、第2実施形態について説明する。上述した第1実施形態では、第1エージェント機能部150−1に対して、ナビゲーション装置40および車両機器50の全てを制御する権限が付与され、第2エージェント機能部150−2および第3エージェント機能部150−3に対して、ナビゲーション装置40および車両機器50に含まれる一部の車載機器のみを制御する権限が付与されるものとして説明した。これに対して、第2実施形態では、第1エージェント機能部150−1に対して、ナビゲーション装置40および車両機器50の全てを制御する権限が付与され、第2エージェント機能部150−2および第3エージェント機能部150−3に対して、ナビゲーション装置40および車両機器50を制御する権限が付与されない点で上述した第1実施形態と相違する。以下、第1実施形態との相違点を中心に説明し、第1実施形態と共通する点については説明を省略する。なお、第2実施形態の説明において、第1実施形態と同じ部分については同一符号を付して説明する。

0145

以下、第2実施形態に係る車両制御システム1の一連の処理の流れをシーケンス図を用いて説明する。図15は、第2実施形態に係る車両制御システム1の一連の処理の流れを示すシーケンス図である。

0146

まず、車外エージェント装置400の音響処理部452は、マイク410に対して入力された音声に対して音響処理を行う(ステップS600)。エージェント機能部458は、音響処理部452によって音響処理された音声が、第2エージェントAG2に対応したウェイクアップワードであるのか否かを判定する(ステップS602)。

0147

エージェント機能部458は、第2エージェントAG2に対応したウェイクアップワードであると判定した場合、そのウェイクアップワードに続いて発話された音声ストリームを、通信装置440を介して第2エージェントサーバ200−2に送信する(ステップS604)。

0148

第2エージェントサーバ200−2は、車外エージェント装置400から音声ストリームを受信すると、音声ストリームに対して音声認識処理および自然言語処理(意味解釈処理を含む)を行い、音声コマンドを認識する(ステップS606)。

0149

自然言語処理部222は、認識した音声コマンドの種類に依らず、認識した音声コマンドの全てを、通信部210を介して第1エージェントサーバ200−1に送信する(ステップS608)。例えば、自然言語処理部222は、「車内の暖房をつけて」という発話内容を含む音声ストリームのテキストから、イグニッション始動コマンドと、空調装置に車内を温めさせるという制御内容のアクセサリー制御コマンドとを認識した場合、それらの双方の音声コマンドを第1エージェントサーバ200−1に送信する。

0150

第1エージェントサーバ200−1の通信部210が第2エージェントサーバ200−2から音声コマンドを受信した場合、第1エージェントサーバ200−1の自然言語処理部222は、音声コマンドを車内エージェント装置100に転送する(ステップS610)。

0151

車載通信装置60が第1エージェントサーバ200−1から音声コマンドを受信した場合、各エージェント機能部150は、音声コマンドの種類に応じて処理を行う(ステップS612)。

0152

例えば、受信された音声コマンドに、イグニッション始動コマンドおよびアクセサリー制御コマンドが含まれている場合、第1エージェント機能部150−1は、イグニッション始動コマンドに従い、第1エージェントAG1によるサービスとして、イグニッション電源をONにしたり、走行モータや始動モータを稼働させたりした後に、更に、アクセサリー制御コマンドに従い、第1エージェントAG1によるサービスとして、イグニッション電源の電力を利用した車載機器を制御する。

0153

車内エージェント装置100は、音声コマンドに応じた処理が完了すると、完了情報を第1エージェントサーバ200−1に送信する(ステップS614)。

0154

第1エージェントサーバ200−1は、車内エージェント装置100から完了情報を受信すると、受信した完了情報を第2エージェントサーバ200−2に転送する(ステップS616)。なお、車内エージェント装置100は、完了情報を第2エージェントサーバ200−2に直接送信してもよい。

0155

第2エージェントサーバ200−2の応答文生成部228は、通信部210によって完了情報が受信されると、アクセサリー制御コマンドによって指示された処理が完了したことを表す応答文を生成する(ステップS620)。そして、応答文生成部228は、通信部210を介して、生成した応答文を車外エージェント装置400に送信する(ステップS622)。

0156

次に、車外エージェント装置400のエージェント機能部458は、通信装置440によって応答文が受信されると、その応答文に基づいて合成音声を生成する。これを受けて、音声制御部456は、エージェント機能部458によって生成された合成音声を、スピーカ430に出力させる(ステップS622)。この際、表示制御部454は、表示・操作装置420にエージェント画像を表示させてよい。これによって、本シーケンスの一連の処理が終了する。

0157

以上説明した第2実施形態によれば、第1エージェント機能部150−1に対して、ナビゲーション装置40および車両機器50の全てを制御する権限が付与され、第2エージェント機能部150−2および第3エージェント機能部150−3に対して、ナビゲーション装置40および車両機器50を制御する権限が付与されない場合、車外エージェント装置400は、イグニッション始動コマンドとともに、アクセサリー始動コマンドやアクセサリー制御コマンドを、第2エージェントサーバ200−2および第1エージェントサーバ200−1を介して、車内エージェント装置100に送信する。これによって、ユーザの指示に応じて車両Mを遠隔制御することができるため、ユーザをより満足させることができる。

0158

上記説明した実施形態は、以下のように表現することができる。
車両の外部装置と通信する通信部と、
プログラムを記憶したストレージと、
プロセッサと、を備え、
前記プロセッサが前記プログラムを実行することにより、
前記車両の室内に存在する第1ユーザの発話に応じて、前記車両に搭載された複数の車載機器のうち、前記車両を走行させるために必要な第1車載機器の制御を含む第1サービスを提供し、
前記第1ユーザの発話に応じて、前記第1車載機器の制御を含まない第2サービスを提供し、
前記車両の外部に存在する第2ユーザによって発話された第1コマンドであって、前記車両の外部から前記第1車載機器を遠隔制御することを指示する前記第1コマンドが前記通信部によって受信された場合、前記第1サービスとして、前記第1コマンドに基づいて前記第1車載機器を制御する、
ように構成されている、エージェント装置。

0159

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

0160

1…車両制御システム、20…表示・操作装置、30…スピーカユニット、100…車内エージェント装置、110…管理部、112…音響処理部、114…エージェントごとWU判定部、116…表示制御部、118…音声制御部、150…エージェント機能部、160…記憶部、200…エージェントサーバ、210…通信部、220…音声認識部、222…自然言語処理部、224…対話管理部、2226…ネットワーク検索部、228…応答文生成部、250…記憶部、400…車外エージェント装置、410…マイク、420…表示・操作装置、430…スピーカ、440…通信装置、450…制御部、452…音響処理部、454…表示制御部、456…音声制御部、458…エージェント機能部、470…記憶部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 京セラ株式会社の「 電子機器、制御方法、及びプログラム」が 公開されました。( 2020/10/29)

    【課題】操作性を向上させた電子機器、制御方法、及びプログラムを提供する。【解決手段】電子機器1は、自機器に接触されないジェスチャを検出する第1センサ(近接センサ18)と、自機器に接触されるタッチを検出... 詳細

  • パナソニックIPマネジメント株式会社の「 支援方法およびそれを利用した支援システム、支援装置」が 公開されました。( 2020/10/29)

    【課題・解決手段】運転支援装置40は、車両での行動モデルに関する処理を実行する。検出情報入力部52は、車両からの検出情報が入力される。取得部60は、検出情報入力部52に入力された検出情報をもとに、車両... 詳細

  • 株式会社NTTドコモの「 情報処理装置」が 公開されました。( 2020/10/29)

    【課題・解決手段】飛行予定取得部101は、各事業者端末20から送信されてきた飛行予定情報を取得する。割当部106は、取得された飛行予定情報に基づいてドローン30に飛行空域及び飛行許可期間を割り当てる。... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ