図面 (/)

技術 支援方法およびそれを利用した支援システム、支援装置

出願人 パナソニックIPマネジメント株式会社
発明者 江村恒一
出願日 2018年8月7日 (2年6ヶ月経過) 出願番号 2019-539138
公開日 2020年10月29日 (3ヶ月経過) 公開番号 WO2019-044427
状態 未査定
技術分野 学習型計算機 駆動装置の関連制御、車両の運動制御 交通制御システム
主要キーワード 温度調整量 開き度合い 補償度 アシスタントシステム ストップアンドゴー 運転モデル 推定エンジン 自動運転制御装置
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年10月29日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題・解決手段

運転支援装置40は、車両での行動モデルに関する処理を実行する。検出情報入力部52は、車両からの検出情報が入力される。取得部60は、検出情報入力部52に入力された検出情報をもとに、車両の走行困難度、運転者覚醒度、運転者の運転習熟度のうちの少なくとも1つの情報を導出する。決定部62は、取得部60において導出した少なくとも1つの情報をもとに、処理を実行するか否かを決定する。処理部64は、決定部62が処理の実行を決定した場合、行動モデルに関する処理を実行する。処理部64は、決定部62が処理の非実行を決定した場合、行動モデルに関する処理を非実行とする。

概要

背景

車両の運転環境ドライバ運転状況推定し、運転環境や運転状況に応じた運転支援を実行するシステムが検討されている。このようなシステムにおいて、ドライバに応じた運転支援をより的確に行うことが目標とされる。例えば、車両の挙動とドライバの操作を表す検出データが検出され、検出データをもとに車両の運転環境が判定される。また、運転環境の種類毎に用意された推定モデルを記憶しており、検出データに基づいて推定モデルの学習が実行される。さらに、判定された運転環境に応じた推定モデルを用い、検出データに基づいてドライバの運転状況が推定される(例えば、特許文献1参照)。

概要

運転支援装置40は、車両での行動モデルに関する処理を実行する。検出情報入力部52は、車両からの検出情報が入力される。取得部60は、検出情報入力部52に入力された検出情報をもとに、車両の走行困難度、運転者覚醒度、運転者の運転習熟度のうちの少なくとも1つの情報を導出する。決定部62は、取得部60において導出した少なくとも1つの情報をもとに、処理を実行するか否かを決定する。処理部64は、決定部62が処理の実行を決定した場合、行動モデルに関する処理を実行する。処理部64は、決定部62が処理の非実行を決定した場合、行動モデルに関する処理を非実行とする。

目的

本開示はこうした状況に鑑みなされたものであり、その目的は、学習あるいは推定に不適切な状態における学習あるいは推定の実行を抑制する技術を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

行動モデルに関する処理を実行する支援ステムであって、検出情報が入力される検出情報入力部と、前記検出情報入力部に入力された検出情報をもとに、行動モデルの精度に影響を与えうる1つ以上の情報を取得する取得部と、前記取得部において取得した1つ以上の情報をもとに、処理を実行するか否かを決定する決定部と、前記決定部が処理の実行を決定した場合、行動モデルに関する処理を実行する処理部とを備え、前記処理部は、前記決定部が処理の非実行を決定した場合、行動モデルに関する処理を非実行とすることを特徴とする支援システム。

請求項2

本支援システムは、車両での行動モデルに関する処理を実行しており、前記検出情報入力部には、前記車両からの検出情報が入力され、前記取得部は、行動モデルの精度に影響を与えうる1つ以上の情報として、前記車両の走行困難度、運転者覚醒度、運転者の運転習熟度のうちの少なくとも1つの情報を導出することを特徴とする請求項1に記載の支援システム。

請求項3

前記取得部は、前記車両の走行困難度を導出し、前記決定部は、前記取得部において導出した走行困難度がしきい値よりも高ければ、処理の非実行を決定することを特徴とする請求項2に記載の支援システム。

請求項4

前記取得部は、前記運転者の覚醒度を導出し、前記決定部は、前記取得部において導出した覚醒度がしきい値よりも低ければ、処理の非実行を決定することを特徴とする請求項2に記載の支援システム。

請求項5

前記取得部は、前記運転者の運転習熟度を導出し、前記決定部は、前記取得部において導出した運転習熟度がしきい値よりも低ければ、処理の非実行を決定することを特徴とする請求項2に記載の支援システム。

請求項6

前記取得部は、前記車両の走行困難度、前記運転者の覚醒度、前記運転者の運転習熟度のうちの2つ以上の情報を導出し、前記決定部は、前記取得部において導出した2つ以上の情報の組合せをもとに、処理を実行するか否かを決定することを特徴とする請求項2に記載の支援システム。

請求項7

前記取得部は、前記車両の走行困難度、前記運転者の覚醒度を導出し、前記決定部は、走行困難度が第1しきい値以下である場合、覚醒度が第2しきい値よりも低いか、あるいは覚醒度が第3しきい値(第3しきい値>第2しきい値)よりも高ければ、処理の非実行を決定することを特徴とする請求項2に記載の支援システム。

請求項8

前記取得部は、前記車両の走行困難度、前記運転者の覚醒度を導出し、前記決定部は、走行困難度が第1しきい値より高い場合、覚醒度が第4しきい値よりも低ければ、処理の非実行を決定することを特徴とする請求項2に記載の支援システム。

請求項9

前記取得部は、前記運転者の覚醒度、前記運転者の運転習熟度を導出し、前記決定部は、運転習熟度が高くなるほどしきい値を低くするとともに、覚醒度がしきい値よりも低ければ処理の非実行を決定することを特徴とする請求項2に記載の支援システム。

請求項10

前記取得部は、前記車両の走行困難度、前記運転者の運転習熟度を導出し、前記決定部は、運転習熟度が高くなるほどしきい値を高くするとともに、走行困難度がしきい値よりも高ければ処理の非実行を決定することを特徴とする請求項2に記載の支援システム。

請求項11

本支援システムは、発話についての行動モデルに関する処理を実行しており、前記検出情報入力部には、前記発話についての検出情報が入力され、前記取得部は、行動モデルの精度に影響を与えうる1つ以上の情報として、前記発話の内容、前記発話の話者、行動モデルの処理位置のうちの少なくとも1つの情報を取得することを特徴とする請求項1に記載の支援システム。

請求項12

前記取得部は、前記発話の内容を取得し、前記決定部は、前記取得部において取得した発話の内容が予定外であれば、処理の非実行を決定することを特徴とする請求項11に記載の支援システム。

請求項13

前記取得部は、前記発話の話者を認識し、前記決定部は、前記取得部において認識した発話の話者が予定外であれば、処理の非実行を決定することを特徴とする請求項11または12に記載の支援システム。

請求項14

前記取得部は、行動モデルの処理位置を取得し、前記決定部は、前記取得部において取得した行動モデルの処理位置が発話位置からネットワークを介して離れていなければ、処理の非実行を決定することを特徴とする請求項11から13のいずれかに記載の支援システム。

請求項15

本支援システムは、機器に対する行動モデルに関する処理を実行しており、前記検出情報入力部には、前記機器に対する検出情報が入力され、前記取得部は、行動モデルの精度に影響を与えうる1つ以上の情報として、前記機器の操作内容、前記機器の近傍の人の存在、前記機器を操作した人の感情のうちの少なくとも1つの情報を取得することを特徴とする請求項1に記載の支援システム。

請求項16

前記取得部は、前記機器の操作内容を取得し、前記決定部は、前記取得部において取得した機器の操作内容が予定外であれば、処理の非実行を決定することを特徴とする請求項15に記載の支援システム。

請求項17

前記取得部は、前記機器の近傍の人の存在を認識し、前記決定部は、前記取得部において認識した人の存在が不在であれば、処理の非実行を決定することを特徴とする請求項15または16に記載の支援システム。

請求項18

前記取得部は、前記機器を操作した人の感情を取得し、前記決定部は、前記取得部において取得した人の感情が不満足であれば、処理の非実行を決定することを特徴とする請求項15から17のいずれかに記載の支援システム。

請求項19

前記処理部における処理は、行動モデルを学習させる学習処理であり、前記処理部は、入力パラメータによって行動モデルを構築することを特徴とする請求項1から18のいずれかに記載の支援システム。

請求項20

前記処理部における処理は、行動推定する推定処理であり、前記処理部は、入力データを行動モデルに入力するとともに、行動モデルからの出力を行動として取得することを特徴とする請求項1から18のいずれかに記載の支援システム。

請求項21

前記処理部における処理は、行動モデルを学習させる学習処理と、行動を推定する推定処理であり、前記処理部は、学習処理を実行する場合、入力パラメータによって行動モデルを構築し、推定処理を実行する場合、入力データを行動モデルに入力するとともに、行動モデルからの出力を行動として取得することを特徴とする請求項1から18のいずれかに記載の支援システム。

請求項22

行動モデルに関する処理を実行する支援装置であって、検出情報が入力される検出情報入力部と、前記検出情報入力部に入力された検出情報をもとに、行動モデルの精度に影響を与えうる1つ以上の情報を取得する取得部と、前記取得部において取得した1つ以上の情報をもとに、処理を実行するか否かを決定する決定部と、前記決定部が処理の実行を決定した場合、行動モデルに関する処理を実行する処理部とを備え、前記処理部は、前記決定部が処理の非実行を決定した場合、行動モデルに関する処理を非実行とすることを特徴とする支援装置。

請求項23

行動モデルに関する処理を実行する支援方法であって、検出情報が入力されるステップと、入力された検出情報をもとに、行動モデルの精度に影響を与えうる1つ以上の情報を取得するステップと、取得した1つ以上の情報をもとに、処理を実行するか否かを決定するステップと、処理の実行を決定した場合、行動モデルに関する処理を実行するステップと、処理の非実行を決定した場合、行動モデルに関する処理を非実行とするステップと、を備えることを特徴とする支援方法。

技術分野

0001

本開示は、行動モデルに関する処理を実行する支援方法およびそれを利用した支援ステム支援装置に関する。

背景技術

0002

車両の運転環境ドライバ運転状況推定し、運転環境や運転状況に応じた運転支援を実行するシステムが検討されている。このようなシステムにおいて、ドライバに応じた運転支援をより的確に行うことが目標とされる。例えば、車両の挙動とドライバの操作を表す検出データが検出され、検出データをもとに車両の運転環境が判定される。また、運転環境の種類毎に用意された推定モデルを記憶しており、検出データに基づいて推定モデルの学習が実行される。さらに、判定された運転環境に応じた推定モデルを用い、検出データに基づいてドライバの運転状況が推定される(例えば、特許文献1参照)。

先行技術

0003

特開2011−53798号公報

発明が解決しようとする課題

0004

運転環境の種類毎に用意された推定モデルを使用することによって、運転環境の影響を低減した運転状況が推定される。一方、運転者が、例えば眠気により覚醒度の低い状態である場合、運転に適した状態ではないといえる。そのような状態において学習あるいは推定がなされても、学習あるいは推定の精度が低くなる。

0005

本開示はこうした状況に鑑みなされたものであり、その目的は、学習あるいは推定に不適切な状態における学習あるいは推定の実行を抑制する技術を提供することにある。

課題を解決するための手段

0006

上記課題を解決するために、本開示のある態様の支援システムは、行動モデルに関する処理を実行する支援システムであって、検出情報が入力される検出情報入力部と、検出情報入力部に入力された検出情報をもとに、行動モデルの精度に影響を与えうる1つ以上の情報を取得する取得部と、取得部において取得した1つ以上の情報をもとに、処理を実行するか否かを決定する決定部と、決定部が処理の実行を決定した場合、行動モデルに関する処理を実行する処理部とを備える。処理部は、決定部が処理の非実行を決定した場合、行動モデルに関する処理を非実行とする。

0007

本開示の別の態様もまた、支援装置である。この装置は、行動モデルに関する処理を実行する支援装置であって、検出情報が入力される検出情報入力部と、検出情報入力部に入力された検出情報をもとに、行動モデルの精度に影響を与えうる1つ以上の情報を取得する取得部と、取得部において取得した1つ以上の情報をもとに、処理を実行するか否かを決定する決定部と、決定部が処理の実行を決定した場合、行動モデルに関する処理を実行する処理部とを備える。処理部は、決定部が処理の非実行を決定した場合、行動モデルに関する処理を非実行とする。

0008

本開示のさらに別の態様は、支援方法である。この方法は、行動モデルに関する処理を実行する支援方法であって、検出情報が入力されるステップと、入力された検出情報をもとに、行動モデルの精度に影響を与えうる1つ以上の情報を取得するステップと、取得した1つ以上の情報をもとに、処理を実行するか否かを決定するステップと、処理の実行を決定した場合、行動モデルに関する処理を実行するステップと、処理の非実行を決定した場合、行動モデルに関する処理を非実行とするステップと、を備える。

0009

なお、以上の構成要素の任意の組合せ、構成要素の一部、例えば処理部を通信網を介したコンピュータで逐次あるいは一日など所定時間分をまとめて処理する構成、本開示の表現を装置、システム、方法、プログラム、プログラムを記録した記録媒体本装置を搭載した車両などの間で変換したものもまた、本開示の態様として有効である。

発明の効果

0010

本開示によれば、学習あるいは推定に不適切な状態における学習あるいは推定の実行を抑制できる。

図面の簡単な説明

0011

実施の形態1に係る車両の構成を示す図である。
実施の形態1に係る車両の室内を模式的に示す図である。
図3(a)−(b)は、実施の形態1に係る運転支援装置の構成を示す図である。
図4(a)−(c)は、図3(a)−(b)の決定部に記憶されるテーブルの構成を示す図である。
図5(a)−(c)は、図4(a)のテーブルによる処理概要を示す図である。
図6(a)−(d)は、図3(a)−(b)の報知装置に表示される画面を示す図である。
図7(a)−(b)は、図3(a)−(b)の処理部の処理概要を示す図である。
図3(a)−(b)の運転支援装置による処理手順を示すフローチャートである。
図3(a)−(b)の運転支援装置による別の処理手順を示すフローチャートである。
実施の形態2に係る音声エージェントシステムの構成を示す図である。
図11(a)−(b)は、実施の形態2に係る支援システムの構成を示す図である。
図12(a)−(f)は、図10端末装置報知部に表示される画面を示す図である。
実施の形態2に係る音声エージェントシステムの別の構成を示す図である。
図11(a)−(b)の支援システムによる処理手順を示すフローチャートである。
図11(a)−(b)の支援システムによる別の処理手順を示すフローチャートである。
図13の音声エージェントシステムによる処理手順を示すフローチャートである。
実施の形態3に係る遠隔操作システムの構成を示す図である。
図18(a)−(b)は、実施の形態3に係る支援システムの構成を示す図である。
図18(a)−(b)の支援システムによる処理手順を示すフローチャートである。
図18(a)−(b)の支援システムによる別の処理手順を示すフローチャートである。
図18(a)−(b)の支援システムによるさらに別の処理手順を示すフローチャートである。

実施例

0012

(実施の形態1)
本開示を具体的に説明する前に、概要を述べる。本実施の形態は、自動車自動運転に関する。特に、本実施の形態は、車両の運転行動に関する情報を車両の乗員(例えば運転者)との間でやり取りするためのHMI(Human Machine Interface)を制御する装置(以下「運転支援装置」とも呼ぶ。)に関する。また、運転支援装置は、自動運転のために運転行動モデルを学習させること(以下、「学習処理」という)、運転行動モデルをもとに運転行動を推定すること(以下、「推定処理」という)の少なくとも一方を実行する。本開示の処理とは、運転行動の学習および/または推定であり、例えばIVI(In−Vehicle Infotainment)機器の操作などの運転中の運転以外の行動や操作であってもよい。本開示の非実行とは、処理の中止中断であり、中断の場合は、処理を継続してもよい。また、本開示の非実行を決定しなかった場合に、処理が実行されているときに、運転者からの入力によって強制的に中止や中断をしてもよい。

0013

本実施の形態における各種の用語は次のように定義される。「運転行動」は、車両の走行中または停止時の操舵制動などの作動状態、もしくは自動運転制御に係る制御内容を含んでおり、例えば、定速走行加速減速一時停止、停止、車線変更進路変更右左折駐車などである。また、運転行動は、巡航車線維持車速維持)、車線維持、先行車追従、追従時のストップアンドゴー、追越、合流車両への対応、高速道への進入退出を含めた乗換インターチェンジ)、合流工事ゾーンへの対応、緊急車両への対応、割込み車両への対応、右左折専用レーンへの対応、歩行者自転車とのインタラクション、車両以外の障害物回避、標識への対応、右左折・Uターン制約への対応、車線制約への対応、一方通行への対応、交通標識への対応、交差点ラウンドアバウトへの対応などであってもよい。

0014

「運転行動推定エンジン」として、DL(Deep Learning:深層学習)、ML(Machine Learning:機械学習)、フィルタ等のいずれか、あるいはそれらの組合せが使用される。Deep Learningは、例えば、CNN(Convolutional Neural Network:畳み込みニューラルネットワーク)、RNN(Recurrent Neural Network:リカレント・ニューラルネットワーク)である。また、Machine Learningは、例えば、SVM(Support Vector Machine)である。さらに、フィルタは、例えば、協調フィルタリングである。

0015

「運転行動モデル」は、運転行動推定エンジンに応じて一意に定められる。DLの場合の運転行動モデルは学習されたニューラルネットワーク(Neural Network)であり、SVMの場合の運転行動モデルは学習された予測モデルであり、協調フィルタリングの場合の運転行動モデルは走行環境データ運転行動データとを紐付けたデータである。ルールの場合の運転行動モデルは入力と出力とを紐付けたデータである。

0016

このような定義のもと、運転支援装置は、ステアリング舵角ブレーキペダル踏量アクセルペダルの踏量等の運転者の操作に関する検出結果と教師付けデータを使用して学習処理を実行するとともに、検出結果と運転行動モデルを使用して推定処理を実行する。前述のごとく、運転に適した状態ではない場合に、学習あるいは推定がなされると、学習あるいは推定の精度が低くなる。そのため、このような場合には、学習あるいは推定がなされない方が好ましい。

0017

これに対応するために、本実施の形態では、走行困難度、覚醒度、運転習熟度の少なくとも1つを導出し、それをもとに、学習あるいは推定の処理を実行するか否かを決定する。処理の実行を決定した場合は学習あるいは推定を実行するが、処理の非実行を決定した場合は学習あるいは推定を実行しない。以下、本開示の実施の形態について、図面を参照して詳細に説明する。以下に説明する各実施の形態は一例であり、本開示はこれらの実施の形態により限定されない。

0018

図1は、車両100の構成を示し、特に自動運転車両に関する構成を示す。車両100は、自動運転モードで走行可能であり、報知装置2、入力装置4、無線装置8、運転操作部10、検出部20、自動運転制御装置30、運転支援装置40を含む。図1に示す各装置の間は、専用線あるいはCAN(Controller Area Network)等の有線通信で接続されてもよい。また、USB(Universal Serial Bus)、Ethernet(登録商標)、Wi−Fi(登録商標)、Bluetooth(登録商標)等の有線通信または無線通信で接続されてもよい。

0019

報知装置2は、車両100の走行に関する情報を乗員に報知する。報知装置2は、例えば、車内に設置されているカーナビゲーションシステムヘッドアップディスプレイセンタディスプレイである。報知装置2は、ステアリングホイールピラーダッシュボードメータパネル周りなどに設置されているLED(Light Emitting Diode)などの発光体などのような情報を表示する表示部でもよい。また、報知装置2は、情報を音声に変換して乗員に報知するスピーカであってもよいし、あるいは、乗員が感知できる位置(例えば、乗員の座席、ステアリングホイールなど)に設けられる振動体であってもよい。さらに、報知装置2は、これらの組合せであってもよい。

0020

入力装置4は、乗員による操作入力を受けつけるユーザインタフェース装置である。例えば入力装置4は、タッチパネルレバー、ボタン、スイッチ、ジョイスティックボリューム等のコントローラ、非接触でジェスチャーを認識するカメラ等のセンサ、音声を認識するマイク等のセンサや、それらの組合せであり、乗員が入力した自車の自動運転に関する情報を受けつける。また、自動運転と手動運転切りかえるための操作信号を受けつけてもよい。入力装置4は、受けつけた情報を操作信号として運転支援装置40に出力する。

0021

図2は、車両100の室内を模式的に示す。報知装置2は、ヘッドアップディスプレイ(HUD、Head−Up Display)2aであってもよく、センタディスプレイ2bであってもよい。入力装置4は、ステアリング11に設けられた第1操作部4aであってもよく、運転席助手席との間に設けられた第2操作部4bであってもよく、ジェスチャーを認識するカメラ等のセンサである第3操作部4cであってもよい。報知装置2と入力装置4は一体化されてもよく、例えばタッチパネルディスプレイとして実装されてもよい。車両100には、自動運転に関する情報を音声にて乗員へ提示するスピーカ6がさらに設けられてもよい。この場合、運転支援装置40は、自動運転に関する情報を示す画像を報知装置2に表示させ、それとともに、またはそれに代えて、自動運転に関する情報を示す音声をスピーカ6から提示させてもよい。図1に戻る。

0022

無線装置8は、携帯電話通信システム、WMAN(Wireless Metropolitan Area Network)等に対応しており、無線通信を実行する。運転操作部10は、ステアリング11、ブレーキペダル12、アクセルペダル13、ウィンカスイッチ14を備える。ステアリング11、ブレーキペダル12、アクセルペダル13、ウィンカスイッチ14は、ステアリングECU、ブレーキECU、エンジンECUとモータECUおよびウィンカコントローラにより電子制御が可能である。自動運転モードにおいて、ステアリングECU、ブレーキECU、エンジンECU、モータECUは、自動運転制御装置30から供給される制御信号に応じて、アクチュエータを駆動する。またウィンカコントローラは、自動運転制御装置30から供給される制御信号に応じてウィンカランプ点灯あるいは消灯する。

0023

検出部20は、車両100の周囲状況および走行状態を検出する。検出部20は、例えば、車両100の速度、車両100に対する先行車両相対速度、車両100と先行車両との距離、車両100に対する側方車線の車両の相対速度、車両100と側方車線の車両との距離、車両100の位置情報を検出する。検出部20は、運転者の操作に関する情報、運転者の状態に関する情報も検出する。検出部20は、検出した各種情報(以下、「検出情報」という)を自動運転制御装置30に出力する。また、検出部20は、自動運転制御装置30を介して運転支援装置40に検出情報を出力してもよいし、運転支援装置40に直接出力してもよい。検出部20は、位置情報取得部21、センサ22、速度情報取得部23、地図情報取得部24を含み、センサ22は、走行環境センサ25、監視センサ26、車両情報センサ27を含む。

0024

位置情報取得部21は、GNSS(Global Navigation Satellite System(s))受信機から車両100の現在位置を取得する。センサ22は、車外の状況、車両100の状態、運転者の操作、運転者の状態を検出するための各種センサの総称である。車両100の状態を検出するためのセンサ22として例えば、加速度センサジャイロセンサ地磁気センサ傾斜センサ等が搭載される。

0025

走行環境センサ25は、車外の状況を検出するためのセンサである。走行環境センサ25として、例えばカメラ、ミリ波レーダ、LIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ソナー気温センサ気圧センサ湿度センサ照度センサ等が搭載される。車外の状況は、車線情報を含む自車の走行する道路状況天候を含む環境、自車周辺状況、近傍位置にある他車両(隣接車線を走行する他車両等)を含む。走行環境センサ25が検出できる車外の情報であれば何でもよい。

0026

監視センサ26は、例えば、車室内に搭載されたカメラであり、運転者の顔を撮像する。監視センサ26は、特に運転者の瞼の動きを撮像可能なように設定する。車両情報センサ27は、ステアリングの舵角、ブレーキペダルの踏量、アクセルペダルの踏量等の運転者の操作に関する情報を検出する。これらの検出には公知の技術が使用されればよいので、ここでは説明を省略する。

0027

速度情報取得部23は、車速センサから車両100の現在速度を取得する。地図情報取得部24は、地図データベースから車両100の現在位置周辺の地図情報を取得する。地図データベースは、車両100内の記録媒体に記録されていてもよいし、使用時にネットワークを介して地図サーバからダウンロードしてもよい。地図情報には、道路、交差点に関する情報が含まれている。

0028

自動運転制御装置30は、自動運転制御機能を実装した自動運転コントローラであり、自動運転における車両100の行動を決定する。自動運転制御装置30は、制御部31、記憶部32、I/O(Input/Output部、入出力部)部33を備える。制御部31の構成はハードウェア資源ソフトウェア資源協働、またはハードウェア資源のみにより実現できる。ハードウェア資源としてプロセッサ、ROM(Read Only Memory)、RAM(Random Access Memory)、その他のLSIを利用でき、ソフトウェア資源としてオペレーティングシステムアプリケーションファームウェア等のプログラムを利用できる。記憶部32は、フラッシュメモリ等の不揮発性記録媒体を備える。I/O部33は、各種の通信フォーマットに応じた通信制御を実行する。例えば、I/O部33は、自動運転に関する情報を運転支援装置40に出力するとともに、制御コマンドを運転支援装置40から入力する。また、I/O部33は、検出情報を検出部20から入力する。

0029

制御部31は、運転支援装置40から入力した制御コマンド、検出部20あるいは各種ECUから収集した各種情報を自動運転アルゴリズムに適用して、車両100のアクセルスロットル開度ステアリング舵角等の自動制御対象を制御するための制御値を算出する。制御部31は算出した制御値を、各制御対象のECUまたはコントローラに伝達する。本実施の形態ではステアリングECU、ブレーキECU、エンジンECU、ウィンカコントローラに伝達する。電気自動車あるいはハイブリッドカーの場合、エンジンECUに代えてまたは加えてモータECUに制御値を伝達する。

0030

運転支援装置40は、車両100と乗員との間のインタフェース機能を実行するHMIコントローラであり、制御部41、記憶部42、I/O部43を備える。制御部41は、HMI制御等の各種データ処理を実行する。制御部41は、ハードウェア資源とソフトウェア資源の協働、またはハードウェア資源のみにより実現できる。ハードウェア資源としてプロセッサ、ROM、RAM、その他のLSIを利用でき、ソフトウェア資源としてオペレーティングシステム、アプリケーション、ファームウェア等のプログラムを利用できる。

0031

記憶部42は、制御部41により参照され、または更新されるデータを記憶する記憶領域である。例えばフラッシュメモリ等の不揮発の記録媒体により実現される。I/O部43は、各種の通信フォーマットに応じた各種の通信制御を実行する。I/O部43は、操作信号入力部50、画像・音声出力部51、検出情報入力部52、コマンドIF(Interface、インタフェース)53、通信IF56を備える。

0032

操作信号入力部50は、入力装置4に対してなされた乗員もしくは車外にいるユーザの操作による操作信号を入力装置4から受信し、制御部41へ出力する。画像・音声出力部51は、制御部41が生成した画像データあるいは音声メッセージを報知装置2へ出力して表示させる。検出情報入力部52は、検出部20による検出処理の結果であり、車両100の現在の周囲状況および走行状態等を示す検出情報を検出部20から受信し、制御部41へ出力する。

0033

コマンドIF53は、自動運転制御装置30とのインタフェース処理を実行し、行動情報入力部54とコマンド出力部55を含む。行動情報入力部54は、自動運転制御装置30から送信された車両100の自動運転に関する情報を受信し、制御部41へ出力する。コマンド出力部55は、自動運転制御装置30に対して自動運転の態様を指示する制御コマンドを、制御部41から受けつけて自動運転制御装置30へ送信する。

0034

通信IF56は、無線装置8とのインタフェース処理を実行する。通信IF56は、制御部41から出力されたデータを無線装置8へ送信し、無線装置8から車外の装置へ送信させる。また、通信IF56は、無線装置8により転送された、車外の装置からのデータを受信し、制御部41へ出力する。

0035

ここでは、自動運転制御装置30と運転支援装置40は別個の装置である。変形例として、図1破線で示すように、自動運転制御装置30と運転支援装置40を1つのコントローラに統合してもよい。言い換えれば、1つの自動運転制御装置が、図1の自動運転制御装置30と運転支援装置40の両方の機能を備える構成であってもよい。

0036

図3(a)−(b)は、運転支援装置40の構成を示す。運転支援装置40は1つの装置により構成される。しかしながら、1つ以上の装置により支援システムが構成されてもよい。例えば、処理部64は、車両100の外に配置され、運転支援装置40とは無線装置8とネットワークを介して接続されてもよい。また、決定部62と処理部64とが車両100の外に配置されてもよく、取得部60と決定部62と処理部64とが車両100の外に配置されてもよい。

0037

図3(a)は、学習処理に関する構成を示し、図3(b)は、推定処理に関する構成を示す。ここでは、学習処理を説明してから推定処理を説明する。図3(a)において、制御部41は、取得部60、決定部62、処理部64を含む。取得部60は、走行困難度取得部70、覚醒度取得部72、運転習熟度取得部74を含み、処理部64は、学習部80、教師付けデータ82、運転行動モデル84を含む。また、走行環境センサ25、監視センサ26、車両情報センサ27は、検出情報入力部52に接続され、検出情報入力部52は、取得部60に接続される。さらに、決定部62は、画像・音声出力部51に接続され、画像・音声出力部51は、報知装置2に接続される。

0038

走行環境センサ25は、カメラ、ミリ波レーダ、LIDAR、ソナー、気温センサ、気圧センサ、湿度センサ、照度センサ等である。例えば、カメラは、車両100の前方を撮像可能に車両100に搭載されるが、車両100の側方、後方も撮像可能に車両100に搭載されてもよい。カメラは、撮像した映像を検出情報として検出情報入力部52に出力する。監視センサ26は、車室内に搭載されたカメラである。監視センサ26は、運転者の顔を撮像した映像を検出情報として検出情報入力部52に出力する。車両情報センサ27は、ステアリング11の舵角、ブレーキペダル12の踏量、アクセルペダル13の踏量等の運転者の操作に関する情報を検出し、検出した結果を検出情報として検出情報入力部52に出力する。

0039

運転支援装置40は、車両100での運転行動モデルに関する処理を実行する。検出情報入力部52には、走行環境センサ25、監視センサ26、車両情報センサ27からの検出情報が入力される。これは、車両100からの検出情報が入力されるといえる。検出情報入力部52は、走行環境センサ25からの検出情報のうち、車両100の前方等を撮像した映像を走行困難度取得部70に出力する。また、検出情報入力部52は、監視センサ26からの検出情報、つまり運転者の顔を撮像した映像を覚醒度取得部72に出力し、車両情報センサ27からの検出情報、つまり運転者の操作に関する情報を運転習熟度取得部74、処理部64に出力する。

0040

取得部60のうちの走行困難度取得部70は、検出情報入力部52から、車両100の前方等を撮像した映像を受けつける。走行困難度取得部70は、映像に対して画像認識処理を実行することによって、映像に含まれている他車両を検出する。また、走行困難度取得部70は、本車両100の前方を走行している他車両の数を計測する。走行困難度取得部70は、他車両の数を走行困難度として、決定部62に出力する。このような走行困難度は、他車両の数が多くなるほど高くなり、他車両の数が少なくなるほど低くなる。本車両100の前方以外を走行している他車両の数が走行困難度に含められてもよい。その際、本車両100の前方以外を走行している他車両1台を0.5台のように計測することによって、前方を走行している他車両と前方以外を走行している他車両との重み付けが変えられてもよい。さらに、本車両100に接近している他車両の数、本車両100の前方においてブレーキをかけている他車両の数、本車両100を追い抜こうとしている他車両の数が走行困難度に反映されてもよい。このような数に対して、例えば、重み付けが大きくされる。走行困難度取得部70は、走行困難度を決定部62に出力する。走行困難度は、走行中道路の道幅や形状やUターン禁止右折左折禁止などの道路制約などの地図情報から取得してもよい。その場合、例えば狭い道幅や複雑な形状や多数の制約ほど走行困難度が高くなる。また、車載センサが取得する周辺車両検知情報路面状況天候状況から取得してもよい。その場合、例えば混雑度、平均速度が高い、進路直進性が低い、凹凸路面雨天候や夜間であるほど、あるいはそれらの組合せが多いほど走行困難度が高くなる。

0041

取得部60のうちの覚醒度取得部72は、検出情報入力部52から、運転者の顔を撮像した映像を受けつけ、画像に対して画像認識処理を実行することによって、運転者の顔の表情を認識する。覚醒度取得部72は、認識した顔の表情をもとに、運転者の状態として、運転者の覚醒度を推定する。画像認識処理、覚醒度の推定には、公知の技術が使用されればよいが、例えば、運転者の開瞼度、目瞑り、PERCLOS(PERcent of eyelid CLOSure)、前庭動眼反射VOR:Vestibulo Ocular Reflex)やこれらの組合せを用いる。開瞼度は、眼の開き度合いであり、上瞼から下瞼までの距離を虹彩の直径割った値を用いる。また、開瞼度が20%以下で持続時間が70から500ミリ秒時間間隔が500ミリ秒以上の瞼の運動瞬きとして、覚醒度の推定の対象としない処理を施してもよい。目瞑りは、開瞼度20%以下で、持続時間が500ミリ秒以上の瞼の運動である。PERCLOSは、アメリカ道路交通安全局に認可された運転手疲労度を測定する指標であり、直近1分間の目瞑りの時間の割合である。前庭動眼反射は、頭部運転時にそれとほぼ同じ速さで眼球反転させ、網膜上の外界像ブレを抑制する付随眼球運動であり、覚醒状態の運転中の頭部動揺時の眼球運動の補償度合いを示すVORゲインが閾値以下に、VORのばらつきを示すVORエラーが閾値以上に、それぞれ30秒以上継続する場合に眠気予兆とする。また、運転者の覚醒度の一例として、ここでは、表情から眠気をするためのNEDO(独立行政法人新エネルギー産業技術総合開発機構))の評価方法において規定された眠気レベルを使用する。この規定では、眠気レベルは、1から5の5段階で評価される。具体的には、「眠気レベル1」は全くなさそう、「眠気レベル2」はやや眠そう、「眠気レベル3」は眠そう、「眠気レベル4」はかなり眠そう、「眠気レベル5」は非常に眠そうと分類される。

0042

覚醒度取得部72は、視線の移動が早く頻繁であったり、瞬きが2秒に2回くらいの安定した周期であったり、動きが活発で身体の動きを伴ったりする場合に、「眠気レベル1」と推定する。また、覚醒度取得部72は、が開いていたり、視線移動の動きが遅かったりする場合に、「眠気レベル2」と推定する。また、覚醒度取得部72は、瞬きがゆっくりと頻発したり、口の動きがあったり、座り直しがあったり、顔に手をやったりした場合に、「眠気レベル3」と推定する。また、覚醒度取得部72は、意識的と思われる瞬きがあったり、首を振る・肩の上下動などの無用身体全体の動きがあったり、あくびが頻発し深呼吸も見られたり、瞬き・視線の動きが遅かったりする場合に、「眠気レベル4」と推定する。また、覚醒度取得部72は、瞼が閉じられたり、頭が前に傾いたり、頭が後に倒れたりする場合に、「眠気レベル5」と推定する。このような規定において、眠気レベル1に近づくほど覚醒度が高いといえ、眠気レベル5に近づくほど覚醒度が低いといえる。覚醒度取得部72は、覚醒度を決定部62に出力する。

0043

取得部60のうちの運転習熟度取得部74は、検出情報入力部52から、運転者の操作に関する情報、例えば、ステアリング11の舵角、ブレーキペダル12の踏量、アクセルペダル13の踏量等を受けつける。運転習熟度取得部74は、ステアリング11の舵角、ブレーキペダル12の踏量、アクセルペダル13の踏量をもとに運転習熟度を導出する。この処理を具体的に説明すると、運転習熟度取得部74は、ステアリング11の舵角、ブレーキペダル12の踏量、アクセルペダル13の踏量の複数のパターンと運転習熟度との対応関係を予め記憶する。また、運転習熟度取得部74は、対応関係に含まれた複数のパターンから、受けつけたステアリング11の舵角、ブレーキペダル12の踏量、アクセルペダル13に最も近いパターンを選択し、選択したパターンに対応した運転習熟度を導出する。ここで、運転者が運転に慣れていれば、運転習熟度が高くなり、運転者が運転に不慣れであれば、運転習熟度が低くなる。運転習熟度取得部74は、運転習熟度を決定部62に出力する。なお、運転習熟度は、例えば、運転の結果としての車両挙動における加速度時間変化であるジャーク加加速度)が小さいほど高いとする。また、運転習熟度は、現在の運転状況と模範運転者の運転モデル模範モデル)との近似度から導出されてもよく、例えば近似度が高いほど運転習熟度が高くなるとしてもよい。あるいは、本人の運転による車両挙動、例えば急ブレーキ、急操舵の頻度が低くなるか、走行困難度が高いこととの組合せにおいて急ブレーキ、急操舵の頻度が低くなるほど、運転習熟度が高くなるとしてもよい。

0044

走行困難度は、例えば、運転行動におけるタスクデマンドである。タスクデマンドは、ある運転者が目指すパフォーマンスレベルを達成するために必要と感じられる注意の量や配分、情報処理の深さや行うべき操作内容」であり、常に一定ではなく、直進カーブ、交差点等の道路構造や、先行車や隣接車両の有無や動き、道路利用者の多さ等の交通状況により変化する。また、タスクデマンドは、同じ道路構造や交通状況であっても車速が高いほど高くなる。さらに、タスクデマンドは、同じ車速であっても、慣れていない道を走るときは高くなり、通勤等でいつも走っている道では低くなる。

0045

決定部62は、走行困難度取得部70からの走行困難度、覚醒度取得部72からの覚醒度、運転習熟度取得部74からの運転習熟度を受けつける。決定部62は、走行困難度、覚醒度、運転習熟度のうちの少なくとも1つをもとに、処理を実行するか否かを決定する。処理は、図3(a)において学習を示し、図3(b)において推定を示す。ここでは、決定部62における処理を第1決定処理から第6決定処理の順に説明する。第1決定処理から第3決定処理は、走行困難度、覚醒度、運転習熟度のうちの2つの情報を使用する。その際、使用されない情報を生成する走行困難度取得部70から運転習熟度取得部74のいずれかは省略されてもよい。一方、第4決定処理から第6決定処理は、走行困難度、覚醒度、運転習熟度のうちのいずれかの情報を使用する。その際、使用されない情報を生成する走行困難度取得部70から運転習熟度取得部74のうちの2つは省略されてもよい。

0046

(1)第1決定処理
第1決定処理では、走行困難度、覚醒度が使用される。図4(a)−(c)は、決定部62に記憶されるテーブルの構成を示す。図4(a)が、第1決定処理において使用されるテーブルである。横軸が走行困難度を示し、縦軸が覚醒度を示す。決定部62は、走行困難度が第1しきい値TDa以下である場合、覚醒度が第2しきい値Aa以上であり、かつ第3しきい値Ac以下であれば、処理の実行を決定する。ここで、第3しきい値Ac>第2しきい値Aaである。決定部62は、走行困難度が第1しきい値TDa以下である場合、覚醒度が第2しきい値Aaよりも低いか、あるいは覚醒度が第3しきい値Acよりも高ければ、処理の非実行を決定する。

0047

一方、決定部62は、走行困難度が第1しきい値TDaより高い場合、覚醒度が第4しきい値Ab以上であれば、処理の実行を決定する。ここで、第3しきい値Ac>第4しきい値Ab>第2しきい値Aaである。決定部62は、走行困難度が第1しきい値TDaより高い場合、覚醒度が第4しきい値Abよりも低ければ、処理の非実行を決定する。ここでは、図5(a)−(c)を使用しながら、このような処理をさらに詳細に説明する。

0048

図5(a)−(c)は、図4(a)のテーブルによる処理概要を示す。図5(a)は、走行困難度と覚醒度の時間変化を示す。第1区間200では、走行困難度が低くなる。走行困難度が低い状態は、図5(b)のように示される。ここでは、車両100が走行しているだけであり、周囲に他車両は走行していない。このような状況下において、一般的に、運転によって覚醒度が高くなることはない。しかしながら、第1区間200では覚醒度が高くなる。そのため、この覚醒度が高くなる原因は、運転でないといえる。そのため、第1区間200の走行困難度と覚醒度の組合せは学習に適さない状態であるといえる。決定部62は、このような場合に処理の非実行を決定する。

0049

第2区間202では、走行困難度が高くなる。走行困難度が高い状態は、図5(c)のように示される。ここでは、走行する車両100の周りに第1他車両110aから第3他車両110cが走行している。このような状況下において、一般的に、運転によって覚醒度が高くなる傾向にある。しかしながら、第1区間200では眠気により覚醒度が低くなる。そのため、第2区間202の走行困難度と覚醒度の組合せは学習に適さない状態であるといえる。決定部62は、このような場合に処理の非実行を決定する。図3(a)に戻る。

0050

(2)第2決定処理
第2決定処理では、覚醒度、運転習熟度が使用される。図4(b)が、第2決定処理において使用されるテーブルである。横軸が運転習熟度を示し、縦軸が覚醒度を示す。運転習熟度に対するしきい値としてDSa、DSbが規定される。DSa<DSbである。また、覚醒度に対するしきい値としてAd、Aeが規定される。Ad<Aeである。決定部62は、運転習熟度がDSa以下である場合、覚醒度によらず、処理の非実行を決定する。決定部62は、運転習熟度がDSaより高く、かつDSb以下である場合、覚醒度がAe以上であれば処理の実行を決定するが、覚醒度がAeより低くければ処理の非実行を決定する。決定部62は、運転習熟度がDSbより高い場合、覚醒度がAd以上であれば処理の実行を決定するが、覚醒度がAdより低くければ処理の非実行を決定する。これは、運転習熟度が高くなるほど覚醒度に対するしきい値を低くするといえる。

0051

(3)第3決定処理
第3決定処理では、走行困難度、運転習熟度が使用される。図4(c)が、第3決定処理において使用されるテーブルである。横軸が運転習熟度を示し、縦軸が走行困難度を示す。運転習熟度に対するしきい値としてDSa、DSb、DScが規定される。DSa<DSb<DScである。また、走行困難度に対するしきい値としてTDb、TDc、TDdが規定される。TDb<TDc<TDdである。決定部62は、運転習熟度がDSa以下である場合、走行困難度によらず、処理の非実行を決定する。決定部62は、運転習熟度がDSaより高く、かつDSb以下である場合、走行困難度がTDb以下であれば処理の実行を決定するが、走行困難度がTDbより高ければ処理の非実行を決定する。決定部62は、運転習熟度がDSbより高く、かつ運転習熟度がDSc以下である場合、走行困難度がTDc以下であれば処理の実行を決定するが、走行困難度がTDcより高ければ処理の非実行を決定する。決定部62は、運転習熟度がDScより高い場合、走行困難度がTDd以下であれば処理の実行を決定するが、走行困難度がTDdより高ければ処理の非実行を決定する。これは、運転習熟度が高くなるほど走行困難度に対するしきい値を高くするといえる。

0052

(4)第4決定処理
第4決定処理では、走行困難度が使用される。決定部62は、走行困難度がしきい値以下であれば、処理の実行を決定する。決定部62は、走行困難度がしきい値よりも高ければ、処理の非実行を決定する。

0053

(5)第5決定処理
第5決定処理では、覚醒度が使用される。決定部62は、第1決定処理において走行困難度が第1しきい値TDa以下である場合と同様の処理を実行する。つまり、決定部62は、覚醒度がAa以上であり、かつAc以下であれば、処理の実行を決定する。前述のごとく、値Ac>Aaである。決定部62は、覚醒度がAaよりも低いか、あるいは覚醒度が値Acよりも高ければ、処理の非実行を決定する。

0054

(6)第6決定処理
第6決定処理では、運転習熟度が使用される。決定部62は、運転習熟度がしきい値以上であれば、処理の実行を決定する。決定部62は、運転習熟度がしきい値よりも低ければ、処理の非実行を決定する。

0055

決定部62は、第1決定処理から第3決定処理を組み合わせることによって、走行困難度、覚醒度、運転習熟度の組合せをもとに、処理を実行するか否かを決定してもよい。決定部62は、決定の結果、つまり学習を実行するか否かに関する情報を画像・音声出力部51と処理部64に出力する。画像・音声出力部51は、学習を実行するか否かに関する情報を報知装置2に表示させる。図6(a)−(d)は、報知装置2に表示される画面を示す。図6(a)は、学習の実行を決定した場合の画面を示す。ここでは、走行困難度、覚醒度、運転習熟度の組合せをもとに判定がなされているとする。図6(b)は、学習の非実行を決定した場合の画面を示す。図6(c)−(d)は後述し、図3(a)に戻る。

0056

処理部64は、決定部62が学習の実行を決定した場合、学習を実行するが、決定部62が学習の非実行を決定した場合、学習を非実行とする。以下では、学習を実行する場合を説明する。学習部80は、検出情報入力部52からの運転者の操作に関する情報を入力パラメータ90として受けつける。また、学習部80は、運転者の操作に関する情報に関係付けられている未来の変化量を教師付けデータ82として取得する。未来とは、例えば、数秒後、あるいは数分後である。学習部80は、入力パラメータ90をもとに処理、具体的には運転行動モデル84を学習させる学習処理を実行する。具体的に説明すると、学習部80は、入力パラメータ90である運転者の操作に関する情報と教師付けデータ82とによって、運転行動モデル84を調整する。つまり、学習部80は、入力パラメータ90をニューラルネットワークに入力することによって、教師付けデータ82が出力として得られるように、ニューラルネットワークの重みパラメータなどを調整する。このような調整によって、学習部80は、入力パラメータ90と教師付けデータ82との関係を、ニューラルネットワークに学習させる。その結果、運転行動モデル84が構築される。

0057

図7(a)−(b)は、処理部64の処理概要を示す。図7(a)は、学習部80における学習処理の概要を示す。学習部80は、運転者の操作に関する情報として示されるパラメータPaおよびPbなどを含む複数の入力パラメータ90を、ニューラルネットワークに入力する。学習部80は、そのニューラルネットワークからの出力が教師付けデータ82であって、かつ入力パラメータ90に関係付けられた教師付けデータ82に一致するように、ニューラルネットワークの重みパラメータを最適化する。このように構築されたニューラルネットワークが運転行動モデル84である。教師付けデータの使用に限らず、例えば教師付けデータなしでの学習(所謂教師無し学習)であってもよい。図7(b)は後述する。

0058

次に、図3(b)を使用して推定処理を説明する。図3(b)において、制御部41は、取得部60、決定部62、処理部64を含む。取得部60は、走行困難度取得部70、覚醒度取得部72、運転習熟度取得部74を含み、処理部64は、運転行動モデル84、推定部86、推定値88を含む。また、走行環境センサ25、監視センサ26、車両情報センサ27は、検出情報入力部52に接続され、検出情報入力部52は、取得部60に接続される。さらに、決定部62は、画像・音声出力部51に接続され、画像・音声出力部51は、報知装置2に接続される。取得部60、決定部62は、図3(a)と同様の処理を実行するので、ここでは説明を省略する。

0059

決定部62は、決定の結果、つまり推定を実行するか否かに関する情報を画像・音声出力部51と処理部64に出力する。画像・音声出力部51は、推定を実行するか否かに関する情報を報知装置2に表示させる。図6(c)は、推定の実行を決定した場合の画面を示す。ここでも、走行困難度、覚醒度、運転習熟度の組合せをもとに判定がなされているとする。図6(d)は、推定の非実行を決定した場合の画面を示す。図3(b)に戻る。

0060

処理部64は、決定部62が推定の実行を決定した場合、推定を実行するが、決定部62が推定の非実行を決定した場合、推定を非実行とする。以下では、推定を実行する場合を説明する。推定部86は、検出情報入力部52からの運転者の操作に関する情報を入力データ92として受けつける。推定部86は、入力データ92をもとに処理、具体的には未来の変化量を推定する推定処理を実行する。具体的に説明すると、推定部86は、入力データ92を運転行動モデル84に入力するとともに、運転行動モデル84からの推定値88を取得する。推定値88が未来の変化量である。

0061

図7(b)は、推定部86における推定処理の概要を示す。推定部86は、検出結果として示される入力データ92をニューラルネットワークに入力する。これにより、推定部86は、ニューラルネットワークから出力される未来の変化量を推定値88として取得する。推定部86において取得した未来の変化量をもとに、図1の自動運転制御装置30は車両100の自動運転を制御する。

0062

以上の構成による運転支援装置40の動作を説明する。図8は、運転支援装置40による処理手順を示すフローチャートである。検出情報入力部52は走行環境情報を取得する(S50)。走行困難度取得部70は、走行困難度を導出する(S52)。検出情報入力部52は顔画像を取得する(S54)。覚醒度取得部72は覚醒度を導出する(S56)。走行困難度がTDaよりも大きく(S58のY)、覚醒度がAb以上である場合(S60のY)、決定部62は、処理の実行を決定する(S62)。覚醒度がAb以上でない場合(S60のN)、決定部62は、処理の非実行を決定する(S64)。走行困難度がTDaよりも大きくなく(S58のN)、覚醒度がAa以上であり、かつAc以下である場合(S66のY)、決定部62は、処理の実行を決定する(S68)。覚醒度がAa以上でなく、あるいはAc以下でない場合(S66のN)、決定部62は、処理の非実行を決定する(S70)。報知装置2は、処理状態を表示する(S72)。

0063

図9は、運転支援装置40による別の処理手順を示すフローチャートである。検出情報入力部52は顔画像を取得する(S10)。覚醒度取得部72は覚醒度を導出する(S12)。覚醒度がAa以上であり、かつAc以下である場合(S14のY)、決定部62は、処理の実行を決定する(S16)。覚醒度がAa以上でなく、あるいはAc以下でない場合(S14のN)、決定部62は、処理の非実行を決定する(S18)。報知装置2は、処理状態を表示する(S20)。

0064

本実施の形態によれば、走行困難度、覚醒度、運転習熟度のうちの少なくとも1つの情報をもとに処理を実行するか否かを決定するので、学習あるいは推定に不適切な状態における学習あるいは推定の実行を抑制できる。また、走行困難度、覚醒度、運転習熟度のうちの2つ以上の情報の組合せをもとに、処理を実行するか否かを決定するので、決定の精度を向上できる。また、走行困難度と覚醒度との組合せをもとに処理の非実行を決定するので、走行困難度に応じて覚醒度に対するしきい値を変えることができる。また、走行困難度に応じて覚醒度に対するしきい値が変わるので、決定の精度を向上できる。また、覚醒度と運転習熟度との組合せをもとに処理の非実行を決定するので、運転習熟度に応じて覚醒度に対するしきい値を変えることができる。また、運転習熟度に応じて覚醒度に対するしきい値が変わるので、決定の精度を向上できる。また、走行困難度と運転習熟度との組合せをもとに処理の非実行を決定するので、運転習熟度に応じて走行困難度に対するしきい値を変えることができる。また、運転習熟度に応じて走行困難度に対するしきい値が変わるので、決定の精度を向上できる。

0065

また、走行困難度が高ければ処理の非実行を決定するので、走行困難度が高いことによって運転行動モデルの使用が不適切である場合での学習あるいは推定の実行を抑制できる。また、覚醒度が低ければ処理の非実行を決定するので、覚醒度が低いことによって運転行動モデルの使用が不適切である場合での学習あるいは推定の実行を抑制できる。また、運転習熟度が低ければ処理の非実行を決定するので、運転習熟度が低いことによって行動モデルの使用が不適切である場合での学習あるいは推定の実行を抑制できる。また、学習を実行か否かを決定するので、学習に適さない状況における学習の実行を抑制できる。また、推定を実行か否かを決定するので、推定に適さない状況における推定の実行を抑制できる。なお、図6に示す表示の態様は実施の形態に限定されない。例えば、学習中か否かのみ、あるいは推定中か否かのみを表示してもよい。

0066

(実施の形態2)
次に実施の形態2を説明する。実施の形態2は、実施の形態1と同様に、状況に応じて、学習処理あるいは推定処理を実行するか否かを切りかえる支援システムに関する。実施の形態1においては、支援システムが自動車の自動運転において使用されており、支援システムによって運転行動モデルに対する学習処理あるいは推定処理が実行されている。一方、実施の形態2においては、支援システムが音声エージェントシステムにおいて使用される。音声エージェントシステムは、音声アシスタントシステムとも呼ばれ、音声認識処理自然言語処理を組み合わせ、話者からの発話に対し、適切に回答したり、動作したりする。例えば、話者は、スマートフォンタブレット型端末スマートスピーカ(以下、「端末装置」と総称する)に発話し、端末装置にネットワークを介して接続されたサーバ装置において処理がなされる。このような音声エージェントシステムにおいて、話者による発話がなされてから回答あるいは動作までの応答期間の短縮が求められる。応答期間を短縮するために、音声エージェントシステムに支援システムを使用することによって、話者による発話の途中で発話の内容が推定される。この支援システムでは、発話行動モデルに対する学習処理あるいは推定処理が実行される。

0067

ここで、「発話行動推定エンジン」は、「運転行動推定エンジン」と同様に構成されればよい。また、「発話行動モデル」は、発話行動推定エンジンに応じて一意に定められる。DLの場合の発話行動モデルは学習されたニューラルネットワーク(Neural Network)であり、SVMの場合の発話行動モデルは学習された予測モデルであり、協調フィルタリングの場合の発話行動モデルは発話データと発話に対する応答データとを紐付けたデータである。ルールの場合の発話行動モデルは入力と出力とを紐付けたデータである。

0068

このような定義のもと、発話に適した状態ではない場合に、発話行動モデルに対する学習処理あるいは推定処理がなされると、学習あるいは推定の精度が低くなる。発話に適した状態ではない場合とは、学習あるいは推定として予定していない内容の発話がなされる場合、予定していない話者による発話がなされる場合等である。このような場合には、学習あるいは推定がなされない方が好ましい。これに対応するために、本実施の形態では、発話内容発話者の少なくとも1つを取得し、それをもとに、学習あるいは推定の処理を実行するか否かを決定する。処理の実行を決定した場合は学習あるいは推定を実行するが、処理の非実行を決定した場合は学習あるいは推定を実行しない。以下では、これまでとの差異を中心に説明する。

0069

図10は、音声エージェントシステム300の構成を示す。音声エージェントシステム300は、端末装置310、ネットワーク320、サーバ装置330を含む。端末装置310は、マイク350、カメラ352、報知部354、制御部356、通信部358を含む。端末装置310は、前述のごとく、スマートフォン、タブレット型端末、スマートスピーカである。マイク350は、話者によって発声された音声を集音する。マイク350は、音声をデジタル信号(以下、これもまた「音声」という)に変換し、制御部356に出力する。当該変換には公知の技術が使用されればよいので、ここでは説明を省略する。カメラ352は、話者の顔を撮像可能な撮像装置である。カメラ352によって撮像される画像は、静止画像であってもよく、動画像であってもよい。カメラ352は、画像をデジタル信号(以下、これもまた「画像」という)に変換し、制御部356に出力する。

0070

制御部356は、マイク350から音声を受けつけるとともに、カメラ352から画像を受けつける。制御部356は、受けつけたこれらの情報のうちの少なくとも1つを通信部358に出力する。通信部358は、制御部356から情報を受けつける。通信部358は、無線通信を実行可能であり、無線通信によりネットワーク320に接続する。通信部358は、ネットワーク320を介してサーバ装置330に情報を送信する。通信部358において実行される無線通信には公知の技術が使用されればよいので、ここでは説明を省略する。また、通信部358は、有線通信を実行してもよい。

0071

サーバ装置330は、ネットワーク320を介して端末装置310からの情報を受信する。サーバ装置330は、受信した情報のうち、音声に対して、音声認識処理と自然言語処理を実行することにより、音声の内容を認識する。サーバ装置330は、音声の内容にしたがった処理を実行する。例えば、音声の内容が「今日の東京の天気予報を教えて」であれば、サーバ装置330は、ネットワーク320を介して天気予報サーバ(図示せず)にアクセスし、当該天気予報サーバから「今日の東京の天気予報」を受信する。サーバ装置330は、「今日の東京の天気予報」が示された情報(以下、「応答情報」という)をネットワーク320経由で端末装置310に送信する。このようなサーバ装置330の処理には公知の技術が使用されればよいので、ここでは説明を省略する。

0072

端末装置310の通信部358は、応答情報をサーバ装置330から受信する。通信部358は、応答情報に含まれた内容、例えば、「今日の東京の天気予報」を制御部356に出力する。制御部356は、通信部358から受けつけた内容を報知部354から報知する。報知部354がディスプレイである場合、制御部356は、「今日の東京の天気予報」をディスプレイに表示させる。報知部354がスピーカである場合、制御部356は、「今日の東京の天気予報」の音声をスピーカから提示させる。

0073

図11(a)−(b)は、支援システム400の構成を示す。支援システム400は、1つの装置であってもよいし、複数の装置の組合せであってもよい。1つの装置である場合、支援システム400は図10のサーバ装置330に相当する。2つ以上の装置である場合、支援システム400は図10の端末装置310とサーバ装置330との組合せに相当する。支援システム400には、図10に示されていない装置が含まれてもよい。図11(a)は、学習処理に関する構成を示し、図11(b)は、推定処理に関する構成を示す。ここでは、学習処理を説明してから推定処理を説明する。図11(a)において、支援システム400は、制御部441、検出情報入力部452、出力部454を含む。制御部441は、取得部460、決定部462、処理部464を含む。取得部460は、発話内容取得部470、話者取得部472を含み、処理部464は、学習部480、教師データ482、発話行動モデル484を含む。また、マイク350、カメラ352は、検出情報入力部452に接続され、報知部354は、出力部454に接続される。

0074

支援システム400は、発話についての発話行動モデルに関する処理を実行する。検出情報入力部452には、マイク350からの音声、カメラ352からの画像が検出情報として入力される。これは、発話についての検出情報が入力されるといえる。検出情報入力部452は、検出情報のうち、マイク350からの音声を発話内容取得部470、処理部464に出力し、カメラ352からの画像を話者取得部472に出力する。ここで、検出情報入力部452は、カメラ352からの画像を発話内容取得部470に出力してもよい。

0075

取得部460のうちの発話内容取得部470は、検出情報入力部452から音声を受けつける。発話内容取得部470は、音声認識処理と自然言語処理を実行することにより、発話の内容を認識する。これらの処理には、公知の技術が使用されればよい。発話内容取得部470は、発話の内容を決定部462に出力する。話者取得部472は、検出情報入力部452から画像を受けつける。話者取得部472は、予め処理対象とされる発話の話者の顔が示された画像(以下、「参照画像」という)を記憶する。複数の発話の話者のそれぞれに対する参照画像が記憶されていてもよい。話者取得部472は、受けつけた画像に対する画像認識処理を実行することによって、受けつけた画像に含まれた話者が、参照画像に含まれた話者と同一であるか否かを認識する。話者取得部472は、認識した結果、つまり同一である否かを決定部462に出力する。これは、発話の話者の情報を決定部462に出力することに相当する。このように、取得部460は、行動モデルの精度に影響を与えうる1つ以上の情報として、発話の内容、発話の話者のうちの少なくとも1つの情報を取得する。

0076

決定部462は、発話内容取得部470からの発話の内容、話者取得部472からの話者の情報を受けつける。決定部462は、発話の内容、話者の情報のうちの少なくとも1つをもとに、処理を実行するか否かを決定する。処理は、図11(a)において学習を示し、図11(b)において推定を示す。ここでは、決定部462における処理を第1決定処理から第3決定処理の順に説明する。

0077

(1)第1決定処理
第1決定処理では、発話の内容、話者の情報が使用される。決定部462は、予定される発話の内容に含まれるべきキーワードを1つ以上予め記憶する。決定部462は、発話の内容にキーワードが含まれているか否かを判定する。発話の内容にキーワードが含まれていなければ、つまり発話の内容が予定外であれば、決定部462は、処理の非実行を決定する。発話の内容にキーワードが含まれている場合、つまり発話の内容が予定内である場合、決定部462は、話者の情報を確認する。話者の情報において、画像に含まれた話者と参照画像に含まれた話者とが異なることが示されている場合、つまり発話の話者が予定外である場合、決定部462は、処理の非実行を決定する。一方、画像に含まれた話者と参照画像に含まれた話者とが同一であることが示されている場合、つまり発話の話者が予定内である場合、決定部462は、処理の実行を決定する。

0078

(2)第2決定処理
第2決定処理では、発話の内容が使用される。決定部462は、第1決定処理と同様の処理を実行し、発話の内容が予定外であれば、処理の非実行を決定する。一方、決定部462は、発話の内容が予定内であれば、処理の実行を決定する。

0079

(3)第3決定処理
第3決定処理では、話者の情報が使用される。決定部462は、第1決定処理と同様の処理を実行し、発話の話者が予定外であれば、処理の非実行を決定する。一方、決定部462は、発話の話者が予定内であれば、処理の実行を決定する。

0080

決定部462は、決定の結果、つまり学習を実行するか否かに関する情報を出力部454と処理部464に出力する。出力部454は、学習を実行するか否かに関する情報を報知部354に出力する。報知部354は、学習を実行するか否かに関する情報を表示する。図12(a)−(f)は、端末装置310の報知部354に表示される画面を示す。図12(a)は、第2決定処理にしたがって学習の実行を決定した場合の画面を示す。例えば、「学習中」であることのみが示される。図12(b)は、第2決定処理にしたがって学習の非実行を決定した場合の画面を示す。例えば、「学習していません」ことが示される。図12(c)は、第1決定処理あるいは第3決定処理にしたがって学習の実行を決定した場合の画面を示す。ここで、発話の話者が家族に設定される。そのため、「学習中」であることに加えて、学習している理由が「家族」による発話であるためであることも示される。さらに、「家族」のうちの誰かであるかについても示されてもよい。図12(d)は、第1決定処理あるいは第3決定処理にしたがって学習の非実行を決定した場合の画面を示す。ここでは、「学習していません」ことに加えて、学習していない理由が「家族以外」、例えば来客による発話であるためであることも示される。図12(e)−(f)は後述し、図11(a)に戻る。報知部354は、学習を実行するか否かに関する情報を、図12(a)−(d)に示された表示の代わりに、あるいは加えて音声としてスピーカから提示してもよい。

0081

処理部464は、決定部462が学習の実行を決定した場合、学習を実行するが、決定部462が学習の非実行を決定した場合、学習を非実行とする。以下では、学習を実行する場合を説明する。学習部480は、検出情報入力部452からの音声を受けつける。学習部480は、発話内容取得部470と同様に、音声に対する音声認識処理と自然言語処理を実行することにより、発話の内容を認識する。そのため、学習部480は、発話の内容を入力パラメータ490として受けつける。学習部480は、発話の内容に関係付けられている未来の変化量を教師データ482として取得する。学習部480は、入力パラメータ490をもとに処理、具体的には発話行動モデル484を学習させる学習処理を実行する。具体的に説明すると、学習部480は、入力パラメータ490である発話の内容と教師データ482とによって、発話行動モデル484を調整する。つまり、学習部480は、入力パラメータ490をニューラルネットワークに入力することによって、教師データ482が出力として得られるように、ニューラルネットワークの重みパラメータなどを調整する。このような調整によって、学習部480は、入力パラメータ490と教師データ482との関係を、ニューラルネットワークに学習させる。その結果、発話行動モデル484が構築される。

0082

次に、図11(b)を使用して推定処理を説明する。図11(b)において、支援システム400は、制御部441、検出情報入力部452、出力部454を含む。制御部441は、取得部460、決定部462、処理部464を含む。取得部460は、発話内容取得部470、話者取得部472を含み、処理部464は、発話行動モデル484、推定部486、推定値488を含む。また、マイク350、カメラ352は、検出情報入力部452に接続され、報知部354は、出力部454に接続される。取得部460、決定部462は、図11(a)と同様の処理を実行するので、ここでは説明を省略する。

0083

決定部462は、決定の結果、つまり推定を実行するか否かに関する情報を出力部454と処理部464に出力する。処理部464は、決定部462が推定の実行を決定した場合、推定を実行するが、決定部462が推定の非実行を決定した場合、推定を非実行とする。以下では、推定を実行する場合を説明する。推定部486は、学習部480と同様に、発話の内容を入力データ492として受けつける。ここで、発話行動モデル484は、発話の途中から内容を認識する。例えば、前述の「今日の東京の天気予報」に対して、「今日」、「今日の東京」のように順に認識がなされる。推定部486は、入力データ492をもとに処理、具体的には未来の変化量を推定する推定処理を実行する。具体的に説明すると、推定部486は、入力データ492を発話行動モデル484に入力するとともに、発話行動モデル484からの推定値488を取得する。推定値488が未来の変化量である。例えば、「今日」に対して、推定値488として「今日の東京の天気予報」が取得される。推定値488において取得した未来の変化量をもとに、処理部464は応答情報を出力する。

0084

音声エージェントシステム300の構成は図10に限定されない。図13は、音声エージェントシステム300の別の構成を示す。これまで、音声エージェントシステム300あるいは支援システム400には1つの処理部464だけが含まれている。一方、図13における音声エージェントシステム300のうち、端末装置310には内部処理部466が含まれ、サーバ装置330には処理部464が含まれる。処理部464と内部処理部466は同様に構成される。端末装置310の制御部356には、図11(a)−(b)における取得部460、決定部462が含まれる。

0085

決定部462は、これまでと同様に、予定される発話の内容に含まれるべきキーワードを1つ以上予め記憶する。さらに、決定部462は、処理部464において処理対象とされるキーワード(以下、「第1キーワード」という)と、内部処理部466において処理対象とされるキーワード(以下、「第2キーワード」という)とを分けて記憶する。第1キーワードと第2キーワードは互いに異なる。決定部462は、発話の内容に第1キーワードが含まれていれば、処理の実行の際に処理部464を選択し、発話の内容に第2キーワードが含まれていれば、処理の実行の際に内部処理部466を選択する。

0086

取得部460は、発話行動モデル484の処理位置を取得する。ここでの処理位置は、処理部464であるか内部処理部466であるかに相当する。前者は、発話行動モデル484の処理位置が発話位置からネットワーク320を介して離れている場合であり、後者は、発話行動モデル484の処理位置が発話位置からネットワーク320を介して離れていない場合である。決定部462は、発話行動モデル484の処理位置が発話位置からネットワーク320を介して離れていなければ、処理の非実行を決定する。これは、内部処理部466を使用する場合に学習を実行しないことに相当する。なお、内部処理部466を使用した学習が、処理部464を使用した学習とは独立して実行されてもよい。

0087

決定部462は、決定の結果、つまり学習を実行するか否かに関する情報を出力部454と処理部464と内部処理部466に出力する。出力部454は、学習を実行するか否かに関する情報を報知部354に出力する。報知部354は、学習を実行するか否かに関する情報を表示する。図12(e)は、処理部464における学習の実行を決定した場合の画面を示す。例えば、「アップロード学習中」であることが示される。図12(f)は、学習の非実行を決定した場合の画面を示す。例えば、「アップロード学習していません」ことが示される。内部処理部466における学習の実行が決定された場合、図12(a)と同じ画面が示されてもよい。さらに、報知部354は、学習を実行するか否かに関する情報を、図12(e)−(f)に示された表示の代わりに、あるいは加えて音声としてスピーカから提示してもよい。

0088

以上の構成による支援システム400の動作を説明する。図14は、支援システム400による処理手順を示すフローチャートである。これは、第2決定処理の手順に相当する。検出情報入力部452は、音声を取得する(S100)。発話内容取得部470は、発話内容を取得する(S102)。予定する発話内容である場合(S104のY)、決定部462は、処理の実行を決定する(S106)。予定する発話内容でない場合(S104のN)、決定部462は、処理の非実行を決定する(S108)。報知部354は、処理状態を表示する(S110)。

0089

図15は、支援システム400による別の処理手順を示すフローチャートである。これは、第1決定処理の手順に相当する。検出情報入力部452は、音声を取得する(S130)。発話内容取得部470は、発話内容を取得する(S132)。予定する発話内容である場合(S134のY)、検出情報入力部452は、画像を取得する(S136)。話者取得部472は、話者を認識する(S138)。予定する話者である場合(S140のY)、決定部462は、処理の実行を決定する(S142)。予定する発話内容でない場合(S134のN)、あるいは予定する話者でない場合(S140のN)、決定部462は、処理の非実行を決定する(S144)。報知部354は、処理状態を表示する(S146)。

0090

図16は、音声エージェントシステム300による処理手順を示すフローチャートである。取得部460は、処理位置を取得する(S160)。リモートである場合(S162のY)、つまり処理部464が使用される場合、検出情報入力部452は、音声を取得する(S164)。発話内容取得部470は、発話内容を取得する(S166)。予定する発話内容である場合(S168のY)、決定部462は、処理の実行を決定する(S170)。リモートでない場合(S162のN)、つまり内部処理部466が使用される場合、あるいは予定する発話内容でない場合(S168のN)、決定部462は、処理の非実行を決定する(S172)。報知部354は、処理状態を表示する(S174)。

0091

本実施の形態によれば、発話の内容、発話の話者、処理部の位置のうちの少なくとも1つの情報をもとに処理を実行するか否かを決定するので、学習あるいは推定に不適切な状態における学習あるいは推定の実行を抑制できる。また、発話の内容が予定外であれば処理の非実行を決定するので、発話の内容が予定外であることによって行動モデルの使用が不適切である場合での学習あるいは推定の実行を抑制できる。また、発話の話者が予定外であれば処理の非実行を決定するので、発話の話者が予定外であることによって行動モデルの使用が不適切である場合での学習あるいは推定の実行を抑制できる。また、処理部の位置が発話位置からネットワークを介して離れていなければ処理の非実行を決定するので、処理部の位置が発話位置からネットワークを介して離れていることによって行動モデルの使用が不適切である場合での学習あるいは推定の実行を抑制できる。

0092

(実施の形態3)
次に実施の形態3を説明する。実施の形態3は、これまでと同様に、状況に応じて、学習処理あるいは推定処理を実行するか否かを切りかえる支援システムに関する。実施の形態3においては、支援システムが遠隔操作システムにおいて使用される。遠隔操作システムでは、スマートフォン、タブレット型端末(以下、これまでと同様に「端末装置」と総称する)とサーバ装置と機器とがネットワークを介して接続される。遠隔操作システムは、操作者からの操作をもとに、操作者から離れた機器を動作させる。例えば、操作者は端末装置を操作し、サーバ装置は、操作に応じて機器を制御する。遠隔操作システムにおいて、操作者による操作がなされてから機器の動作までの応答期間の短縮が求められる。応答期間を短縮するために、遠隔操作システムに支援システムを使用することによって、操作者による操作の途中で操作の内容が推定される。この支援システムでは、操作行動モデルに対する学習処理あるいは推定処理が実行される。

0093

ここで、「操作行動推定エンジン」は、「運転行動推定エンジン」、「発話行動推定エンジン」と同様に構成されればよい。また、「操作行動モデル」は、操作行動推定エンジンに応じて一意に定められる。DLの場合の操作行動モデルは学習されたニューラルネットワーク(Neural Network)であり、SVMの場合の操作行動モデルは学習された予測モデルであり、協調フィルタリングの場合の操作行動モデルは操作データと操作に対する応答データとを紐付けたデータである。ルールの場合の操作行動モデルは入力と出力とを紐付けたデータである。

0094

このような定義のもと、操作に適した状態ではない場合に、操作行動モデルに対する学習処理あるいは推定処理がなされると、学習あるいは推定の精度が低くなる。操作に適した状態ではない場合とは、学習あるいは推定として予定していない内容の操作がなされる場合、操作された後に機器の近傍に人がいない場合、操作した結果に人が満足してない場合等である。このような場合には、学習あるいは推定がなされない方が好ましい。これに対応するために、本実施の形態では、操作内容、人の存在、操作による満足度の少なくとも1つを取得し、それをもとに、学習あるいは推定の処理を実行するか否かを決定する。処理の実行を決定した場合は学習あるいは推定を実行するが、処理の非実行を決定した場合は学習あるいは推定を実行しない。以下では、これまでとの差異を中心に説明する。

0095

図17は、遠隔操作システム500の構成を示す。遠隔操作システム500は、端末装置510、ネットワーク520、サーバ装置530、人感センサ560、機器570を含む。端末装置510は、操作部550、カメラ552、報知部554、制御部556、通信部558を含む。端末装置510は、前述のごとく、スマートフォン、タブレット型端末である。操作部550は、例えば、タッチパネルであり、操作者から機器570に対する操作を受けつけるインタフェースである。機器570がエアコンである場合、操作部550は、エアコンの電源オン電源オフ風量調節温度調節の操作を受けつける。操作部550は、受けつけた操作内容を制御部556に出力する。カメラ552は、操作者の顔を撮像可能な撮像装置である。カメラ552によって撮像される画像は、静止画像であってもよく、動画像であってもよい。カメラ552は、画像をデジタル信号(以下、これもまた「画像」という)に変換し、制御部556に出力する。

0096

制御部556は、操作部550から操作内容を受けつけるとともに、カメラ552から画像を受けつける。制御部556は、受けつけたこれらの情報のうちの少なくとも1つを通信部558に出力する。通信部558は、制御部556から情報を受けつける。通信部558は、無線通信を実行可能であり、無線通信によりネットワーク520に接続する。通信部558は、ネットワーク520を介してサーバ装置530に情報を送信する。通信部558において実行される無線通信には公知の技術が使用されればよいので、ここでは説明を省略する。また、通信部558は、有線通信を実行してもよい。報知部554は、ディスプレイあるいはスピーカであり、制御部556からの指示にしたがって、ディスプレイに画面を表示したり、スピーカから音声を提示したりする。

0097

人感センサ560は、機器570の近傍に設置され、人の存在を検知する。機器570の近傍とは、例えば、機器570が設置されている部屋と同一の部屋あるいは空間を示す。また、人は、操作者を含んでもよく、含まなくてもよい。人感センサ560における人の検知には公知の技術が使用されればよいので、ここでは説明を省略する。人感センサ560は、通信機能を備え、ネットワーク520を介してサーバ装置530に検知結果を送信する。

0098

サーバ装置530は、ネットワーク520を介して端末装置510からの情報を受信する。また、サーバ装置530は、ネットワーク520を介して人感センサ560からの検知結果を受信する。サーバ装置530は、受信した情報のうち、操作内容にしたがった処理を実行する。例えば、操作内容が「機器570の電源オン」、「機器570の温度を28℃に設定」である場合、それぞれに対応したコマンドをネットワーク520経由で機器570に送信する。機器570は、ネットワーク520に接続される。機器570の一例は、前述のごとく、エアコンである。機器570は、ネットワーク520を介してサーバ装置530からのコマンドを受信する。「機器570の電源オン」、「機器570の温度を28℃に設定」のそれぞれに対応したコマンドを受信した場合、機器570は、電源オンしてから、温度を28℃に設定する。

0099

図18(a)−(b)は、支援システム600の構成を示す。支援システム600は、1つの装置であってもよいし、複数の装置の組合せであってもよい。1つの装置である場合、支援システム600は図17のサーバ装置530に相当する。2つ以上の装置である場合、支援システム600は、例えば、図17の端末装置510とサーバ装置530との組合せに相当する。支援システム600には、図17に示されていない装置が含まれてもよい。図18(a)は、学習処理に関する構成を示し、図18(b)は、推定処理に関する構成を示す。ここでは、学習処理を説明してから推定処理を説明する。図18(a)において、支援システム600は、制御部641、検出情報入力部652、出力部654を含む。制御部641は、取得部660、決定部662、処理部664を含む。取得部660は、操作内容取得部670、人存在取得部672、人感情取得部674を含み、処理部664は、学習部680、教師データ682、操作行動モデル684を含む。また、操作部550、カメラ552、人感センサ560は、検出情報入力部652に接続され、報知部554、機器570は、出力部654に接続される。

0100

支援システム600は、機器570に対する操作行動モデルに関する処理を実行する。検出情報入力部652には、操作部550からの操作内容、人感センサ560からの検知結果、カメラ552からの画像が検出情報として入力される。これは、機器570に対する検出情報が入力されるといえる。検出情報入力部652は、検出情報のうち、操作部550からの操作内容を操作内容取得部670、処理部664に出力し、人感センサ560からの検知結果を人存在取得部672に出力し、カメラ552からの画像を人感情取得部674に出力する。

0101

取得部660のうちの操作内容取得部670は、検出情報入力部652からの操作内容を受けつけることによって、機器570の操作内容を取得する。操作内容取得部670は、操作内容を決定部662に出力する。人存在取得部672は、検出情報入力部652から検知結果を受けつける。人存在取得部672は、検知結果をもとに、機器570の近傍の人の存在を認識する。人存在取得部672は、認識した結果、つまり人が存在するか否かを決定部662に出力する。人感情取得部674は、検出情報入力部652から画像を受けつける。人感情取得部674は、画像に対して画像認識処理を実行することにより、画像に示された操作者の表情を操作者の感情として認識する。ここでは、操作者の感情として、操作に応じた機器570の動作により操作者が満足しているか否かが認識される。この処理には公知の技術が使用されればよいので、ここでは説明を省略する。人感情取得部674は、認識した結果、つまり操作者が満足しているか否かを決定部662に出力する。
このように、取得部660は、行動モデルの精度に影響を与えうる1つ以上の情報として、機器570の操作内容、機器570の近傍の人の存在、機器570を操作した人の感情のうちの少なくとも1つの情報を取得する。

0102

決定部662は、操作内容取得部670からの操作内容、人存在取得部672からの人の存在の情報、人感情取得部674からの人の感情の情報を受けつける。決定部662は、操作内容、人の存在の情報、人の感情の情報のうちの少なくとも1つをもとに、処理を実行するか否かを決定する。処理は、図18(a)において学習を示し、図18(b)において推定を示す。ここでは、決定部662における処理を第1決定処理から第5決定処理の順に説明する。

0103

(1)第1決定処理
第1決定処理では、操作内容、人の存在の情報が使用される。決定部662は、予定される操作内容を予め記憶する。決定部662は、取得した操作内容が、予定される操作内容に含まれているか否かを判定する。機器570の操作内容が予定外であれば、決定部662は、処理の非実行を決定する。機器570の操作内容が予定内である場合、決定部662は、人の存在の情報を確認する。操作後に人の存在が不在を示す場合、決定部662は、処理の非実行を決定する。一方、操作後に人の存在が示される場合、決定部662は、処理の実行を決定する。

0104

(2)第2決定処理
第2決定処理では、操作内容、人の感情の情報が使用される。決定部662は、取得した操作内容が、予定される操作内容に含まれているか否かを判定する。機器570の操作内容が予定外であれば、決定部662は、処理の非実行を決定する。機器570の操作内容が予定内である場合、決定部662は、人の感情の情報を確認する。人の感情が不満足である場合、決定部662は、処理の非実行を決定する。一方、人の感情が満足である場合、決定部662は、処理の実行を決定する。

0105

(3)第3決定処理
第3決定処理では、操作内容が使用される。決定部662は、第1決定処理と同様の処理を実行し、操作内容が予定外が予定外であれば、処理の非実行を決定する。一方、決定部662は、操作内容が予定内であれば、処理の実行を決定する。

0106

(4)第4決定処理
第4決定処理では、人の存在の情報が使用される。決定部662は、第1決定処理と同様の処理を実行し、操作後に人の存在が不在であれば、処理の非実行を決定する。一方、決定部662は、操作後に人の存在があれば、処理の実行を決定する。

0107

(5)第5決定処理
第5決定処理では、人の感情の情報が使用される。決定部662は、第2決定処理と同様の処理を実行し、人の感情が不満足であれば、処理の非実行を決定する。一方、決定部662は、人の感情が満足であれば、処理の実行を決定する。

0108

決定部662は、第1決定処理から第5決定処理とは異なるように、操作内容、人の存在の情報、人の感情の情報を組み合わせて、処理を実行するか否かを決定してもよい。決定部662は、決定の結果、つまり学習を実行するか否かに関する情報を出力部654と処理部664に出力する。出力部654は、学習を実行するか否かに関する情報を報知部554に出力する。報知部554は、学習を実行するか否かに関する情報を表示する。

0109

処理部664は、決定部662が学習の実行を決定した場合、学習を実行するが、決定部662が学習の非実行を決定した場合、学習を非実行とする。以下では、学習を実行する場合を説明する。学習部680は、検出情報入力部652からの操作内容を受けつける。そのため、学習部680は、操作内容を入力パラメータ690として受けつける。学習部680は、操作内容に関係付けられている未来の変化量を教師データ682として取得する。学習部680は、入力パラメータ690をもとに処理、具体的には操作行動モデル684を学習させる学習処理を実行する。具体的に説明すると、学習部680は、入力パラメータ690である操作内容と教師データ682とによって、操作行動モデル684を調整する。つまり、学習部680は、入力パラメータ690をニューラルネットワークに入力することによって、教師データ682が出力として得られるように、ニューラルネットワークの重みパラメータなどを調整する。このような調整によって、学習部680は、入力パラメータ690と教師データ682との関係を、ニューラルネットワークに学習させる。その結果、操作行動モデル684が構築される。

0110

次に、図18(b)を使用して推定処理を説明する。図18(b)において、支援システム600は、制御部641、検出情報入力部652、出力部654を含む。制御部641は、取得部660、決定部662、処理部664を含む。取得部660は、操作内容取得部670、人存在取得部672、人感情取得部674を含み、処理部664は、操作行動モデル684、推定部686、推定値688を含む。また、操作部550、カメラ552、人感センサ560は、検出情報入力部652に接続され、報知部554、機器570は、出力部654に接続される。取得部660、決定部662は、図18(a)と同様の処理を実行するので、ここでは説明を省略する。

0111

決定部662は、決定の結果、つまり推定を実行するか否かに関する情報を出力部654と処理部664に出力する。処理部664は、決定部662が推定の実行を決定した場合、推定を実行するが、決定部662が推定の非実行を決定した場合、推定を非実行とする。以下では、推定を実行する場合を説明する。推定部686は、学習部680と同様に、操作内容を入力データ692として受けつける。ここで、操作行動モデル684は、操作の途中から操作内容を認識する。例えば、前述の「機器570の電源オン」、「機器570の温度を28℃に設定」に対して、「機器570の電源オン」が認識されてから、「機器570の温度を28℃に設定」が認識される。推定部686は、入力データ692をもとに処理、具体的には未来の変化量を推定する推定処理を実行する。具体的に説明すると、推定部686は、入力データ692を操作行動モデル684に入力するとともに、操作行動モデル684からの推定値688を取得する。推定値688が未来の変化量である。例えば、「機器570の電源オン」に対して、推定値688として「機器570の電源オン」、「機器570の温度を28℃に設定」が取得される。推定値688において取得した未来の変化量をもとに、処理部664はコマンドを出力する。

0112

以上の構成による支援システム600の動作を説明する。図19は、支援システム600による処理手順を示すフローチャートである。これは、第3決定処理の手順に相当する。操作内容取得部670は、操作内容を取得する(S200)。予定する操作内容である場合(S202のY)、決定部662は、処理の実行を決定する(S204)。予定する操作内容でない場合(S202のN)、決定部662は、処理の非実行を決定する(S206)。報知部554は、処理状態を表示する(S208)。

0113

図20は、支援システム600による別の処理手順を示すフローチャートである。これは、第1決定処理の手順に相当する。操作内容取得部670は、操作内容を取得する(S230)。予定する操作内容である場合(S232のY)、人存在取得部672は、人の存在を認識する(S234)。操作後に人が存在する場合(S236のY)、決定部662は、処理の実行を決定する(S238)。予定する操作内容でない場合(S232のN)、あるいは操作後に人が存在しない場合(S236のN)、決定部662は、処理の非実行を決定する(S240)。報知部554は、処理状態を表示する(S242)。

0114

図21は、支援システム600によるさらに別の処理手順を示すフローチャートである。これは、第2決定処理の手順に相当する。操作内容取得部670は、操作内容を取得する(S260)。予定する操作内容である場合(S262のY)、検出情報入力部652は、画像を取得する(S264)。人感情取得部674は、感情を取得する(S266)。人が満足している場合(S268のY)、決定部662は、処理の実行を決定する(S270)。予定する操作内容でない場合(S262のN)、あるいは人が満足していない場合(S268のN)、決定部662は、処理の非実行を決定する(S272)。報知部554は、処理状態を表示する(S274)。

0115

本実施の形態によれば、機器の操作内容、機器の近傍の人の存在、機器を操作した人の感情のうちの少なくとも1つの情報をもとに処理を実行するか否かを決定するので、学習あるいは推定に不適切な状態における学習あるいは推定の実行を抑制できる。また、機器の操作内容が予定外であれば処理の非実行を決定するので、機器の操作内容が予定外であることによって行動モデルの使用が不適切である場合での学習あるいは推定の実行を抑制できる。また、人の存在が不在であれば処理の非実行を決定するので、人の存在が不在であることによって行動モデルの使用が不適切である場合での学習あるいは推定の実行を抑制できる。また、人の感情が不満足であれば処理の非実行を決定するので、人の感情が不満足であることによって行動モデルの使用が不適切である場合での学習あるいは推定の実行を抑制できる。

0116

以上、本開示に係る実施の形態について図面を参照して詳述してきたが、上述した装置や各処理部の機能は、コンピュータプログラムにより実現されうる。上述した機能をプログラムにより実現するコンピュータは、キーボードマウスタッチパッドなどの入力装置、ディスプレイやスピーカなどの出力装置、CPU(Central Processing Unit)、ROM、RAM、ハードディスク装置やSSD(Solid State Drive)などの記憶装置、DVD−ROM(Digital Versatile Disk Read Only Memory)やUSBメモリなどの記録媒体から情報を読み取る読取装置、ネットワークを介して通信を行うネットワークカードなどを備え、各部はバスにより接続される。

0117

また、読取装置は、上記プログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置に記憶させる。あるいは、ネットワークカードが、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各装置の機能を実現するためのプログラムを記憶装置に記憶させる。また、CPUが、記憶装置に記憶されたプログラムをRAMにコピーし、そのプログラムに含まれる命令をRAMから順次読み出して実行することにより、上記各装置の機能が実現される。

0118

本開示の一態様の概要は、次の通りである。本開示のある態様の支援システムは、行動モデルに関する処理を実行する支援システムであって、検出情報が入力される検出情報入力部と、検出情報入力部に入力された検出情報をもとに、行動モデルの精度に影響を与えうる1つ以上の情報を取得する取得部と、取得部において取得した1つ以上の情報をもとに、処理を実行するか否かを決定する決定部と、決定部が処理の実行を決定した場合、行動モデルに関する処理を実行する処理部とを備える。処理部は、決定部が処理の非実行を決定した場合、行動モデルに関する処理を非実行とする。

0119

この態様によると、行動モデルの精度に影響を与えうる1つ以上の情報をもとに処理を実行するか否かを決定するので、学習あるいは推定に不適切な状態における学習あるいは推定の実行を抑制できる。

0120

本支援システムは、車両での行動モデルに関する処理を実行しており、検出情報入力部には、車両からの検出情報が入力され、取得部は、行動モデルの精度に影響を与えうる1つ以上の情報として、車両の走行困難度、運転者の覚醒度、運転者の運転習熟度のうちの少なくとも1つの情報を導出してもよい。この場合、走行困難度、覚醒度、運転習熟度のうちの少なくとも1つの情報をもとに処理を実行するか否かを決定するので、学習あるいは推定に不適切な状態における学習あるいは推定の実行を抑制できる。

0121

取得部は、車両の走行困難度を導出し、決定部は、取得部において導出した走行困難度がしきい値よりも高ければ、処理の非実行を決定してもよい。この場合、走行困難度が高ければ処理の非実行を決定するので、走行困難度が高いことによって行動モデルの使用が不適切である場合での学習あるいは推定の実行を抑制できる。

0122

取得部は、運転者の覚醒度を導出し、決定部は、取得部において導出した覚醒度がしきい値よりも低ければ、処理の非実行を決定してもよい。この場合、覚醒度が低ければ処理の非実行を決定するので、覚醒度が低いことによって行動モデルの使用が不適切である場合での学習あるいは推定の実行を抑制できる。

0123

取得部は、運転者の運転習熟度を導出し、決定部は、取得部において導出した運転習熟度がしきい値よりも低ければ、処理の非実行を決定してもよい。この場合、運転習熟度が低ければ処理の非実行を決定するので、運転習熟度が低いことによって行動モデルの使用が不適切である場合での学習あるいは推定の実行を抑制できる。

0124

取得部は、車両の走行困難度、運転者の覚醒度、運転者の運転習熟度のうちの2つ以上の情報を導出し、決定部は、取得部において導出した2つ以上の情報の組合せをもとに、処理を実行するか否かを決定してもよい。この場合、走行困難度、覚醒度、運転習熟度のうちの2つ以上の情報の組合せをもとに、処理を実行するか否かを決定するので、決定の精度を向上できる。

0125

取得部は、車両の走行困難度、運転者の覚醒度を導出し、決定部は、走行困難度が第1しきい値以下である場合、覚醒度が第2しきい値よりも低いか、あるいは覚醒度が第3しきい値(第3しきい値>第2しきい値)よりも高ければ、処理の非実行を決定してもよい。この場合、走行困難度と覚醒度との組合せをもとに、処理の非実行を決定するので、決定の精度を向上できる。

0126

取得部は、車両の走行困難度、運転者の覚醒度を導出し、決定部は、走行困難度が第1しきい値より高い場合、覚醒度が第4しきい値よりも低ければ、処理の非実行を決定してもよい。この場合、走行困難度と覚醒度との組合せをもとに、処理の非実行を決定するので、決定の精度を向上できる。

0127

取得部は、運転者の覚醒度、運転者の運転習熟度を導出し、決定部は、運転習熟度が高くなるほどしきい値を低くするとともに、覚醒度がしきい値よりも低ければ処理の非実行を決定してもよい。この場合、覚醒度と運転習熟度との組合せをもとに、処理の非実行を決定するので、決定の精度を向上できる。

0128

取得部は、車両の走行困難度、運転者の運転習熟度を導出し、決定部は、運転習熟度が高くなるほどしきい値を高くするとともに、走行困難度がしきい値よりも高ければ処理の非実行を決定してもよい。この場合、走行困難度と運転習熟度との組合せをもとに、処理の非実行を決定するので、決定の精度を向上できる。

0129

本支援システムは、発話についての行動モデルに関する処理を実行しており、検出情報入力部には、発話についての検出情報が入力され、取得部は、行動モデルの精度に影響を与えうる1つ以上の情報として、発話の内容、発話の話者、行動モデルの処理位置のうちの少なくとも1つの情報を取得してもよい。この場合、発話の内容、発話の話者、行動モデルの処理位置のうちの少なくとも1つの情報をもとに処理を実行するか否かを決定するので、学習あるいは推定に不適切な状態における学習あるいは推定の実行を抑制できる。

0130

取得部は、発話の内容を取得し、決定部は、取得部において取得した発話の内容が予定外であれば、処理の非実行を決定してもよい。この場合、発話の内容が予定外であれば処理の非実行を決定するので、発話の内容が予定外であることによって行動モデルの使用が不適切である場合での学習あるいは推定の実行を抑制できる。

0131

取得部は、発話の話者を認識し、決定部は、取得部において認識した発話の話者が予定外であれば、処理の非実行を決定してもよい。この場合、発話の話者が予定外であれば処理の非実行を決定するので、発話の話者が予定外であることによって行動モデルの使用が不適切である場合での学習あるいは推定の実行を抑制できる。

0132

取得部は、行動モデルの処理位置を取得し、決定部は、取得部において取得した行動モデルの処理位置が発話位置からネットワークを介して離れていなければ、処理の非実行を決定してもよい。この場合、行動モデルの処理位置が発話位置からネットワークを介して離れていなければ処理の非実行を決定するので、行動モデルの処理位置が発話位置からネットワークを介して離れていることによって行動モデルの使用が不適切である場合での学習あるいは推定の実行を抑制できる。

0133

本支援システムは、機器に対する行動モデルに関する処理を実行しており、検出情報入力部には、機器に対する検出情報が入力され、取得部は、行動モデルの精度に影響を与えうる1つ以上の情報として、機器の操作内容、機器の近傍の人の存在、機器を操作した人の感情のうちの少なくとも1つの情報を取得してもよい。この場合、機器の操作内容、機器の近傍の人の存在、機器を操作した人の感情のうちの少なくとも1つの情報をもとに処理を実行するか否かを決定するので、学習あるいは推定に不適切な状態における学習あるいは推定の実行を抑制できる。

0134

取得部は、機器の操作内容を取得し、決定部は、取得部において取得した機器の操作内容が予定外であれば、処理の非実行を決定してもよい。この場合、機器の操作内容が予定外であれば処理の非実行を決定するので、機器の操作内容が予定外であることによって行動モデルの使用が不適切である場合での学習あるいは推定の実行を抑制できる。

0135

取得部は、機器の近傍の人の存在を認識し、決定部は、取得部において認識した人の存在が不在であれば、処理の非実行を決定してもよい。この場合、人の存在が不在であれば処理の非実行を決定するので、人の存在が不在であることによって行動モデルの使用が不適切である場合での学習あるいは推定の実行を抑制できる。

0136

取得部は、機器を操作した人の感情を取得し、決定部は、取得部において取得した人の感情が不満足であれば、処理の非実行を決定してもよい。この場合、人の感情が不満足であれば処理の非実行を決定するので、人の感情が不満足であることによって行動モデルの使用が不適切である場合での学習あるいは推定の実行を抑制できる。

0137

処理部における処理は、行動モデルを学習させる学習処理であり、処理部は、入力パラメータによって行動モデルを構築してもよい。この場合、学習を実行か否かを決定するので、学習に適さない状況における学習の実行を抑制できる。

0138

処理部における処理は、行動を推定する推定処理であり、処理部は、入力データを行動モデルに入力するとともに、行動モデルからの出力を行動として取得してもよい。この場合、推定を実行か否かを決定するので、推定に適さない状況における推定の実行を抑制できる。

0139

処理部における処理は、行動モデルを学習させる学習処理と、行動を推定する推定処理であり、処理部は、学習処理を実行する場合、入力パラメータによって行動モデルを構築し、推定処理を実行する場合、入力データを行動モデルに入力するとともに、行動モデルからの出力を行動として取得してもよい。この場合、学習および推定を実行か否かを決定するので、学習および推定に適さない状況における学習および推定の実行を抑制できる。

0140

本開示の別の態様もまた、支援装置である。この装置は、行動モデルに関する処理を実行する支援装置であって、検出情報が入力される検出情報入力部と、検出情報入力部に入力された検出情報をもとに、行動モデルの精度に影響を与えうる1つ以上の情報を取得する取得部と、取得部において取得した1つ以上の情報をもとに、処理を実行するか否かを決定する決定部と、決定部が処理の実行を決定した場合、行動モデルに関する処理を実行する処理部とを備える。処理部は、決定部が処理の非実行を決定した場合、行動モデルに関する処理を非実行とする。

0141

この態様によると、行動モデルの精度に影響を与えうる1つ以上の情報をもとに処理を実行するか否かを決定するので、学習あるいは推定に不適切な状態における学習あるいは推定の実行を抑制できる。

0142

本開示のさらに別の態様は、支援方法である。この方法は、行動モデルに関する処理を実行する支援方法であって、検出情報が入力されるステップと、入力された検出情報をもとに、行動モデルの精度に影響を与えうる1つ以上の情報を取得するステップと、取得した1つ以上の情報をもとに、処理を実行するか否かを決定するステップと、処理の実行を決定した場合、行動モデルに関する処理を実行するステップと、処理の非実行を決定した場合、行動モデルに関する処理を非実行とするステップと、を備える。

0143

以上、本開示を実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。

0144

実施の形態1から3において、処理部64は、学習部80あるいは推定部86を含む。しかしながらこれに限らず例えば、処理部64は、学習部80および推定部86を含んでもよい。この場合、処理部64は、学習処理および推定処理を実行する。処理部64は、処理部464、処理部664であってもよく、学習部80は、学習部480、学習部680であってもよく、推定部86は、推定部486、推定部686であってもよい。本変形例によれば、学習および推定を実行か否かを決定するので、学習および推定に適さない状況における学習および推定の実行を抑制できる。

0145

実施の形態1において、運転行動モデル84の学習、推定が実行される。行動は、運転行動でもよいし、運転外行動でもよい。例えば、運転外行動とは、車載機器の操作や、自動運転レベル3で許可される第二タスク(運転を第一タスクと定義し、運転以外のテキスト読む行動など何を第二タスクとして許可するかは今後決定される)である。運転行動以外の行動を推定する場合は、車載機器から取得する温度調整量音量調整量、エアコン操作量などの時系列データが処理に使用される。例えば、運転者の眠気が高いとき、音量を調整しようとして、不意に音量を最大に調整してしまうこともあり得る。この場合は学習しないとすることで、意図しない誤操作の学習を抑制できる。これら運転行動外の行動にも適用することにより、運転が未熟走行環境が走行困難、眠気があるような運転外行動が意図したように行えないような状況における運転外行動の学習を抑制し、同様の状況において不適切な運転外行動の推定に基づき、運転外行動の支援をしないように、運転外行動の適切な学習と推定が行える。例えば、運転が未熟あるいは走行環境が走行困難であるが、無理に手を伸ばして、あるいは普段操作するのとは異なる指などで窓を開ける操作をしたことを学習しないよう抑制すれば、同様の状況のときに窓を開ける操作を推定して自動で窓を開けて、運転に集中すべきときに、運転に集中できなくなるような事態を防ぐことができる。上記運転行動と運転外行動を合わせて、行動と呼ぶ。運転行動モデルと運転外行動モデルを合わせて、行動モデルと呼ぶ。支援装置は、自動運転のために行動モデルを学習させること、行動モデルをもとに行動を推定することの少なくとも一方を実行する。

0146

2報知装置、 2aヘッドアップディスプレイ、 2bセンタディスプレイ、 4入力装置、 4a 第1操作部、 4b 第2操作部、 4c 第3操作部、 6スピーカ、 8無線装置、 10運転操作部、 11ステアリング、 12ブレーキペダル、 13アクセルペダル、 14ウィンカスイッチ、 20 検出部、 21位置情報取得部、 22センサ、 23速度情報取得部、 24地図情報取得部、 25走行環境センサ、 26監視センサ、 27車両情報センサ、 30自動運転制御装置、 31 制御部、 32 記憶部、 33 I/O部、 40運転支援装置、 41 制御部、 42 記憶部、 43 I/O部、 50操作信号入力部、 51 画像・音声出力部、 52検出情報入力部、 53コマンドIF、 54行動情報入力部、 55コマンド出力部、 56通信IF、 60 取得部、 62 決定部、 64 処理部、 70走行困難度取得部、 72覚醒度取得部、 74運転習熟度取得部、 80 学習部、 82教師付けデータ、 84運転行動モデル、 86推定部、 88推定値、 90入力パラメータ、 92 入力データ、 100 車両。

0147

本開示によれば、学習あるいは推定に不適切な状態における学習あるいは推定の実行を抑制できる。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ