図面 (/)

この項目の情報は公開日時点(2019年5月23日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (16)

課題

一例として、乗員の運転支援装置に対する話しかけにくさを低減する。

解決手段

実施形態にかかる運転支援装置は、車内を撮像する撮像装置撮像画像に含まれる乗員の顔画像から、乗員の視線の向きを検出する視線検出部と、視線検出部が、乗員の視線が、車内に設置された発光装置を向いていることを検出した場合に、発光装置の発光の態様を変化させる発光制御部と、を備える。

概要

背景

従来、乗員の音声による命令を認識する運転支援装置の技術が知られている。また、乗員を撮像した画像から乗員の発話の有無を判断し、発話していると判断した場合にのみ、音声認識を行う運転支援装置が知られている。

概要

一例として、乗員の運転支援装置に対する話しかけにくさを低減する。実施形態にかかる運転支援装置は、車内を撮像する撮像装置撮像画像に含まれる乗員の顔画像から、乗員の視線の向きを検出する視線検出部と、視線検出部が、乗員の視線が、車内に設置された発光装置を向いていることを検出した場合に、発光装置の発光の態様を変化させる発光制御部と、を備える。

目的

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

車内を撮像する撮像装置撮像画像に含まれる乗員の顔画像から、前記乗員の視線の向きを検出する視線検出部と、前記視線検出部が前記乗員の視線が前記車内に設置された発光装置を向いていることを検出した場合に、前記発光装置の発光の態様を変化させる発光制御部と、を備えた運転支援装置

請求項2

前記発光制御部は、前記視線検出部が前記乗員の視線が前記発光装置を向いていることを検出した場合に、前記乗員がいる方向に発光するよう、前記発光装置を制御する、請求項1に記載の運転支援装置。

請求項3

前記乗員の発話を検出する発話検出部、をさらに備え、前記発光制御部は、前記発話検出部が前記乗員の発話を検出した場合に、発話をした前記乗員がいる方向に発光するよう、前記発光装置を制御する、請求項1または2に記載の運転支援装置。

請求項4

前記発光制御部は、前記視線検出部が1人の前記乗員の視線が前記発光装置を向いていることを検出した場合と、前記視線検出部が複数の前記乗員の視線が前記発光装置を向いていることを検出した場合とでは、異なる態様で前記発光装置を発光させる、請求項1から3のいずれか1項に記載の運転支援装置。

請求項5

前記発光制御部は、前記発光装置が設置された車両が自動運転制御されている場合と、前記車両が手動運転されている場合とでは、異なる態様で前記発光装置を発光させる、請求項1から4のいずれか1項に記載の運転支援装置。

技術分野

0001

本発明の実施形態は、運転支援装置に関する。

背景技術

0002

従来、乗員の音声による命令を認識する運転支援装置の技術が知られている。また、乗員を撮像した画像から乗員の発話の有無を判断し、発話していると判断した場合にのみ、音声認識を行う運転支援装置が知られている。

先行技術

0003

特開平11−352987号公報

発明が解決しようとする課題

0004

しかしながら、従来は、乗員が命令のために音声を発する際、運転支援装置に対して「話しかけにくさ」を感じる場合があった。

課題を解決するための手段

0005

本発明の実施形態にかかる運転支援装置は、一例として、車内を撮像する撮像装置撮像画像に含まれる乗員の顔画像から、乗員の視線の向きを検出する視線検出部と、視線検出部が乗員の視線が車内に設置された発光装置を向いていることを検出した場合に、発光装置の発光の態様を変化させる発光制御部と、を備える。よって、実施形態にかかる運転支援装置によれば、発光装置を乗員の視線に対して応答するように動作させるため、一例としては、乗員の運転支援装置に対する話しかけにくさを低減することができる。

0006

上記運転支援装置では、一例として、発光制御部は、視線検出部が乗員の視線が発光装置を向いていることを検出した場合に、乗員がいる方向に発光するよう、発光装置を制御する。よって、実施形態にかかる運転支援装置によれば、一例としては、乗員に対して、視線を検出していることをより明確に示すことができる。

0007

上記運転支援装置は、一例として、乗員の発話を検出する発話検出部、をさらに備え、発光制御部は、発話検出部が乗員の発話を検出した場合に、発話をした乗員がいる方向に発光するよう、発光装置を制御する。よって、実施形態にかかる運転支援装置によれば、一例としては、乗員に対して、発話を検出していることをより明確に示すことができる。

0008

上記運転支援装置では、一例として、発光制御部は、視線検出部が1人の乗員の視線が発光装置を向いていることを検出した場合と、視線検出部が複数の乗員の視線が発光装置を向いていることを検出した場合とでは、異なる態様で発光装置を発光させる。よって、実施形態にかかる運転支援装置によれば、発光装置を複数の乗員の視線に対してそれぞれ応答するように動作させるため、一例としては、各乗員の運転支援装置に対する話しかけにくさを低減することができる。

0009

上記運転支援装置では、一例として、発光制御部は、発光装置が設置された車両が自動運転制御されている場合と、車両が手動運転されている場合とでは、異なる態様で発光装置を発光させる。よって、実施形態にかかる運転支援装置によれば、一例としては、車両が自動運転制御中であるか否かを乗員が容易に確認することができる。

図面の簡単な説明

0010

図1は、実施形態1にかかる車両の車室の一部が透視された状態が示された例示的な斜視図である。
図2は、実施形態1にかかる撮像装置の配置の一例を示す図である。
図3は、実施形態1にかかる運転支援システムハードウェア構成の一例を示す図である。
図4は、実施形態1にかかるECUが有する機能の一例を示すブロック図である。
図5は、実施形態1にかかる撮像画像の一例を示す図である。
図6は、実施形態1にかかる発光装置の発光の態様の一例を示す図である。
図7は、実施形態1にかかる発光装置の制御処理の手順の一例を示すフローチャートである。
図8は、変形例1にかかる発光装置の発光の態様の一例を示す図である。
図9は、実施形態2にかかる車両の車室の一部が透視された状態が示された例示的な斜視図である。
図10は、実施形態2にかかる撮像画像の一例を示す図である。
図11は、実施形態2にかかる発光装置の発光の態様の一例を示す図である。
図12は、実施形態2にかかる発光装置の発光の態様の他の一例を示す図である。
図13は、実施形態2にかかる発光装置の制御処理の手順の一例を示すフローチャートである。
図14は、実施形態3にかかるECUが有する機能の一例を示すブロック図である。
図15は、実施形態3にかかる発光装置の制御処理の手順の一例を示すフローチャートである。

実施例

0011

(実施形態1)
本実施形態においては、車両に搭載した発光装置を、乗員の視線が向けられた場合に発光するように運転支援装置が制御することにより、乗員が命令のために音声を発する際に感じる運転支援装置に対する話しかけにくさを低減する。以下、本実施形態の運転支援装置を車両1に搭載した例を挙げて説明する。

0012

図1は、本実施形態にかかる車両1の車室2aの一部が透視された状態が示された例示的な斜視図である。車両1は、例えば、内燃機関自動車であってもよいし、電気自動車燃料電池自動車ハイブリッド自動車等であってもよいし、他の駆動源を備えた自動車であってもよい。また、車両1は、種々の変速装置を搭載することができるし、内燃機関電動機を駆動するのに必要な種々の装置、例えばシステム部品等を搭載することができる。

0013

また、図1に例示されるように、車両1は、例えば、四輪自動車であり、左右2つ前輪3Fと、左右2つの後輪3Rとを有する。これら4つの車輪3は、いずれも転舵可能に構成されうる。車両1における車輪3の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。

0014

図1に例示されるように、車体2は、不図示の乗員が乗車する車室2aを構成している。車室2a内には、乗員としての運転者座席40a(運転席)に臨む状態で、操舵部4や、加速操作部5、制動操作部6、変速操作部7等が設けられている。

0015

操舵部4は、例えば、ダッシュボード12から突出したステアリングホイールハンドル)である。また、加速操作部5は、例えば、運転者の足下に位置されたアクセルペダルである。また、制動操作部6は、例えば、運転者の足下に位置されたブレーキペダルである。また、変速操作部7は、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部4や、加速操作部5、制動操作部6、変速操作部7は、これらに限定されるものではない。

0016

また、車両1の車内には、発光装置30が設置される。本実施形態においては、発光装置30は、車室2a内のダッシュボード12上に設置される。発光装置30は、発光の態様を変更可能である。より詳細には、発光装置30は、例えば、ドーム形状カバー内に、複数のLED(light emitting diode)を備え、LEDを点灯させることにより、様々な形状の発光部を表示する。また、発光装置30は、光の色を変更することができる。発光装置30は、後述するECU(electronic control unit)により制御される。本実施形態における発光装置30の設置位置は一例であり、これに限定されるものではない。また、発光装置30の構成はこれに限定されるものではなく、液晶パネル等を用いても良い。

0017

また、車室2a内には、モニタ装置11が設けられている。モニタ装置11は、表示装置図3に図示)や、音声出力装置図3に図示)が設けられている。音声出力装置は、例えば、スピーカである。また、表示装置は、例えば、LCD(liquid crystal display)や、OELD(organic electroluminescent display)等である。また、表示装置は、例えば、タッチパネル等、透明な操作入力部(図3に図示)で覆われている。

0018

また、車体2の天井には、音声入力部24が設けられている。音声入力部24は例えばマイクであり、車室2a内の乗員の音声を入力可能である。図1に示す音声入力部24の設置位置は一例であり、これに限定されるものではない。

0019

また、操舵部4とダッシュボード12とを接続するハンドルコラム図2に図示)には、車両1の車内を撮像する撮像装置15が設置されている。この撮像装置15は、例えば、CCD(Charge Coupled Device)カメラ等である。

0020

図2は、本実施形態にかかる撮像装置15の配置の一例を示す図である。本実施形態においては、撮像装置15は、ハンドルコラム41に設置されている。撮像装置15は、座席40aに着座する乗員42aの顔が、視野中心に位置するように、視野角及び姿勢が調整されている。この撮像装置15は、車両1の車内を撮像し、撮像により得た画像データである撮像画像を、後述するECUへ順次出力する。また、本実施形態における運転者は、車両1の乗員のうち、操舵部4に面した座席40aに着座している乗員42aのことをいう。車両1が自動運転制御中である場合等、運転者は、必ずしも車両1の運転制御を行っていなくとも良い。

0021

図3は、本実施形態にかかる運転支援システム10のハードウェア構成の一例を示す図である。図3に示すように、車両1に搭載された運転支援システム10では、ECU14や、モニタ装置11、発光装置30等の他、ブレーキシステム18、舵角センサ19(角度センサ)、アクセルセンサ20、シフトセンサ21、車輪速センサ22、操舵システム13、音声入力部24等が、電気通信回線としての車内ネットワーク23を介して電気的に接続されている。車内ネットワーク23は、例えば、CAN(controller area network)として構成される。なお、音声入力部24は車内ネットワーク23を介さずに、直接ECU14と接続する構成を採用しても良い。

0022

ECU14は、発光装置30の発光の態様を制御する。また、ECU14は、撮像装置15から撮像画像を取得する。また、ECU14は、車内ネットワーク23を通じて制御信号を送ることで、操舵システム13、ブレーキシステム18等を制御する。また、ECU14は、車内ネットワーク23を介して、トルクセンサ13b、ブレーキセンサ18b、舵角センサ19、アクセルセンサ20、シフトセンサ21、車輪速センサ22、音声入力部24等の検出結果、ならびに、操作入力部8c等の指示信号(制御信号、操作信号、入力信号、データ)を受け取る。ECU14は、本実施形態における運転支援装置の一例である。

0023

ECU14は、例えば、CPU14a(central processing unit)や、ROM14b(read only memory)、RAM14c(random access memory)、表示制御部14d、音声制御部14e、SSD14f(solid state drive、フラッシュメモリ)等を有している。

0024

CPU14aは、ROM14b等の不揮発性記憶装置インストールされ記憶されたプログラム読み出し、当該プログラムにしたがって演算処理を実行する。また、表示制御部14dは、ECU14での演算処理のうち、主として、撮像装置15で得られた画像データを用いた画像処理や、表示装置8aで表示される画像データの合成等を実行する。また、音声制御部14eは、ECU14での演算処理のうち、主として、音声出力装置8bで出力される音声データの処理を実行する。

0025

また、操舵システム13は、少なくとも2つの車輪3を操舵する。操舵システム13は、アクチュエータ13aと、トルクセンサ13bとを有する。

0026

また、ブレーキシステム18は、アクチュエータ18aと、ブレーキセンサ18bとを有する。ブレーキシステム18は、アクチュエータ18aを介して、車輪3ひいては車両1に制動力を与える。

0027

上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定(変更)することができる。

0028

図4は、本実施形態にかかるECU14が有する機能の一例を示すブロック図である。図4に示すように、ECU14は、記憶部140と、取得部141と、視線検出部142と、発話検出部143と、発光制御部144と、音声認識モード切替部145と、音声認識部146とを備える。

0029

取得部141と、視線検出部142と、発話検出部143と、発光制御部144と、音声認識モード切替部145と、音声認識部146との各構成は、CPU14aが、ROM14b内に格納されたプログラムを実行することで実現される。なお、これらの構成をハードウェア回路で実現するように構成しても良い。

0030

記憶部140は、音声認識モードの設定値を記憶する。音声認識モードの設定値は、音声による命令の入力を受け付け音声認識機能感度の設定値である。音声認識モードの設定値は、例えば、“低”、“中”、“高”の3段階とする。後述の音声認識部146は、記憶部140に記憶された音声認識モードの設定値に応じて、乗員の音声認識を実行する。本実施形態における音声認識モードの設定値は一例であり、これに限定されるものではない。また、記憶部140は、例えば、SSD14f等の記憶装置によって構成される。

0031

取得部141は、撮像装置15から撮像画像を取得する。

0032

視線検出部142は、取得部141が取得した撮像画像に含まれる乗員42aの顔画像から、乗員42aの視線の向きを検出する。

0033

より詳細には、視線検出部142は、例えば、撮像画像から、乗員42aの顔の向き、目の位置、および目が向いている方向などを特定して、乗員42aの視線の向きを検出する。また、視線検出部142は、検出した乗員42aの視線が、発光装置30を向いているか否かを判断する。撮像画像における乗員42aの視線がいずれの向きである場合に発光装置30を向いていると判断するかは、予め登録されるものとする。例えば、撮像装置15の撮像範囲と、発光装置30の位置関係は、予め記憶部140に登録されても良い。また、視線検出部142は、検出した乗員42aの視線が、予め記憶された発光装置30を向いているか否かを判断する。なお、視線検出部142による視線の向きの検出の手法はこれに限定されるものではなく、他の公知の手法を採用しても良い。

0034

図5は、本実施形態にかかる撮像画像60の一例を示す図である。視線検出部142は、撮像画像60に含まれる乗員42aの顔画像から、乗員42aの視線D1を検出する。本実施形態においては、視線検出部142は、乗員42aの視線D1が撮像画像60の斜め左下を向く場合に、乗員42aの視線D1が、発光装置30を向いていると判断する。乗員42aと発光装置30との位置関係は一例であり、これに限定されるものではない。

0035

図4戻り、発話検出部143は、乗員42aの発話を検出する。より詳細には、本実施形態の発話検出部143は、取得部141が取得した撮像画像60に含まれる乗員42aの顔画像から、乗員42aの口の動作を検出することによって、乗員42aが発話をしたことを検出する。一般に、車内にはラジオの音等の雑音が存在するが、発話検出部143は、撮像画像60から乗員42aの口の動作を検出するため、雑音等を乗員42aの発話と誤検出することを抑制できる。このため、本実施形態の発話検出部143は、乗員42aが発話をしたことを高精度に検出することができる。

0036

また、本実施形態においては、発光装置30が車内に設置されているため、発話の際に乗員42aの顔が発光装置30に向けられやすくなる。このため、乗員42aの顔が撮像装置15に撮像されやすくなり、発話検出部143は、乗員42aの発話をより高精度に検出することができる。

0037

発光制御部144は、乗員の視線に基づいて、発光装置30の発光の態様を変化させる。より詳細には、本実施形態の発光制御部144は、視線検出部142が乗員42aの視線が発光装置30を向いていることを検出した場合に、発光装置30の発光の態様を変化させる。また、発光制御部144は、発話検出部143が乗員42aの発話を検出した場合に、乗員42aがいる方向に発光するよう、発光装置30を制御する。

0038

図6は、本実施形態にかかる発光装置30の発光の態様の一例を示す図である。図6に示す例では、発光装置30は、円形の発光部301aを発光させ、他の場所は消灯している。本実施形態においては、乗員42aが発光装置30に視線D1を向けたことが検出されず、かつ、乗員42aの発話も検出されていない状態においては、発光装置30は消灯状態であるものとする。

0039

発光制御部144は、視線検出部142が乗員42aの視線D1が発光装置30を向いていることを検出した場合に、乗員42aがいる方向に、青色に発光する円形の発光部301aを表示するよう、発光装置30を制御する。乗員42aがいる方向は、予め登録されているものとする。例えば、発光装置30が設置される位置と、乗員42aが着座する座席40aとの位置関係が、予め記憶部140に登録されても良い。

0040

また、発光制御部144は、さらに、乗員42aの発話が検出された場合に、乗員42aがいる方向に、オレンジ色に発光する円形の発光部301aを表示するよう、発光装置30を制御する。発光部301aの形状、および色は一例であり、これに限定されるものではない。

0041

発光制御部144が、乗員42aの視線D1と発話とに基づいて、発光装置30の発光の態様を変化させることにより、発光装置30は、乗員42aの視線D1と発話とに対して応答するように動作する。このように発光装置30が動作することで、乗員42aが音声による命令の入力をする際に話しかけにくさを感じることを低減することができる。

0042

図4に戻り、音声認識モード切替部145は、乗員42aの視線D1または発話に基づいて、音声認識モードの設定値を切り替える。また、本実施形態においては、乗員42aの視線D1が発光装置30に向けられず、乗員42aが発話をしていない場合には、記憶部140に記憶された音声認識モードの設定値は“低”であるものとする。

0043

より詳細には、音声認識モード切替部145は、視線検出部142が乗員42aの視線D1が発光装置30を向いていることを検出した場合に、記憶部140に記憶された音声認識モードの設定値を“中”に変更する。本実施形態においては、乗員42aが視線D1を発光装置30に向けている場合は、乗員42aが音声による命令の入力をする意図があるものとする。例えば、予め、乗員42aに対して、音声による命令の入力の際には発光装置30を見るように案内をしておいても良い。また、音声認識モード切替部145は、発話検出部143が乗員42aの発話を検出した場合に、記憶部140に記憶された音声認識モードの設定値を“高”に変更する。

0044

音声認識部146は、音声入力部24に入力された音声に対して音声認識処理を行い、命令の内容を特定する。より詳細には、音声認識部146は、記憶部140に記憶された音声認識モードの設定値が高いほど、音声認識の感度を上げるものとする。例えば、音声認識部146は、音声認識モードの設定値が高いほど、入力された音が雑音ではなく、乗員42aの音声による命令である可能性が高いものとして、高精度に単語の切り出しの処理を行う。音声認識部146は、音声認識モードの設定値によって、入力された音声から、乗員42aの命令が含まれている可能性が高い区間を特定することができるため、より高精度に音声認識をすることができる。また、音声認識部146は、ECU14が起動している間は常に音声認識処理を実行しているものとする。なお、音声認識の手法はこれに限定されるものではなく、他の公知の手法を採用することができる。

0045

次に、以上のように構成された本実施形態のECU14における発光装置30の制御処理について説明する。図7は、本実施形態にかかる発光装置30の制御処理の手順の一例を示すフローチャートである。このフローチャートの処理は、ECU14が起動している間、繰り返し実行されるものとする。

0046

取得部141は、撮像装置15から撮像画像60を取得する(S1)。次に、視線検出部142は、取得部141が取得した撮像画像60に含まれる乗員42aの顔画像から、乗員42aの視線D1の向きを検出する。視線検出部142が乗員42aの視線D1が発光装置30を向いていることを検出した場合(S2“Yes”)、発光制御部144は、乗員42aがいる方向に、青色に発光する発光部301aを表示するよう、発光装置30を制御する(S3)。

0047

また、音声認識モード切替部145は、視線検出部142が乗員42aの視線D1が発光装置30を向いていることを検出した場合に、記憶部140に記憶された音声認識モードの設定値を“中”に変更する(S4)。

0048

そして、発話検出部143は、取得部141が取得した撮像画像60に含まれる乗員42aの顔画像から、乗員42aの口の動作を検出することによって、乗員42aが発話をしたか否かを判断する。発話検出部143が乗員42aの発話を検出した場合(S5“Yes”)、発光制御部144は、乗員42aがいる方向に、オレンジ色に発光する発光部301aを表示するよう、発光装置30を制御する(S6)。

0049

また、音声認識モード切替部145は、発話検出部143が乗員42aの発話を検出した場合に、記憶部140に記憶された音声認識モードの設定値を“高”に変更する(S7)。

0050

視線検出部142が撮像画像60から乗員42aの視線が発光装置30を向いていることを検出しなかった場合(S2“No”)、S3、S4の処理は実行されず、S5の処理に進む。また、発話検出部143が撮像画像60から乗員42aの発話を検出しなかった場合(S5“No”)、S6、S7の処理は実行されず、このフローチャートの処理は終了する。

0051

このように、本実施形態のECU14によれば、発光制御部144が、視線検出部142が乗員42aの視線D1が発光装置30を向いていることを検出した場合に、発光装置30の発光の態様を変化させるため、発光装置30が乗員42aの視線D1に対して応答するように動作する。このため、本実施形態のECU14によれば、乗員42aのECU14への話しかけにくさを低減することができる。

0052

また、本実施形態のECU14によれば、発光制御部144が、視線検出部142が、乗員42aの視線D1が発光装置30を向いていることを検出した場合に、乗員42aがいる方向に発光するよう、発光装置30を制御するため、乗員42aに対して、視線D1を検出していることをより明確に示すことができる。

0053

発光制御部144は、発話検出部143が乗員42aの発話を検出した場合に、乗員42aがいる方向に発光するよう、発光装置30を制御する。よって、本実施形態のECU14によれば、乗員42aに対して、発話を検出していることを明確に示すことができる。

0054

また、発光装置30が乗員42aがいる方向に発光することにより、乗員42aに対して、発光装置30が乗員42aを見ている、または認識しているように感じさせるように演出をすることができる。また、発光装置30が乗員42aの視線D1等に反応して、乗員42aがいる方向に発光することにより、動物らしさのある反応を表現して、無機質さを和らげることができる。

0055

(変形例1)
実施形態1では、発光装置30には1つの発光部301aが表示されるものとしたが、発光装置30の発光の態様はこれに限定されるものではない。図8は、本変形例にかかる発光装置30の発光の態様の一例を示す図である。図8に示すように、発光制御部144は、乗員42aが発光装置30に視線D1を向けたことが検出された場合、または、乗員42aの発話が検出された場合に、乗員42aがいる方向に、青色に発光する2つの円形の発光部301dおよび発光部301eを表示するよう、発光装置30を制御しても良い。本変形例の構成を採用した場合、発光部301d,301eが発光装置30の目のような形状となるため、乗員42aの視線D1または音声に対して応答していることを乗員42aにより強く感じさせやすくなる。

0056

また、図8に示す発光の態様に限らず、発光制御部144は、発光部が発光装置30の縁に沿って周回して移動するように制御しても良いし、発光装置30全体が発光や点滅をするように制御しても良い。また、実施形態1では、乗員42aが発光装置30に視線D1を向けたことが検出されず、かつ、乗員42aの発話も検出されていない状態においては発光装置30は発光していないものとしたが、視線D1や発話が検出されていない場合も発光装置30が発光していても良い。

0057

(変形例2)
実施形態1では、発光制御部144は、乗員42aの視線D1および発話に基づいて発光装置30の発光の態様を変更しているが、視線D1のみに基づいて発光の態様を変更しても良い。本変形例の構成を採用する場合は、図7に示したフローチャートのS1〜S4の処理が実行され、S5〜S7の処理は実行されないものとする。

0058

(変形例3)
実施形態1では、乗員42aの発話が検出された場合、乗員42aの視線D1が発光装置30に向けられているか否かに関わらず音声認識モードの設定値が“高”に設定されるものとしたが、乗員42aの視線D1が発光装置30に向けられている場合に、音声認識モードの設定値がより高く設定されるものとしても良い。より詳細には、音声認識モード切替部145は、乗員42aの視線D1が発光装置30に向けられておらず、かつ、乗員42aの発話が検出された場合よりも、乗員42aの視線D1が発光装置30に向けられ、かつ、乗員42aの発話が検出された場合に、音声認識モードの設定値を高く設定しても良い。本変形例の構成を採用する場合、乗員42aが音声による命令の入力の意図をもって発話している場合に、音声認識の感度をより高くすることができる。

0059

(変形例4)
実施形態1では、発話検出部143は、撮像画像60から乗員42aの発話を検出していたが、音声によって乗員42aの発話を検出しても良い。例えば、発話検出部143は、音声入力部24から入力された音声から音源の方向を推定し、乗員42aがいる方向からの音声であれば乗員42aが発話していると判断しても良い。

0060

(変形例5)
実施形態1のECU14では、乗員42aの視線D1または発話に基づいて音声認識モードの設定値を変更していたが、乗員者42aの視線D1または発話に基づいて音声認識機能の“オン”、“オフ”を切り替える構成を採用しても良い。例えば、乗員42aが発光装置30に視線D1を向けたことが検出されず、かつ、乗員42aの発話も検出されていない状態においては音声認識機能はオフ状態、つまり音声入力を受け付けない状態であっても良い。そして、乗員42aが発光装置30に視線D1を向けたことが検出された場合、または、乗員42aの発話が検出された場合に、音声認識機能がオン状態、つまり音声入力を受け付ける状態になるものとしても良い。

0061

(実施形態2)
実施形態1では、運転者である乗員42aの視線D1または発話に応じて発光装置30の発光の態様が変化していた。本実施形態においては、ECU14は、運転者だけではなく、他の乗員の視線や発話によっても、発光装置30の発光の態様を変化させる。

0062

図9は、本実施形態にかかる車両1の車室2aの一部が透視された状態が示された例示的な斜視図である。本実施形態の車両1においては、実施形態1の撮像装置15の代わりに、撮像装置1015が設けられている。撮像装置1015は、広角カメラであり、車両1内の運転席、助手席後部座席に着座している各乗員の顔が撮像範囲に含まれるように設定されている。

0063

図10は、本実施形態にかかる撮像画像1060の一例を示す図である。図10に示すように、撮像画像1060には、座席40a〜40cに着座した乗員42a〜42dの顔画像が含まれる。座席40a〜40cを特に区別しない場合には単に座席40という。以下、乗員42a〜42dを特に区別しない場合には単に乗員42という。図10に示す乗員42の数は一例であり、これに限定されるものではない。

0064

本実施形態においては、図9に示すように、撮像装置1015は、車両1のモニタ装置11の上部に設けられる。図9に示す撮像装置1015の設置位置は一例であり、これに限定されるものではない。例えば、撮像装置1015は、ダッシュボード12の上に設置されても良い。

0065

また、本実施形態のECU14は、撮像装置1015から撮像画像を取得する。車両1の他の構成については、図1および図2で説明した実施形態1の構成と同様である。なお、車両1は、実施形態1の撮像装置15と、撮像装置1015と、の両方を備える構成を採用しても良い。

0066

また、本実施形態のECU14は、実施形態1と同様に、記憶部140と、取得部141と、視線検出部142と、発話検出部143と、発光制御部144と、音声認識モード切替部145と、音声認識部146と、を備える。

0067

本実施形態の記憶部140と、取得部141と、音声認識モード切替部145と、音声認識部146とは、実施形態1と同様の機能を有する。

0068

本実施形態の視線検出部142は、取得部141が取得した撮像画像1060に含まれる乗員42の顔画像から、乗員42の視線の向きを検出する。本実施形態においては、視線検出部142は、撮像画像1060に複数の乗員42の顔画像が含まれる場合に、複数の乗員42のそれぞれの視線の向きを検出する。視線検出部142は、検出した複数の乗員42のそれぞれの視線が、発光装置30を向いているか否かを判断する。

0069

図10に示す撮像画像1060の例では、視線検出部142は、乗員42aの視線D1と、乗員42bの視線D2とが発光装置30を向いていると判断する。以下、視線D1と視線D2とを特に区別しない場合は、視線Dという。

0070

本実施形態の発話検出部143は、取得部141が取得した撮像画像1060に含まれる乗員42の顔画像から、乗員42の口の動作を検出することによって、乗員42が発話をしたことを検出する。本実施形態においては、撮像画像1060に複数の乗員42の顔画像が含まれる場合に、発話検出部143は、複数の乗員42のそれぞれの発話を検出する。

0071

本実施形態の発光制御部144は、実施形態1の機能に加えて、視線検出部142が1人の乗員42の視線Dが発光装置30を向いていることを検出した場合と、視線検出部142が複数の乗員42の視線Dが発光装置30を向いていることを検出した場合とでは、異なる態様で発光装置30を発光させる。

0072

より詳細には、発光制御部144は、視線検出部142が1人の乗員42の視線Dが発光装置30を向いていることを検出した場合、当該乗員42がいる方向に発光するよう、発光装置30を制御する。また、発光制御部144は、2人の乗員42の視線Dが発光装置30を向いていることを検出した場合、当該2人の乗員42がいるそれぞれの方向に発光するよう、発光装置30を制御する。また、発光制御部144は、視線検出部142が3人以上の視線Dが発光装置30を向いていることを検出した場合、円環状の発光部を表示するよう、発光装置30を制御する。

0073

また、本実施形態の発光制御部144は、発話検出部143が1人の乗員42の発話を検出した場合と、発話検出部143が複数の乗員42の発話を検出した場合とでは、異なる態様で発光装置30を発光させる。より詳細には、発光制御部144は、発話検出部143が1人の乗員42の発話を検出した場合、当該乗員42がいる方向に発光するよう、発光装置30を制御する。また、発光制御部144は、発話検出部143が2人の乗員42の発話を検出した場合、当該2人の乗員42がいるそれぞれの方向に発光するよう、発光装置30を制御する。また、発光制御部144は、発話検出部143が3人以上の乗員42の発話を検出した場合、円環状の発光部を表示するよう、発光装置30を制御する。

0074

図11は、本実施形態にかかる発光装置30の発光の態様の一例を示す図である。本実施形態の発光制御部144は、実施形態1と同様に、視線検出部142が乗員42aの視線D1が発光装置30を向いていることを検出した場合に、乗員42aがいる方向に、青色に発光する円形の発光部301aを表示するよう、発光装置30を制御する。本実施形態の発光制御部144は、さらに、視線検出部142が乗員42bの視線D2が発光装置30を向いていることを検出した場合に、乗員42bがいる方向に、青色に発光する円形の発光部301bを表示するよう、発光装置30を制御する。

0075

また、図12は、本実施形態にかかる発光装置30の発光の態様の他の一例を示す図である。図12に示す例では、視線検出部142が乗員42a〜42dの視線D1〜D4が発光装置30を向いていることを検出しているものとする。このような場合、本実施形態の発光制御部144は、発光装置30の縁に沿って青色に発光する円環状の発光部301cを表示するよう、発光装置30を制御する。また、発話検出部143が乗員42の発話を検出した場合、発光制御部144は、検出された発話者の人数に応じて、オレンジ色の発光部301a〜301cを表示するよう、発光装置30を制御する。

0076

発光制御部144が、各乗員42の視線Dと発話とに基づいて、発光装置30の発光の態様を変化させることにより、発光装置30は、各乗員42の視線Dと発話とに対して、それぞれ応答するように動作する。なお、図11および図12に示す発光部301a〜301cの形状、および色は一例であり、これに限定されるものではない。以下、発光部301a〜301cを特に区別しない場合には、発光部301という。

0077

次に、以上のように構成された本実施形態のECU14における発光装置30の制御処理について説明する。図13は、本実施形態にかかる発光装置30の制御処理の手順の一例を示すフローチャートである。

0078

取得部141は、撮像装置1015から撮像画像1060を取得する(S21)。

0079

次に、視線検出部142は、取得部141が取得した撮像画像1060に含まれる乗員42の顔画像から、それぞれの乗員42の視線Dの向きを検出する。視線検出部142が何れかの乗員42の視線Dが発光装置30を向いていることを検出した場合(S22“Yes”)、かつ、発光装置30を向いている視線の数が1人分である場合(S23“Yes”)、発光制御部144は、視線Dを発光装置30に向けている乗員42がいる方向に、青色に発光する発光部301を1つ表示するよう、発光装置30を制御する(S24)。

0080

また、視線検出部142が検出した発光装置30を向いている視線の数が2人分である場合(S23“No”、S25“Yes”)、発光制御部144は、視線Dを発光装置30に向けている2人の乗員42がいる2つの方向に、青色に発光する発光部301をそれぞれ1つずつ表示するよう、発光装置30を制御する(S26)。

0081

また、視線検出部142が検出した発光装置30を向いている視線の数が3人分以上である場合(S25“No”)、発光制御部144は、青色の円環状の発光部301cを表示するよう、発光装置30を制御する(S27)。

0082

また、音声認識モード切替部145は、視線検出部142が何れかの乗員42の視線Dが発光装置30を向いていることを検出した場合に、記憶部140に記憶された音声認識モードの設定値を“中”に変更する(S28)。

0083

また、視線検出部142が何れの乗員42の視線Dが発光装置30を向いていることも検出しなかった場合(S22“No”)、S23〜S28の処理は実行されず、S29の処理に進む。

0084

次に、発話検出部143は、取得部141が取得した撮像画像1060に含まれる乗員42の顔画像から、乗員42の口の動作を検出することによって、乗員42が発話をしたか否かを判断する。発話検出部143が何れかの乗員42の発話を検出した場合(S29“Yes”)、かつ、発話が検出された乗員42が1人である場合(S30“Yes”)、発光制御部144は、発話が検出された乗員42がいる方向に、オレンジ色に発光する発光部301を表示するよう、発光装置30を制御する(S31)。

0085

また、発話が検出された乗員42が2人である場合(S30“No”、S32“Yes”)、発光制御部144は、発話が検出された2人の乗員42がいる2つの方向に、オレンジ色に発光する発光部301をそれぞれ表示するよう、発光装置30を制御する(S33)。

0086

また、発話が検出された乗員42が3人以上である場合(S32“No”)、発光制御部144は、オレンジ色の円環状の発光部301cを表示するよう、発光装置30を制御する(S34)。

0087

また、音声認識モード切替部145は、発話検出部143が何れかの乗員42の発話を検出した場合に、記憶部140に記憶された音声認識モードの設定値を“高”に変更する(S35)。

0088

また、発話検出部143が何れの乗員42の発話も検出しなかった場合(S29“No”)、S30〜S35の処理は実行されず、このフローチャートの処理は終了する。

0089

このように、本実施形態のECU14によれば、発光制御部144は、発光装置30を向いている乗員42の視線Dの数によって異なる態様で発光装置30を発光させるため、発光装置30が、複数の乗員42の視線Dに対してそれぞれ応答するように動作する。このため、本実施形態のECU14によれば、各乗員42が感じる話しかけにくさを低減することができる。

0090

(変形例6)
実施形態2のECU14では、ダッシュボード12中央のモニタ装置11に設置された撮像装置1015によって、車両1の乗員42が撮像されたが、撮像装置1015の設置位置はこれに限定されるものではない。例えば、各座席40a〜40cに着座した乗員42a〜42dに面する位置に、それぞれ撮像装置が1台ずつ設置されても良い。

0091

(変形例7)
また、実施形態2においては、発光装置30に視線Dを向けている乗員42が3人以上の場合、または発話している乗員42が3人以上の場合は発光装置30は円環状の発光部301cを表示するものとしたが、発光の態様はこれに限定されるものではない。例えば、乗員42の人数に関わらず、各乗員42のいる方向に円形の発光部301がそれぞれ表示されても良い。

0092

(実施形態3)
本実施形態においては、ECU14は、車両1が自動運転制御中であるか、手動運転中であるかに応じて、発光装置30の発光の態様を変化させる。

0093

図14は、本実施形態にかかるECU14が有する機能の一例を示すブロック図である。図14に示すように、ECU14は、記憶部1140と、取得部141と、視線検出部142と、発話検出部143と、発光制御部1144と、音声認識モード切替部145と、音声認識部146と、運転制御部147と、を備える。

0094

本実施形態の取得部141と、視線検出部142と、発話検出部143と、音声認識モード切替部145と、音声認識部146とは、実施形態1と同様の機能を有する。

0095

本実施形態の記憶部1140は、音声認識モードの設定値と、自動運転フラグとを記憶する。音声認識モードの設定値は、実施形態1と同様である。

0096

自動運転フラグは、車両1が自動運転制御中であるか、手動運転中であるかを示すフラグである。例えば、車両1が自動運転制御中である場合には自動運転フラグは“1”、車両1が手動運転中である場合には自動運転フラグは“0”となる。本実施形態において、自動運転制御は、後述の運転制御部147によって車両1の操舵、加速制動が制御されることをいう。なお、車両1が自動運転制御中であるか否かを判断する手法は、自動運転フラグに限定されるものではない。

0097

運転制御部147は、車両1の自動運転制御を実行する。より詳細には、運転制御部147は、操舵システム13、ブレーキシステム18、加速操作部5等を制御することにより、車両1を運転する。運転制御部147は、例えば、乗員42aが操作入力部8cから自動運転制御の開始の操作を行った場合に自動運転制御を開始し、自動運転制御の終了の操作を行った場合に自動運転制御を終了する。また、運転制御部147は、自動運転制御中に、音声によって行先の指示や、停止の指示等が入力された場合、当該指示に従って車両1を制御する。

0098

また、運転制御部147は、自動運転制御を開始する場合に、記憶部1140の自動運転フラグを“1”と設定する。また、運転制御部147は、自動運転制御を終了する場合に、記憶部1140の自動運転フラグを“0”に設定する。自動運転制御の形式、および、自動運転制御の開始または終了の条件は、これらに限定されるものではない。

0099

また、運転制御部147は、他の機能と同様に、CPU14aが、ROM14b内に格納されたプログラムを実行することで実現される。なお、運転制御部147は、ハードウェア回路で実現するように構成されても良い。

0100

本実施形態の発光制御部1144は、車両1が自動運転制御されている場合と、車両1が手動運転されている場合とでは、異なる態様で発光装置30を発光させる。より詳細には、発光制御部1144は、記憶部1140に記憶された自動運転フラグが“1”の場合と、“0”の場合とでは、発光装置30を異なる色で発光させる。例えば、発光制御部1144は、記憶部1140に記憶された自動運転フラグが“1”の場合に、発光装置30の全体を黄色に発光させる。また、発光制御部1144は、記憶部1140に記憶された自動運転フラグが“0”の場合に、発光装置30の全体を緑色に発光させる。発光制御部1144が発光装置30の発光の態様を変化させることで、乗員42は、車両1が自動運転制御中であるか否かを容易に確認することができる。

0101

本実施形態における車両1が自動運転制御中であるか否かの判断の手法は一例であり、発光制御部1144は、他の手法によって車両1の制御状態を判断しても良い。また、本実施形態における発光装置30の発光の態様は一例であり、これに限定されるものではない。

0102

次に、以上のように構成された本実施形態のECU14における発光装置30の制御処理について説明する。図15は、本実施形態にかかる発光装置30の制御処理の手順の一例を示すフローチャートである。

0103

本実施形態の発光制御部1144は、記憶部1140に記憶された自動運転フラグを参照し、車両1が自動運転制御中であるか否かを判断する(S41)。

0104

自動運転フラグが“1”の場合、つまり、車両1が自動運転制御中である場合(S41“Yes”)、発光制御部1144は、発光装置30を黄色に発光させる(S42)。

0105

また、自動運転フラグが“0”の場合、つまり、車両1が自動運転制御中ではない場合(S41“No”)、発光制御部1144は、発光装置30を緑色に発光させる(S43)。

0106

その後の、S1の撮像画像60の取得の処理からS7の音声認識モードを“高”に設定する処理までは、実施形態1と同様である。

0107

このように、本実施形態のECU14では、車両1が自動運転制御されている場合と、車両1が手動運転されている場合とでは、異なる態様で発光装置30を発光させるため、車両1が自動運転制御中であるか否かを乗員42が容易に確認することができる。

0108

このため、本実施形態のECU14によれば、車両1が手動運転中である場合に、自動運転制御向けの音声命令を乗員42が誤入力することを低減することができる。また、本実施形態のECU14によれば、車両1が自動運転制御中である場合に、手動運転向けの音声命令を乗員42が誤入力することを低減することができる。

0109

以上、本発明の実施形態を例示したが、上記実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上記実施形態や変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、各実施形態や各変形例の構成や形状は、部分的に入れ替えて実施することも可能である。

0110

1…車両、10…運転支援システム、14…ECU、15…撮像装置、24…音声入力部、30…発光装置、40,40a〜40c…座席、42,42a〜42d…乗員、60,1060…撮像画像、140,1140…記憶部、141…取得部、142…視線検出部、143…発話検出部、144,1144…発光制御部、145…音声認識モード切替部、146…音声認識部、147…運転制御部、301,301a〜301e…発光部、D,D1〜D4…視線。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ