図面 (/)

技術 車両用表示装置

出願人 トヨタ自動車株式会社
発明者 小林保洋
出願日 2016年2月16日 (2年10ヶ月経過) 出願番号 2016-027254
公開日 2017年8月24日 (1年4ヶ月経過) 公開番号 2017-146737
状態 未査定
技術分野 交通制御システム
主要キーワード クリアパネル 応答時間検出 視線範囲 情報表示対象 強調出力 HUD用 前景データ D表示
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年8月24日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (7)

課題

運転者のわずらわしさを抑制しつつ、効果的に支援情報を表示することができる車両用表示装置を提供する。

解決手段

車両用表示装置は、車両1のフロントウィンドウ7に運転者へ提供する情報を表示する。車両用表示装置は、運転者の有効視野を検出する有効視野検出部111と、表示した情報が運転者に認識されたと推定する認識推定部112と、情報に対応する操作が行われたことを検出する操作検出部110と、情報を表示してから同情報に対応する操作が行われるまでの時間が第1の基準時間を超えた第1状態、及び、表示した情報が運転者に認識されたと推定されてから表示に対応する操作が行われるまでの時間が第2の基準時間を超えた第2状態の少なくとも一方の状態を検出する応答時間検出部120と、第1状態又は第2状態が検出されたことに対応して表示した情報に対応する表示を運転者の有効視野に強調表示する表示強調部141とを備える。

概要

背景

従来、車両を運転している運転者に対して運転支援に関する情報を表示する装置が知られている(例えば、特許文献1)。
特許文献1に記載の装置は、車両上にステレオカメラを設置し、このステレオカメラで撮影した車両前方の画像から信号機とその状態(表示色)、及び、信号機と当該車両との距離を認識する。そしてこの装置は、信号機が赤色で、信号機と当該車両との距離が一定値以内で、かつ、一定速度以上の場合に当該車両の運転者に対し音声や画像により警報を出力する。

概要

運転者のわずらわしさを抑制しつつ、効果的に支援情報を表示することができる車両用表示装置を提供する。車両用表示装置は、車両1のフロントウィンドウ7に運転者へ提供する情報を表示する。車両用表示装置は、運転者の有効視野を検出する有効視野検出部111と、表示した情報が運転者に認識されたと推定する認識推定部112と、情報に対応する操作が行われたことを検出する操作検出部110と、情報を表示してから同情報に対応する操作が行われるまでの時間が第1の基準時間を超えた第1状態、及び、表示した情報が運転者に認識されたと推定されてから表示に対応する操作が行われるまでの時間が第2の基準時間を超えた第2状態の少なくとも一方の状態を検出する応答時間検出部120と、第1状態又は第2状態が検出されたことに対応して表示した情報に対応する表示を運転者の有効視野に強調表示する表示強調部141とを備える。

目的

本発明は、このような実情に鑑みなされたものであって、その目的は、運転者のわずらわしさを抑制しつつ、効果的に支援情報を表示することができる車両用表示装置を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

ヘッドアップディスプレイ表示によって車両の運転者へ提供する情報を表示する車両用表示装置であって、運転者の有効視野を検出する有効視野検出部と、前記運転者へ提供する情報を表示した位置と前記運転者の有効視野の位置とが一致することに基づいて前記表示した情報が前記運転者に認識されたと推定する認識推定部と、前記運転者へ提供する情報に対応する操作が行われたことを検出する操作検出部と、前記運転者へ提供する情報を表示してから同情報に対応する操作が行われるまでの時間が第1の基準時間を超えた第1状態、及び、前記表示した情報が運転者に認識されたと推定されてから前記表示に対応する操作が行われるまでの時間が前記第1の基準時間よりも短い第2の基準時間を超えた第2状態の少なくとも一方の状態を検出する応答時間検出部と、前記応答時間検出部で第1状態又は第2状態が検出されたことに対応して前記表示した情報に対応する表示を前記運転者の有効視野に強調表示する表示強調部と、を備えることを特徴とする車両用表示装置。

技術分野

0001

本発明は、車両の運転支援する情報を表示する車両用表示装置に関する。

背景技術

0002

従来、車両を運転している運転者に対して運転支援に関する情報を表示する装置が知られている(例えば、特許文献1)。
特許文献1に記載の装置は、車両上にステレオカメラを設置し、このステレオカメラで撮影した車両前方の画像から信号機とその状態(表示色)、及び、信号機と当該車両との距離を認識する。そしてこの装置は、信号機が赤色で、信号機と当該車両との距離が一定値以内で、かつ、一定速度以上の場合に当該車両の運転者に対し音声や画像により警報を出力する。

先行技術

0003

特開2004−199148号公報

発明が解決しようとする課題

0004

特許文献1に記載の装置によれば、赤信号に対して、一定距離以内、かつ、一定速度以上であるとき、例えば、車両の走行中に運転者が赤信号を見落としたようなときに警報が出力され、運転者に注意喚起することができる。

0005

しかしながら、赤信号に対する車両の距離及び速度の関係に基づいて行われる運転支援は、運転者が赤信号を認識していたとしても、条件の成立に基づきいわば自動的に警報が発生されるため、運転者にとっては逆にわずらわしいと感ずることもあった。

0006

なお、赤信号に対する運転支援に限らず、車両の運転者に対して情報提供が行われるその他の運転支援や操作支援等にあってもこうした課題は同様に生じる。
本発明は、このような実情に鑑みなされたものであって、その目的は、運転者のわずらわしさを抑制しつつ、効果的に支援情報を表示することができる車両用表示装置を提供することにある。

課題を解決するための手段

0007

以下、上記課題を解決するための手段及びその作用効果を記載する。
上記目的を達成するために車両用表示装置は、ヘッドアップディスプレイ表示によって車両の運転者へ提供する情報を表示する車両用表示装置であって、運転者の有効視野を検出する有効視野検出部と、前記運転者へ提供する情報を表示した位置と前記運転者の有効視野の位置とが一致することに基づいて前記表示した情報が前記運転者に認識されたと推定する認識推定部と、前記運転者へ提供する情報に対応する操作が行われたことを検出する操作検出部と、前記運転者へ提供する情報を表示してから同情報に対応する操作が行われるまでの時間が第1の基準時間を超えた第1状態、及び、前記表示した情報が運転者に認識されたと推定されてから前記表示に対応する操作が行われるまでの時間が前記第1の基準時間よりも短い第2の基準時間を超えた第2状態の少なくとも一方の状態を検出する応答時間検出部と、前記応答時間検出部で第1状態又は第2状態が検出されたことに対応して前記表示した情報に対応する表示を前記運転者の有効視野に強調表示する表示強調部と、を備えることを特徴とする。

0008

このような構成によれば、表示した情報について運転者により認識されたか否かが推定される。そして、認識されたと推定されたものの、実際には表示された情報を運転者が認識していない可能性が高いとき、その情報が運転者の有効視野に強調表示される。これにより、運転者自身が認識していない情報を運転者に認識させることができるようになる。一方、運転者に認識されている情報は強調表示されないため、強調表示等で運転者にわずらわしさを感じさせるおそれもない。なお、強調表示の一態様は、通常の表示位置にある情報を運転者の有効視野に表示させることである。

図面の簡単な説明

0009

車両用表示装置を車両に搭載して具体化した一実施形態について、その車両用表示装置によって操作を支援する情報が表示される態様の一例を示す模式図。
同実施形態において、車両用表示装置によって運転支援情報が強調表示される態様の例を示す模式図。
有効視野の範囲の一例を示す図であって、(a)は有効視野の水平方向の視野角及び垂直方向の視野角を示す図、(b)は視線方向における有効視野の形状を示す図。
同実施形態において、車両に搭載された車両用表示装置の概略構造を示すブロック図。
同実施形態において、運転操作を支援する情報を表示する処理についてその処理手順を示すフローチャート
同実施形態において、運転者が運転支援情報の表示を認識したか否かに基づいて強調表示を行う処理についてその処理手順を示すフローチャート。

実施例

0010

図1図6を参照して、車両用表示装置を車両に搭載して具体化した一実施形態について説明する。
図1図2及び図4に示す車両1は乗用車であり、運転者によるアクセルの操作、ブレーキの操作、及びステアリングの操作等を通じて運転される。車両1は、走行路2において、自身の進行方向(前方)を信号機3に向けて走行、もしくは停止している。

0011

図1図3を参照して、本実施形態の車両用表示装置によって表示される運転操作等を支援する表示の表示態様について説明する。
図1に示す車両1は、車両1の前方の外部環境車外環境)を撮影する外部カメラ5を備える。外部カメラ5は、車両1の前方の撮影範囲5Aを含む画像を撮影する。撮影範囲5Aは、車両1の前方方向に近傍から遠方までの距離を有するが、図示の便宜上、車両1から所定の距離にあって車両1に対向する平面であるものとして説明する。車両1は、外部カメラ5が撮影した画像を画像処理し、この画像から運転支援に必要な情報として信号機3を抽出する。車両1では、抽出された信号機3が、前方の外部環境に重なるように画像を表示させるヘッドアップディスプレイ(HUD)を介して、運転支援の情報である信号表示6Aとして表示される。このとき、運転者の有効視野5Bには信号機3そのものである信号機像3Aが含まれていることから、運転者は信号機像3Aを認識することができる可能性が高い。そこで、車両1は、撮影範囲5Aであって信号機像3Aとは異なる位置に、過剰とならない程度で、確認的に信号表示6Aを表示させる。

0012

これに対し、図2に示す車両1は、進行方向の遮蔽物や車両1の向きの変化により運転者の有効視野5Bから信号機像3Aが外れた場合を示している。このとき、車両1では、運転者の運転を積極的に支援するため、抽出されていた信号機3をHUDを介して運転者の有効視野5Bに強調的な表示である信号表示6Bとして表示させる。なお、本実施形態では、強調的な表示である信号表示6Bは、通常の表示位置に表示する確認的な信号表示6Aが示す情報を運転者の有効視野5Bに表示させたものであり、確認的な信号表示6Aと同じ表示態様でも、相違する表示態様、例えば目立つ表示態様でもよい。また、強調的な表示が行われることに応じて確認的な信号表示6Aを表示させたままでもよいし、表示を消してもよい。

0013

本実施形態では、事前に運転者が信号表示6A,6Bの表示を認識したと推定されたとき、その後、信号機像3Aが有効視野5Bから外れたとしても、確認的な信号表示6Aの表示が維持され、有効視野5Bへの強調的な信号表示6Bの表示は行われない。このように、運転者が信号機3を認識している場合、有効視野5Bに強調的な信号表示6Bは表示されないため、運転者が強調表示に起因するわずらわしさを感じることはない。一方、事前に運転者が信号表示6A,6Bを認識したと推定されたものの、実際には認識されていないときには、その後、信号機像3Aが有効視野5Bから外れることに応じて、その情報に対応する強調的な信号表示6Bが運転者の有効視野5Bに表示される。このように、運転者が信号機3を実際には認識していない場合には、有効視野5Bに強調的な信号表示6Bが表示されるため、運転者にとって適切な運転支援が提供される。なお、本実施形態では、強調表示の一態様は、通常の表示位置にある情報を運転者の有効視野に表示させることである。

0014

図3を参照して、有効視野5Bの一例について説明する。ここでは地面に垂直に立った人が水平を向いていることを前提として説明する。図3(a)において左側を眼の位置とすると、水平方向における有効視野角は30度(左右に15度ずつ)である。よって視点までの長さが距離Lであるとすると、水平方向における有効視野5Bの幅は「2L×tan(30°/2)」である。垂直方向における有効視野角は20度(上下に10度ずつ)である。よって視点までの長さが距離Lであるとすると、垂直方向における有効視野の高さは「2L×tan(20°/2)」である。すなわち、図3(b)に示すように、視点までの長さが距離Lであるとき、有効視野として構成される矩形視界)は、高さと幅の比が、つまり「高さ:幅」が、「2L×tan(20°/2):2L×tan(30°/2)」で約「1:1.52」になる。

0015

なお有効視野5Bは、視野のうちで情報受容能力に優れる範囲であるが、情報受容能力に優れる範囲は個人差があることから、水平方向及び垂直方向の各有効視野角についても個人差がある。

0016

図4を参照して、本実施形態の車両用表示装置の構成について説明する。
まず、図1図4を参照して、構成の概略を説明する。
本実施形態の車両用表示装置は、車両1のフロントウィンドウ7に運転者へ提供する情報、例えば信号表示6Aを表示する。車両用表示装置は、運転者の有効視野5Bを検出する有効視野検出部111と、運転者へ提供する信号表示6Aを表示した位置と運転者の有効視野5Bの位置とが一致することに基づいて表示した信号表示6Aが運転者に認識されたと推定する認識推定部112を備える。また、車両用表示装置は、運転者へ提供する信号表示6Aに対応する操作が行われたことを検出する操作検出部110を備える。また、車両用表示装置は、信号表示6Aに対応する操作が行われるまでの時間に関する状態である第1状態及び第2状態の少なくとも一方の状態を検出する応答時間検出部120を備える。ここで第1状態は、信号表示6Aを表示してから同信号表示6Aに対応する操作が行われるまでの時間が第1の基準時間を超えた状態であり、第2状態は、表示した信号表示6Aが運転者に認識されたと推定されてから表示に対応する操作が行われるまでの時間が第1の基準時間よりも短い第2の基準時間を超えた状態である。また、車両用表示装置は、応答時間検出部120で第1状態又は第2状態が検出されたことに対応して信号表示6Aに対応する強調的な信号表示6Bを運転者の有効視野5Bに表示する表示強調部141を備える。

0017

このような、車両用表示装置についてさらに詳しく説明する。
車両1は、上記外部カメラ5と、上記フロントウィンドウ7と、運転支援に関する処理を行う運転支援装置10と、運転者の視線を検出する視線検出カメラ11と、HUD用の画像を出力する表示出力部14と、音声を出力する音声出力部15とを備える。

0018

外部カメラ5は、車両前方の外部環境を撮影するカメラであって、CCDカメラ等によって構成されている。外部カメラ5は、撮影した画像を運転支援装置10に出力する。
フロントウィンドウ7は、車両1の前側に設けられている窓であって、運転者は当該フロントウィンドウ7を介して外部環境を目視するとともに、表示出力部14から出力されるHUD用の画像や文字投影される。フロントウィンドウ7は、HUD用の画像や文字が良好に投影されるように表面処理されていてもよい。以下では、表示出力部14から出力されるHUD用の画像や文字を「HUD表示」と記す。

0019

視線検出カメラ11は、運転者の眼球の向きから運転者の視線を検出するカメラである。視線検出カメラ11は、視線の検出結果を運転支援装置10に出力する。視線検出カメラ11は、左右の眼球の向きから焦点までの距離L(図3参照)を検出してもよい。

0020

表示出力部14は、HUD用の画像等の投影機であって、運転支援装置10から受けた指示に応じて、運転者に提供するHUD表示をフロントウィンドウ7に向けて出力する。ところで、フロントウィンドウ7に投影されるHUD表示は、フロントウィンドウ7では結像せず、その表示は、運転者には虚像として認識される。

0021

音声出力部15は、スピーカ等であって、運転支援装置10から受けた指示に応じて、運転者に提供する音声を出力する。
運転支援装置10は、運転者に提供する運転支援情報を検知するとともに、検知した運転支援情報の提供の可否を決定する。運転支援装置10は、演算部や記憶部を有するマイクロコンピュータを含んで構成されている。よって、運転支援装置10は、記憶部130に保持されている制御用プログラムや各種のパラメータを演算部に読み込み、実行処理することで、所定の処理を行い所定の機能を提供する。本実施形態では、運転支援に関する情報の提供を行う。

0022

運転支援装置10は、車両1の操作情報等を取得する車両データ取得処理部100と、外部カメラ5の撮影した画像を取得する前景データ取得処理部101と、視線検出カメラ11の検出情報取得する視線データ取得処理部102とを備える。また、運転支援装置10は、車両1の操作内容を検出する操作検出部110と、運転者の有効視野を検出する有効視野検出部111と、HUD表示が運転者に認識されたことを推定する認識推定部112とを備える。さらに、運転支援装置10は、車両1の前方画像から信号機や道路標識を検出する信号・標識検出処理部113と、信号機や道路標識が有効視野外になったことを検出する信号・標識範囲外検出処理部114とを備える。また、運転支援装置10は、HUD表示の支援内容に対応する操作に要した時間を検出する応答時間検出部120と、運転支援情報の提供の要否を判定する支援判定部121とを備える。さらに、対応操作に要する時間の検出等を記憶する記憶部130と、運転者へ情報を提供するための処理を行う表示音声処理部140と、HUD表示の支援内容に対応する操作に要する時間に関する学習等を行う認知操作学習処理部143とを備える。

0023

このうち、車両データ取得処理部100は、車両内の各所に設けられたセンサーや、各種の電子制御装置(ECU)から車両1の状態等を示す車両データを取得する。例えば、ブレーキペダルセンサに関するデータ、アクセル開度に関するデータ、エンジンに関するデータ等を取得する(車両用データ取得処理)。車両データ取得処理部100は、取得した車両データ等を操作検出部110へ出力する。

0024

前景データ取得処理部101は、外部カメラ5の撮影した車両前方等の画像を取得する(前景データ取得処理)。また、前景データ取得処理部101は、取得した画像に、信号・標識検出のための前処理等の所定の画像処理を施して、信号・標識検出処理部113に出力する。

0025

視線データ取得処理部102は、視線検出カメラ11から視線方向や視点の情報(視線データ)を取得する(視線データ取得処理)。視線データ取得処理部102は、これら取得した情報を有効視野検出部111に出力する。

0026

操作検出部110は、車両データ取得処理部100から取得した車両データに基づいて車両1の操作内容を検出する(操作検出処理)。操作検出部110は、車両データを確認して得られた状態に応じて、対応する車両操作があったと検出する。例えば、ブレーキ信号が「ON」になった状態に応じてブレーキが踏まれた操作を検出し、アクセル開度の値が小さくなった状態に応じてアクセルが緩められた操作を検出し、シフトダウンが行われた状態に応じてエンジンブレーキが使用されたことを検出する。また、検出した操作に関連付けるべく、カーナビゲーションシステム(図示略)等と連携して位置情報や時間を取得する。

0027

また、操作検出部110は、運転者を特定する個人IDと車両データや検出した操作等を関連付けて記憶させるようにしてもよい。よって、操作検出部110は、運転者を特定するための認証機能を有していてもよいし、個人IDを認証機能から取得してもよい。

0028

さらに、操作検出部110は、表示音声処理部140からHUD表示の内容を取得して、これに対応する操作が行われたことを検出し、検出した結果を応答時間検出部120へ出力する。

0029

有効視野検出部111は、視線データ取得処理部102から取得した運転者の視線や視点の情報(視線データ)に基づいて運転者が見ている範囲である有効視野5B(図1参照)を検出する(視線範囲検出処理)。

0030

認識推定部112は、有効視野検出部111から有効視野5Bを取得し、表示音声処理部140からHUD表示の位置を取得する。認識推定部112は、HUD表示の位置に有効視野5Bが置かれた時間の長さに基づいて運転者によるHUD表示の認識を推定する(HUD認識推定処理)。HUD認識推定処理では、例えば信号機や標識としてHUD表示されている位置(領域)が有効視野5Bにあるか否かを確認する。そして、HUD表示の領域が有効視野5Bにある場合、HUD表示を認識したと推定し、HUD表示の領域が有効視野5Bにない場合、HUD表示を認識していないと推定する。認識推定部112は、HUD表示に対する運転者の認識の推定結果を応答時間検出部120に出力する。

0031

認識推定部112で運転者によるHUD表示の認識が推定されたとき、応答時間検出部120では現在の情報提示認知時間D2cの測定を終了する。また、認知操作時間を計測するために現在の認知操作時間D3cの測定を開始する。

0032

信号・標識検出処理部113は、前景データ取得処理部101から取得した車両1の前方画像から信号機や標識を検出する(信号・標識検出処理)。信号・標識検出処理では、前景データ取得処理で取得した車両1の前方画像から信号機3及びその灯色や、道路標識を検出する。信号・標識検出処理部113は、信号機等の検出結果を信号・標識範囲外検出処理部114や支援判定部121に出力する。

0033

信号・標識範囲外検出処理部114は、有効視野検出部111から有効視野5Bを取得するとともに、信号・標識検出処理部113から信号機や標識の検出結果を取得し、当該取得した信号機や標識が有効視野5Bの外に出たことを検出する(信号・標識範囲外検出処理)。信号・標識範囲外検出処理部114は、信号・標識検出処理部113から取得した、前回の信号機や標識と今回の信号機や標識との比較に基づいて信号機や標識が有効視野5Bの外に出たことを検出する。信号・標識範囲外検出処理部114は、信号機や標識が有効視野5Bの外に出たことの検出結果を応答時間検出部120や支援判定部121に出力する。

0034

応答時間検出部120は、操作検出部110から車両1の操作内容を取得し、認識推定部112から運転者がHUD表示を認識したか否かの推定結果を取得し、信号・標識範囲外検出処理部114から信号機や標識が有効視野5Bの外に出たことを取得し、表示音声処理部140からHUD表示のタイミングを取得する。こうして取得した各情報に基づいて、応答時間検出部120は、HUD表示の内容と、それに対応する操作に要した時間を検出する。

0035

応答時間検出部120で算出される時間、及びこの時間の算出に用いられるタイミングについて説明する。まず、信号機や標識が有効視野5Bの外に出た後、HUD表示が出力されてから、このHUD表示の内容に対応する運転操作が行われるまでの間に3つの異なるタイミング、第1〜第3タイミングt1〜t3が定義される。第1タイミングt1は、運転支援に関する情報がHUD表示として出力されるタイミングである。第2タイミングt2は、第1タイミングt1で出力されたHUD表示が運転者に認識されたと推定したタイミングである。第3タイミングt3は、HUD表示の内容に対応する運転操作が行われたタイミングである。そして、第1タイミングt1から第3タイミングt3までの期間を情報提示操作時間D1、第1タイミングt1から第2タイミングt2までの期間を情報提示認知時間D2、第2タイミングt2から第3タイミングt3までの期間を認知操作時間D3と定義する。つまり、情報提示操作時間D1は、情報提示認知時間D2と認知操作時間D3とが足された時間に等しい。よって、情報提示操作時間D1は、HUD表示が出力されてから車両1が操作されるまでの時間であり、情報提示認知時間D2は、HUD表示が出力されてからその表示が認識されるまでの時間であり、認知操作時間D3は、HUD表示が認識されてから車両1が操作されるまでの時間である。さらに、上記各時間は、平均値現在値とが定義される。よって、平均値として、平均の情報提示操作時間D1aと、平均の情報提示認知時間D2aと、平均の認知操作時間D3aとが定義される。なお本実施形態では、平均の情報提示操作時間D1aが第1の基準時間であり、平均の認知操作時間D3aが第2の基準時間である。また、現在値として、現在の情報提示操作時間D1cと、現在の情報提示認知時間D2cと、現在の認知操作時間D3cとが定義される。ここで平均値は、過去に算出された複数の時間の値の平均値として得られる値であり、現在値は、1組のタイミングデータから得られる時間の値である。各平均値は、事前に取得したデータから予め算出される値であり、各現在値は、最新のデータから算出される値である。各平均値や各現在値を、個人IDや、時刻や、走行位置に関連づけてもよい。

0036

支援判定部121は、信号・標識検出処理部113から信号・標識の検出結果を取得し、取得された信号・標識の検出結果に対応する運転支援の提供を表示音声処理部140に指示する。また、支援判定部121は、一旦検出された信号・標識について、一時的に検出できなくなったとき、実像に対応する表示位置に運転支援用のHUD表示を提供するように表示音声処理部140に指示する。さらに、支援判定部121は、応答時間検出部120から各時間を取得して、提供している運転支援用のHUD表示を運転者が認識したと推定されたものの、実際には認識していないと判定されたとき、運転支援用のHUD表示を強調表示するように表示音声処理部140に指示する。

0037

支援判定部121は、HUD表示の見逃しを判定する処理(見逃し判定処理)を行う見逃し判定部122を備える。見逃し判定は、HUD表示を認識していないと判定するケースと、HUD表示を認識したと推定したものの、実際には認識していないケースとを判定する。

0038

見逃し判定部122は、運転者がHUD表示を認識していないと判定したケースに対して、音声にて通知を行うための要求通知である音声強調要求を設定する。例えば、運転者の有効視野5Bから信号機や標識が外れ、かつ、HUD表示を認識していない場合(現在の情報提示認知時間D2cが平均の情報提示認知時間D2aを超える場合)、HUD表示を見るように促す音声強調要求を設定する。

0039

また、見逃し判定部122は、HUD表示を認識したと推定したものの、実際には認識していないケースを判定する。つまり、第1状態としての現在の情報提示操作時間D1cが平均の情報提示操作時間D1aを超えること、又は、第2状態としての現在の認知操作時間D3cが平均の認知操作時間D3aを超えることに基づいて同実際には認識していないケースを判定する。例えば、見逃し判定部122は、運転者の有効視野5Bから信号機や標識が外れ、かつ、HUD表示を認識していると推定されながらもブレーキ等の車両操作が通常の操作平均時間(平均の情報提示操作時間D1a等)を超えるような場合、同実際には認識していないケースと判定する。そして、見逃し判定部122は、同実際には認識していないケースと判定したとき、HUD表示を強調表示させる表示強調要求を設定する。

0040

記憶部130は、不揮発性記憶装置から構成されている。記憶部130には、平均の情報提示操作時間D1a、平均の情報提示認知時間D2a、平均の認知操作時間D3a、現在の情報提示操作時間D1c、現在の情報提示認知時間D2c、及び現在の認知操作時間D3c等が記憶される。なお、各平均値や各現在値を個人IDに関連付けて記憶してもよい。個人IDに関連付けられた平均値によれば、当該個人IDに対応する現在値との比較によって、当該個人IDに対応する運転者の特性により適合した運転支援表示を行うことができ、運転者のわずらわしさもより軽減されることが期待される。また、各平均値は、時刻及び走行位置の少なくとも一方に関連付けられて記憶されてもよい。時刻や走行位置に関連付けられたた平均値によれば、現在値との適合性が時刻や走行位置に基づいても判断でき、より適切に運転支援表示が行え、運転者のわずらわしさがより軽減されることが期待される。

0041

表示音声処理部140は、支援判定部121からの指示に基づいて運転者に伝える情報の表示処理音声出力処理をする(表示音声処理)。表示音声処理部140は、音声出力処理に応じてHUD表示の内容を表示出力部14に出力し、音声出力の内容を音声出力部15に出力する。表示音声処理部140は、HUD表示のタイミングを応答時間検出部120に出力し、HUD表示の表示位置を認識推定部112に出力する。表示音声処理には、外部環境の風景に、信号機の灯色や標識を表示する重畳表示機能が含まれる。重畳表示機能は、通常、運転者の視界を妨げないよう画像や文字情報を前方下部の決まった位置(固定位置)に表示する。例えば、図1に示すように、信号機像3Aの下方にHUD表示として信号表示6Aを表示させる。

0042

表示音声処理部140は、支援判定部121から運転支援用のHUD表示の出力の指示を受けると、通常、重畳表示機能によるHUD表示(例えば、図1の信号表示6A)の出力を行う。例えば、表示音声処理部140は、信号・標識検出処理部113で、信号機(赤灯色)・標識(一時停止)を検出した場合、信号機(赤灯色)又は標識(一時停止)をHUD表示によって表示することを開始する。

0043

表示音声処理部140は、HUD表示を強調表示させる表示強調部141と、音声を強調出力させる音声強調部142とを備える。
表示音声処理部140は、見逃し判定部122からの表示強調要求に応じて表示強調要求処理を行う。つまり、表示強調部141は、表示強調要求に応じて、運転者の有効視野5Bの枠内にHUD表示として信号表示6B(図2参照)を強調表示する。

0044

また、表示音声処理部140は、見逃し判定部122からの音声強調要求に応じて音声強調要求処理を行う。つまり、音声強調部142は、音声強調要求に応じて、運転者に対してHUD表示を認識させるための音声通知を出力する。

0045

認知操作学習処理部143は、HUD表示から車両操作(ブレーキを踏む、アクセルを緩める、シフトダウンする等)までの各時間を保存するとともに、同一の操作についての平均値を算出する(認知操作学習処理)。HUD表示から車両操作までの各時間は、個人IDに関連付けて保存してもよい。

0046

図5及び図6を参照して、車両用表示装置の動作について説明する。この動作に係る処理は、所定の周期で繰り返し行われる。また、次の処理に必要な状況は、フラグ等で記憶されている。

0047

図5に示すように、車両用表示装置は、車両データ取得処理部100で車両用データ取得処理を行い(ステップS100)、前景データ取得処理部101で前景データ取得処理を行い(ステップS101)、視線データ取得処理部102で視線データ取得処理を行う(ステップS102)。また、車両用表示装置は、信号・標識検出処理部113で信号・標識検出処理を行い(ステップS110)、有効視野検出部111で視線範囲検出処理を行い(ステップS111)、信号・標識範囲外検出処理部114で信号・標識範囲外検出処理を行う(ステップS112)。

0048

また、車両用表示装置は、認識推定部112でHUD認識推定処理を行う(ステップS113)。HUD認識推定処理は、HUD表示が認識されたと推定した場合、応答時間検出部120での現在の情報提示認知時間D2cの測定を終了させるとともに、現在の認知操作時間D3cの測定を開始させる。

0049

車両用表示装置は、操作検出部110で操作検出処理を行う(ステップS114)。操作検出処理では、検出された車両操作に、その車両操作が発生した場所や時間を関連付ける。また、操作検出処理は、応答時間検出部120での現在の情報提示操作時間D1cと現在の認知操作時間D3cの測定を終了させる。

0050

車両用表示装置は、見逃し判定部122で見逃し判定処理を行う(ステップS120)。見逃し判定処理では、見逃し判定に応じて、音声強調要求や表示強調要求が設定される。

0051

すなわち、図6に示すように、見逃し判定部122は、見逃し判定処理でHUD表示はあるか否かを判定する(ステップS121)。例えば、この判定では、信号・標識検出処理(ステップS110)にて、信号機が赤灯色又は道路標識(止まれ・一時停止)が検出され、かつ、表示音声処理(ステップS130)にて信号機又は道路標識のHUD表示がされている場合、「HUD表示あり」と判定する。「HUD表示あり」と判定した場合(ステップS121でYES)、見逃し判定部122は、現在の情報提示操作時間D1cが平均値を超えたか否か判定する(ステップS122)。一方、「HUD表示あり」以外の条件では「HUD表示なし」と判定する。「HUD表示なし」と判定した場合(ステップS121でNO)、見逃し判定部122は、見逃し判定処理を終了する。

0052

見逃し判定部122は、ステップS122で、現在の情報提示操作時間D1cが平均値を超えたか否かを、現在の情報提示操作時間D1cと認知操作学習処理(ステップS131)で保存した平均の情報提示操作時間D1aとの比較により判定する。例えば、現在の情報提示操作時間D1cが平均の情報提示操作時間D1aを超えている場合、つまりHUD表示が提供されてから車両操作するまでの時間が平均値を超えている場合(ステップS122でYES)、見逃し判定部122は、HUD表示が実際には認識されていない可能性が高いため、認識対象が有効視野5B内にあるか否かを判定する(ステップS125)。

0053

一方、現在の情報提示操作時間D1cが平均の情報提示操作時間D1aを超えていない場合(ステップS122でNO)、見逃し判定部122は、現在の認知操作時間D3cが平均値を超えたか否かを判定する(ステップS123)。

0054

見逃し判定部122は、現在の認知操作時間D3cが平均値を超えたか否かを、認知操作学習処理(ステップS131)で保存した、平均の認知操作時間D3aと現在の認知操作時間D3cとの比較により判定する。例えば、現在の認知操作時間D3cが平均の認知操作時間D3aを超えている場合、つまりHUD表示で提供された情報を認識したと推定されるが車両1の操作が行われていない場合(ステップS123でYES)、見逃し判定部122は、HUD表示が実際には認識されていない可能性が高いと判定して認識対象が有効視野5B内にあるか否かを判定する(ステップS125)。一方、現在の認知操作時間D3cが平均の認知操作時間D3aを超えていない場合(ステップS123でNO)、現在の情報提示認知時間D2cが平均値を超えたか否かを判定する(ステップS124)。

0055

見逃し判定部122は、現在の情報提示認知時間D2cが平均値を超えたか否かを、認知操作学習処理(ステップS131)で保存した平均の情報提示認知時間D2aと現在の情報提示認知時間D2cとの比較により判定する。例えば、現在の情報提示認知時間D2cが平均の情報提示認知時間D2aを超えている場合(ステップS124でYES)、見逃し判定部122は、HUD表示が表示されてからの時間に基づいて、運転者がHUD表示を認識していない可能性が高いと推定し、音声強調要求処理を実行して(ステップS126)、その後終了する。音声強調要求処理では、表示音声処理部140に対して音声強調要求が設定される。

0056

一方、現在の情報提示認知時間D2cが平均の情報提示認知時間D2aを超えていない場合(ステップS124でNO)、見逃し判定部122は、見逃し判定処理を終了する。
見逃し判定部122は、認識対象が有効視野5B内にあるか否かを、信号・標識範囲外検出処理(ステップS112)にて、信号機や標識が有効視野5B外になったか否かに基づいて判定する。信号機や標識が有効視野5B外になったと判定した場合(ステップS125でNO)、見逃し判定部122は、視界から外れたと判定し、表示強調要求処理を実行して(ステップS127)、その後終了する。表示強調要求処理では、表示音声処理部140に対して表示強調要求が設定される。

0057

一方、有効視野5B内にあると判定した場合(ステップS125でYES)、見逃し判定部122は、運転者が認識していると判定し、見逃し判定処理を終了する。
そして、図5に示すように、車両用表示装置は、表示音声処理部140で運転者に伝える情報を表示させたり、音声出力させたりする表示音声処理を行う(ステップS130)。表示音声処理では、表示強調要求に応じて運転者の有効視野5B内にHUD表示を強調表示したり、音声強調要求に応じて運転者に対してHUD表示を認識させるための音声通知を出力させたりする。表示音声処理部140は、信号・標識検出処理(ステップS110)で、信号機(赤灯色)・標識(一時停止)を検出した場合、表示出力部14に信号機(赤灯色)又は標識(一時停止)を表示開始させるとともに、応答時間検出部120に平均の情報提示操作時間D1aと平均の情報提示認知時間D2aとの測定を開始させる。

0058

また、車両用表示装置は、認知操作学習処理部143で認知操作学習処理を行う(ステップS131)。認知操作学習処理は、この処理で得られた情報、例えば、個人IDとHUD表示とから車両操作(ブレーキを踏む、アクセルを緩める、シフトダウンする等)までの各時間を保存する。

0059

本実施形態の車両用表示装置の動作例を説明する。
一つの例として、外部カメラ5から車両1の前方の画像を入力し、画像解析により信号機3(赤灯色)、又は標識(止まれ)を検出する。表示音声処理部140を介して表示出力部14から、信号機3(赤灯色)、又は標識(止まれ)をHUD表示として表示する。このとき、応答時間検出部120で現在の情報提示操作時間D1cと、現在の情報提示認知時間D2cとの計測を開始する。そして見逃し判定部122は、見逃し判定処理で、現在の情報提示認知時間D2cが「1.2秒」であり、平均の情報提示認知時間D2aの「1.0秒」を超えている場合、HUD表示を認識していないと判定する。この判定に基づいて、表示音声処理部140は音声にて運転支援を行う。

0060

他の例として、外部カメラ5から車両1の前方の画像を入力し、画像解析により信号機3(赤灯色)、又は標識(止まれ)を検出する。表示音声処理部140を介して表示出力部14から、信号機3(赤灯色)、又は標識(止まれ)をHUD表示として表示する。このとき、応答時間検出部120で現在の情報提示操作時間D1cと、現在の情報提示認知時間D2cとの計測を開始する。そして認識推定部112で運転者がHUD表示を注視(「0.2秒」程度)したことを検出することに応じて、応答時間検出部120で現在の情報提示認知時間D2cの計測を停止すると同時に、現在の認知操作時間D3cの計測を開始させる。見逃し判定部122は、見逃し判定処理で、現在の情報提示認知時間が「0.8秒」であり、平均の情報提示認知時間D2aの「1.0秒」以内である場合、HUD表示を認識したと推定して処理を継続する。その後、見逃し判定部122にて、現在の認知操作時間D3cが「0.7秒」であり、平均の認知操作時間D3aの「0.5秒」を経過している場合、HUD表示を認識したと推定したにも関わらず、車両操作を行っていない(信号機3や標識の見逃し)と判定し、表示音声処理部140を通じてHUD表示を強調表示する。

0061

以上説明したように、本実施形態に係る車両用表示装置によれば、以下に示すような効果が得られるようになる。
HUD表示した情報について運転者により認識されたか否かが推定される。そして、HUD表示された情報を運転者が認識したと推定したものの、実際には同情報を認識していない可能性が高いとき、その情報を運転者の有効視野5Bに強調表示する。これにより、運転者自身が認識していない情報を運転者に認識させることができる。一方、運転者に認識されている情報は強調表示されないため、強調表示等で運転者にわずらわしさを感じさせるおそれもない。なお、強調表示の一態様は、通常の表示位置にある情報を運転者の有効視野に表示させることである。

0062

なお、上記実施形態は以下の形態にて実施することもできる。
・上記実施形態では、フロントウィンドウ7にHUDによる情報を表示するようにしたが、フロントウィンドウ7に代えて、クリアパネル等の専用の情報表示対象を用いるようにしてもよい。

0063

・上記実施形態では、外部カメラ5が車両1の前方の画像を撮影することができる場合について例示したが、これに限らず、外部カメラは、車両の前方以外の方向、例えば、右側方左側方後方等を撮影可能であってもよい。このとき、視線検出カメラも左右、後ろ方向における視線が検出できればよい。これにより、車両の前方以外の方向、例えば、右側方、左側方、後方についても、適切な情報提供を行うことができる。

0064

・上記実施形態では、運転者の有効視野5Bから信号機や標識が外れ、かつ、認識したと推定されたHUD表示を実際には認識していないとき、強調表示させる場合について例示したが、これに限らず、運転者の有効視野から信号機や標識が外れ、かつ、信号機や標識を実際には認識していないとき、HUD表示を表示強調させてもよい。信号機や標識を実際には認識していないことは、HUD表示を実際には認識していないことと同様に判定できる。

0065

・上記実施形態では、運転者に運転支援情報を提供する場合について例示したが、運転支援情報は、運転を直接的に支援する情報に限らず、間接的に支援する情報でも、運転者の視野から外れるおそれがあるものであって、運転者に何らかの操作を促す情報であればよい。例えば、運転者が運転環境を良好にするエアコンの操作を誤ったと推定されるものの、その後、その操作内容を確認していないような場合、その操作の確認を促すような情報であってもよい。

0066

・上記実施形態では、車両1が乗用車である場合について説明したが、これに限らず、車両は、HUD表示が可能であるならば、営業用の車両、二輪車バストラック、農工業用の車両、工事土木作業用の車両等の自動車であってもよい。

0067

1…車両、2…走行路、3…信号機、3A…信号機像、5…外部カメラ、5A…撮影範囲、5B…有効視野、6A…信号表示、6B…信号表示、7…フロントウィンドウ、10…運転支援装置、11…視線検出カメラ、14…表示出力部、15…音声出力部、100…車両データ取得処理部、101…前景データ取得処理部、102…視線データ取得処理部、110…操作検出部、111…有効視野検出部、112…認識推定部、113…信号・標識検出処理部、114…信号・標識範囲外検出処理部、120…応答時間検出部、121…支援判定部、122…判定部、130…記憶部、140…表示音声処理部、141…表示強調部、142…音声強調部、143…認知操作学習処理部。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

新着 最近 公開された関連が強い 技術

  • 三菱電機株式会社の「 逆走情報通知システム」が 公開されました。( 2018/11/01)

    【課題】逆走車の存在を早期に周辺車両に伝達できる逆走情報通知システムを得る。【解決手段】逆走車を検知する逆走検知手段101を有する路上機100は、検知した逆走車の存在を周囲の車両に知らせるための逆走情... 詳細

  • アイシン精機株式会社の「 車両誘導装置、方法及びプログラム」が 公開されました。( 2018/11/01)

    【課題】簡易な構成で、確実に情報を収集し、車両を誘導することが可能な車両誘導装置、方法及びプログラムを提供する。【解決手段】実施形態の障害物検知報知装置は、車両に搭載され、移動障害物の検出時に警報の報... 詳細

  • 公立大学法人岩手県立大学の「 通信システム、通信方法及びプログラム」が 公開されました。( 2018/11/01)

    【課題】 送信装置と移動可能な受信装置とがPnPを利用して通信を行うときに、通信可能な領域を有効に活用して通信を行うことに適した通信システム等を提供する。【解決手段】 送信装置3と受信装置... 詳細

この 技術と関連性が強い 技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する挑戦したい社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ