図面 (/)

技術 運転者監視システム

出願人 株式会社デンソー
発明者 森田英稔渡邊将史
出願日 2016年12月27日 (5年1ヶ月経過) 出願番号 2016-253786
公開日 2017年9月7日 (4年5ヶ月経過) 公開番号 2017-157196
状態 特許登録済
技術分野 画像処理 イメージ分析 交通制御システム 駆動装置の関連制御、車両の運動制御
主要キーワード ウェアラブル装置 半自動運転 運転監視システム レベルフラグ 運転者監視 遷移的 蛇行走行 ヘッドギア
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年9月7日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (11)

課題

車両が自動運転による走行中のような状態において、運転者携帯機を操作するような場合に、運転者の状態を把握して、運転者に対して適切な警告等の対応が可能な運転者監視システムを提供する。

解決手段

運転者監視システムは、表示画面11aと該表示画面11aに向かい合う側を撮影可能に配置されたカメラ5とを備えた携帯端末1と、自車両の制御を行う車両制御装置3と、の間で通信を行って、自車両の運転者を監視する。この運転者監視システムは、自車両の走行中に、自車両の運転者が携帯端末1の表示画面11aを見ているかどうかを、カメラ5によって撮影された画像に基づいて判定し、運転者が携帯端末1の表示画面11aを見ていると判定された場合には、警報を発する。

概要

背景

従来、車両を運転している運転者の状態を監視する運転者監視システムとして、車載カメラを使って運転者の顔を撮影し、その顔画像から瞼の開閉状態視線の向き等を検出して、運転者の状態を認識する技術が知られている。

そして、この技術によって、運転者の状態が運転に適切でない状態と判断された場合には、各種の方法によって、運転者に注意喚起する技術が知られている。例えば、車載ディスプレイでの表示、スピーカによる音声等による報知シートベルトの巻き上げ、シート振動等により、運転者に注意を喚起する技術が知られている。

また、近年では、自動運転の技術が開発されているが、この自動運転の際にも、運転者が何らかの形で運転に関与する事態は起こりえる。例えば、自動運転中に、前方カメラレーダ等によっても道路状態等を精度良く検出できず、そのため、自動運転に適さない状態となる場合も考えられる。

この対策として、自動運転に適した状況かどうかを判定して、自動運転に適した状況でない場合には、注意喚起する技術が知られている。そして、この注意喚起を行う場合には、上述した瞼の開閉状態等から運転者の覚醒状態を判断して、適切な注意喚起を行う技術が開示されている(特許文献1参照)。

概要

車両が自動運転による走行中のような状態において、運転者が携帯機を操作するような場合に、運転者の状態を把握して、運転者に対して適切な警告等の対応が可能な運転者監視システムを提供する。運転者監視システムは、表示画面11aと該表示画面11aに向かい合う側を撮影可能に配置されたカメラ5とを備えた携帯端末1と、自車両の制御を行う車両制御装置3と、の間で通信を行って、自車両の運転者を監視する。この運転者監視システムは、自車両の走行中に、自車両の運転者が携帯端末1の表示画面11aを見ているかどうかを、カメラ5によって撮影された画像に基づいて判定し、運転者が携帯端末1の表示画面11aを見ていると判定された場合には、警報を発する。

目的

本発明は、こうした問題に鑑みてなされたものであり、車両が例えば自動運転による走行中のような状態において、運転者が携帯機を操作するような場合に、運転者の状態を把握して、運転者に対して適切な警告等の対応が可能な運転者監視システムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

表示画面(11a)と該表示画面に対向する側を撮影可能に配置された撮影装置(5)とを備えた携帯機(1)と、自車両の制御を行う車両制御装置(3)と、の間で通信を行って、前記自車両の運転者監視する運転者監視システムであって、前記自車両の走行中に、該自車両の運転者が前記携帯機の表示画面を見ているかどうかを、前記撮影装置によって撮影された画像に基づいて判定する乗員状態判定部(43)と、前記乗員状態判定部によって、前記運転者が前記携帯機の前記表示画面を見ていると判定された場合には、警報を発する安全制御部(45)と、を備えた運転者監視システム。

請求項2

表示画面(11a)と該表示画面に対向する側を撮影可能に配置された撮影装置(5)とを備えた携帯機(1)と、自車両の制御を行う車両制御装置(3)と、の間で通信を行って、前記自車両の運転者を監視する運転者監視システムであって、前記自車両の自動運転中に、該自車両の運転者が前記携帯機の表示画面を見ているかどうかを、前記撮影装置によって撮影された画像に基づいて判定する乗員状態判定部(43)と、前記乗員状態判定部によって、前記運転者が前記携帯機の前記表示画面を見ていると判定された場合には、警報を発する制御及び前記運転者の運転利用可能な情報を提供する制御のうち少なくとも一方の制御を行う安全制御部(45)と、を備えた運転者監視システム。

請求項3

請求項2に記載の運転者監視システムであって、前記安全制御部は、前記自動運転のレベルに応じて、前記警報の内容を設定する、運転者監視システム。

請求項4

請求項2又は3に記載の運転者監視システムであって、前記安全制御部は、前記自動運転のレベルに応じて、前記情報の提供を行う、運転者監視システム。

請求項5

請求項2から請求項4までのいずれか1項に記載の運転者監視システムであって、前記乗員状態判定部は、前記撮影装置によって撮影された画像に基づいて、前記運転者の意識状態の程度を判定し、前記安全制御部は、前記乗員状態判定部によって判定された前記運転者の意識状態の程度に基づいて、前記警報の内容の設定及び前記情報の提供のうち少なくとも一方を行う、運転者監視システム。

請求項6

請求項2から請求項5までのいずれか1項に記載の運転者監視システムであって、前記乗員状態判定部は、前記携帯機又は前記車両制御装置に設けられている、運転者監視システム。

請求項7

請求項2から請求項6までのいずれか1項に記載の運転者監視システムであって、前記安全制御部は、前記運転者の操作が必要な場合又は前記運転者の操作が必要となることが予測される場合には、前記警報を発する、運転者監視システム。

請求項8

請求項2から請求項7までのいずれか1項に記載の運転者監視システムであって、前記安全制御部は、前記自動運転が終了する条件が満たされた場合又は前記自動運転が終了することが予測される場合には、前記警報を発する、運転者監視システム。

請求項9

請求項2から請求項8までのいずれか1項に記載の運転者監視システムであって、前記安全制御部は、前記自動運転によって前記自車両が目的に到着した場合には、前記到着した内容に関する警報を発する、運転者監視システム。

請求項10

請求項1から請求項9までのいずれか1項に記載の運転者監視システムであって、前記安全制御部は、前記携帯機及び前記自車両の少なく一方から、前記警報を発する、運転者監視システム。

請求項11

請求項1から請求項10までのいずれか1項に記載の運転者監視システムであって、前記安全制御部は、音、音声、光、振動、風、温度、及び前記自車両の走行状態の制御の少なくとも1種によって、前記警報を発する、運転者監視システム。

請求項12

請求項1から請求項11までのいずれか1項に記載の運転者監視システムであって、前記運転者の状態を判定するための処理の一部又は全部は、前記携帯機、前記自車両の制御装置他車両の制御装置、及び車両以外の装置のうち、少なくとも1種にて行う、運転者監視システム。

請求項13

請求項12に記載の運転者監視システムであって、前記車両以外の装置とは、クラウドサーバである、運転者監視システム。

技術分野

0001

本発明は、例えば自動運転などの際に、運転席着座している運転者(即ちドライバ)の状態を監視することができる運転者監視システムに関する。

背景技術

0002

従来、車両を運転している運転者の状態を監視する運転者監視システムとして、車載カメラを使って運転者の顔を撮影し、その顔画像から瞼の開閉状態視線の向き等を検出して、運転者の状態を認識する技術が知られている。

0003

そして、この技術によって、運転者の状態が運転に適切でない状態と判断された場合には、各種の方法によって、運転者に注意喚起する技術が知られている。例えば、車載ディスプレイでの表示、スピーカによる音声等による報知シートベルトの巻き上げ、シート振動等により、運転者に注意を喚起する技術が知られている。

0004

また、近年では、自動運転の技術が開発されているが、この自動運転の際にも、運転者が何らかの形で運転に関与する事態は起こりえる。例えば、自動運転中に、前方カメラレーダ等によっても道路状態等を精度良く検出できず、そのため、自動運転に適さない状態となる場合も考えられる。

0005

この対策として、自動運転に適した状況かどうかを判定して、自動運転に適した状況でない場合には、注意喚起する技術が知られている。そして、この注意喚起を行う場合には、上述した瞼の開閉状態等から運転者の覚醒状態を判断して、適切な注意喚起を行う技術が開示されている(特許文献1参照)。

先行技術

0006

特開2015−32054号公報

発明が解決しようとする課題

0007

しかしながら、上述した従来技術でも、必ずしも好適に対応できない場合が考えられる。
例えば自動運転のレベルによっては、運転者がハンドル(即ちステアリングホイール)から手を離すことができるが、そのときに、運転者がスマホ等の携帯端末(即ち携帯機)を操作していると、運転者の状態をうまく検出できないことがある。

0008

つまり、車載カメラによって運転者の顔を撮影し、その顔画像から運転者の状態を判定する技術では、運転者が手元の携帯端末の画面を見ていると、車載カメラでは顔画像を得ることができず、そのため運転者の状態を判定できないことがある。

0009

ところが、自動運転では、状況によっては自動運転を継続できない場合もあるので、運転者がハンドルから手を離しているときでも、そのような場合にすぐに運転者による運転操作が可能な状態、即ち、運転者によるバックアップタスクが可能な状態であることが必要とされる。

0010

そのため、自動運転においては、運転者がバックアップタスクが可能であることを監視し、バックアップタスクが可能でない状態の場合、例えば運転者がっている場合等には、運転者に注意を喚起する必要がある。

0011

しかしながら、従来の車載カメラを用いる技術では、顔画像が得られないので、運転者がバックアップタスクが可能であるかどうかの判定ができないという問題がある。
また、自動運転でない場合でも、例えば車載カメラによる撮影状況が好ましくないときなどには、運転者の状態を把握することが難しいことがある。

0012

本発明は、こうした問題に鑑みてなされたものであり、車両が例えば自動運転による走行中のような状態において、運転者が携帯機を操作するような場合に、運転者の状態を把握して、運転者に対して適切な警告等の対応が可能な運転者監視システムを提供することを目的とする。

課題を解決するための手段

0013

本発明の一つの態様は、表示画面(11a)と該表示画面に対向する側を撮影可能に配置された撮影装置(5)とを備えた携帯機(1)と、自車両の制御を行う車両制御装置(3)と、の間で通信を行って、前記自車両の運転者を監視する運転者監視システムである。

0014

この運転監視システムは、前記自車両の走行中に、該自車両の運転者が前記携帯機の表示画面を見ているかどうかを、前記撮影装置によって撮影された画像に基づいて判定する乗員状態判定部(43)と、前記乗員状態判定部によって、前記運転者が前記携帯機の前記表示画面を見ていると判定された場合には、警報を発する安全制御部(45)と、を備える。

0015

この構成によれば、自車両の走行中に、撮影装置によって撮影された画像に基づいて、自車両の運転者が携帯機の表示画面を見ているかどうかを判定することができる。よって、運転者が携帯機の表示画面を見ていると判定された場合には、適切な警報を発することができる。つまり、運転者の状態を把握して、適切な警告(即ち注意喚起)を行うことができるので、より安全な運転が可能になるという効果がある。

0016

本発明の他の態様は、表示画面(11a)と該表示画面に対向する側を撮影可能に配置された撮影装置(5)とを備えた携帯機(1)と、自車両の制御を行う車両制御装置(3)と、の間で通信を行って、前記自車両の運転者を監視する運転者監視システムである。

0017

この運転者監視システムは、前記自車両の自動運転中に、該自車両の運転者が前記携帯機の表示画面を見ているかどうかを、前記撮影装置によって撮影された画像に基づいて判定する乗員状態判定部(43)と、前記乗員状態判定部によって、前記運転者が前記携帯機の前記表示画面を見ていると判定された場合には、警報を発する制御及び前記運転者の運転に利用可能な情報を提供する制御のうち少なくとも一方の制御を行う安全制御部(45)と、を備える。

0018

この構成によれば、自車両の自動運転中に、撮影装置によって撮影された画像に基づいて、自車両の運転者が携帯機の表示画面を見ているかどうかを判定することができる。よって、運転者が携帯機の表示画面を見ていると判定された場合には、適切な警報を発することができる。つまり、運転者の状態を把握して、適切な警告を報知することができるので、より安全な運転が可能になるという効果がある。

0019

特に、自動運転の場合には、運転者がハンドルから手を離して、携帯機を操作することが考えられる。しかし、前記構成によれば、自動運転中に、携帯機の撮影装置によって撮影された運転者の画像(例えば顔画像)から、例えば運転者の意識状態の程度等を把握することができる。

0020

よって、例えば運転者が自動運転から直ぐに運転を代わることができる状態でない場合、即ちバックアップタスクが可能でない状態の場合などには、それに応じて必要な警報を発することができるので、運転の安全性が大きく向上するという顕著な効果を奏する。

0021

また、自動運転中に運転者が携帯機の表示画面を見ている場合に、例えば自動運転から運転者が運転を代わったときに運転者が利用可能な情報、例えば車両の前方の画像や周囲の情報などのバックアップタスクの際に有用な情報を、表示画面に表示することができる。これにより、安全性が一層向上するという利点がある。

0022

なお、乗員状態判定部や安全制御部は、少なくとも一方が、携帯機側にあっても自車両側にあってもよい、或いは、両方にあってもよい。
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。

図面の簡単な説明

0023

第1実施形態の運転者監視システムを示すブロック図である。
携帯端末のメモリに記憶されているデータを示す説明図である。
車両制御装置のメモリに記憶されているデータを示す説明図である。
携帯端末のマイコンにて実施される内容を機能的に示すブロック図である。
車両制御装置のマイコンにて実施される内容を機能的に示すブロック図である。
走行前に携帯端末のマイコンにて実施される処理を示すフローチャートである。
走行前に車両制御装置のマイコンにて実施される処理を示すフローチャートである。
走行時に車両制御装置のマイコンにて実施される運転者監視処理を示すフローチャートである。
安全制御部による注意喚起の内容を示す説明図である。
乗員状態判定部による処理を行う装置等を示す説明図である。

実施例

0024

以下に本発明の実施形態を図面とともに説明する。
[1.第1実施形態]
[1−1.基本構成
まず、第1実施形態の運転者監視システムの構成について説明する。

0025

図1に示すように、本第1実施形態における運転者監視システムは、スマートフォン(即ちスマホ)等の携帯端末1と、車両に搭載されて車両の動作を制御する車両制御装置3とが、通信により連携して機能するシステムである。

0026

前記車両は、運転者(即ちドライバ)の運転操作による走行と各種の自動化のレベルに応じた自動運転による走行が可能な車両である。なお、ここで車両とは、運転者の携帯端末1との通信が可能な自車両である。

0027

以下、各構成について説明する。
<携帯端末>
携帯端末1は、周知のように、運転者等が携帯可能な通信装置(即ち携帯機)の一種であり、外部の基地局や自車両等との間で情報の送受信が可能な装置である。

0028

なお、ここでは、携帯端末1としてスマホを例に挙げて説明するが、それに限られるものではない。また、携帯端末1に代えて、ゲーム機ノートパソコン等の各種の装置を使用できる。この場合には、各装置に対応して、入力装置として、操作スイッチやキーボード等を用いることができる。

0029

携帯端末1は、カメラ5、マイク7、ジャイロ9、表示装置(即ちディスプレイ)11、スピーカ13、振動モータ15等を備えている。また、携帯端末1の動作を制御するマイクロコンピュータ(即ちマイコン)17や、外部との通信を行うアンテナ等を有する通信部19を備えている。なお、通信部19としては、無線通信に限らず、USB等を用いた有線通信を行う装置を採用できる。

0030

このうち、カメラ5は、例えばCCDカメラであり、携帯端末1を操作する人(例えば所有者)の顔等を撮影できるように、ディスプレイ11側(即ち表示画面11a側)に配置されている。つまり、表示画面11aに向かい合う側、即ち表示画面11aに対向する側を撮影可能なように、例えば表示画面11aの周囲等に配置されている。

0031

ディスプレイ11は、液晶等の表示画面11aを備えるとともに、その表示画面11aに文字や画像等を表示する表示装置である。なお、周知のように、表示画面11aはタッチパネルとしての機能、即ち入力装置としての機能も有している。なお、ディスプレイ11は、入力装置としての機能を有していなくともよい。

0032

スピーカ13は、音声や音により、必要に応じて、携帯端末1の使用者に警報等の情報を報知するものである。
振動モータ15は、携帯端末1自身を振動させることにより、携帯端末1の使用者に警報等の情報を報知するものである。

0033

マイコン17は、周知のCPU17a、ROM17b、RAM17c、EEPROM17d等を備えた電子制御装置である。
このうち、ROM17bは、電源を切断しても記憶内容を保持する必要のあるデータやプログラムを記憶する。EEOROM17dは、電源を切断しても記憶内容を保持する必要のあるデータ(例えば認証データ)を記憶する。RAM17cは、データを一時的に格納する。CPU17aは、ROM17b等に記憶されたプログラム等に従って処理を実行する。

0034

通信部19は、外部の基地局や車両制御装置3等との間で、例えばカメラ5で撮影した顔画像のデータなど、各種の情報の送受信が可能な装置である。なお、通信部19は、無線通信又は有線通信により、車両制御装置3側と通信が可能である。

0035

前記携帯端末1の各種の機能は、CPU17aが非遷移的実体記録媒体に格納されたプログラムを実行する実行することにより実現される。この例では、ROM17bが、プログラムを格納した非遷移的実体的記録媒体に該当する。また、プログラムの実行により、プログラムに対応する方法が実行される。なお、携帯端末1を構成するマイコンの数は1つでも複数でもよい。なお、これらの点については、車両制御装置3のマイコン21でも同様である。

0036

<車両制御装置>
車両制御装置3は、各種のセンサからの情報等に基づいて、各種のアクチュエータを駆動させて車両の動作を制御したり、後述する運転者監視処理等を行う電子制御装置である。

0037

この車両制御装置3は、周知のCPU21a、ROM21b、RAM21c、EEPROM21d等を備えたマイコン21や、アンテナ等を用いて外部の基地局や他車両や携帯端末1等との間で情報の送受信が通信部23を備えている。なお、通信部23は、無線通信又は有線通信により、携帯端末1の通信部19と通信が可能である
また、車両制御装置3には、運転用センサ類25、自車両センサ類27、周辺監視装置29、スイッチ類31、ディスプレイ33、アクチュエータ類35、ナビゲーション装置37等が接続されている。

0038

このうち、マイコン21については、基本的に、前記携帯端末1側のマイコン17と同様である。
運転用センサ類25としては、運転者の状態を検出するドライバカメラ25a等の各種のセンサが挙げられる。ドライバカメラ25aは、運転席の前方に配置された例えばCCDカメラであり、運転者の顔等を撮影して、その顔画像等を車両制御装置3に送信する。

0039

なお、他のセンサとしては、運転者が運転席に着座したことを検出する着座センサ、ハンドルやシートベルト等に取り付けられて運転者の心拍等を検出する心電センサ等が挙げられる。

0040

自車両センサ類27は、自車両の動作を検出するセンサであり、例えば車速センサ加速度センサヨーレートセンサステアリングセンサ等、各種のセンサが挙げられる。また、GPS等の自車両の位置を検出する装置も挙げられる。

0041

周辺監視装置29は、車両(即ち自車両)の周囲の状況を監視する装置であり、各種のレーダ、前方カメラ、後方カメラ側方カメラ超音波センサ等、各種の装置が挙げられる。

0042

スイッチ類31としては、例えば自動運転の許可又は禁止を指示するスイッチ等が挙げられる。
ディスプレイ33は、例えば車両のダッシュボード等に取り付けられた表示装置であり、その表示画面は、周知のようにタッチパネルとしての機能、即ち入力装置としての機能も有している。

0043

アクチュエータ類35としては、車両の駆動力スロットル等を用いて調節する制動用アクチュエータ、車両の制動力ホイールシリンダ等を利用して調節する制動用アクチュエータ、車両の操舵角操舵用モータを利用して調節する操舵用アクチュエータ等が挙げられる。その他、エアコンやスピーカや室内のライト等も挙げられる。

0044

ナビゲーション装置37は、地図情報や自車両の位置情報等に基づいて、走行経路の案内等が可能な周知の装置である。
また、上述した運転者監視システムには、携帯端末1や車両制御装置3以外に、例えばウェアラブル装置39を用いてもよい。このウェアラブル装置39では、運転者の心拍や脈拍脳波等を検出し、その情報を、携帯端末1や車両制御装置3等に送信することができる。

0045

ウェアラブル装置39としては、腕時計タイプのものや頭に装着するヘッドギアタイプのもの等が挙げられる。
[1−2.メモリの記憶内容]
次に、後述する運転者監視処理を行うために、携帯端末1や車両制御装置3のメモリに記憶される記憶内容について説明する。

0046

<携帯端末>
図2に示すように、携帯端末1のメモリ(例えばEEPROM17d)には、携帯端末1の所有者の情報が予め登録されて記憶されている。

0047

この所有者の情報としては、所有者を識別できる顔画像に基づく認証情報が挙げられる。なお、それ以外には、例えば、網膜指紋等の各種の認証情報が挙げられる。
また、EEPROM17dには、今回の制御を行う際の通信相手の車両、即ち携帯端末1の所有者が運転が許可されている自車両の情報も記憶されている。なお、車両の情報としては、車両を区別する番号(例えば車両ID)が挙げられる。

0048

<車両制御装置>
図3に示すように、車両制御装置3のメモリ(例えばEEPROM21d)には、自車両の運転が許可されている運転者が予め登録されて記憶されている。

0049

この運転者の情報としては、運転者を識別できる顔画像に基づく認証情報が挙げられる。なお、それ以外には、例えば、網膜、掌、指紋等の各種の認証情報が挙げられる。
また、EEPROM21dには、今回の制御を行う際の通信相手の携帯端末1の情報が記憶されている。この携帯端末1の情報としては、携帯端末1を区別する番号(例えば携帯端末ID)が挙げられる。

0050

更に、EEPROM21dには、携帯端末1の所有者の情報が記憶されている。この所有者の情報としては、所有者を区別する番号(例えば所有者ID)が挙げられる。
なお、本第1実施形態では、携帯端末1の所有者は、前記車両の運転が許可されている運転者であるので、後述する運転者監視処理を実施する際には、少なくとも、携帯端末1の所有者と運転者とが一致する必要がある。

0051

[1−3.マイコンの機能的な内容]
次に、各マイコン17、21にて実施される内容を、機能的に説明する。
<携帯端末>
図4に示すように、携帯端末1側のマイコン17は、処理プログラムが実行する処理内容として、即ち機能的に、第1の画像認識部41、第1の乗員状態判定部43、第1の安全制御部45、ディスプレイ制御部47、アクチュエータ制御部49、スマホアプリ部51を備えている。

0052

このうち、第1の画像認識部41は、カメラ5で撮影された画像に基づいて、その画像中に顔を示す顔画像を認識する。そして、例えば、顔画像から、撮影された人が当該携帯端末1の所有者であるかどうかを判断する。

0053

第1の乗員状態判定部43は、自車両の走行中に、例えば自動運転中に、自車両の運転者が携帯端末1の表示画面11aを見ているかどうかを、カメラ5によって撮影された画像に基づいて判定する。ここでは、自車両の運転者が携帯端末1の所有者であることを予め確認するので、携帯端末1の所有者が表示画面11aを見ているかどうかを判定すればよい。なお、自車両の走行状態については、車両制御装置3側から得ることができる。

0054

更に、第1の乗員状態判定部43では、カメラ5によって撮影された画像(即ち顔画像)に基づいて、運転者の意識状態の程度を判定することができる。この意識状態の程度とは、意識がはっきりしているかどうかの程度(即ちレベル)であり、例えば覚醒度が挙げられる。

0055

この意識状態の程度(例えば覚醒度)が、顔画像から得られる例えば瞼の開閉状態や、心拍や脈拍や脳波等から検出できることは、例えば特許第5139470号公報等に記載のように周知であるので、その説明は省略する。

0056

また、心拍等の検出が可能なウェアラブル装置39を用いる場合には、その心拍等の情報を加味して、意識状態の程度を判定してもよい。
なお、この第1の乗員状態判定部43は、車両制御装置3側の機能としてもよい。つまり、携帯端末1側から受信した顔画像の情報に基づいて、車両制御装置3にて、上述した状態判定を行ってもよい。

0057

第1の安全制御部45は、走行中に、例えば自動運転中に、運転者が携帯端末1の表示画面11aを見ていると判定された場合には、その走行状態に対応して必要な警報を発することができる。また、運転者が運転する際に利用可能な情報、例えばバックアップタスクに有用な情報(例えば監視情報)を提供することができる。なお、第1の乗員状態判定部43によって判定された運転者の意識状態の程度(例えば覚醒度)に基づいて、警報の内容を設定することができる。

0058

前記第1の安全制御部45は、例えばディスプレイ11、スピーカ13、振動モータ15を用いて、携帯端末1から運転者に対して警報を発することができる。また、ディスプレイ11等を用いて前記監視情報を提供してもよい。

0059

なお、この第1の安全制御部45は、車両制御装置3側の機能としてもよい。つまり、携帯端末1側から受信した顔画像の情報等に基づいて、例えば車両制御装置3にて状態判定を行って、上述した警報を発してもよい。この場合、警報は携帯端末1側で行ってもよいし、車両制御装置3側で行ってもよい。

0060

ディスプレイ制御部47は、ディスプレイ11による表示やタッチパネルとしての機能を制御する。
アクチュエータ制御部49は、携帯端末1自身をアクチュエータとして機能させる場合の動作を制御する。具体的には、上述したように、例えばディスプレイ11、スピーカ13、振動モータ15をアクチュエータとして用いて、携帯端末1から運転者に対して警報を発することができる。

0061

スマホアプリ部51は、周知のように、携帯端末1にインストールされた各種のアプリケーションの動作を制御する。
<車両制御装置>
図5に示すように、車両制御装置3側のマイコン17は、処理プログラムが実行する処理内容として、即ち機能的に、第2の画像認識部61、第2の乗員状態判定部63、自車両状態検出部65、周辺情報検出部67、第2の安全制御部69、自動運転制御部71を有する車両制御部73、ディスプレイ制御部75、アクチュエータ制御部77を備えている。

0062

このうち、第2の乗員状態判定部63は、第2の画像認識部61からの情報に基づいて、運転者の認識を行ったり、運転者の各種の状態を判定する。例えば、ドライバカメラ25aからの画像に基づいて、運転席に着座した人が、当該車両の運転を許可されている人か否かを判定する。

0063

また、この第2の乗員状態判定部63では、運転者の意識状態の程度、例えば覚醒度や眠たさの程度を検出する(即ち意識検出部として機能する)。例えば、周知のように、ドライバカメラ25aからの顔画像の情報、例えば瞼の開閉状態に基づいて、意識状態の程度を検出することができる。或いは、周知のように、ウェアラブル装置39やハンドルやシートベルト等に装着された心電センサ等からの情報、例えば心拍のゆらぎ等に基づいて、意識状態の程度を検出することができる。

0064

自車両状態検出部65は、自車両センサ類27からの情報に基づいて、車速加速度ヨーレート、操舵角等のような、自車両の走行状態を検出する。また、自動運転が実施されているかどうかや、自動運転のレベルの情報等を検出する。

0065

周辺情報検出部67は、レーダや前方カメラ等の周辺監視装置29からの情報に基づいて、自車両の前方等の道路状態や周囲の車両等の情報を検出する。
車両制御部73は、例えばスイッチ類31、ディスプレイ33のタッチパネル、第2の乗員状態検出部63、自車両状態検出部65、周辺情報検出部67等からの情報などに基づいて、自車両の走行を制御する。

0066

また、自動運転を行う場合には、自動運転制御部71は、上述した各種の情報に基づいて、自動運転による走行を制御する。なお、自動運転等の走行の制御を行う場合には、ナビゲーション装置37からの地図情報等を参照することができる。

0067

第2の安全制御部69は、携帯端末1側と同様に、走行中に、例えば自動運転中に、運転者が携帯端末1の表示画面11aを見ていると判定された場合には、その走行状態に対応して必要な警報を発する。例えば、ディスプレイ33、アクチュエータ類35を用いて、車両自身により運転者に対して警報を発することができる。

0068

具体的には、警報を発する方法としては、ディスプレイ33での表示や、スピーカでの音声や音による報知が挙げられる。また、警報を発していることを気付かせるため等の目的で、エアコンを制御して冷風等を運転者に送ったり、室内のランプ点灯状態を変化させたりする方法が挙げられる。さらに、座席やハンドルを振動させる方法、シートベルトを巻き上げる方法が挙げられる。また、車両の動作を制御して、蛇行走行させたり、ブレーキによる制動制御、例えば断続的に弱いブレーキがかかるようなブレーキ制動を行ってもよい。

0069

また、第2の安全制御部69は、運転者が運転する際に利用可能な情報、例えばバックアップタスクに有用な情報を提供することができる。なお、情報の提供は、前記ディスプレイ33以外に、フロントガラスに画像等を表示するヘッドアップディスプレイ等を利用できる。

0070

ディスプレイ制御部75は、ディスプレイ33による表示やタッチパネルとしての機能を制御する。
アクチュエータ制御部77は、車両側の各種の装置をアクチュエータとして機能させる場合の動作を制御する。具体的には、上述したように、例えばディスプレイ33、スピーカ、ランプ、駆動用制動用操舵用のアクチュエータ等をアクチュエータとして用いて、車両側から運転者に対して警報を発したり、情報を提供することができる。

0071

なお、ここでは、上述したように、携帯端末1と車両制御装置3とで各種の機能の役割分担したが、それ以外の方法として、例えば、顔の撮影は携帯端末1のカメラ5で行うが、それ以降の処理や制御は、携帯端末1側及び車両制御装置3側のどちらか一方で適宜分担してもよい。或いは、携帯端末1側及び車両制御装置3側の両方で処理や制御を実施してもよい。

0072

[1−4.自動運転レベルに応じた制御内容
次に、自動運転のレベルと、自動運転のレベルに応じて実施される運転者監視処理の制御内容について説明する。

0073

ここで、自動運転を行うか否かは、例えば運転者のスイッチ類31やディスプレイ33のタッチパネル等からの指示により決定することができる。
また、後述する自動運転のレベルも、同様に運転者の指示により選択できるが、例えば車両側にて、自動運転が可能な条件が満たされた場合に、その満たされた条件に応じて、適宜自動的に自動運転のレベルを設定してもよい。

0074

更に、自動運転の中止は、運転者の指示により決定することができるが、自動運転が可能な条件が満たさなくなった場合に、適切な警告の後に、自動運転を解除する際の安全が確認された段階で、自動運転を解除してもよい。

0075

自動運転のレベルとは、どの程度まで自動化するかの指標であり、この自動運転のレベルとしては、例えば下記表1、表2に示すレベルを採用できる。

0076

0077

この表1において、レベル0が、自動運転ではない運転者の操作による運転である。また、レベル5が、運転者が関与せずに車両自身が全て判断して走行する完全な自動運転である。そして、レベル1〜4が、運転者と車両とが共同して運転する半自動運転である。つまり、必要に応じて、運転者が操作したり車両自身が運転するシステムである。

0078

0079

なお、表2にて、「Hands-on」とは、走行中に、運転者がハンドルに手をおいて操作する必要があることを示し、「Hands-off」とは、走行中に、運転者がハンドルから手を離
すことが可能な状態を示している。

0080

また、「Eye-on」とは、走行中に、運転者が自動運転に代わって運転が可能なように周囲を監視する必要があることを示し、「Eye-off」とは、走行中に、運転者が周囲を監視
する必要がない状態を示している。

0081

なお、特定の条件とは、例えば自動運転が可能な車線であることを示す条件等である。
本第1実施形態では、下記表3に示すように、走行状態、詳しくは自動運転のレベルに応じて警告の内容を設定し必要な情報を提供している。

0082

0083

具体的には、レベル0の場合、即ち運転者が操作して運転している場合に、携帯端末(例えばスマホ)1の表示画面11aが見られた場合には、安全面で問題がある。
そこで、例えば「運転に集中して下さい」等の警告を行う。例えば、携帯端末1側や車両側から、ディスプレイ11、33やスピーカ13等を用い、表示や音声等によって前記警告を行う。

0084

レベル1の場合、即ち運転者の支援が必要な状態で走行している場合に、携帯端末1の表示画面11aが見られた場合にも、何らかの対策が望まれる。
そこで、前記レベル0と同様に、同様な装置を用いて、例えば「運転に集中して下さい」等の警告を行う。

0085

レベル2の場合、即ち部分的な自動運転の場合に、携帯端末1の表示画面11aが見られた場合にも、何らかの対策が望まれる。
そこで、前記と同様な装置を用いて、例えば「周囲の監視をして下さい」等の警告を行う。つまり、運転者はハンドルから手を離すことが可能であるが、周囲から目を逸らすことは適切ではないので、周囲の監視を促す警告を行う。

0086

また、この警告の際に、携帯端末1を利用して、運転者による運転の際に利用可能な情報、例えば周囲の監視を行う場合に必要な情報(即ち監視情報)を提供する制御を行ってもよい。例えば前方カメラで撮影した映像、自車両の走行予定経路、周囲の車両の情報を、例えば表示画面11aの一部に表示してもよい。これにより、安全性が一層向上する。なお、前記監視情報を表示画面11aの全体に表示してもよい。

0087

レベル3の場合で、且つ、運転者が携帯端末1を操作しており、且つ、運転者の意識状態(即ち意識レベル)が高い場合には、運転者はいつでも自身の運転に切り替えることができる。つまり、バックアップタスクが可能であるので、バックアップタスクを実施する場合の補助となる制御、即ち、表3の提示(A)である制御Aを行う。尚、意識レベルの高低は、所定の判定値に基づいて判定できる。

0088

具体的には、周囲の監視を行う場合に必要な監視情報として、例えば前方カメラで撮影した映像、自車両の走行予定経路、周囲の車両の情報を、例えばフロントガラスに投影して表示する等の制御を行う。

0089

また、携帯端末1の表示画面11a等を用いて、前記監視情報を提供してもよい。なお、監視情報の提供は、車両側及び携帯端末1側の少なくとも一方で実施することができる。

0090

レベル3の場合で、且つ、運転者が携帯端末1を操作しており、且つ、運転者の意識状態低い又は低くなりそうな場合には、バックアップタスクが十分に行えない可能性がある。そこで、前記制御Aによる情報の提供を行うとともに、例えば「次のサービスエリア(即ちSA)で休んで下さい」等の警告を行う。

0091

また、上述したように、携帯端末1の表示画面11a等を用いて、前記監視情報を提供してもよい。なお、監視情報の提供は、車両側及び携帯端末1側の少なくとも一方で実施することができる。

0092

レベル3の場合で、且つ、運転者が携帯端末1を操作しており、且つ、運転者の操作が必要又は操作の必要がありそうな場合には、バックアップタスクの必要性が高い。そこで、状況に応じて、例えば「運転操作を代わって下さい」や「運転操作を代わる準備をして下さい」等の警告を行う。

0093

また、上述したように、携帯端末1の表示画面11a等を用いて、前記監視情報を提供してもよい。なお、監視情報の提供は、車両側及び携帯端末1側の少なくとも一方で実施することができる。

0094

レベル4の場合で、自動走行が可能な条件が外れる又は外れそうになった場合、例えば自動走行可能区間が終了する又は終了しそうになった場合、運転者による操作が必要である。そこで、状況に応じて、例えば「自動走行可能区間が終了します」や「間もなく(例えば10分後に)自動走行区間が終了します」等の警告を行う。

0095

また、上述したように、携帯端末1の表示画面11a等を用いて、前記監視情報を提供してもよい。なお、監視情報の提供は、車両側及び携帯端末1側の少なくとも一方で実施することができる。

0096

レベル5の場合で、携帯端末1の表示画面11aを見ているうちに、目的地に到達した場合には、例えば「目的地に到達しました」等の警告を行う。
なお、後述するように、自動化のレベルに応じて制御が実施されるが、その制御は、前記表3等の0〜5のレベルによる区分に加え、前記表3の各レベル(例えばレベル3)を更に細かく分ける各欄のような区分に応じて制御が行われる。つまり、自動運転のレベルに応じて制御を行う場合には、前記0〜5のレベルに限定されるものではなく、0〜5のレベルよりも更に細分化された区分に応じて実施される。

0097

[1−5.処理]
次に、運転者監視システムにて実施される処理内容、即ち運転者監視処理について説明する。

0098

<走行前の携帯端末側の処理>
なお、以下の走行前の処理は、例えば自車両のイグニッションスイッチオンにされた時点等に開始することができる。また、以降の各フローチャートの図面では、ステップをSと記す。

0099

まず、走行前に携帯端末1にて実施される事前の処理について説明する。
図6に示すように、ステップ100では、携帯端末1のカメラ5で、携帯端末1の操作者を撮影する。

0100

続くステップ110では、撮影された画像(例えば顔画像)から、前記EEPROM17dに記憶された認証情報に基づいて、操作者が携帯端末1の適正な所有者か否かを判定する。ここで肯定判断されるとステップ120に進み、一方否定判断されると一旦本処理を終了する。

0101

ステップ120では、携帯端末1を適正な所有者が操作しているので、車両制御装置3との通信を行う。具体的には、携帯端末1の情報(例えば携帯端末ID)と所有者の情報を車両制御装置3に送信する。また、車両制御装置3から、車両を特定する情報(例えば車両ID)を受信する。

0102

続くステップ130では、車両制御装置3から受信した情報に基づいて、車両が特定の登録された車両であるか否かを判定する。つまり、携帯端末1の所有者が運転可能な車両であるか否かを判定する。ここで肯定判断されるとステップ140に進み、一方否定判断されると一旦本処理を終了する。

0103

ステップ140では、通信相手の車両が携帯端末1の所有者が運転可能な車両であるので、後述する運転者監視処理を許可する。つまり、処理に必要な情報(例えば顔画像)の送信を許可し、一旦本処理を終了する。

0104

<走行前の車両制御装置側の処理>
次に、走行前に車両制御装置3にて実施される事前の処理について説明する。
図7に示すように、ステップ200では、車両側のドライバカメラ25aで、運転席に着座している人の顔等を撮影する。なお、運転席に着座していることは、例えば運転席の着座センサ等から検出することができる。

0105

続くステップ210では、撮影された画像(例えば顔画像)から、前記EEPROM21dに記憶された認証情報に基づいて、着座している人が車両の運転を許可されている適正な運転者か否かを判定する。ここで肯定判断されるとステップ220に進み、一方否定判断されると一旦本処理を終了する。

0106

ステップ220では、運転席に適正な運転者が着座しているので、携帯端末1との通信を行う。具体的には、車両の情報(例えば車両ID)と運転者の情報を携帯端末1に送信する。また、携帯端末1から、携帯端末1を特定する情報(例えば携帯端末ID)や、携帯端末1のカメラ5で撮影された顔画像を受信する。

0107

続くステップ230では、携帯端末1から受信した例えば携帯端末IDを用いて、携帯端末1が特定の登録された携帯端末1であるか否かを判定する。ここで肯定判断されるとステップ240に進み、一方否定判断されると一旦本処理を終了する。

0108

ステップ240では、携帯端末1から受信した顔画像の情報を用い、EEPROM21dに記憶されている運転者の顔画像の認証情報に基づいて、当該受信した顔画像が運転者の顔画像か否かを判定する。なお、運転者と携帯端末1の所有者とは、一致する必要があるので、ここで行う運転者の顔画像の一致の判定は、所有者の顔画像の一致の判定と同じである。ここで肯定判断されるとステップ250に進み、一方否定判断されると一旦本処理を終了する。

0109

ステップ250では、通信相手の携帯端末1を操作している人が車両の運転を許可されている運転者であるので、後述する運転者監視処理を許可する。つまり、処理に必要な情報、例えば携帯端末1側のアクチュエータを駆動する情報等の送信を許可し、一旦本処理を終了する。

0110

<走行中の処理>
ここでは、車両制御装置3が実行する運転者監視処理について、図8のフローチャートを用いて説明する。

0111

図8に示すように、ステップ300では、自車両が走行中か否かを判定する。ここで肯定判断されるとステップ310に進み、一方否定判断されると一旦本処理を終了する。例えば車速センサからの情報に基づいて、自車速が例えば5km/時以上であれば、走行中と判定する。

0112

ステップ310では、自動運転中であるか否かを判定する。ここで肯定判断されるとステップ330に進み、一方否定判断されるとステップ320に進む。例えば、車両制御装置3に対して、スイッチ類31やディスプレイ33のタッチパネル等から自動運転を指示する信号が入力され、それによって開始された自動運転が継続されている場合には、自動運転中であると判定する。

0113

なお、自動運転中には、そのことを示すフラグ(例えば自動運転フラグ)や自動運転のレベルを示すフラグ(例えばレベルフラグ)等が設定され、それらのフラグは、RAM21cやEEPROM21dに記憶される。

0114

ステップ320では、現在、運転者の運転操作による走行中であるので、運転者が携帯端末1の表示画面11aを見ているか否かを判定する。ここで肯定判断されるとステップ390に進み、一方否定判断されると一旦本処理を終了する。

0115

つまり、携帯端末1から送信された表示画面11aを見ている側の画像、例えば運転者の顔画像に基づいて、運転者が表示画面11aを見ているか否かを判定する。なお、運転者が表示画像を見ているかどうかは、顔の向きや目の瞳の向き等から判定することができる。つまり、顔や瞳が正面を見ている場合には、運転者が表示画面11aを見ていると判定できる。

0116

そして、自動運転でないにもかかわらず、運転者が携帯端末1の表示画面11aを見ている場合には、安全上問題があるので、ステップ390に進んで、その状況に対応した適切な警告を行う。具体的には、前記表3のレベル0に対応する処理として、例えば「運転に集中して下さい」等の警告を行い、一旦本処理を終了する。

0117

なお、この警告の動作は、車両側の各種の装置、例えばディスプレイ33での表示やアクチュエータ類35による音声による報知等で行うことができる。また、携帯端末1側の各種の装置、例えばディスプレイ11での表示やスピーカ13による音声による報知等で行ってもよい。或いは、車両側と携帯端末1側の両方で行ってもよい。なお、これらの警告の動作については、以下同様である。

0118

また、この警告と同時に、警告が重要なことを知らせるために、携帯端末1や車両側の装置を振動させたり、エアコン等の駆動を制御する等により、注意を喚起させてもよい。なお、これらの注意の喚起についても、以下同様である。

0119

一方、ステップ330では、自動運転中に、目的地に到達したか否かを判定する。ここで肯定判断されるとステップ390に進み、一方否定判断されるとステップ340に進む。なお、目的地に到達したどうかは、ナビゲーション装置37等からの情報によって判定することができる。

0120

そして、ステップ390では、自動運転中に、目的地に到達したので、その状況に対応した適切な警告を行う。具体的には、前記表3のレベル5に対応する処理として、例えば「目的地に到達しました」等の警告を行い、一旦本処理を終了する。

0121

一方、ステップ340では、自動運転中において、運転者が携帯端末1の表示画面11aを見ているか否かを判定する。ここで肯定判断されるとステップ350に進み、一方否定判断されると一旦本処理を終了する。

0122

ステップ350では、自動走行可能条件が終了か又は終了に近づいたかを判定する。ここで肯定判断されるとステップ390に進み、一方否定判断されるとステップ360に進む。

0123

つまり、自動運転による走行(即ち自動走行)が可能な区間が終了するか又は間もなく終了するかを、例えばナビゲーション装置37や路側機等からの情報に基づいて判定する。なお、自動走行が可能な区間の終了又は間もなく終了するか否かは、ナビゲーション装置37の地図情報に基づいて、自車両が自動走行が可能な区間のどの位置を走行しているかによって判定することができる。

0124

そして、ステップ390では、自動走行が可能な区間が終了するか又は間もなく終了するという状態となったので、その状況に対応した適切な警告を行う。具体的には、前記表3のレベル4に対応する処理として、例えば「自動走行可能区間が終了します」又は「間もなく自動走行可能区間が終了します」等の警告を行い、一旦本処理を終了する。

0125

なお、このとき、上述したように、車両側や携帯端末1側より、前記監視情報の提供を行ってもよい。
一方、ステップ360では、運転者による操作(即ちバックアップタスク)が必要な状態又は必要となりそうな状態か否かを判定する。即ち、運転者の操作が必要な場合又は運転者の操作が必要となることが予測される場合か否かを判定する。ここで肯定判断されるとステップ390に進み、一方否定判断されるとステップ370に進む。

0126

例えば、運転者によるバックアップタスクが必要な状態又は必要となりそうな状態としては、自動運転に必要な情報が得られにくくなった状態が挙げられる。例えば、バックアップタスクが必要な状態としては、天候の悪化等によって、前方カメラの画像が得られない状態や画像の精度が低下した状態、道路白線が薄くなって道路を正確に把握できない状態など各種の状態が挙げられる。また、運転者によるバックアップタスクが必要となりそうな状態としては、自動運転に必要な情報が徐々に低減する状態等が挙げられる。

0127

そして、ステップ390では、運転者によるバックアップタスクが必要な状態又は必要となりそうな状態となったので、その状況に対応した適切な警告を行う。具体的には、前記表3のレベル3の第3欄に対応する処理として、例えば「運転操作を代わって下さい」又は「運転操作を代わる準備をして下さい」等の警告を行い、一旦本処理を終了する。

0128

なお、このとき、上述したように、車両側や携帯端末1側より、前記監視情報の提供を行ってもよい。
前記運転者によるバックアップタスクが必要な状態としては、上述したように、天候や道路状況等によって、自動運転に必要な情報が得られない状態が挙げられる。また、運転者によるバックアップタスクが必要となりそうな状態としては、自動運転に必要な情報の精度が低下する状態や、情報量が低下する状態等が挙げられる。

0129

一方、ステップ370では、運転者の意識状態の程度(即ちレベル)を検出する。例えば、携帯端末1のカメラ5で撮影された顔画像に基づいて、周知にように、例えば瞼の開閉状態から意識レベルとして覚醒度を検出する。例えば、瞼が閉じている割合が通常より多い場合には、覚醒度が低下したと判定する。

0130

また、ウェアラブル装置39やその他の測定装置を用いて、心拍や脈拍や脳波を検出できる場合には、それらの生体情報を用いて覚醒度を判定してもよい。或いは、顔画像から得られる覚醒度の情報に、これらの生体情報を加味して、より精度のよい覚醒度判定を行ってもよい。

0131

続くステップ380では、運転者の意識レベルが警告が必要なレベルか否かを判定する。ここで肯定判断されるとステップ390に進み、一方否定判断されるとステップ400に進む。

0132

ステップ390では、意識レベルが低いので、その状況に対応した適切な警告を行う。具体的には、前記表3のレベル3の第2欄に対応する処理として、例えば「起きて下さい」又は「次のSAで休んで下さい」等の警告を行う。また、それとともに、運転者によるバックアップタスクを実施する際に必要な情報の提供を行い、即ち前記制御Aを実施し、一旦本処理を終了する。

0133

一方、ステップ400では、意識レベルが高いので、その状況に対応した適切な処理を行う。具体的には、前記表3のレベル3の第1欄に対応する処理として、例えば運転者によるバックアップタスクを実施する際に必要な情報を提供し、一旦本処理を終了する。

0134

なお、ここでは、車両制御装置3が実行する運転者監視処理について説明したが、同様な処理を、携帯端末1側で行ってもよい。
例えば、携帯端末1にて、前記図8に示す運転者監視処理に必要な情報を、車両制御装置3側から受信し、その情報に基づいて、前記図8に示す運転者監視処理を実施してもよい。なお、警告や情報の提供については、上述したように、携帯端末1側に行ってもよいし、車両側で行ってもよい。

0135

[1−6.効果]
以上詳述した第1実施形態によれば、以下の効果が得られる。
また、
(1a)本第1実施形態では、自車両の走行中に、例えば自動走行中に、自車両の運転者が携帯端末1の表示画面11aを見ているかどうかを、カメラ5によって撮影された画像に基づいて判定し、運転者が携帯端末1の表示画面11aを見ていると判定された場合には、警報を発することができる。

0136

また、自動走行中には、自動化のレベルや覚醒度の程度に応じて、車両側や携帯端末1側から、運転者のバックアップタスクに有用な監視情報を提供することができる。
従って、運転の安全性が向上するという効果がある。

0137

(1b)本第1実施形態では、自車両が自動運転中に、自動運転のレベルに応じて、警報の内容を設定するので、運転者はその警報の内容に応じて適切な対応をとることができる。

0138

(1c)本第1実施形態では、カメラ5によって撮影された画像に基づいて、或いは、例えばウェアラブル装置39等の他の装置からの情報に基づいて、運転者の意識状態の程度を判定し、その意識状態の程度に基づいて警報の内容を設定することができる。よって、運転者はその警報の内容に応じて適切な対応をとることができる。

0139

(1d)本第1実施形態では、自車両において、周囲の状況を精度良く検出できない等の理由によって、運転者の操作が必要な場合又は運転者の操作の必要がありそうな場合、言い換えると、車両側にて、自動運転に適さない状態となった場合又は自動運転に適さない状態となることが予測される場合には、警報を発することができる。よって、運転者は容易に自動運転に代わって運転することが可能になるので、運転の安全性が向上する。

0140

(1e)本第1実施形態では、自動走行が終了する条件が満たされた場合又は自動走行が終了することが予測される場合には、警報を発することができる。よって、運転者は容易に自動運転に代わって運転することが可能になるので、運転の安全性が向上する。

0141

(1f)本第1実施形態では、自動運転によって自車両が目的に到着した場合には、到着した内容に関する警報を発することができる。
[1−7.特許請求の範囲と第1実施形態との関係]
本第1実施形態における、表示画面11a、カメラ5、携帯端末1、車両制御装置3、第1、第2の乗員状態判定部43、63、第1、第2の安全制御部45、69が、それぞれ、本発明における、表示画面、撮影装置、携帯機、車両制御装置、乗員状態判定部、安全制御部、の一例に相当する。

0142

[2.第2実施形態]
次に、第2実施形態について説明するが、前記第1実施形態と同様な内容については、説明を省略又は簡略化する。なお、第1実施形態と同様な構成については、同じ番号を使用して説明する。

0143

本第2実施形態では、前記表1のレベル3又はレベル4の制御を行っている場合に、運転の状況が変化した場合には、レベル1又はレベル2の制御を行うものである。
(2a)レベル3からレベル1への切り替えの制御
レベル3の場合で、且つ、運転者が携帯端末1を操作しており、且つ、運転者の操作が必要又は操作の必要がありそうな場合に、例えば道路の白線が認識できない場合に、レベル1の制御に切り替えるときには、例えば「ステアリング操作を代わって下さい」等の警告を行う。

0144

なお、このときには、レベルの変化に応じて、車両の制御の切り替えを行う。
(2b)レベル3からレベル2への切り替えの制御
レベル3の場合で、且つ、運転者が携帯端末1を操作しており、且つ、運転者の操作が必要又は操作の必要がありそうな場合に、例えば道路の白線が認識できない場合に、レベル2の制御に切り替えるときには、例えば「監視タスクを代わって下さい」や「前を見て運転して下さい」等の警告を行う。ここで、監視タスクとは、バックアップタスクが可能なような周囲等の監視に関する作業である。

0145

なお、このときには、レベルの変化に応じて、車両の制御の切り替えを行う。
(2c)レベル4からレベル1への切り替えの制御
レベル4の場合で、例えば運転者が携帯端末1を見て寝てても、自動走行が可能な条件が外れる又は外れそうになった場合、例えば自動走行可能区間が終了する又は終了しそうになった場合に、例えば道路の白線が認識できない状況となって、レベル1の制御に切り替えるときには、例えば「ステアリング操作を代わって下さい」等の警告を行う。

0146

なお、このときには、レベルの変化に応じて、車両の制御の切り替えを行う。
(2d)レベル4からレベル2への切り替えの制御
レベル4の場合で、例えば運転者が携帯端末1を見て寝てても、自動走行が可能な条件が外れる又は外れそうになった場合、例えば自動走行可能区間が終了する又は終了しそうになった場合に、例えば道路の白線が認識できない状況となって、レベル2の制御に切り替えるときには、例えば「監視タスクを代わって下さい」や「前を見て運転して下さい」等の警告を行う。

0147

なお、このときには、レベルの変化に応じて、車両の制御の切り替えを行う。
[3.他の実施形態]
以上、本発明の実施形態について説明したが、本発明は前記実施形態に限定されるものではなく、本発明の技術的範囲に属する限り種々の形態を採ることができる。

0148

(3a)例えば、上記実施形態では、前記表1〜表3に示すように自動運転のレベルを区分したが、例えば下記表4に示すような他の自動運転のレベルの区分を採用してもよい。

0149

0150

この場合、表4のレベル1、レベル2、レベル3、レベル4が、それぞれ、前記表1のレベル1、レベル2、レベル3、レベル4又は5に相当する。従って、対応するレベルに応じた警告等の制御を行えばよい。

0151

(3b)前記実施形態では、携帯機としてスマホ等の携帯端末を例に挙げたが、それ以外に、操作する人を撮影できるカメラを備えるとともに、車両側と通信が可能な各種の携帯機を用いることができる。

0152

例えば、タブレット端末スマートウォッチ電子書籍用端末、ゲーム機、ノートパソコン等が挙げられる。
(3c)前記実施形態では、携帯端末又は車両制御装置にて、運転者監視処理を行ったが、運転者監視処理に必要な情報を、例えば基地局等に送信し、インターネットを介して例えばサーバ側にて運転者監視処理を行い、警告等を携帯端末や車両にて実施させるようにすることもできる。

0153

(3d)前記実施形態では、自動運転を実施可能な車両を例に挙げたが、本発明は、自動運転を行わない車両にも適用できる。その場合は、前記図8の処理において、ステップ300から、ステップ320に進み、その判定結果に応じて、ステップ390に進むか又は一旦本処理を終了する。つまり、その他のステップの処理は行わない。これによって、自動走行でない場合でも、走行中における安全性が一層向上するという利点がある。

0154

(3e)覚醒度を判定する方法としては、上述した方法以外に、使用する携帯機に応じて各種の方法が挙げられる。例えば操作スイッチ、タッチパネル、キーボード、マウスタッチパッド)の操作頻度、マイクからの発話に基づいて、覚醒度の判定を行ってもよい。

0155

つまり、携帯機の表示画面を見ている場合には、その表示画面の表示内容連動して、適切な動作をしているか等によって、覚醒度を判定することができる。例えば適切な入力が要求されている場合に、適切な入力がされていない場合や、その入力の頻度が少ない場合や、入力の速度が遅い場合等には、覚醒度が低下していると判定することが可能である。

0156

(3f)安全制御部にて警告を行う場合に、運転者に注意を喚起する方法としては、各種の方法が挙げられる。例えば、音、音声、光、振動、風、温度、及び自車両の走行状態の制御の少なくとも1種によって、警報を発したり、注意を喚起することができる(図9参照)。

0157

(3g)携帯端末を把持や操作しているときには、携帯端末のカメラを起動して撮影し、その画像を用いて、運転者の状態を監視したり推定(従って判定)することできる。
ここで、携帯端末が把持されていることは、例えば携帯端末のディスプレイがオンになって、何らかの画像等が表示されていることにより判定できる。また、携帯端末が操作されていることは、タッチパネル等により何からの操作がなされていることにより判定できる。さらに、この把持や操作を、Gセンサを用いて複合的に判断してもよい。

0158

或いは、車両に取り付けられたカメラ(例えばドライバカメラ等のカメラ)によって撮影された画像に基づいて、携帯端末の把持や操作を判断してもよい。
なお、携帯端末が把持や操作されていないときには、車両のカメラによって、運転者の状態を監視したり推定することができる。

0159

(3h)車両のカメラによって運転者の状態を監視したり推定することができるときに、携帯端末のカメラを起動して撮影して、運転者の状態を監視したり推定してもよい。これにより、運転者の状態の監視や推定の精度を上げることができる。

0160

なお、車両のカメラと携帯端末のカメラの両方で撮影する場合に、両方の画像を用いることができるが、どちらか一方の画像を用いてもよい。
(3i)車両のカメラで運転者の状態が把握できないとき、例えば顔画像が得られないときや目の画像が得られないときには、携帯端末のカメラを起動して撮影することができる。

0161

(3j)携帯端末のカメラで車両のカメラを代替できるときは、車両のカメラを使用しなくともよい。例えば、携帯端末が、車両の所定位置クレードルホルダによって取り付けられた場合や、例えば充電する位置に配置された場合などに、この携帯端末のカメラを車両のカメラの代わりに用いてもよい。

0162

また、車両にカメラが搭載されていない場合には、この携帯端末のカメラを、運転者の状態を判定するためのカメラとして使用してもよい。
(3k)運転者の状態を判定するための処理(例えば乗員状態判定部の処理)の一部又は全部を、携帯端末、自車両の制御装置(例えば自車両の動作を制御する車両制御装置)、他車両の制御装置(例えば他車両の動作を制御する車両制御装置)、及び車両以外の装置のうち、少なくとも1種にて行ってもよい(図10参照)。

0163

例えば、携帯端末や自車両の車両制御装置以外にて、上述した処理を行う場合には、携帯端末や自車両の車両制御装置の演算処理の負担を軽減できる。また、演算処理の負担を軽減することにより、携帯端末や自車両の車両制御装置にて又は他の装置にて、例えば複数回の判定や多くのデータを用いた判定処理を行うことができるので、判定精度を向上できる。

0164

なお、車両以外の装置としては、クラウドサーバなどが挙げられる。また、他車両としては、自動運転により連動して制御される複数のトラック等のうちの他車両が挙げられる。

0165

(3l)携帯端末側のマイコンに、乗員状態判定部の一部又は全体の機能を配置することにより、通信量を低減することができる。
(3m)また、前記実施形態における1つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を1つの構成要素に統合させたりしてもよい。また、前記実施形態の構成の一部を省略してもよい。また、前記実施形態の構成の少なくとも一部を、他の前記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。

0166

(3n)さらに、上述した運転者監視システムの他、当該運転者監視システムを構成要素とするシステム、当該運転者監視システムとしてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、運転者監視を行う方法など、種々の形態で本発明を実現することもできる。

0167

また、運転者監視システム、詳しくは車両制御装置や携帯機が実行する機能の一部又は全部を、一つあるいは複数のIC等によりハードウェア的に構成してもよい。

0168

1…携帯端末、3…車両制御装置、5…カメラ、25a…ドライバカメラ、17、21…マイコン、11、33…ディスプレイ、43…第1の乗員状態判定部、45…第1の安全制御部、63…第2の乗員状態判定部、69…第2の安全制御部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ