図面 (/)

技術 車両制御装置および車両制御方法

出願人 ソニーセミコンダクタソリューションズ株式会社
発明者 大場英史
出願日 2017年7月21日 (2年4ヶ月経過) 出願番号 2017-141552
公開日 2019年2月7日 (9ヶ月経過) 公開番号 2019-021229
状態 未査定
技術分野 交通制御システム 駆動装置の関連制御、車両の運動制御
主要キーワード 警告発報 モニタリング管 判定基準点 疲労具合 予備対 復帰特性 許容区間 クリティカルポイント
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2019年2月7日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

自動運転から手動運転への引き継ぎをより安全に行う。

解決手段

車両制御装置は、運転者撮影する運転者撮影部と、撮影された画像に基づいて、運転者が覚醒していることを表す所定のジェスチャー動作を検出する運転状態検出部と、所定のジェスチャー動作が検出されたことに応じて、運転モードを切り替え運転モード切り替え制御部とを備える。本技術は、例えば、自動運転の制御を行う車両制御装置に適用できる。

概要

背景

従来、運転者姿勢崩れが運転者の癖によるものか否かを判定し、癖による姿勢崩れと判定された場合と癖以外の姿勢崩れと判定された場合とで、姿勢崩れに関する通知を異なる態様で行うことが提案されている(例えば、特許文献1参照)。

また、従来、車両の自動運転走行を開始する前に、自動運転から手動運転復帰することができる運転能力が運転者にあるか否かを判定し、そのような運動能力がないと判断された場合に、自動運転走行の開始を禁止することが提案されている(例えば、特許文献2参照)。

概要

自動運転から手動運転への引き継ぎをより安全に行う。車両制御装置は、運転者を撮影する運転者撮影部と、撮影された画像に基づいて、運転者が覚醒していることを表す所定のジェスチャー動作を検出する運転状態検出部と、所定のジェスチャー動作が検出されたことに応じて、運転モードを切り替え運転モード切り替え制御部とを備える。本技術は、例えば、自動運転の制御を行う車両制御装置に適用できる。

目的

発光部31は、車両制御部28の制御の下に、運転者への各種の情報の通知や注意喚起等を目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

運転者撮影する撮影部と、前記撮影部により撮影された画像に基づいて、前記運転者が覚醒していることを表す所定のジェスチャー動作を検出する覚醒状態検出部と、前記所定のジェスチャー動作が検出されたことに応じて、運転モードを切り替え運転モード切り替え部とを備える車両制御装置

請求項2

前記運転モード切り替え部は、前記所定のジェスチャー動作が検出された場合、前記運転モードを、自動運転モードから手動運転モードに切り替える請求項1に記載の車両制御装置。

請求項3

前記覚醒状態検出部は、車両の進行方向を見ながら行われる、前記車両の進行方向に対する指差し確認の動作を前記所定のジェスチャー動作として検出する請求項1に記載の車両制御装置。

請求項4

前記指差し確認の動作は、前記運転者の指先が、前記運転者の視線を含む仮想的に設定された垂直平面の近傍に位置し、かつ、前記運転者の視線より下に位置する動作である請求項3に記載の車両制御装置。

請求項5

前記覚醒状態検出部は、前記運転者の指先、手、拳のうちの少なくともいずれかの動作を追跡することにより、前記指差し確認の動作を検出する請求項4に記載の車両制御装置。

請求項6

前記覚醒状態検出部は、前記所定のジェスチャー動作を、前記運転者固有の特性に基づいて検出する請求項1に記載の車両制御装置。

請求項7

前記覚醒状態検出部により検出された前記所定のジェスチャー動作に基づいて、前記運転者固有の特性を学習する学習部をさらに備える請求項6に記載の車両制御装置。

請求項8

前記覚醒状態検出部は、前記運転者が運転席着座した後に行われた前記所定のジェスチャー動作を検出する請求項1に記載の車両制御装置。

請求項9

前記覚醒状態検出部は、前記運転モードを切り替えることの通知が前記運転者に対して行われた後で、前記運転者の着座動作を検出する請求項8に記載の車両制御装置。

請求項10

前記覚醒状態検出部は、進行方向を再確認する動作と、それに次ぐ、前記運転者への通知または警報を確認する動作とを、前記所定のジェスチャー動作として検出する請求項1に記載の車両制御装置。

請求項11

前記覚醒状態検出部は、前記所定のジェスチャー動作を検出した後に、前記運転者がステアリングを握る動作を検出し、前記運転モード切り替え部は、前記ステアリングを握る動作が検出された場合、前記運転モードを、自動運転モードから手動運転モードに切り替える請求項1に記載の車両制御装置。

請求項12

前記覚醒状態検出部は、前記運転者への提示に対する前記運転者の応答、および、操舵補正の正確性のうちの少なくとも1つに基づいて、前記運転者の覚醒状態を検出する請求項1に記載の車両制御装置。

請求項13

運転者を撮影し、撮影された画像に基づいて、前記運転者が覚醒していることを表す所定のジェスチャー動作を検出し、前記所定のジェスチャー動作が検出されたことに応じて、運転モードを切り替えるステップを含む車両制御方法

技術分野

0001

本技術は、車両制御装置および車両制御方法に関し、特に、自動運転から手動運転への引き継ぎをより安全に行うことができるようにした車両制御装置および車両制御方法に関する。

背景技術

0002

従来、運転者姿勢崩れが運転者の癖によるものか否かを判定し、癖による姿勢崩れと判定された場合と癖以外の姿勢崩れと判定された場合とで、姿勢崩れに関する通知を異なる態様で行うことが提案されている(例えば、特許文献1参照)。

0003

また、従来、車両の自動運転走行を開始する前に、自動運転から手動運転に復帰することができる運転能力が運転者にあるか否かを判定し、そのような運動能力がないと判断された場合に、自動運転走行の開始を禁止することが提案されている(例えば、特許文献2参照)。

先行技術

0004

特開2016−38793号公報
特開2016−115356号公報

発明が解決しようとする課題

0005

ところで、自動運転から手動運転への切り替えがスムーズに実行されることが必要である。例えば、その対策として、特許文献2には、自動運転の完了時に手動運転の引き継ぎがうまくいかない場合、車両を緊急に止めることが挙げられている。

0006

しかしながら、交通量が多い場所等では、引き継ぎに失敗した車両を一時的に駐車する退避エリアを設けて誘導しない限り、渋滞要因となってしまう。

0007

本技術は、このような状況に鑑みてなされたものであり、自動運転から手動運転への引き継ぎをより安全に行うことができるようにするものである。

課題を解決するための手段

0008

本技術の一側面の車両制御装置は、運転者を撮影する撮影部と、前記撮影部により撮影された画像に基づいて、前記運転者が覚醒していることを表す所定のジェスチャー動作を検出する覚醒状態検出部と、前記所定のジェスチャー動作が検出されたことに応じて、運転モードを切り替える運転モード切り替え部とを備える。

0009

前記運転モード切り替え部は、前記所定のジェスチャー動作が検出された場合、前記運転モードを、自動運転モードから手動運転モードに切り替えることができる。

0010

前記覚醒状態検出部は、車両の進行方向を見ながら行われる、前記車両の進行方向に対する指差し確認の動作を前記所定のジェスチャー動作として検出することができる。

0011

前記指差し確認の動作は、前記運転者の指先が、前記運転者の視線を含む仮想的に設定された垂直平面の近傍に位置し、かつ、前記運転者の視線より下に位置する動作である。

0012

前記覚醒状態検出部は、前記運転者の指先、手、拳のうちの少なくともいずれかの動作を追跡することにより、前記指差し確認の動作を検出することができる。

0013

前記覚醒状態検出部は、前記所定のジェスチャー動作を、前記運転者固有の特性に基づいて検出することができる。

0014

前記覚醒状態検出部により検出された前記所定のジェスチャー動作に基づいて、前記運転者固有の特性を学習する学習部をさらに備えることができる。

0015

前記覚醒状態検出部は、前記運転者が運転席着座した後に行われた前記所定のジェスチャー動作を検出することができる。

0016

前記覚醒状態検出部は、前記運転モードを切り替えることの通知が前記運転者に対して行われた後で、前記運転者の着座動作を検出することができる。

0017

前記覚醒状態検出部は、進行方向を再確認する動作と、それに次ぐ、前記運転者への通知または警報を確認する動作とを、前記所定のジェスチャー動作として検出することができる。

0018

前記覚醒状態検出部は、前記所定のジェスチャー動作を検出した後に、前記運転者がステアリングを握る動作を検出し、前記運転モード切り替え部は、前記ステアリングを握る動作が検出された場合、前記運転モードを、自動運転モードから手動運転モードに切り替えることができる。

0019

前記覚醒状態検出部は、前記運転者への提示に対する前記運転者の応答、および、操舵補正の正確性のうちの少なくとも1つに基づいて、前記運転者の覚醒状態を検出することができる。

0020

前記覚醒状態検出部は、前記所定のジェスチャー動作を検出した後に、前記運転者がステアリングを握る動作を検出することで、前記運転者の覚醒状態を検出することができる。

0021

前記覚醒状態検出部は、前記運転者への提示に対する前記運転者の応答および操舵の補正の正確性の少なくとも1つに応じて、前記運転者の覚醒状態を検出することができる。

0022

本技術の一側面の車両制御方法は、運転者を撮影し、撮影された画像に基づいて、前記運転者が覚醒していることを表す所定のジェスチャー動作を検出し、前記所定のジェスチャー動作が検出されたことに応じて、運転モードを切り替えるステップを含む。

0023

本技術の一側面においては、運転者が撮影され、撮影された画像に基づいて、前記運転者が覚醒していることを表す所定のジェスチャー動作が検出され、前記所定のジェスチャー動作が検出されたことに応じて、運転モードが切り替えられる。

発明の効果

0024

本技術の一側面によれば、自動運転から手動運転への引き継ぎをより安全に行うことができる。

0025

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。

図面の簡単な説明

0026

本技術を適用した自動運転システムの構成例を示すブロック図である。
運転者監視部および車両制御部の構成例を示すブロック図である。
切り替え判定部の構成例を示す図である。
ジェスチャー認識切り替え判定を説明する図である。
ジェスチャー認識切り替え判定を説明する図である。
ジェスチャー認識切り替え判定を説明する図である。
ジェスチャー認識切り替え判定を説明する図である。
自動化レベルを説明するための図である。
運転モードの切り替えを示す遷移図である。
自動運転制御処理を説明するためのフローチャートである。
自動運転制御処理を説明するための図10に続くフローチャートである。
自動運転制御処理を説明するための図11に続くフローチャートである。
LDMのデータの更新について説明する図である。
LDMのデータの更新について説明する図である。
LDMのデータの更新について説明する図である。
2次タスク実行可否についてまとめた表を示す図である。
運転モード切り替え判定処理を説明するためのフローチャートである。
自動運転制御処理を説明するためのフローチャートである。
自動運転制御処理を説明するための図18に続くフローチャートである。
自動運転制御処理を説明するための図19に続くフローチャートである。
自動運転制御処理を説明するための図20に続くフローチャートである。
運転者覚醒復帰時間推定処理を説明するためのフローチャートである。
コンピュータの構成例を示す図である。

実施例

0027

以下、発明を実施するための形態(以下、「実施形態」と記述する)について図面を用いて詳細に説明する。

0028

<自動運転システムの構成例>
図1は、本技術を適用した自動運転システム10の構成例を示している。

0029

自動運転システム10は、車両制御システム11および携帯端末12を備える。

0030

車両制御システム11は、周辺撮影部21、周辺情報取得部22、位置測定部23、入力部24、車両情報取得部25、運転者監視部26、通信部27、車両制御部28、表示部29、音声出力部30、発光部31、走行制御部33、車載装置制御部34、および、記憶部35を備える。

0031

周辺撮影部21は、例えば、モノカメラステレオカメラ、ToF(Time of Flight)カメラ、偏光カメラタイムゲーテッドカメラ、マルチスペクトルカメラ赤外光等の非可視光カメラ等の各種の撮影装置を備える。周辺撮影部21は、車両の進行方向を含む車両の周辺の撮影を行い、撮影により得られた画像を、周辺画像として車両制御部28に供給する。

0032

周辺情報取得部22は、ソナーレーダライダ温度センサ湿度センサ雨センサ雪センサ逆光センサ等の各種のセンサを備える。周辺情報取得部22は、車両の周辺の情報を取得する。さらには、路側、自車近傍走行する走行車両歩行者、または自転車などからの情報を無線により取得することで、自車での測定のみでは得られない死角にある情報を得るようにしてもよい。

0033

例えば、周辺情報取得部22は、温度、湿度天候路面状態等の車両の周辺の環境に関する情報、並びに、車両の周辺の物体の種類および位置等の車両の周辺の物体に関する情報等を、周辺情報として取得する。周辺情報取得部22は、取得した周辺情報を車両制御部28に供給する。

0034

位置測定部23は、例えば、人工衛星を利用して現在位置を測定するGNSS(Global Navigation Satellite System)等の衛星航法システム高度計加速度センサジャイロスコープ、または画像認識装置によるSLAM(Simultaneous Localization and Mapping)に代表される自律測位ステムなどを組み合わせた測位システムを利用して、車両の現在位置を測定する。位置測定部23は、測定結果を車両制御部28に供給する。

0035

入力部24は、マイクロフォン、ボタン、スイッチ、タッチパネル方向指示器、ジェスチャー認識機器等の入力デバイスを備える。入力部24は、運転者を含む車両の搭乗者の指示やデータ等の入力を受け付ける。入力部24は、入力された指示やデータ等を車両制御部28に供給する。

0036

車両情報取得部25は、車両に関する各種の情報を含む車両情報を取得する。例えば、車両情報取得部25は、車両の速度、加速度、角速度、進行方向等の車両の動きに関する情報を車両情報として取得する。

0037

また、車両情報取得部25は、例えば、アクセルペダルブレーキペダル、ステアリング、パーキングブレーキシフトレバー、方向指示レバーパワーイグニッション)スイッチ、ランプスイッチワイパースイッチ等に対する操作タイミングおよび操作量等の運転操作に関する情報を取得する。

0038

さらに、車両情報取得部25は、車両の各部の状態、故障の有無等の車両の状態に関する情報を取得する。車両情報取得部25は、取得した車両情報を車両制御部28に供給する。

0039

運転者監視部26は、図2を参照して後述するように、運転者の監視を行い、監視結果を車両制御部28に供給する。

0040

通信部27は、各種の通信方式通信装置を備える。

0041

例えば、通信部27は、DSRC(Dedicated Short Range Communications)により無線通信を行う通信装置を備える。この場合、通信部27は、道路沿いに設置されたITS(Intelligent Transport Systems)スポットと通信を行い、LDM(Local Dynamic Map)を取得する。

0042

LDMは、例えば、路面情報車線情報、3次元構造物情報等を含む静的情報、さらには時々刻々と変化する交通規制情報道路工事事前情報と実行現在の接近事前更新情報、広域気象情報等を含む準静的情報と最新更新情報事故情報渋滞情報、狭域気象情報等を含む準動的情報、並びに、周辺車両および歩行者情報信号情報等を含む動的情報を含む。

0043

短期間の近接通信でより多くの情報の広帯域通信優先することで、無線通信リソースの有効利用が可能となる。この広帯域通信は、特に直ぐ前方に差し迫ってくるローカライズされた走行に必須な情報の取得や自車で取得した道路環境情報インフラ側へアップロードする上で有効な手段となる。

0044

また、通信部27は、さらにより遠隔な通信が可能な、例えば、携帯電話機が通信を行う通信規格(3G/4G/LTE(Long Term Evolution)等)に従って通信を行う通信装置を備える。この場合、通信部27は、インターネットなどの専用または共通の汎用ネットワークを経由して、サーバ等からより広域の地図データまたは遠方進行地点天候情報等の各種の情報を取得したり、交換したりする。

0045

通信部27は、ビーコン装置を備える。この場合、通信部27は、安全運転またはパスプラニング支援するために路側に設置された路側機との通信を行い、各種の交通情報を取得する。

0046

車両が走行する予定環境情報は、これら特定の手段に限定される必要はない。次世代携帯電話通信規格で予定される基地局通信以外に車車間のリレー通信または走行区間近傍クラウドサーバとの基地局を介さない近傍通信を行ってもよい。また、互いに冗長性を持たせて特定の通信システム故障に対して堅牢な構成にしてもよい。

0047

通信可能な帯域により、進行しようとするルート上の環境データ更新鮮度が変わるため、特にLDMなどの更新鮮度が著しく悪い道路区間に自車が侵入した場合、該当区間での完全自動運転での走行に必要な情報鮮度は低下してしまう。その結果、本来、運転者が介在しなくても走行できる区間として定義された区間での運転者の介在復帰が求められるようになることも想定しておく必要がある。

0048

通信部27は、Bluetooth(登録商標)等の車内でも利用可能な近距離無線通信装置を備える。この場合、通信部27は、スマートフォンタブレット端末に代表される携帯端末12等との通信を行い、各種の情報の送受信を行う。

0049

通信部27は、取得した情報を車両制御部28に供給する。また、通信部27は、他の通信装置等に送信する情報を車両制御部28から取得する。

0050

車両制御部28は、ECU(Electronic Control Unit)等を備え、図2を参照して後述するように、車両制御システム11の各部の制御を行う。

0051

表示部29は、各種の表示装置を備え、車両制御部28の制御の下に、各種の画像や情報の表示を行う。例えば、表示部29は、ヘッドアップディスプレイ又はウインドシールドの一部に設けられた透過型ディスプレイを備え、運転者の視界に画像や情報を重畳して表示する。また、例えば、表示部29は、インストルメントパネルカーナビゲーションシステムディスプレイ等を備える。

0052

音声出力部30は、例えば、スピーカアラームブザー等を備える。音声出力部30は、車両制御部28の制御の下に、音声情報通知音、または警告音等の出力を行う。

0053

発光部31は、例えば、LED(Light Emitting Diode)、ランプ等の発光装置を備える。発光部31は、車両制御部28の制御の下に、運転者への各種の情報の通知や注意喚起等を目的とする光の点灯または点滅を行う。発光部31は、点光源としてLEDなどに限定する必要はなく、インストルメントパネル全面または部分的なマトリックスアレイ表示部を介してのモノグラム表示などを用いて、詳細メッセージ情報などを運転者に提示するようにしてもよい。

0054

走行制御部33は、車両制御部28の制御の下に、車両に搭載されている各種の装置のうち車両の走行に関わる装置の制御を行う。例えば、走行制御部33は、エンジンの作動を制御するエンジン制御装置モータの作動を制御するモータ制御装置ブレーキの作動を制御するブレーキ制御装置、ステアリングの作動を制御するステアリング制御装置等を備える。

0055

車載装置制御部34は、車両に搭載されている各種の装置のうち、車両の走行に関わる装置以外の装置の制御を行う。例えば、車載装置制御部34は、シートの傾きを制御するアクチュエータ、シートを振動させるアクチュエータ、ステアリングを振動させるアクチュエータ等の制御を行う。

0056

記憶部35は、車両制御システム11の処理に必要なプログラムやデータを記憶する。例えば、記憶部35は、車両の走行等に関するログ、運転者の認証に用いる顔画像や認識識別抽出情報、運転者の各種の特徴の学習結果車検情報、および車両事故診断情報等を記憶する。なお、必ずしも全ての情報を記憶部35に記憶させる必要はなく、例えば、通信部27を介して遠隔のサーバ等に情報を送信して記憶させるようにしてもよい。

0057

<運転者監視部26および車両制御部28の構成例>
図2は、車両制御システム11の運転者監視部26および車両制御部28の構成例を示している。

0058

運転者監視部26は、運転者撮影部101、生体情報取得部102、視線検出部103、および、認証部104を備える。

0059

運転者撮影部101は、ToFセンサ、ステレオカメラ、3Dカメラ、3D FlashLIDARセンサ等の撮影装置を備え、運転者の撮影を行う。運転者撮影部101の撮影範囲は、運転席における、運転中の運転者のから上の部分を少なくとも含み、それより広い範囲を含んでいてもよい。なお、機能の一部をさらに座席を設けた体圧検出するSeat Strain Gaugeによる姿勢検出代用してもよい。

0060

運転者撮影部101は、瞳孔解析または運転者の眼球の詳細解析が可能な高速撮像手段をさらに備えており、高速撮像手段には、眼球のサッケードまたは固視および固視に伴う微動またはドリフトなどの脳内知覚反応が解析可能な機能を持たせるようにしてもよい。高速撮像手段とは、通常のテレビジョン信号で用いる60fps(Frames per second)のフレーム更新レートより早い動画画像を示し、望ましくは、250fps以上の動画画像を撮像できる撮像手段を示す。

0061

運転者撮影部101は、撮影により得られた画像を運転者画像として車両制御部28に供給する。なお、運転者の撮影を行う際、より正確でかつ固有の情報を取得するために、例えば、運転者視界を妨害しないStructured Lightを発する光源可視光成分を含まない赤外光の特定波長の光源等の専用の光源により運転者を照らすようにしてもよい。

0062

生体情報取得部102は、運転者の各種の生体情報を検出するセンサ等を備える。生体情報取得部102が取得する生体情報には、例えば、脈拍脈波血圧血流系、座席体圧、着座姿勢脳波、脳内血流、眼筋電位心電図、体温体臭皮膚温発汗、ステアリンググリップ反応、呼吸状態アルコール含有量等が含まれる。生体情報取得部102は、取得した運転者の生体情報を車両制御部28に供給する。これらの主にパッシブ型の生体情報から運転者の確定的覚醒状況を直接把握する事は困難であるが、運転者の疲労状況や眠気等との緩い相関関係をもつ。後述する視線の動的解析を組み合せ判断することで、より正確な運転者状態の覚醒判断が可能となる。さらに、これらの情報は、運転者が着座ではない姿勢で視線検出が困難な状態において、運転者の活動量観測する上で補完役割をする。

0063

視線検出部103は、運転者画像に基づいて、運転者の顔の向き、視線の向き、瞬き、眼球の動き(例えば、固視微動、サッケード、マイクロサッケード、ドリフト、またはトレモアなど)の検出(視線検出)を行う。なお、顔の表情、眼の開閉状態等の顔の検出を運転者画像に基づいて行う顔検出部、および、頭部の動きを運転者画像に基づいて検出する頭部検出部が視線検出部103に設けられるようにしてもよい。

0064

視線検出部103は、視線の動的解析から運転者の外界への注意度覚醒度の評価を行う。覚醒度は、運転者の意識の状態を表す度合いである。例えば、覚醒度が所定の閾値より高いことは、運転者の意識が正常であることを表す。視線検出部103は、視線検出結果や、注意度等の解析結果を車両制御部28に供給する。運転者の視線解析は、後述する運転者固有の特徴学習に基づき判定を行う事で、運転者にあった精度のよい内部覚醒状態の判定が可能となる。

0065

視線の挙動は、運転者固有の動的特性を多く含むことから、後述する認証部104で通常真っ先に行われる。

0066

運転者個人眼球動作は、外界の情報のうち運転者が気に掛けた情報に対して視線を移動するため、理解判断の状態に応じて順次何を目視するか、その視線の動作特性は身体的な特徴と合わせて経験的特性により振り向きざまに判断に至る認知判断の経過推移に依存して決まる。

0067

視線の動的解析による運転者の覚醒判断は、運転者が外界対象物を眼球の物理方角的に正確に凝視・固視をしたかで決まるわけではない。もちろん、運転者が、車両を安全に停車中に特定の対象に目を固視して、例えば視界に入った人物の顔を見て誰か判断をしたり、または広告看板など見て記載された内容を読んだりして、その内容の認知判断を行うような状況では、視線を特定対象に固視焦点を合わせる事がある。

0068

しかしながら、一般の走行中の車両で運転者が外界の状況把握をしながら走行を行う場合、飛び出しやその他突発事象に的確な判断を要する事から、運転者は、特定の対象に視線を固定する事があまりない。

0069

さらに、一般に、気になる対象事象を視線の中心視野から外れ周辺視野でとらえる事が多く、特にその場合、周辺視野の分解能が低い領域であることから、運転者は、内容把握の為に該当方角に中心視野の振り向きで対象を捕えようと、視線移動を開始する。いわゆる、眼球のサッケード動作が観測される。

0070

一般に覚醒が出来ている運転者であれば、その最初の眼球移動で、一旦、対象事象の把握が完結すると、対象事象に視線を固定して観察を進める(固視)よりもむしろ、視界に入るその他のリスク要因を捕えるために、視線移動と詳細固視観察を行わなくとも次の対象に視線移動を繰り返す。対称事象の把握が完結とは、脳での認知の完結であり、必ずしも中心視野で対称を捉え、眼球の移動を一旦止めて固視をする必要はない。

0071

つまり、運転者の視線のサッケード動作や固視の動的な特性には、運転者が脳内知覚の判断活動の一部が反映された形で表に表れていると言い換える事ができる。人が目的に合わせた情報の判断を完結する際、視覚情報として捉えた情報による刺激と関連する記憶情報から引き出された情報との間で一定以上の一致度が得られることで、判断を確定する認知判断の発火が起きて判断に至る。しかしながら、判断に至らない場合は、判断の確証を得るための観察段階にさらに移行し、判断の発火に必要な情報を待つことになる。

0072

脳内の認知の活動は、運転者がサッケードの視線移動を始めた間にもすぐに脳内での知覚判断が既に始まるため、必ずしも視線が、大凡の方角が振り向きかかった時点で更に目の焦点を合わせ、更には中心視野で対象を捕えるまで知覚判断が終了するのに時間を要するとは限らない。

0073

視線移動を開始するのは、周辺視野で捉えた動体視力による刺激情報のみではその内容判別が不十分なため、情報を補充する為に中心視野を該当方向へ振り向け、詳細判断に至ろうとする過程の開始であり、視線移動の途中で判断に至る場合は対象を必ずしも見終わらない。つまり、観察段階となる固視が観測されない。

0074

例えば進行方向にある青色状態信号機と、赤色の広告塔等とが両者判別ができない状態で運転者の周辺視界に入った場合、該当十字路を通過する際に信号機の色を判断する必要があることから信号機を振り向き判断を開始する事になる。

0075

運転者は必ずしも赤色の広告塔を厳密に固視して見る必要はなく、ちらっと覗く程度でむしろ判断が完結するなら、そのまま進行した際に歩行者や自転車の飛び出しなどが無いか確認する方が優先されることもある。更には、同じ運転者でも視力の影響で環境の明るさ、眩しさなど複合要因で動的な観察手順などの動作が変化する。

0076

視線検出部103は、このように運転者に固有の視線動的特性を環境に応じても学習する事で運転者の状況に応じて動的視線解析で覚醒状態推定が可能であり、視線動的解析の判定結果、注意度等の解析結果を車両制御部28に供給する。また、これら視線動作の個人の特徴は、運転者固有の特徴動作として学習し、認証運転者の繰り返し動作の特徴として後述する学習部126で学習される。

0077

認証部104は、例えば、運転者画像や視線解析画像に基づいて、運転者の認証を行う。その際に、虹彩認証処理を介してもよい。認証部104は、認証結果を車両制御部28に供給する。この運転者の認証処理は、上述したように真っ先に行われる処理である。その後、前述の運転者固有の特徴と関連付けが行われる。

0078

車両制御部28は、周辺監視部121、運転者監視部122、自動運転制御部123、通知制御部124、ログ生成部125、および、学習部126を備える。

0079

周辺監視部121は、周辺撮影部21からの周辺画像、周辺情報取得部22からの周辺情報、および、通信部27からの各種の情報に基づいて、車両の周辺の監視を行う。

0080

運転者監視部122は、車両情報取得部25からの車両情報、運転者撮影部101からの運転者画像、生体情報取得部102からの運転者の生体情報、視線検出部103による検出結果、認証部104による認証結果、および、学習部126による学習結果等に基づいて、運転者の監視を行う。運転者監視部122は、運転挙動分析部141、および運転状態検出部142を備える。

0081

運転挙動分析部141は、運転者撮影部101からの運転者画像、車両情報、および、学習部126による学習結果等に基づいて、運転者の運転挙動(運転操作や振る舞い等の、運転者固有の特徴や特性)を分析する。

0082

運転状態検出部142は、運転者撮影部101からの運転者画像、運転者の生体情報、視線検出部103による検出結果、認証部104による認証結果、および、学習部126による学習結果等に基づいて、運転状態を検出する。運転状態には、認証した運転者の状態および運転者の覚醒状態が含まれる。運転状態の検出は、認証した運転者の状態に基づいて複数の段階的に行うことで、運転者の覚醒状態を高精度に、かつ、従来一般的に行われている1次元的に決め打ちで決定された閾値で判定する場合と比較して、固有学習をすることでより運転者固有の特性に準じた判定が可能となる。

0083

自動運転制御部123は、自動運転の制御を行う。自動運転制御部123は、ルート設定部151、自動化レベル設定部152、運転支援制御部153、運転モード切り替え制御部154、および切り替え判定部155を備える。

0084

ルート設定部151は、車両情報取得部25からの車両情報に含まれる車両の加速度と角速度に基づいて、位置測定部23により測定された車両の現在位置の補正を行う。また、ルート設定部151は、周辺情報取得部22からの周辺情報、通信部27を介して取得されたLDMおよび地図データや地図更新情報、並びに、記憶部35に記憶されている地図データ等に基づいて、入力部24を介して入力される目的地までの走行ルートを設定する。

0085

自動化レベル設定部152は、周辺情報取得部22からの周辺情報、並びに、通信部27を介して取得されたLDMおよび交通情報、天候情報、路面情報などに基づいて、走行ルート上の、自動化レベルの走行区間毎の分布を設定する。また、自動化レベル設定部152は、ルート区間毎の自動化レベルの分布、入力部24を介して入力されるユーザ設定等に基づいて、自動化レベルの設定を行う。

0086

ここで、自動化レベルとは、自動運転のレベル、換言すれば、運転の自動化の程度を示すものである。自動化レベルの詳細については、図8を参照して後述する。

0087

運転支援制御部153は、設定されている自動化レベルに応じて、走行制御部33を制御して、運転者の運転の支援を行う。運転支援制御部153による支援により、部分的または全面的な自動運転が実現される。例えば、運転支援制御部153は、自動化レベル2で、ACC(Adaptive Cruise Control)、LKAS(Lane Keep Assist System)、TJA(Traffic Jam Assist)、AEBS(Advanced Emergency Braking System)等の一部制限機能付きの運転支援を行う。なお、自動化レベルの詳細については、後述される。

0088

自動化レベル3で、道路信号機の認識・本線合流離脱幹線交差点の通過、十字路の優先順位制御、歩行者帯および歩行者の優先車両制御などさらに複雑な一般道路での状況判断やパスプラニングを包含した複合的多段制御が行われてもよい。

0089

本明細書では、自動化レベル4の運転者介在を要しない完全自動運転制御も、この運転支援制御部153に包含して記載するが、厳密な制御区分けとしては運転支援制御部153のレベル4走行時では支援ではなく、完全な自動運転制御に徹した制御となる。

0090

また、運転支援制御部153は、自動化レベル3以上の走行区間において、上記の運転支援より高度かつ複雑な制御(例えば、車線変更を含む追い越し等)を行ってもよいし、市街地等での歩行者や自転車を含む環境でも走行が可能な高度な無人での状況判断を伴う自律走行等による運転支援を行ってもよい。

0091

さらに、特殊な利用形態となるが、公共交通が提供されていない地域等への移動手段確保の観点で自動運転の車両利用を分野として、低速時に限定して利用ができる安全のろのろ自動運転車両社会的導入することも想定ができる。そうした際に、利便性の観点で運転者が、正常に手動運転が出来る場合に限り、該当車両を用いてより高速走行に車両の利用を拡張することも想定される。その際に、本技術は運転者能力判定を行うための有効な機能である。なお、この低速の限定したのろのろ運転という特殊な利用形態は、通常高速走行も行う従来型利用形態の標準的な車両における緊急退避モードとは異なる利用形態である。

0092

自動運転が全速度域で安全に走行できる車両は高価な装備が必要となるが、低速のろのろ運転程度に機能を限るのであれば、より安価が装備で実現可能となる。本技術は、例えば、地方過疎地などの移動弱者軽自動車の代用利用などが可能となる特殊な利用形態に適用してもよい。

0093

車両制御システム11においては、運転モードとして、いわゆる自動化レベル4以上に該当する無人での通常走行が可能な自動運転モード、自動化レベル3に相当する運転者が適宜、復帰介在可能な自動運転モード、主に運転者が主導的な制御判断に携わる自動化レベル2以下の手動運転モード、および、緊急退避モード等が設定されている。

0094

自動運転モードは、運転支援制御部153による運転支援により実現されるモードである。手動運転モードは、運転者が主体で運転を行うモードである。緊急退避モードは、緊急時に所定の場所に車両を退避させるモードである。

0095

緊急退避モードは、例えば、手動運転(手動運転モード)時において、運転者が病気等で運転ができない場合、自動運転(自動運転モード)から手動運転への切り替えの際に運転者の覚醒が確認できない場合、等に用いられる。

0096

本明細書では、移動速度の優先度下げて移動を行う手段として緊急退避モードを定義しているが、運転者が自動運転を、利用注意での手動引き継ぎが出来ない事で、緊急時の対策として退避帯に緊急退避モードにしてもよい。本明細書の内容では、退避帯に対する際の緊急退避モードと、公共交通手段を有しない僻地居住者で移動貧困者が緊急時に病院等へ移動する確保する手段として用いる際の移動優先(安全極低速でもよいが移動を可能とする)手段とで区別をしていない。

0097

運転モード切り替え制御部154は、通信部27を介して取得するLDM、その最新更新情報、天候、路面状況、および交通情報等に基づいて、LDMおよび交通情報等の確認頻度を変更する。

0098

また、運転モード切り替え制御部154は、自動運転モードから手動運転モードへの切り替えの必要性を監視し、その必要性がある場合、自動運転モードで走行中、運転者に手動復帰要求通知または警告通知をする。このとき、運転者の検出状態に応じて、運転モード切り替え制御部154は、自動運転モードから手動運転モードへの切り替えの必要性があるか否かの判定を行い、自動運転モードから手動運転モードへの切り替え処理を実行する。

0099

なお、通知は、緊急引き継ぎを要しない状況なら、運転モード切り替え制御部154が運転者の通知周知を確実に判別する必要は必ずしもない。例えば自動運転で1時間程度継続走行した後に復帰が必要なケースでは、状況変化を検出した段階では運転モード切り替え制御部154が運転者に単純に通知のみを早期に行う程度でもよく、必ずしも運転者に通知内容を正確に認知したか、その通知の周知確認を取らなくても良い。ところが、緊急の引き継ぎが数分後に差し迫っている状況では、通知の聞き逃しは致命傷になり兼ねない。そこで、運転者の確実な認知のために周知確認が必要となる。

0100

ただし、図示しない最適通知タイミング推定器より、予測されるタイミングまでに周知がされる事が望ましい。そこで、引継ぎ地点到達の例えば10分前が最適通知タイミングとして推定された場合、その通知と周知確認を実行し、運転者の通知の周知が検出されない場合は、更にアラームとしての警告通知を行ってもよい。

0101

切り替え判定部155は、運転モード切り替え制御部154の制御の下、運転状態検出部142による運転者の反応性および覚醒度の少なくとも一方の検出結果に基づいて、自動運転モードから手動運転モードへ切り替え判定を行う。切り替え判定部155による切り替え判定については、図3を参照して後述する。

0102

通知制御部124は、表示部29、音声出力部30、および、発光部31を制御し、運転者への各種の情報の通知、警告、または注意喚起等を行う。また、通知制御部124は、例えば、車載装置制御部34より制御されるアクチュエータ等を用いて、運転者への各種の情報の通知、警告、または注意喚起等を行ってもよい。

0103

運転者通知は、検出された運転者復帰行動記録、アクチュエータによるランブルストリップス路面走行を模した着座振動ハンドル振動パネル情報表示、悪臭背もたれを上げたり、着座位置移動など様々な運転者が不快に感じ要因発生源であっても良い。

0104

ログ生成部125は、検出された運転者の復帰行動記録、車両において発生した各種のイベントを記録、自車の引き継ぎ時の周辺通知に対する応答、近傍車両またはインフラとの車車・路車通信に対するログの生成および更新を行う。ログ生成部125は、生成したログを記憶部35に記憶させ、適宜更新する。

0105

学習部126は、運転挙動分析部141により分析された運転者の運転挙動(運転に対する操作、復帰シーケンス、復帰の振る舞いなどの、運転者固有の特徴や特性)を学習し、学習結果を記憶する。

0106

運転者挙動分析は、さらに走行環境の依存等を加味して、運転者が不快に感じる夜間や積雪時路面など状況別応答を考慮した個人の復帰特性学習記録してもよい。通常、運転者は自分の復帰特性を把握しているので、システム学習推奨値より安全をとるために、運転者による早期通知オフセット設定を行う仕組みがさらに有ってもよい。

0107

そして、慎重な運転者であれば、車両制御システム11が学習により推奨値として提示するタイミングより、安全面を重視して、車両制御システム11が提示したタイミングよりも早期の通知を好む利用者がいる事も想定される。その対策としては、通知タイミングを運転者が好みで早める、いわゆる早期通知のオフセット設定を行う仕組みが有ってもよい。

0108

ただし、通知タイミングを早めさせるのではなく、より遅くした設定をする事で、復帰が間に合わないケースが発生するのは望ましくない。運転者の復帰が間に合わずに結果的に遅れ事態が僅かでも発生するようになると、車両は緊急停車をする頻度上がり、スムーズな交通を前提とする交通インフラに渋滞を誘発するという問題をはらむため、望ましくない利用形態となる。したがって、利用者が希望に応じて変更できるのは通知タイミングを早える設定のみとするべきである。

0109

他方では、運転者自身が早期に復帰を意識して、車両制御システム11が学習して通知するタイミングより早く復帰準備が整う場合には、車両制御システム11による煩わしい通知や警報が発布する前に、事前に運転者による早期通知の取り消しをできる仕組みをあわせもってもよい。

0110

この通知キャンセルは、目覚まし時計で例えるなら、なる前に止めるのと等しい。しかしながら、余りに早期に止める事で油断をして二度寝の様な事態が発生すると危険であるため、早期通知のキャンセルはその後に運転者の復帰推移を検出する手段があり、手動運転の復帰手順に遅れがある場合に復帰催促する仕組みがある際に利用を限定してもよい。

0111

<切り替え判定部の構成例>
図3は、切り替え判定部の構成例を示す図である。

0112

切り替え判定部155は、ジェスチャー認識切り替え判定部201、サッケード情報切り替え判定部202、音声認識切り替え判定部203、およびステアリング操作切り替え判定部204を含むように構成される。

0113

階層的に判定をする事でより確実な判定を行うことができる。本実施例では上記の認識に限定して説明するが、さらに引継ぎの必要性の有無に関わらず、常時運転者の状態モニタリングをしてその情報に基づいて、通知・警報発報し、動的姿勢の行動解析を行ってから、本明細書の手順を追加させてもよい。

0114

このような構成を有する切り替え判定部155においては、各情報に基づく判定が複数の段階的に行われ、それぞれの判定結果に基づき、運転モードを、自動運転モードから手動運転モードに切り替えることができるか否かが最終的に判定される。

0115

・ジェスチャー動作の認識に基づく覚醒度の検出
ジェスチャー認識切り替え判定部201は、ジェスチャー動作を認識して運転者の覚醒度を検出することを、運転状態検出部142に行わせる。

0116

ジェスチャー認識切り替え判定部201は、運転状態検出部142による引き継ぎ通知後の所定の周知確認動作の検出結果に基づいて、運転者の復帰内部状態を判定する。運転者の復帰内部状態の判定結果に基づいて、自動運転モードから手動運転モードに切り替えることができるか否かの判定が行われる。

0117

本実施例では単純な指さしを所定の周知動作を例としているが、反復動作などより運転者の知能的判断を要する動作として周知確度を上げる動作であってもよい。

0118

ここで、復帰内部状態とは、運転者の意識の状態である。復帰内部状態の判定は、運転者の意識が覚醒しているか否かを判定することに相当する。

0119

特に、前方を見ての指さし動作では運転者が前方を見た視覚情報に基づき、その視線範囲に手と指先を振り向ける脳内判断のフィードバックが働かないと正確な指差し動作を行うことが困難である。またその動作のふらつきや正確度には、運転者の内部意識状態が反映されるため、脳内覚醒状態のアクティブ反応(後述)を見ることもできる。

0120

自動運転が行われている間、運転者は、2次タスクとして、運転以外の作業や行動仮眠を含む)を行うことができる。しかしながら、自動運転モードから手動運転モードへの切り替えの必要性がある場合、運転者は、2次タスクをやめて、自身の復帰内部状態を1次タスクとしての運転タスクを行うことができる状態にしなければならない。

0121

なお、本明細書にて詳述はしないが、特に仮眠などの運転意識状態から完全に離脱をしているかはパッシブ方式で運転者状態観測を継続的に行い、必要なタイミングで運転者を復帰させるための覚醒通知(アラーム等)を行う。本技術は、この通知後の運転者状態で運転者が、外見的復帰が出来た際に、車両制御システム11が、運転者の通知に対する周知確認と覚醒度判断が目的を行う処理である。

0122

運転者の復帰内部状態が運転タスクを行うことができる状態にあるか否かの判定は、例えば、運転者が、一旦目が覚めて仮眠から起き上がったときに、運転者の車両前方を見ながら指差し確認を行う動作である、指差し確認の合図を検出することにより行われる。

0123

指差し確認の合図を正常にふらつきなく検出することができた場合、運転者の復帰内部状態が運転タスクを行うことができる状態にあると判定され、検出することができない場合、運転者の復帰内部状態が運転タスクを行うことができる状態にないと判定される。なお、姿勢が安定せずに検出が正しく行われない場合には再実行リトライ処理等を行ってもよい。再リトライの通知を車両制御システム11が行ってもよい。

0124

指差し確認の合図は、例えば、電車乗り合いバス車掌が行うような、確認対象となる方角に向け、その挙げた腕の指で確認したい事象の方向を指す動作である。以上の説明の通り、従来のパッシブ生体信号観測に比べて、運転者の指差しジェスチャーは運転者の能動的行動を知覚に直接結びつけた動作として検出が可能となる事から、車両制御システム11が運転者の手動運転可能であるか、格段に正確に検出する事が可能となる。そして検出結果の曖昧さが少ないメリットもある。

0125

本実施例では該当の指差し合図を、運転者が引き継ぎ通知を受けて先ずは規定確認手順として、車両が進んだ場合の直近事象として車輛前方の確認をする想定で、片方の腕を略水平になる位置に上げ進行方向前方を確認する。

0126

以下、適宜、車両前方を見ながらの指差し確認の合図を、前方指差し確認合図という。

0127

運転状態検出部142は、運転者が行う前方指差し確認合図を所定のジェスチャー動作として検出する。運転状態検出部142は、ジェスチャー動作を検出した場合、運転者の視線、運転者の利き目または両目の位置、および、指差しの位置に、所定の関係があるか否かを判定する。この判定は、例えば、運転者撮影部101を構成する3次元センサ2次元センサにより検出された情報の組み合わせに基づいて行われる。

0128

例えば、運転者の指先が、運転者の視線を含む垂直平面の近傍の位置にあり、かつ、運転者の視線より下に位置する場合に、所定の関係があるものとして判定される。これにより、運転状態検出部142は、運転者が前方に向かって指を差したことを正しく認知し、運転者の覚醒度の検出を行う。

0129

なお、ジェスチャー動作には、運転者固有の特性である癖や若さなどの影響が加わることが多い。運転状態検出部142は、運転挙動分析部141による運転者の運転挙動の分析結果や、その分析結果を用いた学習部126による学習結果等なども踏まえて、前方指差し確認合図の検出を行う。

0130

このように、運転状態検出部142は、運転者画像、運転者の生体情報、視線の検出結果、運転者の運転挙動の分析結果、運転者の認証結果、および、学習部126による学習結果等に基づいてジェスチャー動作を検出することで、運転者状態を検出する。

0131

また、運転状態検出部142に、運転姿勢復帰シーケンスのトラッキング(運転者の状況把握のための動作の追跡)を行わせるようにしてもよい。運転姿勢復帰シーケンスのトラッキングは、2次タスク時の運転者の着座の有無を検出し、さらに、運転者の姿勢が運転可能な状態に復帰するまでのシーケンスをトラッキングにより検出する処理である。

0132

そのトラッキングに加えて、眼球挙動解析を行うことによって、運転者の反応性および覚醒度の検出を行い、運転者の手動運転への復帰能力回復しているかどうかを判定してもよい。なお、トラッキングにより追跡する運転者の動作には、車両前方を確認する動作と、それに次ぐ、通知または警報を確認する動作とが少なくとも含まれる。

0133

運転者による前方指差し確認合図の判定が、視線、利き目または両目の位置、指先、手、または拳の位置、車両前方の道路の位置、および、3次元ToFセンサなどの姿勢トラッキング装置による検出結果などを複合的に用いて行われるようにしてもよい。指先位置の判定を行ってから、動作正確度判定をさらに行ってもよい。

0134

このように、前方指差し確認合図は、実際に車両前方を見て、その状態で車両前方を指差すという脳内の判断行動である。このように、所定の動作ジェスチャーを求めることで、運転者が、前方指差し確認合図をどこまで忠実表現できるのか等の身体的能力などの運転者固有の特性も合わせて確認し、学習することができる。特に、以下に説明する通り、多段階の運転者状態の推移観測を行う事で、他の手段と組み合わせる事で手動運転の正常引き継ぎが実行できたか判別が可能であり、その正常な引き継ぎの際の指差しジェスチャー推移を正常とする教師データと判定する仕組みを取れることから、人為的に正常推移のデータを選定判別して準備を行わなくともよい。

0135

・サッケード情報に基づく覚醒度の検出
サッケード情報切り替え判定部202は、運転者の眼球サッケード挙動解析、マイクロサッケード挙動解析、固視微動やドリフトといった一連の脳内知覚活動に反射して連動した動作の解析を行って、運転者の覚醒度を検出することを、運転状態検出部142に行わせる。

0136

ここで、特定の運転者の脳内判断行動を検出するために、その反射応答特性には、運転者個人の時間的に変動し得る視力や危険有無等の脳内の反射的活性反応により挙動が変化する。そのため、運転者認証を行った固持性学習に基づいた学習して挙動特性に応じて判定を行う事で、より正確判断が可能となる。

0137

サッケード情報切り替え判定部202は、運転状態検出部142による検出結果に応じて、運転者の復帰内部状態を判定することで、運転モードを、自動運転モードから手動運転モードに切り替えることができるか否か、また、覚醒途中の状況を判定する。

0138

・音声認識に基づく反応性および覚醒度の検出
音声認識切り替え判定部203は、運転者の音声による応答を元に、運転者に判断認識させて、運転者の反応性および覚醒度を検出することを運転状態検出部142に行わせる。

0139

例えば、運転者が考えないと応答できないような質問が音声によって提示され、質問に対する応答が運転状態検出部142により検出される。運転状態検出部142は、運転者が質問に対して応答できるか否かに基づいて、運転者の反応性および覚醒度を検出する。例えば、運転者が正しく応答できた場合、運転者の反応性および覚醒度が良好であるとして検出される。

0140

また、間違って応答した場合は、覚醒復帰途中と判定ができ、引継ぎ点までに時間的猶予があれば再トライを実行も出来る。しかしながら、一切の応答がない場合は引継ぎリスクが増すために、LDM情報等を元に判断し、特に道路環境が悪化する様な区間の走行なら後述するように早期の緊急退避モードに早々と移行してもよい。

0141

音声認識切り替え判定部203は、運転状態検出部142による検出結果に基づいて運転者の復帰内部状態を判定することで、運転モードを、自動運転モードから手動運転モードに切り替えることができるか否かを判定する。

0142

・ステアリング操作に基づく反応性および覚醒度の検出
ステアリング操作切り替え判定部204は、走行制御部33に、ノイズとなるトルクをステアリングに与えることによって操舵ズレを起こさせ、正常な走行から逸脱する走行(以下、ノイズ走行と称する)を意図的に発生させる。例えば、ノイズ走行には、車線に沿った進行方向に対して車両を車線に略進行方向に保ったまま、略直角方向などの、ずれた方向へ車両を移動させる走行、車線を横切る方向を変えた横移動、または急加減速を意図的に与える走行がある。車両が横風を受ける場合、方向を変えずに横に小量ずれた方向へ車両が移動される。

0143

ステアリング操作切り替え判定部204は、このようなノイズ走行に対して、操舵を是正するためのトルクを運転者が自らの意志で付加させたり、アクセルやブレーキを踏んだりするなどの応答を運転者が正しく実施できていること等を、運転状態検出部142に検出させる。

0144

ステアリング操作切り替え判定部204は、運転状態検出部142による検出結果に基づいて運転者の復帰内部状態を判定することで、運転モードを、自動運転モードから手動運転モードに切り替えることができるか否かを判定する。

0145

切り替え判定部155においては、このように複数の情報が用いられて、運転者の復帰内部状態(覚醒しているか否か、またはその度合い)が判定される。

0146

また、切り替え判定部155においては、切り替え判定の最終段階または最終段階に準じた段階の判定として、ステアリング操作切り替え判定が行われる。

0147

これら多段階の運転者覚醒状態判別を行うことにより、運転モードを、より確実に、より安全に、自動運転モードから手動運転モードに切り替えることが可能になる。そして、この引き継ぎ動作が同一の運転者により繰り返し実行され続けることで正常な引き継ぎの際の教師データと失敗の際の教師データも自己整合的収集され、利用に頻度に応じて検出精度の向上が図られる。

0148

<ジェスチャー認識切り替え判定の詳細>
次に、図4乃至図7を参照して、ジェスチャー認識切り替え判定の詳細について説明する。

0149

自動運転モードで走行中の車両において、運転者が2次タスクに従事していたとする。運転モード切り替え制御部154は、LDM更新または交通情報等からの緊急通知に伴い、手動運転への復帰が必要であると判定した場合、通知や警報を出すことによって、そのことを運転者に通知する。

0150

緊急度が高ければ、運転者はすぐに状況を把握して、手動による運転を開始しなければならない。手動運転への復帰を促した後の運転者の手順としては、前方の状況を目視確認し、その上で、次に取るべき行動に移ることが、人間工学行動学)的に見て最も妥当な手順といえる。

0151

すなわち、2次タスク中の運転者が手動運転への復帰の通知や警報を受けた場合、まずは、車両前方を目視確認し、目で状況を直接捉えることで緊急性の把握を瞬時に行い、その段階を踏んでから、提示されるメッセージの確認、状況把握、または、次の行動に移るのが望ましい手順といえる。

0152

したがって、運転者が2次タスクを中断した直後に、車両前方の状況を目視で確認していることを正確に検出することが重要となる。

0153

そこで、前方の状況を運転者が把握していることを正確に捉える1つの方法として、車両前方を見ながら車両前方を人差し指で指す、前方指差し確認合図を運転者に行わせる。このような動作を検出することで、運転者が2次タスクを中断して、車両前方の目視確認をしたことの判定が可能になる。

0154

日本国内の電車や乗り合いバス等を運航する多くの事業主は、運転者や車掌等に、安全確認のための手順として、指差し確認を推奨したり、ルール化して導入したりしている。指差し確認は、さらに、視線を早期にとらえる補助ガイドとしても働き、多くの安全確認の用途に利用されている。

0155

運転者は、視線で対象物を捉え、かつ、手を動かし、最終的に、視線の延長線上で指先と対象物が略重なるように指差しを行う。

0156

このような指差しを行っている間に前方を見ていない場合、あるいは、指差しができていない場合、運転者は、車両前方の道路の状況把握が不十分である可能性が高い。

0157

これに対して、車両前方を見ながら、車両前方を指差す動作を行った場合、その動作は、指先の位置あわせを意識的に行っている動作となるため、車両前方の道路の状況把握がしっかりできている可能性が高い。

0158

そこで、自動運転モードで走行中に手動運転への復帰を促す場合の手順として、車両前方の把握を行い、前方指差し確認合図を行う手順が定められる。手順に沿った動作を運転者に行わせ、それを運転状態検出部142が検出することによって、運転者の覚醒状態を把握することができる。

0159

図4は、運転状態検出部142が検出する前方指差し確認合図の例を示す図である。

0160

図4破線で示すように、例えば、運転者250の右眼251の位置を基準として、運転者250の視線252の方向を含むように垂直平面253が設定される。垂直平面253は、道路面に対して略垂直でかつ進行方向に略平行な仮想的な平面である。ただし、走行中道路が直線道路とは限らないため、必ずしも一律に方向を制限をする必要はなく、LDM情報より方角適用をしてもよい。

0161

また、図4に破線で示すように、運転者250の右眼251の位置を基準として、運転者250の視線252の方向を含むように平行平面255が設定される。平行平面255は、目の高さに設定された、道路面と略平行な仮想的な平面である。

0162

指差し確認は、一見煩わしいものに思われるかもしれない。しかしながら、仮眠等の2次タスクから意識を完全に運転に向けた状態で正しく進行方向をとらえ、前方指差し確認合図を行っていれば、運転者250の目(効き目または両目)と指先254とを通り、車両の進行方向に向けた直線は、運転者250の視線252と略一致する。

0163

その際、通常、指先254は、運転者250の視線252を遮らないように、垂直平面253を中心として設定された近傍の幅wの範囲に位置し、運転者250の視線252より距離hだけ下に位置することが多い。距離hは、例えば、数mm乃至数cmの距離を表す。

0164

図5Aは、効き目が右眼である場合に、車両の進行方向を見ている運転者250Aを上から見た平面図である。なお、図5Aには、効き目が左眼である場合の運転者250Bも破線で示されている。図5Bは、図5Aの運転者250Aの状態を側面から見た図である。

0165

図5Aには、右眼251の位置を基準として設定された垂直平面253が示されている。垂直平面253には、運転者250Aの視線252の方向が含まれる。運転状態検出部142は、運転者250Aの画像において、図5Aに示すように、垂直平面253を挟む一定の範囲w内に運転者250Aが指先254を停止させていることを、前方指差し確認合図の動作として検出する。

0166

指先254の位置は、ToFセンサなどでトラッキングすることにより検出される。なお、トラッキングの対象は、指先だけに限らず、指、手、拳などであってもよい。

0167

なお、運転者によって個人差があるため、前方指差し確認合図の検出には、学習部126による学習で得られた個人特性が用いられる。

0168

図5Bには、右眼251、視線252、および指先254を側面から見た位置関係が示されている。指差しは車両の進行方向の確認を主目的とするものであるので、基本的には、指差しを行ったときの指先254の位置は、進行方向を見る視線252を遮らないような位置になる。

0169

運転状態検出部142は、図5Bに示すように、指先254の位置が視線252より距離hだけ下の位置にあるようなジェスチャー動作を、前方指差し確認合図の動作として検出する。

0170

以上のような前方指差し確認合図を検出することで、運転者250が手動運転に意識を向け、覚醒している状況にあることを把握することができる。

0171

なお、前方指差し確認合図の検出方法は、以上のような方法に限らない。視線の動き、頭部の動き、指または手を進行方向へ指差す動作などの各種の動作を組み合わせた動作を所定のジェスチャーとして認識する機能を備えた合図検出器を車両制御システム11に設けるようにしてもよい。

0172

図6は、前方指差し確認合図の手順の例を示す図である。

0173

図6Aには、車両の自動運転中に、携帯端末12で2次タスクに従事している運転者261が示されている。携帯端末12は、スマートフォンやタブレット端末などである。図6Aにおいて、運転者261は、2次タスクとして、配送物伝票処理や次の配送先の確認等を行っているものとする。

0174

そして、運転者261は、図6Bに示されるように、その2次タスクから少なくとも片手開放して前方指差し確認合図を行う。

0175

この前方指差し確認合図には、作業の中断と、前方に注意を向けて、手動運転を引き継ぐ意識を有していることを表現する意味合いが含まれる。

0176

2次タスクが運転席外で行われることも想定されるため、運転者261の運転席への着座動作を検出し、その検出後に、運転者261の指差し動作の検出が行われるようにしてもよい。

0177

なお、着座動作の検出が、着座座席の荷重評価に基づいて行われるようにしてもよい。

0178

また、着座動作の検出が、手動運転への復帰通知、警報、アラームなどをトリガーにして行われるようにしてもよい。

0179

例えば、図6Aの状態において、自動運転可能区間の走行中に、予定外の事象の発生で手動運転への復帰が差し迫ってきたとする。

0180

このとき、車両制御システム11においては、手動運転モードへの切り替え(手動運転への引き継ぎ)の通知または警報が行われる。運転者261は、通知または警報を受けて、図6Bに示されるように前方指差し確認合図を行うことになる。これにより、運転の引き継ぎを運転者に速やかに行わせることが可能となる。

0181

なお、運転者261による前方指差し確認合図の後、手動運転への引き継ぎポイントの情報が携帯端末12やインストルメントパネル全面または部分的なマトリックスアレイ表示部等のモニタに表示されるようにしてもよい。このような情報の提供を受けた運転者261の応答操作を検出することにより、運転者の覚醒度を検出するようにしてもよい。

0182

車両制御システム11が、運転者の意識が覚醒しているかの把握を高い精度で行うことができなかった場合、走行中の車両の安全を確保するため、車両を減速したり停車したりする必要がある。

0183

ただし、手動運転モードへの切り替えにかかる車両の減速や緊急停車等の手順を交通量の多いインフラで実行すると、後続車へのインパクトが大きく、交通容量が制限されると瞬く間に渋滞を誘発し、経済的損出を発生するため、好ましくない。

0184

運転者の意識が覚醒しているかの把握を高い精度で行うために、前方指差し確認合図の手順に加えて、他の手順を用いるようにしてもよい。

0185

例えば、前方指差し確認合図を手動運転への引き継ぎ手順全体のうちの一部の初期の手順とし、サッケードの解析等の手順を追加してもよい。

0186

また、前方指差し確認合図を検出した後に、運転者がステアリングを握る動作を行ったか否かを検出する手順を追加することも可能である。

0187

さらに、前方指差し確認合図を検出した後に、視線検出により、運転者が、状況把握のための動作を始めたか否かを検出するようにしてもよい。状況把握のための動作としては、車両前方を改めて確認する動作、後方確認用ミラーやモニタなどを確認する動作、車両制御システム11側から提示されるメッセージや通知を確認する動作などがある。これらの状況把握のための動作を、所定のジェスチャーとして検出して、復帰内部状態になったと判定してもよい。

0188

図7は、前方指差し確認合図の手順の例を示す図である。

0189

以上、図7に示されるように、指先、手、拳、および身体の一部を、車両前方へ振り向かせ、その際に運転者271自身と、その前方指差し確認合図と、運転者271の視線272の先である車両前方の道路に対してそれらを包含する垂直平面が確認できれば、運転者271が、1次タスクとしての運転タスクを行うことができる復帰内部状態になったとみなすことができる。

0190

なお、復帰内部状態になったかの判定としては、前方指差し確認合図に限らず、少なくとも、車両の進行方向の確認動作と、それに次ぐ、車両制御システム11から提示されるメッセージや通知などを確認する動作とが順に行われたかの検出結果が用いられてもよい。

0191

人が遠方の事象をいち早く知りたい場合、警報などの通知画面を見て状況を理解するよりも、まずは、車両の進行方向を見て眼に入った状況を理解し、それから、通知画面を見るなどの解釈に少し時間がかかる行動がなされるため、この動作の順が重要である。

0192

<自動化レベルの例>
図8は、自動化レベルの例を示している。ここでは、SAE(Society of Automotive Engineers)により定義された自動化レベルの例を示している。なお本明細書では、便宜的にSAEで定義された自動運転のレベルを参照して用いているが、いざ自動運転が広く用いられた場合の課題や妥当性が業界で検討し尽くされてなく、必ずしも定義通りの解釈で用いていない。また、利用形態は本明細書に記載されている内容を保証する利用形態とは限らない。

0193

自動化レベルは、レベル0からレベル4までの5段階に分かれる。

0194

自動化レベル0は、”運転自動化なし”と称される。自動化レベル0では、運転者が全ての運転タスクを実施する。

0195

自動化レベル1は、”運転者支援”と称される。自動化レベル1では、自動運転を行うシステム(以下、単にシステムと称する)が例えば、前後および左右のいずれかの車両制御に係る限定された運転タスクのサブタスクを実施する。

0196

自動化レベル2は、”部分運転自動化”と称される。自動化レベル2では、システムが前後および左右の両方の車両制御に係る運転タスクのサブタスクを実施する。

0197

自動化レベル3は、”条件付運転自動化”と称される。自動化レベル3では、システムが限られた領域内で全ての運転タスクを実施する。この自動化レベルで実際にどの程度の2次タスクが実行可能か明確にされていない。運転者は、車両の走行中に、運転以外の作業や行動、例えば、携帯端末12の操作、電話会議ビデオ鑑賞、ゲーム、思考、他の搭乗者との会話等の2次タスクを行うことができると考えられるが、安全性の面で課題が多い。

0198

つまり、この自動化レベル3の定義の範囲では、システムの障害や走行環境の悪化等による予備対応時(フォールバック中)に、システムの要求等に対して、運転者が運転操作を行う等の対応を適切に行うことが期待される。言い方を変えると、この間は、運転者は復帰の準スタンバイ状態にいる必要がある。

0199

自動化レベル4は、”高度運転自動化”と称される。自動化レベル4では、システムが限られた領域内で全ての運転タスクを実施する。また、予備対応時(フォールバック中)に、運転者が運転操作を行う等の対応を行うことは期待されない。したがって、運転者は、例えば、車両の走行中に、本当の意味での2次タスクが可能となり、状況次第では、仮眠をとることも可能である。

0200

したがって、自動化レベル0乃至自動化レベル2では、運転者が全て或いは一部の運転タスクを実施し、安全運転に係る監視、対応主体は運転者となる。この3つの自動化レベルでは、運転者は必要に応じて常に運転に復帰できる能力が求められる。したがって、走行時の注意低下や前方注意を損なう、運転以外の2次タスクに運転者が従事することは、許容されていない。

0201

一方、自動化レベル3および自動化レベル4では、システムが全ての運転タスクを実施し、安全運転に係る監視、対応主体はシステムとなる。ただし、自動化レベル3では、運転者が運転操作を行う必要が生じる場合がある。また、走行ルートの一部に自動化レベル3および自動化レベル4を適用できない区間が存在する場合があり、そのような区間では、自動化レベル2以下に設定され、運転者が運転に介在する必要がある。

0202

なお、自動運転の際に、2次タスクを許容した場合に、運転者の覚醒度の把握が困難であることから、法規的にも2次タスクの実行が禁止のままで議論進捗停滞している。しかしながら、本技術の前方指差し確認(ジェスチャー認識)合図では、極めて有効な運転者復帰能力確認となるため、2次タスク実行が許容される目途が十分に期待できる。

0203

自動車メーカーにとって自動運転の最大の利点である自動運転中の2次タスクを実行しても、必要なタイミングで通知確認を行うことで、安全が担保される仕組みを構築できるため、大きな期待がもてる。

0204

<運転モードの切り替え>
なお、以下、運転者が何らかの形で介在して直接的に車両の運転へ影響を及ぼす必要がある運転を「手動(マニュアル)運転」と称する。したがって、自動化レベル0乃至自動化レベル2では、手動運転が行われる。図8に示されるように、自動化レベル0乃至自動化レベル2での運転モードを、手動運転モードと称する。

0205

一方、以下、運転者の介在を全く必要としない運転を、自律自動運転(自動運転)と称する。したがって、自動化レベル3および自動化レベル4では、基本的に自動運転が行われる。ただし、自動化レベル3では、システムの要求に応じて、手動運転を行う必要が生じる場合がある。すなわち、自動化レベル3では、運転者の運転操作の離脱が限定的である必要があるため、注意下での自動運転が行われる。よって、自動化レベル4での運転モードを、自動運転モードと称し、自動化レベルでの運転モードを注意下自動運転モードと称する。

0206

なお、本技術の骨格において、注意下での自動運転として定義されているレベル3の自動運転の利用は、長時間継続利用の運転モードとして、人間工学的に見て適さないという考えに基づいている。したがって、レベル3の自動運転は、運転者は運転操舵に直接は介在が出来ないにも関わらず、且つ完全な2次タスクに没頭も出来ずのどっちつかずの状態を継続しなくてはいけないため、利用形態によってはとても苦痛となる走行区間と言える。

0207

無論、短期に運転復帰できる2次タスクに限定する事は出来るが、実用的な視点で運転者にレベル3での利用の制限を法的に掛ける事は出来るとしても、人間の生体的特性から単調な状況が続いた場合に無意識のうちにくなったり、2次タスクに知らずの内に没頭してしまったりすることがある。

0208

つまり、注意下での自動運転となるレベル3の自動運転モードは、継続的な長期利用を想定したモードではない。レベル3の自動運転モードは、自律自動運転のまま区間通過が難しいかリスクを伴う場合に、運転者を短期的にバックアップとして復帰待機させる利用と、自動運転モード4から切り替えの際の緩衝区間に用いる利用に限定された自動運転モードである。ただし、携帯端末器の操作などで、運転者がタブレット画面閲覧などを通じて常に運転への覚醒復帰の意識接続を維持する手段と併用する利用等に限れば、定常利用を行ってもよい。

0209

緩衝区間に用いる利用は、自動運転モード4から急激に手動運転モードへ復帰させるには、覚醒復帰の確かさの確認が不十分となるために危険を伴うので、その切り替えの際の緩衝区間を通過するために備える自動運転モードという考えに基づいている。

0210

この緩衝区間のモードを的確に備え実行するシステムの技術を提供することで、手動運転復帰が必要な際に、引き継ぎ失敗車両が多発して道路インフラ環境での引き継ぎ失敗車両による渋滞発生などを回避し、健全な道路インフラ環境を担保する狙いがある。

0211

ここで、本技術においては、ジェスチャー認識、サッケード情報、ステアリング操作、または音声認識を用いた運転者の反応性および覚醒度の検出に応じて、自動運転モードから手動運転モードへの切り替えの可否が判定され、適宜、実行される。

0212

図9は、運転モードの切り替えを示す遷移図である。この自動運転モードから手動運転モードへの切り替えには、図9白抜き矢印#1に示されるように、自動化レベル4の自動運転モードから、運転者の運転操作が少しでも介在する意味を含めて、自動化レベル3の注意下自動運転モードへの切り替えも含まれる。

0213

自動運転モードから手動運転モードへの切り替えには、図9の白抜き矢印#2に示されるように、自動化レベル3の注意下自動運転モードから、自動化レベル0,1,2の手動運転モードへの切り替えも含まれる。

0214

自動運転モードから手動運転モードへの切り替えには、図9の白抜き矢印#3に示されるように、自動化レベル4の自動運転モードから、自動化レベル0,1,2の手動運転モードへの切り替えも含まれる。

0215

基本的にこの間のモード遷移は、自動化レベル4での運転者の手動運転への復帰能力が担保されている場合に限定されるため、切り替え直前まで運転者の能動的な操舵能力は、観測(判定)されていない。したがって、切り替えが可能な状況は、直線の危険を全く伴わない安全が担保された道路で且つLKASやACCなどの運転者の万が一の操舵能力不全に対して残存ADAS機能で運転者引き継ぎ不全に対処が可能な場合に限る。または、運転者のリクエストに応じ、運転者の手動運転能力判定を実行した上で初めて引き継ぎを完結し、不確実な操舵検出段階で操舵介在による制御を委ねると、寝ぼけた状態の運転者による操作で事故を誘発することも想定される。

0216

その為、車両の制御を司る車両制御部28は、走行中に自動から手動への切り替えが必要な区間に侵入するのに先立ち、自動化レベル3の区間設定をし、その間に運転者の復帰能力判定を進め、走行可能自動化レベルが最大でもレベル2以下の区間侵入に備える。

0217

白抜き矢印#1,#2,#3の切り替えの際に、運転者の反応度および覚醒度を検出することができない場合、運転モードは、太線矢印#11,#12,#13に示されるように、緊急退避モードに移行される。なお、自動化レベル0,1,2の手動運転モードからは、体調変化などの緊急時にも、この緊急退避モードに移行される。

0218

なお、本明細書において、緊急退避モードの詳述はしないが、実際には、2つの機能を有している。1つ目の機能は、通常の走行を行っている車両で運転者の覚醒度合いや体調の急変等で想定される通常走行の継続や引き継ぎが困難となった場合に、車両を安全な退避場所まで緊急退避走行をさせる機能である。

0219

2つ目の機能は、そもそも運転能力が低下している交通手段貧困地で緊急に病院等へ移動する手段として、運転者による操舵能力がない状態でも移動手段を確保する機能である。特に、2つ目の機能は、移動速度自体の優先度を下げた機能であり、遠隔支援や先導車両走行支援等を組み合せての移動確保が目的となる自動運転の走行モードの1つとなる。

0220

図9実線矢印#21,#22に示されるように、自動化レベル0,1,2の手動運転モードから、自動化レベル3の注意下自動運転モード、または、自動化レベル3の注意下自動運転モードから、自動化レベル4の自動運転モードへの切り替えは、走行設定された車輛がその後進む道路のLDMや天候、事象発生情報、運転者による必要時の復帰可能性情報などに応じ、運転者によるリクエストのもと、実行可否判定が行われる。

0221

特に、実線矢印#21では、手動運転中の車両から運転者の周知外での自動運転復帰が行われると、車両利用時に無意識のうちに自動運転利用の発生と誤解を生むケースが発生する事もある。このケースは、極めて低い確率であったとしても、手動運転モード中の車両で、運転者は、いざ自動運転のつもりで、一瞬2次タスクを行い、気を取られていると危険事態を招くリスクがあるので望ましくない。

0222

なお、図9の破線矢印#31,#32に示されるように、緊急退避モードから、自動化レベル3または自動化レベル4への移行は、例えば、緊急時の患者の搬送などの特殊ケースのみが対象となる。

0223

利用形態として想定されるユースケースは、緊急車両の到達を待てない乗客が、中間地点高速道路サービスエリアまでの移動のために、レベル4の自動運転が可能区間で自動運転レベル4を利用した移動などが考えらえる。通常利用者が、引き継ぎ不全で緊急退避モードに遷移した場合は、図示しない復帰不全記録などの所定の手続きを経てのみ復帰をする手順にする。

0224

運転者が、必要な区間において、手動運転に安全かつスムーズに復帰できるようにすることで、自動運転が可能な区間と手動運転が必要な区間が混在したルートを車両と停止することなく継続走行できる連続ルートとして延長することができる。また、運転者の運転操作への介在からの完全な離脱を防ぎ、手動運転に安全かつスムーズに復帰できるようにすることで、走行ルートの主要な区間における自動運転の実施をその引き継ぎを社会的インフラ問題にすることなく可能になる。

0225

また、手動運転から自動運転への復帰は運転者の自動運転の復帰周知手順を導入する事で、手動運転中の運転者による安易な「自動運転中」と思い込みから2次タスク実行開始を防ぎ、手動運転モード中の思い込みによる不注意事故のリスク低減をはかることができる。そして、周知後であっても、思い込みをさらに防ぐモード表示や操舵介在離脱の警告を併用してもよい。

0226

<自動運転制御処理>
次に、図10乃至図12のフローチャートを参照して、車両制御システム11により実行される自動運転制御処理について説明する。なお、この処理は、例えば、車両のパワー(イグニッション)スイッチがオンにされたときに開始される。

0227

ステップS1において、運転者監視部26は、運転者の認証を行う。具体的には、運転者監視部26の運転者撮影部101は、運転者を撮影する。認証部104は、撮影により得られた運転者画像中の運転者の顔を認識する。

0228

また、例えば、認証部104は、記憶部35に記憶されている顔画像の中から運転者の顔と一致する顔画像を検索することにより、運転者を特定する。例えば、記憶部35には、車両を使うそれぞれのユーザの顔画像と、識別情報などのそれぞれのユーザの情報が紐付けて管理されている。

0229

認証部104は、運転者を特定できた場合、認証に成功したと判定し、運転者を特定できなかった場合、認証に失敗したと判定する。認証部104は、運転者の認証結果を車両制御部28に供給する。なお、運転者の認証技術として、その他にも指紋認証静脈認証虹彩認証のような他の手段を代わりに用いてもよい。

0230

なお、運転者の認証に失敗した場合、車両の走行が禁止されるようにしてもよい。この場合、運転者が、セキュリティが確保された環境下で所定の操作を行い、新規ユーザ登録を行うことにより、車両の走行が許可されるようにしてもよい。

0231

ただし、運転者の認証を行う主な目的は、認証された運転者の運転操作の特徴と運転者の状態との相関をとり、それに応じて車両を制御したりすることである。したがって、必ずしも、認証結果を車両の走行の許可または禁止の制御に用いる必要はない。これにより、例えば、緊急時等に、未認証の状態での走行を許可することが可能になる。なお、未認証の状態で走行していることを表示灯車車間通信等により周囲に通知するようにしてもよい。

0232

ステップS2において、ログ生成部125は、ログの記録を開始する。

0233

ステップS3において、車両制御部28は、目的地を取得する。具体的には、車両の搭乗者(必ずしも運転者とは限らない)は、入力部24を介して、目的地を入力する。入力部24は、取得した目的地を示す情報を車両制御部28に供給する。

0234

なお、今後、人工知能による音声認識の発達が見込めることから、会話型の目的設定や走行プリフェランス設定を行うようにしてもよい。

0235

ステップS4において、車両制御システム11は、目的にまでの想定ルートおよび区間通過走行に影響を与える該当全区間の天候や事象等と進行に伴う接近区間の周辺情報の取得を開始する。

0236

例えば、周辺撮影部21は、車両の進行方向および周辺の撮影、並びに、撮影により得られた周辺画像の車両制御部28への供給を開始する。

0237

周辺情報取得部22は、ミリ波レーダレーザーレーダ、ToFセンサ、ソナー、雨滴センサ外光センサ、路面状態センサなどからの車両の周辺の環境および物体等に関する周辺情報の取得、並びに、周辺情報の車両制御部28への供給を開始する。

0238

車両情報取得部25は、車両情報の取得、および、車両情報の車両制御部28への供給を開始する。

0239

位置測定部23は、車両の現在位置の測定、および、測定結果の車両制御部28への供給を開始する。

0240

通信部27は、ITSスポット(不図示)からのLDM(Local Dynamic Map)の受信、および、LDMの車両制御部28への供給を開始する。また、通信部27は、サーバ(不図示)からの地図データ等の受信、および、地図データ等の車両制御部28への供給を開始する。なお、地図データを記憶部35に予め記憶しておき、車両制御部28が、記憶部35から地図データを取得するようにしてもよい。

0241

さらに、通信部27は、路側機(不図示)からの各種の交通情報の受信、および、交通情報の車両制御部28への供給を開始する。特に、通信部27より直近の更新情報を取得することで、事前取得された地図情報に対して経時変化が起きたリスク変化点の更新を行う事が可能となる。

0242

なお、以下、LDM、地図データ等の地図に関する情報をまとめて地図情報と称する。

0243

周辺監視部121は、周辺撮影部21からの周辺画像、周辺情報取得部22からの周辺情報、および、通信部27からの各種の情報に基づいて、車両の周辺の監視を開始する。

0244

ルート設定部151は、周辺監視部121から取得した情報、および、車両情報取得部25から供給される車両情報に含まれる車両の加速度および角速度等に基づいて、車両の現在位置の補正を適宜行う。これにより、例えば、地図情報内の経時変化が反映されていない情報や位置測定部23の検出・判定誤差等による車両の現在位置の推定誤差が補正される。

0245

ステップS5において、ルート設定部151は、走行ルートの設定を開始する。具体的には、ルート設定部151は、地図情報に基づいて、運転者の運転能力等を考慮しながら、現在位置または指定位置から目的地までの走行ルートを設定する。また、ルート設定部151は、時間帯、目的地までの天候、渋滞、通行規制等の情報に基づいて、必要に応じて走行ルートの変更またはルート選択肢の提示を行う。

0246

ステップS6において、自動化レベル設定部152は、自動化レベルの更新を開始する。

0247

具体的には、自動化レベル設定部152は、地図情報および周辺情報等に基づいて、走行ルート上において、許容される自動化レベル(以下、許容自動化レベルと称する)の分布を設定する。

0248

ここで、許容自動化レベルとは、対象となる区間において設定可能な自動化レベルの最大値を示す。例えば、許容自動化レベルがレベル3の区間においては、車両は自動化レベル3以下に設定して走行することが可能である。

0249

例えば、自動化レベル設定部152は、走行ルート上の許容自動化レベルの分布を、地図情報等に示されるデフォルト値に設定する。また、自動化レベル設定部152は、地図情報および周辺情報から得られる天候、道路の状態、事故、工事交通規制等の走行ルート上および周辺の環境に関する情報に基づいて、走行ルート上の許容自動化レベルの分布を適宜更新する。

0250

また、路面の道路鋲ペイント縁石等の道路の区画線記号、並びに、文字等の道路標示が積雪や冠水等で認識困難な区間において、許容自動化レベルが本来のレベル3からレベル2に下げられたり、LKASの使用が禁止されたりする。

0251

走行開始後の区間毎の状況変化は、雨水滞留に伴う白線隠れまたは濡れた路面の逆光反射など、さまざま状況で時々刻々変化する。特に、継続的な自動運転通過が見込まれる区間の一部で運転者復帰が必要となる変化は、運転者にその変化を周知し、2次タスク実行の事前制限をかける必要がある。

0252

さらに、火災による煙や濃霧等で視界が不良な区間において、許容自動化レベルが本来のレベル3からレベル2に下げられたり、最高速度が制限されたりする。

0253

事故が発生したり、落下物が検出されたりした区間において、許容自動化レベルがレベル1またはレベル0に下げられる。

0254

例えば、路面が凍結した区間や、横風が激しい橋において、制限速度が下げられたり、許容自動化レベルがレベル1またはレベル0に下げられたりする。

0255

自動化レベル設定部152は、このような制限に基づいて、走行ルート上の許容自動化レベルの分布を適宜更新する。

0256

ステップS7において、車両制御システム11は、運転者の監視を開始する。

0257

具体的には、運転者監視部26の運転者撮影部101は、運転者の撮影、および、撮影により得られた運転者画像の車両制御部28への供給を開始する。

0258

生体情報取得部102は、運転者の生体情報の取得、および、車両制御部28への供給を開始する。

0259

視線検出部103は、眼球解析に特化したブロックでもよいし、広域の運転者画像に基づいて、運転者の顔の向き、視線の向き、瞬き、眼球の動き(例えば、固視、サッケード等)の検出を行い、このような各情報を含む検出結果の車両制御部28への供給を開始する。

0260

運転挙動分析部141は、運転者画像、車両情報、および、学習部126による学習結果等に基づいて、運転者の運転挙動の分析を開始する。

0261

運転状態検出部142は、運転者画像、運転者の生体情報、視線検出部103による検出結果、認証部104による認証結果、および、学習部126による学習結果等に基づいて、運転者の状態の検出を開始する。

0262

例えば、運転状態検出部142は、運転者の姿勢および行動等の検出を開始する。

0263

また、例えば、運転状態検出部142は、運転者の反応性および覚醒度の検出を行う。運転者の反応性および覚醒度の検出結果は、運転状態検出部142から切り替え判定部155に供給されている。

0264

切り替え判定部155においては、自動運転モードから手動運転モードへの切り替えの必要性があるときに、これらの検出結果のうちの少なくとも1つに基づいて、自動運転モードから手動運転モードへの切り替え判定が行われる。自動運転モードから手動運転モードへの切り替え判定は、運転者への運転モード切り替えの通知の後に行われる。

0265

ここで、運転者の反応性は、例えば、外部からの要求、指示、および、刺激、並びに、車両の進行方向にある障害物等に対する運転者の反応の有無、反応速度、および、反応の的確性等に基づいて定義される。運転者の反応性は、運転者の覚醒度が低下している場合に加えて、運転者の意識が運転に向けられていない場合や、意図的に反応しない場合等に低下する。

0266

運転者の反応性および覚醒度の検出方法には、例えば、パッシブモニタリングとアクティブモニタリングがある。

0267

パッシブモニタリングでは、運転者の状態を受動的に観察することにより、運転者の反応性および覚醒度が検出される。

0268

例えば、顔の向きの遷移、視線の向きの遷移、瞬きの頻度、眼球の動きの遷移等の運転者の動きに基づいて、運転者の反応性および覚醒度が検出される。例えば、周辺撮影部21や周辺情報取得部22等で得られた実空間の視野情報に相関する対象物に対する視線移動や固視等が観測され、その結果に基づき、運転者固有の学習済み眼球挙動を参照して、運転者の反応性および覚醒度が検出される。

0269

例えば、運転者の心拍数、体臭等の生体情報に基づいて、運転者の覚醒度が検出される。

0270

例えば、ステアリングの操舵安定性操作速度、アクセルペダルやブレーキペダルの操作安定性や操作速度等の運転者の運転操作の継時的な推移を観測することにより、運転者の反応性および覚醒度の変化が検出される。なお、これらの運転者の反応は、運転者毎に固有の特性を有するため、運転者の状況に応じた特性の学習を行い、その学習結果に基づいて、運転者の反応性および覚醒度を検出するようにしてもよい。

0271

例えば、運転者が寝ていたり、2次タスク実行中で、復帰を急がせる必要が無い状況下でいたりする場合、運転者の煩わさないで済むようにパッシブモニタリングにより検出をしてもよい。また、赤外光やその他電磁波照射した反射信号からみる準パッシブモニタリングをしても良い。ただし、これら完全はパッシブ方式や準パッシブ方式では運転者の応答反応を直接観測するわけでは無く、検出結果の確実性が乏しい。

0272

ToFカメラや視線認識で用いる赤外光を投光したりした場合、前述の準パッシブ方式については、本来はアクティブ方式に該当するが、本明細書では以下に記述する運転者の応答反応をみるアクティブ方式と区別する為に準パッシブモニタリングと記述する

0273

アクティブモニタリングでは、視覚聴覚触覚等による刺激や指示等を運転者に与え、与えた刺激や指示等に対する運転者の反応(応答)を観察することにより、運転者の反応性および覚醒度が検出される。

0274

アクティブモニタリングは、例えば、パッシブモニタリングにより運転者の反応性および覚醒度の検出が困難な場合や検出精度を高める場合に用いられる。

0275

例えば、自動化レベル3以上になると、運転者の走行操作機器への介在が完全に途切れる場合があり、この場合には、走行操作機器の操作状況モニタリングしても、運転者の反応を操舵機器の操作状況より検出することがもはやできない。アクティブモニタリングは、このような場合においても運転者の状態を確実に把握できるようにするために有効な手段となる。つまり、アクティブモニタリングはパッシブモニタリングを補完する機能を備える。また、例えば、刺激を与えることによって運転者を覚醒させるためにアクティブモニタリングが用いられる。

0276

なお、これらの運転者の反応性および覚醒度の検出は、運転者への手動運転モードの切り替え通知の後に行われるようにしてもよいし、走行操作機器を用いた補正操作があったときに行われるようにしてもよい。

0277

運転状態検出部142は、表示部29を制御し、運転者の視界内に短い単語や数字を表示させてそれを運転者に音読させたり、簡単な数式を表示させてその計算結果を運転者に発声させたりすることにより、運転者の覚醒度を検出することができる。

0278

また、運転状態検出部142は、表示部29を制御して、運転者の視界内に視線の目標となる疑似ターゲットを表示させて、運転者の視線の動きを追跡することにより、運転者の反応性および覚醒度を検出する。なお、運転者の眼球の挙動解析を行い、走行に伴い視界に入る視野に対し運転者のサッケードの発生や固視微動、ドリフトと言った挙動動作観測から、運転者の内部覚醒状態のより詳細に解析してもよい。

0279

運転状態検出部142は、音声出力部30を制御して、運転者に簡単な指示(例えば、頭部を横に振る等)を出力し、その指示に対する運転者の反応を観察することにより、運転者の反応性および覚醒度を検出する。

0280

運転支援制御部153は、運転状態検出部142の指示に従って、走行制御部33を制御し、安全性を確保できる範囲内で、車両に不自然な走行をさせる。そして、運転状態検出部142は、不自然な走行に対する運転者の走行修正の操舵または操作反応に基づいて、運転者の反応性および覚醒度を検出する。

0281

なお、車両の不自然な走行に対する運転者の反応に基づいて運転者の反応性および覚醒度を検出する処理は、図3等を参照して上述した走行制御部33、運転状態検出部142、運転支援制御部153の処理と同様であり、以下に変形例が示される。

0282

・変形例1
不自然な走行として、車線に対して左右に進路を振るなどのオフセットを加えることがあげられる。ただし、左右に車両進路を振るような種類のオフセットを加えることに限らず、前方車との車間距離予想以上伸ばすこと(減速操舵)を指示として与えるようにしてもよい。運転状態検出部142においては、その指示に対し、補正のために、運転者がアクセルを踏む動作を取るか否かが評価される。その他、瞬き頻度の検出、目を閉じた状態の検出、頭部の前後へのふらつき検出などにより、運転者の状態が評価されるようにしてもよい。

0283

このように、安全性を確保できる範囲内で、車両に不自然な走行をさせるものであれば、どのような種類の逸脱した走行や感覚のみを与えるだけでもよく、他の種類のアクティブ反応として与えられるようにしてもよい。

0284

・変形例2
例えば、走行制御部33は、ステアリングの操作が行われていない場合に、車輪の方向を変化させたり、ステアリングを回転させずに車輪の左右アンバランス制動負荷を加えたりすることで、所定の期間、車両を蛇行させる。この場合、運転状態検出部142は、運転者が蛇行を是正するようにステアリングを操作するか否か、および、反応速度等に基づいて、運転者の反応性および覚醒度を検出する。

0285

なお、車両を蛇行させる量は、運転者が無意識のうちに蛇行を是正できる範囲内の量であることが望ましい。

0286

・変形例3
車載装置制御部34は、車両が正常に走行している場合に、車両が蛇行する場合に相当する回転負荷をステアリングに疑似的に加える。この場合、運転状態検出部142は、運転者が回転を止めるようにステアリングを操作するか否か、および、反応速度等に基づいて、運転者の反応性および覚醒度を検出する。

0287

・変形例4
運転者が反応しないために蛇行運転が継続している場合、運転者の反応性または覚醒度の低下等により異常が発生していることを、通信部27等を介して、後続車などの外部に通知するようにしてもよい。

0288

・変形例5
走行制御部33は、所定の期間、車線から僅かに逸脱させる方向に車両の進行方向を変更する。この場合、運転者が前方に正常な注意を向けている場合、車両の方向を補正するように操舵を行うことが期待される。ただし、車両の進行方向が無条件に変更すると、周辺車両との位置関係によっては危険な状態が発生する可能性がある。また、後続車が追尾走行を行っている可能性がある。

0289

したがって、反応性および覚醒度を運転者の応答に基づいて検出することは、周辺車両の状態や運転者の心理的影響等の条件を総合的に判断して、周辺車両に悪影響を与えない範囲で実施されることが望ましい。

0290

・変形例6
運転支援制御部153は、ACCが有効である場合、通常時と比べて、先行車との車間距離を長く設定する。この場合、運転状態検出部142は、車間距離を通常時の長さに戻すようにアクセルペダルを操作するか否か、および、反応速度に基づいて、運転者の反応性および覚醒度を検出する。

0291

・変形例7
走行制御部33は、ステアリングの操舵量に対して、車両の進行方向の変化量を通常より大きくまたは小さくする。この場合、運転状態検出部142は、進行方向を所望の方向に調整するようにステアリングを操作するか否か、および、反応速度に基づいて、運転者の反応性および覚醒度を検出する。

0292

なお、通常時の変化量と、この場合の車両の進行方向の変化量との差は、運転者が無意識のうちに進行方向を是正できる範囲内の量であることが望ましい。

0293

また、例えば、車両を左右方角へ移動させる制御を加えた上で運転者の応答反応を見る例もあるが、変形例として、アクティブ応答反応の確認の為に、車両の制御には直接的ノイズを加えず、ステアリングへの擬似的回転トルクを付加させたり、VRを用いて錯覚による誘導を行ってもよい。さらに音声等による特定のトルク応答要求に対して運転者がステアリング回転操舵やステアリング前後押引きなどの規定動作を行って応答確認をしたりしてもよい。

0294

・変形例8
走行制御部33は、アクセルペダルの踏み込み量に対して、車両の加速度を通常より大きくまたは小さくする。この場合、運転状態検出部142は、車両の速度を所望の速度に調整するようにアクセルペダルを操作するか否か、および、反応速度に基づいて、運転者の反応性および覚醒度を検出する。

0295

なお、通常時の加速度と、この場合の車両の加速度との差は、運転者が無意識のうちに加速度を是正できる範囲内であることが望ましい。

0296

・変形例9
走行制御部33は、ブレーキペダルの踏み込み量に対して、車両の減速度を通常より大きくまたは小さくする。この場合、運転状態検出部142は、車両の速度を所望の速度に調整するようにブレーキペダルを操作するか否か、および、反応速度に基づいて、運転者の反応性および覚醒度を検出する。

0297

なお、通常時の減速度と、この場合の車両の減速度との差は、運転者が無意識のうちに減速度を是正できる範囲内であることが望ましい。

0298

・変形例10
自動運転が行われていることによって運転者が運転に介在する必要がない場合、運転者は、2次タスクとして、携帯端末12(情報処理装置)を操作することができる。

0299

運転者が携帯端末12を操作しているとき、運転状態検出部142は、通信部27を介して、運転者への指示を示すサブウインドウを携帯端末12の画面に表示させる。そして、運転状態検出部142は、その指示により求められる運転者の正常な反応の有無、および、反応速度等に基づいて、運転者の反応性および覚醒度を検出する。運転者の応答指示とは、例えば車両の進行に伴う進路マーカー所定位置での事象確認表示に対して、所定のポイントに対し事象周知の合図として、表示パネルダブルタッチ操作やその他、レ点チェック動作などが一例である。

0300

・効果
例えば、運転者が前方を見ているが、考え事等により運転に対する意識が低下している場合、パッシブモニタリングだけでは、運転者の反応性および覚醒度を検出することが困難なときがある。アクティブモニタリングを用いることで、運転者の通知に対する知覚応答反応と言う形で観測が可能となり、反応性および覚醒度の検出精度を向上させることが可能になる。自動運転の普及にともない、利用者である運転者が常日広く2次タスクに従事するようになり、且つ手動運転に復帰する必要頻度が減ると、自ずとその完全復帰必要性が感覚的に薄れる事になる。ただし、本技術で実施の直感的動作としての必要時の前方確認を指差し確認し、さらに眼球の挙動確認とそれに引き続き、実際の機器操舵動作の確実性を能動的に確認する事で、運転者はシームレスでありながらも主体的に引き継ぎを行うため、少ない煩わしさでありながら安全が担保された自動運転から手動運手の引き継ぎが行えることになる。

0301

なお、上述した運転者の状態以外にも、意識状態、精神状態緊張状態、薬物の影響度合い等の、他の種類の状態が検出されるようにしてもよい。

0302

図10の説明に戻り、ステップS8において、学習部126は、学習処理を開始する。

0303

例えば、学習部126は、運転挙動分析部141の分析結果に基づいて、運転者の運転能力と、検出可能な運転者の各種の可観測な状態または挙動との相関の学習を開始することができる。

0304

例えば、学習部126は、運転者がマニュアル運転を正常に行っているときの生体情報、運転者の動き、運転者の運転操作の傾向の学習を開始する。例えば、車線の中心を安定して走行したり、停止信号等で車両が安定して停止したり、カーブにおいて適切に減速が行われたりしたときに、運転者がマニュアル運転を正常に行っているものとして検出される。

0305

この学習は、例えば、運転者がマニュアル運転を正常に行っているときの運転者の視線の挙動、頭部の姿勢、体の姿勢、脈波波形、呼吸状態、外光に対する瞳孔反応などの運転者固有の特性と、正常な運転特性との相関を恒常的に学習するようにして行われる。また、学習部126は、運転者がマニュアル運転に正常に引き継げた際に取得した可観測情報を元に、正常な引継ぎを行える際の可観測情報の教師データとして運転者の特性学習をさせ、この学習結果を用いることにより、パッシブモニタリングの精度を向上させることが可能になる。

0306

学習部126は、正常時と異常時の判別が可能なようにアクティブモニタリングに対する運転者の反応特性の学習を開始する。この学習結果を用いることにより、アクティブモニタリングの精度を向上させることができる。

0307

なお、上記の学習には、単純な相関学習CNN(Convolutional Neural Network)を用いた複雑な人工知能学習やSupport Vector Machine, Boosting, Neural Network等の、任意の学習方法を用いることができる。

0308

このように、各状態に応じた運転者固有の特性を学習することによって各状態に応じて学習されることにより、運転者の状態(例えば、運転者の健康状態疲労具合、過去に事故やヒヤリハット経験から特定事象に対する注意過多や敏感応答反応等)に基づいて、運転者の運転能力をより正確に検出することが可能になる。

0309

そして、学習部126は、学習結果を記憶部35に記憶させる。なお、学習結果については、利用した車両に記憶させて、再利用するだけでなく、電子キー遠隔サーバ等に車両と分離して記憶させて、レンタカーなど別の車両で利用できるようにしてもよい。また、運転者が繰り返し利用する車両に、前回利用時の学習結果を取り込み、その陳腐化を判定して、前回利用時までに得られた学習辞書を、安全マージン付加してその判定の際の初期データとして利用してもよい。なお、学習特性は、一定期間車両の運転をしなかったりすると応答特性が変化する事から、利用履歴と合わせ適宜更新や利用履歴の空き期間に応じて安全係数を加え判断を行うようにしてもよい。

0310

ステップS9において、運転支援制御部153は、運転支援を開始する。すなわち、運転支援制御部153は、現在の自動化レベルに合わせて、走行制御部33を制御することにより、例えば、その一部として、ACC、LKAS、TJA、AEBS等の運転を支援する処理を開始する。

0311

ステップS10(図11)において、運転支援制御部153は、現在の自動化レベルに合わせて、走行制御部33を制御することにより、継続走行を行う。

0312

ステップS11において、運転モード切り替え制御部154は、通信部27を制御し、走行ルート上の現在走行中ルートに対し引き続き走行する次の接近区間のLDMを更新させる。

0313

ステップS12において、運転モード切り替え制御部154は、LDMおよび運転者の状態を確認する。ここで確認される運転者の状態には、運転者の2次タスクの実行状況、運転者の反応性および覚醒度の少なくとも1つが含まれる。なお、運転者の反応性および覚醒度は、運転状態検出部142による検出結果に基づいて確認される。

0314

なお、運転者の状態のモニタリング頻度は、道路情報取得頻度と、事前の先読み距離の設定により求められる。事前の先読み距離の設定とは、車が通過する前にどのくらいの距離の道路情報を先読みするかを設定することである。

0315

ここで、運転者の覚醒度が低下していれば、時間的に余裕がある数分先の場所にある最寄り退避ポイントの探索が行われる。一方、運転者の覚醒度の低下がなければ、短期間で緊急事象への対処が望めるため、例えば30秒程度の短期引き継ぎに必要な最小時間での走行可能な先読み距離分の最新更新情報を最低でも取得する必要がある。先読みをあまり前方に長くとり、その(先取り)地点(まで)に自車が到達するまでの間隔が(中間情報の補間なく)空き過ぎて(そこまでの)中間情報の欠落があるとその間の危険な事象を見落とすことに繋がる。そのため、運転者の2次タスク実行の状況、覚醒状態など、状況に応じて可変的に、適宜、中間点補完取得して先読みを実行するのが望ましい。

0316

大雨または積雪などで道路の区切りがわからなくなってしまう喪失リスクなどがあれば、より細かな経時変化モニタリングが必要になる。

0317

運転者の覚醒度の確認頻度、確認ポイント、覚醒警告、または事前情報更新などは能動的に行われる。

0318

これにより、道路交通状況や運転者の状況に応じて能動的な調整を実施しない場合、例えば地点設定で覚醒復帰ポイントを定義した場合に高速の定常時巡航速度で走行ならその数分手前を見込んで通知地点を数キロ手前で手動運転の復帰開始を通知する所を、渋滞などで車がほどんど進まない状況のなかで地点を基準にして通知を実施すると、結果的に通過が過度に早い段階で通知する事になる。しかしながら、前記の通り、運転者の状態や道路の環境情報を常にモニタリングして判定をする事で、運転者の復帰に必要な推定時間と道路の現時点で推定される平均的な流れ速度の情報から、地点通過時間予測と復帰必要予測時間から復帰開始最適地点を算出できる。また、運転者の状態を常に定常的モニタリングを繰り返すため、車両制御システム11は備えた状況を維持する事ができ、引き継ぎポイント前であるのにも関わらず、想定外事象が発生した際にでも常に復帰に要する時間予測が出来る。例えば、仮眠などの2次タスクから復帰を要する予定の覚醒タイミングを含め、運転者の常時状態観測をしえていることで、緊急時でも最善な覚醒警告発報をすることができるようになる。

0319

ここで、時間が経過すると、走行ルートや運転者の状況が変わることによって走行が出来る最高の自動化レベルが変わる可能性がある。運転モード切り替え制御部154は、走行中、新しい情報を取得するとともに、走行ルートの更新最新LDMと運転者の状態を常にモニタリングし続ける必要がある。

0320

図13は、LDMのデータの更新の例を示す図である。

0321

図13の例においては、出発(走行ルート選定)時点での理想的LDMのデータが示されている。図13において、上から順に、区間、その区間に設定されている許容自動化レベル、その区間の定常的な2次タスク実行可否とその下段に、短期一時的な(短期限定ともいう)2次タスク実行可否が示されている。

0322

なお、短期限定とは、通知制御部124から通知発報が出された場合、運転者や速やかに運転復帰に取りかかることのできる状態の2次タスクに限定され、如何なる2次タスクの利用形態においても、注意離脱を伴わない範囲に限定されることで、安全性を確保する。

0323

2次タスク実行可否は、例えば、姿勢内覚醒下OK、姿勢内覚醒下NG、姿勢外覚醒下OK、姿勢外覚醒下OK、姿勢外覚醒下NG、姿勢内外ともOK(覚醒度合いに依存せず)、姿勢内外ともNGの状態で構成されている。

0324

姿勢内覚醒下OK(姿勢内OK)の区間は、運転者の着座姿勢が、手動運転に直ぐに復帰できる着座姿勢と定める範囲内の姿勢であり、運転者が覚醒していれば自動運転モードで走行ができる区間である。

0325

すなわち、この姿勢内覚醒下OKの区間は、特に、想定外事情が発生しなければ、問題なく自動運転での通過が可能な区間である。したがって、定常利用は、基本的にはレベル3以上の区間、またはレベル2の区間内でも短期的に自動運転を利用した短期限定2次タスクの実行は条件付きで可能とする事も運用上可能である。実際の適用は、車両の特性や目標安全性次第である。限定短期2次タスクの実行は、前方不注意を招く一時的なナビ画面の確認や操作などがその対象の可能性となりえる。

0326

姿勢内覚醒下NG(姿勢内NG)の区間は、運転者の着座姿勢が、手動運転に復帰できる着座姿勢と定める範囲内の姿勢であっても、自動運転下での2次タスクを行ってはいけない区間である。

0327

レベル1までの自動運転しか利用が許可されない区間では、自動運転レベルが限定的となる。また、運転者が走行中にナビゲーション操作したり、何らかの前方に対する不注意な走行を行ったりした場合、危険を伴うリスクがあるため、自動運転に伴う一切の2次タスク実行が推奨されない区間である。

0328

姿勢外覚醒下OK(姿勢外OK)の区間は、運転者の着座姿勢が、手動運転に復帰できる着座姿勢と定める範囲外の姿勢であっても、レベル3以上の自動運転走行が可能な区間で、かつ、着座復帰の猶予期間が担保されていれば、そのレベル3許容走行区間を自動運転モード下で短期一時的に2次タスクの実行を行ってもよい区間である。

0329

姿勢外覚醒下NG(姿勢外NG)の区間は、運転者の着座姿勢が、手動運転に直ぐに運転復帰できる姿勢と定める範囲外の姿勢である場合に、例え、運転者が運転復帰に必要な十分に覚醒度保っていたとしても、その様な離脱姿勢では、自動運転を許可しない区間である。

0330

すなわち、レベル3が許容される区間での定常的離席2次タスク作業は禁止に該当する区間である。

0331

姿勢内外ともOKの区間は、LDM等の更新が絶え間なく正常に取得され、手動復帰が求められることなく、安全が確認されたために、運転者の状態を問わず、レベル4相当の自動運転下での2次タスクが実行可能な区間である。

0332

姿勢内外ともNGは、道路区間を自動運転で通過するにはリスクを伴い、レベル0や1で通過が必要な区間であり、更に通常レベル4が許可される道路でも、一時的に何らかの理由でLDM等の更新がされなかったり、安全が確認されなかったりするために、運転者の状態を問わず、自動運転を許可しない区間である。

0333

なお、通常の自動運転が利用可能区間から手動運転が求められる区間に移行する際に、急に手動運転を実行する事は、手動運転の実行の確実性からみて好ましくない。したがって、自動運転のレベルの許容レベルが下がる区間侵入に先立ち、必ず手動運転を確認し終えるまでの猶予期間で許容される自動運転要求レベルを順次下げ、移行レベルの走行区間を確保する制御を行う。

0334

つまり、基本的にはレベル4からレベル2へは移行せず、レベル3を経てレベル2やレベル1に移行する。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 阪神高速技術株式会社の「 予告看板」が 公開されました。( 2019/09/19)

    【課題】道路に規制区域が存在する等の事象の情報を、車両の運転者に効果的に通知できる予告看板を提供する。【解決手段】 予告看板1は可搬型であり、道路交通に関する情報を視覚的に認識可能に表示する表示パネ... 詳細

  • オムロン株式会社の「 算出システム、指標算出方法、およびコンピュータプログラム」が 公開されました。( 2019/09/19)

    【課題】移動中の移動体において、人物の覚醒度に関する情報を、より高い精度で得ることのできる算出システムを提供すること。【解決手段】移動体M中の運転者Dの顔を撮影するカメラ11と、移動体Mの運動データを... 詳細

  • 沖電気工業株式会社の「 発信器および通信装置」が 公開されました。( 2019/09/12)

    【課題】進行方向前方の状況を自動的に認識可能な発信器および通信装置を提供。【解決手段】発信器(12)は、物体から受けた圧力に基づいて電気を生成する圧電回路(16)と、圧電回路(16)で生成された電気を... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ