図面 (/)

技術 車両安全支援装置および方法

出願人 ヒュンダイ・モービス・カンパニー・リミテッド
発明者 デイヴィッドアグニューダグマッケンジーネイサンジョンソン
出願日 2018年3月14日 (2年11ヶ月経過) 出願番号 2018-047300
公開日 2018年9月27日 (2年4ヶ月経過) 公開番号 2018-152072
状態 拒絶査定
技術分野 異常警報装置 航行(Navigation) 警報システム 交通制御システム
主要キーワード 状態判断結果 軌跡変化 状況検知装置 被実験者 軌跡距離 付加機器 ノイズ範囲 付加機能制御
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2018年9月27日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

運転者運転をきちんと行わない場合や、車両をそれ以上コントロールできない場合に、車両を安全な場所に移動させて事故を防止する車両安全支援装置および方法を提供する。

解決手段

車両安全支援装置は、運転者をモニタリングする運転者モニタリング部と、車両の外部環境をモニタリングする外部環境モニタリング部と、運転者モニタリング部および外部環境モニタリング部から獲得されたデータに基づいて車両の運転制御権を決定し、運転者から運転制御権を引き継ぐと決定されると、自律走行を行って車両を安全な場所に移動させる制御部と、を含む。

概要

背景

通常、車両は、人に移動便宜性および時間効率性を提供するが、運転者不注意により、運転者はいうまでもなく周辺の人に大きい被害を与える恐れがあるため、その利用に注意が必要である。特に、近年、車両とICT(Information&Communication Technology)の技術融合によって車両が益々知能化、高度化しており、これに伴い、車両内に具現された安全運転支援ステムは、危険状況を認知し、それを運転者に知らせる動作を行う。

従来の車両の安全運転支援システムが危険状況を認知する方式は、通常、外部のセンサレーダカメラなど)を用いて情報を収集し、危険有無(車線離脱衝突予想など)を判断する形態で行われている。また、それを運転者に知らせる方法としては、危険状況を表示装置(例えば、警告灯の点滅など)に表示させたり、音声で案内したりする方法がある。しかしながら、表示装置の点滅や音声案内などによって運転者に警告するシステムは、高速走行による騒音に隠れる場合や前方を注視して運転に集中する場合や居眠り運転をする場合には視・聴覚的に認知しにくい場合が多かった。

米国IIHSの研究でも、車線離脱警告およびアシストシステムは、道路離脱事故などを予防するには十分ではないと結論づけている。

一方、本発明の背景技術は韓国特許登録第10‐0282903号(2000.12.02)の公報に開示されている。

概要

運転者が運転をきちんと行わない場合や、車両をそれ以上コントロールできない場合に、車両を安全な場所に移動させて事故を防止する車両安全支援装置および方法を提供する。車両安全支援装置は、運転者をモニタリングする運転者モニタリング部と、車両の外部環境をモニタリングする外部環境モニタリング部と、運転者モニタリング部および外部環境モニタリング部から獲得されたデータに基づいて車両の運転制御権を決定し、運転者から運転制御権を引き継ぐと決定されると、自律走行を行って車両を安全な場所に移動させる制御部と、を含む。

目的

本発明は、上記のような従来技術の問題点を解決するためになされたものであって、運転者が運転をきちんと行わない場合や、車両をそれ以上コントロールできない場合に、車両を安全な場所に移動させて事故を防止する車両安全支援装置および方法を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

運転者モニタリングする運転者モニタリング部と、車両の外部環境をモニタリングする外部環境モニタリング部と、前記運転者モニタリング部および前記外部環境モニタリング部から獲得されたデータに基づいて車両の運転制御権を決定し、運転者から運転制御権を引き継ぐと決定されると、自律走行を行って車両を安全な場所に移動させる制御部と、を含む、車両安全支援装置

請求項2

前記制御部は、前記運転者モニタリング部から獲得されたデータに基づいて運転者有効性推定し、前記外部環境モニタリング部から獲得されたデータに基づいて交通危険性を推定して、前記推定された運転者有効性および交通危険性に基づいて運転制御権を決定することを特徴とする、請求項1に記載の車両安全支援装置。

請求項3

前記制御部は、車両が即刻の危険状況にあると判断され、且つ運転者による応答がないと、運転者から運転制御権を引き継ぐと決定することを特徴とする、請求項1に記載の車両安全支援装置。

請求項4

前記制御部は、前記即刻の危険状況を脱するための自律走行を行うことを特徴とする、請求項1に記載の車両安全支援装置。

請求項5

運転者による車両制御入力をフィルタリングする運転者入力フィルタリング部をさらに含み、前記制御部は、運転者から運転制御権を引き継ぐと決定されると、前記運転者入力フィルタリング部によって、運転者による車両制御入力を遮断することを特徴とする、請求項1に記載の車両安全支援装置。

請求項6

前記制御部は、前記自律走行を行う時に、車両の非常灯を作動させることを特徴とする、請求項1に記載の車両安全支援装置。

請求項7

前記制御部は、車両を前記安全な場所に移動させた後、通信部によって、助けを要請する信号を送信することを特徴とする、請求項1に記載の車両安全支援装置。

請求項8

前記制御部は、前記外部環境モニタリング部から獲得されたデータに基づいて前記自律走行を行うことを特徴とする、請求項1に記載の車両安全支援装置。

請求項9

前記運転者モニタリング部は、運転者を撮影するカメラステアリングホイール角度センサアクセルペダルセンサ、およびブレーキペダルセンサの少なくとも1つ以上を含むことを特徴とする、請求項1に記載の車両安全支援装置。

請求項10

前記外部環境モニタリング部は、車両の外部を探知するカメラ、レーダ超音波センサの少なくとも1つ以上を含むことを特徴とする、請求項1に記載の車両安全支援装置。

請求項11

制御部が、運転者および車両の外部環境をモニタリングするステップと、前記制御部が、前記モニタリングするステップで獲得されたデータに基づいて運転者有効性および交通危険性を推定するステップと、前記制御部が、前記推定された運転者有効性および交通危険性に基づいて運転制御権を決定するステップと、運転者から運転制御権を引き継ぐと決定されると、前記制御部が、自律走行を行って車両を安全な場所に移動させるステップと、を含む、車両安全支援方法

請求項12

前記運転者から運転制御権を引き継ぐと決定されると、前記制御部が、運転者による車両制御入力を遮断するステップをさらに含むことを特徴とする、請求項11に記載の車両安全支援方法。

請求項13

前記車両を安全な場所に移動させるステップの後、前記制御部が、通信部によって助けを要請する信号を送信するステップをさらに含むことを特徴とする、請求項11に記載の車両安全支援方法。

請求項14

前記モニタリングするステップにおいて、前記制御部は、運転者の身体特徴姿勢、および制御意図の少なくとも1つ以上をモニタリングすることを特徴とする、請求項11に記載の車両安全支援方法。

請求項15

前記モニタリングするステップにおいて、前記制御部は、車両の外部の道路および交通環境をモニタリングすることを特徴とする、請求項11に記載の車両安全支援方法。

技術分野

0001

本発明は、車両安全支援装置および方法に関し、より詳細には、自律走行を用いて運転者の安全を支援する車両安全支援装置および方法に関する。

背景技術

0002

通常、車両は、人に移動便宜性および時間効率性を提供するが、運転者の不注意により、運転者はいうまでもなく周辺の人に大きい被害を与える恐れがあるため、その利用に注意が必要である。特に、近年、車両とICT(Information&Communication Technology)の技術融合によって車両が益々知能化、高度化しており、これに伴い、車両内に具現された安全運転支援システムは、危険状況を認知し、それを運転者に知らせる動作を行う。

0003

従来の車両の安全運転支援システムが危険状況を認知する方式は、通常、外部のセンサレーダカメラなど)を用いて情報を収集し、危険有無(車線離脱衝突予想など)を判断する形態で行われている。また、それを運転者に知らせる方法としては、危険状況を表示装置(例えば、警告灯の点滅など)に表示させたり、音声で案内したりする方法がある。しかしながら、表示装置の点滅や音声案内などによって運転者に警告するシステムは、高速走行による騒音に隠れる場合や前方を注視して運転に集中する場合や居眠り運転をする場合には視・聴覚的に認知しにくい場合が多かった。

0004

米国IIHSの研究でも、車線離脱警告およびアシストシステムは、道路離脱事故などを予防するには十分ではないと結論づけている。

0005

一方、本発明の背景技術は韓国特許登録第10‐0282903号(2000.12.02)の公報に開示されている。

発明が解決しようとする課題

0006

上述のように、従来の安全支援システムは、居眠り運転や不注意運転または衝突危険を運転者に警告する機能を提供していたが、運転者が警告に反応しない場合や、運転をきちんと行うことができない場合には、事故が発生する可能性が高いという問題点が存在した。

0007

本発明は、上記のような従来技術の問題点を解決するためになされたものであって、運転者が運転をきちんと行わない場合や、車両をそれ以上コントロールできない場合に、車両を安全な場所に移動させて事故を防止する車両安全支援装置および方法を提供することをその目的とする。

課題を解決するための手段

0008

本発明による車両安全支援装置は、運転者をモニタリングする運転者モニタリング部と、車両の外部環境をモニタリングする外部環境モニタリング部と、前記運転者モニタリング部および前記外部環境モニタリング部から獲得されたデータに基づいて車両の運転制御権を決定し、運転者から運転制御権を引き継ぐと決定されると、自律走行を行って車両を安全な場所に移動させる制御部と、を含むことを特徴とする。

0009

本発明において、前記制御部は、前記運転者モニタリング部から獲得されたデータに基づいて運転者有効性推定し、前記外部環境モニタリング部から獲得されたデータに基づいて交通危険性を推定して、前記推定された運転者有効性および交通危険性に基づいて運転制御権を決定することを特徴とする。

0010

本発明において、前記制御部は、車両が即刻の危険状況にあると判断され、且つ運転者による応答がないと、運転者から運転制御権を引き継ぐと決定することを特徴とする。

0011

本発明において、前記制御部は、前記即刻の危険状況を脱するための自律走行を行うことを特徴とする。

0012

本発明による車両安全支援装置は、運転者による車両制御入力をフィルタリングする運転者入力フィルタリング部をさらに含み、前記制御部は、運転者から運転制御権を引き継ぐと決定されると、前記運転者入力フィルタリング部によって、運転者による車両制御入力を遮断することを特徴とする。

0013

本発明において、前記制御部は、前記自律走行を行う時に、車両の非常灯を作動させることを特徴とする。

0014

本発明において、前記制御部は、車両を前記安全な場所に移動させた後、通信部によって、助けを要請する信号を送信することを特徴とする。

0015

本発明において、前記制御部は、前記外部環境モニタリング部から獲得されたデータに基づいて前記自律走行を行うことを特徴とする。

0016

本発明において、前記運転者モニタリング部は、運転者を撮影するカメラ、ステアリングホイール角度センサアクセルペダルセンサ、およびブレーキペダルセンサの少なくとも1つ以上を含むことを特徴とする。

0017

本発明において、前記外部環境モニタリング部は、車両の外部を探知するカメラ、レーダ、超音波センサの少なくとも1つ以上を含むことを特徴とする。

0018

本発明による車両安全支援方法は、制御部が、運転者および車両の外部環境をモニタリングするステップと、前記制御部が、前記モニタリングするステップで獲得されたデータに基づいて運転者有効性および交通危険性を推定するステップと、前記制御部が、前記推定された運転者有効性および交通危険性に基づいて運転制御権を決定するステップと、運転者から運転制御権を引き継ぐと決定されると、前記制御部が、自律走行を行って車両を安全な場所に移動させるステップと、を含むことを特徴とする。

0019

本発明による車両安全支援方法は、前記運転者から運転制御権を引き継ぐと決定されると、前記制御部が、運転者による車両制御入力を遮断するステップをさらに含むことを特徴とする。

0020

本発明による車両安全支援方法は、前記車両を安全な場所に移動させるステップの後、前記制御部が、通信部によって助けを要請する信号を送信するステップをさらに含むことを特徴とする。

0021

本発明の前記モニタリングするステップにおいて、前記制御部は、運転者の身体特徴姿勢、および制御意図の少なくとも1つ以上をモニタリングすることを特徴とする。

0022

本発明の前記モニタリングするステップにおいて、前記制御部は、車両の外部の道路および交通環境をモニタリングすることを特徴とする。

発明の効果

0023

本発明による車両安全支援装置および方法は、運転者と外部環境をモニタリングして運転制御権を決定し、運転者から運転制御権を引き継ぐと決定されると、自律走行により車両を安全な場所に移動させることで、車両事故を防止するようにする効果がある。

図面の簡単な説明

0024

本発明の一実施形態による車両安全支援装置の構成を示したブロック構成図である。
本発明の一実施形態による車両安全支援装置の技術概念を説明するための例示図である。
本発明の一実施形態による車両安全支援装置の技術概念を説明するための例示図である。
本発明の一実施形態による車両安全支援装置の技術概念を説明するための例示図である。
本発明の一実施形態による車両安全支援方法を説明するためのフローチャートである。
本発明の一実施形態による車両用運転者危険指数管理システムのブロック図である。
図6に示された周辺環境認識部の詳細構成を示すブロック図である。
図7に示された周囲車両負荷量計算部で、TTCに基づいて区分した3つの危険領域図式的に示した図である。
図8に示された各危険領域内に存在する周囲車両を探知するためのセンサ構成図を示す図である。
図9に示されたセンサ構成により周囲車両を探知した例を示す図である。
本発明の一実施形態による車両用運転者危険指数管理方法を示すフローチャートである。
図7に示された周辺環境認識部の他の実施形態を説明するためのブロック図である。
図12に示された検出領域生成部の詳細構成を示すブロック図である。
本発明の一実施形態による検出領域の最適化方法を示したフローチャートである。
図6に示された運転者状態検知システムの詳細構成を示すブロック図である。
本発明の一実施形態による獲得情報の装置を示す図である。
本発明の一実施形態による運転者の閉眼を確認する方法を説明するための図である。
本発明の一実施形態による走行妨害負荷のうち、運転者の居眠り負荷を説明するためのグラフである。
本発明の一実施形態による走行妨害負荷のうち、運転者の居眠り負荷を説明するためのグラフである。
本発明の一実施形態による走行妨害負荷のうち、運転者の居眠り負荷を説明するためのグラフである。
本発明の一実施形態による走行妨害負荷のうち、運転者の居眠り負荷を説明するためのグラフである。
本発明の一実施形態による走行妨害負荷のうち、運転者の居眠り負荷を説明するためのグラフである。
本発明の一実施形態による走行妨害負荷のうち、運転者の居眠り負荷を説明するためのグラフである。
本発明の一実施形態による運転者の閉眼確認動作を行う手順を示すフローチャートである。
本発明の一実施形態による走行妨害負荷のうち、運転者の注視怠慢負荷を説明するための図である。
本発明の一実施形態による画面出力を例示した図である。
本発明の一実施形態による運転者状態検知方法のフローチャートである。
本発明の一実施形態による状況検知装置の概略的なブロック図である。
本発明の一実施形態による運転者状態検知部の例示図である。
本発明の一実施形態による車両周囲状況検知部の例示図である。
本発明の一実施形態による判断部のブロック図である。
本発明の一実施形態による警告部のブロック図である。
本発明のさらに他の実施形態による状況検知方法の概略的なフローチャートである。
本発明のさらに他の実施形態による運転パターン学習ステップのフローチャートである。
本発明のさらに他の実施形態による加重値決定ステップの状態図である。
本発明のさらに他の実施形態による演算学習ステップのフローチャートである。
本発明のさらに他の実施形態による検討ステップのフローチャートである。
本発明のさらに他の実施形態による警告ステップのフローチャートである。
状況検知方法の詳細なフローチャートである。
状況検知方法の詳細なフローチャートである。
状況検知方法の詳細なフローチャートである。
本発明の一実施形態による運転者状態検知装置の構成を概略的に示したブロック図である。
本発明のさらに他の実施形態による情報獲得部の構成を概略的に示した図である。
本発明のさらに他の実施形態によるECGセンサ、PPGセンサの例示図である。
本発明のさらに他の実施形態によるEEGセンサの例示図である。
本発明のさらに他の実施形態による運転負荷量表示装置の例示図である。
本発明のさらに他の実施形態による運転者状態検知方法を順に示した概略的なフローチャートである。
本発明のさらに他の実施形態による運転者状態検知方法において情報獲得ステップのフローチャートである。
本発明のさらに他の実施形態による運転者状態検知方法において情報獲得ステップのフローチャートである。
本発明のさらに他の実施形態による運転者状態検知方法において演算ステップのフローチャートである。
本発明のさらに他の実施形態による運転者状態検知方法において演算ステップのフローチャートである。
本発明のさらに他の実施形態による運転者状態検知方法において第1警告ステップのフローチャートである。
本発明のさらに他の実施形態による運転者状態検知方法のフローチャートである。
本発明のさらに他の実施形態による運転者状態検知方法のフローチャートである。
本発明のさらに他の実施形態による運転者状態検知方法において、運転者が閉眼していると判断する方法を説明する図である。
本発明のさらに他の実施形態による運転者状態検知方法において、車輪の角度による走行無負荷可視範囲を説明する図である。
本発明のさらに他の実施形態による運転者状態検知方法において、運転者の視野範囲を判断する方法を説明する図である。
本発明のさらに他の実施形態による運転者状態検知方法において、運転者の視野範囲を判断する方法を説明する図である。
本発明のさらに他の実施形態による、ECGを活用した運転者状態判断ステップを含む概略的なフローチャートである。
本発明のさらに他の実施形態による、ECGを活用した運転者状態判断ステップの詳細なフローチャートである。
本発明のさらに他の実施形態による運転者状態検知方法において、運転者の心拍分布度および心拍ヒストグラムから運転者の状態を判断する方法を説明する図である。
本発明のさらに他の実施形態による運転者状態検知方法において、運転者の心拍分布度および心拍ヒストグラムから運転者の状態を判断する方法を説明する図である。
本発明のさらに他の実施形態による、EEGを活用した運転者状態判断ステップを含む概略的なフローチャートである。
本発明のさらに他の実施形態による、EEGを活用した運転者状態判断ステップの詳細なフローチャートである。
本発明のさらに他の実施形態による、EEGを活用した運転者状態判断ステップの詳細なフローチャートである。
本発明のさらに他の実施形態による運転者状態検知方法において、EEGを活用して運転者の状態を判断する方法を説明する概略図である。
脳波周波数領域および特徴を表示した表である。
ベイジアンネットワークを用いて各脳波の周波数範囲探す方法を説明する図である。
本発明のさらに他の実施形態による、ベイジアンネットワークを用いた運転者状態推論ステップの概念図である。
本発明のさらに他の実施形態による、ECG、EEGを活用した運転者状態判断方法の詳細なフローチャートである。
本発明のさらに他の実施形態による、ECG、EEGを活用した運転者状態判断方法の詳細なフローチャートである。
本発明のさらに他の実施形態による、ECG、EEGを活用した運転者状態判断方法の詳細なフローチャートである。
本発明のさらに他の実施形態による、ECG、EEGを活用した運転者状態判断方法の詳細なフローチャートである。
本発明の実施形態による車両安全支援装置の基本アルゴリズムを説明するためのフローチャートである。

実施例

0025

以下、添付図面を参照して、本発明による車両安全支援装置および方法の一実施形態を説明する。この過程で、図面に示された線の厚さや構成要素の大きさなどは、説明の明瞭性と便宜のために誇張されて示されることがある。また、後述の用語は、本発明における機能を考慮して定義された用語であって、これは、使用者運用者の意図または慣例によって変わり得る。したがって、このような用語についての定義は、本明細書の全体にわたる内容に基づいて下されるべきである。

0026

図1は本発明の一実施形態による車両安全支援装置の構成を示したブロック構成図である。

0027

図1に示されたように、本発明の一実施形態による車両安全支援装置は、制御部100と、運転者モニタリング部110と、外部環境モニタリング部120と、通信部130と、GPS140と、運転者入力フィルタリング部150と、を含むことができる。また、制御部100は、運転者有効性推定部101と、交通危険性推定部102と、運転制御権決定部103と、自律走行制御部104と、を含むことができる。

0028

制御部100は、ECU(electronic control unit)などのようなプロセッサ(processor)で構成されることができる。この際、制御部100は、複数のプロセッサを含んで構成される形態であることができる。すなわち、運転者有効性推定部101、交通危険性推定部102、運転制御権決定部103、および自律走行制御部104のそれぞれが個別的なプロセッサで構成されることができる。または、制御部100の機能が1つ以上のプロセッサに分散配置される形態、例えば、運転者有効性推定部101および交通危険性推定部102が単一プロセッサ上に具現される形態で構成されてもよい。この場合、運転者有効性推定部101、交通危険性推定部102、運転制御権決定部103、および自律走行制御部104のそれぞれの機能は、制御アルゴリズムまたはロジッグの形態で構成されることができる。

0029

さらに、制御部100の各機能が車両内に搭載された他のシステム(例えば、ADAS(Advanced Driver Assistance System)、LDWS(Lane Departure Warning System))の一部として具現される形態であってもよい。

0030

運転者モニタリング部110は、運転者の身体特徴、姿勢、制御意図などを監視することができる。運転者モニタリング部110は、上述の機能を担うための種々のセンサおよび装置を含んで構成されることができる。例えば、運転者モニタリング部110は、運転者の身体特徴および姿勢を監視するためのカメラやレーダ、運転者の車両制御意図を監視するためのステアリングホイール角度センサ、アクセルペダルセンサ、ブレーキペダルセンサなどを含むことができる。

0031

その他にも、運転者モニタリング部110は、サスペンション動き検知センサ、マルチファンクション操作有無検知センサ音声認識センサ、AVN操作有無検知センサ、空調装置操作有無検知センサ、ギヤボックスセンサ、コンソールボックス操作有無検知センサ、グローブボックス操作有無検知センサ、ECG(Electrocardiogram)センサ、EEG(Electroencephalogram)センサ、PPG(Photoplethysmography)センサなどのウェアラブル(Wearable)センサを含み、運転者の眼瞼、運転者の瞳孔ステアリングホイールの速度、ステアリングホイールの角度、サスペンションの動きアクセルペダルの作動有無、ブレーキペダルの作動有無、マルチファンクション操作有無、運転者の対話有無、AVN操作有無、空調装置操作有無、ギヤボックス操作有無、コンソールボックス操作有無、グローブボックス操作有無、運転者の心電図、運転者の脳波などをモニタリングすることができる。

0032

外部環境モニタリング部120は、車両の外部の道路および交通環境などを監視することができる。外部環境モニタリング部120は、上述の機能を担うための種々のセンサおよび装置を含んで構成されることができる。例えば、外部環境モニタリング部120は、カメラ、レーダ、超音波センサなどを含んで車両の外部の道路および交通環境などを監視することができる。この際、外部環境モニタリング部120に含まれるカメラとしては、車両に搭載されたAVM(Around View Mode)装置または車両用ブラックボックスなどが採用されることができ、車両に搭載されたADAS、LDWSに含まれているレーダや超音波センサなどが、外部環境モニタリング部120に含まれるセンサおよび装置として採用されることができる。

0033

通信部130は、車両の外部との通信を行うことができるようにする。例えば、通信部130は、CDMA(Code Division Multiple Access)、GSM(Global System for Mobile communications)(登録商標)、WCDMA(Wideband Code Division Multiple Access)(登録商標)、LTE(Long Term Evolution)、WiBro(Wireless Broadband)などの移動通信網や、ワイファイ(Wi‐Fi)などの近距離無線通信またはTPEG(Transport Protocol Expert Group)、TIM(Traffic Information System)、RDS(Radio Data System)、車両用テレマティクス(Telematics)、DSRC(Dedicated Short Range Communication)、WAVE(Wireless Access in Vehicular Environment)など、車両のための通信プラットホームを用いるように構成されることができる。

0034

GPS140は車両の位置情報を受信することができる。すなわち、GPS140は、全地球測位システムを用いて車両の位置に関する情報を受信することができる。

0035

運転者入力フィルタリング部150は、運転者による車両制御入力(例えば、ステアリングホイール操作、アクセルペダル操作ブレーキペダル操作など)をフィルタリングすることができる。すなわち、運転者入力フィルタリング部150は、運転者による車両制御入力が車両内の各装置(ステアリング200、ブレーキ300、非常灯400など)に伝達されることを遮断することができる。

0036

例えば、運転者のステアリングホイール操作が電子制御システム(例えば、MDPS(Motor Driven Power Steering)、EPS(Electric Power Steering))により行われる場合に、運転者入力フィルタリング部150は、前記電子制御システムに制御命令を伝達することができるECUで構成されることができる。この際、運転者入力フィルタリング部150は、別のプロセッサで構成されてもよいが、制御部100を構成するプロセッサに制御ロジッグとして具現されている形態であってもよい。

0037

または、運転者のステアリングホイール操作が機械的な連結(例えば、油圧式パワーステアリング)により行われる場合には、運転者入力フィルタリング部150が油圧の伝達を遮断する構成を含むことができる。

0038

このように、運転者入力フィルタリング部150の構成は、車両の設計仕様などに応じて様々な形態で具現されることができる。但し、その具体的な構成は通常の技術者が適宜設計変更することで具現可能であるため、より詳細な説明は省略する。

0039

制御部100は、本実施形態による車両安全支援装置の各構成の動作を制御することができる。すなわち、制御部100は、運転者モニタリング部110を制御することで、運転者の身体特徴、姿勢、制御意図などを監視するようにすることができ、外部環境モニタリング部120が車両の外部の道路および交通環境などを監視するようにすることができるとともに、通信部130によってデータの送受信を行うことができ、GPS140によって車両の位置情報を獲得し、運転者入力フィルタリング部150のフィルタリング動作を制御することができる。

0040

運転者有効性推定部101は、運転者モニタリング部110により獲得された運転者の身体特徴、姿勢、および制御意図に基づいて運転者有効性(driver availability)を推定することができる。

0041

ここで、運転者有効性は、運転者が車両の制御を有効に行うことができるか否かを示す尺度を意味する。例えば、運転者有効性は、0〜1の間の値を有するように設計され、1に近いほど、運転者が車両の制御を有効に行うことができることを意味し、0に近いほど、運転者が車両の制御を有効に行うことができないことを意味する。但し、このような設計に限定されるものではないため、運転者が車両の制御を有効に行うことができるか否かを示す様々な設計方式が採用可能である。

0042

運転者有効性推定部101は、運転者モニタリング部110により獲得されたデータを、予め設定されたアルゴリズムに入力して運転者有効性を算出することができる。例えば、運転者の瞳孔の大きさや運転者の姿勢などを考慮して、運転者が居眠り運転をしているか否かを判断することができ、運転者が居眠り運転をしていると判断されると、運転者有効性が0に近い値と推定されることができる。

0043

また、運転者有効性推定部101は、運転者の身体特徴として心拍情報を得て、それに基づいて運転者の異常状態を判断するか、あるいは、ステアリングホイールの角度、アクセルペダルやブレーキペダルの入力程度に基づいて運転者の異常な運転制御を判断して、運転者有効性を算出するように構成されてもよい。

0044

その他にも、運転者有効性を推定するための様々な方式のアルゴリズムが適用可能であり、例えば、後述の運転者危険指数、運転者の統合危険指数、運転負荷量などを組み合わせて運転者有効性を推定してもよい。後述の本発明の他の実施形態でさらに様々な方式を説明する。

0045

交通危険性推定部102は、外部環境モニタリング部120により獲得された車両の外部の道路および交通環境に基づいて、展開される交通危険性(traffic hazard)を推定することができる。

0046

ここで、交通危険性は、事故の発生可能性を示す尺度を意味する。例えば、交通危険性は、0〜1の間の値を有するように設計され、1に近いほど、事故が発生する可能性が高いことを意味し、0に近いほど、事故が発生する可能性が低いことを意味する。但し、このような設計に限定されるものではないため、事故の発生可能性を示す様々な設計方式が採用可能である。

0047

交通危険性推定部102は、外部環境モニタリング部120により獲得されたデータを、予め設定されたアルゴリズムに入力して交通危険性を算出することができる。例えば、交通危険性推定部102は、カメラ、レーダ、超音波センサなどを用いて、障害物の検出、交通弱者VRU)の検出、車線の検知、車両の認識、道路エッジの認識、道路表面摩擦の検出などを行い、その結果を総合的に分析して事故の発生可能性を算出することができる。

0048

かかる交通危険性推定部102による交通危険性の推定は、従来の衝突警報システム(Collision warning system)で用いられているアルゴリズムなどを適用して行われることができ、後述の本発明の他の実施形態でさらに様々な方式を説明する。

0049

運転制御権決定部103は、推定された運転者有効性および交通危険性に基づいて運転制御権を決定することができる。すなわち、運転制御権決定部103は、運転者の制御によって車両の運転を続くべきであるか、それとも車両の運転制御権を運転者から引き継ぎ、自律走行を行うべきであるかを決定することができる。

0050

運転制御権決定部103は、推定された運転者有効性および交通危険性を、予め設定されたアルゴリズムに適用して運転制御権を決定することができる。例えば、運転制御権決定部103は、推定された運転者有効性が臨界値以下である場合や、推定された交通危険性が臨界値以上である場合に、車両の運転制御権を運転者から引き継いで自律走行を行うべきであると決定するか、推定された運転者有効性と推定された交通危険性を組み合わせた結果に応じて車両の運転制御権を決定することができる。但し、このようなアルゴリズムに限定されるものではないため、車両の運転制御権を決定するための様々な方式が用いられることができる。

0051

車両の運転制御権を運転者から引き継いで自律走行を行うべきであると決定されると、自律走行制御部104は、車両内の各装置(ステアリング200、ブレーキ300、非常灯400など)を制御して自律走行を行うことができる。

0052

自律走行制御部104は、運転者が運転をきちんと行わない場合や、車両をそれ以上コントロールできない場合に、事故を防止して運転者を保護するために、自律走行により車両を安全な場所に移動させることができる。

0053

そのために、自律走行制御部104は、近い安全な場所の確認、安全な場所までの経路設定車線変更計画、道路離脱制御衝突回避制御、非常運転などを含む走行計画樹立し、車線追跡、車線変更、道路離脱、停止などの走行制御を行うことで車両を安全な場所に移動させることができる。

0054

この際、自律走行制御部104は、外部環境モニタリング部120により獲得される情報、GPS140により獲得される位置情報、地図情報などを活用して自律走行を行うことができ、自律走行に係る公知または非公知の様々な技術を用いて自律走行を行うことができる。

0055

また、車両が移動されるべき安全な場所は、地図情報に含まれていることができる。

0056

一方、自律走行制御部104が自律走行を行う時に、制御部100は、運転者入力フィルタリング部150を制御して運転者による車両の制御を遮断することで、自律走行のみにより車両が安全に移動することができるようにする。

0057

自律走行制御部104は、車両の自律走行の時に、非常走行を知らせるために車両の非常灯400を作動させることができる。

0058

自律走行制御部104は、車両が道路を離脱して安全な場所に位置した時に車両を停車させ、制御部100は、通信部130によって助けを要請(例えば、119に危急状況を知らせるメッセージを自動で伝送)することができる。

0059

一実施形態において、制御部100は、車両が即刻の危険状況にあると判断され、且つ運転者による応答がないと、運転者から運転制御権を引き継ぐと決定することができる。

0060

即刻の危険状況としては、車線離脱状況、交差点接近状況、他の車両との衝突状況が挙げられる。即刻の危険状況を判断するための基準は、制御部100に予め設定されていることができる。また、本発明による交通危険性の推定に用いられるアルゴリズム、従来の車線離脱検出システムで用いられるアルゴリズム、従来の追従警告システムで用いられるアルゴリズムなどが、即刻の危険状況を判断するための基準として用いられることができる。これに加え、制御部100は、GPSおよび地図情報を用いて、車両が交差点接近状況にあるかを判断することができる。

0061

制御部100は、それぞれの即刻の危険状況に対応する車両の制御が運転者により行われない際に、運転者による応答がないと決定することができる。例えば、車両を車線に戻す制御、他の車両を避けるための緊急制動や、交差点を通過する制御が、それぞれの即刻の危険状況に対応して行われるべきである。

0062

したがって、制御部100は、車両が即刻の危険状況にある時に運転者による応答がないと、即刻の危険状況を脱することができるように、運転者から走行制御を引き継ぎ、それぞれの即刻の危険状況に対応する車両の制御を行うことができる。すなわち、即刻の危険を無くすために、車両は「復旧(recovery)」または「救助(rescue)」の機動を行うことができる。

0063

図2から図4は、本発明の一実施形態による車両安全支援装置の技術概念を説明するための例示図である。

0064

図2から図4に示されたように、本発明の一実施形態による車両安全支援装置は、様々なデータ検出アルゴリズム適用を行うことで、運転者による運転の適正性をモニタリングし、運転者による運転制御を維持する際に事故の危険があると判断されると、運転者の入力をフィルタリングして、自律走行により車両を安全な場所に移動させる。これにより、車両事故を防止することができる。

0065

図5は、本発明の一実施形態による車両安全支援方法を説明するためのフローチャートである。

0066

図5に示されたように、制御部100は運転者および外部環境をモニタリングする(S10)。すなわち、制御部100は、上述の運転者モニタリング部110によって、運転者の身体特徴、姿勢、制御意図などをモニタリングすることができ、外部環境モニタリング部120によって、車両の外部の道路および交通環境などをモニタリングすることができる。

0067

次に、制御部100は、前記ステップ(S10)のモニタリング結果に基づいて運転者有効性および交通危険性を推定する(S20)。すなわち、制御部100は、前記ステップ(S10)により獲得された運転者の身体特徴、姿勢、および制御意図に基づいて運転者有効性を推定し、車両の外部の道路および交通環境に基づいて、展開される交通危険性を推定することができる。

0068

前記ステップ(S20)の後、制御部100は、前記ステップ(S20)で推定された運転者有効性および交通危険性に基づいて運転制御権を決定する(S30)。すなわち、制御部100は、前記ステップ(S20)で推定された運転者有効性および交通危険性に基づいて、運転者の制御によって車両の運転を続くべきであるか、それとも車両の運転制御権を運転者から引き継ぎ、自律走行を行うべきであるかを決定することができる。

0069

運転者から運転制御権を引き継ぐと制御部100によって決定されると(S40のY)、制御部100は、運転者入力をフィルタリングし(S50)、自律走行により車両を安全な場所に移動させる(S60)。すなわち、制御部100は、運転者入力を遮断し、自律走行のみによって車両が制御されるようにするとともに、近い安全な場所の確認、安全な場所までの経路設定、車線変更計画、道路離脱制御、衝突回避制御、非常運転などを含む走行計画を樹立し、車線追跡、車線変更、道路離脱、停止などの走行制御を行うことで、車両を安全な場所に移動させることができる。

0070

その後、制御部100は、車両を停車させ、助けを要請する(S70)。すなわち、制御部100は、車両が道路を離脱して安全な場所に位置した時に、車両を停車させ、通信部130によって助けを要請(例えば、119に危急状況を知らせるメッセージを自動で伝送)することができる。

0071

これに対し、運転者の運転制御権を維持すると決定されると(S40のN)、制御部100は、前記ステップ(S10)に戻って運転者および外部環境のモニタリングから引き続き行う。

0072

以下では、上述の運転者有効性の推定、交通危険性の推定、運転制御権の決定、および自律走行などを行うのに適用可能な実施形態を説明する。下記実施形態で説明される構成の一部、全部、またはその組み合わせは、上述の制御部100、運転者モニタリング部110、外部環境モニタリング部120、通信部130、GPS140、運転者入力フィルタリング部150、運転者有効性推定部101、交通危険性推定部102、運転制御権決定部103、および自律走行制御部104を具現するか、各構成に含まれている制御ロジッグまたはアルゴリズムを具現するために活用されることができるであろう。また、後述の実施形態において、運転者に危険状況や不注意を警告することとともに、車両の運転制御権を運転者から制御部100に変更する制御が行われることができ、警告のレベルに応じて運転制御権が決定される形態で車両安全支援装置および方法が設計されてもよい。

0073

車両安全システム(車両安全支援装置)は、周辺環境認識システムと、車両制御システムと、に分けられる。周辺環境認識システムは、周辺環境を正確に認識し、認識した周辺環境情報を前記車両制御システムに提供する。車両制御システムは、前記周辺環境情報を用いて車両を安全に制御する。

0074

周辺環境認識システムは、走行中に発生する様々な情報が処理できるべきである。したがって、周辺環境認識システムには、高い計算量と多くの下位システムが要求される。かかる計算量を効率的に調節するための多くの研究が進行されている。

0075

以下の実施形態を例示的な図面を用いて詳細に説明する。

0076

図6は、本発明の一実施形態による車両用運転者危険指数管理システムのブロック図である。

0077

図6を参照すると、本発明の一実施形態による車両用運転者危険指数管理システムは、正確な運転性向を分析し、それに相応する運転者危険指数(または周囲危険指数)を計算する。計算された結果は、様々な形態の情報として運転者に提供され、運転者に運転危険状況を報知する。

0078

このような本発明の一実施形態による車両用運転者危険指数管理システムは、車両内の各種センサにより、自車の現在走行状況自車周辺の現在走行状況をリアルタイムで検知し、検知された結果が反映された正確な運転性向に基づいて車両の運転危険状況を判断する。すなわち、本発明の一実施形態による車両用運転者危険指数管理システムは、一人の運転性向に基づいて学習された過去走行パターンから運転者の運転性向を把握するのではなく、各種センサによってリアルタイムで獲得されて確保された情報に基づいて運転性向を把握する。

0079

したがって、従来の運転性向を把握する方法に比べて、正確な運転性向をリアルタイムで反映することができる。このような正確な運転性向を本発明の運転者危険指数管理システムに反映する場合、正確な運転者危険状況を運転者に提供することで、安全な運転を図ることができる。

0080

そのために、本発明の一実施形態による車両用運転者危険指数管理システム1100は、内部センサ1110と、外部センサ1120と、周辺環境認識部1130と、走行状況検知インタフェース1140と、運転者状態検知システム1160と、出力部1150と、を含む。

0081

内部センサ1110は自車の走行状況を検知し、自車走行情報を生成する。ここで、自車走行情報は、車速情報11‐1、ヨーレート情報11‐3、操舵角情報11‐5、加速度情報11‐7、およびホイールスピード情報11‐9などを含むことができる。

0082

したがって、内部センサ1110は、車速情報11‐1を獲得する車速センサ1110‐1、ヨーレート情報11‐3を獲得するヨーレートセンサ1110‐3、操舵角情報11‐5を獲得する操舵角センサ1110‐5、およびホイールスピード情報11‐9を獲得するホイールスピードセンサ1110‐9などを含むことができる。

0083

外部センサ1120は、自車の周辺状況を検知して周辺環境情報を生成する。ここで、周辺環境情報は、前/後方レーダ情報12‐1、前/後方映像情報12‐3、側方超音波情報12‐5、AVM(Around View Monitoring)映像情報12‐7、およびナビゲーション情報12‐9などを含むことができる。

0084

したがって、外部センサ1120は、前/後方レーダ情報12‐1を獲得する前/後方レーダ1120‐1、前/後方映像情報12‐3を獲得する前/後方カメラ1120‐3、側方超音波情報12‐5を獲得する側方超音波1120‐5、AVM映像情報12‐7を獲得するAVM用カメラ1120‐7、およびナビゲーション情報12‐9を獲得するナビゲーション(NAV)1120‐9を含むことができる。

0085

周辺環境認識部1130は、前記内部センサ1110から提供された自車走行情報と前記外部センサ1120から提供された周辺環境情報を用いて軌跡負荷量を計算し、それに基づいて運転者危険指数(または周囲危険指数)を管理する。これについての具体的な説明は、下記の図7を参照して詳細に説明する。

0086

走行状況検知インタフェース1140は、運転者状態検知システム1160から提供された運転者状態情報に前記運転者危険指数を反映した運転者危険状況を運転者に提供するために、前記出力部1150とインタフェシングする。

0087

出力部1150は、前記運転者状態情報に反映された前記運転者危険指数を視覚的または聴覚的な情報の形態で出力して運転者に提供する。そのために、出力部1150は、スピーカ1150‐1、AVN1150‐3、HUD1150‐5、およびこれらの組み合わせからなる特定の出力手段などとして具現されることができる。

0088

本発明の一実施形態では、単に運転者に運転危険指数を知らせるのに止まらず、横方向制御開始時点を調整するために、前記運転者危険指数が車両内の各種制御システム、例えば、エンジン制御システム1150‐7、制動制御システム1150‐9、および操舵制御システム1150‐11に伝達される。したがって、出力部1150は、エンジン制御システム1150‐7、制動制御システム1150‐9、および操舵制御システム1150‐11をさらに含む構成であると解釈され得る。

0089

運転者状態検知システム1160は、運転者の居眠り運転状態などのような運転状態を検知するシステムであって、これについての具体的な内容は、図15から図22を参照して後述する。

0090

以下、図7を参照して、図6に示された周辺環境認識部について詳細に説明する。

0091

図7は、図6に示された周辺環境認識部の詳細構成を示すブロック図である。

0092

図7を参照すると、周辺環境認識部1130は、上述のように、前記内部センサ1110から提供された自車走行情報と前記外部センサ1120から提供された周辺環境情報を用いて軌跡負荷量を計算し、それに基づいて運転者危険指数(または周囲危険指数)を管理する。より正確な運転者危険指数管理のために、周辺環境認識部1130は、軌跡負荷量の他に、周囲車両負荷量および道路負荷量をさらに考慮して運転者危険指数を管理することができる。

0093

そこで、システム負荷と運転者危険指数との間のトレードオフを考慮して、軌跡負荷量のみを考慮する場合と、軌跡負荷量と周囲車両負荷量のみを考慮する場合と、軌跡負荷量と道路負荷量のみを考慮する場合とに区分して、様々な運転者危険指数の算出設計が可能である。

0094

図7の実施形態は、軌跡負荷量、周囲車両負荷量、および道路負荷量を全て考慮した運転者危険指数管理を行う例示図にすぎず、本発明がこれに限定されるものではないことに留意すべきである。

0095

図7の実施形態による周辺環境認識部1130は、自車走行軌跡生成部1130‐1と、周囲車両軌跡生成部1130‐3と、軌跡負荷量計算部1130‐5と、周囲車両負荷量計算部1130‐7と、道路負荷量計算部1130‐9と、運転者危険指数管理部1130‐11と、を含む。

0096

自車走行軌跡生成部1130‐1は、内部センサ1110からの自車走行情報に含まれた車速情報、操舵角情報、加減速情報、およびヨーレート情報を用いて、自車走行軌跡13‐1を予測(獲得または生成)する。さらに、自車走行軌跡生成部1130‐1は、外部センサ1120からの周辺環境情報に含まれたナビゲーション情報、例えば、走行道路情報を用いて、前記予測された自車走行軌跡13‐1を補正する。図7では、外部センサ1120からのナビゲーション情報の提供を受ける信号の流れを示す矢印を表示していない。

0097

周囲車両軌跡生成部1130‐3は、外部センサ1120からの周辺環境情報に含まれた前/後方レーダ情報12‐1、映像情報12‐3および12‐7、および側方超音波情報12‐5を用いて、周囲車両走行軌跡13‐3を予測(獲得または生成)する。

0098

前記前/後方レーダ情報12‐1を獲得するための前/後方レーダセンサ1120‐1は、物体判別の正確性にはやや劣るが、正確な距離情報縦方向)を獲得することができる。

0099

これに比べて、前記映像情報12‐3および12‐7を獲得するためのカメラ1120‐3および1120‐7は、単眼映像を獲得するため、距離情報(縦方向)の正確性には劣るが、高い物体判別および正確な横方向情報を得ることができる利点がある。

0100

したがって、周囲車両軌跡を得るために、ターゲット車両モデル式において、縦方向の距離情報は前/後方レーダ1120‐1を用いて獲得し、横方向距離情報は前/後方カメラ1120‐3、AVMカメラ1120‐7、および側方超音波1120‐5を用いて獲得する。

0101

下記の数学式1は、周囲車両軌跡を予測するために、周囲車両軌跡生成部1130‐3で用いる車両モデル式を示したものである。

0102

0103

ここで、x、Vx、y、Vyはターゲット車両の状態変数であって、x、yは、ターゲット車両の位置であり、映像カメラから測定される。Vx、Vyはターゲット車両の速度である。Aは車両モデル式、Hは測定値モデル式であって、状態変数は、x軸方向への距離、速度、y軸方向への距離、速度を示す。システムノイズおよび測定値ノイズホワイトガウシアン仮定する。

0104

軌跡負荷量計算部1130‐5は、前記周囲車両軌跡13‐3と前記自車走行軌跡13‐1との差である軌跡距離と、予め設定された臨界値と、の比較結果を示す軌跡負荷量(WTrj)を計算する。

0105

自車走行軌跡13‐1と周囲車両軌跡13‐3を予測して衝突危険がある場合、これは運転者にとって高い注意が要されることであるため、これを軌跡負荷量(WTrj)と示すことができる。

0106

したがって、軌跡負荷量(WTrj)は自車走行軌跡13‐1および周囲車両軌跡13‐3を用いて、下記の数学式2のように計算する。

0107

0108

ここで、DTrjは自車軌跡であり、TTrjは周囲車両軌跡である。そして、iは、探知された周囲車両であって、1、2、…、nである。

0109

上記の数学式1によると、軌跡負荷量(WTrj)は、探知された周囲車両の軌跡と自車の軌跡とを比較し、軌跡距離が臨界値(Threshold)よりも低い場合には1、高い場合には0と設定される。

0110

周囲車両負荷量計算部1130‐7は、周辺環境情報から前/後/側方の車両数と車線変更有無を把握し、それを用いて周囲車両負荷量(WS)を計算する。運転中に自車の周辺に車両があり、その車両の軌跡の変化が激しいと、これは、運転者にとって注意が要される負荷量として作用し得る。

0111

周囲車両負荷量計算部1130‐7により行われる周囲車両負荷量の計算では、衝突所要時間(Time To Collision:TTC)に基づいて、自車を中心として図8に示されたように3つの危険領域(SECTION1、SECTION2、およびSECTION3)に区分する。ここで、TTCは、対象車両接近速度(closing speed)が一定である時に、対象車両が目標車両ぶつかるまでかかる時間と定義される。このようなTTCは、内部センサ1110の車速センサ1110‐1および操舵角センサ1110‐5からそれぞれ獲得された車速情報11‐1および操舵角情報11‐5を用いて求めることができる。

0112

例えば、図9および図10に示されたように、前/後方レーダ1120‐1による探知領域43、47、前/後方カメラ1120‐3による探知領域41、側方超音波1120‐5により探知された探知領域45でそれぞれ探知された自車10の周囲車両20、30、40、50を認識し、TTC値として、探知された車両との相対距離相対速度値で除した時間を計算することで、危険領域(SECTION1、2、および3)を求めることができる。

0113

3つの危険領域(SECTION1、2、および3)が区分されると、周囲車両負荷量計算部1130‐7は、区分された各領域で探知された車両の数と車線変更有無を判断して周囲車両負荷量(WS)を計算する。

0114

計算された周囲車両負荷量(WS)は、SECTION1で探知された車両が多いほど、車線変更が多いほど増加する。

0115

反対に、周囲に探知された車両が殆どないか、あるとしてもSECTION3にある場合、そして周囲車両の軌跡変化激しくない場合、周囲車両負荷量(WS)は減少する。

0116

このような周囲車両負荷量(WS)は、下記の数学式3で表されることができる。

0117

0118

ここで、α、βはweighting Factorであり、sは探知された車両の位置(SECTION1、2、および3)であり、Lは探知された周囲車両の車線変更有無である。ここで、変更がある場合には1、ない場合には0とする。探知された車両は1〜nで表示する。

0119

道路負荷量計算部1130‐9は、前記周辺環境情報に含まれた道路の形態、道路の路面状態、および交通量状態を用いて道路負荷量を計算する。例えば、外部センサのうち超音波、レーダ、ライダ、映像情報を用いて近距離道路負荷の計算に反映することができ、外部センサのうちvehicle‐to‐vehicle、vehicle‐to‐infrastructureを用いて遠距離道路負荷の計算に反映することができる。直線路よりは曲線路で、一般路よりは交差点部分で、そして前方の交通状況が悪いほど運転者の注意が要求されるため、このような道路負荷量の計算が必要である。

0120

道路負荷量計算部1130‐9は、車両内のナビゲーション1120‐9から獲得されたナビゲーション情報12‐9を用いて、走行すべき前方道路の形態を把握し、前/後方カメラ1120‐3から獲得された道路の路面状態情報を反映する(舗装道路非舗装道路)。計算は下記の数学式4で表されることができる。

0121

0122

ここで、Aは道路状態を示す値である。例えば、Aは、前方道路の曲率値が大きいほど大きい値を有し、信号灯の変化、歩行者速度制限スクールゾーンの場合に大きい値を有することになる。Bは道路の路面状態値であって、舗装道路、非舗装道路を反映し、Cは前方道路の交通量であって、交通量が多いほど大きい値を有する。このようなA、B、Cは、何れも0〜5の範囲に正規化されることができる。

0123

運転者危険指数管理部1130‐11は、各ステップで計算された負荷量(WTrj、WS、WR)を統合した運転者危険指数(周囲危険指数)を運転者に提供する。例えば、運転者危険指数管理部1130‐11は、前記軌跡負荷量(WTrj)、前記周囲車両負荷量(WS)、および前記道路負荷量(WR)を合算し、合算された結果値を前記運転者危険指数として生成する。生成された運転者危険指数が高すぎる場合(例えば、予め設定された指数よりも高い場合)、それは走行状況検知インタフェース1140を介してエンジン制御システム1150‐7、制動制御システム1150‐9、および操舵制御システム1150‐11などに伝達され、運転者の運転機能を制限するように、エンジン動作制動動作、および操舵動作を制限する。

0124

反対に、生成された運転者危険指数が低い場合(例えば、予め設定された指数よりも低い場合)、運転者危険指数は、スピーカ1150‐1、AVN1150‐3、およびHUD1150‐5を介して視覚的および/または聴覚的な情報の形態に変換されて運転者に提供される。

0125

運転者危険指数は、下記の数学式5で表されることができる。

0126

0127

図11は、本発明の一実施形態による車両用運転者危険指数管理方法を示すフローチャートである。

0128

図11を参照すると、先ず、S1110で、自車走行軌跡を生成する過程が行われ、S1112で、生成された自車走行軌跡に基づいて自車の位置を予測する過程が行われる。このような自車走行軌跡は、車速情報、操舵角情報、加減速情報、およびヨーレート情報を用いて生成されることができる。

0129

次に、S1114で、周囲車両軌跡を生成する過程が行われ、S1116で、周囲車両の位置を予測する過程が行われる。このような周囲車両軌跡は、レーダから獲得された縦方向距離情報と、カメラおよび超音波発生器により獲得された横方向距離情報を用いて生成されることができる。ここで、縦方向距離情報は、自車に対する周囲車両の縦方向距離情報であり、横方向距離情報は、自車に対する周囲車両の横方向距離情報である。

0130

次に、S1118で、軌跡負荷量を計算する過程が行われる。このような軌跡負荷量は、自車走行軌跡と周囲車両走行軌跡を用いて計算されることができる。例えば、探知された周囲車両の走行軌跡と自車走行軌跡とを比較し、それらの差である軌跡距離が臨界値よりも低い場合には1、臨界値よりも高い場合には0と設定される。

0131

次に、S1120で、周囲車両負荷量を計算する過程が行われる。周囲車両負荷量は、TTCに基づいて自車を中心として区画された多数の危険領域毎の車両数および車線変更有無を考慮して計算される。多数の危険領域は、レーダとカメラ、超音波を用いて周囲車両を認識し、TTC値として、探知された車両との相対距離を相対速度値で除した時間を計算することで、多数の危険領域を求めることができる。

0132

次に、S1122で、道路負荷量を計算する過程が行われる。道路負荷量は、ナビゲーション情報、道路の路面状態情報、交通情報などを用いて計算されることができる。

0133

次に、S1124で、運転危険指数を計算する過程が行われる。運転危険指数は、軌跡負荷量、周囲車両負荷量、および道路負荷量の合算より計算されることができる。

0134

次に、S1126で、計算された運転危険指数と臨界値とを比較する過程が行われる。運転危険指数が臨界値以上である場合には、S1128で、その臨界値の大きさに応じて、段階毎に運転者に運転危険状況を警告する。ここで、S1126で、運転危険指数が臨界値未満である場合には、S1110〜S1124の一連の過程を再び行う。

0135

S1130で、運転危険状況を指示する運転危険指数が、車両内のスピーカ、HUD、およびAVNを介して運転者に提供される過程が行われる。

0136

図12は、図7に示された周辺環境認識部の他の実施形態を説明するためのブロック図である。

0137

図12を参照すると、本発明の他の実施形態による周辺環境認識部1130は、最適化されたセクション領域(以下、検出領域)を検出し、最適化された検出領域内で周辺環境を認識する。

0138

図6に示されたカメラセンサ1120‐3、1120‐7を用いて周辺物体を検知する場合、物体の映像を直接撮影するため、検知した物体が衝突を回避する必要のある障害物であるか否かを判断することができる可能性が大きい。

0139

しかし、画面解像度および視野のため、障害物が識別可能な程度の映像を撮影することができる距離に限界がある。また、映像のみでは物体との距離を検知しにくいことがある。

0140

図6に示されたレーダセンサ1120‐1または不図示のライダセンサは、比較的遠距離にある物体を検知することができる利点がある。しかし、物体の映像を直接検知するのではなく、ノイズの影響を受けやすい。そのため、検知した物体が、衝突を回避する必要のある障害物であるか、ノイズであるかを判断することが容易ではない。また、周辺物体の移動を追跡する場合、センサが物体の移動に追従できず、目標物を逃してしまう場合がある。

0141

そこで、車両周辺対象物体のうち実際の障害物を正確に識別できるように、対象物体が含まれる検出領域を最適化する必要がある。

0142

そのために、本発明の他の実施形態による周辺環境認識部1130は、検出領域生成部をさらに含むように構成されることができる。

0143

図13は、図12に示された検出領域生成部の詳細構成を示すブロック図である。

0144

図13に示されたように、本発明の一実施形態による検出領域を最適化する検出領域生成部1132は、遠隔センサ1132‐1と、目標追跡部1132‐3と、トラック管理部1132‐5と、格納部1132‐9と、を含む。

0145

遠隔センサ1132‐1は、車両周辺の物体の位置を検知して検出信号を出力する。この際、遠隔センサ1132‐1は、ライダセンサ、レーダセンサ、およびカメラセンサの少なくとも1つ以上であることができる。

0146

目標追跡部1132‐3は、検出信号に基づいて障害物を識別し、前記識別した障害物に対応する位置推定値誤差共分散を含むトラックを生成することで、位置を追跡する。

0147

一般に、センサの誤差を克服し、移動する物体の位置を検知するために、カルマンフィルタが用いられている。

0148

カルマンフィルタは、物体の位置に対する推定値を、以前時間の物体の位置に対する推定値および物体の位置の測定値により算出することを繰り返すことで、物体の位置測定において生じる誤差を相殺し、正確な物体の位置を推定する技法である。この際、先ず、以前時間までの物体の位置に対する推定値を用いて、以前時間までの測定値のみを用いた現在時間の推定値を算出する。

0149

その後、以前時間までの測定値のみを用いた現在時間の推定値を、以前時間までの測定値のみを用いて算出した現在時間の共分散および現在時間の物体の位置の測定値を用いて補正することで、現在時間の物体の位置の推定値を算出する。

0150

目標追跡部1132‐3は、検出信号が示す物体の位置に基づいて、前記トラックの数と各トラックに対応する障害物の初期位置および検出領域を設定する。この際、障害物の初期位置および検出領域は、次の数学式6で表されるカルマンフィルタを用いて算出することができる。

0151

この際、



は、時間k−1までの情報を用いて推定した時間kでの物体の状態値の推定値を示し、



は、時間k−1までの情報を用いて推定した時間k−1での物体の状態値の推定値を示し、



は、時間k−1までの情報を用いて推定した時間kでの物体の位置の推定値を示す。

0152

ここで、各トラックは、遠隔センサ1132‐1が検知した特定の物体を追跡するためのカルマンフィルタを含むことができる。すなわち、トラック毎に追跡する障害物の位置に対する推定値および測定値によって位置を補正するための誤差の共分散を含み、時間毎に算出された推定値、測定値、および共分散はヒストリとして格納部1132‐9に格納されることができる。

0153

トラックに含まれるカルマンフィルタの構成は、次の数学式10で表されることができる。

0154

0155

前記数学式10中、x(k)は時間kでの物体の状態値を示し、F(k−1)は時間k−1から時間kへの転換時の変化を示す状態転換モデルであり、z(k)は時間kでの物体の位置を示し、H(k)は物体の状態から物体の位置への変換を示す観察モデルであり、v(k−1)は時間k−1での処理ノイズ、w(k)は時間kでの測定ノイズを意味する。また、P(k|k)は、時間kまでの情報を考慮して算出した時間kでのカルマンフィルタの誤差の共分散を意味し、P(k|k−1)は、時間k−1までの情報を考慮して算出した時間kでのカルマンフィルタの誤差の共分散を意味する。Q(k−1)は、時間k−1での予想共分散を示す。

0156

目標追跡部1132‐3は、検出信号が示す物体の位置が、トラックに対応する検出領域に含まれるか否かを、物体位置の測定値と予測値の誤差および誤差の共分散に基づいて判断する。

0157

この際、目標追跡部1132‐3は、現在トラックに含まれたカルマンフィルタの状態値に応じて検出領域の範囲を設定し、検出領域に含まれている測定値を用いてカルマンフィルタの状態値を更新する。目標追跡部1132‐3は、先ず、物体の位置の測定値および物体の位置の予測値に基づいて残差を算出し、カルマンフィルタに含まれた推定誤差の共分散および観察モデルに基づいて残差共分散を算出して、残差および残差共分散に基づいて物体が検出領域に入るかを判断する。

0158

ここで、検出領域は、残差共分散を分散として有するガウシアン確率分布において特定の確率値以下を示す領域と設定され、このような確率値をゲート確率と言う。したがって、残差共分散を算出してゲート確率値を設定することで検出領域を算出することができ、残差共分散とゲート確率値は、カルマンフィルタにより時間が経過するにつれて最適化されるため、時間の経過につれて検出領域を最適化することができる。

0159

残差および残差共分散の算出方法と物体が検出領域に含まれる条件は、次の数学式11で表されることができる。

0160

0161

前記数学式11中、v(k,i)は時間kでの物体iの残差を示し、z(k,i)は物体iの位置の測定値を示す。また、P(k|k−1)はカルマンフィルタの推定誤差の共分散を示し、R(k)は時間kでの測定ノイズを示し、S(k)は時間kでの測定ノイズを示す。rは検出領域の範囲を示す。

0162

トラック管理部1132‐5は、検出領域に含まれる物体に対応するトラックに含まれた位置推定値および検出信号に基づいて、トラックに含まれた位置推定値を更新する。

0163

この際、トラック管理部1132‐5は、前記位置推定値を更新するためにカルマンゲインを推定誤差の共分散および残差共分散に基づいて算出し、カルマンゲイン、物体の位置測定値、および以前時間までの情報を用いて推定した位置の推定値に基づいて、現在時間までの情報を用いて推定した位置推定値を算出する。位置推定値の更新は、次の数学式12で表されることができる。

0164

0165

前記数学式12中、K(k)はカルマンゲインを示す。上記のように、トラック管理部1132‐5が位置推定値を時間の経過につれて測定値を考慮して更新することで、より正確な位置推定値を求めることができる。

0166

トラック管理部1132‐5は、第1トラックに含まれた物体位置推定値と、第2トラックに含まれた物体位置推定値との間の距離が、予め設定された基準値未満である場合、格納部1132‐9に格納されたヒストリに基づいて第1トラックおよび第2トラックを初期化する。

0167

格納部1132‐9は、トラックが更新されるヒストリを格納する。この際、格納部に格納されるヒストリには、トラックに含まれるカルマンフィルタの各時間に対する位置推定値および測定値と推定誤差の共分散値が含まれることができる。

0168

上記のように位置推定値を更新する場合、場合によっては、2つのトラックが示す物体が衝突し得る。トラックが示す物体の位置推定値が予め格納された基準値未満に減少する場合、トラック管理部1132‐5は、2つのトラックが示す物体が衝突すると判断し、衝突する両トラックのヒストリに含まれているデータに基づいてトラックを初期化することができる。

0169

また、トラック管理部1132‐5は、トラックに含まれた全ての物体位置推定値が、トラックに対応する検出領域に含まれない場合、格納部に格納されたトラックのヒストリに基づいて前記トラックを初期化する。すなわち、トラックが追跡する物体が全て検出領域の外に出されたか、ノイズまたはエラーと判断されてトラックが追跡する物体がなくなる場合、トラックが物体の追従に失敗したことであるため、トラック管理部1132‐5はトラックを初期化して新しい物体を追従するようにすることができる。

0170

上述のように、カルマンフィルタを用いてトラックが移動する障害物を追従し、この際、物体を追従するトラックが追従に失敗した場合や、2つのトラックが互いに衝突する場合、トラックを初期化して新しい物体を追従するようにすることで、周辺状態探知システム物体識別性能を向上させることができる。

0171

以上のように、目標追跡部1132‐3およびトラック管理部1132‐5が障害物を追従して生成および更新されるトラックに含まれたデータは車両制御部1132‐7に伝達され、車両が障害物を回避するか、運転者に警報を発するように車両を制御するのに用いられることができる。

0172

図14は、本発明の一実施形態による検出領域の最適化方法を示したフローチャートである。

0173

図14を参照すると、先ず、目標追跡部1132‐3が、遠隔センサ1132‐1が物体の位置を検知して出力する検出信号に基づいて識別した障害物に対応する位置推定値と誤差の共分散を含むトラックを生成する(S1410)。

0174

この際、上述のように、遠隔センサは、ライダセンサまたはレーダセンサの少なくとも1つ以上であることができる。

0175

また、目標追跡部1132‐3が生成するトラックは、位置推定値および誤差の共分散を含むカルマンフィルタを含む。この際、トラックに含まれるカルマンフィルタの構成は、前記数学式1および数学式2についての説明で説明したとおりである。

0176

その後、目標追跡部1132‐3は、トラックに対して障害物を検出する範囲である検出領域を算出する(S1420)。

0177

この際、検出領域の大きさは、前記検出信号が示す物体の位置に基づいて初期値と設定されることができる。また、検出領域は、残差共分散を分散として有するガウシアン確率分布においてゲート確率値以下を示す領域と設定されることができる。

0178

次に、目標追跡部1132‐3が、検出信号のうち、検出信号が示す物体の位置が前記検出領域に含まれる有効な検出信号を選択する(S1430)。

0179

上述のように、検出信号は、車両の周辺探索システムが追跡する物体の位置の測定値を含み、目標追跡部1132‐3は、このような測定値のうち検出領域に含まれる有効な測定値を選択し、カルマンフィルタをアップデートして物体を追跡するのに用いるようにする。

0180

この際、目標追跡部1132‐3は、検出信号が示す物体の位置がトラックに対応する検出領域に含まれるか否かを、物体位置の測定値と予測値の誤差および誤差の共分散に基づいて判断する。

0181

目標追跡部1132‐3は、現在トラックに含まれたカルマンフィルタの状態値に応じて検出領域の範囲を設定し、検出領域に含まれている測定値を用いてカルマンフィルタの状態値を更新する。ここで、目標追跡部1132‐3は、先ず、物体の位置の測定値および物体の位置の予測値に基づいて残差を算出し、カルマンフィルタに含まれた推定誤差の共分散および観察モデルに基づいて残差共分散を算出して、残差および残差共分散に基づいて、物体が検出領域に入るかを判断する。残差および残差共分散の算出方法と物体が検出領域に含まれる条件は、前記数学式3で表されたとおりである。残差共分散とゲート確率値は、カルマンフィルタにより時間が経過するにつれて最適化されるため、時間の経過につれて検出領域を最適化することができる。

0182

次に、トラック管理部1132‐5が、第1トラックに含まれた物体位置推定値と、第2トラックに含まれた物体位置推定値との間の距離が、予め設定された基準値未満である場合には、格納部1132‐9に格納されたトラックのヒストリに基づいて第1トラックおよび第2トラックを初期化する(S1440)。

0183

格納部1132‐9に格納されるヒストリには、トラックに含まれるカルマンフィルタの各時間に対する位置推定値および測定値と推定誤差の共分散値が含まれることができる。

0184

上記のように位置推定値を更新する場合、場合によっては、2つのトラックが示す物体が衝突し得る。トラックが示す物体の位置推定値が予め格納された基準値未満に減少する場合、トラック管理部1132‐5は、2つのトラックが示す物体が衝突すると判断し、衝突する両トラックのヒストリに含まれているデータに基づいてトラックを初期化することができる。

0185

次に、トラック管理部1132‐5が、前記選択された検出信号および前記検出領域に物体の位置が含まれる物体に対応するトラックに含まれた位置推定値を更新する(S1450)。

0186

この際、トラック管理部1132‐5は、前記位置推定値を更新するために、カルマンゲインを推定誤差の共分散および残差共分散に基づいて算出し、カルマンゲイン、物体の位置測定値、および以前時間までの情報を用いて推定した位置の推定値に基づいて、現在時間までの情報を用いて推定した位置推定値を算出する。位置推定値の更新は、前記数学式4で表されたとおりである。

0187

その後、トラック管理部1132‐5が、トラックに含まれた全ての物体位置推定値がトラックに対応する検出領域に含まれない場合、格納部に格納されたトラックのヒストリに基づいてトラックを初期化(S1460)し、プロセスを終了する。

0188

すなわち、トラックが追跡する物体が全て検出領域の外に出されるか、ノイズまたはエラーと判断されてトラックが追跡する物体がなくなる場合、トラックが目標の追従に失敗したことであるため、トラック管理部1132‐5はトラックを初期化して新しい物体を追従するようにすることができる。

0189

上述のように、カルマンフィルタを用いてトラックが移動する障害物を追従し、物体を追従するトラックが追従に失敗した場合や、2つのトラックが互いに衝突する場合、トラックを初期化して新しい物体を追従するようにすることで、周辺状態探知システムの物体識別性能を向上させることができる。

0190

以上のような方法により生成および更新されるトラックに含まれたデータは車両制御部1132‐7に伝達され、車両が障害物を回避するか、運転者に警報を発するように車両を制御するのに用いられることができる。

0191

このように、本実施形態による車両制動などの制御装置および方法によると、車両の周辺状態探知システムが障害物として検知するために追跡する関心領域を示す有効ゲートを動的に更新し、車両周辺の障害物を正確に追跡することで、ライダまたはレーダセンサのみを用いて正確に位置追跡可能な障害物までの距離を延長し、事故危険を防止することができる。

0192

図15は、本発明の実施形態による運転者状態検知システムのブロック図である。示されたように、運転者状態検知システム1160は、獲得部1161と、制御部1163と、出力部1165と、を含む。

0193

獲得部1161は、車両の走行操作情報および運転者の不注意状態情報を獲得するための構成である。この際、獲得部1161は、走行操作検知部1161Aおよび不注意状態検知部1161Bを含み、それぞれによって走行操作情報および運転者の不注意状態情報を獲得することができる。

0194

中で、走行操作検知部1161Aは、車両が走行するために必須に動作する制御ユニットの操作を検知するための構成であって、車両の電子制御ユニット(Electronic Control Unit、ECU)や、電子制御ユニット内の別のモジュールであることができる。

0195

走行操作検知部1161Aは、アクセルペダル操作検知部d1、ブレーキペダル操作検知部d2、マルチファンクション操作検知部d3、操舵ハンドル操作検知部d4などの多数の操作検知部を含むことができる。

0196

図16の(a)に示されたように、走行操作検知部1161Aに含まれた多数の操作検知部は、車両の走行のための操作を検知し、アクセルペダル(ACCpad)操作、ブレーキペダル(Break pad)操作、マルチファンクションスイッチ(Multi function S/W)操作、操舵ハンドル(Steering wheel)操作の少なくとも1つの項目の走行操作を検知する。

0197

さらに、走行操作検知部1161Aは、手動変速車両のクラッチペダル操作または変速器操作項目をさらに含む走行操作情報を獲得することができる。この際、走行操作検知部1161Aは、車両の速度を確認し、車両の速度が一定の速度(例えば、10km/h)以上である場合に、走行操作情報を獲得することができる。

0198

一例として、走行操作検知部1161Aは、所定時間の間に、一定時間毎に運転者によって操作されるアクセルペダルの作動回数(nA)を検知する。例えば、走行操作検知部1161Aは、200msの間に、50ms毎にアクセルペダルが作動(ON)するかを持続的に確認する。

0199

同様に、走行操作検知部1161Aは、ブレーキペダルおよびクラッチペダルが一定時間毎に操作される作動回数(それぞれ、nB、nC)も検知することができる。

0200

他の例として、走行操作検知部1161Aは、所定時間の間に運転者によって操作されるマルチファンクションの各スイッチの作動回数(nM)を検知する。ここで、マルチファンクションスイッチとは、車両のワイパー方向指示灯などのような車両ランプを動作させるためのスイッチであることができる。例えば、走行操作検知部1161Aは、200msの間にマルチファンクションスイッチが操作する動作回数カウントする。

0201

さらに他の例として、走行操作検知部1161Aは、所定時間の間に運転者によって操作されるステアリングホイールの角速度(nθ)を検知する。この際、走行操作検知部1161Aは、別に角速度を測定するのではなく、所定時間の間に一定時間毎にステアリングホイールの角変化量を測定して角速度を算出することができる。例えば、走行操作検知部1161Aは、200msの間に、50ms毎にステアリングホイールの角変化量を測定して角速度を算出することができる。

0202

不注意状態検知部1161Bは、車両の走行時に付加的に動作される制御ユニットの操作および運転者の動作を検知するための構成であって、オーディオ信号入力検知部T1、空調信号入力検知部T2、ナビゲーション信号入力検知部T3などのような多数の検知部を含むことができる。

0203

また、不注意状態検知部1161Bは、運転者の動作(Visual Factor、Verbal Factor)を検知するために、居眠り指数測定部P、視線方向測定部E、および音声検知部Vを含むことができる。このような不注意状態検知部1161Bに含まれた多数の検知部および測定部は、図7に例示されたように、車両の所定位置に具現され、周辺機器操作、運転者の顔映像、運転者の音声の少なくとも1つの項目の情報を用いて不注意状態情報を獲得することができる。

0204

一例として、不注意状態検知部1161Bは、車両走行中に運転者によって周辺機器が操作される回数(nT)を検知することができる。ここで、周辺機器は、車両用AVN(Audio、Video、Navigation)、車両空調装置などのように、車両走行において必須な装置ではないが、運転者の便宜や車両の室内環境のために操作され得る車両制御ユニットであることができる。例えば、不注意状態検知部1161Bは、車両が所定速度(例えば、10km/h)以上で走行する中に、一定時間(例えば、200ms)の間に運転者によって操作される周辺機器の動作スイッチ入力回数を検知して不注意状態情報として獲得することができる。

0205

他の例として、不注意状態検知部1161Bは、車両内の所定位置に取り付けられたマイクにより、運転者の音声を検知することができる。例えば、不注意状態検知部1161Bは、マイクから一定時間の間に受信される音声データのパルスの大きさ(音声の大きさ)および音声発生時間を確認することができる。好ましくは、不注意状態検知部1161B は、メモリーに予め格納されたパルス臨界値を用いて、所定時間(例えば、200ms)の間にパルス臨界値以上のパルスの大きさの音声データが受信される時間を検知して不注意状態情報として獲得することができる。

0206

さらに他の例として、不注意状態検知部1161Bは、車両の所定位置に取り付けられたカメラにより運転者の顔映像を受信し、運転者の閉眼情報および注視怠慢情報を獲得することができる。この際、カメラは、昼間および夜間に映像が記録可能であるように、図16の(b)のように近赤外線LED(Near Infrared LED)を含むことができる。

0207

好ましくは、不注意状態検知部1161Bは、運転者の顔映像から運転者の目領域映像を別に抽出することができる。この際、映像処理によって運転者の顔映像から目領域映像が抽出されることができる。すなわち、不注意状態検知部1161Bは、カメラから獲得される運転者の顔映像および前記顔映像に含まれた目領域映像を用いて、運転者の閉眼および注視怠慢などの不注意状態情報を獲得することができる。

0208

不注意状態検知部1161Bは、運転者の顔映像から抽出される目領域映像を用いて、運転者の閉眼情報を獲得することができる。

0209

図17を参照すると、不注意状態検知部1161Bは、目領域映像から眼瞼領域を検知し、眼瞼の角度である∠Aと∠Bとの和が、予め設定された所定の臨界角度値である∠C以下(∠A+∠B≦∠C)である場合、運転者が閉眼していると確認する。

0210

不注意状態検知部1161Bは一定時間毎に眼瞼の角度を確認して運転者の閉眼回数を検知し、所定時間の間における閉眼回数と一定時間値を演算することで、運転者の居眠り時間(居眠り指数)を獲得することができる。例えば、不注意状態検知部1161Bは、1秒内250ms区間に分けて閉眼回数を測定(カウント)し、カウントが3である場合、運転者の閉眼時間(居眠り時間)を750msと獲得することができる。

0211

また、不注意状態検知部1161Bは、運転者の顔映像および前記顔映像に含まれた目領域映像を用いて、運転者の注視怠慢情報を獲得することができる。

0212

図20を参照すると、注視怠慢の範囲は、ステアリングホイールの角度ではなく、車輪の角度、すなわち、車両中央における車輪の変化角度量(図20の(a)のθAもしくはθB)に基づいて、車両走行時に負荷のない可視距離(η)に運転者の視野範囲があるか否か(視線方向)を確認することで、注視怠慢情報を獲得する。視野範囲は、カメラから獲得される運転者の顔映像から顔の角度(図20の(b)のα)を算出した後、目領域映像で瞳の位置(瞳孔の方向)(図20の(c)のβ)を測定することで確認することができる。

0213

具体的に、不注意状態検知部1161B は、ステアリングホイール角度所定角度以内で、変速器のレバーがD位置またはN位置である場合、運転者の視線が走行無負荷可視範囲a、bに一定時間以上進入されないと、注視怠慢と判断するとともに、その時間を確認して注視怠慢情報を獲得することができる。例えば、不注意状態検知部1161Bは、車両の速度が10Km以上で、変速器のレバーがDまたはN位置であるときに、ステアリングホイール角度が15°以内である場合、1.5秒以上運転者の視線が走行無負荷可視範囲a、bに進入されないと、車両前方に対する注視怠慢と判断することができる。

0214

制御部1163は、運転者状態検知システム1160の全般的な動作を行う構成であって、電子制御ユニットであることができる。例えば、制御部1163はDWC(Driving Workload Compute Unit)と称することができる。

0215

具体的に、制御部1163は、獲得部1161から獲得された走行操作情報および不注意状態情報を用いて走行操作負荷量および走行妨害負荷量を計算する。

0216

また、走行操作負荷量と走行妨害負荷量を互いに比較して運転者の安全運転状態を判断し、判断結果、安全運転状態ではないと判断されると、警告情報が出力されるように出力部1165を制御する。

0217

先ず、制御部1163は、獲得部1161から獲得された走行操作情報および不注意状態情報を用いて走行操作負荷量および走行妨害負荷量を計算する。

0218

一例として、制御部1163は、獲得部1161の走行操作検知部1161Aから獲得される走行操作情報を用いて走行操作負荷量(Wd)を計算する。

0219

具体的に、制御部1163は、走行操作検知部1161Aから獲得される走行操作情報と、走行操作情報の項目毎の加重値をメモリーから呼び出して走行操作負荷量を計算する。

0220

ここで、加重値は、予め様々な実験によって走行操作情報の項目毎に抽出され、予め設定された値であることができる。または、加重値は、作業者によって項目毎に任意に予め設定された値であることができる。また、メモリーは、データを格納するための格納手段であって、不揮発性メモリーであることができる。

0221

好ましくは、制御部1163は、走行操作情報に含まれた項目およびその項目に対応する加重値を用いて、各項目に対する負荷量を計算することができる。例えば、獲得部1161からアクセルペダル操作、ブレーキペダル操作、マルチファンクションスイッチ操作、および操舵ハンドル操作の走行操作情報が獲得される場合、制御部1163は、メモリーからアクセルペダル操作に対する加重値(DA)、ブレーキペダル操作に対する加重値(DB)、マルチファンクションスイッチ操作に対する加重値(DM)、および操舵ハンドル操作に対する加重値(θ)をメモリーから呼び出すことができる。

0222

もし、獲得部1611で、200msの間に50ms単位で各項目の時間および回数情報が獲得される場合、制御部1163により計算される200msの間の走行操作負荷量(Wd)は、数学式13のように表されることができる。

0223

0224

このような走行操作情報に含まれた各項目は、場合によって加減されることができる。もし、車両の種類によって、走行操作情報にクラッチペダル操作および変速器操作が含まれた場合、制御部1163は、クラッチペダル操作に対する加重値および変速器操作に対する加重値をさらに考慮して走行操作負荷量を計算することができる。

0225

他の例として、制御部1163は、獲得部1611の不注意状態検知部1161Bから獲得される不注意状態情報を用いて走行妨害負荷量(Wi)を計算する。具体的に、制御部1163は、不注意状態検知部1161Bから獲得される不注意状態情報に含まれた各項目に対する負荷量を求めることができ、求められた各項目の負荷量を合算して走行妨害負荷量を計算することができる。

0226

制御部1163は、獲得部1161の不注意状態検知部1161Bから獲得される周辺機器操作の回数を用いて周辺機器操作負荷量(T(n))を算出することができる。

0227

例えば、制御部1161は、メモリーに予め格納された周辺機器操作に対する加重値をさらに考慮して周辺機器操作負荷量を計算することができる。もし、獲得部1161で、200msの間における運転者による周辺機器操作の入力回数を獲得する場合、制御部1163は、周辺機器操作入力回数と加重値を演算して周辺機器操作負荷量(T(n))を算出することができる。

0228

さらに、制御部1163は、獲得部1161の不注意状態検知部1161Bから獲得される運転者の音声データを用いて音声負荷量(V(n))を算出することができる。具体的に、制御部1163は、メモリーに格納された音声データのパルス臨界値を考慮して音声負荷量を計算することができる。例えば、制御部1163は、獲得部1161の不注意状態検知部1161Bから一定時間(例えば、200ms)の間に獲得される運転者の音声データにおいてパルス臨界値以上の音声データが受信される時間を演算して音声負荷量(V(t))を算出することができる。

0229

また、制御部1163は、獲得部1161の不注意状態検知部1161Bにより獲得される不注意状態情報のうち閉眼情報および注視怠慢情報を用いて居眠り負荷量(P(t))および走行注視怠慢負荷量(E(t))を算出することができる。

0230

図18のグラフを参照すると、運転者が知覚状態である時には非常に安定していてグラフの変動幅が狭いのに対し、居眠り状態である時のPERCLOS値は変化が非常に激しく、全体的な数値が知覚状態に比べて高く現われる。ここで、PERCLOS値は数学式14のように表されることができる。

0231

0232

図18のグラフに基づいて、制御部1163により、PERCLOSの値が所定パーセント(30%)以上と確認される場合、すなわち、不注意状態検知部1161Bにより、所定時間(例えば、250秒)を基準として一定時間(例えば、約75秒)運転者が閉眼していると確認される場合、制御部1163は、車両警報音が出力されるように出力部1165を制御する。これは、居眠り運転が車両走行中における最も高い危険要素であるため、一定時間以上運転者が閉眼していると確認されると、運転者が居眠り運転中であると判断し、警報音が即刻出力されて運転者に警告するためである。

0233

この際、制御部1163は、図19のフローチャートを参照して運転者の閉眼確認動作を行うことができる。

0234

具体的に、制御部1163は、車両速度(V)が所定速度以上(例えば、V≧10Km/h)であるか否かを判断する(S1910)。所定速度以上であると判断されると、制御部1163は、不注意状態検知部1161B により、所定の測定時間(N)の間に一定時間(x)(例えば、250msまたは0.25sで示す)毎に眼瞼の角度から閉眼の回数(y)を確認して、運転者の閉眼時間(居眠り時間)を算出することができる。

0235

制御部1163は、眼瞼の角度が∠A+∠B≦∠Cであるか否かを判断する(S1920)。眼瞼の角度が∠A+∠B≦∠Cであると、閉眼していると判断し、閉眼回数をカウント(y++)する(S1930)。

0236

制御部1163は、一定時間(x)毎に閉眼回数(y)をカウントし(x+=0.25、y++)、1秒間における閉眼回数が3回(x=1、y=3)であると(S1940)、換算因子(P)値をカウント(P++)し、1秒ずつ増やしながら(N++)、上記の過程を繰り返す(S1450)。

0237

もし、250秒の測定時間以内に換算因子(P)が100以上になると(S1960)、制御部1163は、警告(WARNING)イベントを発生するように出力部1165を制御する(S1970)。この際、制御部1163は、換算因子(P)値を99に変更し、測定時間(N)を1秒減少させた後(P=99、N−=1)、上記の過程を繰り返して行い、運転者の閉眼時間(居眠り時間)を算出することができる。さらに、制御部1163は、一定時間の間にERCLOS値が30%以上である場合を確認し、居眠り負荷量(P(t))を算出することができる。

0238

また、制御部1163は、不注意状態検知部1161Bで獲得される注視怠慢情報を用いて注視怠慢負荷量(E(t))を算出する。

0239

図20の(a)に示されたように、視野範囲が走行無負荷可視距離(η)を外れると、外れた範囲によって負荷因子(V)の因子値が変わり得る。

0240

外れた範囲(a´、b´)は予め設定されており、現在運転者の視野範囲が該当する範囲毎に負荷因子の因子値をメモリーから呼び出して注視怠慢負荷量(E(t))を算出することができる。

0241

制御部1163は、算出された周辺機器操作負荷量(T(n))、音声負荷量(V(t))、居眠り負荷量(P(t))、および注視怠慢負荷量(E(t))を演算し、走行妨害負荷量(Wi)として計算することができる。

0242

また、車両の状態および場合によっては、不注意状態情報を用いて獲得された負荷量のうち走行妨害負荷量の計算に考慮されない負荷量があってもよい。

0243

制御部1163は、走行負荷量(Wd)と走行妨害負荷量(Wi)を互いに比較して運転者の安全運転状態を判断する。

0244

具体的に、制御部1163は、走行負荷量(Wd)から走行妨害負荷量(Wi)を引いた値が、予め設定された余裕負荷量(Wl)以下である場合、運転者が安全運転状態ではないと判断する。ここで、余裕負荷量(Wl)は、走行負荷量、走行情報変速ギア状態、車両加速度操舵進行など)から被実験者の条件に応じた実験によって抽出されてメモリーに予め格納された値であり、走行条件によって可変(Wd∝Wl)され得る。すなわち、運転者の運転状態が安全運転状態であると判断されるためには、下記の数学式15の条件を満たすべきである。

0245

0246

ここで、tは時間値であり、nは回数値である。

0247

出力部1165は、画面出力および警報音出力のための構成であって、液晶表示装置(LCD)およびスピーカを含む。好ましくは、出力部1165は、図21の(b)のように、クラスタを介して画面と警報音を出力することができる。または、出力部1165はオーディオディスプレイを介して画面出力することもできる。さらに、出力部1165は、制御部1163の安全運転状態判断結果およびその結果値を図21の(a)のように、棒グラフ形式で画面に表示することができる。この際、棒グラフは様々な色で表示されることができる。

0248

例えば、制御部1163は、走行負荷量と走行妨害負荷量との差による現在の負荷量の情報を棒グラフで画面表示するように出力部1165を制御することができる。

0249

具体的に、制御部1163により計算された走行負荷量(Wd)と走行妨害負荷量(Wi)との差を余裕負荷量(Wl)で除した結果値(C)を棒グラフのパーセント単位で示すことができる。

0250

もし、車両走行が困難となる瞬間を75%と予め設定した場合、制御部1163は、結果値(C)が75%以上であると、棒グラフの色を赤色で表示するように出力部1165を制御することができ、棒グラフが点滅されるように出力部1165を制御することで、運転者に車両走行の危険を想起させることができる。

0251

また、この場合、制御部1163は、警報音が出力されるように出力部1165を制御することで、運転者に警告することができる。

0252

結果値(C)が75%未満である場合には、棒グラフが緑色で表示され、運転者に安全な状態であることを報知することができる。

0253

さらに、制御部1163は、走行負荷量(Wd)と走行妨害負荷量(Wi)との差を余裕負荷量(Wl)で除した結果値(C)が一定水準(例えば、85%)以上である場合、車両走行の安全には差し支えのないAVNの電源強制的にオフ(OFF)させることができる。

0254

尚、制御部1163は、出力部1165によって出力される警報音の音量を、結果値(C)の累乗に比例するように高めることで、運転者に走行危険を強く警告することができる。

0255

このように、車両走行に伴って発生する走行負荷量と、周辺機器および運転者の居眠りなどのように走行に妨害となる走行妨害負荷量とを比較して運転者の安全運転状態を確認し、車両運転に妨害となる負荷量が高い場合に運転者に警告するとともに、場合によっては、車両走行において必須ではない要素(例えば、周辺機器)の動作を強制的に停止させ、車両運転に妨害となる走行妨害負荷量を減少させることで、運転者が安全運転できるようにする効果を奏する。

0256

図22は、本発明の実施形態による運転者状態検知方法のフローチャートである。

0257

先ず、運転者状態検知システム1160は走行操作情報および運転者の不注意状態情報を獲得する(S2210)。

0258

具体的に、運転者状態検知システム1160は、車両走行において必須な走行制御ユニットの走行操作を検知して走行操作情報を獲得する。

0259

例えば、運転者状態検知システム1160は、アクセルペダル(ACCpad)操作、ブレーキペダル(Break pad)操作、マルチファンクションスイッチ(Multi functionS/W)操作、操舵ハンドル(Steering wheel)操作の少なくとも1つの項目の走行操作を検知して走行操作情報を獲得する。この際、運転者状態検知システム1160は、車両の速度を確認し、車両の速度が一定速度(例えば、10km/h)以上である場合に走行操作情報を獲得することができる。

0260

一例として、運転者状態検知システム1160は、所定時間の間に一定時間毎に運転者によって操作されるアクセルペダルの作動回数(nA)を検知する。これと同様に、運転者状態検知システム1160は、ブレーキペダルおよびクラッチペダルが一定時間毎に操作される作動回数(それぞれ、nB、nC)も検知することができる。

0261

他の例として、運転者状態検知システム1160は、所定時間の間に運転者によって操作されるマルチファンクションの各スイッチの作動回数(nM)を検知する。ここで、マルチファンクションスイッチとは、車両のワイパー、方向指示灯などのような車両ランプを動作させるためのスイッチである。

0262

さらに他の例として、運転者状態検知システム1160は、所定時間の間に運転者によって操作されるステアリングホイールの角速度(nθ)を検知する。この際、運転者状態検知システム1160は、別に角速度を測定するのではなく、所定時間の間に一定時間毎にステアリングホイールの角変化量を測定して角速度を算出することができる。

0263

さらに、運転者状態検知システム1160は、車両走行中に選択的に運転者によって制御される周辺機器、運転者の音声および顔情報を用いて不注意状態情報を獲得する。

0264

一例として、運転者状態検知システム1160は、車両走行中に運転者によって周辺機器が操作される回数(nT)を検知することができる。ここで、周辺機器は、車両用AVN(Audio、Video、Navigation)、車両空調装置などのように、車両走行において必須な装置ではないが、運転者の便宜や車両の室内環境のために操作され得る車両制御ユニットである。

0265

他の例として、運転者状態検知システム1160は、車両内の所定位置に取り付けられたマイクによって運転者の音声を検知することができる。例えば、運転者状態検知システム1160は、マイクから一定時間の間に受信される音声データのパルスの大きさ(音声の大きさ)および音声発生時間を確認することができる。

0266

さらに他の例として、運転者状態検知システム1160は、車両の所定位置に取り付けられたカメラによって運転者の顔映像を受信し、運転者の閉眼情報および注視怠慢情報を獲得することができる。この際、カメラは、昼間および夜間に映像が記録可能であるように、図16の(b)のように、近赤外線LED(Near Infrared LED)を含むことができる。

0267

好ましくは、運転者状態検知システム1160は、運転者の顔映像から運転者の目領域映像を別に抽出することができる。この際、運転者の顔映像が映像処理されて目領域映像が抽出されることができる。すなわち、運転者状態検知システム1160は、カメラから受信される運転者の顔映像および目領域映像を用いて、運転者の閉眼情報および注視怠慢情報などの不注意状態情報を獲得することができる。

0268

運転者状態検知システム1160は、運転者の顔映像から抽出される目領域映像を用いて、運転者の閉眼情報を獲得することができる。図8を参照すると、運転者状態検知システム1160は、目領域映像から眼瞼領域を検知し、眼瞼の角度である∠Aと∠Bとの和が、予め設定された所定の臨界角度値である∠C以下(∠A+∠B≦∠C)である場合、運転者が閉眼していると確認する。

0269

運転者状態検知システム1160は、一定時間毎に眼瞼の角度を確認して運転者の閉眼回数を検知し、所定時間の間における閉眼回数と一定時間値を演算することで、運転者の閉眼情報(居眠り時間)を獲得することができる。

0270

また、運転者状態検知システム1160は、運転者の顔映像および目領域映像を用いて、運転者の注視怠慢情報を獲得することができる。

0271

図20を参照すると、注視怠慢の範囲は、ステアリングホイールの角度ではなく、車輪の角度、すなわち、車両中央における車輪の変化角度量(図20の(a)のθAもしくはθBのような例示)に基づいて、車両走行時に負荷のない可視距離(η)に運転者の視野範囲があるか否かを確認することで注視怠慢情報を獲得する。ここで、視野範囲は、カメラから獲得される運転者の顔映像から顔の角度(図20の(b)のα)を算出した後、目領域映像で瞳の位置(瞳孔の方向)(図20の(c)のβ)を測定することで確認することができる。

0272

具体的に、ステアリングホイールの角度が所定角度以内で、変速器のレバーがD位置またはN位置である場合、運転者の視線が走行無負荷可視範囲(a、b)に一定時間以上進入されないと、運転者状態検知システム1160は注視怠慢と判断するとともに、その時間を確認して注視怠慢情報を獲得することができる。

0273

運転者状態検知システム1160は、ステップS2210で獲得された走行操作情報および不注意状態情報を用いて走行操作負荷量および走行妨害負荷量を計算する(S2220)。

0274

一例として、運転者状態検知システム1160は、走行操作情報を用いて走行操作負荷量(Wd)を計算する。具体的に、運転者状態検知システム1160は、走行操作情報と、走行操作情報の項目毎の加重値をメモリーから呼び出して走行操作負荷量を計算する。

0275

ここで、加重値は、予め様々な実験により、走行操作情報の項目毎に抽出されて予め設定された値である。または、加重値は、予め作業者によって項目毎に任意に予め設定された値であってもよい。

0276

好ましくは、運転者状態検知システム1160は、走行操作情報に含まれた項目およびその項目に対応する加重値を用いて、各項目に対する負荷量を計算することができる。例えば、運転者状態検知システム1160は、アクセルペダル操作、ブレーキペダル操作、マルチファンクションスイッチ操作、および操舵ハンドル操作の走行操作情報が獲得される場合、予め格納されているアクセルペダル操作に対する加重値(DA)、ブレーキペダル操作に対する加重値(DB)、マルチファンクションスイッチ操作に対する加重値(DM)、および操舵ハンドル操作に対する加重値(θ)を呼び出すことができる。もし、200msの間に、50ms単位で走行操作情報に含まれた各項目の時間および回数情報が獲得される場合、200msの間の走行操作負荷量(Wd)は、数学式13のように表さることができる。

0277

他の例として、運転者状態検知システム1160は、不注意状態情報を用いて走行妨害負荷量(Wi)を計算する。具体的に、運転者状態検知システム1160は、不注意状態情報に含まれた各項目に対する負荷量を求めることができ、求められた各項目の負荷量を合算して走行妨害負荷量を計算することができる。

0278

運転者状態検知システム1160は、周辺機器操作の回数を用いて周辺機器操作負荷量(T(n))を算出することができる。例えば、運転者状態検知システム1160は、予め格納された周辺機器操作に対する加重値をさらに考慮して周辺機器操作負荷量を計算することができる。もし、所定時間の間に運転者による周辺機器操作の入力回数を獲得する場合、運転者状態検知システム1160は、周辺機器操作入力回数と加重値を演算して周辺機器操作負荷量(T(n))を算出することができる。

0279

さらに、運転者状態検知システム1160は、運転者の音声データを用いて音声負荷量(V(n))を算出することができる。具体的に、運転者状態検知システム1160は、予め格納された音声データのパルス臨界値を考慮して音声負荷量を計算することができる。例えば、運転者状態検知システム1160は、所定時間の間に獲得される運転者の音声データにおいてパルス臨界値以上の音声データが受信される時間を演算することで音声負荷量(V(t))を算出することができる。

0280

また、運転者状態検知システム1160は、不注意状態情報のうち閉眼情報および注視怠慢情報を用いて、居眠り負荷量(P(t))および走行注視怠慢負荷量(E(t))を算出することができる。

0281

この際、運転者状態検知システム1160は、図19のフローチャートを参照して運転者の閉眼確認動作を行うことができ、車両速度(V)が所定速度以上である際に、所定時間(N)の間に一定時間(x)毎に眼瞼の角度から閉眼回数(y)を確認することで、運転者の閉眼時間(居眠り時間)を算出することができる。さらに、一定時間の間にPERCLOS値が30%以上である場合をカウント(P)した値を負荷因子として換算することで、居眠り負荷量(P(t))を算出することができる。

0282

また、運転者状態検知システム1160は、不注意状態情報のうち注視怠慢情報を用いて、注視怠慢負荷量(E(t))を算出する。図20のように、視野範囲が走行無負荷可視距離(η)を外れると、外れた範囲によって負荷因子(V)の因子値が変わり得る。図20の(a)を外れた範囲(a´およびb´)は予め設定されており、現在運転者の視野範囲が該当する範囲毎に負荷因子の因子値をメモリーから呼び出して注視怠慢負荷量(E(t))を算出することができる。

0283

運転者状態検知システム1160は、このように算出された周辺機器操作負荷量(T(n))、音声負荷量(V(t))、居眠り負荷量(P(t))、および注視怠慢負荷量(E(t))を演算し、走行妨害負荷量(Wi)として計算することができる。

0284

運転者状態検知システム1160は、走行操作負荷量(Wd)と走行妨害負荷量(Wi)との差と余裕負荷量(Wl)とを比較する(S2230)。

0285

具体的に、運転者状態検知システム1160は、走行負荷量(Wd)から走行妨害負荷量(Wi)を引いた値が、予め設定された余裕負荷量(Wl)以下であるかを確認する。ここで、余裕負荷量(Wl)は、走行負荷量、走行情報(変速ギア状態、車両加速度、操舵進行など)から被実験者の条件に応じた実験により抽出されてメモリーに予め格納されている値であり、走行条件によって可変(Wd∝Wl)され得る。この際、運転者状態検知システム1160は、走行負荷量(Wd)と走行妨害負荷量(Wi)との差を余裕負荷量(Wl)で除した結果値(C)を算出することができる。

0286

もし、車両走行が困難となる瞬間が臨界パーセント値で予め設定されていて、ステップS2230の比較結果値(C)が臨界パーセント値以上である場合には、運転者状態検知システム1160は運転者に警告する(S2240)。

0287

車両走行が困難となる瞬間が75%と予め設定されていて、ステップS2230の比較結果値(C)が75%以上であると、運転者状態検知システム1160は運転者に警告する。例えば、運転者状態検知システム1160は、現在の負荷量を示す棒グラフの色を赤色で画面表示し、さらには棒グラフを点滅することで、運転者に車両走行の危険を想起させることができる。また、このような場合、運転者状態検知システム1160は警報音を出力して運転者に警告することができる。

0288

もし、ステップS2230の比較結果値(C)が75%未満である場合には、運転者状態検知システム1160は、現在の負荷量を示す棒グラフを緑色で表示し、運転者に安全な状態であることを報知することができる(S2250)。

0289

このように、車両走行に伴って発生する走行負荷量と、周辺機器および運転者の居眠りなどのように走行に妨害となる走行妨害負荷量とを比較して運転者の安全運転状態を確認し、車両運転に妨害となる負荷量が高い場合に運転者に警告するとともに、場合によっては、車両走行において必須ではない要素(例えば、周辺機器)の動作を強制的に停止させ、車両運転に妨害となる走行妨害負荷量を減少させることで、運転者が安全運転できるようにする効果を奏する。

0290

上述のように、本実施形態は、運転性向が互いに異なる複数の運転者によって車両が走行される場合、運転者毎に異なる運転パターンや運転状況を考慮せずに学習することで発生していた運転者性向認識不良を除去する。

0291

また、本実施形態は、逆光およびトンネル進出入の時に、横方向制御時における車線未認識の問題点を除去することで、横方向制御機の可用範囲を拡大する。

0292

また、本実施形態は、これから開発される統合無人車両制御機にも適用可能である。

0293

図23は本発明の一実施形態による状況検知装置の概略的なブロック図であり、図24は運転者状態検知部の例示図であり、図25は車両周囲状況検知部の例示図であり、図26は判断部のブロック図であり、図27は警告部のブロック図である。

0294

本発明の一実施形態による車両搭載の状況検知装置は、検知部2010と、運転パターン学習部2020と、加重値決定部2030と、判断部2040と、警告部2050と、メモリー部2060と、を含む。前記検知部2010、運転パターン学習部2020、加重値決定部2030、判断部2040、警告部2050、メモリー部2060は、互いにブルートゥース(Bluetooth)(登録商標)、ジグビー(ZigBee)、ワイファイ(WIFI)などを用いて無線で連結されてもよく、RS‐232、RS‐485、CANなどを用いて有線で連結されてもよい。

0295

運転者状態検知部2011は、車両の走行情報、車両の操作情報、および運転者の状態情報を獲得するための構成であって、車両の走行情報は、例えば、運転者がどれくらいの頻度でアクセルペダルを踏んだか、運転者がどれくらいの頻度でブレーキペダルを踏んだか、運転者がどれくらいの頻度でステアリングホイールを操作したか、運転者がどれくらいの頻度でマルチファンクションスイッチを操作したかなどの情報を意味する。また、手動変速車両の場合には、前記情報の他にも、運転者がどれくらいの頻度でクラッチペダルを踏んだか、運転者がどれくらいの頻度で変速器を操作したかなどの情報を含むことができる。前記マルチファンクションスイッチは、ワイパー、方向指示灯、照明灯などのスイッチを意味し、これは車両走行において必要な要素であるため、マルチファンクションスイッチの操作情報は車両走行情報に含まれることができる。車両の操作情報は、例えば、運転者がどれくらいの頻度でAVN(AUDIO VIDEO NAVIATION)を操作したか、運転者がどれくらいの頻度で空調装置を操作したかなどの情報を含むことができる。運転者の状態情報は、例えば、運転者がどれくらい長時間対話(通話を含む)しているか、運転者が居眠りしているか、運転者が前方を注視しているか、運転者の心電図または脳波に異常状態が発生しているかなどを含むことができる。

0296

検知部2010は、運転者を識別し、運転者の状態データ、車両の走行情報、または車両周辺の障害物に関するデータを獲得するための構成であって、運転者状態検知部2011および車両周囲状況検知部2012を含む。

0297

運転者状態検知部2011は、赤外線LED映像装置、ステアリングホイールの速度検知センサ、ステアリングホイールの角度検知センサ、サスペンションの動き検知センサ、各ペダル作動検知センサ、マルチファンクション操作有無検知センサ、音声認識センサ、AVN操作有無検知センサ、空調装置操作有無検知センサ、ギヤボックスセンサ、コンソールボックス操作有無検知センサ、グローブボックス操作有無検知センサの何れか1つ以上を含むことができる。

0298

運転者状態検知部2011は、運転者の走行と直接関連しない操作および行動の情報も獲得し、状況判断のための根拠を提供する。運転者状態検知部2011は、赤外線LED映像装置を用いて瞳孔および顔の画像データを取得する。これにより、現在の運転者の識別が行われる。赤外線LED映像装置を用いて、運転者が居眠りしているか否かを判断するための眼瞼検知、および運転者が前方注視しているか否かを判断するための瞳孔方向に関するデータを取得する。また、アクセルペダル、ブレーキペダル、ステアリングホイール、マルチファンクションなどの操作によって発生するデータを取得する。運転者の音声を認識することで、運転者がどれくらい長時間対話(通話を含む)しているかのデータを取得する。AVN、空調装置、ギヤボックス、コンソールボックス、グローブボックスなどの周辺機器をどれくらいの頻度で操作するかのデータを取得する。

0299

車両周囲状況検知部2012は、自車の走行情報および周囲車両の走行情報を獲得するための構成であって、自車の走行情報は、例えば、自車の速度、ヨーレート操舵角加速度、ステアリングホイールの角変化量および角速度などの情報を意味する。周囲車両の走行情報は、周囲車両の速度、ヨーレート、操舵角、加速度、ステアリングホイールの角変化量および角速度などの情報を意味する。そのために、車両周囲状況検知部2012は、自車の車速センサ、ヨーレートセンサ、操舵角センサ、加速度センサ、ステアリングホイールセンサ、前方/後方レーダ、前方/後方カメラ、側方超音波装置、AVM(Around View Monitoring System)用カメラ、SCC(Smart Cruise Control)、LKAS(Lane KeepingAssistant System)、SPAS(Smart Parking Assistant System)、AVM(Around View Monitoring)の何れか1つ以上を含むことができる。車両周囲状況検知部2012は、自車の走行情報、周辺の障害物および周辺環境に関する情報を収集することで、運転者の走行時における危険度を判断する時に信頼性を高める。

0300

運転パターン学習部2020は、前記検知部2010により獲得されたデータに基づいて、運転者の運転パターンを学習(データアップデート)し、学習されたデータをメモリー部2060に格納する。

0301

運転パターン学習部2020は、新規運転者の場合には、予め格納されたDEFALT運転パターンを呼び出して状況検知を実施し、新しくメモリーを割り当てて学習を開始する。予め格納されたDEFAULT運転パターンは、実験により得られた多数の運転者の平均的な運転パターンであることができる。これにより、従来技術と異なって、新規運転者の走行に対応して新規運転者の安全運行誘導することができる。運転パターン学習部2020は、予め設定された学習範囲内の運転パターンを学習して格納する。学習対象の運転パターンを予め設定された学習範囲内の運転パターンに制限することは、運転中の突発状況による急加速、急制動、急回転などの運転パターンを同一の条件で学習する場合、不要な警告を行う可能性が高いため、このようなノイズを除去するためである。前記予め設定された範囲は、被実験者の条件に応じた実験によって決定されることができる。

0302

加重値決定部2030は、前記運転パターン学習部2020により学習された運転パターンに基づいて、前記検知部2010により獲得された情報データに付与される加重値を決定する。これは、学習された運転パターンに応じて運転者毎に特化した状況検知および警告システムを提供して、安全運転を誘導するためである。一例として、運転者Aが、運転中にアクセルペダル、ブレーキペダル、マルチファンクションスイッチなどの操作を多く用いると、前記操作情報データに対する加重値を高く設定し、運転者Bが、AVNスイッチ、空調装置スイッチなどの操作を多く用いると、前記操作情報データに対する加重値を高く設定する。

0303

前記加重値は、初期には、被実験者の条件に応じた実験によって決定されることができる。これにより、新規運転者に対しても加重値を決定して車両の状況検知を行うことができる。上記のように決定された加重値は、警告部2050でのフィードバックにより、獲得された情報データおよび算出された統合危険指数を情報データの基準値および統合危険指数の基準値と比較して、下記の数式のように変化させる。これにより、運転者の運転パターンに応じて運転者毎に特化した状況検知および警告システムを提供し、安全運転を誘導することができる。

0304

0305

前記数式中、Rは統合危険指数、αは加重値、Wは獲得された情報データ、dWは情報データの基準値、dRは統合危険指数の基準値を意味し、



である。加重値決定部2030では、それぞれの基準値に対する現在のR、W値の大きさを比較し、図30および前記数式のように加重値を変化させる。α(n+1)はフィードバックによって変化された加重値を意味し、α(n)は変化前の加重値を意味する。δは、統合危険指数において、各情報データの変化前の加重値が占める割合を意味し、各情報データの加重値は、δ値だけ増加または減少することができる。

0306

判断部2040は、前記加重値決定部2030により決定された加重値が付与されたデータに基づいて運転者が安全運転しているか否かを判断する構成であって、演算学習部2070と、演算部2080と、検討部2090と、制御部2100と、を含む。

0307

演算学習部2070は、前記加重値決定部2030により加重値が付与されたデータのうち、統合危険指数が予め設定された基準危険指数を超える原因となるデータの順に整列して、複数の上位データのみを選定する。本発明による状況検知装置は、車両内外部の多数のセンサから多量のデータを収集し、状況を高精度に検知する。しかし、多量のデータの処理に過度に多くの時間がかかると、事故を予防し、且つ安全運転を誘導するための本発明の趣旨に反することになる。そのため、瞬間的な判断が要求される走行中には、多量のデータのうち一部のデータのみを選定し、迅速な演算を図る必要がある。したがって、演算学習部2070では、迅速な演算のための学習およびデータ選定が行われる。演算学習部2070の選定機能は、初期には非活性化しており、制御部2100から出た結果を格納する。その後、一定回数以上のデータが格納されると、前記演算部2080により算出された統合危険指数が予め設定された基準危険指数を超えるのに最も大きい原因となるデータの順に整列し、上位の複数のデータのみを選定して演算に用い、残りのデータを無視することで、演算速度を速くする。

0308

一例として、5000回以上の危険警告が発生し、5000回以上の危険指数データが格納されていると、この際、算出された統合危険指数が、予め設定された基準危険指数を超えるようにした原因となるデータを選別する。すなわち、ブレーキペダル操作回数のためであるか、ステアリングホイールの角変化量のためであるか、運転者の注視怠慢のためであるか、周囲車両の軌跡のためであるかなどを分析し、加重値が反映されたデータのうち最も大きい3つのデータを選定することができる。

0309

その後には、選定されたデータのみを統合危険指数の算出に反映し、残りのデータは統合危険指数の算出に反映しないことで、演算速度を高めることができる。演算学習部2070により選定されたデータは演算部2080に伝達される。

0310

演算部2080は、前記加重値決定部2030により加重値が付与されたデータのうち、前記演算学習部2070により選定された一部のデータを、予め設定された演算式によって演算することで、統合危険指数を算出する。一例として、下記の数式のように、前記演算学習部2070により選定されたデータに、前記加重値決定部により付与されたデータ毎の加重値を乗じたそれぞれの危険指数を合算することで、運転者の統合危険指数を算出することができる。

0311

0312

ここで、Rは統合危険指数、αは選定された情報データ毎の加重値、Wは選定された情報データを意味する。

0313

検討部2090は、前記演算部2080の演算結果が有効であるかを判断する。前記演算学習部2070で迅速な演算のために一部のデータを選定し、それに基づいて演算する場合、演算結果に誤りが発生する可能性がある。本発明の目的は安全運転を誘導することであるため、運転者の安全のために誤りを除去するための検討過程が必要である。検討部2090では、現在の運転者の予め格納された運転パターンに基づいて算出された危険指数(以下、検討危険指数)と、現在の運転者の現在の運転パターンを学習した運転パターンに基づいて算出された統合危険指数とを比較して、検討危険指数と算出された統合危険指数との差が、予め設定された誤差範囲内である場合に、算出された危険指数値が有効であると判断する。また、前記統合危険指数を制御部2100に伝達する。予め設定された誤差範囲は、被実験者の条件に応じた実験値であることができる。また、検討危険指数は、運転者の現在の走行前に予め演算されてメモリー部2060に格納されることができる。

0314

制御部2100は、前記検討部2090から伝達された統合危険指数と、予め設定された基準危険指数とを比較し、比較結果に応じて警告部2050を活性化する役割をする。

0315

警告部2050は、運転者に安全運転状態ではないことを知らせて安全運転を誘導するための構成であって、運転者警告部2051と、付加機能制御部2052と、車両制御部2053と、を含む。運転者警告部2051は、安全運転状態ではないと判断された際に、運転者に警告音を発生させるか、あるいは安全運転状態ではないことを知らせる案内アナウンス再生することができる。運転者警告部2051は、車両に設けられたスピーカを活用してもよい。付加機能制御部2052は、車両の計器盤、AVN、またはHUD(Head Up Display)を介して運転負荷量を表示してもよい。車両制御部2053は、安全運転状態ではないと判断された場合、車両を安全に停車させる装置であって、車両に設けられたステアリングホイール、変速器、ブレーキを制御する装置を含むことができる。

0316

メモリー部2060は、運転者情報、運転者の運転パターン情報、予め設定された加重値、予め設定された誤差範囲、予め格納された検討危険指数、予め設定された基準危険指数などの情報を格納して呼び出すことができる。メモリー部2060は、データを格納するための格納手段であって、不揮発性メモリーであることができる。一例として、メモリー部2060には、運転者A、運転者B、運転者C、…などの運転者情報が登録されており、それぞれの運転者に対応する運転パターン情報が「運転者A‐運転パターンA」、「運転者B‐運転パターンB」、「運転者C‐運転パターンC」、…などのような形式で登録される。この際、各運転パターンには、単位時間当りのアクセルペダル操作回数、単位時間当りのブレーキペダル操作回数などの、前記検知部2010により獲得されたデータが含まれる。

0317

図28は本発明のさらに他の実施形態による状況検知方法の概略的なフローチャートであり、図29は運転パターン学習ステップのフローチャートであり、図30は加重値決定ステップの状態図である。図31は演算学習ステップのフローチャートであり、図32は検討ステップのフローチャートであり、図33は警告ステップのフローチャートであり、図34から図36は状況検知方法の詳細なフローチャートである。図28から図36を参照すると、本発明のさらに他の実施形態による車両搭載状況検知方法は、運転者認識ステップ(S2810)と、運転パターン呼び出しステップ(S2820)と、検知ステップ(S2830)と、運転パターン学習ステップ(S2840)と、加重値決定ステップ(S2850)と、判断ステップ(S2860)と、警告ステップ(S2870)と、を含む。

0318

運転者認識ステップ(S2810)は、予め格納された運転者情報を呼び出し、現在の運転者と一致するかを比較するステップであって、運転者データ取得ステップ(S3411)と、運転者識別ステップ(S3412)と、を含む。運転者データ取得ステップ(S3411)は、映像装置を用いて瞳孔または顔の画像データを取得するステップであり、運転者識別ステップ(S3412)は、前記運転者データ取得ステップ(S3411)で取得された瞳孔または顔の画像データと、メモリー部2060に予め格納された運転者情報とを比較して運転者を識別するステップである。

0319

運転パターン呼び出しステップ(S2820)は、前記運転者認識ステップ(S2810)で識別された運転者の予め格納された運転パターンをメモリー部2060から呼び出すステップである。もし、新規運転者であって、予め格納された運転者情報に一致する運転者がない場合には、予め格納されたDEFAULT運転パターンを呼び出す。予め格納されたDEFAULT運転パターンは、実験によって得られた多数の運転者の平均的な運転パターンであることができる。これにより、従来技術と異なって、新規運転者の場合にも運転者の走行に対応して安全運行を誘導することができる。

0320

検知ステップ(S2830)は、運転者の状態情報、車両の走行情報、または車両周辺の障害物に関する情報を収集するステップであって、運転者状態検知ステップ(S2831)と、車両周囲状況検知ステップ(S2832)と、を含む。

0321

運転者状態検知ステップ(S2831)は、運転者の状態情報を収集するステップであって、車両の走行情報、車両の操作情報、および運転者の状態情報を獲得するための構成である。車両の走行情報は、例えば、運転者がどれくらいの頻度でアクセルペダルを踏んだか、運転者がどれくらいの頻度でブレーキペダルを踏んだか、運転者がどれくらいの頻度でステアリングホイールを操作したか、運転者がどれくらいの頻度でマルチファンクションスイッチを操作したかなどの情報を意味する。また、手動変速車両の場合には、前記情報の他にも、運転者がどれくらいの頻度でクラッチペダルを踏んだか、運転者がどれくらいの頻度で変速器を操作したかなどの情報を含むことができる。前記マルチファンクションスイッチは、ワイパー、方向指示灯、照明灯などのスイッチを意味し、これは車両走行において必要な要素であるため、マルチファンクションスイッチの操作情報は車両走行情報に含まれることができる。

0322

車両の操作情報は、例えば、運転者がどれくらいの頻度でAVN(AUDIO VIDEO NAVIGATION)を操作したか、運転者がどれくらいの頻度で空調装置を操作したか、運転者がどれくらいの頻度でギヤボックス、コンソールボックス、グローブボックスなどの周辺機器を操作したかなどの情報を含むことができる。運転者の状態情報は、例えば、運転者がどれくらい長時間対話(通話を含む)しているか、運転者が居眠りしているか、運転者が前方を注視しているか、運転者の心電図または脳波に異常状態が発生しているかなどを含むことができる。

0323

そのために、前記運転者状態検知ステップ(S2831)では、運転者の眼瞼、運転者の瞳孔、ステアリングホイールの速度、ステアリングホイールの角度、サスペンションの動き、アクセルペダルの作動有無、ブレーキペダルの作動有無、マルチファンクション操作有無、運転者の対話有無、AVN操作有無、空調装置操作有無、ギヤボックス操作有無、コンソールボックス操作有無、グローブボックス操作有無の何れか1つ以上を検知することができる。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ