技術 車両安全支援装置および方法

0001

本発明は、車両安全支援装置および方法に関し、より詳細には、自律走行を用いて運転者の安全を支援する車両安全支援装置および方法に関する。

0002

通常、車両は、人に移動便宜性および時間効率性を提供するが、運転者の不注意により、運転者はいうまでもなく周辺の人に大きい被害を与える恐れがあるため、その利用に注意が必要である。特に、近年、車両とＩＣＴ（Ｉｎｆｏｒｍａｔｉｏｎ＆Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ）の技術融合によって車両が益々知能化、高度化しており、これに伴い、車両内に具現された安全運転支援システムは、危険状況を認知し、それを運転者に知らせる動作を行う。

0003

従来の車両の安全運転支援システムが危険状況を認知する方式は、通常、外部のセンサ（レーダ、カメラなど）を用いて情報を収集し、危険有無（車線離脱、衝突予想など）を判断する形態で行われている。また、それを運転者に知らせる方法としては、危険状況を表示装置（例えば、警告灯の点滅など）に表示させたり、音声で案内したりする方法がある。しかしながら、表示装置の点滅や音声案内などによって運転者に警告するシステムは、高速走行による騒音に隠れる場合や前方を注視して運転に集中する場合や居眠り運転をする場合には視・聴覚的に認知しにくい場合が多かった。

0004

米国ＩＩＨＳの研究でも、車線離脱警告およびアシストシステムは、道路離脱事故などを予防するには十分ではないと結論づけている。

0005

一方、本発明の背景技術は韓国特許登録第１０‐０２８２９０３号（２０００．１２．０２）の公報に開示されている。

0006

上述のように、従来の安全支援システムは、居眠り運転や不注意運転または衝突危険を運転者に警告する機能を提供していたが、運転者が警告に反応しない場合や、運転をきちんと行うことができない場合には、事故が発生する可能性が高いという問題点が存在した。

0007

本発明は、上記のような従来技術の問題点を解決するためになされたものであって、運転者が運転をきちんと行わない場合や、車両をそれ以上コントロールできない場合に、車両を安全な場所に移動させて事故を防止する車両安全支援装置および方法を提供することをその目的とする。

0008

本発明による車両安全支援装置は、運転者をモニタリングする運転者モニタリング部と、車両の外部環境をモニタリングする外部環境モニタリング部と、前記運転者モニタリング部および前記外部環境モニタリング部から獲得されたデータに基づいて車両の運転制御権を決定し、運転者から運転制御権を引き継ぐと決定されると、自律走行を行って車両を安全な場所に移動させる制御部と、を含むことを特徴とする。

0009

本発明において、前記制御部は、前記運転者モニタリング部から獲得されたデータに基づいて運転者有効性を推定し、前記外部環境モニタリング部から獲得されたデータに基づいて交通危険性を推定して、前記推定された運転者有効性および交通危険性に基づいて運転制御権を決定することを特徴とする。

0010

本発明において、前記制御部は、車両が即刻の危険状況にあると判断され、且つ運転者による応答がないと、運転者から運転制御権を引き継ぐと決定することを特徴とする。

0011

本発明において、前記制御部は、前記即刻の危険状況を脱するための自律走行を行うことを特徴とする。

0012

本発明による車両安全支援装置は、運転者による車両制御入力をフィルタリングする運転者入力フィルタリング部をさらに含み、前記制御部は、運転者から運転制御権を引き継ぐと決定されると、前記運転者入力フィルタリング部によって、運転者による車両制御入力を遮断することを特徴とする。

0013

本発明において、前記制御部は、前記自律走行を行う時に、車両の非常灯を作動させることを特徴とする。

0014

本発明において、前記制御部は、車両を前記安全な場所に移動させた後、通信部によって、助けを要請する信号を送信することを特徴とする。

0015

本発明において、前記制御部は、前記外部環境モニタリング部から獲得されたデータに基づいて前記自律走行を行うことを特徴とする。

0016

本発明において、前記運転者モニタリング部は、運転者を撮影するカメラ、ステアリングホイール角度センサ、アクセルペダルセンサ、およびブレーキペダルセンサの少なくとも１つ以上を含むことを特徴とする。

0017

本発明において、前記外部環境モニタリング部は、車両の外部を探知するカメラ、レーダ、超音波センサの少なくとも１つ以上を含むことを特徴とする。

0018

本発明による車両安全支援方法は、制御部が、運転者および車両の外部環境をモニタリングするステップと、前記制御部が、前記モニタリングするステップで獲得されたデータに基づいて運転者有効性および交通危険性を推定するステップと、前記制御部が、前記推定された運転者有効性および交通危険性に基づいて運転制御権を決定するステップと、運転者から運転制御権を引き継ぐと決定されると、前記制御部が、自律走行を行って車両を安全な場所に移動させるステップと、を含むことを特徴とする。

0019

本発明による車両安全支援方法は、前記運転者から運転制御権を引き継ぐと決定されると、前記制御部が、運転者による車両制御入力を遮断するステップをさらに含むことを特徴とする。

0020

本発明による車両安全支援方法は、前記車両を安全な場所に移動させるステップの後、前記制御部が、通信部によって助けを要請する信号を送信するステップをさらに含むことを特徴とする。

0021

本発明の前記モニタリングするステップにおいて、前記制御部は、運転者の身体特徴、姿勢、および制御意図の少なくとも１つ以上をモニタリングすることを特徴とする。

0022

本発明の前記モニタリングするステップにおいて、前記制御部は、車両の外部の道路および交通環境をモニタリングすることを特徴とする。

0023

本発明による車両安全支援装置および方法は、運転者と外部環境をモニタリングして運転制御権を決定し、運転者から運転制御権を引き継ぐと決定されると、自律走行により車両を安全な場所に移動させることで、車両事故を防止するようにする効果がある。

0024

本発明の一実施形態による車両安全支援装置の構成を示したブロック構成図である。
本発明の一実施形態による車両安全支援装置の技術概念を説明するための例示図である。
本発明の一実施形態による車両安全支援装置の技術概念を説明するための例示図である。
本発明の一実施形態による車両安全支援装置の技術概念を説明するための例示図である。
本発明の一実施形態による車両安全支援方法を説明するためのフローチャートである。
本発明の一実施形態による車両用運転者危険指数管理システムのブロック図である。
図６に示された周辺環境認識部の詳細構成を示すブロック図である。
図７に示された周囲車両負荷量計算部で、ＴＴＣに基づいて区分した３つの危険領域を図式的に示した図である。
図８に示された各危険領域内に存在する周囲車両を探知するためのセンサ構成図を示す図である。
図９に示されたセンサ構成により周囲車両を探知した例を示す図である。
本発明の一実施形態による車両用運転者危険指数管理方法を示すフローチャートである。
図７に示された周辺環境認識部の他の実施形態を説明するためのブロック図である。
図１２に示された検出領域生成部の詳細構成を示すブロック図である。
本発明の一実施形態による検出領域の最適化方法を示したフローチャートである。
図６に示された運転者状態検知システムの詳細構成を示すブロック図である。
本発明の一実施形態による獲得情報の装置を示す図である。
本発明の一実施形態による運転者の閉眼を確認する方法を説明するための図である。
本発明の一実施形態による走行妨害負荷のうち、運転者の居眠り負荷を説明するためのグラフである。
本発明の一実施形態による走行妨害負荷のうち、運転者の居眠り負荷を説明するためのグラフである。
本発明の一実施形態による走行妨害負荷のうち、運転者の居眠り負荷を説明するためのグラフである。
本発明の一実施形態による走行妨害負荷のうち、運転者の居眠り負荷を説明するためのグラフである。
本発明の一実施形態による走行妨害負荷のうち、運転者の居眠り負荷を説明するためのグラフである。
本発明の一実施形態による走行妨害負荷のうち、運転者の居眠り負荷を説明するためのグラフである。
本発明の一実施形態による運転者の閉眼確認動作を行う手順を示すフローチャートである。
本発明の一実施形態による走行妨害負荷のうち、運転者の注視怠慢負荷を説明するための図である。
本発明の一実施形態による画面出力を例示した図である。
本発明の一実施形態による運転者状態検知方法のフローチャートである。
本発明の一実施形態による状況検知装置の概略的なブロック図である。
本発明の一実施形態による運転者状態検知部の例示図である。
本発明の一実施形態による車両周囲状況検知部の例示図である。
本発明の一実施形態による判断部のブロック図である。
本発明の一実施形態による警告部のブロック図である。
本発明のさらに他の実施形態による状況検知方法の概略的なフローチャートである。
本発明のさらに他の実施形態による運転パターン学習ステップのフローチャートである。
本発明のさらに他の実施形態による加重値決定ステップの状態図である。
本発明のさらに他の実施形態による演算学習ステップのフローチャートである。
本発明のさらに他の実施形態による検討ステップのフローチャートである。
本発明のさらに他の実施形態による警告ステップのフローチャートである。
状況検知方法の詳細なフローチャートである。
状況検知方法の詳細なフローチャートである。
状況検知方法の詳細なフローチャートである。
本発明の一実施形態による運転者状態検知装置の構成を概略的に示したブロック図である。
本発明のさらに他の実施形態による情報獲得部の構成を概略的に示した図である。
本発明のさらに他の実施形態によるＥＣＧセンサ、ＰＰＧセンサの例示図である。
本発明のさらに他の実施形態によるＥＥＧセンサの例示図である。
本発明のさらに他の実施形態による運転負荷量表示装置の例示図である。
本発明のさらに他の実施形態による運転者状態検知方法を順に示した概略的なフローチャートである。
本発明のさらに他の実施形態による運転者状態検知方法において情報獲得ステップのフローチャートである。
本発明のさらに他の実施形態による運転者状態検知方法において情報獲得ステップのフローチャートである。
本発明のさらに他の実施形態による運転者状態検知方法において演算ステップのフローチャートである。
本発明のさらに他の実施形態による運転者状態検知方法において演算ステップのフローチャートである。
本発明のさらに他の実施形態による運転者状態検知方法において第１警告ステップのフローチャートである。
本発明のさらに他の実施形態による運転者状態検知方法のフローチャートである。
本発明のさらに他の実施形態による運転者状態検知方法のフローチャートである。
本発明のさらに他の実施形態による運転者状態検知方法において、運転者が閉眼していると判断する方法を説明する図である。
本発明のさらに他の実施形態による運転者状態検知方法において、車輪の角度による走行無負荷可視範囲を説明する図である。
本発明のさらに他の実施形態による運転者状態検知方法において、運転者の視野範囲を判断する方法を説明する図である。
本発明のさらに他の実施形態による運転者状態検知方法において、運転者の視野範囲を判断する方法を説明する図である。
本発明のさらに他の実施形態による、ＥＣＧを活用した運転者状態判断ステップを含む概略的なフローチャートである。
本発明のさらに他の実施形態による、ＥＣＧを活用した運転者状態判断ステップの詳細なフローチャートである。
本発明のさらに他の実施形態による運転者状態検知方法において、運転者の心拍分布度および心拍ヒストグラムから運転者の状態を判断する方法を説明する図である。
本発明のさらに他の実施形態による運転者状態検知方法において、運転者の心拍分布度および心拍ヒストグラムから運転者の状態を判断する方法を説明する図である。
本発明のさらに他の実施形態による、ＥＥＧを活用した運転者状態判断ステップを含む概略的なフローチャートである。
本発明のさらに他の実施形態による、ＥＥＧを活用した運転者状態判断ステップの詳細なフローチャートである。
本発明のさらに他の実施形態による、ＥＥＧを活用した運転者状態判断ステップの詳細なフローチャートである。
本発明のさらに他の実施形態による運転者状態検知方法において、ＥＥＧを活用して運転者の状態を判断する方法を説明する概略図である。
各脳波の周波数領域および特徴を表示した表である。
ベイジアンネットワークを用いて各脳波の周波数範囲を探す方法を説明する図である。
本発明のさらに他の実施形態による、ベイジアンネットワークを用いた運転者状態推論ステップの概念図である。
本発明のさらに他の実施形態による、ＥＣＧ、ＥＥＧを活用した運転者状態判断方法の詳細なフローチャートである。
本発明のさらに他の実施形態による、ＥＣＧ、ＥＥＧを活用した運転者状態判断方法の詳細なフローチャートである。
本発明のさらに他の実施形態による、ＥＣＧ、ＥＥＧを活用した運転者状態判断方法の詳細なフローチャートである。
本発明のさらに他の実施形態による、ＥＣＧ、ＥＥＧを活用した運転者状態判断方法の詳細なフローチャートである。
本発明の実施形態による車両安全支援装置の基本アルゴリズムを説明するためのフローチャートである。

0025

以下、添付図面を参照して、本発明による車両安全支援装置および方法の一実施形態を説明する。この過程で、図面に示された線の厚さや構成要素の大きさなどは、説明の明瞭性と便宜のために誇張されて示されることがある。また、後述の用語は、本発明における機能を考慮して定義された用語であって、これは、使用者、運用者の意図または慣例によって変わり得る。したがって、このような用語についての定義は、本明細書の全体にわたる内容に基づいて下されるべきである。

0026

図１は本発明の一実施形態による車両安全支援装置の構成を示したブロック構成図である。

0027

図１に示されたように、本発明の一実施形態による車両安全支援装置は、制御部１００と、運転者モニタリング部１１０と、外部環境モニタリング部１２０と、通信部１３０と、ＧＰＳ１４０と、運転者入力フィルタリング部１５０と、を含むことができる。また、制御部１００は、運転者有効性推定部１０１と、交通危険性推定部１０２と、運転制御権決定部１０３と、自律走行制御部１０４と、を含むことができる。

0028

制御部１００は、ＥＣＵ（ｅｌｅｃｔｒｏｎｉｃ ｃｏｎｔｒｏｌ ｕｎｉｔ）などのようなプロセッサ（ｐｒｏｃｅｓｓｏｒ）で構成されることができる。この際、制御部１００は、複数のプロセッサを含んで構成される形態であることができる。すなわち、運転者有効性推定部１０１、交通危険性推定部１０２、運転制御権決定部１０３、および自律走行制御部１０４のそれぞれが個別的なプロセッサで構成されることができる。または、制御部１００の機能が１つ以上のプロセッサに分散配置される形態、例えば、運転者有効性推定部１０１および交通危険性推定部１０２が単一プロセッサ上に具現される形態で構成されてもよい。この場合、運転者有効性推定部１０１、交通危険性推定部１０２、運転制御権決定部１０３、および自律走行制御部１０４のそれぞれの機能は、制御アルゴリズムまたはロジッグの形態で構成されることができる。

0029

さらに、制御部１００の各機能が車両内に搭載された他のシステム（例えば、ＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）、ＬＤＷＳ（Ｌａｎｅ Ｄｅｐａｒｔｕｒｅ Ｗａｒｎｉｎｇ Ｓｙｓｔｅｍ））の一部として具現される形態であってもよい。

0030

運転者モニタリング部１１０は、運転者の身体特徴、姿勢、制御意図などを監視することができる。運転者モニタリング部１１０は、上述の機能を担うための種々のセンサおよび装置を含んで構成されることができる。例えば、運転者モニタリング部１１０は、運転者の身体特徴および姿勢を監視するためのカメラやレーダ、運転者の車両制御意図を監視するためのステアリングホイール角度センサ、アクセルペダルセンサ、ブレーキペダルセンサなどを含むことができる。

0031

その他にも、運転者モニタリング部１１０は、サスペンションの動き検知センサ、マルチファンクション操作有無検知センサ、音声認識センサ、ＡＶＮ操作有無検知センサ、空調装置操作有無検知センサ、ギヤボックスセンサ、コンソールボックス操作有無検知センサ、グローブボックス操作有無検知センサ、ＥＣＧ（Ｅｌｅｃｔｒｏｃａｒｄｉｏｇｒａｍ）センサ、ＥＥＧ（Ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｍ）センサ、ＰＰＧ（Ｐｈｏｔｏｐｌｅｔｈｙｓｍｏｇｒａｐｈｙ）センサなどのウェアラブル（Ｗｅａｒａｂｌｅ）センサを含み、運転者の眼瞼、運転者の瞳孔、ステアリングホイールの速度、ステアリングホイールの角度、サスペンションの動き、アクセルペダルの作動有無、ブレーキペダルの作動有無、マルチファンクション操作有無、運転者の対話有無、ＡＶＮ操作有無、空調装置操作有無、ギヤボックス操作有無、コンソールボックス操作有無、グローブボックス操作有無、運転者の心電図、運転者の脳波などをモニタリングすることができる。

0032

外部環境モニタリング部１２０は、車両の外部の道路および交通環境などを監視することができる。外部環境モニタリング部１２０は、上述の機能を担うための種々のセンサおよび装置を含んで構成されることができる。例えば、外部環境モニタリング部１２０は、カメラ、レーダ、超音波センサなどを含んで車両の外部の道路および交通環境などを監視することができる。この際、外部環境モニタリング部１２０に含まれるカメラとしては、車両に搭載されたＡＶＭ（Ａｒｏｕｎｄ Ｖｉｅｗ Ｍｏｄｅ）装置または車両用ブラックボックスなどが採用されることができ、車両に搭載されたＡＤＡＳ、ＬＤＷＳに含まれているレーダや超音波センサなどが、外部環境モニタリング部１２０に含まれるセンサおよび装置として採用されることができる。

0033

通信部１３０は、車両の外部との通信を行うことができるようにする。例えば、通信部１３０は、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）（登録商標）、ＷＣＤＭＡ（Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）（登録商標）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、ＷｉＢｒｏ（Ｗｉｒｅｌｅｓｓ Ｂｒｏａｄｂａｎｄ）などの移動通信網や、ワイファイ（Ｗｉ‐Ｆｉ）などの近距離無線通信またはＴＰＥＧ（Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）、ＴＩＭ（Ｔｒａｆｆｉｃ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ）、ＲＤＳ（Ｒａｄｉｏ Ｄａｔａ Ｓｙｓｔｅｍ）、車両用テレマティクス（Ｔｅｌｅｍａｔｉｃｓ）、ＤＳＲＣ（Ｄｅｄｉｃａｔｅｄ Ｓｈｏｒｔ Ｒａｎｇｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＷＡＶＥ（Ｗｉｒｅｌｅｓｓ Ａｃｃｅｓｓ ｉｎ Ｖｅｈｉｃｕｌａｒ Ｅｎｖｉｒｏｎｍｅｎｔ）など、車両のための通信プラットホームを用いるように構成されることができる。

0034

ＧＰＳ１４０は車両の位置情報を受信することができる。すなわち、ＧＰＳ１４０は、全地球測位システムを用いて車両の位置に関する情報を受信することができる。

0035

運転者入力フィルタリング部１５０は、運転者による車両制御入力（例えば、ステアリングホイール操作、アクセルペダル操作、ブレーキペダル操作など）をフィルタリングすることができる。すなわち、運転者入力フィルタリング部１５０は、運転者による車両制御入力が車両内の各装置（ステアリング２００、ブレーキ３００、非常灯４００など）に伝達されることを遮断することができる。

0036

例えば、運転者のステアリングホイール操作が電子制御システム（例えば、ＭＤＰＳ（Ｍｏｔｏｒ Ｄｒｉｖｅｎ Ｐｏｗｅｒ Ｓｔｅｅｒｉｎｇ）、ＥＰＳ（Ｅｌｅｃｔｒｉｃ Ｐｏｗｅｒ Ｓｔｅｅｒｉｎｇ））により行われる場合に、運転者入力フィルタリング部１５０は、前記電子制御システムに制御命令を伝達することができるＥＣＵで構成されることができる。この際、運転者入力フィルタリング部１５０は、別のプロセッサで構成されてもよいが、制御部１００を構成するプロセッサに制御ロジッグとして具現されている形態であってもよい。

0037

または、運転者のステアリングホイール操作が機械的な連結（例えば、油圧式パワーステアリング）により行われる場合には、運転者入力フィルタリング部１５０が油圧の伝達を遮断する構成を含むことができる。

0038

このように、運転者入力フィルタリング部１５０の構成は、車両の設計仕様などに応じて様々な形態で具現されることができる。但し、その具体的な構成は通常の技術者が適宜設計変更することで具現可能であるため、より詳細な説明は省略する。

0039

制御部１００は、本実施形態による車両安全支援装置の各構成の動作を制御することができる。すなわち、制御部１００は、運転者モニタリング部１１０を制御することで、運転者の身体特徴、姿勢、制御意図などを監視するようにすることができ、外部環境モニタリング部１２０が車両の外部の道路および交通環境などを監視するようにすることができるとともに、通信部１３０によってデータの送受信を行うことができ、ＧＰＳ１４０によって車両の位置情報を獲得し、運転者入力フィルタリング部１５０のフィルタリング動作を制御することができる。

0040

運転者有効性推定部１０１は、運転者モニタリング部１１０により獲得された運転者の身体特徴、姿勢、および制御意図に基づいて運転者有効性（ｄｒｉｖｅｒ ａｖａｉｌａｂｉｌｉｔｙ）を推定することができる。

0041

ここで、運転者有効性は、運転者が車両の制御を有効に行うことができるか否かを示す尺度を意味する。例えば、運転者有効性は、０〜１の間の値を有するように設計され、１に近いほど、運転者が車両の制御を有効に行うことができることを意味し、０に近いほど、運転者が車両の制御を有効に行うことができないことを意味する。但し、このような設計に限定されるものではないため、運転者が車両の制御を有効に行うことができるか否かを示す様々な設計方式が採用可能である。

0042

運転者有効性推定部１０１は、運転者モニタリング部１１０により獲得されたデータを、予め設定されたアルゴリズムに入力して運転者有効性を算出することができる。例えば、運転者の瞳孔の大きさや運転者の姿勢などを考慮して、運転者が居眠り運転をしているか否かを判断することができ、運転者が居眠り運転をしていると判断されると、運転者有効性が０に近い値と推定されることができる。

0043

また、運転者有効性推定部１０１は、運転者の身体特徴として心拍情報を得て、それに基づいて運転者の異常状態を判断するか、あるいは、ステアリングホイールの角度、アクセルペダルやブレーキペダルの入力程度に基づいて運転者の異常な運転制御を判断して、運転者有効性を算出するように構成されてもよい。

0044

その他にも、運転者有効性を推定するための様々な方式のアルゴリズムが適用可能であり、例えば、後述の運転者危険指数、運転者の統合危険指数、運転負荷量などを組み合わせて運転者有効性を推定してもよい。後述の本発明の他の実施形態でさらに様々な方式を説明する。

0045

交通危険性推定部１０２は、外部環境モニタリング部１２０により獲得された車両の外部の道路および交通環境に基づいて、展開される交通危険性（ｔｒａｆｆｉｃ ｈａｚａｒｄ）を推定することができる。

0046

ここで、交通危険性は、事故の発生可能性を示す尺度を意味する。例えば、交通危険性は、０〜１の間の値を有するように設計され、１に近いほど、事故が発生する可能性が高いことを意味し、０に近いほど、事故が発生する可能性が低いことを意味する。但し、このような設計に限定されるものではないため、事故の発生可能性を示す様々な設計方式が採用可能である。

0047

交通危険性推定部１０２は、外部環境モニタリング部１２０により獲得されたデータを、予め設定されたアルゴリズムに入力して交通危険性を算出することができる。例えば、交通危険性推定部１０２は、カメラ、レーダ、超音波センサなどを用いて、障害物の検出、交通弱者（ＶＲＵ）の検出、車線の検知、車両の認識、道路エッジの認識、道路表面摩擦の検出などを行い、その結果を総合的に分析して事故の発生可能性を算出することができる。

0048

かかる交通危険性推定部１０２による交通危険性の推定は、従来の衝突警報システム（Ｃｏｌｌｉｓｉｏｎ ｗａｒｎｉｎｇ ｓｙｓｔｅｍ）で用いられているアルゴリズムなどを適用して行われることができ、後述の本発明の他の実施形態でさらに様々な方式を説明する。

0049

運転制御権決定部１０３は、推定された運転者有効性および交通危険性に基づいて運転制御権を決定することができる。すなわち、運転制御権決定部１０３は、運転者の制御によって車両の運転を続くべきであるか、それとも車両の運転制御権を運転者から引き継ぎ、自律走行を行うべきであるかを決定することができる。

0050

運転制御権決定部１０３は、推定された運転者有効性および交通危険性を、予め設定されたアルゴリズムに適用して運転制御権を決定することができる。例えば、運転制御権決定部１０３は、推定された運転者有効性が臨界値以下である場合や、推定された交通危険性が臨界値以上である場合に、車両の運転制御権を運転者から引き継いで自律走行を行うべきであると決定するか、推定された運転者有効性と推定された交通危険性を組み合わせた結果に応じて車両の運転制御権を決定することができる。但し、このようなアルゴリズムに限定されるものではないため、車両の運転制御権を決定するための様々な方式が用いられることができる。

0051

車両の運転制御権を運転者から引き継いで自律走行を行うべきであると決定されると、自律走行制御部１０４は、車両内の各装置（ステアリング２００、ブレーキ３００、非常灯４００など）を制御して自律走行を行うことができる。

0052

自律走行制御部１０４は、運転者が運転をきちんと行わない場合や、車両をそれ以上コントロールできない場合に、事故を防止して運転者を保護するために、自律走行により車両を安全な場所に移動させることができる。

0053

そのために、自律走行制御部１０４は、近い安全な場所の確認、安全な場所までの経路設定、車線変更計画、道路離脱制御、衝突回避制御、非常運転などを含む走行計画を樹立し、車線追跡、車線変更、道路離脱、停止などの走行制御を行うことで車両を安全な場所に移動させることができる。

0054

この際、自律走行制御部１０４は、外部環境モニタリング部１２０により獲得される情報、ＧＰＳ１４０により獲得される位置情報、地図情報などを活用して自律走行を行うことができ、自律走行に係る公知または非公知の様々な技術を用いて自律走行を行うことができる。

0055

また、車両が移動されるべき安全な場所は、地図情報に含まれていることができる。

0056

一方、自律走行制御部１０４が自律走行を行う時に、制御部１００は、運転者入力フィルタリング部１５０を制御して運転者による車両の制御を遮断することで、自律走行のみにより車両が安全に移動することができるようにする。

0057

自律走行制御部１０４は、車両の自律走行の時に、非常走行を知らせるために車両の非常灯４００を作動させることができる。

0058

自律走行制御部１０４は、車両が道路を離脱して安全な場所に位置した時に車両を停車させ、制御部１００は、通信部１３０によって助けを要請（例えば、１１９に危急状況を知らせるメッセージを自動で伝送）することができる。

0059

一実施形態において、制御部１００は、車両が即刻の危険状況にあると判断され、且つ運転者による応答がないと、運転者から運転制御権を引き継ぐと決定することができる。

0060

即刻の危険状況としては、車線離脱状況、交差点接近状況、他の車両との衝突状況が挙げられる。即刻の危険状況を判断するための基準は、制御部１００に予め設定されていることができる。また、本発明による交通危険性の推定に用いられるアルゴリズム、従来の車線離脱検出システムで用いられるアルゴリズム、従来の追従警告システムで用いられるアルゴリズムなどが、即刻の危険状況を判断するための基準として用いられることができる。これに加え、制御部１００は、ＧＰＳおよび地図情報を用いて、車両が交差点接近状況にあるかを判断することができる。

0061

制御部１００は、それぞれの即刻の危険状況に対応する車両の制御が運転者により行われない際に、運転者による応答がないと決定することができる。例えば、車両を車線に戻す制御、他の車両を避けるための緊急制動や、交差点を通過する制御が、それぞれの即刻の危険状況に対応して行われるべきである。

0062

したがって、制御部１００は、車両が即刻の危険状況にある時に運転者による応答がないと、即刻の危険状況を脱することができるように、運転者から走行制御を引き継ぎ、それぞれの即刻の危険状況に対応する車両の制御を行うことができる。すなわち、即刻の危険を無くすために、車両は「復旧（ｒｅｃｏｖｅｒｙ）」または「救助（ｒｅｓｃｕｅ）」の機動を行うことができる。

0063

図２から図４は、本発明の一実施形態による車両安全支援装置の技術概念を説明するための例示図である。

0064

図２から図４に示されたように、本発明の一実施形態による車両安全支援装置は、様々なデータ検出、アルゴリズム適用を行うことで、運転者による運転の適正性をモニタリングし、運転者による運転制御を維持する際に事故の危険があると判断されると、運転者の入力をフィルタリングして、自律走行により車両を安全な場所に移動させる。これにより、車両事故を防止することができる。

0065

図５は、本発明の一実施形態による車両安全支援方法を説明するためのフローチャートである。

0066

図５に示されたように、制御部１００は運転者および外部環境をモニタリングする（Ｓ１０）。すなわち、制御部１００は、上述の運転者モニタリング部１１０によって、運転者の身体特徴、姿勢、制御意図などをモニタリングすることができ、外部環境モニタリング部１２０によって、車両の外部の道路および交通環境などをモニタリングすることができる。

0067

次に、制御部１００は、前記ステップ（Ｓ１０）のモニタリング結果に基づいて運転者有効性および交通危険性を推定する（Ｓ２０）。すなわち、制御部１００は、前記ステップ（Ｓ１０）により獲得された運転者の身体特徴、姿勢、および制御意図に基づいて運転者有効性を推定し、車両の外部の道路および交通環境に基づいて、展開される交通危険性を推定することができる。

0068

前記ステップ（Ｓ２０）の後、制御部１００は、前記ステップ（Ｓ２０）で推定された運転者有効性および交通危険性に基づいて運転制御権を決定する（Ｓ３０）。すなわち、制御部１００は、前記ステップ（Ｓ２０）で推定された運転者有効性および交通危険性に基づいて、運転者の制御によって車両の運転を続くべきであるか、それとも車両の運転制御権を運転者から引き継ぎ、自律走行を行うべきであるかを決定することができる。

0069

運転者から運転制御権を引き継ぐと制御部１００によって決定されると（Ｓ４０のＹ）、制御部１００は、運転者入力をフィルタリングし（Ｓ５０）、自律走行により車両を安全な場所に移動させる（Ｓ６０）。すなわち、制御部１００は、運転者入力を遮断し、自律走行のみによって車両が制御されるようにするとともに、近い安全な場所の確認、安全な場所までの経路設定、車線変更計画、道路離脱制御、衝突回避制御、非常運転などを含む走行計画を樹立し、車線追跡、車線変更、道路離脱、停止などの走行制御を行うことで、車両を安全な場所に移動させることができる。

0070

その後、制御部１００は、車両を停車させ、助けを要請する（Ｓ７０）。すなわち、制御部１００は、車両が道路を離脱して安全な場所に位置した時に、車両を停車させ、通信部１３０によって助けを要請（例えば、１１９に危急状況を知らせるメッセージを自動で伝送）することができる。

0071

これに対し、運転者の運転制御権を維持すると決定されると（Ｓ４０のＮ）、制御部１００は、前記ステップ（Ｓ１０）に戻って運転者および外部環境のモニタリングから引き続き行う。

0072

以下では、上述の運転者有効性の推定、交通危険性の推定、運転制御権の決定、および自律走行などを行うのに適用可能な実施形態を説明する。下記実施形態で説明される構成の一部、全部、またはその組み合わせは、上述の制御部１００、運転者モニタリング部１１０、外部環境モニタリング部１２０、通信部１３０、ＧＰＳ１４０、運転者入力フィルタリング部１５０、運転者有効性推定部１０１、交通危険性推定部１０２、運転制御権決定部１０３、および自律走行制御部１０４を具現するか、各構成に含まれている制御ロジッグまたはアルゴリズムを具現するために活用されることができるであろう。また、後述の実施形態において、運転者に危険状況や不注意を警告することとともに、車両の運転制御権を運転者から制御部１００に変更する制御が行われることができ、警告のレベルに応じて運転制御権が決定される形態で車両安全支援装置および方法が設計されてもよい。

0073

車両安全システム（車両安全支援装置）は、周辺環境認識システムと、車両制御システムと、に分けられる。周辺環境認識システムは、周辺環境を正確に認識し、認識した周辺環境情報を前記車両制御システムに提供する。車両制御システムは、前記周辺環境情報を用いて車両を安全に制御する。

0074

周辺環境認識システムは、走行中に発生する様々な情報が処理できるべきである。したがって、周辺環境認識システムには、高い計算量と多くの下位システムが要求される。かかる計算量を効率的に調節するための多くの研究が進行されている。

0075

以下の実施形態を例示的な図面を用いて詳細に説明する。

0076

図６は、本発明の一実施形態による車両用運転者危険指数管理システムのブロック図である。

0077

図６を参照すると、本発明の一実施形態による車両用運転者危険指数管理システムは、正確な運転性向を分析し、それに相応する運転者危険指数（または周囲危険指数）を計算する。計算された結果は、様々な形態の情報として運転者に提供され、運転者に運転危険状況を報知する。

0078

このような本発明の一実施形態による車両用運転者危険指数管理システムは、車両内の各種センサにより、自車の現在走行状況と自車周辺の現在走行状況をリアルタイムで検知し、検知された結果が反映された正確な運転性向に基づいて車両の運転危険状況を判断する。すなわち、本発明の一実施形態による車両用運転者危険指数管理システムは、一人の運転性向に基づいて学習された過去走行パターンから運転者の運転性向を把握するのではなく、各種センサによってリアルタイムで獲得されて確保された情報に基づいて運転性向を把握する。

0079

したがって、従来の運転性向を把握する方法に比べて、正確な運転性向をリアルタイムで反映することができる。このような正確な運転性向を本発明の運転者危険指数管理システムに反映する場合、正確な運転者危険状況を運転者に提供することで、安全な運転を図ることができる。

0080

そのために、本発明の一実施形態による車両用運転者危険指数管理システム１１００は、内部センサ１１１０と、外部センサ１１２０と、周辺環境認識部１１３０と、走行状況検知インタフェース１１４０と、運転者状態検知システム１１６０と、出力部１１５０と、を含む。

0081

内部センサ１１１０は自車の走行状況を検知し、自車走行情報を生成する。ここで、自車走行情報は、車速情報１１‐１、ヨーレート情報１１‐３、操舵角情報１１‐５、加速度情報１１‐７、およびホイールスピード情報１１‐９などを含むことができる。

0082

したがって、内部センサ１１１０は、車速情報１１‐１を獲得する車速センサ１１１０‐１、ヨーレート情報１１‐３を獲得するヨーレートセンサ１１１０‐３、操舵角情報１１‐５を獲得する操舵角センサ１１１０‐５、およびホイールスピード情報１１‐９を獲得するホイールスピードセンサ１１１０‐９などを含むことができる。

0083

外部センサ１１２０は、自車の周辺状況を検知して周辺環境情報を生成する。ここで、周辺環境情報は、前／後方レーダ情報１２‐１、前／後方映像情報１２‐３、側方超音波情報１２‐５、ＡＶＭ（Ａｒｏｕｎｄ Ｖｉｅｗ Ｍｏｎｉｔｏｒｉｎｇ）映像情報１２‐７、およびナビゲーション情報１２‐９などを含むことができる。

0084

したがって、外部センサ１１２０は、前／後方レーダ情報１２‐１を獲得する前／後方レーダ１１２０‐１、前／後方映像情報１２‐３を獲得する前／後方カメラ１1２０‐３、側方超音波情報１２‐５を獲得する側方超音波１１２０‐５、ＡＶＭ映像情報１２‐７を獲得するＡＶＭ用カメラ１１２０‐７、およびナビゲーション情報１２‐９を獲得するナビゲーション（ＮＡＶ）１１２０‐９を含むことができる。

0085

周辺環境認識部１１３０は、前記内部センサ１１１０から提供された自車走行情報と前記外部センサ１１２０から提供された周辺環境情報を用いて軌跡負荷量を計算し、それに基づいて運転者危険指数（または周囲危険指数）を管理する。これについての具体的な説明は、下記の図７を参照して詳細に説明する。

0086

走行状況検知インタフェース１１４０は、運転者状態検知システム１１６０から提供された運転者状態情報に前記運転者危険指数を反映した運転者危険状況を運転者に提供するために、前記出力部１１５０とインタフェーシングする。

0087

出力部１１５０は、前記運転者状態情報に反映された前記運転者危険指数を視覚的または聴覚的な情報の形態で出力して運転者に提供する。そのために、出力部１１５０は、スピーカ１１５０‐１、ＡＶＮ１１５０‐３、ＨＵＤ１１５０‐５、およびこれらの組み合わせからなる特定の出力手段などとして具現されることができる。

0088

本発明の一実施形態では、単に運転者に運転危険指数を知らせるのに止まらず、横方向制御開始時点を調整するために、前記運転者危険指数が車両内の各種制御システム、例えば、エンジン制御システム１１５０‐７、制動制御システム１１５０‐９、および操舵制御システム１１５０‐１１に伝達される。したがって、出力部１１５０は、エンジン制御システム１１５０‐７、制動制御システム１１５０‐９、および操舵制御システム１１５０‐１１をさらに含む構成であると解釈され得る。

0089

運転者状態検知システム１１６０は、運転者の居眠り運転状態などのような運転状態を検知するシステムであって、これについての具体的な内容は、図１５から図２２を参照して後述する。

0090

以下、図７を参照して、図６に示された周辺環境認識部について詳細に説明する。

0091

図７は、図６に示された周辺環境認識部の詳細構成を示すブロック図である。

0092

図７を参照すると、周辺環境認識部１１３０は、上述のように、前記内部センサ１１１０から提供された自車走行情報と前記外部センサ１１２０から提供された周辺環境情報を用いて軌跡負荷量を計算し、それに基づいて運転者危険指数（または周囲危険指数）を管理する。より正確な運転者危険指数管理のために、周辺環境認識部１１３０は、軌跡負荷量の他に、周囲車両負荷量および道路負荷量をさらに考慮して運転者危険指数を管理することができる。

0093

そこで、システム負荷と運転者危険指数との間のトレードオフを考慮して、軌跡負荷量のみを考慮する場合と、軌跡負荷量と周囲車両負荷量のみを考慮する場合と、軌跡負荷量と道路負荷量のみを考慮する場合とに区分して、様々な運転者危険指数の算出設計が可能である。

0094

図７の実施形態は、軌跡負荷量、周囲車両負荷量、および道路負荷量を全て考慮した運転者危険指数管理を行う例示図にすぎず、本発明がこれに限定されるものではないことに留意すべきである。

0095

図７の実施形態による周辺環境認識部１１３０は、自車走行軌跡生成部１１３０‐１と、周囲車両軌跡生成部１１３０‐３と、軌跡負荷量計算部１１３０‐５と、周囲車両負荷量計算部１１３０‐７と、道路負荷量計算部１１３０‐９と、運転者危険指数管理部１１３０‐１１と、を含む。

0096

自車走行軌跡生成部１１３０‐１は、内部センサ１１１０からの自車走行情報に含まれた車速情報、操舵角情報、加減速情報、およびヨーレート情報を用いて、自車走行軌跡１３‐１を予測（獲得または生成）する。さらに、自車走行軌跡生成部１１３０‐１は、外部センサ１１２０からの周辺環境情報に含まれたナビゲーション情報、例えば、走行道路情報を用いて、前記予測された自車走行軌跡１３‐１を補正する。図７では、外部センサ１１２０からのナビゲーション情報の提供を受ける信号の流れを示す矢印を表示していない。

0097

周囲車両軌跡生成部１１３０‐３は、外部センサ１１２０からの周辺環境情報に含まれた前／後方レーダ情報１２‐１、映像情報１２‐３および１２‐７、および側方超音波情報１２‐５を用いて、周囲車両走行軌跡１３‐３を予測（獲得または生成）する。

0098

前記前／後方レーダ情報１２‐１を獲得するための前／後方レーダセンサ１１２０‐１は、物体判別の正確性にはやや劣るが、正確な距離情報（縦方向）を獲得することができる。

0099

これに比べて、前記映像情報１２‐３および１２‐７を獲得するためのカメラ１１２０‐３および１１２０‐７は、単眼映像を獲得するため、距離情報（縦方向）の正確性には劣るが、高い物体の判別および正確な横方向情報を得ることができる利点がある。

0100

したがって、周囲車両軌跡を得るために、ターゲット車両モデル式において、縦方向の距離情報は前／後方レーダ１１２０‐１を用いて獲得し、横方向距離情報は前／後方カメラ１１２０‐３、ＡＶＭカメラ１１２０‐７、および側方超音波１１２０‐５を用いて獲得する。

0101

下記の数学式１は、周囲車両軌跡を予測するために、周囲車両軌跡生成部１１３０‐３で用いる車両モデル式を示したものである。

0102

0103

ここで、ｘ、Ｖｘ、ｙ、Ｖｙはターゲット車両の状態変数であって、ｘ、ｙは、ターゲット車両の位置であり、映像カメラから測定される。Ｖｘ、Ｖｙはターゲット車両の速度である。Ａは車両モデル式、Ｈは測定値モデル式であって、状態変数は、ｘ軸方向への距離、速度、ｙ軸方向への距離、速度を示す。システムノイズおよび測定値ノイズはホワイトガウシアンと仮定する。

0104

軌跡負荷量計算部１１３０‐５は、前記周囲車両軌跡１３‐３と前記自車走行軌跡１３‐１との差である軌跡距離と、予め設定された臨界値と、の比較結果を示す軌跡負荷量（ＷＴｒｊ）を計算する。

0105

自車走行軌跡１３‐１と周囲車両軌跡１３‐３を予測して衝突危険がある場合、これは運転者にとって高い注意が要されることであるため、これを軌跡負荷量（ＷＴｒｊ）と示すことができる。

0106

したがって、軌跡負荷量（ＷＴｒｊ）は自車走行軌跡１３‐１および周囲車両軌跡１３‐３を用いて、下記の数学式２のように計算する。

0107

0108

ここで、ＤＴｒｊは自車軌跡であり、ＴＴｒｊは周囲車両軌跡である。そして、ｉは、探知された周囲車両であって、１、２、…、ｎである。

0109

上記の数学式１によると、軌跡負荷量（ＷＴｒｊ）は、探知された周囲車両の軌跡と自車の軌跡とを比較し、軌跡距離が臨界値（Ｔｈｒｅｓｈｏｌｄ）よりも低い場合には１、高い場合には０と設定される。

0110

周囲車両負荷量計算部１１３０‐７は、周辺環境情報から前／後／側方の車両数と車線変更有無を把握し、それを用いて周囲車両負荷量（ＷＳ）を計算する。運転中に自車の周辺に車両があり、その車両の軌跡の変化が激しいと、これは、運転者にとって注意が要される負荷量として作用し得る。

0111

周囲車両負荷量計算部１１３０‐７により行われる周囲車両負荷量の計算では、衝突所要時間（Ｔｉｍｅ Ｔｏ Ｃｏｌｌｉｓｉｏｎ：ＴＴＣ）に基づいて、自車を中心として図８に示されたように３つの危険領域（ＳＥＣＴＩＯＮ１、ＳＥＣＴＩＯＮ２、およびＳＥＣＴＩＯＮ３）に区分する。ここで、ＴＴＣは、対象車両の接近速度（ｃｌｏｓｉｎｇ ｓｐｅｅｄ）が一定である時に、対象車両が目標車両にぶつかるまでかかる時間と定義される。このようなＴＴＣは、内部センサ１１１０の車速センサ１１１０‐１および操舵角センサ１１１０‐５からそれぞれ獲得された車速情報１１‐１および操舵角情報１１‐５を用いて求めることができる。

0112

例えば、図９および図１０に示されたように、前／後方レーダ１１２０‐１による探知領域４３、４７、前／後方カメラ１１２０‐３による探知領域４１、側方超音波１１２０‐５により探知された探知領域４５でそれぞれ探知された自車１０の周囲車両２０、３０、４０、５０を認識し、ＴＴＣ値として、探知された車両との相対距離を相対速度値で除した時間を計算することで、危険領域（ＳＥＣＴＩＯＮ１、２、および３）を求めることができる。

0113

３つの危険領域（ＳＥＣＴＩＯＮ１、２、および３）が区分されると、周囲車両負荷量計算部１１３０‐７は、区分された各領域で探知された車両の数と車線変更有無を判断して周囲車両負荷量（ＷＳ）を計算する。

0114

計算された周囲車両負荷量（ＷＳ）は、ＳＥＣＴＩＯＮ１で探知された車両が多いほど、車線変更が多いほど増加する。

0115

反対に、周囲に探知された車両が殆どないか、あるとしてもＳＥＣＴＩＯＮ３にある場合、そして周囲車両の軌跡変化が激しくない場合、周囲車両負荷量（ＷＳ）は減少する。

0116

このような周囲車両負荷量（ＷＳ）は、下記の数学式３で表されることができる。

0117

0118

ここで、α、βはｗｅｉｇｈｔｉｎｇ Ｆａｃｔｏｒであり、ｓは探知された車両の位置（ＳＥＣＴＩＯＮ１、２、および３）であり、Ｌは探知された周囲車両の車線変更有無である。ここで、変更がある場合には１、ない場合には０とする。探知された車両は１〜ｎで表示する。

0119

道路負荷量計算部１１３０‐９は、前記周辺環境情報に含まれた道路の形態、道路の路面状態、および交通量状態を用いて道路負荷量を計算する。例えば、外部センサのうち超音波、レーダ、ライダ、映像情報を用いて近距離道路負荷の計算に反映することができ、外部センサのうちｖｅｈｉｃｌｅ‐ｔｏ‐ｖｅｈｉｃｌｅ、ｖｅｈｉｃｌｅ‐ｔｏ‐ｉｎｆｒａｓｔｒｕｃｔｕｒｅを用いて遠距離道路負荷の計算に反映することができる。直線路よりは曲線路で、一般路よりは交差点部分で、そして前方の交通状況が悪いほど運転者の注意が要求されるため、このような道路負荷量の計算が必要である。

0120

道路負荷量計算部１１３０‐９は、車両内のナビゲーション１１２０‐９から獲得されたナビゲーション情報１２‐９を用いて、走行すべき前方道路の形態を把握し、前／後方カメラ１１２０‐３から獲得された道路の路面状態情報を反映する（舗装道路、非舗装道路）。計算は下記の数学式４で表されることができる。

0121

0122

ここで、Ａは道路状態を示す値である。例えば、Ａは、前方道路の曲率値が大きいほど大きい値を有し、信号灯の変化、歩行者、速度制限、スクールゾーンの場合に大きい値を有することになる。Ｂは道路の路面状態値であって、舗装道路、非舗装道路を反映し、Ｃは前方道路の交通量であって、交通量が多いほど大きい値を有する。このようなＡ、Ｂ、Ｃは、何れも０〜５の範囲に正規化されることができる。

0123

運転者危険指数管理部１１３０‐１１は、各ステップで計算された負荷量（ＷＴｒｊ、ＷＳ、ＷＲ）を統合した運転者危険指数（周囲危険指数）を運転者に提供する。例えば、運転者危険指数管理部１１３０‐１１は、前記軌跡負荷量（ＷＴｒｊ）、前記周囲車両負荷量（ＷＳ）、および前記道路負荷量（ＷＲ）を合算し、合算された結果値を前記運転者危険指数として生成する。生成された運転者危険指数が高すぎる場合（例えば、予め設定された指数よりも高い場合）、それは走行状況検知インタフェース１１４０を介してエンジン制御システム１１５０‐７、制動制御システム１１５０‐９、および操舵制御システム１１５０‐１１などに伝達され、運転者の運転機能を制限するように、エンジン動作、制動動作、および操舵動作を制限する。

0124

反対に、生成された運転者危険指数が低い場合（例えば、予め設定された指数よりも低い場合）、運転者危険指数は、スピーカ１１５０‐１、ＡＶＮ１１５０‐３、およびＨＵＤ１１５０‐５を介して視覚的および／または聴覚的な情報の形態に変換されて運転者に提供される。

0125

運転者危険指数は、下記の数学式５で表されることができる。

0126

0127

図１１は、本発明の一実施形態による車両用運転者危険指数管理方法を示すフローチャートである。

0128

図１１を参照すると、先ず、Ｓ１１１０で、自車走行軌跡を生成する過程が行われ、Ｓ１１１２で、生成された自車走行軌跡に基づいて自車の位置を予測する過程が行われる。このような自車走行軌跡は、車速情報、操舵角情報、加減速情報、およびヨーレート情報を用いて生成されることができる。

0129

次に、Ｓ１１１４で、周囲車両軌跡を生成する過程が行われ、Ｓ１１１６で、周囲車両の位置を予測する過程が行われる。このような周囲車両軌跡は、レーダから獲得された縦方向距離情報と、カメラおよび超音波発生器により獲得された横方向距離情報を用いて生成されることができる。ここで、縦方向距離情報は、自車に対する周囲車両の縦方向距離情報であり、横方向距離情報は、自車に対する周囲車両の横方向距離情報である。

0130

次に、Ｓ１１１８で、軌跡負荷量を計算する過程が行われる。このような軌跡負荷量は、自車走行軌跡と周囲車両走行軌跡を用いて計算されることができる。例えば、探知された周囲車両の走行軌跡と自車走行軌跡とを比較し、それらの差である軌跡距離が臨界値よりも低い場合には１、臨界値よりも高い場合には０と設定される。

0131

次に、Ｓ１１２０で、周囲車両負荷量を計算する過程が行われる。周囲車両負荷量は、ＴＴＣに基づいて自車を中心として区画された多数の危険領域毎の車両数および車線変更有無を考慮して計算される。多数の危険領域は、レーダとカメラ、超音波を用いて周囲車両を認識し、ＴＴＣ値として、探知された車両との相対距離を相対速度値で除した時間を計算することで、多数の危険領域を求めることができる。

0132

次に、Ｓ１１２２で、道路負荷量を計算する過程が行われる。道路負荷量は、ナビゲーション情報、道路の路面状態情報、交通情報などを用いて計算されることができる。

0133

次に、Ｓ１１２４で、運転危険指数を計算する過程が行われる。運転危険指数は、軌跡負荷量、周囲車両負荷量、および道路負荷量の合算より計算されることができる。

0134

次に、Ｓ１１２６で、計算された運転危険指数と臨界値とを比較する過程が行われる。運転危険指数が臨界値以上である場合には、Ｓ１１２８で、その臨界値の大きさに応じて、段階毎に運転者に運転危険状況を警告する。ここで、Ｓ１１２６で、運転危険指数が臨界値未満である場合には、Ｓ１１１０〜Ｓ１１２４の一連の過程を再び行う。

0135

Ｓ１１３０で、運転危険状況を指示する運転危険指数が、車両内のスピーカ、ＨＵＤ、およびＡＶＮを介して運転者に提供される過程が行われる。

0136

図１２は、図７に示された周辺環境認識部の他の実施形態を説明するためのブロック図である。

0137

図１２を参照すると、本発明の他の実施形態による周辺環境認識部１１３０は、最適化されたセクション領域（以下、検出領域）を検出し、最適化された検出領域内で周辺環境を認識する。

0138

図６に示されたカメラセンサ１１２０‐３、１１２０‐７を用いて周辺物体を検知する場合、物体の映像を直接撮影するため、検知した物体が衝突を回避する必要のある障害物であるか否かを判断することができる可能性が大きい。

0139

しかし、画面の解像度および視野のため、障害物が識別可能な程度の映像を撮影することができる距離に限界がある。また、映像のみでは物体との距離を検知しにくいことがある。

0140

図６に示されたレーダセンサ１１２０‐１または不図示のライダセンサは、比較的遠距離にある物体を検知することができる利点がある。しかし、物体の映像を直接検知するのではなく、ノイズの影響を受けやすい。そのため、検知した物体が、衝突を回避する必要のある障害物であるか、ノイズであるかを判断することが容易ではない。また、周辺物体の移動を追跡する場合、センサが物体の移動に追従できず、目標物を逃してしまう場合がある。

0141

そこで、車両周辺の対象物体のうち実際の障害物を正確に識別できるように、対象物体が含まれる検出領域を最適化する必要がある。

0142

そのために、本発明の他の実施形態による周辺環境認識部１１３０は、検出領域生成部をさらに含むように構成されることができる。

0143

図１３は、図１２に示された検出領域生成部の詳細構成を示すブロック図である。

0144

図１３に示されたように、本発明の一実施形態による検出領域を最適化する検出領域生成部１１３２は、遠隔センサ１１３２‐１と、目標追跡部１１３２‐３と、トラック管理部１１３２‐５と、格納部１１３２‐９と、を含む。

0145

遠隔センサ１１３２‐１は、車両周辺の物体の位置を検知して検出信号を出力する。この際、遠隔センサ１１３２‐１は、ライダセンサ、レーダセンサ、およびカメラセンサの少なくとも１つ以上であることができる。

0146

目標追跡部１１３２‐３は、検出信号に基づいて障害物を識別し、前記識別した障害物に対応する位置推定値と誤差の共分散を含むトラックを生成することで、位置を追跡する。

0147

一般に、センサの誤差を克服し、移動する物体の位置を検知するために、カルマンフィルタが用いられている。

0148

カルマンフィルタは、物体の位置に対する推定値を、以前時間の物体の位置に対する推定値および物体の位置の測定値により算出することを繰り返すことで、物体の位置測定において生じる誤差を相殺し、正確な物体の位置を推定する技法である。この際、先ず、以前時間までの物体の位置に対する推定値を用いて、以前時間までの測定値のみを用いた現在時間の推定値を算出する。

0149

その後、以前時間までの測定値のみを用いた現在時間の推定値を、以前時間までの測定値のみを用いて算出した現在時間の共分散および現在時間の物体の位置の測定値を用いて補正することで、現在時間の物体の位置の推定値を算出する。

0150

目標追跡部１１３２‐３は、検出信号が示す物体の位置に基づいて、前記トラックの数と各トラックに対応する障害物の初期位置および検出領域を設定する。この際、障害物の初期位置および検出領域は、次の数学式６で表されるカルマンフィルタを用いて算出することができる。

0151

この際、



は、時間ｋ−１までの情報を用いて推定した時間ｋでの物体の状態値の推定値を示し、



は、時間ｋ−１までの情報を用いて推定した時間ｋ−１での物体の状態値の推定値を示し、



は、時間ｋ−１までの情報を用いて推定した時間ｋでの物体の位置の推定値を示す。

0152

ここで、各トラックは、遠隔センサ１１３２‐１が検知した特定の物体を追跡するためのカルマンフィルタを含むことができる。すなわち、トラック毎に追跡する障害物の位置に対する推定値および測定値によって位置を補正するための誤差の共分散を含み、時間毎に算出された推定値、測定値、および共分散はヒストリとして格納部１１３２‐９に格納されることができる。

0153

トラックに含まれるカルマンフィルタの構成は、次の数学式１０で表されることができる。

0154

0155

前記数学式１０中、ｘ（ｋ）は時間ｋでの物体の状態値を示し、Ｆ（ｋ−１）は時間ｋ−１から時間ｋへの転換時の変化を示す状態転換モデルであり、ｚ（ｋ）は時間ｋでの物体の位置を示し、Ｈ（ｋ）は物体の状態から物体の位置への変換を示す観察モデルであり、ｖ（ｋ−１）は時間ｋ−１での処理ノイズ、ｗ（ｋ）は時間ｋでの測定ノイズを意味する。また、Ｐ（ｋ｜ｋ）は、時間ｋまでの情報を考慮して算出した時間ｋでのカルマンフィルタの誤差の共分散を意味し、Ｐ（ｋ｜ｋ−１）は、時間ｋ−１までの情報を考慮して算出した時間ｋでのカルマンフィルタの誤差の共分散を意味する。Ｑ（ｋ−１）は、時間ｋ−１での予想共分散を示す。

0156

目標追跡部１１３２‐３は、検出信号が示す物体の位置が、トラックに対応する検出領域に含まれるか否かを、物体位置の測定値と予測値の誤差および誤差の共分散に基づいて判断する。

0157

この際、目標追跡部１１３２‐３は、現在トラックに含まれたカルマンフィルタの状態値に応じて検出領域の範囲を設定し、検出領域に含まれている測定値を用いてカルマンフィルタの状態値を更新する。目標追跡部１１３２‐３は、先ず、物体の位置の測定値および物体の位置の予測値に基づいて残差を算出し、カルマンフィルタに含まれた推定誤差の共分散および観察モデルに基づいて残差共分散を算出して、残差および残差共分散に基づいて物体が検出領域に入るかを判断する。

0158

ここで、検出領域は、残差共分散を分散として有するガウシアン確率分布において特定の確率値以下を示す領域と設定され、このような確率値をゲート確率と言う。したがって、残差共分散を算出してゲート確率値を設定することで検出領域を算出することができ、残差共分散とゲート確率値は、カルマンフィルタにより時間が経過するにつれて最適化されるため、時間の経過につれて検出領域を最適化することができる。

0159

残差および残差共分散の算出方法と物体が検出領域に含まれる条件は、次の数学式１１で表されることができる。

0160

0161

前記数学式１１中、ｖ（ｋ，ｉ）は時間ｋでの物体ｉの残差を示し、ｚ（ｋ，ｉ）は物体ｉの位置の測定値を示す。また、Ｐ（ｋ｜ｋ−１）はカルマンフィルタの推定誤差の共分散を示し、Ｒ（ｋ）は時間ｋでの測定ノイズを示し、Ｓ（ｋ）は時間ｋでの測定ノイズを示す。ｒは検出領域の範囲を示す。

0162

トラック管理部１１３２‐５は、検出領域に含まれる物体に対応するトラックに含まれた位置推定値および検出信号に基づいて、トラックに含まれた位置推定値を更新する。

0163

この際、トラック管理部１１３２‐５は、前記位置推定値を更新するためにカルマンゲインを推定誤差の共分散および残差共分散に基づいて算出し、カルマンゲイン、物体の位置測定値、および以前時間までの情報を用いて推定した位置の推定値に基づいて、現在時間までの情報を用いて推定した位置推定値を算出する。位置推定値の更新は、次の数学式１２で表されることができる。

0164

0165

前記数学式１２中、Ｋ（ｋ）はカルマンゲインを示す。上記のように、トラック管理部１1３２‐５が位置推定値を時間の経過につれて測定値を考慮して更新することで、より正確な位置推定値を求めることができる。

0166

トラック管理部１１３２‐５は、第１トラックに含まれた物体位置推定値と、第２トラックに含まれた物体位置推定値との間の距離が、予め設定された基準値未満である場合、格納部１１３２‐９に格納されたヒストリに基づいて第１トラックおよび第２トラックを初期化する。

0167

格納部１１３２‐９は、トラックが更新されるヒストリを格納する。この際、格納部に格納されるヒストリには、トラックに含まれるカルマンフィルタの各時間に対する位置推定値および測定値と推定誤差の共分散値が含まれることができる。

0168

上記のように位置推定値を更新する場合、場合によっては、２つのトラックが示す物体が衝突し得る。トラックが示す物体の位置推定値が予め格納された基準値未満に減少する場合、トラック管理部１１３２‐５は、２つのトラックが示す物体が衝突すると判断し、衝突する両トラックのヒストリに含まれているデータに基づいてトラックを初期化することができる。

0169

また、トラック管理部１１３２‐５は、トラックに含まれた全ての物体位置推定値が、トラックに対応する検出領域に含まれない場合、格納部に格納されたトラックのヒストリに基づいて前記トラックを初期化する。すなわち、トラックが追跡する物体が全て検出領域の外に出されたか、ノイズまたはエラーと判断されてトラックが追跡する物体がなくなる場合、トラックが物体の追従に失敗したことであるため、トラック管理部１１３２‐５はトラックを初期化して新しい物体を追従するようにすることができる。

0170

上述のように、カルマンフィルタを用いてトラックが移動する障害物を追従し、この際、物体を追従するトラックが追従に失敗した場合や、２つのトラックが互いに衝突する場合、トラックを初期化して新しい物体を追従するようにすることで、周辺状態探知システムの物体識別性能を向上させることができる。

0171

以上のように、目標追跡部１１３２‐３およびトラック管理部１１３２‐５が障害物を追従して生成および更新されるトラックに含まれたデータは車両制御部１１３２‐７に伝達され、車両が障害物を回避するか、運転者に警報を発するように車両を制御するのに用いられることができる。

0172

図１４は、本発明の一実施形態による検出領域の最適化方法を示したフローチャートである。

0173

図１４を参照すると、先ず、目標追跡部１１３２‐３が、遠隔センサ１１３２‐１が物体の位置を検知して出力する検出信号に基づいて識別した障害物に対応する位置推定値と誤差の共分散を含むトラックを生成する（Ｓ１４１０）。

0174

この際、上述のように、遠隔センサは、ライダセンサまたはレーダセンサの少なくとも１つ以上であることができる。

0175

また、目標追跡部１１３２‐３が生成するトラックは、位置推定値および誤差の共分散を含むカルマンフィルタを含む。この際、トラックに含まれるカルマンフィルタの構成は、前記数学式１および数学式２についての説明で説明したとおりである。

0176

その後、目標追跡部１１３２‐３は、トラックに対して障害物を検出する範囲である検出領域を算出する（Ｓ１４２０）。

0177

この際、検出領域の大きさは、前記検出信号が示す物体の位置に基づいて初期値と設定されることができる。また、検出領域は、残差共分散を分散として有するガウシアン確率分布においてゲート確率値以下を示す領域と設定されることができる。

0178

次に、目標追跡部１１３２‐３が、検出信号のうち、検出信号が示す物体の位置が前記検出領域に含まれる有効な検出信号を選択する（Ｓ１４３０）。

0179

上述のように、検出信号は、車両の周辺探索システムが追跡する物体の位置の測定値を含み、目標追跡部１１３２‐３は、このような測定値のうち検出領域に含まれる有効な測定値を選択し、カルマンフィルタをアップデートして物体を追跡するのに用いるようにする。

0180

この際、目標追跡部１１３２‐３は、検出信号が示す物体の位置がトラックに対応する検出領域に含まれるか否かを、物体位置の測定値と予測値の誤差および誤差の共分散に基づいて判断する。

0181

目標追跡部１１３２‐３は、現在トラックに含まれたカルマンフィルタの状態値に応じて検出領域の範囲を設定し、検出領域に含まれている測定値を用いてカルマンフィルタの状態値を更新する。ここで、目標追跡部１１３２‐３は、先ず、物体の位置の測定値および物体の位置の予測値に基づいて残差を算出し、カルマンフィルタに含まれた推定誤差の共分散および観察モデルに基づいて残差共分散を算出して、残差および残差共分散に基づいて、物体が検出領域に入るかを判断する。残差および残差共分散の算出方法と物体が検出領域に含まれる条件は、前記数学式３で表されたとおりである。残差共分散とゲート確率値は、カルマンフィルタにより時間が経過するにつれて最適化されるため、時間の経過につれて検出領域を最適化することができる。

0182

次に、トラック管理部１１３２‐５が、第１トラックに含まれた物体位置推定値と、第２トラックに含まれた物体位置推定値との間の距離が、予め設定された基準値未満である場合には、格納部１１３２‐９に格納されたトラックのヒストリに基づいて第１トラックおよび第２トラックを初期化する（Ｓ１４４０）。

0183

格納部１１３２‐９に格納されるヒストリには、トラックに含まれるカルマンフィルタの各時間に対する位置推定値および測定値と推定誤差の共分散値が含まれることができる。

0184

上記のように位置推定値を更新する場合、場合によっては、２つのトラックが示す物体が衝突し得る。トラックが示す物体の位置推定値が予め格納された基準値未満に減少する場合、トラック管理部１１３２‐５は、２つのトラックが示す物体が衝突すると判断し、衝突する両トラックのヒストリに含まれているデータに基づいてトラックを初期化することができる。

0185

次に、トラック管理部１１３２‐５が、前記選択された検出信号および前記検出領域に物体の位置が含まれる物体に対応するトラックに含まれた位置推定値を更新する（Ｓ１４５０）。

0186

この際、トラック管理部１１３２‐５は、前記位置推定値を更新するために、カルマンゲインを推定誤差の共分散および残差共分散に基づいて算出し、カルマンゲイン、物体の位置測定値、および以前時間までの情報を用いて推定した位置の推定値に基づいて、現在時間までの情報を用いて推定した位置推定値を算出する。位置推定値の更新は、前記数学式４で表されたとおりである。

0187

その後、トラック管理部１１３２‐５が、トラックに含まれた全ての物体位置推定値がトラックに対応する検出領域に含まれない場合、格納部に格納されたトラックのヒストリに基づいてトラックを初期化（Ｓ１４６０）し、プロセスを終了する。

0188

すなわち、トラックが追跡する物体が全て検出領域の外に出されるか、ノイズまたはエラーと判断されてトラックが追跡する物体がなくなる場合、トラックが目標の追従に失敗したことであるため、トラック管理部１１３２‐５はトラックを初期化して新しい物体を追従するようにすることができる。

0189

上述のように、カルマンフィルタを用いてトラックが移動する障害物を追従し、物体を追従するトラックが追従に失敗した場合や、２つのトラックが互いに衝突する場合、トラックを初期化して新しい物体を追従するようにすることで、周辺状態探知システムの物体識別性能を向上させることができる。

0190

以上のような方法により生成および更新されるトラックに含まれたデータは車両制御部１１３２‐７に伝達され、車両が障害物を回避するか、運転者に警報を発するように車両を制御するのに用いられることができる。

0191

このように、本実施形態による車両制動などの制御装置および方法によると、車両の周辺状態探知システムが障害物として検知するために追跡する関心領域を示す有効ゲートを動的に更新し、車両周辺の障害物を正確に追跡することで、ライダまたはレーダセンサのみを用いて正確に位置追跡可能な障害物までの距離を延長し、事故危険を防止することができる。

0192

図１５は、本発明の実施形態による運転者状態検知システムのブロック図である。示されたように、運転者状態検知システム１１６０は、獲得部１１６１と、制御部１１６３と、出力部１１６５と、を含む。

0193

獲得部１１６１は、車両の走行操作情報および運転者の不注意状態情報を獲得するための構成である。この際、獲得部１１６１は、走行操作検知部１１６１Ａおよび不注意状態検知部１１６１Ｂを含み、それぞれによって走行操作情報および運転者の不注意状態情報を獲得することができる。

0194

中で、走行操作検知部１１６１Ａは、車両が走行するために必須に動作する制御ユニットの操作を検知するための構成であって、車両の電子制御ユニット（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ、ＥＣＵ）や、電子制御ユニット内の別のモジュールであることができる。

0195

走行操作検知部１１６１Ａは、アクセルペダル操作検知部ｄ１、ブレーキペダル操作検知部ｄ２、マルチファンクション操作検知部ｄ３、操舵ハンドル操作検知部ｄ４などの多数の操作検知部を含むことができる。

0196

図１６の（ａ）に示されたように、走行操作検知部１１６１Ａに含まれた多数の操作検知部は、車両の走行のための操作を検知し、アクセルペダル（ＡＣＣｐａｄ）操作、ブレーキペダル（Ｂｒｅａｋ ｐａｄ）操作、マルチファンクションスイッチ（Ｍｕｌｔｉ ｆｕｎｃｔｉｏｎ Ｓ／Ｗ）操作、操舵ハンドル（Ｓｔｅｅｒｉｎｇ ｗｈｅｅｌ）操作の少なくとも１つの項目の走行操作を検知する。

0197

さらに、走行操作検知部１１６１Ａは、手動変速車両のクラッチペダル操作または変速器操作項目をさらに含む走行操作情報を獲得することができる。この際、走行操作検知部１１６１Ａは、車両の速度を確認し、車両の速度が一定の速度（例えば、１０ｋｍ／ｈ）以上である場合に、走行操作情報を獲得することができる。

0198

一例として、走行操作検知部１１６１Ａは、所定時間の間に、一定時間毎に運転者によって操作されるアクセルペダルの作動回数（ｎＡ）を検知する。例えば、走行操作検知部１１６１Ａは、２００ｍｓの間に、５０ｍｓ毎にアクセルペダルが作動（ＯＮ）するかを持続的に確認する。

0199

同様に、走行操作検知部１１６１Ａは、ブレーキペダルおよびクラッチペダルが一定時間毎に操作される作動回数（それぞれ、ｎＢ、ｎＣ）も検知することができる。

0200

他の例として、走行操作検知部１１６１Ａは、所定時間の間に運転者によって操作されるマルチファンクションの各スイッチの作動回数（ｎＭ）を検知する。ここで、マルチファンクションスイッチとは、車両のワイパー、方向指示灯などのような車両ランプを動作させるためのスイッチであることができる。例えば、走行操作検知部１１６１Ａは、２００ｍｓの間にマルチファンクションスイッチが操作する動作回数をカウントする。

0201

さらに他の例として、走行操作検知部１１６１Ａは、所定時間の間に運転者によって操作されるステアリングホイールの角速度（ｎθ）を検知する。この際、走行操作検知部１１６１Ａは、別に角速度を測定するのではなく、所定時間の間に一定時間毎にステアリングホイールの角変化量を測定して角速度を算出することができる。例えば、走行操作検知部１１６１Ａは、２００ｍｓの間に、５０ｍｓ毎にステアリングホイールの角変化量を測定して角速度を算出することができる。

0202

不注意状態検知部１１６１Ｂは、車両の走行時に付加的に動作される制御ユニットの操作および運転者の動作を検知するための構成であって、オーディオ信号入力検知部Ｔ１、空調信号入力検知部Ｔ２、ナビゲーション信号入力検知部Ｔ３などのような多数の検知部を含むことができる。

0203

また、不注意状態検知部１１６１Ｂは、運転者の動作（Ｖｉｓｕａｌ Ｆａｃｔｏｒ、Ｖｅｒｂａｌ Ｆａｃｔｏｒ）を検知するために、居眠り指数測定部Ｐ、視線方向測定部Ｅ、および音声検知部Ｖを含むことができる。このような不注意状態検知部１１６１Ｂに含まれた多数の検知部および測定部は、図７に例示されたように、車両の所定位置に具現され、周辺機器操作、運転者の顔映像、運転者の音声の少なくとも１つの項目の情報を用いて不注意状態情報を獲得することができる。

0204

一例として、不注意状態検知部１１６１Ｂは、車両走行中に運転者によって周辺機器が操作される回数（ｎＴ）を検知することができる。ここで、周辺機器は、車両用ＡＶＮ（Ａｕｄｉｏ、Ｖｉｄｅｏ、Ｎａｖｉｇａｔｉｏｎ）、車両空調装置などのように、車両走行において必須な装置ではないが、運転者の便宜や車両の室内環境のために操作され得る車両制御ユニットであることができる。例えば、不注意状態検知部１１６１Ｂは、車両が所定速度（例えば、１０ｋｍ／ｈ）以上で走行する中に、一定時間（例えば、２００ｍｓ）の間に運転者によって操作される周辺機器の動作スイッチ入力回数を検知して不注意状態情報として獲得することができる。

0205

他の例として、不注意状態検知部１１６１Ｂは、車両内の所定位置に取り付けられたマイクにより、運転者の音声を検知することができる。例えば、不注意状態検知部１１６１Ｂは、マイクから一定時間の間に受信される音声データのパルスの大きさ（音声の大きさ）および音声発生時間を確認することができる。好ましくは、不注意状態検知部１１６１Ｂ は、メモリーに予め格納されたパルス臨界値を用いて、所定時間（例えば、２００ｍｓ）の間にパルス臨界値以上のパルスの大きさの音声データが受信される時間を検知して不注意状態情報として獲得することができる。

0206

さらに他の例として、不注意状態検知部１１６１Ｂは、車両の所定位置に取り付けられたカメラにより運転者の顔映像を受信し、運転者の閉眼情報および注視怠慢情報を獲得することができる。この際、カメラは、昼間および夜間に映像が記録可能であるように、図１６の（ｂ）のように近赤外線ＬＥＤ（Ｎｅａｒ Ｉｎｆｒａｒｅｄ ＬＥＤ）を含むことができる。

0207

好ましくは、不注意状態検知部１１６１Ｂは、運転者の顔映像から運転者の目領域映像を別に抽出することができる。この際、映像処理によって運転者の顔映像から目領域映像が抽出されることができる。すなわち、不注意状態検知部１１６１Ｂは、カメラから獲得される運転者の顔映像および前記顔映像に含まれた目領域映像を用いて、運転者の閉眼および注視怠慢などの不注意状態情報を獲得することができる。

0208

不注意状態検知部１１６１Ｂは、運転者の顔映像から抽出される目領域映像を用いて、運転者の閉眼情報を獲得することができる。

0209

図１７を参照すると、不注意状態検知部１１６１Ｂは、目領域映像から眼瞼領域を検知し、眼瞼の角度である∠Ａと∠Ｂとの和が、予め設定された所定の臨界角度値である∠Ｃ以下（∠Ａ＋∠Ｂ≦∠Ｃ）である場合、運転者が閉眼していると確認する。

0210

不注意状態検知部１１６１Ｂは一定時間毎に眼瞼の角度を確認して運転者の閉眼回数を検知し、所定時間の間における閉眼回数と一定時間値を演算することで、運転者の居眠り時間（居眠り指数）を獲得することができる。例えば、不注意状態検知部１１６１Ｂは、１秒内２５０ｍｓ区間に分けて閉眼回数を測定（カウント）し、カウントが３である場合、運転者の閉眼時間（居眠り時間）を７５０ｍｓと獲得することができる。

0211

また、不注意状態検知部１１６１Ｂは、運転者の顔映像および前記顔映像に含まれた目領域映像を用いて、運転者の注視怠慢情報を獲得することができる。

0212

図２０を参照すると、注視怠慢の範囲は、ステアリングホイールの角度ではなく、車輪の角度、すなわち、車両中央における車輪の変化角度量（図２０の（ａ）のθＡもしくはθＢ）に基づいて、車両走行時に負荷のない可視距離（η）に運転者の視野範囲があるか否か（視線方向）を確認することで、注視怠慢情報を獲得する。視野範囲は、カメラから獲得される運転者の顔映像から顔の角度（図２０の（ｂ）のα）を算出した後、目領域映像で瞳の位置（瞳孔の方向）（図２０の（ｃ）のβ）を測定することで確認することができる。

0213

具体的に、不注意状態検知部１１６１Ｂ は、ステアリングホイール角度が所定角度以内で、変速器のレバーがＤ位置またはＮ位置である場合、運転者の視線が走行無負荷可視範囲ａ、ｂに一定時間以上進入されないと、注視怠慢と判断するとともに、その時間を確認して注視怠慢情報を獲得することができる。例えば、不注意状態検知部１１６１Ｂは、車両の速度が１０Ｋｍ以上で、変速器のレバーがＤまたはＮ位置であるときに、ステアリングホイール角度が１５°以内である場合、１．５秒以上運転者の視線が走行無負荷可視範囲ａ、ｂに進入されないと、車両前方に対する注視怠慢と判断することができる。

0214

制御部１１６３は、運転者状態検知システム１１６０の全般的な動作を行う構成であって、電子制御ユニットであることができる。例えば、制御部１１６３はＤＷＣ（Ｄｒｉｖｉｎｇ Ｗｏｒｋｌｏａｄ Ｃｏｍｐｕｔｅ Ｕｎｉｔ）と称することができる。

0215

具体的に、制御部１１６３は、獲得部１１６１から獲得された走行操作情報および不注意状態情報を用いて走行操作負荷量および走行妨害負荷量を計算する。

0216

また、走行操作負荷量と走行妨害負荷量を互いに比較して運転者の安全運転状態を判断し、判断結果、安全運転状態ではないと判断されると、警告情報が出力されるように出力部１１６５を制御する。

0217

先ず、制御部１１６３は、獲得部１１６１から獲得された走行操作情報および不注意状態情報を用いて走行操作負荷量および走行妨害負荷量を計算する。

0218

一例として、制御部１１６３は、獲得部１１６１の走行操作検知部１１６１Aから獲得される走行操作情報を用いて走行操作負荷量（Ｗｄ）を計算する。

0219

具体的に、制御部１１６３は、走行操作検知部１１６１Ａから獲得される走行操作情報と、走行操作情報の項目毎の加重値をメモリーから呼び出して走行操作負荷量を計算する。

0220

ここで、加重値は、予め様々な実験によって走行操作情報の項目毎に抽出され、予め設定された値であることができる。または、加重値は、作業者によって項目毎に任意に予め設定された値であることができる。また、メモリーは、データを格納するための格納手段であって、不揮発性メモリーであることができる。

0221

好ましくは、制御部１１６３は、走行操作情報に含まれた項目およびその項目に対応する加重値を用いて、各項目に対する負荷量を計算することができる。例えば、獲得部１１６１からアクセルペダル操作、ブレーキペダル操作、マルチファンクションスイッチ操作、および操舵ハンドル操作の走行操作情報が獲得される場合、制御部１１６３は、メモリーからアクセルペダル操作に対する加重値（ＤＡ）、ブレーキペダル操作に対する加重値（ＤＢ）、マルチファンクションスイッチ操作に対する加重値（ＤＭ）、および操舵ハンドル操作に対する加重値（θ）をメモリーから呼び出すことができる。

0222

もし、獲得部１６１１で、２００ｍｓの間に５０ｍｓ単位で各項目の時間および回数情報が獲得される場合、制御部１１６３により計算される２００ｍｓの間の走行操作負荷量（Ｗｄ）は、数学式１３のように表されることができる。

0223

0224

このような走行操作情報に含まれた各項目は、場合によって加減されることができる。もし、車両の種類によって、走行操作情報にクラッチペダル操作および変速器操作が含まれた場合、制御部１１６３は、クラッチペダル操作に対する加重値および変速器操作に対する加重値をさらに考慮して走行操作負荷量を計算することができる。

0225

他の例として、制御部１１６３は、獲得部１６１１の不注意状態検知部１１６１Ｂから獲得される不注意状態情報を用いて走行妨害負荷量（Ｗｉ）を計算する。具体的に、制御部１１６３は、不注意状態検知部１１６１Ｂから獲得される不注意状態情報に含まれた各項目に対する負荷量を求めることができ、求められた各項目の負荷量を合算して走行妨害負荷量を計算することができる。

0226

制御部１１６３は、獲得部１１６１の不注意状態検知部１１６１Ｂから獲得される周辺機器操作の回数を用いて周辺機器操作負荷量（Ｔ（ｎ））を算出することができる。

0227

例えば、制御部１１６１は、メモリーに予め格納された周辺機器操作に対する加重値をさらに考慮して周辺機器操作負荷量を計算することができる。もし、獲得部１１６１で、２００ｍｓの間における運転者による周辺機器操作の入力回数を獲得する場合、制御部１１６３は、周辺機器操作入力回数と加重値を演算して周辺機器操作負荷量（Ｔ（ｎ））を算出することができる。

0228

さらに、制御部１１６３は、獲得部１１６１の不注意状態検知部１１６１Ｂから獲得される運転者の音声データを用いて音声負荷量（Ｖ（ｎ））を算出することができる。具体的に、制御部１１６３は、メモリーに格納された音声データのパルス臨界値を考慮して音声負荷量を計算することができる。例えば、制御部１１６３は、獲得部１１６１の不注意状態検知部１１６１Ｂから一定時間（例えば、２００ｍｓ）の間に獲得される運転者の音声データにおいてパルス臨界値以上の音声データが受信される時間を演算して音声負荷量（Ｖ（ｔ））を算出することができる。

0229

また、制御部１１６３は、獲得部１１６１の不注意状態検知部１１６１Ｂにより獲得される不注意状態情報のうち閉眼情報および注視怠慢情報を用いて居眠り負荷量（Ｐ（ｔ））および走行注視怠慢負荷量（Ｅ（ｔ））を算出することができる。

0230

図１８のグラフを参照すると、運転者が知覚状態である時には非常に安定していてグラフの変動幅が狭いのに対し、居眠り状態である時のＰＥＲＣＬＯＳ値は変化が非常に激しく、全体的な数値が知覚状態に比べて高く現われる。ここで、ＰＥＲＣＬＯＳ値は数学式１４のように表されることができる。

0231

0232

図１８のグラフに基づいて、制御部１１６３により、ＰＥＲＣＬＯＳの値が所定パーセント（３０％）以上と確認される場合、すなわち、不注意状態検知部１１６１Ｂにより、所定時間（例えば、２５０秒）を基準として一定時間（例えば、約７５秒）運転者が閉眼していると確認される場合、制御部１１６３は、車両警報音が出力されるように出力部１１６５を制御する。これは、居眠り運転が車両走行中における最も高い危険要素であるため、一定時間以上運転者が閉眼していると確認されると、運転者が居眠り運転中であると判断し、警報音が即刻出力されて運転者に警告するためである。

0233

この際、制御部１１６３は、図１９のフローチャートを参照して運転者の閉眼確認動作を行うことができる。

0234

具体的に、制御部１１６３は、車両速度（Ｖ）が所定速度以上（例えば、Ｖ≧１０Ｋｍ／ｈ）であるか否かを判断する（Ｓ１９１０）。所定速度以上であると判断されると、制御部１１６３は、不注意状態検知部１１６１Ｂ により、所定の測定時間（Ｎ）の間に一定時間（ｘ）（例えば、２５０ｍｓまたは０．２５ｓで示す）毎に眼瞼の角度から閉眼の回数（ｙ）を確認して、運転者の閉眼時間（居眠り時間）を算出することができる。

0235

制御部１１６３は、眼瞼の角度が∠Ａ＋∠Ｂ≦∠Ｃであるか否かを判断する（Ｓ１９２０）。眼瞼の角度が∠Ａ＋∠Ｂ≦∠Ｃであると、閉眼していると判断し、閉眼回数をカウント（ｙ＋＋）する（Ｓ１９３０）。

0236

制御部１１６３は、一定時間（ｘ）毎に閉眼回数（ｙ）をカウントし（ｘ＋＝０．２５、ｙ＋＋）、１秒間における閉眼回数が３回（ｘ＝１、ｙ＝３）であると（Ｓ１９４０）、換算因子（Ｐ）値をカウント（Ｐ＋＋）し、１秒ずつ増やしながら（Ｎ＋＋）、上記の過程を繰り返す（Ｓ１４５０）。

0237

もし、２５０秒の測定時間以内に換算因子（Ｐ）が１００以上になると（Ｓ１９６０）、制御部１１６３は、警告（ＷＡＲＮＩＮＧ）イベントを発生するように出力部１１６５を制御する（Ｓ１９７０）。この際、制御部１１６３は、換算因子（Ｐ）値を９９に変更し、測定時間（Ｎ）を１秒減少させた後（Ｐ＝９９、Ｎ−＝１）、上記の過程を繰り返して行い、運転者の閉眼時間（居眠り時間）を算出することができる。さらに、制御部１１６３は、一定時間の間にＥＲＣＬＯＳ値が３０％以上である場合を確認し、居眠り負荷量（Ｐ（ｔ））を算出することができる。

0238

また、制御部１１６３は、不注意状態検知部１１６１Ｂで獲得される注視怠慢情報を用いて注視怠慢負荷量（Ｅ（ｔ））を算出する。

0239

図２０の（ａ）に示されたように、視野範囲が走行無負荷可視距離（η）を外れると、外れた範囲によって負荷因子（Ｖ）の因子値が変わり得る。

0240

外れた範囲（ａ´、ｂ´）は予め設定されており、現在運転者の視野範囲が該当する範囲毎に負荷因子の因子値をメモリーから呼び出して注視怠慢負荷量（Ｅ（ｔ））を算出することができる。

0241

制御部１１６３は、算出された周辺機器操作負荷量（Ｔ（ｎ））、音声負荷量（Ｖ（ｔ））、居眠り負荷量（Ｐ（ｔ））、および注視怠慢負荷量（Ｅ（ｔ））を演算し、走行妨害負荷量（Ｗｉ）として計算することができる。

0242

また、車両の状態および場合によっては、不注意状態情報を用いて獲得された負荷量のうち走行妨害負荷量の計算に考慮されない負荷量があってもよい。

0243

制御部１１６３は、走行負荷量（Ｗｄ）と走行妨害負荷量（Ｗｉ）を互いに比較して運転者の安全運転状態を判断する。

0244

具体的に、制御部１１６３は、走行負荷量（Ｗｄ）から走行妨害負荷量（Ｗｉ）を引いた値が、予め設定された余裕負荷量（Ｗｌ）以下である場合、運転者が安全運転状態ではないと判断する。ここで、余裕負荷量（Ｗｌ）は、走行負荷量、走行情報（変速ギア状態、車両加速度、操舵進行など）から被実験者の条件に応じた実験によって抽出されてメモリーに予め格納された値であり、走行条件によって可変（Ｗｄ∝Ｗｌ）され得る。すなわち、運転者の運転状態が安全運転状態であると判断されるためには、下記の数学式１５の条件を満たすべきである。

0245

0246

ここで、ｔは時間値であり、ｎは回数値である。

0247

出力部１１６５は、画面出力および警報音出力のための構成であって、液晶表示装置（ＬＣＤ）およびスピーカを含む。好ましくは、出力部１１６５は、図２１の（ｂ）のように、クラスタを介して画面と警報音を出力することができる。または、出力部１１６５はオーディオディスプレイを介して画面出力することもできる。さらに、出力部１１６５は、制御部１１６３の安全運転状態判断結果およびその結果値を図２１の（ａ）のように、棒グラフの形式で画面に表示することができる。この際、棒グラフは様々な色で表示されることができる。

0248

例えば、制御部１１６３は、走行負荷量と走行妨害負荷量との差による現在の負荷量の情報を棒グラフで画面表示するように出力部１１６５を制御することができる。

0249

具体的に、制御部１１６３により計算された走行負荷量（Ｗｄ）と走行妨害負荷量（Ｗｉ）との差を余裕負荷量（Ｗｌ）で除した結果値（Ｃ）を棒グラフのパーセント単位で示すことができる。

0250

もし、車両走行が困難となる瞬間を７５％と予め設定した場合、制御部１１６３は、結果値（Ｃ）が７５％以上であると、棒グラフの色を赤色で表示するように出力部１１６５を制御することができ、棒グラフが点滅されるように出力部１１６５を制御することで、運転者に車両走行の危険を想起させることができる。

0251

また、この場合、制御部１１６３は、警報音が出力されるように出力部１１６５を制御することで、運転者に警告することができる。

0252

結果値（Ｃ）が７５％未満である場合には、棒グラフが緑色で表示され、運転者に安全な状態であることを報知することができる。

0253

さらに、制御部１１６３は、走行負荷量（Ｗｄ）と走行妨害負荷量（Ｗｉ）との差を余裕負荷量（Ｗｌ）で除した結果値（Ｃ）が一定水準（例えば、８５％）以上である場合、車両走行の安全には差し支えのないＡＶＮの電源を強制的にオフ（ＯＦＦ）させることができる。

0254

尚、制御部１１６３は、出力部１１６５によって出力される警報音の音量を、結果値（Ｃ）の累乗に比例するように高めることで、運転者に走行危険を強く警告することができる。

0255

このように、車両走行に伴って発生する走行負荷量と、周辺機器および運転者の居眠りなどのように走行に妨害となる走行妨害負荷量とを比較して運転者の安全運転状態を確認し、車両運転に妨害となる負荷量が高い場合に運転者に警告するとともに、場合によっては、車両走行において必須ではない要素（例えば、周辺機器）の動作を強制的に停止させ、車両運転に妨害となる走行妨害負荷量を減少させることで、運転者が安全運転できるようにする効果を奏する。

0256

図２２は、本発明の実施形態による運転者状態検知方法のフローチャートである。

0257

先ず、運転者状態検知システム１１６０は走行操作情報および運転者の不注意状態情報を獲得する（Ｓ２２１０）。

0258

具体的に、運転者状態検知システム１１６０は、車両走行において必須な走行制御ユニットの走行操作を検知して走行操作情報を獲得する。

0259

例えば、運転者状態検知システム１１６０は、アクセルペダル（ＡＣＣｐａｄ）操作、ブレーキペダル（Ｂｒｅａｋ ｐａｄ）操作、マルチファンクションスイッチ（Ｍｕｌｔｉ ｆｕｎｃｔｉｏｎＳ／Ｗ）操作、操舵ハンドル（Ｓｔｅｅｒｉｎｇ ｗｈｅｅｌ）操作の少なくとも１つの項目の走行操作を検知して走行操作情報を獲得する。この際、運転者状態検知システム１１６０は、車両の速度を確認し、車両の速度が一定速度（例えば、１０ｋｍ／ｈ）以上である場合に走行操作情報を獲得することができる。

0260

一例として、運転者状態検知システム１１６０は、所定時間の間に一定時間毎に運転者によって操作されるアクセルペダルの作動回数（ｎＡ）を検知する。これと同様に、運転者状態検知システム１１６０は、ブレーキペダルおよびクラッチペダルが一定時間毎に操作される作動回数（それぞれ、ｎＢ、ｎＣ）も検知することができる。

0261

他の例として、運転者状態検知システム１１６０は、所定時間の間に運転者によって操作されるマルチファンクションの各スイッチの作動回数（ｎＭ）を検知する。ここで、マルチファンクションスイッチとは、車両のワイパー、方向指示灯などのような車両ランプを動作させるためのスイッチである。

0262

さらに他の例として、運転者状態検知システム１１６０は、所定時間の間に運転者によって操作されるステアリングホイールの角速度（ｎθ）を検知する。この際、運転者状態検知システム１１６０は、別に角速度を測定するのではなく、所定時間の間に一定時間毎にステアリングホイールの角変化量を測定して角速度を算出することができる。

0263

さらに、運転者状態検知システム１１６０は、車両走行中に選択的に運転者によって制御される周辺機器、運転者の音声および顔情報を用いて不注意状態情報を獲得する。

0264

一例として、運転者状態検知システム１１６０は、車両走行中に運転者によって周辺機器が操作される回数（ｎＴ）を検知することができる。ここで、周辺機器は、車両用ＡＶＮ（Ａｕｄｉｏ、Ｖｉｄｅｏ、Ｎａｖｉｇａｔｉｏｎ）、車両空調装置などのように、車両走行において必須な装置ではないが、運転者の便宜や車両の室内環境のために操作され得る車両制御ユニットである。

0265

他の例として、運転者状態検知システム１１６０は、車両内の所定位置に取り付けられたマイクによって運転者の音声を検知することができる。例えば、運転者状態検知システム１１６０は、マイクから一定時間の間に受信される音声データのパルスの大きさ（音声の大きさ）および音声発生時間を確認することができる。

0266

さらに他の例として、運転者状態検知システム１１６０は、車両の所定位置に取り付けられたカメラによって運転者の顔映像を受信し、運転者の閉眼情報および注視怠慢情報を獲得することができる。この際、カメラは、昼間および夜間に映像が記録可能であるように、図１６の（ｂ）のように、近赤外線ＬＥＤ（Ｎｅａｒ Ｉｎｆｒａｒｅｄ ＬＥＤ）を含むことができる。

0267

好ましくは、運転者状態検知システム１１６０は、運転者の顔映像から運転者の目領域映像を別に抽出することができる。この際、運転者の顔映像が映像処理されて目領域映像が抽出されることができる。すなわち、運転者状態検知システム１１６０は、カメラから受信される運転者の顔映像および目領域映像を用いて、運転者の閉眼情報および注視怠慢情報などの不注意状態情報を獲得することができる。

0268

運転者状態検知システム１１６０は、運転者の顔映像から抽出される目領域映像を用いて、運転者の閉眼情報を獲得することができる。図８を参照すると、運転者状態検知システム１１６０は、目領域映像から眼瞼領域を検知し、眼瞼の角度である∠Ａと∠Ｂとの和が、予め設定された所定の臨界角度値である∠Ｃ以下（∠Ａ＋∠Ｂ≦∠Ｃ）である場合、運転者が閉眼していると確認する。

0269

運転者状態検知システム１１６０は、一定時間毎に眼瞼の角度を確認して運転者の閉眼回数を検知し、所定時間の間における閉眼回数と一定時間値を演算することで、運転者の閉眼情報（居眠り時間）を獲得することができる。

0270

また、運転者状態検知システム１１６０は、運転者の顔映像および目領域映像を用いて、運転者の注視怠慢情報を獲得することができる。

0271

図２０を参照すると、注視怠慢の範囲は、ステアリングホイールの角度ではなく、車輪の角度、すなわち、車両中央における車輪の変化角度量（図２０の（ａ）のθＡもしくはθＢのような例示）に基づいて、車両走行時に負荷のない可視距離（η）に運転者の視野範囲があるか否かを確認することで注視怠慢情報を獲得する。ここで、視野範囲は、カメラから獲得される運転者の顔映像から顔の角度（図２０の（ｂ）のα）を算出した後、目領域映像で瞳の位置（瞳孔の方向）（図２０の（ｃ）のβ）を測定することで確認することができる。

0272

具体的に、ステアリングホイールの角度が所定角度以内で、変速器のレバーがＤ位置またはＮ位置である場合、運転者の視線が走行無負荷可視範囲（ａ、ｂ）に一定時間以上進入されないと、運転者状態検知システム１１６０は注視怠慢と判断するとともに、その時間を確認して注視怠慢情報を獲得することができる。

0273

運転者状態検知システム１１６０は、ステップＳ２２１０で獲得された走行操作情報および不注意状態情報を用いて走行操作負荷量および走行妨害負荷量を計算する（Ｓ２２２０）。

0274

一例として、運転者状態検知システム１１６０は、走行操作情報を用いて走行操作負荷量（Ｗｄ）を計算する。具体的に、運転者状態検知システム１１６０は、走行操作情報と、走行操作情報の項目毎の加重値をメモリーから呼び出して走行操作負荷量を計算する。

0275

ここで、加重値は、予め様々な実験により、走行操作情報の項目毎に抽出されて予め設定された値である。または、加重値は、予め作業者によって項目毎に任意に予め設定された値であってもよい。

0276

好ましくは、運転者状態検知システム１１６０は、走行操作情報に含まれた項目およびその項目に対応する加重値を用いて、各項目に対する負荷量を計算することができる。例えば、運転者状態検知システム１１６０は、アクセルペダル操作、ブレーキペダル操作、マルチファンクションスイッチ操作、および操舵ハンドル操作の走行操作情報が獲得される場合、予め格納されているアクセルペダル操作に対する加重値（ＤＡ）、ブレーキペダル操作に対する加重値（ＤＢ）、マルチファンクションスイッチ操作に対する加重値（ＤＭ）、および操舵ハンドル操作に対する加重値（θ）を呼び出すことができる。もし、２００ｍｓの間に、５０ｍｓ単位で走行操作情報に含まれた各項目の時間および回数情報が獲得される場合、２００ｍｓの間の走行操作負荷量（Ｗｄ）は、数学式１３のように表さることができる。

0277

他の例として、運転者状態検知システム１１６０は、不注意状態情報を用いて走行妨害負荷量（Ｗｉ）を計算する。具体的に、運転者状態検知システム１１６０は、不注意状態情報に含まれた各項目に対する負荷量を求めることができ、求められた各項目の負荷量を合算して走行妨害負荷量を計算することができる。

0278

運転者状態検知システム１１６０は、周辺機器操作の回数を用いて周辺機器操作負荷量（Ｔ（ｎ））を算出することができる。例えば、運転者状態検知システム１１６０は、予め格納された周辺機器操作に対する加重値をさらに考慮して周辺機器操作負荷量を計算することができる。もし、所定時間の間に運転者による周辺機器操作の入力回数を獲得する場合、運転者状態検知システム１１６０は、周辺機器操作入力回数と加重値を演算して周辺機器操作負荷量（Ｔ（ｎ））を算出することができる。

0279

さらに、運転者状態検知システム１１６０は、運転者の音声データを用いて音声負荷量（Ｖ（ｎ））を算出することができる。具体的に、運転者状態検知システム１１６０は、予め格納された音声データのパルス臨界値を考慮して音声負荷量を計算することができる。例えば、運転者状態検知システム１１６０は、所定時間の間に獲得される運転者の音声データにおいてパルス臨界値以上の音声データが受信される時間を演算することで音声負荷量（Ｖ（ｔ））を算出することができる。

0280

また、運転者状態検知システム１１６０は、不注意状態情報のうち閉眼情報および注視怠慢情報を用いて、居眠り負荷量（Ｐ（ｔ））および走行注視怠慢負荷量（Ｅ（ｔ））を算出することができる。

0281

この際、運転者状態検知システム１１６０は、図１９のフローチャートを参照して運転者の閉眼確認動作を行うことができ、車両速度（Ｖ）が所定速度以上である際に、所定時間（Ｎ）の間に一定時間（ｘ）毎に眼瞼の角度から閉眼回数（ｙ）を確認することで、運転者の閉眼時間（居眠り時間）を算出することができる。さらに、一定時間の間にＰＥＲＣＬＯＳ値が３０％以上である場合をカウント（Ｐ）した値を負荷因子として換算することで、居眠り負荷量（Ｐ（ｔ））を算出することができる。

0282

また、運転者状態検知システム１１６０は、不注意状態情報のうち注視怠慢情報を用いて、注視怠慢負荷量（Ｅ（ｔ））を算出する。図２０のように、視野範囲が走行無負荷可視距離（η）を外れると、外れた範囲によって負荷因子（Ｖ）の因子値が変わり得る。図２０の（ａ）を外れた範囲（ａ´およびｂ´）は予め設定されており、現在運転者の視野範囲が該当する範囲毎に負荷因子の因子値をメモリーから呼び出して注視怠慢負荷量（Ｅ（ｔ））を算出することができる。

0283

運転者状態検知システム１１６０は、このように算出された周辺機器操作負荷量（Ｔ（ｎ））、音声負荷量（Ｖ（ｔ））、居眠り負荷量（Ｐ（ｔ））、および注視怠慢負荷量（Ｅ（ｔ））を演算し、走行妨害負荷量（Ｗｉ）として計算することができる。

0284

運転者状態検知システム１１６０は、走行操作負荷量（Ｗｄ）と走行妨害負荷量（Ｗｉ）との差と余裕負荷量（Ｗｌ）とを比較する（Ｓ２２３０）。

0285

具体的に、運転者状態検知システム１１６０は、走行負荷量（Ｗｄ）から走行妨害負荷量（Ｗｉ）を引いた値が、予め設定された余裕負荷量（Ｗｌ）以下であるかを確認する。ここで、余裕負荷量（Ｗｌ）は、走行負荷量、走行情報（変速ギア状態、車両加速度、操舵進行など）から被実験者の条件に応じた実験により抽出されてメモリーに予め格納されている値であり、走行条件によって可変（Ｗｄ∝Ｗｌ）され得る。この際、運転者状態検知システム１１６０は、走行負荷量（Ｗｄ）と走行妨害負荷量（Ｗｉ）との差を余裕負荷量（Ｗｌ）で除した結果値（Ｃ）を算出することができる。

0286

もし、車両走行が困難となる瞬間が臨界パーセント値で予め設定されていて、ステップＳ２２３０の比較結果値（Ｃ）が臨界パーセント値以上である場合には、運転者状態検知システム１１６０は運転者に警告する（Ｓ２２４０）。

0287

車両走行が困難となる瞬間が７５％と予め設定されていて、ステップＳ２２３０の比較結果値（Ｃ）が７５％以上であると、運転者状態検知システム１１６０は運転者に警告する。例えば、運転者状態検知システム１１６０は、現在の負荷量を示す棒グラフの色を赤色で画面表示し、さらには棒グラフを点滅することで、運転者に車両走行の危険を想起させることができる。また、このような場合、運転者状態検知システム１１６０は警報音を出力して運転者に警告することができる。

0288

もし、ステップＳ２２３０の比較結果値（Ｃ）が７５％未満である場合には、運転者状態検知システム１１６０は、現在の負荷量を示す棒グラフを緑色で表示し、運転者に安全な状態であることを報知することができる（Ｓ２２５０）。

0289

このように、車両走行に伴って発生する走行負荷量と、周辺機器および運転者の居眠りなどのように走行に妨害となる走行妨害負荷量とを比較して運転者の安全運転状態を確認し、車両運転に妨害となる負荷量が高い場合に運転者に警告するとともに、場合によっては、車両走行において必須ではない要素（例えば、周辺機器）の動作を強制的に停止させ、車両運転に妨害となる走行妨害負荷量を減少させることで、運転者が安全運転できるようにする効果を奏する。

0290

上述のように、本実施形態は、運転性向が互いに異なる複数の運転者によって車両が走行される場合、運転者毎に異なる運転パターンや運転状況を考慮せずに学習することで発生していた運転者性向認識不良を除去する。

0291

また、本実施形態は、逆光およびトンネルに進出入の時に、横方向制御時における車線未認識の問題点を除去することで、横方向制御機の可用範囲を拡大する。

0292

また、本実施形態は、これから開発される統合無人車両制御機にも適用可能である。

0293

図２３は本発明の一実施形態による状況検知装置の概略的なブロック図であり、図２４は運転者状態検知部の例示図であり、図２５は車両周囲状況検知部の例示図であり、図２６は判断部のブロック図であり、図２７は警告部のブロック図である。

0294

本発明の一実施形態による車両搭載の状況検知装置は、検知部２０１０と、運転パターン学習部２０２０と、加重値決定部２０３０と、判断部２０４０と、警告部２０５０と、メモリー部２０６０と、を含む。前記検知部２０１０、運転パターン学習部２０２０、加重値決定部２０３０、判断部２０４０、警告部２０５０、メモリー部２０６０は、互いにブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）、ワイファイ（ＷＩＦＩ）などを用いて無線で連結されてもよく、ＲＳ‐２３２、ＲＳ‐４８５、ＣＡＮなどを用いて有線で連結されてもよい。

0295

運転者状態検知部２０１１は、車両の走行情報、車両の操作情報、および運転者の状態情報を獲得するための構成であって、車両の走行情報は、例えば、運転者がどれくらいの頻度でアクセルペダルを踏んだか、運転者がどれくらいの頻度でブレーキペダルを踏んだか、運転者がどれくらいの頻度でステアリングホイールを操作したか、運転者がどれくらいの頻度でマルチファンクションスイッチを操作したかなどの情報を意味する。また、手動変速車両の場合には、前記情報の他にも、運転者がどれくらいの頻度でクラッチペダルを踏んだか、運転者がどれくらいの頻度で変速器を操作したかなどの情報を含むことができる。前記マルチファンクションスイッチは、ワイパー、方向指示灯、照明灯などのスイッチを意味し、これは車両走行において必要な要素であるため、マルチファンクションスイッチの操作情報は車両走行情報に含まれることができる。車両の操作情報は、例えば、運転者がどれくらいの頻度でＡＶＮ（ＡＵＤＩＯ ＶＩＤＥＯ ＮＡＶＩＧＡＴＩＯＮ）を操作したか、運転者がどれくらいの頻度で空調装置を操作したかなどの情報を含むことができる。運転者の状態情報は、例えば、運転者がどれくらい長時間対話（通話を含む）しているか、運転者が居眠りしているか、運転者が前方を注視しているか、運転者の心電図または脳波に異常状態が発生しているかなどを含むことができる。

0296

検知部２０１０は、運転者を識別し、運転者の状態データ、車両の走行情報、または車両周辺の障害物に関するデータを獲得するための構成であって、運転者状態検知部２０１１および車両周囲状況検知部２０１２を含む。

0297

運転者状態検知部２０１１は、赤外線ＬＥＤ映像装置、ステアリングホイールの速度検知センサ、ステアリングホイールの角度検知センサ、サスペンションの動き検知センサ、各ペダル作動検知センサ、マルチファンクション操作有無検知センサ、音声認識センサ、ＡＶＮ操作有無検知センサ、空調装置操作有無検知センサ、ギヤボックスセンサ、コンソールボックス操作有無検知センサ、グローブボックス操作有無検知センサの何れか１つ以上を含むことができる。

0298

運転者状態検知部２０１１は、運転者の走行と直接関連しない操作および行動の情報も獲得し、状況判断のための根拠を提供する。運転者状態検知部２０１１は、赤外線ＬＥＤ映像装置を用いて瞳孔および顔の画像データを取得する。これにより、現在の運転者の識別が行われる。赤外線ＬＥＤ映像装置を用いて、運転者が居眠りしているか否かを判断するための眼瞼検知、および運転者が前方注視しているか否かを判断するための瞳孔方向に関するデータを取得する。また、アクセルペダル、ブレーキペダル、ステアリングホイール、マルチファンクションなどの操作によって発生するデータを取得する。運転者の音声を認識することで、運転者がどれくらい長時間対話（通話を含む）しているかのデータを取得する。ＡＶＮ、空調装置、ギヤボックス、コンソールボックス、グローブボックスなどの周辺機器をどれくらいの頻度で操作するかのデータを取得する。

0299

車両周囲状況検知部２０１２は、自車の走行情報および周囲車両の走行情報を獲得するための構成であって、自車の走行情報は、例えば、自車の速度、ヨーレート、操舵角、加速度、ステアリングホイールの角変化量および角速度などの情報を意味する。周囲車両の走行情報は、周囲車両の速度、ヨーレート、操舵角、加速度、ステアリングホイールの角変化量および角速度などの情報を意味する。そのために、車両周囲状況検知部２０１２は、自車の車速センサ、ヨーレートセンサ、操舵角センサ、加速度センサ、ステアリングホイールセンサ、前方／後方レーダ、前方／後方カメラ、側方超音波装置、ＡＶＭ（Ａｒｏｕｎｄ Ｖｉｅｗ Ｍｏｎｉｔｏｒｉｎｇ Ｓｙｓｔｅｍ）用カメラ、ＳＣＣ（Ｓｍａｒｔ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）、ＬＫＡＳ（Ｌａｎｅ ＫｅｅｐｉｎｇＡｓｓｉｓｔａｎｔ Ｓｙｓｔｅｍ）、ＳＰＡＳ（Ｓｍａｒｔ Ｐａｒｋｉｎｇ Ａｓｓｉｓｔａｎｔ Ｓｙｓｔｅｍ）、ＡＶＭ（Ａｒｏｕｎｄ Ｖｉｅｗ Ｍｏｎｉｔｏｒｉｎｇ）の何れか１つ以上を含むことができる。車両周囲状況検知部２０１２は、自車の走行情報、周辺の障害物および周辺環境に関する情報を収集することで、運転者の走行時における危険度を判断する時に信頼性を高める。

0300

運転パターン学習部２０２０は、前記検知部２０１０により獲得されたデータに基づいて、運転者の運転パターンを学習（データアップデート）し、学習されたデータをメモリー部２０６０に格納する。

0301

運転パターン学習部２０２０は、新規運転者の場合には、予め格納されたＤＥＦＡＵＬＴ運転パターンを呼び出して状況検知を実施し、新しくメモリーを割り当てて学習を開始する。予め格納されたＤＥＦＡＵＬＴ運転パターンは、実験により得られた多数の運転者の平均的な運転パターンであることができる。これにより、従来技術と異なって、新規運転者の走行に対応して新規運転者の安全運行を誘導することができる。運転パターン学習部２０２０は、予め設定された学習範囲内の運転パターンを学習して格納する。学習対象の運転パターンを予め設定された学習範囲内の運転パターンに制限することは、運転中の突発状況による急加速、急制動、急回転などの運転パターンを同一の条件で学習する場合、不要な警告を行う可能性が高いため、このようなノイズを除去するためである。前記予め設定された範囲は、被実験者の条件に応じた実験によって決定されることができる。

0302

加重値決定部２０３０は、前記運転パターン学習部２０２０により学習された運転パターンに基づいて、前記検知部２０１０により獲得された情報データに付与される加重値を決定する。これは、学習された運転パターンに応じて運転者毎に特化した状況検知および警告システムを提供して、安全運転を誘導するためである。一例として、運転者Ａが、運転中にアクセルペダル、ブレーキペダル、マルチファンクションスイッチなどの操作を多く用いると、前記操作情報データに対する加重値を高く設定し、運転者Ｂが、ＡＶＮスイッチ、空調装置スイッチなどの操作を多く用いると、前記操作情報データに対する加重値を高く設定する。

0303

前記加重値は、初期には、被実験者の条件に応じた実験によって決定されることができる。これにより、新規運転者に対しても加重値を決定して車両の状況検知を行うことができる。上記のように決定された加重値は、警告部２０５０でのフィードバックにより、獲得された情報データおよび算出された統合危険指数を情報データの基準値および統合危険指数の基準値と比較して、下記の数式のように変化させる。これにより、運転者の運転パターンに応じて運転者毎に特化した状況検知および警告システムを提供し、安全運転を誘導することができる。

0304

0305

前記数式中、Ｒは統合危険指数、αは加重値、Ｗは獲得された情報データ、ｄＷは情報データの基準値、ｄＲは統合危険指数の基準値を意味し、



である。加重値決定部２０３０では、それぞれの基準値に対する現在のＲ、Ｗ値の大きさを比較し、図３０および前記数式のように加重値を変化させる。α（ｎ＋１）はフィードバックによって変化された加重値を意味し、α（ｎ）は変化前の加重値を意味する。δは、統合危険指数において、各情報データの変化前の加重値が占める割合を意味し、各情報データの加重値は、δ値だけ増加または減少することができる。

0306

判断部２０４０は、前記加重値決定部２０３０により決定された加重値が付与されたデータに基づいて運転者が安全運転しているか否かを判断する構成であって、演算学習部２０７０と、演算部２０８０と、検討部２０９０と、制御部２１００と、を含む。

0307

演算学習部２０７０は、前記加重値決定部２０３０により加重値が付与されたデータのうち、統合危険指数が予め設定された基準危険指数を超える原因となるデータの順に整列して、複数の上位データのみを選定する。本発明による状況検知装置は、車両内外部の多数のセンサから多量のデータを収集し、状況を高精度に検知する。しかし、多量のデータの処理に過度に多くの時間がかかると、事故を予防し、且つ安全運転を誘導するための本発明の趣旨に反することになる。そのため、瞬間的な判断が要求される走行中には、多量のデータのうち一部のデータのみを選定し、迅速な演算を図る必要がある。したがって、演算学習部２０７０では、迅速な演算のための学習およびデータ選定が行われる。演算学習部２０７０の選定機能は、初期には非活性化しており、制御部２１００から出た結果を格納する。その後、一定回数以上のデータが格納されると、前記演算部２０８０により算出された統合危険指数が予め設定された基準危険指数を超えるのに最も大きい原因となるデータの順に整列し、上位の複数のデータのみを選定して演算に用い、残りのデータを無視することで、演算速度を速くする。

0308

一例として、５０００回以上の危険警告が発生し、５０００回以上の危険指数データが格納されていると、この際、算出された統合危険指数が、予め設定された基準危険指数を超えるようにした原因となるデータを選別する。すなわち、ブレーキペダル操作回数のためであるか、ステアリングホイールの角変化量のためであるか、運転者の注視怠慢のためであるか、周囲車両の軌跡のためであるかなどを分析し、加重値が反映されたデータのうち最も大きい３つのデータを選定することができる。

0309

その後には、選定されたデータのみを統合危険指数の算出に反映し、残りのデータは統合危険指数の算出に反映しないことで、演算速度を高めることができる。演算学習部２０７０により選定されたデータは演算部２０８０に伝達される。

0310

演算部２０８０は、前記加重値決定部２０３０により加重値が付与されたデータのうち、前記演算学習部２０７０により選定された一部のデータを、予め設定された演算式によって演算することで、統合危険指数を算出する。一例として、下記の数式のように、前記演算学習部２０７０により選定されたデータに、前記加重値決定部により付与されたデータ毎の加重値を乗じたそれぞれの危険指数を合算することで、運転者の統合危険指数を算出することができる。

0311

0312

ここで、Ｒは統合危険指数、αは選定された情報データ毎の加重値、Ｗは選定された情報データを意味する。

0313

検討部２０９０は、前記演算部２０８０の演算結果が有効であるかを判断する。前記演算学習部２０７０で迅速な演算のために一部のデータを選定し、それに基づいて演算する場合、演算結果に誤りが発生する可能性がある。本発明の目的は安全運転を誘導することであるため、運転者の安全のために誤りを除去するための検討過程が必要である。検討部２０９０では、現在の運転者の予め格納された運転パターンに基づいて算出された危険指数（以下、検討危険指数）と、現在の運転者の現在の運転パターンを学習した運転パターンに基づいて算出された統合危険指数とを比較して、検討危険指数と算出された統合危険指数との差が、予め設定された誤差範囲内である場合に、算出された危険指数値が有効であると判断する。また、前記統合危険指数を制御部２１００に伝達する。予め設定された誤差範囲は、被実験者の条件に応じた実験値であることができる。また、検討危険指数は、運転者の現在の走行前に予め演算されてメモリー部２０６０に格納されることができる。

0314

制御部２１００は、前記検討部２０９０から伝達された統合危険指数と、予め設定された基準危険指数とを比較し、比較結果に応じて警告部２０５０を活性化する役割をする。

0315

警告部２０５０は、運転者に安全運転状態ではないことを知らせて安全運転を誘導するための構成であって、運転者警告部２０５１と、付加機能制御部２０５２と、車両制御部２０５３と、を含む。運転者警告部２０５１は、安全運転状態ではないと判断された際に、運転者に警告音を発生させるか、あるいは安全運転状態ではないことを知らせる案内アナウンスを再生することができる。運転者警告部２０５１は、車両に設けられたスピーカを活用してもよい。付加機能制御部２０５２は、車両の計器盤、ＡＶＮ、またはＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）を介して運転負荷量を表示してもよい。車両制御部２０５３は、安全運転状態ではないと判断された場合、車両を安全に停車させる装置であって、車両に設けられたステアリングホイール、変速器、ブレーキを制御する装置を含むことができる。

0316

メモリー部２０６０は、運転者情報、運転者の運転パターン情報、予め設定された加重値、予め設定された誤差範囲、予め格納された検討危険指数、予め設定された基準危険指数などの情報を格納して呼び出すことができる。メモリー部２０６０は、データを格納するための格納手段であって、不揮発性メモリーであることができる。一例として、メモリー部２０６０には、運転者Ａ、運転者Ｂ、運転者Ｃ、…などの運転者情報が登録されており、それぞれの運転者に対応する運転パターン情報が「運転者Ａ‐運転パターンＡ」、「運転者Ｂ‐運転パターンＢ」、「運転者Ｃ‐運転パターンＣ」、…などのような形式で登録される。この際、各運転パターンには、単位時間当りのアクセルペダル操作回数、単位時間当りのブレーキペダル操作回数などの、前記検知部２０１０により獲得されたデータが含まれる。

0317

図２８は本発明のさらに他の実施形態による状況検知方法の概略的なフローチャートであり、図２９は運転パターン学習ステップのフローチャートであり、図３０は加重値決定ステップの状態図である。図３１は演算学習ステップのフローチャートであり、図３２は検討ステップのフローチャートであり、図３３は警告ステップのフローチャートであり、図３４から図３６は状況検知方法の詳細なフローチャートである。図２８から図３６を参照すると、本発明のさらに他の実施形態による車両搭載状況検知方法は、運転者認識ステップ（Ｓ２８１０）と、運転パターン呼び出しステップ（Ｓ２８２０）と、検知ステップ（Ｓ２８３０）と、運転パターン学習ステップ（Ｓ２８４０）と、加重値決定ステップ（Ｓ２８５０）と、判断ステップ（Ｓ２８６０）と、警告ステップ（Ｓ２８７０）と、を含む。

0318

運転者認識ステップ（Ｓ２８１０）は、予め格納された運転者情報を呼び出し、現在の運転者と一致するかを比較するステップであって、運転者データ取得ステップ（Ｓ３４１１）と、運転者識別ステップ（Ｓ３４１２）と、を含む。運転者データ取得ステップ（Ｓ３４１１）は、映像装置を用いて瞳孔または顔の画像データを取得するステップであり、運転者識別ステップ（Ｓ３４１２）は、前記運転者データ取得ステップ（Ｓ３４１１）で取得された瞳孔または顔の画像データと、メモリー部２０６０に予め格納された運転者情報とを比較して運転者を識別するステップである。

0319

運転パターン呼び出しステップ（Ｓ２８２０）は、前記運転者認識ステップ（Ｓ２８１０）で識別された運転者の予め格納された運転パターンをメモリー部２０６０から呼び出すステップである。もし、新規運転者であって、予め格納された運転者情報に一致する運転者がない場合には、予め格納されたＤＥＦＡＵＬＴ運転パターンを呼び出す。予め格納されたＤＥＦＡＵＬＴ運転パターンは、実験によって得られた多数の運転者の平均的な運転パターンであることができる。これにより、従来技術と異なって、新規運転者の場合にも運転者の走行に対応して安全運行を誘導することができる。

0320

検知ステップ（Ｓ２８３０）は、運転者の状態情報、車両の走行情報、または車両周辺の障害物に関する情報を収集するステップであって、運転者状態検知ステップ（Ｓ２８３１）と、車両周囲状況検知ステップ（Ｓ２８３２）と、を含む。

0321

運転者状態検知ステップ（Ｓ２８３１）は、運転者の状態情報を収集するステップであって、車両の走行情報、車両の操作情報、および運転者の状態情報を獲得するための構成である。車両の走行情報は、例えば、運転者がどれくらいの頻度でアクセルペダルを踏んだか、運転者がどれくらいの頻度でブレーキペダルを踏んだか、運転者がどれくらいの頻度でステアリングホイールを操作したか、運転者がどれくらいの頻度でマルチファンクションスイッチを操作したかなどの情報を意味する。また、手動変速車両の場合には、前記情報の他にも、運転者がどれくらいの頻度でクラッチペダルを踏んだか、運転者がどれくらいの頻度で変速器を操作したかなどの情報を含むことができる。前記マルチファンクションスイッチは、ワイパー、方向指示灯、照明灯などのスイッチを意味し、これは車両走行において必要な要素であるため、マルチファンクションスイッチの操作情報は車両走行情報に含まれることができる。

0322

車両の操作情報は、例えば、運転者がどれくらいの頻度でＡＶＮ（ＡＵＤＩＯ ＶＩＤＥＯ ＮＡＶＩＧＡＴＩＯＮ）を操作したか、運転者がどれくらいの頻度で空調装置を操作したか、運転者がどれくらいの頻度でギヤボックス、コンソールボックス、グローブボックスなどの周辺機器を操作したかなどの情報を含むことができる。運転者の状態情報は、例えば、運転者がどれくらい長時間対話（通話を含む）しているか、運転者が居眠りしているか、運転者が前方を注視しているか、運転者の心電図または脳波に異常状態が発生しているかなどを含むことができる。

0323

そのために、前記運転者状態検知ステップ（Ｓ２８３１）では、運転者の眼瞼、運転者の瞳孔、ステアリングホイールの速度、ステアリングホイールの角度、サスペンションの動き、アクセルペダルの作動有無、ブレーキペダルの作動有無、マルチファンクション操作有無、運転者の対話有無、ＡＶＮ操作有無、空調装置操作有無、ギヤボックス操作有無、コンソールボックス操作有無、グローブボックス操作有無の何れか１つ以上を検知することができる。