図面 (/)

技術 車両の周辺区域の気象条件を認識する方法および制御装置

出願人 ローベルトボッシュゲゼルシャフトミットベシュレンクテルハフツング
発明者 ペトコ・ファーバーグレゴー・シュヴァルツェンベルグ
出願日 2012年5月15日 (8年7ヶ月経過) 出願番号 2014-515114
公開日 2014年7月28日 (6年4ヶ月経過) 公開番号 2014-518412
状態 特許登録済
技術分野 交通制御システム 画像処理 イメージ分析
主要キーワード 発光リング 横断路 不作動化 ラスターグラフィック ウィンドワイパ 画像指標 周辺区域 中央領
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2014年7月28日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (12)

課題・解決手段

本発明は、車両(106)の周辺区域気象条件を認識する方法を提供するものであり、本方法は、画像情報の中の少なくとも1つの結像指標を判定するステップを有しており、画像情報は周辺区域の少なくとも1つの部分の結像を表すとともに、結像指標は周辺区域の前記部分にある反射または自己発光をする物体における光効果を表している。さらに本方法は、結像指標と少なくとも1つの期待値との間の比較に基づいて、気象条件を特徴づけるための気象情報を決定するステップを有している。

概要

背景

車両のカメラベースハードウェアシステムおよびソフトウェアシステムのために、たとえば雨、濡れ車道、霧、飛沫、埃などのような現在生じている気象条件を知ることに関心が向けられている。

そのために特許文献1は、自動車のための光学式降雨センサ装置を記載している。

概要

本発明は、車両(106)の周辺区域の気象条件を認識する方法を提供するものであり、本方法は、画像情報の中の少なくとも1つの結像指標を判定するステップを有しており、画像情報は周辺区域の少なくとも1つの部分の結像を表すとともに、結像指標は周辺区域の前記部分にある反射または自己発光をする物体における光効果を表している。さらに本方法は、結像指標と少なくとも1つの期待値との間の比較に基づいて、気象条件を特徴づけるための気象情報を決定するステップを有している。

目的

特徴的な指標の評価は、いっそう高い安全性に配慮することに寄与する重要なパラメータを、車両の安全性関連システムに提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

車両(106)の周辺区域気象条件を認識する方法において、前記方法は次の各ステップを有しており、すなわち、画像情報の中の少なくとも1つの結像指標(404,406;602;702;902;1002)を判定し(202)、このとき画像情報は周辺区域の少なくとも1つの領域の結像を表すとともに、結像指標は周辺区域の前記領域にある反射または自己発光をする物体(302,304,306,310,312;402,408;502)における光効果を表しており、結像指標と少なくとも1つの期待値との間の比較に基づいて、気象条件を特徴づけるための気象情報を決定する(204)方法。

請求項2

光効果は少なくとも1つの明暗グラジエントを表しており、判定のステップ(202)では明暗グラジエントの結像指標(404,406;602;702;902;1002)から散乱特性値および/または屈折特性値が判定され、散乱特性値は反射または自己発光をする物体(302,304,306,310,312;402,408;502)を中心とする画像領域における光散乱を表しており、屈折特性値は反射または自己発光をする物体(302,304,306,310,312;402,408;502)を中心とする画像領域における光屈折を表しており、さらに決定のステップ(204)では散乱特性値および/または屈折特性値が散乱特性値および/または屈折特性値についての少なくとも1つの期待値と比較される、請求項1に記載の方法。

請求項3

光効果は車両のヘッドライトにより放射される少なくとも1つの光束によって引き起こされるライトスポット(312;602)の少なくとも1つの特性を表しており、判定のステップ(202)では結像指標(404,406;602;702;902;1002)からライトスポットの位置(1102,1104,1106)が判定され、さらに決定のステップ(204)では当該位置が位置についての期待値と比較される、先行請求項のうちいずれか1項に記載の方法。

請求項4

判定のステップ(204)では結像指標(404,406;602;702;902;1002)からライトスポット(312;602)の高さと幅がさらに判定され、高さはライトスポットの見かけ上の垂直方向広がりを表しており、幅はライトスポットの見かけ上の水平方向の広がりを表しており、さらに決定のステップ(204)では当該高さが高さについての期待値と比較されるとともに、当該幅が幅についての期待値と比較される、請求項3に記載の方法。

請求項5

光効果は少なくとも1つの地面明度を表しており、判定のステップ(202)では結像指標(404,406;602;702;902;1002)から地面明度の光分布が判定され、さらに決定のステップ(204)では当該光分布が光分布についての期待値と比較される、先行請求項のうちいずれか1項に記載の方法。

請求項6

光効果は地面近傍側方領域における少なくとも1つの明度を表しており、側方領域は車両のヘッドライトにより直接的に照射される領域の範囲外で車両の側方に配置されており、判定のステップ(202)では結像指標(404,406;602;702;902;1002)から明度の側方領域明度値が判定され、さらに決定のステップ(204)では当該側方領域明度値が側方領域明度値についての期待値と比較される、先行請求項のうちいずれか1項に記載の方法。

請求項7

判定のステップ(202)では画像情報の中の別の結像指標(404,406;602;702;902;1002)が判定され、前記別の結像指標は周辺区域の一部分にある反射または自己発光をする別の物体(302,304,306,310,312;402,408;502)における別のライトスポットを表しており、決定のステップ(204)では前記別の結像指標と少なくとも1つの別の期待値との別の比較に基づいて気象情報が決定される、先行請求項のうちいずれか1項に記載の方法。

請求項8

判定の追加のステップ(202)で追加の画像情報から少なくとも1つの追加の結像指標(404,406;602;702;902;1002)が判定され、追加の画像情報は追加の時点における周辺区域の少なくとも一領域の追加の結像を表しており、追加の結像指標は周辺区域の一領域にある反射または自己発光をする物体(302,304,306,310,312;402,408;502)における追加の時点での追加の光効果を表しており、さらに決定のステップ(204)では追加の結像指標と少なくとも1つの追加の期待値との追加の比較に基づいて気象情報が決定され、さらに比較と追加の比較との間の変化に基づいて気象情報が決定される、先行請求項のうちいずれか1項に記載の方法。

請求項9

車両(106)の周辺区域の気象条件を認識する制御装置において、前記制御装置(100)は次の各構成要件を有しており、すなわち、画像情報の中の結像指標(404,406;602;702;902;1002)を判定する装置(102)を有しており、画像情報は周辺区域の少なくとも1つの領域の結像を表しており、結像指標は周辺区域の前記領域にある反射または自己発光をする物体(302,304,306,310,312;402,408;502)における光効果を表しており、および、結像指標と少なくとも1つの期待値との比較に基づいて気象条件を特徴づけるための気象情報を決定する装置(104)を有している制御装置。

請求項10

プログラムが情報システムで実行されたときに請求項1から8のいずれか1項に記載の方法を実施するためのプログラムコードを有しているコンピュータプログラム製品

技術分野

0001

本発明は、車両の周辺区域気象条件を認識する方法、車両の周辺区域の気象条件を認識する制御装置、ならびに相応コンピュータプログラム製品に関する。

背景技術

0002

車両のカメラベースハードウェアシステムおよびソフトウェアシステムのために、たとえば雨、濡れ車道、霧、飛沫、埃などのような現在生じている気象条件を知ることに関心が向けられている。

0003

そのために特許文献1は、自動車のための光学式降雨センサ装置を記載している。

先行技術

0004

ドイツ特許出願公開第102007062258A1

発明が解決しようとする課題

0005

以上を背景としたうえで、本発明により、主請求項に記載されている車両の周辺区域の気象条件を認識する方法、車両の周辺区域の気象条件を認識する制御装置、ならびに相応のコンピュータプログラム製品が提供される。好ましい実施形態は、それぞれの従属請求項および以下の説明から明らかとなる。

課題を解決するための手段

0006

車両の周辺区域の気象条件、特に車両前方道路上の気象条件は、車両の走行挙動や、車両の運転者にとっての認識到達範囲マイナスの影響を及ぼすことがある。従来の車両は、たとえば降雨センサによって降水を検出し、車両の機能を適合調節することができる。それ以外の気象条件は運転者が認識して、相応に対応しなければならない。暗闇では、運転者が状況上の理由からすでに感覚限界に達している場合、気象条件の早期の認識に問題が生じる。ABSESPといった車両のアクティブセーフティシステムは、車両がロードグリップを失いかけているときに初めて、気象に起因する道路の変化に対応することができる。すなわち、これらのシステムは対応をすることしかできない。先を見越した運転については、常に運転者がその責任を担う。

0007

本発明が踏まえている知見は、たとえば雨、雪、霧、巻き上がる砂埃、乾燥した気候などさまざまに異なる気象条件が生じているとき、暗闇では、車両の運転者の視界がさまざまに異なる特徴的な指標を有しているというものである。運転者の視界を画像検出することで、特徴的な指標を画像情報として結像することができる。特に、少なくとも1つのヘッドライトにより運転者の視界が照明されているとき、気象条件は、気象に典型的な光学的挙動を特徴的な指標として引き起こすことがある。反射率が高い物体の場合や光源では、生じている気象条件によって光が屈折することがあり、そのようにして、気象に典型的な屈折挙動または散乱挙動が特徴的な指標として引き起こされる。

0008

特徴的な指標の評価は、いっそう高い安全性に配慮することに寄与する重要なパラメータを、車両の安全性関連システムに提供することができるのが好ましい。同様に快適性システムも、たとえば他の情報の誤解釈を回避するために、気象条件を知ることによって制御パラメータを変更し、適合調節することができる。さらに光学式の検出システムは、さまざまに異なる気象条件のもとでの物体認識と評価を改善するために、最新の気象条件に合わせて画像処理を適合調節することができる。

0009

本発明は、車両の周辺区域の気象条件を認識する方法を提供するものであり、本方法は次の各ステップを有している:
画像情報の中の少なくとも1つの結像指標を判定し、このとき画像情報は周辺区域の少なくとも1つの領域の結像を表すとともに、結像指標は周辺区域の前記領域にある反射または自己発光をする物体における光効果を表しており、
結像指標と少なくとも1つの期待値との間の比較に基づいて、気象条件を特徴づけるための気象情報を決定する。

0010

気象条件とは、大気の諸現象であると理解することができる。たとえば気象条件は、霧、雨、下に溜まった雨、降雪、下に溜まった雪、あるいはこれらの欠如であってよい。同様に気象条件は、大気の諸現象の帰結であってもよい。たとえば風、埃、砂などが巻き上げられて、吹き付けてくることがある。車両の周辺区域とは、車両の視界距離内にある周囲であってよい。特に周辺区域は、車両のヘッドライトにより直接的または間接的に照明可能である車両前方の領域であってよい。結像指標とは、たとえば少なくとも1つの物理現象によって引き起こされる、物体の結像品質の低下であると理解することができる。たとえば交通標識輪郭が、ぼやけて結像されることであり得る。あるいはランプが「」すなわちハローを有することもある。同様に結像標識として、たとえば降水や空気中の水分の凝結が、ヘッドライト円錐光で目に見えることもある。その場合には水の結晶水滴が、入射光を高い程度にヘッドライトの方向へはね返す。画像情報とは、画像ファイル、たとえばラスターグラフィックであると理解することができる。ラスターグラフィックでは、格子状に配置されたピクセルがそれぞれ1つの画点を表すことができる。1つの画点は、明度値および/または色値を有することができる。光効果とは、たとえば物体での、および/またはヘッドライトから物体までの光路での、および/または物体から物体への光路での、光の屈折、光の回折、あるいは光の反射、光の散乱などであると理解することができる。反射または自己発光をする物体とは、たとえばリフレクタ道路標識街灯、ヘッドライト、氷晶雪片、水滴、埃の粒、氷面、水面等であると理解することができる。気象情報は、最新の気象条件の結果として得られる情報であってよい。たとえば気象情報は、視界距離や道路状態に関する情報であってよい。期待値とは、たとえば過去において過去の結像指標として類似の物体や類似の気象条件のときに記録された、保存されている値であると理解することができる。すなわち期待値は、結像の1つの領域の明度分布、形状、面積、配置、あるいはこれらの組み合わせであってよい。比較をすることで最大の一致を見出すことができ、選択された期待値に割り当てられている気象条件を、気象情報として提示することができる。

0011

本発明の別の実施形態では、光効果は少なくとも1つの明暗グラジエントを表しており、判定のステップでは明暗グラジエントの散乱特性値および/または屈折特性値を結像指標から判定することができ、散乱特性値は反射または自己発光をする物体を中心とする画像領域における光散乱を表しており、屈折特性値は反射または自己発光をする物体を中心とする画像領域における光屈折を表している。さらに決定のステップでは、散乱特性値および/または屈折特性値を、散乱特性値および/または屈折特性値についての少なくとも1つの期待値と比較することができる。明暗グラジエントとは、明るい点から隣接する暗い点への明度勾配であると理解することができる。たとえば白いピクセルと黒いピクセルの間の明暗グラジエントは大きい。グレーのピクセルと暗いグレーのピクセルの間では、明暗グラジエントは小さい。たとえば空中の水滴は光を屈折させることがある。それにより、たとえば光源と暗い背景との間の周縁部における明暗グラジエントは、空気が澄んでいるときよりも小さくなる。そのようにして車両の運転者の目からは、たとえば他の車両の車両ヘッドライトが霧のときにいわゆるハローを有している。ハローは、ヘッドライトから離れるにつれて暗くなっていく。したがってそこでは明暗グラジエントが小さい。散乱特性値は、たとえばハローの程度を表すことができる。霧が濃ければ濃いほど、ハローは強くなり得る。ハローは、車両によって照明される反射をする物体でも、たとえばリフレクタなどでも、同様に生じている場合がある。屈折特性値は、たとえばハロー中における光のスペクトル成分への分解を表すことができる。高い屈折特性値は、たとえば空気中の氷晶を示唆している場合がある。散乱特性値についての期待値は、特定の散乱を表す目安となる保存された経験値であってよい。屈折特性値についての期待値は、特定の屈折を表す目安となる保存された経験値であってよい。それにより、特に車両前方の比較的遠い距離での気象条件を認識することができ、そのようにして、早くから予防的な対策を開始することができる。

0012

さらに光効果は、車両のヘッドライトにより放射される少なくとも1つの光束によって引き起こされるライトスポットの少なくとも1つの特性を表すことができる。判定のステップでは、結像指標からライトスポットの位置を判定することができ、さらに決定のステップでは、その位置を位置についての期待値と比較することができる。ライトスポットとは、ヘッドライトのビームが引き起こすことができる、明度の高い領域であると理解することができる。たとえばライトスポットは、ヘッドライトに由来する光束の輪郭を結像することができる。ライトスポットは道路上に投影されていてよい。あるいはライトスポットは、車両前方の粒子での反射によって「浮遊する」ことがある。「浮遊する」ライトスポットは、投影されたライトスポットとは異なる形態を有することがある。同様に「浮遊する」ライトスポットは、投影されたライトスポットとは別の位置で識別されることがある。特性はライトスポットの形状と位置を表すことができる。位置は、たとえばライトスポットが道路に投影されていて道路が光を反射しているか、それとも、光の大部分がすでに粒子によって反射されているかを表すことができる。粒子はたとえば埃、水滴、氷晶などであり得る。位置についての期待値は、特定の気象条件のときにライトスポットの期待される位置を表す経験値であってよい。それにより、特に霧を特別に容易かつ確実に認識することができる。

0013

本発明の別の実施形態では、判定のステップで結像指標からライトスポットの高さと幅をさらに判定することができ、高さはライトスポットの見かけ上の垂直方向広がりを表しており、幅はライトスポットの見かけ上の水平方向の広がりを表している。さらに決定のステップでは、この高さを高さについての期待値と比較するとともに、この幅を幅についての期待値と比較することができる。ライトスポットの高さや幅とは、ライトスポットの見かけ上の寸法であると理解することができる。たとえば高さおよび/または幅は、車両に対して縦方向および/または横方向の向きでのピクセルの計数可能な数を表すことができる。高さおよび/または幅についての期待値は、特定の気象条件のときのライトスポットの期待される高さおよび/または幅を表す経験値であってよい。ライトスポットを測定することで、さまざまな気象条件を特別に簡単に区別することができる。ヘッドライトは車両に定置に取り付けられているので、ライトスポットは気象条件のみに依存して、車両に対して相対的にその位置を変えるからである。

0014

さらに別の実施形態では、光効果は少なくとも1つの地面明度を表すことができ、判定のステップでは結像指標から地面明度の光分布が判定される。さらに決定のステップでは、この光分布を光分布についての期待値と比較することができる。地面明度とは、車両から識別可能な道路の明度であると理解することができる。光分布は、道路上の明るい個所と暗い個所の識別可能な分布を表すことができる。たとえば車道が濡れているとき、発せられた光のわずかな部分しか車両へと反射されないことがある。発せられた光の残りは全反射のもとで、濡れた車道から指向性をもって車両から離れるように反射されることがある。雪で覆われた車道では、たとえば発せられる光の大部分が広い面積に拡散して車両へと反射されることがある。乾燥した車道では、発せられた光の中程度の部分が車両へと反射されることがある。対向車両があると、これらの関係が逆になることがある。雨のときには、対向車両から離れるように反射された光が全反射として、直接的なヘッドライト放射と同様に自分の車両に当たることがあるからである。雪のときには、光が広い面積に拡散して反射されることがある。光分布についての期待値は、特定の気象条件のときの地面明度の期待される光分布を表す経験値であってよい。それにより車両前方の道路状態を、特別に安全性関連のパラメータとして検出し、安全性システムや快適性システムの修正された介入を適合調節して、車両の運転者に注意喚起することができる。

0015

本発明の追加的な実施形態では、光効果は地面近傍側方領域における少なくとも1つの明度を表しており、側方領域は車両のヘッドライトにより直接的に照射される領域の範囲外で、車両の側方に配置されている。判定のステップでは、結像指標から明度の側方領域明度値を判定することができ、さらに決定のステップでは、この側方領域明度値を側方領域明度値についての期待値と比較することができる。底面近傍の側方領域とは、たとえば自分の走行車線に隣接する道路の走行車線であると理解することができる。同様に、底面近傍の側方領域とは、道路の側方車線または道路の側道であると理解することができる。地面近傍の側方領域は、たとえば汚れを有していることがある。同様に地面近傍の側方領域は、たとえば堆積した雪を有していることがある。側方領域明度値は、側方領域で反射される明度を表すことができる。それにより、たとえば自分の走行車線の横で車道が汚れているかどうか、雪で覆われているかどうかを認識することができる。側方領域明度値についての期待値は、特定の気象条件のときの地面近傍の側方領域における明度の期待される側方領域明度値を表す期待値であってよい。

0016

さらに別の実施形態では判定のステップで、画像情報の中の別の結像指標を判定することができ、この別の結像指標は、周辺区域の一部分にある反射または自己発光をする別の物体における別のライトスポットを表すことができる。決定のステップでは、別の結像指標と少なくとも1つの別の期待値との別の比較に基づいて、気象情報を決定することができる。反射または自己発光をする別の物体を評価することで、生じている気象条件をいっそう高い確実性で決定することができる。多数の物体の監視により、特に別の離れた物体の監視により、予想される気象の検出を実現することができる。それにより、車両安全性を決定的に向上させることができる。

0017

本発明の別の実施形態では、判定の追加のステップで追加の画像情報から追加の結像指標を判定することができ、追加の画像情報は追加の時点における周辺区域の少なくとも一部の追加の結像を表しており、追加の結像指標は周辺区域の一部分にある反射または自己発光をする物体における追加の時点での追加の光効果を表している。さらに決定のステップでは、追加の結像指標と期待値または少なくとも1つの追加の期待値との追加の比較に基づいて気象情報を決定することができ、さらに、比較と追加の比較との間の変化に基づいて気象情報を決定することができる。反射または自己発光をする物体を複数の時点にわたって追跡することで、変化の継続的な監視を実現することができる。それにより、ダイナミックなプロセスを監視することが可能である。たとえば複数の時点にわたる対向車両の監視は、自分のヘッドライトによってまだ照明可能ではない道路に関する推測をもたらす。

0018

さらに本発明は、車両の周辺区域の気象条件を認識する制御装置を提供するものであり、制御装置は画像情報の中の結像指標を判定する装置を有しており、画像情報は周辺区域の少なくとも一部の結像を表しており、結像指標は周辺区域の前記部分にある反射または自己発光をする物体における光効果を表している。さらに制御装置は、結像指標と少なくとも1つの期待値との比較に基づいて、気象条件を特徴づけるための気象情報を決定する装置を有している。制御装置の形態の本発明のこのような実施態様によっても、本発明に課せられた課題を迅速かつ効率的に解決することができる。

0019

制御装置とは、本件においては、センサ信号を処理し、それに依存して制御信号を出力する電気機器であると理解することができる。制御装置は、ハードウェアおよび/またはソフトウェアとして構成されていてよいインターフェースを有することができる。ハードウェアとしての構成では、インターフェースはたとえば制御装置の種々の機能を含む、いわゆるシステムASICの一部であってよい。しかしながら、インターフェースが独立した集積回路であり、または、少なくとも部分的に個別のデバイスからなっていることも可能である。ソフトウェアとしての構成では、インターフェースは、たとえばマイクロコントローラに他のソフトウェアモジュールと並んで存在するソフトウェアモジュールであってよい。

0020

半導体メモリハードディスクメモリ、または光学メモリのような機械読取可能な担体に記憶されていてよく、コンピュータに相当する機器プログラムが実行されたときに、上に説明したいずれかの実施形態に基づく方法を実施するために利用されるプログラムコードを有するコンピュータプログラム製品も好ましい。

0021

次に、添付の図面を参照しながら本発明を一例として詳しく説明する。図面は次のものを示している:

図面の簡単な説明

0022

本発明の1つの実施例に基づく、車両の周辺区域の気象条件を認識する制御装置を備えた車両を示す図である。
本発明の1つの実施例に基づく、車両の周辺区域の気象条件を認識する方法のフローチャートである。
暗闇でのある気象条件のときの道路の画像情報を示す図である。
暗闇でのある気象条件のときの道路の画像情報を示す図である。
暗闇でのある気象条件のときの道路の画像情報を示す図である。
暗闇でのある気象条件のときの道路の画像情報を示す図である。
暗闇でのある気象条件のときの道路の画像情報を示す図である。
暗闇でのある気象条件のときの道路の画像情報を示す図である。
暗闇でのある気象条件のときの道路の画像情報を示す図である。
暗闇でのある気象条件のときの道路の画像情報を示す図である。
暗闇でのさまざまな気象条件のときの道路の複数の画像情報の中の結像指標の変化を示すグラフである。

実施例

0023

本発明の好ましい実施例についての以下の説明では、異なる図面に示されていて類似の作用をする部材には、同一または類似の符号が使用されており、これらの部材について繰り返して説明することはしない。

0024

図1は、本発明の1つの実施例に基づく、車両の周辺区域の気象条件を認識する制御装置100を備えた車両の図面を示している。制御装置100は、画像情報の中の結像指標を判定する装置102と、気象条件を特徴づけるための気象情報を決定する装置104とを有している。車両106は、周辺区域検出装置108と、車両制御部110とを有している。さらに車両106は、車両106の前方の周辺区域の部分を照明するための2つのフロントヘッドライト112を有している。

0025

周辺区域検出装置108は、少なくともフロントヘッドライト112により照明される周辺区域の部分を検出するために構成されている。周辺区域検出装置108は、車両106の前方のいっそう広い領域を検出することもできる。周辺区域検出装置108は画像情報を生起し、これを車両106の他の装置のために提供する。制御装置100は、画像情報を受信するために構成されている。装置102は、画像情報の中で少なくとも1つの結像指標を判定するために構成されている。特に結像指標は、フロントヘッドライト112により照明される物体における、またはたとえば他のヘッドライトのような自己発光をする物体における、特徴的な光分布または特徴的な光効果であってよい。たとえば雪、雨、埃、霧などは、フロントヘッドライト112から周辺区域検出装置108に向かって光をはね返す。同様に、フロントヘッドライト112により照射されたリフレクタは、自己発光をする物体のように作用する。このとき、リフレクタと周辺区域検出装置108との間の直接的な光経路での気象条件は、光をたとえば散乱させ、屈折させ、あるいは減衰させる。それによってリフレクタの結像が劣化し、すなわち歪んだり不鮮明に結像されたりすることがある。たとえば街灯や対向車両のヘッドライトのような他の光源が、車両106の前方の周辺区域を照明すると、気象条件は、車両106の期待される周辺区域に合致しない光効果を引き起こすことがある。たとえば道路が乾燥していると、他の光源の周辺はほどほどにしか明るくならない。雪や霧は他の光源の光分布を変える。雪は入射光をほぼ完全に反射し、もしくは散乱させ、それにより他の光源の周辺はいっそう明るく見えることになる。霧は光の散乱と屈折を起こし、それにより他の光源の周辺領域は平面的に照明されているように見える。装置102では、制御装置100がこのような光効果を結像指標として判定し、この結像指標を装置104で少なくとも1つの期待値と比較する。期待値は、気象条件に割り当てられた光効果の光学的な指標を表している。それにより装置104では結像指標に、気象条件を特徴づける気象情報を割り当てることができる。この気象情報に基づき、車両制御部110は車両パラメータを変更して、最新の気象条件に対応することができる。この実施例では、車両制御部110は車両駆動部114についてのパラメータを変更する。たとえば路面状況に応じて、ホイール114の最大の駆動トルクを決定することができる。

0026

車両106のカメラベースのハードウェアシステムおよびソフトウェアシステムのために、たとえば雨、雪、濡れた車道、霧、飛沫、埃など、生じている最新の気象条件を知ることに関心が向けられる。たとえばESP110のようなドライブダイナミックコントロールシステムは、他の制御パラメータを適用するためにこうした知見を利用することができるのに対して、ビデオベースのシステム208は、特定の機能を不作動化したり、定義されたとおりに格下げしたり、ないしは先行処理のパラメータを的確に適合調節して、システムのできる限り高い利用可能性を確保することができる。たとえば雪に覆われた道路では、車線を守るのが可能でないことがある。夜間には、カメラベースのソフトウェアシステムにとって気象条件を認識するのが一般に難しくなる。たとえば空を見ることができなかったり、視界範囲が50m以下になることがあったり、道路の舗装未知になったりするからである。さまざまな種類の明るい物体が、たとえば自己発光する物体や反射をする物体が、画像中にあるケースについては、このような物体の画像指標は、どのような具体的な気象条件が生じているかを推測する材料になり得る。

0027

図2は、本発明の1つの実施例に基づく、車両の周辺区域の気象条件を認識する方法のフローチャートを示している。この方法はたとえば制御装置100で、図2に示すように実施することができる。この方法は、画像情報の中の少なくとも1つの結像指標を判定するステップ202と、気象条件を特徴づけるための気象情報を決定するステップ204とを有している。

0028

ステップ202では、画像情報の中の結像指標が判定される。画像情報は、車両の周辺区域の少なくとも1つの部分の結像を表している。結像指標は、周辺区域のこの部分にある反射または自己発光をする物体における光効果を表している。画像情報は、たとえばカメラによって受信することができる。カメラは車両に取り付けられていてよく、車両前方の周辺区域を検出する。結像指標は画像情報の一部分であってよい。物体からカメラへの光路を気象条件が変えると、物体の結像が、気象条件がないときとは異なる形態を有することがある。それを特別に明瞭に認識可能になることがあるのは、明るい光線が「気象」を通過するときである。その場合、水滴、氷晶、埃などの粒子が、物体の結像をぼやけさせることがある光学的な効果を引き起こすことがある。気象条件がたとえば雪や雨によって車両前方の周辺区域を著しく反射性にしているときには、さらに別の効果が起こることがある。その場合、通常はカメラに直接届くことがないはずの光がカメラへと反射されて、カメラを眩ませることがある。そのために、たとえば画像情報の部分領域が露出過多になり、これに含まれる情報の大部分を失わせることがある。一例としてのこのような光学効果を、ステップ202で結像指標として判定することができる。

0029

ステップ204では、結像指標が少なくとも1つの期待値と比較される。期待値は、類似の気象条件のときの結像指標の結像であってよい。それにより、結像指標に対応する気象情報を割り当てることができる。気象情報は、最新の気象条件を特徴づけることができる。気象情報に基づいて、車両制御部は最新の気象条件に合わせて制御パラメータを予防的に適合調節することができる。ステップ204では、結像指標を多数の期待値と比較することができる。各々の期待値はそれぞれ異なる気象条件を表すことができ、それぞれ異なる気象情報に割り当てられていてよい。

0030

図3から図10は、夜間でのさまざまな気象条件のカメラ画像を示している。これらのカメラ画像は、車両前方の運転者の視界を示している。運転者の視界は車両のヘッドライトによって照明されている。カメラ画像には、反射や放出をするさまざまな光物体が表されている。したがってここでは夜間での気象条件の認識について、自己発光をする物体と反射をする物体を取り上げて説明する。生じている最新の気象条件の見積もりは、反射をする光物体についても自己発光をする光物体についても、特徴的な指標の判定に基づいて行われる。これはたとえば他の通行者のヘッドライトやランプ、自分のヘッドライトの光で照明されるリフレクタ、車両のすぐ前方の道路の明るい領域などであり得る。これらの光物体の指標は、たとえば最大の明度、グレー値推移、色、グラジエント推移などは、通常の気象条件のもとでは定義された特性を有している。このような特性を、指標領域として記述することができる。気象条件が「通常のケース」と相違しているとき、ないしは気象条件がたとえば降り始めた雨、水平に広がる霧の塊、汚れた車道などによって変化したとき、変化した指標領域でその変化が反映される。指標が「劣化」する。さまざまな指標領域のこうした変化が、具体的な気象条件についての直接的な示唆を与える。

0031

このように、以下において一例として掲げる気象状況については、下記のような指標を評価ないし考慮するのが好ましい。このとき霧を含む画像は、たとえば広い面積で低角度のグラジエント推移を有していることがあり、比較的暗いことがある。雨は画像ではたとえば劣化して長く引き伸ばされた物体形状や、部分的に強いグラジエント推移を引き起こすことがあり、雨を含む画像は不規則な明度推移を有していることがある。車道縁部にある雪は、たとえば多数の小さく明るい物体として結像されることがある。氷晶の反射性のファセットにより、雪は「きらめく」ことがある。このとき大きな変動のあるグラジエント指標が生じることがある。雪の白い色に基づき、色情報が欠如することがある。車道上の雪、埃などは、たとえば見かけ上または仮想的な大きい半透明の物体を自分の車両のすぐ前方に引き起こすことがある。その際には不規則なグラジエント指標が発生することがある。一般に、自分の車両の前方の面を物体非依存的に詳細に分析するのが好ましい。

0032

提案される取組みのロバスト性を向上させるために、1つの画像の中の多数もしくは全部の物体についての指標変化の分析が好ましい。それにより、たとえばウィンドワイパーがちょうど画像を通過して動いて、画像情報の一部を隠したのかどうかを認識することができる。ロバスト性を高めるためのさらに別の選択肢は、気象条件の分析を画像ごとに行うだけでなく、複数の画像を通じて指標推移ないし指標変化の分析を行うことにある。認識された物体にトラックを割り当てることができる。これらのトラックを、複数の画像を通じて分析することができる。これはたとえば、物体が初回に検知されたのはいつであり、時間ないし進行距離にわたって指標推移がどのようであるかを意味している。

0033

図3は、乾燥した気象のときの運転者の視界の画像を示している。運転者の視界は、車両のヘッドライトに由来する光で部分的に照明されている。車道をそれぞれ備える道路300の直線の推移が、光が十分に道路300を照明できなくなる範囲まで、車両の前方で認識されている。道路300は、暗い車道舗装上で反射をする車道指標302,304と、誘導装置306,308とを有している。右側の車道縁部は、連続する側方マーキング302を有している。道路中央部は、中断のある中央マーキング304を有している。道路300の右側の側方領域は植物で覆われており、長尺状のリフレクタを備える白黒視線誘導標306を有している。さらに右側の側方領域は、反射をする道路標識310を有している。道路300の左側の側方領域は、それぞれ2つの点状のリフレクタを備える白黒の視線誘導標306を有している。さらに左側の側方領域は、ガードレール308を有している。道路300の上では、車両前方の近傍領域で、ヘッドライト円錐光の下側の明暗境界を認識可能である。明暗境界を超えると、車両が上を走っている車道が明るく照明される。照明の強度は、車両からの距離が増すにつれて低下していく。右側の側方領域は、同じく明暗境界を超えてから明るく照明されている。ここでも照明の強度は、車両からの距離が増すにつれて低下していく。他方の車道は、部分的にのみ明るく照明されている。この画像は、乾燥した気象について特徴的なライトスポット312を車両前方に示している。画像の中の反射をする物体302,304,306,310は、車両前方の距離が遠いところを除いて認識可能である。ここで提案される取組みでは、画像の中で明るく照らされた部分領域312および反射をする物体302,304,306,310が評価される。図3に示すように、結像された反射をする物体302,304,306,310の鋭い明暗移行部は、乾燥した気象について特徴的なものである。さらに、以下の図面を参照して説明するような結像指標が存在していない。このような気象条件は、たとえば、車両前方の定義された領域にライトスポット312があるかどうか、非常に明るい画像領域が隣接する暗い画像領域に対して非常に鋭い移行部を有しているかどうかをチェックすることによって認識することができる。

0034

図4は、湿った気象のときの運転者の視界の画像を示している。図3と同じく、運転者の視界は自己車両のヘッドライトに由来する光で部分的に照明されている。道路300は自己車両の前方で左カーブで延びている。左カーブには、交通標識310「法定右側走行」と、道路300に対して横向きの歩行者横断路ゼブラゾーン)とを有する交通島が配置されている。同様に道路300は、車道上の右側の側方領域に、ならびに中央領域に、反射をする物体304,306,310を有している。道路300は濡れている。したがって、車道舗装はヘッドライトの光を少ない範囲内でしか車両にはね返さない。図3に示すようなライトスポットは、自己車両の前方に認識することができない。道路300は、反射をする物体304,306,310と歩行者横断路とによってのみ認識可能である。他方の車道上には、非常に明るい自己発光をする2つの物体402が結像されている。自己発光をする物体402は、対向車両の2つのフロントヘッドライト402を表している。自己発光をする物体402は、2つの等しい大きさの、ほぼ等しい高さで相互に間隔をおいて配置された、非常に明るい画像領域として表示される。対向車両は認識可能ではない。対向車両の道路300の上には、自己発光をする物体402の下方に、強く反射をする2つの明るい面404があり、これらの面が、2つのフロントヘッドライト402の光を自己車両へ直接反射する。2つのフロントヘッドライト402の光は、自己車両のフロントガラスにあるウィンドワイパーの縞模様で散乱される。それにより、自己発光をする物体402はいわゆる状光406を有している。道路300の右側の道路縁部408は雪で覆われており、ヘッドライトの光の一部を自己車両に向かって反射する。自己車両の前方にライトスポットがないこと、自己発光をする物体402の下方にある結像指標「反射をする面」404、自己発光をする物体402から発せられる「剣状光」406、ならびに「道路縁部での光反射の増大」408に基づき、本発明の一実施例に基づく方法により、道路300が濡れており、降水がフロントガラスにウィンドワイパーの縞模様をつけていることを認識することができる。さらには、雪があり、場合により水が一面に凍っていることが予想されることを認識することができる。車両制御のパラメータを最新の気象条件に合わせて適合調節するために、こうした気象情報を自己車両の車両制御部で処理することができる。

0035

図5は、湿った気象のときの運転者の視界の別の画像を示している。図3と同じく、運転者の視界は自己車両のヘッドライトに由来する光で部分的に照明されている。図3と同じく、道路300は車道上および右側の側方領域に、反射をする物体302,304,306,310を有している。道路300は濡れている。したがって車道舗装は、ヘッドライトの光を少ない範囲内でのみ車両に向かって反射する。自己車両の前方には、図3に示すようなライトスポットは認識可能ではない。道路300は、反射をする物体302,304,306,310によってのみ認識可能である。自己車両の前方の車道上には、先行車両が結像されている。先行車両の2つのテールライト502を、明るい光点502として認識可能である。テールライト502の放射される光は、自己車両のフロントガラスにあるウィンドワイパーの縞模様で散乱される。それにより、明るい光点502はいわゆる剣状光406を有している。他方の車道上には、非常に明るい2つの自己発光をする物体402が結像されている。自己発光をする物体402は、対向車両の2つのフロントヘッドライト402を表している。対向車両は認識可能ではない。2つのフロントヘッドライト402の光は、自己車両のフロントガラスにあるウィンドワイパーの縞模様で同じく散乱される。それにより、自己発光をする物体402も剣状光406を有している。道路300の右側の道路縁部408は雪で覆われており、ヘッドライトの光の一部を拡散させながら自己車両に向かって反射する。自己車両前方にライトスポットがないこと、結像指標「剣状光」406、ならびに「道路縁部での光反射の増大」408に基づき、本発明の一実施例に基づく方法により、道路300が濡れており、降水がフロントガラスにウィンドワイパーの縞模様をつけていることを認識することができる。さらには、雪があり、場合により水が一面に凍っていることが予想されることを認識することができる。車両制御のパラメータを最新の気象条件に合わせて適合調節するために、こうした気象情報を自己車両の車両制御部で処理することができる。

0036

図6,7および8は、霧のときの運転者の視界の画像を示している。図3と同じく、道路300は自己車両の前方で自己車両のヘッドライトにより照明される。道路300は中断のある中央マーキング304を有している。右側の道路縁部408は雪で覆われており、自己車両のヘッドライトの拡散した光をはね返す。

0037

図6では、空気中の水滴または微小な氷晶が自己車両の前方でヘッドライトにより照射され、ヘッドライトの光の一部を自己車両に向かって反射する。それにより、自己車両のヘッドライトのヘッドライト円錐光602を認識可能である。ヘッドライト円錐光602の光の見え方の明るさにより、道路300の車道表面のライトスポットが、見かけ上浮遊するヘッドライト円錐光602により覆われる。中央マーキング304は、その反射をする特性にも拘わらず、さほど右側の道路縁部408以上にはっきりと認識可能というわけではない。霧は視界範囲を制限する。ヘッドライトの既知照明範囲内でヘッドライト円錐光602を結像中に認識できるかどうかチェックすることによって、霧を認識することができる。

0038

図7では、図6で結像されているようなヘッドライト円錐光602に加えて、道路300の右隣に反射をする交通標識310を認識可能である。第1の群の交通標識310が、自己車両のヘッドライトによって直接照射され、大量の光を自己車両に向かって反射する。したがってこれらの交通標識310は、自己車両に向けて光線を発する強力な光源のように作用する。この光線は浮遊する水滴や氷晶によって屈折、散乱する。したがって交通標識310は、ハロー702と呼ばれる発光リングで取り囲まれている。ハロー702は、ヘッドライト円錐光602よりも高い明度を有している。直接的に照射されない別の群の交通標識310では、反射される光の量は、ハロー702を引き起こすのに十分なほどには多くない。

0039

図8では、道路300の別の車道に2つの明るい光点402が結像されている。これらの明るい光点102は、対向車両の2つのフロントヘッドライト402を表している。自己車両に直接向けられているフロントヘッドライト402の光線も、浮遊する氷粒子および/または水粒子によって屈折、散乱する。したがって明るい光点102は、同じくハロー702でそれぞれ取り囲まれている。霧は、図6および図7よりも薄い。したがって、ヘッドライト円錐光602はさほど強く特徴を示しておらず、自己車両のヘッドライトは道路表面上にライトスポット312を生成する。道路300の右隣りには、ハローを有するのに十分な光を自己車両にはね返すことがない交通標識が結像されている。

0040

ヘッドライト円錐光602とハロー702の結像指標に基づき、ここで提案される方法は気象情報「霧」を決定し、実際のライトスポット312を期待されるライトスポット312と比較することで、気象情報「予測される視界範囲」を生成することができる。これらの気象情報に基づき、自己車両の車両制御部は、たとえば車両前方の光分布のようなパラメータを、実際の気象条件に合わせて適合調節することができる。それにより、自己車両の運転者にとって自分の視界を改善することができる。

0041

図9および10は、降雪時の雪で覆われた車道300での運転者の視野を示している。道路300は自己車両の前方の広い範囲で照明されており、自己車両のヘッドライトの光を広い面積で拡散させて自己車両へと反射する。右側と左側の道路縁部では雪が積み上げてあり、良好な光入射角に基づき、自己車両のヘッドライトから雪の車道よりも多くの光を自己車両に向かって反射している。

0042

図9では、自己車両のヘッドライトは、車両前方の空気中にある個々の雪片902を照射している。雪片902は画像中では明るい白点として見える。図10では、自己車両に他の車両が対向している。他の車両のヘッドライト402は、他の車両の前方にある車道の雪を非常に明るく照射する。したがって、図10における運転者の視野のこの部分は露出過多であり、不定形の白い面1002として見える。車道が雪で覆われているときの自己車両の前方の道路300における特徴的な光分布に基づき、あるいは、対向車両の前方の露出過多の面1002に基づき、ここで提案される方法は気象情報「車道上の雪」を決定することができる。ヘッドライト光の中の雪片902の数を評価することで、降雪の密度およびこれに伴って気象情報「予測される視界」を推定することができる。

0043

図11は、変化した指標空間の結果を、3通りの異なる気象状況で車両前方にあるライトスポットついて一例として示している。図示されているのは、大気が澄んでいるときのライトスポットの配置1102と、薄い霧があるときのライトスポットの配置1104と、霧があるときのライトスポットの配置1106である。横座標にはカメラ画像におけるライトスポットの幅がプロットされており、縦座標にはカメラ画像におけるライトスポットの高さがプロットされている。気象状況に応じて、ライトスポットは異なる位置、形状、広がりを有している。

0044

車両前方の空気に反射をする粒子がないとき、すなわち大気が澄んでいるとき、ヘッドライトのビームは車道表面に当たる。車道の起伏に基づき、ライトスポットの測定される高さ、ならびに測定される幅は変動幅を有している。車道表面は、強度の高いヘッドライトビーム中心の光だけを車両に向かって反射するので、ライトスポットは細く見える。薄い霧がかかっていると、車両前方にある空気中の粒子がヘッドライトのビームによってすでに照射され、これを目に見えるようにする。霧の濃度に依存して、ライトスポットは車両前方のさまざまな高さで見える。霧はヘッドライトビームの側方領域に由来する強度の低い光も反射するので、薄い霧のときのライトスポットは、大気が澄んでいるときのライトスポットよりも幅が広く見える。薄い霧がかかっているときのライトスポットの幅には、大きな変動幅がある。霧のときには光のわずかな部分しか車道に当たらない。光の大部分はすでに空気中の粒子で反射され、ライトスポットを車両前方の高いところで浮遊させる。霧は非常に弱い光でも車両に向かって反射し、したがって、大気が澄んでいるときには車道上にライトスポットを引き起こすことがない光線の部分も目に見えるので、ライトスポットは非常に広い幅で見える。ライトスポットの高さと幅を評価することで、ここで提案している方法により、たとえば気象情報「霧の濃度」を決定することができる。

0045

上述した図面に示している各実施例は、一例として選択されたものにすぎない。さまざまに異なる実施例を全体的に、または個々の構成要件に関して、相互に組み合わせることができる。1つの実施例を他の実施例の構成要件によって補完することもできる。さらには、本発明に基づく各方法ステップを反復して実施することができ、ならびに、上記の順序とは異なる順序で実施することもできる。

0046

100制御装置
102画像情報の中の結像指標を判定する装置
104気象条件を特徴づけるための気象情報を決定する装置
106 車両
108周辺区域検出装置
110車両制御部
112フロントヘッドライト
114車両駆動部
202 ステップ
204 ステップ
300道路
302側方マーキング
304 中央マーキング
306誘導装置
308 誘導装置
310道路標識
312ライトスポット
402自己発光をする物体
404明るい面
406剣状光
408 右側の道路縁部
502テールライト
602ヘッドライト円錐光
702ハロー
902雪片
1002露出過多の面
1102 ライトスポットの配置
1104 ライトスポットの配置
1106 ライトスポットの配置

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 京セラ株式会社の「 電子機器、制御方法、及びプログラム」が 公開されました。( 2020/10/29)

    【課題】移動体の運転の安全性を向上可能な電子機器、制御方法、及びプログラムを提供する。【解決手段】自動車に搭載可能な電子機器は、自機器に触れられずにジェスチャを検出する第1センサと、自機器に接触される... 詳細

  • クリスタルメソッド株式会社の「 推定システム、及び推定装置」が 公開されました。( 2020/10/29)

    【課題】キー入力を推定する精度の向上を図ることができる推定システム、及び推定装置を提供する。【解決手段】仮想キーボードを用いて入力された文字列を推定する推定システムであって、ユーザが前記仮想キーボード... 詳細

  • 三菱ロジスネクスト株式会社の「 無人飛行体用給電システムおよび制御装置」が 公開されました。( 2020/10/29)

    【課題】無人飛行体の稼働時間を向上できる無人飛行体用給電システムおよび制御装置を提供する。【解決手段】無人飛行体用給電システムは、荷役を行う複数の荷役車両と、荷役の支援を行う無人飛行体としてのドローン... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ