図面 (/)

技術 レーン検出装置及びその方法、並びにレーン表示装置及びその方法

出願人 本田技研工業株式会社
発明者 坂本洋介
出願日 2015年4月21日 (4年3ヶ月経過) 出願番号 2015-086639
公開日 2016年12月8日 (2年7ヶ月経過) 公開番号 2016-206881
状態 特許登録済
技術分野 イメージ分析 画像処理 閉回路テレビジョンシステム 交通制御システム
主要キーワード ボッツ 区画分け 装着車両 方形波状 再振り分け 自動運転装置 レーン表示 マルチインフォメーションディスプレイ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年12月8日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (10)

課題

路面の一部を横切って影がある場合であっても、レーンマークを確実に検出し認識するレーン検出装置及びその方法、並びにレーン表示装置及びその方法を提供する。

解決手段

画像60を、上下方向には連続し、左右方向には延びる複数のブロックB1〜B9に分割し、分割した各ブロックblkを明部ブロックblkwと暗部ブロックblkbとに振り分け、暗部ブロックblkbの2値閾値Thbを、明部ブロックblkwの2値化閾値Thwり小さい値(Thb<Thw)とした。これにより、暗部下のレーンマーク82をも検出することができる。

概要

背景

公知のように、車両が走行する路面に形成されているレーンマークを検出し認識する際には、車載カメラ撮像した車両前方輝度信号からなる画像に対し、路面とレーンマークのコントラストの違い(レーンマーク輝度路面輝度)に基づき輝度閾値を設定し、前記画像(輝度信号)を前記輝度閾値で2値化処理した後、エッジ検出処理を行うことで、前記画像からレーンマークを検出してレーンを認識するように構成されている。

この場合、前記レーンマークを検出するために2値化処理を行う前記輝度閾値は、例えば、画像の輝度ヒストグラムを作成する等、環境光の明るさに応じて変更されている。

例えば、特許文献1には、ヘッドライト点灯しているトンネル内での画像に対する2値閾値を、太陽光下の画像に対する通常の2値化閾値より高い閾値にして、白線を検出し認識することが開示されている(特許文献1の[0013]〜[0015]及び図4、図5)。

概要

路面の一部を横切って影がある場合であっても、レーンマークを確実に検出し認識するレーン検出装置及びその方法、並びにレーン表示装置及びその方法を提供する。画像60を、上下方向には連続し、左右方向には延びる複数のブロックB1〜B9に分割し、分割した各ブロックblkを明部ブロックblkwと暗部ブロックblkbとに振り分け、暗部ブロックblkbの2値化閾値Thbを、明部ブロックblkwの2値化閾値Thwり小さい値(Thb<Thw)とした。これにより、暗部下のレーンマーク82をも検出することができる。

目的

この発明は、このような課題を考慮してなされたものであり、路面の一部を横切って影がある場合であっても、レーンマークを確実に検出し認識することを可能とするレーン検出装置及びその方法、並びにレーン表示装置及びその方法を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

路面を含む車両の前方を撮像する撮像装置と、前記撮像装置により撮像された画像を2値閾値により2値化処理して前記路面に形成されたレーンマークを検出するレーンマーク検出部と、を備えるレーン検出装置において、前記レーンマーク検出部は、撮像された前記画像を、上下方向には連続し、左右方向には延びる複数のブロックに分割し、分割したブロックの輝度値に基づき、複数の前記ブロックを、相対的に輝度値が高い明部ブロックと低い暗部ブロックに振り分け、前記明部ブロックと前記暗部ブロックとで前記2値化閾値の値を変更して、撮像された前記画像を2値化処理することを特徴とするレーン検出装置。

請求項2

請求項1に記載のレーン検出装置において、前記レーンマーク検出部は、撮像された前記画像を、上下方向には連続し、左右方向には延びる複数のブロックに分割し、各前記ブロック毎に輝度平均値を算出し、各前記ブロック毎の前記輝度平均値に基づき、各前記ブロックを前記明部ブロックと前記暗部ブロックとに振り分け、前記暗部ブロックの2値化閾値の値を、前記明部ブロックの2値化閾値の値より小さい値として、撮像された前記画像を2値化処理することを特徴とするレーン検出装置。

請求項3

請求項1又は2に記載のレーン検出装置において、前記レーンマーク検出部は、前記画像を、上下方向には連続し、左右方向には延びる複数のブロックに分割する際、さらに、各前記ブロックを左右のブロックに分割し、分割したブロック毎に輝度平均値を算出することを特徴とするレーン検出装置。

請求項4

請求項1〜3のいずれか1項に記載のレーン検出装置において、前記輝度平均値は、左右に延びる複数のブロックに対し、下方向から上方向に向かって順次算出することを特徴とするレーン検出装置。

請求項5

請求項4に記載のレーン検出装置において、前記2値化閾値は、前記画像の下側からの明部ブロック、暗部ブロック、及び明部ブロックの順に、明部ブロックの2値化閾値、明部ブロックの2値化閾値より小さい値の暗部ブロックの2値化閾値、及び明部ブロックの2値化閾値の順に設定されていることを特徴とするレーン検出装置。

請求項6

請求項1〜5のいずれか1項に記載のレーン検出装置と、前記レーンマーク検出部が、前記レーンマークを検出しているとき、このレーンマークを検出していることを表示する表示部をさらに備えることを特徴とするレーン表示装置。

請求項7

請求項6に記載のレーン表示装置において、前記表示部がヘッドアップディスプレイであり、前記表示を、レーンマークを模したレーン状の表示とすることを特徴とするレーン表示装置。

請求項8

路面を含む車両の前方を撮像する撮像装置により撮像された画像を2値化閾値により2値化処理してレーンを検出し認識するレーン検出方法において、前記画像を、上下方向には連続し、左右方向には延びる複数のブロックに分割し、各前記ブロック毎に輝度平均値を算出するブロック輝度算出ステップと、各前記ブロック毎の前記輝度平均値にもとづき、各前記ブロックを明部ブロックと暗部ブロックとに振り分ける明暗部ブロック振り分けステップと、前記暗部ブロックの2値化閾値の値を、前記明部ブロックの2値化閾値の値より小さい値に決定する閾値決定ステップと、撮像された前記画像を前記2値化閾値にて2値化処理してレーンマークを検出するレーンマーク検出ステップと、を備えることを特徴とするレーン検出方法。

請求項9

請求項8に記載のレーン検出方法において検出したレーンマークを模したレーン状の表示を、車両のフロントウインドに表示する表示ステップを備えることを特徴とするレーン表示方法。

技術分野

0001

この発明は、車載撮像装置により撮像された前方画像から、車両が走行する路面に形成されているレーンマーク車線境界を示すマーク)を検出し、検出したレーンマークに基づきレーン車線)を認識するレーン検出装置及びその方法、並びに検出したレーンを表示するレーン表示装置及びその方法に関する。

背景技術

0002

公知のように、車両が走行する路面に形成されているレーンマークを検出し認識する際には、車載カメラで撮像した車両前方輝度信号からなる画像に対し、路面とレーンマークのコントラストの違い(レーンマーク輝度路面輝度)に基づき輝度閾値を設定し、前記画像(輝度信号)を前記輝度閾値で2値化処理した後、エッジ検出処理を行うことで、前記画像からレーンマークを検出してレーンを認識するように構成されている。

0003

この場合、前記レーンマークを検出するために2値化処理を行う前記輝度閾値は、例えば、画像の輝度ヒストグラムを作成する等、環境光の明るさに応じて変更されている。

0004

例えば、特許文献1には、ヘッドライト点灯しているトンネル内での画像に対する2値閾値を、太陽光下の画像に対する通常の2値化閾値より高い閾値にして、白線を検出し認識することが開示されている(特許文献1の[0013]〜[0015]及び図4図5)。

先行技術

0005

特開2007−257242号公報

発明が解決しようとする課題

0006

しかしながら、例えば、太陽光下で、路面の一部を横切って高い建物等の影がある場合等には、特許文献1に開示された技術では、影の有無に拘わらず通常の2値化閾値が適用されるために、そのような高い建物等の影がかかっているレーンマークは、撮像された画像中のレーンマークに対応する部分が比較的に低い輝度信号であるにも拘わらず、高い2値化閾値が適用されることから検出することができないという課題がある。

0007

この発明は、このような課題を考慮してなされたものであり、路面の一部を横切って影がある場合であっても、レーンマークを確実に検出し認識することを可能とするレーン検出装置及びその方法、並びにレーン表示装置及びその方法を提供することを目的とする。

課題を解決するための手段

0008

この発明に係るレーン検出装置は、路面を含む車両の前方を撮像する撮像装置と、前記撮像装置により撮像された画像を2値化閾値により2値化処理して前記路面に形成されたレーンマークを検出するレーンマーク検出部と、を備えるレーン検出装置において、前記レーンマーク検出部は、撮像された前記画像を、上下方向には連続し、左右方向には延びる複数のブロックに分割し、分割したブロックの輝度値に基づき、複数の前記ブロックを、相対的に輝度値が高い明部ブロックと低い暗部ブロックに振り分け、前記明部ブロックと前記暗部ブロックとで前記2値化閾値の値を変更して、撮像された前記画像を2値化処理する。

0009

この発明によれば、撮像された画像を、上下方向には連続し、左右方向には延びる複数のブロックに分割し、各前記ブロックを明部ブロックと暗部ブロックに振り分け、前記明部ブロックと前記暗部ブロックとで2値化閾値の値を変更して、撮像された前記画像を2値化処理するようにしたので、公知の固定の2値化閾値や画像全体の輝度に基づく2値化閾値の値の変更では検出できないレーンマークを検出することができる。

0010

この結果、例えば、路面の一部を横切って跨道橋橋梁)等の影がある場合や、高い建物の影がある場合に対応する暗部ブロックでは、この暗部ブロックに対応した2値化閾値に変更することで、暗部ブロック(ブロックを構成する画像中の大部分に、影がかかっている暗部下)中のレーンマークであっても、明部ブロック(ブロックを構成する画像中の大部分に、影がかかっていない明部下)中のレーンマークであっても、レーンマークを確実に検出できる。

0011

より具体的に、前記レーンマーク検出部は、撮像された前記画像を、上下方向には連続し、左右方向には延びる複数のブロックに分割し、各前記ブロック毎に輝度平均値を算出し、各前記ブロック毎の前記輝度平均値に基づき、各前記ブロックを前記明部ブロックと前記暗部ブロックとに振り分け、前記暗部ブロックの2値化閾値の値を、前記明部ブロックの2値化閾値の値より小さい値として、撮像された前記画像を2値化処理するようにしてもよい。

0012

この発明によれば、撮像された画像を、上下方向には連続し、左右方向には延びる複数のブロックに分割し、各前記ブロック毎に(ブロック単位で)輝度平均値を算出し、各前記ブロック毎の前記輝度平均値に基づき、各前記ブロックを明部ブロックと暗部ブロックとに振り分け、前記暗部ブロックの2値化閾値の値を、前記明部ブロックの2値化閾値の値より小さい値として、撮像された前記画像を2値化処理したので、同一画像上の、明部下のレーンマークはもちろんのこと、従来検出できなかった暗部下のレーンマークをも検出することができる。

0013

この結果、例えば、路面の一部を横切って跨道橋(橋梁)の影がある場合や、高い建物の影がある場合であっても、レーンマークを確実に検出することができる。

0014

なお、前記レーンマーク検出部は、前記画像を、上下方向には連続し、左右方向には延びる複数のブロックに分割する際、さらに、各前記ブロックを左右のブロックに分割し、分割したブロック毎に輝度平均値を算出することが好ましい。

0015

例えば、太陽が走行路上にある場合には、レーンマークが形成された路面を映出した画像中、橋梁影が、水平方向に帯状にかかるが、太陽が走行路上から右側又は左側に離れている場合、橋梁影が、水平斜め方向に帯状にかかる場合が多くなる。この場合には、画像中、左右で輝度平均値が異なることになり、一部のレーンマークを検出することができなくなる可能性がある。

0016

そこで、この発明では、前記画像を、上下方向には連続し、左右方向には延びる複数のブロックに分割する際、さらに、各前記ブロックを左右のブロックに分割し、分割した各ブロック毎に輝度平均値を算出することで、検出できなかったレーンマークが検出できるようになる。

0017

また、前記輝度平均値は、左右に延びる複数のブロックに対し、下方向から上方向に向かって順次算出するようにすることで、例えば、橋梁影が、画像の中程、水平方向に帯状にある場合、下側から明部ブロック、暗部ブロック、及び明部ブロックの順に振り分けることができ、安定したレーンマーク検出処理を行うことができる。

0018

なお、前記2値化閾値は、前記画像の下側からの明部ブロック、暗部ブロック、及び明部ブロックの順に、明部ブロックの2値化閾値、明部ブロックの2値化閾値より小さい値の暗部ブロックの2値化閾値、及び明部ブロックの2値化閾値の順に設定されているようにすることが好ましい。これにより、明部ブロックと暗部ブロックに対する2値化閾値を簡易且つ適切に設定することができる。

0019

また、前記レーンマーク検出部が、前記レーンマークを検出しているとき、このレーンマークを検出していることを表示する表示部をさらに備えることが好ましい。

0020

この発明によれば、表示部上のレーンマークを検出していることの表示により、乗員は、レーン検出装置によりレーン(車線)がきちんと検出されていることを視認することができる。

0021

さらにまた、前記表示部がヘッドアップディスプレイであり、前記表示を、レーンマークを模したレーン状の表示とすることで、レーン(車線)がきちんと検出されていることを運転者が認識でき、運転補助することができる。

0022

この発明に係るレーン検出方法は、路面を含む車両の前方を撮像する撮像装置により撮像された画像を2値化閾値により2値化処理してレーンを検出し認識するレーン検出方法において、前記画像を、上下方向には連続し、左右方向には延びる複数のブロックに分割し、各前記ブロック毎に輝度平均値を算出するブロック輝度算出ステップと、各前記ブロック毎の前記輝度平均値にもとづき、各前記ブロックを明部ブロックと暗部ブロックとに振り分ける明暗部ブロック振り分けステップと、前記暗部ブロックの2値化閾値の値を、前記明部ブロックの2値化閾値の値より小さい値に決定する閾値決定ステップと、撮像された前記画像を前記2値化閾値にて2値化処理してレーンマークを検出するレーンマーク検出ステップと、を備える。

0023

この発明によれば、撮像された画像を、上下方向には連続し、左右方向には延びる複数のブロックに分割し、各前記ブロック毎に(ブロック単位で)輝度平均値を算出し、各前記ブロック毎の前記輝度平均値に基づき、各前記ブロックを明部ブロックと暗部ブロックとに振り分け、前記暗部ブロックの2値化閾値の値を、前記明部ブロックの2値化閾値の値より小さい値として、撮像された前記画像を2値化処理したので、同一画像上の、明部下のレーンマークはもちろんのこと、従来検出できなかった暗部下のレーンマークをも検出することができる。

0024

この結果、例えば、路面の一部を横切って跨道橋(橋梁)の影がある場合や、高い建物の影がある場合であっても、レーンマークを確実に検出することができる。

0025

この場合、さらに、レーン検出方法において検出したレーンマークを模したレーン状の表示を、車両のフロントウインドに表示する表示ステップを備えることで、レーン(車線)がきちんと検出されていることを運転者が認識でき、運転を補助することができる。

発明の効果

0026

この発明によれば、路面の一部を横切って影がある場合であっても、レーンマークを確実に検出し認識することができるという効果が達成される。

図面の簡単な説明

0027

この発明に係る装置及び方法の一実施形態に係るレーン検出装置が搭載された車両の概略的構成を示すブロック図である。
レーン検出装置を搭載する車両の動作説明に供されるフローチャートである。
メモリに取り込まれた撮像画像の模式図である。
画像をブロックにより9分割した状態の説明図である。
図5Aは、画像を9分割した際の、明部ブロックと暗部ブロックの説明図である。図5Bは、図5Aの状態において、さらに左右に分割し、18分割した際の明部ブロックと暗部ブロックの説明図である。
分割ブロックにより検出されたレーンマークの説明図である。
画像をブロックにより18分割した状態の説明図である。
18分割ブロックにより検出されたレーンマークの説明図である。
ヘッドアップディスプレイ上の表示の説明図である。

実施例

0028

以下、この発明の好適な実施形態について、添付の図面を参照して詳細に説明する。

0029

図1は、この実施形態に係るレーン検出装置及びその方法、並びにレーン表示装置及びその方法を実施するレーン検出装置10が搭載された車両12の概略的構成を示すブロック図である。

0030

レーン検出装置10は、走行路上に設けられた車線境界線(以下、レーンマークという。)に沿って走行する車両12の運転者によるステアリング操舵操作ブレーキペダル等による制動操作等を支援するために車両(自車両ともいう。)12に搭載された運転支援装置14の機能の一部として構成されている。

0031

なお、この実施形態では、レーン検出装置10を運転支援装置14に適用した例を示しているが、自動運転装置に適用してもよい。

0032

レーンマークは、車線境界(車線区画)を示すマークであり、レーンマークには、間隔を持って設けられた破線の白線(線分)からなる連続線(みなし連続線ともいう。)、実線の白線等の連続線の他、ボッツドットキャッツアイ等からなる連続マーク(みなし連続線と考えることもできる。)も含まれる。

0033

この実施形態に係るレーン検出装置10は、基本的には、車両12の前方を撮像するカメラ16(撮像装置)と、カメラ16により撮像された画像からレーンマークを認識し、レーンマークからレーンを検出する電子制御ユニット20(Electronic Control Unit:以下、ECU20という。)とから構成される。

0034

カメラ16は、例えば、ビデオカメラであり、車両12内のフロントウインドシールド上部に搭載され、車両12の前方を、前記フロントウインドシールドを通して撮像し、車両前方の走行路を含む画像を1秒間に複数枚複数フレーム)撮像し、画像信号映像信号)Siを出力する。この場合、カメラ16には、その取付部を原点位置Oとし、車両12の車幅方向(水平方向)をX軸、車軸方向(進行方向、前方方向)をY軸、車高方向(垂直方向、鉛直方向)をZ軸とする実空間座標系が定義されている。

0035

レーン検出装置10及び運転支援装置14は、上記したカメラ16及びECU20の他に、車両12の車速v[m/s]を検出する速度センサ22、車両12の操舵装置50の舵角θ[deg]を検出する舵角センサ26及びフロントウインドシールド上等に速度表示等の車両情報等を表示するヘッドアップディスプレイを含む表示部28等を備える。

0036

ECU20は、マイクロコンピュータを含む計算機であり、CPU(中央処理装置)、メモリであるROM(EEPROMも含む。)、RAM(ランダムアクセスメモリ)、その他、A/D変換器、D/A変換器等の入出力装置、計時部としてのタイマ等を有しており、CPUがROMに記録されているプログラム読み出し実行することで各種機能実現部(機能実現手段)として機能する。

0037

この実施形態において、ECU20は、撮像された画像を複数のブロックに分割するブロック化部32、分割されたブロック毎に輝度平均値を算出する輝度平均値算出部34、前記ブロックを明部ブロックと暗部ブロックに振り分ける明暗部ブロック振り分け部(明暗ブロック振り分け部)36、振り分けられた明暗部ブロックの各2値化閾値を決定する閾値決定部40、撮像された画像からレーンマークを検出するエッジ検出部42、レーンマークからレーンを推定するレーン推定部44、及び推定したレーンを表示部28に表示する表示制御部46等として機能する。

0038

運転支援装置14は、上記したレーン検出装置10に、速度センサ22及び舵角センサ26を備えて構成される。舵角センサ26の出力、すなわち舵角θから車両12の進行方向が検出される。

0039

運転支援装置14は、レーン検出装置10により認識されたレーンに基づき、運転者がステアリング(不図示)を把持している等の所定条件下に、操舵装置50と制動装置52と加速装置54を制御することにより、車両12が、車両12の幅方向の両側のレーンマークに挟まれる走行路、すなわちレーン(車線)から逸脱しないように、換言すれば車両12が車線の概ね中心を走れるよう、且つカーブカーブ開始点)の手前で制動装置52や図示しないアクセルペダル反力付与機構(不図示)を働かせる等、運転者の走行支援を実行する。

0040

次に、基本的には、以上のように構成される車両12の動作について、図2のフローチャートを参照して説明する。フローチャートに係るプログラムの実行主体はECU20(のCPU)であるが、処理の都度、ECU20を実行主体として説明すると煩雑になるので必要に応じて説明する。

0041

ステップS1にて、ECU20は、所定時間であるフレーム時間[s]毎に、つまり、カメラ16による車両前方の画像の撮像毎(フレーム毎)に、撮像された画像{多値画像であるグレースケール画像(輝度信号)}をメモリ30に取り込む(記憶する。)(前方画像撮像ステップ)。

0042

図3は、メモリ30にデジタルデータで取り込まれた、例としての画像(グレースケール画像)60を示している。画像60には、路面(走行路)62と、この路面62上に形成された車両12の原点位置(カメラ16の取付位置)Oから見て左側のレーンマーク70と、右側のレーンマーク80、先行車両86等が映出されている。

0043

左側のレーンマーク70は、画像60の下部(車両位置)左側から上部(前方遠方方向)中央に向かうレーンマーク71、72、73として映出され、右側のレーンマーク80は、画像60の下部(車両位置)右側から上部(前方遠方方向)中央に向かうレーンマーク81、82、83として映出されている。

0044

また、画像60には、道路を跨ぐ一定幅員の橋梁(以下、跨道橋という。)の影(橋梁影という。)88が映出され、橋梁影88が、レーンマーク70、80中、一部のレーンマーク72、73、82、83にかかっている。

0045

次に、ステップS2にて、ブロック化部32は、撮像された画像60を、ブロック化(ブロック分け区画化区画分け)する(ブロック輝度算出ステップの前半部分)。

0046

図4は、画像60中、レーンマーク70、80が含まれている車両12が走行する路面62部分を含む画像を、上下方向(Y方向)には連続し、左右方向(水平方向:X方向と−X方向)には延びる9個のブロックblk(ブロックB1〜B9)からなるブロックBαに分割した状態を示している。上下方向に連続するブロックB1〜B9の数は、9個に限らず、カメラ16やECU20の性能に応じて適宜選択することができる。

0047

次に、ステップS3にて、輝度平均値算出部34は、各ブロックblkを構成する画素の輝度値の平均値を算出する。つまり、各ブロックblkを構成する各画素の輝度値を合計して画素数で除することで、各ブロックblk、すなわちブロックB1〜B9毎の9個の各輝度平均値Bmeanを算出する(ブロック輝度算出ステップの後半部分)。なお、ブロックblkの輝度平均値Bmeanは、橋梁影88がかかっている面積が多いブロックblk程、小さい値になる。

0048

次に、ステップS4にて、明暗部ブロック振り分け部36は、各ブロックblkの輝度平均値Bmeanと、予め実験乃至シミュレーションにより決定している閾値Thとの大小を比較し、Bmean>Thである場合には、明部ブロックblkwとし、Bmean≦Thである場合には、暗部ブロックblkbとして振り分ける(明暗部ブロック振り分けステップ)。この振り分け処理は、画像60の下側(車両12に近い側)から上側(車両12から遠い側)に向かってブロックB1、B2、…B9の順に行うことが好ましい。すなわち、通常輝度の画像のブロックblk、つまり影のかかっていない画像のブロックblkから先に輝度平均値Bmeanを算出することになるので、上部のブロックblkで影がかかっていればその影を認識し易くなり、影がかかっていなければ通常の処理を行うことができるという理由で好ましい。

0049

図5Aに示すように、図4例の橋梁影88が映出された画像60では、ステップS4にて、下側から順にブロックB1〜ブロックB5の各blkが明部ブロックblkwに振り分けられ、ブロックB6〜B8の各ブロックblkがハッチングしたように暗部ブロックblkbに振り分けられ、ブロックB9が明部ブロックblkwに振り分けられる。

0050

次に、ステップS5にて、閾値決定部40は、明部ブロックblkwの2値化閾値Thwを、予め実験乃至シミュレーションにより決定している前記の2値化閾値Th(通常の閾値であり、明部閾値Thwという。Th=Thw)に決定し、暗部ブロックblkbの2値化閾値Thb(暗部閾値Thbという。Th=Thb)を、明部閾値Thwより小さい値の予め実験乃至シミュレーションにより決定している2値化閾値Thb(Thb<Thw)に決定する(閾値決定ステップ)。

0051

次いで、ステップS6にて、各ブロックblkを構成する画素の画素値と2値化閾値(明部ブロックblkwであれば明部閾値Thw、暗部ブロックblkbであれば暗部閾値Thb)とを比較して、画像60の水平方向の一列の画素毎に2値化処理を行う(明部ブロックblkwを構成する画素値が明部閾値Thwより大きければ1:検出、小さければ0:非検出、暗部ブロックblkbを構成する画素値が暗部閾値Thbより大きければ1:検出、小さければ0:非検出)(レーンマーク検出ステップ)。

0052

図6は、ステップS6のレーン検出2値化処理により検出されたレーンマーク候補を黒く塗りつぶして示している。レーンマーク71、72、73、81、82、83中、黒く塗りつぶした部分をレーンマーク候補として抽出することができる。

0053

このように、暗部ブロックblkbの2値化処理用の暗部閾値Thbを、明部ブロックblkwの2値化処理用の明部閾値Thwよりも小さな値とすることで、従来検出することができなかった、暗部ブロックblkb中の橋梁影88がかかっているレーンマーク72、73、82、83の一部(図6例では、半分以上の領域)を検出することができる。

0054

ただし、この処理を行うことにより、従来であれば、検出することができていたレーンマーク72中、破線で描いた比較的に長さの長いレーンマーク72aの部分(図6)、及びレーンマーク83中の破線で描いた比較的に長さの長いレーンマーク83aの部分(図6)を検出することができなくなる。

0055

そこで、例えば、図7に示すように、画像60を、中心線65でさらに左右の合計18個のブロックBβ{ブロックBβa(ブロックB1a〜B9a)、ブロックBβb(ブロックB1b〜B9b)}に分割し(ブロック化:ステップS2)、分割した上下左右18個の各blkの輝度平均値を算出し(ステップS3)、明暗部ブロックに再振り分けする(ステップS4)ことで、図5Bに示すように明暗部ブロックが得られることが分かる。

0056

そして、上述したステップS5と同様に、閾値(明部閾値Thwと暗部閾値Thb、Thb<Thw)を決定し、ステップS6にて、分割された各blk毎の画像を2値化処理することにより、図8に示すように、レーンマーク72中、図6にて破線で描いた比較的に長さの長いレーンマーク72aの部分、及びレーンマーク83中、図6にて破線で描いた比較的に長さの長いレーンマーク83aの部分を検出することができるようになる。

0057

レーンマーク候補を検出した後は、さらに、ステップS6にて、公知のように、検出(抽出)されたレーンマーク候補(水平方向で、方形波状)をエッジ検出部42により微分処理して上下に延びるエッジを検出し、レーン推定部44が、上下に延びるエッジの幅が実際のレーンマークの幅に近似するレーンマーク候補をレーンマーク71、72、73、81、82、83として特定する。その後、レーン推定部(レーン認識部)44は、特定したレーンマーク71、72、73、81、82、83を鳥瞰図射影変換し、二次曲線クロソイド曲線等を利用した最小二乗法による曲線近似を行い、近似直線及び近似曲線をレーン(車線)として検出(認識)する。なお、地図情報等により路面(走行路)62が直線路であることが分かっている場合には、直線近似を行ってもよい。

0058

これにより、運転支援装置14は、検出(推定)したレーン(車線)に沿って、車両12がレーン(車線)間から逸脱しないように、換言すれば、車両12がレーン(車線)間の中心線やカーブ車線の中心を走れるように操舵装置50、制動装置52及び加速装置54等を制御して運転者の走行支援を実行する。

0059

同時に、ステップS7にて、表示制御部46は、図9に示すように、ダッシュボード76の前方の表示部28であるフロントウインドシールド78上(ヘッドアップディスプレイ)に、速度センサ22で検出している車速vの表示90(80km/h)の他に、レーンを検出できていることを示すレーンを模したレーン状の表示92を映す(表示ステップ)ことで、レーンが検出できていることを、ステアリング74を操作する運転者(不図示)に知らせることができる。

0060

なお、ヘッドアップディスプレイ非装着車両である場合には、マルチインフォメーションディスプレイ等に、レーン状の表示92をしてもよい。

0061

[実施形態のまとめ]
以上説明したように上述した実施形態に係るレーン検出装置10は、路面62を含む車両12の前方を撮像するカメラ16(撮像装置)と、カメラ16により撮像された画像60(図3)を2値化閾値により2値化処理して路面62に形成されたレーンマーク70(71、72、73)、80(81、82、83)を検出するレーンマーク検出部としてのECU20と、を備える。

0062

この場合、前記レーンマーク検出部としてのECU20は、撮像された画像60を、上下方向には連続し、左右方向には延びる複数のブロックblkに分割し、分割したブロックblkの輝度値に基づき、複数の前記ブロックblkを、相対的に輝度値が高い明部ブロックblkw(図5A等)と低い暗部ブロックblkbに振り分け、明部ブロックblkwと暗部ブロックblkbとで2値化閾値Thの値を変更して、撮像された画像60を2値化処理している。

0063

この実施形態によれば、撮像された画像60を、上下方向には連続し、左右方向には延びる複数のブロックB1〜B9に分割し、各前記ブロックB1〜B9を明部ブロックblkwと暗部ブロックblkbに振り分け、明部ブロックblkwと暗部ブロックblkbとで2値化閾値Thの値を変更して、撮像された画像60を2値化処理するようにしたので、公知の固定の2値化閾値や画像全体の輝度に基づく2値化閾値の値の変更では検出できないレーンマーク82等を検出することができる。

0064

この結果、例えば、路面62の一部を横切って跨道橋(橋梁)等の橋梁影88がある場合や、高い建物の影がある場合に対応する暗部ブロックblkbでは、この暗部ブロックblkbに対応した2値化閾値Thbに変更することで、暗部ブロックblkb(ブロックを構成する画像中の大部分に、影がかかっている暗部下)中のレーンマーク72、73、82、83であっても、明部ブロックblkw(ブロックを構成する画像中の大部分に、影がかかっていない明部下)中のレーンマーク71、81等であっても、レーンマークを確実に検出できる。

0065

この場合、前記レーンマーク検出部としてのECU20は、撮像された画像60を、上下方向には連続し、左右方向には延びる複数のブロックB1〜B9(図4)に分割し、各ブロックB1〜B9毎に輝度平均値Bmeanを算出し、各ブロックblk毎の輝度平均値Bmeanに基づき、各ブロックblkを明部ブロックblkwと暗部ブロックblkbとに振り分け、暗部ブロックblkbの2値化閾値Thbの値を、明部ブロックblkwの2値化閾値Thwの値より小さい値(Thb<Thw)として、撮像された画像60を2値化処理することが好ましい。

0066

この構成によれば、撮像された画像60を、上下方向には連続し、左右方向には延びる複数のブロックB1〜B9に分割し、各ブロックblk毎に(ブロック単位で)輝度平均値Bmeanを算出し、各ブロックblk毎の輝度平均値Bmeanに基づき、各ブロックblkを明部ブロックblkwと暗部ブロックblkbとに振り分け、暗部ブロックblkbの2値化閾値Thbの値を、明部ブロックblkwの2値化閾値Thwの値より小さい値(Thb<Thw)として、撮像された画像60を2値化処理したので、同一画像60上の、明部下のレーンマーク81等はもちろんのこと、従来検出できなかった暗部下のレーンマーク82等をも検出することができる。

0067

この結果、例えば、路面62の一部を横切って跨道橋(橋梁)の影(橋梁影88)がある場合や、高い建物の影がある場合であっても、レーンマークを確実に検出することができる。

0068

この場合、前記レーンマーク検出部としてのECU20は、画像60を、上下方向には連続し、左右方向には延びる複数のブロックblkに分割する際、さらに、各前記ブロックblkを左右のブロックに分割し、分割したブロックBβa(B1a〜B9a)、Bβb(B1b〜B9b)毎に輝度平均値Bmeanを算出することがより好ましい。

0069

例えば、太陽が走行路上にある場合には、レーンマーク70、80が形成された路面62を映出した画像60中、橋梁影88が、水平方向に帯状にかかるが、太陽が走行路上から右側又は左側に離れている場合、橋梁影88が、水平斜め方向に帯状にかかる場合が多くなる。この場合には、画像60中、左右で輝度平均値Bmeanが異なることになり、一部のレーンマークを検出することができなくなる可能性がある。そこで、この構成によれば、画像60を、上下方向には連続し、左右方向には延びる複数のブロックblkに分割する際、さらに、各前記ブロックblkを原点位置Oから上方に延びる中心線65(図7)により左右のブロックBβa、Bβbに分割し、分割した各ブロックblk毎に輝度平均値Bmeanを算出することで、検出できなかったレーンマーク72a(図6図8)等が検出できるようになる。

0070

なお、輝度平均値Bmeanは、左右に延びる複数のブロックblkに対し、下方向から上方向に向かって順次算出するようにすることで、例えば、橋梁影88が、画像60の中程、水平方向に帯状にある場合、下側から明部ブロックblkw、暗部ブロックblkb、及び明部ブロックblkwの順に振り分けることができ、安定したレーンマーク検出処理を行うことができる。

0071

また、2値化閾値Thは、画像60の下側からの明部ブロックblkw、暗部ブロックblkb、及び明部ブロックblkwの順に、明部ブロックblkwの2値化閾値Thw、明部ブロックblkwの2値化閾値Thwより小さい値の暗部ブロックblkbの2値化閾値Thb(Thb<Thw)、及び明部ブロックblkwの2値化閾値Thwの順に設定することで、明部ブロックblkwと暗部ブロックblkbに対する2値化閾値Thw、Thbを簡易且つ適切に設定することができる。

0072

なお、レーン検出部としてのECU20が、レーンマーク70、80を検出しているとき、このレーンマーク70、80を検出していることを表示する表示部28を備える構成とすれば、表示部28上のレーンマーク70、80を検出していることの表示により、乗員は、車載のレーン検出装置10によりレーン(車線)がきちんと検出されていることを視認することができる。

0073

ここで、ヘッドアップディスプレイとしての表示部28(図9)にレーンマークを模したレーン状の表示92をすることで、レーン(車線)がきちんと検出されていることを運転者が認識でき、運転を補助することができる。

0074

なお、この発明は、上述の実施形態に限らず、この明細書の記載内容に基づき、種々の構成を採り得ることはもちろんである。

0075

10…レーン検出装置 12…車両
14…運転支援装置16…カメラ
20…ECU 22…速度センサ
26…舵角センサ28…表示部
30…メモリ32…ブロック化部
34…輝度平均値算出部 36…明暗部ブロック振り分け部
40…閾値決定部 42…エッジ検出部
44…レーン推定部 46…表示制御部
50…操舵装置52…制動装置
54…加速装置

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ