図面 (/)

技術 撮像手段の調整装置および物体検出装置

出願人 株式会社SUBARU
発明者 齋藤徹
出願日 2008年3月26日 (12年8ヶ月経過) 出願番号 2008-080986
公開日 2009年10月15日 (11年2ヶ月経過) 公開番号 2009-234344
状態 特許登録済
技術分野 乗員・歩行者の保護 光学的視認装置 画像処理 閉回路テレビジョンシステム スタジオ装置 イメージ分析
主要キーワード 監視基準 拡散度合 各基準画素 監視領域中 ナンバーランプ ランプ間距離 アクセルスロットル 輝度値変換
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2009年10月15日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

夜間に、歩行者車線灯火類とをそれぞれ的確に撮像できるように撮像手段の露光量等を自動的に切り替えて調整することが可能な撮像手段の調整装置およびそれを用いて物体を検出する物体検出装置を提供する。

解決手段

撮像手段の調整装置9は、撮像手段2により撮像された画像T中から物体を検出する物体検出手段12と、夜間であることを検出する夜検出手段13と、夜検出手段13により夜間であること検出されている場合に、撮像手段2の撮像モードを、少なくとも、灯火類を有する物体Vah、Bの点灯された灯火類TLl、TLr、SLの輪郭部分を撮像可能な第1撮像モードと、灯火類を有しない対象M、LL、LRを検出可能な第2撮像モードとの間で切り替える撮像モード切替手段14と、を備える。

概要

背景

近年、CCD(Charge Coupled Device)イメージセンサを内蔵するカメラ等の撮像手段により撮像された画像中から自車両の前方を走行する先行車両等を検出し、それに基づいて自車両の定速走行制御を行うクルーズコントロール(Cruise Control)装置や、自車両の定速走行制御に加えて先行車両に対する追従走行制御を行う先行車追従機能付きクルーズコントロール(Adaptive Cruise Control。以下ACC略称する)制御を行うACC装置が開発されている(例えば特許文献1等参照)。

ACC装置では、先行車両が存在しない場合には自車両を設定された速度で定速走行させ、先行車両が存在する場合には自車両を先行車両に追従させるように自車両のアクセルスロットルブレーキ機構等を自動的に適切に操作する制御が行われる。そのため、ACC装置には先行車両を精度良く検出できることが強く求められる。また、先行車両に対する追従走行制御を伴わないクルーズコントロール装置においても、先行車両に対する追突を防止すること等を目的として、通常、先行車両の検出が行われる。
特開2005−1566号公報

概要

夜間に、歩行者車線灯火類とをそれぞれ的確に撮像できるように撮像手段の露光量等を自動的に切り替えて調整することが可能な撮像手段の調整装置およびそれを用いて物体を検出する物体検出装置を提供する。撮像手段の調整装置9は、撮像手段2により撮像された画像T中から物体を検出する物体検出手段12と、夜間であることを検出する夜検出手段13と、夜検出手段13により夜間であること検出されている場合に、撮像手段2の撮像モードを、少なくとも、灯火類を有する物体Vah、Bの点灯された灯火類TLl、TLr、SLの輪郭部分を撮像可能な第1撮像モードと、灯火類を有しない対象M、LL、LRを検出可能な第2撮像モードとの間で切り替える撮像モード切替手段14と、を備える。

目的

本発明は、このような事情に鑑みてなされたものであり、夜間に、歩行者や車線と灯火類とをそれぞれ的確に撮像できるように撮像手段の露光量等を自動的に切り替えて調整することが可能な撮像手段の調整装置およびそれを用いて物体を検出する物体検出装置を提供することを目的とする。

効果

実績

技術文献被引用数
2件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

撮像手段により撮像された画像中から物体を検出する物体検出手段と、夜間であることを検出する夜検出手段と、前記夜検出手段により夜間であること検出されている場合に、前記撮像手段の撮像モードを、少なくとも、灯火類を有する物体の点灯された灯火類の輪郭部分を撮像可能な第1撮像モードと、灯火類を有しない対象を検出可能な第2撮像モードとの間で切り替える撮像モード切替手段と、を備えることを特徴とする撮像手段の調整装置

請求項2

前記灯火類を有する物体の点灯された灯火類は、先行車両の背面に設けられた点灯された灯火類または信号機の点灯された信号灯であることを特徴とする請求項1に記載の撮像手段の調整装置。

請求項3

前記灯火類を有しない対象は、歩行者であることを特徴とする請求項1または請求項2に記載の撮像手段の調整装置。

請求項4

さらに前記画像中から自車両の左側および右側の車線を検出する車線検出手段を備え、前記灯火類を有しない対象は、前記車線であることを特徴とする請求項1から請求項3のいずれか一項に記載の撮像手段の調整装置。

請求項5

前記撮像モード切替手段は、自車両において先行車追従制御または定速走行制御が作動された場合に前記撮像手段の撮像モードを前記第2撮像モードから前記第1撮像モードに切り替え、前記作動が停止された場合に前記撮像手段の撮像モードを前記第1撮像モードから前記第2撮像モードに切り替えることを特徴とする請求項1から請求項4のいずれか一項に記載の撮像手段の調整装置。

請求項6

前記撮像モード切替手段は、自車両の速度が所定の速度以上になった場合に前記撮像手段の撮像モードを前記第2撮像モードから前記第1撮像モードに切り替え、前記速度が前記所定の速度未満になった場合に前記撮像手段の撮像モードを前記第1撮像モードから前記第2撮像モードに切り替えることを特徴とする請求項1から請求項5のいずれか一項に記載の撮像手段の調整装置。

請求項7

自車両が自動車専用道路走行中であることを検出する走行検出手段をさらに備え、前記撮像モード切替手段は、前記走行検出手段により自車両が自動車専用道路を走行中であることが検出された場合に前記撮像手段の撮像モードを前記第2撮像モードから前記第1撮像モードに切り替え、前記走行検出手段により自車両が自動車専用道路を走行中であることが検出されなくなると前記撮像手段の撮像モードを前記第1撮像モードから前記第2撮像モードに切り替えることを特徴とする請求項1から請求項6のいずれか一項に記載の撮像手段の調整装置。

請求項8

前記撮像モード切替手段は、自車両のワイパが作動された場合に前記撮像手段の撮像モードを前記第2撮像モードから前記第1撮像モードに切り替え、前記ワイパの作動が停止された場合に前記撮像手段の撮像モードを前記第1撮像モードから前記第2撮像モードに切り替えることを特徴とする請求項1から請求項7のいずれか一項に記載の撮像手段の調整装置。

請求項9

前記撮像モード切替手段は、前記撮像モードの切り替えに伴って、前記撮像手段の露光量と前記撮像手段から出力される画素輝度値の少なくとも一方の調整を行うことを特徴とする請求項1から請求項8のいずれか一項に記載の撮像手段の調整装置。

請求項10

前記撮像手段は、一対のカメラで物体を同時に撮像して一対の画像を出力するステレオ撮像手段であり、前記撮像手段で撮像された一対の画像に対してステレオマッチング処理を行い、前記画像の画素ブロックごと視差を算出するステレオマッチング手段をさらに備えることを特徴とする請求項9に記載の撮像手段の調整装置。

請求項11

前記撮像モード切替手段は、前記撮像手段の撮像モードを前記第2撮像モードから前記第1撮像モードに切り替える場合に、同一の撮像周期において前記ステレオマッチング手段により算出された前記灯火類を有する物体の点灯された灯火類に対応する前記視差の各データのばらつきが所定の閾値以内となるように前記調整を行うことを特徴とする請求項10に記載の撮像手段の調整装置。

請求項12

前記撮像モード切替手段は、前記撮像手段の撮像モードを前記第2撮像モードから前記第1撮像モードに切り替える場合に、時間的に隣接する撮像周期において前記ステレオマッチング手段により算出された前記灯火類を有する物体の点灯された灯火類に対応する前記視差のデータの時間的な変化量の絶対値が所定の閾値以内となるように前記調整を行うことを特徴とする請求項10または請求項11に記載の撮像手段の調整装置。

請求項13

前記撮像モード切替手段は、前記撮像手段の撮像モードを前記第2撮像モードから前記第1撮像モードに切り替える場合に、前記画像における前記灯火類を有する物体の点灯された灯火類が撮像された画像領域の輝度値の分布に基づいて、前記画像領域中の画素の輝度値と当該画素に隣接する画素の輝度値との差の絶対値の最大値が所定の閾値以上になるように前記調整を行うことを特徴とする請求項9から請求項12のいずれか一項に記載の撮像手段の調整装置。

請求項14

前記撮像モード切替手段は、前記撮像手段の撮像モードを前記第1撮像モードから前記第2撮像モードに切り替える場合に、同一の撮像周期において前記ステレオマッチング手段により算出された前記灯火類を有しない対象に対応する前記視差のデータ点数が所定の閾値以上となるように前記調整を行うことを特徴とする請求項10から請求項13のいずれか一項に記載の撮像手段の調整装置。

請求項15

さらに自車両のドライバに対して前記撮像手段の前記撮像モードが第1撮像モードになっていることを報知する報知手段を備えることを特徴とする請求項1から請求項14のいずれか一項に記載の撮像手段の調整装置。

請求項16

自車両の周囲を撮像する前記撮像手段と、請求項1から請求項15のいずれか一項に記載の撮像手段の調整装置と、を備え、前記物体検出手段は、前記第1撮像モードである場合には前記灯火類を有する物体を、前記第2撮像モードである場合には前記灯火類を有しない対象をそれぞれ検出することを特徴とする物体検出装置

技術分野

0001

本発明は、撮像手段の調整装置および物体検出装置係り、特に、撮像手段の露光量等を調整可能な撮像手段の調整装置およびそれを用いて物体等を検出する物体検出装置に関する。

背景技術

0002

近年、CCD(Charge Coupled Device)イメージセンサを内蔵するカメラ等の撮像手段により撮像された画像中から自車両の前方を走行する先行車両等を検出し、それに基づいて自車両の定速走行制御を行うクルーズコントロール(Cruise Control)装置や、自車両の定速走行制御に加えて先行車両に対する追従走行制御を行う先行車追従機能付きクルーズコントロール(Adaptive Cruise Control。以下ACC略称する)制御を行うACC装置が開発されている(例えば特許文献1等参照)。

0003

ACC装置では、先行車両が存在しない場合には自車両を設定された速度で定速走行させ、先行車両が存在する場合には自車両を先行車両に追従させるように自車両のアクセルスロットルブレーキ機構等を自動的に適切に操作する制御が行われる。そのため、ACC装置には先行車両を精度良く検出できることが強く求められる。また、先行車両に対する追従走行制御を伴わないクルーズコントロール装置においても、先行車両に対する追突を防止すること等を目的として、通常、先行車両の検出が行われる。
特開2005−1566号公報

発明が解決しようとする課題

0004

ところで、夜間の走行中に、上記のような撮像手段を用いて先行車両検出を行う場合、暗い背景の中に存在する先行車両のボディ等の本体部分を撮像して先行車両を検出しようとして撮像手段の露光量を多くする等の調整を行うと、先行車両のテールランプブレーキランプ等の灯火類の光が周囲に大きく拡散して撮像され、光が先行車両のボディ等の端部(エッジ部分)にまではみ出して撮像される。

0005

このような状況では、撮像手段で撮像された画像に撮像されている光の拡散度合がそれぞれ異なり、また各フレームごとにも異なるため、例えばステレオ撮像手段により撮像された一対の画像に対するステレオマッチングで得られるテールランプやブレーキランプ等の灯火類の視差や距離の情報に空間的なばらつきや時間的なばらつきが生じ、自車両と先行車両との距離がばらついて検出される。

0006

そのため、実際には先行車両は自車両の前方を安定して走行しているにもかかわらず、自車両には先行車両が時間的に前後しているように検出されてしまい、ACC装置等の先行車両に対する追従走行制御が作動している場合には、安定して走行している先行車両の後方で自車両が加速したり減速したりするという現象が発生してしまう。

0007

また、このような現象は、先行車両検出の場合だけでなく、夜間において信号機信号灯等のように灯火類を有する物体を検出する際にも生じ、物体の点灯された灯火類の光が周囲に大きくはみ出して撮像されると、それに対する視差や距離を安定して検出できず、例えば道路面に対して静止している信号機を移動物体として検出してしまうという現象が生じる。

0008

そこで、このような場合には、逆に、撮像手段の露光量を少なくする等の調整を行って先行車両のテールランプ等や信号機の信号灯等の灯火類の光が周囲に拡散しないように撮像し、例えばステレオマッチングを適切に行えるようにすることで、テールランプ等の灯火類の位置を的確に検出して、その結果から先行車両や信号機等までの距離を的確に検出することが可能となる。

0009

しかしながら、撮像手段の露光量を少なくする等の調整を行うと、今度は灯火類以外の部分が非常に暗く撮像されるようになるため、道路脇の歩行者や路面上に標示された車線等を検出することが困難になる。撮像手段の露光量等を調整しても、先行車両のテールランプや信号灯等の灯火類と歩行者や車線とを同時に的確に検出することは、事実上不可能である。なお、本発明では、追い越し禁止線等の道路中央線車両通行帯境界線路側帯車道とを区画する区画線等の道路面上に標示された連続線破線を車線という。

0010

従って、夜間においては、先行車両や信号機等を検出する際にはそのテールランプや信号灯等の灯火類の光が周囲に拡散しないように露光量等を少なくし、歩行者や車線を検出する際には露光量等を多くするように、撮像手段の露光量等を的確に切り替えて、それらが適切に撮像されるように調整することが必要となる。

0011

本発明は、このような事情に鑑みてなされたものであり、夜間に、歩行者や車線と灯火類とをそれぞれ的確に撮像できるように撮像手段の露光量等を自動的に切り替えて調整することが可能な撮像手段の調整装置およびそれを用いて物体を検出する物体検出装置を提供することを目的とする。

課題を解決するための手段

0012

前記の問題を解決するために、第1の発明は、撮像手段の調整装置において、
撮像手段により撮像された画像中から物体を検出する物体検出手段と、
夜間であることを検出する夜検出手段と、
前記夜検出手段により夜間であること検出されている場合に、前記撮像手段の撮像モードを、少なくとも、灯火類を有する物体の点灯された灯火類の輪郭部分を撮像可能な第1撮像モードと、灯火類を有しない対象を検出可能な第2撮像モードとの間で切り替える撮像モード切替手段と、
を備えることを特徴とする。

0013

第2の発明は、第1の発明の撮像手段の調整装置において、前記灯火類を有する物体の点灯された灯火類は、先行車両の背面に設けられた点灯された灯火類または信号機の点灯された信号灯であることを特徴とする。

0014

第3の発明は、第1または第2の発明の撮像手段の調整装置において、前記灯火類を有しない対象は、歩行者であることを特徴とする。

0015

第4の発明は、第1から第3のいずれかの発明の撮像手段の調整装置において、
さらに前記画像中から自車両の左側および右側の車線を検出する車線検出手段を備え、
前記灯火類を有しない対象は、前記車線であることを特徴とする。

0016

第5の発明は、第1から第4のいずれかの発明の撮像手段の調整装置において、前記撮像モード切替手段は、自車両において先行車追従制御または定速走行制御が作動された場合に前記撮像手段の撮像モードを前記第2撮像モードから前記第1撮像モードに切り替え、前記作動が停止された場合に前記撮像手段の撮像モードを前記第1撮像モードから前記第2撮像モードに切り替えることを特徴とする。

0017

第6の発明は、第1から第5のいずれかの発明の撮像手段の調整装置において、前記撮像モード切替手段は、自車両の速度が所定の速度以上になった場合に前記撮像手段の撮像モードを前記第2撮像モードから前記第1撮像モードに切り替え、前記速度が前記所定の速度未満になった場合に前記撮像手段の撮像モードを前記第1撮像モードから前記第2撮像モードに切り替えることを特徴とする。

0018

第7の発明は、第1から第6のいずれかの発明の撮像手段の調整装置において、
自車両が自動車専用道路を走行中であることを検出する走行検出手段をさらに備え、
前記撮像モード切替手段は、前記走行検出手段により自車両が自動車専用道路を走行中であることが検出された場合に前記撮像手段の撮像モードを前記第2撮像モードから前記第1撮像モードに切り替え、前記走行検出手段により自車両が自動車専用道路を走行中であることが検出されなくなると前記撮像手段の撮像モードを前記第1撮像モードから前記第2撮像モードに切り替えることを特徴とする。

0019

第8の発明は、第1から第7のいずれかの発明の撮像手段の調整装置において、前記撮像モード切替手段は、自車両のワイパが作動された場合に前記撮像手段の撮像モードを前記第2撮像モードから前記第1撮像モードに切り替え、前記ワイパの作動が停止された場合に前記撮像手段の撮像モードを前記第1撮像モードから前記第2撮像モードに切り替えることを特徴とする。

0020

第9の発明は、第1から第8のいずれかの発明の撮像手段の調整装置において、前記撮像モード切替手段は、前記撮像モードの切り替えに伴って、前記撮像手段の露光量と前記撮像手段から出力される画素輝度値の少なくとも一方の調整を行うことを特徴とする。

0021

第10の発明は、第9の発明の撮像手段の調整装置において、
前記撮像手段は、一対のカメラで物体を同時に撮像して一対の画像を出力するステレオ撮像手段であり、
前記撮像手段で撮像された一対の画像に対してステレオマッチング処理を行い、前記画像の画素ブロックごとに視差を算出するステレオマッチング手段をさらに備えることを特徴とする。

0022

第11の発明は、第10の発明の撮像手段の調整装置において、前記撮像モード切替手段は、前記撮像手段の撮像モードを前記第2撮像モードから前記第1撮像モードに切り替える場合に、同一の撮像周期において前記ステレオマッチング手段により算出された前記灯火類を有する物体の点灯された灯火類に対応する前記視差の各データのばらつきが所定の閾値以内となるように前記調整を行うことを特徴とする。

0023

第12の発明は、第10または第11の発明の撮像手段の調整装置において、前記撮像モード切替手段は、前記撮像手段の撮像モードを前記第2撮像モードから前記第1撮像モードに切り替える場合に、時間的に隣接する撮像周期において前記ステレオマッチング手段により算出された前記灯火類を有する物体の点灯された灯火類に対応する前記視差のデータの時間的な変化量の絶対値が所定の閾値以内となるように前記調整を行うことを特徴とする。

0024

第13の発明は、第9から第12のいずれかの発明の撮像手段の調整装置において、前記撮像モード切替手段は、前記撮像手段の撮像モードを前記第2撮像モードから前記第1撮像モードに切り替える場合に、前記画像における前記灯火類を有する物体の点灯された灯火類が撮像された画像領域の輝度値の分布に基づいて、前記画像領域中の画素の輝度値と当該画素に隣接する画素の輝度値との差の絶対値の最大値が所定の閾値以上になるように前記調整を行うことを特徴とする。

0025

第14の発明は、第10から第13のいずれかの発明の撮像手段の調整装置において、前記撮像モード切替手段は、前記撮像手段の撮像モードを前記第1撮像モードから前記第2撮像モードに切り替える場合に、同一の撮像周期において前記ステレオマッチング手段により算出された前記灯火類を有しない対象に対応する前記視差のデータ点数が所定の閾値以上となるように前記調整を行うことを特徴とする。

0026

第15の発明は、第1から第14のいずれかの発明の撮像手段の調整装置において、さらに自車両のドライバに対して前記撮像手段の前記撮像モードが第1撮像モードになっていることを報知する報知手段を備えることを特徴とする。

0027

第16の発明は、物体検出装置において、
自車両の周囲を撮像する前記撮像手段と、
請求項1から請求項15のいずれか一項に記載の撮像手段の調整装置と、を備え、
前記物体検出手段は、前記第1撮像モードである場合には前記灯火類を有する物体を、前記第2撮像モードである場合には前記灯火類を有しない対象をそれぞれ検出することを特徴とする。

発明の効果

0028

第1から第4の発明によれば、夜間の走行時において、撮像手段により対象を撮像する際に、検出する対象が、先行車両のテールランプや信号機の信号灯等のように灯火類を有する物体の点灯された灯火類である場合と、歩行者や車線のように灯火類を有しない対象である場合とで、撮像手段の撮像モードを切り替える。

0029

そのため、夜間の走行時においては、同時に的確に検出することが事実上不可能であるそれらの対象を同時に検出しようとして、先行車両に対する追従走行制御を作動させているのに、安定して走行している先行車両の後方で自車両が加速したり減速してしまったり、道路面に対して静止しているはずの信号機を移動物体として検出してしまうような事態が発生することを回避することが可能となる。

0030

また、灯火類を有する物体を検出する際にはその点灯された灯火類の光が周囲に拡散しないように撮像手段の露光量等を小さくし、灯火類を有しない対象を検出する際には露光量等を大きくするように、撮像手段の露光量等を自動的に的確に切り替えることが可能となるため、検出する対象が適切に撮像されるように調整することが可能となる。

0031

第5から第8の発明によれば、前記各発明の効果に加え、自車両で先行車追従制御や定速走行制御が作動された場合や、自車両の速度が所定の速度以上になった場合、自車両が自動車専用道路を走行中であることが検出された場合、自車両のワイパが作動される降雨時や降雪時等に、撮像手段の撮像モードを第2撮像モードから第1撮像モードに切り替えることで、先行車両のテールランプ等を的確に検出できるように撮像手段の露光調整を行うことが可能となる。

0032

また、それらの条件がなくなった場合に撮像手段の撮像モードを第1撮像モードから第2撮像モードに切り替えることで、歩行者や車線等を検出して車両走行の安全性を向上させるように撮像手段の露光調整を行うことが可能となる。

0033

第9の発明によれば、前記各発明の効果に加え、ステレオ撮像手段の露光量とステレオ撮像手段から出力される画素の輝度値の少なくとも一方の調整を行うことで撮像モードの切り替えを行うことで、ステレオ撮像手段の露光調整を容易かつ適切に行うことが可能となるとともに、ステレオ撮像手段のサンプリング周期にあわせて迅速に調整することが可能となる。

0034

第10および第11の発明によれば、前記各発明の効果に加え、ステレオ撮像手段で撮像された一対の画像に対するステレオマッチング処理により算出された灯火類を有する物体の点灯された灯火類に対応する視差の各データのばらつきが所定の閾値以内となるように調整を行うことで、容易に検出できる視差のデータのばらつきに基づいて調整を行うことが可能となり、ステレオ撮像手段の露光調整を容易かつ迅速に行うことが可能となる。

0035

第12の発明によれば、さらに視差のデータの時間的なばらつきに基づいて調整を行うことで、容易かつより確実にステレオ撮像手段の露光調整を行うことが可能となり、前記各発明の効果が的確に発揮される。

0036

第13の発明によれば、灯火類が撮像された画像領域の輝度値の分布に基づいて調整を行うように構成することで、より確実な撮像手段の露光調整を行うことが可能となり、前記各発明の効果が的確に発揮される。

0037

第14の発明によれば、前記各発明の効果に加え、撮像手段の撮像モードを第1撮像モードから第2撮像モードに撮像モードを切り替える場合に、灯火類を有しない対象に対応する視差のデータ点数が所定の閾値以上となるように調整を行うことで、夜間の走行時の暗い環境の中でも歩行者や車線等を的確に検出するように撮像手段の露光調整を行うことが可能となる。

0038

第15の発明によれば、撮像手段の撮像モードが第1撮像モードになると、歩行者等の灯火類を有しない対象が検出され難い状態になる。そのため、前記各発明の効果に加え、表示画面に表示したりランプを点灯させるなどして、そのような状態になっていることをドライバに報知するように構成すれば、ドライバの歩行者等に対する注意喚起することが可能となる。

0039

第16の発明によれば、上記のような機能を有する撮像手段の調整装置を備えるため、撮像手段が備える自動的な露光調整では先行車両のテールランプ等の灯火類が放つ光がそれぞれ拡散して撮像されるような夜間の走行時においても、撮像モード切替手段により撮像手段の撮像モードが適切に切り替えられる。

0040

そのため、灯火類を有する物体を検出する場合にはその点灯された灯火類の輪郭が明瞭に撮像されるようになり、物体を的確に検出することが可能となる。また、歩行者等の灯火類を有しない対象を検出する場合には撮像手段の露光量等が自動的に切り替えられて露光量等が大きくなるため、対象を的確に検出することが可能となる。

発明を実施するための最良の形態

0041

以下、本発明に係る撮像手段の調整装置および物体検出装置の実施の形態について、図面を参照して説明する。

0042

本実施形態に係る撮像手段の調整装置を含む物体検出装置1は、図1に示すように、主に撮像手段2や変換手段3、ステレオマッチング手段6等と、撮像手段2の調整装置である処理手段9とで構成されている。なお、本実施形態では、撮像手段2が一対のカメラで物体を同時に撮像して一対の画像を出力するステレオ撮像手段である場合について説明するが、本発明はそれに限定されない。

0043

本実施形態では、撮像手段2からステレオマッチング手段6までの構成は、本願出願人により先に提出された特開平5−114099号公報、特開平5−265547号公報、特開平6−266828号公報、特開平10−283461号公報、特開平10−283477号公報、特開2006−72495号公報等に記載された車外監視装置等をベースに構成されている。以下、簡単に説明する。

0044

撮像手段2は、車幅方向に一定の距離をあけて配置された一対の撮像手段であるメインカメラ2aおよびサブカメラ2bを備えて構成されており、自車両の周囲を撮像して一対の画像を撮像するようになっている。撮像された一対の画像は、変換手段3であるA/Dコンバータ3a、3bでそれぞれデジタル画像に変換され、画像補正部4でずれやノイズの除去、輝度値の補正等の画像補正が行われて、画像データメモリ5に格納されるとともに、処理手段9に送信されるようになっている。

0045

本実施形態では、メインカメラ2aおよびサブカメラ2bはそれぞれCCDイメージセンサを内蔵するカメラ(以下、CCDカメラという。)で構成されており、CCDカメラに通常備えられる機能として、自車両の周囲の明るさを自ら判断して適切な露光を得るための露光調整を自動的に行うように構成されている。ここで、本実施形態における露光調整には、少なくともシャッタ時間調整アンプゲイン切り替え、LUT(Look Up Table)の選択やそれによる輝度値変換などが含まれ、それらが総合的に調整されるようになっている。

0046

なお、本実施形態で用いられるCCDカメラはアイリスを備えないためアイリス絞り調整については述べないが、撮像手段2がアイリス等の露光調整を行うための他の機能を備える場合には、それらも含めて総合的に最適な露光を得るための自動的な露光調整が行われる。

0047

また、撮像手段2の自動的な露光調整のレベル、撮像手段2の露光量の調整の度合を表すシャッタレベルとして、後述する処理手段9に送信されるようになっている。

0048

一方、画像補正が行われた一対の撮像画像は、ステレオマッチング手段6にも送信されるようになっている。ステレオマッチング手段6は、イメージプロセッサ7と距離データメモリ8とを備えており、イメージプロセッサ7では、ステレオマッチング処理が行われるようになっている。

0049

具体的には、イメージプロセッサ7は、図2に示すように、基準画像T上に例えば3×3画素や4×4画素等の所定の画素数基準画素ブロックPBを設定し、基準画素ブロックPBに対応する比較画像Tc中のエピポーララインPL上の基準画素ブロックPBと同形の各比較画素ブロックPBcについて下記(1)式に従って当該基準画素ブロックPBとの輝度パターン差異であるSAD値を算出し、SAD値が最小の比較画素ブロックPBcを特定するようになっている。

0050

0051

なお、p1stは基準画素ブロックPB中の各画素の輝度値を表し、p2stは比較画素ブロックPBc中の各画素の輝度値を表す。また、上記の総和は、基準画素ブロックPBや比較画素ブロックPBcが例えば3×3画素の領域として設定される場合には1≦s≦3、1≦t≦3の範囲、4×4画素の領域として設定される場合には1≦s≦4、1≦t≦4の範囲の全画素について計算される。

0052

イメージプロセッサ7は、このようにして基準画像Tの各基準画素ブロックPBについて、特定した比較画素ブロックPBcの比較画像Tc上の位置と当該基準画素ブロックPBの基準画像T上の位置から視差dpを算出するようになっている。本実施形態では、イメージプロセッサ7は、例えば図3に例示する基準画像Tの各基準画素ブロックPBに上記のようにして算出した視差dpをそれぞれ割り当てて図4に示すような距離画像Tzを形成し、それらのデータを距離データメモリ8に送信して格納するとともに、それらの視差dpの情報を処理手段9に送信するようになっている。

0053

なお、この視差dpおよび距離画像Tz上の座標(i,j)と、実空間上の位置(X,Y,Z)とは三角測量の原理に基づいて以下のように対応づけることができる。具体的には、実空間上においてメインカメラ2aおよびサブカメラ2bの中央真下の道路面上の点を原点とし、自車両の車幅方向すなわち左右方向にX軸、車高方向にY軸、車長方向すなわち距離方向にZ軸を取ると、実空間上の点(X,Y,Z)と、視差dpと距離画像Tz上の座標(i,j)との関係は、
X=CD/2+Z×PW×(i−IV) …(2)
Y=CH+Z×PW×(j−JV) …(3)
Z=CD/(PW×(dp−DP)) …(4)
と表すことができ、(X,Y,Z)と(i,j,dp)は一対一に対応づけられる。

0054

ここで、CDはメインカメラ2aとサブカメラ2bとの間隔、PWは1画素当たりの視野角、CHはメインカメラ2aとサブカメラ2bの取り付け高さ、IVおよびJVは自車両正面無限遠点のi座標およびj座標、DPは消失点視差とも呼ばれるオフセット量を表す。

0055

また、上記のように、視差dpと実空間上の距離Zは上記(4)式を介して一意に対応づけられる。そのため、距離画像Tzを形成する時点で、各基準画素ブロックPBごとの視差dpを距離Zの情報に変換し、基準画像Tの各基準画素ブロックPBにそれぞれ距離Zの情報を割り当てて距離画像Tzを形成するように構成することも可能である。

0056

処理手段9(図1参照)は、図示しないCPUやROM、RAM、入出力インターフェース等がバスに接続されて構成されるコンピュータに構成されている。また、処理手段9には、車速センサヨーレートセンサステアリングホイール舵角を測定する舵角センサ等のセンサ類Qが接続されている。

0057

なお、ヨーレートセンサの代わりに自車両の車速等からヨーレート推定する装置等を用いることも可能である。また、本実施形態では、センサ類Qには、自車両に搭載された図示しないACC装置の作動および停止の情報すなわちACC装置のスイッチから送信されてくるオンオフの情報や、ワイパの作動および停止の情報すなわちワイパスイッチから送信されてくるオン/オフの情報等も含まれる。

0058

処理手段9は、本実施形態における撮像手段2の調整装置であり、車線検出手段10と、灯火類検出手段11と、物体検出手段12と、夜検出手段13と、撮像モード切替手段14とを備えており、さらに図示しないメモリを備えている。また、処理手段9の各手段には、センサ類Qから必要なデータが入力されるようになっている。

0059

車線検出手段10は、撮像手段2により撮像された基準画像T中から自車両の左側および右側の車線を検出するようになっている。具体的には、車線検出手段10は、図5に示すように、基準画像Tを用いて、その1画素幅水平ラインj上を例えば基準画像Tの中央から左右方向に探索し、輝度値が隣接する画素の輝度値から設定された閾値以上に大きく変化する画素を車線候補点cl、crとして検出する。

0060

そして、基準画像T上の水平ラインjを1画素分ずつ上方にシフトさせながら、同様にして各水平ラインj上に車線候補点を検出していく。その際、車線検出手段10は、検出した車線候補点の視差dp等に基づいて当該車線候補点が道路面上にないと判断した場合には当該車線候補点を車線候補点から除外する。そして、残った車線候補点のうち、自車両に近い側の車線候補点に基づいて車線をハフ変換等により直線で近似して自車両の左右にそれぞれ検出する。

0061

その際、直線との整合性が取れない車線候補点を除外するなどして検出の信頼性を向上させながら、自車両の一方の側(例えば右側)に複数の車線が検出される場合には自車両の他方(例えば左側)に検出した車線との整合性がある車線や前回のサンプリング周期で検出した車線との整合性がある車線を選ぶ等して、自車両の左右にそれぞれ直線を選別する。

0062

このようにして、自車両に近い側に車線を直線状にそれぞれ検出すると、それより遠い側ではその直線に基づいて直線との位置関係等から車線候補点を選別して結ぶことで、図6に示すように自車両の左側および右側にそれぞれ車線Ll、Lrを検出するようになっている。なお、以上の車線検出手段10の処理構成については、本願出願人が先に提出した特開2006−331389号公報に車線認識装置として詳述されており、詳細な説明は同公報を参照されたい。

0063

灯火類検出手段11は、灯火類を有する物体の点灯された灯火類を検出するようになっている。灯火類を有する物体の点灯された灯火類とは、例えばテールランプやブレーキランプ、ウインカフォグランプバックランプナンバープレートを照らすナンバーランプ等の先行車両の背面に設けられた点灯された灯火類や、信号機の点灯されている信号灯をいう。

0064

以下では、先行車両Vahのテールランプを検出する場合を例に挙げて説明するが、以下の説明は、他の灯火類を検出する場合にもまったく同様に適用される。また、以下では、主に、先行車両Vahの左側のテールランプの検出について述べるが、右側のテールランプについても左側のテールランプと同様にして同時に検出が行われる。

0065

灯火類検出手段11は、まず、図7に示すように、メモリに記憶されている前回のサンプリング周期で先行車両Vahのテールランプ中心として検出した基準画像T上の画素の座標(cl_i,cl_j)を読み出し、その座標の今回のサンプリング周期における輝度値p1ijが所定の輝度値br1以上か否かを判定する。輝度値br1は例えば0〜255の256階調輝度階調で250等の高い輝度値に設定される。その座標の今回の輝度値p1ijが輝度値br1以上であれば、基準画像T上の座標(cl_i,cl_j)の画素は、今回のサンプリング周期においてもテールランプを表す高輝度領域内にあると考えられる。

0066

また、座標(cl_i,cl_j)の今回の輝度値p1ijが輝度値br1未満の場合には、基準画像T上の座標(cl_i,cl_j)の画素の上下を探索したり、前回検出された右側のテールランプ中心から左右のランプ間距離だけ左側の点やその上下を探索したり、前回検出した先行車両Vahの枠線Frの左右端から所定の位置の上下を探索する等して、輝度値br1以上の輝度値p1ijを有する画素を探索する。

0067

なお、前述したように、夜間においては先行車両Vah自体を検出することが困難になる。そのため、そのような場合には、検出した左右のテールランプの基準画像T上の位置から先行車両Vahの位置を推定して先行車両Vahを包囲する矩形状の枠線Frを設定するようになっている。

0068

灯火類検出手段11は、続いて、図8に示すように、前回のテールランプ中心(cl_i,cl_j)(或いはその近傍等を探索して検出した輝度値br1以上の輝度値を有する画素)を含む基準画像T中で縦方向に延在する1画素幅の画素列pls上を上向きに1画素ずつシフトしながら各画素の輝度値p1ijを探索していき、輝度値p1ijが前述した輝度値br1より低い輝度値br2未満になる画素の直前の画素の座標(cl_i,jmax)を検出する。灯火類検出手段11は、同様に、画素列pls上を下向きにも探索していき、輝度値p1ijが輝度値br2未満になる画素の直前の画素の座標(cl_i,jmin)を検出する。輝度値br2は輝度値br1よりも低い例えば230の輝度値に設定される。

0069

灯火類検出手段11は、検出した高輝度領域の上端の座標(cl_i,jmax)と下端の座標(cl_i,jmin)をそれぞれメモリに記憶させ、続いて、上記の画素列pls(或いは探索して検出した輝度値br1以上の輝度値を有する画素を含む画素列)から基準画像T上の右方向および左方向に画素列をシフトさせて各画素列で高輝度領域を探索する。

0070

具体的には、画素列plsでの高輝度領域の上端と下端のj座標jmax、jminの中点のj座標jmidを算出し、図9に示すように、画素列を右隣の画素列plに移行し、その画素列plで座標(cl_i+1,jmid)の画素を開始点として前記と同様に高輝度領域の上端と下端を検出して、それらの座標(cl_i+1,jmax)、(cl_i+1,jmin)をそれぞれメモリに記憶する。画素列plをさらに右方向にシフトさせながら探索を繰り返し、最初の画素列plsの左方向についても同様に探索して、高輝度領域の上端、下端の座標をそれぞれメモリに記憶していく。

0071

その際、灯火類検出手段11は、各画素列pls、plの高輝度領域の上端の画素から下端の画素までの画素数R(以下、縦方向の長さRという。)を監視しており、図10(A)に示すように各画素列pls、plの高輝度領域の縦方向の長さRが一旦最大値Rmaxとなり、図10(B)に示すように画素列plの高輝度領域の縦方向の長さRが最大値Rmaxを下回り、図10(C)に示すように画素列plの高輝度領域の縦方向の長さRの減少傾向が続いて、画素列plに高輝度領域が発見できなくなれば、その時点で右方向または左方向の画素列での探索を停止する。

0072

また、図11に示すように画素列plの高輝度領域の縦方向の長さRが減少して一旦最小値Rminとなった後、再び最小値Rminより大きな値になった場合には、画素列plで右方向または左方向の画素列での探索を停止し、その直前の画素列までを高輝度領域が検出された範囲とする。

0073

そして、灯火類検出手段11は、このようにして検出した各画素列pls、plにおける各高輝度領域の上端の座標と下端の座標をメモリから読み出して、図12に示すように、各高輝度領域の上端の座標の最高点Jmaxと下端の座標の最低点Jminの中点を先行車両Vahの左側のテールランプTLlのテールランプ中心のj座標cl_jとし、また、高輝度領域の縦方向の長さRが最大値Rmaxとなる画素列plのi座標を左側のテールランプ中心のi座標cl_iとして、左側のテールランプ中心の座標(cl_i,cl_j)を検出する。また、高輝度領域が検出された画素列のi座標の最大値Imaxと最小値Iminも検出する。右側のテールランプTLrについても同様にしてテールランプ中心の座標(cr_i,cr_j)等を検出する。

0074

灯火類検出手段11は、このようにして検出した左右のテールランプ中心の座標(cl_i,cl_j)、(cr_i,cr_j)をそれぞれ今回のテールランプ中心としてメモリに記憶し、左右のテールランプTLl、TLrの最高点Jmax、最低点Jmin、i座標の最大値Imax、最小値Imin等をそれぞれメモリに記憶するようになっている。

0075

物体検出手段12は、撮像手段2により撮像された基準画像T中から物体を検出するようになっている。本実施形態では、物体検出手段12における基準画像T中からの物体検出処理は、前記各公報に記載された車外監視装置等における処理をベースに構成されている。以下、簡単に説明する。

0076

物体検出手段12は、例えば図3に示した距離画像Tzを図13に示すように所定幅の縦方向の短冊状の区分Dnに分割する。そして、図14に示すように、各区分DnごとにヒストグラムHnを作成し、各区分Dnに含まれる視差dpのうち道路面より上方に存在する視差dpをヒストグラムHnに投票し、その最頻値dpnをその区分の代表視差とする。これを全区分についてそれぞれ行う。

0077

そして、物体検出手段12は、各区分Dnの代表視差に基づいて前記(2)〜(4)式から物体の実空間上の座標(X,Y,Z)を算出するようになっている。算出された物体の座標を実空間上にプロットすると、各物体の座標は図15に示すように前方の物体の自車両Aに面した部分に対応する部分に多少ばらつきを持って各点としてプロットされる。

0078

物体検出手段12は、このようにプロットされる各点について、実空間上の各点の隣接する点とのX軸方向の距離やZ軸方向の距離、グループ化した場合の左端の点から右端の点までのX軸方向の全長等を検索しながら、それらの値がそれぞれ設定された閾値以内である点をそれぞれグループにまとめ、図16に示すようにそれぞれのグループ内の各点を直線近似して物体を検出するようになっている。

0079

また、本実施形態では、物体検出手段12は、このようにして検出した各物体を図17に示すように基準画像T上で矩形状の枠線で包囲するようにして検出するようになっている。なお、図16図17において、ラベルOやラベルSは物体の自車両Aに対向する面の種別を表し、ラベルOは物体の背面、ラベルSは物体の側面が検出されていることを表す。

0080

本実施形態では、物体検出手段12は、さらに、検出した物体の中から先行車両を検出するようになっている。

0081

物体検出手段12は、先行車両検出においては、まず、図18に示すように自車両Aの挙動に基づいて自車両Aが今後進行するであろう軌跡走行軌跡Lestとして推定し、その走行軌跡Lestを中心とする自車両Aの車幅分の領域を自車両Aの進行路Restとして算出するようになっている。

0082

自車両Aの走行軌跡Lestは、自車両Aの車速Vやヨーレートγ、ステアリングホイールの舵角δ等に基づいて下記(5)式または下記(6)、(7)式に従って算出される自車両Aの旋回曲率Cuaに基づいて算出することができる。なお、下記の各式におけるReは旋回半径、Asfは車両のスタビリティファクタ、Lwbはホイールベースである。
Cua=γ/V …(5)
Re=(1+Asf・V2)・(Lwb/δ) …(6)
Cua=1/Re …(7)

0083

そして、物体検出手段12は、自車両Aの進行路Rest上に存在する物体の中で自車両Aに最も近接する物体を自車両Aの前方を走行する先行車両として検出するようになっている。例えば図17図18では、車両O3が先行車両Vahとして検出される。

0084

なお、本実施形態では、物体検出手段12は、前回のサンプリング周期で検出した先行車両と今回のサンプリング周期で先行車両として検出した物体とが同一の立体物である確率を算出するなどして、整合性を保ちながら先行車両を追跡するようになっている。また、物体検出手段12は、検出した先行車両が自車両の前方から離脱してさらにその前方の車両が新たに先行車両となったり、自車両と先行車両との間に他の車両が割り込んできて当該他の車両が新たな先行車両となることによる先行車両の交替を検出できるようになっている。

0085

以上は、物体検出手段12の通常の物体検出および先行車両検出の構成である。

0086

しかし、後述する撮像手段2の撮像モードが第1撮像モードに切り替えられた状態では、先行車両VahのテールランプTLl、TLrやブレーキランプ等の先行車両Vahの背面に設けられて点灯している灯火類や、信号機では点灯している青、黄または赤の信号灯しか撮像されない状態となり、上記のように先行車両Vah等自体のエッジ部分について、ステレオマッチングを適切に行うことができなくなる。そのため、距離画像Tzでは、先行車両Vah等自体のエッジ部分について有効な視差dpのデータが得られないか、或いは得られても十分有効に先行車両Vah等を検出するに足るデータとはなり難い。

0087

そこで、本実施形態では、このような場合、物体検出手段12は、上記の灯火類検出手段11により検出されたテールランプTLl、TLrや信号灯等の情報に基づいて、先行車両Vahや信号機等を検出するようになっている。

0088

具体的には、物体検出手段12は、例えば灯火類検出手段11が検出した左右のテールランプTLl、TLrの最高点Jmax、最低点Jmin、i座標の最大値Imax、最小値Imin等をそれぞれメモリから読み出し、或いは過去に検出された左右のテールランプTLl、TLrの情報に基づいて今回のサンプリング周期で基準画像T上に左右のテールランプTLl、TLrが撮像される位置を推定し、距離画像Tzからそれらを含む所定範囲画像部分の視差dpを抜き出してそれらの平均値や最頻値等を算出し、視差dpの平均値や最頻値等を前記(4)式のdpに代入して解くことで、自車両と先行車両Vahとの距離Zを算出するように構成される。

0089

物体検出手段12は、以上のようにして検出した各物体や先行車両Vahの情報等を、必要に応じて物体検出装置1の外部に出力するようになっている。

0090

夜検出手段13は、自車両が走行中の環境が夜間であることを検出するようになっている。本実施形態では、夜検出手段13は、自車両のヘッドライトの点灯を検出して自車両が走行中の環境が夜間であることを検出するようになっている。なお、この他にも、例えば時刻によって夜間であることを検出したり、日の出と日の入りの時刻を入手してそれに基づいて夜間であることを検出するように構成することも可能である。

0091

撮像モード切替手段14は、夜検出手段13により夜間であること検出されている場合に、撮像手段2の撮像モードを、少なくとも灯火類を有する物体の点灯された灯火類の輪郭部分を撮像可能な第1撮像モードと、灯火類を有しない対象を検出可能な第2撮像モードとの間で切り替えるように構成されている。

0092

前述したように、夜間の走行時においては、撮像手段の露光量等を調整しても、先行車両のテールランプや信号灯等の灯火類と歩行者や車線とを同時に的確に検出することは事実上不可能である。

0093

そこで、本実施形態では、先行車両のテールランプ等の灯火類を検出する第1撮像モードでは、前述した撮像手段2の自動的な露光調整の度合を表すシャッタレベルからさらにレベルを引き上げて、撮像手段2の露光量と撮像手段2から出力される画素の輝度値の少なくとも一方が小さくなるように調整するようになっている。

0094

このように調整することで、先行車両のテールランプのような灯火類を有する物体の点灯された灯火類の光が周囲に拡散しないようになり、灯火類の輪郭部分を明瞭に撮像する可能となる。しかし、必ずしも歩行者や車線が検出されなくなるとは限らないが、基本的には、それらの検出は犠牲にされる。

0095

また、歩行者や車線のような灯火類を有しない対象を検出する第2撮像モードでは、撮像手段2のレベルが自動的なシャッタレベルにまで引き下げられ、また、必要に応じて調整されて、撮像手段2の露光量と撮像手段2から出力される画素の輝度値の少なくとも一方が大きくなるように調整するようになっている。

0096

このように調整することで、歩行者や車線のような灯火類を有しない対象を検出可能な状態に撮像する可能となる。しかし、灯火類を有する物体の点灯された灯火類の光が周囲に拡散して撮像されるようになるため、通常、それらに基づくステレオマッチングにより得られた視差や距離のばらつきが大きくなる。

0097

以下、夜検出手段13により夜間であること検出されている場合すなわち夜間走行時における、撮像モード切替手段14における撮像手段2の撮像モードの切り替えの条件や切り替え手法等について説明する。

0098

[第1条件]
(1)撮像モード切替手段14は、自車両において先行車追従制御または定速走行制御(本実施形態ではACC装置による制御)が作動された場合に、撮像手段2の撮像モードを第2撮像モードから第1撮像モードに切り替える。また、作動が停止された場合に、第1撮像モードから第2撮像モードに切り替える。

0099

この条件は、少なくとも先行車追従制御や定速走行制御が作動された場合に自車両と先行車両Vahとの距離が的確に検出されないと、前述したように安定して走行している先行車両の後方で自車両が加速したり減速したりして異常な行動を生じてしまうため、このような場合に先行車両検出を優先して行うための条件である。そのため、この場合、撮像モード切替手段14は、歩行者や車線の検出をあきらめて、撮像手段2の撮像モードを第2撮像モードから第1撮像モードに切り替えて、撮像手段2の露光量と撮像手段2から出力される画素の輝度値の少なくとも一方が小さくなるように調整する。

0100

また、先行車追従制御や定速走行制御の作動が停止された場合、先行車両Vahの検出は引き続き継続されるが、先行車両Vahを的確に検出することよりも、道路脇や道路を横断中の歩行者等を検出したり、車線を検出して車線逸脱を防止したりする方が車両走行の安全性を向上させることができる。そのため、撮像モード切替手段14は、この場合、歩行者や車線等を検出し易くするために、撮像手段2の撮像モードを第1撮像モードから第2撮像モードに切り替えて、撮像手段2の露光量と撮像手段2から出力される画素の輝度値の少なくとも一方が大きくなるように調整する。

0101

[第2条件]
(2)撮像モード切替手段14は、自車両の速度が所定の速度以上になった場合に、撮像手段2の撮像モードを第2撮像モードから第1撮像モードに切り替える。また、速度が所定の速度未満になった場合に、第1撮像モードから第2撮像モードに切り替える。

0102

自車両の速度が例えば80km/hであれば、自車両が自動車専用道路を走行していると考えられ、自動車専用道路には少なくとも歩行者は存在しないから、このような場合は先行車両検出に専念できる。この条件は、このように自車両が自動車専用道路を走行していることを判定するための条件である。この場合も、この条件が満たされれば、他の条件にかかわらず、撮像モード切替手段14は、撮像手段2の撮像モードを第2撮像モードから第1撮像モードに切り替えて、撮像手段2の露光量と撮像手段2から出力される画素の輝度値の少なくとも一方が小さくなるように調整する。

0103

また、自車両の速度が例えば80km/hを下回る状況では、自車両は自動車専用道路ではなく一般道を走行している可能性がある。そのため、自車両の速度が所定の速度(例えば80km/h)未満になった場合には、撮像モード切替手段14は、歩行者や車線等を検出し易くするために、撮像手段2の撮像モードを第1撮像モードから第2撮像モードに切り替えて、撮像手段2の露光量と撮像手段2から出力される画素の輝度値の少なくとも一方が大きくなるように調整する。

0104

なお、自車両がカーナビゲーション装置等を備えている場合には、その地図情報等を用いて自車両が自動車専用道路を走行中であるか否かを判定することができる。そのため、地図情報等を入手して自車両が自動車専用道路を走行中であることを検出する図示しない走行検出手段を設けておき、走行検出手段により自車両が自動車専用道路を走行中であることが検出された場合に、撮像モード切替手段14が撮像手段2の撮像モードを上記と同様に切り替えるように構成することも可能である。

0105

[第3条件]
(3)撮像モード切替手段14は、自車両のワイパが作動された場合に、撮像手段2の撮像モードを第2撮像モードから第1撮像モードに切り替える。また、ワイパの作動が停止された場合に、第1撮像モードから第2撮像モードに切り替える。

0106

夜間の走行中に、ワイパが作動されるような降雨や降雪等がある場合に撮像手段2の撮像モードを第2撮像モードのままとすると、撮像手段2のレンズの前方に配置されるフロントガラスに付着した水等の影響で先行車両VahのテールランプTLl、TLrやブレーキランプ等の灯火類の光が周囲に大きく拡散して(すなわち滲んで)撮像されるようになり、先行車両Vahや歩行者等の検出が困難になる。

0107

そのため、このような場合には、撮像手段2の露光量と撮像手段2から出力される画素の輝度値の少なくとも一方が小さくなるように調整することが必要となる。しかし、撮像手段2の露光量等が小さくなるように調整することで、歩行者や車線はますます検出し難くなる。

0108

この条件は、このような場合には、先行車両検出に専念し、先行車両VahのテールランプTLl、TLr等を的確に検出できるようにするための条件である。従って、この場合も、この条件が満たされれば、他の条件にかかわらず、撮像モード切替手段14は、撮像手段2の撮像モードを第2撮像モードから第1撮像モードに切り替えて、撮像手段2の露光量と撮像手段2から出力される画素の輝度値の少なくとも一方が小さくなるように調整する。

0109

また、ワイパの作動が停止されれば降雨や降雪等が止んだと考えられるから、撮像モード切替手段14は、他の条件が満たされなければ、歩行者や車線等を検出し易くするために撮像手段2の撮像モードを第1撮像モードから第2撮像モードに切り替えて、撮像手段2の露光量と撮像手段2から出力される画素の輝度値の少なくとも一方が大きくなるように調整する。

0110

次に、上記のいずれかの条件が満たされて、撮像手段2の撮像モードを切り替える際、撮像モード切替手段14は、第2撮像モードから第1撮像モードに切り替える場合には撮像手段2に対してその自動的な露光調整のレベルより高い露光調整のレベルを送信して強制的に撮像手段2の露光量等を小さくする。

0111

また、第1撮像モードから第2撮像モードに切り替える場合には撮像手段2に対してその自動的な露光調整のレベル或いはそれに近いレベルの露光調整のレベルを送信して必要に応じて撮像手段2の露光量等の調整を行うようになっている。

0112

撮像手段2は、撮像モード切替手段14から送信されてくるレベルに応じて、自らの露光量や出力する画素の輝度値の少なくとも一方を変更するようになっている。露光量や画素の輝度値をいかにして調整するかについては、撮像手段2の構成等によって予め設定される。

0113

撮像モード切替手段14は、第2撮像モードから第1撮像モードに切り替える際、同一のサンプリング周期において算出された先行車両Vahのテールランプ等の点灯された灯火類に対応する視差の各データのばらつきの度合を監視しながら撮像手段2の露光量等の調整を行うようになっている。

0114

ここで、夜間、第2撮像モードで例えば先行車両VahのテールランプTLl、TLrを撮像すると、図19に示すように、テールランプTLl、TLrの光が周囲に大きく拡散し、先行車両Vahのボディのエッジ部分からはみ出して撮像される。この状態で、ステレオマッチング手段6でステレオマッチング処理を行って視差dpを算出し、上記のようにして代表視差を算出すると、各区分Dnの代表視差dpnは、図20に示すように、各区分Dnごとに大きくばらつく

0115

そして、この各区分Dnの代表視差dpnのばらつきは、撮像手段2の撮像モードを第2撮像モードから第1撮像モードに切り替えて撮像手段2の露光量と撮像手段2から出力される画素の輝度値の少なくとも一方が小さくなるように調整することで小さくなっていく。

0116

そこで、撮像モード切替手段14は、撮像手段2の撮像モードを第2撮像モードから第1撮像モードに切り替える場合、この各区分Dnの代表視差dpnのばらつきの度合を例えば分散σ2を算出することで把握し、分散σ2が予め設定された所定の閾値以内になるまで撮像手段2に対する強制的な露光調整のレベルを高めるようにして調整を行うようになっている。

0117

また、先行車両VahのテールランプTLl、TLrの光が図20のように撮像される場合、各区分Dnの代表視差dpnは、各サンプリング周期ごとにもばらつき、自車両と先行車両との実際の距離或いはそれに対応する視差では起こり得ないような変動を生じる。そのため、本実施形態では、撮像モード切替手段14は、撮像手段2の撮像モードを第2撮像モードから第1撮像モードに切り替える場合には、この各区分Dnの代表視差dpnの各サンプリング周期ごとのばらつきの度合も監視するようになっている。

0118

具体的には、撮像モード切替手段14は、例えば単数または複数の区分Dnの代表視差dpnについて、各区分Dnごとに、前回のサンプリング周期における代表視差dpnと今回のサンプリング周期における代表視差dpnとの差(変化量)の絶対値を算出し、それらの絶対値がすべて予め設定された閾値以内になるまで撮像手段2に対する強制的な露光調整のレベルを高めるようにして調整を行うようになっている。

0119

本実施形態では、上記の2つの監視基準に基づいて撮像手段2に対する強制的な露光調整のレベルを決定するため、図19のように光が先行車両Vahのボディのエッジ部分からはみ出すように撮像されていた先行車両VahのテールランプTLl、TLrが、図12に示すように周囲への光の拡散がほとんどない状態に撮像されるようになる。

0120

そのため、灯火類検出手段11で先行車両VahのテールランプTLl、TLrが的確に検出され、それに基づいて物体検出手段12で自車両と先行車両Vahとの距離Zを的確に算出することが可能となる。

0121

なお、例えば、上記の分散σ2やサンプリング周期ごとの代表視差dpnの変化量の絶対値と、撮像手段2に強制的に設定する露光調整のレベルとを予めテーブル化しておき、そのテーブルを参照して撮像手段2に強制的に設定する露光調整のレベルを決定するように構成することも可能である。

0122

また、この他にも、例えば、光が拡散した状態の輝度値の分布に基づいて撮像手段2に対する強制的な露光調整のレベルを決定するように構成することも可能である。具体的には、例えば信号機の点灯している信号灯の場合で説明すれば、図21に示すように、光が拡散した状態の信号機Bの信号灯SLに対して、灯火類検出手段11により高輝度領域の最高点Jmax、最低点Jmin、i座標の最大値Imax、最小値Iminが検出される。

0123

この高輝度領域の最高点Jmax等に基づいて、図22に示すように拡散した光の部分を含む画像領域PTを設定する。そして、画像領域PTの上端と下端の中間の位置の横方向に延在する1画素幅の画素列Jmidに属する各画素の輝度値p1ijを抽出すると、図23グラフに示すように、信号灯SLの中心点のi座標c_i付近で輝度値p1ijが高く、そこから離れるに従って徐々に輝度値p1ijが減少するような輝度値p1ijの分布形状が得られる。

0124

そこで、図24に示すように、画素列Jmid上のある画素の輝度値とそれに隣接する画素の輝度値との差の絶対値の最大値が所定の閾値以上になるまで撮像手段2に対する強制的な露光調整のレベルを高めるようにして調整を行う。このように構成すれば、図25に示すように、信号機Bの信号灯SLの光が周囲にほとんど拡散しない状態に撮像されるようになり、上記と同様にして自車両と信号機Bとの距離を的確に検出することが可能となる。

0125

一方、第1撮像モードから第2撮像モードに切り替える場合には、図6に示した左右の車線LL、LRや図26に示す歩行者Mのような灯火類を有しない対象を的確に検出できるように撮像手段2の露光調整のレベルを調整する必要がある。そこで、撮像モード切替手段14は、撮像手段2の露光量と撮像手段2から出力される画素の輝度値の少なくとも一方が大きくなるように、撮像手段2の露光調整のレベルを通常の自動的な露光調整のレベルに戻すようになっている。

0126

しかし、撮像手段2の自動的な露光調整のレベルでは、必ずしも車線LL、LRや歩行者Mを的確に撮像し得るとは言い切れないため、本実施形態では、撮像モード切替手段14は、同一のサンプリング周期において車線LL、LRや歩行者Mを検出した画像領域における視差dpのデータ点数を監視するようになっている。

0127

この監視領域は、灯火類を有しない対象が例えば車線LL、LRであれば車線LL、LRそのものに設定される。そして、撮像モード切替手段14は、例えば車線LL、LRの検出に用いられた車線候補点cl、cr(図5参照)のデータ点数が、撮像手段2の自動的な露光調整のレベルにおいて所定の閾値以上であればそのレベルを維持し、所定の閾値に達しなければ、車線候補点cl、crのデータ点数が所定の閾値以上になるように撮像手段2の露光調整のレベルを強制的に増減するようになっている。

0128

また、灯火類を有しない対象が例えば図26に示した歩行者Mである場合、撮像モード切替手段14は、検出された歩行者Mを包囲するように設定される枠線(図示省略)を監視領域とし、撮像手段2の自動的な露光調整のレベルで監視領域中の歩行者Mに対応する視差dpのデータ点数が所定の閾値以上であればそのレベルを維持し、所定の閾値に達しなければ、歩行者Mに対応する視差dpのデータ点数が所定の閾値以上になるように撮像手段2の露光調整のレベルを強制的に増減するようになっている。

0129

なお、灯火類を有しない対象が歩行者Mである場合、歩行者Mの自車両からの位置が遠ざかるに従って歩行者Mを包囲する枠線に含まれる画素数が減少する。そのため、上記の所定の閾値を、一定値とする代わりに、視差dpに応じて変動する値として設定することが好ましい。

0130

以上のように、本実施形態に係る撮像手段の調整装置(処理手段)9によれば、夜間の走行時において、撮像手段2により対象を撮像する際に、検出する対象が、先行車両VahのテールランプTLl、TLrや信号機Bの信号灯SL等のように灯火類を有する物体の点灯された灯火類である場合と、歩行者Mや車線LL、LRのように灯火類を有しない対象である場合とで、撮像手段の撮像モードを切り替えるように構成した。

0131

そのため、夜間の走行時においては、同時に的確に検出することが事実上不可能であるそれらの対象を同時に検出しようとして、先行車両Vahに対する追従走行制御を作動させているのに、安定して走行している先行車両Vahの後方で自車両が加速したり減速してしまったり、道路面に対して静止しているはずの信号機Bを移動物体として検出してしまうことを回避することが可能となる。

0132

また、先行車両Vahや信号機B等を検出する際にはそのテールランプTLl、TLrや信号灯B等の灯火類の光が周囲に拡散しないように撮像手段2の露光量等を小さくし、歩行者Mや車線LL、LRを検出する際には露光量等を大きくするように、撮像手段の露光量等を自動的に的確に切り替えて、検出する対象が適切に撮像されるように調整することが可能となる。

0133

さらに、本実施形態に係る物体検出装置1によれば、上記のような機能を有する撮像手段の調整装置(処理手段)9を備えるため、撮像手段2が備える自動的な露光調整では先行車両Vahの左右のテールランプTLl、TLrやブレーキランプ等の光がそれぞれ拡散して撮像されるような環境においても、撮像モード切替手段14により撮像手段2の撮像モードが適切に切り替えられる。

0134

そのため、先行車両Vah等を検出する場合にはそのテールランプTLl、TLr等の輪郭が明瞭に撮像されるようになるため、先行車両Vah等を的確に検出することが可能となり、一方で、歩行者M等を検出する場合には撮像手段の露光量等が自動的に切り替えられて露光量等が大きくなるため、歩行者Mを的確に検出することが可能となる。

0135

なお、本実施形態では、上記のように、先行車追従制御や定速走行制御が作動された場合や自車両の速度が所定の速度以上になった場合、或いは自車両のワイパが作動された場合に、撮像モード切替手段14により、撮像手段2の撮像モードが第1撮像モードと第2撮像モードとの間で切り替えられる。そのため、ドライバが注意をしていれば、撮像手段2の撮像モードが第1撮像モードと第2撮像モードのいずれであるかは分かるようになっている。

0136

しかし、ドライバは運転に集中しているため、例えば撮像手段2の撮像モードが第1撮像モードになっていて歩行者等が検出され難い状態になっていても、通常、そのことには気がつかない。そこで、例えば表示画面に表示したり、ランプを点灯させるなどして、ドライバに対して撮像手段2の撮像モードが第1撮像モードになっていることを報知する報知手段を設けるように構成することが好ましい。

図面の簡単な説明

0137

本実施形態に係る撮像手段の調整装置を含む物体検出装置の構成を示すブロック図である。
イメージプロセッサにおけるステレオマッチング処理の手法を説明する図である。
基準画像の一例を示す図である。
図3の基準画像等に基づいて形成された距離画像を示す図である。
基準画像上での車線候補点の検出の手法を説明する図である。
基準画像上に検出された左右の車線を示す図である。
基準画像上に検出された先行車両および前回のテールランプ中心の画素を表す図である。
前回のテールランプ中心を含む画素列上を探索して検出された高輝度領域およびその上端、下端を表す図である。
図8の画素列の右隣の画素列における高輝度領域の検出の手法を説明する図である。
高輝度領域の縦方向の長さの変化を説明する図であり、(A)は最大値になった場合、(B)は最大値より短い場合、(C)は(B)よりさらに短い場合を表す。
高輝度領域の縦方向の長さが最小値より増加した場合を説明する図である。
左右のテールランプについてそれぞれ検出されたテールランプ中心、最高点、最低点、i座標の最大値、最小値を説明する図である。
距離画像を分割する各区分を示す図である。
図13の各区分ごとに作成されるヒストグラムの一例を示す図である。
区分ごとの代表視差に基づく実空間上の座標をプロットした図である。
図15の各点に基づいて実空間上に検出された物体を表す図である。
基準画像上に枠線で包囲されて検出された各物体および先行車両を表す図である。
実空間上の自車両の走行軌跡、進行路および先行車両を表す図である。
光が拡散した先行車両の左右のテールランプを表す図である。
図19に基づいて算出された代表視差が各区分Dnごとにばらつく様子を説明する図である。
信号機の信号灯について検出された中心点、最高点、最低点、i座標の最大値、最小値を説明する図である。
基準画像上に設定された信号灯を含む画像領域を説明する図である。
図22の画像領域における輝度値の分布形状を示すグラフである。
撮像手段に対する露光量等の強制的な調整が行われた後の輝度値の分布形状を示すグラフである。
光が拡散しない状態で撮像された信号機の信号灯を表す図である。
歩行者が撮像された基準画像の一例を示す図である。

符号の説明

0138

1物体検出装置
2撮像手段
6ステレオマッチング手段
9 撮像手段の調整装置
12物体検出手段
13 夜検出手段
14撮像モード切替手段
B物体(信号機)
dp視差
LL、LR 対象(車線)
M 対象(歩行者)
p1ij輝度値
PB画素ブロック
SL灯火類(信号灯)
T 画像(基準画像)
TLl、TLr 灯火類(テールランプ)
Vah 物体(先行車両)

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ