図面 (/)

技術 移動面情報検出装置、及びこれを用いた移動体機器制御システム並びに移動面情報検出用プログラム

出願人 株式会社リコー
発明者 高橋禎郎
出願日 2013年12月6日 (5年11ヶ月経過) 出願番号 2013-253026
公開日 2014年12月4日 (4年11ヶ月経過) 公開番号 2014-225220
状態 特許登録済
技術分野 画像処理 光学的手段による測長装置 スタジオ装置 交通制御システム イメージ分析
主要キーワード 仮想基準 マップ要素 offset値 左右二分割 相対傾斜 信頼性判定処理 Y座標 軸方向座標
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2014年12月4日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

移動面位置情報を高精度に検出することを課題とする。

解決手段

複数の撮像画像に基づいて視差画像データを生成し、その視差画像データに基づいて撮像画像を上下方向に複数分割して得られる各行領域内における視差値頻度分布を示すVマップ情報を生成する。このVマップの情報に基づき、所定の頻度閾値を超える頻度をもった視差値を選別処理対象として決定し、その選別処理対象の中から、路面の視差値が示す特徴に合致した一群の視差値を選別する。そして、選別した一群の視差値に基づいて、路面の高さ等の情報を検出する。このとき、前フレームの撮像画像について選別された視差値に基づいて前記選別処理対象を決定する。

概要

背景

この種の移動面情報検出装置としては、例えば、特許文献1に記載された道路形状認識装置が知られている。この道路形状認識装置は、ステレオカメラを用いて自車両(移動体)の前方の道路面(移動面)を撮像し、一方のカメラで撮像した基準画像と他方のカメラで撮像した比較画像の各画像データに対して順次ステレオマッチング処理を施す。そして、基準画像の画素ごとに視差を順次算出し、この視差と画像上の画素座標とから、三角測量の原理に基づき、次の距離データDを算出する。この距離データDは、撮像画像上の各画素について算出した実空間上の距離Z(自車両から当該画素に映し出された対象物までの距離)と、高さY(自車両の真下の道路面に対する当該対象物の高さ)とから構成される情報である。このように算出される距離データDの中から、道路面を映し出している画素についての距離データDを抽出し、その分布状態を求めることで、自車両前方における道路面の高さ(移動面情報)を認識することができる。

概要

移動面の位置情報を高精度に検出することを課題とする。複数の撮像画像に基づいて視差画像データを生成し、その視差画像データに基づいて撮像画像を上下方向に複数分割して得られる各行領域内における視差値頻度分布を示すVマップ情報を生成する。このVマップの情報に基づき、所定の頻度閾値を超える頻度をもった視差値を選別処理対象として決定し、その選別処理対象の中から、路面の視差値が示す特徴に合致した一群の視差値を選別する。そして、選別した一群の視差値に基づいて、路面の高さ等の情報を検出する。このとき、前フレームの撮像画像について選別された視差値に基づいて前記選別処理対象を決定する。

目的

本発明は、以上の問題に鑑みなされたものであり、その目的とするところは、移動面情報を高精度に検出可能な移動面情報検出装置及びこれを用いた移動体機器制御システム並びに移動面情報検出プログラムを提供する

効果

実績

技術文献被引用数
2件
牽制数
2件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

移動面上を移動する移動体に搭載された複数の撮像手段により移動体移動方向前方を撮像して得られる複数の撮像画像に基づいて、移動体移動方向前方における移動面の情報を検出する移動面情報検出装置において、前記複数の撮像画像に基づいて視差情報を生成する視差情報生成手段と、前記視差情報に基づいて、前記撮像画像を上下方向に複数分割して得られる各行領域内における視差値頻度分布を示す視差ヒストグラム情報を生成する視差ヒストグラム情報生成手段と、前記視差ヒストグラム情報に基づき、所定の頻度閾値を超える頻度をもった視差値を選別処理対象として決定し、その選別処理対象の中から、移動面の視差値が示す特徴に合致した一群の視差値を選別する処理を行う視差値選別手段と、前記視差値選別手段の選別結果に基づいて、移動面の情報を検出する移動面情報検出手段とを有し、前記視差値選別手段は、過去に選別した視差値に基づいて前記選別処理対象を決定することを特徴とする移動面情報検出装置。

請求項2

請求項1の移動面情報検出装置において、前記視差値選別手段は、選別した一群の視差値に基づいて各行領域に対応する1つの視差値を決定し、前記移動面情報検出手段は、前記視差値選別手段が決定した視差値に基づいて、移動面の位置情報を検出し、前記視差値選別手段は、前記視差ヒストグラム情報が示す視差値頻度分布内で、各行領域における過去に決定した各視差値分布箇所よりも撮像画像下側に対応する箇所に分布する視差値を除外するように、前記選別処理対象を決定することを特徴とする移動面情報検出装置。

請求項3

請求項1又は2の移動面情報検出装置において、前記視差値選別手段は、選別した一群の視差値に基づいて各行領域に対応する1つの視差値を決定し、前記移動面情報検出手段は、前記視差値選別手段が決定した視差値に基づいて、移動面の位置情報を検出し、前記視差値選別手段は、前記視差ヒストグラム情報が示す視差値頻度分布内で、各行領域における過去に決定した各視差値の分布箇所よりも撮像画像下側に対応する箇所に分布する視差値の最大頻度を、前記所定の頻度閾値を決定し、決定した頻度閾値を用いて前記選別処理対象を決定することを特徴とする移動面情報検出装置。

請求項4

請求項1乃至3のいずれか1項に記載の移動面情報検出装置において、前記視差値選別手段は、前記視差ヒストグラム情報を、撮像画像の左右方向位置に応じて2以上の左右方区画区分けし、左右方向区画ごとに、前記選別処理対象の中から前記特徴に合致した一群の視差値を選別する移動面情報検出装置。

請求項5

移動面上を移動する移動体に搭載された複数の撮像手段により移動体移動方向前方を撮像して得られる複数の撮像画像に基づいて、移動体移動方向前方における移動面の情報を検出する移動面情報検出装置において、前記複数の撮像画像から生成される視差画像情報に基づいて、前記撮像画像を上下方向に複数分割して得られる各行領域内における視差値の頻度分布を示す視差ヒストグラム情報を生成する視差ヒストグラム情報生成手段と、前記視差ヒストグラム情報生成手段が生成した視差ヒストグラム情報に基づいて、移動面の情報を検出する移動面検出処理を行う移動面情報検出手段とを有し、前記視差ヒストグラム情報生成手段は、撮像画像上における所定の仮想基準移動面を映し出す画素についての視差値と画像上下方向位置との関係を示す基準情報に基づいて定まる所定の抽出範囲内に属するという条件を含む抽出条件を満たす部分に限定した視差ヒストグラム情報を生成することを特徴とする移動面情報検出装置。

請求項6

請求項5の移動面情報検出装置において、前記視差ヒストグラム情報生成手段は、前記視差画像情報から得られる抽出前視差ヒストグラム情報の中から前記抽出条件を満たす部分を抽出し、抽出した部分を前記視差ヒストグラム情報として生成することを特徴とする移動面情報検出装置。

請求項7

請求項5の移動面情報検出装置において、前記視差ヒストグラム情報生成手段は、前記視差画像情報から前記抽出条件を満たす部分を抽出し、抽出した部分に係る視差画像情報から視差ヒストグラム情報を生成することを特徴とする移動面情報検出装置。

請求項8

請求項5乃至7のいずれか1項に記載の移動面情報検出装置において、前記所定の仮想基準移動面は、前記移動体の真下に位置する移動面部分と平行な面を撮像方向へ延長した面であることを特徴とする移動面情報検出装置。

請求項9

請求項5乃至8のいずれか1項に記載の移動面情報検出装置において、前記所定の抽出範囲は、前記移動体の加速時及び減速時の少なくとも一方の時の当該移動体の姿勢変化によって移動面を映し出す画素に対応した視差ヒストグラム情報が変動する範囲が含まれるように設定されていることを特徴とする移動面情報検出装置。

請求項10

請求項5乃至9のいずれか1項に記載の移動面情報検出装置において、前記視差ヒストグラム情報生成手段は、前記撮像画像内における移動面の消失点を示す消失点情報に基づいて撮像画像の一部である所定の移動面画像候補領域を特定し、該所定の移動面画像候補領域に対応した視差画像情報に基づいて、前記視差ヒストグラム情報を生成することを特徴とする移動面情報検出装置。

請求項11

請求項5乃至10のいずれか1項に記載の移動面情報検出装置において、前記基準情報は、縦軸に画像上下方向位置をとりかつ横軸に視差値をとった視差ヒストグラムマップ上に前記所定の仮想基準移動面についての視差値と画像上下方向位置との関係を示したときに得られる基準直線が、前記撮像画像内における移動面の消失点に対応する該視差ヒストグラムマップ上の地点又はその近傍を通るように、設定されていることを特徴とする移動面情報検出装置。

請求項12

請求項5乃至11のいずれか1項に記載の移動面情報検出装置において、前記移動面情報検出手段は、前記視差ヒストグラム情報を視差値に応じて2以上の視差値区画に区分けし、少なくとも2つの視差値区画間で異なるアルゴリズムを用いて、前記移動面検出処理を行うことを特徴とする移動面情報検出装置。

請求項13

移動面上を移動する移動体の移動方向前方における移動面の情報を検出する移動面情報検出手段と、前記移動面情報検出手段の検出結果に基づいて、前記移動体に搭載された所定の機器を制御する移動体機器制御手段とを備えた移動体機器制御システムにおいて、前記移動面情報検出手段として、請求項1乃至12のいずれか1項に記載の移動面情報検出装置を用いたことを特徴とする移動体機器制御システム。

請求項14

移動面上を移動する移動体に搭載された複数の撮像手段により移動体移動方向前方を撮像して得られる複数の撮像画像に基づいて、移動体移動方向前方における移動面の情報を検出する移動面情報検出装置のコンピュータに実行させるための移動面情報検出用プログラムであって、前記複数の撮像画像に基づいて視差情報を生成する視差情報生成工程と、前記視差情報に基づいて、前記撮像画像を上下方向に複数分割して得られる各行領域内における視差値の頻度分布を示す視差ヒストグラム情報を生成する視差ヒストグラム情報生成工程と、前記視差ヒストグラム情報に基づき、所定の頻度閾値を超える頻度をもった視差値を選別処理対象として決定し、その選別処理対象の中から、移動面の視差値が示す特徴に合致した一群の視差値を選別する処理を行う視差値選別工程と、前記視差値選別工程の選別結果に基づいて、移動面の情報を検出する移動面情報検出工程とを、前記コンピュータに実行させるものであって、前記視差値選別工程では、過去に選別した視差値に基づいて前記選別処理対象を決定することを特徴とする移動面情報検出用プログラム。

請求項15

移動面上を移動する移動体に搭載された複数の撮像手段により移動体移動方向前方を撮像して得られる複数の撮像画像に基づいて、移動体移動方向前方における移動面の情報を検出する移動面情報検出装置のコンピュータに実行させるための移動面情報検出用プログラムであって、前記複数の撮像画像から生成される視差画像情報に基づいて、前記撮像画像を上下方向に複数分割して得られる各行領域内における視差値の頻度分布を示す視差ヒストグラム情報を生成する視差ヒストグラム情報生成手段、及び、前記視差ヒストグラム情報生成手段が生成した視差ヒストグラム情報に基づいて、移動面の情報を検出する移動面検出処理を行う移動面情報検出手段として、前記コンピュータを機能させるものであり、前記視差ヒストグラム情報生成手段は、撮像画像上における所定の仮想基準移動面を映し出す画素についての視差値と画像上下方向位置との関係を示す基準情報に基づいて定まる所定の抽出範囲内に属するという条件を含む抽出条件を満たす部分に限定した視差ヒストグラム情報を生成することを特徴とする移動面情報検出用プログラム。

技術分野

0001

本発明は、車両や鉄道などの移動体の前方を複数の撮像手段により撮像した複数の撮像画像に基づいて当該移動体が移動する移動面の情報を検出する移動面情報検出装置及びこれを用いた移動体機器制御システム並びに移動面情報検出プログラムに関するものである。

背景技術

0002

この種の移動面情報検出装置としては、例えば、特許文献1に記載された道路形状認識装置が知られている。この道路形状認識装置は、ステレオカメラを用いて自車両(移動体)の前方の道路面(移動面)を撮像し、一方のカメラで撮像した基準画像と他方のカメラで撮像した比較画像の各画像データに対して順次ステレオマッチング処理を施す。そして、基準画像の画素ごとに視差を順次算出し、この視差と画像上の画素座標とから、三角測量の原理に基づき、次の距離データDを算出する。この距離データDは、撮像画像上の各画素について算出した実空間上の距離Z(自車両から当該画素に映し出された対象物までの距離)と、高さY(自車両の真下の道路面に対する当該対象物の高さ)とから構成される情報である。このように算出される距離データDの中から、道路面を映し出している画素についての距離データDを抽出し、その分布状態を求めることで、自車両前方における道路面の高さ(移動面情報)を認識することができる。

発明が解決しようとする課題

0003

従来、路面(移動面)上を移動する車両(移動体)の前方に存在する先行車両車線などの認識対象物を検出する物体検出装置が知られている。このような物体検出装置は、例えば、車両の運転者ドライバー)の運転負荷を軽減させるための、ACC(Adaptive Cruise Control)等の運転者支援システムなどに利用されている。運転者支援システムは、障害物等に衝突することを回避したり衝突時の衝撃を軽減したりするための自動ブレーキ機能警報機能、先行車両との車間距離を維持するための自車速度調整機能、自車が走行している車線からの逸脱防止を支援する機能などの様々な機能を実現する。これらの機能を適切に実現するためには、自車両前方の撮像画像から、自車両周囲に存在する種々の認識対象物(例えば、他車両、歩行者車線境界線マンホール蓋などの路面構成物電柱ガードレール縁石中央分離帯などの路側構造物など)を映し出す画像部分を、精度よく認識し、自車両の走行可能領域を把握したり、衝突を回避すべき物体を精度よく検出したりすることが重要である。

0004

自車両前方に存在する種々の識別対象物は、いずれも路面上又はこれよりも高い位置に存在するのが通常である。そのため、撮像画像中から路面を映し出す路面画像部分(移動面画像領域)を高精度に検出できれば、その路面画像部分を基準にして、識別対象物を映し出す画像部分が存在する範囲を限定でき、識別対象物の高精度な識別が可能になる。
また、撮像画像中の路面画像部分を検出せずとも、各路面部分の高さ情報(移動面情報)を求めることで、各路面部分の高さを基準にして、識別対象物を映し出す画像部分が存在する範囲を限定できる。この場合も、識別対象物の高精度な識別が可能になる。

0005

路面画像部分を高精度に検出できる装置としては、本出願人が出願した特願2012−249684号等に開示の路面検出装置がある。この路面検出装置は、ステレオカメラを用いて得た視差情報に基づいて、撮像画像を上下方向に複数分割して得られる各行領域内における視差値頻度分布を示す視差ヒストグラム情報を生成する。そして、この視差ヒストグラム情報に基づき、予め決められた規定値を超える頻度をもった視差値の中から、撮像画像の上方に向かうほど値が低くなるという特徴に合致した一群の視差値を選別する。この特徴は、路面画像部分を構成する画素が持つ特徴を示すものであるため、選別した視差値に対応する画素は路面画像部分を構成する画素であると判断できる。このような方法により、この路面検出装置では、路面画像部分を高精度に認識することが可能である。

0006

また、この路面検出装置では、選別した一群の視差値を直線近似又は曲線近似して近似曲線近似直線を得る。この近似曲線や近似直線上の視差値を用いることで、自車両の進行方向における路面上の各地点までの距離情報(移動面情報)を精度良く把握することが可能である。更には、この距離情報(移動面情報)を利用すれば、自車両の進行方向における路面上の各地点の相対的な高さを精度良く把握することも可能である。

0007

しかしながら、路面を映し出す路面画像部分の多くは、その路面画像部分内においてコントラスト輝度差)が比較的少ないので、路面状況撮影環境などの条件によっては、ステレオマッチング処理におけるマッチング精度が低くなりやすい。また、コントラスト(輝度差)が大きい箇所が繰り返されるような路面(ゼブラゾーンが描かれた路面等)においても、ステレオマッチング処理におけるマッチング精度が低くなりやすい。マッチング精度が低くなると、誤った視差値をもった画素の数が増える。その結果、撮像画像中の路面画像部分(移動面情報)の検出精度落ちたり、撮像画像に映し出されている路面の各地点における高さ情報(移動面情報)の検出精度が落ちたりする。このように、路面画像部分や各路面部分の高さ情報などの移動面情報の検出精度が落ちると、移動面情報を利用した後段の処理や制御を適切に行うことができないという問題が発生する。

0008

本発明は、以上の問題に鑑みなされたものであり、その目的とするところは、移動面情報を高精度に検出可能な移動面情報検出装置及びこれを用いた移動体機器制御システム並びに移動面情報検出用プログラムを提供することである。

課題を解決するための手段

0009

前記目的を達成するために、本発明は、移動面上を移動する移動体に搭載された複数の撮像手段により移動体移動方向前方を撮像して得られる複数の撮像画像に基づいて、移動体移動方向前方における移動面の情報を検出する移動面情報検出装置において、前記複数の撮像画像に基づいて視差情報を生成する視差情報生成手段と、前記視差情報に基づいて、前記撮像画像を上下方向に複数分割して得られる各行領域内における視差値の頻度分布を示す視差ヒストグラム情報を生成する視差ヒストグラム情報生成手段と、前記視差ヒストグラム情報に基づき、所定の頻度閾値を超える頻度をもった視差値を選別処理対象として決定し、その選別処理対象の中から、移動面の視差値が示す特徴に合致した一群の視差値を選別する処理を行う視差値選別手段と、前記視差値選別手段の選別結果に基づいて、移動面の情報を検出する移動面情報検出手段とを有し、前記視差値選別手段は、過去に選別した視差値に基づいて前記選別処理対象を決定することを特徴とする。

0010

本発明においては、過去に選別した視差値に基づいて選別処理対象を決定することとしている。通常、移動面の情報は急激に変化するような性質のものではない。したがって、今回の移動面情報の検出において生成される視差情報が誤差を多く含んだものであっても、過去に正しく選別された視差値を基準にして、移動面としては異常な値をもつ視差値(ノイズ)を特定することが可能である。よって、過去に選別した視差値に基づいて異常な視差値(ノイズ)を除外した選別処理対象を決定することで、移動面の特徴に合致した一群の視差値を適切に選別することが可能となり、移動面の情報を高い精度で得ることができる。

発明の効果

0011

本発明によれば、移動面の情報を高精度に検出することが可能となるという優れた効果が得られる。

図面の簡単な説明

0012

実施形態における車載機器制御システム概略構成を示す模式図である。
同車載機器制御システムを構成する撮像ユニット及び画像解析ユニットの概略構成を示す模式図である。
左右のカメラで撮影したときの視差を説明する図である。
処理ハードウェア部及び画像解析ユニットのハードウェア構成の一例を示す説明図である。
実施形態の物体検出処理を説明するための処理ブロック図である。
(a)は視差画像の視差値分布の一例を示す説明図である。(b)は、同(a)の視差画像の行ごとの視差値頻度分布を示す行視差分布マップ(Vマップ)を示す説明図である。
一方の撮像部で撮像される基準画像の一例を模式的に表した画像例である。
図7の画像例に対応するVマップを示す説明図である。
実施形態における抽出条件を説明するためのVマップを示す説明図である。
相対的に上り傾斜である路面のVマップ情報を示す説明図である。
自車両が加速している時の路面のVマップ情報を示す説明図である。
Vマップ生成部の一例の処理ブロック図である。
Vマップ生成部の他の例の処理ブロック図である。
Vマップ情報生成処理例1に係るVマップ情報生成処理の流れを示すフローチャートである。
視差画像上に設定される路面画像候補領域を説明するための説明図である。
Vマップ情報生成処理例2に係るVマップ情報生成処理の流れを示すフローチャートである。
路面形状検出部内の処理ブロック図である。
路面候補点検出処理例1における第1路面候補点検出処理の検出方法を説明するための説明図である。
路面候補点検出処理例1における第2路面候補点検出処理の検出方法を説明するための説明図である。
路面候補点検出処理例1における路面候補点検出部で行う路面候補点検出処理の流れを示すフローチャートである。
路面候補点検出処理例2における第1路面候補点検出処理及び第2路面候補点検出処理の検出方法を説明するための説明図である。
路面候補点検出処理例2における路面候補点検出部で行う路面候補点検出処理の流れを示すフローチャートである。
Vマップを3つの区間(視差値区画)に区分けした一例を示す説明図である。
Vマップを3つの区間(視差値区画)に区分けした他の例を示す説明図である。
Vマップを3つの区間(視差値区画)に区分けした更に他の例を示す説明図である。
(a)は、最終の第四区間が本来の区間幅(視差値範囲)より狭い幅しか設定できない場合の説明図である。(b)は、当該最終の第四区間をひとつ前の第三区間と結合して、ひとつの区間(第三区間)として設定した例の説明図である。
区分直線近似処理例1における区分直線近似部で行う区分直線近似処理の流れを示すフローチャートである。
区分直線近似処理例2における区分直線近似部で行う区分直線近似処理の流れを示すフローチャートである。
(a)は、当初の区間を示す説明図であり、(b)は、当初の第一区間を延長した後の区間を示す説明図である。
(a)は、当初の区間を示す説明図であり、(b)は、当初の第二区間を延長した後の区間を示す説明図である。
(a)は、得られた各区間の近似直線が区境界で連続にならない状態を示す説明図である。(b)は、各区間の近似直線が区間境界において連続になる修正した例を示す説明図である。
一方の撮像部で撮像される基準画像の一例を模式的に表した画像例である。
図32の画像例に対応するUマップを示す説明図である。
孤立領域検出部で行う処理の流れを示すフローチャートである。
孤立領域検出部で行うラベリング処理の説明図である。
同ラベリング処理において周囲に異なるラベルが存在するときの処理を説明するための説明図である。
孤立領域検出部で検出された孤立領域が内接する矩形領域を設定したUマップを示す説明図である。
図37に示したUマップに対応する視差画像を模式的に示した説明図である。
オブジェクトライン群の外接矩形を設定した視差画像を示す説明図である。
視差画像の対応領域検出部及びオブジェクト領域抽出部で行われる処理の流れを示すフローチャートである。
オブジェクトタイプ分類を行うためのテーブルデータの一例を示す表である。
ガードレール検出部で行われるガードレール検出処理の流れを示すフローチャートである。
ガードレール検出処理の対象範囲について直線近似処理して得られる近似直線を示したUマップを示す説明図である。
得られた近似直線からガードレール候補座標を検出する説明のための説明図である。
図32に示した画像例に対応する視差画像上に、ガードレール検出部が検出したガードレール領域を示した説明図である。
自車両の前輪舵角から消失点の画像左右方向位置Vxを検出する原理を示す説明図である。
自車両のヨーレート及び車速から消失点の画像左右方向位置Vxを検出する原理を示す説明図である。
自車両の加速時や減速時に消失点の画像上下方向位置Vyが変化することを示す説明図である。
撮像した路面上にゼブラゾーンが存在する場合の撮像画像を示す説明図である。
図49の撮像画像に対応する視差画像について作成されたVマップを示す説明図である。
図50のVマップによって得られる近似直線(実線)が、誤差の少ない近似直線(破線)から外れていることを説明するための説明図である。
変形例1におけるVマップ生成部の処理ブロック図である。
フレームの撮像画像について求めた区分近似直線から設定されるノイズ領を示した暫定Vマップを示す説明図である。
変形例1で求まる補正後のVマップを示す説明図である。
変形例1におけるVマップ生成部で行うVマップ生成処理の一例を示すフローチャートである。
変形例1におけるVマップ生成部で行うVマップ生成処理の他の例を示すフローチャートである。
変形例2における主要な処理の流れを示すフローチャートである。
変形例2において、路面の消失点と視差画像の下端中心とを結ぶ直線を境界にして左右に二分割した視差画像の例を示す説明図である。
変形例2において、消失点と視差画像左下点とを結ぶ直線L3と、消失点と視差画像右下点とを結ぶ直線L4とを設定した視差画像の例を示す説明図である。
図59の視差画像に対して、ひとつの画像走査ラインL5を設定したときの説明図である。
変形例2において、2つの直線L3,L4と画像走査ラインとの両交点以外の画像走査ライン上の視差値を線形補間したときの説明図である。
変形例3において、路面の消失点と視差画像の下端中心とを結ぶ直線を境界にして左右に二分割した視差画像の例を示す説明図である。
変形例3において、消失点と視差画像左下点とを結ぶ直線L3と、消失点と視差画像右下点とを結ぶ直線L4とを設定した視差画像の例を示す説明図である。
図63の視差画像に対して、ひとつの画像走査ラインL5を設定したときの説明図である。
変形例4において、路面の消失点と視差画像の左1/4の下端地点とを結ぶ直線L6と、路面の消失点と視差画像の右1/4の下端地点とを結ぶ直線L7とを境界にして左右に三分割した視差画像の例を示す説明図である。
図65の視差画像に対し、ひとつの画像走査ラインL5を設定したときの説明図である。
3つの直線L3,L4,L8と画像走査ラインとの両交点以外の画像走査ライン上の視差値を線形補間したときの説明図である。
変形例5において、路面の消失点と視差画像の左1/4の下端地点とを結ぶ直線L6と、路面の消失点と視差画像の右1/4の下端地点とを結ぶ直線L7とを境界にして左右に三分割した視差画像の例を示す説明図である。
図68の視差画像に対し、ひとつの画像走査ラインL5を設定したときの説明図である。

実施例

0013

以下、本発明に係る移動面情報検出装置である路面検出装置を、移動体機器制御システムである車載機器制御システムに用いた一実施形態について説明する。
図1は、本実施形態における車載機器制御システムの概略構成を示す模式図である。
本車載機器制御システムは、移動体である自動車などの自車両100に搭載された撮像ユニットで撮像した自車両進行方向前方領域(撮像領域)の撮像画像データから、自車両前方の路面(移動面)の相対的な高さ情報(相対的な傾斜状況を示す情報)を検知する。そして、その検知結果から、自車両前方の走行路面の3次元形状を検出することができるので、その検出結果を利用して各種車載機器の制御を行う。

0014

本実施形態の車載機器制御システムは、走行する自車両100の進行方向前方領域を撮像領域として撮像する撮像ユニット101が設けられている。この撮像ユニット101は、例えば、自車両100のフロントガラス105のルームミラー(図示せず)付近に設置される。撮像ユニット101の撮像によって得られる撮像画像データ等の各種データは、画像処理手段としての画像解析ユニット102に入力される。画像解析ユニット102は、撮像ユニット101から送信されてくるデータを解析して、自車両100が走行している路面部分(自車両の真下に位置する路面部分)に対する自車両前方の走行路面上の各地点における相対的な高さ(位置情報)を検出し、自車両前方の走行路面の3次元形状を把握する。

0015

画像解析ユニット102の認識結果は、車両走行制御ユニット106に送られる。車両走行制御ユニット106は、画像解析ユニット102による走行路面の相対傾斜状況の認識結果に基づいて自車両前方の他車両、歩行者、各種障害物などの認識対象物を認識し、その認識結果に基づいて、自車両100の運転者へ警告を報知したり、自車両のハンドルブレーキを制御するなどの走行支援制御を行ったりする。

0016

図2は、撮像ユニット101及び画像解析ユニット102の概略構成を示す模式図である。
撮像ユニット101は、撮像手段としての2つの撮像部110A,110Bを備えたステレオカメラで構成されており、2つの撮像部110A,110Bは同一のものである。各撮像部110A,110Bは、それぞれ、撮像レンズ111A,111Bと、受光素子が2次元配置された画像センサ113A,113Bを含んだセンサ基板114A,114Bと、センサ基板114A,114Bから出力されるアナログ電気信号(画像センサ113A,113B上の各受光素子が受光した受光量)をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部115A,115Bとから構成されている。本実施形態の撮像ユニット101からは、輝度画像データ視差画像データが出力される。

0017

また、撮像ユニット101は、FPGA(Field-Programmable Gate Array)等の画像処理基板等からなる処理ハードウェア部120を備えている。この処理ハードウェア部120は、各撮像部110A,110Bから出力される輝度画像データから視差画像を得るために、各撮像部110A,110Bでそれぞれ撮像した撮像画像間対応画像部分の視差値を演算する視差情報生成手段としての視差演算部121を備えている。

0018

ここでいう視差値とは、各撮像部110A,110Bでそれぞれ撮像した撮像画像の一方を基準画像、他方を比較画像とし、撮像領域内同一地点に対応した基準画像上の画像部分に対する比較画像上の画像部分の位置ズレ量を、当該画像部分の視差値として算出したものである。三角測量の原理を利用することで、この視差値から当該画像部分に対応した撮像領域内の当該同一地点までの距離を算出することができる。図3を参照して説明すれば、被写体301上にあるO点に対する左右画像での結像位置は、結像中心からの距離がそれぞれΔ1とΔ2となる。このときの視差値dは、Δ=Δ1+Δ2と規定することができる。

0019

一方、画像解析ユニット102は、画像処理基板等から構成され、撮像ユニット101から出力される輝度画像データ及び視差画像データを記憶するRAMやROM等で構成される記憶手段122と、識別対象認識処理視差計算制御などを行うためのコンピュータプログラムを実行するCPU(Central Processing Unit)123とを備えている。

0020

図4は、処理ハードウェア部120及び画像解析ユニット102のハードウェア構成の一例を示す説明図である。
処理ハードウェア部120及び画像解析ユニット102を構成する画像処理基板124は、画像センサ113A,113Bの露光制御画像読み出し制御、外部回路との通信、画像データの送信などの役割を担っている。2つの撮像部110A,110Bとの間は、データバス及びシリアルバスで接続されている。2つの撮像部110A,110Bから出力される輝度画像データは、データバスを介して画像処理基板124のRAMに転送される。シリアルバスは、CPUやFPGAからのセンサ露光制御値変更、画像読み出しパラメータ変更、各種設定データ送受信などに使用される。

0021

画像処理基板124は、CPU、FPGA、ROM、RAM、シリアルIF、シリアルバス、データIF、データバスなどから構成されている。FPGAは、RAMに保存された画像データに対してリアルタイム性が要求される処理、例えばガンマ補正、ゆがみ補正(左右の撮像画像の平行化)、ブロックマッチングによる視差演算を行って視差画像の情報を生成し、RAMに書き戻す処理などを行う。CPUは、各撮像部110A,110Bの画像センサコントローラの制御および画像処理基板の全体的な制御を担うとともに、路面の3次元形状の検出処理、ガードレールその他の各種オブジェクト(識別対象物)の検出処理などを実行するプログラムをROMからロードして、RAMに蓄えられた輝度画像データや視差画像データを入力として各種処理を実行し、その処理結果をデータIFやシリアルIFから外部へと出力する。このような処理の実行に際し、データIFを利用して、自車両100の車速、加速度(主に自車両前後方向に生じる加速度)、操舵角、ヨーレートなどの車両動作情報を入力し、各種処理のパラメータとして使用することもできる。外部に出力されるデータは、自車両100の各種機器の制御(ブレーキ制御車速制御警告制御など)を行うための入力データとして使用される。

0022

次に、本実施形態における路面の3次元形状を検出する路面形状検出処理を含んだ物体検出処理について説明する。
図5は、本実施形態の物体検出処理を説明するための処理ブロック図である。
ステレオカメラを構成する2つの撮像部110A,110Bからは輝度画像データが出力される。このとき、撮像部110A,110Bがカラーの場合には、そのRGB信号から輝度信号(Y)を得るカラー輝度変換を、例えば下記の式(1)を用いて行う。
Y = 0.3R + 0.59G + 0.11B ・・・(1)
輝度画像データが入力されると、まず、平行化画像生成部131で平行化画像生成処理を実行する。この平行化画像生成処理は、撮像部110A,110Bにおける光学系の歪みや左右の撮像部110A,110Bの相対的な位置関係から、各撮像部110A,110Bから出力される輝度画像データ(基準画像と比較画像)を、2つのピンホールカメラが平行に取り付けられたときに得られる理想的な平行化ステレオ画像となるように変換する。これは、各画素での歪み量を、Δx=f(x,y)、Δy=g(x,y)という多項式を用いて計算し、その計算結果を用いて、各撮像部110A,110Bから出力される輝度画像データ(基準画像と比較画像)の各画素を変換する。多項式は、例えば、x(画像の横方向位置)、y(画像の縦方向位置)に関する5次多項式に基づく。

0023

このようにして平行化画像処理を行った後、次に、視差演算部121によって構成される視差画像生成部132において、視差画像データ(視差情報又は視差画像情報)を生成する視差画像生成処理を行う。視差画像生成処理では、まず、2つの撮像部110A,110Bのうちの一方の撮像部110Aの輝度画像データを基準画像データとし、他方の撮像部110Bの輝度画像データを比較画像データとし、これらを用いて両者の視差を演算して、視差画像データを生成して出力する。この視差画像データは、基準画像データ上の各画像部分について算出される視差値dに応じた画素値をそれぞれの画像部分の画素値として表した視差画像を示すものである。

0024

具体的には、視差画像生成部132は、基準画像データのある行について、一の注目画素を中心とした複数画素(例えば16画素×1画素)からなるブロックを定義する。一方、比較画像データにおける同じ行において、定義した基準画像データのブロックと同じサイズのブロックを1画素ずつ横ライン方向(X方向)へずらし、基準画像データにおいて定義したブロックの画素値の特徴を示す特徴量と比較画像データにおける各ブロックの画素値の特徴を示す特徴量との相関を示す相関値を、それぞれ算出する。そして、算出した相関値に基づき、比較画像データにおける各ブロックの中で最も基準画像データのブロックと相関があった比較画像データのブロックを選定するマッチング処理を行う。その後、基準画像データのブロックの注目画素と、マッチング処理で選定された比較画像データのブロックの対応画素との位置ズレ量を視差値dとして算出する。このような視差値dを算出する処理を基準画像データの全域又は特定の一領域について行うことで、視差画像データを得ることができる。

0025

マッチング処理に用いるブロックの特徴量としては、例えば、ブロック内の各画素の値(輝度値)を用いることができ、相関値としては、例えば、基準画像データのブロック内の各画素の値(輝度値)と、これらの画素にそれぞれ対応する比較画像データのブロック内の各画素の値(輝度値)との差分の絶対値の総和を用いることができる。この場合、当該総和が最も小さくなるブロックが最も相関があると言える。

0026

視差画像生成部132でのマッチング処理をハードウェア処理によって実現する場合には、例えばSSD(Sum of Squared Difference)、ZSSD(Zero-mean Sum of Squared Difference)、SAD(Sum of Absolute Difference)、ZSAD(Zero-mean Sum of Absolute Difference)などの方法を用いることができる。なお、マッチング処理では画素単位での視差値しか算出できないので、1画素未満サブピクセルレベルの視差値が必要な場合には推定値を用いる必要がある。その推定方法としては、例えば、等角直線方式、二次曲線方式等を利用することができる。ただし、このサブピクセルレベルの推定視差値には誤差が発生するので、この推定誤差を減少させるEEC(推定誤差補正)などを用いてもよい。

0027

このようにして視差画像生成処理を行ったら、次に、Vマップ生成部133において、Vマップを生成するVマップ生成処理を実行する。視差画像データに含まれる各視差画素データは、x方向位置とy方向位置と視差値dとの組(x,y,d)で示されるところ、これを、X軸にd、Y軸にy、Z軸に頻度fを設定した三次元座標情報(d,y,f)に変換したもの、又はこの三次元座標情報(d,y,f)から所定の頻度閾値を超える情報に限定した二次元座標情報(d,y,f)を視差ヒストグラム情報ととして生成する。本実施形態の視差ヒストグラム情報は、三次元座標情報(d,y,f)からなり、この三次元ヒストグラム情報をX−Yの2次元座標系に分布させたものをVマップ(視差ヒストグラムマップ)と呼ぶ。

0028

具体的に説明すると、Vマップ生成部133は、画像を上下方向に複数分割して得られる視差画像データの各行領域について、視差値頻度分布を計算する。この視差値頻度分布を示す情報が視差ヒストグラム情報である。具体例を挙げて説明すると、図6(a)に示すような視差値分布をもった視差画像データが入力されたとき、Vマップ生成部133は、行ごとの各視差値のデータの個数の分布である視差値頻度分布を計算し、これを視差ヒストグラム情報として出力する。このようにして得られる各行の視差値頻度分布の情報を、Y軸に視差画像上のy方向位置(撮像画像の上下方向位置)をとりX軸に視差値をとった二次元直交座標系上に表すことで、図6(b)に示すようなVマップを得ることができる。このVマップは、頻度fに応じた画素値をもつ画素が前記二次元直交座標系上に分布した画像として表現することもできる。

0029

次に、本実施形態では、Vマップ生成部133が生成したVマップの情報(視差ヒストグラム情報)から、路面形状検出部134において、自車両100の前方路面の3次元形状を検出する路面形状検出処理を実行する。
図7は、撮像部110Aで撮像される基準画像の一例を模式的に表した画像例である。
図8は、図7の画像例に対応するVマップである。
図7に示す画像例では、自車両100が走行している路面と、自車両100の前方に存在する先行車両と、路外に存在する電柱が映し出されている。この画像例は、自車両100の前方路面が相対的に平坦な路面、すなわち、自車両100の前方路面が自車両100の真下の路面部分と平行な面を自車両前方へ延長して得られる仮想延長面基準路面仮想基準移動面))に一致している場合のものである。この場合、画像の下部に対応するVマップの下部において、高頻度の点は、画像上方へ向かうほど視差値dが小さくなるような傾きをもった略直線状に分布する。このような分布を示す画素は、視差画像上の各行においてほぼ同一距離に存在していてかつ最も占有率が高く、しかも画像上方へ向かうほど距離が連続的に遠くなる識別対象物を映し出した画素であると言える。

0030

撮像部110Aでは自車両前方領域を撮像するため、その撮像画像の内容は、図7に示すように、画像上部に対して画像下部の方が路面の占有率が高く、また、画像上方へ向かうほど路面の視差値dは小さくなる。また、同じ行(横ライン)内において、路面を映し出す画素はほぼ同じ視差値dを持つことになる。したがって、Vマップ上において上述した略直線状に分布する高頻度の点は、路面(移動面)を映し出す画素が持つ特徴に対応したものである。よって、Vマップ上における高頻度の点を直線近似して得られる近似直線上又はその近傍に分布する点の画素は、高い精度で、路面を映し出している画素であると推定することができる。また、各画素に映し出されている路面部分までの距離は、当該近似直線上の対応点の視差値dから高精度に求めることができる。

0031

ここで、Vマップ上における高頻度の点を直線近似する際、その直線近似処理に含める点をどの範囲まで含めるかは、その処理結果の精度を大きく左右する。すなわち、直線近似処理に含める範囲が広いほど、路面に対応しない点が多く含まれ、処理精度を落とすことになり、また、直線近似処理に含める範囲が狭いほど、路面に対応する点の数が少なく、やはり処理精度を落とす結果となる。そこで、本実施形態では、後述する直線近似処理の対象とする視差ヒストグラム情報部分を、以下のようにして抽出している。

0032

図9は、本実施形態における抽出条件を説明するためのVマップを示す説明図である。
本実施形態のVマップ生成部133では、視差画像データを受け取ると、その視差画像データに含まれる各視差画素データ(x,y,d)を、三次元座標情報である視差ヒストグラム情報構成要素としてのVマップ要素(d,y,f)に変換して、視差ヒストグラム情報としてのVマップ情報を生成する。このとき、視差画像データの中から、画像上下方向位置yと視差値dとの関係が所定の抽出条件を満たす視差画素データを抽出し、その抽出した視差画素データを対象にして上述した変換を行い、Vマップ情報を生成する。

0033

本実施形態における抽出条件は、自車両100の前方路面が自車両100の真下の路面部分と平行な面を自車両前方へ延長して得られる仮想の基準路面(仮想基準移動面)に対応する視差値dと画像上下方向位置yとの関係を基準として定まる所定の抽出範囲内に属するという条件である。この基準路面に対応する視差値dと画像上下方向位置yとの関係は、図9に示すように、Vマップ上において直線(以下「基準直線」という。)で示される。本実施形態では、この直線を中心に画像上下方向へ±δの範囲を、抽出範囲として規定している。この抽出範囲は、状況に応じて刻々と変化する実際の路面のVマップ要素(d,y,f)の変動範囲を含むように設定される。

0034

具体的には、例えば、自車両前方の路面が相対的に上り傾斜である場合、当該路面が相対的に平坦である場合よりも、撮像画像中に映し出される路面画像部分(移動面画像領域)は画像上側へ広がる。しかも、同じ画像上下方向位置yに映し出される路面画像部分を比較すると、相対的に上り傾斜である場合には、相対的に平坦である場合よりも、視差値dが大きくなる。この場合のVマップ要素(d,y,f)は、Vマップ上において、図10に示すように、おおよそ、基準直線に対し、上側に位置し、かつ、傾き(絶対値)が大きい直線を示すものとなる。本実施形態では、前方の路面における相対的な上り傾斜が想定され得る範囲内であれば、その路面のVマップ要素(d,y,f)が抽出範囲内に収まる。

0035

また、例えば、自車両前方の路面が相対的に下り傾斜である場合、そのVマップ要素(d,y,f)は、Vマップ上において、基準直線に対し、下側に位置し、かつ、傾き(絶対値)が小さい直線を示すものとなる。本実施形態では、前方の路面における相対的な下り傾斜が想定され得る範囲内であれば、その路面のVマップ要素(d,y,f)が抽出範囲内に収まる。

0036

また、例えば、自車両100が速度を加速している加速時においては、自車両100の後方に加重がかかり、自車両の姿勢は、自車両前方が鉛直方向上側を向くような姿勢となる。この場合、自車両100の速度が一定である場合と比べて、撮像画像中に映し出される路面画像部分(移動面画像領域)は画像下側へシフトする。この場合のVマップ要素(d,y,f)は、Vマップ上において、図11に示すように、おおよそ、基準直線に対し、下側に位置し、かつ、基準直線とほぼ平行な直線を示すものとなる。本実施形態では、自車両100の加速が想定され得る範囲内であれば、その路面のVマップ要素(d,y,f)が抽出範囲内に収まる。

0037

また、例えば、自車両100が速度を減速している減速時においては、自車両100の前方に加重がかかり、自車両の姿勢は、自車両前方が鉛直方向下側を向くような姿勢となる。この場合、自車両100の速度が一定である場合と比べて、撮像画像中に映し出される路面画像部分(移動面画像領域)は画像上側へシフトする。この場合のVマップ要素(d,y,f)は、Vマップ上において、おおよそ、基準直線に対し、上側に位置し、かつ、基準直線とほぼ平行な直線を示すものとなる。本実施形態では、自車両100の減速が想定され得る範囲内であれば、その路面のVマップ要素(d,y,f)が抽出範囲内に収まる。

0038

図12は、Vマップ生成部133内の処理ブロック図である。
本実施形態のVマップ生成部133は、視差画像生成部132から出力される視差画像データを受け取ると、まず、車両動作情報入力部133Aにおいて、自車両100の加速度情報を含む車両動作情報を取得する。車両動作情報入力部133Aに入力される車両動作情報は、自車両100に搭載されている機器から取得してもよいし、撮像ユニット101に加速度センサ等の車両動作情報取得手段を搭載し、その車両動作情報取得手段から取得してもよい。

0039

このようにして車両動作情報を取得したら、次に、視差画像路面領域設定部133Bにおいて、視差画像生成部132から取得した視差画像データに対し、撮像画像の一部である所定の路面画像候補領域(移動面画像候補領域)を設定する。この設定では、想定される状況の範囲内では路面が映し出されることがない領域を除外した画像領域を路面画像候補領域として設定する。具体的な設定方法としては、予め決められた固定の画像領域を路面画像候補領域として設定してもよいが、本実施形態においては、撮像画像内における路面の消失点を示す消失点情報に基づいて路面画像候補領域を設定する。

0040

このようにして路面画像候補領域を設定したら、次に、処理範囲抽出部133Cにおいて、視差画像路面領域設定部133Bが設定した路面画像候補領域内の視差画像データの中から、上述した抽出条件を満たす視差画素データ(視差画像情報構成要素)を抽出する処理を行う。すなわち、Vマップ上において基準直線を中心にとした画像上下方向へ±δの範囲に属する視差値dと画像上下方向位置yとをもつ視差画素データを抽出する。このようにして抽出条件を満たす視差画素データを抽出した後、Vマップ情報生成部133Dにおいて、処理範囲抽出部133Cが抽出した視差画素データ(x,y,d)をVマップ要素(d,y,f)に変換して、Vマップ情報を生成する。

0041

以上の説明では、Vマップ情報生成部133DでVマップ情報を生成する前段階の処理範囲抽出部133Cにおいて、路面画像部分に対応しない視差画像データ部分と区別して路面画像部分に対応する視差画像データ部分を抽出する例について説明したが、次のように、Vマップ情報を生成した後の段階で、同様の抽出処理を行ってもよい。

0042

図13は、Vマップ情報を生成した後の段階で抽出処理を行う例におけるVマップ生成部133内の処理ブロック図である。
本例のVマップ生成部133では、視差画像路面領域設定部133Bにおいて路面画像候補領域を設定した後、まず、Vマップ情報生成部133Eにおいて、視差画像路面領域設定部133Bが設定した路面画像候補領域内の視差画素データ(x,y,d)をVマップ要素(d,y,f)に変換して、Vマップ情報を生成する。このようにしてVマップ情報を生成した後、処理範囲抽出部133Fにおいて、Vマップ情報生成部133Eが生成したVマップ情報の中から、上述した抽出条件を満たすVマップ要素を抽出する処理を行う。すなわち、Vマップ上において基準直線を中心にとした画像上下方向へ±δの範囲に属する視差値dと画像上下方向位置yとをもつVマップ要素を抽出する。そして、抽出したVマップ要素で構成されるVマップ情報を出力する。

0043

〔Vマップ情報生成処理例1〕
図14は、本実施形態におけるVマップ情報生成処理の一例(以下「Vマップ情報生成処理例1」という。)の流れを示すフローチャートである。
本Vマップ情報生成処理例1においては、車両動作情報(自車両前後方向の加速度情報)を用いずにVマップ情報を作成する例である。本Vマップ情報生成処理例1においては、自車両100の加速度情報を用いないため、基準路面に対応する基準直線を中心にとした抽出範囲すなわち値δの大きさは、比較的大きなものを用いる。

0044

本Vマップ情報生成処理例1においては、まず、路面の消失点情報に基づいて路面画像候補領域を設定する(S1A)。路面の消失点情報を求める方法には特に制限はなく、公知の方法を広く利用することができる。本Vマップ情報生成処理例1では、この路面の消失点情報(Vx,Vy)が示す消失点の画像上下方向位置Vyから所定のoffset値を引いた画像上下方向位置(Vy−offset値)から、当該視差画像データの画像上下方向位置yの最大値ysize(視差画像の最下部)までの範囲を、路面画像候補領域に設定する。また、画像上下方向位置が消失点に近い画像部分においては、その画像左右方向両端部分の画像領域に路面が映し出されることはあまり無い。そこで、この画像領域も除外して路面画像候補領域に設定してもよい。この場合、視差画像上に設定される路面画像候補領域は、図15に示すWABCDの各点で囲まれた領域となる。

0045

このようにして路面画像候補領域を設定した後、本Vマップ情報生成処理例1では、設定された路面画像候補領域内の視差画像データの中から、上述した抽出条件を満たす視差画素データ(視差画像情報構成要素)を抽出する処理を行う(S2A)。この処理では、予め設定されている固定の基準直線の情報と、その基準直線を基準とした抽出範囲を規定するための±δの情報とを用いて、当該抽出範囲に属する視差画素データを抽出する。その後、抽出した視差画素データ(x,y,d)をVマップ要素(d,y,f)に変換して、Vマップ情報を生成する(S3A)。

0046

〔Vマップ情報生成処理例2〕
図16は、本実施形態におけるVマップ情報生成処理の他の例(以下「Vマップ情報生成処理例2」という。)の流れを示すフローチャートである。
本Vマップ情報生成処理例2においては、車両動作情報(自車両前後方向の加速度情報)を用いてVマップ情報を作成する例である。まず、車両動作情報を入力したら(S1B)、この車両動作情報に含まれる自車両前後方向の加速度情報に基づき、消失点情報と基準直線の情報を補正する(S2B)。

0047

消失点情報の補正は、次のようにして行う。例えば自車両100の加速時には、自車両後方部分が加重され、自車両100の姿勢は、自車両前方が鉛直方向上側を向くような姿勢となる。この姿勢変化により、路面の消失点は、画像下側へ変位することになるので、これ合わせて、路面の消失点情報の画像上下方向位置Vyを加速度情報に基づいて補正する。例えば自車両100の減速時にも、同様に、その加速度情報に基づいて路面の消失点情報の画像上下方向位置Vyを補正する。このような補正を行うことで、後述する消失点情報を用いた路面画像候補領域の設定処理において、路面を映し出している画像部分を適切に路面画像候補領域として設定することができる。

0048

また、基準直線情報の補正は、次のようにして行う。基準直線情報は、基準直線の傾きαと、切片(画像左端と基準直線とが交わる点の画像上下方向位置)βとを含む情報である。例えば自車両100の加速時には、自車両後方部分が加重され、自車両100の姿勢は、自車両前方が鉛直方向上側を向くような姿勢となる。この姿勢変化により、路面を映し出す路面画像部分は、全体的に画像下側へ変位することになる。そこで、これに合わせて、抽出範囲を画像下側へシフトさせるために、その抽出範囲の基準となる基準直線の切片βを加速度情報に基づいて補正する。例えば自車両100の減速時にも、同様に、基準直線の切片βを加速度情報に基づいて補正する。このような補正を行うことで、抽出範囲内の視差画素データを抽出する処理において、路面を映し出している画像部分を適切に路面画像候補領域として設定することができる。このように加速度情報を用いて基準直線の情報を補正するので、抽出範囲を規定するδ値は、自車両の加速や減速を考慮しないでもよくなる。そのため、本Vマップ情報生成処理例2の抽出範囲は、固定された基準直線を基準に抽出範囲を設定する上述のVマップ情報生成処理例1よりも、狭くすることができ、処理時間の短縮や路面検出精度の向上を図ることができる。

0049

以上説明した2つのVマップ情報生成処理例1,2は、いずれも、Vマップ情報を生成する前段階で、路面画像部分に対応する視差画像データ部分を抽出する処理であるが、Vマップ情報を生成した後の段階で、路面画像部分に対応するVマップ要素を抽出する処理でも同様である。

0050

次に、路面形状検出部134で行う処理について説明する。
路面形状検出部134では、Vマップ生成部133においてVマップ情報が生成されたら、路面に対応する視差値及びy方向位置の組(Vマップ要素)が示す特徴、すなわち、撮像画像の上方に向かうほど視差値が低くなるという特徴を示すVマップ上の高頻度の点を直線近似する処理を行う。なお、路面が平坦な場合には一本の直線で十分な精度で近似可能であるが、車両進行方向において路面の傾斜状況が変化するような路面については、一本の直線で十分な精度の近似は難しい。したがって、本実施形態においては、Vマップの情報(視差ヒストグラム情報)を視差値に応じて2以上の視差値区画に区分けし、各視差値区画についてそれぞれ個別に直線近似を行う。

0051

図17は、路面形状検出部134内の処理ブロック図である。
本実施形態の路面形状検出部134は、Vマップ生成部133から出力されるVマップの情報(視差ヒストグラム情報)を受け取ると、まず、路面候補点検出部134Aにおいて、路面に対応するVマップ要素が示す特徴、すなわち、撮像画像の上方に向かうほど視差値が低くなるという特徴を示すVマップ上の高頻度の点を、路面候補点(選別処理対象)として検出する。

0052

このとき、本実施形態では、路面候補点検出部134Aでの路面候補点検出処理は、Vマップの情報(視差ヒストグラム情報)を視差値に応じて2以上の視差値区画に区分けし、各視差値区画にそれぞれ対応した決定アルゴリズムに従って各視差値区画における路面候補点(選別処理対象)を決定する。具体的には、例えば、所定の基準距離に対応する視差値を境に、VマップをX軸方向(横軸方向)に2つの領域、すなわち視差値の大きい領域と小さい領域に区分けし、その領域ごとに異なる路面候補点検出アルゴリズムを用いて路面候補点を検出する。なお、視差値の大きい近距離領域については、後述する第1路面候補点検出処理を行い、視差の小さい遠距離領域については、後述する第2路面候補点検出処理を行う。

0053

ここで、前記のように視差の大きい近距離領域と視差の小さい遠距離領域とで、路面候補点検出処理の方法を変える理由について説明する。
図7に示したように、自車両100の前方を撮像した撮像画像では、近距離の路面部分についてはその路面画像領域の占有面積が大きく、路面に対応する画素数が多いので、Vマップ上の頻度が大きい。これに対し、遠距離の路面部分については、その路面画像領域の撮像画像内における占有面積が小さく、路面に対応する画素数が少ないので、Vマップ上の頻度が小さい。すなわち、Vマップにおいて、路面に対応する点の頻度値は、遠距離では小さく、近距離では大きい。そのため、例えば同じ頻度閾値を用いるなど、両領域について同じ基準で路面候補点を検出しようとすると、近距離領域については路面候補点を適切に検出できるが、遠距離領域については路面候補点が適切に検出できないおそれがあり、遠距離領域の路面検出精度が劣化する。逆に、遠距離領域の路面候補点を十分に検出できるような基準で近距離領域の検出を行うと、近距離領域のノイズ成分が多く検出され、近距離領域の路面検出精度が劣化する。そこで、本実施形態では、Vマップを近距離領域と遠距離領域とに区分し、各領域についてそれぞれ適した基準や検出方法を用いて路面候補点を検出することにより、両領域の路面検出精度を高く維持している。

0054

〔路面候補点検出処理例1〕
次に、本実施形態における路面候補点検出処理の検出方法の一例(以下「路面候補点検出処理例1」という。)について説明する。
図18は、本路候補点検出処理例1における第1路面候補点検出処理の検出方法を説明するための説明図である。
第1路面候補点検出処理では、Vマップ上の各視差値dについて、(d,y)の座標を中心とした5×7の座標ブロックにおけるyの値を所定の検索範囲内で変えながら、座標ブロックの頻度値の総和を求める。その後、例えば、同じ視差値dについて求めた各座標ブロックの頻度値総和の中の最大値に所定の係数(例えば1/2)を乗じて得られる値を、当該視差値dについての頻度閾値として設定する。次に、各視差値dについてそれぞれ設定した頻度閾値を用いて、当該視差値dについての座標ブロックの頻度値総和が頻度閾値よりも大きいものの中で、最もyの値が大きい座標ブロックを特定し、その座標ブロックの中心座標を、当該視差値dについての路面候補点として決定する。

0055

ここで、座標ブロックのyの値を変化させる検索範囲は、本実施形態では、過去の撮像画像に基づいて路面形状検出部134が検出した近似直線によって決められる。より詳しくは、前フレームの撮像画像について求めた近似直線上の座標(d,yp)を中心として「yp−δ」から「yp+δ」の範囲を探索範囲とする。これにより、探索すべきyの値の範囲が限定され、高速な路面候補点検出処理を実現できる。なお、探索範囲を決定するためのパラメータδは、自車両100の姿勢が振動加減速等によって変動したり、路面の傾斜状況が上り傾斜に変化したり下り傾斜に変化したりすることが原因で、前フレームで求めた路面を特徴づける近似直線と今回の近似直線とが僅かながらずれることがあるので、これらを考慮して適切な範囲に設定する。ただし、パラメータδを大きくしすぎると、探索範囲が広がりすぎて、路面以外の点が路面候補点として検出されるおそれが大きくなる点に注意を要する。なお、前フレームの近似直線がないときは、初期値として設定された近似直線を利用すればよい。

0056

図19は、本路面候補点検出処理例1における第2路面候補点検出処理の検出方法を説明するための説明図である。
第2路面候補点検出処理では、Vマップ上の各視差値dについて、(d,y)の座標におけるyの値を所定の検索範囲内で変えながら、その頻度値が所定の第一閾値よりも大きい場合、または、その頻度値が0より大きく第一閾値以下であって、かつ、当該座標を囲む8つの隣接点の頻度値の総和が第二閾値より大きい場合を探索する。そして、各視差値dについて、それぞれ探索して得られた座標点の中で、最もyの値が大きい座標点を特定し、これを当該視差値dについての路面候補点として決定する。このときの探索範囲については、第1路面候補点検出処理の場合と同じである。

0057

図20は、本路面候補点検出処理例1における路面候補点検出部134Aで行う路面候補点検出処理の流れを示すフローチャートである。
入力されるVマップの情報について、例えば視差値dの大きい順に路面候補点の検出を行い、各視差値dについての路面候補点(y,d)を検出する。視差値dが所定の基準距離に対応する基準視差値よりも大きい場合(S1のYes)、上述した第1路面候補点検出処理を行う。すなわち、当該視差値dに応じたyの探索範囲(「y−δ」〜「y+δ」)を設定し(S2)、各(d,y)の座標とその周囲5×7の座標からなる組(座標ブロック)の頻度値の総和を算出する(S3)。そして、その中の最大値の1/2を閾値として設定し(S4)、その閾値より大きい頻度値の総和をもつ組(座標ブロック)のうち、最大のyを持つ組(座標ブロック)の中心座標を、当該視差値dの路面候補点として検出する(S5)。

0058

そして、視差値dが基準視差値以下になるまで第1路面候補点検出処理を繰り返し行い(S6)、視差値dが基準視差値以下になったら、今度は、上述した第2路面候補点検出処理で路面候補点検出を行う。すなわち、第2路面候補点検出処理でも当該視差値dに応じたyの探索範囲(「y−δ」〜「y+δ」)を設定し(S7)、この探索範囲内における各(d、y)の座標の頻度値で第一閾値より大きいものがあれば(S8のYes)、これを路面候補点の候補として保持しておく(S9)。このとき、第一閾値より大きいものがなければ(S8のNo)、そのまま次の処理ステップS10に進む。また、この探索範囲内における各(d、y)の座標についてこれを囲む8つの点の頻度値の総和が第二閾値よりも大きいものがあれば(S10のYes)、これも路面候補点の候補として同様に保持しておく(S11)。このとき、第二閾値より大きいものがなければ(S10のNo)、そのまま次の処理ステップS12に進む。そして、保持している路面候補点の候補の中で最大のyの値を持つ座標点(d,y)を、当該視差値dの路面候補点として検出する(S12)。この第2路面候補点検出処理を、視差値dがなくなるまで繰り返し行う(S13)。

0059

〔路面候補点検出処理例2〕
次に、本実施形態における路面候補点検出処理の検出方法の他の例(以下「路面候補点検出処理例2」という。)について説明する。
図21は、本路面候補点検出処理例2における第1路面候補点検出処理及び第2路面候補点検出処理の検出方法を説明するための説明図である。
第1路面候補点検出処理では、各視差値dについて、所定の検索範囲内でy方向位置を変えながら、Vマップ情報に含まれる各Vマップ要素(d,y,f)の頻度値fが第1頻度閾値よりも大きく、かつ、最も頻度値fが大きいVマップ要素を探索し、そのVマップ要素を当該視差値dについての路面候補点として決定する。このときの第1頻度閾値は、低めに設定し、路面に対応するVマップ要素が抜け落ちないようにするのが好ましい。本実施形態においては、上述したとおり、Vマップ生成部133において路面に対応するVマップ要素を抽出していることから、第1頻度閾値を低めに設定しても、路面分に対応しないVマップ要素が路面候補点として決定される事態は軽減されるからである。

0060

ここで、各視差値dについてy値を変化させる検索範囲は、上述したVマップ生成部133における抽出範囲、すなわち、基準直線の画像上下方向位置ypを中心にとした画像上下方向へ±δの範囲である。具体的には、「yp−δ」から「yp+δ」の範囲を探索範囲とする。これにより、探索すべきy値の範囲が限定され、高速な路面候補点検出処理を実現できる。

0061

一方、第2路面候補点検出処理は、第1頻度閾値の変わりにこれとは別の第2頻度閾値を用いる点を除いて、前記第1路面候補点検出処理と同じである。すなわち、第2路面候補点検出処理では、各視差値dについて、所定の検索範囲内でy方向位置を変えながら、Vマップ情報に含まれる各Vマップ要素(d,y,f)の頻度値fが第2頻度閾値よりも大きく、かつ、最も頻度値fが大きいVマップ要素を探索し、そのVマップ要素を当該視差値dについての路面候補点として決定する。

0062

図22は、路面候補点検出部134Aで行う路面候補点検出処理の流れを示すフローチャートである。
入力されるVマップの情報について、例えば視差値dの大きい順に路面候補点の検出を行い、各視差値dについての路面候補点(y,d)を検出する。視差値dが所定の基準距離に対応する基準視差値よりも大きい場合(S1のYes)、上述した第1路面候補点検出処理を行う。すなわち、当該視差値dに応じたyの探索範囲(「yp−δ」〜「yp+δ」)を設定し(S2)、この探索範囲内における頻度値fが第1頻度閾値よりも大きいVマップ要素(d,y,f)を抽出する(S3)。そして、抽出したVマップ要素のうち、最大の頻度値fを持つVマップ要素(d,y,f)を、当該視差値dの路面候補点として検出する(S4)。

0063

そして、視差値dが基準視差値以下になるまで第1路面候補点検出処理を繰り返し行い(S5)、視差値dが基準視差値以下になったら(S1のNo)、今度は、上述した第2路面候補点検出処理で路面候補点検出を行う。すなわち、第2路面候補点検出処理でも当該視差値dに応じたyの探索範囲(「yp−δ」〜「yp+δ」)を設定し(S6)、この探索範囲内における頻度値fが第1頻度閾値よりも大きいVマップ要素(d,y,f)を抽出する(S7)。そして、抽出したVマップ要素のうち、最大の頻度値fを持つVマップ要素(d,y,f)を、当該視差値dの路面候補点として検出する(S8)。この第2路面候補点検出処理を、視差値dがなくなるまで繰り返し行う(S9)。

0064

このような路面候補点検出処理を行って路面候補点検出部134Aにより各視差値dについての路面候補点(選別処理対象あるいは抽出処理対象)を検出したら、次に、区分直線近似部134Bにより、これらの路面候補点についてVマップ上の近似直線を求める直線近似処理を行う。このとき、路面が平坦な場合であれば、Vマップの視差値範囲全域にわたって一本の直線で十分な精度の近似が可能であるが、車両進行方向において路面の傾斜状況が変化している場合には、一本の直線で十分な精度の近似が難しい。したがって、本実施形態においては、Vマップの情報(視差ヒストグラム情報)を視差値に応じて2以上の視差値区画に区分けし、各視差値区画についてそれぞれ個別に直線近似処理を行う。

0065

直線近似処理は、最小二乗近似を利用することができるが、より正確に行うにはRMA(Reduced Major Axis)などの他の近似を用いるのがよい。その理由は、最小二乗近似は、X軸のデータに誤差がなく、Y軸のデータに誤差が存在するという前提があるときに、正確に計算されるものである。しかしながら、Vマップ情報から検出される路面候補点の性質を考えると、Vマップの情報に含まれる各Vマップ要素のデータは、Y軸のデータyについては画像上の正確な位置を示していると言えるが、X軸のデータである視差値dについては、誤差を含んでいるものである。また、路面候補点検出処理では、Y軸方向に沿って路面候補点の探索を行い、その最大のy値をもつVマップ要素を路面候補点として検出するものであるため、路面候補点はY軸方向の誤差も含んでいる。したがって、路面候補点となっているVマップ要素は、X軸方向にもY軸方向にも誤差を含んでいることになり、最小二乗近似の前提が崩れている。したがって、二変数(dとy)に互換性のある回帰直線(RMA)が有効である。

0066

図23は、Vマップを3つの区間(視差値区画)に区分けした例を示す説明図である。
本実施形態においては、Vマップの情報(視差ヒストグラム情報)を視差値に応じて3つの視差値区画に区分けする。具体的には、視差値が大きい順に、第一区間、第二区間、第三区間に区分けする。このとき、距離を基準にして区間を等しく区分けする場合、Vマップ上では遠距離の区間ほど区間(視差値範囲)が狭くなり、直線近似の精度が悪化する。また、視差値を基準にして区間を等しく区分けする場合、今度は、Vマップ上において近距離の区間の幅が狭くなる。この場合、第一区間が非常に狭いものとなって、その第一区間はほとんど意味を成さなくなる。

0067

そこで、本実施形態においては、第一区間については予め決められた固定距離に対応する幅をもつように設定とし、第二区間及び第三区間については、ひとつ前の区間の幅に対応する距離の定数倍(たとえば2倍)の距離に対応する幅をもつように設定するという区分けルールを採用している。このような区分けルールにより、どの区間についても、適度な幅(視差値範囲)を持たせることができる。すなわち、このような区分けルールによって各区間にそれぞれ対応する距離範囲が異なることになるが、各区間の直線近似処理に使用する路面候補点の数が各区間で均一化でき、どの区間でも適切な直線近似処理を行うことができるようになる。

0068

なお、図23に示した例では、第一区間及び第二区間が重複オーバーラップ)することなく連続し、第二区間及び第三区間も重複することなく連続するように各区間を区分けしているが、各区間が重複するように区分けしてもよい。例えば、図24に示すように、第二区間の始点S2Lを第一区間の始点S1と終点E1との中点とし(第二区間の終点E2は図23の例と同じ。)、第三区間の始点S3Lを第一区間の終点E1と第二区間の終点E2との中点としてもよい(第三区間の終点E3は図23の例と同じ。)。また、例えば、図25に示すように、第二区間の始点S2Lを第一区間の3:1内分点とし(第二区間の終点E2は図23の例と同じ。)、第三区間の始点S3Lを第一区間の終点E1と第二区間の終点E2との間の3:1内分点としてもよい(第三区間の終点E3は図23の例と同じ。)。

0069

区間に応じて距離範囲を変更したり、区間をオーバーラップさせたりすることで、各区間の直線近似処理に使用する候補点数を均一化して、各区間の直線近似処理の精度を高めることができる。また、区間を重複(オーバーラップ)させることで、各区間における直線近似処理の相関を高めることもできる。

0070

また、上述した区分けルールに従って視差値が大きい順に区間を設定していくと、図26(a)に示すように、例えば、最終の第四区間が本来の区間幅(視差値範囲)より狭い幅しか設定できない場合がある。このような場合には、図26(b)に示すように、最終の第四区間をひとつ前の第三区間と結合して、ひとつの区間(第三区間)として設定してもよい。

0071

〔区分直線近似処理例1〕
図27は、区分直線近似部134Bで行う区分直線近似処理の一例(以下「区分直線近似処理例1」という。)の流れを示すフローチャートである。
本区分直線近似処理例1において、区分直線近似部134Bは、路面候補点検出部134Aから出力される各視差値dの路面候補点のデータを受け取ったら、まず、最近距離の第一区間(最も視差値が大きい区間)を設定する(S21)。そして、この第一区間内の各視差値dに対応した路面候補点を抽出し(S22)、抽出した路面候補点について直線近似処理を行う(S23)。その後、残りの区間がある場合には(S24のYes)、前区間の幅に対応する距離を定数倍した距離に対応する幅をもった次の区間(第二区間)を設定する(S25)。そして、この設定後に残っている区間が更に次に設定される区間(第三区間)よりも小さいか否かを判断する(S26)。この判断において小さくないと判断されたなら、第二区間内の各視差値dに対応した路面候補点を抽出し(S22)、抽出した路面候補点について直線近似処理を行う(S23)。

0072

このようにして順次区間を設定し、その区間の直線近似処理を行うという処理を繰り返していくと、いずれ、前記処理ステップS26において、設定後に残っている区間が更に次に設定される区間よりも小さいと判断される(S26のYes)。この場合、設定された区間を延長して当該残っている区間を含めるようにし、これを最後の区間として設定する(S27)。そして、この最後の区間内の各視差値dに対応した路面候補点を抽出し(S22)、抽出した路面候補点について直線近似処理を行う(S23)。これにより、前記処理ステップS24において残り区間は無いと判断されるので(S24のNo)、区分直線近似部134Bは区分直線近似処理を終了する。

0073

〔区分直線近似処理例2〕
図28は、区分直線近似部134Bで行う区分直線近似処理の他の例(以下「区分直線近似処理例2」という。)の流れを示すフローチャートである。
本区分直線近似処理例2において、区分直線近似部134Bは、路面候補点検出部134Aから出力される各視差値dの路面候補点のデータを受け取ったら、まず、最近距離の第一区間(最も視差値が大きい区間)を設定する(S11)。そして、この第一区間内の各視差値dに対応した路面候補点を抽出する(S12)。このとき、抽出された路面候補点の数が所定の値以下である場合(S13のNo)、当該第一区間を所定の視差値分だけ延長する(S14)。具体的には、図29(a)に示す当初の第一区間と第二区間とを結合して、図29(b)に示すように、新たにひとつの第一区間(延長された第一区間)とする。このとき、当初の第三区間は新たな第二区間となる。そして、延長された第一区間内の各視差値dに対応した路面候補点を再び抽出し(S12)、抽出された路面候補点の数が所定の値よりも多くなった場合には(S13のYes)、抽出した路面候補点について直線近似処理を行う(S15)。

0074

なお、第一区間ではない区間、例えば第二区間を延長する場合には、図30(a)に示す当初の第二区間と第三区間とを結合して、図30(b)に示すように、新たにひとつの第二区間(延長された第二区間)とする。

0075

このようにして直線近似処理を行ったら、次に、その直線近似処理により得られる近似直線の信頼性判定を行う。この信頼性判定では、最初に、得られた近似直線の傾きと切片が所定の範囲内にあるかどうかを判定する(S17)。この判定で所定の範囲内ではない場合には(S17のNo)、当該第一区間を所定の視差値分だけ延長し(S14)、延長された第一区間について再び直線近似処理を行う(S12〜15)。そして、所定の範囲内ではあると判定されたら(S17のYes)、その直線近似処理を行った区間が第一区間かどうかを判断する(S18)。

0076

このとき、第一区間であると判断された場合には(S18のYes)、その近似直線の相関値が所定の値よりも大きいかどうかを判定する(S19)。この判定において、近似直線の相関値が所定の値よりも大きければ、その近似直線を当該第一区間の近似直線として決定する。近似直線の相関値が所定の値以下であれば、当該第一区間を所定の視差値分だけ延長し(S14)、延長された第一区間について再び直線近似処理を行い(S12〜15)、再び信頼性判定を行う(S17〜S19)。なお、第一区間でない区間については(S18のNo)、近似直線の相関値に関する判定処理(S19)は実施しない。

0077

その後、残りの区間があるかどうかを確認し(S20)、もし残りの区間が無ければ、区分直線近似部134Bは区分直線近似処理を終了する。一方、残りの区間がある場合には(S20のYes)、前区間の幅に対応する距離を定数倍した距離に対応する幅をもった次の区間(第二区間)を設定する(S21)。そして、この設定後に残っている区間が更に次に設定される区間(第三区間)よりも小さいか否かを判断する(S22)。この判断において小さくないと判断されたなら、当該第二区間内の各視差値dに対応した路面候補点を抽出して直線近似処理を行うとともに(S12〜S15)、信頼性判定処理を行う(S17〜S19)。

0078

このようにして順次区間を設定し、その区間の直線近似処理及び信頼性判定処理を行うという処理を繰り返していくと、いずれ、前記処理ステップS22において、設定後に残っている区間が更に次に設定される区間よりも小さいと判断される(S22のYes).
この場合、設定された区間を延長して当該残っている区間を含めるようにし、これを最後の区間として設定する(S23)。この場合、この最後の区間内の各視差値dに対応した路面候補点を抽出し(S12)、抽出した路面候補点について直線近似処理を行ったら(S15)、処理ステップS16において最後の区間であると判断されるので(S16のYes)、区分直線近似部134Bは区分直線近似処理を終了する。

0079

このようにして区分直線近似部134Bが各区間の直線近似処理を実行して得た各区間の近似直線は、31(a)に示すように、通常、区間境界で連続したものにはならない。そのため、本実施形態では、各区間の近似直線が区間境界において連続になるように、区分直線近似部134Bから出力される近似直線を図31(b)に示すように修正する。具体的には、例えば、第二区間以降の区間について、各区間における近似直線の始点側(視差値の大きい側)を、前区間の近似直線の終端位置に移動させるように修正する。また、例えば、区間の境界上における両区間の近似直線の端点間の中点を通るように両近似直線を修正する。

0080

以上のようにして、路面形状検出部134においてVマップ上の近似直線の情報が得られたら、次に、路面高さテーブル算出部135において、路面高さ(自車両の真下の路面部分に対する相対的な高さ)を算出してテーブル化する路面高さテーブル算出処理を行う。路面形状検出部134により生成されたVマップ上の近似直線の情報から、撮像画像上の各行領域(画像上下方向の各位置)に映し出されている各路面部分までの距離を算出できる。一方、自車両の真下に位置する路面部分をその面に平行となるように自車両進行方向前方へ延長した仮想平面の自車両進行方向における各面部分が、撮像画像中のどの各行領域に映し出されるかは予め決まっており、この仮想平面(基準路面)はVマップ上で直線(基準直線)により表される。路面形状検出部134から出力される近似直線を基準直線と比較することで、自車両前方の各路面部分の高さを得ることができる。簡易的には、路面形状検出部134から出力される近似直線上のY軸位置から、これに対応する視差値から求められる距離だけ自車両前方に存在する路面部分の高さを算出できる。路面高さテーブル算出部135では、近似直線から得られる各路面部分の高さを、必要な視差範囲についてテーブル化する。

0081

なお、ある視差値dにおいてY軸位置がy’である地点に対応する撮像画像部分に映し出されている物体の路面からの高さは、当該視差値dにおける近似直線上のY軸位置をy0としたとき、(y’−y0)から算出することができる。一般に、Vマップ上における座標(d,y’)に対応する物体についての路面からの高さHは、下記の式(2)より算出することができる。ただし、下記の式(2)において、「z」は、視差値dから計算される距離(z=BF/(d−offset))であり、「f」はカメラの焦点距離を(y’−y0)の単位と同じ単位に変換した値である。ここで、「BF」は、ステレオカメラの基線長と焦点距離を乗じた値であり、「offset」は無限遠の物体を撮影したときの視差値である。
H = z×(y’−y0)/f ・・・(2)

0082

次に、Uマップ生成部136について説明する。
Uマップ生成部136では、Uマップを生成するUマップ生成処理を実行する。視差画像データに含まれる各視差画素データにおけるx方向位置とy方向位置と視差値dとの組(x,y,d)を、X軸にx、Y軸にd、Z軸に頻度を設定して、X−Yの2次元ヒストグラム情報を作成する。これをUマップと呼ぶ。本実施形態のUマップ生成部136では、路面高さテーブル算出部135によってテーブル化された各路面部分の高さに基づいて、路面からの高さHが所定の高さ範囲(たとえば20cmから3m)にある視差画像の点(x,y,d)についてだけUマップを作成する。この場合、路面から当該所定の高さ範囲に存在する物体を適切に抽出することができる。なお、例えば、撮像画像の下側5/6の画像領域に対応する視差画像の点(x,y,d)についてだけUマップを作成するようにしてもよい。この場合、撮像画像の上側1/6は、ほとんどの場合、空が映し出されていて認識対象とする必要のある物体が映し出されていないためである。

0083

図32は、撮像部110Aで撮像される基準画像の一例を模式的に表した画像例である。
図33は、図32の画像例に対応するUマップである。
図32に示す画像例では、路面の左右両側にガードレールが存在し、他車両としては、先行車両と対向車両がそれぞれ1台ずつ存在する。
このとき、Uマップにおいては、図33に示すように、左右のガードレールに対応する高頻度の点は、左右両端側から中央に向かって上方へ延びるような略直線状に分布する。
一方、他車両に対応する高頻度の点は、左右のガードレールの間で、略X軸方向に平行に延びる線分の状態で分布する。
なお、先行車両の背面部分又は対向車両の前面部分以外に、これらの車両の側面部分が映し出されているような状況にあっては、同じ他車両を映し出している画像領域内において視差が生じる。
このような場合、図33に示すように、他車両に対応する高頻度の点は、略X軸方向に平行に延びる線分と略X軸方向に対して傾斜した線分とが連結した状態の分布を示す。

0084

次に、孤立領域検出部137について説明する。
図34は、孤立領域検出部137で行う処理の流れを示すフローチャートである。
孤立領域検出部137では、Uマップ生成部136で生成されたUマップの情報から、まず、Uマップの平滑化処理を行った後(S31)、二値化処理を行う(S32)。その後、値のある座標のラベリングを行い(S33)、孤立領域を検出する。以下、それぞれの処理について説明する。

0085

視差値には計算誤差等もあって分散があり、視差値がすべての画素について計算されているわけではないので、実際のUマップは、図33に示した模式図とは異なり、ノイズを含んでいる。そのため、ノイズを除去するためと、識別対象物(オブジェクト)を識別離しやすくするため、Uマップを平滑化する処理を行う。この平滑化処理では、画像の平滑化と同様に、平滑化フィルタ(たとえば3×3画素の単純平均)を頻度値に対して適用する。これにより、ノイズと考えられるようなUマップ上の地点の頻度が減少し、識別対象物(オブジェクト)の地点では頻度が周囲よりも高いグループとなる。その結果、後段の処理において孤立領域の検出を容易になる。

0086

次に、このように平滑化されたUマップの情報から、Uマップ上において頻度が周囲より高い孤立領域を検出する。この検出では、Uマップをまず二値化する処理を行う。この二値化処理には、例えば、特許第4018310号公報などに開示されている適応二値化方法を用いることができる。各識別対象物(オブジェクト)は、その高さ、形状、背景とのコントラスト差などに違いがあるので、各識別対象物にそれぞれ対応する孤立領域は、頻度値が大きいものもあれば小さいものもある。そのため、単一の閾値による二値化では適切に検出できない孤立領域が発生するおそれがある。これを防ぐためにも、上述した適応二値化方法を用いるのが好ましい。なお、二値化は、頻度の高い領域を「1」(黒)とし、頻度の低い領域を「0」(白)とする。

0087

このように二値化処理で「1」の値(黒)をもつ地点(頻度値が二値化閾値より高い座標)をその連結性に基づいてラベリングし、同一ラベルが付いた領域を1つの孤立領域として検出する。ラベリングの方法は、図35に示すように、注目座標Aについてラベリングする際、この注目座標Aに対して図中符号a1、a2、a3、a4の位置の座標に既にラベル付けされた座標が存在している場合には、その画素a1,a2,a3,a4のラベルと同一のラベルを割り当てる。もし、図36に示すように、上述したa1、a2、a3、a4の位置の座標に異なるラベルが付されている場合には、注目座標Aとa1、a2、a3、a4のすべての座標について、それらの中の最も小さい値のラベルを割り当る。

0088

このようにして得られる各孤立領域について、その幅(Uマップ上のX軸方向長さ)と、その孤立領域内の最小視差値dから計算される当該孤立領域に映し出されている識別対象物(オブジェクト)と自車両との距離zとを用い、下記の式(3)より、当該孤立領域に対応する画像領域に映し出されている物体の幅Wを計算することができる。
W = z×(xmax−xmin)/f ・・・(3)
この物体の幅Wが、予め決められた範囲内にある孤立領域を、オブジェクト候補領域として決定する。

0089

次に、視差画像の対応領域検出部138について説明する。
前記孤立領域検出部137によりオブジェクト候補領域として決定された孤立領域について、図37に示すように、当該孤立領域が内接する矩形領域を設定したとき、この矩形領域の幅(Uマップ上のX軸方向長さ)は、当該孤立領域に対応する識別対象物(オブジェクト)の幅に対応する。また、設定した矩形領域の高さは、当該孤立領域に対応する識別対象物(オブジェクト)の奥行き(自車両進行方向長さ)に対応している。一方で、各孤立領域に対応する識別対象物(オブジェクト)の高さについては、この段階では不明である。視差画像の対応領域検出部138は、オブジェクト候補領域に係る孤立領域に対応したオブジェクトの高さを得るために、当該孤立領域に対応する視差画像上の対応領域を検出する。

0090

図38は、図37に示したUマップに対応する視差画像を模式的に示した説明図である。
視差画像の対応領域検出部138は、孤立領域検出部137から出力される孤立領域の情報に基づき、当該孤立領域の幅すなわちX軸方向座標がxminからxmaxまでの範囲(検出幅)について、視差画像を所定のY軸方向範囲について走査し、当該孤立領域に設定されたUマップ上での矩形領域の高さすなわちUマップY軸方向座標(視差値)がdminからdmaxまでの範囲の値を視差値とする画素を候補画素として抽出する。このときの走査範囲(視差画像のY軸方向範囲)は、例えば、視差画像上端から視差画像1/6だけ下の位置から、視差画像下方に向けて、最大視差dmaxから得られる路面までの範囲とすることができる。

0091

このようにして抽出した候補画素群の中で、前記検出幅に対して視差画像X軸方向に所定の数以上の候補画素が存在する横方向ラインを、オブジェクト候補ラインとして決定する。次に、縦方向走査して、ある注目しているオブジェクト候補ラインの周囲に他のオブジェクト候補ラインが所定の密度以上で存在している場合、その注目しているオブジェクト候補ラインをオブジェクトラインとして判定する。

0092

オブジェクト領域抽出部139は、各孤立領域に対応する各検出幅について、このようにして判定されたオブジェクトラインを探索し、これにより検出されたオブジェクトライン群の外接矩形を、図39に示すように、視差画像上のオブジェクト領域として決定する。

0093

図40は、視差画像の対応領域検出部138及びオブジェクト領域抽出部139で行われる処理の流れを示すフローチャートである。
まず、Uマップ上の各孤立領域(島)の幅から、視差画像のX軸方向における探索範囲を設定する(S41)。また、各孤立領域(島)の最大視差dmaxと路面高さとの関係から、視差画像のY軸方向における最大探索値ymaxを設定する。なお、最小探索値yminは所定の値(撮像画像の上端から1/6だけ下の位置)が決められている。このようにして設定した探索範囲内で視差画像を探索し、当該孤立領域(島)における最小視差値dminと最大視差値dmaxの範囲内にある画素を抽出し、これをオブジェクト候補画素とする(S44)。その後、オブジェクト候補画素が視差画像X軸方向に一定以上の数で存在する横方向ラインをオブジェクト候補ラインとして抽出する(S45)。そして、オブジェクト候補ラインの密度を計算し、その密度が所定の値より大きい場合は、その横方向ラインをオブジェクトラインと決定する(S46)。最後に、決定されたオブジェクトラインで構成されるオブジェクトライン群の外接矩形を設定し、この外接矩形を視差画像内のオブジェクト領域として検出する(S47)。

0094

次に、オブジェクトタイプ分類部140について説明する。
前記オブジェクト領域抽出部139で抽出されるオブジェクト領域の高さ(yomax−yomin)から、下記の式(4)より、そのオブジェクト領域に対応する画像領域に映し出されている識別対象物(オブジェクト)の実際の高さHoを計算できる。ただし、「zo」は、当該オブジェクト領域内の最小視差値dから計算される当該オブジェクト領域に対応するオブジェクトと自車両との距離であり、「f」はカメラの焦点距離を(yomax−yomin)の単位と同じ単位に変換した値である。
Ho = zo×(yomax−yomin)/f ・・・(4)

0095

同様に、オブジェクト領域抽出部139で抽出されるオブジェクト領域の幅(xomax−xomin)から、下記の式(5)より、そのオブジェクト領域に対応する画像領域に映し出されている識別対象物(オブジェクト)の実際の幅Woを計算できる。
Wo = zo×(xomax−xomin)/f ・・・(5)

0096

また、当該オブジェクト領域に対応する画像領域に映し出されている識別対象物(オブジェクト)の奥行きDoは、当該オブジェクト領域に対応した孤立領域内の最大視差値dmaxと最小視差値dminから、下記の式(6)より計算することができる。
Do = BF×(1/(dmin−offset)−1/(dmax−offset)) ・・・(6)

0097

オブジェクトタイプ分類部140は、このようにして計算できるオブジェクト領域に対応するオブジェクトの高さ、幅、奥行きの情報から、そのオブジェクトタイプの分類を行う。図41に示す表は、オブジェクトタイプの分類を行うためのテーブルデータの一例を示すものである。これによれば、自車両前方に存在する識別対象物(オブジェクト)が、歩行者なのか、自転車なのか、小型車なのか、トラックなどか等を区別して認識することが可能となる。

0098

次に、3次元位置決定部141について説明する。
検出されたオブジェクト領域に対応するオブジェクトまでの距離や、視差画像の画像中心と視差画像上のオブジェクト領域の中心との画像上の距離も把握されることから、オブジェクトの3次元位置を決定することができる。視差画像上のオブジェクト領域の中心座標を(region_centerX,region_centerY)とし、視差画像の画像中心座標を(image_centerX,imgae_centerY)としたとき、識別対象物(オブジェクト)の撮像部110A,110Bに対する相対的な横方向位置および高さ方向位置は、下記の式(7)及び式(8)より計算できる。
Xo = Z×(region_centerX−image_centerX)/f ・・・(7)
Yo = Z×(region_centerY−image_centerY)/f ・・・(8)

0099

次に、ガードレール検出部142について説明する。
図42は、ガードレール検出部142で行われるガードレール検出処理の流れを示すフローチャートである。
路面の側方などに設置される側壁やガードレールは、一般に、路面から30〜100cmの範囲内に存在するので、ガードレール検出処理の対象範囲として、この範囲に対応するUマップ内の領域を選定する。その後、この対象範囲について、Uマップの頻度に重み付けを行い、Hough変換して(S51)、図43に示すような近似直線L1,L2を検出する(S52)。この近似直線L1,L2の端点は、視差が大きい方の端点は画像の境界とし、視差が小さい方の端点は距離換算で例えば30mの距離に相当する視差値とする。なお、Hough変換により直線が見つからなかった場合は、ガードレールは検出されない。

0100

このような近似直線が得られたら、次に、図44に示すように、近似直線上の座標位置を中心とした周囲の領域(たとえば5×5領域)について、頻度値の総和が所定の閾値を超えている座標位置を、ガードレール候補座標として検出する(S53)。このようにして検出されるガードレール候補座標の間隔が所定の距離以下である場合には、それらのガードレール候補座標をつないでガードレール線分として決定する(S54)。

0101

その後、このようにして得られ得るガードレール線分の最小X座標xgminと最大X座標xgmaxにそれぞれ対応する視差値d1,d2を、検出した近似直線の式から算出する。このとき、上述した路面形状検出部134で算出したyとdの近似直線より、該当する視差d1,d2における路面座標(y1,y2)が決定する。ガードレールは、路面の高さから30cm以上1m以下の範囲としているので、前記式(2)を利用し、視差画像上でのガードレールの高さ(30cmと1m)として、yg1_30、yg1_100、yg2_30、yg2_100が決定される。

0102

図45は、図32に示した画像例に対応する視差画像上に、ガードレール検出部142が検出したガードレール領域を示した説明図である。
視差画像上でのガードレール領域は、(xgmin,yg1_30)、(xgmin、yg1_100)、(xgmax、yg2_100)、(xgmax_yg2_30)の4点で囲まれる領域(図中に網掛けした領域)となる。なお、ここでは左側のガードレールについて説明したが、右側のガードレールについても同様に検出できる。

0103

次に、Vマップ生成部133の処理に用いる消失点情報について説明する。
消失点情報は、路面の消失点に対応する画像上の位置座標を示す情報である。この消失点情報は、撮像画像上に映し出される路面上の白線や車両動作情報などから特定することが可能である。

0104

例えば、自車両100の前輪の舵角θが車両動作情報として取得できる場合には、図46に示すように、その舵角θから消失点の画像左右方向位置Vxを検出することが可能である。すなわち、カメラレンズから距離Lだけ離れた位置におけるカメラからの水平方向への位置ズレ量は、L×tanθから求めることができる。したがって、画像センサ上の水平方向位置ズレ量をΔxは、カメラの焦点距離をfとし、画像センサの画素サイズをpixelsizeとすると、下記の式(9)から求めることができる。この式(9)を用いることにより、画像センサのX方向サイズをxsizeとすると、消失点のX座標Vxは、下記の式(10)から求めることができる。
Δx = f × tanθ / pixelsize ・・・(9)
Vx = xsize/2 + Δx ・・・(10)

0105

また、例えば、自車両100のヨーレート(回転角速度)ωと、車速vが車両動作情報として取得できる場合には、図47に示すように、そのヨーレートωと車速vとを用いて消失点の画像左右方向位置Vxを検出することが可能である。すなわち、自車両100が距離Lだけ進んだときに想定される水平位置のズレ量は、自車両100の回転半径r(r=L/θ)と回転角とから、(1−cosθ)となる。したがって、画像センサ上の水平方向位置ズレ量Δxは、下記の式(11)から求めることができる。この式(11)を用いて得られるΔxを用いて、消失点のX座標Vxは、前記の式(10)から求めることができる。このときの距離Lは、例えば100mと設定する。
Δx = ±(1−cosθ)×f×r/L/pixelsize ・・・(11)

0106

このようにして求まる消失点のX座標Vxが画像外を示すものとなった場合、消失点情報のX座標Vxとして、画像端部を設定する。

0107

一方、消失点のY座標Vyについては、直前の処理によって求めた路面の近似直線の切片から求めることができる。消失点のY座標Vyは、Vマップ上において、上述した処理によって求まる路面の近似直線の切片に対応している。したがって、直前の処理によって求めた路面の近似直線の切片をそのまま消失点のY座標Vyとして決定してもよい。

0108

ただし、自車両100が加速している時には、自車両後方部分が加重され、自車両100の姿勢は、自車両前方が鉛直方向上側を向くような姿勢となる。この姿勢変化により、加速時における路面の近似直線は、図48に示すように、等速時における路面の近似直線よりもVマップ上において下側へシフトしたものとなる。逆に、減速時における路面の近似直線は、図48に示すように、等速時における路面の近似直線よりもVマップ上において上側へシフトしたものとなる。したがって、直前の処理によって求めた路面の近似直線の切片を、車速前後方向における加速度情報(車両動作情報)によって補正したものを、消失点のY座標Vyとして決定するのが好ましい。

0109

〔変形例1〕
次に、前記実施形態におけるVマップ生成部133の処理についての一変形例(以下「変形例1」という。)について説明する。
撮像画像に映し出される物体において、路面よりも下側に位置するものは通常存在しない。そのため、通常であれば、Vマップ生成部133が生成するVマップ上において、路面に対応する座標点よりも下側に座標点が検出されることがない。したがって、図8に示したVマップにおいて、図8斜線で示す領域Aには、対応する画素が存在しないはずである。

0110

しかしながら、実際には、図8中斜線で示す領域Aに対応する画素が存在してしまうケースがある。その顕著なケースは、例えば、図49に示すように、路面上にゼブラゾーンが存在する場合である。ゼブラゾーンが存在すると、コントラストが高く水平に近い直線画像部が画像上下方向に複数並んだパターン画像を含む撮像画像が得られる。このようなパターン画像は、上述した平行化画像生成部131で行われる平行化画像生成処理において残った平行化誤差の影響を増大させることが知られている。その結果、平行化画像生成処理後の撮像画像に基づいて算出される視差値には大きな誤差が含まれてしまう。その結果、このような誤差が含まれている視差画像に対して生成されるVマップには、図50に示すように、路面に対応する点の下側や上側で、X軸方向(視差値が変化する方向)に延びる直線状に分布した点が含まれる。

0111

このような誤差が含まれたVマップから路面形状検出部134が路面候補点の検出に悪影響を及ぼす。具体的には、図50に示したようにゼブラゾーンによる誤差を含んだVマップを用いて路面形状検出部134が路面候補点の検出を行うと、Vマップ上の各視差値dにおいてyの最大値を路面候補点として抽出して直線近似する。そのため、図51に示すように、図中破線で示した誤差の少ない路面の近似直線とはかけ離れた近似直線が検出されてしまう。その結果、自車両前方の各路面部分の高さが誤算出され、オブジェクト認識に誤った結果を引き起こす原因となり得る。

0112

図52は、本変形例1におけるVマップ生成部133の処理ブロック図である。
本変形例1のVマップ生成部133では、まず、視差画像生成部132で生成された視差画像データの各行について視差値頻度分布を計算するため、マップ投票部133A’において、Vマップ上の座標(d,y)の組に対する投票を行う。この投票が終了した後、ノイズ領域最大頻度検出部133B’において、ノイズ領域における最大頻度値を算出する。ここでいうノイズ領域とは、図53に示すように、前フレームの撮像画像について求めた区分近似直線上の点すなわち路面に対応した座標点のY軸方向位置yに対し、所定の値δnを加算して得られる(y+δn)よりもVマップY軸方向位置yが大きい範囲、すなわち、図53中の斜線で示した領域である。もし前フレームの区分近似直線がない場合(起動直後等の場合)には、初期値として予め設定された直線を利用してノイズ領域を設定する。

0113

ここで、ノイズ領域を設定するために用いる所定値δnの決定の基準について説明する。各路面部分の実際の高さをHとし、各路面部分までの距離をZとし、焦点距離をfとし、画像センサ113A,113B上の高さをhとすると、hは下記の式(12)より算出できる。
h = H×f/Z ・・・(12)
本変形例1では、所定値δnの決定に際し、例えば、H=2m、Z=50m、f=5mmを基準とする。この場合、h=0.2mmになる。画像センサ113A,113Bの画素サイズが例えば0.004mmである場合、h=0.2mm=50画素となり、これをδnとして用いる。このとき、δnを距離(視差)Zに応じて変動させるように決定すると処理が複雑化するので、基準距離を50mとし、このときに決定されるδn=50画素をいずれの距離についても用いる。すなわち、本変形例1では、距離(視差)にかかわらず、δn=50画素を定数として扱う。

0114

仮に、基準距離を50mよりも一定以上長く設定した場合、δnの値が小さくなりすぎて、ノイズ領域が過剰に増大してしまう。その結果、路面に対応するVマップ上の正しい座標点がノイズとして除去されるおそれがある。逆に、基準距離を50mよりも一定以上短く設定した場合、δnの値が大きくなりすぎて、ノイズを十分に除去できず、路面候補点の検出の誤差を十分に低減できないおそれがある。したがって、基準距離としては、50mを中心とした所定の許容範囲内の値に設定するのが好ましい。

0115

このようにして設定されるノイズ領域内でノイズ領域最大頻度検出部133B’が算出した最大頻度値を用い、頻度補正部133C’は、Vマップの全範囲に対して、当該最大頻度値以下の頻度値をもつ座標点の頻度値をゼロに補正する処理を行う。その結果、ゼロでない頻度をもつ座標点(d,y)は、ノイズでないものに限定される。このような補正を行うことで、図53に示したVマップは、図54に示すVマップのようになる。

0116

Vマップ上において、ゼブラゾーンの視差のばらつきは大きいことから、ノイズ領域に存在する座標点の頻度値は、路面に対応する頻度値と比較してずっと小さいものである。したがって、ノイズ領域内の最大頻度値は比較的小さな値であり、Vマップの全範囲の頻度値のうちノイズ領域の最大頻度値よりも大きい頻度値は、画像上では垂直に近い白線や路端部分の視差データ、あるいは路面上のオブジェクトの視差データに由来するものである。したがって、図54に示すように、Vマップ上において、補正後の頻度値がゼロでない座標点の数は少なくなるが、真に路面に対応する座標点は補正後も残ったままであり、直線近似の精度が向上する結果、路面候補点の検出精度が高まる。

0117

図55は、本変形例1におけるVマップ生成部133で行うVマップ生成処理の一例を示すフローチャートである。
まず、視差画像生成部132で生成された視差画像データの各行について視差値頻度分布を計算するため、マップ投票部133A’において、Vマップ上の座標(d,y)の組に対する投票を行って、従来のVマップ(暫定Vマップ)を生成する(S61)。ノイズ領域最大頻度検出部133B’は、前フレームの撮像画像について検出した路面に対応する近似直線のデータを取得する(S62)。そして、この前フレームの近似直線のデータと上述した所定値δnとから、前記処理ステップS61で生成した暫定Vマップ内におけるノイズ領域を設定する(S63)。その後、設定したノイズ領域内における最大頻度値を検出する(S64)。このようにして検出したノイズ領域内の最大頻度値を閾値としたら、次に、頻度補正部133C’において、暫定Vマップの全体に分布するすべての頻度値を当該閾値と比較し、頻度値が当該閾値以下となる点の頻度値をゼロに補正する処理を実行する(S65)。このようにして暫定Vマップを補正した後のものがVマップ生成部133からVマップとして出力される。

0118

図56は、本変形例1におけるVマップ生成部133で行うVマップ生成処理の他の例を示すフローチャートである。
本例では、基準距離に対応する視差値で暫定Vマップを領域分割し、それぞれの領域でノイズ除去を実行してVマップを得るものである。まず、暫定Vマップの作成から暫定Vマップ内のノイズ領域を設定するまでの処理は、図55に示した例と同様である。その後、本例では、所定値δnを決定したときに用いられた基準距離(視差)の値で暫定Vマップを左右2つの領域に分割する(S66)。その結果、図53に示したように、縦破線で示す基準距離(視差)を境にして、基準距離より距離が短いノイズ領域を第一ノイズ領域とし、基準距離より距離が長いノイズ領域を第二ノイズ領域として設定する。

0119

その後、各ノイズ領域についてそれぞれ最大頻度値を検出する(S67)。そして、各ノイズ領域内の最大頻度値をそれぞれ閾値として、対応する暫定Vマップの分割領域について、全頻度値と閾値とを比較し、頻度値が閾値以下となる点の頻度値をゼロに補正する処理を実行する(S68)。この補正後のVマップは、図54に示すようなものとなる。

0120

〔変形例2〕
次に、前記実施形態についての他の変形例(以下「変形例2」という。)について説明する。
前記実施形態においては、自車両進行方向における路面の高さ変化(自車両進行方向における路面の起伏)を把握することはできるが、路面幅方向における路面高さの違い(路面幅方向における路面の傾斜)を把握することはできない。本変形例2では、路面幅方向における路面の傾斜を把握することができる例について説明する。

0121

図57は、本変形例2における主要な処理の流れを示すフローチャートである。
図58に示すように、視差画像上において、路面の消失点と視差画像の下端中心(xsize/2,ysize)とを結ぶ直線を境界にして、視差画像を左右に二分割する。左右に分割した各領域について、それぞれ個別に上述した実施形態の方法でVマップを作成する(S71)。このようにして視差画像を複数に分割して各領域について個別に作成した部分的なVマップを組み合わせたものを、多重Vマップという。

0122

その後、それぞれの領域のVマップから、領域ごとに、上述した実施形態の方法で路面に対応する区分近似直線を得る。また、図59に示すように、消失点と視差画像左下点(0、ysize)とを結ぶ直線L3と、消失点と視差画像右下点(xsize,ysize)とを結ぶ直線L4とを作成する。そして、それぞれの直線上における点(x,y)に対し、左右の領域についてそれぞれ得た区分近似直線上の点(y,d)を関連付け、(x,y,d)の関係を作成する。これにより、図59に示す左右の直線L3,L4上における路面の高さを決定することができる。

0123

次に、図59に示した左右の直線L3,L4以外の路面の高さを決定する。まず、図60に示すように、ひとつの画像走査ライン(視差画像X軸方向ライン)L5を設定する。この画像走査ラインL5と左の直線L3との交点を(xL,y,dL)とし、この画像走査ラインL5と右の直線L4との交点を(xR,y,dR)とする。画像走査ラインL5上における両交点の間の視差値は、図61に示すように線形補間するとともに、画像走査ラインL5上における両交点の左右外側の視差値は、それぞれの交点における視差値dR,dLと同じ視差値を割り当てる。これにより、路面幅方向に路面が傾斜している場合についても、その傾斜を反映させた路面形状を検出することができる(S72,S73)。

0124

〔変形例3〕
次に、前記実施形態についての更に他の変形例(以下「変形例3」という。)について説明する。
本変形例3も、前記変形例2と同様、路面幅方向における路面の傾斜を把握することができる例である。また、本変形例3における主要な処理の流れを示すフローチャートは、図57に示した前記変形例2のものと同様であるため、これを参照する。

0125

本変形例3では、まず、前記実施形態と同様、図62に示すように、路面の消失点(Vx,Vy)が示す消失点の画像上下方向位置Vyから所定のoffset値を引いた画像上下方向位置(Vy−offset値)の地点Wと、図62中に示したABCDの各点で囲まれた領域を設定する。そして、図62に示すように、視差画像上において、路面の消失点(Vx,Vy)と視差画像の下端中心M(xsize/2,ysize)とを結ぶ直線を境界にして、WABCDの各点で囲まれた領域を、WABMの各点で囲まれた左領域と、WMCDの各点で囲まれた右領域とに左右二分割して、各領域をそれぞれ路面画像候補領域として設定する。その後、各路面画像候補領域に対し、それぞれ個別に上述した実施形態の方法でVマップを作成する(S71)。このようにして視差画像上の路面画像候補領域を複数の領域に分割して各領域について個別に作成した部分的なVマップを組み合わせたものを、多重Vマップという。

0126

その後、それぞれの領域のVマップから、領域ごとに、上述した実施形態の方法で路面に対応する区分近似直線を得る。また、図63に示すように、消失点V(Vx,Vy)と同じy座標を持つ地点P(xsize/3,Vy)と地点B(0,ysize)とを結ぶ直線L3を作成する。また、消失点V(Vx,Vy)と同じy座標を持つ他の地点Q(xsize×2/3,Vy)と地点C(xsize,ysize)とを結ぶ直線L4を作成する。そして、それぞれの直線上における点(x,y)に対し、左右の領域についてそれぞれ得た区分近似直線上の点(y,d)を関連付け、(x,y,d)の関係を作成する。これにより、図63に示す左右の直線L3,L4上における路面の高さを決定することができる。

0127

なお、地点P,QのX座標を消失点VのX座標と同じ位置にすると、地点Pと地点Qとの間の路面高さが異なるときに、その地点で路面高さの急激な変化が生じ、不具合が起こす。逆に、地点P,QとのX方向距離が離れすぎると、路面の実情(画像内では路面が遠くに行くほど狭くなる)と整合しない。本変形例3においては、これらを考慮して、地点P,QのX座標は、それぞれ、xsize/3、xsize×2/3としている。

0128

次に、図63に示した左右の直線L3,L4以外の路面の高さを決定する。まず、図64に示すように、ひとつの画像走査ライン(視差画像X軸方向ライン)L5を設定する。この画像走査ラインL5と左の直線L3との交点を(xL,y,dL)とし、この画像走査ラインL5と右の直線L4との交点を(xR,y,dR)とする。画像走査ラインL5上における両交点の間の視差値は、前記変形例2と同様、図61に示すように線形補間するとともに、画像走査ラインL5上における両交点の左右外側の視差値は、それぞれの交点における視差値dR,dLと同じ視差値を割り当てる。これにより、路面幅方向に路面が傾斜している場合についても、その傾斜を反映させた路面形状を検出することができる(S72,S73)。なお、画像走査ラインL5の開始端は地点Bと地点Cとを通るラインであり、終端は地点Pと地点Qとを通るラインである。

0129

〔変形例4〕
次に、前記実施形態についての更に他の変形例(以下「変形例4」という。)について説明する。
実際の路面の中には、路面の排水を良くするために路面の幅方向中央部分が高くなっているかまぼこ型の形状を示す路面がある。このような路面については、前記変形例1の場合には、路面幅方向における路面傾斜を適切に検出することができない。本変形例4においては、前記変形例2や変形例3よりもより高精度に路面幅方向における路面傾斜を把握することができるものである。

0130

具体的に説明すると、図65に示すように、視差画像上において、視差画像の下端を4等分したときの画像左側1/4の地点(xsize/4,ysize)と路面の消失点とを結ぶ直線L6を設定するとともに、画像右側1/4の地点(3/4×xsize,ysize)と路面の消失点とを結ぶ直線L7を設定する。本変形例4では、これらの直線L6,L7を境界にして、視差画像を三分割する。そして、分割した各領域について、それぞれ個別に上述した実施形態の方法でVマップを作成する。その後、それぞれの領域のVマップから、領域ごとに、上述した実施形態の方法で路面に対応する区分近似直線を得る。

0131

また、図66に示すように、本変形例4においては、前記変形例2の場合と同様に、消失点と視差画像左下点(0、ysize)とを結ぶ直線L3と、消失点と視差画像右下点(xsize,ysize)とを結ぶ直線L4のほか、新たに、路面の消失点と視差画像の下端中心(xsize/2,ysize)とを結ぶ直線L8を作成する。そして、それぞれの直線上における点(x,y)に対し、先に求めた3つの領域についてそれぞれ得た区分近似直線上の点(y,d)を関連付け、(x,y,d)の関係を作成する。これにより、図66に示す3つの直線L3,L4,L8上における路面の高さを決定することができる。

0132

次に、図66に示した3つの直線L3,L4,L8以外の路面の高さを決定する。まず、前記変形例1と同様、図66に示すように、ひとつの画像走査ライン(視差画像X軸方向ライン)L5を設定する。この画像走査ラインL5と左の直線L3との交点を(xL,y,dL)とし、この画像走査ラインL5と右の直線L4との交点を(xR,y,dR)とし、この画像走査ラインL5と中央の直線L8との交点を(xM,y,dM)とする。画像走査ラインL5上における各交点の間の視差値は、図67に示すように線形補間するとともに、画像走査ラインL5上における左右の交点の左右外側の視差値は、それぞれの左右交点における視差値dR,dLと同じ視差値を割り当てる。これにより、路面幅方向に路面がかまぼこ形状に傾斜している場合についても、その傾斜を反映させた路面形状を検出することができる。

0133

〔変形例5〕
次に、前記実施形態についての更に他の変形例(以下「変形例5」という。)について説明する。
本変形例5も、前記変形例4と同様、前記変形例2や変形例3よりもより高精度に路面幅方向における路面傾斜を把握することができるものである。

0134

本変形例5では、図68に示すように、視差画像上において、視差画像の下端を4等分したときの画像左側1/4の地点L(xsize/4,ysize)と地点Wとを結ぶ直線L6を設定するとともに、画像右側1/4の地点R(3/4×xsize,ysize)と地点Wとを結ぶ直線L7を設定する。本変形例5では、これらの直線L6,L7を境界にして、WABCDの各点で囲まれた領域を、WABLの各点で囲まれた左領域と、WLRの各点で囲まれた中央領域と、WRCDの各点で囲まれた右領域とに、三分割して、各領域をそれぞれ路面画像候補領域として設定する。その後、各路面画像候補領域に対し、それぞれ個別に上述した実施形態の方法でVマップを作成する。その後、それぞれの領域のVマップから、領域ごとに、上述した実施形態の方法で路面に対応する区分近似直線を得る。

0135

また、図69に示すように、本変形例5においては、前記変形例3の場合と同様に、地点P(xsize/3,Vy)と地点B(0,ysize)とを結ぶ直線L3を作成するとともに、地点Q(xsize×2/3,Vy)と地点C(xsize,ysize)とを結ぶ直線L4を作成するほか、新たに、路面の消失点Vと視差画像の下端中心M(xsize/2,ysize)とを結ぶ直線L8を作成する。そして、それぞれの直線上における点(x,y)に対し、先に求めた3つの領域についてそれぞれ得た区分近似直線上の点(y,d)を関連付け、(x,y,d)の関係を作成する。これにより、図69に示す3つの直線L3,L4,L8上における路面の高さを決定することができる。

0136

次に、図69に示した3つの直線L3,L4,L8以外の路面の高さを決定する。まず、前記変形例3と同様、図69に示すように、ひとつの画像走査ライン(視差画像X軸方向ライン)L5を設定する。この画像走査ラインL5と左の直線L3との交点を(xL,y,dL)とし、この画像走査ラインL5と右の直線L4との交点を(xR,y,dR)とし、この画像走査ラインL5と中央の直線L8との交点を(xM,y,dM)とする。画像走査ラインL5上における各交点の間の視差値は、前記変形例4と同様、図67に示すように線形補間するとともに、画像走査ラインL5上における左右の交点の左右外側の視差値は、それぞれの左右交点における視差値dR,dLと同じ視差値を割り当てる。これにより、路面幅方向に路面がかまぼこ形状に傾斜している場合についても、その傾斜を反映させた路面形状を検出することができる。

0137

なお、上述した変形例2〜5は、視差画像をそれぞれ二分割、三分割する例を示しているが、同様の構成で視差画像の分割数を増やすことで、より精確な路面の形状の検出が可能となる。

0138

以上のように、本実施形態においては、路面高さ(自車両進行方向における路面の起伏や路面幅方向における路面傾斜など)を高い精度で検出することができる。特に、前記変形例1のようにノイズを除去したVマップを用いることで、路面高さ(自車両進行方向における路面の起伏や路面幅方向における路面傾斜など)の検出精度は更に向上する。路面高さの検出精度が高ければ、路面の高さを利用して検出するオブジェクトの検出精度も向上し、歩行者や他車両などのオブジェクト分類の精度も向上する結果、オブジェクトへの衝突回避の確率を向上させ、道路交通の安全に貢献することが可能である。

0139

以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
(態様A)
路面等の移動面上を移動する自車両100等の移動体に搭載された撮像部110A,110B等の複数の撮像手段により移動体移動方向前方を撮像して得られる複数の撮像画像に基づいて、移動体移動方向における移動面の高さ等の位置情報を検出する移動面情報検出装置において、前記複数の撮像画像に基づいて視差画像データ等の視差情報を生成する平行化画像生成部131及び視差画像生成部132等の視差情報生成手段と、前記視差情報に基づいて、前記撮像画像を上下方向に複数分割して得られる各行領域内における視差値の頻度分布を示すVマップ情報等の視差ヒストグラム情報を生成するVマップ生成部133等の視差ヒストグラム情報生成手段と、前記視差ヒストグラム情報に基づき、所定の頻度閾値を超える頻度をもった視差値を選別処理対象として決定し、その選別処理対象の中から、移動面の視差値が示す特徴に合致した一群の視差値を選別する処理を行う路面形状検出部134等の視差値選別手段と、前記視差値選別手段の選別結果に基づいて、移動面の高さ情報などの移動面の情報を検出する路面高さテーブル算出部135等の移動面情報検出手段とを有し、前記視差値選別手段は、前フレーム等の過去に選別した視差値に基づいて前記選別処理対象を決定することを特徴とする。
これによれば、移動面の情報(路面高さ等)を高精度に検出することが可能となり、この移動面の情報を用いた各種処理、具体的には、オブジェクトの認識処理や、路面幅方向における路面傾斜の検出処理などを適切に行うことが可能となる。

0140

(態様B)
前記態様Aにおいて、前記視差値選別手段は、選別した一群の視差値に基づいて各行領域に対応する1つの視差値を決定し、前記移動面情報検出手段は、前記視差値選別手段が決定した視差値に基づいて、路面高さ等の移動面の位置情報を検出し、前記視差値選別手段は、前記視差ヒストグラム情報が示すVマップ等の視差値頻度分布内で、各行領域における過去に決定した各視差値の分布箇所(前フレームについての区分近似直線)よりも撮像画像下側に対応する箇所(ノイズ領域)に分布する視差値を除外するように、前記選別処理対象を決定することを特徴とする。
これによれば、移動面の下には識別対象物が存在しないという前提に立って、移動面の位置情報(路面高さ)の検出精度を落とすノイズを効果的に除去することが可能となる。

0141

(態様C)
前記態様A又はBにおいて、前記視差値選別手段は、選別した一群の視差値に基づいて各行領域に対応する1つの視差値を決定し、前記移動面情報検出手段は、前記視差値選別手段が決定した視差値に基づいて、路面高さ等の移動面の位置情報を検出し、前記視差値選別手段は、前記視差ヒストグラム情報が示す視差値頻度分布内で、各行領域における過去に決定した各視差値の分布箇所(前フレームについての区分近似直線)よりも撮像画像下側に対応する箇所(ノイズ領域)に分布する視差値の頻度に基づいて前記所定の頻度閾値を決定し、決定した頻度閾値を用いて前記選別処理対象を決定することを特徴とする。
これによれば、視差ヒストグラム情報が示す視差値頻度分布内のノイズ領域以外の箇所に存在するノイズについても適切に除去することが可能となり、移動面の位置情報(路面高さ)のより高精度な検出が可能となる。

0142

(態様D)
前記態様Cにおいて、前記視差値選別手段は、前記視差ヒストグラム情報が示す視差値頻度分布内で、各行領域における過去に決定した各視差値の分布箇所よりも撮像画像下側に対応する箇所に分布する視差値の最大頻度を、前記所定の頻度閾値として決定することを特徴とする。
これによれば、視差ヒストグラム情報が示す視差値頻度分布内のノイズ領域以外の箇所に存在するノイズをより適切に除去することが可能となり、移動面の位置情報(路面高さ)のより高精度な検出が可能となる。

0143

(態様E)
前記態様B〜Dのいずれかの態様において、前記視差値選別手段は、前記視差ヒストグラム情報を視差値に応じて2以上の視差値区画に区分けし、各視差値区画にそれぞれ対応した決定アルゴリズムに従って各視差値区画における各行領域に対応する視差値を決定し、少なくとも2つの視差値区画間では異なる決定アルゴリズムを用いることを特徴とする。
これによれば、各視差値区間についてそれぞれ移動面に対応した適切な視差値を決定することができ、広い視差値範囲にわたって移動面に対応した適切な視差値を決定することができる。

0144

(態様F)
前記態様B〜Eのいずれかの態様において、前記視差値選別手段は、選別した一群の視差値についての区分近似直線の情報等の近似線情報を生成し、該近似線情報により特定される近似線上の視差値を、各行領域に対応する視差値として決定することを特徴とする。
これによれば、路面に対応する視差値を簡易かつ精度よく決定することができる。

0145

(態様G)
前記態様Fにおいて、前記視差値選別手段は、前記視差ヒストグラム情報を視差値に応じて複数の視差値区画に区分けするとともに、視差値区画ごとに前記近似線情報を生成し、生成した各近似線情報により特定される近似線上の視差値を、各視差値区画における各行領域に対応する視差値として決定することを特徴とする。
これによれば、路面の位置情報をより高精度に検出することができる。

0146

(態様H)
前記態様A〜Gのいずれかの態様において、前記視差値選別手段は、前記視差ヒストグラム情報を、撮像画像の左右方向位置に応じて2以上の左右方向区画に区分けし、左右方向区画ごとに、前記選別処理対象の中から前記特徴に合致した一群の視差値を選別する。
これによれば、路面幅方向における路面の傾斜状況を検出することが可能となる。

0147

(態様I)
移動面上を移動する移動体の移動方向における移動面の情報を検出する移動面情報検出手段と、前記移動面情報検出手段の検出結果に基づいて、前記移動体に搭載された所定の機器を制御する移動体機器制御手段とを備えた移動体機器制御システムにおいて、前記移動面情報検出手段として、前記態様A〜Hのいずれかの態様に係る移動面情報検出装置を用いたことを特徴とする。
これによれば、移動体に搭載された所定の機器をより高精度に制御することが可能となる。

0148

(態様J)
移動面上を移動する移動体に搭載された複数の撮像手段により移動体移動方向前方を撮像して得られる複数の撮像画像に基づいて、移動体移動方向前方における移動面の情報を検出する移動面情報検出装置のコンピュータに実行させるための移動面情報検出用プログラムであって、前記複数の撮像画像に基づいて視差情報を生成する視差情報生成工程と、前記視差情報に基づいて、前記撮像画像を上下方向に複数分割して得られる各行領域内における視差値の頻度分布を示す視差ヒストグラム情報を生成する視差ヒストグラム情報生成工程と、前記視差ヒストグラム情報に基づき、所定の頻度閾値を超える頻度をもった視差値を選別処理対象として決定し、その選別処理対象の中から、移動面の視差値が示す特徴に合致した一群の視差値を選別する処理を行う視差値選別工程と、前記視差値選別工程の選別結果に基づいて、移動面の情報を検出する移動面情報検出工程とを、前記コンピュータに実行させるものであって、前記視差値選別工程では、過去に選別した視差値に基づいて前記選別処理対象を決定することを特徴とする。
これによれば、移動面の情報(路面高さなど)を高精度に検出することが可能となり、この移動面の情報を用いた各種処理、具体的には、オブジェクトの認識処理や、路面幅方向における路面傾斜の検出処理などを適切に行うことが可能となる。

0149

また、以上に説明したものは一例であり、本発明は、更に、次の態様毎に特有の効果を奏する。
(態様A’)
路面等の移動面上を移動する自車両100等の移動体に搭載された撮像部110A,110B等の複数の撮像手段により移動体移動方向前方を撮像して得られる複数の撮像画像に基づいて、移動体移動方向前方における移動面の高さ等の情報を検出する移動面情報検出装置において、前記複数の撮像画像から生成される視差画像データ等の視差画像情報に基づいて、前記撮像画像を上下方向に複数分割して得られる各行領域内における視差値の頻度分布を示すVマップ情報等の視差ヒストグラム情報を生成するVマップ生成部133等の視差ヒストグラム情報生成手段と、前記視差ヒストグラム情報生成手段が生成した視差ヒストグラム情報に基づいて、移動面の情報を検出する移動面検出処理を行う路面形状検出部134等の移動面情報検出手段とを有し、前記視差ヒストグラム情報生成手段は、撮像画像上における基準路面等の所定の仮想基準移動面を映し出す画素についての視差値dと画像上下方向位置yとの関係を示す基準直線等の基準情報に基づいて定まる所定の抽出範囲内に属するという条件を含む抽出条件を満たす部分に限定した視差ヒストグラム情報を生成することを特徴とする。
撮像画像中に映し出される移動面画像領域の画像上下方向位置と視差値との関係がとり得る範囲は、一般に、あまり大きく変化するようなものではなく、比較的狭い範囲内に収まる。
したがって、移動面画像領域に対応する視差ヒストグラム情報部分がとり得る範囲も、比較的狭い範囲に制限される。
よって、この範囲を適切に設定することで、移動面画像領域に対応しない視差ヒストグラム情報部分と区別して、移動面画像領域に対応する視差ヒストグラム情報部分を抽出することが可能である。
本態様においては、移動面の情報を検出する際に用いる視差ヒストグラム情報の抽出条件として、上述の範囲に関する抽出条件を用いる。
この抽出条件は、所定の仮想基準移動面が映し出される撮像画像から生成される視差ヒストグラム情報により特定される当該仮想基準移動面を映し出す画素についての視差値と画像上下方向位置との関係を示す基準情報に基づいて定まる所定の抽出範囲内に属するという条件を含む。
ここでいう所定の仮想基準移動面は、例えば、移動体の真下に位置する移動面部分と平行な面を撮像方向へ延長した面(相対的に平坦な面)を用いることができる。
撮像画像中に映し出される移動面画像領域の画像上下方向位置と視差値との関係は、状況に応じて刻々と変化し、この変化によって移動面画像領域に対応する視差ヒストグラム情報部分も刻々と変化する。
このように変化する視差ヒストグラム情報部分が含まれるように、前記抽出条件を設定することで、想定される状況の範囲内において移動面画像領域に対応する視差ヒストグラム情報部分を、移動面画像領域に対応しない視差ヒストグラム情報部分と区別して抽出することが可能である。
例えば、移動体移動方向前方の移動面が相対的に上り傾斜である場合、移動体移動方向前方の移動面が相対的に平坦である場合よりも、撮像画像中に映し出される移動面画像領域は画像上側へ広がる。
また、同じ画像上下方向位置に映し出される移動面画像領域を比較すると、相対的に上り傾斜である場合には、相対的に平坦である場合よりも、視差値が大きくなる。
そのため、相対的に平坦な面が仮想基準移動面である場合、実際の移動面が相対的に上り傾斜であると、その仮想基準移動面に対応する視差ヒストグラム情報からズレた視差ヒストグラム情報が生成される。
この場合でも、その仮想基準移動面に対応する視差ヒストグラム情報部分と実際の移動面に対応する視差ヒストグラム情報部分とのズレは、比較的小さいものである。
したがって、このズレが抽出範囲内に含まれるように抽出条件を設定することで、移動面画像領域に対応する視差ヒストグラム情報部分を、移動面画像領域に対応しない視差ヒストグラム情報部分と区別して抽出することが可能である。
また、例えば、自動車等の移動体が減速する時には、移動体前方に加重がかかり、移動体の姿勢は、移動体前方が鉛直方向下側を向くような姿勢となる。
この場合、相対的に平坦な移動面上を移動しているときでも、撮像画像中に映し出される移動面画像領域は画像上側へ広がる。
この場合にも、相対的に平坦な面が仮想基準移動面であると、実際の移動面に対応する視差ヒストグラム情報部分は、仮想基準移動面に対応する視差ヒストグラム情報部分からズレたものとなる。
この場合も、その仮想基準移動面に対応する視差ヒストグラム情報部分と実際の移動面に対応する視差ヒストグラム情報部分とのズレは、比較的小さいものである。
したがって、このズレが抽出範囲内に含まれるように抽出条件を設定することで、移動面画像領域に対応する視差ヒストグラム情報部分を、移動面画像領域に対応しない視差ヒストグラム情報部分と区別して抽出することが可能である。

0150

(態様B’)
前記態様A’において、前記視差ヒストグラム情報生成手段は、前記視差画像情報から得られる抽出前視差ヒストグラム情報の中から前記抽出条件を満たす部分を抽出し、抽出した部分を前記視差ヒストグラム情報として生成することを特徴とする。
これによれば、簡易な抽出処理を実現することが容易となる。

0151

(態様C’)
前記態様A’において、前記視差ヒストグラム情報生成手段は、前記視差画像情報から前記抽出条件を満たす部分を抽出し、抽出した部分に係る視差画像情報から視差ヒストグラム情報を生成することを特徴とする。
これによれば、簡易な抽出処理を実現することが容易となる。

0152

(態様D’)
前記態様A’〜C’のいずれかの態様において、前記所定の仮想基準移動面は、前記移動体の真下に位置する移動面部分と平行な面を撮像方向へ延長した面であることを特徴とする。
これによれば、簡易な抽出処理を実現することが容易となる。

0153

(態様E’)
前記態様A’〜D’のいずれかの態様において、前記所定の抽出範囲は、前記移動体の加速時及び減速時の少なくとも一方の時の当該移動体の姿勢変化によって移動面を映し出す画素に対応した視差ヒストグラム情報が変動する範囲が含まれるように設定されていることを特徴とする。
これによれば、移動体の加速時や減速時においても、生成される視差ヒストグラム情報の中から移動面に対応する部分の抽出漏れが抑制され、移動面情報の高精度な検出が実現できる。

0154

(態様F’)
前記態様A’〜D’のいずれかの態様において、前記移動体が加速する時及び減速する時の少なくとも一方の時の加速度情報を取得する車両動作情報入力部133A等の加速度情報取得手段を有し、前記視差ヒストグラム情報生成手段は、前記所定の抽出範囲を、前記加速度情報に基づいて画像上下方向位置が補正される基準情報に基づいて定めることを特徴とする。
これによれば、抽出範囲の基準となる基準情報の画像上下方向位置が加速度情報に基づいて補正されるので、抽出範囲の広さを決めるにあたり、自車両の加速や減速を考慮しないで済む。そのため、このような補正が行われない基準情報を基準として定められる抽出範囲と比べて、抽出範囲を狭くすることが可能となり、処理時間の短縮や検出精度の向上を図ることができる。

0155

(態様G’)
前記態様A’〜F’のいずれかの態様において、前記視差ヒストグラム情報生成手段は、撮像画像の一部である路面画像候補領域等の所定の移動面画像候補領域に対応した視差画像情報に基づいて、前記視差ヒストグラム情報を生成することを特徴とする。
これによれば、移動面画像候補領域として、例えば想定される状況の範囲内では路面が映し出されることがない領域を除外した画像領域を設定することで、視差ヒストグラム情報の生成処理の負荷を軽減でき、処理時間の短縮化を実現できる。

0156

(態様H’)
前記態様G’において、前記視差ヒストグラム情報生成手段は、前記所定の移動面画像候補領域を、前記撮像画像内における移動面の消失点を示す消失点情報に基づいて特定することを特徴とする。
撮像画像内における移動面の消失点よりも画像上方部分は路面が映し出されることがない領域なので、これを除外した画像領域を設定して視差ヒストグラム情報の生成処理の負荷を軽減でき、処理時間の短縮化を実現できる。

0157

(態様I’)
前記態様H’において、前記移動体が加速する時及び減速する時の少なくとも一方の時の加速度情報を取得する車両動作情報入力部133A等の加速度情報取得手段を有し、前記視差ヒストグラム情報生成手段は、前記加速度情報により補正した前記消失点情報に基づいて、前記所定の移動面画像候補領域を特定することを特徴とする。
これによれば、移動面画像候補領域の基準とする消失点情報が加速度情報に基づいて補正されるので、消失点情報に基づいて移動面画像候補領域を決めるにあたり、自車両の加速や減速を考慮しないで済む。そのため、このような補正が行われない消失点情報を基準として定められる移動面画像候補領域と比べて、移動面画像候補領域をより適切に狭く設定することが可能となり、処理時間の短縮や検出精度の向上を図ることができる。

0158

(態様J’)
前記態様A’〜I’のいずれかの態様において、前記基準情報は、縦軸に画像上下方向位置をとりかつ横軸に視差値をとったVマップ等の視差ヒストグラムマップ上に前記所定の仮想基準移動面についての視差値と画像上下方向位置との関係を示したときに得られる基準直線が、前記撮像画像内における移動面の消失点に対応する該視差ヒストグラムマップ上の地点又はその近傍を通るように、設定されていることを特徴とする。
これによれば、より適切な基準情報が得られるので、より適切な抽出範囲を設定でき、処理時間の短縮や検出精度の向上を図ることができる。

0159

(態様K’)
前記態様A’〜J’のいずれかの態様において、前記移動面情報検出手段は、前記視差ヒストグラム情報を視差値に応じて2以上の視差値区画に区分けし、少なくとも2つの視差値区画間で異なるアルゴリズムを用いて、前記移動面検出処理を行うことを特徴とする。
これによれば、各視差値区間についてそれぞれ移動面に対応した適切な視差値を決定することができ、広い視差値範囲にわたって移動面に対応した適切な視差値を決定することができる。

0160

(態様L’)
前記態様K’において、前記2以上の視差値区画は、互いに隣接する2つの視差値区画の一部分が重複するように区分けされていることを特徴とする。
これによれば、各視差値区画の移動面検出処理に使用する視差ヒストグラムの情報量を増やして、各視差値区画の移動面情報の検出精度を高めることができる。このように視差値区画を重複させることで、視差値区画間における移動面情報の相関を高めることもできる。

0161

(態様M’)
前記態様K’又はL’において、前記移動面情報検出手段は、前記視差ヒストグラム情報生成手段が生成した視差ヒストグラム情報の近似直線情報を前記視差値区画ごとに生成し、各視差値区画についての近似直線情報に基づいて移動面の情報を検出するものであり、前記近似直線情報の相関値等の近似精度が所定の閾値よりも低い視差値区画については、該視差値区画を広げることを特徴とする。
これによれば、各視差値区画について高い近似精度の近似直線を得ることができ、移動面情報の検出精度を向上させることができる。

0162

(態様N’)
前記態様K’又はL’において、前記移動面情報検出手段は、前記視差ヒストグラム情報生成手段が生成した視差ヒストグラム情報の近似直線情報を前記視差値区画ごとに生成し、各視差値区画についての近似直線情報に基づいて移動面の情報を検出するものであり、近似直線情報を生成する際に用いる視差ヒストグラム情報の情報量が所定の閾値よりも少ない視差値区画については、該視差値区画を広げることを特徴とする。
これによれば、各視差値区画について高い近似精度の近似直線を得ることができ、移動面情報の検出精度を向上させることができる。

0163

(態様O’)
前記態様K’又はL’において、前記移動面情報検出手段は、前記視差ヒストグラム情報生成手段が生成した視差ヒストグラム情報の近似直線情報を前記視差値区画ごとに生成し、各視差値区画についての近似直線情報に基づいて移動面の情報を検出するものであり、生成される近似直線情報の傾き及び切片の少なくとも一方が規定範囲から外れる視差値区画については、該視差値区画を広げることを特徴とする。
これによれば、各視差値区画について高い近似精度の近似直線を得ることができ、移動面情報の検出精度を向上させることができる。

0164

(態様P’)
移動面上を移動する移動体の移動方向前方における移動面の情報を検出する移動面情報検出手段と、前記移動面情報検出手段の検出結果に基づいて、前記移動体に搭載された所定の機器を制御する移動体機器制御手段とを備えた移動体機器制御システムにおいて、前記移動面情報検出手段として、前記態様A’〜O’のいずれかの態様に係る移動面情報検出装置を用いたことを特徴とする。
これによれば、移動体に搭載された所定の機器をより高精度に制御することが可能となる。

0165

(態様Q’)
所定の機器を搭載して移動面上を移動する車両等の移動体において、前記所定の機器を制御する手段として、前記態様P’に係る移動体機器制御システムを用いたことを特徴とする。
これによれば、搭載された所定の機器がより高精度に制御される移動体を提供することが可能となる。

0166

(態様R’)
移動面上を移動する移動体に搭載された複数の撮像手段により移動体移動方向前方を撮像して得られる複数の撮像画像に基づいて、移動体移動方向前方における移動面の情報を検出する移動面情報検出装置のコンピュータに実行させるための移動面情報検出用プログラムであって、前記複数の撮像画像から生成される視差画像情報に基づいて、前記撮像画像を上下方向に複数分割して得られる各行領域内における視差値の頻度分布を示す視差ヒストグラム情報を生成する視差ヒストグラム情報生成手段、及び、前記視差ヒストグラム情報生成手段が生成した視差ヒストグラム情報に基づいて、移動面の情報を検出する移動面検出処理を行う移動面情報検出手段として、前記コンピュータを機能させるものであり、前記視差ヒストグラム情報生成手段は、撮像画像上における所定の仮想基準移動面を映し出す画素についての視差値と画像上下方向位置との関係を示す基準情報に基づいて定まる所定の抽出範囲内に属するという条件を含む抽出条件を満たす部分に限定した視差ヒストグラム情報を生成することを特徴とする。
これによれば、移動面画像領域に対応する視差ヒストグラム情報部分を抽出して移動面情報を高精度に検出することが可能となる。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ