図面 (/)

技術 車外環境認識装置

出願人 株式会社SUBARU
発明者 斉藤由佳大久保淑実
出願日 2015年3月30日 (6年7ヶ月経過) 出願番号 2015-070329
公開日 2016年11月10日 (5年0ヶ月経過) 公開番号 2016-191988
状態 特許登録済
技術分野 交通制御システム 画像処理 イメージ分析
主要キーワード 分割領域群 距離区分 距離条件 水平幅 数値群 統合条件 特定物 代表距離
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年11月10日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (10)

課題

制御対象となる領域を適切に特定する。

解決手段

車外環境認識装置120は、コンピュータが、撮像装置により撮像された画像のうち、互いの距離が第1距離範囲内となるブロック同士をグループ化して第1グループを生成する第1グループ化部166と、第1グループ同士の距離が第1距離範囲より大きい第2距離範囲内であり、かつ、第1グループ同士が幅方向左右位置関係にある場合に第1グループ同士の幅方向の間であり、第1グループと高さ方向の位置が重なる領域において所定の閾値以上遠方に位置するブロックが所定数未満である統合条件を満たせば、第1グループ同士を統合して第2グループを生成し、統合条件を満たさなければ、第1グループ同士を統合しない第2グループ化部168と、して機能することを特徴とする。

概要

背景

従来、自車両の前方に位置する車両等の特定物を検出し、先行車両との衝突を回避したり(衝突回避制御)、先行車両との車間距離を安全な距離に保つように制御する(クルーズコントロール)技術が知られている。そして、先行車両を特定するために、車載されたステレオカメラを用いる技術が知られている。具体的には、自車両前方撮像した2つの画像データからブロック毎に視差情報(自車両と立体物までの相対距離に相当)を導出し、視差情報を画像データに対応付け距離画像を生成する。そして、距離画像を水平方向に対して複数の分割領域に分割し、その分割領域毎に、分割領域内の相対距離のヒストグラム度数分布)を生成し、ヒストグラムに基づいて先行車両を特定する技術が知られている(例えば、特許文献1)。

概要

制御対象となる領域を適切に特定する。車外環境認識装置120は、コンピュータが、撮像装置により撮像された画像のうち、互いの距離が第1距離範囲内となるブロック同士をグループ化して第1グループを生成する第1グループ化部166と、第1グループ同士の距離が第1距離範囲より大きい第2距離範囲内であり、かつ、第1グループ同士が幅方向左右位置関係にある場合に第1グループ同士の幅方向の間であり、第1グループと高さ方向の位置が重なる領域において所定の閾値以上遠方に位置するブロックが所定数未満である統合条件を満たせば、第1グループ同士を統合して第2グループを生成し、統合条件を満たさなければ、第1グループ同士を統合しない第2グループ化部168と、して機能することを特徴とする。

目的

本発明は、このような課題に鑑み、制御対象となる領域を適切に特定することが可能な車外環境認識装置を提供する

効果

実績

技術文献被引用数
0件
牽制数
1件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

コンピュータが、撮像装置により撮像された画像のうち、互いの距離が第1距離範囲内となるブロック同士をグループ化して第1グループを生成する第1グループ化部と、前記第1グループ同士の距離が第1距離範囲より大きい第2距離範囲内であり、かつ、該第1グループ同士が幅方向左右位置関係にある場合に、該第1グループ同士の幅方向の間であり、画像上、該第1グループと高さ方向の位置が重なる領域において所定の閾値以上遠方に位置するブロックが所定数未満である統合条件を満たせば、該第1グループ同士を統合して第2グループを生成し、前記第1グループ同士の距離が前記第2距離範囲内であり、かつ、該第1グループ同士が幅方向左右の位置関係にある場合であっても、前記統合条件を満たさなければ、該第1グループ同士を統合しない第2グループ化部と、して機能することを特徴とする車外環境認識装置

請求項2

前記第2グループ化部は、さらに、前記第1グループ同士を統合した場合の大きさが車両として妥当な大きさである場合に限り、該第1グループ同士を統合して前記第2グループを生成することを特徴とする請求項1に記載の車外環境認識装置。

技術分野

0001

本発明は、自車両外の環境を認識する車外環境認識装置にかかり、特に、自車両の制御対象となる領域を特定する車外環境認識装置に関する。

背景技術

0002

従来、自車両の前方に位置する車両等の特定物を検出し、先行車両との衝突を回避したり(衝突回避制御)、先行車両との車間距離を安全な距離に保つように制御する(クルーズコントロール)技術が知られている。そして、先行車両を特定するために、車載されたステレオカメラを用いる技術が知られている。具体的には、自車両前方撮像した2つの画像データからブロック毎に視差情報(自車両と立体物までの相対距離に相当)を導出し、視差情報を画像データに対応付け距離画像を生成する。そして、距離画像を水平方向に対して複数の分割領域に分割し、その分割領域毎に、分割領域内の相対距離のヒストグラム度数分布)を生成し、ヒストグラムに基づいて先行車両を特定する技術が知られている(例えば、特許文献1)。

先行技術

0003

特開平10−283461号公報

発明が解決しようとする課題

0004

上述した特許文献1の技術では、まず、近距離にあるブロック同士をグループ化し、さらに、距離があまり離隔していないグループ同士を仮に統合した場合に、それが車両として妥当であるか否か判定し、妥当であれば、そのグループ同士を統合し、先行車両として特定している。したがって、車両が一体的に認識されず、複数の部位がそれぞれ個別に認識された場合においても、それらを統合し、適切に先行車両として制御することが可能となる。

0005

しかし、偶然、距離があまり離隔していない別体の立体物に相当する2つの立体像が画像の幅方向に並んで位置し、その立体像同士を仮に統合した場合に、それが車両として妥当であれば、それらを統合し、先行車両として認識してしまう。そうすると、衝突回避制御やクルーズコントロールによって、快適な走行が却って阻害されるおそれがある。

0006

本発明は、このような課題に鑑み、制御対象となる領域を適切に特定することが可能な車外環境認識装置を提供することを目的としている。

課題を解決するための手段

0007

上記課題を解決するために、本発明の車外環境認識装置は、コンピュータが、撮像装置により撮像された画像のうち、互いの距離が第1距離範囲内となるブロック同士をグループ化して第1グループを生成する第1グループ化部と、第1グループ同士の距離が第1距離範囲より大きい第2距離範囲内であり、かつ、第1グループ同士が幅方向左右位置関係にある場合に、第1グループ同士の幅方向の間であり、画像上、第1グループと高さ方向の位置が重なる領域において所定の閾値以上遠方に位置するブロックが所定数未満である統合条件を満たせば、第1グループ同士を統合して第2グループを生成し、第1グループ同士の距離が第2距離範囲内であり、かつ、第1グループ同士が幅方向左右の位置関係にある場合であっても、統合条件を満たさなければ、第1グループ同士を統合しない第2グループ化部と、して機能することを特徴とする。

0008

第2グループ化部は、さらに、第1グループ同士を統合した場合の大きさが車両として妥当な大きさである場合に限り、第1グループ同士を統合して第2グループを生成してもよい。

発明の効果

0009

本発明によれば、制御対象となる領域を適切に特定することが可能となる。

図面の簡単な説明

0010

環境認識システム接続関係を示したブロック図である。
車外環境認識装置の概略的な機能を示した機能ブロック図である。
車外環境認識処理の流れを示すフローチャートである。
輝度画像と距離画像を説明するための説明図である。
ヒストグラム生成部の処理を説明するための説明図である。
第1グループ化部の処理を説明するための説明図である。
第2グループ化部の処理を説明するための説明図である。
第2グループ化部の処理を説明するための説明図である。
第2グループ化部の処理を説明するための説明図である。

実施例

0011

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

0012

近年では、車両に搭載した車載カメラによって自車両の前方の道路環境を撮像し、画像内における色情報位置情報に基づいて、先行車両等の特定物を特定し、特定された特定物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ(ACC:Adaptive Cruise Control)、所謂衝突防止機能を搭載した車両が普及しつつある。

0013

このような車外環境を認識する車外環境認識装置を搭載した車両においては、例えば、自車両の前方に位置する立体物に対応する画像上の立体像が車両(先行車両)等の特定物であるか否か判定する。そして、立体像が先行車両であれば、その先行車両を制御対象とし、衝突を回避したり、車間距離を制御する。本実施形態では、このような先行車両等の特定物を適切に特定することが可能な車外環境認識装置を提供する。

0014

(環境認識システム100)
図1は、環境認識システム100の接続関係を示したブロック図である。環境認識システム100は、自車両1内に設けられた、撮像装置110と、車外環境認識装置120と、車両制御装置(ECU:Engine Control Unit)130とを含んで構成される。

0015

撮像装置110は、CCD(Charge-Coupled Device)やCMOS(Complementary Metal-Oxide Semiconductor)等の撮像素子を含んで構成され、自車両1の前方に相当する環境を撮像し、カラー画像モノクロ画像を生成することができる。ここで、カラー値は、1つの輝度(Y)と2つの色差(UV)からなる、または、3つの色相(R(赤)、G(緑)、B(青))からなる数値群である。ここでは、撮像装置110で撮像されたカラー画像やモノクロ画像を輝度画像と呼び、後述する距離画像と区別する。

0016

また、撮像装置110は、自車両1の進行方向側において2つの撮像装置110それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置110は、自車両1の前方の検出領域に存在する特定物を撮像した画像データを、例えば1/60秒のフレーム毎(60fps)に連続して生成する。ここで、認識対象となる特定物は、車両、人(歩行者)、信号機ガードレールのように独立して存在する物のみならず、テールランプウィンカー、信号機の各点灯部分等、独立して存在する物の一部も含む。以下の実施形態における各機能部は、このような画像データの更新契機としてフレーム毎に各処理を遂行する。

0017

車外環境認識装置120は、2つの撮像装置110それぞれから画像データを取得し、所謂パターンマッチングを用いて視差を導き出し、導出された視差情報(後述する相対距離に相当)を画像データに対応付けて距離画像を生成する。輝度画像および距離画像については後ほど詳述する。また、車外環境認識装置120は、輝度画像に基づく輝度(カラー値)、および、距離画像に基づく自車両1との相対距離を用いて自車両1前方の検出領域に表示された立体像がいずれの特定物に対応するかを特定する。

0018

車外環境認識装置120は、立体像が特定物、例えば、先行車両として特定されると、その先行車両を追跡しつつ、先行車両の相対速度等を導出し、先行車両と自車両1とが衝突する可能性が高いか否かの判定を行う。ここで、衝突の可能性が高いと判定した場合、車外環境認識装置120は、その旨、運転者の前方に設置されたディスプレイ122を通じて運転者に警告表示報知)を行うとともに、車両制御装置130に対して、その旨を示す情報を出力する。

0019

車両制御装置130は、ステアリングホイール132、アクセルペダル134、ブレーキペダル136を通じて運転者の操作入力受け付け操舵機構142、駆動機構144、制動機構146に伝達することで自車両1を制御する。また、車両制御装置130は、車外環境認識装置120の指示に従い、操舵機構142、駆動機構144、制動機構146を制御する。

0020

以下、車外環境認識装置120の構成について詳述する。ここでは、本実施形態に特徴的な、自車両1前方に位置する先行車両等の特定物の特定手順について詳細に説明し、本実施形態の特徴と無関係の構成については説明を省略する。

0021

(車外環境認識装置120)
図2は、車外環境認識装置120の概略的な機能を示した機能ブロック図である。図2に示すように、車外環境認識装置120は、I/F部150と、データ保持部152と、中央制御部154とを含んで構成される。

0022

I/F部150は、撮像装置110や車両制御装置130との双方向の情報交換を行うためのインターフェースである。データ保持部152は、RAM、フラッシュメモリ、HDD等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持し、また、撮像装置110から受信した画像データを一時的に保持する。

0023

中央制御部154は、中央処理装置(CPU)、プログラム等が格納されたROM、ワークエリアとしてのRAM等を含む半導体集積回路で構成され、システムバス156を通じて、I/F部150、データ保持部152等を制御する。また、本実施形態において、中央制御部154は、画像処理部160、3次元位置情報生成部162、ヒストグラム生成部164、第1グループ化部166、第2グループ化部168、特定物特定部170、車両制御部172としても機能する。

0024

(車外環境認識処理)
図3は、車外環境認識処理の流れを示すフローチャートである。車外環境認識処理では、画像処理部160が、撮像装置110から取得した画像を処理し(S200)、ヒストグラム生成部164が、ヒストグラムを生成し(S202)、第1グループ化部166が、3次元位置に基づいてグループ化された第1グループを生成し(S204)、第2グループ化部168が、第1グループの出現態様に応じ、さらに第1グループ同士を統合して、第2グループを生成し(S206)、特定物特定部170が特定物を特定し(S208)、車両制御部172は、自車両1を制御する(S210)。以下、個々の処理を詳述する。

0025

(画像処理S200)
画像処理部160は、2つの撮像装置110それぞれから画像データを取得し、一方の画像データから任意に抽出したブロック(例えば、水平4画素×垂直4画素の配列)に対応するブロックを他方の画像データから検索する、所謂パターンマッチングを用いて視差を導き出す。ここで、「水平」は、撮像した輝度画像の画面横方向を示し、「垂直」は、撮像した輝度画像の画面縦方向を示す。

0026

このパターンマッチングとしては、2つの画像データ間において、任意の画像位置を示すブロック単位で輝度(Y色差信号)を比較することが考えられる。例えば、輝度の差分をとるSAD(Sum of Absolute Difference)、差分を2乗して用いるSSD(Sum of Squared intensity Difference)や、各画素の輝度から平均値を引いた分散値類似度をとるNCC(Normalized Cross Correlation)等の手法がある。画像処理部160は、このようなブロック単位の視差導出処理を検出領域(例えば水平600画素×垂直180画素)に映し出されているすべてのブロックについて行う。ここでは、ブロックを水平4画素×垂直4画素としているが、ブロック内の画素数は任意に設定することができる。

0027

ただし、画像処理部160では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような立体像の一部であるかを認識できない。したがって、視差情報は、立体像単位ではなく、検出領域におけるブロック単位で独立して導出されることとなる。このようにして導出された視差情報(後述する相対距離に相当)を画像データの各ブロックに対応付けた画像を距離画像という。

0028

図4は、輝度画像210と距離画像212を説明するための説明図である。例えば、2つの撮像装置110を通じ、検出領域214について図4(a)のような輝度画像(画像データ)210が生成されたとする。ただし、ここでは、理解を容易にするため、2つの輝度画像210の一方のみを模式的に示している。本実施形態において、画像処理部160は、このような輝度画像210からブロック毎の視差を求め、図4(b)のような距離画像212を形成する。距離画像212における各ブロックには、そのブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。

0029

図2に戻って説明すると、3次元位置情報生成部162は、画像処理部160で生成された距離画像212に基づいて検出領域214内のブロック毎の視差情報を、所謂ステレオ法を用いて、水平距離、高さおよび相対距離を含む3次元の位置情報に変換する。ここで、ステレオ法は、三角測量法を用いることで、ブロックの視差からそのブロックの撮像装置110に対する相対距離を導出する方法である。このとき、3次元位置情報生成部162は、ブロックの相対距離と、ブロックと同相対距離にある道路表面上の点からブロックまでの距離画像212上の距離とに基づいて、ブロックの道路表面からの高さを導出する。かかる三次元の位置情報への変換については、特開2013−109391号公報等、既存の技術を参照できるので、ここでは、その詳細な説明を省略する。

0030

(ヒストグラム生成処理S202)
続いて、ヒストグラム生成部164は、距離画像212を複数の分割領域に分割し、分割領域毎に、分割領域内の複数のブロックの相対距離を複数の階級(等距離で区分した相対距離の距離区分を短い順に並べたもの)に振り分けたヒストグラム(度数分布)を生成する。以下に、ヒストグラム生成部164の具体的な処理を説明する。

0031

図5は、ヒストグラム生成部164の処理を説明するための説明図である。ヒストグラム生成部164は、まず、距離画像212を、水平方向に対して複数の分割領域216に分割する。そうすると、分割領域216は、図5(a)のような垂直方向に延在する短冊形状になる。このような短冊形状の分割領域216は、本来、例えば、水平幅4画素のものが150列配列してなるが、ここでは、説明の便宜上、検出領域214を16等分したもので説明する。

0032

続いて、ヒストグラム生成部164は、分割領域216毎に、三次元の位置情報に基づき、分割領域216内の、道路表面より上方に位置するとみなされるすべてのブロックを対象に、相対距離が複数の階級のいずれに含まれるか判定し、相対距離をそれぞれ対応する階級に振り分けて、ヒストグラム(図5(b)中、横長の四角(バー)で示す)を生成する。すると、図5(b)のように、分割領域216毎のヒストグラムによる距離分布218が得られる。ここで、縦方向は、相対距離を等距離で区分した階級を、横方向は、階級に振り分けられたブロックの個数度数)を示している。ただし、図5(b)は計算を行う上での仮想的な画面であり、実際には視覚的な画面の生成を伴わない。

0033

(第1グループ化処理S204)
図6は、第1グループ化部166の処理を説明するための説明図である。第1グループ化部166は、まず、分割領域216毎の距離分布218を参照し、同一の分割領域216内で有効な度数を有する階級が連続していれば、その連続した階級をグループ化して、図6(a)に示すように、分割領域216毎に立体物の候補である分割立体像候補220を生成する。そして、第1グループ化部166は、分割立体像候補220内で一番大きい度数(図6中、黒で塗りつぶした四角で示す)を代表距離222とする。

0034

続いて、第1グループ化部166は、隣接する分割領域216同士を比較し、代表距離222が近接する(例えば、1m以下に位置する)分割領域216同士をグループ化して、図6(b)に示すように、分割領域群240を生成する。このとき、3以上の分割領域216で代表距離222が近接していた場合にも、連続するすべての分割領域216を分割領域群240として纏める。かかるグループ化によって、道路表面より上方に位置する立体像の横幅方向の大きさを特定することができる。

0035

続いて、第1グループ化部166は、分割領域群240内における、相対距離zが代表距離222に相当するブロックを基点として、そのブロックと、水平距離xの差分、高さyの差分および相対距離zの差分が予め定められた第1距離範囲(例えば0.1m)内にあるブロックとを、同一の特定物に対応すると仮定してグループ化する。こうして、仮想的なブロック群である第1グループ242が生成される。上記の範囲は実空間上の距離で表され、製造者搭乗者によって任意の値に設定することができる。また、第1グループ化部166は、グループ化により新たに追加されたブロックに関しても、そのブロックを基点として、水平距離xの差分、高さyの差分および相対距離zの差分が第1距離範囲内にあるブロックをさらにグループ化する。結果的に、同一の特定物と仮定可能なブロックすべてがグループ化されることとなる。

0036

また、ここでは、水平距離xの差分、高さyの差分および相対距離zの差分をそれぞれ独立して判定し、すべてが第1距離範囲に含まれる場合のみ同一のグループとしているが、他の計算によることもできる。例えば、水平距離xの差分、高さyの差分および相対距離zの差分の二乗平均√((水平距離xの差分)2+(高さyの差分)2+(相対距離zの差分)2)が第1距離範囲に含まれる場合に同一のグループとしてもよい。かかる計算により、ブロック同士の実空間上の正確な距離を導出することができるので、グループ化精度を高めることができる。かかるグループ化によって生成される第1グループ242や後述する第2グループは、グループ化された全てのブロックを含み、外形線水平線および垂直線からなる矩形状の立体像として扱われる。

0037

(第2グループ化処理S206)
図7図9は、第2グループ化部168の処理を説明するための説明図である。図7(a)のように、距離画像212において先行車両が出現した場合に、画像データの輝度によってはパターンマッチングで距離が明確にでないブロックが生じ得る。第1グループ化部166は、本来、相対距離zがほぼ等しい先行車両の領域250全てをグループ化すべきであるが、実際には、図7(a)のように、先行車両の全てのブロックで相対距離zを得られず、複数の部位がそれぞれ個別に第1グループ242を形成することがある。

0038

そこで、第2グループ化部168は、第1グループ化部166がグループ化した第1グループ242の出現態様(第1グループ242相互の位置関係)に応じ、後述する統合条件(距離条件、車両性条件、連続性条件)に従って、さらに第1グループ242同士を統合し、第2グループを生成する。

0039

(距離条件)
まず、第2グループ化部168は、図7のように、第1グループ242(第1グループ242の端点)同士の距離が、第1距離範囲より大きい第2距離範囲(例えば1m)内であれば、その第1グループ242同士を仮に統合して、図7(b)の如く、第2グループ254を形成する。

0040

(車両性条件)
次に、第2グループ化部168は、上記距離条件によって第1グループ242同士を仮に統合した第2グループ254の大きさが車両として妥当な大きさ、例えば、水平方向に1.5m〜2.5m、垂直方向に0.5m〜3.8mの範囲に含まれていれば、新たに、当該第2グループ254を特定物の候補となる立体像とし、水平方向に1.5m〜2.5m、垂直方向に0.5m〜3.8mの範囲に含まれていなければ、第1グループ242はそれぞれ別体の立体像を示すとして、第2グループ254の生成を行わない。

0041

なお、ここでは、車両らしさとして、車両の大きさの妥当性を判定しているが、かかる場合に限らず、車両の他の特徴を用いて車両らしさを判定してもよい。例えば、車両の後部が1つの面で表される特徴を用い、第1グループ242それぞれによって形成される面と水平面との交線同士がほぼ一直線上になる(傾きが等しくなる)ことをもって車両らしいと判定してもよい。

0042

このように距離条件と車両性条件を満たす第2グループ254を生成することで、先行車両が領域250として一体的に認識されず、複数の部位として認識された場合においても、図7(b)のように、適切な大きさで立体像(第2グループ254)を形成することが可能となる。しかし、かかる条件のみでは、以下の問題が生じ得る。

0043

ここで、図8(a)に示すように、距離があまり離隔していない別体の立体物260、例えば、看板と車両に相当する2つの第1グループ242が画像の幅方向に並んで位置しているとする。このとき、第1グループ242同士の距離が第2距離範囲内であり(距離条件を満たし)、図8(b)のように、第1グループ242同士を統合した第2グループ254の大きさが車両として妥当な大きさであった(車両性条件を満たした)とする。そうすると、第2グループ化部168は、第1グループ242同士を統合した第2グループ254を特定物の候補となる立体物として認識するので、衝突回避制御やクルーズコントロールによって、快適な走行が却って阻害されるおそれがある。

0044

ここで、図7図8とを比較すると、図7(b)に一点鎖線で示した、第1グループ242同士の幅方向の間であり、画像上、第1グループ242と高さ方向の位置が重なる領域(したがって、幅は第1グループ242間の距離、高さは第1グループ242と等しい領域)262に存在するブロックの相対距離zは、第1グループ242の相対距離zとほぼ等しいのに対し、図8(b)に一点鎖線で示した、第1グループ242同士の幅方向の間の領域262に存在するブロック(ポール)の相対距離zは、第1グループ242より遠方である点が異なる。なお、ここでは、高さ方向の位置が重なる領域の対象として、2つの第1グループ242の高さ方向の最大値をとる。すなわち、2つの第1グループ242のうち上辺が高い第1グループ242の高さの最大値から、2つの第1グループ242のうち下辺が低い第1グループ242の高さの最小値までを高さ方向の位置が重なる領域としている。ただし、本実施形態の領域の対象は、かかる場合に限らず、規則的に定められていれば足り、例えば、2つの第1グループ242の高さ方向の最小値、すなわち、2つの第1グループ242のうち上辺が低い第1グループ242の高さの最大値から、2つの第1グループ242のうち下辺が高い第1グループ242の高さの最小値までとしてもよい。また、2つの第1グループ242のうちいずれか一方の第1グループ242を対象としてもよく、例えば、高さ方向の長さが長い方、高さ方向の長さが短い方、画像左側に位置する方、画像右側に位置する方を選択することができる。

0045

そこで、第2グループ化部168は、第1グループ242同士の幅方向の間であり、画像上、第1グループ242と高さ方向の位置が重なる領域262に存在するブロック(相対距離zを得ることができたブロック)の相対距離zに応じて、第1グループ242同士の連続性を判断する。

0046

(連続性条件)
具体的に、第2グループ化部168は、第1グループ242同士が幅方向左右の位置関係にある場合に、第1グループ242同士の幅方向の間であり、画像上、第1グループ242と高さ方向の位置が重なる領域262において、所定の閾値(例えば5m)以上遠方に位置する(第1グループ242との相対距離zが閾値以上離れている)ブロックが所定数(例えば10)未満であれば、第1グループ242同士は特定物の候補となる同じ立体像を示すものとして、第1グループ242同士を正式に統合して当該第2グループ254を生成し、所定数以上であれば、第1グループ242はそれぞれ別体の立体像を示すとして、第2グループ254の生成を行わない。なお、所定数を1とすることで、所定の閾値以上遠方に位置するブロック自体が有るか無いかを条件とすることができる。

0047

ここでは、所定の閾値(例えば5m)以上遠方に位置するブロックの数に応じて連続性を判断しているが、かかる場合に限らず、分割立体像候補220の数(分割領域216の数)に応じて連続性を判断してもよい。

0048

こうすることで、図7に示した先行車両は、統合条件(距離条件、車両性条件、連続性条件の全て)を満たすので、その先行車両の領域250全てを第2グループ254として抽出できる。一方、図8に示した別体の立体物260は、距離条件、車両性条件を満たしたとしても、連続性条件を満たさないので(統合条件を満たさないので)、第2グループ254の生成が行われず、統合される前の第1グループ242それぞれが特定物の候補となる立体像になる。

0049

また、第1グループ242と、画像上、高さ方向の位置が重なる領域262のみを連続性条件の対象とすることで、第1グループ242同士の幅方向の間であって、かつ、第1グループ242より垂直上方や垂直下方に他の立体像が存在する場合であっても、互いに影響されることがない。

0050

例えば、図9(a)の距離画像212のように、相対距離zが近い側(手前側)の下方にフェンスがあり、遠い側(奥側)に立体物260が存在しているとする。ここで、状況によっては、同一のフェンスを示す第1グループ242同士が離れて生成されることがある。しかも、その幅方向の間には立体物260も存在している。しかし、第1グループ242と、画像上、高さ方向の位置が重なる領域262のみを連続性条件の対象としているので、適切に、特定物を特定することが可能となる。

0051

同様に、図9(b)の距離画像212のように、相対距離zが近い側(手前側)の上方に道路情報表示器があり、遠い側(奥側)に立体物260が存在しているとする。ここで、同一の道路情報表示器を示す第1グループ242同士が離れて生成されることがある。しかも、その幅方向の間には立体物260も存在している。しかし、第1グループ242と、画像上、高さ方向の位置が重なる領域262のみを連続性条件の対象としているので、図9(a)同様、適切に、特定物を特定することが可能となる。

0052

(特定物特定処理S208)
特定物特定部170は、第2グループ化部168がグループ化した第2グループ254、および、第2グループ化部168がグループ化を行わなかった第1グループ242を、複数の特定物の条件と比較し、条件を満たすと、特定物として特定する。例えば、特定物特定部170は、第2グループ化部168がグループ化した第2グループ254の幅が2.0m以上であり、第2グループ254の高さが1.0m以上であり、第2グループ254の道路表面からの高さが2.0m以下であり、自車両1の走行軌跡からの水平距離が5.0m以下であれば、その第1グループ242を先行車両と特定する。以上の構成により、道路上に位置する先行車両を効率的かつ適切に抽出することができる。

0053

車両制御処理S210)
車両制御部172は、特定物特定部170が先行車両を特定すると、その先行車両を追跡しつつ、先行車両の相対速度等を導出し、先行車両と自車両1とが衝突する可能性が高いか否かの判定を行い、その結果を車両制御装置130に出力する。こうして、衝突回避制御やクルーズコントロールが実行される。

0054

以上、説明したように、本実施形態の車外環境認識装置120では、別体の立体物の距離が近い場合であっても、制御対象となる領域、例えば、先行車両を適切に特定することができるので、安定した衝突回避制御やクルーズコントロールを実現することが可能となる。

0055

また、上記車外環境認識装置120に加え、コンピュータを車外環境認識装置120として機能させるプログラムや、当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク光磁気ディスク、ROM、CD、DVD、BD等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。

0056

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

0057

例えば、上述した実施形態においては、第2グループ化部168が、統合条件としての距離条件、車両性条件、連続性条件の3つの条件を全て満たした場合に、第1グループ242同士を統合し、第2グループ254を生成する例を挙げて説明したが、かかる場合に限らず、統合条件として、少なくとも距離条件、連続性条件の2つの条件を満たせば、第2グループ254を生成することができる。

0058

また、上述した実施形態においては、同時に撮像された一対のフレーム画像ステレオ画像)への適用例について説明したが、本発明はこれに限定されるものではなく、互いに関連性を有する一対のフレーム領域に対して広く適用可能である。このようなフレーム領域の別の例としては、いわゆるオプティカルフロー処理対象となる、異なる時刻に撮像された一対のフレーム画像が挙げられる。この場合、上述した撮像装置110の代わりに単眼カメラが用いられ、フレーム画像が時系列的に出力される。また、このようなフレーム領域は、輝度によって規定される画像(輝度分布)に限定されるものではなく、輝度以外の情報(例えば、遠赤外線カメラより得られる熱分布レーザレーダミリ波レーダより得られる反射強度分布等)によって規定されるものであってもよい。

0059

なお、本明細書の車外環境認識処理の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

0060

本発明は、自車両外の環境を認識する車外環境認識装置にかかり、特に、自車両の制御対象となる領域を特定する車外環境認識装置に利用することができる。

0061

120車外環境認識装置
166 第1グループ化部
168 第2グループ化部
242 第1グループ
254 第2グループ

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ