図面 (/)

技術 画像処理装置、画像処理方法、運転支援システム、プログラム

出願人 株式会社リコー
発明者 関口洋義横田聡一郎関海克青木伸吉田淳鈴木修一藤本英臣中嶋充
出願日 2015年3月11日 (4年6ヶ月経過) 出願番号 2015-048221
公開日 2015年11月5日 (3年10ヶ月経過) 公開番号 2015-195018
状態 特許登録済
技術分野 交通制御システム 乗員・歩行者の保護 イメージ分析
主要キーワード 赤外線波長帯 レーザー投光 Y座標 候補範囲 X座標 MOST 搭載場所 水平位
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2015年11月5日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

撮像手段が検出対象の撮像を開始した時から、車載装置が作動するまでの時間を短縮可能な画像処理装置を提供すること。

解決手段

撮像手段11により撮像した画像から物体領域を抽出する物体領域抽出手段44と、前記撮像手段の撮像範囲外照射した電磁波の反射波から前記撮像範囲外の物体までの距離情報を取得する距離情報取得手段47と、前記距離情報取得手段が取得した距離情報を用いて、前記撮像範囲外の物体が前記撮像手段の撮像範囲内に入った際に前記物体領域抽出手段が該物体の物体領域を抽出するための予測領域情報を作成する情報作成手段46と、を有することを特徴とする。

概要

背景

車載されたカメラ撮像した画像の解析結果を利用した各種の運転支援が知られている。例えば、画像処理装置が画像から前方の車両や歩行者などの物体を認識し、自車両が物体に対し異常接近するおそれがあることを車載装置ドライバーに警告したり、ブレーキを制御して被害を軽減したりすることが可能である。また、例えば、車道に飛び出してくる歩行者を認識して、ドライバーに注意喚起することもできる。

このような画像解析には、高精度な物体の認識技術が必要である。そこで、カメラ以外のセンサを利用して対象物の認識を補助することが考えられる(例えば、特許文献1参照。)。特許文献1には、ステレオカメラ画像情報レーザーミリ波等のレーダ情報とを基に前方に存在する先行車両を認識する先行車両検出装置が開示されている。

概要

撮像手段が検出対象の撮像を開始した時から、車載装置が作動するまでの時間を短縮可能な画像処理装置を提供すること。撮像手段11により撮像した画像から物体領域を抽出する物体領域抽出手段44と、前記撮像手段の撮像範囲外照射した電磁波の反射波から前記撮像範囲外の物体までの距離情報を取得する距離情報取得手段47と、前記距離情報取得手段が取得した距離情報を用いて、前記撮像範囲外の物体が前記撮像手段の撮像範囲内に入った際に前記物体領域抽出手段が該物体の物体領域を抽出するための予測領域情報を作成する情報作成手段46と、を有することを特徴とする。

目的

本発明は、撮像手段が物体の撮像を開始した時から、車載装置が作動するまでの時間を短縮可能な画像処理装置を提供する

効果

実績

技術文献被引用数
0件
牽制数
2件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

撮像手段により撮像した画像から物体領域を抽出する物体領域抽出手段と、前記撮像手段の撮像範囲外照射した電磁波の反射波から前記撮像範囲外の物体までの距離情報を取得する距離情報取得手段と、前記距離情報取得手段が取得した距離情報を用いて、前記撮像範囲外の物体が前記撮像手段の撮像範囲内に入った際に前記物体領域抽出手段が該物体の物体領域を抽出するための予測領域情報を作成する情報作成手段と、を有することを特徴とする画像処理装置

請求項2

前記物体領域抽出手段は、複数の項目の判断結果に基づき物体領域を検出するものであり、前記予測領域情報が作成された場合、前記物体領域抽出手段は、前記予測領域情報が作成されない場合よりも前記項目を少なくして物体領域を抽出する、ことを特徴とする請求項1記載の画像処理装置。

請求項3

前記物体領域抽出手段は、予め定められたパターンと前記撮像手段が撮像した画像を画像処理して得られるパターンとを比較して、パターンが類似した場合に物体領域を抽出するものであり、前記予測領域情報が作成された場合、前記物体領域抽出手段は、前記予測領域情報が作成されない場合と異なるパターンを用いて物体領域を抽出する、ことを特徴とする請求項1又は2記載の画像処理装置。

請求項4

前記予測領域情報には、物体の一部が前記撮像手段の前記撮像範囲内に入った際の推定撮像範囲が含まれており、前記物体領域抽出手段は、前記推定撮像範囲に対し物体領域を抽出する画像処理を行う、ことを特徴とする請求項2又は3記載の画像処理装置。

請求項5

前記物体領域抽出手段は、前記距離情報取得手段が取得した物体領域の前記距離情報が遠方であるほど、前記撮像手段が撮像した画像の上方に前記推定撮像範囲を設定する、ことを特徴とする請求項4記載の画像処理装置。

請求項6

前記情報作成手段は、前記距離情報取得手段が取得した物体領域の前記距離情報に含まれる方位情報と該距離情報により前記撮像範囲外の物体が前記撮像範囲内に到達するまでの距離を算出して、物体が前記撮像範囲内に入るまでの時間を算出し、前記物体領域抽出手段は、前記距離情報取得手段が前記距離情報を取得してから前記時間が経過した場合に、前記推定撮像範囲に対する物体領域を抽出する画像処理を開始する、ことを特徴とする請求項4又は5記載の画像処理装置。

請求項7

前記物体領域抽出手段は、前記距離情報を取得可能な前記撮像手段が撮像した距離画像を用いて路面領域を検出し、路面よりも距離が近い画素領域に対し、距離が同程度の候補範囲を検出して、該候補範囲に対し物体領域を抽出する処理を行うものであり、前記予測領域情報が作成された場合、前記推定撮像範囲に対し前記路面よりも距離が近い画素領域の前記候補範囲を検出して、該候補範囲に対し物体領域を抽出する画像処理を行う、ことを特徴とする請求項4〜6いずれか1項記載の画像処理装置。

請求項8

前記物体領域抽出手段は、前記推定撮像範囲に対し距離が同程度の領域があることで検出される直線の検出処理を施し、検出された前記直線の位置を用いて距離が同程度の前記候補範囲を検出して、該候補範囲に対し物体領域を抽出する画像処理を行う、ことを特徴とする請求項7記載の画像処理装置。

請求項9

前記物体領域抽出手段は、前記推定撮像範囲が、前記撮像手段が撮像した画像の右端の場合と左端の場合とで、異なる傾きの前記直線が得られるか否かを判定し、前記推定撮像範囲の左端に直線が検出された場合、左後方から接近する物体の物体領域を抽出する処理を行い、前記推定撮像範囲の右端に直線が検出された場合、右後方から接近する物体の物体領域を抽出する処理を行う、ことを特徴とする請求項8記載の画像処理装置。

請求項10

前記物体領域抽出手段は、前記候補範囲に対して少なくとも縦横比を用い、さらに前記候補範囲の路面からの高さ、パターン認識による画像認識処理又は移動速度の1つ以上に基づき、前記候補範囲に撮像されている物体領域を抽出するものであり、前記予測領域情報が作成された場合、前記縦横比と前記路面からの高さを用いることなく、前記候補範囲に撮像されている物体領域を抽出する、ことを特徴とする請求項7又は8記載の画像処理装置。

請求項11

撮像手段により撮像した画像を処理して運転支援を行う運転支援システムであって、撮像手段により撮像した画像から物体領域を抽出する物体領域抽出手段と、前記撮像手段の撮像範囲外に照射した電磁波の反射波から前記撮像範囲外の物体までの距離情報を取得する距離情報取得手段と、前記距離情報取得手段が取得した距離情報を用いて、前記撮像範囲外の物体が前記撮像手段の撮像範囲内に入った際に前記物体領域抽出手段が該物体の物体領域を抽出するための予測領域情報を作成する情報作成手段と、物体領域の前記距離情報を用いて運転支援を行う運転支援手段と、を有することを特徴とする運転支援システム。

請求項12

物体領域抽出手段が、撮像手段により撮像した画像から物体領域を抽出するステップと、距離情報取得手段が、前記撮像手段の撮像範囲外に照射した電磁波の反射波から前記撮像範囲外の物体までの距離情報を取得するステップと、情報作成手段が、前記距離情報取得手段が取得した距離情報を用いて、前記撮像範囲外の物体が前記撮像手段の撮像範囲内に入った際に前記物体領域抽出手段が該物体の物体領域を抽出するための予測領域情報を作成するステップと、を有することを特徴とする画像処理方法

請求項13

コンピュータに、撮像手段により撮像した画像から物体領域を抽出する物体領域抽出ステップと、前記撮像手段の撮像範囲外に照射した電磁波の反射波から前記撮像範囲外の物体までの距離情報を取得する距離情報取得ステップと、前記距離情報取得ステップにより取得された距離情報を用いて、前記撮像範囲外の物体が前記撮像手段の撮像範囲内に入った際に前記物体領域抽出ステップにおいて該物体の物体領域を抽出するための予測領域情報を作成する情報作成ステップと、を実行させるプログラム

技術分野

0001

本発明は、画像から物体を認識する画像処理装置等に関する。

背景技術

0002

車載されたカメラ撮像した画像の解析結果を利用した各種の運転支援が知られている。例えば、画像処理装置が画像から前方の車両や歩行者などの物体を認識し、自車両が物体に対し異常接近するおそれがあることを車載装置ドライバーに警告したり、ブレーキを制御して被害を軽減したりすることが可能である。また、例えば、車道に飛び出してくる歩行者を認識して、ドライバーに注意喚起することもできる。

0003

このような画像解析には、高精度な物体の認識技術が必要である。そこで、カメラ以外のセンサを利用して対象物の認識を補助することが考えられる(例えば、特許文献1参照。)。特許文献1には、ステレオカメラ画像情報レーザーミリ波等のレーダ情報とを基に前方に存在する先行車両を認識する先行車両検出装置が開示されている。

発明が解決しようとする課題

0004

ところで、カメラが撮像した画像(単眼カメラ、ステレオカメラ)から画像処理装置が車両や歩行者などの物体を認識するためには、物体が撮像され始めてから(カメラの画角入り始めてから)車両又は歩行者であると判断されるまでに多くの時間がかかる。例えば、普通乗用車では、数十ミリ秒から百数十ミリ秒(フレーム数にして数フレーム)、大型トラックでは車体が長い分、数百ミリ秒(フレーム数にして十数フレーム)必要となる。これらの時間は画像処理装置の性能などで異なるが、車載装置が余裕を持って運転支援を行うには時間がかかりすぎるという問題がある。

0005

例えば、自車両の直前に物体が割り込んできた場合、カメラが物体の撮像を開始した時刻から、車載装置が作動する(自動ブレーキ、自動ハンドル回避など)までの時間の方が、自車両と物体が異常接近するまでの時間よりも長いことは好ましくない。

0006

しかしながら、特許文献1を含め従来の技術では、ステレオカメラで撮像された先行車両とレーザー投光ユニットで検出した先行車両の水平位置と距離が等しい場合に先行車両が同一のものであると判断するにすぎない。このため、カメラ以外のセンサを利用しても、カメラが物体の撮像を開始した時刻から、車載装置が作動するまでの時間を短縮することも困難である。

0007

本発明は、撮像手段が物体の撮像を開始した時から、車載装置が作動するまでの時間を短縮可能な画像処理装置を提供することを目的とする。

課題を解決するための手段

0008

上記課題に鑑み、本発明は、撮像手段により撮像した画像から物体領域を抽出する物体領域抽出手段と、前記撮像手段の撮像範囲外照射した電磁波の反射波から前記撮像範囲外の物体までの距離情報を取得する距離情報取得手段と、前記距離情報取得手段が取得した距離情報を用いて、前記撮像範囲外の物体が前記撮像手段の撮像範囲内に入った際に前記物体領域抽出手段が該物体の物体領域を認識するための予測領域情報を作成する情報作成手段と、を有することを特徴とする。

発明の効果

0009

撮像手段が検出対象の撮像を開始した時から、車載装置が作動するまでの時間を短縮可能な画像処理装置を提供することができる。

図面の簡単な説明

0010

従来の画像処理装置による物体の認識の不都合について説明する図の一例である。
本実施形態の画像処理装置による物体認識の概略を説明する図の一例である。
レーザーレーダー測距部とステレオカメラの車両への搭載例を示す図の一例である。
ステレオカメラの画角とレーザーレーダー測距部の照射範囲を模式的に説明する図の一例である。
運転支援システム概略構成図の一例である。
レーザーレーダー測距部と画像処理装置の機能ブロック図の一例を示す。
視差演算部による視差演算について説明する図の一例である。
認識処理部による物体の認識について説明する図の一例。
レーザーレーダー測距部による物体情報について説明する図の一例である。
系列な物体情報を模式的に示す図の一例である。
路面領域の検出について説明する図の一例である。
物体がある場合の視差値ヒストグラムを説明する図の一例である。
視差画像のx座標視差ヒストグラムの対応を模式的に説明する図の一例である。
歩行者A、先行車両B、自転車Cが撮像されている場合に抽出される直線の一例を示す図である。
予測撮像範囲について説明する図の一例である。
距離Lと予測撮像範囲とが対応づけられた予測撮像範囲テーブルの一例を示す図である。
車両の移動速度と撮像時間の間隔に基づく予測撮像範囲の横幅について説明する図の一例である。
撮像が開始される時間について説明する図の一例である。
予測撮像範囲に対するクラスタリングについて説明する図の一例である。
後方から接近する物体のクラスタリングについて説明する図の一例である。
物体が右後方から接近する場合の直線f(y・d)と直線g(d・x)の一例である。
予測撮像範囲を利用した画像認識の一例を説明する図である。
認識処理部が物体を認識処理する手順を示すフローチャート図の一例である。
単眼カメラの場合のレーザーレーダー測距部と画像処理装置の機能ブロック図の一例である。
物体認識に必要な時間を測定した実験結果の一例を示す図である。

実施例

0011

以下、本発明を実施するための形態について図面を参照しながら説明する。

0012

〔従来の画像処理装置の不都合について〕
図1は、従来の画像処理装置による物体の認識の不都合について説明する図の一例である。四角の枠内は撮像手段の撮像範囲(画角)であり、四角の枠外他車両Bが前方に向かって走行している。また、図1では(a)<(b)<(c)<(d)の順に時間が経過している。

0013

図1(a)では、画像処理装置はすでに他車両Aを認識している。しかし、他車両Bは画像に映っていないので画像処理装置は認識を開始していない。

0014

図1(b)では、他車両Bの一部が撮像され始める。物体が画像に含まれるため画像処理装置は物体の認識を開始するが、この段階では車両であると認識することは困難である。

0015

図1(c)では、他車両Bの大部分が画像に撮像されているが、この段階では物体が車両であることが認識可能な状況になったにすぎず、画像処理装置はまだ車両であることを認識できない。

0016

図1(d)では、他車両Bが画像内に完全に撮像されてからさらに数フレーム(フレームとは1枚の画像をいう)分の時間が経過した状況である。この段階では、画像処理装置は他車両Bが車両であると認識できる。

0017

しかしながら、図1(d)の状態まで車両であることが認識されないのでは、車両であると認識されるまでの間に、車載装置が運転支援できない状況が生じてしまう。例えば、図1(b)の状態の他車両Bが急に車線変更した場合に、自車両の車載装置が自動的にブレーキをかけたり、回避ハンドル操作を行うことは困難である。

0018

そこで、本実施形態の画像処理装置は、撮像手段が他車両Bの撮像を開始するまでの間にレーザーレーダーにより検出された他車両Bの物体情報を利用して予測情報を作成し、他車両Bの撮像が開始されてから車両であると認識するまで時間を短縮する。

0019

〔本実施形態の物体認識の概略〕
図2は、本実施形態の画像処理装置による物体認識の概略を説明する図の一例である。
図2(a)では、他車両Bは画像に映っていないので画像処理装置100は他車両Bの認識を開始していない。しかし、レーザーレーダー測距部12は撮像手段(後述するステレオカメラ)の画角の範囲外(撮像範囲外)を走査しており、他車両Bを検出している。検出することで、物体情報(距離、方位相対速度、移動方向など)が得られる。なお、画角の範囲内にレーダ光を操作してもよい。

0020

そこで、画像処理装置100は、撮像手段が他車両Bの一部の撮像を開始した際に、物体を早期に認識するための予測情報を物体情報から作成する。予測情報は、例えば他車両Bが撮像される画像の範囲情報、撮像が開始されるまでの時間である。

0021

図2(b)では、他車両Bの一部が撮像され始める。画像処理装置100は予測情報に基づき、他車両Bの一部が撮像された画像の範囲に対し認識を開始する。この範囲が予測情報に含まれ、物体が撮像されている可能性が高い範囲(後述する予測撮像範囲)として撮像開始前に作成されている。

0022

したがって、画像処理装置100はこの範囲に対して認識を行うことで、物体の認識が容易になる。また、他車両Bが一部しか撮像されないことや、他車両Bが画角に入ってくる方向が判明しているので、適切な方法で認識できる。また、撮像が開始される時刻も予測できるので、撮像が開始された画像から認識を開始できる。したがって、他車両Bの認識が完了するまでの時間を短縮することができる。

0023

なお、本実施形態で用いる物体とは、運転支援を行うために検出される車両などの検出対象物を言うが、物体の検出過程では運転支援を行う対象物以外も物体として検出され得る。また、画像処理装置は、いわゆる全ての物体を検出するのではなく、運転支援を行うために適切な物体を検出するものである。したがって、物体とは検出対象又は検出対象物を意味している。

0024

〔撮像手段とレーザーレーダーの配置例〕
図3は、レーザーレーダー測距部12とステレオカメラ11の車両への搭載例を示す図の一例である。車両の左右のバックミラードアミラー)には、それぞれレーザーレーダー測距部12が搭載されている。また、ルームミラー車両前方側には、車両の前方を撮像するステレオカメラ11が搭載されている。レーザーレーダー測距部12を、車両の幅方向に離間して配置することで、前方だけでなく斜め前方や横方向の物体を検出することが容易になる。

0025

なお、図示されるステレオカメラ11の配置場所は一例であって、フロントグリルの内側やバンパ内に内蔵されていてもよい。また、ルーフの前方やボンネットに搭載されていてもよい。好適な配置場所を選択することで、認識対象の物体の撮像が容易になる。

0026

同様に、レーザーレーダー測距部12の配置場所も一例にすぎない。例えば、フロントグリルの内側やバンパ内に内蔵されていてもよい。また、ルーフの前方やボンネットに搭載されていてもよい。

0027

レーザーレーダー測距部12は左右に分離されている必要はなく、車両の幅方向の略中央に1つだけ配置されていてもよい。設置場所が少なくなることでコストを低減しやすくなる。また、3つ以上のレーザーレーダー測距部12が配置されていてもよく、レーザーレーダー測距部12の配置場所を増やすことで所望の方向の物体を検出しやすくなる。

0028

また、ステレオカメラ11とレーザーレーダー測距部12の配置場所が同じ場合は、ステレオカメラ11とレーザーレーダー測距部12を1つの筐体に収容し、一体に車両に搭載してもよい。こうすることでステレオカメラ11とレーザーレーダー測距部12の間の配線長が短くなり搭載場所も一箇所でよいので設置が容易になる。

0029

また、図では普通自動車が例になっているが、普通自動車でなく車高の高いバントラックなどでは、適切な搭載場所が適宜決定される。

0030

図4は、ステレオカメラ11の画角とレーザーレーダー測距部12の照射範囲を模式的に説明する図の一例である。図4ではステレオカメラ11の右カメラ左カメラのそれぞれが同じ画角で、車両の前方の所定範囲を撮像している。右カメラの画角と左カメラの画角の重複部の撮像範囲は、画像処理装置が視差を検出可能な範囲である。

0031

また、右のバックミラーに配置されたレーザーレーダー測距部12は、右カメラの画角よりも右側の所定範囲(例えば右斜め前方)を走査範囲とする。左のバックミラーに配置されたレーザーレーダー測距部12は、左カメラの画角よりも左側の所定範囲(例えば左斜め前方)を走査範囲とする。なお、右のレーザーレーダー測距部12の走査範囲は、右カメラ又は左カメラの画角と重複していてもよい。左のレーザーレーダー測距部12の走査範囲は、右カメラ又は左カメラの画角と重複していてもよい。重複範囲では、右カメラ又は左カメラの少なくとも一方と、レーザー光とにより物体までの距離などの情報(距離情報など)を取得できる。

0032

このように、左カメラと右カメラの画角の外側の物体を、レーザー光により検出可能とすることで、画像処理装置100は、車や歩行者などの横切り、割り込み、追い越しなどを事前に検知することができる。

0033

〔構成例〕
図5は、運転支援システムの概略構成図の一例である。運転支援システム200は、画像処理装置100、ステレオカメラ11、レーザーレーダー測距部12、及び、ECU(Electronic Control Unit:電子制御ユニット)13を有している。

0034

ECU13は、画像処理装置100が出力する物体情報を用いて各種の運転支援を行う。運転支援は車両によって様々であるが、例えば、対象物の横位置が自車両の車幅と重なる場合、距離と相対速度から算出されるTTC(Time To Collision)に応じて警報や制動などを行う。また、衝突までの停止が困難な場合、衝突を回避する方向にステアリング操舵する。

0035

また、ECU13は、車速に応じた車間距離先行車追従走行する全車速車間距離制御を行う。先行車が停車したら自車両も停車させ、先行車が発進したら自車両も発進する。また、画像処理装置100が白線認識などを行う場合、走行レーンの中央を走行するように操舵するレーンキーピング制御を行うことができる。

0036

また、停車時に進行方向に障害物がある場合、急発進を抑制することができる。例えば、シフトレバーの操作位置により判断される進行方向に障害物があり、かつ、アクセルペダル操作量が大きい場合、エンジン出力を制限したり警報することで被害を軽減する。

0037

なお、図5の構成は一例にすぎず、ステレオカメラ11と画像処理装置100が一体に構成されていてもよい。また、ECU13が画像処理装置100の機能を有していてもよい。

0038

画像処理装置100は、一般的な情報処理装置コンピュータ)としての構成と、ステレオカメラ11が撮像した画像を処理するための構成とを備えている。画像処理装置100は、バスに接続されたCPU21、ROM I/F22、RAM I/F24、コントローラ26、メモリカードI/F27、処理回路28、撮像部制御用I/F29、及び、CAN I/F30を有している。

0039

ROM I/F22はCPU21からの指示によりROM23からプログラム9などを読み出す。RAM I/F24はCPU21からの指示によりRAM25からプログラム9などを読み出し、RAM25にデータを書き込む。ROM23に記憶されているプログラム9は、物体の認識を行ったり予測情報を作成する処理を行うためのプログラムである。プログラム9は、メモリカード10に記憶された状態で配布されてもよいし、不図示のサーバから携帯電話網無線LAN網などの通信網を経由してダウンロードされることで配布されてもよい。RAM25は、CPU21がプログラム9を実行する際のワークエリア(プログラムやデータが一時的に記憶される)として使用される。

0040

コントローラ26は、割り込み、タイマーなどを制御する。コントローラ26は、例えばタイマーで定期的にステレオカメラ11から画像を取得したり、ステレオカメラ11から画像を取得した場合にCPU21に割り込みしたりする。

0041

メモリカードI/F27は、CPU21からの指示によりメモリカード10からデータを読み出し、また、メモリカード10にデータを書き込む。

0042

処理回路28は、ステレオカメラ11が撮像した画像を処理する。具体的には、後述するガンマ補正歪み補正偏光処理などを行う。

0043

撮像部制御用I/F29は、ステレオカメラ11に制御信号を出力するインタフェースである。例えば、ステレオカメラ11の露出ホワイトバランスなどを制御する。

0044

CAN I/F30は、車載LANの規格であるCAN(Controller Area Network)プロトコルに基づく通信を行う通信装置である。CANでなく、イーサネット登録商標)、FrexLay、MOST、LIN(Local Interconnect Network)などの通信規格で通信してもよい。CAN I/Fにはレーザーレーダー測距部12とECU13が接続されている。

0045

図6は、レーザーレーダー測距部12と画像処理装置100の機能ブロック図の一例を示す。レーザーレーダー測距部12は、投光系として、発光制御部35、LDドライバ34、LD33、光スキャナ32、及び、投射レンズ31を有している。LD33は、パルス状のレーザー光を出射する半導体レーザダイオード(LD:laser diode)である。LD33からの光は、光スキャナ32により照射方向が変更され投射レンズ31を通過する。投射レンズ31は、光スキャナ32を通過したレーザー光を集光する。なお、レーザー光は、主に半導体レーザーが用いられるが、固体レーザーガスレーザー色素レーザーなど発光原理はどのようなものでもよい。また、レーザー光は指向性収束性の良好な電磁波の一種である。安全性を考慮すると、赤外線波長帯のレーザー光を使用するのが好ましい。

0046

LD33は、LDドライバ34を介して発光制御部35と接続されており、発光制御部35からのLD駆動信号により定期的に又は連続してレーザー光を出射する。LDドライバ34はLD33を発光させる例えばパルス信号を作成する。LD駆動信号は時間計測部39に入力される。

0047

光スキャナ32は、所定の固定周期でLD33から出射されたレーザー光を水平方向に繰り返し走査する。光スキャナ32におけるレーザー光の走査角は不図示の走査角モニタによって検出されている。実際の走査角を監視することで、レーザーレーダー測距部12が、光スキャナの走査角度及び走査周波数を制御することができる。
レーザーレーダー測距部12は、受光系として、受光レンズ36、PD(Photo Diodo)37、PDドライバ38、及び、時間計測部39、を有している。レーザー光が当たった物体又は物体においてレーザー光が当たった位置が特許請求の範囲の反射位置である。車両前方の物体から反射されたレーザー光は受光レンズ36を介してPD37に入射される。PD37は反射光における光強度に対応する電圧値電気信号を出力する。 PD37より出力された電気信号は、PDドライバ38に出力され電気信号が閾値以上の場合に、受光信号を時間計測部39に出力する。
時間計測部39は、発光制御部35からLDドライバ34へ出力されるLD駆動信号が出力されてから受光信号が発生するまでの時間、即ち、レーザー光を出射した時刻と、反射光を受光した時刻の時間差を測定する。反射光は特許請求の範囲の反射波の一例である。

0048

物体情報出力部40は、物体情報(距離、方位、相対速度、移動方向など)を画像処理装置100に出力する。まず、物体までの距離は、時間計測部39が計測した時間差により算出することができる。物体の方位(方位情報)は、レーザー光の照射方向に応じて決定することができる。また、物体と自車の相対速度は、同じ物体の距離を時系列に監視することで算出できる。さらに、距離と方位から物体の三次元座標(例えば、自車両の先端部かつ車幅方向の中央を原点とする座標系の物体の座標)を算出できるので、座標を時系列に監視することで移動方向を決定できる。

0049

なお、光スキャナ32としては、ポリゴンミラーガルバノミラー等を用いたものがある。また、本実施形態では路面に水平にレーザー光を走査できればよいが、垂直方向においてもレーザー光を走査することができる。上下方向の走査を可能とすることで、レーザー光による走査範囲を拡大でき、路面を検出することで物体の認識精度を向上できる。

0050

上下方向の走査を可能とする手段としては、走査方向が90°異なるミラー等の走査デバイスを光スキャナに直列に接続し、水平方向にレーザー光を走査した直後に垂直方向のレーザー走査を行なう構造がある。

0051

また、垂直方向に複数のポリゴンミラーを積層し、上下方向に並んで配置された複数のレーザー光を水平に走査してもよい。より簡便に複数ライン走査を達成するために、回転ポリゴンミラー光軸に対して反射面に倒れ角を設け、複数の反射面に対して互いに倒れ角が異なるように形成した構造のものがある。

0052

続いて、ステレオカメラ11について説明する。ステレオカメラ11は、同期されたステレオ画像(同時刻に撮像された左画像右画像)を撮像して画像処理装置100に出力する。なお、本実施形態では、ステレオカメラにより距離を取得可能であり距離画像を撮像するが、画素の一部を距離検出に用いる単眼TOFカメラ、カメラが動いているという前提で複数のフレームを比較して視差を算出する単眼カメラなどでもよい。単眼カメラでは基線長を合わせるキャリブレーションなどが不要になるのでコストを抑制できる。

0053

また、ステレオカメラ11はカラー撮像が可能であってもよい。この場合、RGBのいずれかの画像が用いられるか又は画素値輝度値に変換されてから、路面検出や物体認識が行われる。また、ステレオカメラ11は偏光フィルタを介して撮像してもよい。偏光フィルタを介することで、肉眼では目視が困難な映像が得られ、路面検出や物体認識の精度が向上する。

0054

画像処理装置100は、右画像と左画像のそれぞれに対応して前処理部41,42を有している。前処理部41,42は、ガンマ補正、歪み補正、偏光処理などを行う。この他、RGB→YCrCb変換処理や、ホワイトバランス制御処理コントラスト補正処理エッジ強調処理色変換処理などの各種画像処理を行う。なお、ホワイトバランス処理は、画像情報の色濃さを調整し、コントラスト補正処理は、画像情報のコントラストを調整する画像処理である。エッジ強調処理は、画像情報のシャープネスを調整し、色変換処理は、画像情報の色合いを調整する画像処理である。

0055

続いて、図7を用いて視差の演算について説明する。図7は、視差演算部43による視差の演算について説明する図の一例である。被写体S上の点Oの像は、左右のレンズを通過して焦点距離fにある画像素子結像する。レンズから被写体Sまでの距離をZ、左右のレンズの中心間の距離(基線長)をDとする。また、左右の画像における結像位置がレンズの中心からそれぞれΔ1とΔ2であるとする。したがって、点Oの視差はΔ=Δ1+Δ2である。

0056

このような視差は、左右の画像の同じ部分をブロックマッチングすることで算出される。すなわち、左画像又は右画像のどちらかを基準画像とする。例えば、左画像を基準画像にした場合、着目画素を中心とするブロックに左の画像を分割し、同じ位置の右の画像のブロックとの画素毎の輝度値の差の合計を算出する。右の画像でブロックを水平方向に1画素ずつずらしながら、画素毎の輝度値の差の合計の算出を繰り返し行う。左右の画像のブロック同士の輝度値の差の合計が一番少ない時の、ブロックの移動量が視差に相当する。例えば、左画像の(x、y)を中心とするブロックと、右画像の(x+Δ、y)を中心とするブロックの輝度値の差の合計が最小だった場合、視差はΔである。

0057

ブロックのサイズは任意であるが、画像サイズが1280×960画素の場合、ブロックのサイズは例えば5×5サイズとする。なお、ブロックサイズ最適値は実験的に調整、設定される。

0058

また、視差をΔとした場合、距離Zは以下のように表される。
Z = D・f/Δ
得られた視差画像は、画像処理装置100のRAM25などに記憶される。また、モノクロ画像カラー画像(RGBのいずれか1つ以上)、又は、偏光画像の少なくとも1つが認識処理部44に出力される(以下、輝度画像という)。輝度画像から物体認識処理が行われ、視差画像から物体までの距離が算出されるため、視差画像と同時刻に撮像された輝度画像とがセットにされてRAM25などに記憶される。

0059

認識処理部44は物体の認識を行い、認識結果として物体情報を出力する。レーザーレーダー測距部12のみが検出した物体について、その物体の認識結果はレーザーレーダー測距部12による物体情報である。画像には撮像されているがレーザー光で検出されていない物体の認識結果は、認識処理部44により認識された物体情報として出力される。また、画像に撮像され、かつ、レーザーレーダー測距部12にも検出されているものは、信頼性の高い認識結果が採用される。このような処理をセンサフュージョンという。

0060

認識処理部44は予測情報作成部45を有している。予測情報作成部45は物体情報から予測情報を作成する。予測情報は予測領域情報の一例である。詳細は後述する。

0061

<物体認識について>
図8を用いて、認識処理部44による物体の認識について説明する。図8(a)は、視差画像の一例を模式的に示す図である。図8(a)には、歩行者A,先行車両B、自転車Cが撮像されている。認識処理部44は、主にクラスタリングとベリフィケーションという処理を経て物体を認識する。

0062

クラスタリングとは、ほぼ同じ視差の画素範囲を1つの矩形領域(その他の形状でもよい)として抽出する処理である。物体が撮像されている場合、視差画像では物体が撮像されている範囲の視差値がほぼ同じになる。認識処理部44は、後述する視差値のヒストグラムの作成によりおよその物体の位置を把握することで、クラスタリングを行う。

0063

およその物体の位置Oが分かると、認識処理部44はその位置Oから視差値が同じ画素を探索する。具体的には隣接した画素の視差値の差が閾値以下の場合、1つの物体が撮像されている範囲と推定する。隣接した画素同士の視差値の差が閾値以下の画素についてこの判定を繰り返すことで、1つの物体が撮像されている範囲をクラスタリングすることができる。同じ視差値の画素の上下左右の最端の画素を結ぶことで矩形領域が得られる。

0064

図8(b)はクラスタリングされた物体を示す図の一例である。歩行者A、先行車両B、及び、自転車Cを囲む矩形がクラスタリングされた範囲である。認識処理部44は、クラスタリングされた領域の座標を決定する。座標は、例えば、視差画像の左上頂点を原点(0,0)、水平方向をX軸、上下方向をY軸として表す。

0065

続いて、ベリフィケーションについて説明する。ベリフィケーションとは、クラスタリングされた領域を、歩行者、車、自転車などの具体的な物体に特定することをいう。また、認識すべき物体でないと判定することもベリフィケーションである。ベリフィケーションが行われた矩形領域が特許請求の範囲の物体領域の一例である。

0066

ベリフィケーションは、以下のように、物体の認識に好適な様々なパラメータ項目)を用いた判断結果に基づき行われる。
・矩形領域の縦横比
・路面からの高さ(路面から矩形の底辺までの距離)
パターン認識などの画像認識処理による認識結果
・移動速度
これらは全ての物体について共通に行われるとは限らず、車両、歩行者、自転車などによって使用されないパラメータがあってもよい。

0067

縦横比による判断では、例えば縦>横の場合、歩行者と判断され、縦<横の場合、車両と判断される。また、自転車については、縦横比の時間的な変化などから判別される(歩行者に比べて変化が小さい)。

0068

路面からの高さによる判断では、例えば、路面上に存在する矩形領域であれば、車両又は自転車であると判断される。路面上に存在しない矩形領域であれば、例えば歩行者であると判断される。

0069

パターン認識などの画像認識処理による判断では、例えば、特徴量を用いた画像認識により特徴量が類似しているか否かを判断し、車両、歩行者、又は、自転車などが判別される。特徴量としては、Haar-like特徴量やHOG(Histograms of Oriented Gradients)特徴量が知られている。本実施形態ではどちらを使用してもよく、また、組み合わせて使用してもよい。

0070

いずれの特徴量の場合も、認識処理部44は、事前に物体の学習データを用いて、認識用辞書を作成する。すなわち、予め、車、歩行者、自転車等が撮像されている種々のサイズの画像データ(以下、正教師データという)を用意しておく。また、同じサイズの車や歩行者が撮像されていない画像データ(以下、負教師データという)を用意しておく。これらと識別用の特徴量(識別器)との比較結果から、各識別用の特徴量の重みづけを決定する。

0071

式(1)においてαtは識別用の特徴量の重みづけを、ht(x)は識別用の特徴量を、Tは識別用の特徴量の数をそれぞれ意味する。αtが学習データにより学習されているので、クラスタリングされた矩形領域に車や歩行者が含まれている場合、式(1)の算出結果は大きくなる。よって、式(1)による算出結果が閾値以上の場合、車、歩行者、又は、自転車(検出対象の物体)であると判断される。

0072

移動速度による判断では、例えば後述するX方向の移動速度が閾値以上であれば車両又は自転車と判断し、そうでない場合は歩行者と判断する。また、物体情報として自車両に対する相対速度が算出されることを利用して、自車両の速度を考慮して物体の路面に対する速度を推定してもよい。この場合、路面に対する速度から車両若しくは自転車か、歩行者かを判断できる。

0073

認識処理部44は、以上のようなパラメータの1つ以上を組み合わせてベリフィケーションを行い、クラスタリングされた物体が何かを判断する。そして、運転支援を行うべき対象である場合は、物体情報を時系列に監視する。

0074

〔物体情報〕
図9は、レーザーレーダー測距部12が検出する物体情報について説明する図の一例である。図9(a)は上面図を、図9(b)は側面図をそれぞれ示している。図9の座標では、自車両の先端部かつ車幅方向の中央を原点として、車幅方向をX軸(右向き正)、進行方向をZ軸、高さ方向をY軸(上方向が正)としている。また、レーザーレーダー測距部12の取り付け位置を車幅方向の中央からP、先端からQとしている。

0075

物体が検出された時の水平方向の方位をθ、距離をLとすると、物体のX座標、Z座標は以下の用に決定できる。
(X,Z)=(−P−Lsinθ,Lcosθ-Q)
また、レーザーレーダー測距部12が上下方向に走査しない場合、物体のY座標はゼロ(レーザーレーダー測距部12が取り付けられた地上からの高さ)でよい。仮に、図9(b)に示すように、レーザーレーダー測距部12が上下方向に走査する場合、物体が検出された時の仰角をα、距離をLとすると、物体のY座標は以下のように決定できる。したがって、三次元座標(X,Y,Z)を容易に求めることができる。
Y=Lsinα
認識処理部44は、時系列に座標(X,Y,Z)を監視し、距離の変化が閾値内で繰り返し検出される座標の物体は、同一の物体の座標であると判断する。相対速度は、現在の走査で物体が検出された場合の距離Lと次回の走査で物体が検出された場合の距離Lとの差、及び、走査の時間間隔とから算出される。また、移動方向は、ある時刻の座標と次の走査時の座標とを結ぶベクトルで表される。移動方向は、自車両と物体に衝突する関係(接近方向か否か)があるか否かを判断するために用いられるので、接近方向か否かを移動方向としてもよい。すなわち、Z座標が小さくなる傾向があり、かつ、X座標の絶対値が小さくなる傾向がある場合(接触する範囲のX座標であれば一定でもよい)接近方向であると判断される。

0076

続いて、画像から求められる物体情報について説明する。物体までの距離Lが分かっている場合、画像上の物体の撮像位置と実空間の三次元座標には、以下の関係がある。
X=xL/f
Y=yL/f
ここで、x、yは例えば画像データの中心を原点とする座標系における画素の座標である。fは焦点距離である。距離Lは視差から算出されているので、この式によりX、Yが求められる。距離LとX(又は距離LとY)からZも算出できる。XとZから方位θも算出できる。

0077

したがって、視差画像と輝度画像から、距離L、方位θ、X,Y,Zを求めることができる。なお、クラスタリングにより、画像で認識される物体は矩形で認識されているので、認識処理部44は少なくとも矩形の中心の距離L、方位、三次元座標などを使用し、必要に応じて矩形の対角頂点などの三次元座標を使用する。

0078

また、認識処理部44は、ベリフィケーションにより車両や歩行者などであると判断された場合、時系列に矩形領域を監視し、距離Lが同程度で矩形が重複する物体は同一の物体の矩形領域であると判断する。

0079

相対速度は、現在の画像で算出された物体の距離Lと次回、撮像された画像で算出された物体の距離Lとの差、及び、撮像の時間間隔とから算出される。移動方向についてはレーザーレーダー測距部12と同様である。

0080

図10は、時系列な物体情報を模式的に示す図の一例である。なお、レーザーレーダー測距部12が出力する物体情報と、認識処理部44が出力する物体情報の項目は同じである。図10では、ベリフィケーションされた1つの物体の物体情報を時系列に示している。認識処理部44は、同じ物体については過去の物体情報を参照できるので、クラスタリングを省略したり、ベリフィケーションのパラメータを簡略化することができ、初めて物体を認識する場合よりも早期にベリフィケーションを完了できる。

0081

図10の例では、時刻と共に、距離Lが短くなっている。相対速度は正の値で一定である。方位はゼロ°なので真正面の物体が相対的に接近している。また、座標はZ軸方向の値のみが短くなっている。このため移動方向は「接近」と判断される。この物体情報は予測情報を作成するために使用される。

0082

〔クラスタリングの前処理〕
図11は、路面領域の検出について説明する図の一例である。説明のため、物体はないものとして説明する。図11の左図は視差画像における路面領域を模式的に示し、図11の右図は視差ヒストグラムを示している。視差ヒストグラムは、視差dと視差画像のy座標の二次元平面に視差画像の水平方向1ラインの視差dを打点したものである。路面領域は平坦なので路面領域のみの水平方向1ラインの視差dはほぼ一定である(図11では視差d1〜d3で示した)。したがって、路面領域が存在する場合、水平方向1イランの視差dのヒストグラムはこの一定の視差dに集中する。例えば、視差ヒストグラムでは同じ水平方向1ラインの視差は視差d1、d2又はd3に集中する。

0083

視差dは遠方に行くほど(y座標が大きくなる方向)徐々に小さくなっていく。したがって、路面領域の視差dを上記二次元平面に打点すると、この打点は徐々に左上方向に移動する。

0084

平坦な道路ではy座標と視差dに比例関係があるため、視差ヒストグラムの打点は直線に近似できる。したがって、複数の打点からほぼ直線とみなしてよい直線を検出できれば、視差画像において路面領域を検知できる。直線の検出は、例えばハフ変換などを用いて行う。

0085

図12(a)は、物体がある場合の視差値のヒストグラムを説明する図の一例である。路面により直線状に視差が打点されるのは図11と同じだが、物体の視差による打点が直線状に現れる。物体がある範囲はほぼ一定の視差d0を有するので、物体が存在するy座標の範囲では物体の視差d0に直線状に打点される。したがって、視差d0の複数の打点は、y座標に平行な直線に近似できる。また、物体は必ず路面領域よりも自車位置に近いので(視差が大きいので)、物体の視差d0による直線は路面の直線よりも右側に生じる。

0086

図12(b)は、歩行者A、先行車両B、自転車Cが撮像されている場合に抽出される直線の一例を示す図である。物体が存在する視差d(図ではdA、dB、dC)では、y方向に平行に打点が集中することが分かる。換言すると、y方向に平行な直線に近似できた場合、直線があるy座標の範囲には物体が存在する可能性がある。以下、この直線を直線f(y・d)と称す。

0087

次に、図13に基づき、x座標と視差dの関係について説明する。図13の上図は視差画像を、下図は視差ヒストグラムをそれぞれ示す。図13は、視差画像のx座標と視差ヒストグラムの対応を模式的に説明する図の一例である。図13の視差ヒストグラムは、視差画像の垂直方向1ライン分の視差dのヒストグラムである。路面領域は、視差画像の高さ方向に徐々に変化するので、路面領域だけしかない垂直方向1ラインの視差dは集中して現れない。

0088

これに対し、物体が存在するx座標の範囲は、ほぼ一定の視差dを有するので、物体が存在するx座標の範囲では物体の視差dに同じ視差dが打点される。したがって、複数の視差dの打点をx座標に平行な直線に近似できる。

0089

図14は、歩行者A、先行車両B、自転車Cが撮像されている場合に抽出される直線の一例を示す図である。物体が存在する場所では、x方向に平行に視差が打点され直線への近似が可能であることが分かる。換言すると、x方向に平行な直線を検出できた場合、直線があるx座標の範囲には物体が存在する可能性がある。以下、この直線を直線g(d・x)と称す。

0090

図14に示す、y座標と視差dの関係とx座標と視差dの関係から明らかなように、同じ物体の視差dはy座標で見てもx座標で見ても同じである。例えば、自転車Cの直線f(y・d)と直線g(d・x)の視差dcはほぼ同じである。したがって、視差dcで、直線f(y・d)と直線g(d・x)を対応づけることで、視差画像で1つの物体が撮像されている範囲を特定できる。そしてこの範囲には物体(例えば自転車C)が存在する可能性が高いので、クラスタリングする始点O(図8(a))として決定できる。すなわち、路面よりも距離が近い画素領域に対し物体が存在する候補となる範囲(候補範囲)を検出できる。

0091

以上から、認識処理部44は、視差画像から直線の検出処理を行い直線f(y・d)と直線g(d・x)を検出することで、物体が存在する可能性が高い範囲を特定でき、効率的にクラスタリングを開始できる。

0092

〔予測情報〕
続いて、予測情報について説明する。認識処理部44としては、物体が画像のどの位置に撮像されるか(以下、予測撮像範囲という。予測撮像範囲は推定撮像範囲の一例である。)、及び、いつ撮像が開始されるかが分かることで、ベリフィケーションまでの時間を短縮できる。

0093

図15は、予測撮像範囲について説明する図の一例である。ステレオカメラ11の画角の範囲外に物体(車両A,B)が検出されている。ステレオカメラ11が撮像する画像では、路面などの撮像から明らかなように遠方の物体ほど、画像内の高い位置に撮像される。したがって、図15の2つの車両A,Bのうち、近い方の車両Aは画像の下の方に撮像され、遠い方の車両Bは画像の上の方に撮像される。実際の物体までの距離と、画像内の高さの関係は、画像処理装置100のメーカなどが予め実験的に定めておき、予測撮像範囲テーブルとして作成しておく。

0094

図16は、距離Lと予測撮像範囲とが対応づけられた予測撮像範囲テーブルの一例を示す図である。距離Lに対応づけて予測撮像範囲がピクセル数で対応づけられている。図16のa〜hはピクセルを示しており、例えば距離Lが「0〜2」〔m〕の場合、画像下部を基準にa番目のピクセルからb番目のピクセルまでの範囲が予測画像位置であることを意味している。a〜hには、a<b<c<d<e<f<g<hの関係がある。

0095

また、同じ物体であれば近くの物体ほど、占めるピクセル数が多いので、距離Lが短いほど予測撮像範囲のピクセル数が多くなっている。すなわち、a〜b>b〜c>c〜d>d〜e>e〜f>f〜g>g〜hである。

0096

なお、好ましくは、物体の種類毎に予測撮像範囲テーブルが用意される。例えば歩行者と車両では高さが異なるためである。ベリフィケーション前なので物体の種類は不明だが、レーザーレーダー測距部12が算出する移動速度や相対速度から物体の種類を推定することができる。

0097

また、予測撮像範囲の横幅は、例えば、予め設定された固定値とする。固定値としては、上下方向のピクセル数(すなわち、a〜b、b〜c、c〜d、d〜e、e〜f、f〜g、g〜h)を用いればよい。また、固定値としては、ベリフィケーションに最小限必要な横幅としてもよい。

0098

また、予測撮像範囲の横幅は、車両の移動速度と撮像時間の間隔を考慮して決定されてもよい。図17は、車両の移動速度と撮像時間の間隔に基づく予測撮像範囲の横幅について説明する図の一例である。物体情報には、三次元座標が含まれているので、時系列のX座標からX方向の移動速度Vxを求めることができる。また、撮像時間間隔既知制御値)である。例えば、
Vx=50〔km/h〕≒14〔m/s〕
撮像時間間隔=0.033〔秒〕=30〔fps〕
とする。
この場合、画像が1枚撮像される間に、物体が約50〔cm〕移動するため、50〔cm〕程度を予測撮像範囲の横幅に決定する。

0099

予測撮像範囲の横幅が分かることで、画像におけるピクセル数は以下のように求められる。上記のように、画像上の物体の撮像位置と実空間の三次元座標には、X=xL/fの関係がある。x、yは例えば画像データの中心を原点とする座標系における画素の座標であり、fは焦点距離、距離Lは視差から算出されている。したがって、X=50〔cm〕とした場合、距離Lと焦点距離fを用いてxを求めることができる。したがって、物体のX座標が撮像範囲に接近した場合、X方向の移動速度に応じて横幅を決定できる。

0100

なお、時間の経過と共に物体は画像の中央に近い領域で接近するので、予測情報作成部45は、時間の経過と共にx方向の予測撮像範囲を徐々に大きくする。大きくする程度は物体のX方向の移動速度Vxに基づき決定する。この予測撮像範囲を増大する処理は、物体の全部が撮像されるまで行えばよい。

0101

続いて、予測情報のうち撮像が開始される時間について説明する。
図18は、撮像が開始される時間について説明する図の一例である。物体のX座標とZ座標はレーザーレーダー測距部12によって検出されている。また、ステレオカメラの画角2βも既知である。これらにより、車幅方向の中心から撮像されている距離は「Z・tanβ」となる。したがって、物体が画角内に到達するまでには「X−Z・tanβ」の距離がある。

0102

物体のX方向の移動速度をVxとすると、撮像が開始される時間は以下のようになる。
撮像が開始される時間=(X−Z・tanβ)/Vx
認識処理部44は、予め、撮像が開始される時間を検知することで、どの画像から予測撮像範囲の物体認識を行うべきかを管理できる。例えば、画角に入る直前に画角にはいることを検知しても、物体の撮像が開始された画像から予測撮像範囲の物体認識を行うことが間に合わない可能性がある。本実施形態のように、撮像が開始される時間を予め検知することで、物体の撮像が開始された画像から予測撮像範囲の物体認識を行うことができる。したがって、早期のベリフィケーションが可能になる。

0103

〔予測情報を用いた物体認識〕
予測撮像範囲が分かることで、認識処理部44は予測撮像範囲に対しクラスタリングとベリフィケーションを行うことができる。

0104

図19は、予測撮像範囲に対するクラスタリングについて説明する図の一例である。上述したように、予測撮像範囲のx範囲とy範囲では直線が検出される可能性が高い。このため、認識処理部44は、視差ヒストグラムから、予測撮像範囲のx範囲とy範囲に対しそれぞれ直線検出を行う。

0105

そして、少なくとも一方で直線が抽出された場合に、クラスタリングを開始する。このように、予測撮像範囲から直線を検出することで直線検出が容易になるだけでなく、直線検出が予想される範囲ではx方向又はy方向の1本の直線だけでクラスタリングを開始するので、クラスタリングまでの時間を短縮できる。

0106

また、さらに、直線の抽出の閾値を緩和することも有効である。認識処理部44は、例えば、y方向の直線の傾きとしてy方向だけでなく垂直方向に対し一定角度のずれを許容する(視差ヒストグラムの垂直方向に対する傾きが、時計回り又は反時計回りに一定角度以内であれば直線と見なす)。同様に、x方向の直線の傾きとしてx方向だけでなく水平方向に対し一定角度のずれを許容する(視差ヒストグラムの水平方向に対する傾きが、時計回り又は反時計回りに一定角度以内であれば直線と見なす)。

0107

また、直線の長さに対し、進入方向であるx方向について直線抽出されたと判定する閾値を緩和することが有効である。例えば、予測撮像範囲ではなく通常の画像認識ではM以上の長さの直線が検出されていることを条件とする場合、予測撮像範囲についてはM未満でも直線が抽出されたと判定する。例えば、予測撮像範囲の横幅の半分程度の長さの直線が抽出された場合、閾値Mに関係なく直線が抽出されたと判定する。こうすることでクラスタリングを開始するための条件を成立させやすくすることができる。

0108

さらに、図20に示すように、後方から接近する物体を早期に認識するため、垂直、水平以外の直線を抽出することが有効である。図20は、後方から接近する物体のクラスタリングについて説明する図の一例である。図に一例として示しているように、物体の側面は、画像処理装置100から斜めに見えており、図では車両の先端に近い方から車両の後端に近づくにつれて、距離が近くなっている。後方から接近する物体の場合、物体の側面が背面よりも先に撮像範囲にはいるため、物体が撮像されている範囲の視差が一定にならない場合がある。すなわち、y座標が大きいほど視差が小さくなるので直線f(y・d)は左斜め上方向の直線になる。x座標が大きいほど視差が小さくなるので直線g(d・x)は右斜め下方向の直線になる。どの程度の傾きとなるかは、実験的に確認することができる。

0109

したがって、認識処理部44は、予測撮像範囲のx範囲とy範囲に対しそれぞれ直線検出を行った際に、直線f(y・d)が左斜め上方向の直線となるか又は直線g(d・x)が右斜め下方向の直線となるかを判定する。そして、少なくとも一方で直線が抽出された場合に、クラスタリングを開始する。従来では、垂直な直線f(y・d)と水平な直線g(d・x)が検出されないとクラスタリングされなかったが、本実施形態では、予測撮像範囲では傾いた直線を検出してクラスタリングすることができる。したがって、背面が撮像されるまでにクラスタリングでき、物体の認識を早期に行うことができる。

0110

図21は、物体が右後方から接近する場合の直線f(y・d)と直線g(d・x)の一例である。右後方から物体が接近する場合、直線f(y・d)が左斜め上方向の直線になるのは同じである。これに対し、直線g(d・x)は、x座標が小さくなるほど視差が小さくなるので左斜め下方向の直線になる。

0111

したがって、認識処理部44は、物体が左後方から接近するか(画像の左端に撮像されるか)右後方から接近するか(画像の右端に撮像されるか)により、検出すべき直線g(d・x)の傾きを変更する。接近する方向は予測撮像範囲から明らかである。換言すると、予測撮像範囲に応じてクラスタリングのための判断基準を変更することで、一部しか撮像されない物体のクラスタリングが容易になる。

0112

なお、クラスタリングされる領域は視差値に基づき決定されるため、予測撮像範囲とは必ずしも一致しないが、以下では説明のため、予測撮像範囲に対しベリフィケーションされるものとする。

0113

続いて、予測撮像範囲のベリフィケーションについて説明する。予測撮像範囲は、物体の一部しか撮像されていないことが多いので、ベリフィケーションのパラメータの1つである矩形領域の縦横比は、判断に用いない。また、路面からの高さで判断すると、画角の外から接近する物体を物体でないと判断するおそれがあるので判断に用いない。

0114

これに対し、パターン認識などによる画像認識処理では、認識処理部44は予測撮像範囲の画像(物体の一部の画像)を認識可能な識別器を使用する。具体的には、予め、車、歩行者、自転車等の物体の一部が撮像されている正教師データと負教師データを用意しておき、識別用の特徴量の重みづけを決定する。物体の一部しか撮像されていないことを想定して識別器を切り替えることで、予測撮像範囲の物体のベリフィケーションの時間を短縮できる。

0115

また、移動速度については、予測撮像範囲でない場合と同様に扱う。すなわち、X方向の移動速度が大きい物体は、車両又は自転車であると認識する。

0116

このように、予測撮像範囲では、ベリフィケーションのためのパラメータを切り替えることで、車両の一部しか撮像されていない場合でもベリフィケーションが終了するまでの時間を短くできる。例えば、縦横比や路面からの高さはベリフィケーションに採用されず、パターン認識などによる画像認識処理と移動速度が採用されているので、結果的にこれら2つのパラメータの重みづけが増大する。したがって、例えば、パターン認識などによる画像認識処理では車両と認識できる程度の確度が得られなくても、X方向の移動速度が大きい物体について車両や自転車であると判別できる。したがって、予測撮像範囲以外の物体よりも早期に車両又は自転車であると認識できる。

0117

〔予測撮像範囲を利用した画像認識の一例〕
図22は、予測撮像範囲を利用した画像認識の一例を説明する図である。図22(a)では、ステレオカメラの画角の範囲外に、レーザーレーダー測距部12により物体(車両)が検出されている。レーザーレーダー測距部12は、物体情報を取得し、認識処理部44に出力している。予測情報作成部45は物体情報に基づき予測情報を作成する。認識処理部44は、予測情報によりいつから予測撮像範囲に対し物体の認識を開始すればよいかを把握できる。

0118

図22(b)では、予測撮像範囲に物体の一部の撮像が開始されている。認識処理部44は、予測撮像範囲のx領域とy領域に基づき視差ヒストグラムの視差の打点から直線を抽出する。これにより、物体の一部のみをクラスタリングすることができる。また、認識処理部44はクラスタリングされた領域に対しベリフィケーションを行う。撮像されているのは一部でも、パターン認識などによる画像認識処理とX方向の移動速度によりベリフィケーションすることができる。

0119

図22(c)では、物体のほぼ全てが撮像されている。この時点ではベリフィケーションが完了しているので、ECU13は物体情報に基づき運転支援を行うことができる。

0120

図22(d)では、自車両の前方に物体が存在するが、すでにECU13が運転支援を開始しているため余裕を持って異常接近を回避できる。

0121

動作手順
図23は、認識処理部44が物体を認識処理する手順を示すフローチャート図の一例である。

0122

認識処理部44は視差演算部43から周期的に輝度画像を取得している(S10)。輝度画像は、例えばモノクロ画像、カラー画像、偏光画像、視差画像等である。

0123

認識処理部44は、認識処理を開始する(S20)。すなわち、視差画像からヒストグラムを作成し、直線を検出する処理などを行う。

0124

また、認識処理部44は、レーザーレーダー測距部12から周期的に物体情報を取得する(S30)。

0125

認識処理部44の予測情報作成部45は、物体情報から予測情報を作成する(S40)。予測情報は、予測撮像範囲、及び、撮像が開始されるまでの時間である。

0126

次いで、認識処理部44は、予測情報を用いてクラスタリングを行う(S50)。これにより、物体の一部が含まれる矩形領域を検出できる。

0127

認識処理部44は、クラスタリングされた物体をベリフィケーションする(S60)。これにより、物体の一部しか撮像されていなくても物体を車両、自転車、歩行者などに分類できる。また、物体までの距離、三次元座標、相対速度、移動方向などの物体情報を検出できる。

0128

認識処理部44は運転支援すべきか否かを判定する(S70)。運転支援する場合とは、例えば物体の横位置が自車両の車幅と重複しており、かつ、TTCが閾値以下になった場合である。

0129

運転支援する場合(S70のYes)、認識処理部44はECU13に運転支援を要求する(S80)。

0130

これにより、ECU13は運転支援を行う(S90)。したがって、画角の外から進入してくる物体に対し早期に運転支援を開始できる。

0131

〔単眼カメラの場合〕
これまではステレオカメラ11が画像を撮像するものとして説明したが、本実施形態の画像処理は単眼カメラが画像を撮像しても行うことができる。

0132

図24は、単眼カメラの場合のレーザーレーダー測距部12と画像処理装置100の機能ブロック図の一例を示す。なお、以下では主に図6と異なる部分について説明する。図24の画像処理装置100は視差演算部43を有していないため、認識処理部44は視差値のヒストグラムに基づく直線認識を行わない。したがって、クラスタリングも行わない。しかし、例えば白線認識などにより路面領域を検出できる。

0133

一方、認識処理部44はパターン認識などの画像認識処理により物体を認識できるので、画像から、車両、自転車、歩行者等を認識できる(ベリフィケーションできる)。しかしながら、クラスタリングが行われないので物体が存在する範囲を推定しておらず、ステレオ画像を利用してクラスタリングする場合よりもベリフィケーションの終了までに時間がかかる。

0134

図24の予測情報作成部45も予測情報を作成するが、予測情報の作成には画像の視差値を使用していないので作成方法はステレオカメラ11の場合と同じである。また、ベリフィケーションについては、パターン認識などによる画像認識処理とX方向の移動速度が用いられるので、単眼カメラの場合でも、認識処理部44は予測撮像範囲の物体の一部をベリフィケーションすることができる。このように、本実施形態の画像処理は撮像手段が単眼カメラの場合でも適用できる。

0135

図25は、物体認識に必要な時間を測定した実験結果の一例を示す図である。なお、カメラの撮像時間間隔は30fpsである。認識に必要な時間は、撮像時間間隔にも依存するので(単位時間当たりのフレーム数)、図25数値は一例である。

0136

まず、本実施形態の予測情報を用いた場合を説明する。ステレオカメラが用いられ場合、輝度画像を取得してから約66ミリ秒(2フレーム)でベリフィケーションが完了する。単眼カメラでは約100秒(3フレーム)でベリフィケーションが完了する。

0137

これに対し、予測情報を用いない場合は、ステレオカメラが用いられた場合でもベリフィケーションに約165秒(5フレーム)必要である。

0138

したがって、予測情報を用いることで認識に必要な時間を約三分の一に短縮できる。また、単眼カメラの場合でも予測情報を用いない場合より、認識に必要な時間を約三分の二以下に短縮できる。

0139

以上説明したように、本実施形態の画像処理装置100は、撮像手段が撮像した画像とレーザーレーダーを組み合わせることで、画角の外から急に現れる物体の認識に必要な時間を短縮できる。

0140

また、本発明を実施するための形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

0141

例えば、上記の実施形態では画像処理装置100が予測情報を作成していたが、レーザーレーダー測距部など他の車載装置が予測情報を作成してもよい。また、携帯電話網などで接続された車外のサーバなどが予測情報を作成してもよい。

0142

また、例えば、ステレオカメラは車両前方を撮像可能なように搭載されるが、前方だけでなく後方、後側方などを撮像可能なように搭載されてもよい。

0143

また、画像処理装置100が搭載される車両としては四輪の自動車の他、三輪車車輪数が4つより多い大型のトラックなどでもよい。また、いわゆるオートバイと呼ばれる自動二輪車に搭載されてもよい。また、海上を走行するボートヨットなどに搭載されていてもよい。

0144

11ステレオカメラ
12レーザーレーダー測距部
13 ECU
41,42 前処理部
43視差演算部
44認識処理部
45予測情報作成部
100画像処理装置
200 運転支援システム

先行技術

0145

特開2013‐215804号公報

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 三菱電機株式会社の「 交通流推定システム」が 公開されました。( 2019/08/08)

    【課題・解決手段】本発明は交通流推定システムに関し、第1および第2の車両と通信し、収集した走行軌跡情報および移動観測情報を用いて交通流を推定するセンタ装置において、走行軌跡情報および移動観測情報の交差... 詳細

  • 富士フイルム株式会社の「 投写型表示装置、表示制御方法、及び表示制御プログラム」が 公開されました。( 2019/08/08)

    【課題・解決手段】重要な情報の表示遅延をなくして安全な運転を支援することのできる投写型表示装置、表示制御方法、及び表示制御プログラムを提供する。HUD100は、動きセンサ50によって測定された測定情報... 詳細

  • ライフログテクノロジー株式会社の「 食事管理システム」が 公開されました。( 2019/07/25)

    【課題】食事管理における利用者利便性の向上を図る。【解決手段】本発明に係る食事管理システムは、ユーザ端末のアプリケーションプログラムと、サーバ装置とを含み、アプリケーションプログラムは、コンピュータを... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ