図面 (/)

技術 環境認識装置

出願人 日立オートモティブシステムズ株式会社
発明者 堀田都土井宏治竹村雅幸
出願日 2016年4月1日 (5年10ヶ月経過) 出願番号 2016-074561
公開日 2017年10月12日 (4年4ヶ月経過) 公開番号 2017-187858
状態 特許登録済
技術分野 イメージ分析
主要キーワード 変化量予測 基準平均値 相関直線 垂直方向軸 水平方向軸 平均値算出処理 閾値値 閾値判定処理
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年10月12日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

対象となる光点の高さが不明でも、静止光点と移動光点とを識別可能環境認識装置を提供する。

解決手段

自車に搭載されたカメラC1で複数の時点で撮影された各々の画像から光点を検出する光点検出部12と、前記複数の時点で撮影された画像から検出された光点のうち同一と判断される光点の位置のばらつきに基づいて、前記光点が地面に対して移動する光点か否かを判断する移動光点判断部15と、を備える。

概要

背景

夜間等の交通安全確保(支援)のため、自車前方の環境に応じてヘッドライトを適切に制御することで、運転者視界確保を補助する配光制御重要性が注目されている。この配光制御では、車両前方先行車および対向車が存在しないときはヘッドライトをハイビームに設定し、先行車または対向車が存在するときはヘッドライトをロービームに設定する。このような配光制御を実現するため、車両前方に搭載した車載カメラを利用して、車両(他車)のライトを検出し、その検出信号に基づき自車のライトをロービームに切り替え技術開発が進められている。

ところで、夜間は、対向車のヘッドライトや先行車のテールライト以外にも、街灯、信号、反射板など、様々なライト(光点点光源ともいう)が存在する。そのため、これら車両以外のライトと車両のヘッドライト・テールライトを識別することで、車両以外のライトを誤検出し、車両がいない時に自車のヘッドライトをロービームに切り替えてしまうことを防止する技術開発も同時に進められている。しかし、特に遠方のライトについては、通常、1フレームの画像からは車両のライトかそれ以外のライトかの区別がつきにくいといった問題があった。

このような問題に対し、特許文献1には、車載用撮像装置から取得した画像から予め記憶されたパターン形状を用いて対象物候補を抽出し、取得された前記画像が複数に分割された領域毎に異ならせて設定された対象物変化量予測計算方法と、検出された自車両挙動情報と、前記対象物候補の位置と、に基づいて、抽出された前記対象物候補の変化量予測を計算し、前記対象物の予測位置に基づいて対象物をトラッキングするとともに、その対象物をトラッキングした結果に基づいて、対象物(光点)が路上静止物体か否か判定する従来技術が開示されている。

より詳しくは、前記特許文献1に所載の車載用環境認識装置および車載用環境認識システムは、自車の挙動等を用いて対象物候補(点光源候補)の予測位置を算出し、その予測位置に類似した場所に存在する点光源候補をトラッキングする。この際、路面上の高さを仮定した場合における変化量予測計算の結果と毎フレームごとに類似した場所でトラッキングが成立する場合、その点光源候補は路上静止物体である可能性が高いとして、非移動物体と判定する技術である。

概要

対象となる光点の高さが不明でも、静止光点と移動光点とを識別可能環境認識装置を提供する。自車に搭載されたカメラC1で複数の時点で撮影された各々の画像から光点を検出する光点検出部12と、前記複数の時点で撮影された画像から検出された光点のうち同一と判断される光点の位置のばらつきに基づいて、前記光点が地面に対して移動する光点か否かを判断する移動光点判断部15と、を備える。

目的

本発明は、前記課題に鑑みてなされたものであって、その目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

自車に搭載された撮像装置で複数の時点で撮影された各々の画像から光点を検出する光点検出部と、前記複数の時点で撮影された画像から検出された光点のうち同一と判断される光点の位置のばらつきに基づいて、前記光点が地面に対して移動する光点か否かを判断する移動光点判断部と、を備えることを特徴とする環境認識装置

請求項2

請求項1に記載の環境認識装置において、前記撮像装置で過去に撮影された画像から検出された光点の位置を用いて、前記光点の位置のばらつきを算出するための基準を作成する基準作成部を備えることを特徴とする環境認識装置。

請求項3

請求項2に記載の環境認識装置において、前記基準作成部は、前記撮像装置で過去に撮影された画像から検出された光点の位置を用いて所定期間における前記光点の移動量を算出するとともに、前記所定期間における前記光点の移動量と前記所定期間と同期間における自車の移動量とに基づいて前記基準を作成することを特徴とする環境認識装置。

請求項4

請求項3に記載の環境認識装置において、前記基準作成部は、前記所定期間における前記光点の移動量と前記所定期間と同期間における自車の移動量との相関関係に基づいて前記基準を作成することを特徴とする環境認識装置。

請求項5

請求項4に記載の環境認識装置において、前記相関関係は、前記所定期間における前記光点の移動量と前記所定期間と同期間における自車の移動量とから決定される相関直線によって表わされることを特徴とする環境認識装置。

請求項6

請求項4に記載の環境認識装置において、前記基準作成部は、前記所定期間における前記光点の移動量と前記所定期間と同期間における自車の移動量との比率から前記基準を作成し、前記移動光点判断部は、前記比率のばらつきに基づいて、前記光点が地面に対して移動する光点か否かを判断することを特徴とする環境認識装置。

請求項7

請求項3に記載の環境認識装置において、前記基準作成部は、前記光点の高さを所定値に設定し、透視変換を用いて前記画像上の前記光点の画面座標から三次元的な世界座標導出して、前記光点の移動量を算出することを特徴とする環境認識装置。

請求項8

請求項1に記載の環境認識装置において、自車のヘッドライト配光状態ハイビームロービームとで切り替え配光制御部を備えるとともに、前記配光制御部は、前記画像から検出された各々の光点の位置のばらつきが所定値以下の場合のみ、前記配光状態のハイビームへの切り替えを許可することを特徴とする環境認識装置。

請求項9

請求項3に記載の環境認識装置において、自車から前記光点までの距離を計測する距離計測部と、前記距離計測の信頼度を判断する距離計測信頼度判断部とを備えるとともに、前記距離計測信頼度判断部は、前記距離計測の信頼度が所定の閾値より高い場合のみ、前記撮像装置で過去に撮影された画像から検出された光点の位置を用いて算出された前記光点の移動量を前記距離計測部で計測された距離に基づき算出される前記光点の移動量に置き換えることを特徴とする環境認識装置。

請求項10

請求項9に記載の環境認識装置において、前記距離計測信頼度判断部は、前記距離計測部から得られる前記光点の高さに基づいて、前記距離計測の信頼度を算出することを特徴とする環境認識装置。

請求項11

請求項10に記載の環境認識装置において、前記距離計測信頼度判断部は、前記距離計測部から得られる前記光点の高さ変動に基づいて、前記距離計測の信頼度を算出することを特徴とする環境認識装置。

請求項12

請求項9に記載の環境認識装置において、前記距離計測部は、前記撮像装置を含む複数の撮像装置から取得される複数の画像から、前記光点までの距離を計測することを特徴とする環境認識装置。

請求項13

自車に搭載された撮像装置で撮影された画像から、地面に対して移動する光点及び/又は地面に対して静止する光点を認識する環境認識装置であって、前記撮像装置で複数の時点で撮影された各々の画像から光点を検出する光点検出部と、自車の移動状態に関する情報を取得する自車移動状態取得部と、前記複数の時点で撮影された画像から検出された光点から同一と判断される光点を追跡し、所定期間における前記光点の移動量を算出するとともに、前記自車移動状態取得部で取得された情報に基づいて前記所定期間と同期間における前記自車の移動量を算出し、前記所定期間における前記光点の移動量と前記所定期間と同期間における前記自車の移動量との相関関係から、前記光点の位置のばらつきを算出するための基準を作成する基準作成部と、前記基準から算出される前記光点の位置のばらつきに基づいて、前記光点が地面に対して移動する光点か地面に対して静止する光点かを判断する移動光点判断部と、を備えることを特徴とする環境認識装置。

請求項14

自車に搭載された複数の撮像装置で撮影された画像から、地面に対して移動する光点及び/又は地面に対して静止する光点を認識する環境認識装置であって、前記複数の撮像装置のうちの一つの撮像装置で複数の時点で撮影された各々の画像から光点を検出する光点検出部と、自車の移動状態に関する情報を取得する自車移動状態取得部と、前記複数の時点で撮影された画像から検出された光点から同一と判断される光点を追跡し、所定期間における前記光点の移動量を算出するとともに、前記自車移動状態取得部で取得された情報に基づいて前記所定期間と同期間における前記自車の移動量を算出し、前記所定期間における前記光点の移動量と前記所定期間と同期間における前記自車の移動量との相関関係から、前記光点の位置のばらつきを算出するための基準を作成する基準作成部と、前記基準から算出される前記光点の位置のばらつきに基づいて、前記光点が地面に対して移動する光点か地面に対して静止する光点かを判断する移動光点判断部と、前記複数の撮像装置で撮影された画像から前記光点までの距離を計測する距離計測部と、前記距離計測部から得られる前記光点の高さに基づいて前記距離計測の信頼度を判断し、前記距離計測の信頼度が所定の閾値より高い場合のみ、前記基準作成部における前記所定期間における前記光点の移動量を前記距離計測部で計測された前記光点までの距離から算出される前記所定期間における前記光点の移動量に置き換える距離計測信頼度判断部と、を備えることを特徴とする環境認識装置。

技術分野

0001

本発明は、環境認識装置係り、例えば配光制御向けの環境認識装置に関する。

背景技術

0002

夜間等の交通安全確保(支援)のため、自車前方の環境に応じてヘッドライトを適切に制御することで、運転者視界確保を補助する配光制御の重要性が注目されている。この配光制御では、車両前方先行車および対向車が存在しないときはヘッドライトをハイビームに設定し、先行車または対向車が存在するときはヘッドライトをロービームに設定する。このような配光制御を実現するため、車両前方に搭載した車載カメラを利用して、車両(他車)のライトを検出し、その検出信号に基づき自車のライトをロービームに切り替え技術開発が進められている。

0003

ところで、夜間は、対向車のヘッドライトや先行車のテールライト以外にも、街灯、信号、反射板など、様々なライト(光点点光源ともいう)が存在する。そのため、これら車両以外のライトと車両のヘッドライト・テールライトを識別することで、車両以外のライトを誤検出し、車両がいない時に自車のヘッドライトをロービームに切り替えてしまうことを防止する技術開発も同時に進められている。しかし、特に遠方のライトについては、通常、1フレームの画像からは車両のライトかそれ以外のライトかの区別がつきにくいといった問題があった。

0004

このような問題に対し、特許文献1には、車載用撮像装置から取得した画像から予め記憶されたパターン形状を用いて対象物候補を抽出し、取得された前記画像が複数に分割された領域毎に異ならせて設定された対象物変化量予測計算方法と、検出された自車両挙動情報と、前記対象物候補の位置と、に基づいて、抽出された前記対象物候補の変化量予測を計算し、前記対象物の予測位置に基づいて対象物をトラッキングするとともに、その対象物をトラッキングした結果に基づいて、対象物(光点)が路上静止物体か否か判定する従来技術が開示されている。

0005

より詳しくは、前記特許文献1に所載の車載用環境認識装置および車載用環境認識システムは、自車の挙動等を用いて対象物候補(点光源候補)の予測位置を算出し、その予測位置に類似した場所に存在する点光源候補をトラッキングする。この際、路面上の高さを仮定した場合における変化量予測計算の結果と毎フレームごとに類似した場所でトラッキングが成立する場合、その点光源候補は路上静止物体である可能性が高いとして、非移動物体と判定する技術である。

先行技術

0006

特許5320331号公報

発明が解決しようとする課題

0007

しかしながら、車両のライトと誤検知するライトには、街灯、信号、標識の反射など、様々な高さのものが存在するため、そのような様々なライトの路面上の高さを仮定して、非移動物体(静止光点)あるいは移動物体(移動光点)を識別することは困難である。

0008

本発明は、前記課題に鑑みてなされたものであって、その目的とするところは、対象となる光点の高さが不明でも、静止光点と移動光点とを識別可能な環境認識装置を提供することにある。

課題を解決するための手段

0009

上記する課題を解決するために、本発明に係る環境認識装置は、自車に搭載された撮像装置で複数の時点で撮影された各々の画像から光点を検出する光点検出部と、前記複数の時点で撮影された画像から検出された光点のうち同一と判断される光点の位置のばらつきに基づいて、前記光点が地面に対して移動する光点か否かを判断する移動光点判断部と、を備える。

発明の効果

0010

本発明によれば、複数の時点で検出された光点の位置のばらつきに基づいて、前記光点が地面に対して移動する光点か否かを判断することで、対象となる光点の高さが不明でも、静止光点と移動光点とを効率的に識別することができる。

0011

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

図面の簡単な説明

0012

本発明に係る環境認識装置の第一実施形態の内部構成を示すブロック図である。
図1に示す基準作成部の内部構成を示すブロック図である。
カメラで撮影した画像の画面座標系と、その画面座標系を三次元に変換した世界座標系の関係を説明する図である。
図2に示す光点移動量算出部の処理を説明する図であり、画像から特徴点を検出した例を示す図である。
カメラから取得し得る光点の移動量について説明する図である。
画面上で追跡した静止光点の一例を示す図である。
静止光点の画面座標と、その画面座標を世界座標に変換した結果としてのX,Y,Z座標と、世界座標上での移動量の一例を示す図である。
自車移動量を横軸、光点移動量を縦軸として、自車移動量と光点移動量との関係をプロットした例を示す図である。
2種類の光点を追跡し、その光点の世界座標上の移動量と自車移動量との関係をプロットした例を示す図である。
図2に示す光点毎基準格納部に格納される格納データの一例を示す図である。
図1に示す移動光点判断部の処理の流れを示すフロー図である。
図1に示す移動光点判断部の処理が終了した時点(時刻t)の光点毎基準格納部に格納される格納データの状態を示す図である。
図1に示す配光制御部の処理を説明する図であり、時刻tの時点でカメラから撮影した画像の一例を示す図である。
図1に示す配光制御部の処理を説明する図であり、時刻t+1の時点でカメラから撮影した画像の一例を示す図である。
図1に示す配光制御部の処理を説明する図であり、移動光点判断部の処理が終了した時点(時刻t+1)の光点毎基準格納部に格納される格納データの状態を示す図である。
本発明に係る環境認識装置の第二実施形態の内部構成を示すブロック図である。
図16に示す距離計測信頼度判断部の内部構成を示すブロック図である。
図17に示す光点位置情報格納部に格納される格納データの一例を示す図である。
図17に示す光点高さ変動判断部の原理を説明する図である。
図17に示す光点高さ変動判断部で変動の大きさから信頼度を判断した結果の一例を示す図である。

実施例

0013

以下、本発明の実施形態について図面を参照して説明する。

0014

なお、以下では、本発明に係る環境認識装置が搭載された車両の配光状態を制御(配光制御、ヘッドライト制御)するために、撮像装置としてのカメラを車両の前方を撮影するように正面に向けて配設して、自車両の前方の対象物(光点、点光源)を検出する場合について説明するが、本発明は、自車両の後方側方の対象物を検出する場合にも適用できることは当然である。

0015

[第一実施形態]
図1は、本発明に係る環境認識装置の第一実施形態の内部構成を示すブロック図である。

0016

図示するように、環境認識装置1は、基本的に、画像取得部11と、光点検出部12と、自車移動状態取得部13と、基準作成部14と、移動光点判断部15と、配光制御部16とから構成されている。

0017

画像取得部11は、例えば車両の前方に設置したカメラ(単眼カメラ)C1から、当該車両(自車)の前方の画像を定期的に(時系列で)取得する。

0018

光点検出部12は、画像取得部11で取得した画像から、当該画像に含まれる光点の情報を検出する。この光点検出部12では、取得した画像から、適切な閾値二値化することで高輝度領域を抽出するなどの手段で、光点を検出する。また、本環境認識装置1では、先行車(のテールライト)と対向車(のヘッドライト)を両方を求めるので、高輝度領域のみでなく、カラー画像情報を用いて赤色の領域を抽出することによっても、光点を検出する。

0019

光点検出部12は、抽出した領域について、領域の外接矩形の座標、抽出した領域の高輝度画素面積輝度等の情報を求める。また、輝度については、領域全体平均値最大値最小値等の代表値を持たせておく。

0020

自車移動状態取得部13は、自車の走行状態計測する各種センサから得られる走行状態に関する情報を、単位時間ごとに(定期的に)取得する。ここで取得する情報としては、自車の動いた距離(移動量)を算出することが可能なパラメータであれば、何を用いてもよいが、例えば、車速センサから得られる速度、操舵角センサから得られるハンドル操舵角ヨーレートセンサから得られるヨーレート等が挙げられる。

0021

基準作成部14は、光点検出部12で複数の時点で(つまり、複数の時点で撮影された各々の画像から)検出された光点の情報および自車移動状態取得部13で取得された自車の走行状態に関する情報を用いて、検出された光点が地面に対して移動しているか否か(あるいは、検出された光点が地面に対して静止しているか否か)を判断するための基準を作成する。

0022

本実施形態では、画像における画面座標上での光点の移動から、世界座標上での移動量を推定し、その光点の移動量(光点移動量)と自車の移動量(自車移動量)との相対値の平均を基準として作成する(後で詳述)。

0023

移動光点判断部15は、基準作成部14で作成した基準に基づき、光点検出部12で検出された画像中の各々の光点が移動光点(地面に対して移動している光点)であるか静止光点(地面に対して静止している光点)であるかを判断する。

0024

配光制御部16は、移動光点判断部15での判断結果(検出した光点が移動光点であるか静止光点であるか)に基づき、自車のヘッドライトをハイビームにするかロービームにするかの配光制御を決定する。ここでの配光制御は、通常は自車のヘッドライトをハイビームにしておき、先行車のテールライト、対向車のヘッドライトなどが検出された場合には、当該他車両のドライバ幻惑させないように自車のヘッドライトをロービームに切り替える処理である。したがって、配光制御部16は、移動光点判断部15で移動光点と判断した光点が一つでもあれば、配光状態をロービームとする。一方で、移動光点判断部15で移動光点と判断した光点が一つもなければ(言い換えれば、移動光点判断部15で全ての光点が静止光点と判断した場合のみ)、ロービームからハイビームへの切り替えを許可する。

0025

次に、本発明に係る環境認識装置1の特徴部分である、基準作成部14、移動光点判断部15、および配光制御部16について、図2図14を用いてより詳細に説明する。

0026

<基準作成部>
前記基準作成部14は、図2に示すように、主に、光点追跡部21と、光点移動量算出部22と、自車移動量算出部23と、光点毎基準格納部24とから構成されている。

0027

光点追跡部21は、光点検出部12によってある時刻t(で撮影された画像)と次の時刻t+1(で撮影された画像)でそれぞれ検出された(画像中の)複数の光点につき、同一の光点をマッチングにより求める。このマッチングには、様々な方法が考えられ、光点の移動軌跡を求めることができれば、いずれの手法を用いてもよいが、例えば、画像取得周期が短い場合には、画像上の位置の最も近い光点をマッチングする方法がある。また、過去の追跡処理により得られる画像上の移動方向と移動距離とにより次時刻の移動位置を予測し、その予測位置に最も近い光点をマッチングする方法もある。また、上記特許文献1に見られるように、自車の移動状態から次時刻の世界座標上での移動量を求め、それを透視変換により画像上の位置に換算することで予測位置を求め、その予測位置に最も近い光点をマッチングする方法もある。

0028

光点移動量算出部22は、光点追跡部21の追跡結果により得られた画面上の光点(同一と判断された光点)の移動軌跡から、その光点の世界座標上の移動量を推定する。

0029

この光点移動量算出部22による光点移動量の推定方法を、図3を用いて説明する。図3の31は車載カメラC1で撮影した画像の画面座標系であり、33の水平方向軸uと、34の垂直方向軸vの二次元座標で表される。図3の32は、31の画面座標系を三次元に変換した世界座標系であり、36の水平方向軸Xと、37の垂直方向軸Yと、38の奥行き方向軸Zで表される。

0030

画面座標系31上のp301で表される点(u1,v1)を、世界座標系32上のp302で表される点(X1,Y1,Z1)に変換する場合、下記の式(1)が成り立つ。
(数1)
Z1=(fy*Y1)/(v1-Vpy)
X1=((u1-Vpx)*Z1)/fx …(1)
但し fx,fy :焦点距離[pixel]
(Vpx,Vpy):消失点座標

0031

焦点距離と消失点座標は、カメラの内部パラメータとして一意に求まる値である。式(1)により、時刻毎の画面座標(系)を世界座標(系)に変換することで、高さを仮定した上での移動距離を推定可能である。

0032

式(1)中、点の世界座標上の高さを表すY1は、光点検出部12で検出する画像上の光点の位置からは求まらないが、これは、例えば1など、適当な所定値に仮定して算出する。Y1を仮定して算出する理由については、後で詳述する。

0033

光点移動量算出部22は、光点追跡部21で追跡した光点の画面上の座標から世界座標に変換した後、世界座標上の距離を算出することで、追跡した光点間の移動量を算出する。

0034

図4は、この光点移動量算出部22の処理を説明するための図である。41に示す画面座標系上で、画像上の光点は光点追跡部21によりp401,p402,p403,p404,p405の位置で順に検出されたものとする。なお、これらの位置は異なる時刻の画像でそれぞれ検出されたものであるが、ここでは説明の便宜のために同じ画像上に示している。この画面座標系上での位置を、42に示す世界座標系上での位置へ、上記式(1)を用いて変換した位置がp406,p407,p408,p409,p410となる。それぞれの世界座標上の位置が求まれば、移動量は、光点の前後の位置の座標から求めることができる。

0035

自車移動量算出部23は、自車移動状態取得部3で取得した自車の走行状態に関する情報から、前記光点移動量算出部22で移動量を算出した期間と同期間の自車の移動量を算出する。

0036

この自車移動量の算出方法は、自車移動状態取得部13で取得できる情報の内容に依存するが、ここでは、周期Δt(sec)ごとに車速ν(m/sec)、ヨーレートρ(deg/sec)が取得できるものとする。

0037

周期Δt間の移動量Lは、以下の式(2)で求められる。
(数2)

0038

光点移動量算出部22および自車移動量算出部23は、算出した移動量(光点移動量、自車移動量)を、時刻のインデックス一緒に当該光点移動量算出部22および自車移動量算出部23に格納しておき、時刻で参照できるようにする。

0039

光点毎基準格納部24は、光点移動量算出部22で算出した光点移動量と、自車移動量算出部23で算出した自車移動量とに基づき作成した基準を格納する。

0040

ここで、光点毎基準格納部24に格納される基準の原理とその作成方法について説明する。

0041

図5は、カメラC1から取得し得る光点の移動量について説明するための図であり、走行中の車両に搭載した車載カメラC1で取得した画像を表わしているものとする。図中、51と52は先行車59のテールライトの光点、53は路側に設置された街灯の光点、54は路側の反射板の光点とする。この画像が時刻tに撮影されたとし、次の周期の時刻t+1に撮影された画像上で、51、52、53、54の光点が移動する先(方向及び大きさ)をそれぞれ移動ベクトル55、56、57、58で示している。

0042

時刻tから時刻t+1の間の自車の移動量をLown、先行車59の移動量をL59とすると、ベクトル55の世界座標換算での移動量L55、ベクトル56の世界座標換算での移動量L56、ベクトル57の世界座標換算での移動量L57、ベクトル58の世界座標換算での移動量L58はそれぞれ以下の式(3)で表せる。
(数3)
L55=Lown-L59
L56=Lown-L59
L57=Lown
L58=Lown …(3)

0043

すなわち、静止物である街灯の光点53や反射板の光点54の移動量は、自車の移動量Lownに一致する。それに対し、移動物である先行車のライトの光点51、52の移動量は、自車の移動量Lownに対象物(移動物)の移動量を加算もしくは減算した量になる。

0044

このことから、検出した光点の世界座標上の移動量が実測できれば、光点が移動しているか静止しているかを識別できる。ここで、光点移動量算出部22で計算に用いる式(1)を参照すると、画面座標(u1,v1)を世界座標(X1,Y1,Z1)に変換するためには、世界座標上での高さY1が必要である。ここで、1ショットの画面座標からは光点の高さ情報は得られないため、移動量の絶対値を算出することはできない。

0045

一方、式(1)を参照すると、変換された対象物の高さY1は、世界座標の奥行きZ1を算出する式(式(1)の上段の式)に掛け算で効いてくる値である。そのため、仮に正確な高さが得られなかったとしても、高さを適当な値に仮定して算出した移動量と正確な高さで求めた移動量との比率は一定となる。

0046

図6に、画面(画像)上で追跡した静止光点の一例を示す。説明を簡単にするため、ここでは複数フレームでの光点の位置を同じ画像内にp601〜p607の符号で示している。この静止光点p601〜p607の画面座標と、式(1)でその画面座標を世界座標に変換した結果としてのX,Y,Z座標と、世界座標上での移動量の一例を、図7に示している。

0047

図6に示す光点p601〜p607の符号が図7の列701に対応する。列702,703の画面上の座標に基づき、世界座標のZ,X座標を算出する。図7中、列704,705,706はそれぞれ高さYを0.5として算出したZ,X座標および移動量の換算結果、列707,708,709はそれぞれ高さYを1.0として算出したZ,X座標および移動量の換算結果、列710,711,712はそれぞれ高さYを2.0として算出したZ,X座標および移動量の換算結果である。ここで、焦点距離fx,fyと、消失点座標Vpx,Vpyは一定値で設定した。また、列706、列709、列712の移動量は、連続した時系列の光点のZ座標、X座標から算出した。

0048

図7で算出した移動量に基づき、高さY=1.0を真値とし、算出した移動量がY=1.0のときに実際の光点移動量と一致するとする。この結果、自車移動量を横軸、光点移動量を縦軸として、自車移動量と光点移動量との関係をプロットしたものが図8である。

0049

光点の高さYが1.0の時の光点移動量と自車移動量とのプロットに対する相関式が、L802に示されている。これは一致するため、その相関式(相関直線)の傾き(相関係数)は1となるが、高さYを2.0とした時の相関式L801、高さYを0.5とした時の相関式L803も、相関係数はほぼ1となり、相関がみられる。このことから、画面座標から世界座標への変換時に、高さに真値を設定しなくても、自車移動量との相関は保たれると考えられる。

0050

以上のことから、自車移動量を基準とした光点移動量の比率(あるいは、その逆の、光点移動量を基準とした自車移動量の比率)の変動を見ることで、変動が小さければ、地面に対して静止した静止物(静止光点)(言い換えれば、自車と移動量(反対向きの移動量)の一致する静止物)であり、変動が大きければ、地面に対して移動した移動物(移動光点)(自車と移動量の異なる移動物)と判定できる。

0051

図9には、2種類の光点を追跡し、その光点の世界座標上の移動量と自車移動量との関係をプロットした例を示している。図中、901は光点Aの移動量の自車移動量に対する分布、904は光点Bの移動量の自車移動量に対する分布である。L902は分布901に対する相関式であり、D903は相関式L902に対する分布のばらつきの大きさを示している。L905は分布904に対する相関式であり、D906はL905の相関式に対するばらつきの大きさを示している。この時、光点Aのように相関式に対するばらつきが小さい光点を静止光点、光点Bのように相関式に対するばらつきが大きい光点を移動光点とすることができる。

0052

図2に示される光点毎基準格納部24に格納する基準は、この自車移動量と光点移動量の相関関係記述するための基準である。このため、光点毎基準格納部24は、以下の式(4)に示すように、時刻毎に光点移動量算出部22で算出した光点移動量を、自車移動量算出部23で算出した同期間の自車移動量で割った比率を、時刻毎に基準として格納する。
(数4)
基準=光点移動量/自車移動量 …(4)

0053

図10に、光点毎基準格納部24に格納される格納データの一例を示す。列1001は、前記基準を算出した時刻である。列1002は、前記基準を算出する光点を一意に特定するためのIDである。列1003は履歴数であり、当該光点を光点追跡部21で追跡した回数を表わしている。列1004は前記基準であり、上記(4)により当該光点の現時刻で得られた移動量と同期間の自車移動量から算出される。

0054

<移動光点判断部>
次に、図1に示す移動光点判断部15は、前述のように、基準作成部14で作成した基準に基づき、光点検出部12で検出された画像中の各々の光点が移動光点であるか静止光点であるかを判断する。

0055

例えば、前記基準作成部14の光点毎基準格納部24に、画像中のある光点の時刻tから時刻t+NまでのN+1時刻(周期)分の基準(光点移動量/自車移動量)Bnが格納されている場合を例にとる。

0056

まず、移動光点判断部15は、以下の式(5)に示すように、同一と判断された光点の基準Bn(Bn:時刻nの基準)について、N+1時刻分の平均値m(以下、基準平均値ということがある)を算出する。
(数5)

0057

次に、移動光点判断部15は、以下の式(6)に示すように、その平均値mに基づき、基準Bnの分散V(以下、基準分散ということがある)を算出する。
(数6)

0058

図9に基づき説明したように、基準の分散Vが小さい時には、901に示すように自車移動量に対する光点の移動量の比率が一定であり、L902の相関直線上に乗る。一方、基準の分散Vが大きい時には、D906の分布に示すように、自車移動量に対する光点の移動量の比率のばらつきが大きく、L905の相関直線上からのばらつきも大きくなる。

0059

この違いを識別するため、予め閾値を設定しておき、基準の分散Vがその閾値未満の場合は、光点を静止光点と判断し、その閾値以上の場合は、光点を移動光点と判定する。

0060

図11には、前記した移動光点判断部15の処理の流れを示している。この移動光点判断部15による処理の流れを図10も用いながら順に説明する。ここでは、現在時刻をtとし、静止光点と移動光点とを判別する閾値を0.5として説明する。

0061

まず、S111で、光点カウンタを1に初期化する。

0062

S112で、光点iの基準平均値mを算出する。図10に示す光点毎基準格納部24から、光点iに関するデータを取り出して平均値を参照する。光点カウンタの初期値は1であるので、列1002の光点IDが“1”のデータを参照する。現在時刻tの光点ID“1”のデータは行1005であり、履歴数は“5”であるので、当該データを含む光点ID“1”のデータを5件、データ行を上から順に参照することでその基準を取得する。図10に示す例の場合、行1005、1006、1007、1008、1009の5件のデータを光点ID“1”のデータとして取得し、この5件のデータから、平均値m=7.5を算出する。

0063

S113で、光点iの基準分散Vを算出する。S112の平均値算出と同様に、光点ID“1”のデータを取得し、上記式(6)により、S112で算出した平均値mも使って、分散V=3.87を算出する。

0064

S114で、S113で算出した光点iの分散Vを予め定めた閾値と比較する。分散Vがその閾値より小さければ、光点iは静止光点と判断し、S115に進む。分散Vがその閾値以上であれば、光点iは移動光点と判断し、S116に進む。光点ID“1”の場合、分散V=3.87は閾値0.5より大きいため、移動光点と判断してS116に進む。

0065

S115では、静止光点と判断された場合に光点iの移動光点フラグを0とする。

0066

S116では、移動光点と判断された場合に光点iの移動光点フラグを1とする。

0067

S117では、光点カウンタiを1進める。ここでは、光点IDを“2”とする。

0068

S118では、現在時刻tの光点が全て処理済みか否かを判定する。処理済みであれば、当該時刻に存在する光点について全て判断処理が終了したとし、移動光点判断部15の処理を終了する。一方、処理済みでなければ、処理S112に戻り、S112以降の処理も実施する。ここでは、光点IDが“2”であるので、S112に戻り、図10に示す光点毎基準格納部24から、光点ID“2”のデータである行1010,1011,1012,1013,1014,1015のデータを取得し、平均値算出処理等を実施する。また、同様にして、図10に示す光点毎基準格納部24から、光点ID“3”のデータである行1016,1017,1018,1019,1020,1021のデータを取得し、平均値算出処理等を実施する。

0069

なお、前記移動光点判断部15での処理結果は、前記基準作成部14の光点毎基準格納部24に、前記基準と一緒に格納される。

0070

前記移動光点判断部15の上記処理が終了した時点の光点毎基準格納部24に格納される格納データの状態を、図12に示している。図10に示したものに対し、列1205に光点毎の分散、列1206に閾値判定処理後の移動光点フラグを追加している。

0071

この処理により、移動光点判断部15は、現在時刻に存在する光点の基準の履歴データを参照し、その分散を算出することで、画像中の各光点が移動光点であるか、静止光点であるかを判断できる。

0072

<配光制御部>
そして、図1に示す配光制御部16は、前述のように、移動光点判断部15での判断結果(検出した光点が移動光点であるか静止光点であるか)に基づき、自車のヘッドライトの配光状態を決定する。すなわち、移動光点判断部15で移動光点と判断し、移動光点フラグが“1”とされた光点が一つでもあれば、配光状態をロービームとする。一方で、移動光点判断部15で移動光点と判断した光点が一つもなく(言い換えれば、移動光点判断部15で全ての光点が静止光点と判断し)、全ての光点の移動光点フラグが“0”であれば、ロービームからハイビームへの切り替えを許可する。

0073

この配光制御部16の処理を、図12図15を用いて具体的に説明する。

0074

図13は、時刻tの時点で車載カメラC1で撮影した画像131とし、この画像131に、車両(対向車)132と反射板135が映っているとする。この画像131中で、検出されている光点が車両132のライトの133、134、反射板134の136とする。これらの光点について、移動光点判断部15で判断した結果を前述の図12とする。図13中の光点133は図12の光点ID“1”の光点であり、図13中の光点134は図12の光点ID“2”の光点であり、図13中の光点136は図12の光点ID“3”の光点とする。図12から、時刻tに存在する光点を参照すると、行1207の光点ID“1”の移動光点フラグ、および行1208の光点ID“2”の移動光点フラグが“1”であるため、車両のライトが存在すると判断し、この場合、配光制御部16は、自車の配光状態をロービームに制御する(切り替える)。

0075

また、図14は、時刻t+1の時点で車載カメラC1で撮影した画像141とし、この画像141中に、反射板142が映っているとする。この画像141中で、検出されている光点が反射板142の143とする。この光点について、移動光点判断部15で判断した結果を反映した光点毎基準格納部24に格納される格納データの状態を図15に示す。図14の光点143は図15の光点ID“3”の光点とする。図15から、時刻t+1に存在する光点を参照すると、行1501の光点ID“3”の移動光点フラグが“0”であり、この光点は静止光点と判断されているので、この場合、配光制御部16は、自車の配光状態をハイビームに制御する。

0076

このように、配光制御部16では、移動光点判断部15で、画像中に含まれる光点が移動光点であるか静止光点であるかを判断することで、光点が検出されてもそれが移動光点でない(つまり、移動する車両のライトではない)と判断されれば、配光状態をハイビームとし、街灯や反射板などの車両以外の光点を誤検出して配光状態をロービームとする(切り替える)誤制御を防ぐことができる。

0077

なお、上記実施形態では、移動光点の有無を判断して配光状態を切り替える例を説明したが、配光制御部16の判断により自車のハイビーム/ロービームを切り替える判断になった場合、数フレーム切り替えを遅らせる制御を追加しても良い。それにより、瞬間的に移動物体が存在した等の誤検知があった場合に、配光状態が頻繁に切り替わるような誤作動を防ぐことができる。

0078

以上の説明から分かるように、本実施形態の環境認識装置1によれば、複数の時点で検出された光点の位置のばらつきに基づいて、前記光点が地面に対して移動する光点か否かを判断することで、対象となる光点の高さが不明でも(つまり、光点の実際の正確な移動量が測定できなくても)、静止光点と移動光点とを効率的に識別することができる。

0079

[第二実施形態]
図16は、本発明に係る環境認識装置の第二実施形態の内部構成を示すブロック図である。

0080

図16に示す第二実施形態の環境認識装置2は、図1に示す第一実施形態の環境認識装置1に対し、主に、距離計測部17と距離計測信頼度判断部18とを追加したもの、具体的には、第一実施形態の構成に、カメラ画像に映る光点までの距離を計測できる手段を追加し、その計測した距離の信頼性が高い場合に、基準作成部14で算出する光点移動量を距離計測部17で計測した距離に基づき算出される光点移動量に置き換える構成を追加した点のみが相違しており、その他の構成はほぼ同じである。したがって、第一実施形態と同じ構成には同様の符号を付してその詳細な説明を省略し、以下では、前記相違点についてのみ詳細に説明する。

0081

なお、以下では、複数のカメラからなるステレオカメラを用いて、光点までの距離を計測する場合について説明するが、光点までの距離を計測できれば、如何なる手法を用いても良いことは勿論である。

0082

本実施形態では、各画像取得部11、19が、例えば車両の前方に設置した一対のカメラ(ステレオカメラ)C1、C2から、当該車両(自車)の前方の画像を定期的に(時系列で)取得し、距離計測部17は、ステレオカメラを構成する各カメラC1、C2で撮影した画像から、視差画像を求めることで、その画像に映る光点までの距離を計測する。この視差画像の算出方法は、従来知られた方法であるので詳細は省略するが、左右の画像のマッチング(パターンマッチング)では画像上の特徴を用いるため、画像上で特徴が得にくい夜間等は距離(計測)の精度を得にくい。対象物が近傍であれば距離の精度は高いが、どれくらい近傍であれば距離の精度が高くなるかは、周囲の明るさ等の条件に依存するため、一概に決定することは困難である。

0083

そこで、距離計測信頼度判断部18により、光点までの距離計測の信頼度を計測し、信頼度が高いときのみ、前記距離計測部17により計測した距離による移動量(光点移動量)を算出するとともに、算出された光点移動量を基準作成部14で算出した光点移動量に置き換えて使用する。

0084

詳細には、距離計測信頼度判断部18は、図17に示すように、主に、光点位置情報取得部171と、光点位置情報格納部172と、光点高さ変動判断部173と、光点移動量算出部174とから構成されている。

0085

光点位置情報取得部171は、前記距離計測部17で計測した、光点の距離(位置)情報を取得する。ここでは、図1に示す光点検出部12で抽出した光点のそれぞれについて、距離計測部17で計測した世界座標での距離(位置座標)(X,Y,Z)を取得する。光点位置情報取得部171は、取得した距離情報を、図2に示す基準作成部14の構成要素である光点毎基準格納部24を参照し、同一光点が同じ光点IDとなるように対応を取って光点位置情報格納部172に格納する。

0086

光点位置情報格納部172は、光点位置情報取得部171で取得した光点の世界座標位置情報を、基準作成部14で追跡した光点IDと対応を取った上で格納するためのものであり、図18には、その格納データの一例が示されている。図18に示すデータの、列1801の時刻と列1802の光点IDにより、図10及び図12等に示す光点毎基準格納部24に格納されている情報と、同一光点を照合可能である。

0087

光点高さ変動判断部173は、光点位置情報格納部172に格納した、光点の位置情報の変動から、距離計測部17で計測した距離情報の安定度を判断する。

0088

前記光点高さ変動判断部173の原理を図19を用いて説明する。図中、191は、光点の位置の動きの一例を示す画像を示している。また、p195は時刻t0のときの光点の位置であり、p196は時刻tNのときの光点の位置であり、その間の光点位置も図中に示されている。これらは、光点追跡部21(図2参照)で追跡された光点と同一の光点で、本来異なる時刻に画像上で抽出された光点であるが、ここでは説明の便宜上同一画像191上に示している。

0089

前記距離計測部17により、画像191上の光点の位置P195、p196およびその時刻間の光点の世界座標上の位置が取得される。その際、光点の高さYも取得される。ステレオカメラの距離計測精度の信頼性が高ければ、光点高さは、道路が平面で勾配がないと仮定すれば一定と考えられ、また、多少の傾斜があっても、短い観測時刻間ではそれほどステレオカメラで計測する高さは変わらないと考えられる。距離計測信頼度判断部18の光点高さ変動判断部173では、これを利用し、同一光点の高さの変動が小さければ、距離計測部17の距離計測精度が高いとし、距離計測部17で計測した距離を基準作成部14で用いる光点移動量の算出に用いる。図19中の192のグラフは、横軸を時刻とし、画像191で追跡された光点の時系列の高さの変動を示している。その際、グラフ192中に示す期間T193では、光点の高さの変動が大きく、期間T194では、光点の高さの変動が小さいとすると、期間T193では距離計測の信頼性が低いとし、この期間では距離計測部17で計測した距離は使用しない。また、期間T194では距離計測の信頼性が高いとし、この期間に距離計測部17で計測した距離を使用するものとする。

0090

ここで、光点高さの変動の大きさの判定方法としては、現在時刻を含む過去数フレームの高さの分散を算出し、予め設定した閾値値よりその分散が小さければ、高さの変動は安定しているとし、当該フレームで得られた距離情報は安定しているとして、信頼度フラグ“1”とする。図18に示すデータにおいて、光点高さ変動判断部173で変動の大きさから信頼度を判断した例が、図20に示されている。図18の列1801〜1806に基づき、図20の列2001に、高さYの変動を表す指標であるY標準偏差が算出されて格納されている。ここでは、列2001のY標準偏差は、例として過去3回分の光点の高さから算出されている。また、高さYの変動を判定する閾値として、本実施形態では、標準偏差が10未満の場合に信頼度が高いとし、10以上の場合に信頼度が低いとする。

0091

図20に示す列2001で算出したY標準偏差と前記閾値により、各時刻毎の光点の距離計測の信頼度を判定した結果が、列2002に示されている。図20に示す例で、Y標準偏差が10未満となり、距離計測の信頼度が高いと判断できるのは、行2003に示す時刻tの光点ID“1”の光点と、行2004、行2005に示す時刻tの光点ID“2”の光点と、行2006に示す時刻tの光点ID“3”の光点である。

0092

なお、この実施形態では、説明のために、高さYの標準偏差を算出するデータ数を過去3回、Y標準偏差の閾値を10としたが、必ずしもこれに限られないことは当然である。

0093

図17に示す光点移動量算出部174は、光点高さ変動判断部173で距離計測の信頼度が高いとされた場合に、距離計測部17で計測した距離を使用して光点(距離計測の信頼度の高い光点)の移動量を算出する。

0094

ここで、光点移動量算出部174は、時刻間の光点の移動量を算出するために、現在と一時刻前との光点の位置を利用する。そのため、現在と一時刻前の光点位置の両方の信頼度フラグが“1”の場合に、距離計測部17で計測した距離を使用して光点の移動量を算出できることになる。図20に示す例では、行2004、行2005の光点ID“2”のケースで、前記移動量を算出することになる。

0095

光点移動量算出部174は、時刻tの光点移動量Ltを以下の式(7)により求める。
(数7)

0096

光点移動量算出部174は、算出した光点移動量を基準作成部14(特に、図2の光点移動量算出部22)で算出した光点移動量に置き換え、基準作成部14では、この光点移動量算出部174で算出した光点移動量を用いて、以降の基準を算出する。

0097

そして、前述のように、移動光点判断部15では、基準作成部14で作成した基準に基づき、光点検出部12で検出された画像中の各々の光点が移動光点であるか静止光点であるかを判断し、配光制御部16では、移動光点判断部15での判断結果(検出した光点が移動光点であるか静止光点であるか)に基づき、自車のヘッドライトの配光状態を決定する。

0098

このように、本実施形態の環境認識装置2によれば、信頼度が高い距離計測結果を用いることで、静止物(静止光点)と移動物(移動光点)との識別精度をさらに向上できる効果がある。

0099

以上のように、本第一及び第二実施形態の環境認識装置1、2を適用することにより、検出した光点が移動光点であるか静止光点であるかを効率的に識別することができる。また、識別した結果により、移動光点である車両(他車両)のライトが存在すると判断した場合に、自車のヘッドライトを(ハイビームから)ロービームとする配光制御の精度を向上することができる。また、ステレオカメラなどからなる距離を直接計測する手段を用いることができる場合には、検出した光点の高さの変動を見ることで距離計測の信頼度が高いか否かを判定し、距離計測の信頼度の高い場合にのみ移動光点/静止光点の判定にその計測した距離を用いることで、さらに光点の識別精度を向上することが可能となる。

0100

なお、上記第一及び第二実施形態では、移動物判定結果をハイビームとロービームとの切り替えである配光制御に用いる例を説明したが、例えば、ヘッドライトを照射する領域を制御する遮光制御にも同様に用いることが可能である。この遮光制御では、車両(他車両)のライトの存在する領域を検知し、その領域を制御装置伝送することで、その領域に該当するヘッドライトの照射を制御するようになっている。この場合、移動光点フラグが“1”となった光点の座標を制御装置に伝送することで、その領域へのヘッドライト照射を制限することが可能となる。

0101

なお、本発明は上記した第一及び第二実施形態に限定されるものではなく、様々な変形形態が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

0102

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラム解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスクSSD(Solid State Drive)等の記憶装置、または、ICカードSDカード、DVD等の記録媒体に置くことができる。

0103

また、制御線情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

0104

1環境認識装置(第一実施形態)
2 環境認識装置(第二実施形態)
11画像取得部
12光点検出部
13 自車移動状態取得部
14 基準作成部
15 移動光点判断部
16配光制御部
17距離計測部
18 距離計測信頼度判断部
19 画像取得部
21光点追跡部
22 光点移動量算出部
23 自車移動量算出部
24 光点毎基準格納部
171光点位置情報取得部
172 光点位置情報格納部
173 光点高さ変動判断部
174 光点移動量算出部
C1カメラ
C2 カメラ

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ