図面 (/)

技術 道路環境認識装置

出願人 本田技研工業株式会社
発明者 坂本洋介
出願日 2014年4月24日 (6年7ヶ月経過) 出願番号 2014-090733
公開日 2015年11月24日 (5年0ヶ月経過) 公開番号 2015-210608
状態 特許登録済
技術分野 駆動装置の関連制御、車両の運動制御 画像処理 交通制御システム イメージ分析
主要キーワード エッジ線 逆射影変換 パイロン 右側前方 STEP モルフォロジー演算 モノクロカメラ 影部分
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2015年11月24日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (7)

課題

道路周辺突出物の認識にあたって、当該突出物の認識精度を向上させることができる道路環境認識装置を提供する。

解決手段

第1領域抽出部13は、エッジ画像22から、エッジ点区画され、周囲部よりも輝度が高い第1領域61d〜63dを抽出する。物体認識部14は、エッジ画像22において、周囲部よりも輝度が低い第2領域61e〜63eが第1領域61d〜63dの周囲に存在しているときに、第1領域61d〜63dと当該第2領域61e〜63eとを合わせた領域である第3領域に基づいて道路に存在する突出物を認識する。

概要

背景

従来より、車載カメラにより撮像された車両前方道路の画像から、道路周辺突出物を認識する道路環境認識装置が知られている(例えば、特許文献1及び特許文献2参照)。

特許文献1には、撮影手段が撮影した走行道路の画像の水平方向の一ライン上にある画素群毎に、所定閾値以上の輝度を有する水平方向の一ライン上で連続する画素群に基づいて道路鋲を認識する車線境界導出装置が記載されている。

特許文献2には、撮像画像エッジ画像に対し、閾値以上のエッジ強度を有する画素を白色に変換し、閾値よりも小さなエッジ強度を有する画素を黒色に変換した後、モルフォロジー演算などを用いて全方向に膨張させた白色領域のうち、面積及びアスペクト比が所定以上となる白色領域に基づいて道路鋲を認識する車線認識装置が記載されている。

概要

道路周辺の突出物の認識にあたって、当該突出物の認識精度を向上させることができる道路環境認識装置を提供する。 第1領域抽出部13は、エッジ画像22から、エッジ点区画され、周囲部よりも輝度が高い第1領域61d〜63dを抽出する。物体認識部14は、エッジ画像22において、周囲部よりも輝度が低い第2領域61e〜63eが第1領域61d〜63dの周囲に存在しているときに、第1領域61d〜63dと当該第2領域61e〜63eとを合わせた領域である第3領域に基づいて道路に存在する突出物を認識する。

目的

本発明はかかる背景に鑑みてなされたものであり、道路周辺の突出物の認識にあたって、当該突出物の認識精度を向上させることができる道路環境認識装置を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

カメラにより撮像された道路の画像から、周囲部に対する輝度の変化量が所定値以上であるエッジ点を抽出したエッジ画像を生成するエッジ画像生成部と、前記エッジ画像から、エッジ点で区画され、周囲部よりも輝度が高い第1領域を抽出する第1領域抽出部と、前記エッジ画像において、周囲部よりも輝度が低い第2領域が前記第1領域の周囲に存在しているときに、当該第1領域と当該第2領域とを合わせた領域である第3領域に基づいて前記道路に存在する突出物を認識する物体認識部とを備えることを特徴とする道路環境認識装置

請求項2

請求項1記載の道路環境認識装置において、前記第1領域抽出部は、当該エッジ点で囲まれることにより区画される領域を前記第1領域として抽出するように構成されていることを特徴とする道路環境認識装置。

請求項3

請求項1又は2記載の道路環境認識装置において、前記物体認識部は、前記第1領域の色相道路鋲を示す所定の第1色であり、かつ、前記第1領域の大きさが前記道路鋲の実空間上の大きさから定められた第1範囲である場合に、当該第1領域を前記突出物としての前記道路鋲の画像部分と認識するように構成されていることを特徴とする道路環境認識装置。

請求項4

請求項3記載の道路環境認識装置において、前記物体認識部は、前記第1領域の大きさが前記第1範囲の下限未満である場合、前記第1領域の周囲に存在し、かつ、色相が前記第1色よりも暗い第2色である領域を第2領域として探索し、当該第2領域が検出された場合には前記第3領域の大きさが、前記道路鋲の大きさから定まる第2範囲の大きさであることを条件として当該第3領域を前記道路鋲の画像部分と認識するように構成されていることを特徴とする道路環境認識装置。

請求項5

請求項1〜4のいずれか1項記載の道路環境認識装置において、前記物体認識部は、前記突出物として道路鋲を認識するように構成され、前記道路環境認識装置は、認識された前記道路鋲に基づいて車線を認識する車線認識部と、認識された車線に基づいて車両の操舵制御を行う操舵制御部とを備えることを特徴とする道路環境認識装置。

請求項6

請求項5記載の道路環境認識装置において、前記物体認識部は、前記道路鋲と、当該道路鋲と異なる道路上の突出物とを区別して認識するように構成され、前記操舵制御部は、前記道路鋲が認識された場合と、当該道路鋲と異なる道路上の突出物が認識された場合とで異なる制御を行うように構成されていることを特徴とする道路環境認識装置。

請求項7

請求項6記載の道路環境認識装置において、前記物体認識部は、前記突出物の高さに応じて当該突出物が障害物か否かを判定し、前記操舵制御部は、前記突出物を障害物と認識した場合に当該突出物の回避制御を実行し、前記突出物を障害物と認識しなかった場合に当該突出物の回避制御を実行しないことを特徴とする道路環境認識装置。

請求項8

請求項1〜7のいずれか1項記載の道路環境認識装置において、前記物体認識部は、前記第1領域の周囲であり、かつ、日光の向きに基づいて推定される前記突出物の影の画像部分が存在する可能性が高い領域内において、前記第2領域を探索するように構成されていることを特徴とする道路環境認識装置。

請求項9

カメラにより撮像された道路の画像から、周囲部に対する輝度の変化量が所定値以上であるエッジ点を抽出したエッジ画像を生成するエッジ画像生成部と、前記エッジ画像から、エッジ点で区画され、周囲部よりも輝度が高い第1領域を抽出する第1領域抽出部と、前記エッジ画像において、周囲部よりも輝度が低い第2領域が前記第1領域の周囲に存在しているときに、当該第1領域と当該第2領域とを合わせた領域である第3領域に基づいて前記道路に存在する突出物を認識する物体認識部とを備えることを特徴とする車両。

請求項10

カメラにより撮像された道路の画像から、周囲部に対する輝度の変化量が所定値以上であるエッジ点を抽出したエッジ画像を生成するエッジ画像生成工程と、前記エッジ画像から、エッジ点で区画され、周囲部よりも輝度が高い第1領域を抽出する第1領域抽出工程と、前記エッジ画像において、周囲部よりも輝度が低い第2領域が前記第1領域の周囲に存在しているときに、当該第1領域と当該第2領域とを合わせた領域である第3領域に基づいて前記道路に存在する突出物を認識する物体認識工程とを含むことを特徴とする道路環境認識方法

技術分野

0001

本発明は、車両に搭載されたカメラ撮像画像に基づいて、道路周辺突出物を認識する道路環境認識装置に関する。

背景技術

0002

従来より、車載カメラにより撮像された車両前方道路の画像から、道路周辺の突出物を認識する道路環境認識装置が知られている(例えば、特許文献1及び特許文献2参照)。

0003

特許文献1には、撮影手段が撮影した走行道路の画像の水平方向の一ライン上にある画素群毎に、所定閾値以上の輝度を有する水平方向の一ライン上で連続する画素群に基づいて道路鋲を認識する車線境界導出装置が記載されている。

0004

特許文献2には、撮像画像のエッジ画像に対し、閾値以上のエッジ強度を有する画素を白色に変換し、閾値よりも小さなエッジ強度を有する画素を黒色に変換した後、モルフォロジー演算などを用いて全方向に膨張させた白色領域のうち、面積及びアスペクト比が所定以上となる白色領域に基づいて道路鋲を認識する車線認識装置が記載されている。

先行技術

0005

特許第5195377号公報
特許第5152002号公報

発明が解決しようとする課題

0006

しかしながら、従来の技術には、太陽光等による影の影響で、道路周辺に突出物が存在しているにもかかわらずその突出物を検出できなかったりするおそれがあり、道路周辺の突出物の認識精度の向上の観点から改良の余地がある。

0007

たとえば、特許文献1の技術では、太陽光等により道路鋲の一部が影で覆われていた場合には、所定以上の閾値以上の輝度を有する画素群の数が少なくなるので、当該輝度を有する水平方向の一ライン以上で連続する画素群が抽出できないおそれがある。この結果、道路鋲が存在するにもかかわらず、当該道路鋲を認識できない可能性がある。

0008

一方、特許文献2の技術では、太陽光等により道路鋲の一部が影で覆われていた場合には、膨張された白色領域の領域が所定よりも小さくなる。この結果、当該白色領域に相当する部分に道路鋲が存在していたとしても、当該道路鋲を認識できないおそれがある。

0009

本発明はかかる背景に鑑みてなされたものであり、道路周辺の突出物の認識にあたって、当該突出物の認識精度を向上させることができる道路環境認識装置を提供することを目的とする。

課題を解決するための手段

0010

本発明は上記目的を達成するためになされたものであり、カメラにより撮像された該車両周囲の画像に基づいて、道路周辺の突出物を認識する道路環境認識装置、車両、及び道路環境認識方法に関する。

0011

本発明の道路環境認識装置は、
カメラにより撮像された道路の画像から、周囲部に対する輝度の変化量が所定値以上であるエッジ点を抽出したエッジ画像を生成するエッジ画像生成部と、
前記エッジ画像から、エッジ点で区画され、周囲部よりも輝度が高い第1領域を抽出する第1領域抽出部と、
前記エッジ画像において、周囲部よりも輝度が低い第2領域が前記第1領域の周囲に存在しているときに、当該第1領域と当該第2領域とを合わせた領域である第3領域に基づいて前記道路に存在する突出物を認識する物体認識部とを備えることを特徴とする。

0012

本願発明者の検討によって、道路に存在する突出物のうち光(太陽光等)が当たっている部分の画像部分は周囲の道路よりも輝度が高く、突出物のうち影となっている部分の画像部分は周囲の道路よりも輝度が低いことが多いことが判明した。

0013

この点に着目して構成された当該構成の道路環境認識装置によれば、周囲部よりも輝度が高い第1領域と、第1領域の周囲に存在し、周囲部よりも輝度が低い第2領域とを合わせた領域である第3領域に基づいて道路に存在する突出物が認識される。この結果、突出物の一部が当該突出物の影で覆われていたとしても、影で覆われていない箇所の画像部分である第1領域と影で覆われている箇所の画像部分である第2領域とを合わせた第3領域に基づいて突出物が認識される。この結果、突出物が存在しているにもかかわらず、突出物の一部が影で覆われているために当該突出物が存在しないとするような誤認識蓋然性が低下する。

0014

したがって、当該構成の道路環境認識装置によれば、道路周辺の突出物の認識にあたって、当該突出物の認識精度の向上が図られうる。

0015

本発明の道路環境認識装置において、
前記第1領域抽出部は、当該エッジ点で囲まれることにより区画される領域を前記第1領域として抽出するように構成されていることが好ましい。

0016

当該構成の道路環境認識装置によれば、エッジ点で囲まれることにより区画される領域が第1領域として抽出される。エッジ点で囲まれる領域は立体物である蓋然性が高い。したがって、当該構成の道路環境認識装置によれば、道路周辺の突出物の認識にあたって、当該突出物の認識精度の向上が図られうる。

0017

本発明の道路環境認識装置において、
前記物体認識部は、前記第1領域の色相が道路鋲を示す所定の第1色であり、かつ、前記第1領域の大きさが前記道路鋲の実空間上の大きさから定められた第1範囲である場合に、当該第1領域を前記突出物としての前記道路鋲の画像部分と認識するように構成されていることが好ましい。

0018

当該構成の道路環境認識装置によれば、第1色を有する第1領域の大きさが道路鋲の大きさに対応した第1範囲であるときに当該第1領域が道路鋲の画像部分と認識されるので、道路鋲が精度よく認識されうる。

0019

当該構成の道路環境認識装置において、
前記物体認識部は、
前記第1領域の大きさが前記第1範囲の下限未満である場合、前記第1領域の周囲に存在し、かつ、色相が前記第1色よりも暗い第2色である領域を第2領域として探索し、
当該第2領域が検出された場合には前記第3領域の大きさが、前記道路鋲の大きさから定まる第2範囲の大きさであることを条件として当該第3領域を前記道路鋲の画像部分と認識するように構成されていることが好ましい。

0020

ここで、太陽等の光源の方向によっては、当該光源により照射されている道路鋲の部分に相当する第1領域の大きさは変化しうるが、道路鋲の部分に道路鋲の影部分に相当する第2領域を合わせた第3領域の大きさは、道路鋲の大きさに応じたものとなるため、変化の度合いは小さいと推察される。

0021

したがって、第3領域の大きさが突出物の大きさから定まる所定範囲の大きさである場合には、第3領域は、道路鋲の画像部分である蓋然性が高い。

0022

この点に着目して構成された当該構成の道路環境認識装置によれば、道路周辺の道路鋲の認識にあたって、道路鋲の認識精度の向上が図られうる。

0023

本発明の道路環境認識装置において、
前記物体認識部は、前記突出物として道路鋲を認識するように構成され、
前記道路環境認識装置は、
認識された前記道路鋲に基づいて車線を認識する車線認識部と、
認識された車線に基づいて車両の操舵制御を行う操舵制御部とを備えることが好ましい。

0024

当該構成の道路環境認識装置によれば、道路鋲が敷設されている道路において当該道路鋲を境界とする車線に基づいた車両の制御が可能となる。

0025

当該構成の道路環境認識装置において、
前記物体認識部は、前記道路鋲と、当該道路鋲と異なる道路上の突出物とを区別して認識するように構成され、
前記操舵制御部は、前記道路鋲が認識された場合と、当該道路鋲と異なる道路上の突出物が認識された場合とで異なる制御を行うように構成されていることが好ましい。

0026

当該構成の道路環境認識装置によれば、道路鋲と道路鋲と異なる道路上の突出物とが区別されて車両が制御されるので、実際の道路環境に即した車両の制御が可能となる。

0027

当該構成の道路環境認識装置において、
前記物体認識部は、前記突出物の高さに応じて当該突出物が障害物か否かを判定し、
前記操舵制御部は、前記突出物を障害物と認識した場合に当該突出物の回避制御を実行し、前記突出物を障害物と認識しなかった場合に当該突出物の回避制御を実行しないことが好ましい。

0028

当該構成の道路環境認識装置によれば、突出物が障害物と認識された場合に回避制御がされ、当該突出物が障害物と認識されなかった場合には回避制御が行われないので、すべての突出物に対して回避制御を行う場合に比べ、車両の制御が安定する。

0029

本発明の道路環境認識装置において、
前記物体認識部は、前記第1領域の周囲であり、かつ、日光の向きに基づいて推定される前記突出物の影の画像部分が存在する可能性が高い領域内において、前記第2領域を探索するように構成されていることが好ましい。

0030

当該構成の道路環境認識装置によれば、第1領域の周辺かつ、日光の向きに基づいて推定される突出物の影の画像部分が存在する可能性が高い領域において第2領域が探索されるので、計算コストが削減される。

0031

本発明の車両は、
カメラにより撮像された道路の画像から、周囲部に対する輝度の変化量が所定値以上であるエッジ点を抽出したエッジ画像を生成するエッジ画像生成部と、
前記エッジ画像から、エッジ点で区画され、周囲部よりも輝度が高い第1領域を抽出する第1領域抽出部と、
前記エッジ画像において、周囲部よりも輝度が低い第2領域が前記第1領域の周囲に存在しているときに、当該第1領域と当該第2領域とを合わせた領域である第3領域に基づいて前記道路に存在する突出物を認識する物体認識部とを備えることを特徴とする車両。

0032

本発明の道路環境認識方法は、
カメラにより撮像された道路の画像から、周囲部に対する輝度の変化量が所定値以上であるエッジ点を抽出したエッジ画像を生成するエッジ画像生成工程と、
前記エッジ画像から、エッジ点で区画され、周囲部よりも輝度が高い第1領域を抽出する第1領域抽出工程と、
前記エッジ画像において、周囲部よりも輝度が低い第2領域が前記第1領域の周囲に存在しているときに、当該第1領域と当該第2領域とを合わせた領域である第3領域に基づいて前記道路に存在する突出物を認識する物体認識工程とを含むことを特徴とする。

図面の簡単な説明

0033

道路環境認識装置の構成図。
ボッツドッツ認識処理フローチャート
ボッツドッツ認識処理のフローチャート。
ボッツドッツの影の部分が比較的小さい場合の説明図で、(a)が撮像画像、(b)がエッジ処理されたエッジ画像、(c)がエッジ方向が算出された後の第1領域を示す図。
ボッツドッツの影の部分が比較的大きい場合の説明図で、(a)が撮像画像、(b)がエッジ処理されたエッジ画像、(c)がエッジ方向が算出された後の第1領域及び第2領域を示す図。
ボッツドッツに基づく車線の認識処理の説明図。

実施例

0034

(道路環境認識装置の構成)
本発明の道路環境認識装置の実施形態について、図1図5を参照して説明する。

0035

図1を参照して、道路環境認識装置10は、カメラ2(カラーカメラ)、スピーカ5、表示器6、及び操舵機構7を備えた車両1(本発明の車両に相当する)に搭載されている。

0036

道路環境認識装置10は、図示しないCPU、メモリ、各種インターフェース回路等により構成された電子ユニットであり、メモリに保持されたボッツドッツ認識及び操舵制御用のプログラムをCPUで実行することにより、撮像画像取得部11、エッジ画像生成部12、第1領域抽出部13、物体認識部14、及び操舵制御部15として機能する。また、道路環境認識装置10により、本発明の道路環境認識方法が実施される。

0037

(道路環境認識処理)
以下、図2(a)及び図2(b)に示したフローチャートに従って、道路環境認識装置10により、道路に設けられたボッツドッツ(道路鋲)を認識する処理について説明する。道路環境認識装置10は、所定の制御周期毎に図2(a)及び図2(b)に示したフローチャートによる処理を実行して、車両1が走行している道路のボッツドッツを認識する。

0038

図2(a)/STEP1は撮像画像取得部11による処理である。撮像画像取得部11は、カメラ2から出力される車両1の前方(本発明の車両周囲に相当する)の映像信号を入力して、この映像信号のカラー成分R値G値B値)をデモザイキングし、各画素のデータとしてR値,G値,B値を有するカラーの撮像画像21を取得する。そして、この撮像画像21のデータを画像メモリ20に保持する。

0039

続く図2(a)/STEP2〜図2(a)/STEP3はエッジ画像生成部12による処理である。なお、エッジ画像生成部12による処理工程は、本発明の道路環境認識方法におけるエッジ画像生成工程に相当する。

0040

エッジ画像生成部12は、撮像画像21の各画素のカラー成分を輝度に変換する処理を行って、グレースケール画像多値画像)を生成する。そして、エッジ画像生成部12は、グレースケール画像からエッジ点(周囲部の画素(画像部分)との輝度差(輝度の変化量)が所定値以上である画素。輝度が暗から明に変化する正のエッジ点、及び輝度が明から暗に変化する負のエッジ点を含む)を抽出して、エッジ画像22(図1参照)を生成する。

0041

なお、カメラ2がモノクロカメラであるときには、各画素の輝度からグレースケールの撮像画像が得られるので、上述したカラーの撮像画像からグレースケール画像を生成する処理は不要である。

0042

ここで、図3(a)に示されるIm1は撮像画像21から生成されたグレースケール画像の例であり、車両1(自車両)が走行している車線を区画するボッツドッツの画像部分51a〜54aが含まれている。

0043

図3(b)に示されるIm2は、グレースケール画像Im1に対してエッジ抽出処理を行うことにより生成されたエッジ画像である。エッジ画像Im2において、ボッツドッツの画像部分51c〜54cは、日光により照射されている箇所の画像部分がエッジ点によって囲まれている。

0044

また、図4(a)に示されるIm4は撮像画像21から生成されたグレースケール画像の例であり、一部に影を有するボッツドッツの画像部分61a〜63aが含まれている。

0045

図4(b)に示したIm5は、グレースケール画像Im4に対してエッジ抽出処理を行うことにより生成されたエッジ画像である。エッジ画像Im5において、ボッツドッツの画像部分61c〜63cは、日光により照射されている箇所の画像部分と影の画像部分とがそれぞれエッジ点によって囲まれている。

0046

エッジ画像生成部12は、撮像画像21からエッジ点ごとに輝度の変化の方向であるエッジ方向を検出することにより、エッジ線を検出する(図2(a)/STEP3)。ここで、エッジ方向とは輝度の濃淡の変化の方向をいう。同一のエッジ方向を持つエッジ点がひとまとめにされることにより、輝度が異なる区域を分けるエッジ線が検出される。このようなエッジ線は、所定の輝度を有する1つの領域を区画する1つの区画線となる。

0047

この結果、図3(c)のIm3に示されるように、ボッツドッツの日光の当たっている部分に相当する画像部分(領域51d〜54d)が複数のエッジ線で区画される。また、図4(c)に示されるように、ボッツドッツの日の当たっている部分に相当する画像部分(領域61d〜63d)がエッジ線で区画されるとともに、影の部分に相当する画像部分(領域61e〜63e)がエッジ線で区画される。

0048

続く図2(a)/STEP4は、第1領域抽出部13による処理である。各領域を区画する複数のエッジ線によって区画された領域51d〜54d、61d〜63d、61e〜63eのうち、当該領域の輝度(領域の輝度の平均値、領域の画素の最大値等)が所定の第1輝度以上である第1領域51d〜54d、61d〜63dを抽出する。当該所定の第1輝度は、当該領域の周囲(道路)よりも輝度が高い輝度という観点で定められ、たとえば当該領域を含む所定の大きさの領域の平均輝度が当該所定の第1輝度として採用される。

0049

なお、第1領域抽出部13による処理工程は、本発明の道路環境認識方法における第1領域抽出工程に相当する。

0050

続く図2(a)/STEP5(図2(a)/STEP51〜図2(a)/STEP58)、図2(b)/STEP6〜図2(b)/STEP8は物体認識部14による処理である。なお、物体認識部14による処理工程は、本発明の道路環境認識方法における物体認識工程に相当する。

0051

物体認識部14は、第1領域抽出部13によって抽出された第1領域51d〜54d、61d〜63dのそれぞれについて図2(a)/STEP51〜図2(a)/STEP58の処理を実行する(図2(a)/STEP5)。なお、図2(a)/STEP51〜図2(a)/STEP58の処理対象となっている第1領域を「今回の第1領域」という。

0052

物体認識部14は、今回の第1領域に対して、カメラ座標から実空間座標への逆射影変換を行って、今回の第1領域に対応する実空間での突出物の位置を算出する(図2(a)/STEP51)。

0053

物体認識部14は、当該算出された位置に基づいて推定された今回の第1領域に対応する実空間上の突出物の高さが所定の高さ以上であるか否かを判定する(図2(a)/STEP52)。当該判定結果が肯定的な結果である場合(図2(a)/STEP52‥YES)、物体認識部14は、今回の第1領域を突起物の画像部分の候補であると認識する(図2(a)/STEP56)。

0054

当該判定結果が否定的な結果である場合(図2(a)/STEP52‥NO)、物体認識部14は、今回の第1領域の大きさが所定の範囲に含まれるか否かを判定する(図2(a)/STEP53)。当該所定の範囲は、今回の第1領域に対応する実空間上の位置にボッツドッツが存在したときの当該ボッツドッツの画像部分の大きさを想定して設定された範囲である。また、大きさに加え、第1領域の色相が所定の色相(ボッツドッツの表面の色から定まる色相で、たとえば白)であるか否かが判定されてもよい。

0055

たとえば、図3(c)のIm3に示されるように、物体認識部14は、横幅x1と縦幅y1とから求められる第1領域51dの大きさが、第1領域51dに対応する実空間上の位置から推定されるボッツドッツの画像部分の大きさの範囲内であるか否かを判定する。図3(a)に示されるボッツドッツの画像部分51aは、影で覆われている部分がほとんどないため、ボッツドッツの画像部分51aに対応する第1領域51dの大きさは、実空間上の距離から推定されるボッツドッツの画像部分の大きさの範囲内となる。

0056

また、図4(c)のIm6に示されるように、物体認識部14は、横幅x2と縦幅y2とから求められる第1領域62dの大きさが、第1領域62dに対応する実空間上の位置から推定される所定の大きさ以上であるか否かを判定する。図4(a)に示されるボッツドッツの画像部分62aは、一部が影で覆われているため、ボッツドッツの画像部分62aの日が当たっている部分に対応する第1領域62dの大きさは、実空間上の距離から推定されるボッツドッツの画像部分の大きさの範囲外となる。

0057

図2(a)/STEP53の判定結果が肯定的な結果である場合(図2(a)/STEP53‥YES)、物体認識部14は、今回の第1領域をボッツドッツの画像部分の候補であると認識する(図2(a)/STEP57)。

0058

図2(a)/STEP53の判定結果が否定的な結果である場合(図2(a)/STEP53‥NO)、物体認識部14は、今回の第1領域の周辺部において、所定の第2輝度よりも低い輝度を有する第2領域を探索する(図2(a)/STEP54)。ここで、第2領域の探索領域は、ボッツドッツの大きさから定められる領域と日光の向きから推定される影ができる領域との重なった領域である。また、当該所定の第2輝度は、第2領域の周囲(道路等)よりも低い輝度であり、たとえば、第2領域を含む領域の平均輝度が採用されうる。第1輝度と第2輝度とは同一の輝度であってもよい。なお、今回の第1領域の大きさが所定の範囲の上限値を超えている場合、物体認識部14は、図2(a)/STEP54〜図2(a)/STEP57の処理を省略して、図2(a)/STEP58の処理を行ってもよい。

0059

ここで、ボッツドッツの大きさから定められる領域として、たとえば、ボッツドッツの所定の横幅xと縦幅yと、第1領域62dの横幅x2、縦幅y2に基づき、第1領域62dの左右方向に横幅の差分(x−x2)だけずれた領域、上下方向に縦幅の差分(x−y2)だけずれた領域が採用されうる。

0060

また、日光の向きは、たとえば、車両1の進行方向及びカメラ2の傾斜角度等から推定されるカメラ2の撮像方向と、日時とに基づき推定されうる。日光により影ができる領域の推定は、種々の公知の技術が採用されうる。

0061

なお、当該第1領域の色相が想定と異なる場合、物体認識部14は、当該第2領域の探索を行わず、図2(a)/STEP58の処理を行ってもよい。

0062

物体認識部14は、今回の第1領域と第2領域とを合わせた第3領域の大きさが所定の範囲に含まれるか否かを判定する(図2(a)/STEP55)。当該所定の範囲は、第3領域に対応する実空間上の位置から推定されるボッツドッツの画像部分の大きさの範囲である。なお、当該第2領域が抽出されなかった場合、物体認識部14は、STEP55以下の判定を行わずに、図2(a)/STEP58の処理を行う。

0063

例えば、図4(c)に示されるように、物体認識部14は、横幅x3と縦幅y3とから求められる第1領域62d及び第2領域62eを合わせた第3領域の大きさが、第3領域に対応する実空間上の位置から推定される所定の大きさ以上であるか否かを判定する。

0064

当該判定結果が肯定的な結果である場合(図2(a)/STEP55‥YES)、物体認識部14は、第3領域をボッツドッツの画像部分の候補であると認識する(図2(a)/STEP57)。たとえば、図4(c)に示されている横幅x3と縦幅y3とから求められる第1領域62d及び第2領域62eを合わせた第3領域の大きさが、第3領域に対応する実空間上の位置から推定される所定の大きさ以上である場合、物体認識部14は、当該第3領域をボッツドッツの画像部分であると認識する。

0065

一方、当該判定結果が否定的な結果である場合(図2(a)/STEP55‥NO)、物体認識部14は、第1領域を、ボッツドッツの画像部分の候補でも、突起物の画像部分の候補でもないと認識する(図2(a)/STEP58)。

0066

物体認識部14は、各第1領域に対して図2(a)/STEP5(図2(a)/STEP51〜図2(a)/STEP58)の処理が終了すると、認識したボッツドッツの候補をボッツドッツとして認識する(図2(b)/STEP6)。この際に、さらに他の道路環境と照合してボッツドッツ候補がボッツドッツか否かが判定されてもよい。

0067

図5は、車両1が走行している車線の左右に複数のボッツドッツが敷設されている例を示ししている。

0068

図5の場合は、左右両側において、合計6つのボッツドッツ候補71b〜76bが検出されている。これらのボッツドッツ候補71b〜76bは、ボッツドッツ(以下、単にボッツドッツ71b〜76bという。)として認識される。

0069

また、物体認識部14は、認識した突起物の候補を突起物として認識する(図2(b)/STEP7)。この際に、詳細な突起物の形状に基づき、その突起物がどの種類の突起物かであるかが判定されてもよい。また、物体認識部14は、突起物の大きさに基づき、障害物であるか否かを判定してもよい。

0070

図5の場合、車両の右側前方に突起物の候補81bが検出されている。これらの突起物候補81bは、突起物(以下単に「突起物81b」という。)として認識される。

0071

続く図2(b)/STEP8で、物体認識部14は、左右のボッツドッツ71b〜76bの位置に基づいて、車線の中央位置を認識する。図5の例では、左側のボッツドッツ71b〜73bの内側位置XL1と右側のボッツドッツ74b〜76bの内側位置XR1との中央位置Xcを認識する。

0072

また、図5の例では、左側のボッツドッツ71b〜73bの内側位置XL1と、右側のボッツドッツ74b〜76bの内側位置XR1との中央位置Xcが、車線の中央位置として認識される。

0073

次の図2(b)/STEP9は操舵制御部15による処理である。操舵制御部15は、車両1が車線内の中心位置Xc付近を走行するように、操舵機構7を作動させて車両1の運転者運転操作アシストする。

0074

ここで、操舵制御部15は、車両1と中心位置Xcとのずれが大きくなって、車両1と右ボッツドッツ74b〜76bとの間隔WR、又は車両1と左ボッツドッツ71b〜73bとの間隔WLが予め設定された判定値以下になったときに、操舵機構7を作動させて車両1を中心位置Xcに近づける制御を行う。

0075

また、操舵制御部15は、認識された突起物81bについて、車両1と当該突起物81bとの接触を避けるための回避制御を行う。なお、操舵制御部15は、当該回避制御を、突起物81が障害物と認識された場合にのみ行ってもよい。

0076

(道路環境認識装置の作用効果
当該構成の道路環境認識装置10によれば、突出物の一部が当該突出物の影で覆われていたとしても、影で覆われていない箇所の画像部分である第1領域61d〜63dと影で覆われている箇所の画像部分である第2領域61e〜63eとが抽出された場合に、それらを合わせた第3領域に基づいて突出物が認識される。この結果、突出物が存在しているにもかかわらず、突出物の一部が影で覆われているために当該突出物が存在しないとするような誤認識の蓋然性が低下する。

0077

したがって、当該構成の道路環境認識装置10によれば、道路周辺の突出物の認識にあたって、当該突出物の認識精度の向上が図られうる。

0078

また、当該構成の道路環境認識装置10によれば、算出されたエッジ方向に基づいて第1領域51d〜54d、61d〜63dが抽出されるので、所定以上の輝度を有する第1領域の抽出精度が向上する。この結果、当該構成の道路環境認識装置10によれば、道路周辺の突出物の認識にあたって、当該突出物の認識精度の向上が図られうる。

0079

また、当該構成の道路環境認識装置10によれば、第1色(白色)を有する第1領域51d〜54dの大きさが突出物の大きさに対応した第1範囲であるときに当該第1領域51d〜54dが突出物の画像部分と認識されるので、突出物が精度よく認識されうる。

0080

当該構成の道路環境認識装置において、
ここで、太陽等の光源の方向によっては、当該光源により照射されている突出物の部分に相当する第1領域61d〜63dの大きさは変化しうるが、当該突出物の部分に突出物の影部分に相当する第2領域61e〜63eを合わせた第3領域の大きさは、突出物の大きさに応じたものとなるため、変化の度合いは小さいと推察される。

0081

したがって、第3領域の大きさが突出物の大きさから定まる所定範囲の大きさである場合には、第3領域は、当該突出物の画像部分である蓋然性が高い。

0082

この点に着目して構成された当該構成の道路環境認識装置10によれば、道路周辺の突出物の認識にあたって、当該突出物の認識精度の向上が図られうる。

0083

また、当該構成の道路環境認識装置10によれば、道路鋲(ボッツドッツ)が敷設されている道路において当該道路鋲を境界とする車線(の内側位置XL、XR、及び中央位置Xc)に基づいて車両1の制御が可能となる。

0084

また、当該構成の道路環境認識装置10によれば、道路鋲と道路鋲と異なる道路上の突出物とが区別されて車両1が制御されるので、実際の道路環境に即した車両1の制御が可能となる。

0085

また、当該構成の道路環境認識装置10によれば、突出物が障害物と認識された場合に回避制御がされ、当該突出物が障害物と認識されなかった場合には回避制御が行われないので、すべての突出物に対して回避制御を行う場合に比べ、車両1の制御が安定する。

0086

当該構成の道路環境認識装置10によれば、第1領域61d〜63dの周辺かつ、日光の向きに基づいて推定される突出物の影の画像部分が存在する可能性が高い領域において第2領域61e〜63eが探索されるので、計算コストが削減される。

0087

変形態様
本実施形態ではボッツドッツと突起物とが認識対象とされたが、これに限られず、たとえばキャッツアイパイロン等が認識対象とされてもよい。

0088

1…車両(自車両)、2…カメラ、7…操舵機構、10…道路環境認識装置、11…撮像画像取得部、12…エッジ画像生成部、13…第1領域抽出部13…物体認識部14…操舵制御部、20…画像メモリ、21…撮像画像、22…エッジ画像。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 日本電気株式会社の「 解析装置、制御方法、及びプログラム」が 公開されました。( 2020/10/08)

    【課題】撮像画像を用いた行動解析をより高い精度で行う。【解決手段】施設40には、第1カメラ10と第2カメラ20が設置されている。解析装置2000は、第1カメラ10によって生成される第1撮像画像12と、... 詳細

  • 日本電気株式会社の「 個体識別装置」が 公開されました。( 2020/10/08)

    【課題・解決手段】複数の登録画像に共通する画像成分が存在すると個体識別の精度が低下すること。決定手段は、複数の登録対象の物体を撮像して得られた複数の登録画像に共通する画像成分が存在する部分領域か否かに... 詳細

  • スターティアラボ株式会社の「 AR用の画像処理装置、画像処理システム及びプログラム」が 公開されました。( 2020/10/08)

    【課題】ARにおいて、オブジェクトを精度良く表示させる。【解決手段】画像処理装置は、オブジェクトを表示させる位置となる目印を示す目印画像を入力する目印画像入力部と、複数の時点で撮像して複数の入力画像を... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ