図面 (/)

技術 物体認識装置、物体認識方法及び物体認識プログラム

出願人 日本電産エレシス株式会社
発明者 金本淳司
出願日 2013年2月7日 (7年9ヶ月経過) 出願番号 2013-022578
公開日 2014年8月25日 (6年2ヶ月経過) 公開番号 2014-153167
状態 未査定
技術分野 航行(Navigation) 交通制御システム イメージ分析
主要キーワード 中部領域 ドットマトリクス表示方式 認識時刻 図形的特徴 標識内容 設定方向 速度制限標識 セグメント表示方式
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2014年8月25日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (11)

課題

標識認識処理によって道路標識を認識する際の処理負荷を低減する。

解決手段

カメラECU10は、カメラ11により自車両の前方を撮像した画像を標識認識部131によって解析して道路標識を認識する。標識認識部131は、高速道路区間判定部131cにより認識情報記憶部134に時系列で記憶されている標識の認識情報を参照して、走行中の道路が高速道路区間か否かを判定する。標識認識部131は、標識検出部131aにより、高速道路区間か否かに対応して、道路標識を検出するためにカメラ11が撮像した画像の走査範囲を変更するとともに、認識対象とする道路標識の種別を変更する。

概要

背景

車載カメラ撮像した道路標識を認識することにより、車両内標識情報を表示(乗員への警報)したり、車両の速度設定補助速度制御)したりする装置がある。一般的に道路標識を認識するには、パターン認識テンプレートマッチング等の技術が用いられている。例えば、特許文献1には、速度制限標識を認識する装置及び方法が開示されている。また、近年の車載用物体認識装置は、道路標識認識の他に、他の車両や歩行者などの認識も行い、1つの装置内で多種類の物体認識対象とする物体認識と、これらの認識結果を利用した制御とが行われている。

特許文献1に記載された交通標識識別装置は、速度制限標識を認識するものであるが、欧州地域等では、追い越禁止制限解除(全解除速度制限解除追越し禁止解除がある)等の標識も認識すると便利である。また、前記した標識だけでなく、それ以外の標識についても認識する方がより利便性が向上する。しかし、認識する標識の種類が増える程、誤認識の確率が上昇する。また、一般的にパターン認識は演算負荷が重い処理であるので、多種類の標識を同時に認識すると、標識認識処理の負荷(又はリソース使用量)が増大することになる。しかも、車載用の物体認識装置は、四輪自動車二輪自動車自転車、歩行者など、一つの装置内で多種類の対象物体の認識が行われるので、一つ一つの認識処理の負荷(又はリソース使用量)は制限しなければならない。

特許文献2には、直近に認識された標識を記憶し、この記憶標識に応じて、次に識別する標識のマッチング対象から出現可能性のない標識を除外することで、標識の誤認識を低減する車載用の標識識別装置が記載されている。

特許文献2に記載の物体認識装置は、認識処理の際のマッチング対象を選別することで、マッチング処理回数を低減することはできるが、カメラ撮影した画像の全領域を検査するため、認識処理全体としての負荷はまだ大きいものである。

概要

標識認識処理によって道路標識を認識する際の処理負荷を低減する。カメラECU10は、カメラ11により自車両の前方を撮像した画像を標識認識部131によって解析して道路標識を認識する。標識認識部131は、高速道路区間判定部131cにより認識情報記憶部134に時系列で記憶されている標識の認識情報を参照して、走行中の道路が高速道路区間か否かを判定する。標識認識部131は、標識検出部131aにより、高速道路区間か否かに対応して、道路標識を検出するためにカメラ11が撮像した画像の走査範囲を変更するとともに、認識対象とする道路標識の種別を変更する。

目的

本発明は前記した問題を解決するために、道路区間に応じて標識認識処理の負荷を低減した車載用として利用できる物体認識装置、物体認識方法及び物体認識プログラムを提供する

効果

実績

技術文献被引用数
3件
牽制数
3件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

所定の処理サイクル毎に撮像手段を用いて撮像した画像を解析することで、道路標識を認識する車載用物体認識装置であって、前記画像を解析することで、前記道路標識を認識する標識認識手段と、前記標識認識手段が認識した標識認識結果を時系列に記憶する標識認識結果記憶手段と、前記標識認識結果記憶手段に記憶されている標識の認識結果を用いて、現在の場所が高速道路区間か非高速道路区間かを判定する高速道路区間判定手段と、を備え、前記高速道路区間判定手段は、前記標識認識結果記憶手段に前記高速道路の開始を示す標識を認識したことが記憶され、かつ、当該認識結果よりも時系列で後に、前記高速道路の終了を示す標識を認識したことが記憶されていない場合に、現在の場所を高速道路区間であると判定し、それ以外の場合に非高速道路区間であると判定し、前記標識認識手段は、前記高速道路区間判定手段による判定結果が高速道路区間か非高速道路区間かに応じて、道路標識を認識するために解析する前記画像内の領域を変更することを特徴とする物体認識装置。

請求項2

前記標識認識手段は、前記高速道路区間判定手段による判定結果が高速道路区間か非高速道路区間かに応じて、認識する対象とする道路標識の種別を変更することを特徴とする請求項1に記載の物体認識装置。

請求項3

前記高速道路区間判定手段は、高速道路の開始を示す標識を認識したときから、高速道路の終了を示す標識を認識したときまでを、前記高速道路区間と判定することを特徴とする請求項1又は請求項2に記載の物体認識装置。

請求項4

前記標識認識手段は、高速道路の走行車線上部に設けられる可変情報表示装置(VMS;Variable Message Signs)によって表示される標識であるVMS標識を、前記高速道路区間において認識する対象とすることを特徴とする請求項3に記載の物体認識装置。

請求項5

前記高速道路区間判定手段は、前記VMS標識を、前記高速道路区間の開始を示す標識に加えることを特徴とする請求項4に記載の物体認識装置。

請求項6

前記撮像手段は、第1露光時間で第1画像を撮像するとともに、前記第1露光時間よりも長い第2露光時間で第2画像を撮像し、前記標識認識手段は、前記第1画像を用いて前記VMS標識が撮像された画像領域を検出するVMS標識検出手段を有し、前記標識認識手段は、前記VMS標識検出手段が検出した前記VMS標識が撮像された画像領域に対応する領域の前記第2画像を用いて、前記VMS標識の種別を識別し、前記第2露光時間は、前記第2画像において撮像されたVMS標識の画像に前記可変情報表示装置の点滅周期に起因する欠損が生じない露光時間であることを特徴とする請求項4又は請求項5に記載の物体認識装置。

請求項7

前記VMS標識検出手段は、前記第1画像において、オプティカルフロー法により、前記高速道路区間における道路上部の静止物が撮像された画像領域を検出するとともに、当該静止物が撮像された画像領域の近傍に、前記第1画像のフレーム間の輝度差が大きい画像領域を、前記VMS標識が撮像された画像領域として検出することを特徴とする請求項6に記載の物体認識装置。

請求項8

前記物体認識装置が搭載された車両の周囲の所定の範囲の領域について、歩行者の有無を検出する歩行者認識処理を行う歩行者認識手段を更に備え、前記歩行者認識手段は、前記高速道路区間判定手段による判定結果が高速道路区間の場合に、前記歩行者認識処理を行わないことを特徴とする請求項1ないし請求項7の何れか一項に記載の物体認識装置。

請求項9

所定の処理サイクル毎に撮像手段を用いて撮像した画像を解析することで、道路標識を認識する車載用の物体認識方法であって、前記画像を解析することで、前記道路標識を認識する標識認識処理ステップと、前記標識認識処理ステップにおいて認識した標識認識結果を時系列に記憶する標識認識結果記憶ステップと、前記標識認識結果記憶ステップにおいて記憶した標識の認識結果を用いて、現在の場所が高速道路区間か非高速道路区間かを判定する高速道路区間判定処理ステップと、を含み、前記高速道路区間判定処理ステップにおいて、前記標識認識結果記憶ステップにおいて前記高速道路の開始を示す標識を認識したことが記憶され、かつ、当該認識結果よりも時系列で後に、前記高速道路の終了を示す標識を認識したことが記憶されていない場合に、現在の場所を高速道路区間であると判定し、それ以外の場合に非高速道路区間であると判定し、前記標識認識処理ステップにおいて、前記高速道路区間判別処理ステップにおける判定結果が高速道路区間か非高速道路区間かに応じて、道路標識を認識するために解析する前記画像内の領域を変更することを特徴とする物体認識方法。

請求項10

所定の処理サイクル毎に車載の撮像手段を用いて撮像した画像を解析することで、道路標識を認識するために、コンピュータを、前記画像を解析することで、前記道路標識を認識する標識認識手段、前記標識認識手段が認識した標識認識結果を時系列に記憶する標識認識結果記憶手段、前記標識認識結果記憶手段に記憶されている標識の認識結果を用いて、現在の場所が高速道路区間か非高速道路区間かを判定する高速道路区間判定手段、として機能させ、前記高速道路区間判定手段は、前記標識認識結果記憶手段に前記高速道路の開始を示す標識を認識したことが記憶され、かつ、当該認識結果よりも時系列で後に、前記高速道路の終了を示す標識を認識したことが記憶されていない場合に、現在の場所を高速道路区間であると判定し、それ以外の場合に非高速道路区間であると判定し、前記標識認識手段は、前記高速道路区間判定手段による判定結果が高速道路区間か非高速道路区間かに応じて、道路標識を認識するために解析する前記画像内の領域を変更することを特徴とする物体認識プログラム

技術分野

0001

本発明は、物体認識装置及びこれに用いるコンピュータプログラムに関し、特に、道路標識の認識に好適な装置と方法、及びこれに用いるコンピュータプログラムに関する。

背景技術

0002

車載カメラ撮像した道路標識を認識することにより、車両内標識情報を表示(乗員への警報)したり、車両の速度設定補助速度制御)したりする装置がある。一般的に道路標識を認識するには、パターン認識テンプレートマッチング等の技術が用いられている。例えば、特許文献1には、速度制限標識を認識する装置及び方法が開示されている。また、近年の車載用物体認識装置は、道路標識認識の他に、他の車両や歩行者などの認識も行い、1つの装置内で多種類の物体認識対象とする物体認識と、これらの認識結果を利用した制御とが行われている。

0003

特許文献1に記載された交通標識識別装置は、速度制限標識を認識するものであるが、欧州地域等では、追い越禁止制限解除(全解除速度制限解除追越し禁止解除がある)等の標識も認識すると便利である。また、前記した標識だけでなく、それ以外の標識についても認識する方がより利便性が向上する。しかし、認識する標識の種類が増える程、誤認識の確率が上昇する。また、一般的にパターン認識は演算負荷が重い処理であるので、多種類の標識を同時に認識すると、標識認識処理の負荷(又はリソース使用量)が増大することになる。しかも、車載用の物体認識装置は、四輪自動車二輪自動車自転車、歩行者など、一つの装置内で多種類の対象物体の認識が行われるので、一つ一つの認識処理の負荷(又はリソース使用量)は制限しなければならない。

0004

特許文献2には、直近に認識された標識を記憶し、この記憶標識に応じて、次に識別する標識のマッチング対象から出現可能性のない標識を除外することで、標識の誤認識を低減する車載用の標識識別装置が記載されている。

0005

特許文献2に記載の物体認識装置は、認識処理の際のマッチング対象を選別することで、マッチング処理回数を低減することはできるが、カメラ撮影した画像の全領域を検査するため、認識処理全体としての負荷はまだ大きいものである。

先行技術

0006

特表2002−530759号公報
特開2012−160116号公報

発明が解決しようとする課題

0007

そこで、本発明は前記した問題を解決するために、道路区間に応じて標識認識処理の負荷を低減した車載用として利用できる物体認識装置、物体認識方法及び物体認識プログラムを提供することを課題とする。

課題を解決するための手段

0008

所定の処理サイクル毎に撮像手段を用いて撮像した画像を解析することで、道路標識を認識する車載用の物体認識装置であって、前記画像を解析することで、前記道路標識を認識する標識認識手段と、前記標識認識手段が認識した標識認識結果を時系列に記憶する標識認識結果記憶手段と、前記標識認識結果記憶手段に記憶されている標識の認識結果を用いて、現在の場所が高速道路区間か非高速道路区間かを判定する高速道路区間判定手段と、を備える構成とした。

0009

かかる構成において、物体認識装置は、前記高速道路区間判定手段によって、前記標識認識結果記憶手段に前記高速道路の開始を示す標識を認識したことが記憶され、かつ、当該認識結果よりも時系列で後に、前記高速道路の終了を示す標識を認識したことが記憶されていない場合に、現在の場所を高速道路区間であると判定し、それ以外の場合に非高速道路区間であると判定する。また、物体認識装置は、前記標識認識手段によって、前記高速道路区間判定手段による判定結果が高速道路区間か非高速道路区間かに応じて、道路標識を認識するために解析する前記画像内の領域を変更する。
このように、物体認識装置は、走行中の道路区間に対応して、当該道路区間に設置された標識の位置に応じた画像内の範囲について標識認識処理を行うことで、認識処理の負荷を低減する。

0010

請求項2に記載の発明は、請求項1に記載の物体認識装置において、前記標識認識手段は、前記高速道路区間判定手段による判定結果が高速道路区間か非高速道路区間かに応じて、認識する対象とする道路標識の種別を変更するように構成した。
かかる構成によれば、物体認識装置は、走行中の道路区間に対応して、当該道路区間に設置された標識の種別に応じた標識認識処理を行うことで、道路標識の種別を識別するためのパターン認識などの処理負荷を低減する。

0011

請求項3に記載の発明は、請求項1又は請求項2に記載の物体認識装置において、前記高速道路区間判定手段は、高速道路の開始を示す標識を認識したときから、高速道路の終了を示す標識を認識したときまでを、前記高速道路区間と判定するように構成した。
かかる構成によれば、物体認識装置は、道路標識の認識結果を用いて高速道路区間か否かの判定を行う。

0012

請求項4に記載の発明は、請求項3に記載の物体認識装置において、前記標識認識手段は、高速道路の走行車線上部に設けられる可変情報表示装置(VMS;Variable Message Signs)によって表示される標識であるVMS標識を、前記高速道路区間において認識する対象とするように構成した。
かかる構成によれば、物体認識装置は、高速道路区間において、道路の左右に設置された標識に加えて、道路の上部に設置されたVMS標識を検出する。

0013

請求項5に記載の発明は、請求項4に記載の物体認識装置において、前記高速道路区間判定手段は、前記VMS標識を、前記高速道路区間の開始を示す標識に加えるように構成した。
かかる構成によれば、高速道路判定手段は、高速道路区間の開始を示す本来の道路標識又はVMS標識を認識したときから、走行中の道路が高速道路区間であると判定する。

0014

請求項6に記載の発明は、請求項4又は請求項5に記載の物体認識装置において、前記撮像手段は、第1露光時間で第1画像を撮像するとともに、前記第1露光時間よりも長い第2露光時間で第2画像を撮像し、前記標識認識手段は、前記第1画像を用いて前記VMS標識が撮像された画像領域を検出するVMS標識検出手段を有し、前記標識認識手段は、前記VMS標識検出手段が検出した前記VMS標識が撮像された画像領域に対応する領域の前記第2画像を用いて、前記VMS標識の種別を識別し、前記第2露光時間は、前記第2画像において撮像されたVMS標識の画像に前記可変情報表示装置の点滅周期に起因する欠損が生じない露光時間であるように構成した。

0015

かかる構成によれば、物体認識装置は、VMS標識でない通常の標識については、露光時間が短い第1画像を用いて認識し、VMS標識については、露光時間が長く、例えば、発光ダイオードを用いた表示装置で表示されたVMS標識を画像欠損なく撮像した第2画像を用いて認識する。

0016

請求項7に記載の発明は、請求項6に記載の物体認識装置において、前記VMS標識検出手段は、前記第1画像において、オプティカルフロー法により、前記高速道路区間における道路上部の静止物が撮像された画像領域を検出するとともに、当該静止物が撮像された画像領域の近傍に、前記第1画像のフレーム間の輝度差が大きい画像領域を、前記VMS標識が撮像された画像領域として検出するように構成した。

0017

かかる構成によれば、物体認識装置は、VMS標識検出手段によって、第1画像にオプティカルフロー法を適用して動きベクトルを検出し、当該動きベクトルの、例えば、方向や長さなどの特徴を利用して、VMS標識の表示装置又は表示装置が設置された設備である道路上部の静止物を検出する。物体認識装置は、更に、視認できない程度の短周期明滅発光する方式で表示されたVMS標識の特徴を利用して、道路上部の静止物の近傍にフレーム間の輝度変化が大きな画像領域をVMS標識が撮像された画像領域として検出する。

0018

請求項8に記載の発明は、請求項1ないし請求項7の何れか一項に記載の物体認識装置において、前記物体認識装置が搭載された車両の周囲の所定の範囲の領域について、歩行者の有無を検出する歩行者認識処理を行う歩行者認識手段を更に備え、前記歩行者認識手段は、前記高速道路区間判定手段による判定結果が高速道路区間の場合に、前記歩行者認識処理を行わないように構成した。

0019

かかる構成によれば、物体認識装置は、歩行者認識手段によって、非高速道路区間では歩行者認識処理を行い、歩行者がいない高速道路区間では歩行者認識処理を中断する。これによって、物体認識装置は、高速道路区間における物体認識処理の負荷又はリソースの使用量を低減することができる。

0020

請求項9に記載の発明は、所定の処理サイクル毎に撮像手段を用いて撮像した画像を解析することで、道路標識を認識する車載用の物体認識方法であって、前記画像を解析することで、前記道路標識を認識する標識認識処理ステップと、前記標識認識処理ステップにおいて認識した標識認識結果を時系列に記憶する標識認識結果記憶ステップと、前記標識認識結果記憶ステップにおいて記憶した標識の認識結果を用いて、現在の場所が高速道路区間か非高速道路区間かを判定する高速道路区間判定処理ステップと、を含む手順とした。

0021

かかる手順において、前記高速道路区間判定処理ステップにおいて、前記標識認識結果記憶ステップにおいて前記高速道路の開始を示す標識を認識したことが記憶され、かつ、当該認識結果よりも時系列で後に、前記高速道路の終了を示す標識を認識したことが記憶されていない場合に、現在の場所を高速道路区間であると判定し、それ以外の場合に非高速道路区間であると判定する。また、前記標識認識処理ステップにおいて、前記高速道路区間判別処理ステップにおける判定結果が高速道路区間か非高速道路区間かに応じて、前記標識認識処理ステップにおいて道路標識を認識するために解析する前記画像内の領域を変更する。
このように、走行中の道路区間に対応して、当該道路区間に設置された標識の位置に応じた画像内の範囲について標識認識処理を行うことで、認識処理の負荷が低減される。

0022

また、請求項1に記載の物体認識装置は、一般的なコンピュータが備えるCPU(中央演算装置)、メモリなどのハードウェア資源を、標識認識手段、標識結果記憶手段、高速道路区間判定手段、として機能させるための請求項10に記載の物体認識プログラムによって実現することもできる。

発明の効果

0023

請求項1、請求項9又は請求項10に記載の発明によれば、当該道路区間に対応して、画像内の解析する範囲が変更されるため、標識認識処理のための処理負荷又はリソース使用量を低減することができる。
請求項2に記載の発明によれば、当該道路区間に対応して、道路標識の種別を識別するためのパターン認識などの処理負荷が低減されるため、標識認識処理のための処理負荷又はリソース使用量を更に低減することができる。

0024

請求項3に記載の発明によれば、物体認識装置は、道路標識の認識結果を用いて高速道路区間か否かの判定を行うため、他の特別な装置を用いることなく高速道路区間か否かを判定することができる。
請求項4に記載の発明によれば、物体認識装置は、高速道路区間においてのみ道路上部に設置されたVMS標識を検出し、非高速道路区間において、道路の左右に設置された道路標識のみを認識することで、非高速道路区間における標識認識処理の負荷又はリソース使用量を低減することができる。
請求項5に記載の発明によれば、高速道路判定手段は、高速道路区間の開始を示す本来の道路標識又はVMS標識を認識したときから、走行中の道路が高速道路区間であると判定するため、例えば、高速道路の入り口で高速道路区間の開始を示す標識の認識に失敗した場合でも、VMS標識が高速道路区間に設置される地域においては、高速道路区間であることを適切に判定することができる。

0025

請求項6に記載の発明によれば、物体認識装置は、VMS標識か否かに応じて、異なる露光時間で撮像した画像を用いて標識認識処理を行うため、何れの道路標識も適切に認識することができる。
請求項7に記載の発明によれば、物体認識装置は、VMS標識の設置場所の特徴及びVMS標識の表示特性を利用して、適切にVMS標識が撮像された画像領域を検出することができる。このため、VMS標識を精度よく認識することができる。
請求項8に記載の発明によれば、物体認識装置は、高速道路区間では歩行者認識処理を中断して物体認識処理の負荷又はリソース使用量を低減するため、高速道路区間と非高速道路区間とで負荷又はリソース使用量が変化する標識認識処理と合わせた物体認識処理全体として、負荷又はリソース使用量を最適化することができる。

図面の簡単な説明

0026

本発明の第1実施形態に係るカメラECUの構成を示すブロック図である。
本発明の第1実施形態に係るカメラECUによる標識認識処理の流れを示すフローチャートである。
本発明の第1実施形態に係るカメラECUによる高速道路区間判定処理の流れを示すフローチャートである。
本発明の第1実施形態に係るカメラECUが、標識を認識するために走査する画像領域を示す説明図である。
本発明の第1実施形態に係るカメラECUが認識対象とする標識群の例を示す図である。
本発明の第1実施形態の変形例に係るカメラECUによる高速道路区間判定処理の流れを示すフローチャートである。
本発明の第2実施形態に係るカメラECUの構成を示すブロック図である。
本発明の第2実施形態に係るカメラECUによる高速道路区間での標識の認識処理の流れを示すフローチャートである。
本発明の第2実施形態に係るカメラECUによるVMS標識検出処理の流れを示すフローチャートである。
本発明の第2実施形態に係るカメラECUが、VMS標識の画像領域を検出する様子を示す画像である。

実施例

0027

本発明の実施形態を、道路標識を認識する標識認識部を備えた車載用のカメラECU(Electronic Control Unit;電子制御ユニット)を例として説明する。なお、以降の説明においては、特に断らない限り、「標識」とは「道路標識」を指すものとする。また、以降の説明において、「標識を認識する」とは、特に断らない限り、画像内で標識が撮像された画像領域を検出し、更に検出した画像領域に撮像されている標識の種別を識別することをいうものとする。

0028

<第1実施形態>
まず、図1を参照して、本発明の第1実施形態に係るカメラECUの構成について説明する。
[カメラECUの構成]
図1に示すように、第1実施形態に係るカメラECU10は、カメラ11、画像取得部12、物体認識部13及び制御部14を備えている。
カメラECU10は、カメラ11を用いて、所定の周期で当該カメラECU10を搭載した車両(以下、適宜に「自車両」という)の前方を撮像し、この撮像した画像を物体認識部13によってリアルタイムに解析することで、標識を含め、他の車両や人、障害物などの物体を認識する装置である。

0029

カメラECU10が認識した標識等の認識結果である認識情報は、警報装置20、表示装置30、制御ECU40などの他の装置やECUに出力され、各種の運転支援のために用いられる。例えば、不図示の速度検知部によって検知された自車両の速度と、カメラECU10が認識した標識で示される速度規制情報等とに基づき、警報や自車両の速度制御などに利用される。

0030

また、本実施形態に係るカメラECU10は、物体認識部13によって標識を認識する際に、自車両が走行中の道路が高速道路区間か非高速道路区間かに対応して、カメラ11で撮像した画像内において標識が撮像された画像領域を検出するための走査領域と、検出した画像領域について識別対象とする標識の種別と、を変更するものである。これによって、標識の認識処理の負荷又はリソース使用量を低減することができる。
なお、高速道路区間か否かに対応して、走査する画像領域と、識別対象とする標識の種別との詳細については後記する。

0031

カメラ11は、例えば、車両のフロントガラス付近に設置され、車両の前方を撮像し、画像データを生成する。カメラ11は、撮像した画像データを画像取得部12に出力する。カメラ11は、CMOS(Complementary Metal Oxide Semiconductor)撮像素子やCCD(Charge Coupled Device)撮像素子などを用いたデジタルカメラを用いることができる。また、カメラ11は、モノクロ画像を撮像するものでもよいが、標識の検出及び識別をする際に標識の色彩情報を利用できるように、カラー画像を撮像するものが好ましい。

0032

また、カメラ11は、所定のフレーム率、例えば、30〜60fps(フレーム/秒)程度で常時撮像してもよいし、物体認識処理のための所定のサイクルに合わせて、間欠的に撮像するようにしてもよい。なお、フレーム率は、この範囲に限定されるものではなく、更に低くてもよく、更に高くてもよい。

0033

なお、本実施形態では、標識を認識するために、カメラ11によって撮像された車両前方の画像を用いるが、更に他のカメラを搭載し、車両の側方後方を撮像し、他の車両、歩行者、障害物などの物体の認識に用いるようにしてもよい。また、以降の説明では、特に断らない限り、車両の前方を撮影するカメラ11で撮像した画像を用いて標識の認識を行うものとする。

0034

画像取得部12は、カメラ11が撮像した画像データを入力し、入力した画像データを物体認識部13へ出力するインターフェース部である。

0035

物体認識部13は、カメラ11が撮像した車両前方の画像データを、画像取得部12を介して入力し、標識を含めた各種物体を認識する画像認識手段である。
物体認識部13は、標識を認識する標識認識部131と、他の車両を認識する車両認識部132と、歩行者を認識する歩行者認識部133と、各認識部131〜133による認識結果である認識情報を記憶する認識情報記憶部134と、を備えている。物体認識部13は、各種物体についての認識情報を、制御部14を介して、警報装置20、表示装置30及び制御ECU40などに出力する。
なお、物体認識部13は、図1に示した例に限定されず、更に他の種類の物体を認識する手段を設けるようにしてもよい。

0036

物体認識部13は、画像認識を高速リアルタイム処理するために、専用のハードウェア回路、例えば、FPGA(Field Programable Gate Array)又はDSP(Digital Signal Processor)を用いて構成するようにしてもよく、汎用のCPU(Central Processing Unit)を用いて構成することもできる。

0037

また、物体認識部13は、FPGAなどのハードウェア回路とCPUとを組み合わせて、処理を分担して行うように構成することもできる。例えば、物体認識部13が行う処理の内で、認識処理の前処理として行うフィルタ処理階調補正などの画像処理パターン認識処理のような負荷の大きな処理は、ハードウェア回路を用いて処理するように構成し、認識情報を用いた判断や制御はCPUを用いて行うようにしてもよい。

0038

標識認識部131は、カメラ11が撮像した車両前方の画像データを用いて、標識を認識する手段である。
本実施形態における標識認識部131は、標識検出部131aと、標識識別部131bと、高速道路区間判定部131cと、を備えている。

0039

標識検出部131aは、高速道路区間及び非高速道路区間の道路の左右及び上部に設けられた標識を検出するための手段である。標識検出部131aは、検出した標識が撮像された画像領域についての情報を、標識識別部131bに出力する。
なお、標識検出部131aから標識識別部131bに出力する画像領域についての情報は、標識が撮像された画像領域の画像データを切り出したものであってもよいし、当該画像領域の範囲を示す位置情報であってもよい。

0040

標識検出部131aは、カメラ11が撮像した車両前方の画像において、高速道路区間か非高速道路区間かに対応して予め定められた標識認識領域(図4参照)を走査することで、高速道路区間か非高速道路区間かに対応して予め定められた認識対象とする標識(図5参照)が撮像された画像領域を検出する。画像領域の検出法としては、例えば、認識対象とする標識の図形の形状又は形状及び色の情報を用いて検出することができる。例えば、速度規制などの規制標識は赤い太線縁取られた円形の図形を有し、給油救護サービスを示す標識は青い太線で縁取られた四角形の図形を有することを特徴として検出することができる。

0041

標識識別部131bは、標識検出部131aから、標識が撮像された画像領域についての情報を入力し、当該画像領域に撮像されている標識の種別を識別するための手段である。標識識別部131bは、当該画像領域に撮像されている標識が、高速道路区間か非高速道路区間かに対応して予め定められた認識対象とする標識(図5参照)の何れに一致するかを、例えば、テンプレートマッチングや文字認識の技術を用いて識別する。
標識識別部131bは、識別した標識を、認識情報記憶部134に時系列に記憶する。

0042

高速道路区間判定部131cは、認識情報記憶部134に記憶されている標識識別部131bが識別した標識の認識情報を用いて、自車両が走行している道路が高速道路区間か非高速道路区間かを判定する手段である。
本実施形態においては、高速道路区間判定部131cは、標識識別部131bによって高速道路区間の開始を示す標識を認識した地点から、標識識別部131bによって高速道路区間の終了を示す標識を認識した地点までを高速道路区間と判定する。
ここで、高速道路とは、例えば、ドイツにおいては、アウトバーン自動車専用道路とが該当し、自動車のみが通行できる道路を指すものである。
なお、高速道路区間判定処理の詳細については後記する。

0043

車両認識部132は、カメラ11が撮像した車両前方の画像データを用いて、他の車両の位置を認識する手段である。
また、歩行者認識部(歩行者認識手段)133は、カメラ11が撮像した車両前方の画像データを用いて、自車両の周囲の所定の範囲の領域について歩行者の有無を認識する手段であり、当該歩行者の位置を認識することが更に好ましい。なお、ここで歩行者とは、歩行中人物に限定されるものではなく、立位座位、伏臥の姿勢の人物など、人物全般を指すものである。また、本実施形態において、歩行者を認識する自車両の周囲の所定の範囲の領域は、自車両の前方(進行方向)であるが、これに限定されるものではなく、更に他のカメラ画像を用いて、自車両の側方や後方についても歩行者の認識を行うようにしてもよい。

0044

車両認識部132及び/又は歩行者認識部133は、カメラ11が撮像した車両前方の画像データに加えて、他のカメラ(不図示)が撮影した車両の側方や後方の画像データを用いて車両や歩行者を認識するように構成することもできる。
車両認識部132及び歩行者認識部133は、認識結果を認識情報記憶部134に記憶する。

0045

また、歩行者認識部133は、高速道路区間判定部131cが非高速道路区間と判定した区間において歩行者認識処理を行い、高速道路区間判定部131cが高速道路区間と判定した区間において歩行者認識処理を中断するようにしてもよい。特に画像処理による歩行者の認識処理は、処理の負荷が大きい。このため、高速道路区間において、本実施形態のように、標識認識部131が標識の認識処理を行う対象とする画像領域が多くなる場合や、後記する第2実施形態のように、更にVMS標識の認識のために負荷の大きな処理を行う場合には、歩行者認識処理と標識認識処理とを合わせた物体認識処理の負荷を効果的に最適化することができる。

0046

なお、歩行者認識部133による歩行者認識処理の手法は特に限定されるものではない。例えば、標識検出部131aによる道路標識の検出処理と同様に、テンプレートを用いたパターンマッチングにより、予め定めた歩行者の形状を検出することで歩行者の有無を認識することができる。パターンマッチングの手法を用いる場合は、歩行者の様々な姿勢に対応した複数のテンプレートを用いることが好ましい。

0047

また、カメラ11が撮影した画像から個々の物体の領域を検出し、検出した領域の縦横比が所定の範囲に該当する物体を歩行者であると認識することもできる。また、人体の形状を、例えば、頭部、首、肩、足などに分解して検出し、更にこれらの要素の接続関係を利用して歩行者であることを認識することもできる。
また、歩行者認識処理は、画像処理によって歩行者を認識するものに限らず、例えば、レーダー装置を用いるものであってもよい。その他、種々の歩行者(人物)認識手法を用いることができる。更に、これらの中の複数の手法を組み合わせて用いるようにしてもよい。

0048

認識情報記憶部134は、標識認識部131、車両認識部132及び歩行者認識部133が認識した認識結果である認識情報を、時系列で記憶する手段である。
認識情報記憶部134に記憶された認識情報は、高速道路区間判定部131cによって参照される。また、認識情報記憶部134に記憶されている認識情報は、例えば、制御部14によって参照され、各種アプリケーション機能に伝送される。

0049

また、本実施形態では、認識情報記憶部134は、揮発性メモリ不揮発性メモリとを備え、物体認識部13が認識した認識情報は、揮発性メモリ及び不揮発性メモリの両方に記憶される。通常の動作時は、揮発性メモリに記憶した認識情報が用いられる。また、装置の電源をOFFされた後に、電源が再投入された場合に、不揮発性メモリに記憶されている認識情報が、揮発性メモリのその認識情報に対応する領域に複写され、以後の動作の際に用いられる。これによって、電源を一旦OFFしても、電源を再投入することで、認識情報を連続して利用することができる。例えば、高速道路のパーキングエリア駐車する際に電源をOFFしても、高速道路区間の開始を示す標識を識別した認識情報が保存されているため、電源を再投入した後でも高速道路区間を正しく判定することができる。

0050

制御部14は、物体認識部13から各種物体についての認識情報を用いて、各種アプリケーション機能との通信処理等を行うものである。

0051

また、本実施形態においては、カメラECU10は、図示しないが、画像取得部12を介して入力されるカメラ11が撮像した画像データを一時的に保持するフレームバッファメモリ、装置内で必要とする諸々の情報を記憶するメモリなどを有している。
前記した認識情報記憶部134、フレームバッファメモリ、その他の情報用のメモリなどは、それらの使用量や使用形態に応じて、FPGA、DSP、CPUの内部メモリ外部メモリなどを適宜に用いて構成することができる。

0052

警報装置20、表示装置30及び制御ECU40は、カメラECU10の制御部14を介して、各種のアプリケーション機能を実行するよう設けられている。警報装置20は、カメラECU10から入力した各種物体の認識情報に基づいて危険な状態を検知した場合に、アラーム音声などにより危険を知らせる装置である。また、表示装置30は、カメラECU10から入力した各種物体の認識情報や、認識情報から判断される車両の運転状況などを表示する装置である。また、制御ECU40は、不図示のブレーキ制御ステアリング制御連携しており、カメラECU10による物体の認識情報を用いて判断される車両の運転状況に応じて、例えば、衝突回避の動作を行うようなアプリケーションを実行させることもできる。

0053

[カメラECUの動作]
次に、図2を参照(適宜図1参照)して、第1実施形態に係るカメラECU10による標識の認識処理である標識認識処理の動作について説明する。なお、本実施形態では、カメラECU10は、物体認識部13の標識認識部131によって、カメラ11が撮像した車両前方の画像データを用いて標識認識処理を行う。また、標識認識処理は、予め定められた所定のサイクル(周期)で繰り返し実行される。この所定のサイクルは、カメラ11のフレーム率に相当する周期と同じか、これよりも長い周期とすることができ、例えば、16ミリ秒から1秒(60〜1Hz)程度とすることができる。

0054

図2に示すように、カメラECU10は、高速道路区間判定部131cによって、自車両が走行中の道路が高速道路区間か否(非高速道路区間)かを、認識情報記憶部134に時系列で記憶されている標識識別部131bが識別した標識の認識情報を用いて判定する(ステップS101)。なお、高速道路区間判定部131cによる高速道路区間判定処理の詳細については後記する。

0055

判定結果が高速道路区間である場合は(ステップS101でYes)、カメラECU10は、標識検出部131aによって、カメラ11が撮像した画像内の全標識認識領域(A+B)について、ラスタスキャンする(ステップS102)。

0056

ここで、図4を参照して、カメラ11が撮像した画像において、標識を検出する画像領域である標識認識領域について説明する。
図4に示すように、画像Gの水平方向の画像幅をX、垂直方向の画像高さをYとする。例えば、図10に示すように、画像Gには、上部領域にVMS(Variable Message Signs;可変情報表示方式)標識などの道路の上部に設けられた標識が撮像され、中部領域に道路の左右に設けられた標識が撮像される。そこで、本実施形態においては、画像Gの上半分の領域の更に下半分の領域RAを、道路の左右に設けられた標識を検出するための左右標認識領域(A)とし、画像Gの上半分の領域の更に上半分の領域RBを、VMS標識などの道路の上部に設けられた標識を検出するための上部標識認識領域(B)とする。

0057

ここで、道路にはカーブがあるため、道路の左右に設けられた標識が撮像される位置は、水平方向の広範囲に亘る。このため、左右標識認識領域(A)は、画像Gの水平方向Xの全幅とすることが好ましい。
また、道路の上部に設けられたVMS標識などの上部標識は、自車両から遠方にあるときには、領域RAに撮像され、自車両に近づくと領域RBに撮像される。従って、上部標識を認識するためには、領域RA及び領域RBを検出領域として走査することが好ましい。なお、上部標識が遠方にあるときには、認識対象から除外するようにして、領域RBのみを上部標識認識領域(B)とすることもできる。

0058

なお、左右標識認識領域(A)とする領域RA及び上部標識認識領域(B)とする領域RBは、図4に示した例に限定されず、カメラ11の画角光軸設定方向、それぞれ認識対象とする標識が設けられる位置や認識するタイミング(自車両と標識との距離)などに応じて、適宜に設定するようにすることができる。

0059

図2を参照(適宜図1参照)して、カメラECU10による標識認識処理について説明を続ける。
カメラECU10は、標識認識部131の標識検出部131aによって、高速道路区間において標識を検出する画像領域として、左右標識認識領域(A)と上部標識認識領域(B)とからなる全標識認識領域(A+B)をラスタスキャンしながら、高速道路区間で認識対象とする標識群の何れかの図形的特徴を有する画像領域を検出する標識検出処理を行う(ステップS103)。

0060

標識検出処理は、カメラ11が撮像したカラー画像から必要な色成分を抽出した画像や輝度画像などを用いて行う。標識検出処理は、形状(円、四角三角など)と色(赤、青、黄など)とで標識が撮像された画像領域であることを検出する。形状の検出は、ハフ変換などの技術を用いることができる。

0061

また、カメラECU10は、標識検出部131aによって、所定の標識認識領域についてラスタスキャンが終了したかを確認し(ステップS104)、終了していない場合は(ステップS104でNo)、ステップS102に戻る。また、ラスタスキャンが終了した場合は(ステップS104でYes)、ステップS105に進む。
すなわち、ラスタスキャン(ステップS102)及び標識検出処理(ステップS103)は、所定の標識認識領域についてラスタスキャンが終了するまで(ステップS104)、繰り返し行われる。

0062

ここで、図5を参照して、各道路区間で認識対象とする標識について説明する。なお、図5に示した標識の例は、ドイツにおいて用いられているものであるが、これに限定されるものではなく、車両が走行する国に応じて、適宜に認識対象とする標識を定めることができる。

0063

図5に示すように、本実施形態において認識対象とする標識は、A群〜D群に分類される。
A群に含まれる標識A1〜A5は、高速道路区間及び非高速道路区間の両方に設けられるものであり、両方の区間で認識の対象とする。A群には、各種の規制標識とその規制解除標識が含まれる。例えば、標識A1は速度を60km/hに規制する標識であり、標識A3は、60km/hの速度規制を解除する標識である。

0064

B群に含まれる標識B1〜B9は、高速道路区間にのみ設けられるため、高速道路区間においてのみ認識対象とする。B群には、各種の案内情報を示す標識が含まれる。例えば、標識B1は、給油所があることを示す標識であり、標識B8は、道路の行き先を示す標識である。また、B群には、アウトバーンの終了を示す標識B5と、自動車専用道路の終了を示す標識B6とが含まれる。

0065

C群に含まれる標識C1〜C17は、非高速道路区間にのみ設けられるため、非高速道路区間においてのみ認識対象とする。C群には、歩行者や自転車についての標識が多く含まれる。例えば、標識C4は歩道を示す標識であり、標識C14は市街地への入り口を示す標識であり、標識C15は市街地からの出口を示す標識である。また、C群には、アウトバーンの開始を示す標識C12と、自動車専用道路の開始を示す標識C13とが含まれる。

0066

D群に含まれる標識D1〜D5は、VMS標識として、高速道路区間にのみ設けられるため、高速道路区間においてのみ認識対象とする。D群には、各種の規制標識とその規制解除標識とが含まれる。例えば、標識D1は速度を60km/hに規制する標識であり、標識D3は、60km/hの速度規制を解除する標識である。

0067

以上のように、本実施形態では、高速道路区間においては、図5に、A群、B群及びD群として例示した高速道路区間で認識対象とする標識群の図形的特徴を有する画像領域を検出する。

0068

図2を参照(適宜図1参照)して、標識認識処理について説明を続ける。
カメラECU10は、次に、標識識別部131bによって、ステップS103で検出した標識が撮像された画像領域について、図5にA群、B群及びD群として例示した高速道路区間で認識対象とする標識群の何れが撮像されているかを識別する標識識別処理を行う(ステップS105)。カメラECU10は、標識識別部131bによって識別した標識の種別を、標識の認識結果である認識情報として、時系列に認識情報記憶部134に記憶する。
なお、時系列で認識情報を記憶するとは、所定の記憶領域に、各認識情報を認識した順番に記憶することに限定されず、各認識情報を認識時刻対応付けて記憶するようにしてもよい。

0069

また、標識のすべての認識情報を認識情報記憶部134に記憶する必要はないが、少なくとも、高速道路の開始を示す標識C12,C13(図5参照)の直近の認識情報と、高速道路の終了を示す標識B5,B6(図5参照)の直近の認識情報とは、時系列で認識情報記憶部134に記憶するものとする。更に、これらの認識情報は、高速道路区間判定処理に用いられるため、前記したように、揮発性メモリ及び不揮発性メモリの両方に記憶することが好ましい。これによって、装置の電源がOFFされても、電源再投入後に高速道路区間判定に用いられる認識情報が復帰できるため、適切に高速道路区間の判定を行うことができる。

0070

一方、判定結果が高速道路区間でない場合は(ステップS101でNo)、カメラECU10は、標識検出部131aによって、カメラ11が撮像した画像内の左右標識認識領域(A)について、ラスタスキャンする(ステップS106)。
なお、本実施形態では、非高速道路区間において、図4に示した画像Gの上部領域RBに撮像される位置に設けられる標識はないものとしている。すなわち、非高速道路区間において標識が撮像される可能性のある画像領域のみを標識認識領域としてスキャンするものである。

0071

カメラECU10は、標識検出部131aによって、左右標識認識領域(A)をラスタスキャンしながら、図5に、A群及びC群として例示した、非高速道路区間で認識対象とする標識群の何れかの図形的特徴を有する画像領域を検出する標識検出処理を行う(ステップS107)。

0072

また、カメラECU10は、標識検出部131aによって、所定の標識認識領域についてラスタスキャンが終了したかを確認し(ステップS108)、終了していない場合は(ステップS108でNo)、ステップS106に戻る。また、ラスタスキャンが終了した場合は(ステップS108でYes)、ステップS109に進む。
すなわち、ラスタスキャン(ステップS106)及び標識検出処理(ステップS107)は、所定の標識認識領域についてラスタスキャンが終了するまで(ステップS108)、繰り返し行われる。

0073

次に、カメラECU10は、標識識別部131bによって、ステップS107で検出した標識が撮像された画像領域について、図5にA群及びC群として例示した非高速道路区間で認識対象とする標識群の何れが撮像されているかを識別する標識識別処理を行う(ステップS109)。カメラECU10は、標識識別部131bによって識別した標識の種別を、標識の認識結果である認識情報として、時系列に認識情報記憶部134に記憶する。
なお、カメラECU10は、所定のサイクルで、図2に示した標識認識処理を行う。

0074

次に、図3を参照(適宜図1及び図2参照)して、図2に示した標識認識処理における高速道路区間判定処理(ステップS101)について詳細に説明する。
図3に示すように、本実施形態における高速道路区間判定処理では、カメラECU10は、高速道路区間判定部131cによって、認識情報記憶部134に時系列で記憶されている標識の認識情報を参照し、アウトバーンの開始を示す標識C12(図5参照)の認識情報が記憶されているかどうかを確認する(ステップS201)。

0075

ここで、アウトバーンの開始を示す標識C12(図5参照)の認識情報が記憶されている場合は(ステップS201でYes)、カメラECU10は、高速道路区間判定部131cによって、更に認識情報記憶部134を参照し、当該アウトバーンの開始を示す標識C12(図5参照)の認識情報よりも時系列で後の時刻にアウトバーンの終了を示す標識B5(図5参照)の認識情報が記憶されているかどうかを確認する(ステップS202)。

0076

ここで、アウトバーンの終了を示す標識B5(図5参照)の認識情報が記憶されていない場合は(ステップS202でNo)、カメラECU10は、高速道路区間判定部131cによって、自車両が走行中の道路は、高速道路区間であると判定する(ステップS203)。
一方、アウトバーンの終了を示す標識B5(図5参照)の認識情報が記憶されている場合は(ステップS202でYes)、カメラECU10は、高速道路区間判定部131cによって、自車両が走行中の道路は、非高速道路区間であると判定する(ステップS206)。

0077

また、アウトバーンの開始を示す標識C12(図5参照)の認識情報が記憶されていない場合は(ステップS201でNo)、カメラECU10は、高速道路区間判定部131cによって、認識情報記憶部134に記憶されている標識の認識情報を参照し、自動車専用道路の開始を示す標識C13(図5参照)の認識情報が記憶されているかどうかを確認する(ステップS204)。

0078

ここで、自動車専用道路の開始を示す標識C13(図5参照)の認識情報が記憶されている場合は(ステップS204でYes)、カメラECU10は、高速道路区間判定部131cによって、更に認識情報記憶部134を参照し、当該自動車専用道路の開始を示す標識C13(図5参照)の認識情報よりも時系列で後の時刻に自動車専用道路の終了を示す標識B6(図5参照)の認識情報が記憶されているかどうかを確認する(ステップS205)。

0079

ここで、自動車専用道路の終了を示す標識B6(図5参照)の認識情報が記憶されていない場合は(ステップS205でNo)、カメラECU10は、高速道路区間判定部131cによって、自車両が走行中の道路は、高速道路区間であると判定する(ステップS203)。

0080

一方、自動車専用道路の終了を示す標識B6(図5参照)の認識情報が記憶されている場合は(ステップS205でYes)、カメラECU10は、高速道路区間判定部131cによって、自車両が走行中の道路は、非高速道路区間であると判定する(ステップS206)。
また、自動車専用道路の開始を示す標識C13(図5参照)の認識情報が記憶されていない場合は(ステップS204でNo)、カメラECU10は、高速道路区間判定部131cによって、自車両が走行中の道路は、非高速道路区間であると判定する(ステップS206)。

0081

以上のようにして、本実施形態に係るカメラECU10は、高速道路区間判定部131cによって、高速道路の開始を示す標識を認識してから、高速道路の終了を示す標識を認識するまでの区間を高速道路区間と判定し、それ以外の区間を非高速道路区間と判定する。

0082

以上説明したように、高速道路区間か非高速道路区間かに対応して、標識を認識するために走査する画像領域を限定したため、標識認識部131による標識認識処理の負荷又はリソース使用量を低減することができる。また、高速道路区間か非高速道路区間かに対応して、識別する標識の種別を限定したため、標識認識部131による標識認識処理の負荷又はリソース使用量を低減することができる。
なお、認識対象とする標識は、高速道路区間及び非高速道路区間のそれぞれに設けられる可能性のある標識のすべてとすることに限定されず、可能性のある標識の一部を認識対象とするようにしてもよい。例えば、車両乗員有用性の高い標識を認識対象として適宜に選択するようにしてもよい。

0083

また、標識認識部131による標識認識処理と、歩行者認識部133による歩行者認識処理とを合わせた処理の負荷又はリソース使用量について考えると、高速道路区間では、歩行者認識部133による歩行者認識処理を中断することで、高速道路区間における物体認識処理全体についての負荷又はリソースの使用量を最適化することができる。一方、非高速道路区間では、標識認識領域を高速道路区間よりも限定して走査するため、標識認識処理のスキャン処理の負荷が低減でき、非高速道路区間で処理が必要となる歩行者認識処理と合わせた処理の負荷又はリソース使用量を最適化することができる。

0084

また、歩行者認識部133は、カメラ11が撮像した画像において、歩行者が撮像されない領域(例えば、図4の上部領域RB)を予め定めておき、歩行者認識処理の対象から除外するようにしてもよい。これによって、歩行者認識処理の負荷を低減することができる。

0085

<変形例>
次に、第1実施形態の変形例について説明する。
第1実施形態の変形例に係るカメラECUは、図1に示した第1実施形態に係るカメラECU10の高速道路区間判定処理において、高速道路の開始を示す標識として、図5にD群として例示したVMS標識を加えるものである。これによって、高速道路の入り口で、高速道路の開始を示す本来の標識C12,C13の認識に失敗した場合や、高速道路走行の途中で、例えば、パーキングエリアなどで電源をOFFし、認識情報を不揮発性メモリに記憶しない場合であっても、高速道路の走行を再開した途中でVMS標識を認識することで、自車両が走行中の道路が高速道路区間であることを適切に判定することができる。
なお、本変形例においては、例えばドイツのように、非高速道路区間においては、道路の上部にVMS標識が設けられていないことを前提とするものである。

0086

本変形例に係るカメラECUは、図1に示した第1実施形態に係るカメラECU10とは、高速道路区間判定処理が異なるだけである。従って、本変形例に係るカメラECUとして、図1に示したハードウェア構成のカメラECU10を用いることができるため、構成についての説明は省略する。
また、高速道路区間判定処理以外の処理も、第1実施形態と同様であるから、説明は省略する。

0087

次に、図6を参照(適宜図1参照)して、本変形例に係るカメラECUによる高速道路区間判定処理について説明する。
図6に示すように、本変形例における高速道路区間判定処理では、カメラECU10は、高速道路区間判定部131cによって、認識情報記憶部134に時系列で記憶されている標識の認識情報を参照し、アウトバーンの開始を示す標識C12(図5参照)の認識情報が記憶されているかどうかを確認する(ステップS301)。

0088

ここで、アウトバーンの開始を示す標識C12(図5参照)の認識情報が記憶されている場合は(ステップS301でYes)、カメラECU10は、高速道路区間判定部131cによって、更に認識情報記憶部134を参照し、当該アウトバーンの開始を示す標識C12(図5参照)の認識情報よりも時系列で後の時刻にアウトバーンの終了を示す標識B5(図5参照)の認識情報が記憶されているかどうかを確認する(ステップS302)。

0089

ここで、アウトバーンの終了を示す標識B5(図5参照)の認識情報が記憶されていない場合は(ステップS302でNo)、カメラECU10は、高速道路区間判定部131cによって、自車両が走行中の道路は、高速道路区間であると判定する(ステップS303)。
一方、アウトバーンの終了を示す標識B5(図5参照)の認識情報が記憶されている場合は(ステップS302でYes)、カメラECU10は、高速道路区間判定部131cによって、自車両が走行中の道路は、非高速道路区間であると判定する(ステップS307)。

0090

また、アウトバーンの開始を示す標識C12(図5参照)の認識情報が記憶されていない場合は(ステップS301でNo)、カメラECU10は、高速道路区間判定部131cによって、認識情報記憶部134に記憶されている標識の認識情報を参照し、図5にD群で示した何れかのVMS標識の認識情報が記憶されているかどうかを確認する(ステップS304)。VMS標識の認識情報が記憶されている場合は(ステップS304でYes)、カメラECU10は、高速道路区間判定部131cによって、更に認識情報記憶部134を参照し、当該VMS標識の認識情報よりも時系列で後の時刻にアウトバーンの終了を示す標識B5(図5参照)の認識情報が記憶されているかどうかを確認する(ステップS302)。

0091

ここで、アウトバーンの終了を示す標識B5(図5参照)の認識情報が記憶されていない場合は(ステップS302でNo)、カメラECU10は、高速道路区間判定部131cによって、自車両が走行中の道路は、高速道路区間であると判定する(ステップS303)。
一方、アウトバーンの終了を示す標識B5(図5参照)の認識情報が記憶されている場合は(ステップS302でYes)、カメラECU10は、高速道路区間判定部131cによって、自車両が走行中の道路は、非高速道路区間であると判定する(ステップS307)。

0092

また、VMS標識の認識情報が記憶されていない場合は(ステップS304でNo)、カメラECU10は、高速道路区間判定部131cによって、認識情報記憶部134に記憶されている標識の認識情報を参照し、自動車専用道路の開始を示す標識C13(図5参照)の認識情報が記憶されているかどうかを確認する(ステップS305)。

0093

ここで、自動車専用道路の開始を示す標識C13(図5参照)の認識情報が記憶されている場合は(ステップS305でYes)、カメラECU10は、高速道路区間判定部131cによって、更に認識情報記憶部134を参照し、当該自動車専用道路の開始を示す標識C13(図5参照)の認識情報よりも時系列で後の時刻に自動車専用道路の終了を示す標識B6(図5参照)の認識情報が記憶されているかどうかを確認する(ステップS306)。

0094

ここで、自動車専用道路の終了を示す標識B6(図5参照)の認識情報が記憶されていない場合は(ステップS306でNo)、カメラECU10は、高速道路区間判定部131cによって、自車両が走行中の道路は、高速道路区間であると判定する(ステップS303)。

0095

一方、自動車専用道路の終了を示す標識B6(図5参照)の認識情報が記憶されている場合は(ステップS306でYes)、カメラECU10は、高速道路区間判定部131cによって、自車両が走行中の道路は、非高速道路区間であると判定する(ステップS307)。
また、自動車専用道路の開始を示す標識C13(図5参照)の認識情報が記憶されていない場合は(ステップS305でNo)、カメラECU10は、高速道路区間判定部131cによって、認識情報記憶部134に記憶されている標識の認識情報を参照し、図5にD群で示した何れかのVMS標識の認識情報が記憶されているかどうかを確認する(ステップS308)。VMS標識の認識情報が記憶されている場合は(ステップS308でYes)、カメラECU10は、高速道路区間判定部131cによって、更に認識情報記憶部134を参照し、当該VMS標識の認識情報よりも時系列で後の時刻に自動車専用道路の終了を示す標識B6(図5参照)の認識情報が記憶されているかどうかを確認する(ステップS306)。

0096

ここで、自動車専用道路の終了を示す標識B6(図5参照)の認識情報が記憶されていない場合は(ステップS306でNo)、カメラECU10は、高速道路区間判定部131cによって、自車両が走行中の道路は、高速道路区間であると判定する(ステップS303)。
一方、自動車専用道路の終了を示す標識B6(図5参照)の認識情報が記憶されている場合は(ステップS306でYes)、カメラECU10は、高速道路区間判定部131cによって、自車両が走行中の道路は、非高速道路区間であると判定する(ステップS307)。

0097

また、VMS標識の認識情報が記憶されていない場合は(ステップS308でNo)、カメラECU10は、高速道路区間判定部131cによって、自車両が走行中の道路は、非高速道路区間であると判定する(ステップS307)。

0098

以上のようにして、本実施形態に係るカメラECU10は、高速道路区間判定部131cによって、高速道路の開始を示す標識又は高速道路区間にのみ設置されるVMS標識を認識してから、高速道路の終了を示す標識を認識するまでの区間を高速道路区間と判定し、それ以外の区間を非高速道路区間と判定する。

0099

なお、高速道路区間の開始を示す標識の認識を失敗して高速道路区間に進入した場合、又は高速道路区間で標識の認識情報を消失した場合は、高速道路区間であるにもかかわらず、高速道路区間判定部131cは、高速道路区間であると判定することができない。また、高速道路区間であると判定されない場合は、上部標識認識領域(B)を標識認識処理の対象としないため、自車両が接近したときに、道路上部に設けられたVMS標識を認識することができず、高速道路区間判定部131cは、高速道路区間であることを適切に判定することができない場合が考えられる。

0100

そこで、例えば、高速道路区間の開始を示す標識の認識情報が、高速道路区間の終了を示す標識の認識情報よりも時系列で後に又は全く記憶されておらず、かつ、自車両の速度が非高速道路区間で定められる上限速度(例えば、60km/h)を超えていることを条件として、カメラECU10は、標識認識部131によって、一定の走行距離又は走行時間が経過するまでの期間に、全標識認識領域(A+B)及び全標識(図5にA群〜D群として例示した標識)を認識対象として標識認識処理を行うようにしてもよい。
なお、カメラECU10は、自車両の速度及び走行距離を、制御部14を介して、不図示の速度検出手段及び走行距離計測手段から取得するものとする。

0101

ここで、一定の走行距離は、例えば、VMS標識が設置される最長の間隔とすることが好ましい。また、一定の走行時間を定める場合は、例えば、前記したVMS標識の最長の設置間隔を現在の速度で除した時間とすることが好ましい。このように一定の走行距離又は走行時間を定めることにより、VMS標識を認識し、高速道路区間であることを適切に判定できるようになる。
また、一定の走行時間、左右標識認識領域(A)で、高速道路区間に固有の標識(図5にB群として例示した標識)を認識させて、高速道路区間の開始を示す標識を認識したものとするようにしてもよい。
なお、前記した一定の走行距離又は走行時間が経過するまでの期間において、VMS標識を認識できなかった場合、又は左右標識認識領域(A)で非高速道路区間に固有の標識(図5にC群として例示した標識)を認識した場合は、カメラECU10は、警報装置20や表示装置30を介して、非高速道路区間でスピード違反をしている可能性があることを乗員に知らせるようにしてもよい。

0102

以上によって、高速道路の出入口で高速道路の開始を示す標識を見落とした場合や、電源をOFFすることなどにより標識の認識情報を消失した場合であっても、高速道路区間の判定を適切に行うようにリカバリーすることができる。

0103

<第2実施形態>
次に、本発明の第2実施形態に係るカメラECUについて説明する。
[カメラECUの構成]
まず、図7を参照して、第2実施形態に係るカメラECUの構成について説明する。
図7に示すように、第2実施形態に係るカメラECU10Aは、図1に示した第1実施形態に係るカメラECU10に対して、標識認識部131を有する物体認識部13に代えて、標識認識部131Aを有する物体認識部13Aを備えている。また、第2実施形態における標識認識部131Aは、第1実施形態における標識認識部131に対して、標識検出部131aに代えて標識検出部131Aaを備えるとともに、VMS標識検出部131dを更に備えている。
なお、第1実施形態に係るカメラECU10と同様の構成要素については、同じ符号を付して、説明は適宜に省略する。

0104

ここで、VMS標識を撮像する際の問題点について説明する。
VMS標識は、道路状況に応じて表示する標識内容を変更できるように構成された標識である。VMS標識としては、LED(発光ダイオード)などの発光体表示素子として、複数のセグメントドットで構成したセグメント表示方式ドットマトリクス表示方式の表示装置が多用されている。特にLEDを表示素子として用いたVMS標識は、消費電力、視認性、寿命などの点で優れているが、カメラ11による撮像時に露光時間が短いと、表示素子の一部が写らずに、VMS標識画像の一部が欠損するという問題がある。

0105

LEDは、正負電極間電圧印加することで発光するが、白熱電球などと比べて、発光の慣性がなく、電圧が印加されなくなると、直ぐに消灯する特性がある。このため、LEDを点灯するために交流電源を用いると、交流周波数でLEDが点滅することになる。例えば、交流の周波数が60Hzの場合は、60HzでLEDが点滅する。また、交流電源を全波整流して用いた場合には、120HzでLEDが点滅することになる。人の視覚特性では、30Hz程度以上で点滅する光は、連続して発光するように視認される。このため、通常の商用の交流電源を用いて、人が視認するためのVMS標識を表示することに問題はない。しかし、カメラで撮像する場合には、交流電源の周期よりも短い露光時間で撮像すると、VMS標識を構成する各発光素子消灯期間のタイミングで撮像された画像において、当該発光素子が表示する部分が欠損してしまうことがある(例えば、図10参照)。特に電源の交流周波数とカメラ11による撮像のフレーム率とが整数倍に近い関係となる場合には、長時間に亘り、VMS標識の一部又は全部が欠損して撮像されることもある。このため、VMS標識を適切に認識できない場合がある。

0106

そこで、第2実施形態に係るカメラECU10Aは、前記したように、標識認識部131AにVMS標識検出部131dを備え、カメラ11が撮像した画像からVMS標識が撮像されている画像領域を検出し、VMS標識が検出された画像領域については、露出時間を長くして撮像した画像を用いてVMS標識の認識を行うものである。すなわち、発光ダイオードを発光素子として用いた表示装置により表示されたVMS標識の認識については、画像欠損を生じないように露光時間を長くして撮像した画像を用いるため、適切に認識することができる。以降の説明では、特に断らない限り、VMS標識は、発光ダイオードを発光素子として用いた表示装置により表示されたものとする。

0107

本実施形態では、カメラ11は、露光制御を行うことで、露光時間を変更して撮像することができるものとする。このとき、カメラ11は、露光時間に応じて、適宜にフレーム率も変更できるものとする。
すなわち、カメラ11は、通常撮像モードとして、例えば、30〜60fps程度の第1フレーム率にて、第1露光時間で第1画像を撮像する。また、カメラ11は、VMS標識撮像モードとして、露光時間とフレーム率とを制御して、VMS標識を撮像しても画像欠損が生じないように、第1露光時間よりも長い第2露光時間で第2画像を撮像する。なお、第2画像を撮像する際には、各フレームにおいて当該第2露光時間を確保できるようにフレーム率を、第1フレーム率よりも低い第2フレーム率に変更することができる。
但し、第1フレーム率で撮像しても第2露光時間を確保することができれば、第2フレーム率は第1フレーム率と同じとしてもよい。すなわち、フレーム率を変更せずに、露光時間のみ変更するようにしてもよい。

0108

なお、本実施形態では、カメラ11は、露光時間及びフレーム率を2段階に制御して、第1画像及び第2画像を撮像するようにしたが、これに限定されるものではない。例えば、カメラ11として、第1露光時間及び第1フレーム率で第1画像を撮像する第1カメラと、第2露光時間及び第2フレーム率で第2画像を撮像する第2カメラと、を備えるようにしてもよい。この場合は、第1カメラ及び第2カメラは、自車両の前方の略同じ領域を撮像するように互いに近接して、例えば、車両のフロントガラス付近に設けるようにすることが好ましい。

0109

また、カメラ11が撮像した第1画像及び第2画像についての画像データは、画像取得部12を介して物体認識部13Aに入力され、それぞれ不図示のフレームバッファメモリに記憶される。フレームバッファメモリに記憶された各カメラにより撮像された画像データは、標識認識部131A、車両認識部132及び歩行者認識部133から適宜に参照される。なお、車両認識部132及び歩行者認識部133は、カメラ11により通常の露光時間で撮像した第1画像を用いるものとする。

0110

物体認識部13Aは、標識認識部131A、車両認識部132、歩行者認識部133及び認識情報記憶部134を備えている。
なお、車両認識部132、歩行者認識部133及び認識情報記憶部134は、第1実施形態と同様の構成であるから、詳細な説明は省略する。

0111

標識認識部131Aは、標識検出部131Aa、標識識別部131b、高速道路区間判定部131c及びVMS標識検出部131dを備えている。
なお、標識識別部131b及び高速道路区間判定部131cは、第1実施形態と同様の構成であるから、詳細な説明は省略する。

0112

標識検出部131Aaは、カメラ11により第1露光時間及び第1フレーム率で撮像した第1画像と、VMS標識を撮像したときに画像欠損が生じない第2露光時間及び第2フレーム率で撮像した第2画像とを用いて標識が撮像された画像領域を検出する。このとき、標識検出部131Aaは、VMS標識検出部131dが検出したVMS標識の画像領域の情報に基づいて、VMS標識が検出されない画像領域については第1画像を用いて、VMS標識が検出された画像領域については第2画像を用いて、認識対象とする所定の標識が撮像された画像領域を検出する。
標識検出部131Aaは、検出した標識の画像領域の画像データを、標識識別部131bに出力する。

0113

VMS標識検出部131dは、カメラ11により、通常撮像モードである第1露光時間及び第1フレーム率で撮像された第1画像について、VMS標識が撮像されている画像領域を検出する手段である。また、VMS標識検出部131dは、検出したVMS標識の画像領域についての情報を標識検出部131aに出力する。
なお、VMS標識の画像領域の検出方法の詳細については後記する。

0114

[カメラECUの動作]
(高速道路区間での標識認識処理)
次に、図8を参照(適宜図7参照)して、第2実施形態に係るカメラECU10Aによる、高速道路区間における標識の認識処理である標識認識処理の動作について説明する。
なお、非高速道路区間における標識認識処理は、図2に示した第1実施形態における非高速道路区間における標識認識処理(図2のステップS106〜S109が相当する)と同様であるから、詳細な説明は省略する。なお、非高速道路区間においては、第1画像を用いて標識認識処理を行うものとする。

0115

図8に示すように、高速道路区間では、カメラECU10Aは、標識認識部131Aの標識検出部131Aaによって、第1画像を用いてVMS標識検出処理を行い、VMS標識が撮像された画像領域を検出する(ステップS401)。
なお、VMS標識検出処理の詳細については後記する。

0116

次に、カメラECU10Aは、標識検出部131Aaによって、第1画像の全標識対象領域(A+B)(図4の領域RA及び領域RB参照)をラスタスキャンする(ステップS402)。

0117

また、カメラECU10Aは、標識検出部131Aaによって、ラスタスキャン中の1ライン毎に、ステップS401で検出したVMS標識の画像領域についての情報を参照し、処理対象のラインがVMS標識の画像領域かどうかを確認する(ステップS403)。

0118

処理対象のラインがVMS標識の画像領域の場合は(ステップS403でYes)、カメラECU10Aは、標識検出部131Aaによって、ラスタスキャンする画像を第2画像に変更して、対応するラインを走査する(ステップS405)。そして、カメラECU10Aは、標識検出部131Aaによって、走査した第2画像を用いて、図5にD群として例示したVMS標識群に含まれる標識が撮像された画像領域を検出する(ステップS406)。

0119

一方、VMS標識の画像領域でない場合は(ステップS403でNo)、カメラECU10Aは、標識検出部131Aaによって、ステップS402で走査した第1画像を用いて、図5にA群及びB群として例示した高速道路区間で認識対象とする標準標識群に含まれる標識が撮像された画像領域を検出する(ステップS404)。

0120

カメラECU10Aは、処理対象のラインについての標識検出処理(ステップS404又はステップS406)が終了すると、標識検出部131Aaによって、標識認識対象領域についてのラスタスキャンが終了したかどうかを確認し(ステップS407)、終了していない場合は(ステップS407でNo)、ステップS402に戻り、次のラインについてラスタスキャンする。
また、ラスタスキャンが終了した場合は(ステップS407でYes)、ステップS408に進む。

0121

ラスタスキャンが終了すると、カメラECU10Aは、標識識別部131bによって、
ステップS404又はステップS406で検出された標識が検出された画像領域が、ステップS401で検出したVMS標識の画像領域かどうかを確認する(ステップS408)。

0122

VMS標識の画像領域でない場合は(ステップS408でNo)、カメラECU10Aは、標識識別部131bによって、ステップS404で検出した標識の画像領域に対応する第1画像を用いて、撮像されている標識の種別が、図5にA群及びB群として例示した高速道路区間で認識対象とする標準標識群の何れであるかを識別する(ステップS409)。

0123

一方、VMS標識の画像領域である場合は(ステップS408でYes)、カメラECU10Aは、標識識別部131bによって、ステップS406で検出した標識の画像領域に対応する第2画像を用いて、撮像されている標識の種別が、図5にD群として例示したVMS標識群の何れであるかを識別する(ステップS410)。
カメラECU10Aは、以上の手順によって、高速道路区間において標識を認識する。

0124

(VMS標識検出処理)
次に、図9及び図10を参照(適宜図7参照)して、図8に示した高速道路区間での標識認識処理におけるVMS標識検出処理ステップS401について、詳細に説明する。
本実施形態において、VMS標識検出処理は、VMS標識検出部131dによって、第1画像を用いて行われ、道路上部の静止物の画像領域を検出するステップS501と、道路上部の静止物近傍において、フレーム間輝度差が大きい画像領域を検出するステップS502とが含まれる。

0125

ステップS501において、カメラECU10Aは、VMS標識検出部131dによって、走行中の道路上部に設けられたVMS標識の表示装置又はその表示装置が設置された静止物を検出する。走行中の道路上部の静止物の検出は、例えば、オプティカルフロー法により被写体の動きベクトル検出し、検出対象である静止物の動きベクトルの特徴を利用することで、当該静止物の画像領域を検出することができる。

0126

図10は、VMS標識が撮像された第1画像の連続する2フレームを示したものであり、右側が現フレーム(n)であり、左側が前フレーム(n−1)である。VMS標識は道路上部に設置されるため、前記したように、VMS標識は、自車両から遠距離にある場合は画像内の中部図4の領域RA参照)に撮像され、近距離にある場合は画像内の上部(図4の領域RB参照)に撮像される。また、走行中の車線の上部に設けられた静止物の動きベクトルは、自車両の進行方向及び速度から定められる。従って、静止物の動きベクトルは、図10に示すように、走行中の車線の消失点付近から伸びるような特徴がある。
そして、このような特徴を有する動きベクトルの終点の近傍を、道路上の静止物として検出することができる。

0127

続いて、ステップS502において、カメラECU10Aは、VMS標識検出部131dによって、ステップS501で検出した道路上部の静止物が撮像された画像領域の近傍において、フレーム間の対応する画素の輝度変化が大きい画像領域を、VMS標識が撮像された画像領域として検出する。

0128

ここで、輝度変化を利用したVMS標識の検出方法の原理について説明する。
前記したように、通常のフレーム率でVMS標識を撮像すると、VMS標識が撮像された画像領域に欠損が生じる。この画像の欠損は、VMS標識を表示する表示装置の発光素子の点滅タイミングと、第1画像を撮像するときの露光時間である第1露光時間との関係で変化する。従って、一定のフレーム率で撮像されたVMS標識の画像は、その発光部位である標識の図形及び文字に対応する画素がフレーム毎に輝度変化する、いわゆるチラつき画像として観察される。

0129

図10に示したVMS標識は、円形の太枠図形と、その円の内側に配置された文字「120」から構成される速度規制の標識である。図10に示したように、例えば、矢印で示したVMS標識は、2つのフレーム間で輝度が部分的に異なっており、それぞれ異なる箇所が欠損しているのが分かる。

0130

そこで、本実施形態では、VMS標識検出部131dは、第1画像を用いて、VMS標識の発光部の画像のチラつきを検出することで、VMS標識の画像領域を検出する。これらの道路上部の静止物の近傍に、フレーム間の輝度変化が所定の値よりも大きな画素が存在する領域を、VMS標識の画像領域として検出する。輝度変化が大きいと判定するための閾値は、例えば、発光素子が点灯しているときの最高輝度と、消灯しているときの輝度との平均値とすることができる。なお、判定閾値は、これに限定されるものではなく、実験的に定めることができる。

0131

また、輝度変化の大きな画素の検出は、2つのフレーム間の輝度変化だけでなく、更に多数のフレームについての輝度変化を検出するようにしてもよい。これによって、輝度変化の大きな画素を検出する信頼度が向上する。

0132

このようにして、静止物の近傍において、輝度変化の大きな画像領域をVMS標識の画像領域として検出することができる。
なお、図10に示した例では、4つのVMS標識が横方向に並置されているため、画像の上部領域に横長の四角形で囲んだ領域がVMS標識の画像領域として検出されている。

0133

以上に説明したように、VMS標識でない標準標識については、通常の短い露光時間で撮像した第1画像を用いて標識を認識するため、高速で走行中であっても、ボケや流れなどの少ない画像を用いて標識を精度よく識別することができる。
また、VMS標識については、露光時間を長くして撮像した第2画像を用いて標識を認識するため、画像欠損のない画像を用いて標識を精度よく識別することができる。
なお、第2実施形態におけるVMS標識の認識手法は、第1実施形態の変形例におけるVMS標識の認識処理に適用することができる。

0134

また、本実施形態において、高速道路区間における標識認識処理は、高速道路区間だけでなく、一般の道路区間にVMS標識及び標準標識の両方が設置される国や地域においては、当該一般の道路区間においても適用することができる。

0135

10,10AカメラECU(物体認識装置)
11 カメラ(撮像手段)
12画像取得部
13,13A物体認識部
131,131A標識認識部(標識認識手段)
131a標識検出部(標識検出手段)
131b 標識識別部(標識識別手段)
131c高速道路区間判定部(高速道路区間判定手段)
131d VMS標識検出部(VMS標識検出手段)
132車両認識部
133歩行者認識部(歩行者認識手段)
134認識情報記憶部(標識認識結果記憶手段)
14 制御部
20警報装置
30表示装置
40 制御ECU

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ