図面 (/)

技術 付着物検出装置および付着物検出方法

出願人 株式会社デンソーテン
発明者 河野貴朝山信徳池田修久谷泰司山本大輔塩田大輔上林輝彦
出願日 2019年9月20日 (1年11ヶ月経過) 出願番号 2019-172205
公開日 2021年4月1日 (5ヶ月経過) 公開番号 2021-051377
状態 未査定
技術分野 イメージ分析
主要キーワード 中央領 パターン条件 データフラッシュ 車体領域 除外条件 付着物検出装置 エッジ角度 フラグ出力
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2021年4月1日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (15)

課題

付着物を高精度に検出することができる付着物検出装置および付着物検出方法を提供すること。

解決手段

実施形態に係る付着物検出装置は、抽出部と、確定部とを備える。抽出部は、撮像装置撮像された撮像画像の各画素から検出されるエッジに基づき、撮像装置に付着した付着物に対応する付着物領域の候補領域を抽出する。確定部は、抽出部によって抽出された候補領域のうち、画像の路面領域を含む第1領域に存在する候補領域の面積と、路面領域以外の領域を含む第2領域に存在する候補領域の面積とに基づいて、付着物領域を確定する。

概要

背景

従来、撮像画像の各画素から検出されるエッジに基づき、雨滴等の形状に類似した特徴をもつ候補領域を検出し、候補領域の画素値に基づいて付着物領域を検出する付着物検出装置が知られている(例えば、特許文献1参照)。

概要

付着物を高精度に検出することができる付着物検出装置および付着物検出方法を提供すること。実施形態に係る付着物検出装置は、抽出部と、確定部とを備える。抽出部は、撮像装置撮像された撮像画像の各画素から検出されるエッジに基づき、撮像装置に付着した付着物に対応する付着物領域の候補領域を抽出する。確定部は、抽出部によって抽出された候補領域のうち、画像の路面領域を含む第1領域に存在する候補領域の面積と、路面領域以外の領域を含む第2領域に存在する候補領域の面積とに基づいて、付着物領域を確定する。

目的

本発明は、上記に鑑みてなされたものであって、付着物を高精度に検出することができる付着物検出装置および付着物検出方法を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

撮像装置撮像された画像の各画素から検出されるエッジに基づき、前記撮像装置に付着した付着物に対応する付着物領域の候補領域を抽出する抽出部と、前記抽出部によって抽出された前記候補領域のうち、前記画像の路面領域を含む第1領域に存在する前記候補領域の面積と、前記路面領域以外の領域を含む第2領域に存在する前記候補領域の面積とに基づいて、前記付着物領域を確定する確定部とを備えることを特徴とする付着物検出装置

請求項2

前記確定部は、前記第1領域に存在する前記候補領域と、前記第2領域に存在する前記候補領域との面積比が所定の路面異常条件を満たす場合、前記路面領域に含まれる前記候補領域を除いた前記候補領域を前記付着物領域として確定することを特徴とする請求項1に記載の付着物検出装置。

請求項3

前記第1領域は、前記路面領域であり、前記第2領域は、車体領域および上空領域であり、前記確定部は、前記第1領域に存在する前記候補領域の面積が、前記第2領域に存在する前記候補領域の面積よりも所定値以上大きい場合、前記第1領域に存在する前記候補領域以外の前記候補領域を前記付着物領域として確定することを特徴とする請求項1または2に記載の付着物検出装置。

請求項4

撮像装置で撮像された画像の各画素から検出されるエッジに基づき、前記撮像装置に付着した付着物に対応する付着物領域の候補領域を抽出する抽出工程と、前記抽出工程によって抽出された前記候補領域のうち、前記画像の路面領域を含む第1領域に存在する前記候補領域の面積と、前記路面領域以外の領域を含む第2領域に存在する前記候補領域の面積とに基づいて、前記付着物領域を確定する確定工程とを含むことを特徴とする付着物検出方法

技術分野

0001

本発明は、付着物検出装置および付着物検出方法に関する。

背景技術

0002

従来、撮像画像の各画素から検出されるエッジに基づき、雨滴等の形状に類似した特徴をもつ候補領域を検出し、候補領域の画素値に基づいて付着物領域を検出する付着物検出装置が知られている(例えば、特許文献1参照)。

先行技術

0003

特開2019−106644号公報

発明が解決しようとする課題

0004

しかしながら、従来技術では、付着物を高精度に検出する点で改善の余地があった。例えば、雨滴の形状と、室内照明下における路面反射の形状とが類似しているため、路面反射を付着物領域として誤検出するおそれがあった。

0005

本発明は、上記に鑑みてなされたものであって、付着物を高精度に検出することができる付着物検出装置および付着物検出方法を提供することを目的とする。

課題を解決するための手段

0006

上述した課題を解決し、目的を達成するために、本発明に係る付着物検出装置は、抽出部と、確定部とを備える。前記抽出部は、撮像装置撮像された画像の各画素から検出されるエッジに基づき、前記撮像装置に付着した付着物に対応する付着物領域の候補領域を抽出する。前記確定部は、前記抽出部によって抽出された前記候補領域のうち、前記画像の路面領域を含む第1領域に存在する前記候補領域の面積と、前記路面領域以外の領域を含む第2領域に存在する前記候補領域の面積とに基づいて、前記付着物領域を確定する。

発明の効果

0007

本発明によれば、付着物を高精度に検出することができる。

図面の簡単な説明

0008

図1は、実施形態に係る付着物検出方法の概要を示す図である。
図2は、実施形態に係る付着物検出装置の構成を示すブロック図である。
図3Aは、抽出部の処理内容を示す図である。
図3Bは、抽出部の処理内容を示す図である。
図4Aは、抽出部の処理内容を示す図である。
図4Bは、抽出部の処理内容を示す図である。
図5は、抽出部による除外処理を示す図である。
図6は、抽出部の判定処理を示す図である。
図7は、算出部による算出処理を示す図である。
図8は、判定部による判定処理を示す図である。
図9は、判定部による継続性の判定処理を示す図である。
図10は、確定部による確定処理を示す図である。
図11は、実施形態に係る付着物検出装置が実行する付着物の全体処理の処理手順を示すフローチャートである。
図12は、実施形態に係る付着物検出装置が実行する付着物の確定処理の処理手順を示すフローチャートである。

実施例

0009

以下、添付図面を参照して、本願の開示する付着物検出装置および付着物検出方法の実施形態を詳細に説明する。なお、以下に示す実施形態により本発明が限定されるものではない。

0010

まず、図1を用いて、実施形態に係る付着物検出方法の概要について説明する。図1は、実施形態に係る付着物検出方法の概要を示す図である。なお、図1には、例えば、屋内駐車場等の室内照明下において、車載カメラ(撮像装置の一例)によって撮像された撮像画像Iを示している。

0011

図1に示す撮像画像Iでは、照明の直下の路面において、照明の光が反射することで、略楕円形ぼやけた領域と類似する。すなわち、カメラレンズに付着した付着物に対応する領域(付着物領域)と見え方が類似している。換言すれば、照明等の光が路面に反射した領域と、付着物領域とは輝度特性が類似している。なお、付着物は、、埃、雨滴および雪片等のような、付着物の領域がぼやけた領域となる付着物であればよい。

0012

そして、従来は、撮像画像の輝度情報に基づいて付着物領域を検出していたため、このような路面反射の領域を付着物領域として誤検出するおそれがあった。

0013

そこで、実施形態に係る付着物検出装置1(図2参照)は、路面反射の領域が、撮像画像Iにおける路面領域に集中する特性を利用して、路面反射の領域と付着物領域とを高精度に判別する。

0014

具体的には、まず、実施形態に係る付着物検出方法では、撮像画像Iの各画素から検出されるエッジに基づき、カメラのレンズに付着した付着物に対応する付着物領域の候補となる候補領域100を抽出する(ステップS1)。なお、図1では、路面反射の領域を候補領域100として誤って抽出した例を示している。

0015

実施形態に係る付着物検出方法では、例えば、パターンマッチング等のマッチング処理により、雨滴等の円形状の輪郭を含む矩形状の領域を候補領域100として抽出する。

0016

つづいて、実施形態に係る付着物検出方法では、抽出した候補領域100のうち、撮像画像Iの路面領域510を含む第1領域に存在する候補領域100の面積と、路面領域510以外の領域520を含む第2領域に存在する候補領域100の面積とに基づいて、付着物領域を確定する(ステップS2)。

0017

例えば、実施形態に係る付着物検出方法では、路面領域510を含む第1領域に存在する候補領域100の面積が、路面領域510以外の領域520を含む第2領域に存在する候補領域100の面積よりも所定値以上大きい場合、第1領域に存在する候補領域100以外の候補領域100を付着物領域として確定する。

0018

すなわち、図1の撮像画像Iのように、候補領域100が路面領域510に集中している場合、路面領域510に存在する候補領域100は付着物領域ではないと確定する。これにより、路面反射の領域を付着物領域として誤検出することを抑制することができる。すなわち、実施形態に係る付着物検出方法によれば、付着物を高精度に検出することができる。

0019

なお、上記では、路面領域510を含む第1領域に存在する候補領域100の面積が、路面領域510以外の領域520を含む第2領域に存在する候補領域100の面積よりも所定値以上大きいか否かにより付着物領域を確定したが、第1領域に候補領域100が集中していることが検出できれば、面積の比較方法は任意でよい。

0020

例えば、候補領域100の全体面積に対して、第2領域に存在する候補領域100の面積が極端に小さいことを検出することで、付着物領域を確定してもよい。

0021

次に、図2を用いて、実施形態に係る付着物検出装置1の構成について説明する。図2は、実施形態に係る付着物検出装置1の構成を示すブロック図である。図2に示すように、実施形態に係る付着物検出装置1は、カメラ10と、車速センサ11と、各種機器50とに接続される。なお、図2では、付着物検出装置1は、カメラ10と、各種機器50とは別体で構成される場合を示したが、これに限らず、カメラ10および各種機器50の少なくとも一方と一体で構成されてもよい。

0022

カメラ10は、たとえば、魚眼レンズ等のレンズと、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子とを備えた車載カメラである。カメラ10は、例えば、車両の前後方側方の様子を撮像可能な位置にそれぞれ設けられ、撮像された撮像画像Iを付着物検出装置1へ出力する。

0023

車速センサ11は、車両の速度(車速)を検出するセンサである。車速センサ11は、検出した車速の情報を付着物検出装置1へ出力する。なお、車速センサ11を省略して、例えば、付着物検出装置1は、カメラ10の時系列の画像に基づいて車速の情報を算出してもよい。

0024

各種機器50は、付着物検出装置1の検出結果を取得して、車両の各種制御を行う機器である。各種機器50は、例えば、カメラ10のレンズに付着物が付着していることや、ユーザによる付着物の拭き取り指示を通知する表示装置や、流体気体等をレンズに向かって噴射して付着物を除去する除去装置自動運転等を制御する車両制御装置を含む。

0025

図2に示すように、実施形態に係る付着物検出装置1は、制御部2と、記憶部3とを備える。制御部2は、画像取得部21と、抽出部22と、算出部23と、判定部24と、確定部25と、フラグ出力部26とを備える。記憶部3は、起伏条件情報31を記憶する。

0026

ここで、付着物検出装置1は、たとえば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、データフラッシュ入出力ポートなどを有するコンピュータや各種の回路を含む。

0027

コンピュータのCPUは、たとえば、ROMに記憶されたプログラム読み出して実行することによって、制御部2の画像取得部21、抽出部22、算出部23、判定部24、確定部25およびフラグ出力部26として機能する。

0028

また、制御部2の画像取得部21、抽出部22、算出部23、判定部24、確定部25およびフラグ出力部26の少なくともいずれか一つまたは全部をASIC(Application Specific IntegratedCircuit)やFPGA(Field Programmable Gate Array)等のハードウェアで構成することもできる。

0029

また、記憶部3は、たとえば、RAMやデータフラッシュに対応する。RAMやデータフラッシュは、起伏条件情報31や、各種プログラムの情報等を記憶することができる。なお、付着物検出装置1は、有線無線ネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。

0030

記憶部3に記憶された起伏条件情報31は、後述の抽出部22による処理の基準となる条件を含む情報であり、例えば、輝度分布輝度平均分布)の起伏パターン条件を含む。なお、パターン条件とは、輝度平均の分布の起伏変化の変化パターンや、輝度分布における各画素(単位領域R)がとり得る輝度閾値範囲である。なお、起伏条件情報31を用いた処理については後述する。

0031

画像取得部21は、カメラ10で撮像された画像を取得し、現在の撮像画像Iである現在フレームを生成(取得)する。具体的には、画像取得部21は、取得した画像における各画素を輝度に応じて白から黒までの各階調に変換するグレースケール化処理を行う。

0032

また、画像取得部21は、取得した画像に画素の間引き処理を行い、取得した画像よりもサイズが小さい画像を生成する。また、画像取得部21は、間引き処理を施した画像に基づいて、各画素における画素値の和および二乗和積分画像である現在フレームを生成する。なお、画素値とは、画素の輝度やエッジに対応する情報である。

0033

このように、付着物検出装置は、取得した画像に対して間引き処理を行い、積分画像を生成することで、後段における処理の計算を高速化できるため、付着物を検出するための処理時間を短くすることができる。

0034

なお、画像取得部21は、各画素について、平均化フィルタなどの平滑化フィルタを用いて平滑化処理を行ってもよい。また、画像取得部21は、間引き処理を行わず、取得した画像と同じサイズの現在フレームを生成してもよい。また、以下では、現在フレームを撮像画像Iと記載する場合がある。

0035

抽出部22は、画像取得部21が取得した撮像画像Iの各画素から検出されるエッジに基づき、撮像画像Iの中から付着物領域の候補領域100を抽出する。具体的には、まず、抽出部22は、撮像画像Iにおける各画素の輝度およびエッジ情報を抽出する。各画素の輝度は、例えば、0〜255のパラメータ表現される。

0036

また、抽出部22は、各画素の輝度に基づいてエッジ検出処理を行って、各画素について、X軸方向(撮像画像Iの左右方向)のエッジと、Y軸方向(撮像画像Iの上下方向)のエッジとを検出する。エッジ検出処理には、例えば、Sobelフィルタや、Prewittフィルタ等の任意のエッジ検出フィルタを用いることができる。

0037

そして、抽出部22は、X軸方向のエッジと、Y軸方向のエッジとに基づき、三角関数を用いることで、画素のエッジ角度およびエッジ強度の情報を含むベクトルをエッジ情報として検出する。具体的には、エッジ角度は、ベクトルの向きによって表現され、エッジ強度は、ベクトルの長さによって表現される。

0038

そして、抽出部22は、予め作成された付着物の輪郭を示すテンプレート情報と、検出したエッジ情報とのマッチング処理(テンプレートマッチング)を行い、テンプレート情報と類似するエッジ情報を抽出する。そして、抽出部22は、抽出したエッジ情報の領域、すなわち、付着物の輪郭を含む矩形状の領域である候補領域100を抽出する。

0039

なお、抽出部22は、マッチング処理により抽出した候補領域100の情報を算出部23へ出力してもよく、以下に示す抽出処理により、さらに絞り込んだ候補領域100の情報を算出部23へ出力してもよい。

0040

つづいて、抽出部22は、抽出した候補領域100において連続する複数の画素列に関し、所定画素数を単位とする単位領域Rに分割し、単位領域R毎に輝度の平均値および輝度の標準偏差を算出する。

0041

ここで、図3A図4Bを用いて、抽出部22の処理内容について説明する。図3A図4Bは、抽出部22の処理内容を示す図である。

0042

図3Aおよび図3Bに示すように、まず、抽出部22は、候補領域100において連続する複数の画素列を帯領域110として設定する。かかる帯領域110は、後段の単位領域Rの分割処理および輝度情報(平均値および標準偏差)の算出処理の対象となる領域である。

0043

具体的には、図3Aに示すように、まず、抽出部22は、候補領域100における水平方向の3列の画素列H1〜H3と、垂直方向の3列の画素列V1〜V3とを選択する。そして、抽出部22は、選択した各画素列について、当該画素列を含む複数の画素列を帯領域110として設定する。

0044

図3Bでは、水平方向の画素列H1を含む帯領域110を示している。なお、垂直方向の画素列V1〜V3を含む帯領域110の設定方法については、以下に説明する水平方向の画素列H1を含む帯領域110の設定方法とほぼ同様(画素列が水平方向か垂直方向かの違いのみ)であるため、記載を省略する。

0045

図3Bに示すように、抽出部22は、選択した画素列H1を中心にして、垂直方向に連続する複数の画素列を帯領域110として設定する。換言すれば、抽出部22は、選択した画素列H1と当該画素列H1に平行な画素列であって、互いに隣接する複数の画素列とを帯領域110として設定する。

0046

図3Bでは、水平方向の画素列H1に対して垂直方向の上側および下側それぞれに連続する3本の画素列(計6本の画素列)と、1本の画素列H1とを含む計7本の画素列を帯領域110として設定する。

0047

なお、帯領域110における画素列H1の位置は、帯領域110の中心でなくてもよく、垂直方向の上側および下側のいずれかに寄った位置であってもよい。また、画素列H1に対して垂直方向の上側および下側それぞれに連続する画素列は、2本以下でも、4本以上でもよい。

0048

また、選択する画素列H1〜H3、V1〜V3は、水平方向の画素列H1〜H3、または、垂直方向の画素列V1〜V3のいずれか一方の方向の画素列であってもよい。また、各方向において選択する画素列H1〜H3、V1〜V3の本数は、3本に限らず、2本以下や、4本以上であってもよい。

0049

つづいて、図4Aに示すように、抽出部22は、設定した帯領域110において所定画素数を単位とする単位領域R1〜R8に分割し、単位領域R1〜R8毎に輝度の平均値および輝度の標準偏差を算出する。

0050

なお、図4Aでは、抽出部22は、帯領域110を等間隔(同じ画素数)で分割した8つの単位領域R1〜R8を設定する場合を示しているが、単位領域Rの数は6つ以下でも、9つ以上でもよい。また、各単位領域Rに含まれる画素数は同じであっても、異なってもよい。

0051

そして、抽出部22は、算出した輝度の標準偏差が所定値未満である場合、帯領域110における単位領域Rの代表値として輝度の平均値を設定する。

0052

一方、図4Bに示すように、抽出部22は、算出した輝度の標準偏差が所定値以上である場合、帯領域110における輝度平均の分布として、単位領域Rの輝度平均に代えて、所定の異常値を単位領域Rの代表値に設定する。

0053

図4Bに示す例では、算出部23は、単位領域R8について、輝度の標準偏差が所定値以上である場合、単位領域R8の輝度の平均値に代えて、所定の異常値(例えば、最低値やゼロ等)を単位領域R8の代表値に設定する。

0054

この異常値は、後段処理において付着物領域ではないと判定するための値である。例えば、抽出部22は、後段処理において、輝度平均の分布が所定のパターン合致するか否かで付着物領域を判定する場合、かかる所定のパターンに合致しないような異常値を設定する。

0055

このように、後段処理において付着物領域ではないと判定されるような異常値を設定することで、新たな処理を追加することなく付着物領域でない候補領域100を除くことができるため、処理が複雑化することを抑制できる。

0056

なお、抽出部22は、単位領域Rの代表値として、輝度の平均値を用いたが、例えば、単位領域R1〜R8毎に輝度のヒストグラムを作成し、ヒストグラムにおける最頻値中央値、平均値等を代表値として設定してもよい。

0057

つづいて、抽出部22は、単位領域R毎に算出した輝度平均の分布に基づいて候補領域100をさらに絞り込む。

0058

具体的には、まず、抽出部22は、候補領域100に含まれる画素の輝度分布(輝度平均の分布)の起伏が所定の除外条件を満たす場合、候補領域100を付着物領域の判定処理の対象から除外する。

0059

ここで、抽出部22による候補領域100の除外処理について図5を用いて説明する。図5は、抽出部22による除外処理を示す図である。図5では、所定の候補領域100から算出された各帯領域110の輝度平均の分布を示している。図5では、候補領域100に設定された各画素列H1〜H3、V1〜V3に対応する帯領域110毎の輝度平均の分布を示している。例えば、図5において「H1」のグラフは、画素列H1を含む帯領域110における単位領域Rの輝度平均の分布を示す。

0060

抽出部22は、各画素列H1〜H3、V1〜V3に対応する帯領域110毎の輝度平均の分布における起伏が所定の除外条件を満たす場合、候補領域100を付着物領域の判定処理の対象から除外する。

0061

例えば、抽出部22は、帯領域110に含まれる単位領域Rの代表値に異常値が含まれる場合、候補領域100を付着物領域の判定処理の対象から除外する。換言すれば、抽出部22は、帯領域110において隣接する2つの単位領域Rの代表値の差分が所定値以上となる場合、候補領域100を付着物領域の判定処理の対象から除外する。

0062

さらに言い換えれば、抽出部22は、帯領域110における単位領域Rの中に、代表値の標準偏差が所定値以上の単位領域R(つまり、異常値が設定された単位領域R)が含まれる場合、候補領域100を付着物領域の判定処理の対象から除外する。

0063

すなわち、抽出部22は、輝度平均の分布における起伏の一部が、異常値により急激に凹凸した形状である場合、除外条件を満たすとして、当該候補領域100を付着物領域の判定処理の対象から除外する。このように、抽出部22は、異常値に基づいて除外処理を行うことで、付着物でない領域を高精度に除去できる。

0064

また、図5の画素列V1〜V3のグラフに示すように、抽出部22は、単位領域Rの輝度平均の分布における起伏が3つのグラフとも平坦、つまり、垂直方向の画素列V1〜V3に対応する3つの帯領域110すべてについて、輝度平均の起伏変化が所定の範囲内である場合、候補領域100を付着物領域の判定処理の対象から除外する。具体的には、候補領域100がバックランプの光が壁に反射した場合、単位領域Rの輝度平均の分布が平坦になる傾向にあることが実験により判明した。そこで、輝度平均の起伏変化が所定の範囲内である場合は候補領域100がバックランプの反射で生じたものであると判定し、付着物領域400の判定処理の対象から除外する。

0065

なお、図5では、垂直方向の画素列V1〜V3における3つの輝度分布が平坦である場合を示したが、水平方向の画素列H1〜H3における3つの輝度分布が平坦である場合や、垂直方向および水平方向の画素列H1〜H3、V1〜V3における6つの輝度分布が平坦である場合に、候補領域100を付着物領域の判定処理の対象から除外してもよい。つまり、抽出部22は、候補領域100における垂直方向および水平方向の画素列のうち、少なくとも一方の画素列の輝度分布の起伏変化が所定の範囲内である場合、除外条件を満たすとし、候補領域100を付着物領域の判定処理の対象から除外する。

0066

このように、抽出部22は、候補領域100における輝度分布の起伏が所定の除外条件を満たす場合に、かかる候補領域100を付着物領域の判定処理の対象から除外することで、付着物領域の誤判定を減らすことができる。すなわち、付着物を高精度に検出することができる。

0067

つづいて、抽出部22は、除外条件により除外した候補領域100以外の候補領域100について、さらに絞り込むための処理を行う。ここで、図6を用いて、抽出部22による処理について説明する。

0068

図6は、抽出部22の判定処理を示す図である。まず、図6に示すように、抽出部22は、まず、各帯領域110について、隣接する単位領域R1〜R8の輝度平均の変化量D1〜D7を算出する。

0069

そして、抽出部22は、候補領域100における複数の帯領域110のうち、単位領域Rの輝度平均の分布における起伏変化のパターンが所定の変化パターンを満たす候補領域100を抽出する。例えば、抽出部22は、変化量D1〜D7の各値と、記憶部3に記憶された起伏条件情報31に含まれる変化パターンの各値とを比較して判定処理を行う。なお、起伏条件情報31に含まれる変化パターンとは、変化量D1〜D7のとり得る最大値および最小値の閾値範囲である。

0070

つまり、抽出部22は、算出した変化量D1〜D7の各値が、起伏条件情報31に含まれる変化量D1〜D7それぞれの閾値範囲内である候補領域100を抽出する。

0071

換言すれば、抽出部22は、隣接する単位領域R1〜R8の輝度平均の変化量D1〜D7のパターンが、起伏条件情報31で設定された閾値範囲である変化パターンを満たす候補領域100を抽出する。

0072

また、起伏条件情報31において変化量D1〜D7の最大値および最小値を設定して幅をもたせることで、輝度分布の起伏が多少ばらついても、候補領域100として抽出することができる。

0073

なお、図6では、起伏条件情報31について、すべての変化量D1〜D7の閾値範囲を設定した場合を示したが、例えば、小さいサイズの付着物領域を検出する場合には、変化量D1〜D7のうち、一部の変化量の閾値範囲のみを設定してもよい。

0074

抽出部22は、抽出した候補領域100の情報を算出部23へ出力する。

0075

算出部23は、抽出部22によって抽出された候補領域100における所定の内部領域200において所定方向に連続する複数画素輝度変化量を算出する。

0076

ここで、図7を用いて、算出部23による複数画素の輝度変化量の算出処理について説明する。図7は、算出部23による算出処理を示す図である。

0077

図7に示すように、算出部23は、まず、抽出された候補領域100に対して内部領域200を設定する。例えば、算出部23は、候補領域100を垂直方向および水平方向それぞれで所定数に分割する。図7では、候補領域100を垂直方向および水平方向それぞれで4分割する場合を示すが、3分割以下でも、5分割以上でもよい。

0078

そして、算出部23は、所定数に分割した分割領域のうち、中央領域を内部領域200として設定する。図7では、垂直方向および水平方向それぞれで4分割して生成された16の分割領域のうち、中央領域である4つの分割領域を内部領域200として設定する。

0079

そして、算出部23は、内部領域200において複数画素の輝度変化量を算出する。図7では、算出部23は、垂直方向に連続する3画素の輝度変化量を算出する。これは、路面反射の領域が垂直方向に延びる場合が多いためである。これにより、後段の判定部24により路面反射の領域を高精度に判定することができる。なお、算出部23は、水平方向に連続する複数画素の輝度変化量を算出してもよい。

0080

まず、算出部23は、垂直方向に隣接する2つの画素の輝度差分値を第1差分として算出する。図7中段には、1つの第1差分を1マスとし、画素の配列に対応させて2次元状に配列している。つまり、図7の中段において、1つのマスは垂直方向に隣接する2画素の輝度差分値、すなわち第1差分であり、垂直方向に隣接する2つのマスは、3画素から算出された2つの第1差分である。

0081

つづいて、算出部23は、垂直方向に連続する2つの第1差分の差分値である第2差分を算出する。図7下段には、絶対値に変換した1つの第2差分を1マスとし、画素の配列に対応させて2次元状に配列している。つまり、図7の下段において、1つのマスは、3画素から算出された1つの第2差分(輝度変化量)である。換言すれば、第2差分は第1差分の変化量である。

0082

このように、輝度が急激に上下する場合は路面の小さな傷等に起因して発生するケースが考えられ、路面反射の領域である可能性が高い。そこで、算出部23は、第2差分を複数画素の輝度変化量として算出することで、後段の判定部24において、付着物領域であるか路面反射の領域であるかを容易に判定することができる。具体的には、例えば、路面の小さな傷等に起因して、連続する3画素の輝度が急激に上下する領域(図7に示す「180」→「160」→「180」)では、第2差分が高くなる。すなわち、第2差分を算出することで、このような輝度が急激に上下する領域を容易に識別できるようになるため、後述の判定部24において、付着物領域であるか路面反射の領域であるかを容易に判定することができる。

0083

算出部23は、算出結果である第2差分を複数画素の輝度変化量として判定部24へ出力する。

0084

なお、算出部23は、第2差分を複数画素の輝度変化量としたが、第1差分を複数画素の輝度変化量としてもよい。第1差分を複数画素の輝度変化量とする場合、複数画素における画素数が2画素以上であればよい。具体的には、2画素の輝度変化量を算出する場合には、算出した1つの第1差分を輝度変化量としてもよく、3画素以上の輝度変化量を算出する場合には、算出した複数の第1差分の平均値を輝度変化量としてもよい。

0085

判定部24は、算出部23によって算出された複数画素の輝度変化量をヒストグラム化することで、候補領域100が付着物領域であるか否かを判定する。ここで、図8を用いて、判定部24による判定処理について説明する。

0086

図8は、判定部24による判定処理を示す図である。図8では、一の内部領域200に含まれる複数の複数画素毎の輝度変化量のヒストグラムを示している。図8に示すヒストグラムでは、横軸を輝度変化量とし、縦軸領域度数として示している。また、図8では、候補領域100が付着物領域である場合のヒストグラムと、候補領域100が路面反射の領域(付着物以外の領域)である場合のヒストグラムとを示している。

0087

なお、領域度数とは、複数画素の数に対応した数であり、1つの度数が1つの複数画素に対応している。言い換えれば、1つの度数は、1つの複数画素における輝度変化量(すなわち、1つの輝度変化量)に対応している。また、領域度数は、度数総和が所定値となるよう正規化した度数である。つまり、図8に示すヒストグラムの領域度数の総和は、大きさの異なる各内部領域200間で同じとなる。

0088

図8に示すように、付着物領域のヒストグラムと、路面反射の領域のヒストグラムとを比較した場合、第1の範囲における領域度数は双方が類似しているものの、第2の範囲において、路面反射の領域の方が、付着物領域に比べて、領域度数の合計がわずかに多い。これは、路面反射の領域では、路面にできた傷や、汚れ等が第2の範囲の領域度数に影響しているためである。

0089

かかる点に着目して、判定部24は、輝度変化量が第1の範囲にある輝度変化量の数と、第1の範囲よりも輝度変化量が大きい第2の範囲にある輝度変化量の数とに基づいて候補領域100が付着物領域であるか否かを判定する。

0090

具体的には、判定部24は、輝度変化量「0」を最小値とする第1の範囲にある領域度数の和と、第1の範囲の最大値よりも最小値が大きい第2の範囲にある領域度数の和とに基づいて候補領域100が付着物領域であるか否かを判定する。

0091

例えば、判定部24は、第1の範囲にある領域度数の和が所定値以上、かつ、第2の範囲にある領域度数の和が所定値未満である場合、候補領域100が付着物領域であると判定する。

0092

一方、判定部24は、第1の範囲にある領域度数の和が所定値以上、かつ、第2の範囲にある領域度数の和が所定値以上である場合、候補領域100が付着物領域ではない(路面反射領域である)と判定する。

0093

これにより、判定部24は、候補領域100の中から、路面反射の領域に対応する領域を除くことができるため、路面反射の領域を付着物領域として誤検出することを抑制することができる。

0094

また、判定部24は、第1の範囲にある領域度数の和が所定値未満である場合には、第2の範囲にある領域度数の和に関わらず、候補領域100が付着物領域ではないと判定する。

0095

そして、判定部24は、候補領域100について付着物領域として継続して判定されたか否かの継続性の判定処理を行う。ここで、判定部24による継続性の判定処理について説明する。

0096

図9は、判定部24による継続性の判定処理を示す図である。図9では、各候補領域100の状態を管理するためのステートマシンの図を示しており、候補領域100の付着物に関する状態の遷移を示している。

0097

図9に示すように、候補領域100は、「IDLE」、「潜伏」、「付着」および「移動付着」の4つの状態に遷移し得る。

0098

「IDLE」は、付着物領域として判定されていない状態を示す。すなわち、「IDLE」は、付着物領域として継続していない候補領域100であることを示す。

0099

「潜伏」は、付着物が付着している可能性があることを示す状態である。すなわち、「潜伏」は、付着物領域であると判定されたものの、付着物領域として継続判定されている期間が所定期間未満の候補領域100であることを示す。

0100

「付着」は、付着物が付着していることを示す状態である。すなわち、「付着」は、付着物領域として継続判定されている期間が所定期間以上の候補領域100であることを示す。

0101

「移動付着」は、車両が移動中(車速が所定値以上)も継続して付着物が付着していることを示す状態である。すなわち、「移動付着」は、車両が移動中も、引き続き付着物領域として所定期間以上継続判定されている候補領域100であることを示す。なお、以下では、「移動付着」の状態の候補領域100(付着物領域)を移動付着物領域と記載する場合がある。

0102

以下、各状態間の遷移について説明する。なお、状態の遷移は、判定処理の継続性を示すスコアに基づいて行うことができる。

0103

<「IDLE」→「潜伏」>
例えば、判定部24は、初めて付着物領域であると判定した候補領域100について、「IDLE」から「潜伏」へ遷移させる。

0104

<「潜伏」→「IDLE」>
例えば、判定部24は、付着物領域として継続判定されている期間が所定期間未満である候補領域100について、現在の撮像画像Iにおいて付着物領域ではないと判定した場合に、「潜伏」から「IDLE」へ遷移させる。

0105

<「潜伏」→「付着」>
例えば、判定部24は、付着物領域として継続判定されている期間が所定期間以上となった場合に、「潜伏」から「付着」へ遷移させる。判定部24は、「潜伏」から「付着」へ遷移した場合、「付着」の状態であることを紐付けた付着物領域の情報をフラグ出力部26へ出力する。

0106

<「付着」→「IDLE」>
例えば、判定部24は、付着物領域として継続判定されている期間が所定期間以上である候補領域100について、現在の撮像画像Iにおいて付着物領域ではないと判定した場合に、「付着」から「IDLE」へ遷移させる。

0107

<「付着」→「移動付着」>
例えば、判定部24は、「付着」状態に遷移した後に、車両が移動中も付着物領域として継続判定されている期間が所定期間以上となった場合に、「付着」から「移動付着」へ遷移させる。判定部24は、「付着」から「移動付着」へ遷移した場合、「移動付着」の状態であることを紐付けた付着物領域(移動付着物領域)の情報をフラグ出力部26へ出力する。

0108

<「移動付着」→「IDLE」>
例えば、判定部24は、「移動付着」の状態で、車両の移動中に取得した現在の撮像画像Iにおいて付着物領域ではないと判定した場合に、「移動付着」から「IDLE」へ遷移させる。

0109

確定部25は、抽出部22によって抽出された候補領域100のうち、撮像画像Iの路面領域510を含む第1領域に存在する候補領域100の面積と、路面領域510以外の領域520を含む第2領域に存在する候補領域100の面積とに基づいて、付着物領域を確定する。

0110

例えば、確定部25は、判定部24によって付着物領域(「付着」および「移動付着」)と判定された候補領域100の面積に基づいて、付着物領域を確定する。

0111

ここで、図10を用いて、確定部25による確定処理について説明する。

0112

図10は、確定部25による確定処理を示す図である。図10に示すように、まず、確定部25は、撮像画像Iの全体領域を所定の小領域500で分割するとともに、小領域500単位で、3つの領域510、520a、520bに区分けする。

0113

すなわち、確定部25は、撮像画像Iの全体領域を路面領域510、車体領域520aおよび上空領域520bに区分けする。なお、本実施形態では、第1領域は路面領域510であり、第2領域は、車体領域520aおよび上空領域520bである。

0114

例えば、確定部25は、撮像画像Iにおける水平線を検出し、当該水平線よりも上側の領域を上空領域520bとして設定する。また、車体領域520aは、カメラ10の取付位置に応じて予め設定される領域である。また、確定部25は、撮像画像Iの全体領域のうち、車体領域520aおよび上空領域520bを除いた領域を路面領域510として設定する。

0115

そして、確定部25は、判定部24によって付着物領域であると判定された候補領域100を小領域500の単位に変換し、3つの領域510、520a、520bそれぞれにおける付着物領域(小領域500)の面積比を算出する。例えば、確定部25は、付着物領域全体を1(100%)として、各領域510、520a、520bに位置する付着物領域の面積比を算出する。

0116

そして、確定部25は、第1領域(路面領域510)に存在する付着物領域(候補領域100)と、第2領域(車体領域520aおよび上空領域520b)に存在する付着物領域との面積比が所定の路面異常条件を満たす場合、路面領域510に含まれる付着物領域を除いた付着物領域を最終的な付着物領域として確定する。

0117

例えば、確定部25は、第1領域に存在する付着物領域の面積が、第2領域に存在する付着物領域の面積よりも所定値以上大きい場合、第1領域に存在する付着物領域以外の付着物領域を最終的な付着物領域として確定する。

0118

あるいは、確定部25は、各領域510、520a、520bのうち、路面領域510の面積比が他の領域520a、520bよりも所定値以上大きい場合、他の領域520a、520bに存在する付着物領域を最終的な付着物領域として確定する。

0119

一方、確定部25は、各領域510、520a、520bにおける面積比が概ね同じ(領域510、520a、520b間での面積比の差分が所定値未満)である場合、3つの領域510、520a、520bそれぞれの付着物領域の合計面積面積計算処理の計算結果とする。

0120

これは、雨滴等の付着物の場合、撮像画像I全体に万遍なく付着する場合が多く、一方で、路面反射の領域は、撮像画像Iの路面領域に集中する場合が多いことに着目している。

0121

つまり、確定部25は、路面領域510に付着物領域が集中している場合、当該付着物領域が路面反射の領域であるとし、付着物領域全体から路面領域510に存在する付着物領域の面積を減算した付着物領域を確定する。

0122

このように、確定部25は、路面領域510に付着物領域が集中しているか否かで路面反射の領域か否かを判定することで、付着物領域を高精度に確定することができる。

0123

なお、確定部25による面積の比較は、第1領域および第2領域の比較に限らず、付着物領域全体および第1領域(あるいは第2領域)の比較や、路面領域510および車体領域520a(あるいは上空領域520b)の比較等であってもよい。

0124

なお、確定部25は、路面領域510に付着物領域が集中している場合であっても、かかる付着物領域が移動付着物領域である場合には、付着物領域全体から路面領域510の付着物領域を減算しない。

0125

これは、判定結果として確度が高い移動付着物領域が少量付着したことを検出するためである。つまり、確定部25は、路面領域510に移動付着物領域が集中していた場合には、路面反射の領域ではなく付着物領域として確定する。

0126

そして、確定部25は、確定した付着物領域の情報をフラグ出力部26へ出力する。

0127

そして、フラグ出力部26は、確定部25によって確定された付着物領域の面積が所定値以上である場合には、付着物フラグONを各種機器50へ出力し、かかる面積が所定値未満である場合には、付着物フラグOFFを各種機器50へ出力する。

0128

具体的には、フラグ出力部26は、確定部25によって確定された付着物領域が移動付着物領域であった場合には、移動付着物領域の面積が第1閾値以上であるときに、付着物フラグONを出力し、移動付着物領域の面積が第1閾値未満であるときには、付着物フラグOFFを出力する。

0129

また、フラグ出力部26は、付着物領域(「付着」および「移動付着」)の面積が第1閾値よりも大きい第2閾値以上である場合、付着物フラグONを出力し、第2閾値未満である場合、付着物フラグOFFを出力する。

0130

このように、フラグ出力部26は、移動付着物領域の場合、第2閾値よりも小さい第1閾値を設定することで、判定結果の確度が高い移動付着物領域が少量付着した場合でも、高精度に検出することができる。

0131

次に、図11を用いて、実施形態に係る付着物検出装置1が実行する全体処理の処理手順について説明する。図11は、実施形態に係る付着物検出装置1が実行する付着物の全体処理の処理手順を示すフローチャートである。

0132

図11に示すように、まず、画像取得部21は、カメラ10で撮像された撮像画像Iを取得し、取得した撮像画像Iに対してグレースケール化処理および間引き処理した後、縮小した撮像画像Iの画素値に基づいて生成した積分画像を撮像画像Iとして取得する(S101)。

0133

つづいて、抽出部22は、画像取得部21が取得した撮像画像Iの各画素から検出されるエッジに基づき、カメラ10に付着した付着物に対応する付着物領域の候補領域100を抽出する(S102)。

0134

つづいて、抽出部22は、候補領域100において連続する複数の画素列を含む帯領域110に関し、所定画素数を単位とする単位領域Rに分割する(ステップS103)。

0135

つづいて、抽出部22は、単位領域Rの輝度情報を算出する(ステップS104)。輝度情報は、例えば、輝度の平均値および輝度の標準偏差である。

0136

つづいて、抽出部22は、算出した輝度の標準偏差が所定値未満であるか否かを判定する(ステップS105)。

0137

抽出部22は、輝度の標準偏差が所定値未満である場合(ステップS105:Yes)、単位領域Rの代表値として輝度の平均値(輝度平均)を設定する(ステップS106)。

0138

一方、抽出部22は、輝度の標準偏差が所定値以上である場合(ステップS105:No)、単位領域Rの代表値として異常値を設定する(ステップS107)。

0139

つづいて、抽出部22は、候補領域100における単位領域Rの輝度平均の分布が所定の除外条件を満たす場合に当該候補領域100を付着物領域の判定処理の対象から除外する除外処理を行う(ステップS108)。

0140

つづいて、抽出部22は、候補領域100における単位領域Rの輝度平均の分布における起伏変化が所定の変化パターンに合致する候補領域100を抽出し、判定部24は、算出部23の算出結果に基づいて、当該候補領域100が付着物領域であるか否かを判定する判定処理を行う(ステップS109)。

0141

つづいて、確定部25は、判定部24によって継続して付着物領域と判定された候補領域100の面積に基づいて、確定処理を行い、フラグ出力部26は、確定された付着物領域の面積が所定値以上であるか否かを判定する(ステップS110)。

0142

フラグ出力部26は、確定された付着物領域の面積が所定値以上の場合に、(ステップS110:Yes)、付着物フラグONを各種機器50へ出力し(ステップS111)、処理を終了する。

0143

一方、フラグ出力部26は、確定された付着物領域の面積が所定値未満の場合に、(ステップS110:No)、付着物フラグOFFを各種機器50へ出力し(ステップS112)、処理を終了する。

0144

次に、図12を用いて、実施形態に係る付着物検出装置1が実行する確定処理の処理手順について説明する。図12は、実施形態に係る付着物検出装置1が実行する確定処理の処理手順を示すフローチャートである。

0145

図12に示すように、確定部25は、まず、路面領域510を含む第1領域に存在する付着物領域の面積を算出する(ステップS201)。

0146

つづいて、確定部25は、路面領域510以外の領域520を含む第2領域に存在する付着物領域の面積を算出する(ステップS202)。

0147

つづいて、確定部25は、第1領域および第2領域のうち、第1領域の面積比が所定値以上である場合(ステップS203:Yes)、第1領域の付着物領域を除いた第2領域の付着物領域を最終的な付着物領域として確定し(ステップS204)、処理を終了する。

0148

一方、確定部25は、第1領域の面積比が所定値未満である場合(ステップS203:No)、第1領域の付着物領域および第2領域の付着物領域を含めた全ての付着物領域を最終的な付着物領域として確定し(ステップS205)、処理を終了する。

0149

上述してきたように、実施形態に係る付着物検出装置1は、抽出部22と、確定部25とを備える。抽出部22は、撮像装置(カメラ10)で撮像された撮像画像Iの各画素から検出されるエッジに基づき、撮像装置に付着した付着物に対応する付着物領域の候補領域100を抽出する。確定部25は、抽出部22によって抽出された候補領域100のうち、撮像画像Iの路面領域510を含む第1領域に存在する候補領域100の面積と、路面領域510以外の領域520a,520bを含む第2領域に存在する候補領域100の面積とに基づいて、付着物領域を確定する。これにより、付着物を高精度に検出することができる。

0150

また、上述した実施形態では、車両に搭載されるカメラで撮像された撮像画像Iを用いたが、撮像画像Iは、例えば、防犯カメラや、街灯等に設置されたカメラで撮像された撮像画像Iであってもよい。つまり、カメラのレンズに付着物が付着する可能性があるカメラで撮像された撮像画像Iであればよい。

0151

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

0152

1付着物検出装置
2 制御部
3 記憶部
10カメラ
11車速センサ
21画像取得部
22 抽出部
23 算出部
24 判定部
25確定部
26フラグ出力部
31起伏条件情報
50 各種機器
100候補領域
200 内部領域
I 撮像画像

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ