図面 (/)

技術 付着物検出装置、および付着物検出方法

出願人 株式会社デンソーテン
発明者 池田修久朝山信徳河野貴谷泰司山本大輔塩田大輔上林輝彦
出願日 2019年9月20日 (1年9ヶ月経過) 出願番号 2019-172204
公開日 2021年4月1日 (3ヶ月経過) 公開番号 2021-050932
状態 未査定
技術分野 イメージ分析 光学的手段による材料の調査、分析
主要キーワード スキップ幅 Y座標 データフラッシュ 付着物検出装置 エッジ角度 X座標 確定領域 継続カウンタ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2021年4月1日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (8)

課題

付着物検出精度を向上させた付着物検出装置、および付着物検出方法を提供すること。

解決手段

実施形態に係る付着物検出装置は、抽出部と、検出部とを備える。抽出部は、撮像装置によって撮像された撮像画像から付着物の候補領域を抽出する。検出部は、候補領域の面積所定面積以上であり、かつ候補領域における画素間の輝度変化量所定変化量以下である領域を付着物領域として検出する。

概要

背景

従来、撮像画像における画素輝度分布に基づいてレンズに付着した付着物を検出する付着物検出装置が知られている(例えば、特許文献1参照)。

概要

付着物の検出精度を向上させた付着物検出装置、および付着物検出方法を提供すること。実施形態に係る付着物検出装置は、抽出部と、検出部とを備える。抽出部は、撮像装置によって撮像された撮像画像から付着物の候補領域を抽出する。検出部は、候補領域の面積所定面積以上であり、かつ候補領域における画素間の輝度変化量所定変化量以下である領域を付着物領域として検出する。

目的

本発明は、上記に鑑みてなされたものであって、付着物の検出精度を向上させる付着物検出装置、および付着物検出方法を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

撮像装置によって撮像された撮像画像から付着物候補領域を抽出する抽出部と、前記候補領域の面積所定面積以上であり、かつ前記候補領域における画素間の輝度変化量所定変化量以下である領域を付着物領域として検出する検出部とを備えることを特徴とする付着物検出装置

請求項2

前記検出部は、前記候補領域の面積が前記所定面積以上であり、かつ前記候補領域における水平方向、および垂直方向画素列における画素間の前記輝度変化量がそれぞれ前記所定変化量以下である領域を前記付着物領域として検出することを特徴とする請求項1に記載の付着物検出装置。

請求項3

前記抽出部は、前記撮像画像において所定のスキップ幅によってスキップさせた画素の特徴量に基づいて前記候補領域を抽出することを特徴とする請求項1または2に記載の付着物検出装置。

請求項4

過去の撮像画像において検出された前記付着物領域の矩形情報を記憶する記憶部を備え、前記検出部は、前記記憶部に記憶された前記矩形情報に対応する領域のうち、前記輝度変化量が前記所定変化量以下である領域を前記付着物領域として検出することを特徴とする請求項1〜3のいずれか一つに記載の付着物検出装置。

請求項5

前記記憶部に記憶された前記矩形情報に対応する領域における付着物不検知の継続性を示す値が所定値になる前記矩形情報を前記記憶部から消去する更新部を備えることを特徴とする請求項4に記載の付着物検出装置。

請求項6

撮像装置によって撮像された撮像画像から付着物の候補領域を抽出する抽出工程と、前記候補領域の面積が所定面積以上であり、かつ前記候補領域における画素間の輝度変化量が所定変化量以下である領域を付着物領域として検出する検出工程とを含むことを特徴とする付着物検出方法

技術分野

0001

本発明は、付着物検出装置、および付着物検出方法に関する。

背景技術

0002

従来、撮像画像における画素輝度分布に基づいてレンズに付着した付着物を検出する付着物検出装置が知られている(例えば、特許文献1参照)。

先行技術

0003

特開2019−128798号公報

発明が解決しようとする課題

0004

しかしながら、従来技術では、レンズに付着した付着物が大きい場合に付着物の検出精度が低下するおそれがある。

0005

本発明は、上記に鑑みてなされたものであって、付着物の検出精度を向上させる付着物検出装置、および付着物検出方法を提供することを目的とする。

課題を解決するための手段

0006

実施形態の一態様に係る付着物検出装置は、抽出部と、検出部とを備える。抽出部は、撮像装置によって撮像された撮像画像から付着物の候補領域を抽出する。検出部は、候補領域の面積所定面積以上であり、かつ候補領域における画素間の輝度変化量所定変化量以下である領域を付着物領域として検出する。

発明の効果

0007

実施形態の一態様によれば、付着物の検出精度を向上させることができる。

図面の簡単な説明

0008

図1は、付着物検出方法の概要を示す図である。
図2は、付着物検出装置の構成を示すブロック図である。
図3は、輝度分布の抽出対象となる画素列を説明する図である。
図4は、算出部の処理内容を示す図である。
図5は、算出部の処理内容を示す図である。
図6は、大きい付着物に対応するヒストグラムの一例である。
図7は、実施形態に係る付着物検出処理を説明するフローチャートである。

実施例

0009

以下、添付図面を参照して、実施形態に係る付着物検出装置、および付着物検出方法について詳細に説明する。なお、本実施形態によりこの発明が限定されるものではない。

0010

まず、図1を用いて実施形態に係る付着物検出方法の概要について説明する。図1は、付着物検出方法の概要を示す図である。実施形態に係る付着物検出方法は、付着物検出装置1によって実行される。なお、図1には、例えば、撮像装置であるカメラ10(図2参照)のレンズに水滴などの付着物が付着した状態で撮像された撮像画像Iを示している。付着物は、や、埃や、雪片等が含まれてもよく、付着物の領域がぼやけた領域となる付着物であればよい。

0011

付着物検出装置1は、撮像画像Iから付着物が付着している可能性がある候補領域100を抽出し、候補領域100における輝度分布の起伏変化パターンが所定の変化パターンを満たす場合に、候補領域100を付着物領域として検出する。所定の変化パターンは、付着物に対応する輝度の変化パターンであり、予め設定され、起伏条件情報DB30(図2参照)に記憶されている。輝度分布の起伏変化パターンについては、後述する。

0012

レンズに付着する付着物は、比較的小さい付着物が想定されており、このような付着物は、図1においてグラデーション濃淡で示すように、輝度の変化量が大きい。そのため、所定の変化パターンは、実験などによって得られた輝度の変化量に基づいて設定され、記憶される。

0013

そして、付着物検出装置1は、撮像画像Iから抽出された候補領域100における輝度分布の起伏変化パターンと、所定の変化パターンとを比較することによって、付着物領域を検出している。

0014

しかし、レンズに付着した付着物が大きい場合には、付着物が小さい場合と比較すると、輝度の変化量が小さくなる。そのため、上記した所定の変化パターンを用いて付着物領域を検出すると、付着物が大きい候補領域100が付着物領域として検出されないおそれがある。

0015

そこで、実施形態に係る付着物検出装置1は、以下で説明する付着物検出方法によって大きい付着物が付着した候補領域100を付着物検出領域として検出することとした。

0016

付着物検出装置1は、撮像画像Iを取得し(S1)、取得した撮像画像Iから候補領域100を抽出する(S2)。例えば、付着物検出装置1は、パターンマッチングによるマッチング処理により、付着物の円形状の輪郭を含む矩形状の領域を候補領域100として抽出する。

0017

付着物検出装置1は、候補領域100の面積が所定面積以上である候補領域100を第1候補領域100aとして抽出する(S3)。

0018

所定面積は、大きい付着物が付着している場合の面積であり、候補領域100の幅が所定幅(例えば、96画素)以上であり、候補領域100の高さが所定高さ(例えば、96画素)以上となる場合の面積である。なお、以下においては、候補領域100の面積が所定面積よりも小さい領域を第2候補領域100bと称する。また、第1候補領域100a、および第2候補領域100bを区別しない場合には、候補領域100として説明する。

0019

付着物検出装置1は、第1候補領域100aのうち、画素間の輝度変化量が所定変化量以下である領域を付着物領域として検出する(S4)。

0020

画素間の輝度変化量は、候補領域100における所定方向に沿った輝度の変化量であり、画素の輝度分布の起伏における輝度の最大値最小値との差である。所定変化量は、予め設定された値(例えば、32)であり、輝度の起伏が小さく、大きい付着物が付着していると判定可能な値である。

0021

付着物検出装置1は、大きい付着物が付着している場合に、第1候補領域100aを正確に付着物領域として検出することができ、付着物の検出精度を向上させることができる。

0022

次に、実施形態に係る付着物検出装置1について、図2を参照して説明する。図2は、付着物検出装置1の構成を示すブロック図である。図2に示すように、実施形態に係る付着物検出装置1は、カメラ10と、各種機器50とに接続される。なお、図2では、付着物検出装置1は、カメラ10と、各種機器50とは別体で構成される場合を示したが、これに限らず、カメラ10および各種機器50の少なくとも一方と一体で構成されてもよい。

0023

カメラ10は、たとえば、魚眼レンズ等のレンズと、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子とを備えた車載カメラである。カメラ10は、例えば、車両の前後方側方の様子を撮像可能な位置にそれぞれ設けられ、撮像された撮像画像Iを付着物検出装置1へ出力する。

0024

各種機器50は、付着物検出装置1の検出結果を取得して、車両の各種制御を行う機器である。各種機器50は、例えば、カメラ10のレンズに付着物が付着していることや、ユーザによる付着物の拭き取り指示を通知する表示装置や、流体気体等をレンズに向かって噴射して付着物を除去する除去装置自動運転等を制御する車両制御装置を含む。

0025

付着物検出装置1は、制御部2と、記憶部3とを備える。制御部2は、取得部20と、抽出部21と、算出部22と、変換部23と、判定部24と、更新部25と、検出部26とを備える。記憶部3は、起伏条件情報DB30と、付着情報DB31とを備える。

0026

ここで、付着物検出装置1は、たとえば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、データフラッシュ入出力ポートなどを有するコンピュータや各種の回路を含む。

0027

コンピュータのCPUは、たとえば、ROMに記憶されたプログラム読み出して実行することによって、制御部2の取得部20、抽出部21、算出部22、変換部23、判定部24、更新部25、および検出部26として機能する。

0028

また、制御部2の取得部20、抽出部21、算出部22、変換部23、判定部24、更新部25、および検出部26の少なくともいずれか一つまたは全部をASIC(Application Specific IntegratedCircuit)やFPGA(Field Programmable Gate Array)等のハードウェアで構成することもできる。また、取得部20、抽出部21、算出部22、変換部23、判定部24、更新部25、および検出部26は、統合されてもよく、複数に分けられてもよい。

0029

また、記憶部3は、たとえば、RAMやデータフラッシュに対応する。RAMやデータフラッシュは、各種プログラムの情報等を記憶することができる。なお、付着物検出装置1は、有線無線ネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。

0030

起伏条件情報DB30は、所定の変化パターンを起伏条件情報として記憶する。所定の変化パターンは、複数設定され、記憶される。

0031

付着情報DB31は、付着物が検出された過去の撮像画像Iにおける第1候補領域100aの付着情報を記憶する。付着情報は、第1候補領域100aにおける矩形情報である。

0032

矩形情報は、撮像画像Iにおける第1候補領域100aの位置、および大きさを示す情報である。矩形情報は、第1候補領域100aの左上のX座標Y座標、および第1候補領域100aの幅、高さである。X座標、およびY座標は、撮像画像I中の所定の座標原点として設定される。なお、所定の座標は、各撮像画像Iにおいて同じ位置に設定される。また、矩形情報は、詳しくは後述する継続カウンタ紐付けられて記憶される。

0033

取得部20は、カメラ10で撮像された画像を取得し、現在の撮像画像Iである現在フレームを生成(取得)する。具体的には、取得部20は、取得した画像における各画素を輝度に応じて白から黒までの各階調に変換するグレースケール化処理を行う。また、取得部20は、取得した画像に画素の間引き処理を行い、取得した画像よりもサイズが小さい画像を生成する。

0034

また、取得部20は、間引き処理を施した画像に基づいて、各画素における画素値の和および二乗和積分画像である現在フレームを生成する。なお、画素値とは、画素の輝度やエッジに対応する情報である。このように、付着物検出装置1は、取得した画像に対して間引き処理を行い、積分画像を生成することで、後段における処理の計算を高速化できるため、付着物を検出するための処理時間を短くすることができる。

0035

なお、取得部20は、各画素について、平均化フィルタなどの平滑化フィルタを用いて平滑化処理を行ってもよい。また、取得部20は、間引き処理を行わず、取得した画像と同じサイズの現在フレームを生成してもよい。

0036

抽出部21は、取得部20が取得した撮像画像Iの中から候補領域100を抽出する。具体的には、まず、抽出部21は、撮像画像Iにおける各画素の輝度およびエッジ情報を抽出する。各画素の輝度は、例えば、0〜255のパラメータ表現される。

0037

また、抽出部21は、各画素の輝度に基づいてエッジ検出処理を行って、各画素について、X軸方向(撮像画像Iの左右方向)のエッジと、Y軸方向(撮像画像Iの上下方向)のエッジとを検出する。エッジ検出処理には、例えば、Sobelフィルタや、Prewittフィルタ等の任意のエッジ検出フィルタを用いることができる。

0038

そして、抽出部21は、X軸方向のエッジと、Y軸方向のエッジとに基づき、三角関数を用いることで、画素のエッジ角度およびエッジ強度の情報を含むベクトルをエッジ情報として検出する。具体的には、エッジ角度は、ベクトルの向きによって表現され、エッジ強度は、ベクトルの長さによって表現される。

0039

そして、抽出部21は、予め作成された付着物の輪郭を示すテンプレート情報と、検出したエッジ情報とのマッチング処理(テンプレートマッチング)を行い、テンプレート情報と類似するエッジ情報を抽出する。

0040

抽出部21は、複数回、具体的には、2回のマッチング処理を行う。抽出部21は、テンプレート情報と、検出した全てのエッジ情報との第1のマッチング処理を行い、その後、テンプレート情報と、検出したエッジ情報から間引いたエッジ情報との第2のマッチング処理を行う。

0041

第2のマッチング処理では、X軸方向のエッジ情報が所定のスキップ幅画素間隔)で抽出され、Y軸方向のエッジ情報が所定のスキップ幅で抽出される。所定のスキップは、予め設定された間隔であり、例えば4画素である。例えば、X軸方向に1〜15まで連続する画素では、1番目の画素、5番目の画素、9番目の画素、13番目の画素のエッジ情報が抽出される。

0042

なお、マッチング処理の回数は、2回に限られず、3回以上であってもよい。この場合、抽出部21は、所定のスキップ幅を変更し、複数回のマッチング処理を行う。

0043

そして、抽出部21は、抽出したエッジ情報の領域、すなわち、付着物の輪郭を含む矩形状の領域である候補領域100を抽出する。抽出部21は、第1のマッチング処理、および第2のマッチング処理によって候補領域100を抽出する。

0044

抽出部21は、第2のマッチング処理によって、所定のスキップ幅によってスキップさせた画素の特徴量に基づいて候補領域100を抽出する。抽出部21は、新たに縮小した撮像画像Iを生成することなく第2のマッチング処理によって候補領域100を抽出する。

0045

なお、第2のマッチング処理によって抽出される候補領域100は、間引かれたエッジ情報を有する画素を含む領域であり、撮像画像I上における大きさを有する領域である。

0046

抽出部21は、候補領域100の面積が所定面積以上である候補領域100を第1候補領域100aとして抽出し、候補領域100の面積が所定面積よりも小さい候補領域100を第2候補領域100bとして抽出する。

0047

また、抽出部21は、候補領域100における所定の画素列の輝度分布を抽出する。図3は、輝度分布の抽出対象となる画素列を説明する図である。図3に示すように、抽出部21は、撮像画像Iにおける水平方向(X軸方向)の3列の画素列H1〜H3と、垂直方向(Y軸方向)の3列の画素列V1〜V3とについて、輝度分布を抽出する。これにより、輝度分布を2次元の情報として扱うことができるため、後段の処理負荷を軽減できる。

0048

また、抽出部21は、付着情報DB31に記憶された矩形情報に対応する領域について、候補領域100と同様に所定の画素列の輝度分布を抽出する。すなわち、抽出部21は、撮像画像Iにおいて、付着情報DB31に記憶された矩形情報に一致する領域を撮像画像Iから抽出し、抽出した領域に対して画素列の輝度分布を抽出する。以下において、付着情報DB31に記憶された矩形情報に対応する領域を「予備領域」と称する。

0049

なお、抽出する画素列は、水平方向、または、垂直方向のいずれか一方の画素列であってもよい。また、抽出する画素列の列数は、3列に限らず、2列以下や、4列以上であってもよい。なお、抽出部21は、第1候補領域100a、および予備領域においては、水平方向、および垂直方向の画素列の輝度分布を抽出する。

0050

図2に戻って算出部22について説明する。算出部22は、候補領域100を所定画素数を単位とする単位領域に分割し、単位領域毎に輝度の代表値を算出する。なお、算出部22による代表値の算出方法については、図4および図5を用いて後述する。

0051

図4および図5は、算出部22の処理内容を示す図である。まず、図4を用いて、算出部22による単位領域の設定方法について説明する。図4では、水平方向における一の画素列Hの輝度分布を示す。

0052

図4に示すように、算出部22は、水平方向における画素列を、例えば8個の単位領域R1〜R8(まとめて単位領域Rと記載する場合がある。)に分割する。なお、単位領域R1〜R8の各幅(画素数)は、同じ(すなわち、画素列を均等割りした画素数)であってもよく、各幅がそれぞれ異なってもよい。

0053

また、単位領域Rの分割数は、8個に限らず、任意の数を設定可能である。なお、単位領域Rの分割数は、撮像画像Iから抽出される候補領域100、および予備領域のサイズに関わらず、すべて同じ数(図4では8個)であることが好ましい。これにより、抽出される候補領域100、および予備領域のサイズが様々であっても、単位領域Rの数を揃えることで、統一した情報となるため、後段の判定処理等の処理負荷を抑えることができる。

0054

また、算出部22は、図5に示すように、単位領域R1〜R8毎に輝度の代表値のヒストグラムを作成する。具体的には、算出部22は、単位領域R1〜R8毎に輝度値平均値を算出し、平均値を輝度の代表値とする。

0055

生成されたヒストグラムは、付着物の状態によって形状が異なる。小さい付着物のヒストグラムは、図5に示すように、例えば、中心付近の単位領域R4、R5の輝度が大きくなり、端付近の単位領域R1、R8の輝度が小さくなる。そのため、単位領域Rにおける輝度の変化量が大きくなる。ヒストグラムにおける輝度の変化パターンは、輝度分布の起伏変化パターンである。

0056

一方、大きい付着物のヒストグラムは、図6に示すように、単位領域Rにおける輝度の変化量が小さくなる。図6は、大きい付着物に対応するヒストグラムの一例である。

0057

算出部22は、生成したヒストグラムを用いて、第1候補領域100aにおける画素間の輝度変化量を算出する。また、算出部22は、予備領域についても、同様にヒストグラムを生成し、画素間の輝度変化量を算出する。なお、算出部22は、各画素列についてそれぞれヒストグラムを生成し、画素間の輝度変化量を算出する。

0058

図2戻り、判定部24は、第1候補領域100aに対し、算出された画素間の輝度変化量が所定変化量以下であるか否かを判定する。判定部24は、抽出された各画素列について、算出された画素間の輝度変化量が所定変化量以下であるか否かを判定する。

0059

判定部24は、画素間の輝度変化量が所定変化量以下である第1候補領域100aを付着物領域であると判定する。具体的には、判定部24は、抽出された画素列の全てにおいて、画素間の輝度変化量が所定変化量以下である第1候補領域100aを付着物領域であると判定する。

0060

また、判定部24は、画素間の輝度変化量が所定変化量よりも大きい第1候補領域100aを付着物領域ではないと判定する。具体的には、判定部24は、抽出された画素列のいずれか一つにおいて、画素間の輝度変化量が所定変化量よりも大きい場合には、第1候補領域100aを付着物領域ではないと判定する。

0061

また、判定部24は、予備領域に対し、第1候補領域100aと同様に、画素間の輝度変化量が所定変化量以下であるか否かを判定する。判定部24は、画素間の輝度変化量が所定変化量以下である予備領域を付着物領域であると判定する。

0062

第1候補領域100aは、各撮像画像Iから上記した第2のマッチング処理によって抽出された候補領域100から抽出されることがある。第2のマッチング処理では、所定のスキップ幅でスキップされたエッジ情報を用いてテンプレート情報とのマッチング処理が行われる。そのため、第1候補領域100aが撮像画像Iから抽出されないことがある。

0063

実施形態に係る付着物検出装置1は、予備領域についても、画素間の輝度変化量が所定変化量以下であるか否かを判定し、画素間の輝度変化量が所定変化量以下である予備領域を付着物領域であると判定する。これにより、付着物検出装置1は、大きい付着物が付着した領域を精度良く付着物領域として検出することができる。

0064

また、判定部24は、第2候補領域100bに対し、輝度分布の起伏変化パターンが所定の変化パターンを満たすか否かを判定する。なお、所定の変化パターンは、各単位領域Rに対し閾値範囲を含む。判定部24は、第2候補領域100bの各単位領域Rの代表値が、所定の変化パターンにおける各単位領域Rの閾値範囲に含まれるか否かを判定する。

0065

判定部24は、輝度分布の起伏変化パターンが所定の変化パターンを満たす第2候補領域100bを付着物領域であると判定する。また、判定部24は、輝度分布の起伏変化パターンが所定の変化パターンを満たさない第2候補領域100bを付着物領域ではないと判定する。

0066

また、判定部24は、時系列の撮像画像Iに基づき、候補領域100を連続して付着物領域である判定した場合に、候補領域100が付着物領域の確定領域であると判定する。

0067

また、判定部24は、確定領域の占有率を算出することによって、最終的な付着物の判定処理を行う。具体的には、判定部24は、占有率が予め設定された閾値(例えば、40%)以上の場合に、カメラ10のレンズに付着物が付着していると判定する。判定部24は、占有率が閾値よりも小さい場合に、カメラ10のレンズに付着物が付着していないと判定する。

0068

更新部25は、カメラ10のレンズに付着物が付着していると判定された場合に、付着物検出フラグを「ON」にする。また、更新部25は、カメラ10のレンズに付着物が付着していないと判定された場合に、付着物検出フラグを「OFF」にする。

0069

また、更新部25は、付着情報DB31を更新する。更新部25は、付着物領域として判定された第1候補領域100aの矩形情報が付着情報DB31に記憶されていない場合には、第1候補領域100aの矩形情報を新たに記憶する。

0070

また、更新部25は、付着情報DB31に記憶された矩形情報に対応する予備領域において、所定回数(例えば、3回)連続して、付着物領域として判定されない場合には、付着領域として判定されない領域の矩形情報を付着情報DB31から消去する。具体的には更新部25は、予備領域が付着物領域として判定されない場合に、予備領域に対応する矩形情報の継続カウンタをインクリメントする。継続カウンタは、付着情報DB31に記憶された矩形情報に一致する領域における付着物不検知の継続性を示す値である。

0071

継続カウンタは、初期値としてゼロに設定される。予備領域が付着物領域として判定された場合には、更新部25は、付着物領域として判定された予備領域に対応する矩形情報の継続カウンタをリセットする。更新部25は、継続カウンタが所定値(例えば、「3」)になると、継続カウンタが所定値となった矩形情報を付着情報DB31から消去する。

0072

検出部26は、判定部24による判定結果に基づいて、候補領域100から付着物領域を検出する。また、検出部26は、判定部24による判定結果に基づいて、付着物領域の確定領域を検出する。

0073

次に、実施形態に係る付着物検出処理について図7を参照し説明する。図7は、実施形態に係る付着物検出処理を説明するフローチャートである。

0074

制御部2は、カメラ10で撮像された画像を取得し、取得した画像に対してグレースケール化処理および間引き処理した後、縮小した画像の画素値に基づいて生成した積分画像を撮像画像Iとして取得する(S100)。

0075

制御部2は、撮像画像Iの各画素から検出されるエッジ情報に基づき、カメラ10に付着した付着物に対応する付着物領域の候補領域100を抽出する(S101)。具体的には、制御部2は、第1候補領域100a、および第2候補領域100bを抽出する。制御部2は、予備領域を抽出する(S102)。

0076

制御部2は、付着物領域を検出する(S103)。具体的には、制御部2は、画素間の輝度変化量が所定変化量以下である第1候補領域100a、および予備領域を付着物領域として検出する。また、制御部2は、輝度分布の起伏変化パターンが所定の変化パターンを満たす第2候補領域100bを付着物領域として検出する。

0077

制御部2は、付着物領域の確定領域を検出する(S104)。制御部2は、占有率を算出し(S105)、占有率が閾値以上であるか否かを判定する(S106)。制御部2は、占有率が閾値以上である場合には(S106:Yes)、付着物検出フラグを「ON」にする(S107)。制御部2は、占有率が閾値よりも小さい場合には(S106:No)、付着物検出フラグを「OFF」にする(S108)。

0078

付着物検出装置1は、候補領域100のうち面積が所定面積以上である領域を第1候補領域100aとして抽出し、画素間の輝度変化量が所定変化量以下である第1候補領域100aを付着物領域として検出する。

0079

これにより、付着物検出装置1は、大きい付着物が付着した領域を付着物領域として検出することができ、付着物の検出精度を向上させることができる。

0080

付着物検出装置1は、第1候補領域100aにおける水平方向、および垂直方向の画素列における画素間の輝度変化量が所定変化量以下である第1候補領域100aを付着物領域として検出する。

0081

これにより、付着物検出装置1は、付着物が付着した第1候補領域100aを精度良く付着物領域として検出することができ、付着物の検出精度を向上させることができる。

0082

付着物検出装置1は、所定のスキップ幅によってスキップさせた画素の特徴量に基づいて第1候補領域100aを抽出する。

0083

これにより、付着物検出装置1は、第1候補領域100aを抽出するための新たな縮小画像を生成せずに、第1候補領域100aを抽出することができる。また、付着物検出装置1は、第2候補領域100bを抽出するテンプレート情報を用いて第1候補領域100aを抽出することができる。そのため、付着物検出装置1は、付着物検出における処理負荷を抑制することができる。

0084

付着物検出装置1は、付着情報DB31に記憶された矩形情報に対応する予備領域のうち、輝度変化量が所定変化量以下となる領域を付着物領域として検出する。

0085

これにより、付着物検出装置1は、第2のマッチング処理によって第1候補領域100aを抽出できない場合であっても、大きい付着物が付着している可能性がある予備領域について付着物の付着判定を行うことができる。そのため、付着物検出装置1は、付着物の検出精度を向上させることができる。

0086

また、付着物検出装置1は、継続カウンタが所定値となった矩形情報を付着情報DB31から消去する。

0087

これにより、付着物検出装置1は、付着物が付着していない領域に対応する矩形情報に基づいた付着物の付着判定が行われることを抑制し、付着物検出における処理負荷を抑制することができる。また、付着物検出装置1は、付着物の検出精度を向上させることができる。

0088

変形例に係る付着物検出装置1は、第2候補領域100bについては、以下の処理を行い、付着領域であるか否かを判定してもよい。

0089

変形例に係る付着物検出装置1は、第2候補領域100bにおける各画素の輝度値(例えば、0〜255)を単位輝度(例えば、0〜7)へ変換する。具体的には、変形例に係る付着物検出装置1は、0〜255を8個の単位輝度に均等に分割する。そして、変形例に係る付着物検出装置1は、単位領域R毎に代表値(例えば、最頻値の単位輝度や、単位輝度の平均値)を算出し、隣接する単位領域Rの単位輝度の変化量を算出する。

0090

そして、変形例に係る付着物検出装置1は、単位輝度の変化量のパターンを、輝度分布の起伏変化のパターンとして算出し、輝度分布の起伏変化のパターンが、所定の変化パターンを満たす場合に、第2候補領域100bを付着物領域として検出する。

0091

これにより、変形例に係る付着物検出装置1は、全体的な輝度値の大小を無視できるため、起伏の形状が類似して輝度値の大小が異なる場合による誤判定を減らすことができる。さらに、輝度値の大小を無視できるため、輝度値毎に判定条件を設定する必要がなくなることで、変形例に係る付着物検出装置1は、条件を記憶するための記憶容量を削減でき、かつ、輝度値毎に判定処理を行う必要がないため、処理量を減らすことができる。

0092

また、変形例に係る付着物検出装置1は、第1候補領域100a、および予備領域においても単位輝度を用いて付着物判定を行ってもよい。

0093

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。従って、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

0094

1付着物検出装置
2 制御部
3 記憶部
10カメラ(撮像装置)
20 取得部
21 抽出部
24 判定部
25更新部
26 検出部
30起伏条件情報DB
31付着情報DB

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ