図面 (/)

技術 汚れ報知装置

出願人 アイシン精機株式会社
発明者 渡邉宏行
出願日 2018年3月2日 (2年1ヶ月経過) 出願番号 2018-037947
公開日 2019年9月12日 (7ヶ月経過) 公開番号 2019-153932
状態 未査定
技術分野 ワイパー、車両の清掃 閉回路テレビジョンシステム スタジオ装置 光学的視認装置
主要キーワード 汚れ情報 繋がり具合 汚れ程度 汚れ検出処理 汚れ面 差分検出処理 汚れ部分 内燃機関自動車
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2019年9月12日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (6)

課題

車載される複数の撮像部の撮像面の汚れを適切に報知することができる汚れ報知装置を提供する。

解決手段

汚れ報知装置、例えば、車両に搭載された複数の撮像部からそれぞれ出力される撮像画像データを取得する取得部と、撮像画像データに基づき、撮像部ごとに撮像面の汚れを検出する検出部と、撮像面の汚れが検出された場合に、当該汚れが検出された撮像部の識別が可能な汚れ報知を出力する出力部と、を備える。

概要

背景

従来、車両に設置された複数の撮像部(カメラ)により撮像された撮像画像データに基づく画像を表示装置に表示させて、車両の周辺の状況を運転者等に認識させたり、その画像に基づいて障害物の接近等を報知させたりするシステムがある。このようなシステムにおいて、撮像部の撮像面(例えばレンズ)に汚れ等が付着している場合、適切な内容の表示ができなかったり、適切な画像処理や報知ができなかったりする場合がある。そのため、撮像部(撮像面)の汚れ検出を行い、汚れが検出された場合には、汚れ報知を行ったり、撮像した画像に基づく障害物検出等の処理を実行しないようにしたりするシステムが提案されている。

概要

車載される複数の撮像部の撮像面の汚れを適切に報知することができる汚れ報知装置を提供する。汚れ報知装置、例えば、車両に搭載された複数の撮像部からそれぞれ出力される撮像画像データを取得する取得部と、撮像画像データに基づき、撮像部ごとに撮像面の汚れを検出する検出部と、撮像面の汚れが検出された場合に、当該汚れが検出された撮像部の識別が可能な汚れ報知を出力する出力部と、を備える。

目的

画像取得部28は、取得した画像を汚れ検出部30や画像変換部32に提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

車両に搭載された複数の撮像部からそれぞれ出力される撮像画像データを取得する取得部と、前記撮像画像データに基づき、前記撮像部ごとに撮像面の汚れを検出する検出部と、前記撮像面の汚れが検出された場合に、当該汚れが検出された前記撮像部の識別が可能な汚れ報知を出力する出力部と、を備える汚れ報知装置

請求項2

前記出力部は、前記複数の撮像部から出力される撮像画像データに基づく画像を表示装置に表示する場合に、汚れが検出された前記撮像部を特定する指標を前記画像に重畳表示する請求項1に記載の汚れ報知装置。

請求項3

前記出力部は、前記複数の撮像部から出力される撮像画像データに基づく画像を表示装置に表示する場合に、汚れが検出された前記撮像部の前記画像の表示態様と汚れが検出されない前記撮像部の前記画像の表示態様とを異ならせる請求項1または請求項2に記載の汚れ報知装置。

技術分野

0001

本発明の実施形態は、汚れ報知装置に関する。

背景技術

0002

従来、車両に設置された複数の撮像部(カメラ)により撮像された撮像画像データに基づく画像を表示装置に表示させて、車両の周辺の状況を運転者等に認識させたり、その画像に基づいて障害物の接近等を報知させたりするシステムがある。このようなシステムにおいて、撮像部の撮像面(例えばレンズ)に汚れ等が付着している場合、適切な内容の表示ができなかったり、適切な画像処理や報知ができなかったりする場合がある。そのため、撮像部(撮像面)の汚れ検出を行い、汚れが検出された場合には、汚れ報知を行ったり、撮像した画像に基づく障害物検出等の処理を実行しないようにしたりするシステムが提案されている。

先行技術

0003

特開2003−259358号公報

発明が解決しようとする課題

0004

しかしながら、従来のシステムの場合、汚れの有無が通知されるのみで、利用者(例えば、運転者等)は、複数の撮像部のいずれに汚れが生じているのかが、咄嗟に判断し難く迅速な対処ができない場合があった。したがって、車載される複数の撮像部の撮像面の汚れを適切に報知することができる汚れ報知装置が提供できれば、汚れ洗浄等の対応を適切なタイミングで迅速に行うことが可能となり有意義である。

課題を解決するための手段

0005

本発明の実施形態にかかる汚れ報知装置は、例えば、車両に搭載された複数の撮像部からそれぞれ出力される撮像画像データを取得する取得部と、上記撮像画像データに基づき、上記撮像部ごとに撮像面の汚れを検出する検出部と、上記撮像面の汚れが検出された場合に、当該汚れが検出された上記撮像部の識別が可能な汚れ報知を出力する出力部と、を備える。この構成によれば、例えば、汚れが検出された撮像部の識別(特定)を容易に行わせることが可能になり、汚れに対する対応を適切なタイミングで迅速に行わせることができる。

0006

本発明の実施形態にかかる汚れ報知装置の上記出力部は、例えば、上記複数の撮像部から出力される撮像画像データに基づく画像を表示装置に表示する場合に、汚れが検出された上記撮像部を特定する指標を上記画像に重畳表示するようにしてもよい。この構成によれば、例えば、汚れが検出された撮像部の位置の認識を容易に行わせることができる。

0007

本発明の実施形態にかかる汚れ報知装置の上記出力部は、例えば、上記複数の撮像部から出力される撮像画像データに基づく画像を表示装置に表示する場合に、汚れが検出された上記撮像部の上記画像の表示態様と汚れが検出されない上記撮像部の上記画像の表示態様とを異ならせるようにしてもよい。この構成によれば、例えば、汚れている撮像部の画像の輝度を変化させたり、色調を変化させたり、点滅させたりすることができる。この場合、汚れが検出された撮像部による画像自体の表示は行われるので、撮像部から撮像画像データが出力されていない場合(故障の場合)と出力されている場合(汚れの場合)との識別を容易に行わせることができることに加え、いずれの撮像部に汚れが生じているかの判断を容易に行わせることができる。

図面の簡単な説明

0008

図1は、実施形態にかかる汚れ報知装置を搭載可能な車両の一例を示す模式的な平面図である。
図2は、実施形態にかかる汚れ報知装置を含む汚れ報知処理システムの構成の例示的なブロック図である。
図3は、実施形態にかかる汚れ報知装置のCPUの構成の例示的なブロック図である。
図4は、実施形態にかかる汚れ報知装置による、汚れ報知(警報)の一例を示す模式図である。
図5は、実施形態にかかる汚れ報知装置による、汚れ報知(警報)の他の例を示す模式図である。

実施例

0009

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。

0010

図1は、本実施形態の汚れ報知装置が搭載される車両10の模式的な平面図である。車両10は、例えば、内燃機関エンジン、図示されず)を駆動源とする自動車内燃機関自動車)であってもよいし、電動機(モータ、図示されず)を駆動源とする自動車(電気自動車燃料電池自動車等)であってもよいし、それらの双方を駆動源とする自動車(ハイブリッド自動車)であってもよい。また、車両10は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置(システム、部品等)を搭載することができる。また、車両10における車輪12(前輪12F、後輪12R)の駆動に関わる装置の方式、個数、及び、レイアウト等は、種々に設定することができる。

0011

図1に例示されるように、車両10には、複数の撮像部14として、例えば六つの撮像部14a〜14fが設けられている。撮像部14は、例えば、CCD(Charge Coupled Device)やCIS(CMOS image sensor)等の撮像素子を内蔵するデジタルカメラである。撮像部14は、所定のフレームレート動画データ(撮像画像データ)を出力することができる。撮像部14は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば140°〜220°の範囲を撮影することができる。また、例えば、車両10の外周部に配置される撮像部14(14a〜14d)の光軸斜め下方に向けて設定されている場合もある。よって、撮像部14(14a〜14d)は、車両10が移動可能な路面や路面に付されたマーク(矢印や区画線駐車スペースを示す線、車線分離線等を含む)や物体(障害物として、例えば、歩行者、車両等)を含む車両10の外部の周辺環境を逐次撮影し、撮像画像データとして出力する。

0012

撮像部14aは、例えば、車両10の前側、すなわち車両前後方向の前方側車幅方向のほぼ中央の端部、例えばフロントバンパ10aやフロントグリル等に設けられて、車両10の前端部(例えばフロントバンパ10a)を含む前方画像を撮像可能である。また、撮像部14bは、例えば、車両10の後側、すなわち車両前後方向の後方側で車幅方向のほぼ中央の端部、例えばリヤバンパ10bの上方位置に設けられて、車両10の後端部(例えばリヤバンパ10b)を含む後方領域を撮像可能である。また、撮像部14cは、例えば、車両10の右側の端部、例えば右側のドアミラー10cに設けられて、車両10の右側方を中心とする領域(例えば右前方から右後方の領域)を含む右側方画像を撮像可能である。撮像部14dは、例えば、車両10の左側の端部、例えば左側のドアミラー10dに設けられて、車両10の左側方を中心とする領域(例えば左前方から左後方の領域)を含む左側方画像を撮像可能である。

0013

例えば、撮像部14a〜14dで得られた撮像画像データに基づいて、演算処理や画像処理を実行することで、より広い視野角の画像を生成したり、車両10を上方や前方、側方等から見た仮想的な画像(俯瞰画像平面画像)や側方視画像、正面視画像等)を生成したりすることができる。なお、各撮像部14a〜14dが撮像する撮像画像データ(画像)には、互いに重複する重複領域を設けてもよい。例えば、撮像部14aの撮像した撮像画像データの右側の端部と撮像部14cが撮像した撮像画像データの前方側の端部とが重複する。そして、二つの画像を繋げる(合成する)場合、前方画像の撮像画像データと右側方画像の撮像画像データのそれぞれa%を利用して画像を合成するブレンド処理を実行してもよい。ブレンド処理を実行することにより、前方画像と右側方画像とが、徐々に変化するように合成され、明るさや色合いの違いによって生じる境界線を目立ちにくくすることができる。同様に、前方画像と左側方画像、左側方画像と後方画像、後方画像と右側方画像についてもブレンド処理を施すことで、合成した周辺画像全体において境界線を目立ちにくくすることができる。

0014

撮像部14eは、車両10の車室内の例えば、ルームミラー10eの一部に車室内を撮像可能な姿勢で設けられ、運転者や乗員等を認識するための画像を撮像可能である。例えば、運転者や乗員の搭乗有無検出や運転者の顔認識(例えば、居眠り脇見運転の検出等)を行う際に利用可能な画像を撮像することができる。また、撮像部14fは、車両10の車室内の例えば、ルームミラー10eの背面(車両前方面)の一部に車両前方方向を撮像可能な姿勢で設けられ、例えば、車両前方や前走車等を認識するための画像を撮像可能である。例えば、予め設定した車速内で車両10を自動的に加減速させたり、前走車との車間距離を適切に維持しながら追従走行させたりする制御を行う際に利用可能な画像を撮像することができる。

0015

図2は、車両10に搭載される汚れ報知装置を含む汚れ報知処理システム100の構成の例示的なブロック図である。車両10の車室内には、表示装置16や、音声出力装置18が設けられている。表示装置16は、例えば、LCD(liquid crystal display)や、OELD(organic electroluminescent display)等である。音声出力装置18は、例えば、スピーカである。また、表示装置16は、例えば、タッチパネル等、透明な操作入力部20で覆われている。乗員(例えば、運転者)は、操作入力部20を介して表示装置16の表示画面に表示される画像を視認することができる。また、乗員は、表示装置16の表示画面に表示される画像に対応した位置で、手指等で操作入力部20を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置16や、音声出力装置18、操作入力部20等は、例えば、車両10のダッシュボードの車幅方向すなわち左右方向の中央部に位置されたモニタ装置22に設けられている。モニタ装置22は、スイッチや、ダイヤルジョイスティック、押しボタン等の不図示の操作入力部を有することができる。モニタ装置22は、例えば、ナビゲーションシステムオーディオシステムと兼用されうる。

0016

また、図2に例示されるように、汚れ報知処理システム100(汚れ報知装置)は、撮像部14(14a〜14f)やモニタ装置22に加え、ECU24(electronic control unit)が含まれる。汚れ報知処理システム100では、ECU24やモニタ装置22は、電気通信回線としての車内ネットワーク26を介して電気的に接続されている。車内ネットワーク26は、例えば、CAN(controller area network)として構成されている。ECU24は、車内ネットワーク26を通じて制御信号を送ることで、各種システムの制御が実行できる。また、ECU24は、車内ネットワーク26を介して、操作入力部20や各種スイッチの操作信号等や図示を省略している各種センサ検出信号等を、受け取ることができる。

0017

ECU24は、撮像部14から取得した撮像画像データに基づいて生成した周辺画像等や音声に関するデータをモニタ装置22へ送信する。ECU24は、例えば、CPU24a(central processing unit)や、ROM24b(read only memory)、RAM24c(random access memory)、表示制御部24d、音声制御部24e、SSD24f(solid state drive、フラッシュメモリ)等を有している。

0018

CPU24aは、ROM24b等の不揮発性記憶装置に記憶された(インストールされた)プログラム読み出し、当該プログラムに従って演算処理を実行する。ROM24bは、各プログラム及びプログラムの実行に必要なパラメータ等を記憶する。CPU24aは、例えば、図3に示すような各種モジュールを備え、撮像部14の汚れ検出処理や表示装置16で表示される画像に関連した処理を実行する。例えば、CPU24aは、撮像部14が撮像した撮像画像データに演算処理、画像処理等を実行して、撮像部14ごとのの撮像面の汚れの有無を検出したり、撮像画像データに補正処理や演算処理、画像処理等を実行したりして、複数の画像を繋ぎ合わせた周辺画像(例えば、俯瞰画像)を生成する。CPU24aの詳細は後述する。

0019

RAM24cは、CPU24aでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部24dは、ECU24での演算処理のうち、主として、表示装置16で表示される画像データの合成等を実行する。また、音声制御部24eは、ECU24での演算処理のうち、主として、音声出力装置18で出力される音声データの処理を実行する。SSD24fは、書き換え可能な不揮発性の記憶部であって、ECU24の電源オフされた場合にあってもデータを記憶することができる。なお、CPU24aや、ROM24b、RAM24c等は、同一パッケージ内に集積されうる。また、ECU24は、CPU24aに替えて、DSP(digital signal processor)等の他の論理演算プロセッサ論理回路等が用いられる構成であってもよい。また、SSD24fに替えてHDD(hard disk drive)が設けられてもよいし、SSD24fやHDDは、ECU24とは別に設けられてもよい。

0020

本実施形態では、ECU24は、ハードウェアソフトウェア制御プログラム)が協働することにより、撮像部14ごとの汚れ検出処理およびその結果に基づき表示装置16に表示する画像の画像生成処理を司る。ECU24は、車両10が走行中に撮像部14が時系列所定時間間隔を空けて撮像した複数の撮像画像データ(画像)ごとに画像処理、例えば、周知の差分検出処理を施し、画像上で不動の要素を検出する。例えば、走行中の車両10に搭載された撮像部14aで撮像した画像は、時々刻々と画像内容が変化する。しかしながら、仮に、撮像面(例えばレンズ)にはね等の汚れが付着していた場合、その汚れ部分は、時系列で撮像された撮像画像データ(画像)上で同じ位置にと止まる。一方、汚れのない部分は、時々刻々と表示内容が変化する。したがって、所定時間(例えば、1秒等)間隔を空けた少なくとも二つの画像の差分を取ることにより、表示内容の変化がない部分(画像に写り込んでいる車体部分を除く部分)を汚れ部分として特定することができる。

0021

また、他の汚れ検出技術としては、例えば、周知の空間周波数を用いた検出が知られている。撮像部14が撮像した画像ごとにFFTフーリエ変換)処理を施し、周波数領域の表示に直す。この場合、撮像部14の撮像面(例えばレンズ)が汚れていると光がぼけるので、画像に写り込んでいる物体のエッジがぼける。つまり、高域周波数部分減衰する(無くなる)。このような現象が生じている場合、撮像面に汚れが存在すると判定することができる。この場合、撮像部14が撮像した一つの画像で汚れの検出が可能であり、車両10が停車している場合や極低速で撮像された画像を用いても汚れ検出が可能になる。また、撮像部14eの場合、主として車室内を撮像するので、汚れ部分と同様にシートピラーなど、位置が変化しない物体が画像内に写り込むが、画像の周波数を解析することにより汚れ検出が可能になる。なお、汚れ検出は、これらの技術に限定されず、周知の技術が利用可能である。

0022

図3は、ECU24に含まれるCPU24aの構成の例示的なブロック図である。CPU24aは、上述したような汚れ検出処理と汚れの通知(警報)処理を実行するための各種モジュールを備える。各種モジュールは、CPU24aがROM24b等の記憶装置にインストールされ記憶されたプログラムを読み出し、それを実行することで実現される。例えば、CPU24aは、図3に示されるように、画像取得部28、汚れ検出部30、画像変換部32、警報出力部34等のモジュールを備える。また、警報出力部34は、指標重畳部34a、表示態様変更部34b等を含む。

0023

画像取得部28は、各撮像部14が撮像した画像を表示制御部24dを介して取得する。本実施形態の場合は、例えば、各撮像部14は、撮像した撮像画像データに撮像部14ごとの識別符号を添付して画像取得部28に出力してもよいし、画像取得部28側で取得した撮像画像データごとに出力元を識別する識別符号を添付するようにしてもよい。画像取得部28は、取得した画像を汚れ検出部30や画像変換部32に提供する。なお、撮像部14が撮像した撮像に歪み補正等の画像処理を施して表示する場合や、画像処理を施さずに表示する場合、それらの画像に他のデータを重畳表示する場合等は、その処理を表示制御部24dで行い、表示装置16で表示させるようにしてもよい。

0024

汚れ検出部30は、画像取得部28から各撮像部14の画像を取得すると、撮像部14ごとに汚れ検出を実行する。汚れ検出は、上述したように、撮像部14が時系列で所定時間間隔を空けて撮像した複数の画像に、例えば、差分検出処理を施すことによって検出してもよいし、撮像部14が撮像した一つの画像にFFT処理を施すことによって検出してもよい。なお、汚れ検出を実行するときの車両10の車速が所定値(例えば、30km/h)以上の場合、汚れ検出部30は、撮像部14a〜撮像部14dに対しては、十分な差分画像が取得できると見なし、例えば差分検出処理を適用する。一方、車両10の車速が所定値未満の場合、汚れ検出部30は、撮像部14a〜撮像部14dに対して、十分な差分画像が取得できない場合があると見なし、FFT処理を適用する。また、汚れ検出部30は、撮像部14e、撮像部14fについては、上述したように、車室内の物品や前走車が不動体と認識されて汚れ部分と誤認識される可能性があるため、FFT処理を適用する。なお、汚れ検出部30は、車速が所定値以上の場合に、FFT処理を撮像部14a〜撮像部14dで撮像した画像に適用してもよい。また、差分検出処理とFFT処理の両方を適用してもよい。この場合、例えば検出精度の向上に寄与できる。

0025

画像変換部32は、画像取得部28が取得した各撮像部14の画像に対して、例えば、視点変換処理を施して、車両10を中心とする俯瞰画像を生成する。図4は、汚れ報知を行う場合に表示装置16に表示される画面36の模式的な表示例である。通常の表示状態において、表示装置16の画面36には、通常画面38が例えば画面36の表示領域の全域を利用して表示されている。通常画面38として、例えばナビゲーション画面オーディオ画面である。また、通常画面38として、撮像部14で撮像された車両10の周囲画像等が表示される場合がある。例えば、車両10の走行状態に応じて、自動的に車両10の周辺画像が表示される。例えば、後退走行時には、撮像部14bで撮像された車両10の後方画像が表示される。また、運転者の操作により前方画像や側方画像を表示することもできる。

0026

そして、汚れ検出部30により撮像部14の撮像面(例えば、レンズ)の汚れが検出された場合、撮像部14の設置位置を容易に運転者等に認識させることができる、画像変換部32が生成した俯瞰画像40が表示される。図4は、汚れ警報を行うための俯瞰画像40が表示される場合であり、通常画面38の表示領域が縮小され、俯瞰画像40が並んで表示される例を示している。この場合、通常画面38の表示内容を維持した状態で、撮像部14の汚れ警報を行うことができる。別の実施形態では、通常画面38を一旦非表示として俯瞰画像40を画面36の全表示領域を用いて表示するようにしてもよい。この場合、運転者の警報認識性を向上させることができる。

0027

画像変換部32は、前述したように、撮像部14a〜撮像部14dが撮像した画像にブレンド処理を施すことにより、隣接する二つの画像を繋ぎ合わせる場合に、画像間で明るさや色調の違いによる境界線が形成することを防止している。その一方で、本実施形態の場合、撮像部14a〜撮像部14dに対応する撮像領域42a〜42dを明確にするために、境界線42eを表示している。したがって、隣接する画像の明るさや色調の繋がり具合を滑らかにし、違和感が生じない画像とするとともに、汚れが存在する場合には、汚れが存在する撮像領域42a〜42dが明確に識別できるようにしている。なお、各撮像部14が撮像した画像には、車両10の一部しか写っていないため、画像変換部32が生成する俯瞰画像40には、車両10を俯瞰視した自車アイコン10Aを、例えばROM24bから読み出して表示する。

0028

警報出力部34は、汚れ検出部30により撮像部14の撮像面(例えばレンズ)の汚れが検出された場合、汚れが検出された撮像部14を認識(特定)可能なように画像変換部32が生成した俯瞰画像40上に警報を出力する。例えば、指標重畳部34aは、汚れ警報を行うための指標として、撮像部14を示すカメラアイコン44と、その撮像部14は汚れが原因で本来の性能を発揮できないことを示す汚れマーク46を自車アイコン10A上の汚れが検出された撮像部14に対応する位置に重畳表示する。この場合、カメラアイコン44と汚れマーク46とで汚れ報知(汚れ情報)を表示している。図4の場合、車両10の前方を撮像する撮像部14aが汚れている場合を例示している。また、図4の場合、汚れマーク46の一例として、例えば、「×」マークを示しているが、汚れが検出された撮像部14が強調できればよく、他のマークでもよいし、汚れマーク46を省略してカメラアイコン44を赤色表示させたり、点滅表示させたりしてもよい。同様に、後方の撮像部14bや側方の撮像部14c(撮像部14d)に汚れが検出された場合には、同様なカメラアイコン44や汚れマーク46が自車アイコン10Aの対応する部分に重畳表示される。

0029

このように、汚れが検出された撮像部14の設置位置を視覚的に容易に認識できるように表示することにより、汚れに対する対応を適切なタイミングで迅速に行わせることができる。なお、この場合、通常画面38に汚れが検出された撮像部14の画像を用いた実画像が表示されていた場合、その実画像を非表示として、その実画像の精度(信頼性)が低下していることを運転者に認識させやすくしてもよい。また別の実施形態では、通常画面38として、汚れが検出された撮像部14の画像を用いた実画像(汚れ付き)を継続して表示させてもよい。この場合、俯瞰画像40で出力されている警報が撮像部14の故障ではなく、汚れに起因するものであることを容易に運転者に認識させることができる。なお、俯瞰画像40で汚れ警報を視覚化して出力することに加え、音声等で例えば「前方撮像部が汚れています。クリーニングしてください。」等のメッセージを音声出力装置18を用いて出力してもよい。

0030

図5は、汚れ報知を行う場合に表示装置16に表示される画面36の模式的な別の表示例である。警報出力部34の表示態様変更部34bは、汚れ検出部30により車両10の撮像面(例えばレンズ)の汚れが検出された場合、汚れが検出された撮像部14を認識(特定)可能なように、汚れが検出された撮像部14の撮像領域42a〜42d(画像)の表示態様を変更する。例えば、図5に模式的に示すように、俯瞰画像40において汚れが検出された撮像部14の撮像領域42a(例えば前方領域)をスモーク表示48に変更する。この場合、スモーク表示48は、汚れが検出された撮像部14の撮像領域42aの全域に対して施すため、汚れが検出された撮像部14の特定およびその認識を容易に運転者にさせることができる。また、通常画面38に汚れが検出された撮像部14の画像を用いた実画像が表示されていた場合、その実画像を非表示として、その実画像の精度(信頼性)が低下していることを運転者に認識させやすくしてもよい。また別の実施形態では、通常画面38として、汚れが検出された撮像部14の画像を用いた実画像(汚れ付き)を継続して表示させてもよい。この場合、通常画面38もスモーク表示48にしてもよい。その結果、俯瞰画像40で出力されている警報が撮像部14の故障ではなく、汚れに起因するものであることを容易に運転者に認識させることができる。

0031

なお、汚れが検出された撮像部14の撮像領域の表示態様の変更は、スモーク表示48のみならず、表示態様変更部34bは、例えば、他の汚れが非検出の表示領域と輝度を異ならせてもよい。例えば、輝度を高くしたり、輝度を低くしたりしてもよい。また、表示態様変更部34bは、汚れが検出された撮像部14の撮像領域の表示色を、例えば、「赤色」や「黄色」等注意喚起しやすい色調に変化させてもよい。この場合も撮像部14で撮像された画像はそのまま表示することができるので、撮像部14の故障ではなく、汚れ警報であることを運転者に認識させやすくすることができる。なお、表示態様変更部34bによる表示態様の変更は、汚れの程度(汚れ面積の大きさ等)に応じて、段階的に変化させてもよい。例えば、軽度の汚れの場合の表示色を「黄色」、中程度の汚れの場合の表示色を「オレンジ色」、強度の汚れの場合の表示色を「赤色」等に変化させてもよい。この場合、汚れ程度に応じた対処方法を運転者に選択させ易くなる。

0032

上述の説明では、カメラアイコン44および汚れマーク46を用いた警報例と、スモーク表示48等を用いた警報例を示したが、カメラアイコン44と汚れマーク46の少なくとも一方とスモーク表示48とを組み合わせた警報を行ってもよい。この場合、より認識性の高い警報を運転者に提供することができる。また、図4の例では、自車アイコン10Aを中心とする俯瞰画像40上に、カメラアイコン44および汚れマーク46を重畳表示する例を示したが、画面36上に自車アイコン10Aのみを表示し、カメラアイコン44や汚れマーク46を自車アイコン10A上で汚れ検出された撮像部14に対応する部分に重畳するようにしてもよい。この場合、汚れ警報を出力するために使用する画面36の表示領域を縮小することが可能である。その結果、通常画面38を同時に表示する場合でも通常画面38の縮小が抑制可能となり、通常画面38の視認性の低下が防止できる。なお、この場合、自車アイコン10Aは、汚れを検出した場合のみならず、画面36に常時表示するようにしてもよい。また、自車アイコン10AをLED等で構成するインジケータ等で表示してもよい。同様に、カメラアイコン44や汚れマーク46もLED等を用いて表示可能である。この場合、汚れ警報に関するCPU24aの構成のうち、画像変換部32が省略可能であり、また、警報出力部34も汚れに対応する撮像部14等を示すLEDを点灯させる構成にすることが可能で、CPU24aで実現するモジュールの簡略化に寄与できる。

0033

ところで、車両10において、撮像部14が撮像した画像に基づく制御は種々行われる。例えば、駐車支援を行う場合には、撮像部14が撮像した画像に基づき、駐車目標位置やその駐車目標位置に誘導するための誘導経路の算出を行う。この場合、撮像部14の撮像面に汚れが付着している場合、駐車目標位置や誘導経路の算出精度が低下する場合があり、駐車支援制御中止される場合がある。このような場合、図4図5に示すように、汚れ警報を出力することにより、制御が中止された原因が撮像部14の撮像面の汚れであることを運転者等に認識させやすく、制御の中止に対する対応を迅速に行わせたり、制御中止に対する不安感を解消させやすくしたりすることが容易にできる。

0034

また、撮像部14eが撮像する画像は、前述したように、運転者や他の乗員の有無の検出や、運転者の居眠りや脇見運転等の車内状況の検出に利用可能であるが、埃や指紋等による汚れによって、それらの検出精度が低下し検出エラーとなる場合がある。この場合も、俯瞰画像40上で汚れ警報を行うことにより、車内状況の検出エラーが撮像部14eの撮像面の汚れが原因であることを容易に表示可能である。その結果、車内状況の検出精度の低下を迅速に解消することが可能になり、適切な検出精度の維持が容易にできる。また、ルームミラー10eの背面側に配置される撮像部14fの場合、埃や指紋に加え、フロントウインドウの汚れ等が原因になる場合がある。このような場合も同様に前走車等の検出エラーが撮像部14fの撮像面の汚れが原因であることを容易に表示可能である。その結果、車両前方の検出精度の低下を迅速に解消することが可能になり、適切な検出精度の維持が容易にできる。

0035

このように、汚れが原因で、撮像部14の撮像した画像を用いた制御の精度が低下したり、検出エラーが出されたりする場合、例えば、画面36の一部(通常画面38や俯瞰画像40)に、精度低下や検出エラーの原因が、撮像面の汚れであることを示すメッセージを併せて表示するようにしてもよい。この場合、システムエラーと撮像面の汚れの関係をより明確に運転者に認識させることができる。

0036

本実施形態のCPU24aで実行される汚れ報知処理のためのプログラムは、インストール可能な形式又は実行可能な形式のファイルCD−ROMフレキシブルディスクFD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータ読み取り可能な記録媒体に記録して提供するように構成してもよい。

0037

さらに、汚れ報知処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態で実行される汚れ報知処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

0038

本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

0039

10…車両、10A…自車アイコン、14,14a,14b,14c,14d,14e,14f…撮像部、16…表示装置、24…ECU、24a…CPU、28…画像取得部、30…汚れ検出部、32…画像変換部、34…警報出力部、34a…指標重畳部、34b…表示態様変更部、100…汚れ報知処理システム。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 川口豊の「 車両」が 公開されました。( 2020/02/13)

    【課題】表示手段に表示される画像を運転者が確認しやすい車両を提供する。【解決手段】フロントガラスが設けられていない無窓化された車体3を備えている。この車体3に、運転の際における少なくとも前方視界に相当... 詳細

  • ソニーセミコンダクタソリューションズ株式会社の「 固体撮像装置および電子機器」が 公開されました。( 2020/02/13)

    【課題】イメージセンサのチップ内でより複雑な処理を実行することを課題とする。【解決手段】固体撮像装置は、画像データを取得する撮像部と、画像データを取得する撮像部と、前記撮像部から取得される画像データに... 詳細

  • ソニー・オリンパスメディカルソリューションズ株式会社の「 医療用観察装置」が 公開されました。( 2020/02/13)

    【課題】医療用観察装置の使用者の利便性の向上を図ることが可能な、医療用観察装置を提供する。【解決手段】観察対象が撮像された右目用の医療用撮像画像を撮像する第1の撮像デバイスと、観察対象が撮像された左目... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ