図面 (/)

技術 異常画像検出装置、異常画像検出装置を備えた画像処理システムおよび画像処理システムを搭載した車両

出願人 ヤマハ発動機株式会社
発明者 赤坂貴志
出願日 2016年6月28日 (4年4ヶ月経過) 出願番号 2016-127534
公開日 2017年9月14日 (3年2ヶ月経過) 公開番号 2017-161491
状態 特許登録済
技術分野 画像処理 イメージ分析 光学的手段による測長装置 光学的距離測定
主要キーワード 電気的故障 奥行距離 上下配置 テスト走行 各画像センサ 自律走行制御 固有特性 自立走行
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年9月14日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (17)

課題

複数の撮像部の内のいずれか1の撮像部で実質的に異なるシーンの画像が撮像された場合に、信頼度の低い画素総数に基づいて異常画像を検出することができる、異常画像検出装置を提供する。

解決手段

異常画像検出装置2は、視差画像の画素が低信頼度であるか否かを判定する信頼度判定部24と、信頼度判定部24によって判定された低信頼度の画素の総数を算出する算出部25と、算出部25で得られた低信頼度の画素の総数が、所定値を超えた場合に、視差画像が異常であると判断する異常判断部26とを有する。信頼度判定部24は、原画像の各画素のエッジ強度が少なくとも閾値よりも小さいまたは同じである場合に、当該画素から作成される視差画像中の画素を低信頼度の画素であると判定するエッジ強度判定部241を有する。

概要

背景

複数の撮像部を用いて写した画像から作成した視差画像に基づいて被写体までの距離を求めることができるステレオカメラを搭載した車両が提案されている。

車両に搭載されるステレオカメラの異常原因として、例えば、ステレオカメラ自体の故障(例えば、光学的、機械的、電気的故障)の他に、逆光暗闇などの明暗の激しい条件で写した画像に基づいて作成した視差画像を用いたことで奥行距離を正確に算出できない等が挙げられる。

逆光や暗闇などの明暗の激しい条件に影響されることなく、ステレオカメラの異常状態判別可能異常診断装置が提案されている(例えば、特許文献1参照)。

概要

複数の撮像部の内のいずれか1の撮像部で実質的に異なるシーンの画像が撮像された場合に、信頼度の低い画素総数に基づいて異常画像を検出することができる、異常画像検出装置を提供する。異常画像検出装置2は、視差画像の画素が低信頼度であるか否かを判定する信頼度判定部24と、信頼度判定部24によって判定された低信頼度の画素の総数を算出する算出部25と、算出部25で得られた低信頼度の画素の総数が、所定値を超えた場合に、視差画像が異常であると判断する異常判断部26とを有する。信頼度判定部24は、原画像の各画素のエッジ強度が少なくとも閾値よりも小さいまたは同じである場合に、当該画素から作成される視差画像中の画素を低信頼度の画素であると判定するエッジ強度判定部241を有する。

目的

本発明は、複数の撮像部の内のいずれか1の撮像部で他の撮像部と実質的に異なるシーンの画像が撮像された場合に、信頼度の低い画素の総数に基づいて異常画像を検出することができる異常画像検出装置を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

複数の撮像部から得られ、かつ視差画像の作成に用いられる複数の原画像の内少なくとも1の原画像が異常であることを検出する異常画像検出装置であって、前記視差画像の画素低信頼度であるか否かを判定する信頼度判定部と、前記信頼度判定部によって判定された低信頼度の画素の総数を算出する算出部と、前記算出部で算出された低信頼度の画素の総数が、所定値を超えた場合に、前記視差画像が異常であると判断する異常判断部と、を有し、前記信頼度判定部は、前記原画像の各画素のエッジ強度が少なくとも閾値よりも小さいまたは同じである場合に、当該画素に基づいて作成される視差画像中の画素を低信頼度の画素であると判定するエッジ強度判定部を有する、異常画像検出装置。

請求項2

前記信頼度判定部は、前記視差画像各画素の視差値所定範囲内でない場合に、当該画素が低信頼度であると判定する視差値判定部を有する、請求項1に記載の異常画像検出装置。

請求項3

前記視差画像は、前記複数の原画像の内、第1原画像(A)を基準に作成される第1視差画像(Ab)と、第2原画像(B)を基準に作成される第2視差画像(Ba)を少なくとも含み、前記信頼度判定部は、前記第1視差画像(Ab)の第1画素(pA)の第1視差値(d1)と、当該第1画素(pA)に対応する前記第2視差画像(Ba)の第2画素(pB)の第2視差値(d2)との差(d1−d2)が所定範囲内にない場合に、当該第1画素(pA)が低信頼度であると判定する視差値差判定部を有する、請求項1または2に記載の異常画像検出装置。

請求項4

複数の撮像部と、当該撮像部から得られた複数の原画像に基づいて視差画像を作成する視差画像作成部と、当該視差画像作成部で作成された視差画像に基づいて奥行距離を算出する距離算出部を有する画像処理システムであって、請求項1〜3のいずれか1項に記載の異常画像検出装置と、前記異常画像検出装置が原画像の異常を検出した場合に、異常情報を出力する出力部と、備える画像処理システム。

請求項5

前記距離算出部は、異常が検出された視差画像以外の視差画像に基づいて奥行距離を算出する請求項4に記載の画像処理システム。

請求項6

前記距離算出部は、前記視差画像作成部で作成された視差画像において、低信頼度の画素を除いた視差画像に基づいて奥行距離を算出する、請求項4に記載の画像処理システム。

請求項7

請求項4〜6のいずれか1項に記載の画像処理システムを搭載する車両。

請求項8

前記車両は、撮像部の撮像方向前方フロントウインドを備え、前記フロントウインドにワイパー具備していない、請求項7に記載の車両。

技術分野

0001

本発明は、視差画像および視差画像作成に係る原画像の異常を検出する異常画像検出装置、異常画像検出装置を備えた画像処理システムおよび画像処理システムを搭載した車両に関する。

背景技術

0002

複数の撮像部を用いて写した画像から作成した視差画像に基づいて被写体までの距離を求めることができるステレオカメラを搭載した車両が提案されている。

0003

車両に搭載されるステレオカメラの異常原因として、例えば、ステレオカメラ自体の故障(例えば、光学的、機械的、電気的故障)の他に、逆光暗闇などの明暗の激しい条件で写した画像に基づいて作成した視差画像を用いたことで奥行距離を正確に算出できない等が挙げられる。

0004

逆光や暗闇などの明暗の激しい条件に影響されることなく、ステレオカメラの異常状態判別可能異常診断装置が提案されている(例えば、特許文献1参照)。

先行技術

0005

特開2014−6243号公報

発明が解決しようとする課題

0006

しかしながら、車両に搭載されるステレオカメラでは、左右のカメラで実質的に異なるシーンの画像が撮像される場合がある。例えば、いずれか一方のカメラにのみゴミ等が付着された状態で撮像した場合には、テクスチャが小さくなるためステレオマッチングをしても正しい視差値(視差画像)が得られない。また、ごみ等が付着する以外に、左右のカメラで異なるシーンを撮像する場合があり得る。

0007

上記特許文献1の異常診断装置において、視差画像データの異常判断は、視差値分布や視差値分布の変化量(Nフレーム画像の視差値画像とN+1フレーム画像の視差値画像との変化量)から判別している。具体的な判断方法は以下の(1)〜(4)であって、(1)視差が検出されないかを判断し、(2)最大視差値以上の視差があるかを判断し、(3)視差値のピーク数閾値以上あるかを判断し、(4)前のフレームと視差値分布の類似度が低いかを判断する。しかしながら、これら(1)〜(4)の判断方法は、上述の「一方のカメラにのみごみ等が付着した条件」で撮像した画像に係る視差画像データが異常であるか否かを判断することは難しく、すべての判断結果が「NO」となり、視差画像データが正常であると判断される場合がある。

0008

本発明は、複数の撮像部の内のいずれか1の撮像部で他の撮像部と実質的に異なるシーンの画像が撮像された場合に、信頼度の低い画素総数に基づいて異常画像を検出することができる異常画像検出装置を提供することを目的とする。また、上記異常画像検出装置を備えた画像処理システムを提供することを目的とする。また、上記画像処理システムを搭載した車両を提供することを目的とする。

課題を解決するための手段

0009

本発明は、複数の撮像部から得られ、かつ視差画像の作成に用いられる複数の原画像の内少なくとも1の原画像が異常であることを検出する異常画像検出装置であって、
前記視差画像の画素が低信頼度であるか否かを判定する信頼度判定部と、
前記信頼度判定部によって判定された低信頼度の画素の総数を算出する算出部と、
前記算出部で算出された低信頼度の画素の総数が、所定値を超えた場合に、前記視差画像が異常であると判断する異常判断部と、を有し、
前記信頼度判定部は、
前記原画像の各画素のエッジ強度が少なくとも閾値よりも小さいまたは同じである場合に、当該画素に基づいて作成される視差画像中の画素を低信頼度の画素であると判定するエッジ強度判定部を有する。

0010

上記構成において、信頼度判定部は、視差画像作成に係る原画像の画素を用いて視差画像の画素の信頼度を判定する。エッジが弱い画素を信頼度の低い画素(低信頼度の画素)とし、その画素の総数が所定値を超えた場合に視差画像が異常であると判断する。これによって、複数の撮像部の内のいずれか1の撮像部で他の撮像部と実質的に異なるシーンの画像(原画像)が撮像された場合でも、異常な視差画像を精度よく検出することができる。低信頼度の画素をそのまま用いた視差画像から奥行距離を算出すると精度が悪くなるため、障害物検出精度が低下する。
前記エッジ強度判定部は、原画像の各画素のそれぞれについてエッジ強度を判定してもよい。エッジ強度が閾値よりも小さいまたは同じであると判定された画素(原画素の画素)に対応した視差画像中の画素が低信頼度の画素であると判定される。

0011

原画像の各画素のエッジ強度を判定する場合に、各画素は、原画像の全領域の画素、一部の領域の画素、全領域から端領域を除いた中心側領域の画素などが挙げられる。端領域は、複数の撮像部で互いに撮像エリアが異なるため予め除外することが好ましい。

0012

ここで「エッジ強度が少なくとも閾値より小さいまたは同じ」における「閾値」は、予め設定された値であり、例えば、経験的、実験的に求めた値を採用できる。例えば、テスト走行中に撮像した画像または視差画像のエッジ強度を求め、その平均値最大値最小値標準偏差指標から閾値を設定することができる。

0013

上記発明の一実施形態として、前記信頼度判定部は、前記視差画像各画素の視差値が所定範囲内でない場合に、当該画素が低信頼度であると判定する視差値判定部を有する。

0014

この構成によれば、エッジ強度判定に加え、視差値が所定範囲内でない画素を低信頼度の画素とし、その画素の総数が所定値を超えた場合に視差画像が異常であると判断できる。エッジ強度判定で異常検出できなかった場合でも、この視差値判定で異常な視差画像を判定することが可能になる。エッジ強度判定と視差値判定を含むことで、視差画像の異常判定をより確実に行える。

0015

視差画像の各画素の視差値を判定する場合に、各画素は、視差画像の全領域の画素、一部の領域の画素、全領域から端領域を除いた中心側領域の画素などが挙げられる。端領域は、複数の撮像部で互いに撮像エリアが異なるため予め除外することが好ましい。

0016

ここで「視差値が所定範囲内」における「所定範囲」は、予め設定された値であり、例えば、経験的、実験的に求めた値を採用する。所定範囲は、上限と下限の閾値とで構成されるが、いずれか一方だけでもよい。

0017

上記発明の一実施形態として、前記視差画像は、前記複数の原画像の内、第1原画像(A)を基準に作成される第1視差画像(Ab)と、第2原画像(B)を基準に作成される第2視差画像(Ba)を少なくとも含み、
前記信頼度判定部は、前記第1視差画像(Ab)の第1画素(pA)の第1視差値(d1)と、当該第1画素(pA)に対応する前記第2視差画像(Ba)の第2画素(pB)の第2視差値(d2)との差(d1−d2)が所定範囲内にない場合に、当該第1画素(pA)が低信頼度であると判定する視差値差判定部を有する。

0018

この構成によれば、エッジ強度判定または、エッジ強度判定および視差値判定に加え、第1、第2視差値との差(d1−d2)が所定範囲内にない画素を低信頼度の画素とし、その画素の総数が所定値を超えた場合に視差画像が異常であると判断できる。エッジ強度判定または視差値判定で異常検出できなかった場合でも、この視差値差判定で異常な視差画像を判定することが可能になる。エッジ強度判定、視差値判定および視差値差判定を含むことで、視差画像の異常判定をさらに確実に行える。例えば、第1原画像(A)が左原画像で、第2原画像(B)が右原画像でもよい。

0019

第1画素(pA)は、第1視差画像(Ab)の全領域の各画素、一部の領域の各画素、全領域から端領域を除いた中心側領域の各画素などが挙げられる。端領域は、複数の撮像部で互いに撮像エリアが異なるため予め除外することが好ましい。

0020

ここで「差(d1−d2)が所定範囲内」における「所定範囲」は、予め設定された値であり、例えば、経験的、実験的に求めた値を採用する。所定範囲は、上限と下限の閾値とで構成されるが、いずれか一方だけでもよく、例えば上限の閾値のみでもよい。

0021

上記発明の一実施形態として、前記複数の撮像部は、例えば、左右配置の撮像部からなるステレオカメラ、上下配置の撮像部からなるステレオカメラ、正三角形頂点に配置された3つの撮像部からなるステレオカメラ、3つ以上の撮像部を有するステレオカメラが挙げられる。

0022

上記発明の一実施形態として、異常画像検出装置は、前記原画像、前記原画像にエッジ強調処理を施したエッジ強調画像および前記視差画像から選択される1以上のデータを保存する記憶部をさらに有する。記憶部は、テンポラリー記憶部であってもよい。

0023

上記発明の一実施形態として、異常画像検出装置は、前記原画像、前記原画像にエッジ強調処理を施したエッジ強調画像および前記視差画像から選択される1以上のデータを外部装置から取得する取得部をさらに有する。取得部は、例えば、通信手段(無線有線)、記憶媒体の読取手段が挙げられる。

0024

また、他の本発明は、複数の撮像部と、当該撮像部から得られた複数の原画像に基づいて視差画像を作成する視差画像作成部と、当該視差画像作成部で作成された視差画像に基づいて奥行距離を算出する距離算出部を有する画像処理システムであって、上記に記載の異常画像検出装置と、前記異常画像検出装置が視差画像の異常を検出した場合に、異常情報を出力する出力部とを備える。また、一実施形態として、画像処理システムは、前記複数の原画像を補正処理する画像補正部をさらに有する。補正処理としては、例えばエッジを強調するエッジ強調処理が挙げられる。
また、一実施形態として、前記距離算出部は、前記視差画像作成部で作成された視差画像において、低信頼度の画素を除いた視差画像に基づいて奥行距離を算出してもよい。低信頼度の画素は、前記信頼度判定部で低信頼度であると判定された画素である。
また、一実施形態として、前記距離算出部は、異常が検出された視差画像以外の視差画像に基づいて奥行距離を算出してもよい。
また、一実施形態として、前記距離算出部は、異常が検出された視差画像を用いて奥行距離を算出する場合、低信頼度の画素を除いた視差画像を使用してもよい。

0025

また、他の本発明は、上記画像処理システムを搭載する車両である。一実施形態として、前記車両は、撮像部の撮像方向前方フロントウインドを備え、前記フロントウインドにワイパー具備していない構成がある。

発明の効果

0026

本発明によれば、複数の撮像部の内のいずれか1の撮像部で他の撮像部と実質的に異なるシーンの画像が撮像された場合に、信頼度の低い画素の総数に基づいて異常画像を検出することができる異常画像検出装置を提供することができる。また、この異常画像検出装置を備えた画像処理システムを提供することができる。また、この画像処理システムを搭載した車両を提供することができる。

図面の簡単な説明

0027

実施形態1に係る車両の前面図である。
実施形態1に係る車両の機能ブロック図である。
実施形態1に係る画像処理システムの機能ブロック図である。
実施形態1に係る異常画像検出装置の機能ブロック図である。
左原画像および右原画像の一例である。
図4の原画像を用いて作成された視差画像の一例である。
エッジ強度判定部の信頼度判定のフローチャートである。
視差値判定部の信頼度判定のフローチャートである。
視差値差判定部の信頼度判定のフローチャートである。
視差値差を求めるための説明図である。
図4の左原画像をエッジ強調した画像の一例である。
ごみが付着していない状態の原画像の一例である。
図11の原画像を用いて作成された視差画像の一例である。
図12の視差画像の視差分布を示す図である。
図5の視差画像の視差分布を示す図である。
実施形態2に係る異常画像検出装置の機能ブロック図である。

0028

(実施形態1)
実施形態1に係る異常画像検出装置を備える車両について、図面を参照しながら説明する。以下の説明において、車両として自律走行するゴルフカートを例に説明するが、ゴルフカートに制限されない。「前後」および「左右」は、車両の前進する方向を基準とする。本実施形態では、実質的に異なるシーンの画像として、ごみが付着した状態の画像を用いるが、これに制限されず、他の実質的に異なるシーンの画像でもよい。

0029

(車両の概略構成
図1Aに示す車両1は、ゴルフ場内を自動または手動走行するゴルフカートである。車両1は、走路に埋め込まれた誘導線から発せられる電磁波に誘導されて自律走行することができる。車両1には、撮像部51と、撮像部51から得られた複数の原画像に基づいて視差画像を作成する視差画像作成部52と、視差画像作成部52で作成された視差画像に基づいて奥行距離を算出する距離算出部53と、撮像部51から得られた複数の原画像に基づいて作成された視差画像および当該原画像の内少なくとも1の原画像が異常であるかを検出する異常画像検出装置2と、異常画像検出装置2が視差画像の異常を検出した場合に、異常情報を出力する出力部54を有する画像処理システム5を搭載している。また、画像処理システム5は、車両1が走行する走路上の障害物を検出する障害物検出装置55を有していてもよい。本実施形態1において、車両1は誘導線で誘導される自立走行可能な車両であるが、本発明はこれに制限されず、運転者による手動走行も可能であり、車両は誘導線のない走路も自由に走行可能である。

0030

また、図1Bに示す車両1には、車両1が誘導線に沿って自律走行するのを制御する自律走行制御部6と、障害物検出装置55が障害物を検出すると運転者および周囲に警告を発生する警告出力部7と、障害物の検出により減速または停止の制御をする走行速度制御部9と、車輪12を駆動し、走行速度制御部9により回転数が制御される駆動モータ11とが設けられている。本実施形態1において、車両1はモータで駆動されるがこれに限らず、エンジンにより駆動されてもよい。

0031

(画像処理システムの構成)
図2を参照しながら画像処理システム5を説明する。撮像部51は、車両1のフロントガラスの上中央部に設けられている。撮像部51は、左画像センサ511、右画像センサ512を有するステレオカメラである。別実施形態として、ステレオカメラは、2個以上の画像センサで構成されてもよい。左画像センサ511、右画像センサ512としては、例えば、可視光カメラが挙げられる。左画像センサ511および右画像センサ512は、それぞれ平行ステレオ位置関係で配置されている。本実施形態において特に明示しない限り、左画像センサ511を基準カメラとし、左画像センサ511で撮影された画像を基準画像とする。画像処理システム5は、マイクロプロセッサメモリを有し、各構成部の機能を実現する構成である。

0032

視差画像作成部52は、左画像センサ511で撮影された画像を左原画像として、右画像センサ512で撮影された画像を右原画像として視差画像を作成する。図4(a)は左原画像、図4(b)は右原画像の一例を示す。左原画像の中央部の黒塗りエリアwdは、左画像センサ511のレンズ前面にごみが付着している状態で撮像したことを意味している。

0033

視差画像作成部52は、左原画像を基準画像とした視差画像を作成する。視差画像は、全てのフレームについて作成されてもよく、任意のフレームを抽出して作成してもよいが、本実施形態では、所定間隔ごとのフレームを抽出して作成する。図5図4の左原画像、右原画像を用いて作成された視差画像である。また、視差画像作成部52は、視差値差判定部の信頼度判定で用いるために、右原画像を基準画像とした視差画像も作成する。視差画像は、例えばステレオマッチング等で作成することができる。ステレオマッチングとして面積相関法を用いる。面積相関法は、注目画素を中心に一定の大きさのウィンドウ単位で各画像の一致度を計算し、最も一致度が高くなるようにステレオマッチングする。さらに、一致度が最も高い状態における注目画素の視差を算出する。ここでの視差は複数画像間の画素のズレ量を示す。実施形態1において、視差は、基準画像である左原画像(または右原画像)に対する右原画像(左原画像)の画素のズレ量である。

0034

距離算出部53は、視差画像作成部52で作成された視差画像に基づいて奥行距離を算出する。距離算出部53は、正常の視差画像と異常の視差画像のいずれにおいても、低信頼度の画素を除いた視差画像を用いて奥行距離を算出する。すなわち、距離算出部53は、正常であると判断された視差画像に低信頼度の画素が含まれている場合には、その低信頼度の画素を除いた視差画像を用い、異常であると判断された視差画像においては低信頼度の画素を除いた視差画像を用いて奥行距離を算出する。低信頼度の画素を用いないことで、高精度の奥行距離を得られる。奥行距離は、障害物検出装置55、走行速度制御部9などに提供される。

0035

出力部54は、異常画像検出装置2が視差画像の異常を検出した場合に、異常情報を出力する。出力としては、例えば、異常である旨の情報を表示手段に表示、スピーカーに音または音声で出力、点灯手段で出力、異常である旨の情報を外部装置に送信するなどが挙げられる。

0036

(異常画像検出装置)
図3に示す異常画像検出装置2は、視差画像の画素が低信頼度であるか否かを判定する信頼度判定部24と、信頼度判定部24によって判定された低信頼度の画素の総数を算出する算出部25と、算出部25で得られた低信頼度の画素の総数が、所定値を超えた場合に、視差画像が異常であると判断する異常判断部26を有する。

0037

信頼度判定部24は、エッジ強度判定部241と視差値判定部242と視差値差判定部243を有する。各判定部の判定について以下に詳述する。

0038

エッジ強度判定部の判定方法について図6を参照しながら説明する。エッジ強度判定部241は、視差画像の第1領域w内の画素における左原画像および右原画像のそれぞれの画素のエッジ強度が閾値以下であるか否かを判定する。以下において、左原画像の画素に対する判定と、右原画像の画素に対する判定を並行して行う方法について説明する。図5に示す視差画像は、図4(a)に示す左原画像および図4(b)に示す右原画像をステレオマッチングして作成されている。エッジ強度判定部241は、視差画像の第1領域w内の画素p(u,v)における左原画像の画素のエッジ強度eL(u,v)を求める。同様にエッジ強度判定部241は、画素p(u,v)における右原画像の画素のエッジ強度eR(u,v)を求める(S1)。エッジ強度は一般的なエッジ検出で求めることができる。

0039

本実施形態では、第1領域w内の画素p(u,v)における左原画像の画素のエッジ強度eL(u,v)および右原画像の画素のエッジ強度eR(u,v)を求めているが、これに制限されず、別実施形態として、視差画像の領域wL内の画素pLにおける左原画像の画素のエッジ強度eLを求め、視差画像の領域wR(領域wLと異なる領域)内の画素pRにおける右原画像の画素のエッジ強度eRを求めてもよい。

0040

次いで、エッジ強度判定部241は、エッジ強度eLが閾値EL1以下であるか否かを求める。同様にエッジ強度判定部241は、エッジ強度eRが閾値ER1以下であるか否かを求める(S2)。ここで、閾値EL1と閾値ER1とは、同じ値でもよく、異なる値でもよい。

0041

エッジ強度eLが閾値EL1以下であった場合に、エッジ強度判定部241は、左原画像の画素が低信頼度の画素であると判定する。同様にエッジ強度eRが閾値ER1以下であった場合に、エッジ強度判定部241は、右原画像の画素が低信頼度の画素であると判定する(S3−1)。算出部25は、左原画像において低信頼度であると判定された画素の総数TL1をカウントする。同様に算出部25は、右原画像において低信頼度であると判定された画素の総数TR1をカウントする(S4)。

0042

一方、エッジ強度eLが閾値EL1以下でなかった場合に、エッジ強度判定部241は、左原画像の画素を低信頼度の画素ではなく高信頼度の画素であると判定する。同様に、エッジ強度eRが閾値ER1以下でなかった場合に、エッジ強度判定部241は、右原画像の画素を低信頼度の画素ではなく高信頼度の画素であると判定する(S3−2)。低信頼度の画素に判定されなかった画素を高信頼度の画素と称する。第1領域w内の画素における左原画像および右原画像の全ての画素に対しS2〜S4を繰り返す(S5)。

0043

次いで、異常判断部26は、低信頼度の画素の総数TL1が所定値QL1を超えるか否かを判定する。同様に異常判断部26は、総数TR1が所定値QR1を超えるか否かを判定する(S6)。所定値QL1、QR1は予め設定されている。所定値QL1と所定値QR1とは、同じ値でもよく、異なる値でもよい。異常判断部26は、低信頼度の画素の総数TL1が所定値QL1を超えた場合に左原画像が異常である(正常ではない)と判断する。同様に異常判断部26は、総数TR1が所定値QR1を超えた場合に右原画像が異常である(正常ではない)と判断する(S7)。異常判断部26は、少なくともいずれか一方の原画像が異常であると判断した場合、視差画像も異常であると判断する。前述の出力部54はその旨の情報、例えば異常な視差画像が検出された旨を出力することができる。また、距離算出部53は、正常の視差画像と異常の視差画像のいずれにおいても、低信頼度の画素を除いた視差画像を用いて奥行距離を算出する。低信頼度の画素の総数TL1が所定値QL1を超えず、かつ総数TR1が所定値QR1を超えなかった場合、視差値判定部242の判定が実行される。

0044

視差値判定部の判定方法について図7を参照しながら説明する。本実施形態において、判定に係る視差画像の第1領域、第2領域、第3領域は同じ領域wとして説明するが、これに制限されず、別実施形態として、第1領域、第2領域、第3領域はそれぞれ異なる領域でもよい。

0045

視差値判定部242は、視差画像の第2領域wの画素p(u,v)の視差値d(u,v)が所定範囲内でない場合に、当該画素p(u,v)が低信頼度であると判定する。まず、視差値判定部242は、画素p(u,v)の視差値d(u,v)を求める(S11)。視差値は従来の方法で求められる。

0046

視差値判定部242は、視差値d(u,v)が下限値D1以上で上限値D2以下であるか否かを求める(S12)。下限値D1,上限値D2は予め設定されている。視差値d(u,v)が下限値D1以上で上限値D2以下であった場合に、視差値判定部242は、低信頼度の画素であると判定する(S13−1)。低信頼度の画素であると判定された場合、算出部25は、その低信頼度の画素の総数T2をカウントする(S14)。一方、視差値d(u,v)が下限値D1以上で上限値D2以下でなかった場合に、視差値判定部242は、低信頼度の画素ではなく高信頼度の画素であると判定する(S13−2)。第2領域wの画素の全てに対しS12〜S14を繰り返す(S15)。

0047

次いで、異常判断部26は、低信頼度の画素の総数T2が所定値Q2を超えるか否かを判定する(S16)。所定値Q2は予め設定されている。異常判断部26は、低信頼度の画素の総数T2が所定値Q2を超えた場合に視差画像および少なくともいずれか一方の原画像が異常である(正常ではない)と判断する(S17)。異常であると判断された場合、前述の出力部54はその旨の情報、例えば異常な視差画像が検出された旨を出力することができる。また、距離算出部53は、正常の視差画像と異常の視差画像のいずれにおいても、低信頼度の画素を除いた視差画像を用いて奥行距離を算出する。低信頼度の画素の総数T2が所定値Q2を超えなかった場合、視差値差判定部243の判定が実行される。

0048

視差値差判定部の判定方法について図8を参照しながら説明する。視差値差判定部243は、例えば、左原画像基準の視差画像に第3領域wを設定し、この領域w内の画素pL(u,v)の視差値dL(u,v)=dとすると、当該画素pL(u,v)に対応する右原画像基準の視差画像の画素pR(u−d,v)の視差値dR(u−d,v)との差(dL−dR)が所定範囲内にない場合に、画素pL(u,v)を低信頼度であると判定する。なお、別実施形態として、右原画像基準の視差画像に第4領域wを設定し、画素pR(u,v)に対して信頼度を判定してもよい。かかる場合に、右原画像基準の視差画像の視差値dR(u,v)=dに対応する左原画像基準の視差画像の視差値はdL(u+d,v)であり,差(dL−dR)が所定範囲内にない場合に、画素pR(u,v)を低信頼度であると判定する。ここで、第3領域と第4領域とは、同じ領域でもよく、それぞれ異なる領域でもよい。左原画像基準の視差画像と右原画像基準の視差画像は、視差画像作成部52で作成される。まず、視差値差判定部243は、視差値差(dL−dR)を求める(S21)。

0049

視差値差判定部243は、視差値差(dL−dR)が下限値D3以上で上限値D4以下であるか否かを求める(S22)。下限値D3,上限値D4は予め設定されている。視差値差(dL−dR)が下限値D3以上で上限値D4以下であった場合に、視差値差判定部243は、画素pL(u,v)を低信頼度の画素であると判定する(S23−1)。

0050

図9を参照しながら、視差値差を求める一例を説明する。図9(a)は左原画像基準の視差画像の視差値、図9(b)は右原画像基準の視差画像の視差値であり、それぞれ同じ座標を抜き出している。左原画像基準の視差画像と右原画像基準の視差画像とを比較する。左原画像基準の視差画像の枠内は、u座標が18で視差値が4である。u座標の差(ズレ量)が4であるとして、右原画像基準の視差画像の同じv座標のu座標は14(=18−4)であり、このu座標14の視差値は9である。視差値差は「5(=9−4)」である。D3=0、D4=1とした場合に、視差値差「5」はD4を超えるため、この座標の画素は低信頼度であると判定される。

0051

低信頼度の画素であると判定された場合、算出部25は、その低信頼度の画素の総数T3をカウントする(S24)。一方、視差値差(dL−dR)が下限値D3以上で上限値D4以下でなかった場合に、視差値差判定部243は、画素pL(u,v)を低信頼度の画素ではなく高信頼度の画素であると判定する(S23−2)。第3領域wの画素の全てに対しS22〜S24を繰り返す(S25)。

0052

次いで、異常判断部26は、低信頼度の画素の総数T3が所定値Q3を超えるか否かを判定する(S26)。所定値Q3は予め設定されている。低信頼度の画素の総数T3が所定値Q3を超えた場合に異常判断部26は、視差画像および少なくともいずれか一方の原画像が異常である(正常ではない)と判断する(S27)。異常であると判断された場合、前述の出力部54はその旨の情報、例えば異常な視差画像が検出された旨を出力することができる。また、距離算出部53は、正常の視差画像と異常の視差画像のいずれにおいても、低信頼度の画素を除いた視差画像を用いて奥行距離を算出する。低信頼度の画素の総数T3が所定値Q3を超えていなかった場合、異常判断部26は、視差画像および原画像が異常ではないと判断する。

0053

(実施形態1の別構成例)
上記実施形態1において、エッジ強度判定部241は、エッジ強度が閾値以下であるか否かを判定したが、これに制限されず、エッジ強度が所定範囲にあるか否かを判定してもよい。

0054

上記実施形態1において、エッジ強度は、例えば、SOBELフィルター等のエッジ強調手段を施したあとの値(輝度値)としてもよい。図10図4の左原画像をエッジ強調した図の一例を示す。

0055

上記実施形態1において、視差値判定部242は、視差値d(u,v)が閾値以下の場合に、当該画素p(u,v)が低信頼度であると判定してもよい。

0056

上記実施形態1において、視差値差判定部242は視差値差(dL−dR)が閾値以下の場合に、低信頼度の画素であると判定してもよい。

0057

上記実施形態1において、エッジ強度判定部241が左原画像と右原画像とに対する処理(S1〜S7)を並行して行っていたが、これに制限されず、いずれか一方の原画像に対する処理を行った後に、その他方の原画像に対する処理を実行してもよい。

0058

上記実施形態1において、エッジ強度判定部241、視差値判定部242、視差値差判定部243の処理順序で実行していたが、これに制限されず、エッジ強度判定部241、視差値差判定部243、視差値判定部242の処理順序でもよい。

0059

上記実施形態1において、異常画像検出装置2が、車両1に搭載されていない構成でもよく、この場合、画像処理システム5と異常画像検出装置2はネットワークを介して接続される。また、画像処理システム5が、車両1に搭載されていない構成でもよい。この場合、車両1に搭載された撮像部51の撮影画像がネットワークを介して画像処理システム5へ送信される。

0060

上記実施形態1において、視差画像作成部52は、左画像センサ511、右画像センサ512で撮影された画像に種々の補正を施した画像から視差画像を作成してもよい。この場合、画像処理システム5は、各画像を各種補正処理する画像補正部(不図示)を有する。画像補正部で補正された各画像は、視差画像作成部52へ出力される。画像の補正処理として、例えば、レンズの口径色等を原因とする複数の画像センサ間輝度バラツキを補正する輝度補正処理や、各画像センサのレンズの歪みを補正する歪曲収差補正処理や、撮影した画像のエッジを強調するエッジ強調処理が挙げられる。画像補正として、これらの画像処理の少なくとも1つが実施される。画像補正として、左、右画像センサ511、512間の輝度を補正する処理、または、レンズ歪みを補正する処理、または、エッジを強調する処理のうち少なくとも1つの処理を実施することで、左、右画像センサ511、5、12の固有特性に起因する画像の特性を平均化できる。左、右画像センサ511、512の個体差を低減することにより、撮影された各画像を基に作成する視差画像の精度を向上することができ、視差不連続部分を精度良く検出することができる。

0061

上記実施形態1は、視差画像の所定領域(画素)の視差値の標準偏差(分散)の指標を算出する指標算出部をさらに有し、異常判断部が、指標算出部で算出された指標が所定範囲内にない場合(または上限閾値を超える場合)に、前記視差画像が異常であると判断する。この構成によれば、視差値のバラツキが大きいことを判定することで、原画像が異常であることを判断できる。ここで「視差画像の所定領域」は、例えば、全画素領域、全画素領域で端領域を除く中心領域などが挙げられる。端領域は、複数の撮像部で互いに撮像エリアが異なるため予め除外することが好ましい。また「視差画像の所定領域」は、上記の「視差画像の第1領域」、「視差画像の第2領域」、「視差画像の第3領域」の内いずれかと同じ領域でもよく、異なる領域でもよい。
また、上記の「視差画像の第1領域」、「視差画像の第2領域」、「視差画像の第3領域」は、全領域から端領域を除いた中心側領域であったが、これに制限されず、全領域であってもよい。

0062

上記実施形態1は、原画像のうち少なくとも2つの原画像の所定領域において、原画像で同じ座標の画素の画素値(輝度値)の差を計算する画素値差計算部と、画素値差計算部で求められた前記画素値の差の、合計、平均、最大値、最小値および標準偏差の内から選択される1つまたは1つ以上の指標を計算する指標計算部をさらに有し、異常判断部が、前記指標が所定範囲内にない場合(または上限閾値を超える場合)に、前記2つの原画像の内少なくとも一方の原画像が異常であると判断する。この構成によれば、輝度値の差が大きいことを判定することで、原画像が異常であることを判断できる。ここで「原画像の所定領域」は、例えば、全画素領域、全画素領域で端領域を除く中心領域などが挙げられる。

0063

上記実施形態1の車両1は、撮像部の撮像方向前方にフロントウインドを設けた構成であったが、これに制限されず、例えば、撮像部が車両のフロント部に設けられていてもよい。

0064

上記実施形態1において、距離算出部53は、正常の視差画像と異常の視差画像のいずれにおいても、低信頼度の画素を除いた視差画像を用いて奥行距離を算出するものであったが、これに制限されず、以下の構成であってもよい。距離算出部は、異常が検出された視差画像以外の視差画像に基づいて奥行距離を算出してもよい。また、距離算出部は、異常が検出された視差画像を用いて奥行距離を算出する場合、低信頼度の画素を除いた視差画像を使用してもよい。

0065

(実施形態2)
実施形態2に係る異常画像検出装置2は、画像処理システム5と別の装置として構成されている。図15に示す異常画像検出装置2は、左原画像、右原画像および視差画像を外部装置から受信する通信部21(取得部に相当する)と、通信部21で受信した右原画像、左原画像および視差画像を保存する記憶部22とをさらに有する構成である。通信部21は、異常であると判断された原画像および視差画像に関する情報を上記外部装置または別の装置へ送信する機能を有する。通信部21は、例えば原画像および視差画像の識別情報を上記外部装置または別の装置へ送信する。外部装置は、画像処理システム5であってもよく、異常画像検出装置2とネットワークを介して接続されるサーバまたは情報処理装置であってもよい。

0066

ゴミが付着した状態とそうでない状態における視差画像を用い、上記実施形態1における信頼度判定と、上記特許文献1における視差分布を用いた信頼度判定を行った。図11(a)にゴミが付着していない左原画像、図11(b)に右原画像を示し、その視差画像を図12に示す。ごみが付着した視差画像は図5である。図13に、図12の視差画像の視差分布を示し、図14に、図5の視差画像の視差分布を示す。視差分布は、横軸が視差値で縦軸がその頻度を示す。

0067

上記実施形態1では、ごみが付着した左原画像を異常であると判断できた。一方、上記特許文献1に係る視差分布を用いた判定では、ごみが付着した場合の視差分布が、ごみが付着していないときの視差分布に対して、ある視差の頻度が小さくなる程度であった。このため、特許文献1の判断方法では、異常画像であることを正確に判断することは困難であった。

0068

(別実施形態)
別実施形態の異常画像検出装置は、
複数の撮像部から得られた複数の原画像に基づいて作成された視差画像および当該原画像の内少なくとも1の原画像が異常であるかを検出する異常画像検出装置であって、前記視差画像の所定領域(画素)の視差値の標準偏差(分散)の指標を算出する指標算出部と、前記指標算出部で算出された指標が所定範囲内にない場合(または上限閾値を超える場合)に、前記視差画像が異常であると判断する異常判断部とを有する。この構成によれば、視差値のバラツキが大きいことを判定することで、原画像が異常であることを判断できる。また、異常画像検出装置は、上記実施形態1または2に係る異常画像検出装置2の構成要素およびその機能をさらに有していてもよい。

0069

他の別実施形態の異常画像検出装置は、
複数の撮像部から得られた複数の原画像に基づいて作成された視差画像および当該原画像の内少なくとも1の原画像が異常であるかを検出する異常画像検出装置であって、
前記原画像のうち少なくとも2つの原画像の所定領域において、原画像で同じ座標の画素の画素値(輝度値)の差を計算する画素値差計算部と、前記画素値差計算部で求められた前記画素値の差の、合計、平均、最大値、最小値および標準偏差の内から選択される1つまたは1つ以上の指標を計算する指標計算部と、前記指標が所定範囲内にない場合(または上限閾値を超える場合)に、前記2つの原画像の内少なくとも一方の原画像が異常であると判断する異常判断部とを有する。この構成によれば、輝度値の差が大きいことを判定することで、原画像が異常であることを判断できる。また、異常画像検出装置は、上記実施形態1または2に係る異常画像検出装置2の構成要素およびその機能をさらに有していてもよい。

0070

なお、本願発明の「閾値」は、あらかじめ決められた固定値または固定値を環境状態または走行状態などに基づいて補正した補正値であってもよい。

0071

なお、本願発明の「所定範囲内」は、所定の値をAとし、所定の値をBとし、AがBより小さい場合、以下の条件すべてを含む。Aより大きいかつBより小さい場合、Aより大きいかつBより小さいまたは同じ場合、Aより大きいまたは同じかつBより小さいまたは同じ場合、または、Aより大きいまたは同じかつBより小さい場合。

実施例

0072

なお、本願発明に係る車両は、ゴルフカーに限定されない。車両は、車輪の数に限定されない。車両は、鞍乗型車両であってもよい。鞍乗型車両は、スクータ以外の形式自動二輪車を含む。また、鞍乗型車両は、ATV(All Terrain Vehicle)等の自動二輪車以外の車両であってもよい。なお、鞍乗型車両とは、乗員が跨って乗車する車両を意味する。

0073

1 車両
2 異常画像検出装置
21通信部
22 記憶部
24信頼度判定部
241エッジ強度判定部
242視差値判定部
243 視差値差判定部
25 算出部
26 異常判断部
5画像処理システム
51撮像部
52視差画像作成部
53距離算出部
54 出力部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ