図面 (/)

技術 車両用周辺監視装置

出願人 トヨタ自動車株式会社
発明者 勝野歳康
出願日 2009年2月16日 (9年10ヶ月経過) 出願番号 2009-032682
公開日 2010年9月2日 (8年4ヶ月経過) 公開番号 2010-191520
状態 特許登録済
技術分野 交通制御システム 乗員・歩行者の保護 閉回路テレビジョンシステム 交通制御システム
主要キーワード 注意喚起信号 検出信頼度 注意喚起表示 パターンマッチング方式 等輝度曲線 コンライトセンサ 相対速 輪郭強調補正
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2010年9月2日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (8)

課題

車両と障害物との衝突危険度や障害物の検出信頼度を考慮して、必要な場合に運転者注意喚起を行うことが可能な車両用周辺監視装置を提供することを課題とする。

解決手段

本車両用周辺監視装置は、車両周辺映像を取得する映像取得部と、前記映像取得部の取得した映像を処理する信号処理部と、を有する車両用周辺監視装置であって、前記信号処理部は、前記映像取得部が取得した前記映像から障害物を認識して障害物の位置を算出するとともに、前記障害物の認識の確からしさを示す検出信頼度を算出する障害物認識手段と、前記障害物と前記車両とが衝突をする危険性の度合いを示す危険度を算出する危険度算出手段と、前記検出信頼度を、前記危険度に応じて補正して検出信頼度補正値を算出する検出信頼度補正値算出手段と、前記検出信頼度補正値が閾値よりも高い場合のみ、運転者に注意喚起を行うための注意喚起信号を出力する注意喚起手段と、を有することを要件とする。

概要

背景

従来から、車両にカメラ等の映像取得部を搭載し、カメラ等の映像取得部により取得された車両周辺映像を、車両内部の運転者視認可能な位置に備えられたディスプレイに表示して、運転者の視界補助するための車両用周辺監視装置が提案されている。

このような車両用周辺監視装置として、例えば、車両周辺の映像を取得し、取得した映像に基づいて歩行者等の障害物の有無を認識し、ディスプレイを通じて障害物の存在を運転者に注意喚起するもの等が提案されている。ディスプレイを通じて障害物の存在を運転者に注意喚起すると、運転者の視線をディスプレイに誘導することになる。

概要

車両と障害物との衝突危険度や障害物の検出信頼度を考慮して、必要な場合に運転者に注意喚起を行うことが可能な車両用周辺監視装置を提供することを課題とする。 本車両用周辺監視装置は、車両周辺の映像を取得する映像取得部と、前記映像取得部の取得した映像を処理する信号処理部と、を有する車両用周辺監視装置であって、前記信号処理部は、前記映像取得部が取得した前記映像から障害物を認識して障害物の位置を算出するとともに、前記障害物の認識の確からしさを示す検出信頼度を算出する障害物認識手段と、前記障害物と前記車両とが衝突をする危険性の度合いを示す危険度を算出する危険度算出手段と、前記検出信頼度を、前記危険度に応じて補正して検出信頼度補正値を算出する検出信頼度補正値算出手段と、前記検出信頼度補正値が閾値よりも高い場合のみ、運転者に注意喚起を行うための注意喚起信号を出力する注意喚起手段と、を有することを要件とする。

目的

上記の点に鑑みて、車両と障害物との衝突の危険度や障害物の検出信頼度を考慮して、必要な場合に運転者に注意喚起を行うことが可能な車両用周辺監視装置を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

車両周辺映像を取得する映像取得部と、前記映像取得部の取得した映像を処理する信号処理部と、を有する車両用周辺監視装置であって、前記信号処理部は、前記映像取得部が取得した前記映像から障害物を認識して障害物の位置を算出するとともに、前記障害物の認識の確からしさを示す検出信頼度を算出する障害物認識手段と、前記障害物と前記車両とが衝突をする危険性の度合いを示す危険度を算出する危険度算出手段と、前記検出信頼度を、前記危険度に応じて補正して検出信頼度補正値を算出する検出信頼度補正値算出手段と、前記検出信頼度補正値が閾値よりも高い場合のみ、運転者注意喚起を行うための注意喚起信号を出力する注意喚起手段と、を有することを特徴とする車両用周辺監視装置。

請求項2

更に、前記障害物の位置における輝度を算出する輝度算出手段と、前記障害物と前記車両とが衝突する推定危険度を算出する推定危険度算出手段と、を有し、前記危険度算出手段は、前記輝度及び前記推定危険度に基づいて2次元で前記危険度を算出することを特徴とする請求項1記載の車両用周辺監視装置。

請求項3

前記推定危険度算出手段は、前記車両の車速操舵角、及び前記車両と前記障害物との距離を含む情報に基づいて、前記推定危険度を算出することを特徴とする請求項2記載の車両用周辺監視装置。

請求項4

前記注意喚起信号は、前記映像取得部が取得した前記映像の前記障害物が認識された領域を囲む枠に対応する信号であることを特徴とする請求項1乃至3の何れか一項記載の車両用周辺監視装置。

請求項5

前記注意喚起信号は、前記映像取得部が取得した前記映像の前記障害物を囲む枠に対応する信号であることを特徴とする請求項1乃至4の何れか一項記載の車両用周辺監視装置。

請求項6

前記障害物は、歩行者であることを特徴とする請求項1乃至5の何れか一項記載の車両用周辺監視装置。

技術分野

0001

本発明は、車両周辺映像を取得し、取得した映像等に基づいて運転者注意喚起を行うための注意喚起信号を出力する車両用周辺監視装置に関する。

背景技術

0002

従来から、車両にカメラ等の映像取得部を搭載し、カメラ等の映像取得部により取得された車両周辺の映像を、車両内部の運転者が視認可能な位置に備えられたディスプレイに表示して、運転者の視界補助するための車両用周辺監視装置が提案されている。

0003

このような車両用周辺監視装置として、例えば、車両周辺の映像を取得し、取得した映像に基づいて歩行者等の障害物の有無を認識し、ディスプレイを通じて障害物の存在を運転者に注意喚起するもの等が提案されている。ディスプレイを通じて障害物の存在を運転者に注意喚起すると、運転者の視線をディスプレイに誘導することになる。

先行技術

0004

特開2007−087203号公報
特開2008−027309号公報
特開2008−135856号公報

発明が解決しようとする課題

0005

しかしながら、歩行者等の障害物が存在する場合に、常に注意喚起して運転者の視線をディスプレイに誘導すると、車両の前方に対する運転者の注意力を奪ってしまう虞があるという問題があった。

0006

すなわち、例えば、車両と障害物との距離が十分に離れている場合のように、車両と障害物との衝突危険度が低い場合には、注意喚起を行うことにより運転者の視線をディスプレイに誘導せずに、車両の前方を直接視認させる方が好ましいと考えられる。車両の前方に対する運転者の注意力を維持させるためである。

0007

又、歩行者等の障害物の検出信頼度(検出の確からしさ)にはバラツキがあるため、検出信頼度が低い場合には、注意喚起を行うことにより運転者の視線をディスプレイに誘導せずに、車両の前方を直接視認させる方が好ましいと考えられる。車両の前方に対する運転者の注意力を維持させるためである。

0008

一方、車両と障害物との衝突の危険度が高く、かつ、障害物の検出信頼度も高い場合は、間違いなく危険が迫っていると考えられるため、運転者に確実に注意喚起を行い、危険回避行動を起こさせる必要がある。

0009

ところが、従来の車両用周辺監視装置は、上記のような様々なケースが適切に区別されておらず、注意喚起の必要性が低い場合にもディスプレイを通じて障害物の存在を運転者に注意喚起し、運転者の視線をディスプレイに誘導していたため、運転者は車両の前方に対する注意力を維持することができない虞があった。

0010

上記の点に鑑みて、車両と障害物との衝突の危険度や障害物の検出信頼度を考慮して、必要な場合に運転者に注意喚起を行うことが可能な車両用周辺監視装置を提供することを課題とする。

課題を解決するための手段

0011

本車両用周辺監視装置は、車両周辺の映像を取得する映像取得部と、前記映像取得部の取得した映像を処理する信号処理部と、を有する車両用周辺監視装置であって、前記信号処理部は、前記映像取得部が取得した前記映像から障害物を認識して障害物の位置を算出するとともに、前記障害物の認識の確からしさを示す検出信頼度を算出する障害物認識手段と、前記障害物と前記車両とが衝突をする危険性の度合いを示す危険度を算出する危険度算出手段と、前記検出信頼度を、前記危険度に応じて補正して検出信頼度補正値を算出する検出信頼度補正値算出手段と、前記検出信頼度補正値が閾値よりも高い場合のみ、運転者に注意喚起を行うための注意喚起信号を出力する注意喚起手段と、を有することを要件とする。

発明の効果

0012

開示の技術によれば、車両と障害物との衝突の危険度や障害物の検出信頼度を考慮して、必要な場合に運転者に注意喚起を行うことが可能な車両用周辺監視装置を提供することができる。

図面の簡単な説明

0013

本実施の形態に係る車両用周辺監視装置の概略の構成を例示する図である。
推定危険度算出手段について説明するための図(その1)である。
推定危険度算出手段について説明するための図(その2)である。
危険度算出手段について説明するための図である。
検出信頼度補正値算出手段について説明するための図である。
表示部で表示された映像の例を示す図である。
本実施の形態に係る車両用周辺監視装置で行われる動作のフローチャートの例である。

実施例

0014

以下、図面を参照して、実施の形態の説明を行う。

0015

図1は本実施の形態に係る車両用周辺監視装置の概略の構成を例示する図である。図1を参照するに、車両用周辺監視装置10は、映像取得部20と、信号処理部30と、センサ部50とを有する。60は、車両用周辺監視装置10から出力される映像信号を表示する表示部である。

0016

映像取得部20は、レンズ21と、第1のプリズム22と、第2のプリズム23と、第1の撮像素子24と、第2の撮像素子25とを有する。信号処理部30は、基準信号生成手段31と、第1の入力信号処理手段32と、第2の入力信号処理手段33と、映像合成手段35と、障害物認識手段41と、輝度算出手段42と、推定危険度算出手段43と、危険度算出手段44と、検出信頼度補正値算出手段45と、注意喚起手段46と、図示しないCPU(中央算出装置)や記憶手段(メモリ)等を有する。センサ部50は、コンライトセンサ51と、車速センサ52と、操舵角センサ53と、距離センサ54とを有する。

0017

映像取得部20は、例えば、CCD(Charge Coupled Device)カメラやCMOS(Complementary Metal−Oxide Semiconductor)カメラ等であり、車両周辺の映像を取得する機能を有する。レンズ21は、例えば、魚眼レンズ等であり、被写体から放射される光を結像する機能を有する。

0018

第1のプリズム22及び第2のプリズム23は、例えば、ガラス水晶等から構成されており、レンズ21から入射する光のうち第1の波長領域の光を直進させ、第1の撮像素子24に選択的に入射する機能を有する。又、第1のプリズム22及び第2のプリズム23は、レンズ21から入射する光のうち第1の波長領域の光よりも長波長の第2の波長領域の光を、第1のプリズム22と第2のプリズム23との境界面で反射し、第2の撮像素子25に選択的に入射する機能を有する。

0019

ここで、第1の波長領域は可視光線領域を含む波長領域であり、第2の波長領域は近赤外線領域を含む波長領域である。すなわち、第1の波長領域は、例えば、可視光線領域のみでもよいし、可視光線領域に近赤外線領域等を加えた波長領域でも構わない。又、第2の波長領域は、例えば、近赤外線領域のみでもよいし、近赤外線領域に赤外線領域等を加えた波長領域でも構わない。

0020

第1の撮像素子24及び第2の撮像素子25は、例えば、CCDやCMOS等の半導体から構成されており、入射する被写体の光学像電気信号に変換する機能を有する。第1の撮像素子24及び第2の撮像素子25は、同じ波長領域の光に感度を持つものでも構わないが、第1の撮像素子24は、第1の波長領域の光に感度を持ち、第2の撮像素子25は、第2の波長領域の光に感度を持つことが好ましい。第1の撮像素子24及び第2の撮像素子25で変換された電気信号は、信号処理部30の第1の入力信号処理手段32及び第2の入力信号処理手段33に入力される。

0021

信号処理部30は、映像取得部20から入力された信号に所定の信号処理を施し、表示部60に出力する機能を有する。信号処理部30は、例えば、ECU(Electronic Control Unit )内に設けられている。基準信号生成手段31は、基準信号を生成する発振器を含む回路である。基準信号生成手段31で生成された基準信号は、第1の入力信号処理手段32及び第2の入力信号処理手段33に入力される。

0022

第1の入力信号処理手段32及び第2の入力信号処理手段33は、基準信号生成手段31で生成された基準信号に基づいて駆動信号を生成し、第1の撮像素子24及び第2の撮像素子25を駆動する。又、第1の入力信号処理手段32及び第2の入力信号処理手段33は、第1の撮像素子24及び第2の撮像素子25から入力された電気信号に所定の信号処理を施し、映像合成手段35、障害物認識手段41、及び輝度算出手段42に入力する。

0023

所定の信号処理とは、例えば、信号のノイズを低減するCDS(相関2重サンプリング)、信号を正規化するAGCオートゲインコントロール)、アナログディジタル変換ディジタル信号処理色空間変換輪郭強調補正ガンマ補正処理等)等を指し、所定の信号処理を施された電気信号は、コンポジットビデオやYUV等の映像信号となる。

0024

以降、第1の入力信号処理手段32で所定の処理を施され、第1の入力信号処理手段32から出力される信号を第1の映像信号と、第2の入力信号処理手段33で所定の処理を施され、第2の入力信号処理手段33から出力される信号を第2の映像信号という。又、第1の映像信号により表示されるべき映像を第1の映像と、第2の映像信号により表示されるべき映像を第2の映像という。すなわち、第1の映像信号は、可視光線領域を含む光による映像信号であり、第2の映像信号は、近赤外線領域を含む光による映像信号である。又、第1の映像は、可視光線領域を含む光により表示されるべき映像であり、第2の映像は、近赤外線領域を含む光により表示されるべき映像である。

0025

映像合成手段35は、第1の入力信号処理手段32及び第2の入力信号処理手段33から入力される第1の映像信号及び第2の映像信号に所定の重みAを付けた後に、それらを合成した映像信号を生成し、表示部60に出力する。すなわち、表示部60に出力される映像信号は、「第1の映像信号×(1−A)+第2の映像信号×A」となる。所定の重みAは、予め定められた固定値でも構わないし、障害物認識手段41、輝度算出手段42等の算出結果のうちの一部又は全てに基づいて適宜決定(状況に応じてAを可変にする)しても構わない。

0026

例えば、映像輝度が高い場合には、第2の映像信号(近赤外線領域を含む光による映像信号)の重みAを小さくし、第1の映像信号(可視光線領域を含む光による映像信号)の重みを大きくする。これにより、ピントの合った映像を得ることができる。又、第1の映像信号(可視光線領域を含む光による映像信号)の重みを大きくすることにより、カラー映像表示が可能となる。

0027

障害物認識手段41は、第1の映像信号及び/又は第2の映像信号に基づいて、映像取得部20が取得した映像の中の障害物の有無を認識し、障害物を認識した場合には障害物の位置を算出する。更に、障害物認識手段41は、障害物の認識の確からしさを示す検出信頼度を算出する。ここで、障害物とは、例えば、歩行者や他の車両等である。以下、障害物が歩行者である場合を例に説明を行う。

0028

障害物である歩行者の認識、障害物である歩行者の位置の算出、及び検出信頼度の算出は、例えば、パターンマッチング方式を用いて実現できる。一例を挙げると、歩行者の画像パターンを予め認識して記憶手段(メモリ)に記憶しておき、第1の映像信号及び/又は第2の映像信号と予め記憶していた歩行者の画像パターンとを比較し、両者が一致したら歩行者有りと認識し、歩行者の位置を算出するが如くである。この際、例えば画像パターンとのマッチング度に応じて、歩行者有との認識の確からしさを示す検出信頼度(例えば0〜1)を算出することができる。

0029

検出信頼度は、CPU(中央算出装置)の処理能力や記憶手段(メモリ)に記憶されている画像パターンの容量等により決まるため、全ての状況において高い検出信頼度を保証することは困難である。すなわち、状況によっては、歩行者らしきものが認識されたが、画像パターンとのマッチング度が低いため、低い検出信頼度が算出される場合がある。低い検出信頼度は、検出されたものが歩行者ではない虞があることを意味する。逆に、画像パターンとのマッチング度が高いため、高い検出信頼度が算出される場合がある。高い検出信頼度は、検出されたものが歩行者である可能性が高いことを意味する。

0030

障害物認識手段41が検出信頼度を算出する目的は、後述するように、検出信頼度を注意喚起表示の必要性を判定する際の情報の一つとして利用するためである。障害物認識手段41による認識結果(歩行者の有無、歩行者の位置、検出信頼度)は、映像合成手段35、輝度算出手段42及び推定危険度算出手段43に入力される。

0031

輝度算出手段42は、障害物認識手段41による認識結果に基づいて、第1の映像信号及び/又は第2の映像信号から、歩行者の位置における映像の輝度(歩行者の輝度)を算出する。歩行者の輝度は、例えば歩行者の位置に対応する画素の輝度の平均値を算出することにより求めてもよいし、歩行者の位置に対応する画素の中から代表点を選択して、選択した画素の輝度を歩行者の輝度としてもよい。輝度算出手段42による輝度の算出結果は、映像合成手段35、推定危険度算出手段43及び危険度算出手段44に入力される。

0032

推定危険度算出手段43は、障害物認識手段41による認識結果、輝度算出手段42による算出結果、及び後述するセンサ部50による検出結果に基づいて、障害物と車両とが衝突をする危険性の度合いを推定した値である推定危険度を算出する。例えば、障害物である歩行者と車両との距離が十分に離れていれば、歩行者と車両との距離が接近している場合に比べて、算出される推定危険度は小さな値になる。推定危険度算出手段43による推定危険度の算出結果は、危険度算出手段44に入力される。

0033

図2及び図3を用いて推定危険度算出手段43による算出の具体例について説明する。図2は、推定危険度算出手段について説明するための図(その1)である。図3は、推定危険度算出手段について説明するための図(その2)である。図2において、101は車両を、102は車両の有するヘッドライトを示している。又、103a〜103dは、車両101のヘッドライト102が出射する光の各ポイントにおける等輝度曲線を示している。103a〜103dの括弧内の100、50、30、10の各数字は、各等輝度曲線103a〜103dの輝度値の例(単位:ルックス)である。図3において、104は障害物を示している。又、105は操舵角ホイールベース、及び車速等から算出される円旋回半径Rの軌跡を示している。推定危険度は、例えば、等輝度曲線103a〜103d、障害物104までの距離d、相対速度、円旋回半径Rの軌跡、及び車速等から算出することができる。

0034

図1戻り、危険度算出手段44は、輝度算出手段42による算出結果、及び推定危険度算出手段43による算出結果に基づいて、障害物と車両とが衝突をする危険性の度合いを示す危険度を算出する。危険度算出手段44による危険度の算出結果は、検出信頼度補正値算出手段45に入力される。

0035

図4を用いて危険度算出手段44による算出の具体例について説明する。図4は、危険度算出手段について説明するための図である。図4において、縦軸の1/(対象の輝度比)は、輝度算出手段42が算出した歩行者の位置における映像の輝度から求めたものである。0に近い部分が白に対応し、1.0に近づくにつれて黄、赤/青、黒に対応する。横軸は、推定危険度算出手段43が算出した推定危険度である。「4,6,8,10」の数値は、危険度算出手段44が、輝度算出手段42による算出結果、及び推定危険度算出手段43による算出結果に基づいて、危険度を算出した結果である。図4の例では、縦軸の1/(対象の輝度比)及び横軸の推定危険度から所定の領域を決定し、所定の領域毎に危険度を「4,6,8,10」としている。

0036

例えば、推定危険度が高くても、障害物が白であれば運転者は障害物を認識しやすいため、危険度は低く危険度4である。又、障害物が黒であれば運転者は障害物を認識し難いが、推定危険度が低い場合には、危険度は低く危険度4である。一方、推定危険度が高くて、障害物が黒であれば、危険度は高く危険度10である。このように、危険度算出手段44は、輝度算出手段42が算出した歩行者の輝度、及び推定危険度算出手段43が算出した推定危険度に基づいて、2次元で危険度を算出することができる。

0037

図1に戻り、検出信頼度補正値算出手段45は、歩行者認識手段41が算出した検出信頼度を、危険度算出手段44が算出した危険度に応じて補正して検出信頼度補正値を算出する。検出信頼度補正値算出手段45により算出された検出信頼度補正値は、注意喚起手段46に入力される。

0038

図5を用いて検出信頼度補正値算出手段45による算出の具体例について説明する。図5は、検出信頼度補正値算出手段について説明するための図である。図5において、縦軸は補正値Kであり、横軸は危険度である。横軸の危険度は、危険度算出手段44が算出した値であり、例えば図4に示した危険度「4,6,8,10」に対応する。補正値Kは、予め決定された値であり、記憶手段(メモリ)に記憶されている。補正値Kのカーブは任意に決定してよいが、危険度が高いほど(10に近いほど)1に近い数値になるように決定される。検出信頼度補正値算出手段45は、図5に示す補正値Kを用いて歩行者認識手段41が算出した検出信頼度を補正して検出信頼度補正値を算出する。すなわち、「検出信頼度補正値=歩行者認識手段41が算出した検出信頼度×補正値K」を求める。

0039

図1に戻り、注意喚起手段46は、検出信頼度補正値算出手段45が算出した検出信頼度補正値が所定の表示判定閾値よりも大きければ、表示部60に注意喚起信号を出力する。このように、注意喚起手段46は、検出信頼度補正値が所定の表示判定閾値よりも大きければ、表示部60に注意喚起信号を出力するが、これは次のような意義を有する。

0040

すなわち、原則として、危険度が高い場合には検出信頼度補正値が高くなければならない。これは、表示部60に注意喚起信号を出力し、運転者に歩行者に対する注意喚起を促す必要があるからである。従って、図5に例示したように危険度が高い場合には、補正値Kは1に近い値になる。

0041

一方、危険度が低い場合には必ずしも検出信頼度補正値が高い必要はなく、むしろ検出信頼度補正値を低くした方が好ましいと考えられる。例えば、図4の例では障害物が白であれば運転者は障害物を認識しやすいため、危険度は低く危険度4である。このような場合に、運転者に表示部60を通じて注意喚起すると、運転者の視線を表示部60に誘導することになるが、危険が迫っているわけではないから、むしろ運転者が表示部60ではなく障害物を直接視認する方が好ましいと考えられる。そこで、危険度が低い場合には、補正値Kを1よりも小さくする。その結果、検出信頼度補正値が所定の表示判定閾値以下であれば、表示部60に注意喚起信号は出力されない。

0042

ただし、そもそも障害物認識手段41が算出した検出信頼度が低い場合には、本当に歩行者が存在するか否かが怪しい。このような場合にも、注意喚起をして運転者の視線を表示部60に誘導するよりは、むしろ運転者が歩行者を直接視認する方が好ましいと考えられる。この場合には、そもそも障害物認識手段41が算出した検出信頼度が低いので危険度が高くても(補正値Kが1に近くても)検出信頼度補正値は小さな値になり、検出信頼度補正値が所定の表示判定閾値以下であれば、表示部60に注意喚起信号は出力されない。

0043

このように、障害物認識手段41が算出した検出信頼度が高く、かつ、危険度が高いほど(間違いなく危険が迫っている場合ほど)、表示部60に注意喚起信号が出力されることになる。すなわち、必ず注意喚起をしなければならない場合(歩行者が間違いなく検知され、かつ、危険度が高い場合)には、確実に注意喚起を行うことができる。一方、そうでない場合には、注意喚起を行わず運転者の視線を表示部60に誘導しないため、運転者の車両の前方に対する注意力を維持させることができる。

0044

図1に戻り、センサ部50は、車両や車両周辺の情報を取得する機能を有する。コンライトセンサ51は、例えば、車体外部に取り付けられており、車両周辺の輝度(明るさ)を検出し、検出結果に応じた信号を推定危険度算出手段43に出力する。車速センサ42は、例えば、車両の車輪等に取り付けられており、車輪の回転速度を検出し、検出結果に応じた信号を推定危険度算出手段43に出力する。

0045

操舵角センサ43は、例えば、車両のステアリングシャフトに取り付けられており、ステアリング回転角を検出し、検出結果に応じた信号を推定危険度算出手段43に出力する。距離センサ54は、例えばミリ波レーダ等の車両と障害物との距離を検出するセンサであり、検出結果に応じた信号を推定危険度算出手段43に出力する。

0046

表示部60は、例えば、液晶ディスプレイ等であり、映像合成手段35で合成された映像信号のみを、又は、映像合成手段35で合成された映像信号に注意喚起手段46で出力された注意喚起信号を重畳した映像信号を、映像として表示する機能を有する。表示部60は、車両内部の運転者が視認可能な位置に備えられている。

0047

図6は、表示部で表示された映像の例を示す図である。図6(1)は、表示部60が、映像合成手段35で合成された映像信号のみを表示した例を示している。図6(2)及び図6(3)は、表示部60が、映像合成手段35で合成された映像信号に注意喚起手段46で出力された注意喚起信号を重畳した映像信号を表示した例を示している。図6(2)では、表示部60で表示された映像の歩行者が認識された領域に、注意喚起信号として注意喚起枠110を重畳させて表示している。図6(3)では、運転者に歩行者の認識を容易にするために、図6(2)に更に歩行者の位置を示す注意喚起枠111を重畳させて表示している。なお、注意喚起枠110や111は、枠の色を変化させたり、枠を点滅させたりすることで、更に運転者に対する注意喚起の効果を向上することが期待できる。

0048

続いて、図7を参照しながら、車両用周辺監視装置10で行われる処理について詳しく説明する。図7は、本実施の形態に係る車両用周辺監視装置で行われる動作のフローチャートの例である。

0049

テップ100において、映像取得部20は、車両周辺の映像を取得し、第1の撮像素子24に第1の波長領域の光学像を結像する。又、第2の撮像素子25に第2の波長領域の光学像を結像する(S100)。ここで、第1の波長領域は可視光線領域を含む波長領域であり、第2の波長領域は近赤外線領域を含む波長領域である。すなわち、第1の波長領域は、例えば、可視光線領域のみでもよいし、可視光線領域に近赤外線領域等を加えた波長領域でも構わない。又、第2の波長領域は、例えば、近赤外線領域のみでもよいし、近赤外線領域に赤外線領域等を加えた波長領域でも構わない。

0050

ステップ101において、第1の撮像素子24は、第1の波長領域の光学像を電気信号に変換し、第1の入力信号処理手段32に入力する。又、第2の撮像素子25は、第2の波長領域の光学像を電気信号に変換し、第2の入力信号処理手段33に入力する(S101)。

0051

ステップ102において、第1の入力信号処理手段32及び第2の入力信号処理手段33は、入力された電気信号に所定の信号処理を施した第1の映像信号及び第2の映像信号を、映像合成手段35、障害物認識手段41、及び輝度算出手段42に入力する(S102)。

0052

ステップ103において、障害物認識手段41は、第1の映像信号及び/又は第2の映像信号に基づいて、映像取得部20が取得した映像の中の歩行者の有無を認識し、歩行者を認識した場合には歩行者の位置を算出する。更に、障害物認識手段41は、障害物の認識の確からしさを示す検出信頼度を算出する(S103)。歩行者の認識、歩行者の位置の算出、及び検出信頼度の算出は、例えば、前述のようにパターンマッチング方式を用いて実現できる。障害物認識手段41による認識結果(歩行者の有無、歩行者の位置、検出信頼度)は、映像合成手段35、輝度算出手段42及び推定危険度算出手段43に入力される。

0053

ステップ104において、輝度算出手段42は、障害物認識手段41による認識結果に基づいて、第1の映像信号及び/又は第2の映像信号から、歩行者の位置における映像の輝度を算出する(S104)。輝度算出手段42による輝度の算出結果は、映像合成手段35及び危険度算出手段44に入力される。

0054

ステップ105において、推定危険度算出手段43は、障害物認識手段41による認識結果、輝度算出手段42による算出結果、及び後述するセンサ部50による検出結果に基づいて、推定危険度を算出する(S105)。推定危険度算出手段43による推定危険度の算出結果は、危険度算出手段44に入力される。

0055

ステップ106において、危険度算出手段44は、輝度算出手段42による輝度の算出結果、及び推定危険度算出手段43による推定危険度の算出結果に基づいて、危険度を算出する(S106)。危険度算出手段44による危険度の算出結果は、検出信頼度補正値算出手段45に入力される。危険度の算出の例は、前述の図4に示すが如くである。

0056

ステップ107において、検出信頼度補正値算出手段45は、歩行者認識手段41が算出した検出信頼度を、危険度算出手段44が算出した危険度に応じて補正して検出信頼度補正値を算出する(S107)。検出信頼度補正値算出手段45により算出された検出信頼度補正値は、注意喚起手段46に入力される。検出信頼度補正値の算出の例は、前述の通りである。

0057

ステップ108において、注意喚起手段46は、検出信頼度補正値算出手段45が算出した検出信頼度補正値に基づいて、注意喚起表示の必要性を判定する(S108)。注意喚起表示の必要性は、検出信頼度補正値算出手段45が算出した検出信頼度補正値が予め定められた表示判定閾値より大きいか否かによって判定される。ステップ108で、検出信頼度補正値が予め定められた表示判定閾値より大きい場合には、注意喚起手段46は、注意喚起が必要であると判定し(図7のYES)、ステップ109に移行する。ステップ109において、注意喚起手段46は、注意喚起信号を表示部60に出力する(S109)。注意喚起手段46から出力された注意喚起信号は、例えば前述の図6(2)及び図6(3)に示したように、映像合成手段35で合成された映像信号に重畳されて表示部60で表示される。注意喚起手段46は、障害物がなくなると、表示部60への注意喚起信号の出力を停止する。その結果、例えば前述の図6(2)及び図6(3)に示した注意喚起信号である注意喚起枠110や111は、消灯する。

0058

ステップ108で、検出信頼度補正値が予め定められた表示判定閾値以下である場合には、注意喚起手段46は、注意喚起が必要でないと判定し(図7のNO)、ステップ110に移行する。ステップ110において、注意喚起手段46は、注意喚起信号を表示部60に出力しない(S110)。その結果、例えば前述の図6(1)に示したように、映像合成手段35で合成された映像信号のみが表示部60で表示される。

0059

本実施の形態によれば、映像取得部が取得した映像から歩行者等の障害物を認識して障害物の位置及び検出信頼度を算出し、更に、算出した障害物の位置における輝度を算出する。又、走行中の車両の車速、操舵角等から障害物と車両とが衝突をする危険性の度合いを推定した値である推定危険度を算出する。そして、算出した輝度と推定危険度から、障害物と車両とが衝突をする危険性の度合いを示す危険度を2次元で算出する。更に、算出した危険度に応じた検出信頼度補正値を算出する。そして、算出した検出信頼度補正値が所定の表示判定閾値よりも大きければ注意喚起信号を出力し、映像取得部が取得した映像に重畳して表示部に表示する(注意喚起を行う)。算出した検出信頼度補正値が所定の表示判定閾値以下であれば注意喚起信号を出力せず、映像取得部が取得した映像のみを表示部に表示する(注意喚起を行わない)。

0060

すなわち、検出信頼度を、危険度に応じて補正して検出信頼度補正値を算出し、算出した検出信頼度補正値を表示判定閾値と比較することにより、表示部60に注意喚起信号を出力するか否かを判定する。その結果、検出信頼度が高く、かつ、危険度が高いほど(間違いなく危険が迫っている場合ほど)表示部60に注意喚起信号が出力され、確実に注意喚起を行うことができる。一方、そうでない場合には、注意喚起を行わず運転者の視線を表示部60に誘導せずに、運転者の車両の前方に対する注意力を維持させることができる。このように、車両と障害物との衝突の危険度や障害物の検出信頼度を考慮して、必要な場合に運転者に注意喚起を行うことが可能となる。

0061

以上、好ましい実施の形態について詳説したが、上述した実施の形態に制限されることはなく、特許請求の範囲に記載された範囲を逸脱することなく、上述した実施の形態に種々の変形及び置換を加えることができる。

0062

例えば、本実施の形態では、センサ部50として、コンライトセンサ51、車速センサ52、操舵角センサ53、及び距離センサ54を用いる例を示したが、これらのセンサに代えて、又は、これらのセンサに加えて、他のセンサを用いても構わない。他のセンサの例としては、例えば、傾斜センサやGPS(Global Positioning System)等を挙げることができる。傾斜センサやGPSを用いることにより、車両の走行状況現在車両が走行している所が、市街地であるか郊外であるか等)を判断することができる。

0063

10車両用周辺監視装置
20映像取得部
21レンズ
22 第1のプリズム
23 第2のプリズム
24 第1の撮像素子
25 第2の撮像素子
30信号処理部
31基準信号生成手段
32 第1の入力信号処理手段
33 第2の入力信号処理手段
35映像合成手段
41障害物認識手段
42輝度算出手段
43推定危険度算出手段
44 危険度算出手段
45検出信頼度補正値算出手段
46注意喚起手段
50センサ部
51コンライトセンサ
52車速センサ
53操舵角センサ
54距離センサ
60 表示部
101 車両
102ヘッドライト
103a〜103d ヘッドライトの等輝度曲線
104障害物
105円旋回半径Rの軌跡
110,111注意喚起枠
d 距離

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

新着 最近 公開された関連が強い 技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する挑戦したい社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ