図面 (/)

技術 電子制御装置

出願人 株式会社デンソー
発明者 渡邉泰斗柳川博彦
出願日 2019年2月14日 (1年9ヶ月経過) 出願番号 2019-024395
公開日 2020年8月31日 (2ヶ月経過) 公開番号 2020-136755
状態 未査定
技術分野 イメージ分析 画像処理 交通制御システム 閉回路テレビジョンシステム 航行(Navigation)
主要キーワード 制御実行装置 報知制御装置 許容閾値 遷移的 出力生成 予測期間 シフトレバ 予測軌道
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年8月31日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (12)

課題

鳥瞰図画像において立体物の表示が誤認を生じさせ得る状況において、誤認に基づく不都合を抑制できる技術を提供する。

解決手段

車両に搭載される電子制御装置30は、撮像画像取得部35と、鳥瞰図画像生成部36と、軌道推定部37と、状況判断部38と、出力部38と、を備える。状況判断部は、軌道推定部にて予測された車両の軌道である予測軌道に存在する物体である対象物体について、鳥瞰図画像における対象物体の表示が注意状況であるか否かを判断する。出力部は、状況判断部にて注意状況であると判断された場合に、状況判断部による判断結果に基づく出力を行う。

概要

背景

従来、車両に搭載されたカメラから該車両の周囲を撮像した撮像画像を取得し、撮像画像に基づいて車両の周囲の物体と車両との距離に関する出力を行う技術が知られている。
例えば、下記特許文献1には、車両後部からの距離を示す距離表示線を撮像画像に重ねて表示することによって、運転者に物体と車両との距離を把握させる技術が開示されている。

概要

鳥瞰画像において立体物の表示が誤認を生じさせ得る状況において、誤認に基づく不都合を抑制できる技術を提供する。車両に搭載される電子制御装置30は、撮像画像取得部35と、鳥瞰画像生成部36と、軌道推定部37と、状況判断部38と、出力部38と、を備える。状況判断部は、軌道推定部にて予測された車両の軌道である予測軌道に存在する物体である対象物体について、鳥瞰画像における対象物体の表示が注意状況であるか否かを判断する。出力部は、状況判断部にて注意状況であると判断された場合に、状況判断部による判断結果に基づく出力を行う。

目的

本開示の1つの局面は、鳥瞰図画像において立体物の表示が誤認を生じさせ得る状況において、誤認に基づく不都合を抑制できる技術を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

車両に搭載される電子制御装置(30)であって、前記車両に搭載されたカメラから地面を含む前記車両の周囲が撮像された撮像画像を繰り返し取得する撮像画像取得部(35)と、前記撮像画像に基づいて、鳥瞰図画像を生成する鳥瞰図画像生成部(36、61)と、前記車両の軌道予測する軌道推定部(37)と、前記軌道推定部にて予測された前記車両の軌道である予測軌道に存在する物体である対象物体について、前記鳥瞰図画像における前記対象物体の表示が注意状況であるか否かを判断するように構成された状況判断部(38、S150、S160)と、前記状況判断部にて前記注意状況であると判断された場合に、前記状況判断部による判断結果に基づく出力を行うように構成された出力部(38、S210)と、を備える電子制御装置。

請求項2

請求項1に記載の電子制御装置であって、前記状況判断部(S160)は、前記対象物体について前記接地点が前記予測軌道に接するか否かを判断し、前記対象物体について前記接地点が前記予測軌道に接していない場合に、前記注意状況であると判断するように構成された電子制御装置。

請求項3

請求項2に記載の電子制御装置であって、前記注意状況であると判断された場合に、前記対象物体について下端部の高さを取得し、前記下端部の高さと前記車両の高さとの差が予め定められた許容閾値未満であるか否かを判断するように構成された高さ判断部(38、S180)を更に備える電子制御装置。

請求項4

請求項3に記載の電子制御装置であって、前記出力部は、前記状況判断部にて前記注意状況であると判断され、且つ、前記対象物体の下端部の高さと前記車両の高さとの差が予め定められた許容閾値未満であると判断された場合に、前記判断結果に基づく出力を行うように構成された電子制御装置。

請求項5

請求項3又は請求項4に記載の電子制御装置であって、前記出力部は、前記状況判断部にて前記注意状況であると判断され、且つ、前記対象物体の下端部の高さと前記車両の高さとの差が予め定められた許容閾値以上であると判断された場合に、前記判断結果に基づく出力を行わないように構成された電子制御装置。

請求項6

請求項2から請求項5のいずれか一項に記載の電子制御装置であって、前記車両の速度が予め定められた車速閾値以上であるか否かを判断するように構成された車速判断部(38、S190)を更に備え、前記出力部は、前記状況判断部にて前記注意状況であると判断され、且つ、前記車両の速度が前記車速閾値以上であると判断された場合に、前記判断結果に基づく出力を行うように構成された電子制御装置。

請求項7

請求2から請求項6のいずれか一項に記載の電子制御装置であって、前記状況判断部(S150)は、前記対象物体について前記接地点が前記予測軌道に接している場合に、前記注意状況でないと判断するように構成された電子制御装置。

請求項8

請求項7に記載の電子制御装置であって、前記注意状況でないと判断された場合に、前記対象物体における非接地点であって、前記車両からの距離が前記車両から前記対象物体の前記接地点迄の距離よりも小さい近接非接地点、が有るか否かを判断するように構成された近接判断部(38、S200)と、前記近接判断部によって、前記近接非接地点が有ると判断された場合に、報知を行う報知装置に報知を行わせるように構成された近接報知部(38、S210)と、を更に備える電子制御装置。

技術分野

0001

本開示は、車両に搭載された電子制御装置に関する。

背景技術

0002

従来、車両に搭載されたカメラから該車両の周囲を撮像した撮像画像を取得し、撮像画像に基づいて車両の周囲の物体と車両との距離に関する出力を行う技術が知られている。
例えば、下記特許文献1には、車両後部からの距離を示す距離表示線を撮像画像に重ねて表示することによって、運転者に物体と車両との距離を把握させる技術が開示されている。

先行技術

0003

特開2010−184604号公報

発明が解決しようとする課題

0004

また例えば、運転者に物体と車両との距離を把握させる技術として、車両の周囲を撮像した撮像画像に基づいて鳥瞰図画像を生成し、該鳥瞰図画像を表示装置に表示する技術が知られている。

0005

但し、鳥瞰図画像において、立体物遠方に向けて拡大され、且つ、歪んだ表示となる。しかも、路面からの高さが大きいほど歪みも大きくなる。その結果、鳥瞰図画像において、立体物の表示が距離や形状等に関して誤認を生じさせる状況が生じ得る。

0006

本開示の1つの局面は、鳥瞰図画像において立体物の表示が誤認を生じさせ得る状況において、誤認に基づく不都合を抑制できる技術を提供することにある。

課題を解決するための手段

0007

本開示の一態様は、車両に搭載される電子制御装置(30)であって、撮像画像取得部(35)と、鳥瞰図画像生成部(36、61)と、軌道推定部(37)と、状況判断部(38、S150、S160)と、出力部(38、S210)と、を備える。撮像画像取得部は、車両に搭載されたカメラから地面を含む車両の周囲が撮像された撮像画像を繰り返し取得する。鳥瞰図画像生成部は、撮像画像に基づいて、鳥瞰図画像を生成する。軌道推定部は、車両の軌道を予測する。

0008

状況判断部は、軌道推定部にて予測された車両の軌道である予測軌道に存在する物体である対象物体について、鳥瞰図画像における対象物体の表示が注意状況であるか否かを判断するように構成される。出力部は、状況判断部にて注意状況であると判断された場合に、状況判断部による判断結果に基づく出力を行うように構成される。

0009

注意状況は、例えば、鳥瞰図画像に基づく立体物の誤認が生じ得る状況をいう。
その結果、注意状況であるか否かの判断結果に基づく出力が行われるので、該出力に基づいて、例えば、鳥瞰図画像を見た運転者による誤認や、鳥瞰図画像の認識に基づく車両制御誤り等といった、注意状況における誤認による不都合を抑制することができる。

図面の簡単な説明

0010

運転支援装置の構成を示すブロック図。
カメラの位置及びカメラによる撮影範囲を説明する説明図。
ECUの機能を説明する説明図。
撮像画像における特徴点を説明する説明図。
ステレオカメラによる距離の検出を説明する説明図。
接地点において推定距離検出距離とが一致すること、を説明する説明図。
軌道上に存在する物体、及び軌道上方に存在する物体を説明する説明図。
出力生成処理のフローチャート
非注意状況を説明する説明図。
注意状況を説明する説明図。
近接非接地点を説明する説明図。

実施例

0011

以下、図面を参照しながら、本開示の実施形態を説明する。
[1.構成]
図1に示す運転支援装置1は、乗用車等の車両に搭載され、車両の運転者による運転支援するための装置である。以下では、運転支援装置1が搭載された車両を自車両ともいう。運転支援装置1は、電子制御装置(以下、ECU)30を備える。運転支援装置1は、カメラ部10と、センサ群20と、報知制御装置40と、車両制御装置50と、距離検出装置70と、を備えていてもよい。

0012

カメラ部10は、少なくとも1つのカメラを備える。本実施形態では、カメラ部10は、フロントカメラ11、左サイドカメラ12、右サイドカメラ13、及びリアカメラ14を備える。各カメラ11−14は、CCDイメージセンサCMOSイメージセンサを用いて構成される。

0013

図2に示すように、フロントカメラ11は、車両前方の路面が撮影範囲101となるように、例えば、車両9前端バンパーに設置される。左サイドカメラ12は、車両左側方の路面が撮影範囲102となるように、例えば、左側のサイドミラーに設置される。右サイドカメラ13は、車両右側方の路面が撮影範囲103となるように、例えば、右側のサイドミラーに設置される。リアカメラ14は、車両後方の路面が撮影範囲104となるように、例えば、車両9後端のバンパーに設置される。

0014

各カメラ11−14は、予め設定された時間間隔で繰り返し撮影し、撮影した画像である撮像画像を、例えば専用線又はCAN等の車載バスを介してECU30へ出力する。CANは登録商標である。撮像画像は、カメラ部10すなわち各カメラ11−14によって撮像された画像であって、路面を含む車両9の周囲が撮像された画像である。

0015

図1戻り説明を続ける。センサ群20は、車両情報を検出するための複数のセンサを備える。車両情報とは、センサ群20が備えるセンサによって検出される情報であって、車両9の走行に関する情報である。車両情報には、車速操舵角、進行方向等といった情報が含まれ得る。複数のセンサは、検出結果である車両情報それぞれを、例えば専用線又はCAN等の車載バスを介してECU30へ出力する。

0016

センサ群20は、例えば、車速センサ21、操舵角センサ22、シフト検出センサ23等といったセンサを備え得る。車速センサ21は、車両9の速度を検出する。操舵角センサ22は、車両9の操舵角を検出する。シフト検出センサ23は、シフトレバーが後進に設定されている場合に、車両9の進行方向が後方であることを検出する。

0017

報知制御装置40は、運転者への報知を行うための装置である。報知制御装置40は、CPU、ROM、RAM、及びフラッシュメモリ等の半導体メモリを備えたマイクロコンピュータ(以下、マイコン)41と、報知を実行する報知装置42とを備える。

0018

報知装置42は、画像を表示する表示装置43や音声を出力するスピーカ44を備える。表示装置43は、車室内において、運転席における運転者の視野の範囲内に配置される。表示装置43には、例えば、コンソールパネル等に設置される液晶ディスプレイや、ウィンドシールドを用いるヘッドアップティスプレイ等が含まれ得る。

0019

マイコン41は、ECU30から出力される画像信号を、表示装置43に出力する。これにより、ECU30から出力される画像が表示装置43に表示される。
スピーカ44は、車両9の室内に配置される。マイコン41は、ECU30から出力される音声出力信号に基づき、スピーカ44に音声を出力する。ここでいう音声出力信号とは、報知制御装置40を作動させる、きっかけとなる信号(以下、トリガ信号)である。なお、スピーカ44から出力される音声信号は、予め報知制御装置40に記憶された音声信号であってもよいし、ECU30から送信される音声信号であってもよい。

0020

車両制御装置50は、車両9の各種制御を行うための装置である。車両制御装置50は、マイコン51と、制御実行装置52とを備える。制御実行装置52は、例えば、ブレーキアクセルステアリング等、車両9の加減速や車両9の舵角等の制御を行うための装置やアクチュエータである。マイコン51は、ECU30からの出力信号に基づき、制御実行装置52の制御を行う。ここでいう出力信号とは、車両制御装置50を作動させる、トリガ信号である。

0021

マイコン51は、例えば、ECU30からの出力信号に基づきブレーキを作動させたり、後述する予測軌道に従って車両9を移動させたりするために、駆動信号を生成する。駆動信号は、ブレーキ、アクセル、ステアリング等といった制御実行装置52を駆動させる信号である。マイコン51は、駆動信号を制御実行装置52へ出力する。

0022

このようにして、マイコン51は、例えば走行時に、予測軌道に基づいて車両9を移動させるように、制御実行装置52を駆動させる。また、マイコン51は、例えば駐車スペース等に駐車するときに、予測軌道に基づいて車両9を移動させるように、制御実行装置52を駆動させる。

0023

距離検出装置70は、本実施形態では、ステレオカメラである。ステレオカメラは、路面を含む車両9の前方を、予め定められた周期で繰り返し撮像し、撮像した画像を、例えば専用線又はCAN等の車載バスを介してECU30へ出力する。

0024

なお、運転支援装置1は、本実施形態では、カメラ部10とは別の構成として、距離検出装置70としてのステレオカメラを備えているが、これに限定されるものではない。カメラ部10が備えるカメラが、距離検出装置70としてのステレオカメラを兼ねるように構成されてもよい。距離検出装置70としてのステレオカメラは、複数のカメラを用いるものであってもよいし、1つのカメラを用いるものであってもよい。1つのカメラを用いる場合、ステレオカメラは、該1つのカメラによって車両の移動とともに撮像された2枚の撮像画像に基づいて三角測量を行うものであってもよい。また、距離検出装置70は、ステレオカメラに限定されるものではない。距離検出装置70は、例えば、ソナーや、レーダ装置等といった、物体との距離を検出可能な装置であればよい。

0025

ECU30は、CPU31と、ROM33、RAM34、及びフラッシュメモリ等の半導体メモリ(以下、メモリ)32と、を有するマイコンを備える。ECU30が実現する各機能は、CPUが非遷移的実体記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ32が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、ECU30は、1つのマイコンを備えてもよいし、複数のマイコンを備えてもよい。

0026

ECU30は、図3に示すように、信号入力部35、画像処理部36、軌道推定部37、及び出力生成部38、を備える。また、画像処理部36は、鳥瞰変換部61、距離推定部62、物体検出部63、接地点推定部64、及び非接地部分推定部65、を備える。

0027

これら各部の機能を実現する手法はソフトウェアに限るものではなく、その一部又は全部の機能は、一つあるいは複数のハードウェアを用いて実現されてもよい。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は、デジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現されてもよい。

0028

信号入力部35は、カメラ11−14によって撮像された撮像画像を繰り返し取得して、画像処理部36に供給する。また、信号入力部35は、センサ群20や距離検出装置70によって検出された車速や操舵角等といった車両情報や検出結果等を取得して、これらを画像処理部36、軌道推定部37、及び出力生成部38に供給する。

0029

鳥瞰変換部61は、鳥瞰図画像を生成する。ここでいう鳥瞰図画像とは、カメラ部10による撮像画像を車両9の上方の視点からの画像に変換したものである。具体的には、鳥瞰変換部61は、4つのカメラ11−14による撮像画像を、予め設定された仮想視点から見た鳥瞰図に変換して合成し、車両9の周囲を写した鳥瞰図画像を生成する。鳥瞰変換部61は、生成した鳥瞰図画像をメモリ32に記憶させる。

0030

距離推定部62は、車両9の周囲に存在する物体について、カメラ部10による撮像画像に基づいて、車両9から特徴点迄の距離を推定する。ここでいう物体とは、有体物をいう。有体物には、例えば、歩行者や、他の車両や、ガードレール看板等といった各種構造物ビル等といった各種建造物等が含まれ得る。ここでいう特徴点とは、撮像画像において物体の一部として判断される、少なくとも1つの画素である。距離推定部62は、パターンマッチングシーン認識等といった技術を用いて、撮像画像から特徴点を検出する。

0031

例えば、特徴点は、他の車両の一部として判断される、少なくとも1つの画素であり得る。他の車両の一部には、タイヤバンパ−やナンバープレート等が含まれ得る。また例えば、特徴点は、後述する図9に示すように、柵200の一部として判断される、少なくとも1つの画素であり得る。柵200の一部には、脚部210や本体部220等が含まれ得る。

0032

距離推定部62は、撮像画像から推定した、車両9から特徴点までの実際の距離(以下、推定距離)をメモリ32に記録する。実際の距離とは、三次元空間における距離である。具体的には、距離推定部62は、例えば図4に示すように、撮像画像431の下端Dからの距離である画像距離と、実際の距離とを対応付けたテーブルを用いて、実際の距離(以下、推定距離)を特定する。該テーブルは、予めメモリ32に記憶されている。

0033

テーブルでは、無限遠点P迄の画像距離Liと、物体Qの特徴点までの画像距離とに基づいて、各特徴点が路面に存在するものとして、無限遠点Pの実際の距離に対応する各特徴点の実際の距離が、推定距離として対応付けられている。

0034

例えば、物体Qの特徴点gaについては、画像距離Laに基づいて、特徴点gaが路面に存在するものとして、推定距離が算出される。物体Qの他の特徴点gbについても同様に、画像距離Lbに基づいて、特徴点gbが路面に存在するものとして、推定距離が算出される。

0035

また、距離推定部62は、撮像画像に基づいて、車両9から見た各特徴点の方位を推定する。距離推定部62は、各特徴点についての方位の推定結果を推定距離と共にメモリ32に記憶する。

0036

本実施形態では、距離推定部62は、フロントカメラ11による撮像画像に基づいて、車両9の前方における物体の特徴点について、推定距離及び方位を推定する。また、距離推定部62は、リアカメラ14による撮像画像に基づいて、車両9の後方における物体の特徴点について、推定距離及び方位を推定する。

0037

但し、これに限定されるものではない。距離推定部62は、カメラ部10が備える各カメラによる撮像画像に基づいて、車両9の前方、後方、左方、右方等といった車両9の周囲において、物体の特徴点について推定距離及び方位を検出するように構成され得る。

0038

図3に戻り説明を続ける。物体検出部63は、距離検出装置70の出力に基づいて、車両9から特徴点迄の実際の距離を検出する。本実施形態では、図5に示すように、距離検出装置70としてのステレオカメラによる画像を用いて、三角測量に基づいて、物体Qにおける各特徴点gc迄の距離Mを検出する。

0039

但し、これに限定されるものではない。距離検出装置70は、例えば、ソナーやレーダ装置等といった、車両9から特徴点までの実際の距離を検出できる装置であってもよい。つまり、物体検出部63は、カメラやソナーやレーダ装置等といった距離検出装置70からの出力に基づいて、車両9から特徴点迄の、実際の距離を検出するように構成され得る。

0040

以下では、距離検出装置70の出力に基づいて検出された、車両9から特徴点迄の実際の距離を、検出距離という。また、物体検出部63は、距離検出装置70の出力に基づいて、車両9から見た特徴点の方位を検出する。物体検出部63は、各特徴点についての検出距離及び方位の検出結果をメモリ32に記憶する。

0041

図3に戻り説明を続ける。接地点推定部64は、特徴点のうちから接地点を推定する。接地点とは、特徴点のうち、接地している特徴点である。接地しているとは、路面上に存在することをいう。換言すれば、接地点は、路面に接している特徴点である。

0042

上述のように、各特徴点については、推定距離と検出距離とが算出されている。接地点推定部64は、距離推定部62によって検出された特徴点と、物体検出部63によって検出された特徴点とを対応づけ、対応付けられた特徴点それぞれについて、推定距離と検出距離とが一致するか否かを判断する。

0043

特徴点の対応づけは、検出された方位や画像等に基づいて行われ得る。そして、接地点推定部64は、推定距離と検出距離とが一致する特徴点を接地点として推定する。接地点推定部64は、特徴点のうち接地点であると推定された特徴点については、接地点であることを表す情報をメモリ32に記憶する。

0044

このような方法で接地点が推定される理由を、図6に基づいて説明する。図6に示す物体Qにおいて、特徴点301は接地点であり、特徴点302は非接地点である。非接地点とは、特徴点のうち接地していない特徴点をいう。

0045

ここで、特徴点301については、カメラ部10及び距離検出装置70の観測点Rから特徴点迄の水平方向における距離(以下、水平距離)は、カメラ部10による検出結果及び距離検出装置70による検出結果のいずれもがLcである。つまり、接地点としての特徴点301については、推定距離及び検出距離が一致する。なお、ここでいう「一致」とは、厳密な意味での一致に限るものではなく、同様の効果を奏するのであれば厳密に一致でなくてもよい。

0046

一方、非接地点としての特徴点302については、カメラ部10による撮像画像では、観測点Rから特徴点迄の水平方向における距離が実際の特徴点302の位置よりも遠方の位置310に有るように観測される。このため、特徴点302については、推定距離であるLdが検出距離であるLcよりも大きい。つまり、非接地点としての特徴点302については、推定距離及び検出距離が一致しない。

0047

このため、接地点推定部64は、推定距離と検出距離とが一致する特徴点を接地点として推定するのである。例えば、他の車両のタイヤの下端部における特徴点や、柵200の脚部210の下端部における特徴点等が、接地点として推定され得る。

0048

非接地部分推定部65は、特徴点のうちから非接地点を推定する。非接地点は、上述のように、接地していない特徴点であり、路面の上方に存在する、宙に浮いている特徴点である。

0049

非接地部分推定部65は、上述のように、距離推定部62によって検出された特徴点と、物体検出部63によって検出された特徴点とを対応づけ、対応づけられた特徴点のうち、推定距離と検出距離とが一致しない特徴点を非接地点として推定する。非接地部分推定部65は、特徴点のうち非接地点であると推定された特徴点については、非接地点であることを表す情報をメモリ32に記憶する。

0050

例えば、他の車両のバンパーやナンバープレートにおける特徴点や、柵200の本体部220における特徴点等が、非接地点として推定され得る。また、バンパーやナンバープレートや、柵200の本体部220等が、非接地部分に相当する。非接地部分とは、立体物の一部であって、接地点を含まず、非接地点のみを含む部分である。非接地部分は、接地しておらず、路面から宙に浮いている。

0051

なお、検出物体の接地点、非接地点を推定する方法は、これに限定されるものではなく、種々の公知である方法が用いられ得る。
軌道推定部37は、センサ群20から出力される車両情報に基づいて、予測軌道を推定する。予測軌道とは、車両9がこれから進行すると予測される軌道である。例えば、軌道推定部37は、車速、操舵角、及び後進しているか否か、進行方向といった上述の車両情報に基づいて、予測軌道を推定する。軌道推定部37は、現時点から予め定められた予測期間後迄の予測軌道を推定する。予測時間は、例えば数秒−数十秒後に設定され得る。

0052

軌道推定部37は、例えば駐車スペースに駐車するときのように、車両9を後進させる際に、予測軌道を推定してもよい。また、軌道推定部37は、車両9が前進する際に、予測軌道を推定してもよい。

0053

具体的には、後述する図9に示すように、予測軌道130とは、予測される車両9の軌道である。本実施形態では、予測軌道130は、予測される左タイヤの軌道110と予測される右タイヤの軌道120との間の予め定められた幅の帯状の領域である。予測軌道130の幅は、左右タイヤ間の幅と同じ幅に設定され得る。但し、これに限定されるものではない。予測軌道の幅は、左右タイヤ間の幅よりも狭い幅や、車幅と同じ幅や、車幅よりも所定幅だけ広い幅等、に設定され得る。

0054

このようにして、軌道推定部37は、予測される左タイヤの軌道110、及び予測される右タイヤの軌道120のうち少なくとも一方に基づいて、現時点から予測期間後までの所定幅の予測軌道130を推定する。軌道推定部37は、推定した予測軌道の位置を、例えば、距離を用いた直交座標、又は方位と距離とを用いた極座標で表し、推定結果としてメモリ32に記憶させる。

0055

なお、予測軌道を推定する方法は、これに限定されるものではない。予測軌道を算出する方法は、種々の公知の方法が用いられ得る。
出力生成部38は、後述する出力生成処理を実行し、注意状況にあると判断された場合に、判断結果に基づく出力を行うように構成される。注意状況とは、例えば、鳥瞰図画像における立体物の表示が誤認を生じさせることが有り得る状況をいう。

0056

上述の注意状況と判断されたときとは、対象物体が注意状況にあるときに相当する。ここでいう対象物体とは、複数の特徴点によって表される物体であって、車両9の予測軌道に存在する物体をいう。「予測軌道に存在する」とは、予測軌道に接して存在すること、及び、予測軌道の上方に存在すること、の両方を含む。つまり、予測軌道に接する特徴点は、上述の対象物体に含まれる。また、予測軌道の上方に存在する特徴点も、上述の対象物体に含まれる。

0057

ここで、「予測軌道に接して存在する」とは、例えば図7に示す物体S1のように、「予測軌道上に存在する」ことであり、路面における予測軌道130に接して存在することをいう。例えば、他の車両におけるタイヤや、柵200における脚部210等が、「予測軌道に接して存在する」物体として挙げられる。

0058

一方、「予測軌道の上方に存在する」とは、例えば図7に示す物体S2のように、路面における予測軌道130に接することなく、予測軌道の上方に、宙に浮いて、存在することをいう。例えば、他の車両におけるバンパーやナンバープレートや、柵200における本体部220等が、「予測軌道の上方に存在する」物体として挙げられる。

0059

つまり、上述の例では、タイヤ、バンパー、ナンバープレートのそれぞれ、及び、これらを含む他の車両が対象物体に相当する。また、脚部210、本体部220のそれぞれ、及びこれらを含む柵200が対象物体に相当する。

0060

[2.処理]
次に、出力生成部38が実行する出力生成処理について、図8のフローチャートを用いて説明する。出力生成処理は、例えば数msec−数十msecといった、予め定められた周期で繰り返し実行される。

0061

出力生成部38は、はじめに、S100では、カメラ部10による撮像画像を取得する。
次に、出力生成部38は、S110では、鳥瞰変換部61にて生成された鳥瞰図画像を取得し、取得した鳥瞰図画像を表示装置43へ出力する。これにより、表示装置43に鳥瞰図画像が表示される。

0062

続いて、出力生成部38は、S120では、センサ群20による各種検出結果である、車両情報を取得する。
次に、出力生成部38は、S130では、軌道推定部37による推定結果である、予測軌道の位置を取得する。

0063

続いて、出力生成部38は、S140では、画像処理部36による処理結果を取得する。処理結果には、距離推定部62によって推定された各特徴点の推定距離及び位置、物体検出部63によって検出された各特徴点の検出距離及び位置、特徴点のうち接地点であることを表す情報、特徴点のうち非接地点であることを表す情報、等が含まれ得る。

0064

次に、出力生成部38は、S150では、非注意状況であるか否かを判断する。非注意状況とは、注意状況でない状況をいう。非注意状況では、鳥瞰図画像における立体物の表示が誤認を生じさせることが生じにくい。具体的には、出力生成部38は、少なくとも1つの接地点が予測軌道に接している場合に、非注意状況であると判断する。つまり、注意状況でないと判断する。該少なくとも1つの接地点は、対象物体に含まれる接地点である。接地点が予測軌道に接している場合、接地点が路面に表される予測軌道の範囲内に存在する。

0065

ここでは、出力生成部38は、接地点推定部64によって推定された接地点が予測軌道に接している場合に、非注意状況であると判断する。また、出力生成部38は、接地点推定部64によって推定された接地点が予測軌道に接していない場合に、非注意状況でないと判断する。
例えば、図9では、柵200の脚部210に含まれる接地点211のうちの少なくとも1つが予測軌道130に接しているので、非注意状況である、と判断される。接地点については、カメラ部10による撮像画像が鳥瞰図画像に変換された際に車両9からの距離が正確に反映される。そのため、対象物体の接地点が予測軌道130に接している場合、該対象物体については誤認が生じ難いと考えられ、非注意状況と判断されるのである。

0066

ここで、出力生成部38は、非注意状況であると判断した場合に処理をS200へ移行させる。一方、出力生成部38は、非注意状況でないと判断した場合に処理をS160へ移行させる。
出力生成部38は、S160では、注意状況であるか否かを判断する。具体的には、出力生成部38は、上述の少なくとも1つの接地点が予測軌道に接していない場合に、注意状況であると判断する。接地点が予測軌道に接していないとは、接地点が路面に表される予測軌道の範囲外に存在すること、をいう。

0067

本実施形態では、出力生成部38は、非接地部分推定部65によって推定された非接地点が予測軌道の上方に存在する場合に、注意状況であると判断する。予測軌道の上方に存在する非接地点を含む物体が、対象物体に相当する。

0068

例えば、図10では、柵200において、脚部210に含まれる接地点211は予測軌道130に接しておらず、且つ、本体部220に含まれる非接地点212は予測軌道130の上方に存在するので、注意状況であると判断される。

0069

ここで、出力生成部38は、注意状況であると判断した場合に処理をS170へ移行させ、一方、注意状況でないと判断した場合に本出力生成処理を終了する。
出力生成部38は、S170では、対象物体の下端部の高さを推定する。ここでいう対象物体は、予測軌道の上方に存在する非接地点を含む物体であって、宙に浮いている物体である。高さとは、路面からの高さである。例えば、図10の状況において、出力生成部38は、本体部220を対象物体として、本体部200の下端部の高さを推定する。出力生成部38は、物体検出部63による検出結果に基づいて、路面から本体部200の下端部における特徴点までの高さを、本体部200の下端部の高さとして推定する。

0070

なお、ECU30は、出力生成部38が実行する本出力生成処理とは別の処理にて、対象物体の下端部の高さを推定するように構成されてもよい。そして、出力生成部38は、本ステップで、推定された高さを取得するように構成されてもよい。

0071

次に、出力生成部38は、S180では、対象物体について下端部の高さと車両9の高さ(以下、車高)との差が、予め定められた許容閾値未満であるか否かを判断する。ここでいう対象物体とは、S160における予測軌道上方の非接地点を含む物体である。車高、及び許容閾値は、予めメモリ32に記憶されている。許容閾値は、車両9が対象物体の下端部に接触しない程度の余裕を有する間隔に設定されている。

0072

出力生成部38は、対象物体の下端部の高さと車高との差が許容閾値未満である場合に処理をS210へ移行させ、上述の差分が許容閾値以上である場合に処理をS190へ移行させる。

0073

出力生成部38は、S190では、車両9の速度(以下、車速)が、予め定められた速度(以下、車速閾値)以上であるか否かを判断する。車速は、S120にて取得されている。車速閾値は、メモリ32に予め記憶されている。車速閾値は、運転者が瞬時のブレーキ操作によって走行中の車両9を停止させることが可能な程度の速度に設定され得る。具体的には、車速閾値は、時速数km以下といった、車速に設定され得る。この車速は、駐車時に車両9を操作するために適した速度でもある。

0074

ここで、出力生成部38は、車速が車速閾値以上である場合に処理をS210へ移行させ、一方、車速が車速閾値未満である場合に、出力生成処理を終了する。
出力生成部38は、非注意状況であると判断されて移行するS200では、近接非接地点、が有るか否かを判断する。ここでいう近接非接地点とは、予測軌道130の上方に存在する非接地点であって、車両9からの距離が車両9からS150で特定された予測軌道130に接する接地点迄の距離よりも小さい非接地点をいう。S150で特定された、予測軌道130に接する接地点、を含む物体が対象物体に相当する。

0075

例えば、出力生成部38は、図11に示すように、非接地部分推定部65によって、水平方向において、対象物体Qに含まれる接地点gdよりも車両9に近い位置に対象物体Qに含まれる非接地点geが検出されている場合に、近接非接地点が有ると判断する。近接接地点は対象物体に含まれる。近接非接地点が有るということは、対象物体の接地点よりも車両9に近い位置に物体が存在することを表す。

0076

ここで、出力生成部38は、近接非接地点が有ると判断した場合、処理をS210へ移行させる。一方、出力生成部38は、近接非接地点が無いと判断した場合、本出力生成処理を終了する。

0077

出力生成部38は、S210では、注意状況であるか否かの判断結果に基づく出力を行う。本実施形態では、出力生成部38は、注意状況である場合に、報知装置42に、運転者を含む車両9の乗員への報知を行わせる。ここでいう報知とは、鳥瞰図画像に対する注意を促す報知であって、特に、鳥瞰図画像内における自車両9からの距離に対して注意を促す報知である。

0078

例えば、報知は、表示装置43に、鳥瞰図画像に重畳して所定の報知内容を示す画像を表示させる態様で行われ得る。また例えば、報知は、スピーカ44に、所定の報知内容を示す音声を出力させる態様で行われ得る。音声は、報知内容を示すメッセージでもよいし、ブザー音のような警告音でもよい。

0079

上述の報知内容には、「障害物が自車両9の近くに存在する可能性があるので注意すること」、といった内容が含まれ得る。また、上述の報知内容には、「鳥瞰図画像には表示されていないかもしれないが、障害物が自車両9の近くに存在する可能性があるので注意すること」、といった内容が含まれ得る。また、上述の報知内容には、「鳥瞰図画像における自車両9から障害物までの距離の精度が良くない可能性があるので注意すること」、といった内容が含まれ得る。

0080

上述の障害物とは、上述の非接地点によって表される対象物体である。つまり、予測軌道の上方に存在する、宙に浮いている物体である。
なお、本実施形態では、出力生成部38は、近接非接地点が有ると判断した場合には、近接非接地点との衝突の可能性があることについて車両9の乗員に注意を促すための報知を行う。

0081

出力生成部38は、これらの報知を行った後に、出力生成処理を終了する。
[3.効果]
以上詳述した実施形態によれば、以下の効果を得ることができる。

0082

(3a)鳥瞰図画像においては、撮像画像を鳥瞰図画像へ変換する際に立体物は路面へ傾いたような表示となり、鳥瞰図画像において立体物の表示が距離や形状等に関して誤認を生じさせる状況、すなわち注意状況が生じ得る。

0083

そこで、ECU30は、S210にて、注意状況であると判断された場合に、判断結果に基づく出力を行う。本実施形態では、この結果、該出力に基づいて、注意状況において誤認による不都合を抑制することが可能となる。ここでいう不都合とは、例えば、鳥瞰図画像を見た運転者による誤認や、鳥瞰図画像に基づく車両制御の誤り、等を含む。

0084

例えば、ECU30は、S210では、注意状況であるという判断結果に基づいて、報知を行う報知装置42に報知を行わせるための出力を行う。この結果、注意状況である場合に、車両9の乗員に対して注意を促すことができる。

0085

(3b)ECU30は、S140にて、対象物体の接地点を推定するように構成された接地点推定部64から推定結果を取得する。ECU30は、S160では、対象物体の接地点が予測軌道に接しているか否かを判断し、対象物体の接地点が予測軌道に接していない場合に、注意状況であると判断する。つまり、対象物体が予測軌道の上方に存在している場合には、鳥瞰図における立体物の表示について上述の誤認が生じ得るので、このような状況を注意状況であると判断する。

0086

この結果、対象物体が予測軌道の上方に存在している状況を注意状況として検出することができる。そして、このような注意状況において報知を行うことができる。
(3c)ECU30は、S180では、注意状況であると判断された場合に、対象物体の下端部の高さを取得し、対象物体の下端部の高さと車高との差が許容閾値未満であるか否かを判断する。この結果、高さ方向において対象物体と車両9との衝突のおそれがあるか否か、を判断することができる。そして、この判断結果を利用した各種の出力や制御等を行うことが可能となる。

0087

(3d)ECU30は、S210では、注意状況であると判断され、且つ、対象物体の下端部の高さと車高との差が許容閾値未満であると判断された場合に、判断結果に基づく出力を行う。本実施形態では、ECU30は、注意状況であると判断され、且つ、上述の高さの差が許容閾値未満であると判断された場合に、報知を行う。

0088

例えば、図10に示す注意状況において、対象物体である本体部220の下端部の高さh1と車高h0との差が許容閾値未満であると判断された場合に、ECU30は報知を行う。

0089

この結果、注意状況において対象物体と車両9との高さ方向での衝突のおそれがあることについて、車両9の乗員に注意を促すことができる。そして、対象物体と車両9との衝突を抑制することができる。

0090

(3e)ECU30は、S190では、車両9の速度が車速閾値以上であるか否かを判断する。ECU30は、S210では、少なくとも、注意状況であると判断され、且つ、車速が車速閾値以上であると判断された場合に、判断結果に基づく出力を行う。

0091

本実施形態では、ECU30は、注意状況であると判断され、且つ、対象物体の下端部の高さと車高との差が許容閾値以上であると判断され、更に、車速が車速閾値以上であると判断された場合には、このような判断結果に基づいて報知を行う。

0092

例えば、図10に示す注意状況において、対象物体である本体部220の下端部の高さh1と車高h0との差が許容閾値以上であると判断された場合であっても、車両9の速度が車速閾値以上である場合には、ECU30は報知を行う。この結果、車両9の運転者に、必要以上の速度を出させないように、より安全な運転を促すことができる。

0093

(3f)ECU30は、S160では、対象物体の接地点が予測軌道に接している場合に、注意状況でないと判断する。対象物体の接地点が予測軌道に接する場合には、対象物体の接地点については鳥瞰図画像において誤認が生じ難いからである。この結果、対象物体が予測軌道に接している状況を注意状況として検出することができる。

0094

(3g)ECU30は、S200では、注意状況でないと判断された場合に、対象物体における非接地点であって、車両9からの距離が該車両9から対象物体の接地点迄の距離よりも小さい近接非接地点、が有るか否かを判断する。ECU30は、近接非接地部分が有ると判断された場合に、報知を行う報知装置42に報知を行わせる。
この結果、例えば図11に示すように、接地点が予測軌道に接しており、且つ、車両9に近づく側に突出しているような物体Qが存在する場合、注意状況であるとして報知が行われるので、車両9の乗員に注意を促すことができる。

0095

[4.他の実施形態]
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。

0096

(4a)ECU30は、注意状況であると判断され、且つ、対象物体の下端部の高さと車高さとの差が許容閾値以上であると判断された場合に、判断結果に基づく出力を行わないように構成されてもよい。ここでいう出力を行うとは、報知を行うことであってもよい。つまり、ECU30は、上述のように判断された場合に、報知を行わないように構成されてもよい。

0097

本変形例では、図8のフローチャートにおいて、ECU30は、S180では、対象物体の下端部の高さと車高との差が許容閾値未満である場合に、出力生成処理を終了するように構成される。また、S190は削除される。

0098

例えば、図10に示す注意状況において、対象物体である本体部220の下端部の高さh1と車高h0との差が許容閾値以上であると判断された場合に、ECU30は報知を行わない。この結果、注意状況であっても、対象物体と車両9との高さ方向での衝突のおそれが少ない状況においては、報知によって車両9の乗員に煩わしさを与えることを抑制することができる。

0099

(4b)ECU30は、注意状況であると判断された場合に判断結果に基づく出力を行うように構成され、且つ、注意状況でないと判断された場合に判断結果に基づく出力を行わないように構成されてもよい。ここでいう出力を行うとは、報知を行うことであってもよい。

0100

本変形例では、図8のフローチャートにおいて、ECU30は、S150では、非注意状況であると判断された場合に、出力生成処理を終了するように構成される。また、ECU30は、S160では、注意状況であると判断した場合に処理をS210へ移行させて、S210にて報知を行うように構成される。S200は削除される。また、S170−S190が削除される。

0101

この結果、注意状況である場合は常に、車両9の乗員に報知を促すことができる。また、例えば鳥瞰図画像における立体物の表示について注意状況であるか否かに関わらず常に何らかの報知を行うように構成された比較装置よりも、車両9の乗員に不要な報知による煩わしさを与えることを抑制できる。

0102

(4c)上記実施形態では、出力生成部38は、S210にて、上述の報知を行うように構成されていたが、これに限定されるものではない。例えば、出力生成部38は、注意状況であると判断された場合に、鳥瞰図画像に基づく車両9の制御を中止する、といった出力を行うように構成され得る。ここでいう鳥瞰図画像に基づく車両9の制御には、鳥瞰図画像における予測軌道130に沿って車両9を走行させたり、鳥瞰図画像において検出された物体との衝突を避けるように車両9を走行させたり、といった制御が含まれ得る。

0103

この結果、鳥瞰図画像に基づく車両制御の誤りを抑制することができる。
(4d)上記実施形態では、ECU30では、出力生成部38は、S150では、接地点が予測軌道130に位置しているか否かに基づいて、注意状況であるか否かを判断していた。また、出力生成部38は、S160では、非接地点が予測軌道130の上方に位置していることに基づいて、注意状況でないと判断していた。但し、これに限定されるものではない。

0104

出力生成部38は、S150では、複数の特徴点を含む特徴点の固まりを物体の一部として特定してもよい。そして、出力生成部38は、特徴点の固まりにおける下端部の特徴点が予測軌道130に接している場合に、注意状況でないと判断してもよい。ここで、特徴点の固まりによって表される物体の一部が対象物体に相当する。また、特徴点の固まりにおける下端部の特徴点であって予測軌道130に接している特徴点が接地点に相当する。

0105

また、出力生成部38は、S160では、上述の特徴点の固まりにおける下端部の特徴点が予測軌道130に接しておらず該予測軌道130の上方に存在する場合に、注意状況であると判断してもよい。ここで、特徴点の固まりによって表される物体の一部が対象物体に相当する。また、特徴点の固まりにおける下端部の特徴点であって予測軌道130の上方に存在する特徴点が非接地点に相当する。

0106

(4e)本開示に記載のECU30及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載のECU30及びその手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載のECU30及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されてもよい。ECU30に含まれる各部の機能を実現する手法には、必ずしもソフトウェアが含まれている必要はなく、その全部の機能が、一つあるいは複数のハードウェアを用いて実現されてもよい。

0107

(4f)上記実施形態における1つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、1つの構成要素が有する1つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、1つの構成要素によって実現したり、複数の構成要素によって実現される1つの機能を、1つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。

0108

(4g)上述したECU30、ECU30を備える運転支援装置1、当該ECU30を機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、運転支援方法など、種々の形態で本開示を実現することもできる。

0109

なお、上記実施形態において、ECU30が電子制御装置に相当する。また、信号入力部35が撮像画像取得部に相当し、画像処理部36及び鳥瞰変換部61が鳥瞰図画像生成部に相当し、出力生成部38が状況判断部、出力部、高さ判断部、車速判断部、近接判断部、近接報知部に相当する。また、S150、S160が状況判断部としての処理に相当し、S210が出力部としての処理に相当し、S180が高さ判断部としての処理に相当し、S190が車速判断部としての処理に相当し、S200が近接判断部としての処理に相当し、S210が近接報知部としての処理に相当する。

0110

30 ECU、35信号入力部、36画像処理部、37軌道推定部、38出力生成部。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ