図面 (/)

技術 運転支援装置、運転支援システム、および運転支援カメラユニット

出願人 三菱電機株式会社
発明者 三次達也
出願日 2010年6月18日 (9年2ヶ月経過) 出願番号 2012-520170
公開日 2013年8月15日 (6年0ヶ月経過) 公開番号 WO2011-158304
状態 特許登録済
技術分野 交通制御システム 乗員・歩行者の保護 車両外部の荷台、物品保持装置 光学的視認装置
主要キーワード 取り付け情報 セレクトバー 水平角度θ 停止移行 警告距離 余裕幅 確定条件 ホストユニット
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2013年8月15日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (19)

課題・解決手段

車両に取り付けられ車両が移動する方向の路面を撮像する広角レンズを有するカメラ2と接続され、カメラ2が撮像した画像であるカメラ画像に基づく画像を表示装置18に表示する運転支援装置1であって、車両の変速機の状態であるギア状態と速度とを含む車両情報を取得して、車両が移動可能で停止している状態である移動準備状態、移動を開始してから所定の移動中条件が成立するまでで車両が移動している状態である移動開始状態、移動中条件が成立した後で車両が移動している状態である移動中状態を判断し、車両状態が移動準備状態または移動開始状態である場合に歪を有するが広い範囲が見える画像である広角画像を生成し、車両状態が移動中状態である場合にカメラ画像からレンズ形状による歪と射影方式による歪を除去した画像である無歪画像を生成する。

概要

背景

運転支援装置は、車両に取り付けたカメラにより車両の周囲の状況を撮像し、撮像したカメラ画像を車両の状態に応じて変化させて表示させるようにしている。例えば、車両の周囲の状況を複数のカメラで撮像し、車両が停車しているときには運転者が周囲の状況を把握しやすいようカメラ数に対応した視点数の画像を表示し、車両が移動しているときには運転者が表示を理解しやすいよう各カメラで撮像した画像を1視点の画像に合成して表示する運転支援装置がある(特許文献1)。また、実際のカメラの位置とは異なる位置に仮想カメラを設定し、ハンドル操舵角が大きいときには仮想カメラの画角を大きくし、ハンドルの操舵角が小さいときには仮想カメラの画角を小さくすることにより、車両移動時の障害物までの距離を把握しやすくする運転支援装置がある(特許文献2)。

概要

車両に取り付けられ車両が移動する方向の路面を撮像する広角レンズを有するカメラ2と接続され、カメラ2が撮像した画像であるカメラ画像に基づく画像を表示装置18に表示する運転支援装置1であって、車両の変速機の状態であるギア状態と速度とを含む車両情報を取得して、車両が移動可能で停止している状態である移動準備状態、移動を開始してから所定の移動中条件が成立するまでで車両が移動している状態である移動開始状態、移動中条件が成立した後で車両が移動している状態である移動中状態を判断し、車両状態が移動準備状態または移動開始状態である場合に歪を有するが広い範囲が見える画像である広角画像を生成し、車両状態が移動中状態である場合にカメラ画像からレンズ形状による歪と射影方式による歪を除去した画像である無歪画像を生成する。

目的

そこで、本願発明は、車両の移動開始前と移動を開始してから所定の期間は、車両が移動する方向の路面の広い範囲を確認できる画像を、車両が移動を開始してから所定の期間が経過した後は、距離感が掴みやすい画像を表示できる運転支援装置を提供する

効果

実績

技術文献被引用数
1件
牽制数
3件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

車両に取り付けられ前記車両が移動する方向の路面を撮像する広角レンズを有するカメラと接続され、前記カメラが撮像した画像であるカメラ画像に基づく画像を表示装置に表示する運転支援装置であって、前記カメラのレンズ形状による前記カメラ画像の歪を示すレンズ歪情報、前記広角レンズの射影方式による前記カメラ画像の歪を示す射影情報を含む画像生成用情報を記憶する情報記憶部と、前記車両の変速機の状態であるギア状態と速度とを含む車両情報を取得する車両情報取得部と、前記車両情報に基づいて、前記車両の状態である車両状態を判断する車両状態判断部と、前記画像生成用情報を利用して、前記カメラ画像を前記車両状態に応じて処理して前記表示装置に表示する画像を生成する画像生成部とを備え、前記車両状態判断部が、前記車両状態として、前記車両が移動可能で停止している状態である移動準備状態、移動を開始してから所定の移動中条件が成立するまでで前記車両が移動している状態である移動開始状態、前記移動中条件が成立した後で前記車両が移動している状態である移動中状態を判断し、前記画像生成部が、前記車両状態が前記移動準備状態または前記移動開始状態である場合に歪を有するが広い範囲が見える画像である広角画像を生成し、前記車両状態が前記移動中状態である場合に前記カメラ画像から前記レンズ形状による歪と前記射影方式による歪を除去した画像である無歪画像を生成することを特徴とする運転支援装置。

請求項2

前記情報記憶部に、前記カメラとは別の位置に存在する視点の位置と前記カメラの取り付け位置との差である平行移動情報と前記視点の向きと前記カメラが取り付けられている向きとの差である回転情報からなる視点情報が記憶され、前記車両状態判断部は、移動している前記車両が停止し始めていることを検出する所定の停止移行検出条件が成立することを検出している状態である停止移行状態を判断し、前記画像生成部は、前記車両状態が前記停止移行状態である場合に前記カメラ画像から前記レンズ形状による歪と前記射影方式による歪を除去し前記視点から見た画像である別視点無歪画像を生成することを特徴とする請求項1に記載の運転支援装置。

請求項3

前記車両状態判断部は、前記停止移行状態の後で車両が停止している状態である停止状態を判断し、前記画像生成部は、前記車両状態が前記停止状態である場合に前記別視点無歪画像を生成することを特徴とする請求項2に記載の運転支援装置。

請求項4

前記車両状態判断部は、前記停止状態の後で前記車両が移動している状態である再移動状態を判断し、前記画像生成部は、前記車両状態が前記再移動状態になってから所定の移動方向状況確認期間は前記広角画像を生成することを特徴とする請求項3に記載の運転支援装置。

請求項5

前記画像生成部は、前記移動方向状況確認期間の後で前記車両状態が前記再移動状態である場合に前記別視点無歪画像を生成することを特徴とする請求項4に記載の運転支援装置。

請求項6

前記車両状態判断部は、所定の停止確定条件が成立するまでに前記車両が移動している場合に前記再移動状態を判断し、前記停止確定条件が成立した後では前記移動準備状態、前記移動開始状態および前記移動中状態を判断することを特徴とする請求項4または請求項5に記載の運転支援装置。

請求項7

前記車両が移動する方向の路面に設定されるガイド線の間隔に関するガイド線間隔情報、および前記カメラの前記車両への取り付け位置および角度を示す取り付け情報を記憶するガイド線情報記憶部と、前記ガイド線情報記憶部に記憶された情報に基づいて、前記路面に設定される前記ガイド線の前記画像生成部が生成する画像における位置に関するガイド線情報を生成するガイド線情報生成部と、前記ガイド線情報に基づいて前記ガイド線を表すガイド線画像を生成するガイド線画像生成部とを備え、前記画像生成部が生成する画像に前記ガイド線画像が重畳した画像を前記表示装置に表示することを特徴とする請求項1ないし請求項6の何れかに記載の運転支援装置。

請求項8

車両に取り付けられ前記車両が移動する方向の路面を撮像する広角レンズを有するカメラと、前記カメラに接続され、前記カメラが撮像したカメラ画像に基づく画像を表示装置に表示する請求項1ないし請求項7の何れかに記載の運転支援装置とを備える運転支援システム

請求項9

車両が移動する方向の路面の画像を撮像して、撮像したカメラ画像に基づく画像を表示装置に表示する運転支援カメラユニットであって、前記車両に取り付けられ前記路面を撮像する広角レンズを有するカメラと、前記カメラのレンズ形状による前記カメラ画像の歪を示すレンズ歪情報、前記広角レンズの射影方式による前記カメラ画像の歪を示す射影情報を含む画像生成用情報を記憶する情報記憶部と、前記車両の変速機の状態であるギア状態と速度とを含む車両情報を取得する車両情報取得部と、前記車両情報に基づいて、前記車両の状態である車両状態を判断する車両状態判断部と、前記画像生成用情報を利用して、前記カメラ画像を前記車両状態に応じて処理して前記表示装置に表示する画像を生成する画像生成部とを備え、前記車両状態判断部が、前記車両状態として、前記車両が移動可能で停止している状態である移動準備状態、移動を開始してから所定の移動中条件が成立するまでで前記車両が移動している状態である移動開始状態、前記移動中条件が成立した後で前記車両が移動している状態である移動中状態を判断し、前記画像生成部が、前記車両状態が前記移動準備状態または前記移動開始状態である場合に歪を有するが広い範囲が見える画像である広角画像を生成し、前記車両状態が前記移動中状態である場合に前記カメラ画像から前記レンズ形状による歪と前記射影方式による歪を除去した画像である無歪画像を生成することを特徴とする運転支援カメラユニット。

技術分野

0001

この発明は、停止した車両を後退あるいは前進させる際に、車両の周囲の状況を運転者視認させることにより、運転支援する運転支援装置に関するものである。

背景技術

0002

運転支援装置は、車両に取り付けたカメラにより車両の周囲の状況を撮像し、撮像したカメラ画像を車両の状態に応じて変化させて表示させるようにしている。例えば、車両の周囲の状況を複数のカメラで撮像し、車両が停車しているときには運転者が周囲の状況を把握しやすいようカメラ数に対応した視点数の画像を表示し、車両が移動しているときには運転者が表示を理解しやすいよう各カメラで撮像した画像を1視点の画像に合成して表示する運転支援装置がある(特許文献1)。また、実際のカメラの位置とは異なる位置に仮想カメラを設定し、ハンドル操舵角が大きいときには仮想カメラの画角を大きくし、ハンドルの操舵角が小さいときには仮想カメラの画角を小さくすることにより、車両移動時の障害物までの距離を把握しやすくする運転支援装置がある(特許文献2)。

先行技術

0003

特開2005−236493号公報
特開2008−149879号公報

発明が解決しようとする課題

0004

特許文献1の運転支援装置は、車両が移動し始めるとすぐに複数視点から1視点の画像に切り換えるようにしているため、移動を開始するとすぐに周囲の確認がしにくくなる。そのため、車両の周囲の状況を確認しつつゆっくりと車両を移動させることができないという問題がある。また、特許文献2の運転支援装置は、ハンドルの操舵角が小さい状態で移動を開始する場合には画角の小さい画像を表示するため、車両の移動開始時にも関わらず周囲の状況が確認しにくいという問題がある。このように、特許文献1および2に係る運転支援装置では、画像の表示が車両の状況に応じて適切に切り換えられていない。

0005

そこで、本願発明は、車両の移動開始前と移動を開始してから所定の期間は、車両が移動する方向の路面の広い範囲を確認できる画像を、車両が移動を開始してから所定の期間が経過した後は、距離感が掴みやすい画像を表示できる運転支援装置を提供することを目的とする。

課題を解決するための手段

0006

この発明に係る運転支援装置は、車両に取り付けられ前記車両が移動する方向の路面を撮像する広角レンズを有するカメラと接続され、前記カメラが撮像した画像であるカメラ画像に基づく画像を表示装置に表示する運転支援装置であって、前記カメラのレンズ形状による前記カメラ画像の歪を示すレンズ歪情報、前記広角レンズの射影方式による前記カメラ画像の歪を示す射影情報を含む画像生成用情報を記憶する情報記憶部と、前記車両の変速機の状態であるギア状態と速度とを含む車両情報を取得する車両情報取得部と、前記車両情報に基づいて、前記車両の状態である車両状態を判断する車両状態判断部と、前記画像生成用情報を利用して、前記カメラ画像を前記車両状態に応じて処理して前記表示装置に表示する画像を生成する画像生成部とを備え、前記車両状態判断部が、前記車両状態として、前記車両が移動可能で停止している状態である移動準備状態、移動を開始してから所定の移動中条件が成立するまでで前記車両が移動している状態である移動開始状態、前記移動中条件が成立した後で前記車両が移動している状態である移動中状態を判断し、前記画像生成部が、前記車両状態が前記移動準備状態または前記移動開始状態である場合に歪を有するが広い範囲が見える画像である広角画像を生成し、前記車両状態が前記移動中状態である場合に前記カメラ画像から前記レンズ形状による歪と前記射影方式による歪を除去した画像である無歪画像を生成することを特徴とするものである。

0007

この発明に係る運転支援カメラユニットは、車両が移動する方向の路面の画像を撮像して、撮像したカメラ画像に基づく画像を表示装置に表示する運転支援カメラユニットであって、前記車両に取り付けられ前記路面を撮像する広角レンズを有するカメラと、前記カメラのレンズ形状による前記カメラ画像の歪を示すレンズ歪情報、前記広角レンズの射影方式による前記カメラ画像の歪を示す射影情報を含む画像生成用情報を記憶する情報記憶部と、前記車両の変速機の状態であるギア状態と速度とを含む車両情報を取得する車両情報取得部と、前記車両情報に基づいて、前記車両の状態である車両状態を判断する車両状態判断部と、前記画像生成用情報を利用して、前記カメラ画像を前記車両状態に応じて処理して前記表示装置に表示する画像を生成する画像生成部とを備え、前記車両状態判断部が、前記車両状態として、前記車両が移動可能で停止している状態である移動準備状態、移動を開始してから所定の移動中条件が成立するまでで前記車両が移動している状態である移動開始状態、前記移動中条件が成立した後で前記車両が移動している状態である移動中状態を判断し、前記画像生成部が、前記車両状態が前記移動準備状態または前記移動開始状態である場合に歪を有するが広い範囲が見える画像である広角画像を生成し、前記車両状態が前記移動中状態である場合に前記カメラ画像から前記レンズ形状による歪と前記射影方式による歪を除去した画像である無歪画像を生成することを特徴とするものである。

発明の効果

0008

この発明によれば、車両の移動開始前と移動を開始してから所定の期間は、車両が移動する方向の路面の広い範囲を確認できる画像を、車両が移動を開始してから所定の期間が経過した後は、距離感が掴みやすい画像を表示できる。

図面の簡単な説明

0009

実施の形態1に係る運転支援システムの構成を示すブロック図である。
実施の形態1に係る運転支援システムのガイド線計算部の構成を示すブロック図である。
実施の形態1に係る運転支援システムのガイド線生成部で計算される実空間上におけるガイド線の例である。
実施の形態1に係る運転支援システムのカメラ画像補正部の構成を示すブロック図である。
実施の形態1に係る運転支援システムにおいて第1の表示条件で表示されるガイド線画像の例である。
実施の形態1に係る運転支援システムにおいて第2の表示条件で表示されるガイド線画像の例である。
実施の形態1に係る運転支援システムにおいて第1の表示条件で表示される広角画像と第2の表示条件で表示される無歪画像の関係を例により説明する表示装置に表示される画像の写真である。
実施の形態1に係る運転支援システムにおいて第1の表示条件で表示される広角画像と第3の表示条件で表示される別視点無歪画像の関係を例により説明する表示装置に表示される画像の写真である。
実施の形態1に係る運転支援システムにおいて第4の表示条件で表示されるガイド線画像の例である。
実施の形態1に係る運転支援システムの表示条件決定部が認識する車両状態の変化を説明する図である。
実施の形態1に係る運転支援システムの表示条件決定部における車両状態を判断する動作を説明するフロー図である。
実施の形態1に係る運転支援システムの表示条件決定部における車両状態を判断する動作を説明するフロー図である。
実施の形態2に係る運転支援システムの構成を示すブロック図である。
実施の形態2に係る運転支援システムの表示条件決定部が認識する車両状態の変化を説明する図である。
実施の形態2に係る運転支援システムの表示条件決定部における車両状態を判断する動作を説明するフロー図である。
実施の形態2に係る運転支援システムの表示条件決定部における車両状態を判断する動作を説明するフロー図である。
実施の形態3に係る運転支援システムの構成を示すブロック図である。
実施の形態4に係る運転支援システムの構成を示すブロック図である。

実施例

0010

実施の形態1.
図1は、実施の形態1に係る運転支援システムの構成を示すブロック図である。図1において、運転支援システムは、運転支援装置であるホストユニット1とカメラユニット2とを含んで構成されている。電子制御ユニット3は車両に搭載された電子機器電子回路により制御する一般に車両に搭載されているECU(Electric Control Unit)であり、車両情報を検出してホストユニット1に出力する車両情報出力装置である。本実施の形態において車両情報出力装置は特に、車両の変速機の状態(以下、ギア状態と呼ぶ)を変化させる運転者の操作が操作するセレクトバーの位置を示すギア状態情報、車両の速度を示す速度情報、車両の加速度を示す加速度情報、車両情報が検出される1周期での車両の移動距離を示す移動距離情報サイドブレーキの位置を示すサイドブレーキ情報などの車両情報をホストユニット1に対して出力する。車両は、運転者がクラッチを操作する必要が無いAT(Automatic Transmission)車であるとする。

0011

自動車(車両)には、目的地への経路を案内するナビゲーション装置が搭載される場合が多く、ナビゲーション装置には車両に予め搭載されているものと、車両とは別に販売されて車両に取り付けられるものがある。そこで、市販のナビゲーション装置を取り付けられるように、ECUには車両情報を出力する端子が設けられている。そのため、本実施の形態に係る運転支援システムでは、ホストユニット1をこの出力端子と接続することにより車両情報を取得することができる。なお、ホストユニット1は、ナビゲーション装置と一体であってもよいし、別装置であってもよい。

0012

ホストユニット1は、カメラユニット2が有する撮像部である広角レンズを有するカメラが撮像する車両の周囲(とくに背後)の画像であるカメラ画像に、車両の後方の車両に対して所定の位置に設定されたガイド線の画像であるガイド線画像を重ね合わせて、例えば車室内モニターなどである表示部18(表示装置)に表示する。車両の速度やギア状態などから移動に関する車両の状態である車両状態を判断して、判断した車両状態に応じて表示する画像を変化させて、運転者が周囲の状況を認識しやすくする。

0013

ホストユニット1は、画像を表示する表示部18、電子制御ユニット3から出力される車両情報を取得する車両情報取得部10、ガイド線を計算するための情報が記憶された情報記憶部11(ガイド線生成情報記憶部)、車両情報取得部10が取得した車両情報に基づいてガイド線画像およびカメラ画像をどのように表示部18に表示させるかという表示条件情報を生成する表示条件決定部12(車両状態判断部)、情報記憶部11に記憶された情報および表示条件情報に基づいて、ガイド線の描画位置および形状についての情報であるガイド線情報を計算するガイド線計算部13(ガイド線情報生成部)、ガイド線計算部13にて計算されたガイド線情報に基づいてガイド線が描画されたガイド線画像を生成する線描画部14(ガイド線画像生成部)、カメラユニット2から送信されるカメラ画像を受信するカメラ画像受信部15、情報記憶部11に記憶された情報および表示条件情報に基づいて、カメラ画像受信部15にて受信されたカメラ画像を補正するカメラ画像補正部16(画像生成部)、線描画部14から出力されるガイド線画像とカメラ画像補正部16から出力される補正カメラ画像とを異なるレイヤーの画像に設定することにより、ガイド線画像および補正カメラ画像を重畳する画像重畳部17を有する。画像重畳部17から出力されるレイヤーの異なるガイド線画像および補正カメラ画像は、表示部18では1つの画像に合成されて表示される。なお、カメラ画像補正部16および画像重畳部17は画像出力部を構成する。

0014

ホストユニット1の車両情報取得部10が取得した車両のギア状態がリバース(後退)である場合に、ホストユニット1は、カメラユニット2のカメラを動作させて、撮像したカメラ画像を送信するように制御する。以上の構成により、表示部18には、カメラユニット2から送信されたカメラ画像に対して線描画部14で生成したガイド線画像が重畳した画像が表示され、車両の運転者はこの画像を確認することにより、運転する車両の背後や周囲の状況を視認しながら、ガイド線を目安として車両を駐車することができる。なお、運転者からの指示があった場合に、カメラで撮像した画像を表示部18に表示するようにしてもよい。
以下、運転支援装置を構成する各構成要素について、説明する。

0015

図1において、情報記憶部11には、後述するガイド線を計算するためのガイド線計算情報として以下の情報が記憶される。
(A)取り付け情報。取り付け情報とは、車両に対してカメラがどのように取り付けられているか、すなわちカメラの取り付け位置と取り付け角度とを示す情報である。
(B)画角情報。画角情報とは、カメラユニット2のカメラで撮像される被写体の範囲を示す角度情報、および表示部18での画像表示時における表示範囲を示す表示情報である。角度情報には、カメラの最大水平画角Xaおよび最大垂直画角Yaもしくは対角画角が含まれている。表示情報には、表示部18の最大水平描画ピクセルサイズXpおよび最大垂直描画ピクセルサイズYpが含まれている。
(C)射影情報。射影情報とは、カメラユニット2のカメラに用いられるレンズの射影方式を示す情報である。本実施の形態では、カメラが有する広角レンズとして魚眼レンズを用いているため、射影情報の値としては、立体射影等距離射影等立体角射影、および正射影のいずれかをとる。
(D)レンズ歪情報。レンズ歪情報は、レンズによる画像の歪に関するレンズの特性の情報である。
(E)視点情報。視点情報は、カメラがあると想定する別の位置に関する情報である。
(F)ガイド線間隔情報。ガイド線間隔情報とは、駐車幅情報車両幅情報、および車両後部端からの安全距離注意距離警告距離距離情報である。駐車幅情報とは、車両の幅に所定の余裕幅を加えた駐車幅(例えば駐車区画の幅)を示す情報である。車両後部端からの安全距離、注意距離、警告距離の距離情報とは、車両の後部の端からの後方に対する距離で、例えば、安全距離は車両後部端から1m、注意距離は50cm、警告距離は10cmとして、車両後方における距離の目安を示す。車両後部端からの安全距離、注意距離、警告距離により、車両後方に映る障害物が、車両後部端からどの程度の距離を持つかを運転者が把握することができる。
なお、(C)射影情報、(D)レンズ歪情報、(E)視点情報は、カメラで撮像したカメラ画像を変換するために使用する画像生成用情報でもある。

0016

図2は、ガイド線計算部13の構成を示すブロック図である。ガイド線計算部13は、ガイド線生成部131、レンズ歪関数演算部132、射影関数演算部133、投影面変換関数演算部134、視点変換関数演算部135、および映像出力変換関数演算部136を含んで構成されている。レンズ歪関数演算部132、射影関数演算部133、視点変換関数演算部135については、表示条件情報によって動作させない場合がある。そのため、簡単のために、まず上記各構成のすべてが動作する場合について説明する。

0017

ガイド線生成部131は、車両情報取得部10から車両のギア状態がリバースであるギア状態情報が入力された場合に、情報記憶部11から取得したガイド線間隔情報に基づいて、車両の後方の路面に仮想的にガイド線を設定する。図3にガイド線生成部131で計算される実空間上におけるガイド線の例を示す。図3において、直線L1は駐車区画の幅を示すガイド線であり、直線L2は車両の幅を示すガイド線であり、直線L3〜L5は車両後部端からの距離を示すガイド線である。L3が警告距離、L4が注意距離、L5が安全距離を示す。直線L1およびL2は、車両に最も近い直線L3から始まり、車両から遠い側に駐車区画の長さ程度以上の長さを有する。直線L3〜L5は両側の直線L2を結ぶように描画する。方向D1は駐車区画に車両が進入する方向を示している。なお、車両幅と駐車幅の両方のガイド線を表示したが、どちらかだけを表示させてもよい。また、車両後部端からの距離を示すガイド線は、2本以下または4本以上でもよい。例えば、直線L3〜L5のどれかから車長と同じ距離の位置にガイド線を表示してもよい。車両の進行方向に平行なガイド線(図3ではL1とL2)と、車両後部端からの距離を示すガイド線のどちらかだけを表示してもよい。車両の進行方向に平行なガイド線の表示形態(色、太さ、線種など)を、車両後部端からの距離によって変化させてもよい。車両後部端からの距離を示すガイド線だけを表示する場合に、その長さは駐車幅または車両幅のどちらでもよい。駐車幅の長さを表示する場合には、車両幅に対応する部分とそれ以外の区分を異なる表示形態で表示させてもよい。

0018

ガイド線生成部131では、図3に示す各ガイド線の始点および終点座標を求めて出力する。後段の各関数演算部では、各ガイド線上の必要な箇所の点について、カメラで撮像されるときに受ける影響と同様の影響を与えた座標の値を演算する。演算された結果としてのガイド線情報に基づいて、線描画部14でガイド線画像を生成する。そして、表示部18にはカメラ画像に対してずれなくガイド線画像が重畳された画像が表示される。以下では、簡単のために図3に示す車両の後方の路面に仮想的に設定されたガイド線上の1つの座標P=(x, y)を例に挙げて説明する。なお、座標Pは例えば車両から所定距離離れた車両後方の路面上の点を原点とする直交座標上の位置として定義することができる。

0019

レンズ歪関数演算部132は、ガイド線生成部131で計算されたガイド線を示す座標Pに対して、情報記憶部11から取得したレンズ歪情報に基づいて決められるレンズ歪関数i()を演算することによりレンズ歪を受けた座標i(P)に変換する。レンズ歪関数i()とは、カメラユニット2のカメラで被写体を撮像する際に、レンズ形状によってカメラ画像が受ける歪を関数で表現したものである。レンズ歪関数i()は、例えばレンズ歪に関するZhangのモデルにより求めることができる。Zhangのモデルでは、放射歪曲でレンズ歪をモデル化しており、以下のような計算をする。
(u, v)をレンズ歪の影響を受けない正規化座標とし、(um, vm)をレンズ歪の影響を受けた正規化座標とすると、以下の関係が成立する。
um=u + u*(k1*r2+k2*r4)
vm=v + v*(k1*r2+k2*r4)
r2=u2 + u2
ここで、k1およびk2は、放射歪曲によるレンズ歪を多項式で表したときの係数であり、レンズにより固有定数である。

0020

座標P=(x, y)と、レンズ歪を受けた座標i(P)=(xm, ym)の間には、以下の関係がある。
xm=x + (x - x0)*(k1*r2+k2*r4)
ym=y + (y - y0)*(k1*r2+k2*r4)
r2=(x - x0)2 + (y - y0)2
ここに、(x0, y0)は、レンズ歪の影響を受けていない座標における放射歪曲の中心である主点に対応する路面上の点である。カメラユニット2の取り付け情報から、(x0, y0)を求めておく。なお、レンズ歪関数演算部132と射影関数演算部133では、レンズの光軸は、路面に垂直であり、上記の(x0, y0)を通るものとする。

0021

射影関数演算部133は、レンズ歪関数演算部132から出力されるレンズ歪を受けた座標i(P)に対し、さらに情報記憶部11から取得した射影情報に基づいて決められる射影方式による関数h()を演算することにより、射影方式による影響(以下、射影歪)を受けた座標h(i(P))に変換する。射影方式による関数h()とは、レンズに対して角度θで入射した光が、レンズ中心からどれだけ離れた位置に集光するかを関数で示したものである。射影方式による関数h()は、レンズの焦点距離をf、入射光入射角度すなわち半画角をθ、カメラの撮像面における像高(レンズ中心と集光位置の距離)をYとすると、射影方式ごとに、以下のどれかの式を使用して、像高Yを演算する。
立体射影Y=2*f*tan(θ/2)
等距離射影Y=f*θ
等立体角射影Y=2*f*sin(θ/2)
正射影Y=f*sinθ
射影関数演算部133は、レンズ歪関数演算部132から出力されるレンズ歪を受けた座標i(P)を、レンズに対する入射角度θに変換し、上記の射影式の何れかに代入して像高Yを計算し、像高Yを座標に戻すことにより、射影歪を受けた座標h(i(P))を演算する。

0022

投影面変換関数演算部134は、射影関数演算部133から出力される射影歪を受けた座標h(i(P))に対して、さらに情報記憶部11から取得した取り付け情報に基づいて決められる投影面変換関数f()を演算することにより、投影面変換を受けた座標f(h(i(P)))に変換する。投影面変換とは、カメラで撮像される画像がカメラの取り付け位置や角度といった取り付け状態に依存することから、取り付け状態による影響を加える変換のことである。この変換により、ガイド線を示す各座標が取り付け情報で規定される位置で車両に取り付けたカメラで撮像したような座標に変換される。投影面変換関数f()で使用する取り付け情報は、路面に対するカメラの取り付け位置の高さL、鉛直線に対するカメラの光軸の傾き角度である取り付け垂直角度φ、車両を前後に縦断する中心線に対する傾き角度である取り付け水平角度θh、車両幅の中心からの距離Hである。投影面変換関数f()は、これらを使用する幾何学関数で表される。なお、カメラは光軸を回転軸とするチルト回転の方向にはずれておらず、正しく取り付けられているものとする。

0023

視点変換関数演算部135は、投影面変換関数演算部134から出力される投影面変換を受けた座標f(h(i(P)))に対し、さらに情報記憶部11から取得した視点情報に基づいて決められる視点変換関数j()を演算することにより、視点変換を行った座標j(f(h(i(P))))に変換する。被写体をカメラで撮像したときに得られる画像は、カメラが取り付けられた位置から被写体を見たような画像になっている。この画像を、別の位置に存在するカメラ(例えば、車両後方の路面において所定の高さの位置に路面に向くように仮想的に設置されたカメラ)が撮像したような画像、すなわち別の視点からの画像に変換することが、視点変換である。この視点変換は、元の画像に対し、アフィン変換と呼ばれる種類の変換を加えるものである。アフィン変換とは、平行移動線形写像を組み合わせた座標変換のことである。アフィン変換における平行移動は、取り付け情報で規定される取り付け位置から上記別の位置までカメラを移動させることに対応している。線形写像は、カメラを取り付け情報で規定される方向から上記別の位置に存在するカメラの向きに合うようにカメラを回転させることに対応している。視点情報は、カメラの取り付け位置と別の視点の位置との差に関する平行移動情報と、カメラの取り付け情報で規定される方向と別の視点の向きの差に関する回転情報とから構成される。なお、視点変換に用いる画像変換は、アフィン変換に限られるものではなく、他の種類の変換によってもよい。

0024

映像出力関数演算部136は、視点変換を受けた座標j(f(h(i(P))))に対して、さらに情報記憶部11から取得した画角情報に基づいて決められる映像出力関数g()を演算することにより、映像出力用の座標g(j(f(h(i(P)))))に変換する。カメラで撮像されたカメラ画像のサイズと表示部18が表示可能な画像のサイズとは一般的に異なっているため、カメラ画像は表示部18が表示可能なサイズに変更される。そこで、映像出力関数演算部136において、視点変換を受けた座標j(f(h(i(P))))に対してカメラ画像の表示部18に表示可能なサイズへの変更に相当する変換を適用することで、カメラ画像とスケールを一致させることができる。映像出力変換関数g()は、カメラの最大水平画角Xaと最大垂直画角Yaと、映像出力における最大水平描画ピクセルサイズXpと最大垂直描画ピクセルサイズYpを使用する写像関数で表される。

0025

なお、以上の説明では、ガイド線を示す各座標に対して、レンズ歪関数、射影関数、視点変換関数、投影面変換関数、映像出力関数の順で演算するものとしたが、各関数を演算する順番はこの順番でなくともよい。

0026

なお、投影面変換関数演算部134における投影面変換関数f()には、撮像されたカメラ画像のサイズを示す情報としてカメラ画角(カメラの最大水平画角Xaと最大垂直画角Ya)が含まれている。そのため、カメラ画像受信部15にて受信したカメラ画像の一部を切り出して表示させる場合でも、投影面変換関数f()におけるカメラ画角の係数を変更することにより、一部を切り出したカメラ画像に合うようにガイド線を表示させることができる。

0027

図4は、カメラ画像補正部16の構成を示すブロック図である。カメラ画像補正部16は、レンズ歪逆関数演算部161、射影歪逆関数演算部162、視点変換関数演算部163を含んで構成されている。これらの構成については、表示条件情報によって動作させない場合がある。そのため、簡単のために、まずこれら構成のすべてが動作する場合について説明する。

0028

レンズ歪逆関数演算部161は、画像生成用情報に含まれるレンズ歪情報に基づいて上述のレンズ歪関数i()の逆関数i-1()を求め、カメラ画像に対して演算する。カメラユニット2から送信されたカメラ画像は、カメラで撮像した際にレンズ歪の影響を受けているため、レンズ歪逆関数i-1()を演算することにより、レンズ歪の影響を受けていないカメラ画像に補正することができる。

0029

射影逆関数演算部162は、画像生成用情報に含まれる射影情報に基づいて上述の射影関数h()の逆関数h-1()を求め、レンズ歪逆関数演算部161から出力されたレンズ歪の影響を受けていないカメラ画像に対して演算する。カメラユニット2から送信されたカメラ画像は、カメラで撮像した際にレンズの射影方式による歪を受けているため、射影逆関数h-1()を演算することにより、射影歪を受けていないカメラ画像に補正することができる。

0030

視点変換関数演算部163は、射影逆関数演算部162から出力された射影歪を受けていないカメラ画像に対して、画像生成用情報に含まれる視点情報に基づいて上述の視点変換関数j()を適用する。こうして、視点変換を行ったカメラ画像を得ることができる。

0031

図1において、画像重畳部17は、線描画部14にて演算描画されたガイド線画像が、カメラ画像補正部16から出力される補正カメラ画像にオーバーレイされるよう、ガイド線画像および補正カメラ画像を別レイヤーの画像として重畳する。表示部18は、レイヤーの異なるガイド線画像および補正カメラ画像のうち、補正カメラ画像に対し映像出力関数g()を適用することにより、補正カメラ画像のサイズを表示部18が表示可能なサイズに変更する。そして、ガイド線画像およびサイズの変更された補正カメラ画像を合成し、表示する。映像出力関数g()をカメラ画像補正部16で実行するようにしてもよい。ガイド線画像に対して、ガイド線計算部13ではなく表示部18で、映像出力関数g()を実行するようにしてもよい。

0032

次に動作について説明する。ガイド線計算部13およびカメラ画像補正部16の動作は、表示条件決定部12から出力される表示条件情報により異なる。表示条件情報としては、カメラ画像補正部16の動作すなわちカメラ画像の表示方法の違いにより、例えば以下の4個の表示条件が考えられる。なお、どの表示条件の場合でも、カメラ画像に整合するようにガイド線画像を描画する。

0033

(1)第1の表示条件では、カメラ画像補正部16はカメラ画像を補正しない。ガイド線計算部13は、レンズ歪と射影方式による歪を加えて投影面変換を適用したガイド線情報を計算する。カメラユニット2のカメラのレンズは、180度以上の画角を有するいわゆる魚眼レンズであるため、カメラ画像にはカメラの設置場所周辺を含んだ広い範囲が表示され、車両周辺の状況が把握しやすく、車両の発進時に車両の周囲に歩行者などがいないかを確認するのに適している。
第1の表示条件で表示される画像は歪を有するが広い範囲が見える画像であるので、第1の表示条件で表示される画像を広角画像と呼ぶ。

0034

(2)第2の表示条件では、カメラ画像補正部16はレンズ歪および射影方式による歪を取り除くようにカメラ画像を補正する。ガイド線計算部13は、投影面変換だけを適用したガイド線情報を計算する。距離間の掴みやすい直角座標系の画像となるため、距離感を掴むことが重要な後退中に適した画像である。なお、直線性を保てる程度の画角には限界があり、第1の表示条件と比較して視野は狭くなる。レンズ形状による歪と射影方式による歪を除去した画像である第2の表示条件で表示される画像を、無歪画像と呼ぶ。

0035

(3)第3の表示条件では、カメラ画像補正部16はレンズ歪および射影方式による歪を取り除き、視点変換されたようにカメラ画像を補正する。ガイド線計算部13は、投影面変換と視点変換を適用したガイド線情報を計算する。視点変換後の視点は、例えば車両の後部端中央が画像の端に来るような所定の位置と所定の高さ(例えば、5m)にあり、真下を向いているとする。この視点に視点変換されたカメラ画像は、車両後方の路面を真上から見た画像となり、車両に平行または垂直な方向の間の角度が直角であるように見え、横方向ならびに縦方向実距離に近い距離感をつかめる画像となるので、路面における車両の位置関係を把握しやすい。第3の表示条件で表示される画像を、別視点無歪画像と呼ぶ。

0036

(4)第4の表示条件では、カメラ画像補正部16は視点変換されたようにカメラ画像を補正する。ガイド線計算部13は、レンズ歪と射影方式による歪を加えて投影面変換および視点変換を適用したガイド線情報を計算する。視点変換後の視点は、第3の表示条件の場合と同じである。この視点に視点変換されたカメラ画像は、車両後方の路面を真上から見た画像となり、歪はあるものの車両の周囲の広い範囲を見ることができる。第4の表示条件で表示される画像を、別視点広角画像と呼ぶ。また、第3の表示条件または第4の表示条件で表示される画像を、別視点画像と呼ぶ。

0037

表示条件情報が第1の表示条件である場合、図2に示すガイド線計算部13の構成のうち、視点変換関数演算部135以外の構成を動作させる。すなわち、視点変換関数演算部132、射影関数演算部133、および投影面変換関数演算部134による計算結果が映像出力変換関数演算部136に入力される。その結果、線描画部14で生成されたガイド線画像は、図5のようになる。図5は、第1の表示条件で生成されたガイド線画像の例である。レンズ歪と射影方式による歪を有するカメラ画像と整合するように、同様な歪を加えたガイド線画像が生成される。図5において、線L1aは駐車区画の幅を示すガイド線であり図3における直線L1に対応している。線L2aは車両の幅を示すガイド線であり図3における直線L2に対応している。線L3a〜L5aは車両からの距離を示すガイド線であり図3における直線L3〜L5に対応している。また、図4に示すカメラ画像補正部16のすべての構成を動作させないようにする。すなわち、カメラ画像補正部16は入力されたカメラ画像をそのまま画像重畳部17に出力する。

0038

表示条件情報が第2の表示条件である場合、図2に示すガイド線計算部13の構成のうち、視点変換関数演算部132、射影関数演算部133、視点変換関数演算部135を動作させないようにする。すなわち、投影面変換関数演算部134にはガイド線生成部131から出力された座標Pがそのまま入力される。その結果、線描画部14で生成されたガイド線画像は、図6のようになる。図6は、第2の表示条件のもとで生成されたガイド線画像の例である。レンズ歪と射影方式による歪を除いたカメラ画像と整合するように、歪がないガイド線画像が生成される。図6において、直線L1bは駐車区画の幅を示すガイド線であり図3における直線L1に対応している。直線L2bは車両の幅を示すガイド線であり図3における直線L2に対応している。直線L3b〜L5bは車両からの距離を示すガイド線であり図3における直線L3〜L5に対応している。また、図4に示すカメラ画像補正部16の構成うち、視点変換関数演算部163以外の構成を動作させる。すなわち、射影逆関数演算部162から出力されるカメラ画像が、補正カメラ画像として画像重畳部17に入力される。

0039

第1の表示条件で表示される広角画像と第2の表示条件で表示される無歪画像の関係を例により説明する表示装置に表示される画像の写真を、図7に示す。図7の上側が第1の表示条件で表示される広角画像であり、画像の周辺部が歪んでいるが広い範囲が表示されている。下側が第2の表示条件で表示される無歪画像である。無歪画像では、広角画像の中央部の黒い四角で囲んだ部分が、歪が無い状態で表示される。

0040

魚眼レンズを使用することの利点について説明する。画像から歪を除く補正をする場合には、直線性を保てる程度の画角には射影方式により決まる限界がある。また、画角が広くなるほど、画像の端に近づくほど違和感が大きくなる。例えば、通常のレンズを用いた場合、レンズの焦点距離をf、入射光の入射角度すなわち半画角をθ、カメラの撮像面における像高をYとすると、Y=f*tanθの関係を満たすことになる。像高Yは正接関数(tanθ)であるため、正接関数を直線で近似できる範囲、すなわちθ=−45〜+45度程度の範囲の入射角度の入射光は少ない歪で撮像面に到達するが、その範囲外の入射角度の入射光は大きく歪んでしまうため、撮像面に到達できない、またはできたとしても大きく歪んだ像を形成することになる。この点、本実施の形態に係るカメラユニット2では、魚眼レンズを用いているので、通常のレンズよりも、より広い画角を少ない歪で撮像することができる。例えば、魚眼レンズの射影方式の1つである立体射影においてはY=2*f*tan(θ/2)の関係を満たすが、正接関数がθ/2の関数となっているため、θ=−90〜+90度程度の範囲でYはθにほぼ比例して変化する。つまり、180度程度の画角でほぼ歪がない画像に補正できることになる。

0041

表示条件情報が第3の表示条件である場合、図2に示すガイド線計算部13の構成のうち、レンズ歪関数演算部132および射影関数演算部133以外の構成を動作させる。すなわち、視点変換関数演算部135にはガイド線生成部131で生成されたガイド線上の点の座標Pがそのまま入力される。その結果、線描画部14で生成されたガイド線画像は、図3のようになる。また、図4に示すカメラ画像補正部16のすべての構成を動作させる。レンズ歪と射影方式による歪を除いて別の視点から撮像したようなカメラ画像に、別の視点から見たような歪が無いガイド線画像を重畳させて表示する。

0042

第1の表示条件で表示される広角画像と第3の表示条件で表示される別視点無歪画像の関係を例により説明する表示装置に表示される画像の写真を、図8に示す。図8の下側が第3の表示条件で表示される無歪画像である。別視点無歪画像では、広角画像の中央部の黒い四角で囲んだ部分が、車両後方の上空にある視点から見た歪が無い画像として表示される。

0043

表示条件情報が第4の表示条件である場合、図2に示すガイド線計算部13のすべての構成を動作させる。その結果、線描画部14で生成されたガイド線画像は、図9のようになる。図9は、第4の表示条件のもとで生成されたガイド線画像の例である。別の視点から撮像したようなレンズ歪と射影方式による歪を有するカメラ画像と整合するように、同様な歪を加え別の視点から見たようなガイド線画像が生成される。図9において、線L1cは駐車区画の幅を示すガイド線であり図3における直線L1に対応している。線L2cは車両の幅を示すガイド線であり図3における直線L2に対応している。線L3c〜L5cは車両からの距離を示すガイド線であり図3における直線L3〜L5に対応している。また、図4に示すカメラ画像補正部16の構成うち、視点変換関数演算部163のみ動作させる。すなわち、視点変換関数演算部163にはカメラ画像受信部15が受信したカメラ画像がそのまま入力され、視点変換関数演算部163にて視点変換を行った画像が補正カメラ画像として画像重畳部17に出力される。

0044

車両を後退させて駐車する場合に、表示条件決定部13がどのように動作して、車両状態を認識するかを説明する。図10は、表示条件決定部13が認識する車両状態の変化を説明する図である。
表示条件決定部13が認識する車両状態には、以下の状態がある。なお、車両の速度は、後退方向に車両が移動している場合を正とする。

0045

初期状態(JA):下記以外の状態。車両のエンジンが入ると初期状態になる。運転支援装置の支援対象の状態ではない。下記のどれかの状態になった後で、停止していない状態でギア状態がリバース(後退)でなくなる、速度Vが所定速度(Vr1)以上になるなどの場合に、初期状態(JA)に戻る。速度Vが所定速度(Vr1)以上である場合は、運転者が移動方向を注意深く見る必要がないと思っていると考えられるので、初期状態(JA)に戻している。
下記が初期状態(JA)である条件のすべてではないが、下記の条件が満足する場合は、初期状態(JA)であると判断できる。下記の条件CJAを、明らかに初期状態である条件と呼ぶ。
CJA=速度Vが負である、または
速度Vが所定速度(Vr1)以上である、または
(速度Vがゼロでなく、かつギア状態がリバース以外である)。

0046

後退準備状態JB):後退の準備をしている状態。後退準備状態(JB)であるための条件CJBは、以下のようになる。
CJB=ギア状態がリバースであり、かつ
移動距離Lがゼロ、かつ
速度Vがゼロである。

0047

後退開始状態(JC):後退を開始してから所定距離(L1)を移動するまでの状態。後退準備状態(JB)において速度Vが正になると後退開始状態になる。
CJC=ギア状態がリバースであり、かつ
移動距離Lが正かつ所定距離(L1)未満、かつ
速度Vが正で所定速度(Vr1)未満である。

0048

後退可能状態(JD):後退を開始してから所定距離(L1)を移動するまでで、停止した状態。
CJD=ギア状態がリバースであり、かつ
移動距離Lが正かつ所定距離(L1)未満、かつ
速度Vがゼロであり、かつ
サイドブレーキがOFF(効いていない)である。
なお、後退可能状態(JD)でサイドブレーキがON(効いている)になれば、後述する後退停止状態(JM)とする。

0049

後退不可状態(JE):後退可能状態(JD)において変速機がリバース以外になり、所定時間(Tn1)が経過していない状態。所定時間(Tn1)が経過すれば、初期状態(JA)とする。
CJD=移動距離Lが正かつ所定距離(L1)未満、かつ
速度Vがゼロであり、かつ
ギア状態がリバース以外であり、かつ
リバース以外の継続時間(Tn)が所定時間(Tn1)未満であり、かつ
サイドブレーキがOFFである。
なお、後退不可状態(JE)でサイドブレーキがONになれば、後述する後退停止状態(JM)とする。ギア状態がリバースになれば、後退可能状態(JD)とする。
車両を駐車させる場合に、車両を停止させた後でサイドブレーキをONにする前にギア状態を変更した場合でも後退停止状態(JM)に変化できるように、所定時間(Tn1)までは後退不可状態(JE)として扱うことにしている。

0050

後退状態(JF):後退を開始してから所定距離(L1)以上を移動しても後退を継続しており、停止移行検出条件である減速の条件が成立していない状態。減速の条件が成立する場合は、次の後退停止移行状態JG)とする。減速の条件は、減速すなわち加速度aが負であることが所定時間(Ta1)継続していることである。減速に継続時間の条件を持たせているのは、加速度aが負とゼロ以上との間での変動が頻繁に発生するような場合に、後退状態(JF)と後退停止移行状態(JG)とが、短い間隔で頻繁に切替ることを防止するためである。
CJF=ギア状態がリバースであり、かつ
移動距離Lが所定距離(L1)以上であり、かつ
速度Vが正で所定速度(Vr1)未満であり、かつ
減速の条件Cgnが成立しない。
Cgn=加速度aが負、かつ
加速度aが負である継続時間(Ta)が所定時間(Ta1)以上である。

0051

後退停止移行状態(JG):後退状態(JF)になった後で、減速の条件が成立したまま後退している状態。
CJG=ギア状態がリバースであり、かつ
移動距離Lが所定距離(L1)以上であり、かつ
速度Vが正で所定速度(Vr1)未満であり、かつ
減速の条件Cgnが成立する。

0052

再後退可能状態(JH):後退停止移行状態(JG)になった後で、後退可能な状態で車両が停止している状態。
CJH=ギア状態がリバースであり、かつ
サイドブレーキがOFFであり、
移動距離Lが所定距離(L1)以上であり、かつ
速度Vがゼロである。

0053

再後退不可状態(JK):再後退可能状態(JH)において変速機がリバース以外になり、所定時間(Tn1)が経過していない状態。所定時間(Tn1)が経過すれば、初期状態(JA)とする。
CJD=移動距離Lが所定距離(L1)以上、かつ
速度Vがゼロであり、かつ
ギア状態がリバース以外であり、かつ
リバース以外の継続時間(Tn)が所定時間(Tn1)未満であり、かつ
サイドブレーキがOFFである。
なお、後退不可状態(JE)でサイドブレーキがONになれば、後述する後退停止状態(JM)とする。ギア状態がリバースになれば、再後退可能状態(JH)とする。

0054

再後退状態(JL):再後退可能状態(JH)のすぐ後で、車両が後退している状態。
CJL=ギア状態がリバースであり、かつ
速度Vが正で所定速度(Vr1)未満であり、かつ
移動距離Lが所定距離(L1)以上である。

0055

後退停止状態(JM):後退準備状態(JB)でない状態をとった後で、後退可能でない状態で車両が停止している状態。
CJM=速度Vがゼロで、かつ
サイドブレーキがONである。

0056

このような車両状態に対して、表示条件決定部13は以下のように表示条件を決める。
(1)後退準備状態(JB)、後退開始状態(JC)、後退可能状態(JD)および後退不可状態(JE)では、第1の表示条件とする。カメラ画像はカメラで撮像された画像そのままであり、レンズ歪と射影方式による歪を有している。カメラユニット2のカメラのレンズは、180度以上の画角を有するいわゆる魚眼レンズであるため、カメラ画像にはカメラの設置場所の周辺を含んだ広い範囲が表示され、車両周辺の状況が把握しやすく、車両の発進時に車両の周囲に歩行者などがいないかを確認するのに適している。カメラ画像に整合するようにガイド線画像も表示されるので、駐車区画との距離が把握しやすくなる。

0057

ここで、後退準備状態(JB)、後退可能状態(JD)および後退不可状態(JE)が、移動可能で車両が停止している状態である移動準備状態である。この実施の形態では、車両が移動中状態であると判断する所定の移動中条件は、車両が所定距離(L1)を移動することとしている。車両が所定距離(L1)を移動するまでで後退している状態である後退開始状態(JC)が、移動開始状態である。

0058

(2)後退状態(JF)では、第2の表示条件とする。レンズ歪および射影方式による歪を取り除いたカメラ画像と、それに整合するガイド線画像が表示される。距離間の掴みやすい直角座標系の画像となるため、距離感を掴むことが重要な後退中に適した画像である。
車両が所定距離(L1)を移動した後で後退している後退状態(JF)が、移動中条件が成立した後で車両が移動している状態である移動中状態である。

0059

(3)後退停止移行状態(JG)、再後退可能状態(JH)、後退停止状態(JM)および再後退不可状態(JK)では、第3の表示条件とする。視点変換されたカメラ画像は、車両後方の路面を真上から見た画像となり、車両に平行または垂直な方向の間の角度が直角であるように見え、横方向ならびに縦方向の実距離に近い距離感をつかめる画像となるので、路面における車両の位置関係を把握しやすい。
後退停止移行状態(JG)が、車両が停止し始めていることを検出する所定の停止移行検出条件(この実施の形態では減速の条件Cgn)が成立することを検出している状態である停止移行状態である。再後退可能状態(JH)、後退停止状態(JM)および再後退不可状態(JK)は、停止移行状態の後で車両が停止している状態である停止状態である。

0060

(4)再後退状態(JL)では、その状態に変化してから数秒程度の移動方向状況確認期間では、車両の後方の広い範囲が表示するように、第1の表示条件で表示する。その後、停止移行状態と同様な第3の表示条件で表示する。
再後退状態(JL)が、停止状態の後で車両が移動している状態である再移動状態である。

0061

初期状態(JA)はこの発明の運転支援装置の支援対象の状態ではないので、表示装置にはナビゲーション装置の画面が表示される。後退準備状態(JB)になった後で初期状態(JA)に戻った場合は、後退準備状態(JB)になる前に表示していた画面または初期状態(JA)に戻った時点での状態で決まる画面を表示する。なお、画面の表示を変えるような事象が発生するまでは、初期状態(JA)に変化する直前の状態での画面を表示するようにしてもよい。

0062

図11図12は、表示条件決定部12における車両状態を判断する動作を説明するフロー図である。以下で、図11図12について、図10状態変化を説明する図との関連も含めて説明する。

0063

S1で車両のエンジンが始動すると、S2で表示条件決定部12は、車両状態(以下、SOと表記する)を初期状態(JA)に設定し、移動距離L=0とする。以後、ECUから車両情報が入力される周期(ΔT)で、S3以降の処理が繰り返し実行され、新たな車両状態(以下、SNと表記する)を決定する。S3では、明らかに初期状態である条件CJAが成立するかどうかをチェックする。なお、図11図12では、リバース(後退)をRと表記する。CJAが成立する場合は、S4でSNを初期状態(JA)とし、移動距離L=0とする(図10の初期状態(JA)に入るすべての矢印)。S3に戻る前に、S5でSO=SNとする。
S4でCJAが成立しない場合は、S6でSOが初期状態(JA)であるかどうかをチェックする。なお、CJAが成立しない場合は、速度Vがゼロ以上で所定速度(Vr1)未満であり、速度Vがゼロでない場合は、ギア状態はリバースであることになる。

0064

(1)初期状態(JA)での処理
S6でSOが初期状態(JA)である場合は、S7で条件CJBが成立するかどうかをチェックする。CJBが成立する場合は、S8でSNを後退準備状態(JB)とする(図10の矢印t1)。CJBが成立しない場合は、S9でSNを初期状態(JA)とする(図10の矢印t2)。

0065

S6でSOが初期状態(JA)でない場合は、S10からS16で、車両状態を判断するために必要な情報を計算する。S10で移動距離Lに車両情報から得られる前回の処理時点からの移動距離Lmを加算する(L=L+Lm)。S11でギア状態がRかどうかをチェックする。ギア状態がR(リバース)の場合は、S12でギア状態がR以外である継続時間(Tn)をゼロにする(Tn=0)。ギア状態がRの場合は、S13で継続時間(Tn)に1周期の時間(ΔT)を加算する(Tn=Tn+ΔT)。さらに、S14で加速度aが負かどうか(a<0)をチェックする。加速度aが負の場合は、S15で加速度aが負の継続時間(Ta)に1周期の時間(ΔT)を加算する(Ta=Ta+ΔT)。加速度aが負でない場合は、S16で加速度aが負の継続時間(Ta)をゼロにする(Ta=0)。
S17でSOが後退準備状態(JB)であるかどうかをチェックする。

0066

(2)後退準備状態(JB)での処理
S17でSOが後退準備状態(JB)である場合は、S18で速度Vがゼロかどうかをチェックする。速度Vがゼロでない場合は、S19でSNを後退開始状態(JC)とする(図10の矢印t3)。速度Vがゼロである場合は、S20でギア状態がRであり、かつサイドブレーキがOFFであるかどうかをチェックする。ギア状態がRであり、かつサイドブレーキがOFFである場合は、S21でSNを後退準備状態(JB)とする(図10の矢印t4)。そうでない場合は、S22でSNを初期状態(JA)とし、移動距離L=0とする(図10の矢印t5)。
S17でSOが後退準備状態(JB)でない場合は、S23でSOが後退開始状態(JC)であるかどうかをチェックする。

0067

(3)後退開始状態(JC)での処理
S23でSOが後退開始状態(JC)である場合は、S24で移動距離Lが所定距離(L1)以上であるかどうか(L≧L1)をチェックする。L≧L1である場合は、S25で後退状態(JF)とする(図10の矢印t6)。L<L1である場合は、S26で速度Vがゼロ(V=0)であるかどうかチェックする。速度Vがゼロでない場合は、S27でSNを後退開始状態(JC)とする(図10の矢印t7)。速度Vがゼロである場合は、S28でSNを後退可能状態(JD)とする(図10の矢印t8)。
S23でSOが後退開始状態(JC)でない場合は、S29でSOが後退可能状態(JD)であるかどうかをチェックする。

0068

(4)後退可能状態(JD)での処理
S29でSOが後退可能状態(JD)である場合は、S30で速度Vがゼロ(V=0)であるかどうかチェックする。速度Vがゼロでない場合は、S31でSNを後退開始状態(JC)とする(図10の矢印t10)。速度Vがゼロである場合は、S32でサイドブレーキがONであるかどうかをチェックする。サイドブレーキがONである場合は、S33で移動距離LをL1とし(L=L1)、SNを後退停止状態(JM)とする(図10の矢印t11)。サイドブレーキがOFFである場合は、S34でギア状態がRかどうかをチェックする。ギア状態がRである場合は、S35でSNを後退可能状態(JD)とする(図10の矢印t12)。ギア状態がR以外である場合は、S36でSNを後退不可状態(JE)とする(図10の矢印t13)。
S29でSOが後退可能状態(JD)でない場合は、S37でSOが後退不可状態(JE)であるかどうかをチェックする。

0069

(5)後退不可状態(JE)での処理
S37でSOが後退不可状態(JE)である場合は、S38でサイドブレーキがONであるかどうかをチェックする。サイドブレーキがONである場合は、S39で移動距離LをL1とし(L=L1)、SNを後退停止状態(JM)とする(図10の矢印t14)。サイドブレーキがOFFである場合は、S40でギア状態がRかどうかをチェックする。ギア状態がRである場合は、S41でSNを後退可能状態(JD)とする(図10の矢印t15)。ギア状態がR以外である場合は、S42でギア状態がR以外である継続時間(Tn)が所定時間(Tn1)以上であるかどうかをチェックする。所定時間(Tn1)以上である場合は、S43でSNを初期状態(JA)とし、移動距離L=0とする(図10の矢印t16)。所定時間(Tn1)以上でない場合は、S44でSNを後退不可状態(JE)とする(図10の矢印t17)。
S37でSOが後退不可状態(JE)でない場合は、S45でSOが後退状態(JF)または後退停止移行状態(JG)であるかどうかをチェックする。

0070

(6)後退状態(JF)または後退停止移行状態(JG)での処理
図12に示すS45でSOが後退状態(JF)または後退停止移行状態(JG)である場合は、S46で速度Vがゼロ(V=0)であるかどうかチェックする。速度Vがゼロである場合は、S47でSNを再後退可能状態(JH)とする(図10の矢印t18、t19)。速度Vがゼロでない場合は、S48で減速の条件Cgnが成立するかどうかをチェックする。Cgnが成立する場合は、S49でSNを後退停止移行状態(JG)とする(図10の矢印t20、t21)。Cgnが成立しない場合は、S50でSNを後退状態(JF)とする(図10の矢印t22、t23)。
S45でSOが後退状態(JF)または後退停止移行状態(JG)でない場合は、S51でSOが再後退可能状態(JH)であるかどうかをチェックする。

0071

(7)再後退可能状態(JH)での処理
S51でSOが再後退可能状態(JH)である場合は、S52で速度Vがゼロかどうかをチェックする。速度Vがゼロでない場合は、S53でSNを再後退状態(JL)とする(図10の矢印t26)。速度Vがゼロである場合は、S54でサイドブレーキがONであるかどうかをチェックする。サイドブレーキがONである場合は、S55でSNを後退停止状態(JM)とする(図10の矢印t27)。サイドブレーキがOFFである場合は、S56でギア状態がRかどうかをチェックする。ギア状態がRである場合は、S57でSNを再後退可能状態(JH)とする(図10の矢印t28)。ギア状態がR以外である場合は、S58でSNを再後退不可状態(JK)とする(図10の矢印t29)。
S51でSOが再後退可能状態(JH)でない場合は、S59でSOが再後退不可状態(JK)であるかどうかをチェックする。

0072

(8)再後退不可状態(JK)での処理
S59でSOが再後退不可状態(JK)である場合は、S60でサイドブレーキがONであるかどうかをチェックする。サイドブレーキがONである場合は、S61でSNを後退停止状態(JM)とする(図10の矢印t31)。サイドブレーキがOFFである場合は、S62でギア状態がRかどうかをチェックする。ギア状態がRである場合は、S63でSNを再後退可能状態(JH)とする(図10の矢印t32)。ギア状態がR以外である場合は、S64でギア状態がR以外である継続時間(Tn)が所定時間(Tn1)以上であるかどうかをチェックする。所定時間(Tn1)以上である場合は、S65でSNを初期状態(JA)とし、移動距離L=0とする(図10の矢印t33)。所定時間(Tn1)以上でない場合は、S66でSNを再後退不可状態(JK)とする(図10の矢印t34)。
S59でSOが再後退不可状態(JK)でない場合は、S67でSOが再後退状態(JL)であるかどうかをチェックする。

0073

(9)再後退状態(JL)での処理
S67でSOが再後退状態(JL)である場合は、S68で速度Vがゼロかどうかをチェックする。速度Vがゼロである場合は、S69でSNを再後退可能状態(JH)とする(図10の矢印t35)。速度Vがゼロでない場合は、S70でSNを再後退状態(JL)とする(図10の矢印t36)。
S66でSOが再後退不可状態(JK)でない場合は、後退停止状態(JM)であることになる。

0074

(10)後退停止状態(JM)での処理
SOが後退停止状態(JM)である場合は、S71でCJMが成立するかどうかをチェックする。CJMが成立する場合は、S72でSNを後退停止状態(JM)とする(図10の矢印t38)。CJMが成立しない場合は、S73でSNを初期状態(JA)とし、移動距離L=0とする(図10の矢印t39)。

0075

このようにして、変速機の状態(ギア状態)、速度V、移動距離L、加速度a、およびサイドブレーキの状態から、車両がどのような状態にあるか、すなわち、後退準備状態(JB)、後退開始状態(JC)、後退可能状態(JD)、後退不可状態(JE)、後退状態(JF)、後退停止移行状態(JG)、再後退可能状態(JH)、再後退不可状態(JK)、再後退状態(JL)、後退停止状態(JM)、初期状態(JA)のいずれの状態にあるかを判断する。判断した車両状態に応じて、運転者を支援する上で適切なカメラ画像を表示させることができる。

0076

具体的には、車両が移動可能で停止している状態である移動準備状態すなわち後退準備状態(JB)、後退可能状態(JD)および後退不可状態(JE)、移動を開始してから所定の移動中条件が成立するまでの車両が移動している状態である移動開始状態すなわち後退開始状態(JC)では、魚眼レンズによる歪があるが広い範囲のカメラ画像である広角画像を表示するので、移動開始時に周囲の状況を確認しやすい。
移動中条件が成立した後で車両が移動している状態である移動中状態すなわち後退状態(JF)ではレンズ歪および射影方式による歪を取り除いた画像である無歪画像を表示するので、距離感が把握しやすく、適切な位置まで容易に後退させることができる。

0077

移動している車両が停止し始めていることを検出する所定の停止移行検出条件が成立することを検出している状態である停止移行状態すなわち後退停止移行状態(JG)、停止移行状態の後で車両が停止している状態である停止状態すなわち再後退可能状態(JH)、再後退不可状態(JK)および後退停止状態(JM)では、レンズ歪および射影方式による歪を取り除き、車両の後方の上空にある別の視点から見た画像である別視点無歪画像を表示するので、路面における車両の位置関係を把握しやすい。
停止状態の後で車両が移動している状態である再移動状態すなわち再後退状態(JL)では、再移動状態になってから所定の移動方向状況確認期間は、魚眼レンズによる歪があるが広い範囲のカメラ画像である広角画像を表示するので、移動再開時に周囲の状況を確認しやすい。移動方向状況確認期間が経過した後は、別視点無歪画像を表示するので、路面における車両の位置関係を把握しやすい。

0078

ここでは、車両状態が後退停止状態(JM)まで変化する場合で説明したが、後退停止移行状態(JG)になる前に初期状態(JA)に変化した場合でも、後退開始時に魚眼レンズによる広い範囲のカメラ画像(歪がある)を表示するので、後退開始時に周囲の状況を確認しやすい。後退状態(JF)から初期状態(JA)に変化した場合には、後退時に歪を取り除いた距離感が把握しやすい画像するので、適切な位置まで容易に後退させることができる。

0079

ここでは、ガイド線画像をカメラ画像に重ねて表示したが、カメラ画像を車両状態に応じて変化させて表示するだけで上述の効果が得られる。ガイド線画像も表示することにより、車両の移動後の位置を把握しやすくなり、特に駐車するために停車する場合に有効である。

0080

所定の移動中条件として、移動を開始してからの移動距離が所定距離以上になる場合としたが、移動を開始してからの時間が所定時間以上になる、車両の速度が所定速度以上になるなどの、他の条件でもよい。移動している車両が停止し始めていることを検出する所定の停止移行検出条件として、減速が所定時間継続した場合としたが、車両の速度が所定速度以下になる、移動を開始してから所定距離を移動した後で車両の速度が所定速度以下になるなど、他の条件でもよい。車両が停止したと判断する条件を、速度がゼロでサイドブレーキがONであることとしたが、停止してから所定時間が経過するなど他の条件でもよい。

0081

車両情報として車両の進行方向を変化させる操舵装置の操舵角の情報も入力し、移動状態であり、かつ操舵角から車両がほぼ直進していると判断できる場合だけ、車両後方の無歪画像を表示するようにしてもよい。操舵角が大きく車両が回転しながら移動する場合には、車両の近くにある障害物を回避しようとしている場合もあるので、車両が障害物を回避できているかどうかを把握しやすい広角画像の方が望ましい。

0082

車両情報取得部が、電子制御ユニットから1周期での車両の移動距離を取得するとしたが、速度だけを取得し、前回と今回の速度と1周期の時間を使って台形近似により1周期の移動距離を求めてもよい。加速度は、電子制御ユニットが出力してもよいし、車両情報取得部において前回と今回の速度から求めてもよい。車両情報取得部は、運転支援装置に必要な車両状態を取得するものであれば、どのようなものでもよい。
以上のことは、他の実施の形態にもあてはまる

0083

実施の形態2.
実施の形態1にかかる運転支援システムでは、車両を後退させて駐車する場合について説明したが、車両を前進させて駐車させる場合もある。前進して駐車させる場合、小型車では運転者が車両の周囲の状況を直接視認できるため運転支援装置は特に必要にならないが、運転席が高い位置に設けられる大型車などでは、車両の前方の状況についても運転席から確認することが難しいため、運転支援装置の必要性が高い。そこで、車両を前進させて駐車する場合に車両の状態を判断し、表示するカメラ画像を切り換えるようにしたのが、実施の形態2にかかる運転支援システムである。また、路面にガイド線画像を表示しないようにしている。

0084

図13は、実施の形態2に係る運転支援システムの構成を示すブロック図である。実施の形態1の場合の構成である図1と異なる点だけを説明する。図13において、運転支援システムは、運転支援装置であるホストユニット1aとカメラユニット2とを含んで構成されている。
ホストユニット1aは、ガイド線計算部13(ガイド線情報生成部)、線描画部14(ガイド線画像生成部)、画像重畳部17を有しない。そのため、カメラ画像補正部16が出力する画像が表示部18に表示され、カメラ画像補正部16が画像出力部を構成する。

0085

情報記憶部11aには、画角情報、射影情報、レンズ歪情報および視点情報が記憶されている。車両情報取得部10aは、車両の変速機の状態(ギア状態)を示すギア状態情報、車両の速度を示す速度情報、車両情報が検出される1周期での車両の移動距離を示す移動距離情報を取得する。表示条件決定部12a(車両状態判断部)は、車両情報取得部10aが取得した車両情報に基づいてカメラ画像をどのように表示部18に表示させるかという表示条件情報を生成する。

0086

カメラユニット2は、車両の前方で運転席からは見えない部分を撮像できる位置に設置されたカメラを有している。ホストユニット1aの車両情報取得部10aが取得したギア状態が、前進できる状態、例えば、ロー(L)、セカンド(S)、ドライブ(D)、ニュートラル(N)の何れかである場合に、ホストユニット1は、カメラユニット2のカメラを、撮像してカメラ画像を送信するように制御する。ギア状態が前進できる状態であることを、前進ギア(Fwと略記する)と呼ぶ。

0087

車両を前進させて駐車する場合に、表示条件決定部13がどのように動作するかを説明する。図14は、表示条件決定部13が認識する車両状態の変化を説明する図である。
表示条件決定部13が認識する車両状態には、以下の状態がある。なお、車両の速度は、前進方向に車両が移動している場合を正とする。

0088

初期状態(KA):下記以外の状態。車両のエンジンが入ると初期状態になる。運転支援装置の支援対象の状態ではない。ギア状態が前進ギアでなくなる、速度Vが所定速度(Vr1)以上になるなどの場合に、初期状態(KA)に戻る。
下記が初期状態(KA)である条件のすべてではないが、下記の条件が満足する場合は、初期状態(KA)であると判断できる。下記の条件CKAを、前進時の明らかに初期状態である条件と呼ぶ。
CKA=速度Vが負である、または
速度Vが所定速度(Vr1)以上である、または
ギア状態が前進ギア以外である。

0089

前進準備状態(KB):前進の準備をしている状態。前進準備状態(KB)であるための条件CKBは、以下のようになる。
CKB=ギア状態が前進ギアであり、かつ
移動距離Lがゼロ、かつ
速度Vがゼロである。

0090

前進開始状態(KC):前進を開始してから所定距離を移動するまでの状態。前進準備状態(KB)において速度Vが正になると前進開始状態になる。
CKC=ギア状態が前進ギアであり、かつ
移動距離Lが正かつ所定距離(L1)未満、かつ
速度Vが正で所定速度(Vr1)未満である。

0091

前進可能状態(KD):前進を開始してから所定距離を移動するまでで停止しており、停止してから所定時間(Tz1)が経過していない状態。
CKD=ギア状態が前進ギアであり、かつ
移動距離Lが正かつ所定距離(L1)未満、かつ
速度Vがゼロであり、かつ
速度Vがゼロである継続時間(Tz)が所定時間(Tz1)未満である。
なお、停止が所定時間(Tz1)以上、経過すれば、初期状態(KA)とする。

0092

前進状態KE):前進を開始してから所定距離(L1)以上を移動しても前進を継続しており、停止移行検出条件である低速の条件が成立していない状態。低速の条件が成立する場合は、次の前進停止移行状態(KF)とする。低速の条件は、速度Vが所定速度(Vr2、Vr2<Vr1)未満であることが所定時間(Tv2)継続することである。速度Vが所定速度(Vr2)未満に継続時間の条件を持たせているのは、速度Vが所定速度(Vr2)以上と未満との間での変動が頻繁に発生するような場合に、前進状態(KE)と前進停止移行状態(KF)とが、短い間隔で頻繁に切替ることを防止するためである。
速度Vが所定速度(Vr2)以上になることなく所定距離(L1)以上を移動した場合は、所定距離(L1)以上を移動したことを検出してから所定時間(Tv2)までは、前進状態(KE)である。
CKE=ギア状態が前進ギアであり、かつ
移動距離Lが所定距離(L1)以上であり、かつ
速度Vが正で所定速度(Vr1)未満であり、かつ
低速の条件Clwが成立しない。
Clw=速度Vが所定速度(Vr2)未満、かつ
速度Vが所定速度(Vr2)未満の継続時間(Tv)が所定時間(Tv2)以上である。

0093

前進停止移行状態(KF):前進状態(KE)になった後で、低速の条件が成立したまま前進している状態。
CKF=ギア状態が前進ギアであり、かつ
移動距離Lが所定距離(L1)以上であり、かつ
速度Vが正で所定速度(Vr1)未満であり、かつ
低速の条件Clwが成立する。

0094

前進停止状態(KG):前進状態(KE)になった後で車両が停止しており、停止してから所定時間(Tz1)が経過していない状態。
CKG=速度Vがゼロで、かつ
ギア状態が前進ギアであり、かつ
速度Vがゼロである継続時間(Tz)が所定時間(Tz1)未満である。

0095

再前進状態(KH):再前進可能状態(JH)の後で、車両が前進している状態。
CKH=ギア状態が前進ギアであり、かつ
速度Vが正で所定速度(Vr1)未満であり、かつ
移動距離Lが所定距離(L1)以上である。

0096

このような車両状態に対して、表示条件決定部13は以下のように表示条件を決める。
(1)前進準備状態(KB)、前進開始状態(KC)および前進可能状態(KD)では、第1の表示条件とする。カメラ画像はカメラで撮像された画像そのままであり、レンズ歪と射影方式による歪を有している。カメラユニット2のカメラのレンズは、180度以上の画角を有するいわゆる魚眼レンズであるため、カメラ画像にはカメラの設置場所の周辺を含んだ広い範囲が表示され、車両周辺の状況が把握しやすく、車両の発進時に車両の周囲に歩行者などがいないかを確認するのに適している。

0097

ここで、前進準備状態(KB)と前進可能状態(KD)が、移動可能で車両が停止している状態である移動準備状態である。この実施の形態では、車両が移動中状態であると判断する所定の移動中条件は、車両が所定距離(L1)を移動することとしている。車両が所定距離(L1)を移動するまでで前進している状態である前進開始状態(KC)が移動開始状態である。

0098

(2)前進状態(KE)では、第2の表示条件とする。レンズ歪および射影方式による歪を取り除いたカメラ画像が表示される。距離間の掴みやすい直角座標系の画像となるため、距離感を掴むことが重要な前進中に適した画像である。
車両が所定距離(L1)を移動した後で前進している前進状態(KE)が、移動中条件が成立した後で車両が移動している状態である移動中状態である。

0099

(3)前進停止移行状態(KF)と前進停止状態(KG)では、第3の表示条件とする。視点変換後の視点は、例えば車両の前部端中央が画像の端に来るような所定の位置と所定の高さ(例えば、5m)にあり、真下を向いているとする。この視点に視点変換されたカメラ画像は、車両前方の路面を真上から見た画像となり、車両に平行または垂直な方向の間の角度が直角であるように見え、横方向ならびに縦方向の実距離に近い距離感をつかめる画像となるので、路面における車両の位置関係を把握しやすい。
前進停止移行状態(KF)が、車両が停止し始めていることを検出する所定の停止移行検出条件(この実施の形態では低速の条件Clw)が成立することを検出している状態である停止移行状態である。前進停止状態(KG)は、停止移行状態の後で車両が停止している状態である停止状態である。

0100

(4)再前進状態(KH)では、その状態に変化してから数秒程度の移動方向状況確認期間では、車両の後方の広い範囲が表示するように、第1の表示条件で表示する。その後、停止状態と同じ第3の表示条件で表示する。
再前進状態(KH)が、停止状態の後で車両が移動している状態である再移動状態である。

0101

初期状態(KA)はこの発明の運転支援装置の支援対象の状態ではないので、表示装置にはナビゲーション装置の画面が表示される。前進準備状態(KB)になった後で初期状態(KA)に戻った場合は、前進準備状態(KB)になる前に表示していた画面または初期状態(KA)に戻った時点での状態で決まる画面を表示する。なお、画面の表示を変えるような事象が発生するまでは、初期状態(KA)に変化する直前の状態での画面を表示するようにしてもよい。

0102

図15図16は、表示条件決定部12aにおける車両状態を判断する動作を説明するフロー図である。以下で、図15図16について、図14の状態変化を説明する図との関連も含めて説明する。

0103

まず、U1で車両のエンジンが始動すると、U2で表示条件決定部12は、車両状態(SO)を初期状態(KA)に設定する。以後、ECUから車両情報が入力される周期(ΔT)で、U3以降の処理が繰り返し実行され、新たな車両状態(SN)を決定する。U3では、前進時の明らかに初期状態である条件CKAが成立するかどうかをチェックする。CKAが成立する場合は、U4でSNを初期状態(KA)とし、移動距離L=0とする(図14の初期状態(KA)に入るすべての矢印)。U3に戻る前に、U5でSO=SNとする。
U3でCKAが成立しない場合は、U6でSOが初期状態(KA)であるかどうかをチェックする。なお、CKAが成立しない場合は、速度Vがゼロ以上で所定速度(Vr1)未満であり、ギア状態は前進ギアであることになる。

0104

(1)初期状態(KA)での処理
U6でSOが初期状態(KA)である場合は、U7で条件CKBが成立するかどうかをチェックする。CKBが成立する場合は、U8でSNを前進準備状態(KB)とする(図14の矢印w1)。CKBが成立しない場合は、U9でSNを初期状態(KA)とし、移動距離L=0とする(図14の矢印w2)。

0105

U6でSOが初期状態(KA)でない場合は、U10からU16で、車両状態を判断するために必要な情報を計算する。U10で移動距離Lに車両情報から得られる前回の処理時点からの移動距離Lmを加算する(L=L+Lm)。U11で速度Vがゼロであるかどうかをチェックする。速度Vがゼロである場合は、U12で継続時間(Tz)に1周期の時間(ΔT)を加算する(Tz=Tz+ΔT)。速度Vがゼロでない場合は、U13で速度Vがゼロである継続時間(Tz)をゼロにする(Tz=0)。さらに、U14で速度Vが所定速度(Vr2)未満であるかどうか(V<Vr2)をチェックする。速度Vが所定速度(Vr2)未満である場合は、U15で速度Vが所定速度(Vr2)未満である継続時間(Tv)に1周期の時間(ΔT)を加算する(Tv=Tv+ΔT)。速度Vが所定速度(Vr2)未満でない場合は、U16で速度Vが所定速度(Vr2)未満である継続時間(Tv)をゼロにする(Tv=0)。
U17でSOが前進準備状態(KB)であるかどうかをチェックする。

0106

(2)前進準備状態(KB)での処理
U17でSOが前進準備状態(KB)である場合は、U18で速度Vがゼロかどうかをチェックする。速度Vがゼロである場合は、U19でSNを前進準備状態(KB)とする(図14の矢印w3)。速度Vがゼロでない場合は、U20でSNを前進開始状態(KC)とする(図14の矢印w4)。
U17でSOが前進準備状態(KB)でない場合は、U21でSOが前進開始状態(KC)であるかどうかをチェックする。

0107

(3)前進開始状態(KC)での処理
U21でSOが前進開始状態(KC)である場合は、U22で移動距離Lが所定距離(L1)以上であるかどうか(L≧L1)をチェックする。L≧L1である場合は、U23でSNを前進状態(KE)とする(図14の矢印w6)。L<L1である場合は、U24で速度Vがゼロ(V=0)であるかどうかチェックする。速度Vがゼロである場合は、U25でSNを前進可能状態(KD)とする(図14の矢印w7)。速度Vがゼロでない場合は、U26でSNを前進開始状態(KC)とする(図14の矢印w8)。
U21でSOが前進開始状態(KC)でない場合は、U27でSOが前進可能状態(KD)であるかどうかをチェックする。

0108

(4)前進可能状態(KD)での処理
図16に示すU27でSOが前進可能状態(KD)である場合は、U28で速度Vがゼロ(V=0)であるかどうかチェックする。速度Vがゼロでない場合は、U29でSNを前進開始状態(KC)とする(図14の矢印w10)。速度Vがゼロである場合は、U30で速度Vがゼロである経過時間(Tz)が所定値(Tz1)以上であるかどうか(Tz≧Tz1)をチェックする。Tz≧Tz1である場合は、U31でSNを初期状態(KA)とし、移動距離L=0とする(図14の矢印w11)。Tz<Tz1である場合は、U32でSNを前進可能状態(KD)とする(図14の矢印w12)。
U27でSOが前進可能状態(KD)でない場合は、U33でSOが前進不可状態(JE)であるかどうかをチェックする。

0109

(5)前進状態(KE)または前進停止移行状態(KF)での処理
U33でSOが前進状態(KE)または前進停止移行状態(KF)である場合は、U34で速度Vがゼロ(V=0)であるかどうかチェックする。速度Vがゼロである場合は、U35でSNを前進停止状態(KG)とする(図14の矢印w13、w14)。速度Vがゼロでない場合は、U36で低速の条件Clwが成立するかどうかをチェックする。Clwが成立する場合は、U37でSNを前進停止移行状態(KF)とする(図14の矢印w15、w16)。Clwが成立しない場合は、U38でSNを前進状態(KE)とする(図14の矢印w17、w18)。
U33でSOが前進状態(KE)または前進停止移行状態(KF)でない場合は、U39でSOが前進停止状態(KG)であるかどうかをチェックする。

0110

(6)前進停止状態(KG)での処理
U39でSOが前進停止状態(KG)である場合は、U40で速度Vがゼロ(V=0)であるかどうかチェックする。速度Vがゼロでない場合は、U41でSNを再前進状態(KH)とする(図14の矢印w21)。速度Vがゼロである場合は、U42で速度Vがゼロである経過時間(Tz)が所定値(Tz1)以上であるかどうか(Tz≧Tz1)をチェックする。Tz≧Tz1である場合は、U43でSNを初期状態(KA)とし、移動距離L=0とする(図14の矢印w22)。Tz<Tz1である場合は、U44でSNを前進停止状態(KG)とする(図14の矢印w23)。
U39でSOが前進停止状態(KG)でない場合は、再前進状態(KH)であることになる。

0111

(7)再前進状態(KH)での処理
SOが再前進状態(KH)である場合は、U45で速度Vがゼロかどうかをチェックする。速度Vがゼロである場合は、U46でSNを前進停止状態(KG)とする(図14の矢印w24)。速度Vがゼロでない場合は、U47でSNを再前進状態(KH)とする(図14の矢印w25)。

0112

このようにして、変速機の状態(ギア状態)、速度Vおよび移動距離Lから、車両がどのような状態にあるか、すなわち、前進準備状態(KB)、前進開始状態(KC)、前進可能状態(KD)、前進状態(KE)、前進停止移行状態(KF)、前進停止状態(KG)、再前進状態(KH)、初期状態(KA)のいずれの状態に車両があるかを判断する。判断した車両状態に応じて、運転者を支援する上で適切なカメラ画像を表示させることができる。具体的には、前進準備状態(KB)と前進開始状態(KC)では、魚眼レンズによる広い範囲のカメラ画像(歪がある)を表示するので、前進開始時に周囲の状況を確認しやすい。前進状態(KE)ではレンズ歪および射影方式による歪を取り除いた画像を表示するので、距離感が把握しやすく、適切な位置まで容易に前進させることができる。前進停止移行状態(KF)、再前進可能状態(JH)および前進停止状態(KG)では、レンズ歪および射影方式による歪を取り除き車両の上から見た画像を表示するので、路面における車両の位置関係を把握しやすい。

0113

ここでは、車両状態が前進停止状態(KG)まで変化する場合で説明したが、前進停止移行状態(KF)になる前に初期状態(KA)に変化した場合でも、前進開始時に魚眼レンズによる広い範囲のカメラ画像を表示するので、前進開始時に周囲の状況を確認しやすい。前進状態(KE)から初期状態(KA)に変化した場合には、前進時に歪を取り除いた距離感が把握しやすい画像するので、適切な位置まで容易に前進させることができる。

0114

実施の形態1では車両が後退する場合、実施の形態2では車両が前進する場合で、運転者が移動する方向の路面の状況を把握しやすくなるような画像を表示した。後退と前進のどちらであっても車両が移動を開始する場合に、移動する方向の路面を車両状態に応じて適切な表示方法で表示するようにしてもよい。
これまでの実施の形態では、車両が移動を停止した後で、再度、移動する場合に、停止する前と同じ方向に移動する場合だけ、運転者を支援している。車両が移動を停止した後で、再度、移動する場合に、停止する前と異なる方向に移動する場合も、運転者を支援するようにしてもよい。
以上のことは、他の実施の形態にもあてはまる。

0115

実施の形態3.
実施の形態1および2では、ホストユニットは表示部を備えているものとしたが、カメラ画像にガイド線画像が重畳された合成画像を出力する画像出力装置4と、外部の表示装置5例えば車載ナビゲーション装置とを組み合わせて、画像出力装置4が出力する合成画像を表示装置5に表示するように構成することもできる。この実施の形態では、画像出力装置4が運転支援装置である。図17は、実施の形態3に係る運転支援システムの構成を示すブロック図である。図1と同一または対応する構成については、同一の符号を付し、説明を省略する。図17において、電子制御ユニット3からギア状態情報が車両情報取得部10および表示装置5に出力される。画像出力装置4における電子制御ユニット3との接続インターフェースは一般のナビゲーション装置と同じものになっているので、特別なインターフェースを用意しなくても画像出力装置4と電子制御ユニット3との間で通信を行うことができる。画像出力装置4が出力する画像信号は、表示装置5の外部入力端子に入力される。

0116

表示装置5は、電子制御ユニット3から車両のギア状態がリバースであるギア状態情報が入力されている間、外部入力端子に入力される画像を表示するモードに切り換わり、画像出力装置4から出力される画像を表示する。そのため、車両の運転者が車両の変速機をリバースに入れると画像出力装置4からは合成画像が出力され、表示装置5には合成画像が表示されることになる。このようにして、駐車時に車両後方の路面の画像を表示し駐車を支援することができる。

0117

なお、上述では表示装置5は、電子制御ユニット3から車両のギア状態がリバースであるギア状態情報が入力された場合に画像出力装置4から出力される画像を表示するようにした。これに加えて、表示装置5の外部入力端子に入力される画像を表示するモードに切り換える切り替えスイッチを表示装置5に設け、ユーザがこの切り替えスイッチを押した場合に画像出力装置4から出力される画像を表示させるようにしてもよい。この点は、他の実施の形態にもあてはまる。

0118

実施の形態4.
実施の形態1においては、ホストユニットで車両状態に基づいて表示条件を決め、カメラユニットから送信されるカメラ画像とガイド線画像とを合成するようにした。カメラユニット内に、車両情報取得部、表示条件決定部、カメラ画像補正部を持たせることもできる。撮像したカメラ画像を基に、車両状態に応じて適切な表示条件での画像を出力するカメラユニットを運転支援カメラユニットと呼ぶ。この実施の形態4では、運転支援カメラユニットと、運転支援カメラユニットが出力する画像を表示する表示装置を組み合わせて、運転支援システムを構成する。
この実施の形態の運転支援カメラユニットは、情報記憶部、ガイド線計算部、線描画部といったガイド線画像を生成するための構成も有し、カメラ画像にガイド線画像が重畳された合成画像を出力する。

0119

図18は、実施の形態4に係る運転支援システムの構成を示すブロック図である。図18において図17と同一または対応する構成については同一の符号を付し、説明を省略する。カメラユニット2aの撮像部21は、車両情報取得部10から車両のギア状態がリバースであるギア状態情報を受けている間、車両の後方の路面を撮像する。撮像部21が撮像したカメラ画像はカメラ画像補正部16に出力される。カメラ画像補正部16は、実施の形態1などと同様に、カメラ画像を補正する。画像重畳部18では、カメラ画像補正部16が出力する画像と線描画部14を出力するガイド線画像が重畳した合成画像を出力する。カメラユニット2aが出力する画像信号は、表示装置5の外部入力端子に入力される。

0120

本実施の形態における表示装置5も、実施の形態3の場合と同様に、電子制御ユニット3から車両のギア状態がリバースであるギア状態情報が入力されている間、外部入力端子に入力される画像を表示するモードに切り換わる。そのため、車両の運転者の操作に応じて車両の変速機がリバースの状態になると表示装置5に運転支援のための画像が表示される。

0121

1,1aホストユニット(運転支援装置)
2カメラユニット(カメラ)
2a カメラユニット(運転支援カメラユニット)
3電子制御ユニット
4画像出力装置(運転支援装置)
5表示装置
10車両情報取得部
11情報記憶部(ガイド線情報記憶部)
11a 情報記憶部
12,12a表示条件決定部(車両状態判断部)
13 ガイド線計算部(ガイド線情報生成部)
14線描画部(ガイド線画像生成部)
15カメラ画像受信部
16 カメラ画像補正部(画像生成部)
17 画像重畳部
18 表示部(表示装置)
21撮像部(カメラ)

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ