図面 (/)

この項目の情報は公開日時点(2018年4月5日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

車両の周辺の状況を容易に確認できる。

解決手段

実施形態の表示制御装置は、所定のデータ、及び車両の周辺を撮像する撮像部から撮像画像データを取得する取得部と、車両の三次元形状を表す車両形状データを記憶する記憶部と、撮像画像データに基づいた車両の周辺を表した表示データに対して、車両形状データを重畳して表示する際に、所定のデータに基づいて車両形状データの透過率切り替え表示処理部と、を備える。

概要

背景

従来、車両に設置された撮像装置で車両の周辺環境撮像し、撮像結果である画像を表示する技術が提案されている。

周辺環境を表示する際に、車室や車両を周辺環境が撮像された画像データに重畳して表示する技術がある。

概要

車両の周辺の状況を容易に確認できる。実施形態の表示制御装置は、所定のデータ、及び車両の周辺を撮像する撮像部から撮像画像データを取得する取得部と、車両の三次元形状を表す車両形状データを記憶する記憶部と、撮像画像データに基づいた車両の周辺を表した表示データに対して、車両形状データを重畳して表示する際に、所定のデータに基づいて車両形状データの透過率切り替え表示処理部と、を備える。

目的

本発明は、上記に鑑みてなされたものであって、車両形状データが重畳された場合においても、周辺環境を認識できる表示制御装置を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

所定のデータ、及び車両の周辺撮像する撮像部から撮像画像データを取得する取得部と、前記車両の三次元形状を表す車両形状データを記憶する記憶部と、前記撮像画像データに基づいた車両の周辺を表した表示データに対して、前記車両形状データを重畳して表示する際に、前記所定のデータに基づいて前記車両形状データの透過率切り替え表示処理部と、を備える表示制御装置

請求項2

前記取得部は、前記所定のデータとして、前記車両の周辺の物体を検出する検出部から検出データを取得し、前記検出データにより検出された前記物体と、前記車両と、の間の距離が所定値以内であるか否かを判定する判定部により、前記距離が所定値以内であると判定された場合に、前記表示処理部は、前記車両形状データの透過率を切り替える、請求項1に記載の表示制御装置。

請求項3

前記表示処理部は、前記距離に応じて、前記車両形状データの透過率を切り替える、請求項2に記載の表示制御装置。

請求項4

前記取得部は、前記所定のデータとして、拡大する操作又は縮小する操作を示す操作データを取得し、前記表示処理部は、前記操作データを取得した場合に、前記拡大する操作の前又は前記縮小する操作の前における前記車両形状データの透過率から、異なる透過率に切り替えられた前記車両形状データが重畳された前記表示データを表示する、請求項1乃至3のいずれか一つに記載の表示制御装置。

請求項5

前記表示処理部は、前記操作データに基づいて拡大表示をする場合に、拡大する操作の前の透過率から高い透過率に切り替えられた前記車両形状データが重畳された表示データを表示し、前記操作データに基づいて縮小表示をする場合に、縮小する操作の前の透過率から低い透過率に切り替えられた前記車両形状データが重畳された表示データを表示する、請求項4に記載の表示制御装置。

請求項6

前記表示処理部は、前記操作データに従って拡大表示をする場合に、表示の中心となる点を示した注視点を、予め定められた座標に移動させる、請求項4又は5に記載の表示制御装置。

請求項7

前記表示処理部は、前記操作データに従って車両形状データを動かしている操作を行っている間、当該操作前の透過率から高い透過率に切り替えられた車両形状データが重畳された表示データを表示する、請求項4乃至6のいずれか一つに記載の表示制御装置。

請求項8

前記表示処理部は、前記表示データを表示する表示先に応じて透過率が切り替えられた前記車両形状データを表示する、請求項1に記載の表示制御装置。

技術分野

0001

本発明の実施形態は、表示制御装置に関する。

背景技術

0002

従来、車両に設置された撮像装置で車両の周辺環境撮像し、撮像結果である画像を表示する技術が提案されている。

0003

周辺環境を表示する際に、車室や車両を周辺環境が撮像された画像データに重畳して表示する技術がある。

先行技術

0004

特開2014−60646号公報

発明が解決しようとする課題

0005

従来技術においては、周辺環境が示された画像データに、車室画像を重畳する際に、周辺環境を把握させるために、車室の領域毎に透過率を変更する技術が提案されている。しかしながら、車両の三次元形状を表す車両形状データを、周辺環境が示された画像データに重畳する場合を考慮したものではない。

0006

本発明は、上記に鑑みてなされたものであって、車両形状データが重畳された場合においても、周辺環境を認識できる表示制御装置を提供する。

課題を解決するための手段

0007

実施形態の表示制御装置は、一例として、所定のデータ、及び車両の周辺を撮像する撮像部から撮像画像データを取得する取得部と、車両の三次元形状を表す車両形状データを記憶する記憶部と、撮像画像データに基づいた車両の周辺を表した表示データに対して、車両形状データを重畳して表示する際に、所定のデータに基づいて車両形状データの透過率を切り替え表示処理部と、を備える。よって、運転者は、所定のデータに基づいて車両形状データの透過率の切り替えを行うことで、現在の状況に応じた、車両形状データと車両の周辺との表示ができるため、利便性を向上させることができる。

0008

また、実施形態の表示制御装置は、一例として、取得部は、所定のデータとして、車両の周辺の物体を検出する検出部から検出データを取得し、検出データにより検出された物体と、車両と、の間の距離が所定値以内であるか否かを判定する判定部により、距離が所定値以内であると判定された場合に、表示処理部は、車両形状データの透過率を切り替える。よって、運転者は、車両の周辺の物体と車両との位置関係に応じて車両形状データの透過率の切り替えを行うことで、現在の状況に応じた、車両形状データと車両の周辺との表示ができるため、利便性を向上させることができる。

0009

また、実施形態の表示制御装置は、一例として、表示処理部は、距離に応じて、車両形状データの透過率を切り替える。よって、運転者は、距離に応じて透過率が切り替えられたことを認識できるので、利便性を向上させることができる。

0010

また、実施形態の表示制御装置は、一例として、取得部は、所定のデータとして、拡大する操作又は縮小する操作を示す操作データを取得し、表示処理部は、操作データを取得した場合に、拡大する操作の前又は縮小する操作の前における車両形状データの透過率から、異なる透過率に切り替えられた車両形状データが重畳された表示データを表示する。よって、運転者は、車両形状データの透過率が切り替えられたことで、車両形状データの拡大又は縮小されたことを確認できるため、利便性を向上させることができる。

0011

また、実施形態の表示制御装置は、一例として、表示処理部は、操作データに基づいて拡大表示をする場合に、拡大する操作の前の透過率から高い透過率に切り替えられた車両形状データが重畳された表示データを表示し、操作データに基づいて縮小表示をする場合に、縮小する操作の前の透過率から低い透過率に切り替えられた車両形状データが重畳された表示データを表示する。よって、運転者は、拡大縮小に応じて透過率の切り替えを行うことで、運転者の操作に対応した、車両形状データと車両の周辺との表示ができるため、利便性を向上させることができる。

0012

また、実施形態の表示制御装置は、一例として、表示処理部は、操作データに従って拡大表示をする場合に、表示の中心となる点を示した注視点を予め定められた座標に移動させる。よって、運転者は、拡大表示を行う際に、注視点を予め定められた座標まで移動させることで、運転者の操作に対応した、車両形状データと車両の周辺との表示ができるため、利便性を向上させることができる。

0013

また、実施形態の表示制御装置は、一例として、表示処理部は、操作データに従って車両形状データを動かしている操作を行っている間、当該操作前の透過率から高い透過率に切り替えられた車両形状データが重畳された表示データを表示する。よって、運転者は、車両形状データを動かしている間、車両形状データが透過することで、車両の周辺を確認できるため、利便性を向上させることができる。

0014

また、実施形態の表示制御装置は、一例として、表示処理部は、表示データを表示する表示先に応じて透過率が切り替えられた車両形状データを表示する。よって、表示先の特性に応じた表示を実現できるので、視認性を向上させることができる。

図面の簡単な説明

0015

図1は、実施形態にかかる表示制御装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。
図2は、実施形態にかかる表示制御装置を搭載する車両の一例が示された平面図(鳥瞰図)である。
図3は、実施形態にかかる表示制御装置を有する表示制御システムの構成の一例を示すブロック図である。
図4は、実施形態にかかる表示制御装置としてのECUの機能的構成を示すブロック図である。
図5は、実施形態の車両形状データ記憶部に記憶された車両形状データを例示した図である。
図6は、車両の高さ2m以上に対応する領域について完全透過させた場合の車両形状データを例示した図である。
図7は、車両の高さ1m以上に対応する領域について完全透過させた場合の車両形状データを例示した図である。
図8は、車両の所定位置から後方の領域について完全透過させた場合の車両形状データを例示した図である。
図9は、車両の高さ1m以下に対応する領域について完全透過させた場合の車両形状データを例示した図である。
図10は、実施形態の画像合成部における撮影画像データを仮想投影面への投影を示す例示的かつ模式的な説明図である。
図11は、車両形状データと仮想投影面とを示す模式的かつ例示的な側面図である。
図12は、実施形態の表示処理部により表示される視点画像データの一例を示した図である。
図13は、実施形態の表示処理部により表示される視点画像データの一例を示した図である。
図14は、実施形態の表示処理部により表示される視点画像データの一例を示した図である。
図15は、実施形態の表示処理部により表示される視点画像データの一例を示した図である。
図16は、実施形態の表示処理部により表示される視点画像データの一例を示した図である。
図17は、実施形態のECUにおける第1の表示処理の手順を示すフローチャートである。
図18は、実施形態のECUにおける第2の表示処理の手順を示すフローチャートである。
図19は、実施形態のECUにおける第3の表示処理の手順を示すフローチャートである。
図20は、実施形態の車両の高さの基準となる、車輪と地面の接地点を例示した図である。
図21は、変形例1の車両の高さの基準となる、水平面を例示した図である。
図22は、変形例の表示処理部が表示する表示画面を例示した図である。

実施例

0016

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。

0017

本実施形態において、表示制御装置(表示制御システム)を搭載する車両1は、例えば、不図示の内燃機関駆動源とする自動車、すなわち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、すなわち電気自動車燃料電池自動車等であってもよい。また、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。また、車両1は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置、例えばシステム部品等を搭載することができる。駆動方式としては、4つある車輪3すべてに駆動力を伝え、4輪すべてを駆動輪として用いる四輪駆動車両とすることができる。車輪3の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。また、駆動方式も四輪駆動方式に限定されず、例えば、前輪駆動方式や後輪駆動方式でもよい。

0018

図1に例示されるように、車体2は、不図示の乗員が乗車する車室2aを構成している。車室2a内には、乗員としての運転者の座席2bに臨む状態で、操舵部4や、加速操作部5、制動操作部6、変速操作部7等が設けられている。操舵部4は、例えば、ダッシュボード24から突出したステアリングホイールであり、加速操作部5は、例えば、運転者の足下に位置されたアクセルペダルであり、制動操作部6は、例えば、運転者の足下に位置されたブレーキペダルであり、変速操作部7は、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部4、加速操作部5、制動操作部6、変速操作部7等は、これらには限定されない。

0019

また、車室2a内には、表示装置8や、音声出力装置9が設けられている。表示装置8は、例えば、LCD(liquid crystal display)や、OELD(organic electroluminescent display)等である。音声出力装置9は、例えば、スピーカである。また、表示装置8は、例えば、タッチパネル等、透明な操作入力部10で覆われている。乗員は、操作入力部10を介して表示装置8の表示画面に表示される画像を視認することができる。また、乗員は、表示装置8の表示画面に表示される画像に対応した位置で手指等で操作入力部10を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置8や、音声出力装置9、操作入力部10等は、例えば、ダッシュボード24の車幅方向すなわち左右方向の中央部に位置されたモニタ装置11に設けられている。モニタ装置11は、スイッチや、ダイヤルジョイスティック、押しボタン等の不図示の操作入力部を有することができる。また、モニタ装置11とは異なる車室2a内の他の位置に不図示の音声出力装置を設けることができるし、モニタ装置11の音声出力装置9と他の音声出力装置から、音声を出力することができる。なお、モニタ装置11は、例えば、ナビゲーションシステムオーディオシステムと兼用されうる。

0020

また、図1図2に例示されるように、車両1は、例えば、四輪自動車であり、左右二つ前輪3Fと、左右二つの後輪3Rとを有する。これら四つの車輪3は、いずれも転舵可能に構成されうる。図3に例示されるように、車両1は、少なくとも二つの車輪3を操舵する操舵システム13を有している。操舵システム13は、アクチュエータ13aと、トルクセンサ13bとを有する。操舵システム13は、ECU14(electronic control unit)等によって電気的に制御されて、アクチュエータ13aを動作させる。操舵システム13は、例えば、電動パワーステアリングシステムや、SBW(steer by wire)システム等である。操舵システム13は、アクチュエータ13aによって操舵部4にトルク、すなわちアシストトルクを付加して操舵力を補ったり、アクチュエータ13aによって車輪3を転舵したりする。この場合、アクチュエータ13aは、一つの車輪3を転舵してもよいし、複数の車輪3を転舵してもよい。また、トルクセンサ13bは、例えば、運転者が操舵部4に与えるトルクを検出する。

0021

また、図2に例示されるように、車体2には、複数の撮像部15として、例えば四つの撮像部15a〜15dが設けられている。撮像部15は、例えば、CCD(charge coupled device)やCIS(CMOS image sensor)等の撮像素子を内蔵するデジタルカメラである。撮像部15は、所定のフレームレート動画データ(撮像画像データ)を出力することができる。撮像部15は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば140°〜220°の範囲を撮影することができる。また、撮像部15の光軸斜め下方に向けて設定されている場合もある。よって、撮像部15は、車両1が移動可能な路面やその周辺の物体(障害物、岩、窪み、水たまり、轍等)を含む車両1の周辺の外部環境を逐次撮影し、撮像画像データとして出力する。

0022

撮像部15aは、例えば、車体2の後側の端部2eに位置され、リアハッチドア2hのリアウインドウの下方の壁部に設けられている。撮像部15bは、例えば、車体2の右側の端部2fに位置され、右側のドアミラー2gに設けられている。撮像部15cは、例えば、車体2の前側、すなわち車両前後方向の前方側の端部2cに位置され、フロントバンパフロントグリル等に設けられている。撮像部15dは、例えば、車体2の左側の端部2dに位置され、左側のドアミラー2gに設けられている。表示制御システム100を構成するECU14は、複数の撮像部15で得られた撮像画像データに基づいて演算処理画像処理を実行し、より広い視野角の画像を生成したり、車両1を上方から見た仮想的な俯瞰画像を生成したりすることができる。また、ECU14は、撮像部15で得られた広角画像のデータに演算処理や画像処理を実行し、特定の領域を切り出した画像を生成したり、特定の領域のみを示す画像データを生成したり、特定の領域のみ強調されるような画像データを生成したりする。また、ECU14は、撮像画像データを撮像部15が撮像した視点とは異なる仮想視点から撮像したような仮想画像データに変換(視点変換)することができる。ECU14は、取得した画像データを表示装置8に表示することで、例えば、車両1の右側方左側方の安全確認、車両1を俯瞰してその周囲の安全確認を実行できるような周辺監視情報を提供する。

0023

また、図3に例示されるように、表示制御システム100(表示制御装置)では、ECU14や、モニタ装置11、操舵システム13等の他、ブレーキシステム18、舵角センサ19、アクセルセンサ20、シフトセンサ21、車輪速センサ22、加速度センサ26等が、電気通信回線としての車内ネットワーク23を介して電気的に接続されている。車内ネットワーク23は、例えば、CAN(controller area network)として構成されている。ECU14は、車内ネットワーク23を通じて制御信号を送ることで、操舵システム13、ブレーキシステム18等を制御することができる。また、ECU14は、車内ネットワーク23を介して、トルクセンサ13b、ブレーキセンサ18b、舵角センサ19、アクセルセンサ20、シフトセンサ21、車輪速センサ22、加速度センサ26等の検出結果や、操作入力部10等の操作信号等を、受け取ることができる。

0024

ECU14は、例えば、CPU14a(central processing unit)や、ROM14b(read only memory)、RAM14c(random access memory)、表示制御部14d、音声制御部14e、SSD14f(solid state drive、フラッシュメモリ)等を有している。CPU14aは、ROM14b等の不揮発性記憶装置に記憶された(インストールされた)プログラム読み出し、当該プログラムに従って演算処理を実行する。CPU14aは、例えば、表示装置8で表示される画像に関連した画像処理を実行する。例えば、CPU14aは、撮像部15が撮像した撮像画像データに演算処理や画像処理を実行して、車両1の予測進路上に、注意すべき特定領域が存在するか否かを検出したり、注意すべき特定領域の存在を例えば、車両1の進行推定方向を示す進路指標予測進路線)の表示態様を変化させることでユーザ(運転者や搭乗者)に報知したりする。

0025

RAM14cは、CPU14aでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部14dは、ECU14での演算処理のうち、主として、撮像部15で得られた撮像画像データを用いた画像処理や、表示装置8で表示される画像データの画像処理(一例としては画像合成)等を実行する。また、音声制御部14eは、ECU14での演算処理のうち、主として、音声出力装置9で出力される音声データの処理を実行する。また、SSD14fは、書き換え可能な不揮発性の記憶部であって、ECU14の電源オフされた場合であってもデータを記憶することができる。なお、CPU14aや、ROM14b、RAM14c等は、同一パッケージ内に集積されることができる。また、ECU14は、CPU14aに替えて、DSP(digital signal processor)等の他の論理演算プロセッサ論理回路等が用いられる構成であってもよい。また、SSD14fに替えてHDD(hard disk drive)が設けられてもよいし、SSD14fやHDDは、周辺監視用のECU14とは別に設けられてもよい。

0026

ブレーキシステム18は、例えば、ブレーキロックを抑制するABS(anti-lock brake system)や、コーナリング時の車両1の横滑りを抑制する横滑り防止装置ESC:electronic stability control)、ブレーキ力を増強させる(ブレーキアシストを実行する)電動ブレーキシステム、BBW(brake by wire)等である。ブレーキシステム18は、アクチュエータ18aを介して、車輪3ひいては車両1に制動力を与える。また、ブレーキシステム18は、左右の車輪3の回転差などからブレーキのロックや、車輪3の空回り、横滑りの兆候等を検出して、各種制御を実行することができる。ブレーキセンサ18bは、例えば、制動操作部6の可動部の位置を検出するセンサである。ブレーキセンサ18bは、可動部としてのブレーキペダルの位置を検出することができる。ブレーキセンサ18bは、変位センサを含む。

0027

舵角センサ19は、例えば、ステアリングホイール等の操舵部4の操舵量を検出するセンサである。舵角センサ19は、例えば、ホール素子などを用いて構成される。ECU14は、運転者による操舵部4の操舵量や、自動操舵時の各車輪3の操舵量等を、舵角センサ19から取得して各種制御を実行する。なお、舵角センサ19は、操舵部4に含まれる回転部分の回転角度を検出する。舵角センサ19は、角度センサの一例である。

0028

アクセルセンサ20は、例えば、加速操作部5の可動部の位置を検出するセンサである。アクセルセンサ20は、可動部としてのアクセルペダルの位置を検出することができる。アクセルセンサ20は、変位センサを含む。

0029

シフトセンサ21は、例えば、変速操作部7の可動部の位置を検出するセンサである。シフトセンサ21は、可動部としての、レバーや、アーム、ボタン等の位置を検出することができる。シフトセンサ21は、変位センサを含んでもよいし、スイッチとして構成されてもよい。

0030

車輪速センサ22は、車輪3の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ22は、検出した回転数を示す車輪速パルス数をセンサ値として出力する。車輪速センサ22は、例えば、ホール素子などを用いて構成されうる。ECU14は、車輪速センサ22から取得したセンサ値に基づいて車両1の移動量などを演算し、各種制御を実行する。なお、車輪速センサ22は、ブレーキシステム18に設けられている場合もある。その場合、ECU14は、車輪速センサ22の検出結果をブレーキシステム18を介して取得する。

0031

加速度センサ26は、例えば車両1に設けられている。ECU14は、加速度センサ26からの信号に基づき、車両1の前後方向の傾き(ピッチ角)や左右方向の傾き(ロール角)を算出する。ピッチ角は、車両1の左右軸周りの傾きを示した角度であり、水平な面(地面、路面)上に車両1が存在する場合に、ピッチ角が0度となる。また、ロール角は、車両1の前後軸周りの傾きを示した角度であり、水平な面(地面、路面)上に車両1が存在する場合に、ロール角が0度となる。つまり、車両1が、水平な路面に存在するか否か、傾斜面(上り勾配の路面または下り勾配の路面)に存在するか否か等が検出できる。なお、車両1がESCを搭載する場合、ESCに従来から搭載されている加速度センサ26を用いる。なお、本実施形態は、加速度センサ26を制限するものではなく、車両1の前後左右方向の加速度を検出可能なセンサであればよい。

0032

なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定(変更)することができる。

0033

ECU14に含まれるCPU14aは、上述したように撮像画像データに基づいた車両1周辺の環境を表示する。この機能を実現するために、CPU14aは、図4に示すような種々のモジュールを含んでいる。CPU14aは、例えば、取得部401と、判定部402と、透過率処理部403と、画像合成部404と、視点画像生成部405と、表示処理部406と、を含んでいる。これらのモジュールは、ROM14b等の記憶装置にインストールされ記憶されたプログラムを読み出し、それを実行することで実現可能である。

0034

また、SSD14fには、例えば、車両1の三次元形状を表した車両形状データを記憶する車両形状データ記憶部451を備えている。また、車両形状データ記憶部451に記憶された車両形状データは、車両1の外部形状の他に、車両1の内装の形状も保持している。

0035

取得部401は、画像取得部411と、操作取得部412と、検出取得部413と、を含み、車両1の周囲を表示するために必要な情報(例えば、外部から取得した所定のデータや、撮像画像データ)を取得する。

0036

画像取得部411は、車両1の周辺を撮像する撮像部15a〜15dから、撮像画像データを取得する。

0037

操作取得部412は、操作入力部10を介して、運転者が行った操作を表した操作データを取得する。操作データとしては、例えば、表示装置8に表示された画面の拡大・縮小操作や、表示装置8に表示された画面について視点の変更操作等が考えられる。操作取得部412は、さらに、シフト操作を示した操作データや、車両1の運転者により行われた操舵を示した舵角データも取得する。さらには、操作取得部412は、車両1の運転者により行われたウィンカー点灯操作を示した操作データも取得する。

0038

検出取得部413は、車両1の周辺の物体を検出する検出部から検出データを取得する。本実施形態では、検出部の例として、撮像部15a〜15dがステレオカメラであって、当該ステレオカメラを用いることで車両1の周辺の物体を検出したり、(図示しない)ソナーレーザ等を用いて、車両1の周辺の物体を検出することが考えられる。

0039

判定部402は、取得部401が取得した情報に基づいて、車両1を表した車両形状データの透過率を切り替えるか否かを判定する。

0040

例えば、判定部402は、操作取得部412が取得した操作データに基づいて、車両1を表した車両形状データの透過率を切り替えるか否かを判定する。例えば、判定部402は、運転者により縮小する操作又は拡大する操作が行われた場合に、縮小する操作又は拡大する操作に対応する、透過率に切り替えるべきと判定する。

0041

他の例としては、判定部402は、検出取得部413が取得した検出データに基づいて、車両1を表した車両形状データの透過率を切り替えるか否かを判定する。具体的には、判定部402は、検出取得部413が取得した検出データにより検出された障害物と、車両1と、の間の距離が所定値以内であるか否かを判定する。そして、判定部402は、当該結果に基づいて、車両1を表した車両形状データの透過率を切り替えるか否かを判定する。例えば、検出データにより車両1の進行方向に障害物が所定の距離以内に検出された場合に、車両形状データの透過率を上昇させることで、障害物を視認しやすくすることが考えられる。なお、所定の距離は、実施の態様に応じて設定されるものとする。

0042

透過率処理部403は、判定部402の判定結果に基づいて、車両形状データ記憶部451に記憶された車両形状データに対して、透過率の変更処理等を行う。その際に車両形状データの色を変更しても良い。例えば、障害物に最も近傍の領域の色を変更して、運転者に障害物が近づいていることを認識させるようにしても良い。

0043

本実施形態の表示処理部406は、車両形状データを表示する際に、検出データに基づいて、検知された物体に近い、車両1の部位に対応する車両形状データの領域の透過率を、他の領域の透過率と、を異ならせて表示してもよい。例えば、判定部402が、障害物と車両1との間の距離が所定値以内と判定された場合に、透過率処理部403は、検知された障害物近傍の車両1の部位に対応する、車両形状データの一部の領域の透過率を、他の領域の透過率より高くする。これにより、障害物を視認することが容易になる。

0044

このように、本実施形態の表示処理部406は、車車両形状データのうち一部の領域の透過率を、一部の領域と異なる他の領域の透過率と異ならせて表示することもできる。この一部の領域は、車両形状データ内の領域であれば、どのような領域であっても良い。例えば、一部の領域は、検知された物体近傍の車両1の部位に対応する領域でもよいし、車両形状データに含まれるバンパーや車輪であっても良い。他の例としては、車両形状データのうち、車輪が表された領域を一部の領域として、ルーフが表された領域を他の領域として、透過率を異ならせても表示しても良い。さらに本実施形態は、一部の領域から他の領域に向かうに従って透過率を徐々に変更しても良い。さらに、本実施形態の一部の領域及び他の領域は、車両1の一つのパーツに対応する領域、又は複数のパーツにまたがっている領域でも良いし、パーツ内の一部に対応する領域でも良い。

0045

図5は、本実施形態の車両形状データ記憶部451に記憶された車両形状データを例示した図である。図5に示される車両形状データは、車両1の舵角に応じて車輪3等の向きを調整可能とする。

0046

透過率処理部403は、判定部402の判定結果に従って透過率を切り替える場合に、切り替えられた透過率になるような透過処理を、車両形状データに対して行う。なお、透過率は0%〜100%まで任意の値を設定可能とする。

0047

例えば、透過率処理部403は、判定部402の判定結果に従って透過率を切り替える場合に、検出データにより検出された障害物と、車両1と、の間の距離に応じて、車両形状データの透過率を切り替えても良い。これにより、表示処理部406は、当該距離に応じて透過率が切り替えられた車両形状データの表示を実現できる。

0048

例えば、判定部402は、操作データに基づいて、透過率をどのように切り替えるか判定しても良い。操作入力部10がタッチパネルを備えている場合に、車両形状データをタッチしている時間に応じて、透過率を切り替えても良い。例えば、タッチしている時間が長いと判定された場合に、透過率処理部403は、透過率を高くするように透過処理をしてもよい。さらには、判定部402が検出したタッチした回数の増加に従って、透過率処理部403は、透過率を高くするように透過処理をしてもよい。他の例として、判定部402が検出したタッチの強弱に従って、透過率処理部403は、透過率を切り替えても良い。

0049

さらには、判定部402は、操作データに基づいて、車両形状データのうち、任意の領域がタッチされていると判定された場合に、透過率処理部403は、任意の領域に対して、他の領域より透過率を高くする(又は低くする)などの処理を行っても良い。

0050

また、透過率処理部403は、車両形状データ全体について同一の透過率で透過処理を行うことに制限するものではない。車両形状データの領域毎に透過率を異ならせても良い。例えば、車両形状データのうち地面に近接する車輪等が配置されている領域の透過率を低くし、地面から離れた領域ほど透過率を高くすることが考えられる。

0051

図6は、車両1の高さ2m以上に対応する領域について完全透過させた場合の車両形状データを例示した図である。図6に示されるように、車両1の高さ2m以上に対応する領域について完全透過させ、車両1の高さ2mより下を完全透過させず、下に向かうに従って透過率を低くする。このように、車輪と地面との状況を認識させつつ、高さ2m以上に対応する領域を完全透過させることで、車両1の周囲の表示範囲を拡大させることができる。

0052

図7は、車両1の高さ1m以上に対応する領域について完全透過させた場合の車両形状データを例示した図である。図7に示されるように、車両1の高さ1m以上か否かに応じて完全透過させても良い。図6及び図7に示される、完全透過させる高さの基準は、車両1の高さや、車両1の周辺の状況に応じて、任意に設定可能とする。

0053

このように、透過率処理部403は、車両形状データのうち、車輪が表された領域から、ルーフが表された領域に向かうに従って、透過率を高くする透過処理を行ってもよい。これにより、表示処理部406が、このような透過処理が行われた車両形状データを表示することで、地面と車両1との状況を表示しつつ、車両1のルーフ近傍を完全透過させることで、車両1の周囲の状況の視認が可能となる。また、完全透過させるか否かの基準は、車両1の高さに制限するものではない。

0054

図8は、車両1の所定位置から後方の領域について完全透過させた場合の車両形状データを例示した図である。車両1の所定位置から前方の領域を表示することで、車両1と、進行方向に存在する物体との位置関係の他に、車輪の接地面の状況を認識できる。車両1の後方は、進行方向の状況の確認には不要なため、透過させることで、車両1の周囲のより広い領域の表示が実現できる。

0055

図8に示される例では、車両1が前方に進行する場合とする。判定部402が、操作取得部412により取得された操作データに従って、シフト操作が行われたと判定した場合に、透過率処理部403は、透過させる領域を切り替えても良い。例えば、判定部402により、進行方向が前進から後退に切り替えられたと判定された場合に、透過率処理部403は、車両1の所定位置から後方の領域の完全透過から、車両1の所定位置から前方の領域の完全透過に切り替える。これにより、進行方向に応じた透過処理を実現できる。

0056

また、図6及び図7においては、所定の高さT1以上を完全透過させる例について説明したが、所定の高さT1以下を完全透過させても良い。図9は、所定の高さT1が1mの場合であって、車両1の高さ1m以下に対応する領域について完全透過させた場合の車両形状データを例示した図である。図9に示される例では、車両1の高さ1m以上を完全透過させず、上に向かうに従って透過率を低くしている。

0057

これら車両形状データを、車両1の周辺を撮影した撮像画像データに重畳することになる。これにより、例えば、本実施形態の表示処理部406は、車両形状データのうち、(一部の領域である)車輪が表された領域から、(他の領域である)ルーフが表された領域に向かうに従って、透過率を高くする表示を行う又は透過率を低くする表示を行うことができる。

0058

図4戻り、画像合成部404は、画像取得部411で取得された複数の撮影画像のデータ、すなわち、複数の撮像部15で撮影された複数の撮影画像データを、それらの境界部分を合成することで繋ぎ、一つの撮影画像データを生成する。

0059

画像合成部404は、撮影画像データを、車両1の周囲を取り囲む仮想投影面に投影するように、複数の撮像画像データを合成する。

0060

図10は、画像合成部404における撮影画像データ1001を仮想投影面1002への投影を示す例示的かつ模式的な説明図である。図10の例では、仮想投影面1002は、地面Grに沿った底面1002bと、底面1002bすなわち地面Grから立ち上がった側面1002aと、を有している。地面Grは、車両1の上下方向Zと直交する水平面であり、タイヤの接地面でもある。底面1002bは、略円形平坦面であり、車両1を基準とする水平面である。側面1002aは、底面1002bと接した曲面である。

0061

図10に示されるように、側面1002aの、車両1の中心Gcを通り車両1の垂直な仮想断面の形状は、例えば、楕円状あるいは放物線状である。側面1002aは、例えば、車両1の中心Gcを通り車両1の上下方向に沿う中心線CL周りの回転面として構成され、車両1の周囲を取り囲んでいる。画像合成部404は、撮影画像データ1001を、仮想投影面1002に投影した合成画像データを生成する。

0062

視点画像生成部405は、重畳部421と、縮小・拡大部422と、を備え、仮想投影面1002に投影された合成画像データから、所定の仮想視点から見た、視点画像データを生成する。なお、本実施形態は、合成画像を生成した後、所定の視点から見た視点画像データを生成する例について説明したが、これら処理を一度に行うルックアップテーブルを用いて、視点画像データのみを生成しても良い。

0063

図11は、車両形状データ1103と、仮想投影面1002とを示す模式的かつ例示的な側面図である。図11に示されるように、重畳部421は、仮想投影面1002上に、透過率処理部403により透過処理がされた後の車両形状データ1103を重畳する。そして、視点画像生成部405は、仮想投影面1002に投影された合成画像データを、視点1101から注視点1102を見た視点画像データに変換する。なお、注視点1102は、視点画像データの表示領域の中心になる点となる。

0064

視点1101は、ユーザが任意に設定可能とする。また、視点は、車両形状データ1103の外部に制限するものではなく、車両形状データ1103の内部に設定しても良い。本実施形態においては、視点画像生成部405は、操作取得部412が取得する操作データに従って設定された視点からの視点画像データを生成する。

0065

縮小・拡大部422は、操作データに従って、視点1101を車両形状データ1103に近づけさせたり、遠ざけたりする処理を行うことで、視点画像生成部405により生成される視点画像データに表わされる車両形状データ1103の縮小・拡大処理を行う。

0066

また、注視点1102も、ユーザが任意で設定可能とする。例えば、操作取得部412が取得する操作データに従って拡大する操作が行われた場合に、縮小・拡大部422は、表示の中心となる点を示した注視点1102を予め定められた座標まで移動させる処理を行っても良い。例えば、ユーザが拡大操作を行った場合に、ユーザは車輪と地面Grの状況を見たいものとみなして、縮小・拡大部422は、注視点1102が車輪と地面Grとの接地点まで注視点を移動させる処理を行う。なお、本実施形態は、注視点1102の移動先となる座標が、車輪と地面Grとの接地点の場合について説明したが、移動先の座標の位置を制限するものではなく、実施態様に応じて適切な座標が設定される。

0067

これにより、表示処理部406は、操作データに基づいて拡大表示をする場合に、拡大する操作の前の透過率(例えば、現在の透過率)から高い透過率に切り替えると共に、注視点を予め定められた座標に移動させる視点画像データの表示を行うこととなる。運転者が確認したいと考えられる座標まで注視点が移動することで、運転者の操作に対応した、車両形状データと車両の周辺との表示ができるため、利便性を向上させることができる。

0068

表示処理部406は、視点画像生成部405により生成された視点画像データの表示処理を行う。本実施形態では、表示装置8に視点画像データを表示する例について説明するが、表示装置8に視点画像データを表示する例に制限するものではなく、例えば、HUD(ヘッドアップディスプレイ)に視点画像データを表示しても良い。

0069

図12は、表示処理部406により表示される視点画像データの一例を示した図である。図12に示される例では、透過率処理部403により透過率0%で処理された場合の車両形状データ1201が重畳された例とする。図12に示される車両形状データ1201においては、車両形状データ1201を透過させて、反対側の状況は確認できない例とする。

0070

これに対して、本実施形態の表示処理部406は、撮像画像データに基づいた車両の周辺を表した合成画像データに対して、車両1の現在の位置に従って車両形状データを重畳した視点画像データを表示する際に、車両形状データの一部の領域を、他の領域と透過率を異ならせた表示を行う。次に、車両形状データの一部の領域を、他の領域と透過率を異ならせた視点画像データの表示例について説明する。なお、本実施形態は、車両形状データを重畳する際に、車両1の現在の位置に従って重畳する場合について説明するが、他の位置に重畳しても良い。例えば、車両形状データを、車両1の予測進路上の位置に重畳しても良いし、車両1の過去の位置に重畳しても良い。

0071

次に、判定部402によって、車両1の所定の高さT1以上を透過させると判定された場合に、表示処理部406により表示される視点画像データについて説明する。

0072

図13は、表示処理部406により表示される視点画像データの一例を示した図である。図13に示される例では、透過率処理部403により所定の高さT1以上を透過率K1で処理され、当該所定の高さT1より下を透過率K2で処理された場合(なお、K1>K2>0%)の車両形状データ1301が重畳された例とする。このように、所定の高さより下の車両形状データの透過率が低いため、車両1と地面の位置関係を認識できる。また、透過率K2で透過されるため、車両1の反対側の状況もある程度認識できる。一方、所定の高さT1より上の車両形状データの透過率が高いため、車両1の反対側の状況をより詳細に確認できる。これにより、運転者は、より広い領域の状況を認識することができる。

0073

また、透過率を異ならせる他の手法としては、車両1の構成毎に、透過率を異ならせても良い。図14は、表示処理部406により表示される視点画像データの一例を示した図である。図14に示される例では、透過率処理部403により、車輪に対応する領域1401を透過率0%で処理され、車輪以外の領域を透過率100%で処理された場合の車両形状データが重畳された例とする。

0074

当該表示は、例えば、運転者により、車輪のみの表示の操作が行われた場合が考えられる。判定部402が、車輪の表示が示された操作データに基づいて、車輪の領域以外を100%透過させると判定する。そして、透過率処理部403が当該判定結果に従って、上述した透過処理を行う。なお、本実施形態では、車輪のみ表示する場合について説明したが、車両1の構成のうち、表示される構成を車輪のみに制限するものではなく、バンパー等を車輪と共に表示しても良い。なお、本実施形態は、車輪に対応する領域を透過率0%とし、他の領域の透過率を100%とした場合について説明したが、車輪に対応する領域の透過率<他の領域の透過率であればよい。

0075

このように、本実施形態の表示処理部406は、(一部の領域である)バンパー及び車輪のうちいずれか一つ以上に対応する領域の透過率を、車両1の他の領域の透過率と比べて低くなるように透過処理された車両形状データを表示することができる。なお、本実施形態は、(一部の領域である)バンパー及び車輪のうちいずれか一つ以上に対応する領域の透過率を、他の領域の透過率と比べて低くなるよう透過処理を行う場合について説明したが、他の領域の透過率と比べて高くなるよう透過処理を行っても良い。

0076

また、本実施形態は操作データに基づいて、上述した透過処理を行うことに制限するものではない。例えば、判定部402が、検出取得部413により取得された検出データに基づいて、オフロード走行していると判定した場合に、透過率処理部403が、図14に示されるように、車輪及びバンパーのうちいずれか一つ以上が他の領域より低い透過率になるように、透過処理を行っても良い。

0077

本実施形態においては、撮像画像データに基づいた車両の周辺を表した表示データに対して、車両の現在の位置に従って車両形状データを重畳して表示する際に、操作データや検出データに基づいて透過率を切り替える例について説明した。しかしながら、透過率を切り替えるためのデータを、操作データや検出データに制限するものではなく、外部から取得した所定のデータであればよい。

0078

ところで、領域1402は、現在の車両1の撮像部15では撮像できない。そこで、本実施形態においては、画像合成部404が、過去に撮像部15により撮像された撮像画像データを、合成画像データとして合成することとした。過去に撮像部15により撮像された撮像画像データとしては、車両1が現在の位置の2m手前で撮像した撮像画像データが考えられる。このような撮像画像データを、車両1の床下の状況を撮影した撮像画像データとして用いても良い。また、領域1402について、過去の撮像画像データを表示することに制限するものではなく、単に所定の色で塗りつぶすようにしても良い。

0079

図15は、表示処理部406により表示される視点画像データの一例を示した図である。図15に示される例では、透過率処理部403により、車両形状データの線を除いて透過率100%で処理された場合の車両形状データ1501が重畳された例とする。これにより、車両形状データを透過しているため、車両1の周囲の状況を確認できる。図15に示される表示は、例えば、ユーザにより“車両の線のみ表示”が選択された場合などが考えられる。

0080

図13図15で示される例では、視点を車両(車両形状データ)の外に配置した場合について説明した。しかしながら、本実施形態は、視点を車両(車両形状データ)の外に配置した場合に制限するものではない。

0081

図16は、表示処理部406により表示される視点画像データの一例を示した図である。図16に示される例では、車両形状データの中に視点を配置した例とする。このため、車両形状データに含まれている、内装を介して、車両1の周囲が表示される。図16に示される表示は、例えば、ユーザにより視点操作が行われた場合などが考えられる。

0082

図16に示される例では、車両形状データによる車両1の内装表示においては、所定の高さT2より低い領域を、当該所定の高さT2より高い領域より、透過率を高くすることとした。つまり、車両1の内部から表示する場合には、地面に存在する物(例えば岩1601)の状況を認識させるために、所定の高さT2より低い領域1611の透過率K3を高くすることとした。一方、所定の高さT2より高い領域1612については、透過率K4を低くすることで、車両内部であることを把握できるようにした(透過率K3>透過率K4)。

0083

つまり、表示処理部406は、視点を車両形状データの内部に移動させる操作が行われた場合に、当該視点から車両の内装を介して、車両の周辺を表示する視点画像データを表示する。このような視点画像データを表示する場合、透過率処理部403により、内装において、床下から天井に向かうに従って、透過率を低くする透過処理が行われた車両形状データを介して、車両1の周囲が表された視点画像データを、表示処理部406が表示することとした。なお、本実施形態は、透過率処理部403が、内装において、床下から天井に向かうに従って、透過率を低くする透過処理を行う例について説明したが、床下から天井に向かうに従って、透過率を高くする透過処理を行っても良い。

0084

このように、本実施形態の表示処理部406は、視点が車両形状データの内部に位置する場合と、視点が車両形状データの外部に位置する場合と、では、車両形状データの透過させる態様を異ならせることとした。

0085

判定部402は、操作取得部412が取得した操作データに基づいて、ユーザにより行われた操作により、視点が車両形状データ(車両1)の内部か否かを判定する。透過率処理部403は、判定部402により、視点が車両形状データ(車両1)の内部と判定した場合に、所定の高さT2より低い領域の透過率K3>所定の高さT2より高い領域の透過率K4と設定した上で、透過処理を行う。一方、透過率処理部403は、判定部402により、視点が車両形状データ(車両1)の外部と判定した場合に、所定の高さT1より低い領域の透過率K2<所定の高さT1より高い領域の透過率K1と設定した上で、透過処理を行う。このように、本実施形態では、視点が車両形状データ(車両1)の内部か否かに応じて、透過処理の切り替え制御を行うこととした。

0086

さらには、透過率処理部403は、視点が車両形状データ(車両1)の内部の場合に、取得部401が取得した車速情報、シフト操作データ、ウィンカー等の情報に基づいて、透過する領域を切り替えても良い。例えば、透過率処理部403は、判定部402により、シフト操作で進行方向が切り替えられたと判定された場合に、進行方向側の領域を透過するよう処理してもよい。

0087

他の例としては、判定部402が、舵角データやウィンカーの点灯操作を示した操作データに基づいて、運転者が右操又は左操舵を行ったと判定した場合に、透過率処理部403は、車両1が曲がる側方向の、車両形状データの一部の領域を、反対側方向の他の領域より透過率を高くする透過処理を行う。表示処理部406は、車両1が曲がる方向側の透過率が高い車両形状データを表示することで、当該車両形状データを介して、曲がる方向側の周囲を確認することが容易となる。

0088

なお、本実施形態は、車両1が曲がる側方向の一部の領域の透過率を、反対側方向の他の領域の透過率より高くする透過処理を行う例について説明したが、曲がる側方向の一部の領域と、反対側方向の他の領域と、の透過率を異ならせるだけで良い。例えば、曲がる側方向の一部の領域の透過率を、反対側方向の他の領域の透過率より低くする透過処理を行ってもよい。

0089

さらには、判定部402は、操作データに基づいて、所定の領域のタッチを検出した場合に、表示される画面を切り替えても良い。例えば、判定部402は、表示装置8に表示されている車両形状データのうち、死角領域をタッチしたと判定した場合に、表示処理部406は、車両1の床下画像として、例えば車両1が2m後ろの存在している時(過去)に撮像した画像データを、車両1の床下画像として表示するように制御しても良い。

0090

さらには、判定部402は、操作データに基づいて、車両形状データのうち、任意の領域がタッチされていると判定された場合に、表示処理部406は、任意の領域を付近輝度値を上昇させて、明るく見せる、所謂仮想ライトにより照らされたような表示処理を行っても良い。

0091

次に、本実施形態のECU14における第1の表示処理について説明する。図17は、本実施形態のECU14における上述した処理の手順を示すフローチャートである。

0092

まず、画像取得部411は、車両1の周辺を撮像する撮像部15a〜15dから、撮像画像データを取得する(S1701)。

0093

次に、画像合成部404は、画像取得部411で取得された複数の撮影画像データを合成して、一つの合成画像データを生成する(S1702)。

0094

透過率処理部403は、SSD14fの車両形状データ記憶部451に記憶された車両形状データを読み取る(S1703)。

0095

透過率処理部403は、所定の透過率で車両形状データに対して透過処理を行う(S1704)。なお、所定の透過率は、視点及び注視点の初期値に応じた所定の値が設定されているものとする。

0096

次に、重畳部421が、透過処理後の車両形状データを、合成画像データに重畳する(S1705)。

0097

次に、視点画像生成部405が、視点及び注視点の初期値に基づいて、車両形状データが重畳された合成画像データから、視点画像データを生成する(S1706)。

0098

そして、表示処理部406が、視点画像データを、表示装置8に表示する(S1707)。

0099

次に、判定部402は、視点画像データが表示された後、操作取得部412が取得した操作データに基づいて、ユーザからの透過率の変更操作や透過させる構成の切替操作がなされたか否かを判定する(S1708)。

0100

透過率の変更操作や透過させる構成の切替操作がなされたと判定した場合(S1708:Yes)、透過率処理部403は、車両形状データに対して変更された透過率の切り替え処理、及び切り替え操作に従って、車両形状データ全体、又は透過させる構成(例えば車輪やバンパー以外の構成)の透過処理を行う(S1709)。その後、S1705から処理を行う。

0101

一方、透過率の変更操作や透過させる構成の切替操作がなされなかったと判定した場合(S1708:No)、処理を終了する。

0102

図17で示される処理手順においては、ユーザに行われた操作に従って、透過する構成や、透過率を切り替える例について説明した。しかしながら、透過率の切り替え等は、ユーザに行われた操作に基づくものに制限されない。そこで、車両1と障害物の距離に応じて透過率等を切り替える場合について説明する。

0103

次に、本実施形態のECU14における第2の表示処理について説明する。図18は、本実施形態のECU14における上述した処理の手順を示すフローチャートである。

0104

図18に示されるフローチャートにおいて、S1801〜S1807までの処理は、図17に示されるフローチャートのS1701〜S1707までの処理と同様として、説明を省略する。

0105

そして、検出取得部413が、ソナーやレーザ等から検出データを取得する(S1809)。

0106

判定部402は、検出データに基づいて、車両1と、車両1の進行方向に存在する障害物と、の距離が所定値以内か否かを判定する(S1810)。

0107

車両1と、車両1の進行方向に存在する障害物と、の距離が所定値以内と判定した場合(S1810:Yes)、透過率処理部403は、車両形状データ全体、又は障害物に近接している領域について、検出前に設定されていた透過率より高い透過率に切り替える処理、及び、車両形状データ全体又は障害物に近接している領域の透過処理を行う(S1811)。その後、S1805から処理を行う。なお、所定値は、例えば、車体による死角領域以内に障害物が入ったため、車両1に搭乗している運転者から見えなくなる距離を、所定値とすることが考えられるが、実施の態様に応じて適切な値が定められれば良い。

0108

一方、車両1と、車両1の進行方向に存在する障害物と、の距離が所定値以内ではないと判定した場合(S1810:No)、処理を終了する。

0109

本実施形態は、ユーザによって直接透過率を操作された場合に透過率を変更することに制限するものではなく、他の操作に応じて透過率を変更しても良い。そこで、縮小・拡大率に応じて、透過率を変更する場合について説明する。つまり、車両を拡大して表示したい場合には、車両1と地面との関係を確認したいものとして、透過率を低減させ、車両を縮小して表示したい場合には、車両1の周囲を確認したいものとして、透過率を上昇させる等が考えられる。

0110

本実施形態は、上述した処理を行うことで、車両1の周辺の物体と車両1との位置関係に応じて車両形状データの透過率の切り替えを行うことで、現在の状況に応じた、車両形状データと車両1の周辺との表示ができるため、利便性を向上させることができる。

0111

次に、本実施形態のECU14における第3の表示処理について説明する。図19は、本実施形態のECU14における上述した処理の手順を示すフローチャートである。

0112

図19に示されるフローチャートにおいて、S1901〜S1907までの処理は、図17に示されるフローチャートのS1701〜S1707までの処理と同様として、説明を省略する。

0113

次に、判定部402は、視点画像データが表示された後、操作取得部412が取得した操作データに基づいて、ユーザからの縮小・拡大操作(換言すれば、視点を車両形状データに近づけさせる又は遠ざける操作)がなされたか否かを判定する(S1908)。

0114

縮小・拡大操作がなされたと判定した場合(S1908:Yes)、透過率処理部403は、車両形状データに対して、縮小・拡大率に対応した透過率に切り替え処理、及び車両形状データの透過処理を行う(S1909)。縮小・拡大率と、透過率と、の対応関係は予め設定されているものとする。その後、S1905から処理を行う。

0115

その後、S1906において、視点画像データを生成する際に、縮小・拡大部422が、縮小・拡大率に応じた注視点及び視点の位置を設定する。そして、視点画像生成部405は設定された注視点及び視点に基づいた、視点画像データを生成する。

0116

また、拡大処理が行われる場合に、視点画像生成部405は、拡大率に従って、注視点が予め定められた位置まで移動するような処理を行っても良い。つまり、ユーザが拡大操作を行う場合には、注視点の位置まで設定するのが難しい場合がある。さらには、拡大操作を行う場合には、車両と地面との間の状況を見たいという要望が多い。そこで、本実施形態では、拡大操作が行われる場合に、拡大処理に従って、車輪と地面との接地点まで注視点が移動するよう制御を行うこととした。これにより、ユーザが確認したい場所を表示するまでの操作を容易にできる。

0117

一方、S1908において、縮小・拡大操作がなされなかったと判定した場合(S1908:No)、処理を終了する。

0118

このように、本実施形態の表示処理部406は、操作データに基づいて拡大表示をする場合に、拡大する操作の前の透過率から、高い透過率に切り替えられた車両形状データが重畳された視点画像データを表示する。一方、表示処理部406は、操作データに基づいて縮小表示をする場合に、縮小する操作の前の透過率から、低い透過率に切り替えられた車両形状データが重畳された視点画像データを表示する。

0119

なお、本実施形態は、透過率の切り替えの一例を示したものであって、表示処理部406は、拡大表示又は縮小表示をする場合に、拡大する操作の前又は縮小する操作の前における車両形状データの透過率から、異なる透過率に切り替えられた車両形状データが重畳された視点画像データを表示できれば良い。

0120

本実施形態は、上述した処理を行うことで、運転者による拡大操作又は縮小操作に応じて透過率の切り替えを行うことで、運転者の操作に対応した、車両形状データと車両の周辺との表示ができるため、利便性を向上させることができる。

0121

上述した実施形態では、図20に示されるように、車輪と地面の接地点を基準位置として、当該基準位置から垂直方向の距離を、車両1の高さとした例について説明した。例えば、基準位置からの高さT3(車輪やバンパーより高い位置とする)以上を、透過率80%とし、それ以下を透過率0%と設定した場合には、高さT3以上に対応する車両形状データの上部領域が透過率80%となる一方で、車輪やバンパー等は、視認できるように表示される。

0122

また、本実施形態においては、例えば、判定部402が、撮像部15により撮像された撮像画像データが異常と判定した場合には、透過率処理部403に対して、透過処理を行わないように指示しても良い。

0123

(変形例1)
図21は、車両1が存在している水平面を基準とし、水平面からの垂直方向の距離を、車両の高さとする例を示した図である。図21に示される例では、検出取得部413は、加速度センサ26から取得した加速度情報に基づいて、車両1の傾きを検出する。そして透過率処理部403が、車両1の傾きに基づいて、車両1が接地している水平面の位置を推測する。そして、透過率処理部403が、水平面からの高さに基づいて、車両形状データの透過処理を行う。水平面から高さT3から透過率80%と設定した場合には、図21に示される例において、車両1が岩に乗り上げた状況では、車輪やバンパーを含んだ車両形状データの前方領域が、透過率80%となる。

0124

図22は、変形例の表示処理部406が表示する表示画面を例示した図である。図22に示される例では、水平面から高さT3から透過率80%と設定した際に、車両1が岩に乗り上げた時に、車輪やバンパーを含んだ車両形状データの前方領域がほぼ透過された例とする。

0125

図22に示されるように、車両1が岩に乗り上げた場合には、車輪やバンパーを含んだ車両形状データ2201の前方領域がほぼ透過されているため、地面の状況を容易に認識できる。

0126

(変形例2)
上述した実施形態及び変形例においては、現在の状況を表示する際の処理について説明した。しかしながら、実施形態及び変形例は、現在の状況を表示する例に制限するものではない。例えば、ユーザの操作に基づいて、表示処理部406が、車両1の過去の状況を表した画面を表示しても良い。その際に、画像合成部404が過去に合成した撮像画像データを用いると共に、透過率処理部403は、車両形状データの色を異ならせた上で、透過処理を行うこととする。なお、透過処理は、上述した実施形態と同様とする。車両形状データの色としては、例えばグレーセピア色など、過去であることを表す色とする。これにより、ユーザは、過去の状況が表示されていることを確認できる。

0127

(変形例3)
変形例3では、拡大、縮小、又は回転時に透過処理を行う(透過率を高くする)例とする。変形例3においては、操作取得部412が、拡大、縮小又は回転を示す操作データを取得した場合に、判定部402が、運転者が、拡大、縮小、又は回転操作を行っていると判定している間、透過率処理部403は、拡大、縮小又は回転を示す操作を行う前の透過率より高い透過率(例えば完全透過)で透過処理を行うものとする。

0128

つまり、本変形例では、運転者が拡大、縮小又は回転する操作を行っている間(なお、車両形状データを動かしている操作を行っている間であればよい)、表示処理部406は、当該拡大、縮小又は回転操作前の透過率から高い透過率に切り替えられた車両形状データが重畳された視点画像データを表示する。この際に、上述した実施形態と同様に、拡大処理に従って、注視点を予め定められた位置まで移動するように処理を行っても良い。

0129

これにより、ユーザに対して、操作が行われていることを直感的に認識できると共に、車両1の周囲を確認して、より適切な表示を行うための操作性を実現できる。

0130

このように、変形例3の表示処理部406は、操作データに従って車両形状データを動かす(例えば、拡縮・回転などの操作による)表示を行う場合に、現在の透過率から高い透過率に切り替えられた車両形状データが重畳された視点画像データを表示する。

0131

(変形例4)
上述した実施形態及び変形例では、表示装置8に視点画像データを表示する例について説明した。しかしながら、上述した実施形態及び変形例は、表示装置8に表示する例に制限するものではない。そこで、本変形例では、HUD(ヘッドアップディスプレイ)にも表示可能な例について説明する。本変形例4においては、視点画像データの表示先に応じて、透過率を変更する。

0132

例えば、操作取得部412が、表示先の切り替え等の操作データを取得した場合に、判定部402は、表示先が切り替えられたか否かの判定を行う。そして、透過率処理部403は、判定結果に基づいて、透過処理を行う。つまり、表示装置8とHUDとではコントラストが異なるため、表示先に応じて、ユーザが見やすい透過率で透過処理を行う。なお、表示先毎の透過率は、表示装置8やHUDの表示性能に応じて、適切な値が設定されるものとする。

0133

このように、変形例4の表示処理部406は、表示先に応じて透過率が切り替えられた車両形状データを重畳した視点画像データを表示することとした。これにより表示先に応じて透過率が切り替えられるため、視認が容易になる。

0134

上述した実施形態及び変形例においては、車両形状データの一部の領域を、他の領域と透過率を異ならせて表示することで、運転者は、一部の領域又は他の領域の状況を確認と、車両1の周辺の視認と、を両立することができる。このように、運転者は、車両1の状況の確認できるとともに、車両1の周辺の状況を容易に確認できる。

0135

上述した実施形態及び変形例においては、取得したデータに基づいて、車両形状データの透過率の切り替えを行うことで、現在の状況に応じた、車両形状データと車両1の周辺との表示ができるため、利便性を向上させることができる。

0136

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

0137

100…表示制御システム、401…取得部、402…判定部、403…透過率処理部、404…画像合成部、405…視点画像生成部、406…表示処理部、411…画像取得部、412…操作取得部、413…検出取得部、421…重畳部、422…縮小・拡大部、451…車両形状データ記憶部。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ