図面 (/)

技術 画像表示装置、画像表示方法及び画像表示プログラム

出願人 三菱電機株式会社
発明者 都丸義広長谷川雄史
出願日 2016年5月17日 (2年7ヶ月経過) 出願番号 2018-517978
公開日 2018年11月15日 (1ヶ月経過) 公開番号 WO2017-199347
状態 特許登録済
技術分野 航行(Navigation) 教示用装置 イメージ処理・作成 スタジオ装置
主要キーワード サーキットリー 中間辺 天文台 Y座標 遮蔽判定 周辺物 遮蔽関係 X座標
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2018年11月15日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題・解決手段

画像表示装置(10)は、移動体(100)の周辺対象物の情報を取得し、取得された対象物の重要度閾値よりも高いか否かに応じて、対象物について遮蔽不可とするか遮蔽可とするかを判定する。画像表示装置(10)は、遮蔽不可と判定された対象物については、対象物の位置に関わらず、対象物を示す画像データを移動体(100)の周辺の風景重畳させて表示させ、遮蔽可と判定された対象物については、対象物の位置に応じて、風景に重畳させて表示させるか否かを決定する。

概要

背景

カメラによって車両前方撮像された画像である風景に、その風景内にあたかも存在するかのようにナビゲーションデータCG(Computer Graphics)コンテンツとして重畳させて表示する技術がある。特許文献1,2には、この技術について記載されている。

特許文献1では、風景と、重畳させるCGコンテンツとの2つの奥行きを比較する。そして、特許文献1では、CGコンテンツが風景の奥側にあると判断された場合には該当部分のコンテンツを非表示にし、CGコンテンツが風景の手前側にあると判断された場合は該当部分のコンテンツを表示する。これにより、風景とコンテンツの遮蔽関係現実と一致させ、より現実感を高めている。

特許文献2では、車載センサにより得られた前方車両等の周辺物についても、特許文献1と同様の手法で表示している。

概要

画像表示装置(10)は、移動体(100)の周辺対象物の情報を取得し、取得された対象物の重要度閾値よりも高いか否かに応じて、対象物について遮蔽不可とするか遮蔽可とするかを判定する。画像表示装置(10)は、遮蔽不可と判定された対象物については、対象物の位置に関わらず、対象物を示す画像データを移動体(100)の周辺の風景に重畳させて表示させ、遮蔽可と判定された対象物については、対象物の位置に応じて、風景に重畳させて表示させるか否かを決定する。

目的

この発明は、現実感を保ちつつ、必要な情報を見やすくすることを目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

動体周辺対象物の情報を取得する対象情報取得部と、前記対象情報取得部によって取得された対象物の重要度閾値よりも高い場合に、前記対象物について遮蔽不可と判定する遮蔽判定部と、前記遮蔽判定部によって遮蔽不可と判定された前記対象物については、前記対象物の位置に関わらず、前記対象物を示す画像データを前記移動体の周辺の風景重畳させて表示させる表示制御部とを備える画像表示装置

請求項2

前記重要度は、前記対象物が移動する物体である場合に、前記移動体から前記対象物までの距離である相対距離と、前記対象物が前記移動体に近づく速度である相対速度とから計算される請求項1に記載の画像表示装置。

請求項3

前記重要度は、前記相対距離が近いほど高く、前記相対速度が速いほど高い請求項2に記載の画像表示装置。

請求項4

前記重要度は、前記対象物がランドマークである場合に、前記移動体から前記対象物までの距離である相対距離が遠いほど高い請求項1から3までのいずれか1項に記載の画像表示装置。

請求項5

前記重要度は、前記対象物の位置と、前記移動体の運転手が見ている位置とのずれが大きいほど高い請求項1から4までのいずれか1項に記載の画像表示装置。

請求項6

前記対象物の情報は、ストレージに記憶された前記対象物を案内するナビゲーションデータと、センサによって検出されたセンサ値から得られたセンサデータとである請求項1から5までのいずれか1項に記載の画像表示装置。

請求項7

前記表示制御部は、前記遮蔽判定部によって遮蔽可と判定された前記対象物については、前記対象物の位置に応じて、前記風景に重畳させて表示させるか否かを制御する請求項1から6までのいずれか1項に記載の画像表示装置。

請求項8

プロセッサが、移動体の周辺の対象物の情報を取得し、プロセッサが、取得された対象物の重要度が閾値よりも高い場合に、前記対象物について遮蔽不可と判定し、プロセッサが、遮蔽不可と判定された前記対象物については、前記対象物の位置に関わらず、前記対象物を示す画像データを前記移動体の周辺の風景に重畳させて表示させる画像表示方法

請求項9

移動体の周辺の対象物の情報を取得する対象情報取得処理と、前記対象情報取得処理によって取得された対象物の重要度が閾値よりも高い場合に、前記対象物について遮蔽不可と判定する遮蔽判定処理と、前記遮蔽判定処理によって遮蔽不可と判定された前記対象物については、前記対象物の位置に関わらず、前記対象物を示す画像データを前記移動体の周辺の風景に重畳させて表示させる表示制御処理とをコンピュータに実行させる画像表示プログラム

技術分野

0001

この発明は、移動体周辺対象物を移動体の周辺の風景重畳させて表示させる技術に関する。

背景技術

0002

カメラによって車両前方撮像された画像である風景に、その風景内にあたかも存在するかのようにナビゲーションデータCG(Computer Graphics)コンテンツとして重畳させて表示する技術がある。特許文献1,2には、この技術について記載されている。

0003

特許文献1では、風景と、重畳させるCGコンテンツとの2つの奥行きを比較する。そして、特許文献1では、CGコンテンツが風景の奥側にあると判断された場合には該当部分のコンテンツを非表示にし、CGコンテンツが風景の手前側にあると判断された場合は該当部分のコンテンツを表示する。これにより、風景とコンテンツの遮蔽関係現実と一致させ、より現実感を高めている。

0004

特許文献2では、車載センサにより得られた前方車両等の周辺物についても、特許文献1と同様の手法で表示している。

先行技術

0005

国際公開2013/111302号
特開2012—208111号公報

発明が解決しようとする課題

0006

特許文献1,2では、現実に即した位置関係に従いCGコンテンツが表示される。そのため、目的地マーク及びガソリンスタンドマークといった運転手が見たい情報と、道路上の障害物及び前方車両といった運転手が見るべき情報とを表したCGコンテンツが見にくくなる場合があった。その結果、運転手がこれらの情報を見落としてしまう場合があった。
この発明は、現実感を保ちつつ、必要な情報を見やすくすることを目的とする。

課題を解決するための手段

0007

この発明に係る画像表示装置は、
移動体の周辺の対象物の情報を取得する情報取得部と、
前記情報取得部によって取得された対象物の重要度閾値よりも高い場合に、前記対象物について遮蔽不可と判定する遮蔽判定部と、
前記遮蔽判定部によって遮蔽不可と判定された前記対象物については、前記対象物の位置に関わらず、前記対象物を示す画像データを前記移動体の周辺の風景に重畳させて表示させる表示制御部と
を備える。

発明の効果

0008

この発明では、対象物の重要度に応じて遮蔽の有無を切り替えることにより、現実感を保ちつつ、必要な情報を見やすくすることができる。

図面の簡単な説明

0009

実施の形態1に係る画像表示装置10の構成図。
実施の形態1に係る画像表示装置10の全体的な処理を示すフローチャート
実施の形態1に係る移動体100の周辺の状況を示す図。
実施の形態1に係る移動体100の前方の画像を示す図。
実施の形態1に係る深度マップを示す図。
実施の形態1に係るステップS3の正規化処理を示すフローチャート。
実施の形態1に係る移動体100の周辺の対象物を示す図。
実施の形態1に係るステップS4のナビゲーションデータ取得処理を示すフローチャート。
実施の形態1に係るステップS6のモデル生成処理を示すフローチャート。
実施の形態1に係る周辺データに対応する3Dモデルの説明図。
実施の形態1に係るナビゲーションデータ41に対応する3Dモデルの説明図。
実施の形態1に係る移動体100の周辺の対象物に対応する3Dモデルを示す図。
実施の形態1に係るステップS8の遮蔽判定処理を示すフローチャート。
実施の形態1に係るステップS9のモデル描画処理を示すフローチャート。
実施の形態1に係るステップS95終了時点における画像を示す図。
実施の形態1に係るステップS98終了時点における画像を示す図。
変形例1に係る画像表示装置10の構成図。
実施の形態2に係るステップS8の遮蔽判定処理を示すフローチャート。
実施の形態2に係るステップS95終了時点における画像を示す図。
実施の形態2に係るステップS98終了時点における画像を示す図。
実施の形態2に係る目的地が近い場合の説明図。
実施の形態2に係る目的地が近い場合のステップS98時点における画像を示す図。
実施の形態3に係る画像表示装置10の構成図。
実施の形態3に係る画像表示装置10の全体的な処理を示すフローチャート。
実施の形態3に係るステップS8Cの遮蔽判定処理を示すフローチャート。
実施の形態3に係るステップS95終了時点における画像を示す図。
実施の形態3に係るステップS98終了時点における画像を示す図。

実施例

0010

実施の形態1.
***構成の説明***
図1を参照して、実施の形態1に係る画像表示装置10の構成を説明する。
図1では、画像表示装置10が移動体100に搭載された状態が示されている。移動体100は、具体例としては、車両、船舶歩行者である。実施の形態1では、移動体100は、車両である。

0011

画像表示装置10は、移動体100に搭載されるコンピュータである。
画像表示装置10は、プロセッサ11と、メモリ12と、ストレージ13と、画像インタフェース14と、通信インタフェース15と、表示インタフェース16とのハードウェアを備える。プロセッサ11は、システムバスを介して他のハードウェアと接続され、これら他のハードウェアを制御する。

0012

プロセッサ11は、プロセッシングを行うIC(IntegratedCircuit)である。プロセッサ11は、具体例としては、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)である。

0013

メモリ12は、プロセッサ11によってデータ、情報、プログラムが一時的に記憶される作業領域である。メモリ12は、具体例としては、RAM(Random Access Memory)である。

0014

ストレージ13は、具体例としては、ROM(Read Only Memory)、フラッシュメモリ、又は、HDD(Hard Disk Drive)である。また、ストレージ13は、SD(Secure Digital)メモリカード、CF(CompactFlash)、NANDフラッシュフレキシブルディスク光ディスクコンパクトディスクブルーレイ登録商標ディスク、DVDといった可搬記憶媒体であってもよい。

0015

画像インタフェース14は、移動体100に搭載された撮像装置31を接続するための装置である。画像インタフェース14は、具体例としては、USB(Universal Serial Bus)、HDMI(登録商標、High−Definition Multimedia Interface)の端子である。
移動体100には、移動体100の周辺の画像を撮像する複数の撮像装置31が搭載されている。実施の形態1では、移動体100の前方に、移動体100の前方の画像を撮像する2台の撮像装置31が、数十センチメートル離れて搭載されている。撮像装置31は、具体例としては、デジタルカメラである。

0016

通信インタフェース15は、移動体100に搭載されたECU32(Electronic Control Unit)を接続するための装置である。通信インタフェース15は、具体例としては、Ethernet、CAN(Controller Area Network)、RS232C、USB、IEEE1394の端子である。
ECU32は、移動体100に搭載されたレーザセンサミリ波レーダソナーといったセンサにより検出された移動体100の周辺の対象物の情報を取得する装置である。また、ECU32は、移動体100に搭載されたGPS(Global Positioning System)センサ、方位センサ速度センサ加速度センサ及び地磁気センサといったセンサで検出された情報を取得する装置である。

0017

表示インタフェース16は、移動体100に搭載されたディスプレイ33を接続するための装置である。表示インタフェース16は、具体例としては、DVI(Digital Visual Interface)、D−SUB(D−SUBminiature)、HDMI(登録商標)の端子である。
ディスプレイ33は、移動体100の周辺の風景に、CGコンテンツを重畳させて表示する装置である。ディスプレイ33は、具体例としては、LCD(Liquid Crystal Display)、ヘッドアップディスプレイである。
ここでいう風景は、カメラによって取得された画像と、コンピュータグラフィックによって作成された3次元地図と、ヘッドアップディスプレイ等を介して見え実物とのいずれかである。実施の形態1では、風景は、撮像装置31によって取得された移動体100の前方の画像とする。

0018

画像表示装置10は、機能構成要素として、深度マップ生成部21と、深度正規化部22と、対象情報取得部23と、モデル生成部24と、状況取得部25と、遮蔽判定部26と、表示制御部27とを備える。深度マップ生成部21と、深度正規化部22と、対象情報取得部23と、モデル生成部24と、状況取得部25と、遮蔽判定部26と、表示制御部27との各部の機能は、ソフトウェアにより実現される。
ストレージ13には、各部の機能を実現するプログラムが記憶されている。このプログラムは、プロセッサ11によりメモリ12に読み込まれ、プロセッサ11によって実行される。

0019

また、ストレージ13には、ナビゲーションデータ41と、描画パラメータ42とが記憶されている。ナビゲーションデータ41は、ガソリンスタンド、薬局といったナビゲーション対象の対象物を案内するためのデータである。描画パラメータ42は、グラフィックスでの描画範囲の手前側限界距離である最近面距離と、奥側限界距離である最遠面距離と、撮像装置31の水平方向視野角と、撮像装置31によって撮像された画像のアスペクト比(横/縦)とを示すデータである。

0020

画像表示装置10の各部の機能の処理の結果を示す情報とデータと信号値変数値とは、メモリ12、又は、プロセッサ11内のレジスタ又はキャッシュメモリに記憶される。以下の説明では、画像表示装置10の各部の機能の処理の結果を示す情報とデータと信号値と変数値は、メモリ12に記憶されるものとする。

0021

図1では、プロセッサ11は、1つだけ示されている。しかし、プロセッサ11は、複数であってもよく、複数のプロセッサ11が、各機能を実現するプログラムを連携して実行してもよい。

0022

***動作の説明***
図2から図14を参照して、実施の形態1に係る画像表示装置10の動作を説明する。
実施の形態1に係る画像表示装置10の動作は、実施の形態1に係る画像表示方法に相当する。また、実施の形態1に係る画像表示装置10の動作は、実施の形態1に係る画像表示プログラムの処理に相当する。

0023

図2のステップS1:画像取得処理
深度マップ生成部21は、撮像装置31によって撮像された移動体100の前方の画像を、画像インタフェース14を介して取得する。深度マップ生成部21は、取得された画像をメモリ12に書き込む。
実施の形態1では、撮像装置31として、2台のデジタルカメラが移動体100の前方に数十センチメートル離れて搭載されている。図3に示すように、移動体100の前方に周辺車両L,M,Nが存在し、道路脇に複数の建物が存在するとする。すると、図4に示すように、移動体100の前方をステレオカメラで撮像した画像が得られる。ここで、撮像装置31で撮像される範囲を示す撮像可能距離は、図3に示すように、撮像装置31の光軸方向の撮影可能な最大の距離である。

0024

図2のステップS2:マップ生成処理
深度マップ生成部21は、ステップS1で取得された画像のピクセル毎に、撮像装置31から被写体までの距離を示す深度マップを生成する。深度マップ生成部21は、生成された深度マップをメモリ12に書き込む。
実施の形態1では、深度マップ生成部21は、ステレオ法により深度マップを生成する。具体的には、深度マップ生成部21は、2つのカメラで撮像された画像における同一物体を写した画素を見つけ、三角測量により見つけられた画素の距離を求める。深度マップ生成部21は、全画素に対して距離を計算することにより、深度マップを生成する。図4に示す画像から生成された深度マップは、図5に示すようになり、各画素はカメラから被写体までの距離を示す。図5では、カメラに近いほど値が小さく、遠いほど値が大きいため、手前側ほど密度の高いハッチング表現され、奥側ほど密度の低いハッチングで表現されている。

0025

図2のステップS3:正規化処理)
深度正規化部22は、ステップS2で生成された深度マップの距離である実世界における計算された距離を、ストレージ13に記憶された描画パラメータ42を用いて3D(Dimensional)グラフィックスで描画するための距離に変換する。これにより、深度正規化部22は、正規化された深度マップを生成する。深度正規化部22は、正規化された深度マップをメモリ12に書き込む。

0026

図6を参照して具体的に説明する。
まず、ステップS31で深度正規化部22は、描画パラメータ42を取得して、最近面距離と最遠面距離とを特定する。次に、深度正規化部22は、ステップS2で生成された深度マップの各ピクセル対象ピクセルとして、ステップS32からステップS36の処理を実行する。
ステップS32で深度正規化部22は、対象ピクセルの距離から最近面距離を減じた値を、最遠面距離から最近面距離を減じた値で除して、対象ピクセルについての正規化後の距離を計算する。ステップS33からステップS36で深度正規化部22は、ステップS32で計算された正規化後の距離が0より小さい場合には、対象ピクセルについての距離を0に設定し、ステップS32で計算された正規化後の距離が1より大きい場合には、対象ピクセルについての距離を1に設定し、他の場合には対象ピクセルについての距離をステップS32で計算された距離に設定する。
これにより、深度正規化部22は、対象ピクセルについての距離を、最近面距離と最遠面距離とに対する内分比として表し、0〜1の範囲に線形補間した値に変換する。

0027

図2のステップS4:ナビゲーションデータ取得処理)
対象情報取得部23は、ストレージ13に記憶された、移動体100の周辺に存在す対象物についての情報であるナビゲーションデータ41を読み出して取得する。対象情報取得部23は、取得されたナビゲーションデータ41の位置を絶対座標系である地球座標系から、撮像装置31を基準とした相対座標系に変換する。そして、対象情報取得部23は、取得されたナビゲーションデータ41を、変換された位置とともにメモリ12に書き込む。
図3の場合には、例えば図7に示すように、目的地とガソリンスタンドとについてのナビゲーションデータ41が取得される。図7では、ガソリンスタンドは、撮像装置31の撮像可能距離内の場所にあり、目的地は撮像装置31から撮像可能距離以上に離れた場所にある。
図7に示すように、ナビゲーションデータ41は、地球座標系で表された対象物についての3Dモデルの表示領域の4端点の位置を含む。地球座標系とはメルトル図法において経度方向にX軸、緯度方向にZ軸、標高方向にY軸を取り原点グリニッジ天文台とし、単位はメートル系座標系である。これに対して、相対座標系は、撮像装置31の右方向にX軸、光軸方向にZ軸、上方向にY軸を取り原点を撮像装置31の位置とし、単位がメートル系の座標系である。

0028

図8を参照して具体的に説明する。
ステップS41で対象情報取得部23は、ECU32から通信インタフェース15を介して撮像装置31の地球座標系における位置と、撮像装置31の地球座標系における光軸方向とを取得する。
撮像装置31の地球座標系における位置及び光軸方向は、GPSセンサ、方位センサ、加速度センサ、地磁気センサといったセンサを用いたデッドレコニング法により特定できる。これにより、撮像装置31の地球座標系における位置は、地球座標系のX値(CarX)、Y値(CarY)、Z値(CarZ)として取得できる。また、撮像装置31の地球座標系における光軸方向は、地球座標系から相対座標系へ変換するための3×3の回転行列として取得できる。

0029

ステップS42で対象情報取得部23は、移動体100の周辺に存在す対象物についてのナビゲーションデータ41を取得する。具体的には、対象情報取得部23は、ステップS41で取得された位置の半径数百メートル以内に存在する対象物についてのナビゲーションデータ41を収集する。より詳細には、ナビゲーションデータ41の地球座標系での存在位置と取得半径とが“(NaviX−CarX)2+(NaviZ−CarZ)2≦R2”の関係を満たすナビゲーションデータ41のみを収集すればよい。ここで、NaviX及びNaviZはナビゲーションデータの地球座標系における位置のX値及びZ値であり、Rは取得半径である。取得半径Rは、任意に設定される。

0030

対象情報取得部23は、ステップS42で取得された各ナビゲーションデータ41を対象データとして、ステップS43を実行する。ステップS43では、対象情報取得部23は、数1を計算することにより、ナビゲーションデータ41の地球座標系における位置を、相対座標系における位置に変換する。



ここで、NaviYは、ナビゲーションデータ41の地球座標系における位置のY値である。MatCarRは、ステップS41で取得された撮像装置31の地球座標系における光軸方向を示す回転行列である。NaviX_rel、NaviY_rel及びNaviZ_relは、ナビゲーションデータ41の相対座標系における位置のX値、Y値及びZ値である。

0031

図2のステップS5:周辺データ取得処理)
対象情報取得部23は、ECU32から通信インタフェース15を介して、移動体100の周辺に存在する対象物についての情報である周辺データを取得する。対象情報取得部23は、取得された周辺データをメモリ12に書き込む。
周辺データは、レーザセンサ、ミリ波レーダ、ソナーといったセンサによって検出されたセンサ値を用いて対象物を認識することにより得られるセンサデータである。周辺データは、対象物について、高さ及び幅を示す大きさと、相対座標系における位置と、移動速度と、車・人・建物といった種別とを示す。
図3の場合には、図7に示すように、周辺車両M〜Lの対象物についての周辺データが取得される。図7に示すように、周辺データが示す位置は、対象物の移動体100側の面における下辺の中心位置である。

0032

図2のステップS6:モデル生成処理)
モデル生成部24は、ステップS4で取得されたナビゲーションデータ41と、ステップS5で取得された周辺データとをメモリ12から読み出し、読み出されたナビゲーションデータ41及び周辺データについての3Dモデルを生成する。モデル生成部24は、生成された3Dモデルをメモリ12に書き込む。
3Dモデルは、ナビゲーションデータ41の場合には、ナビゲーションデータ41を表す板状のCGコンテンツであり、周辺データの場合には、対象物の移動体100側の面の周辺を囲む枠状のCGコンテンツである。

0033

図9を参照して具体的に説明する。
ステップS61でモデル生成部24は、ステップS4で取得されたナビゲーションデータ41と、ステップS5で取得された周辺データとをメモリ12から読み出す。
モデル生成部24は、読み出されたナビゲーションデータ41及び周辺データそれぞれを対象データとして、ステップS62からステップS65の処理を実行する。ステップS62でモデル生成部24は、対象データが周辺データかナビゲーションデータ41かを判定する。
対象データが周辺データの場合には、ステップS63でモデル生成部24は、周辺データに含まれる対象物の位置と対象物の幅及び高さとを用いて、図10に示すように、対象物の移動体100側の面の周辺を囲む枠を構成する三角形集合を示す頂点列P[0]〜P[9]を設定する。ここで、頂点P[0]と頂点P[8]、及び、頂点P[1]と頂点P[9]は、同じ位置を示す。なお、頂点P[0]と頂点P[1]との間の距離によって特定される枠の厚みは、任意に設定される。また、全頂点に対し、前後方向の値であるZ値は、対象物の位置のZ値が設定される。
対象データがナビゲーションデータ41の場合には、ステップS64でモデル生成部24は、ナビゲーションデータ41の表示領域についての相対座標系における4端点の位置を、図11に示すように頂点列P[0]〜P[3]に設定する。そして、ステップS65でモデル生成部24は、頂点列P[0]〜P[3]で囲まれた範囲にナビゲーションデータ41を表すテクスチャマッピングするテクスチャ座標を設定する。具体例としては、頂点列P[0]〜P[3]で囲まれた範囲の左上、右上、左下、右下に対応するテクスチャ座標として、与えられたテクスチャ全体をマッピングすることを表す(0,0)、(1,0)、(0,1)、(1,1)が設定される。
図3の場合には、図12に示すように、目的地とガソリンスタンドとについてのナビゲーションデータ41に対して、モデルAとモデルBとの3Dモデルが生成される。また、周辺車両M〜Lについての周辺データに対して、モデルC〜モデルEの3Dモデルが生成される。

0034

図2のステップS7:状況取得処理)
状況取得部25は、ECU32から通信インタフェース15を介して、移動体100の運転状況に関する情報を取得する。実施の形態1では、状況取得部25は、状況に関する情報として、移動体100からステップS5で取得された周辺データに対応する対象物までの距離である相対距離と、ステップS5で取得された周辺データに対応する対象物が移動体100に近づく速度である相対速度とを取得する。相対距離は、移動体100の位置と対象物の位置とから計算可能である。相対速度は、移動体100と対象物との相対的な位置の変化から計算可能である。

0035

図2のステップS8:遮蔽判定処理)
遮蔽判定部26は、ステップS4で取得されたナビゲーションデータ41と、ステップS5で取得された周辺データとに対応する対象物について、その対象物の重要度が閾値よりも高いか否かに応じて、その対象物の遮蔽可否を判定する。遮蔽判定部26は、重要度が閾値よりも高い場合には、優先的に3Dモデルを表示させるために、その対象物について遮蔽不可と判定し、そうでない場合には、現実に即して3Dモデルを表示させるために、その対象物について遮蔽可と判定する。

0036

図13を参照して具体的に説明する。
実施の形態1では、種別が車両である対象物についてのみ遮蔽可否を判定し、他の種別の対象物については全て遮蔽可とする。なお、車両に限らず、歩行者といった他の移動体も遮蔽可否の判定の対象としてもよい。
ステップS81では、遮蔽判定部26は、ステップS4で取得されたナビゲーションデータ41と、ステップS5で取得された周辺データとをメモリ12から読み出す。
モデル生成部24は、読み出されたナビゲーションデータ41及び周辺データそれぞれを対象データとして、ステップS82からステップS87の処理を実行する。ステップS82では、モデル生成部24は、対象データがナビゲーションデータ41か周辺データかを判定する。
ステップS83で遮蔽判定部26は、対象データが周辺データの場合には、対象データに対応する対象物の種別が車両であるか否かを判定する。対象物の種別が車両である場合には、ステップS84で遮蔽判定部26は、ステップS7で取得された相対速度及び相対距離から重要度を計算する。そして、ステップS85からステップS87で遮蔽判定部26は、重要度が閾値よりも高い場合には、遮蔽不可と設定し、そうでない場合には、遮蔽可と設定する。
一方、対象データがナビゲーションデータ41の場合と、対象物の種別が車両でない場合とには、遮蔽判定部26は、遮蔽可と設定する。

0037

ステップS84では、遮蔽判定部26は、相対距離が近いほど高く、相対速度が速いほど高くなるように重要度を計算する。そのため、重要度は、移動体100と対象物である車両とが衝突する可能性が高いほど高くなる。
具体例として、遮蔽判定部26は、数2により、重要度を計算する。



ここで、Cvehicleは、重要度である。Lenは、移動体100から対象物までの相対距離である。ksafelenは、事前に定められた安全距離係数である。wlenは、事前に定められた距離コスト係数である。Spdは、相対速度であり、対象物が移動体100に近づく方向に正の値を取り、離れる方向に負の値を取る。wspdは、事前に定められた相対速度コスト係数である。

0038

図2のステップS9:モデル描画処理)
表示制御部27は、ステップS1で取得された画像をメモリ12から読み出し、読み出された画像に、ステップS6で生成された3Dモデルをレンダリングして、表示画像を生成する。そして、表示制御部27は、生成された表示画像を表示インタフェース16を介してディスプレイ33に送信して、ディスプレイ33に表示させる。
この際、表示制御部27は、遮蔽判定部26によって遮蔽不可と判定された対象物については、対象物の位置に関わらず、対象物を示す画像データである3Dモデルを画像にレンダリングする。
一方、表示制御部27は、遮蔽判定部26によって遮蔽可と判定された対象物については、対象物の位置に応じて、対象物を示す画像データである3Dモデルをレンダリングするか否かを決定する。つまり、表示制御部27は、遮蔽可と判定された対象物については、他の物体の後にあり、他の物体により遮蔽される場合にはレンダリングせず、他の物体の前にあり、他の物体により遮蔽されない場合にはレンダリングする。なお、一部だけ他の物体により遮蔽される場合には、表示制御部27は、遮蔽されない部分だけをレンダリングする。

0039

図14を参照して具体的に説明する。
ステップS91で表示制御部27は、画像をメモリ12から読み出す。ここでは、図4に示す画像が読み出される。
次に、ステップS92で表示制御部27は、描画パラメータ42を用いて、3D空間を2次元画像空間投影する変換行列である射影行列を計算する。具体的には、表示制御部27は、数3により、射影行列を計算する。



ここで、Matprojは、射影行列である。aspectは、画像のアスペクト比である。Znearは、最近面距離である。Zfarは、最遠面距離である。

0040

次に、ステップS93で表示制御部27は、遮蔽可と判定された対象物について、ステップS6で生成された3Dモデルを収集する。そして、表示制御部27は、収集された各3Dモデルを対象モデルとして、ステップS94からステップS95の処理を実行する。
ステップS94で表示制御部27は、深度テストを有効化し、深度テストを実行する。深度テストは、対象モデルを射影変換した後の距離と、ステップS2で生成された正規化された深度マップにおける距離とをピクセル単位で比較し、深度マップにおける距離よりも対象モデルを射影変換した後の距離が近いピクセルを特定する処理である。なお、深度テストは、GPU等でサポートされている機能であり、グラフィックスライブラリであるOpenGLやDirectXを使用することで利用できる。対象モデルは、数4により射影変換される。



ここで、PicX及びPicYは、書き込み先のピクセルのX値及びY値である。width及びheightは、画像の幅及び高さである。ModelX、ModelY及びModelZは、対象モデルを構成する頂点座標のX値、Y値及びZ値である。
そして、ステップS95で表示制御部27は、数4により対象モデルを変換した上で、ステップS91で読み出された画像における深度テストで特定されたピクセルについて、対象モデルの色で色付けすることによりレンダリングする。

0041

次に、ステップS96で表示制御部27は、遮蔽不可と判定された対象物について、ステップS6で生成された3Dモデルを収集する。そして、表示制御部27は、収集された各3Dモデルを対象モデルとして、ステップS97からステップS98の処理を実行する。
ステップS97で表示制御部27は、深度テストを無効化し、深度テストを実行しない。そして、ステップS98で表示制御部27は、数4により対象モデルを変換した上で、ステップS91で読み出された画像における対象モデルが示す全てのピクセルについて、対象モデルの色で色付けすることによりレンダリングする。

0042

図12において、対象物である目的地とガソリンスタンドと周辺車両M〜Lとのうち、周辺車両Lについては遮蔽不可と判定され、残りの対象物については遮蔽可と判定されたとする。つまり、3DモデルA,B,C,Eは遮蔽可であり、3DモデルDは遮蔽不可であるとする。
この場合、ステップS95の処理が終わった時点で、図15に示すように、3DモデルA,B,C,Eがレンダリングされる。但し、3DモデルA,Bは、建物の後にあり、建物により遮蔽されるため、レンダリングされていない。そして、ステップS98の処理が終わった時点で、図16に示すように、3DモデルDがレンダリングされる。3DモデルDは、3DモデルEの後にあるが、遮蔽不可であるため位置に関係なく全体がレンダリングされている。

0043

***実施の形態1の効果***
以上のように、実施の形態1に係る画像表示装置10は、対象物の重要度に応じて遮蔽の有無を切り替える。これにより、現実感を保ちつつ、必要な情報を見やすくすることができる。
つまり、実施の形態1に係る画像表示装置10は、重要度が高い対象物については、対象物の位置に関係なく風景に重畳させて表示するため、必要な情報が見やすくなる。一方、重要度が高くない対象物については、対象物の位置に応じ、現実に即して表示するか否かを決定するため、現実感が保たれる。

0044

特に、実施の形態1に係る画像表示装置10は、対象物が移動する物体である場合に、移動体100から対象物までの距離である相対距離と、対象物が移動体100に近づく速度である相対速度とから重要度を計算する。これにより、移動体100に衝突する危険性の高い移動体が見落とされにくい状態で表示される。

0045

***他の構成***
<変形例1>
実施の形態1では、画像表示装置10の各部の機能がソフトウェアで実現された。変形例1として、画像表示装置10の各部の機能はハードウェアで実現されてもよい。この変形例1について、実施の形態1と異なる点を説明する。

0046

図17を参照して、変形例1に係る画像表示装置10の構成を説明する。
各部の機能がハードウェアで実現される場合、画像表示装置10は、プロセッサ11とメモリ12とストレージ13とに代えて、処理回路17を備える。処理回路17は、画像表示装置10の各部の機能と、メモリ12及びストレージ13の機能とを実現する専用の電子回路である。

0047

処理回路17は、単一回路複合回路プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックIC、GA(Gate Array)、ASIC(Application Specific IntegratedCircuit)、FPGA(Field−Programmable Gate Array)が想定される。
各部の機能を1つの処理回路17で実現してもよいし、各部の機能を複数の処理回路17に分散させて実現してもよい。

0048

<変形例2>
変形例2として、一部の機能がハードウェアで実現され、他の機能がソフトウェアで実現されてもよい。つまり、画像表示装置10の各部のうち、一部の機能がハードウェアで実現され、他の機能がソフトウェアで実現されてもよい。

0049

プロセッサ11とメモリ12とストレージ13と処理回路17とを、総称して「プロセッシングサーキットリー」という。つまり、各部の機能は、プロセッシングサーキットリーにより実現される。

0050

実施の形態2.
実施の形態2は、目的地といったランドマークが近い場合に、そのランドマークを遮蔽なしで表示する点が実施の形態1と異なる。実施の形態2では、この異なる点を説明する。
実施の形態2では、具体例として種別が目的地である対象物についてのみ遮蔽可否を判定する場合を説明する。しかし、目的地に限らず、運転手等によって指定された他のランドマークも遮蔽可否の判定の対象としてもよい。

0051

***動作の説明***
図2図12図14図18から図20とを参照して、実施の形態2に係る画像表示装置10の動作を説明する。
実施の形態2に係る画像表示装置10の動作は、実施の形態2に係る画像表示方法に相当する。また、実施の形態2に係る画像表示装置10の動作は、実施の形態2に係る画像表示プログラムの処理に相当する。

0052

実施の形態2に係る画像表示装置10の動作は、図2のステップ7の状況取得処理と、ステップS8の遮蔽判定処理とが実施の形態1に係る画像表示装置10の動作と異なる。

0053

図2のステップS7:状況取得処理)
実施の形態2では、状況取得部25は、運転状況に関する情報として、移動体100から目的地までの距離である相対距離を取得する。

0054

図2のステップS8:遮蔽判定処理)
遮蔽判定部26は、実施の形態1と同様に、ステップS4で取得されたナビゲーションデータ41と、ステップS5で取得された周辺データとに対応する対象物について、その対象物の重要度が閾値よりも高いか否かに応じて、その対象物の遮蔽可否を判定する。但し、重要度の計算方法が実施の形態1と異なる。

0055

図18を参照して具体的に説明する。
実施の形態2では、種別が目的地である対象物についてのみ遮蔽可否を判定し、他の種別の対象物については全て遮蔽可とする。
ステップS81からステップS82の処理と、ステップS85からステップS87の処理とは、実施の形態1と同じである。
ステップS83Bで遮蔽判定部26は、対象データがナビゲーションデータ41の場合には、対象データに対応する対象物の種別が目的地であるか否かを判定する。対象物の種別が目的地である場合には、ステップS84Bで遮蔽判定部26は、ステップS7で取得された相対距離から重要度を計算する。

0056

ステップS84Bで遮蔽判定部26は、相対距離が遠いほど高くなるように重要度を計算する。
具体例として、遮蔽判定部26は、数5により、重要度を計算する。



ここで、CDestLenは、重要度である。DestPosは、撮像装置31の地球座標系における位置である。CamPosは、目的地の地球座標系における位置である。CapMaxLenは、撮像可能距離である。Cthresは、閾値よりも大きい値である。CDestLenは、撮像装置31と目的地との間の距離DestLenが撮像可能距離よりも長ければCthresとなり、短ければ0になる。つまり、数5により計算された重要度CDestLenは、撮像装置31と目的地との間の距離DestLenが撮像可能距離よりも長ければ閾値より大きい値になり、短ければ閾値以下の値になる。

0057

図12において、対象物である目的地とガソリンスタンドと周辺車両M〜Lとのうち、目的地については遮蔽不可と判定され、残りの対象物については遮蔽可と判定されたとする。つまり、3DモデルB,C,D,Eは遮蔽可であり、3DモデルAは遮蔽不可であるとする。
この場合、図14のステップS95の処理が終わった時点で、図19に示すように、3DモデルB,C,D,Eがレンダリングされる。但し、3DモデルBは、建物の後にあり、建物により遮蔽されるため、レンダリングされていない。そして、図14のステップS98の処理が終わった時点で、図20に示すように、3DモデルAがレンダリングされる。3DモデルAは、建物の後にあるが、遮蔽不可であるため位置に関係なくレンダリングされている。

0058

***実施の形態2の効果***
以上のように、実施の形態2に係る画像表示装置10は、対象物が目的地といったランドマークである場合に、移動体100から対象物までの距離から重要度を計算する。これにより、目的地が遠い場合には、目的地が建物等により遮蔽されていても目的地を表す3Dモデルが表示されるため、目的地の方向が把握し易くなる。

0059

なお、図21に示すように、目的地が近く、撮像可能距離以内にある場合には、目的地に対応する3DモデルAは、隠蔽可と判定される。その結果、図22に示すように、3DモデルAは、一部が手前の建物Cによって隠蔽された状態で表示される。これにより、目的地が近い場合は、目的地と建物等との位置関係が分かり易くなる。
つまり、目的地が遠い場合には、近くにある建物等との位置関係はあまり重要ではない。そのため、目的地に対応する3Dモデルを遮蔽せずに表示することにより、目的地の方向が分かり易くなる。一方、目的地が近い場合には、近くにある建物等との位置関係は重要である。そのため、目的地に対応する3Dモデルを遮蔽ありで表示することにより、建物等との位置関係が分かり易くなる。

0060

***他の構成***
<変形例3>
実施の形態1では、車両といった移動体について遮蔽可否を判定し、実施の形態2では、目的地といったランドマークについて遮蔽可否を判定した。変形例3として、実施の形態1で行った遮蔽可否の判定と実施の形態2で行った遮蔽可否の判定との両方を行ってもよい。

0061

実施の形態3.
実施の形態3は、運転手が見ていない方向の対象物については遮蔽なしで表示する点が実施の形態1,2と異なる。実施の形態3では、この異なる点を説明する。

0062

***構成の説明***
図23を参照して、実施の形態3に係る画像表示装置10の構成を説明する。
実施の形態3に係る画像表示装置10は、機能構成要素として、状況取得部25を備えておらず、視線特定部28を備えている点が図1に示す画像表示装置10と異なる。視線特定部28は、他の機能構成要素と同様に、ソフトウェアにより実現される。
また、実施の形態3に係る画像表示装置10は、実施の形態1,2と同様に前方に2台の撮像装置31Aを備えるとともに、運転手を撮像する撮像装置31Bを備える。

0063

***動作の説明***
図12図24から図27とを参照して、実施の形態3に係る画像表示装置10の動作を説明する。
実施の形態3に係る画像表示装置10の動作は、実施の形態3に係る画像表示方法に相当する。また、実施の形態3に係る画像表示装置10の動作は、実施の形態3に係る画像表示プログラムの処理に相当する。

0064

図24のステップS1からステップS6の処理は、図2のステップS1からステップS6の処理と同じである。また、図24のステップS9の処理は、図2のステップS9の処理と同じである。

0065

図24のステップS7C:視線特定処理
視線特定部28は、運転手が見ている方向を示す視線ベクトルを特定する。視線特定部28は、特定された視線ベクトルをメモリ12に書き込む。
具体例としては、視線特定部28は、撮像装置31Bによって撮像された運転手の画像を、画像インタフェース14を介して取得する。そして、視線特定部28は、取得された画像から眼球を検出し、白目瞳孔との位置関係から運転手の視線ベクトルを計算する。

0066

但し、ここで特定される視線ベクトルは、撮像装置31BのB座標系におけるベクトルである。そこで、視線特定部28は、特定された視線ベクトルを、移動体100の前方を撮像する撮像装置31AのA座標系における視線ベクトルに変換する。具体的には、視線特定部28は、撮像装置31Aと撮像装置31Bとの相対姿勢により計算される回転行列を用いて、視線ベクトルの座標系を変換する。なお、相対姿勢は移動体100における撮像装置31A,31Bの設置位置から特定される。
移動体座標系を、移動体100の横方向をX座標、上方向をY座標、進行方向をZ座標とする座標系とし、撮像装置31Aの横方向、上方向、光軸方向に対する移動体座標系のX軸、Y軸、Z軸の回転角をそれぞれ、Pitchcam,Yawcam,Rollcamとした場合、移動体座標系からA座標系への変換行列Matcar2camは数6の通りとなる。



撮像装置31Bの横方向、上方向、光軸方向に対する移動体座標系のX軸、Y軸、Z軸の回転角をそれぞれ、Pitchdrc,Yawdrc,Rolldrcとした場合、移動体座標系からB座標系への変換行列Matcar2drcは数7の通りとなる。



すると、B座標系からのA座標系への変換はMatcar2cam・(Matcar2drc)tとなるため、数8によりA座標系での視線ベクトルが計算される。



ここで、VcamはA座標系での視線ベクトルであり、VdrcはB座標系での視線ベクトルである。

0067

なお、視線検出用のハードウェアも市販されているため、そのようなハードウェアにより視線特定部28を実現してもよい。

0068

図24のステップS8C:遮蔽判定処理)
遮蔽判定部26は、実施の形態1と同様に、ステップS4で取得されたナビゲーションデータ41と、ステップS5で取得された周辺データとに対応する対象物について、その対象物の重要度が閾値よりも高いか否かに応じて、その対象物の遮蔽可否を判定する。但し、重要度の計算方法が実施の形態1と異なる。

0069

図25を参照して具体的に説明する。
実施の形態3では、種別が車両である対象物についてのみ遮蔽可否を判定し、他の種別の対象物については全て遮蔽可とする。なお、車両に限らず、歩行者といった他の移動体と、ガソリンスタンドといったランドマークとも遮蔽可否の判定の対象としてもよい。
ステップS81からステップS83の処理と、ステップS85からステップS87の処理とは、実施の形態1と同じである。
ステップS84Cで遮蔽判定部26は、対象物の位置と、視線ベクトルが示す運転手が見ている位置とのずれが大きいほど高くなるように重要度を計算する。
具体例として、遮蔽判定部26は、数9により、重要度を計算する。



ここで、Cwatchは、重要度である。Pobjは、対象物の位置である。θは、視線ベクトルと撮像装置31Aから対象物への対象ベクトルとの成す角である。wwatchは、視認コスト係数であり、任意に定められる正の定数である。

0070

図12における周辺車両Mと周辺車両Lとの中間辺りを運転手が見ているとする。すると、周辺車両Nの位置と、視線ベクトルが示す運転手が見ている位置とのずれが大きくなり、周辺車両Nについての重要度が高くなる。そのため、対象物である目的地とガソリンスタンドと周辺車両M〜Lとのうち、周辺車両Nについては遮蔽不可と判定され、残りの対象物については遮蔽可と判定されたとする。つまり、3DモデルA〜Dは遮蔽可であり、3DモデルEは遮蔽不可であるとする。
この場合、ステップS95の処理が終わった時点で、図26に示すように、3DモデルA〜Dがレンダリングされる。但し、3DモデルA,Bは、建物の後にあり、建物により遮蔽されるため、レンダリングされていない。そして、ステップS98の処理が終わった時点で、図27に示すように、3DモデルEがレンダリングされる。

0071

***実施の形態3の効果***
以上のように、実施の形態3に係る画像表示装置10は、運転手が見ている位置とのずれから重要度を計算する。これにより、運転手が対象物を見落としている可能性が高い場合に、対象物に対応する3Dモデルが隠蔽されずに表示されるため、対象物を運転手に気付かせることができる。
一方、運転手が気づいている可能性が高い対象物については、隠蔽可として、位置関係が分かり易くなっている。

0072

***他の構成***
<変形例4>
実施の形態1では、車両といった移動体について相対位置及び相対速度から遮蔽可否を判定し、実施の形態2では、目的地といったランドマークについて相対位置から遮蔽可否を判定した。そして、実施の形態3では、運転手が見ている位置とのずれに基づき遮蔽可否を判定した。変形例4として、実施の形態1,2の少なくともいずれかで行った遮蔽可否の判定と、実施の形態3で行った遮蔽可否の判定との両方を行ってもよい。

0073

10画像表示装置、11プロセッサ、12メモリ、13ストレージ、14画像インタフェース、15通信インタフェース、16表示インタフェース、17処理回路、21深度マップ生成部、22深度正規化部、23対象情報取得部、24モデル生成部、25状況取得部、26遮蔽判定部、27表示制御部、28視線特定部、31,31A,31B撮像装置、32 ECU、33ディスプレイ、41ナビゲーションデータ、42描画パラメータ、100 移動体。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

新着 最近 公開された関連が強い 技術

この 技術と関連性が強い 技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する挑戦したい社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ