図面 (/)

技術 車載映像表示装置、車載映像表示方法、およびプログラム

出願人 パナソニックIPマネジメント株式会社
発明者 桑原崇金谷昌宣
出願日 2016年9月28日 (4年2ヶ月経過) 出願番号 2016-189546
公開日 2018年4月5日 (2年7ヶ月経過) 公開番号 2018-056755
状態 特許登録済
技術分野 閉回路テレビジョンシステム 光学的視認装置 イメージ分析 画像処理
主要キーワード 輪郭幅 電子ミラー 輪郭画像生成 平均画像レベル 窓部分 純正品 車体部分 光学ミラー
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2018年4月5日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (15)

課題

表示装置を視る乗員が自車両の領域とその他の領域との境界をより明確かつ容易に認識することができる車載映像表示装置を提供する。

解決手段

本開示の一態様に係る車載映像表示装置は、自車両の一部を撮像領域に含む車外撮像部から取得した撮像画像について、自車両の形状を示す情報から自車両領域および非自車両領域の境界を特定する境界特定部と、自車両領域または非自車両領域の色の特徴を抽出する色抽出部と、境界を含み色の特徴に応じた表示色を有する輪郭画像を生成する輪郭画像生成部と、撮像画像に輪郭画像を重畳して重畳画像を生成する画像重畳部と、を備える。

概要

背景

近年、カメラ技術の進歩、コストダウンにより、車載カメラを利用して運転支援するための様々なシステムが開発されている。車載カメラを活用するシステムの1つとして、自動車などの車両に搭載される電子ミラーシステムがある。電子ミラーシステムは車載カメラと表示装置を備え、従来は光学ミラーが映していた車外の領域の状況を車載カメラが撮像し、車載カメラに接続された表示装置が画像として表示する。

電子ミラーシステムの中には、夜間など、車両の周囲が暗い状況において、バンパー輪郭など、自車両の輪郭をはっきりとさせることによって、運転者の運転を支援することのできる運転支援システムが提案されている(特許文献1参照)。

概要

表示装置を視る乗員が自車両の領域とその他の領域との境界をより明確かつ容易に認識することができる車載映像表示装置を提供する。本開示の一態様に係る車載映像表示装置は、自車両の一部を撮像領域に含む車外撮像部から取得した撮像画像について、自車両の形状を示す情報から自車両領域および非自車両領域の境界を特定する境界特定部と、自車両領域または非自車両領域の色の特徴を抽出する色抽出部と、境界を含み色の特徴に応じた表示色を有する輪郭画像を生成する輪郭画像生成部と、撮像画像に輪郭画像を重畳して重畳画像を生成する画像重畳部と、を備える。

目的

本開示の目的は、表示装置を視る乗員が自車両の領域とその他の領域との境界をより明確かつ容易に認識することができる車載映像表示装置を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

自車両の一部を撮像領域に含む車外撮像部から取得した撮像画像について、前記自車両の形状を示す情報から自車両領域および非自車両領域の境界を特定する境界特定部と、前記自車両領域または前記非自車両領域の色の特徴を抽出する色抽出部と、前記境界を含み前記色の特徴に応じた表示色を有する輪郭画像を生成する輪郭画像生成部と、前記撮像画像に前記輪郭画像を重畳して重畳画像を生成する画像重畳部と、を備える、車載映像表示装置

請求項2

前記輪郭画像生成部は、前記自車両領域または前記非自車両領域のRGB成分値の平均値に基づいて前記表示色を決定する、請求項1に記載の車載映像表示装置。

請求項3

前記輪郭画像生成部は、前記輪郭画像に含まれる境界に対応する部分について、輪郭幅方向にグラデーションをかける、請求項1または2に記載の車載映像表示装置。

請求項4

前記輪郭画像生成部は、前記グラデーションにおいて、前記輪郭画像の前記自車両領域から非自車両領域に向かって輝度を高くする、請求項3に記載の車載映像表示装置。

請求項5

車内を撮像する車内撮像部が出力した運転手の画像を解析して運転手の視線方向を検出する視線検出部をさらに備え、前記輪郭画像生成部は、前記視線方向に基づいて前記表示色を変更する、請求項1から4のいずれかに記載の車載映像表示装置。

請求項6

撮像画像の前記非自車両領域のうち道路に対応する第1の領域および前記非自車両領域における前記第1の領域以外の領域である第2の領域を検出する道路形状検出部をさらに備え、前記境界特定部は、前記自車両領域と前記第1の領域との第1の境界および前記自車両領域と前記第2の領域との第2の境界を特定し、前記色抽出部は、前記第1の領域についての第1の色の特徴と、前記第2の領域についての第2の色の特徴とを個別に抽出し、前記輪郭画像生成部は、前記第1の境界の表示色を、前記第1の色の特徴に応じて決定し、前記第2の境界の表示色を、前記第2の色の特徴に応じて決定する、請求項1から5のいずれかに記載の車載映像表示装置。

請求項7

前記車外撮像部が出力した撮像画像からエッジ部分を検出し、前記エッジ部分に基づいて前記自車両の形状を抽出する自車両形状抽出部をさらに備え、前記境界特定部は、前記自車両形状抽出部が抽出した前記形状に基づいて前記境界を特定する、請求項1から6のいずれかに記載の車載映像表示装置。

請求項8

前記輪郭画像生成部は、前記撮像画像の平均画像レベルに応じて前記輪郭画像の表示色の輝度を調整する、請求項1から7のいずれかに記載の車載映像表示装置。

請求項9

自車両の一部を撮像領域に含む車外撮像部から取得した撮像画像について、前記自車両の形状を示す情報から自車両領域および非自車両領域の境界を特定するステップと、前記自車両領域または前記非自車両領域の色の特徴を抽出するステップと、前記境界を含み前記色の特徴に応じた表示色を有する輪郭画像を生成するステップと、前記撮像画像に前記輪郭画像を重畳して重畳画像を生成するステップと、を備える、車載映像表示方法

請求項10

車外撮像部からの撮像画像を表示部に表示させる車載映像表示装置のコンピュータを、自車両の一部を撮像領域に含む車外撮像部から取得した撮像画像について、前記自車両の形状を示す情報から自車両領域および非自車両領域の境界を特定する境界特定部、前記自車両領域または前記非自車両領域の色の特徴を抽出する色抽出部、前記境界を含み前記色の特徴に応じた表示色を有する輪郭画像を生成する輪郭画像生成部、および前記撮像画像に前記輪郭画像を重畳して重畳画像を生成する画像重畳部、として機能させる、プログラム

技術分野

0001

本開示は、車載映像表示装置車載映像表示方法、およびプログラムに関する。

背景技術

0002

近年、カメラ技術の進歩、コストダウンにより、車載カメラを利用して運転支援するための様々なシステムが開発されている。車載カメラを活用するシステムの1つとして、自動車などの車両に搭載される電子ミラーシステムがある。電子ミラーシステムは車載カメラと表示装置を備え、従来は光学ミラーが映していた車外の領域の状況を車載カメラが撮像し、車載カメラに接続された表示装置が画像として表示する。

0003

電子ミラーシステムの中には、夜間など、車両の周囲が暗い状況において、バンパー輪郭など、自車両の輪郭をはっきりとさせることによって、運転者の運転を支援することのできる運転支援システムが提案されている(特許文献1参照)。

先行技術

0004

特開第2006−173835号公報

発明が解決しようとする課題

0005

車両に搭載されるサイドミラーに代えて用いられる電子ミラーシステムの場合、周囲の状況によっては、表示装置を視る乗員が自車両と道路等の境界を認識するのが困難な状況がある。そのような状況において車載カメラが撮像した画像に自車両の領域とその他の領域との境界を表す輪郭画像重畳しても、輪郭画像の表示色によっては、表示装置を視る乗員が境界を認識することが困難である状況が想定される。

0006

本開示の目的は、表示装置を視る乗員が自車両の領域とその他の領域との境界をより明確かつ容易に認識することができる車載映像表示装置を提供することである。

課題を解決するための手段

0007

本開示の一態様に係る車載映像表示装置は、自車両の一部を撮像領域に含む車外撮像部から取得した撮像画像について、前記自車両の形状を示す情報から自車両領域および非自車両領域の境界を特定する境界特定部と、前記自車両領域または前記非自車両領域の色の特徴を抽出する色抽出部と、前記境界を含み前記色の特徴に応じた表示色を有する輪郭画像を生成する輪郭画像生成部と、前記撮像画像に前記輪郭画像を重畳して重畳画像を生成する画像重畳部と、を備える構成を採る。

0008

本開示の一態様に係る車載映像表示方法は、自車両の一部を撮像領域に含む車外撮像部から取得した撮像画像について、前記自車両の形状を示す情報から自車両領域および非自車両領域の境界を特定するステップと、前記自車両領域または前記非自車両領域の色の特徴を抽出するステップと、前記境界を含み前記色の特徴に応じた表示色を有する輪郭画像を生成するステップと、前記撮像画像に前記輪郭画像を重畳して重畳画像を生成するステップと、を備える構成を採る。

0009

本開示の一態様に係るプログラムは、車外撮像部からの撮像画像を表示部に表示させる車載映像表示装置のコンピュータを、自車両の一部を撮像領域に含む車外撮像部から取得した撮像画像について、前記自車両の形状を示す情報から自車両領域および非自車両領域の境界を特定する境界特定部、前記自車両領域または前記非自車両領域の色の特徴を抽出する色抽出部、前記境界を含み前記色の特徴に応じた表示色を有する輪郭画像を生成する輪郭画像生成部、および前記撮像画像に前記輪郭画像を重畳して重畳画像を生成する画像重畳部、として機能させる、構成を採る。

発明の効果

0010

本開示によれば、表示装置を視る乗員が自車両の領域とその他の領域との境界をより明確かつ容易に視認することができる車載映像表示装置を提供することができる。

図面の簡単な説明

0011

第1の実施の形態に係る車載映像表示装置の構成図である。
第1の実施の形態に係る車載映像表示装置の動作フローチャートの一例である。
自車両の一部を含む撮像画像の一例を示す図である。
自車両領域の色のRGB成分値の平均値ヒストグラムの一例である。
輪郭画像の表示色のRGB成分値ヒストグラムの一例である。
輪郭画像の一例を示す図である。
重畳画像の一例を示す図である。
第2の実施の形態に係る重畳画像の一例を示す図である。
第3の実施の形態に係る車載映像表示装置の構成図である。
第3の実施の形態に係る重畳画像の一例を示す図である。
第4の実施の形態に係る車載映像表示装置の構成図である。
第5の実施の形態に係る車載映像表示装置の構成図である。
第5の実施の形態に係る車載映像表示装置の自車両形状抽出部の動作フローチャートである。
コンピュータのハードウェア構成の一例を示す図である。

実施例

0012

以下、本開示の実施の形態について、図面を参照して詳細に説明する。

0013

(第1の実施の形態)
図1は、第1の実施の形態に係る車載映像表示装置100の構成図である。車載映像表示装置100は、車外撮像部110と、制御部120と、記憶部122と、境界特定部123と、表示部130とを備える。

0014

車外撮像部110は、自車両の一部を含む画像を撮像し、撮像画像を出力する。一例において、車外撮像部110は自車両に対して固定されている。例えば、車外撮像部110は、自車両の右側面または左側面上に固定されたサイドカメラである。

0015

制御部120は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等を備える。CPUは、例えばROMから処理内容に応じたプログラムを読み出してRAMに展開し、展開したプログラムと協働して、車載映像表示装置100の各ブロックの動作を集中制御する。制御部120は、境界特定部123、色抽出部124、輪郭画像生成部125、および画像重畳部126として機能する。

0016

記憶部122は、自車両のうち、車外撮像部110の撮像領域の中に含まれる部分の形状を示す情報を、例えば2次元画像情報として記憶する。一例において、記憶部122は、不揮発性メモリである。

0017

境界特定部123は、自車両の形状を示す情報から車外撮像部110の撮像画像の中の自車両領域および非自車両領域の境界を特定する。ここで、自車両領域とは、撮像画像の中の自車両が映っている領域をいい、非自車両領域とは、撮像画像の中の自車両領域以外の領域をいう。一例において、境界特定部123は、自車両の形状を示す情報を記憶部122から読み出す。色抽出部124は、車外撮像部110の撮像画像の中の自車両領域または非自車両領域の色の特徴を抽出する。

0018

輪郭画像生成部125は、境界特定部123が特定した自車両領域および非自車両領域の境界を含み、色抽出部124が抽出した色の特徴に基づき輪郭画像を生成する。ここで、輪郭画像生成部125は、輪郭画像の表示色を、色抽出部124が抽出した色の特徴に応じて決定する。一例において、色抽出部124が抽出した色の反転色が、輪郭画像の表示色として決定される。また、一例において、色抽出部124が抽出した色が無彩色である場合、赤色等の目立つ色が輪郭画像の表示色として決定される。輪郭画像の表示色を反転色や目立つ色にすることにより、重畳画像を視る乗員が、自車両の領域とその他の領域との境界を明確かつ容易に認識することができるようになり、自車両と他車両等との位置関係をより容易に把握することができる。

0019

画像重畳部126は、車外撮像部110が出力した撮像画像に、輪郭画像生成部125が生成した輪郭画像を重畳して、重畳画像を生成する。

0020

表示部130は、重畳画像を乗員に対して表示する。例えば、表示部130は、光学ミラーに代えて自車両に搭載される電子ミラーである。

0021

以下、第1の実施の形態に係る車載映像表示装置100の動作を、フローチャートに従って説明する。図2は、第1の実施の形態に係る車載映像表示装置100の動作フローチャートの一例である。この処理は、例えば自車両のエンジン起動されることに伴い、車載映像表示装置100のCPUがROMに格納されているプログラムを読みだして実行することにより実現される。

0022

まず、ステップS101において、制御部120は、自車両の一部を含む撮像画像を入力する。

0023

図3は、自車両の一部を含む撮像画像の一例を示す図である。図3に示される撮像画像は、自車両の後方を撮像した撮像画像であり、自車両領域300と非自車両領域200とを含む。例えば、自車両領域300は、ピラー部分310と、窓部分320と、窓枠部分330と、車体部分340とからなる。

0024

次いで、ステップS102において、制御部120は、撮像画像の自車両領域の色を取得し、ステップS103において、撮像画像の自車両領域のRGB成分値の平均値Rave1,Gave1,Bave1を、自車両領域の色の特徴として抽出する。

0025

図4Aは、自車両領域の色のRGB成分値の平均値ヒストグラムの一例である。色抽出部124は、撮像画像の中の自車両領域に属する画素画素値を、例えばR成分、G成分、B成分毎に総和して、撮像画像の中の自車両領域に属する画素の画素数で割ることにより、自車両領域の色のRGB成分値の平均値ヒストグラムを取得することができる。図4Aに示される例においては、自車両領域の色のRGB成分値の平均値は、それぞれRave1,Gave1,Bave1である。

0026

次いで、ステップS104において、制御部120は、RGB成分値の比率αおよびβを計算する。αを自車両領域の色のRGB成分値の平均値Rave1,Gave1,Bave1のうち最大値に対する2番目に大きい値の比率とし、βをRave1,Gave1,Bave1のうち2番目に大きい値に対する最小値の比率とする。比率αおよびβは、平均値Rave1,Gave1,Bave1を大きい順にX1,X2,X3として、次の(式1)を用いて計算することができる。

0027

α=X2/X1、β=X3/X2…(式1)

0028

(式1)から明らかであるように、比率αおよびβはそれぞれ0以上1以下の数となる。

0029

次いで、ステップS105において、制御部120は、抽出した色が無彩色であるか否かを判定する。一例において、比率αおよびβが所定の比率より大きい場合、輪郭画像生成部125は、抽出した色が無彩色であると判定し、比率αおよびβのいずれかが所定の比率より小さい場合、制御部120は、自車両領域の色が無彩色でないと判定する。

0030

無彩色であると判定した場合(ステップS105:YES)、ステップS106において、制御部120は、輪郭画像の表示色を所定の色とし(ステップS106)、ステップS108に進む。

0031

一例において、ステップS106において、制御部120は、赤色等の目立つ所定の色を輪郭画像の表示色として決定する。ここで、所定の比率は、0より大きくかつ1より小さい任意の値であり、例えば0.9である。例えば、自車両の色が白色の場合、輪郭画像の表示色は赤色となる可能性が高い。

0032

一方、無彩色でないと判定した場合(ステップS105:NO)、ステップS107において、制御部120は、反転色を輪郭画像の表示色として決定し、ステップS108に進む。一例において、ステップS107において、輪郭画像生成部125は、RGB成分値の平均値X1,X2,X3に対応する輪郭画像の表示色のRGB成分値Y1,Y2,Y3を、Y1=α×β×C,Y2=β×C,Y3=Cと計算する。ここで、Cは、予め定められた任意の値であり、例えば、RGB成分値がとりうる値の最大値に等しく、RGB成分値がそれぞれ8ビットで表される場合、C=255である。これに代えて、例えばC=250またはC=200でもよい。

0033

図4Aに示される例においては、Gave1=α×Rave1であり、Bave1=β×Gave1であり、α<0.9およびβ<0.9が成立する。この場合、自車両領域の色の反転色が輪郭画像の表示色として決定される。

0034

図4Bは、輪郭画像の表示色のRGB成分値の一例である。図4Aに示される自車両領域の色のRGB成分値の平均値Rave1,Gave1,Bave1の間にRave1>Gave1>Bave1の関係が成立しているのに対し、図4Bに示される輪郭画像のRGB成分値Rout,Gout,Boutの間にRout<Gout<Boutの関係が成立しており、RGB成分値の大きさの関係が逆転している。これは、自車両領域の色の反転色が輪郭画像の表示色として決定されたためである。

0035

次いで、ステップS108において、制御部120は、輪郭画像を生成する。

0036

図5は、輪郭画像の一例を示す図である。輪郭画像は、撮像領域に含まれる境界の少なくとも一部を含み、自車両領域と非自車両領域との境界を、乗員が明瞭に認識できる限りにおいて特にその画像に制限はない。例えば図5に示されるように、輪郭画像は、ピラー部分と非自車両領域との境界312と車体部分と非自車両領域との境界342を含む。また、例えば図5に示されるように、輪郭画像は、さらに窓枠部分332を境界と同様に強調表示する画像を含んでもよい。さらに、輪郭画像は、自車両領域をハッチングした画像または半透明色で塗りつぶした半透過型画像をさらに含んでもよい。

0037

次いで、ステップS109において、制御部120は、撮像画像に輪郭画像を重畳する。

0038

図6は、重畳画像の一例を示す図である。図6に示される重畳画像においては、車両の後方を撮像した撮像画像に、車体部分およびピラー部分と非自車両領域との境界350と、窓枠部分334とを含む輪郭画像が重畳されている。前述したように、色抽出部124が抽出した自車両領域または非自車両領域の色の特徴に応じて、輪郭画像の表示色が決定されている。

0039

このように、第1の実施の形態に係る車載映像表示装置100は、自車両の一部を撮像領域に含む車外撮像部110から取得した撮像画像について、自車両の形状を示す情報から特定される自車両領域および非自車両領域の境界を特定する境界特定部123と、自車両領域の色の特徴を抽出する色抽出部124と、境界を含み、色の特徴に応じた表示色を有する輪郭画像を生成する輪郭画像生成部125と、撮像画像に輪郭画像を重畳して重畳画像を生成する画像重畳部126と、を備える構成を採る。

0040

第1の実施の形態に係る車載映像表示装置100によれば、乗員は、車両の後方を撮像した画像をそのまま視ることに代えて重畳画像を視ることにより、自車両領域および非自車両領域の境界を明確かつ容易に認識することができるようになり、自車両と他車両等との位置関係をより容易に把握することができる。

0041

(第2の実施の形態)
図7は、第2の実施の形態に係る重畳画像の一例を示す図である。第1の実施の形態においては、色抽出部124は、自車両領域400の色を抽出するのに対し、第2の実施の形態においては、色抽出部124は、非自車両領域500の色を抽出する点において、第2の実施の形態は、第1の実施の形態と異なる。

0042

このように、第2の実施の形態に係る車載映像表示装置100は、自車両の一部を撮像領域に含む車外撮像部110から取得した撮像画像について、自車両の形状を示す情報から特定される自車両領域および非自車両領域の境界を特定する境界特定部123と、非自車両領域の色の特徴を抽出する色抽出部124と、境界を含み、色の特徴に応じた表示色を有する輪郭画像を生成する輪郭画像生成部125と、撮像画像に輪郭画像を重畳して重畳画像を生成する画像重畳部126と、を備える構成を採る。この場合、自車両領域400と非自車両領域500との境界502の表示色は、例えば、非自車両領域500の色の反転色となる。

0043

第2の実施の形態に係る車載映像表示装置100によれば、自車両がトンネルに入る、他車両が接近する等の走行環境の変化が応じた場合であっても、乗員は、自車両領域および非自車両領域の境界を明確かつ容易に認識することができるようになる。

0044

(第3の実施の形態)
図8は、第3の実施の形態に係る車載映像表示装置600の構成図である。車載映像表示装置600は、車外撮像部110と、記憶部122と、制御部620と、表示部130とを備える。このうち、車外撮像部110と、記憶部122と、表示部130とは、第1の実施の形態に係る車載映像表示装置100が備えるものと同じであるので、ここでは説明を省略する。

0045

制御部620は、道路形状検出部622と、境界特定部623と、色抽出部624と、輪郭画像生成部625と、画像重畳部626として機能する。

0046

道路形状検出部622は、撮像画像の非自車両領域のうち道路に対応する第1の領域と非自車両領域のうち第1の領域を除いた領域である第2の領域とを検出する。道路に対応する領域の検出は、例えば撮像画像から段差白線を検出し、検出された段差や白線に基づいて道路に対応する領域を検出する等、公知の画像処理手段により行うことができる。

0047

境界特定部623は、撮像画像の中の自車両領域と道路形状検出部622が検出した第1の領域との第1の境界を特定し、さらに、撮像画像の中の自車両領域と道路形状検出部622が検出した第2の領域との第2の境界を特定する。

0048

色抽出部624は、道路形状検出部622が検出した第1の領域についての第1の色の特徴と、道路形状検出部622が検出した第2の領域についての第2の色の特徴とを個別に抽出する。個別に抽出された第1の色の特徴および第2の色の特徴は、一般的に異なる。

0049

輪郭画像生成部625は、境界特定部623が特定した第1の境界の表示色を、色抽出部624が抽出した第1の色の特徴に応じて決定し、境界特定部623が特定した第2の境界の表示色を、色抽出部624が抽出した第2の色の特徴に応じて決定する。輪郭画像生成部625は、決定された表示色に基づき輪郭画像を生成する。

0050

画像重畳部626は、車外撮像部110が出力した撮像画像に、輪郭画像生成部625が生成した輪郭画像を重畳して、重畳画像を生成する。

0051

図9は、第3の実施の形態に係る重畳画像の一例を示す図である。道路形状検出部622は、撮像画像の中の非自車両領域500のうち道路に対応する第1の領域510と、非自車両領域500のうち第1の領域510を除いた領域である第2の領域520とを検出する。

0052

境界特定部623は、自車両領域400と第1の領域510との第1の境界512および自車両領域500と第2の領域520との第2の境界522を特定する。色抽出部624は、第1の領域510についての第1の色の特徴と、第2の領域520についての第2の色の特徴とを個別に抽出する。次いで、輪郭画像生成部625は、第1の境界512および第2の境界522を含み、第1の色の特徴および第2の色の特徴に応じた表示色を有する輪郭画像を生成する。

0053

ここで、第1の境界512の表示色は、第1の領域510について個別に抽出された第1の色の特徴に応じて決定され、第2の境界522の表示色は、第2の領域520について個別に抽出された第2の色の特徴に応じて決定される。その結果、図9に示されるように、第1の領域510および第2の領域520のそれぞれと自車両領域400との境界が異なる表示色で表示される。

0054

このように、第3の実施の形態に係る車載映像表示装置600は、撮像画像の非自車両領域500のうち道路に対応する第1の領域510および非自車両領域500における第1の領域500以外の領域である第2の領域520を検出する道路形状検出部622をさらに備え、境界特定部623は、自車両領域400と第1の領域510との第1の境界512および自車両領域400と第2の領域520との第2の境界522を特定し、色抽出部624は、第1の領域510についての第1の色の特徴と第2の領域520についての第2の色の特徴とを個別に抽出し、輪郭画像生成部625は、第1の境界512の表示色を、第1の色の特徴に応じて決定し、第2の境界622の表示色を、第2の色の特徴に応じて決定する。

0055

第3の実施の形態に係る車載映像表示装置600によれば、第1の領域510と第2の領域520とが互いに反転色に近い関係にある場合であっても、乗員は、自車両領域および非自車両領域の境界を明確かつ容易に認識することができるようになる。

0056

(第4の実施の形態)
図10は、第4の実施の形態に係る車載映像表示装置700の構成図である。車載映像表示装置700は、車外撮像部110と、記憶部122と、車内撮像部140と、制御部720と、表示部130とを備える。このうち、車外撮像部110、記憶部122、および表示部130とは、第1の実施の形態に係る車載映像表示装置100が備えるものと同じであるので、ここでは説明を省略する。

0057

車内撮像部140は、車内に設けられ、運転手を撮像する。車内撮像部140は、例えば、運転手の状態を監視する監視カメラである。

0058

制御部720は、視線検出部722と、境界特定部723と、色抽出部724と、輪郭画像生成部725と、画像重畳部726とを備える。

0059

視線検出部722は、車内撮像部140が撮像した運転手の画像を解析して、運転手の視線方向を検出する。人物の画像を解析して、当該人物の視線方向を検出する手段については公知のものを用いてよく、ここでは説明を省略する。

0060

境界特定部723は、自車両の形状を示す情報から撮像画像の中の自車両領域および非自車両領域の境界を特定する。色抽出部724は、撮像画像の中の自車両領域または非自車両領域の色の特徴を抽出する。

0061

輪郭画像生成部725は、自車両の形状および色抽出部724が抽出した色の特徴に基づき輪郭画像を生成する。ここで、輪郭画像の表示色は、色抽出部724が抽出した色の特徴に応じて決定される。

0062

さらに、輪郭画像生成部725は、視線検出部722が検出した視線方向に基づき、輪郭画像の表示色を変更する。例えば、運転手の視線方向が表示部130の方向を向いていることが検出された場合、輪郭画像生成部725は、輪郭画像の表示色をより明るい色に変更し、そうでない場合、輪郭画像の表示色をより暗い色に変更する。画像重畳部726は、車外撮像部110が出力した撮像画像に、輪郭画像生成部725が生成した輪郭画像を重畳して、重畳画像を生成する。

0063

このように、第4の実施の形態に係る車載映像表示装置700は、車内を撮像する車内撮像部140が出力した運転手の画像を解析して運転手の視線方向を検出する視線検出部722をさらに備え、輪郭画像生成部725は、視線方向に基づいて表示色を変更する。

0064

第4の実施の形態に係る車載映像表示装置700によれば、表示部130の消費電力を低減させながらも、表示部130を視る乗員が、自車両領域および非自車両領域を明確かつ容易に認識することができるようになる。また、運転手の視線方向が表示部130の方向を向いていない場合に輪郭画像の表示色を暗い色にすることにより、運転手にとっての煩わしさを少なくする効果がある。運転手が運転中にサイドミラーを注視していなくても、サイドミラーは運転手の視界の中にある。よって、輪郭画像が常に明るいと、運転手の視界に入り、サイドミラーを注視する必要がない場面でも、運転手の注意がサイドミラーに向いてしまう。そこで、運転手の視線方向が表示部130の方向を向いていない場合に、輪郭画像の表示色を暗い色にする構成により、運転手がサイドミラーを注視する必要のない場面でサイドミラーを注視してしまうのを防ぐことができる。

0065

(第5の実施の形態)
図11は、第5の実施の形態に係る車載映像表示装置800の構成図である。車載映像表示装置800は、車外撮像部110と、記憶部122と、制御部820と、表示部130とを備える。このうち、車外撮像部110と、記憶部122と、表示部130とは、第1の実施の形態に係る車載映像表示装置100が備えるものと同じであるので、ここでは説明を省略する。

0066

制御部820は、自車両形状抽出部822、境界特定部823、色抽出部824、輪郭画像生成部825、および画像重畳部826として機能する。

0067

自車両形状抽出部822は、車外撮像部110が出力した撮像画像からエッジ部分を検出し、検出されたエッジ部分に基づき、自車両のうち、撮像領域の中に含まれる部分の形状を抽出する。撮像領域の中に含まれる部分は、例えば、ピラー部分、窓部分、窓枠部分、車体部分である。エッジ部分の検出は、Prewitt演算子やSobel演算子を用いる画像処理等の公知の方法に用いて行うことができるので、ここでは説明を省略する。一例において、自車両形状抽出部822が抽出した形状を示す情報を、記憶部122が記憶する。

0068

境界特定部823は、自車両形状抽出部822が抽出した形状から、撮像画像の中の自車両領域および非自車両領域の境界を特定する。一例において、境界特定部823は、形状を示す情報を、記憶部122から読み出す。色抽出部824は、撮像画像の中の自車両領域または非自車両領域の色の特徴を抽出する。

0069

輪郭画像生成部825は、自車両形状抽出部822が抽出した形状および色抽出部824が抽出した色の特徴に基づき輪郭画像を生成する。ここで、輪郭画像の表示色は、色抽出部824が抽出した色の特徴に応じて決定される。

0070

画像重畳部826は、車外撮像部110が出力した撮像画像に、輪郭画像生成部825が生成した輪郭画像を重畳して、重畳画像を生成する。

0071

このように、第5の実施の形態に係る車載映像表示装置800は、車外撮像部110が出力した撮像画像からエッジ部分を検出し、エッジ部分に基づいて自車両の形状を抽出する自車両形状抽出部822をさらに備え、境界特定部823は、自車両形状抽出部822が抽出した形状に基づいて、境界を特定する。

0072

第5の実施の形態に係る車載映像表示装置800によれば、車載映像表示装置800が自車両に後付けされた場合であっても、車載映像表示装置800は、自車両領域と非自車両領域との境界を表示部130に表示することができる。したがって、車載映像表示装置800を自車両の純正品として自車両に搭載された状態で販売するのみならず、それ自体を単独で市販することもできる。

0073

図12は、第5の実施の形態に係る車載映像表示装置800の自車両形状抽出部822の動作フローチャートである。

0074

まず、ステップS201において、制御部820は、車外撮像部110が出力した撮像画像からエッジ部分を検出する。次いで、ステップS202において、制御部820は、自車両の形状を抽出可能である否かを判定する。抽出可能である場合(ステップS202:YES)、ステップS203において、制御部820は、抽出した自車両の輪郭形状を記憶部122に格納し、フローを終了する。抽出可能でない場合(ステップS202:NO)、ステップS201に戻る。

0075

自車両形状抽出部822が自車両の形状を抽出する周期については、例えば、エンジンを起動する毎、所定の期間(1ヶ月、3ヶ月)毎等に行うことにより、経年変化による車外撮像部110の位置ずれ対処することができる。

0076

図13は、コンピュータ2100のハードウェア構成の一例を示す図である。上述した各実施の形態および各変形例における各部の機能は、コンピュータ2100が実行するプログラムにより実現される。

0077

図13に示すように、コンピュータ2100は、入力ボタンタッチパッドなどの入力装置2101、ディスプレイスピーカなどの出力装置2102、CPU(Central Processing Unit)2103、ROM(Read Only Memory)2104、RAM(Random Access Memory)2105を備える。また、コンピュータ2100は、ハードディスク装置SSD(Solid State Drive)などの記憶装置2106、DVD−ROM(Digital Versatile Disk Read Only Memory)、USB(Universal Serial Bus)メモリなどの記録媒体から情報を読み取る読取装置2107、ネットワークを介して通信を行う送受信装置2108を備える。上述した各部は、バス2109により接続される。

0078

そして、読取装置2107は、上記各部の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置2106に記憶させる。あるいは、送受信装置2108が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各部の機能を実現するためのプログラムを記憶装置2106に記憶させる。

0079

そして、CPU2103が、記憶装置2106に記憶されたプログラムをRAM2105にコピーし、そのプログラムに含まれる命令をRAM2105から順次読み出して実行することにより、上記各部の機能が実現される。また、プログラムを実行する際、RAM2105または記憶装置2106には、各実施の形態で述べた各種処理で得られた情報が記憶され、適宜利用される。

0080

(その他の実施の形態)
一例において、輪郭画像生成部125は、車外撮像部110が出力した撮像画像に応じて、生成した輪郭画像の表示色の輝度を調整する。例えば、車外撮像部110が出力した撮像画像の平均画像レベルAPL)が増加した場合、輪郭画像生成部125は、生成した輪郭画像の表示色の輝度を上げる。こうすると、例えば後方車両からのハイビームを受けた場合であっても、表示部130を視る乗員は、自車両領域および非自車両領域の境界を明確かつ容易に認識することができるようになる。

0081

一例において、輪郭画像生成部125は、輪郭画像に含まれる境界に対応する部分について、境界の輪郭幅方向にグラデーションをかける。この場合、グラデーションは、重畳画像内の自車両領域から非自車両領域に向かって輝度が高くなってもよい。こうすると、表示部130を視る乗員は、表示部130に自車両の形状を表すラインが単色で表示されている場合と比較して、自車両領域および非自車両領域の境界をより明確かつ容易に認識することができるようになる。

0082

第5の実施の形態において、記憶部122は、自車両形状抽出部822が抽出した形状を示す情報を記憶し、境界特定部823は、記憶部122に記憶された形状を示す情報を読み出す。これに代えて、境界特定部823は、自車両形状抽出部822が抽出した形状を直接取得してもよい。

0083

本開示に係る車載映像表示装置は、サイドミラーに代えて車両に搭載され、サイドミラーとして使用されるのに好適である。

0084

100車載映像表示装置
110車外撮像部
120 制御部
122 記憶部
123境界特定部
124 色抽出部
125輪郭画像生成部
126 画像重畳部
130 表示部
140 車内撮像部
200 非自車両領域
300 自車両領域
310ピラー部分
312 境界
320窓部分
330,332,334窓枠部分
340車体部分
342 境界
350 境界
400 自車両領域
500 非自車両領域
502 境界
510 第1の領域
512 第1の境界
520 第2の領域
522 第2の境界

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ