図面 (/)
課題
解決手段
概要
背景
従来の表示装置として、例えば、特許文献1に記載されたものが知られている。特許文献1の表示装置は、液晶パネルを備えており、バッテリフォークリフトに搭載されて、低温環境で使用されるようになっている。液晶パネルには、予め複数の画像データが格納されている。そして、バッテリフォークリフトによる荷役作業に必要とされる画像データが、作業者のスイッチ操作によって液晶パネルに切替え表示されるようになっている。
そして、液晶パネルの周囲温度が、一定温度よりも低くなると液晶画面の応答速度が著しく遅くなるため、液晶パネルを温めるヒータ抵抗が作動制御されて、低温による液晶画面の応答速度(画面切替え速度)の低下を防止するようになっている。また、液晶パネルのメイン濃度を基として、外気温度が低くなるほど、液晶濃度が濃くなるように制御されて、液晶パネルに表示される文字の濃度が適切に調整されるようになっている。
概要
カメラによる撮影画像を、動画として液晶パネルに表示するものにおいて、低温環境下での表示品質の低下を抑制可能とする表示装置を提供する。車両の周囲の撮影を行い、撮影画像を形成するカメラ110と、撮影画像を連続的な画像データ11〜13として入力し、所定の画像処理を行い、表示用の画像データ21〜23を有する出力画像を出力する画像処理部120と、出力画像を動画として表示する液晶パネル130と、を備える表示装置において、車両の走行状態に相当する信号を検出する走行状態検出部140と、液晶パネル130の温度が予め定めた所定温度より低いときに、走行状態検出部140によって得られる車両の走行状態に応じて、液晶パネル130の反応速度の低下による出力画像の残像の発生を抑制するための残像補正を実行する補正部122と、を設ける。
目的
本発明の目的は、上記問題に鑑み、車両に搭載されるカメラによって撮影される画像を、動画として液晶パネルに表示するものにおいて、低温環境下での表示品質の低下を抑制可能とする表示装置を提供する
効果
実績
- 技術文献被引用数
- 0件
- 牽制数
- 1件
この技術が所属する分野
(分野番号表示ON)※整理標準化データをもとに当社作成
請求項1
車両の周囲の撮影を行い、撮影画像を形成するカメラ(110)と、前記撮影画像を連続的な画像データ(11〜13)として入力し、所定の画像処理を行い、表示用の画像データ(21〜23)を有する出力画像を出力する画像処理部(120)と、前記出力画像を動画として表示する液晶パネル(130)と、を備える表示装置であって、前記車両の走行状態に相当する信号を検出する走行状態検出部(140)と、前記画像処理部(120)に設けられ、前記液晶パネル(130)の温度が予め定めた所定温度より低いときに、前記走行状態検出部(140)によって得られる前記車両の走行状態に応じて、前記液晶パネル(130)の反応速度の低下による前記出力画像の残像の発生を抑制するための残像補正を実行する補正部(122)と、を有することを特徴とする表示装置。
請求項2
請求項3
前記補正係数(w)は、前記撮影画像中の被写体の特徴に基づいて決定されることを特徴とする請求項2に記載の表示装置。
請求項4
前記走行状態検出部(140)は、前記車両の車速に対応する車速信号を検出する車速センサ(142)、前記車両の周囲の対象物に対応する対象物信号を検出するソナー(143)、前記車両の旋回時の操舵角に対応する操舵角信号を検出する操舵角センサ(144)、GPSシステムによって得られるGPS信号を受信する受信器(145)、および前記車両の変速機におけるシフト位置に対応するシフト信号を検出するシフト位置センサ(146)のうち、少なくとも1つを有することを特徴とする請求項1〜請求項3のいずれか1つに記載の表示装置。
請求項5
前記画像処理部(120)は、前記残像補正を実行する前に、前記液晶パネル(130)における画質を、前記残像補正が容易となる画質に修正処理する前処理部(127)を備えることを特徴とする請求項1〜請求項4のいずれか1つに記載の表示装置。
請求項6
前記補正部(122)は、前記残像補正を実行した後に、時間経過と共に前記残像補正を実行する前の状態に戻すことを特徴とする請求項1〜請求項5のいずれか1つに記載の表示装置。
請求項7
前記補正部(122)は、前記車両の走行状態に応じた補正用の補正係数(w)を設定して、前記補正係数(w)を用いて、前記連続的な画像データ(11〜13)のうち、現在のフレームの出力レベルを上げたデータと、前記現在のフレームよりも1つ前のフレームの出力レベルを下げたデータとを合成することで前記現在のフレームの前記表示用の画像データ(21〜23)を形成し、前記出力画像として出力して、前記残像補正を実行することを特徴とする請求項1〜請求項6のいずれか1つに記載の表示装置。
請求項8
前記補正係数(w)は、1以上となる数値であり、前記補正係数をwとしたときに、前記補正部(122)は、前記現在のフレームの前記連続的な画像データ(12)にwを乗じて、前記現在のフレームの出力レベルを上げ、前記1つ前のフレームの前記連続的な画像データ(11)に(1−w)を乗じて、前記1つ前のフレームの出力レベルを下げることを特徴とする請求項7に記載の表示装置。
請求項9
前記画像処理部(120)は、前記液晶パネル(130)による前記反応速度の低下に伴って、表示がどこまで追いつくかを予測した予測画像データ(31〜33)を作成する予測画像作成部(126)を有しており、前記補正部(122)は、前記連続的な画像データ(11〜13)のうち、現在のフレームの出力レベルを上げたデータと、前記現在のフレームよりも1つ前のフレームの前記予測画像データ(32)の出力レベルを下げたデータとを合成することで前記現在のフレームの前記表示用の画像データ(23)を形成し、前記出力画像として出力して、前記残像補正を実行することを特徴とする請求項1〜請求項6のいずれか1つに記載の表示装置。
請求項10
前記液晶パネル(130)による表示が追い付けない度合を示す係数を0〜1の間となるαとしたときに、前記補正部(122)は、前記現在のフレームの前記連続的な画像データ(13)に{1/(1−α)}を乗じて、前記現在のフレームの出力レベルを上げ、前記1つ前のフレームの前記予測画像データ(32)に{1−1/(1−α)}を乗じて、前記予測画像データ(32)の出力レベルを下げることを特徴とする請求項9に記載の表示装置。
請求項11
前記予測画像作成部(126)は、前記1つ前のフレームの前記表示用の画像データ(22)に(1−α)を乗じたデータと、2つ前のフレームの前記予測画像データ(31)にαを乗じたデータとを合成することで、前記1つ前のフレームの前記予測画像データ(32)を作成することを特徴とする請求項10に記載の表示装置。
技術分野
背景技術
0002
従来の表示装置として、例えば、特許文献1に記載されたものが知られている。特許文献1の表示装置は、液晶パネルを備えており、バッテリフォークリフトに搭載されて、低温環境で使用されるようになっている。液晶パネルには、予め複数の画像データが格納されている。そして、バッテリフォークリフトによる荷役作業に必要とされる画像データが、作業者のスイッチ操作によって液晶パネルに切替え表示されるようになっている。
0003
そして、液晶パネルの周囲温度が、一定温度よりも低くなると液晶画面の応答速度が著しく遅くなるため、液晶パネルを温めるヒータ抵抗が作動制御されて、低温による液晶画面の応答速度(画面切替え速度)の低下を防止するようになっている。また、液晶パネルのメイン濃度を基として、外気温度が低くなるほど、液晶濃度が濃くなるように制御されて、液晶パネルに表示される文字の濃度が適切に調整されるようになっている。
先行技術
0004
特開2010−58713号公報
発明が解決しようとする課題
0005
しかしながら、上記の特許文献1では、周囲温度に対して、液晶パネルに予め格納された画像データの画面切替え速度の遅れを防止する、あるいは文字の濃度を調整するものに過ぎない。
0006
例えば、車両の外部に設けられたカメラによって撮影された車両周囲の画像を動画として液晶パネルに表示させる表示装置(電子ミラー)では、低温環境下での液晶パネルの温度の低下によって、画像表示の際の反応速度が低下し、液晶パネルに表示される動画に残像が発生し、視認性の悪い画像となってしまう。
0007
残像の発生レベルは、温度による影響が大きく、液晶パネルの直接的あるいは間接的な温度検出を基に残像を抑制(補正)する場合、検出温度には誤差が伴う場合が多く、この誤差による補正不足や過剰補正が発生してしまう。
0008
本発明の目的は、上記問題に鑑み、車両に搭載されるカメラによって撮影される画像を、動画として液晶パネルに表示するものにおいて、低温環境下での表示品質の低下を抑制可能とする表示装置を提供することにある。
課題を解決するための手段
0009
本発明は上記目的を達成するために、以下の技術的手段を採用する。
0010
本発明では、車両の周囲の撮影を行い、撮影画像を形成するカメラ(110)と、
撮影画像を連続的な画像データ(11〜13)として入力し、所定の画像処理を行い、表示用の画像データ(21〜23)を有する出力画像を出力する画像処理部(120)と、
出力画像を動画として表示する液晶パネル(130)と、を備える表示装置であって、
画像処理部(120)は、液晶パネル(130)の温度が予め定めた所定温度より低いときに、液晶パネル(130)の反応速度の低下による出力画像の残像の発生を抑制するための残像補正を、車両の走行状態に応じて実行する補正部(122)を有することを特徴としている。
0011
液晶パネル(130)の温度が、予め定めた所定温度よりも低くなるような低温環境下では、液晶パネル(130)の反応速度が低下して、出力画像に残像が発生する。よって、通常は、温度条件に応じて、液晶パネル(130)の表示における補正を行うことになる。しかしながら、温度検出には誤差等を伴うため、検出された液晶パネル(130)の温度をもとに行う残像補正では、適切な補正が得られない場合がある。また、車両の走行状態に伴う撮影対象物によって、残像の発生の形態が大きく異なる。
0012
よって、本発明では、補正部(122)は、低温環境下において液晶パネル(130)に残像が発生する場合に、車両の走行状態に応じて残像補正を実行するので、走行状態に伴う残像の発生形態に見合った補正が可能となり、低温環境下での表示品質の低下を抑制することが可能となる。この場合、温度検出の誤差に伴う補正不足、あるいは過剰補正の影響を抑制することができる。
図面の簡単な説明
0014
第1実施形態における表示装置の全体構成を示すブロック図である。
第1実施形態における描画回路を示す説明図である。
第1実施形態における残像補正の要領を示すフローチャートである。
撮影された対向車を示す表示画像例である。
第1実施形態における残像補正した表示画像および残像補正なしの表示画像の表示イメージを説明する説明図である。
第2実施形態における描画回路を示す説明図である。
第3実施形態における表示装置の全体構成を示すブロック図である。
実施例
0015
以下に、図面を参照しながら本発明を実施するための複数の形態を説明する。各形態において先行する形態で説明した事項に対応する部分には同一の参照符号を付して重複する説明を省略する場合がある。各形態において構成の一部のみを説明している場合は、構成の他の部分については先行して説明した他の形態を適用することができる。各実施形態で具体的に組み合わせが可能であることを明示している部分同士の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても実施形態同士を部分的に組み合せることも可能である。
0016
(第1実施形態)
第1実施形態における表示装置100について図1〜図5を用いて説明する。本実施形態の表示装置100は、車両に適用されたものとなっている。表示装置100は、従来の光学ミラー(ドアミラー、バックミラー等)に代えて、カメラ110を用いて、例えば、車両の後側方、あるいは後方を撮影し、その撮影した画像を車室内に設けられた液晶ディスプレイ130に表示するものとなっている。表示装置100は、図1、図2に示すように、カメラ110、描画回路120、液晶ディスプレイ130、およびセンサ群140等を備えている。
0017
カメラ110は、例えば、車両の後側方、および後方の景色(周囲)の撮影を行うものであり、車両の左右側面、および後面に設けられている。ここでは、カメラ110は、例えば右ハンドル車において、従来のドアミラー位置に対応するように、運転席側(車両右側)のフロントドア、および助手席側(車両左側)のフロントドアに2つ設けられている。左右2つのカメラ110は、それぞれ、車両の運転席側の後側方、および助手席側の後側方を撮影するようになっている。また、カメラ110は、車両の後方バンパーの左右中央位置にもう一つ設けられている。後方のカメラ110は、車両の後方を撮影するようになっている。各カメラ110は、基本的には同一の機能を備えている。
0018
カメラ110は、広角レンズ(魚眼レンズ)を搭載しており、2つのカメラ110は、自車の一部(車両側面の一部)と車両の後側方の広い範囲にわたる景色の撮影を可能としており、また、もう一つのカメラ110は、車両の後方の景色を撮影可能としている。カメラ110は、撮影画像を形成して、この撮影画像を、信号線111を介して後述する描画回路120に出力するようになっている。
0019
描画回路120は、カメラ110から出力される撮影画像(映像信号)に対して、所定の画像処理を行うと共に、後述する液晶ディスプレイ130における残像の発生を抑制する残像補正を行う画像処理部となっており、例えば、運転席前のインストルメントパネルの内部に設けられている。
0020
描画回路120の行う所定の画像処理とは、例えば、広角レンズによって撮影された画像の歪み補正、撮影画像をあたかも通常のドアミラー(光学ミラー)に写されるような画像とするための視点変換(ここでは鏡反転)等の処理となっている。また、描画回路120の行う残像補正とは、液晶ディスプレイの温度が予め定めた所定温度よりも低い低温環境下において、液晶ディスプレイ130に表示される動画に対して発生する残像を抑制するための補正処理であり、詳細については後述する。
0021
描画回路120は、入力部121、補正部122、出力部123、および取得部124等を有しており、上記のような所定の処理、および/あるいは残像補正した画像を出力画像として、信号線125を介して、液晶ディスプレイ130に出力するようになっている。
0022
入力部121は、カメラ110によって撮影された撮影画像を、連続的な画像データ(以下、入力画像データ)として、時系列的に入力する部位である。尚、本実施形態では、入力画像データを表現するにあたって(図2)、便宜上、3つ分のフレームを用いて、入力画像データ11〜13と表示している。入力画像データ11〜13は、所定時間当たりに所定数の画像(フレーム)を有する画像データとなっている。ここでは、入力画像データ11〜13は、例えば、1秒あたり30のフレーム(コマ)を有する画像データとなっている。
0023
補正部122は、入力部121における入力画像データ11〜13に対して、後述するセンサ群140から得られる液晶ディスプレイ130の温度、および車両走行状態に基づいて、液晶ディスプレイ130における残像の発生を抑制するための残像補正を時系列的に行う部位である。補正部122は、残像補正したデータを出力部123に出力するようになっている。
0024
出力部123は、補正部122で補正されたデータを、表示用の画像データ(以下、出力画像データ)を有する出力画像として、時系列的に液晶ディスプレイ130に出力する部位である。尚、本実施形態では、出力画像データを表現するにあたって(図2)、便宜上、3つ分のフレームを用いて、出力画像データ21〜23と表示している。出力画像データ21〜23は、入力画像データ11〜13に対応する数のフレームを有する。
0026
液晶ディスプレイ130は、描画回路120から出力される出力画像を、運転者に対してデジタル画像によって動画として表示するディスプレイとなっている。液晶ディスプレイ130は、本発明の液晶パネルに対応する。液晶ディスプレイ130は、例えば、インストルメントパネルにおいて運転者の見やすい位置に設けられている。液晶ディスプレイ130は、例えば、薄膜状のトランジスタを利用したTFT(Thin Film Transistor)液晶ディスプレイが使用されている。
0027
液晶ディスプレイ130における表示領域は、使用されるカメラ110が複数ある場合には、各カメラ110に応じて分割されて、複数の出力画像を表示するようになっている。ここでは、例えば、通常走行中であれば、液晶ディスプレイ130の右側に、車両の右後側方の画像が、また、液晶ディスプレイ130の左側に車両の左後側方の画像が表示されるようになっている。また、バック走行中であれば、左右の後側方の画像が切替えられて、車両後方の画像が表示されるようになっている。
0029
各センサ141〜146は、ここでは、温度センサ141、車速センサ142、ソナー143、操舵角センサ144、GPS受信器145、およびシフト位置センサ146等である。各センサ141〜146のうち、車速センサ142、ソナー143、操舵角センサ144、GPS受信器145、およびシフト位置センサ146は、本発明の走行状態検出部を構成している。
0030
温度センサ141は、液晶ディスプレイ130における液晶の温度に対応する温度信号を直接的、あるいは間接的に検出するセンサとなっている。ここでは、温度センサ141は、例えば、液晶ディスプレイ130の液晶に近い部位に設けられて、直接的に液晶の温度信号を検出するようになっている。尚、温度センサ141としては、例えば、車両用空調装置における車室内温度に対応する内気温度信号を検出する内気センサを流用し、間接的に液晶の温度を検出するものとしてもよい。
0032
ソナー143は、例えば、車両外部の四隅に設けられて、自車両の周囲の対象物に対応する対象物信号を検出するセンサとなっている。自車両の周囲の対象物は、例えば、対向車、並走車、高速道路における防音用の外壁、道路の白線、電柱等である。
0033
操舵角センサ144は、ステアリングシャフトに設けられて、車両の旋回時における操舵の向き、および中立位置に対する操舵角(切れ角)に対応する操舵角信号を検出するセンサとなっている。車両における旋回は、主に、交差点での右左折、ラウンドアバウトにおける旋回、緩いカーブに沿った走行(旋回)の場合等に発生する。
0035
シフト位置センサ146は、変速機におけるギヤの組み合わせ位置に対応するシフト信号を検出するセンサとなっている。例えば、シフト信号には、通常走行におけるD(ドライブ)信号、バック走行におけるR(リバース)信号等がある。
0037
表示装置100が作動されると、カメラ110は、車両の左右の後側方の景色、および車両の後方の景色を撮影し、撮影画像を形成すると共に、この撮影画像を描画回路120に出力する。
0038
描画回路120は、基本的に、撮影画像に対して上記で説明した所定の画像処理を行い、出力画像として、液晶ディスプレイ130に出力する。そして、液晶ディスプレイ130は、出力画像を動画として運転者に表示する。尚、液晶ディスプレイ130は、車両の通常走行時には、車両の左右の後側方の画像を表示し、また、バック走行時には、車両の後方の画像を表示する。
0039
ここで、液晶ディスプレイ130の温度(液晶温度)が、冬場等において、予め定めた所定温度より低いときに、液晶ディスプレイ130の反応速度が低下して出力画像に残像が発生するようになる。そして、残像発生の度合は、液晶ディスプレイ130の温度が低くなるほど、高くなる。
0040
出力画像における残像とは、描画回路120において、入力部121における入力画像データ11〜13を順に出力部123に出力して、出力画像データ21〜23を形成していく際に、以下のような状況が発生して、液晶ディスプレイ130で表示される動画に、不自然な重なりが連続的に発生する画像となるものである。残像は、運転者に対する視認性を大きく低下させる。
0041
即ち、時間経過していく中で、一つ前のフレームの遅れ画像が、現在のフレームに重なる。また、現在のフレームおける画像の頭出しが遅れて、不十分な画像となる。このような状況で、現在のフレームにおける不十分な画像に、ひとつ前のフレームにおける遅れ画像が合成されて、これが残像として時間経過と共に表示画面上で連続して移動していくように表示される(視認される)のである(図5(b))。
0042
本実施形態では、このような液晶ディスプレイ130の温度が所定温度より低いときに、即ち、液晶ディスプレイ130が低温環境下に置かれる場合に、補正部122は、車両の走行状態に応じて残像補正を実行するようになっている。
0043
以下、描画回路120(補正部122)による残像補正の要領について、図3に示すフローチャートに基づいて説明していく。
0045
ステップS100で、肯定判定すると、補正部122は、ステップS110で、センサ群140における各種センサ142〜146よって得られる各種検出信号から、車両の走行状態を把握する。車両の走行状態とは、ここでは、以下のような状態が設定されている。
0046
即ち、車両の走行状態としては、高速道路での高速走行時において、対向車がある場合、並走車を追い抜いた場合、および高速道路等における防音用の外壁がある場合等が設定されている。補正部122は、車速信号および対向車線側の対象物画像から対向車の有無を把握し、また、車速信号および走行車線側の対象物画像から並走車に対する追い抜きを把握し、また、車速信号およびソナー143による連続的な対象物信号から外壁の有無を把握する。
0047
また、車両の走行状態としては、市街地での低速走行時において、交差点を右左折する場合、交差点が近づいてきた場合、信号待ち等での一時停止の場合、およびラウンドアバウトにおける旋回走行の場合等が設定されている。補正部122は、車速信号および操舵角信号から右左折、一時停止、およびラウンドアバウトにおける旋回走行を把握し、また、GPS信号から交差点の接近を把握する。
0048
また、車両の走行状態としては、駐車、バック走行時において、縦列駐車をする場合、バック駐車をする場合、および前方駐車からのバック退場する場合等が設定されている。補正部122は、シフト信号および操舵角信号から縦列駐車、バック駐車、およびバック退場を把握する。
0049
次に、補正部122は、ステップS120で、出力画像中のどの部位について残像補正するか、補正対象エリアを設定する。車両の各走行状態に応じて、出力画像(撮影画像)にはそれぞれ特徴(シーンの状況)があり、それらの特徴に基づく表示上の課題がある。補正対象エリアは、その表示課題を達成するために、出力画像の中でどの部位に対して残像補正を行うかを決定する(限定する)ために設けられたものである。
0050
即ち、高速走行時においては、基本的に表示対象物のうち、移動量の大きいものについて補正対象とし、後述する補正の度合(補正係数w)を大きくする。また、画像中の遠方となる点(消失点)については、残像発生の影響が小さく、補正対象とするものの、補正の度合は小さくする。
0051
更に、高速走行時において、対向車のある場合に、対向車は出力画像上の移動距離が長く、残像が発生しやすいことから、対向車を補正対象(補正対象エリア)とし、後述する補正の度合を大きくする。尚、この場合、残像補正が容易となるように、残像補正前の撮影画像の画質修正を行うと効果的である。画質修正については、以下の第3実施形態で説明する。
0052
また、高速走行時において、並走車を追い抜いた場、並走車の移動距離は短く、上記対向車と同様の残像補正を行うと過剰補正となってしまうことから、並走車については、補正対象とするものの、後述する補正の度合は小さくする。尚、この場合、残像補正による出力画像のノイズ抑制のために、残像補正を実行した後に元の状態に戻す時間補正を行うとよい。時間補正については、以下の第4実施形態で説明する。
0053
また、高速走行時において、外壁については、車両に近く、出力画像上での移動距離が長いことから、残像が発生しやすく(ポールは消失して見える)、外壁を補正対象とする。尚、主にグレー色で設置される外壁については、残像補正にあたり、液晶ディスプレイ130の反応速度の速い輝度に調整することで対応する。輝度修正(画質修正)については、以下の第3実施形態で説明する。
0054
また、低速走行時において、右左折する場合では、自車両の外側は動きが大きいため残像が発生しやすいことから、外側を補正対象とし、後述する補正の度合を大きくする。また自車両の内側は動きが小さいため上記外側と同様の残像補正を行うと過剰補正となってしまうことから、内側については、補正対象とするものの、後述する補正の度合は小さくする。
0055
また、低速走行時において、交差点が近づいてきた場合では、消失点方向の動きと、交わる方向の動きに注意が必要となり、特に、交差する方向の表示対象物の残像が発生しやすいことから、交差方向のエリアを補正対象とし、後述する補正の度合を大きくする。
0056
また、低速走行時において、一時停止の場合では、背景の動きがなくなることから、移動する表示対象物に残像が発生しやすい。よって、新たに撮影領域内に入り込む移動物に対して残像補正ができるように、表示画面の端部に対応する領域(エリア)を補正対象とし、残像補正を実施するようにする。また、背景については、残像補正を実施しないものとする。
0057
また、低速走行時において、ラウンドアバウトにおける旋回走行をする場合では、ほとんどが定常旋回する並走車となり、後述する残像補正を行うと過剰補正になりやすいため、並走車を補正対象とするものの、後述する補正の度合を小さくする。また、消失点は回転分、移動する形となるので、消失点については、補正対象とするものの、後述する補正の度合を小さくする。
0058
また、駐車、バック走行時において、縦列駐車の場合では、自車両の片側が遠方となり、もう一方の片側が近傍となり、左右への画像移動も発生することから、消失点付近での画像の動きを抑える必要がある。また、バック駐車の場合、バック退場の場合では、通常走行時とは移動方向が逆となり、低速であり、操舵を大きく切ることから、左右への出力画像の移動があり、交差する対象物の残像が発生しやすい。よって、縦列駐車、バック駐車時においては、出力画像の全体を補正の対象として、温度に基づく補正を行う。また、バック退場時においては、出力画像の全体を補正の対象として、後述する補正の度合を大きくする。
0059
次に、補正部122は、ステップS130で、各種走行状態に基づいて、残像補正のための補正係数wを設定する。つまり、補正部122は、各種走行状態に基づく補正対象エリアごとに補正係数wを設定(変更)して、残像の補正を行う。補正係数wは、残像補正における補正の度合を決める係数(重み係数)である。補正係数wは、1以上となる数値が使用される。
0060
補正部122は、上記で説明したように、各種走行状態に応じて、補正係数wの大小を設定する。補正部122は、上記で説明したように、撮影画像中の被写体の特徴(移動量の大小、対向車、並走車、画像の輝度、色等)に基づいて補正係数wを設定する。補正係数wは、大きく設定するほど、残像の補正が強く実施され、小さく設定するほど、残像の補正度合が小さくなって、残像が消えにくい。尚、補正係数wを大きく設定しすぎると、明暗の反転した残像が出る形となる。
0061
次に、補正部122は、ステップS140で、上記で設定された補正係数wを用いて、残像補正を行う。そして、補正部122は、出力部123から補正した出力画像データ21〜23を液晶ディスプレイ130に出力する。
0062
具体的な残像補正の要領は、図2に示すようになっている。即ち、まず、入力画像データ11に対しては、そのままの状態で、出力画像データ21とする。次に、入力画像データ12を現在のフレームと想定し、また入力画像データ11を一つ前のフレームと想定する。そして、入力画像データ12に補正係数wを乗じ、現在のフレームの画像データをくっきり出すために強調した画像データを作る。また、一つ前のフレームの画像データによる残像を消すために、一つ前のフレームの入力画像データ11に(1−w)を乗じ、濃淡が反転した画像データを作る。そして、両画像データを合成して、出力画像データ22とする。
0063
以下同様に、入力画像データ13と12とを用いて、出力画像データ23を作るというように、現在のフレームの画像データと、一つ前のフレームの画像データとを用いて、順に、現在の画像データに対する残像補正を繰り返す。尚、合成によって作られた出力画像データの階調が、所定値(例えば、8bitにおける255)を超える場合は、最大値(255)を階調値とする。
0064
一方、上記ステップS100で否定判定をした場合は、補正部122は、ステップS150に移行して、残像補正を行わずに、画像を出力する。残像補正を行わない場合は、上記ステップS140における補正係数wを「1」に設定することで対応する。つまり、補正係数wを「1」とすることで、1つ前のフレームの入力画像11の(1−w)の重み付けをしたデータは0となり、現在のフレームの入力画像12のwによる重み付けをしたデータは、入力画像データ12のまま、出力画像データ22として出力されるのである。
0065
上記残像補正にかかる出力画像を図4、図5に示す。図4は、低温環境下における自車両の右ドアに設けられたカメラ110による画像であり、対向車が自車の右後方へ通り過ぎていく状況を表示したものである。図5(b)に示すように、残像補正をしない場合であると、主に、車両のAピラー、Cピラー、ドアノブ、前後それぞれのタイヤ、およびリアランプ等に多くの残像が発生した。しかしながら、上記の残像補正を行うことで、図5(a)に示すように、残像の発生が大きく抑制されていることを確認した。
0066
以上のように、本実施形態では、描画回路120の補正部122は、液晶ディスプレイ130の温度が予め定めた所定温度より低いときに、センサ群140によって得られる車両の走行状態に応じて、液晶ディスプレイ130の反応速度の低下による出力画像の残像の発生を抑制するための残像補正を実行するようにしている。
0067
液晶ディスプレイ130の温度が、予め定めた所定温度よりも低くなるような低温環境下では、液晶ディスプレイ130の反応速度が低下して、出力画像に残像が発生する。よって、通常は、温度条件に応じて、液晶ディスプレイ130の表示における補正を行うことになる。しかしながら、温度検出には誤差等を伴うため、検出された液晶ディスプレイ130の温度をもとに行う残像補正では、適切な補正が得られない場合がある。また、車両の走行状態に伴う撮影対象物によって、残像の発生の形態が大きく異なる。
0068
よって、本実施形態のように、低温環境下において液晶ディスプレイ130に残像が発生する場合に、車両の走行状態に応じて残像補正を実行することで、走行状態に伴う残像の発生形態に見合った補正が可能となり、低温環境下での表示品質の低下を抑制することが可能となる。この場合、温度検出の誤差に伴う補正不足、あるいは過剰補正の影響を抑制することができる。
0069
また、補正部122は、撮影画像中において、残像補正を対象とするエリアを設定して、このエリアごとに異なる補正係数wを用いて残像補正を実行するようにしている。上記で説明したように、車両の周囲の撮影画像には、動きを伴うもの、動きの伴わないもの、また、画像内に大きく撮影されるもの、小さく撮影されるもの等、様々なものがある。残像の発生は、撮影対象物として動くもの、また、大きいもの等に発生しやすく、静止しているもの、小さいものには発生の影響がほとんどない。よって、残像の発生しやすい撮影対象物を予め決めておき、その撮影対象物に対して残像補正を実行(エリアの設定と補正係数wの設定)することで、不要な補正を抑制しつつ、効果的な残像補正を得ることが可能となる。
0070
また、補正係数wは、撮影画像中の被写体の特徴、例えば、移動量の大小、対向車、並走車、画像の輝度、色等に基づいて決定されるようにしている。これにより、被写体に応じた適切な残像補正が可能となる。
0071
また、センサ群140(走行状態検出部)として、車速センサ142、ソナー143、操舵角センサ144、GPS受信器145、およびシフト位置センサ146等を用いている。これにより、車両の種々の走行状態を適切に検出することが可能となり、残像補正に反映することが可能となる。
0072
また、残像補正にあたって、車両の走行状態に応じて、補正用の補正係数wを設定して、この補正係数wを用いて、入力画像データ11〜13のうち、現在のフレームの出力レベルを上げたデータと、1つ前のフレームの出力レベルを下げたデータとを合成することで現在のフレームの出力画像データを形成し、出力画像として出力するようにしている。これにより、補正係数wを用いて、残像の発生を抑制するような適切な出力画像データ21〜23を形成して出力することが可能となる。
0073
また、補正係数wを、1以上となる数値として、補正部122は、現在のフレームの入力画像データに補正係数wを乗じて、現在のフレームの出力レベルを上げるようにし、また、1つ前のフレームの入力画像データに(1−w)を乗じて、1つ前のフレームの出力レベルを下げるようにしている。これにより、補正係数wを用いた具体的な補正を実行することが可能となる。
0074
(第2実施形態)
第2実施形態の表示装置100Aを図6に示す。第2実施形態の表示装置100Aは、上記第1実施形態の表示装置100に対して、描画回路120に予測画像作成部126を追加したものである。
0075
予測画像作成部126は、低温環境下における液晶ディスプレイ130による反応速度の低下に伴って、出力画像の表示がどこまで追いつくかを予測した予測画像データ31〜33を作成する部位である。予測画像データ31〜33は、出力画像データ21〜23に対応する数のフレームを有する。
0076
具体的には、予測画像作成部126は、まず、液晶ディスプレイ130による表示が追い付けない度合を示す係数αを設定する。係数αは、0〜1の間の数値である。係数αが0であれば、液晶ディスプレイ130による表示が追い付けない度合は0となる。つまり、表示は完全に追い付くものとなる。このとき、1/(1−α)は、上記第1実施形態における補正係数wに対応する。
0077
係数αは、大きく設定するほど、残像の補正が強く実施され、小さく設定するほど、残像の補正度合が小さくなって、残像が消えにくい。尚、係数αを大きく設定しすぎると、明暗の反転した残像が出る形となる。
0078
予測画像作成部126は、1つ前のフレームの出力画像データ22に(1−α)を乗じたデータと、2つ前のフレームにおける予測画像データ31にαを乗じたデータとを合成することで、1つ前のフレームの予測画像データ32を作成する。
0079
そして、補正部122は、残像補正にあたって、入力画像データ11〜13のうち、現在のフレームの出力レベルを上げたデータと、現在のフレームよりも1つ前のフレームにおける予測画像データの出力レベルを下げたデータとを合成することで現在のフレームの出力画像データ23を形成して出力画像として出力する。
0080
具体的には、補正部122は、現在のフレームの入力画像データ13に{1/(1−α)}を乗じて、入力画像データ13の出力レベルを上げ、1つ前のフレームの予測画像データ32に{1−1/(1−α)}を乗じて、予測画像データ32の出力レベルを下げて、両者を合成することで出力画像データ23を形成する。
0081
以下同様に、一つ前のフレームの出力画像データと、2つ前のフレームの予測画像データから1つ前のフレームの予測画像データを形成し、また、現在のフレームの入力画像データと、一つ前のフレームの予測画像データから現在のフレームの出力画像データを形成し、残像補正を継続していく。
0082
本実施形態では、予測画像作成部126を設け、予測画像データ31〜33を用いることで、より精度の高い残像補正が可能となる。予測画像データ31〜33の形成、および残像補正の実行にあたっては、係数αを用いることで、具体的な対応を可能としている。
0083
(第3実施形態)
第3実施形態の表示装置100Bを図7に示す。第3実施形態の表示装置100Bは、上記第1実施形態の表示装置100に対して、描画回路120に前処理部127を追加したものである。
0084
前処理部127は、残像補正を実行する前に、液晶ディスプレイ130における画質を、残像補正が容易となる画質に修正処理する部位であり、カメラ110の出力側と、入力部121との間に設けられている。
0085
カメラ110によって撮影された撮影画像を液晶ディスプレイ130で表示する際に、その画質(色や輝度等)によっては、とりわけ反応速度が遅くなる場合がある。例えば、第1実施形態で説明したように、対向車や外壁の画像の色や輝度が反応速度の遅いものであると、残像補正も充分に実行できない可能性がでる。よって、前処理部127は、撮影対象を判定して、その撮影画像の色や輝度が反応速度の遅いものであると、意図的に反応速度の速い色や輝度に修正処理する。
0086
これにより、液晶ディスプレイ130における画質(色、輝度等)によっては、残像補正が難しい場合であっても、前処理部127によって、残像補正が容易に対応可能となる画質にすることで、効果的な残像補正が可能となる。
0087
(第4実施形態)
上記各実施形態における補正部122は、残像補正を実行した後に、時間経過と共に残像補正を実行する前の状態に戻す時間補正を実施するようにしてもよい。残像補正を実行した後は、残像補正を行った分、出力画像上にノイズが発生する場合がある。よって、残像補正を実行した後に、時間経過と共に残像補正を実行する前の状態に戻すことで、上記ノイズの発生を抑制することができる。
0089
また、上記各実施形態では、補正対象エリアを設けるものとして説明したが、これに限定されることなく、補正対象エリアを設けずに、常に出力画像の全体に対して残像補正を行うものとしてもよい。
0090
また、上記各実施形態では、車両の走行状態に相当する信号を検出するセンサ群140として、温度センサ141、車速センサ142、ソナー143、操舵角センサ144、GPS受信器145、およびシフト位置センサ146を用いるものとした。しかしながら、センサ群140としてはこれに限定されるものではなく、上記各センサ142〜143のうち、少なくとも1つを用いたものとしてもよい。
0091
また、センサ群140の各センサ141〜146は、同等の検出信号が得られるものであれば、他のセンサとしてもよい。
0092
また、上記各実施形態における残像補正においては、液晶ディスプレイ130の温度も考慮して、補正係数w、係数αを設定することができる。つまり、残像の発生度合は、液晶ディスプレイ130の温度が低いほど、高くなるので、温度が低いほど、補正係数w、係数αを大きく設定するようにしていけばよい。
0093
また、上記各実施形態では、カメラ110が車両の両側面、および後面に設けられるものとしたが、これに限らず、車両の前部、上部(天井部)等の他の部位に設けられるものとしてもよい。要は、車両における周囲の表示のための画像が得られる位置、方向等を任意に設定して、対応するものとすることができる。
0094
100、100A、100B表示装置
110カメラ
120描画回路(画像処理部)
122補正部
126予測画像作成部
127 前処理部
130液晶ディスプレイ(液晶パネル)
140センサ群(走行状態検出部)
技術視点だけで見ていませんか?
この技術の活用可能性がある分野
分野別動向を把握したい方- 事業化視点で見る -
(分野番号表示ON)※整理標準化データをもとに当社作成