図面 (/)

この項目の情報は公開日時点(2019年9月5日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

ヘッドアップディスプレイにおける表示画像エラーを適切に検出することが可能な回路装置電子機器及びエラー検出方法等を提供すること。

解決手段

回路装置100は、画像処理回路135と比較回路145とを含む。画像処理回路135は、入力された第1の画像IMA1を、被投影体投影するための第2の画像IMA2にマッピング処理する第1のマッピング処理と、第1のマッピング処理の逆マッピング処理により第2の画像IMA2を第3の画像IMA3に変換する第2のマッピング処理とを行う。比較回路145は、第1の画像IMA1と第3の画像IMA3との間の比較を行い、その比較の結果を、第2の画像IMA2のエラー検出を行うための情報として出力する。

概要

背景

次元画像被投影体投影し、その投影された画像がユーザー提示されるヘッドアップディスプレイ(HUD:Head Up Display)が知られている。被投影体は例えば自動車フロントガラス等であり、非平面形状であることが多い。このため、画像を非平面に投影したときに、歪んでいない画像がユーザーに提示されるように、ヘッドマウントディスプレイコントローラー(HUDC:Head Up Display Controller)が画像のマッピング処理を行う。

マッピング処理の従来技術は例えば特許文献1に開示されている。特許文献1には、出所配列と行先配列との間の画素マッピング手法が記載されており、特に行先配列から出所配列への逆マッピングの手法が詳細に記載されている。出所配列は、マッピング処理前の画素の配列であり、行先配列は、出所配列をマッピング処理により座標変換するときの行先となる画素の配列である。

概要

ヘッドアップディスプレイにおける表示画像エラーを適切に検出することが可能な回路装置電子機器及びエラー検出方法等を提供すること。回路装置100は、画像処理回路135と比較回路145とを含む。画像処理回路135は、入力された第1の画像IMA1を、被投影体に投影するための第2の画像IMA2にマッピング処理する第1のマッピング処理と、第1のマッピング処理の逆マッピング処理により第2の画像IMA2を第3の画像IMA3に変換する第2のマッピング処理とを行う。比較回路145は、第1の画像IMA1と第3の画像IMA3との間の比較を行い、その比較の結果を、第2の画像IMA2のエラー検出を行うための情報として出力する。

目的

非表示にするとは、表示パネルに画像を表示させない状態に設定することであり、例えば表示パネルの全表示領域を黒又は白にすることである

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

入力された第1の画像を、被投影体投影するための第2の画像にマッピング処理する第1のマッピング処理と、前記第1のマッピング処理の逆マッピング処理により前記第2の画像を第3の画像に変換する第2のマッピング処理とを行う画像処理回路と、前記第1の画像と前記第3の画像との間の比較を行い、前記比較の結果を、前記第2の画像のエラー検出を行うための情報として出力する比較回路と、を含むことを特徴とする回路装置

請求項2

請求項1において、前記比較回路は、前記第1の画像の画素値と前記第3の画像の画素値とに基づいて、又は前記第1の画像のエッジ画像の画素値と前記第3の画像のエッジ画像の画素値とに基づいて、前記第1の画像と前記第3の画像との間の一致度合いを示す指標を、前記比較の結果として求めることを特徴とする回路装置。

請求項3

請求項1又は2において、前記画像処理回路は、前記被投影体に対応するマップデータから生成された第1のマップデータを用いて前記第1のマッピング処理を行い、前記マップデータである第2のマップデータを用いて前記第2のマッピング処理を行うことを特徴とする回路装置。

請求項4

被投影体に対応するマップデータに基づいて、入力された第1の画像を、前記被投影体に投影するための第2の画像にマッピング処理する第1のマッピング処理と、前記マップデータに基づいて、前記第1のマッピング処理とは異なる第2のマッピング処理により前記第1の画像を第3の画像に変換する第2のマッピング処理とを行う画像処理回路と、前記第2の画像と前記第3の画像との間の比較を行い、前記比較の結果を、前記第2の画像のエラー検出を行うための情報として出力する比較回路と、を含むことを特徴とする回路装置。

請求項5

請求項4において、前記比較回路は、前記第2の画像の画素値と前記第3の画像の画素値とに基づいて、又は前記第2の画像のエッジ画像の画素値と前記第3の画像のエッジ画像の画素値とに基づいて、前記第2の画像と前記第3の画像との間の一致度合いを示す指標を、前記比較の結果として求めることを特徴とする回路装置。

請求項6

請求項4又は5において、前記画像処理回路は、前記マップデータから生成された第1のマップデータを用いて前記第1のマッピング処理を行い、前記マップデータである第2のマップデータを用いて前記第2のマッピング処理を行うことを特徴とする回路装置。

請求項7

請求項4乃至6のいずれかにおいて、前記画像処理回路は、前記第1の画像よりも低解像度の前記第3の画像を生成し、前記比較回路は、前記第2の画像に対して、前記第3の画像の解像度に合わせる低解像度化を行い、前記第3の画像と前記低解像度化後の前記第2の画像とを比較することを特徴とする回路装置。

請求項8

請求項1乃至7のいずれかにおいて、前記比較の結果に基づいて前記第2の画像のエラー検出を行うエラー検出回路を含むことを特徴とする回路装置。

請求項9

請求項8において、前記エラー検出回路によりエラーと判定されたときの回路装置の動作モードが設定される動作モード設定レジスターを含むことを特徴とする回路装置。

請求項10

請求項9において、前記動作モード設定レジスターには、前記エラー検出の結果を前記回路装置の外部装置通知するモード、前記第2の画像を非表示にするモード、又は特定の画像を表示させるモードが、前記動作モードとして設定されることを特徴とする回路装置。

請求項11

請求項8乃至10のいずれかにおいて、前記エラー検出回路は、前記比較の結果と、前記第2の画像のエラーを判定するための閾値との比較により、前記エラー検出を行うことを特徴とする回路装置。

請求項12

請求項11において、前記閾値が設定される閾値レジスターを含むことを特徴とする回路装置。

請求項13

請求項1乃至12のいずれかに記載の回路装置を含むことを特徴とする電子機器

技術分野

0001

本発明は、回路装置及び電子機器等に関する。

背景技術

0002

次元画像被投影体投影し、その投影された画像がユーザー提示されるヘッドアップディスプレイ(HUD:Head Up Display)が知られている。被投影体は例えば自動車フロントガラス等であり、非平面形状であることが多い。このため、画像を非平面に投影したときに、歪んでいない画像がユーザーに提示されるように、ヘッドマウントディスプレイコントローラー(HUDC:Head Up Display Controller)が画像のマッピング処理を行う。

0003

マッピング処理の従来技術は例えば特許文献1に開示されている。特許文献1には、出所配列と行先配列との間の画素マッピング手法が記載されており、特に行先配列から出所配列への逆マッピングの手法が詳細に記載されている。出所配列は、マッピング処理前の画素の配列であり、行先配列は、出所配列をマッピング処理により座標変換するときの行先となる画素の配列である。

先行技術

0004

特開平10−49665号公報

発明が解決しようとする課題

0005

上記のようにヘッドアップディスプレイコントローラーがマッピング処理を行った場合、ヘッドアップディスプレイに表示された画像が適切な表示内容かどうかという問題がある。即ち、マッピング処理に用いられるマップデータや、そのマップデータを用いた座標変換が正常であるか否かを確認したいという課題がある。マッピング処理の従来技術では、マッピングの手法そのものは開示されているが、マッピング処理が正常であるかを確認する手法は開示されていない。

課題を解決するための手段

0006

本発明の一態様は、入力された第1の画像を、被投影体に投影するための第2の画像にマッピング処理する第1のマッピング処理と、前記第1のマッピング処理の逆マッピング処理により前記第2の画像を第3の画像に変換する第2のマッピング処理とを行う画像処理回路と、前記第1の画像と前記第3の画像との間の比較を行い、前記比較の結果を、前記第2の画像のエラー検出を行うための情報として出力する比較回路と、を含む回路装置に関係する。

0007

また本発明の一態様では、前記比較回路は、前記第1の画像の画素値と前記第3の画像の画素値とに基づいて、又は前記第1の画像のエッジ画像の画素値と前記第3の画像のエッジ画像の画素値とに基づいて、前記第1の画像と前記第3の画像との間の一致度合いを示す指標を、前記比較の結果として求めてもよい。

0008

また本発明の一態様では、前記画像処理回路は、前記被投影体に対応するマップデータから生成された第1のマップデータを用いて前記第1のマッピング処理を行い、前記マップデータである第2のマップデータを用いて前記第2のマッピング処理を行ってもよい。

0009

また本発明の他の態様は、被投影体に対応するマップデータに基づいて、入力された第1の画像を、前記被投影体に投影するための第2の画像にマッピング処理する第1のマッピング処理と、前記マップデータに基づいて、前記第1のマッピング処理とは異なる第2のマッピング処理により前記第1の画像を第3の画像に変換する第2のマッピング処理とを行う画像処理回路と、前記第2の画像と前記第3の画像との間の比較を行い、前記比較の結果を、前記第2の画像のエラー検出を行うための情報として出力する比較回路と、を含む回路装置に関係する。

0010

また本発明の他の態様では、前記比較回路は、前記第2の画像の画素値と前記第3の画像の画素値とに基づいて、又は前記第2の画像のエッジ画像の画素値と前記第3の画像のエッジ画像の画素値とに基づいて、前記第2の画像と前記第3の画像との間の一致度合いを示す指標を、前記比較の結果として求めてもよい。

0011

また本発明の他の態様では、前記画像処理回路は、前記マップデータから生成された第1のマップデータを用いて前記第1のマッピング処理を行い、前記マップデータである第2のマップデータを用いて前記第2のマッピング処理を行ってもよい。

0012

また本発明の他の態様では、前記画像処理回路は、前記第1の画像よりも低解像度の前記第3の画像を生成し、前記比較回路は、前記第2の画像に対して、前記第3の画像の解像度に合わせる低解像度化を行い、前記第3の画像と前記低解像度化後の前記第2の画像とを比較してもよい。

0013

また本発明の他の態様では、前記比較の結果に基づいて前記第2の画像のエラー検出を行うエラー検出回路を含んでもよい。

0014

また本発明の他の態様では、前記エラー検出回路によりエラーと判定されたときの回路装置の動作モードが設定される動作モード設定レジスターを含んでもよい。

0015

また本発明の他の態様では、前記動作モード設定レジスターには、前記エラー検出の結果を前記回路装置の外部装置通知するモード、前記第2の画像を非表示にするモード、又は特定の画像を表示させるモードが、前記動作モードとして設定されてもよい。

0016

また本発明の他の態様では、前記エラー検出回路は、前記比較の結果と、前記第2の画像のエラーを判定するための閾値との比較により、前記エラー検出を行ってもよい。

0017

また本発明の他の態様では、前記閾値が設定される閾値レジスターを含んでもよい。

0018

また本発明の更に他の態様は、上記のいずれかに記載の回路装置を含む電子機器に関係する。

図面の簡単な説明

0019

本実施形態の回路装置の第1の構成例。
第1の構成例の回路装置の変形例。
第1の構成例の回路装置の動作を模式的に示した図。
本実施形態の回路装置の第2の構成例。
比較回路の詳細な構成例。
本実施形態の回路装置の第3の構成例。
第3の構成例の回路装置の動作を模式的に示した図。
本実施形態の回路装置の第4の構成例。
解析画像の第1の例。
基準画像の例。
基準画像の平均化画像
解析画像の第2の例。
解析画像の第3の例。
解析画像の第4の例。
関心領域における解析画像の例。
解析画像から計算されたエッジ値の例。
関心領域におけるYCbCrの各チャンネルヒストグラム
ヒストグラムに相互相関演算を行って得られた相互相関値
解析画像と基準画像のヒストグラムの例。
解析画像と基準画像のヒストグラムの相互相関値の例。
電子機器の構成例。

実施例

0020

以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。

0021

1.第1、第2の構成例
図1は、本実施形態の回路装置の第1の構成例である。回路装置100は、インターフェース110(第1のインターフェース)、前処理回路125、画像処理回路135、インターフェース140(第2のインターフェース)、比較回路145、レジスター回路170、インターフェース190(第3のインターフェース)を含む。回路装置100は、例えば集積回路装置(IC)である。

0022

インターフェース110は、例えば処理装置200等から回路装置100に送信される画像データを受信し、その受信した画像データを、回路装置100の内部で用いられる形式に変換する。例えば、インターフェース110はOpenLDI(OpenLVDS Display Interface)であり、LVDS(Low Voltage Differential Signaling)で受信したシリアル信号を、RGBのパラレル信号に変換する。処理装置200は、例えばSoC(System on a Chip)やMCU(Micro Control Unit)、CPU(Central Processing Unit)等である。

0023

前処理回路125は、インターフェース110から入力される画像データに対して前処理を行い、前処理後の画像IMA1を出力する。例えば、前処理回路125は、ガンマ補正FRC(Frame Rate Control)、ホワイトバランス処理等を前処理として行う。前処理回路125は、画像処理回路135に入力される画像を取得する回路であり、画像取得回路とも呼ぶ。

0024

画像処理回路135は、被投影体の表面形状に合わせて画像をマッピングするマッピング処理部WEA1と、その逆マッピングを行うマッピング処理部WEA2と、を含む。具体的には、マッピング処理部WEA1は、前処理回路125が出力した画像IMA1に対して、マップデータMPA1を用いたマッピング処理を行い、マッピング処理後の画像IMA2を出力する。このマッピング処理は、被投影体に投影された画像がユーザーから見て歪んでいない状態となるように、画像IMA1を変形する処理である。マッピング処理部WEA2は、マッピング処理部WEA1が出力した画像IMA2に対して、マップデータMPA2を用いたマッピング処理を行い、マッピング処理後の画像IMA3を出力する。このマッピング処理は、マッピング処理部WEA1が行うマッピング処理の逆変換に相当する。即ち、被投影体に合わせて変形された画像IMA2を、変形前の画像に戻す変換である。

0025

マッピング処理にエラーが無い場合、画像IMA3とIMA1の一致度合いが高いので、後述する比較回路145により画像IAM3とIMA1とを比較することで、表示画像である画像IMA2が正常な画像であるかを検出できる。なお、画像IMA3とIMA1は必ずしも画像データとして完全に一致する必要はなく、比較回路145によって比較可能な程度に画像が相似していればよい。即ち、マッピング処理部WEA2が行うマッピング処理は、マッピング処理部WEA1が行うマッピング処理に対して逆変換であるが、画像IMA3とIMA1が完全に一致するような逆変換である必要はない。

0026

被投影体とは、画像IAM2が投影又は表示される物体のことである。即ち、画像IMA2は、インターフェース140から投影装置に出力され、投影装置が画像IMA2を被投影体に投影する。この被投影体に投影された画像がユーザーに提示される。投影装置は、例えば液晶表示パネルと、その液晶表示パネルを駆動する表示ドライバーと、光源と、レンズとを含む。表示ドライバーは受信した画像データに基づいて液晶表示パネルに画像を表示させ、光源が液晶表示パネルに光を出力し、液晶表示パネルを通過した光がレンズにより被投影体に投影される。被投影体は、投影された光を反射する反射面を有しており、例えば反射面は被投影体の表面である。反射面は、入射光の少なくとも一部を反射する面であり、反射は、乱反射正反射のいずれであってもよい。被投影体は、ヘッドアップディスプレイが画像を投影する対象物であり、例えば車載のヘッドアップディスプレイの場合には被投影体は自動車のフロントガラス等である。なお、被投影体は、この例に限定されず、投影装置によって画像が投影又は表示される対象物であればよい。

0027

マッピング処理とは、マップデータに基づいて画像の画素位置を座標変換する処理である。マッピング処理は、座標変換に伴う処理として、画素値の補間処理等を含むことができる。マッピング処理としてはフォワードマッピングとリバースマッピングがある。フォワードマッピングでは、処理前の画像の画素位置を、処理後の画像の画素位置に座標変換し、その座標変換の結果を用いて処理後の画像を生成する。即ち、処理前の画像の画素を順次に選択していき、その選択された画素の画素位置(xa,ya)を座標変換し、その画素の画素値を、座標変換後の画素位置(ua,va)における画素値とする。一方、リバースマッピングでは、処理後の画像の画素位置を、処理前の画像の画素位置に座標変換し、その座標変換の結果を用いて処理後の画像を生成する。即ち、処理後の画像の画素位置を順次に選択していき、その選択された画素位置(ub,vb)を処理前の画像の画素位置に座標変換し、その画素位置(xb,yb)の画素の画素値を、処理後の画像の画素位置(ub,vb)における画素値とする。

0028

マップデータとは、被投影体の反射面の形状に対応した座標変換を示すデータであり、マッピング処理前の画像の画素位置とマッピング処理後の画像の画素位置との間を対応付けるデーブルデータである。フォワードマッピングに用いられるマップをフォワードマップと呼び、そのマップデータは、マッピング処理前の画像の画素位置(xa,ya)に対して、マッピング処理後の画像の画素位置(ua,va)が対応付けられたデーブルデータである。リバースマッピングに用いられるマップをリバースマップと呼び、そのマップデータは、マッピング処理後の画像の画素位置(ub,vb)に対して、マッピング処理前の画像の画素位置(xb,yb)が対応付けられたデーブルデータである。マッピング処理部WEA1、WEA2が用いるマップデータMPA1、MPA2は、例えば処理装置200からインターフェース190を介してマッピング処理部WEA1、WEA2に入力される。

0029

インターフェース140は、画像IMA2を回路装置100の外部に出力する。回路装置100の外部とは、例えば表示パネルを駆動する表示ドライバーである。例えば、インターフェース140はLVDSのインターフェースであり、画像処理回路135からのRGBのパラレル信号をLVDSのシリアル信号に変換する。

0030

比較回路145は、画像IMA1と画像IMA3との間の比較処理を行い、その比較結果を出力する。この比較結果は、画像IMA2のエラーを検出するために用いられる。即ち、マップデータMPA1及び、マッピング処理部WEA1が行うマッピング処理が正常であったか否かを検証するために用いられる。具体的には、比較回路145は、画像IMA1と画像IMA3との間の一致度合いを示す指標を求める。この指標は、後述する形状指標又に相当するものであり、画像IMA1とIMA3に表示されているものの形状又はそのエッジの一致度合いに応じて値が変化する指標である。或いは、指標として後述する視認性指標を求めてもよい。視認性指標は、アイコン等が表示される関心領域の画像と、それ以外の背景領域の画像との間の非類似度合いに応じて値が変化する指標である。関心領域の画像は前景画像とも呼ぶ。具体的には、画像IMA1、IMA3の画素値のヒストグラムを比較することで、前景画像と背景画像コントラストを示す指標を求める。

0031

レジスター回路170は、インターフェース190を介して処理装置200からアクセス可能に構成されている。レジスター回路170は、比較回路145が出力する比較結果の情報を記憶する比較結果レジスター175を含み、処理装置200は、インターフェース190を介して比較結果レジスター175から比較結果の情報を読み出す。処理装置200は、その比較結果の情報に基づいてエラー検出を行うエラー検出回路を含む。以上の画像比較とエラー検出により、被投影体に投影される画像IMA2のエラー検出を実現している。即ち、マッピング処理部WEA1によるマッピング処理が正常に行われたか否かを検出している。

0032

なお、上述の構成は、比較回路145が出力した比較結果の情報をレジスター回路170に記憶し、処理装置200がインターフェース190を介してレジスター回路170から比較結果の情報を読み出し、処理装置200内のエラー検出回路でエラー検出を行うものであるが、これに限られない。即ち、例えば図4等のように回路装置100内にエラー検出回路を含む場合には、比較回路145が出力した比較結果の情報に基づき回路装置100内のエラー検出回路がエラー検出を行ってもよい。この場合、回路装置100内のエラー検出回路がエラーを検出した後、回路装置100が処理装置200に対して割込みをかけてエラーを報知してもよい。

0033

インターフェース190は、回路装置100と処理装置200との間で設定情報制御情報等を通信する。例えば、インターフェース190は、SPI(Serial Peripheral Interface)方式やI2C方式等のシリアル通信インターフェースである。処理装置200からの設定情報や制御情報は、例えばレジスター回路170に書き込まれ、回路装置100は、その設定情報や制御情報に応じた動作を行う。

0034

なお、回路装置100に含まれるロジック回路は、例えば個々の回路として構成されてもよいし、或いは自動配置配線等により一体化された回路として構成されてもよい。ロジック回路は、例えば前処理回路125、画像処理回路135、比較回路145である。また、これらのロジック回路の一部又は全部が、DSP(Digital Signal Processor)等のプロセッサーにより実現されてもよい。この場合、各回路の機能が記述されたプログラム命令セットメモリーに記憶され、そのプログラムや命令セットをプロセッサーが実行することで、各回路の機能が実現される。

0035

上述の前処理回路125は、画像処理回路135に入力される画像を取得する回路としたがこれに限られない。図2は、第1の構成例の回路装置の変形例である。例えば、インターフェース110から入力される画像データをIMA1’とし、マッピング処理部WEA1がIMA1’に対してマップデータMPA1を用いたマッピング処理を行う。その後、マッピング処理部WEA1によるマッピング処理後の画像データに対して後処理回路126がガンマ補正やFRC、ホワイトバランス処理等を後処理として行う構成でもよい。後処理回路126が図1の前処理回路125に対応する。マッピング処理部WEA2は、後処理回路126が出力する画像データIMA2’に対してマップデータMPA2を用いたマッピング処理を行う。この場合、マッピング処理が正常であるか否かを確認できることに加えて、ガンマ補正やFRC、ホワイトバランス処理等の後処理で画像が大きく変更されていないことも確認することができる。

0036

次に、図1の回路装置100の動作を説明する。図3は、図1の回路装置100の動作を模式的に示した図である。

0037

図3に示すように、基準のマップデータをマップ変換処理してマップAを生成し、基準のマップデータをマップBとして用いる。具体的には、図1に示す不揮発性メモリー210が基準のマップデータを記憶しており、処理装置200が不揮発性メモリー210から基準のマップデータを読み出してマップ変換処理して、マップAに対応するマップデータMPA1を生成する。マップデータMPA1はインターフェース190を介してマッピング処理部WEA1に入力される。マップ変換処理は、例えばフォワードマップとリバースマップの間の変換や、マップの回転、マップの平行移動等である。また処理装置200が基準のマップデータを、マップBに対応するマップデータMPA2として出力する。マップデータMPA2はインターフェース190を介してマッピング処理部WEA2に入力される。

0038

ワープエンジンAは、マッピング処理部WEA1に対応しており、マップAを用いて画像IMA1をマッピング処理して画像IMA2を生成する。マッピング処理は、ワープ処理とも呼ぶ。また、ワープエンジンBは、マッピング処理部WEA2に対応しており、マップBを用いて画像IMA2を逆マッピング処理して画像IMA3を生成する。この逆マッピング処理は、マップ変換処理におけるマップの回転や平行移動の逆変換に対応した画像の回転変換や平行移動を含んでもよい。

0039

ワープエンジンAは、表示用の画像IMA2を生成するので、ワープエンジンBに比べて高品質なマッピング処理を行う。例えば、表示の解像度に合わせた高解像なマッピング処理を行う。また表示の品質を確保するために画素値の補間処理を行う。一方、ワープエンジンBは、エラー検出用の画像IMA3を生成するので、ワープエンジンAに比べて簡素化したマッピング処理を行う。例えば、座標変換の対象画素間引くことにより、画像IMA1よりも低解像度な画像IMA3を生成する。また画素値の補間処理を省略してもよい。

0040

比較回路145が行う比較処理において、後述するように画像IMA1の間引き処理を行い、画像IMA1とIMA3の画素の位置合わせを行い、その位置合わせ後の画像から指標を求める。

0041

以上の動作では、基準のマップデータをマップ変換処理してマップAを生成している。このため、マップ変換処理におけるエラーによってマップAに異常が生じた場合、マップAを用いたワープエンジンAにより生成された画像IMA2に異常が生じる可能性がある。また、マップAに異常が無かったとしても、ワープエンジンAによるマッピング処理に異常が生じた場合、ワープエンジンAにより生成された画像IMA2に異常が生じる可能性がある。このような異常を検出するためには、ワープエンジンAによって変形された画像からエラーを検出する必要があり、従来技術ではエラー検出が困難である。例えば、CRC等のデータエラー検出を用いた場合、ワープエンジンAによって変換される前の画像のCRC値を基準とするため、ワープエンジンAによって変換された後の画像から求めたCRC値とは、そもそも一致しない。

0042

本実施形態では、ワープエンジンBによって画像IMA2を逆マッピング処理し、その逆マッピング処理後の画像IMA3と、元の画像IMA1とを比較して、一致度合いを示す指標を求めている。マップA及びワープエンジンAに異常が無い場合、画像IMA3とIMA1の一致度合いが高いので、指標により画像IMA2のエラーを検出できる。なお、指標は一致度合いに応じて変化する値なので、画像IMA1とIMA3は完全一致でなくてもよい。即ち、マップA又はワープエンジンAに軽微な異常があったとしても、画像IMA2がユーザーに視認できる程度のものであれば、非エラーと判定してもよい。例えば、エラー検出において指標を閾値判定し、その閾値を設定することによって、どの程度の一致度合いをエラーと判定するかを調整できる。

0043

図4は、本実施形態の回路装置の第2の構成例である。図4では、回路装置100がエラー検出回路150を含む。またレジスター回路170がエラー検出結果レジスター176と動作モード設定レジスター177と閾値レジスター178とを含む。なお、既に説明した構成要素と同一の構成要素には同一の符号を付し、その構成要素についての説明を適宜に省略する。

0044

比較回路145は、画像IMA1とIMA3の比較結果をエラー検出回路150に出力する。エラー検出回路150は、その比較結果に基づいて表示用の画像IMA2のエラー検出を行う。比較結果が上述の指標である場合、エラー検出回路150は、指標と閾値とを比較することで、エラー検出を行う。形状指標に対する閾値は、どの程度の類似性を有していれば許容できるかを示す閾値である。視認性指標に対する閾値は、どの程度の視認性を有していれば許容できるかを示す閾値である。

0045

画像処理回路135は、エラー検出回路150によりエラーが検出された場合、インターフェース140への画像IMA2の出力を停止する。或いは、インターフェース140は、エラー検出回路150によりエラーが検出された場合、画像IMA2の出力を停止する。インターフェース140は、エラー情報と共に画像IMA2を出力し、そのエラー情報を受信した表示ドライバーが、エラー情報に基づく動作を行ってもよい。エラー情報は、例えばエラー判定フラグ、或いは指標等である。エラー情報に基づく動作は、例えば表示の停止等である。

0046

エラー検出結果レジスター176は、エラー検出回路150が出力したエラー検出結果を記憶する。エラー検出結果は、例えば、表示画像がエラーと判定されたか否かを示すエラー判定フラグである。

0047

動作モード設定レジスター177は、処理装置200からインターフェース190を介してモード設定情報が設定される。モード設定情報は、エラー検出結果がエラーを示す場合における回路装置100の動作モードを設定する情報であり、エラー検出時の動作としてどのような動作を行うかを設定する情報である。画像処理回路135は、モード設定情報に基づいて、上述のようなエラー検出時の動作を行う。なお、エラー検出時の動作を処理装置200が行うように構成してもよい。この場合、処理装置200は、インターフェース190を介してエラー検出結果レジスター176からエラー検出結果を読み出す。処理装置200は、エラー検出結果がエラーを示していた場合、エラー検出時の動作を行う。エラー検出時の動作は、例えば回路装置100への画像データの送信停止や、或いは、回路装置100への所定の画像データの送信等である。所定の画像データは、エラー検出時にユーザーに提示する画像の画像データである。

0048

閾値レジスター178は、処理装置200からインターフェース190を介して閾値が設定される。エラー検出回路150は、指標と、閾値レジスター178に設定された閾値とを比較してエラー検出を行う。即ち、エラー検出回路150は、形状指標と形状指標用閾値とを比較し、視認性指標と視認性指標用閾値とを比較し、それらの比較結果に基づいてエラー検出を行い、その結果をエラー検出結果として出力する。例えば、それらの比較結果の少なくとも一方がエラーを示す結果である場合、第2の画像にエラーが存在すると判定する。

0049

図4の構成においても、図1の構成と同様に、画像IMA1とIMA3の比較を行うことで、その比較結果に基づいて、被投影体に投影されるマッピング処理後の画像IMA2のエラー検出を行うことができる。

0050

なお、以上では回路装置100がエラー検出結果を処理装置200に出力する場合を例に説明したが、回路装置100がエラー検出結果を回路装置100の外部に出力せず、エラー検出結果を回路装置100の内部でのみ用いてもよい。例えば、エラーが検出された場合に回路装置100がセーフモード移行してもよい。セーフモードにおいて、例えば所定のエラー通知画像を表示ドライバーに送信したり、或いは液晶表示装置バックライト消灯させる制御を行ってもよい。これにより、処理装置200からの制御ではなく回路装置100からの制御によって直接にユーザーへエラー状態を通知できる。

0051

以上に説明した図1図4の回路装置100としては、ヘッドアップディスプレイを制御するヘッドアップディスプレイコントローラーや、表示ドライバーを制御する表示コントローラーを想定できる。但し、本実施形態の手法を適用できる回路装置はこれらに限定されない。例えば、回路装置は、表示コントローラーの機能を含む表示ドライバーであってもよい。回路装置がヘッドアップディスプレイコントローラーや表示コントローラー、表示ドライバーである場合、回路装置は例えば集積回路装置(IC)である。なお、回路装置は複数の集積回路装置を含んでもよい。例えば、回路装置は、第1の集積回路装置であるヘッドアップディスプレイコントローラーと、第2の集積回路装置である処理装置と、を含む。この場合、ヘッドアップディスプレイコントローラーは、画像IMA1とIMA3の比較処理を行う比較回路を含み、処理装置は、ヘッドアップディスプレイコントローラーから受信された比較結果に基づいてエラー検出を行うエラー検出回路を含む。

0052

図5は、比較回路145の詳細な構成例である。比較回路145は、画素アレンジ処理部146と、指標取得部147とを含む。

0053

画素アレンジ処理部146は、画像IMA1とIMA3を比較するための画素アレンジ処理を行い、処理後の画像IMA1とIMA3を指標取得部147に出力する。具体的には、上述のように画像IMA3は画像IMA1より低解像なので、画素アレンジ処理部146は、画像IMA1の画素数を画像IMA3の画素数に合わせるサブサンプリング処理を行う。また、画像IMA1とIMA3で同じ画素位置に画素が配置されるように、例えば回転処理並進処理、補間処理等を行ってもよい。

0054

指標取得部147は、画素アレンジ処理された画像IMA1とIMA3に基づいて、画像IMA2のエラーを検出するための指標を求める。上述のように、指標は形状指標であり、更に視認性指標を取得してもよい。形状指標、視認性指標の詳細は後述する。指標取得部147が出力した指標は、比較結果の情報として比較結果レジスター175に記憶される。又は、エラー検出回路150が指標に基づいてエラー検出を行う。

0055

以上の実施形態によれば、画像処理回路135は、入力された第1の画像を、被投影体に投影するための第2の画像にマッピング処理する第1のマッピング処理と、第1のマッピング処理の逆マッピング処理により第2の画像を第3の画像に変換する第2のマッピング処理とを行う。比較回路145は、第1の画像と第3の画像との間の比較を行い、比較の結果を、第2の画像のエラー検出を行うための情報として出力する。

0056

図1図5では、IMA1が第1の画像であり、IMA2が第2の画像であり、IMA3が第3の画像である。またマッピング処理部WEA1が行うマッピング処理が第1のマッピング処理であり、マッピング処理部WEA2が行うマッピング処理が第2のマッピング処理である。エラー検出を行うための情報は、画像IMA1とIMA3の比較結果の情報であり、例えば後述する形状指標、又は視認性指標、又は形状指標及び視認性指標に相当する。

0057

図3等で説明したように、マッピング処理やマップデータに異常が生じた場合には第2の画像に異常が発生するが、従来技術ではその異常を検出することが困難であった。この点、本実施形態によれば、第2のマッピング処理において、第1のマッピング処理の逆マッピング処理により第2の画像を第3の画像に変換することで、第1の画像と第3の画像とを比較することが可能になる。第3の画像は第2の画像から生成されたものなので、第3の画像と、基準である第1の画像との一致度合いが高ければ、第2の画像にエラーがないと判断できる。このようにして、例えばヘッドアップディスプレイ等の被投影体に投影される画像が適切な表示内容になっているかを、検出できる。

0058

また本実施形態では、比較回路145は、第1の画像の画素値と第3の画像の画素値とに基づいて、又は第1の画像のエッジ画像の画素値と第3の画像のエッジ画像の画素値とに基づいて、第1の画像と第3の画像との間の一致度合いを示す指標を、比較の結果として求める。

0059

ここで、エッジ画像の画素値は、その画素でのエッジ量を意味しており、エッジ抽出によって得られた信号値である。一致度合いを表す指標は、形状指標であり、その詳細については後述する。

0060

このようにすれば、CRCのようなビット単位のエラー検出ではなく、第1の画像と第3の画像との間の一致度合いを表す指標に基づいて第3の画像のエラー検出を行うことができる。第3の画像にエラーが検出されなければ、マッピング処理が正常に行われたと判断できるので、マッピング処理により生成される第2の画像のエラーを検出できる。例えば車載のヘッドアップディスプレイなどでは、ユーザーに提示するためのアイコン等を表示させる。本実施形態によれば、このようなアイコンが1ビットエラーなどで表示が停止せずに、形状が正しく認識できる場合においてユーザーに提示することができる。

0061

また本実施形態では、画像処理回路135は、被投影体に対応するマップデータから生成された第1のマップデータを用いて第1のマッピング処理を行い、マップデータである第2のマップデータを用いて第2のマッピング処理を行う。

0062

図1図4では、被投影体に対応するマップデータは、不揮発性メモリー210に記憶されたマップデータである。第1のマップデータは、マップデータMPA1であり、マップ変換処理によって生成されたマップAのデータである。第2のマップデータは、マップデータMPA2であり、不揮発性メモリー210から読み出されたマップデータであるマップBのデータである。

0063

被投影体に対応するマップデータから第1のマップデータを生成した場合、その処理において異常が発生すると、第1のマップデータを用いてマッピング処理される第2の画像に異常が発生するおそれがある。本実施形態によれば、基準となるマップデータをそのまま第2のマップデータとして用いて、比較用の画像である第3の画像を生成する。これにより、第3の画像と第1の画像との比較結果により、第1のマップデータを用いた第1のマッピング処理が正常であったか否かを判断できるようになる。

0064

また本実施形態では、回路装置100は、比較回路145による比較の結果に基づいて、第2の画像のエラー検出を行うエラー検出回路150を含む。

0065

このようにすれば、回路装置100に内蔵されたエラー検出回路150によって表示画像のエラー検出を行うことができる。そして、エラー検出結果に基づいて回路装置100がエラー検出時の動作を行うことができ、或いは、エラー検出結果を処理装置200等に出力して、処理装置200等がエラー検出結果に基づいてエラー検出時の動作を行うことができる。

0066

また本実施形態では、回路装置100は、エラー検出回路150によりエラーと判定されたときの回路装置100の動作モードが設定される動作モード設定レジスター177を含む。

0067

このようにすれば、第1の画像と第2の画像の比較結果に基づいて第2の画像がエラーと判定されたときの回路装置100の動作モードを、インターフェースを介して動作モード設定レジスター177に設定することができる。例えば、処理装置200がインターフェース190を介して動作モード設定レジスター177に動作モードを設定できる。例えばユーザーが望むエラー検出時の動作を、回路装置100に行わせることが可能になる。

0068

また本実施形態では、動作モード設定レジスター177には、エラー検出の結果を回路装置100の外部装置に通知するモード、第2の画像を非表示にするモード、又は特定の画像を表示させるモードが、動作モードとして設定される。

0069

外部装置は、例えば処理装置200であり、例えばSoCやCPU等である。外部装置へは、例えばインターフェース190を介してエラー検出の結果を出力する。なお、インターフェースによっては回路装置100から処理装置200に対する通知の発信ができないものがあるが、その場合は回路装置100が割込みで処理装置200へ通知を行い、処理装置がインターフェースを介して回路装置から詳細情報を読み出すことができる。非表示にするとは、表示パネルに画像を表示させない状態に設定することであり、例えば表示パネルの全表示領域を黒又は白にすることである。特定の画像とは、エラー検出の対象となった表示画像とは異なる画像であり、エラー検出時において表示させたい画像である。例えば、エラー検出時にユーザーに提示したメッセージ記号、色等が表示された画像である。色の場合、例えば表示パネルの表示領域の全部又は一部に例えば赤等の所定の色を表示させる。

0070

このようにすれば、第2の画像がエラーと判定されたときの回路装置100の動作モードを、上記3つのモードのいずれかに設定することができる。例えばユーザーが望むエラー検出時の動作として、上記3つのモードの動作のいずれかを回路装置100に行わせることが可能になる。

0071

また本実施形態では、エラー検出回路150は、比較の結果と、第2の画像のエラーを判定するための閾値との比較により、エラー検出を行う。

0072

図4では、第2の画像のエラーを判定するための閾値は、比較結果である指標と比較される閾値である。

0073

CRCでは、画像データと共に受信されたCRC値と、受信された画像データから演算したCRC値とを比較することで、画像データにエラーが存在するか否かが検出される。一方、本実施形態における比較結果である指標は、単純にエラーであるか否かを示すだけの指標ではなく、第1の画像と第3の画像の一致度合いに応じて値が変化する。この指標と閾値とを比較することで、CRC等のデータエラー検出手法が使用できない場合であっても、エラー検出を行うことができる。即ち、一致度合いに基づいて形状の類似性が確保できないと判断される場合に、エラーと判定することが可能となる。

0074

また本実施形態では、回路装置100は、閾値が設定される閾値レジスター178を含む。

0075

このようにすれば、比較結果である指標と比較するための閾値を、インターフェースを介して閾値レジスター178に設定することができる。例えば、処理装置200がインターフェース190を介して閾値レジスター178に閾値を設定できる。閾値を可変に設定することで、どの程度の形状の類似性がある場合にエラーであると判断するかが可変となる。閾値レジスター178を設けることで、例えばユーザーが任意にエラー判定基準である閾値を設定できるようになる。

0076

2.第3、第4の構成例
図6は、本実施形態の回路装置の第3の構成例である。図6では、画像処理回路135は、被投影体の表面形状に合わせて画像をマッピングするマッピング処理部WEB1と、それと同方向のマッピングを行うマッピング処理部WEB2と、を含む。そして比較回路145が、マッピング処理部WEB1、WEB2が出力する画像IMB2、IMB3を比較する。なお、既に説明した構成要素と同一の構成要素には同一の符号を付し、その構成要素についての説明を適宜に省略する。

0077

前処理回路125は、前処理後の画像IMB1を出力する。前処理の内容は図1で説明した内容と同様である。

0078

マッピング処理部WEB1は、前処理回路125が出力した画像IMB1に対して、マップデータMPB1を用いたマッピング処理を行い、マッピング処理後の画像IMB2を出力する。このマッピング処理は、図1のマッピング処理部WEA1が行うマッピング処理と同様である。マッピング処理部WEB2は、前処理回路125が出力した画像IMB1に対して、マップデータMPB2を用いたマッピング処理を行い、マッピング処理後の画像IMB3を出力する。このマッピング処理は、被投影体の表面形状に合わせて画像をマッピングする処理であるが、マッピング処理部WEB1が行うマッピング処理と同一である必要はない。即ち、マップデータ及びマッピング処理の少なくとも一方がマッピング処理部WEB1とは異なっていてもよい。例えば、マッピング処理部WEB2は、画像IMB2よりも低解像度な画像IMB3を生成する。また画素値の補間処理を省略してもよい。

0079

比較回路145は、画像IMB2と画像IMB3との間の比較処理を行い、その比較結果を出力する。この比較結果は、画像IMB2のエラーを検出するために用いられる。即ち、マップデータMPB1及び、マッピング処理部WEB1が行うマッピング処理が正常であったか否かを検証するために用いられる。具体的には、比較回路145は、画像IMB2と画像IMB3との間の一致度合いを示す指標を求める。この指標は、後述する形状指標又に相当するものである。或いは、指標として後述する視認性指標を求めてもよい。

0080

レジスター回路170は、比較回路145が出力する比較結果の情報を記憶する比較結果レジスター175を含む。処理装置200は、インターフェース190を介して比較結果レジスター175から読み出した比較結果の情報に基づいてエラー検出を行う。以上の画像比較とエラー検出により、被投影体に投影される画像IMB2のエラー検出を実現している。即ち、マッピング処理部WEB1によるマッピング処理が正常に行われたか否かを検出している。

0081

次に、図6の回路装置100の動作を説明する。図7は、図6の回路装置100の動作を模式的に示した図である。

0082

図7に示すように、基準のマップデータをマップ変換処理してマップCを生成し、基準のマップデータをマップDとして用いる。具体的には、図6に示す不揮発性メモリー210が基準のマップデータを記憶しており、処理装置200が不揮発性メモリー210から基準のマップデータを読み出してマップ変換処理して、マップCに対応するマップデータMPB1を生成する。マップデータMPB1はインターフェース190を介してマッピング処理部WEB1に入力される。また処理装置200が基準のマップデータを、マップDに対応するマップデータMPB2として出力する。マップデータMPB2はインターフェース190を介してマッピング処理部WEB2に入力される。

0083

ワープエンジンCは、マッピング処理部WEB1に対応しており、マップCを用いて画像IMB1をマッピング処理して画像IMB2を生成する。また、ワープエンジンDは、マッピング処理部WEB2に対応しており、マップDを用いて画像IMB1をマッピング処理して画像IMB3を生成する。このマッピング処理は、マップ変換処理におけるマップの回転や平行移動に対応した画像の回転変換や平行移動を含んでもよい。

0084

ワープエンジンCは、表示用の画像IMB2を生成するので、ワープエンジンDに比べて高品質なマッピング処理を行う。例えば、表示の解像度に合わせた高解像なマッピング処理を行う。また表示の品質を確保するために画素値の補間処理を行う。一方、ワープエンジンDは、エラー検出用の画像IMB3を生成するので、ワープエンジンCに比べて簡素化したマッピング処理を行う。例えば、座標変換の対象画素を間引くことにより、画像IMB2よりも低解像度な画像IMB3を生成する。また画素値の補間処理を省略してもよい。

0085

比較回路145が行う比較処理において、画像IMB2の間引き処理を行い、画像IMB2とIMB3の画素の位置合わせを行い、その位置合わせ後の画像から指標を求める。比較回路145の詳細な構成は、図5と同様である。即ち、図5においてIMA1、IMA3をIMB2、IMB3に読み替えればよい。

0086

本実施形態では、ワープエンジンDがワープエンジンCと同方向のマッピング処理を行い、マッピング処理後の画像IMB2とIMB3とを比較して、一致度合いを示す指標を求めている。マップC及びワープエンジンCに異常が無い場合、画像IMB2とIMB3の一致度合いが高いので、指標により画像IMB2のエラーを検出できる。なお、指標は一致度合いに応じて変化する値なので、画像IMB2とIMBは完全一致でなくてもよい。即ち、マップC又はワープエンジンCに軽微な異常があったとしても、画像IMB2がユーザーに視認できる程度のものであれば、非エラーと判定してもよい。

0087

図8は、本実施形態の回路装置の第4の構成例である。図8では、回路装置100がエラー検出回路150を含む。またレジスター回路170がエラー検出結果レジスター176と動作モード設定レジスター177と閾値レジスター178とを含む。なお、既に説明した構成要素と同一の構成要素には同一の符号を付し、その構成要素についての説明を適宜に省略する。

0088

比較回路145は、画像IMB2とIMB3の比較結果をエラー検出回路150に出力する。エラー検出回路150は、その比較結果に基づいて表示用の画像IMB2のエラー検出を行う。比較結果が上述の指標である場合、エラー検出回路150は、指標と閾値とを比較することで、エラー検出を行う。

0089

図8の構成においても、図6の構成と同様に、画像IMB2とIMB3の比較を行うことで、その比較結果に基づいて、被投影体に投影されるマッピング処理後の画像IMB2のエラー検出を行うことができる。

0090

なお、以上では回路装置100がエラー検出結果を処理装置200に出力する場合を例に説明したが、回路装置100がエラー検出結果を回路装置100の外部に出力せず、エラー検出結果を回路装置100の内部でのみ用いてもよい。

0091

以上に説明した図6図8の回路装置100としては、ヘッドアップディスプレイを制御するヘッドアップディスプレイコントローラーや、表示ドライバーを制御する表示コントローラーを想定できる。但し、本実施形態の手法を適用できる回路装置はこれらに限定されない。例えば、回路装置は、表示コントローラーの機能を含む表示ドライバーであってもよい。回路装置がヘッドアップディスプレイコントローラーや表示コントローラー、表示ドライバーである場合、回路装置は例えば集積回路装置(IC)である。なお、回路装置は複数の集積回路装置を含んでもよい。例えば、回路装置は、第1の集積回路装置であるヘッドアップディスプレイコントローラーと、第2の集積回路装置である処理装置と、を含む。この場合、ヘッドアップディスプレイコントローラーは、画像IMB2とIMB3の比較処理を行う比較回路を含み、処理装置は、ヘッドアップディスプレイコントローラーから受信された比較結果に基づいてエラー検出を行うエラー検出回路を含む。

0092

以上の実施形態によれば、画像処理回路135は、被投影体に対応するマップデータに基づいて、入力された第1の画像を、被投影体に投影するための第2の画像にマッピング処理する第1のマッピング処理と、マップデータに基づいて、第1のマッピング処理とは異なる第2のマッピング処理により第1の画像を第3の画像に変換する第2のマッピング処理とを行う。比較回路145は、第2の画像と第3の画像との間の比較を行い、その比較の結果を、第2の画像のエラー検出を行うための情報として出力する。

0093

図6図8では、IMB1が第1の画像であり、IMB2が第2の画像であり、IMB3が第3の画像である。またマッピング処理部WEB1が行うマッピング処理が第1のマッピング処理であり、マッピング処理部WEB2が行うマッピング処理が第2のマッピング処理である。エラー検出を行うための情報は、画像IMB2とIMB3の比較結果の情報であり、例えば後述する形状指標、又は視認性指標、又は形状指標及び視認性指標に相当する。

0094

ここで、第1、第2のマッピング処理が異なるとは、ハードウェア又はアルゴリズムが異なることである。例えば、図6図8において、マッピング処理部WEB1、WEB2が別個のマッピング処理回路で構成されてもよい。又は、第1、第2のマッピング処理が異なるとは、マップデータ及びマッピング処理の内容の少なくとも一方が異なることである。例えば、図7で説明したように、第1のマッピング処理に対応するワープエンジンCが用いるマップCは、基準のマップデータをマップ変換処理したものであり、第2のマッピング処理に対応するワープエンジンDが用いるマップDは、基準のマップデータそのものであってもよい。或いは、第1のマッピング処理はフォワードマッピング及びリバースマッピングの一方であり、第2のマッピング処理は、その他方であってもよい。或いは、第1、第2のマッピング処理で解像度が異なるマッピング処理であってもよい。或いは、第1のマッピング処理は補間処理を含み、第2のマッピング処理は補間処理を含まなくてもよい。

0095

本実施形態によれば、第1の画像が第1、第2のマッピング処理により第2、第3の画像に変換される。第1、第2のマッピング処理は、第1の画像に対して同様な変形を行う同一方向のマッピング処理である。これにより、第2の画像と第3の画像とを比較することが可能になる。第2の画像と第3の画像との一致度合いが高ければ、第2の画像にエラーがないと判断できる。このようにして、例えばヘッドアップディスプレイ等の被投影体に投影される画像が適切な表示内容になっているかを、検出できる。また、第2のマッピング処理が、第1のマッピング処理とは異なるマッピング処理であることで、第1、第2のマッピング処理で同じ異常が発生することを避けることができ、エラーの検出精度を向上できる。

0096

また本実施形態では、比較回路145は、第2の画像の画素値と第3の画像の画素値とに基づいて、又は第2の画像のエッジ画像の画素値と第3の画像のエッジ画像の画素値とに基づいて、第2の画像と第3の画像との間の一致度合いを示す指標を、比較の結果として求める。

0097

このようにすれば、CRCのようなビット単位のエラー検出ではなく、第2の画像と第3の画像との間の一致度合いを表す指標に基づいて第2の画像のエラー検出を行うことができる。この処理でエラーが検出されなければ、マッピング処理が正常に行われたと判断できるので、マッピング処理により生成される第2の画像のエラーを検出できる。例えば車載のヘッドアップディスプレイなどでは、ユーザーに提示するためのアイコン等を表示させる。本実施形態によれば、このようなアイコンが1ビットエラーなどで表示が停止せずに、形状が正しく認識できる場合においてユーザーに提示することができる。

0098

また本実施形態では、画像処理回路135は、被投影体に対応するマップデータから生成された第1のマップデータを用いて第1のマッピング処理を行い、マップデータである第2のマップデータを用いて第2のマッピング処理を行う。

0099

図6図8では、被投影体に対応するマップデータは、不揮発性メモリー210に記憶されたマップデータである。第1のマップデータは、マップデータMPB1であり、マップ変換処理によって生成されたマップCのデータである。第2のマップデータは、マップデータMPB2であり、不揮発性メモリー210から読み出されたマップデータであるマップDのデータである。

0100

本実施形態によれば、基準となるマップデータをそのまま第2のマップデータとして用いて、比較用の画像である第3の画像を生成する。これにより、第3の画像と第2の画像との比較結果により、第1のマップデータを用いた第1のマッピング処理が正常であったか否かを判断できるようになる。

0101

また本実施形態では、画像処理回路135は、第1の画像よりも低解像度の第3の画像を生成する。比較回路145は、第2の画像に対して、第3の画像の解像度に合わせる低解像度化を行い、第3の画像と低解像度化後の第2の画像とを比較する。

0102

図5の構成を図6図8の比較回路145に適用した場合には、画素アレンジ処理部146が、第2の画像に対して、第3の画像の解像度に合わせる低解像度化を行い、指標取得部147が、第3の画像と低解像度化後の第2の画像とを比較して指標を取得する。

0103

本実施形態によれば、比較用の画像である第3の画像を低解像度にすることで、第3の画像を生成する第2のマッピング処理を低解像なマッピング処理にできる。これにより、第2のマッピング処理の処理負荷を低減でき、又は第2のマッピング処理を行うハードウェアの回路規模を低減できる。そして、第2の画像に対して、第3の画像の解像度に合わせる低解像度化を行うことで、第3の画像と第2の画像とを比較することが可能となる。

0104

3.比較処理、エラー検出処理
以下、比較回路145が行う比較処理と、エラー検出回路150が行うエラー検出処理について説明する。なお、ここでは比較処理において指標を取得する場合を例に説明し、比較処理を指標取得処理と呼ぶ。但し、比較処理はこれに限定されず、種々の画像比較を用いることができる。

0105

コンテンツディスプレイに表示する画像処理システムでは、画像の所定の領域が当初の意図と一致しているか否かを確認する必要がある場合がある。例えば、自動車用システムクラスターディスプレイに重要な画像を表示する場合を考える。クラスターディスプレイは、メーターパネルのディスプレイである。このとき、画面に表示されている既存のコンテンツに重ねられた可視画像を介して所定の重要な情報を表示する必要がある。以下では、画像が正しく表示されているか否かを検出するためのいくつかの方法を説明する。検出は、関心領域を解析し、その領域が正しく表示されている程度を示すいくつかの主要な指標を導き出すことによって行う。本実施形態では関心領域は画像全体であるが、画像の一部の領域を関心領域としてもよい。以下、関心領域をROI(Region Of Interest)とも呼ぶ。

0106

なお、以下では解析対象となる画像を解析画像と呼び、解析の基準となる画像を基準画像と呼ぶ。図1図4では画像IMA3が解析画像であり、画像IMA1が基準画像である。図6図8では、画像IMB2が解析画像であり、画像IMB3が基準画像である。なお、比較処理は2画像の相互比較なので、解析画像と基準画像を入れ替えても構わない。

0107

3.1.形状指標(第1の指標)の第1の演算手法
形状指標は、関心領域における解析画像と基準画像の形状が一致しているか否かを示す指標である。以下、形状指標の演算手法について説明する。

0108

図9は、解析画像の第1の例である。A1は関心領域であり、A2はアイコンである。なお、関心領域を示す点線は、実際には表示画像には描画されていない。また、ここでは関心領域を解析画像の一部としているが、関心領域は解析画像の全体であってもよい。

0109

まず、最終的な平均化画像がm×n画素となるように、解析画像のROIの画素ブロックを平均化する。このサブサンプリング処理は、少数画素エラーが重要なエラーとして検出されないために行うものであり、これらのエラーを無視し、基準画像と解析画像の全体形状を確認する。無視したいエラーは、例えば色ずれ、小さな歪み等である。完全な一致を得るために、サブサンプリングされた画像の解像度を高めることができる。m×nの値は、用途に応じて選択することができる。以下に述べるように基準画像に関連して使用する場合には、m×nの値はサンプルデータ観測に基づいて選択する。

0110

解析画像の関心領域がu×v画素である場合には、平均化ブロックサイズはu/m×v/n画素である。基準背景情報が利用できない場合には、基準画素が存在しない部分の解析画像の画素を削除する。これは、基準前景マスキングに相当する。これは、基準画像と解析画像との間で背景画素ベースライン化する(そろえる、同条件にする)ことが必要であるために行う。ベースライン化するとは、そろえる、或いは同条件にすることである。そのため、背景画素の値は、解析画像及び基準画像の両方において同じ値に設定する。

0111

基準画像の平均化もm×n画素となるように行う。平均化は、各チャンネルに対して別々に行う。図10は、基準画像の例である。基準画像RIAのアイコンである前景F1は、着色されており、アイコン以外の領域である背景は例えば黒等の無色である。図10では、基準画像RIAのサイズは256×256画素である。図11は、基準画像の平均化画像である。図11では、m=n=16であり、平均化画像SRefのサイズは16×16画素である。この基準画像及びその平均化画像の背景が無色である場合、解析画像の関心領域も背景を無色に変換して、その関心領域の平均化画像を求めてもよい。例えば、背景を削除することで、背景を無色に変換してもよい。

0112

次に、基準画像の平均化画像(SRef m×n)と解析画像の関心領域の平均化画像(SAnz m×n)を、距離基準を使用して画素毎に比較し、下式(1)のように距離Dを求める。距離Dは3次元距離である。本実施形態では、距離基準はデカルト距離の2乗であるが、その他の距離基準であっても同様なパラメーターが得られる。

0113

cは、チャンネルを表し、xは平均化画像での横方向の画素位置を表し、yは平均化画像での縦方向の画素位置を表す。横方向は水平方向とも呼び、縦方向は垂直方向とも呼ぶ。m、nは平均化画像のサイズである。Rxycは、チャンネルcにおける基準画像の平均化画像の位置(x,y)での画素値を表す。R'cは、チャンネルcにおけるRxy画素の平均値を表す。Rxy画素の平均値は、Rxycを平均化画像内で平均したものである。Axycは、チャンネルcにおける解析画像の平均化画像の位置(x,y)での画素値を表す。A'cは、チャンネルcにおけるAxy画素の平均値を表す。Axy画素の平均値は、Axycを平均化画像内で平均したものである。

0114

各チャンネルにおいて平均値を減算する理由は、基準画像と解析画像との間の小さな色ずれがエラーとして扱われないようにするためである。完全な一致が求められる場合には、平均値を0に設定することができる。この場合、距離基準によって形状及び色の一致をチェックすることになる。

0115

形状指標Sは、下式(2)、(3)によって距離パラメーターから導出される。形状指標Sは形状パラメーターとも呼ぶ。Tは閾値であり、任意の値を採用できる。D<Tの場合にはT/D=1となり、形状指標Sは変化しない。

0116

関数fは、ハードウェアへの実装が容易となるように選択する。例えば、関数fは、範囲0〜1が0〜kにスケーリングされるようなスケーリング関数Kであってもよい。以下に記載する例では、関数fは単位関数である。即ち、S=T/Dである。形状指標Sは、基準画像と解析画像との間の形状の一致度を示す。画像が一致していない場合には、この値は減少し、0となる傾向がある。その例を以下に記載する。

0117

図9では、基準画像のアイコンが解析画像に正しく表示されている。この場合、形状指標はS=1となり、図9では、Shape:1.000と示す。

0118

図12は、解析画像の第2の例である。B1は関心領域を示す。図12のB2に示すように、基準画像のアイコンが解析画像では不明瞭になっている。即ち、基準画素のいくつかが解析画像には存在しておらず、関数fが単位関数の場合には形状指標Sは1未満となる。このような不明瞭な前景の場合、形状指標が小さい値となる。なお、後述する視認性指標も小さい値となる。

0119

図13は、解析画像の第3の例である。E1は関心領域を示す。図13のE2に示すように、基準画像のアイコンが解析画像では回転している。この例では、形状は基準から回転しているので、関数fが単位関数の場合には形状指標Sは1未満となる。このように前景が回転している場合、形状指標が小さい値となる。なお、後述する視認性指標も大きい値となる。視認性指標については後述するが、視認性指標と形状指標を組み合わせることにより様々な前景の状態において適切なエラー検出を行うことが可能となり、エラー検出の精度を向上できる。

0120

上記の形状指標は、ベース信号の一致のみをチェックする。視認性が低い画像の場合には、エッジ検出カーネルを解析画像の関心領域及び基準画像とコンボリューションして一次勾配画像を生成した後、形状演算アルゴリズムによってパラメーターを求めることができる。エッジ検出カーネルは、例えばLaplacian又はSobel等である。求めたパラメーターにより、形状指標によって得られた誤検知を除去することができる。このようにすれば、視認性が低い画像の場合にも正しいエラー検出結果を得ることができる。

0121

3.2.形状指標の第2の演算手法
図14は、解析画像の第4の例である。図14では、ダッシュボード画像DIMの上にアイコンICAが重ねられている。アイコン画像は、ある透過率でダッシュボード画像にブレンドされる。

0122

本実施形態では、エッジ検出技術を用いて、関心領域における解析画像と基準画像のエッジを検出する。エッジ検出技術は、例えばソーベルエッジ検出畳み込み演算子を用いたエッジ検出技術である。

0123

図15は、関心領域における解析画像の例である。画像CIBは、ダッシュボード画像DIMに基準画像ICBをブレンドした関心領域の画像である。アイコン部分では、ブレンドによりダッシュボード画像DIMが透け見えている。なお、エラーが無い場合には、関心領域における基準画像は、図15と同様の画像であると期待される。

0124

図16は、解析画像から計算されたエッジ値の例である。ECIBは図15の画像CIBのエッジ画像である。図示の関係上、エッジを黒線及びグレー線で示しているが、実際にはエッジの強度はグレースケールで示すことができる。白は高強度のエッジを示し、黒はエッジ無しを示す。このエッジ検出は、輝度チャンネルに対して行われる。同様に、エッジ検出は、色チャンネルに対して、又はYCbCrのような色空間においても行われる。なお、エラーが無い場合には、関心領域における基準画像のエッジ画像は、図16と同様の画像であると期待される。

0125

前景領域と背景領域におけるエッジは、基準画像と解析画像について計算され、形状指標は、下式(4)〜(15)に示すように類似量を算出することにより計算される。下式(15)のMatchが形状指標である。形状指標は適合値とも呼ぶ。以下では、基準画像はm×n画素のサイズであり、表示画像の関心領域もm×n画素であるとする。

0126

下式(4)は、水平ソーベルカーネル、即ち水平方向のエッジを検出するソーベルフィルターの演算子である。下式(5)は、垂直ソーベルカーネル、即ち垂直方向のエッジを検出するソーベルフィルターの演算子である。

0127

下式(6)〜(11)に示すように、基準画像と表示画像の関心領域における各画素位置について、エッジ値を計算する。「*」は畳み込み演算子である。Nは、値を0と1の間に保つための正規化係数であり、ここではN=4である。IRefは、基準画像の輝度(Y)チャンネルである。IRef(x,y)は、基準画像の輝度チャンネルの位置x、yの画素である。xは0<x≦mの整数であり、yは0<y≦nの整数である。IRenは、関心領域における表示画像の輝度チャンネルである。IRen(x,y)は、関心領域における表示画像の輝度チャンネルの位置x、yを中心とした3×3画素である。

0128

下式(12)〜(15)に示すように、上記のエッジ値から形状指標Match(適合値)を求める。「・」は内積演算子を表す。

0129

図15図16に上記の演算を適用すると、例えばMatch=0.78となる。

0130

背景を分析せずに適合値を計算することが要求される場合には、下式(16)〜(21)に示す計算を用いる。

0131

M(x,y)は、1である。なお、M(x,y)は、いずれの画素について比較を行うかを定義するマスク画素であってもよい。このマスクは、比較しない画素を0で定義し、比較する画素を1で定義する単純な1ビットマスクで実現できる。例えば、アイコンのみを比較する等、関心領域の一部のみを画像比較したい場合には、それに応じたマスクを設定すればよい。

0132

以上の実施形態によれば、比較回路145は、解析画像の画素値と基準画像の画素値とに基づいて、又は解析画像のエッジ画像の画素値と基準画像のエッジ画像の画素値とに基づいて、解析画像と基準画像との一致度合いを表す指標を求める。エラー検出回路150は、その指標に基づいて表示画像のエラー検出を行う。

0133

このようにすれば、CRCのようなビット単位のエラー検出ではなく、解析画像と基準画像との間の一致度合いを表す指標に基づいて解析画像のエラー検出を行うことができる。解析画像が基準画像に対して一致度合いが高い場合、その解析画像が基準画像に対して視覚的に同じ形状に見える可能性が高い。即ち、本手法によれば、解析画像の形状が正しく表示されていない場合にエラーと判断することが可能となる。そして、解析画像にエラーが検出されなければ、マッピング処理が正常に行われたと判断できるので、解析画像のエラー検出を行うことで、被投影体に投影される画像のエラーを検出できる。

0134

ここで、上式(2)〜(4)に示す第1の演算手法は、解析画像の画素値と基準画像の画素値とに基づいて指標(S)を求める場合に対応する。また、上式(5)〜(21)に示す第2の演算手法は、解析画像のエッジ画像の画素値と基準画像のエッジ画像の画素値とに基づいて指標(Match)を求める場合に対応する。エッジ画像の画素値は、上式(6)、(9)、(16)、(17)のエッジ量に対応する。

0135

また、一致度合いとは、例えばアイコン、文字、図形、マーク等(以下アイコン等と呼ぶ)の形状の一致の程度のことである。より具体的には、アイコン等の輪郭と向きの一致の程度のことである。また更に、アイコン等の輪郭の内側の状態、例えば輪郭の内側が塗りつぶされているか否か等の状態の一致の程度を含んでもよい。例えば、一致度合いを表す指標は、前景画像と背景画像の一致度合いが高いほど値が大きくなる。

0136

また本実施形態では、上式(2)、(3)に示すように、比較回路145は所与の閾値(T)を距離情報(D)で除算した値から指標(S)を求める。

0137

形状の一致度合いが高いほど距離(D)が小さくなるので、所与の閾値を距離情報で除算することで、形状の一致度合いが高いほど値が大きくなる指標(S)を求めることができる。

0138

また本実施形態では、比較回路145は、解析画像のエッジ画像の画素値と基準画像のエッジ画像の画素値との積和演算(上式(12))を行い、その積和演算の結果から指標を求める(上式(15))。

0139

エッジ画像は、各画素の画素値としてエッジ量が定義された画像である。形状が一致している場合、解析画像のエッジ画像と基準画像のエッジ画像とを同じ画素で比べると、同じ(略同じを含む)エッジ量になっているはずである。逆に、形状が一致していない場合にはエッジの位置が解析画像と基準画像で一致しないので、例えば解析画像のエッジ画像に大きなエッジ量があっても、基準画像のエッジ画像の同じ画素ではエッジ量がゼロになっていたりする。このため、同じ画素同士のエッジ量を積和すると、形状が一致している場合には積和の結果が大きな値になり、形状が一致していない場合には積和の結果が小さな値になる。このため、エッジ量の積和演算を用いることで、形状の一致度合いを適切に評価できる。

0140

ここで、上式(12)では、積和の「積」はベクトル内積になっているが、「積」はこれに限定されない。例えばエッジ量がスカラーで定義される場合には、「積」はスカラー同士の積となる。

0141

3.3.視認性指標(第2の指標)を求める第1の演算手法
視認性指標の演算においても、形状指標の演算と同様に解析画像と基準画像の用語を用いる。図1図4では画像IMA3が解析画像であり、画像IMA1が基準画像である。図6図8では、画像IMB2が解析画像であり、画像IMB3が基準画像である。なお、比較処理は2画像の相互比較なので、解析画像と基準画像を入れ替えても構わない。

0142

図17は、関心領域におけるYCbCrの各チャンネルのヒストグラムである。また図18は、解析画像と基準画像のヒストグラムに相互相関演算を行って得られた相互相関値である。

0143

図17に示すように、YCbCr画像の各チャンネルについて、n個のバイナリーを使用してヒストグラムを求める。例えば、256個のバイナリーを使用し、異なるバイナリーの組を有するヒストグラムを生成することができる。

0144

ヒストグラムは、関心領域において特定の値が生じる回数カウントする。即ち、YCbCr画像の各チャンネルについて、各バイナリーが示す値を有する画素の数を関心領域内でカウントする。次に、ヒストグラムを0〜aの間の値に正規化する。値「a」は、実装の容易さを考慮して選択することができる。例えばaを1又は255等に設定できる。図17では、a=1である。次に、各チャンネルにおいて、解析画像と基準画像のヒストグラムを相互相関演算する。そして、その相互相関信号をその後の解析に使用する。図18に示すように、相互相関信号を、ゼロ遅延におけるピーク値が1又は予め設定した値となるように正規化する。

0145

相互相関値は、下式(22)により求められる。f、gは相関演算される関数を表す。f、gの一方が解析画像のヒストグラムであり、f、gの他方が基準画像のヒストグラムである。f*gは、関数fと関数gの相関演算を表す。f*は関数fの複素共役を表し、本実施形態ではf*=fである。mはヒストグラムのバイナリーの番号を表す。nは遅延(lag)を表し、図18ではnは−255〜+255の整数である。

0146

なお、図17のヒストグラムでは、256個のバイナリーが0〜1の間に正規化されているため、横軸が0〜1になっている。図18相関値は、1バイナリーずつ遅延を変えながら相関値を求めているため、横軸が−(256−1)〜+(256−1)になっている。

0147

図18に示すように、二色の画像が関心領域に存在する場合には、相関演算により側波帯が得られる。上記ピークが生じる中心からの遅延の距離は、色間のコントラストを示す。中心は、ゼロ遅延に対応する。コントラストによって人間の目は画像の特徴を識別することができるため、3つのチャンネル全てのピークについてチェックする。コントラストは、例えば輝度コントラスト色コントラストである。図18では、Yチャンネルを点線で示し、Cbチャンネルを細実線で示し、Crチャンネルを太実線で示している。チェックは、相互相関信号のノイズを拾わないようにピーク検索の閾値を設定することによって行う。例えば、最小ピーク閾値を0.05に設定する。信号におけるピークを検索して局所最大値を求める。検索するピークは、閾値より大きいピーク値のピークである。

0148

なお、帯域信号ピークを回避するために、連続するピーク間最小距離所定値に設定することもできる。これらの閾値は調節可能な値であり、用途に応じて選択する。

0149

識別可能な画像が二色以上の背景上に示されているか否かを示す視認性指標を求めるために、全てのチャンネルについて、ノイズ閾値を超える相互相関信号の全てのピークを求めた後、ピークが生じる最大距離、即ち最大遅延を求める。3つのチャンネルにおいてピークが生じる遅延のうち最大値を、視認性を示す指標として選択する。

0150

図18に示す相関プロットでは、ピークを丸で示している。図示する例では、Crチャンネルが最大の分離を示しており、距離は184である。上記値を考えられる最大遅延に正規化する。例えば、考えられる最大遅延はヒストグラムのバイナリーの数である256である。従って、指標値は184/255=0.722である。図9で上述した画像では、上記指標値をVisパラメーターとして示している。上記演算は、一つの例について示している。

0151

図9において、黒色で示す部分であるアイコンA2の内部は赤色であり、白色で示す部分である背景は緑色である。

0152

図9の画像では、関心領域内に赤と緑の二色の画素群があるので、図17に示すヒストグラムでは、YCbCrの各チャンネルに2つの大小のピークが生じる。例えば、CrチャンネルではバイナリーBa、Bbにピークが生じている。この2つのピークの間の距離は、アイコンである前景アイコンの色と背景の色との間のコントラストを表しており、距離が大きいほど前景と背景の色がより異なることを意味する。ヒストグラムにおける2つのピークの間の距離は、図18に示す相互相関値においてピークが発生する遅延の距離になる。図9の画像では、アイコンである前景アイコンが赤色で背景が緑色なので、図17に示すヒストグラムにおいてCrチャンネルの2つのピーク間の距離が最大距離となっており、その距離は|Ba−Bb|×255である。これが、相互相関値において、ピークが発生する最大距離として検出され、正規化した指標値は|Ba−Bb|となる。従って、アイコンである前景アイコンの色と背景の色との間のコントラストが大きいほど、視認性の指標値も大きくなる。

0153

エラー検出回路150は、上記のようにして求めた視認性指標に基づいてエラー検出を行う。例えば、視認性指標と所与の閾値とを比較し、視認性指標が所与の閾値より小さい場合にエラーと判定する。或いは、視認性指標をエラー検出結果として回路装置100の外部に出力してもよい。

0154

3.4.視認性指標を求める第2〜第4の演算手法
第2の演算手法では、相互相関信号の中心からのピークの距離を求める代わりに、相互相関信号に所定の閾値を超えるピークが存在しているか否かを調べる。そのようなピークが存在している場合には、画素の分布を考慮する限りにおいて、基準画像と解析画像はかなり一致していることになる。これにより、解析画像に対する第1のレベルのエラー検出を行うことができる。このパラメーターは、空間的相関は示さず、画素分布相関のみを示す。この場合の指標は、中心からのピークの距離ではなく、ピーク値自体であってもよい。

0155

図19は、解析画像と基準画像のヒストグラムの例である。図20は、図19のヒストグラムの相互相関値の例である。ここでは、カラー画像の1チャンネル分について説明するが、同様の処理を複数のチャンネルに対して行う。例えば、複数のチャンネルの相互相関値のピークのうち最大のピーク値を採用すればよい。

0156

図19に示すように、解析画像と基準画像のヒストグラムには、3以上のピークが生じている。図19の例では4つのピークが生じている。解析画像のヒストグラムのピークと、基準画像のヒストグラムのピークが、Bnだけずれているとする。この場合、図20に示すように、相互相関値には遅延Bnのところに大きなピークが現れる。このピークのピーク値が閾値Thrより大きい場合、例えば、そのピーク値を視認性の指標値に採用する。

0157

第3の演算手法では、視認性の指標値として前景と背景のコントラスト比を求める。

0158

第1の演算手法では、Crチャンネルのヒストグラムにおいてピークが生じるバイナリーBa、Bbの差分|Ba−Bb|を、視認性の指標値として用いている。

0159

第3の演算手法では、コントラスト比|Ba−Bb|/Ba又は|Ba−Bb|/Bbを求め、それを視認性の指標値とする。或いは、第2の演算手法のような基準画像を用いる場合には、解析画像におけるC1=|Ba−Bb|と基準画像におけるC2=|Ba−Bb|を求め、コントラスト比C1/C2又はC2/C1を求め、それを視認性の指標値とする。

0160

第4の演算手法では、多次元ヒストグラムを生成して視認性指標を求める。

0161

第1の演算手法では、視認性の解析に各チャンネルの1次元ヒストグラムを使用している。

0162

一方、第4の演算手法では、複数のチャンネルの信号から多次元ヒストグラムを生成し、その多次元ヒストグラムに対して多次元相関演算を行って、視認性指標を求める。多次元相関演算は、多次元相互相関演算である。これにより、人間の目によるコントラスト検出をより良好に模擬できる可能性がある。3D色ヒストグラムを使用することにより、より良好な性能が得られる場合がある。

0163

以上の実施形態によれば、比較回路145は、解析画像と基準画像の画素値に基づいて指標を統計的に求める。

0164

指標を統計的に求めるとは、解析画像に含まれる複数の画素値を第1の統計の母集団とし、基準画像に含まれる複数の画素値を第2の統計の母集団として、統計的な手法を用いた処理によって指標を求めることである。具体的には、解析画像と基準画像の各々からヒストグラムを生成し、それらのヒストグラムに基づいて指標を求める。

0165

本実施形態によれば、統計的に指標を求めることで、前景画像と背景画像との間の非類似度合いを表す指標を求めることが可能となる。即ち、CRCのようにデータの欠陥を検出するのではなく、統計的な手法によって前景画像と背景画像との間の非類似度合いを評価し、その非類似度合いによってエラーと判定するか否かを決定できる。

0166

また本実施形態では、比較回路145は、解析画像と基準画像の画素値のヒストグラムを求め、そのヒストグラムを用いた相関演算を行う。上述の例では画素値はYCbCrの画素値である。比較回路145は、解析画像のうち関心領域の画像である前景画像と、解析画像のうち前景画像の背景に相当する背景画像との間の非類似度合いを表す視認性指標を相関演算の結果に基づいて求める。エラー検出回路150は、その指標に基づいてエラー検出を行う。

0167

前景画像が背景画像に対して非類似度合いが高い場合、その前景画像が背景画像に対して視覚的に区別されている可能性が高いので、前景画像の視認性が高いと考えられる。即ち、本手法によれば、前景画像の視認性が低い場合にエラーと判断することが可能となる。例えば車載のメーターパネルなどでは、ユーザーに警告するためのアイコン等を表示させる。本実施形態によれば、このようなアイコンが1ビットエラーなどで表示が停止されずに、視認性が確保されている場合において出来るだけ表示させ、ユーザーに警告を行うことができる。

0168

ここで、前景画像は、解析画像のうち、指標により背景画像との非類似度合いを判定したい領域の画像のことである。また、その領域が所与の領域である。また背景画像は、前景画像を除く表示画像の一部又は全体のことである。即ち、前景画像を含む領域である関心領域)を、表示画像の一部又は全体に設定し、その関心領域のうち前景画像を除く領域の画像が背景画像である。

0169

また非類似度合いとは、色空間の構成成分であるの各成分における非類似の程度のことである。構成成分は、チャンネルとも呼ぶ。例えば、YCbCr空間では、前景画像の輝度と背景画像の輝度とがどの程度異なるか、又は前景画像の色と背景画像の色とがどの程度異なるかを表す度合いである。或いは、RGB空間では、前景画像の色と背景画像の色とがどの程度異なるかを表す度合いである。

0170

また本実施形態では、比較回路145は、色空間の構成成分の各成分のヒストグラムを求め、各成分のヒストグラムに対して相互相関演算を行い、相互相関のピークが生じる距離を各成分について求め、求めた距離のうち最大の距離に基づいて指標を求める。最大の距離は、図18において|Ba−Bb|であり、ここでの指標は視認性指標である。

0171

このようにすれば、色空間の構成成分の各成分のうち、前景画像と背景画像で最も差が大きい成分により指標を求めることができる。前景画像と背景画像で最も差が大きい成分は、視覚的にも差が大きく見えると考えられるので、その成分により指標を求めることで、背景と前景の非類似度合いを評価できる。そして、この指標を用いることで、前景の視認性を適切に評価できる。

0172

ここで、指標は最大の距離|Ba−Bb|に基づいて求められた値であればよい。例えば第1の演算手法では、指標は最大の距離|Ba−Bb|そのものである。また第2の演算手法では、指標は、最大の距離|Ba−Bb|に基づくコントラスト比である。コントラスト比は、例えば|Ba−Bb|/Ba等である。

0173

また本実施形態では、図19図20で説明したように、比較回路145は、解析画像から色空間の構成成分の各成分の第1のヒストグラムをヒストグラムとして求め、基準画像から各成分の第2のヒストグラムを求める。比較回路145は、各成分について第1のヒストグラムと第2のヒストグラムの相互相関演算を行い、相互相関のピークのピーク値に基づいて指標を求める。

0174

このようにすれば、解析画像と基準画像が2色以上の色を含むマルチトーンの場合であっても、前景画像と背景画像の非類似度合いを表す指標を求めることができる。即ち、基準画像のヒストグラムには2以上のピークが発生するが、このヒストグラムと同じパターンが解析画像のヒストグラムに含まれている場合、少なくとも色又は輝度のパターンにおいて基準画像に類似した画像が解析画像に含まれていることになる。この場合、相互相関演算の結果に大きなピークが発生するはずなので、そのピーク値により指標を求めることで、前景の視認性を適切に評価できる。

0175

また本実施形態では、比較回路145は、第1の指標である形状指標と、第2の指標である視認性指標とを求める。エラー検出回路150は、第1の指標及び第2の指標に基づいてエラー検出を行う。

0176

このようにすれば、互いに異なる性質について評価した2つの指標を組み合わせて投影画像のエラー検出を行うことができる。即ち、解析画像と基準画像との間の輝度や色の非類似度合いを表す視認性指標と、解析画像と基準画像との間の形状の一致度合いを表す形状指標とを組み合わせることで、投影画像のエラー検出をより高精度に行うことができる。

0177

4.電子機器
図21は、本実施形態の回路装置を含む電子機器の構成例である。電子機器300は、処理装置310、回路装置320、投影装置380、記憶装置350、操作装置360、通信装置370を含む。処理装置310は、例えばMCU等である。回路装置320は、図1図4図6図8の回路装置100に対応し、例えばヘッドアップディスプレイコントローラー或いは表示コントローラーである。

0178

投影装置380は、表示ドライバー330、表示パネル340、光源335、レンズ345を含む。表示ドライバー330が表示パネル340を駆動して画像を表示させる。光源335が表示パネル340に投影用の光を出力し、表示パネル340を通過した又は表示パネル340から反射した光がレンズ345に入射する。レンズ345は被投影体に画像を結像させる。

0179

処理装置310は、記憶装置350に記憶された画像データ、又は通信装置370により受信された画像データを回路装置320に転送する。回路装置320は、画像データに対する画像処理や、表示タイミング制御や、表示ドライバーに転送する画像データのエラー検出処理等を行う。エラー検出処理では、視認性指標や形状指標の算出と、それらの指標に基づくエラー検出を行う。表示ドライバー330は、回路装置320から転送された画像データと、回路装置320による表示タイミング制御に基づいて、表示パネル340を駆動し、画像を表示させる。表示パネル340は、例えば液晶表示パネルである。記憶装置350は、例えばメモリー、或いはハードディスクドライブ、或いは光学ディスクドライブ等である。操作装置360は、電子機器300をユーザーが操作するための装置であり、例えばボタンや、或いはタッチパネルや、或いはキーボード等である。通信装置370は、例えば有線通信(を行う装置や、或いは無線通信を行う装置である。有線通信は、例えばLAN、又はUSB等である。無線通信は、例えば無線LANや、無線近接通信等である。

0180

図21では、電子機器がヘッドアップディスプレイである場合を例に説明したが、本実施形態の回路装置を含む電子機器はこれに限定されない。本実施形態の回路装置を含む電子機器としては、例えばヘッドマウントディスプレイやプロジェクター等、画像を被投影体に投影する種々の機器を想定できる。電子機器の構成は図21に限定されず、用途に応じて種々の構成をとることができる。例えば車載用の電子機器では、回路装置320と投影装置380と操作装置360がメーターパネルに組み込まれ、処理装置310と記憶装置350と通信装置370がECU(Electronic Control Unit)に組み込まれる。この場合、メーターパネルが、本実施形態の回路装置を含む電子機器に相当する。

0181

なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また本実施形態及び変形例の全ての組み合わせも、本発明の範囲に含まれる。また回路装置、電子機器の構成・動作等も、本実施形態で説明したものに限定されず、種々の変形実施が可能である。

0182

100…回路装置、110…インターフェース、125…前処理回路、135…画像処理回路、140…インターフェース、145…比較回路、146…画素アレンジ処理部、147…指標取得部、150…エラー検出回路、170…レジスター回路、175…比較結果レジスター、176…エラー検出結果レジスター、177…動作モード設定レジスター、178…閾値レジスター、190…インターフェース、200…処理装置、210…不揮発性メモリー、300…電子機器、310…処理装置、320…回路装置、330…表示ドライバー、335…光源、340…表示パネル、345…レンズ、350…記憶装置、360…操作装置、370…通信装置、380…投影装置、IMA1〜IMA3…画像、IMB1〜IMB3…画像、MPA1,MPA2…マップデータ、MPB1,MPB2…マップデータ、WEA1,WEA2…マッピング処理部、WEB1,WEB2…マッピング処理部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ