図面 (/)

技術 回路装置、電子機器及びエラー検出方法

出願人 セイコーエプソン株式会社
発明者 アナンドクマーアナンダバイラバサミージョンピーターバンバーセンマンフレッドウィットマイアー
出願日 2018年2月14日 (2年10ヶ月経過) 出願番号 2018-023787
公開日 2019年8月22日 (1年4ヶ月経過) 公開番号 2019-139121
状態 未査定
技術分野
  • -
主要キーワード 自動車用システム 形状指標 動作モード設定レジスタ 形状パラメーター レジスター回路 画素エラー 指標取得 レジスター値
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2019年8月22日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

画像処理により得られた表示画像エラーを適切に検出することが可能な回路装置電子機器及びエラー検出方法等を提供すること。

解決手段

回路装置100は、画像データを取得する画像取得回路と、画像データに基づく表示画像のエラー検出を行うための指標を求める指標取得回路155と、を含む。指標取得回路155は、表示画像のうち所与の領域の画像である前景画像と、表示画像のうち前景画像の背景に相当する背景画像との間の非類似度合いを表す指標を、表示画像の画素値に基づいて求める。

概要

背景

表示装置(例えば液晶表示装置)における表示制御では、CPU等の処理装置表示コントローラーに画像データと制御信号とを送信し、表示コントローラーが画像処理タイミング信号の生成とを行い、その画像処理された画像データとタイミング信号により表示ドライバー表示パネルを駆動する。処理装置から表示コントローラーへの画像データの送信には、例えばLVDS(Low Voltage Differential Signal)方式やRGBシリアル方式等が用いられる。このような通信において表示コントローラーが受信した画像データには、通信エラー等によるデータエラーが発生する場合がある。例えば特許文献1〜3には、表示コントローラーが処理装置から受信した画像データをCRC(Cyclic Redundancy Check)によりエラー検出する技術が開示されている。

概要

画像処理により得られた表示画像エラーを適切に検出することが可能な回路装置電子機器及びエラー検出方法等を提供すること。回路装置100は、画像データを取得する画像取得回路と、画像データに基づく表示画像のエラー検出を行うための指標を求める指標取得回路155と、を含む。指標取得回路155は、表示画像のうち所与の領域の画像である前景画像と、表示画像のうち前景画像の背景に相当する背景画像との間の非類似度合いを表す指標を、表示画像の画素値に基づいて求める。

目的

非表示にするとは、表示パネルに画像を表示させない状態に設定することであり、例えば表示パネルの全表示領域を黒又は白にすることである

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

該当するデータがありません

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

画像データを取得する画像取得回路と、前記画像データに基づく表示画像エラー検出を行うための指標を求める指標取得回路と、を含み、前記指標取得回路は、前記表示画像のうち所与の領域の画像である前景画像と、前記表示画像のうち前記前景画像の背景に相当する背景画像との間の非類似度合いを表す前記指標を、前記表示画像の画素値に基づいて求めることを特徴とする回路装置

請求項2

請求項1において、前記画像データに画像処理を行って、前記表示画像を生成する画像処理回路を含み、前記指標取得回路は、前記画像処理回路により生成された前記表示画像の画素値に基づいて前記指標を求めることを特徴とする回路装置。

請求項3

請求項1又は2において、前記指標取得回路は、前記指標を、前記表示画像の画素値に基づいて統計的に求めることを特徴とする回路装置。

請求項4

画像データを取得する画像取得回路と、前記画像データに画像処理を行って、表示画像を生成する画像処理回路と、前記表示画像のエラー検出を行うための指標を求める指標取得回路と、を含み、前記指標取得回路は、前記表示画像の画素値と前景画像の基準となる基準画像の画素値とに基づいて、又は前記表示画像のエッジ画像の画素値と前記基準画像のエッジ画像の画素値とに基づいて、前記表示画像のうち所与の領域の画像である前記前景画像と、前記基準画像との一致度合いを表す指標を求めることを特徴とする回路装置。

請求項5

請求項1乃至4のいずれかにおいて、前記指標を記憶する指標レジスターを含むことを特徴とする回路装置。

請求項6

請求項1乃至5のいずれかにおいて、前記指標に基づいて前記表示画像の前記エラー検出を行うエラー検出回路を含むことを特徴とする回路装置。

請求項7

請求項6において、前記エラー検出回路は、前記表示画像のエラーを判定するための閾値と、前記指標との比較により、前記エラー検出を行うことを特徴とする回路装置。

請求項8

請求項7において、前記閾値が設定される閾値レジスターを含むことを特徴とする回路装置。

請求項9

請求項8において、前記前景画像として第1〜第nの画像が記憶されるメモリーを含み、前記閾値レジスターには、前記第1〜第nの画像に対応する第1〜第nの閾値が前記閾値として設定され、前記エラー検出回路は、前記第1〜第nの画像の第iの画像を前記前景画像として含む前記表示画像の前記エラー検出を行うとき、前記第1〜第nの閾値の第iの閾値を用いて前記エラー検出を行うことを特徴とする回路装置。

請求項10

請求項6乃至9のいずれかにおいて、前記エラー検出回路により前記表示画像がエラーと判定されたときの回路装置の動作モードが設定される動作モード設定レジスターを含むことを特徴とする回路装置。

請求項11

請求項10において、前記動作モード設定レジスターには、前記エラー検出の結果を前記回路装置の外部装置通知するモード、前記表示画像を非表示にするモード、又は前記表示画像として特定の画像を表示させるモードが、前記動作モードとして設定されることを特徴とする回路装置。

請求項12

請求項6乃至8のいずれかにおいて、前記前景画像として第1〜第nの画像が記憶されるメモリーと、前記第1〜第nの画像に対応する第1〜第nの動作モードが設定される動作モード設定レジスターと、を含み、前記第1〜第nの動作モードの第iの動作モードは、前記エラー検出回路が前記第1〜第nの画像の第iの画像を前記前景画像として含む前記表示画像の前記エラー検出を行った場合において、前記エラー検出回路により前記表示画像がエラーと判定されたときの回路装置の動作モードであることを特徴とする回路装置。

請求項13

請求項1乃至12のいずれかに記載の回路装置を含むことを特徴とする電子機器

請求項14

画像データを取得し、前記画像データに基づく表示画像のうち所与の領域の画像である前景画像と、前記表示画像のうち前記前景画像の背景に相当する背景画像との間の非類似度合いを表す指標を、前記表示画像のエラー検出を行うための指標として、前記表示画像の画素値に基づいて求めることを特徴とするエラー検出方法

請求項15

画像データを取得し、前記画像データに画像処理を行って表示画像を生成し、前記表示画像の画素値と前景画像の基準となる基準画像の画素値とに基づいて、又は前記表示画像のエッジ画像の画素値と前記基準画像のエッジ画像の画素値とに基づいて、前記表示画像のうち所与の領域の画像である前記前景画像と、前記基準画像との一致度合いを表す指標を、前記表示画像のエラー検出を行うための指標として求めることを特徴とするエラー検出方法。

技術分野

0001

本発明は、回路装置電子機器及びエラー検出方法等に関する。

背景技術

0002

表示装置(例えば液晶表示装置)における表示制御では、CPU等の処理装置表示コントローラーに画像データと制御信号とを送信し、表示コントローラーが画像処理タイミング信号の生成とを行い、その画像処理された画像データとタイミング信号により表示ドライバー表示パネルを駆動する。処理装置から表示コントローラーへの画像データの送信には、例えばLVDS(Low Voltage Differential Signal)方式やRGBシリアル方式等が用いられる。このような通信において表示コントローラーが受信した画像データには、通信エラー等によるデータエラーが発生する場合がある。例えば特許文献1〜3には、表示コントローラーが処理装置から受信した画像データをCRC(Cyclic Redundancy Check)によりエラー検出する技術が開示されている。

先行技術

0003

特開2012−35677号公報
特開2007−101691号公報
特開2007−72394号公報

発明が解決しようとする課題

0004

CRCを用いたエラー検出では、処理装置が画像データからCRC値を求め、その画像データ及びCRC値を表示コントローラーに送信し、表示コントローラーが、受信した画像データからCRC値を求め、その求めたCRC値と処理装置から受信したCRC値とを比較する。この手法では、受信した画像データと、送信元の画像データとがデータとして一致しているか否かが検証される。このため、受信した画像データに対して画像処理を行った場合には、受信したCRC値によるエラー検出を行うことができない。具体的には、画像処理後の画像を表示させる際に、従来のCRCを用いたエラー検出では、表示画像エラーを適切に検出することができない。

0005

また、CRCのようなビット単位のエラー検出を用いた場合、例えば画像データに含まれる1ビット分のエラーを検出可能である。しかしながら、1ビット分のエラー等の微小なエラーを画像データが含んでいたとしても、実際の表示では元の画像と大きな差がなく、ユーザー誤認識する(元の画像と異なる画像と誤って認識する)可能性は低いと考えられる。CRCのようなビット単位のエラー検出では、このような微小なエラーも検出してしまうため、ユーザーが誤認識するようなエラーを適切に検出する目的には不向きである。例えば、表示画像にアイコン等を表示させた場合において、そのアイコン等をユーザーが正しく認識できるか否かといった判定には不向きである。

0006

本発明の幾つかの態様によれば、画像処理により得られた表示画像のエラーを適切に検出することが可能な回路装置、電子機器及びエラー検出方法等を提供できる。

課題を解決するための手段

0007

本発明の一態様は、画像データを取得する画像取得回路と、前記画像データに基づく表示画像のエラー検出を行うための指標を求める指標取得回路と、を含み、前記指標取得回路は、前記表示画像のうち所与の領域の画像である前景画像と、前記表示画像のうち前記前景画像の背景に相当する背景画像との間の非類似度合いを表す前記指標を、前記表示画像の画素値に基づいて求める回路装置に関係する。

0008

また本発明の一態様では、前記画像データに画像処理を行って、前記表示画像を生成する画像処理回路を含み、前記指標取得回路は、前記画像処理回路により生成された前記表示画像の画素値に基づいて前記指標を求めてもよい。

0009

また本発明の一態様では、前記指標取得回路は、前記指標を、前記表示画像の画素値に基づいて統計的に求めてもよい。

0010

また本発明の他の態様は、画像データを取得する画像取得回路と、前記画像データに画像処理を行って、表示画像を生成する画像処理回路と、前記表示画像のエラー検出を行うための指標を求める指標取得回路と、を含み、前記指標取得回路は、前記表示画像の画素値と前景画像の基準となる基準画像の画素値とに基づいて、又は前記表示画像のエッジ画像の画素値と前記基準画像のエッジ画像の画素値とに基づいて、前記表示画像のうち所与の領域の画像である前記前景画像と、前記基準画像との一致度合いを表す指標を求める回路装置に関係する。

0011

また本発明の他の態様では、前記指標を記憶する指標レジスターを含んでもよい。

0012

また本発明の他の態様では、前記指標に基づいて前記表示画像の前記エラー検出を行うエラー検出回路を含んでもよい。

0013

また本発明の他の態様では、前記エラー検出回路は、前記表示画像のエラーを判定するための閾値と、前記指標との比較により、前記エラー検出を行ってもよい。

0014

また本発明の他の態様では、前記閾値が設定される閾値レジスターを含んでもよい。

0015

また本発明の他の態様では、前記前景画像として第1〜第nの画像が記憶されるメモリーを含み、前記閾値レジスターには、前記第1〜第nの画像に対応する第1〜第nの閾値が前記閾値として設定され、前記エラー検出回路は、前記第1〜第nの画像の第iの画像を前記前景画像として含む前記表示画像の前記エラー検出を行うとき、前記第1〜第nの閾値の第iの閾値を用いて前記エラー検出を行ってもよい。

0016

また本発明の他の態様では、前記エラー検出回路により前記表示画像がエラーと判定されたときの回路装置の動作モードが設定される動作モード設定レジスターを含んでもよい。

0017

また本発明の他の態様では、前記動作モード設定レジスターには、前記エラー検出の結果を前記回路装置の外部装置通知するモード、前記表示画像を非表示にするモード、又は前記表示画像として特定の画像を表示させるモードが、前記動作モードとして設定されてもよい。

0018

また本発明の他の態様では、前記前景画像として第1〜第nの画像が記憶されるメモリーと、前記第1〜第nの画像に対応する第1〜第nの動作モードが設定される動作モード設定レジスターと、を含み、前記第1〜第nの動作モードの第iの動作モードは、前記エラー検出回路が前記第1〜第nの画像の第iの画像を前記前景画像として含む前記表示画像の前記エラー検出を行った場合において、前記エラー検出回路により前記表示画像がエラーと判定されたときの回路装置の動作モードであってもよい。

0019

また本発明の更に他の態様は、上記のいずれかに記載の回路装置を含む電子機器に関係する。

0020

また本発明の更に他の態様は、画像データを取得し、前記画像データに基づく表示画像のうち所与の領域の画像である前景画像と、前記表示画像のうち前記前景画像の背景に相当する背景画像との間の非類似度合いを表す指標を、前記表示画像のエラー検出を行うための指標として、前記表示画像の画素値に基づいて求めるエラー検出方法に関係する。

0021

また本発明の更に他の態様は、画像データを取得し、前記画像データに画像処理を行って表示画像を生成し、前記表示画像の画素値と前景画像の基準となる基準画像の画素値とに基づいて、又は前記表示画像のエッジ画像の画素値と前記基準画像のエッジ画像の画素値とに基づいて、前記表示画像のうち所与の領域の画像である前記前景画像と、前記基準画像との一致度合いを表す指標を、前記表示画像のエラー検出を行うための指標として求めるエラー検出方法に関係する。

図面の簡単な説明

0022

本実施形態の回路装置の第1の構成例。
本実施形態の回路装置の第2の構成例。
複数の前景画像が用いられる場合におけるレジスター回路の構成例。
エラー検出処理処理フローを示すフローチャート
関心領域におけるYCbCrの各チャンネルヒストグラム
ヒストグラムに自己相関演算を行って得られた自己相関値
表示画像の第1の例。
前景マルチトーンである場合のヒストグラムの例。
前景がマルチトーンである場合のヒストグラムの相互相関値の例。
基準画像の例。
基準画像の平均化画像
表示画像の第2の例。
表示画像の第3の例。
表示画像の第4の例。
基準画像と表示画像(関心領域)とマスク画像の第1の例。
第1の例の基準画像と表示画像から計算されたエッジ値の例。
基準画像と表示画像(関心領域)とマスク画像の第2の例。
第2の例の基準画像と表示画像から計算されたエッジ値の例。
電子機器の構成例。

実施例

0023

以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。

0024

1.回路装置
図1は、本実施形態の回路装置の第1の構成例である。回路装置100は、インターフェース110(第1のインターフェース)、前処理回路125、画像処理回路135、インターフェース140(第2のインターフェース)、指標取得回路155、CRC回路160、レジスター回路170、アイコン処理回路180、インターフェース190(第3のインターフェース)、メモリー195を含む。回路装置100は、例えば集積回路装置(IC)である。

0025

インターフェース110は、例えば処理装置200等から回路装置100に送信される画像データを受信し、その受信した画像データを、回路装置100の内部で用いられる形式に変換する。インターフェース110は、画像取得回路とも呼ぶ。例えば、インターフェース110はOpenLDI(OpenLVDS Display Interface)であり、LVDS(Low Voltage Differential Signaling)で受信したシリアル信号を、RGBのパラレル信号に変換する。処理装置200は、例えばSoC(System on a Chip)やMCU(Micro Control Unit)、CPU(Central Processing Unit)等である。

0026

前処理回路125は、インターフェース110から入力される画像データに対して種々の画像処理を行う。例えば、前処理回路125は、ガンマ補正FRC(Frame Rate Control)、ホワイトバランス処理等を行う。例えばRチャンネル、Gチャンネル及びBチャンネルの各々のチャンネルのための1次元ルックアップテーブルがメモリー195又はレジスター回路170又は不図示の不揮発性メモリーに記憶されており、そのルックアップテーブルを用いて各々のチャンネルに対してガンマ補正を行う。FRCでは、フレーム間で階調スイッチングすることで、疑似的に中間階調表現する処理を行う。ホワイトバランス処理では、例えばホワイトバランスを調整するための1次元ルックアップテーブルがメモリー195又はレジスター回路170又は不図示の不揮発性メモリーに記憶されており、そのルックアップテーブルを用いてRGBチャンネルを調整する。

0027

アイコン処理回路180は、アイコン画像の生成又は取得を行う。例えば、アイコン処理回路180はアイコン色拡張回路である。メモリー195にアイコンのマスク画像が記憶されており、アイコン処理回路180は、そのマスク画像をRGB画像に変換することでアイコン画像を生成する。マスク画像は、各画素がkビットのデータを有するkビット画像である。kは1以上の整数である。2k乗個インデックス色テーブルがメモリー195又はレジスター回路170又は不図示の不揮発性メモリーに記憶されており、その色テーブルに従ってkビットのデータをRGBのデータに変換する。例えばk=2の場合、色テーブルは、2ビットのインデックスに4色が対応付けられたルックアップテーブルである。或いはk=1の場合、色テーブルは1ビットのインデックスに2色が対応付けられたルックアップテーブルであり、背景の画素を表す「0」に特定の色が対応付けられ、前景の画素を表す「1」に他の色が対応付けられる。他の色とは、背景とは異なる特定の色である。メモリー195は、例えばSRAM等のRAMである。

0028

画像処理回路135は、前処理回路125から入力される画像(以下、入力画像と呼ぶ)にアイコン画像を重ねることにより、入力画像にアイコン画像を合成し、その合成した画像を表示画像としてインターフェース140に出力する。この場合の表示画像は、レンダーされた画像である。例えば、画像処理回路135は、アイコン画像が完全に背景を隠すように入力画像にアイコン画像を重ねる。ここでの背景とは、入力画像である。或いは、アイコン画像と背景を所与のブレンド比ブレンドしてもよい。入力画像にアイコン画像を重ねる位置は、例えばレジスター回路170又はメモリー195又は不図示の不揮発性メモリーに設定される。また画像処理回路135は、入力画像又は、入力画像にアイコン画像を合成した画像に対して、種々の画像処理を行い、その画像処理後の画像を表示画像として出力してもよい。画像処理は、例えば階調変換処理座標変換処理色変換処理補間処理等である。

0029

インターフェース140は、表示画像を回路装置100の外部に出力する。回路装置100の外部とは、例えば表示パネルを駆動する表示ドライバーである。例えば、インターフェース140はLVDSのインターフェースであり、画像処理回路135からのRGBのパラレル信号をLVDSのシリアル信号に変換する。インターフェース140は、指標と共に表示画像を出力し、その指標を受信した表示ドライバーが、指標に基づく動作を行ってもよい。指標に基づく動作は、例えば表示の停止等である。

0030

インターフェース190は、回路装置100と処理装置200との間で設定情報制御情報等を通信する。例えば、インターフェース190は、SPI(Serial Peripheral Interface)方式やI2C方式等のシリアル通信インターフェースである。処理装置200からの設定情報や制御情報は、例えばレジスター回路170に書き込まれ、回路装置100は、その設定情報や制御情報に応じた動作を行う。

0031

CRC回路160は、インターフェース110が受信した画像データに対してCRCによるエラー検出を行う。即ち、処理装置200からインターフェース190を介して入力される基準のCRC値と、インターフェース110が受信した画像データから計算したCRC値とを比較し、それらが一致するか否かを検出する。

0032

指標取得回路155は、表示画像の関心領域(ROI: Region Of Interest)から、その関心領域の画像が適切に表示されるかを示す指標を求める。関心領域は、表示画像においてアイコンを含む領域である。具体的には、指標取得回路155は、表示画像のうちアイコン画像に相当する前景画像と、表示画像のうち前景画像の背景に相当する背景画像との間の非類似度合いを表す指標を、表示画像の画素値に基づいて求める。この指標は、アイコンの視認性を評価するための視認性指標であり、詳細は後述する。背景画像は、入力画像又は、入力画像を画像処理した画像であって、表示画像のうち前景画像を除く部分である。或いは、指標取得回路155は、表示画像の画素値と前景画像の基準となる基準画像の画素値とに基づいて、又は表示画像のエッジ画像の画素値と基準画像のエッジ画像の画素値とに基づいて、表示画像のうちアイコン画像に相当する前景画像と、基準画像との一致度合いを表す指標を求める。この指標は、アイコンの形状と基準との類似性を評価する形状指標であり、詳細は後述する。基準は、例えばマスク画像である。

0033

レジスター回路170は、インターフェース190を介して処理装置200からアクセス可能に構成されている。レジスター回路170は、指標取得回路155が求めた指標を記憶する指標レジスター171を含み、処理回路200は、インターフェース190を介して指標レジスター171から指標を読み出す。処理回路200は、その指標に基づいてエラー検出を行うエラー検出回路を含む。以上の指標取得とエラー検出により、画像解析による表示画像のエラー検出を実現している。即ち、入力画像にアイコン画像が正しく合成されたか否かを画像解析によりチェックしている。

0034

画像処理回路135による画像処理後の画像データは、インターフェース110が受信した画像データとは異なっているため、処理装置200から入力されるCRC値によるエラー検出を行うことができない。本実施形態では、画像処理後の画像から視認性指標や形状指標を求めることで、アイコンの視認性やアイコンの形状と基準との類似性を評価し、その評価結果によりエラー検出できる。即ち、アイコンの視認性やアイコンの形状と基準との類似性が低い場合にエラーと判定できる。

0035

なお、回路装置100に含まれるロジック回路は、例えば個々の回路として構成されてもよいし、或いは自動配置配線等により一体化された回路として構成されてもよい。ロジック回路は、例えば前処理回路125、画像処理回路135、エラー検出回路150、CRC回路160、アイコン処理回路180等である。また、これらのロジック回路の一部又は全部が、DSP(Digital Signal Processor)等のプロセッサーにより実現されてもよい。この場合、各回路の機能が記述されたプログラム命令セットがメモリーに記憶され、そのプログラムや命令セットをプロセッサーが実行することで、各回路の機能が実現される。

0036

図2は、本実施形態の回路装置の第2の構成例である。図2では、回路装置100がエラー検出回路150を含む。またレジスター回路170がエラー検出結果レジスター174を含む。なお、図1で説明した構成要素と同一の構成要素には同一の符号を付し、その構成要素についての説明を適宜に省略する。

0037

指標取得回路155は、求めた指標をエラー検出回路150に出力する。エラー検出回路150は、その指標に基づいて表示画像のエラー検出を行う。視認性指標は、アイコンの視認性に応じて変化する数値であり、形状指標は、アイコンの形状と基準との類似性に応じて変化する数値である。エラー検出回路150は、これらの指標と閾値とを比較することで、エラー検出を行う。視認性指標に対する閾値は、どの程度の視認性を有していれば許容できるかを示す閾値であり、形状指標に対する閾値は、どの程度の類似性を有していれば許容できるかを示す閾値である。

0038

画像処理回路135は、エラー検出回路150によりエラーが検出された場合、インターフェース140への表示画像の出力を停止する。或いは、インターフェース140は、エラー検出回路150によりエラーが検出された場合、表示画像の出力を停止する。インターフェース140は、エラー情報と共に表示画像を出力し、そのエラー情報を受信した表示ドライバーが、エラー情報に基づく動作を行ってもよい。エラー情報は、例えばエラー判定フラグ、或いは指標等である。エラー情報に基づく動作は、例えば表示の停止等である。

0039

レジスター回路170は、エラー検出回路150が出力したエラー検出結果を記憶するエラー検出結果レジスター174を含み、処理回路200は、インターフェース190を介してエラー検出結果レジスター174からエラー検出結果を読み出す。エラー検出結果は、例えば、表示画像がエラーと判定されたか否かを示すエラー判定フラグである。処理装置200は、エラー検出結果がエラーを示していた場合、エラー検出時の動作を行う。エラー検出時の動作は、例えば回路装置100への画像データの送信停止や、或いは、回路装置100への所定の画像データの送信等である。所定の画像データは、エラー検出時にユーザーに提示する画像の画像データである。

0040

図2の構成においても、図1の構成と同様に、画像処理後の画像から視認性指標や形状指標を求めることで、アイコンの視認性やアイコンの形状と基準との類似性を評価し、その評価結果によりエラー検出できる。

0041

以上に説明した図1図2の回路装置100としては、表示ドライバーを制御する表示コントローラーを想定できる。但し、本実施形態の手法を適用できる回路装置は表示コントローラーに限定されない。例えば、回路装置は、表示コントローラーの機能を含む表示ドライバーであってもよい。回路装置が表示コントローラーや表示ドライバーである場合、回路装置は例えば集積回路装置(IC)である。なお、回路装置は複数の集積回路装置を含んでもよい。例えば、回路装置は、第1の集積回路装置である表示コントローラーと、第2の集積回路装置である処理装置と、を含む。この場合、表示コントローラーは、指標を取得する指標取得回路を含み、処理装置は、表示コントローラーから受信した指標に基づいてエラー検出を行うエラー検出回路を含む。

0042

2.レジスター回路
図3は、複数の前景画像が用いられる場合におけるレジスター回路の構成例である。図3では、インターフェース110、CRC回路160の図示を省略している。なお図1図2で説明した構成要素と同一の構成要素には同一の符号を付し、その構成要素についての説明を適宜に省略する。

0043

図3に示すように、メモリー195には前景画像として第1〜第nの画像が記憶されている。nは2以上の整数である。前景画像は、入力画像である背景画像よりもサイズが小さい画像である。第1〜第nの画像は、例えば形状やサイズ、背景画像に対する表示位置等が互いに異なる画像である。以下では第1〜第nの画像がアイコンのマスク画像である場合を例に説明するが、第1〜第nの画像はアイコンのマスク画像に限定されない。アイコン処理回路180は、第1〜第nの画像のいずれかの画像をメモリー195から読み出し、その画像をアイコンのマスク画像としてアイコン画像を生成する。画像処理回路135は、入力画像にアイコン画像を合成し、その合成した画像を表示画像として出力する。

0044

なお、入力画像に複数のアイコン画像を合成して表示画像を生成してもよい。即ち、アイコン処理回路180が、第1〜第nの画像のうち複数の画像をメモリー195から読み出し、その各々の画像からアイコン画像を生成する。これにより複数のアイコン画像が生成される。画像処理回路135は、入力画像に複数のアイコン画像を合成して表示画像を生成する。

0045

レジスター回路170は、指標レジスター171、閾値レジスター172、動作モード設定レジスター173、エラー検出結果レジスター174を含む。これらのレジスターの各々には、n枚の前景画像に対応したn個のレジスター値が記憶され、或いは設定される。

0046

指標レジスター171は、第1〜第nの画像に対応する第1〜第nの指標を記憶する。即ち、第iの画像から生成されたアイコン画像が表示画像に含まれる場合、指標取得回路155は、そのアイコンの視認性を評価するための第iの視認性指標と、そのアイコンの形状と基準の類似性を評価するための第iの形状指標とを第iの指標として取得する。指標レジスター171は、その第iの指標を記憶する。iは1以上n以下の整数である。なお、指標取得回路155が視認性指標及び形状指標の一方を求め、それを第iの指標として指標レジスター171が記憶してもよい。

0047

閾値レジスター172には、処理装置200からインターフェース190を介して第1〜第nの画像に対応した第1〜第nの閾値が設定される。具体的には、閾値レジスター172には、第iの視認性指標用閾値と第iの形状指標用閾値とが第iの閾値として設定される。エラー検出回路150は、第iの指標と第iの閾値とを比較してエラー検出を行う。即ち、エラー検出回路150は、第iの視認性指標と第iの視認性指標用閾値とを比較し、第iの形状指標と第iの形状指標用閾値とを比較し、それらの比較結果に基づいてエラー検出を行い、その結果を第iのエラー検出結果として出力する。例えば、それらの比較結果の少なくとも一方がエラーを示す結果である場合、表示画像にエラーが存在すると判定する。

0048

エラー検出結果レジスター174は、第1〜第nの画像に対応した第1〜第nのエラー検出結果を記憶する。第iのエラー検出結果は、第iの画像に関して表示画像にエラーが存在するか否かを示すものである。処理装置200は、インターフェース190を介してエラー検出結果レジスター174から第1〜第nのエラー検出結果を読み出し、その第1〜第nのエラー検出結果に基づく動作を行う。なお、エラー検出回路150が1つのエラー検出結果を出力し、エラー検出結果レジスター174が、その1つのエラー検出結果を記憶してもよい。即ち、エラー検出回路150は、第1〜第nのエラー検出結果のいずれかがエラーを示す場合に、エラーを示すエラー検出結果を出力してもよい。又は第1〜第nのエラー検出結果の全てがエラーでないことを示す場合に、エラーでないことを示すエラー検出結果を出力し、そのエラー検出結果をエラー検出結果レジスター174が記憶してもよい。

0049

なお、回路装置100が指標を取得し、処理装置200が指標に基づいてエラー検出する場合には、エラー検出結果レジスター174が省略されてもよい。この場合、処理装置200はインターフェース190を介して指標レジスター171から第1〜第nの指標を読み出し、その第1〜第nの指標に基づいてエラー検出を行う。

0050

動作モード設定レジスター173は、処理装置200からインターフェース190を介して、第1〜第nの画像に対応する第1〜第nのモード設定情報が設定される。第iのモード設定情報は、第iのエラー検出結果がエラーを示す場合における動作モードを設定する情報であり、エラー検出時の動作としてどのような動作を行うかを設定する情報である。

0051

以上の実施形態によれば、回路装置100は、画像データを取得する画像取得回路と、その画像データに基づく表示画像のエラー検出を行うための指標を求める指標取得回路155と、を含む。そして、指標取得回路155は、表示画像のうち所与の領域の画像である前景画像と、表示画像のうち前景画像の背景に相当する背景画像との間の非類似度合いを表す指標を、表示画像の画素値に基づいて求める。

0052

画像取得回路は、図1図2のインターフェース110に対応する。なお、画像取得回路は、画像処理回路135により処理される前の画像データを取得する回路であればよく、インターフェース110に限定されない。例えば画像取得回路は、不図示のメモリーに記憶された画像データを読み出すメモリーアクセス回路であってもよい。或いは画像取得回路は、図1図2の前処理回路125であってもよい。

0053

画像データに基づく表示画像は、画像データを処理して得られた画像であって、表示パネルに表示させるための画像である。上述したように、例えば画像データが示す画像に対してアイコンを合成した画像である。或いは、画像データが示す画像又はアイコン合成後の画像に対して階調変換処理等の画像処理を行った画像である。

0054

所与の領域の画像は、上述のように例えばアイコン画像であるが、これに限定されず、表示画像の一部に表示される画像であればよい。なお、図1図2では前景画像であるアイコン画像を背景画像に合成しているが、これに限定されない。即ち、前景画像は背景画像に合成されたものに限定されず、エラー検出の対象としたい表示画像の一部を前景画像として指定し、その前景画像についての指標を求めてもよい。

0055

本実施形態によれば、前景画像と背景画像との間の非類似度合いを表す指標を表示画像の画素値に基づいて求めるので、CRC等のデータエラー検出手法を用いることができない場合であっても、表示画像のエラー検出を行うことができる。即ち、CRC値と共に受信された画像データに対して画像処理を行い、その画像処理後の画像を表示画像として表示させる場合であっても、前景画像と背景画像との間の非類似度合いを表す指標によって前景画像の視認性を評価できる。これにより、前景画像の視認性を確保できる場合には表示を行い、前景画像の視認性を確保できない場合にはエラーと判定できる。このようにして、従来のCRC等のデータエラー検出手法によらないエラー検出が可能となる。

0056

また本実施形態では、画像データに画像処理を行って、表示画像を生成する画像処理回路135を含む。指標取得回路155は、画像処理回路135により生成された表示画像の画素値に基づいて指標を求める。

0057

上述したように、階調変換処理等の画像処理を行った画像は、インターフェース110が受信した画像とは異なっているため、CRC等のデータエラー検出手法を適用できない。本実施形態によれば、前景画像と背景画像との間の非類似度合いを表す指標を求めることで、その指標に基づいてエラー検出を行うことが可能となる。

0058

また本実施形態では、指標取得回路155は、指標を、表示画像の画素値に基づいて統計的に求める。

0059

指標を統計的に求めるとは、表示画像に含まれる複数の画素値を統計の母集団として、統計的な手法を用いた処理によって指標を求めることである。具体的には、表示画像からヒストグラムを生成し、そのヒストグラムに基づいて指標を求める。詳細は後述するが、例えば表示画像から生成したヒストグラムと、前景画像から生成したヒストグラムとの相関演算によって指標を求める、或いは、表示画像から生成したヒストグラムに含まれるバイナリーに対する判定処理によって指標を求める。

0060

本実施形態によれば、表示画像の画素値に基づいて統計的に指標求めることで、前景画像と背景画像との間の非類似度合いを表す指標を求めることが可能となる。即ち、CRCのようにデータの欠陥を検出するのではなく、統計的な手法によって前景画像と背景画像との間の非類似度合いを評価し、その非類似度合いによってエラーと判定するか否かを決定できる。

0061

また本実施形態では、回路装置100は、画像データを取得する画像取得回路と、画像データに画像処理を行って、表示画像を生成する画像処理回路135と、表示画像のエラー検出を行うための指標を求める指標取得回路155と、を含む。指標取得回路155は、表示画像の画素値と前景画像の基準となる基準画像の画素値とに基づいて、又は表示画像のエッジ画像の画素値と基準画像のエッジ画像の画素値とに基づいて、表示画像のうち所与の領域の画像である前景画像と、基準画像との一致度合いを表す指標を求める。

0062

基準画像は、表示画像において前景画像として表示されていることが期待される画像であり、形状が前景画像と同じ画像である。前景画像と基準画像との一致度合いが高い場合、前景画像の形状と基準画像の形状との一致度合いが高いと判断できる。本実施形態によれば、前景画像と基準画像の一致度合いが高い場合には表示を行い、前景画像と基準画像の一致度合いが低い場合にはエラーと判定できる。このようにして、従来のCRC等のデータエラー検出手法によらないエラー検出が可能となる。

0063

また本実施形態では、回路装置100は、指標を記憶する指標レジスター171を含む。

0064

指標取得回路155が求めた指標を指標レジスター171に記憶させることで、インターフェースを介して指標レジスター171から指標を取得できるようになる。例えば、回路装置100の外部の処理装置200がインターフェース190を介して指標レジスター171から指標を取得できる。これにより、指標を取得した処理装置200等が、その指標に基づいて表示画像のエラー検出を行えるようになる。

0065

また本実施形態では、回路装置100は、指標に基づいて表示画像のエラー検出を行うエラー検出回路150を含む。

0066

このようにすれば、回路装置100に内蔵されたエラー検出回路150によって表示画像のエラー検出を行うことができる。そして、エラー検出結果に基づいて回路装置100がエラー検出時の動作を行うことができ、或いは、エラー検出結果を処理装置200等に出力して、処理装置200等がエラー検出結果に基づいてエラー検出時の動作を行うことができる。

0067

また本実施形態では、エラー検出回路150は、表示画像のエラーを判定するための閾値と、指標との比較により、エラー検出を行う。

0068

CRCを用いたデータエラー検出手法では、画像データと共に受信されたCRC値と、受信された画像データから演算したCRC値とを比較することで、画像データにエラーが存在するか否かが検出される。一方、本実施形態における指標は、単純にエラーであるか否かを示すだけの指標ではなく、前景画像と背景画像の非類似度合い又は前景画像と基準画像の一致度合いに応じて値が変化する。この指標と閾値とを比較することで、CRC等のデータエラー検出手法が使用できない場合であっても、エラー検出を行うことができる。即ち、非類似度合いに基づいて視認性が確保できないと判断される場合、或いは一致度合いに基づいて形状の類似性が確保できないと判断される場合に、エラーと判定することが可能となる。

0069

また本実施形態では、閾値が設定される閾値レジスター172を含む。

0070

このようにすれば、指標と比較するための閾値を、インターフェースを介して閾値レジスター172に設定することができる。例えば、処理装置200がインターフェース190を介して閾値レジスター172に閾値を設定できる。閾値を可変に設定することで、どの程度の視認性、或いは、どの程度の形状の類似性がある場合にエラーであると判断するかが可変となる。閾値レジスター172を設けることで、例えばユーザーが任意にエラー判定基準である閾値を設定できるようになる。ユーザーは、例えば、車載用メータパネル等の電子機器を製造する事業者、又は、かかる電子機器を含む自動車を製造する事業者である。

0071

また本実施形態では、回路装置100は、前景画像として第1〜第nの画像が記憶されるメモリー195を含む。閾値レジスター172には、第1〜第nの画像に対応する第1〜第nの閾値が、表示画像のエラーを判定するための閾値として設定される。エラー検出回路150は、第iの画像を前景画像として含む表示画像のエラー検出を行うとき、第iの閾値を用いてエラー検出を行う。

0072

このようにすれば、前景画像として表示させる画像毎に、指標と比較する閾値を設定することができる。これにより、前景画像として表示させる画像毎に、どの程度の視認性や形状の類似性を許容するのかを変えることができる。例えば、前景画像がアイコン画像である場合、どのようなアイコンであるかが認識できない場合にはアイコンを表示させたくないアイコンに対しては、エラー検出されやすい閾値を設定し、どのようなアイコンであるかが認識できない場合であっても何らかの表示が行われていると認識させたいアイコンに対しては、エラー検出されにくい閾値を設定できる。

0073

また本実施形態では、エラー検出回路150により表示画像がエラーと判定されたときの回路装置100の動作モードが設定される動作モード設定レジスター173を含む。

0074

このようにすれば、表示画像がエラーと判定されたときの回路装置100の動作モードを、インターフェースを介して動作モード設定レジスター173に設定することができる。例えば、処理装置200がインターフェース190を介して動作モード設定レジスター173に動作モードを設定できる。例えばユーザーが望むエラー検出時の動作を、回路装置100に行わせることが可能になる。

0075

また本実施形態では、動作モード設定レジスター173には、エラー検出の結果を回路装置100の外部装置に通知するモード、表示画像を非表示にするモード、又は表示画像として特定の画像を表示させるモードが、動作モードとして設定される。

0076

エラー検出の結果は、例えばエラーが検出されたか否かを示す情報や、第1〜第nの画像のうち、いずれの画像についてエラーが検出されたかを示す情報等である。外部装置は、例えば処理装置200であり、例えばSoCやCPU等である。外部装置へは、例えばインターフェース190を介してエラー検出の結果を出力する。非表示にするとは、表示パネルに画像を表示させない状態に設定することであり、例えば表示パネルの全表示領域を黒又は白にすることである。特定の画像とは、エラー検出の対象となった表示画像とは異なる画像であり、エラー検出時において表示させたい画像である。例えば、エラー検出時にユーザーに提示したメッセージ記号、色等が表示された画像である。色の場合、例えば表示パネルの表示領域の全部又は一部に例えば赤等の所定の色を表示させる。

0077

このようにすれば、表示画像がエラーと判定されたときの回路装置100の動作モードを、上記3つのモードのいずれかに設定することができる。例えばユーザーが望むエラー検出時の動作として、上記3つのモードの動作のいずれかを回路装置100に行わせることが可能になる。

0078

また本実施形態では、動作モード設定レジスター173には、第1〜第nの画像に対応する第1〜第nの動作モードが設定される。第iの動作モードは、エラー検出回路150が、第iの画像を前景画像として含む表示画像のエラー検出を行った場合において、エラー検出回路150により表示画像がエラーと判定されたときの回路装置100の動作モードである。

0079

このようにすれば、前景画像として表示させる画像毎に、エラー検出時の動作を設定することができる。例えば、前景画像がアイコン画像である場合、そのアイコンの表示にエラーが検出された際にどのような動作を行うかを、アイコンの種類に応じて設定することができる。

0080

なお、以上では回路装置100の各回路が本発明の動作を実行する場合を説明したが、本発明の動作は以下のようなエラー検出方法として実行されてもよい。

0081

即ち、エラー検出手法において、画像データを取得し、その画像データに基づく表示画像のうち所与の領域の画像である前景画像と、表示画像のうち前景画像の背景に相当する背景画像との間の非類似度合いを表す指標を、表示画像のエラー検出を行うための指標として、表示画像の画素値に基づいて求めてもよい。また、エラー検出手法において、画像データを取得し、その画像データに画像処理を行って表示画像を生成し、表示画像の画素値と前景画像の基準となる基準画像の画素値とに基づいて、又は表示画像のエッジ画像の画素値と基準画像のエッジ画像の画素値とに基づいて、表示画像のうち所与の領域の画像である前景画像と、基準画像との一致度合いを表す指標を、表示画像のエラー検出を行うための指標として求めてもよい。

0082

3.指標取得処理、エラー検出処理
以下、指標取得回路155が行う指標取得処理と、エラー検出回路150が行うエラー検出処理について説明する。

0083

コンテンツディスプレイに表示する画像処理システムでは、画像の所定の領域が当初の意図と一致しているか否かを確認する必要がある場合がある。例えば、自動車用システムクラスターディスプレイに重要な画像を表示する場合を考える。クラスターディスプレイは、メーターパネルのディスプレイである。このとき、画面に表示されている既存のコンテンツに重ねられた可視画像を介して所定の重要な情報を表示する必要がある。以下では、画像が正しく表示されているか否かを検出するためのいくつかの方法を説明する。検出は、関心領域(ROI)を解析し、その領域が正しく表示されている程度を示すいくつかの主要な指標を導き出すことによって行う。

0084

以下では、基準に対して表示画像を検証する方法及び概念を用いる。これは、基準画像に対する表示画像の一致度を演算することによって達成される。以下では、表示画像における関心領域(ROI)を考慮する場合について述べるが、画像全体境界にROIを設定することによって画像全体に対して容易に拡張することができる。以下では本発明の手法におけるアルゴリズムカラー画像に適用した例について述べるが、本発明の手法はグレースケール画像又は二値画像にも適用することができる。二値画像は白黒画像とも呼ぶ。

0085

図4は、エラー検出処理の処理フローを示すフローチャートである。エラー検出処理では、画像データを取得する(S0)。以下、この画像データが示す画像を入力画像と呼ぶ。次に、入力画像にアイコン画像を重ねて表示画像を取得する(S1、S2)。次に、基準画像(S3)と表示画像(S2)を比較してエラー検出処理を行い(S4)、指標を求める(S5)。なお基準画像は必ず取得されるとは限らない。例えば、視認性指標を求める際には基準画像を用いず、表示画像のみを用いて指標が計算される場合がある。次に、指標と閾値とを比較してエラー検出を行う(S6)。

0086

指標取得処理及びエラー検出処理では、表示画像を基準画像と比較することにより、表示画像又は表示画像の一部の妥当性を確認する。上記比較では、色ずれ輝度変化スケーリング又は所定の意図的な画像変換による変化はエラーとして検出せず、意図しない回転による変形や、ユーザーによる画像の認識を不可能とするクロップ又はノイズによるエラー等のその他の重要なエラーを検出する。

0087

そのために、視認性指標及び形状指標という2つの指標を使用する。視認性指標は、関心領域の画像が背景に溶け込むことなく視認できる度合いを規定する数値である。なお、関心領域は画像全体を含むように規定することもできる。

0088

上述したように、指標取得処理及びエラー検出処理はカラー画像に対して適用される。なお、1つのチャンネルをグレーに使用するか、1つのチャンネルにおいて2つの値のみを二値画像に使用することによって白黒又はグレースケール画像に適用することもできる。そのために、表示画像中の関心領域の画素をRGBフォーマットからYCbCrフォーマットに変換する。ただし、本発明の手法はその他の色空間にも適用することができる。他の色空間とは、例えばLab又はHsv等である。

0089

3.1.視認性指標(第1の指標)を求める第1の演算手法
図5は、関心領域におけるYCbCrの各チャンネルのヒストグラムである。また図6は、ヒストグラムに自己相関演算を行って得られた自己相関値である。

0090

図5に示すように、YCbCr画像の各チャンネルについて、n個のバイナリーを使用してヒストグラムを求める。例えば、256個のバイナリーを使用し、異なるバイナリーの組を有するヒストグラムを生成することができる。

0091

ヒストグラムは、関心領域において特定の値が生じる回数カウントする。即ち、YCbCr画像の各チャンネルについて、各バイナリーが示す値を有する画素の数を関心領域内でカウントする。次に、ヒストグラムを0〜aの間の値に正規化する。値「a」は、実装の容易さを考慮して選択することができる。例えばaを1又は255等に設定できる。図5では、a=1である。次に、各チャンネルのヒストグラムをそれ自身と相互相関演算する。即ちヒストグラムの自己相関演算を行う。そして、その自己相関信号をその後の解析に使用する。図6に示すように、自己相関信号を、ゼロ遅延におけるピーク値が1又は予め設定した値となるように正規化する。

0092

自己相関値は、下式(1)により求められる。f、gは相関演算される関数を表し、自己相関の場合にはf=gである。関数として入力される信号は、ここではヒストグラムである。f*gは、関数fと関数gの相関演算を表す。f*は関数fの複素共役を表し、本実施形態ではf*=fである。mはヒストグラムのバイナリーの番号を表す。nは遅延(lag)を表し、図6ではnは−255〜+255の整数である。

0093

なお、図5のヒストグラムでは、256個のバイナリーが0〜1の間に正規化されているため、横軸が0〜1になっている。図6相関値は、1バイナリーずつ遅延を変えながら相関値を求めているため、横軸が−(256−1)〜+(256−1)になっている。

0094

図6に示すように、二色の画像が関心領域に存在する場合には、自己相関演算により側波帯が得られる。上記ピークが生じる中心からの遅延の距離は、色間のコントラストを示す。中心は、ゼロ遅延に対応する。コントラストによって人間の目は画像の特徴を識別することができるため、3つのチャンネル全てのピークについてチェックする。コントラストは、例えば輝度コントラスト色コントラストである。図6では、Yチャンネルを点線で示し、Cbチャンネルを細実線で示し、Crチャンネルを太実線で示している。チェックは、自己相関信号のノイズを拾わないようにピーク検索の閾値を設定することによって行う。例えば、最小ピーク閾値を0.05に設定する。信号におけるピークを検索して局所最大値を求める。検索するピークは、閾値より大きいピーク値のピークである。

0095

なお、帯域信号ピークを回避するために、連続するピーク間最小距離所定値に設定することもできる。これらの閾値は調節可能な値であり、用途に応じて選択する。

0096

識別可能な画像が二色以上の背景上に示されているか否かを示す第1の指標を求めるために、全てのチャンネルについて、ノイズ閾値を超える自己相関信号の全てのピークを求めた後、ピークが生じる最大距離、即ち最大遅延を求める。3つのチャンネルにおいてピークが生じる遅延のうち最大値を、視認性を示す指標として選択する。

0097

図6に示す相関プロットでは、ピークを丸で示している。図示する例では、Crチャンネルが最大の分離を示しており、距離は184である。上記値を考えられる最大遅延に正規化する。例えば、考えられる最大遅延はヒストグラムのバイナリーの数である256である。従って、指標値は184/255=0.722である。図7に示す画像では、上記指標値をVisパラメーターとして示している。上記演算は、一つの例について示している。

0098

図7は、表示画像の第1の例である。表示画像は、解析対象の画像であるため、解析画像とも呼ぶ。A1は関心領域であり、A2はアイコンである。なお、関心領域を示す点線は、実際には表示画像には描画されていない。例えば、図7において黒色で示す部分であるアイコンA2の内部は赤色であり、図7において白色で示す部分である背景は緑色である。

0099

図7の画像では、関心領域内に赤と緑の二色の画素群があるので、図5に示すヒストグラムでは、YCbCrの各チャンネルに2つの大小のピークが生じる。例えば、CrチャンネルではバイナリーBa、Bbにピークが生じている。この2つのピークの間の距離は、アイコンである前景アイコンの色と背景の色との間のコントラストを表しており、距離が大きいほど前景と背景の色がより異なることを意味する。ヒストグラムにおける2つのピークの間の距離は、図6に示す自己相関値においてピークが発生する遅延の距離になる。図7の画像では、アイコンである前景アイコンが赤色で背景が緑色なので、図5に示すヒストグラムにおいてCrチャンネルの2つのピーク間の距離が最大距離となっており、その距離は|Ba−Bb|×255である。これが、図4に示す自己相関値において、ピークが発生する最大距離として検出され、正規化した指標値は|Ba−Bb|となる。従って、アイコンである前景アイコンの色と背景の色との間のコントラストが大きいほど、視認性の指標値も大きくなる。

0100

エラー検出回路150は、上記のようにして求めた視認性指標に基づいてエラー検出を行う。例えば、視認性指標と所与の閾値とを比較し、視認性指標が所与の閾値より小さい場合にエラーと判定する。或いは、視認性指標をエラー検出結果として回路装置100の外部に出力してもよい。

0101

3.2.視認性指標を求める第2〜第4の演算手法
第2の演算手法では、相互相関演算を用いて視認性指標を求める。

0102

第1の演算手法では、自己相関演算を使用して関心領域内の基準の視認性についてチェックしている。この場合の基準画像は、背景画像に関する色等の情報を含んでいない。そのため、表示画像である合成画像のみを解析して合成画像が二色以上を含むか否かを調べている。

0103

第2の演算手法では、基準画像が情報全体を含む場合、例えば、表示処理によってソース画像を変化させる場合を想定する。この場合、基準画像のヒストグラムを解析画像のヒストグラムと同様な方法で作成し、自己相関演算の代わりに、基準画像と解析画像のヒストグラム信号間の相互相関演算を行うことができる。数学的には、自己相関演算は、信号自体の相互相関演算である。そのため、相関演算に対する入力信号のみを変化させて相互相関演算又は自己相関演算を行うことができる。即ち、上式(1)において基準画像のヒストグラムをf及びgの一方とし、表示画像のヒストグラムをf及びgの他方とする。

0104

相互相関演算の場合には、中心からのピークの距離を求める代わりに、相互相関信号に所定の閾値を超えるピークが存在しているか否かを調べる。そのようなピークが存在している場合には、画素の分布を考慮する限りにおいて、基準画像と解析画像はかなり一致していることになる。これにより、解析画像に対する第1のレベルのエラー検出を行うことができる。このパラメーターは、空間的相関は示さず、画素分布相関のみを示す。この場合の指標は、自己相関演算の場合の中心からのピークの距離ではなく、ピーク値自体であってもよい。

0105

図8は、アイコン等の前景が二色以上のマルチトーンである場合のヒストグラムの例である。図9は、図8のヒストグラムの相互相関値の例である。ここでは、カラー画像の1チャンネル分について説明するが、同様の処理を複数のチャンネルに対して行う。例えば、複数のチャンネルの相互相関値のピークのうち最大のピーク値を採用すればよい。

0106

図8に示すように、合成画像である表示画像と基準画像のヒストグラムには、3以上のピークが生じている。図8の例では4つのピークが生じている。表示画像のヒストグラムのピークと、基準画像のヒストグラムのピークが、Bnだけずれているとする。この場合、図9に示すように、相互相関値には遅延Bnのところに大きなピークが現れる。このピークのピーク値が閾値Thrより大きい場合、例えば、そのピーク値を視認性の指標値に採用する。

0107

第3の演算手法では、視認性の指標値として前景と背景のコントラスト比を求める。

0108

第1の演算手法では、Crチャンネルのヒストグラムにおいてピークが生じるバイナリーBa、Bbの差分|Ba−Bb|を、視認性の指標値として用いている。

0109

第3の演算手法では、コントラスト比|Ba−Bb|/Ba又は|Ba−Bb|/Bbを求め、それを視認性の指標値とする。或いは、第2の演算手法のような基準画像を用いる場合には、表示画像におけるC1=|Ba−Bb|と基準画像におけるC2=|Ba−Bb|を求め、コントラスト比C1/C2又はC2/C1を求め、それを視認性の指標値とする。

0110

第4の演算手法では、多次元ヒストグラムを生成して視認性指標を求める。

0111

第1の演算手法では、視認性の解析に各チャンネルの1次元ヒストグラムを使用している。

0112

第4の演算手法では、複数のチャンネルの信号から多次元ヒストグラムを生成し、その多次元ヒストグラムに対して多次元相関演算を行って、視認性指標を求める。多次元相関演算は、多次元自己相関演算、又は多次元相互相関演算である。これにより、人間の目によるコントラスト検出をより良好に模擬できる可能性がある。3D色ヒストグラムを使用することにより、より良好な性能が得られる場合がある。

0113

以上の実施形態によれば、回路装置100は、表示画像を取得する画像処理回路135と、その表示画像のエラー検出を行うエラー検出回路150と、を含む。そして指標取得回路155は、表示画像の画素値(YCbCrの各チャンネル)のヒストグラム(図5)を求め、そのヒストグラムを用いた相関演算を行う(図6)。指標取得回路155は、表示画像のうち所与の領域の画像である前景画像と、表示画像のうち前景画像の背景に相当する背景画像との間の非類似度合いを表す指標(視認性指標、第1の指標)を相関演算の結果に基づいて求める。エラー検出回路150は、その指標に基づいてエラー検出を行う。

0114

このようにすれば、CRCのようなビット単位のエラー検出ではなく、表示画像の前景画像と背景画像との間の非類似度合いを表す指標に基づいて表示画像のエラー検出を行うことができる。前景画像が背景画像に対して非類似度合いが高い場合、その前景画像が背景画像に対して視覚的に区別されている可能性が高いので、前景画像の視認性が高いと考えられる。即ち、本手法によれば、前景画像の視認性が低い場合にエラーと判断することが可能となる。例えば車載のメーターパネルなどでは、ユーザーに警告するためのアイコン等を表示させる。本実施形態によれば、このようなアイコンが1ビットエラーなどで表示が停止されずに、視認性が確保されている場合において出来るだけ表示させ、ユーザーに警告を行うことができる。

0115

ここで、図1図2では画像処理回路135はOSDであるが、これに限定されず、画像処理回路135は任意の表示画像を取得する回路であればよい。詳細は「4.変形例」で説明する。また表示画像とは、ディスプレイ(表示装置)に表示させるために生成等された画像のことである。上記の実施形態では、表示画像はOSDによりレンダーされた画像であるが、これに限定されず、例えば何らかの画像処理により生成された画像、或いは通信により受信された画像、或いはメモリーから読み出された画像等であってもよい。

0116

またエラー検出とは、指標に基づくエラー検出結果を出力することであり、例えば指標に基づいて表示画像にエラーが存在するか否かを判定することである。或いは、指標をエラー検出結果として出力することであってもよい。例えば、指標は、前景画像と背景画像の非類似度合いが高いほど値が大きくなる。この場合、指標が所与の値より小さい場合に表示画像がエラーを含むと判定する。

0117

また前景画像は、表示画像のうち、指標により背景画像との非類似度合いを判定したい領域の画像のことである。また、その領域が所与の領域である。例えば、前景を指定するマスク画像を用意しておく。例えばマスク画像をメモリー195等に記憶させておく。そして、そのマスク画像において前景を定義する画素によって、所与の領域の画素である前景画像の画素を特定する。例えば、1ビットマスクにおける「1」の画素によって、前景画像の画素を特定する。より具体的には、前景を定義するマスク画像を適用する表示画像上の位置を指定し、その位置とマスク画像とから前景を特定する。例えば、アイコンをオーバーレイする位置を指定し、その位置とマスク画像とから前景を特定する。

0118

また背景画像は、前景画像を除く表示画像の一部又は全体のことである。即ち、前景画像を含む領域である関心領域)を、表示画像の一部又は全体に設定し、その関心領域のうち前景画像を除く領域の画像が背景画像である。例えば、マスク画像において背景を定義する画素によって、背景画像の画素を特定する。背景を定義する画素は、例えば、1ビットマスクにおける「0」の画素である。

0119

また非類似度合いとは、色空間の構成成分であるの各成分における非類似の程度のことである。構成成分は、チャンネルとも呼ぶ。例えば、YCbCr空間では、前景画像の輝度と背景画像の輝度とがどの程度異なるか、又は前景画像の色と背景画像の色とがどの程度異なるかを表す度合いである。或いは、RGB空間では、前景画像の色と背景画像の色とがどの程度異なるかを表す度合いである。

0120

また本実施形態では、指標取得回路155は、色空間の構成成分の各成分のヒストグラムを求め(図5)、各成分のヒストグラムに対して自己相関演算を行い、自己相関のピークが生じる距離を各成分について求め(図6)、求めた距離のうち最大の距離()に基づいて指標を求める。最大の距離は、図6において|Ba−Bb|であり、ここでの指標は視認性指標である。

0121

このようにすれば、色空間の構成成分の各成分のうち、前景画像と背景画像で最も差が大きい成分により指標を求めることができる。前景画像と背景画像で最も差が大きい成分は、視覚的にも差が大きく見えると考えられるので、その成分により指標を求めることで、背景と前景の非類似度合いを評価できる。そして、この指標を用いることで、前景の視認性を適切に評価できる。

0122

ここで、指標は最大の距離|Ba−Bb|に基づいて求められた値であればよい。例えば第1の演算手法では、指標は最大の距離|Ba−Bb|そのものである。また第2の演算手法では、指標は、最大の距離|Ba−Bb|に基づくコントラスト比である。コントラスト比は、例えば|Ba−Bb|/Ba等である。

0123

また本実施形態では、指標取得回路155は、表示画像から色空間の構成成分の各成分の第1のヒストグラムをヒストグラムとして求め、前景画像に対応する基準画像から各成分の第2のヒストグラムを求める(図8)。指標取得回路155は、各成分について第1のヒストグラムと第2のヒストグラムの相互相関演算を行い、相互相関のピークのピーク値に基づいて指標を求める(図9)。

0124

このようにすれば、基準画像が2色以上の色を含むマルチトーンの場合であっても、前景画像と背景画像の非類似度合いを表す指標を求めることができる。即ち、基準画像のヒストグラムには2以上のピークが発生するが、このヒストグラムと同じパターンが表示画像のヒストグラムに含まれている場合、少なくとも色又は輝度のパターンにおいて基準画像に類似した画像が表示画像に含まれていることになる。この場合、相互相関演算の結果に大きなピークが発生するはずなので、そのピーク値により指標を求めることで、前景の視認性を適切に評価できる。

0125

ここで、基準画像は、表示画像において前景画像が正しく表示されていると仮定した場合の前景画像に対応した画像である。より具体的には、少なくともヒストグラムにおけるピークのパターンが前景画像と同じ画像である。このとき、図8のようにピーク間の相対的な位置関係が同じであればよく、パターン全体がシフトしていても構わない。

0126

また本実施形態では、指標取得回路155は、表示画像の画素値と前景画像の基準となる基準画像の画素値、又は表示画像のエッジと基準画像のエッジに基づいて、前景画像と基準画像との一致度合いを表す第2の指標(形状指標)を求める。エラー検出回路150は、第1の指標(視認性指標)及び第2の指標(形状指標)に基づいてエラー検出を行う。

0127

このようにすれば、互いに異なる性質について評価した2つの指標を組み合わせて表示画像のエラー検出を行うことができる。即ち、前景画像と基準画像との間の輝度や色の非類似度合いを表す指標と、前景画像と基準画像との間の形状の一致度合いを表す第2の指標とを組み合わせることで、表示画像のエラー検出をより高精度に行うことができる。なお、第2の指標(形状指標)の詳細は後述する。

0128

また本実施形態では、画像処理回路135は、第1の画像に対して所与の領域に第2の画像を重ねて表示画像を生成する。背景画像は、表示画像のうち第1の画像に対応する画像である。

0129

このようにすれば、OSDにより入力画像に例えばアイコンや文字等をオーバーレイして表示画像を生成できる。この場合、オーバーレイされた文字やアイコンが前景画像に相当し、それ以外の元の入力画像の部分が背景画像に相当する。本実施形態では、このような表示画像のエラー検出を行うことで、OSDにおいてアイコンや文字が適切に(即ちユーザーが視認可能なように)オーバーレイされなかった場合にエラーと判定することが可能となる。一方、オーバーレイにおいて1ビット程度の処理エラーが発生していたとしても、視認性が確保できる場合にはエラーと判定されないので、アイコンや文字をユーザーに提示できる。

0130

また本実施形態は、以下のようなエラー検出方法として実施することが可能である。即ち、その方法では、表示画像の画素値のヒストグラムを求め、そのヒストグラムを用いた相関演算を行い、表示画像のうち所与の領域の画像である前景画像と、表示画像のうち前景画像の背景に相当する背景画像との間の非類似度合いを表す指標を相関演算の結果に基づいて求め、その指標に基づいて表示画像のエラー検出を行う。

0131

また本実施形態は、以下のようなエラー検出方法として実施することが可能である。即ち、その方法では、表示画像の関心領域を解析し、背景に対する前景の視認性を記述する指標を演算する。このとき、前景を特定するために基準画像をマスクとして用いてもよい。指標は、以下の(a)又は(b)の技術用いて演算される。(a)表示画像のヒストグラムを用い、前景と背景の分離を探す。(b)前景と背景のコントラスト比を計算する。

0132

3.3.形状指標(第2の指標)の第1の演算手法
形状指標は、解析画像である表示画像の関心領域の形状が基準画像と一致しているか否かを示す指標である。以下、形状指標の演算手法について説明する。

0133

まず、最終的な平均化画像がm×n画素となるように、解析画像のROIの画素ブロックを平均化する。このサブサンプリング処理は、少数画素エラーが重要なエラーとして検出されないために行うものであり、これらのエラーを無視し、基準画像と解析画像の全体形状を確認する。無視したいエラーは、例えば色ずれ、小さな歪み等である。完全な一致を得るために、サブサンプリングされた画像の解像度を高めることができる。m×nの値は、用途に応じて選択することができる。以下に述べるように基準画像に関連して使用する場合には、m×nの値はサンプルデータ観測に基づいて選択する。

0134

解析画像の関心領域がu×v画素である場合には、平均化ブロックサイズはu/m×v/n画素である。基準背景情報が利用できない場合には、基準画素が存在しない部分の解析画像の画素を削除する。これは、基準前景マスキングに相当する。これは、基準画像と解析画像との間で背景画素ベースライン化する(そろえる、同条件にする)ことが必要であるために行う。ベースライン化するとは、そろえる、或いは同条件にすることである。そのため、背景画素の値は、解析画像及び基準画像の両方において同じ値に設定する。

0135

基準画像の平均化もm×n画素となるように行う。平均化は、各チャンネルに対して別々に行う。図10は、基準画像の例である。基準画像RIAのアイコンである前景F1は、着色されており、アイコン以外の領域である背景は例えば黒等の無色である。図10では、基準画像RIAのサイズは256×256画素である。図11は、基準画像の平均化画像である。図11では、m=n=16であり、平均化画像SRefのサイズは16×16画素である。この基準画像及びその平均化画像は背景が無色なので、解析画像の関心領域も背景を無色に変換し、その関心領域の平均化画像を求める。例えば、背景を削除することで、背景を無色に変換する。

0136

次に、基準画像の平均化画像(SRef m×n)と解析画像の関心領域の平均化画像(SAnz m×n)を、距離基準を使用して画素毎に比較し、下式(2)のように距離Dを求める。距離Dは3次元距離である。本実施形態では、距離基準はデカルト距離の2乗であるが、その他の距離基準であっても同様なパラメーターが得られる。

0137

cは、チャンネルを表し、xは平均化画像での横方向の画素位置を表し、yは平均化画像での縦方向の画素位置を表す。横方向は水平方向とも呼び、縦方向は垂直方向とも呼ぶ。m、nは平均化画像のサイズである。Rxycは、チャンネルcにおける基準画像の平均化画像の位置(x,y)での画素値を表す。R'cは、チャンネルcにおけるRxy画素の平均値を表す。Rxy画素の平均値は、Rxycを平均化画像内で平均したものである。Axycは、チャンネルcにおける解析画像の平均化画像の位置(x,y)での画素値を表す。A'cは、チャンネルcにおけるAxy画素の平均値を表す。Axy画素の平均値は、Axycを平均化画像内で平均したものである。

0138

各チャンネルにおいて平均値を減算する理由は、基準画像と解析画像との間の小さな色ずれがエラーとして扱われないようにするためである。完全な一致が求められる場合には、平均値を0に設定することができる。この場合、距離基準によって形状及び色の一致をチェックすることになる。

0139

解析画像である表示画像は例えば図7である。関心領域A1は、基準画像を入力画像に合成した領域の周囲において抽出される。図7では、関心領域を点線の四角形で示している。

0140

形状指標Sは、下式(3)、(4)によって距離パラメーターから導出される。形状指標Sは形状パラメーターとも呼ぶ。Tは閾値であり、任意の値を採用できる。D<Tの場合にはT/D=1となり、形状指標Sは変化しない。

0141

関数fは、ハードウェアへの実装が容易となるように選択する。例えば、関数fは、範囲0〜1が0〜kにスケーリングされるようなスケーリング関数Kであってもよい。以下に記載する例では、関数fは単位関数である。即ち、S=T/Dである。形状指標Sは、基準画像と解析画像との間の形状の一致度を示す。画像が一致していない場合には、この値は減少し、0となる傾向がある。その例を以下に記載する。

0142

図7では、基準画像のアイコンが解析画像に正しく表示されている。この場合、形状指標はS=1となり、図7では、Shape:1.000と示す。

0143

図12は、表示画像の第2の例である。B1は関心領域を示す。図12のB2に示すように、基準画像のアイコンが解析画像では不明瞭になっている。即ち、基準画素のいくつかが解析画像には存在しておらず、関数fが単位関数の場合には形状指標Sは1未満となる。このような不明瞭な前景の場合、視認性指標と形状指標が共に小さい値となる。

0144

図13は、表示画像の第3の例である。E1は関心領域を示す。図13のE2に示すように、基準画像のアイコンが解析画像では回転している。この例では、形状は基準から回転しているので、関数fが単位関数の場合には形状指標Sは1未満となる。このように前景が回転している場合、視認性指標は比較的大きな値であり、形状指標が小さい値となる。このように、視認性指標と形状指標を組み合わせることにより様々な前景の状態において適切なエラー検出を行うことが可能となり、エラー検出の精度を向上できる。

0145

なお、以上では解析画像と基準画像が画像として利用可能である場合について述べたが、本発明の適用対象はこれに限定されない。例えば、画像がライン、画素又はサブ画像としてストリーミングされる場合にも同じ演算を容易に行うことができる。

0146

上記の形状指標は、ベース信号の一致のみをチェックする。視認性が低い画像の場合には、エッジ検出カーネルを解析画像の関心領域及び基準画像とコンボリューションして一次勾配画像を生成した後、形状演算アルゴリズムによってパラメーターを求めることができる。エッジ検出カーネルは、例えばLaplacian又はSobel等である。求めたパラメーターにより、形状指標によって得られた誤検知を除去することができる。このようにすれば、視認性が低い画像の場合にも正しいエラー検出結果を得ることができる。

0147

3.4.形状指標の第2の演算手法
図14は、表示画像の第4の例である。図14では、ダッシュボード画像DIMの上にアイコンICAを重ねた例を示す。アイコン画像の前景と背景は、分離して、ダッシュボード画像にアルファブレンドされる。上記の場合、アイコン画像の前景は部分的にブレンドされる一方、アイコン画像の背景は完全にブレンドされる。ここで、アイコン画像の前景は、アイコン画像のアイコン部分である。図15では、アイコン部分は、マスク画像MSBのビット「1」の画素であり、黒色で示す部分である。アイコン画像の背景は、アイコン画像のアイコン以外の部分である。図15では、アイコン以外の部分は、マスク画像MSBのビット「0」の画素であり、白色で示す部分である。アイコン画像の背景では、アイコン画像が0、ダッシュボード画像DIMが1の割合でブレンドされる。アイコン画像の前景では、アイコン画像がα、ダッシュボード画像DIMが(1−α)の割合でブレンドされる。0<α<1である。割合αでブレンドされたアイコンが表示画像における前景となり、それ以外の領域が表示画像における背景となる。

0148

本実施形態では、このアイコンとオリジナルのアイコンとの関係を分析して、アイコンが正しく表示されているかをチェックする。具体的には、エッジ検出技術を用いて、基準に対するのと同様に関心領域でエッジを検出する。エッジ検出技術は、例えばソーベルエッジ検出畳み込み演算子を用いたエッジ検出技術である。

0149

図15は、基準画像と表示画像の関心領域とマスク画像の第1の例である。マスク画像MSBは、基準画像ICBの前景及び背景を示すマスクであり、黒が前景画素を示し、白が背景画素を示す。基準アイコンである基準画像ICBは、図のグレー部分で示すアイコンである前景が着色された画像である。表示アイコンである表示画像CIBは、ダッシュボード画像DIMに基準画像ICBをブレンドした関心領域の画像である。アイコン部分では、ブレンドによりダッシュボード画像DIMが透けて見えている。

0150

図16は、基準画像と表示画像から計算されたエッジ値の例である。EICBは基準画像ICBのエッジ画像であり、ECIBは表示画像CIBのエッジ画像である。図示の関係上、エッジを黒線及びグレー線で示しているが、実際にはエッジの強度はグレースケールで示すことができる。白は高強度のエッジを示し、黒はエッジ無しを示す。このエッジ検出は、輝度チャンネルに対して行われる。同様に、エッジ検出は、色チャンネルに対して、又はYCbCrのような色空間においても行われる。

0151

前景領域と背景領域におけるエッジは、基準画像と表示画像について計算され、形状指標は、下式(5)〜(16)に示すように類似量を算出することにより計算される。下式(16)のMatchが形状指標である。形状指標は適合値とも呼ぶ。以下では、基準画像はm×n画素のサイズであり、表示画像の関心領域もm×n画素であるとする。

0152

下式(5)は、水平ソーベルカーネル、即ち水平方向のエッジを検出するソーベルフィルターの演算子である。下式(6)は、垂直ソーベルカーネル、即ち垂直方向のエッジを検出するソーベルフィルターの演算子である。

0153

下式(7)〜(12)に示すように、基準画像と表示画像の関心領域における各画素位置について、エッジ値を計算する。「*」は畳み込み演算子である。Nは、値を0と1の間に保つための正規化係数であり、ここではN=4である。IRefは、基準画像の輝度(Y)チャンネルである。IRef(x,y)は、基準画像の輝度チャンネルの位置x、yの画素である。xは0<x≦mの整数であり、yは0<y≦nの整数である。IRenは、関心領域における表示画像の輝度チャンネルである。IRen(x,y)は、関心領域における表示画像の輝度チャンネルの位置x、yを中心とした3×3画素である。

0154

下式(13)〜(16)に示すように、上記のエッジ値から形状指標Match(適合値)を求める。「・」は内積演算子を表す。

0155

図15図16に上記の演算を適用すると、Match=0.78となる。

0156

背景を分析せずに適合値を計算することが要求される場合には、下式(17)〜(22)に示す計算を用いる。

0157

M(x,y)は、いずれの画素が背景に属し、いずれの画素が前景に属すのかを定義するマスク画素を意味する。このマスクは、背景を0で定義し、前景を1で定義する単純な1ビットマスクで実現できる。又は、アンチエイリアスされたエッジをサポートする1ビット以上のマスクであってもよい。そのマスクでは、0と1の間の値が部分的な背景と部分的な前景として扱われる。例えば、0.25の値(2ビット表記では、01)は、25%前景と75%背景を意味する。

0158

図17は、基準画像と表示画像(関心領域)とマスク画像の第2の例である。基準画像ICC、表示画像CIC、マスク画像MSCは、図15の基準画像ICB、表示画像CIB、マスク画像MSBと同じである。図18は、基準画像と表示画像から計算されたエッジ値の例である。EICCは基準画像ICCのエッジ画像であり、ECICは表示画像CICのエッジ画像である。表示画像のエッジ画像ECICにおいて、アイコンの外部(背景)のエッジ成分がM(x,y)によりマスクされている。図17に示すように、上記の演算では形状指標Matchが0.82に上昇する。

0159

以上の実施形態によれば、指標取得回路155は、表示画像の画素値と前景画像の基準となる基準画像の画素値とに基づいて、又は表示画像のエッジ画像の画素値と基準画像のエッジ画像の画素値とに基づいて、表示画像のうち所与の領域の画像である前景画像と、基準画像との一致度合いを表す指標を求める。エッジ画像の画素値は、エッジ量を表す。基準画像との一致度合いを表す指標は、形状指標である。エラー検出回路150は、その指標に基づいて表示画像のエラー検出を行う。

0160

このようにすれば、CRCのようなビット単位のエラー検出ではなく、表示画像の前景画像と基準画像との間の一致度合いを表す指標に基づいて表示画像のエラー検出を行うことができる。前景画像が基準画像に対して一致度合いが高い場合、その前景画像が基準画像に対して視覚的に同じ形状に見える可能性が高い。即ち、本手法によれば、前景画像の形状が正しく表示されていない場合にエラーと判断することが可能となる。例えば車載のメーターパネルなどでは、ユーザーに警告するためのアイコン等を表示させる。本実施形態によれば、このようなアイコンが1ビットエラーなどで表示が停止せずに、形状が正しく認識できる場合において出来るだけ表示させ、ユーザーに警告を行うことができる。

0161

ここで、上式(3)〜(5)に示す第1の演算手法は、表示画像の画素値と前景画像の基準となる基準画像の画素値とに基づいて指標(S)を求める場合に対応する。また、上式(5)〜(22)に示す第2の演算手法は、表示画像のエッジ画像の画素値と基準画像のエッジ画像の画素値とに基づいて指標(Match)を求める場合に対応する。エッジ画像の画素値は、上式(7)、(10)、(17)、(18)のエッジ量に対応する。

0162

また、一致度合いとは、例えばアイコン、文字、図形、マーク等(以下アイコン等と呼ぶ)の形状の一致の程度のことである。より具体的には、アイコン等の輪郭と向きの一致の程度のことである。また更に、アイコン等の輪郭の内側の状態、例えば輪郭の内側が塗りつぶされているか否か等の状態の一致の程度を含んでもよい。例えば、一致度合いを表す指標は、前景画像と背景画像の一致度合いが高いほど値が大きくなる。

0163

また本実施形態では、指標取得回路155は、表示画像及び基準画像の画素数又は解像度を低下させるサブサンプリングを行う(図11)。指標取得回路155は、サブサンプリングされた表示画像の画素値とサブサンプリングされた基準画像の画素値との、色空間における距離を表す距離情報を求め(上式(2))、その距離情報から指標(上式(3)、(4))を求める。

0164

サブサンプリングを行うことで画素値が平均化されるので、指標を求める際に1ビットエラー等のノイズの影響を低減することができる。即ち、形状に影響を与えない軽微なエラーの影響を低減することができる。また、表示画像の画素値と基準画像の画素値との間の色空間における距離は、形状が一致している場合には小さいはずである。このため、色空間における距離を用いることで、形状の一致度合いを適切に評価できる。

0165

また本実施形態では、上式(3)、(4)に示すように、指標取得回路155は所与の閾値(T)を距離情報(D)で除算した値から指標(S)を求める。

0166

形状の一致度合いが高いほど距離(D)が小さくなるので、所与の閾値を距離情報で除算することで、形状の一致度合いが高いほど値が大きくなる指標(S)を求めることができる。

0167

また本実施形態では、指標取得回路155は、表示画像のエッジ画像の画素値と基準画像のエッジ画像の画素値との積和演算(上式(13))を行い、その積和演算の結果から指標を求める(上式(16))。

0168

エッジ画像は、各画素の画素値としてエッジ量が定義された画像である。形状が一致している場合、表示画像のエッジ画像と基準画像のエッジ画像とを同じ画素で比べると、同じ(略同じを含む)エッジ量になっているはずである。逆に、形状が一致していない場合にはエッジの位置が表示画像と基準画像で一致しないので、例えば表示画像のエッジ画像に大きなエッジ量があっても、基準画像のエッジ画像の同じ画素ではエッジ量がゼロになっていたりする。このため、同じ画素同士のエッジ量を積和すると、形状が一致している場合には積和の結果が大きな値になり、形状が一致していない場合には積和の結果が小さな値になる。このため、エッジ量の積和演算を用いることで、形状の一致度合いを適切に評価できる。

0169

ここで、上式(13)では、積和の「積」はベクトル内積になっているが、「積」はこれに限定されない。例えばエッジ量がスカラーで定義される場合には、「積」はスカラー同士の積となる。

0170

また本実施形態では、指標取得回路155は、表示画像のエッジ画像のうち、背景画像に対応する領域をマスクし(上式(18))、そのマスクされた表示画像のエッジ画像を用いて、積和演算を行う(上式(19))。

0171

このようにすれば、背景にエッジが含まれるような場合であっても、そのエッジをマスクしてエッジ量の積和演算を行うことができる。即ち、背景のエッジに影響されることなく表示画像と基準画像のエッジの一致度合いを評価できるので、エラー検出の精度をより向上できる。

0172

また本実施形態は、以下のようなエラー検出方法として実施することが可能である。即ち、その方法では、表示画像の画素値と前景画像の基準となる基準画像の画素値とに基づいて、又は表示画像のエッジ画像の画素値と基準画像のエッジ画像の画素値とに基づいて、表示画像のうち所与の領域の画像である前景画像と、基準画像との一致度合いを表す指標を求め、その指標に基づいて表示画像のエラー検出を行う。

0173

また本実施形態は、以下のようなエラー検出方法として実施することが可能である。即ち、その方法では、表示画像の関心領域を解析し、基準画像との類似性を記述する指標を演算する。指標は、以下の(a)又は(b)の技術用いて演算される。(a)表示画像と基準画像(ベース信号)のサブサンプルされた画素の3次元距離エラーを比較する。(b)表示画像と基準画像のエッジ(画像の一次導関数)の3次元距離エラーを比較する。

0174

4.変形例
以上の実施形態では、本発明のエラー検出手法を表示コントローラー(TCON: Timing CONtroller)に適用した場合を例に説明したが、本発明の適用対象はこれに限定されない。即ち、表示画像を処理又は転送する経路のいずれの段階においても本発明を適用可能である。

0175

例えば、表示パネルを駆動する表示ドライバーを、本発明が適用された回路装置としてもよい。この場合、例えば表示ドライバーにおいて画像データが入力されるインターフェースが画像取得回路に相当し、インターフェースと駆動回路の間にエラー検出回路が設けられる。例えばオーバーレイ等は行わず、エラー検出回路は、インターフェースが受信した画像の所与の領域(アイコン等)に対して本発明のエラー検出を行う。

0176

また以上の実施形態では、画像処理回路135が、表示コントローラーに入力されて前処理された画像(以下、入力画像)に対してアイコンをオーバーレイして表示画像を生成する場合を例に説明したが、本発明の適用対象はこれに限定されない。即ち、本発明では、表示画像として任意の画像を取得できる。

0177

例えば、画像取得回路が取得した画像そのものを表示画像としてもよい。この場合、インターフェース110が画像取得回路に対応する。或いは、前処理回路125が出力する入力画像そのものを表示画像としてもよい。これらの場合、画像取得回路が取得した画像、又は入力画像には例えばアイコンが既に含まれており、そのアイコン等を含む領域を関心領域に設定する。

0178

或いは、画像処理回路135は、入力画像をスケーリング処理した画像を表示画像としてもよい。この場合、入力画像には例えばアイコンが含まれており、そのアイコンをスケーリングし、そのスケーリングされたアイコンを含む領域を関心領域に設定する。

0179

或いは、画像処理回路135は、入力画像をガンマ変換処理(階調変換処理)した画像を表示画像としてもよい。この場合、入力画像には例えばアイコンが含まれており、そのアイコンをガンマ変換し、そのガンマ変換されたアイコンを含む領域を関心領域に設定する。

0180

或いは、画像処理回路135は、入力画像を変形処理した画像を表示画像としてもよい。この場合、入力画像には例えばアイコンが含まれており、そのアイコン(又は入力画像全体)を変形し、その変形されたアイコンを含む領域を関心領域に設定する。例えば、ヘッドマウントディスプレイ等に表示するために画像を変形させる場合がある。

0181

或いは、メモリーに記憶された画像を読み出し、その画像を表示画像としてもよい。この場合、メモリーコントローラーが画像取得回路に相当する。或いは、画像取得回路は、インターフェースが受信した画像を表示画像としてもよい。この場合、インターフェースが画像取得回路に相当する。

0182

5.電子機器
図19は、本実施形態の回路装置を含む電子機器の構成例である。電子機器300は、処理装置310、回路装置320、表示ドライバー330、表示パネル340、記憶装置350、操作装置360、通信装置370を含む。処理装置310は、例えばMCU等である。回路装置320は、図1図2の回路装置100に対応し、例えばTCONである。

0183

処理装置310は、記憶装置350に記憶された画像データ、又は通信装置370が受信した画像データを回路装置320に転送する。回路装置320は、画像データに対する画像処理や、表示タイミング制御や、表示ドライバーに転送する画像データのエラー検出処理等を行う。エラー検出処理では、視認性指標や形状指標の算出と、それらの指標に基づくエラー検出を行う。表示ドライバー330は、回路装置320から転送された画像データと、回路装置320による表示タイミング制御に基づいて、表示パネル340を駆動し、画像を表示させる。表示パネル340は、例えば液晶表示パネル、或いはEL表示パネル等である。記憶装置350は、例えばメモリー、或いはハードディスクドライブ、或いは光学ディスクドライブ等である。操作装置360は、電子機器300をユーザーが操作するための装置であり、例えばボタンや、或いはタッチパネルや、或いはキーボード等である。通信装置370は、例えば有線通信(を行う装置や、或いは無線通信を行う装置である。有線通信は、例えばLAN、又はUSB等である。無線通信は、例えば無線LANや、無線近接通信等である。

0184

本実施形態の回路装置を含む電子機器としては、車載用の電子機器や、工場設備等の表示端末ロボットに搭載された表示装置、情報処理装置携帯情報処理端末の種々の機器を想定できる。車載用の電子機器は、例えばメーターパネル等である。情報処理装置は例えばPC等である。携帯情報処理端末は、例えばスマートフォン等である。電子機器の構成は図19に限定されず、用途に応じて種々の構成をとることができる。例えば車載用の電子機器では、回路装置320と表示ドライバー330と表示パネル340と操作装置360がメーターパネルに組み込まれ、処理装置310と記憶装置350と通信装置370がECU(Electronic Control Unit)に組み込まれる。この場合、メーターパネルが、本実施形態の回路装置を含む電子機器に相当する。

0185

なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また本実施形態及び変形例の全ての組み合わせも、本発明の範囲に含まれる。また回路装置、電子機器の構成・動作等も、本実施形態で説明したものに限定されず、種々の変形実施が可能である。

0186

100…回路装置、110…インターフェース、125…前処理回路、135…画像処理回路、140…インターフェース、150…エラー検出回路、155…指標取得回路、160…CRC回路、170…レジスター回路、171…指標レジスター、172…閾値レジスター、173…動作モード設定レジスター、174…エラー検出結果レジスター、180…アイコン処理回路、190…インターフェース、195…メモリー、200…処理装置、300…電子機器、310…処理装置、320…回路装置、330…表示ドライバー、340…表示パネル、350…記憶装置、360…操作装置、370…通信装置、A1…関心領域、A2…アイコン(前景)、ECIB…エッジ画像、MSB…マスク画像、RIA…基準画像、SRef…平均化画像

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

該当するデータがありません

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

この 技術と関連性が強い技術

該当するデータがありません

この 技術と関連性が強い法人

該当するデータがありません

この 技術と関連性が強い人物

該当するデータがありません

この 技術と関連する社会課題

該当するデータがありません

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ