図面 (/)

技術 回路装置、電子機器及びエラー検出方法

出願人 セイコーエプソン株式会社
発明者 アナンドクマーアナンダバイラバサミージョンピーターバンバーセンマンフレッドウィットマイアー
出願日 2020年3月5日 (11ヶ月経過) 出願番号 2020-037830
公開日 2020年7月9日 (7ヶ月経過) 公開番号 2020-107351
状態 未査定
技術分野 イメージ分析
主要キーワード 自動車用システム 形状指標 形状パラメーター レジスター回路 画素エラー 色拡張 局所最大値 自己相関信号
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年7月9日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (18)

課題

ユーザー誤認識するようなエラーを適切に検出することが可能な回路装置電子機器及びエラー検出方法

解決手段

回路装置100は、表示画像を取得する画像取得回路130と、表示画像のエラー検出を行うエラー検出回路150と、を含む。エラー検出回路150は、表示画像の画素値ヒストグラムを求め、ヒストグラムを用いた相関演算を行い、表示画像のうち所与の領域の画像である前景画像と、表示画像のうち前景画像の背景に相当する背景画像との間の非類似度合いを表す指標を相関演算の結果に基づいて求め、その指標に基づいてエラー検出を行う。

概要

背景

表示装置(例えば液晶表示装置)における表示制御では、CPU等の処理装置表示コントローラーに画像データと制御信号とを送信し、表示コントローラーが画像処理タイミング信号の生成とを行い、その画像処理された画像データとタイミング信号により表示ドライバー表示パネルを駆動する。処理装置から表示コントローラーへの画像データの送信には、例えばLVDS(Low Voltage Differential Signal)方式やRGBシリアル方式等が用いられる。このような通信において表示コントローラーが受信した画像データには、通信エラー等によるデータエラーが発生する場合がある。例えば特許文献1〜3には、表示コントローラーが処理装置から受信した画像データをCRC(Cyclic Redundancy Check)によりエラー検出する技術が開示されている。

概要

ユーザー誤認識するようなエラーを適切に検出することが可能な回路装置電子機器及びエラー検出方法。回路装置100は、表示画像を取得する画像取得回路130と、表示画像のエラー検出を行うエラー検出回路150と、を含む。エラー検出回路150は、表示画像の画素値ヒストグラムを求め、ヒストグラムを用いた相関演算を行い、表示画像のうち所与の領域の画像である前景画像と、表示画像のうち前景画像の背景に相当する背景画像との間の非類似度合いを表す指標を相関演算の結果に基づいて求め、その指標に基づいてエラー検出を行う。

目的

またエラー検出とは、指標に基づくエラー検出結果を出力することであり、例えば指標に基づいて表示画像にエラーが存在するか否かを判定することである

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

表示画像を取得する画像取得回路と、前記表示画像のエラー検出を行うエラー検出回路と、を含み、前記エラー検出回路は、前記表示画像の画素値ヒストグラムを求め、前記ヒストグラムを用いた相関演算を行い、前記表示画像のうち所与の領域の画像である前景画像と、前記表示画像のうち前記前景画像の背景に相当する背景画像との間の非類似度合いを表す指標を前記相演算の結果に基づいて求め、前記指標に基づいて前記エラー検出を行うことを特徴とする回路装置

請求項2

請求項1において、前記エラー検出回路は、色空間の構成成分の各成分の前記ヒストグラムを求め、前記各成分の前記ヒストグラムに対して自己相関演算を行い、自己相関ピークが生じる距離を前記各成分について求め、求めた距離のうち最大の距離に基づいて前記指標を求めることを特徴とする回路装置。

請求項3

請求項1において、前記エラー検出回路は、前記表示画像から色空間の構成成分の各成分の第1のヒストグラムを前記ヒストグラムとして求め、前記前景画像に対応する基準画像から前記各成分の第2のヒストグラムを求め、前記各成分について前記第1のヒストグラムと前記第2のヒストグラムの相互相関演算を行い、相互相関のピークのピーク値に基づいて前記指標を求めることを特徴とする回路装置。

請求項4

請求項1乃至3のいずれかにおいて、前記エラー検出回路は、前記表示画像の画素値と前記前景画像の基準となる基準画像の画素値、又は前記表示画像のエッジと前記基準画像のエッジに基づいて、前記表示画像のうち前記所与の領域の画像である前記前景画像と、前記基準画像との一致度合いを表す第2の指標を求め、前記指標及び前記第2の指標に基づいて前記エラー検出を行うことを特徴とする回路装置。

請求項5

請求項1乃至4のいずれかにおいて、前記画像取得回路は、第1の画像に対して前記所与の領域に第2の画像を重ねて前記表示画像を生成し、前記背景画像は、前記表示画像のうち前記第1の画像に対応する画像であることを特徴とする回路装置。

請求項6

表示画像を取得する画像取得回路と、前記表示画像のエラー検出を行うエラー検出回路と、を含み、前記エラー検出回路は、前記表示画像の画素値と前景画像の基準となる基準画像の画素値とに基づいて、又は前記表示画像のエッジ画像の画素値と前記基準画像のエッジ画像の画素値とに基づいて、前記表示画像のうち所与の領域の画像である前記前景画像と、前記基準画像との一致度合いを表す指標を求め、前記指標に基づいて前記表示画像のエラー検出を行うことを特徴とする回路装置。

請求項7

請求項6において、前記エラー検出回路は、前記表示画像及び前記基準画像の画素数又は解像度を低下させるサブサンプリングを行い、前記サブサンプリングされた前記表示画像の画素値と前記サブサンプリングされた前記基準画像の画素値との、色空間における距離を表す距離情報を求め、前記距離情報から前記指標を求めることを特徴とする回路装置。

請求項8

請求項7において、前記エラー検出回路は、所与の閾値を前記距離情報で除算した値から前記指標を求めることを特徴とする回路装置。

請求項9

請求項6において、前記エラー検出回路は、前記表示画像のエッジ画像の画素値と前記基準画像のエッジ画像の画素値との積和演算を行い、前記積和演算の結果から前記指標を求めることを特徴とする回路装置。

請求項10

請求項9において、前記エラー検出回路は、前記表示画像のエッジ画像のうち、背景画像に対応する領域をマスクし、前記マスクされた前記表示画像のエッジ画像を用いて、前記積和演算を行うことを特徴とする回路装置。

請求項11

請求項6乃至10のいずれかにおいて、前記画像取得回路は、第1の画像に対して前記所与の領域に第2の画像を重ねて前記表示画像を生成することを特徴とする回路装置。

請求項12

請求項1乃至11のいずれかに記載された回路装置を含むことを特徴とする電子機器

請求項13

表示画像の画素値のヒストグラムを求め、前記ヒストグラムを用いた相関演算を行い、前記表示画像のうち所与の領域の画像である前景画像と、前記表示画像のうち前記前景画像の背景に相当する背景画像との間の非類似度合いを表す指標を前記相関演算の結果に基づいて求め、前記指標に基づいて前記表示画像のエラー検出を行うことを特徴とするエラー検出方法

請求項14

表示画像の画素値と前景画像の基準となる基準画像の画素値とに基づいて、又は前記表示画像のエッジ画像の画素値と前記基準画像のエッジ画像の画素値とに基づいて、前記表示画像のうち所与の領域の画像である前記前景画像と、前記基準画像との一致度合いを表す指標を求め、前記指標に基づいて前記表示画像のエラー検出を行うことを特徴とするエラー検出方法。

技術分野

0001

本発明は、回路装置電子機器及びエラー検出方法等に関する。

背景技術

0002

表示装置(例えば液晶表示装置)における表示制御では、CPU等の処理装置表示コントローラーに画像データと制御信号とを送信し、表示コントローラーが画像処理タイミング信号の生成とを行い、その画像処理された画像データとタイミング信号により表示ドライバー表示パネルを駆動する。処理装置から表示コントローラーへの画像データの送信には、例えばLVDS(Low Voltage Differential Signal)方式やRGBシリアル方式等が用いられる。このような通信において表示コントローラーが受信した画像データには、通信エラー等によるデータエラーが発生する場合がある。例えば特許文献1〜3には、表示コントローラーが処理装置から受信した画像データをCRC(Cyclic Redundancy Check)によりエラー検出する技術が開示されている。

先行技術

0003

特開2012−35677号公報
特開2007−101691号公報
特開2007−72394号公報

発明が解決しようとする課題

0004

CRCのようなビット単位のエラー検出を用いた場合、例えば画像データに含まれる1ビット分のエラーを検出可能である。しかしながら、1ビット分のエラー等の微小なエラーを画像データが含んでいたとしても、実際の表示では元の画像と大きな差がなく、ユーザー誤認識する(元の画像と異なる画像と誤って認識する)可能性は低いと考えられる。CRCのようなビット単位のエラー検出では、このような微小なエラーも検出してしまうため、ユーザーが誤認識するようなエラーを適切に検出する目的には不向きである。例えば、表示画像アイコン等を表示させた場合において、そのアイコン等をユーザーが正しく認識できるか否かといった判定には不向きである。

0005

本発明の幾つかの態様によれば、ユーザーが誤認識するようなエラーを適切に検出することが可能な回路装置、電子機器及びエラー検出方法等を提供できる。

課題を解決するための手段

0006

本発明の一態様は、表示画像を取得する画像取得回路と、前記表示画像のエラー検出を行うエラー検出回路と、を含み、前記エラー検出回路は、前記表示画像の画素値ヒストグラムを求め、前記ヒストグラムを用いた相関演算を行い、前記表示画像のうち所与の領域の画像である前景画像と、前記表示画像のうち前記前景画像の背景に相当する背景画像との間の非類似度合いを表す指標を前記相演算の結果に基づいて求め、前記指標に基づいて前記エラー検出を行う回路装置に関係する。

0007

本発明の一態様によれば、表示画像のヒストグラムに基づく相関演算の結果により、前景画像と背景画像の非類似度合いを表す指標が求められ、その指標に基づいて表示画像のエラー検出が行われる。これにより、ユーザーが誤認識するようなエラーを適切に検出することが可能になる。即ち、前景画像が背景画像に対して非類似度合いが高い場合、その前景画像が背景画像に対して視覚的に区別されている可能性が高いので、上記のような指標を用いることで、前景画像の視認性が低い場合にエラーと判断することが可能となる。

0008

また本発明の一態様では、前記エラー検出回路は、色空間の構成成分の各成分の前記ヒストグラムを求め、前記各成分の前記ヒストグラムに対して自己相関演算を行い、自己相関ピークが生じる距離を前記各成分について求め、求めた距離のうち最大の距離に基づいて前記指標を求めてもよい。

0009

このようにすれば、色空間の構成成分の各成分のうち、前景画像と背景画像で最も差が大きい成分により指標を求めることができる。前景画像と背景画像で最も差が大きい成分は、視覚的にも差が大きく見えると考えられるので、その成分により指標を求めることで、前景と背景の非類似度合いを適切に評価できる。

0010

また本発明の一態様では、前記エラー検出回路は、前記表示画像から色空間の構成成分の各成分の第1のヒストグラムを前記ヒストグラムとして求め、前記前景画像に対応する基準画像から前記各成分の第2のヒストグラムを求め、前記各成分について前記第1のヒストグラムと前記第2のヒストグラムの相互相関演算を行い、相互相関のピークのピーク値に基づいて前記指標を求めてもよい。

0011

基準画像のヒストグラムと同じパターンが表示画像のヒストグラムに含まれている場合、少なくとも色又は輝度のパターンにおいて基準画像に類似した画像が表示画像に含まれていることになる。この場合、相互相関演算の結果に大きなピークが発生するはずなので、そのピーク値により指標を求めることで、前景と背景の非類似度合いを適切に評価できる。

0012

また本発明の一態様では、前記エラー検出回路は、前記表示画像の画素値と前記前景画像の基準となる基準画像の画素値、又は前記表示画像のエッジと前記基準画像のエッジに基づいて、前記表示画像のうち前記所与の領域の画像である前記前景画像と、前記基準画像との一致度合いを表す第2の指標を求め、前記指標及び前記第2の指標に基づいて前記エラー検出を行ってもよい。

0013

このようにすれば、前景画像と基準画像との間の輝度や色の非類似度合いを表す指標と、前景画像と基準画像との間の形状の一致度合いを表す第2の指標とを組み合わせることで、表示画像のエラー検出をより高精度に行うことができる。

0014

また本発明の一態様では、前記画像取得回路は、第1の画像に対して前記所与の領域に第2の画像を重ねて前記表示画像を生成し、前記背景画像は、前記表示画像のうち前記第1の画像に対応する画像であってもよい。

0015

このようにすれば、例えばアイコンや文字等を入力画像オーバーレイして表示画像を生成できる。この場合、オーバーレイされた文字やアイコンが前景画像に相当し、それ以外の元の入力画像の部分が背景画像に相当する。本発明の一態様によれば、このような表示画像のエラー検出を行うことで、アイコンや文字が適切に(即ちユーザーが認識可能なように)オーバーレイされなかった場合にエラーと判定することが可能となる。

0016

また本発明の他の態様は、表示画像を取得する画像取得回路と、前記表示画像のエラー検出を行うエラー検出回路と、を含み、前記エラー検出回路は、前記表示画像の画素値と前景画像の基準となる基準画像の画素値とに基づいて、又は前記表示画像のエッジ画像の画素値と前記基準画像のエッジ画像の画素値とに基づいて、前記表示画像のうち所与の領域の画像である前記前景画像と、前記基準画像との一致度合いを表す指標を求め、前記指標に基づいて前記表示画像のエラー検出を行う回路装置に関係する。

0017

本発明の他の態様によれば、前景画像と基準画像との一致度合いを表す指標が、表示画像の画素値と基準画像の画素値とに基づいて、又は表示画像のエッジ画像の画素値と基準画像のエッジ画像の画素値とに基づいて求められ、その指標に基づいてエラー検出が行われる。これにより、ユーザーが誤認識するようなエラーを適切に検出することが可能になる。即ち、前景画像が基準画像に対して一致度合いが高い場合、その前景画像が基準画像に対して視覚的に同じ形状に見える可能性が高いので、上記のような指標を用いることで、前景画像の形状が正しく表示されていない場合にエラーと判断することが可能となる。

0018

また本発明の他の態様では、前記エラー検出回路は、前記表示画像及び前記基準画像の画素数又は解像度を低下させるサブサンプリングを行い、前記サブサンプリングされた前記表示画像の画素値と前記サブサンプリングされた前記基準画像の画素値との、色空間における距離を表す距離情報を求め、前記距離情報から前記指標を求めてもよい。

0019

サブサンプリングされた表示画像の画素値とサブサンプリングされた基準画像の画素値との間の色空間における距離は、形状が一致している場合には小さい(短い)はずである。このため、色空間における距離を用いることで、形状の一致度合いを適切に評価できる。また、サブサンプリングを行うことで画素値が平均化されるので、形状に影響を与えない軽微なエラーの影響を低減することができる。

0020

また本発明の他の態様では、前記エラー検出回路は、所与の閾値を前記距離情報で除算した値から前記指標を求めてもよい。

0021

距離情報が表す距離は、形状の一致度合いが高いほど小さくなる。このため、所与の閾値を距離情報で除算することで、形状の一致度合いが高いほど値が大きくなる指標を求めることができる。

0022

また本発明の他の態様では、前記エラー検出回路は、前記表示画像のエッジ画像の画素値と前記基準画像のエッジ画像の画素値との積和演算を行い、前記積和演算の結果から前記指標を求めてもよい。

0023

エッジ画像は、各画素の画素値としてエッジ量が定義された画像である。形状が一致している場合、表示画像のエッジ画像と基準画像のエッジ画像とを同じ画素で比べると、同じ(略同じ)エッジ量になっているはずである。逆に、形状が一致していない場合にはエッジの位置が表示画像と基準画像で一致しない。このため、同じ画素同士のエッジ量を積和すると、形状が一致している場合には積和の結果が大きな値になる。このようなエッジ量の積和演算を用いることで、形状の一致度合いを適切に評価できる。

0024

また本発明の他の態様では、前記エラー検出回路は、前記表示画像のエッジ画像のうち、前記背景画像に対応する領域をマスクし、前記マスクされた前記表示画像のエッジ画像を用いて、前記積和演算を行ってもよい。

0025

このようにすれば、背景にエッジが含まれるような場合であっても、そのエッジをマスクしてエッジ量の積和演算を行うことができる。即ち、背景のエッジに影響されることなく表示画像と基準画像のエッジの一致度合いを評価できるので、エラー検出の精度をより向上できる。

0026

また本発明の他の態様では、前記画像取得回路は、第1の画像に対して前記所与の領域に第2の画像を重ねて前記表示画像を生成してもよい。

0027

このようにすれば、例えばアイコンや文字等を入力画像にオーバーレイして表示画像を生成できる。この場合、オーバーレイされた文字やアイコンが前景画像に相当し、それ以外の元の入力画像の部分が背景画像に相当する。本発明の他の態様によれば、このような表示画像のエラー検出を行うことで、アイコンや文字が適切に(即ちユーザーが認識可能なように)オーバーレイされなかった場合にエラーと判定することが可能となる。

0028

また本発明の更に他の態様は、上記のいずれかに記載された回路装置を含む電子機器に関係する。

0029

また本発明の更に他の態様は、表示画像の画素値のヒストグラムを求め、前記ヒストグラムを用いた相関演算を行い、前記表示画像のうち所与の領域の画像である前景画像と、前記表示画像のうち前記前景画像の背景に相当する背景画像との間の非類似度合いを表す指標を前記相関演算の結果に基づいて求め、前記指標に基づいて前記表示画像のエラー検出を行うエラー検出方法に関係する。

0030

また本発明の更に他の態様は、前記表示画像の画素値と前景画像の基準となる基準画像の画素値とに基づいて、又は前記表示画像のエッジ画像の画素値と前記基準画像のエッジ画像の画素値とに基づいて、前記表示画像のうち所与の領域の画像である前記前景画像と、前記基準画像との一致度合いを表す指標を求め、前記指標に基づいて前記表示画像のエラー検出を行うエラー検出方法に関係する。

図面の簡単な説明

0031

本実施形態の回路装置の構成例。
エラー検出処理処理フローを示すフローチャート
関心領域におけるYCbCrの各チャンネルのヒストグラム。
ヒストグラムに自己相関演算を行って得られた自己相関値
表示画像の第1の例。
前景がマルチトーンである場合のヒストグラムの例。
前景がマルチトーンである場合のヒストグラムの相互相関値の例。
基準画像の例。
基準画像の平均化画像
表示画像の第2の例。
表示画像の第3の例。
表示画像の第4の例。
基準画像と表示画像(関心領域)とマスク画像の第1の例。
第1の例の基準画像と表示画像から計算されたエッジ値の例。
基準画像と表示画像(関心領域)とマスク画像の第2の例。
第2の例の基準画像と表示画像から計算されたエッジ値の例。
電子機器の構成例。

実施例

0032

以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。

0033

1.回路装置
図1は、本実施形態の回路装置の構成例である。回路装置100は、インターフェース110(第1のインターフェース)、前処理回路120(画像処理回路)、画像取得回路130(オンスクリーンディスプレイ回路)、インターフェース140(第2のインターフェース)、エラー検出回路150、CRC回路160、レジスター回路170、アイコン処理回路180(アイコン色拡張回路)、インターフェース190(第3のインターフェース)、メモリー195(記憶回路)を含む。回路装置100は、例えば集積回路装置(IC)である。

0034

インターフェース110は、例えば処理装置200等から回路装置100に送信される画像データを受信し、その受信した画像データを、回路装置100の内部で用いられる形式に変換する。例えば、インターフェース110はOpenLDI(OpenLVDS Display Interface)であり、LVDS(Low Voltage Differential Signaling)で受信したシリアル信号を、RGBのパラレル信号に変換する。処理装置200は、例えばMCU(Micro Control Unit)やCPU(Central Processing Unit)等である。

0035

前処理回路120は、インターフェース110から入力される画像データに対して種々の画像処理を行う。例えば、前処理回路120は、ガンマ補正FRC(Frame Rate Control)、ホワイトバランス処理等を行う。例えばRチャンネル、Gチャンネル及びBチャンネルの各々のチャンネルのための1次元ルックアップテーブルがメモリー195(又はレジスター回路170又は不図示の不揮発性メモリー)に記憶されており、そのルックアップテーブルを用いて各々のチャンネルに対してガンマ補正を行う。FRCでは、フレーム間で階調スイッチングすることで、疑似的に中間階調表現する処理を行う。ホワイトバランス処理では、例えばホワイトバランスを調整するための1次元ルックアップテーブルがメモリー195(又はレジスター回路170又は不図示の不揮発性メモリー)に記憶されており、そのルックアップテーブルを用いてRGBチャンネルを調整する。

0036

アイコン処理回路180は、アイコン画像の生成(又は取得)を行う。例えば、メモリー195にアイコンのマスク画像が記憶されており、そのマスク画像をRGB画像に変換することでアイコン画像を生成する。マスク画像は、各画素がkビットのデータを有するkビット画像である。kは1以上の整数である。2k乗個インデックス色テーブルがメモリー195(又はレジスター回路170又は不図示の不揮発性メモリー)に記憶されており、その色テーブルに従ってkビットのデータ(インデックス)をRGBのデータに変換する。例えばk=2の場合、色テーブルは、2ビットのインデックスに4色が対応付けられたルックアップテーブルである。或いはk=1の場合、色テーブルは1ビットのインデックスに2色が対応付けられたルックアップテーブルであり、背景の画素を表す「0」に特定の色が対応付けられ、前景の画素を表す「1」に他の色(背景とは異なる特定の色)が対応付けられる。メモリー195は、例えばSRAM等のRAMである。

0037

画像取得回路130は、前処理回路120から入力される画像(以下、入力画像)にアイコン画像を重ねることにより、入力画像にアイコン画像を合成し、その合成した画像を表示画像(レンダーされた画像)としてインターフェース140に出力する。例えば、画像取得回路130は、アイコン画像が完全に背景(入力画像)を隠すように(背景が見えないように)入力画像にアイコン画像を重ねる。或いは、アイコン画像と背景を所与のブレンド比ブレンド(αブレンド)してもよい。入力画像にアイコン画像を重ねる位置は、例えばレジスター回路170(又はメモリー195又は不図示の不揮発性メモリー)に設定される。

0038

エラー検出回路150は、画像解析による表示画像のエラー検出を行う。即ち、入力画像にアイコン画像が正しく合成されたか否かを画像解析によりチェックする。エラー検出回路150は、表示画像の関心領域(ROI: Region Of Interest)から、その関心領域の画像が適切に表示されるかを示す指標を求め、その指標に基づいてエラー検出を行う。関心領域は、表示画像においてアイコンを含む領域である。指標は、アイコンの視認性を評価するための視認性指標と、アイコンの形状と基準(例えばマスク画像)との類似正を評価する形状指標である。これらの指標については、後述する。

0039

インターフェース140は、表示画像を回路装置100の外部(例えば表示パネルを駆動する表示ドライバー)に出力する。例えば、インターフェース140はLVDSのインターフェースであり、画像取得回路130からのRGBのパラレル信号をLVDSのシリアル信号に変換する。インターフェース140は、エラー検出回路150によりエラーが検出された場合、表示画像の出力を停止する。或いは、エラー検出回路150により検出されるエラー情報(例えばエラー判定フラグ、或いは指標等)と共に表示画像を出力し、そのエラー情報を受信した表示ドライバーが、エラー情報に基づく動作(表示の停止等)を行ってもよい。

0040

インターフェース190は、回路装置100と処理装置200との間で設定情報制御情報等を通信する。例えば、インターフェース190は、SPI(Serial Peripheral Interface)方式やI2C方式等のシリアル通信インターフェースである。処理装置200からの設定情報や制御情報は、例えばレジスター回路170に書き込まれ、回路装置100は、その設定情報や制御情報に応じた動作を行う。

0041

CRC回路160は、インターフェース110が受信した画像データに対してCRCによるエラー検出を行う。即ち、処理装置200からインターフェース190を介して入力されるCRC値(基準)と、インターフェース110が受信した画像データから計算したCRC値とを比較し、それらが一致するか否かを検出する。

0042

なお、回路装置100に含まれるロジック回路(例えば前処理回路120、画像取得回路130、エラー検出回路150、CRC回路160、アイコン処理回路180等)は、例えば個々の回路として構成されてもよいし、或いは自動配置配線等により一体化された回路として構成されてもよい。また、これらのロジック回路の一部又は全部が、DSP(Digital Signal Processor)等のプロセッサーにより実現されてもよい。この場合、各回路の機能が記述されたプログラム命令セットがメモリーに記憶され、そのプログラムや命令セットをプロセッサーが実行することで、各回路の機能が実現される。

0043

2.エラー検出処理
以下、エラー検出回路150が行うエラー検出処理について説明する。

0044

コンテンツディスプレイに表示する画像処理システムでは、画像の所定の領域が当初の意図と一致しているか否かを確認する必要がある場合がある。例えば、自動車用システムクラスターディスプレイ(メーターパネルのディスプレイ)に重要な画像を表示する場合を考える。このとき、画面に表示されている既存のコンテンツに重ねられた可視画像を介して所定の重要な情報を表示する必要がある。以下では、画像が正しく表示されているか否かを検出するためのいくつかの方法を説明する。検出は、関心領域(ROI)を解析し、その領域が正しく表示されている程度を示すいくつかの主要な指標を導き出すことによって行う。

0045

以下では、基準に対して表示画像を検証する方法及び概念を用いる。これは、基準画像に対する表示画像の一致度を演算することによって達成される。以下では、表示画像における注目領域(ROI)を考慮する場合について述べるが、(画像全体境界にROIを設定することによって)画像全体に対して容易に拡張することができる。以下では本発明の手法(アルゴリズム)をカラー画像に適用した例について述べるが、本発明の手法はグレースケール画像又は二値画像白黒画像)にも適用することができる。

0046

図2は、エラー検出処理の処理フローを示すフローチャートである。エラー検出処理では、入力画像にアイコン画像を重ねて表示画像を取得する(S1、S2)。次に、基準画像(S3)と表示画像(S2)を比較してエラー検出処理を行い(S4)、指標を求める(S5)。なお基準画像は必ず取得されるとは限らない。例えば、視認性指標を求める際には基準画像を用いず、表示画像のみを用いて指標が計算される場合がある。

0047

エラー検出処理では、表示画像を基準画像と比較することにより、表示画像(又は表示画像の一部)の妥当性を確認する。上記比較では、色ずれ輝度変化スケーリング又は所定の意図的な画像変換による変化はエラーとして検出せず、意図しない回転による変形や、ユーザーによる画像の認識を不可能とするクロップ又はノイズによるエラー等のその他の重要なエラーを検出する。

0048

そのために、視認性指標及び形状指標という2つの指標を使用する。視認性指標は、関心領域の画像が背景に溶け込むことなく視認できる度合いを規定する数値である。なお、関心領域は画像全体を含むように規定することもできる。

0049

上述したように、エラー検出処理はカラー画像に対して適用される(1つのチャンネルをグレーに使用するか、1つのチャンネルにおいて2つの値のみを二値画像に使用することによって白黒又はグレースケール画像(サブセット)に適用することもできる)。そのために、表示画像中の関心領域の画素をRGBフォーマットからYCbCrフォーマットに変換する。ただし、本発明の手法はその他の色空間(例えばLab又はHsv等)にも適用することができる。

0050

2.1.視認性指標(第1の指標)を求める第1の演算手法
図3は、関心領域におけるYCbCrの各チャンネルのヒストグラムである。また図4は、ヒストグラムに自己相関演算を行って得られた自己相関値である。

0051

図3に示すように、YCbCr画像の各チャンネルについて、n個のビンを使用してヒストグラムを求める。例えば、256個のビンを使用し、異なるビンの組を有するヒストグラムを生成することができる。

0052

ヒストグラムは、関心領域において特定の値が生じる回数カウントする。即ち、YCbCr画像の各チャンネルについて、各ビンが示す値を有する画素の数を関心領域内でカウントする。次に、ヒストグラムを0〜aの間の値に正規化する。値「a」は、実装の容易さを考慮して選択することができる(例えば1又は255等)。図3では、a=1である。次に、各チャンネルのヒストグラムをそれ自身と相互相関演算(自己相関演算)し、その自己相関信号をその後の解析に使用する。図4に示すように、自己相関信号を、ゼロ遅延におけるピーク値が1(又は予め設定した値)となるように正規化する。

0053

自己相関値は、下式(1)により求められる。f、gは相関演算される関数(信号。ここではヒストグラム)を表し、自己相関の場合にはf=gである。f*gは、関数fと関数gの相関演算を表す。f*は関数fの複素共役を表し、本実施形態ではf*=fである。mはヒストグラムのビンの番号を表す。nは遅延(lag)を表し、図4ではnは−255〜+255の整数である。

0054

なお、図3のヒストグラムでは、256個のビンが0〜1の間に正規化されているため、横軸が0〜1になっている。図4相関値は、1ビンずつ遅延を変えながら相関値を求めているため、横軸が−(256−1)〜+(256−1)になっている。

0055

図4に示すように、二色の画像が関心領域に存在する場合には、自己相関演算により側波帯が得られる。上記ピークが生じる中心(ゼロ遅延)からの遅延の距離は、色間のコントラストを示す。コントラスト(輝度コントラスト及び色コントラスト)によって人間の目は画像の特徴を識別することができるため、3つのチャンネル全てのピークについてチェックする。図4では、Yチャンネルを点線で示し、Cbチャンネルを細実線で示し、Crチャンネルを太実線で示している。チェックは、(自己相関信号のノイズを拾わないように)ピーク検索の閾値を設定することによって行う。例えば、最小ピーク閾値を0.05に設定する。信号におけるピーク(閾値より大きいピーク値のピーク)を検索して局所最大値を求める。

0056

なお、帯域信号ピークを回避するために、連続するピーク間最小距離所定値に設定することもできる。これらの閾値は調節可能な値であり、用途に応じて選択する。

0057

識別可能な画像が背景(二色以上)上に示されているか否かを示す第1の指標を求めるために、全てのチャンネルについて、ノイズ閾値を超える自己相関信号の全てのピークを求めた後、ピークが生じる最大距離(遅延)を求める。3つのチャンネルにおいてピークが生じる遅延のうち最大値を、視認性を示す指標として選択する。

0058

図4に示す相関プロットでは、ピークを丸で示している。図示する例では、Crチャンネルが最大の分離を示しており、距離は184である。上記値を考えられる最大遅延に正規化する(例えば、考えられる最大遅延はヒストグラムのビンの数である256である)。従って、指標値は184/255=0.722である。図5に示す画像では、上記指標値をVisパラメーターとして示している。上記演算は、一つの例について示している。

0059

図5は、表示画像(解析画像)の第1の例である。A1は関心領域であり、A2はアイコンである。なお、関心領域を示す点線は、実際には表示画像には描画されていない。例えば、アイコンA2の内部(図5において黒色で示す部分)は赤色であり、その背景(図5において白色で示す部分)は緑色である。

0060

図5の画像では、関心領域内に赤と緑の二色の画素群があるので、図3に示すヒストグラムでは、YCbCrの各チャンネルに2つのピーク(大小のピーク)が生じる。例えば、CrチャンネルではビンBa、Bbにピークが生じている。この2つのピークの間の距離は、前景(アイコン)の色と背景の色との間のコントラストを表しており、距離が大きいほど前景と背景の色がより異なることを意味する。ヒストグラムにおける2つのピークの間の距離は、図4に示す自己相関値においてピークが発生する遅延の距離になる。図5の画像では、前景(アイコン)が赤色で背景が緑色なので、図3に示すヒストグラムにおいてCrチャンネルの2つのピーク間の距離が最大距離となっており、その距離は|Ba−Bb|×255である。これが、図4に示す自己相関値において、ピークが発生する最大距離として検出され、正規化した指標値は|Ba−Bb|となる。従って、前景(アイコン)の色と背景の色との間のコントラストが大きいほど、視認性の指標値も大きくなる。

0061

エラー検出回路150は、上記のようにして求めた視認性指標に基づいてエラー検出を行う。例えば、視認性指標と所与の閾値とを比較し、視認性指標が所与の閾値より小さい場合にエラーと判定する。或いは、視認性指標をエラー検出結果として回路装置100の外部に出力してもよい。

0062

2.2.視認性指標を求める第2〜第4の演算手法
第2の演算手法では、相互相関演算を用いて視認性指標を求める。

0063

第1の演算手法では、自己相関演算を使用して関心領域内の基準の視認性についてチェックしている。この場合の基準画像は、背景画像に関する情報(色等)を含んでいない。そのため、合成画像(表示画像)のみを解析して合成画像が二色以上を含むか否かを調べている。

0064

第2の演算手法では、基準画像が情報全体を含む場合(例えば、表示処理によってソース画像を変化させる場合)を想定する。この場合、基準画像のヒストグラムを解析画像(表示画像)のヒストグラムと同様な方法で作成し、自己相関演算の代わりに、基準画像と解析画像のヒストグラム信号間の相互相関演算を行うことができる。数学的には、自己相関演算は、信号自体の相互相関演算である。そのため、相関演算に対する入力信号のみを変化させて相互相関演算又は自己相関演算を行うことができる。即ち、上式(1)において基準画像のヒストグラムをf及びgの一方とし、表示画像のヒストグラムをf及びgの他方とする。

0065

相互相関演算の場合には、中心からのピークの距離を求める代わりに、相互相関信号に所定の閾値を超えるピークが存在しているか否かを調べる。そのようなピークが存在している場合には、画素の分布を考慮する限りにおいて、基準画像と解析画像はかなり一致していることになる。これにより、解析画像に対する第1のレベルのエラー検出を行うことができる。このパラメーターは、空間的相関は示さない(画素分布相関のみ)。この場合の指標は、自己相関演算の場合の中心からのピークの距離ではなく、ピーク値自体であってもよい。

0066

図6は、アイコン等の前景がマルチトーン(二色以上)である場合のヒストグラムの例である。図7は、図6のヒストグラムの相互相関値の例である。ここでは、カラー画像の1チャンネル分について説明するが、同様の処理を複数のチャンネルに対して行う。例えば、複数のチャンネルの相互相関値のピークのうち最大のピーク値を採用すればよい。

0067

図6に示すように、表示画像(合成画像)と基準画像のヒストグラムには、3以上(図6では4)のピークが生じている。表示画像のヒストグラムのピークと、基準画像のヒストグラムのピークが、Bnだけずれているとする。この場合、図7に示すように、相互相関値には遅延Bnのところに大きなピークが現れる。このピークのピーク値が閾値Thrより大きい場合、例えば、そのピーク値を視認性の指標値に採用する。

0068

第3の演算手法では、視認性の指標値として前景と背景のコントラスト比を求める。

0069

第1の演算手法では、Crチャンネルのヒストグラムにおいてピークが生じるビンBa、Bbの差分|Ba−Bb|を、視認性の指標値として用いている。

0070

第3の演算手法では、コントラスト比|Ba−Bb|/Ba又は|Ba−Bb|/Bbを求め、それを視認性の指標値とする。或いは、第2の演算手法のような基準画像を用いる場合には、表示画像におけるC1=|Ba−Bb|と基準画像におけるC2=|Ba−Bb|を求め、コントラスト比C1/C2又はC2/C1を求め、それを視認性の指標値とする。

0071

第4の演算手法では、多次元ヒストグラムを生成して視認性指標を求める。

0072

第1の演算手法では、視認性の解析に各チャンネルのヒストグラム(1次元ヒストグラム)を使用している。

0073

第4の演算手法では、複数のチャンネルの信号から多次元ヒストグラムを生成し、その多次元ヒストグラムに対して多次元相関演算(多次元自己相関演算、又は多次元相互相関演算)を行って、視認性指標を求める。これにより、人間の目によるコントラスト検出をより良好に模擬できる可能性がある。3D色ヒストグラムを使用することにより、より良好な性能が得られる場合がある。

0074

以上の実施形態によれば、回路装置100は、表示画像を取得する画像取得回路130と、その表示画像のエラー検出を行うエラー検出回路150と、を含む。そしてエラー検出回路150は、表示画像の画素値(YCbCrの各チャンネル)のヒストグラム(図3)を求め、そのヒストグラムを用いた相関演算を行う(図4)。エラー検出回路150は、表示画像のうち所与の領域の画像である前景画像と、表示画像のうち前景画像の背景に相当する背景画像との間の非類似度合いを表す指標(視認性指標、第1の指標)を相関演算の結果に基づいて求め、その指標に基づいてエラー検出を行う。

0075

このようにすれば、CRCのようなビット単位のエラー検出ではなく、表示画像の前景画像と背景画像との間の非類似度合いを表す指標に基づいて表示画像のエラー検出を行うことができる。前景画像が背景画像に対して非類似度合いが高い場合、その前景画像が背景画像に対して視覚的に区別されている可能性が高いので、前景画像の視認性が高いと考えられる。即ち、本手法によれば、前景画像の視認性が低い場合にエラーと判断することが可能となる。例えば車載のメーターパネルなどでは、ユーザーに警告するためのアイコン等を表示させる。本実施形態によれば、このようなアイコンが1ビットエラーなどで表示が停止されずに、視認性が確保されている場合において出来るだけ表示させ、ユーザーに警告を行うことができる。

0076

ここで、図1では画像取得回路130はOSDであるが、これに限定されず、画像取得回路130は任意の表示画像を取得する回路であればよい。詳細は「3.変形例」で説明する。また表示画像とは、ディスプレイ(表示装置)に表示させるために生成等された画像のことである。上記の実施形態では、表示画像はOSDによりレンダーされた画像であるが、これに限定されず、例えば何らかの画像処理により生成された画像、或いは通信により受信された画像、或いはメモリーから読み出された画像等であってもよい。

0077

またエラー検出とは、指標に基づくエラー検出結果を出力することであり、例えば指標に基づいて表示画像にエラーが存在するか否かを判定することである。或いは、指標をエラー検出結果として出力することであってもよい。例えば、指標は、前景画像と背景画像の非類似度合いが高いほど値が大きくなる。この場合、指標が所与の値より小さい場合に表示画像がエラーを含むと判定する。

0078

また前景画像は、表示画像のうち、指標により背景画像との非類似度合いを判定したい領域の画像のことである。また、その領域が所与の領域である。例えば、前景を指定するマスク画像を用意して(メモリー等に記憶させて)おき、そのマスク画像において前景を定義する画素(例えば1ビットマスクにおける「1」の画素)によって、前景画像の画素(所与の領域)を特定する。より具体的には、前景を定義するマスク画像を適用する表示画像上の位置(例えばアイコンをオーバーレイする位置)を指定し、その位置とマスク画像とから前景を特定する。

0079

また背景画像は、前景画像を除く表示画像の一部又は全体のことである。即ち、表示画像の一部又は全体に関心領域(前景画像を含む領域)を設定し、その関心領域のうち前景画像を除く領域の画像が背景画像である。例えば、マスク画像において背景を定義する画素(例えば1ビットマスクにおける「0」の画素)によって、背景画像の画素を特定する。

0080

また非類似度合いとは、色空間の構成成分(チャンネル)の各成分における非類似の程度のことである。例えば、YCbCr空間では、前景画像の輝度と背景画像の輝度とがどの程度異なるか、又は前景画像の色と背景画像の色とがどの程度異なるかを表す度合いである。或いは、RGB空間では、前景画像の色と背景画像の色とがどの程度異なるかを表す度合いである。

0081

また本実施形態では、エラー検出回路150は、色空間の構成成分(チャンネル)の各成分のヒストグラムを求め(図3)、各成分のヒストグラムに対して自己相関演算を行い、自己相関のピークが生じる距離を各成分について求め(図4)、求めた距離のうち最大の距離(|Ba−Bb|)に基づいて指標(視認性指標)を求める。

0082

このようにすれば、色空間の構成成分の各成分のうち、前景画像と背景画像で最も差が大きい成分により指標を求めることができる。前景画像と背景画像で最も差が大きい成分は、視覚的にも差が大きく見えると考えられるので、その成分により指標を求めることで、前景の視認性(背景との非類似度合い)を適切に評価できる。

0083

ここで、指標は最大の距離|Ba−Bb|に基づいて求められた値であればよい。例えば第1の演算手法では、指標は最大の距離|Ba−Bb|そのものである。また第2の演算手法では、指標は、最大の距離|Ba−Bb|に基づくコントラスト比(|Ba−Bb|/Ba等)である。

0084

また本実施形態では、エラー検出回路150は、表示画像から色空間の構成成分の各成分の第1のヒストグラムをヒストグラムとして求め、前景画像に対応する基準画像から各成分の第2のヒストグラムを求める(図6)。エラー検出回路150は、各成分について第1のヒストグラムと第2のヒストグラムの相互相関演算を行い、相互相関のピークのピーク値に基づいて指標を求める(図7)。

0085

このようにすれば、基準画像が2色以上の色を含む場合(マルチトーン)であっても、前景画像と背景画像の非類似度合いを表す指標を求めることができる。即ち、基準画像のヒストグラムには2以上のピークが発生するが、このヒストグラムと同じパターンが表示画像のヒストグラムに含まれている場合、少なくとも色又は輝度のパターンにおいて基準画像に類似した画像が表示画像に含まれていることになる。この場合、相互相関演算の結果に大きなピークが発生するはずなので、そのピーク値により指標を求めることで、前景の視認性(背景との非類似度合い)を適切に評価できる。

0086

ここで、基準画像は、表示画像において前景画像が正しく表示されていると仮定した場合の前景画像に対応した画像である。より具体的には、少なくともヒストグラムにおけるピークのパターンが前景画像と同じ画像である。このとき、図6のようにピーク間の相対的な位置関係が同じであればよく、パターン全体がシフトしていても構わない。

0087

また本実施形態では、エラー検出回路150は、表示画像の画素値と前景画像の基準となる基準画像の画素値、又は表示画像のエッジと基準画像のエッジに基づいて、前景画像と基準画像との一致度合いを表す第2の指標(形状指標)を求め、指標(視認性指標)及び第2の指標(形状指標)に基づいてエラー検出を行う。

0088

このようにすれば、互いに異なる性質について評価した2つの指標を組み合わせて表示画像のエラー検出を行うことができる。即ち、前景画像と基準画像との間の輝度や色の非類似度合いを表す指標と、前景画像と基準画像との間の形状の一致度合いを表す第2の指標とを組み合わせることで、表示画像のエラー検出をより高精度に行うことができる。なお、第2の指標(形状指標)の詳細は後述する。

0089

また本実施形態では、画像取得回路130は、第1の画像に対して所与の領域に第2の画像を重ねて表示画像を生成する。背景画像は、表示画像のうち第1の画像に対応する画像である。

0090

このようにすれば、OSDにより入力画像に例えばアイコンや文字等をオーバーレイして表示画像を生成できる。この場合、オーバーレイされた文字やアイコンが前景画像に相当し、それ以外の元の入力画像の部分が背景画像に相当する。本実施形態では、このような表示画像のエラー検出を行うことで、OSDにおいてアイコンや文字が適切に(即ちユーザーが視認可能なように)オーバーレイされなかった場合にエラーと判定することが可能となる。一方、オーバーレイにおいて1ビット程度の処理エラーが発生していたとしても、視認性が確保できる場合にはエラーと判定されないので、アイコンや文字をユーザーに提示できる。

0091

また本実施形態は、以下のようなエラー検出方法として実施することが可能である。即ち、その方法では、表示画像の画素値のヒストグラムを求め、そのヒストグラムを用いた相関演算を行い、表示画像のうち所与の領域の画像である前景画像と、表示画像のうち前景画像の背景に相当する背景画像との間の非類似度合いを表す指標を相関演算の結果に基づいて求め、その指標に基づいて表示画像のエラー検出を行う。

0092

また本実施形態は、以下のようなエラー検出方法として実施することが可能である。即ち、その方法では、表示画像の関心領域を解析し、背景に対する前景の視認性を記述する指標を演算する(このとき、前景を特定するために基準画像をマスクとして用いてもよい)。指標は、以下の(a)又は(b)の技術用いて演算される。(a)表示画像のヒストグラムを用い、前景と背景の分離を探す。(b)前景と背景のコントラスト比を計算する。

0093

2.3.形状指標(第2の指標)の第1の演算手法
形状指標は、解析画像(表示画像)の関心領域の形状が基準画像と一致しているか否かを示す指標である。以下、形状指標の演算手法について説明する。

0094

まず、最終的な平均化画像がm×n画素となるように、解析画像のROIの画素ブロックを平均化する。このサブサンプリング処理は、少数画素エラーが重要なエラーとして検出されないために行うものであり、これらのエラー(色ずれ、小さな歪み等)を無視し、基準画像と解析画像の全体形状を確認する。完全な一致を得るために、サブサンプリングされた画像の解像度を高めることができる。m×nの値は、用途に応じて選択することができる。以下に述べるように基準画像に関連して使用する場合には、m×nの値はサンプルデータ観測に基づいて選択する。

0095

解析画像の関心領域がu×v画素である場合には、平均化ブロックサイズはu/m×v/n画素である。基準背景情報が利用できない場合には、基準画素が存在しない部分の解析画像の画素を削除する。これは、基準前景マスキングに相当する。これは、基準画像と解析画像との間で背景画素ベースライン化する(そろえる、同条件にする)ことが必要であるために行う。そのため、背景画素の値は、解析画像及び基準画像の両方において同じ値に設定する。

0096

基準画像の平均化もm×n画素となるように行う。平均化は、各チャンネルに対して別々に行う。図8は、基準画像の例である。基準画像RIAの前景F1(アイコン)は、着色されており、背景(アイコン以外の領域)は例えば黒等の無色である。図8では、基準画像RIAのサイズは256×256画素である。図9は、基準画像の平均化画像である。図9では、平均化画像SRefのサイズは16×16画素(m=n=16)である。この基準画像及びその平均化画像は背景が無色なので、解析画像の関心領域も背景を無色に変換し(背景を削除し)、その関心領域の平均化画像を求める。

0097

次に、基準画像の平均化画像(SRef m×n)と解析画像の関心領域の平均化画像(SAnz m×n)を、距離基準を使用して画素毎に比較し、下式(2)のように距離D(3次元距離)を求める。本実施形態では、距離基準はデカルト距離の2乗であるが、その他の距離基準であっても同様なパラメーターが得られる。

0098

cは、チャンネルを表し、xは平均化画像での横(水平)方向の画素位置を表し、yは平均化画像での縦(垂直)方向の画素位置を表す。m、nは平均化画像のサイズである。Rxycは、チャンネルcにおける基準画像の平均化画像の位置(x,y)での画素値を表す。R'cは、チャンネルcにおけるRxy画素の平均値(Rxycを平均化画像内で平均したもの)を表す。Axycは、チャンネルcにおける解析画像の平均化画像の位置(x,y)での画素値を表す。A'cは、チャンネルcにおけるAxy画素の平均値(Axycを平均化画像内で平均したもの)を表す。

0099

各チャンネルにおいて平均値を減算する理由は、基準画像と解析画像との間の小さな色ずれがエラーとして扱われないようにするためである。完全な一致が求められる場合には、平均値を0に設定することができる。この場合、距離基準によって形状及び色の一致をチェックすることになる。

0100

解析画像(表示画像)は例えば図5である。関心領域A1は、基準の周囲(基準画像を入力画像に合成した領域の周囲)において抽出される。図5では、関心領域を点線の四角形で示している。

0101

形状指標S(形状パラメーター)は、下式(3)、(4)によって距離パラメーターから導出される。Tは閾値であり、任意の値を採用できる。D<Tの場合にはT/D=1となり、形状指標Sは変化しない。

0102

関数fは、ハードウェアへの実装が容易となるように選択する。例えば、関数fは、範囲0〜1が0〜kにスケーリングされるようなスケーリング関数Kであってもよい。以下に記載する例では、関数fは単位関数である(即ち、S=T/D)。形状指標Sは、基準画像と解析画像との間の形状の一致度を示す。画像が一致していない場合には、この値は減少し、0となる傾向がある。その例を以下に記載する。

0103

図5では、基準画像のアイコンが解析画像に正しく表示されている。この場合、形状指標はS=1(図5では、Shape:1.000と示す)となる。

0104

図10は、表示画像の第2の例である。B1は関心領域を示す。図10のB2に示すように、基準画像のアイコンが解析画像では不明瞭になっている。即ち、基準画素のいくつかが解析画像には存在しておらず、形状指標Sは1未満となる(関数fが単位関数の場合)。このような不明瞭な前景の場合、視認性指標と形状指標が共に小さい値となる。

0105

図11は、表示画像の第3の例である。E1は関心領域を示す。図11のE2に示すように、基準画像のアイコンが解析画像では回転している。この例では、形状は基準から回転しているので、形状指標Sは1未満となる(関数fが単位関数の場合)。このように前景が回転している場合、視認性指標は比較的大きな値であり、形状指標が小さい値となる。このように、視認性指標と形状指標を組み合わせることにより様々な前景の状態において適切なエラー検出を行うことが可能となり、エラー検出の精度を向上できる。

0106

なお、以上では解析画像と基準画像が画像として利用可能である場合について述べたが、本発明の適用対象はこれに限定されない。例えば、画像がライン、画素又はサブ画像としてストリーミングされる場合にも同じ演算を容易に行うことができる。

0107

上記の形状指標は、ベース信号の一致のみをチェックする。視認性が低い画像の場合には、エッジ検出カーネル(Laplacian又はSobel等)を解析画像の関心領域及び基準画像とコンボリューションして一次勾配画像を生成した後、形状演算アルゴリズムによってパラメーターを求めることができる。求めたパラメーターにより、形状指標によって得られた誤検知を除去することができる。このようにすれば、視認性が低い画像の場合にも正しいエラー検出結果を得ることができる。

0108

2.4.形状指標の第2の演算手法
図12は、表示画像の第4の例である。図12では、ダッシュボード画像DIMの上にアイコンICAを重ねた例を示す。アイコン画像の前景と背景は、分離して、ダッシュボード画像にアルファブレンドされる。上記の場合、アイコン画像の前景は部分的にブレンドされる一方、アイコン画像の背景は完全にブレンドされる。ここで、アイコン画像の前景は、アイコン画像のアイコン部分(図13のマスク画像MSBのビット「1」の画素(黒色の部分))である。アイコン画像の背景は、アイコン画像のアイコン以外の部分(図13のマスク画像MSBのビット「0」の画素(白色の部分))である。アイコン画像の背景では、アイコン画像が0、ダッシュボード画像DIMが1の割合でブレンドされる。アイコン画像の前景では、アイコン画像がα、ダッシュボード画像DIMが(1−α)の割合でブレンドされる。0<α<1である。割合αでブレンドされたアイコンが表示画像における前景となり、それ以外の領域が表示画像における背景となる。

0109

本実施形態では、このアイコンとオリジナルのアイコンとの関係を分析して、アイコンが正しく表示されているかをチェックする。具体的には、エッジ検出技術(例えば、ソーベルエッジ検出畳み込み演算子)を用いて、基準に対するのと同様に関心領域でエッジを検出する。

0110

図13は、基準画像と表示画像(関心領域)とマスク画像の第1の例である。マスク画像MSBは、基準画像ICBの前景及び背景を示すマスクであり、黒が前景画素を示し、白が背景画素を示す。基準画像ICB(基準アイコン)は、前景(アイコン、図のグレー部分)が着色された画像である。表示画像CIB(表示アイコン)は、ダッシュボード画像DIMに基準画像ICBをブレンドした画像(関心領域の画像)である。アイコン部分では、ブレンドによりダッシュボード画像DIMが透けて見えている。

0111

図14は、基準画像と表示画像から計算されたエッジ値の例である。EICBは基準画像ICBのエッジ画像であり、ECIBは表示画像CIBのエッジ画像である。図示の関係上、エッジを黒線及びグレー線で示しているが、実際にはエッジの強度はグレースケールで示すことができる(白:高強度のエッジ、黒:エッジ無し)。このエッジ検出は、輝度チャンネルに対して行われる。同様に、エッジ検出は、色チャンネルに対して、又はYCbCrのような色空間においても行われる。

0112

前景領域と背景領域におけるエッジは、基準画像と表示画像について計算され、形状指標は、下式(5)〜(16)に示すように類似量を算出することにより計算される。下式(16)のMatchが形状指標(適合値)である。以下では、基準画像はm×n画素のサイズであり、表示画像の関心領域もm×n画素であるとする。

0113

下式(5)は、水平ソーベルカーネル(水平方向のエッジを検出するソーベルフィルターの演算子)である。下式(6)は、垂直ソーベルカーネル(垂直方向のエッジを検出するソーベルフィルターの演算子)である。

0114

下式(7)〜(12)に示すように、基準画像と表示画像の関心領域における各画素位置について、エッジ値を計算する。「*」は畳み込み演算子である。Nは、値を0と1の間に保つための正規化係数であり、ここではN=4である。IRefは、基準画像の輝度(Y)チャンネルである。IRef(x,y)は、基準画像の輝度チャンネルの位置x、yの画素である。xは0<x≦mの整数であり、yは0<y≦nの整数である。IRenは、関心領域における表示画像の輝度チャンネルである。IRen(x,y)は、関心領域における表示画像の輝度チャンネルの位置x、yを中心とした3×3画素である。

0115

下式(13)〜(16)に示すように、上記のエッジ値から形状指標Match(適合値)を求める。「・」は内積演算子を表す。

0116

図13図14に上記の演算を適用すると、Match=0.78となる。

0117

背景を分析せずに適合値を計算することが要求される場合には、下式(17)〜(22)に示す計算を用いる。

0118

M(x,y)は、いずれの画素が背景に属し、いずれの画素が前景に属すのかを定義するマスク画素を意味する。このマスクは、背景を0で定義し、前景を1で定義する単純な1ビットマスクで実現できる。又は、アンチエイリアスされたエッジをサポートする1ビット以上のマスクであってもよい。そのマスクでは、0と1の間の値が部分的な背景と部分的な前景として扱われる。例えば、0.25の値(2ビット表記では、01)は、25%前景と75%背景を意味する。

0119

図15は、基準画像と表示画像(関心領域)とマスク画像の第2の例である。基準画像ICC、表示画像CIC、マスク画像MSCは、図13の基準画像ICB、表示画像CIB、マスク画像MSBと同じである。図16は、基準画像と表示画像から計算されたエッジ値の例である。EICCは基準画像ICCのエッジ画像であり、ECICは表示画像CICのエッジ画像である。表示画像のエッジ画像ECICにおいて、アイコンの外部(背景)のエッジ成分がM(x,y)によりマスクされている。図15に示すように、上記の演算では形状指標Matchが0.82に上昇する。

0120

以上の実施形態によれば、エラー検出回路150は、表示画像の画素値と前景画像の基準となる基準画像の画素値とに基づいて、又は表示画像のエッジ画像の画素値(エッジ量)と基準画像のエッジ画像の画素値(エッジ量)とに基づいて、表示画像のうち所与の領域の画像である前景画像と、基準画像との一致度合いを表す指標(形状指標)を求め、その指標に基づいて表示画像のエラー検出を行う。

0121

このようにすれば、CRCのようなビット単位のエラー検出ではなく、表示画像の前景画像と基準画像との間の一致度合いを表す指標に基づいて表示画像のエラー検出を行うことができる。前景画像が基準画像に対して一致度合いが高い場合、その前景画像が基準画像に対して視覚的に同じ形状に見える可能性が高い。即ち、本手法によれば、前景画像の形状が正しく表示されていない場合にエラーと判断することが可能となる。例えば車載のメーターパネルなどでは、ユーザーに警告するためのアイコン等を表示させる。本実施形態によれば、このようなアイコンが1ビットエラーなどで表示が停止せずに、形状が正しく認識できる場合において出来るだけ表示させ、ユーザーに警告を行うことができる。

0122

ここで、第1の演算手法(上式(3)〜(5))は、表示画像の画素値と前景画像の基準となる基準画像の画素値とに基づいて指標(S)を求める場合に対応する。また、第2の演算手法(上式(5)〜(22))は、表示画像のエッジ画像の画素値と基準画像のエッジ画像の画素値とに基づいて指標(Match)を求める場合に対応する。エッジ画像の画素値は、上式(7)、(10)、(17)、(18)のエッジ量に対応する。

0123

また、一致度合いとは、例えばアイコン、文字、図形、マーク等(以下アイコン等)の形状の一致の程度のことである。より具体的には、アイコン等の輪郭と向きの一致の程度のことである。また更に、アイコン等の輪郭の内側の状態(例えば塗りつぶされているか否か等)の一致の程度を含んでもよい。例えば、一致度合いを表す指標は、前景画像と背景画像の一致度合いが高いほど値が大きくなる。

0124

また本実施形態では、エラー検出回路150は、表示画像及び基準画像の画素数又は解像度を低下させるサブサンプリングを行う(図9)。エラー検出回路150は、サブサンプリングされた表示画像の画素値とサブサンプリングされた基準画像の画素値との、色空間における距離を表す距離情報を求め(上式(2))、その距離情報から指標(上式(3)、(4))を求める。

0125

サブサンプリングを行うことで画素値が平均化されるので、指標を求める際に1ビットエラー等のノイズ(形状に影響を与えない軽微なエラー)の影響を低減することができる。また、表示画像の画素値と基準画像の画素値との間の色空間における距離は、形状が一致している場合には小さい(短い)はずである。このため、色空間における距離を用いることで、形状の一致度合いを適切に評価できる。

0126

また本実施形態では、エラー検出回路150は、所与の閾値(上式(3)、(4)のT)を距離情報(D)で除算した値から指標(S)を求める。

0127

形状の一致度合いが高いほど距離(D)が小さくなるので、所与の閾値を距離情報で除算することで、形状の一致度合いが高いほど値が大きくなる指標(S)を求めることができる。

0128

また本実施形態では、エラー検出回路150は、表示画像のエッジ画像の画素値と基準画像のエッジ画像の画素値との積和演算(上式(13))を行い、その積和演算の結果から指標を求める(上式(16))。

0129

エッジ画像は、各画素の画素値としてエッジ量が定義された画像である。形状が一致している場合、表示画像のエッジ画像と基準画像のエッジ画像とを同じ画素で比べると、同じ(略同じ)エッジ量になっているはずである。逆に、形状が一致していない場合にはエッジの位置が表示画像と基準画像で一致しないので、例えば表示画像のエッジ画像に大きなエッジ量があっても、基準画像のエッジ画像の同じ画素ではエッジ量がゼロになっていたりする。このため、同じ画素同士のエッジ量を積和すると、形状が一致している場合には積和の結果が大きな値になり、形状が一致していない場合には積和の結果が小さな値になる。このため、エッジ量の積和演算を用いることで、形状の一致度合いを適切に評価できる。

0130

ここで、上式(13)では、積和の「積」はベクトル内積になっているが、「積」はこれに限定されない。例えばエッジ量がスカラーで定義される場合には、「積」はスカラー同士の積となる。

0131

また本実施形態では、エラー検出回路150は、表示画像のエッジ画像のうち、背景画像に対応する領域をマスクし(上式(18))、そのマスクされた表示画像のエッジ画像を用いて、積和演算を行う(上式(19))。

0132

このようにすれば、背景にエッジが含まれるような場合であっても、そのエッジをマスクしてエッジ量の積和演算を行うことができる。即ち、背景のエッジに影響されることなく表示画像と基準画像のエッジの一致度合いを評価できるので、エラー検出の精度をより向上できる。

0133

また本実施形態は、以下のようなエラー検出方法として実施することが可能である。即ち、その方法では、表示画像の画素値と前景画像の基準となる基準画像の画素値とに基づいて、又は表示画像のエッジ画像の画素値と基準画像のエッジ画像の画素値とに基づいて、表示画像のうち所与の領域の画像である前景画像と、基準画像との一致度合いを表す指標を求め、その指標に基づいて表示画像のエラー検出を行う。

0134

また本実施形態は、以下のようなエラー検出方法として実施することが可能である。即ち、その方法では、表示画像の関心領域を解析し、基準画像との類似性を記述する指標を演算する。指標は、以下の(a)又は(b)の技術用いて演算される。(a)表示画像と基準画像(ベース信号)のサブサンプルされた画素の3次元距離エラーを比較する。(b)表示画像と基準画像のエッジ(画像の一次導関数)の3次元距離エラーを比較する。

0135

3.変形例
以上の実施形態では、本発明のエラー検出手法を表示コントローラー(TCON: Timing CONtroller)に適用した場合を例に説明したが、本発明の適用対象はこれに限定されない。即ち、表示画像を処理又は転送する経路のいずれの段階においても本発明を適用可能である。

0136

例えば、表示パネルを駆動する表示ドライバーを、本発明が適用された回路装置としてもよい。この場合、例えば表示ドライバーにおいて画像データが入力されるインターフェースが画像取得回路に相当し、インターフェースと駆動回路の間にエラー検出回路が設けられる。例えばオーバーレイ等は行わず、エラー検出回路は、インターフェースにより受信された画像の所与の領域(アイコン等)に対して本発明のエラー検出を行う。

0137

また以上の実施形態では、画像取得回路130が、表示コントローラーに入力されて前処理された画像(以下、入力画像)に対してアイコンをオーバーレイして表示画像を生成する場合を例に説明したが、本発明の適用対象はこれに限定されない。即ち、画像取得回路130は、表示画像として任意の画像を取得できる。

0138

例えば、画像取得回路130は、入力画像そのものを表示画像としてもよい。この場合、入力画像には例えばアイコンが既に含まれており、そのアイコン等を含む領域を関心領域に設定する。

0139

或いは、画像取得回路130は、入力画像をスケーリング処理した画像を表示画像としてもよい。この場合、入力画像には例えばアイコンが含まれており、そのアイコンをスケーリングし、そのスケーリングされたアイコンを含む領域を関心領域に設定する。

0140

或いは、画像取得回路130は、入力画像をガンマ変換処理階調変換処理)した画像を表示画像としてもよい。この場合、入力画像には例えばアイコンが含まれており、そのアイコンをガンマ変換し、そのガンマ変換されたアイコンを含む領域を関心領域に設定する。

0141

或いは、画像取得回路130は、入力画像を変形処理した画像を表示画像としてもよい。この場合、入力画像には例えばアイコンが含まれており、そのアイコン(又は入力画像全体)を変形し、その変形されたアイコンを含む領域を関心領域に設定する。例えば、ヘッドマウントディスプレイ等に表示するために画像を変形させる場合がある。

0142

或いは、画像取得回路130は、メモリーに記憶された画像を読み出し、その画像を表示画像としてもよい。この場合、メモリーコントローラーが画像取得回路130に相当する。或いは、画像取得回路130は、インターフェースにより受信された画像を表示画像としてもよい。この場合、インターフェースが画像取得回路130に相当する。

0143

4.電子機器
図17は、本実施形態の回路装置を含む電子機器の構成例である。電子機器300は、処理装置310(例えばMCU等)、回路装置320(TCON)、表示ドライバー330、表示パネル340、記憶装置350、操作装置360、通信装置370を含む。

0144

処理装置310は、記憶装置350に記憶された画像データ、又は通信装置370により受信された画像データを回路装置320に転送する。回路装置320は、画像データに対する画像処理や、表示タイミング制御や、表示ドライバーに転送する画像データのエラー検出処理(視認性指標、形状指標の算出)等を行う。表示ドライバー330は、回路装置320から転送された画像データと、回路装置320による表示タイミング制御に基づいて、表示パネル340を駆動し、画像を表示させる。表示パネル340は、例えば液晶表示パネル、或いはEL表示パネル等である。記憶装置350は、例えばメモリー、或いはハードディスクドライブ、或いは光学ディスクドライブ等である。操作装置360は、電子機器300をユーザーが操作するための装置であり、例えばボタンや、或いはタッチパネルや、或いはキーボード等である。通信装置370は、例えば有線通信(LAN、又はUSB等)を行う装置や、或いは無線通信(Wifi、Bluetooth(登録商標)等)を行う装置である。

0145

本実施形態の回路装置を含む電子機器としては、車載用の電子機器(メーターパネル等)や、工場設備等の表示端末ロボットに搭載された表示装置、情報処理装置(PC等)、携帯情報処理端末スマートフォン等)の種々の機器を想定できる。電子機器の構成は図17に限定されず、用途に応じて種々の構成をとることができる。例えば車載用の電子機器では、回路装置320と表示ドライバー330と表示パネル340と操作装置360がメーターパネルに組み込まれ、処理装置310と記憶装置350と通信装置370がECU(Electronic Control Unit)に組み込まれる。この場合、メーターパネルが、本実施形態の回路装置を含む電子機器に相当する。

0146

なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また本実施形態及び変形例の全ての組み合わせも、本発明の範囲に含まれる。また回路装置、電子機器の構成・動作等も、本実施形態で説明したものに限定されず、種々の変形実施が可能である。

0147

100…回路装置、110…インターフェース、120…前処理回路、130…画像取得回路、140…インターフェース、150…エラー検出回路、160…CRC回路、170…レジスター回路、180…アイコン処理回路、190…インターフェース、195…メモリー、200…処理装置、300…電子機器、310…処理装置、320…回路装置、330…表示ドライバー、340…表示パネル、350…記憶装置、360…操作装置、370…通信装置、A1…関心領域、A2…アイコン(前景)、ECIB…エッジ画像、MSB…マスク画像、RIA…基準画像、SRef…平均化画像。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ