図面 (/)

技術 タイリング又はブロックノイズ検出方法及び装置

出願人 テクトロニクス・インコーポレイテッド
発明者 ダニエル・ジー・ベイカー
出願日 2013年4月24日 (8年1ヶ月経過) 出願番号 2013-091295
公開日 2013年11月7日 (7年7ヶ月経過) 公開番号 2013-229872
状態 特許登録済
技術分野 TV信号の圧縮,符号化方式
主要キーワード サイズ係数 対数形式 無次元量 コサイン信号 クリッパ 無次元値 垂直空間 平均除去
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2013年11月7日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (6)

課題

解決手段

スペクトラム・パワー・シグナチャに基づくタイリング又はブロックノイズ検出では、ブロック・エッジにおける1次元ベクトルを用いて、画像中のタイリング又はブロックノイズによって生成されたスペクトラム・シグナチャを見つける。輝度のような画像のベースバンド成分のエッジの値を増加させ、続いて、各水平ラインに沿って画素値加算し、その画像に関するエッジ値の合計である1次元列ベクトルを形成する。この列ベクトルのパワーと、列ベクトル内の選択された周波数成分のパワーが求められる。続いてこれらパワーは合成され、選択された周波数それぞれに関する無次元のタイリング又はブロックノイズ値に変換される。

概要

背景

テレビジョンカメラのような元々の映像源からのビデオ信号は、デジタル化されると、多量のデータに相当する。このデータを受信装置伝送するために、ビデオ信号は、H.264やMPEG2のような周知のビデオ圧縮技術のいずれかを用いて、コーダデコーダコーデック)によって圧縮される。これら圧縮技術は、ビデオ信号で表される複数のフレーム又はビデオ画像シーケンスを複数のデータ・ブロックに分割し、各データ・ブロックを圧縮することで圧縮ビデオが生成される。しかし、圧縮ビデオの受信装置への伝送は、データのビットレートを低くすることが必要となり、情報が失われる、つまり、圧縮は「損失の多い」プロセスである。もし損失が多くなりすぎると、その圧縮ビデオが受信装置を適当なコーデックで伸張したときに、得られるビデオ信号は、圧縮されたときの元々のデータ・ブロックのエッジに対応して、一般にタイリング又はブロックノイズと呼ばれる視覚的なアーティファクトを有するフレーム又はビデオ画像を生成する。

大気中又はケーブルを介しての無線周波数(RF)信号を用いた圧縮ビデオ・ストリームの送信又はインターネット・プロバイタ(IP)ネットワークを用いたデータとしての圧縮ビデオ・ストリームの送信は、時として更なるデータ損失が生じることが多い。この過渡的なデータ損失も、不完全送信データを受信してデコードされた(つまり、いくつかの圧縮ビデオが欠落した)いくつかのフレームにおいて、視覚的に見られるブロックノイズの原因となるであろう。

過剰な圧縮又はデータ損失の両方の場合において、タイリング又はブロックノイズが視覚的に見られるであろうし、これは視聴者にとっていらいらするものであろう。測定環境において、得られるビデオ信号の障害の酷さレベルを決定するため、現在の1つの方法では、各圧縮ブロックと右に隣接するブロックとの間(水平エッジ又はHエッジ)と、各圧縮ブロックと下に隣接するブロックとの間(垂直エッジ又はVエッジ)のACエネルギーを用いて、各圧縮ブロック内の交流電流(AC)エネルギーを比較している。これらH及びVエネルギー比が合算されて、各ブロックに関するタイリング値を生成する。これらタイリング値は、フレーム内のいくつかの領域のそれぞれにおいて、複数のタイルに渡って加算(合算)され、その画像に関するタイリング値のグリッド格子)を形成する。典型的には、その画像又はフレームに関する最大値がタイリング値として報告される。注意すべきは、画素0,0を含む一直線上にある(align)、つまり、画像の左上角を含む一直線上にあるブロック・グリッド上で発生するタイリングのみが検出され、結果としていくつかの問題が生じることである。

MPEG2圧縮コード化(符号化)処理では、ビデオ信号中の複数の画像又はフレームのシリーズが、Iフレームとして個別に圧縮されるか、若しくは、B又はPフレームのように、移動動作推定して周囲のフレームとの関係を予測することによって圧縮される。画素0,0のタイリングは、典型的には、デコーダがIフレームを出力する場合である。しかし、その現在のデコードから生じる関連のP及びBフレームがタイリングを含んでいるかもしれないが、タイルは画素0,0からフレーム内で動きベクトルによって移動する。従って、これらフレームにおけるタイリングの酷さは、適切には示されない。また、先にコード化処理デコード化処理された画像からのタイリングがある可能性もあるが、これは、第2コード化処理の一部としてリサンプルされるか又はシフトされてクロップされ、画素0,0を含む一直線上にはないので、検出されない。最後に、もし先のコード化処理/デコード化処理で生じたタイリングがあって、画像が1080i(インタレース)から720p(プログレッシブ)への変換のようにリサイズ(サイズ変更)された場合、ブロック又はタイルのサイズがもはやオリジナル圧縮処理と同じグリッド間隔ではないので、そのタイリングは、デコーダの出力では検出されないであろう。

概要

スペクトラムパワーシグナチャに基いてタイリング又はブロックノイズを検出する。スペクトラム・パワー・シグナチャに基づくタイリング又はブロックノイズ検出では、ブロック・エッジにおける1次元ベクトルを用いて、画像中のタイリング又はブロックノイズによって生成されたスペクトラム・シグナチャを見つける。輝度のような画像のベースバンド成分のエッジの値を増加させ、続いて、各水平ラインに沿って画素値を加算し、その画像に関するエッジ値の合計である1次元列ベクトルを形成する。この列ベクトルのパワーと、列ベクトル内の選択された周波数成分のパワーが求められる。続いてこれらパワーは合成され、選択された周波数それぞれに関する無次元のタイリング又はブロックノイズ値に変換される。

目的

本発明は、画像中のタイリング又はブロックノイズによって生成されるスペクトラム・シグナチャを見つけるためのブロック・エッジにおける1次元ベクトルを用いた、スペクトラム・パワー・シグナチャによるタイリング又はブロックノイズ検出処理を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

画像中のタイリング又はブロックノイズを検出する方法であって、上記画像に関する複数のエッジ値からなる列ベクトルを生成するステップと、上記列ベクトルから、該列ベクトルのパワー値と、複数の所定周波数からなるグループのそれぞれに関するパワー値とを決定するステップと、上記所定周波数のそれぞれに関するタイリング又はブロックノイズ値を生成するために上記パワー値を合成するステップとを具えるタイリング又はブロックノイズ検出方法。

請求項2

請求項1記載の方法であって、上記生成するステップが、上記画像の水平ラインのそれぞれに沿ってエッジの値を増加させ、増加した値を有するエッジ画素を生成するステップと、上記水平ラインのそれぞれに関する画素の和を生成するために上記水平ラインのそれぞれに沿って上記エッジ画素を加算するステップとを有し、上記水平ラインの全てについての複数の上記画素の和が、上記列ベクトルの複数の上記エッジ値を形成する請求項1記載の方法。

請求項3

請求項1記載の方法であって、上記決定するステップが、上記列ベクトルのAC成分から上記パワー値を計算するステップと、上記所定周波数のそれぞれにおいて上記列ベクトルの上記AC成分のI及びQ成分に関するパワー値を計算するステップと、上記所定周波数のそれぞれの上記I及びQ成分に関する上記パワー値を加算し、上記所定周波数のそれぞれに関する上記パワー値を生成するステップとを有する請求項1記載の方法。

請求項4

請求項1記載の方法であって、上記合成するステップが、上記列ベクトル及び上記所定周波数のそれぞれに関する上記パワー値を無次元量に変換するステップと、上記列ベクトルに関する上記無次元量を、上記所定周波数のそれぞれに関する上記無次元量から引き算し、上記所定周波数のそれぞれに関するタイリング又はブロックノイズ値を生成するステップとを有する請求項1記載の方法

請求項5

画像中のタイリング又はブロックノイズを検出する装置であって、上記画像に関する複数のエッジ値からなる列ベクトルを生成する手段と、上記列ベクトルから、該列ベクトルのパワー値と、複数の所定周波数からなるグループのそれぞれに関するパワー値とを決定する手段と、上記所定周波数のそれぞれに関するタイリング又はブロックノイズ値を生成するために上記パワー値を合成する手段とを具えるタイリング又はブロックノイズ検出装置

請求項6

画像中のタイリング又はブロックノイズを検出する装置であって、上記画像を表すデータを入力とし、上記画像に関する複数のエッジ値からなる列ベクトルを出力として供給する列ベクトル生成部と、上記列ベクトルを入力とし、上記列ベクトル及び該列ベクトル内の所定周波数に関するパワー値を出力として供給するパワー決定部と、上記列ベクトル及び上記所定周波数に関する上記パワー値を入力とし、上記所定周波数のそれぞれに関するタイリング又はブロックノイズ値を出力として供給する合成部とを具えるタイリング又はブロックノイズ検出装置。

請求項7

請求項6記載の装置であって、上記列ベクトル生成部が、上記画像を表すデータを入力とし、上記画像の上記水平ラインのそれぞれに沿ってエッジの値を増加させ、増加した値を有するエッジ画素を出力とするエッジ・フィルタと、上記水平ラインに沿った複数の上記エッジ画素を入力とし、上記水平ラインのそれぞれに関する画素の和を出力とする加算部とを有し、上記水平ラインの全てについての複数の上記画素の和が、上記列ベクトルの複数の上記エッジ値を形成する請求項6記載の装置。

請求項8

請求項6記載の装置であって、上記パワー決定部が、上記列ベクトルのAC成分を入力とし、上記列ベクトルに関する上記パワー値を出力とする第1パワー計算部と、上記列ベクトルの上記AC成分を入力とし、上記所定周波数のそれぞれにおける上記列ベクトルのI及びQ成分に関する上記パワー値を出力とする第2パワー計算部と、上記所定周波数のそれぞれの上記I及びQ成分に関する上記パワー値を入力とし、上記所定周波数のそれぞれに関する上記パワー値を出力とする加算部とを有する請求項6記載の装置。

請求項9

請求項6記載の装置であって、上記合成部が、上記所定周波数のそれぞれ及び上記列ベクトル用であって、それぞれの上記パワー値を入力とし、無次元値を出力とするコンバータと、上記所定周波数のそれぞれ用であって、上記列ベクトル及び上記所定周波数に関する上記無次元値を入力とし、上記所定周波数に関するタイリング又はブロックノイズ値を出力とする減算部とを有する請求項6記載の装置。

技術分野

0001

本発明は、ビデオ圧縮技術に関し、特に、スペクトラムパワーに基づくタイリング又はブロックノイズの検出に関する。

背景技術

0002

テレビジョンカメラのような元々の映像源からのビデオ信号は、デジタル化されると、多量のデータに相当する。このデータを受信装置伝送するために、ビデオ信号は、H.264やMPEG2のような周知のビデオ圧縮技術のいずれかを用いて、コーダデコーダコーデック)によって圧縮される。これら圧縮技術は、ビデオ信号で表される複数のフレーム又はビデオ画像シーケンスを複数のデータ・ブロックに分割し、各データ・ブロックを圧縮することで圧縮ビデオが生成される。しかし、圧縮ビデオの受信装置への伝送は、データのビットレートを低くすることが必要となり、情報が失われる、つまり、圧縮は「損失の多い」プロセスである。もし損失が多くなりすぎると、その圧縮ビデオが受信装置を適当なコーデックで伸張したときに、得られるビデオ信号は、圧縮されたときの元々のデータ・ブロックのエッジに対応して、一般にタイリング又はブロックノイズと呼ばれる視覚的なアーティファクトを有するフレーム又はビデオ画像を生成する。

0003

大気中又はケーブルを介しての無線周波数(RF)信号を用いた圧縮ビデオ・ストリームの送信又はインターネット・プロバイタ(IP)ネットワークを用いたデータとしての圧縮ビデオ・ストリームの送信は、時として更なるデータ損失が生じることが多い。この過渡的なデータ損失も、不完全送信データを受信してデコードされた(つまり、いくつかの圧縮ビデオが欠落した)いくつかのフレームにおいて、視覚的に見られるブロックノイズの原因となるであろう。

0004

過剰な圧縮又はデータ損失の両方の場合において、タイリング又はブロックノイズが視覚的に見られるであろうし、これは視聴者にとっていらいらするものであろう。測定環境において、得られるビデオ信号の障害の酷さレベルを決定するため、現在の1つの方法では、各圧縮ブロックと右に隣接するブロックとの間(水平エッジ又はHエッジ)と、各圧縮ブロックと下に隣接するブロックとの間(垂直エッジ又はVエッジ)のACエネルギーを用いて、各圧縮ブロック内の交流電流(AC)エネルギーを比較している。これらH及びVエネルギー比が合算されて、各ブロックに関するタイリング値を生成する。これらタイリング値は、フレーム内のいくつかの領域のそれぞれにおいて、複数のタイルに渡って加算(合算)され、その画像に関するタイリング値のグリッド格子)を形成する。典型的には、その画像又はフレームに関する最大値がタイリング値として報告される。注意すべきは、画素0,0を含む一直線上にある(align)、つまり、画像の左上角を含む一直線上にあるブロック・グリッド上で発生するタイリングのみが検出され、結果としていくつかの問題が生じることである。

0005

MPEG2圧縮コード化(符号化)処理では、ビデオ信号中の複数の画像又はフレームのシリーズが、Iフレームとして個別に圧縮されるか、若しくは、B又はPフレームのように、移動動作推定して周囲のフレームとの関係を予測することによって圧縮される。画素0,0のタイリングは、典型的には、デコーダがIフレームを出力する場合である。しかし、その現在のデコードから生じる関連のP及びBフレームがタイリングを含んでいるかもしれないが、タイルは画素0,0からフレーム内で動きベクトルによって移動する。従って、これらフレームにおけるタイリングの酷さは、適切には示されない。また、先にコード化処理デコード化処理された画像からのタイリングがある可能性もあるが、これは、第2コード化処理の一部としてリサンプルされるか又はシフトされてクロップされ、画素0,0を含む一直線上にはないので、検出されない。最後に、もし先のコード化処理/デコード化処理で生じたタイリングがあって、画像が1080i(インタレース)から720p(プログレッシブ)への変換のようにリサイズ(サイズ変更)された場合、ブロック又はタイルのサイズがもはやオリジナル圧縮処理と同じグリッド間隔ではないので、そのタイリングは、デコーダの出力では検出されないであろう。

先行技術

0006

特開2011−114683号公報
特開2001−204029号公報

発明が解決しようとする課題

0007

図1は、上述した現在の技術によるタイリングを検出できない結果となる典型的な状況を表す。オリジナルのビデオを表す圧縮されたMPEG2信号は、Y、U及びV信号のようなコンポーネント・ビデオ信号を生成するデコーダ2に入力される。デコーダ2は、デコーダからのベースバンド・ビデオを表すYフレーム中に示されるように、タイリングを生成する。MPEG2は、8×8タイル(又は、場合により16×16タイル)に基づくので、得られるYフレーム画像は、デコード(復号)された複数の8×8タイルを合成したものである。この状況では、Yフレームは、1080iビデオ信号(1080ライン×1920列)を表す。

0008

ケーブル・テレビジョン会社のような仲介業者は、1080iビデオ信号をリサイズし、720pビデオ信号(720ライン×1280列)を生成することがある。オリジナルの8×8タイルの境界上の目に見えるタイリング・アーティファクトは、2/3(8×8)タイルにリサイズされる。この720pビデオ信号は、MPEG2信号を生成するためにコード化(符号化)され、MPEG2信号は、エンド・ユーザのテレビジョン装置に伝送される。エンド・ユーザは、MPEG2信号をデコード(復号)し、視聴用の最終バージョンを生成するが、これは、デコーダからの8×8タイルはもちろんのこと、リサイズされたタイル(2/3(8×8))との両方の目に見えるアーティファクトを含んでいる。その結果は、現在の技術では検出されない目に見える2/3(8×8)タイル・アーティファクトを多数有する画像となるかもしれない。

0009

デコーダ出力における過剰圧縮やデータ損失が原因のデコードされた圧縮ビデオ信号中のタイリング又はブロックノイズの酷さ(障害レベル)を検出する方法が必要とされており、この方法は、位相シフトや画素0,0を含む一直線上にタイリング・パターンを揃えることには関係なく、典型的な画像リサイズ比のいくつかに対応している。

課題を解決するための手段

0010

そこで、本発明は、画像中のタイリング又はブロックノイズによって生成されるスペクトラム・シグナチャを見つけるためのブロック・エッジにおける1次元ベクトルを用いた、スペクトラム・パワー・シグナチャによるタイリング又はブロックノイズ検出処理を提供する。シグナチャとは、同一性を示す独特の特徴のことである。輝度のような画像のベースバンド成分(コンポーネント)のエッジの値を増加させ、各水平ラインに沿った画素値が合算されて、その画像に関するエッジ値の合計である1次元列ベクトルが形成される。列ベクトルのパワーと、列ベクトル内の選択された周波数成分のパワーが求められる。続いて、これらパワーは、合成されて、次元のない(無次元)値に変換され、上記選択周波数のそれぞれに関連するタイリング又はブロックノイズ値を生成する。

0011

より具体的には、本発明の概念1は、画像中のタイリング又はブロックノイズを検出する方法であって、
上記画像に関する複数のエッジ値からなる列ベクトルを生成するステップと、
上記列ベクトルから、該列ベクトルのパワー値と、複数の所定周波数からなるグループそれぞれに関するパワー値とを決定するステップと、
上記所定周波数のそれぞれに関するタイリング又はブロックノイズ値を生成するために、上記パワー値を合成するステップと
を具えている。

0012

本発明の概念2は、上記概念1による方法であって、上記生成するステップが、
上記画像の水平ラインのそれぞれに沿ってエッジの値を増加させ、増加した値を有するエッジ画素を生成するステップと、
上記水平ラインのそれぞれに関する画素の和を生成するために、上記水平ラインのそれぞれに沿って上記エッジ画素を加算するステップとを有し、このとき、上記水平ラインの全てについての複数の上記画素の和が、上記列ベクトルの複数の上記エッジ値を形成している。

0013

本発明の概念3は、上記概念2による方法であって、上記生成するステップが、上記増加した値を、上記加算するステップの前に、上記エッジ画素に関する増加した値の絶対値に変換するステップを更に有している。

0014

本発明の概念4は、上記概念3による方法であって、上記生成するステップが、ダイナミックレンジを減らすために、上記加算するステップの前に、上記増加した値の絶対値をクリップする(clip:切り詰める)ステップを更に有している。

0015

本発明の概念5は、上記概念1による方法であって、上記決定するステップが、
上記列ベクトルのAC成分から上記パワー値を計算するステップと、
上記所定周波数のそれぞれにおいて上記列ベクトルの上記AC成分のI及びQ成分に関するパワー値を計算するステップと、
上記所定周波数のそれぞれの上記I及びQ成分に関する上記パワー値を加算し、上記所定周波数のそれぞれに関する上記パワー値を生成するステップと
を有している。

0016

本発明の概念6は、上記概念5による方法であって、上記列ベクトルのパワー値を計算するステップが、
複数の上記エッジ値から上記列ベクトルに関する平均値を求めるステップと、
上記列ベクトル中の上記エッジ値のそれぞれから上記平均値を引き算し、上記列ベクトルの上記AC成分を生成するステップと、
上記列ベクトルに関する上記パワー値を、上記列ベクトルの上記AC成分に関する値の2乗の和(合計)として生成するステップと
を有している。

0017

本発明の概念7は、上記概念6による方法であって、上記I及びQ成分のパワー値を計算するステップが、
上記列ベクトルの上記AC成分をブロック・サイズ及び所定周波数に応じてダウンコンバートし、上記所定周波数のそれぞれに関するI及びQ成分を生成するステップと、
上記I及びQ成分に関する値の2乗の和として、上記I及びQ成分のそれぞれに関する上記パワー値を生成するステップと、
上記所定周波数のそれぞれに関する上記I及びQ成分を加算して、上記所定周波数のそれぞれに関する上記パワー値を生成するステップと
を有している。

0018

本発明の概念8は、上記概念1による方法であって、上記合成するステップが、
上記列ベクトル及び上記所定周波数のそれぞれに関する上記パワー値を無次元量に変換するステップと、
上記所定周波数に関する上記無次元量のそれぞれから、上記列ベクトルに関する上記無次元量を引き算し、上記所定周波数のそれぞれに関するタイリング又はブロックノイズ値を生成するステップと
を有している。

0019

本発明の概念9は、画像中のタイリング又はブロックノイズを検出する装置であって、
上記画像に関する複数のエッジ値からなる列ベクトルを生成する手段と、
上記列ベクトルから、該列ベクトルのパワー値と、複数の所定周波数からなるグループそれぞれに関するパワー値とを決定する手段と、
上記パワー値を合成し、上記所定周波数のそれぞれに関するタイリング又はブロックノイズ値を生成する手段と
を具えている。

0020

本発明の概念10は、上記概念9による装置であって、上記生成する手段が、
上記画像の水平ラインのそれぞれに沿ってエッジの値を増加させ、増加した値を有するエッジ画素を生成する手段と、
上記水平ラインのそれぞれに関する画素の和を生成するために、上記水平ラインのそれぞれに沿って上記エッジ画素を加算する手段とを有し、このとき、上記水平ラインの全てについての複数の上記画素の和が、上記列ベクトルの複数の上記エッジ値を形成している。

0021

本発明の概念11は、上記概念10による装置であって、上記生成する手段が、上記加算する手段に入力する前に、上記増加した値を、上記エッジ画素に関する増加した値の絶対値に変換する手段を更に有している。

0022

本発明の概念12は、上記概念11による装置であって、上記生成する手段が、ダイナミック・レンジを減らすために、上記加算する手段の前に、上記増加した値の絶対値をクリップする(clip:切り詰める)手段を更に有している。

0023

本発明の概念13は、上記概念9による装置であって、上記決定する手段が、
上記列ベクトルのAC成分から上記パワー値を計算する手段と、
上記所定周波数のそれぞれにおいて上記列ベクトルの上記AC成分のI及びQ成分に関するパワー値を計算する手段と、
上記所定周波数のそれぞれの上記I及びQ成分に関する上記パワー値を加算し、上記所定周波数のそれぞれに関する上記パワー値を生成する手段と
を有している。

0024

本発明の概念14は、上記概念13による装置であって、上記列ベクトルのパワー値を計算する手段が、
複数の上記エッジ値から上記列ベクトルに関する平均値を求める手段と、
上記列ベクトル中の上記エッジ値のそれぞれから上記平均値を引き算し、上記列ベクトルの上記AC成分を生成する手段と、
上記列ベクトルに関する上記パワー値を、上記列ベクトルの上記AC成分に関する値の2乗の和として生成する手段と
を有している。

0025

本発明の概念15は、上記概念14による装置であって、I及びQ成分のパワー値を計算する手段が、
上記列ベクトルの上記AC成分をブロック・サイズ及び所定周波数に応じてダウン・コンバートし、上記所定周波数のそれぞれに関するI及びQ成分を生成する手段と、
上記I及びQ成分に関する値の2乗の和として、上記I及びQ成分のそれぞれに関する上記パワー値を生成する手段と、
上記所定周波数のそれぞれに関する上記I及びQ成分を加算して、上記所定周波数のそれぞれに関する上記パワー値を生成する手段と
を有している。

0026

本発明の概念16は、上記概念9による装置であって、上記合成する手段が、
上記列ベクトル及び上記所定周波数のそれぞれに関する上記パワー値を無次元量に変換する手段と、
上記所定周波数に関する上記無次元量のそれぞれから、上記列ベクトルに関する上記無次元量を引き算し、上記所定周波数のそれぞれに関するタイリング又はブロックノイズ値を生成する手段と
を有している。

0027

本発明の概念17は、画像中のタイリング又はブロックノイズを検出する装置であって、
上記画像を表すデータを入力とし、上記画像に関する複数のエッジ値からなる列ベクトルを出力として供給する列ベクトル生成部と、
上記列ベクトルを入力とし、上記列ベクトル及び該列ベクトル内の所定周波数に関するパワー値を出力として供給するパワー決定部と、
上記列ベクトル及び上記所定周波数に関する上記パワー値を入力とし、上記所定周波数のそれぞれに関するタイリング又はブロックノイズ値を出力として供給する合成部と
を具えている。

0028

本発明の概念18は、上記概念17による装置であって、上記列ベクトル生成部が、
上記画像を表すデータを入力とし、上記画像の上記水平ラインのそれぞれに沿ってエッジの値を増加させ、増加した値を有するエッジ画素を出力とするエッジ・フィルタと、
上記水平ラインに沿った複数の上記エッジ画素を入力とし、上記水平ラインのそれぞれに関する画素の和を出力とする加算部とを有し、
上記水平ラインの全てについての複数の上記画素の和が、上記列ベクトルの複数の上記エッジ値を形成している。

0029

本発明の概念19は、上記概念18による装置であって、上記列ベクトル生成部が、上記増加した値を入力とし、上記エッジ画素に関する上記増加した値の絶対値を出力として上記加算部に入力させる絶対値コンバータを有している。

0030

本発明の概念20は、上記概念19による装置であって、上記列ベクトル発生部は、上記加算部への入力の前に、上記増加した値の絶対値を入力とし、ダイナミック・レンジを低減するために、上記増加した値の絶対値のクリップ値を出力とするクリッパを更に有している。

0031

本発明の概念21は、上記概念17による装置であって、上記パワー決定部が、
上記列ベクトルのAC成分を入力とし、上記列ベクトルに関する上記パワー値を出力とする第1パワー計算部と、
上記列ベクトルの上記AC成分を入力とし、上記所定周波数のそれぞれにおける上記列ベクトルのI及びQ成分に関する上記パワー値を出力とする第2パワー計算部と、
上記所定周波数のそれぞれの上記I及びQ成分に関する上記パワー値を入力とし、上記所定周波数のそれぞれに関する上記パワー値を出力とする加算部と
を有している。

0032

本発明の概念22は、上記概念21による装置であって、上記第1パワー計算部が、
上記列ベクトルの複数の上記エッジ値を入力とし、出力として上記エッジ値の平均値を生成するDC決定部と、
上記列ベクトルの複数の上記エッジ値を第1入力とし、上記平均値を第2入力とし、上記エッジ値と上記平均値の差として上記列ベクトルの上記AC成分を生成して出力とする減算部と、
上記AC成分を入力とし、上記列ベクトルの上記AC成分に関する上記エッジ値の2乗の和として上記列ベクトルの上記パワー値を生成して出力とするパワー生成部と
を有している。

0033

本発明の概念23は、上記概念22による装置であって、上記第2パワー計算部が、
ブロック・サイズ及び上記所定周波数に応じた局部発振周波数と共に上記列ベクトルの上記AC成分を入力とし、上記所定周波数に関するI及びQ成分を出力とする上記所定周波数それぞれについてのダウン・コンバータと、
上記所定周波数に関する上記I及びQ成分を入力とし、上記I及びQ成分の値の2乗の和として上記I及びQ成分のそれぞれに関する上記パワー値を生成して出力とするパワー生成部と、
上記所定周波数に関する上記I及びQ成分を入力とし、上記所定周波数に関する上記パワー値を出力とする上記所定周波数のそれぞれについての合成部と
を有している。

0034

本発明の概念24は、上記概念17による装置であって、上記合成部が、
上記所定周波数のそれぞれ及び上記列ベクトル用であって、それぞれの上記パワー値を入力とし、無次元値を出力とするコンバータと、
上記所定周波数のそれぞれ用であって、上記列ベクトル及び上記所定周波数に関する上記無次元値を入力とし、上記所定周波数に関するタイリング又はブロックノイズ値を出力とする減算部と
を有している。

0035

本発明の目的、効果及び他の新規な点は、以下の詳細な説明を添付の特許請求の範囲及び図面とともに読むことによって明らかとなろう。

図面の簡単な説明

0036

図1は、典型的なタイリング又はブロックノイズ・アーティファクトを生成する典型的なテレビジョン配信システムのブロック図である。
図2は、本発明によるタイリング又はブロックノイズ検出のためのシステムのブロック図である。
図3は、本発明による複数のエッジ値からなる列ベクトルに関する複数の値のグラフである。
図4は、本発明による列ベクトルの線形スペクトラム・プロットのグラフである。
図5は、本発明による列ベクトルの別の線形スペクトラム・プロットのグラフである。

実施例

0037

ここで説明する方法は、現在デコード化(復号化)された画像に加えて、先にコード化(符号化)/デコード化された画像の両方において、タイリングが画像0,0(オリジナル位置において)を含む一直線上にあるかどうかに関係なく、タイリング又はブロックノイズの障害レベルの検出を提供する。タイリング(8ライン・パターン)又はマクロブロッキング(16ライン・パターン)によって生成される垂直方向空間周波数の小さな1セット(1組)であり、高速フーリエ変換FFT係数に類似するスペクトラム・シグナチャ(Signature:同一性を示す独特の特徴)を見つけるため、ベースバンド・ビデオ信号の各フレームに関する画像中の水平方向に沿った複数のエッジの絶対値を表す1次元列ベクトルが生成される。また、この方法は、以前のコード化(プリ・コード化)によるタイリング又はマクロブロッキングを別途示すために、1080i又は1080pから720pフォーマットへの典型的な画像のリサイズ処理及びその逆方向のフォーマットのリサイズ処理が原因の2/3及び3/2周波数成分も見つける。

0038

ここで図2を参照すると、MPEG2信号のような圧縮ビデオ信号からデコードされた輝度(Y)2次元画像成分のようなデコードされたベースバンド・ビデオ成分が、エッジ検出部12に入力され、各水平ラインに沿った垂直エッジの値を増加させる。エッジ検出部12から得られる画素についての絶対値は、オプションでクリッパ(clipper)14に入力され、値に制限を設ける、即ち、ダイナミック・レンジを減少させ、続いて、加算部16に入力されて、1次元(1D)列ベクトルCV(n)が生成され、これのDC成分を除去したものが図3に表されている。従って、1080i又は1080p画像フレームについては、その1D列ベクトル中に1080個の値があり、各水平ラインに関する合計値は、つまるところ、n=0...,N−1である。典型的なエッジ検出部12は、次の2Dフィルタ・カーネルがある。

0039

0040

クリッパ14は、もし利用した場合には、8ビット画像について、クリップ・レベルCL=30を有するとしても良い。列ベクトルCVは、DC成分を除去する平均(Mean)除去部18で処理するようにしても良い。つまり、CV(n)−Mean(CV)、このとき、Mean(CV)=(1/N)*sum(CV(n))である。

0041

平均除去部18から得られるCVは、単純スペクトラム評価部20に入力され、これは、タイリング又はブロックノイズ係数8又は16、若しくはリサイズ係数2/3又は3/2に対応する列ベクトル値の周波数成分を検出する。図2は、実例として、オリジナル位置のタイリング又はブロックノイズと、2/3のリサイズしているブロックノイズとを検出するスペクトラム評価部20のみを示している。周期B及び2/3Bの複数の局部発振器が、複素サイン及びコサイン信号を生成するのに利用される。

0042

0043

これらは、それぞれ対応する乗算部22、24、26、28に入力され、列ベクトルCVをベースバンドの実部及び虚部へとダウン・コンバートする。オリジナル位置の乗算部22、24からの出力は、それぞれ対応する2乗加算部30、32に入力され、和(合計)の2乗が生成される。

0044

0045

同様に、プリ・コード化乗算部26、28からの出力は、それぞれ対応する2乗加算部34、36に入力され、和の2乗が生成される。

0046

0047

Pq、Pi及びP’q、P’iは、各ダウン・コンバート処理におけるベースバンド・パワーを表す。また、列ベクトルCVは、2乗加算部38にも入力され、2乗の和が生成される。

0048

0049

これは、列ベクトルのパワーの和(合計)を表す。

0050

和の2乗Pq、Pi及びP’q、P’iのそれぞれは、それぞれに対応する加算部42、44に入力されるが、これらは、プロセッサ上で動作しているソフトウェアアプリケーション40の一部分としても良く、出力信号対数値に変換される。これは、出力Pcvも同様である。フレーム当たりのオリジナル位置のタイリング値が、オリジナル位置の加算部42に関する対数値と、Pcvに関する対数値とを入力とする減算部46で生成される一方、フレーム当たりのプリ・コード化タイリング値が、プリ・コード化加算部44に関する対数値と、Pcvに関する対数値とを入力とする減算部48で生成される。オリジナル位置のタイリング値は、次に示すように表すことができる。

0051

0052

そして、プリ・コード化タイリング値は、次のように表すことができる。

0053

0054

これらの結果は、次元のない(無次元の)対数形式パワー比率である。

0055

図4は、1080ライン画像から得られた1つの列ベクトルに関する水平エッジ・パワーの線形スペクトラム・プロットである。x軸は、垂直空間周波数、簡単のため、画像の高さ当たりのサイクルを単位とする周波数である。例えば、1080ラインの画像における8ライン繰り返しパターンは、1080/8の周波数を生成し、これは、画像の高さ当たり135サイクルである。マーカFmb及びFmb2が、オリジリナル位置の周波数及びプリ・コード化周波数のそれぞれに関して示されている。この例では、オリジリナル位置の周波数においてのみスパイクがあって、8×8のオリジナル位置タイリング・ブロック上のタイリングを示すと共に、更に高い周波数には基本的にタイリングがないことを示している。

0056

図5は、別の720ライン画像に関する同様な線形スペクトラム・プロットであるが、ここでは、Fmb2の720/5.333、つまり、135サイクル/高さにおいて、かなり大きなスパイクがあり、2/3(8×8)、つまり5.333ラインにおいて、プリ・コード化ブロッキングが原因のタイリングの可能性を示している。720/10.667、つまり、67.5サイクル/高さにおいて、更に大きくさえあるスパイクがあり、プリ・コード化ブロッキングが原因の2/3(16×16)、つまり、10.667ラインにおけるタイリングを示している。Fmb2におけるスパイクは、67.5サイクル/高さにおけるスパイクの2次高調波であり、両方のスパイクは、
16×16グリッド上のプリ・コード化タイリング・アーティファクトによって作られたものであり、これは元々は1080ライン画像中にあったものが720ラインにリサイズされて、2/3(16)、つまり、10.667ライン毎に繰り返すエッジ・パターンを生成したものである。従って、どのようなプリ・コード化16×16タイリング・エッジも、高調波の大きなものを有するので、720ラインに変換された1080ライン画像上のプリ・コード化された16×16タイリング又は8×8タイリングのどちらも、Fmb2におけるスパイクによって検出可能である。小さなスパイクがFmbにおいて見られるが、相対的に小さな量のオリジナル位置の8×8タイリングを示しているに過ぎない。

0057

特定の周波数のみに関心があるので、スペクトラム・パワー・シグナチャを生成するためにFFTを使用する必要はない。従って、本発明は、示したように、リアルタイムで動作する。大きさのみ測定するので、タイリングの結果は位相とは関係が無い、つまり、垂直シフトとは関係がない。同様に、本発明は、水平方向のサイズ変更や水平方向のクロッピングとも関係がない。上述の説明では、各水平ラインに沿ったエッジ値を表す1D列ベクトルを生成しているが、同じプロセスを適用して、画像フレーム内における画素の各垂直列に関する1D列ベクトルを生成しても良い。更に、フレームを画像の高さに沿ってセグメントに分割し、各セグメントについて別々にタイリング値を生成するようにしても良い。特定の値を超えることが示された周波数におけるスペクトラム・パワー・シグナチャの振幅は、その所定周波数と共にタイリング又はブロックノイズとして報告されるようにしても良く、このとき、この特定の値は、経験に基づいて、目に見えるアーティファクトが視聴者の目を引き始めるレベルとして定めても良い。

0058

このように、本発明は、画像の全域に渡って複数のエッジ値からなる1次元列ベクトルを生成し、その1D列ベクトルに関する複数の所定周波数におけるパワーを決定し、各所定周波数におけるパワーから列ベクトル・パワーを引き算して、各所定周波数に関する無次元の値へと変換されたタイリング又はブロックノイズ値を生成することによって、スペクトラム・パワー・シグナチャに基づくタイリング又はブロックノイズ検出を提供する。

0059

12エッジ検出部
14クリッパ
16加算部
18平均除去部
20スペクトラム評価部
22乗算部
24 乗算部
26 乗算部
28 乗算部
30 2乗加算部
32 2乗加算部
34 2乗加算部
36 2乗加算部
38 2乗加算部
40ソフトウェア・アプリケーション
42 加算部
44 加算部
46 減算部
48 減算部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ