図面 (/)

技術 ビットストリームを復号する方法

出願人 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド
発明者 コーエン、ロバート・エイヴェトロ、アンソニースン、ハイファン
出願日 2010年9月16日 (11年2ヶ月経過) 出願番号 2012-518333
公開日 2013年3月4日 (8年8ヶ月経過) 公開番号 2013-507794
状態 特許登録済
技術分野 TV信号の圧縮,符号化方式
主要キーワード 分割角 方向フィルター 二次変換 オンラインデバイス 初期係数 変換インデックス 平滑領域 終了ピクセル
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2013年3月4日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題・解決手段

ビットストリーム一連フレームを含む。各フレームは符号化ブロックに分割される。各ブロックについて、ビットストリーム内変換インデックスから求められた変換角において1組の経路が求められる。ビットストリームから変換係数が得られる。変換係数は、経路ごとに1つのDC係数を含む。変換係数に逆変換が適用され、復号ビデオが生成される。

概要

背景

コーデック
デジタルビデオコーデックビデオ圧縮及び解凍する。コーデックは、放送機器テレビパーソナルコンピュータービデオレコーダー及びビデオプレイヤー人工衛星、並びに移動デバイス及びオンラインデバイスにおいて見ることができる。コーデックは、ビデオの各フレームピクセルブロックに分割し、該ブロックを一度に1つずつ処理する。

符号化中、空間冗長性及び時間冗長性が除去されてデータレートが低減される。本発明は特に、ビデオの符号化及び復号中に用いられる変換に関する。最も一般的な変換は、MPEG及びH.264/AVC標準規格において指定されているような離散コサイン変換(DCT)である。DCTは、空間領域におけるピクセル輝度周波数領域における変換係数コンバートする。次に、係数量子化され、エントロピー符号化されて、圧縮されたビットストリームが生成される。ビットストリームは、媒体(DVD)に格納することもできるし、復号器直接通信することもできる。復号中、ステップは逆に行われる。エントロピー復号及び逆量子化の後、逆変換が適用され、元のビデオが復元される。

通常、世界中の復号器、例えば消費者製品の数は、符号化器の数をはるかに上回る。したがって、相互運用性を可能にするために、ビットストリーム及び復号プロセスのみが標準化されている。符号化プロセスは通常、標準規格において全く指定されていない。

変換
DCTはブロック内のピクセルの各行に適用される水平1D DCT及び各列に適用される垂直1D DCTを含む。大部分が水平又は垂直の特徴を有するブロックの場合、2D DCTが効率的である。しかしながら、2D DCTは、水平でも垂直でもない特徴、すなわち方向特徴を含むブロックを効率的に変換しない。ここで、「方向(directional)」とは、水平及び垂直以外の向きを指す。

概して、方向変換を実施する2つの方法が存在する。第1の方法は、ブロック内の所定の経路に沿って2D DCTを適用する。第2の方法は、方向フィルターを適用し、その後、2D DCTを適用する。通常、ファンフィルターが、ブロックを1組の方向サブバンドに分割する。その後、変換が各サブバンドに適用される。カンターレット等の方向変換がこのように実施される。カンターレットは、曲線境界によって分離された平滑領域を含むフレームを効率的に変換する。

H.264/AVC等の既存のビデオコーディング方法のための既存の2DDCT変換又はDCT様変換を補うために、方向変換が用いられてきた。符号化プロセス中、H.264/AVC符号化器は、従来の2D変換等の1組の変換及び1組の方向変換の中から選択する。次に、レート/歪みの意味で最も良好な性能が得られる単一の変換が、符号化及び復号のために選択される。

変換後、対応するデータのエントロピー符号化において、方向データの統計を利用することによって改善を行うことができる。H.264/AVCでは、コンテキスト適応二値算術コーダー(CABAC)又はコンテキスト適応可変長コーダー(CAVLC)を用いて様々なタイプのデータをエントロピー符号化する。入力シンボルが二値符号語マッピングされ、算術コーダーによって圧縮される。コンテキストを用いて、算術コーダーによって用いられる統計を適応させる。各コンテキストが、最も確からしいシンボル(0又は1)及び対応する確率を格納する。

H.264/AVC標準規格は、2D DCTを用いるように設計されている。既存の方法は、方向変換を用いて、H.264/AVC符号化器の性能を拡張することができる。しかしながら、これらの方法は依然として、従来のH.264/AVCフレームワークを用いて、方向に関連した判定及びデータを生成しコーディングする。このため、方向情報を効率的に表すこと、及びコーディング効率を改善することが必要とされている。

変換の目的は、変動するピクセル値のブロックを、係数のほとんどがゼロである係数のブロックにコンバートすることである。DCTの場合、ピクセルのアレイセット(an array set of pixcel)が、ブロック内の低周波数データから高周波数データを表す1組のDCT係数にコンバートされる。周波数が最も低いのは、変換によってコンバートされた全てのピクセルの平均値に関するDC係数である。次の係数は、信号内に含まれる最も低周波数のコサイン波振幅を表す。それに続く係数は周波数の増大に対応する。データがDCTによく適している場合、周波数係数の多くがゼロになり、復号器がビデオを再構築するのに必要とされない。

概要

ビットストリームが一連のフレームを含む。各フレームは符号化ブロックに分割される。各ブロックについて、ビットストリーム内変換インデックスから求められた変換角において1組の経路が求められる。ビットストリームから変換係数が得られる。変換係数は、経路ごとに1つのDC係数を含む。変換係数に逆変換が適用され、復号ビデオが生成される。

目的

変換の目的は、変動するピクセル値のブロックを、係数のほとんどがゼロである係数のブロックにコンバートすることである

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

ビットストリーム復号する方法であって、該ビットストリームは符号化ビデオに対応し、該符号化ビデオは、一連フレームを含み、各フレームは符号化ブロックに分割され、該方法は、符号化ブロックごとに、該ブロック内の1組の経路を求めるステップであって、各経路は前記ビットストリーム内変換インデックスから求められた変換角にある、ステップと、前記ビットストリームから変換係数を取得するステップであって、該変換係数は経路ごとに1つのDC係数を含む、ステップと、復号ビデオを生成するために、各経路上の前記変換係数に一次逆変換を適用するステップとを含み、前記求めるステップ、前記取得するステップ、及び、前記適用するステップは復号器において実行される、ビットストリームを復号する方法。

請求項2

各経路は1組の第1の係数を形成する第1の係数を有し、前記取得するステップは、前記1組の第1の係数に二次逆変換を適用して、各経路の前記DC係数を取得することを更に含む、請求項1に記載の方法。

請求項3

各経路は1組の第1の係数を形成する第1の係数を有し、前記取得するステップは、前記1組の第1の係数から各経路の前記DC係数を予測すること、を更に含む、請求項1に記載の方法。

請求項4

各経路に長さを関連付けるステップを更に含む、請求項1に記載の方法。

請求項5

前記長さは異なる、請求項4に記載の方法。

請求項6

前記一次逆変換は、逆離散コサイン変換に基づく、請求項1に記載の方法。

請求項7

分割角に従って前記ブロックを1組の区画に分割するステップを更に含む、請求項1に記載の方法。

請求項8

前記分割角は前記変換角に対し垂直である、請求項7に記載の方法。

請求項9

前記ブロックは、マクロブロックサブブロック、ブロック区画、又は、ピクセルアレイを含む、請求項1に記載の方法。

請求項10

量子化パラメーターに従って前記変換係数を逆量子化するステップと、前記ブロック内の前記変換係数のロケーションに従って該変換係数をスケーリングするステップとを更に含む、請求項1に記載の方法。

請求項11

量子化パラメーターに従って前記変換係数を逆量子化するステップと、前記長さに従って前記変換係数をスケーリングするステップとを更に含む、請求項4に記載の方法。

請求項12

前記係数の走査順序は該係数が量子化された順序に依拠する、請求項1に記載の方法。

請求項13

各逆変換の走査順序は独立して実行される、請求項1に記載の方法。

技術分野

0001

本発明は、包括的にはビデオコーデックに関し、より詳細には、ビデオフレーム及びビデオ画像におけるピクセルブロックの符号化及び復号中に用いられる方向変換に関する。

背景技術

0002

コーデック
デジタルビデオコーデックビデオ圧縮及び解凍する。コーデックは、放送機器テレビパーソナルコンピュータービデオレコーダー及びビデオプレイヤー人工衛星、並びに移動デバイス及びオンラインデバイスにおいて見ることができる。コーデックは、ビデオの各フレームをピクセルブロックに分割し、該ブロックを一度に1つずつ処理する。

0003

符号化中、空間冗長性及び時間冗長性が除去されてデータレートが低減される。本発明は特に、ビデオの符号化及び復号中に用いられる変換に関する。最も一般的な変換は、MPEG及びH.264/AVC標準規格において指定されているような離散コサイン変換(DCT)である。DCTは、空間領域におけるピクセル輝度周波数領域における変換係数コンバートする。次に、係数量子化され、エントロピー符号化されて、圧縮されたビットストリームが生成される。ビットストリームは、媒体(DVD)に格納することもできるし、復号器直接通信することもできる。復号中、ステップは逆に行われる。エントロピー復号及び逆量子化の後、逆変換が適用され、元のビデオが復元される。

0004

通常、世界中の復号器、例えば消費者製品の数は、符号化器の数をはるかに上回る。したがって、相互運用性を可能にするために、ビットストリーム及び復号プロセスのみが標準化されている。符号化プロセスは通常、標準規格において全く指定されていない。

0005

変換
DCTはブロック内のピクセルの各行に適用される水平1D DCT及び各列に適用される垂直1D DCTを含む。大部分が水平又は垂直の特徴を有するブロックの場合、2D DCTが効率的である。しかしながら、2D DCTは、水平でも垂直でもない特徴、すなわち方向特徴を含むブロックを効率的に変換しない。ここで、「方向(directional)」とは、水平及び垂直以外の向きを指す。

0006

概して、方向変換を実施する2つの方法が存在する。第1の方法は、ブロック内の所定の経路に沿って2D DCTを適用する。第2の方法は、方向フィルターを適用し、その後、2D DCTを適用する。通常、ファンフィルターが、ブロックを1組の方向サブバンドに分割する。その後、変換が各サブバンドに適用される。カンターレット等の方向変換がこのように実施される。カンターレットは、曲線境界によって分離された平滑領域を含むフレームを効率的に変換する。

0007

H.264/AVC等の既存のビデオコーディング方法のための既存の2DDCT変換又はDCT様変換を補うために、方向変換が用いられてきた。符号化プロセス中、H.264/AVC符号化器は、従来の2D変換等の1組の変換及び1組の方向変換の中から選択する。次に、レート/歪みの意味で最も良好な性能が得られる単一の変換が、符号化及び復号のために選択される。

0008

変換後、対応するデータのエントロピー符号化において、方向データの統計を利用することによって改善を行うことができる。H.264/AVCでは、コンテキスト適応二値算術コーダー(CABAC)又はコンテキスト適応可変長コーダー(CAVLC)を用いて様々なタイプのデータをエントロピー符号化する。入力シンボルが二値符号語マッピングされ、算術コーダーによって圧縮される。コンテキストを用いて、算術コーダーによって用いられる統計を適応させる。各コンテキストが、最も確からしいシンボル(0又は1)及び対応する確率を格納する。

0009

H.264/AVC標準規格は、2D DCTを用いるように設計されている。既存の方法は、方向変換を用いて、H.264/AVC符号化器の性能を拡張することができる。しかしながら、これらの方法は依然として、従来のH.264/AVCフレームワークを用いて、方向に関連した判定及びデータを生成しコーディングする。このため、方向情報を効率的に表すこと、及びコーディング効率を改善することが必要とされている。

0010

変換の目的は、変動するピクセル値のブロックを、係数のほとんどがゼロである係数のブロックにコンバートすることである。DCTの場合、ピクセルのアレイセット(an array set of pixcel)が、ブロック内の低周波数データから高周波数データを表す1組のDCT係数にコンバートされる。周波数が最も低いのは、変換によってコンバートされた全てのピクセルの平均値に関するDC係数である。次の係数は、信号内に含まれる最も低周波数のコサイン波振幅を表す。それに続く係数は周波数の増大に対応する。データがDCTによく適している場合、周波数係数の多くがゼロになり、復号器がビデオを再構築するのに必要とされない。

発明が解決しようとする課題

0011

1組の並列の1D変換を用いる既存の方向変換に伴う1つの問題は、各1D変換の長さが、ブロック内の変換位置に依拠して変動する場合があるということである。例えば、45度に向けられた方向変換を用いて8×8のブロックを変換するために、ブロックの主対角線に沿った1D変換は8つの要素を有し、隣接する1Dは7つの要素を有し、1つ又は2つの要素の変換まで以下同様であり、これらは非効率的である。1要素変換は、最高でも1つのピクセル値のスケーリングであり、コーディング効率を改善するのにほとんど役立たない。このため、小さな変換経路が呈する非効率性を被らず、それでもなお元の変換の方向特性を維持する形でこれらの変換を用いてブロックを変換する方法が必要とされている。

0012

また、データが第2の直交方向において相関していないときに2D DCTの性能が劣化するような形で性能を劣化させることなく、コーディング効率を更に改善するように、第1の1組の変換の出力に第2の1組の変換を適用する方法も必要とされている。

0013

さらに、H.264/AVC等の予測コーダーにおいて一般的に見られるコーディング予測残余ブロックに適した、この変換の分割版が必要とされている。

課題を解決するための手段

0014

ビットストリームが、一連のフレームを含む。各フレームは符号化ブロックに分割される。各ブロックについて、ビットストリーム内変換インデックスから求められた変換角における1組の経路が求められる。ビットストリームから変換係数が得られる。変換係数は、経路ごとに1つのDC係数を含む。変換係数に逆変換が適用され、復号ビデオが生成される。

図面の簡単な説明

0015

本発明の実施形態によるビデオシステムのブロック図である。
本発明の実施形態による復号器のブロック図である。
本発明の実施形態による符号化器のブロック図である。
本発明の実施形態によるサブブロック及び分割方向処理モジュールのブロック図である。
本発明の実施形態による変換タイプ及び方向判定モジュールのブロック図である。
本発明の実施形態による方向推論モジュールのブロック図である。
本発明の実施形態による方向予測モジュールのブロック図である。
本発明の実施形態による方向インデックス符号化モジュールのブロック図である。
本発明の実施形態による方向インデックス符号化器モジュールの第1の実施形態の概略図である。
本発明の実施形態による方向インデックス符号化器モジュールの第2の実施形態の概略図である。
本発明の実施形態によるコンテキスト生成モジュールの流れ図である。
本発明の実施形態によるコンテキスト生成モジュールの流れ図である。
本発明の実施形態による一次方向変換及び二次方向変換の経路の概略図である。
本発明の実施形態による一次方向変換及び二次方向変換の経路の概略図である。
本発明の実施形態による8×8のピクセルブロックの一次方向変換のブロック図である。
本発明の実施形態による8×8のピクセルブロックの一次方向変換のブロック図である。
本発明の実施形態による8×8のピクセルブロックの一次方向変換のブロック図である。
本発明の実施形態による8×8のピクセルブロックの一次方向変換のブロック図である。
本発明の実施形態による8×8のピクセルブロックの一次方向変換のブロック図である。
本発明の実施形態による8×8のピクセルブロックの一次方向変換のブロック図である。
本発明の実施形態による1組の分割方向変換のブロック図である。

実施例

0016

コーデック
図1Aは、本発明の実施形態によるビデオシステムを示している。システムは、符号化器10及び復号器20(併せてコーデック30)を備える。コーデックは、当該技術において既知メモリ及び入出力インターフェースを備えるプロセッサにおいて実装することができる。

0017

符号化器は、入力ビデオ1をビットストリーム15に圧縮する。符号化器は、以下で詳細に説明するように、入力ビデオに変換、量子化、及びエントロピー符号化を適用する。出力ビデオが入力ビデオを正確に反映することを保証するために、復号器20は逆順で逆ステップを実行する。加えて、符号化器は通常、符号化プロセスのフィードバックを提供する復号器に相当するものを備える。全ての符号化器変数が符号化器において容易に利用可能であるので、符号化器内の復号器は比較的単純である。本発明は特に、逆方向変換25に関係している。

0018

後述し、図11Bに示すように、変換は一次変換及び二次変換を含むことができる。符号化中、一次変換はピクセル輝度に作用し、変換係数、例えばDC係数及びAC係数を求める。二次変換はDC係数1160に対してのみ処理を行い、二次変換係数1170を生成してデータ冗長性を更に低減する。逆変換はDC係数を再構築する二次逆変換26を含み、一次逆変換27は復号ビデオのピクセル輝度を復元する。

0019

符号化器と復号器との間の相互運用性を保証するために、ビデオコーディング標準規格は通常、ビットストリーム及び復号プロセスのみを指定している。しかしながら、以下で詳述するように、当業者であれば、符号化プロセスの説明は、逆の復号プロセスを正確に推定するのに十分であることを理解されよう。

0020

復号器
図1Bは本発明による復号器20の関連部分を示している。復号器は符号化(encoded)ビットストリーム15及び情報160を受信する。ビットストリームはCABACエントロピー復号器191に与えられ、CABACエントロピー復号器191は、その情報に従って、量子化された変換係数192を生成する。第1のブロックの場合、情報は初期コンテキストとすることができる。その後、この情報は以前に処理された(復号された)ブロックに関するものとなる。

0021

係数は、復号されたブロックが出力ビデオ又は復号ビデオ2を形成するように逆量子化され(24)、逆変換される(25)。変換は、逆離散コサイン変換(IDCT)とすることができる。変換は2D逆離散コサイン変換及び1組の逆方向変換を含むことができる。以下でより詳細に説明するように、二次逆変換も適用することができる。

0022

情報160は復号器のコンテキスト生成モジュール(CGM)に与えられる。CGMは、選択されたコンテキスト921及び922をCABAC復号器に転送する。以前に復号されたブロック160の予測変換インジケーター(PTI)501が方向インデックス復号モジュール(DIDM)601に与えられ、DIDM601は逆変換25の変換インジケーター602を生成する。逆変換は、逆変換のうちの任意のもの、例えば1D水平逆DCT及び1D垂直逆DCT(2D IDCT)41、1組の逆方向変換42、並びに任意の他の既知の逆変換43を用いることができる。

0023

現行のビデオコーディング標準規格が、異なる変換へのインデックスが必要ないように、単一の予め指定された変換のみを用いることに留意されたい。また、現行の標準規格は、逆変換中に、以前に復号されたブロックに関する副情報を考慮しない。

0024

符号化器
図1Cは、符号化器10の関連する詳細を示している。符号化器は本発明の実施形態による方向変換を用いる。示される本方法のステップは、符号化器のプロセッサにおいて実行することができる。プロセッサは、当該技術分野において既知のメモリ及び入出力インターフェースを備える。

0025

符号化器への入力は、コーディングされるビデオのフレームのブロック101である。本明細書において規定されるように、ブロックは、マクロブロックと、サブブロックと、ブロック区画(包括的にピクセルのアレイ)とを含む。ほとんどのコーディング用途において、動作は好ましくはマクロブロック及びサブブロックに対して実行される。ブロックは、元のビデオデータ、ビデオデータの空間予測若しくは動き補償予測からの残余、又は変換される他のテクスチャ関連データを含むことができる。ブロックは、サブブロック分割方向処理モジュール(SPDPM)200によってサブブロックに分割することができる。ここで、サブブロックは一度に1つずつ「ブロック」として処理される。

0026

各ブロックは、従来の2次元離散コサイン変換(2D DCT)120、1組の方向変換130、又は他の変換(包括的に変換125)から選択された変換を用いて変換される。変換の出力は、変換タイプ及び方向判定モジュール(TTDDM)300によって測定される。TTDDMは、レート/歪みコスト等のメトリックを用いて、変換のうちのいずれが最も良好な性能を与えるかを判断する。レート/歪みコストは、符号化レートと、歪みを乗算したスカラーとの和である。最小のコストを有する変換タイプ及び方向が、変換のために選択される。性能は、限定ではないが、コーディング効率の基準とすることができる。着想は、最も良好な性能を有する変換が符号化のために選択され、選択された変換がビットストリームにおいてインデックス16として復号器にシグナリングされるというものである。

0027

TTDDMは、方向推論モジュール(DIM)400から入力を受信することもできる。DIMへの入力は、以前に処理された隣接ブロックに用いられた変換及び方向を示すデータの集まり160である。DIMの出力は、好ましい方向431等の、データ160に対応する値又は1組の値である。TTDDMはこの情報を用いて、いずれの変換及び方向を用いてブロック101を符号化するかに関する判定を行う。TTDDMは、最終分割インジケーター(FPI)141を分割への誘導としてSPDPMに転送することもできる。TTDDMモジュールは、変換ブロック102と、選択された変換及び方向を表す選択変換インジケーター(STI)145とを生成する。

0028

次に、変換されたブロック102を、エントロピーコーディングを用いて適切に符号化し(150)、符号化された出力ブロック17を生成することができる。

0029

方向予測モジュール(DPM)500は、DIMからの情報、及び以前に処理されたブロック160に関連する情報も受信する。DPMはこの情報を用いて、予測変換インジケーター(PTI)501を生成する。PTIは、STI145とともに、方向インデックス符号化モジュール(DIEM)600に入力される。DIEMは、コンテキスト適応二値算術コーダー(CABAC)190による符号化のためにその表現を二値符号語603にコンバートする。

0030

CABACによって用いられるコンテキストは、コンテキスト生成モジュール(CGM)900によって決定される。CGMへの入力は、DIMからの、以前に符号化された隣接ブロックによって用いられた変換及び方向に関する情報、又は現在のブロックから既にコーディングされた情報である。CGMはCABACのためのコンテキストを生成し、二値方向インデックスを符号化する。CABACは符号化された変換インデックス16を出力する。

0031

サブブロック及び分割方向処理モジュール
図2は、SPDPM200の詳細を示している。入力ブロック101内のピクセルは、ビデオフレームデータ、動き補償予測残余、及び空間予測残余等の、ビデオ関連情報を表すことができる。SPDPMは、ブロックを、区画210(包括的にピクセルアレイ)に分割する。従来の変換又は方向変換125が区画に適用される。TTDDMによって生成された最終分割インジケーター141は、最良の性能のためにいずれの区画を用いるかを示す。

0032

変換タイプ及び方向判定モジュール
図3は、ブロック210を変換するのに用いる最も良好な変換及び方向を選択するためのTTDDM300を示している。変換選択器310は、利用可能な変換タイプの中でいずれを測定モジュール320に送信するかを選び、測定モジュール320は、変換を選択するのに用いられるレート/歪み(R/D)コスト等のメトリック321を決定する。

0033

変換選択器は、DIM400による影響を受けることができる。DIMは、例えば、隣接ブロックを検査して、現在のブロックのためにいずれの方向が良好に機能する可能性がより高いかを判断することができる。次に、測定を利用可能な方向のサブセットに限定し、これによって処理時間を低減することができる。これらの測定を用いて最も良好な方向又は変換を求めた後、選択された変換インジケーター145、及び対応する変換ブロック102が出力される。TTDDMが区画のうちの選択したものに対し動作を行っている場合、最良の性能が得られる最終分割インジケーター141もSPDPMに出力される。

0034

方向推論モジュール
図4は、DIM400を示している。ブロック選択モジュールは、以前に処理されたブロック及び副情報160を用いて、現在のブロックのために可能な変換方向411を求める。可能な変換方向を用いて1組の好ましい方向431を求める。その後、これは、DPMによって、この情報を表すのに必要とされるビット数を低減するのに用いられ、この結果、符号化器及び復号器における効率が改善する。

0035

ブロック選択モジュール(BSM)410が、現在のブロックに対する選択されたブロックの距離等の判断基準に基づいてブロック160の中から選択する。信頼度判定モジュール(RDM)420は、選択されたブロックの信頼度を推定する。RDMモジュールは、テクスチャ情報、位置、及び他のブロックデータ412を用いることができる。選択されたブロックそれぞれの信頼度係数421及び対応する変換方向411が優先方向決定モジュール(PDDM)に供給され、PDDMにおいて好ましい方向431が特定される。

0036

方向予測モジュール
図5は、DIEM600及びCGMのための予測変換インジケーター501を求めるDPM500を示している。第1ステージ予測器510は、好ましい方向431から候補515を選択する。第2ステージ予測器420は、これらの候補及び符号化副情報160を用いて、好ましい変換インジケーター501を選択する。

0037

変換されたテクスチャ残余を符号化するために、選択された変換方向インジケーター145は、H.264/AVCにおいて用いられる内部予測モード等のテクスチャ予測器に相関させることができる。したがって、DPMに供給される副情報は、例えば、インジケーター501を選択する内部予測モードを含むことができる。

0038

方向インデックス符号化モジュール
図6はDIEM600を示している。入力は、選択された変換インジケーター145及び予測された変換インジケーター501を含み、これらは方向の意味のある表現にマッピングされる(605及び606)。選択された変換インジケーター及び予測された変換インジケーターに異なるマッピング(605及び606)を用いることができる。2つの方向間の差は、変換インジケーターの差612として求められる(610)。予測は選択された変換方向の妥当近似であるので、小さな角度差によって、効率的に符号化することができる類似した符号語が生じるはずである。差は符号語603に二値化され(620)、符号語603は、CABAC190によって、符号化された変換インデックス16としてエントロピーコーディングされる。任意のコンテキスト適応エントロピーコーダー及び可変長コーディング(VLC)を用いることができることを理解されたい。差計算は、後述するように回避することができる(611)。

0039

図7は、DIEM600の第1の実施形態を概略的に示している。例えば、8つの可能な変換方向701及び対応する予測702が存在する。変換方向は選択された変換インジケーター145によって選択され、予測はPTI501によって選択される。変換インジケーターはグレイコードにマッピングされる。グレイコードでは、隣接する方向は1ビットしか異ならない。選択方向の符号語及び予測方向の符号語が排他的OR(XOR)610演算を用いて1ビットずつ比較され、差611が得られる。精密な予測器の場合、これによって、低エントロピーの場合にほとんどがゼロのビットストリームが得られる。インジケーターマッピング605及び606は二値表現を用いるので、二値化620は用いられない。

0040

図8は、DIEMの第2の実施形態を示している。この実施形態では、方向は一様連続数列によって表される。差610は

0041

0042

であり、ここで、ISは選択された方向インジケーターのマッピングされたインデックスであり、IPは予測された方向インジケーターのマッピングされたインデックスであり、Nは可能な方向の数、例えば8である。小さな差となる可能性がより高いので、二値化620はより少ないビットでゼロに近い差(0,1,N−1,2,N−2,...)をコーディングする。差計算は回避することができ(611)、マッピングされた変換インジケーターは、二値化モジュール620に直接転送される。この場合、コンテキスト生成モジュール900は、予測された変換インジケーターを用いて適切なコンテキストを選択する。

0043

コンテキスト生成モジュール
図9及び図10は、CGM900の実施形態を示している。CGMは、CABAC190のコンテキスト921及び922を選択する。3つ以上のコンテキストを選択することもできる。コンテキストを求めるために、CGMは好ましい処理ブロック情報160、PTI501、及び好ましい方向431を用いることができる。コンテキストA及びBは、正確な予測方向と不正確な予測とを区別する。図9は、好ましい方向431がコンテキストを求めるのにいかに用いられるかを示している。最大差φが求められ(910)、所定のしきい値Tと比較される(920)。差がしきい値未満である場合、予測はコンテキストA921において正確であり、そうでない場合、コンテキストB922は不正確である。例えば、DIEMが用いられる場合、CABACに供給されるビットはほとんどがゼロであり、この確率に適合するようにコンテキストAが選択される。CGM900のコンテキスト選択は、ビット位置等の他の係数を検討し、3つ以上のコンテキストの中で判定することもできる。

0044

図10に示す実施形態は、DIEMが差計算610を回避する(611)と仮定する。予測された変換インジケーター501、及びインデックス603からのいずれのビットが符号化されるかを表す位置インデックス1001が入力である。PTI501は、DIEMにおいて用いられる同じインジケーターマッピング605を用いて二値符号語にマッピングされる(1010)。双方の符号語が同じであるべきなので、CABACの最も確からしいビットは、1030の現在のビットCW[i]と同じであるべきである。このため、比較1030が現在のビットが1であることを示す場合、1であることが好ましいコンテキストA921が選択され、そうでない場合、0が好ましいビットであるコンテキストB922が選択される。

0045

一次方向変換及び二次方向変換
図11Aは、本発明の実施形態による方向変換を示している。復号中、変換は逆変換であることを理解されたい。変換(又は逆変換)はM×Nのピクセルブロック1100に対し処理を行う。変換において、ピクセルに関連付けられる値1101は、符号化のステージであるか又は復号のステージであるかに依拠して、輝度又は変換係数とすることができる。

0046

変換は1組の1D変換{T0,T1,...,TN−1}1102を含む。ここで、Nはブロックに適用される1D変換の総数である。変換Tiの長さliは、1D変換が動作するピクセル数を示す。このため、組内の変換{T0,T1,...,TN−1}は、対応する長さ{l0,l1,...,lN−1}を有する。

0047

各変換がブロック内の経路1102に沿ってピクセルに適用される。経路は通常、1組の連続ピクセル又は隣接ピクセルを含む。しかしながら、連続していないピクセルも経路内に含めることができる。

0048

図11Bに示すように、経路上のピクセルの値が係数である場合、各経路の第1の係数はDC係数であり、AC係数がそれに続く。第1の係数1150の全てが1組の二次変換係数(STC)1170において収集される。組内の第1の二次係数は二次DC(SDC)係数である。

0049

復号中、二次方向変換26を1組の二次変換係数に適用して、各経路のDC係数を再構築することができる。符号化中、各経路の第1の係数、すなわちDC係数が、1組の二次変換係数1170が形成された後に廃棄される。

0050

各経路は、垂直方向1103に対して、方向変換インデックスによって決まる変換角θ1105に向けられる。上述したように、符号化中に求められる変換インデックスは、復号されるビットストリームの一部分である。

0051

特定のブロック及び変換のための経路は一般に同じ方向に向けられる。経路は以下のように生成される。

0052

変換長Lmin1110の最小経路がブロックに関して指定される。変換経路は通常、ブロック1100のエッジ(又は角)に位置する開始ピクセル1120から開始する。上述したように、ピクセルの値が係数である場合、開始ピクセルの値はDC係数である。

0053

経路は、角θに沿って、別のエッジの終了ピクセル1121まで続く。ピクセルを単位とする経路長はmである。開始ピクセルがエッジ又は角にある場合、長さm=1である。

0054

m≧Lminである場合、経路は完全であるとみなされる。ブロックが、経路上にないいずれかのピクセルをまだ含む場合、新たな経路が開始する。新たな経路は、ブロック内の任意の未変換ピクセルから開始することができる。通常、次の経路は、前の経路の開始部に隣接しているか若しくは近いピクセルから開始するか、又はブロック内での経路長の分布が実質的に対称になるようにブロックの反対側の角から開始することができる。プロセスは全てのピクセルが変換されるまでステップ2を続ける。

0055

m<Lminである場合、経路は過度に短く、プロセスは、以前に処理されたピクセルに隣接するピクセルを含めることによって継続する。2つ以上の隣接ピクセルが存在する場合、ブロック内の他の経路を用いて現在の経路を決定することができる。未処理ピクセルが利用可能である場合、ピクセルは経路の一部にされ、経路長mが増分され、プロセスはブロックのエッジに達するまで方向(180−θ)においてステップ2を継続する。このため、方向θは、ステップ2を継続する前に、(180−θ)に、事実上Uターンに設定される。

0056

図12A図12Cは、Lmin=3並びにそれぞれ45度、30度、及び90度の角度の場合の方向変換を示している。図12D図12Fは、Lmin=5の場合の方向変換を示している。経路がエッジではなくブロック内で終了するとき、代替的な実施形態が可能である。

0057

逆変換26は、逆変換係数が用いられることを除き、上述したのと同じ経路に沿って動作する。例えば、各経路について1D DCTが用いられる場合、逆変換は1D逆DCT(IDCT)を用いる。

0058

二次方向変換
図11Bは、二次方向変換26を示している。一次方向変換が適用された後、初期変換の各経路からの初期係数を含む経路に沿って、各ブロックに二次変換を適応的に適用することができる。これらの係数は通常、DCT等の1D変換のDC係数に対応する。

0059

逆二次変換は、逆二次変換係数が用いられることを除き、上述したのと同じ経路に沿って動作する。逆二次方向変換は、復号中に逆方向変換の前に実行される。

0060

二次変換は、方向変換係数のDC成分における冗長性を更に低減する。代替的に、1つの方向変換のDC成分を用いて、別の方向変換のDC成分を予測するために用いることができる。

0061

分割方向変換
図13は、分割方向変換を示している。M×N(8×8)のピクセルブロック1300は、垂直に対し分割角φを有する線1310に概ね沿って、2つのブロック区画A及びBに分割される。分割角は、変換角θ1105に対し垂直である。

0062

次に、ブロック区画Aが角度θAに向けられた1組の経路を有し、区画Bが角度θBに向けられた1組の経路(a set of paths)を有するという制約で、上述したステップを用いて方向変換が生成される。方向変換θの一次角は、θAと同じてあるとみなされる。区画内で経路が生成されると、線1310は区画のエッジを近似する。このため、方向変換における各ピクセルは、区画A又はBのいずれかにある。角度θA及びθBは、異なることができる。

0063

本発明の1つの実施形態では、二次方向変換は双方の区画Bに適用される。プロセスを逆に行うために、二次逆変換が適用され、次に区画A及びBに逆方向変換が独立して適用される。本発明の別の実施形態では、二次変換が各区画に独立して適用される。

0064

すなわち、双方の逆二次変換を逆一次変換の前に適用することもできるし、逆二次変換及び逆一次変換を区画に独立して適用することもできる。この判定は、ブロック単位で適応的に行われる。

0065

スケーリング及び量子化順序
一次変換及び二次変換の完了後、結果の係数がスケーリングされ、順序付けされ、量子化される。

0066

変換係数のスケーリングは、各1D方向変換の経路の長さm、又はブロック内の係数のロケーションに依拠する。長さmの1D変換はスケール係数Smを有する。このため、長さmの経路内の全ての係数がSmによってスケーリングされる。通常、スケール係数は、DC係数の大きさが、同一のピクセル値を変換するときに同じになるように選択される。長さm=4を用いた変換がそれぞれ値vを有する4つのピクセルを変換し、長さm=5を用いた変換がそれぞれ値vを有する5つのピクセルを変換する場合、スケール係数Smは、双方の変換が同じ値を有する第1の(DC)係数を出力するように選択される。

0067

代替的なスケーリング方法も可能である。長さm又は方向θに基づいて、より短い変換に、より小さいか又はより大きいスケール係数を与えることができる。スケーリングを変換自体の一部にし、このプロセスの実施を簡略化することもできる。

0068

スケーリングされた係数が走査順で配列される。1つの実施形態では、1組の変換{T0,T1,...,TN−1}が独立して、かつ順番走査される。各変換において、第1のDC係数が最初に走査され、その後、後続のAC係数がその変換の経路と同じ順序で走査される。

0069

別の実施形態では、各変換からの全ての第1のDC係数が走査され、その後、各変換からの全ての第2の係数が走査され、最後の変換まで以下同様である。第2の実施形態では、変換が走査される順序を変化させることができる。例えば、変換は、それらのインデックスの順序で走査することができ、すなわち、第1の走査は1組の変換{T0,T1,...,TN−1}からのDC係数を順序{0,1,...,N−1}で用いる。代替的に、変換はそれらの長さ{l0,l1,...,lN−1}の順序で走査することができる。係数は、ブロック内のそれらの相対位置に基づいて走査することができる。例えば、ブロックのエッジに沿った全ての係数を最初に走査することができ、その後、エッジから離れた係数を走査することができる。

0070

本発明を好ましい実施形態の例として説明してきたが、本発明の趣旨及び範囲内で様々な他の適応及び変更を行うことができることは理解されたい。したがって、添付の特許請求の範囲の目的は、本発明の真の趣旨及び範囲内に入るすべての変形及び変更を包含することである。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ