図面 (/)

技術 ディジタル化された画像のシーケンスからシンボルをエンコーディングするための方法、ディジタル化された画像のシーケンスからエンコーディングされたシンボルをデコーディングするための方法、ディジタル化された画像のシーケンスからシンボルをエンコーディングするための装置、ディジタル化された画像のシーケンスからエンコーディングされたシンボルをデコーディングするための装置及びシンボルをエンコーディング及びデコーディングするためのコーデック

出願人 シーメンスアクチエンゲゼルシヤフト
発明者 ペーターアモン
出願日 2010年10月13日 (8年9ヶ月経過) 出願番号 2012-533619
公開日 2013年3月4日 (6年4ヶ月経過) 公開番号 2013-507871
状態 特許登録済
技術分野 TV信号の圧縮,符号化方式
主要キーワード メインパラメータ 統計的依存性 エンコーディングパラメータ シンボルタイプ 各確率モデル エンコーディングモード 相関ステップ エンコーディングシステム
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2013年3月4日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (15)

課題・解決手段

一つのエンコーディングサイクルにおけるエントロピーエンコーディングが複数の並行エンコーディング分岐において行われるように、画像領域をエンコーディングサイクルにおいて処理する。それぞれのエンコーディング分岐において画像領域を確率モデルのセットに基づきエンコーディングし、確率モデルのセットに関する頻度を画像領域をエンコーディングする際に、画像領域において発生するシンボルに基づき適応させ、各エンコーディング分岐においてエンコーディングのために使用される確率モデルのセットは、全てのエンコーディング分岐の画像領域におけるシンボルの頻度を考慮する、全てのエンコーディング分岐に対して有効である確率モデルの共通のセットを基礎とし、確率モデルの共通のセットを、所定の時間間隔を置いて、時間的に先行する少なくとも一つのエンコーディングサイクルにおいて適応された頻度に基づき更新する。

概要

背景

概要

一つのエンコーディングサイクルにおけるエントロピーエンコーディングが複数の並行エンコーディング分岐において行われるように、画像領域をエンコーディングサイクルにおいて処理する。それぞれのエンコーディング分岐において画像領域を確率モデルのセットに基づきエンコーディングし、確率モデルのセットに関する頻度を画像領域をエンコーディングする際に、画像領域において発生するシンボルに基づき適応させ、各エンコーディング分岐においてエンコーディングのために使用される確率モデルのセットは、全てのエンコーディング分岐の画像領域におけるシンボルの頻度を考慮する、全てのエンコーディング分岐に対して有効である確率モデルの共通のセットを基礎とし、確率モデルの共通のセットを、所定の時間間隔を置いて、時間的に先行する少なくとも一つのエンコーディングサイクルにおいて適応された頻度に基づき更新する。

目的

本発明の課題は、複数の画像領域の並行処理を実現するのと同時に、高いエンコーディング効率も実現されるように、ディジタル化された画像のシーケンスにおけるシンボルのエントロピーエンコーディングを改善することである

効果

実績

技術文献被引用数
3件
牽制数
1件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

ディジタル化された画像(I)のシーケンスからシンボルエンコーディングするための方法であって、前記画像(I)は複数の画像領域(MB)に分割されており、それぞれの画像領域(MB)のシンボル(S)が一つ又は複数の確率モデルに基づくエントロピーエンコーディングを用いてエンコーディングされ、前記一つ又は複数の確率モデルは画像領域(MB)において発生するシンボル(S)の頻度を考慮する、ディジタル化された画像(I)のシーケンスからシンボルをエンコーディングするための方法において、一つのエンコーディングサイクル(CC,CC1,CC2,...,CC5)における前記エントロピーエンコーディングが複数の並行エンコーディング分岐(1,2,3)において行われるように、前記画像領域(MB)を前記エンコーディングサイクル(CC,CC1,CC2,...,CC5)において処理し、但し、それぞれのエンコーディング分岐(1,2,3)において一つの画像領域(MB)を確率モデルのセットに基づきエンコーディングし、前記確率モデルのセットに関する頻度を、前記画像領域をエンコーディングする際に、前記画像領域(MB)において発生する前記シンボル(S)に基づき適応させ、各エンコーディング分岐(1,2,3)におけるエンコーディングのために使用される前記確率モデルのセットは、全てのエンコーディング分岐(1,2,3)の前記画像領域(MB)におけるシンボル(S)の頻度を考慮し、且つ、全てのエンコーディング分岐(1,2,3)に対して有効である確率モデルの共通のセットに基づくものであり、前記確率モデルの共通のセットを、所定の時間間隔を置いて、時間的に先行する少なくとも一つのエンコーディングサイクル(CC,CC1,CC2,...,CC5)において適応された頻度に基づき更新することを特徴とする、ディジタル化された画像(I)のシーケンスからシンボルをエンコーディングするための方法。

請求項2

前記確率モデルの共通のセットの前記更新を、時間的に連続して更新が行われる際に種々のエンコーディング分岐(1,2,3)の前記適応された頻度が考慮されるように順番に実施する、請求項1に記載の方法。

請求項3

前記確率モデルの共通のセットの前記更新を、所定の同期時点(T1,T2,T3)において実施し、該同期時点においては前記確率モデルの共通のセットを、少なくとも一つの先行するエンコーディングサイクル(CC,CC1,CC2,...,CC5)の全てのエンコーディング分岐(1,2,3)の前記適応された頻度に基づいて更新する、請求項1又は2に記載の方法。

請求項4

前記確率モデルの共通のセットの前記更新を、少なくとも一時的に、時間的に直前のエンコーディングサイクル(CC,CC1,CC2,...,CC5)において適応された頻度に基づき実施する、請求項1乃至3のいずれか一項に記載の方法。

請求項5

前記確率モデルの共通のセットの前記更新を、少なくとも一時的に、時間的に直前のものではないエンコーディングサイクル(CC,CC1,CC2,...,CC5)において適応された頻度に基づき実施する、請求項1乃至4のいずれか一項に記載の方法。

請求項6

それぞれのエンコーディング分岐(1,2,3)における画像領域(MB)のエンコーディング後に、前記それぞれのエンコーディング分岐(1,2,3)に対応付けられている確率モデルの中間セットに前記適応された頻度を一時的に記憶し、前記確率モデルの共通のセットが更新されるまで、一時的に記憶されている確率モデルの一つ又は複数の中間セットを、前記確率モデルの共通のセットと組み合わせて、前記それぞれのエンコーディング分岐(1,2,3)における前記エントロピーエンコーディングに使用する、請求項1乃至5のいずれか一項に記載の方法。

請求項7

それぞれの画像領域(MB)の前記エントロピーエンコーディングはVLCエンコーディング及び/又は算術エンコーディング、特にCAVLCエンコーディング及び/又はCABACエンコーディングである、請求項1乃至6のいずれか一項に記載の方法。

請求項8

前記画像(I)における前記画像領域(MB)の行毎又は列毎の経過に従い連続している画像領域(MB)によって一つのエンコーディングサイクル(CC,CC1,CC2,...,CC5)が形成されるように前記エンコーディング分岐(1,2,3)は構成されている、請求項1乃至7のいずれか一項に記載の方法。

請求項9

前記画像(I)における前記画像領域(MB)のジグザグ状の経過に従い連続している画像領域(MB)によって一つのエンコーディングサイクル(CC,CC1,CC2,...,CC5)が形成されるように前記エンコーディング分岐(1,2,3)は構成されている、請求項1乃至8のいずれか一項に記載の方法。

請求項10

前記画像(I)を、別個にエントロピーエンコーディングされる複数の画像部分に分割する、請求項1乃至9のいずれか一項に記載の方法。

請求項11

前記画像部分を少なくとも一時的に複数の画像部分間の関係性を考慮せずにエンコーディングする、及び/又は、少なくとも一時的に複数の画像部分間の関係性を考慮してエンコーディングする、請求項10に記載の方法。

請求項12

画像領域(MB)の変換及び量子化によって、ディジタル化された画像の前記シーケンスから前記シンボル(S)を生成する、請求項1乃至11のいずれか一項に記載の方法。

請求項13

標準H.264に基づき、ディジタル化された画像の前記シーケンスから前記シンボルを生成する、請求項1乃至12のいずれか一項に記載の方法。

請求項14

ディジタル化された画像(I)のシーケンスから、請求項1乃至13のいずれか一項に記載の方法を用いてエンコーディングされたシンボル(S’)をデコーディングするための方法であって、前記画像(I)は複数の画像領域(MB)に分割されており、それぞれの画像領域(MB)のシンボル(S)が一つ又は複数の確率モデルに基づく、請求項1乃至13のいずれか一項に記載のエントロピーエンコーディングを用いてエンコーディングされたものであり、前記一つ又は複数の確率モデルは画像領域(MB)において発生するシンボル(S)の頻度を考慮する、ディジタル化された画像(I)のシーケンスからエンコーディングされたシンボルをデコーディングするための方法において、一つのデコーディングサイクル(DC1,DC2,DC3)におけるエントロピーデコーディングが複数の並行なデコーディング分岐(1’,2’,3’)において行われるように、エンコーディングされた画像領域(MB’)を前記デコーディングサイクル(DC1,DC2,DC3)において処理し、但し、それぞれのデコーディング分岐(1’,2’,3’)において一つのエンコーディングされた画像領域(MB’)を確率モデルのセットに基づきデコーディングし、前記確率モデルのセットに関する頻度を、前記エンコーディングされた画像領域(MB’)をデコーディングする際に、デコーディングされた画像領域(MB’)において発生するシンボル(S)に基づき適応させ、各デコーディング分岐(1’,2’,3’)においてデコーディングのために使用される前記確率モデルのセットは、全てのデコーディング分岐(1’,2’,3’)の前記デコーディングされた画像領域(MB)におけるシンボル(S)の頻度を考慮し、且つ、全てのデコーディング分岐に対して有効である確率モデルの共通のセットに基づくものであり、前記確率モデルの共通のセットを、所定の時間間隔を置いて、時間的に先行する少なくとも一つのデコーディングサイクル(DC1,DC2,DC3)において適応された頻度に基づき更新することを特徴とする、ディジタル化された画像(I)のシーケンスからエンコーディングされたシンボルをデコーディングするための方法。

請求項15

請求項1乃至13のいずれか一項に記載の方法を用いて、ディジタル化された画像の前記シーケンスからシンボル(S)をエンコーディングし、エンコーディングされた前記シンボル(S’)を、請求項14に記載の方法を用いてデコーディングすることを特徴とする、ディジタル化された画像のシーケンスをエンコーディング及びデコーディングするための方法。

請求項16

ディジタル化された画像のシーケンスからシンボルをエンコーディングするための装置であって、前記画像(I)は複数の画像領域(MB)に分割されており、それぞれの画像領域(MB)の前記シンボル(S)が前記装置によって、一つ又は複数の確率モデルに基づくエントロピーエンコーディングを用いてエンコーディングされ、前記一つ又は複数の確率モデルは画像領域(MB)において発生するシンボル(S)の頻度を考慮する、ディジタル化された画像(I)のシーケンスからシンボルをエンコーディングするための装置において、前記装置は処理ユニット(EC)を有しており、該処理ユニット(EC)は、(a)一つのエンコーディングサイクル(CC,CC1,CC2,...,CC5)において前記エントロピーエンコーディングが複数の並行なエンコーディング分岐(1,2,3)において行われるように、前記画像領域(MB)をエンコーディングサイクル(CC,CC1,CC2,...,CC5)に分割するための手段(100);(b)複数のエンコーディング手段;但し、各エンコーディング手段(101,102,103)は、それぞれのエンコーディング分岐(1,2,3)において一つの画像領域(MB)が確率モデルのセットに基づきエンコーディングされるように、それぞれのエンコーディング分岐(1,2,3)のエントロピーエンコーディングに使用され、前記各エンコーディング手段(101,102,103)は、(b1)前記画像領域をエンコーディングする際に確率モデルのセットに関する頻度を前記画像領域(MB)において発生するシンボル(S)に基づき適応させるための適応手段(101a,102a,103a)と、(b2)それぞれのエンコーディング分岐(1,2,3)においてエンコーディングのために使用される確率モデルのセットが、全てのエンコーディング分岐(1,2,3)の前記画像領域(MB)におけるシンボル(S)の頻度を考慮する、確率モデルの全てのエンコーディング分岐(1,2,3)に対して有効な共通のセットを基礎とするように、共通の確率モデルを処理するための手段(101b,102b,103b)とを含んでおり、(c)所定の時間間隔を置いて、時間的に先行する少なくとも一つのエンコーディングサイクル(CC,CC1,CC2,...,CC5)において適応された頻度に基づき前記確率モデルの共通のセットを更新するための手段(104);を含んでいることを特徴とする、ディジタル化された画像(I)のシーケンスからシンボルをエンコーディングするための装置。

請求項17

前記装置(COD)は、請求項2乃至13のいずれか一項に記載の方法を実施するための一つ又は複数の別の手段を含んでいる、請求項16に記載の装置。

請求項18

ディジタル化された画像(I)のシーケンスからエンコーディングされたシンボル(S’)をデコーディングするための装置であって、前記画像(I)は複数の画像領域(MB)に分割されており、それぞれの画像領域(MB)のシンボル(S)が請求項1乃至13のいずれか一項に記載のエントロピーエンコーディングを用いてエンコーディングされたものであり、エントロピーデコーディング(ED)は一つ又は複数の確率モデルを基礎としており、前記一つ又は複数の確率モデルはデコーディングされた画像領域(MB)において発生するシンボル(S)の頻度を考慮する、ディジタル化された画像(I)のシーケンスからエンコーディングされたシンボル(S’)をデコーディングするための装置において、前記装置は処理ユニット(ED)を有しており、該処理ユニット(ED)は、(a)一つのデコーディングサイクル(DC1,DC2,DC3)におけるエントロピーデコーディングが複数の並行なデコーディング分岐(1’,2’,3’)において行われるように、エンコーディングされた画像領域(MB’)をデコーディングサイクル(DC1,DC2,DC3)に分割するための手段(200);(b)複数のデコーディング手段と;但し、各デコーディング手段(201,202,203)は、それぞれのデコーディング分岐(1’,2’,3’)において一つのエンコーディングされた画像領域(MB’)が確率モデルのセットに基づきデコーディングされるように、それぞれのデコーディング分岐(1’,2’,3’)のエントロピーエンコーディングに使用され、前記各デコーディング手段(201,202,203)は、(b1)前記エンコーディングされた画像領域(MB’)をデコーディングする際に確率モデルのセットに関する頻度をデコーディングされた画像領域(MB’)において発生するシンボル(S)に基づき適応させるための適応手段(201a,202a,203a)と、(b2)それぞれのデコーディング分岐(1’,2’,3’)においてデコーディングのために使用される確率モデルのセットが、全てのデコーディング分岐(1’,2’,3’)の前記デコーディングされた画像領域(MB’)におけるシンボル(S)の頻度を考慮する、確率モデルの全てのデコーディング分岐に対して有効な共通のセットを基礎とするように、共通の確率モデルを処理するための手段(201b,202b,203b)とを含んでおり、(c)所定の時間間隔を置いて、時間的に先行する少なくとも一つのデコーディングサイクル(DC1,DC2,DC3)において適応された頻度に基づき前記確率モデルの共通のセットを更新するための手段(204);を含んでいることを特徴とする、ディジタル化された画像(I)のシーケンスからエンコーディングされたシンボル(S’)をデコーディングするための装置。

請求項19

請求項16又は17に記載のエンコーディング装置(COD)及び請求項18に記載のデコーディング装置(DEC)を含む、ディジタル化された画像(I)のシーケンスからシンボル(S)をエンコーディング及びデコーディングするためのコーデック

技術分野

0001

本発明は、ディジタル化された画像のシーケンスからシンボルエンコーディングするための方法並びに対応するデコーディング方法に関する。更に本発明は、エンコーディング方法を実施するためのエンコーディング装置及びデコーディング方法を実施するためのデコーディング装置に関する。

0002

ビデオエンコーディング方法は通常の場合、二つの処理ステップで実施される。先ず、ビデオストリームにおける各画像が適切なやり方で、予測及び変換を用いて脱相関される。脱相関ステップの結果は、変換係数動きベクトル、別のエンコーディング情報等の形態のシンボルである。これに続いて、生成されたシンボルの量子化が更に行われることが多く、これによって圧縮効率が高められる。第2の処理ステップにおいては、生成されたシンボルに対して損失の無いエントロピーエンコーディングが行われ、このエントロピーエンコーディングにおいては、データストリームの可能な限り短い全長を有する可能な限り短い符号語をシンボルから形成するために、生成されたシンボル内に依然として存在する冗長性、即ち、シンボルの発生確率及びシンボルの相互的統計的依存性が使用される。

0003

従来技術からは、エントロピーエンコーディングのための種々の方法が公知である。VLC(VLC = Variable Length Coding)エンコーディングでは、生成された各シンボルが符号語に全単写像される。シンボルと相応の符号語の関係はルックアップテーブルのような符号テーブルによって表される。

0004

エントロピーエンコーディングの他の一般的な方法は算術エンコーディングである。一つのシンボルが一つの符号語に変換されるVLCエンコーディングとは異なり、算術エンコーディングにおいては複数のシンボルから単一の符号語が生成される。算術エンコーディングにおいては、シンボルがその頻度に基づき有利にはバイナリ数に写像されるので、連続するシンボルのバイナリ表現が得られる。

0005

一般的にエントロピーエンコーディング方法は、発生するシンボルの頻度から一つ又は複数の確率モデル導出し、それを基礎として複数の短い符号語が形成されるという原理、即ち、高い頻度を有する複数のシンボル又はシンボルシーケンスに対しては、エントロピーエンコーディングによって、低い頻度を有する複数のシンボル又はシンボルシーケンスに対して生成される符号語よりも短い符号語が生成されるという原理を基礎としている。通常の場合、エントロピーエンコーディング方法はコンテキストベースである。即ち、種々の情報を表す種々のタイプのシンボルが区別される。それらの異なるタイプのシンボルに関して、発生するシンボルの頻度が別個固有コンテキストにおいて処理され、従って、固有の確率モデルに基づき処理される。ビデオエンコーディング方法においてはコンテキストが場合によっては他の判定基準に依存していても良い。例えば、一つの画像領域のエンコーディングが画像の隣接する複数の画像領域のエンコーディング決定に依存していても良い。更には、エントロピーエンコーディング方法は適応的に構成されていることが多い。即ち、確率モデルはエンコーディングの際に、発生するシンボルの変化する頻度に基づき相応に適応される。

0006

エントロピーエンコーディング方法のエンコーディング速度を高めるために、従来技術から種々の方法が公知である。ビデオエンコーディング標準H.264/AVCにおいてはビデオストリームの画像がいわゆるスライスに分割される。各スライスは、他の部分に全く依存させずにエンコーディングすることができる、画像の一部を表している。即ち、本来のシンボルの生成も、それに続く、エントロピーエンコーディングに基づく符号語の生成も、異なるスライス間関係性を有していない。従って、確率モデルないしコンテキストはスライスを超えて適応されない。これによって圧縮効率が比較的悪くなる。

0007

更に従来技術からは、ビデオ画像をいわゆるエントロピースライスに分割することが公知である(刊行物[2]を参照されたい)。上述の従来のスライスとは異なり、エントロピースライスはシンボル間の関係性、例えばイントラ予測許容する。エントロピーエンコーディングに基づいた符号語の生成のみが個々のエントロピースライス間で独立している。エントロピースライスを使用することによって、圧縮効率が従来のスライスに比べて高められる。それにもかかわらず、異なるエントロピースライスのシンボルに対して異なる統計量が使用されるという問題があり、これによってエントロピーエンコーディングの効率がやはり低下する。

0008

刊行物[1]には、いわゆる順序付けされたエントロピースライス(oredered entropy slices)のコンセプトが記載されており、この順序付けされたエントロピースライスは上述のエントロピースライスの特性を改善するものである。エントロピーエンコーディングに関するコンテキストの形成がエントロピースライスを超えて実現される。従って、複数のエントロピースライス間の統計的な関係性が考慮され、これによって圧縮効率が改善される。更には、画像内の個々のマクロブロックがエンコーディングの際に行毎に読み込まれるのではなく、ジグザグ状に読み込まれる。このことは図1Aから図1Cに示されている。これらの図面は、刊行物[1]に記載されているマクロブロックの読み込みの種々のヴァリエーションを示しており、個々のマクロブロックは連続する矩形によって表されており、また見易くするために、一部にのみ参照符号MBが付されている。図1Aは、垂直な線L1によって示唆されているように、マクロブロックの行毎の読み込みを示している。左、左上、上、右上、右の隣接するマクロブロックがマクロブロックのエンコーディングのために使用できなければならないコンテキストを考慮すると、このヴァリエーションにおいてはマクロブロックの複数の行を並行して処理することができないという問題が生じる。これとは異なり、図1Bに記載されているように線L2に基づきマクロブロックがジグザグ状に処理される場合には、その都度二つの行の並行処理が実現される。何故ならば、第1の行ペアの第5のマクロブロックが読み込まれた時には、第3の行における後続のエントロピースライスの第1のマクロブロックのエンコーディングを既に開始することができるからである。図1Cはマクロブロックのジグザグ状の読み込みの別のヴァリエーションを示しており、ここでは順序付けされたエントロピースライス毎の三つの行の処理が線L3に記載されているように実現される。

0009

エントロピースライスの別のヴァリエーションはいわゆるインタリーブされたエントロピースライスであり、これは刊行物[4]に記載されている。このインタリーブされたエントロピースライスでは、スライスが繋がった行を表しているのではなく、個々のスライスの行が交互に配置されている。これを図2A及び図2Bにおいて改めて説明する。図2Aは、画像Iの従来の二つのエントロピースライスSL1及びSL2への分割が示されており、画像の上半分はマクロブロックMB1を有する繋がったスライスSL1を形成しており、また下側の画像部分SL2は相応のマクロブロックMB2(斜線が付されている)を有する繋がったスライスSL2を形成している。これら従来のスライスとは異なり、図2Bにおいてはインタリーブされたエントロピースライスの例が示されている。それぞれのスライスSL1’又はSL2’は、一行置きに交互に配置されているマクロブロック行によって形成される。スライスSL1’は図2Bにおいて斜線の付されていないマクロブロックMB1’によって示唆されており、また第1行、第3行、第5行(以下同様)によって形成されている。これに対してスライスSL2’は斜線の付されたマクロブロックMB2’によって示唆されており、また第2行、第4行、第6行(以下同様)によって形成されている。インタリーブされたエントロピースライスはエントロピースライスを超えるコンテキスト形成を実現する。しかしながら、エントロピーエンコーディングのために使用される確率モデルに関する共通の統計量は生成されない。

0010

更には、ビデオエンコーディング方法における圧縮効率を改善するために、刊行物[4]にはシンタクス要素分割(syntax element partitioning)が記載されている。複数の符号語が、シンタクス要素、例えばモード情報、動きベクトル、変換係数の異なるグループに対して形成される。個々のグループは異なるコンテキストを有しているので、コンテキスト形成は別個に実施される。異なるグループの相対頻度は異なるので、並行するエンコーディング分岐を使用してエンコーディングを行う場合、計算の負荷は個々のエンコーディング分岐に関して補償されない。

0011

刊行物[3]においては、二つのバイナリシンボルがエンコーディング時に並行して処理される、算術エンコーディングの特別なヴァリエーションが記載されている。このようにして、二つの状態の代わりに四つの状態を一つのエンコーディングサイクルにおいてエンコーディングすることができる。しかしながら、この種のエンコーディングにおけるコンテキスト形成は複雑であり、エンコーディングサイクル毎により多くの演算が必要になる。

0012

本発明の課題は、複数の画像領域の並行処理を実現するのと同時に、高いエンコーディング効率も実現されるように、ディジタル化された画像のシーケンスにおけるシンボルのエントロピーエンコーディングを改善することである。

0013

この課題は、請求項1に記載されているエンコーディング方法、請求項14に記載されているデコーディング方法、請求項16に記載されているエンコーディング装置並びに請求項18に記載されているデコーディング装置によって解決される。本発明の別の実施の形態は従属請求項に記載されている。

0014

ディジタル化された画像のシーケンスからシンボルをエンコーディングするための本発明による方法においては、画像が画像領域に分割され、それぞれの画像領域のシンボルがエントロピーエンコーディングを用いてエンコーディングされる。エントロピーエンコーディングは一つ又は複数の確率モデルを基礎としている。画像領域という用語はここでは、また以下においても広義解釈すべきものであり、任意の形状の画像部分に関連付けることができる。しかしながら、有利なヴァリエーションにおいては、画像領域は画像ブロック、例えばビデオエンコーディングから公知であるマクロブロックを表す。確率モデルは、画像領域において発生するシンボルの頻度を考慮する。従って、確率モデルによって、相応の発生頻度を介して相応のシンボルの確率がモデリングされ、異なる統計量を有する異なるタイプのシンボルが使用される場合には、複数の確率モデルが使用される。

0015

本発明によれば、一つのエンコーディングサイクルにおけるエントロピーエンコーディングが複数の並行なエンコーディング分岐において行われるように、複数の画像領域が一つのエンコーディングサイクルにおいて処理される。並行なエンコーディング分岐とは、同時に又は時間的に重畳して複数の画像領域のエントロピーエンコーディングを実施するエンコーディング分岐であると解される。これによって、並行に動作するエントロピーエンコーダの使用による高速なエントロピーエンコーディングが各エンコーディング分岐に対して達成される。本発明によれば、それぞれのエンコーディング分岐において、確率モデルのセットに基づき画像領域がエンコーディングされる。確率モデルのセットは一つ又は複数の確率モデルを含むことができる。それぞれのエンコーディング分岐において画像領域をエンコーディングする際に、確率モデルのセットに関する頻度が画像領域において発生するシンボルに基づいて適応される。

0016

本発明による方法は、各エンコーディング分岐においてエンコーディングのために使用される確率モデルのセットが、全てのエンコーディング分岐に対して有効である確率モデルの共通のセットを基礎としており、この共通のセットが全てのエンコーディング分岐の画像領域におけるシンボルの頻度を考慮することを特徴としている。確率モデルのこの共通のセットは、所定の時間間隔を置いて、時間的に先行する少なくとも一つのエンコーディングサイクルにおいて適応された頻度に基づき更新される。「時間的に先行するエンコーディングサイクル」とは、確率モデルの共通のセットの更新前(更新の直前又は更新の比較的前)に実施されたエンコーディングサイクルであると解される。

0017

本発明による方法は、一方では、並行なエンコーディング分岐の使用によってシンボルの高速なエンコーディングが達成され、他方では、全てのエンコーディング分岐の統計量の考慮によって、確率モデルの共通のセットにおいて高いエンコーディング効率が保証されるという利点を有している。

0018

本発明によれば、確率モデルの共通のセットの更新を種々のやり方で行うことができる。一つのヴァリエーションにおいては、確率モデルの共通のセットの更新は、時間的に連続して更新が行われる際に種々のエンコーディング分岐の適応された頻度が考慮されるように、少なくとも一時的に連続して実施される。択一的又は付加的に、確率モデルの共通のセットの更新を、少なくとも一時的に所定の同期時点においても行うことができ、この同期時点においては確率モデルの共通のセットが、少なくとも一つの先行するエンコーディングサイクルの全てのエンコーディング分岐の適応された頻度に基づいて更新される。

0019

本発明の一つのヴァリエーションにおいては、確率モデルの共通のセットを、時間的に直前のエンコーディングサイクルにおいて適応された頻度に基づき更新することができる。更には、エンコーディング分岐が相互にブロックされることを回避するために、確率モデルの共通のセットの更新を、時間的に直前のものではないエンコーディングサイクルにおいて適応された頻度に基づき行うことができる。このようにして更新がエンコーディングサイクル一つ分又は複数分遅延される。

0020

本発明による方法の別のヴァリエーションにおいては、それぞれのエンコーディング分岐における画像領域のエンコーディング後に、それぞれのエンコーディング分岐に対応付けられている確率モデルの中間セットに適応された頻度が一時的に記憶され、確率モデルの共通のセットが更新されるまで、一時的に記憶されている確率モデルの一つ又は複数の中間セットが確率モデルの共通のセットと組み合わされて、それぞれのエンコーディング分岐におけるエントロピーエンコーディングのために使用される。適応された頻度を一時的に記憶することによって、本発明によるエンコーディングの種々のヴァリエーションを簡単なやり方で実現することができる。

0021

本発明による方法においては、それぞれの画像領域のエントロピーエンコーディングを、従来技術から公知の任意のエントロピーエンコーディング方法に基づき行うことができる。特に、既に冒頭で述べたようなVLCエンコーディング及び/又は算術エンコーディングを使用することができる。例えば、ビデオエンコーディング標準H.264/AVCから公知のCAVLC(CAVLC = Context-based Adaptive Variable Length Coding)エンコーディング又はCABAC(CABAC = Context-based Adaptive Binary Arithmetic Coding)エンコーディングを使用することができる。

0022

本発明による方法においては、エンコーディング分岐への画像領域の配置を種々のやり方で行うことができる。特に、画像における画像領域の行毎又は列毎の経過に従い連続している画像領域によってエンコーディングサイクルが形成されるように、エンコーディング分岐を構成することができる。同様に、画像における画像領域のジグザグ状の経過に従い連続している画像領域によってエンコーディングサイクルが形成されるように、エンコーディング分岐を構成することができる。特に、後者のヴァリエーションによって、隣接する画像領域のコンテキストを考慮したエンコーディングも達成することができる。

0023

本発明による方法を適切なやり方で公知のエンコーディングヴァリエーションとも組み合わせることができ、このエンコーディングヴァリエーションにおいては別個にエントロピーエンコーディングされる画像部分に画像が分割される。画像部分を少なくとも一時的に画像部分間の関係性を考慮せずにエンコーディングすることができる、及び/又は、少なくとも一時的に画像部分間の関係性を考慮してエンコーディングすることができる。関係性を考慮しないエンコーディングの実施の形態は、冒頭で述べたようなスライスを基礎とする分割である。関係性を考慮するエンコーディングのヴァリエーションは、冒頭で述べたようなエントロピースライスを基礎とする画像の分割である。

0024

エントロピーエンコーディングのための本発明による方法を、従来技術から公知の任意のビデオエンコーディング方法と組み合わせることができる。特に、ディジタル化された画像のシーケンスからシンボルを標準H.264に基づき生成することができる。有利には、従来技術から十分に公知である変換、例えばDCT変換、また同様に従来技術から公知である画像領域の量子化によって、ディジタル化された画像のシーケンスからシンボルが生成される。

0025

上述のエンコーディング方法の他に、更に本発明はデコーディング方法に関し、このデコーディング方法によって、ディジタル化された画像のシーケンスから本発明によりエンコーディングされたシンボルがデコーディングされる。エンコーディング方法と同様に、デコーディングサイクルにおけるエントロピーエンコーディングが複数の並行なデコーディング分岐において行われるように、エンコーディングされた画像領域がデコーディングサイクルにおいて処理される。それぞれのデコーディング分岐においては、エンコーディングされた画像領域が確率モデルのセットを基礎としてデコーディングされる。確率モデルのセットに関する頻度は、エンコーディングされた画像領域をデコーディングする際に、デコーディングされた画像領域において発生するシンボルに基づき適応される。

0026

各デコーディング分岐においてデコーディングのために使用される確率モデルのセットは、全てのデコーディング分岐に対して有効である確率モデルの共通のセットを基礎としており、この共通のセットが全てのデコーディング分岐のデコーディングされた画像領域におけるシンボルの頻度を考慮する。確率モデルの共通のセットは、所定の時間間隔を置いて、時間的に先行する少なくとも一つのデコーディングサイクルにおいて適応された頻度に基づき更新される。

0027

更に本発明は、ディジタル化された画像のシーケンスをエンコーディング及びデコーディングするための方法に関し、ディジタル化された画像のシーケンスからシンボルが上述のエンコーディング方法を用いてエンコーディングされ、続いて、例えば伝送区間を介して伝送された後に、上述の本発明によるデコーディング方法を用いてデコーディングされる。

0028

更に本発明は、ディジタル化された画像のシーケンスからシンボルをエンコーディングするための装置に関する。画像は画像領域に分割されており、また、それぞれの画像領域のシンボルを装置によって一つ又は複数の確率モデルに基づくエントロピーエンコーディングを用いてエンコーディングすることができ、一つ又は複数の確率モデルは画像領域において発生するシンボルの頻度を考慮する。装置は処理ユニットを含んでおり、この処理ユニットは以下の手段を含んでいる。
・一つのエンコーディングサイクルにおけるエントロピーエンコーディングが複数の並行なエンコーディング分岐において行われるように、画像領域をエンコーディングサイクルに分割するための手段;
・複数のエンコーディング手段;但し、各エンコーディング手段は、それぞれのエンコーディング分岐において画像領域が確率モデルのセットに基づきエンコーディングされるように、それぞれのエンコーディング分岐のエントロピーエンコーディングのために使用され、また各エンコーディング手段は以下の手段を含んでいる。
・画像領域をエンコーディングする際に確率モデルのセットに関する頻度を画像領域において発生するシンボルに基づき適応させるための適応手段;
・それぞれのエンコーディング分岐においてエンコーディングのために使用される確率モデルのセットが、全てのエンコーディング分岐の画像領域におけるシンボルの頻度を考慮し、且つ、確率モデルの全てのエンコーディング分岐に対して有効な共通のセットを基礎とするように、共通の確率モデルを処理するための手段;
・所定の時間間隔を置いて、時間的に先行する少なくとも一つのエンコーディングサイクルにおいて適応された頻度に基づき確率モデルの共通のセットを更新するための手段。

0029

従って、本発明によるエンコーディング装置は、本発明による方法に基づき、ディジタル化された画像のシーケンスからシンボルをエンコーディングすることに適しており、特に、本発明による方法の上述の実施の形態の内の一つ又は複数の実施の形態を、エンコーディング装置の相応の別の手段を用いて実現することができる。

0030

更に本発明は、エンコーディング装置の他に、ディジタル化された画像のシーケンスからエンコーディングされたシンボルをデコーディングするための相応のデコーディング装置に関する。画像は画像領域に分割されており、それぞれの画像領域のシンボルは本発明によるエンコーディング方法に基づき、一つ又は複数の確率モデルに基づくエントロピーエンコーディングを用いてエンコーディングされており、一つ又は複数の確率モデルはデコーディングされた画像領域において発生するシンボルの頻度を考慮する。装置は処理ユニットを含んでおり、この処理ユニットは以下の手段を含んでいる:
・一つのデコーディングサイクルにおけるエントロピーエンコーディングが複数の並行なデコーディング分岐において行われるように、エンコーディングされた画像領域をデコーディングサイクルに分割するための手段;
・複数のデコーディング手段;但し、各デコーディング手段は、それぞれのデコーディング分岐において、エンコーディングされた画像領域が確率モデルのセットに基づきデコーディングされるように、それぞれのデコーディング分岐のエントロピーデコーディングのために使用され、また各デコーディング手段は以下の手段を含んでいる。
・エンコーディングされた画像領域をデコーディングする際に確率モデルのセットに関する頻度をデコーディングされた画像領域において発生するシンボルに基づき適応させるための適応手段;
・それぞれのデコーディング分岐においてデコーディングのために使用される確率モデルのセットが、全てのデコーディング分岐のデコーディングされた画像領域におけるシンボルの頻度を考慮し、且つ、確率モデルの全てのデコーディング分岐に対して有効な共通のセットを基礎とするように、共通の確率モデルを処理するための手段;
・所定の時間間隔を置いて、時間的に先行する少なくとも一つのデコーディングサイクルにおいて適応された頻度に基づき確率モデルの共通のセットを更新するための手段。

0031

本発明は、上述のエンコーディング装置及び上述のデコーディング装置の他に、ディジタル化された画像のシーケンスからシンボルをエンコーディング及びデコーディングするためのコーデック又はシステムを含み、コーデックは本発明によるエンコーディング装置も本発明によるデコーディング装置も含んでいる。

0032

以下では添付の図面に基づき、本発明の実施例を詳細に説明する。

図面の簡単な説明

0033

従来技術から公知のエンコーディング技術を示す。
従来技術から公知のエンコーディング技術を示す。
従来技術から公知のエンコーディング技術を示す。
従来技術から公知のエンコーディング技術を示す。
従来技術から公知のエンコーディング技術を示す。
本発明によるエントロピーエンコーディング又はエントロピーデコーディングを使用することができる、ビデオエンコーディング及びビデオデコーディングのための方法の原理図を示す。
本発明による方法に基づき、複数のマクロブロックを並行処理するための一つのヴァリエーションを示す。
本発明による方法に基づき、複数のマクロブロックを並行処理するための一つのヴァリエーションを示す。
共通の確率モデルが更新される、本発明によるエンコーディング方法の一つのヴァリエーションを示す。
共通の確率モデルが更新される、本発明によるエンコーディング方法の一つのヴァリエーションを示す。
共通の確率モデルが更新される、本発明によるエンコーディング方法の一つのヴァリエーションを示す。
共通の確率モデルが更新される、本発明によるエンコーディング方法の一つのヴァリエーションを示す。
図5による方法のヴァリエーションを用いてエンコーディングされたシンボルのデコーディングを示す。
本発明によるエンコーディングシステム及びデコーディングシステムの実施の形態の概略図を示す。

実施例

0034

従来技術から公知である、図1Aから図1C並びに図2A及び図2Bによるエンコーディングのヴァリエーションは既に上記において説明したので、それらの図面の再度の説明は省略する。

0035

以下において説明する、本発明によるエントロピーエンコーディング方法又はエントロピーデコーディング方法の実施の形態は、種々のエンコーディング分岐において複数の画像領域が並行して処理されるが、個々のエンコーディング分岐は、全てのエンコーディング分岐のシンボルの頻度分布を考慮する共通の確率モデルを使用することを特徴としている。この確率モデルは、規則的な間隔で、エンコーディング又はデコーディングすべきシンボルの変化する頻度に基づき更新される。シンボルはビデオエンコーディング方法の範囲において形成される。その種の方法は図3に概略的に示されている。

0036

図3の左側の部分は相応のエンコーダCODを示し、図3の右側の部分はデコーディングに使用されるデコーダDECを示す。図3によれば、ディジタル化された画像Iから成るビデオストリームがエンコーディングされ、このエンコーディングにおいては入力信号Iと先行の画像の動き補償されて再構成されたものとの差から生じる予測誤差信号圧縮される。図3において、読み込まれた画像と予測された画像との差として加算器Aにおいて求められた予測誤差に対して変換T、特にDCT(DCT = Discrete Cosine Transformation)変換が行われる。これによって得られた変換係数は続いて適切なやり方で量子化器Qにおいて量子化される。このようにして、マクロブロックの形態の相応の画像領域に関してそれぞれのシンボルSが得られ、それらのシンボルSは画像領域に由来するエンコーディングされた画像情報を表し、特に変換係数、予測に使用される動きベクトル並びに別のエンコーディングパラメータの形態の画像情報を表す。エンコーディングの範囲において求められた動きベクトルには参照符号MVが付されており、それらの動きベクトルはデコーディングの際にも必要になる。これは、図3において垂直方向に延びる破線によって示唆されている。エンコーディング効率を更に高めるために、シンボルSは更にエントロピーエンコーダECにおいて損失無くエントロピーエンコーディングされ、この際に本発明によれば、エントロピーエンコーディングの特別なヴァリエーションが使用される。

0037

図2から見て取れるように、量子化されたシンボルSに対してはエンコーディングの枠内で、逆量子化IQ及び逆変換ITが行われる。これによって生成された信号は最後に画像メモリSPに到達し、この画像メモリSPの出力は一度加算器A’を介して画像メモリSPの入力端フィードバックされている。前述の出力は更に加算器Aを介して変換器Tの入力端にネガティブフィードバックされている。画像メモリSPは動き推定器MEを制御し、この動き推定器MEの入力端にはビデオ入力データが供給され、また、上述した動きベクトルMVもエンコーダCODにおける画像メモリSPの制御のために供給される。上述のように、この動きベクトルはデコーダDECにも伝送され、このために動きベクトルに対してはエントロピーエンコーディングも行われるが、これは図1からは見て取れない。エントロピーエンコーダによって生成された複数の符号語S’は続いてデコーダDECに伝送され、このデコーダDECにおいては先ず、符号語S’に対して本発明による適切なエントロピーデコーディングが行われる。これによって、エンコーダ側において生成されたシンボルSが再構成され、この再構成されたシンボルSに対して続いて逆量子化IQ及び逆変換ITが行われる。そのようにして求められた、デコーディングされたビデオデータには続いて、デコーダDEC側における相応の画像メモリSPのデータが加算され、これによりデコーダの出力が形成される。この和信号は更にデコーダ側の画像メモリSPに供給され、この画像メモリSPの出力は加算器A’’の入力端にフィードバックされている。

0038

以下では、本発明によるエントロピーエンコーディング及びエントロピーデコーディングの実施の形態を、相応のビデオ画像におけるそれぞれのマクロブロックのシンボルに基づき説明する。ここで説明するヴァリエーションは、三つのエンコーディング分岐が相応の一つのエンコーディングサイクルにおいてエンコーディングされ、一つのエンコーディングサイクルの各エンコーディング分岐において一つのマクロブロックがエントロピーエンコーディングされる。従って個々のエンコーディング分岐はマクロブロックの異なるグループを表しており、それらマクロブロックは実施の形態に応じて画像の異なる構成部分である。

0039

図4Aは、マクロブロックMBの三つのエンコーディング分岐へのグループ分けの第1のヴァリエーションを示す。第1のエンコーディング分岐のマクロブロックには参照番号1が付されており、第2のエンコーディング分岐のマクロブロックには参照番号2が付されており、また、第3のエンコーディング分岐のマクロブロックには参照番号3が付されている。これらの参照番号は対応するエンコーディング分岐を表すためにも使用される。エンコーディングサイクルCCは図4Aの実施の形態において、連続するマクロブロック1,2及び3によって形成される。従って画像はエンコーディングのために、図4Aにおいて線Lによって示唆されているように、行毎に読み込まれる。図4Aによるグループ分けは、コンテキストのモデリングのために隣接するマクロブロックの情報が使用されないエントロピーエンコーディングに適している。

0040

これとは異なり、図4Bはエンコーディング分岐の構成の別のヴァリエーションを示しており、それらのエンコーディング分岐においてはコンテキストモデリングが隣接するマクロブロックの情報に基づき実現される。エンコーディング分岐は、画像Iのそれぞれ隣接する行によって形成される。図4Bにおいて、第1の行が第1のエンコーディング分岐1を形成し、第2の行が第2のエンコーディング分岐2を形成し、また、第3の行が第3のエンコーディング分岐を形成している。個々のエンコーディング分岐の処理は重畳的に行われ、あるエンコーディング分岐におけるエンコーディングは後続の行のエンコーディング分岐に対してマクロブロック二つ分時間的にずらされており、このことは線L’によって示唆されている。図4Bは、マクロブロックが既にエンコーディングされているシナリオを示しており、それらのマクロブロックは括弧付きの相応の参照番号によって示唆されている。エンコーディングはここでもまた並行なエンコーディング分岐において行われ、一つのエンコーディングサイクルにおいては、それぞれのエンコーディング分岐からマクロブロック二つ分相互にずらされたマクロブロックが処理される。従って、連続するエンコーディング分岐は画像内のマクロブロックのジグザグ状の経過に応じて形成される。図4Aに対応するエンコーディングサイクルCCは図4Bにおいて、例えば画像Iの第1行における5番目のマクロブロック1、画像Iの第2行における3番目のマクロブロック並びに画像Iの第3行における1番目のマクロブロックによって形成される。

0041

上述したように、図4Bに示されている実施の形態によって、隣接するマクロブロックに基づいたコンテキストのモデリングを達成することができる。それにもかかわらずこの実施の形態を、コンテキストモデリングを用いずにエンコーディングを行うための方法にも使用することができる。図4A及び図4Bに示されている、並行に処理されるエンコーディング分岐へのマクロブロックのグループ分けの他に、必要に応じて別のグループ分けも考えられる。本発明の範囲においては、全てのエンコーディング分岐がエントロピーエンコーディングの実施の際に確率モデルの共通のセットを使用することのみが重要である。これについては下記において更に詳細に説明する。

0042

図5から図8は、確率モデルの共通のセットの異なる更新方式を用いる、本発明によるエントロピーエンコーディングの種々のヴァリエーションを示す。一般性を制限することなく、個々のエンコーディング分岐は、図4Aによる行毎のマクロブロックの処理に基づき形成されている。マクロブロックのエントロピーエンコーディングの範囲においては、シンボルの頻度が確率モデルのセットに基づき考慮される。一つのセットは一つ又は複数の確率モデルを含むことができる。各確率モデルはコンテキスト(即ち、既にエンコーディングされたブロックのエンコーディング決定及び/又はシンボルの相応のタイプ)を考慮する。例えば、種々の確率モデルを種々にエンコーディングすべき情報、例えば変換係数、動きベクトル並びにエンコーディングモード情報のために使用することができる。

0043

個々のエンコーディング分岐におけるマクロブロックのエントロピーエンコーディングは、一般的なエントロピーエンコーディング方法、例えば冒頭で述べたようなVLCエンコーディング又は算術エンコーディングに基づき実施される。特に、従来技術から公知のエンコーディング方法CABAC又はCAVLCを使用することができる。従って、個々のエンコーディング分岐におけるエントロピーエンコーディングは公知の方法に基づき実施されるが、このエントロピーエンコーディングにおいては適切なやり方で確率モデルの共通のセットが使用され、この確率モデルの共通のセットにおいては全ての並行なエンコーディング分岐のシンボルの頻度が考慮される。

0044

以下において説明する全ての図面、即ち図5から図8においては、今まさにエンコーディングされているマクロブロックが確率モデルのどのセットを使用しているかが矢印によって示唆されている。個々のマクロブロックのエントロピーエンコーディングの範囲においては、エントロピーエンコーディングに使用される、確率モデルのそれぞれのセットが適応され、確率モデルの中間セットに記憶される。確率モデルの中間セットは方法の経過において、確率モデルにおける上述の共通のセットの更新後に再び破棄される。以下では、確率モデルの中間セットをシャドーセットと称する。

0045

図5は、確率モデルの共通のセットが連続的に、個々のエンコーディング分岐の適応された頻度によって適応される、本発明によるエントロピーエンコーディングの一つのヴァリエーションを示す。図5において、また他の全ての図面、即ち図6から図9においても、矢印の起点は相応の矢印の先端に位置している(今まさにエンコーディングされている)マクロブロックに関して確率モデルのどのセットが使用されるかを示す。図5の実施の形態においては、先ず、エンコーディングサイクルCC1においてエンコーディング分岐1から3の各々のマクロブロックに関するシンボルがエンコーディングされる。相互に独立した適応的なエントロピーエンコーダが各分岐に対して使用される。各エンコーディング分岐においては最初にエンコーディングされるマクロブロックが問題であるので、エンコーディングの際には、全てのエンコーディング分岐に対して同一の初期標準統計量(即ち確率モデル)が使用される。各エンコーディング分岐のエンコーディングの範囲においては、確率モデルの本来のセットが、各エンコーディング分岐におけるシンボルの相応の頻度に基づき適応されるので、各エンコーディング分岐に対して、確率モデルの第1のシャドーセットが生成される。確率モデルのそれらのシャドーセットは、相応のシンボルタイプ修正された確率モデルのみを含んでいれば良い。修正されていない確率モデルが記憶されてはならない。本来の標準統計量は、確率モデルの共通のセットの第1のヴァージョンを表し、その後、この第1のヴァージョンがエンコーディングの経過において更新される。

0046

図5の実施の形態においては、第1のエンコーディングサイクルCC1におけるマクロブロック1のエンコーディング後の、後続のエンコーディングサイクルCC2におけるマクロブロック1のエンコーディングが、エンコーディングサイクルCC1におけるマクロブロック2及び3のエンコーディングの終了を待つことなく行なわれる。第2のエンコーディングサイクルCC2におけるマクロブロック1のエンコーディングの範囲においては、確率モデルの第2のシャドーセットが生成され、この第2のシャドーセットは確率モデルの第1のシャドーセットに対する変化を記憶する。エンコーディング決定は、確率モデルの本来の共通のセット並びに確率モデルの第1及び第2のシャドーセットに基づき行われる。

0047

第1のエンコーディングサイクルCC1におけるマクロブロック2及び3のエンコーディングの終了後に、確率モデルの共通のセットが、エンコーディングサイクルCC1におけるマクロブロック1のエンコーディングの際に生成された、確率モデルの第1のシャドーセットを用いて更新される。確率モデルのこの第1のシャドーセットをその後破棄することができる。続いて、第2のエンコーディングサイクルCC2におけるマクロブロック2のエンコーディングが行われ、このエンコーディングにおいては、確率モデルの更新された共通のセットが使用される。マクロブロックの更新時には、事前に生成された確率モデルの第1のシャドーセットが再び考慮され、この第1のシャドーセットは第1のエンコーディングサイクルCC1における相応のマクロブロック2のエンコーディング時に生成されたものである。第2のエンコーディング分岐におけるマクロブロック1と同様に、第2のエンコーディングサイクルCC2におけるマクロブロック2のエンコーディングにおいては、確率モデルの別の第2のシャドーセットが生成される。エンコーディングサイクルCC2におけるマクロブロック2のエンコーディングは、確率モデルの更新された共通のセット並びに確率モデルの第1及び第2のシャドーセットを基礎とする。

0048

第2のエンコーディングサイクルCC2におけるマクロブロック1がエンコーディングされた直後に、確率モデルの共通のセットを、第1のエンコーディングサイクルCC1におけるマクロブロック2のエンコーディングに由来する確率モデルの第1のシャドーセットを用いて更新することができる。同様に、第2のエンコーディングサイクルCC2におけるマクロブロック2のエンコーディング後に、確率モデルの共通のセットが、第1のエンコーディングサイクルCC1におけるマクロブロック3のエンコーディングに由来する確率モデルの第1のシャドーセットを用いて更新される。この方法は全てのマクロブロックがエンコーディングされるまで同様に継続される。

0049

図5の実施例の上述の説明から分かるように、エンコーディング分岐CC2におけるマクロブロック2のエンコーディングは、確率モデルの共通のセットが、第1のエンコーディングサイクルCC1におけるマクロブロック1のエンコーディングに由来する確率モデルの第1のシャドーセットを用いて更新されたときに初めて開始される。しかしながらこの更新は、エンコーディングサイクルCC1におけるマクロブロック3のエンコーディングが完了したときに漸く実施することができる。何故ならば、それ以外のときに実施されると、エンコーディング分岐3においては誤った統計量が使用されることになるからである。

0050

従って、上述の方法の発展形態においては、特定のエンコーディング分岐にとって特別である確率モデルのシャドーセットの他に、確率モデルの共通のセットのための確率モデルの一時的なセットも、既にエンコーディングされた確率モデルの一つ又は複数のシャドーセットを考慮して生成される。このようにして、先行するエンコーディングサイクルのエンコーディング分岐において依然としてエンコーディングが行われている場合であっても、新たなエンコーディングサイクルのエンコーディング分岐におけるエンコーディングを、確率モデルの相応の一時的なセットに基づき実施することができる。先行するエンコーディングサイクルのエンコーディング分岐におけるエンコーディングが終了し、確率モデルの共通のセットが更新されると、確率モデルの相応の一時的なセットはもはや必要とされない。相応に生成された確率モデルの一時的なセットを完全に生成する必要は無く、シンボルの頻度が変化している確率モデルが算出されさえすれば十分である。

0051

確率モデルの共通のセットが連続的に更新される上述のヴァリエーションを適切なやり方で、遅延された更新としても構成することができ、この遅延された更新では、確率モデルの共通のセットが先行するサイクルの確率モデルの相応のシャドーセットを用いて更新されるのではなく、更に過去のサイクルの確率モデルの相応のシャドーセットを用いて更新される。本発明のその種のヴァリエーションは図6に示されている。この図6においては、第1のエンコーディングサイクルCC1及び第2のエンコーディングサイクルCC2に対しては先ず、標準確率モデルの初期セットが使用され、第3のエンコーディングサイクル以降に初めて、エンコーディングの経過において生成された、第1のエンコーディングサイクルCC1に由来する確率モデルのシャドーセットを用いることにより、確率モデルの共通のセットが相応に更新される。同様に、第4のエンコーディングサイクルCC4における確率モデルの共通のセットは第2のエンコーディングサイクルCC2に由来する確率モデルのシャドーセットを用いて更新され、また、第5のエンコーディングサイクルCC5における確率モデルの共通のセットが第3のエンコーディングサイクルCC3に由来する確率モデルのシャドーセットを用いて更新される。図6のヴァリエーションの利点は、通常の場合にエンコーディング分岐が相互的にブロックされないということである。また更には、図6に示唆されているように、更新がエンコーディングサイクル一つ分だけ遅延されている場合には、確率モデルのシャドーセットは二つしか必要とされない。遅延がエンコーディングサイクル一つ分よりも大きい場合には、確率モデルの付加的なシャドーセットが必要になる。更新の遅延が大きく成れば成る程、エンコーディング分岐が相互にブロックされることなく、エンコーディング分岐の速度における偏差をより許容できるようになる。しかしながら統計量の遅延された更新に基づき、エンコーディング効率は若干劣化する。

0052

図7は確率モデルの共通のセットの更新の第3のヴァリエーションを示す。このヴァリエーションにおいては、各エンコーディングサイクルにおける個々のエンコーディングの終了後に、固定の同期時点において、確率モデルの共通のセットが、各エンコーディング分岐に対して生成された確率モデルの全てのシャドーセットを用いて更新される。このようにして、エンコーディング分岐毎に確率モデルの複数のシャドーセットが生成されることは回避される。しかしながら、エンコーディングサイクルのエンコーディング速度は最も緩慢なエンコーディング分岐によって決定される。同期時点は各エンコーディングサイクルの終了後にセットされてはならない。むしろ、所定数のエンコーディングサイクル後に更新を実施することも可能である。このヴァリエーションは、確率モデルの共通のセットをもはや頻繁に更新する必要が無く、エンコーディング分岐の速度における比較的大きい偏差が許容されるという利点を有している。図8は、更新が常に二つのエンコーディングサイクルの経過後に初めて行われる、エンコーディング分岐の更新のヴァリエーションを示す。図8においては、特に、エンコーディングサイクルCC1及びCC2に対してそれぞれ確率モデルの同一の共通のセットが使用され、この確率モデルの共通のセットの更新は、第1のエンコーディングサイクルCC1のシャドーセットを考慮して、エンコーディングサイクルCC3の開始時に実施されていることが見て取れる。

0053

上記において説明した方法を用いてエンコーディングされたシンボルのデコーディングはエンコーディングと同様に実施される。即ち、デコーディングは並行なデコーディング分岐において実施され、確率モデルの共通のセットが、デコーディングされたシンボルの頻度に基づき再度更新される。以下では、デコーディングプロセスを例示的に、図5によるエンコーディングプロセスを用いて形成された、エンコーディングされたシンボルに基づき説明する。このデコーディングプロセスは図9に示されており、ここでもまた、今まさにデコーディングされているマクロブロックが確率モデルのどのセットを使用しているかが矢印によって示唆されている。デコーディングは相応のデコーディングサイクルDC1,DC2,DC3...において行われ、それらのデコーディングサイクルにおいては並行の相応のデコーディング分岐1’,2’及び3’が実施され、それらのデコーディング分岐1’,2’及び3’を用いて相応にエンコーディングされたマクロブロックがデコーディングされる。従って、各デコーディング分岐1’,2’及び3’は別個のデコーディングプロセスにおいてデコーディングされる。先ず、マクロブロックは第1のデコーディングサイクルDC1において、標準確率モデルの適切な初期セットを用いてデコーディングされる。デコーディング時に行われる、デコーディングされたシンボルの頻度の更新は、ここでもまた確率モデルの個別のシャドーセットに記憶される。

0054

第1のデコーディングサイクルDC1におけるマクロブロック1’のデコーディング後に、第2のデコーディングサイクルDC2におけるマクロブロック1’のデコーディングが確率モデルの第2のシャドーセットを使用して行われる。第1のデコーディングサイクルDC1におけるマクロブロック2’及び3’に対するエントロピーデコーディングが終了した後に、確率モデルの共通のセットが、エンコーディングの場合と同様に、デコーディングサイクルDC1におけるマクロブロック1’の確率モデルの第1のシャドーセットを用いて更新される。

0055

最後に、第2のエンコーディングサイクルDC2におけるマクロブロック2’のデコーディングが行われ、このデコーディングのために、確率モデルの更新された共通のセットが使用される。択一的に、デコーディングサイクルDC1においてマクロブロック1’の確率モデルの第1のシャドーセット及び確率モデルの共通のセットに由来する確率モデルの一時的なセットが生成される場合には、デコーディングサイクルDC2におけるマクロブロック2’のエントロピーデコーディングを更新の実施前にも開始することができる。同様にして、デコーディング分岐3’は、確率モデルの共通のセットが第1のデコーディングサイクルDC1におけるマクロブロック2’の確率モデルの第1のシャドーセットを用いて更新された場合には、デコーディングを開始する。択一的に、第1のデコーディングサイクルDC1におけるマクロブロック1’及び2’のデコーディングが終了していた場合には、確率モデルの一時的なセットを第2のデコーディングサイクルDC2におけるマクロブロック3’のデコーディングのために使用することができる。エンコーディングは上述のステップに基づき、更なる全てのエンコーディングサイクルに関して相応に更新を行いながら継続され、これは全てのマクロブロックがデコーディングされるまで行われる。

0056

上述の方法の使用時にデコーダにシグナリングされなければならないメインパラメータの一つとして並行なエンコーディング分岐の数Nが挙げられる。この数は図3から図8の例においてはN=3である。N=1の場合には、方法は、例えば標準H.264/AVCにおいて使用されるような慣例のエントロピーエンコーディングに対応する。別のパラメータとして、確率モデルの共通のセットの更新の遅延Dが伝送される。このパラメータは、図5及び図7の実施の形態においてはD=0エンコーディングサイクルである。図6及び図8の実施の形態に関してはD=1である。同様に、パラメータとして、同期された更新が所定の同期時点において実施されるか否かを伝送することができる。図7及び図8の実施の形態においては同期された更新がシグナリングされ、これに対して図5及び図6の実施の形態においては、同期された更新が実施されないことがシグナリングされる。

0057

上記において説明した本発明による方法のヴァリエーションを、コンテキストのモデリングの適切な方法、例えば上述のエントロピースライス、順序付けされたエントロピースライス又はインタリーブされたエントロピースライスと組み合わせることができる。同様に、本発明による方法を、刊行物[3]及び[4]による、上述のシンタクス要素分割又は複数のバイナリシンボルの並行処理と組み合わせることができる。

0058

通常の場合、確率モデルの共通のセットの更新は、エントロピーエンコーディングが個々のエンコーディング分岐において休止される場合には実施されなければならない。しかしながら、場合によっては、原子的なやり方で確率モデルの共通のセットにおいて個々の確率モデルを更新することも可能である。この場合には、個々のエンコーディング分岐がそのエンコーディングを中断無く継続することができる。原子的なやり方での更新とは、確率モデルの更新時に、エンコーディング分岐によるこのモデルへの読み出しアクセスが停止され、確率モデルの更新後に相応の確率モデルがエンコーディング分岐の確率モデルのシャドーセットから消去されることを意味している。

0059

上記において説明した本発明による方法の実施の形態は、個々のマクロブロックのエンコーディングを基礎として説明した。しかしながら本方法を、エンコーディングすべき画像のシーケンス内の他の任意の画像領域にも適用することができ、また本方法は複数のマクロブロックに限定されるものでもない。

0060

本発明による方法は多数の利点を有している。特に、規則的な間隔でエンコーディング分岐の適応された統計量を用いて更新される確率モデルの有効なセットが全てのエンコーディング分岐に対して使用されるので、高い圧縮効率が達成される。従って、確率モデルの共通のセットにおける統計量は、確率モデルの別個の独立したセットが使用される場合よりも良好に実際の確率に近付いている。また、複数のエンコーディング分岐又はデコーディング分岐の並行なエンコーディング又はデコーディングによって、僅かな遅延での高速なエンコーディング及びデコーディングが達成される。更には、本発明による方法を適切なやり方で、コンテキストベースの適応的なエントロピーエンコーディングのために、他の並行処理方法と組み合わせることができる。

0061

図10は、本発明によるエンコーディング装置及び本発明によるデコーディング装置とから成るシステムの具体的な構成を概略的に示している。エンコーディング装置はディジタル化された画像のシーケンスをエントロピーエンコーディングするために使用されるものであり、また図3と同様に参照符号ECが付されている。デコーディング装置は、装置ECを用いてエントロピーエンコーディングされた、ディジタル化された画像のシーケンスをデコーディングするために使用されるものであり、また図3と同様に参照符号EDが付されている。装置ECも装置EDも複数のコンポーネントを含んでおり、それらのコンポーネントを個別のハードウェアコンポーネントとして、例えばコンピュータにおけるハードウェアコンポーネントとして構成することができる。同様に、装置EDも複数のコンポーネントを含んでおり、それらのコンポーネントを個別のハードウェアコンポーネントとして、例えばコンピュータにおけるハードウェアコンポーネントとして構成することができる。

0062

装置ECは図10に示されているコンポーネントの他に必要に応じて付加的なコンポーネントとして、図3に示した、変換ユニットT、量子化器Q、逆量子化器IQ、逆変換ユニットIT、画像メモリSP、動き推定器ME並びに相応の加算器A及びA’の形態の複数のコンポーネントを含むことができる。これら全てのコンポーネントをやはり個別のハードウェアコンポーネントとして実現することができる。

0063

装置ECは、図10の実施の形態において、処理された画像の画像領域をエンコーディングサイクルに分割するための手段100を含んでいる。エンコーディングサイクルにおいてはエントロピーエンコーディングが複数の並行なエンコーディング分岐において実施される。それぞれのエンコーディング分岐においてエンコーディングを実施するために、装置ECは例えば三つのエンコーディング手段101,102及び103を含んでおり、各エンコーディング手段はそれぞれのエンコーディング分岐におけるエンコーディングのために設けられている。装置を用いて三つより多くのエンコーディング分岐をエンコーディングできる場合には、相応に大きい数のエンコーディング手段が設けられている。各エンコーディング手段は確率モデルのセットに基づきエントロピーエンコーディングを実施する。

0064

エンコーディング手段101はサブコンポーネントとして適応手段101a並びに、共通の確率モデルを処理するための手段101bを含んでいる。同様に、エンコーディング手段102及び103も相応の適応手段102a又は103a、また共通の確率モデルを処理するための相応の手段102b又は103bを含んでいる。それぞれのエンコーディング分岐における適応手段は、画像領域において発生するシンボルに基づいて画像領域をエンコーディングする際に確率モデルのセットに関する頻度を適応させるために使用される。各エンコーディング分岐に設けられている、共通の確率モデルを処理するための手段は、それぞれのエンコーディング分岐においてエンコーディングのために使用された確率モデルのセットが、全てのエンコーディング分岐の画像領域におけるシンボルの頻度を考慮する、全てのエンコーディング分岐に対して有効である確率モデルのセットを基礎とするように処理を実施する。更に装置ECにおいては、時間的に先行する少なくとも一つのエンコーディングサイクルにおいて適応された頻度に基づき確率モデルの共通のセットを更新するための手段104が設けられている。

0065

図10によるエンコーディング装置ECはディジタル化され画像のエンコーディングされたシーケンスを供給し、それらのシーケンスを任意の伝送区間を介してデコーディング装置EDに伝送することができる。伝送区間を介する伝送は図10において矢印Pによって示唆されている。デコーディング装置EDはエンコーディングされた画像ストリームを受信し、相応のエントロピーデコーディングを実施する。装置はこのために複数のコンポーネントを有している。特に、装置EDは、ディジタル化された画像のエンコーディングシーケンスのエンコーディングされた画像領域を、一つのデコーディングサイクルにおけるエントロピーデコーディングが複数の並行なデコーディング分岐において行われるように、デコーディングサイクルに分割するための手段を有している。各デコーディング分岐には相応のデコーディング手段201,202又は203が設けられており、三つより多くのデコーディング分岐が設けられている場合には相応に別のデコーディング手段が装置ED内に組み込まれている。各デコーディング手段は確率モデルのセットに基づきエントロピーデコーディングを実施する。

0066

デコーディング手段201は、デコーディングされた画像領域において発生するシンボルに基づいてエンコーディングされた画像領域をデコーディングする際に確率モデルのセットに関する頻度を適応させるための適応手段201aを含んでいる。更には、それぞれのデコーディング分岐においてデコーディングのために使用される確率モデルのセットが、全てのデコーディング分岐のデコーディングされた画像領域におけるシンボルの頻度を考慮し、且つ、確率モデルの全てのデコーディング分岐に対して有効な共通のセットを基礎とするように、共通の確率モデルを処理するための手段201bが設けられている。デコーディング手段201と同様に、デコーディング手段202又は203も、頻度を適応させるための相応の適応手段202a又は203a及び共通の確率モデルを処理するための相応の手段202b又は203bを含んでいる。図10のデコーディング装置EDは更に別のコンポーネントとして、時間的に先行する少なくとも一つのデコーディングサイクルにおいて適応された頻度に基づき、所定の時間間隔を置いて確率モデルの共通のセットを更新するための手段204を含んでいる。

0067

デコーディング装置EDを用いて、ディジタル化され画像のデコーディングされたシーケンスが得られる。更にデコーディング装置は必要に応じて、図3に示されている、逆量子化器IQ及び逆変換ユニットIT並びにメモリSP及び加算器A’’の形態の付加的な複数のコンポーネントを含むことができる。それら付加的なコンポーネントは個別のハードウェアコンポーネントとして、例えばコンピュータのハードウェアコンポーネントとして構成することができる。

0068

文献リスト
[1] X. Guo, "Ordered Entropy Slices for Parallel CABAC",ITU-T SG 16/Q.6, Doc.VCEG-AK25, Yokohama, Japan, April 2009.
[2] A. Segall and J. Zhao, "Entropy slices for parallel entropy decoding," ITU-T SG 16/Q.6, Doc. COM16-C405, Geneva, Switzerland, April 2008.
[3] V. Sze and M. Budagavi, "Parallel CABAC," ITU-T SG 16/Q.6, Doc. COM16-C334, Geneva, Switzerland, April 2008.
[4] V. Sze, M. Budagavi, A. P. Chandrakasan, "Massively Parallel CABAC", ITU-T ITU-T SG 16/Q.6, Doc. VCEG-AL21 , London, UK / Geneva, Switzerland, July 2009.

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ