図面 (/)

技術 ビデオの映像コード化およびイントラ・コード化のための固定型または適応型デインターリープドトランスフォームコード化方法及び装置

出願人 エイ・ティ・アンド・ティ・コーポレーション
発明者 アタルプリロバートルイスシュミットウェイピンリージョンワス
出願日 2007年9月28日 (13年2ヶ月経過) 出願番号 2007-253879
公開日 2008年3月21日 (12年9ヶ月経過) 公開番号 2008-067396
状態 特許登録済
技術分野 TV信号の圧縮,符号化方式 TV信号の圧縮,符号化方式 圧縮、伸長・符号変換及びデコーダ
主要キーワード 予備量 コード化構造 コーデング 拡張量 画素形式 ブロック線 ウェイブ 本エンコーダ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2008年3月21日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

本発明は、高いコード化効率を示すがコード化の複雑さが比較的低い映像およびビデオのコード化のための方法および装置を開発する問題を扱うものである。

解決手段

コード化の手法は、イントラマクロブロック、領域、画像、VOP)データを効率的にコード化する。この手法は、固定型デインターリーブトランスフォームコーディングアプローチ適応型デインターリーブドトランスフォームコーディングのアプローチの二つの基本的アプローチを用いる。さらに、各アプローチでは二種類のエンコーダが開発される。一つのエンコーダは、全画像またはVOPsで機能し、他のエンコーダは小さい再局部領域で機能する。本発明のエンコーダおよびデコーダを用いれば、ある範囲の複雑さで効率的にコード化を行なうことができ、さまざまな用途で効率と複雑さの適当なかね合いを図ることができる。

概要

背景

映像コード化およびビデオイントラコード化最新技術では、トランスフォームコード化(例、離散コサイントランスフォーム、DCT)が用いられるが、これは、映像を8×8の寸法の非重複ブロック仕切り、2×2のルミナンス(Y)ブロックのアレーおよび対応するCr信号のクロミナンス・ブロックおよびCb信号のブロック(ともにマクロブロックと呼ばれる)の単位にコード化することを含むものである。予め復元されたDC係数を用いてDCTブロックのDC係数を予測することによってイントラ・コード化の性能の改善が行なわれている。最近では、AC係数を予測することによってMPEG−4でさらなる改善が行なわれている。

過去数年間に、多くの研究者がトランスフォームコード化の代わりにウェイブレッツ(wavelets)を用いた異なるアプローチに迫っている。これらの研究者は、かなりの改善が得られたことを報告しているが、同時に複雑さも増大している。最近、コード化に先立てサブサンプリングを用いるウェイブレッツコード化のバリエーションがあらわれており(その中には、MPEG−4で現在実験が行なわれているものもある)、それらは、サブサンプリングの効果を利用した高度な量子化技法を用いてさらに高い性能を実現しているが、同時に極端に複雑なものとなっている。

概要

本発明は、高いコード化効率を示すがコード化の複雑さが比較的低い映像およびビデオのコード化のための方法および装置を開発する問題を扱うものである。コード化の手法は、イントラ(マクロブロック、領域、画像、VOP)データを効率的にコード化する。この手法は、固定型デインターリーブドトランスフォームコーディングのアプローチと適応型デインターリーブドトランスフォームコーディングのアプローチの二つの基本的アプローチを用いる。さらに、各アプローチでは二種類のエンコーダが開発される。一つのエンコーダは、全画像またはVOPsで機能し、他のエンコーダは小さい再局部領域で機能する。本発明のエンコーダおよびデコーダを用いれば、ある範囲の複雑さで効率的にコード化を行なうことができ、さまざまな用途で効率と複雑さの適当なかね合いをることができる。

目的

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

映像コード化する方法であって、a)映像をデインターリーブして複数の映像サブセットを形成するステップ、b)該複数の映像サブセットを複数のトランスフォーム係数トランスフォームするステップ、c)該複数のトランスフォーム係数を複数のサンプルに変換するステップ、および、d)該複数のサンプルのエントロピー符号化を行なって、符号化されたビットストリームを形成するステップ、を含み、前記ステップa)は、(i)該映像を複数のセグメントに分割するステップと、(ii)該複数のセグメントのうちデインターリーブに値するセグメントを特定するステップと、(iii)該ステップa)(ii)でデインターリーブに値すると特定されたセグメントだけをデインターリーブするステップと、を含む方法。

請求項2

映像を圧縮および復元する方法であって、a)該映像を圧縮するステップ、およびb)該映像を復元するステップ、を含み、前記ステップa)は、(i)該映像をデインターリーブして第1の複数の映像サブセットを形成するサブステップと、(ii)該第1の複数の映像サブセットを第1の複数のトランスフォーム係数にトランスフォームするサブステップと、(iii)該第1の複数のトランスフォーム係数を第1の複数のサンプルに変換するサブステップと、(iv)該第1の複数のサンプルにエントロピー符号化を行って、符号化されたビットストリームを形成するサブステップと、を含み、前記ステップb)は、(i)該符号化されたビットストリームのエントロピー復号化を行って第2の複数のサンプルを形成するサブステップと、(ii)該第2の複数のサンプルを第2の複数のトランスフォーム係数に変換するサブステップと、(iii)該第2の複数のトランスフォーム係数に逆トランスフォームを行って第2の複数の映像サブセットを形成するサブステップと、(iv)該第2の複数の映像サブセットをリインターリーブして該映像を形成するサブステップと、を含み、前記ステップa)(i)は、(1)該映像をデインターリーブする前に第1の複数のセグメントに分割するステップと、(2)該第1の複数のセグメントのうちデインターリーブに値するセグメントを特定するステップと、(3)該ステップa)(ii)でデインターリーブに値すると特定されたセグメントだけをデインターリーブするステップと、を含む方法。

請求項3

請求項2に記載の方法において、前記ステップb)(iv)のリインターリーブするステップはさらに、(1)該第2の複数の映像サブセットをリインターリーブして第2の複数のセグメントを形成するステップと、(2)前記ステップb)(iv)のリインターリーブするステップで形成された該第2の複数のセグメントを映像に組み立てるステップと、を含む方法。

請求項4

映像をコード化する方法であって、a)該映像を複数の局部領域に分割するステップと、b)該複数の局部領域をデインターリーブして複数のデインターリーブされた領域を形成するステップと、c)該複数のデインターリーブされた領域を複数のトランスフォーム係数にトランスフォームするステップと、d)該複数のトランスフォーム係数を複数のサンプルに変換するステップと、e)該複数のサンプルのエントロピー符号化を行って、符号化されたビットストリームを形成するステップと、を含み、前記ステップb)は、(i)前記ステップa)の複数の局部領域に分割するステップによって形成された該局部領域をさらに分割するステップと、(ii)該複数の局部領域セグメントのうちデインターリーブに値するセグメントを特定するステップと、(iii)前記ステップb)(ii)でデインターリーブに値すると特定されたセグメントだけをデインターリーブするステップと、を含む方法。

請求項5

映像をコード化する装置であって、a)映像を受け取って該映像をデインターリーブして複数の映像サブセットを形成するデインターリーバ、b)該デインターリーバに連結されて該複数の映像サブセットを複数のトランスフォーム係数にトランスフォームするトランスフォーム器、c)該トランスフォーム器に連結されて該複数のトランスフォーム係数を複数のサンプルに変換するコンバータ、およびd)該コンバータに連結されて該複数のサンプルのエントロピー符号化を行ない、符号化されたビットストリームを形成するエンコーダ、を含み、前記コンバータは、e)該映像を受け取って、該デインターリーバに連結された出力を有し、該映像を複数のセグメントに分割し、かつ該複数のセグメントのうちデインターリーブに値するセグメントを特定するグローバルクァドツリーセグメンタを含み、デインターリーバは、該グローバルクァドツリー・セグメンタによってデインターリーブに値すると特定されたセグメントだけをデインターリーブする装置。

請求項6

映像を圧縮および復元する装置であって、a)映像を受け取って該映像をデインターリーブして第1の複数の映像サブセットを形成するデインターリーバ、b)該デインターリーバに連結されて該第1の複数の映像サブセットを第1の複数のトランスフォーム係数にトランスフォームするトランスフォーム器、c)該トランスフォーム器に連結されて該第1の複数のトランスフォーム係数を第1の複数のサンプルにトランスフォームする第1のコンバータ、d)該コンバータに連結されて該第1の複数のサンプルにエントロピー符号化を行って、符号化されたビットストリームを形成するエンコーダ、e)該符号化されたビットストリームを受け取って該符号化されたビットストリームのエントロピー復号化を行い第2の複数のサンプルを形成するデコーダ、f)該デコーダに連結されて該第2の複数のサンプルを第2の複数のトランスフォーム係数に変換する第2のコンバータ、g)該第2のコンバータに連結されて該第2の複数のトランスフォーム係数に逆トランスフォームを行い、第2の複数の映像サブセットを形成する逆トランスフォーム器、h)該逆トランスフォーム器に連結されて該第2の複数の映像サブセットをリインターリーブして該映像を形成するリインターリーバ、およびi)該映像を受け取り、該デインターリーバに連結された出力を有し、該映像を複数のセグメントに分割し、かつ該複数のセグメントのうちデインターリーブに値するセグメントを特定するグローバルクゥアドツリー・セグメンタであって、該デインターリーバは該グローバルクゥアドツリー・セグメンタによってデインターリーブに値すると特定されたセグメントだけをデインターリーブするセグメンタ、を含む装置。

請求項7

映像を圧縮および復元する装置であって、a)映像を受け取って該映像をデインターリーブして第1の複数の映像サブセットを形成するデインターリーバ、b)該デインターリーバに連結されて該第1の複数の映像サブセットを第1の複数のトランスフォーム係数にトランスフォームするトランスフォーム器、c)該トランスフォーム器に連結されて該第1の複数のトランスフォーム係数を第1の複数のサンプルにトランスフォームする第1のコンバータ、d)該コンバータに連結されて該第1の複数のサンプルのエントロピー符号化を行い、符号化されたビットストリームを形成するエンコーダ、e)該符号化されたビットストリームを受け取って該符号化されたビットストリームのエントロピー復号化を行い第2の複数のサンプルを形成するデコーダ、f)該デコーダに連結されて該第2の複数のサンプルを第2の複数のトランスフォーム係数に変換する第2のコンバータ、g)該第2のコンバータに連結されて該第2の複数のトランスフォーム係数に逆トランスフォームを行い、第2の複数の映像サブセットを形成する逆トランスフォーム器、h)該逆トランスフォーム器に連結されて該第2の複数の映像サブセットをリインターリーブして該映像を形成するリインターリーバ、およびi)該リデインターリーバに連結されたグローバルクゥアドツリー・アセンブラであって、該リインターリーバは該複数の映像サブセットをリインターリーブして複数のセグメントを形成し、該グローバルクゥアドツリー・アセンブラは該リインターリーバによって形成された該複数のセグメントを該映像に組み立てるアセンブラ、を含む装置。

請求項8

映像をコード化するシステムであって、a)映像を受け取って該映像を複数の局部領域に分割するセグメンタ、b)該セグメンタに連結されて該複数の局部領域をデインターリーブし複数の局部領域サブセットを形成するデインターリーバ、c)該デインターリーバに連結されて該複数の局部領域サブセットを複数のトランスフォーム係数にトランスフォームするトランスフォーム器、d)該トランスフォーム器に連結されて該複数のトランスフォーム係数を複数のサンプルに変換するコンバータ、e)該コンバータに連結されて該複数のサンプルにエントロピー符号化を行い、符号化されたビットストリームを形成するエンコーダ、およびf)該セグメンタに連結され、該デインターリーバに連結された出力を有し、該複数の局部領域を複数の局部領域セグメントに分割し、かつ該複数の局部領域セグメントのうちデインターリーブに値するセグメントを特定する局部クゥアドツリー・セグメンタであって、該デインターリーバは該局部クゥアドツリー・セグメンタによってデインターリーブに値すると特定された局部セグメントだけをデインターリーブするセグメンタ、を含むシステム。

請求項9

映像を圧縮および復元するシステムであって、a)映像を受け取って該映像を第1の複数の局部領域に分割するセグメンタ、b)該セグメンタに連結されて該第1の複数の局部領域をデインターリーブし第1の複数の局部領域サブセットを形成するデインターリーバ、c)該デインターリーバに連結されて該第1の複数の局部領域サブセットを第1の複数のトランスフォーム係数にトランスフォームするトランスフォーム器、d)該トランスフォーム器に連結されて該第1の複数のトランスフォーム係数を第1の複数のサンプルに変換する第1のコンバータ、e)該コンバータに連結されて該第1の複数のサンプルにエントロピー符号化を行い、符号化されたビットストリームを形成するエンコーダ、f)該符号化されたビットストリームを受け取って該符号化されたビットストリームのエントロピー復号化を行ない第2の複数のサンプルを形成するデコーダ、g)該デコーダに連結されて該第2の複数のサンプルを第2の複数のトランスフォーム係数に変換する第2のコンバータ、h)該第2のコンバータに連結されて該第2の複数のトランスフォーム係数に逆トランスフォームを行い第2の複数の局部領域サブセットを形成する逆トランスフォーム器、i)該逆トランスフォーム器に連結されて該第2の複数の局部領域サブセットのリインターリーブを行い第2の複数の局部領域を形成するリインターリーバ、j)該リインターリーバに連結されて該第2の複数の局部領域を組み立てて該映像を形成するアセンブラ、およびk)該セグメンタに連結され、該デインターリーバに連結された出力を有し、該第1の複数の局部領域を第1の複数の局部領域セグメントに分割し、かつ該第1の複数の局部領域セグメントのうちでデインターリーブに値するセグメントを特定する局部クゥアドツリー・セグメンタであって、該デインターリーバは該局部クゥアドツリー・セグメンタによってデインターリーブに値すると特定された局部セグメントだけをデインターリーブするセグメンタ、を含むシステム。

請求項10

映像を圧縮および復元する方法であって、a)該映像を圧縮するステップ、およびb)該映像を復元するステップ、を含み、前記ステップa)は、(i)該映像を第1の複数の局部領域に分割するサブステップと、(ii)該第1の複数の局部領域をデインターリーブして第1の複数のデインターリーブされた領域を形成するサブステップと、(iii)該第1の複数のデインターリーブされた領域を第1の複数のトランスフォーム係数にトランスフォームするサブステップと、(iv)該第1の複数のトランスフォーム係数を第1の複数のサンプルに変換するサブステップと、(v)該第1の複数のサンプルのエントロピー符号化を行って、符号化されたビットストリームを形成するサブステップと、を含み、前記ステップb)は、(i)該符号化されたビットストリームのエントロピー復号化を行って第2の複数のサンプルを形成するサブステップと、(ii)該第2の複数のサンプルを第2の複数のトランスフォーム係数に変換するサブステップと、(iii)該第2の複数のトランスフォーム係数に逆トランスフォームを行って第2の複数のデインターリーブされた領域を形成するサブステップと、(iv)該第2の複数のデインターリーブされた領域の各領域をリインターリーブして第2の複数の局部領域を形成するサブステップと、(v)該第2の複数の局部領域を組み立てて該映像を形成するサブステップと、を含み、前記ステップa)(ii)は、(1)各第1の複数の局部領域を第1の複数の局部領域セグメントにさらに分割するステップと、(2)該第1の複数の局部領域セグメントのうちデインターリーブに値するセグメントを特定するステップと、(3)前記ステップa)(ii)(2)でデインターリーブに値すると特定されたセグメントだけをデインターリーブするステップと、を含む方法。

請求項11

請求項10に記載の方法において、前記ステップb)(iv)のリインターリーブするステップはさらに、(1)該第2の複数のデインタリーブされた領域の各領域をリインターリーブして第2の複数の局部領域セグメントを形成するステップと、(2)該第2の複数の局部領域セグメントを組み立て該第2の複数の局部領域を形成するステップと、を含む方法。

請求項12

映像を圧縮および復元するシステムであって、a)該映像を受け取って該映像を第1の複数の局部領域に分割するセグメンタ、b)該セグメンタに連結されて該第1の複数の局部領域をデインターリーブし第1の複数の局部領域サブセットを形成するデインターリーバ、c)該デインターリーバに連結されて該第1の複数の局部領域サブセットを第1の複数のトランスフォーム係数にトランスフォームするトランスフォーム器、d)該トランスフォーム器に連結されて該第1の複数のトランスフォーム係数を第1の複数のサンプルに変換する第1のコンバータ、e)該コンバータに連結されて該第1の複数のサンプルにエントロピー符号化を行い符号化されたビットストリームを形成するエンコーダ、f)該符号化されたビットストリームを受け取って該符号化されたビットストリームのエントロピー復号化を行ない第2の複数のサンプルを形成するデコーダ、g)該デコーダに連結されて該第2の複数のサンプルを第2の複数のトランスフォーム係数に変換する第2のコンバータ、h)該第2のコンバータに連結されて該第2の複数のトランスフォーム係数に逆トランスフォームを行い第2の複数の局部領域サブセットを形成する逆トランスフォーム器、i)該逆トランスフォーム器に連結されて該第2の複数の局部領域サブセットのリインターリーブを行い第2の複数の局部領域を形成するリインターリーバ、j)該リインターリーバに連結されて該第2の複数の局部領域を組み立てて該映像を形成するアセンブラ、k)該セグメンタに連結されて、該デインターリーバに連結された出力を有し、該第1の複数の局部領域を第1の複数の局部領域セグメントに分割し、第1の複数の局部領域セグメントのうちデインターリーブに値する局部領域セグメントを特定する局部クゥアドツリーセグメンタであって、該デインターリーバは該局部クゥアドツリーセグメンタによりデインターリーブに値すると特定された局部領域セグメントだけをデインターリーブする局部クゥアドツリーセグメンタ、l)該リインタリーバに連結される入力と、該アセンブラに連結される出力と、を有し、該リインタリーバは該第2の複数のデインタリーブされた領域をリインタリーブし、第2の複数の局部領域セグメントを形成し、該第2の複数の局部領域をアセンブラに出力する局部クゥアドツリーアセンブラ、を含むシステム。

技術分野

0001

本発明は、1996年9月25日出願の米国仮出願第60/027,436号に基づく出願である。

0002

本発明は、ひろくは映像コード化およびビデオイントラ・コード化のための方法および装置に関し、より詳しくは、トランスフォームコード化を用いた映像のコード化およびビデオのイントラ・コード化のための方法および装置に関する。イントラ・コード化は、単純な符号化/復号化、低遅延性、高度の耐エラー頑強性、あるいは高いレベル対話性を必要とする用途にとって重要である。この種の用途の例としては、インターネットでの映像/ビデオ、無線ビデオ、ネットワークビデオゲーム等が挙げられる。

背景技術

0003

映像コード化およびビデオのイントラ・コード化の最新技術では、トランスフォームコード化(例、離散コサイントランスフォーム、DCT)が用いられるが、これは、映像を8×8の寸法の非重複ブロック仕切り、2×2のルミナンス(Y)ブロックのアレーおよび対応するCr信号のクロミナンス・ブロックおよびCb信号のブロック(ともにマクロブロックと呼ばれる)の単位にコード化することを含むものである。予め復元されたDC係数を用いてDCTブロックのDC係数を予測することによってイントラ・コード化の性能の改善が行なわれている。最近では、AC係数を予測することによってMPEG−4でさらなる改善が行なわれている。

0004

過去数年間に、多くの研究者がトランスフォームコード化の代わりにウェイブレッツ(wavelets)を用いた異なるアプローチに迫っている。これらの研究者は、かなりの改善が得られたことを報告しているが、同時に複雑さも増大している。最近、コード化に先立てサブサンプリングを用いるウェイブレッツコード化のバリエーションがあらわれており(その中には、MPEG−4で現在実験が行なわれているものもある)、それらは、サブサンプリングの効果を利用した高度な量子化技法を用いてさらに高い性能を実現しているが、同時に極端に複雑なものとなっている。

発明が解決しようとする課題

0005

したがって、本発明は、高いコード化効率を示すがコード化の複雑さが比較的低い映像およびビデオのコード化のための方法および装置を開発する問題を扱うものである。

課題を解決するための手段

0006

本発明は、トランスフォームステップに先立ってデインターリービング・ステップを適当な量子化の技法と組み合せて用いることによってこの問題を解決するものである。デインターリービングは、サブサンプリングより可撓性に富んでいる。本発明の方法および装置は、したがって、ウェイブレッツコード化のコード化効率を達成しながら、従来のトランスフォームコード化に比して複雑さがわずかだけ増し、ウェイブレッツコード化に比して複雑さが大きく低減したものである。

0007

本発明は、符号化のプロセスで二つの形のデインターリービングを含む。本発明にもとづけば、固定型または適応型デインターリービング、トランスフォーム(例、DCT)、拡張をともなう量子化、およびエントロピー符号化(例、可変長符号化LEまたは算術符号化AE)によって改善されたイントラ・コード化が達成される。本発明に基づけば、コード化に二つの主要なアプローチが存在する。第一のものは、固定型デインターリービングを用い、第二のものは、適応型デインターリービングを用いる。本発明によって、固定型デインターリービングのアプローチを用いて高いコード化効率を達成する簡単なトランスフォームコード化法を用いるか、あるいは適応型デインターリービングのアプローチにもとづいてそれよりややすぐれた結果を産み出すわずかに複雑な方法を用いることが可能となった。ただし、これらのアプローチのいずれも、ウェイブレッツコード化よりは複雑でなく、しかも同じまたはほぼ同じコード化効率を達成することができる。

発明を実施するための最良の形態

0008

本発明の効果的な実施形態にもとづけば、各アプローチごとに二つのバリエーションが存在する。一つは、動きテクスチャ部分のそれぞれに対して分離してMPEG−4検定モデル(VM)(グローバルトランスフォーム)コード化するものであり、もう一つは、動き/テクスチャを組み合わせてVM(局部トランスフォーム)コード化するものである。

0009

本発明にもとづけば、トランスフォームコード化の枠組みの中でイントラ・コード化の効率を有意に改善することが可能である。本発明は、MPEG−4で使用するために考案されたものである。MPEG−1/2ビデオ・コード化にあっては、しばしば、I−画像と呼ばれるそれ自体でコード化された画像のため、あるいは予測可能にコード化された画像(P−画像またはB−画像)のイントラ・マクロブロックのためにイントラ・コード化が用いられる。MPEG−4にあっては、画像またはマクロブロックの他に、ビデオ・オブジェクト(VO)およびビデオ・オブジェクト・プレーン(VOPs)のコンセプトが導入される。

0010

MPEG−4コード化では、画面がある数のビデオ・オブジェクトに仕切られることができ、これらのビデオ・オブジェクトは、各々を独立してコード化することができる。VOPは、ビデオ・オブジェクトの時間的スナップショットである。実際、画像は、そこで形状が直方形のVOPの特殊なケースとなる。

0011

MPEG−4コード化は、また、それぞれI−画像、P−画像、およびB−画像の一般化であるI−VOPs、P−VOPs、およびB−VOPsなど異なる種類のVOPsのコード化を含む。すなわち、I−画像のコード化およびイントラ・マクロブロックに加えて、本発明は、形状が直方形および任意のI−VOPsのコード化のためにも使用することができる。

0012

本発明が扱う主な機能分野は、I−VOPsのコード化効率であるが、このアプローチは、P−VOPsおよびB−VOPsのコード化にも拡張することができる。本発明によって間接的に得られる付加的な機能分野は、空間的スケーラビリティである。

0013

本発明は、デインターリービングおよび拡張量子化を加えたDCTコード化の枠組みを維持しながら、イントラ・コード化の効率を有意に改善することができる(1.5以上の因子によって)。一般に、イントラ・コード化の効率は、DC係数の予測をさらに改善し、またAC係数の予測および走査適応を組み込むことによって若干は改善されるが、これらの手法をすべて組み合わせたとしても、本発明の改善の可能性と比較すればこれらの改善は小さい。

0014

MPEG−4におけるI−VOPsコード化に関して、図1は、本発明に基づくグローバルデインターリーブドトランスフォーム(GDT)コード化の基本エンコーダ10のブロック線図を示す。デインターリーバ11への入力では、映像は、画素形式であり、各画素は、デジタル値であるルミナンス、クロミナンス、および彩度の三構成成分によってあらわされる。これらのデジタル値は、デインターリーバ11内へ送られ、デインターリーバ11は、映像内の隣接するサンプルを分離する。換言すれば、デインターリーバ11は、画素セットを多数の画素サブセットに分離するが、非隣接画素からサブセットを生成することによってそれを行なう。そのためには、使用される分離パターンの明細が必要である。各サブセットは、いくつかのデジタル・サンプルを含んでいるが、あたえられたサブセット内のサンプルは、元画像の中では互いに隣接していない。

0015

トランスフォーム操作12によって各サブセットの中のデジタルの画素値トランスフォーム係数にトランスフォームされ、エネルギーのほとんどは、わずかな係数にパックされる。コード化ステップでは、例えば、離散コサイントランスフォーム(DCT)を使用することができる。

0016

なお、他の公知のトランスフォームの手法も使用することができる。

0017

トランスフォーマ12は、デインターリーバ11から画素のサブセットを受け取る。各サブセットは、いくつかの画素を含み、各画素は、ルミナンス、クロミナンス、および彩度、または等価の色のシステムによってあらわされる。トランスフォーマ12は、次に、各サブセット内の値の空間周波数成分を表す係数を出力する。この時点では、真の圧縮はないが、DCTトランスフォームによってデータが分類され、これによってDCTは、有意にデータを減少させるように処理を行なう。DCTトランスフォームは、サブセット内の情報を比較的低い空間周波数で定義し、比較的高い空間周波数の多くはゼロとなり、その結果、後に圧縮が行なわれる。トランスフォーマ12の出力は、係数のブロックであり、デインターリービング・プロセス11によって生成される各サブセットに一つのブロックが割り当てられる。

0018

クゥアントXプロセス13は、通常の量子化プラス・コード化効率を改善するための若干の拡張を含み、エントロピーエンコーダ14のためのデータを用意する。これは、以下で、三つの異なるクゥアントXプロセス13を示して詳細に説明する。クゥアントXプロセス13の出力は、ビットのブロックで、デインターリービング・プロセス11で生成される各サブセットに一つのビットが割り当てられる。

0019

クゥアントXプロセス13の後に符号化のプロセス14がつづく。この場合には、エントロピー符号化が用いられる。どのような形のエントロピー符号化でもよい。可変長符号化(VLE)は、エントロピー符号化の一例である。算術符号化(AE)は、他の一例である。エントロピー・エンコーダ14によって生成された符号化されたビットストリームは、保存または伝送することができる。

0020

他の公知のエントロピー符号化も使用することができる。

0021

図2は、図1に示すエンコーダ10に対応するデコーダ20を示す。I−VOPsのグローバルデインターリーブドDCTエンコード化は、エントロピー・デコーダ21、逆量子化22、逆トランスフォーム23、およびリインターリーバ24を含む。エントロピー・デコーダ21は、コードワード逆転させて係数データへ戻す。逆量子化22は、量子化13の逆操作に加えてエンコーダ10で行なわれた若干の拡張を行なう。逆トランスフォーム23は、トランスフォーム12の逆操作を行ない、リインターリーバ24は、デインターリーバ11の逆を行なう。

0022

コード化されたビットストリームは、エントロピー・デコーダ21内へ送られる。エントロピー・デコーダ21は、エントロピー・エンコーダ14への入力と同様なデータのブロックを出力する。コード化側で行なわれたデインターリービング11のために、このデータのブロックは、デインターリーバ11によって生成されたサブセットに対応するブロックにサブ分類される。エントロピー・デコーダ21は、インバース・クゥアントX22へこのデータのブロックを出力する。

0023

以下では、インバース・クゥアントX22を詳細に説明するが、行なわれるコード化のプロセスに応じて三つの異なるプロセスが示されている。インバース・クゥアントX22は、その出力を逆トランスフォーム23へ送る。インバース・クゥアントX22の出力は、係数のブロックであり、それらは、デインターリービング・プロセス11によって生成されるサブセットにもとづいてサブ分類される。

0024

逆トランスフォーム23は、次に、係数の各サブブロックに逆トランスフォーム操作を行ない、それを画素サブセットのサブブロックに変換する。これらのサブブロックは、リインターリーバ24は、次に、画素が現われた元の順序を復元する。

0025

図3は、LDTコード化の基本エンコーダ30のブロック線図を示す。図1と比較して主な相違点は、デインターリービングに先立って、入力VOPまたは画像が局部領域に分割されることである。これらの領域は、正方形(ブロック)とすることもあるいは任意の形状とすることもできる。このようなセグメンテーションによって、トランスフォームの大きさおよびクゥアントXに関係するコード化の詳細が変わる可能性がある。

0026

画素形式の映像は、局部領域セグメンタ31へ送られる。セグメンタ31は、分割された映像信号をデインターリーバ32へ出力する。この場合、局部領域セグメンタ31は、隣接する画素のサブセットを生成する。次に、デインターリービング・ステップ32で、これらのサブセットがさらに仕切られ、その結果得られる仕切られたサブセットは、各々が非隣接画素を含んでいる。

0027

残りのプロセスは、図1と同じである。デインターリーバ32は、その出力をトランスフォーマ33へ送り、トランスフォーマ33は、その出力をクゥアントX34へ送る。クゥアントX34は、その出力をエントロピー・エンコーダ35へ送り、エントロピー・エンコーダ35は、コード化されたビットストリームを出力する。

0028

図4は、図3に示すエンコーダ30に対応するデコーダ40を示す。図2に示すGDTデコーダとの主な相違点は、復号プロセス終わりに局部領域アセンブラ45(例、ブロック・アンフォーマッタ)が付加されていることである。局部領域アセンブラ45は、局部領域セグメンタ31の逆操作を行なう。LDTデコーダ40は、エントロピー・デコーダ41、逆量子化42、逆トランスフォーム43、リインターリーバ44、および局部領域アセンブラ45を含む。

0029

図4に示すプロセスは、その各ステップが図2と異なって仕切られたサブセット上で行なわれる以外、図2に示すプロセスと同じである。例えば、符号化されたビットは、エントロピー・デコーダ41内へ送られる。これらのビットは、符号化のプロセス30で生成された局部領域によって順序づけされる。すなわち、各ステップは、各局部領域グループ上で個別に行なわれる。次に、デコーダ41は、ビットのブロックのグループをクゥアントX42へ出力し、クゥアントX42は、逆トランスフォームプロセス43のために必要な係数のブロックのグループを生成する。逆トランスフォームプロセス43は、次に、画素のグループをリインターリーバ44へ出力し、リインターリーバ44は、各グループ内の画素をリインターリーブする。したがって、リインターリーバ44の出力は、局部領域セグメンタによって生成された局部領域である。この場合のデコーデング・プロセス40は、各局部領域で個別に行なわれることがわかろう。このデコーデング・プロセス40の終わりで、局部領域は、局部領域アセンブラ45によってアセンブルされ、画素映像が分割された局部領域31に示されるとき、それが復元される。

0030

以下、このプロセスの中のいくつかのステップをより詳細に説明する。これらのステップには、デインターリービングおよびクゥアントXが含まれる。

0031

デインターリービング
デインターリービングは、入力画像(または領域)をサブ画像(またはサブ領域)に分離して、入力画像(または領域)内の隣接するサンプルを異なるサブ画像(またはサブ領域)に割り当てられるようにするプロセスである。したがって、その結果得られるサブ領域またはサブ画像は、元の画像では隣接していないサンプルを含んでいる。

0032

図5は、水平および垂直の両方向に2の係数で領域をデインターリービングする簡単な例を示す。画素(o、x、+、−)で構成される元の画像51は、4つのサブ画像52−55にデインターリーブされる。第1横列(o、x、o、x、o、x)の一つおきの素子が、サブ画像の第1横列52(o、o、o)とサブ画像の第2横列53(x、x、x)に割り当てられる。残る奇数横列の場合も同じである。偶数横列は、それぞれ第3および4のサブ画像(+、+、+)および(−、−、−)に割り当てられ、やはり分割される。基本的に、各画素(Pij)は、サブ画像k,m に割り当てられる。ただし、k=mod(i/n)およびm=mod(j/n)で、そのサブ画像のpr,s となる。ただし、r=(i−k)/nおよびs=(j−m)/nである。

0033

例えば、図5でn=2とすると、素子56(すなわち、p23)がサブ画像01(素子53)に割り当てられることがわかる。すなわち、k=mod(2/2)=0およびm=mod(3/2)=1である。サブ画像01(素子53)を調べると、素子57は、そのサブ画像の画素11としてあらわれ、r=(i−k)/n=(2−0)/2=1およびs=(j−m)/n=(3−1)/2=1であることがわかる。

0034

この例では、GDTコード化で、QCIF入力解像度(176×144)ではデインターリービング係数が8:1に固定されている。この解像度に関して、図6は、サブ画像の8×8のアレー、63、を示している。水平および垂直方向での8:1のデインターリービングをルミナンス信号に適応する結果、各サブ画像62は、大きさが22×18である。また、各クロミナンス成分は、4:1の係数でデインターリーブされ、その結果、各々の大きさが22×18のサブ画像の4×4のアレーが得られる。

0035

他方、LDTコード化では、デインターリービング係数は、QCIF入力解像度では4:1に固定される。図7は、水平および垂直方向での4:1のデインターリービングをルミナンス信号の32×32領域に適応した結果得られる、各々の大きさが8×8のサブ画像72の4×4のアレー73を示す。この場合には、各クロミナンス成分は、2:1の係数でデインターリーブされ、その結果、各々の大きさが8×8のサブ領域の2×2のアレーが得られる。

0036

DCT
デインターリーブされたサブ画像あるいはサブ領域には二次元DCTが適用される。QCIF解像度でのGDTコード化では、DCTの大きさは、ルミナンス成分およびクロミナンス成分ともに22×18に選ばれる。QCIF解像度でのLDTコード化では、LDTの大きさは、ルミナンス成分およびクロミナンス成分ともに8×8に選ばれる。

0037

クゥアントXの選択
通常のスカラー量子化は、トランスフォームコード化がデインターリーブされたデータ上で行なわれる事実を考慮して修正する必要がある。量子化の後でも、実験の係数予測は、デインターリーブされた隣接のサブ画像(サブ領域)の係数の間の相関が高いため、コード化効率を高めるためにより効果的である。他のアプローチとしては、同じスペクトル周波数の係数のベクトルを形成してこの相関を利用し、それらのベクトル(ブロック)上でDCTコード化を行なうものがある。最後に、さらに他のアプローチとして、ベクトルの量子化すなわち格子ベクトル量子化(LVQ)と呼ばれる特殊なバリエーションを使用するものがある。これは、MPEG−4で現在検討されている。これらの各種のアプローチは、ここでは、クゥアントXと呼ぶが、性能と複雑さの関係でそれぞれに異なる長所と短所があり、用途に応じて選ぶことができる。

0038

クゥアントXメソッド1:量子化およびDCT係数予測
図8を参照してこの方法を説明する。クゥアントX80への信号入力はクゥアンタイザ81によって受け取られる。クゥアンタイザ81の出力は分割される。一つの通路は、DC&AC係数予測器82へ通じ、他の通路は、減算器83の一つの入力へ通じている。DC&AC係数予測器82の出力は、減算器83の他の入力に接続されている。DC&AC係数予測器82の出力がクゥアンタイザ81の出力から減算され、例えばジグザグスキャナーなどのスキャナー84へ送られる。

0039

GDTコード化では、大きさが22×18のDCT係数サブ画像が通常のスカラー量子化で量子化され、次に前に量子化された係数サブ画像にもとづいて係数サブ画像が予測され、係数差のサブ画像が形成される。LDTコード化では、大きさが8×8のDCT係数サブ画像上でほぼ同様な操作が行なわれる。差係数が走査され(例、ジグザグ走査され)て事象を形成(ラン、レベル)する。

0040

図9は、図8に示したクゥアントXの逆操作を示す。逆クゥアントX90への信号入力は逆スキャナー91によって受け取られる。逆スキャナー91の出力は、加算器92の一つの入力へ送られる。加算器92の第二の入力は、DC&AC係数予測器93の出力に接続されている。DC&AC係数予測器93は、加算器92の出力からその入力を受け取る。加算器92の出力は、逆クゥアンタイザ94へ送られ、のぞむ信号が出力される。

0041

図10は、量子化されたDC係数予測のための仕組みを示す。GDTコード化では、左端のサブ領域(サブ画像)のDC予測が128に選択され、LDTコード化では、1ビットのオーバーヘッドを用いて、水平および垂直方向に隣接するサブ領域(サブ画像)のDC値の間の選択が行なわれる。第1横列の残るサブ領域に関しては、第1横列の前のサブ領域(サブ画像)がDC予測に使用される。第2横列の最初のサブ領域(サブ画像)に関しては、上のサブ領域(サブ画像)からDC予測がとられる。この横列の他のすべてのサブ領域(サブ画像)には、オーバーヘッドを用いずに水平および垂直方向に隣接するサブ領域(サブ画像)のDC値を選択してグラハム予測器を適応させて使用する。その後の横列に関しては、第2横列の予測のプロセスが繰り返して用いられる。

0042

AC係数予測がどのように行なわれるかを説明する。図11は、用いられるAC係数予測構造の例を示す。8×8サブ領域のLDTコード化の場合には、サブ領域に関して2横列と2行のAC係数予測を用いることができる。LDTコード化でサブ領域の大きさがそれより大きい場合あるいはGDTコード化で画像がそれより大きい場合には、より多くのAC係数を予測することができる。予測される係数の数および構造は異なる場合があるが、予測の基本原理は同じである。

0043

領域(画像)の左端のサブ領域(サブ画像)に関しては、AC係数予測は0にリセットされる。サブ領域の第1横列のその後のサブ領域(サブ画像)に関しては、L−字形の強調した区域(DC係数のない)がサブ領域(サブ画像)から予測される。サブ領域の第2横列の最初のサブ領域に関しては、すぐ上のサブ領域から同じL−字形の区域が予測される。第2横列のその後のサブ領域は、前のサブ領域から係数の最初の2行と上のサブ領域から最初の2横列を用いて予測される。1係数(AC11)の重複が一つあるが、これは、この係数の二つの予測の選択肢を平均して単一の予測係数を生成することで解消される。その後の横列に関しては、第2横列の予測のプロセスが繰り返して用いられる。

0044

さらに、(オーバーヘッドを用いまたは用いずに)適応性予測プロセスを用いることもできる。

0045

GDTコード化での22×18の大きさの差係数サブ画像およびLDTコード化での8×8の大きさのサブブロックは、ジグザグ走査されて事象を形成(ラン、レベル)する。

0046

クゥアントXメソッド2:DCT係数ベクトルのDCTの量子化
図12は、このクゥアントXの方法に用いられる操作を示す。QCIF画像のGDTコード化では、22×18の大きさのDCT係数サブ画像が小さい量子化レベル(Qp=2または3)で予備量子化されて、そのダイナミックレンジ下げ、次に、(ルミナンスでは8×8の大きさ、クロミナンスでは4×4の大きさの)ベクトルが、すべてのサブ画像を通じて同じ周波数のすべての係数を集めて生成され、DCTされ、量子化される。32×32の大きさの領域のLDTコード化では、ほぼ同様な操作が行なわれて(ルミナンスでは4×4の大きさ、クロミナンスでは2×2の大きさの)係数ベクトルが得られ、これらのベクトルがDCTされ、量子化される。GDTコード化では、ルミナンスでは8×8の大きさ、クロミナンスでは4×4の大きさの量子化されたDCT係数ベクトルがジグザグ走査されて事象を形成(ラン、レベル)する。

0047

図12を参照して、クゥアントX120は、プレクゥアンタイザ121、ベクトル・フォーマッタ122、トランスフォーム123、クゥアンタイザ124、およびスキャナー125を含む。プレクゥアンタイザ121は、クゥアントX120への信号入力を受け、その信号をベクトル・フォーマッタ122へ出力する。ベクトル・フォーマッタは、その出力をトランスフォーム123へ送る。トランスフォーム123は、その出力をクゥアンタイザ124へ送り、クゥアンタイザ124は、その出力をスキャナー125へ送る。スキャナーは、その信号をクゥアントX120の出力として出力する。

0048

図13は、図12に示したクゥアントX120の逆走査130を示す。逆クゥアントX130の入力は、逆走査131へ送られ、逆走査131は、その出力を逆クゥアンタイザ132へ送り、逆クゥアンタイザ132は、その出力を逆トランスフォーム133へ送る。ベクトル・アンフォーマッタ134は、逆トランスフォーム133から出力を受け取り、その信号を逆プレクゥアンタイザ135へ出力し、逆プレクゥアンタイザ135の出力は、逆クゥアントX130の出力を表す。

0049

クゥアントXメソッド3:DCT係数ベクトルの格子ベクトル量子化
図14は、このクゥアントXの方法で用いられる操作を示す。クゥアントX140へに信号入力は、ベクトル・フォーマッタ141によって受け取られ、その出力は、縮尺器142へ送られ、縮尺器142は、その出力をベクトル・クゥアンタイザ143へ送る。ベクトル・クゥアンタイザ143は、その出力をベクトル量子化指数順序づけ器144へ送り、順序づけ器144の出力がクゥアントX140の出力となる。

0050

22×18の大きさのDCT係数サブ画像を用いるQCIF画像のGDTコード化では、すべてのサブ画像を通じて同じ周波数のすべての係数を集めて(ルミナンスでは8×8の大きさ、クロミナンスでは4×4の大きさの)ベクトルが生成される。これらのベクトルは、LVQによって量子化される。32×32の領域の大きさのLDTコード化では、これとほぼ同じ操作が行なわれて(ルミナンスでは4×4の大きさ、クロミナンスでは2×2の大きさの)係数ベクトルが得られる。これらのベクトルも、やはりLVQによって量子化される。VQは、管理可能な大きさの(あるいはLVQでは、管理可能な複雑さの)コードブックを必要とする場合が多いので、これらのベクトルもやはりLVQによって量子化される。ベクトルの縮尺が必要な場合があり、その場合には縮尺器によって行なわれるが、これは、係数のベクトルをサブベクトルに分割するだけの簡単な操作である場合と、より複雑な操作である場合がある。LVQのプロセスは、文献に説明されており、ここでは説明しない。ただし、簡単に述べると、最初に16の大きさのLVQが試行され、その結果閾値より大きいエラーが生成されると、4の大きさのLVQが試行される。また、LVQの後、効率を高めるために全画像または領域のLVQ指数が順序づけすることもできる。このプロセスは、VQ指数順序づけ器の中で行なわれる。

0051

図15は、図14に示すクゥアントX140の逆操作を示す図である。逆クゥアントX150の入力は、ベクトル量子化指数再順序づけ器151へ送られ、逆順序づけ器151はその出力を逆ベクトル・クゥアンタイザ152へ送り、逆ベクトル・クゥアンタイザ152は、その出力を復尺器153へ送る。ベクトル・アンフォーマッタ154は、復尺器153からその出力を受け、自らの信号を逆クゥアントX150の出力として出力する。クゥアントX140の場合と同様に、逆クゥアントX150では、まず16のLVQが試行される。その結果閾値より高いエラーが生成されれば、4の大きさのLVQが試行される。LVQの仕様は、MPEG−4のトライアルの実験T.5のものと同じである。

0052

エントロピー・コーディング
次に、係数(ラン、レベル)事象のためのVLコード化およびデコーディングについて説明する。これらの事象は、より高い効率を得るために統計的変動を用いてコード化される。

0053

GDTコード化において、拡張クゥアントXメソッド1が用いられる場合には、最大396のランが可能であり、少なくとも±255のレベルがサポートされる必要がある。ルミナンスのラン/レベル事象のコード化に関しては、ピュリ、シュミット、およびハスケルのアメリカ合衆国特許出願第08/813,218号「映像コード化およびビデオのイントラ・コード化のための適応型および予測型コード化」のイントラVLCテーブルを使用する。アメリカ合衆国特許出願第08/813,218号は、参考資料として添付し、ここにその全体を説明したものとする。ただし、このテーブルは、64の最大ランと±128のレベル(MPEG−4VMと同じ)だけをサポートするものなので、レベルに関しては余分な1ビットをまたランに関しては余分な3ビットを付加してこの領域の外側まで拡張し、25ビットまで使用するようにする。クロミナンスのラン/レベル事象のコード化に関して、使用されるVCLテーブルは、レベルに関しては余分な1ビットをまたランに関しては余分な3ビットを付加して現在サポートされている領域の外側まで出るようにし、26ビットまで使用するようにして、396の最大ランと±255のレベルをサポートするように拡張したVMで使用されるものと同じである。LDTコード化の場合には、サブ領域の大きさが8×8であるので、ルミナンスには参考資料として添付して上に述べた既特許出願のVLCテーブルを用い、クロミナンスにはVMのVLCテーブルを用いる。これらのテーブルは、ともに拡張を必要としない。

0054

GDTコード化で拡張量子化クゥアントXメソッド2が用いられる場合には、ベクトルの大きさが8×8であるので、ルミナンスには参考資料として添付した特許出願のVLCテーブルを用い、クロミナンスにはVMのVLCテーブルを用いる。これらのテーブルは、ともに拡張を必要としない。LDTコード化の場合には、最大ランがルミナンスでは15でクロミナンスでは3であるので、この場合には、添付した特許出願のサブセットである新しいテーブルが用いられる。

0055

拡張量子化クゥアントXメソッド3が用いられる場合には、使用されるVLCテーブルは、MPEG−4のコア実験T5で利用されまた一般に利用可能なテーブルに基づくものとなる。

0056

適応型デインターリーブドトランスフォームコード化
適応型グローバルデインターリーブドトランスフォーム(AGDT)エンコーダ160のブロック線図を示す図16コード化構造を用いれば、DTコード化をさらに改善することが可能である。図1との主な相違点は、デインターリーバに先立って全画像またはVOPベースでクゥアドツリー・セグメンタを用いたクゥアドツリー・セグメンテーションが採用され、それが、固定型セグメンテーションではなく適応型セグメンテーションであることである。したがって、デインターリービングは、グローバルクゥアドツリー・セグメンタによってデインターリービングに値すると識別された部分にのみデインターリービングが行なわれ、その他の部分は、デインターリービングなしにコード化される。他のブロックの操作は、固定型GDTに関して説明したと同様である。

0057

図16を参照して、映像は、グローバルクゥアドツリー・セグメンタ161へ送られ、その出力は、デインターリーバ162へ送られ、後者の出力は、トランスフォーム163へ送られる。クゥアントX164は、トランスフォーム163から出力を受け、出力をエントロピー・エンコーダ165へ送る。エンコーダ165はコード化されたビットストリームを出力する。

0058

図17は、図16に示すAGDTエンコーダ160に対応するAGDTデコーダ170のブロック線図を示す。コード化されたビットストリームは、エントロピー・デコーダ171へ送られ、その出力は、逆クゥアントX172へ送られ、後者の出力は、逆トランスフォーム173へ送られる。リインターリーバ174は、逆トランスフォーム173から出力を受け取り、その出力をグローバルクゥアドツリー・アセンブラ175へ送り、アセンブラ175は、復元された映像を出力する。

0059

図18は、適応型局部デインターリーブドトランスフォーム(ALDT)エンコーダ180のブロック線図を示す。図16との主な相違点は、クゥアドツリーセグメンテーションが全画像あるいはVOPではなく局部的に(領域に)適用されることである。次に、局部クゥアドツリー・セグメンタによってデインターリービングに値すると識別された領域にデインターリービングが行なわれる。他のブロックは、上に述べたものと同様である。

0060

映像信号は、局部クゥアドツリー・セグメンタ181へ入力され、その出力は、デインターリーバ182へ送られ、後者の出力は、トランスフォーム183へ送られる。クゥアントX184は、トランスフォーム183から出力を受け取り、その出力をエントロピー・エンコーダ185へ送る。エンコーダ185は、コード化されたビットストリームを出力する。

0061

図19は、図18のエンコーダに対応するALDTデコーダ190を示す。コード化されたビットは、エントロピー・デコーダ191へ送られ、その出力は、逆クゥアントX192へ送られる、後者の出力は、逆トランスフォーム193へ送られる。逆トランスフォーム193は、その出力をリインターリーバ194へ送る。局部クゥアドツリー・アセンブラ195は、リインターリーバ194の出力を受け取り、復元された映像を出力する。

0062

クゥアドツリー・セグメンタ
図16および図18に示すように、デインターリービングの量をコード化されている画像の空間的内容に適応させるために、デインターリービングに先立ってクゥアドツリー・セグメンテーションが用いられる。

0063

図20は、用いられるクゥアドツリー・セグメンテーションの例を示す。GDおよびLDTの双方で、この種のセグメンテーションが用いられる。その唯一の違いは、用いられるレベルの数である。GDTでは、 レベルのセグメンテーションが用いられ、LDTでは、レベルのセグメンテーションが用いられる。

0064

図20に示すように、画像ブロック200がサブブロック202−205に分割される。次に、サブブロック203が、さらにセクション206−209に仕切られる。残りのブロックは分割されず、このプロセスは必要なブロックのみを分割することを示している。

0065

MPEG−4に関するシンタックス(Syntax)およびシマンティックス(SemanTics)
本発明を用いてコード化されたビットストリームを生成するために必要なシンタックスおよびそのシマンティックスについて説明する。以下で用いる各種のクラスは、MPEG−4VM3.2の現行のシンタックスに対応する。

0066

ビデオセッション・クラス
このクラスにはいかなる変更も行なう必要がない。

0067

ビデオオブジェクト・クラス
このクラスにはいかなる変更も行なう必要がない。

0068

ビデオオブジェクト・レーヤー・クラス
このクラスにはいかなる変更も行なう必要がない。

0069

ビデオオブジェクト・プレーン・クラス
このクラスには、二つの新しいシンタックス要素が導入される。

0070



region size(領域 大きさ)
deinterleave ratio(デインターリーブ比)


これらのシンタックス要素は、次のように定義される。

0071

region size(領域 大きさ)
これは、コード化に先立ってデインターリービングが行なわれる領域の大きさを指定する3−ビットのコードである。各コードごとの領域の大きさを下の表1に示す。

0072

(表1)
コード 意味
000 16×16
001 32×32
010 64×64
011 128×128
100保留
101 保留
110 保留
111 全画像

deinterleave ratio(デインターリーブ比)
これは、コード化に先立って識別された領域で行なわれるデインターリービングの量を指定する3−ビットのコードである。水平および垂直ともに同じデインターリービング比が用いられる。各コードごとのデインターリービングの量を下の表2に示す。

0073

(表2)
コード 意味
000 1:1
001 2:1
010 4:1
011 8:1
100 16:1
101保留
110 保留
111 保留

領域クラス
各領域に関するデータは、領域ヘッダの後にサブ領域データが付いたもので構成される。

0074

(表3)
Rtype Rquant Subregion data

Rquant
Rquantは、1から31間での間の非線形値をとる3−ビットのクゥアンタイザである。表4にその意味を示す。

0075

(表4)
コード Qp
000 2
001 43
010 7
011 10
100 14
101 18
110 23
111 28

サブ領域・クラス
サブ領域データの定義は、用いられるクゥアントXメソッドに依存し、以下のように指定される。

0076

クゥアントXメソッド1:
(表5)
Cod subreg Tcoefs subreg
クゥアントXメソッド1に関するサブ領域・クラスの構造

Cod subreg
Cod subregは、そのサブ領域に関するなんらかのコード化されたデータ(ゼロでない値)が存在するか否かを識別する1−ビットのフラッグである。

0077

Tcoefs subreg
Tcoefs subregは、ストリーム微分量子化係数である。

0078

クゥアントXメソッド2:
(表6)
Cod vector Tcoefs vector
クゥアントXメソッド2に関するサブ領域・クラスの構造
Cod vector
Cod vectorは、そのサブ領域に関するなんらかのコード化されたデータが存在するか否かを識別する1−ビットのフラッグである。

0079

Tcoefs vector
Tcoefs vectorは、ベクトルの二度量子化された係数をさす。
クゥアントXメソッド3:

図面の簡単な説明

0080

本発明に基づくグローバルデインターリーブドトランスフォーム(GDT)コード化のための基本エンコーダのブロック線図である。
本発明に基づく図1に示すエンコーダのための対応するデコーダを示す図である。
本発明に基づく局部デインターリーブドトランスフォーム(LDT)コード化の基本エンコーダのブロック線図である。
本発明に基づく図3に示すエンコーダのための対応するデコーダを示す図である。
サブ領域を生成するために一つの領域を水平および垂直の両方向に2の係数でデインターリーブする簡単な例を示す図である。
サブ画像の8×8のアレーを示す図である。その各々は、寸法が22×18で、(QCIF)解像度に関してGDTコード化のルミナンス信号へ水平および垂直方向に8:1のデインターリービングを適用することで得られる。
サブ画像の4×4のアレーを示す図である。その各々は、寸法が8×8で、QCIF解像度に関してLDTコード化のルミナンス信号の32×32の領域へへ水平および垂直方向に4:1のデインターリービングを適用することで得られる。
本発明に基づく拡張量子化の一方法、クゥアントXメソッド1を示す図である。
本発明に基づく図8に示す拡張量子化法、クゥアントXメソッド1の逆操作を示す図である。
本発明で用いられる量子化されたDC係数予測の例を示す図である。
本発明で用いられるAC係数予測の例を示す図である。
本発明に基づく拡張量子化の他の方法、クゥアントXメソッド2を示す図である。
本発明に基づく図12に示す拡張量子化法、クゥアントXメソッド2の逆操作を示す図である。
本発明に基づく拡張量子化の他の方法、クゥアントXメソッド3を示す図である。
本発明に基づく図13に示す拡張量子化法、クゥアントXメソッド3の逆操作を示す図である。
本発明で用いられる適応型グローバルデインターリーブドトランスフォーム(AGDT)エンコーダ150のブロック線図である。
図16のAGDTに対応する本発明で用いられるAGDTデコーダのブロック線図である。
本発明で用いられる適応型グローバルデインターリーブドトランスフォーム(AGDT)エンコーダのブロック線図である。
図18のAGDTに対応する本発明で用いられるAGDTデコーダのブロック線図である。
本発明で用いられるクゥアドツリー・セグメンテーションの例を示す図である。

符号の説明

0081

11デインターリーバ、12トランスフォーム(DCT、・・・)、13クゥアントX、14エントロピー・エンコーダ(VLE、AE、・・・)、21 エントロピー・デコーダ(VLD、AD、・・・)、22 逆クゥアントX、23 逆トランスフォーム(DCT、・・・)、24リインターリーバ、31局部領域セグメンタ(ブロック、フォーマッタ、・・・)、45 局部領域アセンブラ(ブロック、アンフォーマッタ、・・・)、81 クゥアント、82 DC&AC係数予測器、84走査(ジグザグ)、91 逆走査(ジグザグ)、94 逆クゥアント、144 VQ指数順序づけ器(走査、ツリー、・・・)、151 VQ指数再順序づけ器(走査、ツリー、・・・)、152 逆ベクトル・クゥアント(VQ、LVQ、・・・)、153 復尺器(組み合せ器、・・・)、154 ベクトル・アンフォーマッタ、161グローバルクゥアドツリー・セグメンタ、175 グローバルクゥアドツリー・アセンブラ。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ