図面 (/)

技術 装置、符号化装置、復号装置、方法、及びプログラム

出願人 キヤノン株式会社
発明者 エドワードフランソワギロームラロシュパトリスオンノ
出願日 2017年4月12日 (2年3ヶ月経過) 出願番号 2017-079151
公開日 2017年8月17日 (1年11ヶ月経過) 公開番号 2017-143570
状態 特許登録済
技術分野 TV信号の圧縮,符号化方式
主要キーワード 近傍ユニット 平面モード 水平構造 幾何学的形 非時間的 近傍サンプル 長方形部分 例示的実施
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年8月17日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (11)

課題

処理対象ユニットにおける予測モード導出するために、数値で表すことが可能な複数の予測モードの候補を導出する手段を提供する。

解決手段

複数の予測モードの候補は、第1の予測モード、第2の予測モード、及び第3の予測モードの3つの予測モードから成り、導出手段は、処理対象のユニットの近傍のユニットである第1の近傍ユニットにおける予測モードと、処理対象のユニットの近傍のユニットであって第1の近傍ユニットとは異なる第2の近傍ユニットにおける予測モードとが、いずれも平面予測モードである場合、第1の予測モード、第2の予測モード、第3の予測モードを、それぞれ、平面予測モード、DC予測モード、垂直予測モードとする。

概要

背景

ビデオアプリケーションは、絶えずより高い解像度へ向かって進んでいる。大量のビデオ素材がすでに、放送チャネルディジタルネットワーク、およびパッケージ化媒体上で、ディジタル形式で配信されており、より高い品質および解像度(例えば、より高い1フレーム当たり画素数、より高いフレーム率、より高いビット深度拡張された色域など)へ向けて絶えず進化している。この技術進化により、HDTV解像度およびデータ速度をエンドユーザまで経済的に伝達する際の困難にすでに直面している配信ネットワークに、より大きな圧力がかかる。したがって、さらなるデータ速度の増加は、ネットワークにさらなる圧力を加えることになる。この課題に対処するために、ITU−TおよびISO/MPEGは、2010年1月に、HEVC(High Efficiency Video Coding)という名称の新しいビデオ符号化規格プロジェクト着手することを決定した。

HEVCコーデック設計は、H.263、H.264、MPEG−1、MPEG−2、MPEG−4、SVCといった直近のいわゆるブロックベースハイブリッド変換コーデックの設計と類似したものである。ビデオ圧縮アルゴリズム、例えば標準化団体のITU、ISOおよびSMPTEによって標準化されたアルゴリズムなどは、これらのビデオシーケンスと比べてサイズの縮小されたデータ・ビットストリームを生成するために画像の空間的冗長性および時間的冗長性を使用する。そのような圧縮は、ビデオシーケンスの伝送および/または記憶をより効率よくする。

提案されているHEVC符号器におけるビデオ圧縮の際には、処理されている画像の各ブロックは「イントラ予測子(いわゆる「イントラ」符号化モード)によって空間的に、または「インター」予測子(いわゆる「インター」符号化モード)によって時間的に予測される。各予測子は同じ画像または別の画像から与えられる画素のブロックであり、そこから差分ブロック(または「残余」)が導出される。イントラ符号化モードでは、現在のブロックに使用される予測子(イントラ予測子)は、現在の画像のすでに符号化された情報から構築された画素のブロックである。予測子ブロックの識別および残余の符号化によって、実際に符号化されるべき情報の量を低減させることが可能である。

符号化フレームは、時間的予測フレームPフレームと呼ばれる1つの参照フレームから予測され、またはBフレームと呼ばれる2つの参照フレームから予測される)と、非時間的予測フレームイントラフレームまたはIフレームと呼ばれる)との2種類のものである。Iフレームでは、ブロックを符号化するのにイントラ予測だけが考慮される。PフレームおよびBフレームでは、ブロックを符号化するのにイントラ予測およびインター予測が考慮される。

「イントラ」符号化が選択される場合、使用される「イントラ」予測子を記述するための情報項目が、対応する復号器に送られるべきビットストリームに挿入される前に符号化される。

現在のHEVC設計、ならびに、MPEG−4 AVC/H.264といった以前の設計では、イントラ符号化は、図1Aおよび図1Bに概略的に示すように、符号化(復号化)されるべきブロックの再構築された近傍サンプル101からイントラ予測ブロックを導出することを伴う。方向性または非方向性の複数の予測モードサポートされる。HEVCでは、サポートされるモードの数は、符号化ユニット(CU:coding unit)のサイズに左右される。本出願の出願日現在で、HEVC仕様は依然として変更される可能性があるが、目下のところ、以下のサポートモード企図されている。64×64CUでは4モード、4×4CUでは18モード、他のサイズ(8×8から32×32)のCUでは35モード。

CUがイントラ符号化されるときには、その関連イントラ予測モードが符号化される必要がある。図1Bを参照すると、現在のCU102を符号化するときに、イントラモード符号化は、すでに符号化されている2つの近傍CU、すなわち、上CU103および左CU104を利用する。

図2に、HEVCで考慮されるイントラ予測モードを示す。イントラ予測モードは、モード予測値0で識別される平面予測モード、モード予測値3を有するDCモード、および異なる角度に対応する画像内の方向性構造を予測するための、モード予測値4から34で識別されるいくつかの方向性予測モードを含む。また、水平予測モード2および垂直予測モード1も含まれる。

図3は、現在のHEVC設計においてイントラモード符号化がどのようにして行われるか説明する際に使用するための流れ図である。第1のステップS201で、図1Bに示すように、近傍の上CU103および左CU104のイントラ予測モードが識別される。2つのCUは同じイントラ予測モードを共有している場合もあり、異なるイントラ予測モードを有する場合もある。したがってステップS201では、1つまたは2つの異なるイントラ予測モードを識別することができる。ステップS202で、識別されたイントラ予測モードから2つの「最確モード(MPM:Most Probable Mode)」が導出される。上CU103および左CU104の予測モードが異なる場合には、2つのMPM、MPM0およびMPM1が、それぞれ、上CUの予測モードおよび左CUの予測モードの最小値および最大値に設定される。上CU103および左CU104からの予測モードが等しい場合であって、これらの予測モードが平面予測モードに対応しない場合には、MPM0は平面モードと等しく設定され、MPM1は上CU予測モードまたは左CU予測モードの予測モードに設定される。上CU103および左CU104の予測モードがどちらも平面モードに対応する場合には、MPM0は平面モードと等しく設定され、MPM1はDCモードに設定される。よってMPM0およびMPM1は、それらの予測モード値に従って順序付けられ、より小さいモード値を有する予測モードをMPM0といい、より大きいモード値を有する予測モードをMPM1という。ステップS203で、現在の符号化ユニットの予測モードは次いで、2つのMPMと比較される。現在の符号化ユニットの予測モードがMPM0またはMPM1と等しい場合には、ステップS204で、第1の符号化プロセス(プロセス1)が適用される。

この第1の符号化プロセスは、現在のブロックのモードがMPMの一方と等しいことを知らせるフラグを符号化し、次いで、関与するMPMのインデックス(MPM0の場合は0、MPM1の場合は1)を符号化することを伴う。

ステップS203で、現在のブロックの予測モードが2つのMPMの一方と等しくないと判定される場合には、ステップS205で、第2の符号化プロセス(プロセス2)が適用される。

第1の符号化プロセスとは異なり、第2の符号化プロセスは、現在のブロックのモード値を符号化することを伴う。

概要

処理対象ユニットにおける予測モードを導出するために、数値で表すことが可能な複数の予測モードの候補を導出する手段を提供する。複数の予測モードの候補は、第1の予測モード、第2の予測モード、及び第3の予測モードの3つの予測モードから成り、導出手段は、処理対象のユニットの近傍のユニットである第1の近傍ユニットにおける予測モードと、処理対象のユニットの近傍のユニットであって第1の近傍ユニットとは異なる第2の近傍ユニットにおける予測モードとが、いずれも平面予測モードである場合、第1の予測モード、第2の予測モード、第3の予測モードを、それぞれ、平面予測モード、DC予測モード、垂直予測モードとする。

目的

本発明はソフトウェアとして実施することができるため、本発明は、任意の適切な搬送媒体上で、プログラム可能な装置に提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

処理対象ユニットにおける予測モード導出するために、数値で表すことが可能な複数の予測モードの候補を導出する導出手段を有し、前記複数の予測モードの候補は、第1の予測モード、第2の予測モード、及び第3の予測モードの3つの予測モードから成り、前記導出手段は、前記処理対象のユニットの近傍のユニットである第1の近傍ユニットにおける予測モードと、前記処理対象のユニットの近傍のユニットであって前記第1の近傍ユニットとは異なる第2の近傍ユニットにおける予測モードとが、いずれも平面予測モードである場合、前記第1の予測モード、前記第2の予測モード、前記第3の予測モードを、それぞれ、平面予測モード、DC予測モード、垂直予測モードとすることを特徴とする装置。

請求項2

前記導出手段は、前記第1の予測モード及び前記第2の予測モードのいずれも平面予測モードとしない場合、前記第3の予測モードを平面予測モードとすることを特徴とする請求項1記載の装置。

請求項3

前記第1の近傍ユニットは、前記処理対象のユニットの左側のユニットであることを特徴とする請求項1又は2に記載の装置。

請求項4

前記第2の近傍ユニットは、前記処理対象のユニットの上側のユニットであることを特徴とする請求項1〜3のいずれか1項に記載の装置。

請求項5

前記導出手段は、前記第1の近傍ユニットにおける予測モードと、前記第2の近傍ユニットにおける予測モードとがいずれも所定の予測モードであって、当該所定の予測モードが平面予測モードではない場合、前記第1の予測モード、前記第2の予測モード、前記第3の予測モードを、それぞれ、平面予測モード、前記所定の予測モード、垂直予測モードとすることを特徴とする請求項1〜4のいずれか1項に記載の装置。

請求項6

前記導出手段は、前記第1の近傍ユニットにおける予測モードと、前記第2の近傍ユニットにおける予測モードとが異なる場合であって、前記第1の近傍ユニットにおける予測モード、及び、前記第2の近傍ユニットにおける予測モードの内の一方が平面予測モードであり、他方がDC予測モードである場合に、前記第1の予測モードを、前記第1の近傍ユニットにおける予測モード、及び、前記第2の近傍ユニットにおける予測モードの内の一方の予測モードとし、前記第2の予測モードを、前記第1の近傍ユニットにおける予測モード、及び、前記第2の近傍ユニットにおける予測モードの内の他方の予測モードとし、前記第3の予測モードを、垂直予測モードとすることを特徴とする請求項1〜5のいずれか1項に記載の装置。

請求項7

前記第1の近傍ユニットにおける予測モードと、前記第2の近傍ユニットにおける予測モードとがいずれも平面予測モードではない場合に、前記第3の予測モードを平面予測モードとする、ことを特徴とする請求項1〜6のいずれか1項に記載の装置。

請求項8

前記導出手段は、前記第1の近傍ユニットにおける予測モード、及び、前記第2の近傍ユニットにおける予測モードが所定の条件を満たす場合に、前記第3の予測モードを、前記第1の予測モード及び前記第2の予測モードの一方に対して上位の最も近い角度方向を有する方向性予測モードとすることを特徴とする請求項1〜7のいずれか1項に記載の装置。

請求項9

前記所定の条件は、近傍ユニットの予測モードが方向性予測モードであるという条件を含む、ことを特徴とする請求項8記載の装置。

請求項10

前記第1の近傍ユニットにおける予測モードと、前記第2の近傍ユニットにおける予測モードとが同じであり、かつ、前記第1の近傍ユニットにおける予測モードと、前記第2の近傍ユニットにおける予測モードとが、いずれも前記平面予測モードである場合、前記3つの予測モードは、平面予測モード、DC予測モード、垂直予測モードの順に順序付けられることを特徴とする請求項1〜9のいずれか1項に記載の装置。

請求項11

請求項1〜10のいずれか1項に記載の導出手段と、前記3つの予測モードの内のいずれかを用いて前記処理対象のユニットを符号化する符号化手段とを有することを特徴とする符号化装置

請求項12

前記第1の予測モード、前記第2の予測モード、及び前記第3の予測モードのうちの少なくとも1つと、前記処理対象のユニットにおける予測モードとを比較する比較手段と、前記比較手段による比較結果に基づいて、前記処理対象のユニットにおける予測モードを示す情報を符号化するためのモードを、第1のモード及び第2のモードの中から選択する選択手段とを有することを特徴とする請求項11記載の符号化装置。

請求項13

前記選択手段は、前記第1の予測モード、前記第2の予測モード、及び前記第3の予測モードのうちの少なくとも1つと、前記処理対象のユニットにおける予測モードとが等しい場合に、前記第1のモードを選択し、前記符号化手段は、前記選択手段によって前記第1のモードが選択された場合、前記第1の予測モード、前記第2の予測モード、及び前記第3の予測モードのうちの少なくとも1つと、前記処理対象のユニットにおける予測モードとの関係を示す情報を符号化することを特徴とする請求項12記載の符号化装置。

請求項14

前記関係を示す情報は、前記処理対象のユニットにおける予測モードが前記3つの予測モードのうちの1つと等しいことを示すフラグを含むことを特徴とする請求項13記載の符号化装置。

請求項15

前記関係を示す情報は、前記3つの予測モードのうちのいずれかに係るインデックスを含むことを特徴とする請求項13又は14に記載の符号化装置。

請求項16

前記選択手段は、前記第1の予測モード、前記第2の予測モード、及び前記第3の予測モードの内のいずれとも、前記処理対象のユニットにおける予測モードが等しくない場合に、前記第2のモードを選択し、前記符号化手段は、前記選択手段によって前記第2のモードが選択された場合、前記処理対象のユニットにおける予測モードを示す情報を符号化することを特徴とする請求項12〜15のいずれか1項に記載の符号化装置。

請求項17

前記第1のモードは、前記処理対象のユニットにおける予測モードが、前記3つの予測モードの内の少なくとも1つと等しいときに選択され、前記第2のモードは、前記処理対象のユニットにおける予測モードが、前記3つの予測モードのそれぞれと異なるときに選択されることを特徴とする請求項12〜16のいずれか1項に記載の符号化装置。

請求項18

請求項1〜10のいずれか1項に記載の導出手段と、前記3つの予測モードの内のいずれかを用いて前記処理対象のユニットを復号する復号手段とを有することを特徴とする復号装置

請求項19

前記処理対象のユニットにおける予測モードが前記3つの予測モードの内のいずれかと等しいかを示すフラグに基づき、第1のモード及び第2のモードの中からモードを選択する選択手段を有することを特徴とする請求項18記載の復号装置。

請求項20

前記選択手段は、前記第1の予測モード、前記第2の予測モード、及び前記第3の予測モードのうちの少なくとも1つと、前記処理対象のユニットにおける予測モードとが等しい場合に、前記第1のモードを選択し、前記復号手段は、前記選択手段によって前記第1のモードが選択された場合、前記処理対象のユニットにおける予測モードと、前記第1の予測モード、前記第2の予測モード、及び前記第3の予測モードのうちの少なくとも1つとの関係を示す情報を復号することを特徴とする請求項18又は19に記載の復号装置。

請求項21

前記関係を示す情報は、前記処理対象のユニットにおける予測モードが前記3つの予測モードのうちの1つと等しいことを示すフラグを含むことを特徴とする請求項20記載の復号装置。

請求項22

前記関係を示す情報は、前記3つの予測モードのうちのいずれかに係るインデックスを含むことを特徴とする請求項20又は21に記載の復号装置。

請求項23

前記選択手段は、前記第1の予測モード、前記第2の予測モード、及び前記第3の予測モードの内のいずれとも、前記処理対象のユニットにおける予測モードが等しくない場合に、前記第2のモードを選択し、前記復号手段は、前記選択手段によって前記第2のモードが選択された場合、前記処理対象のユニットにおける予測モードを示す情報を復号することを特徴とする請求項19〜22のいずれか1項に記載の復号装置。

請求項24

前記第1のモードは、前記処理対象のユニットにおける予測モードが、前記3つの予測モードの内の少なくとも1つと等しいときに選択され、前記第2のモードは、前記処理対象のユニットにおける予測モードが、前記3つの予測モードのそれぞれと異なるときに選択されることを特徴とする請求項19〜23のいずれか1項に記載の復号装置。

請求項25

処理対象のユニットにおける予測モードを導出するために、数値で表すことが可能な複数の予測モードの候補を導出する導出工程を有し、前記複数の予測モードの候補は、第1の予測モード、第2の予測モード、及び第3の予測モードの3つの予測モードから成り、前記導出工程において、前記処理対象のユニットの近傍のユニットである第1の近傍ユニットにおける予測モードと、前記処理対象のユニットの近傍のユニットであって前記第1の近傍ユニットとは異なる第2の近傍ユニットにおける予測モードとが、いずれも平面予測モードである場合、前記第1の予測モード、前記第2の予測モード、前記第3の予測モードを、それぞれ、平面予測モード、DC予測モード、垂直予測モードとすることを特徴とする方法。

請求項26

請求項1〜10のいずれか1項に記載の導出手段としてコンピュータを機能させることを特徴とするプログラム

請求項27

請求項11〜17のいずれか1項に記載の符号化装置の各手段としてコンピュータを機能させることを特徴とするプログラム。

請求項28

請求項18〜24のいずれか1項に記載の復号装置の各手段としてコンピュータを機能させることを特徴とするプログラム。

技術分野

0001

本発明は、予測モードを表すモード値を符号化し、または復号化するための方法および装置に関する。本発明は、特に、より詳細には、開発中のHEVC(High Efficiency Video Coding:高効率ビデオ符号化規格におけるイントラモード符号化に関するものであるが、これに限らない。

背景技術

0002

ビデオアプリケーションは、絶えずより高い解像度へ向かって進んでいる。大量のビデオ素材がすでに、放送チャネルディジタルネットワーク、およびパッケージ化媒体上で、ディジタル形式で配信されており、より高い品質および解像度(例えば、より高い1フレーム当たり画素数、より高いフレーム率、より高いビット深度拡張された色域など)へ向けて絶えず進化している。この技術進化により、HDTV解像度およびデータ速度をエンドユーザまで経済的に伝達する際の困難にすでに直面している配信ネットワークに、より大きな圧力がかかる。したがって、さらなるデータ速度の増加は、ネットワークにさらなる圧力を加えることになる。この課題に対処するために、ITU−TおよびISO/MPEGは、2010年1月に、HEVC(High Efficiency Video Coding)という名称の新しいビデオ符号化規格プロジェクト着手することを決定した。

0003

HEVCコーデック設計は、H.263、H.264、MPEG−1、MPEG−2、MPEG−4、SVCといった直近のいわゆるブロックベースハイブリッド変換コーデックの設計と類似したものである。ビデオ圧縮アルゴリズム、例えば標準化団体のITU、ISOおよびSMPTEによって標準化されたアルゴリズムなどは、これらのビデオシーケンスと比べてサイズの縮小されたデータ・ビットストリームを生成するために画像の空間的冗長性および時間的冗長性を使用する。そのような圧縮は、ビデオシーケンスの伝送および/または記憶をより効率よくする。

0004

提案されているHEVC符号器におけるビデオ圧縮の際には、処理されている画像の各ブロックは「イントラ予測子(いわゆる「イントラ」符号化モード)によって空間的に、または「インター」予測子(いわゆる「インター」符号化モード)によって時間的に予測される。各予測子は同じ画像または別の画像から与えられる画素のブロックであり、そこから差分ブロック(または「残余」)が導出される。イントラ符号化モードでは、現在のブロックに使用される予測子(イントラ予測子)は、現在の画像のすでに符号化された情報から構築された画素のブロックである。予測子ブロックの識別および残余の符号化によって、実際に符号化されるべき情報の量を低減させることが可能である。

0005

符号化フレームは、時間的予測フレームPフレームと呼ばれる1つの参照フレームから予測され、またはBフレームと呼ばれる2つの参照フレームから予測される)と、非時間的予測フレームイントラフレームまたはIフレームと呼ばれる)との2種類のものである。Iフレームでは、ブロックを符号化するのにイントラ予測だけが考慮される。PフレームおよびBフレームでは、ブロックを符号化するのにイントラ予測およびインター予測が考慮される。

0006

「イントラ」符号化が選択される場合、使用される「イントラ」予測子を記述するための情報項目が、対応する復号器に送られるべきビットストリームに挿入される前に符号化される。

0007

現在のHEVC設計、ならびに、MPEG−4 AVC/H.264といった以前の設計では、イントラ符号化は、図1Aおよび図1Bに概略的に示すように、符号化(復号化)されるべきブロックの再構築された近傍サンプル101からイントラ予測ブロックを導出することを伴う。方向性または非方向性の複数の予測モードがサポートされる。HEVCでは、サポートされるモードの数は、符号化ユニット(CU:coding unit)のサイズに左右される。本出願の出願日現在で、HEVC仕様は依然として変更される可能性があるが、目下のところ、以下のサポートモード企図されている。64×64CUでは4モード、4×4CUでは18モード、他のサイズ(8×8から32×32)のCUでは35モード。

0008

CUがイントラ符号化されるときには、その関連イントラ予測モードが符号化される必要がある。図1Bを参照すると、現在のCU102を符号化するときに、イントラモード符号化は、すでに符号化されている2つの近傍CU、すなわち、上CU103および左CU104を利用する。

0009

図2に、HEVCで考慮されるイントラ予測モードを示す。イントラ予測モードは、モード予測値0で識別される平面予測モード、モード予測値3を有するDCモード、および異なる角度に対応する画像内の方向性構造を予測するための、モード予測値4から34で識別されるいくつかの方向性予測モードを含む。また、水平予測モード2および垂直予測モード1も含まれる。

0010

図3は、現在のHEVC設計においてイントラモード符号化がどのようにして行われるか説明する際に使用するための流れ図である。第1のステップS201で、図1Bに示すように、近傍の上CU103および左CU104のイントラ予測モードが識別される。2つのCUは同じイントラ予測モードを共有している場合もあり、異なるイントラ予測モードを有する場合もある。したがってステップS201では、1つまたは2つの異なるイントラ予測モードを識別することができる。ステップS202で、識別されたイントラ予測モードから2つの「最確モード(MPM:Most Probable Mode)」が導出される。上CU103および左CU104の予測モードが異なる場合には、2つのMPM、MPM0およびMPM1が、それぞれ、上CUの予測モードおよび左CUの予測モードの最小値および最大値に設定される。上CU103および左CU104からの予測モードが等しい場合であって、これらの予測モードが平面予測モードに対応しない場合には、MPM0は平面モードと等しく設定され、MPM1は上CU予測モードまたは左CU予測モードの予測モードに設定される。上CU103および左CU104の予測モードがどちらも平面モードに対応する場合には、MPM0は平面モードと等しく設定され、MPM1はDCモードに設定される。よってMPM0およびMPM1は、それらの予測モード値に従って順序付けられ、より小さいモード値を有する予測モードをMPM0といい、より大きいモード値を有する予測モードをMPM1という。ステップS203で、現在の符号化ユニットの予測モードは次いで、2つのMPMと比較される。現在の符号化ユニットの予測モードがMPM0またはMPM1と等しい場合には、ステップS204で、第1の符号化プロセス(プロセス1)が適用される。

0011

この第1の符号化プロセスは、現在のブロックのモードがMPMの一方と等しいことを知らせるフラグを符号化し、次いで、関与するMPMのインデックス(MPM0の場合は0、MPM1の場合は1)を符号化することを伴う。

0012

ステップS203で、現在のブロックの予測モードが2つのMPMの一方と等しくないと判定される場合には、ステップS205で、第2の符号化プロセス(プロセス2)が適用される。

0013

第1の符号化プロセスとは異なり、第2の符号化プロセスは、現在のブロックのモード値を符号化することを伴う。

発明が解決しようとする課題

0014

統計的には、プロセス1がプロセス2よりも頻繁に使用される。統計的には、予測モードは、すべてのMPMと異なるよりもMPMの一方と等しい場合が多い。エントロピー符号化エンジンは、プロセス1でプロセス2よりも短い符号語を使用することによって、またはMPMの一方とより高い確率で等しくなることを利用することによって上記の特性から利益を得る(CABACで使用される算術符号化は、この確率を効率よく利用して符号化を改善し、符号化コストを低減させる)。本発明は、以上の問題および要望のうちの1つもしくは複数に対処するために考案されたものである。予測モード情報を符号化するための方法の符号化効率を改善することが望ましい。

課題を解決するための手段

0015

本発明は例えば以下の構成を有する。即ち、処理対象ユニットにおける予測モードを導出するために、数値で表すことが可能な複数の予測モードの候補を導出する導出手段を有し、前記複数の予測モードの候補は、第1の予測モード、第2の予測モード、及び第3の予測モードの3つの予測モードから成り、前記導出手段は、前記処理対象のユニットの近傍のユニットである第1の近傍ユニットにおける予測モードと、前記処理対象のユニットの近傍のユニットであって前記第1の近傍ユニットとは異なる第2の近傍ユニットにおける予測モードとが、いずれも平面予測モードである場合、前記第1の予測モード、前記第2の予測モード、前記第3の予測モードを、それぞれ、平面予測モード、DC予測モード、垂直予測モードとする。

0016

また、本発明の第1の態様によれば、イントラモード符号化プロセスによって現在の符号化ユニットに関連した予測モードを表すモード情報を符号化する方法、すなわち、符号化されるべき現在の符号化ユニットに関連した予測モードを表すモード値を符号化する方法が提供される。本方法は、現在の符号化ユニットの少なくとも2つの近傍符号化ユニットのそれぞれの予測モードから第1の参照予測モード値および第2の参照予測モード値を導出するステップであって、第1の参照予測モードおよび第2の参照予測モードは相互に異なるものである第1の参照予測モード値および第2の参照予測モード値を導出するステップと、符号化されるべき予測モード値を参照予測モード値のうちの1つもしくは複数と比較するステップと、符号化されるべきモード値に適用するために、上記比較に基づき、少なくとも第1の符号化プロセスおよび第2の符号化プロセスの中から符号化プロセスを選択するステップと、を含む。本方法は、第1の参照予測モード値および第2の参照予測モード値から第3の参照予測モード値を導出するステップであって、第3の参照予測モードは上記第1の参照予測モード値および上記第2の参照予測モード値の各々と異なるものである第3の参照予測モード値を導出するステップをさらに含み、上記比較は、符号化されるべき予測モード値を、第1の参照予測モード値、第2の参照予測モード値および第3の参照予測モード値のうちの少なくとも1つと比較するステップを含む。

0017

現在の符号化ブロックの予測モードとの比較のために2つではなく3つのMPMを導出することにより、符号化効率が改善される。これは、現在の符号化ブロックの予測モードが、導出される最確モードのうちの1つに対応する確率の増加によるものである。これにより、現在の符号化ブロックの予測モードを符号化するのにより経済的な符号化プロセスが使用されることを可能になるため、全般的な符号化コストが低減される。

0018

本発明の第2の態様によれば、現在の符号化ユニットに関連した予測モードを表すモード情報を符号化するための装置が提供される。本装置は、現在の符号化ユニットの少なくとも2つの近傍符号化ユニットのそれぞれの予測モードから第1の参照予測モード値および第2の参照予測モード値を導出する導出手段であって、第1の参照予測モードおよび第2の参照予測モードは相互に異なるものである導出手段と、符号化されるべき予測モード値を参照予測モード値のうちの1つもしくは複数と比較する比較手段と、符号化されるべきモード値に適用するために、上記比較に基づき、少なくとも第1の符号化プロセスおよび第2の符号化プロセスの中から符号化プロセスを選択する選択手段と、を備える。導出手段は、第1の参照予測モード値および第2の参照予測モード値から第3の参照予測モード値を導出するように動作し、第3の参照予測モードは上記第1の参照予測モード値および上記第2の参照予測モード値の各々と異なるものであり、上記比較手段は、符号化されるべき予測モード値を、第1の参照予測モード値、第2の参照予測モード値および第3の参照予測モード値のうちの少なくとも1つと比較するように動作する。

0019

本発明第3の態様によれば、復号化されるべき現在の復号ユニットに関連した予測モードを表すモード値を復号化する方法が提供される。本方法は、現在の復号ユニットの少なくとも2つの近傍復号ユニットのそれぞれの予測モードから第1の参照予測モード値および第2の参照予測モード値を導出するステップであって、第1の参照予測モードおよび第2の参照予測モードは相互に異なるものであるステップと、復号化されるべき予測モード値を参照予測モード値のうちの1つもしくは複数と比較するステップと、復号化されるべきモード値に適用するために、上記比較に基づき、少なくとも第1の復号化プロセスおよび第2の復号化プロセスの中から復号化プロセスを選択するステップと、を含む。本方法は、第1の参照予測モード値および第2の参照予測モード値から第3の参照予測モード値を導出するステップであって、第3の参照予測モードは上記第1の参照予測モード値および上記第2の参照予測モード値の各々と異なるものであるステップをさらに含み、上記比較は、復号化されるべき予測モード値を、第1の参照予測モード値、第2の参照予測モード値および第3の参照予測モード値のうちの少なくとも1つと比較するステップを含む。

0020

本発明の第4の態様によれば、復号化されるべき現在の復号ユニットに関連した予測モードを表すモード値を復号化するための装置が提供される。本装置は、現在の復号ユニットの少なくとも2つの近傍復号ユニットのそれぞれの予測モードから第1の参照予測モード値および第2の参照予測モード値を導出する導出手段であって、第1の参照予測モードおよび第2の参照予測モードは相互に異なるものである導出手段と、符号化されるべき予測モード値を参照予測モード値のうちの1つもしくは複数と比較する比較手段と、復号化されるべきモード値に適用するために、上記比較に基づき、少なくとも第1の復号化プロセスおよび第2の復号化プロセスの中から復号化プロセスを選択する選択手段と、を備える。上記導出手段は、第1の参照予測モード値および第2の参照予測モード値から第3の参照予測モード値を導出するように動作し、第3の参照予測モードは上記第1の参照予測モード値および上記第2の参照予測モード値の各々と異なるものであり、上記比較手段は、復号化されるべき予測モード値を、第1の参照予測モード値、第2の参照予測モード値および第3の参照予測モード値のうちの少なくとも1つと比較するように動作する。

0021

本発明の別の態様によれば、現在の符号化ユニットに関連した予測モードの符号化または復号化のための参照予測モード値を導出する方法が提供される。本方法は、現在の符号化ユニットの少なくとも2つの近傍符号化ユニットのそれぞれの予測モードから第1の参照予測モード値および第2の参照予測モード値を導出するステップであって、第1の参照予測モードおよび第2の参照予測モードは相互に異なるものであるステップと、第1の参照予測モード値および第2の参照予測モード値から第3の参照予測モード値を導出するステップであって、第3の参照予測モードは上記第1の参照予測モード値および上記第2の参照予測モード値の各々と異なるものであるステップと、を含み、第1の参照予測モード値、第2の参照予測モード値および第3の参照予測モード値は、符号化され、または復号化されるべき予測モード値との比較に使用できる。

0022

一実施形態では、第3の参照予測モード値は、上記第1の参照予測モード値および上記第2の参照予測モード値のどちらも平面予測モードに対応しない場合に、平面予測モードに対応するモード値に設定される。

0023

一実施形態では、第1の参照予測モード値および第2の参照予測モード値の一方がDC予測モードに対応し、第1の参照予測モード値および第2の参照予測モード値の他方が平面予測モードに対応する場合に、別の予測モード値は定義済みの予測モード値に設定される。

0024

一実施形態では、定義済みの予測モード値は、スライスまたは画像ヘッダで知らされる。

0025

一実施形態では、定義済みの予測モード値は、例えば5未満の予測モード値といった小さい予測モード値を有する。

0026

一実施形態では、定義済みの予測モード値は、水平予測モードまたは垂直予測モードに対応する。

0027

一実施形態では、定義済みの予測モード値は、符号化される画像の内容に左右される。

0028

一実施形態では、定義済みの予測モード値は、それぞれの予測モードの出現確率を表すモード確率に基づいて適正に導出され、上記モード確率は定期的に算出される。

0029

一実施形態では、第1の参照予測モード値および第2の参照予測モード値の一方が方向性予測モードに対応し、第1の参照予測モード値および第2の参照予測モード値の他方が平面予測モードに対応する場合に、第3の予測モード値は、関与する参照予測モード値の方向に対して上位の次の角度方向を有する予測モードに対応する予測モード値に設定される。

0030

一実施形態では、少なくとも2つの近傍の符号化または復号化ユニットは、現在の符号化または復号化ユニットの、左近傍の符号化ユニット、または復号化ユニット、および上近傍の符号化または復号化ユニットを含む。

0031

一実施形態では、第1の符号化または復号化プロセスは、符号化され、または復号化されるべきモード値と、第1の参照予測モード値、第2の参照予測モード値および第3の参照予測モード値のうちの少なくとも1つとの所定の関係を示す第1の情報を符号化し、または復号化するステップを含み、第2の符号化または復号化プロセスは、符号化され、または復号化されるべきモード値を表す第2の情報を符号化し、または復号化するステップを含む。

0032

一実施形態では、第1の符号化または復号化プロセスは、符号化され、または復号化されるべきモード値が3つの参照予測モード値のうちの少なくとも1つと等しいときに選択され、第2の符号化または復号化プロセスは、符号化され、または復号化されるべきモード値が3つの参照予測モード値の各々と異なるときに選択される。

0033

本発明による方法の少なくとも一部は、コンピュータにより実施されてよい。したがって、本発明は、完全にハードウェアによる実施形態、完全にソフトウェアによる実施形態(ファームウェア常駐ソフトウェアマイクロコードなどを含む)、またはソフトウェア態様とハードウェア態様を組み合わせた実施形態の形を取ってよく、本明細書ではこれらすべてを一般に「回路」、「モジュール」または「システム」と呼ぶ場合がある。さらに、本発明は、媒体において具現化されたコンピュータ使用可プログラムコードを有する表現の任意の有形の媒体において具現化されたコンピュータプログラム製品の形を取ってもよい。

0034

本発明はソフトウェアとして実施することができるため、本発明は、任意の適切な搬送媒体上で、プログラム可能な装置に提供するためのコンピュータ可読コードとして具現化することができる。有形の搬送媒体は、フロッピーディスクCD−ROMハードディスクドライブ磁気テープ装置または固体記憶装置などといった記憶媒体を含んでいてよい。一時的な搬送媒体は、電気信号電子信号光信号音響信号磁気信号、または電磁信号、例えばマイクロ波無線周波数信号などといった信号を含みうる。

0035

次に、本発明の実施形態を、例として挙げるにすぎないが、添付の図面を参照して説明する。

図面の簡単な説明

0036

前述の、現在のHEVC設計においてイントラ予測ブロックがどのようにして導出されるか説明する際に使用するための概略図である。
やはり前述の、現在のHEVC設計におけるイントラ予測モードを概略的に示す図である。
やはり前述の、現在のHEVC設計におけるイントラモード符号化を説明する際に使用するための流れ図である。
本発明の少なくとも1つの実施形態によるイントラモード符号化の原理を説明する際に使用するための流れ図である。
本発明の一実施形態による参照予測モード値を導出するための方法のステップの流れ図である。
図5の方法に関連したステップを示す流れ図である。
画像のシーケンスを示す図である。
本発明の一実施形態による符号器を実施するのに適した装置の各部分を示す図である。
本発明の少なくとも1つの実施形態による符号器の各部分を示すブロック図である。
復号器の各部分を示すブロック図である。

実施例

0037

図4は、本発明を具現化するイントラモード符号化方法の原理を説明する際に使用するための流れ図である。この流れ図によるイントラモード符号化方法は、CABACやCAVLCといった任意のエントロピー符号化エンジンに適用できる。

0038

図4において、ステップS401およびステップS402は、それぞれ、図3のステップS201およびステップS202と同じであり、ここではこれらのステップの説明を繰り返さない。

0039

ステップS403で、第3の最確モード(MPM2)が、ステップS402で近傍の上CUおよび左CUの予測モードから導出された第1の最確モードMPM0および第2の最確モードMPM1から導出される。

0040

図5は、本発明の第1の実施形態による第3の最確モードMPM2を導出するためのステップをより詳細に示す流れ図である。ステップS501で、ステップS402で導出された第1の最確モード値MPM0および第2の最確モード値MPM1が識別される。ステップS502で、最確モード値MPM0および最確モード値MPM1の一方が平面予測モードに対応するかどうかが検査される。このステップは、最確モード値が平面予測モードに対応するかどうか検査するために両方の最確モード値を検査するステップを伴っていてよい。本発明の代替の実施形態では、最確モード値MPM0および最確モード値MPM1がこれらの予測モード値に従って順序付けられているときには、MPM0は低い方の順位の予測モードに対応することになるため、MPM0が平面モードに対応するかどうか検査しさえすればよい。MPM0もMPM1も平面予測モードに対応しない場合には、別の最確モードMPM2はステップS506で平面予測モードに対応するモード値に設定される。平面モードは統計的に最も頻繁に使用される予測モードであり、よって現在のブロックの予測モードに対応する可能性がより高いため、後の比較ステップのためにMPMの集合に平面モードを挿入するのが有益である。

0041

しかし、ステップS502で、第1のMPMおよび第2のMPMのどちらか1つ、MPM0またはMPM1が平面モードに対応すると判定される場合には、ステップS503で、他方のMPM0またはMPM1がDC予測モードに対応するかどうかが検査される。第1のMPMおよび第2のMPMのどちらか1つ、MPM0またはMPM1が平面予測モードに対応し、第1のMPM、MPM0および第2のMPM、MPM1の他方がDC予測モードに対応すると判定される場合には、第3のMPM、MPM2は定義済みのモード値に設定される。

0042

実際的には、小さい予測モード値を有する予測モードが現在のブロックの予測モードに対応する可能性がより高いため、小さい予測モード値を有する予測モードが使用される。図5に示す例では、MPM2は、垂直予測モードに対応する予測モード値2に設定される。

0043

平方向予測に対応する予測モード値2を選択することもできるが、垂直方向は統計的には自然画像に水平構造よりも多く存在し、そのため、現在のブロックの予測モードに対応する可能性がより高いことに留意しておいてもよいであろう。

0044

本発明のある実施形態では、定義済みの予測モードはスライスまたは画像ヘッダで知らされる。というのは、定義済みの予測モードは、画像内容に左右され、例えば、画像内のモード分布の統計に依存しうるからである。

0045

本発明の別の実施形態では、定義済みの予測モードは、定期的に算出されるそれぞれの予測モードの出現確率を表すモード確率に基づいて、適正に導出することができる。この場合には、確率表が定義される。モードが符号化される都度、その確率が更新される。MPM0およびMPM1が平面およびDCであるときに、MPM2は、最高確率値を有する、平面およびDCと異なるモードとして算出される。したがってMPM2は、平面およびDCが2つの最初のMPMであるこの具体例では、画像内容に応じて適正に算出される。

0046

しかし、ステップS503で、第1のMPM、MPM0および第2のMPM、MPM1のどちらもDC予測モードに対応せず、よって、第1のMPMおよび第2のMPMの一方、MPM0またはMPM1が方向性予測モードMPM_dirに対応すると判定される場合には、第3のMPM、MPM2は、ステップS505で、MPM_dirの方向に対する最も近い許可された上位の角度方向を有する方向性予測モードに設定される。図6を参照すると、このプロセスがより詳細に示されている。ステップS601で、平面モードではない近傍符号化ユニットの予測モードが識別される。ステップS602で、識別された予測モードがDCであるかどうかが判定される。そうである場合、MPM2は垂直予測モードに設定され、そうでなく識別された予測モードがDCでない場合、MPM2は、ステップS604で、モードmの方向(MPM_dir)に対する最も近い許可された上位の角度方向に設定される。

0047

例えば、MPM_dirが13と等しい場合、図2を参照すると、MPM2は、現在の符号化ユニットが8×8から32×32のサイズのものである場合には、24に設定され、現在の符号化ユニットが4×4のサイズのものである場合には、6に設定される(現在のHEVC設計では、4×4CUにおいて、17までのより高い値を有するモードは禁止されている)。最も近い上位の角度方向を使用するのが最もうまくいく解決策であることが実験的に示されている。

0048

本発明のある実施形態では、最確予測モードMPM0および最確予測モードMPM1の順序は、第3の最確予測モードMPM2が導出される前に、これらの予測値に従って順序付けられうることが理解されるであろう。本発明の代替の実施形態では、ステップS402は、MPM0およびMPM1をこれらの予測モード値に従って再順序付けするプロセスを含まなくてよく、その場合、MPM0、MPM1およびMPM2は、MPM2が導出された後でこれらの予測モード値に従って順序付けされてよい。

0049

図4に戻って、ステップS404で、現在の符号化ブロックの予測モード値を符号化するのに適用されるのは符号化プロセス1かそれとも符号化プロセス2かを判定するために、現在の符号化ブロックと関連した予測モードが、ステップS402およびステップS403で導出された第1のMPM、MPM0、第2のMPM、MPM1または第3のMPM、MPM2と等しいかどうかが検証される。プロセス1は、現在のブロックのモードが、3つのMPMのうちの1つ、MPM0、MPM1またはMPM2と等しいときに実行され、ステップS405で実施される。本発明のある実施形態では、ステップS405は、図3のステップS204と同じとすることができ、ここでは詳細に説明しない。

0050

プロセス2は、現在のブロックのモードが、第1のMPM、MPM0、第2のMPM、MPM1、および第3のMPM、MPM2の各々と異なるときに実行され、ステップS406で実施される。ステップS406は、図3の対応するステップS205と同じとすることができ、ここでは詳細に説明しない。

0051

現在の符号化ブロックの予測モードと比較するのに2つではなく3のMPMを使用すると、現在の符号化ブロックの予測モードが導出された最確モードのうちの1つに対応する確率が増加するために、符号化効率が改善される。これはひいては、現在の符号化ブロックの予測モードを知らせるのにより少ないビット数で済むより経済的な符号化プロセス1を使用して現在の符号化ブロックの予測モードが符号化されることになる可能性を高める。その結果、全般的な符号化コストが低減される。同時に、多数のMPMを導出することによって全般的プロセスの複雑性過度に増加しなくなる。

0052

図7に、HEVCで使用される画像符号化構造100を示す。HEVCおよびそれ以前の技術のうちの1つによれば、元のビデオシーケンス1001は連続したディジタル画像「画像i」である。それ自体は公知のように、ディジタル画像は、その係数が画素を表す1つもしくは複数の行列によって表される。

0053

画像1002はスライス1003へと分割される。スライスは画像の一部または全体画像である。HEVCでは、これらのスライスは、非オーバーラップの最大符号化ユニット(LCU:Largest Coding Unit)1004、一般には64画素×64画素のサイズのブロックへと分割される。各LCUは各LCUの番に、4分木分解を使用してより小さい可変サイズの符号化ユニット(CU)1005へと反復して分割されうる。各CUは、2つの対称的な長方形パーティションユニット(Partition Unit)1006の最大値へとさらに分割することができる。

0054

図8に、本発明の一実施形態による符号器を実施するように、または復号器を実施するように適合された装置1000の図を示す。装置1000は、例えば、マイクロコンピュータワークステーション、軽量携帯機器などである。

0055

装置1000は通信バス1113を備え、通信バス1113には、好ましくは、以下のものが接続されている。

0056

CPUと表示される、マイクロプロセッサといった中央処理装置1111、
本発明を実施するための1つもしくは複数のコンピュータプログラムを記憶する読取り専用メモリ(ROM:read only memory)1107、
本発明の方法の実行可能コードを記憶し、ディジタル画像のシーケンスを符号化する方法および/またはビットストリームを復号化する方法を実施するのに必要な変数およびパラメータを記録するように適合されたレジスタを提供するランダムアクセスメモリ(RAM:random access memory)1112、ならびに
処理されるべきディジタルデータを送信するための通信ネットワーク1103に接続された通信インターフェース1102。

0057

任意選択で、装置1000は以下の構成要素も有していてよい。

0058

本発明を実施するプログラムおよび本発明の実施中に使用され、または生成されるデータを収容することができる、ハードディスクといったデータ記憶手段1104、
ディスク1106からデータを読み取り、または上記ディスク上にデータを書き込むように適合された、ディスク1106のためのディスクドライブ1105、
データを表示し、かつ/または、キーボード1110もしくは任意の他の指示手段によるユーザとのグラフィカルインターフェース役割を果たすための画面1109。

0059

装置1000は、例えば、ディジタルカメラ1100やマイクロホン1108といった様々な周辺機器に接続することができ、各周辺機器は装置1000にマルチメディアデータを供給するように入力/出力カード(不図示)に接続される。

0060

通信バスは、装置1000に含まれ、または装置1000に接続された様々な要素間の通信および相互運用を提供する。バスの表現は限定的ではなく、特に、中央処理装置は、装置1000の任意の要素に、直接、または装置1000の別の要素によって命令を伝えることができる。

0061

ディスク1106は、例えば、書き換え可能か否かを問わないコンパクトディスク(CD−ROM)、ZIPディスク、メモリカードなどといった任意の情報媒体で置き換えることができ、より一般的には、装置に統合されているか否かを問わない、マイクロコンピュータによって、またはマイクロプロセッサによって読み取ることができ、おそらくは取り外し可能であり、実行すると、本発明によるディジタル画像のシーケンスを符号化する方法および/またはビットストリームを復号化する方法が実施されることを可能にする1つもしくは複数のプログラムを記憶するように適合された情報記憶手段で置き換えることができる。

0062

実行可能コードは、読取り専用メモリ1107に記憶されていても、ハードディスク1104に記憶されていても、例えば前述のディスク1106などといった取り外し可能ディジタル媒体に記憶されていてもよい。一変形によれば、プログラムの実行可能コードは、実行される前に装置1000の記憶手段のうちの1つ、例えばハードディスク1104などに記憶されるように、インターフェース1102を介して、通信ネットワーク1103によって受け取ることができる。

0063

中央処理装置1111は、本発明による1つもしくは複数のプログラムのソフトウェアコードの命令(前述の記憶手段の1つに記憶されている)または部分の実行を制御し、または指図するように適合されている。電源投入時に、不揮発性メモリ、例えばハードディスク1104や読取り専用メモリ1107に記憶された1つもしくは複数のプログラムは、ランダム・アクセス・メモリ1112に転送され、ランダム・アクセス・メモリ1112はその場合、1つもしくは複数のプログラムの実行可能コードとともに、本発明を実施するのに必要な変数およびパラメータを記憶するためのレジスタを含む。

0064

この実施形態では、装置は、ソフトウェアを使用して本発明を実施するプログラム可能な装置である。しかし、代替として本発明は、(例えば、特定用途向け集積回路またはASICの形の)ハードウェアで実施されてもよい。

0065

図9に、本発明の一実施形態による符号器1200のブロック図を示す。符号器は接続されたモジュールによって表されており、各モジュールは、例えば、装置1000のCPU1111によって実行されるべきプログラミング命令の形で、本発明の一実施形態を実施する方法の対応するステップを実施するように適合されている。

0066

元のディジタル画像のシーケンスi0からin 1001が符号器1200により入力として受け取られる。各ディジタル画像は、画素と呼ばれるサンプルのセットで表される。

0067

ビットストリーム1210が符号器1200によって出力される。

0068

以下の説明では、HEVCで使用される特有の用語CUおよびPUの代わりに「ブロック」という用語を使用する場合もあることに留意されたい。CUまたはPUは画素のブロックである。

0069

入力ディジタル画像iはモジュール1202によってブロックへと分割される。これらのブロックは画像の部分であり、可変サイズ(4×4、8×8、16×16、32×32、64×64など)のものとすることができる。

0070

ビデオ圧縮中に、処理される画像の各ブロックは、「イントラ」予測子モジュール1203によって空間的に、または動き推定モジュール1204および動き補償モジュール1205を備える「インター」予測子モジュールによって時間的に予測される。各予測子は同じ画像または別の画像から供給された画素のブロックであり、そこから差分ブロック(または「残余」)が導出される。予測子ブロックの識別および残余の符号化によって、実際に符号化されるべき情報量を低減させることが可能である。

0071

符号化フレームは、時間的予測フレーム(Pフレームと呼ばれる1つの参照フレームから予測され、またはBフレームと呼ばれる2つの参照フレームから予測される)と、非時間的予測フレーム(イントラフレームまたはIフレームと呼ばれる)との2種類のものである。Iフレームでは、CU/PUを符号化するのにイントラ予測だけが考慮される。PフレームおよびBフレームでは、CU/PUを符号化するのにイントラ予測およびインター予測が考慮される。

0072

「イントラ」予測モジュール1203では、現在のブロックは、「イントラ」予測子、すなわち、現在の画像のすでに符号化された情報から構築された画素のブロックによって予測される。

0073

「インター」符号化に関しては、2種類の予測が可能である。単予測(P型)は、1つの参照画像からの1つの参照ブロックを参照することによってブロックを予測することからなる。双予測(B型)は、1つもしくは2つの参照画像からの2つの参照ブロックを参照することによってブロックを予測することからなる。動き推定が、現在のCUまたはPUと参照画像1216との間でモジュール1204によって実行される。この動き推定が行われるのは、これらの参照画像のうちの1つもしくは複数において、この現在のブロックの予測子として使用するための1つ(P型)または複数(B型)の画素ブロックを識別するためである。複数のブロック予測子が使用される場合(Btype)には、それらのブロック予測子は単一の予測ブロックを生成するようにマージされる。使用される参照画像は、すでに符号化され、次いで(復号化によって)再構築されているビデオシーケンス内の画像からなる。

0074

一般に、モジュール1204によって実行される動き推定はブロック・マッチング・アルゴリズム(BMA:block matching algorithm)である。

0075

次いで、アルゴリズムによって獲得された予測子は、差分ブロック(ブロック残余)を獲得するように、処理されるべき現在のデータブロックから差し引かれる。この処理を「動き補償」といい、モジュール1205によって実行される。

0076

よってこれら2種類の符号化は、複数のテクスチャ残余(現在のブロックと予測子ブロックとの差分)を供給し、それらの残余は最善の符号化モードを選択するためにモジュール1206で比較される。

0077

「イントラ」符号化が選択される場合、使用される「イントラ」予測子を記述するための情報が、ビットストリーム1210に挿入される前にエントロピー符号化モジュール1209によって符号化される。図4から6に関して前述した本発明の実施形態が、図9のエントロピー符号化モジュール1209に適用できる。

0078

最善の符号化モードを選択するためのモジュール1206が「インター」符号化を選択する場合、動き情報がエントロピー符号化モジュール1209によって符号化され、ビットストリーム1210に挿入される。この動き情報は特に、(予測されるべきブロックの位置に対する参照画像内の予測子ブロックの位置を指示する)1つもしくは複数の動きベクトルと、参照画像間での画像インデックスとで構成される。

0079

モジュール1206によって選択された符号化モードに従って獲得された残余は、次いで、モジュール1207によって変換される。変換は変換ユニット(TU)に適用され、すなわちCUに含められる。TUはさらに、いわゆる残余4分木(RQT:Residual Quadtree)分解を使用してより小さいTU1006へと分割することができる。HEVCでは、一般に2または3レベルの分解が使用され、許可される変換サイズは32×32、16×16、8×8および4×4の中からのものである。変換基底離散コサイン変換DCT(discrete cosine transform)から導出される。

0080

残余変換係数は次いで、量子化モジュール1208によって量子化される。量子化変換残余の係数は次いで、エントロピー符号化モジュール1209によって符号化され、次いで、圧縮ビットストリーム1210に挿入される。

0081

「イントラ」予測子を計算し、または「インター」予測子のための動きの推定を行うために、符号器は、いわゆる「復号化」ループ1211〜1215によってすでに符号化されたブロックの復号化を行う。この復号化ループは、量子化変換残余からブロックおよび画像を再構築することを可能にする。

0082

量子化変換残余は、モジュール1211で、モジュール1208によって提供された量子化に対する逆量子化を適用することによって逆量子化され、モジュール1212で、モジュール1207の変換に対する逆変換を適用することによって再構築される。

0083

残余が「イントラ」符号化から生じるものである場合には、モジュール1213で、損失のある変換、ここでは量子化操作から生じる損失によって変更された元のブロックに対応する再構築ブロックを回復するために、使用された「イントラ」予測子がこの残余に加えられる。

0084

他方、残余が「インター」符号化から生じるものである場合には、現在の動きベクトルによって指示されるブロック(これらのブロックは、現在の画像インデックスによって参照される参照画像1216に属する)は、モジュール1214でマージされ、次いでこの復号残余に加えられる。このようにして、量子化操作から生じる損失によって変更された元のブロックが獲得される。

0085

最終のループフィルタ1215が、獲得された残余の厳しい量子化によって生じた影響を低減させ、信号品質を改善するために、再構築信号に適用される。ループフィルタは2つのステップ、「非ブロック化フィルタ線形フィルタリングとを備える。非ブロック化フィルタリングは、符号化によって生じた高周波数視覚的に減衰させるために、ブロック間の境界を平滑にする。線形フィルタリングは、符号器で適正に決定されたフィルタ係数を使用して信号をさらに改善する。よって、モジュール1215によるフィルタリングは、画像のすべての画素ブロックが復号されたときにこの画像に適用される。

0086

フィルタリング画像は、再構築画像ともいい、次いで、現在のビデオシーケンスの後続の画像の圧縮時に行われる後続の「インター」予測を可能にするために、参照画像1216として記憶される。

0087

HEVCのコンテキストでは、現在の画像の推定および動き補償に複数の参照画像1216を使用することが可能である。言い換えると、動き推定はN個の画像上で実行される。よって、動き補償のための、現在のブロックの最善の「インター」予測子が、複数の参照画像のうちのいくつかで選択される。それゆえに、2つの隣接したブロックが、2つの別個の参照画像から生じる2つの予測子ブロックを有することもありうる。これは特に、圧縮ビットストリーム中で、予測子ブロックに使用される参照画像のインデックスが(動きベクトルに加えて)指示される理由である。

0088

複数の参照画像の使用は、誤りに抗するためのツールでもあり、圧縮効果を改善するためのツールでもある。VCEGグループは、参照画像の数を4に制限することを推奨している。

0089

図10に、本発明の一実施形態による復号器1300のブロック図を示す。復号器は接続されたモジュールによって表されており、各モジュールは、例えば、装置1000のCPU1111によって実行されるべきプログラミング命令の形で、本発明の一実施形態を実施する方法の対応するステップを実施するように適合されている。

0090

復号器1300は、入力として、例えば図9に示すようなHEVC型の符号器によって圧縮されたビデオシーケンス1210に対応するビットストリーム1301を受け取る。

0091

復号化プロセスの間に、ビットストリーム1301は最初に、モジュール1302によってエントロピー復号化される。

0092

次いで現在のブロックの残余は、逆量子化モジュール1303によって逆量子化される。これは、符号器1200で量子化モジュール1208によって実行された量子化を反転させる。次いで逆量子化データ逆変換モジュール1304によって再構築され、逆変換モジュール1304は、符号器1200で変換モジュール1207によって実行された変換の逆変換を行う。

0093

次いで、ビデオシーケンス中のデータの復号が、画像ごとに、また画像内でブロックごとに実行される。

0094

現在のブロックの「インター」または「イントラ」符号化モードが、ビットストリーム1301から抽出され、エントロピー復号化される。

0095

現在のブロックの符号化が「イントラ」型のものである場合には、予測子の番号がビットストリームから抽出され、エントロピー復号化される。このインデックスと関連付けられたイントラ予測子ブロックは、現在の画像のすでに復号されたデータから回復される。

0096

現在のブロックと関連付けられた残余は、ビットストリーム1301から回復され、次いで、エントロピー復号化される。最後に、回復されたイントラ予測子ブロックは残余に加えられ、よって、復号ブロックを獲得するために逆イントラ予測モジュール1305で逆量子化され、再構築される。

0097

現在のブロックの符号化モードが、このブロックが「インター」型のものであることを指示する場合には、動き情報はエントロピー復号モジュール1302によってビットストリーム1301から抽出され、復号化される。

0098

この動き情報は、逆動き補償モジュール206で、復号器1300の参照画像1308に含められる「インター」予測子ブロックを決定するために使用される。符号器と同様に、これらの参照画像1308は、現在復号化されている画像に先行し、ビットストリームから再構築される(したがって前に復号化された)画像で構成されている。

0099

現在のブロックと関連付けられた残余は、この場合もやはり、ビットストリーム1301から回復され、次いで、モジュール1302によってエントロピー復号化される。決定されたインター予測子ブロックは、次いで、復号ブロックを獲得するために逆動き補償モジュール1306で再構築された、そのように逆量子化された残余に加えられる。

0100

現在の画像のすべてのブロックの復号の終わりに、参照画像1308を獲得するために、符号器で設けられているフィルタ1215と同じループフィルタ1307を使用してブロックの影響が排除され、信号品質が改善される。

0101

そのように復号された画像は復号器の出力ビデオ信号1309を構成し、次いで出力ビデオ信号1309を表示し、使用することができる。

0102

前述の実施形態は入力画像ブロックパーティションに基づくものであるが、より一般的には、符号化し、または復号化すべき任意の種類の画像5部分、具体的には、長方形部分、またはより一般的には幾何学的形状部分を考慮することができる。

0103

以上では本発明を、具体的実施形態を参照して説明したが、より一般的には、本発明はこれらの具体的実施形態だけに限定されるものではなく、当業者には、本発明の範囲内にある改変は明らかになるであろう。

0104

前述の例示的実施形態を参照すれば、当業者には、多くのさらに別の改変および変形が想起されるはずであり、これらの例示的実施形態は例として提示したにすぎず、本発明の範囲を限定するためのものではなく、本発明の範囲はもっぱら添付の特許請求の範囲によって決定されるものである。特に、異なる実施形態からの異なる特徴は、適切な場合には、交換されてもよい。

0105

特許請求の範囲において、「comprising(含む)」という語は他の要素またはステップを除外するものではなく、不定詞の「a」または「an」は複数を除外するものではない。単に異なる特徴が相互に異なる従属請求項に記載されているということだけで、それが、これらの特徴の組み合わせを有利に使用することができないことを示すわけではない。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ