図面 (/)

技術 ビデオ情報のスケーラブルコーディングのためのデバイスおよび方法

出願人 クゥアルコム・インコーポレイテッド
発明者 セレジン、バディムラマスブラモニアン、アダルシュ・クリシュナンワン、イェ-クイ
出願日 2014年10月15日 (7年2ヶ月経過) 出願番号 2016-522814
公開日 2016年12月15日 (5年0ヶ月経過) 公開番号 2016-539545
状態 特許登録済
技術分野 TV信号の圧縮,符号化方式
主要キーワード 変換処理ユニット 発明的態様 接合ポイント 適合チェック 外部ディスプレイデバイス デアクティベート コーディングレベル 空間レベル
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年12月15日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (9)

課題・解決手段

ビデオ情報コーディングするように構成された装置は、メモリユニットと、メモリユニットと通信するように構成されたプロセッサとを含む。メモリユニットは、参照レイヤ(RL)およびエンハンスメントレイヤ(EL)に関連付けられたビデオ情報を記憶するように構成され、RLは、第1のアクセスユニット中にRLピクチャを有し、ELは、第1のアクセスユニット中に第1のELピクチャを有し、第1のELピクチャは、パラメータの第1のセットと関連付けられる。プロセッサは、第1のELピクチャがイントラランダムアクセスポイント(IRAP)ピクチャであるかどうかを決定することと、第1のアクセスユニットが、第1のビデオ情報が第1のELピクチャを含む第2のビデオ情報と接合される接合ポイントの直後にくるかどうかを決定することと、第1のELピクチャがイントラランダムアクセスポイント(IRAP)ピクチャであることおよび第1のアクセスユニットが接合ポイントの直後にくるかどうかの前記決定に基づいて、(1)パラメータの第1のセットと異なるパラメータの第2のセットとELピクチャを関連付けることを控えること、または(2)パラメータの第1のセットと異なるパラメータの第2のセットと第1のELピクチャを関連付けることのうちの1つを実行することとを行うように構成される。プロセッサは、ビデオ情報を符号化または復号し得る。

概要

背景

[0002]デジタルビデオ機能は、デジタルテレビジョンデジタルダイレクトブロードキャストシステムワイヤレスブロードキャストステム携帯情報端末(PDA)、ラップトップまたはデスクトップコンピュータデジタルカメラデジタル記録デバイスデジタルメディアプレーヤビデオゲームデバイス、ビデオゲームコンソール携帯電話または衛星無線電話ビデオ遠隔会議デバイスなどを含む、広範囲にわたるデバイスに組み込まれ得る。デジタルビデオデバイスは、MPEG−2、MPEG−4、ITU−T H.263、ITU−T H.264/MPEG−4,Part10,アドバンスビデオコーディング(AVC)、現在開発中の高効率ビデオコーディング(HEVC)規格によって定義された規格、およびそのような規格の拡張に記載されているもののような、ビデオ圧縮技法実装する。ビデオデバイスは、そのようなビデオコーディング技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および/または記憶し得る。

[0003]ビデオ圧縮技法は、ビデオシーケンス固有冗長性を低減または除去するために、空間(イントラピクチャ予測および/または時間(インターピクチャ)予測を実行する。ブロックベースのビデオコーディングの場合、ビデオスライス(たとえば、ビデオフレーム、ビデオフレームの一部分など)が、ツリーブロックコーディングユニット(CU:coding unit)および/またはコーディングノードと呼ばれることもあるビデオブロック区分され得る。ピクチャイントラコーディングされる(I)スライスの中のビデオブロックは、同じピクチャの中の隣接ブロック中の参照サンプルに対する空間予測を使用して符号化される。ピクチャのインターコーディングされる(PまたはB)スライスの中のビデオブロックは、同じピクチャの中の隣接ブロック中の参照サンプルに対する空間予測、または他の参照ピクチャにおける参照サンプルに対する時間予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。

[0004]空間予測または時間予測により、コーディングされるべきブロックのための予測ブロックが生じる。残差データは、コーディングされるべき元のブロックと予測ブロックとの間のピクセル差分を表す。インターコード化ブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトル、およびコーディングされたブロックと予測ブロックとの間の差分を示す残差データに従って符号化される。イントラコード化ブロックは、イントラコーディングモードおよび残差データに従って符号化される。さらなる圧縮のために、残差データは、ピクセル領域から変換領域に変換され、残差変換係数をもたらす場合があり、その残差変換係数は、次いで量子化される場合がある。最初に2次元アレイで構成された量子化変換係数は、変換係数の1次元ベクトルを生成するためにスキャンされ得、なお一層の圧縮を達成するために、エントロピー符号化が適用され得る。

概要

ビデオ情報をコーディングするように構成された装置は、メモリユニットと、メモリユニットと通信するように構成されたプロセッサとを含む。メモリユニットは、参照レイヤ(RL)およびエンハンスメントレイヤ(EL)に関連付けられたビデオ情報を記憶するように構成され、RLは、第1のアクセスユニット中にRLピクチャを有し、ELは、第1のアクセスユニット中に第1のELピクチャを有し、第1のELピクチャは、パラメータの第1のセットと関連付けられる。プロセッサは、第1のELピクチャがイントラランダムアクセスポイント(IRAP)ピクチャであるかどうかを決定することと、第1のアクセスユニットが、第1のビデオ情報が第1のELピクチャを含む第2のビデオ情報と接合される接合ポイントの直後にくるかどうかを決定することと、第1のELピクチャがイントラランダムアクセスポイント(IRAP)ピクチャであることおよび第1のアクセスユニットが接合ポイントの直後にくるかどうかの前記決定に基づいて、(1)パラメータの第1のセットと異なるパラメータの第2のセットとELピクチャを関連付けることを控えること、または(2)パラメータの第1のセットと異なるパラメータの第2のセットと第1のELピクチャを関連付けることのうちの1つを実行することとを行うように構成される。プロセッサは、ビデオ情報を符号化または復号し得る。

目的

そのようなビデオコーディングスキームでは、出力順序においてランダムアクセスポイントに追従するすべてのピクチャ(たとえば、ランダムアクセスポイントを提供する

効果

実績

技術文献被引用数
1件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

ビデオ情報コーディングするように構成された装置であって、参照レイヤ(RL)およびエンハンスメントレイヤ(EL)に関連付けられたビデオ情報を記憶するように構成されたメモリユニット、前記RLは、第1のアクセスユニット中にRLピクチャを有し、前記ELは、前記第1のアクセスユニット中に第1のELピクチャを有し、前記第1のELピクチャは、パラメータの第1のセットと関連付けられる、と、前記メモリユニットと通信するプロセッサとを備え、前記プロセッサは、前記第1のELピクチャがイントラランダムアクセスポイント(IRAP)ピクチャであるかどうかを決定することと、前記第1のアクセスユニットが、第1のビデオ情報が前記第1のELピクチャを含む第2のビデオ情報と接合される接合ポイントの直後にくるかどうかを決定することと、前記第1のELピクチャがイントラランダムアクセスポイント(IRAP)ピクチャであることと、前記第1のアクセスユニットが接合ポイントの直後にくるかどうかの前記決定とに基づいて、(1)前記パラメータの第1のセットと異なるパラメータの第2のセットと前記ELピクチャを関連付けることを控えること、または(2)前記パラメータの第1のセットと異なるパラメータの第2のセットと前記第1のELピクチャを関連付けることのうちの1つを実行することとを行うように構成される、装置。

請求項2

前記プロセッサは、(1)前記第1のELピクチャがIRAPピクチャでなく、前記第1のアクセスユニットが接合ポイントの直後にくるとの決定に基づいて、前記パラメータの第2のセットと前記第1のELピクチャを関連付けること、または(2)前記第1のELピクチャがIRAPピクチャでなく、前記第1のアクセスユニットが接合ポイントの直後にこないとの決定に基づいて、前記パラメータの第2のセットと前記第1のELピクチャを関連付けることを控えることのうちの少なくとも1つを実行することを行うようにさらに構成される、請求項1に記載の装置。

請求項3

前記プロセッサは、前記第1のELピクチャが、前記第1のELピクチャがIRAPピクチャとなることを示すかどうかを決定することと、(1)ビットストリーム中に含まれる、または(2)前記ビットストリーム中に含まれる情報に基づいて導出されるシンタックス要素またはフラグの値が所定の値に等しいかどうかを決定することとに少なくとも部分的によってIRAPピクチャであるかどうかを決定することを行うように構成される、請求項1に記載の装置。

請求項4

前記プロセッサは、前記第1のアクセスユニットが、(1)ビットストリーム中に含まれる、または(2)前記ビットストリーム中に含まれる情報に基づいて導出されるシンタックス要素またはフラグの値が所定の値に等しいかどうかを決定することに少なくとも部分的によって接合ポイントの直後にくるかどうかを決定するように構成される、請求項1に記載の装置。

請求項5

前記プロセッサは、前記第1のELピクチャがIRAPピクチャでなく、前記第1のアクセスユニットが接合ポイントの直後にこないと決定することに応じて、コーディング順序において前記第1のアクセスユニットに続く第2のアクセスユニットが接合ポイントの直後にくると決定すること、前記第2のアクセスユニットは、前記EL中の第2のELピクチャを含む、と、前記ELに、少なくとも前記第2のELピクチャが少なくとも部分的にコーディングされるまで前記パラメータの第1のセットと関連付けたままにさせることとを行うようにさらに構成される、請求項1に記載の装置。

請求項6

前記プロセッサは、前記第1のELピクチャがIRAPピクチャであるとの決定に基づいて、前記ELピクチャに、前記パラメータの第2のセットと関連付けさせることを行うようにさらに構成される、請求項1に記載の装置。

請求項7

前記プロセッサは、コーディング順序において前記第1のELピクチャに続く前記EL中の第2のELピクチャがIRAPピクチャであると決定することと、前記ELに、すくなくとも前記第2のELピクチャが少なくとも部分的にコーディングされるまで前記パラメータの第1のセットと関連付けたままにさせることとに少なくとも部分的によって、前記パラメータの第2のセットと前記第1のELピクチャを関連付けることを控えることを行うように構成される、請求項1に記載の装置。

請求項8

前記プロセッサは、前記第1のELピクチャが、前記第1のELピクチャと関連付けられるヘッダ情報を処理することに少なくとも部分的によって、IRAPピクチャであるかどうかを決定することを行うように構成される、請求項1に記載の装置。

請求項9

前記プロセッサは、前記第1のELピクチャがIRAPピクチャかどうかを示すシンタックス要素またはフラグを処理することに少なくとも部分的によって、前記第1のELピクチャがIRAPピクチャであるかどうかを決定することを行うように構成される、請求項1に記載の装置。

請求項10

前記RLピクチャは、前記パラメータの第1のセットに関連付けられ、前記プロセッサは、前記RLに、少なくとも新しいコード化ビデオシーケンスが少なくとも部分的に処理されるまで前記パラメータの第1のセットに関連付けたままにさせることを行うようにさらに構成される、請求項1に記載の装置。

請求項11

前記装置は、符号化器または復号器を備え、前記プロセッサは、ビットストリーム中に前記ビデオ情報を符号化することまたは復号化することの内の少なくとも1つを行うようにさらに構成される、請求項1に記載の装置。

請求項12

請求項13

ビデオ情報を符号化する方法であって、エンハンストメント(EL)の第1のアクセスユニット中の第1のELピクチャがイントラランダムアクセスポイント(IRAP)ピクチャであるかどうかを決定すること、前記第1のELピクチャは、パラメータの第1のセットと関連付けられる、と、前記第1のアクセスユニットが、第1のビデオ情報が前記第1のELピクチャを含む第2のビデオ情報と接合される接合ポイントの直後にくるかどうかを決定することと、前記第1のELピクチャがイントラランダムアクセスポイント(IRAP)ピクチャであることと、前記第1のアクセスユニットが接合ポイントの直後にくるかどうかの前記決定とに基づいて、(1)前記パラメータの第1のセットと異なるパラメータの第2のセットと前記ELピクチャを関連付けることを控えること、または(2)前記パラメータの第1のセットと異なるパラメータの第2のセットと前記第1のELピクチャを関連付けることのうちの1つを実行することとを備える、方法。

請求項14

(1)前記第1のELピクチャがIRAPピクチャでなく、前記第1のアクセスユニットが接合ポイントの直後にくるとの決定に基づいて、前記パラメータの第2のセットと前記第1のELピクチャを関連付けること、または(2)前記第1のELピクチャがIRAPピクチャでなく、前記第1のアクセスユニットが接合ポイントの直後にこないとの決定に基づいて、前記パラメータの第2のセットと前記第1のELピクチャを関連付けることを控えることのうちの少なくとも1つを実行することのうちの1つをさらに備える、請求項13に記載の方法。

請求項15

前記第1のELピクチャがIRAPピクチャであるかどうかを決定することは、前記第1のELピクチャがIRAPピクチャとなることを示すかどうかを決定することと、(1)ビットストリーム中に含まれる、または(2)前記ビットストリーム中に含まれる情報に基づいて導出されるシンタックス要素またはフラグの値が所定の値に等しいかどうかを決定することとを少なくとも備える、請求項13に記載の方法。

請求項16

前記第1のアクセスユニットが接合ポイントの直後にくるかどうかを決定することは、(1)ビットストリーム中に含まれる、または(2)前記ビットストリーム中に含まれる情報に基づいて導出されるシンタックス要素またはフラグの値が所定の値に等しいかどうかを決定することを少なくとも備える、請求項13に記載の方法。

請求項17

前記第1のELピクチャがIRAPピクチャでなく、前記第1のアクセスユニットが接合ポイントの直後にこないと決定することに応じて、コーディング順序において前記第1のアクセスユニットに続く第2のアクセスユニットが接合ポイントの直後にくると決定すること、前記第2のアクセスユニットは、前記EL中の第2のELピクチャを含む、と、前記ELに、少なくとも前記第2のELピクチャが少なくとも部分的にコーディングされるまで前記パラメータの第1のセットと関連付けたままにさせることとをさらに備える、請求項13に記載の方法。

請求項18

前記第1のELピクチャがIRAPピクチャであるとの決定に基づいて、前記ELピクチャに、前記パラメータの第2のセットと関連付けさせることをさらに備える、請求項13に記載の方法。

請求項19

前記パラメータの第2のセットと前記第1のELピクチャを関連付けることを控えることは、コーディング順序において前記第1のELピクチャに続く前記EL中の第2のELピクチャがIRAPピクチャであると決定することと、前記ELに、すくなくとも前記第2のELピクチャが少なくとも部分的にコーディングされるまで前記パラメータの第1のセットと関連付けたままにさせることとを少なくとも備える、請求項13に記載の方法。

請求項20

前記第1のELピクチャがIRAPピクチャであるかどうかを決定することは、前記第1のELピクチャと関連付けられるヘッダ情報を処理することを少なくとも備える、請求項13に記載の方法。

請求項21

前記第1のELピクチャがIRAPピクチャであるかどうかを決定することは、前記第1のELピクチャがIRAPピクチャかどうかを示すシンタックス要素またはフラグを処理することを少なくとも備える、請求項13に記載の方法。

請求項22

前記パラメータの第1のセットに関連付けられた前記RLに、少なくとも新しいコード化ビデオシーケンスが少なくとも部分的に処理されるまで前記パラメータの第1のセットに関連付けたままにさせることをさらに備える、請求項13に記載の方法。

請求項23

実行されると、装置に、参照レイヤ(RL)およびエンハンスメントレイヤ(EL)に関連付けられたビデオ情報を記憶すること、前記RLは、第1のアクセスユニット中にRLピクチャを有し、前記ELは、前記第1のアクセスユニット中に第1のELピクチャを有し、前記第1のELピクチャは、パラメータの第1のセットと関連付けられる、と、前記第1のELピクチャがイントラランダムアクセスポイント(IRAP)ピクチャであるかどうかを決定することと、前記第1のアクセスユニットが、第1のビデオ情報が前記第1のELピクチャを含む第2のビデオ情報と接合される接合ポイントの直後にくるかどうかを決定することと、前記第1のELピクチャがイントラランダムアクセスポイント(IRAP)ピクチャであることと、前記第1のアクセスユニットが接合ポイントの直後にくるかどうかの前記決定とに基づいて、(1)前記パラメータの第1のセットと異なるパラメータの第2のセットと前記ELピクチャを関連付けることを控えること、または(2)前記パラメータの第1のセットと異なるパラメータの第2のセットと前記第1のELピクチャを関連付けることのうちの1つを実行することとを備える、プロセスを実行させるコードを備える、非一時的コンピュータ可読媒体

請求項24

前記プロセスは、(1)前記第1のELピクチャがIRAPピクチャでなく、前記第1のアクセスユニットが接合ポイントの直後にくるとの決定に基づいて、前記パラメータの第2のセットと前記第1のELピクチャを関連付けること、または(2)前記第1のELピクチャがIRAPピクチャでなく、前記第1のアクセスユニットが接合ポイントの直後にこないとの決定に基づいて、前記パラメータの第2のセットと前記第1のELピクチャを関連付けることを控えることのうちの少なくとも1つをさらに備える、請求項23に記載のコンピュータ可読媒体。

請求項25

前記プロセスは、前記第1のELピクチャがIRAPピクチャでなく、前記第1のアクセスユニットが接合ポイントの直後にこないと決定することに応じて、コーディング順序において前記第1のアクセスユニットに続く第2のアクセスユニットが接合ポイントの直後にくると決定すること、前記第2のアクセスユニットは、前記EL中の第2のELピクチャを含む、と、前記ELに、少なくとも前記第2のELピクチャが少なくとも部分的にコーディングされるまで前記パラメータの第1のセットと関連付けたままにさせることとをさらに備える、請求項23に記載のコンピュータ可読媒体。

請求項26

ビデオ情報をコーディングするように構成されたビデオコーディングデバイスであって、参照レイヤ(RL)およびエンハンスメントレイヤ(EL)に関連付けられたビデオ情報を記憶するための手段、前記RLは、第1のアクセスユニット中にRLピクチャを有し、前記ELは、前記第1のアクセスユニット中に第1のELピクチャを有し、前記第1のELピクチャは、パラメータの第1のセットと関連付けられる、と、前記第1のELピクチャがイントラランダムアクセスポイント(IRAP)ピクチャであるかどうかを決定するための手段と、前記第1のアクセスユニットが、第1のビデオ情報が前記第1のELピクチャを含む第2のビデオ情報と接合される接合ポイントの直後にくるかどうかを決定するための手段と、前記第1のELピクチャがイントラランダムアクセスポイント(IRAP)ピクチャであることと、前記第1のアクセスユニットが接合ポイントの直後にくるかどうかの前記決定とに基づいて、(1)前記パラメータの第1のセットと異なるパラメータの第2のセットと前記ELピクチャを関連付けることを控えること、または(2)前記パラメータの第1のセットと異なるパラメータの第2のセットと前記第1のELピクチャを関連付けることのうちの1つを実行するための手段とを備える、ビデオコーディングデバイス。

請求項27

(1)前記第1のELピクチャがIRAPピクチャでなく、前記第1のアクセスユニットが接合ポイントの直後にくるとの決定に基づいて、前記パラメータの第2のセットと前記第1のELピクチャを関連付けるための手段、または(2)前記第1のELピクチャがIRAPピクチャでなく、前記第1のアクセスユニットが接合ポイントの直後にこないとの決定に基づいて、前記パラメータの第2のセットと前記第1のELピクチャを関連付けることを控えるための手段のうちの1つをさらに備える、請求項26に記載のビデオコーディングデバイス。

請求項28

前記第1のELピクチャがIRAPピクチャでなく、前記第1のアクセスユニットが接合ポイントの直後にこないと決定することに応じて、コーディング順序において前記第1のアクセスユニットに続く第2のアクセスユニットが接合ポイントの直後にくると決定するための手段、前記第2のアクセスユニットは、前記EL中の第2のELピクチャを含む、と、前記ELに、少なくとも前記第2のELピクチャが少なくとも部分的にコーディングされるまで前記パラメータの第1のセットと関連付けたままにさせるための手段とをさらに備える、請求項26に記載のビデオコーディングデバイス。

技術分野

0001

[0001]本開示は、ビデオコーディングおよび圧縮の分野に関し、詳細には、スケーラブルビデオコーディングSVC:scalable video coding)、マルチビュービデオコーディング(MVC:multiview video coding)、または3Dビデオコーディング(3DV)に関する。

背景技術

0002

[0002]デジタルビデオ機能は、デジタルテレビジョンデジタルダイレクトブロードキャストシステムワイヤレスブロードキャストステム携帯情報端末(PDA)、ラップトップまたはデスクトップコンピュータデジタルカメラデジタル記録デバイスデジタルメディアプレーヤビデオゲームデバイス、ビデオゲームコンソール携帯電話または衛星無線電話ビデオ遠隔会議デバイスなどを含む、広範囲にわたるデバイスに組み込まれ得る。デジタルビデオデバイスは、MPEG−2、MPEG−4、ITU−T H.263、ITU−T H.264/MPEG−4,Part10,アドバンストビデオコーディング(AVC)、現在開発中の高効率ビデオコーディング(HEVC)規格によって定義された規格、およびそのような規格の拡張に記載されているもののような、ビデオ圧縮技法実装する。ビデオデバイスは、そのようなビデオコーディング技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および/または記憶し得る。

0003

[0003]ビデオ圧縮技法は、ビデオシーケンス固有冗長性を低減または除去するために、空間(イントラピクチャ予測および/または時間(インターピクチャ)予測を実行する。ブロックベースのビデオコーディングの場合、ビデオスライス(たとえば、ビデオフレーム、ビデオフレームの一部分など)が、ツリーブロックコーディングユニット(CU:coding unit)および/またはコーディングノードと呼ばれることもあるビデオブロック区分され得る。ピクチャイントラコーディングされる(I)スライスの中のビデオブロックは、同じピクチャの中の隣接ブロック中の参照サンプルに対する空間予測を使用して符号化される。ピクチャのインターコーディングされる(PまたはB)スライスの中のビデオブロックは、同じピクチャの中の隣接ブロック中の参照サンプルに対する空間予測、または他の参照ピクチャにおける参照サンプルに対する時間予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。

0004

[0004]空間予測または時間予測により、コーディングされるべきブロックのための予測ブロックが生じる。残差データは、コーディングされるべき元のブロックと予測ブロックとの間のピクセル差分を表す。インターコード化ブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトル、およびコーディングされたブロックと予測ブロックとの間の差分を示す残差データに従って符号化される。イントラコード化ブロックは、イントラコーディングモードおよび残差データに従って符号化される。さらなる圧縮のために、残差データは、ピクセル領域から変換領域に変換され、残差変換係数をもたらす場合があり、その残差変換係数は、次いで量子化される場合がある。最初に2次元アレイで構成された量子化変換係数は、変換係数の1次元ベクトルを生成するためにスキャンされ得、なお一層の圧縮を達成するために、エントロピー符号化が適用され得る。

0005

[0005]スケーラブルビデオコーディング(SVC)は、参照レイヤ(RL:reference layer)と呼ばれることがあるベースレイヤBL:base layer)と、1つまたは複数のスケーラブルエンハンスメントレイヤ(EL:enhancement layer)とが使用されるビデオコーディングを指す。SVCでは、ベースレイヤは、ベースレベル品質でビデオデータを搬送することができる。1つまたは複数のエンハンスメントレイヤは、たとえば、より高い空間レベル時間レベル、および/または信号対雑音(SNR:signal-to-noise)レベルサポートするために、追加のビデオデータを搬送することができる。エンハンスメントレイヤは、前に符号化されたレイヤに対して定義され得る。たとえば、最下位レイヤはBLとして働き得、最上位レイヤはELとして働き得る。中間レイヤは、ELまたはRLのいずれか、あるいはその両方として働き得る。たとえば、中間レイヤ(たとえば、最下位レイヤでもなく最上位レイヤでもないレイヤ)は、ベースレイヤまたは介在エンハンスメントレイヤ(intervening enhancement layer)などの中間レイヤの下のレイヤのためのELであり得、同時に、中間レイヤの上の1つまたは複数のエンハンスメントレイヤのためのRLとして働き得る。同様に、HEVC規格のマルチビューまたは3D拡張では、複数のビューがあり得、1つのビューの情報は、別のビューの情報(たとえば、動き推定動きベクトル予測および/または他の冗長)をコーディング(たとえば、符号化または復号)するために利用され得る。

0006

[0006]SVCにおいて、符号化器または復号器によって使用されるパラメータは、コーディングレベル(例えば、ビデオレベルシーケンスレベル、ピクチャレベル、スライスレベル、等)に基づいてパラメータセットグループ化される。例えば、ビットストリーム中の1つまたは複数のコード化ビデオシーケンスによって利用され得るパラメータは、ビデオパラメータセット(VPS)中に含まれ、コード化ビデオシーケンス中の1つまたは複数のピクチャによって利用されるパラメータは、シーケンスパラメータセットSPS)中に含まれ、単一のスライスに特有である他のパラメータセットは、スライスヘッダ中に含まれ得る。同様に、ピクチャ中の1つまたは複数のスライスによって利用されるパラメータは、ピクチャパラメータセット(PPS)中に含まれ、単一のスライスに特有である他のパラメータは、スライスヘッダ中に含まれ得る。同様に、特定のレイヤが所与の時間で使用するパラメータセットのインジケーションは、様々なコーディングレベルで提供され得る。例えば、特定のレイヤ中のスライスのスライスヘッダがPPSを参照する場合、PPSは、スライスを含むスライスまたはピクチャのためにアクティベートされる。同様に、PPSがSPSを参照する場合、SPSは、ピクチャを含むコード化シーケンスまたはピクチャのためにアクティベートされ、SPSがVPSを参照する場合、VPSは、コード化ビデオシーケンスを含むビデオレイヤまたはコード化ビデオシーケンスのためにアクティベートされる。

0007

[0007]一般に、パラメータセットは、パラメータセットが利用される全体のコーディングレベルのためにアクティブのままである(例えば、今、ビットストリームの特定のセグメントを復号するために使用されている)。例えば、アクティベートされたSPSは、SPSを最初にアクティブにした全体のシーケンスのためにアクティブにとどまり、アクティベートされたPPSは、PPSを最初にアクティブにした全体のピクチャのためにアクティブにとどまり得る。しかしながら、いくつかの既存のコーディングスキームにおいて、パラメータセットは、別のパラメータセットが現在アクティブであるコーディングレベルの真ん中においてアクティベートされ得る。このような場合において、特定のコーディングレベル(例えば、シーケンス、ピクチャ、スライス、等)の持続時間のために定数にとどまることになる、パラメータのうちのいくつか(例えば、ピクチャ解像度)は、新しいパラメータのセットのアクティベーションによって変更され、望まない結果をもたらし得る。

0008

[0008]したがって、より効果的なパラメータセットのアクティベーションを管理し、それによってコーディング精度および誤り耐性改善するコーディングスキームが望まれる。

0009

[0009]本開示のシステム、方法、およびデバイスは、いくつかの発明的態様をそれぞれ有し、それらの態様は、1つとして、本明細書で開示する望ましい属性を単独で担うものではない。

0010

[0010]一態様では、ビデオ情報をコーディング(たとえば、符号化または復号)するように構成された装置は、メモリユニットと、メモリユニットと通信しているプロセッサとを含む。メモリユニットは、参照レイヤ(RL)およびエンハンスメントレイヤ(EL)に関連付けられたビデオ情報を記憶するように構成され、RLは、第1のアクセスユニットの中にRLピクチャを有し、ELは、第1のアクセスユニットの中に第1のELピクチャを有し、第1のELピクチャは、パラメータの第1のセットに関連付けられる。プロセッサは、第1のELピクチャがイントラランダムアクセスポイント(IRAP)ピクチャであるかどうかを決定することと、第1のアクセスユニットが、第1のビデオ情報が第1のELピクチャを含む第2のビデオ情報と接合される接合ポイントの直後にくるかどうかを決定することと、第1のELピクチャがイントラランダムアクセスポイント(IRAP)ピクチャであるかどうかおよび第1のアクセスユニットが接合ポイントの直後にくるかどうかの決定に基づいて、(1)パラメータの第1のセットと異なるパラメータの第2のセットと第1のELピクチャを関連付けることを控えること、または(2)パラメータの第1のセットと異なるパラメータの第2のセットと第1のELピクチャを関連付けることのうちの1つを実行することとを行うように構成される。

0011

[0011]別の態様では、ビデオ情報を符号化する方法は、エンハンスメントレイヤ(EL)の第1のアクセスユニット中の第1のELピクチャがイントララランダムアクセスポイント(IRAP)ピクチャであるかどうかを決定することと、第1のアクセスユニットが、第1のビデオ情報が第1のELピクチャを含む第2のビデオ情報と接合される接合ポイントの直後にくるかどうかを決定することと、第1のELピクチャがイントラランダムアクセスポイント(IRAP)ピクチャであるかどうかおよび第1のアクセスユニットが接合ポイントの直後にくるかどうかの決定に基づいて、(1)パラメータの第1のセットと異なるパラメータの第2のセットと第1のELピクチャを関連付けることを控えること、または(2)パラメータの第1のセットと異なるパラメータの第2のセットと第1のELピクチャを関連付けることのうちの1つを実行することとを備える。

0012

[0012]別の態様では、非一時的コンピュータ可読媒体は、実行されると、装置に処理を実行させるコードを備える。処理は、参照レイヤ(RL)およびエンハンスドレイヤ(EL)に関連付けられたビデオ情報を記憶すること、RLは、第1のアクセスユニット中のRLピクチャを有し、ELは、第1のアクセスユニット中の第1のELピクチャを有し、第1のELは、パラメータの第1のセットと関連付けられる、と、第1のELピクチャがイントララランダムアクセスポイント(IRAP)ピクチャであるかどうかを決定することと、第1のアクセスユニットが、第1のビデオ情報が第1のELピクチャを含む第2のビデオ情報と接合される接合ポイントの直後にくるかどうかを決定することと、第1のELピクチャがイントラランダムアクセスポイント(IRAP)ピクチャであるかどうかおよび第1のアクセスユニットが接合ポイントの直後にくるかどうかの決定に基づいて、(1)パラメータの第1のセットと異なるパラメータの第2のセットと第1のELピクチャを関連付けることを控えること、または(2)パラメータの第1のセットと異なるパラメータの第2のセットと第1のELピクチャを関連付けることのうちの1つを実行することとを含む。

0013

[0013]別の態様では、ビデオ情報をコーディングするように構成されたビデオコーディングデバイスは、参照レイヤ(RL)およびエンハンスドレイヤ(EL)に関連付けられたビデオ情報を記憶するための手段、RLは、第1のアクセスユニット中のRLピクチャを有し、ELは、第1のアクセスユニット中の第1のELピクチャを有し、第1のELは、パラメータの第1のセットと関連付けられる、と、第1のELピクチャがイントララランダムアクセスポイント(IRAP)ピクチャであるかどうかを決定するための手段と、第1のアクセスユニットが、第1のビデオ情報が第1のELピクチャを含む第2のビデオ情報と接合される接合ポイントの直後にくるかどうかを決定するための手段と、第1のELピクチャがイントラランダムアクセスポイント(IRAP)ピクチャであるかどうかおよび第1のアクセスユニットが接合ポイントの直後にくるかどうかの決定に基づいて、(1)パラメータの第1のセットと異なるパラメータの第2のセットと第1のELピクチャを関連付けることを控えること、または(2)パラメータの第1のセットと異なるパラメータの第2のセットと第1のELピクチャを関連付けることのうちの1つを実行するための手段とを備える。

図面の簡単な説明

0014

本開示で説明する態様による技法を利用し得る例示的なビデオ符号化および復号システムを示すブロック図。
本開示で説明する態様による技法を実行し得る別の例示的なビデオ符号化および復号システムを示すブロック図。
本開示で説明する態様による技法を実装し得るビデオ符号化器の一例を示すブロック図。
本開示で説明する態様による技法を実装し得るビデオ符号化器の一例を示すブロック図。
本開示で説明する態様による技法を実装し得るビデオ復号器の一例を示すブロック図。
本開示で説明する態様による技法を実装し得るビデオ復号器の一例を示すブロック図。
本開示の一実施形態による、異なるレイヤの中のピクチャの例示的な構成を示すブロック図。
本開示の一実施形態による、ビデオ情報をコーディングする方法を示すフローチャート

実施例

0015

[0022]本明細書に記載されるいくつかの実施形態は、HEVC(高効率ビデオコーディング)などのアドバンストビデオコーデックコンテキストにおけるスケーラブルビデオコーディングのためのレイヤ間予測に関する。より具体的には、本開示は、HEVCのスケーラブルビデオコーディング(SVC)拡張におけるレイヤ間予測の実行を改善するためのシステムおよび方法に関する。

0016

[0023]以下の説明では、いくつかの実施形態に関係するH.264/AVC技法が記載され、HEVC規格および関係する技法も説明される。HEVC規格および/またはH.264規格のコンテキストにおいて、いくつかの実施形態が本明細書に記載されるが、本明細書で開示されるシステムおよび方法が任意の適切なビデオコーディング規格に適用可能であり得ることを、当業者なら諒解されよう。たとえば、本明細書で開示される実施形態は、以下の規格、すなわち、ITU−T H.261、ISO/IECMPEG−1ビジュアル、ITU−T H.262もしくはISO/IEC MPEG−2ビジュアル、ITU−T H.263、ISO/IEC MPEG−4ビジュアル、およびそのスケーラブルビデオコーディング(SVC)およびマルチビュービデオコーディング(MVC)拡張を含むITU−T H.264(ISO/IEC MPEG−4 AVCとも呼ばれる)のうちの、1つまたは複数に適用可能であり得る。

0017

[0024]HEVCは、概して、多くの点で、前のビデオコーディング規格のフレームワークに従う。HEVCにおける予測の単位は、いくつかの前のビデオコーディング規格における単位(たとえば、マクロブロック)とは異なる。事実上、マクロブロックの概念は、いくつかの前のビデオコーディング規格において理解されているように、HEVC中に存在しない。マクロブロックは、他の考えられる利益の中でも高いフレキシビリティを与え得る、4分木スキームに基づく階層構造と置き換えられる。たとえば、HEVCスキーム内で、コーディングユニット(CU)、予測ユニット(PU:Prediction Unit)、および変換ユニット(TU:Transform Unit)という3つのタイプのブロックが定義される。CUは領域分割基本単位を指すことがある。CUはマクロブロックの概念に類似するとみなされてよいが、HEVCは、CUの最大サイズを制限せず、コンテンツ適応性を改善するために4つの等しいサイズのCUへの再帰的分割を可能にし得る。PUは、インター/イントラ予測の基本単位とみなされてよく、単一のPUは、不規則イメージパターンを効率的にコーディングするために、複数の任意形状区分を含み得る。TUは、変換の基本単位とみなされてよい。TUはPUとは無関係に定義され得るが、TUのサイズはTUが属するCUのサイズに限定されることがある。3つの異なる概念へのブロック構造のこの分離は、各ユニットがそのユニットのそれぞれの役割に従って最適化されることを可能にし得、このことはコーディング効率の改善をもたらし得る。

0018

[0025]単に説明の目的で、本明細書で開示するいくつかの実施形態について、2つのレイヤのみ(たとえば、ベースレイヤなどの下位レイヤ、およびエンハンスメントレイヤなどの上位レイヤ)を含む例を用いて説明する。そのような例が複数のベースレイヤおよび/またはエンハンスメントレイヤを含む構成に適用可能であり得ることを理解されたい。さらに、説明を簡単にするために、以下の開示は、いくつかの実施形態に関して「フレーム」または「ブロック」という用語を含む。しかしながら、これらの用語は、限定的であることを意味しない。たとえば、以下で説明する技法は、ブロック(たとえば、CU、PU、TU、マクロブロックなど)、スライス、フレームなどの、任意の適切なビデオユニットとともに使用され得る。

ビデオコーディング規格

0019

[0026]ビデオ画像TV画像静止画像、またはビデオレコーダもしくはコンピュータによって生成された画像などの、デジタル画像は、水平ラインおよび垂直ラインで構成されたピクセルまたはサンプルからなり得る。単一の画像中のピクセルの数は一般に数万個である。各ピクセルは、一般に、ルミナンス情報とクロミナンス情報とを含んでいる。圧縮がなければ、画像符号化器から画像復号器に搬送されるべき情報の純粋な量は、リアルタイム画像伝送を不可能にすることになる。送信されるべき情報の量を低減するために、JPEG、MPEGおよびH.263規格など、いくつかの異なる圧縮方法が開発された。

0020

[0027]ビデオコーディング規格は、ITU−T H.261と、ISO/IECMPEG−1ビジュアルと、ITU−T H.262またはISO/IEC MPEG−2ビジュアルと、ITU−T H.263と、ISO/IEC MPEG−4ビジュアルと、それのスケーラブルビデオコーディング(SVC)およびマルチビュービデオコーディング(MVC)拡張を含む(ISO/IEC MPEG−4 AVCとも呼ばれる)ITU−T H.264とを含む。

0021

[0028]さらに、新しいビデオコーディング規格、すなわち、高効率ビデオコーディング(HEVC)が、ITU−Tビデオコーディングエキスパートグループ(VCEG:Video Coding Experts Group)とISO/IECモーションピクチャエキスパートグループ(MPEG)とのジョイントコラボレーションチームオンビデオコーディング(JCT−VC:Joint Collaboration Team on Video Coding)によって開発されている。HEVCドラフト10についての完全引用は、文書JCTVC−L1003、Brossら、「High Efficiency Video Coding(HEVC)Text Specification Draft 10」、ITU−T SG16 WP3およびISO/IEC JTC1/SC29/WG11のジョイントコラボレーティブチームオンビデオコーディング(JCT−VC)、第12回会合ジュネーブ、スイス、2013年1月14日〜2013年1月23日である。HEVCへのマルチビュー拡張、すなわち、MV−HEVC、およびSHVCと名付けられたHEVCへのスケーラブル拡張も、JCT−3V(ITU−T/ISO/IECジョイントコラボレーティブチームオン3Dビデオコーディング拡張開発)およびJCT−VCによって、それぞれ開発されている。

0022

[0029]新規のシステム、装置、および方法の様々な態様は、これ以降、添付図面を参照しながら、より十分に説明される。しかしながら、本開示は、多くの異なる形態で実施可能であり、本開示の全体を通して示される任意の特定の構造または機能に限定されるものと解釈されるべきでない。むしろ、本開示が、入念で完全であり、本開示の範囲を当業者に十分に伝達するように、これらの態様が提供される。本明細書の教示に基づいて、本開示の範囲は、本開示の他の態様と無関係に実装されるにせよ、本開示の他の態様と組み合わせて実装されるにせよ、本明細書で開示する新規のシステム、装置、および方法のいかなる態様をもカバーするものであることを、当業者なら諒解されたい。たとえば、本明細書に記載される任意の数の態様を使用して装置が実装されてよく、または方法が実施されてもよい。さらに、本開示の範囲は、本明細書に記載する本開示の様々な態様に加えてまたはそれらの態様以外に、他の構造、機能、または構造および機能を使用して実施されるそのような装置または方法をカバーするものとする。本明細書で開示する任意の態様は、特許請求の範囲の1つまたは複数の要素により実施されてもよいことを理解されたい。

0023

[0030]特定の態様について本明細書で説明するが、これらの態様の多くの変形および置換は本開示の範囲内に入る。好ましい態様のいくつかの利益および利点が述べられるが、本開示の範囲は、特定の利益、使用、または目的に限定されることを意図しない。むしろ、本開示の態様は、異なるワイヤレス技術システム構成ネットワーク、および伝送プロトコルに広く適用可能なものであり、そのうちのいくつかが図面および好ましい態様の以下の説明において例として示される。詳細な説明および図面は、限定的ではなく、本開示の例示にすぎず、本開示の範囲は、添付の特許請求の範囲およびその均等物によって定義される。

0024

[0031]添付の図面は、例を示す。添付の図面内で参照番号によって示される要素は、以下の説明において同様の参照番号で示される要素に対応する。本開示では、序数語(たとえば、「第1の」、「第2の」、「第3の」など)で始まる名前を有する要素は、必ずしもそれらの要素が特定の順序を有することを暗示するとは限らない。むしろ、そのような序数語は、同じまたは同様のタイプの、異なる要素を指すために使用されるにすぎない。

ビデオコーディングシステム

0025

[0032]図1Aは、本開示で説明する態様による技法を利用し得る例示的なビデオコーディングシステム10を示すブロック図である。本明細書で使用し説明する「ビデオコーダ」という用語は、総称的にビデオ符号化器とビデオ復号器の両方を指す。本開示では、「ビデオコーディング」または「コーディング」という用語は、ビデオ符号化とビデオ復号とを総称的に指すことがある。ビデオ符号化器およびビデオ復号器に加えて、本出願に記載される態様は、トランスコーダ(たとえば、ビットストリームを復号し別のビットストリームを再符号化することができるデバイス)およびミドルボックス(たとえば、ビットストリームを修正、変換、および/または別のやり方で操作することができるデバイス)などの、他の関係するデバイスに拡張され得る。

0026

[0033]図1Aに示すように、ビデオコーディングシステム10は、宛先モジュール14によって後で復号されるべき符号化ビデオデータを生成するソースモジュール12を含む。図1Aの例では、ソースモジュール12および宛先モジュール14は別個のデバイス上にある− 詳細には、ソースモジュール12はソースデバイスの部分であり、宛先モジュール14は宛先デバイスの部分である。しかしながら、ソースおよび宛先モジュール12、14が、図1Bの例に示すように、同じデバイス上にあってもよく、または同じデバイスの部分であってもよいことに留意されたい。

0027

[0034]もう一度図1Aを参照すると、ソースモジュール12および宛先モジュール14は、デスクトップコンピュータ、ノートブック(たとえば、ラップトップ)コンピュータ、タブレットコンピュータセットトップボックス、いわゆる「スマートフォンなどの電話ハンドセット、いわゆる「スマート」パッドテレビジョンカメラディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広範囲のデバイスのいずれかを備え得る。場合によっては、ソースモジュール12および宛先モジュール14はワイヤレス通信のために装備され得る。

0028

[0035]宛先モジュール14は、リンク16を介して、復号されるべき符号化ビデオデータを受信し得る。リンク16は、ソースモジュール12から宛先モジュール14に符号化ビデオデータを動かすことが可能な任意のタイプの媒体またはデバイスを備え得る。図1Aの例では、リンク16は、ソースモジュール12が、符号化ビデオデータをリアルタイムで宛先モジュール14に直接送信することを可能にするための通信媒体を備え得る。符号化ビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され得、宛先モジュール14に送信され得る。通信媒体は、無線周波数(RF)スペクトルまたは1つもしくは複数の物理伝送線路などの、任意のワイヤレス通信媒体または有線通信媒体を備え得る。通信媒体は、ローカルエリアネットワークワイドエリアネットワークなどのパケットベースのネットワーク、またはインターネットなどのグローバルネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはソースモジュール12から宛先モジュール14への通信を容易にするために有用であり得る、任意の他の機器を含み得る。

0029

[0036]代替的に、符号化データは出力インターフェース22から、オプション記憶デバイス31に出力され得る。同様に、符号化データは、入力インターフェース28によって記憶デバイス31からアクセスされ得る。記憶デバイス31は、ハードドライブフラッシュメモリ揮発性もしくは不揮発性メモリ、または符号化ビデオデータを記憶するための任意の他の適切なデジタル記憶媒体などの、様々な分散されたまたは局所的にアクセスされるデータ記憶媒体のいずれかを含み得る。さらなる例では、記憶デバイス31は、ソースモジュール12によって生成された符号化ビデオを保持し得るファイルサーバまたは別の中間記憶デバイスに相当し得る。宛先モジュール14は、記憶されているビデオデータに、記憶デバイス31からストリーミングまたはダウンロードを介してアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶することができ、その符号化ビデオデータを宛先モジュール14に送信することができる、任意のタイプのサーバであり得る。例示的なファイルサーバは、ウェブサーバ(たとえば、ウェブサイトのための)、FTPサーバネットワーク接続記憶(NAS)デバイス、または局所的なディスクドライブを含む。宛先モジュール14は、インターネット接続を含む任意の標準的なデータ接続を通じて、符号化ビデオデータにアクセスし得る。これは、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに好適である、ワイヤレスチャネル(たとえば、Wi−Fi(登録商標)接続)、有線接続(たとえば、DSL、ケーブルモデムなど)、またはその両方の組合せを含み得る。記憶デバイス31からの符号化ビデオデータの伝送は、ストリーミング伝送、ダウンロード伝送、またはその両方の組合せであり得る。

0030

[0037]本開示の技法は、ワイヤレスの用途または設定に限定されない。本技法は、オーバージエアテレビジョン放送ケーブルテレビジョン送信、衛星テレビジョン送信、たとえばインターネットを介したストリーミングビデオ送信(たとえば、動的適応ストリーミングオーバーHTTP(DASH:dynamic adaptive streaming over HTTP)など)、データ記憶媒体に記憶するためのデジタルビデオの符号化、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。いくつかの例では、ビデオコーディングシステム10は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、および/またはビデオ電話などの用途をサポートするために、単方向または双方向のビデオ送信をサポートするように構成され得る。

0031

[0038]図1Aの例では、ソースモジュール12は、ビデオソース18と、ビデオ符号化器20と、出力インターフェース22とを含む。場合によっては、出力インターフェース22は変調器復調器モデム)および/または送信機を含み得る。ソースモジュール12において、ビデオソース18は、ビデオキャプチャデバイス、たとえばビデオカメラ、以前にキャプチャされたビデオを含んでいるビデオアーカイブビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェース、および/またはソースビデオとしてコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステムなどのソース、あるいはそのようなソースの組合せを含み得る。一例として、図1Bの例に示すように、ビデオソース18がビデオカメラである場合、ソースモジュール12および宛先モジュール14は、いわゆるカメラ付き電話またはビデオ電話を形成し得る。しかしながら、本開示に記載される技法は、概してビデオコーディングに適用可能であり得、ワイヤレスアプリケーションおよび/または有線アプリケーションに適用され得る。

0032

[0039]キャプチャされたビデオ、以前にキャプチャされたビデオ、またはコンピュータ生成されたビデオは、ビデオ符号化器20によって符号化され得る。符号化ビデオデータは、ソースモジュール12の出力インターフェース22を介して、宛先モジュール14に直接送信され得る。符号化ビデオデータは、さらに(または代替的に)、復号および/または再生のための宛先モジュール14または他のデバイスによる後のアクセスのために、記憶デバイス31に記憶され得る。図1Aおよび図1Bに示すビデオ符号化器20は、図2Aに示すビデオ符号化器20、図2Bに示すビデオ符号化器23、または本明細書に記載される任意の他のビデオ符号化器を備えてよい。

0033

[0040]図1Aの例では、宛先モジュール14は、入力インターフェース28と、ビデオ復号器30と、ディスプレイデバイス32とを含む。場合によっては、入力インターフェース28は、受信機および/またはモデムを含み得る。宛先モジュール14の入力インターフェース28は、符号化ビデオデータを、リンク16を介して受信し得る。リンク16を介して通信され、または記憶デバイス31上に提供された符号化ビデオデータは、ビデオデータを復号する際のビデオ復号器30などのビデオ復号器による使用のために、ビデオ符号化器20によって生成された様々なシンタックス要素を含み得る。そのようなシンタックス要素は、通信媒体上で送信されるか、記憶媒体に記憶されるか、またはファイルサーバに記憶される符号化ビデオデータに含まれ得る。図1Aおよび図1Bに示すビデオ復号器30は、図3Aに示すビデオ復号器30、図3Bに示すビデオ復号器33、または本明細書に記載される任意の他のビデオ復号器を備えてよい。

0034

[0041]ディスプレイデバイス32は、宛先モジュール14と一体化されるか、またはその外部にあり得る。いくつかの例では、宛先モジュール14は、一体型ディスプレイデバイスを含み得、また、外部ディスプレイデバイスとインターフェースするように構成され得る。他の例では、宛先モジュール14はディスプレイデバイスであり得る。概して、ディスプレイデバイス32は、復号ビデオデータをユーザに対して表示し、液晶ディスプレイ(LCD)、プラズマディスプレイ有機発光ダイオード(OLED)ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを備え得る。

0035

[0042]関係する態様では、図1Bは、例示的なビデオ符号化および復号システム10’を示し、ここにおいて、ソースおよび宛先モジュール12、14は、デバイスまたはユーザデバイス11上にあり、またはその部分である。デバイス11は、「スマート」フォンなどの電話ハンドセットであり得る。デバイス11は、ソースおよび宛先モジュール12、14と動作可能に通信しているオプションのコントローラプロセッサモジュール13を含み得る。図1Bのシステム10’は、ビデオ符号化器20と出力インターフェース22との間にビデオ処理ユニット21をさらに含み得る。いくつかの実装形態では、ビデオ処理ユニット21は、図1Bに示すように別個のユニットであるが、他の実施態様では、ビデオ処理ユニット21は、ビデオ符号化器20および/またはプロセッサ/コントローラモジュール13の部分として実装され得る。システム10’は、また、ビデオシーケンスの中で対象のオブジェクトを追跡することができるオプションの追跡器29を含み得る。追跡されるべきオブジェクトまたは対象は、本開示の1つまたは複数の態様に関して説明する技法によって、セグメント化され得る。関係する態様では、追跡することは、ディスプレイデバイス32によって単独で、または追跡器29と一緒に実行され得る。図1Bのシステム10’およびその構成要素は、図1Aのシステム10およびその構成要素と場合によっては類似である。

0036

[0043]ビデオ符号化器20およびビデオ復号器30は、現在開発中の高効率ビデオコーディング(HEVC)規格など、ビデオ圧縮規格に従って動作し得、HEVCテストモデル(HM)に準拠し得る。代替的に、ビデオ符号化器20およびビデオ復号器30は、代替的にMPEG−4,Part10,アドバンストビデオコーディング(AVC)と呼ばれるITU−T H.264規格など、他の独自の規格または業界規格、あるいはそのような規格の拡張に従って動作し得る。ただし、本開示の技法は、いかなる特定のコーディング規格にも限定されない。ビデオ圧縮規格の他の例は、MPEG−2およびITU−T H.263を含む。

0037

[0044]図1Aおよび図1Bの例に示されないが、ビデオ符号化器20およびビデオ復号器30は各々、オーディオ符号化器およびオーディオ復号器統合されてよく、共通のデータストリームまたは別個のデータストリーム中オーディオとビデオの両方の符号化を処理するための適切なMUX−DEMUXユニット、または他のハードウェアおよびソフトウェアを含み得る。適用可能な場合、いくつかの例では、MUX−DEMUXユニットは、ITUH.223マルチプレクサプロトコル、またはユーザデータグラムプロトコルUDP)などの他のプロトコルに準拠し得る。

0038

[0045]ビデオ符号化器20およびビデオ復号器30は各々、1つまたは複数のマイクロプロセッサデジタル信号プロセッサ(DSP)、特定用途向け集積回路ASIC)、フィールドプログラマブルゲートアレイFPGA)、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組合せなどの様々な適切な符号化器回路のいずれかとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、デバイスは、適切な非一時的コンピュータ可読媒体にソフトウェアの命令を記憶し得、本開示の技法を実行するために、1つまたは複数のプロセッサを使用して、命令をハードウェアで実行し得る。ビデオ符号化器20およびビデオ復号器30の各々は、1つまたは複数の符号化器または復号器に含まれ得、そのいずれも、それぞれのデバイスにおいて複合符号化器/復号器(コーデック)の一部として統合され得る。

ビデオコーディングプロセス

0039

[0046]上記で簡略に述べられたように、ビデオ符号化器20はビデオデータを符号化する。ビデオデータは、1つまたは複数のピクチャを備え得る。ピクチャの各々は、ビデオの一部を形成する静止画像である。いくつかの事例では、ピクチャは、ビデオ「フレーム」と呼ばれることがある。ビデオ符号化器20がビデオデータを符号化するとき、ビデオ符号化器20は、ビットストリームを生成し得る。ビットストリームは、ビデオデータのコーディングされた表現を形成するビットのシーケンスを含み得る。ビットストリームは、コード化ピクチャと、関連するデータとを含み得る。コード化ピクチャは、ピクチャのコーディングされた表現である。

0040

[0047]ビットストリームを生成するために、ビデオ符号化器20は、ビデオデータ中の各ピクチャに対して符号化演算を実行し得る。ビデオ符号化器20がピクチャに対して符号化演算を実行するとき、ビデオ符号化器20は、一連のコード化ピクチャと、関連するデータとを生成し得る。関連するデータは、ビデオパラメータセット(VPS:video parameter set)と、シーケンスパラメータセットと、ピクチャパラメータセットと、適応パラメータセットと、他のシンタックス構造とを含み得る。シーケンスパラメータセット(SPS:sequence parameter set)は、ピクチャの0個以上のシーケンスに適用可能なパラメータを含み得る。ピクチャパラメータセット(PPS:picture parameter set)は、0個以上のピクチャに適用可能なパラメータを含み得る。適応パラメータセット(APS:adaptation parameter set)は、0個以上のピクチャに適用可能なパラメータを含み得る。APS中のパラメータは、PPS中のパラメータよりも変化する可能性が高いパラメータであり得る。

0041

[0050]コード化ピクチャを生成するために、ビデオ符号化器20は、ピクチャを等しいサイズのビデオブロックに区分し得る。ビデオブロックはサンプルの2次元アレイであり得る。ビデオブロックの各々は、ツリーブロックに関連付けられる。いくつかの事例では、ツリーブロックは、最大コーディングユニット(LCU:largest coding unit)と呼ばれることがある。HEVCのツリーブロックは、H.264/AVCのような従来の規格のマクロブロックに、広い意味で類似し得る。しかしながら、ツリーブロックは、特定のサイズに必ずしも限定されず、1つまたは複数のコーディングユニット(CU)を含み得る。ビデオ符号化器20は、ツリーブロックのビデオブロックを、CUに関連付けられたビデオブロックに区分するために、4分木区分を使用し得、したがって、「ツリーブロック」という名前である。

0042

[0051]いくつかの例では、ビデオ符号化器20は、ピクチャを複数のスライスに区分し得る。スライスの各々は、整数個のCUを含み得る。いくつかの事例では、スライスは、整数個のツリーブロックを備える。他の事例では、スライスの境界は、ツリーブロック内にあり得る。

0043

[0050]ピクチャに対して符号化演算を実行することの一部として、ビデオ符号化器20は、ピクチャの各スライスに対して符号化演算を実行し得る。ビデオ符号化器20がスライスに対して符号化演算を実行するとき、ビデオ符号化器20は、スライスに関連付けられた符号化データを生成し得る。スライスに関連付けられた符号化データは、「コード化スライス」と呼ばれることがある。

0044

[0051]コード化スライスを生成するために、ビデオ符号化器20は、スライス中の各ツリーブロックに対して符号化演算を実行し得る。ビデオ符号化器20がツリーブロックに対して符号化演算を実行するとき、ビデオ符号化器20は、コーディングされたツリーブロックを生成し得る。コーディングされたツリーブロックは、ツリーブロックの符号化されたバージョンを表すデータを備え得る。

0045

[0052]ビデオ符号化器20がコード化スライスを生成するとき、ビデオ符号化器20は、ラスタスキャン順序に従って、スライス中のツリーブロックに対して符号化演算を実行(たとえば、符号化)し得る。たとえば、ビデオ符号化器20は、スライス中のツリーブロックの一番上の行にわたって左から右に進み、次いでツリーブロックの次の下の行にわたって左から右に進み、以下同様に進む順序で、ビデオ符号化器20がスライス中のツリーブロックの各々を符号化するまで、スライスのツリーブロックを符号化し得る。

0046

[0053]ラスタスキャン順序に従ってツリーブロックを符号化した結果として、所与のツリーブロックの上および左のツリーブロックは符号化されていることがあるが、所与のツリーブロックの下および右のツリーブロックはまだ符号化されていない。したがって、ビデオ符号化器20は、所与のツリーブロックを符号化するとき、所与のツリーブロックの上および左のツリーブロックを符号化することによって生成される情報にアクセスすることが可能であり得る。しかしながら、ビデオ符号化器20は、所与のツリーブロックを符号化するとき、所与のツリーブロックの下および右のツリーブロックを符号化することによって生成される情報にアクセスできないことがある。

0047

[0054]コーディングされたツリーブロックを生成するために、ビデオ符号化器20は、ビデオブロックを徐々により小さいビデオブロックに分割するために、ツリーブロックのビデオブロック上で4分木区分を再帰的に実行し得る。より小さいビデオブロックの各々は、異なるCUに関連付けられ得る。たとえば、ビデオ符号化器20は、ツリーブロックのビデオブロックを4つの等しいサイズのサブブロックに区分し得、サブブロックのうちの1つまたは複数を4つの等しいサイズのサブサブブロックに区分し得、以下同様である。区分されたCUは、そのビデオブロックが他のCUに関連付けられたビデオブロックに区分されているCUであり得る。区分されていないCUは、そのビデオブロックが他のCUに関連付けられたビデオブロックに区分されていないCUであり得る。

0048

[0055]ビットストリーム中の1つまたは複数のシンタックス要素は、ビデオ符号化器20がツリーブロックのビデオブロックを区分し得る最大の回数を示し得る。CUのビデオブロックは形状が正方形であり得る。CUのビデオブロックのサイズ(たとえば、CUのサイズ)は、8×8のピクセルから、最大で64×64以上のピクセルを有するツリーブロックのビデオブロックのサイズ(たとえば、ツリーブロックのサイズ)までわたり得る。

0049

[0056]ビデオ符号化器20は、zスキャン順序に従って、ツリーブロックの各CUに対して符号化演算を実行(たとえば、符号化)し得る。言い換えれば、ビデオ符号化器20は、左上のCUと、右上のCUと、左下のCUと、次いで右下のCUとを、その順序で符号化し得る。ビデオ符号化器20が、区分されているCUに対して符号化演算を実行するとき、ビデオ符号化器20は、zスキャン順序に従って、区分されているCUのビデオブロックのサブブロックに関連付けられたCUを符号化し得る。言い換えれば、ビデオ符号化器20は、左上のサブブロックに関連付けられたCUと、右上のサブブロックに関連付けられたCUと、左下のサブブロックに関連付けられたCUと、次いで右下のサブブロックに関連付けられたCUとを、その順序で符号化し得る。

0050

[0057]zスキャン順序に従ってツリーブロックのCUを符号化した結果として、所与のCUの上、左上、右上、左、および左下のCUは符号化されていることがある。所与のCUの下または右のCUはまだ符号化されていない。したがって、ビデオ符号化器20は、所与のCUを符号化するとき、所与のCUに隣接するいくつかのCUを符号化することによって生成される情報にアクセスすることが可能であり得る。しかしながら、ビデオ符号化器20は、所与のCUを符号化するとき、所与のCUに隣接する他のCUを符号化することによって生成される情報にアクセスできないことがある。

0051

[0058]ビデオ符号化器20が、区分されていないCUを符号化するとき、ビデオ符号化器20は、CUに対する1つまたは複数の予測ユニット(PU)を生成し得る。CUのPUの各々は、CUのビデオブロック内の異なるビデオブロックに関連付けられ得る。ビデオ符号化器20は、CUの各PUに対して予測ビデオブロックを生成し得る。PUの予測ビデオブロックは、サンプルのブロックであり得る。ビデオ符号化器20は、PUのための予測ビデオブロックを生成するために、イントラ予測またはインター予測を使用し得る。

0052

[0059]ビデオ符号化器20がPUの予測ビデオブロックを生成するためにイントラ予測を使用するとき、ビデオ符号化器20は、PUに関連付けられたピクチャの復号サンプルに基づいて、PUの予測ビデオブロックを生成し得る。ビデオ符号化器20がCUのPUの予測ビデオブロックを生成するためにイントラ予測を使用する場合、CUはイントラ予測されたCUである。ビデオ符号化器20がPUの予測ビデオブロックを生成するためにインター予測を使用するとき、ビデオ符号化器20は、PUに関連付けられたピクチャ以外の1つまたは複数のピクチャの復号サンプルに基づいて、PUの予測ビデオブロックを生成し得る。ビデオ符号化器20がCUのPUの予測ビデオブロックを生成するためにインター予測を使用する場合、CUはインター予測されたCUである。

0053

[0060]さらに、ビデオ符号化器20がPUのための予測ビデオブロックを生成するためにインター予測を使用するとき、ビデオ符号化器20は、PUのための動き情報を生成し得る。PUのための動き情報は、PUの1つまたは複数の参照ブロックを示し得る。PUの各参照ブロックは、参照ピクチャ内のビデオブロックであり得る。参照ピクチャは、PUに関連付けられたピクチャ以外のピクチャであり得る。いくつかの事例では、PUの参照ブロックは、PUの「参照サンプル」と呼ばれることもある。ビデオ符号化器20は、PUの参照ブロックに基づいて、PUのための予測ビデオブロックを生成し得る。

0054

[0061]ビデオ符号化器20がCUの1つまたは複数のPUのための予測ビデオブロックを生成した後、ビデオ符号化器20は、CUのPUのための予測ビデオブロックに基づいて、CUに対する残差データを生成し得る。CUの残差データは、CUのPUのための予測ビデオブロック中のサンプルと、CUの元のビデオブロック中のサンプルとの差分を示し得る。

0055

[0062]さらに、区分されていないCUに対して符号化演算を実行することの一部として、ビデオ符号化器20は、CUの残差データを、CUの変換ユニット(TU)に関連付けられた残差データの1つまたは複数のブロック(たとえば、残差ビデオブロック)に区分するために、CUの残差データに対して再帰的な4分木区分を実行し得る。CUの各TUは、異なる残差ビデオブロックに関連付けられ得る。

0056

[0063]ビデオ符号化器20は、TUに関連付けられた変換係数ブロック(たとえば、変換係数のブロック)を生成するために、TUに関連付けられた残差ビデオブロックに1つまたは複数の変換を適用し得る。概念的に、変換係数ブロックは変換係数の2次元(2D)行列であり得る。

0057

[0064]変換係数ブロックを生成した後、ビデオ符号化器20は、変換係数ブロックに対して量子化プロセスを実行し得る。量子化は、概して、変換係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、さらなる圧縮を実現するプロセスを指す。量子化プロセスは、変換係数の一部または全部に関連するビット深度を低減し得る。たとえば、量子化中に、nビット変換係数mビット変換係数に切り捨てられ得、ここで、nはmよりも大きい。

0058

[0065]ビデオ符号化器20は、各CUを、量子化パラメータ(QP)値に関連付け得る。CUに関連付けられたQP値は、ビデオ符号化器20が、CUに関連付けられた変換係数ブロックをどのように量子化するかを決定し得る。ビデオ符号化器20は、CUに関連付けられたQP値を調整することによって、CUに関連付けられた変換係数ブロックに適用される量子化の程度を調整し得る。

0059

[0066]ビデオ符号化器20が変換係数ブロックを量子化した後、ビデオ符号化器20は、量子化された変換係数ブロックの中で変換係数を表すシンタックス要素のセットを生成し得る。ビデオ符号化器20は、これらのシンタックス要素のうちのいくつかに、コンテキスト適応型バイナリ算術コーディング(CABAC:Context Adaptive Binary Arithmetic Coding)演算などのエントロピー符号化演算を適用し得る。コンテンツ適応型可変長コーディング(CAVLC:content adaptive variable length coding)、確率間隔区分エントロピー(PIPE:probability interval partitioning entropy)コーディング、または他のバイナリ算術コーディングなど、他のエントロピーコーディング技法も使用され得る。

0060

[0067]ビデオ符号化器20によって生成されるビットストリームは、一連のネットワークアブストラクションレイヤNAL:Network Abstraction Layer)ユニットを含み得る。NALユニットの各々は、NALユニット中のデータのタイプのインジケーションと、データを含むバイトとを含む、シンタックス構造であり得る。たとえば、NALユニットは、ビデオパラメータセット、シーケンスパラメータセット、ピクチャパラメータセット、コード化スライス、補足エンハンスメント情報(SEI:supplemental enhancement information)、アクセスユニットデリミタフィラーデータ、または別のタイプのデータを表すデータを含み得る。NALユニット中のデータは、様々なシンタックス構造を含み得る。

0061

[0068]ビデオ復号器30は、ビデオ符号化器20によって生成されたビットストリームを受信し得る。ビットストリームは、ビデオ符号化器20によって符号化されたビデオデータのコーディングされた表現を含み得る。ビデオ復号器30がビットストリームを受信すると、ビデオ復号器30は、ビットストリームに対して構文解析動作を実行し得る。ビデオ復号器30が構文解析動作を実行するとき、ビデオ復号器30は、ビットストリームからシンタックス要素を抽出し得る。ビデオ復号器30は、ビットストリームから抽出されたシンタックス要素に基づいて、ビデオデータのピクチャを再構成し得る。シンタックス要素に基づいてビデオデータを再構成するためのプロセスは、一般に、シンタックス要素を生成するためにビデオ符号化器20によって実行されるプロセスの逆であり得る。

0062

[0069]ビデオ復号器30がCUに関連付けられたシンタックス要素を抽出した後、ビデオ復号器30は、シンタックス要素に基づいて、CUのPUのための予測ビデオブロックを生成し得る。さらに、ビデオ復号器30は、CUのTUに関連付けられた変換係数ブロックを逆量子化し得る。ビデオ復号器30は、CUのTUに関連付けられた残差ビデオブロックを再構成するために、変換係数ブロックに対して逆変換を実行し得る。予測ビデオブロックを生成し、残差ビデオブロックを再構成した後、ビデオ復号器30は、予測ビデオブロックおよび残差ビデオブロックに基づいて、CUのビデオブロックを再構成し得る。このようにして、ビデオ復号器30は、ビットストリーム中のシンタックス要素に基づいて、CUのビデオブロックを再構成し得る。

ビデオ符号化器

0063

[0070]図2Aは、本開示で説明する態様による技法を実装し得るビデオ符号化器の一例を示すブロック図である。ビデオ符号化器20は、HEVCの場合など、ビデオフレームの単一のレイヤを処理するように構成され得る。さらに、ビデオ符号化器20は、本開示の技法のいずれかまたはすべてを実行するように構成され得る。一例として、予測処理ユニット100は、本開示で説明する技法のいずれかまたはすべてを実行するように構成され得る。別の実施形態では、ビデオ符号化器20は、本開示で説明する技法のいずれかまたはすべてを実行するように構成されたオプションのレイヤ間予測ユニット128を含む。他の実施形態では、レイヤ間予測は、予測処理ユニット100(たとえば、インター予測ユニット121および/またはイントラ予測ユニット126)によって実行され得、その場合、レイヤ間予測ユニット128は省略され得る。しかしながら、本開示の態様はそのように限定されない。いくつかの例では、本開示で説明する技法は、ビデオ符号化器20の様々な構成要素間で共有され得る。いくつかの例では、追加または代替として、プロセッサ(図示せず)が、本開示で説明する技法のいずれかまたはすべてを実行するように構成され得る。

0064

[0071]説明の目的で、本開示は、HEVCコーディングのコンテキストにおいてビデオ符号化器20を説明する。しかしながら、本開示の技法は、他のコーディング規格または方法に適用可能であり得る。図2Aに示す例は、シングルレイヤコーデックのためのものである。しかしながら、図2Bに関してさらに説明するように、ビデオ符号化器20の一部または全部は、マルチレイヤコーデックの処理のために複製され得る。

0065

[0072]ビデオ符号化器20は、ビデオスライス内のビデオブロックのイントラコーディングとインターコーディングとを実行し得る。イントラコーディングは、所与のビデオフレームまたはピクチャ内のビデオの空間的冗長性を低減または除去するために、空間予測に依拠する。インターコーディングは、ビデオシーケンスの隣接するフレーム内またはピクチャ内のビデオの時間的冗長性を低減または除去するために時間予測に依拠する。イントラモードIモード)は、いくつかの空間ベースコーディングモードのいずれかを参照し得る。単方向予測(Pモード)または双方向予測Bモード)などのインターモードは、いくつかの時間ベースのコーディングモードのいずれかを参照し得る。

0066

[0073]図2Aの例では、ビデオ符号化器20は複数の機能構成要素を含む。ビデオ符号化器20の機能構成要素は、予測処理ユニット100と、残差生成ユニット102と、変換処理ユニット104と、量子化ユニット106と、逆量子化ユニット108と、逆変換ユニット110と、再構成ユニット112と、フィルタユニット113と、復号ピクチャバッファ114と、エントロピー符号化ユニット116とを含む。予測処理ユニット100は、インター予測ユニット121と、動き推定ユニット122と、動き補償ユニット124と、イントラ予測ユニット126と、レイヤ間予測ユニット128とを含む。他の例では、ビデオ符号化器20は、より多いか、より少ないか、または異なる機能構成要素を含み得る。さらに、動き推定ユニット122および動き補償ユニット124は、高度に統合され得るが、図2Aの例では、説明の目的で別々に表されている。

0067

[0074]ビデオ符号化器20は、ビデオデータを受信し得る。ビデオ符号化器20は、様々なソースからビデオデータを受信し得る。たとえば、ビデオ符号化器20は、ビデオソース18(たとえば、図1Aまたは図1Bに示す)または別のソースからビデオデータを受信し得る。ビデオデータは、一連のピクチャを表し得る。ビデオデータを符号化するために、ビデオ符号化器20は、ピクチャの各々に対して符号化演算を実行し得る。ピクチャに対して符号化演算を実行することの一部として、ビデオ符号化器20は、ピクチャの各スライスに対して符号化演算を実行し得る。スライスに対して符号化演算を実行することの一部として、ビデオ符号化器20は、スライス中のツリーブロックに対して符号化演算を実行し得る。

0068

[0075]ツリーブロックに対して符号化演算を実行することの一部として、予測処理ユニット100は、ビデオブロックを徐々により小さいビデオブロックに分割するために、ツリーブロックのビデオブロックに対して4分木区分を実行し得る。より小さいビデオブロックの各々は、異なるCUに関連付けられ得る。たとえば、予測処理ユニット100は、ツリーブロックのビデオブロックを4つの等しいサイズのサブブロックに区分し得、サブブロックのうちの1つまたは複数を4つの等しいサイズのサブサブブロックに区分し得、以下同様である。

0069

[0076]CUに関連付けられたビデオブロックのサイズは、8×8サンプルから、最大で64×64サンプル以上のツリーブロックのサイズにまでわたり得る。本開示では、「N×N」および「N by N」は、垂直方向の寸法および水平方向の寸法に関するビデオブロックのサンプルの寸法、たとえば、16×16サンプルまたは16 by 16サンプルを指すために、互換的に使用され得る。一般に、16×16のビデオブロックは、垂直方向に16個のサンプルを有し(y=16)、水平方向に16個のサンプルを有する(x=16)。同様に、N×Nのブロックは、一般に、垂直方向にN個のサンプルを有し、水平方向にN個のサンプルを有し、ここで、Nは非負整数値を表す。

0070

[0077]さらに、ツリーブロックに対して符号化演算を実行することの一部として、予測処理ユニット100は、ツリーブロック用の階層的な4分木データ構造を生成し得る。たとえば、ツリーブロックは、4分木データ構造のルートノードに対応し得る。予測処理ユニット100がツリーブロックのビデオブロックを4つのサブブロックに区分する場合、ルートノードは、4分木データ構造中に4つの子ノードを有する。子ノードの各々は、サブブロックのうちの1つに関連付けられたCUに対応する。予測処理ユニット100がサブブロックのうちの1つを4つのサブサブブロックに区分する場合、サブブロックに関連付けられたCUに対応するノードは、サブサブブロックのうちの1つに関連付けられたCUに各々が対応する、4つの子ノードを有し得る。

0071

[0078]4分木データ構造の各ノードは、対応するツリーブロックまたはCUのシンタックスデータ(たとえば、シンタックス要素)を含み得る。たとえば、4分木の中のノードは、そのノードに対応するCUのビデオブロックが4つのサブブロックに区分(たとえば、分割)されているかどうかを示すスプリットフラグを含み得る。CUのためのシンタックス要素は、再帰的に定義され得、CUのビデオブロックがサブブロックに分割されているかどうかに依存し得る。ビデオブロックが区分されていないCUは、4分木データ構造におけるリーフノードに対応し得る。コーディングされたツリーブロックは、対応するツリーブロック用の4分木データ構造に基づくデータを含み得る。

0072

[0079]ビデオ符号化器20は、ツリーブロックの区分されていない各CUに対して符号化演算を実行し得る。ビデオ符号化器20が、区分されていないCUに対して符号化演算を実行するとき、ビデオ符号化器20は、区分されていないCUの符号化された表現を表すデータを生成する。

0073

[0080]CUに対して符号化演算を実行することの一部として、予測処理ユニット100は、CUの1つまたは複数のPUの中で、CUのビデオブロックを区分し得る。ビデオ符号化器20およびビデオ復号器30は、様々なPUサイズをサポートし得る。特定のCUのサイズが2N×2Nであると仮定すると、ビデオ符号化器20およびビデオ復号器30は、2N×2NまたはN×NのPUサイズ、および2N×2N、2N×N、N×2N、N×N、2N×nU、nL×2N、nR×2N、または同様の対称PUサイズでのインター予測とをサポートし得る。ビデオ符号化器20およびビデオ復号器30は、2N×nU、2N×nD、nL×2N、およびnR×2NのPUサイズに対する非対称区分もサポートし得る。いくつかの例では、予測処理ユニット100は、CUのビデオブロックの辺に直角に接触しない境界に沿ってCUのPUの間でCUのビデオブロックを区分するように、幾何学的な区分を実行し得る。

0074

[0081]インター予測ユニット121は、CUの各PUに対してインター予測を実行し得る。インター予測は、時間圧縮を実現し得る。PUに対してインター予測を実行するために、動き推定ユニット122は、PUのための動き情報を生成し得る。動き補償ユニット124は、PUベースの動き情報およびCUに関連付けられたピクチャ以外のピクチャ(たとえば、参照ピクチャ)の復号サンプルのための、予測ビデオブロックを生成し得る。本開示では、動き補償ユニット124によって生成される予測ビデオブロックは、インター予測ビデオブロックと呼ばれることがある。

0075

[0082]スライスは、Iスライス、Pスライス、またはBスライスであり得る。動き推定ユニット122および動き補償ユニット124は、PUがIスライス中にあるのか、Pスライス中にあるのか、それともBスライス中にあるのかに応じて、CUのPUのための異なる演算を実行し得る。Iスライス中では、すべてのPUがイントラ予測される。したがって、PUがIスライス中にある場合、動き推定ユニット122および動き補償ユニット124は、PUに対してインター予測を実行しない。

0076

[0083]PUがPスライス中にある場合、PUを含むピクチャは、「リスト0」と呼ばれる参照ピクチャのリストに関連付けられる。リスト0中の参照ピクチャの各々は、他のピクチャのインター予測のために使用され得るサンプルを含む。動き推定ユニット122がPスライス中のPUに関して動き推定演算を実行するとき、動き推定ユニット122は、PUのための参照ブロックについて、リスト0中の参照ピクチャを探索し得る。PUの参照ブロックは、PUのビデオブロック中のサンプルに最も密接に対応するサンプルのセット、たとえば、サンプルのブロックであり得る。動き推定ユニット122は、参照ピクチャ中のサンプルのセットがどの程度密接にPUのビデオブロック中のサンプルに対応するかを決定するために、様々なメトリックを使用し得る。たとえば、動き推定ユニット122は、絶対差分の和(SAD:sum of absolute difference)、2乗差分の和(SSD:sum of square difference)、または他の差分メトリックによって、参照ピクチャ中のサンプルのセットがどの程度密接にPUのビデオブロック中のサンプルに対応するかを決定し得る。

0077

[0084]Pスライス中のPUの参照ブロックを識別した後、動き推定ユニット122は、参照ブロックを含んでいる、リスト0中の参照ピクチャを示す参照インデックスと、PUと参照ブロックとの間の空間変位を示す動きベクトルとを生成し得る。様々な例において、動き推定ユニット122は、動きベクトルを異なる精度に生成し得る。たとえば、動き推定ユニット122は、1/4サンプル精度、1/8サンプル精度、または他の分数のサンプル精度で動きベクトルを生成し得る。分数のサンプル精度の場合、参照ブロック値は、参照ピクチャ中の整数位置サンプル値から補間され得る。動き推定ユニット122は、PUの動き情報として、参照インデックスと動きベクトルとを出力し得る。動き補償ユニット124は、PUの動き情報によって識別された参照ブロックに基づいて、PUの予測ビデオブロックを生成し得る。

0078

[0085]PUがBスライス中にある場合、PUを含むピクチャは、「リスト0」および「リスト1」と呼ばれる参照ピクチャの2つのリストに関連付けられ得る。いくつかの例では、Bスライスを含むピクチャは、リスト0とリスト1の組合せである、リストの組合せと関連付けられ得る。

0079

[0086]さらに、PUがBスライス中にある場合、動き推定ユニット122は、PUのための単方向予測または双方向予測を実行し得る。動き推定ユニット122がPUのための単方向予測を実行するとき、動き推定ユニット122は、PUのための参照ブロックについて、リスト0またはリスト1の参照ピクチャを探索し得る。動き推定ユニット122は、次いで、参照ブロックを含む、リスト0またはリスト1中の参照ピクチャを示す参照インデックスと、PUと参照ブロックとの間の空間変位を示す動きベクトルとを生成し得る。動き推定ユニット122は、PUの動き情報として、参照インデックスと、予測方向インジケータと、動きベクトルとを出力し得る。予測方向インジケータは、参照インデックスが、リスト0中の参照ピクチャを示すのか、それともリスト1中の参照ピクチャを示すのかを示し得る。動き補償ユニット124は、PUの動き情報によって示された参照ブロックに基づいて、PUの予測ビデオブロックを生成し得る。

0080

[0087]動き推定ユニット122がPUのための双方向予測を実行するとき、動き推定ユニット122は、PUのための参照ブロックについて、リスト0中の参照ピクチャを探索し得、また、PUのための別の参照ブロックについて、リスト1中の参照ピクチャを探索し得る。動き推定ユニット122は、次いで、参照ブロックを含む、リスト0およびリスト1中の参照ピクチャを示す参照インデックスと、参照ブロックとPUとの間の空間変位を示す動きベクトルとを生成し得る。動き推定ユニット122は、PUの動き情報として、PUの参照インデックスと動きベクトルとを出力し得る。動き補償ユニット124は、PUの動き情報によって示された参照ブロックに基づいて、PUの予測ビデオブロックを生成し得る。

0081

[0088]いくつかの事例では、動き推定ユニット122は、PUのための動き情報のフルセットをエントロピー符号化ユニット116に出力しない。そうではなく、動き推定ユニット122は、別のPUの動き情報を参照して、PUの動き情報をシグナリングし得る。たとえば、動き推定ユニット122は、PUの動き情報が、隣接PUの動き情報と十分に類似していると決定し得る。この例では、動き推定ユニット122は、PUに関連付けられたシンタックス構造において、PUが隣接PUと同じ動き情報を有することをビデオ復号器30に示す値を示し得る。別の例では、動き推定ユニット122は、PUに関連付けられたシンタックス構造において、隣接PUと動きベクトル差分(MVD)とを識別し得る。動きベクトル差分は、PUの動きベクトルと、示される隣接PUの動きベクトルとの差分を示す。ビデオ復号器30は、PUの動きベクトルを決定するために、示された隣接PUの動きベクトルと、動きベクトル差分とを使用し得る。第2のPUの動き情報をシグナリングするときに第1のPUの動き情報を参照することによって、ビデオ符号化器20は、より少数のビットを使用して、第2のPUの動き情報をシグナリングすることが可能であり得る。

0082

[0089]図4に関して以下でさらに説明するように、予測処理ユニット100は、図4に示される方法を実行することによってPU(または他の参照レイヤブロックおよび/またはエンハンスメントレイヤブロックまたはビデオユニット)をコーディング(たとえば、符号化または復号)するように構成され得る。たとえば、(たとえば、動き推定ユニット122および/または動き補償ユニット124を介した)インター予測ユニット121、イントラ予測ユニット126、またはレイヤ間予測ユニット128は、一緒にまたは別々に、図4に示される方法を実行するように構成され得る。

0083

[0090]CUに対して符号化演算を実行することの一部として、イントラ予測ユニット126は、CUのPUに対してイントラ予測を実行し得る。イントラ予測は、空間圧縮を実現し得る。イントラ予測ユニット126がPUに対してイントラ予測を実行するとき、イントラ予測ユニット126は、同じピクチャ中の他のPUの復号サンプルに基づいて、PUのための予測データを生成し得る。PUのための予測データは、予測ビデオブロックと様々なシンタックス要素とを含み得る。イントラ予測ユニット126は、Iスライス、Pスライス、およびBスライス中のPUに対してイントラ予測を実行し得る。

0084

[0091]PUに対してイントラ予測を実行するために、イントラ予測ユニット126は、PUのための予測データの複数のセットを生成するために、複数のイントラ予測モードを使用し得る。イントラ予測ユニット126がPUのための予測データのセットを生成するためにイントラ予測モードを使用するとき、イントラ予測ユニット126は、イントラ予測モードと関連する方向および/または勾配で、隣接PUのビデオブロックからPUのビデオブロックにわたってサンプルを延ばし得る。PU、CU、およびツリーブロックについて左から右、上から下の符号化順序を仮定すると、隣接PUは、PUの上、右上、左上、または左にあり得る。イントラ予測ユニット126は、PUのサイズに応じて、様々な数のイントラ予測モード、たとえば、33個の方向性イントラ予測モードを使用し得る。

0085

[0092]予測処理ユニット100は、動き補償ユニット124によってPUのために生成された予測データ、またはイントラ予測ユニット126によってPUのために生成された予測データの中から、PUのための予測データを選択し得る。いくつかの例では、予測処理ユニット100は、予測データのセットのレート/ひずみメトリックに基づいて、PUのための予測データを選択する。

0086

[0093]予測処理ユニット100がイントラ予測ユニット126によって生成された予測データを選択する場合、予測処理ユニット100は、PUのための予測データを生成するために使用されたイントラ予測モード、たとえば、選択されたイントラ予測モードをシグナリングし得る。予測処理ユニット100は、選択されたイントラ予測モードを様々な方法でシグナリングし得る。たとえば、選択されたイントラ予測モードは、隣接PUのイントラ予測モードと同じであることが起こり得る。言い換えれば、隣接PUのイントラ予測モードは、現在PUに対して最確モードであり得る。したがって、予測処理ユニット100は、選択されたイントラ予測モードが隣接PUのイントラ予測モードと同じであることを示すためのシンタックス要素を生成し得る。

0087

[0094]上記で説明したように、ビデオ符号化器20は、レイヤ間予測ユニット128を含み得る。レイヤ間予測ユニット128は、SVCにおいて利用可能である1つまたは複数の異なるレイヤ(たとえば、ベースレイヤまたは参照レイヤ)を使用して、現在ブロック(たとえば、EL中の現在ブロック)を予測するように構成される。そのような予測は、レイヤ間予測と呼ばれることがある。レイヤ間予測ユニット128は、レイヤ間冗長性を低減するための予測方法を利用し、それによって、コーディング効率を改善し、計算リソース要件を低減する。レイヤ間予測のいくつかの例は、レイヤ間イントラ予測と、レイヤ間動き予測と、レイヤ間残差予測とを含む。レイヤ間イントラ予測は、エンハンスメントレイヤ中の現在ブロックを予測するために、ベースレイヤの中でコロケートされているブロックの再構成を使用する。レイヤ間動き予測は、エンハンスメントレイヤ中の動作を予測するために、ベースレイヤの動き情報を使用する。レイヤ間残差予測は、エンハンスメントレイヤの残差を予測するために、ベースレイヤの残差を使用する。レイヤ間予測スキームの各々について、以下でより詳細に説明する。

0088

[0095]予測処理ユニット100がCUのPUのための予測データを選択した後、残差生成ユニット102は、CUのビデオブロックからCUのPUの予測ビデオブロックを差し引くこと(たとえば、マイナス符号によって示される)によって、CUの残差データを生成し得る。CUの残差データは、CUのビデオブロック中のサンプルの異なるサンプル成分に対応する2D残差ビデオブロックを含み得る。たとえば、残差データは、CUのPUの予測ビデオブロック中のサンプルのルミナンス成分と、CUの元のビデオブロック中のサンプルのルミナンス成分との間の差分に対応する、残差ビデオブロックを含み得る。さらに、CUの残差データは、CUのPUの予測ビデオブロック中のサンプルのクロミナンス成分と、CUの元のビデオブロック中のサンプルのクロミナンス成分との間の差分に対応する、残差ビデオブロックを含み得る。

0089

[0096]予測処理ユニット100は、CUの残差ビデオブロックをサブブロックに区分するために、4分木区分を実行し得る。分割されていない各残差ビデオブロックは、CUの異なるTUに関連付けられ得る。CUのTUに関連付けられる残差ビデオブロックのサイズおよび位置は、CUのPUに関連付けられたビデオブロックのサイズおよび位置に基づいてもよく、または基づかなくてもよい。「残差4分木」(RQT)と呼ばれる4分木構造は、残差ビデオブロックの各々に関連付けられたノードを含み得る。CUのTUは、RQTのリーフノードに対応し得る。

0090

[0097]変換処理ユニット104は、TUに関連付けられた残差ビデオブロックに1つまたは複数の変換を適用することによって、CUの各TUのための1つまたは複数の変換係数ブロックを生成し得る。変換係数ブロックの各々は、変換係数の2D行列であり得る。変換処理ユニット104は、TUに関連付けられた残差ビデオブロックに様々な変換を適用し得る。たとえば、変換処理ユニット104は、離散コサイン変換(DCT)、方向変換、または概念的に類似の変換を、TUに関連付けられた残差ビデオブロックに適用し得る。

0091

[0098]変換処理ユニット104が、TUに関連付けられた変換係数ブロックを生成した後、量子化ユニット106は、変換係数ブロック中の変換係数を量子化し得る。量子化ユニット106は、CUに関連付けられたQP値に基づいて、CUのTUに関連付けられた変換係数ブロックを量子化し得る。

0092

[0099]ビデオ符号化器20は、様々な方法でQP値をCUに関連付け得る。たとえば、ビデオ符号化器20は、CUに関連付けられたツリーブロックに対して、レートひずみ分析を実行し得る。レートひずみ分析では、ビデオ符号化器20は、ツリーブロックに対して符号化演算を複数回実行することによって、ツリーブロックの複数のコーディングされた表現を生成し得る。ビデオ符号化器20が、ツリーブロックの異なる符号化表現を生成するとき、ビデオ符号化器20は、異なるQP値をCUに関連付け得る。最小のビットレートおよびひずみメトリックを有するツリーブロックのコーディングされた表現で所与のQP値がCUに関連付けられるとき、ビデオ符号化器20は、所与のQP値がCUに関連付けられることをシグナリングし得る。

0093

[00100]逆量子化ユニット108および逆変換ユニット110は、変換係数ブロックから残差ビデオブロックを再構成するために、それぞれ、逆量子化と逆変換とを変換係数ブロックに適用し得る。再構成ユニット112は、TUに関連付けられた再構成されたビデオブロックを生成するために、再構成された残差ビデオブロックを、予測処理ユニット100によって生成された1つまたは複数の予測ビデオブロックからの対応するサンプルに追加し得る。このようにCUの各TUについてビデオブロックを再構成することによって、ビデオ符号化器20は、CUのビデオブロックを再構成し得る。

0094

[00101]再構成ユニット112がCUのビデオブロックを再構成した後、フィルタユニット113は、CUに関連付けられたビデオブロックにおけるブロッキングアーティファクトを低減するために、デブロッキング演算を実行し得る。1つまたは複数のデブロッキング演算を実行した後、フィルタユニット113は、CUの再構成されたビデオブロックを復号ピクチャバッファ114に記憶し得る。動き推定ユニット122および動き補償ユニット124は、後続のピクチャのPUに対してインター予測を実行するために、再構成されたビデオブロックを含む参照ピクチャを使用し得る。さらに、イントラ予測ユニット126は、CUと同じピクチャ中の他のPUに対してイントラ予測を実行するために、復号ピクチャバッファ114の中の再構成されたビデオブロックを使用し得る。

0095

[00102]エントロピー符号化ユニット116は、ビデオ符号化器20の他の機能構成要素からデータを受信し得る。たとえば、エントロピー符号化ユニット116は、量子化ユニット106から変換係数ブロックを受信し得、予測処理ユニット100からシンタックス要素を受信し得る。エントロピー符号化ユニット116がデータを受信すると、エントロピー符号化ユニット116は、エントロピー符号化データを生成するために、1つまたは複数のエントロピー符号化演算を実行し得る。たとえば、ビデオ符号化器20は、コンテキスト適応型可変長コーディング(CAVLC)演算、CABAC演算、変数間(V2V:variable-to-variable)レングスコーディング演算、シンタックスベースコンテキスト適応型バイナリ算術コーディング(SBAC:syntax-based context-adaptive binary arithmetic coding)演算、確率間隔区分エントロピー(PIPE)コーディング演算、または別のタイプのエントロピー符号化演算をデータに対して実行し得る。エントロピー符号化ユニット116は、エントロピー符号化データを含むビットストリームを出力し得る。

0096

[00103]データに対してエントロピー符号化演算を実行することの一部として、エントロピー符号化ユニット116は、コンテキストモデルを選択し得る。エントロピー符号化ユニット116がCABAC演算を実行している場合、コンテキストモデルは、特定の値を有する特定のビンの確率の推定値を示し得る。CABACのコンテキストでは、「ビン」という用語は、シンタックス要素の2値化されたバージョンのビットを指すために使用される。

マルチレイヤビデオ符号化器

0097

[00104]図2Bは、本開示で説明する態様による技法を実装し得るマルチレイヤビデオ符号化器23の一例を示すブロック図である。ビデオ符号化器23は、SHVCおよびマルチビューコーディングの場合など、マルチレイヤビデオフレームを処理するように構成され得る。さらに、ビデオ符号化器23は、本開示の技法のいずれかまたはすべてを実行するように構成され得る。

0098

[00105]ビデオ符号化器23はビデオ符号化器20Aとビデオ符号化器20Bとを含み、それらの各々はビデオ符号化器20として構成され得、ビデオ符号化器20に関して上記で説明した機能を実行し得る。さらに、参照番号の再利用によって示されるように、ビデオ符号化器20Aおよび20Bは、ビデオ符号化器20としてのシステムおよびサブシステムのうちの少なくともいくつかを含み得る。ビデオ符号化器23は、2つのビデオ符号化器20Aおよび20Bを含むように示されるが、ビデオ符号化器23は、そのように限定されず、任意の数のビデオ符号化器20のレイヤを含み得る。いくつかの実施形態では、ビデオ符号化器23は、アクセスユニット中の各ピクチャまたは各フレームに対してビデオ符号化器20を含み得る。たとえば、5つのピクチャを含むアクセスユニットは、5つの符号化器レイヤを含むビデオ符号化器によって処理または符号化され得る。いくつかの実施形態では、ビデオ符号化器23は、アクセスユニット中のフレームよりも多くの符号化器レイヤを含み得る。いくつかのそのような場合では、ビデオ符号化器のレイヤのうちのいくつかは、いくつかのアクセスユニットを処理するときに非アクティブであり得る。

0099

[00106]ビデオ符号化器20Aおよび20Bに加えて、ビデオ符号化器23は、リサンプリングユニット90を含み得る。リサンプリングユニット90は、場合によっては、たとえば、エンハンスメントレイヤを作成するために、受信されたビデオフレームのベースレイヤをアップサンプリングし得る。リサンプリングユニット90は、フレームの受信されたベースレイヤに関連付けられた特定の情報をアップサンプリングし得るが、他の情報をアップサンプリングしないことがある。たとえば、リサンプリングユニット90は、ベースレイヤの空間サイズまたはピクセルの数をアップサンプリングし得るが、スライスの数またはピクチャ順序カウントは一定のままであり得る。場合によっては、リサンプリングユニット90は、受信されたビデオを処理しないことがあり、および/またはオプションであり得る。たとえば、場合によっては、予測処理ユニット100は、アップサンプリングを実行し得る。いくつかの実施形態では、リサンプリングユニット90は、レイヤをアップサンプリングし、スライス境界ルールおよび/またはラスタスキャンルールのセットに準拠するように、1つまたは複数のスライスを再編成再定義、修正、または調整するように構成される。アクセスユニット中のベースレイヤまたは下位レイヤをアップサンプリングするものとして主に説明したが、場合によっては、リサンプリングユニット90は、レイヤをダウンサンプリングし得る。たとえば、ビデオのストリーミング中に帯域幅が低減した場合、フレームは、アップサンプリングされるのではなく、ダウンサンプリングされ得る。

0100

[00107]リサンプリングユニット90は、下位レイヤ符号化器(たとえば、ビデオ符号化器20A)の復号ピクチャバッファ114からピクチャまたはフレーム(またはピクチャに関連付けられたピクチャ情報)を受信し、ピクチャ(または受信されたピクチャ情報)をアップサンプリングするように構成され得る。このアップサンプリングされたピクチャは、次いで、下位レイヤ符号化器と同じアクセスユニット中のピクチャを符号化するように構成された、上位レイヤ符号化器(たとえば、ビデオ符号化器20B)の予測処理ユニット100に供給され得る。場合によっては、上位レイヤ符号化器は、下位レイヤ符号化器から除去された1つのレイヤである。他の場合には、図2Bのレイヤ0ビデオ符号化器とレイヤ1符号化器との間に、1つまたは複数の上位レイヤ符号化器があり得る。

0101

[00108]場合によっては、リサンプリングユニット90は、省略またはバイパスされ得る。そのような場合、ビデオ符号化器20Aの復号ピクチャバッファ114からのピクチャは、直接、または少なくともリサンプリングユニット90に供給されずに、ビデオ符号化器20Bの予測処理ユニット100に供給され得る。たとえば、ビデオ符号化器20Bに供給されたビデオデータ、およびビデオ符号化器20Aの復号ピクチャバッファ114からの参照ピクチャが、同じサイズまたは解像度である場合、参照ピクチャは、いかなるリサンプリングも伴わずにビデオ符号化器20Bに供給され得る。

0102

[00109]いくつかの実施形態では、ビデオ符号化器23は、ビデオ符号化器20Aにビデオデータを供給する前に、ダウンサンプリングユニット94を使用して下位レイヤ符号化器に供給されるべきビデオデータをダウンサンプリングする。代替的に、ダウンサンプリングユニット94は、ビデオデータをアップサンプリングまたはダウンサンプリングすることが可能なリサンプリングユニット90であり得る。また他の実施形態では、ダウンサンプリングユニット94は省略され得る。

0103

[00110]図2Bに示すように、ビデオ符号化器23は、マルチプレクサ98、すなわちmuxをさらに含み得る。mux98は、ビデオ符号化器23から合成ビットストリームを出力することができる。合成ビットストリームは、ビデオ符号化器20Aおよび20Bの各々からビットストリームを取ることと、所与の時間において出力されるビットストリームを交替することとによって、作成され得る。場合によっては、2つの(または、3つ以上のビデオ符号化器レイヤの場合には、より多くの)ビットストリームからのビットが一度に1ビットずつ交替され得るが、多くの場合、ビットストリームは別様に合成される。たとえば、出力ビットストリームは、選択されたビットストリームを一度に1ブロックずつ交替することによって作成され得る。別の例では、出力ビットストリームは、ビデオ符号化器20Aおよび20Bの各々から非1:1比のブロックを出力することによって作成され得る。たとえば、2つのブロックは、ビデオ符号化器20Aから出力された各ブロックについてビデオ符号化器20Bから出力され得る。いくつかの実施形態では、mux98からの出力ストリームプリプログラムされ得る。他の実施形態では、mux98は、ソースモジュール12を含むソースデバイス上のプロセッサからなど、ビデオ符号化器23の外部のシステムから受信された制御信号に基づいて、ビデオ符号化器20A、20Bからのビットストリームを合成し得る。制御信号は、ビデオソース18からのビデオの解像度またはビットレートに基づいて、リンク16の帯域幅に基づいて、ユーザに関連するサブスクリプション(たとえば、有料サブスクリプション対無料サブスクリプション)に基づいて、またはビデオ符号化器23から望まれる解像度出力を決定するための他のファクタに基づいて生成され得る。

ビデオ復号器

0104

[00111]図3Aは、本開示で説明する態様による技法を実装し得るビデオ復号器の一例を示すブロック図である。ビデオ復号器30は、HEVCの場合など、ビデオフレームの単一のレイヤを処理するように構成され得る。さらに、ビデオ復号器30は、本開示の技法のいずれかまたはすべてを実行するように構成され得る。一例として、動き補償ユニット162および/またはイントラ予測ユニット164は、本開示で説明する技法のうちのいずれかまたはすべてを実行するように構成され得る。一実施形態では、ビデオ復号器30は、本開示で説明する技法のいずれかまたはすべてを実行するように構成されたレイヤ間予測ユニット166をオプションとして含み得る。他の実施形態では、レイヤ間予測は、予測処理ユニット152(たとえば、動き補償ユニット162および/またはイントラ予測ユニット164)によって実行され得、その場合、レイヤ間予測ユニット166は省略され得る。しかしながら、本開示の態様はそのように限定されない。いくつかの例では、本開示で説明する技法は、ビデオ復号器30の様々な構成要素の間で共有され得る。いくつかの例では、追加または代替として、プロセッサ(図示せず)が、本開示で説明する技法のいずれかまたはすべてを実行するように構成され得る。

0105

[00112]説明の目的で、本開示は、HEVCコーディングのコンテキストにおいてビデオ復号器30を説明する。しかしながら、本開示の技法は他のコーディング規格または方法に適用可能であり得る。図3Aに示す例は、シングルレイヤコーデックのためのものである。しかしながら、図3Bに関してさらに説明するように、ビデオ復号器30の一部または全部は、マルチレイヤコーデックの処理のために複製され得る。

0106

[00113]図3Aの例では、ビデオ復号器30は複数の機能構成要素を含む。ビデオ復号器30の機能構成要素は、エントロピー復号ユニット150と、予測処理ユニット152と、逆量子化ユニット154と、逆変換ユニット156と、再構成ユニット158と、フィルタユニット159と、復号ピクチャバッファ160とを含む。予測処理ユニット152は、動き補償ユニット162と、イントラ予測ユニット164と、レイヤ間予測ユニット166とを含む。いくつかの例では、ビデオ復号器30は、図2Aのビデオ符号化器20に関して説明された符号化経路とは全般に逆の復号経路を実行し得る。他の例では、ビデオ復号器30は、より多いか、より少ないか、または異なる機能構成要素を含み得る。

0107

[00114]ビデオ復号器30は、符号化ビデオデータを備えるビットストリームを受信し得る。ビットストリームは、複数のシンタックス要素を含み得る。ビデオ復号器30がビットストリームを受信すると、エントロピー復号ユニット150は、ビットストリームに対して構文解析動作を実行し得る。ビットストリームに対して構文解析動作を実行した結果として、エントロピー復号ユニット150は、ビットストリームからシンタックス要素を抽出し得る。構文解析動作を実行することの一部として、エントロピー復号ユニット150は、ビットストリーム中のエントロピー符号化シンタックス要素をエントロピー復号し得る。予測処理ユニット152、逆量子化ユニット154、逆変換ユニット156、再構成ユニット158、およびフィルタユニット159は、ビットストリームから抽出されたシンタックス要素に基づいて、復号ビデオデータを生成する再構成演算を実行し得る。

0108

[00115]上記で説明したように、ビットストリームは、一連のNALユニットを備え得る。ビットストリームのNALユニットは、ビデオパラメータセットNALユニット、シーケンスパラメータセットNALユニット、ピクチャパラメータセットNALユニット、SEINALユニットなどを含み得る。ビットストリームに対して構文解析動作(parsing operation)を実行することの一部として、エントロピー復号ユニット150は、シーケンスパラメータセットNALユニットからのシーケンスパラメータセット、ピクチャパラメータセットNALユニットからのピクチャパラメータセット、SEI NALユニットからのSEIデータなどを抽出しエントロピー復号する、構文解析動作を実行し得る。

0109

[00116]さらに、ビットストリームのNALユニットは、コード化スライスNALユニットを含み得る。ビットストリームに対して構文解析動作を実行することの一部として、エントロピー復号ユニット150は、コード化スライスNALユニットからコード化スライスを抽出しエントロピー復号する、構文解析動作を実行し得る。コード化スライスの各々は、スライスヘッダとスライスデータとを含み得る。スライスヘッダは、スライスに関するシンタックス要素を含み得る。スライスヘッダ中のシンタックス要素は、スライスを含むピクチャに関連付けられたピクチャパラメータセットを識別するシンタックス要素を含み得る。エントロピー復号ユニット150は、スライスヘッダを復元するために、コード化スライスヘッダ中のシンタックス要素に対してCABAC復号演算などのエントロピー復号演算を実行し得る。

0110

[00117]コード化スライスNALユニットからスライスデータを抽出することの一部として、エントロピー復号ユニット150は、スライスデータ中のコーディングされたCUからシンタックス要素を抽出する構文解析動作を実行し得る。抽出されたシンタックス要素は、変換係数ブロックに関連付けられたシンタックス要素を含み得る。エントロピー復号ユニット150は、次いで、シンタックス要素のうちのいくつかに対してCABAC復号演算を実行し得る。

0111

[00118]エントロピー復号ユニット150が、区分されていないCUに対して構文解析動作を実行した後、ビデオ復号器30は、区分されていないCUに対して再構成演算を実行し得る。区分されていないCUに対して再構成演算を実行するために、ビデオ復号器30は、CUの各TUに対して再構成演算を実行し得る。CUの各TUについて再構成演算を実行することによって、ビデオ復号器30は、CUに関連付けられた残差ビデオブロックを再構成し得る。

0112

[00119]TUに対して再構成演算を実行することの一部として、逆量子化ユニット154は、TUに関連付けられた変換係数ブロックを逆量子化(inverse quantize)、たとえば、逆量子化(de-quantize)し得る。逆量子化ユニット154は、HEVCのために提案された、またはH.264復号規格によって定義された逆量子化処理と同様の方法で、変換係数ブロックを逆量子化し得る。逆量子化ユニット154は、量子化の程度を決定し、同様に、逆量子化ユニット154が適用すべき逆量子化の程度を決定するために、変換係数ブロックのCUに関してビデオ符号化器20によって計算される量子化パラメータQPを使用し得る。

0113

[00120]逆量子化ユニット154が変換係数ブロックを逆量子化した後、逆変換ユニット156は、変換係数ブロックに関連付けられたTUのための残差ビデオブロックを生成し得る。逆変換ユニット156は、TUのための残差ビデオブロックを生成するために、変換係数ブロックに逆変換を適用し得る。たとえば、逆変換ユニット156は、変換係数ブロックに、逆DCT、逆整数変換、逆カルーネンレーベ変換(KLT:Karhunen-Loeve transform)、逆回転変換、逆方向変換、または別の逆変換を適用し得る。いくつかの例では、逆変換ユニット156は、ビデオ符号化器20からのシグナリングに基づいて、変換係数ブロックに適用すべき逆変換を決定し得る。そのような例では、逆変換ユニット156は、変換係数ブロックに関連付けられたツリーブロックの4分木のルートノードにおいてシグナリングされた変換に基づいて、逆変換を決定し得る。他の例では、逆変換ユニット156は、ブロックサイズ、コーディングモードなど、1つまたは複数のコーディング特性から逆変換を推定し得る。いくつかの例では、逆変換ユニット156はカスケード逆変換を適用し得る。

0114

[00121]いくつかの例では、動き補償ユニット162は、補間フィルタに基づく補間を実行することによって、PUの予測ビデオブロックを改良し得る。サブサンプル精度を有する動き補償のために使用されるべき補間フィルタ用の識別子は、シンタックス要素に含まれ得る。動き補償ユニット162は、参照ブロックのサブ整数サンプルについての補間値を計算するために、PUの予測ビデオブロックの生成中にビデオ符号化器20によって使用された同じ補間フィルタを使用し得る。動き補償ユニット162は、受信されたシンタックス情報に従って、ビデオ符号化器20によって使用された補間フィルタを決定し得、予測ビデオブロックを生成するためにその補間フィルタを使用し得る。

0115

[00122]図4に関して以下でさらに説明するように、予測処理ユニット152は、図4に示される方法を実行することによってPU(または他の参照レイヤブロックおよび/またはエンハンスメントレイヤブロックまたはビデオユニット)をコーディング(たとえば、符号化または復号)し得る。たとえば、動き補償ユニット162、イントラ予測ユニット164、またはレイヤ間予測ユニット166は、一緒にまたは別々に、図4に示される方法を実行するように構成され得る。

0116

[00123]PUが、イントラ予測を使用して符号化される場合、イントラ予測ユニット164は、PUのための予測ビデオブロックを生成するためにイントラ予測を実行し得る。たとえば、イントラ予測ユニット164は、ビットストリーム中のシンタックス要素に基づいて、PUのためのイントラ予測モードを決定し得る。ビットストリームは、PUのイントラ予測モードを決定するためにイントラ予測ユニット164が使用し得るシンタックス要素を含み得る。

0117

[00124]いくつかの事例では、イントラ予測ユニット164が現在PUのイントラ予測モードを決定するために別のPUのイントラ予測モードを使用するべきであることを、シンタックス要素が示し得る。たとえば、現在PUのイントラ予測モードが隣接PUのイントラ予測モードと同じであることが起こり得る。言い換えれば、隣接PUのイントラ予測モードは、現在PUに対して最確モードであり得る。したがって、この例では、ビットストリームは、PUのイントラ予測モードが隣接PUのイントラ予測モードと同じであることを示す、小さいシンタックス要素を含み得る。イントラ予測ユニット164は、次いで、空間的に隣接するPUのビデオブロックに基づいてPUのための予測データ(たとえば、予測サンプル)を生成するために、イントラ予測モードを使用し得る。

0118

[00125]上記で説明したように、ビデオ復号器30もレイヤ間予測ユニット166を含み得る。レイヤ間予測ユニット166は、SVCにおいて利用可能である1つまたは複数の異なるレイヤ(たとえば、ベースレイヤまたは参照レイヤ)を使用して、現在ブロック(たとえば、EL中の現在ブロック)を予測するように構成される。そのような予測は、レイヤ間予測と呼ばれることがある。レイヤ間予測ユニット166は、レイヤ間冗長性を低減するための予測方法を利用し、それによって、コーディング効率を改善し、計算リソース要件を低減する。レイヤ間予測のいくつかの例は、レイヤ間イントラ予測と、レイヤ間動き予測と、レイヤ間残差予測とを含む。レイヤ間イントラ予測は、エンハンスメントレイヤ中の現在ブロックを予測するために、ベースレイヤの中でコロケートされているブロックの再構成を使用する。レイヤ間動き予測は、エンハンスメントレイヤ中の動作を予測するために、ベースレイヤの動き情報を使用する。レイヤ間残差予測は、エンハンスメントレイヤの残差を予測するために、ベースレイヤの残差を使用する。レイヤ間予測スキームの各々について、以下でより詳細に説明する。

0119

[00126]再構成ユニット158は、CUのビデオブロックを再構成するために、CUのTUに関連付けられた残差ビデオブロックおよびCUのPUの予測ビデオブロック、たとえば、適用可能なとき、イントラ予測データまたはインター予測データのいずれかを使用し得る。したがって、ビデオ復号器30は、ビットストリーム中のシンタックス要素に基づいて予測ビデオブロックと残差ビデオブロックとを生成し得、予測ビデオブロックと残差ビデオブロックとに基づいてビデオブロックを生成し得る。

0120

[00127]再構成ユニット158がCUのビデオブロックを再構成した後、フィルタユニット159は、CUに関連したブロッキングアーティファクトを低減するためにデブロッキング演算を実行し得る。フィルタユニット159が、CUに関連したブロッキングアーティファクトを低減するためにデブロッキング演算を実行した後、ビデオ復号器30は、CUのビデオブロックを復号ピクチャバッファ160に記憶し得る。復号ピクチャバッファ160は、次の動き補償、イントラ予測、および図1Aまたは図1Bのディスプレイデバイス32などのディスプレイデバイス上での提示のために、参照ピクチャを提供し得る。たとえば、ビデオ復号器30は、復号ピクチャバッファ160の中のビデオブロックに基づいて、他のCUのPUに対して、イントラ予測演算またはインター予測演算を実行し得る。

マルチレイヤ復号器

0121

[00128]図3Bは、本開示で説明する態様による技法を実装し得るマルチレイヤビデオ復号器33の一例を示すブロック図である。ビデオ復号器33は、SHVCおよびマルチビューコーディングの場合など、マルチレイヤビデオフレームを処理するように構成され得る。さらに、ビデオ復号器33は、本開示の技法のいずれかまたはすべてを実行するように構成され得る。

0122

[00129]ビデオ復号器33は、ビデオ復号器30Aとビデオ復号器30Bとを含み、それらの各々はビデオ復号器30として構成され得、ビデオ復号器30に関して上記で説明した機能を実行し得る。さらに、参照番号の再利用によって示されるように、ビデオ復号器30Aおよび30Bは、ビデオ復号器30としてのシステムおよびサブシステムのうちの少なくともいくつかを含み得る。ビデオ復号器33は、2つのビデオ復号器30Aおよび30Bを含むように示されるが、ビデオ復号器33は、そのように限定されず、任意の数のビデオ復号器30のレイヤを含み得る。いくつかの実施形態では、ビデオ復号器33はアクセスユニット中の各ピクチャまたは各フレームに対してビデオ復号器30を含み得る。たとえば、5つのピクチャを含むアクセスユニットは、5つの復号器レイヤを含むビデオ復号器によって処理または復号され得る。いくつかの実施形態では、ビデオ復号器33は、アクセスユニット中のフレームよりも多くの復号器レイヤを含み得る。いくつかのそのような場合では、ビデオ復号器のレイヤのうちのいくつかは、いくつかのアクセスユニットを処理するときに非アクティブであり得る。

0123

[00130]ビデオ復号器30Aおよび30Bに加えて、ビデオ復号器33は、アップサンプリングユニット92を含み得る。いくつかの実施形態では、アップサンプリングユニット92は、フレームまたはアクセスユニットのための参照ピクチャリストに追加されるべきエンハンストレイヤを作成するために、受信されたビデオフレームのベースレイヤをアップサンプリングし得る。このエンハンストレイヤは、復号ピクチャバッファ160に記憶され得る。いくつかの実施形態では、アップサンプリングユニット92は、図2Aのリサンプリングユニット90に関して説明した実施形態の一部または全部を含むことができる。いくつかの実施形態では、アップサンプリングユニット92は、レイヤをアップサンプリングし、スライス境界ルールおよび/またはラスタスキャンルールのセットに準拠するように、1つまたは複数のスライスを再編成、再定義、修正、または調整するように構成される。場合によっては、アップサンプリングユニット92は、受信されたビデオフレームのレイヤをアップサンプリングおよび/またはダウンサンプリングするように構成されたリサンプリングユニットであり得る。

0124

[00131]アップサンプリングユニット92は、下位レイヤ復号器(たとえば、ビデオ復号器30A)の復号ピクチャバッファ160からピクチャまたはフレーム(またはピクチャに関連付けられたピクチャ情報)を受信し、ピクチャ(または受信されたピクチャ情報)をアップサンプリングするように構成され得る。このアップサンプリングされたピクチャは、次いで、下位レイヤ復号器と同じアクセスユニット中のピクチャを復号するように構成された、上位レイヤ復号器(たとえば、ビデオ復号器30B)の予測処理ユニット152に供給され得る。場合によっては、上位レイヤ復号器は、下位レイヤ復号器から除去された1つのレイヤである。他の場合には、図3Bのレイヤ0復号器とレイヤ1復号器との間に、1つまたは複数の上位レイヤ復号器があり得る。

0125

[00132]場合によっては、アップサンプリングユニット92は、省略またはバイパスされ得る。そのような場合、ビデオ復号器30Aの復号ピクチャバッファ160からのピクチャは、直接、または少なくともアップサンプリングユニット92に供給されずに、ビデオ復号器30Bの予測処理ユニット152に供給され得る。たとえば、ビデオ復号器30Bに供給されたビデオデータ、およびビデオ復号器30Aの復号ピクチャバッファ160からの参照ピクチャが、同じサイズまたは解像度である場合、参照ピクチャは、アップサンプリングを伴わずにビデオ復号器30Bに供給され得る。さらに、いくつかの実施形態では、アップサンプリングユニット92は、ビデオ復号器30Aの復号ピクチャバッファ160から受信された参照ピクチャを、アップサンプリングまたはダウンサンプリングするように構成されたリサンプリングユニット90であり得る。

0126

[00133]図3Bに示すように、ビデオ復号器33は、デマルチプレクサ99、すなわちdemuxをさらに含み得る。demux99は、符号化ビデオビットストリームを複数のビットストリームに分割することができ、demux99によって出力された各ビットストリームは、異なるビデオ復号器30Aおよび30Bに供給される。複数のビットストリームは、ビットストリームを受信することによって作成され得、ビデオ復号器30Aおよび30Bの各々は、所与の時間においてビットストリームの一部分を受信する。場合によっては、demux99において受信されるビットストリームからのビットは、ビデオ復号器の各々(たとえば、図3Bの例ではビデオ復号器30Aおよび30B)の間で、一度に1ビットずつ交替され得るが、多くの場合、ビットストリームは別様に分割される。たとえば、ビットストリームは、一度に1ブロックずつビットストリームを受信するビデオ復号器を交替することによって分割され得る。別の例では、ビットストリームは、非1:1比のブロックによって、ビデオ復号器30Aおよび30Bの各々に分割され得る。たとえば、2つのブロックは、ビデオ復号器30Aに供給される各ブロックについてビデオ復号器30Bに供給され得る。いくつかの実施形態では、demux99によるビットストリームの分割は、プリプログラムされ得る。他の実施形態では、demux99は、宛先モジュール14を含む宛先デバイス上のプロセッサからなど、ビデオ復号器33の外部のシステムから受信された制御信号に基づいてビットストリームを分割し得る。制御信号は、入力インターフェース28からのビデオの解像度またはビットレートに基づいて、リンク16の帯域幅に基づいて、ユーザに関連付けられたサブスクリプション(たとえば、有料サブスクリプション対無料サブスクリプション)に基づいて、またはビデオ復号器33によって取得可能な解像度を決定するための他のファクタに基づいて生成され得る。

イントラランダムアクセスポイント(IRAP)ピクチャ

0127

[00134]いくつかのビデオコーディングスキームは、ビットストリームが、ビットストリームの中でそれらのランダムアクセスポイントに先行するいかなるピクチャも復号する必要なく、それらのランダムアクセスポイントのいずれかから始めて復号され得るような、様々なランダムアクセスポイントをビットストリーム全体にわたって提供し得る。そのようなビデオコーディングスキームでは、出力順序においてランダムアクセスポイントに追従するすべてのピクチャ(たとえば、ランダムアクセスポイントを提供するピクチャと同じアクセスユニットの中にあるピクチャを含む)は、ランダムアクセスポイントに先行するいかなるピクチャも使用することなく正しく復号され得る。たとえば、ビットストリームの一部分が送信の間または復号の間に失われても、復号器は、次のランダムアクセスポイントから始めてビットストリームの復号を再開することができる。ランダムアクセスのサポートは、たとえば、動的なストリーミングサービスシーク動作チャネル切替えなどを容易にし得る。

0128

[00135]いくつかのコーディングスキームでは、そのようなランダムアクセスポイントは、イントラランダムアクセスポイント(IRAP)ピクチャと呼ばれるピクチャによって提供され得る。たとえば、layerBの中にあり復号順序においてauAに先行するアクセスユニット(「auB」)の中に含まれるランダムアクセスポイント(または、auAの中に含まれるランダムアクセスポイント)を有するlayerAの各参照レイヤ(「layerB」)(たとえば、layerAを予測するために使用されるレイヤである参照レイヤ)に関して出力順序においてauBに追従するlayerAの中のピクチャ(auBの中に位置するそれらのピクチャを含む)が、auBに先行するlayerAの中のいかなるピクチャも復号する必要なく正しく復号可能であるように、アクセスユニット(「auA」)の中に含まれるエンハンスメントレイヤ(「layerA」)の中のランダムアクセスポイント(たとえば、エンハンスメントレイヤIRAPピクチャによって提供される)は、レイヤ特有のランダムアクセスを提供し得る。

0129

[00136]IRAPピクチャは、イントラ予測(たとえば、他のピクチャを参照することなくコーディングされる)またはレイヤ間予測を使用してコーディングされ得、たとえば、瞬時復号器リフレッシュ(IDR:instantaneous decoder refresh)ピクチャと、クリーンランダムアクセス(CRA:clean random access)ピクチャと、ブロークンリンクアクセス(BLA:broken link access)ピクチャとを含み得る。ビットストリームの中にIDRピクチャがあるとき、復号順序においてIDRピクチャに先行するすべてのピクチャは、IDRピクチャに追従するピクチャによる予測のために使用されない。ビットストリームの中にCRAピクチャがあるとき、CRAピクチャに追従するピクチャは、復号順序においてCRAピクチャに先行するピクチャを予測のために使用してよく、または使用しなくてもよい。復号順序においてCRAピクチャに追従するが、復号順序においてCRAピクチャに先行するピクチャを使用するピクチャは、ランダムアクセススキップドリーディングRASL:random access skipped leading)ピクチャと呼ばれることがある。復号順序においてIRAPピクチャに追従するとともに出力順序においてそれに先行することができる別のタイプのピクチャは、復号順序においてIRAPピクチャに先行するいかなるピクチャへの参照も含まないことがあるランダムアクセス復号可能リーディングRADL:random access decodable leading)ピクチャである。CRAピクチャに先行するピクチャが利用可能でない場合、RASLピクチャは復号器によって廃棄されてよい。BLAピクチャは、(たとえば、2つのビットストリームが互いに接合され、BLAピクチャが復号順序において第2のビットストリームの最初のピクチャであるので)BLAピクチャに先行するピクチャが復号器にとって利用可能でない場合があることを、復号器に示す。IRAPピクチャであるベースレイヤのピクチャ(たとえば、「0」のレイヤID値を有する)を含むアクセスユニット(たとえば、複数のレイヤにわたって同じ出力時間に関連付けられたすべてのコード化ピクチャからなるピクチャのグループ)は、IRAPアクセスユニットと呼ばれ
ることがある。

ネットワークアブストラクションレイヤ(NAL)ユニットおよびパラメータセット

0130

[00137]上記で説明したように、符号化器および復号器によって使用されるパラメータは、それらが利用され得るコーディングレベルに基づいてパラメータセットにグループ化され得る。たとえば、ビットストリーム中の1つまたは複数のコード化ビデオシーケンスによって利用されるパラメータはビデオパラメータセット(VPS)中に含まれ、コード化ビデオシーケンス中の1つまたは複数のピクチャによって利用されるパラメータは、シーケンスパラメータセット(SPS)中に含まれ得る。同様に、ピクチャ中の1つまたは複数のスライスによって利用されるパラメータは、ピクチャパラメータセット(PPS)中に含まれ、単一のスライスに特有である他のパラメータは、スライスヘッダ中に含まれ得る。同様に、特定のレイヤが所与の時間で使用している(アクティブである)パラメータセットのインジケーションは、様々なコーディングレベルで提供され得る。たとえば、特定のレイヤ中のスライスのスライスヘッダがPPSを参照する場合、PPSは、スライスまたはスライスを含むピクチャのためにアクティベートされる。同様にPPSがSPSを参照する場合、SPSは、ピクチャまたはピクチャを含むコード化ビデオシーケンスのためにアクティベートされ、SPSがVPSを参照する場合、VPSは、コード化ビデオシーケンスまたはコード化ビデオシーケンスを含むビデオレイヤのためにアクティベートされる。

0131

[00138]そのようなパラメータセットは、パラメータセットNALユニット(例えば、SPSNALユニット、PPS NALユニット、等)の形式においてビットストリーム中に提供され得る。NALユニットは、ローバイトシーケンスペイロード(RBSP:raw byte sequence payload)およびNALユニットヘッダを備え得る。RBSPは、パラメータセットID(例えば、SPS ID)を規定し得、それは、レイヤがSPSを使用することを示し得る。

シーケンスパラメータセット(SPS)ローバイトシーケンスペイロード(RBSP)のアクティベーション

0132

[00139]SPSRBSPは、1つまたは複数のピクチャパラメータセット(PPS)RBSP、またはアクティブなパラメータセットSEIメッセージを含む1つまたは複数のSEINALユニットによって参照され得るパラメータを含む。各SPS RBSPは、最初に、復号プロセスの開始においていかなるレイヤに対してもアクティブでないとみなされてよい。各レイヤに対して、多くて1つのSPS RBSPが、復号プロセスの間の所与の瞬間においてアクティブであるとみなされ、特定のレイヤに対する任意の特定のSPS RBSPのアクティベーションは、もしあれば、その特定のレイヤに対して前にアクティブであったSPS RBSPのデアクティベーションをもたらす。

0133

[00140]1つのSPSRBSPが、1つを越えるレイヤに対してアクティブなSPS RBSPであってよい。たとえば、ベースレイヤおよびエンハンスメントレイヤが、3としてのSPS IDを有するSPSを参照するPPSを参照するピクチャをともに含む場合、3としてのSPS IDを有するSPSは、参照レイヤとエンハンスメントレイヤの両方に対してアクティブなSPS RBSPである。

0134

[00141](たとえば、特定のSPSIDを有する)SPS RBSPが、XのレイヤID(たとえば、nuh_layer_id)を有する(たとえば、非ゼロのレイヤID値または0よりも大きいレイヤIDを有する)特定の非ベースレイヤに対してすでにアクティブでなく、(たとえば、PPS IDがSPS RBSPの特定のSPS IDに等しい)SPS RBSPがピクチャパラメータセット(PPS)RBSPのアクティベーションによって参照されるとき、SPS RBSPは、特定の非ベースレイヤに対してアクティベートされる。このSPSは、それが特定の非ベースレイヤに対する別のSPS RBSPのアクティベーションによってデアクティベートされるまで、特定の非ベースレイヤに対してアクティブなSPS RBSPとして参照されてよい。

レイヤ初期化ピクチャ(LIP)

0135

[00142]いくつかのコーディングスキームでは、レイヤ初期化ピクチャ(「LIPピクチャ」)は、「1」の値に設定されたNoRaslOutputFlagフラグ(たとえば、値が「1」に設定される場合はRASLピクチャが出力されないことを示し、値が「0」に設定される場合はRASLピクチャが出力されることを示すフラグ)を有するIRAPピクチャであるピクチャ、またはベースレイヤのピクチャ(たとえば、ビットストリームの中で定義される「0」の値としてのレイヤIDまたは最小のレイヤIDを有するピクチャ)が「1」の値に設定されたNoRaslOutputFlagをその中に有するIRAPアクセスユニットである初期IRAPアクセスユニットが含まれるピクチャとして定義され得る。

0136

[00143]いくつかの実施形態では、SPSは、各LIPピクチャにおいてアクティベートされ得る。たとえば、「1」の値に設定されたNoRaslOutputFlagフラグを有する各IRAPピクチャ、または初期IRAPアクセスユニットの中に含まれる各ピクチャ、前にアクティベートされたSPSと異なってよい(たとえば、異なるピクチャ解像度を規定するなど)新しいSPS。しかしながら、LIPピクチャがIRAPピクチャ(たとえば、初期IRAPアクセスユニットの中に含まれる任意のピクチャ)でなく、初期IRAPアクセスユニットの中のベースレイヤのピクチャが「0」の値に設定されたフラグNoClrasOutputFlagフラグ(たとえば、値が1に設定される場合はクロスレイヤランダムアクセススキップピクチャが出力されないことを示し、値が0に設定される場合はクロスレイヤランダムアクセススキップピクチャが出力されることを示すフラグ)を有するIDRピクチャである場合では、LIPピクチャが新しいSPSをアクティベートさせることを許容するべきでない。そのような場合では、そのようなLIPピクチャにおいて新しいSPSがアクティベートされる場合、詳細には、新しいSPSのSPS RBSPのコンテンツが初期IRAPアクセスユニットの前にあらかじめアクティブであったSPSのコンテンツと異なるとき、異なるピクチャ解像度および誤り耐性において問題となることがある。たとえば、新しいSPSは、解像度を更新し、異なるサイズのピクチャを参照するための時間予測を使用することがある。

0137

[00144]いくつかの実施形態では、NoClRasOutputFlagおよびNoRaslOutputFlagは、ビットストリームの中に含まれる情報に基づいて導出される変数であり得る。たとえば、NoRaslOutputFlagは、すべてのIRAPピクチャ(たとえば、BLおよび/またはELの中の)に対して導出され得、NoClRasOutputFlagは、最下位レイヤのピクチャ(たとえば、BLピクチャ)のみに対して導出され得る。NoClRasOutputFlagおよびNoRaslOutputFlagの各々の値は、ビットストリームの中のいくつかのピクチャが、いくつかの参照ピクチャの非利用可能性に起因して正しく復号可能でない場合があることを示し得る。参照ピクチャのそのような非利用可能性は、ランダムアクセスポイントにおいて発生し得る。クロスレイヤランダムアクセススキップ(CL−RAS)ピクチャは、いくつかの点で、RASLピクチャのマルチレイヤ対応である。復号器がランダムアクセスポイント(たとえば、BL IRAPピクチャを有するアクセスユニット)においてビットストリームの復号を開始し、アクセスユニットの中のELピクチャがIRAPピクチャでない場合、そのELピクチャはCL−RASピクチャである。ELの中のすべてのピクチャは、IRAPピクチャがELの中に発生するまでCL−RASピクチャ(たとえば、復号可能だが、正しく復号可能ではない)であり得る。そのようなEL IRAPピクチャがビットストリームの中で提供されるとき、ELは初期化されたと言われることがある。

アクティブSPSRBSPの持続時間

0138

[00145]上記で説明した問題を引き起こし得る、接合ポイント以外の非IRAPピクチャであるLIPピクチャによって新しいSPSのアクティベーションを抑制するために、アクティベートされたSPS RBSPは、ある時間期間の間アクティブにとどまることを強いられ得る。いくつかの実施形態では、特定のレイヤのためにアクティベートされたSPS RBSPは、その特定のレイヤの全部のコード化レイヤワイズビデオシーケンス(CLVS:coded layer-wise video sequence)のためにアクティブにとどまることになる。もしあれば、「0」の値に等しいFirstPicInLayerDecodedFlagを有する次のピクチャまたは「1」の値に等しいNoRaslOutputFlagを有する次のIRAPまでだが、それらを除く、すべてのコード化ピクチャが後に続く、復号順序において、(たとえば、ピクチャがレイヤ中の第1のピクチャであることを示す)「0」の値に等しいFirstPicInLayerDecodedFlagを有するピクチャまたは「1」の値に等しいNoRaslOutputFlagを有するIRAPピクチャを有するから成る、同じレイヤ中にある(たとえば、同じレイヤID値を有する)コード化ピクチャのシーケンスを、CLVSは、参照し得る。

0139

[00146]いくつかの実施形態では、特定のレイヤのためのアクティベートされたSPSRBSPは、以下のような特定のレイヤ中の復号順序におけるピクチャのシーケンスのためにアクティブにとどまることになる:(1)特定のnuh_layer_id値が0に等しい場合、アクティベートされたSPSは、全部のCVSのためにアクティブにとどまるだろう、(2)そうでなければ(たとえば、特定のレイヤのレイヤIDが0に等しくない)、アクティベートされたSPSは、「1」のNoClrasOutputFlagを有しIRAPピクチャであるベースレイヤピクチャを含む初期IRAPアクセスユニットである、または特定のレイヤ中のIRAPピクチャである次のLIPピクチャまで、「1」のNoClrasOutputFlag値を有しIRAPピクチャであるベースレイヤピクチャを含むIRAPアクセスユニット中に含まれIRAPピクチャに含まれないLIPピクチャ、または特定のレイヤ中のIRAPピクチャであるLIPピクチャからアクティブにとどまることになる。

接合ポイントを含むビットストリーム

0140

[00147]図4を参照すると、接合ポイントを有する例示的なビットストリームが記載される。図4は、接合するビットストリーム410および420によって作り出されたマルチレイヤビットストリーム400を示す。ビットストリーム410は、エンハンスメントレイヤ(EL)410Aとベースレイヤ(BL)410Bとを含み、ビットストリーム420は、EL420AとBL420Bとを含む。EL410AはELピクチャ412Aを含み、BL410BはBLピクチャ412Bを含む。EL420Aは、ELピクチャ422A、424A、および426Aを含み、BL420Bは、BLピクチャ422B、424B、および426Bを含む。マルチレイヤビットストリーム400は、アクセスユニット(AU)430〜460をさらに含む。AU430は、ELピクチャ412AとBLピクチャ412Bとを含み、AU440は、ELピクチャ422AとBLピクチャ422Bとを含み、AU450は、ELピクチャ424AとBLピクチャ424Bとを含み、AU460は、ELピクチャ426AとBLピクチャ426Bとを含む。図4の例では、BLピクチャ422BはIRAPピクチャであり、AU440の中の対応するELピクチャ422Aは、末尾のピクチャ(たとえば、非IRAPピクチャ)であり、したがって、AU440はアラインされないIRAP AUである。また、AU440が接合ポイント470の直後にくるアクセスユニットであることに留意されたい。

0141

[00148]図4の例は2つの異なるビットストリームが互いに接合される場合を示すが、いくつかの実施形態では、ビットストリームの一部分が除去されるときに接合ポイントが存在することがある。たとえば、ビットストリームは部分A、B、およびCを有し得、部分Bは部分AとCとの間にある。部分Bがビットストリームから除去される場合、残りの部分AおよびCは互いに接合され得、それらが互いに接合される点は接合ポイントと呼ばれることがある。より一般に、本出願で説明されるような接合ポイントは、1つまたは複数のシグナリングまたは導出されたパラメータまたはフラグが所定の値を有するとき、存在するとみなされてよい。たとえば、接合ポイントが特定のロケーションにおいて存在するという特定のインジケーションを受信しなければ、復号器は、フラグ(たとえば、NoClrasOutputFlag)の値を決定し得、フラグの値に基づいて本出願に記載される1つまたは複数の技法を実行し得る。

新しいパラメータセットのアクティベーションを制限すること

0142

[00149]図5は、本開示の一実施形態による、ビデオ情報をコーディングするための方法500を示すフローチャートである。図5に示すステップは、符号化器(たとえば、図2Aまたは図2Bに示すビデオ符号化器)、復号器(たとえば、図3Aまたは図3Bに示すビデオ復号器)、または任意の他の構成要素によって実行され得る。便宜上、方法500について、符号化器、復号器、または別の構成要素であり得る、コーダによって実行されるものとして説明する。

0143

[00150]方法500は、ブロック501において開始する。ブロック505において、コーダは、エンハンスメントピクチャレイヤ(EL)ピクチャが接合ポイントの非IRAPピクチャであるかどうかを決定する。たとえば、ELピクチャがIDRピクチャ、CRAピクチャ、またはBLAピクチャのうちの任意のものである場合、コーダは、IRAPピクチャになるべきELピクチャを決定し得る。いくつかの実施形態では、コーダは、ELピクチャに関連付けられたNALユニットタイプをチェックすることによってELピクチャがIRAPピクチャであると決定し、方法500は、ブロック520に進む。コーダが、ELピクチャがIRAPピクチャでないと決定した場合、処理500は、ブロック510に進む。

0144

[00151]ブロック510において、コーダは、ELピクチャが接合ポイントであるかどうかを決定する。接合ポイントは、二つのビットストリームが接合されるポイントを示し得る。たとえば、第1のビットストリームの最後のピクチャは、コーディング順序において、第2のピクチャの第1のピクチャの直後に来得る。いくつかの実施形態では、コーダは、ELピクチャが、コーディング順序における接合ポイントに続く第1のピクチャであるかどうかを決定することによってELピクチャが接合ポイントにあるかどうかを決定し得る。ELピクチャが接合ポイントにあるとコーダが決定する場合、方法500は、ブロック520に進む。ELピクチャが接合ポイントにないとコーダ500が決定する場合、方法500は、ブロック515に進む。図4を参照して上記で議論したように、510における決定は、1つまたは複数のシグナルされたまたは導出されたパラメータまたはフラッグ事前決定された値を有するかどうかを決定することを備え得る。たとえば、接合ポイントが特定のロケーションに存在する特有のインジケーションを受信すること無しに、符号化器または復号器は、フラグの値(たとえば、NoClrasOutputFlag)を決定し、決定に基づいてブロック515またはブロック520のいずれかに進み得る。

0145

[00152]ブロック515において、コーダは、新しいパラメータセットのアクティベーションを許可しない。たとえば、コーダは、ELピクチャが新しいSPSをアクティベーションすることを妨げる。コーダは、ELにおける次のIRAPピクチャが処理されるまで、以前アクティベートされたパラメータセットをアクティブにとどまらせることによって新しいパラメータのアクティベーションを許可し得ない。代替として、コーダは、次の接合ポイントまで、以前アクティベートされたパラメータセットをアクティブにとどまらせることによって新しいパラメータセットのアクティベーションを許可し得ない。さらに別の例では、コーダは、ELピクチャを含むコード化ビデオシーケンスの終わりまで、以前アクティベートされたパラメータセットをアクティブにとどまらせることによって新しいパラメータセットを許可し得ない。

0146

[00153]ブロック520において、コーダは、新しいパラメータセットのアクティベーションを許可する。たとえば、コーダは、エンハンストレイヤに、ELのために以前アクティベートしたパラメータセットと異なるパラメータセットを有する新しいパラメータセットを関連付けさせる。方法は、525において終了する。

0147

[00154]上記で説明したように、図2Aのビデオ符号化器20、図2Bのビデオ符号化器23、図3Aのビデオ復号器30、または図3Bのビデオ復号器33(たとえば、レイヤ間予測ユニット128および/またはレイヤ間予測ユニット166)のうちの1つまたは複数の構成要素は、ELピクチャがIRAPピクチャであるかどうかを決定することと、ELピクチャがスライスポイントでのものであるかどうかを決定することと、新しいパラメータセットのアクティベーションを不許可または許可することとなどの、本開示で説明する技法のいずれかを実施するために使用され得る。

0148

[00155]方法500では、図5に示すブロックのうちの1つまたは複数は削除される(たとえば、実行されない)ことがあり、および/または方法が実行される順序は入れ替えられ得る。たとえば、ブロック510が図5に示されるがこれは、コーディング処理単純化するために削除され得る。したがって、本開示の実施形態は、図5に示す例に限定されず、または図5に示す例によって限定されず、他の変形が本開示の趣旨から逸脱することなく実施され得る。

決してアクティベートされないパラメータセット上の制約

0149

[00156]いくつかの実施形態では、アクティブパラメータセット(たとえば、アクティブPPSまたはアクティブSPS)のために特有のビットストリーム適合制約(たとえば、適用可能でありコーダであると決定され、その後、そのコーダに付随する制約)は、イタリック体で示される:「pps_scaling_list_ref_layer_idは、アクティブPPSが現在のPPSとして同じスケーリングリストデータに関連付けられるレイヤのnuh_layer_idの値を規定する。pps_scaling_list_ref_layer_idの値は、0乃至62の範囲すべてを含むだろう。avc_base_layer_flagが1に等しい場合、pps_scaling_list_ref_layer_idが0より大きいのはビットストリーム制約の必要条件である。《nuhLayerIdAに等しいnuh_layer_idを有するPPSがnuhLayerIdBに等しいnuh_layer_idを有するレイヤのためにアクティブであり、PPS中のpps_infer_scaling_list_flagが1に等しいとき、pps_infer_scaling_list_flag
がpps_scaling_list_ref_layer_idに等しいnuh_layer_idを有するレイヤのためにアクティベートされるPPSに対して0に等しくなるのは、ビットストリーム適合の必要条件である。nuhLayerIdAに等しいnuh_layer_idを有するPPSがnuhLayerIdBに等しいnuh_layer_idを有するレイヤのためにアクティブであるとき、pps_scaling_list_ref_layer_idに等しいnuh_layer_idを有するレイヤがnuhLayerIdBに等しいnuh_layer_idを有するレイヤの直接または間接の参照レイヤであるのは、ビットストリーム適合の必要条件である。》(《》は、イタリック体である)」

0150

[00157]いくつかの実施形態では、任意のレイヤによって決してアクティベートされないパラメータセットは、《イタリック体》で示される以下の制限を満たすことが要求される:「シンタックス要素の値と、VPS、SPS、およびPPSにおけるそれらのシンタックス要素および他のシンタックス要素から導出される変数の値との間の関係で表現されるすべての制限は、アクティブVPS、アクティブSPS、およびアクティブPPSにのみ適用する制限の表現である。《ビットストリームにおいて決してアクティベートされない、任意のVPS RBSP、SPS RBSP、およびPPS RBSPが存在する場合、それがそのシンタックス要素は、他の適合するビットストリームにおいて参照することによりアクティベートされた場合の特有の制約に準拠するだろう値を有する。》(《》は、イタリック体である)」

0151

[00158]しかしながら、決してアクティベートされない、VPS、SPS、PPS、等のようなパラメータセットに対して、上記の第1のイタリック体の制約がビットストリーム中にあるが決してアクティベートされないパラメータセットのために満たされるかどうかをチェックするのは困難であり得る。これは、1つのレイヤのためにアクティベートされる場合に所与のパラメータセットが制約を満たす場合でさえも、別のレイヤのためにアクティベート場合に同じパラメータセットが制約を満たし得ないからである。複数のパラメータセットは、(たとえば、アクティベーションより前に、それらがアクティベートされるか否かに関わらず)ビットストリームを通じて単一のレイヤのためにシグナルされることができ、その結果、特定のビットストリームが適合されようとなかろうと、これらのパラメータセットが1つまたは複数のレイヤのためにアクティベートされる場合を除いて決定されることができない。

決してアクティベートされないパラメータセットに対する制約の変更

0152

[00159]いくつかの実施形態では、適合チェックは、ビットストリーム適合制約が他のパラメータセットからの他のシンタックス要素に依存する、決してアクティベートされないパラメータセットのシンタックス要素をビットストリームチェックから除外する。上記で議論された制限は、以下のように修正されることができる:「《ビットストリーム中で決してアクティベートされない任意のVPS RBSP、SPSRBSP、およびPPS RBSPが存在する場合、特定のパラメータセットRBSPのシンタックス要素は、他のパラメータセットRBSPの任意のシンタックス要素の値に依存しないそれら特有の制限に準拠するだろう値を有するだろう。》(《》は、イタリック体である)」

0153

[00160]いくつかの実施形態では、決してアクティベートされないパラメータセットのいくつかの特定のシンタックス要素は、いくつかのルールに従ってビットストリーム適合チェックからスキップされることができる。たとえば、適合チェックは、このパラメータセットがシグナルされるレイヤのためだけに決してアクティベートされないパラメータセットのための適合制約をチェックする。上記で議論された制約は、以下のように修正されることができる:「《ビットストリームにおいて決してアクティベートされない、任意のVPS RBSP、SPSRBSP、およびPPSRBSPが存在する場合、そのシンタックス要素は、それが他の適合ビットストリームにおけるパラメータセット中でシグナルされたレイヤidでの参照によってアクティベートされたか場合の特有の制限に準拠する値を有するだろう。》(《》は、イタリック体である)」

SPSビデオユーザビリティ情報VUI)

0154

[00161]SPSVUIは、スキャンにわたる、サンプルアスペクト比、ソースビデオフォーマット(PAL/NTSC等、サンプル値範囲ソースカラーフォーマット)、フィールドフレーム情報、(クロスレイヤビットストリーム制限を含む)ビットストリーム制限、のような情報を含む。そのような情報は、クロスビットストリーム制限を含み得る。それは、レイヤ特有でないがその代わりにすべてのレイヤに適用できる。したがって、いくつかの既存のコーディングスキームでは、そのような情報は、各SPS中で繰り返され得る。

0155

[00162]いくつかの実施形態では、すべてのSPSVUI情報は、VPS VUI中に含まれ、特定のレイヤに対して、SPSのための任意のVUIパラメータがVPS VUI中のそれと異なる値を有する場合、全体のSPS VUIは、SPS中に直接的にシグナルされ得る。他の場合、SPSは、VUIパラメータを含まず、VUIは、VPSから推論される。

0156

[00163]上記で説明した情報の取り扱いを容易にするために実装されるシンタックスおよびセマンティクスの例の変更、以下の変更が行われる、ここで、追加は、イタリック体で示される:

0157

0158

[00164]sps_vui_in_vps_flagのためのセマンティクスは、以下のように読み得る:「《1に等しいsps_vui_in_vps_flagは、vui_parameters( )シンタックス構造がVPS中に存在することを規定し、VPSを参照するすべてのSPSに適用し、1に等しいsps_vui_from_vps_flagを有する。0に等しいsps_vui_in_vps_flagは、vui_parameters( )シンタックス構造がVPS中に存在しないことを規定する。vps_vui_present_flagが0に等しいとき、sps_vui_in_vps_flagの値は、0に等しくなるべきであると推定される。》(《》はイタリック体である)」

0159

0160

[00165]sps_vui_from_vps_flagのためのセマンティクスは、以下のように読み得る:「《1に等しいsps_vui_from_vps_flagは、SPSに適用可能なvui_parameters( )シンタックス構造が、SPSが参照するVPSにおけるそれと同一であるべきであると推定されるのを規定する。0に等しいsps_vui_from_vps_flagは、SPSに適用可能なvui_parameters( )シンタックス構造が、SPSが参照するVPSから推定されないのを規定する。sps_vui_in_vps_flagが0に等しいとき、sps_vui_from_vps_flagの値は、0に等しくなるだろう。》(《》はイタリック体である)」

0161

[00166]vui_parameters_present_flagのためのセマンティクスは、以下のように読み得る:「《1に等しいvui_parameters_present_flagは、Annex E中で規定されるようなvui_parameters( )シンタックス構造が存在するのを規定する。0に等しいvui_parameters_present_flagは、Annex E中で規定されるようなvui_parameters( )シンタックス構造が存在しないのを規定する。存在しない時、vui_parameters_present_flagは、0に等しいと推定されるだろう。

他の考慮事項

0162

[00167]本明細書で開示された情報および信号は、多種多様な技術および技法のいずれかを使用して表され得る。たとえば、上記の説明全体にわたって参照され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、およびチップは、電圧電流電磁波、磁場もしくは磁性粒子光場もしくは光学粒子、またはそれらの任意の組合せによって表され得る。

0163

[00168]本明細書で開示された実施形態に関して記載された様々な例示的な論理ブロックモジュール、回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、または両方の組合せとして実装され得る。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、およびステップが、概してそれらの機能に関して上記で説明されている。そのような機能性が、ハードウェアまたはソフトウェアのどちらとして実施されるのかは、特定の応用例と、システム全体に課せられる設計制約とに依存する。当業者は、特定の適用例ごとに様々な方法で記載された機能を実装し得るが、そのような実装の決定が、本発明の範囲からの逸脱を引き起こすと解釈されるべきではない。

0164

[00169]本明細書に記載された技術は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せに実装され得る。そのような技法は、汎用コンピュータワイヤレス通信デバイスハンドセット、またはワイヤレス通信デバイスハンドセットおよび他のデバイスにおける適用例を含む複数の用途を有する集積回路デバイスなどの、様々なデバイスのいずれかにおいて実装され得る。モジュールまたは構成要素として記載された任意の特徴は、集積論理デバイス内で一緒に、または個別であるが相互運用可能な論理デバイスとして別々に実装され得る。ソフトウェアに実装された場合、本技法は、実行されたとき、上記で説明された方法のうちの1つまたは複数を実行する命令を含むプログラムコードを備えるコンピュータ可読データ記憶媒体によって、少なくとも部分的に実現され得る。コンピュータ可読データ記憶媒体は、パッケージング材料を含むことがあるコンピュータプログラム製品の一部を形成し得る。コンピュータ可読媒体は、同期型ダイナミックランダムアクセスメモリ(SDRAM)などのランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、不揮発性ランダムアクセスメモリ(NVRAM)、電気消去可プログラマブル読取り専用メモリ(EEPROM(登録商標))、フラッシュメモリ、磁気または光学データ記憶媒体などの、メモリまたはデータ記憶媒体を備え得る。本技法は、追加または代替として、伝搬信号または電波などの、命令またはデータ構造の形態でプログラムコードを搬送または伝達し、コンピュータによってアクセスされ、読み取られ、および/または実行され得るコンピュータ可読通信媒体によって、少なくとも部分的に実現され得る。

0165

[00170]プログラムコードは、1つまたは複数のデジタル信号プロセッサ(DSP)などの1つまたは複数のプロセッサ、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルロジックアレイ(FPGA)、または他の等価の集積回路もしくはディスクリート論理回路を含み得るプロセッサによって実行され得る。そのようなプロセッサは、本開示に記載された技法のいずれかを実行するように構成され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、DSPとマイクロプロセッサの組合せ、複数のマイクロプロセッサ、DSPコア連携する1つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装され得る。したがって、本明細書で使用する「プロセッサ」という用語は、上記の構造、上記の構造の任意の組合せ、または本明細書に記載された技法の実装に適した任意の他の構造もしくは装置のいずれかを指し得る。さらに、いくつかの態様では、本明細書に記載された機能は、符号化および復号のために構成された専用のソフトウェアモジュールもしくはハードウェアモジュール内に提供され得るか、または複合ビデオ符号化器/復号器(コーデック)に組み込まれ得る。また、本技法は、1つまたは複数の回路または論理要素で十分に実装され得る。

0166

[00171]本開示の技法は、ワイヤレスハンドセット、集積回路(IC)またはICのセット(たとえば、チップセット)を含む、多種多様なデバイスまたは装置で実装され得る。様々なコンポーネント、モジュール、またはユニットは、開示されている技術を実行するように構成されたデバイスの機能的態様を強調するように本開示において説明されているが、異なるハードウェアユニットによる実現を必ずしも必要としない。むしろ、上記で説明したように、様々なユニットが、適切なソフトウェアおよび/またはファームウェアとともに、上記で説明した1つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられるか、または相互動作可能なハードウェアユニットの集合によって与えられ得る。

0167

[00172]本発明の様々な実施形態について説明した。これらおよび他の実施形態は、以下の特許請求の範囲内に入る。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ