図面 (/)

技術 ビデオ符号化における適応インター予測の方法と装置

出願人 聯發科技股ふん有限公司
発明者 チェンチンイェースチーウェイフアンハンフアンユウェン
出願日 2016年9月5日 (4年2ヶ月経過) 出願番号 2018-512175
公開日 2018年10月11日 (2年1ヶ月経過) 公開番号 2018-530221
状態 特許登録済
技術分野 TV信号の圧縮,符号化方式
主要キーワード 隣接カラム コンポーネンツ ひずみ計 保存空間 補間フィルター 適応重み ターゲットプラットフォーム 階層木
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2018年10月11日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (6)

課題・解決手段

適応インター予測を用いたビデオ符号化の方法と装置が開示される。選択されたインター予測プロセスが決定され、選択されたインター予測プロセスは、カレントブロックの隣接再構築画素(NRP)を含む第一画素データに基づいて複数のインター予測フィルターから、インター予測フィルターをカレントブロックに選択する。選択されたインター予測プロセスは、さらに、カレントブロックに対応する動き補償参照ブロック周辺の外部動き補償画素(EMCP)に基づいて決定される。NRPとEMCP間のひずみが用いられて、選択されたインター予測フィルターを決定する。ひずみは、NRPとEMCP間の絶対差、または、自乗差の合計を用いて、計算される。

概要

背景

ビデオデータは、保存するための多くの保存空間、および、送信するための広帯域幅を必要とする。高い解像度、および、高いフレームレート成長に伴い、ビデオデータが非圧縮形式で保存、または、送信される場合、ストレージ、または、伝送帯域幅に対する要求は非常に高い。これにより、ビデオデータは、通常、ビデオ符号化技術を用いて、圧縮されたフォーマットで保存、または、送信される。符号化効率は、最新ビデオ圧縮フォーマット、たとえば、H.264/AVC、および、新たなHEVC (高効率ビデオコーディング)標準を用いて、大幅に改善されている。

図1は、ループプロセシングを組み込んだ適応インターイントラビデオ符号化システムを示す図である。インター予測において、動き推定(ME)/動き補償(MC)112が用いられて、一ピクチャ、または、複数のピクチャから、ビデオデータに基づいて、予測データを提供する。スイッチ114は、イントラ予測110、または、インター予測データを選択するとともに、選択された予測データが加算器116に供給されて、残差と称する、予測誤差を生成する。その後、予測誤差は、変換 (T)118、そのあと、量子化(Q)120により処理される。変換、および、量子化された残差は、その後、圧縮ビデオデータに対応するビデオビットストリーム中に含まれるエントロピーエンコーダ122により符号化される。インター予測モードが用いられるとき、リファレンス画像、または、複数のピクチャは、エンコーダ側で再構築されなければならない。それゆえに、変換、および、量子化された残差は、逆量子化(IQ)124と逆変換(IT)126により処理されて、残差をリカバーする。その後、残差は、再構築 (REC)128で、予測データ136に戻して、ビデオデータを再構築する。再構築ビデオデータは、リファレンス画像バッファ134に保存されるとともに、ほかのフレーム予測に用いられる。しかし、ビデオデータが、リファレンス画像バッファに保存される前に、ループフィルター130 (たとえば、非ブロック化フィルター、および/または、サンプ適応オフセット、SAO) が再構築ビデオデータに適用される。

図2は、図1のエンコーダシステムの対応するビデオデコーダシステムブロック図である。エンコーダは、ローカルデコーダも含み、ビデオデータを再構築するので、あるデコーダコンポーネンツは、エントロピーデコーダ210を除いて、エンコーダですでに使用されている。さらに、動き補償220だけがデコーダ側に必要とされる。スイッチ146は、イントラ予測、または、インター予測を選択するとともに、選択された予測データが、リカバーされた残差と結合される再構築 (REC)128に供給される。圧縮された残差に、エントロピーデコーディングを実行する以外に、エントロピーデコーディング210は、さらに、サイド情報のエントロピーデコーディングの責任を負うとともに、サイド情報を対応するブロックに提供する。たとえば、イントラモード情報がイントラ予測110に提供され、インターモード情報が動き補償220に提供され、ループフィルター情報がループフィルター130に提供され、残差は、逆量子化124に提供される。残差は、IQ124、IT126、および、後続の再構築プロセスにより処理されて、ビデオデータを再構築する。さらに、REC128からの再構築ビデオデータは、図2に示されるIQ124、および、IT126を含む一連の処理を経て、符号化アーチファクトを受ける。再構築ビデオデータは、さらに、ループフィルター130により処理される。

高効率ビデオコーディング(HEVC)システムにおいて、H.264/AVCの固定サイズマクロブロックは、符号化ユニット(CU)と称されるフレキシブルブロックにより代替される。CU中の画素は、同じ符号化パラメータ共有して、符号化効率を改善する。CUは、HEVC中で、符号化ツリーユニット(CTU)とも称される最大CU(LCU)から開始される。各CUは、2N×2Nの四角ブロックであり、且つ、所定の最小サイズに到達するまで、再帰的に四個の小さいCUに分割する。CU階層木の分割が行われると、各リーフCUは、予測タイプとPU分割にしたがって、さらに、一つ以上の予測ユニット(PU)に分割される。さらに、変換符号化基本ユニットは、変換ユニット(TU)と称される四角サイズである。

HEVCにおいて、イントラ、および、インター予測が各ブロック(すなわち、PU)に適用される。イントラ予測モードは、空間的隣接再構築画素を用いて、方位予測を生成する。一方、インター予測モードは、一時的な再構築参照フレームを用いて、動き補償予測を生成する。変換、量子化、および、エントロピーコーディングを用いて、予測残差が符号化される。さらに正確な予測が、小さい予測残差につながり、次に、圧縮されたデータ (すなわち、高い圧縮比)を生む

インター予測は、フレーム間の画素の相互関係調査するとともに、シーンが変化しない、または、動き並進する場合、効率がよくなる。このような場合、動き推定は、一時的に隣接するフレームで、同様の画素値を有する同様のブロックを容易に見つける。HEVCにおけるインター予測において、インター予測は、単方向予測、または、双方向予測である。単方向予測において、カレントブロックは、前に符号化されたピクチャで、一参照ブロックにより予測される。双方向予測において、カレントブロックは、前に符号化された二個のピクチャで、二個の参照ブロックにより予測される。二個の参照ブロックからの予測が平均化されて、双方向予測で、最終予測を生成する。

概要

適応インター予測を用いたビデオ符号化の方法と装置が開示される。選択されたインター予測プロセスが決定され、選択されたインター予測プロセスは、カレントブロックの隣接再構築画素(NRP)を含む第一画素データに基づいて複数のインター予測フィルターから、インター予測フィルターをカレントブロックに選択する。選択されたインター予測プロセスは、さらに、カレントブロックに対応する動き補償参照ブロック周辺の外部動き補償画素(EMCP)に基づいて決定される。NRPとEMCP間のひずみが用いられて、選択されたインター予測フィルターを決定する。ひずみは、NRPとEMCP間の絶対差、または、自乗差の合計を用いて、計算される。

目的

インター予測において、動き推定(ME)/動き補償(MC)112が用いられて、一ピクチャ、または、複数のピクチャから、ビデオデータに基づいて、予測データを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

ビデオ符号化インター予測の方法であって、前記方法は、カレントピクチャ中、カレントブロックに関連する入力データを受信する工程と、選択されたインター予測プロセスを決定し、前記カレントブロックの隣接再構築画素を有する第一画素データに基づいて、前記選択されたインター予測プロセスは、複数のインター予測フィルターから、インター予測フィルターを前記カレントブロックに選択する工程と、前記選択されたインター予測プロセスを用いて、前記カレントブロックを符号化、または、復号する工程と、を有することを特徴とする方法。

請求項2

前記第一画素データは、さらに、前記カレントブロックに対応する動き補償参照ブロック周辺の外部動き補償画素を有することを特徴とする請求項1に記載の方法。

請求項3

前記カレントブロックの前記隣接再構築画素と前記動き補償参照ブロック周辺の前記外部動き補償画素間のひずみが用いられて、インター予測フィルターを決定することを特徴とする請求項2に記載の方法。

請求項4

前記ひずみは、前記カレントブロックの前記隣接再構築画素と前記動き補償参照ブロック周辺の前記外部動き補償画素間の絶対差の合計を用いて計算されることを特徴とする請求項3に記載の方法。

請求項5

前記ひずみは、前記カレントブロックの前記隣接再構築画素と前記動き補償参照ブロック周辺の前記外部動き補償画素間の自乗差の合計を用いて計算されることを特徴とする請求項3に記載の方法。

請求項6

前記第一画素データは、前記カレントブロックの動き情報と前記隣接再構築画素の動き情報に基づいて選択されることを特徴とする請求項1に記載の方法。

請求項7

前記カレントブロックの前記隣接再構築画素は、前記カレントブロックの上部境界上方の隣接画素の一つ以上のロウを有することを特徴とする請求項1に記載の方法。

請求項8

前記カレントブロックの前記隣接再構築画素は、前記カレントブロックの左境界の左に隣接する画素の一つ以上のカラムを有することを特徴とする請求項1に記載の方法。

請求項9

前記カレントブロックの前記隣接再構築画素は、サブサンプリングを用いて選択されることを特徴とする請求項1に記載の方法。

請求項10

前記複数のインター予測フィルターは、異なる数量のフィルタータップ、異なるフィルター係数、または、両方を有することを特徴とする請求項1に記載の方法。

請求項11

前記選択されたインター予測プロセスは、複数のインター予測フィルターをサポートするインター予測プロセス、双方向予測複数組重み付け係数をサポートするインター予測プロセス、または、複数のインター予測フィルターと複数組の重み付け係数両方をサポートするインター予測プロセスを含む一群のインター予測プロセス間の選択により決定されることを特徴とする請求項1に記載の方法。

請求項12

前記一群のインター予測プロセスに関連する情報は、ビデオビットストリームの配列レベルピクチャレベル、または、スライスレベルシグナリングされることを特徴とする請求項11に記載の方法。

請求項13

前記一群のインター予測プロセスは、スライスタイプ予測モード、または、動き情報にしたがって決定されることを特徴とする請求項11に記載の方法。

請求項14

前記選択されたインター予測プロセスの情報は、明示的に、エンコーダからデコーダにシグナリングされることを特徴とする請求項11に記載の方法。

請求項15

選択されたインター予測プロセスを用いて有効にするか、無効にするかは、ビデオビットストリームの配列レベル、ピクチャレベル、スライスレベル、符号化ユニットレベル、または、予測ユニットレベルでシグナリングされることを特徴とする請求項1に記載の方法。

請求項16

ビデオ符号化のインター予測の方法であって、前記方法は、カレントピクチャで、カレントブロックに関連する入力データを受信する工程と、選択されたインター予測プロセスを決定し、前記選択されたインター予測プロセスは、複数組の重み付け係数から、一組の重み付け係数を、双方向の前記カレントブロックに選択する工程、および、前記選択されたインター予測プロセスを用いて、前記カレントブロックを符号化、または、復号する工程、を有することを特徴とする方法。

請求項17

複数組の重み付け係数は、 [0.5, 0.5], [0.25, 0.75], [0.75, 0.25], [0.375, 0.625]および [0.625, 0.375]を有することを特徴とする請求項16に記載の方法。

請求項18

前記カレントブロックの隣接再構築画素と前記カレントブロックに対応する動き補償参照ブロック周辺の外部動き補償画素間のひずみが用いられて、前記組の重み付け係数を決定し、第一動き情報に関連する第一予測、および、第二動き情報に関する第二予測は、前記カレントブロックの前記隣接再構築画素の各画素にただ一度だけ生成され、前記第一予測と前記第二予測に関連する合計と差が、前記カレントブロックの前記隣接再構築画素の各画素に決定されることを特徴とする請求項17に記載の方法。

請求項19

前記複数の重み付け係数[0.5, 0.5], [0.625, 0.375], [0.375, 0.625], [0. 75, 0.25]および [0.25, 0. 75] に関連する前記ひずみは、それぞれ、D0= (X<<3) - Q, D1 = D0 - R, D2 = D0 + R, D3 = D1 - Rおよび D4 = D2 + R として計算され、Xは、前記カレントブロックの前記隣接再構築画素の再構築値を示すことを特徴とする請求項18に記載の方法。

請求項20

前記選択されたインター予測プロセスは、前記カレントブロックの隣接再構築画素を含む第一画素データに基づいて決定されることを特徴とする請求項16に記載の方法。

請求項21

前記選択されたインター予測プロセスは、前記カレントブロックに対応する動き補償参照ブロック周辺の外部動き補償画素を有する第一画素データに基づいて決定されることを特徴とする請求項16に記載の方法。

請求項22

前記組の重み付け係数の選択は、配列レベル、ピクチャレベル、スライスレベル、符号化ユニットレベル、または、予測ユニットレベルで、デコーダに明示的にシグナリングされることを特徴とする請求項16に記載の方法。

請求項23

ビデオ符号化におけるインター予測の装置であって、前記装置は、一つ以上の電子回路、または、プロセッサを有し、カレントピクチャで、カレントブロックに関連する入力データを受信し、選択されたインター予測プロセスを決定し、前記カレントブロックの隣接再構築画素を含む第一画素データに基づいて、前記選択されたインター予測プロセスは、複数のインター予測フィルターから、インター予測フィルターを前記カレントブロックに選択し、前記選択されたインター予測プロセスを用いて、前記カレントブロックを符号化、または、復号する、ことを特徴とする装置。

請求項24

ビデオ符号化におけるインター予測の装置であって、前記装置は、一つ以上の電子回路、または、プロセッサを有し、カレントピクチャで、カレントブロックに関連する入力データを受信し、選択されたインター予測プロセスを決定し、前記選択されたインター予測プロセスは、複数組の重み付け係数から、一組の重み付け係数を、双方向の前記カレントブロックに選択し、前記選択されたインター予測プロセスを用いて、前記カレントブロックを符号化、または、復号する、ことを特徴とする装置。

技術分野

0001

本出願は、2015年9月6日に出願されたPCT/CN2015/088952号の優先権を主張するものであり、参照によりその全体が本願に組み込まれる。

0002

本発明は、ビデオデータのビデオ符号化に関するものであって、特に、符号化効率を改善する、ビデオ符号化における適応インター予測に関するものである。

背景技術

0003

ビデオデータは、保存するための多くの保存空間、および、送信するための広帯域幅を必要とする。高い解像度、および、高いフレームレート成長に伴い、ビデオデータが非圧縮形式で保存、または、送信される場合、ストレージ、または、伝送帯域幅に対する要求は非常に高い。これにより、ビデオデータは、通常、ビデオ符号化技術を用いて、圧縮されたフォーマットで保存、または、送信される。符号化効率は、最新ビデオ圧縮フォーマット、たとえば、H.264/AVC、および、新たなHEVC (高効率ビデオコーディング)標準を用いて、大幅に改善されている。

0004

図1は、ループプロセシングを組み込んだ適応インターイントラビデオ符号化システムを示す図である。インター予測において、動き推定(ME)/動き補償(MC)112が用いられて、一ピクチャ、または、複数のピクチャから、ビデオデータに基づいて、予測データを提供する。スイッチ114は、イントラ予測110、または、インター予測データを選択するとともに、選択された予測データが加算器116に供給されて、残差と称する、予測誤差を生成する。その後、予測誤差は、変換 (T)118、そのあと、量子化(Q)120により処理される。変換、および、量子化された残差は、その後、圧縮ビデオデータに対応するビデオビットストリーム中に含まれるエントロピーエンコーダ122により符号化される。インター予測モードが用いられるとき、リファレンス画像、または、複数のピクチャは、エンコーダ側で再構築されなければならない。それゆえに、変換、および、量子化された残差は、逆量子化(IQ)124と逆変換(IT)126により処理されて、残差をリカバーする。その後、残差は、再構築 (REC)128で、予測データ136に戻して、ビデオデータを再構築する。再構築ビデオデータは、リファレンス画像バッファ134に保存されるとともに、ほかのフレーム予測に用いられる。しかし、ビデオデータが、リファレンス画像バッファに保存される前に、ループフィルター130 (たとえば、非ブロック化フィルター、および/または、サンプ適応オフセット、SAO) が再構築ビデオデータに適用される。

0005

図2は、図1エンコーダシステムの対応するビデオデコーダシステムブロック図である。エンコーダは、ローカルデコーダも含み、ビデオデータを再構築するので、あるデコーダコンポーネンツは、エントロピーデコーダ210を除いて、エンコーダですでに使用されている。さらに、動き補償220だけがデコーダ側に必要とされる。スイッチ146は、イントラ予測、または、インター予測を選択するとともに、選択された予測データが、リカバーされた残差と結合される再構築 (REC)128に供給される。圧縮された残差に、エントロピーデコーディングを実行する以外に、エントロピーデコーディング210は、さらに、サイド情報のエントロピーデコーディングの責任を負うとともに、サイド情報を対応するブロックに提供する。たとえば、イントラモード情報がイントラ予測110に提供され、インターモード情報が動き補償220に提供され、ループフィルター情報がループフィルター130に提供され、残差は、逆量子化124に提供される。残差は、IQ124、IT126、および、後続の再構築プロセスにより処理されて、ビデオデータを再構築する。さらに、REC128からの再構築ビデオデータは、図2に示されるIQ124、および、IT126を含む一連の処理を経て、符号化アーチファクトを受ける。再構築ビデオデータは、さらに、ループフィルター130により処理される。

0006

高効率ビデオコーディング(HEVC)システムにおいて、H.264/AVCの固定サイズマクロブロックは、符号化ユニット(CU)と称されるフレキシブルブロックにより代替される。CU中の画素は、同じ符号化パラメータ共有して、符号化効率を改善する。CUは、HEVC中で、符号化ツリーユニット(CTU)とも称される最大CU(LCU)から開始される。各CUは、2N×2Nの四角ブロックであり、且つ、所定の最小サイズに到達するまで、再帰的に四個の小さいCUに分割する。CU階層木の分割が行われると、各リーフCUは、予測タイプとPU分割にしたがって、さらに、一つ以上の予測ユニット(PU)に分割される。さらに、変換符号化基本ユニットは、変換ユニット(TU)と称される四角サイズである。

0007

HEVCにおいて、イントラ、および、インター予測が各ブロック(すなわち、PU)に適用される。イントラ予測モードは、空間的隣接再構築画素を用いて、方位予測を生成する。一方、インター予測モードは、一時的な再構築参照フレームを用いて、動き補償予測を生成する。変換、量子化、および、エントロピーコーディングを用いて、予測残差が符号化される。さらに正確な予測が、小さい予測残差につながり、次に、圧縮されたデータ (すなわち、高い圧縮比)を生む

0008

インター予測は、フレーム間の画素の相互関係調査するとともに、シーンが変化しない、または、動き並進する場合、効率がよくなる。このような場合、動き推定は、一時的に隣接するフレームで、同様の画素値を有する同様のブロックを容易に見つける。HEVCにおけるインター予測において、インター予測は、単方向予測、または、双方向予測である。単方向予測において、カレントブロックは、前に符号化されたピクチャで、一参照ブロックにより予測される。双方向予測において、カレントブロックは、前に符号化された二個のピクチャで、二個の参照ブロックにより予測される。二個の参照ブロックからの予測が平均化されて、双方向予測で、最終予測を生成する。

発明が解決しようとする課題

0009

多くのビデオ符号化標準において、分数動きベクトルサポートされる。たとえば、HEVC標準において、分数の動き補償は、それぞれ、ルマ素子の所定の8タップ補間フィルター、および、クロマ素子の所定の4タップ補間フィルターを用いて実施される。しかし、HEVCにおけるインター予測のプロセスは固定である。たとえば、双方向予測の重み付け係数(すなわち、0.5と0.5)、または、分数の動き補償のフィルター係数は固定である。これにより、従来のインター予測は、ブロックの局所特性に適合しない、よって、インター予測の圧縮効率をさらに改善するため、適応インター予測方法を発展させることが必要である。
本発明は、適応インター予測を用いたビデオ符号化の方法と装置を提供する。

課題を解決するための手段

0010

適応インター予測を用いたビデオ符号化の方法と装置が開示される。本発明によると、選択されたインター予測プロセスが決定され、選択されたインター予測プロセスは、カレントブロックの隣接再構築画素を含む第一画素データに基づいて、複数のインター予測フィルターから、インター予測フィルターをカレントブロックに選択する。その後、カレントブロックは、選択されたインター予測プロセスを用いて符号化、または、復号される。第一画素データは、さらに、カレントブロックに対応する動き補償参照ブロック周辺の外部動き補償画素を有する。カレントブロックの隣接再構築画素と動き補償参照ブロック周辺の外部動き補償画素間のひずみが用いられて、インター予測フィルターを決定する。ひずみは、カレントブロックの隣接再構築画素と動き補償参照ブロック周辺の外部動き補償画素間の絶対差、または、自乗差の合計を用いて計算される。第一画素データは、カレントブロックの動き情報、および、カレントブロックの隣接再構築画素の動き情報に基づいて選択される。カレントブロックの隣接再構築画素は、カレントブロックの上部境界で、隣接する画素の一つ以上のロウ、または、カラムを有する。カレントブロックの隣接再構築画素は、サブサンプリングを用いて選択される。

0011

一実施形態において、複数のインター予測フィルターは、異なる数量のフィルタータップ、異なるフィルター係数、または、両方を有する。選択されたインター予測プロセスは、複数のインター予測フィルターをサポートするインター予測プロセス、双方向予測の複数組の重み付け係数をサポートするインター予測プロセス、または、複数のインター予測フィルターと複数組の重み付け係数両方をサポートするインター予測プロセスを含む一群のインター予測プロセス間の選択により決定される。この群のインター予測プロセスに関連する情報は、ビデオビットストリームの配列レベル、ピクチャレベル、または、スライスレベルシグナリングされる。この群のインター予測プロセスは、スライスタイプ予測モード、または、動き情報にしたがって決定される。選択されたインター予測プロセスの情報は、明示的に、エンコーダからデコーダにシグナリングされる。選択されたインター予測プロセスを用いて有効にするか、無効にするかは、ビデオビットストリームの配列レベル、ピクチャレベル、スライスレベル、符号化ユニットレベル、または、予測ユニットレベルでシグナリングされる。

0012

別の実施形態において、選択されたインター予測プロセスが決定され、選択されたインター予測プロセスは、複数組の重み付け係数から、一組の重み付け係数を、双方向予測のカレントブロックに選択させ、その後、カレントブロックは、選択されたインター予測プロセスを用いて、符号化、または、復号される。複数組の重み付け係数は、 [0.5, 0.5], [0.25, 0.75], [0.75, 0.25], [0.375, 0.625]および [0.625, 0.375]を有する。複数組の重み付け係数の場合において、カレントブロックの隣接再構築画素とカレントブロックに対応する動き補償参照ブロック周辺の外部動き補償画素間のひずみが用いられて、一組の重み付け係数を決定する。第一動き情報に関する第一予測と第二動き情報に関する第二予測は、たった一度だけ、カレントブロックの隣接再構築画素の各画素に生成される。第一予測と第二予測に関連する合計と差が、カレントブロックの隣接再構築画素の各画素に決定される。その後、重み付け係数[0.5, 0.5], [0.625, 0.375], [0.375, 0.625], [0.75, 0. 25]および [0. 25, 0. 75] に関するひずみは、それぞれ、D0= (X<<3) - Q, D1 = D0 - R, D2 = D0 + R, D3 = D1 - Rおよび D4 = D2 + Rとして計算され、Xは、カレントブロックの隣接再構築画素の再構築値を示す。

図面の簡単な説明

0013

変換、量子化、および、ループプロセシングを用いた適応インター/イントラビデオ符号化システムを示す図である。

0014

変換、量子化、および、ループプロセシングを用いた適応インター/イントラビデオ復号化システムを示す図である。

0015

本発明の一実施形態によるカレントブロックの隣接再構築画素とカレントブロックに対応する動き補償参照ブロックの拡張動き補償画素間のひずみに基づいた、選択されたインター予測プロセスにより、インター予測方法を選択することによる適応インター予測を示す図である。

0016

本発明の一実施形態によるカレントブロックの隣接再構築画素とカレントブロックに対応する動き補償参照ブロックの拡張動き補償画素間のひずみに基づいた、選択されたインター予測プロセスにより、三候補間で補間フィルターを選択することによる適応インター予測を示す図である。

0017

本発明の一実施形態による適応インター予測を用いたビデオ符号化システムのフローチャートである。

実施例

0018

以下の記述は、本発明を実行する最高予定モードである。この記述は、本発明の一般概念を説明するためのものであり、範囲の限定を意図するものではない。本発明は、付加される請求項を基準とすることにより最適に決定される。

0019

前述されたように、従来のインター予測は、予想以上に静的で、且つ、基本ビデオ中の局所特性に適合しない。したがって、本発明の一実施形態において、カレントブロックと隣接再構築画素間の相互関係が用いられて、インター予測の局所的適応を達成する。本方法は、適応インター予測と称される。

0020

一実施形態において、二個以上のインター予測プロセスが用いられ、且つ、カレントブロック周辺の隣接再構築画素が、選択されたインター予測プロセスに用いられて、補間フィルター、および/または、カレントブロックの一組の重み付け係数に対応するインター予測方法を選択する。二個以上のインター予測プロセスは、双方向の異なる補間フィルター(インター予測フィルターとも称される)をサポートするインター予測プロセス、および/または、異なる組の重み付け係数をサポートするインター予測プロセスに対応する。異なる補間フィルターは、異なる数量のフィルタータップ、および/または、異なるフィルター係数に対応する。

0021

一実施形態において、異なるインター予測フィルター間の選択は、カレントブロック周辺の隣接再構築画素(NRP) に基づく。異なるインター予測フィルター間の選択は、さらに、カレントブロック周辺の隣接再構築画素の外部動き補償画素に基づく。隣接再構築画素は、カレントブロックと隣接再構築画素の動き情報に基づいて選択される。たとえば、カレントブロックの動き情報が、左側のCUと同じであるが、前のCUと異なる場合、カレントブロックと隣接再構築画素の動き情報間の動作比較に基づいて、カレントブロックの左境界の隣接再構築画素だけが選択されて、複数のフィルターから、インター予測フィルターを決定する。前述の実施形態において、異なるインター予測フィルター間の選択が暗黙に引き出される。しかし、別の実施形態において、異なるインター予測フィルター間の選択は、明示的にシグナリングされる。

0022

図3は、本発明の一実施形態による選択されたインター予測プロセスにより、インター予測方法を選択する例を示す図である。図3において、隣接再構築画素(NRP)は、カレントブロック310の上部境界上方のN個の上方隣接ロウ312、および、カレントブロック310の左境界の左側のN個の左側隣接カラム(すなわち、垂直線)314を有する。一例において、カレントブロック310の隣接再構築画素は、サブサンプリングを用いて選択される。拡張動き補償予測または画素(EMCP)は、動き補償参照ブロック320の上部境界上方のN個の上方隣接ロウ322、および、動き補償参照ブロック320の左境界の左側のN個の左側隣接カラム (すなわち、垂直線)324を有する。動き補償参照ブロック320は、カレントブロック310と動きベクトル330の位置に従って識別される。動きベクトルは、整数精度、または、分数画素改造度を有する。したがって、整数動き補償、または、分数動き補償が用いられる。

0023

従来のインター予測と比較すると、複数の候補中から、一つのインター予測方法を選択するため、上述の実施形態は、NRPとEMCPに関連する追加動き補償を実行することが必要である。

0024

Nは、1、または、それより大きい整数である。図3に示されるNRPとEMCPの配置は、一実施形態による例を説明する目的であり、且つ、本発明を制限するものとして解釈される。たとえば、上部隣接ラインの数量は、左側隣接ラインと異なっていてもよい。

0025

図4は、本発明の一実施形態による適応インター予測プロセスの例を示す図である。この例において、三種の補間フィルターがビデオ符号化システムに用いられる。図4に示されるように、適応インター予測プロセスは、最初に、これらの三個の補間フィルターを用いて、カレントブロック(410)周辺の隣接再構築画素(412) に動き補償を実行して、外部動き補償参照ブロック(420a、420b、420c)周辺の動き補償画素(422a、422b、422c)を生成する。その後、隣接再構築画素 (412) と外部動き補償画素 (422a、422b、422c)間のひずみが、これらの三種の補間フィルターに計算される。最小のひずみを有する補間フィルターが用いられて、カレントブロックの予測を生成する。単方位予測において、適応インター予測は、異なる補間フィルターから、一フィルターを適応的に選択することにより達成される。上述のように、整数動き補償、または、分数動き補償が用いられる。

0026

別の実施形態において、双方向予測にとって、適応インター予測は、二予測間で、異なる組の重み付け係数、たとえば、 [0.5, 0.5], [0.25, 0.75], [0.75, 0.25], [0.375, 0.625]、または、 [0.625, 0.375]をサポートすることにより実行される。この実施形態において、一組の重み付け係数は、カレントブロックの隣接再構築画素、および/または、カレントブロックに対応する動き補償参照ブロック周辺の外部動き補償画素に基づいて選択される。たとえば、隣接再構築画素と外部動き補償画素間のひずみにしたがって、一組の重み付け係数が選択されて、カレントブロックを符号化、または、復号する。しかし、従来の双方向予測において、重み付け係数[0.5, 0.5] が常に用いられる。

0027

別の実施形態において、異なる補間フィルターのように、二予測の異なる重み付け係数も、双方向予測で用いられる。

0028

さらに別の実施形態において、異なるインター予測方法が結合されて、別のインター予測方法を生成する。たとえば、特定組の重み付け係数と特定の補間フィルターのユニークな組み合わせがインター予測方法となるように、異なる組の重み付け係数は可変補間フィルターと組み合わされる。サポートされる一組の重み付け係数とサポートされる補間フィルターからのインター予測プロセスの選択は、カレントブロックの隣接再構築画素、および/または、カレントブロックに対応する動き補償参照ブロック周辺の外部動き補償画素に基づく。

0029

さらに別の実施形態において、隣接再構築画素と外部動き補償画素間のひずみは、絶対差の合計、二乗誤差の合計などとして測定される。

0030

さらに別の実施形態において、適応重み付け係数を有する双方向予測において、一組の候補重み付け係数の効率のよいひずみ計算が開示される。また、隣接再構築画素に、追加動き補償を行う必要がある。Xは、隣接再構築画素の再構築値を示す:
1) 動き補償を実行するとともに、二個の対応する動きベクトルに関連する隣接再構築画素の予測P0とP1を得る。
2) Q = (P0+P1)<<2
3) R = P0-P1
4) 重み付け係数 [0.5, 0.5]のひずみは、D0= (X<<3) - Qとして計算される。
5) 重み付け係数 [0.625, 0.375]のひずみは、D1 = D0 - Rとして計算される。
6) 重み付け係数 [0.375, 0.625]のひずみは、D2 = D0 + Rとして計算される。
7) 重み付け係数 [0.75, 0.25]のひずみは、D3 = D1 - Rとして計算される。
8) 重み付け係数 [0.25, 0.75] のひずみは、D4 = D2 + Rとして計算される。

0031

上述の説明の表現は、簡単な表記法P0、P1、QとRを用い、隣接再構築画素中の画素位置のインデックスが減少する。ひずみD0からD4が、隣接再構築画素中の個々の画素のひずみの合計として計算される。上述のように、工程1で、たったひとつの動き補償が、各隣接する再構築画素に実行され、その後、全組の候補重み付け係数のひずみは、以下のステップで生成される。とくに、二予測の合計に関連する可変Qが、工程2で計算される。さらに、二予測の差異に関連する可変Rが工程3で計算される。各種組の重み付け係数に関連するひずみは、別の組の重み付け係数のQ、R、および/または、前に計算されたひずみに基づいて、効率よく計算される。

0032

別の実施形態において、異なる適応インター予測プロセス間のサポートされる適応インター予測プロセスの選択は、配列レベル、ピクチャレベル、または、スライスレベルでシグナリングされる。サポートされる適応インター予測プロセスの選択は、スライスタイプ、予測モード、または、動き情報に基づく。さらに、適応インター予測を有効にするかどうかが、配列レベル、ピクチャレベル、スライスレベル、符号化ユニットレベル、または、予測ユニットレベルでシグナリングされる。

0033

さらに別の実施形態において、適応重み付け係数を有する双方向予測の選択は、配列レベル、ピクチャレベル、スライスレベル、符号化ユニットレベル、または、予測ユニットレベルで、デコーダに明示的にシグナリングされる。

0034

図5は、本発明の一実施形態による適応インター予測を用いたビデオ符号化システムのフローチャートである。エンコーダ側で、入力データは、符号化される画素データに対応する。デコーダ側で、入力データは、カレントブロックを含む符号化データ、および、その他の関連するデータに関連する。この方法によると、工程510において、カレントピクチャのカレントブロックに関連する入力データを受信する。工程520において、選択されたインター予測プロセスを決定し、選択されたインター予測プロセスは、カレントブロックの隣接再構築画素を含む第一画素データに基づいて、複数のインター予測フィルターから、インター予測フィルターを、カレントブロックに選択する。工程530において、選択されたインター予測プロセスを用いて、カレントブロックを符号化、または、復号する。

0035

示されるフローチャートは、本発明によるビデオ符号化の例を説明することを目的としている。当業者は、各工程を修正、複数の工程を再設定、工程を分割することができ、あるいは、本発明の精神を逸脱しない範囲で、工程を組み合わせて、本発明を実施することができる。この開示において、特定の構文解析、および、意味論が用いられて、例を説明し、本発明の実施形態を実施している。当業者は、本発明の精神を逸脱しない条件下で、構文解析と意味論を、同等の構文解析と意味論で代替することにより、本発明を実施することができる。

0036

上の記述が提供されて、当業者は、特定のアプリケーション、および、その要求の状況中に提供されるように本発明を実施することができる。記述される当業者なら、実施形態の各種修正を理解することができ、且つ、ここで定義される一般原則はその他の実施形態に用いられる。よって、本発明は、示される特定の実施形態に制限することを目的としていないが、ここで開示される原理新規特徴と一致する広い範囲が与えられる。上述の詳細な記述において、各種特定の詳細が説明されて、本発明の完全な理解を提供する。それでもなお、理解できることは、当業者なら、本発明が実施できることである。

0037

上記の本発明の実施形態は、各種ハードウェアソフトウェアコード、または、それらの組み合わせで実施される。たとえば、本発明の一実施形態は、ビデオ圧縮チップ整合される一つ以上の回路、または、ビデオ圧縮ソフトウェアに整合されて、ここで記述される処理を実行するプログラムコードである。本発明の一実施形態は、さらに、デジタルシグナルプロセッサ(DSP)で実行され、ここで開示される処理を実行するプログラムコードである。本発明は、さらに、コンピュータプロセッサ、デジタルシグナルプロセッサ、マイクロプロセッサ、または、フィールドプログラマブルゲートアレイ(FPGA)により実行される多数の機能を含む。これらのプロセッサが設置されて、本発明により具体化される特定の方法を定義する機械可読ソフトウェアコード、または、ファームウェアコードを実行することにより、本発明にしたがって、特定のタスクを実行する。ソフトウェアコード、または、ファームウェアコードは、異なるプログミング言語、および、異なるフォーマット、または、スタイルで発展している。ソフトウェアコードは、さらに、異なるターゲットプラットフォームコンパイルされる。しかし、ソフトウェアコードの異なるコードフォーマット、スタイル、および、言語、および、コードを設定して、本発明にしたがってタスクを実行するその他の手段は、本発明の精神と範囲を逸脱しない。

0038

本発明では好ましい実施例を前述の通り開示したが、これらは決して本発明に限定するものではなく、当該技術を熟知する者なら誰でも、本発明の思想を脱しない範囲内で各種の変形を加えることができる。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ