図面 (/)

技術 画像符号化装置、動画像復号装置、動画像符号化データ及び記録媒体

出願人 三菱電機株式会社
発明者 杉本和夫関口俊一
出願日 2019年6月19日 (10ヶ月経過) 出願番号 2019-113549
公開日 2019年9月12日 (7ヶ月経過) 公開番号 2019-154074
状態 未査定
技術分野 TV信号の圧縮,符号化方式
主要キーワード 改善度合 in内 相互類似度 学習系列 画像信号領域 縦縞模様 ディレクション 復号符号
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2019年9月12日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (15)

課題

少ない演算量で符号化効率改善度合を高めることができる画像符号化装置及び動画像符号化方法を得ることを目的とする。また、符号化効率の改善が図られている動画像符号化データと、かかる動画像符号化データに対応するビットストリームを記録した記録媒体と、かかる動画像符号化データから正確に動画像復号することができる動画像復号装置及び動画像復号方法とを得ることを目的とする。

解決手段

イントラ予測部4が、パーティションにおけるイントラ予測パラメータが上または左の隣接パーティションにおけるイントラ予測パラメータと同じであるか否かを示すイントラマージフラグを可変長符号化するとともに、イントラ予測パラメータが同じであれば、上および左のいずれの隣接パーティションと同じであるかを特定するイントラマージディレクションを可変長符号化する。

概要

背景

例えば、国際標準方式であるAVC/H.264(ISO/IEC14496−10|ITU−T H.264)の符号化方式における輝度イントラ予測モードでは、複数の予測モードの中からブロック単位に1つの予測モードを選択することができる(例えば、非特許文献1を参照)。
図14は輝度のブロックサイズが4×4画素の場合のイントラ予測モードを示す説明図である。
輝度のブロックサイズが4×4画素の場合には、9つのイントラ予測モード(モード0,モード1,・・・,モード8)が規定されている。

図14において、白丸符号化対象ブロック内の画素である。黒丸予測に用いる画素であり、符号化済み隣接ブロック内の画素である。
モード2は平均値予測であり、上と左のブロックの隣接画素の平均値で、符号化対象ブロック内の画素を予測するモードである。モード2外のモードは方向性予測である。
特に、モード0は垂直方向予測であり、上のブロックの隣接画素を垂直方向に繰り返すことで予測画像を生成する。例えば、縦縞模様のときにはモード0が選択される。
モード1は水平方向予測であり、左のブロックの隣接画素を水平方向に繰り返すことで、予測画像を生成する。
また、モード3からモード8は、上又は左のブロックの隣接画素を用いて、所定の方向(図中、矢印で示す方向)に補間画素を生成して予測画像を生成する。

イントラ予測を適用する輝度のブロックサイズは、4×4画素、8×8画素、16×16画素の中から選択することができ、ブロックサイズが8×8画素の場合には、4×4画素の場合と同様に、9つのイントラ予測モードが規定されている。
これに対し、ブロックサイズが16×16画素の場合には、平均値予測、垂直方向予測及び水平方向予測に加えて、平面予測と呼ばれる4つのイントラ予測モードが規定されている。
平面予測は、上のブロックの隣接画素と左のブロックの隣接画素を斜め方向に内挿補間して生成した画素を予測値とするモードである。

ブロックサイズが4×4画素又は8×8画素の場合の方向性予測モードは、モードによって予め定められた方向(例えば、45度)で予測値を生成するため、ブロック内のオブジェクト境界エッジ)の方向が、予測モードが示す方向と一致すれば、予測効率が高くなって符号量を削減することができるが、エッジの方向が、予測モードが示す方向と一致しない場合、予測効率が低下する。
これに対して、選択可能な方向性予測のモード数を増やせば、エッジの方向と予測モードが示す方向が一致する確率が高まるため、予測効率が高くなることが想定される。

概要

少ない演算量で符号化効率改善度合を高めることができる画像符号化装置及び動画像符号化方法を得ることを目的とする。また、符号化効率の改善がられている動画像符号化データと、かかる動画像符号化データに対応するビットストリームを記録した記録媒体と、かかる動画像符号化データから正確に動画像復号することができる動画像復号装置及び動画像復号方法とを得ることを目的とする。イントラ予測部4が、パーティションにおけるイントラ予測パラメータが上または左の隣接パーティションにおけるイントラ予測パラメータと同じであるか否かを示すイントラマージフラグを可変長符号化するとともに、イントラ予測パラメータが同じであれば、上および左のいずれの隣接パーティションと同じであるかを特定するイントラマージディレクションを可変長符号化する。

目的

この発明は上記のような課題を解決するためになされたもので、少ない演算量や符号量で方向性予測のモード数増加による符号化効率の改善度合を高めることができる画像符号化装置を得ることを目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

符号化処理処理単位となる最大サイズ符号化ブロックを階層的に分割して得られる符号化ブロックの各々に適用する符号化モードを選択する符号化制御部と、前記符号化モードに基づいてイントラ予測モードが選択された場合、前記符号化ブロックのパーティションイントラ予測を行うことによりイントラ予測画像を生成するイントラ予測部と、前記符号化モードに基づいてインター予測モードが選択された場合、前記符号化ブロックのパーティションに動き補償予測処理を実施することでインター予測画像を生成する動き補償予測部と、前記符号化ブロックの符号化モードと、前記符号化ブロックのパーティションにイントラ予測を行うことで予測画像を生成するために用いられるイントラ予測パラメータと、原画像と前記イントラ予測画像または前記インター予測画像との差分から生成される圧縮データと、を可変長符号化して符号化データを生成する可変長符号化部と、を備え、前記可変長符号化部は、前記パーティションに用いられるイントラ予測パラメータが、当該パーティションの上または左に隣接するパーティションに用いられるイントラ予測パラメータと同じであるか否かを示すイントラマージフラグを可変長符号化し、イントラ予測を行う前記パーティションの上または左に隣接するパーティションが複数存在する場合、前記パーティションの左上から遠ざかる方向に向かって最初のパーティションがそれぞれ上および左に隣接するパーティションとして選択され、前記パーティションに用いられるイントラ予測パラメータが当該パーティションの上または左に隣接するパーティションに用いられるイントラ予測パラメータと同じであれば、前記可変長符号化部は、前記上および左のいずれに隣接しているパーティションのイントラ予測パラメータと同じであるかを特定するイントラマージディレクションを可変長符号化し、前記パーティションに用いられるイントラ予測パラメータが当該パーティションの上または左に隣接するパーティションに用いられるイントラ予測パラメータと同じでなければ、前記可変長符号化部は、前記パーティションに用いられるイントラ予測パラメータを可変長符号化することを特徴とする画像符号化装置

請求項2

上限の階層数に至るまで分割された符号化ブロックの符号化データを可変長復号して前記符号化ブロックの各々の符号化モード、圧縮データを取得する可変長復号部と、前記符号化モードに基づいてイントラ予測モードが選択された場合、前記符号化ブロックのパーティションにイントラ予測を行うことによりイントラ予測画像を生成するイントラ予測部と、前記符号化モードに基づいてインター予測モードが選択された場合、前記符号化ブロックのパーティションに動き補償予測処理を実施することでインター予測画像を生成する動き補償部と、前記圧縮データを復号して得られる差分画像と前記予測画像生成部により生成された前記イントラ予測画像または前記インター予測画像とを加算して復号画像を生成する復号画像生成手段と、を備え、イントラ予測を行う前記符号化ブロックのパーティションの上または左に隣接するパーティションが複数存在する場合、前記符号化ブロックのパーティションの左上から遠ざかる方向に向かって最初のパーティションをそれぞれ上および左に隣接するパーティションとし、前記可変長復号部は、前記パーティションのイントラ予測パラメータが、前記符号化ブロックのパーティションの上または左に隣接するパーティションのイントラ予測パラメータと同じであるか否かを示すイントラマージフラグを復号し、前記パーティションのイントラ予測パラメータが、上または左に隣接するパーティションのイントラ予測パラメータと同じであれば、前記可変長復号部は、上および左のいずれに隣接しているパーティションのイントラ予測パラメータと同じであるかを特定するイントラマージディレクションを復号し、前記パーティションにおけるイントラ予測パラメータが当該パーティションの上または左に隣接するパーティションにおけるイントラ予測パラメータと同じでなければ、前記可変長復号部は、前記パーティションのイントラ予測パラメータを復号することを特徴とする動画像復号装置

請求項3

上限の階層数に至るまで分割された複数の符号化ブロックの各々の符号化モードを含む符号化データから構成される動画像符号化データであって、前記動画像符号化データは、前記複数の符号化ブロックの符号化データと、前記符号化ブロックの前記最大サイズ及び前記階層数が多重化され、前記符号化データは、前記符号化ブロックの前記符号化モードを備え、前記符号化ブロックのパーティションに係る符号化データを含み、前記符号化データは、前記符号化ブロックのパーティションにイントラ予測を行う際に用いたイントラ予測パラメータが、当該パーティションの上または左に隣接するパーティションにイントラ予測を行う際に用いたイントラ予測パラメータと同じであるか否かを示すイントラマージフラグと、前記イントラマージフラグが、前記パーティションにイントラ予測を行う際に用いられたイントラ予測パラメータが、当該パーティションの上または左に隣接するパーティションにイントラ予測を行う際に用いられたイントラ予測パラメータと同じであることを示す場合に、上および左のいずれに隣接しているパーティションのイントラ予測パラメータと同じであるかを特定するイントラマージディレクションと、前記イントラマージフラグが、前記パーティションにイントラ予測を行う際に用いられたイントラ予測パラメータが、当該パーティションの上または左に隣接するパーティションにイントラ予測を行う際に用いられたイントラ予測パラメータと同じでないことを示す場合に、当該パーティションのイントラ予測パラメータと、前記符号化モードが示す予測処理を実施して得られる予測画像と原画像との差分から生成される圧縮データと、前記圧縮データを逆量子化するための量子化パラメータと、変換ブロックサイズとを含む予測差分符号化パラメータとを備え、前記動画像符号化データを復号する動画像復号装置が、前記量子化パラメータを用いて前記圧縮データを逆量子化し、前記変換ブロックサイズ単位で逆変換処理することで復号予測差分信号を生成し、処理対象の符号化ブロックの符号化モードがイントラ予測である場合、前記符号化ブロックにおけるパーティションのイントラマージフラグを復号し、前記動画像復号装置が、当該イントラマージフラグに基づいて、処理対象のパーティションにイントラ予測を行う際に用いられたイントラ予測パラメータと、当該パーティションの上または左に隣接するパーティションにイントラ予測を行う際に用いられたイントラ予測パラメータと同じであることを特定した場合、前記動画像復号装置が、前記イントラマージディレクションを復号し、前記処理対象のパーティションの上または左に隣接するパーティションが複数存在する場合、左上から遠ざかる方向に向かって最初のパーティションをそれぞれ上および左に隣接するパーティションとし、前記動画像復号装置が、前記イントラマージディレクションに基づいて、上および左のいずれに隣接しているパーティションのイントラ予測パラメータと同じであるかを特定し、前記動画像復号装置が、当該イントラマージフラグに基づいて、前記処理対象のパーティションにおけるイントラ予測パラメータが当該パーティションの上または左に隣接するパーティションにおけるイントラ予測パラメータと同じでないことを特定した場合、前記動画像復号装置が、前記パーティションのイントラ予測パラメータを復号し、前記動画像復号装置が、前記圧縮データを復号して得られる差分画像と、前記符号化モードに基づいて実施した予測処理により得られる予測画像とを加算して復号画像を生成する処理に用いられることを特徴とする動画像符号化データ。

請求項4

上限の階層数に至るまで階層的に分割された符号化ブロックの符号化モードを特定するコンピューター実行可能な符号化データを含むビットストリームを記録したコンピューター読み取り可能な記録媒体であって、前記記録媒体に記録されたビットストリームは、前記符号化ブロックの符号化データと、前記符号化ブロックの前記最大サイズ及び前記階層数が多重化され、前記符号化データは、前記符号化ブロックの前記符号化モードを備え、前記符号化ブロックのパーティションに係る符号化データを含み、前記符号化データは、前記符号化ブロックのパーティションのイントラ予測パラメータが、当該パーティションの上または左に隣接するパーティションのイントラ予測パラメータと同じであるか否かを示すイントラマージフラグと、前記イントラマージフラグが、前記パーティションのイントラ予測パラメータが、当該パーティションの上または左に隣接するパーティションのイントラ予測パラメータと同じであることを示す場合に、前記パーティションのイントラ予測パラメータが上および左のいずれに隣接しているパーティションのイントラ予測パラメータと同じであるかを特定し、隣接するパーティションのイントラ予測パラメータと同じイントラ予測パラメータの前記パーティションに対するイントラマージディレクションと、前記イントラマージフラグが、前記パーティションのイントラ予測パラメータが、当該パーティションの上または左に隣接するパーティションのイントラ予測パラメータと同じでないことを示す場合に用いられ、隣接するパーティションのイントラ予測パラメータと異なるイントラ予測パラメータの前記パーティションに対するイントラ予測パラメータと、前記符号化モードが示す予測処理を実施して得られる予測画像と原画像との差分から生成される圧縮データと、前記圧縮データを逆量子化するための量子化パラメータと、変換ブロックサイズとを含む予測差分符号化パラメータと、を備え、前記記録媒体に記録されたビットストリームを復号する動画像復号装置が、前記量子化パラメータを用いて前記圧縮データを逆量子化し、前記変換ブロックサイズ単位で逆変換処理することで復号予測差分信号を生成し、処理対象のパーティションを含む符号化ブロックの符号化モードがイントラ予測である場合、前記符号化ブロックにおける前記処理対象のパーティションのイントラマージフラグを復号し、前記動画像復号装置が、当該イントラマージフラグに基づいて、処理対象のパーティションにイントラ予測を行う際に用いられたイントラ予測パラメータと、当該処理対象のパーティションの上または左に隣接する隣接パーティションにイントラ予測を行う際に用いられたイントラ予測パラメータと同じであることを特定した場合、前記動画像復号装置が、前記イントラマージディレクションを復号し、前記処理対象のパーティションの上または左に隣接するパーティションが複数存在する場合、左上から遠ざかる方向に向かって最初のパーティションをそれぞれ上および左に隣接するパーティションとし、前記動画像復号装置が、前記イントラマージディレクションに基づいて、上および左のいずれに隣接している隣接パーティションのイントラ予測パラメータと同じであるかを特定し、前記動画像復号装置が、当該イントラマージフラグに基づいて、前記処理対象のパーティションにおけるイントラ予測パラメータが当該処理対象のパーティションの上または左に隣接する隣接パーティションにおけるイントラ予測パラメータと同じでないことを特定した場合、前記動画像復号装置が、前記処理対象のパーティションのイントラ予測パラメータを復号し、前記動画像復号装置が、前記圧縮データを復号して得られる差分画像と、前記符号化モードに基づいて実施した予測処理により得られる予測画像とを加算して復号画像を生成する処理に用いられることを特徴とする記録媒体。

技術分野

0001

この発明は、動画像を高効率で符号化を行う画像符号化装置と、高効率で符号化されている動画像を復号する動画像復号装置と、この動画像復号装置により復号される動画像符号化データと、この動画像符号化データに対応するビットストリームを記録した記録媒体とに関するものである。

背景技術

0002

例えば、国際標準方式であるAVC/H.264(ISO/IEC14496−10|ITU−T H.264)の符号化方式における輝度イントラ予測モードでは、複数の予測モードの中からブロック単位に1つの予測モードを選択することができる(例えば、非特許文献1を参照)。
図14は輝度のブロックサイズが4×4画素の場合のイントラ予測モードを示す説明図である。
輝度のブロックサイズが4×4画素の場合には、9つのイントラ予測モード(モード0,モード1,・・・,モード8)が規定されている。

0003

図14において、白丸符号化対象ブロック内の画素である。黒丸予測に用いる画素であり、符号化済み隣接ブロック内の画素である。
モード2は平均値予測であり、上と左のブロックの隣接画素の平均値で、符号化対象ブロック内の画素を予測するモードである。モード2外のモードは方向性予測である。
特に、モード0は垂直方向予測であり、上のブロックの隣接画素を垂直方向に繰り返すことで予測画像を生成する。例えば、縦縞模様のときにはモード0が選択される。
モード1は水平方向予測であり、左のブロックの隣接画素を水平方向に繰り返すことで、予測画像を生成する。
また、モード3からモード8は、上又は左のブロックの隣接画素を用いて、所定の方向(図中、矢印で示す方向)に補間画素を生成して予測画像を生成する。

0004

イントラ予測を適用する輝度のブロックサイズは、4×4画素、8×8画素、16×16画素の中から選択することができ、ブロックサイズが8×8画素の場合には、4×4画素の場合と同様に、9つのイントラ予測モードが規定されている。
これに対し、ブロックサイズが16×16画素の場合には、平均値予測、垂直方向予測及び水平方向予測に加えて、平面予測と呼ばれる4つのイントラ予測モードが規定されている。
平面予測は、上のブロックの隣接画素と左のブロックの隣接画素を斜め方向に内挿補間して生成した画素を予測値とするモードである。

0005

ブロックサイズが4×4画素又は8×8画素の場合の方向性予測モードは、モードによって予め定められた方向(例えば、45度)で予測値を生成するため、ブロック内のオブジェクト境界エッジ)の方向が、予測モードが示す方向と一致すれば、予測効率が高くなって符号量を削減することができるが、エッジの方向が、予測モードが示す方向と一致しない場合、予測効率が低下する。
これに対して、選択可能な方向性予測のモード数を増やせば、エッジの方向と予測モードが示す方向が一致する確率が高まるため、予測効率が高くなることが想定される。

先行技術

0006

MPEG−4 AVC(ISO/IEC14496−10)/ITU−T H.264規格

発明が解決しようとする課題

0007

従来の動画像符号化装置は以上のように構成されているので、選択可能な方向性予測のモード数を増やせば、エッジの方向と予測モードが示す方向が一致する確率が高まり、予測効率を高くすることができる。しかし、選択可能な方向性予測のモード数を増やしても、類似している予測画像の選択肢が増加するため、選択可能な方向性予測のモード数を増やすことに伴う演算量の増加に見合う程度の符号化効率の改善がみられず、符号化効率の改善への寄与が限定的である課題があった。

0008

この発明は上記のような課題を解決するためになされたもので、少ない演算量や符号量で方向性予測のモード数増加による符号化効率の改善度合を高めることができる画像符号化装置を得ることを目的とする。
また、この発明は、符号化効率の改善が図られている動画像符号化データと、かかる動画像符号化データから正確に動画像を復号することができる動画像復号装置と、かかる動画像符号化データに対応するビットストリームを記録した記録媒体とを得ることを目的とする。

課題を解決するための手段

0009

この発明に係る画像符号化装置は、符号化処理処理単位となる最大サイズ符号化ブロックを階層的に分割して得られる符号化ブロックの各々に適用する符号化モードを選択する符号化制御部と、符号化モードに基づいてイントラ予測モードが選択された場合、符号化ブロックのパーティションにイントラ予測を行うことによりイントラ予測画像を生成するイントラ予測部と、符号化モードに基づいてインター予測モードが選択された場合、符号化ブロックのパーティションに動き補償予測処理を実施することでインター予測画像を生成する動き補償予測部と、符号化ブロックの符号化モードと、符号化ブロックのパーティションにイントラ予測を行うことで予測画像を生成するために用いられるイントラ予測パラメータと、原画像とイントラ予測画像またはインター予測画像との差分から生成される圧縮データと、を可変長符号化して符号化データを生成する可変長符号化部と、を備え、可変長符号化部は、パーティションに用いられるイントラ予測パラメータが、当該パーティションの上または左に隣接するパーティションに用いられるイントラ予測パラメータと同じであるか否かを示すイントラマージフラグを可変長符号化し、イントラ予測を行うパーティションの上または左に隣接するパーティションが複数存在する場合、パーティションの左上から遠ざかる方向に向かって最初のパーティションがそれぞれ上および左に隣接するパーティションとして選択され、パーティションに用いられるイントラ予測パラメータが当該パーティションの上または左に隣接するパーティションに用いられるイントラ予測パラメータと同じであれば、可変長符号化部は、上および左のいずれに隣接しているパーティションのイントラ予測パラメータと同じであるかを特定するイントラマージディレクションを可変長符号化し、パーティションに用いられるイントラ予測パラメータが当該パーティションの上または左に隣接するパーティションに用いられるイントラ予測パラメータと同じでなければ、可変長符号化部は、パーティションに用いられるイントラ予測パラメータを可変長符号化するようにしたものである。

発明の効果

0010

この発明によれば、パーティションにおけるイントラ予測パラメータが上または左の隣接パーティションにおけるイントラ予測パラメータと同じであるか否かを示すイントラマージフラグを可変長符号化するとともに、イントラ予測パラメータが同じであれば、上および左のいずれの隣接パーティションと同じであるかを特定するイントラマージディレクションを可変長符号化するように構成したので、少ない演算量や符号量で方向性予測のモード数増加による符号化効率の改善度合を高めることができる効果がある。

図面の簡単な説明

0011

この発明の実施の形態1による動画像符号化装置を示す構成図である。
この発明の実施の形態1による動画像符号化装置の処理内容を示すフローチャートである。
最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。
(a)は分割後のパーティションの分布を示し、(b)は階層分割後のパーティションに符号化モードm(Bn)が割り当てられる状況を4分木グラフで示す説明図である。
符号化ブロックBnに属する各パーティションPinにおいて選択可能なイントラ予測パラメータ(イントラ予測モード)の一例を示す説明図である。
lin=min=4の場合において、パーティションPin内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
パーティションPinと上位パーティションPin−1の関係を示す説明図である。
符号化ブロックBnに属するパーティションPinを示す説明図である。
符号化ブロックBnに属する各パーティションPinにおいて選択可能なイントラ予測パラメータ(イントラ予測モード)の一例を示す説明図である。
この発明の実施の形態1による動画像復号装置を示す構成図である。
この発明の実施の形態1による動画像復号装置の処理内容を示すフローチャートである。
パーティションの符号化データを示す説明図である。
隣接パーティションを示す説明図である。
輝度のブロックサイズが4×4画素の場合のイントラ予測モードを示す説明図である。

実施例

0012

実施の形態1.
図1はこの発明の実施の形態1による動画像符号化装置を示す構成図である。
図1において、符号化制御部1はイントラ予測処理フレーム内予測処理)又は動き補償予測処理(フレーム間予測処理)が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する処理を実施する。
また、符号化制御部1は利用可能な1以上の符号化モード(1以上のイントラ符号化モード、1以上のインター符号化モード)の中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する処理を実施する。
また、符号化制御部1は各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定する処理を実施する。量子化パラメータ及び変換ブロックサイズは、予測差分符号化パラメータに含まれて、変換・量子化部7、逆量子化逆変換部8及び可変長符号化部13等に出力される。
なお、符号化制御部1は符号化制御手段を構成している。

0013

ブロック分割部2は入力画像カレントピクチャ)を示す映像信号を入力すると、その入力画像を符号化制御部1により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部1により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する処理を実施する。なお、ブロック分割部2はブロック分割手段を構成している。
切替スイッチ3は符号化制御部1により選択された符号化モードがイントラ符号化モードであれば、ブロック分割部2により分割された符号化ブロックをイントラ予測部4に出力し、符号化制御部1により選択された符号化モードがインター符号化モードであれば、ブロック分割部2により分割された符号化ブロックを動き補償予測部5に出力する処理を実施する。

0014

イントラ予測部4は切替スイッチ3からブロック分割部2により分割された符号化ブロックを受けると、その符号化ブロックに対して、イントラ予測用メモリ10により格納されている符号化ブロックに隣接している符号化済みの画素、または、その符号化ブロックの上位階層の符号化ブロックに隣接している符号化済みの画素を用いて、符号化制御部1から出力されたイントラ予測パラメータに基づくフレーム内予測処理を実施することで予測画像を生成する処理を実施する。
動き補償予測部5はブロック分割部2により分割された符号化ブロックに対応する符号化モードとして、符号化制御部1によりインター符号化モードが選択された場合、動き補償予測フレームメモリ12により格納されている1フレーム以上の参照画像を用いて、符号化制御部1から出力されたインター予測パラメータに基づいて、その符号化ブロックに対する動き補償予測処理を実施することで予測画像を生成する処理を実施する。
なお、切替スイッチ3、イントラ予測部4及び動き補償予測部5から予測画像生成手段が構成されている。

0015

減算部6はブロック分割部2により分割された符号化ブロックから、イントラ予測部4又は動き補償予測部5により生成された予測画像を減算することで、差分画像(=符号化ブロック−予測画像)を生成する処理を実施する。なお、減算部6は差分画像生成手段を構成している。
変換・量子化部7は符号化制御部1から出力された予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、減算部6により生成された差分画像の変換処理(例えば、DCT(離散コサイン変換)や、予め特定の学習系列に対して基底設計がなされているKL変換等の直交変換処理)を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして出力する処理を実施する。なお、変換・量子化部7は画像圧縮手段を構成している。

0016

逆量子化・逆変換部8は符号化制御部1から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、変換・量子化部7から出力された圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理(例えば、逆DCT(逆離散コサイン変換)や、逆KL変換等の逆変換処理)を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として出力する処理を実施する。

0017

加算部9は逆量子化・逆変換部8から出力された局所復号予測差分信号とイントラ予測部4又は動き補償予測部5により生成された予測画像を示す予測信号を加算することで、局所復号画像を示す局所復号画像信号を生成する処理を実施する。
イントラ予測用メモリ10はイントラ予測部4により次回のイントラ予測処理で用いられる画像として、加算部9により生成された局所復号画像信号が示す局所復号画像を格納するRAMなどの記録媒体である。

0018

ループフィルタ部11は加算部9により生成された局所復号画像信号に含まれている符号化歪み補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ12に出力する処理を実施する。
動き補償予測フレームメモリ12は動き補償予測部5により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部11によるフィルタリング処理後の局所復号画像を格納するRAMなどの記録媒体である。

0019

可変長符号化部13は変換・量子化部7から出力された圧縮データと、符号化制御部1から出力された符号化モード及び予測差分符号化パラメータと、イントラ予測部4から出力されたイントラ予測パラメータ又は動き補償予測部5から出力されたインター予測パラメータとを可変長符号化して、その圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータの符号化データが多重化されているビットストリームを生成する処理を実施する。なお、可変長符号化部13は可変長符号化手段を構成している。

0020

図1では、動画像符号化装置の構成要素である符号化制御部1、ブロック分割部2、切替スイッチ3、イントラ予測部4、動き補償予測部5、減算部6、変換・量子化部7、逆量子化・逆変換部8、加算部9、ループフィルタ部11及び可変長符号化部13のそれぞれが専用のハードウェア(例えば、CPUを実装している半導体集積回路、あるいは、ワンチップマイコンなど)で構成されているものを想定しているが、動画像符号化装置がコンピュータなどで構成される場合、符号化制御部1、ブロック分割部2、切替スイッチ3、イントラ予測部4、動き補償予測部5、減算部6、変換・量子化部7、逆量子化・逆変換部8、加算部9、ループフィルタ部11及び可変長符号化部13の処理内容を記述しているプログラムの全部又は一部を当該コンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにしてもよい。
図2はこの発明の実施の形態1による動画像符号化装置の処理内容を示すフローチャートである。

0021

図10はこの発明の実施の形態1による動画像復号装置を示す構成図である。
図10において、可変長復号部21はイントラ予測処理又は動き補償予測処理が実施される際の処理単位となる符号化ブロックの最大サイズ及び最大サイズの符号化ブロックから階層的に分割されている符号化ブロックの階層数を特定することで、ビットストリームに多重化されている符号化データの中で、最大サイズの符号化ブロック及び階層的に分割されている符号化ブロックに係る符号化データを特定し、各々の符号化データから符号化ブロックに係る圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータを可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化・逆変換部25に出力するとともに、その符号化モード及びイントラ予測パラメータ/インター予測パラメータを切替スイッチ22に出力する処理を実施する。なお、可変長復号部21は可変長復号手段を構成している。

0022

切替スイッチ22は可変長復号部21から出力された符号化ブロックに係る符号化モードがイントラ符号化モードである場合、可変長復号部21から出力されたイントラ予測パラメータをイントラ予測部23に出力し、その符号化モードがインター符号化モードである場合、可変長復号部21から出力されたインター予測パラメータを動き補償部24に出力する処理を実施する。

0023

イントラ予測部23はイントラ予測用メモリ27により格納されている符号化ブロックに隣接している復号済みの画素、または、その符号化ブロックの上位階層の符号化ブロックに隣接している復号済みの画素を用いて、切替スイッチ22から出力されたイントラ予測パラメータに基づいて、符号化ブロックに対するフレーム内予測処理を実施することで予測画像を生成する処理を実施する。
動き補償部24は動き補償予測フレームメモリ29により格納されている1フレーム以上の参照画像を用いて、切替スイッチ22から出力されたインター予測パラメータに基づいて、符号化ブロックに対する動き補償予測処理を実施することで予測画像を生成する処理を実施する。
なお、切替スイッチ22、イントラ予測部23及び動き補償部24から予測画像生成手段が構成されている。

0024

逆量子化・逆変換部25は可変長復号部21から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、可変長復号部21から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理(例えば、逆DCT(逆離散コサイン変換)や、逆KL変換等の逆変換処理)を実施することで、逆変換処理後の圧縮データを復号予測差分信号(圧縮前の差分画像を示す信号)として出力する処理を実施する。なお、逆量子化・逆変換部26は差分画像生成手段を構成している。

0025

加算部26は逆量子化・逆変換部25から出力された復号予測差分信号とイントラ予測部23又は動き補償部24により生成された予測画像を示す予測信号を加算することで、復号画像を示す復号画像信号を生成する処理を実施する。なお、加算部26は復号画像生成手段を構成している。
イントラ予測用メモリ27はイントラ予測部23により次回のイントラ予測処理で用いられる画像として、加算部26により生成された復号画像信号が示す復号画像を格納するRAMなどの記録媒体である。

0026

ループフィルタ部28は加算部26により生成された復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ29に出力するとともに、その復号画像を再生画像として外部に出力する処理を実施する。
動き補償予測フレームメモリ29は動き補償部24により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部28によるフィルタリング処理後の復号画像を格納するRAMなどの記録媒体である。

0027

図10では、動画像復号装置の構成要素である可変長復号部21、切替スイッチ22、イントラ予測部23、動き補償部24、逆量子化・逆変換部25、加算部26及びループフィルタ部28のそれぞれが専用のハードウェア(例えば、CPUを実装している半導体集積回路、あるいは、ワンチップマイコンなど)で構成されているものを想定しているが、動画像復号装置がコンピュータなどで構成される場合、可変長復号部21、切替スイッチ22、イントラ予測部23、動き補償部24、逆量子化・逆変換部25、加算部26及びループフィルタ部28の処理内容を記述しているプログラムの全部又は一部を当該コンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにしてもよい。
図11はこの発明の実施の形態1による動画像復号装置の処理内容を示すフローチャートである。

0028

この実施の形態1の動画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズの領域に分割してフレーム内・フレーム間適応符号化を行うことを特徴としている。
一般に映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有し、空間的に見ると、ある特定の映像フレーム上では、例えば、空や壁などのように、比較的広い画像領域中で均一な信号特性を有する絵柄もあれば、人物や細かいテクスチャを含む絵画などでは、小さい画像領域内で複雑なテクスチャパターンを有する絵柄も混在することがある。

0029

時間的に見ても、空や壁は局所的に時間方向の絵柄の変化が小さいが、動く人物や物体は、その輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。
符号化処理は、時間・空間的な予測によって、信号電力エントロピーが小さい予測差分差信号を生成して、全体の符号量を削減する処理を行うが、予測処理に用いる予測パラメータをできるだけ大きな画像信号領域に対して均一に適用することができれば、予測パラメータの符号量を小さくすることができる。
一方、時間的・空間的に変化が大きい画像信号パターンに対して、同一の予測パラメータを大きな画像領域に適用すると、予測誤りが増えてしまうため、予測差分信号の符号量を削減することができない。
したがって、時間的・空間的に変化が大きい領域では、予測対象の領域を小さくして、予測処理に用いる予測パラメータのデータ量を増やしても、予測差分信号の電力・エントロピーを低減する方が望ましい。
このような映像信号の一般的な性質に適応している符号化処理を行うため、この実施の形態1の動画像符号化装置では、所定の最大ブロックサイズから映像信号の領域を階層的に分割し、分割領域毎に予測処理や予測差分の符号化処理を適応化する構成を採用している。

0030

この実施の形態1の動画像符号化装置が処理対象とする映像信号は、輝度信号と2つの色差信号からなるYUV信号や、ディジタル撮像素子から出力されるRGB信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号赤外線画像信号など、映像フレームが水平・垂直2次元ディジタルサンプル(画素)列から構成される任意の映像信号である。
各画素の諧調は8ビットでもよいし、10ビット、12ビットなどの諧調であってもよい。
ただし、以下の説明においては、特に断らない限り、入力される映像信号がYUV信号であるものとする。また、2つの色差成分U,Vが輝度成分Yに対して、サブサンプルされた4:2:0フォーマットの信号であるものとする。
なお、映像の各フレームに対応する処理データ単位を「ピクチャ」と称し、この実施の形態1では、「ピクチャ」は順次走査プログレッシブスキャン)された映像フレームの信号として説明を行う。ただし、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。

0031

次に動作について説明する。
最初に、図1の動画像符号化装置の処理内容を説明する。
まず、符号化制御部1は、イントラ予測処理(フレーム内予測処理)又は動き補償予測処理(フレーム間予測処理)が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する(図2のステップST1)。

0032

符号化ブロックの最大サイズの決め方として、例えば、全てのピクチャに対して、入力画像の解像度に応じたサイズに決定する方法が考えられる。
また、入力画像の局所的な動きの複雑さの違いをパラメータとして定量化しておき、動きの激しいピクチャでは最大サイズを小さな値に決定し、動きが少ないピクチャでは最大サイズを大きな値に決定する方法などが考えられる。
上限の階層数については、例えば、入力画像の動きが激しい程、階層数を深くして、より細かい動きが検出できるように設定し、入力画像の動きが少なければ、階層数を抑えるように設定する方法が考えられる。

0033

また、符号化制御部1は、利用可能な1以上の符号化モード(M種類のイントラ符号化モード、N種類のインター符号化モード)の中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する(ステップST2)。予め用意されているM種類のイントラ符号化モードについては後述する。
ただし、後述するブロック分割部2により階層的に分割された各々の符号化ブロックが更にパーティション単位に分割される場合は、各々のパーティションに対応する符号化モードを選択することが可能である。
以下、この実施の形態1では、各々の符号化ブロックが更にパーティション単位に分割されるものとして説明する。
符号化制御部1による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。

0034

また、符号化制御部1は、各々の符号化ブロックに含まれているパーティション毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定する。
符号化制御部1は、量子化パラメータ及び変換ブロックサイズを含む予測差分符号化パラメータを変換・量子化部7、逆量子化・逆変換部8及び可変長符号化部13に出力する。また、予測差分符号化パラメータを必要に応じてイントラ予測部4に出力する。

0035

ブロック分割部2は、入力画像を示す映像信号を入力すると、その入力画像を符号化制御部1により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部1により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する。また、その符号化ブロックをパーティション単位に分割する(ステップST3)。
ここで、図3は最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。
図3の例では、最大サイズの符号化ブロックは、第0階層の符号化ブロックB0であり、輝度成分で(L0,M0)のサイズを有している。
また、図3の例では、最大サイズの符号化ブロックB0を出発点として、4分木構造で、別途定める所定の深さまで階層的に分割を行うことによって、符号化ブロックBnを得ている。

0036

深さnにおいては、符号化ブロックBnはサイズ(Ln,Mn)の画像領域である。
ただし、LnとMnは同じであってもよいし異なっていてもよいが、図3の例ではLn=Mnのケースを示している。
以降、符号化ブロックBnのサイズは、符号化ブロックBnの輝度成分におけるサイズ(Ln,Mn)と定義する。

0037

ブロック分割部2では、4分木分割を行うため、常に(Ln+1,Mn+1)=(Ln/2,Mn/2)が成立する。
ただし、RGB信号などのように、全ての色成分が同一サンプル数を有するカラー映像信号(4:4:4フォーマット)では、全ての色成分のサイズが(Ln,Mn)になるが、4:2:0フォーマットを扱う場合、対応する色差成分の符号化ブロックのサイズは(Ln/2,Mn/2)である。
以降、第n階層の符号化ブロックBnで選択しうる符号化モードをm(Bn)と表記する。

0038

複数の色成分からなるカラー映像信号の場合、符号化モードm(Bn)は、各色成分ごとに、それぞれ個別のモードを用いるように構成されてもよいが、以降、特に断らない限り、YUV信号、4:2:0フォーマットの符号化ブロックの輝度成分に対する符号化モードのことを指すものとして説明を行う。
符号化モードm(Bn)には、1つないし複数のイントラ符号化モード(総称して「INTRA」)、1つないし複数のインター符号化モード(総称して「INTER」)があり、符号化制御部1は、上述したように、当該ピクチャで利用可能な全ての符号化モードないしは、そのサブセットの中から、符号化ブロックBnに対して最も符号化効率がよい符号化モードを選択する。

0039

符号化ブロックBnは、図3に示すように、更に1つないし複数の予測処理単位(パーティション)に分割される。
以降、符号化ブロックBnに属するパーティションをPin(i: 第n階層におけるパーティション番号)と表記する。図8は符号化ブロックBnに属するパーティションPinを示す説明図である。
符号化ブロックBnに属するパーティションPinの分割がどのようになされているかは符号化モードm(Bn)の中に情報として含まれる。
パーティションPinは、すべて符号化モードm(Bn)に従って予測処理が行われるが、パーティションPin毎に、個別の予測パラメータを選択することができる。

0040

符号化制御部1は、最大サイズの符号化ブロックに対して、例えば、図4に示すようなブロック分割状態を生成して、符号化ブロックBnを特定する。
図4(a)の斜線部分は分割後のパーティションの分布を示し、また、図4(b)は階層分割後のパーティションに符号化モードm(Bn)が割り当てられる状況を4分木グラフで示している。
図4(b)において、□で囲まれているノードが、符号化モードm(Bn)が割り当てられたノード(符号化ブロックBn)を示している。

0041

切替スイッチ3は、符号化制御部1がイントラ符号化モードを選択すると(m(Bn)∈INTRA)、ブロック分割部2により分割された符号化ブロックBnに属するパーティションPinをイントラ予測部4に出力し、符号化制御部1がインター符号化モードを選択すると(m(Bn)∈INTER)、その符号化ブロックBnに属するパーティションPinを動き補償予測部5に出力する。

0042

イントラ予測部4は、切替スイッチ3から符号化ブロックBnに属するパーティションPinを受けると(ステップST4)、具体的な処理内容は後述するが、符号化制御部1により決定されたイントラ予測パラメータに基づいて、各パーティションPinに対するイントラ予測処理を実施することにより、イントラ予測画像(Pin)を生成する(ステップST5)。
以下、この明細書では、Pinはパーティションを示し、(Pin)はパーティションPinの予測画像を示すものとする。

0043

イントラ予測画像(Pin)の生成に用いられるイントラ予測パラメータは、動画像復号装置側でも、全く同じイントラ予測画像(Pin)を生成する必要があるため、可変長符号化部13によってビットストリームに多重化される。
なお、イントラ予測パラメータとして選択できるイントラ予測方向数は、処理対象となるブロックのサイズに応じて異なるよう構成してもよい。
大きいサイズのパーティションでは、イントラ予測の効率が低下するため、選択できるイントラ予測方向数を少なくし、小さいサイズのパーティションでは選択できるイントラ予測方向数を多くするよう構成することができる。
例えば、4×4画素パーティションや8×8画素パーティションでは34方向、16×16画素パーティションでは17方向、32×32画素パーティションでは9方向などのように構成してもよい。

0044

動き補償予測部5は、切替スイッチ3から符号化ブロックBnに属するパーティションPinを受けると(ステップST4)、符号化制御部1により決定されたインター予測パラメータに基づいて、各パーティションPinに対するインター予測処理を実施することにより、インター予測画像(Pin)を生成する(ステップST6)。
即ち、動き補償予測部5は、動き補償予測フレームメモリ12により格納されている1フレーム以上の参照画像を用いて、符号化制御部1から出力されたインター予測パラメータに基づいて、その符号化ブロックに対する動き補償予測処理を実施することで、インター予測画像(Pin)を生成する。
インター予測画像(Pin)の生成に用いられるインター予測パラメータは、動画像復号装置側でも、全く同じインター予測画像(Pin)を生成する必要があるため、可変長符号化部13によってビットストリームに多重化される。

0045

減算部6は、イントラ予測部4又は動き補償予測部5から予測画像(Pin)を受けると、ブロック分割部2により分割された符号化ブロックBnに属するパーティションPinから、その予測画像(Pin)を減算することで、その差分画像を示す予測差分信号einを生成する(ステップST7)。
変換・量子化部7は、減算部6が予測差分信号einを生成すると、符号化制御部1から出力された予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、その予測差分信号einに対する変換処理(例えば、DCT(離散コサイン変換)や、予め特定の学習系列に対して基底設計がなされているKL変換等の直交変換処理)を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その予測差分信号einの変換係数を量子化することで、量子化後の変換係数である差分画像の圧縮データを逆量子化・逆変換部8及び可変長符号化部13に出力する(ステップST8)。

0046

逆量子化・逆変換部8は、変換・量子化部7から圧縮データを受けると、符号化制御部1から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、その圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理(例えば、逆DCT(逆離散コサイン変換)や、逆KL変換等の逆変換処理)を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として加算部9に出力する(ステップST9)。

0047

加算部9は、逆量子化・逆変換部8から局所復号予測差分信号を受けると、その局所復号予測差分信号と、イントラ予測部4又は動き補償予測部5により生成された予測画像(Pin)を示す予測信号とを加算することで、局所復号パーティション画像ないしはその集まりとしての局所復号符号ブロック画像(以下、「局所復号画像」と称する)を示す局所復号画像信号を生成し、その局所復号画像信号をループフィルタ部11に出力する(ステップST10)。
また、イントラ予測用メモリ10には、イントラ予測に用いるために、当該局所復号画像が格納される。

0048

ループフィルタ部11は、加算部9から局所復号画像信号を受けると、その局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ12に格納する(ステップST11)。
なお、ループフィルタ部11によるフィルタリング処理は、入力される局所復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、1画面分のマクロブロックに相当する局所復号画像信号が入力された後に1画面分まとめて行ってもよい。

0049

ステップST4〜ST10の処理は、ブロック分割部2により分割された全ての符号化ブロックBnに属するパーティションPinに対する処理が完了するまで繰り返し実施される(ステップST12)。
可変長符号化部13は、変換・量子化部7から出力された圧縮データと、符号化制御部1から出力された符号化モード及び予測差分符号化パラメータと、イントラ予測部4から出力されたイントラ予測パラメータ又は動き補償予測部5から出力されたインター予測パラメータとを可変長符号化して、その圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータの符号化データが多重化されているビットストリームを生成する(ステップST13)。

0050

次に、イントラ予測部4の処理内容を具体的に説明する。
図5は符号化ブロックBnに属する各パーティションPinにおいて選択可能なイントラ予測パラメータ(イントラ予測モード)の一例を示す説明図である。
図5では、イントラ予測モードに対応する予測方向ベクトルを示しており、選択可能なイントラ予測モードの個数が増えるに従って、予測方向ベクトル同士の相対角度が小さくなるように設計されている。

0051

ここでは、イントラ予測部4が、パーティションPinの輝度信号に対するイントラ予測パラメータ(イントラ予測モード)に基づいて、その輝度信号のイントラ予測信号を生成するイントラ処理について説明する。
パーティションPinのサイズをlin×min画素とする。
図6はlin=min=4の場合において、パーティションPin内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
図6では、パーティションPinに隣接する符号化済みの上パーティションの画素((2×lin+1)個の画素)と、左パーティションの画素((2×min)個の画素)を予測に用いる画素としているが、予測に用いる画素は、図6に示す画素より多くても少なくてもよい。
また、図6では、隣接する1行又は1列分の画素を予測に用いているが、2行又は2列分の画素、あるいは、それ以上の画素を予測に用いてもよい。

0052

イントラ予測部4は、パーティションPinに対するイントラ予測モードのインデックス値が2(平均値予測)の場合、上パーティションの隣接画素と左パーティションの隣接画素の平均値をパーティションPin内の画素の予測値として予測画像を生成する。
イントラ予測モードのインデックス値が2(平均値予測)以外の場合には、インデックス値が示す予測方向ベクトルvp=(dx,dy)に基づいて、パーティションPin内の画素の予測値を生成する。
予測値を生成する画素(予測対象画素)のパーティションPin内の相対座標(パーティションの左上画素原点とする)を(x,y)とすると、予測に用いる参照画素の位置は、下記に示すLと、隣接画素の交点となる。


ただし、kは正のスカラ値

0053

参照画素が整数画素位置にある場合、その整数画素を予測対象画素の予測値とする。参照画素が整数画素位置にない場合、参照画素に隣接する整数画素から生成される補間画素を予測値とする。
図6の例では、参照画素が整数画素位置にないので、参照画素に隣接する2画素の平均値を予測値としている。
なお、隣接する2画素のみではなく、隣接する2画素以上の画素から補間画素を生成して予測値としてもよい。

0054

イントラ予測部4は、同様の手順で、パーティションPin内の輝度信号のすべての画素に対する予測画素を生成し、その生成したイントラ予測画像(Pin)を出力する。イントラ予測画像(Pin)の生成に用いているイントラ予測パラメータは、上述したように、ビットストリームに多重化するために可変長符号化部13に出力される。
パーティションPin内の輝度信号に対するイントラ予測画像(Pin)は、上記のように生成されるが、図7に示すように、パーティションPjn−1(j: パーティションPinの第n−1階層における上位パーティションのパーティション番号)内の輝度信号については、同様にして、イントラ予測画像(Pjn−1)が生成される。

0055

ここで、図6に示すように、パーティションPin内の輝度信号に対するイントラ予測画像(Pin)として、パーティションPinに隣接する参照画素の隣接画素から生成されるものに加え、上位パーティションPjn−1に対するイントラ予測画像(Pjn−1)のうち、パーティションPinに該当する部分のみを切り出したものもイントラ予測画像(Pin)の候補として選択できるように構成する。
即ち、図9に示すように、イントラ予測モードとして、平均値予測も含めて9方向のイントラ予測モードを備える場合、上位パーティションが存在すれば、さらに9つの予測モードが追加される。

0056

イントラ予測では、画面内の未知の領域を既知の領域から予測する手段であるが、画像信号は、空間方向については局所的な変化が大きいため、異なる性質の予測画像の中から選択することによって予測効率を向上させることができる。
従って、上記のように構成して、イントラ予測モードの方向数を増やす場合、イントラ予測モードを増やす場合と比べて、生成される予測画像の相互類似度が低下し、バリエーションに富んだ予測画像の中から選択することができるため、イントラ予測モード数を増加させることによる符号化効率改善の度合いを増加させることが可能である。
また、本発明の手法では、上位パーティションの予測画像の一部分を切り取ることによって、下位パーティションの予測画像を生成することができるため、予測方向を増加させることによって予測モードを増加させる場合と比べて、演算量を削減できるという効果もある。

0057

パーティションPinの色差信号に対しても、輝度信号と同様の手順で、イントラ予測パラメータ(イントラ予測モード)に基づくイントラ予測処理を実施し、イントラ予測画像の生成に用いられたイントラ予測パラメータを可変長符号化部13に出力する。

0058

可変長符号化部13は、上述したように、イントラ予測部4から出力されたイントラ予測パラメータを可変長符号化して、そのイントラ予測パラメータの符号語をビットストリームに多重化するが、イントラ予測パラメータを符号化する際に、複数の方向性予測の予測方向ベクトルの中から、代表的な予測方向ベクトル(予測方向代表ベクトル)を選択し、イントラ予測パラメータを予測方向代表ベクトルのインデックス(予測方向代表インデックス)と予測方向代表ベクトルからの差分を表すインデックス(予測方向差分インデックス)で表して、それぞれのインデックス毎に、確率モデルに応じた算術符号化などのハフマン符号化を行うことで、符号量を削減して符号化するよう構成してもよい。

0059

次に、図10の動画像符号化装置の処理内容を説明する。
可変長復号部21は、図1の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して(図11のステップST21)、1フレーム以上のピクチャから構成されるシーケンス単位あるいはピクチャ単位フレームサイズを復号する。
可変長復号部21は、フレームサイズを復号すると、図1の動画像符号化装置で決定された最大符号化ブロックサイズ(イントラ予測処理又は動き補償予測処理が実施される際の処理単位となる符号化ブロックの最大サイズ)と、分割階層数の上限(最大サイズの符号化ブロックから階層的に分割されている符号化ブロックの階層数)を動画像符号化装置と同様の手順で決定する(ステップST22)。

0060

例えば、符号化ブロックの最大サイズが、全てのピクチャに対して、入力画像の解像度に応じたサイズに決定されている場合には、先に復号しているフレームサイズに基づいて、図1の動画像符号化装置と同様の手順で、符号化ブロックの最大サイズを決定する。
動画像符号化装置によって、符号化ブロックの最大サイズ及び符号化ブロックの階層数がビットストリームに多重化されている場合には、そのビットストリームから符号化ブロックの最大サイズ及び符号化ブロックの階層数を復号する。

0061

可変長復号部21は、符号化ブロックの最大サイズ及び符号化ブロックの階層数を決定すると、最大符号化ブロックを出発点にして、各符号化ブロックの階層的な分割状態を把握することで、ビットストリームに多重化されている符号化データの中で、各符号化ブロックに係る符号化データを特定し、その符号化データから各符号化ブロックに割り当てられている符号化モードを復号する。
そして、可変長復号部21は、その符号化モードに含まれている符号化ブロックBnに属するパーティションPinの分割情報を参照して、ビットストリームに多重化されている符号化データの中で、各パーティションPinに係る符号化データを特定する(ステップST23)。
可変長復号部21は、各パーティションPinに係る符号化データから圧縮データ、予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータを可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化・逆変換部25に出力するとともに、符号化モード及びイントラ予測パラメータ/インター予測パラメータを切替スイッチ22に出力する(ステップST24)。

0062

例えば、予測方向代表インデックスと予測方向差分インデックスがビットストリームに多重化されている場合には、その予測方向代表インデックスと予測方向差分インデックスをそれぞれの確率モデルに応じた算術復号などによりエントロピー復号し、その予測方向代表インデックスと予測方向差分インデックスからイントラ予測パラメータを特定するようにする。
これにより、動画像符号化装置側で、イントラ予測パラメータの符号量を削減している場合でも、イントラ予測パラメータを正しく復号することができる。

0063

切替スイッチ22は、可変長復号部21から出力された符号化ブロックBnに属するパーティションPinの符号化モードがイントラ符号化モードである場合、可変長復号部21から出力されたイントラ予測パラメータをイントラ予測部23に出力し、その符号化モードがインター符号化モードである場合、可変長復号部21から出力されたインター予測パラメータを動き補償部24に出力する。

0064

イントラ予測部23は、切替スイッチ22からイントラ予測パラメータを受けると(ステップST25)、図1のイントラ予測部4と同様に、そのイントラ予測パラメータに基づいて、各パーティションPinに対するイントラ予測処理を実施することにより、イントラ予測画像(Pin)を生成する(ステップST26)。
即ち、イントラ予測部23は、イントラ予測用メモリ27により格納されているパーティションPinに隣接している復号済みの画素、または、そのパーティションPinの上位階層のパーティションPjn−1に隣接している復号済みの画素を用いて、そのイントラ予測パラメータに基づくパーティションPinに対するフレーム内予測処理を実施することで予測画像(Pin)を生成する。

0065

動き補償部24は、切替スイッチ22からインター予測パラメータを受けると(ステップST25)、図1の動き補償予測部5と同様に、そのインター予測パラメータに基づいて、各パーティションPinに対するインター予測処理を実施することにより、インター予測画像(Pin)を生成する(ステップST27)。
即ち、動き補償部24は、動き補償予測フレームメモリ29により格納されている1フレーム以上の参照画像を用いて、そのインター予測パラメータに基づくパーティションPinに対する動き補償予測処理を実施することで、インター予測画像(Pin)を生成する。

0066

逆量子化・逆変換部25は、可変長復号部21から予測差分符号化パラメータを受けると、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、可変長復号部21から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理(例えば、逆DCT(逆離散コサイン変換)や、逆KL変換等の逆変換処理)を実施することで、逆変換処理後の圧縮データを復号予測差分信号(圧縮前の差分画像を示す信号)として加算部26に出力する(ステップST28)。

0067

加算部26は、逆量子化・逆変換部25から出力された復号予測差分信号と、イントラ予測部23又は動き補償部24により生成された予測画像(Pin)を示す予測信号とを加算することで、復号パーティション画像ないしはその集まりとしての復号画像を示す復号画像信号を生成し、その復号画像信号をループフィルタ部28に出力する(ステップST29)。
また、イントラ予測用メモリ27には、イントラ予測に用いるために、当該復号画像が格納される。

0068

ループフィルタ部28は、加算部26から復号画像信号を受けると、その復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ29に格納するとともに、その復号画像を再生画像として出力する(ステップST30)。
なお、ループフィルタ部28によるフィルタリング処理は、入力される復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、1画面分のマクロブロックに相当する復号画像信号が入力された後に1画面分まとめて行ってもよい。
ステップST23〜ST29の処理は、全ての符号化ブロックBnに属するパーティションPinに対する処理が完了するまで繰り返し実施される(ステップST31)。

0069

以上で明らかなように、この実施の形態1によれば、動画像符号化装置のイントラ予測部4が、符号化制御部1により選択された符号化モードがイントラ予測モードである場合、ブロック分割部2により分割されたパーティションPinに隣接している画素、または、そのパーティションPinの上位階層のパーティションPjn−1に隣接している画素を用いるフレーム内予測処理を実施することで予測画像(Pin)を生成するように構成したので、少ない演算量で符号化効率の改善度合を高めることができる効果を奏する。

0070

また、この実施の形態1によれば、動画像復号装置のイントラ予測部23が、可変長復号部21により可変長復号された符号化モードがイントラ予測モードである場合、イントラ予測用メモリ27により格納されているパーティションPinに隣接している復号済みの画素、または、そのパーティションPinの上位階層のパーティションPjn−1に隣接している復号済みの画素を用いるフレーム内予測処理を実施することで予測画像(Pin)を生成するように構成したので、符号化効率の改善が図られている符号化データから正確に動画像を復号することができる効果を奏する。

0071

実施の形態2.
上記実施の形態1では、動画像符号化装置の可変長符号化部13が、符号化対象のパーティションにおけるイントラ予測パラメータを可変長符号化するものを示したが、符号化対象のパーティションにおけるイントラ予測パラメータが、そのパーティションと隣接しているパーティションにおけるイントラ予測パラメータと同じであるか否かを示すイントラマージフラグを可変長符号化するとともに、そのイントラ予測パラメータが同じであれば、その隣接しているパーティションを特定するイントラマージディレクションを可変長符号化し、そのイントラ予測パラメータが同じでなければ、符号化対象のパーティションにおけるイントラ予測パラメータを可変長符号化するようにしてもよい。

0072

また、上記実施の形態1では、動画像復号装置の可変長復号部21が、復号対象のパーティションに係る符号化データから、当該パーティションにおけるイントラ予測パラメータを可変長復号するものを示したが、復号対象のパーティションに係る符号化データから、当該パーティションと隣接パーティションにおけるイントラ予測パラメータが同じであるか否かを示すイントラマージフラグを可変長復号するとともに、そのイントラマージフラグが、当該パーティションと隣接パーティションにおけるイントラ予測パラメータが同じである旨を示す場合、その符号化データから隣接パーティションを特定するイントラマージディレクションを可変長復号し、そのイントラマージフラグが、当該パーティションと隣接パーティションにおけるイントラ予測パラメータが同じでない旨を示す場合、その符号化データから当該パーティションにおけるイントラ予測パラメータを可変長復号するようにしてもよい。

0073

動画像符号化装置及び動画像復号装置において、イントラ予測パラメータの符号化及び復号以外の部分は、上記実施の形態1と同様であるため、この実施の形態2では、イントラ予測パラメータの符号化及び復号についてのみ説明する。

0074

この実施の形態2における動画像符号化装置の可変長符号化部13は、図12(A)に示すように、符号化対象(処理対象)のパーティションPinにおけるイントラ予測パラメータを可変長符号化する際、そのイントラ予測パラメータが、パーティションPinと隣接しているパーティションのイントラ予測パラメータと同じであるか否かを示すイントラマージフラグを可変長符号化する。
また、可変長符号化部13は、そのイントラマージフラグが、同じイントラ予測パラメータである旨を示す場合、隣接しているパーティションの中で、どのパーティションのイントラ予測パラメータと同じであるかを示すイントラマージディレクションを可変長符号化する。
一方、そのイントラマージフラグが、同じイントラ予測パラメータでない旨を示す場合、図12(B)に示すように、符号化対象のパーティションPinにおけるイントラ予測パラメータを可変長符号化する(この場合、上記実施の形態1と同様の符号化となる)。

0075

例えば、図13(A)に示すように、隣接パーティションとして、左側のパーティションと、上側のパーティションが候補に挙げられる場合、イントラマージディレクションとしては、左側のパーティションと同じであるか、上側のパーティションと同じであるかを示すフラグとなる。
図13(B)に示すように、隣接パーティションとして、左側のパーティションと、左上側のパーティションと、上側のパーティションとを候補に挙げて、3つの候補の中のどれと同じであるかを示すフラグとして構成することもできる。
当然ながら、対象となる隣接パーティション同士のイントラ予測パラメータが全て同じである場合には、イントラマージディレクションを符号化する必要がない。そのため、このような場合には、図12(D)に示すように、イントラマージディレクションを符号化しないように構成してもよい。
また、上側又は左側に隣接するパーティションが複数ある場合には、例えば、左上方向から遠ざかる方向にパーティションをスキャンし、イントラ予測モードで符号化されている最初のパーティションをそれぞれ上側又は左側の隣接パーティションとするように構成することができる。

0076

また、隣接パーティションにおいて、選択可能なイントラ予測方向数NumNと、符号化対象のパーティションにおいて、選択可能なイントラ予測方向数NumCが等しくない場合には、次のように構成することができる。
即ち、NumN<NumCの場合、符号化対象のパーティションPinの複数の方向性予測の予測方向ベクトルの中から、代表的な予測方向ベクトルを隣接パーティションにおける選択可能なイントラ予測方向の1つと対応させることにより、イントラ予測パラメータが一致しているか否かを判断する。
この場合、図12(C)に示すように、イントラ予測パラメータが一致していると判断された場合には、さらに、対応させた複数のイントラ予測方向のうち、いずれが符号化対象のパーティションPinで選択されたかを示すイントラ予測方向残差パラメータを符号化する。

0077

一方、NumN>NumCの場合、隣接パーティションの複数の方向性予測の予測方向ベクトルの中から、代表的な予測方向ベクトルを符号化対象のパーティションPinにおける選択可能なイントラ予測方向の1つと対応させることにより、イントラ予測パラメータが一致しているか否かを判断する。
この場合には、イントラ予測方向残差パラメータを符号化する必要がない。
イントラ予測モードは、符号化対象画像のテクスチャに依存した方向性を持つと考えられるため、局所的には類似の予測モードが出やすい。従って、イントラマージフラグとイントラマージディレクションを用いて、イントラ予測パラメータを符号化することにより、より少ない情報量でイントラ予測パラメータを符号化することができる。

0078

この実施の形態2における動画像復号装置の可変長復号部21は、図12(A)に示すように、復号対象(処理対象)のパーティションPinにおけるイントラ予測パラメータを可変長復号する際、そのイントラ予測パラメータが、パーティションPinと隣接しているパーティションのイントラ予測パラメータと同じであるか否かを示すイントラマージフラグを可変長復号する。
また、可変長復号部21は、そのイントラマージフラグが、同じイントラ予測パラメータである旨を示す場合、隣接しているパーティションの中で、どのパーティションのイントラ予測パラメータと同じであるかを示すイントラマージディレクションを可変長復号する。
一方、そのイントラマージフラグが、同じイントラ予測パラメータでない旨を示す場合、図12(B)に示すように、復号対象のパーティションPinにおけるイントラ予測パラメータを可変長復号する(この場合、上記実施の形態1と同様の復号となる)。

0079

例えば、図13(A)に示すように、隣接パーティションとして、左側のパーティションと、上側のパーティションが候補に挙げられる場合、イントラマージディレクションとしては、左側のパーティションと同じであるか、上側のパーティションと同じであるかを示すフラグとなる。
あるいは、図13(B)に示すように、隣接パーティションとして、左側のパーティションと、左上側のパーティションと、上側のパーティションとが候補に挙げられる場合、3つの候補の中のどれと同じであるかを示すフラグとなる。
当然ながら、対象となる隣接パーティション同士のイントラ予測パラメータが全て同じである場合には、イントラマージディレクションを復号する必要がない。そのため、このような場合には、図12(D)に示すように、イントラマージディレクションを復号しないようにしてもよい。
また、上側又は左側に隣接するパーティションが複数ある場合には、例えば、左上方向から遠ざかる方向にパーティションをスキャンし、イントラ予測モードで符号化されている最初のパーティションをそれぞれ上側又は左側の隣接パーティションとするようにしてもよい。

0080

また、隣接パーティションにおいて、選択可能なイントラ予測方向数NumNと、復号対象のパーティションにおいて、選択可能なイントラ予測方向数NumCが等しくない場合には、次のように構成することができる。
即ち、NumN<NumCの場合、復号対象のパーティションPinの複数の方向性予測の予測方向ベクトルの中から、代表的な予測方向ベクトルを隣接パーティションにおける選択可能なイントラ予測方向の1つと対応させることにより、イントラ予測パラメータが一致しているか否かを判断する。
この場合、図12(C)に示すように、イントラ予測パラメータが一致していると判断された場合には、さらに、対応させた複数のイントラ予測方向のうち、いずれが復号対象のパーティションPinで選択されたかを示すイントラ予測方向残差パラメータを符号化する。

0081

一方、NumN>NumCの場合、隣接パーティションの複数の方向性予測の予測方向ベクトルの中から、代表的な予測方向ベクトルを復号対象のパーティションPinにおける選択可能なイントラ予測方向の1つと対応させることにより、イントラ予測パラメータが一致しているか否かを判断する。
この場合には、イントラ予測方向残差パラメータを復号する必要がない。
このように構成すれば、この実施の形態2の動画像符号化装置で符号化されたイントラ予測パラメータを好適に復号することができる。
当然、本実施の形態2による可変長符号化・復号手段は、当該処理対象パーティションやその隣接するパーティションが本実施の形態1で説明した上位階層のイントラ予測画像の一部を切り出す予測モードでない場合にも適用することができる。

0082

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

0083

1符号化制御部(符号化制御手段)、2ブロック分割部(ブロック分割手段)、3切替スイッチ(予測画像生成手段)、4イントラ予測部(予測画像生成手段)、5動き補償予測部(予測画像生成手段)、6 減算部(差分画像生成手段)、7 変換・量子化部(画像圧縮手段)、8逆量子化・逆変換部、9加算部、10イントラ予測用メモリ、11ループフィルタ部、12動き補償予測フレームメモリ、13可変長符号化部(可変長符号化手段)、21可変長復号部(可変長復号手段)、22 切替スイッチ(予測画像生成手段)、23 イントラ予測部(予測画像生成手段)、24動き補償部(予測画像生成手段)、25 逆量子化・逆変換部(差分画像生成手段)、26 加算部(復号画像生成手段)、27 イントラ予測用メモリ、28 ループフィルタ部、29 動き補償予測フレームメモリ。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ