図面 (/)

技術 動画像符号化装置及び方法並びに動画像復号化装置及び方法

出願人 株式会社日立製作所
発明者 高橋昌史村上智一
出願日 2007年10月29日 (13年2ヶ月経過) 出願番号 2007-279783
公開日 2009年3月5日 (11年9ヶ月経過) 公開番号 2009-049969
状態 未査定
技術分野 TV信号の圧縮,符号化方式 TV信号の圧縮,符号化方式
主要キーワード 逆周波数 空間的特性 相関除去 原画像メモリ 平滑化後 符号化状態 周波数変換係数 入力画像メモリ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2009年3月5日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (14)

課題

H.264/AVCにおける画面内予測符号化では、符号化済み隣接画素を利用して対象ブロック予測を行うため、空間的に離れた画素を参照して予測を行う必要があり、予測精度が十分であるとは言えなかった。

解決手段

画面内予測符号化および復号化を行う際には、常に隣接する画素を利用する。符号化時には、一定の方向(予測方向)に沿って隣接画素の差分値予測差分)を計算し、予測方向とともに符号化する。この時、ブロック単位で符号化する場合には、隣接する画素が未符号化状態である可能性があるが、この場合は原画像における隣接画素間の差分値を符号化する。一方、復号化時には、直前画素値復号した値に予測差分を加算する処理を予測方向に沿って繰り返すことによって、復号画像を取得する。これにより、隣接する画素間の強い相関性を利用して効率性の高い符号化処理を行うことができる。

概要

背景

大容量の動画像情報デジタルデータ化して記録、伝達する手法として、MPEG (Moving
Picture Experts Group)方式等の符号化方式が策定され、MPEG-1規格、MPEG-2規格、MPE
G-4規格、H.264/AVC(Advanced Video Coding)規格等として国際標準の符号化方式とな
っている。これらの方式はデジタル衛星放送やDVD、携帯電話デジタルカメラなどにお
ける符号化方式として採用され、現在ますます利用の範囲が広がり、身近なものとなって
きている。

これらの規格では、符号化処理が完了した画像情報を利用して符号化対象画像ブロ
ク単位で予測し、原画像との予測差分を符号化することによって、動画像の持つ冗長性
除いて符号量を減らしている。特にH.264/AVCでは、符号化対象ブロック周辺画素を利
用する画面内予測符号化方式を採用することにより、劇的な圧縮率の向上を実現した。

しかし、H.264/AVCにおける画面内予測の場合、対象ブロックに隣接する画素情報しか
参照することができず、予測精度が十分であるとは言えなかった。そのため、画面内予測
の精度を向上させて圧縮率を上げるための画面内符号化技術が求められるようになった。
以上に述べた背景から、画面内予測に利用可能な画素の種類を増やすことによって画面
内予測の精度を向上させる技術が多数提案されている。

例えば、特許文献1では、画像全体反転してから符号化することを可能にすることに
よって、符号化処理の順序を変更して画面内予測に利用可能な画素の種類を増やしている

また、特許文献2では、対象ブロックの予測に利用するブロックを同一画面内の符号化
済み領域の中から探索することによって、離れたブロックを参照して予測を行うことを可
能にしている。

また、特許文献3には、入力ブロックを少なくとも2つ以上の領域に分離して、分離さ
れた領域のうち、第1領域の画素に対して周辺ブロックの画素を利用してイントラ予測
号化を行い、イントラ予測符号化された第1領域の画素を復元した後、復元された第1領
域の画素を利用して、複数個予測モードのうち少なくとも一つ以上の予測モードによっ
て第2領域の画素を予測する段階を含むことを特徴とするイントラ予測符号化方法が開示
されている。

また、特許文献4には、入力ブロックを少なくとも2つ以上の領域に分離し、分離され
た領域のうち、第1領域の画素に対して周辺ブロックの画素を利用してイントラ予測を行
った後、分離された領域のうち、第2領域の所定の画素周辺に位置した第1領域の画素の
空間的特性を決定し、決定された空間的特性に基づいて第2領域の画素の予測のための第
1領域の参照画素を決定し、決定された第1領域の参照画素に基づいて第2領域の画素の
予測を行う映像のイントラ予測符号化方法が開示されている。

また、非特許文献1には、画質歪みと符号量の関係から最適な符号化モードを決定する
RD-Optimization方式が記載されている。
特開2006−352181号公報
特開2007−43651号公報
特開2007−74725号公報
特開2007−74725号公報
G. Sullivan and T.Wiegand:Rate-Distortion Optimization for VideoCompression”,IEEE Signal Processing Magazine, vol.15, no.6, pp.74−90, 1998.

概要

H.264/AVCにおける画面内予測符号化では、符号化済み隣接画素を利用して対象ブロックの予測を行うため、空間的に離れた画素を参照して予測を行う必要があり、予測精度が十分であるとは言えなかった。画面内予測符号化および復号化を行う際には、常に隣接する画素を利用する。符号化時には、一定の方向(予測方向)に沿って隣接画素の差分値(予測差分)を計算し、予測方向とともに符号化する。この時、ブロック単位で符号化する場合には、隣接する画素が未符号化状態である可能性があるが、この場合は原画像における隣接画素間の差分値を符号化する。一方、復号化時には、直前画素値復号した値に予測差分を加算する処理を予測方向に沿って繰り返すことによって、復号画像を取得する。これにより、隣接する画素間の強い相関性を利用して効率性の高い符号化処理を行うことができる。

目的

そこで、本発明は常に隣接する画素を参照して予測を行うことによって、予測精度を改
善する技術を提供する。本発明の目的は、常に画素間相関の高い隣接画素を参照して予測
を行うことによって、画面内予測符号化の効率性を高めることにある。

効果

実績

技術文献被引用数
3件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

ブロック単位画面内予測を行って予測差分を計算する画面内予測部と、予測差分に対して符号化を行う周波数変換部及び量子化部と、記号の発生確率に応じた符号化を行うための可変長符号化部を有する動画像符号化装置において、前記画面内予測部は、符号化対象となる画素を常に隣接する画素を参照して予測符号化処理を行う画面内予測符号化手段を備えていることを特徴とする動画像符号化装置。

請求項2

請求項1に記載の動画像符号化装置において、前記画面内予測部では、予測方向が複数定義されており、予測符号化の際には該当する予測方向に沿って隣接する画素間の差分を計算することを特徴とする動画像符号化装置。

請求項3

請求項1または請求項2に記載の動画像符号化装置において、前記画面内予測部には、符号化対象となる画素を常に隣接する画素を参照して予測符号化処理を行う前記画面内予測符号化手段に加えて、異なる予測符号化処理を実行する画面内予測符号化手段が備わっており、上記画面内予測部の複数の画面内予測符号化手段によって符号化された結果の中から最適なものをブロック単位または画像単位で選択する符号化モード選択部を有することを特徴とする動画像符号化装置。

請求項4

ブロック単位で画面内予測を行って予測差分を計算し、予測差分に対して符号化を行う周波数変換及び量子化を行い、記号の発生確率に応じた符号化を行うための可変長符号化を行う動画像符号化方法において、前記画面内予測の際に、符号化対象となる画素を常に隣接する画素を参照して予測符号化処理を実行する画面内予測符号化を行うことを特徴とする動画像符号化方法。

請求項5

請求項4に記載の動画像符号化方法において、前記画面内予測の際には、予測方向が複数定義されており、予測符号化の際には該当する予測方向に沿って隣接する画素間の差分を計算することを特徴とする動画像符号化方法。

請求項6

請求項4または請求項5記載の動画像符号化方法において、前記画面内予測の際には、符号化対象となる画素を常に隣接する画素を参照して予測符号化処理を実行する前記画面内予測符号化に加えて、異なる予測符号化処理を実行する画面内予測符号化を行い、上記予測符号化の際の複数の画面内予測符号化によって符号化された結果の中から最適なものをブロック単位または画像単位で選択することを特徴とする動画像符号化方法。

請求項7

可変長符号化の逆の手順を踏む可変長復号化部と、予測差分を復号化するための逆量子化処理部及び逆周波数変換部と、ブロック単位で画面内予測を行って復号画像を取得するための画面内予測部を有する動画像復号化装置において、画面内予測部には、復号対象となる画素を常に隣接する画素を参照して予測する画面内予測復号化手段を備えていることを特徴とする動画像復号化装置。

請求項8

請求項7に記載の動画像復号化装置において、前記画面内予測部では、予測方向が複数定義されており、予測復号化の際には該当する予測方向に沿って隣接する画素の復号画像と予測差分の和を計算することを特徴とする動画像復号化装置。

請求項9

請求項7または請求項8に記載の動画像復号化装置において、前記画面内予測部には、前記画面内予測復号化手段に加えて、異なる予測復号化処理を実行する画面内予測復号化手段が備わっており、上記複数の画面内予測復号化手段では、ブロック単位または画像単位で異なる方式によって予測符号化されたデータを復号化することを特徴とする動画像復号化装置。

請求項10

可変長符号化の逆の手順を踏む可変長復号化を行い、予測差分を復号化するための逆量子化処理及び逆周波数変換を行い、ブロック単位で画面内予測を行って復号画像を取得するための画面内予測を行う動画像復号化方法において、前記画面内予測の際には、復号対象となる画素を常に隣接する画素を参照して予測する画面内予測復号化を行うことを特徴とする動画像復号化方法。

請求項11

請求項10に記載の動画像復号化方法において、前記画面内予測を行う際の予測方向が複数定義されており、予測復号化の際には該当する予測方向に沿って復号対象となる画素の予測差分を隣接する画素の復号画像と加算することを特徴とする動画像復号化方法。

請求項12

請求項10または請求項11に記載の動画像復号化方法において、前記復号対象となる画素を常に隣接する画素を参照して予測する画面内予測復号化に加えて、異なる方法で予測復号化処理を実行する画面内予測復号化が可能であり、ブロック単位または画像単位で異なる方式によって予測符号化されたデータを復号化することを特徴とする動画像復号化方法。

請求項13

請求項1に記載の動画像符号化装置において、前記画面内予測符号化手段は、前記符号化対象となる画素に隣接する画素の画素値または該隣接する画素の周辺に位置する複数の画素のうち何れか複数の復号画像の画素値または原画像の画素値を変数とする平滑化関数の値を参照することを特徴とする動画像符号化装置。

請求項14

請求項4に記載の動画像符号化方法において、前記画面内予測の際には、前記符号化対象となる画素に隣接する画素の画素値または該隣接する画素の周辺に位置する複数の画素のうち何れか複数の復号画像の画素値または原画像の画素値を変数とする平滑化関数の値を参照することを特徴とする動画像符号化方法。

請求項15

請求項7に記載の動画像復号化装置において、前記画面内予測復号化手段は、前記復号対象となる画素に隣接する画素の画素値または該隣接する画素の周辺に位置する複数の画素のうち何れか複数の復号画像の画素値を変数とする平滑化関数の値を参照することを特徴とする動画像復号化装置。

請求項16

請求項10に記載の動画像復号化方法において、前記画面内予測の際には、前記復号対象となる画素に隣接する画素の画素値または該隣接する画素の周辺に位置する複数の画素のうち何れか複数の復号画像の画素値を変数とする平滑化関数の値を参照することを特徴とする動画像復号化方法。

技術分野

0001

本発明は動画像を符号化及び復号化する動画像符号化技術に関する。

背景技術

0002

大容量の動画像情報デジタルデータ化して記録、伝達する手法として、MPEG (Moving
Picture Experts Group)方式等の符号化方式が策定され、MPEG-1規格、MPEG-2規格、MPE
G-4規格、H.264/AVC(Advanced Video Coding)規格等として国際標準の符号化方式とな
っている。これらの方式はデジタル衛星放送やDVD、携帯電話デジタルカメラなどにお
ける符号化方式として採用され、現在ますます利用の範囲が広がり、身近なものとなって
きている。

0003

これらの規格では、符号化処理が完了した画像情報を利用して符号化対象画像ブロ
ク単位で予測し、原画像との予測差分を符号化することによって、動画像の持つ冗長性
除いて符号量を減らしている。特にH.264/AVCでは、符号化対象ブロック周辺画素を利
用する画面内予測符号化方式を採用することにより、劇的な圧縮率の向上を実現した。

0004

しかし、H.264/AVCにおける画面内予測の場合、対象ブロックに隣接する画素情報しか
参照することができず、予測精度が十分であるとは言えなかった。そのため、画面内予測
の精度を向上させて圧縮率を上げるための画面内符号化技術が求められるようになった。
以上に述べた背景から、画面内予測に利用可能な画素の種類を増やすことによって画面
内予測の精度を向上させる技術が多数提案されている。

0005

例えば、特許文献1では、画像全体反転してから符号化することを可能にすることに
よって、符号化処理の順序を変更して画面内予測に利用可能な画素の種類を増やしている

また、特許文献2では、対象ブロックの予測に利用するブロックを同一画面内の符号化
済み領域の中から探索することによって、離れたブロックを参照して予測を行うことを可
能にしている。

0006

また、特許文献3には、入力ブロックを少なくとも2つ以上の領域に分離して、分離さ
れた領域のうち、第1領域の画素に対して周辺ブロックの画素を利用してイントラ予測
号化を行い、イントラ予測符号化された第1領域の画素を復元した後、復元された第1領
域の画素を利用して、複数個予測モードのうち少なくとも一つ以上の予測モードによっ
て第2領域の画素を予測する段階を含むことを特徴とするイントラ予測符号化方法が開示
されている。

0007

また、特許文献4には、入力ブロックを少なくとも2つ以上の領域に分離し、分離され
た領域のうち、第1領域の画素に対して周辺ブロックの画素を利用してイントラ予測を行
った後、分離された領域のうち、第2領域の所定の画素周辺に位置した第1領域の画素の
空間的特性を決定し、決定された空間的特性に基づいて第2領域の画素の予測のための第
1領域の参照画素を決定し、決定された第1領域の参照画素に基づいて第2領域の画素の
予測を行う映像のイントラ予測符号化方法が開示されている。

0008

また、非特許文献1には、画質歪みと符号量の関係から最適な符号化モードを決定する
RD-Optimization方式が記載されている。
特開2006−352181号公報
特開2007−43651号公報
特開2007−74725号公報
特開2007−74725号公報
G. Sullivan and T.Wiegand:Rate-Distortion Optimization for VideoCompression”,IEEE Signal Processing Magazine, vol.15, no.6, pp.74−90, 1998.

発明が解決しようとする課題

0009

しかし、上記の文献を含む既存の画面内予測符号化技術は、どれも符号化済みの画素を
復号化したものを用いて予測を行っているため、ブロック単位で画面内予測符号化を行う
場合には、空間的に離れた画素を参照して予測する必要があった。この場合、予測対象
素と被参照画素の距離が大きくなることにより、画素間の相関性が低下して予測精度が落
ちるといった問題があった。

0010

H.264/AVCにおける画面内予測符号化では、符号化済みの隣接画素を利用して対象ブロ
ックの予測を行うため、空間的に離れた画素を参照して予測を行う必要があり、予測精度
が十分であるとは言えなかった。

0011

そこで、本発明は常に隣接する画素を参照して予測を行うことによって、予測精度を改
善する技術を提供する。本発明の目的は、常に画素間相関の高い隣接画素を参照して予測
を行うことによって、画面内予測符号化の効率性を高めることにある。

課題を解決するための手段

0012

本発明では、画面内予測符号化および復号化を行う際には、常に隣接する画素を利用す
る。符号化時には、一定の方向(予測方向)に沿って隣接画素の差分値(予測差分)を計
算し、予測方向とともに符号化する。この時、ブロック単位で符号化する場合には、隣接
する画素が未符号化状態である可能性があるが、この場合は原画像における隣接画素間
差分値を符号化する。一方、復号化時には、直前画素値復号した値に予測差分を加算
する処理を予測方向に沿って繰り返すことによって、復号画像を取得する。これにより、
隣接する画素間の強い相関性を利用して効率性の高い符号化処理を行うことができる。

発明の効果

0013

本発明によれば、少ない符号量で高画質の映像を提供するための動画像符号化技術およ
び復号化技術を提供することができる。本発明は次世代の画像符号化規格に向けたもので
あり、例えば本技術による予測符号化技術を従来技術と組み合わせて利用することにより
、高い圧縮率を実現することができる。例えば、本技術とH.264/AVCによる画面内予測符
号化技術をブロック単位で使い分けることにより、画像の性質に適した符号化を行うこと
が可能になる。また、本発明は高ビットレートでの符号化、特にロスレス符号化に対して
特に高い効果がある。

発明を実施するための最良の形態

0014

以下、本発明の実施例を、図面を参照して説明する。

0015

図3は、従来技術であるH.264/AVCによる画面内予測符号化処理の動作について概念
に示したものである。H.264/AVCでは、符号化対象画像に対してラスタースキャンの順序
に従って符号化を実行し(301)、符号化済み画像領域の復号化画像を用いて予測符号化を
行う。

0016

そのため、画面内予測符号化処理の動作例(302)では、予測方向ベクトルを傾きとする
同一直線上の画素はすべて同一画素から予測されることになり、例えば(303)に示すよう
に、符号化対象ブロックの画素B、C、D、Eはすべて同一画素Aを参照して予測符号化が行
われ、画素Aを復号化した値との差分(予測差分)が計算される。さらに、縦、横、斜めな
ど、数種類の予測方向候補の中から最適なものをブロック単位で選択することができ(304
)、予測差分と予測方向の値が符号化される。

0017

一方、復号化処理は復号化済みの被参照画素と予測差分を用いて上記処理の逆手順を踏
めばよく、予測差分を予測方向に沿って非参照画素と足し合わせることによって復号化画
像を取得する(305)。例えば(306)では、復号化対象ブロック上の画素B、C、D、Eはすべて
復号化済みの被参照画素Aと予測差分の和によって復号化される。以上のように、H.264/A
VCによる画面内予測符号化処理では、被参照画素を符号化済みのものに限定するため、空
間的に離れた画素を参照する必要があり(例えば画素Eは離れた画素Aを参照して予測符号
化が行われている。)、離れた画素間では相関性が低下して予測精度が十分ではないとい
った問題があった。

0018

図4は、本発明による画面内予測符号化処理の動作について概念的に示した図である。
この場合も符号化対象画像に対してラスタースキャンの順序に従って符号化を行う(401)
が、本発明では上記の問題を解決するために、符号化処理が完了していなくても空間的に
近い画素を参照して予測を行うことを可能にした。例えば(402)では、常に隣接する画素
を参照して縦方向に予測を行っている。

0019

この場合、未符号化領域を参照する際には、従来技術のように復号化済みの画素情報を
利用することができないため、同じ座標に位置する原画像の値を用いて予測を行う。例え
ば(403)では、画素C、D、Eはそれぞれ、未符号化の画素B、C、Dを用いて予測が行われて
おり、これら未符号化の画素に対しては原画像における上下に位置する画素間の差分(B-
A=b、C-B=c、D-C=d、E-D=e)を計算する。さらに本発明に対しても様々な予測方向を定
義することができ(404)、予測差分と予測方向の値を符号化する。

0020

復号化の際には符号化時とは異なり予測処理に復号化画像のみを利用し、予測方向に沿
って直前の座標に位置する復号画像に予測差分を足し合わせる処理を繰り返すことにより
復号画像を取得できる(405)。例えば(406)では、画素B、C、D、Eはそれぞれ、画素A、B、
C、Dの復号画像(A’、B’、C’、D’)に対して予測差分(b’、c’、d’、e’)を加算す
ることによって復号画像を取得できる。

0021

本発明の場合、符号化時に予測差分に対して量子化処理を施せば、量子化誤差蓄積
てしまう恐れがある。そのため、本発明を利用すれば予測精度が向上して予測差分は減少
するが、量子化誤差が増加するという事態が発生する場合がある。こういった場合、従来
技術を用いて予測符号化を行った方が、符号化効率が高くなる可能性がある。

0022

そのため、本発明による予測符号化技術を従来技術と組み合わせて利用することにより
、画像の性質に応じて高い圧縮率を実現することができる。例えば、本技術と従来技術を
ブロック単位で使い分けて予測符号化することにより、画像の性質に適した符号化が可能
になる。従来技術としては、例えば図3に示すH.264/AVCによる画面内予測符号化や、符
号化対象画像とは異なる画像(復号画像)を用いる画面間予測符号化などを利用すると効
果的である。

0023

図1は、本発明による動画像符号化装置の一実施例を示したものである。動画像符号化
装置は、入力された原画像(101)を保持する入力画像メモリ(102)と、入力画像を小領域に
分割したブロック単位で動きを検出する動き探索部(103)と、同じくブロック単位で画面
内予測を行う画面内予測部(104)、検出された動き量を基に画面間予測を行う画面間予測
部(105)と、画像の性質に合った予測符号化手段を決定するモード選択部(106)と、予測差
分を生成するための減算部(107)と、予測差分に対して符号化を行う周波数変換部(108)、
および量子化部(109)と、記号の発生確率に応じた符号化を行うための可変長符号化部(11
0)と、一度符号化した予測差分を復号化するための逆量子化処理部(111)、および逆周波
数変換部(112)と、復号化された予測差分を用いて復号画像を生成するための加算部(113)
と、復号化画像を保持して後の予測に活用するための参照画像メモリ(114)を有する。

0024

原画像メモリ(102)は原画像(101)の中から一枚の画像を符号化対象画像として保持しこ
れを細かなブロックに分割して動き探索部(103)、および画面内予測部(104)に渡す。

0025

動き探索部(103)では、参照画像メモリ(114)に格納されている復号化済み画像を用いて
該当ブロックの動き量を計算し、動きベクトルとして画面間予測部(105)に渡す。

0026

画面内予測部(104)、および画面間予測部(105)ではそれぞれ画面内予測処理と画面間
測処理をいくつかの大きさのブロック単位で実行し、モード選択部(106)にて最適な予測
符号化手段を選ぶ。続いて加算部(107)では最適な予測符号化手段による予測差分を生成
し、周波数変換部(108)に渡す。

0027

画面内予測部(104)には、本発明の特徴である符号化対象となる画素を常に隣接する画
素を参照して予測符号化処理を行う改良型の画面内予測符号化手段と、例えばH.264/AVC
による従来型の画面内予測符号化手段が含まれる。

0028

周波数変換部(108)、および量子化処理部(109)では、送られてきた差分画像に対して指
定された大きさのブロック単位でそれぞれDCT(Discrete
Cosine Transformation:離散コサイン変換)などの周波数変換、および量子化処理を行い
可変長符号化処理部(110)および逆量子化処理部(111)に渡す。

0029

さらに可変長符号化処理部(110)では、周波数変換係数によって表される予測差分情報
を、例えば画面内予測符号化における予測方向や画面間予測符号化における動きベクトル
など、予測復号化に必要な付加情報とともに、記号の発生確率に基づいて可変長符号化を
行って符号化ストリームを生成する。

0030

また、逆量子化処理部(111)、逆周波数変換部(112)では、量子化後の周波数変換係数に
対して、それぞれ逆量子化、およびIDCT(Inverse DCT:逆DCT)などの逆周波数変換を施し
、予測差分を取得して加算部(113)に送る。続いて加算部(113)により復号画像を生成して
参照画像メモリ(114)に格納する。

0031

図2は、本発明による動画像復号化装置の一実施例を示したものである。動画像復号化
装置は、例えば図1に示す動画像符号化装置によって生成された符号化ストリーム(201)
に対して可変長符号化の逆の手順を踏む可変長復号化部(202)と、予測差分を復号化する
ための逆量子化処理部(203)、および逆周波数変換部(204)と、予測を行うための画面内予
測部(205)、および画面間予測部(206)と、復号画像を取得するための加算部(207)と、復
号画像を一時的に記憶しておくための参照画像メモリ(208)を有する。

0032

画面内予測部(205)には、本発明の特徴である復号対象となる画素を常に隣接する画素
を参照して予測する画面内予測復号化手段と、例えばH.264/AVCによる従来型の画面内予
測符号化手段が含まれる。

0033

可変長復号化部(202)では、符号化ストリーム(201)を復号化し、予測差分の周波数変換
係数成分と、予測方向や動きベクトルなどの予測処理に必要な付加情報を取得する。前者
の予測差分情報に対しては逆量子化処理部(203)に、後者の付加情報に対しては、予測手
段に応じて画面内予測部(205)または画面間予測部(206)に送られる。続いて、逆量子化処
理部(203)、逆周波数変換部(204)では、予測差分情報に対して逆量子化と逆周波数変換を
施して復号化を行い、一方で画面内予測部(205)または画面間予測部(206)において、付加
情報を基に予測処理を実行して加算部(207)で復号画像を生成するとともに、復号画像を
参照画像メモリ(208)に格納する。

0034

図5は、図1に示す動画像符号化装置の実施例における1フレームの符号化処理手順に
ついて示している。まず、符号化対象となるフレーム内に存在するすべてのブロックに対
して(501)、以下の処理を行う。すなわち、該当ブロックに対して一度すべての符号化モ
ード(予測方法ブロックサイズの組み合わせ)に対して予測符号化処理を行って予測差分
を計算し、その中から最も符号化効率の高いものを選択する。予測処理方法としては、本
発明による方法(以下、「改良型画面内予測符号化処理」(505))の他に、例えばH.264/A
VCに採用されている画面内予測方法(以下、「従来型画面内予測符号化処理」(506))や画
面間予測符号化処理(507)を実行し、その中から最適なものを選ぶことによって、画像の
性質に応じて効率良く符号化できる。さらに、上記多数の符号化モードの中から最も符号
化効率の高いものを選択する際には(508)、例えば画質歪みと符号量の関係から最適な符
号化モードを決定するRD-Optimization方式を利用することによって、効率良く符号化で
きる。RD-Optimization方式の詳細については、非特許文献1に記載されている。

0035

続いて、選ばれた符号化モードで生成された予測差分に対して周波数変換(509)と量子
化処理(510)を施し、さらに可変長符号化を行うことによって符号化ストリームを生成す
る(511)。一方、量子化済みの周波数変換係数に対しては逆量子化処理(512)と逆周波数
換処理(513)を施して予測差分を復号化し、復号画像を生成して参照画像メモリに格納す
る(514)。以上の処理をすべてのブロックに対して完了すれば、画像1フレーム分の符号化
は終了する(515)。

0036

図6は、上記改良型画面内予測符号化処理(505)の詳細な処理手順について示している
。ここでは、縦、横、斜めなど、あらかじめ定義されたすべての予測方向に対し(601)、
ブロック内に存在するすべての画素に対して予測方向に沿った順序で以下の処理を行う(6
02)。すなわち、該当する画素がブロック境界に属するなら(603)、直前座標の復号画像と
現座標の原画像の差分を計算し(604)、ブロック境界に属さないなら、直前座標の原画像
と現座標の原画像の差分を計算する(605)。以上の処理を、すべての予測方向に対して完
了すれば、1ブロック分の予測差分を取得することができ、予測符号化処理を終了する(60
6)。

0037

図7は、図2に示す動画像復号化装置の実施例における1フレームの復号化処理手順に
ついて示している。まず、1フレーム内のすべてのブロックに対して、以下の処理を行う(
701)。すなわち、入力ストリームに対して可変長復号化処理を施し(702)、逆量子化処理(
703)と逆周波数変換処理(704)を施して予測差分を復号化する。続いて、対象ブロックが
どの方法によって予測符号化されているかに応じて、改良型画面内予測復号化処理(707)
、従来型画面内予測復号化処理(708)、画面間予測復号化処理(709)を行い、復号画像を取
得して参照画像メモリに格納する。以上の処理をすべてのブロックに対して完了すれば、
画像1フレーム分の復号化が終了する(710)。

0038

図8は、上記改良型画面内予測復号化処理(707)の詳細な処理手順について示している
。ここでは、ブロック内に存在するすべての画素に対して、予測方向に沿った順序で以下
の処理を行う(801)。すなわち、直前座標の復号画像と現座標の予測差分の和を計算する(
802)。以上の処理をすべての画素に対して完了すれば、1ブロック分の復号画像を取得す
ることができ、予測復号化処理を終了する(803)。

0039

以上の実施例による改良型画面内予測符号化処理では、ブロック境界に位置する画素の
予測に符号化済み画素の復号画像を利用している。これは、対象ブロックにおける量子化
誤差が別のブロックに伝播するのを防ぐためである。しかし、この場合ブロック境界
分で予測誤差が大きくなる可能性がある。そのため、予測誤差を小さくするために、ブロ
ック境界に位置する画素に対しても、直前座標の原画像を利用して予測符号化してもよい

0040

また、本実施例による改良型画面内予測符号化処理では、符号化時と復号化時の参照画素の値が異なるため、量子化誤差が蓄積しやすい。そこで、この量子化誤差を低減するために、改良型画面内予測符号化処理の別の構成例として、予測を行う際に参照画素の画素値を平滑化しても良い。この場合、誤差が拡散されて予測精度が高くなる。この効果は、特に低ビットレートにおいて高くなる。以下にこの別の構成例について説明する。

0041

図12は、図6に示す改良型画面内予測符号化処理において、上記平滑化処理を用いた場合の構成例である。図12の構成例では、参照画素の画素値の平滑化を行っている。ここでは、縦、横、斜めなど、あらかじめ定義されたすべての予測方向に対し(1201)、ブロック内に存在するすべての画素に対して予測方向に沿った順序で以下の処理を行う(1202)。すなわち、該当する画素がブロック境界に属するなら(1203)、直前座標の復号画像を平滑化し(1204)、続いて平滑化後の復号画像と現座標の原画像の差分を計算する(1206)。逆にブロック境界に属さないなら、直前座標の原画像を平滑化し(1205)、平滑化後の原画像と現座標の原画像の差分を計算する(1207)。以上の処理を、すべての予測方向に対して完了すれば、1ブロック分の予測差分を取得することができ、予測符号化処理を終了する(1208)。

0042

ここで、図12のステップ1204及びステップ1205における平滑化処理ついて、図11を用いて説明する。図11は、参照画素の平滑化処理の一実施例について示している。

0043

図12のステップ1204における平滑化処理は、例えば、図11においては、画素F’に対する平滑化処理として示される。すなわち、図12のステップ1203において予測対象画素がブロックの境界に属する画素(この例では画素J)であると判断した場合は、直前座標の画素(画素F’)及びその周辺の画素の復号画像を平滑化する。この例では、平滑化対象となる画素F’の平滑化後の画素値S(F’)は、画素F’の復号画像の画素値と、画素F’の両隣に位置するそれぞれの画素(G’、H’)の復号画像の画素値との加重平均として算出している。ここで、S(X)は画素Xについて、複数の画素の復号画像の画素値を平滑化した画素値を算出するための関数の一例である。

0044

図12のステップ1205における平滑化処理は、例えば、図11においては、画素Jに対する平滑化処理として示される。すなわち、図12のステップ1203において予測対象画素がブロックの境界に属しない画素(この例では画素L)であると判断した場合は、直前座標の画素(画素J)及びその周辺の画素の原画像を平滑化する。この例では、平滑化対象となる画素Jの平滑化後の画素値T(J)は、画素Jの原画像の画素値と、画素Jの両隣に位置するそれぞれの画素(I、K)の原画像の画素値との加重平均として算出している。ここで、T(X)は画素Xについて、複数の画素の原画像の画素値を平滑化した画素値を算出するための関数の一例である。

0045

上記の二つの平滑化処理の例では、加重平均の一例を用いた。しかし、平滑化対象の画素の周辺(隣接していても、離れていてもかまわない)に位置する複数の画素の画素値(復号画像または原画像の画素値)を変数とする関数の値を用いて平滑化対象の画素を算出する方法であれば、従来の様々な平滑化方法を用いてもかまわない。

0046

以上説明した平滑化処理を用いた改良型画面内予測符号化処理を行う画像符号化装置及び画像符号化方法によれば、復号時においてより量子化誤差を低減することが可能となり、少ない符号量でより高画質な映像を復号することのできる符号化ストリームを生成することが可能となる。

0047

次に、図13図8に示す改良型画面内予測復号化処理において、上記平滑化処理を用いた場合の構成例を説明する。ここでは、ブロック内に存在するすべての画素に対して、予測方向に沿った順序で以下の処理を行う(1301)。すなわち、直前座標の復号画像を平滑化し(1302)、平滑化後の復号画像と現座標の予測差分の和を計算する(1303)。以上の処理をすべての画素に対して完了すれば、1ブロック分の復号画像を取得することができ、予測復号化処理を終了する(1304)。図13のステップ1302に示す平滑化処理は、例えば、図12のステップ1204における画素F’の平滑化処理において画素値S(F’)を算出する場合と同様の処理を行えばよい。

0048

以上説明した平滑化処理を用いた改良型画面内予測復号化処理を行う画像復号化装置及び画像復号化方法によれば、より量子化誤差を低減することが可能となり、より高画質な映像を復号することが可能となる。

0049

また、実施例では周波数変換の一例としてDCTを挙げているが、DST(Discrete Sine T
ransformation:離散サイン変換)、WT(Wavelet Transformation:ウェーブレット変換)
DFT(Discrete Fourier Transformation:離散フーリエ変換)、KLT(Karhunen-Loeve
Transformation:カルーネン-レーブ変換)など、画素間相関除去に利用する直交変換なら
どんなものでも構わないし、特に周波数変換を施さずに予測差分そのものを符号化しても
構わない。さらに、可変長符号化も特に行わなくて良い。

0050

図9は、本発明を利用した場合に生成される符号化ストリームのうち、ブロック単位で
設定されるべき符号化パラメータに関する部分の構成例について示している。ここではH.
264/AVCにおける処理単位と同様に、固定長サイズのマクロブロック単位で符号化モード
を決定する場合について説明している。マクロブロックはさらに細かなブロックに分割す
ることができ、分割されたブロック単位で予測符号化が行われるものとする。この時、マ
クロブロックごとにその座標を特定するためのマクロブロック番号(901)と、予測方法と
ブロックサイズを表す符号化モード番号(902)、そして例えば画面間予測の際の動きベク
トルや画面内予測の際の予測方向など、予測を行う際に必要となる付加情報(903)、そし
て予測差分情報(904)が可変長符号化されて格納される。特に符号化モード番号(902)に対
しては、すべての予測手段に対して連番割り当てても良いし、予測手段ごとに異なるビ
ットで表しても良い。

0051

図10は、ブロック単位で設定されるべき符号化パラメータに関する部分に対する別の
構成例について示している。この例では、マクロブロック番号(1001)と、予測方法(1002)
に対して、本発明による隣接画素を利用した予測を行うか否かを表すフラグ(1003)を付加
し、さらに付加情報(1004)と予測差分情報(1005)を格納する。

0052

本実施例は動画像を符号化する場合について述べているが、本発明は静止画の符号化に
も有効である。すなわち、図1のブロック図から動き探索部(103)と画面間予測部(105)を
排除すれば、すなわち静止画像特化した符号化装置のブロック図に相当する。

図面の簡単な説明

0053

図1は、本実施例で用いる画像符号化装置のブロック図である。
図2は、本実施例で用いる画像復号化装置のブロック図である。
図3は、H.264/AVCで用いる画面内予測符号化処理の概念的な説明図である。
図4は、本実施例で用いる画面内予測符号化処理の概念的な説明図である。
図5は、本実施例で用いる画像符号化装置の流れ図である。
図6は、本実施例で用いる画像符号化装置の詳細な流れ図である。
図7は、本実施例で用いる画像復号化装置の流れ図である。
図8は、本実施例で用いる画像復号化装置の詳細な流れ図である。
図9は、本実施例で用いる符号化ストリームの構成例である。
図10は、本実施例で用いる符号化ストリームの構成例である。
図11は、本実施例で用いる平滑化処理の概念的な説明図である。
図12は、本実施例で用いる画像符号化装置の詳細な流れ図である。
図13は、本実施例で用いる画像復号化装置の詳細な流れ図である。

符号の説明

0054

101入力画像
102 現画像メモリ
103動き探索部
104画面内予測部
105画面間予測部
106モード選択部
107 減算部
108周波数変換部
109量子化処理部
110可変長符号化部
111逆量子化処理部
112逆周波数変換部
113加算部
114参照画像メモリ
201符号化ストリーム
202可変長復号化部
203 逆量子化処理部
204 逆周波数変換部
205 画面内予測部
206 画面間予測部
207 加算部
208 参照画像メモリ
301〜306 H.264/AVCによる画面内予測符号化処理の説明図
401〜406 本発明による画面内予測符号化処理の説明図
501〜515フローチャートのブロック
601〜606 フローチャートのブロック
701〜710 フローチャートのブロック
801〜803 フローチャートのブロック
901〜904ストリームに格納する情報
1001〜1005 ストリームに格納する情報
1201〜1208 フローチャートのブロック
1301〜1304 フローチャートのブロック

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ