図面 (/)

技術 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム

出願人 キヤノン株式会社
発明者 志摩真悟前田充
出願日 2017年5月25日 (4年1ヶ月経過) 出願番号 2017-103759
公開日 2017年11月2日 (3年8ヶ月経過) 公開番号 2017-200191
状態 特許登録済
技術分野 記録のためのテレビジョン信号処理 TV信号の圧縮,符号化方式
主要キーワード 精度重視 高ビット深度 レンジ情報 各演算処理 動き補償演算 ビットシフト処理 小数画素 変換量
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年11月2日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

画像のビット深度高ビット深度でも一定の精度を保った符号化処理と、ビット深度に依存して、高ビット深度では演算精度を低下させて実装容易性重視した符号化処理の両方をサポートする符号化・復号を提供する。

解決手段

導出手段は、対象画素予測画素との差分に対して変換処理を行って係数を導出する。符号化手段は、係数に対応するデータと、係数に係る最小値及び最大値がビット深度によって決定されるか又は固定であるかを示すフラグと、を符号化する。

概要

背景

動画像圧縮記録符号化方式として、H.264/MPEG−4 AVC(以下H.264と略す)が知られている。(非特許文献1)H.264においては、符号化技術の制限を定義した複数のプロファイルが定義されており、例えばHigh10プロファイルは8ビット〜10ビットまでのビット深度の画像に対応している。

近年、H.264の後継としてさらに高効率な符号化方式の国際標準化を行う活動が開始された。JCT−VC(Joint Collaborative Team on Video Coding)がISO/IECITU−Tの間で設立された。このJCT−VCにおいて、HEVC(High Efficiency Video Coding)符号化方式(以下、HEVCと略す)として標準化が進められている。

HEVCにおいても8ビット〜10ビットまでのビット深度の画像に対応したMain10プロファイルが定義されている。(非特許文献2)

概要

画像のビット深度が高ビット深度でも一定の精度を保った符号化処理と、ビット深度に依存して、高ビット深度では演算精度を低下させて実装容易性重視した符号化処理の両方をサポートする符号化・復号を提供する。導出手段は、対象画素予測画素との差分に対して変換処理を行って係数を導出する。符号化手段は、係数に対応するデータと、係数に係る最小値及び最大値がビット深度によって決定されるか又は固定であるかを示すフラグと、を符号化する。

目的

効果

実績

技術文献被引用数
0件
牽制数
1件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

画像を符号化する画像符号化装置であって、対象画素予測画素との差分に対して変換処理を行って係数導出する導出手段と前記係数に対応するデータと、前記係数に係る最小値及び最大値ビット深度によって決定されるか又は固定であるかを示すフラグと、を符号化する符号化手段と、を有することを特徴とする画像符号化装置。

請求項2

前記変換処理は直交変換処理であることを特徴とする請求項1記載の画像符号化装置。

請求項3

前記導出手段は、前記画像に含まれるブロック単位に、前記係数を導出することを特徴とする請求項1又は2に記載の画像符号化装置。

請求項4

前記対象画素に基づく予測処理を行って前記予測画素を導出する予測処理手段を有することを特徴とする請求項1〜3のいずれか1項に記載の画像符号化装置。

請求項5

前記係数に対応するデータは、量子化処理が行われた前記係数を示すデータであることを特徴とする請求項1〜4のいずれか1項に記載の画像符号化装置。

請求項6

前記フラグは、前記係数が取り得る最小値及び最大値がビット深度によって決定されるか又は固定であるかを示すフラグであることを特徴とする請求項1〜5のいずれか1項に記載の画像符号化装置。

請求項7

前記フラグは、前記変換処理において取り得る最小値及び最大値がビット深度によって決定されるか又は固定であるかを示すフラグであることを特徴とする請求項1〜6のいずれか1項に記載の画像符号化装置。

請求項8

前記ビット深度は、符号化される前記画像のビット深度であることを特徴とする請求項1〜7のいずれか1項に記載の画像符号化装置。

請求項9

前記符号化手段は、前記ビット深度を示す情報を符号化することを特徴とする請求項1〜8のいずれか1項に記載の画像符号化装置。

請求項10

ビットストリームから画像を復号する画像復号装置であって、前記画像の画素に係る係数に対応するデータと、前記係数に係る最小値及び最大値がビット深度によって決定されるか又は固定であるかを示すフラグと、を前記ビットストリームから復号する復号手段と、変換処理を行って、前記係数に基づく、対象画素と予測画素との差分を導出する導出手段とを有することを特徴とする画像復号装置。

請求項11

前記変換処理は逆直交変換処理であることを特徴とする請求項10記載の画像復号装置。

請求項12

前記導出手段は、前記画像に含まれるブロック単位に、前記係数に基づく前記差分を導出することを特徴とする請求項10又は11に記載の画像復号装置。

請求項13

前記予測画素と前記差分から前記画像を生成する生成手段を有することを特徴とする請求項10〜12のいずれか1項に記載の画像復号装置。

請求項14

前記係数は逆量子化処理が行われた後の変換係数であり、前記導出手段は、前記逆量子化処理が行われた後の前記変換係数に対して前記変換処理を行うことで前記差分を導出することを特徴とする請求項10〜13のいずれか1項に記載の画像復号装置。

請求項15

前記フラグは、前記係数が取り得る最小値及び最大値がビット深度によって決定されるか又は固定であるかを示すフラグであることを特徴とする請求項10〜14のいずれか1項に記載の画像復号装置。

請求項16

前記フラグは、前記変換処理において取り得る最小値及び最大値がビット深度によって決定されるか又は固定であるかを示すフラグであることを特徴とする請求項10〜15のいずれか1項に記載の画像復号装置。

請求項17

前記ビット深度は、復号される前記画像のビット深度であることを特徴とする請求項10〜16のいずれか1項に記載の画像復号装置。

請求項18

前記ビット深度を示す情報は、前記ビットストリームから復号されることを特徴とする請求項10〜17のいずれか1項に記載の画像復号装置。

請求項19

前記導出手段は、前記フラグに応じた最小値及び最大値に従った前記変換処理を行って、前記係数から前記差分を導出することを特徴とする請求項10〜18のいずれか1項に記載の画像復号装置。

請求項20

画像を符号化する画像符号化方法であって、対象画素と予測画素との差分に対して変換処理を行って係数を導出する導出工程と前記係数に対応するデータと、前記係数に係る最小値及び最大値がビット深度によって決定されるか又は固定であるかを示すフラグと、を符号化する符号化工程と、を有することを特徴とする画像符号化方法。

請求項21

ビットストリームから画像を復号する画像復号方法であって、前記画像の画素に係る係数に対応するデータと、前記係数に係る最小値及び最大値がビット深度によって決定されるか又は固定であるかを示すフラグと、を前記ビットストリームから復号する復号工程と、変換処理を行って、前記係数に基づく、対象画素と予測画素との差分を導出する導出工程とを有することを特徴とする画像復号方法。

請求項22

請求項1〜9のいずれか1項に記載の画像符号化装置の各手段としてコンピュータを機能させることを特徴とするプログラム

請求項23

請求項10〜19のいずれか1項に記載の画像復号装置の各手段としてコンピュータを機能させることを特徴とするプログラム。

技術分野

0001

本発明は画像符号化装置画像符号化方法及びプログラム画像復号装置画像復号方法及びプログラムに関する。

背景技術

0002

動画像圧縮記録符号化方式として、H.264/MPEG−4 AVC(以下H.264と略す)が知られている。(非特許文献1)H.264においては、符号化技術の制限を定義した複数のプロファイルが定義されており、例えばHigh10プロファイルは8ビット〜10ビットまでのビット深度の画像に対応している。

0003

近年、H.264の後継としてさらに高効率な符号化方式の国際標準化を行う活動が開始された。JCT−VC(Joint Collaborative Team on Video Coding)がISO/IECITU−Tの間で設立された。このJCT−VCにおいて、HEVC(High Efficiency Video Coding)符号化方式(以下、HEVCと略す)として標準化が進められている。

0004

HEVCにおいても8ビット〜10ビットまでのビット深度の画像に対応したMain10プロファイルが定義されている。(非特許文献2)

先行技術

0005

ITU−T H.264 (06/2011) Advancedvideo coding for generic audiovisual services
JCT−VC寄書 JCTVC−K1003_v10.docインターネット<http://phenix.int‐evry.fr/jct/doc_end_user/documents/11_Shanghai/wg11/>

発明が解決しようとする課題

0006

HEVCでは、直交変換動き補償といった処理において、画像のビット深度に応じて演算精度を低下させることにより、実装容易性重視した構成となっている。例えば、下記の式(1)は色差信号の動き補償において、小数画素動き補償処理に用いる計算式のうちの一つである。

0007

ab0,0=(−2×B−1,0+58×B0,0+10×B1,0−2×B2,0)>>shift1…(1)
(ただし、shift1=色差ビット深度−8であり、「>>」は右へのビットシフトを表す。)
上記の式(1)において、Bi,jは整数画素位置色差画素を、ab0,0は小数画素位置の色差画素を算出するための中間値を表している。式(1)では必ずビット深度に依存したshift1による右へのビットシフト処理が含まれるため、中間値ab0,0の取りうる値の範囲は画像のビット深度によらず一定となっている。こうした演算処理が導入されているため、HEVCにおいてはより高ビット深度の画像をサポートする場合においてもハードウェアの実装コストはさほど上昇しないと考えられている。その反面、上述のビットシフト処理に代表される演算により、高ビット深度の画像に対しては演算精度の低下が発生し、画質が向上しないといった問題が生じている。

0008

したがって、本発明は上述した課題を解決するためになされたものである。すなわち画像のビット深度によらず高ビット深度でも一定の精度を保った符号化処理と、ビット深度依存で高ビット深度では演算精度を低下させて実装の容易性を重視した符号化処理の両方をサポートする符号化・復号の実現を可能することを目的としている。

課題を解決するための手段

0009

上述の問題点を解決するため、本発明の画像符号化装置以下の構成を有する、すなわち、画像を符号化する画像符号化装置であって、対象画素予測画素との差分に対して変換処理を行って係数導出する導出手段と前記係数に対応するデータと、前記係数に係る最小値及び最大値がビット深度によって決定されるか又は固定であるかを示すフラグと、を符号化する符号化手段とを有する
また、本発明の画像復号装置は以下の構成を有する。すなわち、ビットストリームから画像を復号する画像復号装置であって、前記画像の画素に係る係数に対応するデータと、前記係数に係る最小値及び最大値がビット深度によって決定されるか又は固定であるかを示すフラグと、を前記ビットストリームから復号する復号手段と、変換処理を行って、前記係数に基づく、対象画素と予測画素との差分を導出する導出手段とを有する。

発明の効果

0010

本発明により、画像のビット深度によらず高ビット深度でも一定の精度を保った符号化処理と、ビット深度依存で高ビット深度では演算精度を低下させて実装の容易性を重視した符号化処理の両方をサポートする符号化・復号が実現できる。結果としてアプリケーションごとの要求仕様によりこれらの符号化処理を切り替えることが可能になる。

図面の簡単な説明

0011

実施形態1における画像符号化装置の構成を示すブロック図
実施形態2における画像復号装置の構成を示すブロック図
実施形態3における画像符号化装置の構成を示すブロック図
実施形態4における画像復号装置の構成を示すブロック図
実施形態1に係る画像符号化装置における画像符号化処理を示すフローチャート
実施形態2に係る画像復号装置における画像復号処理を示すフローチャート
実施形態3に係る画像符号化装置における画像符号化処理を示すフローチャート
実施形態4に係る画像復号装置における画像復号処理を示すフローチャート
実施形態5における画像符号化装置の構成を示すブロック図
実施形態6における画像復号装置の構成を示すブロック図
実施形態5における画像符号化装置の別な構成を示すブロック図
実施形態6における画像復号装置の別な構成を示すブロック図
実施形態5に係る画像符号化装置における画像符号化処理を示すフローチャート
実施形態6に係る画像復号装置における画像復号処理を示すフローチャート
実施形態5に係る画像符号化装置における画像符号化処理を示す別なフローチャート
実施形態6に係る画像復号装置における画像復号処理を示す別なフローチャート
実施形態1によって生成され、実施形態2によって復号されるビットストリーム構造の一例を示す図
実施形態3によって生成され、実施形態4によって復号されるビットストリーム構造の一例を示す図
実施形態5によって生成され、実施形態6によって復号されるビットストリーム構造の一例を示す図
本発明の画像符号化装置、復号装置に適用可能なコンピュータハードウェア構成例を示すブロック図
実施形態1および実施形態2におけるレンジ情報、画像のビット深度と量子化係数の取りうる範囲の関係性を示す図

実施例

0012

以下、添付の図面を参照して、本願発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

0013

<実施形態1>
以下、本発明の実施形態を、図面を用いて説明する。図1は本実施形態の画像符号化装置を示すブロック図である。図1において、101は画像データを入力する端子である。

0014

102は入力部であり、入力された画像データのビット深度を解析するとともに正方形ブロック単位に分割する。103は変換量子化演算精度情報生成部であり、後述する変換量子化演算精度選択情報を生成する。と同時に、変換量子化部106で用いられる変換量子化処理や逆量子化逆変換部107で用いられる逆量子化逆変換処理の演算精度を示す変換量子化演算精度情報を生成する。104はヘッダ符号化部であり、画像のビット深度情報を初めとするビットストリームの復号に必要な情報を符号化し、ヘッダ符号データを生成する。

0015

105は予測部であり、正方形に分割されたブロック単位でフレームメモリ109を参照してフレーム内予測であるイントラ予測フレーム間予測であるインター予測などを行い、予測の方法を示す予測情報および予測誤差を生成する。106は変換量子化部であり、予測部105で生成された予測誤差をブロック単位で直交変換して変換係数を算出し、さらに変換係数を量子化して量子化係数を算出する。107は変換量子化部106で生成された量子化係数を逆量子化して変換係数を再生し、さらに逆直交変換して予測誤差を再生する逆量子化逆変換部である。

0016

108は画像再生部であり、予測部105で生成された予測情報に基づいてフレームメモリ109を参照してイントラ予測やインター予測などを行い、逆量子化逆変換部107で生成された予測誤差から再生画像を生成する。109は画像再生部108で再生された画像を保持しておくフレームメモリである。110はブロック符号化部であり、予測部105で生成された予測情報や変換量子化部106で生成された量子化係数を符号化してブロック符号データを生成する。111は前段で生成されたヘッダ符号データおよびブロック符号データからビットストリームを形成して出力する統合符号化部である。112は端子であり、統合符号化部111で生成されたビットストリームを外部に出力する。

0017

上記画像符号化装置における画像の符号化動作を以下に説明する。本実施形態では動画像データをフレーム単位に入力する構成となっているが、1フレーム分の静止画像データを入力する構成としても構わない。

0018

端子101から入力された1フレーム分の画像データは入力部102に入力される。本実施形態では10ビット深度の画像データが入力されるものとするが、入力される画像データのビット深度はこれに限定されない。入力部102では入力画像データのビット深度の解析を行い、ビット深度情報として後段のレンジ情報生成部103およびヘッダ符号化部104に出力する。ただし、ビット深度情報は外部から別途与えられ、変換量子化演算精度情報生成部103およびヘッダ符号化部104にそれぞれ入力する構成とすることも可能である。また、入力された画像データは正方形のブロック単位に分割され、予測部105に出力される。

0019

変換量子化演算精度情報生成部103では、ビット深度によって演算精度を調節して実装容易性を優先した変換量子化処理を用いるか、ビット深度によらず演算精度を固定した変換量子化処理を用いるかを決定し、その情報を変換量子化演算精度選択情報とする。以下、前者のビット深度によって演算精度を調節した変換量子化処理を実装重視変換量子化処理、後者の演算精度を固定した変換量子化処理を精度重視変換量子化処理と呼称する。本実施形態では、前者の実装重視変換量子化処理が選択された場合には変換量子化演算精度選択情報は0となり、後者の精度重視変換量子化処理が選択された場合には変換量子化演算精度選択情報は1となるものとする。ただし、選択された変換量子化処理と変換量子化演算精度選択情報との組合せはこれらに限定されない。また、変換量子化演算精度選択情報の決定方法も特に限定されず、本符号化装置および対応する復号装置が使用されるアプリケーションを想定して符号化処理に先立って決定しておいても良いし、不図示のユーザによって選択されても良い。例えば、本実施形態の符号化装置が演算精度重視のアプリケーションで使用されることが想定される場合には、変換量子化演算精度選択情報を1とし、そうでなければ0とするといった具合である。

0020

次に、変換量子化演算精度情報生成部103は、前述の変換量子化演算精度選択情報および入力部102から入力されたビット深度情報に基づいて変換量子化演算精度情報を生成する。変換量子化演算精度選択情報が1の場合には、画像のビット深度と基準となるビット深度である8ビットとの差分値を変換量子化演算精度情報とする。本実施形態では、画像のビット深度は10ビットであるので、変換量子化演算精度情報は2となる。また、変換量子化演算精度選択情報が0の場合には、0を変換量子化演算精度情報とする。ただし、変換量子化演算精度情報の値と意味の組合せは上記に限定されず、画像のビット深度が基準となるビット深度よりも大きい場合に、変換量子化処理の演算精度を高めることを示すことが出来る情報であれば良い。

0021

生成された変換量子化演算精度選択情報はヘッダ符号化部104に出力され、変換量子化演算精度情報は変換量子化部106および逆量子化逆変換部107に出力される。

0022

ヘッダ符号化部104では、入力部102から入力されたビット深度情報および変換量子化演算精度情報生成部103から入力された変換量子化演算精度選択情報を初めとする復号に必要な情報を符号化し、ヘッダ符号データを生成する。このヘッダ符号データはビットストリームのヘッダ部に相当する。生成されたヘッダ符号データは統合符号化部111に出力される
一方、予測部105では入力部102で分割されたブロック単位の画像データが入力され、フレームメモリ109に格納されている符号化済みの画素を適宜参照してブロック単位の予測が行われ、予測画像が生成される。ブロック単位の入力画像と予測画像の差分として、予測誤差が生成され、変換量子化部106に入力される。また、予測部105では動きベクトル予測モードなどの予測に必要な情報を予測情報として生成し、画像再生部108およびブロック符号化部110に出力する。

0023

変換量子化部106では、まず、変換量子化演算精度情報生成部103から変換量子化演算精度情報を入力し、変換量子化処理における演算精度を決定する。本実施形態では、図21に示されたテーブルに基づいて、演算精度として水平・垂直各方向の一次元の直交変換や量子化処理といった各演算結果の取りうる範囲を決定するものとする。ただし、変換量子化演算精度情報と各演算結果の取りうる範囲の組合せはこれらに限定されない。本実施形態では、0または2の値を持つ変換量子化演算精度情報が入力されることから、各演算結果はそれぞれ−32768〜32767または−131072〜131071の範囲をもつことになる。各演算結果が上記の範囲外になった場合の処理については特に限定しないが、クリップ処理やビットシフト処理により結果を上記の範囲内におさめることができる。

0024

次に、上述の決定された演算精度に基づいて、予測部105から入力された予測誤差に対して直交変換を行い、変換係数を生成し、さらに変換係数を量子化し、量子化係数を生成する。生成された量子化係数は逆量子化逆変換部107およびブロック符号化部110に出力する。

0025

逆量子化逆変換部107においても変換量子化部106と同様に、まず、変換量子化演算精度情報生成部103から変換量子化演算精度情報を入力し、逆量子化逆変換処理における演算精度を決定する。本実施形態では、変換量子化部106と同様に、図21に示されたテーブルに基づいて、演算精度として逆量子化処理や垂直・水平各方向の一次元の直交変換処理といった各演算結果の取りうる範囲を決定するものとする。

0026

次に、上述の決定された演算精度に基づいて、変換量子化部106から入力された量子化係数を逆量子化して変換係数を再生し、さらに再生された変換係数に逆直交変換して予測誤差を再生する。再生された予測誤差は画像再生部108に出力される。

0027

画像再生部108では、予測部105から入力された予測情報に基づいて、フレームメモリ109を適宜参照して予測画像を生成し、生成された予測画像と逆量子化逆変換部107から入力された予測誤差から再生画像を生成する。生成された再生画像はフレームメモリ109に出力され、格納される。

0028

ブロック符号化部110では、ブロック単位で、変換量子化部106から入力された量子化係数および予測部105から入力された予測情報をエントロピー符号化し、ブロック符号データを生成する。エントロピー符号化の方法は特に指定しないが、ゴロム符号化算術符号化ハフマン符号化などを用いることができる。生成されたブロック符号データは統合符号化部111に出力される。

0029

統合符号化部111では、ブロック単位の符号化処理に先駆けてヘッダ符号化部104で生成されて入力されたヘッダ符号データおよびブロック符号化部110から入力されたブロック符号データを多重化してビットストリームが形成される。最終的に、統合符号化部111で形成されたビットストリームは端子112から外部に出力される。

0030

図17(a)に本実施形態で生成されたビットストリームの一例を示す。変換量子化演算精度選択情報は変換量子化演算精度選択情報符号として、シーケンスピクチャ等のヘッダのいずれかに含まれる。また、ビット深度情報も同様にビット深度情報符号としてヘッダのいずれかに含まれる。

0031

ただし、ビットストリームの構成はこれに限定されず、図17(b)に示されるように、変換量子化演算精度選択情報符号を符号化する代わりに、対応するプロファイルを決定し、決定したプロファイルをプロファイル情報符号として符号化してもよい。例えば、メイン10ビットプロファイルとメイン10ビット高精度プロファイルが存在し、それぞれが変換量子化演算精度選択情報=0と変換量子化演算精度選択情報=1に対応するものとする。すなわち、メイン10ビットプロファイルでは変換量子化処理の各演算結果の取りうる範囲は画像のビット深度に関わらず一定であり、メイン10ビット高精度プロファイルでは上記の範囲は画像のビット深度に応じて変わることになる。この場合、変換量子化演算精度選択情報が0の場合にはメイン10ビットプロファイルを示す符号を、1の場合にはメイン10ビット高精度プロファイルを示す符号をプロファイル情報符号として符号化する構成をとっても構わない。

0032

図5は、実施形態1に係る画像符号化装置における画像符号化処理を示すフローチャートである。

0033

まず、ステップS501にて、入力部102は入力された画像データのビット深度の解析を行い、ビット深度情報を生成する。ステップS502にて、変換量子化演算精度情報生成部103は、変換量子化処理における演算精度を示す変換量子化演算精度情報を選択するための変換量子化演算精度選択情報を生成する。ステップS503にて、変換量子化演算精度情報生成部103は、ステップS502で生成された変換量子化演算精度選択情報およびステップS501で生成されたビット深度情報に基づいて変換量子化演算精度情報を生成する。ステップS504にて、ヘッダ符号化部104は、ステップS501で生成されたビット深度情報およびステップS502で生成された変換量子化演算精度選択情報を初めとする復号に必要な情報を符号化してヘッダ符号データを生成する。

0034

ステップS505にて、統合符号化部111はステップS504で生成されたヘッダ符号データからビットストリームのヘッダ部を形成し、出力する。ステップS506にて、入力部102は入力された画像データから正方形のブロックを切り出し、予測部105は切り出されたブロック単位の画像データに対し、ブロック単位の予測を行い、予測画像を生成する。ブロック単位の入力画像データと予測画像との差分として予測誤差が生成される。さらに動きベクトルや予測モードなどの予測に必要な情報を予測情報として生成する。

0035

ステップS507にて、変換量子化部106は、まず、ステップS503で生成された変換量子化演算精度情報に基づいて、変換量子化処理における演算精度を決定する。そして、決定された演算精度に基づいて、ステップS506で生成された予測誤差に直交変換を行って変換係数を生成し、さらに生成された変換係数を量子化し、量子化係数を生成する。ステップS508にて、逆量子化逆変換部107はまず、ステップS507と同様に、ステップS503で生成された変換量子化演算精度情報に基づいて逆量子化・逆変換処理における演算精度を決定する。そして、決定された演算精度に基づいて、ステップS507で生成された量子化係数を逆量子化して変換係数を再生し、さらに再生された変換係数に逆直交変換して予測誤差を再生する。

0036

ステップS509にて、画像再生部108はステップS506で生成された予測情報に基づいて、フレームメモリ109を適宜参照して予測画像を生成する。そして生成された予測画像とステップS508で再生された予測誤差から再生画像を生成し、フレームメモリ109に格納する。ステップS510にて、ブロック符号化部110はステップS506で生成された予測情報およびステップS507で生成された量子化係数を符号化してブロック符号データを生成する。また、統合符号化部111は他の符号データも含め、ビットストリームを生成する。ステップS511にて、画像符号化装置はフレーム内の全てのブロックの符号化が終了したか否かの判定を行い、終了していれば符号化処理を終了し、そうでなければ次のブロックを対象としてステップS506に戻る。

0037

以上の構成と動作により、特にステップS504で変換量子化演算精度選択情報を符号化することにより、アプリケーションの要求仕様に応じて演算精度や実装コストの異なる符号化処理の切り替え可能なビットストリームを生成することができる。

0038

なお、本実施形態では、ステップS508、S509、S510の順序で符号化処理のフローを説明したが、順序はこれに限らず、ステップS510はステップS507の後に実行されれば良い。

0039

また、本実施形態では、変換量子化演算精度選択情報に基づいてステップS507およびS508の変換量子化処理のみが変更される構成としたが、量子化係数の範囲の変更に伴い、ステップS510の符号化処理も変更する構成としても構わない。その場合、変換量子化演算精度選択情報もしくは変換量子化演算精度情報がブロック符号化部110にも入力される構成となる。この場合、量子化係数の範囲に応じて最適なエントロピー符号化方法を選択することができるため、より高効率な符号化が実現できる。

0040

また、符号化する画像データのビット深度が8ビットであった場合、変換量子化演算精度選択情報符号を省略することも可能である。すなわち、ビット深度が8ビットであった場合、変換量子化演算精度情報は0に一意に決まるからであり、冗長な符号を削減することができる。

0041

また、本実施形態において、図21に示されたテーブルに基づいて、演算精度として水平・垂直各方向の一次元の直交変換や量子化処理といった各演算結果の取りうる範囲を決定したが、これに限定されない。例えば、変換量子化部106は変換量子化演算精度情報をaqとした時、演算精度を−2(15+aq)〜2(15+aq)−1として求めても構わない。

0042

また、前述のメイン10ビットプロファイルとメイン10ビット高精度プロファイルにおいて、前者では必ず変換量子化演算精度選択情報は0とするが、後者では変換量子化演算精度選択情報符号を設けて0/1を選択する構成をもちいても構わない。これにより、高精度のプロファイルでも演算精度の選択も行えるようになる。

0043

なお、本実施形態では図5のステップS508において、ステップS503で生成された変換量子化演算精度情報に基づいて逆量子化・逆変換処理における演算精度を決定したが、ステップS507で求めた演算精度を用いてももちろん構わない。

0044

また、本実施形態で生成されるビットストリームは図17(a)に示される通り、変換量子化演算精度選択情報符号、ビット深度情報符号の順に符号化されるものとしたが、順序はこれに限定されない。

0045

<実施形態2>
図2は、本発明の実施形態2に係る画像復号装置の構成を示すブロック図である。本実施形態では、実施形態1で生成されたビットストリームの復号を例にとって説明する。

0046

201はビットストリームを入力する端子である。202は分離復号部であり、ビットストリームから復号処理に関する情報であるヘッダ符号データおよび量子化係数や予測情報などブロック単位の情報であるブロック符号データに分離し、後段に出力する。203はヘッダ復号部であり、前述のヘッダ符号データを復号し、復号処理に関する情報を再生する。204は変換量子化演算精度情報設定部であり、逆量子化逆変換部206で用いられる逆量子化逆変換処理の演算精度を示す変換量子化演算精度情報を生成する。205はブロック復号部であり、ブロック符号データを復号して量子化係数や予測情報を再生する。

0047

206はブロック復号部205で再生された量子化係数を逆量子化して変換係数を再生し、さらに逆直交変換して予測誤差を再生する逆量子化逆変換部である。207は画像再生部であり、ブロック復号部205で再生された予測情報に基づいてフレームメモリ208を参照してイントラ予測やインター予測などを行い、逆量子化逆変換部206で生成された予測誤差から再生画像データを生成する。208は画像再生部207で再生された画像データを保持しておくフレームメモリである。209は端子であり、再生された画像データを外部に出力する。

0048

上記画像復号装置における画像の復号動作を以下に説明する。本実施形態では、実施形態1で生成されたビットストリームを復号する。

0049

図2において、端子201から入力されたビットストリームは分離復号部202に入力される。本実施形態では図17(a)に示されたビットストリームが入力されるものとする。分離復号部202では、入力されたビットストリームから復号処理に関する情報であるヘッダ符号データおよびブロック単位の情報であるブロック符号データに分離し後段に出力する。ヘッダ符号データはヘッダ復号部203に出力され、ブロック符号データはブロック復号部205に出力される。ヘッダ復号部203では、分離復号部202から入力されたヘッダ符号データから復号に必要な情報を復号し、変換量子化演算精度選択情報やビット深度情報を再生する。再生された変換量子化演算精度選択情報およびビット深度情報は変換量子化演算精度情報設定部204に出力される。

0050

変換量子化演算精度情報設定部204では、ヘッダ復号部203から入力された変換量子化演算精度選択情報およびビット深度情報に基づいて変換量子化演算精度情報を生成する。実施形態1の変換量子化演算精度情報生成部103と同様に、本実施形態では、変換量子化演算精度選択情報が1の場合には、ビット深度情報と基準となるビット深度である8ビットとの差分値を変換量子化演算精度情報とする。実施形態1で生成されたビットストリームは10ビットの画像が符号化されたものであるので、本実施形態におけるビット深度情報も10ビットとなるため、変換量子化演算精度情報は2となる。一方、変換量子化演算精度選択情報が0の場合には、0を変換量子化演算精度情報とする。ただし、実施形態1と同様に、変換量子化演算精度選択情報と変換量子化演算精度情報の組合せはこれらに限定されない。生成された変換量子化演算精度情報は逆量子化逆変換部206に出力される。

0051

一方、ブロック復号部205では、分離復号部202から入力されたブロック符号データを復号し、量子化係数および予測情報を再生する。再生された量子化係数は逆量子化逆変換部206に、予測情報は画像再生部207に出力される。逆量子化逆変換部206ではまず、実施形態1の逆量子化逆変換部107と同様に、変換量子化演算精度情報設定部204から入力された変換量子化演算精度情報に基づいて、逆量子化逆変換処理における演算精度を決定する。本実施形態でも、実施形態1の逆量子化逆変換部107と同様に、図21に示されたテーブルに基づいて、演算精度として逆量子化処理や垂直・水平各方向の一次元の直交変換処理といった各演算処理の取りうる範囲を決定するものとする。

0052

さらに、逆量子化逆変換部206では、上述の決定された演算精度に基づいて、ブロック復号部205から入力された量子化係数を逆量子化して変換係数を再生し、さらに再生された変換係数に逆直交変換して予測誤差を再生する。再生された予測誤差は画像再生部207に出力される。

0053

画像再生部207では、ブロック復号部205から入力された予測情報に基づいて、フレームメモリ208を適宜参照して予測画像を生成し、生成された予測画像と逆量子化逆変換部206から入力された予測誤差から再生画像を生成する。再生された画像データはフレームメモリ208に出力され格納される。同時に、再生された画像データは端子209から外部に出力される。

0054

図6は、実施形態2に係る画像復号装置における画像の復号処理を示すフローチャートである。

0055

まず、ステップS601にて、分離復号部202は入力されたビットストリームから復号処理に関する情報であるヘッダ符号データを分離する。ステップS602にて、ヘッダ復号部203はステップS601で分離されたヘッダ符号データから復号に必要な情報を復号し、変換量子化演算精度選択情報やビット深度情報を再生する。ステップS603にて、変換量子化演算精度情報設定部204は、ステップS602で再生された変換量子化演算精度選択情報およびビット深度情報に基づいて変換量子化演算精度情報を生成する。ステップS604にて、逆量子化逆変換部206はステップS603で生成された変換量子化演算精度情報に基づいて逆量子化・逆変換処理における演算精度を決定する。ステップS605にて、ブロック復号部205は分離復号部202でビットストリームからブロック単位の符号化データとして分離されたブロック符号データを復号し、量子化係数および予測情報を再生する。

0056

ステップS606にて、逆量子化逆変換部206はステップS604で決定された演算精度に基づいて、ステップS605で生成された量子化係数を逆量子化して変換係数を再生し、さらに再生された変換係数に逆直交変換して予測誤差を再生する。ステップS607にて、画像再生部207はステップS605で再生された予測情報に基づいて、フレームメモリ208を適宜参照して予測画像を生成する。そして生成された予測画像とステップS606で再生された予測誤差から再生画像を生成し、フレームメモリ208に格納する。同時に、再生された画像データは端子209から外部に出力される。ステップS608にて、画像復号装置はフレーム内の全てのブロックの復号が終了したか否かの判定を行い、終了していれば復号処理を終了し、そうでなければ次のブロックを対象としてステップS605に戻る。

0057

以上の構成と動作により、特にステップS602で変換量子化演算精度選択情報を復号することにより、実施形態1で生成されたアプリケーションの要求仕様に応じて演算精度や実装コストの異なる復号処理の可能なビットストリームを復号することができる。

0058

なお本実施形態では、入力されるビットストリームは図17(a)に示された変換量子化演算精度選択情報が独立して符号化されたものであるとしたが、これに限定さない。例えば、図17(b)に示されるように、変換量子化演算精度選択情報符号を符号化する代わりに、対応するプロファイルを示すプロファイル情報符号が符号化されたものであっても良い。この場合、変換量子化演算精度情報設定部204では、プロファイル情報符号およびビット深度情報から変換量子化演算精度情報を生成することになる。

0059

また、本実施形態では、変換量子化演算精度選択情報に基づいてステップS606の逆量子化逆変換処理のみが変更される構成としたが、量子化係数の範囲の変更に伴い、ステップS605の復号処理も変更する構成としてもよい。その場合、変換量子化演算精度選択情報もしくは変換量子化演算精度情報がブロック復号部205にも入力される構成となり、また、ブロック復号部205の復号処理は実施形態1のブロック符号化部110の符号化処理に対応している必要がある。この場合、量子化係数の範囲に応じて最適なエントロピー復号方法を選択することができるため、より高効率に符号化されたビットストリームの復号が実現できる。

0060

<実施形態3>
図3は本実施形態の画像符号化装置を示すブロック図である。図3において、実施形態1の図1と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。

0061

323は動き補償演算精度情報生成部であり、後述する動き補償演算精度選択情報を生成する。と同時に、予測部305で用いられる動き補償処理の演算精度を示す動き補償演算精度情報を生成する。304はヘッダ符号化部であり、画像のビット深度情報を初めとするビットストリームの復号に必要な情報を符号化し、ヘッダ符号データを生成する。実施形態1のヘッダ符号化部104とは、変換量子化演算精度選択情報ではなく、後述の動き補償演算精度選択情報を符号化するところが異なる。

0062

305は予測部であり、正方形に分割されたブロック単位でフレームメモリ109を参照してフレーム内予測であるイントラ予測やフレーム間予測であるインター予測などを行い、予測の方法を示す予測情報および予測誤差を生成する。実施形態1の予測部105とは、動き補償演算精度情報を入力し、入力された動き補償演算精度情報に基づいてインター予測を行うところが異なる。

0063

306は変換量子化部であり、予測部305で生成された予測誤差をブロック単位で直交変換して変換係数を算出し、さらに変換係数を量子化して量子化係数を算出する。実施形態1の変換量子化部106とは変換量子化演算精度情報を入力せず、常に同一の演算精度で変換量子化処理を行うところが異なる。

0064

307は変換量子化部306で生成された量子化係数を逆量子化して変換係数を再生し、さらに逆直交変換して予測誤差を再生する逆量子化逆変換部である。実施形態1の逆量子化逆変換部107とは変換量子化演算精度情報を入力せず、常に同一の演算精度で逆量子化逆変換処理を行うところが異なる。

0065

308は画像再生部であり、予測部306で生成された予測情報に基づいてフレームメモリ109を参照してイントラ予測やインター予測などを行い、逆量子化逆変換部307で生成された予測誤差から再生画像を生成する。実施形態1の画像再生部108とは、動き補償演算精度情報を入力し、入力された動き補償演算精度情報に基づいてインター予測を行うところが異なる。

0066

上記画像符号化装置における画像の符号化動作を以下に説明する。

0067

入力部102では入力画像データのビット深度の解析を行い、ビット深度情報として後段の動き補償演算精度情報生成部323とヘッダ符号化部304に出力する。ただし、ビット深度情報は外部から別途与えられ、動き補償演算精度情報生成部323およびヘッダ符号化部304にそれぞれ入力する構成とすることも可能である。また、入力された画像データは正方形のブロック単位に分割され、予測部305に出力される。

0068

動き補償演算精度情報生成部323では、ビット深度によって演算精度を調節して実装容易性を優先した動き補償処理を用いるか、ビット深度によらず演算精度を固定した動き補償処理を用いるかを決定し、その情報を動き補償演算精度選択情報とする。以下、前者のビット深度によって演算精度を調節した動き補償処理を実装重視動き補償処理、後者の演算精度を固定した動き補償処理を精度重視動き補償処理と呼称する。本実施形態では、前者の実装重視動き補償処理が選択された場合には動き補償演算精度選択情報は0となり、後者の精度重視動き補償処理が選択された場合には動き補償演算精度選択情報は1となるものとする。ただし、選択された動き補償処理と動き補償演算精度選択情報との組合せはこれらに限定されない。また、動き補償演算精度選択情報の決定方法も特に限定されず、本符号化装置および対応する復号装置が使用されるアプリケーションを想定して符号化処理に先立って決定しておいても良いし、不図示のユーザによって選択されても良い。例えば、本実施形態の符号化装置が演算精度重視のアプリケーションで使用されることが想定される場合には、動き補償演算精度選択情報を1とし、そうでなければ0とするといった具合である。

0069

次に、動き補償演算精度情報生成部323は、前述の動き補償演算精度選択情報および入力部102から入力されたビット深度情報に基づいて動き補償演算精度情報を生成する。動き補償演算精度選択情報が0の場合には、画像のビット深度と基準となるビット深度である8ビットとの差分値を動き補償演算精度情報とする。本実施形態では画像のビット深度は10ビットであるので、動き補償演算精度情報は2となる。また、動き補償演算精度選択情報が1の場合には、動き補償演算精度情報は0とする。ただし、動き補償演算精度情報の値と意味の組合せは上記に限定されず、画像のビット深度が基準となるビット深度よりも大きい場合に、動き補償処理の演算精度を高めることを示すことが出来る情報であれば良い。

0070

生成された動き補償演算精度選択情報はヘッダ符号化部304に出力され、動き補償演算精度情報は予測部305および画像再生部308に出力される。

0071

ヘッダ符号化部304では、入力部102から入力されたビット深度情報および動き補償演算精度情報生成部323から入力された動き補償演算精度選択情報を初めとする復号に必要な情報を符号化し、ヘッダ符号データを生成する。このヘッダ符号化データはビットストリームのヘッダ部に相当する。生成されたヘッダ符号データは統合符号化部111に出力される。

0072

一方、予測部305では、入力部102で分割されたブロック単位の画像データおよび動き補償演算精度情報生成部323で生成された動き補償演算精度情報が入力される。次にブロック単位の予測を行い、フレーム内予測であるイントラ予測やフレーム間予測であるインター予測などの予測の方法を示す予測情報を生成する。予測情報の生成方法は特に限定されず、フレームメモリ109に格納されている符号化済みの画素と符号化対象ブロックの画素との類似度から決定しても良いし、画像の統計的な情報を用いて決定しても良い。生成された予測方法は画像再生部308およびブロック符号化部110に出力される。そして生成された予測情報に基づいてフレームメモリ109に格納されている符号化済みの画素を適宜参照し予測画像が生成される。予測画像の生成にあたり、符号化対象ブロックがインター予測符号化されている場合、動き補償演算精度情報に基づいた動き補償処理を行う。具体的には、前述の式(1)で示された色差信号の動き補償における小数画素の動き補償処理に用いる計算式のうちの一つは、本実施形態では下記の式(2)のようになる。

0073

ab0,0=(−2×B−1,0+58×B0,0+10×B1,0−2×B2,0)>>shift…(2)
(ただし、shift=動き補償演算精度情報であり、「>>」は右へのビットシフトを表す。)
上記の式(2)においても、前述の式(1)と同様に、Bi,jは整数画素位置の色差画素を、ab0,0は小数画素位置の色差画素を算出するための中間値を表している。式(2)ではshiftによる右へのビットシフト処理は動き補償演算精度情報に基づいている。そのため、動き補償演算精度情報生成部323にて実装重視動き補償処理が選択された場合、式(2)ではビット深度に依存した右へのビットシフト処理が含まれるため、中間値ab0,0の取りうる値の範囲は画像のビット深度によらず一定となる。一方、動き補償演算精度情報生成部323にて精度重視動き補償が選択された場合、式(2)ではshiftの値は常に0となり、右へのビットシフト処理は実行されず、演算精度を保った処理が可能となる。

0074

最後に、予測部305では、ブロック単位の入力画像と生成された予測画像の差分として、予測誤差が生成され、変換量子化部306に出力される。

0075

変換量子化部306では、予測部305から入力された予測誤差に対して直交変換を行い、変換係数を生成し、さらに変換係数を量子化し、量子化係数を生成する。生成された量子化係数は逆量子化逆変換部307およびブロック符号化部110に出力する。

0076

逆量子化逆変換部307では、変換量子化部306から入力された量子化係数を逆量子化して変換係数を再生し、さらに再生された変換係数に逆直交変換して予測誤差を再生する。再生された予測誤差は画像再生部308に出力される。

0077

画像再生部308では、予測部305から入力された予測情報および動き補償演算精度情報生成部323から入力された動き補償演算精度情報に基づいて、フレームメモリ109を適宜参照して予測画像を再生する。予測画像の生成にあたり、符号化対象ブロックがインター予測符号化されている場合、動き補償演算精度情報に基づいた動き補償処理を行う。具体的には、予測部305と同様に、式(2)に代表される動き補償処理を行う。

0078

そして、画像再生部308では、生成された予測画像と逆量子化逆変換部307から入力された予測誤差から再生画像を生成する。生成された再生画像はフレームメモリ109に出力され、格納される。

0079

図18(a)に本実施形態で生成されたビットストリームの一例を示す。動き補償演算精度選択情報は動き補償演算精度選択情報符号として、シーケンス、ピクチャ等のヘッダのいずれかに含まれる。また、ビット深度情報も同様にビット深度情報符号としてヘッダのいずれかに含まれる。

0080

ただし、ビットストリームの構成はこれに限定されず、図18(b)に示されるように動き補償演算精度選択情報符号を符号化する代わりに、対応するプロファイルを決定し、決定したプロファイルをプロファイル情報符号として符号化してもよい。例えば、メイン10ビットプロファイルとメイン10ビット高精度プロファイルが存在し、それぞれが動き補償演算精度選択情報=0と動き補償演算精度選択情報=1に対応するものとする。すなわち、メイン10ビットプロファイルでは実装重視動き補償処理が選択され、メイン10ビット高精度プロファイルでは精度重視動き補償処理が選択されることになる。この場合、動き補償演算精度選択情報が0の場合にはメイン10ビットプロファイルを示す符号を、1の場合にはメイン10ビット高精度プロファイルを示す符号をプロファイル情報符号として符号化する構成をとっても構わない。

0081

図7は、実施形態3に係る画像符号化装置における符号化処理を示すフローチャートである。実施形態1の図5と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。

0082

ステップS722にて、動き補償演算精度情報生成部323は、動き補償処理における演算精度を示す動き補償演算精度情報を選択するための動き補償演算精度選択情報を生成する。本実施形態では、実装重視動き補償処理が選択された場合には動き補償演算精度選択情報は0となり、後者の精度重視動き補償処理が選択された場合には動き補償演算精度選択情報は1となるものとする。

0083

ステップS723にて、動き補償演算精度情報生成部323は、ステップS722で生成された動き補償演算精度選択情報およびステップS501で生成されたビット深度情報に基づいて動き補償演算精度情報を生成する。ステップS704にて、ヘッダ符号化部304では、ステップS501で生成されたビット深度情報およびステップS502で生成された動き補償演算精度選択情報を初めとする復号に必要な情報を符号化してヘッダ符号データを生成する。

0084

ステップS706にて、入力部102は入力された画像データから正方形のブロックを切り出し、予測部305は切り出されたブロック単位の画像データに対し、ブロック単位の予測を行う。さらに、フレーム内予測であるイントラ予測やフレーム間予測であるインター予測などの予測の方法を示す予測情報を生成する。そして生成された予測情報に基づいてフレームメモリ109に格納されている符号化済みの画素を適宜参照し、予測画像を生成する。予測画像の生成にあたり、符号化対象ブロックがインター予測符号化されている場合、ステップS723で生成された動き補償演算精度情報に基づいた動き補償処理を行う。具体的には前述の式(2)に代表される動き補償処理が実行される。さらにブロック単位の入力画像データと予測画像との差分として予測誤差を生成する。

0085

ステップS707にて、変換量子化部306は、ステップS706で生成された予測誤差に直交変換を行って変換係数を生成し、さらに生成された変換係数を量子化し、量子化係数を生成する。ステップS708にて、逆量子化逆変換部307はステップS707で生成された量子化係数を逆量子化して変換係数を再生し、さらに再生された変換係数に逆直交変換して予測誤差を再生する。

0086

ステップS709にて、画像再生部308はステップS706で生成された予測情報に基づいて、フレームメモリ109を適宜参照して予測画像を生成する。予測画像の生成に当たり、符号化対象ブロックがインター予測符号化されている場合、ステップS723で生成された動き補償演算精度情報に基づいた動き補償処理を行う。具体的には、ステップS706と同様に、式(2)に代表される動き補償処理を行う。そして生成された予測画像とステップS708で再生された予測誤差から再生画像を生成し、フレームメモリ109に格納する。ステップS711にて、画像符号化装置はフレーム内の全てのブロックの符号化が終了したか否かの判定を行い、終了していれば符号化処理を終了し、そうでなければ次のブロックを対象としてステップS706に戻る。

0087

以上の構成と動作により、特にステップS704で動き補償演算精度選択情報を符号化することにより、アプリケーションの要求仕様に応じて演算精度や実装コストの異なる符号化処理の切り替え可能なビットストリームを生成することができる。

0088

なお、本実施形態では、ステップS708、S709、S510の順序で符号化処理のフローを説明したが、順序はこれに限らず、ステップS510はステップS707の後に実行されれば良い。

0089

また、符号化する画像データのビット深度が8ビットであった場合、動き補償演算精度選択情報符号を省略することも可能である。すなわち、ビット深度が8ビットで合った場合、動き補償演算精度情報は0に一意に決まるからであり、冗長な符号を削減することが出来る。

0090

また、前述のメイン10ビットプロファイルとメイン10ビット高精度プロファイルにおいて、前者では必ず動き補償演算精度選択情報は0とするが、後者では動き補償演算精度選択情報符号を設けて0/1を選択する構成を用いても構わない。これにより、高精度のプロファイルでも演算精度の選択も行えるようになる。

0091

また、本実施形態で生成されるビットストリームは図18(a)に示される通り、動き補償演算精度選択情報符号、ビット深度情報符号の順に符号化されるものとしたが、順序はこれに限定されない。

0092

<実施形態4>
図4は本実施形態の画像復号装置を示すブロック図である。図4において、実施形態2の図2と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。本実施形態では、実施形態3で生成されたビットストリームの復号を例にとって説明する。

0093

403はヘッダ復号部であり、ビットストリームから分離されたヘッダ符号データを復号し、復号処理に関する情報を再生する。424は動き補償演算精度情報設定部であり、画像再生部407で用いられる動き補償処理の演算精度を示す動き補償演算精度情報を生成する。406はブロック復号部205で再生された量子化係数を逆量子化して変換係数を再生し、さらに逆直交変換して予測誤差を再生する逆量子化逆変換部である。実施形態2の逆量子化逆変換部206とは変換量子化演算精度情報を入力せず、常に同一の演算精度で逆量子化逆変換処理を行うところが異なる。

0094

407は画像再生部であり、ブロック復号部205で再生された予測情報に基づいてフレームメモリ208を参照してイントラ予測やインター予測などを行い、逆量子化逆変換部206で生成された予測誤差から再生画像を生成する。実施形態2の画像再生部207とは、動き補償演算精度情報を入力し、入力された動き補償演算精度情報に基づいてインター予測を行うところが異なる。

0095

上記画像復号装置における画像の復号動作を以下に説明する。本実施形態では、実施形態3で生成されたビットストリームを復号する。

0096

ヘッダ復号部403では、分離復号部202から入力されたヘッダ符号データから復号に必要な情報を復号し、動き補償演算精度選択情報やビット深度情報を再生する。再生された動き補償演算精度選択情報およびビット深度情報は動き補償演算精度情報設定部424に出力される。

0097

動き補償演算精度情報設定部424では、ヘッダ復号部403から入力された動き補償演算精度選択情報およびビット深度情報に基づいて動き補償演算精度情報を生成する。実施形態3の動き補償演算精度情報生成部323と同様に、本実施形態では、動き補償演算精度選択情報が0の場合には、ビット深度情報と基準となるビット深度である8ビットの差分値を動き補償演算精度情報とする。実施形態3で生成されたビットストリームは10ビットの画像が符号化されたものであるので、本実施形態におけるビット深度情報も10ビットとなるため、動き補償演算精度情報は2となる。一方、動き補償演算精度選択情報が1の場合には、0を動き補償演算精度情報とする。ただし、実施形態3と同様に、動き補償演算精度選択情報と動き補償演算精度情報の組合せはこれらに限定されない。生成された動き補償演算精度情報は画像再生部407に出力される。

0098

逆量子化逆変換部406では、ブロック復号部205から入力された量子化係数を逆量子化して変換係数を再生し、さらに再生された変換係数に逆直交変換して予測誤差を再生する。再生された予測誤差は画像再生部407に出力される。

0099

画像再生部407では、ブロック復号部205から入力された予測情報および動き補償演算精度情報設定部424から入力された動き補償演算精度情報に基づいてフレームメモリ208を適宜参照して予測画像を生成する。予測画像の生成にあたり、復号対象ブロックがインター予測符号化されている場合、動き補償演算精度情報に基づいた動き補償処理を行う。具体的には、前述の式(2)に代表される動き賞処理を行う。生成された予測画像と逆量子化逆変換部406から入力された予測誤差から再生画像を生成する。生成された再生画像はフレームメモリ208に出力され、格納される。

0100

図8は、実施形態4に係る画像復号装置における復号処理を示すフローチャートである。実施形態2の図6と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。

0101

ステップS802にて、ヘッダ復号部403はステップS601で分離されたヘッダ符号データから復号に必要な情報を復号し、動き補償演算精度選択情報やビット深度情報を再生する。ステップS823にて、動き補償演算精度情報設定部424はステップS802で再生された動き補償演算精度選択情報およびビット深度情報に基づいて動き補償演算精度情報を生成する。ステップS824にて、画像再生部407はステップS823で生成された動き補償変換量子化演算精度情報に基づいて後段の動き補償処理における演算精度を決定する。ステップS806にて、逆量子化逆変換部406はステップS605で生成された量子化係数を逆量子化して変換係数を再生し、さらに再生された変換係数に逆直交変換して予測誤差を再生する。

0102

ステップS807にて、画像再生部407はステップS605で再生された予測情報に基づいて、フレームメモリ208を適宜参照して予測画像を生成する。予測画像の生成に当たり、復号対象ブロックがインター予測符号化されている場合、ステップS824で決定された動き補償情報に基づいた動き補償処理を行う。具体的には、前述の式(2)に代表される動き補償処理を行う。そして生成された予測画像とステップS806で再生された予測画像から再生画像データを生成し、フレームメモリ208に格納する。同時に端子209から再生画像データを出力する。

0103

以上の構成と動作により、特にステップS802で動き補償演算精度選択情報を復号することにより、実施形態3で生成されたアプリケーションの要求仕様に応じて演算精度や実装コストの異なる復号処理の可能なビットストリームを復号することができる。

0104

なお、本実施形態では、入力されるビットストリームは図18(a)に示された動き補償演算精度選択情報が独立して符号化されたものであるとしたが、これに限定されない。例えば、図18(b)に示されるように、動き補償演算精度選択情報符号を符号化する代わりに、対応するプロファイルを示すプロファイル情報符号が符号化されたものであっても良い。この場合、動き補償演算精度情報設定部424では、プロファイル情報符号およびビット深度情報から動き補償演算精度情報を生成することになる。

0105

<実施形態5>
図9は本実施形態の画像符号化装置を示すブロック図である。図9において実施形態1の図1および実施形態3の図3と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。

0106

902は入力部であり、入力された画像データのビット深度を解析するとともに正方形のブロック単位に分割する。実施形態1の入力部102とはビット深度情報を動き補償演算精度情報生成部323にも出力するところが異なる。904はヘッダ符号化部であり、画像のビット深度情報を初めとするビットストリームの復号に必要な情報を符号化し、ヘッダ符号データを生成する。

0107

上記の画像符号化装置における画像の符号化動作を以下に説明する。

0108

入力部902では入力画像データのビット深度の解析を行い、ビット深度情報として後段の動き補償演算精度情報生成部323、変換量子化演算精度情報生成部103およびヘッダ符号化部904に出力する。ただし、ビット深度情報は外部から別途与えられ、動き補償演算精度情報生成部323、変換量子化演算精度情報生成部103およびヘッダ符号化部904にそれぞれ入力する構成とすることも可能である。また、入力された画像データは正方形のブロック単位に分割され、予測部305に出力される。

0109

ヘッダ符号化部904では、まず、入力部902からビット深度情報を、動き補償演算精度情報生成部323から動き補償演算精度選択情報を、変換量子化演算精度情報生成部から変換量子化演算精度選択情報を入力する。そして入力されたこれらの情報を初めとする復号に必要な情報を符号化し、ヘッダ符号データを生成する。このヘッダ符号化データはビットストリームのヘッダ部に相当し、統合符号化部111に出力される。

0110

図19(a)に本実施形態で生成されたビットストリームの一例を示す。変換量子化演算精度選択情報は変換量子化演算精度選択情報符号として、動き補償演算精度選択情報は動き補償演算精度選択情報符号として、シーケンス、ピクチャ等のヘッダのいずれかに含まれる。また、ビット深度情報も同様にビット深度情報符号としてヘッダのいずれかに含まれる。

0111

ただし、ビットストリームの構成はこれに限定されず、図19(b)に示されるように動き補償演算精度選択情報符号および変換量子化演算精度選択情報符号を符号化する代わりに対応するプロファイルを決定し、プロファイル情報符号として符号化しても良い。例えば、メイン10ビットプロファイルとメイン10ビット高精度プロファイルが存在し、メイン10ビットプロファイルは変換量子化演算精度選択情報=0および動き補償演算精度選択情報=0に対応するものとする。また、メイン10ビット高精度プロファイルは変換量子化演算精度選択情報=1および動き補償演算精度選択情報=1に対応するものとする。すなわち、メイン10ビットプロファイルでは実装重視変換量子化処理および実装重視動き補償処理が選択され、メイン10ビット高精度プロファイルでは精度重視変換量子化処理および精度重視動き補償処理が選択されることになる。この場合、変換量子化演算精度選択情報および動き補償演算精度選択情報が0の場合にはメイン10ビットプロファイルを示す符号をプロファイル情報符号として符号化する。また、変換量子化演算精度選択情報および動き補償演算精度選択情報が1の場合にはメイン10ビット高精度プロファイルを示す符号をプロファイル情報符号として符号化する構成をとっても構わない。

0112

図13は、実施形態3に係る画像符号化装置における符号化処理を示すフローチャートである。実施形態1の図5および実施形態3の図7と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。

0113

ステップS1301にて、入力部902は入力された画像データのビット深度の解析を行い、ビット深度情報を生成する。ステップS1304にて、ヘッダ符号化部904は、復号に必要な情報を符号化してヘッダ符号データを生成する。復号に必要な情報には、ステップS1301で生成されたビット深度情報、ステップS502で生成された変換量子化演算精度選択情報およびステップS722で生成された動き補償演算精度選択情報が含まれる。

0114

以上の構成と動作により、特にステップS502およびS722で生成した符号化処理の演算精度の情報をステップS1304で符号化する。これによってアプリケーションの要求仕様に応じて演算精度や実装コストの異なる符号化処理の切り替え可能なビットストリームを生成することが出来る。

0115

なお、本実施形態では、ステップS508、S709、S510の順序で符号化処理のフローを説明したが、順序はこれに限らず、ステップS510はステップS507の後に実行されれば良い。

0116

また、符号化する画像データのビット深度が8ビットであった場合、変換量子化演算精度選択情報符号および動き補償演算精度選択情報符号を省略することも可能である。すなわち、ビット深度が8ビットであった場合、変換量子化演算精度情報および動き補償演算精度情報は0に一意に決まるからであり、冗長な符号を削減することができる。

0117

また、前述のメイン10ビット高精度プロファイルにおいて、変換量子化演算精度選択情報符号および動き補償選択情報符号を設けて0/1を選択する構成を用いても構わない。これにより高精度のプロファイルでも演算精度の選択も行えるようになる。

0118

なお、本実施形態では図13のステップS508において、ステップS503で生成された変換量子化演算精度情報に基づいて逆量子化・逆変換処理における演算精度を決定したが、ステップS507で求めた演算精度を用いてももちろん構わない。

0119

また、本実施形態で生成されるビットストリームは図19(a)に示される通り、変換量子化演算精度選択情報符号、動き補償演算精度選択情報符号、ビット深度情報符号の順に符号化されるものとしたが、順序はこれに限定されない。

0120

さらに本実施形態では、動き補償演算精度情報生成部323および変換量子化演算精度情報生成部103を独立に設けたが、図11に示されるように演算精度情報生成部1143を一つだけ設ける構成をとることも可能である。その場合、演算精度情報生成部1143で生成された演算精度情報は、予測部1105、変換量子化部1106、逆量子化逆変換部1107、および画像再生部1108に入力され、入力された演算精度情報に基づいた処理が行われる。また、ヘッダ符号化部1104では、演算精度選択情報とビット深度情報の符号化が行われる。

0121

また、その場合、対応する符号化処理を示すフローチャートは図15のようになる。図15において、ステップS1501はステップS501と同様に入力部1101でビット深度の解析を行う、ステップS1542は変換量子化処理および動き補償処理の演算精度選択情報を生成する。ステップS1543は変換量子化処理および動き補償処理の演算精度情報を生成する。ステップS1504は演算精度選択情報を符号化する。ステップS1506およびステップS1509ではステップS1543で生成した演算精度情報に基づき、動き補償処理を行う。ステップS1507ではステップS1543で生成した演算精度情報に基づき、変換量子化処理を行う。ステップS1508ではステップS1543で生成した演算精度情報に基づき、逆量子化逆変換処理を行う。

0122

これにより、変換量子化および動き補償でそれぞれ独立した変換量子化演算精度情報および動き補償演算精度情報を用いていたが、共通した演算精度情報を用いることができる。

0123

またその場合、生成されるビットストリームの一例は図19(c)によって示される。演算精度選択情報は演算精度選択情報符号として、シーケンス、ピクチャ等のヘッダのいずれかに含まれ、ビット深度情報も同様にビット深度情報符号としてヘッダのいずれかに含まれる。さらに上述の実施形態と同様に、演算精度選択情報を演算精度選択情報符号として符号化する代わりに、対応するプロファイルを決定し、決定したプロファイルをプロファイル情報として符号化してもよい。その場合、生成されるビットストリームの一例は図19(b)によって示される。

0124

<実施形態6>
図10は本実施形態の画像符号化装置を示すブロック図である。図10において実施形態の図2および実施形態4の図4と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。

0125

1003はヘッダ復号部であり、ビットストリームから分離されたヘッダ符号データを復号し、復号処理に関する情報を再生する。

0126

上記画像復号装置における画像の復号動作を以下に説明する。本実施形態では、実施形態5で生成されたビットストリームを復号する。

0127

ヘッダ復号部1003では、分離復号部202から入力されたヘッダ符号データから復号に必要な情報を復号し、動き補償演算精度選択情報、変換量子化演算精度選択情報およびビット深度情報を再生する。再生された動き補償演算精度選択情報は動き補償演算精度情報設定部424に出力され、再生された変換量子化演算精度選択情報は変換量子化演算精度情報設定部204に出力される。また、再生されたビット深度情報は変換量子化演算精度情報設定部204および動き補償演算精度情報設定部424に出力される。

0128

図14は、実施形態6に係る画像復号装置における復号処理を示すフローチャートである。実施形態2の図6および実施形態4の図8と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。

0129

ステップS1402にて、ヘッダ復号部1003はステップS601で分離されたヘッダ符号データから復号に必要な情報を復号し、動き補償演算精度選択情報、変換量子化演算精度選択情報およびビット深度情報を再生する。

0130

以上の構成と動作により、特にステップS1402で復号処理に関する動き補償演算精度選択情報、変換量子化演算精度選択情報の復号が可能になる。これにより、実施形態5で生成されたアプリケーションの要求仕様に応じて演算精度や実装コストの異なる復号処理の可能なビットストリームを復号できる。

0131

なお、本実施形態では、入力されるビットストリームは図19(a)に示された変換量子化演算精度選択情報および動き補償演算精度選択情報が独立して符号化されたものであるとしたが、これに限定されない。例えば、図19(b)に示されるように、変換量子化演算精度選択情報符号および動き補償演算精度選択情報符号を符号化する代わりに、対応するプロファイルを示すプロファイル情報符号が符号化されたものであっても良い。この場合、動き補償演算精度情報設定部424および変換量子化演算精度情報設定部204では、プロファイル情報符号およびビット深度情報から動き補償演算精度情報および変換量子化演算精度情報を生成することになる。

0132

さらに本実施形態では、変換量子化演算精度情報設定部204と動き補償演算精度情報設定部424を独立に設けたが、図12に示されるように演算精度情報設定部1244を一つだけ設ける構成をとることも可能である。その場合、演算精度情報設定部1244で設定された演算精度情報は、逆量子化逆変換部1206および画像再生部1207に入力され、入力された演算精度情報に基づいた処理が行われる。

0133

また、その場合、対応する復号処理を示すフローチャートは図16のようになる。図16において、S1602は演算精度選択情報を復号する。ステップS1643は逆量子化逆変換処理および動き補償処理の演算精度情報を再生する。ステップS1644は再生された演算精度情報に基づき、逆量子化逆変換処理および動き補償処理の演算精度情報を再生し、決定する。ステップS1606およびステップS1607ではステップS1644で決定したそれぞれの演算精度情報に基づき、逆量子化逆変換処理と動き補償処理を行う。これにより、変換量子化および動き補償でそれぞれ独立した変換量子化演算精度情報および動き補償演算精度情報を用いていたが、共通した演算精度情報を用いることができる。

0134

またその場合、入力されるビットストリームの一例は図19(c)によって示され、変換量子化演算精度選択情報および動き補償演算精度選択情報が独立して符号化されているものであるとしたが、これに限定されない。上述の実施形態と同様に、演算精度選択情報を演算精度選択情報符号として符号化されているものの代わりに、対応するプロファイルがプロファイル情報として符号化されているものであっても良い。その場合、入力されるビットストリームの一例は図19(b)によって示される。

0135

<実施形態7>
図1図2図3図4図9図10図11図12に示した各処理部はハードウェアでもって構成しているものとして上記実施形態では説明した。しかし、これらの図に示した各処理部で行う処理をコンピュータプログラムでもって構成しても良い。

0136

図20は、上記各実施形態に係る画像表示装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。

0137

CPU2001は、RAM2002やROM2003に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記各実施形態に係る画像処理装置が行うものとして上述した各処理を実行する。即ち、CPU2001は、図1図2図3図4図9図10図11図12に示した各処理部として機能することになる。

0138

RAM2002は、外部記憶装置2006からロードされたコンピュータプログラムやデータ、I/F(インターフェース)2007を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、RAM2002は、CPU2001が各種の処理を実行する際に用いるワークエリアを有する。即ち、RAM2002は、例えば、フレームメモリとして割り当てたり、その他の各種のエリアを適宜提供したりすることができる。

0139

ROM2003には、本コンピュータ設定データや、ブートプログラムなどが格納されている。操作部2004は、キーボードマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をCPU2001に対して入力することができる。出力部2005は、CPU2001による処理結果を表示する。また出力部2005は例えば液晶ディスプレイで構成される。

0140

外部記憶装置2006は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置2006には、OS(オペレーティングシステム)や、図1図2図3図4図9図10図11図12に示した各部の機能をCPU2001に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置2006には、処理対象としての各画像データが保存されていても良い。

0141

外部記憶装置2006に保存されているコンピュータプログラムやデータは、CPU2001による制御に従って適宜、RAM2002にロードされ、CPU2001による処理対象となる。I/F2007には、LANやインターネット等のネットワーク投影装置表示装置などの他の機器を接続することができ、本コンピュータはこのI/F2007を介して様々な情報を取得したり、送出したりすることができる。2008は上述の各部を繋ぐバスである。

0142

上述の構成からなる作動は前述のフローチャートで説明した作動をCPU2001が中心となってその制御を行う。

0143

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワークまたは各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ