図面 (/)

技術 符号化装置および符号化方法

出願人 ソニー株式会社
発明者 中神央二櫻井裕音高橋良知
出願日 2019年2月14日 (2年0ヶ月経過) 出願番号 2019-024524
公開日 2019年7月4日 (1年7ヶ月経過) 公開番号 2019-110566
状態 拒絶査定
技術分野 TV信号の圧縮,符号化方式
主要キーワード 動き制限 LF処理 マージ情報 コンポーネント画像 D表示 カレント画像 タブレットデバイス 非可搬性
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2019年7月4日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

タイルごとに時間方向に独立して符号化を行うことができる符号化装置及び方法を提供する。

解決手段

符号化装置50は、符号化対象カレント画像ピクチャをタイルに分割する分割部53と、タイルの分割方法がカレント画像を含むシーケンス内で一定であるとき、タイルごとに、タイル内で検出された動きベクトルに基づいて、コロケーテッドなタイル内にある参照画像に対して動き補償処理を行うことにより、予測画像を生成し、予測画像を用いてカレント画像を符号化し、符号化データを生成する符号化部54−1至54−Nと、動きベクトルがタイル内で検出された場合、参照画像をコロケーテッドなタイル内に制限することを示すタイル分割可能情報を設定する設定部55とを備える。

概要

背景

現在、H.264/AVCより更なる符号化効率の向上を目的として、ITU-TとISO/IECとの共同標準化団体であるJCTVC(Joint Collaboration Team-Video Coding)により、HEVC(High Efficiency Video Coding)と呼ばれる符号化方式の標準化が進められている。HEVC規格については、2012年2月に最初のドラフト仕様であるCommittee draftが発行されている(例えば、非特許文献1参照)。

HEVC規格では、ピクチャを、タイル、または、スライスといった単位に分割して符号化することができる。このような単位に分割して符号化された符号化ストリーム復号する場合、CABAC(Context-based Adaptive Binary Arithmetic Coding)に関する情報、イントラ予測モード量子化値などを導出する処理において、分割単位の間で相関がない。

しかしながら、インター予測において動きベクトル制約がないため、参照画像として、異なる時刻の異なるタイルの復号画像を用いることができる。そのため、タイルごとに時間方向に独立して符号化や復号を行うことができない。

具体的には、例えば、図1に示すように、POC(Picture Order Count)がtであるフレーム#tとPOCがt-1であるフレーム#t−1が4つのタイルに分割されてインター予測される場合、フレーム#tのCU(Coding Unit)について、フレーム#t−1の全4タイル内の復号画像を参照画像の候補とすることができる。

従って、例えば、フレーム#tのタイルに固有のID(以下、タイルIDという)が1であるタイル#1のCU11が、フレーム#t−1のタイルIDが2であるタイル#2内の復号画像12が参照画像とされる場合がある。即ち、動きベクトル13として、CU11を始点とし、復号画像12に対応するフレーム#tの領域12Aを終点とするベクトルが検出される場合がある。このような場合、CU11のタイル#1とは別のタイル#2の復号画像12を参照する必要があるため、タイルごとに時間方向に独立して符号化や復号を行うことができない。

よって、復号装置は、全タイルの復号画像を保持する復号用共有DPB(Decoded Picture Buffer)を有する必要がある。

図2は、このような復号装置の構成の一例を示すブロック図である。

図2の復号装置30は、復号部31−1乃至31−N、DPB32−1乃至32−N、および共有DPB33により構成される。

復号装置30には、N個(Nは任意の正の数)のタイルに分割され、タイル単位で符号化された符号化ストリームが入力され、各タイルの符号化データが、それぞれ、復号部31−1乃至31−Nに供給される。

復号部31−1乃至31−Nは、それぞれ、各タイルの符号化データを、共有DPB33に記憶されている所定のフレームの全タイルの復号画像のうちの所定の画像を、参照画像として用いて復号する。

具体的には、復号部31−1は、タイルIDが1であるタイル#1の符号化データを、参照画像を用いて復号し、その結果得られるタイル#1の復号画像をDPB32−1に供給する。同様に、復号部31−2乃至31−Nは、それぞれ、タイルIDが2であるタイル#2、タイルIDが3であるタイル#3、・・・、タイルIDがNであるタイル#Nの符号化データを、参照画像を用いて復号する。そして、復号部31−2乃至31−Nは、それぞれ、復号の結果得られるタイル#2、タイル#3、・・・、タイル#Nの復号画像を、DPB32−2、DPB32−3,・・・、DPB32−Nに供給する。

DPB32−1乃至32−Nは、ぞれぞれ、復号部31−1乃至31−Nのいずれかから供給される復号画像を記憶する。DPB32−1乃至32−Nは、記憶している復号画像を共有DPB33に供給し、記憶させる。

共有DPB33は、DPB32−1乃至32−Nから供給される同時刻のタイル#1乃至タイル#Nの復号画像を、1フレームの復号画像として記憶する。共有DPB33は、記憶しているフレーム単位の復号画像を復号結果として出力する。

また、図示は省略するが、符号化装置においても復号装置30と同様に、インター予測のために共用のDPBを設ける必要がある。

概要

タイルごとに時間方向に独立して符号化を行うことができる符号化装置及び方法を提供する。符号化装置50は、符号化対象カレント画像のピクチャをタイルに分割する分割部53と、タイルの分割方法がカレント画像を含むシーケンス内で一定であるとき、タイルごとに、タイル内で検出された動きベクトルに基づいて、コロケーテッドなタイル内にある参照画像に対して動き補償処理を行うことにより、予測画像を生成し、予測画像を用いてカレント画像を符号化し、符号化データを生成する符号化部54−1至54−Nと、動きベクトルがタイル内で検出された場合、参照画像をコロケーテッドなタイル内に制限することを示すタイル分割可能情報を設定する設定部55とを備える。

目的

コンピュータ(CPU801)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア811に記録して提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

符号化対象カレント画像ピクチャタイルに分割して符号化する場合に、前記タイルの分割方法が前記カレント画像を含むシーケンス内で一定であるとき、前記タイル内で検出された動きベクトルに基づいて、参照画像コロケーテッドなタイル内に制限し、前記参照画像に対して動き補償処理を行うことにより、予測画像を生成する動き補償処理部と、前記動き補償処理部により生成された前記予測画像を用いて前記カレント画像を符号化し、符号化ストリームを生成する符号化部とを備える符号化装置

請求項2

前記符号化ストリームは、前記参照画像を前記コロケーテッドなタイル内に制限することを示すタイル制限情報を含む請求項1に記載の符号化装置。

請求項3

前記タイル制限情報を設定する設定部をさらに備える請求項2に記載の符号化装置。

請求項4

前記符号化部により生成された符号化ストリームを伝送する伝送部とをさらに備える請求項1に記載の符号化装置。

請求項5

前記カレント画像と隣接する画像のうちの、前記カレント画像と同一の前記タイル内にある画像の動きベクトルと、前記カレント画像の動きベクトルとに基づいて、動きベクトル情報を生成する動きベクトル生成部をさらに備える請求項1に記載の符号化装置。

請求項6

前記参照画像に対して前記タイル単位フィルタ処理を施すフィルタ部をさらに備え、前記動き補償処理部は、前記タイル内で検出された前記動きベクトルに基づいて、前記フィルタ部により前記フィルタ処理が施された前記参照画像に対して動き補償処理を行い、前記設定部は、前記参照画像において前記タイルを跨いでフィルタ処理が施されていないことを表すフィルタ情報を設定する請求項3に記載の符号化装置。

請求項7

前記フィルタ部は、そのタイル内にある画像のパラメータを用いて、前記参照画像に対して前記フィルタ処理を施し、前記設定部は、前記パラメータをタイル間共有しないことを表すパラメータ共有情報を設定する請求項6に記載の符号化装置。

請求項8

前記タイルは、1以上のスライスを含む請求項1に記載の符号化装置。

請求項9

前記設定部は、前記タイルの分割方法を示すタイル分割情報を設定する請求項3に記載の符号化装置。

請求項10

前記タイル分割情報は、前記設定部によってPPS(Picture Parameter Set)に設定される請求項9に記載の符号化装置。

請求項11

符号化装置が、符号化対象のカレント画像のピクチャをタイルに分割して符号化する場合に、前記タイルの分割方法が前記カレント画像を含むシーケンス内で一定であるとき、前記タイル内で検出された動きベクトルに基づいて、参照画像をコロケーテッドなタイル内に制限し、前記参照画像に対して動き補償処理を行うことにより、予測画像を生成する動き補償処理ステップと、前記動き補償処理ステップの処理により生成された前記予測画像を用いて前記カレント画像を符号化し、符号化ストリームを生成する符号化ステップとを含む符号化方法

技術分野

0001

本技術は、符号化装置および符号化方法に関し、特に、タイルごとに時間方向に独立して符号化を行うことができるようにした符号化装置および符号化方法に関する。

背景技術

0002

現在、H.264/AVCより更なる符号化効率の向上を目的として、ITU-TとISO/IECとの共同標準化団体であるJCTVC(Joint Collaboration Team-Video Coding)により、HEVC(High Efficiency Video Coding)と呼ばれる符号化方式の標準化が進められている。HEVC規格については、2012年2月に最初のドラフト仕様であるCommittee draftが発行されている(例えば、非特許文献1参照)。

0003

HEVC規格では、ピクチャを、タイル、または、スライスといった単位に分割して符号化することができる。このような単位に分割して符号化された符号化ストリーム復号する場合、CABAC(Context-based Adaptive Binary Arithmetic Coding)に関する情報、イントラ予測モード量子化値などを導出する処理において、分割単位の間で相関がない。

0004

しかしながら、インター予測において動きベクトル制約がないため、参照画像として、異なる時刻の異なるタイルの復号画像を用いることができる。そのため、タイルごとに時間方向に独立して符号化や復号を行うことができない。

0005

具体的には、例えば、図1に示すように、POC(Picture Order Count)がtであるフレーム#tとPOCがt-1であるフレーム#t−1が4つのタイルに分割されてインター予測される場合、フレーム#tのCU(Coding Unit)について、フレーム#t−1の全4タイル内の復号画像を参照画像の候補とすることができる。

0006

従って、例えば、フレーム#tのタイルに固有のID(以下、タイルIDという)が1であるタイル#1のCU11が、フレーム#t−1のタイルIDが2であるタイル#2内の復号画像12が参照画像とされる場合がある。即ち、動きベクトル13として、CU11を始点とし、復号画像12に対応するフレーム#tの領域12Aを終点とするベクトルが検出される場合がある。このような場合、CU11のタイル#1とは別のタイル#2の復号画像12を参照する必要があるため、タイルごとに時間方向に独立して符号化や復号を行うことができない。

0007

よって、復号装置は、全タイルの復号画像を保持する復号用共有DPB(Decoded Picture Buffer)を有する必要がある。

0008

図2は、このような復号装置の構成の一例を示すブロック図である。

0009

図2の復号装置30は、復号部31−1乃至31−N、DPB32−1乃至32−N、および共有DPB33により構成される。

0010

復号装置30には、N個(Nは任意の正の数)のタイルに分割され、タイル単位で符号化された符号化ストリームが入力され、各タイルの符号化データが、それぞれ、復号部31−1乃至31−Nに供給される。

0011

復号部31−1乃至31−Nは、それぞれ、各タイルの符号化データを、共有DPB33に記憶されている所定のフレームの全タイルの復号画像のうちの所定の画像を、参照画像として用いて復号する。

0012

具体的には、復号部31−1は、タイルIDが1であるタイル#1の符号化データを、参照画像を用いて復号し、その結果得られるタイル#1の復号画像をDPB32−1に供給する。同様に、復号部31−2乃至31−Nは、それぞれ、タイルIDが2であるタイル#2、タイルIDが3であるタイル#3、・・・、タイルIDがNであるタイル#Nの符号化データを、参照画像を用いて復号する。そして、復号部31−2乃至31−Nは、それぞれ、復号の結果得られるタイル#2、タイル#3、・・・、タイル#Nの復号画像を、DPB32−2、DPB32−3,・・・、DPB32−Nに供給する。

0013

DPB32−1乃至32−Nは、ぞれぞれ、復号部31−1乃至31−Nのいずれかから供給される復号画像を記憶する。DPB32−1乃至32−Nは、記憶している復号画像を共有DPB33に供給し、記憶させる。

0014

共有DPB33は、DPB32−1乃至32−Nから供給される同時刻のタイル#1乃至タイル#Nの復号画像を、1フレームの復号画像として記憶する。共有DPB33は、記憶しているフレーム単位の復号画像を復号結果として出力する。

0015

また、図示は省略するが、符号化装置においても復号装置30と同様に、インター予測のために共用のDPBを設ける必要がある。

先行技術

0016

Benjamin Bross,Woo-Jin Han,Jens-Rainer Ohm,Gary J.Sullivan,Thomas Wiegand,"High efficiency video coding(HEVC) text specification draft 6",JCTVC-H10003 ver21,2012.2.17

発明が解決しようとする課題

0017

以上のように、HEVC規格では、インター予測において動きベクトルの制約がないため、参照画像として、異なる時刻の異なるタイルの復号画像を用いることができる。従って、タイルごとに時間方向に独立して符号化や復号を行うことができない。

0018

本技術は、このような状況に鑑みてなされたものであり、タイルごとに時間方向に独立して符号化を行うことができることができるようにするものである。

課題を解決するための手段

0019

本技術の一側面の符号化装置は、符号化対象カレント画像のピクチャをタイルに分割して符号化する場合に、前記タイルの分割方法が前記カレント画像を含むシーケンス内で一定であるとき、前記タイル内で検出された動きベクトルに基づいて、参照画像をコロケーテッドなタイル内に制限し、前記参照画像に対して動き補償処理を行うことにより、予測画像を生成する動き補償処理部と、前記動き補償処理部により生成された前記予測画像を用いて前記カレント画像を符号化し、符号化ストリームを生成する符号化部とを備える符号化装置である。

0020

本技術の一側面の符号化方法は、本技術の一側面の符号化装置に対応する。

0021

本技術の一側面においては、符号化対象のカレント画像のピクチャがタイルに分割されて符号化される場合に、前記タイルの分割方法が前記カレント画像を含むシーケンス内で一定であるとき、前記タイル内で検出された動きベクトルに基づいて、参照画像がコロケーテッドなタイル内に制限され、前記参照画像に対して動き補償処理が行われることにより、予測画像が生成され、生成された前記予測画像が用いられて前記カレント画像が符号化され、符号化ストリームが生成される。

0022

なお、本技術の一側面の符号化装置は、コンピュータプログラムを実行させることにより実現することができる。

0023

本技術によれば、タイルごとに時間方向に独立して符号化を行うことができる。

発明の効果

0024

本技術によれば、装置の高コスト化を防止することができる。

図面の簡単な説明

0025

従来のインター予測の参照画像を説明する図である。
従来の復号装置の構成の一例を示すブロック図である。
本技術を適用した符号化装置の第1実施の形態の構成例を示すブロック図である。
図3の符号化部の構成例を示すブロック図である。
タイルを説明する図である。
動きベクトルを検出する際の制約を説明する図である。
インター予測の参照画像を説明する図である。
SPSシンタックスの例を示す図である。
SPSのシンタックスの例を示す図である。
PPSのシンタックスの例を示す図である。
VUIのシンタックスの例を示す図である。
符号化ストリーム生成処理を説明するフローチャートである。
図12符号化処理を説明するフローチャートである。
図12の符号化処理を説明するフローチャートである。
本技術を適用した復号装置の第1実施の形態の構成例を示すブロック図である。
図15の復号部の第1実施の形態の構成例を示すブロック図である。
図15の復号装置の処理の概要を説明する図である。
図15の復号装置の符号化ストリーム復号処理を説明するフローチャートである。
図16の復号処理を説明するフローチャートである。
本技術を適用した符号化装置の第2実施の形態の符号化対象の画像の例を示す図である。
2D画像の復号装置の一実施の形態の構成例を示すブロック図である。
図21の復号装置の符号化ストリーム復号処理を説明するフローチャートである。
本技術を適用したテレビジョン会議ステムの一実施の形態の構成例を示すブロック図である。
VUIのシンタックスの他の例を示す図である。
多視点画像符号化方式の例を示す図である。
本技術を適用した多視点画像符号化装置の構成例を示す図である。
本技術を適用した多視点画像復号装置の構成例を示す図である。
階層画像符号化方式の例を示す図である。
スペシャルなスケーラブル符号化の例を説明する図である。
テンポラルなスケーラブル符号化の例を説明する図である。
信号雑音比のスケーラブル符号化の例を説明する図である。
本技術を適用した階層画像符号化装置の構成例を示す図である。
本技術を適用した階層画像復号装置の構成例を示す図である。
コンピュータのハードウエアの構成例を示すブロック図である。
本技術を適用したテレビジョン装置概略構成例を示す図である。
本技術を適用した携帯電話機の概略構成例を示す図である。
本技術を適用した記録再生装置の概略構成例を示す図である。
本技術を適用した撮像装置の概略構成例を示す図である。
スケーラブル符号化利用の一例を示すブロック図である。
スケーラブル符号化利用の他の例を示すブロック図である。
スケーラブル符号化利用のさらに他の例を示すブロック図である。

実施例

0026

<第1実施の形態>
(符号化装置の第1実施の形態の構成例)
図3は、本技術を適用した符号化装置の第1実施の形態の構成例を示すブロック図である。

0027

図3の符号化装置50は、A/D変換部51、画面並替えバッファ52、分割部53、符号化部54−1乃至54−N、設定部55、および伝送部56により構成される。符号化装置50は、入力信号として入力されたフレーム単位の画像を、タイルごとにHEVC方式に準じた方式で圧縮符号化する。

0028

具体的には、符号化装置50のA/D変換部51は、入力信号として入力されたフレーム単位の画像をA/D変換し、画面並べ替えバッファ52に出力して記憶させる。画面並べ替えバッファ52は、記憶した表示の順番のフレーム単位の画像を、GOP(Group of Picture)構造に応じて、符号化のための順番に並べ替え、分割部53に供給する。

0029

分割部53は、ユーザが図示せぬ入力部などを操作することによりシーケンス単位で指定したタイルの分割位置分割数Nを示す情報(以下、タイル分割情報という)に基づいて、画面並べ替えバッファ52から供給される画像をN個のタイルに分割する。分割部53は、N個のタイルの画像を、符号化対象の画像として、それぞれ、符号化部54−1乃至54−Nに供給する。

0030

符号化部54−1乃至54−Nは、分割部53から供給される所定のタイルの画像を、時間方向に独立して、HEVC方式に準じた方式で圧縮符号化する。符号化部54−1乃至54−Nは、圧縮符号化の結果得られる各タイルの符号化データを設定部55に供給する。なお、以下では、特に区別する必要がない場合、符号化部54−1乃至54−Nをまとめて符号化部54という。

0031

設定部55は、タイル分割情報に基づいて、符号化部54−1乃至54−Nから供給される各タイルの符号化データを合成する。また、設定部55は、タイル分割情報に基づいて、SPS(Sequence Parameter Set),PPS(Picture Parameter Set),VUI(Video Usability Information),APS(Adaptation Parameter Set)などを設定する。設定部55は、合成された符号化データにSPS,PPS,VUI,APSなどを付加することにより符号化ストリームを生成し、伝送部56に供給する。

0032

伝送部56は、設定部55から供給される符号化ストリームを後述する復号装置に伝送する。

0033

(符号化部の構成例)
図4は、図3の符号化部54の構成例を示すブロック図である。

0034

図4の符号化部54は、演算部71、直交変換部72、量子化部73、可逆符号化部74、蓄積バッファ75、逆量子化部76、逆直交変換部77、加算部78、デブロックフィルタ79、DPB80、スイッチ81、イントラ予測部82、インター予測部83、予測画像選択部84、およびレート制御部85により構成される。

0035

符号化部54には、図3の分割部53から所定のタイルの画像が符号化対象の画像として入力され、演算部71、イントラ予測部82、およびインター予測部83に供給される。

0036

演算部71は、符号化部として機能し、予測画像選択部84から供給される予測画像と、符号化対象の画像の差分を演算することにより、符号化対象の画像を符号化する。具体的には、演算部71は、符号化対象の画像から予測画像を減算することにより、符号化対象の画像を符号化する。演算部71は、その結果得られる画像を、残差情報として直交変換部72に出力する。なお、予測画像選択部84から予測画像が供給されない場合、演算部71は、符号化対象の画像をそのまま残差情報として直交変換部72に出力する。

0037

直交変換部72は、演算部71からの残差情報に対して直交変換を施し、直交変換の結果得られる係数を量子化部73に供給する。

0038

量子化部73は、直交変換部72から供給される係数を量子化する。量子化された係数は、可逆符号化部74に入力される。

0039

可逆符号化部74は、最適イントラ予測モードを示す情報(以下、イントラ予測モード情報という)をイントラ予測部82から取得する。または、可逆符号化部74は、最適インター予測モードを示す情報(以下、インター予測モード情報という)、動きベクトル、参照画像を特定するための情報などをインター予測部83から取得する。

0040

可逆符号化部74は、量子化部73から供給される量子化された係数に対して、可変長符号化(例えば、CAVLC(Context-Adaptive Variable Length Coding)など)、算術符号化(例えば、CABACなど)などの可逆符号化を行う。

0041

また、可逆符号化部74は、イントラ予測部82から供給されるイントラ予測モード情報を、そのイントラ予測モード情報に対応する予測ブロックと隣接する同一タイル内の予測ブロックのイントラ予測モード情報を用いて差分符号化する。または、可逆符号化部74は、動きベクトル生成部として機能し、所定の制約のもと、インター予測部83から供給される動きベクトルをAMVP(Advanced Motion Vector Prediction)等により予測し、その予測ベクトルと実際の動きベクトルとの差分を、動きベクトル情報として生成する。

0042

具体的には、AMVP等では、動きベクトル情報に対応する予測ブロックと空間方向に隣接する予測ブロック、コロケーテッドブロック(詳細は後述する)、コロケーテッドブロックと空間方向に隣接する予測ブロックなどの動きベクトルが、予測ベクトルとされる。

0043

なお、本明細書において、コロケーテッド(co-located)とは、異なるピクチャ(フレーム、フィールド)において、同じ位置関係にある(同じ場所に位置する)ことを表す。従って、コロケーテッドブロックとは、異なるピクチャ(フレーム、フィールド)において、同じ位置関係にある(同じ場所に位置する)ブロックである。また、コロケーテッド画素とは、異なるピクチャ(フレーム、フィールド)において、同じ位置関係にある(同じ場所に位置する)画素である。

0044

また、本明細書において、隣接(近接(neighboring))するとは、カレントピクチャ(フレーム、フィールド)から参照可能な位置関係にあることを表す。その位置関係としては時間的に直前または直後の関係が好適であるが、本技術の効果を奏する範囲内であれば、これに限定されない。なお、特に区別をする必要がない場合、時間方向の隣接と空間方向の隣接を、まとめて隣接という。時間方向の隣接とは、時間方向で参照可能な位置関係にあることを表す。空間方向の隣接とは、同一ピクチャ内で参照可能な位置関係にあることを表す。

0045

可逆符号化部74は、予測ベクトルとされる動きベクトルに対応する予測ブロックを、動きベクトル情報に対応する予測ブロックと同一のタイル内の予測ブロックに制限する。これにより、復号装置では、他のタイルの動きベクトルを参照する必要がなくなるため、インター予測符号化された符号化データを、タイルごとに時間方向に独立して復号することができる。

0046

なお、動きベクトル情報としては、マージ情報を用いることもできる。マージ情報とは、動きベクトルについて、他の予測ブロックとマージするか否か、および、マージする場合にはどの予測ブロックとマージするかを示す情報である。マージする予測ブロックの候補としては、例えば、動きベクトル情報に対応する予測ブロックと空間方向に隣接する予測ブロックの他に、コロケーテッドブロック、コロケーテッドブロックに空間方向に隣接する予測ブロックがある。

0047

但し、ここでは、マージする予測ブロックの候補は、動きベクトル情報に対応する予測ブロックと同一タイル内の予測ブロックに制限される。これにより、復号装置では、他のタイルの動きベクトルを参照する必要がなくなるため、インター予測符号化された符号化データを、タイルごとに時間方向に独立して復号することができる。

0048

可逆符号化部74は、動きベクトル情報としてマージ情報を用いる場合、インター予測部83から供給される動きベクトルと、マージする予測ブロックの候補のいずれかの動きベクトルが同一であるかどうかを判定する。そして、可逆符号化部74は、同一であると判定した場合、同一であると判定されたマージする予測ブロックの候補とマージすることを示すマージ情報を動きベクトル情報として生成する。一方、可逆符号化部74は、同一ではないと判定した場合、マージしないことを示すマージ情報を動きベクトル情報として生成する。

0049

可逆符号化部74は、差分符号化されたイントラ予測モード情報、または、インター予測モード情報、動きベクトル情報、参照画像を特定する情報などを可逆符号化し、符号化に関する符号化情報とする。可逆符号化部74は、可逆符号化された係数と符号化情報を、符号化データとして蓄積バッファ75に供給し、蓄積させる。なお、符号化情報は、可逆符号化された係数のヘッダ情報とされてもよい。

0050

蓄積バッファ75は、可逆符号化部74から供給される符号化データを、一時的に記憶する。また、蓄積バッファ75は、記憶している符号化データを、図3の設定部55に供給する。

0051

また、量子化部73より出力された、量子化された係数は、逆量子化部76にも入力され、逆量子化された後、逆直交変換部77に供給される。

0052

逆直交変換部77は、逆量子化部76から供給される係数に対して逆直交変換を施し、その結果得られる残差情報を加算部78に供給する。

0053

加算部78は、逆直交変換部77から供給される復号対象の画像としての残差情報と、予測画像選択部84から供給される予測画像を加算して、局部的に復号されたタイル単位の復号画像を得る。なお、予測画像選択部84から予測画像が供給されない場合、加算部78は、逆直交変換部77から供給される残差情報を局部的に復号されたタイル単位の復号画像とする。加算部78は、局部的に復号されたタイル単位の復号画像をデブロックフィルタ79に供給するとともに、DPB80に供給して蓄積させる。

0054

デブロックフィルタ79は、加算部78から供給される局部的に復号されたタイル単位の復号画像に対して、タイル単位でフィルタ処理フィルタリング)を施す。フィルタ処理とは、ブロック歪を除去するデブロックフィルタ処理リンギングを抑制するSAO(Sample adaptive offset)処理、およびクラス分類等を用いたALF(Adaptive loop filter)処理である。デブロックフィルタ79は、フィルタ処理の結果得られるタイル単位の復号画像をDPB80に供給し、蓄積させる。DPB80に蓄積されたタイル単位の復号画像は、参照画像としてスイッチ81を介してイントラ予測部82またはインター予測部83に出力される。

0055

イントラ予測部82は、DPB80からスイッチ81を介して読み出されたデブロックフィルタ79でフィルタリングされていない参照画像を用いて、候補となる全てのイントラ予測モードのイントラ予測を行う。

0056

また、イントラ予測部82は、分割部53から供給される符号化対象の画像と、イントラ予測の結果生成される予測画像とに基づいて、候補となる全てのイントラ予測モードに対してコスト関数値(詳細は後述する)を算出する。そして、イントラ予測部82は、コスト関数値が最小となるイントラ予測モードを、最適イントラ予測モードに決定し、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、予測画像選択部84に供給する。イントラ予測部82は、予測画像選択部84から最適イントラ予測モードで生成された予測画像の選択が通知された場合、イントラ予測モード情報を可逆符号化部74に供給する。

0057

なお、コスト関数値は、RD(Rate Distortion)コストともいい、例えば、H.264/AVC方式における参照ソフトウエアであるJM(Joint Model)で定められているような、High Complexity モードか、Low Complexity モードのいずれかの手法に基づいて算出される。

0058

具体的には、コスト関数値の算出手法としてHigh Complexity モードが採用される場合、候補となる全ての予測モードに対して、仮に可逆符号化までが行われ、次の式(1)で表わされるコスト関数値が各予測モードに対して算出される。

0059

0060

Dは、原画像と復号画像の差分(歪)、Rは、直交変換の係数まで含んだ発生符号量、λは、量子化パラメータQPの関数として与えられるラグランジュ乗数である。

0061

一方、コスト関数値の算出手法としてLow Complexity モードが採用される場合、候補となる全ての予測モードに対して、復号画像の生成、および、予測モードを示す情報などのヘッダビットの算出が行われ、次の式(2)で表わされるコスト関数が各予測モードに対して算出される。

0062

0063

Dは、原画像と復号画像の差分(歪)、Header_Bitは、予測モードに対するヘッダビット、QPtoQuantは、量子化パラメータQPの関数として与えられる関数である。

0064

Low Complexity モードにおいては、全ての予測モードに対して、復号画像を生成するだけでよく、可逆符号化を行う必要がないため、演算量が少なくて済む。

0065

インター予測部83は、動き検出部83Aと動き補償処理部83Bにより構成され、候補となる全てのインター予測モードの動き予測補償処理を行う。具体的には、動き検出部83Aは、分割部53から供給される符号化対象の画像と、DPB80からスイッチ81を介して読み出される、その画像と時刻の異なる、デブロックフィルタ79によりフィルタリングされた参照画像とを用いて、符号化対象の画像のタイル内で動き予測を行う。

0066

より詳細には、動き検出部83Aは、符号化対象の画像のタイルと同一のタイルの、符号化対象の画像のフレームと異なるフレームのフィルタリングされた参照画像と、符号化対象の画像とを用いて、候補となる全てのインター予測モードの動きベクトルを検出する。動き補償処理部83Bは、動き検出部83Aにより検出された動きベクトルに基づいて、デブロックフィルタ79によりフィルタリングされた参照画像に対して動き補償処理を行うことにより、インター予測を行い、予測画像を生成する。

0067

このとき、インター予測部83は、符号化対象の画像と予測画像とに基づいて、候補となる全てのインター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター測モードに決定する。そして、インター予測部83は、最適インター予測モードのコスト関数値と、対応する予測画像を予測画像選択部84に供給する。また、インター予測部83は、予測画像選択部84から最適インター予測モードで生成された予測画像の選択が通知された場合、インター予測モード情報、対応する動きベクトル、参照画像を特定する情報などを可逆符号化部74に出力する。

0068

予測画像選択部84は、イントラ予測部82およびインター予測部83から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちの、対応するコスト関数値が小さい方を、最適予測モードに決定する。そして、予測画像選択部84は、最適予測モードの予測画像を、演算部71および加算部78に供給する。また、予測画像選択部84は、最適予測モードの予測画像の選択をイントラ予測部82またはインター予測部83に通知する。

0069

レート制御部85は、蓄積バッファ75に蓄積された符号化データに基づいて、オーバフローあるいはアンダーフローが発生しないように、量子化部73の量子化動作のレートを制御する。

0070

(タイルの説明)
図5は、タイルを説明する図である。

0071

図5に示すように、1ピクチャ(フレーム)は、複数のタイルに分割して符号化することができる。図5の例では、1ピクチャが4つのタイルに分割されている。各タイルには、ラスタスキャン順に、タイルIDが0から付与される。また、タイル内のLCU(Largest Coding Unit)は、ラスタスキャン順に符号化される。

0072

また、1ピクチャは、複数のスライスに分割することもできる。タイルとスライスの境界は同一であっても異なっていてもよい。図5の例では、タイルIDが0であるタイル#0とタイルIDが1であるタイル#1は、それぞれ、2つのスライスにより構成される。また、タイルIDが3であるタイル#3とタイルIDが4であるタイル#4は、1つのスライスを構成する。但し、本実施の形態では、複数のタイルは、1つのスライスを構成しない。即ち、タイルは、1以上のスライスを含む。これにより、各タイルの符号化データは必ずスライスヘッダを含むため、タイル単位で符号化を行うことができる。また、1タイルが複数のスライスを含む場合、そのタイル内のスライスは、ラスタスキャン順に符号化される。

0073

動きベクトル検出の制約の説明)
図6は、図4の動き検出部83Aが動きベクトルを検出する際の制約を説明する図である。

0074

図6に示すように、動き検出部83Aは、タイルIDがiであるタイル#i内のCUの参照画像の候補を、タイル#i内の画像に制約することにより、タイル内で動き予測を行う。これにより、動きベクトルMV(mvx,mvy)(単位はピクセル)は、以下の式(3)を満たす。

0075

0076

なお、式(3)において、(x,y)は、CUの左上の画素のピクセル単位座標であり、wとhは、それぞれ、CUの横幅縦幅のピクセル単位の長さである。また、minX_in_TileID_iは、タイル#iの左上の画素のx座標値であり、minY_in_TileID_iは、タイル#iの左上の画素のy座標値である。また、maxX_in_TileID_iは、タイル#iの右下の画素のx座標値であり、maxY_in_TileID_iは、タイル#iの右下の画素のy座標値である。

0077

以上のような制約が動きベクトルの検出時に設けられることにより、図7に示すように、インター予測時に、時間方向の参照画像として、他のタイルの復号画像を用いる必要がない。

0078

即ち、図7に示すように、POCがtであるフレーム#tとPOCがt-1であるフレーム#t−1が4つのタイルに分割されている場合、フレーム#tのタイル#1内のCUのインター予測は、フレーム#t−1のタイル#1内の画像を参照画像として行われる。タイル#2乃至タイル#4のCUについても、タイル#1と同様に、それぞれ、自分のタイル#2、タイル#3、タイル#4内の画像を参照画像としてインター予測が行われる。よって、タイルごとに、時間方向に独立してインター予測を行うことができる。

0079

(SPSの例)
図8図9は、図3の設定部55により設定されるSPSのシンタックスの例を示す図である。

0080

図9の19行目乃至28行目に示すように、SPSには、シーケンス単位のタイル分割情報が設定される。タイル分割情報としては、20行目に示すnum_tile_columns_minus1、21行目に示すnum_tile_rows_minus1、25行目に示すcolumn_width[i]、27行目に示すrow_height[i]などがある。

0081

num_tile_columns_minus1は、列方向(水平方向)のタイル数を表し、num_tile_rows_minus1は行方向(垂直方向)のタイル数を表す。また、column_width[i]は、各タイルの水平方向のピクセル単位の長さを表し、row_height[i]は、各タイルの垂直方向のピクセル単位の長さを表す。

0082

また、図9の29行目に示すように、SPSには、参照画像においてタイルを跨いでフィルタ処理が施されているかどうかを表すデブロックフィルタ情報(フィルタ情報)(loop_filter_across_tiles_enabled_flag)がシーケンス単位で設定される。符号化装置50のデブロックフィルタ79は、タイル単位でフィルタ処理を行うので、設定部55は、デブロックフィルタ情報を(0)に設定する。

0083

(PPSの例)
図10は、図3の設定部55により設定されるPPSのシンタックスの例を示す図である。

0084

図10の21行目に示すように、PPSには、ピクチャ単位でタイル分割情報を制御するかどうかを表すtile_info_present_flagが設定される。設定部55は、tile_info_present_flagを偽(0)に設定する。即ち、符号化装置50では、タイルの分割方法がシーケンス内で一定にされ、ピクチャ間で変更されない。

0085

なお、後述するピクチャ単位のタイル分割情報が、同一のシーケンス内のピクチャ間で同一である場合、tile_info_present_flagは正(1)に設定されるようにしてもよい。

0086

また、23行目乃至33行目に示すように、PPSには、ピクチャ単位のタイル分割情報が、図9のシーケンス単位のタイル分割情報と同様に設定される。さらに、35行目に示すように、PPSには、ピクチャ単位のデブロックフィルタ情報が設定される。

0087

(VUIの例)
図11は、図3の設定部55により設定されるVUIのシンタックスの例を示す図である。

0088

図11の4行目に示すように、VUIには、タイル分割可能情報(tile_splittable_flag)が設定される。タイル分割可能情報は、タイル単位で復号可能であるかどうかを示す情報である。符号化装置50は、動き予測をタイル内で行い、各種の制約を行うことにより、タイル単位で復号可能にするため、設定部55は、タイル分割可能情報を正(1)に設定する。

0089

なお、1行目のbitstream_restriction_flagが0である場合、復号側は、タイル分割可能情報は偽(0)であるとして、タイル単位で復号可能ではないと認識する。

0090

(符号化装置の処理の説明)
図12は、図3の符号化装置50の符号化ストリーム生成処理を説明するフローチャートである。

0091

図12のステップS11において、A/D変換部51は、入力信号として入力されたフレーム単位の画像をA/D変換し、画面並べ替えバッファ52に出力して記憶させる。

0092

ステップS12において、画面並べ替えバッファ52は、記憶した表示の順番のフレーム単位の画像を、GOP構造に応じて、符号化のための順番に並べ替え、分割部53に供給する。

0093

ステップS13において、分割部53は、タイル分割情報に基づいて、画面並べ替えバッファ52から供給される画像をN個のタイルに分割する。分割部53は、N個のタイルの画像を、符号化単位の画像として、それぞれ、符号化部54−1乃至54−Nに供給する。

0094

ステップS14において、符号化部54は、分割部53から供給される所定のタイルの画像を、時間方向に独立して、HEVC方式に準じた方式で圧縮符号化する符号化処理を行う。この符号化処理の詳細は、後述する図13および図14を参照して説明する。

0095

ステップS15において、設定部55は、タイル分割情報に基づいて、符号化部54−1乃至54−Nから供給される各タイルの符号化データを合成する。

0096

ステップS16において、設定部55は、VUIのタイル分割可能情報を1に設定する。ステップS17において、設定部55は、SPSとPPSのデブロックフィルタ情報を0に設定する。また、設定部55は、タイル分割情報などに基づいて、タイル分割可能情報以外のSPS,PPS,VUI,APSなどの情報を設定する。

0097

このとき、設定部55は、APSに含まれる、隣接する画像のSAO処理におけるパラメータを用いてSAO処理を行うかどうかを示すsao_repeat_row_flagとsao_merge_up_flagを、隣接する画像が異なるタイルの画像である場合、偽(0)に設定する。また、設定部55は、APSに含まれる、隣接する画像のALF処理におけるパラメータを用いてALF処理を行うかどうかを示すalf_repeat_row _flag,alf_merge_up_flagを、隣接する画像が異なるタイルの画像である場合偽(0)に設定する。これにより、異なるタイル間でSAO処理とALF処理におけるパラメータが共有されない。従って、タイル単位でフィルタ処理を行い、符号化を行うことができる。

0098

このように、sao_repeat_row_flag,sao_merge_up_flag,alf_repeat_row _flag、およびalf_merge_up_flagは、隣接する画像が異なるタイルの画像である場合偽(0)に設定されるので、フィルタ処理におけるパラメータをタイル間で共有しないことを表すパラメータ共有情報であるといえる。

0099

ステップS18において、設定部55は、合成された符号化データにSPS,PPS,VUI,APSなどを付加することにより符号化ストリームを生成し、伝送部56に供給する。

0100

ステップS19において、伝送部56は、設定部55から供給される符号化ストリームを後述する復号装置に伝送し、処理を終了する。

0101

(符号化装置の処理の説明)
図13および図14は、図12のステップS14の符号化処理を説明するフローチャートである。この符号化処理は、例えばCU単位で行われる。

0102

ステップS30において、イントラ予測部82は、DPB80に記憶されている、符号化対象の画像と同一のタイルのフィルタリングされていない画像を参照画像として、候補となる全てのイントラ予測モードのイントラ予測を行うイントラ予測処理を行う。このとき、イントラ予測部82は、分割部53から供給される符号化対象の画像と、イントラ予測処理の結果生成される予測画像とに基づいて、候補となる全てのイントラ予測モードに対してコスト関数値を算出する。そして、イントラ予測部82は、コスト関数値が最小となるイントラ予測モードを最適イントラ予測モードに決定し、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、予測画像選択部84に供給する。

0103

また、インター予測部83は、DPB80に記憶されている、符号化対象の画像と同一のタイルのフィルタリングされた画像を参照画像として、候補となる全てのインター予測モードのタイル内の動き予測と動き補償処理を行う。このとき、インター予測部83は、分割部53から供給される符号化対象の画像と、動き補償処理の結果生成される予測画像とに基づいて、候補となる全てのインター予測モードに対してコスト関数値を算出する。そして、インター予測部83は、コスト関数値が最小となるインター予測モードを最適インター予測モードに決定し、最適インター予測モードで生成された予測画像、および、対応するコスト関数値を、予測画像選択部84に供給する。

0104

ステップS31において、予測画像選択部84は、ステップS30の処理によりイントラ予測部82およびインター予測部83から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちのコスト関数値が最小となる方を、最適予測モードに決定する。そして、予測画像選択部84は、最適予測モードの予測画像を、演算部71および加算部78に供給する。

0105

ステップS32において、予測画像選択部84は、最適予測モードが最適インター予測モードであるかどうかを判定する。ステップS32で最適予測モードが最適インター予測モードであると判定された場合、予測画像選択部84は、最適インター予測モードで生成された予測画像の選択をインター予測部83に通知する。これにより、インター予測部83は、インター予測モード情報、対応する動きベクトル、および参照画像を特定するための情報を可逆符号化部74に出力する。

0106

そして、ステップS33において、可逆符号化部74は、インター予測部83から供給される動きベクトルをAMVP等により予測し、その予測ベクトルと実際の動きベクトルとの差分を動きベクトル情報として生成する。このとき、AMVPにおいて予測ベクトルとされる動きベクトルに対応する予測ブロックは、動きベクトル情報に対応する予測ブロックと同一のタイル内の予測ブロックに制限される。

0107

ステップS34において、可逆符号化部74は、インター予測部83から供給されるインター予測モード情報および参照画像を特定するための情報、並びに動きベクトル情報を可逆符号化し、その結果得られる情報を符号化情報とする。そして、処理はステップS36に進む。

0108

一方、ステップS32で最適予測モードが最適インター予測モードではないと判定された場合、即ち最適予測モードが最適イントラ予測モードである場合、予測画像選択部84は、最適イントラ予測モードで生成された予測画像の選択をイントラ予測部82に通知する。これにより、イントラ予測部82は、イントラ予測モード情報を可逆符号化部74に供給する。

0109

そして、ステップS35において、可逆符号化部74は、イントラ予測部82から供給されるイントラ予測モード情報を差分符号化し、さらに可逆符号化して、その結果得られる情報を符号化情報とする。そして、処理はステップS36に進む。

0110

ステップS36において、演算部71は、分割部53から供給される符号化対象の画像から、予測画像選択部84から供給される予測画像を減算する。演算部71は、減算の結果得られる画像を、残差情報として直交変換部72に出力する。

0111

ステップS37において、直交変換部72は、演算部71からの残差情報に対して直交変換を施し、その結果得られる係数を量子化部73に供給する。

0112

ステップS38において、量子化部73は、直交変換部72から供給される係数を量子化する。量子化された係数は、可逆符号化部74と逆量子化部76に入力される。

0113

ステップS39において、可逆符号化部74は、量子化部73から供給される量子化された係数を可逆符号化する。可逆符号化部74は、その結果得られる情報と、ステップS34またはS35の処理で生成された符号化情報から、符号化データを生成する。

0114

図14のステップS40において、可逆符号化部74は、符号化データを蓄積バッファ75に供給し、蓄積させる。

0115

ステップS41において、蓄積バッファ75は、蓄積されている符号化データを、設定部55(図3)に出力する。

0116

ステップS42において、逆量子化部76は、量子化部73から供給される量子化された係数を逆量子化する。

0117

ステップS43において、逆直交変換部77は、逆量子化部76から供給される係数に対して逆直交変換を施し、その結果得られる残差情報を加算部78に供給する。

0118

ステップS44において、加算部78は、逆直交変換部77から供給される残差情報と、予測画像選択部84から供給される予測画像を加算し、局部的に復号されたタイル単位の復号画像を得る。加算部78は、得られたタイル単位の復号画像をデブロックフィルタ79に供給するとともに、DPB80に供給する。

0119

ステップS45において、デブロックフィルタ79は、加算部78から供給される局部的に復号されたタイル単位の復号画像に対して、タイル単位でフィルタリングを行う。デブロックフィルタ79は、その結果得られるタイル単位の復号画像をDPB80に供給する。

0120

ステップS46において、DPB80は、フィルタリング前後のタイル単位の復号画像を蓄積する。具体的には、DPB80は、加算部78から供給されるタイル単位の復号画像とデブロックフィルタ79から供給されるタイル単位の復号画像を蓄積する。DPB80に蓄積されたタイル単位の復号画像は、参照画像としてスイッチ81を介してイントラ予測部82またはインター予測部83に出力される。そして、処理は図12のステップS14に戻り、ステップS15に進む。

0121

なお、図13および図14の符号化処理では、説明を簡単化するため、常に、イントラ予測処理と動き予測・動き補償処理が行われるようにしたが、実際には、ピクチャタイプ等によっていずれか一方のみが行われる場合もある。

0122

以上のように、符号化装置50は、符号化対象の画像と、符号化対象の画像と時刻の異なる参照画像とを用いて、タイル内で動き予測を行い、動きベクトルを生成する。従って、タイルごとに時間方向に独立して符号化を行うことができる。

0123

なお、符号化装置50は、各タイルの画像を符号化するN個の符号化部54を有したが、1つの符号化部を有するようにしてもよい。この場合、符号化部は、タイルごとに復号画像を記憶するDPBを有し、タイルIDが小さい順、即ちラスタスキャン順に、タイルごとに、画像を符号化する。

0124

(復号装置の第1実施の形態の構成例)
図15は、図3の符号化装置50から伝送されてくる符号化ストリームを復号する、本技術を適用した復号装置の第1実施の形態の構成例を示すブロック図である。

0125

図15の復号装置90は、受け取り部91、抽出部92、分割部93、復号部94−1乃至94−N、画面並べ替えバッファ95、およびD/A変換部96により構成される。

0126

復号装置90の受け取り部91は、符号化装置50から伝送されてくる符号化ストリームを受け取り、抽出部92に供給する。

0127

抽出部92は、符号化ストリームから、SPS,PPS,VUI,APS,符号化データなどを抽出し、分割部93に供給する。また、抽出部92は、SPSやPPSに含まれるタイル分割情報を画面並べ替えバッファ95に供給する。

0128

分割部93は、抽出部92から供給されるVUIに含まれるタイル分割可能情報と、SPSやPPSに含まれるタイル分割情報とに基づいて、符号化データをタイル単位に分割する。分割部93は、その結果得られるN個のタイルの符号化データを、タイルごとに、復号部94−1乃至94−Nに供給する。また、分割部93は、抽出部92から供給されるSPS,PPS,APSなどを復号部94−Nに供給する。

0129

復号部94−1乃至94−Nは、それぞれ、分割部93から供給されるSPS,PPS,APSなどを参照して、分割部93から供給される所定のタイルの符号化データを、HEVC方式に準じた方式で復号する。即ち、復号部94−1乃至94−Nは、SPS,PPS、APSなどを参照して、符号化データをタイルごとに時間方向に独立して復号する。復号部94−1乃至94−Nは、復号の結果得られる復号画像を画面並べ替えバッファ95に供給する。なお、以下では、特に区別する必要がない場合、復号部94−1乃至94−Nをまとめて復号部94という。

0130

画面並べ替えバッファ95は、抽出部92から供給されるタイル分割情報に基づいて、復号部94−1乃至94−Nから供給される各タイルの復号画像を並べてフレーム単位で記憶することにより、合成する。画面並べ替えバッファ95は、記憶した符号化のための順番のフレーム単位の画像を、元の表示の順番に並び替え、D/A変換部96に供給する。

0131

D/A変換部96は、画面並べ替えバッファ95から供給されるフレーム単位の画像をD/A変換し、出力信号として出力する。

0132

(復号部の構成例)
図16は、図15の復号部94の第1実施の形態の構成例を示すブロック図である。

0133

図16の復号部94は、蓄積バッファ101、可逆復号部102、逆量子化部103、逆直交変換部104、加算部105、デブロックフィルタ106、DPB107、スイッチ108、イントラ予測部109、動き補償処理部110、およびスイッチ111により構成される。

0134

復号部94の蓄積バッファ101は、図15の分割部93から供給される所定のタイルの符号化データを受け取り、蓄積する。蓄積バッファ101は、蓄積されている符号化データを可逆復号部102に供給する。

0135

可逆復号部102は、蓄積バッファ101からの符号化データに対して、可変長復号や、算術復号等の可逆復号を施すことで、量子化された係数と符号化情報を得る。可逆復号部102は、量子化された係数を逆量子化部103に供給する。

0136

また、可逆復号部102は、符号化情報としての差分符号化されたイントラ予測モード情報と、現在の予測ブロックと隣接する同一タイル内の予測ブロックのイントラ予測モード情報とを加算することにより、現在の予測ブロックのイントラ予測モード情報を求める。可逆復号部102は、現在のイントラ予測モード情報などをイントラ予測部109に供給する。

0137

さらに、可逆復号部102は、動きベクトル生成部として機能し、符号化情報としての動きベクトル情報と、同一タイル内の他の予測ブロックの動きベクトルとを加算することにより、現在の予測ブロックの動きベクトルを求める。可逆復号部102は、求められた動きベクトル、符号化情報としての参照画像を特定するための情報、インター予測モード情報などを動き補償処理部110に供給する。さらに、可逆復号部102は、イントラ予測モード情報またはインター予測モード情報をスイッチ111に供給する。

0138

逆量子化部103、逆直交変換部104、加算部105、デブロックフィルタ106、DPB107、スイッチ108、イントラ予測部109、および、動き補償処理部110は、図4の逆量子化部76、逆直交変換部77、加算部78、デブロックフィルタ79、DPB80、スイッチ81、イントラ予測部82、および、インター予測部83とそれぞれ同様の処理を行い、これにより、画像が復号される。

0139

具体的には、逆量子化部103は、可逆復号部102からの量子化された係数を逆量子化し、その結果得られる係数を逆直交変換部104に供給する。

0140

逆直交変換部104は、逆量子化部103からの係数に対して逆直交変換を施し、その結果得られる残差情報を加算部105に供給する。

0141

加算部105は、復号部として機能し、逆直交変換部104から供給される復号対象の画像としての残差情報と、スイッチ111から供給される予測画像を加算することにより、復号を行う。加算部105は、復号の結果得られる復号画像をデブロックフィルタ106に供給するとともに、DPB107に供給する。なお、スイッチ111から予測画像が供給されない場合、加算部105は、逆直交変換部104から供給される残差情報である画像を復号画像として、デブロックフィルタ106に供給するとともに、DPB107に供給して蓄積させる。

0142

デブロックフィルタ106は、分割部93から供給されるSPSやPPSに含まれるデブロックフィルタ情報に基づいて、加算部105から供給される復号画像に対して、タイル単位でフィルタリングを施すことにより、ブロック歪を除去する。デブロックフィルタ106は、その結果得られる復号画像をDPB107に供給し、蓄積させるとともに、図15の画面並べ替えバッファ95に供給する。DPB107に蓄積された所定のタイルの復号画像は、参照画像としてスイッチ108を介して読み出され、動き補償処理部110またはイントラ予測部109に供給される。

0143

イントラ予測部109は、DPB107からスイッチ108を介して読み出された、デブロックフィルタ106でフィルタリングされていない、復号対象の画像と同一のタイルの参照画像を用いて、イントラ予測モード情報が示す最適イントラ予測モードのイントラ予測を行う。イントラ予測部109は、その結果生成される予測画像をスイッチ111に供給する。

0144

動き補償処理部110は、可逆復号部102から供給される参照画像を特定するための情報に基づいて、DPB107からスイッチ108を介して、復号対象の画像と異なるフレームの、復号対象の画像と同一のタイルの、デブロックフィルタ106でフィルタリングされた参照画像を読み出す。即ち、動き補償処理部110は、参照画像を特定するための情報に基づいて、DPB107からコロケーテッドなタイル内にある参照画像を読み出す。

0145

動き補償処理部110は、動きベクトルに基づいて、参照画像に対してインター予測モード情報が示す最適インター予測モードの動き補償処理を行うことにより、最適インター予測モードのインター予測を行う。動き補償処理部110は、その結果生成される予測画像をスイッチ111に供給する。

0146

スイッチ111は、可逆復号部102からイントラ予測モード情報が供給された場合、イントラ予測部109から供給される予測画像を加算部105に供給する。一方、可逆復号部102からインター予測モード情報が供給された場合、スイッチ111は、動き補償処理部110から供給される予測画像を加算部105に供給する。

0147

(復号装置の処理の概要の説明)
図17は、図15の復号装置90の処理の概要を説明する図である。

0148

図17に示すように、復号装置90には、N個のタイルに分割されて符号化された符号化ストリームが、符号化装置50から入力される。なお、この符号化ストリームには、タイル分割可能情報として正(1)が設定されている。

0149

復号装置90は、符号化ストリームを受け取り、符号化ストリームからSPS,PPS,VUI,APS、符号化データなどを抽出し、SPSやPPSに含まれるタイル分割情報に基づいて、符号化データをタイル単位に分割する。分割によって得られる各タイルの符号化データは、タイルごとに、復号部94−1乃至94−Nに供給される。具体的には、タイル#1、タイル#2、・・・、タイル#Nの符号化データは、それぞれ、復号部94−1、復号部94−2、・・・、復号部94−Nに供給される。

0150

復号部94−1は、復号処理部121−1とDPB122−1により構成される。復号処理部121−1は、復号部94−1の蓄積バッファ101、可逆復号部102、逆量子化部103、逆直交変換部104、加算部105、デブロックフィルタ106、DPB107、スイッチ108、イントラ予測部109、動き補償処理部110、およびスイッチ111(図16)により構成される。復号処理部121−1は、タイル#1の符号化データを復号する。

0151

また、DPB122−1は、復号部94−1のDPB107により構成され、復号処理部121−1による復号の結果得られるタイル#1の復号画像が記憶される。DPB122−1に記憶されるタイル#1の復号画像は、復号処理部121−1の復号に用いられる。

0152

復号部94−2乃至94−Nは、復号部94−1と同様に構成される。これにより、DPB122−2乃至122−Nには、それぞれ、タイル#2乃至タイル#Nの復号画像が記憶される。

0153

また、復号処理部121−1乃至121−Nにより得られるタイル#1乃至タイル#Nの復号画像は、画面並べ替えバッファ95にも供給され、タイル分割情報に基づいて並べられることにより合成され、フレーム単位で記憶される。

0154

以上のように、各タイルの符号化データは、そのタイルの復号画像を用いて独立に復号することができるので、復号装置90は、全タイルの復号画像を保持する復号用の共有DPBを有する必要がない。

0155

(復号装置の処理の説明)
図18は、図15の復号装置90の符号化ストリーム復号処理を説明するフローチャートである。

0156

図18のステップS61において、復号装置90の受け取り部91は、符号化装置50から伝送されてくる符号化ストリームを受け取り、抽出部92に供給する。

0157

ステップS62において抽出部92は、符号化ストリームから、SPS,PPS,VUI,APS、符号化データなどを抽出し、分割部93に供給する。また、抽出部92は、SPSやPPSに含まれるタイル分割情報を画面並べ替えバッファ95に供給する。

0158

ステップS63において、分割部93は、抽出部92から供給されるVUIに含まれるタイル分割可能情報が正(1)であるかどうかを判定する。分割部93は、タイル分割可能情報が正(1)ではない場合、即ちタイル分割可能情報が偽(0)である場合、処理を終了する。

0159

一方、ステップS63で、分割部93は、タイル分割可能情報が正(1)であると判定された場合、ステップS64において、分割部93、SPSやPPSに含まれるタイル分割情報に基づいて、符号化データをタイル単位に分割する。

0160

ステップS65において、分割部93は、分割されたN個の各タイルの符号化データを、それぞれ、復号部94−1乃至94−Nに供給する。また、分割部93は、抽出部92から供給されるSPS,PPSなどを復号部94−Nに供給する。

0161

ステップS66において、復号部94は、分割部93から供給されるSPS,PPSなどを参照して、分割部93から供給される所定のタイルの符号化データを、HEVC方式に準じた方式で復号する復号処理を行う。この復号処理の詳細は、後述する図19を参照して説明する。

0162

ステップS67において、画面並べ替えバッファ95は、抽出部92から供給されるタイル分割情報に基づいて、復号部94−1乃至94−Nから供給される各タイルの復号画像を並べてフレーム単位で記憶することにより、合成する。

0163

ステップS68において、画面並べ替えバッファ95は、記憶した符号化のための順番のフレーム単位の画像を、元の表示の順番に並び替え、D/A変換部96に供給する。

0164

ステップS69において、D/A変換部96は、画面並べ替えバッファ95から供給されるフレーム単位の画像をD/A変換し、出力信号として出力する。

0165

図19は、図18のステップS66の復号処理を説明するフローチャートである。

0166

図19のステップS100において、復号部94の蓄積バッファ101は、図15の分割部93から所定のタイルの符号化データを受け取り、蓄積する。蓄積バッファ101は、蓄積されている符号化データを可逆復号部102に供給する。なお、以下のステップS101乃至S110の処理は、例えばCU単位で行われる。

0167

ステップS101において、可逆復号部102は、蓄積バッファ101からの符号化データを可逆復号し、量子化された係数と符号化情報を得る。可逆復号部102は、量子化された係数を逆量子化部103に供給する。

0168

また、可逆復号部102は、符号化情報としての差分符号化されたイントラ予測モード情報と、現在の予測ブロックと隣接する同一タイル内の予測ブロックのイントラ予測モード情報とを加算することにより、現在の予測ブロックのイントラ予測モード情報を求める。可逆復号部102は、現在の予測ブロックのイントラ予測モード情報をイントラ予測部109とスイッチ111に供給する。

0169

ステップS102において、可逆復号部102は、符号化情報としての動きベクトル情報と、同一タイル内の他の予測ブロックの動きベクトルとを加算することにより、現在の予測ブロックの動きベクトルを生成する。可逆復号部102は、生成された動きベクトル、符号化情報としての参照画像を特定するための情報、インター予測モード情報などを動き補償処理部110に供給する。また、可逆復号部102は、インター予測モード情報をスイッチ111に供給する。

0170

ステップS103において、逆量子化部103は、可逆復号部102からの量子化された係数を逆量子化し、その結果得られる係数を逆直交変換部104に供給する。

0171

ステップS104において、動き補償処理部110は、可逆復号部102からインター予測モード情報が供給されたかどうかを判定する。ステップS104でインター予測モード情報が供給されたと判定された場合、処理はステップS105に進む。

0172

ステップS105において、動き補償処理部110は、可逆復号部102から供給される動きベクトル、インター予測モード情報、および参照画像を特定するための情報に基づいて、デブロックフィルタ106でフィルタリングされた、復号対象の画像と同一のタイルの参照画像を用いて動き補償処理を行う。動き補償処理部110は、その結果生成される予測画像を、スイッチ111を介して加算部105に供給し、処理をステップS107に進める。

0173

一方、ステップS104でインター予測モード情報が供給されていないと判定された場合、即ちイントラ予測モード情報がイントラ予測部109に供給された場合、処理はステップS106に進む。

0174

ステップS106において、イントラ予測部109は、DPB107からスイッチ108を介して読み出されたデブロックフィルタ106でフィルタリングされていない、復号対象の画像と同一のタイルの参照画像を用いて、イントラ予測モード情報のイントラ予測を行うイントラ予測処理を行う。イントラ予測部109は、イントラ予測処理の結果生成される予測画像を、スイッチ111を介して加算部105に供給し、処理をステップS107に進める。

0175

ステップS107において、逆直交変換部104は、逆量子化部103からの係数に対して逆直交変換を施し、その結果得られる残差情報を加算部105に供給する。

0176

ステップS108において、加算部105は、逆直交変換部104から供給される復号対象の画像としての残差情報と、スイッチ111から供給される予測画像を加算することにより、復号を行う。加算部105は、その結果得られる復号画像をデブロックフィルタ106に供給するとともに、DPB107に供給する。

0177

ステップS109において、デブロックフィルタ106は、分割部93から供給されるSPSやPPSに含まれるデブロックフィルタ情報に基づいて、加算部105から供給される復号画像に対して、タイル単位でフィルタリングを行う。デブロックフィルタ106は、フィルタリング後の復号画像をDPB107と画面並べ替えバッファ95(図15)に供給する。

0178

ステップS110において、DPB107は、加算部105から供給されるフィルタリング前の復号画像と、デブロックフィルタ106から供給されるフィルタリング後の復号画像を蓄積する。DPB107に蓄積された復号画像は、参照画像としてスイッチ108を介して動き補償処理部110またはイントラ予測部109に供給される。そして、処理は、図18のステップS66に戻り、ステップS67に進む。

0179

以上のように、復号装置90は、タイル分割可能情報と動きベクトル情報とに基づいて、タイルごとに、復号対象の画像と異なる時刻の、復号対象の画像と同一のタイル内にある参照画像を用いて動き補償処理を行う。従って、タイルごとに時間方向に独立して復号を行うことができる。その結果、復号装置90は、例えば、N個のタイルのうちの所定のタイルのみを高速再生することができる。

0180

なお、復号装置90は、各タイルの画像を復号するN個の復号部94を有したが、1つの復号部94を有するようにしてもよい。この場合、復号部は、タイルごとに復号画像を記憶するDPBを有し、タイルIDが小さい順、即ちラスタスキャン順に、タイルごとに、画像を復号する。

0181

<第2実施の形態>
(符号化対象の画像の例)
図20は、本技術を適用した符号化装置の第2実施の形態の符号化対象の画像の例を示す図である。

0182

図20に示すように、符号化対象の画像は、3D表示に用いられる画像である3D画像として、左目用の画像(以下、L画像という)を画面の左半分に配置し、右目用の画像(以下、R画像という)を画面の右半分に配置した画像である。

0183

そして、符号化対象の画像は、図20に示すように、L画像とR画像が異なるタイルとなるように、タイル分割される。これにより、L画像のタイルは、タイル#0となり、R画像のタイルは、タイル#1となる。

0184

なお、3D画像のL画像とR画像は、それぞれ、画面の上半分と下半分に配置されるようにしてもよい。

0185

(符号化装置の第2実施の形態の構成例)
本技術を適用した符号化装置の第2実施の形態は、Nが2である符号化装置50である。この符号化装置は、L画像とR画像を独立して符号化し、その結果得られる符号化ストリームを伝送する。

0186

(2D画像の復号装置の一実施の形態の構成例)
図21は、符号化装置の第2実施の形態で符号化された3D画像の符号化ストリームを復号する2D画像の復号装置の一実施の形態の構成例を示すブロック図である。

0187

図21に示す構成のうち、図15の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

0188

図21の復号装置140の構成は、分割部93の代わりにタイル抽出部141が設けられている点、画面並べ替えバッファ95の代わりに画面並べ替えバッファ142が設けられている点が図15の構成と異なる。

0189

タイル抽出部141は、抽出部92から供給されるVUIに含まれるタイル分割可能情報と、SPSやPPSに含まれるタイル分割情報とに基づいて、符号化データをタイル単位に分割する。タイル抽出部141は、2個のタイルの符号化データのうちの、タイル#1の符号化データを復号部94−1に供給する。ここでは、L画像を用いて2D表示が行われるものとするが、R画像を用いて2D表示が行われるようにしてもよい。この場合、タイル#1の符号化データではなく、タイル#2の符号化データが復号部94−1に供給される。

0190

画面並べ替えバッファ142は、復号部94−1から供給されるタイル#1の復号画像をフレーム単位で記憶する。画面並べ替えバッファ142は、記憶した符号化のための順番のフレーム単位の画像を、元の表示の順番に並び替え、D/A変換部96に供給する。

0191

(2D画像の復号装置の処理の説明)
図22は、図21の復号装置140の符号化ストリーム復号処理を説明するフローチャートである。

0192

図22のステップS131乃至S134の処理は、図18のステップS61乃至S64の処理と同様であるので、説明は省略する。

0193

ステップS135において、タイル抽出部141は、分割された2個のタイルの符号化データのうちのタイル#1の符号化データを、復号部94−1に供給する。ステップS136において、復号部94−1は、図19の復号処理を行う。

0194

ステップS137において、復号部94−1から供給されるタイル#1の復号画像をフレーム単位で記憶する。

0195

ステップS138とS139の処理は、図18のステップS68とS69の処理と同様であるので、説明は省略する。

0196

以上のように、符号化ストリームが、L画像とR画像が異なるタイルとなるようにタイル分割されて符号化された符号化ストリームである場合、L画像とR画像を独立して復号することができる。従って、復号装置140は、復号対象の符号化データのうちのタイル#1のL画像の符号化データのみを復号することができる。その結果、2D画像を高速再生することが可能になる。また、復号装置140は、DPBの容量を削減したり、復号処理時消費電力を削減したりすることができる。

0197

同様に、符号化ストリームが、画面内の中心領域と、それ以外の領域でタイル分割されて符号化された符号化ストリームである場合、注目されている中心領域のみを高速に再生することができる。

0198

(3D画像の復号装置の構成例)
図20に示した3D画像の符号化ストリームを復号する3D画像の復号装置は、Nが2である図15の復号装置である。この3D画像の復号装置は、L画像とR画像の符号化データを独立して復号し、合成することにより3D画像を得る。なお、3D画像の復号装置は、復号の結果得られるL画像とR画像を合成せずに出力するようにしてもよい。

0199

また、第2実施の形態では、L画像とR画像が、それぞれ、1タイルに分割されたが、複数タイルに分割されるようにしてもよい。即ち、タイルは、L画像とR画像の両方を含まないように分割されれば、どのように分割されてもよい。

0200

<第3実施の形態>
(テレビジョン会議システムの構成例)
図23は、本技術を適用したテレビジョン会議システムの一実施の形態の構成例を示すブロック図である。

0201

図23のテレビジョン会議システム160は、撮影装置161−1乃至161−M、符号化装置162−1乃至162−M、合成装置163、復号装置164−1乃至164−M、および表示装置165−1乃至165−Mにより構成される。テレビジョン会議システム160は、異なる地点で会議に参加するM人の画像を撮影し、符号化して合成し、復号して表示する。

0202

具体的には、テレビジョン会議システム160の撮影装置161−1乃至161−Mは、それぞれ、会議に参加するM人の各地点に配置される。撮影装置161−1乃至161−Mは、それぞれ、会議に参加する人の画像を撮影し、符号化装置162−1乃至162−Mに供給する。

0203

符号化装置162−1乃至162−Mは、それぞれ、図3の符号化装置50と同様に構成される。符号化装置162−1乃至162−Mは、撮影装置161から供給される画像を、タイルごとに独立して、HEVC方式に準じた方式で圧縮符号化する。符号化装置162−1乃至162−Mは、それぞれ、圧縮符号化の結果得られる符号化ストリームを合成装置163に伝送する。

0204

合成装置163は、符号化装置162−1乃至162−Mから伝送されてくる符号化ストリームを受け取る。合成装置163は、合成ストリームのうちの符号化データを、それぞれ、異なるタイルの符号化データとして合成する。合成装置163は、合成の結果得られる符号化データのうちの、各タイルの符号化データの位置と分割数としてMを示すタイル分割情報を生成する。合成装置163は、タイル分割情報とデブロックフィルタ情報としての偽(0)とを含むSPSを設定する。また、合成装置163は、動き制限情報としての偽(0)を含むVUI、デブロックフィルタ情報としての偽(0)を含むPPS、およびAPSを設定する。合成装置163は、SPS,PPS,VUI,APSなどを、合成の結果得られる符号化データに付加することにより、合成ストリームを生成する。合成装置163は、合成ストリームを復号装置164−1乃至164−Mに伝送する。

0205

復号装置164−1乃至164−Mは、それぞれ、図15の復号装置90と同様に構成される。復号装置164−1乃至164−Mは、それぞれ、合成装置163から伝送されてくる合成ストリームを受け取る。復号装置164−1乃至164−Mは、それぞれ、合成ストリームをタイルごとに独立して復号し、その結果得られる復号画像を表示装置165−1乃至165−Mに供給する。

0206

表示装置165−1乃至165−Mは、それぞれ、会議に参加するM人の各地点に配置される。表示装置165−1乃至165−Mは、復号装置164−1乃至164−Mから供給される復号画像を表示する。

0207

なお、テレビジョン会議システム160では、表示装置165−1乃至165−Mが、それぞれ、会議に参加するM人の各地点に配置されたが、表示装置は、会議に参加するM人の一部の人の地点に配置されるようにしてもよい。また、復号画像は、会議に参加してない人の表示装置に表示されるようにしてもよい。

0208

以上のように、テレビジョン会議システム160では、符号化装置162−1乃至162−Mが、タイルごとに独立して符号化を行う。従って、インター予測における動きベクトルは、常に、予測ブロックを含むタイル内の画像を参照画像として指すベクトルとなる。

0209

よって、合成装置163が、符号化装置162−1乃至162−Mから供給される符号化ビットストリームに含まれる符号化データを、1画面の符号化データの一部としてそのまま合成しても、復号時に、合成後の符号化データのうちの自分以外の符号化装置の符号化データの復号画像が参照されない。その結果、正常に合成後の符号化データを復号することができる。従って、合成装置163は、符号化装置162−1乃至162−Mから供給される符号化ビットストリームを、VCL(Video Coding Layer)以下のレイヤの変更を行わずに容易に合成することができる。

0210

このことは、会議に新たな人が参加したり、会議の参加者が途中退出したりすることにより、合成する符号化ビットストリームの数が動的に変化するテレビジョン会議システムにおいて特に有用である。

0211

また、合成ストリームに含まれるM個の符号化データは、それぞれ、自分以外の符号化データの復号画像を参照しないため、合成ストリームは、各符号化データを含む符号化ストリームに再度分割することができる。その結果、合成ストリームに関する処理を容易に行うことができる。

0212

なお、上述した説明では、タイルごとに独立して符号化および復号が行われたが、スライスごとに独立して符号化および復号が行われるようにしてもよい。

0213

また、上述した説明では、タイル分割可能情報は、ピクチャを構成する全タイルに対して設定されたが、タイルごとに設定されるようにしてもよい。

0214

<VUIの他の例>
図24は、タイルごとにタイル分割可能情報が設定される場合のVUIのシンタックスの他の例を示す図である。

0215

タイルごとにタイル分割可能情報が設定される場合、図24の第5乃至第7行目に示すように、VUIには、行ごとに、行方向(水平方向)に並ぶ各タイルのタイル分割可能情報(tile_splittable_flag)が設定される。

0216

これにより、ピクチャを構成するタイルのうち、所定のタイルのみをタイル単位で符号化および復号することができる。例えば、タイル数が4つであり、タイル#1のタイル分割可能情報が正(1)であり、残りのタイル#2乃至タイル#4のタイル分割可能情報が偽(0)である場合、タイル#1のみを独立して復号することができる。

0217

なお、1行目のbitstream_restriction_flagが0である場合、復号側は、全てのタイルのタイル分割可能情報が偽(0)であるとして、全てのタイルがタイル単位で復号可能ではないと認識する。

0218

<第4実施の形態>
(多視点画像符号化・多視点画像復号への適用)
上述した一連の処理は、多視点画像符号化・多視点画像復号に適用することができる。図25は、多視点画像符号化方式の一例を示す。

0219

図25に示されるように、多視点画像は、複数の視点ビュー(view))の画像を含む。この多視点画像の複数のビューは、他のビューの画像を利用せずに自身のビューの画像のみを用いて符号化・復号を行うベースビューと、他のビューの画像を利用して符号化・復号を行うノンベースビューとによりなる。ノンベースビューは、ベースビューの画像を利用するようにしても良いし、他のノンベースビューの画像を利用するようにしてもよい。

0220

図25のような多視点画像を符号化・復号する場合、各ビューの画像を符号化・復号するが、この各ビューの符号化・復号に対して、上述した第1乃至第3実施の形態の方法を適用するようにしてもよい。このようにすることにより、タイルごとに時間方向に独立して符号化や復号を行うことができる。

0221

さらに、各ビューの符号化・復号において、上述した第1乃至第3実施の形態の方法で使用されるフラグやパラメータを共有するようにしてもよい。より具体的には、例えば、SPS,PPS,VUI,APSのシンタクス要素等を、各ビューの符号化・復号において共有するようにしてもよい。もちろん、これら以外の必要な情報も、各ビューの符号化・復号において共有するようにしてもよい。

0222

このようにすることにより、冗長な情報の伝送を抑制し、伝送する情報量(符号量)を低減することができる(つまり、符号化効率の低減を抑制することができる)。

0223

(多視点画像符号化装置)
図26は、上述した多視点画像符号化を行う多視点画像符号化装置を示す図である。図26に示されるように、多視点画像符号化装置600は、符号化部601、符号化部602、および多重化部603を有する。

0224

符号化部601は、ベースビュー画像を符号化し、ベースビュー画像符号化ストリームを生成する。符号化部602は、ノンベースビュー画像を符号化し、ノンベースビュー画像符号化ストリームを生成する。多重化部603は、符号化部601において生成されたベースビュー画像符号化ストリームと、符号化部602において生成されたノンベースビュー画像符号化ストリームとを多重化し、多視点画像符号化ストリームを生成する。

0225

この多視点画像符号化装置600の符号化部601および符号化部602に対して、符号化装置50(図3)や符号化装置162−1乃至162−M(図23)を適用することができる。つまり、各ビューに対する符号化において、タイルごとに時間方向に独立して符号化を行うことができる。また、符号化部601および符号化部602は、互いに同一のフラグやパラメータ(例えば、画像間の処理に関するシンタクス要素等)を用いて、符号化を行うことができる(すなわち、フラグやパラメータを共有することができる)ので、符号化効率の低減を抑制することができる。

0226

(多視点画像復号装置)
図27は、上述した多視点画像復号を行う多視点画像復号装置を示す図である。図27に示されるように、多視点画像復号装置610は、逆多重化部611、復号部612、および復号部613を有する。

0227

逆多重化部611は、ベースビュー画像符号化ストリームとノンベースビュー画像符号化ストリームとが多重化された多視点画像符号化ストリームを逆多重化し、ベースビュー画像符号化ストリームと、ノンベースビュー画像符号化ストリームとを抽出する。復号部612は、逆多重化部611により抽出されたベースビュー画像符号化ストリームを復号し、ベースビュー画像を得る。復号部613は、逆多重化部611により抽出されたノンベースビュー画像符号化ストリームを復号し、ノンベースビュー画像を得る。

0228

この多視点画像復号装置610の復号部612および復号部613に対して、復号装置90(図15)、復号装置140(図21)、または復号装置164−1乃至164−M(図23)を適用することができる。つまり、各ビューに対する復号において、タイルごとに時間方向に独立して復号を行うことができる。また、復号部612および復号部613は、互いに同一のフラグやパラメータ(例えば、画像間の処理に関するシンタクス要素等)を用いて、復号を行うことができる(すなわち、フラグやパラメータを共有することができる)ので、符号化効率の低減を抑制することができる。

0229

<第5実施の形態>
(階層画像符号化・階層画像復号への適用)
上述した一連の処理は、階層画像符号化・階層画像復号(スケーラブル符号化・スケーラブル復号)に適用することができる。図28は、階層画像符号化方式の一例を示す。

0230

階層画像符号化(スケーラブル符号化)は、画像データを、所定のパラメータについてスケーラビリティ(scalability)機能を有するように、画像を複数レイヤ化(階層化)し、レイヤ毎に符号化するものである。階層画像復号(スケーラブル復号)は、その階層画像符号化に対応する復号である。

0231

図28に示されるように、画像の階層化においては、スケーラビリティ機能を有する所定のパラメータを基準として1の画像が複数の画像(レイヤ)に分割される。つまり、階層化された画像(階層画像)は、その所定のパラメータの値が互いに異なる複数の階層(レイヤ)の画像を含む。この階層画像の複数のレイヤは、他のレイヤの画像を利用せずに自身のレイヤの画像のみを用いて符号化・復号を行うベースレイヤと、他のレイヤの画像を利用して符号化・復号を行うノンベースレイヤ(エンハンスメントレイヤとも称する)とによりなる。ノンベースレイヤは、ベースレイヤの画像を利用するようにしても良いし、他のノンベースレイヤの画像を利用するようにしてもよい。

0232

一般的に、ノンベースレイヤは、冗長性が低減されるように、自身の画像と、他のレイヤの画像との差分画像のデータ(差分データ)により構成される。例えば、1の画像をベースレイヤとノンベースレイヤ(エンハンスメントレイヤとも称する)に2階層化した場合、ベースレイヤのデータのみで元の画像よりも低品質な画像が得られ、ベースレイヤのデータとノンベースレイヤのデータを合成することで、元の画像(すなわち高品質な画像)が得られる。

0233

このように画像を階層化することにより、状況に応じて多様な品質の画像を容易に得ることができる。例えば携帯電話のような、処理能力の低い端末に対しては、ベースレイヤ(base layer)のみの画像圧縮情報を伝送し、空間時間解像度の低い、或いは、画質の良くない動画像を再生し、テレビパーソナルコンピュータのような、処理能力の高い端末に対しては、ベースレイヤ(base layer)に加えて、エンハンスメントレイヤ(enhancement layer)の画像圧縮情報を伝送し、空間時間解像度の高い、或いは、画質の高い動画像を再生するといったように、トランスコード処理を行うことなく、端末やネットワーク能力に応じた画像圧縮情報を、サーバから送信することが可能となる。

0234

図28の例のような階層画像を符号化・復号する場合、各レイヤの画像を符号化・復号するが、この各レイヤの符号化・復号に対して、上述した第1乃至第3実施の形態の方法を適用するようにしてもよい。このようにすることにより、タイルごとに時間方向に独立して符号化や復号を行うことができる。

0235

さらに、各レイヤの符号化・復号において、上述した第1乃至第3実施の形態の方法で使用されるフラグやパラメータを共有するようにしてもよい。より具体的には、例えば、SPS,PPS,VUI,APSのシンタクス要素等を、各レイヤの符号化・復号において共有するようにしてもよい。もちろん、これら以外の必要な情報も、各レイヤの符号化・復号において共有するようにしてもよい。

0236

このようにすることにより、冗長な情報の伝送を抑制し、伝送する情報量(符号量)を低減することができる(つまり、符号化効率の低減を抑制することができる)。

0237

(スケーラブルなパラメータ)
このような階層画像符号化・階層画像復号(スケーラブル符号化・スケーラブル復号)において、スケーラビリティ(scalability)機能を有するパラメータは、任意である。例えば、図29に示されるような空間解像度をそのパラメータとしてもよい(spatial scalability)。このスペーシャルスケーラビリティ(spatial scalability)の場合、レイヤ毎に画像の解像度が異なる。つまり、この場合、図29に示されるように、各ピクチャが、元の画像より空間的に低解像度のベースレイヤと、ベースレイヤと合成することにより元の空間解像度が得られるエンハンスメントレイヤの2階層に階層化される。もちろん、この階層数は一例であり、任意の階層数に階層化することができる。

0238

また、このようなスケーラビリティ性を持たせるパラメータとして、他には、例えば、図30に示されるような、時間解像度を適用しても良い(temporal scalability)。このテンポラルスケーラビリティ(temporal scalability)の場合、レイヤ毎にフレームレートが異なる。つまり、この場合、図30に示されるように、各ピクチャが、元の動画像より低フレームレートのベースレイヤと、ベースレイヤと合成することにより元のフレームレートが得られるエンハンスメントレイヤの2階層に階層化される。もちろん、この階層数は一例であり、任意の階層数に階層化することができる。

0239

さらに、このようなスケーラビリティ性を持たせるパラメータとして、例えば、信号雑音比(SNR(Signal to Noise ratio))を適用しても良い(SNR scalability)。このSNRスケーラビリティ(SNR scalability)の場合、レイヤ毎にSN比が異なる。つまり、この場合、図31に示されるように、各ピクチャが、元の画像よりSNRの低いベースレイヤと、ベースレイヤと合成することにより元のSNRが得られるエンハンスメントレイヤの2階層に階層化される。もちろん、この階層数は一例であり、任意の階層数に階層化することができる。

0240

スケーラビリティ性を持たせるパラメータは、上述した例以外であっても、もちろんよい。例えば、スケーラビリティ性を持たせるパラメータとして、ビット深度を用いることもできる(bit-depth scalability)。このビット深度スケーラビリティ(bit-depth scalability)の場合、レイヤ毎にビット深度が異なる。この場合、例えば、ベースレイヤ(base layer)が8ビット(bit)画像よりなり、これにエンハンスメントレイヤ(enhancement layer)を加えることにより、10ビット(bit)画像が得られるようにすることができる。

0241

また、スケーラビリティ性を持たせるパラメータとして、クロマフォーマットを用いることもできる(chroma scalability)。このクロマスケーラビリティ(chroma scalability)の場合、レイヤ毎にクロマフォーマットが異なる。この場合、例えば、ベースレイヤ(base layer)が4:2:0フォーマットコンポーネント画像よりなり、これにエンハンスメントレイヤ(enhancement layer)を加えることにより、4:2:2フォーマットのコンポーネント画像が得られるようにすることができる。

0242

(階層画像符号化装置)
図32は、上述した階層画像符号化を行う階層画像符号化装置を示す図である。図32に示されるように、階層画像符号化装置620は、符号化部621、符号化部622、および多重化部623を有する。

0243

符号化部621は、ベースレイヤ画像を符号化し、ベースレイヤ画像符号化ストリームを生成する。符号化部622は、ノンベースレイヤ画像を符号化し、ノンベースレイヤ画像符号化ストリームを生成する。多重化部623は、符号化部621において生成されたベースレイヤ画像符号化ストリームと、符号化部622において生成されたノンベースレイヤ画像符号化ストリームとを多重化し、階層画像符号化ストリームを生成する。

0244

この階層画像符号化装置620の符号化部621および符号化部622に対して、符号化装置50(図3)や符号化装置162−1乃至162−M(図23)を適用することができる。つまり、各レイヤに対する符号化において、タイルごとに時間方向に独立して符号化を行うことができる。また、符号化部621および符号化部622は、互いに同一のフラグやパラメータ(例えば、画像間の処理に関するシンタクス要素等)を用いて、イントラ予測のフィルタ処理の制御等を行うことができる(すなわち、フラグやパラメータを共有することができる)ので、符号化効率の低減を抑制することができる。

0245

(階層画像復号装置)
図33は、上述した階層画像復号を行う階層画像復号装置を示す図である。図33に示されるように、階層画像復号装置630は、逆多重化部631、復号部632、および復号部633を有する。

0246

逆多重化部631は、ベースレイヤ画像符号化ストリームとノンベースレイヤ画像符号化ストリームとが多重化された階層画像符号化ストリームを逆多重化し、ベースレイヤ画像符号化ストリームと、ノンベースレイヤ画像符号化ストリームとを抽出する。復号部632は、逆多重化部631により抽出されたベースレイヤ画像符号化ストリームを復号し、ベースレイヤ画像を得る。復号部633は、逆多重化部631により抽出されたノンベースレイヤ画像符号化ストリームを復号し、ノンベースレイヤ画像を得る。

0247

この階層画像復号装置630の復号部632および復号部633に対して、復号装置90(図15)、復号装置140(図21)、または復号装置164−1乃至164−M(図23)を適用することができる。つまり、各レイヤに対する復号において、タイルごとに時間方向に独立して復号を行うことができる。また、復号部612および復号部613は、互いに同一のフラグやパラメータ(例えば、画像間の処理に関するシンタクス要素等)を用いて、復号を行うことができる(すなわち、フラグやパラメータを共有することができる)ので、符号化効率の低減を抑制することができる。

0248

<第6実施の形態>
(本技術を適用したコンピュータの説明)
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

0249

図34は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

0250

コンピュータにおいて、CPU(Central Processing Unit)801,ROM(Read Only Memory)802,RAM(Random Access Memory)803は、バス804により相互に接続されている。

0251

バス804には、さらに、入出力インタフェース805が接続されている。入出力インタフェース805には、入力部806、出力部807、記憶部808、通信部809、及びドライブ810が接続されている。

0252

入力部806は、キーボードマウスマイクロホンなどよりなる。出力部807は、ディスプレイスピーカなどよりなる。記憶部808は、ハードディスク不揮発性メモリなどよりなる。通信部809は、ネットワークインタフェースなどよりなる。ドライブ810は、磁気ディスク光ディスク光磁気ディスク、又は半導体メモリなどのリムーバブルメディア811を駆動する。

0253

以上のように構成されるコンピュータでは、CPU801が、例えば、記憶部808に記憶されているプログラムを、入出力インタフェース805及びバス804を介して、RAM803にロードして実行することにより、上述した一連の処理が行われる。

0254

コンピュータ(CPU801)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア811に記録して提供することができる。また、プログラムは、ローカルエリアネットワークインターネットデジタル衛星放送といった、有線または無線伝送媒体を介して提供することができる。

0255

コンピュータでは、プログラムは、リムーバブルメディア811をドライブ810に装着することにより、入出力インタフェース805を介して、記憶部808にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部809で受信し、記憶部808にインストールすることができる。その他、プログラムは、ROM802や記憶部808に、あらかじめインストールしておくことができる。

0256

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

0257

<第7実施の形態>
(テレビジョン装置の構成例)
図35は、本技術を適用したテレビジョン装置の概略構成を例示している。テレビジョン装置900は、アンテナ901、チューナ902、デマルチプレクサ903、デコーダ904、映像信号処理部905、表示部906、音声信号処理部907、スピーカ908、外部インタフェース部909を有している。さらに、テレビジョン装置900は、制御部910、ユーザインタフェース部911等を有している。

0258

チューナ902は、アンテナ901で受信された放送波信号から所望のチャンネル選局して復調を行い、得られた符号化ビットストリームをデマルチプレクサ903に出力する。

0259

デマルチプレクサ903は、符号化ビットストリームから視聴対象である番組映像音声パケットを抽出して、抽出したパケットのデータをデコーダ904に出力する。また、デマルチプレクサ903は、EPG(Electronic Program Guide)等のデータのパケットを制御部910に供給する。なお、スクランブルが行われている場合、デマルチプレクサ等でスクランブルの解除を行う。

0260

デコーダ904は、パケットの復号化処理を行い、復号処理化によって生成された映像データを映像信号処理部905、音声データを音声信号処理部907に出力する。

0261

映像信号処理部905は、映像データに対して、ノイズ除去ユーザ設定に応じた映像処理等を行う。映像信号処理部905は、表示部906に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成する。また、映像信号処理部905は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それを番組の映像データに重畳する。映像信号処理部905は、このようにして生成した映像データに基づいて駆動信号を生成して表示部906を駆動する。

0262

表示部906は、映像信号処理部905からの駆動信号に基づき表示デバイス(例えば液晶表示素子等)を駆動して、番組の映像などを表示させる。

0263

音声信号処理部907は、音声データに対してノイズ除去などの所定の処理を施し、処理後の音声データのD/A変換処理増幅処理を行いスピーカ908に供給することで音声出力を行う。

0264

外部インタフェース部909は、外部機器やネットワークと接続するためのインタフェースであり、映像データや音声データ等のデータ送受信を行う。

0265

制御部910にはユーザインタフェース部911が接続されている。ユーザインタフェース部911は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部910に供給する。

0266

制御部910は、CPU(Central Processing Unit)やメモリ等を用いて構成されている。メモリは、CPUにより実行されるプログラムやCPUが処理を行う上で必要な各種のデータ、EPGデータ、ネットワークを介して取得されたデータ等を記憶する。メモリに記憶されているプログラムは、テレビジョン装置900の起動時などの所定タイミングでCPUにより読み出されて実行される。CPUは、プログラムを実行することで、テレビジョン装置900がユーザ操作に応じた動作となるように各部を制御する。

0267

なお、テレビジョン装置900では、チューナ902、デマルチプレクサ903、映像信号処理部905、音声信号処理部907、外部インタフェース部909等と制御部910を接続するためバス912が設けられている。

0268

このように構成されたテレビジョン装置では、デコーダ904に本願の復号装置(復号方法)の機能が設けられる。このため、タイルごとに時間方向に独立して復号を行うことができる。

0269

<第8実施の形態>
(携帯電話機の構成例)
図36は、本技術を適用した携帯電話機の概略構成を例示している。携帯電話機920は、通信部922、音声コーデック923、カメラ部926、画像処理部927、多重分離部928、記録再生部929、表示部930、制御部931を有している。これらは、バス933を介して互いに接続されている。

0270

また、通信部922にはアンテナ921が接続されており、音声コーデック923には、スピーカ924とマイクロホン925が接続されている。さらに制御部931には、操作部932が接続されている。

0271

携帯電話機920は、音声通話モードデータ通信モード等の各種モードで、音声信号送受信電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。

0272

音声通話モードにおいて、マイクロホン925で生成された音声信号は、音声コーデック923で音声データへの変換やデータ圧縮が行われて通信部922に供給される。通信部922は、音声データの変調処理周波数変換処理等を行い、送信信号を生成する。また、通信部922は、送信信号をアンテナ921に供給して図示しない基地局へ送信する。また、通信部922は、アンテナ921で受信した受信信号増幅や周波数変換処理および復調処理等を行い、得られた音声データを音声コーデック923に供給する。音声コーデック923は、音声データのデータ伸張アナログ音声信号への変換を行いスピーカ924に出力する。

0273

また、データ通信モードにおいて、メール送信を行う場合、制御部931は、操作部932の操作によって入力された文字データを受け付けて、入力された文字を表示部930に表示する。また、制御部931は、操作部932におけるユーザ指示等に基づいてメールデータを生成して通信部922に供給する。通信部922は、メールデータの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ921から送信する。また、通信部922は、アンテナ921で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、メールデータを復元する。このメールデータを、表示部930に供給して、メール内容の表示を行う。

0274

なお、携帯電話機920は、受信したメールデータを、記録再生部929で記憶媒体に記憶させることも可能である。記憶媒体は、書き換え可能な任意の記憶媒体である。例えば、記憶媒体は、RAMや内蔵型フラッシュメモリ等の半導体メモリ、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USBメモリ、またはメモリカード等のリムーバブルメディアである。

0275

データ通信モードにおいて画像データを送信する場合、カメラ部926で生成された画像データを、画像処理部927に供給する。画像処理部927は、画像データの符号化処理を行い、符号化データを生成する。

0276

多重分離部928は、画像処理部927で生成された符号化データと、音声コーデック923から供給された音声データを所定の方式で多重化して通信部922に供給する。通信部922は、多重化データの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ921から送信する。また、通信部922は、アンテナ921で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、多重化データを復元する。この多重化データを多重分離部928に供給する。多重分離部928は、多重化データの分離を行い、符号化データを画像処理部927、音声データを音声コーデック923に供給する。画像処理部927は、符号化データの復号化処理を行い、画像データを生成する。この画像データを表示部930に供給して、受信した画像の表示を行う。音声コーデック923は、音声データをアナログ音声信号に変換してスピーカ924に供給して、受信した音声を出力する。

0277

このように構成された携帯電話装置では、画像処理部927に本願の符号化装置および復号装置(符号化方法および復号方法)の機能が設けられる。このため、タイルごとに時間方向に独立して符号化および復号を行うことができる。

0278

<第9実施の形態>
(記録再生装置の構成例)
図37は、本技術を適用した記録再生装置の概略構成を例示している。記録再生装置940は、例えば受信した放送番組オーディオデータビデオデータを、記録媒体に記録して、その記録されたデータをユーザの指示に応じたタイミングでユーザに提供する。また、記録再生装置940は、例えば他の装置からオーディオデータやビデオデータを取得し、それらを記録媒体に記録させることもできる。さらに、記録再生装置940は、記録媒体に記録されているオーディオデータやビデオデータを復号して出力することで、モニタ装置等において画像表示や音声出力を行うことができるようにする。

0279

記録再生装置940は、チューナ941、外部インタフェース部942、エンコーダ943、HDD(Hard Disk Drive)部944、ディスクドライブ945、セレクタ946、デコーダ947、OSD(On-Screen Display)部948、制御部949、ユーザインタフェース部950を有している。

0280

チューナ941は、図示しないアンテナで受信された放送信号から所望のチャンネルを選局する。チューナ941は、所望のチャンネルの受信信号を復調して得られた符号化ビットストリームをセレクタ946に出力する。

0281

外部インタフェース部942は、IEEE1394インタフェース、ネットワークインタフェース部、USBインタフェース、フラッシュメモリインタフェース等の少なくともいずれかで構成されている。外部インタフェース部942は、外部機器やネットワーク、メモリカード等と接続するためのインタフェースであり、記録する映像データや音声データ等のデータ受信を行う。

0282

エンコーダ943は、外部インタフェース部942から供給された映像データや音声データが符号化されていないとき所定の方式で符号化を行い、符号化ビットストリームをセレクタ946に出力する。

0283

HDD部944は、映像や音声等のコンテンツデータ、各種プログラムやその他のデータ等を内蔵のハードディスクに記録し、また再生時等にそれらを当該ハードディスクから読み出す。

0284

ディスクドライブ945は、装着されている光ディスクに対する信号の記録および再生を行う。光ディスク、例えばDVDディスク(DVD−Video、DVD−RAM、DVD−R、DVD−RW、DVD+R、DVD+RW等)やBlu−ray(登録商標ディスク等である。

0285

セレクタ946は、映像や音声の記録時には、チューナ941またはエンコーダ943からのいずれかの符号化ビットストリームを選択して、HDD部944やディスクドライブ945のいずれかに供給する。また、セレクタ946は、映像や音声の再生時に、HDD部944またはディスクドライブ945から出力された符号化ビットストリームをデコーダ947に供給する。

0286

デコーダ947は、符号化ビットストリームの復号化処理を行う。デコーダ947は、復号処理化を行うことにより生成された映像データをOSD部948に供給する。また、デコーダ947は、復号処理化を行うことにより生成された音声データを出力する。

0287

OSD部948は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それをデコーダ947から出力された映像データに重畳して出力する。

0288

制御部949には、ユーザインタフェース部950が接続されている。ユーザインタフェース部950は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部949に供給する。

0289

制御部949は、CPUやメモリ等を用いて構成されている。メモリは、CPUにより実行されるプログラムやCPUが処理を行う上で必要な各種のデータを記憶する。メモリに記憶されているプログラムは、記録再生装置940の起動時などの所定タイミングでCPUにより読み出されて実行される。CPUは、プログラムを実行することで、記録再生装置940がユーザ操作に応じた動作となるように各部を制御する。

0290

このように構成された記録再生装置では、デコーダ947に本願の復号装置(復号方法)の機能が設けられる。このため、タイルごとに時間方向に独立して復号を行うことができる。

0291

<第10実施の形態>
(撮像装置の構成例)
図38は、本技術を適用した撮像装置の概略構成を例示している。撮像装置960は、被写体を撮像し、被写体の画像を表示部に表示させたり、それを画像データとして、記録媒体に記録する。

0292

撮像装置960は、光学ブロック961、撮像部962、カメラ信号処理部963、画像データ処理部964、表示部965、外部インタフェース部966、メモリ部967、メディアドライブ968、OSD部969、制御部970を有している。また、制御部970には、ユーザインタフェース部971が接続されている。さらに、画像データ処理部964や外部インタフェース部966、メモリ部967、メディアドライブ968、OSD部969、制御部970等は、バス972を介して接続されている。

0293

光学ブロック961は、フォーカスレンズ絞り機構等を用いて構成されている。光学ブロック961は、被写体の光学像を撮像部962の撮像面に結像させる。撮像部962は、CCDまたはCMOSイメージセンサを用いて構成されており、光電変換によって光学像に応じた電気信号を生成してカメラ信号処理部963に供給する。

0294

カメラ信号処理部963は、撮像部962から供給された電気信号に対してニー補正ガンマ補正色補正等の種々のカメラ信号処理を行う。カメラ信号処理部963は、カメラ信号処理後の画像データを画像データ処理部964に供給する。

0295

画像データ処理部964は、カメラ信号処理部963から供給された画像データの符号化処理を行う。画像データ処理部964は、符号化処理を行うことにより生成された符号化データを外部インタフェース部966やメディアドライブ968に供給する。また、画像データ処理部964は、外部インタフェース部966やメディアドライブ968から供給された符号化データの復号化処理を行う。画像データ処理部964は、復号化処理を行うことにより生成された画像データを表示部965に供給する。また、画像データ処理部964は、カメラ信号処理部963から供給された画像データを表示部965に供給する処理や、OSD部969から取得した表示用データを、画像データに重畳させて表示部965に供給する。

0296

OSD部969は、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを生成して画像データ処理部964に出力する。

0297

外部インタフェース部966は、例えば、USB入出力端子などで構成され、画像の印刷を行う場合に、プリンタと接続される。また、外部インタフェース部966には、必要に応じてドライブが接続され、磁気ディスク、光ディスク等のリムーバブルメディアが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、インストールされる。さらに、外部インタフェース部966は、LANやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。制御部970は、例えば、ユーザインタフェース部971からの指示にしたがって、メモリ部967から符号化データを読み出し、それを外部インタフェース部966から、ネットワークを介して接続される他の装置に供給させることができる。また、制御部970は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース部966を介して取得し、それを画像データ処理部964に供給したりすることができる。

0298

メディアドライブ968で駆動される記録メディアとしては、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアが用いられる。また、記録メディアは、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ICカード等であってもよい。

0299

また、メディアドライブ968と記録メディアを一体化し、例えば、内蔵型ハードディスクドライブSSD(Solid State Drive)等のように、非可搬性の記憶媒体により構成されるようにしてもよい。

0300

制御部970は、CPUやメモリ等を用いて構成されている。メモリは、CPUにより実行されるプログラムやCPUが処理を行う上で必要な各種のデータ等を記憶する。メモリに記憶されているプログラムは、撮像装置960の起動時などの所定タイミングでCPUにより読み出されて実行される。CPUは、プログラムを実行することで、撮像装置960がユーザ操作に応じた動作となるように各部を制御する。

0301

このように構成された撮像装置では、画像データ処理部964に本願の符号化装置および復号装置(符号化方法および復号方法)の機能が設けられる。このため、タイルごとに独立して符号化および復号を行うことができる。

0302

<スケーラブル符号化の応用例>
(第1のシステム)
次に、スケーラブル符号化(階層符号化)されたスケーラブル符号化データの具体的な利用例について説明する。スケーラブル符号化は、例えば、図39に示される例のように、伝送するデータの選択のために利用される。

0303

図39に示されるデータ伝送システム1000において、配信サーバ1002は、スケーラブル符号化データ記憶部1001に記憶されているスケーラブル符号化データを読み出し、ネットワーク1003を介して、パーソナルコンピュータ1004、AV機器1005、タブレットデバイス1006、および携帯電話機1007等の端末装置に配信する。

0304

その際、配信サーバ1002は、端末装置の能力や通信環境等に応じて、適切な品質の符号化データを選択して伝送する。配信サーバ1002が不要に高品質なデータを伝送しても、端末装置において高画質な画像を得られるとは限らず、遅延やオーバフローの発生要因となる恐れがある。また、不要に通信帯域占有したり、端末装置の負荷を不要に増大させたりしてしまう恐れもある。逆に、配信サーバ1002が不要に低品質なデータを伝送しても、端末装置において十分な画質の画像を得ることができない恐れがある。そのため、配信サーバ1002は、スケーラブル符号化データ記憶部1001に記憶されているスケーラブル符号化データを、適宜、端末装置の能力や通信環境等に対して適切な品質の符号化データとして読み出し、伝送する。

0305

例えば、スケーラブル符号化データ記憶部1001は、スケーラブルに符号化されたスケーラブル符号化データ(BL+EL)1011を記憶するとする。このスケーラブル符号化データ(BL+EL)1011は、ベースレイヤとエンハンスメントレイヤの両方を含む符号化データであり、復号することにより、ベースレイヤの画像およびエンハンスメントレイヤの画像の両方を得ることができるデータである。

0306

配信サーバ1002は、データを伝送する端末装置の能力や通信環境等に応じて、適切なレイヤを選択し、そのレイヤのデータを読み出す。例えば、配信サーバ1002は、処理能力の高いパーソナルコンピュータ1004やタブレットデバイス1006に対しては、高品質なスケーラブル符号化データ(BL+EL)1011をスケーラブル符号化データ記憶部1001から読み出し、そのまま伝送する。これに対して、例えば、配信サーバ1002は、処理能力の低いAV機器1005や携帯電話機1007に対しては、スケーラブル符号化データ(BL+EL)1011からベースレイヤのデータを抽出し、スケーラブル符号化データ(BL+EL)1011と同じコンテンツのデータであるが、スケーラブル符号化データ(BL+EL)1011よりも低品質なスケーラブル符号化データ(BL)1012として伝送する。

0307

このようにスケーラブル符号化データを用いることにより、データ量を容易に調整することができるので、遅延やオーバフローの発生を抑制したり、端末装置や通信媒体の負荷の不要な増大を抑制したりすることができる。また、スケーラブル符号化データ(BL+EL)1011は、レイヤ間の冗長性が低減されているので、各レイヤの符号化データを個別のデータとする場合よりもそのデータ量を低減させることができる。したがって、スケーラブル符号化データ記憶部1001の記憶領域をより効率よく使用することができる。

0308

なお、パーソナルコンピュータ1004乃至携帯電話機1007のように、端末装置には様々な装置を適用することができるので、端末装置のハードウエアの性能は、装置によって異なる。また、端末装置が実行するアプリケーションも様々であるので、そのソフトウエアの能力も様々である。さらに、通信媒体となるネットワーク1003も、例えばインターネットやLAN(Local Area Network)等、有線若しくは無線、またはその両方を含むあらゆる通信回線網を適用することができ、そのデータ伝送能力は様々である。さらに、他の通信等によっても変化する恐れがある。

0309

そこで、配信サーバ1002は、データ伝送を開始する前に、データの伝送先となる端末装置と通信を行い、端末装置のハードウエア性能や、端末装置が実行するアプリケーション(ソフトウエア)の性能等といった端末装置の能力に関する情報、並びに、ネットワーク1003の利用可帯域幅等の通信環境に関する情報を得るようにしてもよい。そして、配信サーバ1002が、ここで得た情報を基に、適切なレイヤを選択するようにしてもよい。

0310

なお、レイヤの抽出は、端末装置において行うようにしてもよい。例えば、パーソナルコンピュータ1004が、伝送されたスケーラブル符号化データ(BL+EL)1011を復号し、ベースレイヤの画像を表示しても良いし、エンハンスメントレイヤの画像を表示しても良い。また、例えば、パーソナルコンピュータ1004が、伝送されたスケーラブル符号化データ(BL+EL)1011から、ベースレイヤのスケーラブル符号化データ(BL)1012を抽出し、記憶したり、他の装置に転送したり、復号してベースレイヤの画像を表示したりするようにしてもよい。

0311

もちろん、スケーラブル符号化データ記憶部1001、配信サーバ1002、ネットワーク1003、および端末装置の数はいずれも任意である。また、以上においては、配信サーバ1002がデータを端末装置に伝送する例について説明したが、利用例はこれに限定されない。データ伝送システム1000は、スケーラブル符号化された符号化データを端末装置に伝送する際、端末装置の能力や通信環境等に応じて、適切なレイヤを選択して伝送するシステムであれば、任意のシステムに適用することができる。

0312

(第2のシステム)
また、スケーラブル符号化は、例えば、図40に示される例のように、複数の通信媒体を介する伝送のために利用される。

0313

図40に示されるデータ伝送システム1100において、放送局1101は、地上波放送1111により、ベースレイヤのスケーラブル符号化データ(BL)1121を伝送する。また、放送局1101は、有線若しくは無線またはその両方の通信網よりなる任意のネットワーク1112を介して、エンハンスメントレイヤのスケーラブル符号化データ(EL)1122を伝送する(例えばパケット化して伝送する)。

0314

端末装置1102は、放送局1101が放送する地上波放送1111の受信機能を有し、この地上波放送1111を介して伝送されるベースレイヤのスケーラブル符号化データ(BL)1121を受け取る。また、端末装置1102は、ネットワーク1112を介した通信を行う通信機能をさらに有し、このネットワーク1112を介して伝送されるエンハンスメントレイヤのスケーラブル符号化データ(EL)1122を受け取る。

0315

端末装置1102は、例えばユーザ指示等に応じて、地上波放送1111を介して取得したベースレイヤのスケーラブル符号化データ(BL)1121を、復号してベースレイヤの画像を得たり、記憶したり、他の装置に伝送したりする。

0316

また、端末装置1102は、例えばユーザ指示等に応じて、地上波放送1111を介して取得したベースレイヤのスケーラブル符号化データ(BL)1121と、ネットワーク1112を介して取得したエンハンスメントレイヤのスケーラブル符号化データ(EL)1122とを合成して、スケーラブル符号化データ(BL+EL)を得たり、それを復号してエンハンスメントレイヤの画像を得たり、記憶したり、他の装置に伝送したりする。

0317

以上のように、スケーラブル符号化データは、例えばレイヤ毎に異なる通信媒体を介して伝送させることができる。したがって、負荷を分散させることができ、遅延やオーバフローの発生を抑制することができる。

0318

また、状況に応じて、伝送に使用する通信媒体を、レイヤ毎に選択することができるようにしてもよい。例えば、データ量が比較的多いベースレイヤのスケーラブル符号化データ(BL)1121を帯域幅の広い通信媒体を介して伝送させ、データ量が比較的少ないエンハンスメントレイヤのスケーラブル符号化データ(EL)1122を帯域幅の狭い通信媒体を介して伝送させるようにしてもよい。また、例えば、エンハンスメントレイヤのスケーラブル符号化データ(EL)1122を伝送する通信媒体を、ネットワーク1112とするか、地上波放送1111とするかを、ネットワーク1112の利用可能帯域幅に応じて切り替えるようにしてもよい。もちろん、任意のレイヤのデータについて同様である。

0319

このように制御することにより、データ伝送における負荷の増大を、より抑制することができる。

0320

もちろん、レイヤ数は任意であり、伝送に利用する通信媒体の数も任意である。また、データ配信先となる端末装置1102の数も任意である。さらに、以上においては、放送局1101からの放送を例に説明したが、利用例はこれに限定されない。データ伝送システム1100は、スケーラブル符号化された符号化データを、レイヤを単位として複数に分割し、複数の回線を介して伝送するシステムであれば、任意のシステムに適用することができる。

0321

(第3のシステム)
また、スケーラブル符号化は、例えば、図41に示される例のように、符号化データの記憶に利用される。

0322

図41に示される撮像システム1200において、撮像装置1201は、被写体1211を撮像して得られた画像データをスケーラブル符号化し、スケーラブル符号化データ(BL+EL)1221として、スケーラブル符号化データ記憶装置1202に供給する。

0323

スケーラブル符号化データ記憶装置1202は、撮像装置1201から供給されるスケーラブル符号化データ(BL+EL)1221を、状況に応じた品質で記憶する。例えば、通常時の場合、スケーラブル符号化データ記憶装置1202は、スケーラブル符号化データ(BL+EL)1221からベースレイヤのデータを抽出し、低品質でデータ量の少ないベースレイヤのスケーラブル符号化データ(BL)1222として記憶する。これに対して、例えば、注目時の場合、スケーラブル符号化データ記憶装置1202は、高品質でデータ量の多いスケーラブル符号化データ(BL+EL)1221のまま記憶する。

0324

このようにすることにより、スケーラブル符号化データ記憶装置1202は、必要な場合のみ、画像を高画質に保存することができるので、画質劣化による画像の価値の低減を抑制しながら、データ量の増大を抑制することができ、記憶領域の利用効率を向上させることができる。

0325

例えば、撮像装置1201が監視カメラであるとする。撮像画像監視対象(例えば侵入者)が写っていない場合(通常時の場合)、撮像画像の内容は重要でない可能性が高いので、データ量の低減が優先され、その画像データ(スケーラブル符号化データ)は、低品質に記憶される。これに対して、撮像画像に監視対象が被写体1211として写っている場合(注目時の場合)、その撮像画像の内容は重要である可能性が高いので、画質が優先され、その画像データ(スケーラブル符号化データ)は、高品質に記憶される。

0326

なお、通常時であるか注目時であるかは、例えば、スケーラブル符号化データ記憶装置1202が、画像を解析することにより判定しても良い。また、撮像装置1201が判定し、その判定結果をスケーラブル符号化データ記憶装置1202に伝送するようにしてもよい。

0327

なお、通常時であるか注目時であるかの判定基準は任意であり、判定基準とする画像の内容は任意である。もちろん、画像の内容以外の条件を判定基準とすることもできる。例えば、収録した音声の大きさや波形等に応じて切り替えるようにしてもよいし、所定の時間毎に切り替えるようにしてもよいし、ユーザ指示等の外部からの指示によって切り替えるようにしてもよい。

0328

また、以上においては、通常時と注目時の2つの状態を切り替える例を説明したが、状態の数は任意であり、例えば、通常時、やや注目時、注目時、非常に注目時等のように、3つ以上の状態を切り替えるようにしてもよい。ただし、この切り替える状態の上限数は、スケーラブル符号化データのレイヤ数に依存する。

0329

また、撮像装置1201が、スケーラブル符号化のレイヤ数を、状態に応じて決定するようにしてもよい。例えば、通常時の場合、撮像装置1201が、低品質でデータ量の少ないベースレイヤのスケーラブル符号化データ(BL)1222を生成し、スケーラブル符号化データ記憶装置1202に供給するようにしてもよい。また、例えば、注目時の場合、撮像装置1201が、高品質でデータ量の多いベースレイヤのスケーラブル符号化データ(BL+EL)1221を生成し、スケーラブル符号化データ記憶装置1202に供給するようにしてもよい。

0330

以上においては、監視カメラを例に説明したが、この撮像システム1200の用途は任意であり、監視カメラに限定されない。

0331

なお、本明細書において、システムとは、複数の構成要素(装置、モジュール部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個筐体収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。

0332

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

0333

例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

0334

また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。

0335

さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。

0336

また、本技術は、以下のような構成もとることができる。

0337

<1>符号化対象のカレント画像のピクチャをタイルに分割して符号化する場合に、前記タイルの分割方法が前記カレント画像を含むシーケンス内で一定であるとき、前記タイル内で検出された動きベクトルに基づいて、参照画像をコロケーテッドなタイル内に制限し、前記参照画像に対して動き補償処理を行うことにより、予測画像を生成する動き補償処理部と、
前記動き補償処理部により生成された前記予測画像を用いて前記カレント画像を符号化し、符号化ストリームを生成する符号化部と
を備える符号化装置。
<2> 前記符号化ストリームは、前記参照画像を前記コロケーテッドなタイル内に制限することを示すタイル制限情報を含む
<1>に記載の符号化装置。
<3> 前記タイル制限情報を設定する設定部
をさらに備える
<2>に記載の符号化装置。
<4> 前記符号化部により生成された符号化ストリームを伝送する伝送部と
をさらに備える
<1>乃至<3>のいずれかに記載の符号化装置。
<5> 前記カレント画像と隣接する画像のうちの、前記カレント画像と同一の前記タイル内にある画像の動きベクトルと、前記カレント画像の動きベクトルとに基づいて、動きベクトル情報を生成する動きベクトル生成部
をさらに備える
<1>乃至<4>のいずれかに記載の符号化装置。
<6> 前記参照画像に対して前記タイル単位でフィルタ処理を施すフィルタ
をさらに備え、
前記動き補償処理部は、前記タイル内で検出された前記動きベクトルに基づいて、前記フィルタ部により前記フィルタ処理が施された前記参照画像に対して動き補償処理を行い、
前記設定部は、前記参照画像において前記タイルを跨いでフィルタ処理が施されていないことを表すフィルタ情報を設定する
<3>に記載の符号化装置。
<7> 前記フィルタ部は、そのタイル内にある画像のパラメータを用いて、前記参照画像に対して前記フィルタ処理を施し、
前記設定部は、前記パラメータをタイル間で共有しないことを表すパラメータ共有情報を設定する
<6>に記載の符号化装置。
<8> 前記タイルは、1以上のスライスを含む
<1>乃至<7>のいずれかに記載の符号化装置。
<9> 前記設定部は、前記タイルの分割方法を示すタイル分割情報を設定する
<3>に記載の符号化装置。
<10> 前記タイル分割情報は、前記設定部によってPPS(Picture Parameter Set)に設定される
<9>に記載の符号化装置。
<11> 符号化装置が、
符号化対象のカレント画像のピクチャをタイルに分割して符号化する場合に、前記タイルの分割方法が前記カレント画像を含むシーケンス内で一定であるとき、前記タイル内で検出された動きベクトルに基づいて、参照画像をコロケーテッドなタイル内に制限し、前記参照画像に対して動き補償処理を行うことにより、予測画像を生成する動き補償処理ステップと、
前記動き補償処理ステップの処理により生成された前記予測画像を用いて前記カレント画像を符号化し、符号化ストリームを生成する符号化ステップ
を含む符号化方法。

0338

50符号化装置, 55 設定部, 56伝送部, 71演算部, 74可逆符号化部, 79デブロックフィルタ, 83A動き検出部, 83B動き補償処理部, 90復号装置, 91受け取り部, 102 可逆復号部, 105加算部, 106 デブロックフィルタ, 110 動き補償処理部, 140 復号装置, 162−1乃至162−M 符号化装置, 164−1乃至164−M 復号装置

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ