図面 (/)

技術 符号化装置および符号化方法

出願人 ソニー株式会社
発明者 佐藤数史
出願日 2018年1月17日 (2年11ヶ月経過) 出願番号 2018-005378
公開日 2018年4月12日 (2年8ヶ月経過) 公開番号 2018-061296
状態 特許登録済
技術分野 TV信号の圧縮,符号化方式
主要キーワード ディスプレイエンジン スクリーンコンテンツ アナログ入出力端子 デコードエンジン 最大分割数 ビデオモジュール Y信号 組み込みプログラム
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2018年4月12日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

4×4画素以外のサイズのブロックのトランスフォームスキップが行われる場合の符号化効率を向上させることができるようにする。

解決手段

リスト設定部は、4×4画素以外のトランスフォームスキップ可能なサイズのTUのデフォルトスケーリングリストとしてflat行列を設定する。逆量子化部は、リスト設定部により設定されたデフォルトスケーリングリストを用いて、画像の予測画像と画像の差分である残差情報量子化値を逆量子化する。本開示は、例えば、トランスフォームスキップを行う復号装置等に適用することができる。

概要

背景

近年、画像情報特有冗長性を利用して、離散コサイン変換等の直交変換動き補償により圧縮するMPEG(Moving Picture Experts Group phase)などの方式に準拠した装置が、放送局などの情報配信、および一般家庭における情報受信の双方において普及しつつある。

特に、MPEG2(ISO/IEC13818-2)方式は、汎用画像符号化方式として定義されている。MPEG2は、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像網羅する標準である。MPEG2は、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに現在広く用いられている。MPEG2方式を用いることにより、例えば720×480画素を持つ標準解像度の飛び越し走査画像であれば4乃至8Mbps、1920×1088画素を持つ高解像度飛び越し走査画像であれば18乃至22MBpsの符号量を割り当てることで、高い圧縮率と良好な画質の実現が可能である。

MPEG2は主として放送用適合する高画質符号化を対象としていたが、MPEG1より低い符号量(ビットレート)、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。MPEG4の画像符号化方式に関しては、1998年12月にISO/IEC14496-2として規格国際標準承認された。

更に、近年、当初テレビ会議用画像符号化を目的として、H.26L(ITU-T Q6/16VCEG)という標準の規格化が進んでいる。H.26LはMPEG2やMPEG4といった符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。

また、近年、MPEG4の活動の一環として、このH.26Lをベースに、H.26Lではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がJoint Model of Enhanced-Compression Video Codingとして行われた。この標準化は、2003年3月にH.264及びMPEG-4 Part10(AVC(Advanced Video Coding))という名の元に国際標準化された。

更に、その拡張として、RGB,4:2:2や4:4:4の色差信号フォーマット等の業務用に必要な符号化ツールや、MPEG2で規定されていた8×8DCT(Discrete Cosine Transform)や量子化マトリクスをも含んだFRExt (Fidelity Range Extension)の標準化が2005年2月に完了した。これにより、AVC方式が、映画に含まれるフィルムノイズをも良好に表現することが可能な符号化方式となり、BD(Blu-ray(登録商標) Disc )等の幅広いアプリケーションに用いられる運びとなった。

しかしながら、昨今、ハイビジョン画像の4倍の4000×2000画素程度の画像を圧縮したい、または、インターネットのような限られた伝送容量の環境においてハイビジョン画像を配信したいといった、更なる高圧縮率符号化に対するニーズが高まっている。このため、ITU-T傘下のVCEG(Video Coding Expert Group)において、符号化効率の改善に関する検討が継続されている。

また、現在、AVCより更なる符号化効率の向上を目的として、ITU-Tと、ISO/IECの共同の標準化団体であるJCTVC(Joint Collaboration Team − Video Coding)により、HEVC(High Efficiency Video Coding)と呼ばれる符号化方式の標準化が進められている。2013年10月現在、Draftとして非特許文献1が発行されている。

ところで、HEVCでは、TU(transform unit)のサイズが4×4画素である場合、そのTUに対して直交変換や逆直交変換を行わないトランスフォームスキップ(transform skip)という機能を用いることができる。

即ち、符号化対象の画像が、CG(Computer Graphics)画像やパーソナルコンピュータ画面等の非自然画像である場合、TUのサイズとして4×4画素が選択されやすい。また、非自然画像では、直交変換を行わない方が、符号化効率が高くなる場合がある。従って、HEVCでは、TUのサイズが4×4画素である場合、トランスフォームスキップを適用可能にすることにより、符号化効率の向上を図っている。

一方、非特許文献2では、4:2:2や4:4:4といった色差信号フォーマットの画像や、スクリーンコンテンツの符号化を向上させる符号化方式が検討されている。

また、非特許文献3では、4×4画素より大きいサイズのTUに対してトランスフォームスキップが適用される場合の符号化効率が検討されている。

さらに、非特許文献4では、TUの最小サイズが4×4画素以外の8×8画素等である場合に、最小サイズのTUに対してトランスフォームスキップを適用することが検討されている。

概要

4×4画素以外のサイズのブロックのトランスフォームスキップが行われる場合の符号化効率を向上させることができるようにする。リスト設定部は、4×4画素以外のトランスフォームスキップ可能なサイズのTUのデフォルトスケーリングリストとしてflat行列を設定する。逆量子化部は、リスト設定部により設定されたデフォルトスケーリングリストを用いて、画像の予測画像と画像の差分である残差情報量子化値を逆量子化する。本開示は、例えば、トランスフォームスキップを行う復号装置等に適用することができる。

目的

また、第1の側面の符号化装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

所定のスケーリングリストを用いない場合、およびトランスフォームスキップが適用されたトランスフォームブロックのブロックサイズが4×4ブロックサイズよりも大きい場合の少なくとも一方が成立する場合に、前記トランスフォームブロックのブロックサイズに対応するフラットスケーリングリストを用いて、前記トランスフォームブロックを量子化して量子化値を生成する量子化部と、前記量子化部により生成された前記量子化値を符号化する符号化部とを備える符号化装置

請求項2

前記量子化部は、前記トランスフォームスキップが適用されたトランスフォームブロックのブロックサイズが8×8ブロックサイズである場合に、8×8のフラットスケーリングリストを用いて、前記トランスフォームスキップが適用されたトランスフォームブロックを量子化して前記量子化値を生成する請求項1に記載の符号化装置。

請求項3

前記量子化部は、前記トランスフォームスキップが適用されたトランスフォームブロックのブロックサイズが16×16ブロックサイズである場合に、16×16のフラットスケーリングリストを用いて、前記トランスフォームスキップが適用されたトランスフォームブロックを量子化して前記量子化値を生成する請求項1に記載の符号化装置。

請求項4

前記量子化部は、前記トランスフォームスキップが適用されたトランスフォームブロックのブロックサイズが32×32ブロックサイズである場合に、32×32のフラットスケーリングリストを用いて、前記トランスフォームスキップが適用されたトランスフォームブロックを量子化して前記量子化値を生成する請求項1に記載の符号化装置。

請求項5

前記トランスフォームブロックのブロックサイズを4×4ブロックサイズよりも大きくし、かつ、前記トランスフォームブロックにトランスフォームスキップを適用するかを判定する判定部をさらに備え、前記量子化部は、所定のスケーリングリストを用いない場合、および、前記判定部により前記トランスフォームブロックのブロックサイズを4×4ブロックサイズよりも大きくし、かつ、前記トランスフォームブロックにトランスフォームスキップを適用すると判定された場合の少なくとも一方が成立する場合に、前記トランスフォームブロックのブロックサイズに対応するフラットスケーリングリストを用いて、前記トランスフォームブロックを量子化して前記量子化値を生成する請求項1に記載の符号化装置。

請求項6

前記量子化部は、前記トランスフォームスキップが適用された前記トランスフォームブロックの画像と前記画像の予測画像との残差を量子化して前記量子化値を生成し、前記符号化部は、前記量子化部により生成された前記量子化値を符号化する請求項1に記載の符号化装置。

請求項7

前記トランスフォームブロックは、コーディングブロック再帰的に4分割したブロックである請求項1に記載の符号化装置。

請求項8

前記所定のスケーリングリストを用いるかどうかを表すフラグに基づいて、前記所定のスケーリングリストを用いるかを判定する判定部をさらに備え、前記量子化部は、前記判定部により前記所定のスケーリングリストを用いないと判定された場合、および、前記トランスフォームスキップが適用されたトランスフォームブロックのブロックサイズが4×4ブロックサイズよりも大きい場合の少なくとも一方が成立する場合に、トランスフォームブロックのブロックサイズに対応するフラットスケーリングリストを用いて、前記トランスフォームブロックを量子化して量子化値を生成する請求項1に記載の符号化装置。

請求項9

符号化装置は、所定のスケーリングリストを用いない場合、およびトランスフォームスキップが適用されたトランスフォームブロックのブロックサイズが4×4ブロックサイズよりも大きい場合の少なくとも一方が成立する場合に、前記トランスフォームブロックのブロックサイズに対応するフラットスケーリングリストを用いて、前記トランスフォームブロックを量子化して量子化値を生成する量子化ステップと、前記量子化ステップの処理により生成された前記量子化値を符号化する符号化ステップとを含む符号化方法

技術分野

0001

本開示は、符号化装置および符号化方法に関し、特に、4×4画素以外のサイズのブロックのトランスフォームスキップが行われる場合の符号化効率を向上させることができるようにした符号化装置および符号化方法に関する。

背景技術

0002

近年、画像情報特有冗長性を利用して、離散コサイン変換等の直交変換動き補償により圧縮するMPEG(Moving Picture Experts Group phase)などの方式に準拠した装置が、放送局などの情報配信、および一般家庭における情報受信の双方において普及しつつある。

0003

特に、MPEG2(ISO/IEC13818-2)方式は、汎用画像符号化方式として定義されている。MPEG2は、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像網羅する標準である。MPEG2は、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに現在広く用いられている。MPEG2方式を用いることにより、例えば720×480画素を持つ標準解像度の飛び越し走査画像であれば4乃至8Mbps、1920×1088画素を持つ高解像度飛び越し走査画像であれば18乃至22MBpsの符号量を割り当てることで、高い圧縮率と良好な画質の実現が可能である。

0004

MPEG2は主として放送用適合する高画質符号化を対象としていたが、MPEG1より低い符号量(ビットレート)、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。MPEG4の画像符号化方式に関しては、1998年12月にISO/IEC14496-2として規格国際標準承認された。

0005

更に、近年、当初テレビ会議用画像符号化を目的として、H.26L(ITU-T Q6/16VCEG)という標準の規格化が進んでいる。H.26LはMPEG2やMPEG4といった符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。

0006

また、近年、MPEG4の活動の一環として、このH.26Lをベースに、H.26Lではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がJoint Model of Enhanced-Compression Video Codingとして行われた。この標準化は、2003年3月にH.264及びMPEG-4 Part10(AVC(Advanced Video Coding))という名の元に国際標準化された。

0007

更に、その拡張として、RGB,4:2:2や4:4:4の色差信号フォーマット等の業務用に必要な符号化ツールや、MPEG2で規定されていた8×8DCT(Discrete Cosine Transform)や量子化マトリクスをも含んだFRExt (Fidelity Range Extension)の標準化が2005年2月に完了した。これにより、AVC方式が、映画に含まれるフィルムノイズをも良好に表現することが可能な符号化方式となり、BD(Blu-ray(登録商標) Disc )等の幅広いアプリケーションに用いられる運びとなった。

0008

しかしながら、昨今、ハイビジョン画像の4倍の4000×2000画素程度の画像を圧縮したい、または、インターネットのような限られた伝送容量の環境においてハイビジョン画像を配信したいといった、更なる高圧縮率符号化に対するニーズが高まっている。このため、ITU-T傘下のVCEG(Video Coding Expert Group)において、符号化効率の改善に関する検討が継続されている。

0009

また、現在、AVCより更なる符号化効率の向上を目的として、ITU-Tと、ISO/IECの共同の標準化団体であるJCTVC(Joint Collaboration Team − Video Coding)により、HEVC(High Efficiency Video Coding)と呼ばれる符号化方式の標準化が進められている。2013年10月現在、Draftとして非特許文献1が発行されている。

0010

ところで、HEVCでは、TU(transform unit)のサイズが4×4画素である場合、そのTUに対して直交変換や逆直交変換を行わないトランスフォームスキップ(transform skip)という機能を用いることができる。

0011

即ち、符号化対象の画像が、CG(Computer Graphics)画像やパーソナルコンピュータ画面等の非自然画像である場合、TUのサイズとして4×4画素が選択されやすい。また、非自然画像では、直交変換を行わない方が、符号化効率が高くなる場合がある。従って、HEVCでは、TUのサイズが4×4画素である場合、トランスフォームスキップを適用可能にすることにより、符号化効率の向上を図っている。

0012

一方、非特許文献2では、4:2:2や4:4:4といった色差信号フォーマットの画像や、スクリーンコンテンツの符号化を向上させる符号化方式が検討されている。

0013

また、非特許文献3では、4×4画素より大きいサイズのTUに対してトランスフォームスキップが適用される場合の符号化効率が検討されている。

0014

さらに、非特許文献4では、TUの最小サイズが4×4画素以外の8×8画素等である場合に、最小サイズのTUに対してトランスフォームスキップを適用することが検討されている。

先行技術

0015

Benjamin Bross,Gary J.Sullivan,Ye-Kui Wang,”Editors’ proposed corrections toHEVC version 1”,JCTVC-M0432_v3,2013.4.18-4.26
David Flynn,Joel Sole,Teruhiko Suzuki,“High Efficiency Video Coding(HEVC),Range Extension text specification:Draft 4”,JCTVC-N1005_v1,2013.4.18-4.26
Xiulian Peng,Jizheng Xu,Liwei Guo,Joel Sole,Marta Karczewicz,“Non-RCE2:Transform skip on large TUs”,JCTVC-N0288_r1,2013.7.25-8.2
Kwanghyun Won,Seungha Yang,Byeungwoo Jeon,“Transform skip based on minimum TU size”,JCTVC-N0167,2013.7.25-8.2

発明が解決しようとする課題

0016

HEVCでは、トランスフォームスキップが行われた画素ドメインのTUの量子化時に、flat行列以外の周波数ドメインスケーリングリスト量子化行列)が用いられないようにするため、4×4画素のTUに対するスケーリングリストのデフォルト値としてflat行列が設定される。しかしながら、4×4画素以外のサイズのTUに対するスケーリングリストのデフォルト値としては、flat行列ではない行列が設定される。

0017

従って、非特許文献3や非特許文献4に記載されているように、4×4画素以外のサイズのTUに対してトランスフォームスキップが適用されると、トランスフォームスキップが行われたTUの量子化時に、flat行列ではないスケーリングリストが用いられる可能性がある。その結果、符号化効率が低下する。

0018

本開示は、このような状況に鑑みてなされたものであり、4×4画素以外のサイズのブロックのトランスフォームスキップが行われる場合の符号化効率を向上させることができるようにするものである。

課題を解決するための手段

0019

本開示の第1の側面の符号化装置は、所定のスケーリングリストを用いない場合、およびトランスフォームスキップが適用されたトランスフォームブロックのブロックサイズが4×4ブロックサイズよりも大きい場合の少なくとも一方が成立する場合に、前記トランスフォームブロックのブロックサイズに対応するフラットスケーリングリストを用いて、前記トランスフォームブロックを量子化して量子化値を生成する量子化部と、前記量子化部により生成された前記量子化値を符号化する符号化部とを備える符号化装置である。

0020

本開示の第1の側面の符号化方法は、本開示の第1の側面の符号化装置に対応する。

0021

本開示の第1の側面においては、所定のスケーリングリストを用いない場合、およびトランスフォームスキップが適用されたトランスフォームブロックのブロックサイズが4×4ブロックサイズよりも大きい場合の少なくとも一方が成立する場合に、前記トランスフォームブロックのブロックサイズに対応するフラットスケーリングリストを用いて、前記トランスフォームブロックが量子化されて量子化値が生成され、生成された前記量子化値が符号化される。

0022

なお、第1の側面の符号化装置は、コンピュータプログラムを実行させることにより実現することができる。

0023

また、第1の側面の符号化装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

0024

第1の側面の符号化装置は、独立した装置であっても良いし、1つの装置を構成している内部ブロックであっても良い。

発明の効果

0025

本開示の第1の側面によれば、符号化することができる。また、4×4画素以外のサイズのブロックのトランスフォームスキップが行われる場合の符号化効率を向上させることができる。

0026

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

図面の簡単な説明

0027

本開示を適用した符号化装置の一実施の形態の構成例を示すブロック図である。
SPSシンタクスの例を示す図である。
SPSのシンタクスの例を示す図である。
PPSのシンタクスの例を示す図である。
PPSのシンタクスの例を示す図である。
設定スケーリングリストを説明する図である。
図1の符号化部の構成例を示すブロック図である。
CUを説明する図である。
図7のリスト設定部の構成例を示すブロック図である。
ストリーム生成処理を説明するフローチャートである。
図10符号化処理の詳細を説明するフローチャートである。
図10の符号化処理の詳細を説明するフローチャートである。
図11のスケーリングリスト決定処理の詳細を説明するフローチャートである。
本開示を適用した復号装置の一実施の形態の構成例を示すブロック図である。
図14復号部の構成例を示すブロック図である。
図14の復号装置の画像生成処理を説明するフローチャートである。
図16復号処理の詳細を説明するフローチャートである。
コンピュータのハードウエアの構成例を示すブロック図である。
多視点画像符号化方式の例を示す図である。
本開示を適用した多視点画像符号化装置の構成例を示す図である。
本開示を適用した多視点画像復号装置の構成例を示す図である。
階層画像符号化方式の例を示す図である。
スペシャルなスケーラブル符号化の例を説明する図である。
テンポラルなスケーラブル符号化の例を説明する図である。
信号雑音比のスケーラブル符号化の例を説明する図である。
本開示を適用した階層画像符号化装置の構成例を示す図である。
本開示を適用した階層画像復号装置の構成例を示す図である。
本開示を適用したテレビジョン装置概略構成例を示す図である。
本開示を適用した携帯電話機の概略構成例を示す図である。
本開示を適用した記録再生装置の概略構成例を示す図である。
本開示を適用した撮像装置の概略構成例を示す図である。
スケーラブル符号化利用の一例を示すブロック図である。
スケーラブル符号化利用の他の例を示すブロック図である。
スケーラブル符号化利用のさらに他の例を示すブロック図である。
本開示を適用したビデオセットの概略的な構成の一例を示している。
本開示を適用したビデオプロセッサの概略的な構成の一例を示している。
本開示を適用したビデオプロセッサの概略的な構成の他の例を示している。

実施例

0028

<第1実施の形態>
(符号化装置の一実施の形態の構成例)
図1は、本開示を適用した符号化装置の一実施の形態の構成例を示すブロック図である。

0029

図1の符号化装置10は、設定部11、符号化部12、および伝送部13により構成され、画像をHEVC方式に準ずる方式で符号化する。

0030

具体的には、符号化装置10の設定部11は、ユーザの指令等に応じて、トランスフォームスキップ可能なTU(直交変換ブロック)のサイズであるTUの最小サイズを表す最小TUサイズ情報を含むSPS(Sequence Parameter Set)を設定する。また、設定部11は、最小サイズのTUに対するトランスフォームスキップの適用を許可するかどうかを表すスキップ許可情報を含むPPS(Picture Parameter Set)を設定する。さらに、設定部11は、VUI(Video Usability Information),SEI(Supplemental Enhancement Information)などを設定する。設定部11は、設定されたSPS,PPS,VUI,SEIなどのパラメータセットを符号化部12に供給する。

0031

符号化部12には、フレーム単位の画像が入力される。符号化部12は、設定部11から供給されるパラメータセットを参照して、入力された画像をHEVC方式に準ずる方式で符号化する。符号化部12は、符号化の結果得られる符号化データとパラメータセットから符号化ストリームを生成し、伝送部13に供給する。

0032

伝送部13は、符号化部12から供給される符号化ストリームを、後述する復号装置に伝送する。

0033

(SPSのシンタクスの例)
図2および図3は、SPSのシンタクスの例を示す図である。

0034

図2に示すように、SPSには、最小TUサイズ情報(long2_min_transform_block_size_minus2)が設定される。例えば、最小TUサイズ情報は、8×8画素を表す場合1である。

0035

また、SPSには、量子化時にスケーリングリストを用いるかどうかを表すスケーリングリスト使用フラグ(scaling_list_enabled_flag)が設定される。スケーリングリスト使用フラグは、量子化時にスケーリングリストを用いる場合1であり、量子化時にスケーリングリストを用いない場合0である。

0036

また、スケーリングリスト使用フラグが1である場合、SPSには、このSPSにスケーリングリストが含まれるかどうかを表すSPSスケーリングリストフラグ(sps_scaling_list_data_present_flag)が設定される。SPSスケーリングリストフラグは、SPSにスケーリングリストが含まれる場合1であり、SPSにスケーリングリストが含まれない場合0である。

0037

SPSスケーリングリストフラグが1である場合、SPSには、スケーリングリスト(scaling_list_data)が設定される。

0038

(PPSのシンタクスの例)
図4および図5は、PPSのシンタクスの例を示す図である。

0039

図4に示すように、PPSには、スキップ許可情報(transform_skip_enabled_flag)が設定される。これにより、TUの最小サイズに対するトランスフォームスキップの適用の制御をピクチャ単位で行うことができる。スキップ許可情報は、TUの最小サイズに対するトランスフォームスキップの適用を許可することを表す場合1であり、許可しないことを表す場合0である。

0040

また、図4に示すように、PPSには、このPPSにスケーリングリストが含まれるかどうかを表すPPSスケーリングリストフラグ(pps_scaling_list_data_present_flag)が設定される。PPSスケーリングリストフラグは、PPSにスケーリングリストが含まれる場合1であり、PPSにスケーリングリストが含まれない場合0である。

0041

図5に示すように、PPSスケーリングリストフラグが1である場合、PPSには、スケーリングリスト(scaling_list_data)が設定される。以下では、SPSやPPSに設定されるスケーリングリストを、設定スケーリングリストという。

0042

(設定スケーリングリストの説明)
図6は、設定スケーリングリストを説明する図である。

0043

図6に示すように、HEVCでは、TUのサイズとして、4×4画素、8×8画素、16×16画素、および32×32画素を選択することができる。従って、スケーリングリストは、これらの各サイズについて用意される。しかしながら、16×16画素や32×32画素のような大きいサイズのTUについてのスケーリングリストのデータ量は多いため、そのスケーリングリストの伝送により、符号化効率が低下する。

0044

そこで、16×16画素や32×32画素のような大きいサイズのTUについてのスケーリングリストは、図6に示すように、8×8行列にダウンサンプルされ、設定スケーリングリストとしてSPSやPPSに設定されて伝送される。但し、直流成分は、画質に与える影響が大きいため、別途伝送される。

0045

復号装置は、このようにして伝送されてきた8×8行列である設定スケーリングリストを0次オーダールドによりアップサンプルし、16×16画素や32×32画素のような大きいサイズのTUについてのスケーリングリストを復元する。

0046

(符号化部の構成例)
図7は、図1の符号化部12の構成例を示すブロック図である。

0047

図7の符号化部12は、A/D変換部31、画面並替えバッファ32、演算部33、直交変換部34、量子化部35、可逆符号化部36、蓄積バッファ37、逆量子化部38、逆直交変換部39、および加算部40を有する。また、符号化部12は、デブロックフィルタ41、適応オフセットフィルタ42、適応ループフィルタ43、フレームメモリ44、スイッチ45、イントラ予測部46、動き予測補償部47、予測画像選択部48、およびレート制御部49を有する。さらに、符号化部12は、スキップ設定部50とリスト設定部51を有する。

0048

符号化部12のA/D変換部31は、符号化対象として入力されたフレーム単位の画像をA/D変換する。A/D変換部31は、変換後のデジタル信号である画像を画面並べ替えバッファ32に出力して記憶させる。

0049

画面並べ替えバッファ32は、記憶した表示の順番のフレーム単位の画像を、GOP構造に応じて、符号化のための順番に並べ替える。画面並べ替えバッファ32は、並べ替え後の画像を、演算部33、イントラ予測部46、および動き予測・補償部47に出力する。

0050

演算部33は、画面並べ替えバッファ32から供給される画像から、予測画像選択部48から供給される予測画像を減算することにより符号化を行う。演算部33は、その結果得られる画像を、残差情報(差分)として直交変換部34に出力する。なお、予測画像選択部48から予測画像が供給されない場合、演算部33は、画面並べ替えバッファ32から読み出された画像をそのまま残差情報として直交変換部34に出力する。

0051

直交変換部34は、演算部33からの残差情報に対してTU単位で直交変換を行う。TUのサイズとしては、4×4画素、8×8画素、16×16画素、および32×32画素がある。直交変換の方式としては、例えば、DCT(Discrete Cosine Transform)(離散コサイン変換)がある。

0052

TUが32×32画素である場合、DCTの直交変換行列の左半分は、



であり、右半分は、



である。

0053

また、TUが、それぞれ、4×4画素、8×8画素、16×16画素である場合のDCTの直交変換行列は、TUが32×32画素である場合のDCTの直交変換行列を1/8,1/4,1/2に間引くことによって得られる。従って、直交変換部34は、TUの全サイズに共通の演算部を設ければよく、TUのサイズごとに演算部を設ける必要はない。

0054

なお、最適予測モードイントラ予測モードであり、TUが4×4画素である場合、直交変換方式としては、DST(Discrete Sine Transform)(離散サイン変換)が用いられる。DSTの直交変換行列Hは、以下の式(1)で表される。

0055

0056

このように、最適予測モードがイントラ予測モードであり、TUが4×4画素である場合、即ち符号化済み周辺画像に近いほど残差情報が小さくなることが顕著である場合、直交変換方式としてDSTが用いられるので、符号化効率が向上する。

0057

直交変換部34は、スキップ設定部50から供給される最小TUサイズ情報に基づいて、TU単位で、トランスフォームスキップが適用可能であるかどうかを判定する。トランスフォームスキップが適用可能であると判定された場合、直交変換部34は、直交変換の結果得られる直交変換係数に基づいて、直交変換が行われる場合のコスト関数値と、直交変換が行われない場合のコスト関数値を算出する。

0058

直交変換が行われる場合のコスト関数値が、直交変換が行われない場合のコスト関数値に比べて小さい場合、直交変換部34は、直交変換係数を量子化部35に供給する。そして、直交変換部34は、トランスフォームスキップの無しを表すトランスフォームスキップフラグを可逆符号化部36と逆直交変換部39に供給する。

0059

一方、直交変換が行われない場合のコスト関数値が、直交変換が行われる場合のコスト関数値に比べて小さい場合、直交変換部34は、トランスフォームスキップを行い、残差情報を量子化部35に供給する。そして、直交変換部34は、トランスフォームスキップの有りを表すトランスフォームスキップフラグを可逆符号化部36と逆直交変換部39に供給する。

0060

なお、トランスフォームスキップは、輝度信号および色差信号の両方に対して行うことができる。また、トランスフォームスキップは、最適予測モードがイントラ予測モードであるか、インター予測モードであるかによらず、行うことができる。

0061

直交変換部34は、トランスフォームスキップが適用可能ではないと判定された場合、または、最小TUサイズ情報が供給されない場合、直交変換部34は、直交変換係数を量子化部35に供給する。

0062

量子化部35は、直交変換部34から供給される直交変換係数または残差情報に対して、リスト設定部51から供給されるスケーリングリストを用いて量子化を行う。量子化部35は、量子化の結果得られる量子化値を可逆符号化部36に供給する。

0063

可逆符号化部36は、直交変換部34から供給されるトランスフォームスキップフラグを取得する。可逆符号化部36は、最適イントラ予測モードを示す情報(以下、イントラ予測モード情報という)をイントラ予測部46から取得する。また、可逆符号化部36は、最適インター予測モードを示す情報(以下、インター予測モード情報という)、動きベクトル参照画像を特定する情報などを動き予測・補償部47から取得する。

0064

また、可逆符号化部36は、適応オフセットフィルタ42からオフセットフィルタに関するオフセットフィルタ情報を取得し、適応ループフィルタ43からフィルタ係数を取得する。

0065

可逆符号化部36は、量子化部35から供給される量子化値に対して、可変長符号化(例えば、CAVLC(Context-Adaptive Variable Length Coding)など)、算術符号化(例えば、CABAC(Context-Adaptive Binary Arithmetic Coding)など)などの可逆符号化を行う。

0066

また、可逆符号化部36は、イントラ予測モード情報、または、インター予測モード情報、動きベクトル、および参照画像を特定する情報、トランスフォームスキップフラグ、オフセットフィルタ情報、並びにフィルタ係数を、符号化に関する符号化情報として可逆符号化する。可逆符号化部36は、可逆符号化された符号化情報と量子化値を、符号化データとして蓄積バッファ37に供給し、蓄積させる。

0067

なお、可逆符号化された符号化情報は、可逆符号化された量子化値のヘッダ情報(例えばスライスヘッダ)とされてもよい。トランスフォームスキップフラグ(transform_skip_flag)は、例えば、residual_codingに設定される。

0068

蓄積バッファ37は、可逆符号化部36から供給される符号化データを、一時的に記憶する。また、蓄積バッファ37は、記憶している符号化データを、図1の設定部11から供給されるパラメータセットとともに、符号化ストリームとして伝送部13に供給する。

0069

また、量子化部35より出力された量子化値は、逆量子化部38にも入力される。逆量子化部38は、量子化部35から供給される量子化値に対して、リスト設定部51から供給されるスケーリングリストを用いて、量子化部35における量子化方法に対応する方法で逆量子化を行う。逆量子化部38は、逆量子化の結果得られる直交変換係数または残差情報を逆直交変換部39に供給する。

0070

逆直交変換部39は、直交変換部34から供給されるトランスフォームスキップフラグに基づいて、TU単位で、逆量子化部38から供給される直交変換係数に対して逆直交変換を行う。逆直交変換の方式としては、例えば、IDCT(逆離散コサイン変換)とIDST(逆離散サイン変換)がある。逆直交変換部39は、逆直交変換の結果得られる残差情報、または、逆量子化部38から供給される残差情報を加算部40に供給する。

0071

加算部40は、逆直交変換部39から供給される残差情報と、予測画像選択部48から供給される予測画像を加算し、復号を行う。加算部40は、復号された画像をデブロックフィルタ41とフレームメモリ44に供給する。

0072

デブロックフィルタ41は、加算部40から供給される復号された画像に対して、ブロック歪を除去する適応デブロックフィルタ処理を行い、その結果得られる画像を適応オフセットフィルタ42に供給する。

0073

適応オフセットフィルタ42は、デブロックフィルタ41による適応デブロックフィルタ処理後の画像に対して、主にリンギングを除去する適応オフセットフィルタ(SAO(Sample adaptive offset))処理を行う。

0074

具体的には、適応オフセットフィルタ42は、最大の符号化単位であるLCU(Largest Coding Unit)ごとに適応オフセットフィルタ処理の種類を決定し、その適応オフセットフィルタ処理で用いられるオフセットを求める。適応オフセットフィルタ42は、求められたオフセットを用いて、適応デブロックフィルタ処理後の画像に対して、決定された種類の適応オフセットフィルタ処理を行う。

0075

適応オフセットフィルタ42は、適応オフセットフィルタ処理後の画像を適応ループフィルタ43に供給する。また、適応オフセットフィルタ42は、行われた適応オフセットフィルタ処理の種類とオフセットを示す情報を、オフセットフィルタ情報として可逆符号化部36に供給する。

0076

適応ループフィルタ43は、例えば、2次元ウィナーフィルタ(Wiener Filter)により構成される。適応ループフィルタ43は、適応オフセットフィルタ42から供給される適応オフセットフィルタ処理後の画像に対して、例えば、LCUごとに、適応ループフィルタ(ALF(Adaptive Loop Filter))処理を行う。

0077

具体的には、適応ループフィルタ43は、LCUごとに、画面並べ替えバッファ32から出力される画像である原画像適応ループフィルタ処理後の画像の残差が最小となるように、適応ループフィルタ処理で用いられるフィルタ係数を算出する。そして、適応ループフィルタ43は、適応オフセットフィルタ処理後の画像に対して、算出されたフィルタ係数を用いて、LCUごとに適応ループフィルタ処理を行う。

0078

適応ループフィルタ43は、適応ループフィルタ処理後の画像をフレームメモリ44に供給する。また、適応ループフィルタ43は、適応ループフィルタ処理に用いられたフィルタ係数を可逆符号化部36に供給する。

0079

なお、ここでは、適応ループフィルタ処理は、LCUごとに行われるものとするが、適応ループフィルタ処理の処理単位は、LCUに限定されない。但し、適応オフセットフィルタ42と適応ループフィルタ43の処理単位を合わせることにより、処理を効率的に行うことができる。

0080

フレームメモリ44は、適応ループフィルタ43から供給される画像と、加算部40から供給される画像を蓄積する。フレームメモリ44に蓄積されたフィルタ処理が行われていない画像のうちのPU(Prediction Unit)に隣接する画像は、周辺画像としてスイッチ45を介してイントラ予測部46に供給される。一方、フレームメモリ44に蓄積されたフィルタ処理が行われた画像は、参照画像としてスイッチ45を介して動き予測・補償部47に出力される。

0081

イントラ予測部46は、PU単位で、フレームメモリ44からスイッチ45を介して読み出された周辺画像を用いて、候補となる全てのイントラ予測モードのイントラ予測処理を行う。

0082

また、イントラ予測部46は、画面並べ替えバッファ32から読み出された画像と、イントラ予測処理の結果生成される予測画像とに基づいて、候補となる全てのイントラ予測モードに対してコスト関数値(詳細は後述する)を算出する。そして、イントラ予測部46は、コスト関数値が最小となるイントラ予測モードを、最適イントラ予測モードに決定する。

0083

イントラ予測部46は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、予測画像選択部48に供給する。イントラ予測部46は、予測画像選択部48から最適イントラ予測モードで生成された予測画像の選択が通知された場合、イントラ予測モード情報を可逆符号化部36に供給する。

0084

なお、コスト関数値は、RD(Rate Distortion)コストともいい、例えば、H.264/AVC方式における参照ソフトウエアであるJM(Joint Model)で定められているような、High Complexity モードまたはLow Complexity モードの手法に基づいて算出される。なお、H.264/AVC方式における参照ソフトウエアは、http://iphome.hhi.de/suehring/tml/index.htmにおいて公開されている。

0085

具体的には、コスト関数値の算出手法としてHigh Complexity モードが採用される場合、候補となる全ての予測モードに対して、仮に復号までが行われ、次の式(2)で表わされるコスト関数値が各予測モードに対して算出される。

0086

0087

Dは、原画像と復号画像の差分(歪)、Rは、直交変換の係数まで含んだ発生符号量、λは、量子化パラメータQPの関数として与えられるラグランジュ未定乗数である。

0088

一方、コスト関数値の算出手法としてLow Complexity モードが採用される場合、候補となる全ての予測モードに対して、予測画像の生成、および、符号化情報の符号量の算出が行われ、次の式(3)で表わされるコスト関数が各予測モードに対して算出される。

0089

0090

Dは、原画像と予測画像の差分(歪)、Header_Bitは、符号化情報の符号量、QPtoQuantは、量子化パラメータQPの関数として与えられる関数である。

0091

Low Complexity モードにおいては、全ての予測モードに対して、予測画像を生成するだけでよく、復号画像を生成する必要がないため、演算量が少なくて済む。

0092

動き予測・補償部47は、PU単位で候補となる全てのインター予測モードの動き予測・補償処理を行う。具体的には、動き予測・補償部47は、画面並べ替えバッファ32から供給される画像と、フレームメモリ44からスイッチ45を介して読み出される参照画像に基づいて、候補となる全てのインター予測モードの動きベクトルをPU単位で検出する。そして、動き予測・補償部47は、その動きベクトルに基づいてPU単位で参照画像に補償処理を施し、予測画像を生成する。

0093

このとき、動き予測・補償部47は、画面並べ替えバッファ32から供給される画像と予測画像とに基づいて、候補となる全てのインター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター予測モードに決定する。そして、動き予測・補償部47は、最適インター予測モードのコスト関数値と、対応する予測画像を予測画像選択部48に供給する。また、動き予測・補償部47は、予測画像選択部48から最適インター予測モードで生成された予測画像の選択が通知された場合、インター予測モード情報、対応する動きベクトル、参照画像を特定する情報などを可逆符号化部36に出力する。

0094

予測画像選択部48は、イントラ予測部46および動き予測・補償部47から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちの、対応するコスト関数値が小さい方を、最適予測モードに決定する。そして、予測画像選択部48は、最適予測モードの予測画像を、演算部33および加算部40に供給する。また、予測画像選択部48は、最適予測モードの予測画像の選択をイントラ予測部46または動き予測・補償部47に通知する。

0095

レート制御部49は、蓄積バッファ37に蓄積された符号化データに基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部35の量子化動作のレートを制御する。

0096

スキップ設定部50は、図1の設定部11から供給されるPPSに含まれるスキップ許可情報に基づいて、設定部11から供給されるSPSに含まれる最小TUサイズ情報を直交変換部34とリスト設定部51に供給する。

0097

リスト設定部51は、スキップ設定部50から供給される最小TUサイズ情報に基づいて、最小TUサイズ情報が表す最小サイズおよび4×4画素のTUのスケーリングリストのデフォルト値(以下、デフォルトスケーリングリストという)としてflat行列を設定する。なお、ここでは、TUの最小サイズが4×4画素以外であるものとするが、TUの最小サイズが4×4画素である場合には、4×4画素のTUのデフォルトスケーリングリストのみがflat行列にされる。また、リスト設定部51は、最小TUサイズ情報が表す最小サイズより大きいサイズのTUのデフォルトスケーリングリストとしてflat行列以外の行列を設定する。

0098

リスト設定部51は、設定部11から供給されるSPSやPPSに含まれるTUのサイズごとの設定スケーリングリストを取得する。リスト設定部51は、SPSに基づいて、TUのサイズごとのデフォルトスケーリングリスト、設定スケーリングリスト、またはflat行列であるスケーリングリスト(以下、フラットスケーリングリストという)を、量子化部35と逆量子化部38に供給する。

0099

以上のように、リスト設定部51は、トランスフォームスキップ可能なTUのサイズであるTUの最小サイズのデフォルトスケーリングリストとしてflat行列を設定する。これにより、トランスフォームスキップが行われたTUの残差情報に対して、flat行列以外のスケーリングリストを用いて量子化が行われることを抑制することができる。即ち、画素ドメインの残差情報の量子化時に周波数ドメインの重み係数が用いられることを抑制することができる。

0100

(符号化単位の説明)
図8は、HEVC方式における符号化単位であるCoding UNIT(CU)を説明する図である。

0101

HEVC方式では、4000画素×2000画素のUHD(Ultra High Definition)などのような大きな画枠の画像も対象としているため、符号化単位のサイズを16画素×16画素に固定することは最適ではない。従って、HEVC方式では、符号化単位としてCUが定義されている。

0102

CUは、AVC方式におけるマクロブロックと同様の役割を果たす。具体的には、CUはPUに分割されたり、TUに分割されたりする。

0103

但し、CUのサイズは、シーケンスごとに可変の2のべき乗画素で表される正方形である。具体的には、CUは、最大のサイズのCUであるLCUを、最小のサイズのCUであるSCU(Smallest Coding Unit)より小さくならないように、任意の回数だけ水平方向および垂直方向に2分割することにより設定される。即ち、LCUを、SCUになるまで、上の階層のサイズが下の階層のサイズの1/4となるように階層化したときの任意の階層のサイズがCUのサイズである。

0104

例えば、図8では、LCUのサイズが128であり、SCUのサイズが8である。従って、LCUの階層深度(Depth)は0乃至4となり、階層深度数は5となる。即ち、CUに対応する分割数は0乃至4のいずれかである。

0105

なお、LCUとSCUのサイズを指定する情報は、SPSに含められる。また、CUに対応する分割数は、各階層においてさらに分割するかどうかを表すsplit_flagにより指定される。CUの詳細については、非特許文献1に記載されている。

0106

TUのサイズは、CUのsplit_flagと同様に、split_transform_flagを用いて指定することができる。インター予測時およびイントラ予測時のTUの最大分割数は、それぞれ、max_transform_hierarchy_depth_inter,max_transform_hierarchy_depth_intraとして、SPSにより指定される。

0107

また、本明細書において、CTU(Coding Tree Unit)は、LCUのCTB(Coding Tree Block)と、そのLCUベース(レベル)で処理するときのパラメータを含む単位であるとする。
また、CTUを構成するCUは、CB(Coding Block)と、そのCUベース(レベル)で処理するときのパラメータを含む単位であるとする。

0108

(リスト設定部51の構成例)
図9は、図7のリスト設定部51の構成例を示すブロック図である。

0109

図9に示すように、スキップ設定部50は、図1の設定部11から供給されるPPSに含まれるスキップ許可情報とSPSに含まれる最小TUサイズ情報を取得する。スキップ設定部50は、スキップ許可情報が1である場合、最小TUサイズ情報を図7の直交変換部34とリスト設定部51に供給する。

0110

図9に示すように、リスト設定部51は、デフォルト設定部71、フラット設定部72、およびリスト取得部73により構成される。

0111

デフォルト設定部71は、スキップ設定部50から供給される最小TUサイズ情報に基づいて、最小TUサイズ情報が表す最小サイズおよび4×4画素のデフォルトスケーリングリストをflat行列に設定する。また、デフォルト設定部71は、最小TUサイズ情報が表す最小サイズより大きいサイズのデフォルトスケーリングリストをflat行列以外の行列に設定する。

0112

デフォルト設定部71は、設定部11から供給されるSPSに含まれるSPSスケーリングリストフラグまたはPPSに含まれるPPSスケーリングリストフラグに基づいて、TUのサイズごとのデフォルトスケーリングリストを図7の量子化部35と逆量子化部38に供給する。

0113

フラット設定部72は、TUのサイズごとのフラットスケーリングリストを保持する。フラット設定部72は、設定部11から供給されるSPSに含まれるスケーリングリスト使用フラグに基づいて、TUのサイズごとのフラットスケーリングリストを量子化部35と逆量子化部38に供給する。

0114

リスト取得部73は、設定部11から供給されるSPSやPPSに含まれるTUのサイズごとの設定スケーリングリストを取得する。リスト取得部73は、TUのサイズが4×4画素または8×8画素である場合の設定スケーリングリストをそのまま量子化部35と逆量子化部38に供給する。また、リスト取得部73は、TUのサイズが16×16画素または32×32画素である場合の8×8の設定スケーリングリストをアップサンプルして、16×16画素または32×32画素についてのスケーリングリストを生成し、量子化部35と逆量子化部38に供給する。

0115

(符号化装置の処理の説明)
図10は、図1の符号化装置10のストリーム生成処理を説明するフローチャートである。

0116

図10のステップS11において、符号化装置10の設定部11は、パラメータセットを設定する。設定部11は、設定されたパラメータセットを符号化部12に供給する。

0117

ステップS12において、符号化部12は、外部から入力されたフレーム単位の画像をHEVC方式に準ずる方式で符号化する符号化処理を行う。この符号化処理の詳細は、後述する図11および図12を参照して説明する。

0118

ステップS13において、符号化部12の蓄積バッファ37(図7)は、設定部11から供給されるパラメータセットと蓄積している符号化データから符号化ストリームを生成し、伝送部13に供給する。

0119

ステップS14において、伝送部13は、設定部11から供給される符号化ストリームを、後述する復号装置に伝送し、処理を終了する。

0120

図11および図12は、図10のステップS12の符号化処理の詳細を説明するフローチャートである。

0121

図11のステップS30において、符号化部12(図7)は、TUのサイズごとのスケーリングリストを決定するスケーリングリスト決定処理を行う。このスケーリングリスト決定処理の詳細は、後述する図13を参照して説明する。

0122

ステップS31において、A/D変換部31は、符号化対象として入力されたフレーム単位の画像をA/D変換する。A/D変換部31は、変換後のデジタル信号である画像を画面並べ替えバッファ32に出力して記憶させる。

0123

ステップS32において、画面並べ替えバッファ32は、記憶した表示の順番のフレームの画像を、GOP構造に応じて、符号化のための順番に並べ替える。画面並べ替えバッファ32は、並べ替え後のフレーム単位の画像を、演算部33、イントラ予測部46、および動き予測・補償部47に供給する。

0124

ステップS33において、イントラ予測部46は、PU単位で候補となる全てのイントラ予測モードのイントラ予測処理を行う。また、イントラ予測部46は、画面並べ替えバッファ32から読み出された画像と、イントラ予測処理の結果生成される予測画像とに基づいて、候補となる全てのイントラ予測モードに対してコスト関数値を算出する。そして、イントラ予測部46は、コスト関数値が最小となるイントラ予測モードを、最適イントラ予測モードに決定する。イントラ予測部46は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、予測画像選択部48に供給する。

0125

また、動き予測・補償部47は、PU単位で候補となる全てのインター予測モードの動き予測・補償処理を行う。また、動き予測・補償部47は、画面並べ替えバッファ32から供給される画像と予測画像とに基づいて、候補となる全てのインター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター予測モードに決定する。そして、動き予測・補償部47は、最適インター予測モードのコスト関数値と、対応する予測画像を予測画像選択部48に供給する。

0126

ステップS34において、予測画像選択部48は、ステップS33の処理によりイントラ予測部46および動き予測・補償部47から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちのコスト関数値が最小となる方を、最適予測モードに決定する。そして、予測画像選択部48は、最適予測モードの予測画像を、演算部33および加算部40に供給する。

0127

ステップS35において、予測画像選択部48は、最適予測モードが最適インター予測モードであるかどうかを判定する。ステップS35で最適予測モードが最適インター予測モードであると判定された場合、予測画像選択部48は、最適インター予測モードで生成された予測画像の選択を動き予測・補償部47に通知する。

0128

そして、ステップS36において、動き予測・補償部47は、インター予測モード情報、動きベクトル、および参照画像を特定する情報を可逆符号化部36に供給し、処理をステップS38に進める。

0129

一方、ステップS35で最適予測モードが最適インター予測モードではないと判定された場合、即ち最適予測モードが最適イントラ予測モードである場合、予測画像選択部48は、最適イントラ予測モードで生成された予測画像の選択をイントラ予測部46に通知する。そして、ステップS37において、イントラ予測部46は、イントラ予測モード情報を可逆符号化部36に供給し、処理をステップS38に進める。

0130

ステップS38において、演算部33は、画面並べ替えバッファ32から供給される画像から、予測画像選択部48から供給される予測画像を減算することにより符号化を行う。演算部33は、その結果得られる画像を、残差情報として直交変換部34に出力する。

0131

ステップS39において、直交変換部34は、TU単位で、演算部33からの残差情報に対して直交変換を施す。

0132

ステップS40において、直交変換部34は、ステップS30のスケーリングリスト決定処理で最小TUサイズ情報がスキップ設定部50から供給されたかどうかを判定する。

0133

ステップS40で最小TUサイズ情報がスキップ設定部50から供給されたと判定された場合、即ちスキップ許可情報が1である場合、処理はステップS41に進む。ステップS41において、直交変換部34は、最小TUサイズ情報に基づいて、TU単位で、トランスフォームスキップが適用可能であるかどうかを判定する。

0134

具体的には、直交変換部34は、TU単位で、そのTUのサイズが、最小TUサイズ情報が表す最小サイズである場合、トランスフォームスキップが適用可能であると判定する。一方、TUのサイズが、最小TUサイズ情報が表す最小サイズではない場合、直交変換部34は、トランスフォームスキップが適用可能ではないと判定する。

0135

ステップS41でトランスフォームスキップが適用可能であると判定された場合、直交変換部34は、TU単位で、直交変換の結果得られる直交変換係数に基づいて、直交変換が行われる場合のコスト関数値と、直交変換が行われない場合のコスト関数値を算出する。
そして、ステップS42において、直交変換部34は、TU単位でトランスフォームスキップを行うかどうかを判定する。

0136

具体的には、直交変換部34は、直交変換が行われない場合のコスト関数値が、直交変換が行われる場合のコスト関数値に比べて小さい場合、トランスフォームスキップを行うと判定する。一方、直交変換が行われる場合のコスト関数値が、直交変換が行われない場合のコスト関数値に比べて小さい場合、直交変換部34は、トランスフォームスキップを行わないと判定する。

0137

ステップS42でトランスフォームスキップを行うと判定された場合、ステップS43において、直交変換部34は、TU単位で、演算部33から供給される残差情報を量子化部35に出力する。また、直交変換部34は、TU単位で、トランスフォームスキップの有りを表すトランスフォームスキップフラグを可逆符号化部36と逆直交変換部39に供給する。そして、処理はステップS45に進む。

0138

一方、ステップS40で最小TUサイズ情報がスキップ設定部50から供給されていないと判定された場合、即ちスキップ許可情報が0である場合、処理はステップS44に進む。また、ステップS41でトランスフォームスキップが適用可能ではないと判定された場合、処理はステップS44に進む。さらに、ステップS42でトランスフォームスキップを行わないと判定された場合、処理はステップS44に進む。

0139

ステップS44において、直交変換部34は、TU単位で直交変換係数を量子化部35に出力する。また、直交変換部34は、TU単位で、トランスフォームスキップの無しを表すトランスフォームスキップフラグを可逆符号化部36と逆直交変換部39に供給する。そして、処理はステップS45に進む。

0140

ステップS45において、量子化部35は、TU単位で、直交変換部34から供給される直交変換係数または残差情報を、リスト設定部51から供給されるTUのサイズごとのスケーリングリストを用いて量子化する。量子化部35は、量子化の結果得られる量子化値を可逆符号化部36と逆量子化部38に供給する。

0141

図12のステップS46において、逆量子化部38は、TU単位で、量子化部35から供給される量子化値を、リスト設定部51から供給されるTUのサイズごとのスケーリングリストを用いて逆量子化する。逆量子化部38は、逆量子化の結果得られる直交変換係数または残差情報を逆直交変換部39に供給する。

0142

ステップS47において、逆直交変換部39は、TU単位で、直交変換部34から供給されるトランスフォームスキップフラグに基づいて、トランスフォームスキップを行わないかどうかを判定する。

0143

トランスフォームスキップフラグがトランスフォームスキップの無しを表す場合、または、トランスフォームスキップフラグが直交変換部34から供給されない場合、ステップS47で、トランスフォームスキップを行わないと判定される。そして、処理はステップS48に進む。

0144

ステップS48において、逆直交変換部39は、TU単位で、逆量子化部38から供給される直交変換係数に対して逆直交変換を施す。逆直交変換部39は、その結果得られる残差情報を加算部40に供給し、処理をステップS49に進める。

0145

一方、トランスフォームスキップフラグがトランスフォームスキップの有りを表す場合、ステップS47で、トランスフォームスキップを行うと判定される。そして、逆直交変換部39は、逆量子化部38から供給される残差情報を加算部40に供給し、処理をステップS49に進める。

0146

ステップS49において、加算部40は、逆直交変換部39から供給される残差情報と、予測画像選択部48から供給される予測画像を加算し、復号を行う。加算部40は、復号された画像をデブロックフィルタ41とフレームメモリ44に供給する。

0147

ステップS50において、デブロックフィルタ41は、加算部40から供給される復号された画像に対して、デブロッキングフィルタ処理を行う。デブロックフィルタ41は、その結果得られる画像を適応オフセットフィルタ42に供給する。

0148

ステップS51において、適応オフセットフィルタ42は、デブロックフィルタ41から供給される画像に対して、LCUごとに適応オフセットフィルタ処理を行う。適応オフセットフィルタ42は、その結果得られる画像を適応ループフィルタ43に供給する。また、適応オフセットフィルタ42は、LCUごとに、オフセットフィルタ情報を可逆符号化部36に供給する。

0149

ステップS52において、適応ループフィルタ43は、適応オフセットフィルタ42から供給される画像に対して、LCUごとに適応ループフィルタ処理を行う。適応ループフィルタ43は、その結果得られる画像をフレームメモリ44に供給する。また、適応ループフィルタ43は、適応ループフィルタ処理で用いられたフィルタ係数を可逆符号化部36に供給する。

0150

ステップS53において、フレームメモリ44は、適応ループフィルタ43から供給される画像と加算部40から供給される画像を蓄積する。フレームメモリ44に蓄積されたフィルタ処理が行われていない画像のうちのPUに隣接する画像は、周辺画像としてスイッチ45を介してイントラ予測部46に供給される。一方、フレームメモリ44に蓄積されたフィルタ処理が行われた画像は、参照画像としてスイッチ45を介して動き予測・補償部47に出力される。

0151

ステップS54において、可逆符号化部36は、イントラ予測モード情報、または、インター予測モード情報、動きベクトル、および参照画像を特定する情報、トランスフォームスキップフラグ、オフセットフィルタ情報、並びにフィルタ係数を、符号化情報として可逆符号化する。

0152

ステップS55において、可逆符号化部36は、量子化部35から供給される量子化値を可逆符号化する。そして、可逆符号化部36は、ステップS54の処理で可逆符号化された符号化情報と可逆符号化された量子化値から、符号化データを生成し、蓄積バッファ37に供給する。

0153

ステップS56において、蓄積バッファ37は、可逆符号化部36から供給される符号化データを、一時的に蓄積する。

0154

ステップS57において、レート制御部49は、蓄積バッファ37に蓄積された符号化データに基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部35の量子化動作のレートを制御する。そして、処理は、図10のステップS12に戻り、ステップS13に進む。

0155

なお、図11および図12の符号化処理では、説明を簡単化するため、常に、イントラ予測処理と動き予測・補償処理が行われるようにしたが、実際には、ピクチャタイプ等によっていずれか一方のみが行われる場合もある。

0156

図13は、図11のステップS30のスケーリングリスト決定処理の詳細を説明するフローチャートである。

0157

図13のステップS71において、スキップ設定部50(図9)は、図1の設定部11から供給されるPPSに含まれるスキップ許可情報が1であるかどうかを判定する。ステップS71でスキップ許可情報が1であると判定された場合、ステップS72において、スキップ設定部50は、設定部11から供給されるSPSに含まれる最小TUサイズ情報を直交変換部34とリスト設定部51に供給する。

0158

ステップS73において、リスト設定部51のデフォルト設定部71は、スキップ設定部50から供給される最小TUサイズ情報に基づいて、TUのサイズごとにデフォルトスケーリングリストを設定する。そして、処理はステップS75に進む。

0159

一方、ステップS71でスキップ許可情報が0であると判定された場合、ステップS74において、デフォルト設定部71は、TUのサイズごとにデフォルトスケーリングリストを設定する。

0160

具体的には、デフォルト設定部71は、4×4画素のTUのデフォルトスケーリングリストとしてflat行列を設定する。また、デフォルト設定部71は、4×4画素より大きいサイズのTUのデフォルトスケーリングリストとしてflat行列以外の行列を設定する。そして、処理はステップS75に進む。

0161

ステップS75において、リスト取得部73は、設定部11から供給されるSPSに含まれるスケーリングリスト使用フラグが1であるかどうかを判定する。ステップS75でスケーリングリスト使用フラグが1であると判定された場合、処理はステップS76に進む。

0162

ステップS76において、リスト取得部73は、設定部11から供給されるSPSに含まれるSPSスケーリングリストフラグまたはPPSに含まれるPPSスケーリングリストフラグが1であるかどうかを判定する。

0163

ステップS76でSPSスケーリングリストフラグまたはPPSスケーリングリストフラグが1であると判定された場合、処理はステップS77に進む。ステップS77において、リスト取得部73は、SPSまたはPPSに含まれる、TUのサイズごとの設定スケーリングリストを取得する。

0164

リスト取得部73は、TUのサイズが4×4画素または8×8画素である場合の設定スケーリングリストをそのまま量子化部35と逆量子化部38に供給する。また、リスト取得部73は、TUのサイズが16×16画素または32×32画素である場合の8×8の設定スケーリングリストをアップサンプルして、16×16画素または32×32画素についてのスケーリングリストを生成し、量子化部35と逆量子化部38に供給する。そして、処理は図11のステップS30に戻り、ステップS31に進む。

0165

一方、ステップS76でSPSスケーリングリストフラグおよびPPSスケーリングリストフラグが1ではないと判定された場合、処理はステップS78に進む。ステップS78において、デフォルト設定部71は、TUのサイズごとのデフォルトスケーリングリストを量子化部35と逆量子化部38に供給する。そして、処理は図11のステップS30に戻り、ステップS31に進む。

0166

また、ステップS75でスケーリングリスト使用フラグが1ではないと判定された場合、処理はステップS79に進む。ステップS79において、フラット設定部72は、保持しているTUのサイズごとのフラットスケーリングリストを量子化部35と逆量子化部38に供給する。そして、処理は図11のステップS30に戻り、ステップS31に進む。

0167

以上のように、符号化装置10は、4×4画素以外のトランスフォームスキップ可能なサイズであるTUの最小サイズについてのデフォルトスケーリングリストとしてflat行列を設定する。従って、4×4画素以外のサイズのTUに対してトランスフォームスキップが行われる場合であっても、トランスフォームスキップが行われた画素ドメインのTUの量子化時に、flat行列以外の周波数ドメインのスケーリングリストが用いられることを抑制することができる。その結果、符号化効率を向上させることができる。

0168

(復号装置の一実施の形態の構成例)
図14は、図1の符号化装置10から伝送される符号化ストリームを復号する、本開示を適用した復号装置の一実施の形態の構成例を示すブロック図である。

0169

図14の復号装置110は、受け取り部111、抽出部112、および復号部113により構成される。

0170

復号装置110の受け取り部111は、図1の符号化装置10から伝送されてくる符号化ストリームを受け取り、抽出部112に供給する。

0171

抽出部112は、受け取り部111から供給される符号化ストリームから、パラメータセットと符号化データを抽出し、復号部113に供給する。

0172

復号部113は、抽出部112から供給される符号化データをHEVC方式に準ずる方式で復号する。このとき、復号部113は、必要に応じて、抽出部112から供給されるパラメータセットも参照する。復号部113は、復号の結果得られる画像を出力する。

0173

(復号部の構成例)
図15は、図14の復号部113の構成例を示すブロック図である。

0174

図15の復号部113は、蓄積バッファ131、可逆復号部132、逆量子化部133、逆直交変換部134、加算部135、デブロックフィルタ136、適応オフセットフィルタ137、適応ループフィルタ138、および画面並べ替えバッファ139を有する。
また、復号部113は、D/A変換部140、フレームメモリ141、スイッチ142、イントラ予測部143、動き補償部144、スイッチ145、スキップ設定部146、およびリスト設定部147を有する。

0175

復号部113の蓄積バッファ131は、図14の抽出部112から符号化データを受け取り、蓄積する。蓄積バッファ131は、蓄積されている符号化データを可逆復号部132に供給する。

0176

可逆復号部132は、蓄積バッファ131からの符号化データに対して、可変長復号や、算術復号等の可逆復号を施すことで、量子化値と符号化情報を得る。可逆復号部132は、量子化値を逆量子化部133に供給する。また、可逆復号部132は、符号化情報としてのイントラ予測モード情報などをイントラ予測部143に供給する。可逆復号部132は、動きベクトル、インター予測モード情報、参照画像を特定する情報などを動き補償部144に供給する。

0177

さらに、可逆復号部132は、符号化情報としてのイントラ予測モード情報またはインター予測モード情報をスイッチ145に供給する。可逆復号部132は、符号化情報としてのオフセットフィルタ情報を適応オフセットフィルタ137に供給する。可逆復号部132は、符号化情報としてのフィルタ係数を適応ループフィルタ138に供給する。

0178

また、可逆復号部132は、符号化情報としてのトランスフォームスキップフラグを逆直交変換部134に供給する。

0179

逆量子化部133、逆直交変換部134、加算部135、デブロックフィルタ136、適応オフセットフィルタ137、適応ループフィルタ138、フレームメモリ141、スイッチ142、イントラ予測部143、動き補償部144、スキップ設定部146、およびリスト設定部147は、図7の逆量子化部38、逆直交変換部39、加算部40、デブロックフィルタ41、適応オフセットフィルタ42、適応ループフィルタ43、フレームメモリ44、スイッチ45、イントラ予測部46、動き予測・補償部47、スキップ設定部50、およびリスト設定部51とそれぞれ同様の処理を行い、これにより、画像が復号される。

0180

具体的には、逆量子化部133は、可逆復号部132からの量子化値に対して、リスト設定部147から供給されるスケーリングリストを用いて、図7の量子化部35における量子化方法に対応する方法で逆量子化を行う。逆量子化部133は、その結果得られる直交変換係数または残差情報を逆直交変換部134に供給する。

0181

逆直交変換部134は、可逆復号部132から供給されるトランスフォームスキップフラグに基づいて、TU単位で、逆量子化部133から供給される直交変換係数に対して逆直交変換を行う。逆直交変換部134は、逆直交変換の結果得られる残差情報、または、逆量子化部133から供給される残差情報を加算部135に供給する。

0182

加算部135は、逆直交変換部134から供給される残差情報と、スイッチ145から供給される予測画像を加算することにより、復号を行う。加算部135は、復号された画像をデブロックフィルタ136とフレームメモリ141に供給する。

0183

デブロックフィルタ136は、加算部135から供給される画像に対して適応デブロックフィルタ処理を行い、その結果得られる画像を適応オフセットフィルタ137に供給する。

0184

適応オフセットフィルタ137は、LCUごとに、可逆復号部132からのオフセットフィルタ情報が表すオフセットを用いて、適応デブロックフィルタ処理後の画像に対して、オフセットフィルタ情報が表す種類の適応オフセットフィルタ処理を行う。適応オフセットフィルタ137は、適応オフセットフィルタ処理後の画像を、適応ループフィルタ138に供給する。

0185

適応ループフィルタ138は、適応オフセットフィルタ137から供給される画像に対して、可逆復号部132から供給されるフィルタ係数を用いて、LCUごとに適応ループフィルタ処理を行う。適応ループフィルタ138は、その結果得られる画像をフレームメモリ141および画面並べ替えバッファ139に供給する。

0186

画面並べ替えバッファ139は、適応ループフィルタ138から供給される画像をフレーム単位で記憶する。画面並べ替えバッファ139は、記憶した符号化のための順番のフレーム単位の画像を、元の表示の順番に並び替え、D/A変換部140に供給する。

0187

D/A変換部140は、画面並べ替えバッファ139から供給されるフレーム単位の画像をD/A変換し、出力する。

0188

フレームメモリ141は、適応ループフィルタ138から供給される画像と加算部135から供給される画像を蓄積する。フレームメモリ141に蓄積されたフィルタ処理が行われていない画像のうちのPUに隣接する画像は、周辺画像としてスイッチ142を介してイントラ予測部143に供給される。一方、フレームメモリ141に蓄積されたフィルタ処理が行われた画像は、参照画像として、スイッチ142を介して動き補償部144に供給される。

0189

イントラ予測部143は、フレームメモリ141からスイッチ142を介して読み出された周辺画像を用いて、可逆復号部132から供給されるイントラ予測モード情報が示す最適イントラ予測モードのイントラ予測処理を行う。イントラ予測部143は、その結果生成される予測画像をスイッチ145に供給する。

0190

動き補償部144は、フレームメモリ141からスイッチ142を介して、可逆復号部132から供給される参照画像を特定する情報により特定される参照画像を読み出す。動き補償部144は、可逆復号部132から供給される動きベクトルと参照画像を用いて、可逆復号部132から供給されるインター予測モード情報が示す最適インター予測モードの動き補償処理を行う。動き補償部144は、その結果生成される予測画像をスイッチ145に供給する。

0191

スイッチ145は、可逆復号部132からイントラ予測モード情報が供給された場合、イントラ予測部143から供給される予測画像を加算部135に供給する。一方、可逆復号部132からインター予測モード情報が供給された場合、スイッチ145は、動き補償部144から供給される予測画像を加算部135に供給する。

0192

スキップ設定部146は、図14の抽出部112から供給されるPPSに含まれるスキップ許可情報に基づいて、抽出部112から供給されるSPSに含まれる最小TUサイズ情報をリスト設定部147に供給する。

0193

リスト設定部147は、図9のリスト設定部51と同様に構成される。リスト設定部147は、スキップ設定部146から供給される最小TUサイズ情報に基づいて、最小TUサイズ情報が表す最小サイズおよび4×4画素のTUのデフォルトスケーリングリストとしてflat行列を設定する。また、リスト設定部147は、最小TUサイズ情報が表す最小サイズより大きいサイズのTUのデフォルトスケーリングリストとしてflat行列以外の行列を設定する。

0194

リスト設定部147は、抽出部112から供給されるSPSやPPSに含まれるTUのサイズごとの設定スケーリングリストを取得する。リスト設定部147は、SPSに基づいて、TUのサイズごとのデフォルトスケーリングリスト、設定スケーリングリスト、またはフラットスケーリングリストを、逆量子化部133に供給する。

0195

(復号装置の処理の説明)
図16は、図14の復号装置110の画像生成処理を説明するフローチャートである。

0196

図16のステップS111において、復号装置110の受け取り部111は、図1の符号化装置10から伝送されてくる符号化ストリームを受け取り、抽出部112に供給する。

0197

ステップS112において、抽出部112は、受け取り部111から供給される符号化ストリームから、符号化データとパラメータセットを抽出し、復号部113に供給する。

0198

ステップS113において、復号部113は、必要に応じて抽出部112から供給されるパラメータセットを用いて、抽出部112から供給される符号化データをHEVC方式に準ずる方式で復号する復号処理を行う。この復号処理の詳細は、後述する図17を参照して説明する。そして、処理は終了する。

0199

図17は、図16のステップS113の復号処理の詳細を説明するフローチャートである。

0200

図17のステップS131において、復号部113(図15)は、図13と同様のスケーリングリスト決定処理を行う。但し、スケーリングリストは、逆量子化部133にのみ供給される。

0201

ステップS132において、蓄積バッファ131は、図14の抽出部112からフレーム単位の符号化データを受け取り、蓄積する。蓄積バッファ131は、蓄積されている符号化データを可逆復号部132に供給する。

0202

ステップS133において、可逆復号部132は、蓄積バッファ131からの符号化データを可逆復号し、量子化値と符号化情報を得る。可逆復号部132は、量子化値を逆量子化部133に供給する。可逆復号部132は、符号化情報としてのトランスフォームスキップフラグを逆直交変換部134に供給する。

0203

また、可逆復号部132は、符号化情報としてのイントラ予測モード情報などをイントラ予測部143に供給する。可逆復号部132は、動きベクトル、インター予測モード情報、参照画像を特定する情報などを動き補償部144に供給する。

0204

さらに、可逆復号部132は、符号化情報としてのイントラ予測モード情報またはインター予測モード情報をスイッチ145に供給する。可逆復号部132は、符号化情報としてのオフセットフィルタ情報を適応オフセットフィルタ137に供給し、フィルタ係数を適応ループフィルタ138に供給する。

0205

ステップS134において、逆量子化部133は、TU単位で、リスト設定部147から供給されるTUのサイズごとのスケーリングリストを用いて、可逆復号部132からの量子化値を逆量子化する。逆量子化部133は、その結果得られる直交変換係数または残差情報を逆直交変換部134に供給する。

0206

ステップS135において、逆直交変換部134は、TU単位で、可逆復号部132から供給されるトランスフォームスキップフラグに基づいて、トランスフォームスキップを行わないかどうかを判定する。

0207

トランスフォームスキップフラグがトランスフォームスキップの無しを表す場合、または、トランスフォームスキップフラグが可逆復号部132から供給されない場合、ステップS135で、トランスフォームスキップを行わないと判定される。そして、処理はステップS136に進む。

0208

ステップS136において、逆直交変換部134は、TU単位で、逆量子化部133から供給される直交変換係数に対して逆直交変換を施す。逆直交変換部134は、その結果得られる残差情報を加算部135に供給し、処理をステップS137に進める。

0209

一方、トランスフォームスキップフラグがトランスフォームスキップの有りを表す場合、ステップS135で、トランスフォームスキップを行うと判定される。そして、逆直交変換部134は、逆量子化部133から供給される残差情報を加算部135に供給し、処理をステップS137に進める。

0210

ステップS137において、動き補償部144は、可逆復号部132からインター予測モード情報が供給されたかどうかを判定する。ステップS137でインター予測モード情報が供給されたと判定された場合、処理はステップS138に進む。

0211

ステップS138において、動き補償部144は、可逆復号部132から供給される参照画像特定情報に基づいて参照画像を読み出し、動きベクトルと参照画像を用いて、インター予測モード情報が示す最適インター予測モードの動き補償処理を行う。動き補償部144は、その結果生成される予測画像を、スイッチ145を介して加算部135に供給し、処理をステップS140に進める。

0212

一方、ステップS137でインター予測モード情報が供給されていないと判定された場合、即ちイントラ予測モード情報がイントラ予測部143に供給された場合、処理はステップS139に進む。

0213

ステップS139において、イントラ予測部143は、フレームメモリ141からスイッチ142を介して読み出された周辺画像を用いて、イントラ予測モード情報が示すイントラ予測モードのイントラ予測処理を行う。イントラ予測部143は、イントラ予測処理の結果生成される予測画像を、スイッチ145を介して加算部135に供給し、処理をステップS140に進める。

0214

ステップS140において、加算部135は、逆直交変換部134から供給される残差情報と、スイッチ145から供給される予測画像を加算することにより、復号を行う。加算部135は、復号された画像をデブロックフィルタ136とフレームメモリ141に供給する。

0215

ステップS141において、デブロックフィルタ136は、加算部135から供給される画像に対してデブロッキングフィルタ処理を行い、ブロック歪を除去する。デブロックフィルタ136は、その結果得られる画像を適応オフセットフィルタ137に供給する。

0216

ステップS142において、適応オフセットフィルタ137は、可逆復号部132から供給されるオフセットフィルタ情報に基づいて、デブロックフィルタ136によるデブロックフィルタ処理後の画像に対して、LCUごとに適応オフセットフィルタ処理を行う。適応オフセットフィルタ137は、適応オフセットフィルタ処理後の画像を、適応ループフィルタ138に供給する。

0217

ステップS143において、適応ループフィルタ138は、適応オフセットフィルタ137から供給される画像に対して、可逆復号部132から供給されるフィルタ係数を用いて、LCUごとに適応ループフィルタ処理を行う。適応ループフィルタ138は、その結果得られる画像をフレームメモリ141および画面並べ替えバッファ139に供給する。

0218

ステップS144において、フレームメモリ141は、加算部135から供給される画像と、適応ループフィルタ138から供給される画像を蓄積する。フレームメモリ141に蓄積されたフィルタ処理が行われていない画像のうちのPUに隣接する画像は、周辺画像としてスイッチ142を介してイントラ予測部143に供給される。一方、フレームメモリ141に蓄積されたフィルタ処理が行われた画像は、参照画像として、スイッチ142を介して動き補償部144に供給される。

0219

ステップS145において、画面並べ替えバッファ139は、適応ループフィルタ138から供給される画像をフレーム単位で記憶し、記憶した符号化のための順番のフレーム単位の画像を、元の表示の順番に並び替え、D/A変換部140に供給する。

0220

ステップS146において、D/A変換部140は、画面並べ替えバッファ139から供給されるフレーム単位の画像をD/A変換し、出力する。そして、処理は、図16のステップS113に戻り、終了する。

0221

以上のように、復号装置110は、符号化装置10と同様に、4×4画素以外のトランスフォームスキップ可能なサイズであるTUの最小サイズについてのデフォルトスケーリングリストとしてflat行列を設定する。従って、符号化装置10により4×4画素以外のサイズのTUのトランスフォームスキップが行われる場合の符号化効率が向上するように符号化された符号化ストリームを復号することができる。

0222

なお、第1実施の形態では、非特許文献4に記載されているように、最小サイズのTUに対してトランスフォームスキップが可能とされたが、非特許文献3に記載されているように、全てのサイズのTUに対してトランスフォームスキップが可能にされてもよい。この場合、全てのサイズのデフォルトスケーリングリストがflat行列にされる。

0223

また、所定のサイズ以下のサイズのTUに対してトランスフォームスキップが可能にされてもよい。この場合、符号化装置10が、例えば、PPS等にトランスフォームスキップ可能なTUの最大のサイズを表すスキップTU情報を設定し、復号装置110に伝送する。符号化装置10と復号装置110は、スキップTU情報に基づいて、トランスフォームスキップが可能な、スキップTU情報が表すサイズ以下のサイズのデフォルトスケーリングリストとして、flat行列を設定する。例えば、スキップTU情報が16×16画素を表す場合、4×4画素、8×8画素、および16×16画素のTUのデフォルトスケーリングリストがflat行列にされる。

0224

なお、スキップTU情報が表すサイズは、最小TUサイズ情報が表すTUの最小サイズ以上TUの最大サイズ以下でなければならない。TUの最大サイズは、最小TUサイズ情報と、TUの最小サイズと最大サイズの差分を表す差分情報(log2_diff_max_min_transform_blocksize)とにより求められる。

0225

スキップTU情報は、イントラ符号化されるTUとインター符号化されるTUに対して別々に設定されるようにしてもよい。また、スキップTU情報は、Y信号のTU、Cb信号のTU、およびCr信号のTUに対して別々に設定されるようにしてもよい。

0226

また、量子化時のスケーリングリストの使用の有無は、スライス単位で制御されるようにしてもよい。この場合、SPSに含まれるスケーリングリスト使用フラグが1であるとき、スライスヘッダに、対応するスライスの量子化時にスケーリングリストを用いないかどうかを表すフラグ(scaling_list_enabled_flag)が設定される。これにより、スライスごとに、スケーリングリストを用いた量子化に適しているかどうかが異なる場合であっても、最適な量子化を行うことができる。

0227

同様に、量子化時のスケーリングリストの使用の有無は、CU単位やTU単位で制御されるようにしてもよい。

0228

<第2実施の形態>
(本開示を適用したコンピュータの説明)
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

0229

図18は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

0230

コンピュータにおいて、CPU(Central Processing Unit)201,ROM(Read Only Memory)202,RAM(Random Access Memory)203は、バス204により相互に接続されている。

0231

バス204には、さらに、入出力インタフェース205が接続されている。入出力インタフェース205には、入力部206、出力部207、記憶部208、通信部209、及びドライブ210が接続されている。

0232

入力部206は、キーボードマウスマイクロホンなどよりなる。出力部207は、ディスプレイスピーカなどよりなる。記憶部208は、ハードディスク不揮発性メモリなどよりなる。通信部209は、ネットワークインタフェースなどよりなる。ドライブ210は、磁気ディスク光ディスク光磁気ディスク、又は半導体メモリなどのリムーバブルメディア211を駆動する。

0233

以上のように構成されるコンピュータでは、CPU201が、例えば、記憶部208に記憶されているプログラムを、入出力インタフェース205及びバス204を介して、RAM203にロードして実行することにより、上述した一連の処理が行われる。

0234

コンピュータ(CPU201)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア211に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

0235

コンピュータでは、プログラムは、リムーバブルメディア211をドライブ210に装着することにより、入出力インタフェース205を介して、記憶部208にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部209で受信し、記憶部208にインストールすることができる。その他、プログラムは、ROM202や記憶部208に、あらかじめインストールしておくことができる。

0236

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

0237

<第3実施の形態>
(多視点画像符号化・多視点画像復号への適用)
上述した一連の処理は、多視点画像符号化・多視点画像復号に適用することができる。
図19は、多視点画像符号化方式の一例を示す。

0238

図19に示されるように、多視点画像は、複数の視点ビュー(view))の画像を含む。この多視点画像の複数のビューは、他のビューの画像を利用せずに自身のビューの画像のみを用いて符号化・復号を行うベースビューと、他のビューの画像を利用して符号化・復号を行うノンベースビューとによりなる。ノンベースビューは、ベースビューの画像を利用するようにしても良いし、他のノンベースビューの画像を利用するようにしてもよい。

0239

図19のような多視点画像を符号化・復号する場合、各ビューの画像を符号化・復号するが、この各ビューの符号化・復号に対して、上述した第1実施の形態の方法を適用するようにしてもよい。このようにすることにより、4×4画素以外のサイズのブロックのトランスフォームスキップが行われる場合の符号化効率を向上させることができる。

0240

さらに、各ビューの符号化・復号において、上述した第1実施の形態の方法で使用されるフラグやパラメータを共有するようにしてもよい。より具体的には、例えば、SPS,PPS, residual_codingのシンタクス要素等を、各ビューの符号化・復号において共有するようにしてもよい。もちろん、これら以外の必要な情報も、各ビューの符号化・復号において共有するようにしてもよい。

0241

このようにすることにより、冗長な情報の伝送を抑制し、伝送する情報量(符号量)を低減することができる(つまり、符号化効率の低減を抑制することができる)。

0242

(多視点画像符号化装置)
図20は、上述した多視点画像符号化を行う多視点画像符号化装置を示す図である。図20に示されるように、多視点画像符号化装置600は、符号化部601、符号化部602、および多重化部603を有する。

0243

符号化部601は、ベースビュー画像を符号化し、ベースビュー画像符号化ストリームを生成する。符号化部602は、ノンベースビュー画像を符号化し、ノンベースビュー画像符号化ストリームを生成する。多重化部603は、符号化部601において生成されたベースビュー画像符号化ストリームと、符号化部602において生成されたノンベースビュー画像符号化ストリームとを多重化し、多視点画像符号化ストリームを生成する。

0244

この多視点画像符号化装置600の符号化部601および符号化部602に対して、符号化装置10(図1)を適用することができる。つまり、各ビューに対する符号化において、4×4画素以外のサイズのブロックのトランスフォームスキップが行われる場合の符号化効率を向上させることができる。また、符号化部601および符号化部602は、互いに同一のフラグやパラメータ(例えば、画像間の処理に関するシンタクス要素等)を用いて、符号化を行うことができる(すなわち、フラグやパラメータを共有することができる)ので、符号化効率の低減を抑制することができる。

0245

(多視点画像復号装置)
図21は、上述した多視点画像復号を行う多視点画像復号装置を示す図である。図21に示されるように、多視点画像復号装置610は、逆多重化部611、復号部612、および復号部613を有する。

0246

逆多重化部611は、ベースビュー画像符号化ストリームとノンベースビュー画像符号化ストリームとが多重化された多視点画像符号化ストリームを逆多重化し、ベースビュー画像符号化ストリームと、ノンベースビュー画像符号化ストリームとを抽出する。復号部612は、逆多重化部611により抽出されたベースビュー画像符号化ストリームを復号し、ベースビュー画像を得る。復号部613は、逆多重化部611により抽出されたノンベースビュー画像符号化ストリームを復号し、ノンベースビュー画像を得る。

0247

この多視点画像復号装置610の復号部612および復号部613に対して、復号装置110(図14)を適用することができる。つまり、各ビューに対する復号において、4×4画素以外のサイズのブロックのトランスフォームスキップが行われる場合の符号化効率が向上された符号化ストリームを復号することができる。また、復号部612および復号部613は、互いに同一のフラグやパラメータ(例えば、画像間の処理に関するシンタクス要素等)を用いて、復号を行うことができる(すなわち、フラグやパラメータを共有することができる)ので、符号化効率の低減を抑制することができる。

0248

<第4実施の形態>
(階層画像符号化・階層画像復号への適用)
上述した一連の処理は、階層画像符号化・階層画像復号(スケーラブル符号化・スケーラブル復号)に適用することができる。図22は、階層画像符号化方式の一例を示す。

0249

階層画像符号化(スケーラブル符号化)は、画像データを、所定のパラメータについてスケーラブル(scalable)機能を有するように、画像を複数レイヤ化(階層化)し、レイヤ毎に符号化するものである。階層画像復号(スケーラブル復号)は、その階層画像符号化に対応する復号である。

0250

図22に示されるように、画像の階層化においては、スケーラブル機能を有する所定のパラメータを基準として1の画像が複数の画像(レイヤ)に分割される。つまり、階層化された画像(階層画像)は、その所定のパラメータの値が互いに異なる複数の階層(レイヤ)の画像を含む。この階層画像の複数のレイヤは、他のレイヤの画像を利用せずに自身のレイヤの画像のみを用いて符号化・復号を行うベースレイヤと、他のレイヤの画像を利用して符号化・復号を行うノンベースレイヤ(エンハンスメントレイヤとも称する)とによりなる。ノンベースレイヤは、ベースレイヤの画像を利用するようにしても良いし、他のノンベースレイヤの画像を利用するようにしてもよい。

0251

一般的に、ノンベースレイヤは、冗長性が低減されるように、自身の画像と、他のレイヤの画像との差分画像のデータ(差分データ)により構成される。例えば、1の画像をベースレイヤとノンベースレイヤ(エンハンスメントレイヤとも称する)に2階層化した場合、ベースレイヤのデータのみで元の画像よりも低品質な画像が得られ、ベースレイヤのデータとノンベースレイヤのデータを合成することで、元の画像(すなわち高品質な画像)が得られる。

0252

このように画像を階層化することにより、状況に応じて多様な品質の画像を容易に得ることができる。例えば携帯電話のような、処理能力の低い端末に対しては、ベースレイヤ(base layer)のみの画像圧縮情報を伝送し、空間時間解像度の低い、或いは、画質の良くない動画像再生し、テレビやパーソナルコンピュータのような、処理能力の高い端末に対しては、ベースレイヤ(base layer)に加えて、エンハンスメントレイヤ(enhancement layer)の画像圧縮情報を伝送し、空間時間解像度の高い、或いは、画質の高い動画像を再生するといったように、トランスコード処理を行うことなく、端末やネットワーク能力に応じた画像圧縮情報を、サーバから送信することが可能となる。

0253

図22の例のような階層画像を符号化・復号する場合、各レイヤの画像を符号化・復号するが、この各レイヤの符号化・復号に対して、上述した第1実施の形態の方法を適用するようにしてもよい。このようにすることにより、4×4画素以外のサイズのブロックのトランスフォームスキップが行われる場合の符号化効率を向上させることができる。

0254

さらに、各レイヤの符号化・復号において、上述した第1実施の形態の方法で使用されるフラグやパラメータを共有するようにしてもよい。より具体的には、例えば、SPS,PPS, residual_codingのシンタクス要素等を、各レイヤの符号化・復号において共有するようにしてもよい。もちろん、これら以外の必要な情報も、各レイヤの符号化・復号において共有するようにしてもよい。

0255

このようにすることにより、冗長な情報の伝送を抑制し、伝送する情報量(符号量)を低減することができる(つまり、符号化効率の低減を抑制することができる)。

0256

(スケーラブルなパラメータ)
このような階層画像符号化・階層画像復号(スケーラブル符号化・スケーラブル復号)において、スケーラブル(scalable)機能を有するパラメータは、任意である。例えば、図23に示されるような空間解像度をそのパラメータとしてもよい(spatial scalability)。このスペーシャルスケーラビリティ(spatial scalability)の場合、レイヤ毎に画像の解像度が異なる。つまり、この場合、図23に示されるように、各ピクチャが、元の画像より空間的に低解像度のベースレイヤと、ベースレイヤと合成することにより元の空間解像度が得られるエンハンスメントレイヤの2階層に階層化される。もちろん、この階層数は一例であり、任意の階層数に階層化することができる。

0257

また、このようなスケーラブル性を持たせるパラメータとして、他には、例えば、図24に示されるような、時間解像度を適用しても良い(temporal scalability)。このテンポラルスケーラビリティ(temporal scalability)の場合、レイヤ毎にフレームレートが異なる。つまり、この場合、図24に示されるように、各ピクチャが、元の動画像より低フレームレートのベースレイヤと、ベースレイヤと合成することにより元のフレームレートが得られるエンハンスメントレイヤの2階層に階層化される。もちろん、この階層数は一例であり、任意の階層数に階層化することができる。

0258

さらに、このようなスケーラブル性を持たせるパラメータとして、例えば、信号雑音比(SNR(Signal to Noise ratio))を適用しても良い(SNR scalability)。このSNRスケーラビリティ(SNR scalability)の場合、レイヤ毎にSN比が異なる。つまり、この場合、図25に示されるように、各ピクチャが、元の画像よりSNRの低いベースレイヤと、ベースレイヤと合成することにより元のSNRが得られるエンハンスメントレイヤの2階層に階層化される。もちろん、この階層数は一例であり、任意の階層数に階層化することができる。

0259

スケーラブル性を持たせるパラメータは、上述した例以外であっても、もちろんよい。
例えば、スケーラブル性を持たせるパラメータとして、ビット深度を用いることもできる(bit-depth scalability)。このビット深度スケーラビリティ(bit-depth scalability)の場合、レイヤ毎にビット深度が異なる。この場合、例えば、ベースレイヤ(base layer)が8ビット(bit)画像よりなり、これにエンハンスメントレイヤ(enhancement layer)を加えることにより、10ビット(bit)画像が得られるようにすることができる。

0260

また、スケーラブル性を持たせるパラメータとして、クロマフォーマットを用いることもできる(chroma scalability)。このクロマスケーラビリティ(chroma scalability)の場合、レイヤ毎にクロマフォーマットが異なる。この場合、例えば、ベースレイヤ(base layer)が4:2:0フォーマットのコンポーネント画像よりなり、これにエンハンスメントレイヤ(enhancement layer)を加えることにより、4:2:2フォーマットのコンポーネント画像が得られるようにすることができる。

0261

(階層画像符号化装置)
図26は、上述した階層画像符号化を行う階層画像符号化装置を示す図である。図26に示されるように、階層画像符号化装置620は、符号化部621、符号化部622、および多重化部623を有する。

0262

符号化部621は、ベースレイヤ画像を符号化し、ベースレイヤ画像符号化ストリームを生成する。符号化部622は、ノンベースレイヤ画像を符号化し、ノンベースレイヤ画像符号化ストリームを生成する。多重化部623は、符号化部621において生成されたベースレイヤ画像符号化ストリームと、符号化部622において生成されたノンベースレイヤ画像符号化ストリームとを多重化し、階層画像符号化ストリームを生成する。

0263

この階層画像符号化装置620の符号化部621および符号化部622に対して、符号化装置10(図1)を適用することができる。つまり、各レイヤに対する符号化において、4×4画素以外のサイズのブロックのトランスフォームスキップが行われる場合の符号化効率を向上させることができる。また、符号化部621および符号化部622は、互いに同一のフラグやパラメータ(例えば、画像間の処理に関するシンタクス要素等)を用いて、イントラ予測のフィルタ処理の制御等を行うことができる(すなわち、フラグやパラメータを共有することができる)ので、符号化効率の低減を抑制することができる。

0264

(階層画像復号装置)
図27は、上述した階層画像復号を行う階層画像復号装置を示す図である。図27に示されるように、階層画像復号装置630は、逆多重化部631、復号部632、および復号部633を有する。

0265

逆多重化部631は、ベースレイヤ画像符号化ストリームとノンベースレイヤ画像符号化ストリームとが多重化された階層画像符号化ストリームを逆多重化し、ベースレイヤ画像符号化ストリームと、ノンベースレイヤ画像符号化ストリームとを抽出する。復号部632は、逆多重化部631により抽出されたベースレイヤ画像符号化ストリームを復号し、ベースレイヤ画像を得る。復号部633は、逆多重化部631により抽出されたノンベースレイヤ画像符号化ストリームを復号し、ノンベースレイヤ画像を得る。

0266

この階層画像復号装置630の復号部632および復号部633に対して、復号装置110(図14)を適用することができる。つまり、各レイヤに対する復号において、4×4画素以外のサイズのブロックのトランスフォームスキップが行われる場合の符号化効率が向上された符号化ストリームを復号することができる。また、復号部612および復号部613は、互いに同一のフラグやパラメータ(例えば、画像間の処理に関するシンタクス要素等)を用いて、復号を行うことができる(すなわち、フラグやパラメータを共有することができる)ので、符号化効率の低減を抑制することができる。

0267

<第5実施の形態>
(テレビジョン装置の構成例)
図28は、本開示を適用したテレビジョン装置の概略構成を例示している。テレビジョン装置900は、アンテナ901、チューナ902、デマルチプレクサ903、デコーダ904、映像信号処理部905、表示部906、音声信号処理部907、スピーカ908、外部インタフェース部909を有している。さらに、テレビジョン装置900は、制御部910、ユーザインタフェース部911等を有している。

0268

チューナ902は、アンテナ901で受信された放送波信号から所望のチャンネル選局して復調を行い、得られた符号化ビットストリームをデマルチプレクサ903に出力する。

0269

デマルチプレクサ903は、符号化ビットストリームから視聴対象である番組映像音声パケットを抽出して、抽出したパケットのデータをデコーダ904に出力する。また、デマルチプレクサ903は、EPG(Electronic Program Guide)等のデータのパケットを制御部910に供給する。なお、スクランブルが行われている場合、デマルチプレクサ等でスクランブルの解除を行う。

0270

デコーダ904は、パケットの復号化処理を行い、復号処理化によって生成された映像データを映像信号処理部905、音声データを音声信号処理部907に出力する。

0271

映像信号処理部905は、映像データに対して、ノイズ除去ユーザ設定に応じた映像処理等を行う。映像信号処理部905は、表示部906に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成する。また、映像信号処理部905は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それを番組の映像データに重畳する。映像信号処理部905は、このようにして生成した映像データに基づいて駆動信号を生成して表示部906を駆動する。

0272

表示部906は、映像信号処理部905からの駆動信号に基づき表示デバイス(例えば液晶表示素子等)を駆動して、番組の映像などを表示させる。

0273

音声信号処理部907は、音声データに対してノイズ除去などの所定の処理を施し、処理後の音声データのD/A変換処理増幅処理を行いスピーカ908に供給することで音声出力を行う。

0274

外部インタフェース部909は、外部機器やネットワークと接続するためのインタフェースであり、映像データや音声データ等のデータ送受信を行う。

0275

制御部910にはユーザインタフェース部911が接続されている。ユーザインタフェース部911は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部910に供給する。

0276

制御部910は、CPU(Central Processing Unit)やメモリ等を用いて構成されている。メモリは、CPUにより実行されるプログラムやCPUが処理を行う上で必要な各種のデータ、EPGデータ、ネットワークを介して取得されたデータ等を記憶する。メモリに記憶されているプログラムは、テレビジョン装置900の起動時などの所定タイミングでCPUにより読み出されて実行される。CPUは、プログラムを実行することで、テレビジョン装置900がユーザ操作に応じた動作となるように各部を制御する。

0277

なお、テレビジョン装置900では、チューナ902、デマルチプレクサ903、映像信号処理部905、音声信号処理部907、外部インタフェース部909等と制御部910を接続するためバス912が設けられている。

0278

このように構成されたテレビジョン装置では、デコーダ904に本願の復号装置(復号方法)の機能が設けられる。このため、4×4画素以外のサイズのブロックのトランスフォームスキップが行われる場合の符号化効率が向上された符号化ストリームを復号することができる。

0279

<第6実施の形態>
(携帯電話機の構成例)
図29は、本開示を適用した携帯電話機の概略構成を例示している。携帯電話機920は、通信部922、音声コーデック923、カメラ部926、画像処理部927、多重分離部928、記録再生部929、表示部930、制御部931を有している。これらは、バス933を介して互いに接続されている。

0280

また、通信部922にはアンテナ921が接続されており、音声コーデック923には、スピーカ924とマイクロホン925が接続されている。さらに制御部931には、操作部932が接続されている。

0281

携帯電話機920は、音声通話モードデータ通信モード等の各種モードで、音声信号送受信電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。

0282

音声通話モードにおいて、マイクロホン925で生成された音声信号は、音声コーデック923で音声データへの変換やデータ圧縮が行われて通信部922に供給される。通信部922は、音声データの変調処理周波数変換処理等を行い、送信信号を生成する。また、通信部922は、送信信号をアンテナ921に供給して図示しない基地局へ送信する。また、通信部922は、アンテナ921で受信した受信信号増幅や周波数変換処理および復調処理等を行い、得られた音声データを音声コーデック923に供給する。音声コーデック923は、音声データのデータ伸張アナログ音声信号への変換を行いスピーカ924に出力する。

0283

また、データ通信モードにおいて、メール送信を行う場合、制御部931は、操作部932の操作によって入力された文字データを受け付けて、入力された文字を表示部930に表示する。また、制御部931は、操作部932におけるユーザ指示等に基づいてメールデータを生成して通信部922に供給する。通信部922は、メールデータの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ921から送信する。また、通信部922は、アンテナ921で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、メールデータを復元する。このメールデータを、表示部930に供給して、メール内容の表示を行う。

0284

なお、携帯電話機920は、受信したメールデータを、記録再生部929で記憶媒体に記憶させることも可能である。記憶媒体は、書き換え可能な任意の記憶媒体である。例えば、記憶媒体は、RAMや内蔵型フラッシュメモリ等の半導体メモリ、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USB(Universal Serial Bus)メモリ、またはメモリカード等のリムーバブルメディアである。

0285

データ通信モードにおいて画像データを送信する場合、カメラ部926で生成された画像データを、画像処理部927に供給する。画像処理部927は、画像データの符号化処理を行い、符号化データを生成する。

0286

多重分離部928は、画像処理部927で生成された符号化データと、音声コーデック923から供給された音声データを所定の方式で多重化して通信部922に供給する。通信部922は、多重化データの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ921から送信する。また、通信部922は、アンテナ921で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、多重化データを復元する。この多重化データを多重分離部928に供給する。多重分離部928は、多重化データの分離を行い、符号化データを画像処理部927、音声データを音声コーデック923に供給する。
画像処理部927は、符号化データの復号化処理を行い、画像データを生成する。この画像データを表示部930に供給して、受信した画像の表示を行う。音声コーデック923は、音声データをアナログ音声信号に変換してスピーカ924に供給して、受信した音声を出力する。

0287

このように構成された携帯電話装置では、画像処理部927に本願の符号化装置および復号装置(符号化方法および復号方法)の機能が設けられる。このため、4×4画素以外のサイズのブロックのトランスフォームスキップが行われる場合の符号化効率を向上させることができる。また、4×4画素以外のサイズのブロックのトランスフォームスキップが行われる場合の符号化効率が向上された符号化ストリームを復号することができる。

0288

<第7実施の形態>
(記録再生装置の構成例)
図30は、本開示を適用した記録再生装置の概略構成を例示している。記録再生装置940は、例えば受信した放送番組オーディオデータとビデオデータを、記録媒体に記録して、その記録されたデータをユーザの指示に応じたタイミングでユーザに提供する。また、記録再生装置940は、例えば他の装置からオーディオデータやビデオデータを取得し、それらを記録媒体に記録させることもできる。さらに、記録再生装置940は、記録媒体に記録されているオーディオデータやビデオデータを復号して出力することで、モニタ装置等において画像表示や音声出力を行うことができるようにする。

0289

記録再生装置940は、チューナ941、外部インタフェース部942、エンコーダ943、HDD(Hard Disk Drive)部944、ディスクドライブ945、セレクタ946、デコーダ947、OSD(On-Screen Display)部948、制御部949、ユーザインタフェース部950を有している。

0290

チューナ941は、図示しないアンテナで受信された放送信号から所望のチャンネルを選局する。チューナ941は、所望のチャンネルの受信信号を復調して得られた符号化ビットストリームをセレクタ946に出力する。

0291

外部インタフェース部942は、IEEE1394インタフェース、ネットワークインタフェース部、USBインタフェース、フラッシュメモリインタフェース等の少なくともいずれかで構成されている。外部インタフェース部942は、外部機器やネットワーク、メモリカード等と接続するためのインタフェースであり、記録する映像データや音声データ等のデータ受信を行う。

0292

エンコーダ943は、外部インタフェース部942から供給された映像データや音声データが符号化されていないとき所定の方式で符号化を行い、符号化ビットストリームをセレクタ946に出力する。

0293

HDD部944は、映像や音声等のコンテンツデータ、各種プログラムやその他のデータ等を内蔵のハードディスクに記録し、また再生時等にそれらを当該ハードディスクから読み出す。

0294

ディスクドライブ945は、装着されている光ディスクに対する信号の記録および再生を行う。光ディスク、例えばDVDディスク(DVD−Video、DVD−RAM、DVD−R、DVD−RW、DVD+R、DVD+RW等)やBlu−ray(登録商標)ディスク等である。

0295

セレクタ946は、映像や音声の記録時には、チューナ941またはエンコーダ943からのいずれかの符号化ビットストリームを選択して、HDD部944やディスクドライブ945のいずれかに供給する。また、セレクタ946は、映像や音声の再生時に、HDD部944またはディスクドライブ945から出力された符号化ビットストリームをデコーダ947に供給する。

0296

デコーダ947は、符号化ビットストリームの復号化処理を行う。デコーダ947は、復号処理化を行うことにより生成された映像データをOSD部948に供給する。また、デコーダ947は、復号処理化を行うことにより生成された音声データを出力する。

0297

OSD部948は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それをデコーダ947から出力された映像データに重畳して出力する。

0298

制御部949には、ユーザインタフェース部950が接続されている。ユーザインタフェース部950は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部949に供給する。

0299

制御部949は、CPUやメモリ等を用いて構成されている。メモリは、CPUにより実行されるプログラムやCPUが処理を行う上で必要な各種のデータを記憶する。メモリに記憶されているプログラムは、記録再生装置940の起動時などの所定タイミングでCPUにより読み出されて実行される。CPUは、プログラムを実行することで、記録再生装置940がユーザ操作に応じた動作となるように各部を制御する。

0300

このように構成された記録再生装置では、デコーダ947に本願の復号装置(復号方法)の機能が設けられる。このため、4×4画素以外のサイズのブロックのトランスフォームスキップが行われる場合の符号化効率が向上された符号化ストリームを復号することができる。

0301

<第8実施の形態>
(撮像装置の構成例)
図31は、本開示を適用した撮像装置の概略構成を例示している。撮像装置960は、被写体を撮像し、被写体の画像を表示部に表示させたり、それを画像データとして、記録媒体に記録する。

0302

撮像装置960は、光学ブロック961、撮像部962、カメラ信号処理部963、画像データ処理部964、表示部965、外部インタフェース部966、メモリ部967、メディアドライブ968、OSD部969、制御部970を有している。また、制御部970には、ユーザインタフェース部971が接続されている。さらに、画像データ処理部964や外部インタフェース部966、メモリ部967、メディアドライブ968、OSD部969、制御部970等は、バス972を介して接続されている。

0303

光学ブロック961は、フォーカスレンズ絞り機構等を用いて構成されている。光学ブロック961は、被写体の光学像を撮像部962の撮像面に結像させる。撮像部962は、CCDまたはCMOSイメージセンサを用いて構成されており、光電変換によって光学像に応じた電気信号を生成してカメラ信号処理部963に供給する。

0304

カメラ信号処理部963は、撮像部962から供給された電気信号に対してニー補正ガンマ補正色補正等の種々のカメラ信号処理を行う。カメラ信号処理部963は、カメラ信号処理後の画像データを画像データ処理部964に供給する。

0305

画像データ処理部964は、カメラ信号処理部963から供給された画像データの符号化処理を行う。画像データ処理部964は、符号化処理を行うことにより生成された符号化データを外部インタフェース部966やメディアドライブ968に供給する。また、画像データ処理部964は、外部インタフェース部966やメディアドライブ968から供給された符号化データの復号化処理を行う。画像データ処理部964は、復号化処理を行うことにより生成された画像データを表示部965に供給する。また、画像データ処理部964は、カメラ信号処理部963から供給された画像データを表示部965に供給する処理や、OSD部969から取得した表示用データを、画像データに重畳させて表示部965に供給する。

0306

OSD部969は、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを生成して画像データ処理部964に出力する。

0307

外部インタフェース部966は、例えば、USB入出力端子などで構成され、画像の印刷を行う場合に、プリンタと接続される。また、外部インタフェース部966には、必要に応じてドライブが接続され、磁気ディスク、光ディスク等のリムーバブルメディアが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、インストールされる。さらに、外部インタフェース部966は、LANやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。制御部970は、例えば、ユーザインタフェース部971からの指示にしたがって、メディアドライブ968から符号化データを読み出し、それを外部インタフェース部966から、ネットワークを介して接続される他の装置に供給させることができる。また、制御部970は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース部966を介して取得し、それを画像データ処理部964に供給したりすることができる。

0308

メディアドライブ968で駆動される記録メディアとしては、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアが用いられる。また、記録メディアは、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触IC(IntegratedCircuit)カード等であってもよい。

0309

また、メディアドライブ968と記録メディアを一体化し、例えば、内蔵型ハードディスクドライブSSD(Solid State Drive)等のように、非可搬性の記憶媒体により構成されるようにしてもよい。

0310

制御部970は、CPUを用いて構成されている。メモリ部967は、制御部970により実行されるプログラムや制御部970が処理を行う上で必要な各種のデータ等を記憶する。メモリ部967に記憶されているプログラムは、撮像装置960の起動時などの所定タイミングで制御部970により読み出されて実行される。制御部970は、プログラムを実行することで、撮像装置960がユーザ操作に応じた動作となるように各部を制御する。

0311

このように構成された撮像装置では、画像データ処理部964に本願の符号化装置および復号装置(符号化方法および復号方法)の機能が設けられる。このため、4×4画素以外のサイズのブロックのトランスフォームスキップが行われる場合の符号化効率を向上させることができる。また、4×4画素以外のサイズのブロックのトランスフォームスキップが行われる場合の符号化効率が向上された符号化ストリームを復号することができる。

0312

<スケーラブル符号化の応用例>
(第1のシステム
次に、スケーラブル符号化(階層符号化)されたスケーラブル符号化データの具体的な利用例について説明する。スケーラブル符号化は、例えば、図32に示される例のように、伝送するデータの選択のために利用される。

0313

図32に示されるデータ伝送システム1000において、配信サーバ1002は、スケーラブル符号化データ記憶部1001に記憶されているスケーラブル符号化データを読み出し、ネットワーク1003を介して、パーソナルコンピュータ1004、AV機器1005、タブレットデバイス1006、および携帯電話機1007等の端末装置に配信する。

0314

その際、配信サーバ1002は、端末装置の能力や通信環境等に応じて、適切な品質の符号化データを選択して伝送する。配信サーバ1002が不要に高品質なデータを伝送しても、端末装置において高画質な画像を得られるとは限らず、遅延やオーバーフローの発生要因となる恐れがある。また、不要に通信帯域占有したり、端末装置の負荷を不要に増大させたりしてしまう恐れもある。逆に、配信サーバ1002が不要に低品質なデータを伝送しても、端末装置において十分な画質の画像を得ることができない恐れがある。そのため、配信サーバ1002は、スケーラブル符号化データ記憶部1001に記憶されているスケーラブル符号化データを、適宜、端末装置の能力や通信環境等に対して適切な品質の符号化データとして読み出し、伝送する。

0315

例えば、スケーラブル符号化データ記憶部1001は、スケーラブルに符号化されたスケーラブル符号化データ(BL+EL)1011を記憶するとする。このスケーラブル符号化データ(BL+EL)1011は、ベースレイヤとエンハンスメントレイヤの両方を含む符号化データであり、復号することにより、ベースレイヤの画像およびエンハンスメントレイヤの画像の両方を得ることができるデータである。

0316

配信サーバ1002は、データを伝送する端末装置の能力や通信環境等に応じて、適切なレイヤを選択し、そのレイヤのデータを読み出す。例えば、配信サーバ1002は、処理能力の高いパーソナルコンピュータ1004やタブレットデバイス1006に対しては、高品質なスケーラブル符号化データ(BL+EL)1011をスケーラブル符号化データ記憶部1001から読み出し、そのまま伝送する。これに対して、例えば、配信サーバ1002は、処理能力の低いAV機器1005や携帯電話機1007に対しては、スケーラブル符号化データ(BL+EL)1011からベースレイヤのデータを抽出し、スケーラブル符号化データ(BL+EL)1011と同じコンテンツのデータであるが、スケーラブル符号化データ(BL+EL)1011よりも低品質なスケーラブル符号化データ(BL)1012として伝送する。

0317

このようにスケーラブル符号化データを用いることにより、データ量を容易に調整することができるので、遅延やオーバーフローの発生を抑制したり、端末装置や通信媒体の負荷の不要な増大を抑制したりすることができる。また、スケーラブル符号化データ(BL+EL)1011は、レイヤ間の冗長性が低減されているので、各レイヤの符号化データを個別のデータとする場合よりもそのデータ量を低減させることができる。したがって、スケーラブル符号化データ記憶部1001の記憶領域をより効率よく使用することができる。

0318

なお、パーソナルコンピュータ1004乃至携帯電話機1007のように、端末装置には様々な装置を適用することができるので、端末装置のハードウエアの性能は、装置によって異なる。また、端末装置が実行するアプリケーションも様々であるので、そのソフトウエアの能力も様々である。さらに、通信媒体となるネットワーク1003も、例えばインターネットやLAN(Local Area Network)等、有線若しくは無線、またはその両方を含むあらゆる通信回線網を適用することができ、そのデータ伝送能力は様々である。さらに、他の通信等によっても変化する恐れがある。

0319

そこで、配信サーバ1002は、データ伝送を開始する前に、データの伝送先となる端末装置と通信を行い、端末装置のハードウエア性能や、端末装置が実行するアプリケーション(ソフトウエア)の性能等といった端末装置の能力に関する情報、並びに、ネットワーク1003の利用可帯域幅等の通信環境に関する情報を得るようにしてもよい。そして、配信サーバ1002が、ここで得た情報を基に、適切なレイヤを選択するようにしてもよい。

0320

なお、レイヤの抽出は、端末装置において行うようにしてもよい。例えば、パーソナルコンピュータ1004が、伝送されたスケーラブル符号化データ(BL+EL)1011を復号し、ベースレイヤの画像を表示しても良いし、エンハンスメントレイヤの画像を表示しても良い。また、例えば、パーソナルコンピュータ1004が、伝送されたスケーラブル符号化データ(BL+EL)1011から、ベースレイヤのスケーラブル符号化データ(BL)1012を抽出し、記憶したり、他の装置に転送したり、復号してベースレイヤの画像を表示したりするようにしてもよい。

0321

もちろん、スケーラブル符号化データ記憶部1001、配信サーバ1002、ネットワーク1003、および端末装置の数はいずれも任意である。また、以上においては、配信サーバ1002がデータを端末装置に伝送する例について説明したが、利用例はこれに限定されない。データ伝送システム1000は、スケーラブル符号化された符号化データを端末装置に伝送する際、端末装置の能力や通信環境等に応じて、適切なレイヤを選択して伝送するシステムであれば、任意のシステムに適用することができる。

0322

(第2のシステム)
また、スケーラブル符号化は、例えば、図33に示される例のように、複数の通信媒体を介する伝送のために利用される。

0323

図33に示されるデータ伝送システム1100において、放送局1101は、地上波放送1111により、ベースレイヤのスケーラブル符号化データ(BL)1121を伝送する。また、放送局1101は、有線若しくは無線またはその両方の通信網よりなる任意のネットワーク1112を介して、エンハンスメントレイヤのスケーラブル符号化データ(EL)1122を伝送する(例えばパケット化して伝送する)。

0324

端末装置1102は、放送局1101が放送する地上波放送1111の受信機能を有し、この地上波放送1111を介して伝送されるベースレイヤのスケーラブル符号化データ(BL)1121を受け取る。また、端末装置1102は、ネットワーク1112を介した通信を行う通信機能をさらに有し、このネットワーク1112を介して伝送されるエンハンスメントレイヤのスケーラブル符号化データ(EL)1122を受け取る。

0325

端末装置1102は、例えばユーザ指示等に応じて、地上波放送1111を介して取得したベースレイヤのスケーラブル符号化データ(BL)1121を、復号してベースレイヤの画像を得たり、記憶したり、他の装置に伝送したりする。

0326

また、端末装置1102は、例えばユーザ指示等に応じて、地上波放送1111を介して取得したベースレイヤのスケーラブル符号化データ(BL)1121と、ネットワーク1112を介して取得したエンハンスメントレイヤのスケーラブル符号化データ(EL)1122とを合成して、スケーラブル符号化データ(BL+EL)を得たり、それを復号してエンハンスメントレイヤの画像を得たり、記憶したり、他の装置に伝送したりする。

0327

以上のように、スケーラブル符号化データは、例えばレイヤ毎に異なる通信媒体を介して伝送させることができる。したがって、負荷を分散させることができ、遅延やオーバーフローの発生を抑制することができる。

0328

また、状況に応じて、伝送に使用する通信媒体を、レイヤ毎に選択することができるようにしてもよい。例えば、データ量が比較的多いベースレイヤのスケーラブル符号化データ(BL)1121を帯域幅の広い通信媒体を介して伝送させ、データ量が比較的少ないエンハンスメントレイヤのスケーラブル符号化データ(EL)1122を帯域幅の狭い通信媒体を介して伝送させるようにしてもよい。また、例えば、エンハンスメントレイヤのスケーラブル符号化データ(EL)1122を伝送する通信媒体を、ネットワーク1112とするか、地上波放送1111とするかを、ネットワーク1112の利用可能帯域幅に応じて切り替えるようにしてもよい。もちろん、任意のレイヤのデータについて同様である。

0329

このように制御することにより、データ伝送における負荷の増大を、より抑制することができる。

0330

もちろん、レイヤ数は任意であり、伝送に利用する通信媒体の数も任意である。また、データ配信先となる端末装置1102の数も任意である。さらに、以上においては、放送局1101からの放送を例に説明したが、利用例はこれに限定されない。データ伝送システム1100は、スケーラブル符号化された符号化データを、レイヤを単位として複数に分割し、複数の回線を介して伝送するシステムであれば、任意のシステムに適用することができる。

0331

(第3のシステム)
また、スケーラブル符号化は、例えば、図34に示される例のように、符号化データの記憶に利用される。

0332

図34に示される撮像システム1200において、撮像装置1201は、被写体1211を撮像して得られた画像データをスケーラブル符号化し、スケーラブル符号化データ(BL+EL)1221として、スケーラブル符号化データ記憶装置1202に供給する。

0333

スケーラブル符号化データ記憶装置1202は、撮像装置1201から供給されるスケーラブル符号化データ(BL+EL)1221を、状況に応じた品質で記憶する。例えば、通常時の場合、スケーラブル符号化データ記憶装置1202は、スケーラブル符号化データ(BL+EL)1221からベースレイヤのデータを抽出し、低品質でデータ量の少ないベースレイヤのスケーラブル符号化データ(BL)1222として記憶する。これに対して、例えば、注目時の場合、スケーラブル符号化データ記憶装置1202は、高品質でデータ量の多いスケーラブル符号化データ(BL+EL)1221のまま記憶する。

0334

このようにすることにより、スケーラブル符号化データ記憶装置1202は、必要な場合のみ、画像を高画質に保存することができるので、画質劣化による画像の価値の低減を抑制しながら、データ量の増大を抑制することができ、記憶領域の利用効率を向上させることができる。

0335

例えば、撮像装置1201が監視カメラであるとする。撮像画像監視対象(例えば侵入者)が写っていない場合(通常時の場合)、撮像画像の内容は重要でない可能性が高いので、データ量の低減が優先され、その画像データ(スケーラブル符号化データ)は、低品質に記憶される。これに対して、撮像画像に監視対象が被写体1211として写っている場合(注目時の場合)、その撮像画像の内容は重要である可能性が高いので、画質が優先され、その画像データ(スケーラブル符号化データ)は、高品質に記憶される。

0336

なお、通常時であるか注目時であるかは、例えば、スケーラブル符号化データ記憶装置1202が、画像を解析することにより判定しても良い。また、撮像装置1201が判定し、その判定結果をスケーラブル符号化データ記憶装置1202に伝送するようにしてもよい。

0337

なお、通常時であるか注目時であるかの判定基準は任意であり、判定基準とする画像の内容は任意である。もちろん、画像の内容以外の条件を判定基準とすることもできる。例えば、収録した音声の大きさや波形等に応じて切り替えるようにしてもよいし、所定の時間毎に切り替えるようにしてもよいし、ユーザ指示等の外部からの指示によって切り替えるようにしてもよい。

0338

また、以上においては、通常時と注目時の2つの状態を切り替える例を説明したが、状態の数は任意であり、例えば、通常時、やや注目時、注目時、非常に注目時等のように、3つ以上の状態を切り替えるようにしてもよい。ただし、この切り替える状態の上限数は、スケーラブル符号化データのレイヤ数に依存する。

0339

また、撮像装置1201が、スケーラブル符号化のレイヤ数を、状態に応じて決定するようにしてもよい。例えば、通常時の場合、撮像装置1201が、低品質でデータ量の少ないベースレイヤのスケーラブル符号化データ(BL)1222を生成し、スケーラブル符号化データ記憶装置1202に供給するようにしてもよい。また、例えば、注目時の場合、撮像装置1201が、高品質でデータ量の多いベースレイヤのスケーラブル符号化データ(BL+EL)1221を生成し、スケーラブル符号化データ記憶装置1202に供給するようにしてもよい。

0340

以上においては、監視カメラを例に説明したが、この撮像システム1200の用途は任意であり、監視カメラに限定されない。

0341

<第9実施の形態>
(実施のその他の例)
以上において本開示を適用する装置やシステム等の例を説明したが、本開示は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI(Large Scale Integration)等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等(すなわち、装置の一部の構成)として実施することもできる。

0342

(ビデオセットの構成例)
本開示をセットとして実施する場合の例について、図35を参照して説明する。図35は、本開示を適用したビデオセットの概略的な構成の一例を示している。

0343

近年、電子機器多機能化が進んでおり、その開発や製造において、その一部の構成を販売や提供等として実施する場合、1機能を有する構成として実施を行う場合だけでなく、関連する機能を有する複数の構成を組み合わせ、複数の機能を有する1セットとして実施を行う場合も多く見られるようになってきた。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ