図面 (/)

技術 情報処理装置および方法

出願人 ソニー株式会社
発明者 平林光浩服部しのぶ中神央二
出願日 2014年7月18日 (6年4ヶ月経過) 出願番号 2015-528271
公開日 2017年3月2日 (3年8ヶ月経過) 公開番号 WO2015-012226
状態 特許登録済
技術分野 TV信号の記録 双方向TV,動画像配信等 記録のためのテレビジョン信号処理 TV信号の圧縮,符号化方式
主要キーワード ベーストラック サンプルボックス タイルセット タイルグループ ナルユニット タイル群 サンプルグループ サンプルカウント
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年3月2日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題・解決手段

本開示は、復号に必要な性能をより正確に把握することができるようにする情報処理装置および方法に関する。MP4ファイルフォーマットファイルであって、全体画像の中の独立に復号することができる部分画像に対応する複数のNALunitを特定する情報をmoovに格納し、符号化された部分画像をmdatに格納するファイルを生成し、生成されたファイルを送信する。本開示は、例えば、画像符号化装置、または、画像復号装置等の情報処理装置に適用することができる。

概要

背景

近年、MPEG-4 Part10 (Advanced Video Coding、以下AVCと記す)より更なる符号化効率の向上を目的として、ITU-T(International Telecommunication Union Telecommunication Standardization Sector)と、ISO/IEC(International Organization for Standardization / International Electrotechnical Commission)の共同標準化団体であるJCTVC(Joint Collaboration Team - Video Coding)により、HEVC(High Efficiency Video Coding)と呼ばれる符号化方式の標準化が進められている(例えば、非特許文献1参照)。

HEVCでは、タイル(Tile)構造を利用し、アプリケーションにより復号が必要となる領域のみを復号することが可能となっている。タイル領域が単独で復号可能であることを示すために、HEVC第2版以降(MV-HEVC, SHVC, Range Ext.等含む)で、Motion-constrained tile sets SEIによりサポートされる。

ところで、HTTP(HyperText Transfer Protocol)を利用したコンテンツ配信技術として、MPEG-DASH(Moving Picture Experts Group - Dynamic Adaptive Streaming over HTTP)がある(例えば、非特許文献2参照)。MPEG-DASHでは、上述したHEVCのような符号化方式で符号化された画像データのビットストリームが、例えばMP4ファイルフォーマット等のような所定のファイルフォーマットでファイル化されて配信される。

概要

本開示は、復号に必要な性能をより正確に把握することができるようにする情報処理装置および方法に関する。MP4ファイルフォーマットのファイルであって、全体画像の中の独立に復号することができる部分画像に対応する複数のNALunitを特定する情報をmoovに格納し、符号化された部分画像をmdatに格納するファイルを生成し、生成されたファイルを送信する。本開示は、例えば、画像符号化装置、または、画像復号装置等の情報処理装置に適用することができる。

目的

そこで、例1では、サブサンプル(タイル)毎にヒント情報を格納したが、例2では、このように複数のサブサンプルをグループとし、そのグループの復号に必要な情報も提供する

効果

実績

技術文献被引用数
0件
牽制数
1件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

MP4ファイルフォーマットファイルであって、全体画像の中の独立に復号することができる部分画像に対応する複数のNALunitを特定する情報をmoovに格納し、符号化された前記部分画像をmdatに格納するファイルを生成するファイル生成部と、前記ファイル生成部により生成された前記ファイルを送信する送信部とを備える情報処理装置

請求項2

前記複数のNALunitを特定する情報は、前記部分画像に対応する複数のNAL unitのグループを表す情報を含む請求項1に記載の情報処理装置。

請求項3

前記複数のNALunitを特定する情報は、前記部分画像に対応する複数のNAL unitの数を表す情報を含む請求項1に記載の情報処理装置。

請求項4

前記複数のNALunitを特定する情報は、前記部分画像に対応する前記NAL unitの中で、最初のNAL unitを表す情報を含む請求項1に記載の情報処理装置。

請求項5

前記複数のNALunitを特定する情報は、前記部分画像に対応する全ての前記NAL unitを表す情報を含む請求項1に記載の情報処理装置。

請求項6

前記複数のNALunitを特定する情報は、前記moovの中のVisualSampleGroupEntryを用いて定義される請求項1に記載の情報処理装置。

請求項7

前記ファイルは、さらに、前記複数のNALunitをマップ化する情報を複数格納する請求項1に記載の情報処理装置。

請求項8

前記部分画像は、HEVC(High Efficiency Video Coding)におけるTileである請求項1に記載の情報処理装置。

請求項9

MP4ファイルフォーマットのファイルであって、全体画像の中の独立に復号することができる部分画像に対応する複数のNALunitを特定する情報をmoovに格納し、符号化された前記部分画像をmdatに格納するファイルを生成し、生成された前記ファイルを送信する情報処理方法

請求項10

MP4ファイルフォーマットのファイルであって、全体画像の中の独立に復号することができる部分画像に対応する複数のNALunitを特定する情報をmoovに格納し、符号化された前記部分画像をmdatに格納するファイルを再生するファイル再生部を備える情報処理装置。

請求項11

前記複数のNALunitを特定する情報は、前記部分画像に対応する複数のNAL unitのグループを表す情報を含む請求項10に記載の情報処理装置。

請求項12

前記複数のNALunitを特定する情報は、前記部分画像に対応する複数のNAL unitの数を表す情報を含む請求項10に記載の情報処理装置。

請求項13

前記複数のNALunitを特定する情報は、前記部分画像に対応する前記NAL unitの中で、最初のNAL unitを表す情報を含む請求項10に記載の情報処理装置。

請求項14

前記複数のNALunitを特定する情報は、前記部分画像に対応する全ての前記NAL unitを表す情報を含む請求項10に記載の情報処理装置。

請求項15

前記複数のNALunitを特定する情報は、前記moovの中のVisualSampleGroupEntryを用いて定義される請求項10に記載の情報処理装置。

請求項16

前記ファイルは、さらに、前記複数のNALunitをマップ化する情報を複数格納する請求項10に記載の情報処理装置。

請求項17

前記部分画像は、HEVC(High Efficiency Video Coding)におけるTileである請求項10に記載の情報処理装置。

請求項18

前記ファイルは、VisualSampleGroupEntryに、前記部分画像の前記全体画像内での位置を表す情報と、前記部分画像の大きさを表す情報と、前記複数のNALunitを特定する情報とを格納し、前記ファイル再生部は、前記部分画像の前記全体画像内での位置を表す情報と、前記部分画像の大きさを表す情報とに基づいて、再生したい部分画像を選択し、前記複数のNAL unitを特定する情報に基づいて、前記再生したい部分画像のデータを取得し、ビットストリームを生成する請求項10に記載の情報処理装置。

請求項19

前記ファイルは、VisualSampleGroupEntryに、前記部分画像の前記全体画像内での位置を表す情報と、前記部分画像の大きさを表す情報と、前記複数のNALunitを特定する情報とを格納し、前記ファイル再生部は、前記部分画像の前記全体画像内での位置を表す情報と、前記部分画像の大きさを表す情報とに基づいて、再生したい領域を選択し、前記複数のNAL unitを特定する情報に基づいて、前記再生したい領域に対応する部分画像のデータを取得し、ビットストリームを生成する請求項10に記載の情報処理装置。

請求項20

前記ファイルは、TileRegionGroupEntryに、前記部分画像の前記全体画像内での位置を表す情報と、前記部分画像の大きさを表す情報と、前記複数のNALunitを特定する情報とを格納し、前記ファイル再生部は、前記部分画像の前記全体画像内での位置を表す情報と、前記部分画像の大きさを表す情報とに基づいて、再生したいタイルを選択し、前記複数のNAL unitを特定する情報に基づいて、選択した前記再生したいタイルに対応するトラックを取得し、取得した前記トラックに対応する部分画像のビットストリームを生成する請求項10に記載の情報処理装置。

請求項21

前記ファイルは、TileRegionGroupEntryに、前記部分画像の前記全体画像内での位置を表す情報と、前記部分画像の大きさを表す情報と、前記複数のNALunitを特定する情報とを格納し、前記ファイル再生部は、前記部分画像の前記全体画像内での位置を表す情報と、前記部分画像の大きさを表す情報とに基づいて、再生したい領域を選択し、前記複数のNAL unitを特定する情報に基づいて、選択した前記再生したい領域に対応する複数のトラックを取得し、取得した複数の前記トラックに対応する部分画像のビットストリームを生成する請求項10に記載の情報処理装置。

請求項22

前記ファイル再生部により再生されて生成された前記部分画像のビットストリームを復号する復号部をさらに備える請求項10に記載の情報処理装置。

請求項23

MP4ファイルフォーマットのファイルであって、全体画像の中の独立に復号することができる部分画像に対応する複数のNALunitを特定する情報をmoovに格納し、符号化された前記部分画像をmdatに格納するファイルを再生する情報処理方法。

技術分野

0001

本開示は情報処理装置および方法に関し、特に、復号に必要な性能をより正確に把握することができるようにした情報処理装置および方法に関する。

背景技術

0002

近年、MPEG-4 Part10 (Advanced Video Coding、以下AVCと記す)より更なる符号化効率の向上を目的として、ITU-T(International Telecommunication Union Telecommunication Standardization Sector)と、ISO/IEC(International Organization for Standardization / International Electrotechnical Commission)の共同標準化団体であるJCTVC(Joint Collaboration Team - Video Coding)により、HEVC(High Efficiency Video Coding)と呼ばれる符号化方式の標準化が進められている(例えば、非特許文献1参照)。

0003

HEVCでは、タイル(Tile)構造を利用し、アプリケーションにより復号が必要となる領域のみを復号することが可能となっている。タイル領域が単独で復号可能であることを示すために、HEVC第2版以降(MV-HEVC, SHVC, Range Ext.等含む)で、Motion-constrained tile sets SEIによりサポートされる。

0004

ところで、HTTP(HyperText Transfer Protocol)を利用したコンテンツ配信技術として、MPEG-DASH(Moving Picture Experts Group - Dynamic Adaptive Streaming over HTTP)がある(例えば、非特許文献2参照)。MPEG-DASHでは、上述したHEVCのような符号化方式で符号化された画像データのビットストリームが、例えばMP4ファイルフォーマット等のような所定のファイルフォーマットでファイル化されて配信される。

先行技術

0005

Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, Ye-Kui Wang, Thomas Wiegand, " High Efficiency Video Coding (HEVC) text specification draft 10 (forFDIS & Last Call)", JCTVC-L1003_v34, Joint Collaborative Team on Video Coding (JCT-VC) ofITU-T SG 16 WP 3 and ISO/IECJTC 1/SC 29/WG 11 12th Meeting: Geneva, CH, 14-23 Jan. 2013
MPEG-DASH(Dynamic Adaptive Streaming overHTTP)(URL:http://mpeg.chiariglione.org/standards/mpeg-dash/media-presentation-description-and-segment-formats/text-isoiec-23009-12012-dam-1)

発明が解決しようとする課題

0006

しかしながら、ビットストリームにおいてもファイルフォーマットにおいても、デコーダが、ストリームを復号できるかの判別をするための基準となっているレベル(Level)やバッファ(Buffer)容量関連の情報は、ストリーム全体としての値若しくはレイヤ(Layer)単位の値が定義されているのみであった。

0007

そのため、全体画像の一部のみを復号するアプリケーションにおいても、復号可否の判断は、画面全体を復号する場合の負荷を想定して行われることになり、不要に高いレベル(Level)のデコーダが必要になってしまう恐れがあった。また、そのために配信できるアプリケーションが不要に制限されてしまう恐れもあった。

0008

本開示は、このような状況に鑑みてなされたものであり、復号に必要な性能をより正確に把握することができるようにするものである。

課題を解決するための手段

0009

本技術の一側面は、MP4ファイルフォーマットのファイルであって、全体画像の中の独立に復号することができる部分画像に対応する複数のNALunitを特定する情報をmoovに格納し、符号化された前記部分画像をmdatに格納するファイルを生成するファイル生成部と、前記ファイル生成部により生成された前記ファイルを送信する送信部とを備える情報処理装置である。

0010

前記複数のNALunitを特定する情報は、前記部分画像に対応する複数のNAL unitのグループを表す情報を含むようにすることができる。

0011

前記複数のNALunitを特定する情報は、前記部分画像に対応する複数のNAL unitの数を表す情報を含むようにすることができる。

0012

前記複数のNALunitを特定する情報は、前記部分画像に対応する前記NAL unitの中で、最初のNAL unitを表す情報を含むようにすることができる。

0013

前記複数のNALunitを特定する情報は、前記部分画像に対応する全ての前記NAL unitを表す情報を含むようにすることができる。

0014

前記複数のNALunitを特定する情報は、前記moovの中のVisualSampleGroupEntryを用いて定義されるようにすることができる。

0015

前記ファイルは、さらに、前記複数のNALunitをマップ化する情報を複数格納するようにすることができる。

0016

前記部分画像は、HEVC(High Efficiency Video Coding)におけるTileであるようにすることができる。

0017

本技術の一側面は、また、MP4ファイルフォーマットのファイルであって、全体画像の中の独立に復号することができる部分画像に対応する複数のNALunitを特定する情報をmoovに格納し、符号化された前記部分画像をmdatに格納するファイルを生成し、生成された前記ファイルを送信する情報処理方法である。

0018

本技術の他の側面は、MP4ファイルフォーマットのファイルであって、全体画像の中の独立に復号することができる部分画像に対応する複数のNALunitを特定する情報をmoovに格納し、符号化された前記部分画像をmdatに格納するファイルを再生するファイル再生部を備える情報処理装置である。

0019

前記複数のNALunitを特定する情報は、前記部分画像に対応する複数のNAL unitのグループを表す情報を含むようにすることができる。

0020

前記複数のNALunitを特定する情報は、前記部分画像に対応する複数のNAL unitの数を表す情報を含むようにすることができる。

0021

前記複数のNALunitを特定する情報は、前記部分画像に対応する前記NAL unitの中で、最初のNAL unitを表す情報を含むようにすることができる。

0022

前記複数のNALunitを特定する情報は、前記部分画像に対応する全ての前記NAL unitを表す情報を含むようにすることができる。

0023

前記複数のNALunitを特定する情報は、前記moovの中のVisualSampleGroupEntryを用いて定義されるようにすることができる。

0024

前記ファイルは、さらに、前記複数のNALunitをマップ化する情報を複数格納するようにすることができる。

0025

前記部分画像は、HEVC(High Efficiency Video Coding)におけるTileであるようにすることができる。

0026

前記ファイルは、VisualSampleGroupEntryに、前記部分画像の前記全体画像内での位置を表す情報と、前記部分画像の大きさを表す情報と、前記複数のNALunitを特定する情報とを格納し、前記ファイル再生部は、前記部分画像の前記全体画像内での位置を表す情報と、前記部分画像の大きさを表す情報とに基づいて、再生したい部分画像を選択し、前記複数のNAL unitを特定する情報に基づいて、前記再生したい部分画像のデータを取得し、ビットストリームを生成することができる。

0027

前記ファイルは、VisualSampleGroupEntryに、前記部分画像の前記全体画像内での位置を表す情報と、前記部分画像の大きさを表す情報と、前記複数のNALunitを特定する情報とを格納し、前記ファイル再生部は、前記部分画像の前記全体画像内での位置を表す情報と、前記部分画像の大きさを表す情報とに基づいて、再生したい領域を選択し、前記複数のNAL unitを特定する情報に基づいて、前記再生したい領域に対応する部分画像のデータを取得し、ビットストリームを生成することができる。

0028

前記ファイルは、TileRegionGroupEntryに、前記部分画像の前記全体画像内での位置を表す情報と、前記部分画像の大きさを表す情報と、前記複数のNALunitを特定する情報とを格納し、前記ファイル再生部は、前記部分画像の前記全体画像内での位置を表す情報と、前記部分画像の大きさを表す情報とに基づいて、再生したいタイルを選択し、前記複数のNAL unitを特定する情報に基づいて、選択した前記再生したいタイルに対応するトラックを取得し、取得した前記トラックに対応する部分画像のビットストリームを生成することができる。

0029

前記ファイルは、TileRegionGroupEntryに、前記部分画像の前記全体画像内での位置を表す情報と、前記部分画像の大きさを表す情報と、前記複数のNALunitを特定する情報とを格納し、前記ファイル再生部は、前記部分画像の前記全体画像内での位置を表す情報と、前記部分画像の大きさを表す情報とに基づいて、再生したい領域を選択し、前記複数のNAL unitを特定する情報に基づいて、選択した前記再生したい領域に対応する複数のトラックを取得し、取得した複数の前記トラックに対応する部分画像のビットストリームを生成することができる。

0030

前記ファイル再生部により再生されて生成された前記部分画像のビットストリームを復号する復号部をさらに備えることができる。

0031

本技術の他の側面は、また、MP4ファイルフォーマットのファイルであって、全体画像の中の独立に復号することができる部分画像に対応する複数のNALunitを特定する情報をmoovに格納し、符号化された前記部分画像をmdatに格納するファイルを再生する情報処理方法である。

0032

本技術の一側面においては、MP4ファイルフォーマットのファイルであって、全体画像の中の独立に復号することができる部分画像に対応する複数のNALunitを特定する情報をmoovに格納し、符号化された部分画像をmdatに格納するファイルが生成され、生成されたファイルが送信される。

0033

本技術の他の側面においては、MP4ファイルフォーマットのファイルであって、全体画像の中の独立に復号することができる部分画像に対応する複数のNALunitを特定する情報をmoovに格納し、符号化された部分画像をmdatに格納するファイルが再生される。

発明の効果

0034

本開示によれば、画像を符号化・復号することができる。特に、復号に必要な性能をより正確に把握することができる。

図面の簡単な説明

0035

部分表示を行うアプリケーションの例を説明する図である。
部分表示を行うアプリケーションの他の例を説明する図である。
サブサンプルの定義の例を説明する図である。
MP4ファイルフォーマットの概要を説明する図である。
MP4ファイルフォーマットの概要を説明する図である。
MP4ファイルフォーマットの概要を説明する図である。
サンプルテーブルボックス拡張例を示す図である。
サブサンプルヒントインフォメーションボックスの例を示す図である。
インディペンデントのセマンティスクの例を示す図である。
サブサンプルのグループの例を示す図である。
サブサンプルヒントインフォメーションボックスの他の例を示す図である。
サブサンプルヒントインフォメーションボックスの他の例を示す図である。
サブサンプルヒントインフォメーションボックスの、さらに他の例を示す図である。
MP4ファイルフォーマットの概要を説明する図である。
MP4ファイルフォーマットの概要を説明する図である。
サンプルテーブルボックスの拡張例を示す図である。
ビジュアルサンプルグループエントリの拡張例を示す図である。
サブサンプルインデックスの例を示す図である。
ビジュアルサンプルグループエントリの他の拡張例を示す図である。
ビジュアルサンプルグループエントリの、さらに他の拡張例を示す図である。
mctsの例を示すブロック図である。
MCTSSEIのシンタクスの例を示す図である。
MP4ファイルフォーマットの拡張例を示す図である。
ビジュアルサンプルグループエントリの拡張例を示す図である。
ビジュアルサンプルグループエントリの他の拡張例を示す図である。
ビジュアルサンプルグループエントリのさらに他の拡張例を示す図である。
タイル画像のMP4ファイルの構成例を説明する図である。
HEVCタイルデコーダコンフィグレーションレコードを説明する図である。
テンポラルMCTS SEIのシンタクスの例を示す図である。
HEVCタイルデコーダコンフィグレーションレコードを説明する図である。
HEVCタイルデコーダコンフィグレーションレコードを説明する図である。
HEVCタイルデコーダコンフィグレーションレコードを説明する図である。
HEVCタイルデコーダコンフィグレーションレコードを説明する図である。
HEVCタイルデコーダコンフィグレーションレコードを説明する図である。
HEVCタイルデコーダコンフィグレーションレコードを説明する図である。
タイル画像のMP4ファイルの構成例を説明する図である。
HEVCタイルイクステンションボックスを説明する図である。
タイル画像のMP4ファイルの構成例を説明する図である。
画像符号化装置の主な構成例を示すブロック図である。
画像復号装置の主な構成例を示すブロック図である。
画像符号化処理の流れの例を説明するフローチャートである。
画像復号処理の流れの例を説明するフローチャートである。
再生可否判定処理の流れの例を説明するフローチャートである。
再生処理の流れの例を説明するフローチャートである。
再生処理の流れの例を説明するフローチャートである。
再生処理の流れの例を説明するフローチャートである。
再生処理の流れの例を説明するフローチャートである。
再生処理の流れの例を説明するフローチャートである。
コンピュータの主な構成例を示すブロック図である。

実施例

0036

以下、本開示を実施するための形態(以下実施の形態とする)について説明する。なお、説明は以下の順序で行う。
1.第1の実施の形態(サブサンプルのヒント情報
2.第2の実施の形態(MP4ファイル)
3.第3の実施の形態(画像符号化装置)
4.第4の実施の形態(画像復号装置)
5.第5の実施の形態(コンピュータ)

0037

<1.第1の実施の形態>
画像符号化の標準化の流れ>
近年、画像情報デジタルとして取り扱い、その際、効率の高い情報の伝送蓄積を目的とし、画像情報特有冗長性を利用して、離散コサイン変換等の直交変換動き補償により圧縮する符号化方式を採用して画像を圧縮符号する装置が普及しつつある。この符号化方式には、例えば、MPEG(Moving Picture Experts Group)などがある。

0038

特に、MPEG2(ISO/IEC13818-2)は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像網羅する標準である。例えば、MPEG2は、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに現在広く用いられている。MPEG2圧縮方式を用いることにより、例えば720x480画素を持つ標準解像度の飛び越し走査画像であれば4乃至8Mbpsの符号量(ビットレート)を割り当てることができる。また、MPEG2圧縮方式を用いることにより、例えば1920x1088画素を持つ高解像度の飛び越し走査画像であれば18乃至22 Mbpsの符号量(ビットレート)を割り当てることができる。これにより、高い圧縮率と良好な画質の実現が可能である。

0039

MPEG2は主として放送用適合する高画質符号化を対象としていたが、MPEG1より低い符号量(ビットレート)、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。画像符号化方式に関しては、1998年12月にISO/IEC14496-2としてその規格国際標準承認された。

0040

更に、近年、当初テレビ会議用の画像符号化を目的として、H.26L (ITU-T(International Telecommunication Union Telecommunication Standardization Sector) Q6/16VCEG(Video Coding Expert Group))という標準の規格化が進められた。H.26LはMPEG2やMPEG4といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、MPEG4の活動の一環として、このH.26Lをベースに、H.26Lではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がJoint Model of Enhanced-Compression Video Codingとして行われた。

0041

標準化のスケジュールとしては、2003年3月にはH.264及びMPEG-4 Part10 (Advanced Video Coding、以下AVCと記す)という名の元に国際標準となった。

0042

さらに、このH.264/AVCの拡張として、RGBや4:2:2、4:4:4といった、業務用に必要な符号化ツールや、MPEG-2で規定されていた8x8DCTや量子化マトリクスをも含んだFRExt (Fidelity Range Extension) の標準化が2005年2月に完了した。これにより、H.264/AVCを用いて、映画に含まれるフィルムノイズをも良好に表現することが可能な符号化方式となって、Blu-Ray Disc(商標)等の幅広いアプリケーションに用いられる運びとなった。

0043

しかしながら、昨今、ハイビジョン画像の4倍の、4000x2000画素程度の画像を圧縮したい、あるいは、インターネットのような、限られた伝送容量の環境において、ハイビジョン画像を配信したいといった、更なる高圧縮率符号化に対するニーズが高まっている。このため、先述の、ITU-T傘下のVCEGにおいて、符号化効率の改善に関する検討が継続され行なわれている。

0044

そこで、現在、AVCより更なる符号化効率の向上を目的として、ITU-Tと、ISO/IEC(International Organization for Standardization / International Electrotechnical Commission)の共同の標準化団体であるJCTVC(Joint Collaboration Team - Video Coding)により、HEVC(High Efficiency Video Coding)と呼ばれる符号化方式の標準化が進められている。HEVC規格については、2013年1月にドラフト仕様であるCommittee draftが発行されている(例えば、非特許文献1参照)。

0045

タイル構造とレイヤの定義>
HEVCでは、タイル(Tile)構造を利用し、アプリケーションにより復号が必要となる領域のみを復号することが可能となっている。タイル領域が単独で復号可能であることを示すために、HEVC第2版以降(MV-HEVC, SHVC, Range Ext.等含む)で、Motion-constrained tile sets SEIによりサポートされる。

0046

<DASH>
ところで、HTTP(HyperText Transfer Protocol)を利用したコンテンツ配信技術として、MPEG-DASH(Moving Picture Experts Group - Dynamic Adaptive Streaming over HTTP)がある(例えば、非特許文献2参照)。MPEG-DASHでは、上述したHEVCのような符号化方式で符号化された画像データのビットストリームが、例えばMP4等のような所定のファイルフォーマットでファイル化されて配信される。

0047

しかしながら、このDASHのようなコンテンツ配信においては、全体画像を再生(復号)することしか想定されておらず、全体画像の代わりにその一部である部分画像を再生(復号)することは想定されていなかった。

0048

より具体的には、デコーダが、ストリームを復号できるかの判別をするための基準となっているレベル(Level)やバッファ(Buffer)容量関連の情報は、HEVC等の符号化方式においても、MP4のようなファイルフォーマットにおいても、ストリーム全体としての値若しくはレイヤ(Layer)単位の値、すなわち、全体画像についての値が定義されているのみであり、部分画像のみを再生するための情報はなかった。

0049

そのため、例えば、上述したHEVC等の符号化方式でサポートされるタイル構造を利用して、部分画像(一部のタイル)のみを復号する場合(すなわち、部分画像のみを再生する場合)であっても、復号可否の判断は、画面全体を復号する場合の負荷を想定して行われることになり、不要に高いレベル(Level)のデコーダが必要になってしまう恐れがあった。また、そのために配信できるアプリケーションが不要に制限されてしまう恐れもあった。

0050

<アプリケーション例>
部分画像を再生するアプリケーションとして例えば、以下のような例が挙げられる。

0051

サーバから端末に画像を配信するシステムにおいて、例えば図1に示されるような、1枚の画面を複数に分割し、表示領域を切り替えながら配信するアプリケーションを想定する。また、例えば、図2に示されるような、画像のアスペクト比解像度を選択するために、表示する(配信する)部分領域を選択するアプリケーションを想定する。

0052

図1のアプリケーションの場合、全体画像がタイル(Tile)を単位として複数に分割可能であり、端末において、単数若しくは複数のタイルからなる部分画像が全体画像から切り出されて表示される。表示可能な部分画像の大きさ(タイルの数)は、例えば、端末の性能(処理能力ディスプレイの大きさ(表示解像度))等により決定される。また、表示する部分画像の全体画像における位置は、ユーザ等が指定することができる。したがって、端末には、全体画像の中の所望の位置の部分画像を表示させることができる。つまり、端末のユーザは、全体画像の中の所望の部分に注目することができる。

0053

図2のアプリケーションの場合、図1のアプリケーションと基本的に同様であるが、タイルが表示画像のアスペクト比や解像度を選択することができるように設定されており、各タイルの大きさは一定ではない。図1の場合と同様に、端末において、ユーザ等の指示に従って、単数若しくは複数のタイルからなる部分画像が全体画像から切り出されて表示される。このように表示させるタイルを選択するだけで、表示画像の解像度をHDにしたり、シネマサイズにしたり、さらに拡張したサイズにしたりすることができる。

0054

この表示可能な解像度は、例えば、端末の性能(処理能力やディスプレイの大きさ(表示解像度))等により決定される。

0055

このような、端末の性能やユーザの指定等に応じた部分画像の適応的な提供(再生)は、従来、想定されていなかったため、独立に復号可能な部分画像を復号する場合であっても、復号可否の判断は、画面全体を復号する場合の負荷を想定して行われることになり、不要に高いレベル(Level)のデコーダが必要になってしまう恐れがあった。また、そのために配信できるアプリケーションが不要に制限されてしまう恐れもあった。

0056

<サブサンプルのヒント情報の提供>
そこで、独立に復号することができる部分領域であるサブサンプルの復号処理の参考となるヒント情報を含むサブサンプル情報を生成し、画像データの符号化データを含むファイルを生成し、そのファイルにおける符号化データの管理情報に、生成したサブサンプル情報を配置するようにする。

0057

このようにすることにより、端末は、そのサブサンプル情報(ヒント情報)にしたがって、部分領域を復号するのに必要な性能を把握し、自身のデコーダが、その部分領域(サブサンプル)の復号処理を行うことができるか否かの判断をより正確に行うことができる。つまり、復号に必要な性能を、より正確に把握することができる。したがって、この画像データにより適切な性能のデコーダを選択することができる。これにより、画像データの復号負荷に対して不要に高いレベル(Level)のデコーダを適用する事態の発生を抑制することができる。また、そのために配信できるアプリケーションが不要に制限されてしまうことも抑制することができる。

0058

また、その部分領域(サブサンプル)の符号化データ(ビットストリーム)のヘッダ情報を、全体画像の情報からその部分領域(サブサンプル)についての情報に更新するようにする。その更新のための情報を、ファイルに含めて伝送するようにする。このようにすることにより、端末は、ビットストリームのヘッダ情報を部分領域(サブサンプル)についての情報に更新し、デコーダに渡すことができる。そのため、デコーダは、そのヘッダ情報に基づいて、自身がそのビットストリームを復号することができるか否かをより正確に判断することができる。

0059

<符号化方式およびファイルフォーマット>
以下においては、本技術を、符号化・復号方式がHEVC、ファイルフォーマットがMP4の場合に適用する例を説明する。

0060

アクセス単位
以下において、MP4のサンプルは、HEVCのアクセスユニット(AU)とする。また、AUは、複数のタイル(Tile)で構成されるものとする。サンプルテーブル(Sample Table)では、サンプル(Sample)単位で管理されるものとする。

0061

また、サブサンプルは、サンプルの構成要素であって、コーデック(Codec)毎に例えば、図3のように定義がなされている。本技術は、サブサンプルがこれらのいずれであっても適用可能であるが、以下においては、タイル(Tile)がサブサンプル(Tile-based sub-samples)の場合を例に本技術を説明する。

0062

<MP4ファイルフォーマット>
次に、MP4ファイルフォーマットの概要について説明する。図4の左に示されるように、MPEG-DASHに準拠したMP4ファイル(MP4 file)は、ftyp、moov、およびmdatを含む。moovには、サンプル(例えばピクチャ)毎に管理情報がサンプルテーブルボックス(Sample Table Box(stbl))に格納される。

0063

また、図4に示されるように、サンプルテーブルボックス(Sample Table Box)には、サンプルディスクリプションボックス(Sample Description Box)、タイムトゥーサンプルボックス(Time To Sample Box)、サンプルサイズボックス(Sample Size Box)、サンプルトゥーチャンクボックス(Sample to Chunk Box)、チャンクオフセットボックス(Chunk Offset Box)、およびサブサンプルインフォメーションボックス(Subsample Information Box)が設置されている。

0064

サンプルディスクリプションボックスには、コーデックや画サイズ等に関する情報が格納される。例えばHEVCのビットストリームのパラメータセットビデオパラメータセット(VPS(Video Parameter Set))、シーケンスパラメータセットSPS(Sequence Parameter Set))、SEI(Supplemental Enhancement Information)、ピクチャパラメータセット(PPS(Picture Parameter Set))等)は、コーデック(Codec)情報としてこのサンプルディスクリプションボックス内のHEVCサンプルエントリ(HEVC sample entry)のHEVCデコーダコンフィギュレーションレコード(HEVC Decoder Configuration Record)に格納される。

0065

また、タイムトゥーサンプルボックスには、サンプルの時刻に関する情報が格納される。サンプルサイズボックスには、サンプルのサイズに関する情報が格納される。サンプルトゥーチャンクボックスには、サンプルのデータの位置に関する情報が格納される。チャンクオフセットボックスには、データのオフセットに関する情報が格納される。サブサンプルインフォメーションボックスには、サブサンプルに関する情報が格納される。

0066

また、図4に示されるように、HEVCの各サンプル(ピクチャ)のデータは、AVデータとして、mdatに格納される。

0067

図5に示されるように、タイムトゥーサンプルボックス、サンプルサイズボックス、サンプルトゥーチャンクボックス、およびチャンクオフセットボックスには、サンプルへのアクセス情報が格納される。これに対して、サブサンプルインフォメーションボックスにはサブサンプルへのアクセス情報が格納される。このサブサンプルへのアクセス情報は、各サブサンプルのサイズ(Subsample Size)と付加情報(Subsample 付加情報)からなる。

0068

例えば、図5のように、サンプル(ピクチャ)が4つのサブサンプル(タイル)からなる場合、サブサンプルインフォメーションボックスには、タイル1(Tile1)乃至タイル4(Tile4)のそれぞれへのアクセス情報が格納される。

0069

サブサンプルインフォメーションボックスの記述例を図6に示す。図6に示されるように、各タイルのサイズ(subsample_size)が記述され、さらに、各タイルの位置情報が示されるリザーブドフィールド(reserved = 0)が記述されている。

0070

タイルパターン
本技術では、全サンプル(ピクチャ等)でタイルパターンが固定の場合、全サンプルでタイルパターンが可変の場合、例えばIDR間隔等、所定期間、タイルパターンが固定の場合(所定期間ごとにタイルパターンが可変の場合)のいずれの場合も適用することができるように、上述したサンプルテーブルボックスを拡張する。

0071

<サブサンプルヒントインフォメーションボックス>
例えば、サンプルテーブルボックスに、独立に復号することができる部分領域であるサブサンプルの復号処理の参考となるヒント情報を含むサブサンプル情報を、サンプルテーブルボックスの、新たなボックスとして設置するようにする。

0072

図7にその例を示す。図7に示されるように、サンプルテーブルボックスに、サブサンプルヒントインフォメーションボックス(Subsample Hint Information Box)11が新たに設置される。

0073

サブサンプルヒントインフォメーションボックス11は、独立に復号することができる部分領域であるサブサンプルの復号処理の参考となるヒント情報を含むサブサンプル情報であり、サブサンプルインフォメーションボックス等とは別のボックスである。このように部分画像の再生のための情報であるサブサンプルヒントインフォメーションボックス11を、全体画像の再生のための情報であるサブサンプルインフォメーションボックスと分けることにより、全体画像を表示する通常再生においては、ボックスごと無視する(参照しない)ようにすることができ、制御を容易にすることができる。

0074

サブサンプルヒントインフォメーションボックス11の記述例を図7の右に示す。この例に示されるように、サブサンプルヒントインフォメーションボックス11には、ヒントデータタイプ(hint_data_type)、サンプルカウント(sample_count)、ヒントデータ(hint_data)等の情報が格納される。

0075

ヒントデータタイプは、このボックスで格納するサブサンプルのヒント情報の種別を示す情報である。サンプルカウントは、この情報に関連付けられる連続するサンプル数を示す情報である。ヒントデータは、サブサンプルのヒント情報である。ヒントデータタイプ毎に異なる情報が格納される。

0076

拡張方法
次に、独立に復号することができる部分領域であるサブサンプルの復号処理の参考となるヒント情報を含むサブサンプル情報を配置する具体例について説明する。

0077

<例1>
例1では、上述したように拡張定義した、サブサンプルインフォメーションボックスでアクセス可能なサブサンプル(タイル)毎に、復号(decode)に必要な情報を格納するサブサンプルヒントインフォメーションボックス11を用いる。

0078

サブサンプルとヒント情報は、サブサンプルインフォメーションボックスのテーブルインデックス(table-index)でづけされる。

0079

図8にそのサブサンプルヒントインフォメーションボックス11の記述例を示す。図8に示されるサブサンプルヒントインフォメーションボックス11−1は、例1の記述例である。

0080

図8に示されるように、サブサンプルヒントインフォメーションボックス11−1では、ヒントデータタイプとして、例えば、サブサンプル毎のプロファイル情報であることを示す”sspf”が記述される(hint_data_type="sspf")。

0081

また、サブサンプルヒントインフォメーションボックス11−1では、ヒント情報(hint_data)として、例えば、四角12内に示されるような各例の内、いずれかの例の情報が記述される。例えば、例(A−1)のように、そのサブサンプル(タイル)の復号に必要なプロファイルレベルを示す情報(すなわち、サブサンプルの復号処理の負荷の大きさを表すレベル)(general_lebel_idc)を記述するようにしてもよい。また、例えば、例(A−2)のように、サブサンプル(タイル)が他のサブサンプル(タイル)に独立して復号できるかを示すフラグ情報(independent)をさらに記述するようにしてもよい。

0082

このインディペンデント(independent)のセマンティクスの例を図9に示す。

0083

また、例えば、例(B−1)のように、サブサンプル(タイル)のビットストリームのシーケンスパラメータセット(SPS)を更新する際に置き換える情報(すなわち、サブサンプルの符号化データのヘッダ情報)(nalUnitLength, nalUnit)を記述するようにしてもよい。また、例えば、例(B−2)のように、サブサンプル(タイル)が他のサブサンプル(タイル)に独立して復号できるかを示すフラグ情報(independent)をさらに記述するようにしてもよい。

0084

<例2>
部分画像の再生(提供)としては、図1図2に示した例のように、複数のサブサンプルを対象とする場合もある。そこで、例1では、サブサンプル(タイル)毎にヒント情報を格納したが、例2では、このように複数のサブサンプルをグループとし、そのグループの復号に必要な情報も提供する。

0085

例えば、図10のAの場合、タイル1(Tile1)乃至タイル5(Tile5)からなる全体画像13の内、タイル3(Tile3)のみがグループ14−1として提供される。また、図10のBの場合、タイル2(Tile2)乃至タイル4(Tile4)がグループ14−2として提供される。さらに、図10のCの場合、全体画像13の全てのタイル(すなわち、タイル1(Tile1)乃至タイル5(Tile5))がグループ14−3として提供される。

0086

例2でも、上述したように拡張定義した、サブサンプルインフォメーションボックスでアクセス可能なサブサンプル(タイル)毎に、復号(decode)に必要な情報を格納するサブサンプルヒントインフォメーションボックス11を用いる。

0087

ただし、例2の場合、複数のサブサンプルをグループ化する情報と、各グループ化されたタイル群の復号に必要な情報(通常は必要のない情報)とをそれぞれ、サブサンプルヒントインフォメーションボックス11として配置する。つまり、これらの情報を互いに別のボックスに格納する。このようすることにより、各グループ化されたタイル群の復号に必要な情報のボックスのみを用いて、タイル群の符号化データのシーケンスパラメータセット(SPS)を更新することができる。

0088

図11図12にそのサブサンプルヒントインフォメーションボックス11の記述例を示す。図11に示されるサブサンプルヒントインフォメーションボックス11−2−1は、例2の複数のサブサンプルをグループ化する情報の記述例である。

0089

図11に示されるように、サブサンプルヒントインフォメーションボックス11−2−1では、ヒントデータタイプとして、例えば、サブサンプルのグループ情報であることを示す”ssgp”が記述される(hint_data_type="ssgp")。

0090

また、サブサンプルヒントインフォメーションボックス11−2−1では、サブサンプルが属するグループを示す識別情報であるグループインデックス(group_index)が記述される。例えば、図10の例の場合、このグループインデックスとして、四角15内に示されるような情報が記述される。

0091

図12に示されるサブサンプルヒントインフォメーションボックス11−2−2は、例2の各グループ化されたタイル群の復号に必要な情報の記述例である。

0092

図12に示されるように、サブサンプルヒントインフォメーションボックス11−2−2では、ヒントデータタイプとして、例えば、各グループ化されたタイル群の復号に必要な情報であることを示す”sgpf”が記述される(hint_data_type="sgpf")。

0093

また、サブサンプルヒントインフォメーションボックス11−2−2では、ヒント情報(hint_data)として、例えば、四角12内に示されるような各例の内、いずれかの例の情報が記述される。つまり、この場合、サブサンプル情報として、サブサンプルのグループの復号処理の負荷の大きさを表すレベルや、サブサンプルのグループの符号化データのヘッダ情報を記述することができる。

0094

なお、インディペンデント(independent)の代わりに、モーションコンストレインタイルセットID(motion constrained tile set ID)を格納することもできる。

0095

<例3>
例2の場合、複数のサブサンプルヒントインフォメーションボックス11が必要になるが、例3では、これらを1つのボックスにまとめる。例3では、サブサンプル(タイル)のグループ毎にサブサンプルヒントインフォメーションボックス11を設置し、その中で、サブサンプルのインデックステーブルを作成する。

0096

図13にそのサブサンプルヒントインフォメーションボックス11の記述例を示す。図13に示されるサブサンプルヒントインフォメーションボックス11−3は、例3の記述例である。

0097

図13に示されるように、サブサンプルヒントインフォメーションボックス11−3では、ヒントデータタイプとして、例えば、サブサンプルのグループ毎のプロファイル情報であることを示す”sgpf”が記述される(hint_data_type="sgpf")。

0098

また、サブサンプルヒントインフォメーションボックス11−3では、ヒント情報(hint_data)として、例えば、四角12内に示されるような各例の内、いずれかの例の情報が記述される。

0099

さらに、サブサンプルヒントインフォメーションボックス11−3では、グループに属するサブサンプルを示す識別情報であるサブサンプルインデックス(subsample_index)が記述される。例えば、図10の例の場合、このサブサンプルインデックスとして、四角16内に示されるような情報が記述される。

0100

なお、エントリカウント(entry_count)は、シーケンス内においてヒント情報が何回変化するかを示し、サンプルカウント(sample_count)は、同じヒント情報が、どれだけのサンプル(ピクチャ)数の間継続するかを示す。

0101

つまり、サブサンプルヒントインフォメーションボックス11−3では、サブサンプル情報として、グループに属するサブサンプルの識別情報、および、そのグループのヒント情報を含むようにすることができる。そしてその、グループのヒント情報として、グループの復号処理の負荷の大きさを表すレベルやグループの符号化データのヘッダ情報を含むようにすることができる。

0102

<サンプルグループディスクリプションボックスとサンプルトゥーグループボックスの拡張>
以上においては、サンプルヒントインフォメーションボックス11を設置する例を説明したが、独立に復号することができる部分領域であるサブサンプルの復号処理の参考となるヒント情報を含むサブサンプル情報をファイルに含める本技術は、この方法に限らない。例えば、MP4ファイルフォーマットのサンプルグループディスクリプションボックスとサンプルトゥーグループボックスを拡張することにより、独立に復号することができる部分領域であるサブサンプルの復号処理の参考となるヒント情報を含むサブサンプル情報をファイルに含めるようにしてもよい。

0103

図14に示されるように、MP4ファイルのサンプルテーブルボックスには、サンプルグループディスクリプションボックス(Sample Group Description Box)21とサンプルトゥーグループボックス(Sample To Group Box)22を設置することができる。

0104

図15に示されるように、サンプルグループディスクリプションボックス21には、ビジュアルサンプルグループエントリ(VisualSampleGroupEntry)23として、コーデック(codec)に関する情報やアクセス情報等のサンプルテーブルの基本的な情報以外の情報が格納される。

0105

そして、サンプルトゥーグループボックス22には、そのビジュアルサンプルグループエントリ23と、各サンプルを紐づけする情報が格納される。

0106

このようにすることにより、サンプル毎に記述すると冗長となる情報を1つにまとめることができ、情報量を低減させることができる。

0107

<例4>
例4では、このサンプルグループディスクリプションボックス21とサンプルトゥーグループボックス22を用いて、独立に復号することができる部分領域であるサブサンプルの復号処理の参考となるヒント情報を含むサブサンプル情報をファイルに含めるようにする。

0108

図16にその例を示す。図16に示されるサブサンプルヒントインフォメーションボックス11−4は、例3の記述例である。例4では、この記述の内、ヒントデータタイプと、ヒントデータを含む下側の四角で囲まれる情報を、サンプルグループディスクリプションボックス21に、ビジュアルサンプルグループエントリ23として格納する。また、サブサンプルヒントインフォメーションボックス11−4の内、エントリカウントを含む上側の四角で囲まれる情報を、ビジュアルサンプルグループエントリ23とサンプルを紐づけする情報としてサンプルトゥーグループボックス22に格納する。

0109

つまり、この例の場合、利用されるパターンだけを格納して、サンプルトゥーグループボックス22からインデックス参照することができる。そして、ヒントデータのテーブルを圧縮することができ、情報量を低減させることができる。

0110

なお、以上においては、例4の方法を、例3のサブサンプルヒントインフォメーションボックスの情報に適用する場合について説明したが、例4の方法は、例1および例2のサブサンプルヒントインフォメーションボックスの情報にも適用することができる。つまり、例1や例2において説明したサブサンプルヒントインフォメーションボックスの情報も、上述した例3の場合と同様に、サンプルグループディスクリプションボックス21とサンプルトゥーグループボックス22に格納することができる。

0111

<エントリ例1>
図17のビジュアルサンプルグループエントリ23−1は、図10の例のグループと同様にエントリを構成する場合の、サブサンプルのプロファイル情報を格納するように拡張したビジュアルサンプルグループエントリ23(SubSampleProfileInformationEntry extendsVisualSampleGroupEntry('sspi'))の例を示す。このビジュアルサンプルグループエントリには、各エントリについて、ヒント情報(hint_data)と、そのエントリが対応するグループの識別情報(GroupID)が設定される。この場合、図17に示されるように、このヒント情報(hint_data)としては、例えば、四角12内に示されるような各例の内、いずれかの例の情報が記述される。

0112

また、この場合、各エントリに属するサブサンプル(タイル)の識別情報であるサブサンプルインデックスが、四角31内の例のようにリストアップされる。

0113

<エントリ例2>
エントリの図10と異なる例を図18に示す。図18の例の場合、各サブサンプル(タイル)をそれぞれエントリ(グループ)としている。つまり、図18のAの場合、タイル1(Tile1)がエントリ14−4として提供され、図18のBの場合、タイル2(Tile2)がエントリ14−5として提供され、図18のCの場合、タイル3(Tile3)がエントリ14−6として提供される。図示は省略するが、同様に、タイル4(Tile4)とタイル5(Tile5)も、それぞれ、異なるエントリとして提供される。

0114

この図18の例のように、複数のサブサンプル(タイル)をグループ化しない場合、換言するに、各サブサンプル(タイル)をそれぞれエントリとする場合、サブサンプルのプロファイル情報を格納するように拡張したビジュアルサンプルグループエントリ23(SubSampleProfileInformationEntry extendsVisualSampleGroupEntry('sspi'))は、図19の例のようになる。

0115

この場合、図19のビジュアルサンプルグループエントリ23−2のように、各エントリについて、ヒント情報(hint_data)として、例えば、四角12内に示されるような各例の内、いずれかの例の情報が記述される。また、各エントリに属するサブサンプル(タイル)の識別情報であるサブサンプルインデックスが、四角32内の例のようにリストアップされる。つまり、この場合、各エントリに1つずつサブサンプルインデックスが割り当てられる。

0116

<ビジュアルサンプルグループエントリの他の例>
以上においては、図20のビジュアルサンプルグループエントリ23−2のように、ビジュアルサンプルグループエントリにおいてサブサンプルインデックス(subsample_index)を含むように説明したが、例えば、そのサブサンプルインデックスと一緒に各サブサンプルについて、以下のように、サブサンプル(タイル)が他のサブサンプル(タイル)に独立して復号できるかを示すフラグ情報(independent)や、リザーブドフィールド(reserved = 0)等の情報を格納するようにしてもよい。

0117

unsigned int(2) independent
bit(6) reserved=0;

0118

このようにすると、サブサンプル毎の依存性が分かるため、システムがパラレルデコード等をするための補助情報とすることができる。

0119

また、以上においては、図20のビジュアルサンプルグループエントリ23−2のように、ヒント情報(hint_data)として、四角12内に示されるような各例の内、いずれかの例の情報が記述されるように説明したが、さらにその他のヒント情報を記述するようにしてもよい。例えば、横幅(Width)や高さ(height)等の、グループ化されたサブサンプル(タイル)の大きさに関する情報を格納するようにしてもよいし、水平方向のオフセット(H_offset)や垂直方向のオフセット(V_offset)等の、グループ化されたサブサンプル(タイル)の位置に関する情報を格納するようにしてもよい。

0120

このような情報を格納することにより、システムは、グループ化されたサブサンプルのサイズ情報を、サブサンプルインフォメーションボックス(subsample information box)から計算しなくても容易に取得することができる。

0121

さらに、ヒント情報(hint_data)として、HEVCのビットストリームにおいて、独立に復号することができる部分領域を識別する情報であるmcts_idを記述するようにしてもよい。

0122

HEVCのMCTSSEI(Motion constrained tile set Supplemental Enhancement Information)において、独立に復号することができる部分領域は、矩形セット毎に設定されている。例えば、図21のAの左上の斜線部分が独立に復号することができる部分領域であるとすると、その部分領域は、MCTS SEIにおいて、図21のBに示されるようにセット毎に設定されている。なお、図21のCに示される例のように、セットに含まれるタイルが他のセットとオーバーラップしてもよい。部分領域のピクセル数は、各セットのピクセル数から、例えば、図21のDの例のように算出することができる。

0123

MCTSSEIのシンタクスの例を図22に示す。図22に示されるように、図21に示されるような部分領域には、それぞれ識別情報(mcts_id)が割り当てられる。この識別情報(mcts_id)をヒント情報(hint_data)として記述することにより、HEVCの部分領域と、MP4ファイルフォーマットにおけるサブサンプルとを容易に対応付けることができ、システムにおいて、例えばシーケンスパラメータセット(SPS)のヘッダ情報の更新(例えば置き換え等)を容易にすることができる。

0124

<例5>
ところで、例4の場合、ビジュアルサンプルグループエントリを拡張して、各エントリに属するサブサンプルを、サブサンプルインデックスを用いて示すように説明した。この場合、サンプル内のタイルへのアクセス情報としてサブサンプルインフォメーションボックスの情報が利用されることになる。つまり、この場合、MP4ファイルをパースするレイヤにおいてサブサンプルの意味を解釈する必要がある。

0125

例5では、サンプル内のタイルへのアクセス方法としてこのような方法の代わりになる方法を提案する。つまり、サブサンプルインフォメーションボックスの代わりに、サンプルを構成するビットストリームのナルユニット(NALunit)の構成をビジュアルサンプルグループエントリに記述するようにする(Map Group Entry)。例えば、ビジュアルサンプルグループエントリを拡張し、HEVCビットストリームのNAL unitをグループ化するようにする(HEVCNALUUMapGroupEntry)。

0126

このようにNALunitをグループ化する場合、グループ化された意味に依らず、MP4ファイルをパースするレイヤにおいて、同じ処理フローにより対応することができる。

0127

図23にその例を示す。図23に示されるように、例えば、サンプル内のNALunitsをマップ化する(例えばタイル毎にグループ化する)ビジュアルサンプルグループエントリを用意し、例えばヒント情報等のビデオ関連情報を格納するビジュアルサンプルグループエントリにおいては、そのサンプル内のNAL unitsをマップ化するビジュアルサンプルグループエントリを参照するようにする。

0128

ビジュアルサンプルグループエントリ間は、グループの識別情報(GroupID)により紐づけされる。なお、NALunitsのマップパターンが全て同一の場合、サンプルトゥーグループボックスは不要である。

0129

サンプル内のNALunitsをマップ化するビジュアルサンプルグループエントリ(HEVCNALUMapGroupEntry() extendsVisualSampleGroupEntry('hcnm'))のシンタクスの例を図24の左上に示す。図24に示されるように、このビジュアルサンプルグループエントリにおいては、各ナルユニット(NAL unit)が属するグループの識別情報(GroupID)が設定される。

0130

例えば、図24の左下に示されるようにサンプル内に5つのサブサンプル(タイル(Tile))が存在し、各サブサンプルが、それぞれ2つのNALunitにより構成されているとする。その場合、NAL unitとGroupIDの紐づけ(NAL unitのマップパターン)は、図24の右側に示される例のようになる。よって、10つのNAL unitにて構成されている。図24の左上に示されるビジュアルサンプルグループエントリ(HEVCNALUMapGroupEntry() extendsVisualSampleGroupEntry('hcnm'))のシンタクスのNALU_countは、NAL_unitの数を表す。さらに、図24の左下に示されるように、各タイル(Tile)がどのNAL_unitから始まるのかを定義づけることができる。この例によると、Tile1はNAL1から始まり、Tile2はNAL3から始まり、Tile3はNAL5から始まり、Tile4はNAL7から始まり、Tile5はNAL9から始まる。このような各TileがどのNAL_unitから始まるのかを表す情報が、図24の左上に示されるビジュアルサンプルグループエントリ(HEVCNALUMapGroupEntry() extends VisualSampleGroupEntry('hcnm'))のシンタクスとして定義されるようにしてもよい。

0131

そして、例4において説明したサブサンプルのプロファイル情報を格納するビジュアルサンプルグループエントリ(SubSampleProfileInformationEntry extendsVisualSampleGroupEntry('sspi'))の例を図25に示す。このビジュアルサンプルグループエントリには、各エントリについて、ヒント情報(hint_data)と、そのエントリが対応するグループの識別情報(GroupID)が設定される。

0132

図25に示されるように、このヒント情報(hint_data)としては、例えば、例1乃至例4において説明した四角12内に示されるような各例の内、いずれかの例の情報が設定される。

0133

ただし図25においては、四角12内に示されるように、ヒント情報として、例(A−1),(A−2),(B−1),(B−2)以外に、例(C)が追加されている。ここでは、水平方向のオフセット(H_offset)、垂直方向のオフセット(V_offset)等の、グループ化されたサブサンプル(タイル)の位置に関する情報が格納される。また、横幅(Width)や高さ(height)等の、グループ化されたサブサンプル(タイル)の大きさに関する情報が格納される。これらは図20を参照して説明したヒント情報と同様である。

0134

また、グループの識別情報(GroupID)には、図24の例を用いて説明したサンプル内のNALunitsをマップ化するビジュアルサンプルグループエントリ(HEVCNALUMapGroupEntry() extendsVisualSampleGroupEntry('hcnm'))において、NAL unitのマップ化に用いられたグループの識別情報(GroupID)のいずれかが設定される。つまり、このグループの識別情報(GroupID)は、図10の例のようなタイルのグループを示す。

0135

なお、図18の例のように、複数のサブサンプル(タイル)をグループ化しない場合も、サブサンプルのプロファイル情報を格納するビジュアルサンプルグループエントリ(SubSampleProfileInformationEntry extendsVisualSampleGroupEntry('sspi'))には、図26に示される例のように、図25の例と同様の情報が設定されるが、この場合、グループの識別情報(GroupID)は、各タイルを示すことになる。

0136

以上のようにビジュアルサンプルグループエントリを拡張して、NALunitの構成を設定するようにすることにより、NAL unitをグループ化する場合、グループ化された意味に依らず、MP4ファイルをパースするレイヤにおいて、同じ処理フローにより対応することができる。

0137

なお、MAPGROUPによるGROUPをTILE GROUP化するBOXをSSPI(SubSample Profile Information)とは別BOXで定義するようにしてもよい。つまり、各エントリに対応するHEVCNALMapEntryによるグループの識別情報(GroupID)の定義は、エントリに対応するヒント情報(hint_data)を定義するサブサンプルのプロファイル情報を格納するビジュアルサンプルグループエントリ(SubSampleProfileInformationEntry extendsVisualSampleGroupEntry('sspi'))とは異なるボックスである、タイルグループマップエントリを格納するように拡張されたビジュアルサンプルグループエントリ(TileGroupMapEntry extends VisualSampleGroupEntry('tgpm'))において行うようにしてもよい。

0138

図25の例の場合、TGPMのシンタクスを、例えば、以下のようにしてもよい。

0139

Class TileGroupMapEntry extendsVisualSampleGroupEntry (‘tgpm’) {
unsigned int(16) entry_count;
for (i=0; i < entry_count; i++) {
unsigned int(16) TileGroupID;
unsigned int(16) group_count;
for (j=0; j < group_count; j++) {
unsigned int(16) GroupID
}
}
}

0140

このようなシンタクスにより、図25の例の場合、TileGroupIDに、GroupIDが以下のように割り当てられる。

0141

TileGroupID=1 => GroupID= 3
TileGroupID=2 => GroupID =2,3,4
TIleGroupID=3 => GroupID =1,2,3,4,5

0142

そして、それとは別のボックスとして、SSPIのシンタクスを、例えば、以下のようにしてもよい。

0143

class SubSampleProfileInformationEntry extendsVisualSampleGroupEntry (‘sspi’) {
unsigned int(16) entry_count;
for (i=0; i < entry_count; i++) {
unsigned int(16) TileGroupID;
unsigned int(xx) hint_data;
}
}

0144

なお、この場合のヒント情報(hint_data)の内容は、上述した各例と同様である(四角12内に示されるような各例の内、いずれかの例の情報が設定される)。

0145

このように、GroupIDのグループ化を、ヒント情報等を定義するsspiとは異なるboxにおいて行うことにより、そのグループ化の他の情報への依存度を低減させることができ、他の情報から独立して行うようにすることができる。したがって、より汎用的な(自由な)グループ化を実現することができ、そのGroupIDのグループ(TileGroupID)をより汎用的な用途に利用することができる。例えば、GroupIDの定義の階層化や非階層化等を、ヒント情報等の他の情報の構成を考慮する必要無く、容易に実現することができるようになる。

0146

また、サブサンプルのフラグ(flag)定義の例については、図3を参照して説明したが、以上に説明した例5の場合、さらに、HEVCNALMap Group Entryでgroup化された連続したNAL unitsを追加定義するようにしてもよい。例えば、以下のように、flag=5において、HEVC NAL Map Group Entryでgroup化された連続したNAL unitsをsub-sampleとして追加定義するようにしてもよい。

0147

5:0:NAL-unit-based sub-samples. A sub-sample contains one or more contiguous NAL units. A sub-sample is mapped to GroupID, groupinginHEVC NAL Map Group Entry.

0148

このようにすることにより、NALunitsベースで、任意のGroupへのバイトアクセスが実現できる。

0149

<2.第2の実施の形態>
<MP4ファイル(1)>
次にMP4ファイルの例について説明する。図27は、タイル画像のMP4ファイルの構成例を説明する図である。このMP4ファイルは、タイル(Tile)構造を有するビットストリームを1つのファイルにファイル化したものである。図27に示されるように、このMP4ファイルは、5つのトラックTrack1乃至Track5を有している。

0150

トラックtrack1は、サンプルディスクリプションボックス内のHEVCサンプルエントリ(HEVC sample entry)を有しており、そのcodec typeは、通常のHEVCビットストリームであることを示すhvc1とされている。このサンプルエントリ(Sample Entry)は、HEVCのデコードに必要なconfiguration情報を格納するHEVCデコーダコンフィギュレーションレコード(HEVC Decoder Configuration Record)(hvcCボックス)を有している。ビデオパラメータセット(VPS(Video Parameter Set))、シーケンスパラメータセット(SPS(Sequence Parameter Set))、SEI(Supplemental Enhancement Information)、ピクチャパラメータセット(PPS(Picture Parameter Set))等のヘッダ情報もこのhvcCボックスに格納される。このhvcCボックスにSEIを格納するか否かは任意とされる。

0151

トラックtrack1はまた、各トラックtrack2乃至track5のタイル(slice)への参照のためのエクストラクタ(extractor)Track2乃至Track5を有している。エクストラクタ(extractor)Track2はトラックTrack2のスライス(Tile1)を参照し、エクストラクタ(extractor)Track3はトラックTrack3のスライス(Tile2)を参照する。以下同様に、エクストラクタ(extractor)Track4はトラックTrack4のスライス(Tile3)を参照し、エクストラクタ(extractor)Track5はトラックTrack5のスライス(Tile4)を参照する。

0152

トラックtrack2乃至track5は、それぞれタイルTile1乃至Tile4の実データであるスライスsliceを格納している。またトラックtrack2乃至track5は、サンプルエントリ(Sample Entry)を有するが、これらはHEVC Tileだけを(単独で)格納するため、codec typeはhvt1とされている。このトラックtrack2乃至track5のサンプルエントリ(Sample Entry)は、HEVC Tileだけのデコードに必要なconfiguration情報を格納するHEVCデコーダコンフィギュレーションレコード(HEVC Decoder Configuration Record)(hvtCボックス)を有している。なお、1つのトラックに、グループ化されたタイル(Tile)を格納することができるようにしてもよい。

0153

トラックtrack2乃至track5はまた、タイルリージョングループエントリ(TileRegionGroupEntry)を有している。これらのトラックtrack2乃至track5のタイルリージョングループエントリ(TileRegionGroupEntry)には、それぞれのタイルを識別する識別情報であるGroupID、当該タイルの水平方向の位置(オフセット)を示すH_offset、当該タイルの垂直方向の位置(オフセット)を示すV_offset、当該タイルの水平方向の大きさ(幅)を示すH_width、当該タイルの垂直方向の大きさ(高さ)を示すV_heightの5つのパラメータの値が定義される。また、これらはグループ化されたタイル(Tile)に対して定義するようにしてもよい。

0154

例えば、トラックTrack2(タイル1(Tile1))のタイルリージョングループエントリ(TileRegionGroupEntry)では、GroupID = 1, H_offset = 0, V_offset = 0, H_width = 960, V_height = 540が定義されている。また、例えば、トラックTrack3(タイル2(Tile2))のタイルリージョングループエントリ(TileRegionGroupEntry)では、GroupID = 2, H_offset = 960, V_offset = 0, H_width = 960, V_height = 540が定義されている。さらに、例えば、トラックTrack4(タイル3(Tile3))のタイルリージョングループエントリ(TileRegionGroupEntry)では、GroupID = 3, H_offset = 0, V_offset = 540, H_width = 960, V_height = 540が定義されている。また、例えば、トラックTrack5(タイル4(Tile4))のタイルリージョングループエントリ(TileRegionGroupEntry)では、GroupID =4, H_offset = 960, V_offset = 540, H_width = 960, V_height = 540が定義されている。この場合、全体画像(1920x1080)は、縦2枚x横2枚の4枚のタイル(960x540)からなる。

0155

さらにトラックtrack2乃至track5には、トラックリファレンス(Track Reference)として、「prnt=1」が定義されている。これは、これらのトラックtrack2乃至track5が、トラックTrack1を参照することを示す。つまり、これらのトラックリファレンスによって、トラックTrack2乃至Track5のいずれか(いずれかのタイル)を再生する際に、トラックTrack1の情報(パラメータセット等)が参照されることになる。

0156

<HEVC Tile Decoder Configuration Recordのシンタクス>

0157

図27のサンプルエントリ(Sample Entry)の、HEVC Tileだけのデコードに必要なconfiguration情報を格納するHEVCデコーダコンフィギュレーションレコード(HEVC Decoder Configuration Record)(hvtCボックス)の基本的なシンタクスは、次のようになる。

0158

ClassHEVCConfigurationBox extendsBox(‘hvtc’){
HEVCTileDecoderConfigurationRecord()HEVCTileConfig;
}

0159

<HEVCTileDecoderConfigurationRecordのシンタクスの例1>
次にHEVCTileDecoderConfigurationRecordのシンタクスの具体例について説明する。図28は、HEVCタイルデコーダコンフィグレーションレコードを説明する図である。例1のHEVCタイルデコーダコンフィグレーションレコードは、図28に示されるように構成される。configurationVersion、mcts_tier_flagおよびmcts_level_idcの3つが、拡張的に追加されている。

0160

そのconfigurationVersionは、HEVCタイルデコーダコンフィグレーションレコードのバージョンを表す。HEVCにおいては、同じ画像サイズに対して、tierという、Bitrateの異なる2種類のプロファイルが定義されている。すなわちその2種類とは、main tierとhigh tierである。mcts_tier_flagはそのいずれであるのかを表すフラグである。mcts_level_idcは、temporal MCTSSEI(Temporal Motion constrained tile set Supplemental Enhancement Information)において、独立に復号することができる部分領域の復号処理の負荷の大きさを定義する復号負荷定義情報として、その部分領域の復号処理の負荷の大きさを表すレベルである。

0161

ここでテンポラルモーションコンストレインドタイルセットSEI(temporal_motion_constrained_tile_sets SEI)について説明する。図29はテンポラルMCTSSEIのシンタクスの例を示す図である。同図に示されるテンポラルMCTS SEIのシンタクスにおいては、mcts_tier_flag,mcts_level_idc,max_mcts_tier_flag,max_mcts_level_idを含むさまざまな情報が格納されている。

0162

なお、temporal MCTSSEIは、MCTS SEIと名称が異なるだけで、実質的に同じものである。また、図28および図29のmcts_level_idcは、図8図12図13図17図19図20図25および図26等における四角12内に示されるgenerals_level_idcと名称が異なるだけで、実質的に同じものである。

0163

図28の例では、HEVC decodec configuration recordと同じデータ構造で、temporal_motion_constrained_tile_sets SEIに格納されているパラメータのうち、mcts_tier_flagとmcts_level_idcという、HEVC Tileのデコード判断に必要なパラメータだけが設定される。図28のHEVCTileDecoderConfigurationRecordでは、それ以外の項には不必要なのでゼロが設定される。あるいはHEVC decoder configuration recordと同じ値が設定される。

0164

すなわちこの例1では、numOfArraysには、実質的に何も格納されない。

0165

<HEVCTileDecoderConfigurationRecordのシンタクスの例2>
図30は、HEVCタイルデコーダコンフィグレーションレコードを説明する図である。例2のHEVCタイルデコーダコンフィグレーションレコードは、図30に示されるように構成される。

0166

図30の例2は、図28の例1と基本的に同様の構成である。ただし、例1では実質的に何も格納されていないnumOfArraysに、例2では、HEVC Titleに対応したtemporal_motion_constrained_tile_sets SEIが格納されている点が、例1と異なっている。

0167

<HEVCTileDecoderConfigurationRecordのシンタクスの例3>
図31は、HEVCタイルデコーダコンフィグレーションレコードを説明する図である。例3のHEVCタイルデコーダコンフィグレーションレコードは、図31に示されるように構成される。

0168

図31に示されるように、例3では、図28および図30の例と異なり、HEVCタイルデコーダコンフィグレーションレコードを拡張するというより、そのパターンが独自に規定される。すなわち例3では、configurationVersion の他、temporal_motion_constrained_tile_sets SEIに格納されているパラメータのうち、HEVC Tileのデコード判断に必要なパラメータであるmcts_tier_flag,mcts_level_idcだけが格納されている。

0169

<HEVCTileDecoderConfigurationRecordのシンタクスの例4>
図32は、HEVCタイルデコーダコンフィグレーションレコードを説明する図である。例4のHEVCタイルデコーダコンフィグレーションレコードは、図32に示されるように構成される。

0170

図32に示されるように、例4では、configurationVersionの他、temporal_motion_constrained_tile_sets SEIに格納されているHEVC Tileのデコード判断に必要なパラメータとして、mcts_tier_flag,mcts_level_idc,max_mcts_tier_flag,max_mcts_level_idだけが格納されている。max_mcts_tier_flag,max_mcts_level_idは、それぞれmcts_tier_flag,mcts_level_idcの最大の値を表し、他のタイルを再生するのに必要なプロファイル情報である。つまり、これらはストリーム全体の、最大のTileのための情報である。後述する図36の例では、これが他のボックス(hvte box)に格納される。

0171

複数のTileが同一のstream内に存在する場合において、Tileの大きさが異なるとき、それぞれのTileに必要なmcts_tier_flag,mcts_level_idcが異なることがある。その場合、最大の値であるmax_mcts_tier_flag,max_mcts_level_idcを、それぞれのTile毎のmcts_tier_flag,mcts_level_idcと共に格納することで、デコード処理のヒント情報とする。

0172

<HEVCTileDecoderConfigurationRecordのシンタクスの例5>
図33は、HEVCタイルデコーダコンフィグレーションレコードを説明する図である。例5のHEVCタイルデコーダコンフィグレーションレコードは、図33に示されるように構成される。

0173

図33に示されるように、例5では、HEVC Tileのデコード判断に必要な、HEVC Tileに対応したtemporal_motion_constrained_tile_sets SEIが、nalUnitに格納されている。従ってNAL_unit_typeには、SEIであることを表すNALunitタイプが格納される。

0174

<HEVCTileDecoderConfigurationRecordのシンタクスの例6>
図34は、HEVCタイルデコーダコンフィグレーションレコードを説明する図である。例6のHEVCタイルデコーダコンフィグレーションレコードは、図34に示されるように構成される。

0175

図34に示されるように、例6は、図31の例3と図33の例5とが合成された構成とされている。すなわち、configurationVersionからmcts_level_idcの行までの例3と、lengthSizeMinusOne以降の行の例5とが合成されている。つまり、configurationVersionの他、temporal_motion_constrained_tile_sets SEIに格納されているHEVC Tileのデコード判断に必要なパラメータであるmcts_tier_flag,mcts_level_idcと、HEVC Tileのデコード判断に必要な、HEVC Tileに対応したtemporal_motion_constrained_tile_sets SEIとが格納された構成となっている。

0176

<HEVCTileDecoderConfigurationRecordのシンタクスの例7>
図35は、HEVCタイルデコーダコンフィグレーションレコードを説明する図である。例7のHEVCタイルデコーダコンフィグレーションレコードは、図35に示されるように構成される。

0177

図35に示されるように、例7は、図32の例4と図33の例5とが合成された構成とされている。すなわち、configurationVersionからmax_mcts_level_idcの行までの例4と、lengthSizeMinusOne以降の行の例5とが合成されている。つまり、configurationVersionの他、temporal_motion_constrained_tile_sets SEIに格納されているHEVC Tileのデコード判断に必要なパラメータであるmcts_tier_flag,mcts_level_idc,max_mcts_tier_flag,max_mcts_level_idと、HEVC Tileのデコード判断に必要な、HEVC Tileに対応したtemporal_motion_constrained_tile_sets SEIとが格納された構成となっている。

0178

<MP4ファイル(2)>
図36は、図27とは異なるタイル画像のMP4ファイルの構成例を説明する図である。図36のMP4ファイルは、基本的に図27のMP4ファイルと同様の構成であるが、図36のMP4ファイルにおいては、トラックTrack1のサンプルエントリがhvcCbox以外に、hvte boxを有している点が図27のMP4ファイルと異なっている。

0179

図36のMP4ファイルにおいては、図32で説明した、ストリーム全体の、最大のTileのための情報であるmax_mcts_tier_flag,max_mcts_level_idが、ベーストラックであるトラックTrack1のhvte boxに格納される。

0180

図37は、HEVCタイルイクステンションボックスを説明する図である。図37のAは、図36のトラックTrack1のサンプルエントリが有するビジュアルサンプルグループエントリの拡張を表しており、HEVCConfigurationBox(hvcC box)の他、HEVCTileExtensionBox()(hvte box)が追加されている。そして図37のBが、そのHEVCTileExtensionBox()のシンタクスを表している。図37のBに示されるように、max_mcts_tier_flag,max_mcts_level_idが格納されている。

0181

max_mcts_tier_flag,max_mcts_level_idは、ストリーム全体の、最大のTileのための情報であるから、Tile Track(トラックTrack2乃至Track5)に格納せずに、ベーストラックであるトラックTrack1に格納する。これにより、任意のTileを単独でデコードするのに必要な最大値を簡単に取得することが可能になる。

0182

<MP4ファイル(3)>
図38は、タイル画像のMP4ファイルの構成例を説明する図である。図38のMP4ファイルは、基本的に図27のMP4ファイルと同様の構成であるが、図27のMP4ファイルにおいては、トラックTrack2乃至Track5のサンプルエントリのhvtC boxに、HEVC Tileだけのデコードに必要なconfiguration情報を格納するようにした。これに対して、図38のMP4ファイルにおいては、hvtC boxに、図30図33図34,および図35の例に示した例のように、temporal_motion_constrained_tile_sets SEIが格納されるだけでなく、さらにHEVC Tileだけのデコードに必要なVPS,SPS,PPSが格納される。

0183

このようにすることで、Tile2乃至Tile5のいずれかを再生する場合、それらのパラメータセットを得るためにベーストラックであるトラックTrack1の情報にアクセスする必要が無くなる。

0184

<3.第3の実施の形態>
<画像符号化装置>
次に、以上のような本技術を実現する装置とその方法について説明する。図39は、本技術を適用した画像処理装置の一態様である、画像符号化装置を示す図である。図39に示される画像符号化装置100は、入力された画像データをHEVC符号化方式で符号化してMP4ファイルフォーマットでファイル化する装置である。

0185

図39に示されるように、画像符号化装置100は、画像符号化部101、サブサンプル情報生成部102、およびMP4ファイル生成部103を有する。

0186

画像符号化部101は、入力された画像データの全体画像をタイル(Tile)と称する部分画像に分割し、各タイルをHEVC符号化方式がサポートするタイル(Tile)として、全体画像の画像データをそのタイル毎に符号化する。つまり、タイル毎に独立に復号することができるHEVC符号化方式のビットストリーム(HEVCビットストリーム)が生成される。

0187

画像符号化部101は、得られたHEVCビットストリームをMP4ファイル生成部103に供給する。また、画像符号化部101は、全体画像をどのように分割したかに関するタイル(Tile)情報や、各タイルのプロファイル情報をサブサンプル情報生成部102に供給する。

0188

サブサンプル情報生成部102は、画像符号化部101から供給されるタイル情報やタイルのプロファイル情報を用いて、MP4ファイルフォーマットに対応した、それらの情報を含む、すなわち、全体画像の中の、独立に復号することができる部分領域であるサブサンプルの復号処理の参考となるヒント情報を含むサブサンプル情報(拡張サブサンプル情報)を生成する。サブサンプル情報生成部102は、生成した拡張サブサンプル情報を、MP4ファイル生成部103に供給する。

0189

MP4ファイル生成部103は、画像符号化部101から供給されたHEVCビットストリームをMP4ファイルフォーマットでファイル化し、そのHEVCビットストリームを含むファイルの、HEVCビットストリームを管理する管理情報に、サブサンプル情報生成部102から供給される拡張サブサンプル情報を格納する。

0190

その際、MP4ファイル生成部103は、その拡張サブサンプル情報を、上述した管理情報のサンプルテーブルボックス(Sample Table Box)のサブサンプルインフォメーションボックス(Subsample Information Box)とは異なるサブサンプルヒントインフォメーションボックス(Subsample Hint Information Box)として配置する。

0191

または、MP4ファイル生成部103は、その拡張サブサンプル情報を、上述した管理情報のサンプルテーブルボックス(Sample Table Box)のサンプルグループディスクリプションボックス(Sample Group Description Box)にビジュアルサンプルグループエントリ(VisualSampleGroupEntry)として配置し、そのサブサンプル情報を適用するサンプルを指定する情報を、サンプルトゥーグループボックス(Sample To Group Box)に配置する。

0192

なお、サブサンプル情報の内容は、第1の実施の形態において説明した各例のいずれかと同様である。例えば、例5の場合、サブサンプル情報生成部102が生成する拡張サブサンプル情報には、全体画像の中の、独立に復号することができる部分領域であるサブサンプルの復号処理の参考となるヒント情報だけでなく、NALunitをグループ化するマップグループ情報(Map Group Entry)も含まれる。

0193

そして、MP4ファイル生成部103は、以上のように生成したMP4ファイルを出力し、ネットワーク記録媒体等、若しくは情報処理装置等を介して、例えば復号側に伝送する。

0194

このようにすることにより、画像符号化装置100は、復号に必要な性能をより正確に把握できるようにすることができる。

0195

<画像符号化処理の流れ>
次に、以上のような画像符号化装置100により実行される各処理の流れについて説明する。図40のフローチャートを参照して、画像符号化処理の流れの例を説明する。

0196

画像符号化処理が開始されると、画像符号化部101は、ステップS101において、画像データをサブサンプル(タイル)毎に復号できるように符号化する。

0197

ステップS102において、画像符号化部101は、例えばタイル情報や各タイルのプロファイル情報等、タイルに関する情報を抽出する。

0198

ステップS103において、サブサンプル情報生成部102は、ステップS102において抽出されたタイルに関する情報を用いて、タイルのヒント情報を含む拡張サブサンプル情報を生成する。

0199

ステップS104において、MP4ファイル生成部103は、拡張サブサンプル情報を用いて、独立に復号することができる部分領域であるサブサンプルの復号処理の参考となるヒント情報をmoovのサンプルテーブルボックスに含むようにMP4ファイルを生成する。

0200

ステップS104の処理が終了すると画像符号化処理が終了する。

0201

以上のように画像符号化処理を実行することにより、画像符号化装置100は、復号に必要な性能をより正確に把握できるようにすることができる。

0202

<4.第4の実施の形態>
<画像復号装置>
次に、以上のように符号化された符号化データの復号について説明する。図41は、本技術を適用した画像処理装置の一態様である、画像符号化装置100に対応する画像復号装置の主な構成例を示すブロック図である。図41に示される画像復号装置200は、画像符号化装置100が生成した符号化データを、その符号化方法に対応する復号方法で復号する。つまり、画像復号装置200は、MP4ファイルからHEVCビットストリームを抽出し、そのHEVCビットストリームを復号して画像データを出力する。その際、画像復号装置200は、例えば、HEVCがサポートするタイル構造を利用して、単数または複数のタイル(Tile)からなる部分画像を他の部分とは独立して復号することができる。その際、画像復号装置200は、その独立に復号することができる部分領域であるサブサンプルの復号処理の参考となるヒント情報に基づいて、復号可否判断を行うことができる。

0203

図41に示されるように、画像復号装置200は、MP4ファイル再生部201、サブサンプル情報処理部202、および画像復号部203を有する。

0204

MP4ファイル再生部201は、入力されるMP4ファイルの再生可否判定処理を行ったり、そのMP4ファイルの再生処理を行ったり、エラー処理を行ったりする。MP4ファイル再生部201は、サブサンプル情報処理部202を利用してそれらの処理を行い、単数または複数のタイルのからなる部分画像(もちろん全体画像であってもよい)のHEVCビットストリームを生成し、画像復号部203に供給する。

0205

サブサンプル情報処理部202は、その再生可否判定処理や再生処理において、サブサンプル情報についての処理を行う。なお、サブサンプル情報の内容は、第1の実施の形態において説明した各例のいずれかと同様である。例えば、例5の場合、サブサンプル情報生成部102が生成する拡張サブサンプル情報には、全体画像の中の、独立に復号することができる部分領域であるサブサンプルの復号処理の参考となるヒント情報だけでなく、NALunitをグループ化するマップグループ情報(Map Group Entry)も含まれる。

0206

画像復号部203は、MP4ファイル再生部201において生成されたHEVCビットストリームを復号し、その画像データを出力する。

0207

このようにすることにより、画像復号装置200は、復号に必要な性能をより正確に把握することができる。

0208

<画像復号処理の流れ>
次に、以上のような画像復号装置200により実行される各処理の流れについて説明する。最初に、図42のフローチャートを参照して、画像復号処理の流れの例を説明する。

0209

画像復号処理が開始されると、画像復号装置200のMP4ファイル再生部201およびサブサンプル情報処理部202は、ステップS201において、入力されたMP4ファイルに含まれるHEVCビットストリームについて、ユーザ等により指定された部分画像の再生可否判定を行う。

0210

ステップS202において、MP4ファイル再生部201は、ステップS201の処理結果に基づいて、再生するか否かを判定する。再生すると判定された場合、処理はステップS203に進む。

0211

ステップS203において、MP4ファイル再生部201およびサブサンプル情報処理部202は、再生処理を行う。

0212

ステップS204において、画像復号部203は、ステップS203の処理により得られた、単数または複数のタイルからなる部分画像の符号化データ(HEVCビットストリーム)を復号し、単数または複数のタイルからなる部分画像の画像データを出力する。

0213

ステップS204の処理が終了すると画像復号処理が終了する。

0214

また、ステップS202において、再生しないと判定された場合、処理はステップS205に進む。

0215

ステップS205において、MP4ファイル再生部201は、復号を正常に出来ない場合の所定の処理であるエラー処理を行う。このエラー処理はどのような処理であっても良い。例えば、復号を強制終了(中断一時停止等を含む)してもよいし、画像や音声などでユーザに対して警告するようにしてもよい。また、例えばレベルがより低い他の符号化ストリームを取得して復号をやり直すようにしてもよい。さらに、例えば、復号画像乱れが生じることを許容し、その符号化ストリームを強制的に復号するようにしてもよい。

0216

ステップS205の処理が終了すると、画像復号処理が終了する。

0217

<再生可否判定処理の流れ>
次に、図43のフローチャートを参照して、図42のステップS201において実行される再生可否判定処理の流れの例を説明する。

0218

再生可否判定処理が開始されると、ステップS221において、MP4ファイル再生部201は、MP4ファイルのサンプルテーブルボックスのサンプルディスクリプションボックスのHEVCサンプルエントリから、MP4ファイルに含まれるHEVCビットストリームのシーケンスパラメータセット(SPS)を取得する。

0219

ステップS222において、MP4ファイル再生部201は、そのシーケンスパラメータセット(SPS)に含まれるプロファイル情報が、画像復号部203に対応するプロファイル情報であるか否かを判定する。つまり、MP4ファイル再生部201は、シーケンスパラメータセット(SPS)に含まれる情報に基づいて、画像復号部203が、そのMP4ファイルに含まれる全体画像のHEVCビットストリームを復号可能であるか否かを判定する。

0220

復号可能であると判定された場合、処理はステップS223に進む。ステップS223において、MP4ファイル再生部201は、再生を行うように制御する。つまり、図42のステップS202において再生すると判定される。

0221

ステップS223の処理が終了すると、再生可否判定処理が終了し、処理は図42に戻る。

0222

また、ステップS222において、プロファイル情報が画像復号部203に対応しないと判定された場合、つまり、画像復号部203がそのMP4ファイルに含まれる全体画像のHEVCビットストリームを復号不可能であると判定された場合、処理はステップS224に進む。ステップS224において、サブサンプル情報処理部202は、MP4ファイルのサンプルテーブルボックスから、タイル(サブサンプル)のヒント情報を取得する。

0223

ステップS225において、サブサンプル情報処理部202は、ステップS224において取得されたヒント情報に含まれるプロファイル情報が、画像復号部203に対応するプロファイル情報であるか否かを判定する。つまり、サブサンプル情報処理部202は、画像復号部203が、そのMP4ファイルに含まれる、単数若しくは複数のタイルからなる部分画像のHEVCビットストリームを復号可能であるか否かを判定する。

0224

復号可能であると判定された場合、処理はステップS223に戻る。すなわち、この場合もMP4ファイル再生部201は、再生を行うように制御する。

0225

また、ステップS225において、プロファイル情報が画像復号部203に対応しないと判定された場合、つまり、画像復号部203がそのMP4ファイルに含まれる部分画像のHEVCビットストリームを復号不可能であると判定された場合、処理はステップS226に進む。

0226

ステップS226において、MP4ファイル再生部201は、上述したようにエラー処理を行うように制御する。

0227

ステップS226の処理が終了すると、再生可否判定処理が終了し、処理は図42に戻る。

0228

<再生処理の流れ>
次に、図42のステップS203において実行される再生処理の流れの例を、図44のフローチャートを参照して説明する。

0229

再生処理が開始されると、MP4ファイル再生部201は、ステップS241において、MP4ファイルからシーケンスパラメータセット(SPS)と、ピクチャパラメータセットとを取得する。

0230

ステップS242において、サブサンプル情報処理部202は、MP4ファイルから再生するタイルのヒント情報を取得する。

0231

ステップS243において、MP4ファイル再生部201は、ステップS242において得られたタイルのヒント情報を用いて、ステップS241において取得したシーケンスパラメータセット(SPS)を更新する。例えば、ヒント情報が、四角12の例(A−1)や(A−2)の場合、MP4ファイル再生部201は、そのヒント情報に含まれる情報(プロファイルレベル等)を用いて、シーケンスパラメータセット(SPS)の情報を書き換える。また、例えば、ヒント情報が、四角12の例(B−1)や(B−2)の場合、MP4ファイル再生部201は、そのヒント情報に含まれる情報を、シーケンスパラメータセット(SPS)に置き換える。

0232

ステップS244において、サブサンプル情報処理部202は、MP4ファイルから再生するタイルのデータを取得する。その際、例1乃至例4の場合、サブサンプル情報処理部202は、図6の例のように、サブサンプルインフォメーションボックスを参照して、サブサンプル(タイル)を構成するNALunitのデータにアクセスし、取得する。また、例5の場合、サブサンプル情報処理部202は、図24の例のように、サンプル内のNAL unitsをマップ化するビジュアルサンプルグループエントリ(HEVCNALUMapGroupEntry() extendsVisualSampleGroupEntry('hcnm'))において設定された、NAL unitとGroupIDの紐づけ(NAL unitのマップパターン)(Map Group Entry)を参照して、サブサンプル(タイル)を構成するNAL unitのデータにアクセスし、取得する。

0233

ステップS245において、MP4ファイル再生部201は、ステップS244において得られたタイルのデータやステップS243において更新されたシーケンスパラメータセット等を用いて、再生するタイル(部分画像)のビットストリームを生成する。

0234

ステップS245の処理が終了すると、処理は図42に戻る。すなわち、生成された部分画像のビットストリームが復号される。

0235

以上のように各処理を実行することにより、画像復号装置200は、復号に必要な性能をより正確に把握することができる。

0236

<再生処理の流れ>
次に、図42のステップS203において実行される再生処理の流れの、他の例を、図45のフローチャートを参照して説明する。

0237

再生処理が開始されると、MP4ファイル再生部201は、ステップS261において、ビジュアルサンプルグループエントリから、タイルの位置に関する情報(H_offset,V_offset)と、タイルの大きさに関する情報(Width,Height)を取得する。

0238

ステップS262において、MP4ファイル再生部201は、取得されたタイルの位置に関する情報と、タイルの大きさに関する情報とに基づいて、再生したいタイルを選択する。

0239

ステップS263において、サブサンプル情報処理部202は、ビジュアルサンプルグループエントリから、選択されたタイルに対応するNALunitのマップパターンに関する情報(NALU_count,groupID)を取得する。

0240

ステップS264において、サブサンプル情報処理部202は、ステップS263において取得されたNALunitのマップパターンに関する情報に基づいて、タイルのデータを取得する。

0241

ステップS265において、MP4ファイル再生部201は、ステップS264において取得されたタイルのビットストリームを再生する。

0242

ステップS265の処理が終了すると、処理は図42に戻る。すなわち、再生された部分画像のビットストリームが復号される。

0243

以上のように各処理を実行することにより、画像復号装置200は、復号に必要な性能をより正確に把握することができる。

0244

<再生処理の流れ>
次に、図42のステップS203において実行される再生処理の流れの、他の例を、図46のフローチャートを参照して説明する。

0245

再生処理が開始されると、MP4ファイル再生部201は、ステップS281において、ビジュアルサンプルグループエントリから、タイルの位置に関する情報(H_offset,V_offset)と、タイルの大きさに関する情報(Width,Height)を取得する。

0246

ステップS282において、MP4ファイル再生部201は、取得されたタイルの位置に関する情報と、タイルの大きさに関する情報とに基づいて、再生したい領域を選択する。

0247

ステップS283において、サブサンプル情報処理部202は、ビジュアルサンプルグループエントリから、再生したい領域に対応するTileGroupIDを基に、複数のGroupIDを取得する。

0248

ステップS284において、サブサンプル情報処理部202は、ビジュアルサンプルグループエントリから、選択された複数のGroupIDのタイルに対応するNALunitのマップパターンに関する情報(NALU_count,groupID)をそれぞれ取得する。

0249

ステップS285において、サブサンプル情報処理部202は、ステップS284において取得されたNALunitのマップパターンに関する情報に基づいて、それぞれのタイルのデータを取得する。

0250

ステップS286において、MP4ファイル再生部201は、ステップS285において取得された各タイルのビットストリームを再生する。

0251

ステップS286の処理が終了すると、処理は図42に戻る。すなわち、再生された部分画像のビットストリームが復号される。

0252

以上のように各処理を実行することにより、画像復号装置200は、復号に必要な性能をより正確に把握することができる。

0253

<再生処理の流れ>
次に、図42のステップS203において実行される再生処理の流れの、他の例を、図47のフローチャートを参照して説明する。

0254

再生処理が開始されると、MP4ファイル再生部201は、ステップS301において、タイルリージョングループエントリから、タイルの位置に関する情報(H_offset,V_offset)と、タイルの大きさに関する情報(Width,Height)を取得する。

0255

ステップS302において、MP4ファイル再生部201は、取得されたタイルの位置に関する情報と、タイルの大きさに関する情報とに基づいて、再生したいタイルを選択する。

0256

ステップS303において、サブサンプル情報処理部202は、ステップS302において選択されたタイルに対応するトラックを取得する。

0257

ステップS304において、MP4ファイル再生部201は、ステップS303において取得された複数のトラックに対応するタイルのビットストリームを再生する。

0258

ステップS304の処理が終了すると、処理は図42に戻る。すなわち、再生された部分画像のビットストリームが復号される。

0259

以上のように各処理を実行することにより、画像復号装置200は、復号に必要な性能をより正確に把握することができる。

0260

<再生処理の流れ>
次に、図42のステップS203において実行される再生処理の流れの、他の例を、図48のフローチャートを参照して説明する。

0261

再生処理が開始されると、MP4ファイル再生部201は、ステップS321において、タイルリージョングループエントリから、タイルの位置に関する情報(H_offset,V_offset)と、タイルの大きさに関する情報(Width,Height)を取得する。

0262

ステップS322において、MP4ファイル再生部201は、取得されたタイルの位置に関する情報と、タイルの大きさに関する情報とに基づいて、再生したい領域を選択する。

0263

ステップS323において、サブサンプル情報処理部202は、タイルリージョングループエントリから、再生したい領域に対応するTileGroupIDに基づいて、複数のGroupIDを取得する。

0264

ステップS324において、サブサンプル情報処理部202は、ステップS323において選択された複数のタイルに対応するトラックを取得する。

0265

ステップS325において、MP4ファイル再生部201は、ステップS324において取得された複数のトラックに対応する複数のタイルのビットストリームを再生する。

0266

ステップS324の処理が終了すると、処理は図42に戻る。すなわち、再生された部分画像のビットストリームが復号される。

0267

以上のように各処理を実行することにより、画像復号装置200は、復号に必要な性能をより正確に把握することができる。

0268

本技術の適用範囲は、部分画像を符号化・復号可能なあらゆる画像符号化装置及び画像復号装置に適用することができる。

0269

また、本技術は、例えば、MPEG、H.26x等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報(ビットストリーム)を、衛星放送ケーブルテレビジョン、インターネット、または携帯電話機などのネットワークメディアを介して受信する際に用いられる画像符号化装置および画像復号装置に適用することができる。また、本技術は、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。

0270

<5.第5の実施の形態>
<コンピュータ>
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。

0271

図49は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

0272

図49に示されるコンピュータ900において、CPU(Central Processing Unit)901、ROM(Read Only Memory)902、RAM(Random Access Memory)903は、バス904を介して相互に接続されている。

0273

バス904にはまた、入出力インタフェース910も接続されている。入出力インタフェース910には、入力部911、出力部912、記憶部913、通信部914、およびドライブ915が接続されている。

0274

入力部911は、例えば、キーボードマウスマイクロホンタッチパネル入力端子などよりなる。出力部912は、例えば、ディスプレイ、スピーカ出力端子などよりなる。記憶部913は、例えば、ハードディスクRAMディスク不揮発性メモリなどよりなる。通信部914は、例えば、ネットワークインタフェースよりなる。ドライブ915は、磁気ディスク、光ディスク光磁気ディスク、または半導体メモリなどのリムーバブルメディア921を駆動する。

0275

以上のように構成されるコンピュータでは、CPU901が、例えば、記憶部913に記憶されているプログラムを、入出力インタフェース910およびバス904を介して、RAM903にロードして実行することにより、上述した一連の処理が行われる。RAM903にはまた、CPU901が各種の処理を実行する上において必要なデータなども適宜記憶される。

0276

コンピュータ(CPU901)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア921に記録して適用することができる。その場合、プログラムは、リムーバブルメディア921をドライブ915に装着することにより、入出力インタフェース910を介して、記憶部913にインストールすることができる。

0277

また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線伝送媒体を介して提供することもできる。その場合、プログラムは、通信部914で受信し、記憶部913にインストールすることができる。

0278

その他、このプログラムは、ROM902や記憶部913に、あらかじめインストールしておくこともできる。

0279

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

0280

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

0281

また、本明細書において、システムとは、複数の構成要素(装置、モジュール部品)等)の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個筐体収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。

0282

また、以上において、1つの装置(または処理部)として説明した構成を分割し、複数の装置(または処理部)として構成するようにしてもよい。逆に、以上において複数の装置(または処理部)として説明した構成をまとめて1つの装置(または処理部)として構成されるようにしてもよい。また、各装置(または各処理部)の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置(または処理部)の構成の一部を他の装置(または他の処理部)の構成に含めるようにしてもよい。

0283

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

0284

例えば、本技術は、1つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

0285

また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。

0286

さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。

0287

上述した実施形態に係る画像符号化装置及び画像復号装置は、例えば、衛星放送、ケーブルTVなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。

0288

また、本技術は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI(Large Scale Integration)等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等(すなわち、装置の一部の構成)として実施することもできる。

0289

また、本明細書では、各種情報が、符号化ストリームに多重化されて、符号化側から復号側へ伝送される例について説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像(スライス若しくはブロックなど、画像の一部であってもよい)と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像(又はビットストリーム)とは別の伝送路上で伝送されてもよい。また、情報は、画像(又はビットストリーム)とは別の記録媒体(又は同一の記録媒体の別の記録エリア)に記録されてもよい。さらに、情報と画像(又はビットストリーム)とは、例えば、複数フレーム、1フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。

0290

なお、本技術は以下のような構成も取ることができる。
(1) 画像データを符号化する符号化部と、
前記画像データの画像の、独立に復号することができる部分領域であるサブサンプルの復号処理の参考となるヒント情報を含むサブサンプル情報を生成するサブサンプル情報生成部と、
前記符号化部により生成された前記画像データの符号化データと、前記符号化データの管理情報を含むファイルを生成し、前記サブサンプル情報生成部により生成された前記サブサンプル情報を、前記管理情報に配置するファイル生成部と
を備える画像符号化装置。
(2) 前記サブサンプル情報生成部は、当該サブサンプル情報に含まれるヒント情報の種別を示すヒントデータタイプ、当該サブサンプル情報に関連付けられる連続するサンプル数を示すサンプルカウント、並びに、前記ヒント情報を含むサブサンプル情報を生成する
(1)、(3)乃至(15)のいずれかに記載の画像符号化装置。
(3) 前記ヒント情報は、前記サブサンプルの復号処理の負荷の大きさを表すレベルを含む
(1)、(2)、(4)乃至(15)のいずれかに記載の画像符号化装置。
(4) 前記ヒント情報は、前記サブサンプルの符号化データのヘッダ情報を含む
(1)乃至(3)、(5)乃至(15)のいずれかに記載の画像符号化装置。
(5) 前記サブサンプル情報生成部は、当該サブサンプル情報に含まれるヒント情報の種別を示すヒントデータタイプ、当該サブサンプル情報に関連付けられる連続するサンプル数を示すサンプルカウント、並びに、前記サブサンプルが属するグループの識別情報を含むサブサンプル情報を生成する
(1)乃至(4)、(6)乃至(15)のいずれかに記載の画像符号化装置。
(6) 前記サブサンプル情報生成部は、さらに、当該サブサンプル情報に含まれるヒント情報の種別を示すヒントデータタイプ、当該サブサンプル情報に関連付けられる連続するサンプル数を示すサンプルカウント、並びに、サブサンプルのグループの復号処理の負荷の大きさを表すレベルを含むヒント情報を含むサブサンプル情報を生成する
(1)乃至(5)、(7)乃至(15)のいずれかに記載の画像符号化装置。
(7) 前記サブサンプル情報生成部は、さらに、当該サブサンプル情報に含まれるヒント情報の種別を示すヒントデータタイプ、当該サブサンプル情報に関連付けられる連続するサンプル数を示すサンプルカウント、並びに、サブサンプルのグループの符号化データのヘッダ情報を含むヒント情報を含むサブサンプル情報を生成する
(1)乃至(6)、(8)乃至(15)のいずれかに記載の画像符号化装置。
(8) 前記サブサンプル情報生成部は、当該サブサンプル情報に含まれるヒント情報の種別を示すヒントデータタイプ、当該サブサンプル情報に関連付けられる連続するサンプル数を示すサンプルカウント、グループに属するサブサンプルの識別情報、並びに、前記グループのヒント情報を含むサブサンプル情報を生成する
(1)乃至(7)、(9)乃至(15)のいずれかに記載の画像符号化装置。
(9) 前記ヒント情報は、前記グループの復号処理の負荷の大きさを表すレベルを含む
(1)乃至(8)、(10)乃至(15)のいずれかに記載の画像符号化装置。
(10) 前記ヒント情報は、前記グループの符号化データのヘッダ情報を含む
(1)乃至(9)、(11)乃至(15)のいずれかに記載の画像符号化装置。
(11) 前記サブサンプル情報生成部は、サブサンプルの大きさと位置を示す情報を含むサブサンプル情報を生成する
(1)乃至(10)、(12)乃至(15)のいずれかに記載の画像符号化装置。
(12) 前記サブサンプル情報生成部は、サブサンプルが独立して復号することができることを示す情報を含むサブサンプル情報を生成する
(1)乃至(11)、(13)乃至(15)のいずれかに記載の画像符号化装置。
(13) 前記サブサンプル情報生成部は、サンプルを構成するナルユニットをグループ化する情報を含むサブサンプル情報を生成する
(1)乃至(12)、(14)、(15)のいずれかに記載の画像符号化装置。
(14) 前記ファイル生成部は、前記サブサンプル情報を、前記管理情報のサンプルテーブルボックス(Sample Table Box)のサブサンプルインフォメーションボックス(Subsample Information Box)とは異なるサブサンプルヒントインフォメーションボックス(Subsample Hint Information Box)として配置する
(1)乃至(13)、(15)のいずれかに記載の画像符号化装置。
(15) 前記ファイル生成部は、前記サブサンプル情報を、前記管理情報のサンプルテーブルボックス(Sample Table Box)のサンプルグループディスクリプションボックス(Sample Group Description Box)にビジュアルサンプルグループエントリ(VisualSampleGroupEntry)として配置し、前記サブサンプル情報を適用するサンプルを指定する情報を、サンプルトゥーグループボックス(Sample To Group Box)に配置する
(1)乃至(14)のいずれかに記載の画像符号化装置。
(16) 前記ファイル生成部は、前記部分画像だけのデコードに必要な前記サブサンプル情報を、部分画像を有するトラックの、前記管理情報のサンプルテーブルボックス(Sample Table Box)のサンプルグループディスクリプションボックス(Sample Group Description Box)のサンプルエントリ(Sample Entry)に配置する
(1)乃至(15)のいずれかに記載の画像符号化装置。
(17) 前記サブサンプル情報は、HEVC decodec configuration recordと同じデータ構造で、テンポラルモーションコンストレインドタイルセットSEI(temporal_motion_constrained_tile_sets SEI)に格納されているHEVC Tileのデコード判断に必要なパラメータである
(1)乃至(16)のいずれかに記載の画像符号化装置。
(18) 前記パラメータは、mctsティアフラグ(mcts_tear_flag)およびmctsレベルidc(mcts_level_idc)を含む
(1)乃至(17)のいずれかに記載の画像符号化装置。
(19) 前記部分画像情報は、HEVC Tileに対応したテンポラルモーションコンストレインドタイルセットSEI (temporal_motion_constrained_tile_sets SEI)をさらに含む
(1)乃至(18)のいずれかに記載の画像符号化装置。
(20)前記サブサンプル情報は、マックスmctsティアフラグ(max_mcts_tear_flag)およびマックスmctsレベルidc(max_mcts_level_idc)をさらに含む
(1)乃至(19)のいずれかに記載の画像符号化装置。
(21) HEVC Tileのデコードの判断に必要なHEVC Tileに対応したテンポラルモーションコンストレインドタイルセットSEI (temporal_motion_constrained_tile_sets SEI)をさらに含む
(1)乃至(20)のいずれかに記載の画像符号化装置。
(22) 前記マックスmctsティアフラグ(max_mcts_tear_flag)およびマックスmctsレベルidc(max_mcts_level_idc)は、ベーストラックに配置される
(1)乃至(21)のいずれかに記載の画像符号化装置。
(23) 画像データを符号化し、
前記画像データの画像の、独立に復号することができる部分領域であるサブサンプルの復号処理の参考となるヒント情報を含むサブサンプル情報を生成し、
生成された前記画像データの符号化データと、前記符号化データの管理情報を含むファイルを生成し、生成された前記サブサンプル情報を、前記管理情報に配置する
画像符号化方法
(24) 画像データの符号化データと、前記画像データの画像の、独立に復号することができる部分領域であるサブサンプルの復号処理の参考となるヒント情報を含むサブサンプル情報が配置される前記符号化データの管理情報とを含むファイルを取得する取得部と、
前記取得部により取得された前記ファイルに含まれる前記サブサンプル情報を解析するサブサンプル情報解析部と、
前記サブサンプル情報解析部による前記サブサンプル情報の解析結果に基づいて、前記符号化データの復号を制御する制御部と、
前記制御部による制御に従って、前記取得部により取得された前記ファイルに含まれる前記符号化データから、前記サブサンプルの符号化データを生成する符号化データ生成部と、
前記制御部による制御に従って、前記符号化データ生成部により生成された前記サブサンプルの符号化データを復号する復号部と
を備える画像復号装置。
(25) 前記制御部は、前記サブサンプル情報の前記ヒント情報に基づいて、前記復号部が前記サブサンプルの符号化データを復号可能であるかを判定し、復号可能である場合、前記サブサンプルの符号化データを復号するように制御する
(24)に記載の画像復号装置。
(26) 前記符号化データ生成部は、前記サブサンプル情報に基づいて、前記サブサンプルの符号化データのヘッダ情報を更新する
(24)または(25)に記載の画像復号装置。
(27) 画像データの符号化データと、前記画像データの画像の、独立に復号することができる部分領域であるサブサンプルの復号処理の参考となるヒント情報を含むサブサンプル情報が配置される前記符号化データの管理情報とを含むファイルを取得し、
取得された前記ファイルに含まれる前記サブサンプル情報を解析し、
前記サブサンプル情報の解析結果に基づいて、前記符号化データの復号を制御し、
前記制御に従って、取得された前記ファイルに含まれる前記符号化データから、前記サブサンプルの符号化データを生成し、
前記制御に従って、生成された前記サブサンプルの符号化データを復号する
画像復号方法
(31) MP4ファイルフォーマットのファイルであって、全体画像の中の独立に復号することができる部分画像に対応する複数のNALunitを特定する情報をmoovに格納し、符号化された前記部分画像をmdatに格納するファイルを生成するファイル生成部と、
前記ファイル生成部により生成された前記ファイルを送信する送信部と
を備える情報処理装置。
(32) 前記複数のNAL unitを特定する情報は、前記部分画像に対応する複数のNAL unitのグループを表す情報を含む
(31)に記載の情報処理装置。
(33) 前記複数のNAL unitを特定する情報は、前記部分画像に対応する複数のNAL unitの数を表す情報を含む
(31)または(32)に記載の情報処理装置。
(34) 前記複数のNAL unitを特定する情報は、前記部分画像に対応する前記NAL unitの中で、最初のNAL unitを表す情報を含む
(31)乃至(33)のいずれかに記載の情報処理装置。
(35) 前記複数のNAL unitを特定する情報は、前記部分画像に対応する全ての前記NAL unitを表す情報を含む
(31)乃至(34)のいずれかに記載の情報処理装置。
(36) 前記複数のNAL unitを特定する情報は、前記moovの中のVisualSampleGroupEntryを用いて定義される
(31)乃至(35)のいずれかに記載の情報処理装置。
(37) 前記ファイルは、さらに、前記複数のNAL unitをマップ化する情報を複数格納する
(31)乃至(36)のいずれかに記載の情報処理装置。
(38) 前記部分画像は、HEVC(High Efficiency Video Coding)におけるTileである
(31)乃至(37)のいずれかに記載の情報処理装置。
(39) MP4ファイルフォーマットのファイルであって、全体画像の中の独立に復号することができる部分画像に対応する複数のNAL unitを特定する情報をmoovに格納し、符号化された前記部分画像をmdatに格納するファイルを生成し、
生成された前記ファイルを送信する
情報処理方法。
(40) MP4ファイルフォーマットのファイルであって、全体画像の中の独立に復号することができる部分画像に対応する複数のNAL unitを特定する情報をmoovに格納し、符号化された前記部分画像をmdatに格納するファイルを再生するファイル再生部
を備える情報処理装置。
(41) 前記複数のNAL unitを特定する情報は、前記部分画像に対応する複数のNAL unitのグループを表す情報を含む
(40)に記載の情報処理装置。
(42) 前記複数のNAL unitを特定する情報は、前記部分画像に対応する複数のNAL unitの数を表す情報を含む
(40)または(41)に記載の情報処理装置。
(43) 前記複数のNAL unitを特定する情報は、前記部分画像に対応する前記NAL unitの中で、最初のNAL unitを表す情報を含む
(40)乃至(42)のいずれかに記載の情報処理装置。
(44) 前記複数のNAL unitを特定する情報は、前記部分画像に対応する全ての前記NAL unitを表す情報を含む
(40)乃至(43)のいずれかに記載の情報処理装置。
(45) 前記複数のNAL unitを特定する情報は、前記moovの中のVisualSampleGroupEntryを用いて定義される
(40)乃至(44)のいずれかに記載の情報処理装置。
(46) 前記ファイルは、さらに、前記複数のNAL unitをマップ化する情報を複数格納する
(40)乃至(45)のいずれかに記載の情報処理装置。
(47) 前記部分画像は、HEVC(High Efficiency Video Coding)におけるTileである
(40)乃至(46)のいずれかに記載の情報処理装置。
(48) 前記ファイルは、VisualSampleGroupEntryに、前記部分画像の前記全体画像内での位置を表す情報と、前記部分画像の大きさを表す情報と、前記複数のNAL unitを特定する情報とを格納し、
前記ファイル再生部は、
前記部分画像の前記全体画像内での位置を表す情報と、前記部分画像の大きさを表す情報とに基づいて、再生したい部分画像を選択し、
前記複数のNAL unitを特定する情報に基づいて、前記再生したい部分画像のデータを取得し、ビットストリームを生成する
(40)乃至(47)のいずれかに記載の情報処理装置。
(49) 前記ファイルは、VisualSampleGroupEntryに、前記部分画像の前記全体画像内での位置を表す情報と、前記部分画像の大きさを表す情報と、前記複数のNAL unitを特定する情報とを格納し、
前記ファイル再生部は、
前記部分画像の前記全体画像内での位置を表す情報と、前記部分画像の大きさを表す情報とに基づいて、再生したい領域を選択し、
前記複数のNAL unitを特定する情報に基づいて、前記再生したい領域に対応する部分画像のデータを取得し、ビットストリームを生成する
(40)乃至(48)のいずれかに記載の情報処理装置。
(50) 前記ファイルは、TileRegionGroupEntryに、前記部分画像の前記全体画像内での位置を表す情報と、前記部分画像の大きさを表す情報と、前記複数のNAL unitを特定する情報とを格納し、
前記ファイル再生部は、
前記部分画像の前記全体画像内での位置を表す情報と、前記部分画像の大きさを表す情報とに基づいて、再生したいタイルを選択し、
前記複数のNAL unitを特定する情報に基づいて、選択した前記再生したいタイルに対応するトラックを取得し、
取得した前記トラックに対応する部分画像のビットストリームを生成する
(40)乃至(49)のいずれかに記載の情報処理装置。
(51) 前記ファイルは、TileRegionGroupEntryに、前記部分画像の前記全体画像内での位置を表す情報と、前記部分画像の大きさを表す情報と、前記複数のNAL unitを特定する情報とを格納し、
前記ファイル再生部は、
前記部分画像の前記全体画像内での位置を表す情報と、前記部分画像の大きさを表す情報とに基づいて、再生したい領域を選択し、
前記複数のNAL unitを特定する情報に基づいて、選択した前記再生したい領域に対応する複数のトラックを取得し、
取得した複数の前記トラックに対応する部分画像のビットストリームを生成する
(40)乃至(50)のいずれかに記載の情報処理装置。
(52) 前記ファイル再生部により再生されて生成された前記部分画像のビットストリームを復号する復号部をさらに備える
(40)乃至(51)のいずれかに記載の情報処理装置。
(53) MP4ファイルフォーマットのファイルであって、全体画像の中の独立に復号することができる部分画像に対応する複数のNAL unitを特定する情報をmoovに格納し、符号化された前記部分画像をmdatに格納するファイルを再生する
情報処理方法。

0291

100画像符号化装置, 101画像符号化部, 102サブサンプル情報生成部, 103 MP4ファイル生成部, 200画像復号装置, 201 MP4ファイル再生部, 202 サブサンプル情報処理部, 203画像復号部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ