図面 (/)

技術 画像データのカプセル化

出願人 キヤノン株式会社
発明者 フレデリックマゼフランクドゥヌアルシリルコンコラトジャンルフェーブル
出願日 2020年5月15日 (9ヶ月経過) 出願番号 2020-086079
公開日 2020年8月20日 (6ヶ月経過) 公開番号 2020-127244
状態 未査定
技術分野 TV信号の圧縮,符号化方式 双方向TV,動画像配信等
主要キーワード サブボックス 保護ボックス 主ボックス ベーストラック 本タイル 収集ボックス コンピュテーショナル 参照ボックス
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年8月20日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (10)

課題

HEV静止画像中の対象の領域を抽出することが可能な改良されたHEVC静止画像を格納するファイルフォーマットを提供する。

解決手段

1つ以上の画像を表現する符号化ビットストリームカプセル化する方法であって、カプセル化ビットストリームは、データ部分およびメタデータ部分を含む。方法は、単一画像サブ画像または画像を表現するデータ部分の一部を識別する画像アイテム情報を備えるステップと、1つ以上の画像に関する表示パラメータおよび/または変換オペレータ包含するパラメータ群を含む、画像記述情報を備えるステップと、ビットストリームを、備えられた情報と一緒に、カプセル化データファイルとして出力するステップと、を含む。画像記述情報は、メタデータ部分に格納される。

概要

背景

セクション記述されるアプローチのいくつかは追行されたものであるかもしれないが、必ずしも従来から考案または追求されてきたアプローチではない。したがって、本セクションに記載されるアプローチは、必ずしも本出願中の特許請求事項より以前の技術でなく、本セクションに包含することによって従来技術であることを認めない。

HEV規格は、静止画像の符号化に対するプロフィールを定義し、単一の静止画像または静止画像のバースト圧縮するための特定のツールを記載している。かかる種類の画像データに用いられるISOベースメディアファイルフォーマット(ISOBMFF:ISO Base Media File Format)の拡張版を、「画像ファイルフォーマット」の名の下にISO/IEC23009規格パート12に包含することが提案されている。この規格は、相異なる使用状況に対応するストレージの2つの様式を網羅している:
デコーダ随意に使われるタイミングに対応する画像シーケンスのストレージであって、それらの画像は他の画像に依存することが可能なもの、および
単一画像のストレージであって、個別に符号化された画像の収集

最初のケースでは、カプセル化は、ISOベースメディアファイルフォーマットにおける映像トラックのカプセル化(文献<<情報技術−視聴覚オブジェクトの符号化−パート12:ISOベースメディアファイルフォーマット>>、ISO/IEC14496−12:2008、第三版、2008年10月を参照)に近く、記述のため「trak」ボックスおよびサンプルグループ化など同じツールおよび概念が使われている。「trak」ボックスは、トラックを記述するためのサブボックスを包含するファイルフォーマットボックス、言い換えれば、関連するサンプルの時間調節されたシーケンスである。

二番目のケースでは、ISOBMFFボックスのセット、「meta」ボックスが使われる。これらのボックスおよびその階層は、「track」ボックスよりも少ない記述ツールを提供し、関連サンプルの代わりに「情報アイテム」または「アイテム」に関連する。

画像ファイルフォーマットは、マルチメディアファイルローカルに表示するため、またはマルチメディアプレゼンテーションストリーミングするために使うことができる。HEVC静止画像は、多くの問題を惹起する多くの用途を有する。

画像バーストは1つの用途である。画像バーストは、カメラによって取り込まれた静止ピクチャのシーケンスであり、(多くのピクチャアイテムがデータのブロックを参照する)単一の表現体として格納される。ユーザが、サムネイルまたは表紙として選ぶ、これらのピクチャに効果を適用するなど、これらのピクチャにいくつかの種類の処置を施すことを望むことがある。

しかして、データのブロック中のピクチャのリストをそれらの対応バイトとともに識別するための記述メタデータが必要とされている。

コンピュテーショナルフォトグラフィは別の用途である。コンピュテーショナルフォトグラフィでは、ユーザは、同じピクチャの異なる解像レベル(異なる露光、異なる焦点など)へのアクセスを有する。これらの異なる解像レベルは、その1つが選択でき、処理(レンダリング編集、送信など)のため対応するデータ片を探索し抽出可能なように、メタデータとして格納される必要がある。

サイズに関連してピクチャの解像レベルが増大するに従って、これらの大きなピクチャの一部の空間的部分だけを容易に識別し抽出できるように、十分な記述を備えることが必要とされている。

用途の別の種類には、例えば、ビデオの要約、ビデオ監視データ中の証拠画像などのための、映像シーケンスの特定のピクチャへのアクセスがある。

かかる種類の用途に対し、圧縮映像データおよび映像トラッメタデータに加えて、主要画像への容易なアクセスを可能にする画像メタデータが必要とされている。

さらに、プロのカメラは高い空間解像レベルに達している。4K2K解像レベルを有する映像または画像は今や当たり前である。今日では、8k4kの映像または画像でさえ一般的である。並行して、映像は、映像ストリーミング機能を備えた携帯および接続デバイス上で益々多く再生されている。しかして、携帯デバイスのユーザが、品質を保持、または向上さえさせながら、映像のサブ部分を表示することを望みまたはそれに焦点を合わせることを欲する場合に、映像をタイルに分割することが重要となる。タイルを用いることによって、ユーザは、映像の空間的サブ部分をインタラクティブに要求することができる。

しかして、単にメタデータボックス構文解析すること以外の追加的な処理なしにアクセス可能にするために、ファイルフォーマットのコンパクト形式で映像のこれら空間的サブ部分を記述することが必要とされている。また、斯く記述された映像に対応する画像に対しても、空間的サブ部分へのアクセスはユーザの関心事項である。

ISO/IEC23009規格は、静止画像を最近討議されたファイルフォーマット中にカプセル化するための2つの仕方取り上げている。

1つの仕方は、「track」ボックス、および関連する記述ツールの関係付けられた関連サンプルの時間調節されたシーケンスの概念に基づいており、別の1つは、サンプルの代わりに情報アイテムに基づく「meta」ボックスに基づいていて、特に対象の領域の記述およびタイル化サポートに対し、記述がより少ないツールを提供する。

斯くのごとく、新規の画像ファイルフォーマットにおけるタイル化のサポートを提供することが必要とされている。

タイルの使用、特に圧縮時における使用は、従来技術でもよく知られている。ISOベースメディアファイルフォーマットにおけるこれらのインデクゼーションに関し、ISO/IEC14496規格「Carriage ofNALunit structured video in the ISO Base Media File Format(ISOベースメディアファイルフォーマットにおけるNALユニット構造化映像のキャリッジ)」のパート15の改正版のドラフト中にも、タイル化記述子が存在する。

しかしながら、これらの記述子は、「track」ボックスおよびサンプルグループ化ツールに依存し、「meta」ベースのアプローチを用いる場合、静止画像ファイルフォーマット中では使うことができない。かかる記述子なしでは、このファイルフォーマット中に格納された符号化ピクチャからタイルを選んで抽出することが面倒になる。

図1は、MPEGの寄稿m32254中で開示されている、ISOベースメディアファイルフォーマットの「meta」ボックス(100)中の、タイルを使って符号化された静止画像の記述を示す。

各タイルピクチャ(102、103、104、および105)に対するそれぞれの情報アイテムに加え、全体ピクチャ101に対する情報アイテムが定義されている。これらの情報アイテムは「ItemInfoBox(アイテム情報ボックス)」(iinf)と呼ばれるボックス中に格納される。ISO BMFF規格からの「ItemReferenceBox(アイテム参照ボックス)」と呼ばれるボックス(106)が、全体ピクチャの情報アイテムとタイルピクチャに対応する4つの情報アイテム(108)との間に「タイル」関係性(107)が存在することを示すために使われている。「ItemLocationBox(アイテム配置ボックス)」と呼ばれるボックス(109)が、各情報アイテムを表す符号化データ(110)中のバイト範囲(群)を規定するのに、各情報アイテムの識別子が用いられる。別のボックス「ItemReferenceBox」(112)が、EXIFメタデータ(111)を全体ピクチャ(101)に対する情報アイテムに関連付けるために使われ、対応するデータブロック(111)がメディアデータボックス(110)中に生成される。また、EXIFメタデータを識別するためにさらなる情報アイテム(113)が生成される。

概要

HEVC静止画像中の対象の領域を抽出することが可能な改良されたHEVC静止画像を格納するファイルフォーマットを提供する。1つ以上の画像を表現する符号化ビットストリームをカプセル化する方法であって、カプセル化ビットストリームは、データ部分およびメタデータ部分を含む。方法は、単一画像のサブ画像または画像を表現するデータ部分の一部を識別する画像アイテム情報を備えるステップと、1つ以上の画像に関する表示パラメータおよび/または変換オペレータを包含するパラメータ群を含む、画像記述情報を備えるステップと、ビットストリームを、備えられた情報と一緒に、カプセル化データファイルとして出力するステップと、を含む。画像記述情報は、メタデータ部分に格納される。

目的

かかるメタデータは、一般に、画像データおよび画像データの部分への容易なアクセスを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

1つ以上の画像を表現する符号化ビットストリームカプセル化する方法であって、前記カプセル化ビットストリームデータ部分およびメタデータ部分を含み、前記方法は、−単一画像サブ画像または画像を表現する前記データ部分の一部を識別する画像アイテム情報を備えるステップと、−1つ以上画像に関する表示パラメータおよび/または変換オペレータ包含するパラメータを含む、画像記述情報を備えるステップと、−前記ビットストリームを、前記備えられた情報と一緒に、カプセル化データファイルとして出力するステップと、を含み、−前記画像記述情報は、前記メタデータ部分に格納される、方法。

請求項2

前記表示パラメータが、−画像の位置およびサイズ、−画素アスペクト比、−色情報、のうちの1つまたはいくつかのパラメータを含み、前記変換オペレータが、−クロッピング、−回転、のうちの1つまたはいくつかの変換オペレータを含む、請求項1に記載の方法。

請求項3

前記画像記述情報中に含まれる各パラメータが、−型情報、および/または−画像アイテム情報を前記パラメータにリンクするため使われる識別子、を含む追加データに関連付けられる、請求項1に記載の方法。

請求項4

メタデータ部分が、ISOBMFFの「meta」データボックス中に含まれる、請求項1〜3のいずれか一項に記載の方法。

請求項5

前記画像記述情報中に含まれる各変換オペレータが、被変換アイテムを前記変換オペレータにリンクするために使われる識別子を含む追加データに関連付けられる、請求項1に記載の方法。

請求項6

前記メタデータ部分中に格納されたボックスが、少なくとも1つの変換オペレータおよび/または少なくとも1つの表示パラメータを含む、請求項6に記載の方法。

請求項7

1つ以上の画像アイテムの前記合成によって導出画像アイテムを得るための導出画像の定義を設けるステップをさらに含み、前記導出画像の定義は前記データ部分に格納され、前記導出画像アイテムは前記メタデータ部分に格納される、請求項1に記載の方法。

請求項8

データ部分とメタデータ部分とを含むカプセル化データファイルを処理する方法であって、前記データ部分中に、1つ以上の画像に対応する符号化ビットストリームを包含し、前記メタデータ部分中に、1つ以上の画像またはサブ画像に関する表示パラメータおよび/または変換オペレータを包含するパラメータ群を含む、画像またはサブ画像記述情報を包含する情報を包含する、データ部分とメタデータ部分とを含むカプセル化データファイルを処理する方法であって、前記方法は、−対象の画像またはサブ画像を選択するステップと、−前記参照された画像またはサブ画像記述情報から、前記メタデータ部分からの関連する表示パラメータおよび/または変換オペレータを識別するステップと、−変換オペレータが識別された場合には、前記画像またはサブ画像に前記変換を適用し、前記表示パラメータに従って、最終的に変換された前記画像またはサブ画像を表示するステップと、を含む、方法。

請求項9

前記方法が、前記識別するステップの前に、前記パラメータ群中に含まれる追加データを読み取るステップをさらに含み、前記追加データは、−型情報、および/または−画像またはサブ画像アイテム情報を前記パラメータにリンクするのに使われる識別子、を含む、請求項8に記載の方法。

請求項10

請求項1〜7のいずれか一項に記載の方法を実装するように構成された、1つ以上の画像を表現する符号化ビットストリームをカプセル化するためのサーバデバイス

請求項11

請求項8または9に記載の方法を実装するよう構成された、1つ以上の画像を表現する符号化ビットストリームを処理するためのクライアントデバイス

請求項12

コンピュータ上で実行されたとき、そのコンピュータに請求項1〜9のいずれか一項に記載の前記方法を遂行させる命令を含む、コンピュータプログラムおよび/またはコンピュータプログラム製品

技術分野

0001

本発明は記述メタデータを備えたメディアコンテナ中への、静止画像、静止画像のバースト、または映像データなど、画像データのストレージに関する。かかるメタデータは、一般に、画像データおよび画像データの部分への容易なアクセスを提供する。

背景技術

0002

セクション記述されるアプローチのいくつかは追行されたものであるかもしれないが、必ずしも従来から考案または追求されてきたアプローチではない。したがって、本セクションに記載されるアプローチは、必ずしも本出願中の特許請求事項より以前の技術でなく、本セクションに包含することによって従来技術であることを認めない。

0003

HEV規格は、静止画像の符号化に対するプロフィールを定義し、単一の静止画像または静止画像のバーストを圧縮するための特定のツールを記載している。かかる種類の画像データに用いられるISOベースメディアファイルフォーマット(ISOBMFF:ISO Base Media File Format)の拡張版を、「画像ファイルフォーマット」の名の下にISO/IEC23009規格パート12に包含することが提案されている。この規格は、相異なる使用状況に対応するストレージの2つの様式を網羅している:
デコーダ随意に使われるタイミングに対応する画像シーケンスのストレージであって、それらの画像は他の画像に依存することが可能なもの、および
単一画像のストレージであって、個別に符号化された画像の収集

0004

最初のケースでは、カプセル化は、ISOベースメディアファイルフォーマットにおける映像トラックのカプセル化(文献<<情報技術−視聴覚オブジェクトの符号化−パート12:ISOベースメディアファイルフォーマット>>、ISO/IEC14496−12:2008、第三版、2008年10月を参照)に近く、記述のため「trak」ボックスおよびサンプルグループ化など同じツールおよび概念が使われている。「trak」ボックスは、トラックを記述するためのサブボックスを包含するファイルフォーマットボックス、言い換えれば、関連するサンプルの時間調節されたシーケンスである。

0005

二番目のケースでは、ISOBMFFボックスのセット、「meta」ボックスが使われる。これらのボックスおよびその階層は、「track」ボックスよりも少ない記述ツールを提供し、関連サンプルの代わりに「情報アイテム」または「アイテム」に関連する。

0006

画像ファイルフォーマットは、マルチメディアファイルローカルに表示するため、またはマルチメディアプレゼンテーションストリーミングするために使うことができる。HEVC静止画像は、多くの問題を惹起する多くの用途を有する。

0007

画像バーストは1つの用途である。画像バーストは、カメラによって取り込まれた静止ピクチャのシーケンスであり、(多くのピクチャアイテムがデータのブロックを参照する)単一の表現体として格納される。ユーザが、サムネイルまたは表紙として選ぶ、これらのピクチャに効果を適用するなど、これらのピクチャにいくつかの種類の処置を施すことを望むことがある。

0008

しかして、データのブロック中のピクチャのリストをそれらの対応バイトとともに識別するための記述メタデータが必要とされている。

0009

コンピュテーショナルフォトグラフィは別の用途である。コンピュテーショナルフォトグラフィでは、ユーザは、同じピクチャの異なる解像レベル(異なる露光、異なる焦点など)へのアクセスを有する。これらの異なる解像レベルは、その1つが選択でき、処理(レンダリング編集、送信など)のため対応するデータ片を探索し抽出可能なように、メタデータとして格納される必要がある。

0010

サイズに関連してピクチャの解像レベルが増大するに従って、これらの大きなピクチャの一部の空間的部分だけを容易に識別し抽出できるように、十分な記述を備えることが必要とされている。

0011

用途の別の種類には、例えば、ビデオの要約、ビデオ監視データ中の証拠画像などのための、映像シーケンスの特定のピクチャへのアクセスがある。

0012

かかる種類の用途に対し、圧縮映像データおよび映像トラッメタデータに加えて、主要画像への容易なアクセスを可能にする画像メタデータが必要とされている。

0013

さらに、プロのカメラは高い空間解像レベルに達している。4K2K解像レベルを有する映像または画像は今や当たり前である。今日では、8k4kの映像または画像でさえ一般的である。並行して、映像は、映像ストリーミング機能を備えた携帯および接続デバイス上で益々多く再生されている。しかして、携帯デバイスのユーザが、品質を保持、または向上さえさせながら、映像のサブ部分を表示することを望みまたはそれに焦点を合わせることを欲する場合に、映像をタイルに分割することが重要となる。タイルを用いることによって、ユーザは、映像の空間的サブ部分をインタラクティブに要求することができる。

0014

しかして、単にメタデータボックス構文解析すること以外の追加的な処理なしにアクセス可能にするために、ファイルフォーマットのコンパクト形式で映像のこれら空間的サブ部分を記述することが必要とされている。また、斯く記述された映像に対応する画像に対しても、空間的サブ部分へのアクセスはユーザの関心事項である。

0015

ISO/IEC23009規格は、静止画像を最近討議されたファイルフォーマット中にカプセル化するための2つの仕方取り上げている。

0016

1つの仕方は、「track」ボックス、および関連する記述ツールの関係付けられた関連サンプルの時間調節されたシーケンスの概念に基づいており、別の1つは、サンプルの代わりに情報アイテムに基づく「meta」ボックスに基づいていて、特に対象の領域の記述およびタイル化サポートに対し、記述がより少ないツールを提供する。

0017

斯くのごとく、新規の画像ファイルフォーマットにおけるタイル化のサポートを提供することが必要とされている。

0018

タイルの使用、特に圧縮時における使用は、従来技術でもよく知られている。ISOベースメディアファイルフォーマットにおけるこれらのインデクゼーションに関し、ISO/IEC14496規格「Carriage ofNALunit structured video in the ISO Base Media File Format(ISOベースメディアファイルフォーマットにおけるNALユニット構造化映像のキャリッジ)」のパート15の改正版のドラフト中にも、タイル化記述子が存在する。

0019

しかしながら、これらの記述子は、「track」ボックスおよびサンプルグループ化ツールに依存し、「meta」ベースのアプローチを用いる場合、静止画像ファイルフォーマット中では使うことができない。かかる記述子なしでは、このファイルフォーマット中に格納された符号化ピクチャからタイルを選んで抽出することが面倒になる。

0020

図1は、MPEGの寄稿m32254中で開示されている、ISOベースメディアファイルフォーマットの「meta」ボックス(100)中の、タイルを使って符号化された静止画像の記述を示す。

0021

各タイルピクチャ(102、103、104、および105)に対するそれぞれの情報アイテムに加え、全体ピクチャ101に対する情報アイテムが定義されている。これらの情報アイテムは「ItemInfoBox(アイテム情報ボックス)」(iinf)と呼ばれるボックス中に格納される。ISO BMFF規格からの「ItemReferenceBox(アイテム参照ボックス)」と呼ばれるボックス(106)が、全体ピクチャの情報アイテムとタイルピクチャに対応する4つの情報アイテム(108)との間に「タイル」関係性(107)が存在することを示すために使われている。「ItemLocationBox(アイテム配置ボックス)」と呼ばれるボックス(109)が、各情報アイテムを表す符号化データ(110)中のバイト範囲(群)を規定するのに、各情報アイテムの識別子が用いられる。別のボックス「ItemReferenceBox」(112)が、EXIFメタデータ(111)を全体ピクチャ(101)に対する情報アイテムに関連付けるために使われ、対応するデータブロック(111)がメディアデータボックス(110)中に生成される。また、EXIFメタデータを識別するためにさらなる情報アイテム(113)が生成される。

発明が解決しようとする課題

0022

たとえ、全体ピクチャおよびそのタイルが情報アイテムとして導入されても、ここではタイル化情報は提供されない。さらに、追加のメタデータを(EXIFのような)情報アイテムと関連付ける際に、追加の「ItemReferenceBox」を使って参照されるデータブロックが生成されない。

0023

静止画像ファイルフォーマットドラフト中で定義されている、EXIFからのタイル化の情報の再利用およびメカニズムの再利用では、既存のEXIFタグ使って不規則グリッドを記述することができないであろう。

0024

しかして、静止画像、とりわけHEVC静止画像に対するファイルフォーマットの改良がさらに必要とされている。具体的には、このファイルフォーマットを使って格納された静止画像中の対象の領域を抽出するための方法が必要とされている。

0025

本発明は、上記のコンテキストの範囲内にある。

課題を解決するための手段

0026

本発明の第一態様によれば、1つ以上の画像を表現する符号化ビットストリームをカプセル化する方法が提供され、本方法は、
画像エリアを1つ以上のタイルに分割するための空間パラメータを含むタイル記述情報を備えるステップと、
−単一画像のタイルを表現するビットストリームの部分を識別するタイルピクチャアイテム情報を備えるステップと、
− 前記タイルピクチャアイテムを前記タイル記述情報にリンクする参照情報を備えるステップと、
− 前記ビットストリームを前記備えられた情報と一緒カプセル化データファイルとして出力するステップと、
を含む。

0027

この出力は、定義された標準に従って行うことができ、読み取り可能で復号可能である。

0028

第一態様による方法は、面倒な計算なしにシンタックス要素を構文解析することによって、例えば、超高解像レベル画像(4K2K、8K4K…)から、タイルを容易に識別し、選択し、抽出することを可能にする。

0029

ISOベースメディアファイルフォーマットのメタデータボックスのこれら記述ツールは拡張することが可能である。具体的には、これは、タイル記述を情報アイテムに関連付けることを可能にする。

0030

「meta」ボックス階層の諸部分は、追加の記述ツールを提供し、特に静止画像内でのタイルベースのアクセスをサポートするように拡張することができる。

0031

第一態様による方法は、符号化HEVC静止画像から、HEVCタイルに基づく対象の領域を容易に抽出することを可能にする。

0032

本発明の諸実施形態は、HEVC規格によって符号化された静止画像に対するタイル記述サポートおよびタイルアクセスを提供する。

0033

これは、静止画像に対する映像トラックのため利用可能な対象特徴の領域を保つことを可能にする。一般に、ユーザ定義の対象領域に対応する静止ピクチャの諸部分は、識別し、レンダリングまたはメディアプレイヤーへの送信のため容易に抽出できる。

0034

また、例えば、前記カプセル化された符号化ビットストリームは、映像シーケンスに対応する前記データストリームの時間調節された部分を識別する情報も包含する。

0035

したがって、この映像の部分である一部の静止画像において、映像への同じアクセスの便宜を提供する二重インデキシングを単一のデータ片上に設けることができる。

0036

例えば、タイル記述情報は、各タイルピクチャアイテムに対する空間パラメータのセットを含む。

0037

例えば、タイル記述情報は、複数のタイルピクチャアイテムに共通の空間パラメータを含む。

0038

例えば、タイル記述情報は、ビットストリーム中に組み込まれる。

0039

例えば、タイル記述情報は、メタデータとして備えられる。

0040

例えば、参照情報は、参照の型と、前記タイル記述情報を含む追加の記述メタデータとを含む。

0041

例えば、参照情報は、参照の型と、前記タイル記述情報に関する参照パラメータとを含む。

0042

本方法は、ビットストリーム中の前記タイル記述情報を参照するためのメタデータアイテムを備えるステップ、をさらに含むことができる。

0043

例えば、タイルピクチャアイテムがグループ化され、タイルピクチャアイテムのグループを前記タイル記述情報にリンクするための参照情報を備えることが可能である。

0044

例えば、メタデータアイテムを別のアイテムにリンクする全ての参照が、カプセル化データファイル中の単一の参照ボックスの中に含まれる。

0045

例えば、任意の種類の1アイテムからの全ての関係性が、単一のアイテム情報記述子中に格納される。

0046

例えば、前記出力が、適応ストリーミング用のサーバモジュールによって行われる。

0047

例えば、前記出力が、メモリ中へのストレージのために行われる。

0048

例えば、前記出力が、表示のため表示モジュールに向けて行われる。

0049

例えば、前記出力が、送信のため通信モジュールによって行われる。

0050

例えば、前記カプセル化データファイルが、標準化されたファイルフォーマットに対応する。

0051

例えば、前記カプセル化データファイルが、復号可能で再生可能である。

0052

本発明の第二態様によれば、1つ以上の画像に対応する符号化ビットストリームを含むカプセル化データファイルと、画像のエリアを1つ以上のタイルに分割するための空間パラメータを含むタイル記述情報を包含する情報とを処理する方法が提供され、本方法は、− 対象の画像領域を選択するステップと、
− 前記タイル記述情報から、選択された対象のエリアに対応するタイルを識別するステップと、
− 前記識別されたタイルにリンクされた1つ以上のタイルピクチャアイテムを選択するステップであって、各タイルピクチャアイテムは単一画像の一タイルを表現するビットストリームの部分を識別する、該選択するステップと、
− 選択されたタイルピクチャアイテム(群)によって識別されたビットストリームの部分を抽出するステップと、
− 前記抽出されたビットストリーム部分を出力するステップと、
を含む。

0053

例えば、前記出力が、適応ストリーミング用のサーバモジュールによって行われる。

0054

例えば、前記出力が、メモリ中へのストレージのために行われる。

0055

例えば、前記出力が、表示のため表示モジュールに向けて行われる。

0056

例えば、前記出力が、送信のため通信モジュールによって行われる。

0057

例えば、前記カプセル化データファイルが、標準化されたファイルフォーマットに対応する。

0058

例えば、前記カプセル化データファイルが、復号可能で再生可能である。

0059

本発明の第三態様によれば、カプセル化ファイルの中にカプセル化するため、少なくとも1つの画像を表現する画像データを処理する方法が提供され、本方法は、
− 前記少なくとも1つの画像の複数の画像部分への空間的サブ分割を得るステップと、
− 前記複数のうちの一画像部分を表現する、前記画像データ内データ部分を識別する少なくとも1つの部分識別データを判断するステップと、
− 前記画像データを、少なくとも、
○ 前記少なくとも1つの画像の前記サブ分割を表現するサブ分割記述データ
○ 前記部分識別データ、および
○ 前記サブ分割記述データと前記部分識別データとをリンクする参照データ、
と共に、前記カプセル化ファイル中にカプセル化するステップと、
を含む。

0060

例えば、前記画像データは、映像シーケンスの複数の画像を表現し、本方法は、前記映像シーケンスの時間部分を表す、前記画像データ内のデータ部分を識別する少なくとも1つの時間識別データを判断するステップをさらに含み、前記画像データは、前記時間識別データと共にカプセル化される。

0061

例えば、複数の部分識別データが、それぞれ、前記映像シーケンスの前記時間部分の画像の同じ画像部分を表現していると判断される。

0062

例えば、少なくとも前記サブ分割記述データが、画像データに対するメタデータとしてカプセル化される。

0063

例えば、前記空間的サブ分割が、前記画像データを包含するビットストリーム中に組み込まれる。

0064

例えば、各画像部分に対する、それぞれの部分識別データが判断される。

0065

例えば、複数の画像部分に対する共通の部分識別データが判断される。

0066

本方法は、サーバデバイスによって、前記カプセル化ファイルを、適応ストリーミングのためのビットストリーム中に出力するステップをさらに含むことが可能である。

0067

本方法は、前記画像データを表示するため表示デバイスに送信するべく、前記カプセル化ファイルをビットストリーム中に出力するステップをさらに含むことができる。

0068

本方法は、クライアントデバイスへの送信のため、前記カプセル化ファイルをビットストリーム中に出力するステップをさらに含むことが可能である。

0069

本方法は、前記カプセル化ファイルをストレージデバイス中に格納するステップをさらに含むことが可能である。

0070

例えば、参照データが、参照の型と、前記サブ分割記述データを含む追加の記述メタデータとを含む。

0071

例えば、参照データが、参照の型と、前記サブ分割記述データに関する参照パラメータとを含む。

0072

例えば、前記サブ分割記述データが、メタデータアイテム中で参照される。

0073

例えば、部分識別データがグループ化され、参照データが、部分識別データのグループを前記部分識別データにリンクする。

0074

例えば、前記カプセル化ファイルが、画像データに対する全ての参照データを包含する単一の参照ボックスを含む。

0075

例えば、前記カプセル化ファイルが、前記サブ分割記述データと、部分識別データと、参照データとの間の関係性の表現を包含する記述を含む。

0076

本発明の第四態様によれば、カプセル化ファイルを処理する方法が提供され、該ファイルは、
− 少なくとも1つの画像を表現する画像データと、
− 前記少なくとも1つの画像の、複数の画像部分への空間的サブ分割を表現するサブ分割記述データと、
− 前記画像データ内の、前記複数のうちの一画像部分を表現するデータ部分を識別する少なくとも1つの部分識別データと、
− 前記サブ分割記述データと前記部分情報とをリンクする参照情報と、
を含み、
本方法は、
− 前記少なくとも1つの画像中の対象の領域を判断するステップと、
− 前記サブ分割記述データに基づいて、前記対象の領域に属する少なくとも1つの画像部分を判断するステップと、
− 前記参照データに基づいて、前記対象の領域に属する前記少なくとも1つの画像部分を表現する、前記画像データ内のデータ部分を識別する少なくとも1つの部分識別データにアクセスするステップと、
− 前記画像データ内の前記データ部分を抽出するステップと、
を含む。

0077

例えば、前記画像データが、映像シーケンスの複数の画像を含み、前記カプセル化ファイルが、前記映像シーケンスの時間部分を表す、前記画像データ内のデータ部分を識別する少なくとも1つの時間識別データをさらに含み、前記映像シーケンスの前記時間部分の画像に対する対象の領域が判断され、前記映像シーケンスの前記時間部分の複数の画像中の、前記対象の領域に対応するデータ部分が抽出される。

0078

例えば、複数の部分識別データが、それぞれ、前記映像シーケンスの前記時間部分の画像の同じ画像部分を表現する。

0079

例えば、少なくとも前記サブ分割データが、画像データに対するメタデータとしてカプセル化される。

0080

例えば、各画像部分に対して、それぞれの部分識別データが判断される。

0081

例えば、複数の画像部分に対して、共通の部分識別データが判断される。

0082

本方法は、サーバデバイスによって、適応的にストリームされたビットストリームとして前記カプセル化ファイルを受信するステップをさらに含むことが可能である。

0083

本方法は、前記対象の領域を表示するステップをさらに含むことが可能である。

0084

例えば、参照データが、参照の型と、前記サブ分割記述データを包含するさらなる記述メタデータとを含む。

0085

例えば、参照データが、参照の型と、前記サブ分割記述データに関する参照パラメータとを含む。

0086

例えば、前記サブ分割記述データが、メタデータアイテム中で参照される。

0087

例えば、部分識別データがグループ化され、参照データが、部分識別データのグループを前記部分識別データにリンクする。

0088

例えば、前記カプセル化ファイルが、画像データに対する全ての参照データを包含する単一の参照ボックスを含む。

0089

例えば、前記カプセル化ファイルが、前記サブ分割記述データと、部分識別データと、参照データとの間の関係性の表現を包含する記述を含む。

0090

本発明の第五態様によれば、上記第一態様による方法を実装するよう構成されたデバイスが提供される。

0091

本デバイスは、
−画像エリアを1つ以上のタイルに分割するための空間パラメータを含むタイル記述情報を備え、単一画像のタイルを表現するビットストリームの部分を識別するタイルピクチャアイテム情報を備え、前記タイルピクチャアイテムを前記タイル記述情報にリンクする参照情報を備えるよう構成された処理ユニットと、
− 前記ビットストリームを、前記備えられた情報と一緒にカプセル化データファイルとして出力するよう構成された通信ユニットと、
を含むとよい。

0092

本発明の第六態様によれば、上記第二態様による方法を実装するよう構成されたデバイスが提供される。

0093

本デバイスは、1つ以上の画像に対応する符号化ビットストリームを含むカプセル化データファイルと、画像エリアを1つ以上のタイルに分割するための空間パラメータを含むタイル記述情報を包含する情報と、を処理するように構成することができる。また、本デバイスは、
− 対象の画像領域を選択し、前記タイル記述情報から、選択された対象のエリアに対応するタイルを識別し、前記識別されたタイルにリンクされた1つ以上のタイルピクチャをアイテム選択し、各タイルピクチャアイテムは単一の画像のタイルを表現するビットストリーム部分を識別しており、選択されたタイルピクチャアイテム(群)によって識別されたビットストリーム部分を抽出するよう構成された処理ユニットと、
− 前記抽出されたビットストリーム部分を出力するよう構成された通信ユニットと、を含むことが可能である。

0094

本発明の第七態様によれば、上記第三態様による方法を実装するよう構成されたデバイスが提供される。

0095

本デバイスは、カプセル化ファイル中へのカプセル化のために、少なくとも1つの画像を表現する画像データを処理するよう構成することが可能であり、本デバイスは、前記少なくとも1つの画像の、複数の画像部分への空間的サブ分割を得、前記画像データ内の、前記複数のうちの一画像部分を表現するデータ部分を識別する少なくとも1つの部分識別データを判断し、前記画像データを、少なくとも、
− 前記少なくとも1つの画像の前記サブ分割を表現するサブ分割記述データと、
− 前記部分識別データと、
− 前記サブ分割記述データと前記部分識別データとをリンクしている参照データと、共に、前記カプセル化ファイル中にカプセル化するよう構成された処理ユニットを含むことが可能である。

0096

本発明の第八態様によれば、上記第四態様による方法を実装するよう構成されたデバイスが提供される。

0097

本デバイスは、
− 少なくとも1つの画像を表現する画像データと、
− 前記少なくとも1つの画像の複数の画像部分への空間的サブ分割を表現するサブ分割記述データと、
− 前記画像データ内の、前記複数のうちの一画像部分を表現するデータ部分を識別する少なくとも1つの部分識別データと、
− 前記サブ分割記述データと前記部分情報とをリンクする参照データと、
を含むカプセル化ファイルを処理するように構成することが可能である。

0098

また本デバイスは、前記少なくとも1つの画像中の対象の領域を判断し、前記サブ分割記述データに基づいて、前記対象の領域に属する少なくとも1つの画像部分を判断し、前記参照データに基づいて、前記画像データ内の、前記対象の領域に属する前記少なくとも1つの画像部分を表現するデータ部分を識別する少なくとも1つの部分識別データにアクセスし、前記画像データ内の前記データ部分を抽出するよう構成された処理ユニット、を含むことができる。

0099

本発明の第九態様によれば、
− 第五〜第七態様による第一デバイスと、
− 前記第一デバイスからのファイルを処理するための第六〜第八態様による第二デバイスと、
を含むシステムが提供される。

0100

本発明の第十態様によれば、プログラム可能な装置のコンピュータ手段上にロードされ実行されたとき、本発明の第一、第二、第三および/または第四態様(群)による方法を実装するための命令を含む、コンピュータプログラムおよびコンピュータプログラム製品が提供される。

0101

本発明の第十一態様によれば、1つ以上の画像を表現する符号化ビットストリームをカプセル化する方法が提供され、本カプセル化ビットストリームは、データ部分およびメタデータ部分を含む。本方法は、
−単一画像のサブ画像または画像を表現するデータ部分の一部を識別する画像アイテム情報を備えるステップと、
− 1つ以上画像に関する表示パラメータおよび/または変換オペレータを包含するパラメータを含む、画像記述情報を備えるステップと、
− 前記ビットストリームを、前記備えられた情報と一緒に、カプセル化データファイルとして出力するステップと、
を含み、
− 画像記述情報は、メタデータ部分に格納される。

0102

或る実施形態において、画像記述情報中に含まれる各パラメータは、
型情報、および/または
−画像アイテム情報を前記パラメータにリンクするため使われる識別子、
を含む追加データに関連付けられる。

0103

或る実施形態において、メタデータ部分は、ISOBMFFの「meta」データボックス中に含まれる。

0104

或る実施形態において、追加データはヘッダである。

0105

或る実施形態において、追加データは仮想アイテムである。

0106

別の実施形態において、画像記述情報中に含まれる各変換オペレータは、変換されたアイテムを前記変換オペレータにリンクするために使われる識別子を含む追加データに関連付けられる。

0107

或る実施形態において、メタデータ部分中に格納された或るボックスが、少なくとも1つの変換オペレータを含む。

0108

或る実施形態において、カプセル化ビットストリームのデータ部分は、1つ以上の変換オペレータに関連付けられた被変換アイテムを含み、メタデータ部分は、
− 変換オペレータが適用された当初の画像を識別するための情報と、
− データ部分中の被変換アイテムをローカライズするための情報と、
をさらに含む。

0109

或る実施形態において、被変換アイテムは、少なくとも1つの変換インデックス、すなわち、メタデータ部分中の変換オペレータの1つを識別することを可能にするインデックスを含む。

0110

本発明の第十二態様によれば、データ部分中に、1つ以上画像に対応する符号化ビットストリームを包含し、メタデータ部分中に、1つ以上の画像またはサブ画像に関する表示パラメータおよび/または変換オペレータを包含するパラメータ群を含む、画像またはサブ画像記述情報を包含する情報を包含する、データ部分とメタデータ部分とを含むカプセル化データファイルを処理する方法が提供され、本方法は、
− 対象の画像またはサブ画像を選択するステップと、
− 前記参照された画像またはサブ画像記述情報から、メタデータ部分からの関連する表示パラメータおよび/または変換オペレータを識別するステップと、
− 変換オペレータが識別された場合には、画像またはサブ画像に変換を適用し、前記表示パラメータに従って、最終的に変換された前記画像またはサブ画像を表示するステップと、
を含む。

0111

或る実施形態において、本方法は、上記識別するステップの前に、前記パラメータ群中に含まれる追加データを読み取るステップをさらに含み、前記追加データは、
−型情報、および/または
− 画像またはサブ画像アイテム情報を前記パラメータにリンクするのに使われる識別子、
を含む。

0112

或る実施形態において、メタデータ部分は、ISOBMFの「meta」データボックス中に含まれる。

0113

或る実施形態において、追加データはヘッダである。

0114

或る実施形態において、追加データは仮想アイテムである。

0115

別の実施形態において、画像記述情報に含まれている各変換オペレータは、被変換アイテムを前記変換オペレータにリンクするのに使われる識別子を含む追加データに関連付けられる。

0116

或る実施形態において、メタデータ部分に格納された或るボックスが、少なくとも1つの変換オペレータを含む。

0117

或る実施形態において、カプセル化ビットストリームのデータ部分は、1つ以上の変換オペレータに関連付けられた被変換アイテムを含み、メタデータ部分は、
− 変換オペレータが適用された当初の画像を識別するための情報と、
− データ部分中の被変換アイテムをローカライズするための情報と、
をさらに含む。

0118

或る実施形態において、被変換アイテムは、少なくとも1つの変換インデックスを含み、インデックスはメタデータ部分中の変換オペレータの1つを識別することを可能にする。

0119

本発明の第十三態様によれば、本発明の上記第十一態様によるカプセル化方法を実装するよう構成された、1つ以上の画像を表現する符号化ビットストリームをカプセル化するサーバデバイスが提供される。

0120

本発明の第十四態様によれば、本発明の上記第十二態様による処理方法を実装するよう構成された、1つ以上の画像を表現する符号化ビットストリームをカプセル化するクライアントデバイスが提供される。

0121

本発明の第十五態様によれば、プログラム可能装置のコンピュータ手段上にロードされ実行されたとき、本発明の第十一および第十二態様による方法を実装するための命令を含む、コンピュータプログラムおよびコンピュータプログラム製品が提供される。

0122

本発明の他の特徴および利点は、添付の図面を参照しつつ、以下の非限定の例示的な諸実施形態の説明から明らかとなろう。

図面の簡単な説明

0123

MPEGの寄稿m32254中で開示されている、ISOベースメディアファイルフォーマットの「meta」ボックス中の、タイルを使って符号化された静止画像の記述を示す。
タイル化された映像の一例を示す。
HEVC中の様々なタイル/スライス構成を示す。
「track」ボックスを使うISOベースメディアファイルフォーマットによるタイルカプセル化を示す。
ISOBMFFの「meta」ボックス中の、情報アイテムを記述するための標準的メタデータを示す。
情報アイテム記述に対する例示的な拡張を示す。
情報アイテムの間の参照のメカニズムを示す。
本発明の諸実施形態の実装のコンテキストを示す。
本発明の1つ以上の実施形態を実装するためのコンピューティングデバイスの概略ブロック図である。

実施例

0124

以降で、本発明の諸実施形態を説明する。

0125

技術的コンテキストをよりよく理解するために連続する時間的フレームを有する映像(200)を示す図2を参照しながら、映像のタイル化を説明する。各フレーム(201)は、「タイル」T1〜T8と称される8つの部分(ここでは矩形部分)に分割される。これらタイルの数および形状は異なるものとすることも可能である。以下では、映像フレームのインデックスの如何に関わらず、タイル化は同様であると見なすものとする。

0126

このタイル化の結果は8つの独立したサブ映像(202)である。これらのサブ映像は全体的映像の区分を表す。各独立のサブ映像は、例えばAVCまたはHEVC規格に従って独立したビットストリームとして符号化することができる。また、このサブ映像は、例えばHEVC規格のタイルまたはAVC規格のスライスのような、1つの単一映像ビットストリームの部分であってよい。

0127

HEVC規格は、ピクチャの各種の空間サブ分割、タイル、スライス、およびスライスセグメントを定義している。これらの各種のサブ分割(または区分)は、異なる目的のため導入されたもので、スライスはストリーミングの流れに関連し、一方、タイルおよびスライスセグメントは、並列処理のため定義されている。

0128

タイルは、整数符号化ツリーユニット(CTU:Coding Tree Unit)を包含するピクチャの矩形領域を定義する。図3は、行および列の境界(301、302)によって定義された、画像(300)のタイル化を示す。これは、位置およびサイズに関し、対象領域の記述のためタイルの良好な候補を形成する。但し、HEVC規格のビットストリーム編成は、シンタックスおよびネットワーク抽象層(NAL:Network Abstract Layer)ユニット中へのそのカプセル化に関し、むしろ(AVC規格におけるように)スライスに基づいている。

0129

HEVC規格によれば、スライスは、スライスセグメントのセットであって、少なくとも最初のスライスセグメントは独立スライスセグメントであり、存在する場合、他のものは従属スライスセグメントである。スライスセグメントは、(ラスタースキャン順での)整数の連続するCTUを包含する。これは必ずしも矩形形状を有しない(しかして、対象の領域の表現に対しタイルよりも適切性が低い)。「slice_segment_header(スライスセグメントヘッダ)」と呼ばれるヘッダとしてHEVCビットストリーム中に符号化され、その後に「slice_segment_data(スライスセグメントデータ)」と呼ばれるデータが配置される。独立スライスセグメントと従属セグメントとはそれらのヘッダが異なり、従属スライスセグメントは、それらが独立スライスセグメントのヘッダからの情報を再利用するので、より短いヘッダを有する。独立および従属スライスセグメントの両方は、ビットストリーム中に、タイルもしくはエントロピー復号同期ポイント、いずれかへのエントリーポイントのリストを包含する。

0130

図3は、スライス、スライスセグメント、およびタイルの相異なる構成の画像310と320とを示す。これらの構成は、1つのタイルが1つのスライス(1つだけの独立スライスセグメントを包含する)を有する画像300の構成とは異なる。画像310は、2つの垂直タイル(311、312)および(5つのスライスセグメントを有する)1つのスライスに区分されている。画像320は、2つのタイル(321、322)に分割され、左タイル321は(それぞれが2つのスライスセグメントを有する)2つのスライスを有し、右タイル322は(2つのスライスセグメントを有する)1つのスライスを有する。HEVC規格は、タイルとスライスセグメントの間の編成ルールを定義しており、これは次のように要約できる(1つまたは両方の条件が満たされなければならない):
− 一スライスセグメント中の全てのCTUが同一のタイルに属する、および
− 一タイル中の全てのCTUが同一のスライスセグメントに属する。

0131

対象の領域をサポートおよび移送適合させるためには、1タイルが1独立セグメントを有する1スライスを包含する構成300が好ましい。但し、本カプセル化ソリューションは他の構成310または320でも機能するであろう。

0132

このタイルは、対象の領域に対する適切なサポートであるが、ネットワーク上の移送のために実際はNALユニットの中に入れられ、アクセスユニット(ファイルフォーマットレベルの符号化ピクチャまたはサンプル)を形成するために集合される。HEVC規格によれば、NALユニットの型はNALユニットヘッダ中で指定される。NALユニット型「符号化スライスセグメント」に対し、slice_segment_headerが、「slice_segment_address(スライスセグメントアドレス)」シンタックス要素を介して、スライスセグメント中の最初の符号化ツリーブロックのアドレスを示す。タイル化情報は、PPS(Picture Parameter Set(ピクチャパラメータセット))NALユニット中に備えられる。こうして、スライスセグメントとタイルとの間の関係は、これらのパラメータから導出することができる。

0133

定義により、タイル境界上で空間的予測リセットされる。但し、或るタイルが、参照フレーム(群)中の異なるタイルからの時間的予測子を使用することが妨げられることはない。符号化時に、独立タイルを構築するために、タイル内部の予測ユニットに対する動きベクトルが、参照フレーム(群)中の同一場所配置されたタイルの中に留まるよう制約される。さらに、インループフィルタデブロッキングおよびSAO)は、1つだけのタイルを復号する際にエラードリフトが導入されないように、タイル境界上で失活される必要がある。インループフィルタのこの制御は、HEVC規格で既に利用可能であり、「loop_filter_across_tiles_enabled_flag(タイル横断ループフィルタ有効化フラグ)」と呼ばれるフラグを使ってスライスセグメントのヘッダ中に設定される。このフラグを明示で0に設定することによって、タイル境界の画素が、隣接のタイルの境界上に位置する画素に依存することはない。動きベクトルおよびインループフィルタに対するこれら2つの条件が満たされたとき、これらタイルは「独立的に復号可能」または「独立的」と言われる。

0134

映像シーケンスが独立タイルのセットとして符号化される場合、参照データ喪失リスク、または再構成エラー伝搬なしに、1つのフレームから別のフレームへとタイルベースの復号を使って、該映像を復号することが可能である。この構成は、例えば対象の領域に対応する当初の映像の空間的部分だけを再構成することを可能にする。

0135

以降で、独立タイルについて検討する。

0136

図4を参照すると、タイルのISOBMFFファイルフォーマット中へのカプセル化が表されている。例えば、各タイルが専用のトラック中にカプセル化される。全てのタイルに共通のセットアップおよび初期化情報は、例えば、「タイルベーストラック」と呼ばれる、特定のトラック中にカプセル化される。全体映像は、しかして、これら全てのトラック、すなわち、タイルのベーストラックと、タイルトラックのセットとの合成体としてカプセル化される。

0137

図4は、例示的なカプセル化を示す。ISOBMFF規格によってタイル化された映像をカプセル化する1つのやり方は、各タイルを専用のトラックに分割し、全タイルに共通なセットアップおよび初期化情報を、例えば「タイルベーストラック」と呼ばれる特定のトラックにカプセル化し、全体映像をこれら全トラックの合成体、すなわちベーストラックプラスタイルトラックのセットとしてカプセル化することである。このカプセル化は、しかして「多重トラックタイルカセル化」と言われる。多重トラックタイルカプセル化の一例が図4中に提示されている。

0138

ボックス401は、主ISOBMFFボックス「moov」を表し、トラックの全リストをそれらの識別子と併せ包含する。例えば、ボックス411〜414は、タイルトラック(本例では4つのタイル)を表し、ボックス420はタイルベーストラックを表す。音声またはテキストトラックなどの追加のトラックは、同じファイルの中で用い、カプセル化することができる。但し、簡明化のため、かかる追加トラックはここでは説明しない。

0139

図4に表されているように、タイルデータは、復号および表示のため、これらタイルトラックを参照しているタイルベーストラックからタイルトラック(群)の任意の組み合せが容易に再構成できるように、独立したアドレス可能なトラック中に分割されている。また、タイルベーストラックは、これが、1つの、多くの、または全てのタイルなど任意のタイルの組み合せを可能にするので「合成トラック」または「参照トラック」と言われることもある。タイルベーストラック420は、全タイルトラックに共通の情報、および「mdat」ボックス中にサンプルのリスト450(図4では最初のものだけが表されている)を包含する。タイルベーストラック420の各サンプル450は、抽出子(451〜454のそれぞれ1つが各タイルに対する1つの抽出子を表す)の使用を介した各タイルトラックへの参照によって構築される。各タイルトラック411〜414は、全体映像または全体フレーム映像の空間部分を表す。タイル記述(位置、サイズ、バンド幅など)は、各タイルトラック411〜414のトラックヘッダボックス(図示せず)中に格納される。タイルベーストラックと各タイルトラックとは、各トラック中の「TrackReferenceBox(トラック参照ボックス)」を使って相互参照される(405)。各タイルトラック411〜414は、「tbas」トラックとしてタイルベーストラック420を参照する(「tbas」は、具体的には、ファイルフォーマットの構文解析から得られる基本ストリームを処理することになる映像デコーダのセットアップを可能にするパラメータ「HEVCDecoderConfigurationRecord(HEVCデコーダ設定記録)」を見出す際に、各タイルトラックからタイルベーストラックへの符号化依存性を示す特定のコードである)。逆に、全体映像の再構成を可能にするために、タイルベーストラック420は、各タイルトラック(405)への型「scal」の依存性を示す。これは、符号化依存性を示し、タイルベーストラックのサンプル450の定義をタイルトラックのデータに対する抽出子として反映するためである。これらの抽出子は、構文解析時にデータの欠如に対応することのできる特有の抽出子である。図4では、ファイルのストリーム可能なバージョンを設けるために、各トラックは、メディアセグメント(タイルトラック対する431〜434、およびタイルベーストラックに対する460)に分解される。各メディアセグメントは、「moof」ボックスプラスデータによって示される1つ以上のムービーフラグメントを含む。タイルトラックに対し、データ部分は映像の空間サブ部分に対応し、一方、タイルベーストラックに対しては、これは、パラメータのセット、存在する場合SEIメッセージ、および抽出子のリストを包含する。「moov」ボックス401は、ストリーミング応用の場合に、初期化セグメントに適合することになろう。図4は1つのセグメントだけを示しているが、これらトラックは任意の数のセグメントに分解することが可能で、制約は、タイルトラックおよびタイルベーストラックに対するセグメントが同じ時間的分解に従う(すなわち、これらが時間的に整列される)ということであり、これによって、全体映像からタイルまたはタイルのセットへの切り替えが可能になる。簡明化のため、この時間的分解の粒度についてはここでは説明しない。

0140

このファイルフォーマットは、1つのタイル、タイルの組み合せ、または全タイルに対応するデータが、記述メタデータの構文解析によって容易に識別可能なように、トラック間の関係性を記述する(例えば、「VisualSampleGroupEntries(視覚サンプルグループエントリ)」、または「tref」ボックス中のトラック参照型などの」)記述メタデータを有する。

0141

以降に、静止画像を同じレベルで説明する。このように、ユーザの、ピクチャの任意のタイル、タイルの組み合わせまたは全タイルの選択に際して、識別および抽出が容易化される。ピクチャが映像データに混合されている場合、その記述は、映像に対する記述メタデータと並行してもたらされる。しかして、同一のデータセットに対し、(映像および音声に対するインデクセーション層に加え)ピクチャのための追加のインデクセーション層が設けられる。

0142

「meta」ボックスを用いる静止画像ファイルフォーマットにおいて、関連情報を有するピクチャは、情報アイテムとして記述される。図5に示されるように、これらの情報アイテムは、「meta」ボックスの専用サブボックス「ItemInfoBox」500中にリストされる。このサブボックスは、ファイル中に存在する情報アイテムの数を提示する。また、該サブボックスは、各アイテムに対し、「ItemInfoEntry(アイテム情報エントリ)」501として表された記述メタデータも備えている。ISO BMFF規格進展版によれば、このボックスのいくつかのバージョン502(0、1、2)が存在する。

0143

「meta」アイテムは、一ファイル中に切れ目なく格納することはできない。また、該アイテムデータインターリービングに関する特定の制限はない。しかして、同一のファイル中の2つのアイテムが、1つまたはいくつかのデータブロックを共有してもよい。これは、独立的に復号可能なタイルごとに1つのアイテムを有することを容易にできるので、HEVCタイルに対して特に有用である(タイルが連続的にまたは非連続に格納できる)。このアイテムは、ItemLocationBox(アイテム配置ボックス)を介して、タイルに使われる、主HEVCピクチャ中のデータのオフセット、およびスライス(群)の長さを示す。

0144

諸実施形態によれば、タイルピクチャを記述する新規のアイテム型を加えることが可能で、例えば、「hvct」または「tile」と名付けられ、あるいはISO/IEC14496−15「hvt1」からのアイテム型が再利用される。タイルピクチャを表す各アイテム(選択された4文字コードが何であれ)は、それが抽出された「hvc1」アイテムへの型「tbas」の参照を有することが可能である。各アイテムは、識別子「item_ID」503を有し、ピクチャに対する圧縮データを包含するメディアデータボックス中のバイトの位置およびサイズに関し、ボックス「ItemLocationBox」中にさらに記述される。

0145

かかるシンタックスは、ファイルフォーマットリーダー(または「パーサー」)が、情報アイテムのリスト介して、いくつの情報アイテムが、例えば、情報アイテムが全体ピクチャの一タイルピクチャであることを示す「tile」など、それらの型504に関する情報を使って利用可能であるかを判断することを可能にする。

0146

しかして、これは、他のタイルをスキップしながら、画像の1つだけのタイル、および関連するデコーダ設定をダウンロードするために、情報アイテムのファイル、その組み合せわせ、または全セット中の情報アイテムのサブセットを選択することを可能にする。

0147

復号するため、HEVCタイルが別のHEVCタイルに依存する場合、ISO/IEC14496−15:2013 AMD1のWDの文献w14123「Enhanced carriage of HEVC and support of MVCwithdepth information(深度情報を使ったHEVC改良型キャリッジおよびMVCのサポート)」、MPEG107サンノゼ2014年1月、に記載されている型「dpnd」(または、符号化依存性を示す任意の特定な4文字コード)のアイテム参照によって、上記依存性が示されなければならない。

0148

この文献は、(「TileRegionGroupEntry(タイル領域グループエントリ)」記述子を使用して)、HEVCタイルNALUをタイルの空間的位置を示すサンプルグループの記述に関連付けるためのツールを定義している。また一方、メタデータ情報アイテムに対するサンプルのグループ化の直接的な同等記述子はなく、これによりこれらに記述子の再利用を可能にできよう。

0149

したがって、諸実施形態によれば、タイル記述アイテムは、タイルごと定義され、そのタイルは、以下に説明するように「ItemReferenceBox」ボックスの修正バージョンを使ってその記述にリンクされる。

0150

他の実施形態によれば、好ましくは一般的な方法で、1つだけのタイル化記述が設けられる。さすれば、アイテムリストが長すぎるようになることはない。

0151

この設計は、次のようにすればよい:
− いくつかのアイテムが、サンプルグループと同様にだが各アイテム型に固有に、メタデータのセットを記述することを可能にする、
− 任意のアイテムに対し、アイテム参照の所与の型に対する1つのパラメータを記述する能力を加える。このときこのパラメータは、(グループ化の型と同様に)参照されるアイテムの型に応じて解釈されることになろう。

0152

以降に図6を参照しながら説明するように、情報アイテムに対する記述メタデータのアップグレードが必要となり得る。

0153

ISOBMFF規格によれば、サンプルグループ化のメカニズムは、次のような「grouping_type(グループ化_型)」パラメータを有する2つの主ボックスに基づく:
−ボックス「SampleGroupDescriptionBox(サンプルグループ記述ボックス)」は、プロパティのリスト(リスト「SampleGroupEntry(サンプルグループエントリ)」)を定義するパラメータ「sgpd」を有する。
− ボックス「SampleToGroupBox(サンプルからグループへボックス)」は、サンプルグループとそれらのプロパティへのマッピングとのリストを定義するパラメータ「sbgp」を有する。

0154

「grouping_type」パラメータは、サンプルグループのリストをプロパティのリストにリンクし、一サンプルグループの、該リスト中の1つのプロパティへのマッピングは、ボックス「SampleToGroupBox」中に指定される。

0155

これらの情報アイテムに対し同じ機能を設けるために、情報アイテムグループのリストおよびプロパティのリストを記述する必要がある。また、情報アイテムの各グループをプロパティにマップできるようにする必要がある。

0156

以降で、かかる記述メタデータをどのように静止画像ファイルフォーマットに組み込むことを可能にするかを説明する。言い換えれば、どのように記述子を画像アイテムにリンクするかである。たとえHEVC静止画像ファイルフォーマットに対する使用の例が説明されていたとしても、以下の機能は、任意の種類の情報アイテムを追加の記述メタデータに関連付けるため、ISO/IEC14496−12など他の規格においても使用することが可能である。

0157

諸実施形態によれば、パラメータ「infe」を備える既存の「ItemInformationEntry(アイテム情報エントリ)」ボックス601は、図6に示されるように「iref_type」604と呼ばれる新規のパラメータを介して各アイテムをプロパティにリンクするために、新規のバージョン番号(602および603)を使って拡張される。これは、新ボックスの生成を回避し、記述を短く保ちながらそれを改良することを可能にする。

0158

ItemInformationEntryボックスの当初の定義は、

0159

0160

で与えられる。

0161

タイルピクチャをその記述にリンクさせる新規バージョンは次のようにすればよい:

0162

0163

ボックス「SampleToGroupBox」により近い他の実施形態によれば、4文字コード「iinf」を備えるボックス「ItemInformationBox(アイテム情報ボックス)」の定義は、例えば、このボックスの新規バージョンを導入することによって、次のように変更される:
現在バージョン

0164

0165

は、
次の:

0166

0167

に変更される。

0168

あるいは、グループが使われているかどうかをシグナリングするために、現在バージョンが、

0169

0170

に変更される。

0171

「group_entry_count(グループ_エントリ_カウント)」パラメータは、メディアファイル中の情報アイテムグループの数を定義する。情報アイテムの各グループに対し、item_ID=0から開始して情報アイテムの数が示される。サンプルと違って、情報アイテムは、時間制約および時間関係性がないので、カプセル化モジュールは、任意の順序で情報アイテム識別子を割り当てることができる。引き続くアイテムグループに従って増大する識別子に番号を割り当てることによって、グループ中の連続する情報アイテム識別子のランを識別するパラメータitem_run(アイテム_ラン)を使って、情報グループのリストをより効率的に表すことが可能である。

0172

関連する情報アイテムは、例えば「property_index(プロパティ_インデックス)」と呼ばれるインデックスを有する。「grouping_type(グループ化_型)」パラメータに関連付けられたこの「property_index」パラメータは、ファイルフォーマットパーサー(またはリーダー)が記述メタデータへの参照もしくは記述メタデータ自体を識別することを可能にする。図7は、2つの例示的な実施形態を示す。

0173

ボックス「SingleItemTypeReferenceBox(単一アイテム型参照ボックス)」701中のグループ機能は、from_item_ID(アイテム_ID_から)パラメータの値に対して通常使われる情報アイテム識別(item_ID)の代わりに、グループ識別「group_ID」と共に使用することができる。設計上、ボックス「SingleItemTypeReferenceBox」は、特定の種類のまたは特定のアイテムからの全ての参照を見出すことを容易にする。これを、「item_ID」の代わりに「group_ID」と共に使うことで、特定の型の全ての参照を容易に識別してアイテムのグループを見出すことが可能になる。有利には、カプセル化ファイルごとに最大で1つのボックス「ItemInformationBox」があるので、グループ識別を定義する必要はない。カプセル化モジュール(符号化の過程で)および構文解析モジュール(復号の過程で)は、グループが生成または読み取られると、情報アイテムグループのリストに対するそれぞれのカウンタ(ボックス「ItemInformationBox(アイテム情報ボックス)」中の「g」変数として)を進めることができる。これに換えて、パーサーに対し、フラグ「group_used_flag(グループ_使用_フラグ)」を使って、グループ識別カウンタを維持するかしないかを通知することも可能である。

0174

タイルピクチャに対応する情報アイテムの1つのグループを使う例に戻って、1つのグループが4つのエントリを包含することが可能で、参照700「SingleItemTypeReference」は、4つのタイルピクチャ情報アイテムが依存し、特定の参照型703に対してもそうである、情報アイテムのリスト704を示すことが可能である。

0175

他の例示的な実施形態によれば、情報アイテムは、以降で説明するように、1つのアイテム722から様々な他の情報アイテム724に対する複数の参照型723をリストすることを可能にする、新規種類のボックス「ItemReferenceBox」の中で使用される。

0176

後者の場合に対しては、特定のボックス「ItemReferenceBox」721は次のように実装すればよい:

0177

0178

標準のボックス「ItemInformationBox」に対しては、アイテムエントリのリストが記述されるが、このときは、グループ化の如何によって異なる順序となる。本タイルの例において、これは、「tile」と名付けることの可能なパラメータを使ってグループ中に集められたタイルピクチャに対応する4つの情報アイテムの最初のグループにつながり、その後には、構成情報、全体ピクチャの情報アイテム、および随意的にEXIFメタデータに対する非グループ化情報アイテムが続く。

0179

しかして、1つのボックスは修正され、ItemReferenceBoxの特定の種類である1つのボックスが生成される。以降で、この新規種類のItemReferenceBoxについて説明する。

0180

また、このボックス「ItemReferenceBox」は、ItemReferenceBoxの一部であるボックス「FullBox(全体ボックス)」中のフラグパラメータを使って様々な種類のItemReferenceBoxの間を分別することによって、次のように拡張することが可能である:

0181

0182

ボックス「MultipleItemTypeReferenceBox(複数アイテム型参照ボックス)」721を用いて、4つのタイルを有する1つのピクチャを次のように記述することができる:

0183

0184

この設計は、特定のアイテムから任意の種類の全ての参照を見出すことを極めて容易にする。

0185

所与の型713を有する同じアイテム714、を参照するアイテムのリスト712に対する記述サポート711は次のようにすればよい:

0186

0187

4つのタイルを有するピクチャの例では、次のようにすることが可能である:

0188

0189

ボックス「SharedItemTypeReferenceBox(共有アイテム型参照ボックス)」の本設計は、特定のアイテムをポイントする特定の型の全ての参照を見出すことをより容易にする。これは、ボックス「SingleItemTypeReferenceBox」と対照的である。しかし、トラック参照のために定義される「reference_type(参照_型)」のほとんどは双方向性でないので、ボックス「SingleItemTypeReferenceBox」は、他のアイテムに対してこの参照型を有する全ノードへシグナリングするために、一部の単方向性の参照型と共には使えないことがある。上記に換えて、直接参照か、または逆参照かを示すために、「SingleItemTypeReference」中にフラグを設け、これにより、新規のSharedItemTypeReferenceBoxに対する必要性を軽減することができる。

0190

上記を考慮して、情報アイテムをタイル化情報と関連付けるとよい。ここで、このタイル化情報の記述を提示することとする。

0191

例えば、各タイルは、拡張型「ItemInfoEntry」601の「iref_parameter」605などのタイル記述子を使って記述することができる。或る特定の記述子は次のようにできよう:

0192

0193

諸実施形態によれば、格納対象の1つ以上のピクチャに適用するために、記述子をタイルのグリッドに対し用いることが可能である。

0194

かかる記述子は次のようにすればよい:

0195

0196

この記述子「TileInfoDataItem(タイル情報データアイテム)」は、(規則的または不規則な)タイル化グリッドを記述することを可能にする。グリッドは、左最上部から始まり行から行へと記述される。

0197

この記述子は、型「tile」のアイテムとして格納する必要がある。別のアイテムがこのアイテムを参照する場合、そのアイテムは、この記述への型「tile」の参照を用いなければならず、該アイテムは、パラメータ「iref_parameter」を指定する必要があり、その値は、該記述子によって定義された、グリッド中のセルの0ベースのインデックスであって、0は最上部左のアイテムであり、1はセル0の直接右のセルでありそのように続く。

0198

本記述子において、
− 「version」は、TileInfoDataItemに対するシンタックスのバージョンを示す。値0だけが定義される。
− 「regular_spacing(規則的_間隔)」は、グリッド中の全てのタイルが同じ幅且つ同じ高さを有するかどうかを示す。
− 「reference_width(参照_幅)、reference_height(参照_高さ)」は、グリッドが中に表示されるユニットを示す。これらのユニットは、このアイテムを参照する画像の画素の解像レベルと一致してもしなくてもよい。グリッドが規則的な場合、「reference_width」(それぞれの「reference_height」)は、「nb_cell_horiz」(それぞれの「nb_cell_vert」)の倍数でなければならない。
− 「cell_width(セル_幅)」は、非規則的タイル中のグリッドの左から始まる水平区分を示す。
− 「cell_height(セル_高さ)」は、非規則的タイル中のグリッドの上から始まる垂直区分を示す。

0199

上記のアプローチは、全タイルに対するタイル化情報を共有することを可能にする。

0200

さらに、同じタイル化を共有している複数ピクチャがある場合、タイルのグリッド中のセルを単に参照することによって、さらに多くの記述さえ共有することが可能である。

0201

このタイル化構成は、タイル情報アイテム群の間で(参照によって)共有されているメディアデータボックスまたは専用のボックス中に配置することができる。

0202

上記の記述子は、これらがより大きな画像中のサブ画像(群)に対する空間位置およびサイズだけを提供するという意味において、純粋の空間記述子である。例えば、画像収集または画像合成を用いる一部の使用例において、典型的には画像がオーバーラップしている場合、画像を記述するために、空間的配置は十分ではない。これが、上記のTileInfoDataBlock(タイル情報データブロック)記述子の1つの限界である。画像が何であれ、すなわちタイルであれまたは独立した/完全な画像であれ、画像の合成を可能にするためには、一方で画像の位置およびサイズ(空間的関係)を、他方でそのピクチャに対する表示情報(色、クロッピング…)を包含する記述子を定義するのが有用であり得る。例えば、サブ画像を表示のため或る色空間から別の色空間に変換するための色情報を備えるとよい。この種の情報は、ISOBMFFのColorInformationBox(色情報ボックス)の「colr」中で伝達することができる。技術的緻密性のためには、2つの異なる当該変換ピクチャを伝達するよりも、むしろ、単に適用する変換パラメータ群を備えることによって、異なる種類の表示に対応する同じデータを有する方が有用であろう。同様に、各ピクチャの符号化された幅および高さと異なり得る幅および高さを再定義するため、ISOBMFFパート12中に定義されたPixelAspectRatio(画素アスペクト比)ボックスの「pasp」のような画素のアスペクト比をこの記述子中に配置することができる。これは、画像の復号後の表示によって適用されるスケール比を示すことになろう。その後に、映像サンプルエントリ(例えば、「stsd」ボックス)中に格納された符号化サイズ、および「pasp」ボックスから導出された表示のサイズを用いることになろう。表示のための別の可能な情報は、これもISOBMFF中に定義されたクリーンアパーチュア情報ボックス「clap」とすることができよう。規格SMPTE274Mによれば、クリーンアパーチュアは、エリアの内側では、ピクチャ情報が、全てのエッジ過渡歪みアナログからデジタルへの転換の後の画像の境界にあり得るリンギング効果)によって自覚可能に汚染されることのない或るエリアを定義する。表示のため有用なパラメータのこのリストは制限的でなく、サブ画像記述子の任意の他の記述メタデータボックス中に随意的なコンポーネントとして配置することができよう。これらのパラメータは、これらが既に該規格の一部なので、明示で記述することができ、画像クロッピング、サンプルアスペクト比修正、および色調整を示すための汎用ツールを提供する。残念ながら、これらの使用はメディアトラックのためだけに可能であって、「meta」ボックスに依存する画像ファイルフォーマットには使えなかった。そこで、本発明者らは、クリーンアパーチュアまたはサンプルアスペクト比など他のプロパティと共に、画像アイテムの空間記述をサポートするために、例えば「SimpleImageMetaData(単純画像メタデータ)」と呼ばれる新規の記述子を提案する。これは、より大きな画像への合成を意図された、またはより大きな画像から逆抽出された、任意のサブ画像(タイルまたは独立的画像)に適用される:

0203

0204

または、(例えばextra_boxes(追加_ボックス)を介して)表示処理助力するための拡張パラメータを検討するときのその別形は:

0205

0206

上記シンタックスのImageSpatialRelationBox(画像空間関係ボックス)は、以下で説明するようにTileInfoDataBlock(タイル情報データブロック)の拡張型である。検討対象の別の有用なパラメータは、画像を層として構成する可能性である。そこで、本発明者らはこの層化された構成中の画像に関連付けられたレベルを示すためパラメータを挿入することを提案する。これは、一般に、画像がオーバーラップするときに有用である。これは、例えば層情報表示と合わせ「layer」と名付ければよい。かかる記述に対する例示のシンタックスを提示する:
定義:
ボックス型: 「isre」
コンテナ: 単純画像メタデータアイテム(「isre」)
強制: 否
数: アイテムごとにゼロまたは1
シンタックス:

0207

0208

関連する意味定義
horizontal_display_offset(水平方向_表示_オフセット)は、画像の水平オフセットを指定する。
vertical_display_offset(垂直方向_表示_オフセット)は、画像の垂直オフセットを指定する。
display_width(表示_幅)は、画像の幅を指定する。
display_height(表示_高さ)は、画像の高さを指定する。
layer(層)は、画像の前から後ろへの順序付けを指定する;低位の番号の画像ほど視聴者に近い。0は通常値であり、−1は層0の前に在ってそのように続く

0209

この新規の「isre」ボックス型は、画像収集体中の一画像の他の画像との相対位置を記述する機能を与える。これは、通常、メディアファイルのムービーまたはトラックヘッダボックス中に存在する変換マトリックスの機能性のサブセットを提供する。ImageSpatialRelationBox中の座標は、プログラム作者の意図した収集体の表示サイズを与える平方グリッド上で表現され、これらのユニットは、画像の符号化サイズと一致してもしなくてもよい。意図された表示サイズは、
− 水平方向に: 全ての「isre」ボックスに対し(horizontal_display_offset+display_width(水平_表示_オフセット+表示_幅))の最大値
−垂直方向に: 全ての「isre」ボックスに対し(vertical_display_offset+display_height)(垂直_表示_オフセット+表示_高さ))の最大値
によって定義される。

0210

一部の画像が関連付けられたいかなる「isre」を有せず、一方、そのファイル中の他の画像は関連付けられた「isre」を有する場合、いかなる「isre」もないデフォルト画像は、あたかも、それらの水平および垂直方向オフセットが0であり、それらの表示サイズが意図された表示サイズであってそれらの層が0であるかのように取り扱うものとする。

0211

このImageSpatialRelationBoxは、一切のクロッピングまたはサンプルアスペクト比が画像群に適用された後の画像の相対的空間位置を示す。これは、「isre」が、SimpleImageMetaData中の「pasp」などと組み合せられたとき、画像が復号され、「pasp」、「clap」、「colr」が存在すれば適用され、次いで、画像は、該「isre」ボックス中で宣言されたオフセットおよびサイズに移動されてスケールされる。

0212

この新規の記述子は、画像を表現するアイテム情報と該記述子を表現するアイテム情報との間の関連性を定義することによって画像(タイルまたは単一画像)の記述として用いることができる(SimpleImageMetadata定義に対する型「simd」を与えれば、mp4パーサーに対し、それが現在処理しているメタデータの種類を容易に識別するため、任意の予約4文字コードが受け入れ可能となろう。この関連付けは、ItemRefererenceBoxを使い、「空間的画像の関係」を示す新規の参照型「simr」を使ってなされる。下記の例示の記述は、合成自体が関連付けられたアイテムを有さない場合の、4つの画像の合成の例を示す。各画像アイテムは、型「simr」のアイテム参照を介してSimpleImageMetaDataアイテムに関連付けられており、専用の「hvcC」アイテム中のDecoderConfigurationRecord情報を共有する。

0213

0214

上記のデータの編成は、一例として提示されている。画像およびメタデータは、例えば、画像プラスそのメタデータを単一のバイト範囲としてアドレス可能にするために、メタデータボックス中に組み合わせることができよう。この記述を受信したとき、パーサーは、「simd」アイテム中の情報を構文解析することによって、サブ画像が全体ピクチャからクロップされたものかどうか、または逆に、全体ピクチャがサブ画像からの合成なのかどうかを通知される。クロップの場合、全体ピクチャアイテムとクロップされた画像とは、下記の例におけるように、同じデータ範囲および同じデコーダ設定情報を共有することになろう。このとき、サブ画像は、位置なしに、この場合は「isre」なしに、「clap」情報だけを有する「simd」アイテムに関連付けられることになろう。

0215

合成の場合:この場合は、全体ピクチャはアイテム、「isre」情報だけを包含する「simd」アイテムに関連付けられ、サブ画像は、全体画像中のその位置を反映する「simd」アイテムに関連付けられることになろう。

0216

下記の例は、4つの画像がより大きな画像に合成される場合を示す。合成されたものを含め全ての画像は、提案された記述子を用い、再生可能アイテムとして可視化される。

0217

0218

この別の例は、全体ピクチャが実際はタイル化HEVCピクチャ(4つのタイル)である場合を示す。

0219

0220

使用例の如何によって、例えば、全ての画像に同じクロッピングを適用する場合などには、いくつかの画像アイテムに同じメタデータを共有させることも可能であろう。また、例えば、画像の間でクロッピングが共有されるが、空間情報はされない場合などに、一画像アイテムが、相異なるSimpleImageMetaDataへの複数の「simr」参照を有することも可能である。

0221

図6中に示されるように)ItemInfoEntryの新規バージョンに対する別の実施形態は、情報アイテムエントリおよび参照ごとに、1より多いパラメータ(605)を定義することである。図6の実施形態において、iref_parameterは、タイルインデックスがタイル化グリッド中のセルを参照する場合に有用な4バイトコードである。但し、より豊かな記述を有し、(mdatボックス中の)データを使うよりむしろアイテム情報エントリ自体の中にリンクされた記述の組み込みを可能にするためには、以下の拡張が有用であり得る:

0222

0223

上記の拡張において、
− item_iref_parameter_countはパラメータが付与される対象の参照型の数を指定する。これは、図6中のアイテム605とは対照的に、変更はされない。
− iref_typeは、「iref」ボックス中に示され、当アイテムにパラメータが適用される参照型を指定する。これは、図6中のアイテム605とは対照的に、変更はされない。
− 上記中のparameterは、新規ボックスItemReferenceParameterEntry(アイテム参照パラメータエントリ)を介して拡張手段を提供するので、iref_parameter(図6中のアイテム605)とは異なる。(タイル化タイルインデックスに対する構成の中のTileIndexItemReferenceParameterEntry(タイルインデックスアイテム参照パラメータエントリ)によって上記でなされたように)この新規ボックスを特殊化することによって、カプセル化モジュールおよび構文解析モジュールがこの特殊化ボックスの構造を知っていることを前提として、任意の種類の追加のメタデータを情報アイテムエントリと関連付けることができる。これは、ItemReferenceParameterEntryの標準型によって、または、構築によりもしくはネゴシエーションステップで、パラメータエントリの構造体を設けることによって、成就することが可能である。このパラメータの意味定義は、型iref_typeを有するアイテムの意味定義によって与えられる。

0224

以降に、4タイルを有するピクチャを記述する情報アイテムに対する例示的な記述メタデータおよび全体ピクチャのEXIFメタデータを提示する。

0225

下記に示すように、従来技術では、いかなる対応する記述の提示もなしに、タイルピクチャが情報アイテムとしてリストされていた。さらに、「hvcC」型として表されるセットアップ情報はアイテムとして記述されていなかった。これは、全てのタイルピクチャおよび全体ピクチャに適用されるHEVCパラメータおよびSEIメッセージに関する共通データ要素分解することを可能にする。

0226

0227

ItemInfoEntryボックス(601)のバージョン3(図6の602、603を参照)による拡張を用いる諸実施形態によれば、タイルピクチャ情報が、タイル化構成の部分への関連参照と共にリストされており、該情報もまた情報アイテム(ID=8)として記述されている。

0228

0229

図8は、本発明の諸実施形態の実装のコンテキストを示す。最初に、例えば、ステップ800aの過程で音声、ステップ800bの過程で映像、および800cの過程で1つ以上のピクチャなど、各種のメディアが収録される。各メディアはそれぞれステップ801a、801b、および801cの過程で圧縮される。これらの圧縮ステップの過程で、基本ストリーム802a、802b、および802cが生成される。次の、適用レベルグラフィカルユーザインターフェースからのユーザの選択、マルチメディア生成システムの設定など)で、これら全ての基本ストリームを融合すべきかどうかを決めるためにカプセル化モードが選択される。「融合」モードが有効化された場合(判断803が「はい」)、ステップ806cの過程で、前述のように、音声、映像、および静止画像に対するデータが同じファイル中にカプセル化される。「融合」モードが有効化されない場合(判断803が「いいえ」)、ステップ806aおよび806bの過程で、連続的にまたは並行して2つのカプセル化ファイルが生成され、これにより、それぞれ、ステップ807aの過程で同期化時間のメディアデータに対する1つのファイル、および静止画像だけを有する追加のファイル907bの生成がもたらされる。前述のようにタイル記述および対象の領域の特徴を設定するため、ステップ806aの過程でISOBMFF規格に従って音声および映像の基本ストリームがカプセル化され、ステップ806bの過程で静止画像がカプセル化される。最後に、メディア表現807が得られ、これは、ストリーミングのための用意をするべくDASHジェネレータに供給されるか(ステップ820a)、またはメモリ中に格納されるか(ステップ820b)、または表示ユニット上でレンダリングされるか(ステップ820c)、または、全体的に、もしくは記述メタデータを構文解析して一部の部分(タイルなど)を抽出した後、遠隔エンティティに送信されるか(ステップ820d)することができる。

0230

諸実施形態の前の説明では、例えば、(静止画像ファイルフォーマットスペシフィケーション最新のバージョン中ではISOBMFFMetaData(ISOBMFFメタデータ)とも呼ばれる)SimpleImageMetadata(「simd」)ボックスなどの記述メタデータが完熟したアイテムとして説明されていることに留意する。また、追加の記述的または規範的メタデータも、ISO/IEC23008−12:2013第一エディション、「Information technology−MPEG systems technologies−Part 12:Image File Format(情報技術−MPGEシステム技術−パート12画像ファイルフォーマット)」MPEG110、ストラスブール2014年10月、の委員会調査ドラフト文献w14878中に記載された静止画像ファイルフォーマットスペシフィケーションによって定義されている。記述的または規範的メタデータの例には、CleanApertureBox(「clap」)、ImageRotation(画像回転)(「irot」)、ExifDataBlock(エグジフデータブロック)(「exif」)、またはImageOverlay(画像オーバーレイ)(「iovl」)がある。さらに一般的に言えば、記述的メタデータは、画像またはサブ画像(例えばエグジフメタデータ)のようなアイテムに対する追加の情報または記述を提供するメタデータであり、規範的メタデータは、アイテムに適用されるオペレーションまたは変換(例えば、回転、クロップ、または変換オペレータを形成するいくつかのアイテムの組み合せ)である。

0231

しかしながら、かかる記述的または規範的メタデータを、完備されたアイテムとしてスペシフィケーション中の格納しておくのは、極めて面倒と思われ、これらは単なる疑似アイテムであって、記述的または規範的メタデータは符号化データと共にmdatボックス(110)中に格納する必要があり、itemLocationBox(iloc)(109)、itemInfoBox(iinf)、およびitemProtectionBox(アイテム保護ボックス)(ipro)中へのエントリを定義することが必要である。このためのiloc、iinf、およびiproへのこれらのエントリの必要は、相当なオーバーヘッドである。例えば、itemInfoBox中へのエントリは、最小12バイトのヘッダを有するボックス全体の使用を必要とし、加えて、itemInfoBox(iinf)中へのエントリごとに合計15バイトの追加コストに対し、item_protection_index(アイテム_保護_インデックス)(16ビット)プラス空のitem_name(アイテム_名称)(8ビット)を定義しなければならない。また、itemLocationBox(iloc)中へのエントリも、良好な場合(base_offset_size=offset_size=length_size=1、1エクステント)で最小9バイトを必要とする。実際上は、itemLocationBoxエントリは、base_offset_size=offset_size=length_size=2または4として、すなわち12または18バイトの追加コストで用いられる。さらに、このメタデータは、通常は小さく、他のアイテムの効率的な読み取りを可能にする。これらを専用のアイテムとして格納するのは、ファイル構文解析、特にファイル(例えば、HTTP要求の増加)の部分的取得を面倒にする可能性がある。

0232

別の実施形態において、全ての記述的および規範的メタデータは、mdatボックス(110)でなく、むしろ他のボックスの一部として、metaボックス(100)中に格納が可能な組み込みアイテムとして定義することができ、しかして、itemInfoBoxおよびitemLocationBoxエントリを定義する追加コストを回避することが可能である。

0233

記述的および規範的メタデータをmetaボックス中に格納するために、「VirtualItemBox(仮想アイテムbox)」と呼ばれる仮想アイテムボックスが定義される。この実施形態によれば、全ての記述的および規範的メタデータボックスは、この仮想アイテムクラスから受け継がれる。

0234

仮想アイテムは、item_IDと、ボックスのセットと共に該IDに割り当てられたitem_typeとを有する。仮想アイテムは、他のアイテムに関連付けられることになるメタデータを記述するため一般に使われる追加データである。例えば、該仮想アイテムは、或るアイテム(画像またはサブ画像)を識別するitemInfoBoxのエントリと、そのアイテムに適用されることになるオペレーションまたは変換とを関連付けることを可能にする。通常、この関連付けは、該画像のitem_IDから、メタデータオペレーションまたは変換記述ボックスのitem_IDへの、itemReferenceBox中への型「simr」のエントリを定義することによって記述することができる。仮想アイテムは、アイテム参照ボックスおよび一次アイテムボックス中でだけ参照することが可能で、一切の他のボックス(例えば、itemLocationBox(iloc)、itemInfoBox(iinf)、itemProtectionBox(ipro))において宣言または参照されてはならない。この「VirtualItemBox」は次のように定義される:

0235

0236

上記のパラメータに対する意味定義は以下による:
item_ID:このアイテムのID(または識別子)。同じitem_ID値を使ってiinf、iloc、またはipro中にエントリを有することはルール違反である。item_typeは32ビット値で、通常4つの印刷可能文字であり、「mime」などの定義された有効なアイテム型インジケータである。

0237

随意的に、或る別形において、「VirtualItemBox」は、「descriptor_family(記述子ファミリ)」と呼ばれる追加のパラメータを含むことが可能である。該記述子ファミリは、メタデータボックスが、記述的なメタデータか、または規範的なメタデータかどうかを示す。或る別形において、記述ファミリは、所定の値のリストから、メタデータボックスの型を示す。例えば、transfo_operator(変換_オペレータ)、composed_image(合成_画像)、descriptive_metadata(記述_メタデータ)等々。

0238

この仮想アイテムボックスを受け継ぐことにより、全ての記述的および規範的メタデータボックスは、itemInfoBox(iinf)およびitemLocationBox(iloc)中に関連するエントリを定義する必要なしに、metaボックス中に格納することができ、それでもこれらは、アイテム参照ボックスによってアドレス可能である利点をまだ保持する。

0239

この実施形態によれば、ImageOverlay(iovl)、SubSampleItemData(サブサンプルアイテムデータ)(subs)、AuxiliaryConfiguration(補助構成)(auxC)、ExifDataBlock(exif)、SimpleImageMetadata(simd)および導出画像アイテムは、仮想アイテムクラスから受け継がれている。

0240

さらにこの実施形態によれば、「dimg」と呼ばれる単一の汎用アイテム型が、型「simd」のアイテムへの型「simr」のアイテム参照によって導入される。このアプローチは、適切な場合、プロパティの再利用を可能にし、アイテムおよびアイテム参照の数を低減する。ImageRotationBoxが、SimpleImageMetadata(simd)中に加えられる。「simr」参照型は、画像記述メタデータへの直接アクセスを提供するように、画像アイテムから「simd」アイテムに向けたリンクを定義する。

0241

さらに、ImageOverlay(iovl)メタデータボックスは、該ボックスが参照順序にもはや依存しないように、次のように再設計される。

0242

0243

合成されるアイテムを明確に識別するために、明示のitem_IDがループ中の各エントリに対して加えられる。

0244

別の実施形態において、SimpleImageMetadata(simd)の中に含まれる全てのボックスは、仮想アイテムボックスから受け継がれた独立メタデータボックスとして定義される。

0245

別の実施形態において、単純画像回転は、以下のように、画像メタデータ記述子SimpleImageMetadata(「simd」)ボックス(静止画像ファイルフォーマットスペシフィケーションの最新バージョンではISOBMFFMetaDataとも呼ばれる)中に直接回転オペレーションを組み込むことによって宣言することが可能である:

0246

0247

回転ボックスは、「irot」アイテム(12バイト)よりわずかに大きいが、このアプローチを用いる利益は、派生アイテムのカスケードに換えて1つの「simd」が必要なだけなので、回転およびCleanAppertureなど、変換を組み合せる場合に明らかである。

0248

かかる場合において、(前述の)汎用導出アイテム「dimg」が、画像アイテムおよびメタデータ記述の両方を参照するために使用可能である。かかるアイテムは、このとき、一次アイテムとしてPrimaryItemBox(一次アイテムボックス)(「pitm」)中にリストすることができよう。

0249

このアプローチの別の利益は、プログラム作者が、回転されるアイテムだけが表示されるのを望んでいることを明瞭に示せることである。

0250

以下の段落では、前述した実施形態の代替案を提案する。この代替案は、どのように変換(または「効果」)をISO静止画像ファイルフォーマット中の画像に適用できるかに関し、有利に簡単である。具体的には、この代替実施形態を使って次の課題が解決される:
− 数多くのアイテム参照、
− 効果をカスケードする際のアイテムの数の増加、および
− アイテムの所与のセット、すなわち、対象の領域のような画像または画像の部分のセット、に対する効果の相互化の不可能性

0251

アイテムのいろいろなエクステント(すなわちデータ部分中のバイトのオフセット)として効果を相互化することが提案されている既存のソリューション。さらに詳しくは、エクステントとは、導出された画像がitemLocationBox(「iloc」)中にエクステントのリストとして記述されることになり、各エクステントはデータ部分(「mdat」)の断片を識別し、各断片が1つ以上の記述的もしは規範的なまたは変換メタデータに対応することを意味する。

0252

しかしながら、このソリューションにはいくつかの短所が内在する:
−カプセル化画像ファイルオーサリングは相当に面倒であり、1つの導出画像アイテム中の1つの効果に手を加えることは、全ての導出画像が同じエクステントを共有しているかどうかをチェックするためそれらを検査し、潜在的にその一部を書き換えるためにそれらを検査することを意味する。
− 画像ファイルリーダーが、変換/効果の連鎖が前記ファイル中の相異なるアイテムに対し同じかどうかを解明する必要がある(直接のシグナリングはない)ことになるので、構文解析もまた非常に簡単にはいかない。
− 各変換/効果に対し、適用対象の変換/効果の連鎖中の変換/効果と共に新規変換/効果が連続的に格納されているのでなければ、常に、itemLocationBox(「iloc」)中に新規のエクステントが必要なことになる。さらに、効果の組み合せまたはカスケード化は、データ部分中の連続的なエクステント上に格納されていない場合、コスト高になり得る。

0253

さらに、これらのソリューションは、効果の型(今までのところ、効果の型はitem_typeによって与えられていた)を判断するために、効果を格納するためのボックスの生成を意味する実装ストレージを必要とした。より簡明なソリューションは、効果に対する新規ボックスを定義することによって、アイテムから分離して効果を定義することであり、いかなる追加コストもなしに、アイテムと効果との間に直接のマッピングを有することである。

0254

本代替実施形態は、ファイルフォーマット中に明瞭な分離を有することによる効果の取り扱いの単純化を提案する:
−記述メタデータ(上記で提案されたような「init」もしくは「simr」参照型、また記述メタデータを表す任意の参照型)にリンクされた標準的アイテム(画像または画像の部分)(例えば、hvc1、…);
− 「導出画像」アイテムからソースアイテムへの「dimg」アイテム参照を介して識別される1つ以上のソースアイテム(画像または画像の部分)に適用される効果(または変換)の収集体である、「導出画像」;、および
− いくつかの相異なる効果の収集体を含む、変換/効果を表現する構造体。

0255

この代替実施形態の利点は、
− 効果の再利用性:1回だけ宣言され、潜在的には複数回参照される、
− 効果の収集体を定義することによるよりコンパクトな記述(以下でさらに述べる)、
− itemLocationBoxの新規エクステントが不必要なことを含め、全体的読みやすさ、および
−アイテム参照の数を少なく保つこと、
である。

0256

この代替実施形態によれば、新規の単一の導出アイテムは、アイテム型「dimg」を使って定義される。この単一の導出アイテムは、以下の構文によって具体的に表現される:

0257

0258

上記構文のnb_effectsは、導出画像を合成するために、ソース画像に適用されることになる効果の数を表し、effect_idは適用される効果のカプセル化ファイル中の一意的識別子である。効果は、効果のリストに出現するのとは逆の順序で適用される。

0259

「DerivedImage(導出画像)」と名付けられた導出画像または変換アイテムは、例えば、ソース画像をユーザまたは表示画面に提示する前に、それに適用されることになる効果のセットとして画像を定義する。ソース画像は、導出されたアイテムからソース画像への型「dimg」(または任意の予約された参照型)のアイテム参照によって識別される。ソース画像それ自体は、ISO静止画像ファイルフォーマットスペシフィケーション中に定義された任意の画像アイテム(画像または画像の部分、画像オーバーレイ、導出画像)であってよい。同じアイテムからの「dimg」アイテム参照は1を超えてはならない(但し、このアイテムが様々な合成のため何回も再利用される場合は、同じアイテムに対し複数であってもよい)。

0260

導出アイテムは、ファイルのデータ部分に格納される。

0261

カプセル化ファイルを編集する場合、例えば、画像ファイルから効果を除去する場合、この効果への全ての参照を諸導出画像から除去する必要がある。

0262

効果は、DerivedImageアイテムを介して、画像、画像の部分、合成画像、または導出画像に適用することが可能である。各効果は、以下に示すBaseEffectBox(ベース効果ボックス)構造体から導出するボックスによって記述される。

0263

0264

上記の意味定義は以下による:
effect_typeは、このクラスから導出する効果のボックス型で、このボックスの種類を識別する一意的な4文字コードである。
effect_idは、所与の効果または変換に対する一意的識別子である。この識別子は、「meta」ボックス内で一意的でなければならない。
nb_bits_effectは、バージョン値から導出され、effect_idを表すために使われるビットの数を示す。

0265

諸効果は、「meta」ボックス中に包含される随意的なEffectDeclarationBox(効果宣言ボックス)中で宣言すればよい。

0266

ボックス型: 「effd」
コンテナ: meta
強制: 否
数: ゼロまたは1

0267

0268

例えば以下のような効果を定義することが可能である(制限リストなし):
回転効果:この回転効果は、ソース画像を、90度を単位として反時計周り方向に変換する。

0269

ボックス型: 「erot」
コンテナ: effd
強制: 否
数: ゼロ以上

0270

0271

上記の意味定義は、
angle*90:これは、度を単位とした(反時計周り方向の)角度を指定する
−クリーンアパーチュア効果:クリーンアパーチュア効果は、ソース画像の可視部分を修飾する。

0272

ボックス型: 「ecla」
コンテナ: effd
強制: 否
数: ゼロ以上

0273

0274

上記の意味定義は、
nb_bits_effectは、親クラスBaseEffectBoxから導出され、CleanApertureEffectBox(クリーンアパーチュア効果ボックス)の各種フィールドを表すために使われるビットの数を示す。
hSpacing、vSpacing:画素の相対的幅および高さを定義する。
cleanApertureWidthN、cleanApertureWidthD:カウントされた画素中の画像の正確なクリーンアパーチュアの幅を定義する分数
cleanApertureHeightN、cleanApertureHeightD:カウントされた画素中の画像の正確なクリーンアパーチュアの高さを定義する分数。
horizOffN、horizOffD:クリーンアパーチュアの中央マイナス(幅−1)/2の水平方向オフセット(通常は0)を定義する分数。
vertOffN、vertOffD:クリーンアパーチュアの中央マイナス(高さ−1)/2の垂直方向オフセット(通常は0)を定義する分数。

0275

効果収集体:効果収集ボックスは、それを数個の画像に再利用し、これによりバイトに関して記述コストを低減するために、いくつかの効果のセットを単一の効果として定義することを可能にする。

0276

ボックス型: 「ecol」
コンテナ: effd
強制: 否
数: ゼロ以上

0277

0278

上記の意味定義は、
nb_bits_effectは、親クラスBaseEffectBoxから導出され、EffectCollectionBox(効果収集ボックス)の各種フィールドを表すために使われるビットの数を示す。
apply_effect_id:ソース画像に適用する効果のIDを示す。

0279

効果収集体中の諸効果は、DerivedImaged(導出取得像)アイテム中の効果と同じ順序で適用される。例えば、各効果は、効果のリスト中のそれらの出現とは逆の順序で入力に適用されるものとする。

0280

OverlayEffectBoxは、オーバーレイとしての画像の合成を宣言する。この特定の効果に対しては、得られた導出画像は、この効果が合成体の部分であるソース画像のリストを宣言しているので、どのソース画像への参照も有さない。

0281

0282

上記の意味定義は以下による:
nb_bits_effectは、親クラスBaseEffectBoxから導出され、OverlayEffectBoxの各種フィールドを表すために使われるビットの数を示す。
fill_required(充填_必要性)は、得られた合成画像中バックラウンド値で充填すべき穴部があるかどうかを示す。
canvas_fill_value(キャンバス_充填_値)は、いずれかの入力画像の画素が特定の画素の場所に配置されていない場合に、使われるチャネルごとの画素値を示す。入力画像が3つのチャネルより少ないチャネルを包含する場合、入力画像中に存在しないチャネルに対応するcanvas_fill_valueのセマンティックス指定解除される。

0283

nb_imagesは、image_item_IDパラメータによって示されるそれらのitem_IDによって各々が識別される、合成対象の画像の数を示す。

0284

output_width、output_height:入力画像が組み入れられた出力画像の幅および高さをそれぞれ指定する。

0285

出力画像のピクチャエリアカンバスと言われる。

0286

horizontal_offset、vertical_offset:入力画像が配置される、カンバスの最上部左からのオフセットを指定する。負のオフセット値を有する画素位置は、出力画像中には含まれない。output_width以上の大きさの水平方向画素位置は、出力画像中には含まれない。output_height以上の大きさの垂直方向画素位置は、出力画像中には含まれない。

0287

図9は、本発明の1つ以上の実施形態を実装するためのコンピューティングデバイス900の簡略ブロック図である。コンピューティングデバイス900は、マイクロコンピュータワークステーション、または軽量携帯デバイスであってよい。コンピューティングデバイス900は、以下に接続された通信バスを含む:
マイクロプロセッサなど、CPUと称される中央処理装置901:
− 本発明の実施形態の方法の実行可能コード、ならびに、マニフェスト読み取り書き込みする方法を実装するべく、および/または映像を符号化するべく、および/または所与のファイルフォーマットの下でデータを読み取りまたは生成するべく、必要な変数およびパラメータを記録するようになされたレジスタを格納するためのRAMと称されるランダムアクセスメモリ902であって、そのメモリ容量は、例えば拡張ポートに接続された随意的RAMによって拡大可能である:
− 本発明の実施形態を実装するためのコンピュータプログラムを格納するための、ROMと称される読み取り専用メモリ903:
ネットワークインターフェース904は、通常、通信ネットワークに接続され、それを介して処理対象のデジタルデータが送信または受信される。ネットワークインターフェース904は単一のネットワークインターフェースとすることも、各種のネットワークインターフェース(例えば、有線およびワイヤレスインターフェース、または各種の有線またはワイヤレスインターフェース群)のセットで構成することも可能である。CPU901中で実行されるソフトウェアアプリケーションの制御の下で、データが、送信のためネットワークインターフェースに書き込まれ、あるいは受信のためネットワークインターフェースから読み取られる;
− ユーザからの入力を受信するためまたはユーザに情報を表示するためのユーザインターフェース9805;
− HDと称されるハードディスク906:
映像ソースまたはディスプレイなどの外部デバイスとの間でデータを受信/送信するためのI/Oモジュール907。

0288

実行可能コードは、読み取り専用メモリ903中、ハードディスク906上、または例えばディスクなどのリムーバブルデジタル媒体上のいずれかに格納すればよい。別形によれば、プログラムの実行可能コードは、実行される前に、ハードディスク906など、通信デバイス900のストレージ手段の1つの中に格納すべく、ネットワークインターフェース904を介し、通信ネットワークを用いて受信することができる。

0289

中央処理ユニット901は、本発明の実施形態によるプログラムまたはプログラム群の命令またはソフトウェアコードの部分の実行を制御および命令するようになされており、これら命令は、前述のストレージ手段の1つの中に格納される。電源投入後、CPU901は、当該命令が、例えばプログラムROM903またはハードディスク(HD:hard−disc)906などからロードされた後、ソフトウェアアプリケーションに関する主RAMメモリ902からの命令を実行することができる。かかるソフトウェアアプリケーションは、CPU901に実行されると、諸実施形態による方法のステップを遂行させる。

0290

あるいは、本発明は、(例えば、特定用途向け集積回路またはASIC(Application Specific IntegratedCircuit)の形で)ハードウェア中に実装することができる。

0291

本発明は、例えば、対象の特定の領域上にズームインするために、カメラ、スマートフォン、またはTVのためのリモートコントローラとして機能するタブレットのようなデバイス中に組み込むことが可能である。また、本発明は、特定の関心エリアを選択することによって、TV番組個人的なブラウジング体験を持つために、同じデバイスで用いることもできる。ユーザによるこれらのデバイスによる別の利用は、他の接続されたデバイスと、自分の好みの映像のいくつかの選ばれたサブ部分を共有することである。また、監視カメラが本発明の生成部分をサポートしていることを前提として、監視の下に置かれている建物の特定の場所で発生したことをモニタするため、スマートフォンまたはタブレットにおいて本発明を使用することも可能である。

0292

本発明を、諸図面および前述の記載の中で詳細に示し説明してきたが、かかる提示および説明は、例証または例示であって限定ではないと見なされるべきであり、本発明は開示された実施形態に限定はされない。請求された発明の実践において、当業者は、これら図面、開示、および添付の特許請求の範囲の学習から、開示された実施形態に対する他の別形を推測し、生成することが可能である。

0293

特許請求の範囲中の、語「含む(comprising)」は他の要素またはステップを除外するものでなく、不定詞「一または或る(aまたはan)」は複数を除外しない。単一のプロセッサまたは他のユニットが、特許請求の範囲に記載のいくつかのアイテムの機能を遂行することが可能である。相異なる特徴が相互に異なる従属請求項に記載されているという単なる事実は、それらの特徴の組み合わせを有利に用いることができないことを示すものではない。特許請求の範囲中のいかなる参照符号も、本発明の範囲を限定していると解釈されるべきではない。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ