図面 (/)

技術 多視点映像符号化及び復号化用の、ハイレベルシンタックスを使用した改善されたシグナリングのための方法及び装置

出願人 トムソンライセンシング
発明者 パンディット,パーヴィン,ビバススー,イェピンイン,ペン
出願日 2013年2月25日 (7年9ヶ月経過) 出願番号 2013-034209
公開日 2013年8月8日 (7年4ヶ月経過) 公開番号 2013-153461
状態 特許登録済
技術分野 TV信号の圧縮,符号化方式 立体TV及びTVの試験,検査,測定等
主要キーワード 予測リスト モードモジュール プリンティングユニット 回路エレメント データストレージユニット プロセス機 ビュー識別子 ビュー依存
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2013年8月8日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (8)

課題

多視点映像符号化及び復号化用の、ハイレベルシンタックスを使用した改善されたシグナリングのための方法及び装置を提供する。

解決手段

得られたビットストリームにおける多視点映像コンテンツに対応する少なくとも1つのビューの少なくとも1つのピクチャを符号化するエンコーダを含み、エンコーダはハイレベルシンタックスで少なくとも1つのピクチャのビデオ符号化順序の情報を指示する。デコーダは前記ハイレベルシンタックスからビデオ符号化順序を決定する。

概要

背景

ISO/IEC(International
Organization for Standardization/International Electrotechnical Commission)MPEG-4(Moving Picture Experts Group-4)Part10 AVC(Advanced Video Coding)規格ITU-T(International Telecommunication Union, Telecommunication Sector)H.264勧告(以下“MPEG-4 AVC規格”)に基づいた現在のバージョン多視点映像符号化(MVC:Multi-view Video Coding)拡張では、ビュー間の参照を指示するためにシーケンスパラメータセットのMVC拡張において新たなシンタックスが追加される。すなわち、このシンタックスはアンカーピクチャ及びノンアンカーピクチャのために使用されるべきビュー間の参照を示すために使用される。

また、このシンタックスは、ビュー依存マップ構築することに役立ち、このビュー依存マップは、ビューのランダムアクセス暗黙デコードされた参照画像マーキングプロセス等のために使用することができる。シンタックスは、変数view_idを0からビューの数−1までをループすることで定義される。変数view_idは、あるビューについてビューの識別子を示す。この変数は、任意の符号化順序の情報を含まない。

この定義は、それぞれのビューについてview_idをどのように割り当てるべきかに関する幾つかの制約を与える。この定義は、view_idにおけるギャップ許容しない。後に幾つかのビューが符号化されない場合、この定義は、幾つかの曖昧さを生じさせる。さらに、この定義は、幾つかの特徴を欠いている。たとえば、この定義は、それぞれのビューの符号化順序を規定しない。

表1は、シーケンスパラメータセット(SPS:Sequence Parameter Set)の多視点映像符号化の拡張シンタックスを例示する。

表1におけるシンタックスの意味は、以下のように定義される。
num_views_minus_1プラス1は、ビットストリームにおける全体のビュー数を識別する。num_views_minus_1の値は、0〜1023の範囲であるべきである。
num_anchor_refs_I0[i]は、iに等しいview_idをもつアンカーピクチャのlist0について、ビュー間予測(inter-view prediction)の参照の数を規定する。num_anchor_refs_I0[i]の値は、num_ref_framesよりも小さいか、又はnum_ref_framesに等しくあるべきである。
anchor_ref_I0[i][j]は、iに等しいview_idをもつビューのアンカーピクチャについて、list0のj番目の参照として使用されるビューのview_idを識別する。
num_anchor_refs_I1[i]は、iに等しいview_idをもつアンカーピクチャのlist1について、ビュー間予測の参照の数を規定する。num_anchor_refs_I1[i]の値は、num_ref_framesよりも小さいか、又はnum_ref_framesに等しくあるべきである。
anchor_ref_I1[i][j]は、iに等しいview_idをもつビューのアンカーピクチャについて、list1のj番目の参照として使用されるビューのview_idを識別する。
num_non_anchor_refs_I0[i]は、iに等しいview_idをもつノンアンカーピクチャのlist0について、ビュー間予測の参照の数を規定する。num_non_anchor_refs_I0[i]の値は、num_ref_framesよりも小さいか、又はnum_ref_framesに等しくあるべきである。
non_anchor_refs_I0[i][j]は、iに等しいview_idをもつビューのノンアンカーピクチャについて、list0のj番目の参照として使用されるビューのview_idを規定する。

num_non_anchor_refs_I1[i]は、iに等しいview_idをもつノンアンカーピクチャのlist1について、ビュー間予測の参照の数を規定する。num_non_anchor_refs_I1[i]の値は、num_ref_framesよりも小さいか、又はnum_ref_framesに等しくあるべきである。
non_anchor_refs_I1[i][j]は、iに等しいview_idをもつビューのノンアンカーピクチャについて、list1のj番目の参照として使用されるビューのview_idを規定する。

以下の手順は、現在のビューとは異なるビューからの参照画像を参照予測リストに配置するために行われる。現在のピクチャがアンカーピクチャではない場合、0からnum_anchor_refs_IX−1までのiのそれぞれの値について、anchor_ref_IX[i]に等しいview_id及び現在のピクチャと同じPicOrderCnt()をもつピクチャは、RefPicListXに添付される。さもなければ、現在のピクチャがアンカーピクチャでない場合、0からnum_non_anchor_refs_IX−1までのiのそれぞれの値について、non_anchor_ref_IX[i]に等しいview_id及び現在のピクチャと同じPicOrderCnt()をもつピクチャは、RefPicListXに添付される。

表1から、多視点映像符号化(MVC)拡張のシーケンスパラメータセットにおけるシンタックスは、0からビュー数−1まで変数view_idを通してループすることで定義されることがわかる。この定義は、それぞれのビューについてview_idをどのように割り当てるかに関する幾つかの制約を提示する。この定義は、view_idsにギャップを許容しない。係る帯域幅の制約又はユーザの関心のような幾つかの理由のため、幾つかのビューが符号化されない場合、この定義は、幾つかの曖昧さを生じさせる。view_idの割り当ての連続性を保持するため、以下を実現することができる。

概要

多視点映像符号化及び復号化用の、ハイレベルシンタックスを使用した改善されたシグナリングのための方法及び装置を提供する。得られたビットストリームにおける多視点映像コンテンツに対応する少なくとも1つのビューの少なくとも1つのピクチャを符号化するエンコーダを含み、エンコーダはハイレベルシンタックスで少なくとも1つのピクチャのビデオ符号化順序の情報を指示する。デコーダは前記ハイレベルシンタックスからビデオ符号化順序を決定する。

目的

効果

実績

技術文献被引用数
0件
牽制数
1件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

ビデオデコーダにおける、多視点映像コンテンツデコードする方法であって、多視点映像コンテンツと、シーケンスパラメータセットを含む高水準シンタックス情報とを有するビットストリームを受信するステップであって、当該シーケンスパラメータセットは、当該ビットストリームにおけるビューの番号を示すシンタックスエレメントを含む、前記受信するステップと、前記シーケンスパラメータセットにおけるパラメータview_id[i]から前記多視点映像コンテンツにおけるビューの符号化順序を決定するステップと、を含み、前記符号化順序は、インデックスiで示され、前記view_id[i]は、前記多視点映像コンテンツのビューを示すビュー識別子を表す、前記方法。

技術分野

0001

本発明は、ビデオ符号化及び復号化全般に関し、より詳細には、多視点映像符号化及び復号化用の、ハイレベルシンタックスを使用した改善されたシグナリングのための方法及び装置に関する。
本出願は、2006年12月21日に提出された米国仮出願第60/871,401号の利益を請求するものであり、引用によりその完全な形で本明細書に盛り込まれる。

背景技術

0002

ISO/IEC(International
Organization for Standardization/International Electrotechnical Commission)MPEG-4(Moving Picture Experts Group-4)Part10 AVC(Advanced Video Coding)規格ITU-T(International Telecommunication Union, Telecommunication Sector)H.264勧告(以下“MPEG-4 AVC規格”)に基づいた現在のバージョンの多視点映像符号化(MVC:Multi-view Video Coding)拡張では、ビュー間の参照を指示するためにシーケンスパラメータセットのMVC拡張において新たなシンタックスが追加される。すなわち、このシンタックスはアンカーピクチャ及びノンアンカーピクチャのために使用されるべきビュー間の参照を示すために使用される。

0003

また、このシンタックスは、ビュー依存マップ構築することに役立ち、このビュー依存マップは、ビューのランダムアクセス暗黙デコードされた参照画像マーキングプロセス等のために使用することができる。シンタックスは、変数view_idを0からビューの数−1までをループすることで定義される。変数view_idは、あるビューについてビューの識別子を示す。この変数は、任意の符号化順序の情報を含まない。

0004

この定義は、それぞれのビューについてview_idをどのように割り当てるべきかに関する幾つかの制約を与える。この定義は、view_idにおけるギャップ許容しない。後に幾つかのビューが符号化されない場合、この定義は、幾つかの曖昧さを生じさせる。さらに、この定義は、幾つかの特徴を欠いている。たとえば、この定義は、それぞれのビューの符号化順序を規定しない。

0005

表1は、シーケンスパラメータセット(SPS:Sequence Parameter Set)の多視点映像符号化の拡張シンタックスを例示する。

0006

表1におけるシンタックスの意味は、以下のように定義される。
num_views_minus_1プラス1は、ビットストリームにおける全体のビュー数を識別する。num_views_minus_1の値は、0〜1023の範囲であるべきである。
num_anchor_refs_I0[i]は、iに等しいview_idをもつアンカーピクチャのlist0について、ビュー間予測(inter-view prediction)の参照の数を規定する。num_anchor_refs_I0[i]の値は、num_ref_framesよりも小さいか、又はnum_ref_framesに等しくあるべきである。
anchor_ref_I0[i][j]は、iに等しいview_idをもつビューのアンカーピクチャについて、list0のj番目の参照として使用されるビューのview_idを識別する。
num_anchor_refs_I1[i]は、iに等しいview_idをもつアンカーピクチャのlist1について、ビュー間予測の参照の数を規定する。num_anchor_refs_I1[i]の値は、num_ref_framesよりも小さいか、又はnum_ref_framesに等しくあるべきである。
anchor_ref_I1[i][j]は、iに等しいview_idをもつビューのアンカーピクチャについて、list1のj番目の参照として使用されるビューのview_idを識別する。
num_non_anchor_refs_I0[i]は、iに等しいview_idをもつノンアンカーピクチャのlist0について、ビュー間予測の参照の数を規定する。num_non_anchor_refs_I0[i]の値は、num_ref_framesよりも小さいか、又はnum_ref_framesに等しくあるべきである。
non_anchor_refs_I0[i][j]は、iに等しいview_idをもつビューのノンアンカーピクチャについて、list0のj番目の参照として使用されるビューのview_idを規定する。

0007

num_non_anchor_refs_I1[i]は、iに等しいview_idをもつノンアンカーピクチャのlist1について、ビュー間予測の参照の数を規定する。num_non_anchor_refs_I1[i]の値は、num_ref_framesよりも小さいか、又はnum_ref_framesに等しくあるべきである。
non_anchor_refs_I1[i][j]は、iに等しいview_idをもつビューのノンアンカーピクチャについて、list1のj番目の参照として使用されるビューのview_idを規定する。

0008

以下の手順は、現在のビューとは異なるビューからの参照画像を参照予測リストに配置するために行われる。現在のピクチャがアンカーピクチャではない場合、0からnum_anchor_refs_IX−1までのiのそれぞれの値について、anchor_ref_IX[i]に等しいview_id及び現在のピクチャと同じPicOrderCnt()をもつピクチャは、RefPicListXに添付される。さもなければ、現在のピクチャがアンカーピクチャでない場合、0からnum_non_anchor_refs_IX−1までのiのそれぞれの値について、non_anchor_ref_IX[i]に等しいview_id及び現在のピクチャと同じPicOrderCnt()をもつピクチャは、RefPicListXに添付される。

0009

表1から、多視点映像符号化(MVC)拡張のシーケンスパラメータセットにおけるシンタックスは、0からビュー数−1まで変数view_idを通してループすることで定義されることがわかる。この定義は、それぞれのビューについてview_idをどのように割り当てるかに関する幾つかの制約を提示する。この定義は、view_idsにギャップを許容しない。係る帯域幅の制約又はユーザの関心のような幾つかの理由のため、幾つかのビューが符号化されない場合、この定義は、幾つかの曖昧さを生じさせる。view_idの割り当ての連続性を保持するため、以下を実現することができる。

発明が解決しようとする課題

0010

view_idの割り当ての連続性を保持する第一の従来技術の方法では、シーケンスパラメータセットで保持されている符号化されていないビュー情報及びビュー間の参照の番号はゼロに設定される。しかし、これは、符号化されていないビューが意図的に欠けているか又は伝送エラーのために欠けているかをデコーダが知らないので望まれない。

0011

view_idの割り当ての連続性を保持する第二の従来技術の方法では、符号化されていないビュー情報は、シーケンスパラメータセットから除かれる。しかし、これは、view_idのギャップを生じさせる。したがって、view_idが再び割り当てられる必要がある。また、これは、view_idがそれぞれのビューについてもはや固有ではなくなるので望まれない。

課題を解決するための手段

0012

従来技術のこれらの問題及び課題並びに他の問題及び課題は、本発明の原理により対処され、本発明の原理は、多視点映像符号化及び復号化用の、ハイレベルシンタックスを使用した改善されたシグナリングの方法及び装置に向けられる。

0013

本発明の原理の態様によれば、装置が提供される。本装置は、結果として得られるビットストリームにおける多視点映像コンテンツに対応する少なくとも1つのビューについて少なくとも1つのピクチャを符号化するエンコーダを含み、前記エンコーダは、ハイレベルシンタックスで少なくとも前記少なくとも1つのピクチャの映像符号化順序の情報を指示する。

0014

本発明の原理の別の態様によれば、方法が提供される。本方法は、結果として得られるビットストリームにおける多視点映像コンテンツに対応する少なくとも1つのビューについて少なくとも1つのピクチャを符号化するステップを含み、前記符号化ステップは、ハイレベルシンタックスで少なくとも前記少なくとも1つのピクチャの映像符号化の順序の情報を指示する。

0015

本発明の原理の更に別の態様によれば、装置が提供される。本装置は、結果として得られるビットストリームにおける多視点映像コンテンツに対応する少なくとも1つのビューについて少なくとも1つのピクチャを復号化するデコーダを含み、前記デコーダは、ハイレベルシンタックスから少なくとも前記少なくとも1つのピクチャの映像符号化の順序の情報を決定する。

0016

本発明の原理の更なる態様によれば、方法が提供される。本方法は、結果として得られるビットストリームにおける多視点映像コンテンツに対応する少なくとも1つのビューについて少なくとも1つのピクチャを復号化するステップを含み、前記復号化ステップは、ハイレベルシンタックスから少なくとも前記少なくとも1つのピクチャの映像符号化の順序の情報を決定する。

0017

本発明の原理のこれらの態様、特徴及び利点、並びに他の態様、特徴及び利点は、添付図面と共に読まれる例示的な実施の形態の以下の詳細な説明から明らかとなるであろう。

図面の簡単な説明

0018

本発明の原理は、以下の例示的な図面に従って理解される。
本発明の原理の実施の形態に係る、本発明の原理が適用される場合がある例示的な多視点映像符号化(MVC)エンコーダのブロック図である。
本発明の原理の実施の形態に係る、本発明の原理が適用される場合がある例示的な多視点映像符号化(MVC)デコーダのブロック図である。
本発明の原理の実施の形態に係る、本発明の原理が適用される場合がある8つのビューを持つ多視点映像符号化システムの時間順符号化構造の図である。
本発明の原理の実施の形態に係る、多視点映像コンテンツを符号化する例示的な方法のフローチャートである。
本発明の原理の実施の形態に係る、多視点映像コンテンツを符号化する別の例示的な方法のフローチャートである。
本発明の原理の実施の形態に係る、多視点映像コンテンツを復号化する例示的な方法のフローチャートである。
本発明の原理の実施の形態に係る、多視点映像コンテンツを復号化する別の例示的な方法のフローチャートである。

実施例

0019

本発明の原理は、多視点映像符号化及び復号化用の、ハイレベルシンタックスを使用した改善されたシグナリングのための方法及び装置に向けられる。
この記載は、本発明の原理を例示するものである。当業者であれば、本明細書で明示的に記載又は図示されないが、本発明の原理を実施し、且つ本発明の精神及び範囲に含まれる様々なアレンジメント考案することができることを理解されたい。

0020

本明細書で引用される全ての例及び条件付き言語は、本発明の原理及び当該技術分野を促進するために本発明者により寄与される概念の理解において読者支援する教育的な目的が意図されており、係る特定の引用される例及び条件に限定されるものではないものと解釈されるべきである。

0021

さらに、本発明の原理、態様、及び実施の形態を引用する全ての説明は、本発明の特別の例と同様に、本発明の構造的且つ機能的に等価な概念の両者を包含することが意図される。さらに、係る等価な概念は、現在公知の等価な概念と同様に、将来的に開発される等価な概念、すなわち構造にかかわらず、同じ機能を実行する開発されたエレメントをも含むことが意図される。

0022

したがって、たとえば、本明細書で与えられるブロック図は本発明の原理を実施する例示的な回路の概念図を表すことが当業者により理解される。同様に、任意のフローチャート、フローダイアグラム状態遷移図、擬似コード等は、コンピュータ読み取り可能な記録媒体で実質的に表され、したがってコンピュータ又はプロセッサが明示的に示されているかに係らず、係るコンピュータ又はプロセッサにより実行される様々なプロセスを表すことを理解されたい。

0023

図示される様々なエレメントの機能は、専用ハードウェアと同様に、適切なソフトウェアと関連してソフトウェアを実行可能なハードウェアの使用を通して提供される場合がある。プロセッサにより提供された場合、機能は、単一の専用プロセッサにより、単一の共有プロセッサにより、又はそのうちの幾つかが共有される複数の個々のプロセッサにより提供される場合がある。さらに、用語「プロセッサ」又は「コントローラ」の明示的な使用は、ソフトウェアを実行可能なハードウェアを排他的に示すことが解釈されるべきではなく、限定することなしに、デジタルシグナルプロセッサ(DSP)ハードウェア、ソフトウェアを記憶するリードオンリメモリ(ROM)、ランダムアクセスメモリ(RAM)、及び不揮発性ストレージ暗黙的に含む。

0024

コンベンショナル及び/又はカスタムな他のハードウェアもまた含まれる場合がある。同様に、図示されるスイッチは概念的なものである。それらの機能は、プログラムロジックの動作を通して、専用ロジックを通して、プログラム制御と専用ロジックのインタラクションを通して、又は手動的に実行される場合があり、特定の技術は、文脈から更に詳細に理解されるように、実現者により選択可能である。

0025

本発明の請求項では、特定の機能を実行する手段として表現されるエレメントは、(a)その機能を実行する回路エレメントの組み合わせ、又は(b)機能を実行するためのソフトウェアを実行する適切な回路と結合される、ファームウェアマイクロコード等を含む任意の形態でのソフトウェアを含む機能を実行する任意の方法を包含することが意図される。係る請求項により定義される本発明の原理は、様々な引用される手段により提供される機能が結合され、請求項が求めるやり方で結合され纏められる事実にある。したがって、それらの機能を提供することができる任意の手段は本明細書で示されるものに等価であるとみなされる。

0026

本発明の原理の「1実施の形態」又は「実施の形態」に対する明細書における参照は、実施の形態と共に記載される特定の特徴、構造、特徴等が本発明の原理の少なくとも1つの実施の形態に含まれることを意味する。したがって、明細書を通して様々な場所に現れる「1実施の形態では」又は「実施の形態では」の出現は、必ずしも、同じ実施の形態を全て参照するものではない。

0027

明細書で使用されるように、「ハイレベルシンタックス」は、マクロブロックレイヤの上の階層にあるビットストリームに存在するシンタックスを示す。たとえば、本明細書で使用されるように、ハイレベルシンタックスは、限定されるものではないが、スライスヘッダベルでのシンタックス、シーケンスパラメータセット(SPS)レベルでのシンタックス、ピクチャパラメータセット(PPS)レベルでのシンタックス、ビューパラメータセット(VPS)レベルでのシンタックス、ネットワーク抽象レイヤ(NAL)のユニットヘッダレベルでのシンタックス、補足的な付加情報(SEI:Supplemental Enhancement Information)メッセージにおけるシンタックスを示す場合がある。

0028

説明及び簡潔さのため、シーケンスパラメータセットにおけるハイレベルシンタックスの使用に関して、以下の実施の形態が記載される。しかし、本発明の原理は本明細書で開示された改善されたシグナリングに関してシーケンスパラメータセットの使用のみに限定されず、したがって、係る改善されたシグナリングは、限定されるものではないが、本発明の精神を維持しつつ、スライスヘッダレベルでのシンタックス、シーケンスパラメータセット(SPS)レベルでのシンタックス、ピクチャパラメータセット(PPS)レベルでのシンタックス、ビューパラメータセット(VPS)レベルでのシンタックス、ネットワーク抽象レイヤ(NAL)のユニットヘッダレベルでのシンタックス、補足的な付加情報(SEI:Supplemental Enhancement Information)メッセージにおけるシンタックスを含む少なくとも上述されたタイプのハイレベルシンタックスに関して実現される場合がある。

0029

本発明の原理の1以上の実施の形態がMPEG-4 AVC規格の多視点の拡張に関して本明細書で記載される一方で、本発明の原理は、この規格のみに限定されるものではなく、本発明の原理の精神を維持しつつ、MPEG-4 AVC規格の多視点の拡張の拡張を含めて、他の映像符号化規格、勧告、その拡張に関して利用される場合がある。

0030

さらに、たとえば「A及び/又はB」の場合における用語「及び/又は」の使用は、最初に列挙されたオプション(A)の選択、次に列挙されたオプション(B)の選択、又は両方のオプション(A及びB)の選択、を包含することが意図される。更なる例として、「A,B及び/又はC」の場合、係るフレーズは、第一の列挙されたオプション(A)の選択、第二の列挙されたオプション(B)の選択、第三の列挙されたオプション(C)の選択、第一及び第二の列挙されたオプション(A及びB)の選択、第一及び第三の列挙されたオプション(A及びC)の選択、第二及び第三の列挙されたオプション(B及びC)の選択、又は、全ての3つのオプション(A及びB及びC)の選択を包含することが意図される。これは、当業者により容易に明らかであるように、列挙された多数のアイテムについて拡張される場合がある。

0031

図1を参照して、例示的な多視点映像符号化(MVC)エンコーダは、参照符号100により示される。エンコーダ100は、変換器110の入力と信号通信で接続される出力を有する結合器105を含む。変換器110の出力は、量子化器115の入力と信号通信で接続される。量子化器115の出力は、エントロピー符号化器120の入力及び逆量子化125の入力と信号通信で接続される。逆量子化器125の出力は、逆変換器130の入力と信号通信で接続される。逆変換器130の出力は、結合器135の第一の非反転入力と信号通信で接続される。結合器135の出力は、イントラ予測器145の入力及びデブロッキングフィルタ150の入力と信号通信で接続される。デブロッキングフィルタ150の出力は、(ビューi用)参照画像ストア155の入力と信号通信で接続される。参照画像ストア155の出力は、動き補償器175の第一の入力及び動き予測器180の第一の入力と信号通信で接続される。動き予測器180の出力は、動き補償器175の第二の入力と信号通信で接続される。

0032

(他のビュー用)参照画像ストア160の出力は、視差予測器170の第一の入力及び視差補償器165の第一の入力と信号通信で接続される。視差予測器170の出力は、視差補償器165の第二の入力と信号通信で接続される。

0033

エントロピーデコーダ120の出力は、エンコーダ100の出力として利用可能である。結合器105の非反転入力は、エンコーダ100の入力として利用可能であり、視差予測器170の第二の入力及び動き予測器180の第二の入力と信号通信で接続される。スイッチ185の出力は、結合器135の第二の非反転入力と結合器105の反転入力と信号通信で接続される。スイッチ185は、動き補償器175の出力と信号通信で接続される第一の入力、視差補償器165の出力と信号通信で接続される第二の入力、及びイントラ予測器145の出力と信号通信で接続される第三の入力とを含む。

0034

図2を参照して、例示的な多視点映像符号化(MVC)デコーダは、参照符号200により示される。デコーダ200は、逆量子化器210の入力と信号通信で接続される出力を有するエントロピーデコーダ205を含む。逆量子化器の出力は、逆変換器215の入力と信号通信で接続される。逆変換器215の出力は、結合器220の第一の非反転入力と信号通信で接続される。結合器220の出力は、デブロッキングフィルタ225の入力及びイントラ予測器230の入力と信号通信で接続される。デブロッキングフィルタ225の出力は、(ビューi用)参照画像ストア240の入力と信号通信で接続される。参照画像ストア240の出力は、動き補償器235の第一の入力と信号通信で接続される。

0035

(他のビュー用)参照画像ストアの出力は、視差補償器250の第一の入力と信号通信で接続される。

0036

エントロピー符号化器205の入力は、残差ビットストリームを受信するため、デコーダ200の入力として利用可能である。さらに、スイッチ255の制御入力は、どの入力がスイッチ255により選択されるかを制御する制御シンタックスを受信するため、デコーダ200への入力としても利用可能である。さらに、動き補償器235の第二の入力は、動きベクトルを受信するため、デコーダ200の入力として利用可能である。また、視差補償器250の第二の入力は、視差ベクトルを受信するため、デコーダ200への入力として利用可能である。

0037

スイッチ255の出力は、結合器220の第二の非反転入力と信号通信で接続される。スイッチ255の第一の入力は、視差補償器250の出力と信号通信で接続される。スイッチ255の第二の入力は、動き補償器235の出力と信号通信で接続される。スイッチ255の第三の入力は、イントラ予測器230の出力と信号通信で接続される。モードモジュール260の出力は、どの入力がスイッチ255により選択されたかを制御するため、スイッチ255と信号通信で接続される。デブロッキングフィルタ225の出力は、デコーダの出力として利用可能である。

0038

本発明の原理によれば、本方法及び装置は、多視点映像符号化及び復号化用の、ハイレベルシンタックスを使用した改善されたシグナリングについて提供される。

0039

上述されたように、MPEG-4 AVC標準の現在の多視点映像符号化の拡張は、ビュー間の参照を指示するシンタックスを含む。しかし、更に上述されたように、シンタックスの定義は、幾つかの特徴に欠けている。たとえば、シンタックスの定義は、それぞれのビューの符号化順序を規定しない。この情報は、エラー弾力性について非常に有効である。適切に定義された場合、所定のビューにおける幾つかのピクチャが欠けていることをデコーダが検出することができ、デコーダは、起こっていることを見失うことなしに、所定のビューにおける失われたピクチャを隠すことができる。

0040

図3を参照して、8つのビューをもつ多視点映像符号化システムの時間順の符号化構造は、参照符号300により示される。図3の例では、異なるビューからの同じ瞬間での全てのピクチャは、隣接して符号化される。したがって、符号化順序の情報を知っている場合、view_idを追跡することで、ある時間でどのビューが失われているかを迅速に検出することができる。また、この情報は、依存度マップの構築を高速化するのに役立つ。たとえば、前に符号化されたビューは、後に符号化されたビューを参照として使用しない。依存度マップは、たとえばランダムアクセス、暗黙的に復号化された参照画像のマーキングプロセス等のために使用される場合がある。

0041

シーケンスパラメータセットにおける現在のビューの依存情報から依存度マップ情報を構築するため、再帰型の呼び出しが使用される場合がある。以下の例では、アンカー/ノンアンカーピクチャの両者にアルゴリズムが適用可能であるので、アンカー/ノンアンカーピクチャの指示が与えられる。

0042

以下の意味によりpicture_dependency_maps[i][j]を構築する。
1に等しいpicture_dependency_maps[i][j]は、jに等しいview_idをもつピクチャが、iに等しいview_idをもつピクチャに依存することを示す。

0043

スタティックデータ構造を使用することが想定される。picture_dependency_mapsを構築するため、以下の情報を取得することが望まれる。
num_refs[k]は、kに等しいview_idをもつビューについてビュー間の参照の番号を示す。
kに等しいview_idをもつビューにより参照されるview_idのリスト:refs[k][l]。この場合、lは0からnum_refs[k]-1までループされる。

0044

本発明の原理の様々な実施の形態によれば、MPEG-4 AVC標準の多視点映像符号化(MVC)拡張における既存のシーケンスパラメータセット(SPS)に対する改善を提案する。改善されたシーケンスパラメータセットは、ビューの符号化順序の情報を示し、柔軟なビュー識別子(view_id)の割り当てを可能にする。ビュー識別子としてループ変数を扱う代わりに、ハイレベルシンタックスでビュー識別子(view_id)が明示的に指示されるので、改善されたシーケンスパラメータセットは、柔軟であると考えられる。勿論、上述されたように、本発明は、MPEG-4 AVC規格の多視点映像符号化の拡張における既存のシーケンスパラメータセットに対する改善の実現に関して本明細書で主に記載されるが、ビューの符号化順序の情報を示すこと、及び柔軟なビュー識別子(view_id)の割り当てを可能にすることに関する係るシグナリングの改善は、シーケンスパラメータセットのみに限定されず、本発明の原理の精神を維持しつつ、スライスヘッダレベルでのハイレベルシンタックス、ピクチャパラメータセット(PPS)レベルでのハイレベルシンタックス、ビューパラメータセット(VPS)レベルでのハイレベルシンタックス、ネットワーク抽象レイヤ(NAL)のユニットヘッダレベルでのハイレベルシンタックス、及び補足的な付加情報(SEI)メッセージにおけるハイレベルシンタックスにより実現される場合がある。

0045

以下、本発明の原理の実施の形態に関する説明が与えられる。
表3は、実施の形態に係る提案されるシーケンスパラメータセットの多視点映像符号化(MVC)拡張を示す。

0046

実施の形態では、ビューを符号化する順序を示すため、ループ変数iを使用することを提案する。ループ変数iは、それぞれのビューについて常にインクリメントされる。したがって、ビューの符号化順序の番号は、それぞれのビューについて固有である。

0047

上述されたように、従来技術は、ループ変数iをview_idとして示し、0からnum_view_mius_1までをループしている。対照的に、ループ変数iをビューの符号化順序として使用し、0からnum_view_mius_1までをループすることが提案される。さらに、ループ内でview_idが指示される。したがって、任意のview_idをビューに割り当てることができ、MPEG-4 AVC規格の現在の多視点映像符号化の拡張におけるようなループ変数に制限されない。シンタックスの意味は、以下のように定義される。

0048

num_view_minus_1プラス1は、ビットストリームにおける符号化されたビューの全体の数を示す。num_view_minus_1の値は、0から1023の範囲である。
view_id[i]は、iにより示される符号化順序をもつビューのview_idを規定する。
num_anchor_refs_I0[i]は、view_id[i]に等しいview_idをもつアンカーピクチャについて、list0のビュー間予測の参照の番号を規定する。num_anchor_refs_I0[i]の値は、num_ref_framesよりも小さいか、又はnum_ref_framesに等しい。
anchor_refs_I0[i][j]は、view_id[i]に等しいview_idをもつビューのアンカーピクチャについて、list0のj番目の参照として使用されるビューのview_idを規定する。
num_anchor_refs_I1[i]は、view_id[i]に等しいview_idをもつアンカーピクチャについて、list1のビュー間予測の参照の番号を規定する。num_anchor_refs_I1[i]の値は、num_ref_framesよりも小さいか、又はnum_ref_framesに等しい。
anchor_refs_I1[i][j]は、view_id[i]に等しいview_idをもつビューのアンカーピクチャについて、list1のj番目の参照として使用されるビューのview_idを規定する。

0049

num_non_anchor_refs_I0[i]は、view_id[i]に等しいview_idをもつノンアンカーピクチャについて、list0のビュー間予測の参照の番号を規定する。num_non_anchor_refs_I0[i]の値は、num_ref_framesよりも小さいか、又はnum_ref_framesに等しい。
non_anchor_refs_I0[i][j]は、view_id[i]に等しいview_idをもつビューのノンアンカーピクチャについて、list0のj番目の参照として使用されるビューのview_idを規定する。num_non_anchor_refs_I1[i]は、view_id[i]に等しいview_idをもつノンアンカーピクチャについて、list1のビュー間予測の参照の番号を規定する。num_non_anchor_refs_I1[i]の値は、num_ref_framesよりも小さいか、又はnum_ref_framesに等しい。
non_anchor_refs_I1[i][j]は、view_id[i]に等しいview_idをもつビューのノンアンカーピクチャについて、list1のj番目の参照として使用されるビューのview_idを規定する。

0050

本実施の形態の利点は、ビューに割り当てられるview_idが、意味において定義される範囲を除いて、如何なる制約を有さないことである。現在の多視点映像符号化の拡張の仕様は、常に、view_idを0からを開始して、1だけインクリメントする。view_idを明示的に指示することで、この制約は、本発明の原理に係る実現においてもはや必要とされない。

0051

復号化プロセスの間、あるピクチャは、ビュー間の参照画像を必要とする場合があり、必要としない場合がある。所定の画像について必要とされるビュー間の参照画像を決定するため、本発明の原理の実施の形態に従って以下のステップが実行される。(1)NALユニットヘッダから現在のピクチャのview_idが読み取られる。(2)このview_idについてSPSのview_id[]アレイにおいてサーチされる(このアレイは、符号化順序で記憶されるview_idを有する。したがって、このアレイのインデックスは、符号化順序を示す)。(3)現在のピクチャのview_idのインデックス(i)が決定される。これは、符号化順序の番号である。(4)このインデックス値(i)を使用して、現在のピクチャについて必要とされるビュー間の参照を決定するために、シーケンスパラメータセットの他のアレイに索引を付ける。

0052

また、本発明の原理は、あるピクチャが伝送の間に失われたかを判定するために有効である。これは、以下のように行うことができる。多視点映像符号化(MVC)拡張の現在の仕様では、時間順の符号化(time-first coding)が行われることが知られている。ある特定の時間の瞬間について復号化を開始する前に、カウンタview_numが0に設定される。この時間の瞬間について受信されたそれぞれのピクチャについて、view_numの値がインクリメントされる。このピクチャの復号化が開始される前に、view_numカウンタを使用してシーケンスパラメータセットのview_id[view_num]アレイが索引が付けられる。このインデックスに対応するview_idが決定される。このview_idが現在のピクチャのview_idと同じである場合、ロスが存在しない。しかし、これらのview_idが異なる場合、索引付けされたview_idが失われたことがわかる。次いで、このピクチャは、適切な誤り隠蔽アルゴリズムにより隠蔽される。また、現在のピクチャのview_idにヒット整合)するまでview_idをインクリメントすることで、どの位多くのビューが失われたかが分かる。

0053

図3の例について、view_idは、上から下方向に増加的に割り当てられる。view_numとview_idとの間のマッピングは以下の通りである。

0054

現在のビューの依存情報からの依存マップ情報の構築は、利用可能な符号化順序により簡略化される。以下の例では、アンカー/ノンアンカーの両者にアルゴリズムが適用されるので、アンカー/ノンアンカーの指示が与えられる。
スタティックなデータ構造を使用することが推定される。picture_dependency_mapを構築するため、以下の情報を有することが望ましい。

0055

num_refs[k]は、kに等しいview_idをもつビューについて、ビュー間の参照の番号を示す。
kに等しいview_idをもつビューにより参照されるview_idのリスト:refs[k][l]。この場合、lは0からnum_refs[k]-1までループされる。
view_in_coding_order[k]は、符号化順序におけるview_idのリストを示す。

0056

図4を参照して、多視点映像コンテンツを符号化する例示的な方法は、参照符号400により示される。

0057

本方法400は、開始ブロック405を含み、このブロックは、機能ブロック410に制御を移す。機能ブロック410は、エンコーダのコンフィギュレーションファイル読み取り、機能ブロック415に制御を移す。機能ブロック415は、view_direction、view_level、及びview_idをユーザにより定義された値に設定し、機能ブロック420に制御を移す。機能ブロック420は、(エンコーダのコンフィギュレーションファイルからの)ビュー符号化順序に基づいて、スライスヘッダにおけるview_id[i]、シーケンスパラメータセット(SPS)におけるview_id[i]、ピクチャパラメータセット(PPS)におけるview_id[i]、ビューパラメータセット(VPS)におけるview_id[i]、ネットワーク抽象レイヤ(NAL)ユニットヘッダにおけるview_id[i]、及び/又は補足的な付加情報(SEI)におけるview_id[i]を設定し、エンコーダのコンフィギュレーションファイルに基づいて、他のシーケンスパラメータセットのパラメータを設定し、機能ブロック425に制御を移す。機能ブロック425は、ビューの数を変数Nに等しくし、変数i及び変数jの両者を0に初期化し、判定ブロック430に制御を移す。判定ブロック430は、iがN以下であるか否かを判定する。iがN以下である場合、機能ブロック435に制御が移される。さもなければ、機能ブロック485に制御が移される。

0058

判定ブロック435は、jがビューiにおけるピクチャの数よりも小さいか否かを判定する。jがビューiにおけるピクチャの数よりも小さい場合、制御は機能ブロック440に移される。さもなければ、制御は機能ブロック485に移される。機能ブロック440は、現在のマクロブロック(MB)の符号化を開始し、機能ブロック445に制御を移す。機能ブロック445は、マクロブロックのモードを選択し、機能ブロック450に制御を移す。機能ブロック450は、現在のマクロブロックを符号化し、判定ブロック455に制御を移す。判定ブロック455は、全てのマクロブロックが符号化されているか否かを判定する。全てのマクロブロックが符号化されている場合、機能ブロック460に制御を移す。さもなければ、機能ブロック440に制御が移される。

0059

機能ブロック460は、変数jをインクリメントし、機能ブロック465に制御を移す。機能ブロック465は、frame_num及びpicture_order_count(POC)をインクリメントし、判定ブロック470に制御を移す。判定ブロック470は、シーケンスパラメータセット(SPS)及び/又はピクチャパラメータセット(PPS)を帯域内で伝送すべきか否かを判定する。帯域内で伝送すべき場合、機能ブロック475に制御が移される。さもなければ、機能ブロック490に制御が移される。

0060

機能ブロック475は、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、及び/又はビューパラメータセット(VPS)をファイルに(すなわち帯域内で)伝送し、機能ブロック480に制御を移す。機能ブロック480は、ビットストリームをファイルに書き込むか、ネットワークを通してビットストリームをストリーミングし、終了ブロック499に制御を移す。

0061

機能ブロック485は、変数iをインクリメントし、frame_num及びピクチャオーダカウント(POC)をリセットし、安定ブロック430に制御を移す。

0062

機能ブロック490は、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、及び/又はビューパラメータセット(VPS)を帯域外送出し、機能ブロック480に制御を移す。

0063

図5を参照して、多視点映像コンテンツを復号化する例示的な方法は、参照符号500により示される。

0064

本方法500は、開始ブロック505を含み、このブロックは、機能ブロック510に制御を移す。機能ブロック510は、スライスヘッダ、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、ビューパラメータセット(VPS)、ネットワーク抽象レイヤ(NAL)ユニットヘッダ、及び/又は補足的な付加情報(SEI)メッセージの何れかからのview_id、view_direction及びview_levelを分析し、機能ブロック515に制御を移す。機能ブロック515は、ループ変数iがビューの符号化順序を示す場合に、スライスヘッダ、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、ビューパラメータセット(VPS)、ネットワーク抽象レイヤ(NAL)ユニットヘッダ、及び/又は補足的な付加情報(SEI)メッセージからの(異なって符号化された)view_id[i]を分析し、機能ブロック520に制御を移す。機能ブロック520は、他のシーケンスパラメータセットのパラメータを分析し、機能ブロック525に制御を移す。機能ブロック525は、view_direction、view_level及びview_idを使用して、現在のピクチャが復号化される必要があるかを判定し(依存度をチェック)、判定ブロック530に制御を移す。判定ブロックは、現在のピクチャが復号化を必要とするか否かを判定する。現在のピクチャが復号化を必要とする場合、判定ブロック540に制御を移す。さもなければ、機能ブロック535に制御を移す。

0065

機能ブロック540は、現在のピクチャのピクチャオーダカウント(POC)が前のピクチャのピクチャオーダカウント(POC)に等しいか、すなわちPOC(curr)=POC(prev)であるかを判定する。現在のピクチャのピクチャオーダカウントが前のピクチャのピクチャオーダカウントに等しい場合、機能ブロック545に制御を移す。さもなければ、機能ブロック550に制御を移す。

0066

機能ブロック545は、view_numをゼロに等しく設定し、機能ブロック550に制御を移す。機能ブロック550は、ビューの符号化順序を決定するためにハイレベルでview_id情報を索引付けし、view_numをインクリメントし、判定ブロック555に制御を移す。判定ブロック555は、現在のピクチャが期待される符号化順序にあるか否かを判定する。現在のピクチャが期待される符号化順序にある場合、機能ブロック560に制御を移す。さもなければ、機能ブロック590に制御を移す。

0067

機能ブロック560は、スライスヘッダを分析し、機能ブロック565に制御を移す。機能ブロック565は、マクロブロック(MB)モード、動きベクトル(MV)、参照インデックス(ref_idx)を分析し、機能ブロック570に制御を移す。機能ブロック570は、現在のマクロブロックを復号化し、判定ブロック575に制御を移す。判定ブロック575は、全てのマクロブロックが現在のピクチャで復号化されているか否かを判定する。全てのマクロブロックが現在のピクチャにおいて復号化されている場合、機能ブロック580に制御を移す。さもなければ、機能ブロック565に制御を移す。

0068

機能ブロック580は、現在のピクチャを復号化ピクチャバッファDPB)に挿入し、判定ブロック585に制御を移す。判定ブロック585は、全てのピクチャが復号化されているか否かを判定する。全てのピクチャが復号化されている場合、終了ブロック599に制御を移す。さもなければ、機能ブロック560に制御を移す。
機能ブロック590は、現在のピクチャを隠し、機能ブロック535に制御を移す。

0069

本発明の原理の別の実施の形態に関する説明が与えられる。
実施の形態では、ビューの符号化順序は、ビットストリームで明示的に指示される。ビューの符号化順序の情報は、限定されるものではないが、スライスヘッダレベルでのシンタックス、シーケンスパラメータセット(SPS)レベルでのシンタックス、ピクチャパラメータセット(PPS)レベルでのシンタックス、ビューパラメータセット(VPS)レベルでのシンタックス、ネットワーク抽象レイヤ(NAL)ユニットヘッダレベルでのシンタックス、及び補足的な付加情報(SEI)メッセージにおけるシンタックスを含む、任意のハイレベルシンタックスで示される。

0070

表6は、本実施の形態に係る、提案されるシーケンスパラメータセットの多視点映像符号化(MVC)拡張のシンタックスを示す。したがって、表6は、多視点映像符号化(MVC)拡張の現在の仕様についてビューの符号化順序の挿入を例示する。これは、多視点映像符号化(MVC)拡張の現在の仕様におけるシーケンスパラメータセットの設計の構造を保持するが、view_numをループに加えるものである。このview_numは、符号化順序を指示するものである。

0071

新たに追加された意味は、以下のように定義される。
view_num[i]は、iに等しいview_idのビューの符号化順序を規定する。view_numは、符号化順序でそれぞれの符号化されたビューについて1だけインクリメントされる。

0072

図3の例について、view_idは、上から下方向に増加的に割り当てられる。view_num以下のようなビューの符号化順序に基づいて割り当てられる。

0073

現在の設計では、現在のview_idと参照のview_idとの間の差とは対照的に、絶対のview_idを使用して現在のビューについてビュー間の参照が符号化される。大部分のケースでは、妥当なビュー間の参照は、現在のビューに近いビューであるべきであるので、現在のview_idとビュー間の参照view_idとの間の差が符号化される。

0074

誤り検出の応用]
失われたピクチャを検出するために提案されるview_numの使用を含む1つの例は、以下の通りである。時間順の符号化では、瞬間T8で、view_idの順序、014357の順序でパケットが受信される。view_id 0及びview_id 1が受信された後、view_id 2がview_id 1の前に受信されるはずであるため、view_id 2が失われたことが分かる。次いで、view_id 4,3及び5が取得され、view_id 6がview_id 5の前に受信されるはずであるため、view_id 6が失われたことが分かる。

0075

伝送エラーのため、view_id 2及びview_id 6における欠けているピクチャが失われたかが判定されるか、又は、意図的に欠けている場合に、表6におけるシンタックスの例を使用するかが判定される。したがって、所定のビューを意図的に符号化しないことを望む場合、符号化されないview_idsをシーケンスパラメータセットに配置する必要がない。

0076

図6を参照して、多視点映像コンテンツの別の例示的な方法は、参照符号600により示される。
本方法600は、開始ブロック605を含み、このブロックは、機能ブロック610に制御を移す。機能ブロック610は、エンコーダのコンフィギュレーションファイルを読み取り、機能ブロック615に制御を移す。機能ブロック615は、view_direction、view_level、view_idをユーザにより定義された値に設定し、機能ブロック620に制御を移す。機能ブロック620は、(エンコーダのコンフィギュレーションファイルからの)view_idのビューの符号化順序に基づいて、スライスヘッダ、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、ビューパラメータセット(VPS)、ネットワーク抽象レイヤ(NAL)ユニットヘッダ、及び/又は補足的な付加情報(SEI)メッセージにおけるview_num[i]を柔軟に設定し、エンコーダのコンフィギュレーションファイルに基づいて他のシーケンスパラメータセットのパラメータを設定し、機能ブロック625に制御を移す。機能ブロック625は、ビューの数を変数Nに等しくし、変数i及び変数jの両者を0に初期化し、判定ブロック630に制御を移す。判定ブロック630は、iがNよりも小さいか否かを判定する。iがNよりも小さい場合、機能ブロック635に制御を移す。さもなければ、機能ブロック685に制御を移す。

0077

判定ブロック635は、jがビューiにおけるピクチャ数よりも少ないか否かを判定する。jがビューiにおけるピクチャ数よりも少ない場合、機能ブロック640に制御を移す。さもなければ、機能ブロック685に制御を移す。

0078

機能ブロック640は、現在のマクロブロック(MB)の符号化を開始し、機能ブロック645に制御を移す。機能ブロック645は、マクロブロックモードを選択し、機能ブロック650に制御を移す。機能ブロック650は、現在のマクロブロックを符号化し、判定ブロック655に制御を移す。判定ブロック655は、全てのマクロブロックが符号化されているかを判定する。全てのマクロブロックが符号化されている場合、機能ブロック660に制御を移す。さもなければ、機能ブロック640に制御を移す。

0079

機能ブロック660は、変数jをインクリメントし、機能ブロック665に制御を移す。機能ブロック665は、frame_num及びピクチャオーダカウント(POC)をインクリメントし、判定ブロック670に制御を移す。判定ブロック670は、シーケンスパラメータセット(SPS)及び/又はピクチャパラメータセット(PPS)を帯域内で送出するか否かを判定する。シーケンスパラメータセット(SPS)及び/又はピクチャパラメータセット(PPS)を帯域内で送出する場合、機能ブロック675に制御を移す。さもなければ、機能ブロック690に制御を移す。

0080

機能ブロック675は、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、及び/又はビューパラメータセット(VPS)をファイル(すなわち帯域内“in-band”で)送出し、機能ブロック680に制御を移す。機能ブロック680は、ビットストリームをファイルに書き込むか、又はネットワークを通してビットストリームをストリーミングし、終了ブロック699に制御を移す。

0081

機能ブロック685は、変数iをインクリメントし、frame_num及びピクチャオーダカウント(POC)をリセットし、判定ブロック630に制御を移す。
機能ブロック690は、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、及び/又はビューパラメータセット(VPS)を帯域外“out-of-band”で送出し、機能ブロック680に制御を移す。

0082

図7を参照して、多視点映像コンテンツを復号化する例示的な方法は、参照符号700により示される。
本方法700は、開始ブロック705を含み、このブロックは、機能ブロック710に制御を移す。機能ブロック710は、スライスヘッダ、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、ビューパラメータセット(VPS)、ネットワーク抽象レイヤ(NAL)のユニットヘッダ、及び/又は補足的な付加情報(SEI)メッセージの何れかからのview_id、view_direction及びview_levelを分析し、機能ブロック715に制御を移す。機能ブロック715は、ループ変数iがview_idを示す場合に、スライスヘッダ、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、ビューパラメータセット(VPS)、ネットワーク抽象レイヤ(NAL)ユニットヘッダ、及び/又は補足的な付加情報(SEI)メッセージからのview_num[i]を分析し、機能ブロック720に制御を移す。機能ブロック720は、他のシーケンスパラメータセットのパラメータを分析し、機能ブロック725に制御を移す。機能ブロック725は、view_direction、view_level及びview_idを使用して、現在のピクチャが復号化される必要があるかを判定し(依存度をチェック)、判定ブロック730に制御を移す。判定ブロックは、現在のピクチャが復号化を必要とするかを判定する。現在のピクチャが復号化を必要とする場合、判定ブロック740に制御を移す。さもなければ、機能ブロック735に制御を移す。

0083

機能ブロック740は、現在のピクチャのピクチャオーダカウント(POC)が前のピクチャのピクチャオーダカウント(POC)に等しいか、すなわちPOC(curr)=POC(prev)であるかを判定する。現在のピクチャのピクチャオーダカウントが前のピクチャのピクチャオーダカウントに等しい場合、機能ブロック745に制御を移す。さもなければ、機能ブロック750に制御を移す。

0084

機能ブロック745は、view_numをゼロに設定し、機能ブロック750に制御を移す。機能ブロック750は、ハイレベルでview_id情報を索引付けしてビューの符号化順序を決定し、view_numをインクリメントし、判定ブロック755に制御を移す。判定ブロック755は、現在のピクチャが期待される符号化順序にあるか否かを判定する。現在のピクチャが期待される符号化順序にある場合、機能ブロック760に制御を移す。さもなければ、機能ブロック790に制御を移す。

0085

機能ブロック760は、スライスヘッダを分析し、機能ブロック765に制御を移す。機能ブロック765は、マクロブロック(MB)モード、動きベクトル(MV)、及び参照インデックス(ref_idx)を分析し、機能ブロック770に制御を移す。機能ブロック770は、現在のマクロブロックを復号化し、判定ブロック775に制御を移す。判定ブロック775は、全てのマクロブロックが現在のピクチャで復号化されているか否かを判定する。全てのマクロブロックが現在のピクチャで復号化されている場合、機能ブロック780に制御を移す。さもなければ、機能ブロック765に制御を移す。

0086

機能ブロック780は、復号化ピクチャバッファ(DPB)に現在のピクチャを挿入し、判定ブロック785に制御を移す。判定ブロック785は、全てのピクチャが復号化されているか否かを判定する。全てのピクチャが復号化されている場合、終了ブロック799に制御を移す。さもなければ、機能ブロック760に制御を移す。
機能ブロック790は、現在のピクチャを隠し、機能ブロック735に制御を移す。

0087

ここで、本発明の多数の付随する利点/特徴の幾つかに関する説明が与えられ、そのうちの幾つかは上述された。たとえば、1つの利点/特徴は、結果として得られるビットストリームにおける多視点映像コンテンツに対応する少なくとも1つのビューについて少なくとも1つのピクチャを符号化するエンコーダを有する装置であり、このエンコーダは、ハイレベルシンタックスで少なくとも前記少なくとも1つのピクチャのビデオ符号化順序の情報を指示する。

0088

別の利点/特徴は、上述されたエンコーダを有する装置であり、ハイレベルシンタックスエレメントは、シーケンスパラメータセット、ピクチャパラメータセット、ビューパラメータセット、補足的な付加情報のメッセージ、スライスヘッダ、ネットワーク抽象レイヤのユニットヘッダのうちの少なくとも1つに含まれる。

0089

更に別の利点/特徴は、上述されたエンコーダを有する装置であり、多視点映像コンテンツは、前記少なくとも1つのビューを含む少なくとも2つのビューに対応し、前記エンコーダは、符号化順序で少なくとも2つのビューのそれぞれについて、ハイレベルシンタックスでビュー識別子を通してループする複数の繰り返しを実行することで、ハイレベルシンタックスでビューの符号化順序の情報を指示する。

0090

さらに、別の利点/特徴は、上述されたエンコーダを有する装置であり、多視点映像コンテンツは、前記少なくとも1つのビューを含む少なくとも2つのビューに対応し、前記エンコーダは、少なくとも2つのビューのそれぞれについて、ハイレベルシンタックスでビューの符号化順序を通してループする複数の繰り返しを実行することで、ハイレベルシンタックスでビューの符号化順序の情報を指示する。

0091

さらに、別の利点/特徴は、上述されたエンコーダを有する装置であり、ハイレベルシンタックスは、帯域内及び帯域外の少なくとも1つで送出される。

0092

また、別の利点/特徴は、上述されたエンコーダを有する装置であり、前記エンコーダは、少なくとも1つのピクチャを符号化するために使用されるビュー間の参照画像のビュー識別子を異なって符号化し、前記エンコーダは、少なくとも1つのピクチャについてビューの依存情報を符号化する。

0093

さらに、別の利点/特徴は、上述されたエンコーダを有する装置であり、前記エンコーダは、別のハイレベルシンタックスで少なくとも1つのビューについてビュー識別子を柔軟に割り当てる。

0094

さらに、別の利点/特徴は、上述された別のハイレベルシンタックスで少なくとも1つのビューについてビュー識別子を柔軟に割り当てるエンコーダを有する装置であり、他のハイレベルシンタックスエレメントは、シーケンスパラメータセット、ピクチャパラメータセット、ビューパラメータセット、補足的な付加情報のメッセージ、スライスヘッダ及びネットワーク抽象レイヤのユニットヘッダの少なくとも1つに含まれる。

0095

さらに、別の利点/特徴は、上述された別のハイレベルシンタックスで少なくとも1つのビューについてビュー識別子を柔軟に割り当てるエンコーダを有する装置であり、多視点映像コンテンツは、前記少なくとも1つのビューを含む少なくとも2つのビューに対応し、前記エンコーダは、符号化順序で少なくとも2つのビューのそれぞれについて、他のハイレベルシンタックスでビュー識別子を通してループする複数の繰り返しを実行することで、他のハイレベルシンタックスで少なくとも2つのビューのそれぞれについてビュー識別子を柔軟に割り当てる。

0096

さらに、別の利点/特徴は、上述された符号化順序で少なくとも2つのビューのそれぞれについて、他のハイレベルシンタックスでビュー識別子を通してループする複数の繰り返しを実行するエンコーダを有する装置であり、少なくとも2つのビューのそれぞれのビュー識別子の柔軟な割り当ては、連続するビュー識別子間のギャップを許容する。

0097

また、別の利点/特徴は、上述された別のハイレベルシンタックスで少なくとも1つのビューについてビュー識別子を柔軟に割り当てるエンコーダを有する装置であり、多視点映像コンテンツは、前記少なくとも1つのビューを含む少なくとも2つのビューに対応し、前記エンコーダは、少なくとも2つのビューのそれぞれについて、他のハイレベルシンタックスでビューの符号化順序を通してループする複数の繰り返しを実行することで、他のハイレベルシンタックスで少なくとも2つのビューのそれぞれについてビュー識別子を柔軟に割り当てる。

0098

さらに、別の利点/特徴は、上述された別のハイレベルシンタックスで少なくとも1つのビューについてビュー識別子を柔軟に割り当てるエンコーダを有する装置であり、他のハイレベルシンタックスは、帯域内及び帯域外の少なくとも1つで送出される。
さらに、別の利点/特徴は、上述されたエンコーダを有する装置であり、エンコーダは、ハイレベルシンタックスでビュー間の依存情報を柔軟に指示する。

0099

本発明の原理のこれらの特徴及び利点並びに他の特徴及び利点は、本明細書における教示に基づいて当業者により容易に確認される場合がある。本発明の原理の教示は、ハードウェア、ソフトウェア、ファームウェア、特定用途プロセッサ又はこれらの組み合わせの様々な形態で実現される場合がある。

0100

最も好ましくは、本発明の教示は、ハードウェアとソフトウェアの組み合わせとして実現される。さらに、ソフトウェアは、プログラム記憶装置で実施されるアプリケーションプログラムとして実現される場合がある。アプリケーションプログラムは、適切なアーキテクチャを有するコンピュータにアップロードされ、該コンピュータにより実行される場合がある。好ましくは、コンピュータは、1以上の中央処理装置(CPU)、ランダムアクセスメモリ(RAM)、入力/出力(I/O)インタフェースのようなハードウェアを有するコンピュータプラットフォームで実現される。また、コンピュータプラットフォームは、オペレーティングシステム及びマイクロ命令コードを含む場合がある。本明細書で記載された様々な処理及び機能は、マイクロ命令コードの一部、又はアプリケーションプログラムの一部、或いはその組み合わせの何れかである場合がある。さらに、様々な他の周辺装置は、更なるデータストレージユニット及びプリンティングユニットのようなコンピュータプラットフォームに接続される場合がある。

0101

添付図面で記載されるシステムの構成要素及び方法の幾つかは、ソフトウェアで実現されることが好ましく、システムコンポーネント又はプロセス機能ブロック間の実際の接続は、本発明の原理がプログラムされるやり方に依存して異なる場合がある。本明細書での教示が与えられると、当業者であれば、本発明の原理のこれらの実現又はコンフィギュレーション及び類似の実現又はコンフィギュレーションを考案することができるであろう。

0102

例示的な実施の形態が添付図面を参照して記載されたが、本発明の原理は、それら正確な実施の形態に限定されるものではなく、様々な変形及び変更が本発明の原理の範囲又は精神から逸脱することなしに当業者により実施される場合があることを理解されたい。全ての係る変形及び変更は、特許請求の範囲で述べる本発明の原理の範囲に含まれることが意図される。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ