図面 (/)

技術 高い分割自由度を伴う効果的なパーティション符号化

出願人 ジーイービデオコンプレッションエルエルシー
発明者 メルクレフィリップバルトニククリスティアンラクシュマンハリチャランマルペデトレフミューラーカルステンウィーガントトーマステヒゲルハルト
出願日 2017年1月25日 (2年6ヶ月経過) 出願番号 2017-011008
公開日 2017年6月15日 (2年1ヶ月経過) 公開番号 2017-108427
状態 特許登録済
技術分野 TV信号の圧縮,符号化方式
主要キーワード 時間的継続 補助サンプル グレースケールバー 最適化フレームワーク バイナリ要素 位置オフセット値 最適化目的 最適セット
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年6月15日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

高い分割自由度を伴う効果的なパーティション符号化/復号化方法を提供する。

解決手段

データストリームから画像215に関連付けられる奥行き/視差マップ213の既定ブロック210を再構成するためのデコーダであって、第1および第2のパーティションに参照ブロックの2つのセグメンテーションを得るために、既定のブロックと同じ場所に位置する参照ブロック216の範囲内における画像を二値化処理することによって、画像の参照ブロックをセグメント化し、既定のブロックの第1および第2のパーティションを得るために、画像の参照ブロックの2つのセグメンテーションを、奥行き/視差マップの既定のブロックに空間的に転送し、第1および第2のパーティションの単位で既定のブロックを復号化する。

概要

背景

多くの符号化スキームは、ブロックにサンプルアレイの再分割を使用しているサンプルアレイデータを圧縮する。サンプルアレイは、テクスチャ(すなわち、画像)の空間サンプリングを定めることができるが、しかしながら、他のサンプルアレイは、例えば、奥行きマップ等の類似の符号化技術を使用して、圧縮されうる。それぞれのサンプルアレイによって、空間的にサンプルされる情報の異なる性質のために、異なる符号化概念は、異なる種類のサンプルアレイのために最適である。しかしながら、そのようなサンプルアレイにかかわりなく、個々の符号化オプションを、サンプルアレイのブロックに割り当てるために、これらの符号化概念の多くは、ブロック再分割処理を使用し、このことにより、一方の個々のブロックに割り当てられた符号化パラメータを符号化するためのサイド情報レートとそれぞれのブロックの予測ミスのための予測残差を符号化するための残差符号化レートとの間のよいトレードオフみつけること、あるいは、残差符号化有りまたは無しでレート/歪の意味で良好な構成を見出す

主に、ブロックは、矩形であるか、正方形である。明らかに、符号化ユニット(ブロック)の形状を符号化されるサンプルアレイの内容に適応させることが可能であることは、有利である。しかしながら、残念なことに、ブロックまたはコーディングユニットの形状をサンプルアレイの内容に適応させることは、付加的なサイド情報をブロック分割信号伝送することに費やすことが必要である。ブロックのウェッジレット型分割が、可能ブロックと関連するサイド情報オーバーヘッドとの間の適切な妥協であるとわかった。ウェッジレット型分割は、ブロックの分割を、例えば、特有の符号化パラメータが用いられうるウェッジレットパーティションに導く。

しかしながら、ウェッジレット分割に対する制限さえ、ブロックの分割の信号伝送するための付加的なオーバーヘッドの重要な量を導く、そして、したがって、より効率的な方法のサンプルアレイの符号化におけるブロックを分割する際のより高い自由度を可能にするより有効な符号化の概念を手元に有することは好ましいであろう。

概要

高い分割自由度を伴う効果的なパーティション符号化/復号化方法を提供する。データストリームから画像215に関連付けられる奥行き/視差マップ213の既定のブロック210を再構成するためのデコーダであって、第1および第2のパーティションに参照ブロックの2つのセグメンテーションを得るために、既定のブロックと同じ場所に位置する参照ブロック216の範囲内における画像を二値化処理することによって、画像の参照ブロックをセグメント化し、既定のブロックの第1および第2のパーティションを得るために、画像の参照ブロックの2つのセグメンテーションを、奥行き/視差マップの既定のブロックに空間的に転送し、第1および第2のパーティションの単位で既定のブロックを復号化する。

目的

このように、それが、正確に、第1の態様に従って、画像の形式におけるその同じ場所に位置するテクスチャ情報あることを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

データストリーム(304)から画像(215)に関連付けられる奥行き/視差マップ(213)の既定ブロック(210)を再構成するためのデコーダであって、前記デコーダは、第1および第2のパーティション参照ブロックの2つのセグメンテーションを得るために、前記既定のブロック(210)と同じ場所に位置する前記参照ブロック(216)の範囲内における前記画像(215)を二値化処理することによって、前記画像(215)の前記参照ブロック(216)をセグメント化し、前記既定のブロック(210)の第1および第2のパーティション(202a,202b)を得るために、前記画像の前記参照ブロック(216)の前記2つのセグメンテーションを、前記奥行き/視差マップ(213)の前記既定のブロック(210)に、空間的に転送し、そして、前記第1および第2のパーティション(202a,202b)の単位で前記既定のブロック(210)を復号化するように構成される、デコーダ。

請求項2

前記画像(215)の前記参照ブロック(216)の前記第1および第2のパーティション(218’)のそれぞれは、前記画像(215)の前記参照ブロック(216)を一緒に完全にカバーする一組のタイル(608)であり、そして、お互いに対して相補的であるように、二値化処理において、それぞれの値がそれぞれの既定の値よりも大きいか低いかどうかに関して、前記参照ブロック(216)の二次元の再分割の前記タイルで、前記参照ブロック(216)の範囲内における前記画像(215)の前記値を個別にチェックするために構成される、請求項1に記載のデコーダ。

請求項3

二値化処理において、各タイルが前記参照ブロックのサンプル位置に対応するように、サンプ解像度で前記参照ブロックの範囲内における前記画像の値を個別にチェックするために構成される、請求項2に記載のデコーダ。

請求項4

セグメント化において、前記第1および第2のパーティションに前記参照ブロック(216)の前記2つのセグメンテーションを得るために、前記二値化処理の結果に、モルフォロジカルホールフィリングおよび/またはローパスフィルタを適用するために構成される、請求項1ないし請求項3のいずれかに記載のデコーダ。

請求項5

二値化処理において、前記画像(215)の前記参照ブロック(216)の再構成されたサンプル値中心的傾向の大きさを決定し、前記画像(215)の前記参照ブロック(216)の各再構成されたサンプル値と前記決定された大きさに依存するそれぞれの閾値とを比較することによって前記二値化処理を実行するように構成される、請求項1ないし請求項4のいずれかに記載のデコーダ。

請求項6

前記デコーダは、前記セグメンテーション、空間的な転送および予測が、符号化オプションの第1の組の1つを形成し、符号化オプションの第2の組の部分ではないように構成され、ここで、前記デコーダは、さらに、前記画像(215)の前記参照ブロック(216)の範囲内におけるサンプルの値の分散を決定し、前記データストリームから符号化オプション識別子を受信し、インデックスが、前記符号化オプションの第1の組を示す場合、前記既定のブロックにセグメンテーション、空間的な転送および予測を実行して、既定の閾値を超えている前記分散の場合における前記符号化オプションの第1の組に、前記インデックスとして前記符号化オプション識別子を使用し、そして、前記既定の閾値の後に続く前記分散の場合、前記符号化オプションの第2の組に、前記インデックスとして前記符号化オプション識別子を使用するために構成される、請求項1ないし請求項5のいずれかに記載のデコーダ。

請求項7

符号化オプションの第1のサブセットおよび符号化オプションの第2のサブセットを含む符号化オプションの組のうちの1つを使用して、データストリームから画像に関連付けられる奥行き/視差マップの既定のブロックを再構成するためのデコーダであって、前記デコーダは、前記既定のブロックと同じ場所に位置する前記画像(215)の参照ブロック(216)の範囲内におけるサンプルの値の分散を決定し、前記データストリーム(304)から符号化オプション識別子を検索し、既定の閾値を超えている前記分散の場合における前記符号化オプションの前記第1のサブセットに、前記インデックスとして前記符号化オプション識別子を使用し、そして、前記既定の閾値の後に続く前記分散の場合、前記符号化オプションの前記第2のサブセットに、前記インデックスとして前記符号化オプション識別子を使用し、前記符号化オプション識別子によってインデックスされた符号化オプションを使用して、前記既定のブロックを復号化するために構成される、デコーダ。

請求項8

前記デコーダは、エントロピー復号化によって、符号化オプション識別子を検索するように構成される、請求項7に記載のデコーダ。

請求項9

前記デコーダの予測ループにおける参照として、前記既定のブロックを使用するために、さらに構成される、請求項1ないし請求項8に記載のデコーダ。

請求項10

前記デコーダは、前記既定のブロック(210)を復号化する処理において、第1の固定パーティション値を前記第1のパーティション(202a)の範囲内において配置される前記サンプルアレイのサンプル(203)に割り当てること、および第2の固定パーティション値を前記第2のパーティション(202b)の範囲内において配置される前記サンプルアレイのサンプル(203)に割り当てることによって、前記既定のブロック(210)を予測するように構成される、請求項1ないし請求項8のいずれかに記載のデコーダ。

請求項11

前記既定のブロックを予測する処理において、前記既定のブロックに隣接している、前記サンプルアレイのそれぞれの隣接するサンプルを前記第1および第2のパーティションのうちのそれぞれの1つに関連付けるように構成され、その結果、各隣接するサンプルは、それが関連付けされる前記パーティションに隣接し、そして、前記第1のパーティションに関連付けられる前記隣接するサンプルの値の平均値を、前記第1のパーティションの範囲内に位置される前記サンプルアレイのサンプルに割り当てることによって、および、前記第2のパーティションに関連付けられる前記隣接するサンプルの値の平均値を、前記第2のパーティションの範囲内に位置される前記サンプルアレイのサンプルに割り当てることによって前記既定のブロックを予測するために構成される、請求項10に記載のデコーダ。

請求項12

前記リファイン情報の範囲内における第1のリファイン値を前記第1のパーティションに関連付けられる前記隣接するサンプルの値の前記平均値に適用することによって、および/または、前記リファイン情報の範囲内における第2のリファイン値を前記第2のパーティションに関連付けられる前記隣接するサンプルの値の前記平均値に適用することによって、前記既定のブロックの前記予測をリファインするために構成される、請求項10または請求項11に記載のデコーダ。

請求項13

前記第1および/または第2のリファイン値を適用する処理において、前記第1および/または第2のリファイン値を、前記第1のパーティションに関連付けられる前記隣接するサンプルの値の前記平均値、および/または前記第2のパーティションに関連付けられる前記隣接するサンプルの値の前記平均値のそれぞれと線形結合するために構成される、請求項12に記載のデコーダ。

請求項14

前記第1および/または第2のリファイン値を適用する処理において、前記データストリームから前記第1および/または第2のリファイン値を検索し、そして、前記サンプルアレイに関連付けられる既定のサンプル成分が、空間的に、前記データストリームの範囲内において伝送される参照量子化ステップサイズに依存する量子化ステップサイズを使用して、検索された前記第1および/または第2のリファイン値をスケールするために構成される、請求項12または請求項13のいずれかに記載のデコーダ。

請求項15

前記サンプルアレイは、奥行きマップであり、そして、前記デコーダは、前記奥行きマップに関連付けられる前記ビットストリームからテクスチャ・サンプルアレイを再構成するために、前記参照量子化ステップサイズを使用するために構成される、請求項14に記載のデコーダ。

請求項16

画像に関連付けられる奥行き/視差マップの既定のブロックをデータストリームに符号化するためのエンコーダであって、前記エンコーダは、第1および第2のパーティションに参照ブロックの2つのセグメンテーションを得るために、前記既定のブロックと同じ場所に位置する前記参照ブロックの範囲内における前記画像を二値化処理することによって、前記画像の前記参照ブロックをセグメント化し、前記既定のブロックの第1および第2のパーティションを得るために、前記画像の前記参照ブロックの前記2つのセグメンテーションを、前記奥行き/視差マップの前記既定のブロックに空間的に転送し、そして、前記第1および第2のパーティション(202a,202b)の単位で前記既定のブロック(210)を符号化するために構成される、エンコーダ。

請求項17

符号化オプションの第1のサブセットおよび符号化オプションの第2のサブセットを含む符号化オプションの組のうちの1つを使用して、画像に関連付けられる奥行き/視差マップの既定のブロックをデータストリームに符号化するためのエンコーダであって、前記エンコーダは、前記既定のブロックと同じ場所に位置する前記画像(215)の参照ブロック(216)の範囲内におけるサンプルの値の分散を決定し、符号化オプション識別子を前記データストリーム(304)に符号化し、既定の閾値を超えている前記分散の場合における前記符号化オプションの前記第1のサブセットに、前記インデックスとして前記符号化オプション識別子を使用し、そして、前記既定の閾値の後に続く前記分散の場合、前記符号化オプションの前記第2のサブセットに、前記インデックスとして前記符号化オプション識別子を使用し、前記符号化オプション識別子によってインデックスされた符号化オプションを使用して、前記既定のブロックを符号化するために構成される、エンコーダ。

請求項18

データストリーム(304)から画像(215)に関連付けられる奥行き/視差マップ(213)の既定のブロック(210)を再構成するための方法であって、前記方法は、第1および第2のパーティションに参照ブロックの2つのセグメンテーションを得るために、前記既定のブロック(210)と同じ場所に位置する前記参照ブロック(216)の範囲内における前記画像(215)を二値化処理することによって、前記画像(215)の前記参照ブロック(216)をセグメント化するステップと、前記既定のブロック(210)の第1および第2のパーティション(202a,202b)を得るために、前記画像の前記参照ブロック(216)の前記2つのセグメンテーションを、前記奥行き/視差マップ(213)の前記既定のブロック(210)に、空間的に転送するステップと、前記第1および第2のパーティション(202a,202b)の単位で前記既定のブロック(210)を復号化するステップと、を含む、方法。

請求項19

符号化オプションの第1のサブセットおよび符号化オプションの第2のサブセットを含む符号化オプションの組の1つを使用して、データストリームから画像に関連付けられる奥行き/視差マップの既定のブロックを再構成するための方法であって、前記方法は、前記既定のブロックと同じ場所に位置する前記画像(215)の参照ブロック(216)の範囲内におけるサンプルの値の分散を決定するステップと、前記データストリーム(304)から符号化オプション識別子を検索するステップと、既定の閾値を超えている前記分散の場合における前記符号化オプションの前記第1のサブセットに、前記インデックスとして前記符号化オプション識別子を使用するステップ、そして、前記既定の閾値の後に続く前記分散の場合、前記符号化オプションの前記第2のサブセットに、前記インデックスとして前記符号化オプション識別子を使用するステップと、前記符号化オプション識別子によってインデックスされた符号化オプションを使用して、前記既定のブロックを復号化するステップと、を含む、方法。

請求項20

データストリームに画像に関連付けられる奥行き/視差マップの既定のブロックを符号化するための方法であって、前記方法は、第1および第2のパーティションに参照ブロックの2つのセグメンテーションを得るために、前記既定のブロックと同じ場所に位置する前記参照ブロックの範囲内における前記画像を二値化処理することによって、前記画像の前記参照ブロックをセグメント化するステップと、前記既定のブロックの第1および第2のパーティションを得るために、前記画像の前記参照ブロックの前記2つのセグメンテーションを、前記奥行き/視差マップの前記既定のブロックに空間的に転送するステップと、そして、前記第1および第2のパーティション(202a,202b)の単位で前記既定のブロック(210)を符号化するステップと、を含む、方法。

請求項21

符号化オプションの第1のサブセットおよび符号化オプションの第2のサブセットを含む符号化オプションの組の1つを使用して、データストリームに画像に関連付けられる奥行き/視差マップの既定のブロックを符号化するための方法であって、前記方法は、前記既定のブロックと同じ場所に位置する前記画像(215)の参照ブロック(216)の範囲内におけるサンプルの値の分散を決定するステップと、符号化オプション識別子を前記データストリーム(304)に符号化するステップと、既定の閾値を超えている前記分散の場合における前記符号化オプションの前記第1のサブセットに、前記インデックスとして前記符号化オプション識別子を使用し、そして、前記既定の閾値の後に続く前記分散の場合、前記符号化オプションの前記第2のサブセットに、前記インデックスとして前記符号化オプション識別子を使用するステップと、前記符号化オプション識別子によってインデックスされた符号化オプションを使用して、前記既定のブロックを符号化するステップと、を含む、方法。

請求項22

プログラムコンピュータにおいて実行される場合、請求項18ないし請求項21に記載の方法を実行させるためのプログラム・コードを有するコンピュータ・プログラム。

請求項23

データストリームは、その中に符号化された画像と、前記画像に関連付けられる奥行き/視差マップを有し、前記データストリームは、請求項20または請求項21に記載の方法を使用して生成される、データストリーム。

技術分野

0001

本発明は、高い自由度を考慮する輪郭ブロック分割、またはブロック分割を使用するサンプルアレイ符号化に関する。

背景技術

0002

多くの符号化スキームは、ブロックにサンプルアレイの再分割を使用しているサンプルアレイデータを圧縮する。サンプルアレイは、テクスチャ(すなわち、画像)の空間サンプリングを定めることができるが、しかしながら、他のサンプルアレイは、例えば、奥行きマップ等の類似の符号化技術を使用して、圧縮されうる。それぞれのサンプルアレイによって、空間的にサンプルされる情報の異なる性質のために、異なる符号化概念は、異なる種類のサンプルアレイのために最適である。しかしながら、そのようなサンプルアレイにかかわりなく、個々の符号化オプションを、サンプルアレイのブロックに割り当てるために、これらの符号化概念の多くは、ブロック再分割処理を使用し、このことにより、一方の個々のブロックに割り当てられた符号化パラメータを符号化するためのサイド情報レートとそれぞれのブロックの予測ミスのための予測残差を符号化するための残差符号化レートとの間のよいトレードオフみつけること、あるいは、残差符号化有りまたは無しでレート/歪の意味で良好な構成を見出す

0003

主に、ブロックは、矩形であるか、正方形である。明らかに、符号化ユニット(ブロック)の形状を符号化されるサンプルアレイの内容に適応させることが可能であることは、有利である。しかしながら、残念なことに、ブロックまたはコーディングユニットの形状をサンプルアレイの内容に適応させることは、付加的なサイド情報をブロック分割の信号伝送することに費やすことが必要である。ブロックのウェッジレット型分割が、可能ブロックと関連するサイド情報オーバーヘッドとの間の適切な妥協であるとわかった。ウェッジレット型分割は、ブロックの分割を、例えば、特有の符号化パラメータが用いられうるウェッジレットパーティションに導く。

0004

しかしながら、ウェッジレット分割に対する制限さえ、ブロックの分割の信号伝送するための付加的なオーバーヘッドの重要な量を導く、そして、したがって、より効率的な方法のサンプルアレイの符号化におけるブロックを分割する際のより高い自由度を可能にするより有効な符号化の概念を手元に有することは好ましいであろう。

発明が解決しようとする課題

0005

この目的は、係属中の独立の請求項の内容によって達成される。

課題を解決するための手段

0006

本発明の基礎をなしている主要な考えは、ウェッジレットベースの分割は、輪郭分割と比較して、一方のサイド情報レートと他方の分割の可能性における達成可能な変化との良好なトレードオフを表すようであるのもかかわらず、奥行き/視差マップにおける2つのセグメンテーションのためのよい予測値導出するためにパーティションは、ウェッジレットパーティションでなければならないという範囲に、分割の制約を軽減する能力は、比較的複雑でない統計的解析を空間的に重なったサンプルのテクスチャ情報に適用することを可能にする。このように、それが、正確に、第1の態様に従って、画像の形式におけるその同じ場所に位置するテクスチャ情報あることを提供する間接的なシグナリングを軽減する自由の増加である。

0007

本発明の更なる態様が基礎をなしている他の考えは、この2つのセグメンテーションの転送モードを起こすために、対応する符号化オプション識別子のそれぞれの既定の値の指定を正当化するために、奥行き/視差マップの現行ブロックの内容の良好な近似を成し遂げる可能性が、十分に高い場合、奥行き/視差マップの現行ブロックにおいて、2つのセグメンテーションの次の転送を有する画像の範囲内における参照ブロックと同じ場所に基づく2つのセグメンテーションの導出に従って、ちょうど概説された考えが、ただ単に合理的である。換言すれば、それぞれの2つのセグメンテーションの転送の場合におけるこの符号化オプション識別子は、いずれにしろ、いつのエントロピー符号化が選択される場合に、サイド情報レートは、奥行き/視差マップの現行ブロックに対する符号化オプション識別子のそれぞれの既定の値を考慮に入れる必要を回避することによって保存されうる。

0008

更なる下位の態様は、従属する請求項の主題である。

0009

本発明の好ましい実施の形態は、添付する図に関して後に詳細に述べられる。

図面の簡単な説明

0010

図1は、本発明の実施例が実施例に従って構築されうる多視点エンコーダのブロック図を示す。
図2は、視点および映像の奥行き/視差境界全体の情報再使用の説明のための多視点信号の一部の概要図を示す。
図3は、図1適合しているデコーダのブロック図を示す。
図4は、連続(左)および別々の信号空間(右)の二次ブロックのウェッジレットパーティションを示す。
図5は、ウェッジレットブロックパーティションの6つの異なる幾何学的配置の概略図を示す。
図6は、ブロックサイズ4×4(左)8×8(中間)および16×16(右)のウェッジレットパーティションパターンの実施例を示す。
図7は、パーティション情報およびCPVパーティション領域奥行き信号平均値)を結合することによって、ウェッジレットモデルを有する奥行き信号の近似を示す。
図8は、ウェッジレットパーティションパターンの生成を示す。
図9は、連続(左)および別々の信号空間(右)の二次ブロックの輪郭パーティションを示す。
図10は、ブロックサイズ8×8の輪郭パーティションパターンの実施例を示す。
図11は、パーティション情報およびCPV(パーティション領域の奥行き信号の平均値)を結合することによって、輪郭モデルを有する奥行き信号の近似を示す。
図12は、上記の参照ブロックがタイプのウェッジレットパーティション(左)または正規イントラ方向(右)であるシナリオのためのウェッジレットパーティション(青)のイントラ予測を示す。
図13は、テクスチャの輝度情報(luma)の参照からウェッジレット(青)および輪郭(緑)パーティション情報の予測を示す。
図14は、ブロックパーティションのCPVを示す。隣接ブロック(左)の近接するサンプルおよびブロック(右)の横断面からのCPV予測,異なるCPVタイプの関係を示す。
図15は、テクスチャの輝度情報(luma)の相違に基づくモードの事前選択を示す。
図16は、実施例によるデコーダのブロック図を示す。
図17は、図16に適合しているエンコーダのブロック図を示す。
図18は、実施例によるデコーダのブロック図を示す。
図19は、図18に適合しているエンコーダのブロック図を示す。
図20は、実施例によるデコーダのブロック図を示す。
図21は、図20に適合しているエンコーダのブロック図を示す。
図22は、実施例によるデコーダのブロック図を示す。
図23は、図22に適合しているエンコーダのブロック図を示す。
図24は、実施例によるデコーダのブロック図を示す。
図25は、図24に適合しているエンコーダのブロック図を示す。

実施例

0011

本発明の以下の好適な実施例の説明は、本発明の実施例が有利に使用されうる可能な環境から始める。特に、実施例による多視点コーデックは、図1〜3に関して記載されている。しかしながら、後文に記載されている実施例が多視点符号化に制限されないと強調されるべきである。それにもかかわらず、さらに以下において記載されているいくつかの形態は、よりよく理解されえ、多視点符号化、または、具体的には、特に、奥行きマップの符号化を有する場合、特別な相乗効果を有する。従って、図1〜3の後、説明は、イントロクションから不規則性ブロック分割およびそれとともに含まれる課題に進める。この説明は図4〜11を参照し、そして、その後記載された本発明の実施例の説明の基礎を構成する。

0012

今述べたように、さらに、以下で概説される実施例は、画像および映像符号化アプリケーションにおいて、非矩形であるか不規則性ブロック分割およびモデリング機能を使用して、特に、例えば、場面のジオメトリを表すために、奥行きマップの符号化に適用できる。ただし、これらの実施例は、従来の画像および映像符号化にも適用できる。さらに、以下で概説される実施例は、さらに、画像および映像符号化アプリケーションにおいて、非矩形ブロック分割およびモデリング機能を使用するための概念を提供する。実施例は、特に、(場面のジオメトリを表すために)奥行きマップの符号化にも適用できる。しかし、従来の画像および映像符号化にも適用できる。

0013

多視点映像符号化において、映像場面(複数のカメラによって同時に撮影される)の2以上の視点が、単一のビットストリームにおいて符号化される。多視点映像符号化の第1の目的は、3Dの視聴印象提示することによって、エンドユーザに高度なマルチメディア体験を提供することである。2つの視点が符号化される場合、2つの再構成された映像シーケンスは、(グラス眼鏡)を装着して)従来の立体表示において、表示されうる。しかしながら、従来の立体表示のためのグラスの必要な使用は、ユーザに対してしばしば面倒である。グラスなしで、高品質ステレオ視聴印象を可能にすることは、現在、研究開発の重要なテーマである。そのような自動立体視的なディスプレイに対する有望な技術は、レンチキュラレンズ・システムに基づく。原則上は、円柱状レンズアレイが、映像場面の多視点が同時に表示される方法における従来のディスプレイに搭載される。各視点は、小さい円錐において表示される。その結果、ユーザの各眼は、異なる画像を見る;この効果は、特別なグラスなしに、ステレオ印象を作り出す。しかしながら、この種の自動立体視的なディスプレイは、概して、同じ映像場面の10−30の視点を必要とする(技術がさらに改善される場合、より多くの視点が必要とされる)。2つ以上の視点が、映像場面に対する視点をインタラクティブに選択するために、可能性を提供するためにも使用されうる。しかしながら、映像場面の多視点の符号化は、従来の単眼視(2D)映像の多視点と比較して、必要とされるビットレートを大幅に増加させる。通常、必要とされるビットレートは、ほぼ線形に符号化された視点の数に伴って増加させる。自動立体視的なディスプレイのための送信データの量を減らすための概念は、少数の視点(おそらく、2−5の視点)のみを送信するように構成されるが、加えて、いわゆる奥行きマップを送信することが、1つ以上の視点に対する画像サンプルの奥行き(カメラに対する現実世界オブジェクトの距離)を表現する。対応する奥行きマップとともに符号化された少数の視点を与えることは(高品質な中間視点(符号化される視点の間に位置する仮想視点)、および、付加的な視点もカメラアレイの一方または両端まで少し広げるために)、適切なレンダリング技術によって、レシーバ側で作成されうる。

0014

最新技術の画像および映像符号化において、画像または、画像のためのサンプルアレイの特定の1組は、通常、特定の符号化パラメータに関連しているブロックに分解される。画像は、通常、複数のサンプルアレイ(輝度および色信号)を構成する。加えて、画像は、付加的な補助サンプルアレイに関連しうる。そして、それは、例えば、透過情報または奥行きマップを特定しうる。各画像またはサンプルアレイは、通常、ブロックに分解される。ブロック(またはサンプルアレイの対応するブロック)は、画像間予測または画像内予測によって予測される。ブロックは、異なるサイズを有し、そして、正方形または矩形でありうる。画像をブロックに分割することは、シンタックスによって調整することもでき、あるいは、それは、ビットストリームの内部で、(少なくとも部分的に)信号伝送しうる。しばしば、定義済みサイズのブロックのための再分割を信号伝送するシンタックス要素が、送信される。この種のシンタックス要素は、あるブロックがより小さいブロックに再分割され、そして、例えば、予測の目的で、関連する符号化パラメータに再分割されるかどうか、あるいはどのようにしたかを、を明確にすることができる。ブロック(または、サンプルアレイの対応しているブロック)の全てのサンプルのために、関連する符号化パラメータを復号化することは、特定の方法において、明確にされうる。例において、ブロックにおける全てのサンプルは、例えば、(1組の既に符号化された画像における参照画像を確認する)参照インデックス、(参照画像および現行画像の間のブロックにおける動きのための大きさを特定する)動きパラメータ補間フィルタを特定するためのパラメータイントラ予測モード等の同一の1組の予測パラメータを使用して予測される。動きパラメータは、水平および垂直成分を有する変位ベクトルによって、または、6つの成分からなるアファイン動きパラメータのような、より高次の動きパラメータによって、表されうる。(例えば、参照インデックスおよび動きパラメータのような)2以上の組の特定の予測パラメータが、単一のブロックに関連していることも可能である。その場合、これらの特定の予測パラメータの組ごとに、ブロック(または、サンプルアレイの対応するブロック)のための単一の中間の予測信号が生成され、そして、最終的な予測信号は、中間の予測信号を重畳することを含む組み合わせによって形成される。対応する重みパラメータおよび(加重和に加えられる)潜在的に固定のオフセットも、画像、もしくは参照画像、もしくは1組の参照画像に対して調整されうるか、または対応するブロックに対する1組の予測パラメータにおいて、それらは含まれる。残差信号とも呼ばれる、元のブロック(または、サンプルアレイの対応するブロック)とそれらの予測信号との差は、たいてい、変換され、そして量子化される。しばしば、2次元変換は、残差信号(または、対応する残差ブロックのための対応するサンプルアレイ)に適用される。変換符号化のために、特定の1組の予測パラメータが用いられた、ブロック(またはサンプルアレイの対応するブロック)が変換を適用する前に、さらに、分割されうる。変換ブロックは、予測のために用いられるブロックに等しいか、あるいはより小さい。変換ブロックが、予測のために用いられる2以上のブロックを含むことも可能である。異なる変換ブロックは、異なるサイズを有しうる、そして、変換ブロックは、正方形または矩形のブロックを表しうる。変換の後、結果として得る変換係数は、量子化され、そして、いわゆる変換係数レベルが得られる。予測パラメータと同様に、変換係数レベルも、存在する場合、再分割情報は、エントロピー符号化される。

0015

ITU−T Rec.H.264|ISO/IECJTC 1 14496−10のような最高水準の符号化技術、またはHEVCのための現在のワーキングモデルは、奥行きマップにも適用でき、符号化ツールは、特に、自然な映像の符号化のための設計である。奥行きマップは、自然な映像シーケンスの画像として異なる特性を有する。例えば、奥行きマップは、空間的な詳細をより少なく含む。それらは、主に、(オブジェクトの境界を表す)鋭いエッジ、および、(オブジェクト領域を表す)ほとんど一定であるかゆっくり変化するサンプル値の大きな領域によって特徴付けられる。奥行きマップが、特に、奥行きマップの特性を利用するために設計された符号化ツールを適用することによって、より効率的に符号化する場合、奥行きマップを有する多視点映像符号化の全体の符号化効率は、改善されうる。

0016

本発明のその後説明される実施例が、有利に使用されうる、可能な符号化環境の根拠として役立つために、可能な多視点符号化概念は、図1〜3に関してさらに記載される。

0017

図1は、実施例による多視点信号を符号化するためのエンコーダを示す。図1の実施例は、多数の視点でも可能であるが、図1の多視点信号は、2つの視点121および122を含むように、10で実例として示される。さらに、図1の実施例によれば、各視点121および122は、映像14、奥行き/視差マップデータ16を含む。ただし、いくつかの奥行き/視差マップデータを含まない視点を有する多視点信号と関連して使われる場合、さらに、以下で記載される実施例の有利な原則の多くは、有利でありうる。

0018

それぞれの視点121および122の映像14は、異なる投射/視聴方向に沿って、共通の場面の投射の空間時間的サンプリングを表す。この制約が、必ずしも条件が満たされている必要があるというわけではないにもかかわらず、好ましくは、視点121および122の映像14の時間的なサンプリングレートが互いに等しい。図1において示されるように、好ましくは、各映像14は、それぞれのタイムスタンプt,t−1,t−2,…に関連付けされている各フレームを有する一連のフレームを含む。図1において、映像フレームは、vview number,time stamp numberによって示される。各フレームvi,tは、それぞれのタイムスタンプtでのそれぞれの視点方向に沿った場面iの空間的なサンプリングを表す。そして、このように、例えば、輝度サンプルのための1つのサンプルアレイおよび色サンプルを有する2つのサンプル、またはただ単に輝度サンプルまたはRGB色空間色要素のような他の色要素のためのサンプルアレイのような1つ以上のサンプルアレイを含む。1つ以上のサンプルアレイの空間分解能は、1つの映像14、ならびに異なる視点121および122の映像14の両方の範囲内で異なりうる。

0019

同様に、奥行き/視差マップデータ16は、視点121および122のそれぞれの視聴方向に沿って測定された共通の場面の場面オブジェクトの奥行きの空間的−時間的なサンプリングを表す。奥行き/視差マップデータ16の時間的なサンプリングレートは、図1において図示するように、同じ視点の関連付けられた映像の時間的サンプリングレートに等しくてもよいか、または、そこから異なってもよい。図1の場合において、各映像フレームvは、それとともに、それぞれの視点121および122の奥行き/視差マップデータ16のそれぞれの奥行き/視差マップdと関連付けている。換言すれば、図1の実施例において、視点iおよびタイムスタンプtの各映像フレームvi,tは、それに関連付けられる奥行き/視差マップdi,tを有する。奥行き/視差マップdの空間的な分解能に関して、同じことが、映像フレームに関して上記に示されるように適用する。すなわち、空間的な分解能は、異なる視点の奥行き/視差マップの間の差で異なってもよい。

0020

多視点信号10を効率的に圧縮するために、図1のエンコーダは、視点121および122をデータストリーム18に並列に符号化する。しかしながら、第1の視点121を符号化するために使用される符号化パラメータは、同上を適応するために再利用されるか、または、第2の視点122を符号化する際に使用される第2の符号化パラメータを予測するために再利用される。この大きさによって、図1のエンコーダは、視点121および12の並列符号化が、同様に、これらの視点に対する符号化パラメータを決定するエンコーダを結果として得るという事実を有効に使用する。その結果、これらの符号化パラメータの間の冗長性は、効果的に、圧縮率またはレート/歪率(測定された歪、例えば、全部のデータストリーム18の符号化レートとして測定された視点およびレートの両方の平均歪として)を増加させるために有効に使用されうる。

0021

特に、図1のエンコーダは、通常、参照符号20によって示され、そして、多視点信号10を受信するための入力、およびデータストリーム18を出力するための出力を含む。図2において分かるように、図1のエンコーダ20は、視点121および122ごとに、2つの符号化ブランチを含み、すなわち、映像データのための一方と、奥行き/視差マップデータのための他方である。したがって、エンコーダ20は、視点1の映像データのための符号化ブランチ22v,1、視点1の奥行き/視差マップデータのための符号化ブランチ22d,1、第2の視点の映像データための符号化ブランチ22v,2、および第2の視点の奥行き/視差マップデータのための符号化ブランチ22d,2を含む。これらの符号化ブランチ22の各々は、同様に構築される。エンコーダ20の構成および機能性を記載するために、以下の説明は、符号化ブランチ22v,1の構成および機能性から始める。この機能性は、すべてのブランチ22に共通である。その後、ブランチ22の個々の特徴が述べられる。

0022

符号化ブランチ22v,1は、多視点信号12の第1の視点121の映像141を符号化するためにあり、そして、したがって、ブランチ22v,1は、映像141を受信するための入力を有する。このほか、ブランチ22v,1は、言及される順序で互いに直列に接続される、減算器24、量子化/変換モジュール26、再量子化逆変換モジュール28、加算器30、さらなる処理モジュール32、復号化画像バッファ34、順に、並列に接続される2つの予測モジュール36および38、ならびに、一方において、予測モジュール36および38の出力の間に接続され、他方において減算器24の反転入力に接続される結合器またはセレクタ40を含む。結合器40の出力は、さらに、加算器30の入力にも接続される。減算器24の非反転入力は映像141を受信する。

0023

符号化ブランチ22v,1の要素24〜40は、映像141を符号化するために協働する。符号化は、特定の部分を単位にして、映像141を符号化する。例えば、映像141の符号化において、フレームv1,kは、例えば、ブロック、または他のサンプルグループセグメントセグメント化される。セグメンテーションは、時間ともに一定であるか、または時間内に変化しうる。さらに、セグメンテーションは、初期設定でエンコーダおよびデコーダに知られうるか、またはデータストリーム18の範囲内において、信号伝送されうる。セグメンテーションは、行および列におけるブロックの重なり合わない配列のようなブロックへのフレームの標準的なセグメンテーションでありうるか、または、様々なサイズのブロックへの4分木ベースのセグメンテーションでありうる。減算器24の非反転入力に入力されている映像141の現在の符号化されたセグメントは、図1〜3の以下の記載における映像141の現行ブロックと呼ばれている。

0024

予測モジュール36および38は、現行ブロックを予測するためにあり、そして、このために、予測モジュール36および38は、復号化画像バッファ34に接続されるそれらの入力を有する。実際には、予測モジュール36および38の両方は、減算器24の非反転入力から入ってくる現行ブロックの予測するために、復号化画像バッファ34において存在している映像141の以前に再構成された部分を使用する。この点に関しては、予測モジュール36は、映像141の同じフレームのすでに再構成された部分の空間的に隣接したところから、映像141の現在の部分を空間的に予測するイントラ予測器として作動するのに対して、予測モジュール38は、映像141の以前に再構成されたフレームから現在の部分を時間的に予測するインター予測器として作動する。モジュール36および38の両方は、ある予測パラメータに従って、または記載されて、それらの予測を実行する。より、具体的には、後者のパラメータは、例えば、最大ビットレートのようないくつかの制約の下であるいは制約なしでレート/歪率を最適化することのような若干の最適化目的を最適化するために若干の最適化フレームワークにおいて、エンコーダ20により決定される。

0025

例えば、イントラ予測モジュール36は、隣接する内容に沿ったイントラ予測方向のように現在の部分に対する空間的な予測パラメータを決定しえ、映像141のそのフレームすでに再構成された部分は、後者を予測するための現在の部分に拡大され/コピーされる。

0026

インター予測モジュール38は、以前に再構成されたフレームから現在の部分を予測するために、動き補償を使用しうる、そして、それとともに含まれるインター予測パラメータは、動きベクトル参照フレームインデックス、現在の部分に関する動き予測再分割情報、仮定番号、またはいくつかのそれらの組み合わせを含む。

0027

結合器40は、モジュール36および38によって提供された1以上の予測を結合し、または、単にその1つだけを選択しうる。結合器または選択器40は、減算器24の挿入入力、およびさらに加算器30のそれぞれに現在の部分結果として得る予測を転送する。

0028

減算器24の出力において、現在の部分の予測の残差が出力され、量子化/変換モジュール26は、変換係数の量子化とともに、この残差信号を変換するために構成される。変換は、例えば、DTCのようないくつかのスペクトルで分解している変換でありうる。量子化のため、量子化/変換モジュール26の結果として得る処理は、非可逆的である。すなわち、符号化損失が生じる。モジュール26の出力は、データストリームの範囲内に送信されるための残差信号421である。すべてのブロックが残差符号化に依存するわけではない。むしろ、いくつかの符号化モードは、残差符号化を抑制しうる。

0029

残差信号421は、可能な限り、残差信号を再構成するために、すなわち、量子化雑音にもかかわらず、減算器24による出力として残差信号に対応するために、モジュール28において、逆量子化され、逆変換される。加算器30は、加算によって現在の部分の予測とともにこの再構成された残差信号を結合する。他の結合も可能である。例えば、減算器24は、比率の残差を測定するための除算器として作動することができ、そして、変形例によれば、加算器は、現在の部分を再構成するための乗算器として実装されうる。このように、加算器30の出力は、現在の部分の予備の再構成を表す。しかしながら、モジュール32におけるさらなる処理は、再構成を促進するために任意に使用されうる。この種のさらなる処理は、例えば、非ブロック化すること、適応フィルタリングなどを含みうる。利用可能なすべての再構成は、今までのところ、復号化画像バッファ34においてバッファリングされる。このように、復号化画像バッファ34は、映像141の以前に再構成されたフレーム、および以前に、現在の部分が属する現在のフレームの再構成された部分をバッファリングする。

0030

データストリーム18から多視点信号を再構成するためのデコーダを有効にするために、量子化/変換モジュール26は、残差信号421をエンコーダ20のマルチプレクサ44に送る。同時に、予測モジュール36は、イントラ予測パラメータ461をマルチプレクサ44に送り、インター予測モジュール38は、インター予測パラメータ481をマルチプレクサに送り、さらに、処理モジュール32は、さらなる処理パラメータ501をマルチプレクサ44に送り、順に、全てのこの情報は、データストリーム18に多重送信するか、または挿入する。

0031

図1の実施例による上記の説明から明らかになったので、符号化ブランチ22v,1による映像141の符号化は、符号化が、奥行き/視差マップデータ161および他の視点122のいくらかのデータから独立しているという点で、必要なものが完備されている。より一般の観点で、符号化ブランチ22v,1は、修正データ、すなわち、上述の残差信号421を得るために、符号化パラメータを決定すること、そして、第1の符号化パラメータにしたがって、映像141の以前に符号化された部分から映像141の現行部分を予測すること、現行部分の符号化された部分からエンコーダ20によってデータストリーム18に符号化されること、および現行部分の予測の予測エラーを決定することによって、データストリーム18に符号化映像141とみなされる。符号化パラメータおよび修正データは、データストリーム18に挿入される。

0032

符号化ブランチ22v,1によってデータストリーム18に挿入される上述の符号化パラメータは、以下の1つまたは、全ての組み合わせを含みうる。

0033

−第1に、映像141のための符号化パラメータは、簡潔議論されるように、映像141のフレームのセグメンテーションを定義し/送信しうる。

0034

−さらに、符号化パラメータは、各セグメンテーションまたは現在の部分のために示している符号化モード情報を含みうる。そして、符号化モードは、イントラ予測、インター予測、またはそれらの組み合わせのようなそれぞれのセグメントを予測するために使用されうる。

0035

−符号化パラメータは、イントラ予測によって予測される部分/セグメントのためのイントラ予測パラメータ、およびインター予測された部分/セグメントのためのインター予測パラメータのような述べられた予測パラメータも含みうる。

0036

−しかしながら、符号化パラメータは、加えて、復号器側にどのように現在、または映像141の以下の部分を予測するためにそれを用いる前に、すでに、映像141の再構成された部分を処理するかについて信号伝送するさらなる処理パラメータ501を含みうる。これらのさらなる処理パラメータ501は、それぞれのフィルタフィルタ係数等をインデックス付けするインデックスを含みうる。

0037

−予測パラメータ461,481および更なる処理パラメータ501は、加えて、モード選択の精度を定義すること、または、更なる処理の範囲内におけるフレームの異なる部分に対する異なる適応フィルタの装置のような、完全に独立したセグメンテーションを定義する前述のセグメンテーションと関連してさらなるサブセグメンテーションを定義するために、サブセグメンテーションデータを含む。

0038

−符号化パラメータは、残差信号の決定にも影響を与え、このように、残差信号421の一部でもありうる。例えば、量子化/変換モジュール26により出力されたスペクトル変換係数ベルは、修正データとみなされるが、量子化ステップサイズは、同様に、データストリーム18の範囲内に信号伝送され、量子化ステップサイズパラメータは、符号化パラメータとみなされうる。

0039

−符号化パラメータは、上述される第1の予測ステージで予測残差の第2のステージの予測を定義する予測パラメータをさらに定義しうる。イントラ/インター予測は、この点で使用されうる。

0040

符号化効率を増加させるために、エンコーダ20は、全ての符号化パラメータおよび、例えば、それぞれのモジュールの下から符号化情報交換モジュール52に示される垂直に伸びる矢印によって実例として示されるように、モジュール36,38および32の範囲内における処理により影響する、または影響される更なる情報を受信する、符号化情報変換モジュール52を含む。符号化情報変換モジュール52は、ブランチがお互いから符号化パラメータを予測し、または適応するように、符号化パラメータおよび符号化ブランチ22の間の任意の更なる符号化情報を分配する役割を果たす。図1の実施例において、命令は、この目的を達成するために、データエントリー、すなわち、多視点信号10の視点121および122の映像および奥行き/視差マップデータの中で定義される。特に、第1の視点121の映像141は、映像142に続いて第1の視点の奥行き/視差マップデータ161、および、そして、第2の視点122の奥行き/視差マップデータ162などに先行する。多視点信号10のデータ要素の中のこの厳命は、全ての多視点信号10の符号化のために厳しく適用される必要がない点に留意されたい。しかし、より簡単な考察のために、以下において、この命令が一定であると仮定される。データ要素の中の命令は、また、当然それとともに関連するブランチ22の中の命令を定義する。

0041

既に上で示されるように、符号化ブランチ22d,1,22v,2および22d,2のような更なる符号化ブランチ22は、それぞれの入力161,142および162をそれぞれ符号化するために符号化ブランチ22v,1と同様に作動する。しかしながら、映像および視点121および122のそれぞれの奥行き/視差マップ161の中の言及された命令、ならびに符号化ブランチ22の中で定義される対応する命令が原因のため、例えば、符号化ブランチ22d,1は、第1の視点121の奥行き/視差マップの現在の部分を符号化するために使用されるために予測符号化パラメータにおいて付加的な自由を有する。これは、異なる視点の映像および奥行き/視差マップデータのうちの上記の命令のためである。例えば、これらの要素の各々は、これらのデータ要素の中の前述の命令において先立ってその要素と同様にそれ自体の再構成された部分を符号化されうる。したがって、奥行き/視差マップデータ161の符号化において、符号化ブランチ22d,1は、対応する映像141の以前に再構成された部分から公知の情報を使用するために許容される。ブランチ22d,1が、奥行き/視差マップデータ161の若干の特性を予測するために、映像141の再構成された部分を利用し、そして、それは、奥行き/視差マップデータ161の圧縮のより良好な圧縮率を可能にし、理論的には無制限である。例えば、符号化ブランチ22d,1は、奥行き/視差マップデータ161を符号化に対する符号化パラメータを得るために、上述したように映像141を符号化することに関係する符号化パラメータを予測/適応されうる。適応の場合には、データストリーム18の範囲内における奥行き/視差データマップ161に関するいくつかの符号化パラメータの信号伝送が、抑制されうる。予測の場合には、単に、これらの符号化パラメータに関する予測残差/修正データだけが、データストリーム18の範囲内において信号伝送されなければならない。また、そのような符号化パラメータの予測/適応がさらに以下に記載される。

0042

意外なことに、モジュール36および38に関して上記のモードに加えて、符号化ブランチ22d,1は、奥行き/視差マップ161のブロックを符号化することが利用できる付加的な符号化モードを有しうる。このような付加的な符号化モードは、さらに、以下において記載され、不規則性ブロック分割モードに関する。代替の視点において、以下の記載のように、不規則性分割は、ブロック/パーティションへの奥行き/視差マップの再分割の継続とみなされうる。

0043

どんな場合でも、付加的な予測機能は、次のデータ要素、すなわち、第2の視点122の映像142および奥行き/視差マップデータ162のために存在する。これらの符号化ブランチに関して、そのインター予測モジュールは、時間的な予測を実行するだけでなく、視点間予測を実行しうる。対応するインター予測パラメータは、時間的な予測と、すなわち、視点間予測セグメント、視差ベクトル、視点インデックス、参照フレームインデックス、および/または仮説の数の表示、すなわち、合計によって視点間予測を形成することにおける加入しているインター予測の数の表示と、比較するように、同様の情報を含む。このような視点間予測は、映像142に関するブランチ22v,2でなく、奥行き/視差マップデータ162に関するブランチ22d,2のインター予測モジュール38のために利用可能である。当然ながら、これらのインター予測パラメータも、しかしながら、図1に示されない可能性がある3つの視点の次の視点データのために適応/予測の根拠として役立ちうる符号化パラメータを表す。

0044

上記の程度に起因して、マルチプレクサ44によって、データストリーム18に挿入されるデータ量は、さらに低下する。特に、符号化ブランチ22d,1,22v,2および22d,2の符号化パラメータの量は、先行する符号化ブランチの符号化パラメータを適応するか、または、単に、それに関係する予測残差を挿入するかによって大きく減少されうる。時間的およびインター予測のどちらかを選ぶ能力のため、符号化ブランチ22v,2および22d,2の残差データ423および424の量がより低下もする。残差データの量の減少は、時間的および視点間予測モードを区別する際の付加的な符号化効果を過度補償する。

0045

更に詳細に符号化パラメータの適応/予測の原則を説明するために、参照が図2にされる。図2は、多視点信号10の典型的な部分を示す。図2は、セグメントまたは部分60a,60bおよび60cにセグメント化される場合、映像フレームv1,tを示す。単純化の理由のため、フレームv1,tの3つの部分のみが示される。ただし、セグメンテーションは、フレームをセグメント/部分に、継ぎ目なくおよびギャップなく分離しうる。前述したように、映像フレームv1,tのセグメンテーションは、修正され、または時間内に変化され、そして、セグメンテーションは、データストリームの範囲内で信号伝送されるか、またはされない。図2は、部分60aおよび60bがこの場合において、見本となるようなフレームv1,t-1である映像141のいくつかの参照フレームの再構成されたバージョンからも動きベクトル62aおよび62bを使用して時間的に予測されることを示す。周知のように、映像141のフレームの中の符号化命令は、これらのフレームの中の表現命令と一致されえない。そして、従って、参照フレームは、表示時間命令64における現行フレームv1,tに続きうる。例えば、部分60cは、イントラ予測パラメータがデータストリーム18に挿入されるためのイントラ予測された部分である。

0046

奥行き/視差マップd1,tの符号化において、符号化ブランチ22d,1は、図2に関して、以下において例示される下記の1つ以上の上述の可能性を利用しうる。

0047

−例えば、奥行き/視差マップd1,tの符号化において、符号化ブランチ22d,1は、符号化ブランチ22v,1によって使用されるように、映像フレームv1,tのセグメンテーションを適応しうる。従って、映像フレームv1,tのための符号化パラメータの範囲内におけるセグメンテーションパラメータがある場合、奥行き/視差マップデータd1,tのためにその再送信が回避されうる。あるいは、符号化ブランチ22d,1は、データストリーム18を介して映像フレームv1,tと関連してセグメンテーションの偏差の信号を伝送することに関する奥行き/視差マップd1,tのために使用されるセグメンテーションの基礎/予測として、映像フレームv1,tのセグメンテーションを使用しうる。図2は、符号化ブランチ22d,1が奥行き/視差マップd1,tのプリセグメンテーションとして映像フレームv1,tのセグメンテーションを使用するという場合を例示する。すなわち、符号化ブランチ22d,1は、映像v1,tのセグメンテーションからプリセグメント化を適応するかまたはそこからプリセグメントテーションを予測する。

0048

−更に、符号化ブランチ22d,1は、映像フレームv1,tにおけるそれぞれの部分60a,60bおよび60cに割り当てられる符号化モードから、奥行き/視差マップd1,tの部分66a,66bおよび66cの符号化モードを適応するかまたは予測しうる。映像フレームv1,tと奥行き/視差マップd1,tとの間の異なるセグメンテーションの場合において、映像フレームv1,tからの符号化モードの適応/予測が、映像フレームv1,tのセグメンテーションの同じ場所に位置された部分から得られるように、映像フレームv1,tからの符号化モードの選択/予測は制御されうる。同じ場所に位置することの適切な定義は、以下の通りである。奥行き/視差マップd1,tにおける現行部分に対する映像フレームv1,tにおける同じ場所に位置された部分は、例えば、奥行き/視差マップd1,tにおける現行フレームの左上の角で同じ場所に位置される部分を含んでいる。符号化モードの予測の場合において、符号化ブランチ22d,1は、データストリーム18の範囲内において、明示的に信号伝送される映像フレームv1,tの範囲内における符号化モードに関連して奥行き/視差マップd1,tの部分66a〜66cの符号化モードの偏差の信号伝送しうる。

0049

−予測パラメータに関する限り、符号化ブランチ22d,1は、同じ奥行き/視差マップd1,tの範囲内において隣接した部分を符号化するために使用される予測パラメータを空間的に、適応または予測するため、または、映像フレームv1,tの同じ場所に位置される部分60a〜60cを符号化するために使用される予測パラメータからそれを適応/予測する自由を有する。例えば、図2は、奥行き/視差マップd1,tの部分66aがインター予測部分であり、そして、対応する動きベクトル68aが、映像フレームv1,tの同じ場所に位置される部分60aの動きベクトル62aから適応または予測されうることを例示する。予測の場合において、単に動きベクトルの差だけが、インター予測パラメータ482の一部として、データストリーム18に挿入される。

0050

−符号化効率に関して、符号化ブランチ22d,1が不規則性ブロック分割を使用している奥行き/視差マップd1,tのプリセグメンテーションのセグメントを再分割するための能力を有することは、有利であるだろう。同じ視点の再構成された画像v1,tから、ウェジレット分離線分70のようなパーティション情報を導出するために、さらに以下において記載される実施例のいくつかの不規則性ブロック分割モードが参照される。この基準によって、奥行き/視差マップd1,tのプリセグメンテーションのブロックが、再分割される。例えば、奥行き/視差マップd1,tのブロック66c、2つのウェジレット形のパーティション72aおよび72bに再分割される。符号化ブランチ22d,1は、これらのサブセグメント72aおよび72bを別々に符号化するために構成されうる。図2の場合、両方のサブセグメント72aおよび72bは、それぞれの動きベクトル68cおよび68dを使用して、インター予測されることを見本として示される。セクション3および4によると、符号化ブランチ22d,1は、不規則性ブロック分割のためのいくつかの符号化オプションのどちらかを選択し、そして、データストリーム18の範囲内においてサイド情報としてデコーダに選択の信号伝送するための自由を有しうる。

0051

映像142の符号化において、符号化ブランチ22v,1が利用できる符号化モードに加えて、符号化ブランチ22v,2は、視点間予測のオプションを有する。

0052

例えば、図2は、映像フレームv2,tのセグメンテーションの部分64bが視差ベクトル76を使用する第1の視点映像141の時間的に対応する映像フレームv1,tからの視点間予測であることを例示する。

0053

この違いにもかかわらず、符号化ブランチ22v,2は、加えて、特に、これらの符号化において使用される符号化パラメータのような映像フレームv1,tの符号化および奥行き/視差マップd1,tを形成する全ての利用可能な情報を有効に使用しうる。したがって、符号化ブランチ22v,2は、位置合わせした映像フレームv1,tおよび奥行き/視差マップd1,tのそれぞれの同じ場所に位置する部分60aおよび66aの動きベクトル62aおよび68のいくつかまたは組み合わせから映像フレームv2,tの時間的にインター予測された部分74aのための動きベクトル78を含む動きパラメータを適応しまたは予測しうる。あるとしても、予測残差は、部分74aに対するインター予測パラメータに関して信号伝送される。この点に関しては、動きベクトル68aは、動きベクトル62aそれ自身から予測/適応にすでに受けさせることが、取り消されなければならない。

0054

映像フレームv1,tおよび対応する奥行き/視差マップd1,tの両方の符号化パラメータが利用可能であるので、モジュール52によって配信される利用可能な共通のデータが増加するとともに、その上、奥行き/視差マップd1,tの符号化に関して、上述したように、映像フレームv2,tを符号化するための適応/予測符号化パラメータの他の可能性は、符号化ブランチ22v,2によって映像フレームv2,tの符号化に適用できる。

0055

それから、符号化ブランチ22d,2は、符号化ブランチ22d,1によって奥行き/視差マップd1,tの符号化と同様に、奥行き/視差マップd2,tを符号化する。これは、例えば、同じ視点122の映像フレームv2,tから、符号化パラメータ適応/予測の場合の全てに関して、真である。しかしながら、加えて、符号化ブランチ22d,2は、以前の視点121の奥行き/視差マップd1,tを符号化するために使用されていた符号化パラメータから符号化パラメータを適応し/予測するため機会も有する。加えて、符号化ブランチ22d,2は、符号化ブランチ22v,2に関して説明されるように、視点間予測を使用しうる。

0056

図1のエンコーダ20を記載した後、それは、例えば、ソフトウェアハードウェアまたはファームウェア、すなわち、プログラム可能なハードウェアにおいて実装されうる点に留意されたい。図1ブロックダイヤグラムは、エンコーダ20が、構造的に並列符号化ブランチ、すなわち、映像毎の1つの符号化ブランチおよび多視点信号10の奥行き/視差マップを含むことを示唆するにもかかわらず、これが事実である必要はない。例えば、要素24〜40のタスクを実行するように構成されるソフトウェアルーチン回路部またはプログラム可能な論理部は、それぞれ、符号化ブランチの各々のためのタスクを成し遂げるために順次使用されうる。並列処理において、並列符号化ブランチの処理は、並行プロセッサコアまたは並行ランニング回路構成において実行されうる。

0057

図3は、例えば、データストリーム18から多視点信号によって表される場面に対応する1つまたはいくつかの視点映像を再構成するためにデータストリーム18の復号化することができるデコーダを示す。大部分は、図1引用符号が、図1に関しても上で設けられる機能性の記載が図3にも適用されることを示すために、出来るだけ再利用されるように、図3のデコーダの構造および機能性は、図20のエンコーダと類似する。

0058

図3のデコーダは、通常、引用符号100によって示され、データストリーム18のための入力および上記の1つまたはいくつかの視点102の再構成を出力するための出力を含む。デコーダ100は、視点抽出器108および符号化パラメータ交換器110と同様に、データストリーム18によって表される多視点信号10(図1)のデータ要素の各々のためのデマルチプレクサ104および一対の復号化ブランチ106を含む。図1のエンコーダを有するケースであったように、復号化ブランチ106は、同じ相互接続において同じ復号化要素を含む。そして、それは、したがって、典型的に、第1の視点121の映像141の復号化のための原因である復号化ブランチ106v,1に関して記載される。特に、各符号化ブランチ106は、多視点信号10、すなわち、復号化ブランチ106v,1のケースにおける映像141のそれぞれのデータ要素を視点抽出器108に出力するために、マルチプレクサ104のそれぞれの出力に接続される入力、および視点抽出器108のそれぞれの入力に接続される出力を含む。その間に、各符号化ブランチ106は、逆量子化/逆変換モジュール28、加算器30、さらなる処理モジュール32、およびマルチプレクサ104および視点抽出器108との間に連続的に接続される復号化画像バッファ34を含む。加算器30は、さらなる処理モジュール32および復号化画像バッファ34は、復号化画像バッファ34およびさらに加算器30の入力との間に、予測モジュール36および38の並行接続の後に続く結合器/セレクタ40とともにループを形成する。図1の場合のように同じ参照番号を用いて示されるように、復号化ブランチ106の要素28〜40の構造および機能性は、復号化ブランチ106の要素が、データストリーム18の範囲内において、伝達される情報の使用によって符号化処理の処理をエミュレートする点において、図1における符号化ブランチの対応する要素と類似する。当然、復号化ブランチ106は、単にエンコーダ20によって、最終的に選択される符号化パラメータに関して符号化手順逆転させるだけであるが、図1のエンコーダ20は、符号化パラメータの最適セットを、任意に、特定の制約(例えば、最大ビットレート等)に従属することに関するレート/歪曲コスト関数を最適化している符号化パラメータのような若干の最適化の意味で求めなければならない。

0059

デマルチプレクサ104は、データストリーム18をさまざまな復号化ブランチ106に分配するためにある。例えば、デマルチプレクサ104は、残差データ421を有する逆量子化/逆変換モジュール28、さらなる処理パラメータ501を有するさらなる処理モジュール32、イントラ予測パラメータ461を有するイントラ予測モジュール36、およびインター予測モジュール481を有するインター予測モジュール38に提供する。符号化パラメータ交換器110は、共通の符号化パラメータおよび様々な復号化ブランチ106の間の他の共通データを分配するために、図1の対応するモジュール52のような作動する。

0060

視点抽出器108は、並列の復号化ブランチ106によって再構成されるように多視点信号を受信し、そして、外部的に設けられている中間の抽出制御データ112によって定められる視点角または観察方向に対応する1つまたはいくつかの視点102をそれらから抽出する。

0061

エンコーダ20の対応する部分と関連するデコーダ100の類似の構造のため、視点抽出器108に対するインタフェースまでのその機能性は、類似して、上記の記載に容易に説明される。

0062

事実、復号化ブランチ106v,1および106d,1は、(421を有するスケーリングパラメータ、パラメータ461,481,501、および対応する非適応のパラメータ、および予測残差、第2のブランチ16d,1の符号化パラメータ、すなわち、422、パラメータ462,482,502のような)データストリーム18において含まれる第1の符号化パラメータにしたがって、多視点信号10の以前の再構成された部分から第1の視点121の現行部分を予測すること、第1の視点121の現行部分の再構成の以前のデータストリーム18から再構成され、およびデータストリーム18において含まれる421および422の範囲内における第1の修正データを使用して第1の視点121の現行部分の予測の予測エラーを修正することによって、データストリーム18から多視点信号10の第1の視点121を再構成するために一緒に作動する。復号化ブランチ106v,1は、映像141を復号化する役割を果たす一方、符号化ブランチ106d,1は、奥行き/視差マップ161を再構成することに対する責任を負う。例えば、図2を参照されたい。復号化ブランチ106v,1は、データストリーム18、すなわち、421を有するスケーリングパラメータ、パラメータ461,481,501から読み込まれた対応する符号化パラメータにしたがって、多視点信号10の以前に再構成された部分からの60a,60bまたは60cのような、映像141の現行部分を予測し、そして、データストリーム18から、すなわち、421の範囲内における変換係数レベルから得られる、対応する修正データを使用してこの予測の予測エラーを修正することによって、データストリーム18から第1の視点121の映像141を再構成する。例えば、復号化ブランチ106v,1は、映像フレームの間の符号化順序、および、フレームの範囲内におけるセグメントの符号化のために、エンコーダの対応する符号化ブランチのようなこれらのフレームのセグメントの間における符号化のために使用するセグメント/部分の単位における映像141を処理する。したがって、映像141の全ての以前に再構成された部分は、現行部分に対して予測するために利用可能である。現行部分の符号化パラメータは、1つ以上のイントラ予測パラメータ501、インター予測パラメータ481、さらなる処理モジュール32のためのフィルタパラメータ等を含みうる。予測エラーを修正するための修正データは、残差データ421の範囲内におけるスペクトル変換係数レベルによって表されうる。符号化パラメータのこれらのすべてが、全部送信されるものに必要であるわけではない。それらのいくつかは、映像141の隣接したセグメントの符号化パラメータから空間的に予測されうる。例えば、映像141に対する動きベクトルは、映像141の隣接した部分/セグメントの動きベクトルの間の差の動きベクトルとしてビットストリームの範囲内において送信されうる。

0063

第2の復号化ブランチ106d,1に関する限り、それは、残差データ422および対応する予測およびデータストリーム18の範囲内における信号を伝送するようなフィルタパラメータおよびデマルチプレクサ104、すなわち、視点間の境界を横切ることによって予測されない符号化パラメータによってそれぞれの復号化ブランチ106d,1に分配されるだけでなく、符号化パラメータおよびデマルチプレクサ104を介して復号化ブランチ106v,1に提供された修正データ、または符号化情報変換モジュール110を介して分配されるようないかなる情報を経ても、アクセスされうる。このように、復号化ブランチ106d,1は、デマルチプレクサ104を介して送られる符号化パラメータの部分から第1の視点121に対する復号化ブランチ106v,1および106d,1のペアに、奥行き/視差マップ161を再構成するためのその符号化パラメータを決定する。そして、それは、部分的に、復号化ブランチ106v,1に費やされ、そして、送られるこれらの符号化パラメータの部分に重なる。例えば、一方、フレームv1,tの他の隣接した部分に対する動きベクトル差として、他方、482の範囲内において明示的に送信される動きベクトルの差として、例えば、481の範囲内において明示的に送信される動きベクトル62aから動きベクトル68aを決定する。加えて、または、代案として、復号化ブランチ106d,1は、奥行き/視差マップデータ161の復号化に関して一時的に、上記のように、不規則性ブロック分割を導出するためにウェッジレット分離線分の予測に関して、上述したように映像141の再構成された部分を使用しうる。そして、以下において、より詳細に概説される。

0064

さらに、具体的に、復号化ブランチ106d,1は、少なくとも部分的に復号化ブランチ106v,1(または、そこから適応される)によって使用される符号化パラメータから予測されて、および/または復号化ブランチ106v,1の復号化画像バッファ34における映像141の再構成された部分から予測される符号化パラメータの使用によってデータストリームから第1の視点121の奥行き/視差マップ141を再構成する。符号化パラメータの予測残差は、データストリーム18からデマルチプレクサ104を介して得られうる。復号化ブランチ106d,1のための他の符号化パラメータは、完全にデータストリーム108の範囲内に送信されうるか、または、他の基準について、すなわち、符号化のために使用された符号化パラメータに、奥行き/視差マップデータ161自身の以前に再構成された部分のいくつかを参照にする。これらの符号化パラメータに基づいて、復号化ブランチ106d,1は、奥行き/視差マップデータ161の以前の再構成された部分から奥行き/視差マップデータ141の現行部分を予測し、奥行き/視差マップデータ161の現行部分の再構成の前に復号化ブランチ106d,1、によってデータストリーム18から再構成され、そして、それぞれの修正データ422を使用して奥行き/視差マップデータ161の現行部分の予測の予測エラーを修正する。

0065

符号化に関してすでに上述したように、第2の視点122に対する復号化ブランチ106v,2および106d,2のペアの機能性は、第1の視点121の場合と同様である。両方のブランチは、特有の符号化パラメータの使用によって、データストリーム18から多視点信号10の第2の視点122を再構成するために協働する。単に、これらの符号化パラメータの一部だけは、これらの2つの復号化ブランチ106v,2および106d,2のいずれかにデマルチプレクサ104を介して送信され、そして分配されることを必要とする。そして、それは、視点141および142、そして、任意に視点間予測された部分の残差の間の視点の境界全体を適応/予測されない。第2の視点122の現行部分は、多視点信号10の以前に再構成された部分から予測され、第2の視点122のそれぞれの現行部分の再構成の前に復号化ブランチ106のいずれかによってデータストリーム18から再構成され、そして、したがって、復号化ブランチ106v,2および106d,2のこのペアにデマルチプレクサ104によって送られる修正データ、すなわち、423および424を使用して予測エラーを修正する。

0066

復号化ブランチ106d,2は、復号化ブランチ106v,1,106d,1および106v,2のいずれかによって使用された符号化パラメータから、再構成された映像142および/または第1の視点121の再構成された奥行き/視差マップデータ161から少なくとも部分的に適応/予測によってその符号化パラメータを決定しうる。例えば、現行部分80bが映像141、奥行き/視差マップデータ161および映像142またはそれらの真部分集合のいずれかの同じ場所に位置する部分から適応または予測されるかどうか、または部分に関して、データストリーム18は、奥行き/視差マップデータ162の現行部分80bに対して信号伝送する。例えば、これらの符号化パラメータの感心のある部分は、84のような動きベクトル、または視差ベクトル82のような視差ベクトルを含みうる。さらに、不規則性分割されたブロックについて、他の符号化パラメータは、復号化ブランチ106d,2によって導出されうる。

0067

いずれにせよ、多視点データ10の再構成された部分は、その中で含まれる視点が、新しい視点、すなわち、例えば、これら新しい視点に関連した映像の視点抽出に基づく視点抽出器108に届く。この視点抽出は、それとともに関連した奥行き/視差マップデータを使用することによって、映像141および142の再投射を含むか、あるいはともないうる。率直に言って、他の中間視点への映像の再投射において、視聴者により近くに位置される場面部分に対応する映像の部分は、視聴者の位置からより遠くに位置する場面部分に対応する映像の部分より、視差方向、すなわち、方向の異なるベクトル視差方向に沿ってシフトされる。

0068

デコーダが視点抽出器108を必ずしも含む必要はないと述べられなければならない。むしろ、視点抽出器108は、なくてもよい。この場合、デコーダ100は、単に、それらのうちの1つ、いくつかまたは全体のような、視点121および122のいずれかを再構成するためである。奥行き/視差データが個々の視点121および122に対して存在しない場合において、視点抽出器108は、にもかかわらず、互いに隣接した視点の対応する部分を各々と関連づけている視差ベクトルを有効に使用することによって、中間視点抽出を実行しうる。隣接した視点の映像と関連した視差ベクトル場の視差ベクトルをサポートするようにこれらの視差ベクトルを使用して、視点抽出器108は、この視差ベクトル場を適用することによって、隣接した視点121および122のそのような映像から中間視点映像を構築しうる。例えば、映像フレームv2,tは、その部分/セグメントの視点間予測の50%を有することを仮定する。すなわち、部分/セグメントの50%に対して、視差ベクトルが存在する。残った部分のために、視差ベクトルは、空間印象における補間/外挿により、視点抽出器108によって決定されうる。映像142の以前に再構成されたフレームの部分/セグメントのための視差ベクトルを使用する時間的補間も使用されうる。映像フレームv2,tおよび/または参照映像フレームv1,tは、それから、中間視点を得るために、これらの視差ベクトルに従って歪められうる。この目的を達成するために、視差ベクトルは、第1の視点121および第2の視点122の視点位置との間の中間視点の中間視点位置に従って、スケールされる。この手順に関する詳細は、以下にさらに詳細に概説される。

0069

しかしながら、単に、映像を含む1つの視点の符号化および上記に概説された実施例の第1の視点121のような対応する奥行き/視差マップデータである場合、以下に概説された実施例は、図1〜3のフレームワークにおいて有利に使用されうる。その場合、送信された信号情報、すなわち、単一の視点121は、視点合成に対応した信号、すなわち、視点合成を可能にする信号と呼ばれうる。奥行き/視差マップデータ161を有する映像141を加えることは、奥行き/視差マップデータ161を有効に使用することによって、隣接する新しい視点に再度投影する視点121によって視点合成のいくつかのソートを実行するために視点抽出器108を可能にする。符号化効率のゲインは、不規則性ブロック分割を使用することによって得られる。また、さらに、以下に記載される不規則性ブロック分割は、上記に記載される態様の視点間符号化情報の交換から、単一の視点の符号化概念の独立の範囲内において使用されうる。具体的には、図1〜3の上記の実施例は、ブランチ22,100v/d,2および関連する視点122が見当たらない範囲まで、変化しうる。

0070

このように、図1〜3は、その後説明された不規則性ブロック分割が有利に使用されうる多視点符号化概念のための実施例を示した。しかしながら、以下に記載される符号化モードが、他の種類のサンプルアレイ符号化と関連して使用されうると、再び、強調され、サンプルアレイにかかわりなく、奥行き/視差マップであるか、そうではない。以下に記載される符号化モードは、対応するテクスチャマップに加えて奥行き/視差マップの共存さえ必要としない。

0071

特に、以下で概説される実施例は、若干の符号化モードを含み、それによって、ブロックの信号は、信号のサンプルを2セットのサンプルに分けて、そして、固定サンプル値によってサンプルの各一組を表すモデルによって表される。以下で説明された符号化モードのいくつかが、ブロックの信号を直接表すために使用されるか、または、付加的な残差情報(例えば、変換係数レベル)の符号化によってさらにリファインされるブロックのための予測信号を生成するために使用されうる。その後説明された符号化モードのうちの1つが、奥行き信号に適用される場合、他の良好な面に加えて、有利な点は、奥行き信号が、徐々に変化する領域の間において徐々に変化する領域および鋭いエッジによって主に特徴付けられるという事実から結果として得られうる。徐々に変化する領域は、変換符号化アプローチ(すなわち、DCTに基づく)によって効率的に表されうる一方、2つのほぼ固定領域における鋭いエッジの表現は、符号化される多数の変換係数を必要とする。以下に概説されるいくつかの実施例に関して記載されるように、エッジを含むこの種のブロックは、2つの領域(各々固定サンプル値を有する)にブロックを分けるモデルを使用することによってよりよく表されうる。

0072

以下において、本発明の異なる実施例は、さらに詳細に記載される。セクション1および2において、ブロックを固定サンプル値の2つの領域に分割するための基本概念が記載される。セクション3は、ブロックが異なる領域にどのように分割されるか、およびどのようなパラメータが領域に対するサンプル値と同様に分割を表すために送信されることを必要とするか特定するための異なる実施例を記載する。実施例は、他のいかなるブロックから独立している分割情報の信号伝送するため、空間的に隣接したブロックのための送信されたデータに基づいて分割情報の信号伝送するため、および符号化される奥行きマップに関するすでに送信されたテクスチャ画像(従来の映像の画像)に基づく分割情報の信号伝送するための概念を含む。そして、セクション4は、不規則に配置されたブロックを扱うための若干の実施例と関係しているモード情報、分割情報および固定サンプル値の符号化に関して、本発明の実施例を記載する。

0073

以下の説明が、主に、(特に、多視点映像符号化の内容において)奥行きマップの符号化に対して対象とされ、そして、以下の説明が、所与の奥行きブロックに基づくにもかかわらず、本発明のいくつかの実施例は、従来の映像符号化に対しても適用されうる。それ故に、用語「奥行きブロック」が、一般的用語「信号ブロック」に置き換えられる場合、記載が、他の信号タイプに適用されうる。さらにまた、以下の記載は、時々正方形のブロックに集中するが、しかし、本発明は、矩形ブロックまたはサンプルの他に接続され、または単接続のセットにも適用されうる。

0074

1.ウェッジレット
ブロックベースハイブリッド映像符号化において、例えば、図1〜3に示されるように、フレームは、矩形ブロックにおいて再分割される。しばしば、これらのブロックは正方形であり、そして、各ブロックのための処理は、同じ機能的構造に従う。このセクションの大部分の実施例は正方形のブロックを使用するけれども、ウェッジレットブロックパーティションおよびすべての関連した方法は、正方形のブロックに限られているというわけではなく、如何なる矩形のブロックサイズに対してもむしろ可能である点に留意されたい。

0075

1.1ウェッジレットブロックパーティション
ウェッジレットブロックパーティションの基本的な原則は、図4において例示されるように、線分201によって分離されるようにブロック200の領域を2つの領域202a,202bに分割することである。ここで、2つの領域は、P1およびP2を示すラベルがつけられる。分離線分は、開始点Sおよび終了点Eによって決定され、いずれもブロックの境界上に設置される。時々、以下において、領域P1は、ウェッジレットパーティション202aと呼ばれ、一方、領域P2は、ウェッジレットパーティション202bと呼ばれる。

0076

連続的な信号空間に対して(図4の左側参照)、開始点の位置は、S(xS,yS)であり、終了点の位置は、E(xE,yE)であり、いずれのブロックサイズの制限は、0≦x≦xEおよび0≦y≦yEである(ここで、座標のうちの1つは、最小値(0)または最大値(xEまたはyE)に等しくなければならない。)。これらの定義によれば、分離線分の方程式は、以下の通りである:

0077

この方程式は、xS≠xEに対してのみ有効であることに留意されたい。そのとき、2つの領域P1およびP2は、それぞれ線分の左のエリアおよび右のエリアとして定義される。

0078

通常、デジタル画像処理において、たいてい、個々に分離した信号空間(図4の右側を参照)が使用され、ここで、ブロックは、グリッド正方形で例示されるサンプル203の整数で構成される。ここで、開始点および終了点SおよびEは、位置S(uS,vS)およびE(uE,vE)を有するブロック200のサンプルに接しているために一致し、いずれのブロックサイズの制限は、0≦x≦uE、および0≦y≦vEである。個々に分離した場合において、分離線分の方程式は、式(1)に従って定式化されうる。しかしながら、図4の右において例示されるように、完全なサンプルのみが、2つの領域の部分として割り当てられるように、領域P1およびP2の定義は、ここでは異なる。この割り当ての問題は、セクション1.4.1において記載されるように、アルゴリズム的に解決されうる。

0079

ウェッジレットブロックパーティション202a,202bは、ブロック200の異なるエッジに位置するように、開始点および終了点204を必要とする。従って、図5において例示されるように、ウェッジレットブロックパーティション202a,202bの6つの異なる幾何学的配置が、矩形または正方形ブロック200によって区別される。

0080

1.2ウェッジレットパーティションパターン
符号化処理におけるウェッジレットブロックパーティションを使用するために、パーティション情報は、パーティションパターンの形式で格納されうる。この種のパターンは、サイズのアレイuB×vBからなり、そして、一致しているサンプルが領域P1またはP2に帰属するかどうか、各要素は、バイナリ情報を含む。図6は、例えば、異なるブロックサイズのウェッジレットパーティションパターンを示す。ここで、バイナリ領域情報、すなわち、2つのセグメンテーションは、サンプル203を黒または白によって表される。

0081

1.3ウェッジレットモデリングおよび近似
ウェッジレットをともなって1ブロックの奥行き信号のモデリングのために、必要情報は、概念的に2つの要素からなる。例えば、パーティションパターンの形式において、一方は、パーティション情報(セクション1.1を参照)であり、そして、それは、2つの領域(セクション1.2を参照)の1つに各サンプル203を割り当てる。必要な他の情報要素は、領域のサンプルに割り当てられる値である。2つのウェッジレット領域の各々の値は、定数として定義されうる。これは、いくつかの以下において概説される実施例である。このように、この値は、固定パーティション値(CPV)として参照する。その場合、第2の情報要素は、指定された領域のための2つの代表的なサンプルを構成する。

0082

ウェッジレットによって奥行きブロックの信号に近づけるために、図7において示すように、所与のパーティションのCPVは、対応する領域の元の奥行き信号の平均値として算出されうる。図7の左側において、代表的な奥行きマップ以外のグレースケールの部分が示される。現在、ウェッジレットベースの分割の対象であるブロック200が、見本として示される。特に、拡大されたグレースケールバージョンと同様に、元の奥行き信号205の範囲内におけるその図示する位置が示される。第1に、パーティション情報、すなわち、考えられる2つのセグメンテーションの領域P1およびP2が、ブロック200に覆われる。それから、1つの領域のCPVは、それぞれの領域によってカバーされた全てのサンプルの平均値として算出される。図5における実施例のパーティション情報がよく奥行き信号205に合致する場合、領域P1(濃いグレー)に対する低いCPVおよび領域P2(薄いグレー)に対する高いCPVを有するウェッジレットモデル、すなわち、概説されたウェッジレット分割モードに基づくブロック200の予測を結果として得ることは、奥行きブロックの良好な近似を表す。

0083

1.4ウェッジレット処理
1.4.1 ウェッジレットパターンリスト
ウェッジレットブロックパーティションの効率的な処理および信号の伝送の目的のために、パーティションパターンは、ルックアップリストにおいて体系化されうる。ウェッジレットパターンリストは、領域の分離線分のための開始点の位置および終了点の位置のすべての可能な組み合わせに対するパターンを含み、または、全ての可能な組み合わせの適切なサブセットを含む。このように、1つのルックアップ・リストは、各予測ブロックサイズに対して生成されうる。特定のブロックサイズのリストの範囲内における特定のパターンの位置またはインデックスに依存しているエンコーダおよびデコーダ(詳細はセクション3を参照)の間における信号伝送することを可能にするために、同一のリストが、エンコーダおよびデコーダにおいて利用可能にされうる。これは、パターンの定義済みセットを含むことによっても、エンコーダおよびデコーダの初期設定の一部として、同一の生成アルゴリズムを実行することによっても実装されうる。

0084

図8において例示されるように、ウェッジレットパーティションパターン・ルックアップ・リストを作成するための中心的な機能は、1つのリスト要素の生成である。これは、以下において説明するように(または、類似のアルゴリズムによって)、実現されうる。空のパターン(バイナリ要素のuB×vBアレイ)並びに、開始点Sおよび終了点Eの座標(図8の左)が与えられ、第1のステップは、分離線分を描画することである。この目的のために、ブレゼンハムの線分アルゴリズムが適用されうる。一般に、アルゴリズムは、サンプル203が2つの所与の点の間の直線に近い近似を形成するためにプロットされる。ウェッジレットパーティションパターンの場合、開始点Sおよび終了点Eの間の線分に近い全ての要素203がマークされる(図8(中間の左)における黒色ボックス)。最後のステップは、マークされたサンプルによって結果として得ている分離された2つの領域のうちの一方を塗りつぶすことである。ここで、上述した割り当て問題が述べられることを必要とする。パターンの要素はバイナリであるので、ブレゼンハムのアルゴリズムによってマークされた分離線分は、1つの領域の部分となる。線分サンプルが理論的に、両方の領域の部分である場合、直感的に、これは不安定となるようにみえる。しかしながら、大部分の損失なしに、分離線分サンプルを1つの領域に割り当てることが可能である。これは、領域を塗りつぶしているアルゴリズムと同様に両方の線分のマークが、幾何学的配置の認識、すなわち、幾何学的配置に従って基礎となる角に関するという事実によって、確実にされる。事実に基づいて、角領域が分離線分によって完全に区切られ、この領域を塗りつぶすことは、比較的シンプルである。塗りつぶすアルゴリズムは、基礎となる角要素206から開始し、そして、それがすでにマークされる要素およびこのように線分207(図8(中間の右)を参照)の部分に達するまで、連続的にすべてのパターン要素カラム−および線分のようにマークされる。その結果、所与の開始点の位置および終了点の位置のウェッジレットパーティションパターンは、バイナリ値図8の右)によって表される。

0085

特定のブロックサイズのウェッジレットパーティションパターン・ルックアップ・リストのための生成方法は、連続的に、線分開始位置および終了位置のためのリスト要素を作製する。これは、図5において示される6つの幾何学的配置を通じて反復することによって実現される。各幾何学的配置に対して、開始位置は、ブロックのエッジの一方に位置し、終了位置は、ブロックのエッジの他方に位置し、そして、リスト生成プロセスは、開始位置および終了位置の可能な各組み合わせに対して上記において導入されたウェッジレットパターンの生成方法を実行する。効率的な処理および信号伝送のために、ウェッジレットパターンリストは、特定の特有のパターンのみを含むべきである。したがって、新しいパターンがリストに追加される前に、それが既にリストのパターンのいずれかと同一であるか、または、同一でないかのチェックがなされる。このような場合、パターンは、冗長で、したがって、破棄される。それに加えて、それらが、有効なウェッジレットブロックパーティションを表していない場合、面パターン、すなわち、全てのサンプルが1つの領域に割り当てられ、リストからも除外される。

0086

記載されているウェッジレットパターンリストに対する拡張として、パターンの生成に対して使用される線分開始位置と終了位置の解像度は、例えば、ブロックサイズに応じて、最適に増加、また減少されうる。この拡張の目的は、符号化の効率と複雑さとの間における、より良好なトレードオフを発見することである。解像度を上昇させることは、より多くのパターンを有するリストに至るが、その一方で、解像度を減少させることは、通常の解像度と比較して、より短いリストの解像度を結果として得る。従って、解像度は、小さいブロックサイズに対して増加し、大きいブロックサイズに対して減少する。開始位置および終了位置のため解像度の独立を注意することは重要であり、リストに格納されるウェッジレットパーティションパターンは、通常、標準の解像度、すなわち元のブロックサイズを有する必要がある。解像度を低下させることは、上述したように、開始位置および終了位置のサブセットの用途にのみ、パターンを生成することによってシンプルに実現されうる。例えば、半分の解像度は、パターンの生成をあらゆる第2の開始位置および終了位置への制限を意味する。その一方、解像度を増加させることは、より困難である。すべての開始位置および終了位置をカバーするために、上述したアルゴリズムを使用して、増加した解像度を有する一時的なパターンが最初に発生する。第2のステップにおいて、結果として得られるパターンは、一定の解像度に、低解像度処理がなされる。バイナリデータのため、低解像度処理は、補間値をサポートしない、そして、それは、増加した解像度の場合には、同一のパターンの大きい数を結果として得ることに注意されたい。

0087

上述したウェッジレットパターン生成の最終結果として、ウェッジレットパターンの順序リストは、エンコーダ側およびデコーダ側の両方で導出される。実際の実装において、これらのパターンは、使用された符号化アルゴリズム符号化規格によって予め定義されることもありうる。さらに、それは、上述した実際のアルゴリズムによってパターンを生成する必要はなく、このアルゴリズムの改良も使用される。エンコーダおよびデコーダのいずれもが、符号化プロセスおよび復号化プロセスのためのウェッジレットパターンの同じリストを生成した(そして、後の使用)ことが、重要なだけである。

0088

1.4.2 最小の歪みのウェッジレットサーチ
上述したルックアップ・リストに基づいて、ウェッジレットパーティションによるブロック信号最良近似は、サーチアルゴリズムによって発見されうる。ウェッジレットベースの符号化アルゴリズムのために、最良近似は、最小の歪みをもたらすウェッジレットモデルとして理解されうる。換言すれば、サーチは、所与のブロックに対するウェッジレットパーティションパターンの最良の一致を発見しようとする。サーチは、導出されるパターン・リストを利用する。そして、それは、所与のブロックサイズ(詳細についてセクション1.4.1を参照)のためのすべての可能なウェッジレットパーティションパターンを含む。パターンは、再度生成することを必要としない場合、最小の歪みウェッジレットサーチが実行されるたびに、これらのリストは、サーチの処理時間を制限することを助ける。各サーチステップは、次のステップから構成されうる:

0089

・所与のパーティションパターンおよび元のブロック信号からのCPV値の算出。
・ 元のブロック信号とウェッジレットモデルとの間の歪みDW,curの算出。
・ DW,cur>DW,minの評価:真の場合、最小の歪みのウェッジレット情報を更新し、DW,min=DW,curを設定することによって、現在のパーティションパターンのリストインデックスを格納する。

0090

歪みの代わりに、ラグランジアンコストの大きさが、使用されるウェッジレットパターンを発見するために使用されうる。ラグランジアン定数の大きさは、加重和D+λ・Rであり、歪みDの加重はレートRとともに特定のウェッジレットパターンによって得られ、レートRは、ラグランジアン乗数λが与えられる付随するパラメータを送信するために必要である。

0091

異なる方法は、包括的な検索から高速検索方法に及ぶ、サーチアルゴリズムに対して可能である。包括的な検索は、ウェッジレットパターンリストの全ての要素が最小の歪みに対して引き続いて検査されることを意味する。遅い(それは、特にエンコーダにとって重要である)ことの代償がなければ、この方法により、確実に全体的な最小値が分かることになる。方法を進歩させた高速検索手段は、必要な検索ステップの数を減らす。高速検索方法は、例えば、連続するリファインでありえた。第1のフェーズにおいて、開始位置および終了位置、例えば、あらゆる4つの境界サンプルのみの制限された数から結果として得るパーティションパターンのサブセットのための最小の歪みのウェッジレットは、検索される。第2のフェーズにおいて、開始位置および終了位置は、例えば、あらゆる第2の境界サンプルを許容することによってリファインされるが、第1のフェーズの結果、検査された開始位置および終了位置の範囲に制限している。あらゆるサイクルにおいて、ステップサイズをリファインすることによって、最後に、最小の歪みのウェッジレットが分かる。全ての検索と対比して、そのような高速検索方法は、極小を探し出すことを可能にするのみであるが、しかし、検査されるウェッジレットパターンの数は、著しくより低く、そして、従って、検索はより高速である。例えば、ブロックサイズの関数として、第1のフェーズのステップサイズが、一定値であることを必要とせず、最適に、セットされることができることに注意されたい。

0092

ウェッジレット線分またはウェッジレットパターンのコース割り出しているちょうど議論されたインデックスは、wedge_full_tab_idxと呼ばれる。

0093

2輪郭
このセクションにおいて、大部分の実施例は正方形ブロックを使用するけれども、輪郭ブロックパーティションおよびすべての関連した実施例が、正方形ブロックに限られるというわけではなく、いかなる矩形のブロックサイズにとってもむしろ可能である点に留意されたい。

0094

2.1輪郭ブロックパーティション
輪郭ブロックパーティションの基本的な原則は、ブロック200のエリアを2つの領域202a,202bに分割することである。ウェッジレットブロックパーティションとは異なり、領域の間の分離線分201は、幾何学の定式化によって記載されえない。図9において、P1およびP2を示すラベルがつけられた2つの領域によって例示されるように、輪郭の領域が任意の形状でありえ、それらは接続されることさえ必要としない。

0095

図9は、輪郭ブロックパーティションのための連続および分離した信号空間の違いも例示する。また、完全なサンプルだけは、分離した信号空間(図9の右)に対する2つの領域のどちらかの部分として割り当てられうる。輪郭パーティション情報は、分離した信号空間から導出され(詳細はセクション3.2.2を参照)、そして、幾何学の定式は形成されず、ウェッジレットブロックパーティションに対する割り当て問題は、ここで考慮される必要はない。

0096

2.2輪郭パーティションパターン
ウェッジレットパーティションパターンの一致において(セクション1.2を参照)、輪郭ブロックパーティション情報は、パーティションパターンの形で、格納されうる。そのようなパターンは、サイズuB×vBのアレイを構成し、各要素は、一致しているサンプルが領域P1またはP2のいずれかに属するかのバイナリ情報を含む。図10は、黒色または白色のサンプル色彩によってバイナリ領域情報を表す輪郭パーティションパターンの例を示す。

0097

2.3輪郭モデリングおよび近似
輪郭によって有するブロックの奥行き信号に近似する原則は、セクション1.3において記載されたウェッジレットの概念と同一である。また、必須の情報は、2つの要素パーティション情報およびパーティションフィリング指示から構成され、そして、それは、対応する領域の元の深さ信号の平均値として算出され、各2つの領域に対して、順に1つの固定パーティション値(CPV)を含みうる。

0098

輪郭近似は、図11において例示される。ここで、予測ブロック200の元の奥行き信号は、その環境を示すために強調され、そして、拡大されて示される。また、領域P1およびP2に関してパーティション情報は、ブロックによって最初にオーバーレイされ、そうすると、CPVは、領域によって覆われる全てのサンプルの平均値として算出される。図11における例において、パーティション情報がよく奥行き信号と一致する場合、領域P1(濃いグレー)に対する低いCPVおよび領域P2(薄いグレー)に対する高いCPVを有する結果として得る輪郭モデルが、奥行きブロックの良好な近似を表す。

0099

3.ブロックパーティション符号化
例えば、図1〜3の符号化環境のような、多視点映像および奥行き(MVD)のための符号化フレームワークの範囲内で、以前のセクションに記載された方法およびアルゴリズムを使用するために、新規な符号化ルーチンまたはモードが定義されるべきであり、そして、必要なツールは、エンコーダおよびデコーダにおいて実装されるべきである。

0100

例えば、図1のエンコーダまたは符号化ブランチ22v/d,1のような、ハイブリッドビデオエンコーダのために、これらのツールは、評価、予測または信号伝送の一部として分類されうる。評価は、それらが元の入力情報(例えば圧縮されていない画像)に依存するので、符号化プロセスの一部だけであるツールを要約する。それとは対照的に、それらが送信されたおよび/または再構成された情報(例えば復号化画像)に依存するだけであるので、予測は、符号化および復号化プロセスの一部であるツールを要約する。信号伝送は、エンコーダからデコーダまでビットストリーム中で送信した情報の符号化のためのツールを要約する。従って、それらは、同一のシンタックスおよび同一のエントロピー符号化状態を使用することを必要とする。

0101

評価ツールにとって、歪は、古典的な映像符号化アプローチから公知であるように、歪およびブロックの元の奥行き信号の相違を測定して、例えば、平均二乗誤差(MSE)または平均絶対差(MAD)として、または、合成された視点の歪として、ブロックの歪奥行き信号のために変位されたサンプルにより生じた合成された視点の違いを測定することにより、導出できることに注意すべきである。

0102

下記に概説された実施例に従って不規則性ブロックパーティション符号化のための概念は、パーティション情報(セクション3.1および3.2を参照)を処理するためにおよび処理CPV(セクション3.3を参照)に対するものに分割することができる。

0103

3.1.ウェッジレットベースのイントラ符号化
このセクションは、ウェッジレットブロックパーティション(セクション1を参照)に基づいて、2つのイントラ符号化モードを提示する。両方のモードは、デルタCPV法(セクション3.3.2を参照)と結合されうる。

0104

3.1.1.ウェッジレットブロックパーティションのイントラモデリング
このモードの基本的な原則は、エンコーダでベストマッチしているウェッジレットパーティションを見つけて、ビットストリーム中にパーティション情報を明確に送信することである。デコーダにおいて、ブロックの信号は、明確に送信されたパーティション情報を使用して再構成される。従って、このモードのための主なツールは、評価および信号伝送の一部である。

0105

このモードのためのウェッジレットパーティション情報は、予測されないが、エンコーダにおいて評価プロセス内で検索される。この目的のために、セクション1.4.2にて説明したように、最小歪ウェッジレット検索は、基準として現行ブロックの元の奥行き信号を用いて実行される。検索は、使用される変形法に関してベストマッチしているウェッジレットパーティションをもたらす。

0106

デコーダでブロックを再構成して、ウェッジレットパーティション情報は、ビットストリーム中に信号伝送しなければならない。これは、リスト(セクション1.4.1を参照)の一致しているパターンの位置またはインデックスを明確に送信することにより、実現される。このリストインデックスは、ビンの定数により信号伝送される。N要素を有するウェッジレットパターンリストが与えられて、使用されるパターンのインデックスは、固定長符号または可変長符号または算数符号化(コンテキスト適応2進算術符号化を含む)、または、他のいかなるエントロピー符号化方法を使用して符号化される。ウェッジレットパーティション情報を信号伝送する高度な方法は、各パーティションパターンの確率に基づいてリストをソートするか、パーティション情報、例えば、線分の開始位置および終了位置または線分の開始位置と勾配、の代替表現を使用することを含むことができる。

0107

3.1.2.ウェッジレットブロックパーティションのイントラ予測
このモードの基本的な原則は、同じ画像、すなわちイントラ予測における以前に符号化されたブロックが利用できる情報から、ウェッジレットパーティションを予測することである。より良好な近似のために、例えば、線分の終了位置を変化させることなどにより、予測されたパーティションは、例えば、エンコーダでリファインされる。ビットストリーム中の線分の終了位置へのオフセットの唯一の伝送は、十分であり得る、そして、デコーダで、ブロックの信号は、予測されたパーティションおよびオフセットなどの送信されたリファイン情報を結合することから生じるパーティション情報を使用して再構成されうる。従って、このモードのための主なツールは、予測、評価および信号伝送の一部である。

0108

このモードのためのウェッジレットパーティション情報の予測は、分離線分の開始位置および勾配で構成されるウェッジレット表現により、内部的に働く。更なる処理のために、すなわち線分の終了位置オフセットを適応させて、ブロックの信号を再構成して、予測結果は、線分の開始位置および終了位置からなる表現に変換される。このモードの予測処理は、以前に符号化されたブロック、例えば現行ブロックの左側および上側の隣接ブロックの情報から、線分の開始位置および勾配を導き出す。図12において、単に現行ブロック210および上記の隣接ブロック212だけが、示される。なお、数ブロックにとって、隣接ブロックの一方または両方は、利用できないことに注意すべきである。この種の場合、このモードのための処理は、スキップされるかまたは失った情報を意味あるデフォルト値に設定することと共に続けられる。

0109

図12にて示したように、2つの主な概念は、現在示唆された実施例に従ってウェッジレットパーティション情報を予測するために区別される。2つの隣接参照ブロックのうちの1つが、図12の左側の実施例に示されるウェッジレットタイプであるときに、第1の概念は、ブロック212がウェッジレット分割に模範となるように従属するケースをカバーする。2つの隣接参照ブロックがウェッジレットタイプではなく、図12の右側の実施例に示されるデフォルトイントラ符号化タイプでもよいイントラ方向タイプであるときに、第2の概念は、ブロック212がイントラ符号化に模範となるように従属するケースをカバーする。

0110

参照ブロック212が、ウェッジレットタイプである場合、予測プロセスは、以下の通りに機能することができる:図12、左側によれば、参照ウェッジレットの勾配mrefは、第1ステップの開始位置Srefおよび終了位置Erefから導出される。この概念の原則は、現行ブロック210の参照ウェッジレット、すなわちウェッジレット分離線分201’を、現行ブロック210内において、延長することである、そして、それは、参照ウェッジレット212の分離線分201’の延長が、実際に現行ブロック210を横切る場合のみ可能である。従って、次のステップは、参照ウェッジレットを延長し続けることが可能かどうかを調べることである。図12、左側の実施例は、それが可能であるシナリオを示す、しかし、参照ウェッジレットの開始位置および終了位置が、ブロックの左および右のエッジにある場合、線分の延長は、下記のブロックを横切らないであろう。チェックが肯定的な場合に、開始位置SPおよび終了位置EPは、最終ステップで予測される。勾配mpが定義によりmrefに等しいので、ブロック境界サンプルを有する延長線交差ポイントとして、位置は単に算出される。

0111

参照ブロック212が、イントラ方向タイプである場合、予測プロセスは、以下の通りに機能することができる:図12、右側によれば、参照ブロック212の勾配mrefは、第1ステップのイントラ予測方向214から導出される。イントラ方向214が抽象的なインデックスの形で設けられているだけの場合には、マッピングまたは変換機能は、勾配mrefを達成するために必要であるかも知れない。ウェッジレットタイプの参照ブロック212から予測するための概念とは異なり、分離線分情報は、イントラ方向タイプの参照ブロック212により提供されていない。従って、開始位置Spは、デコーダ、すなわち、左側および上記の隣接ブロックの隣接するサンプル、でも利用できる情報から導出される。それらは、図12、右側においてハッチングされて示される。ハッチングの密度は、隣接しているサンプルの値を表す。図12、右側に図示されるように、これらの隣接するサンプルから、最大傾斜を有する隣接するサンプルの一対に隣接しているものは、開始位置Spとして選ばれる。ここで、傾斜は、2つの連続的なサンプルの値の絶対差として理解される。ウェッジレットパーティションのために、線分開始点Spは、2つの領域202a,202bをブロック210の一つのエッジ216の異なる値で切り離す。従って、隣接ブロックの隣接するサンプルの中の最大傾斜点がSpの最高の予測である。勾配に関し、再び定義することにより、mpは、mrefに等しく、かつ、Spと共に、終了位置Epは、最終ステップとして算出されうる。

0112

2つの提示された概念は、相補的である。ウェッジレットタイプの参照ブロックからの予測は、より優れてマッチしているパーティション情報を有するが、必ずしも可能でない、イントラ方向タイプの参照ブロックからの予測は常に可能であるが、パーティション情報は、より悪く適合する。従って、2つの概念を1つの予測モードに結合することは、有益である。付加的な信号伝送なしにこれを実現するために、以下の処理階層が、定義されうる:上記参照ブロックがウェッジレットタイプである場合、パーティションの予測を試みる。さもなければ、左側の参照ブロックがウェッジレットタイプである場合、パーティションの予測を試みる。さもなければ、上記および左側の参照情報からパーティションを予測する。後者のために、上記および左方向の間に決定するための異なる決定基準は、可能である。そして、単に上記を優先させることから共同で方向および隣接するサンプルの傾斜を評価する高度な方法に及ぶ。上側および左側の参照ブロックがウェッジレットタイプである場合、この種の高度な基準も、適用されうる。

0113

ウェッジレットパーティションをリファインするための線分終了位置オフセットは、予測されえないが、エンコーダにより評価プロセス内で検索することができる。検索のために、図12にて図示したように、候補パーティションは、予測されたウェッジレットパーティションおよび線分終了位置Eoffのためのオフセット値から発生する。オフセット値の範囲にわたって繰り返すことにより、および、異なる結果として生じるウェッジレットパーティションの歪を比較することにより、ベストマッチしているウェッジレットパーティションのオフセット値は、使用される変形法に関して決定される。

0114

デコーダでブロックを再構成するために、線分終了位置オフセット値は、ビットストリームにおいて信号伝送されることになっている。同上は、3つのシンタックス要素の使用によって信号伝送されうる。第1の信号伝送は、いかなるオフセットEoffが存在するかに関する。すなわち、同上がゼロであるかに関する。第2のものは、オフセットの符号、すなわちオフセットがゼロでない場合に、時計回り、または、反時計回りの偏差を意味する。そして、第3は、絶対オフセット値−1を示す:dmm_delta_end_flag、dmm_delta_end_sign_flag、dmm_delta_end_abs_minus1。疑似コードにおいて、これらのシンタックス要素は、以下として含めることができる。

dmm_delta_end_abs_minus1およびdmm_delta_end_sign_flagは、DmmDeltaEnd、すなわち、Eoffを導出するために用いることができる。そして、以下の通りである:

DmmDeltaEnd[ x0 ][ y0 ] = ( 1 − 2 *dmm_delta_end_sign_flag[ x0 ][ y0 ] ) *
( dmm_delta_end_abs_minus1[ x0 ][ y0 ] + 1)

0115

最も可能性が高い場合は、オフセット値がゼロであるということである。効率的な信号伝送のために、第1のビンが送られ、それはオフセットがゼロかどうかを示すフラグの機能を有する。そして、オフセットがゼロでない場合、k+1追加ビンは、±2kの範囲内のオフセット値を信号伝送するために続き、ここで、最初のビンは、符号を表し、そして、残りのk個のビンは、オフセットの絶対値を表す。効率的な符号化のために、kは概して小さい数であって、例えばブロックサイズに応じて、適応的に設定されるかも知れない。線分終了位置オフセットは、固定長符号、可変長符号または算術符号化(コンテキスト適応2進算術符号化を含む)を含む他のいかなるエントロピー符号化テクニックにより送信されうる。

0116

3.2.ブロックパーティション符号化のコンポーネント間予測
このセクションは、テクスチャからパーティション情報を予測することに基づいて、2つの符号化モードを提示する。両方のモードは、デルタCPV法(セクション3.3.2を参照)と結合されうる。テクスチャ情報(すなわち従来のビデオ画像)は、関連する奥行きマップの前に送信されると仮定される。

0117

ウェッジレットとして、または、輪郭ブロックパーティションとして、これらのモードの基本的な原則は、テクスチャ参照ブロックからパーティション情報を予測するとして記述することができる。この種の予測は、コンポーネント間予測と呼ばれうる。時間的または視点間予測とは異なり、テクスチャ基準ピクチャが同時に、そして、同じ斜視図から場面を示すように、動きまたは視差補償は、ここでは必要ない。パーティション情報が、これらのモードのために送信されないので、コンポーネント間予測は、参照として再構成されたテクスチャ画像を使用する。テクスチャ符号化のために使用する色空間に応じて、テクスチャ信号の1つ以上の構成要素は、コンポーネント間予測のために考慮される。映像符号化のために、一般的にYUV色空間が、使用される。ここで、輝度成分は、奥行きブロック、すなわちオブジェクト間のエッジ、の信号を予測するために最も重要な情報を含む。このように、先進的手法は、ジョイント予測のために、または、輝度予測結果をリファインするために、さらに彩度成分を利用するが、単純なコンポーネント間予測方法は、輝度成分の情報を利用するだけである。

0118

3.2.1ウェッジレットブロックパーティションのテクスチャベース予測
このモードの基本的な原則は、テクスチャ参照ブロック216から奥行きマップ213の深さブロック210のウェッジレットパーティションを予測することである。これは、図13にて示したように、再構成されたテクスチャ画像のためにベストマッチしているウェッジレットパーティションを検索することにより実現される。この目的のために、参照として、最小限の歪ウェッジレット検索は、セクション1.4.2において説明したように、奥行きブロック210として再構成されたテクスチャ信号215、より詳しくは同じ位置およびサイズを有する輝度ブロック216を参照として使用して実行される。結果として生じるウェッジレットパーティションパターン218は、奥行きブロックの予測220のために使用される。図13において、これは上側のボックスにより強調される、そして、示された実施例のために、予測されたウェッジレットパーティション(中央の)は、奥行きブロック210に非常によく接近する。記載されているウェッジレット予測は、エンコーダおよびデコーダで同時に実行されうることので、パーティション情報の信号伝送は、このモードのために必要とされない。

0119

3.2.2.輪郭ブロックパーティションのテクスチャベース予測
このモードの基本的な原則は、テクスチャ参照ブロックから奥行きブロックの輪郭パーティションを予測することである。図10に示したように、これは、再構成されたテクスチャ画像215のための輪郭パーティション218’を導出することにより実現される。この目的のために、輪郭近似は、再構成されたテクスチャ信号215、より詳しくは奥行きブロック210として同じ位置およびサイズを有する輝度ブロック216を参照として使用して実行される。この種の輪郭予測が、エンコーダおよびデコーダで同時に実行されうるので、パーティション情報の信号伝送は、このモードのために必要とされない。

0120

輪郭パーティションパターンは、参照ブロック216の平均値を算出すること、そして、それを閾値として設定することにより発生することができる。参照ブロック216のサンプルの値が閾値以下に、または、上回っているかどうかに依存して、一致している位置は、パーティションパターン218’において、領域P1またはP2の一部として、マークされる。結果として得る輪郭パーティションパターン218’は、奥行きブロック210の予測220のために使用される。図13において、これは下側のボックスにより強調される、そして、示された実施例のために、予測された輪郭パーティション(中間)218’は、確実に奥行きブロック210に接近する。しかしながら、うまく奥行き信号に接近しない閾値アプローチは、潜在的に多くの分離された小さい部分を有する不安定なパターンを生じる。輪郭パターン整合性を改善するために、例えばフィルタリングまたはセグメンテーションアプローチにより、偏差プロセスは、拡張することができる。

0121

輪郭パーティションパターンを定義しているバイナリのパーティションパターンdmmWedgeletPattern[x,y]は、分割されるべきブロックの範囲内でのサンプル位置を意味している、ただし、(x,y)、ただし、x,y=0..nT−1により、配置されたテクスチャ映像ブロックの輝度サンプルvideoLumaSample[x,y]、ただし、x,y=0..nT−1の輝度サンプルから、以下のように得られる。

閾値tHは、以下として導出される:
tH=sumDC/(nT*nT),ただし、sumDC+=videoLumaSamples[x,y]for x,y=0..nT-1
パターン値は、以下のように設定される:
videoLumaSamples[x,y]がtHより大きい場合、以下を適用する:
dmmWedgeletPattern[x,y]=1
さもなければ、以下を適用する:
dmmWedgeletPattern[x,y]=0

0122

3.3 CPV符号化
CPV符号化のための概念が、このセクションにおいて提供される。両方のパーティションタイプとして、ウェッジレットおよび輪郭、が、定義により一定値を持つ2つのパーティション領域を有するので、それらはブロックパーティション情報(セクション3.1および3.2を参照)を予測するかまたは推定するための全ての4つのモードに同じく適用されうる。従って、CPV処理は、パーティションタイプまたは符号化モードを区別することを必要とせず、パーティションパターンが現行の奥行きブロックに与えられるとむしろ仮定する。

0123

3.3.1予測CPV
CPV予測のより良好な理解のために、3種類のCPV、元のCPV、予測されたCPVおよびデルタCPV、が区別される。それらの関係は、ブロック(図14,左の点線230)の断面のための図14,右側において略図で例示される。ここで、線分232は、線分230に沿ったブロック200の元の信号を表す。セクション1.3および2.3の説明によれば、元のCPV(図14,右側の線分234および236)は、それぞれ、対応する領域P1およびP2によりカバーされる信号の平均値として算出される。

0124

元のCPVのWorig,P1およびWorig,P2は、与えられたブロックパーティションに対し元の信号(図14の左側または線分232)の最高の近似値を導くが、元の信号がデコーダにおいて利用できないので、ビットストリーム中に値を送信するのに必要である。これは、ビットレートに関して全く高価で、CPVの予測の原則を適応することにより回避することができる。元のCPVとは対照的に、予測されたCPVは、図14、左のハッチングされたサンプル203に図示されるように、デコーダ、すなわち、左側および上側の隣接ブロックの隣接するサンプル、でも利用できる情報から導出される。ここで、隣接するサンプルはグレーにマークされ、そして、所与のパーティションの各領域のための予測されたCPVは、対応する領域(図14、左側の線分238および240)に隣接するそれらのサンプルの平均値を算出することから結果として生じる。左側または上側の隣接ブロックが必ずしも利用できないことに注意されたい。このような場合、それぞれの隣接するサンプルは、デフォルト値に設定することができる。

0125

図14、右側において、予測されたCPVのWpred,P1、およびWpred,P2は、線分238および240により表わされ、かつ、説明図は、元のおよび予測されたCPVが著しく異なることができることを強調する。実際、ΔWP1およびΔWP2の元のおよび予測値間の相違は、現行ブロック200の元の信号232およびハッチングされたサンプル203上に示された再構成された隣接ブロックの境界信号の間の類似性に依存する。この差は、対応する領域のデルタCPVとして定義される。これは、デルタCPVΔWP1およびΔWP2がエンコーダで推定され、ビットストリームで送信されれば、デルタCPVを予測されたCPVに加えることにより、デコーダで元のCPVを再構成することが可能であることを意味する。元の値の代わりにデルタを送信するだけで、必要なビットレートの大幅な減少に至る。

0126

予測された固定パーティション値CPVは、dmmPredPartitionDC1およびdmmPredPartitionDC2と呼ぶことができて、以下のように隣接するサンプルp[x,y]より導出することができる。以下において、dmmWedgeletPatternが、サンプル(x,y)ただし、x,y=0..nT−1が手本となるように包囲している現行ブロックを分割することを意味する。すなわち、上部エッジに隣接しているサンプル位置は、(x−1)ただし、x=0..nT−1に位置し、左エッジに隣接しているサンプル位置は、(−1,y)ただし、y=0..nT−1に位置する。すでに再構成された隣接するサンプル値は、p[x,y]を意味する。sumPredDC2、sumPredDC1、numSamplesPredDC2およびnumSamplesPredDC1は、最初にゼロにセットされる:
For x = 0..nT-1 the above neighbouring samples are summed up as:
− If dmmWedgeletPattern[ x, 0 ] is equal to 1 (partition P1, for instance), the following applies:
sumPredDC2 += p[ x, -1 ] and numSamplesPredDC2 += 1
− Otherwise (partition P2, for instance), the following applies:
sumPredDC1 += p[ x, -1 ] and numSamplesPredDC1 += 1
For y = 0..nT-1 the left neighbouring samples are summed up as:
− If dmmWedgeletPattern[ 0, y ] is equal to 1, the following applies:
sumPredDC2 += p[ -1, y ] and numSamplesPredDC2 += 1
− Otherwise, the following applies:
sumPredDC1 += p[ -1, y ] and numSamplesPredDC1 += 1
The predicted constant partition values are derived as follows.
− If numSamplesPredDC1 is equal to 0, the following applies:
dmmPredPartitionDC1 = 1 << ( BitDepthY − 1 )
− Otherwise, the following applies:
dmmPredPartitionDC1 = sumPredDC1 / numSamplesPredDC1
− If numSamplesPredDC2 is equal to 0, the following applies:
dmmPredPartitionDC2 = 1 << ( BitDepthY − 1 )
− Otherwise, the following applies:
dmmPredPartitionDC2 = sumPredDC2 / numSamplesPredDC2

0127

3.3.2量子化およびデルタCPVの適応
CPV予測の原則に基づいて、デルタCPVの効率的な処理のための概念は、このセクションにおいて紹介される。ビットストリームのデルタCPVを送信することは、ブロックパーティション符号化のための再構成された信号の歪を減少する目的を果たす。しかしながら、元のおよび予測された信号の相違が視差の変換符号化によってもカバーされるので、デルタCPV値を信号伝送するために必要なビットレートは、この方法の利益を定める。従って、デルタCPVの量子化は、以下の通りに導入することができる:値は、エンコーダで評価された後、線形に量子化され、デコーダで再構成の前に逆量子化される。量子化されたデルタCPVを送信することは、ビットレートが減少する効果がある一方で、逆量子化された値から再構成された信号は、最高の近似値と僅かに異なるだけである。結論的には、これは、量子化なしのケースと比較して、低いレート−歪コストをもたらす。線形量子化のステップサイズに関して、パフォーマンスは、変換符号化、すなわちQPの関数として、かつ、固定値ではないとして、量子化ステップサイズを定めること、から公知の原則を適用することにより更に高めることができる。量子化ステップサイズをqΔCPV=2QP/10ただし1≦qΔCPV≦max(ΔCPV)/2としてデルタCPVに設定することは、効率的かつ強固であることがわかった。

0128

分割されたブロックの2つの領域のためのビットストリームのデルタCPVの可能な信号伝送は、以下のように構成されうる:

0129

特定のブロックのためのビットストリーム上の伝送は、明確に送信されるかまたは若干の符号化モードシンタックス要素から導出されるシンタックス要素DmmDeltaFlagに依存するようにされうる。

0130

dmm_dc_1_abs、dmm_dc_1_sign_flag、dmm_dc_2_abs, dmm_dc_2_sign_flagは、以下の通りにDmmQuantOffsetDC1およびDmmQuantOffsetDC2の値を導出するために用いることができる:
DmmQuantOffsetDC1[ x0 ][ y0 ] = ( 1 − 2 *dmm_dc_1_sign_flag[ x0 ][ y0 ] ) *
dmm_dc_1_abs[ x0 ][ y0 ]
DmmQuantOffsetDC2[ x0 ][ y0 ] = ( 1 − 2 *dmm_dc_2_sign_flag[ x0 ][ y0 ] ) *
dmm_dc_2_abs[ x0 ][ y0 ]

0131

逆量子化されたオフセットdmmOffsetDC1およびdmmOffsetDC2は、以下の通りDmmQuantOffsetDC1およびDmmQuantOffsetDC2から導出可能である。
dmmOffsetDC1 = DmmQuantOffsetDC1 * Clip3( 1, ( 1 << BitDepthY ) − 1, 2 (QP'Y /10)- 2 )
dmmOffsetDC2 = DmmQuantOffsetDC2 * Clip3( 1, ( 1 << BitDepthY ) − 1, 2 (QP'Y /10)- 2 )

0132

BitDepthYは、DmmQuantOffsetDC1およびDmmQuantOffsetDC2が内部的に、エンコーダおよびデコーダ内、にあるビット幅でもよく、QP’は、例えば、現在のスライスの予測残差の符号化変換係数レベルに含まれるちょうど言及された量子化パラメータQPでもよい。

0133

固定パーティション値CPVは、それから、逆量子化されたオフセットを予測されたCPVに加えることにより入手できる:
第1のパーティションのために:dmmPredPartitionDC1 + dmmOffsetDC1
第2のパーティションのために:dmmPredPartitionDC2 + dmmOffsetDC2

0134

セクション3の最初にすでに述べたように、評価ツールのための歪は、2つの異なる方法で測定されうる。デルタCPVに関して、これらの変形方法は、評価プロセスに強く影響を及ぼす。歪がブロックの歪および元の奥行き信号の間の違いとして測定された場合に備えて、評価プロセスは、上述のようにデルタCPVを単に計算し、量子化することにより、元のCPVの最も近い近似値を検索する。歪が合成された視点のために測定される場合に、評価プロセスは、デルタCPVを合成された視点の品質により優れて適応させるために延長されうる。これは、必然的に元のCPVで最高の近似値に至るそれらのデルタCPVが、必ずしも最良の合成された視点品質をもたらさないという事実に基づく。最も良好な合成された視点品質をもたらすデルタCPVを見出すために、評価プロセスは、最小限の歪検索により延長される(セクション1.4.2と比較)。そして、それは、2つのパーティションのための可能なデルタCPVの組合せのすべてにわたって繰返し適用される。効率的な処理および信号伝送のために、テストされた値の範囲は、制限されうる。検索は、合成された視点の中で最小限の歪が生じるデルタCPVの組合せを結果として生じ、伝送のために、これらの値は最後に量子化される。

0135

デルタCPV法が潜在的に、変換/量子化および(残りの)残余の伝送をスキップすることを可能にすることに注意されたい。それぞれ、元のあるいは最適奥行き信号に近い近似値のため、特に描写された視点の品質に関して評価される場合、視差を省略する影響は、制限される。

0136

4. モードの符号化
4.1モード信号伝送
符号化プロセスにおいて、1つのモードは、レート−歪最適化によるあらゆるブロックのために選択され、そして、モード情報は、ビットストリームにおいて、例えば、パーティションおよびCPV情報の前に信号伝送される。セクション3によれば、以下の4ブロックパーティションモードを、(例えば、不規則でない分割モードに加えて)定義することができる:

0137

・ Wedgelet_ModelIntra:ウェッジレットブロックパーティションのイントラモデリング(セクション3.1.1を参照)
・ Wedgelet_PredlIntra:ウェッジレットブロックパーティションのイントラ予測(セクション3.1.2を参照)
・ Wedgelet_PredTexture:ウェッジレットブロックパーティションのテクスチャベース予測(セクション3.2.1を参照)
・ Contor_PredTexture:輪郭ブロックパーティションのテクスチャベース予測(セクション3.2.2を参照)

0138

4つのモードの各々は、デルタCPV処理(セクション3.3.2を参照)のための方法の有無にかかわらず適用されえ、デコーダの信号を送るための8つの異なるmode_IDを結果として生じ、そして、それは、処理のタイプはブロックの予測および再構成のために適用されなければならない。

0139

上記に導かれるブロックパーティションモードが、図1〜3の一つのような既存の符号化フレームワークへのブロック符号化モード追加セットとして実行される場合、モード情報に先行する追加フラグは、ビットストリームにおいて送信されえ、そして、ブロックパーティションモードが用いられるか否かが信号伝送される。このフラグがセットされない場合に、通常のブロック符号化モード信号伝送が続く。そうでなければ、mode_IDが、信号伝送され、それは、実際のブロックパーティションモードおよびデルタCPVが送信されるか否かをも示している。ビットストリームにおいて、mode_IDは、3つのビンにより表される。

0140

4.2 モードプリセレクション
モードプリセレクションの背後にある発想は、現行ブロックのために選択されそうにないモードを除外する概念を実行することにより、ブロックパーティション符号化(セクション3を参照)のための処理および信号伝送を行う努力を減少することである。

0141

第1のモードプリセレクション概念は、小さいブロックサイズのために確率が非常に低いモードを使用不能にする。これは、ほとんどの場合、歪がモード情報の信号伝送を行うために必要なレートと比較して高いことを意味する。セクション4.1において定義された4つのモードの中で、これは、Wedgelet_PredIntraおよびContour_PredTextureに当てはまる統計分析に基づいて、これらの2つのモードは、ブロックサイズ4×4およびそれ以下で、使用不能である。

0142

第2のモードプリセレクション概念は、コンポーネント間予測、すなわち、Wedgelet_PredTextureおよびContour_PredTexture、に基づいた2つのモードに当てはまる。意味あるブロックパーティションパターンがテクスチャ参照ブロックから導出できる可能性が非常に低い場合、この概念の背後にある発想は、適応的に、これらのモードを除外することである。この種のブロックは、相対的に重要なエッジおよび輪郭のない平面であることにより特徴づけられる。これらのブロックを特定するために、テクスチャ参照ブロックの相違が、分析される。2つの言及されたモードを無効にするための基準は、相違が特定の閾値以下にあるということである。このモードプリセレクション方法は、以下の通りに実行される:相違は、輝度サンプルおよび参照ブロック(図13の216を参照)の平均値間平均絶対誤差(MAE)として測定される。固定値の代わりに、閾値は、量子化パラメータ(QP)の関数として、設定される。QPがより高く逆もしかりである場合、MAE値の統計分析の結果に基づいて、閾値は、tMAE(QP)=QP/2として設定され、これらの2つのモードは、より多くのブロックを除外する効果を有する。

0143

図15は、それぞれ、2つのテクスチャ輝度ブロック250および2502に関する詳細および絶対差対2521および2522の右の平均値により、このモードプリセレクション方法の視覚化を示す。ブロック2501は、ほとんど構造を有さない非常に平坦空間サンプル外観を有する。そして、それは非常に低い差異により反映される。意味あるパーティション情報が、このブロック2501から予測されえないので、モードWedgelet_PredTextureおよびContour_PredTextureは考慮されない。ブロック2502は高い相違を有することとは対照的に、重要なエッジおよび輪郭が結果として得る。このように、おそらく、ブロック2502から導出されるパーティション情報は、一致している奥行きブロックのパーティションのための良好な予測器であるので、2つのモードが考慮される。

表1:プリセレクション決定によるモード。

0144

表1は、利用できるモード上の2つのモードプリセレクション概念の効果をまとめる。特定のモードを除外することにより、ビットストリームにおいて信号伝送しなければならないmode_IDの数は、減少する。各方法は、1つによりmode_IDを信号伝送するために必要なビンの数を減らし、かつ、2つにより両方のモードの組合せがビンの数を減らすので、表は、2つの方法が効率的な方法に組み込まれうることを示す。

0145

5.一般化
いくつかの考えられる不規則性分割モード、一方ではその2つのセグメンテーション決定(3.1および3.2を参照)への概念的再分割および他方では2つのパーティション(3.3を参照)符号化パラメータの符号化のみならず、符号化フレームワークにおけるそれらのあり得る作業およびこの種のモードが付加的に供給することがあり得る符号化環境の説明を記述した後、それぞれのデコーダおよびエンコーダのための結果として生じる実施例は、部分的により一般的な用語で記載されるものとする。特に、以下のセクションは、上記で概説される特定の有利な詳細を強調して、これらの詳細がどのように上述よりも一般的であるという意味でデコーダおよびエンコーダ内で使われうるかについて、上述したよりもより包括的に説明する。特に、下記で概説されるように、上記のモードで使用される有利な態様のいくつかは、個々に利用することができる。

0146

5.1.ブロック境界全体のウェッジレット分離線分の延長線
上記の議論から明白になったように、ウェッジレット分割の使用は、一方では分割する旨を信号伝送するための信号伝送オーバーヘッドおよび他方では不規則性分割による達成可能な多様性との間にあり得る妥協を形成する。それにもかかわらず、サイド情報データの著しい量は、パーティション情報、すなわち、ウェッジレット分離線分の位置、例えば、ウェッジレット分離線分の位置のインデックスを使用することにより、例えばセクション3.1.1に関して上記で概説される概念に従って、明確に送信するために必要である。

0147

従って、ブロック境界全体のウェッジレット分離線分の延長線は、ちょうど概説された課題を解決する1つの考えられる方法を形成する。セクション3.1.2の前記説明は、この課題のソリューションを利用するための具体例を説明した。しかしながら、より一般的に、ブロック境界の上のウェッジレット分離線分の延長線についての発想を利用する際に、図16に関して下記で概説されるように、デコーダは、本発明の実施例に従って、構成されうる。それにもかかわらず、セクション3.1.2および3〜4の中の他のセクションに記載されているすべての詳細は、個々に下記で提示される説明と結合されうる可能な実現の詳細として理解されることになっている。

0148

図16のデコーダは、一般に、参照符号300により示されて、データストリーム304からサンプルアレイ302を再構成するように構成されている。デコーダは、ブロックベースの復号化により再構成を実行するように構成されている。例えば、サンプルアレイ302は、一連のサンプルアレイの一部でもよく、そして、デコーダ300は、ブロック304毎に異なる符号化モードをサポートしているブロックベースのハイブリッドデコーダとして実行することができる。サンプルアレイは、任意の空間的にサンプルされた情報、例えばテクスチャまたは奥行きマップであってもよい。例えば、図16のデコーダ300は、サンプルアレイ302を表しているテクスチャ/映像および奥行き/視差マップを含んでいる1つの視点を再構成するために実行することができる。その限りにおいて、デコーダ300は、復号化ブランチ106d,1さらに106v,1の一対として実行することができるか、または個々に復号化ブランチ106d,1により実行することができる。すなわち、予測残差の残差の符号化の有無にかかわらず、デコーダ300は、イントラ予測、時間的(動き補償された)予測および/または視点間(視差補償された)予測のような符号化モードを使用しているサンプルアレイ302を再構成するように構成されうる。符号化モードは、例えば、それぞれのブロックのための明確なウェッジレット符号化モードを備えることができ、ウェッジレット分離線分の位置は、データストリーム304、例えばセクション3.1.1で概説されるモードの中で、明確に送信される。

0149

いずれにせよ、このデコーダ300は、現行ブロック210、例えば既定の符号化モードオプションが、データストリーム304の中で信号伝送されるブロック、のために実行するように構成され、ステップが現在概説された。これらのステップに含まれる機能は、イントラ予測モジュール36またはイントラ予測モジュールおよび交換モジュール52の範囲内で組み込むことができる。

0150

それぞれのモードの1ブロックのためのデコーダ300により実行されるステップは、ウェッジレット分離線分位置予測306であり、位置のリファイン308および復号化310が続く。特に、図16のデコーダは、ステップ306aで予測するように構成される。予測された位置312でのウェッジレット分離線分が、隣接ブロック212のウェッジレット分離線分201’の延長または継続を現行ブロック210中へ作成するように、サンプルアレイ302のブロック210の範囲内のウェッジレット分離線分の位置312は、ブロック210の隣接ブロック212のウェッジレット分離線分201’に依存している。また、デコーダ300は、データストリーム304からブロック212のためのそれぞれの明確な信号伝送により、または若干の他の符号化オプションにより、例えばテクスチャ・サンプルアレイ中のエッジ検出により、どのサンプルアレイ302が属する等、隣接ブロック212のウェッジレット分離線分201’の位置を導出することができた。他の可能性は、上記で記載されていて、更に後述する。

0151

上述の通り、それがセクション3.1.2の前記説明を有するケースであったので、位置312が306において予測されるブロック210のウェッジレット分離線分は、直線でもよい。しかしながら、その代わりに、例えば一連のサンプル位置ホップ、すなわち、線分に」おける各々次のピクセルを定め、分離線分に属する一連のシンボル、を使用して、線分は、さらに一般的に定義することができる。線分は、線分201’から予測されることもできる既定の分析的に決定された湾曲を有することができるか、またはデータストリーム304のいくつかの他の以前に処理された部分から導出することもできる。

0152

特に、その後、ブロック210のウェッジレット分離線分が、ウェッジレット分離線分の一般の延長方向に横方向の位置と同様に一般の延長方向に関して前もって決定されるように、予測306は構成されうる。曲線の場合には、例えば、多項式関数を使用する曲線近似は、ブロック212の分離線を外挿して、それぞれ、ブロック210の分離線分の位置を決めるために用いることができる。直線の場合には、ウェッジレット分離線分への横方向の方向における傾きおよび位置が、決定される。

0153

予測306に関して、近隣および延長が、空間的観点で必ずしも定義される必要はないとも述べられなければならない。むしろ、ブロック210および212は、時間的にも隣接しうる。例えば、ブロック212は、サンプルアレイ302に時間的に隣接しているサンプルアレイシーケンスのサンプルアレイの同じ位置に配置されたブロックであり得た。その場合、ブロック210へのウェッジレット分離線分201の延長は、「時間的継続」である。

0154

どのようにして予測306が実行されうるかの明確な可能性は、セクション3.1.2において上記で概説され、説明はここで述べられる。位置のリファイン308は、予測された位置312をリファインするためにある。すなわち、デコーダ300は、位置のリファイン308において、データストリーム304中で信号伝送されたリファイン情報を使用してブロック210のウェッジレット分離線分301の予測された位置312をリファインするように構成されている。従って、リファインされたウェッジレット分離線分201は、ブロック210を第1および第2のウェッジレットパーティション202aおよび202bに分割する。

0155

上述の通り、デコーダ300は、予測された位置312のウェッジレット分離線分201が隣接ブロック212のウェッジレット分離線分201’の空間同一直線上の延長を形成するように、空間上で同一直線上の位置を占めるように構成することができる、そして、空間同一直線上の伸長を形成するように、リファイン情報にかかわりなく、隣接ブロック212に隣接している既定のブロック210のウェッジレット分離線分の開始位置314が、予測された位置312と関連して維持されるように、リファインは制限されうる。すなわち、まっすぐなウェッジレット分離線分の場合には、単にその傾斜だけがリファインされえ、その一方で、ブロック210および212を分離しているブロック210のエッジ316のウェッジレット分離線分201の開始点は、不変のままである。例えば、ウェッジレット分離線分201の反対側の終了位置の中で、予測されたウェッジレット分離線分位置312に従う終了位置320からブロック210の外周に沿ったウェッジレット分離線分201の反対端、すなわち、ウェッジレット分離線201の終了部分318、のオフセットは、セクション3.1.2に関して上述したようにデータストリーム304の中で信号伝送されうる。

0156

セクション3.1.2において、オフセットは、Eoffとして示された。このセクションにて説明したように、より小さいオフセットは、それとともに関連付けられたより大きなオフセットよりもより高い確率を有するように、デコーダ300は、外周方向に沿ってサンプル位置ピッチを単位にして測定された、ブロック210の外周に沿った直接的な延長サンプル位置320からの様々な起こり得るオフセットが、より大きなオフセットからより小さいオフセットまで単調に増加するそれとともに関連付けされた確率評価を持つエントロピー復号化を使用してデータストリームからリファイン情報を抽出するように構成されうる。例えば、VLC符号語長は、単調に減少することができる。

0157

また、上記でも記載されているように、3つのシンタックス要素は、Eoffを送信するために用いてもよい。第1の信号伝送は、いかなるオフセットEoffが存在するかに関する。すなわち、同上がゼロであるかに関する。第2のものは、オフセットの符号、すなわちオフセットがゼロでない場合に、時計回り、または、反時計回りの偏差を意味する。そして第3は、絶対オフセット値−1を示す:dmm_delta_end_flag、dmm_delta_end_sign_flag、dmm_delta_end_abs_minus1。疑似符号において、これらのシンタックス要素は、以下として含めることができる。

dmm_delta_end_abs_minus1およびdmm_delta_end_sign_flagは、DmmDeltaEnd、すなわちEoffを導出するのに使用することができる。そして、以下の通りである:

DmmDeltaEnd[ x0 ][ y0 ] = ( 1 − 2 *dmm_delta_end_sign_flag[ x0 ][ y0 ] ) *
( dmm_delta_end_abs_minus1[ x0 ][ y0 ] + 1)

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ