図面 (/)

技術 ブロックベースの混合解像度のデータ刈り込みを使用したビデオ復号化

出願人 トムソンライセンシング
発明者 チャンドン−チン
出願日 2011年9月9日 (7年2ヶ月経過) 出願番号 2013-528310
公開日 2013年11月7日 (5年0ヶ月経過) 公開番号 2013-541276
状態 特許登録済
技術分野 TV信号の圧縮,符号化方式
主要キーワード 前処理プロセッサ 単一コンポーネント 処理ベース 元バージョン 座標番号 置換ブロック 空間周波数空間 回復モジュール
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2013年11月7日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (13)

課題・解決手段

ビデオシーケンスによってピクチャの刈り込まれたバージョン回復するための方法および装置が開示される。装置は、ピクチャの刈り込まれたバージョン内の1または複数の刈り込まれたブロックを識別する刈り込みブロック識別子(610)を含む。その装置は、ピクチャの刈り込まれたバージョンを回復するメタデータ復号化するメタデータ復号器(615)をさらに含む。メタデータは、1または複数の置換ブロック位置情報を含む。その装置は、1または複数の刈り込まれたブロックに対して1または複数の置換ブロックをそれぞれ生成するブロック復元器(620)も含む。

概要

背景

ビデオ符号化効率を高めるデータ刈り込みに対していくつかの異なる手法がある。例えば、第1の手法は、垂直線および水平線の除去である。第1の手法は、符号化する前にビデオフレーム内の垂直線および水平線を除去し、そして復号化の後に非線形補間によって線を回復する。どの線を除去するかは、高周波数信号を含む線であるか否かによって判定される。第1の手法の問題点は、第1の手法が、ピクセルを選択的に除去する柔軟性に欠けることである。つまり、第1の手法は、重要なピクセルを含む線を除去する場合もあり、線全体では、高周波数を有する少量の信号を含むが、容易に回復しない恐れがある。

概要

ビデオシーケンスによってピクチャの刈り込まれたバージョンを回復するための方法および装置が開示される。装置は、ピクチャの刈り込まれたバージョン内の1または複数の刈り込まれたブロックを識別する刈り込みブロック識別子(610)を含む。その装置は、ピクチャの刈り込まれたバージョンを回復するメタデータを復号化するメタデータ復号器(615)をさらに含む。メタデータは、1または複数の置換ブロック位置情報を含む。その装置は、1または複数の刈り込まれたブロックに対して1または複数の置換ブロックをそれぞれ生成するブロック復元器(620)も含む。

目的

データ刈り込みの一例は、画像線の除去であり、入力ビデオ内の水平および垂直の走査線の一部を除去することである

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

ピクチャの刈り込まれたバージョンビデオシーケンスによって回復するための装置であって、前記ピクチャの前記刈り込まれたバージョン内の1または複数の刈り込まれたブロックを識別するための刈り込みブロック識別子(610)と、前記ピクチャの前記刈り込まれたバージョンを回復するメタデータ復号化するためのメタデータ復号器(615)であって、前記メタデータは、前記1または複数の置換ブロック位置情報を含む、メタデータ復号器と、前記1または複数の刈り込まれたブロックに対して1または複数の置換ブロックをそれぞれ生成するためのブロック復元器(620)とを備える、装置。

請求項2

前記ピクチャの前記刈り込まれたバージョンは、前記ピクチャの前記元バージョンを複数のブロックに分割し、前記1または複数の刈り込まれたブロックを前記1または複数の置換ブロックにそれぞれ置き換えることによって生成され、前記1または複数の刈り込まれたブロックのうちの少なくとも所定の1つにおけるすべてのピクセルは、同じ色値または低い解像度の色値のうちの1つを有し、前記低い解像度の色値は、前記1または複数の置換ブロックに関して判定される、請求項2に記載の装置。

請求項3

前記同じ色値は、前記複数のブロックのうちの前記少なくとも1つ内の前記ピクセルの色の平均値と等しい、請求項2に記載の装置。

請求項4

前記ピクチャの前記刈り込まれたバージョンは、混合解像度ピクチャである、請求項2に記載の装置。

請求項5

前記1または複数の刈り込まれたブロックは、前記1または複数の置換ブロックのそれぞれよりも、指定された周波数以上の少ない情報を備える、請求項2に記載の装置。

請求項6

前記位置情報は、前記1または複数の置換ブロックの座標情報を備える、請求項1に記載の装置。

請求項7

前記刈り込みブロック識別子(610)は、前記ピクチャの前記刈り込まれたバージョン内の前記1または複数の刈り込まれたブロックを識別する識別プロセスを実行し、前記1または複数の刈り込まれたブロックのうちの所定の1つは、指定された周波数よりも大きい前記1または複数の刈り込まれたブロックのうちの前記所定の1つの単一コンポーネントエネルギー量に基づいて、前記識別プロセスによって識別される、請求項1に記載の装置。

請求項8

前記メタデータは、前記識別プロセスに関する誤検出ブロックおよび欠損ブロックの位置情報も含む、請求項7に記載の装置。

請求項9

前記メタデータが前記ピクチャの前記刈り込まれたバージョンを回復する際の使用から省略されたとき、修復及びテクスチャ合成のうちの少なくとも1を使用して、前記ピクチャの前記刈り込まれたバージョンを回復する、請求項1に記載の装置。

請求項10

ピクチャの刈り込まれたバージョンをビデオシーケンスによって回復するための方法であって、前記ピクチャの前記刈り込まれたバージョン内の1または複数の刈り込まれたブロックを識別する(610)ステップと、復号器を使用して、前記ピクチャの前記刈り込まれたバージョンを回復するメタデータを復号化する(1100)ステップであって、前記メタデータは、前記1または複数の置換ブロックの位置情報を含む、ステップと、前記1または複数の刈り込まれたブロックに対して1または複数の置換ブロックをそれぞれ生成する(725)ステップとを備える、方法。

請求項11

前記ピクチャの前記刈り込まれたバージョンは、前記ピクチャの前記元バージョンを複数のブロックに分割し(710)、前記1または複数の刈り込まれたブロックを前記1または複数の置換ブロックにそれぞれ置き換える(725)ことよって生成され、前記1または複数の刈り込まれたブロックのうちの少なくとも所定の1つ内のすべてのピクセルは、同じ色値または低い解像度の色値のうちの1つを有し、前記低い解像度の色値は、前記1または複数の置換ブロックに関して判定される、請求項10に記載の方法。

請求項12

前記同じ色値は、前記複数のブロックのうちの前記少なくとも1つ内の前記ピクセルの色の平均値と等しい、請求項11に記載の方法。

請求項13

前記ピクチャの前記刈り込まれたバージョンは、混合解像度ピクチャ(800)である、請求項11に記載の方法。

請求項14

前記1または複数の刈り込まれたブロックは、前記1または複数の置換ブロック(900)のそれぞれよりも、指定された周波数以上の少ない情報を備える、請求項11に記載の方法。

請求項15

前記位置情報は、前記1または複数の置換ブロックの座標情報を備える、請求項10に記載の方法。

請求項16

前記識別するステップは、前記ピクチャの前記刈り込まれたバージョン内の前記1または複数の刈り込まれたブロックを識別する識別プロセスを実行し、前記1または複数の刈り込まれたブロックのうちの所定の1つは、指定された周波数よりも大きい前記1または複数の刈り込まれたブロックのうちの前記所定の1つの単一コンポーネントのエネルギー量に基づいて、前記識別プロセスによって識別される、請求項10に記載の方法。

請求項17

前記メタデータは、前記識別プロセス(1135)に関する誤検出ブロックおよび欠損ブロックの位置情報も含む、請求項16に記載の方法。

請求項18

前記メタデータが前記ピクチャの前記刈り込まれたバージョンを回復する際の使用から省略された場合、修復及びテクスチャ合成のうちの少なくとも1を使用して、前記ピクチャの前記刈り込まれたバージョンを回復することを特徴とする請求項10に記載の方法。

請求項19

ピクチャの刈り込まれたバージョンをビデオシーケンスによって回復するための装置であって、前記ピクチャの前記刈り込まれたバージョン内の1または複数の刈り込まれたブロックを識別するための手段(610)と、前記ピクチャの前記刈り込まれたバージョンを回復するメタデータを復号化するための手段(615)であって、前記メタデータは、前記1または複数の置換ブロックの位置情報を含む、手段と、前記1または複数の刈り込まれたブロックに対して1または複数の置換ブロックをそれぞれ生成するための手段(620)とを備える、装置

請求項20

前記ピクチャの前記刈り込まれたバージョンは、前記ピクチャの前記元バージョンを複数のブロックに分割し、前記1または複数の刈り込まれたブロックを前記1または複数の置換ブロックにそれぞれ置き換えることによって生成され、前記1または複数の刈り込まれたブロックのうちの少なくとも所定の1つにおけるすべてのピクセルは、同じ色値または低い解像度の色値のうちの1つを有し、前記低い解像度の色値は、前記1または複数の置換ブロックに関して判定される、請求項19に記載の装置。

請求項21

前記同じ色値は、前記複数のブロックのうちの前記少なくとも1つ内の前記ピクセルの色の平均値と等しい、請求項20に記載の装置。

請求項22

前記ピクチャの前記刈り込まれたバージョンは、混合解像度ピクチャである、請求項20に記載の装置。

請求項23

前記1または複数の刈り込まれたブロックは、前記1または複数の置換ブロックのそれぞれよりも、指定された周波数以上の少ない情報を備える、請求項20に記載の装置。

請求項24

前記位置情報は、前記1または複数の置換ブロックの座標情報を備える、請求項19に記載の装置。

請求項25

前記識別するための手段(610)は、前記ピクチャの前記刈り込まれたバージョン内の前記1または複数の刈り込まれたブロックを識別する識別プロセスを実行し、前記1または複数の刈り込まれたブロックのうちの所定の1つは、指定された周波数よりも大きい前記1または複数の刈り込まれたブロックのうちの前記所定の1つの単一コンポーネントのエネルギー量に基づいて、前記識別プロセスによって識別される、請求項19に記載の装置。

請求項26

前記メタデータは、前記識別プロセスに関する誤検出ブロックおよび欠損ブロックの位置情報も含む、請求項25に記載の装置。

請求項27

前記メタデータが前記ピクチャの前記刈り込まれたバージョンを回復する際の使用から省略された場合、修復及びテクスチャ合成のうちの少なくとも1を使用して、前記ピクチャの前記刈り込まれたバージョンを回復する、請求項19に記載の装置。

技術分野

0001

本出願は、2010年9月10日に出願された“BLCK−BASEMIXED−RESOLUTIONDATA PRUNING FORIMPROVING VIDEO COMPRESSION EFFCIENCY”と題する米国特許仮出願シリアル番号第61/403087号明細書(テクニカラー社整理番号PU100194)の利益を主張する。

0002

本出願は、以下の同時係属中の同一所有者による特許出願に関連する。
(1)2011年1月20日に出願された“A SAMPLING−BASED SUPER−RESOLUTIONAPPROACH FOR EFFICENTVIDEO COMPRESSION”と題する国際(PCT)特許出願シリアル番号PCT/US11/000107号明細書(テクニカラー社整理番号PU100004)
(2)2011年1月21日に出願された“DATA PRUNING FOR VIDEO COMPRESSION USING EXAMPLE−BASED SUPER−RESOLUTION”と題する国際(PCT)特許出願シリアル番号PCT/US11/000117号明細書(テクニカラー社整理番号PU100014)
(3)2011年9月XX日に出願された“METHODS AND APPARATUS FOR ENCODING VIDEO SIGNALS USING MOTION COMPENSATED EXAMPLE−BASED SUPER−RESOLUTION FOR VIDEO COMPRESSION”と題する国際(PCT)特許出願シリアル番号XXXX号明細書(テクニカラー社整理番号PU100190)
(4)2011年9月XX日に出願された“METHODS AND APPARATUS FOR DECODING VIDEO SIGNALS USING MOTION COMPENSATED EXAMPLE−BASED SUPER−RESOLUTION FOR VIDEO COMPRESSION”と題する国際(PCT)特許出願シリアル番号XXXX号明細書(テクニカラー社整理番号PU100266)
(5)2011年9月XX日に出願された“METHODS AND APPARATUS FOR ENCODING VIDEO SIGNALS USING EXAMPLE−BASED DATA PRUNING FORIMPROVED VIDEO COMPRESSION EFFICIENCY”と題する国際(PCT)特許出願シリアル番号XXXX号明細書(テクニカラー社整理番号PU100193)
(6)2011年9月XX日に出願された“METHODS AND APPARATUS FOR DECODING VIDEO SIGNALS USING EXAMPLE−BASED DATA PRUNING FOR IMPROVED VIDEO COMPRESSION EFFICIENCY”と題する国際(PCT)特許出願シリアル番号XXXX号明細書(テクニカラー社整理番号PU100267)
(7)2011年9月XX日に出願された“METHODS AND APPARATUS FOR ENCODING VIDEO SIGNALS FORBLOCK−BASEDMIXED−RESOLUTION DATA PRUNING”と題する国際(PCT)特許出願シリアル番号XXXX号明細書(テクニカラー社整理番号PU100194)
(8)2011年9月XX日に出願された“METHODS AND APPARATUS FOR EFFICIENT REFERENCE DATA ENCODING FOR VIDEO COMPRESSION BY IMAGE CONTENT BASED SEARCH AND RANKING”と題する国際(PCT)特許出願シリアル番号XXXX号明細書(テクニカラー社整理番号PU100195)
(9)2011年9月XX日に出願された“METHOD AND APPARATUS FOR EFFICIENT REFERENCE DATA DECODING FOR VIDEO COMPRESSION BY IMAGE CONTENT BASED SEARCH AND RANKING”と題する国際(PCT)特許出願シリアル番号XXXX号明細書(テクニカラー社整理番号PU110106)
(10)2011年9月XX日に出願された“METHOD AND APPARATUS FOR ENCODING VIDEO SIGNALS FOR EXAMPLE−BASED DATA PRUNING USING INTRA−FRAME PATCSIMILRITY”と題する国際(PCT)特許出願シリアル番号XXXX号明細書(テクニカラー社整理番号PU100196)
(11)2011年9月XX日に出願された“METHOD AND APPARATUS FOR DECODING VIDEO SIGNALS WITH EXAMPLE−BASED DATA PRUNING USING INTRA−FRAME PATCH SIMILARITY”と題する国際(PCT)特許出願シリアル番号XXXX号明細書(テクニカラー社整理番号PU100296)
(12)2011年9月XX日に出願された“PRUNING DECISION OPTIMIZATION IN EXAMPLE−BASED DATA PRUNING COMPRESSION”と題する国際(PCT)特許出願シリアル番号XXXX号明細書(テクニカラー社整理番号PU10197)
本発明の原理は、一般には、ビデオ符号化およびビデオ復号化に関し、より詳細には、ビデオ圧縮効率を高めるためにブロックベースの混合解像度のデータ刈り込み(data pruning)を行う方法および装置に関する。

背景技術

0003

ビデオの符号化効率を高めるデータ刈り込みに対していくつかの異なる手法がある。例えば、第1の手法は、垂直線および水平線の除去である。第1の手法は、符号化する前にビデオフレーム内の垂直線および水平線を除去し、そして復号化の後に非線形補間によって線を回復する。どの線を除去するかは、高周波数信号を含む線であるか否かによって判定される。第1の手法の問題点は、第1の手法が、ピクセルを選択的に除去する柔軟性に欠けることである。つまり、第1の手法は、重要なピクセルを含む線を除去する場合もあり、線全体では、高周波数を有する少量の信号を含むが、容易に回復しない恐れがある。

発明が解決しようとする課題

0004

前述の第1の手法に関する手法の別のカテゴリは、線ではなくブロックを除去して回復する、ブロック除去に基づく。しかし、その手法のもう1つのカテゴリは、内ループ(in-loop)方法を使用する。つまり、ブロック除去に適合するために符号器アーキテクチャを変更しなければならない。従って、その手法のもう1つのカテゴリは、復号器を変更しなければならないので、厳密には、前処理ベースの手法ではない。

0005

この手法のこれらと他の欠点および不利点は、本発明の原理によって対処され、それは、ビデオの圧縮効率を高めるためのブロックベースの混合解像度のデータ刈り込みの方法および装置を対象とする。

課題を解決するための手段

0006

本発明の原理の態様に従って、ピクチャビデオシーケンスによって符号化する装置が提供される。装置は、ピクチャの元バージョンから刈り込まれる1または複数の元ブロック識別する刈り込みブロック識別子を含む。装置は、刈り込まれる1または複数の元ブロックに対して1または複数の置換ブロックをそれぞれ生成することによってピクチャの刈り込まれたバージョンを生成するブロック置換器をさらに含む。装置は、ピクチャの刈り込まれたバージョンを回復するメタデータを生成するメタデータ発生器も含む。メタデータは、1または複数の置換ブロックの位置情報を含む。装置は、ピクチャおよびメタデータの刈り込まれたバージョンを符号化する符号器をさらに含む。

0007

本発明の原理の別の態様に従って、ピクチャをビデオシーケンスによって符号化する方法が提供される。方法は、ピクチャの元バージョンから刈り込まれる1または複数のブロックを識別することを含む。方法は、刈り込まれる1または複数の元ブロックに対して1または複数の置換ブロックをそれぞれ生成することによってピクチャの刈り込まれたバージョンを生成することをさらに含む。方法は、ピクチャの刈り込まれたバージョンを回復するメタデータを生成することも含む。方法は、1または複数の置換ブロックの位置情報を含む。方法は、少なくとも1つの復号器を使用してピクチャおよびメタデータの刈り込まれたバージョンを符号化することをさらに含む。

0008

本発明の原理のさらに別の態様に従って、ピクチャの刈り込まれたバージョンをビデオシーケンスによって回復する装置が提供される。装置は、ピクチャの刈り込まれたバージョン内の1または複数の刈り込まれたブロックを識別する刈り込みブロック識別子を含む。装置は、ピクチャの刈り込まれたバージョンを回復するメタデータを復号化するメタデータ復号器をさらに含む。メタデータは、1または複数の置換ブロックの位置情報を含む。装置は、1または複数の刈り込まれたブロックに対して1または複数の置換ブロックをそれぞれ生成するブロック復元器も含む。

0009

本発明の原理のさらなる態様に従って、ピクチャの刈り込まれたバージョンをビデオシーケンスによって回復する方法が提供される。方法は、ピクチャの刈り込まれたバージョン内の1または複数の刈り込まれたブロックを識別する刈り込みブロック識別子を含む。方法は、復号器を使用してピクチャの刈り込まれたバージョンを回復するメタデータを復号化することをさらに含む。メタデータは、1または複数の置換ブロックの位置情報を含む。方法は、1または複数の刈り込まれたブロックに対して1または複数の置換ブロックをそれぞれ生成することも含む。

0010

本発明の原理の付加的な態様に従って、ピクチャをビデオシーケンスによって符号化する装置が提供される。装置は、ピクチャの元バージョンから刈り込まれる1または複数の元ブロックを識別する手段を含む。装置は、刈り込まれる1または複数の元ブロックに対して1または複数の置換ブロックをそれぞれ生成することによってピクチャの刈り込まれたバージョンを生成する手段をさらに含む。装置は、ピクチャの刈り込まれたバージョンを回復するメタデータを生成する手段も含む。メタデータは、1または複数の置換ブロックの位置情報を含む。装置は、ピクチャおよびメタデータの刈り込まれたバージョンを符号化する手段を付加的に含む。

0011

本発明の原理のさらに付加的な態様に従って、ピクチャの刈り込まれたバージョンをビデオシーケンスによって回復する装置が提供される。装置は、ピクチャの刈り込まれたバージョン内の1または複数の刈り込まれたブロックを識別する手段を含む。装置は、ピクチャの刈り込まれたバージョンを回復するメタデータを復号化する手段をさらに含む。メタデータは、1または複数の置換ブロックの位置情報を含む。装置は、1または複数の刈り込まれたブロックに対して1または複数の置換ブロックをそれぞれ生成する手段も含む。

図面の簡単な説明

0012

本発明の原理のこれらと他の態様、特徴および利点は、添付図面と共に読まれる、例示的な実施形態の以下の詳細な説明から明らかになる。

0013

本発明の原理を以下の例示的な図面に従ってより良く理解できる。
本発明の原理の実施形態に係る、ブロックベースの混合解像度のデータ刈り込みシステム/方法のハイレベルブロック図を示すブロック図である。
本発明の原理の実施形態に係る、本発明の原理を適用できる例示的なビデオ符号器を示すブロック図である。
本発明の原理の実施形態に係る、本発明の原理を適用できる例示的なビデオ復号器を示すブロック図である。
本発明の原理の実施形態に係る、ブロックベースの混合解像度のデータ刈り込みの例示的なシステムを示すブロック図である。
本発明の原理の実施形態に係る、ビデオ圧縮に用いるブロックベースの混合解像度のデータ刈り込みの例示的な方法を示すフロー図である。
本発明の原理の実施形態に係る、ブロックベースの混合解像度のデータ刈り込みのデータ回復を行う例示的なシステムを示すブロック図である。
本発明の原理の実施形態に係る、ビデオ圧縮用のブロックベースの混合解像度のデータ刈り込みのデータ回復を行う例示的なシステムを示すブロック図である。
本発明の原理の実施形態に係る、例示的な混合解像度のフレームを示す図である。
本発明の原理の実施形態に係る、空間周波数空間で示されるブロックベースの混合解像度のデータ刈り込みプロセスの例を示す図である。
本発明の原理の実施形態に係る、メタデータを符号化する例示的な方法を示すフロー図である。
本発明の原理の実施形態に係る、メタデータを復号化する例示的な方法を示すフロー図である。
本発明の原理の実施形態に係る、例示的なブロックIDを示す図である。

実施例

0014

本発明の原理は、ビデオの圧縮効率を高めるためのブロックベースの混合解像度のデータ刈り込みの方法および装置を対象としている。

0015

本説明は、本発明の原理を明らかにする。従って、当業者は、本明細書で明示的に説明されていないが、本発明の原理を具体化し、および本発明の原理の精神および範囲内に含まれるさまざまな構成(arrangements)を考案できるであろうことが認識されよう。

0016

本明細書に記載されたすべての例および条件付き表現は、読者が、本発明の原理および本技術をさらに発展させる発明者(複数)によって寄与される概念を理解するのを助ける教育的目的を意図とし、そのような具体的に記載された例および条件に限定することなく解釈されるものである。

0017

さらに、本発明の原理、態様、および実施形態、ならびにそれらの具体例を記載する本明細書のすべての記述は、その構造的および機能的な等価物の両方を網羅することを意図する。さらに、そのような等価物は、現在知られている等価物および将来開発される等価物、即ち、構造にかかわらず同じ機能を実行する任意に開発された要素の両方を含むことを意図する。

0018

従って、例えば、本明細書で提示されるブロック図は、本発明の原理を具体化する例示的な回路の概念図を表すことが当業者によって認識されよう。同様に、任意のフローチャート、流れ図、状態遷移図、擬似ドコードなどはいずれも、実質的にはコンピュータ可読媒体で表され、コンピュータまたはプロセッサによってそのように実施されてよいさまざまなプロセスを表し、そのようなコンピュータまたはプロセッサが明示的に示されているか否かによらないことが認識されよう。

0019

図に示したさまざまな要素の機能は、専用ハードウェアならびに適切なソフトウェアと関連してソフトウェアを実施する能力のあるハードウェアの使用を通じて提供されてもよい。プロセッサによって提供される場合、その機能は、単一の専用プロセッサによって、単一の共有プロセッサによって、または一部を共有できる複数の個別プロセッサによって提供されてもよい。さらに、用語「プロセッサ」または「制御器」の明示的な使用は、ソフトウェアを実施する能力のあるハードウェアのみを指すものと解釈されるべきでなく、デジタル信号プロセッサ(「DSP」)ハードウェア、ソフトウェアを記憶するリードオンリーメモリ(「ROM」)、ランダムアクセスメモリ(「RAM」)、および不揮発性記憶装置暗示的に含むことができるが、これらに限定されない。

0020

他のハードウェア、従来型および/またはカスタムハードウェアも含むことができる。同様に、図面に示したいずれのスイッチも概念的なものにすぎない。その機能は、プログラム論理演算を通じて、専用論理を通じて、プログラム制御と専用論理との対話を通じて、または手動でも実行されてもよく、文脈からより具体的に理解されるように、特定の技術が実装者によって選択可能になる。

0021

本発明の特許請求の範囲において、指定された機能を実行する手段として表される任意の要素は、例えば、a)その機能を実行する回路素子の組み合わせ、またはb)機能を実行するソフトウェアを実施するのに適した回路と組み合わされ、従ってファームウェアマイクロコードなどを含む任意の形式のファームウェアを含む機能を実行するいずれの方法も網羅することを意図する。本発明の原理は、そのような特許請求の範囲によって定義されるように、さまざまに記載された手段によって提供される機能性が、その特許請求の範囲が要求する方法で組み合わされ、統合されるという事実による。従って、そのような機能性を提供することができる任意の手段は、本明細書で示した手段と同等であると見なされる。

0022

明細書における本発明の原理の「一実施形態」または「実施形態」、ならびにそれらの他の変形形態への言及は、その実施形態と関連して説明される特定の特徴、構造、特性などが本発明の原理のうちの少なくとも1つの実施形態に含まれることを意味する。従って、「一実施形態において」または「実施形態において」という出現、同じく明細書を通じてさまざまな箇所に現れるその他の変形形態は、必ずしもすべて同じ実施形態を指すとは限らない。

0023

以下の「/」、「および/または」、および「のうちの少なくとも1つ」のうちのいずれかの使用は、例えば、「A/B」、「Aおよび/またはB」および「AおよびBのうちの少なくとも1つ」の場合、第1に記載された選択肢(A)のみの選択、または第2に記載された選択肢(B)のみの選択、または両方の選択肢(AおよびB)の選択を網羅することを意図することを認識されたい。さらなる例として、「A、B、および/またはC」および「A、B、およびCのうちの少なくとも1つ」の場合、そのような言い回しは、第1に記載された選択肢(A)のみの選択、または第2に記載された選択肢(B)のみの選択、または第3に記載された選択肢(C)のみの選択、または第1および第2に記載された選択肢(AおよびB)のみの選択、または第1および第3に記載された選択肢(AおよびC)のみの選択、または第2および第3に記載された選択肢(BおよびC)のみの選択、または3つすべての選択肢の選択(AおよびBおよびC)を網羅することを意図する。本技術および関連技術の当業者によって容易に明らかであるように、これは、記載された多くの項目に広げてよい。

0024

また、本明細書で使用されるように、用語「ピクチャ」および「画像」は、同じ意味で使用され、ビデオシーケンスからの静止画像またはピクチャを指す。周知のとおり、ピクチャは、フレームまたはフィールドであってもよい。

0025

さらに、用語「回復」および「復元」は、本明細書では同じ意味で使用されることを認識されたい。

0026

上記のように、本発明の原理は、ビデオの圧縮効率を高めるためのブロックベースの混合解像度のデータ刈り込みを対象としている。データ刈り込みは、入力ビデオデータが符号化される前にその入力ビデオデータの一部を除去することによって、より良いビデオの符号化効率を実現するビデオの前処理技術である。除去されたビデオデータは、その復号データから推測することによって復号器側で回復する。データ刈り込みの一例は、画像線の除去であり、入力ビデオ内の水平および垂直の走査線の一部を除去することである。

0027

ビデオを刈り込むための混合解像度のデータ刈り込みスキームフレームワークは、本発明の原理に従って開示され、そこにおいてビデオ内の高解像度(high-res)ブロックは、低解像度(low-res)ブロックまたは平坦ブロック(flat blocks)に置き換えられる。さらに本発明の原理に従った開示は、刈り込まれたブロックの位置を符号化する、メタデータ符号化スキームであり、画像処理技術とエントロピー符号化との組み合わせを使用する。

0028

本発明の原理の実施形態に従って、ビデオフレームは、非重複ブロックに分割され、そしてそのブロックのうちのいくつかは、低解像度ブロックまたは単純な平坦ブロックに置き換えられる。刈り込まれたブロックは、その後圧縮するためにビデオ復号器に送られる。刈り込みプロセスは、ビデオフレーム内のいくつかのブロックが、低解像度ブロックまたは平坦ブロックに置き換えられるので、高周波数信号が減り、結果としてより効率的なビデオ符号化でなければならない。置き換えられたブロックを修復テクスチャ合成などの、さまざまな既存のアルゴリズムによって回復することができる。本発明の原理に従って、回復プロセスに必要なメタデータを符号化して送る方法が開示される。

0029

前述のビデオ圧縮を高めるデータ刈り込みの手法の他のカテゴリとは異なり、本発明の原理は、厳密には、外ループ(out-of-loop)手法を提供し、その手法は、符号器および復号器が影響されずに保たれ、ブラックボックスとして扱われ、符号化(および復号化)標準または実装によって置き換えることができる。そのような外ループ手法の利点は、ユーザが符号化および復号化するワークフローに変更する必要がなく、そのワークフローは、ある環境において適していないかもしれない。

0030

図1を参照すると、ブロックベースの混合解像度のデータ刈り込みシステム/方法のハイレベルブロック図を参照番号100で大まかに示している。入力ビデオが与えられ、前処理フレームを得るために、ステップ105において(符号器側の前処理プロセッサ151によって)符号器側の前処理が行われる。前処理フレームは、ステップ110において(符号器152によって)符号化される。符号化されたフレームは、ステップ115において(復号器153によって)復号化される。復号化されたフレームは、ステップ120において出力ビデオを与えるために、(復号器側の後処理プロセッサ154によって)後処理が行われる。

0031

データ刈り込みの処理は、符号器側の前処理プロセッサ151で実行される。刈り込まれたビデオは、その後符号器152に送られる。回復に必要なメタデータと一緒に符号化されたビデオは、その後復号器153に送られる。復号器153は、刈り込まれたビデオを展開し、そして復号器側の後処理プロセッサ154は、受け取るメタデータの有無にかかわらず刈り込まれたビデオから元ビデオに回復させる(一部の環境に見られるように、メタデータを必要としないことも可能であり、従って、その回復に使用される)。

0032

図2を参照すると、本発明の原理を適用できる例示的なビデオ符号器を参照番号200で大まかに示している。ビデオ符号器200は、例えば、図1に示したビデオ符号器152として使用されもよい。ビデオ符号器200は、信号通信によって結合器285の非反転入力に出力する、フレーム順序付けバッファ210を含む。結合器285の出力は、信号通信によって変換及び量子化器225の第1の入力に接続される。変換及び量子化器225の出力は、信号通信によってエントロピー符号器245の第1の入力、および逆変換及び逆量子化器250の第1の入力に接続される。エントロピー符号器245の出力は、信号通信によって結合器290の第1の非反転入力に接続される。結合器190の出力は、信号通信によって出力バッファ235の第1の入力に接続される。

0033

符号器制御器205の第1の出力は、信号通信によってフレーム順序付けバッファ210の第2の入力、逆変換及び逆量子化器250の第2の入力、ピクチャタイプ決定モジュール215の入力、マクロブロックタイプ(MB-type)決定モジュール220の第1の入力、イントラ予測モジュール260の第2の入力、非ブロック化フィルタ265の第2の入力、動き補償器270の第1の入力、動き推定器275の第1の入力、および参照ピクチャバッファ280の第2の入力に接続される。

0034

符号器制御器205の第2の出力は、信号通信によって補足拡張情報(SEI挿入器230の第1の入力、変換及び量子化器225の第2の入力、エントロピー符号器245の第2の入力、出力バッファ235の第2の入力、およびシーケンスパラメータセットSPS)及びピクチャパラメータセット(PPS)挿入器240の入力に接続される。

0035

SEI挿入器230の出力は、信号通信によって結合器290の第2の非反転入力に接続される。

0036

ピクチャタイプ決定モジュール215の第1の出力は、信号通信によってフレーム順序付けバッファ210の第3の入力に接続される。ピクチャタイプ決定モジュール215の第2の出力は、信号通信によってマクロブロックタイプ決定モジュール220の第2の入力に接続される。

0037

シーケンスパラメータセット(SPS)及びピクチャパラメータセット(PPS)挿入器240の出力は、信号通信によって結合器290の第3の非反転入力に接続される。
逆変換及び逆量子化器250の出力は、信号通信によって結合器219の第1の非反転入力に接続される。結合器219の出力は、信号通信によってイントラ予測モジュール260の第1の入力および非ブロック化フィルタ265の第1の入力に接続される。非ブロック化フィルタ265の出力は、信号通信によって参照ピクチャバッファ280の第1の入力に接続される。参照ピクチャバッファ280の出力は、信号通信によって動き推定器275の第2の入力および動き補償器270の第3の入力に接続される。動き推定器275の第1の出力は、信号通信によって動き補償器270の第2の入力に接続される。動き推定器275の第2の出力は、信号通信によってエントロピー符号器245の第3の入力に接続される。

0038

動き補償器270の出力は、信号通信によってスイッチ297の第1の入力に接続される。イントラ予測モジュール260の出力は、信号通信によってスイッチ297の第2の入力に接続される。マクロブロックタイプ決定モジュール220の出力は、信号通信によってスイッチ297の第3の入力に接続される。スイッチ297の第3の入力は、(制御入力、即ち、第3の入力に照らして)スイッチの「データ」入力が、動き補償器270またはイントラ予測モジュール260によって与えられるべきか否かを判定する。スイッチ297の出力は、信号通信によって結合器219の第2の非反転入力および結合器285の反転入力に接続される。

0039

フレーム順序付けバッファ210の第1の入力および符号器制御器205の入力は、入力ピクチャを受け取るための、ビデオ符号器200の入力として使用可能である。さらに、補足的拡張情報(SEI)挿入器230の第2の入力は、メタデータを受け取るための、ビデオ符号器200の入力として使用可能である。出力バッファ235の出力は、ビットストリームを出力するための、ビデオ符号器200の出力として使用可能である。

0040

図3を参照すると、本発明の原理を適用できる例示的なビデオ復号器を参照番号300で大まかに示している。ビデオ復号器300は、例えば、図1に示したビデオ符号器153として使用されもよい。ビデオ復号器300は、信号通信によってエントロピー復号器345の第1の入力に接続された出力を有する、入力バッファ310を含む。エントロピー復号器345の第1の出力は、信号通信によって逆変換及び逆量子化器350の第1の入力に接続される。逆変換及び逆量子化器350の出力は、信号通信によって結合器325の第2の非反転入力に接続される。結合器325の出力は、信号通信によって非ブロック化フィルタ365の第2の入力およびイントラ予測モジュール360の第1の入力に接続される。非ブロック化フィルタ365の第2の出力は、信号通信によって参照ピクチャバッファ380の第1の入力に接続される。参照ピクチャバッファ380の出力は、信号通信によって動き補償器370の第2の入力に接続される。

0041

エントロピー復号器345の第2の出力は、信号通信によって動き補償器370の第3の入力、非ブロック化フィルタ365の第1の入力、およびイントラ予測器360の第3の入力に接続される。エントロピー復号器345の第3の出力は、信号通信によって復号器制御器305の入力に接続される。復号器制御器305の第1の出力は、信号通信によってエントロピー復号器345の第2の入力に接続される。復号器制御器305の第2の出力は、信号通信によって逆変換及び逆量子化器350の第2の入力に接続される。復号器制御器305の第3の出力は、信号通信によって非ブロック化フィルタ365の第3の入力に接続される。復号器制御器305の第4の出力は、信号通信によってイントラ予測モジュール360の第2の入力、動き補償器370の第1の入力、および参照ピクチャバッファ380の第2の入力に接続される。

0042

動き補償器370の出力は、信号通信によってスイッチ397の第1の入力に接続される。イントラ予測モジュール360の出力は、信号通信によってスイッチ397の第2の入力に接続される。スイッチ397の出力は、信号通信によって結合器325の第1の非反転入力に接続される。

0043

入力バッファ310の入力は、入力ビットストリームを受け取るための、ビデオ符号器300の入力として使用可能である。非ブロック化フィルタ365の第1の出力は、出力ピクチャを出力するための、ビデオ符号器300の出力として使用可能である。

0044

図4を参照すると、ブロックベースの混合解像度のデータ刈り込みの例示的なシステムを参照番号400で大まかに示している。システム400は、信号通信によって刈り込みブロック識別子410の入力に接続された出力を有する、分割器405を含む。刈り込みブロック識別子410の第1の入力は、信号通信によってブロック置換器415の入力に接続される。刈り込みブロック識別子410の第2の入力は、信号通信によってメタデータ符号器420の入力に接続される。分割器405の入力は、非重複ブロックに分割する元ビデオを受け取るための、システム400への入力として使用可能である。ブロック置換器415の出力は、混合解像度のビデオを出力するための、システム400の出力として使用可能である。メタデータ符号器の出力は、符号化されたメタデータを出力するための、システム400の出力として使用可能である。

0045

図5を参照すると、ビデオ圧縮に用いるブロックベースの混合解像度のデータ刈り込みの例示的な方法を参照番号500で大まかに示している。ステップ505において、ビデオフレームが入力される。ステップ510において、そのビデオフレームは、非重複ブロックに分割される。ステップ515において、各ブロックに対してループが実行される。ステップ520において、現在のブロックを刈り込むか否かを判定する。刈り込む場合、方法は、ステップ525に進む。刈り込まない場合、方法は、ステップ515に戻る。ステップ525において、ブロックが刈り込まれ、そして対応するメタデータが保存される。ステップ530において、すべてのブロックが(処理を)終了したか否かを判定する。終了した場合、制御は、機能ブロック535に移る。終了していない場合、方法は、ステップ515に戻る。ステップ530において、刈り込まれたフレームおよび対応するメタデータが出力される。

0046

図4および図5を参照すると、刈り込みプロセス中、入力フレームは、最初に非重複ブロックに分割される。刈り込まれる回復可能なブロックを識別するための刈り込みブロック識別プロセスが、その後行われる。刈り込まれたブロックの座標は、メタデータとして保存され、そのメタデータは、符号化され、そして復号器側に送られる。刈り込みの準備ができたブロックは、低解像度ブロックまたは単純な平坦ブロックに置き換えられる。その結果、いくつかのブロックが高解像度を有し、およびいくつかのブロックが低解像を有する、ビデオフレーム(即ち、混合解像度のフレーム)になる。

0047

図6を参照すると、ブロックベースの混合解像度のデータ刈り込みのデータ回復を行う例示的なシステムを参照番号600で大まかに示している。システム600は、信号通信によって刈り込みブロック識別子610の第1の入力に接続された出力を有する、分割器605を含む。メタデータ復号器615の出力は、信号通信によって刈り込みブロック識別子610の第2の入力およびブロック復元器620の第2の入力に接続される。刈り込みブロック識別子610の出力は、信号通信によってブロック復元器620の第1の入力に接続される。分割器605の入力は、非重複ブロックに分割する刈り込まれる混合解像度のビデオを受け取るための、システム600の入力として使用可能である。メタデータ復号器615の入力は、符号化されたメタデータを受け取るための、システム600の入力としても使用可能である。ブロック復元器620の出力は、回復したビデオを出力するための、システム600の出力として使用可能である。

0048

図7を参照すると、ビデオ圧縮用のブロックベースの混合解像度のデータ刈り込みのデータ回復を行う例示的な方法を参照番号700で大まかに示している。ステップ705において、刈り込まれる混合解像度のフレームが入力される。ステップ710において、そのフレームは、非重複ブロックに分割される。ステップ715において、各ブロックに対してループが実行される。ステップ720において、現在のブロックが刈り込まれるブロックであるか否かを判定する。刈り込む場合、方法は、ステップ725に進む。刈り込まない場合、方法は、ステップ715に戻る。ステップ725において、ブロックが復元される。ステップ730において、すべてのブロックが(処理を)終了したか否かを判定する。終了した場合、方法は、ステップ735に進む。終了していない場合、方法は、ステップ715に戻る。ステップ735において、回復したフレームが出力される。

0049

図6および図7を参照すると、回復プロセス中、刈り込まれるブロックは、メタデータを用いて識別される。また、刈り込まれるブロックは、メタデータを用いるか否かにかかわらず、修復(inpainting)アルゴリズムなどの、さまざまなアルゴリズムを使用したブロック復元プロセスによって回復する。ブロックの復元および識別は、異なるプラグイン方法に取って替わることができるが、それは、本発明の原理の主眼ではない。つまり、本発明の原理は、特定のブロックの復元および識別プロセスに基づくものではなく、従って、本発明の原理の精神を保ちつつ、本発明の原理の教示に従って、適用可能な任意のブロックの復元および識別プロセスを使用してよい。

0050

<刈り込みプロセス>
入力ビデオフレームは、最初に非重複ブロックに分割される。そのブロックのサイズは、例えば、16×16ピクセルまたは8×8ピクセルなど、異なることもあり得る。しかし、ブロック分割は、最大圧縮効率を実現することができるように、符号器が使用するのと同じサイズの分割にすることが望ましい。例えば、標準化国際標準化機構国際電気標準会議(ISO/IEC)の動画像符号化専門家グループ(MPEG−4)第10部先進動画符号化(AVC)標準/国際電気通信連合電気通信標準化部門ITU−T)H.264推奨(以下、「MPEG−4AVC規格」と呼ぶ)に従った符号化において、マクロブロックは、16×16ピクセルである。従って、MPEG−4AVC規格を伴う実施形態において、データ刈り込み用のブロックサイズの好適な選択は、16×16ピクセルである。

0051

各ブロックに対し、ブロック識別プロセスは、ブロックを刈り取るべきか否かを判定する。このプロセスは、さまざまな基準に基づくことが可能であるが、その基準は、復元プロセスによって判定されなければならない。例えば、修復手法を用いてブロックを復元する場合、その基準は、特定の修復プロセスを使用してブロックが復元されるか否かにしなければならない。ブロックが修復プロセスによって復元可能である場合、そのブロックは、刈り込みブロックとしてマークされる。

0052

刈り込みブロックが識別された後、その刈り込みブロックは、低解像度ブロックまたは平坦ブロックに置き換えられ、結果として混合解像度のフレームになる。図8を参照すると、例示的な混合解像度のフレームを参照番号800で大まかに示している。図8から見て取れるように、フレームの一部は高解像度を有し、フレームの一部は平坦ブロックに置き換えられている。低解像度または平坦ブロックの高周波数信号は、刈り込みプロセス中に除去される。従って、低解像度または平坦ブロックをより効率的に符号化することができる。図9を参照すると、空間周波数空間で示されるブロックベースの混合解像度のデータ刈り込みプロセスの例を参照番号900で大まかに示している。平坦ブロックは、基本的に、そのDCコンポーネントのみが保有されるブロックであり、低解像度ブロックは、ACコンポーネントのうちのいくつかが除去されるブロックである。実際、刈り込まれたブロックを平坦ブロックに置き換えることが決定された場合、最初に入力ブロック平均色を計算し、その後そのブロック内のすべてのピクセルの色を平均色に設定することが可能である。このプロセスは、ブロックのDCコンポーネントのみを保有することに等しい。刈り込まれたブロックを低解像度ブロックに置き換えることが決定された場合、低域通過フィルタが入力ブロックに適用され、そしてそのブロックは、低域通過フィルタされるバージョンに置き換えられる。平坦ブロックを使用するのであれ低解像度ブロックを使用するのであれ、その低域通過フィルタのパラメータは、使用される復元アルゴリズムのタイプによって判定されなければならない。

0053

<メタデータの符号化および復号化>
回復プロセスの刈り込まれたブロックを正しく復元するために、ブロックの位置を、メタデータによって表されるとおりに、復号器側に送らなければならない。ある簡易な手法は、汎用ロスレスデータ圧縮アルゴリズムを使用して位置データを圧縮するものである。しかし、本システムの場合、刈り込まれたブロックは、低解像度ブロックまたは平坦ブロックであり、その低解像度ブロックまたは平坦ブロックは、刈り込まれたブロックが高周波数信号を含むか否かを検出することによって特定され得るという事実によって、よりよい圧縮効率を実現することが可能である。

0054

刈り込まれるブロックの最大周波数をFmとし、刈り込み及び復元アルゴリズムによって予め決められていると仮定すると、最大周波数Fmよりも大きい単一コンポーネントエネルギーを計算することが可能である。そのエネルギーが閾値よりも小さい場合、そのブロックは、潜在的な刈り込みブロックである。これを、最初に低域通過フィルタをブロック画像に適用して、その後フィルタされたブロック画像をその入力ブロック画像から減じ、続いてその高周波数信号のエネルギーを計算することによって実現することができる。

0055

数学的には以下のとおりである。
E=|B−HB| (1)
この式において、Eは、高周波数信号のエネルギーであり、Bは、入力ブロック画像であり、Hは、帯域幅Fmを有する低域通過フィルタであり、HBは、Bが低域通過フィルタされたバージョンである。|.|は、画像のエネルギーを計算する関数である。

0056

しかし、上記のプロセスは、刈り込まれていないブロックも平坦または滑らかである恐れがあるので、100パーセント信頼できるものではない。従って、「残余」即ち、識別プロセスによって誤検出されたブロックの座標および欠損したブロックの座標を復号器に送ることも必要である。

0057

理論的には、それらの3つのコンポーネント、即ち、閾値、誤検出されたブロックの座標、および欠損したブロックの座標を復号器側に送ることが可能である。しかし、プロセスをより簡易にするため、符号器側において、刈り込まれたすべてのブロックが識別されるように、閾値が異なってもよい。このようにして、欠損したブロックがなくなる。このプロセスは、低い高周波数エネルギーを有する刈り込まれていないブロックである、いくつかのブロックを結果として誤検出する恐れがある。従って、誤検出されたブロックの数が刈り込まれたブロックの数よりも多い場合、刈り込まれたすべてのブロックの座標がただちに送られ、そして信号フラグが0に設定される。多くない場合、誤検出されたブロックの座標が送られ、そして信号フラグが1に設定される。

0058

図10を参照すると、メタデータ符号化の例示的な方法を参照番号1000で大まかに示している。ステップ1005において、刈り込まれたフレームが入力される。ステップ1010において、低解像度ブロックの識別が実行される。ステップ1015において、低解像度ブロックの識別において欠損があるか否かを判定する。欠損がある場合、方法は、ステップ1020に進む。欠損がない場合、方法は、ステップ1050に進む。ステップ1020において、刈り込まれたブロックの数よりも誤検出の数が多いか否かを判定する。多い場合、方法は、ステップ1040に進む。多くない場合、方法は、ステップ1045に進む。ステップ1040において、刈り込みブロックシーケンスが使用され、そしてフラグが0に設定される。ステップ1025において、差分(differentiation)が実行される。ステップ1030において、ロスレス符号化が実行される。ステップ1035において、符号化されたメタデータが出力される。ステップ1045において、誤検出シーケンスが使用され、そしてフラグが1に設定される。ステップ1050において、閾値が調整される。

0059

従って、以下の例示的なメタデータシーケンスが与えられる。
[フラグ] [閾値] [符号化された座標シーケンス]
「フラグ」セグメントは、次のシーケンスが誤検出ブロックまたは刈り込みブロックの座標であるかどうかを示す2進数である。「閾値」数は、数式(1)を使用した低解像度または平坦ブロックの識別に使用される。

0060

図11を参照すると、メタデータ復号化の例示的な方法を参照番号1100で大まかに示している。ステップ1105において、符号化されるメタデータが入力される。ステップ1110において、ロスレス復号化が実行される。ステップ1115において、逆差分が実行される。ステップ1120において、フラグ=0か否かを判定する。0である場合、方法は、ステップ1125に進む。0でない場合、方法は、ステップ1130に進む。ステップ1125において、座標シーケンスが出力される。ステップ1130において、低解像度ブロックの識別が実行される。ステップ1135において、誤検出が除去される。ステップ1140において、座標シーケンスが出力される。

0061

引き続き図11を参照すると、ブロック座標を復号器側に送るのに、ピクセル座標ではなくブロック座標が使用される。フレーム内にMブロックがある場合、その座標番号を1からMまでの範囲にしなければならない。さらに、復元プロセス中にブロックの依存性がない場合、最初に座標番号とその前の座標番号との差を計算し、そして差分シーケンスを符号化する、差分符号化スキームを使用して、そのブロックの座標番号が増分シーケンスになるように分類することができる。例えば、座標シーケンスが3、4、5、8、13、14であると仮定すると、その差分シーケンスは、3、1、1、3、5、1になる。この差分プロセスは、数字を1に近付くようにさせるので、結果として小さいエントロピーで数が分散する。データが小さいエントロピーを有する場合、情報理論に従ってそのデータを小さい符号長に符号化することができる。結果とし得られた差分シーケンスを、例えば、ハフマン符号などの、ロスレス圧縮スキームによってさらに符号化することができる。復元プロセス中にブロックの依存性がない場合、その差分プロセスを単に省くことができる。ブロックの依存性があるか否かは、実際には、復元アルゴリズムの種類によって判定される。

0062

メタデータの復号化プロセス中、復号器側のプロセッサは、最初に、受け取った閾値を使用して低解像度ブロックの識別プロセスを実行する。受け取った「フラグ」セグメントに従って、メタデータの復号化プロセスは、次のシーケンスが誤検出ブロックシーケンスまたは刈り込みブロックシーケンスであるか否かを判定する。復元プロセス中にブロックの依存性がない場合、次のシーケンスは、最初に、座標シーケンスを生成するのに逆差分される。「フラグ」に従って、そのシーケンスが刈り込みブロックシーケンスの座標である場合、プロセスは、そのシーケンスを結果として直接出力する。そのシーケンスが誤検出シーケンスである場合、復号器側のプロセスは、最初に、低解像度ブロックの識別プロセスによって識別された結果であるブロックシーケンスを取り、その後誤検出シーケンスに含まれるすべての座標を除去する。

0063

異なるメタデータ符号化スキームを、例えば、ブロックIDを復号器側に直接送るなどに使用することができることが認識されよう。これらと他の変形形態は、本明細書で提示された本発明の原理の教示を所与として当業者によって容易に企図される。

0064

<復元プロセス>
復元プロセスは、刈り込まれたビデオが復号化された後に実行される。復元の前に、刈り込まれたブロックの位置は、本明細書で説明したように、メタデータを復号化することによって得られる。

0065

各ブロックに対し、刈り込まれたブロック内のコンテンツを回復する復元プロセスが実行される。さまざまなアルゴリズムを復元に使用することができる。復元の一例として画像修復があり、画像内の欠損したピクセルを隣接ピクセルで補間することによって復元する。提示された本手法において、刈り込まれた各ブロックは、低解像度ブロックまたは平坦ブロックに置き換えられ、そしてその低解像度ブロックまたは平坦ブロックによって搬送された情報を、回復プロセスを容易にする副次的情報(side information)として使用することができるので、より良い回復精度を実現することができる。ブロック回復モジュールを従来の修復及びテクスチャ合成ベースの方法などの、任意の回復スキームによって置き換えることができる。図12を参照すると、例示的なブロックIDを参照番号1200で大まかに示している。

0066

本発明の原理のこれらおよび他の特徴および利点は、本明細書の教示に基づいて当業者によって容易に解明されるであろう。本発明の原理の教示は、さまざまな形式のハードウェア、ソフトウェア、ファームウェア、専用プロセッサ、またはそれらの組み合わせに実装されてよいことを理解されたい。

0067

最も好適には、本発明の原理の教示は、ハードウェアとソフトウェアとの組み合わせとして実装される。さらに、ソフトウェアは、プログラム記憶装置に明示的に具体化されるアプリケーションプログラムとして実装されてもよい。アプリケーションプログラムは、適した任意のアーキテクチャを備えるマシンアップロードされ、そしてそのマシンによって実行されてもよい。好適には、マシンは、1または複数の中央処理装置(「CPU」)、ランダムアクセスメモリ(「RAM」)、および入力/出力(「I/O」)インタフェースなどの、ハードウェアを有するコンピュータプラットフォームに実装される。コンピュータプラットフォームは、オペレーティングシステムおよびマイクロ命令コードを含むこともできる。本明細書で説明したさまざまなプロセスおよび機能は、マイクロ命令コードの一部またはアプリケーションプログラムの一部、またはそれらの任意の組み合わせのいずれであってもよく、CPUによって実行できる。さらに、他のさまざまな周辺装置を、付加的なデータ記憶装置および印刷装置などの、コンピュータプラットフォームに接続できる。

0068

一部の構成システムコンポーネントおよび添付図面で示した方法は、好適にはソフトウェアに実装されるので、システムコンポーネントまたは処理機能ブロック間の実際の接続は、本発明の原理がプログラムされる方法に応じて異なる場合もあることをさらに理解されたい。本明細書の教示を所与として、当業者は、本発明の原理のこれらおよび同様の実装または構成を企図できるであろう。

0069

例示的な実施形態は、添付図面を参照して本明細書で説明されているが、本発明の原理は、そのような詳細な実施形態に限定されず、本発明の原理の範囲または精神から逸脱せずに当業者によってさまざまな変更および改良がそれらの実施形態に行われてよいことを理解されたい。そのようなすべての変更および改良は、添付の特許請求の範囲に記載されるように本発明の原理の範囲内に含まれることを意図する。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

新着 最近 公開された関連が強い 技術

この 技術と関連性が強い 技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する挑戦したい社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ