図面 (/)

技術 3D分解を用いてフレームシーケンスを符号化する方法、複数のブロックを有する画像中の1つのブロックを符号化する方法、これらの符号化方法によって符号化されたフレームシーケンスを復号化する方法、これらの符号化方法により符号化されたデータの例えば送信又は受信を含む使用、符号化及び/又は復号化装置、並びに符号化及び/又は復号化方法のためのコンピュータプログラム、システム又はコンピュータ読み取り可能な記憶媒体

出願人 ミツビシ・エレクトリック・アールアンドディー・センター・ヨーロッパ・ビーヴィ
発明者 レセック・シープリンスキーソラウシュ・ガンバリ
出願日 2005年9月1日 (15年2ヶ月経過) 出願番号 2005-253975
公開日 2006年4月6日 (14年7ヶ月経過) 公開番号 2006-094483
状態 未査定
技術分野 TV信号の圧縮,符号化方式 TV信号の圧縮,符号化方式 圧縮、伸長・符号変換及びデコーダ
主要キーワード 外側境界線 誤差測度 果ブロック 動作推定 空間解析 誤差伝播 サンプリング格子 誤差伝搬
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2006年4月6日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (7)

課題

3D分解を用いてフレームシーケンスを符号化する方法。

解決手段

本方法は、フレームブロックに分割すること、及び、ブロックを符号化することを含み、現ブロックの符号化は、同一フレーム中の少なくとも1つの近傍ブロックを評価すること、及び、当該少なくとも1つの近傍ブロックの評価に基づいて、近傍ブロックに対応する現ブロックの領域のデータを符号化するかどうかについて判定を行うことを含む。

概要

背景

Jens-Rainer Ohmの論文「動作補償を用いた3次元サブバンド符号化(Three-Dimensional Subband Coding with Motion Compensation)」並びにChoi及びWoodsの論文「ビデオの動作補償3Dサブバンド符号化(Motion-Compensated 3-D Subband Coding of Video)」は、3Dサブバンド符号化を記載する参考文献である。簡単に言えば、ビデオシーケンス中ピクチャグループ(GOP)等の画像シーケンスを、動作補償(MC)時間解析とそれに続く空間ウェーブレット変換によって時空間サブバンドに分解する。代替的な手法では、時間解析ステップ空間解析ステップを逆の順序で行ってもよい。結果として得られるサブバンド係数をさらに送信のために符号化する。

動作補償ウェーブレットビデオ符号化においてよく知られた問題は、フレームの特定の領域/ブロックの動作推定が完全に失敗したか、又は不満足品質であることで時間フィルタリングを行うことができない場合に起こる。従来技術では、この問題は、低域通過フレームを生成する際には時間フィルタリングを適用せず高域通過フレームの生成には動作補償予測を行うことによって解決された。後者の問題は、結果として得られる高域通過フレームのブロックが比較的高いエネルギー(高い値の係数)を持つ傾向があり、それがさらなる圧縮ステップに悪影響を与えることである。本出願人の以前の特許出願であるEP出願第03255624.3号では、生成を改善するために高域通過フレームの問題ブロックフレーム内予測を用いるという発想を導入した。当該発明において、ブロックは、時間的に近傍にあるフレームからではなく、現フレームの空間的な近傍から予測される。異なる予測モードを使用することができ、そのいくつかが上記特許出願に記載されている。

フレーム内予測を用いるほとんどのビデオ符号化方式(例えば、MPEG−4パート10/H.264)は、予測が、以前に処理されたブロックのみをブロックのスキャン順で用いるように制限する。この制限は、ウェーブレットによる符号化の場合には常に必要であるわけではない。これは、上記の出願に述べられており、さらに、Wu及びWoodsの論文「MC−EZBCビデオコーダのための指向性空間Iブロック(Directional Spatial I-blocks for MC-EZBC Video Coder)」(ICASSP 2004, May 2004、それ以前の2003年12月にMPEGに提出されている)において検討されている。この論文における新規の要素は、補間の使用、そして高域通過フレームブロックの形成の予測である。こうした補間の一例を添付図面の図1に示す。図1では、現ブロックの左側のブロックと右側のブロックとの間の補間を使用する。

横及び縦以外の予測/補間方向では状況はより複雑になり、使用する必要のあるブロック数が著しく多くなる場合がある。これを添付図面の図2に示す。図2もまた、この場合はブロックの一部(明るいグレー)が利用できないために補間されるのではなく予測されることを示す。

Wu及びWoodsの論文に述べられているように、予測及び補間における非因果方向(所与のブロックについて、因果方向はスキャン順で先行するブロックに相当し、非因果方向はスキャン順で後続するブロックに相当する)の使用は、例えば2つのブロックが互いから予測される状況を回避するとともに、エンコーダデコーダの間の整合性を確保するために、ブロックの可用性注意深く検討することを必要とする。Wu及びWoodsの論文において提案されている解決策は、以下の2回掃引(two-sweep)手順を使用することである。
1.1回目の掃引では、DEFALTデフォルト)モードのブロック(すなわち動作推定が成功したと考えられるブロック)のみを予測子(predictor)として用いる。フレーム内予測から得られたMSEを動作補償の場合のMSEと比較し、フレーム内予測で得られるMSEのほうが小さくなるブロックをフレーム内予測されたものとしてマークする。
2.2回目の掃引では、第1のステップにおいてフレーム内予測されたものとしてマークされなかったブロックをすべて予測子に用いる。これは、より多くの近傍をフレーム内予測ブロックの予測/補間に用いることができることを意味し、高域通過ブロックのMSEを低減する傾向がある。

フレーム内補間手法に対するいくつかの改良が、本出願人による別の以前の特許出願であるEP04254021.1に記載されており、この出願では、ブロック制限と呼ばれる、誤差伝播の影響を制限する方法が導入された。この制限が行われると、フレーム内予測を、それ自体はフレーム内予測されていないブロック/画素のみから行うことができる。この出願では、新規の3ステップモード選択アルゴリズム、及び低ビットレートにおいて視覚アーチファクトを低減するためのいくつかの技法も提案されている。

上述の技法はいくつかの問題を有する。その1つは、フレーム内予測されたブロックを用いてフレーム内予測を繰り返し行う場合の量子化誤差伝播である。一方で、ブロック中の画素の値を明示的に符号化する場合、それらの値は、送信する必要のあるビット数を増やし、よって圧縮性能を損なう。

概要

3D分解を用いてフレームシーケンスを符号化する方法。 本方法は、フレームをブロックに分割すること、及び、ブロックを符号化することを含み、現ブロックの符号化は、同一フレーム中の少なくとも1つの近傍ブロックを評価すること、及び、当該少なくとも1つの近傍ブロックの評価に基づいて、近傍ブロックに対応する現ブロックの領域のデータを符号化するかどうかについて判定を行うことを含む。

目的

Wu及びWoodsの論文において提案されている解決策は、以下の2回掃引(two-sweep)手順を使用することである

効果

実績

技術文献被引用数
1件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

3D分解を用いてフレームシーケンスを符号化する方法であって、前記フレームブロックに分割すること、及び、該ブロックを符号化することを含み、現ブロックの符号化が、同一フレーム中の少なくとも1つの近傍ブロックを評価すること、及び、該少なくとも1つの近傍ブロックの評価に基づいて、近傍ブロックに対応する前記現ブロックの領域のデータを符号化するかどうかについて判定を行うことを含む、3D分解を用いてフレームシーケンスを符号化する方法。

請求項2

ブロックの符号化又は復号化が、少なくとも1つの近傍ブロックからの予測/補間/コピーを含み、近傍ブロックの評価が、該近傍ブロックが予測/補間/コピーに利用できるかを判定することを含む請求項1に記載の3D分解を用いてフレームシーケンスを符号化する方法。

請求項3

近傍ブロックが予測/補間/コピーに利用できない場合、該近傍ブロックに隣接する前記現ブロックの線のデータを符号化することを含む請求項2に記載の3D分解を用いてフレームシーケンスを符号化する方法。

請求項4

ブロックをサブサンプリングすること、及び、該サブサンプリングされたブロックを処理することを含む請求項1ないし3のいずれか一項に記載の3D分解を用いてフレームシーケンスを符号化する方法。

請求項5

ブロックをサブサンプリングすることであって、それによって、少なくとも外側境界線を有するサブサンプリングされたブロックを生成する、サブサンプリングすること、及び、近傍ブロックの対応する外側境界線が利用できない場合、外側境界線を符号化することを含む請求項4に記載の3D分解を用いてフレームシーケンスを符号化する方法。

請求項6

16×16画素輝度ブロックが4×4以下のブロックにサブサンプリングされ、8×8の色ブロックが2×2以下のブロックにサブサンプリングされる請求項4又は請求項5に記載の3D分解を用いてフレームシーケンスを符号化する方法。

請求項7

前記線をサブサンプリングすることをさらに含む請求項3に記載の3D分解を用いてフレームシーケンスを符号化する方法。

請求項8

近傍ブロックの対応する境界線が符号化される場合、又は、近傍ブロックがフレーム間符号化されている場合、該近傍ブロックは利用可能である請求項2ないし7のいずれか一項に記載の3D分解を用いてフレームシーケンスを符号化する方法。

請求項9

前記ブロックの符号化は、近傍ブロックの予測/補間を用いたフレーム内符号化に基づく請求項1ないし8のいずれか一項に記載の3D分解を用いてフレームシーケンスを符号化する方法。

請求項10

前記ブロックの符号化は、必要に応じて再構成のために近傍ブロックからコピーした画素を用いてサブサンプリングすることに基づく請求項1ないし8のいずれか一項に記載の3D分解を用いてフレームシーケンスを符号化する方法。

請求項11

前記現ブロックの前記近傍ブロックの前記領域における前記符号化データは明示的に符号化される請求項1ないし10のいずれか一項に記載の3D分解を用いてフレームシーケンスを符号化する方法。

請求項12

複数のブロックを有する画像中の1つのブロックを符号化する方法であって、補間を用いて前記ブロックを再構成するために該ブロックをサブサンプリングすることを含み、該サブサンプリングは、再構成が他のブロックからの画素を必要としないように行われる、複数のブロックを有する画像中の1つのブロックを符号化する方法。

請求項13

3D分解符号化におけるフレーム内符号化方法において用いられる請求項12に記載の複数のブロックを有する画像中の1つのブロックを符号化する方法。

請求項14

前記サブサンプリングは、少なくとも、前記ブロックの4つの角にある画素を選択することを伴う請求項12又は請求項13に記載の複数のブロックを有する画像中の1つのブロックを符号化する方法。

請求項15

16×16のブロックを(0,0)、(0,5)、(0,10)、(0,15)、(5,0)、(5,5)、(5,10)、(5,15)、(10,0)、(10,5)、(10,10)、(10,15)、(15,0)、(15,5)、(15,10)、(15,15)の位置においてサブサンプリングすること、又は、8×8のブロックを(0,0)、(0,7)、(7,0)、(7,7)の位置においてサブサンプリングすることを含む請求項12ないし14のいずれか一項に記載の複数のブロックを有する画像中の1つのブロックを符号化する方法。

請求項16

前記ブロック中の画素のみを用いて該ブロックを再構成することをさらに含む請求項12ないし15のいずれか一項に記載の複数のブロックを有する画像中の1つのブロックを符号化する方法。

請求項17

請求項1ないし16のいずれか一項に記載の方法を用いて符号化されたフレームシーケンスを復号化する方法。

請求項18

請求項1ないし16のいずれか一項に記載の方法を用いて符号化されたデータの例えば送信又は受信を含む使用。

請求項19

請求項1ないし17のいずれか一項に記載の方法を実行する符号化及び/又は復号化装置

請求項20

請求項1ないし17のいずれか一項に記載の方法を実行するコンピュータプログラム、システム又はコンピュータ読み取り可能な記憶媒体

技術分野

0001

本発明は、3D(t+2D)ウェーブレット符号化を用いた画像シーケンスビデオシーケンス)の符号化及び復号化に関する。より具体的には、時間分解中に生成される高域通過フレームの部分(ブロック)のフレーム内予測を行う改良された方法を提案する。

背景技術

0002

Jens-Rainer Ohmの論文「動作補償を用いた3次元サブバンド符号化(Three-Dimensional Subband Coding with Motion Compensation)」並びにChoi及びWoodsの論文「ビデオの動作補償3Dサブバンド符号化(Motion-Compensated 3-D Subband Coding of Video)」は、3Dサブバンド符号化を記載する参考文献である。簡単に言えば、ビデオシーケンス中ピクチャグループ(GOP)等の画像シーケンスを、動作補償(MC)時間解析とそれに続く空間ウェーブレット変換によって時空間サブバンドに分解する。代替的な手法では、時間解析ステップ空間解析ステップを逆の順序で行ってもよい。結果として得られるサブバンド係数をさらに送信のために符号化する。

0003

動作補償ウェーブレットビデオ符号化においてよく知られた問題は、フレームの特定の領域/ブロックの動作推定が完全に失敗したか、又は不満足品質であることで時間フィルタリングを行うことができない場合に起こる。従来技術では、この問題は、低域通過フレームを生成する際には時間フィルタリングを適用せず、高域通過フレームの生成には動作補償予測を行うことによって解決された。後者の問題は、結果として得られる高域通過フレームのブロックが比較的高いエネルギー(高い値の係数)を持つ傾向があり、それがさらなる圧縮ステップに悪影響を与えることである。本出願人の以前の特許出願であるEP出願第03255624.3号では、生成を改善するために高域通過フレームの問題ブロックにフレーム内予測を用いるという発想を導入した。当該発明において、ブロックは、時間的に近傍にあるフレームからではなく、現フレームの空間的な近傍から予測される。異なる予測モードを使用することができ、そのいくつかが上記特許出願に記載されている。

0004

フレーム内予測を用いるほとんどのビデオ符号化方式(例えば、MPEG−4パート10/H.264)は、予測が、以前に処理されたブロックのみをブロックのスキャン順で用いるように制限する。この制限は、ウェーブレットによる符号化の場合には常に必要であるわけではない。これは、上記の出願に述べられており、さらに、Wu及びWoodsの論文「MC−EZBCビデオコーダのための指向性空間Iブロック(Directional Spatial I-blocks for MC-EZBC Video Coder)」(ICASSP 2004, May 2004、それ以前の2003年12月にMPEGに提出されている)において検討されている。この論文における新規の要素は、補間の使用、そして高域通過フレームブロックの形成の予測である。こうした補間の一例を添付図面の図1に示す。図1では、現ブロックの左側のブロックと右側のブロックとの間の補間を使用する。

0005

横及び縦以外の予測/補間方向では状況はより複雑になり、使用する必要のあるブロック数が著しく多くなる場合がある。これを添付図面の図2に示す。図2もまた、この場合はブロックの一部(明るいグレー)が利用できないために補間されるのではなく予測されることを示す。

0006

Wu及びWoodsの論文に述べられているように、予測及び補間における非因果方向(所与のブロックについて、因果方向はスキャン順で先行するブロックに相当し、非因果方向はスキャン順で後続するブロックに相当する)の使用は、例えば2つのブロックが互いから予測される状況を回避するとともに、エンコーダデコーダの間の整合性を確保するために、ブロックの可用性注意深く検討することを必要とする。Wu及びWoodsの論文において提案されている解決策は、以下の2回掃引(two-sweep)手順を使用することである。
1.1回目の掃引では、DEFALTデフォルト)モードのブロック(すなわち動作推定が成功したと考えられるブロック)のみを予測子(predictor)として用いる。フレーム内予測から得られたMSEを動作補償の場合のMSEと比較し、フレーム内予測で得られるMSEのほうが小さくなるブロックをフレーム内予測されたものとしてマークする。
2.2回目の掃引では、第1のステップにおいてフレーム内予測されたものとしてマークされなかったブロックをすべて予測子に用いる。これは、より多くの近傍をフレーム内予測ブロックの予測/補間に用いることができることを意味し、高域通過ブロックのMSEを低減する傾向がある。

0007

フレーム内補間手法に対するいくつかの改良が、本出願人による別の以前の特許出願であるEP04254021.1に記載されており、この出願では、ブロック制限と呼ばれる、誤差伝播の影響を制限する方法が導入された。この制限が行われると、フレーム内予測を、それ自体はフレーム内予測されていないブロック/画素のみから行うことができる。この出願では、新規の3ステップモード選択アルゴリズム、及び低ビットレートにおいて視覚アーチファクトを低減するためのいくつかの技法も提案されている。

0008

上述の技法はいくつかの問題を有する。その1つは、フレーム内予測されたブロックを用いてフレーム内予測を繰り返し行う場合の量子化誤差伝播である。一方で、ブロック中の画素の値を明示的に符号化する場合、それらの値は、送信する必要のあるビット数を増やし、よって圧縮性能を損なう。

発明が解決しようとする課題

0009

誤差伝播とビットレートオーバーヘッドとの間でより良いバランスを達成するために、本発明では、適切な場合、例えば、予測又は補間により大きな誤差伝播が生じる場合にのみ追加ビットを送信する適応的な方式を提案する。

0010

本発明の態様を添付の特許請求の範囲に記載する。

課題を解決するための手段

0011

本発明の第1の態様において、ブロックはサブサンプリングされ、サブサンプリングされた値が明示的に符号化され、ブロックの再構成に用いられる。サブサンプリングされた値の一部、特に外側境界線の値は、対応する近傍ブロックが利用できない場合にのみ送信される。そうでない場合、対応する近傍ブロックからの値がコピーされて再構成に用いられる。

0012

本発明の第2の態様は、従来技術のサブサンプリング技法に基づくが、他のブロックを用いずに再構成を行うことができるように異なるサブサンプリング位置を用いる。

0013

本発明の第3の態様において、符号化は、同一フレーム中の他のブロックに対する予測/補間に基づく。近傍ブロックが予測/補間に利用できない場合、現ブロックの、近傍ブロックに対応する位置(例えば当該近傍ブロックに隣接する線)における画素値が明示的に符号化される。

0014

添付図面を参照して本発明の実施形態を説明する。

発明を実施するための最良の形態

0015

本発明の技法は、参照により本明細書中に援用する上記の従来技術文献に記載されているような従来技術の技法に基づく。

0016

上で概説した概念の第1の実施態様において、本発明は、Han及びChaによって記載されているサブサンプリングされたブロックの明示的な符号化を用いた補間手法から出発する。

0017

Han及びChaでは、マクロブロック輝度成分用の16のサブブロックと、色成分用の4つのサブブロックとに分割される。各サブブロックは、サブブロック毎に1つのDC値又は画素値を用いてサブサンプリングされる。より具体的には、サブブロックの一番左上の位置の画素値が選択される。これにより、輝度マクロブロックの4×4表現と、色マクロブロックの2×2表現とが得られる。

0018

サブブロックの代表画素値と、(右、下、及び右下の)3つの近傍サブブロックの代表画素と、補間とを用いてサブブロックが再構成される(さらなる詳細についてはHan及びChaを参照)。

0019

サブサンプリングされた4×4及び2×2のブロックは、近傍ブロックの可用性に応じて(近傍ブロックがフレーム間予測を用いて符号化されている場合は利用できず、近傍ブロックがフレーム内予測を用いて符号化されている場合は利用できる)、近傍ブロック(単数又は複数)とは異なる予測/補間モード、又は固定値128を用いて量子化される。

0020

予測/補間後に、結果として得られた値を、アダマール変換を用いて変換し、次に量子化する。

0021

本発明では、近傍ブロックの状態に応じて現フレーム中の異なる画素組が送信されるようにHan及びChaのブロックモードを変更する。例えば、利用できる周囲のブロックがない場合(以下を参照)、Han及びChaが提案しているような4×4のサブサンプリングされたブロックを送信する。利用できる周囲のブロックが一部のみである場合、利用できないブロックに対応する境界にある画素を送信するが、Han及びChaのサブサンプリングされたブロックにおける他の境界のものは送信しない。全ての周囲ブロックが利用できる場合、周囲ブロックを用いて予測/補間を行い、追加ビット(すなわちHan及びChaのサブサンプリングされたブロックにおける境界のもの)は送信しない。

0022

具体例に進む前に、以下で図3を参照して用いられる表記を明確にしておく。元のHan及びChaの提案では、以下の画素(画素ブロック中の位置を指す)、すなわち、(0,0)、(0,4)、(0,8)、(0,12)、(4,0)、(4,4)、(4,8)、(4,12)、(8,0)、(8,4)、(8,8)、(8,12)、(12,0)、(12,4)、(12,8)、(12,12)がサブサンプリング用の代表画素として選択され、適切な符号化を施した後に送信される。

0023

別法として、本発明では、16×16のブロック中の(0,0)、(0,5)、(0,10)、(0,15)、(5,0)、(5,5)、(5,10)、(5,15)、(10,0)、(10,5)、(10,10)、(10,15)、(15,0)、(15,5)、(15,10)、(15,15)の位置にある画素をサブサンプリングにおいて代表画素として使用することを提案する。これは、ブロックをより良くカバーし、且つ再構成に好ましい。なぜなら、ブロックの再構成のための補間を、元ブロックの画素のみを用いて行うことができ、従来技術のように、いつも利用できるとは限らない隣接ブロックからの画素を必要としないためである。同様に、8×8の色ブロックの場合、(0,0)、(0,7)、(7,0)、(7,7)の位置にある画素値をサブサンプリングに用いる。

0024

この例による処理では、画像中の各マクロブロックを、上で概説し図4に示す改良サブサンプリングを用いて4×4のブロック(輝度)と2×2のブロック(色)にサブサンプリングする。

0025

以後の処理については、以下の一組のサブモード利用可能である。
1.4×4サブモード。このモードでは、輝度についてサブサンプリング格子(0,0)、(0,5)、...(15,15)により4×4のサブサンプリングされたブロックと、格子(0,0)、(0,7)、(7,0)、(7,7)により色について2×2のブロックとを送信する。
2.2×2サブモード。このモードでは、輝度について(5,5)、(5,10)、(10,5)、(10,10)のサンプルからなる2×2のブロックのみを送信し、色成分の係数は送信しない。この場合、図4及び図5に示すように、補間(2×2のブロックからのマクロブロックの再構成)に必要な画素値を近傍ブロックからコピーする。

0026

2つのサブモードのどちらを用いるかという決定は、以前に符号化されたブロックのモードによって決まる。直ぐ上及び左側のブロックが4×4サブモードを用いてフレーム間符号化又はフレーム内予測されている(すなわちブロックが利用可能である)場合、2×2サブモードを用いて現ブロックを符号化し、そうでない場合、4×4サブモードを用いて符号化する。4×4サブモードは、現ブロックが画像の境界にある場合にも用いられる。どちらのサブモードを用いるかという情報は送信する必要がないことに留意されたい。なぜなら、デコーダは、近傍ブロックの可用性に基づいてその情報を復元することができるからである。

0027

上述のコピーパターン近傍画素のスキャン順で最も早いブロックを用いる(例えば、スキャン順で検討中のブロックよりも後にくるブロックにある直下の画素ではなく、スキャン順で検討中のブロックに先行するブロックにある左側の画素からコピーされる左下の角の画素を参照)。代替的な実施態様は、以下のように、近傍ブロックの可用性を検討して最良の予測子を選択する。角の画素(0,0)を一例とし、その近傍を(−1,0)、(−1,−1)及び(0,−1)として示すと、3つの可能性を検討する必要がある。
1.3つの近傍がすべて利用可能である。この場合、それらの中央値を予測子とする。代替的に平均値を用いることもできる。
2.2つの近傍が利用可能である。この場合、その2つの画素の平均を用いる。
3.近傍が1つしか利用できない。この場合、その画素値とする。

0028

同一の手順を他の角の画素についても、画素のインデックスを適宜置き換えて行う。

0029

サブモードで選択されたブロックを、適切なアダマール変換を用いて変換し、量子化する。Han及びChaにおけるような以後のさらなるステップも行うことができる。

0030

上記の例では、サブサンプリング用の画素の位置は、図4及び図5に示すような改良された格子に従って選択されるが、Han及びChaにおけるような他の画素をサブサンプリングに用いることもできる。

0031

より複雑な実施態様では、近傍ブロックの可用性に応じて以下のサブモードを用いる。
1.周囲のブロックがすべて利用可能である場合、中央の、(4,4)、(4,12)(12,4)及び(12,12)の位置(Han及びChaのサブサンプリングを使用)又は(5,5)、(5,10)、(10,5)及び(10,10)の位置(提案する代替的なサブサンプリングを使用)にある4つの画素のみを送信(適切に符号化)する。
2.1つのブロックが利用できない場合、境界にある4つの画素をさらに送信する。例えば、左のブロックが利用できない場合、(0,0)、(5,0)、(10,0)及び(15,0)又は(3,0)、(6,0)、(9,0)及び(12,0)を送信する。
3.2つの対向するブロックが利用できない場合、2組の行及び列をさらに送信する。例えば、左右のブロックが利用できない場合、上記の第2点目と同じ画素組と、2番目座標を15に置き換えた対応する画素組、すなわち(0,15)、(5,15)等とを送信する。
4.2つの隣接するブロックが利用できない場合、さらに4つ(又は、そのうちの1つが隣接する組と同じである場合には3つ)の画素を加える。例えば、左及び上のブロックが利用できない場合、対応する2組について、上記の2番目の場合と同じ画素と、(0,5)、(0,10)、(0,15)又は(0,3)、(0,6)、(0,9)及び(0,12)とを送信する。
5.利用できるブロックが1つのみである場合、もう1行又はもう1列の画素を加える。例えば、左及び上下のブロックが利用できない場合、画素(15,5)、(15,10)及び(15,15)又は(15,3)、(15,6)、(15,9)及び(15,12)を送信する。
6.利用できるブロックがない場合、(0,0)、(0,4)、(0,8)、(0,12)、...、(12,12)又は(0,0)、(0,5)、(0,10)、(0,15)、(5,0)、...(15,15)の位置に対応する4×4のサブブロックを送信する。この場合、Han及びChaと同じ(又は同様であるが異なるサンプリングを用いた)4×4のブロックとなることに留意されたい。

0032

上記において、ブロックは、フレーム間符号化されている場合、又は処理中の現ブロックとの境界にある画素が明示的に符号化された場合に「利用可能」である。

0033

画素ができる限り均一に分散するようにするために、いくつかの変更を加えて、例えば、1の場合に送信される中央の画素の位置を(4,4)及び(12,4)から(4,5)及び(12,5)に変更することによって、補間/予測の距離をさらに最適化することができる。そうすることが適切であるかどうかは、付加的な実施上の複雑度と、結果として得られる画素組の符号化効率とによって決まる。

0034

この手法は、以前に処理されたブロックのみから予測を行うか、完全な補間を行うかに応じて適応させることもできる。前者の場合、非因果ブロックはすべて単純に使用不可能としてマークされ、対応するサブサンプリングされた画素が明示的に符号化される。

0035

これらの場合をいくつか組み合わせて、モード数ひいては双方のエンコーダの複雑度を低減することも有利であり得る。例えば、利用可能な近傍ブロックが1つのみである場合、特に4×4のブロックは4×3のブロックよりも遥かに多くのビットを必要としない場合があるため、ブロック間予測を使用しても仕方がない場合がある。したがって、モード5を省いてモード6を代わりに用いてもよい。代替的に、近傍ブロックが利用できる方向により密なサンプリングを用いた4×4のブロックを形成することもできる。例えば、左のブロックのみが利用できる場合、サンプリングは、(0,0)、(0,5)、(0,10)、(0,15)、(5,0)、(5,5)、(5,10)、(5,15)、(10,0)、(10,5)、(10,10)、(10,15)、(15,0)、(15,5)、(15,10)、(15,15)から(0,3)、(0,7)、(0,11)、(0,15)、(5,3)、(5,7)、(5,11)、(5,15)、(10,3)、(10,7)、(10,11)、(10,15)、(15,3)、(15,7)、(15,11)、(15,15)に変更し、改良サンプリングとすることができる。

0036

2×2の正方形ブロックは、Wan及びChaによって記載されている4×4のアダマール変換に似た2×2のアダマール変換を用いて符号化される(4×4のブロックも同様に符号化される)。ブロック境界にある1Dの線を、1D変換を用いて符号化する。代替的に、結果として得られる正方形でない画素組を、対称拡張を用いて拡大して正方形のブロックを生成し、次に、正方形のブロックと同様に符号化することができる。

0037

サンプリングの他の変形を使用することもできる。1つの可能性として、常に中央の同じ2×2のブロック(すなわち、同じ画素位置の値)を送信し、近傍画素が利用できない境界については4画素の線を加えることがある。

0038

上述の実施態様は、16×16のブロックサイズを用いる。さまざまなブロックサイズに対して、サンプリングを適切にスケーリングした上で同様の技法を使用することができる。異なるサブサンプリング比を用いること、例えば16×16のブロックを8×8にマッピングすること、等もできる。

0039

使用するフレーム内符号化モード(すなわち、既知のフレーム内符号化モード及び本発明によるモードを含むさまざまなフレーム内符号化モードのうちのいずれか)は、適切な決定機構に基づいて選択してもよい。こうした機構の例として次のものがある。
1.ブロック制限を用いないWu及びWoodsの枠組みの場合と同様の最小MAD又はMSE誤差
2.同じ誤差測度であるが、EP04254021.1の「ブロック制限」をオン切り換えフレーム内予測モードの誤差においてこれを考慮に入れる。さらに、フレーム内予測ブロックに囲まれているためにフレーム内予測を使用することができないブロックについてはフレーム内符号化モードも評価する。
3.Han及びChanに記載されているような、全てのフレーム間及びフレーム内符号化モードに対するレート−歪みの枠組みにおけるフルコストの計算。レート−歪みの最適化が非因果的な予測/補間方向と併せて用いられる場合、ブロックの可用性を正確に特定し、エンコーダとデコーダの間の整合性を維持するには複数パスの処理が必要となる。レート−歪みの最適化を単純化するために、1回目のパスで実際に、利用できる近傍ブロックがないと仮定し、したがって各ブロックのコストを正確ではないが個別に計算できるようにしてもよい。

0040

別の実施形態における代替的な手法は、例えばEP04254021.1に記載されているような方向予測/補間の枠組みから開始して、近傍ブロックが利用可能でない場合にブロックモードの意味を変更することである。この実施形態において、ブロック内符号化は、上の例におけるようなサブサンプリング/再構成ではなく近傍ブロックからの予測/補間に基づく。

0041

この手法では、近傍ブロックが利用できない場合、境界にある画素線のみが明示的に符号化される。例えば、横方向の補間モードが使用されている場合、以下の3つの場合が検討される。
左側のブロックが利用できない場合:現ブロックの左側の線を符号化してビットストリームで送信する。
右側のブロックが利用できない場合:現ブロックの右側の線を符号化してビットストリームで送信する。
左右両側の近傍ブロックが利用できない場合:現ブロックの左右の線を符号化して送信する。

0042

以前に復号化されたブロックからの予測のみが許可される場合、以前に復号化された近傍ブロックに対応する画素線のみを検討する。例えば、左側のブロックからの横方向の予測を用いる場合、現ブロックの左側の線のみを送信することが可能である。代替的に、非因果方向に対応するブロックは、利用不可能であるかのように扱うことができる。すなわち、現ブロック間の境界上の線は、補間に必要であれば常に送信することができる。

0043

予測/補間を改善し量子化誤差の影響を低減するために、ブロック中のさらなる画素を符号化して送信することができる。上記で検討した横方向の例では、縦の線に適切なサブサンプリングを施した上で符号化する。同様に、縦方向及び他の方向では、予測方向に垂直な画素線を符号化して送信する。代替的に、図4及び図5に示すものと同様のサンプリング格子を用いることができる。

0044

第1の実施形態と同様に、画素線を符号化する前にサブサンプリングしてすることができる。

0045

画素線の明示的な符号化を、従来技術(例えばEP04254021.1)で規定されている補間/予測モードと併せて用いることができる。この場合、画素線の明示的な符号化を、VLC設計に組み込まれる1ビットのフラグで信号伝達するか、又は、適応的なエントロピー符号器を使用する場合、現在のモードの確率に応じて適応的に符号化することができる。

0046

レート−歪みの枠組みをモード選択に用いる場合、ブロック間予測/補間を用いるモードにペナルティー課す項をコスト関数に含めて、デコーダにおける誤差伝搬を低減するようにすることが有益であり得る。

0047

本発明は、適切な変更を施した従来技術のシステムと同様のシステムを用いて実施することができる。例えば、符号化システム基本構成要素は、MCTF(動作補償時間フィルタリング)モジュールを、上述の実施形態のような処理を実行するように変更することを除いて、図6に示すようなものとすることができる。

0048

本明細書において、「フレーム」という用語は、フィルタリング後のものを含む画像単位記述するために用いられるが、この用語は、画像、フィールドピクチャ、又は、画像、フレーム等のサブユニット若しくは領域といった他の同様の専門用語にも当てはまる。画素及び画素ブロック又は画素グループという用語は、適切な場合に置き換え可能に用いられ得る。本明細書において、画像という用語は、文脈から明らかである場合を除き、画像全体又は画像の一領域を意味する。同様に、画像の一領域は画像全体を意味し得る。画像はフレーム又はフィールドを含み、静止画、又は、フィルム若しくはビデオのような画像シーケンス中、又は関連する画像グループ中の画像に関連する。

0049

画像は、グレースケール画像又はカラー画像であっても、別のタイプのマルチスペクトル画像、例えばIR画像UV画像若しくは他の電磁画像、又は音像(acoustic image)等であってもよい。

0050

文脈から明らかである場合を除き、又は当業者には理解される通り、フレーム内予測は補間を、補間はフレーム内予測を意味することがあり、予測/補間は予測又は補間、又はその両方を意味するため、本発明の一実施形態は、予測のみ又は補間のみ、又は予測と補間の組み合わせ(フレーム内符号化の場合)、及び動作補償/フレーム間符号化を含む可能性があり、ブロックは1つのブロックからの1つ又は複数の画素を意味し得る。

0051

本発明は、例えば適切なソフトウェア及び/又はハードウェアの変更を施したコンピュータシステムにおいて実施することができる。例えば、本発明は、プロセッサ又は制御装置のような制御又は処理手段、メモリ磁気記憶装置、CD、DVD等のような画像記憶手段を含むデータ記憶手段、ディスプレイ若しくはモニタ又はプリンタのようなデータ出力手段、キーボードのようなデータ入力手段、及びスキャナのような画像入力手段、又はかかる構成要素の任意の組み合わせを付加的な構成要素とともに有するコンピュータ又は同様のものを用いて実施することができる。本発明の態様は、ソフトウェア形態及び/又はハードウェア形態で、又は特定用途向け装置において提供することができるか、又はチップのような特定用途向けモジュールを提供することができる。本発明の一実施形態による装置におけるシステムの構成要素は、例えばインターネットを介して他の構成要素から遠隔して設けてもよい。図6コーダを示し、対応するデコーダは例えば、逆の復号化動作を行うための対応する構成要素を有する。

0052

他のタイプの3D分解及び変換を用いてもよい。例えば、本発明は、初めに空間フィルタリングを行い、その後に時間フィルタリングを行う分解方式において適用することができる。

0053

以上の説明において、ブロックの「利用可能である」という定義は、当業者には明らかであるように、文脈並びに使用されている符号化のタイプ及び方式に依存する。

図面の簡単な説明

0054

横方向のフレーム内補間を示す図である。
対角線方向のフレーム内補間を示す図である。
16×16画素のブロックを表す図である。
16×16のブロック用のサブサンプリング格子を示す図である。
8×8のブロック用のサブサンプリング格子を示す図である。
本発明の一実施形態による装置のブロック図である。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 株式会社東芝の「 AD変換回路」が 公開されました。( 2020/09/24)

    【課題】一つの実施形態は、信号に含まれる誤差を低減できるAD変換回路を提供することを目的とする。【解決手段】一つの実施形態によれば、AD変換回路の第1のΔΣ変換回路において、第1の量子化器は、1.5ビ... 詳細

  • 株式会社デンソーの「 データ圧縮方法、データ圧縮装置」が 公開されました。( 2020/09/24)

    【課題】データを可逆的且つ効率よく圧縮することができるデータ圧縮方法、データ圧縮装置を提供する。【解決手段】実施形態のデータ圧縮方法は、文字および数字の少なくとも一方を含むデータを圧縮するものであって... 詳細

  • シャープ株式会社の「 画像スケーリング変換、逆変換装置及び方法」が 公開されました。( 2020/09/24)

    【課題】画質の低下を抑制可能な画像処理装置を実現する。【解決手段】画素スケーリング階調変換部(51)は、入力画像の各画素値にオフセットを加算又は減算したうえでスケーリングすることによりスケーリング済画... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ