図面 (/)

技術 拡張画像の符号化方法、拡張画像の復号化方法、拡張画像符号化装置、拡張画像復号化装置、及び拡張画像記録媒体

出願人 日本ビクター株式会社
発明者 菅原隆幸
出願日 2001年6月8日 (19年5ヶ月経過) 出願番号 2001-173767
公開日 2002年12月20日 (17年11ヶ月経過) 公開番号 2002-369220
状態 特許登録済
技術分野 カラーテレビジョン方式 TV信号の圧縮,符号化方式 TV信号の圧縮,符号化方式 圧縮、伸長・符号変換及びデコーダ
主要キーワード 円盤型記録媒体 CM値 デジタルVTR データ分離器 Cモード 画素フォーマット 有限空間 積分変換
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2002年12月20日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (17)

課題

標準方式メインプロファイルにより符号化されて伝送される圧縮符号化信号の伝送フォーマットを変更せずに上位階層構造の画像データを伝送する拡張符号画像伝送装置の構成を提供することにある。

解決手段

国際標準とされる符号化規格に基づいた符号化ビットストリームを生成する際に、挿入が許可されるユーザデータ記録領域に、上位階層構造の画像データを得るための差分画像信号を符号化し、挿入して伝送するようにし、通常の復号化器はメインプロファイル符号化標準による画像信号を、またユーザデータ領域で伝送される差分画像信号を復号化可能な復号化器は、通常復号化画像復号した差分画像信号を加算することにより上位階層の画像信号を得るように構成して実現した。

概要

背景

テレビジョン信号などの動画像信号高能率符号化する技術として、いわゆるMPEG(moving picture experts group)規格ディジタル放送、DVD(Digital versatile Disc)、ディジタルテープレコーダ、及び通信ネットワーク伝送される信号として広く用いられるようになってきた。

そのMPEGは、1988年ISO/IEC(International Organization for Standardization / International Electrotechnical Commission)のJTC1/SC2(Joint Technical Committee 1 / Sub committee 2国際標準化機構/国際電気標準化会合技術委員会1/専門部会2)に設立された動画像符号化標準を検討する組織である。

そのSC2は、現在SC29として動画、及び音響信号等の符号化に係る規格制定活動を継続しており、またMPEGの人達により制定された国際標準は通俗的にMPEGとも呼ばれている。

最初に制定されたMPEG1(MPEGフェーズ1)は1.5Mbps程度の伝送レートで記録される蓄積メディアを対象とした、音響信号の付随される動画信号符号化標準で、静止画の符号化を目的とするJPEG(Joint Photographic Coding Experts Group)と、ISDN(Integrated services digital network)のテレビ会議テレビ電話の低転送レート用の動画像圧縮を目的としたH.261(CCITTSGXV、現在のITU-T SG15で標準化)の基本的な技術を用いた符号化標準である。

そのようにしてMPEG1は1993年8月に、ISO/IEC11172として制定され、そのMPEG1規格により符号化されて記録されたディスクは多く製品化されている。

その後制定されたMPEG2(MPEGフェーズ2)は、通信及び放送などの多様なアプリケーションに対応できるように汎用標準を目的として、1994年11月にISO/IEC13818、及び「H.262」として制定されている。

これらのMPEG1及びMPEG2による符号化は複数の符号化技術より構成されており、それらの技術は動画像を構成する「フレーム」画像を「マクロブロック」と呼ばれる16×16画素ブロック毎に分割し、各マクロブロック単位ごとに、時間的に未来または過去に所定の数フレーム離れた参照画像被符号化画像との間で「動きベクトル」と呼ばれる動き量を求め、その動き量を基に参照画像から被符号化画像を符号化する「動き補償予測」技術と、その動き補償予測の誤差信号または被符号化画像そのものに対して、直交変換技術の一つであるDCT(Discrete Cosine Transform :離散コサイン変換)を用いて画像情報周波数情報量に変換し、その変換された周波数領域の情報より視覚的に有意な情報のみを得るようにして圧縮符号化を行う「変換符号化」技術と、の2つの画像符号化要素技術を基にして規定されている。

そして、動き補償予測における予測の方向は、過去、未来、及び過去未来の両方から予測する場合の3モードが存在し、それらの3モードは16画素×16画素のデータよりなるマクロブロックごとに切り替えて使用できるようになされている。

また、それらの予測方向入力画像のフレームに与えられるピクチャタイプ、即ちI(Intra-coded)、P(Predictive-coded)、及びB(Bidirectionally predictive-coded)の3種類のピクチャタイプが定められている。

そのIピクチャ動き予測を行わずに符号化するピクチャであるが、Pピクチャには過去からの予測、及び予測を行わずに符号化する2モードが存在しており、またBピクチャには未来からの予測、過去からの予測、過去及び未来の両方向からの予測、及び予測を行わずにフレーム内符号化を行う4つのMC(Motion Compensation)モードがある。

それらの未来、ないしは過去の画像を用いて行う動き補償は、動き領域をマクロブロックごとにパターンマッチングを行ってハーフペル画素間距離の1/2)精度で動きベクトルを求め、求められた動きベクトル量に対応させて未来、ないしは過去の参照画像位置をそのベクトル方向に移動させた画像を基に供給される画像信号の符号化を行う。

そのようにして求められる動きベクトルの方向には水平方向と垂直方向とがあり、それらのベクトル情報はMCモードと共にマクロブロックの付加情報として伝送されるようになされている。

また、そのようにしてなされるピックチャデータのうち、I、P、及びBの3種類のピクチャはIピクチャを先頭として所定の順に並べられて伝送され、そのIピクチャより次のIピクチャの手前のピクチャまでのピクチャ(フレーム画像)の集合をGOP(Group Of Picture)と呼び、通常の蓄積メディアなどでなされる符号化においては、15枚程度のピクチャによりGOPが構成されるようになされている。

そして、Iピクチャ、及び動き補償画像として符号化されるP、及びBピクチャはDCT(discrete cosine transform)、即ち余弦関数を積分核とする積分変換有限空間離散変換する直交変換としてなされる。

その直交変換はマクロブロックを8画素×8画素の輝度信号に係る4個のDCTブロックと、青信号より輝度信号を減算したB−Yと、赤信号より輝度信号を減算したそれぞれ1個の8画素×8画素のDCTブロックに分割されて2次元DCTを行われるが、一般にそれらのDCTブロック画像データの周波数成分は低域成分に多く高域成分は少ないため、画像データはDCTを行い低域周波数に集中された変換係数により表現することができる。

そして、そのDCTされた画像データ(DCT係数)は量子化器量子化が行われる。即ちその量子化器により、DCT係数は所定の量子化値により叙算されて求められるが、その量子化値は8画素×8画素の2次元周波数視覚特性重み付けされた量子化値として得られるが、その量子化値は所定の量子化スケールによりスカラー倍されたものが用いられる。

また、その量子化値は符号化された画像データの復号時に得られる逆量子化値乗算することにより、デコード時にはエンコード時に与えられた量子化値による特性が打ち消されるようになっている。

次に、この様な手法により符号化及び復号化を行うMPEG符号化器の構成について述べる。図15に、MPEG符号化器の構成を示し、その動作の概略を述べる。

そのMPEG符号化器50は入力端子51、加算器52、DCT器53、量子化器54、VLC器55、バッファ56、符号量制御器57、逆量子化器61、逆DCT器62、加算器63、画像メモリ64、及び動き補償予測器65より構成される。

まず、入力端子51に供給された動画信号は動き補償予測器65及び加算器52に供給され、その加算器52では動き補償予測器65より供給される信号は極性反転されて加算され、加算されて得られる信号はDCT器53に供給される。

そのDCT器53では、供給される画像信号は前記の離散余弦変換が行われ、変換して得られるDCT変換係数は量子化器54に供給され、前記所定の量子化値を基に量子化がなされ、量子化のなされた量子化データは逆量子化器61、及びVLC(variable length coding)器55に供給される。

そのVLC器55では、供給された量子化データは可変長符号化されるが、量子化された値のうちDCT変換がなされて得られる直流(DC)成分はDPCM(differential pulse code modulation)変調がなされる。

また、交流(AC)成分は低域周波数成分のデータより高域周波数成分のデータの順にジグザグスキャン(zigzag scan)がされながら得られ、その得られたデータはゼロのラン長および有効係数値を1つの事象とし、出現確率の高いものから順に符号長の短い符号が割り当てられるようにして、ハフマン符号化がなされる。

その可変長符号化である、ハフマン符号化のなされたデータはバッファ56に一時記憶され、一時記憶されたデータは所定の転送レートにより符号化データ出力として供給される。

そして、その供給されるデータのマクロブロック毎発生符号量は、符号量制御器57に供給されて、予め設定されている目標符号量と比較され、比較して得られる発生符号量との差の符号量は量子化器54に供給され、量子化器54ではその差の符号量を基に量子化スケールの値を変更するなどにより所定の転送レートの符号化データが得られるようにして符号量の制御がなされる。

一方、量子化器54で量子化された画像データは逆量子化器61に供給されて逆量子化がなされ、その逆量子化のなされたデータは逆DCT器62に供給されて、そこで逆DCTがなされ、その逆DCTされたデータは加算器63に供給される。

その加算器63では動き補償予測器65より供給される参照画像と加算され、その加算して得られる信号は画像メモリ64に供給されて、そこに一時記憶される。その一時記憶された画像データは、動き補償予測器65において差分画像演算するためのリファレンス復号化画像として用いられることにより、MPEG符号器50より動き補償のされた符号化データとして得られるようになされている。

このようにして得られた符号化データはMPEG復号化器に供給されて復号される。図16に、MPEG復号化器の構成を示し、その動作の概略について述べる。

同図に示すMPEG復号化器70は、データ入力端子71、バッファ72、VLD器73、逆量子化器74、逆DCT器75、加算器76、画像メモリ77、及び動き補償予測器78より構成される。

まず、入力端子71に供給された符号化データはバッファ72に一時記憶され、一時記憶された符号化データは必要に応じてVLD(variable length decoding)器73に供給される。

そのVLD器73では、VLC器55により符号化されたデータの可変長復号が行われ、前述の直流(DC)成分および交流(AC)成分に係るデータが得られる。

それらの得られたデータのうち交流成分のデータはMPEG符号化器50でなされたと同じ低域から高域周波数成分へのジグザグスキャンの順で8×8のマトリックスに配置される量子化データとして得られ、その得られた量子化データは逆量子化器74に供給される。

その逆量子化器74では、前述の量子化マトリックスにより逆量子化がなされ、その逆量子化されて得られるデータは逆DCT器75に供給され、そこでは逆DCT演算がなされて画像データが復号化データとして得られる。

そして、その得られた画像データは画像メモリ77に一時記憶され、一時記憶された画像データは動き補償予測器78に供給され、供給された画像データは動き補償予測における差分画像を演算するためのリファレンス復号化画像として用いられる。

このようにして、動画を構成する画像データはMPEG符号化器50により符号化されて伝送、ないしは記録され、その受信、ないしは再生された符号化データはMPEG復号器70により復号されて動画情報として得られるようになされており、このような手法はMPEG1、及びMPEG2の両者において用いられている。

そのMPEG2による動画信号符号化の用いられ方として、プロファイルとレベルが規定されているが、そのプロファイルにはDVDへの記録、及びデジタル衛星放送で用いられているメイン(Main)プロファイルの他に符号化方法単純化して遅延時間を少なくしたシンプル(Simple)プロファイル、後述のSNRスケーラブル(SNR Scalable)プロファイル、空間解像度階層性を持たせたスペシャルスケーラブル(Spatial Scalable)プロファイル、及び高度の機能を有するハイ(High)プロファイルがある。

そして、これらのプロファイルにおける輝度信号と色差信号サンプル数に係る画像フォーマットは4:2:0画像フォーマットが主として用いられており、4:2:2画像フォーマットはハイプロファイル、ないしは上記プロファイルと並列に規定されている422プロファイルでのみ使用が認められている。

そのようにして、通常のビデオ信号の記録、及び放送には4:2:0画像フォーマットによる画像信号の圧縮符号化がなされており、色信号に対する解像度が高く得られる4:2:2画像フォーマットの信号の記録再生、及び放送はなされていない。

しかし、昨今の情報化社会において、コンピュータを用いて行う画像信号の生成も普及されてきた。そして、従来のカメラ撮影によるような彩度のあまり高くない画像を符号化する場合ではそれほど必要とされなかったが、コンピュータなどで制作された彩度及び解像度の高い信号の符号化に対しては符号化、及び復号化を行って得られる画質劣化が認められるなど、4:2:2画像フォーマットなど彩度の高い色信号に対しても解像度の低下しない信号の符号化が望まれるようになった。

そのような、色信号成分の劣化を少なくした画像信号の符号化及び復号化に係り、特開平9−238366号公報「画像符号化装置及び画像復号化装置及び符号化・復号化システム」は、画像圧縮符号化及び復号化時に生じる色差信号ブロックより発生されるブロック歪成分が、ブロック全体に波及するのを防ぐための符号化方式を開示している。

即ち、その符号化方式によれば、圧縮効率下げないでフォーマット変換を動的に切り替える符号化器・復号化器として、ディジタル化入力画像をフォーマット変換し、量子化し、符号化する画像符号化装置において、フォーマット変換に際して、複数の、所定の輝度信号と色差信号による空間解像度の画像データに変換する複数フォーマット変換部と、設定基準で上記入力画像データまたは量子化画像データまたは他の画像データの状態変化を検出して、上記複数の空間解像度の画像データのどれを出力するかを選択して出力する画像状態判定部とを設けるようにして、選択された空間解像度の画像データを量子化部に供給する方法について開示している。

また、空間解像度を選択して符号化及び復号化を行う、周波数領域の階層符号化を実現する技術として、MPEG2で定められたプロファイルの中に前述のSNRスケーラビリティプロファイルがある。

そのSNRスケーラビリティプロファイルはメインプロファイルの上位にあるSNRプロファイルとして上位互換を取りつつ使用することができるプロファイルであり、そのプロファイルでは、量子化が粗いレイヤ基本レイヤ(Base Layer)、量子化が細かいレイヤを高位レイヤ( Enhancement Layer )として、最初に基本レイヤによる符号化が行われる。

次に符号化の行われる高位レイヤでは、基本レイヤの画像を復号化し、復号化された画像信号と入力画像との差分を計算し、得られた差分画像を基本レイヤよりも小さい量子化スケールで量子化して符号化信号を得るようにすることが規定されている。

このような基本レイヤ及び高位レイヤによる2つの符号化信号を色差信号に対して得るような機能として用いることにより、SNRスケーラビリティと同様な手法を用いて色差信号のサイマルキャスト機能を実現することは可能である。

そのサイマルキャスト機能を用いて、例えば基本レイヤに4:2:0の画像の輝度信号と色差信号を符号化し、高位レイヤでは4:2:2の色差信号のみを符号化するようにして得た2つのビットストリームをサイマルキャスト方式で送信することにより、復号器側では下位レイヤのみ用いて4:2:0信号の受信を、また高位レイヤをも用いて4:2:2画像フォーマットによる画像を得ることが可能とされる。

そのような基本レイヤと高位レイヤにより符号化した2つのビットストリームは、符号化レイヤよりも上位の多重化システムレイヤにて同期が取られながら多重化されて1つのビットストリームとされて伝送されることとなるが、そのようにして伝送されたビットストリームの受信はその多重化された信号を分離し、分離されて得られるそれぞれの2つのビットストリームの信号を2つの復号器により復号し、復号して得られる2つの信号を基に4:2:2画像フォーマットによる復号信号を得るような専用の復号機能を有する復号器を用いて復号を行うこととなる。

概要

標準方式のメインプロファイルにより符号化されて伝送される圧縮符号化信号の伝送フォーマットを変更せずに上位階層構造の画像データを伝送する拡張符号画像伝送装置の構成を提供することにある。

国際標準とされる符号化規格に基づいた符号化ビットストリームを生成する際に、挿入が許可されるユーザデータ記録領域に、上位階層構造の画像データを得るための差分画像信号を符号化し、挿入して伝送するようにし、通常の復号化器はメインプロファイル符号化標準による画像信号を、またユーザデータ領域で伝送される差分画像信号を復号化可能な復号化器は、通常復号化画像に復号した差分画像信号を加算することにより上位階層の画像信号を得るように構成して実現した。

目的

効果

実績

技術文献被引用数
0件
牽制数
3件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

供給される画像信号直交変換して変換画像信号を得、その得られた変換画像信号を可変長符号化して圧縮符号化信号を得る第1のステップと、前記圧縮符号化信号又は前記変換画像信号を復号して復号画像信号を得る第2のステップと、前記復号画像信号と、前記供給される画像信号とを演算して差分画像信号を得る第3のステップと、前記差分画像信号を圧縮符号化して差分画像圧縮符号化信号を得る第4のステップと、前記差分画像圧縮符号化信号を、前記圧縮符号化信号のユーザデータ記録領域に挿入して拡張画像符号化信号を得る第5のステップと、を少なくとも有することを特徴とする拡張画像の符号化方法

請求項2

前記第5のステップにおける差分画像圧縮符号化信号の直前に、予め定めたユニクコードを識別信号として付して前記ユーザデータ記録領域に挿入することを特徴とする請求項1記載の拡張画像の符号化方法。

請求項3

前記第1のステップおいて得られる変換画像信号は4:2:0画像フォーマットによる信号であり、且つ前記第3のステップにおいて得られる差分画像信号は、前記4:2:0画像フォーマットよりも色信号解像度の高い画像フォーマットによる信号であることを特徴とする請求項1記載の拡張画像の符号化方法。

請求項4

供給される画像信号を圧縮符号化して第1の圧縮符号化信号を得、その得られた第1の圧縮符号化信号を復号して得た復号化信号と前記画像信号との差分画像信号を得、その得られた差分画像信号を圧縮符号化して第2の圧縮符号化信号を得、その得られた第2の圧縮符号化信号の頭部にユニークコードを付して前記第1の圧縮符号化信号のユーザデータ記録領域に挿入するようして得られた拡張画像符号化信号が供給され、その拡張画像符号化信号の前記第1の圧縮符号化信号を復号して第1の復号化画像信号を得ると共に、前記拡張画像符号化信号のユーザデータ領域伝送される第2の圧縮符号化信号を復号して第2の復号化画像信号を得る第1のステップと、その第1のステップで得られた、第1の復号化画像信号及び第2の復号化画像信号の加算処理を行うことにより拡張復号化画像を得る第2のステップと、を少なくとも有することを特徴とする拡張画像の復号化方法

請求項5

前記第1の圧縮符号化信号は4:2:0画像フォーマットにより符号化された信号であり、且つ前記差分画像信号は前記4:2:0画像フォーマットよりも色信号解像度の高い画像フォーマットにより符号化された信号であることを特徴とする請求項4記載の拡張画像の復号化方法。

請求項6

供給される画像信号を直交変換して変換画像信号を得、その得られた変換画像信号を可変長符号化して圧縮符号化信号を得る第1の圧縮符号化手段と、その第1の圧縮符号化手段より圧縮符号化信号を得、又は前記第1の圧縮符号化手段より前記変換画像信号を得、得られたそれらの信号の内少なくとも一方の信号を復号して復号画像信号を得る復号化手段と、その復号化手段より得られた復号画像信号と、前記供給される画像信号とを比較演算することにより差分画像信号を得る演算手段と、その演算手段により得られた差分画像信号を圧縮符号化して差分画像圧縮符号化信号を得る第2の圧縮符号化手段と、その第2の圧縮符号化手段により得られた差分画像圧縮符号化信号を、前記第1の圧縮符号化信号のユーザデータ領域に挿入して拡張画像符号化信号を得るユーザデータ挿入手段と、を具備して構成することを特徴とする拡張画像符号化装置

請求項7

前記第1の圧縮符号化手段により得られる圧縮符号化信号は4:2:0画像フォーマットによる信号であり、且つ前記第2の圧縮符号化手段により得られる差分画像圧縮符号化信号は前記4:2:0画像フォーマットよりも色信号解像度の高い画像フォーマットによる信号であることを特徴とする請求項6記載の拡張画像符号化装置。

請求項8

供給される画像信号を圧縮符号化して第1の圧縮符号化信号を得、その得られた第1の圧縮符号化信号を復号して得た復号化信号と前記供給される画像信号との差分画像信号を得、その得られた差分画像信号を圧縮符号化して第2の圧縮符号化信号を得、その得られた第2の圧縮符号化信号の頭部にユニークコードを付して前記第1の圧縮符号化信号のユーザデータ記録領域に挿入するようして得られた拡張画像符号化信号が供給され、その供給された拡張画像符号化信号を復号化する拡張画像復号化装置であって、供給される拡張画像符号化信号より前記第1の圧縮符号化信号を復号して第1の復号化画像信号を得る第1の復号化手段と、前記ユーザデータ記録領域で伝送される第2の圧縮符号化信号を復号して第2の復号化画像信号を得る第2の復号化手段と、その得られた第2の復号化画像信号と、前記第1の復号化画像信号とを加算することにより拡張復号化画像信号を得る加算手段と、を具備して構成することを特徴とする拡張画像復号化装置。

請求項9

画像信号を4:2:0画像フォーマットにより符号化して得られる第1の符号化信号のユーザデータ記録領域に、前記第1の符号化信号により符号化した画像信号と前記符号化前の画像信号との差分に係る差分画像信号を記録する拡張画像記録媒体であって、前記差分画像信号は前記4:2:0画像フォーマットよりも色信号解像度の高い画像フォーマットにより符号化した第2の符号化信号であることを特徴とする拡張画像記録媒体。

技術分野

0001

本発明は、階層性を有する圧縮符号化信号の生成、ないしはその復号に関するもので、特に市場に導入されている圧縮符号化データ互換性を保ちながら、上位階層差分データを同一圧縮符号化データとして生成する拡張画像符号化方法、及び拡張画像の復号化方法と、その方法を搭載した拡張画像符号化装置、及び拡張画像復号化装置と、更にその符号化データを記録した拡張画像記録媒体に関する。

背景技術

0002

テレビジョン信号などの動画像信号高能率符号化する技術として、いわゆるMPEG(moving picture experts group)規格ディジタル放送、DVD(Digital versatile Disc)、ディジタルテープレコーダ、及び通信ネットワーク伝送される信号として広く用いられるようになってきた。

0003

そのMPEGは、1988年ISO/IEC(International Organization for Standardization / International Electrotechnical Commission)のJTC1/SC2(Joint Technical Committee 1 / Sub committee 2国際標準化機構/国際電気標準化会合技術委員会1/専門部会2)に設立された動画像符号化標準を検討する組織である。

0004

そのSC2は、現在SC29として動画、及び音響信号等の符号化に係る規格制定活動を継続しており、またMPEGの人達により制定された国際標準は通俗的にMPEGとも呼ばれている。

0005

最初に制定されたMPEG1(MPEGフェーズ1)は1.5Mbps程度の伝送レートで記録される蓄積メディアを対象とした、音響信号の付随される動画信号符号化標準で、静止画の符号化を目的とするJPEG(Joint Photographic Coding Experts Group)と、ISDN(Integrated services digital network)のテレビ会議テレビ電話の低転送レート用の動画像圧縮を目的としたH.261(CCITTSGXV、現在のITU-T SG15で標準化)の基本的な技術を用いた符号化標準である。

0006

そのようにしてMPEG1は1993年8月に、ISO/IEC11172として制定され、そのMPEG1規格により符号化されて記録されたディスクは多く製品化されている。

0007

その後制定されたMPEG2(MPEGフェーズ2)は、通信及び放送などの多様なアプリケーションに対応できるように汎用標準を目的として、1994年11月にISO/IEC13818、及び「H.262」として制定されている。

0008

これらのMPEG1及びMPEG2による符号化は複数の符号化技術より構成されており、それらの技術は動画像を構成する「フレーム」画像を「マクロブロック」と呼ばれる16×16画素ブロック毎に分割し、各マクロブロック単位ごとに、時間的に未来または過去に所定の数フレーム離れた参照画像被符号化画像との間で「動きベクトル」と呼ばれる動き量を求め、その動き量を基に参照画像から被符号化画像を符号化する「動き補償予測」技術と、その動き補償予測の誤差信号または被符号化画像そのものに対して、直交変換技術の一つであるDCT(Discrete Cosine Transform :離散コサイン変換)を用いて画像情報周波数情報量に変換し、その変換された周波数領域の情報より視覚的に有意な情報のみを得るようにして圧縮符号化を行う「変換符号化」技術と、の2つの画像符号化要素技術を基にして規定されている。

0009

そして、動き補償予測における予測の方向は、過去、未来、及び過去未来の両方から予測する場合の3モードが存在し、それらの3モードは16画素×16画素のデータよりなるマクロブロックごとに切り替えて使用できるようになされている。

0010

また、それらの予測方向入力画像のフレームに与えられるピクチャタイプ、即ちI(Intra-coded)、P(Predictive-coded)、及びB(Bidirectionally predictive-coded)の3種類のピクチャタイプが定められている。

0011

そのIピクチャ動き予測を行わずに符号化するピクチャであるが、Pピクチャには過去からの予測、及び予測を行わずに符号化する2モードが存在しており、またBピクチャには未来からの予測、過去からの予測、過去及び未来の両方向からの予測、及び予測を行わずにフレーム内符号化を行う4つのMC(Motion Compensation)モードがある。

0012

それらの未来、ないしは過去の画像を用いて行う動き補償は、動き領域をマクロブロックごとにパターンマッチングを行ってハーフペル画素間距離の1/2)精度で動きベクトルを求め、求められた動きベクトル量に対応させて未来、ないしは過去の参照画像位置をそのベクトル方向に移動させた画像を基に供給される画像信号の符号化を行う。

0013

そのようにして求められる動きベクトルの方向には水平方向と垂直方向とがあり、それらのベクトル情報はMCモードと共にマクロブロックの付加情報として伝送されるようになされている。

0014

また、そのようにしてなされるピックチャデータのうち、I、P、及びBの3種類のピクチャはIピクチャを先頭として所定の順に並べられて伝送され、そのIピクチャより次のIピクチャの手前のピクチャまでのピクチャ(フレーム画像)の集合をGOP(Group Of Picture)と呼び、通常の蓄積メディアなどでなされる符号化においては、15枚程度のピクチャによりGOPが構成されるようになされている。

0015

そして、Iピクチャ、及び動き補償画像として符号化されるP、及びBピクチャはDCT(discrete cosine transform)、即ち余弦関数を積分核とする積分変換有限空間離散変換する直交変換としてなされる。

0016

その直交変換はマクロブロックを8画素×8画素の輝度信号に係る4個のDCTブロックと、青信号より輝度信号を減算したB−Yと、赤信号より輝度信号を減算したそれぞれ1個の8画素×8画素のDCTブロックに分割されて2次元DCTを行われるが、一般にそれらのDCTブロック画像データの周波数成分は低域成分に多く高域成分は少ないため、画像データはDCTを行い低域周波数に集中された変換係数により表現することができる。

0017

そして、そのDCTされた画像データ(DCT係数)は量子化器量子化が行われる。即ちその量子化器により、DCT係数は所定の量子化値により叙算されて求められるが、その量子化値は8画素×8画素の2次元周波数視覚特性重み付けされた量子化値として得られるが、その量子化値は所定の量子化スケールによりスカラー倍されたものが用いられる。

0018

また、その量子化値は符号化された画像データの復号時に得られる逆量子化値乗算することにより、デコード時にはエンコード時に与えられた量子化値による特性が打ち消されるようになっている。

0019

次に、この様な手法により符号化及び復号化を行うMPEG符号化器の構成について述べる。図15に、MPEG符号化器の構成を示し、その動作の概略を述べる。

0020

そのMPEG符号化器50は入力端子51、加算器52、DCT器53、量子化器54、VLC器55、バッファ56、符号量制御器57、逆量子化器61、逆DCT器62、加算器63、画像メモリ64、及び動き補償予測器65より構成される。

0021

まず、入力端子51に供給された動画信号は動き補償予測器65及び加算器52に供給され、その加算器52では動き補償予測器65より供給される信号は極性反転されて加算され、加算されて得られる信号はDCT器53に供給される。

0022

そのDCT器53では、供給される画像信号は前記の離散余弦変換が行われ、変換して得られるDCT変換係数は量子化器54に供給され、前記所定の量子化値を基に量子化がなされ、量子化のなされた量子化データは逆量子化器61、及びVLC(variable length coding)器55に供給される。

0023

そのVLC器55では、供給された量子化データは可変長符号化されるが、量子化された値のうちDCT変換がなされて得られる直流(DC)成分はDPCM(differential pulse code modulation)変調がなされる。

0024

また、交流(AC)成分は低域周波数成分のデータより高域周波数成分のデータの順にジグザグスキャン(zigzag scan)がされながら得られ、その得られたデータはゼロのラン長および有効係数値を1つの事象とし、出現確率の高いものから順に符号長の短い符号が割り当てられるようにして、ハフマン符号化がなされる。

0025

その可変長符号化である、ハフマン符号化のなされたデータはバッファ56に一時記憶され、一時記憶されたデータは所定の転送レートにより符号化データ出力として供給される。

0026

そして、その供給されるデータのマクロブロック毎発生符号量は、符号量制御器57に供給されて、予め設定されている目標符号量と比較され、比較して得られる発生符号量との差の符号量は量子化器54に供給され、量子化器54ではその差の符号量を基に量子化スケールの値を変更するなどにより所定の転送レートの符号化データが得られるようにして符号量の制御がなされる。

0027

一方、量子化器54で量子化された画像データは逆量子化器61に供給されて逆量子化がなされ、その逆量子化のなされたデータは逆DCT器62に供給されて、そこで逆DCTがなされ、その逆DCTされたデータは加算器63に供給される。

0028

その加算器63では動き補償予測器65より供給される参照画像と加算され、その加算して得られる信号は画像メモリ64に供給されて、そこに一時記憶される。その一時記憶された画像データは、動き補償予測器65において差分画像演算するためのリファレンス復号化画像として用いられることにより、MPEG符号器50より動き補償のされた符号化データとして得られるようになされている。

0029

このようにして得られた符号化データはMPEG復号化器に供給されて復号される。図16に、MPEG復号化器の構成を示し、その動作の概略について述べる。

0030

同図に示すMPEG復号化器70は、データ入力端子71、バッファ72、VLD器73、逆量子化器74、逆DCT器75、加算器76、画像メモリ77、及び動き補償予測器78より構成される。

0031

まず、入力端子71に供給された符号化データはバッファ72に一時記憶され、一時記憶された符号化データは必要に応じてVLD(variable length decoding)器73に供給される。

0032

そのVLD器73では、VLC器55により符号化されたデータの可変長復号が行われ、前述の直流(DC)成分および交流(AC)成分に係るデータが得られる。

0033

それらの得られたデータのうち交流成分のデータはMPEG符号化器50でなされたと同じ低域から高域周波数成分へのジグザグスキャンの順で8×8のマトリックスに配置される量子化データとして得られ、その得られた量子化データは逆量子化器74に供給される。

0034

その逆量子化器74では、前述の量子化マトリックスにより逆量子化がなされ、その逆量子化されて得られるデータは逆DCT器75に供給され、そこでは逆DCT演算がなされて画像データが復号化データとして得られる。

0035

そして、その得られた画像データは画像メモリ77に一時記憶され、一時記憶された画像データは動き補償予測器78に供給され、供給された画像データは動き補償予測における差分画像を演算するためのリファレンス復号化画像として用いられる。

0036

このようにして、動画を構成する画像データはMPEG符号化器50により符号化されて伝送、ないしは記録され、その受信、ないしは再生された符号化データはMPEG復号器70により復号されて動画情報として得られるようになされており、このような手法はMPEG1、及びMPEG2の両者において用いられている。

0037

そのMPEG2による動画信号符号化の用いられ方として、プロファイルとレベルが規定されているが、そのプロファイルにはDVDへの記録、及びデジタル衛星放送で用いられているメイン(Main)プロファイルの他に符号化方法を単純化して遅延時間を少なくしたシンプル(Simple)プロファイル、後述のSNRスケーラブル(SNR Scalable)プロファイル、空間解像度に階層性を持たせたスペシャルスケーラブル(Spatial Scalable)プロファイル、及び高度の機能を有するハイ(High)プロファイルがある。

0038

そして、これらのプロファイルにおける輝度信号と色差信号サンプル数に係る画像フォーマットは4:2:0画像フォーマットが主として用いられており、4:2:2画像フォーマットはハイプロファイル、ないしは上記プロファイルと並列に規定されている422プロファイルでのみ使用が認められている。

0039

そのようにして、通常のビデオ信号の記録、及び放送には4:2:0画像フォーマットによる画像信号の圧縮符号化がなされており、色信号に対する解像度が高く得られる4:2:2画像フォーマットの信号の記録再生、及び放送はなされていない。

0040

しかし、昨今の情報化社会において、コンピュータを用いて行う画像信号の生成も普及されてきた。そして、従来のカメラ撮影によるような彩度のあまり高くない画像を符号化する場合ではそれほど必要とされなかったが、コンピュータなどで制作された彩度及び解像度の高い信号の符号化に対しては符号化、及び復号化を行って得られる画質劣化が認められるなど、4:2:2画像フォーマットなど彩度の高い色信号に対しても解像度の低下しない信号の符号化が望まれるようになった。

0041

そのような、色信号成分の劣化を少なくした画像信号の符号化及び復号化に係り、特開平9−238366号公報「画像符号化装置及び画像復号化装置及び符号化・復号化システム」は、画像圧縮符号化及び復号化時に生じる色差信号ブロックより発生されるブロック歪成分が、ブロック全体に波及するのを防ぐための符号化方式を開示している。

0042

即ち、その符号化方式によれば、圧縮効率下げないでフォーマット変換を動的に切り替える符号化器・復号化器として、ディジタル化入力画像をフォーマット変換し、量子化し、符号化する画像符号化装置において、フォーマット変換に際して、複数の、所定の輝度信号と色差信号による空間解像度の画像データに変換する複数フォーマット変換部と、設定基準で上記入力画像データまたは量子化画像データまたは他の画像データの状態変化を検出して、上記複数の空間解像度の画像データのどれを出力するかを選択して出力する画像状態判定部とを設けるようにして、選択された空間解像度の画像データを量子化部に供給する方法について開示している。

0043

また、空間解像度を選択して符号化及び復号化を行う、周波数領域の階層符号化を実現する技術として、MPEG2で定められたプロファイルの中に前述のSNRスケーラビリティプロファイルがある。

0044

そのSNRスケーラビリティプロファイルはメインプロファイルの上位にあるSNRプロファイルとして上位互換を取りつつ使用することができるプロファイルであり、そのプロファイルでは、量子化が粗いレイヤ基本レイヤ(Base Layer)、量子化が細かいレイヤを高位レイヤ( Enhancement Layer )として、最初に基本レイヤによる符号化が行われる。

0045

次に符号化の行われる高位レイヤでは、基本レイヤの画像を復号化し、復号化された画像信号と入力画像との差分を計算し、得られた差分画像を基本レイヤよりも小さい量子化スケールで量子化して符号化信号を得るようにすることが規定されている。

0046

このような基本レイヤ及び高位レイヤによる2つの符号化信号を色差信号に対して得るような機能として用いることにより、SNRスケーラビリティと同様な手法を用いて色差信号のサイマルキャスト機能を実現することは可能である。

0047

そのサイマルキャスト機能を用いて、例えば基本レイヤに4:2:0の画像の輝度信号と色差信号を符号化し、高位レイヤでは4:2:2の色差信号のみを符号化するようにして得た2つのビットストリームをサイマルキャスト方式で送信することにより、復号器側では下位レイヤのみ用いて4:2:0信号の受信を、また高位レイヤをも用いて4:2:2画像フォーマットによる画像を得ることが可能とされる。

0048

そのような基本レイヤと高位レイヤにより符号化した2つのビットストリームは、符号化レイヤよりも上位の多重化システムレイヤにて同期が取られながら多重化されて1つのビットストリームとされて伝送されることとなるが、そのようにして伝送されたビットストリームの受信はその多重化された信号を分離し、分離されて得られるそれぞれの2つのビットストリームの信号を2つの復号器により復号し、復号して得られる2つの信号を基に4:2:2画像フォーマットによる復号信号を得るような専用の復号機能を有する復号器を用いて復号を行うこととなる。

発明が解決しようとする課題

0049

しかしながら、上記の特開平9−238366号公報による場合の方式では、複数の色信号フォーマットのうちのどれを選択するかを判定する画像状態判定部が必要であり、またその判定に従ったビットストリームのフォーマットには、複数が存在することになり、既存の復号器では復号化ができなく互換性確保の点で問題がある。

0050

そして、上記MPEG2のSNRスケーラビリティプロファイルを用いて2つのフォーマットの画像信号を伝送する方法では、2つのビットストリームが多重化されたストリームとする以外にビットストリームを伝送することができないため、階層構造をもたせた1つのビデオストリームとしてのビットストリームを得ることができない。

0051

また、そのSNRスケーラビリティプロファイルを用いて2つの4:2:0、及び4:2:2の画像フォーマットによる符号化信号を伝送するためには、ベースとなる4:2:0画像フォーマットにより生成されるビットストリームを規定している所定のアプリケーションの規格、及びアプリケーションフォーマットを変更せずに階層構造を持たせることができないため、既存のアプリケーションと互換性を確保しながら4:2:2画像フォーマットによる画像との差分信号を生成して多重することはできない、といった程度のものでしかなかった。

0052

そこで本発明は、例えば標準方式のメインプロファイルによって生成され、記録、ないしは伝送されている、既存のデジタル放送及びDVDなどでベースとされるビットストリームに係る所定のアプリケーション規格、及び記録ないしは伝送フォーマットは変更せずにそのままを用い、且つ階層構造をもたせることにより既存のアプリケーションとの互換性を完全に保ちながら、上位階層構造の画像データを記録、ないしは伝送する符号化ビットストリームを生成することにより、アプリケーションの機能拡張性を大きくした画像信号の符号化、及び復号化の方法、そしてそれらの方法を搭載する符号化及び復号化装置の構成、さらにはそのような符号化信号を記録する記録媒体を提供しようとするものである。

課題を解決するための手段

0053

本発明は、上記課題を解決するために以下の1)〜9)の手段より成るものである。すなわち、

0054

1) 供給される画像信号を直交変換して変換画像信号を得、その得られた変換画像信号を可変長符号化して圧縮符号化信号を得る第1のステップ(12)と、前記圧縮符号化信号又は前記変換画像信号を復号して復号画像信号を得る第2のステップ(13)と、前記復号画像信号と、前記供給される画像信号とを演算して差分画像信号を得る第3のステップ(14)と、前記差分画像信号を圧縮符号化して差分画像圧縮符号化信号を得る第4のステップ(16)と、前記差分画像圧縮符号化信号を、前記圧縮符号化信号のユーザデータ記録領域に挿入して拡張画像符号化信号を得る第5のステップ(17)と、を少なくとも有することを特徴とする拡張画像の符号化方法。

0055

2) 前記第5のステップにおける差分画像圧縮符号化信号の直前に、予め定めたユニクコードを識別信号として付して前記ユーザデータ記録領域に挿入することを特徴とする1)項記載の拡張画像の符号化方法。

0056

3) 前記第1のステップおいて得られる変換画像信号は4:2:0画像フォーマットによる信号であり、且つ前記第3のステップにおいて得られる差分画像信号は、前記4:2:0画像フォーマットよりも色信号解像度の高い画像フォーマットによる信号であることを特徴とする1)項記載の拡張画像の符号化方法。

0057

4) 供給される画像信号を圧縮符号化して第1の圧縮符号化信号を得、その得られた第1の圧縮符号化信号を復号して得た復号化信号と前記画像信号との差分画像信号を得、その得られた差分画像信号を圧縮符号化して第2の圧縮符号化信号を得、その得られた第2の圧縮符号化信号の頭部にユニークコードを付して前記第1の圧縮符号化信号のユーザデータ記録領域に挿入するようして得られた拡張画像符号化信号が供給され、その拡張画像符号化信号の前記第1の圧縮符号化信号を復号して第1の復号化画像信号を得ると共に、前記拡張画像符号化信号のユーザデータ領域で伝送される第2の圧縮符号化信号を復号して第2の復号化画像信号を得る第1のステップと(32、33、35)、その第1のステップで得られた、第1の復号化画像信号及び第2の復号化画像信号の加算処理を行うことにより拡張復号化画像を得る第2のステップ(36)と、を少なくとも有することを特徴とする拡張画像の復号化方法。

0058

5) 前記第1の圧縮符号化信号は4:2:0画像フォーマットにより符号化された信号であり、且つ前記差分画像信号は前記4:2:0画像フォーマットよりも色信号解像度の高い画像フォーマットにより符号化された信号であることを特徴とする4)項記載の拡張画像の復号化方法。

0059

6) 供給される画像信号を直交変換して変換画像信号を得、その得られた変換画像信号を可変長符号化して圧縮符号化信号を得る第1の圧縮符号化手段(12)と、その第1の圧縮符号化手段より圧縮符号化信号を得、又は前記第1の圧縮符号化手段より前記変換画像信号を得、得られたそれらの信号の内少なくとも一方の信号を復号して復号画像信号を得る復号化手段(13)と、その復号化手段より得られた復号画像信号と、前記供給される画像信号とを比較演算することにより差分画像信号を得る演算手段(14)と、その演算手段により得られた差分画像信号を圧縮符号化して差分画像圧縮符号化信号を得る第2の圧縮符号化手段(16)と、その第2の圧縮符号化手段により得られた差分画像圧縮符号化信号を、前記第1の圧縮符号化信号のユーザデータ領域に挿入して拡張画像符号化信号を得るユーザデータ挿入手段(17)と、を具備して構成することを特徴とする拡張画像符号化装置。

0060

7) 前記第1の圧縮符号化手段により得られる圧縮符号化信号は4:2:0画像フォーマットによる信号であり、且つ前記第2の圧縮符号化手段により得られる差分画像圧縮符号化信号は前記4:2:0画像フォーマットよりも色信号解像度の高い画像フォーマットによる信号であることを特徴とする6)項記載の拡張画像符号化装置。

0061

8) 供給される画像信号を圧縮符号化して第1の圧縮符号化信号を得、その得られた第1の圧縮符号化信号を復号して得た復号化信号と前記供給される画像信号との差分画像信号を得、その得られた差分画像信号を圧縮符号化して第2の圧縮符号化信号を得、その得られた第2の圧縮符号化信号の頭部にユニークコードを付して前記第1の圧縮符号化信号のユーザデータ記録領域に挿入するようして得られた拡張画像符号化信号が供給され、その供給された拡張画像符号化信号を復号化する拡張画像復号化装置であって、供給される拡張画像符号化信号より前記第1の圧縮符号化信号を復号して第1の復号化画像信号を得る第1の復号化手段(32)と、前記ユーザデータ記録領域で伝送される第2の圧縮符号化信号を復号して第2の復号化画像信号を得る第2の復号化手段(33、35)と、その第2の復号化画像信号と、前記第1の復号化画像信号とを加算することにより拡張復号化画像信号を得る加算手段(36)と、を具備して構成することを特徴とする拡張画像復号化装置。

0062

9)画像信号を4:2:0画像フォーマットにより符号化して得られる第1の符号化信号のユーザデータ記録領域に、前記第1の符号化信号により符号化した画像信号と前記符号化前の画像信号との差分に係る差分画像信号を記録する拡張画像記録媒体であって、前記差分画像信号は前記4:2:0画像フォーマットよりも色信号解像度の高い画像フォーマットにより符号化した第2の符号化信号であることを特徴とする拡張画像記録媒体。

発明を実施するための最良の形態

0063

以下、本発明の拡張画像の符号化方法、拡張画像の復号化方法、拡張画像符号化装置、拡張画像復号化装置、及び拡張画像記録媒体の実施形態につき好ましい実施例により説明する。図1は、その拡張画像の符号化方法を搭載した拡張画像符号化装置の第1の実施例による構成であり、以下図と共に説明する。

0064

同図に示す拡張画像符号化装置10は、画像データ入力端子11、MPEG(moving picture experts group)符号化器12、MPEG復号化器13、加算器14、遅延器15、DPCM(differential pulse code modulation )器16、及びユーザデータ挿入器17より構成される。

0065

次に、このように構成される拡張画像符号化装置10の動作について述べる。まず、入力画像データはMPEG符号化器12に供給されてMPEGのメインプロファイルに従った方法により符号化され、符号化して得られる符号化信号は遅延器15、及びMPEG復号化器13に供給される。

0066

そのMPEG復号化器13では符号化された符号化信号は復号化されて加算器14の一方の入力端子に負極性の信号として供給されると共に、他方の入力端子には入力画像データが正極性の信号として供給されており、その加算器14からは2つの入力端子に供給された信号が加算された信号が得られ、その加算された信号はDPCM符号化器16に供給される。

0067

そのDPCM符号化器16では、供給された信号のDPCM符号化がなされてDPCM符号化信号が生成され、その生成されたDPCM符号化信号はユーザデータ挿入器17の一方の入力端子に供給されると共に、他方の入力端子には遅延器15により同期処理のために遅延された符号化信号が供給されており、その符号化信号のユーザデータ領域に前記DPCM符号化信号が挿入され、挿入されて得られる符号化データは拡張画像符号化装置10の出力信号としてその装置より供給される。

0068

このようにして、MPEG符号化器12で符号化された信号はMPEG復号化器13で復号化され、復号化された信号と入力画像データとの差の信号がDPCM符号化器16でDPCM符号化されてユーザデータ領域に挿入される様にして符号化データが得られるが、そのMPEG符号化器12とMPEG復号化器13でなされる符号化及び復号化は、入力画像をDCT変換、及び量子化を行った信号に対して復号化を局部復号として行う場合、あるいは量子化を行った信号に対してVLC(variable length coding)を行って最終ビットストリームデータを得た後にVLD(variable length decoding)を行うなどの信号処理が追加されて行われる場合のいずれによってもよい。

0069

即ち、いずれの場合においてもMPEG符号化した信号を復号化して得られる符号化及び復号化に基づく画像信号と入力画像データとが比較され、その比較して得られる輝度信号、及び色差信号のそれぞれの差分信号がDPCM符号化されて伝送されるものである。

0070

次に、このようにしてなされる拡張画像符号化装置10の動作について更に述べる。図2に、輝度信号に係る差分信号をDPCM符号化するためのDPCMコード表を示す。

0071

同表において、差分値の範囲に対するDPCM符号の割り当てを示している。即ち、加算器14より得られる差分画像データは、画面に対して左上から右下の方向へ、ラスタースキャンが行われるような順番に従って画素データを得、得られた画像データの変化分のみを差分値として演算して得る。

0072

そして、最初の画素の初期値は0とされ、その0に対する差分値との差が横方向に演算されて求められると共に、その差の値がどの範囲の値であるかによってDPCM符号が割り当てられ、その符号の割り当ては画面上の1ラインの画素データに対して行われる。

0073

図3に、色差信号に係る差分信号をDPCM符号化するためのDPCMコード表を示す。同表において、色差信号の方が輝度信号より水平周波数帯域が小さいので、色差信号に対するDPCMコードは低いレベルの変化に対して異なるDPCM符号が割り当てられるようにされている。

0074

これらの輝度信号用、及び色差信号用の両方のコード表において、DPCMコードが1111であるときはZeroRunESCとされており、そのときは差分画像のDPCM値で最も多く発生する0データを全て伝送せずに、0の続いたラン長を伝送するときに使用するコードである。即ち、1111の後に最大8ビット(256画素)のビット数を伝送するようにして、複数の0に係る個数情報を伝送するようになされている。

0075

差信号に係るDPCM符号は、−255〜+255である9ビットの画素データをこれらの表を基にして4ビットの値に変換されるが、通常の画像に係る差信号の場合ではゼロが多く発生されるので、そのゼロを含めたDPCM符号をゼロランレングス符号化することにより、更に短い圧縮コードとして得ることができる。

0076

このようにしてDPCM符号化されたデータは、ユーザデータ挿入器17に供給されるが、そのユーザデータ挿入器17には遅延器15により所定の時間遅延されたMPEG符号化データが供給されるが、その符号化されたピクチャと時間関係が同一であるピクチャデータ領域にあるユーザデータ記録領域に、そのピクチャに対応する差分画像のDPCM符号化データを挿入する。

0077

図4に、MPEG2におけるビデオレイヤシンタックスを示す。同図において、MPEG2ビデオ信号に係るビットストリームを生成するためのデータの順について規定してある。

0078

即ち、最初に32ビットによる画像開始コードpicture#start#codeを記述し、次に10ビットのI(Intra-coded)、P(Predictive-coded)、及びB(Bidirectionally predictive-coded)ピクチャの伝送及び表示順に係る情報をTemporal#referenceにより、そして3ビットによるI、P、及びBピクチャなどの画像タイプに係る情報をpicture#coding#typeにより伝送するようにしてビットストリームが生成される。

0079

そして、このシンタックスの終わりの方にある32ビットのユーザデータ開始コードUser#data#start#codeに続けて記述される8ビットのuser#dataを使用してDPCM符号化データの挿入記述を行う。

0080

即ち、user#data( )は、user#start#codeなる位置決定を行うバイトアラインされたスタートコードより記述が開始され、次に0x000001の3バイトの符号が受信されるまでユーザデータを記述し続けることができるように定義されている。

0081

そのようにして、ビデオ信号レイヤのユーザデータ領域にDPCM符号化した差分画像データを記述することにより、符号化された画像データと同じ階層のデータとして画像の差分情報を伝送、ないしはその信号を媒体に記録することができる。

0082

なお、ここでそのユーザデータ領域は、ユーザが定義して使用することが許可されたデータ領域であるので、例えば他のユーザ、ないしは他のアプリケーションでuser#data( )が使用される可能性もあるので、user#data( )のuser#start#codeのあとに、本方式の差分画像データであることを示す、4バイト程度の識別コード、ないしはユニークコード0x22220204を記述して後に、例えばDPCM符号化された輝度信号、色差Cb信号(青信号−輝度信号)、及び色差のCr信号(赤信号−輝度信号)のコードを順に記述するようにする。

0083

このようにして、MPEG符号化器12で符号化された信号、及び符号化された信号を復号化し、入力される信号との差の信号をDPCM符号化した信号を同一の画像レイヤ信号領域のユーザデータ領域に挿入した符号化データとして生成して伝送することができる。

0084

次に、このようにして生成され、伝送された符号化データの復号化について述べる。図5に、通常の符号化データを復号する通常画像復号化装置の構成を示す。同図に示す通常画像復号化装置30は、MPEG復号化器32により構成されている。

0085

そのMPEG復号化器32による符号化データの復号化は、記述されて伝送されるユーザデータの検出を行わずに、即ち読み飛ばすようにして符号化データの復号化を行なうため、MPEG符号化器12で符号化された符号化データのみの復号化を行うため、通常画像復号化装置30からは通常符号化データを復号化して得られる通常復号化データが得られる。

0086

次に、通常符号化データに挿入されて伝送されるユーザデータを共に復号化して高画質の画像データである、拡張復号化データを得る拡張画像復号化装置の第1の実施例について述べる。図6に、その拡張画像復号化装置の構成を示す。

0087

同図に示す拡張画像復号化装置30aは、データ入力端子31、MPEG復号化器32a、ユーザデータ分離器33、遅延器34、DPCM復号化器35、及び加算器36より構成される。

0088

次に、この様に構成される拡張画像復号化装置30aの動作について述べる。まず、データ入力端子31に供給された符号化データはMPEG復号化器32aに供給され、そこでは通常の復号化データが得られ、得られた復号化データは遅延器34に供給されると共に、ユーザデータの含まれる符号化データはユーザデータ分離器33に供給される。

0089

そのユーザデータ分離器33では、供給される符号化データにおけるピクチャデータのシンタックスにおけるUser#data#start#codeを検出し、そのUser#data#start#codeに続いて伝送されるユニークコード0x22220204の検出を行う。

0090

そのユニークコード0x22220204が検出されないときは、その後に伝送されるユーザデータは復号の必要がないデータであるとしてそのユーザデータの読み飛ばしを行う。

0091

そのユニークコードが検出されるときは、高画質化のための拡張符号化データに拡張画像得るための差分画像データが記述してあると判定し、伝送されるDPCM符号化データをDPCM復号器35に供給する。

0092

そのDPCM復号器35では、供給されたDPCM符号化データを復号して輝度信号、色差のCb信号、及び色差のCr信号を得、それらの得られたそれぞれの信号は前述の図2、及び図3に示したDPCM符号化テーブルを基にDPCM符号を復号し、それぞれの差分画像データを得る。

0093

それらの得られた差分画像データは加算器36の一方の入力端子に供給されると共に、他方の入力端子には遅延器34で所定の時間遅延された通常MPEG復号画像データが供給され、それらの2つの入力端子に供給されたそれぞれの画像データは加算されて拡張復号化画像データが得られ、その得られた拡張復号化画像データは拡張画像復号化装置30aより出力信号として供給される。

0094

以上、差分画像データをDPCM符号化して伝送する拡張画像符号化装置で生成された符号化データを拡張画像復号化装置により復号化して拡張復号化画像データを得る第1の実施例について述べたが、次に差分画像データを異なるMPEG符号化器で符号化して伝送する第2の実施例について述べる。

0095

その第2の実施例による拡張画像符号化装置は、第1の実施例に示した装置では差分画像データをDPCM符号化して伝送していたが、この実施例では直交変換技術を応用するMPEG方式によって符号化する点で異なっており、次に第1の実施例も参照しながら述べる。図7に、拡張画像の符号化方法を搭載した拡張画像符号化装置の第2の実施例による構成を示し、以下図と共に説明する。

0096

同図に示す拡張画像符号化装置10aは、画像データ入力端子11、第1MPEG符号化器12a、MPEG復号化器13、加算器14、遅延器15、固定符号指示器18、第2MPEG符号化器19、及びユーザデータ挿入器17より構成される。

0097

次に、このように構成される拡張画像符号化装置10aの動作について述べる。まず、入力画像データは第1のMPEG符号化器12aに供給されてMPEGのメインプロファイルにより符号化されて得られる符号化信号の一方は遅延器15に供給されると共に、他の一方はMPEG復号化器13に供給されて復号化される。

0098

その復号化された信号は加算器14の一方の極性反転動作を行う入力端子に供給されると共に、他方の入力端子には入力画像データが供給されており、その加算器14からは2つの入力端子に供給された信号の差の信号が差分画像データとして生成され、その生成された信号は固定符号量指示器18により符号量が制御されて動作している第2MPEG符号化器19に供給される。

0099

その第2MPEG符号化器19では、供給された差分画像データに対して、従来のMPEGと同様にしてマクロブロックごとの符号化がなされ、符号化されて得られる符号化信号はユーザデータ挿入器17の一方の入力端子に供給される。

0100

そのユーザデータ挿入器17の他方の入力端子には遅延器15により遅延された第1MPEG符号化器12aにより符号化された信号が供給されており、その信号のユーザデータ記録個所に前記第2MPEG符号化器19により符号化された信号が挿入され、挿入されて得られる符号化データは拡張画像符号化装置10aの出力信号として供給される。

0101

このようにして、差分画像データはMPEG方式により符号化されてユーザデータ領域に挿入された符号化データとして供給されるが、そのユーザデータ領域への差分画像データの挿入、記述方法は前述の第1の実施例と同様にして行われる。

0102

このようにして伝送された符号化データの復号化は、前述の図5に示したような通常の復号化器を用いて行われときは、そのMPEG復号化器32ではユーザデータ記録領域に記録される符号化データが検出されづに復号化が行われるため、通常画像復号化装置30からは通常の符号化データを復号化した画像データが得られる。

0103

次に、差分画像データを復号して高画質の復号画像データを得る拡張復号化データを得るための、拡張画像復号化装置の第2の実施例について述べる。図8に、その拡張画像復号化装置30bの構成を示し、その動作について述べる。

0104

同図に示す拡張画像復号化装置30bは、データ入力端子31、第1MPEG復号化器32b、ユーザデータ分離器33、遅延器34、第2MPEG復号化器37、及び加算器36より構成される。

0105

そのように構成される拡張画像復号化装置30bのデータ入力端子31に供給された符号化データは、第1MPEG復号化器32bで通常の復号化データが得られ、得られた復号化データは遅延器34に供給されると共に、ユーザデータの含まれる符号化データはユーザデータ分離器33に供給される。

0106

そのユーザデータ分離器33では、供給される符号化データにおけるピクチャデータのシンタックスにおけるUser#data#start#codeを検出し、そのUser#data#start#codeに続いて伝送されるユニークコード0x22220204を検出するが、そのユニークコードが検出されないときはその後に伝送されるユーザデータの読み飛ばしを行う。

0107

そして、そのユニークコードが検出されるときは、そのユニークコードに続いて伝送される拡張符号化データは第2MPEG復号化器37に供給され、その第2MPEG復号化器37では供給された符号化データの復号化が行われることにより拡張画像を得るための輝度信号、及び2種類の色差信号に係る差分画像データが得られる。

0108

それらの得られた差分画像データは加算器36の一方の入力端子に供給されると共に、他方の入力端子には遅延器34で所定の時間遅延された通常MPEG復号画像データが供給され、それらの2つの入力端子に供給されたそれぞれの画像データは加算されて拡張復号化画像データが得られ、その得られた拡張復号化画像データは拡張画像復号化装置30bより出力信号として供給される。

0109

以上、差分画像データをMPEG符号化して伝送する拡張画像符号化装置で生成された符号化データを、拡張画像復号化装置により復号化して拡張復号化画像データを得る第2の実施例について述べたが、次にその差分画像データを異なる画像フォーマットにより符号化して伝送する場合について述べる。

0110

その異なる画像フォーマットによる場合の差分画像は、輝度信号に対する2つの色差信号画素サンプルの関係が4:2:0であるとして表現される画像フォーマットにより符号化及び復号化して得られる画像信号と、画像フォーマットが4:2:2である画像信号との差の信号を差分データ画像としてユーザデータ領域で伝送する場合である。

0111

図9に、4:2:0画像フォーマットによる輝度信号と色差信号の画素数の関係を示す。同図において、Yとして示す720画素×480画素の領域は輝度信号に対する画素数を示しており、Uとして示す360画素×240画素の領域は青信号Bから輝度信号Yを減算して得られるB−Yの色差信号に対する画素数を、そしてVとして示す360画素×240画素の領域は赤信号Rから輝度信号Yを減算して得られるR−Yの色差信号に対する画素数を示している。

0112

図10に、4:2:2画像フォーマットによる輝度信号と色差信号の画素数の関係を示す。同図において、Yとして示す720画素×480画素の領域は輝度信号に対する画素数を示しており、Uとして示す360画素×480画素の領域は青信号Bから輝度信号Yを減算して得られるB−Yの色差信号に対する画素数を、そしてVとして示す360画素×480画素の領域は赤信号Rから輝度信号Yを減算して得られるR−Yの色差信号に対する画素数を示している。

0113

このようにして、4:2:0による画像フォーマットと、4:2:2による画像フォーマットでは輝度信号に対する画素数は両者共720画素×480画素であり同一であるが、B−Y、及びR−Yの2つの色差信号に対する画素数は、360画素×240画素に対して360画素×480画素と垂直方向で2倍の値になっている。

0114

そのようにして、4:2:0画像フォーマットによる画質は4:2:2画像フォーマットによる画質に対して色差信号の垂直方向の解像度が不足しており、例えば横方向に伸びる細い線を表現しようとするとき、その線が白ないしは黒の輝度信号により表現できる線の場合は両画像フォーマットにおいて同一の解像度で表現できるが、青、あるいは赤などの彩度が高く表現される横線の場合は垂直方向の解像度が異なることにより4:2:0画像フォーマットの場合では十分に表現することができない。

0115

そして、風景などをカメラ撮影した画像の場合はこのような垂直方向での高い解像度はそれほど必要とされないが、人工的に制作された画像、及びコンピュータで作成された、特に色文字を含むような画像の場合は彩度の高い色差信号に対する解像度が必要となり、4:2:2画像フォーマットを用いる符号化方式の方が好ましいこととなる。

0116

次に、4:2:0の画像フォーマットにより符号化された符号化データに対し、4:2:2画像フォーマットにより符号化したときに得られる画像との差分画像データをユーザデータ領域で伝送する場合の例について述べる。

0117

その第3の実施例による拡張画像符号化装置は、DPCM符号化により差分データを伝送する第1の実施例に対して、その差分画像データが4:2:2画像フォーマットによる画像より4:2:0画像フォーマットによる画像を減じた画像データを差分画像データとして伝送するものであり、第1の実施例をも参照しながら述べる。

0118

図11に、拡張画像の符号化方法を搭載した拡張画像符号化装置の第3の実施例による構成を示し、その動作について述べる。同図に示す拡張画像符号化装置10bは、データ入力端子11、4:2:0変換器21、MPEG符号化器12、MPEG復号化器13、4:2:2変換器22、色差データ差分器23、遅延器15、DPCM符号化器16、及びユーザデータ挿入器17より構成される。

0119

次に、このように構成される拡張画像符号化装置10bの動作について述べる。まず、入力端子11に供給される4:2:2画像フォーマットの入力画像データは、色差データ差分器23及び4:2:0変換器21に供給される。

0120

その4:2:0変換器21では、供給された4:2:2画像フォーマットによる画像データは4:2:0画像フォーマットのデータに、垂直画像フィルタリング処理などにより画像フォーマット変換が行われる。

0121

そのようにして4:2:0画像フォーマットの信号に変換された画像データはMPEG符号化器12に供給され、例えば通常行われるメインプロファイルの仕様に従った符号化がなされて符号化データが得られ、その符号化データは遅延器15及びMPEG復号器13に供給される。

0122

即ち、MPEGのメインプロファイルにより符号化されて得られた符号化信号の一方は遅延器15に供給されて時間合わせのための遅延処理がなされると共に、符号化信号の他の一方はMPEG復号化器13に供給されて、復号化処理がなされる。

0123

そのMPEG復号器13からは、復号化されて4:2:0画像フォーマットによる画像データが得られ、その画像データは4:2:2変換器22に供給され、その4:2:2変換器22では4:2:0画像フォーマットで供給される信号は4:2:2画像フォーマットの信号に変換されて4:2:2画像フォーマットの信号として得られる。

0124

なお、その4:2:2画像フォーマットの信号は形式的には4:2:2画像フォーマットに対応した画素数を有する信号であるが、その信号が有する情報量は4:2:0画像フォーマットの信号が有すると同じであり、垂直方向に彩度の高い色信号に対する解像度は低い。

0125

そのようにして4:2:2画像フォーマットに変換された信号は色差データ差分器23に供給され、そこでは供給される入力画像データとの差分画像データが演算により得られ、その得られた差分画像データはDPCM符号化器16に供給され、そこでは前述の第1の実施例に示したと同様の方法によりDPCM符号化データが生成される。

0126

その生成されたDPCM符号化データはユーザデータ挿入器17に供給され、その供給された符号化データは、遅延器15により所定の遅延時間が与えられて同じ時間関係にある、MPEG符号化器13で生成された符号化データのユーザデータエリアに挿入される。

0127

そのようにして挿入されたDPCM符号化データは、4:2:2画像フォーマットによる画像データより4:2:0画像フォーマットによる画像データを減じた差分画像データであり、その差分画像データは垂直解像度の低下した4:2:0画像フォーマット画像データの解像度改善のために使用することができるものである。

0128

なお、このような解像度改善のための差分画像データ生成における4:2:0画像フォーマットのデータ符号化及び復号化は、MPEG符号化器12から得られる、その符号化器12における最終段でのビットストリームデータをMPEG復号化器13に供給して復号化する方法と、MPEG符号化器12で量子化までの信号処理がなされた途中段で得られるデータを用いて、逆量子化より復号化を開始する局部復号の方法などがあり、その符号化及び復号化はいずれの方法によっても構わない。

0129

このようにして、4:2:2画像フォーマットの画像データと4:2:0画像フォーマットによる画像データとの差分画像データはDPCM符号化されてユーザデータ領域で伝送される符号化データとして生成されるが、そのユーザデータ領域への差分画像データの挿入、及び記述方法は前述の第1の実施例と同様にして行われ、そのようにして生成された符号化データが伝送信号として供給されるようになされる。

0130

また、この実施例で示した拡張画像符号化装置において、差分画像を生成するための回路構成を変形させて同様の動作を行わせることができる。図12に、第3の実施例を変形させた拡張画像符号化装置の構成を示す。

0131

同図に示す拡張画像符号化装置10cでは、供給される4:2:2画像フォーマットの画像データは色差データ差分器23と4:2:0変換器21に供給されるが、その4:2:0変換器21で画像フォーマットの変換された信号はMPEG符号化器12と4:2:2変換器22に供給される。

0132

4:2:2変換器より供給される信号は前述の拡張画像符号化装置10bと同様にして色差データ差分器23に供給され、その後は同様な処理動作がなされる。ただし、その信号処理動作は、MPEG符号化器12で符号化時に生じる量子化雑音に対する補正画像信号を含む差分画像データが生成されないことで異なっているが、その反面、差分画像データが情報量として有するデータのエントロピーが低い値となる。

0133

そのようにして生成される差分画像データの符号化に係る符号量が少なくなり、それに伴いその後段に配置される符号化器での符号化のための演算処理数を減少させることができると共に、ユーザデータ領域に挿入されて伝送される符号量も少なくできるため、ユーザデータ領域に差分画像データを挿入することにより符号化データ全体の符号量の増加が少なく、差分画像データの復号を行わない通常復号化を行うユーザに対する信号処理の負担を少なくすることができる。

0134

また、通常復号化を行うユーザに対する負担を少なくする方法として4:2:0変換器21の構成が考慮されている。即ち、その4:2:0変換器21に供給される4:2:2画像フォーマットによる画像データは4:2:0画像フォーマットによる画像データの信号に変換される必要があり、そのための画像信号の垂直方向のフィルタリングは、例えば2ライン分の色差信号を加算することにより行い、両方の画像信号に対する特性を合わせるようにする。

0135

そして、そのようにフィルタリングされた信号の4:2:2変換器22における色差信号の垂直方向へのオーバーサンプリングによる画像フォーマットの変更は、例えば2つの走査線分の色差信号を加算して2で割るような補間計算によって行われる。

0136

このような補間計算による方法を用いるのは、色差信号に対する特性をMPEG符号化器12に内蔵される局部復号化器と同じ特性のものにしなければならないためであり、それは差分画像信号として加算される色差信号の差分データは通常符号化器により生成される色差信号と同じ特性を有していないときは、例えDPCM符号、復号器、ないしは第2MPEG符号化器、及び復号化器による符号化復号化などで全く劣化がない場合であっても、4:2:2画像フォーマットに基づく特性の画像信号を得ることができなくなるからである。

0137

従って、拡張画像符号化装置に用いられる4:2:2変換器22の特性と、拡張画像復号化装置に用いられる4:2:2変換器38とは、同一の色差信号に対する垂直方向のオーバーサンプル方法を用いるようにして、4:2:0画像フォーマットにより符号化された画像データ部分は従来のメインプロファイルにより符号化された画像データ部分と同一の特性となる様にし、その同一特性の画像データの特性改善をユーザデータ領域で伝送される信号を復号することにより得るようにしている。

0138

次に、そのようにして前述の図11、ないしは図12に示した拡張画像符号化装置により生成された符号化データを復号する拡張画像復号化装置について述べる。図13に、そのようにして伝送される符号化データを通常のMPEG復号化器により復号する場合の例を示す。

0139

同図において、供給される符号化データを、前述の図5に示したと同様な通常のMPEG復号化器32を用いて生成するときは、その4:2:0画像フォーマットの符号化信号を復号化するMPEG復号化器32ではユーザデータ記録領域に記録される符号化データを検出せづに符号化を行うため、通常画像復号化装置30からは通常の符号化データが復号化されて4:2:0画像フォーマットによる画像データが得られる。

0140

そして、4:2:2画像フォーマットに係る差分画像データを復号して垂直解像度の優れた高画質な復号画像データを得る拡張画像復号化装置の第4の実施例について更に述べる。図14に、その拡張画像復号化装置30cの構成を示し、その動作について述べる。

0141

同図に示す拡張画像復号化装置30cは、データ入力端子31、MPEG復号化器32a、ユーザデータ分離器33、遅延器34、DPCM復号器35、4:2:2変換器38、及び色差データ加算器39より構成される。

0142

そのように構成される拡張画像復号化装置30cのデータ入力端子31に供給された符号化データは、MPEG復号化器32aで復号されて通常の復号化データが得られ、得られた復号化データは遅延器34に供給されると共に、ユーザデータの含まれる符号化データはユーザデータ分離器33に供給される。

0143

そのユーザデータ分離器33では、供給される符号化データにおけるピクチャデータのシンタックスにおけるUser#data#start#codeが検出され、そのUser#data#start#codeに続いて伝送されるユニークコード0x22220204が検出されるが、そのユニークコードが検出されないときはその後に伝送されるユーザデータは読み飛ばしがなされる。

0144

そして、そのユニークコードが検出されるときは、そのユニークコードに続いて伝送される拡張符号化データはDPCM復号化器35に供給され、そのDPCM復号化器35では前述の図6に示した拡張画像復号装置30aと同様にして、供給された符号化データの復号化が行われることにより、4:2:2画像フォーマットに係る垂直解像度を補正するための差分画像データが2種類の色差信号に対して得られる。

0145

それらの得られた差分画像データは色差データ加算器39の一方の入力端子に供給されると共に、その他方の入力端子には遅延器34で所定の時間遅延された通常MPEG復号画像データが供給され、それらの2つの入力端子に供給されたそれぞれの画像データは加算されて色信号の垂直解像度が改善された拡張復号化画像データが得られ、その得られた拡張復号化画像データは拡張画像復号化装置30cより出力信号として供給される。

0146

以上、4:2:2画像フォーマットにより伝送される画像データと、4:2:0画像フォーマットにより伝送される画像データとの差分画像データがDPCM符号化されてビットストリームのユーザデータ領域に挿入されて伝送され、復号側では伝送された4:2:0画像フォーマットにより伝送された画像データは復号されると共に、ユーザデータ領域でDPCM符号化されて伝送される4:2:2画像フォーマットにより伝送される画像データを得るための差分画像データは復号して得られ、その得られた差分画像データが用いられて解像度の改善された画像データとして得ることができるものである。

0147

そして、その4:2:2画像フォーマットによる画質を復号して得るための差分画像信号は、DPCM符号化により符号化して伝送される他に、第2の実施例で示した第2のMPEG符号化器が用いられて符号化信号が生成される方法、更には他の直交変換の手法により符号化される方法など、符号化側と複合化側で相補的な手法が用いられて同様の拡張画像符号化装置、及び拡張画像復号化装置を構成することができるものである。

0148

また、このようにして構成される拡張画像符号化装置、及び拡張画像復号化装置は、対応する装置間で高画質な画像信号の送信及び受信を行なうことができる。そして、異なる方式により差分画像データの伝送がなされるときは、お互いに異なるユニークコードを識別コードとして用いることにより、同一特性の符号化装置及び復号化装置により生成されて伝送された信号の受信及び復号化ができるようになされる。

0149

そして、これらの符号化及び復号化装置を用いて記録媒体に拡張画像符号化信号を記録して、その記録した信号を拡張画像復号化装置により再生することが出来る。その記録媒体として、RAM形DVDなどの円盤型記録媒体を用いる場合、及びデジタルビデオレコーダのようなテープ型記録メディアを用いる場合などがある。

0150

特にデジタルビデオテープを用いる記録装置、例えばD−VHSでの記録信号は固定転送レートとされており、特に固定レートで記録される場合での応用性は高い。

0151

即ち、そのD−VHSによる場合の標準記録モードにおける転送レートは約14Mbpsとされているが、通常のNTSC程度の動画をMPEG方式により圧縮符号化を行う場合は約7〜9Mbpsの転送レートによりかなり高画質に映像信号の記録ができる。

0152

その場合は、14Mbpsよりその転送レートを減じた約5〜7Mbpsが信号の記録されない剰余領域とされるが、剰余領域に前述のユーザデータを記録することにより、例えばメインプロファイルで記録するときの4:2:0画像フォーマットに対する4:2:2ないしは4:4:4画像フォーマットによる画像との差分画像を記録して、色差信号の画素フォーマットを拡張した画像情報を再生することができる。

0153

即ち、そのための拡張画像符号化装置を搭載するMPEGデータ記録装置は、MPEG符号化器と、その符号化データを復号して原画像との差分データを作成する差分データ作成器と、差分データを前記符号化器で符号化するストリーム中のユーザデータに記録するユーザデータ記録器とを有して構成するようになされる。

0154

そしてまた、そのMPEGデータ記録装置は、MPEG符号化器と、その符号化データを復号して原画像との差分データを作成する差分データ作成器と、差分データをビデオストリームのユーザデータに所定のユニークコードと共に記録するユーザデータ記録器とを有して構成する方法がある。

0155

さらにまた、MPEGデータ再生装置においては、MPEG復号器と、ビデオストリームのユーザデータに所定のユニークコードと共に記録される差分データを復号して得ると共に、MPEG復号部で復号された復号化データにその差分データの加算を行う差分データ加算器とを有するようにして構成する。

0156

このようにして構成されるMPEGデータ記録装置及びMPEGデータ再生装置を搭載するMPEGデータ記録再生装置を用いて、ユーザ個人がその装置により記録したビデオテープはその装置により高画質な再生ができると共に、その記録したテープを差分画像信号の再生に対応していない他の再生装置で再生するような場合であっても、通常の記録再生機能により標準的な再生がなされることになる。

0157

その標準的な記録再生機能は、MPEGのメインプロファイルによる符号化の場合は4:2:0画像フォーマットによる伝送、ないしは記録がなされ、ユーザデータ領域で伝送ないしは記録されるデータとして4:2:2の原画像データクロマ信号からMPEG復号された4:2:0のクロマ信号との差分画像信号を符号化したものを用い、通常再生は4:2:0画像フォーマットにより、また差分画像信号を復号可能な場合は4:2:2画像フォーマットにより、色信号解像度の高い画像信号の再生がなされるものである。

0158

このようにして、ここに示した実施例においてはMPEG方式により符号化したビデオ信号ビデオストリームのユーザデータ領域に所定のユニークコードと差分画像情報を記録するに際し、前記ビットストリーム本体は符号化対象ビデオ符号化標準データとし、ユーザデータ領域にのみ高画質化のための差分データ情報を記録するようにした。

0159

なお、記録媒体として固定レート記録によるデジタルVTRを例として述べたが、記録媒体はVTRテープに限ることなく、例えばDVD−RW、DVD−RAMを用いる記録媒体によっても構わない。

0160

そのような円盤型記録媒体の場合であっても、全体の記録容量に対して記録番組のデータ容量が小さいような場合は、ビットストリーム中のユーザ領域に差分画像データを記録する、ないしは空き領域に差分画像データを記録するようにする。

0161

そのユーザデータ領域への記録はユニークコードと共に行うため、仮に読み出し速度が遅いようなDVDプレーヤによる再生の場合でも、そのユーザ領域に記録される信号は読み飛ばしながら再生されることにより、通常のメインプロファイルによる再生が可能とされる。

0162

以上、VTR、DVDに対する応用例について述べたが、この方法は例えば高速インターネット回線を用いる画像伝送システムに応用できる。それは、伝送速度を高く確保できるときは高画質化のための差分画像データを伝送するようにするものである。

0163

以上詳述した様に、拡張画像の符号化方法を搭載する拡張画像符号化装置は、例えばMPEGなど国際標準とされる符号化規格に対してはその規格に基づいた符号化ビットストリームを生成すると共に、そのビットストリームに挿入が許可されている例えばユーザデータ記録領域には、その規格により規定される所定のアプリケーション規格ないしは伝送フォーマットの変更を行うことなく階層構造を持たせた画像信号を伝送するためのビットストリームを生成することができ、市場に定着しつつある既存の画像符号化システムとの互換性を完全に保ちながら、上位階層構造の画像データを伝送できるので、アプリケーションの機能拡張性を大きくするシステムを構成できる。

0164

さらに、単体のビデオストリームに階層構造をもたせることができるのでシンプルな構成で復号化器の設計ができるため、高画質化などの機能拡張を低価格で実現することができる。

0165

特に、固定転送レートによるの記録媒体で、記録レートが、本来の記録データより余裕があるような場合には、前述の実施例に示した方法により高画質なビデオ信号の伝送ないしは記録を、また色信号の画像フォーマットを4:2:0から4:2:2に拡張するような彩度及び精細度の高いビデオ信号を得ることが可能となる。

0166

また、上述の第3の実施例において4:2:0画像フォーマットにより符号化した画像信号を復号して得られる画像信号と、4:2:2画像フォーマットにより供給される入力画像データとの差の信号を得、その得られた差の信号を符号化してユーザデータ領域に挿入した符号化信号として生成する手法について述べたが、それらの画像フォーマットは4:2:0方式、及び4:2:2方式に限ることなく、メインの符号化データに用いられる画像フォーマットは4:2:0方式の他に例えば4:1:0方式、及び4:1:1方式などを、そしてユーザデータ領域で差分画像信号として用いられる画像フォーマットは4:2:2方式の他に例えば4:4:4方式などの更に高解像度を与える画像フォーマットの信号形式を使用できる。

0167

いずれの場合においても、ユーザデータ領域で差分画像信号として用いられる画像フォーマットはメインの符号化データに用いられる画像フォーマットよりも色差信号などの解像度が高い方式のものが用いられる。

0168

また、ユーザデータ領域で伝送される符号化信号の符号化方式としてDPCMを用いる場合、及びMPEGで規定される符号化方式を用いる場合について述べたが、その符号化方式はそれらに限ることはなく、差分画像信号に対して効率の高い符号化がなされ、且つその符号化、及び復号化が比較的容易に行えるものであれば他の符号化方式であっても構わない。

発明の効果

0169

請求項1記載の発明によれば、供給される画像信号を直交変換及び可変長符号化して標準的に使用される圧縮符号化信号を得、その得られた圧縮符号化信号と供給される画像信号とを演算して差分画像信号を得、その得られた差分画像信号を圧縮符号化して圧縮符号化信号のユーザデータ記録領域に挿入して拡張画像符号化信号を得るようにしているため、その拡張画像符号化信号を標準的な復号化により標準的な画質で復号化画像信号を得ることができると共に、ユーザデータ領域で伝送された差分画像信号を復号できる機能を有する復号化装置で復号化する場合は更に高画質の復号信号を得ることができる拡張画像信号の符号化方法を提供できる効果がある。

0170

また、請求項2記載の発明によれば、特にユーザデータ領域で伝送される差分画像信号に予め定められたユニークコードを識別信号として付してユーザデータ記録領域に挿入するようにしているため、請求項1の効果に加え、ユーザデータ領域で所定の方式により伝送される差分画像信号の有無を容易に識別することができるため、ユーザデータ領域に目的とする差分画像データが挿入されているときはその信号を検出することにより、更に高画質の復号信号を得ることができる拡張画像信号の符号化方法を提供できる効果がある。

0171

また、請求項3記載の発明によれば、特にユーザデータ領域で伝送される差分画像信号がメインプロファイルとして規定される4:2:0画像フォーマットにより符号化された符号化信号のユーザデータ記録領域に4:2:2画像フォーマットなど更に高画質な画像により符号化された信号に対する差分画像信号を符号化し、挿入して伝送するようにしているため、請求項1の効果に加え、ユーザデータ領域で伝送される差分画像信号を復号化できる復号装置を用いて、更に色信号解像度の高い高画質な画像信号を得ることができる拡張画像信号の符号化方法を提供できる効果がある。

0172

また、請求項4記載の発明によれば、画像信号を直交変換及び可変長符号化して標準的に使用される圧縮符号化信号に、その圧縮符号化信号を高画質に復号するための差分画像信号が圧縮符号化されて圧縮符号化信号のユーザデータ記録領域に挿入されて供給される拡張符号化信号を得、その得られた拡張符号化信号の圧縮符号化信号を復号して復号化画像信号を得ると共に、その圧縮符号化信号のユーザデータ領域に挿入されて伝送される差分画像信号を復号化して復号化差分画像信号を得、それらの得られた復号化画像信号と復号化差分画像信号との加算処理を行うことにより、更に高画質の復号化画像信号を得ることができる拡張画像信号の復号化方法を提供できる効果がある。

0173

また、請求項5記載の発明によれば、特にユーザデータ領域で伝送される差分画像信号が標準符号化方式のメインプロファイルとして規定される4:2:0画像フォーマットにより符号化された符号化信号のユーザデータ記録領域に4:2:2画像フォーマットなど更に高画質な画像により符号化された信号に対する差分画像信号が符号化、挿入されて伝送される符号化信号を得て復号化するようにしているため、請求項4の効果に加え、更に色信号解像度の高い高画質な画像信号を復号して得ることができる拡張画像信号の復号化方法を提供できる効果がある。

0174

また、請求項6記載の発明によれば、供給される画像信号を直交変換及び可変長符号化して標準的に使用される圧縮符号化信号を得、その得られた圧縮符号化信号と、供給される画像信号とを演算して差分画像信号を得、その得られた差分画像信号を圧縮符号化して圧縮符号化信号のユーザデータ記録領域に挿入して拡張画像符号化信号を得るようにしているため、その拡張画像符号化信号を標準的な復号化により標準的な画質で復号化画像信号を得ることができると共に、ユーザデータ領域で伝送された差分画像信号を復号できる機能を有する復号化装置で復号化する場合は更に高画質な復号信号を得ることができる拡張画像信号符号化装置の構成を提供できる効果がある。

0175

また、請求項7記載の発明によれば、特にユーザデータ領域で伝送される差分画像信号が標準方式のメインプロファイルとして規定される4:2:0画像フォーマットにより符号化された符号化信号のユーザデータ記録領域に、4:2:2画像フォーマットなど更に高画質な画像により符号化された信号に対する差分画像信号を符号化して、挿入して伝送するため、請求項6の効果に加え、ユーザデータ領域で伝送される差分画像信号を復号化できるときは、更に色信号解像度の高い高画質な画像信号を得ることができる拡張画像信号符号化装置の構成を提供できる効果がある。

0176

また、請求項8記載の発明によれば、画像信号を直交変換及び可変長符号化して標準的に使用される圧縮符号化信号に、その圧縮符号化信号を高画質に復号するための差分画像信号が圧縮符号化されて圧縮符号化信号のユーザデータ記録領域に挿入されて供給される拡張符号化信号を得、その得られた拡張符号化信号の圧縮符号化信号を復号して復号化画像信号を得ると共に、その圧縮符号化信号のユーザデータ領域に挿入されて伝送された差分画像信号を復号化して復号化差分画像信号を得、それらの得られた復号化画像信号と復号化差分画像信号との加算処理を行うことにより、更に高画質な復号化画像信号を得ることができる拡張画像信号復号化装置の構成を提供できる効果がある。

0177

また、請求項9記載の発明によれば、供給される画像信号を直交変換及び可変長符号化して標準的に使用される圧縮符号化信号を得、その得られた圧縮符号化信号と供給される画像信号とを演算して差分画像信号を得、その得られた差分画像信号を圧縮符号化して圧縮符号化信号のユーザデータ記録領域に挿入して拡張画像符号化信号を得る、などのようにして得られた拡張画像復号化信号を記録媒体に記録するようにしているため、その記録媒体は拡張画像符号化信号を標準的な復号化装置により標準的な画質で復号化することができると共に、ユーザデータ領域で伝送された差分画像信号を復号できる機能を有する復号化装置に対しては更に高画質の復号信号を得るための拡張画像信号符号化信号を記録した拡張画像記録媒体を提供できる効果がある。

図面の簡単な説明

0178

図1本発明の第1の実施例に係る拡張画像符号化装置の構成図である。
図2本発明の第1の実施例に係る輝度信号に係るDPCMコード表を示したものである。
図3本発明の第1の実施例に係る色差信号に係るDPCMコード表を示したものである。
図4MPEG2で規定されるビデオレイヤの符号化シンタックスを示したものである。
図5拡張画像符号化装置で生成した符号化データの、通常の画像復号化装置による復号を説明するための図である。
図6本発明の第1の実施例に係る拡張画像復号化装置の構成図である。
図7本発明の第2の実施例に係る拡張画像符号化装置の構成図である。
図8本発明の第2の実施例に係る拡張画像復号化装置の構成図である。
図94:2:0画像フォーマットによる輝度信号と色差信号の画素数の関係を示した図である。
図104:2:2画像フォーマットによる輝度信号と色差信号の画素数の関係を示した図である。
図11本発明の第3の実施例に係る拡張画像符号化装置の構成図である。
図12本発明の第3の実施例に係る拡張画像符号化装置を変形させた構成図である。
図13拡張画像符号化装置で生成した符号化データの、通常の画像復号化装置による復号を説明するための図である。
図14本発明の第3の実施例に係る拡張画像復号化装置の構成図である。
図15従来のMPEG符号化器の構成を示した図である。
図16従来のMPEG復号化器の構成を示した図である。

--

0179

10、10a、10b、10c拡張画像符号化装置
11データ入力端子
12MPEG符号化器
12a 第1MPEG符号化器
13 MPEG復号化器
14加算器
15遅延器
16DPCM器
17 ユーザデータ挿入器
18固定符号量指示器
19 第2MPEG符号化器
21 4:2:0変換器
22 4:2:2変換器
23色差データ差分器
30通常画像復号化装置
30a、30b、30c 拡張画像復号化装置
31 データ入力端子
32、32a MPEG復号化器
32b 第1MPEG復号化器
33 ユーザデータ分離器
34 遅延器
35 DPCM復号化器
36 加算器
37 第2MPEG復号化器
38 4:2:2変換器
39 色差データ加算器
50 MPEG符号化器
51入力端子
52 加算器
53 DCT器
54量子化器
55 VLC器
56バッファ
57変換符号量制御
61逆量子化器
62 逆DCT器
63 加算器
64画像メモリ
65動き補償予測器
70 MPEG復号化器
71 データ入力端子
72 バッファ
73 VLD器
74 逆量子化器
75 逆DCT器
76 加算器
77 画像メモリ
78 動き補償予測器

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 株式会社東芝の「 AD変換回路」が 公開されました。( 2020/09/24)

    【課題】一つの実施形態は、信号に含まれる誤差を低減できるAD変換回路を提供することを目的とする。【解決手段】一つの実施形態によれば、AD変換回路の第1のΔΣ変換回路において、第1の量子化器は、1.5ビ... 詳細

  • 株式会社デンソーの「 データ圧縮方法、データ圧縮装置」が 公開されました。( 2020/09/24)

    【課題】データを可逆的且つ効率よく圧縮することができるデータ圧縮方法、データ圧縮装置を提供する。【解決手段】実施形態のデータ圧縮方法は、文字および数字の少なくとも一方を含むデータを圧縮するものであって... 詳細

  • シャープ株式会社の「 画像スケーリング変換、逆変換装置及び方法」が 公開されました。( 2020/09/24)

    【課題】画質の低下を抑制可能な画像処理装置を実現する。【解決手段】画素スケーリング階調変換部(51)は、入力画像の各画素値にオフセットを加算又は減算したうえでスケーリングすることによりスケーリング済画... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ