図面 (/)

技術 画像符号化装置及び画像復号化装置,画像符号化方法及び画像復号化方法,並びにデ—タ記憶媒体

出願人 パナソニック株式会社
発明者 角野眞也
出願日 1999年3月5日 (21年8ヶ月経過) 出願番号 1999-058860
公開日 1999年11月16日 (21年0ヶ月経過) 公開番号 1999-317961
状態 未査定
技術分野 カラーテレビジョン方式 TV信号の圧縮,符号化方式 TV信号の圧縮,符号化方式
主要キーワード 形状再生 前段スイッチ 開放出力 フィールド変換器 参照形状 対応形状 予測形状 信号操作
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(1999年11月16日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (17)

課題

解決手段

物体に対応するインタレース画像信号に対する動き補償符号化処理として、フレーム単位の処理とフィールド単位の処理とを適応的に切り換えて行う画像符号化装置において、形状動きベクトルの予測値をカラー動きベクトルを参照して生成するMV予測器204aを備え、該MV予測器204aでは、参照すべきカラー動きベクトルがフィールド単位の動き補償符号化処理に対応するものである場合は該フィールド単位のカラー動きベクトルをフレーム単位の動きベクトルに変換するフレームMV変換器110bの出力を参照するようにした。

概要

背景

近年、音声,画像,その他のデータを統合的に扱うマルチメディア時代を迎え、従来からの情報メディア,つまり新聞雑誌テレビラジオ電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。

ところが、上記各情報メディアで扱われる情報量をディジタル情報量として見積もってみると、文字の場合1文字当たりの情報量は1〜2バイトであるのに対し、音声の場合1秒当たり64Kbits(電話品質)、さらに動画については1秒当たり100Mbits(現行テレビ放送品質)以上の情報量が必要となり、上述したほとんどの情報メディアにおいては、その膨大な情報をディジタル形式でそのまま扱うことは現実的ではない。例えば、テレビ電話は、64Kbps〜1.5Mbps伝送速度を持つサービス総合ディジタル網ISDN:Integrated Services Digital Network)によってすでに実用化されているが、テレビカメラ映像情報をそのままISDNで送ることは不可能である。

そこで、必要となってくるのが情報の圧縮技術である。例えば、テレビ電話の場合、ITU−T(国際電気通信連合電気通信標準化部門)で国際標準化されたH.261やH.263規格動画圧縮技術が用いられている。また、MPEG1規格の情報圧縮技術によると、通常の音楽用CD(コンパクトディスク)に音声情報とともに画像情報を入れることも可能となる。

ここで、MPEG(Moving Picture Experts Group) とは、動画データ(動画像画像信号)の圧縮技術に関する国際規格であり、MPEG1は、動画データを1.5Mbpsまで、つまりテレビ信号の情報を約100分の1にまで圧縮する規格である。また、MPEG1規格を対象とする伝送速度が主として約1.5Mbps に制限されていることから、さらなる高画質化の要求をみたすべく規格化されたMPEG2では、動画データが2〜15Mbps に圧縮される。

さらに現状では、MPEG1,MPEG2と標準化を進めてきた作業グループ(ISO/IECJTC1/SC29/WG11) によって、物体単位で符号化処理信号操作を可能とし、マルチメディア時代に必要な新しい機能を実現する動画データの圧縮技術がMPEG4として規格化されつつある。このMPEG4では、当初、低ビットレート符号化方法の標準化を目指してきたが、現在は、標準化の対象が、インタレース画像に対応した高ビットレートのより汎用的な符号化処理に拡張されている。

図8は物体単位の符号化処理を説明するための模式図である。図8(a) は、1つの画像を構成する物体に対応する、輝度信号及び色差信号からなるカラー信号から得られる画像空間Tsを示し、図8(b) は、該物体の形状を示す形状信号から得られる画像空間Ssを示す。図8(b) に示す画像空間Ssの、黒塗り部分が物体Soの内部領域であり、物体内部に含まれる画素(物体内画素)に対応するカラー信号により、上記画像空間Tsにおけるの画像(物体)Toが表現される。

MPEG4では、物体に対応する、形状信号及びカラー信号を含む画像信号を、マクロブロックと呼ばれる所定数の画素からなる領域を単位として、符号化する。上記カラー信号を、所定数の画素からなるマクロブロックを単位として符号化する技術は、MPEG1,MPEG2で導入されているが、MPEG4では、カラー信号とともに形状信号もマクロブロックを単位として符号化される。

図8(c) は、カラー信号を、上記画像空間Tsを区分するマクロブロックTmbに対応するよう分割するブロック化処理概念的に示す図、図8(d) は、形状信号を、上記画像空間Ssを区分するマクロブロックSmbに対応するよう分割するブロック化処理を概念的に示す図である。

MPEG4では、画面(画像空間)の一部に物体が含まれている場合に効率良く符号化できるよう、画面全体に対応する画像信号を符号化するのではなく、画面内の物体を含む矩形領域の内部に対応する画像信号のみを符号化することが可能となっている。なお、上記物体を囲む矩形領域はバウンディングボックスと呼ばれている。

具体的には、カラー信号に対しては、図8(e) に示すように、そのバウンディングボックスTbに対応する部分をマクロブロックに対応するよう分割するブロック化処理が施される。また、形状信号に対しても、図8(f) に示すように、該バウンディングボックスSbに対応する部分をマクロブロックに対応するよう分割するブロック化処理が施される。

上記各マクロブロックに対応する、カラー信号及び形状信号を含む画像信号に対しては、マクロブロック単位で、MPEG1, 2と同様の動き補償符号化処理が施される。

この動き補償符号化処理では、フレーム間での物体の動きは、本来、カラー信号と形状信号の間で一致したものとなるはずであるが、実際には、物体の真の動きと、各信号の符号化処理が効率の良いものとなる物体の動きとは一致しない。

つまり、動き補償符号化処理は、カラー信号あるいは形状信号の動き補償誤差を符号化する方法である。このため、動き補償符号化処理では、物体の真の動きを示す動き情報動きベクトル)に比べて動き補償誤差が小さくなる動き情報が得られれば、物体の真の動きを示す動き情報(動きベクトル)に基づいて動き補償を行うよりも、上記動き補償誤差が小さくなる動き情報(動きベクトル)に基づいて動き補償する方が符号化効率の向上につながる。特に、カラー信号は多値信号であり、形状信号は物体内画素と物体外画素とを区別する2値信号であることから、両信号の性質は若干異なり、動き補償誤差が小さくなる動きベクトルも両信号の間で若干異なることとなる。

なお、上記動き補償誤差は、現画面(符号化処理が施される画面)における被処理マクロブロック(符号化処理の対象となるマクロブロック)に対応するカラー信号あるいは形状信号と、前画面(符号化処理済の参照画面)における、上記被処理マクロブロックと同一サイズの所定領域(予測マクロブロック)に対応するカラー信号あるいは形状信号との差分値である。また、各マクロブロックに対応する動きベクトルは、上記画面上での被処理マクロブロックに対する予測マクロブロックの位置関係を示す位置情報である。

そこで、MPEG4においては、カラー信号に対する動き補償符号化処理は、該カラー信号から得られる動きベクトル(以下、カラー動きベクトルともいう。

)に基づいて、形状信号に対する動き補償符号化処理は、該形状信号から得られる動きベクトル(以下、形状動きベクトルともいう。)に基づいて行うようにしている。

また、上記カラー動きベクトルとこれに対応する形状動きベクトルとは、その向きや大きさが必ずしも一致するものではないが、これらの動きベクトルの間には強い相関がある。このため、MPEG4では、現画面における符号化処理済マクロブロックに対応する形状動きベクトルと、これに対応するカラー動きベクトルとに基づいて、符号化すべき被処理マクロブロックに対応する形状動きベクトルの予測値を生成し、この予測値と被処理被処理マクロブロックに対応する形状動きベクトルとの差分値を、被処理マクロブロックに対応する形状動きベクトルの情報として符号化する方法が採用されている。

以下、MPEG4準拠の従来の画像符号化装置及び画像復号化装置について説明する。図9は、MPEG4準拠の従来の画像符号化装置を説明するためのブロック図である。この画像符号化装置1000は、カラー信号に対する、動き補償符号化処理を含む符号化処理を行うカラー符号化装置1100と、形状信号に対する、動き補償符号化処理を含む符号化処理を行う形状符号化装置1200とを有している。

この形状符号化装置1200は、入力端子1201に入力された各物体に対応する形状信号Ssをマクロブロックに対応するようブロック化して、ブロック化形状信号Bsを出力するブロック化器1210と、符号化処理済画面(前画面)に対応する形状信号(局所復号化形状データ)Lds参照形状信号MLdsとして格納されるメモリ1260とを有している。

また、上記形状符号化装置1200は、上記メモリ1260に格納されている参照形状信号MLds及び上記ブロック化器1210から出力されるブロック化形状信号Bsに基づいて、被処理マクロブロックに対応する動きベクトルMVsを検出するとともに、この検出処理の際に得られる形状信号に関する動き補償誤差信号DFsを出力する形状動き検出器1240と、上記参照形状信号MLds及び形状動きベクトルMVsに基づいて、ブロック化形状信号Bsの動き補償処理を行って、被処理マクロブロックに対応する予測形状信号(予測マクロブロックの形状信号)Psを出力する形状動き補償器1250と、上記ブロック化器1210の出力Bs及び形状動き検出器1240からの動き補償誤差信号DFsに基づいて、形状信号の符号化モードの判定を行って形状符号化モード信号Mosを出力するモード判定器1280とを有している。

なお、この形状符号化モード信号Mosは、形状信号に対応する被処理マクロブロックが物体外マクロブロック、画面内の画素値相関を利用した画面内符号化処理が施されたイントラマクロブロック、及び画面間の画素値相関を利用した画面間符号化処理が施されたインターマクロブロックのいずれであるかを示すものである。なお、物体外マクロブロックは、その画素がすべて物体外に位置するマクロブロックであり、イントラマクロブロック及びインターマクロブロックは、少なくとも一部の画素が物体内に位置する物体内マクロブロックである。

また、上記形状符号化装置1200は、上記ブロック化形状信号Bsに対して、上記形状符号化モード信号Mosに基づいて、上記予測形状信号Psを参照する算術符号化処理(画面間符号化処理)あるいは上記予測形状信号Psを参照しない算術符号化処理(画面内符号化処理)を施して形状符号化データCsを出力するとともに、該形状符号化データCsの復号化データ(局所復号化形状データ)Ldsを出力する形状符号化器1220と、上記形状符号化データCs及び形状符号化モード信号Mosに対して可変長符号化処理を施して形状符号化信号Esを出力する可変長符号化器1230と、上記形状符号化モード信号Mos,及びカラー符号化装置1100からの動きベクトルに関する情報Mmvt,Mmotに基づいて、上記形状動きベクトルMVsを符号化して形状動きベクトル符号化信号Emvsを出力する動きベクトル符号化装置1270とを有している。

また、この形状符号化装置1200では、上記形状符号化器1220からの局所復号化形状データLdsは、上記メモリ1260に参照形状信号MLdsとして格納されるようになっている。このメモリ1260に格納された参照形状信号MLdsは、上記形状動き検出器1240及び形状動き補償器1250に出力され、形状信号に対する動き検出処理及び動き補償処理に用いられるようになっている。上記局所復号化形状データLdsは、上記カラー符号化装置1100に出力され、カラー信号に対する動き検出処理及び動き補償処理に用いられるようになっている。

一方、上記カラー符号化装置1100は、入力端子1101に入力された各物体に対応するカラー信号Stをマクロブロックに対応するようブロック化して、ブロック化カラー信号Btを出力するブロック化器1110と、符号化処理済画面(前画面)に対応するカラー信号(局所復号化カラーデータ)Ldtが参照カラー信号MLdtとして格納されるメモリ1160とを有している。

また、上記カラー符号化装置1100は、上記メモリ1160に格納された参照カラー信号MLdt,上記形状符号化装置1200からの局所復号化形状データLds,及び上記ブロック化器1110の出力Btに基づいて、被処理マクロブロックに対応するカラー動きベクトルMVtを検出するとともに、カラー信号に関する動き補償誤差信号DFtを出力するカラー動き検出器1140を有している。

また、上記カラー符号化装置1100は、上記ブロック化器1110の出力Bt,カラー動き検出器1140からの動き補償誤差信号DFt,及び形状符号化装置1200からのブロック化形状信号Bsに基づいて、カラー信号に対する符号化モードの判定を行ってカラー符号化モード信号Motを出力するモード判定器1180と、上記参照カラー信号MLdt,上記カラー動きベクトルMVt及び上記形状符号化装置1200からの局所復号化形状データLdsに基づいて、ブロック化カラー信号Btの動き補償処理を行って、被処理マクロブロックに対する予測カラー信号(予測マクロブロックのカラー信号)Ptを出力するカラー動き補償器1150とを有している。

なお、このカラー符号化モード信号Motは、カラー信号に対応する被処理マクロブロックが物体外マクロブロック、画面内の画素値相関を利用した画面内符号化処理が施されたイントラマクロブロック、及び画面間の画素値相関を利用した画面間符号化処理が施されたインターマクロブロックのいずれであるかを示すものである。

また、上記カラー符号化装置1100は、上記ブロック化カラー信号Btに対して、上記予測カラー信号Ptを参照する波形符号化処理画面間予測符号化処理)あるいは上記予測カラー信号Ptを参照しない波形符号化処理(画面内符号化処理)を施してカラー符号化データCtを出力するとともに、該カラー符号化データCtの復号化データ(局所復号化カラーデータ)Ldtを出力するカラー符号化器1120とを有している。

さらに、上記カラー符号化装置1100は、上記カラー符号化データCt及びカラー符号化モード信号Motに対して可変長符号化処理を施してカラー符号化信号Etを出力する可変長符号化器1130と、上記カラー符号化モード信号Motに基づいて、上記カラー動きベクトルMVtを符号化してカラー動きベクトル符号化信号Emvtを出力するとともに、カラー動きベクトルに関する情報Mmvt,Mmotを上記形状符号化装置1200の動きベクトル符号化装置1270に出力する動きベクトル符号化装置1170とを有している。

また、このカラー符号化装置1100では、上記カラー符号化器1120からの局所復号化カラーデータLdtは、上記メモリ1160に参照カラー信号MLdtとして格納されるようになっており、このメモリに格納された参照カラー信号MLdtは、上記カラー動き検出器1140及びカラー動き補償器1150に出力され、動き検出処理及び動き補償処理に用いられるようになっている。

なお、MPEG4における画像信号は、物体に対応するカラー信号を他のカラー信号と合成する際の合成比率を示す透過度信号を含むデータ構造となっており、画像符号化装置は、上記形状符号化装置1200及びカラー符号化装置1100とともに、上記透過度信号を符号化する透過度符号化装置を有しているが、ここではその説明は省略する。なお、この透過度符号化装置は、上記カラー符号化装置1100とほぼ同様な構成となっており、透過度信号に対する動き補償を、上記カラー動きベクトルMVtに基づいて行う点のみ、カラー符号化装置1100と異なっている。従って、透過度符号化装置は、動き検出器は有していない。

次に上記画像符号化装置1000の動作について説明する。所定の物体に対応する画像信号を構成する形状信号Ssが形状符号化装置1200の入力端子1201に入力されると、該形状信号Ssはブロック化器1210にて、上記矩形領域(バウンディングボックス)を区分する各マクロブロックに対応するよう分割されてブロック化形状信号Bsが生成される。このブロック化形状信号Bsは、形状符号化装置1200における形状動き検出器1240,形状符号化器1220,及びモード判定器1280へ出力されるとともに、カラー符号化装置1100のモード判定器1180へ出力される。

該形状動き検出器1240では、上記ブロック化形状信号Bs及びメモリ1260に格納されている前画面の参照形状信号MLdsに基づいて、被処理マクロブロックに対応する形状動きベクトルMVsが検出される。この形状動きベクトルMVsは形状動き補償器1250及び動きベクトル符号化装置1270に出力される。

また、このとき、上記形状動き検出器1240からは、動き検出処理の際に生成された、形状信号に関する動き補償誤差信号DFsがモード判定器1280に出力される。すると、該モード判定器1280では、上記ブロック化器1210の出力Bs及び動き補償誤差信号DFsに基づいて、被処理マクロブロックに対する符号化モードの判定が行われて形状符号化モード信号Mosが出力される。

上記形状動き補償器1250では、上記形状動きベクトルMVs及び上記参照形状信号MLdsに基づいてブロック化形状信号Bsの動き補償処理が行われ、被処理マクロブロックに対応する予測形状信号Psが生成される。また上記形状動きベクトル符号化装置1270では、上記形状符号化モード信号Mos,及びカラー符号化装置1100における動きベクトル符号化装置1170からの動きベクトルに関する情報Mmvt,Mmotに基づいて、上記形状動きベクトルMVsの符号化処理が行われて、形状動きベクトル符号化信号Emvsが出力端子1203から出力される。

また、上記形状符号化器1220では、上記予測形状信号Psを参照する算術符号化処理、あるいは上記予測形状信号Psを参照しない算術符号化処理が、上記形状符号化モード信号Mosに基づいて、ブロック化形状信号Bsに対して施され、形状符号化データCsが生成されるとともに、該形状符号化データCsの算術復号化により局所復号化形状データLdsが生成される。この局所復号化形状データLdsは上記メモリ1260に参照形状信号MLdsとして格納される。

そして、可変長符号化器1230では、上記形状符号化データCs及び形状符号化モード信号Mosを可変長符号に変換する処理が行われ、該可変長符号化処理により生成された被処理マクロブロックに対応する形状符号化信号Esが出力端子1202から出力される。

一方、所定の物体に対応する画像信号を構成するカラー信号Stが形状符号化装置1100の入力端子1101に入力されると、該カラー信号Stはブロック化器1110にて、上記矩形領域(バウンディング・ボックス)を区分する各マクロブロックに対応するよう分割されてブロック化カラー信号Stが生成される。このブロック化カラー信号Btは、カラー動き検出器1140,カラー符号化器1120,及びモード判定器1180へ出力される。

該カラー動き検出器1140では、上記ブロック化カラー信号Bt,メモリ1160における参照カラー信号MLdt,及び形状符号化装置1200からの局所復号化形状データLdsに基づいて、被処理マクロブロックに対応するカラー動きベクトルMVtが検出される。このカラー動きベクトルMVtはカラー動き補償器1150及び動きベクトル符号化装置1170に出力される。

また、このとき、上記カラー動き検出器1140からは、動き検出処理の際に生成された、カラー信号に関する動き補償誤差信号DFtがモード判定器1180に出力される。すると、該モード判定器1180では、上記ブロック化器1110の出力Bt,動き補償誤差信号DFt,及びブロック化形状信号Bsに基づいて、被処理マクロブロックに対する符号化モードの判定が行われてカラー符号化モード信号Motが出力される。

上記カラー動き補償器1150では、上記カラー動きベクトルMVt,上記参照カラー信号MLdt,及び上記局所復号化形状データLdsに基づいて、ブロック化カラー信号Btの動き補償により、被処理マクロブロックに対応する予測カラー信号Ptが生成される。また、上記カラー動きベクトル符号化装置1170では、上記カラー符号化モード信号Motに基づいて上記カラー動きベクトルMVtの符号化処理が行われる。これにより、動きベクトル符号化信号Emvtが出力端子1103から出力されるとともに、上記カラー動きベクトルMVtに関する情報Mmvt,Mmotが上記カラー動きベクトル符号化装置1170から上記形状符号化装置1200の動きベクトル符号化装置1270へ出力される。

また、上記カラー符号化器1120では、上記カラー符号化モード信号Mot及び局所復号化形状データLdsに基づいて、ブロック化カラー信号Btに対して、上記予測カラー信号Ptを参照する波形符号化処理あるいは上記予測カラー信号Ptを参照しない波形符号化処理が施され、カラー符号化データCtが生成されるとともに、該カラー符号化データCtの波形復号化処理により局所復号化カラーデータLdtが生成される。この局所復号化カラーデータLdtは上記メモリ1160に参照カラー信号MLdtとして格納される。

そして、可変長符号化器1130では、上記カラー符号化データCt及びカラー符号化モード信号Motを可変長符号に変換する処理が行われ、被処理マクロブロックに対応するカラー符号化信号Etが出力端子1102から出力される。

図10は、MPEG4準拠の画像復号化装置を説明するためのブロック図である。この画像復号化装置2000は、図9に示す画像符号化装置1000から出力された画像符号化信号を復号化するものであり、上記カラー符号化装置1100からのカラー符号化信号Etに対して、動き補償復号化処理を含む復号化処理を行うカラー復号化装置2100と、上記形状符号化装置1200からの形状符号化信号Esに対して、動き補償復号化処理を含む復号化処理を行う形状復号化装置2200とを有している。

上記形状復号化装置2200は、入力端子2201に入力された各物体に対応する形状符号化信号Esに対して可変長復号化処理を施して形状復号化データAs及び形状符号化モード信号Mosを出力する可変長復号化器2210と、被処理マクロブロックに対応する形状復号化データAsに対して、上記形状符号化モード信号Mosに基づいて、被処理マクロブロックの予測形状信号Psを参照する算術復号化処理、あるいは該予測形状信号Psを参照しない算術復号化処理を施して、形状復号化信号Dsを出力する形状復号化器2220とを有している。

また、上記形状復号化装置2200は、上記形状復号化信号Dsを、復号化処理済画面(前画面)に対応する参照形状信号MDsとして格納するメモリ2260と、上記形状復号化信号Dsを、所定のマクロブロックからなる矩形領域(バウンディング・ボックス)に対応するよう統合して、形状再生信号Rsを出力端子2203から出力する逆ブロック化器2230とを有している。

さらに、上記形状復号化装置2200は、入力端子2202に入力された、上記画像符号化装置1000からの形状動きベクトル符号化信号Emvsを、上記形状符号化モード信号Mos及びカラー復号化装置2100からのカラー動きベクトルの情報Mmvs,Mmotに基づいて復号化して、形状動きベクトル復号化信号Dmvsを生成する動きベクトル復号化装置2240と、該形状動きベクトル復号化信号Dmvs及び参照形状信号MDsに基づいて、被処理マクロブロックに対応する予測形状信号Psを生成する形状動き補償器2250とを有している。

一方、上記カラー復号化装置2100は、入力端子2101に入力された各物体に対応するカラー符号化信号Etに対して可変長復号化処理を施してカラー復号化データAt及びカラー符号化モード信号Motを出力する可変長復号化器2110と、被処理マクロブロックに対応するカラー復号化データAtに対して、上記カラー符号化モード信号Mot及び形状復号化装置2200からの形状復号化信号Dsに基づいて、該被処理マクロブロックの予測カラー信号Ptを参照する波形復号化処理、あるいは該予測カラー信号Pt参照しない波形復号化処理を施して、カラー復号化信号Dtを出力するカラー復号化器2120とを有している。

また、上記カラー復号化装置2100は、上記カラー復号化信号Dtを、復号化処理済画面(前画面)に対応する参照形状信号MDtとして格納するメモリ2160と、上記カラー復号化信号Dtを、所定のマクロブロックからなる矩形領域(バウンディング・ボックス)に対応するよう統合して、カラー再生信号Rtを出力端子2103から出力する逆ブロック化器2130とを有している。

さらに、上記カラー復号化装置2200は、入力端子2102に入力された、上記画像符号化装置1000からのカラー動きベクトル符号化信号Emvtを上記カラー符号化モード信号Motに基づいて復号化して、カラー動きベクトル復号化信号Dmvsを生成するとともに、カラー動きベクトルの情報Mmvt,Mmotを出力する動きベクトル復号化装置2140と、該カラー動きベクトル復号化信号Dmvt,参照カラー信号MDt及び形状復号化装置2200からの形状復号化信号Dsに基づいて、被処理マクロブロックに対応する予測カラー信号Ptを生成するカラー動き補償器2150とを有している。

次に上記画像復号化装置2000の動作について説明する。

上記形状復号化装置2200の入力端子2201に各物体に対応する形状符号化信号Esが入力されると、可変長復号化器2210では、該形状符号化信号Esに対してマクロブロック毎に可変長復号化処理が施されて、各マクロブロックに対応する形状復号化データAs及び形状符号化モード信号Mosが生成される。

また、上記装置2200の入力端子2202に入力された形状動きベクトル符号化信号Emvsは、動きベクトル復号化装置2240にて、上記形状符号化モード信号Mos及びカラー復号化装置2100からの動きベクトルの情報Mmvs,Mmotに基づいて復号化されて、形状動きベクトル復号化信号Dmvsが生成される。すると、形状動き補償器2250では、この形状動きベクトル復号化信号Dmvs及びメモリ2260に格納されている参照形状信号MDsに基づいて、被処理マクロブロックに対応する予測形状信号Psが生成される。

また、形状復号化器2220では、上記被処理マクロブロックに対応する形状復号化データAsに対して、上記形状符号化モード信号Mosに基づいて、該被処理マクロブロックの予測形状信号Psを参照する算術復号化処理、あるいは該予測形状信号Psを参照しない算術復号化処理が施されて、形状復号化信号Dsが生成される。この形状復号化信号Dsはメモリ2260に参照形状信号MDsとして格納されるとともに、逆ブロック化器2230に出力される。該逆ブロック化器2230では、上記形状復号化信号Dsは、所定のマクロブロックからなる矩形領域(バウンディング・ボックス)に対応するよう統合されて、形状再生信号Rsとして出力端子2203から出力される。

一方、上記カラー復号化装置2100の入力端子2101に各物体に対応するカラー符号化信号Etが入力されると、可変長復号化器2110では、該カラー符号化信号Etに対してマクロブロック毎に可変長復号化処理が施されて、各マクロブロックに対応するカラー復号化データAt及びカラー符号化モード信号Motが生成される。

また、上記装置2100の入力端子2102に入力されたカラー動きベクトル符号化信号Emvtは、動きベクトル復号化装置2140にて、上記カラー符号化モード信号Motに基づいて復号化される。このa復号化装置2140からは、カラー動きベクトル復号化信号Dmvtが出力されるとともに、カラー動きベクトルに関する情報Mmvt,Mmotが出力される。すると、カラー動き補償器2150では、このカラー動きベクトル復号化信号Dmvt,メモリ2160に格納されている参照カラー信号MDt,及び形状復号化器2220からの形状復号化信号Dsに基づいて、被処理マクロブロックに対応する予測カラー信号Ptが生成される。

また、カラー復号化器2120では、上記被処理マクロブロックに対応するカラー復号化データAtに対して、上記カラー符号化モード信号Mot及び形状復号化装置2000からの形状復号化データDsに基づいて、該被処理マクロブロックの予測カラー信号Ptを参照する波形復号化処理、あるいは該予測カラー信号Ptを参照しない波形復号化処理が施されて、カラー復号化信号Dtが生成される。このカラー復号化信号Dtはメモリ2160に参照カラー信号MDtとして格納されるとともに、逆ブロック化器2130に出力される。該逆ブロック化器2130では、カラー復号化信号Dtは、所定のマクロブロックからなる矩形領域(バウンディング・ボックス)に対応するよう統合されて、カラー再生信号Rtとして出力端子2103から出力される。

次に、上述した画像符号化装置1000における、カラー動きベクトル及び形状動きベクトルの符号化処理について詳しく説明する。まず、動きベクトルを用いた動き補償処理について説明する。MPEG4では、1つのマクロブロック(16×16画素からなる画像空間)を形成するカラー信号(インターレースあるいは非インターレース)に対するフレーム単位の動き補償処理では、基本的には、図11(a) に示すように、4つの動きベクトルMV1〜MV4により、被処理マクロブロックMBに対応する予測カラー信号が生成される。ここで、4つの動きベクトルMV1〜MV4は、図11(a) に示すように、1つのマクロブロックMBを構成する4つのブロック(8×8画素からなる画像空間)B1〜B4に対応する動きベクトルである。なお、これらの動きベクトルMV1〜MV4がすべて等しい場合は、上記マクロブロックMBに対するフレーム単位の動き補償処理は、図11(d) に示すように1つの動きベクトルMV(MV=MV1=MV2=MV3=MV4)による動き補償処理と等価となる。

また、1つのマクロブロックを形成するカラー信号(インターレース)に対するフィールド単位の動き補償処理では、図11(b) に示すように、第1の動きベクトルMVf1及び第2の動きベクトルMVf2により、フレームにおける被処理マクロブロックMBに対応する予測カラー信号が生成される。ここで、第1の動きベクトルMVf1は、フレームを構成する奇数フィールド走査線上の画素からなる第1の半マクロブロック(図11(c) 参照)MBf1に対応する動きベクトルである。また、第2の動きベクトルMVf2は、フレームを構成する偶数フィールドの走査線上の画素からなる第2の半マクロブロック(図11(c) 参照)MBf2に対応する動きベクトルである。なお、上記各半マクロブロックは16×8画素からなる画像空間であるが、図11(b) では説明の都合上、正方形の領域として示している。また、上記第1,第2の動きベクトルMVf1及びMVf2が等し、上記マクロブロックMBに対するフィールド単位の動き補償処理は、図11(d) に示すように1つの動きベクトルMV(MV=MVf1=MVf2)によるフレーム単位の動き補償処理と等価となる。

一方、形状信号に対するフレーム単位の動き補償処理では、カラー信号に対するフレーム単位の動き補償処理とは異なり、図11(d) に示すように、常に1つの動きベクトルMVにより、被処理マクロブロックMBに対応する予測形状信号が生成される。

次に、動きベクトルの符号化処理について説明する。被処理マクロブロック(16×16画素)に対応するカラー信号の動きベクトル(カラー動きベクトル)の符号化処理では、被処理マクロブロックに隣接して位置する処理済参照マクロブロックの動きベクトルに基づいて予測された予測動きベクトルと、被処理マクロブロックの動きベクトルとの差分値が、被処理マクロブロックの動きベクトルの情報として符号化される。

以下、カラー動きベクトルの予測処理について詳述する。
(1)フレーム単位の動き補償処理における動きベクトル予測処理について
(1a)被処理マクロブロックMBxが4つの動きベクトルを有する場合は、図12(a) に示すように、被処理マクロブロックMBxにおけるブロックB0aの動きベクトルMVt0aの予測値が、該ブロックB0aに隣接するブロックRB1a,RB2a,RB2bを参照ブロックとして、これらのブロックの動きベクトルMVt1a,MVt2a,MVt2bに基づいて生成される。また、被処理マクロブロックMBxにおけるブロックB0bの動きベクトルMVt0bの予測値は、上記動きベクトルMVt0aの予測値と同様に、該ブロックB0bに隣接するブロックB0a,RB2b,RB3を参照ブロックとしてこれらのブロックの動きベクトルMVt0a,MVt2b,MVt3に基づいて再生される。被処理マクロブロックMBxにおけるブロックB0cの動きベクトルMVt0cの予測値も、上記動きベクトルMVt0aの予測値と同様に、該ブロックB0cに隣接するブロックRB1b,B0a,B0bを参照ブロックとしてこれらのブロックの動きベクトルMVt1b,MVt0a,MVt0bに基づいて生成される。さらに、被処理マクロブロックMBxにおけるブロックB0dの動きベクトルMVt0dの予測値は、該ブロックB0dに隣接するブロックB0c,B0a,B0bを参照ブロックとしてこれらの参照ブロックの動きベクトルMVt0c,MVt0a,MVt0bに基づいて生成される。

(1b)被処理マクロブロックMB0が1つの動きベクトルMVt0を有する場合、言い換えると、上記被処理マクロブロックMBxにおける各ブロックB0a〜B0dの動きベクトルMVt0a〜MVt0dがすべて等しい場合は、図12(b) に示すように、被処理マクロブロックMB0の動きベクトルMVt0の予測値は、該被処理マクロブロックMB0に隣接するブロックRB1,RB2,RB3を参照ブロックとして、これらのブロックの動きベクトルMVt1,MVt2,MVt3に基づいて生成される。なお、上記フレーム単位の動き補償処理における動きベクトル予測処理の説明では、被処理マクロブロックに隣接する参照マクロブロックが、すべて4つの動きベクトルを有する、フレーム単位の動き補償処理が施されたマクロブロックである場合を示しているが、参照マクロブロックが1つの動きベクトルのみを有する場合は、該参照マクロブロックを構成する4つのブロックがすべて同一の動きベクトルを有するものとして、被処理マクロブロックにおける各ブロックの動きベクトルの予測値が生成される。また、参照マクロブロックが、2つの動きベクトルを有する、フィールド単位の動き補償処理が施されたマクロブロックである場合は、2つの動きベクトルの平均値に基づいて、被処理マクロブロックにおける各ブロックの動きベクトルの予測値が生成される。

(2)フィールド単位の動き補償処理におこる動きベクトル予測処理について
このフィールド単位の動き補償処理は、図12(c) に示すように、被処理マクロブロックMByが第1,第2の2つの動きベクトルMVt01,MVt02を有する場合に対応する処理である。上記第1の動きベクトルMVt01は、フレームを構成する奇数フィールドの走査線上の画素からなる第1の半マクロブロック(16×8画素)MBf1に対応する動きベクトルである。上記第2の動きベクトルMVt02は、フレームを構成する偶数フィールドの走査線上の画素からなる第2の半マクロブロックMBf2(16×8画素)に対応する動きベクトルである。この場合、図12(c) に示すように、被処理マクロブロックMByの第1,第2の動きベクトルMVtf1,MVtf2の予測値は、該被処理マクロブロックMByに隣接するブロックRB1,RB2,RB3を参照ブロックとして、これらのブロックの動きベクトルMVt1,MVt2,MVt3に基づいて生成される。

なお、上記フィールド単位の動き補償処理における動きベクトル予測処理の説明では、被処理マクロブロックに隣接する参照マクロブロックが、すべて4つの動きベクトルを有する、フレーム単位の動き補償処理が施されたマクロブロックである場合を示しているが、参照マクロブロックが1つの動きベクトルのみを有する場合は、該参照マクロブロックを構成する4つのブロックが同一の動きベクトルを有するものとして、被処理マクロブロックMByを構成する2つの半マクロブロックMBf1,MBf2の動きベクトルMVt01,MVt02の予測値が生成される。

また、参照マクロブロックが、奇数フィールド及び偶数フィールドに対応する2つの動きベクトルを有する、フィールド単位の動き補償処理が施されたマクロブロックである場合は、被処理マクロブロックMByを構成する、奇数フィールドに対応する半マクロブロックMBf1の動きベクトルMVt01の予測値は、参照マクロブロックを構成する、奇数フィールドの半マクロブロックの動きベクトルに基づいて生成される。またこの場合、被処理マクロブロックMByを構成する、偶数フィールドに対応する半マクロブロックMBf2の動きベクトルMV02の予測値は、参照マクロブロックを構成する、偶数フィールドの半マクロブロックの動きベクトルに基づいて生成される。

次に、形状信号に対する動き補償処理における形状動きベクトル予測処理について詳述する。なお、形状信号に対応する被処理マクロブロックは、上述したように常に1つの動きベクトルのみを有している。被処理マクロブロック(16×16画素)に対応する形状信号の動きベクトル(形状動きベクトル)の符号化処理では、被処理マクロブロックに隣接して位置する処理済の参照マクロブロックの動きベクトルに基づいて予測された予測動きベクトルと、被処理マクロブロックの形状動きベクトルとの差分値が、被処理マクロブロックの形状動きベクトルの情報として符号化される。ただし、上述したように、形状信号の動きベクトルとカラー信号の動きベクトルの間には強い相関があるため、被処理マクロブロックの形状動きベクトルに対する予測値(予測形状動きベクトル)は、処理済の参照マクロブロックのカラー動きベクトルと処理済の参照マクロブロックの形状動きベクトルの両方に基づいて生成される。

すなわち、被処理マクロブロックMBs0に対応する形状動きベクトルMVs0の予測値は、図12(d) に示す、形状信号に対応する被処理マクロブロックMBs0周辺のマクロブロックRMBs1,RMBs2,RMBs3のベクトルMVs1,MVs2,及びMVs3だけでなく、図12(b) に示す、カラー信号に対応する被処理マクロブロックMB0周辺のブロックRB1,RB2,RB3のカラー動きベクトルMVt1,MVt2,MVt3を参照して生成される。なお、上記カラー動きベクトル及び形状動きベクトルの予測処理では、被処理マクロブロックに隣接する隣接マクロブロックが、イントラマクロブロック(画面内符号化処理が施されたマクロブロック)である場合や物体外マクロブロック(すべての画素が物体外に位置するマクロブロック)である場合は、イントラマクロブロックや物体外マクロブロックについては動きベクトルが存在しないため、動きベクトルの存在する隣接マクロブロックのみを参照マクロブロックとして、被処理マクロブロックに対する動きベクトルの予測値を生成する処理を行う。

図13は、上記画像符号化装置1000を構成する従来の動きベクトル符号化装置を説明するためのブロック図である。なお、この図では、カラー符号化装置1100を構成する動きベクトル符号化装置(以下、カラー動きベクトル符号化装置という。)1170、及び形状符号化装置1200を構成する動きベクトル符号化装置(以下、形状動きベクトル符号化装置という。)1270が示されている。また、この動きベクトル符号化装置の説明では、動きベクトルの予測処理は、被処理マクロブロックMB0が1つのカラー動きベクトルのみを有し、被処理マクロブロック周辺のブロックRB1〜RB3を参照ブロックとする場合(図12(b) 参照)を例に挙げる。

上記カラー動きベクトル符号化装置1170は、非インタレースカラー信号に対応する動きベクトルを符号化するものであり、この装置1170は、入力端子1に入力された被処理マクロブロックの動きベクトルMVtを記憶するMVメモリ102と、入力端子2に入力されたカラー符号化モード信号Motを格納するMV有効メモリ103とを有している。ここで、上記カラー符号化モード信号Motは、カラー信号から得られる画像空間における被処理マクロブロックが、イントラマクロブロック及び物体外マクロブロックの一方であるかあるいはインターマクロブロックであるかを示すカラー動きベクトル有効信号ある。従って、このカラー動きベクトル有効信号により、上記画像空間上にて被処理マクロブロックに隣接して位置する参照マクロブロックが、イントラマクロブロック及び物体外マクロブロックの一方であるかあるいはインターマクロブロックであるかの判定を行うことができる。

また、上記カラー動きベクトル符号化装置1170は、上記MV有効メモリ103からのカラー符号化モード信号Motに基づいて、上記MVメモリ102に格納されている、符号化済マクロブロックにおける参照ブロックRB1,RB2,RB3に対応するカラー動きベクトルMVt1,MVt2,MVt3から、MV予測値(被処理マクロブロックのカラー動きベクトルの予測値)Pmvtを生成するMV予測器104と、該MV予測器104からのMV予測値Pmvtを参照して被処理マクロブロックMB0のカラー動きベクトルMVt0の符号化処理を行って、カラー動きベクトルの符号化信号Emvtを出力するMV符号化器105とを有している。

さらに、上記カラー動きベクトル符号化装置1170は、入力端子1とMV符号化器105との間に設けられた前段スイッチ100と、出力端子10とMV符号化器105との間に設けられた後段スイッチ101とを有しており、該両スイッチ100,101は上記カラー符号化モード信号Motにより開閉制御されるようになっている。

一方、上記形状動きベクトル符号化装置1270は、非インタレース形状信号に対応する動きベクトルを符号化するものであり、この装置1270は、入力端子4に入力された被処理マクロブロックの形状動きベクトルMVsを記憶するMVメモリ202と、入力端子5に入力された形状符号化モード信号Mosを格納するMV有効メモリ203とを有している。ここで、該形状符号化モード信号Mosは、形状信号から得られる画像空間における被処理マクロブロックが、イントラマクロブロック及び物体外マクロブロックの一方であるか、あるいはインターマクロブロックであるかを示す形状動きベクトル有効信号である。従って、この形状動きベクトル有効信号Mosにより、形状信号から得られる画像空間にて被処理マクロブロックの隣接して位置する参照マクロブロックに対して、これがイントラマクロブロック及び物体外マクロブロックの一方であるかインターマクロブロックであるかの判定を行うことができる。

また、上記形状動きベクトル符号化装置1270は、上記カラー符号化モード信号Mot及び上記形状符号化モード信号Mosに基づいて、上記MVメモリ202に格納されている、符号化済マクロブロックに対応する形状動きベクトルMVs1,MVs2,MVs3から、MV予測値(被処理マクロブロックの形状動きベクトルの予測値)Pmvsを生成するMV予測器204と、該MV予測器204からのMV予測値Pmvsを参照して被処理マクロブロックMBs0の形状動きベクトルMVs0の符号化処理を行って、形状動きベクトルの符号化信号Emvsを出力するMV符号化器205とを有している。ここで、上記MV予測器204は、上記カラー動きベクトル符号化装置1170のMVメモリ102から供給される半画素精度のカラー動きベクトルを1画素精度のカラー動きベクトルに変換し、この変換により得られた1画素精度のカラー動きベクトルを用いて予測処理を行う構成となっている。これは、カラー符号化装置では、半画素精度の動きベクトルにより動き補償処理が行われるのに対し、形状符号化装置では、1画素精度の動きベクトルにより動き補償処理が行われるためである。

さらに、上記形状動きベクトル符号化装置1270は、入力端子4とMV符号化器205との間に設けられた前段スイッチ200と、出力端子11とMV符号化器205との間に設けられた後段スイッチ201とを有しており、該両スイッチ200,201は上記形状符号化モード信号Mosにより開閉制御されるようになっている。

次に動作について説明する。上記カラー動きベクトル符号化装置1170では、カラー信号から得られる動きベクトルMVtが符号化されてその符号化信号Emvtが出力され、形状動きベクトル符号化装置1270では、形状信号から得られる動きベクトルMVsが符号化されてその符号化信号Emvsが出力される。

すなわち、カラー符号化モード信号Motが動きベクトル有効信号として入力端子2に入力されると、該動きベクトル有効信号Motにより、MV符号化器105の前段スイッチ100及びその後段スイッチ101が開閉制御される。具体的には、入力された被処理マクロブロックMB0に対応するカラー動きベクトルMVt0が符号化する必要のあるものである場合には上記両スイッチ100及び101は導通状態となり、一方、被処理マクロブロックMB0に対応するカラー動きベクトルMVt0が符号化する必要のないものである場合には上記両スイッチ100及び101は非導通状態となる。

言い換えると、被処理マクロブロックが画面内符号化処理が施されたイントラマクロブロックである場合や、被処理マクロブロックがすべての画素が物体外に位置する物体外マクロブロックであってその動きベクトルに対する符号化処理が不要である場合には、上記両スイッチ100,101はOFF状態となる。一方、上記被処理マクロブロックが、動き補償符号化処理(画面間符号化処理)が施されたインターマクロブロックである場合には、上記両スイッチ100,101はON状態になる。

各マクロブロックに対応するカラー動きベクトルMVtはMVメモリ102に一時的に記憶される。具体的には、各マクロブロックを構成するブロックに対応するカラー動きベクトル(図11(a) 参照)がMVメモリ102に記憶される。そして該MVメモリ102からは、図12(b) に示す、被処理マクロブロックMB0周辺の参照ブロックMB1〜MB3に対応する動きベクトルMVt1〜MVt3がMV予測器104に供給される。このときカラー動きベクトル有効信号Motは、MV有効メモリ103に一時的に記憶される。

上記MV予測器104に、MV有効メモリ103から上記被処理マクロブロックに対応するカラー動きベクトル有効信号Mmot(Mot)が供給される。すると、該MV予測器104では、上記有効信号Motに基づいて、被処理マクロブロックに隣接して位置する参照ブロックRB1〜RB3の動きベクトルMVt1〜MVt3を符号化すべきか否かの判定、即ち、上記各参照ブロックRB1〜RB3がイントラマクロブロック及び物体外マクロブロックの一方に属するものであるか、あるいはインターマクロブロックに属するものであるかの判定が行われる。そして、その判定結果に応じて被処理マクロブロックMB0に対応する動きベクトルの予測値(MV予測値)Pmvtが生成される。

例えば、参照ブロックRB1〜RB3がすべてインターマクロブロックに属するものである場合は、該MV予測器104では、符号化済の参照ブロックRB1〜RB3に対応する動きベクトルMVt1〜MVt3から、被処理マクロブロックMB0に対応する動きベクトルの予測値(MV予測値)Pmvtが生成される。このMV予測値PmvtはMV符号化器105に出力される。なお、イントラマクロブロックあるいは物体外マクロブロックに属する参照ブロックの動きベクトルは、予測値の生成には用いられない。

上記MV符号化器105では、上記MV予測値Pmvtを参照して、被処理マクロブロックの動きベクトルMVt(MVt0)とその予測値Pmvtとの差分値(カラー差分動きベクトル)が、被処理マクロブロックのカラー動きベクトルに相当する値として符号化され、カラー動きベクトルの符号化信号Emvtが生成される。このカラー動きベクトルの符号化信号Emvtは、後段スイッチ101を介して出力される。

同様に、形状符号化モード信号Mos、つまり被処理マクロブロックの形状動きベクトルが有効なものか否かを示す形状動きベクトル有効信号Mosが入力端子5に入力されると、該形状動きベクトル有効信号Mosにより、MV符号化器205の前段スイッチ200及びその後段スイッチ201が開閉制御される。具体的には、入力された被処理マクロブロックMBs0に対応する動きベクトルMVs0が符号化する必要のあるものである場合には上記両スイッチ200及び201は導通状態となる。一方、被処理マクロブロックMBs0に対応する動きベクトルMVs0が符号化する必要のないものである場合には上記両スイッチ200及び201は非導通状態となる。

言い換えると、被処理マクロブロックが画面内符号化処理が施されたイントラマクロブロックである場合や、被処理マクロブロックがすべての画素が物体外に位置する物体外マクロブロックであってその動きベクトルに対する符号化処理が不要である場合には、上記両スイッチ200及び201はOFF状態になる。一方、上記被処理マクロブロックが、形状信号の動き補償符号化処理(画面間符号化処理)が施されたインターマクロブロックである場合には、上記両スイッチ200及び201はON状態になる。

各マクロブロックに対応する形状動きベクトルMVsはMVメモリ202に一時的に記憶される。そして該MVメモリ202からは、図12(d) に示す、被処理マクロブロックMB0周辺の参照マクロブロックRMBs1〜RMBs3に対応する動きベクトルMVs1〜MVs3がMV予測器204に供給される。また、このとき、図12(c) に示す、被処理マクロブロックMB0に隣接して位置するブロックMBt1〜MBt3に対応する動きベクトルMVt1〜MVt3が上記MVメモリ102からMV予測器204に供給される。このとき形状動きベクトル有効信号Mosは、MV有効メモリ203に記憶される。

上記MV予測器204に、MV有効メモリ203から上記被処理マクロブロックに対応する形状動きベクトルの有効信号Mmos(Mos)が供給され、MV有効メモリ103から上記被処理マクロブロックに対応するカラー動きベクトル有効信号Mmot(Mot)が供給される。すると、MV予測器204では、上記有効信号Mosに基づいて、被処理マクロブロックに隣接して位置する参照マクロブロックRMBs1〜RMBs3の動きベクトルMVs1〜MVs3を符号化すべきか否かの判定、即ち、上記各参照マクロブロックがイントラマクロブロック及び物体外マクロブロックの一方であるか、あるいはインターマクロブロックであるかの判定が行われる。また、上記カラー動きベクトル有効信号Mmotに基づいて、被処理マクロブロックに隣接して位置する参照ブロックRB1〜RB3の動きベクトルMVt1〜MVt3を符号化すべきか否かの判定、即ち、上記各参照ブロックRB1〜RB3がイントラマクロブロック及び物体外マクロブロックの一方に属するものであるか、あるいはインターマクロブロックに属するものであるかの判定が行われる。そして、その判定結果に応じて、被処理マクロブロックMBs0に対応する動きベクトルの予測値(MV予測値)Pmvsが生成される。

例えば、参照マクロブロックRMB1〜RMB3及び参照ブロックRB1〜RB3がすべてインターマクロブロックである場合は、該MV予測器204では、符号化済の参照マクロブロックRMB1〜RMB3に対応する動きベクトルMVs1〜MVs3及び符号化済の参照ブロックRB1〜RB3に対応する動きベクトルMVt1〜MVt3から、被処理マクロブロックMBs0に対応する動きベクトルの予測値(MV予測値)Pmvsが生成される。このMV予測値PmvsはMV符号化器205に出力される。なお、イントラマクロブロックあるいは物体外マクロブロックである参照マクロブロックの動きベクトル、またはイントラマクロブロックあるいは物体外マクロブロックに属する参照ブロックの動きベクトルは、予測値の生成には用いられない。

上記MV符号化器205では、上記MV予測値Pmvsを参照して、被処理マクロブロックの動きベクトルMVsと該予測値Pmvsとの差分値(形状差分動きベクトル)が、被処理マクロブロックの形状動きベクトルに相当する値として符号化され、形状動きベクトルの符号化信号Emvsが生成される。この動きベクトルの符号化信号Emvsは、後段スイッチ201を介して出力される。

図14は、上記画像復号化装置2000を構成する従来の動きベクトル復号化装置を説明するためのブロック図である。この図では、カラー復号化装置2100を構成する動きベクトル復号化装置(以下、カラー動きベクトル復号化装置という。)2140、及び形状復号化装置2200を構成する動きベクトル復号化装置(以下、形状動きベクトル復号化装置という。)2240が示されている。なお、この動きベクトル復号化装置の説明においても、上記動きベクトル復号化装置の説明と同様、動きベクトルの予測処理は、被処理マクロブロックMB0が1つのカラー動きベクトルのみを有し、被処理マクロブロック周辺のブロックRB1〜RB3を参照ブロックとする場合(図12(b) 参照)を例に挙げる。

上記カラー動きベクトル復号化装置2140は、図13に示すカラー動きベクトル符号化装置1170から出力されたカラー動きベクトルの符号化信号Emvtを復号化するものである。

このカラー動きベクトル復号化装置2140は、入力端子13に入力された、被処理マクロブロックに対応するカラー動きベクトルの符号化信号Emvtを復号化してカラー動きベクトルの復号化信号Dmvtを生成するMV復号化器303と、該カラー動きベクトルの復号化信号Dmvtを一時的に記憶するMVメモリ304とを備え、被処理マクロブロックMB0に対応する動きベクトルの復号化処理の際には、該MVメモリ304からは、被処理マクロブロックに隣接する参照ブロックRB1〜RB3(図12(c) 参照)の動きベクトルMVt1〜MVt3が出力されるようになっている。

また、上記カラー動きベクトル復号化装置2140は、入力端子6に入力された各マクロブロックに対応するカラー符号化モード信号Motを一時的に記憶するMV有効メモリ302と、上記MV有効メモリ302からの被処理マクロブロックに対応する符号化モード信号Mmotに基づいて、処理済の参照ブロックRB1〜RB3の動きベクトルMVt1〜MVt3から、被処理マクロブロックの動きベクトルのMV予測値Pmvtを生成するMV予測器305とを有している。

さらに、上記カラー動きベクトル復号化装置2140は、入力端子13とMV復号化器303との間に設けられた前段スイッチ300と、出力端子20とMV復号化器303との間に設けられた後段スイッチ301とを有しており、該両スイッチ300,301は上記符号化モード信号Motにより開閉制御されるようになっている。

また、上記形状動きベクトル復号化装置2240は、図13に示す動きベクトル符号化装置1270から出力される形状動きベクトルの符号化信号Emvsを復号化するものである。

この形状動きベクトル復号化装置2240は、入力端子14に入力された、被処理マクロブロックに対応する形状動きベクトルの符号化信号Emvsを復号化して形状動きベクトルの復号化信号Dmvsを生成するMV復号化器403と、該形状動きベクトルの復号化信号Dmvsを一時的に記憶するMVメモリ404とを備え、該MVメモリ404からは、被処理マクロブロックに隣接する参照マクロブロックRMB1〜RMB3(図12(d) 参照)の動きベクトルMVs1〜MVs3が出力されるようになっている。

また、上記形状動きベクトル復号化装置2240は、入力端子7に入力された、被処理マクロブロックに対応する符号化モード信号Mosを格納するMV有効メモリ402と、上記MV有効メモリ402からの被処理マクロブロックに対応する符号化モード信号Mmos及び上記MV有効メモリ302からの被処理マクロブロックに対応する符号化モード信号Mmotに基づいて、処理済の参照マクロブロックRMB1〜RMB3の動きベクトルMVs1〜MVs3及び処理済の参照ブロックRB1〜RB3の動きベクトルMVt1〜MVt3から、被処理マクロブロックMBs0の動きベクトルMVs0のMV予測値Pmvsを生成するMV予測器405とを有している。なお、このMV予測器405は、上記カラー動きベクトル復号化装置2140のMVメモリ304から供給される半画素精度のカラー動きベクトルを1画素精度のカラー動きベクトルに変換し、この変換により得られた1画素精度のカラー動きベクトルを用いて予測処理を行う構成となっている。これは、カラー復号化装置では、半画素精度の動きベクトルにより動き補償処理が行われるのに対し、形状復号化装置では、1画素精度の動きベクトルにより動き補償処理が行われるためである。

さらに、上記形状動きベクトル復号化装置2240は、入力端子14とMV復号化器403との間に設けられた前段スイッチ400と、出力端子21とMV復号化器403との間に設けられた後段スイッチ401とを有しており、該両スイッチ400,401は上記符号化モード信号Mosにより開閉制御されるようになっている。

次に動作について説明する。上記カラー動きベクトル復号化装置2140では、図13に示すカラー動きベクトル符号化装置1170から出力されるカラー動きベクトルの符号化信号Emvtが復号化されて、その復号化信号Dmvtが生成される。また、上記形状動きベクトル復号化装置2240では、図13に示す形状動きベクトル符号化装置1270から出力される形状動きベクトルの符号化信号Emvsが復号化されて、その復号化信号Dmvsが生成される。

すなわち、カラー復号化装置2100の可変長復号化器2110にて復号化された符号化モード信号Motが、被処理マクロブロックの動きベクトルが有効なものか否かを示す動きベクトル有効信号として入力端子6に入力されると、該符号化モード信号Motにより、上記MV復号化器303の前段スイッチ300及びその後段スイッチ301が開閉制御される。具体的には、入力された被処理マクロブロックに対応するカラー動きベクトルの符号化信号が復号化する必要のあるものである場合には上記両スイッチ300及び301は導通状態となり、一方、該カラー動きベクトルの符号化信号が復号化する必要のないものである場合には上記両スイッチ300及び301は非導通状態となる。

言い換えると、被処理マクロブロックが画面内符号化処理が施されたものである場合や、被処理マクロブロックが物体外に位置するマクロブロックであってその動きベクトルに対する符号化処理が不要である場合には、上記両スイッチはOFF状態になり、上記被処理マクロブロックが動き補償符号化処理(画面間符号化処理)が施されたものである場合に上記両スイッチはON状態になる。

入力端子13に入力されたカラー動きベクトルの符号化信号Emvtは、MV復号化器303にて、被処理マクロブロックのカラー動きベクトルに対する予測値Pmvtを参照して復号化され、カラー動きベクトルの復号化信号Dmvtが生成される。この復号化信号Dmvtは、MVメモリ304に一時的に記憶される。

上記被処理マクロブロックMB0のカラー動きベクトルMVt0に対する復号化処理では、図12(c) に示す、参照ブロックRB1〜RB3に対応する動きベクトルMVt1,MVt2,MVt3に相当する復号化信号DmvtがMV予測器305に入力される。また、上記各マクロブロックに対応する動きベクトルが有効か否かを示す符号化モード信号Motは、MV有効メモリ302に一時的に記憶される。そしてMV予測器305では、上記MV有効メモリ302からの符号化モード信号Mmotに基づいて、被処理マクロブロックに隣接して位置する参照ブロックの動きベクトルMVt1〜MVt3が符号化されているか否かの判定、即ち、上記各参照ブロックがイントラマクロブロック及び物体外マクロブロックの一方に属するものであるか、またはインターマクロブロックに属するものであるかの判定が行われる。この判定結果に応じて、被処理マクロブロックMB0に対応する動きベクトMVt0の予測値(MV予測値)Pmvtが生成される。なお、この予測値生成における具体的処理は、カラー動きベクトル符号化装置におけるものと同一である。そして上記MV予測値Pmvtが上記MV復号化器303に出力される。

一方、形状復号化装置2200の可変長復号化器2210にて復号化された符号化モード信号Mosが入力端子7に入力されると、該符号化モード信号Mosにより、上記MV復号化器403の前段スイッチ400及びその後段スイッチ401が開閉制御される。具体的には、入力された被処理マクロブロックに対応する形状動きベクトルの符号化信号が復号化する必要のあるものである場合には上記両スイッチ400及び401は導通状態となり、一方、該形状動きベクトルの符号化信号が復号化する必要のないものである場合には上記両スイッチ400及び401は非導通状態となる。

言い換えると、被処理マクロブロックが画面内符号化処理が施されたものである場合や、被処理マクロブロックが物体外に位置するマクロブロックであってその動きベクトルに対する符号化処理が不要である場合には、上記両スイッチ400及び401はOFF状態になり、上記被処理マクロブロックが動き補償符号化処理(画面魔符号化処理)が施されたものである場合には上記両スイッチ400及び401はON状態になる。

入力端子14に入力された形状動きベクトルの符号化信号Emvsは、MV復号化器403にて、被処理マクロブロックの形状動きベクトルに対する予測値Pmvsを参照して復号化され、形状動きベクトルの復号化信号Dmvsが生成される。この復号化信号Dmvsは、MVメモリ404に一時的に記憶される。

上記被処理マクロブロックMBs0の形状動きベクトルMVs0に対する符号化処理では、図12(d) に示す参照マクロブロックRMB1,RMB2,RMB3に対する動きベクトルMVs1,MVs2,MVs3に相当する復号化信号Dmvs、および図12(c) に示す参照ブロックRB1,RB2,Rb3に対する動きベクトルMVt1,MVt2,MVt3に相当する復号化信号DmvtがMV予測器405に入力される。また、上記各マクロブロックに対応する形状動きベクトルが有効か否かを示す符号化モード信号Mosは、MV有効メモリ402に一時的に記憶される。そして、MV予測器405には、該MV有効メモリ402から上記被処理マクロブロックに対応する形状動きベクトル有効信号Mosが供給され、MV有効メモリ302から上記被処理マクロブロックに対応するカラー動きベクトル有効信号Mmotが供給される。

すると、上記MV予測器405では、上記有効信号Mmosに基づいて、被処理マクロブロックに隣接して位置する参照マクロブロックの形状動きベクトルMVs1〜MVs3が符号化されているか否かの判定、即ち、上記各参照マクロブロックがイントラマクロブロック及び物体外マクロブロックの一方であるか、あるいはインターマクロブロックであるかの判定が行われる。また、上記MV有効メモリ302からの符号化モード信号Mmotに基づいて、被処理マクロブロックに隣接して位置する参照ブロックの動きベクトルMVt1〜MVt3が符号化されているか否かの判定、即ち、上記各参照ブロックがイントラマクロブロック及び物体外マクロブロックの一方に属するものか、あるいはインターマクロブロックに属するものであるかの判定が行われる。そしてその該判定結果に応じて、被処理マクロブロックMBs0に対応する動きベクトルの予測値Pmvsが生成される。この予測値生成における具体的処理は動きベクトル符号化装置におけるものと同一である。そして上記MV予測値Pmvsが上記MV復号化器403に出力される。

概要

常にフレーム単位の動き補償符号化処理が行われる形状符号化装置における形状動きベクトルの予測処理においても、インタレースカラー信号に対応するカラー動きベクトルを参照可能とする。

物体に対応するインタレース画像信号に対する動き補償符号化処理として、フレーム単位の処理とフィールド単位の処理とを適応的に切り換えて行う画像符号化装置において、形状動きベクトルの予測値をカラー動きベクトルを参照して生成するMV予測器204aを備え、該MV予測器204aでは、参照すべきカラー動きベクトルがフィールド単位の動き補償符号化処理に対応するものである場合は該フィールド単位のカラー動きベクトルをフレーム単位の動きベクトルに変換するフレームMV変換器110bの出力を参照するようにした。

目的

本発明はこのような従来の問題点を解決するためになされたものであり、非インタレース形状信号に関する動きベクトルの符号化処理及び復号化処理を、最小限の回路構成の拡張でもって、インタレースカラー信号に関する動きベクトルの符号化処理及び復号化処理と組み合わせて、良好に行うことができる画像符号化装置及び画像復号化装置、画像符号化方法及び画像復号化方法、並びに、該画像符号化方法,あるいは画像復号化方法によるインタレース形状信号に関する動きベクトルの符号化処理,あるいは復号化処理をコンピュータに行わせるための画像処理プログラムを格納したデータ記憶媒体を得ることを目的とする。

効果

実績

技術文献被引用数
2件
牽制数
5件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

所定の画像空間に含まれる個々の物体に対応する、該物体をカラー表示するためのカラー信号及び該物体の形状を示す形状信号を含むインタレース画像信号を受け、該画像信号に対してフレーム単位及びフィールド単位動き補償符号化処理を含む適応的な符号化処理を、上記画像空間を区分する所定数画素からなるマクロブロック毎に施す画像符号化装置であって、インタレースカラー信号に対してフレーム単位,あるいはフィールド単位の動き補償符号化処理を行うためのフレーム単位,あるいはフィールド単位の、被処理マクロブロックに対応するカラー動きベクトルを、その予測値に基づいて符号化するカラー動きベクトル符号化装置と、インタレース形状信号に対してフレーム単位の動き補償符号化処理を行うためのフレーム単位の、被処理マクロブロックに対応する形状動きベクトルを、処理済マクロブロックに対応するカラー動きベクトル及び形状動きベクトルから得られる予測値に基づいて符号化する形状動きベクトル符号化装置とを備え、上記カラー動きベクトル符号化装置は、処理済マクロブロックに対応するフィールド単位のカラー動きベクトルをフレーム単位のカラー動きベクトルに変換する動きベクトル変換手段を有し、上記形状動きベクトル符号化装置は、上記処理済マクロブロックに対応するカラー動きベクトルがフィールド単位の動きベクトルであるとき、上記被処理マクロブロックに対応する形状動きベクトルの予測値を、該処理済マクロブロックに対応するフレーム単位の形状動きベクトル及び上記動きベクトル変換手段から出力されるフレーム単位のカラー動きベクトルに基づいて生成する形状動きベクトル予測器を有することを特徴とする画像符号化装置。

請求項2

所定の画像空間に含まれる個々の物体に対応する、該物体をカラー表示するためのカラー信号及び該物体の形状を示す形状信号を含むインタレース画像信号を受け、該画像信号に対してフレーム単位及びフィールド単位の動き補償符号化処理を含む適応的な符号化処理を、上記画像空間を区分する所定数の画素からなるマクロブロック毎に施す画像符号化装置であって、インタレースカラー信号に対してフレーム単位, あるいはフィールド単位の動き補償符号化処理を行うためのフレーム単位, あるいはフィールド単位の、被処理マクロブロックに対応するカラー動きベクトルを、その予測値に基づいて符号化するカラー動きベクトル符号化装置と、インタレース形状信号に対してフレーム単位の動き補償符号化処理を行うためのフレーム単位の、被処理マクロブロックに対応する形状動きベクトルを、その予測値に基づいて符号化する形状動きベクトル符号化装置とを備え、上記形状動きベクトル符号化装置は、上記処理済マクロブロックのカラー動きベクトルがフレーム単位の動きベクトルであるとき、上記被処理マクロブロックに対応する形状動きベクトルの予測値を、処理済マクロブロックに対応するカラー動きベクトル及び形状動きベクトルに基づいて生成し、上記処理済マクロブロックのカラー動きベクトルがフィールド単位の動きベクトルであるとき、上記被処理マクロブロックに対応する形状動きベクトルの予測値を、処理済マクロブロックに対応するフレーム単位の形状動きベクトルのみに基づいて生成する形状動きベクトル予測器を有することを特徴とする画像符号化装置。

請求項3

所定の画像空間に含まれる個々の物体に対応する、該物体をカラー表示するためのカラー信号及び該物体の形状を示す形状信号を含むインタレースもしくは非インタレース画像信号を受け、該画像信号に対してフレーム単位及びフィールド単位の動き補償符号化処理を含む適応的な符号化処理を、上記画像空間を区分する所定数の画素からなるマクロブロック毎に施す画像符号化装置であって、カラー信号に対してフレーム単位, あるいはフィールド単位の動き補償符号化処理を行うためのフレーム単位, あるいはフィールド単位の、被処理マクロブロックに対応するカラー動きベクトルを、その予測値に基づいて符号化するカラー動きベクトル符号化装置と、非インタレース形状信号に対してフレーム単位の動き補償符号化処理を行うためのフレーム単位の、被処理マクロブロックに対応する形状動きベクトルをその予測値に基づいて符号化する形状動きベクトル符号化装置とを備え、上記形状動きベクトル符号化装置は、上記画像信号として非インタレース画像信号を受けたとき、上記被処理マクロブロックに対応する形状動きベクトルの予測値を、処理済マクロブロックに対応するカラー動きベクトル及び形状動きベクトルに基づいて生成し、上記画像信号としてインタレース画像信号を受けたとき、上記被処理マクロブロックに対応する形状動きベクトルの予測値を、処理済マクロブロックに対応するフレーム単位の形状動きベクトルのみに基づいて生成する形状動きベクトル予測器を有することを特徴とする画像符号化装置。

請求項4

所定の画像空間に含まれる個々の物体に対応する、該物体をカラー表示するためのカラー信号及び該物体の形状を示す形状信号を含むインタレース画像信号に対応する画像符号化信号を受け、該画像符号化信号に対してフレーム単位及びフィールド単位の動き補償復号化処理を含む適応的な復号化処理を、上記画像空間を区分する所定数の画素からなるマクロブロック毎に施す画像復号化装置であって、インタレースカラー信号に対応する符号化信号に対してフレーム単位, あるいはフィールド単位の動き補償復号化処理を行うためのフレーム単位, あるいはフィールド単位の、被処理マクロブロックに対応するカラー動きベクトルを、その予測値に基づいて復号化するカラー動きベクトル復号化装置と、インタレース形状信号に対応する符号化信号に対してフレーム単位の動き補償復号化処理を行うためのフレーム単位の、被処理マクロブロックに対応する形状動きベクトルを、処理済マクロブロックに対応するカラー動きベクトル及び形状動きベクトルから得られる予測値に基づいて復号化する形状動きベクトル復号化装置とを備え、上記カラー動きベクトル復号化装置は、処理済マクロブロックに対応するフィールド単位のカラー動きベクトルをフレーム単位のカラー動きベクトルに変換する動きベクトル変換手段を有し、上記形状動きベクトル復号化装置は、上記処理済マクロブロックに対応するカラー動きベクトルがフィールド単位の動きベクトルであるとき、上記被処理マクロブロックに対応する形状動きベクトルの予測値を、該処理済マクロブロックに対応するフレーム単位の形状動きベクトル及び上記動きベクトル変換手段から出力されるフレーム単位のカラー動きベクトルに基づいて生成する形状動きベクトル予測器を有することを特徴とする画像復号化装置。

請求項5

所定の画像空間に含まれる個々の物体に対応する、該物体をカラー表示するためのカラー信号及び該物体の形状を示す形状信号を含むインタレース画像信号に対応する画像符号化信号を受け、該画像符号化信号に対してフレーム単位及びフィールド単位の動き補償復号化処理を含む適応的な復号化処理を、上記画像空間を区分する所定数の画素からなるマクロブロック毎に施す画像復号化装置であって、インタレースカラー信号に対応する符号化信号に対してフレーム単位, あるいはフィールド単位の動き補償復号化処理を行うためのフレーム単位, あるいはフィールド単位の、被処理マクロブロックに対応するカラー動きベクトルを、その予測値に基づいて復号化するカラー動きベクトル復号化装置と、インタレース形状信号に対応する符号化信号に対してフレーム単位の動き補償復号化処理を行うためのフレーム単位の、被処理マクロブロックに対応する形状動きベクトルを、その予測値に基づいて復号化する形状動きベクトル復号化装置とを備え、上記形状動きベクトル復号化装置は、上記処理済マクロブロックのカラー動きベクトルがフレーム単位の動きベクトルであるとき、上記被処理マクロブロックに対応する形状動きベクトルの予測値を、処理済マクロブロックに対応するカラー動きベクトル及び形状動きベクトルに基づいて生成し、上記処理済マクロブロックのカラー動きベクトルがフィールド単位の動きベクトルであるとき、上記被処理マクロブロックに対応する形状動きベクトルの予測値を、処理済マクロブロックに対応するフレーム単位の形状動きベクトルのみに基づいて生成する形状動きベクトル予測器を有することを特徴とする画像復号化装置。

請求項6

所定の画像空間に含まれる個々の物体に対応する、該物体をカラー表示するためのカラー信号及び該物体の形状を示す形状信号を含むインタレースもくしは非インタレース画像信号に対応する画像符号化信号を受け、該画像符号化信号に対して、フレーム単位及びフィールド単位の動き補償復号化処理を含む適応的な復号化処理を、上記画像空間を区分する所定数の画素からなるマクロブロック毎に施す画像復号化装置であって、カラー信号の符号化信号に対してフレーム単位あるいはフィールド単位の動き補償復号化処理を行うためのフレーム単位あるいはフィールド単位の、被処理マクロブロックに対応するカラー動きベクトルを、その予測値に基づいて符号化するカラー動きベクトル復号化装置と、非インタレース形状信号の符号化信号に対してフレーム単位の動き補償復号化処理を行うためのフレーム単位の、被処理マクロブロックに対応する形状動きベクトルを、その予測値に基づいて復号化する形状動きベクトル復号化装置とを備え、上記形状動きベクトル復号化装置は、上記画像符号化信号として非インタレース画像信号に対応する画像符号化信号を受けたとき、上記被処理マクロブロックに対応する形状動きベクトルの予測値を、処理済マクロブロックに対応するカラー動きベクトル及び形状動きベクトルに基づいて生成し、上記画像符号化信号としてインタレース画像信号に対応する画像符号化信号を受けたとき、上記被処理マクロブロックに対応する形状動きベクトルの予測値を、処理済マクロブロックに対応するフレーム単位の形状動きベクトルのみに基づいて生成する形状動きベクトル予測器を有することを特徴とする画像復号化装置。

請求項7

所定の画像空間に含まれる個々の物体に対応するインタレース画像信号を、フレーム単位及びフィールド単位の動き補償符号化処理を含む適応的な符号化処理により、上記画像空間を区分する所定数の画素からなるマクロブロック毎に符号化する画像符号化方法であって、上記画像信号に含まれる物体の形状を示すインタレース形状信号に対してフレーム単位の動き補償符号化処理を行うための形状動きベクトルを、その予測値に基づいて各マクロブロック毎に符号化する形状動きベクトル符号化処理と、上記画像信号に含まれる物体をカラー表示するためのインタレースカラー信号に対してフィールド単位の動き補償符号化処理を行うためのフィールド単位のカラー動きベクトルをフレーム単位のカラー動きベクトルに変換するカラー動きベクトル変換処理とを含み、該形状動きベクトル符号化処理では、被処理マクロブロックに対応する形状動きベクトルの予測値を、処理済マクロブロックに対応する形状動きベクトル及びカラー動きベクトルを参照して生成する際、上記処理済マクロブロックに対応するカラー動きベクトルがフィールド単位の動きベクトルである場合、該処理済マクロブロックのカラー動きベクトルを上記カラー動きベクトル変換処理により変換して得られたフレーム単位のカラー動きベクトルを参照することを特徴とする画像符号化方法。

請求項8

所定の画像空間に含まれる個々の物体に対応するインタレース画像信号を、フレーム単位及びフィールド単位の動き補償符号化処理を含む適応的な符号化処理により、上記画像空間を区分する所定数の画素からなるマクロブロック毎に符号化する画像符号化方法であって、上記画像信号に含まれる物体をカラー表示するためのインタレースカラー信号に対してフレーム単位,あるいはフィールド単位の動き補償符号化処理を行うためのフレーム単位,あるいはフィールド単位のカラー動きベクトルを、その予測値に基づいて各マクロブロック毎に符号化するカラー動きベクトル符号化処理と、上記画像信号に含まれる物体の形状を示すインタレース形状信号に対してフレーム単位の動き補償符号化処理を行うための形状動きベクトルを、その予測値に基づいて各マクロブロック毎に符号化する形状動きベクトル符号化処理とを含み、該形状動きベクトル符号化処理では、上記処理済マクロブロックに対応するカラー動きベクトルがフレーム単位の動きベクトルであるとき、被処理マクロブロックに対応する形状動きベクトルの予測値を、処理済マクロブロックに対応する形状動きベクトル及びカラー動きベクトルを参照して生成し、上記処理済マクロブロックに対応するカラー動きベクトルがフィールド単位の動きベクトルであるとき、被処理マクロブロックに対応する形状動きベクトルの予測値を、該処理済マクロブロックに対応する形状動きベクトルのみを参照して生成することを特徴とする画像符号化方法。

請求項9

所定の画像空間に含まれる個々の物体に対応するインタレースもしくは非インタレース画像信号を、フレーム単位及びフィールド単位の動き補償符号化処理を含む適応的な符号化処理により、上記画像空間を区分する所定数の画素からなるマクロブロック毎に符号化する画像符号化方法であって、上記画像信号に含まれる物体をカラー表示するためのカラー信号に対してフレーム単位,あるいはフィールド単位の動き補償符号化処理を行うためのフレーム単位,あるいはフィールド単位のカラー動きベクトルを、その予測値に基づいて各マクロブロック毎に符号化するカラー動きベクトル符号化処理と、上記画像信号に含まれる物体の形状を示す非インタレース形状信号に対してフレーム単位の動き補償符号化処理を行うための形状動きベクトルを、その予測値に基づいて各マクロブロック毎に符号化する形状動きベクトル符号化処理とを含み、上記形状動きベクトル符号化処理では、上記画像信号が非インタレース画像信号であるとき、被処理マクロブロックに対応する形状動きベクトルの予測値を、処理済マクロブロックに対応する形状動きベクトル及びカラー動きベクトルを参照して生成し、上記画像信号がインタレース画像信号であるとき、被処理マクロブロックに対応する形状動きベクトルの予測値を、処理済マクロブロックに対応する形状動きベクトルのみを参照して生成することを特徴とする画像符号化方法。

請求項10

所定の画像空間に含まれる個々の物体に対応するインタレース画像信号に対応する画像符号化信号を、フレーム単位及びフィールド単位の動き補償復号化処理を含む適応的な復号化処理により、上記画像空間を区分する所定数の画素からなるマクロブロック毎に復号化する画像復号化方法であって、上記画像信号に含まれる物体の形状を示すインタレース形状信号に対応する符号化信号に対してフレーム単位の動き補償復号化処理を行うための形状動きベクトルを、その予測値に基づいて各マクロブロック毎に復号化する形状動きベクトル復号化処理と、上記画像信号に含まれる物体をカラー表示するためのインタレースカラー信号に対応する符号化信号に対してフィールド単位の動き補償復号化処理を行うためのフィールド単位のカラー動きベクトルをフレーム単位のカラー動きベクトルに変換するカラー動きベクトル変換処理とを含み、上記形状動きベクトル復号化処理では、被処理マクロブロックに対応する形状動きベクトルの予測値を、処理済マクロブロックに対応する形状動きベクトル及びカラー動きベクトルを参照して生成する際、上記処理済マクロブロックに対応するカラー動きベクトルがフィールド単位の動きベクトルである場合、該処理済マクロブロックのカラー動きベクトルを上記カラー動きベクトル変換処理により変換して得られたフレーム単位のカラー動きベクトルを参照することを特徴とする画像復号化方法。

請求項11

所定の画像空間に含まれる個々の物体に対応するインタレース画像信号に対する画像符号化信号を、フレーム単位及びフィールド単位の動き補償復号化処理を含む適応的な復号化処理により、上記画像空間を区分する所定数の画素からなるマクロブロック毎に復号化する画像復号化方法であって、上記画像信号に含まれる物体をカラー表示するためのインタレースカラー信号に対応する符号化信号に対してフレーム単位,あるいはフィールド単位の動き補償復号化処理を行うためのフレーム単位,あるいはフィールド単位のカラー動きベクトルを、その予測値に基づいて各マクロブロック毎に復号化するカラー動きベクトル復号化処理と、上記画像信号に含まれる物体の形状を示すインタレース形状信号に対応する符号化信号に対してフレーム単位の動き補償復号化処理を行うための形状動きベクトルを、その予測値に基づいて各マクロブロック毎に復号化する形状動きベクトル復号化処理とを含み、上記形状動きベクトル復号化処理では、上記処理済マクロブロックに対応するカラー動きベクトルがフレーム単位の動きベクトルであるとき、被処理マクロブロックに対応する形状動きベクトルの予測値を、処理済マクロブロックに対応する形状動きベクトル及びカラー動きベクトルを参照して生成し、上記処理済マクロブロックに対応するカラー動きベクトルがフィールド単位の動きベクトルであるとき、被処理マクロブロックに対応する形状動きベクトルの予測値を、該処理済マクロブロックに対応する形状動きベクトルのみを参照して生成することを特徴とする画像復号化方法。

請求項12

所定の画像空間に含まれる個々の物体に対応するインタレースもしくは非インタレース画像信号に対する画像符号化信号を、フレーム単位及びフィールド単位の動き補償復号化処理を含む適応的な復号化処理により、上記画像空間を区分する所定数の画素からなるマクロブロック毎に復号化する画像復号化方法であって、上記画像信号に含まれる物体をカラー表示するためのカラー信号に対応する符号化信号に対してフレーム単位,あるいはフィールド単位の動き補償復号化処理を行うためのフレーム単位,あるいはフィールド単位のカラー動きベクトルを、その予測値に基づいて各マクロブロック毎に復号化するカラー動きベクトル復号化処理と、上記画像信号に含まれる物体の形状を示す非インタレース形状信号に対応する符号化信号に対してフレーム単位の動き補償復号化処理を行うための形状動きベクトルを、その予測値に基づいて各マクロブロック毎に復号化する形状動きベクトル復号化処理とを含み、上記形状動きベクトル復号化処理では、上記画像符号化信号が非インタレース画像信号に対応する画像符号化信号であるとき、被処理マクロブロックに対応する形状動きベクトルの予測値を、処理済マクロブロックに対応する形状動きベクトル及びカラー動きベクトルを参照して生成し、上記画像符号化信号がインタレース画像信号に対応する画像符号化信号であるとき、被処理マクロブロックに対応する形状動きベクトルの予測値を、処理済マクロブロックに対応する形状動きベクトルのみを参照して生成することを特徴とする画像復号化方法。

請求項13

画像処理プログラムを格納したデータ記憶媒体であって、上記画像処理プログラムは、請求項7記載の画像符号化方法による符号化処理をコンピュータに行わせるための符号化プログラムであることを特徴とするデータ記憶媒体。

請求項14

画像処理プログラムを格納したデータ記憶媒体であって、上記画像処理プログラムは、請求項8記載の画像符号化方法による符号化処理をコンピュータに行わせるための符号化プログラムであることを特徴とするデータ記憶媒体。

請求項15

画像処理プログラムを格納したデータ記憶媒体であって、上記画像処理プログラムは、請求項9記載の画像符号化方法による符号化処理をコンピュータに行わせるための符号化プログラムであることを特徴とするデータ記憶媒体。

請求項16

画像処理プログラムを格納したデータ記憶媒体であって、上記画像処理プログラムは、請求項10記載の画像復号化方法による復号化処理をコンピュータに行わせるための復号化プログラムであることを特徴とするデータ記憶媒体。

請求項17

画像処理プログラムを格納したデータ記憶媒体であって、上記画像処理プログラムは、請求項11記載の画像復号化方法による復号化処理をコンピュータに行わせるための復号化プログラムであることを特徴とするデータ記憶媒体。

請求項18

画像処理プログラムを格納したデータ記憶媒体であって、上記画像処理プログラムは、請求項12記載の画像復号化方法による復号化処理をコンピュータに行わせるための復号化プログラムであることを特徴とするデータ記憶媒体。

技術分野

0001

本発明は、画像符号化装置及び画像復号化装置画像符号化方法及び画像復号化方法,及びデータ記憶媒体に関し、特に、1画面上の画像を構成する物体の形状を示す形状信号に関する動きベクトルを効率よく符号化する装置及び方法、該形状動きベクトルの符号化により得られる符号化信号を復号化する装置及び方法、並びに、上記形状動きベクトルの符号化処理あるいは形状動きベクトルの復号化処理ソフトウエアにより行うための画像処理プログラムを格納したデータ記憶媒体に関するものである。

背景技術

0002

近年、音声,画像,その他のデータを統合的に扱うマルチメディア時代を迎え、従来からの情報メディア,つまり新聞雑誌テレビラジオ電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。

0003

ところが、上記各情報メディアで扱われる情報量をディジタル情報量として見積もってみると、文字の場合1文字当たりの情報量は1〜2バイトであるのに対し、音声の場合1秒当たり64Kbits(電話品質)、さらに動画については1秒当たり100Mbits(現行テレビ放送品質)以上の情報量が必要となり、上述したほとんどの情報メディアにおいては、その膨大な情報をディジタル形式でそのまま扱うことは現実的ではない。例えば、テレビ電話は、64Kbps〜1.5Mbps伝送速度を持つサービス総合ディジタル網ISDN:Integrated Services Digital Network)によってすでに実用化されているが、テレビカメラ映像情報をそのままISDNで送ることは不可能である。

0004

そこで、必要となってくるのが情報の圧縮技術である。例えば、テレビ電話の場合、ITU−T(国際電気通信連合電気通信標準化部門)で国際標準化されたH.261やH.263規格動画圧縮技術が用いられている。また、MPEG1規格の情報圧縮技術によると、通常の音楽用CD(コンパクトディスク)に音声情報とともに画像情報を入れることも可能となる。

0005

ここで、MPEG(Moving Picture Experts Group) とは、動画データ(動画像画像信号)の圧縮技術に関する国際規格であり、MPEG1は、動画データを1.5Mbpsまで、つまりテレビ信号の情報を約100分の1にまで圧縮する規格である。また、MPEG1規格を対象とする伝送速度が主として約1.5Mbps に制限されていることから、さらなる高画質化の要求をみたすべく規格化されたMPEG2では、動画データが2〜15Mbps に圧縮される。

0006

さらに現状では、MPEG1,MPEG2と標準化を進めてきた作業グループ(ISO/IECJTC1/SC29/WG11) によって、物体単位で符号化処理や信号操作を可能とし、マルチメディア時代に必要な新しい機能を実現する動画データの圧縮技術がMPEG4として規格化されつつある。このMPEG4では、当初、低ビットレート符号化方法の標準化を目指してきたが、現在は、標準化の対象が、インタレース画像に対応した高ビットレートのより汎用的な符号化処理に拡張されている。

0007

図8は物体単位の符号化処理を説明するための模式図である。図8(a) は、1つの画像を構成する物体に対応する、輝度信号及び色差信号からなるカラー信号から得られる画像空間Tsを示し、図8(b) は、該物体の形状を示す形状信号から得られる画像空間Ssを示す。図8(b) に示す画像空間Ssの、黒塗り部分が物体Soの内部領域であり、物体内部に含まれる画素(物体内画素)に対応するカラー信号により、上記画像空間Tsにおけるの画像(物体)Toが表現される。

0008

MPEG4では、物体に対応する、形状信号及びカラー信号を含む画像信号を、マクロブロックと呼ばれる所定数の画素からなる領域を単位として、符号化する。上記カラー信号を、所定数の画素からなるマクロブロックを単位として符号化する技術は、MPEG1,MPEG2で導入されているが、MPEG4では、カラー信号とともに形状信号もマクロブロックを単位として符号化される。

0009

図8(c) は、カラー信号を、上記画像空間Tsを区分するマクロブロックTmbに対応するよう分割するブロック化処理概念的に示す図、図8(d) は、形状信号を、上記画像空間Ssを区分するマクロブロックSmbに対応するよう分割するブロック化処理を概念的に示す図である。

0010

MPEG4では、画面(画像空間)の一部に物体が含まれている場合に効率良く符号化できるよう、画面全体に対応する画像信号を符号化するのではなく、画面内の物体を含む矩形領域の内部に対応する画像信号のみを符号化することが可能となっている。なお、上記物体を囲む矩形領域はバウンディングボックスと呼ばれている。

0011

具体的には、カラー信号に対しては、図8(e) に示すように、そのバウンディングボックスTbに対応する部分をマクロブロックに対応するよう分割するブロック化処理が施される。また、形状信号に対しても、図8(f) に示すように、該バウンディングボックスSbに対応する部分をマクロブロックに対応するよう分割するブロック化処理が施される。

0012

上記各マクロブロックに対応する、カラー信号及び形状信号を含む画像信号に対しては、マクロブロック単位で、MPEG1, 2と同様の動き補償符号化処理が施される。

0013

この動き補償符号化処理では、フレーム間での物体の動きは、本来、カラー信号と形状信号の間で一致したものとなるはずであるが、実際には、物体の真の動きと、各信号の符号化処理が効率の良いものとなる物体の動きとは一致しない。

0014

つまり、動き補償符号化処理は、カラー信号あるいは形状信号の動き補償誤差を符号化する方法である。このため、動き補償符号化処理では、物体の真の動きを示す動き情報(動きベクトル)に比べて動き補償誤差が小さくなる動き情報が得られれば、物体の真の動きを示す動き情報(動きベクトル)に基づいて動き補償を行うよりも、上記動き補償誤差が小さくなる動き情報(動きベクトル)に基づいて動き補償する方が符号化効率の向上につながる。特に、カラー信号は多値信号であり、形状信号は物体内画素と物体外画素とを区別する2値信号であることから、両信号の性質は若干異なり、動き補償誤差が小さくなる動きベクトルも両信号の間で若干異なることとなる。

0015

なお、上記動き補償誤差は、現画面(符号化処理が施される画面)における被処理マクロブロック(符号化処理の対象となるマクロブロック)に対応するカラー信号あるいは形状信号と、前画面(符号化処理済の参照画面)における、上記被処理マクロブロックと同一サイズの所定領域(予測マクロブロック)に対応するカラー信号あるいは形状信号との差分値である。また、各マクロブロックに対応する動きベクトルは、上記画面上での被処理マクロブロックに対する予測マクロブロックの位置関係を示す位置情報である。

0016

そこで、MPEG4においては、カラー信号に対する動き補償符号化処理は、該カラー信号から得られる動きベクトル(以下、カラー動きベクトルともいう。

0017

)に基づいて、形状信号に対する動き補償符号化処理は、該形状信号から得られる動きベクトル(以下、形状動きベクトルともいう。)に基づいて行うようにしている。

0018

また、上記カラー動きベクトルとこれに対応する形状動きベクトルとは、その向きや大きさが必ずしも一致するものではないが、これらの動きベクトルの間には強い相関がある。このため、MPEG4では、現画面における符号化処理済マクロブロックに対応する形状動きベクトルと、これに対応するカラー動きベクトルとに基づいて、符号化すべき被処理マクロブロックに対応する形状動きベクトルの予測値を生成し、この予測値と被処理被処理マクロブロックに対応する形状動きベクトルとの差分値を、被処理マクロブロックに対応する形状動きベクトルの情報として符号化する方法が採用されている。

0019

以下、MPEG4準拠の従来の画像符号化装置及び画像復号化装置について説明する。図9は、MPEG4準拠の従来の画像符号化装置を説明するためのブロック図である。この画像符号化装置1000は、カラー信号に対する、動き補償符号化処理を含む符号化処理を行うカラー符号化装置1100と、形状信号に対する、動き補償符号化処理を含む符号化処理を行う形状符号化装置1200とを有している。

0020

この形状符号化装置1200は、入力端子1201に入力された各物体に対応する形状信号Ssをマクロブロックに対応するようブロック化して、ブロック化形状信号Bsを出力するブロック化器1210と、符号化処理済画面(前画面)に対応する形状信号(局所復号化形状データ)Lds参照形状信号MLdsとして格納されるメモリ1260とを有している。

0021

また、上記形状符号化装置1200は、上記メモリ1260に格納されている参照形状信号MLds及び上記ブロック化器1210から出力されるブロック化形状信号Bsに基づいて、被処理マクロブロックに対応する動きベクトルMVsを検出するとともに、この検出処理の際に得られる形状信号に関する動き補償誤差信号DFsを出力する形状動き検出器1240と、上記参照形状信号MLds及び形状動きベクトルMVsに基づいて、ブロック化形状信号Bsの動き補償処理を行って、被処理マクロブロックに対応する予測形状信号(予測マクロブロックの形状信号)Psを出力する形状動き補償器1250と、上記ブロック化器1210の出力Bs及び形状動き検出器1240からの動き補償誤差信号DFsに基づいて、形状信号の符号化モードの判定を行って形状符号化モード信号Mosを出力するモード判定器1280とを有している。

0022

なお、この形状符号化モード信号Mosは、形状信号に対応する被処理マクロブロックが物体外マクロブロック、画面内の画素値相関を利用した画面内符号化処理が施されたイントラマクロブロック、及び画面間の画素値相関を利用した画面間符号化処理が施されたインターマクロブロックのいずれであるかを示すものである。なお、物体外マクロブロックは、その画素がすべて物体外に位置するマクロブロックであり、イントラマクロブロック及びインターマクロブロックは、少なくとも一部の画素が物体内に位置する物体内マクロブロックである。

0023

また、上記形状符号化装置1200は、上記ブロック化形状信号Bsに対して、上記形状符号化モード信号Mosに基づいて、上記予測形状信号Psを参照する算術符号化処理(画面間符号化処理)あるいは上記予測形状信号Psを参照しない算術符号化処理(画面内符号化処理)を施して形状符号化データCsを出力するとともに、該形状符号化データCsの復号化データ(局所復号化形状データ)Ldsを出力する形状符号化器1220と、上記形状符号化データCs及び形状符号化モード信号Mosに対して可変長符号化処理を施して形状符号化信号Esを出力する可変長符号化器1230と、上記形状符号化モード信号Mos,及びカラー符号化装置1100からの動きベクトルに関する情報Mmvt,Mmotに基づいて、上記形状動きベクトルMVsを符号化して形状動きベクトル符号化信号Emvsを出力する動きベクトル符号化装置1270とを有している。

0024

また、この形状符号化装置1200では、上記形状符号化器1220からの局所復号化形状データLdsは、上記メモリ1260に参照形状信号MLdsとして格納されるようになっている。このメモリ1260に格納された参照形状信号MLdsは、上記形状動き検出器1240及び形状動き補償器1250に出力され、形状信号に対する動き検出処理及び動き補償処理に用いられるようになっている。上記局所復号化形状データLdsは、上記カラー符号化装置1100に出力され、カラー信号に対する動き検出処理及び動き補償処理に用いられるようになっている。

0025

一方、上記カラー符号化装置1100は、入力端子1101に入力された各物体に対応するカラー信号Stをマクロブロックに対応するようブロック化して、ブロック化カラー信号Btを出力するブロック化器1110と、符号化処理済画面(前画面)に対応するカラー信号(局所復号化カラーデータ)Ldtが参照カラー信号MLdtとして格納されるメモリ1160とを有している。

0026

また、上記カラー符号化装置1100は、上記メモリ1160に格納された参照カラー信号MLdt,上記形状符号化装置1200からの局所復号化形状データLds,及び上記ブロック化器1110の出力Btに基づいて、被処理マクロブロックに対応するカラー動きベクトルMVtを検出するとともに、カラー信号に関する動き補償誤差信号DFtを出力するカラー動き検出器1140を有している。

0027

また、上記カラー符号化装置1100は、上記ブロック化器1110の出力Bt,カラー動き検出器1140からの動き補償誤差信号DFt,及び形状符号化装置1200からのブロック化形状信号Bsに基づいて、カラー信号に対する符号化モードの判定を行ってカラー符号化モード信号Motを出力するモード判定器1180と、上記参照カラー信号MLdt,上記カラー動きベクトルMVt及び上記形状符号化装置1200からの局所復号化形状データLdsに基づいて、ブロック化カラー信号Btの動き補償処理を行って、被処理マクロブロックに対する予測カラー信号(予測マクロブロックのカラー信号)Ptを出力するカラー動き補償器1150とを有している。

0028

なお、このカラー符号化モード信号Motは、カラー信号に対応する被処理マクロブロックが物体外マクロブロック、画面内の画素値相関を利用した画面内符号化処理が施されたイントラマクロブロック、及び画面間の画素値相関を利用した画面間符号化処理が施されたインターマクロブロックのいずれであるかを示すものである。

0029

また、上記カラー符号化装置1100は、上記ブロック化カラー信号Btに対して、上記予測カラー信号Ptを参照する波形符号化処理画面間予測符号化処理)あるいは上記予測カラー信号Ptを参照しない波形符号化処理(画面内符号化処理)を施してカラー符号化データCtを出力するとともに、該カラー符号化データCtの復号化データ(局所復号化カラーデータ)Ldtを出力するカラー符号化器1120とを有している。

0030

さらに、上記カラー符号化装置1100は、上記カラー符号化データCt及びカラー符号化モード信号Motに対して可変長符号化処理を施してカラー符号化信号Etを出力する可変長符号化器1130と、上記カラー符号化モード信号Motに基づいて、上記カラー動きベクトルMVtを符号化してカラー動きベクトル符号化信号Emvtを出力するとともに、カラー動きベクトルに関する情報Mmvt,Mmotを上記形状符号化装置1200の動きベクトル符号化装置1270に出力する動きベクトル符号化装置1170とを有している。

0031

また、このカラー符号化装置1100では、上記カラー符号化器1120からの局所復号化カラーデータLdtは、上記メモリ1160に参照カラー信号MLdtとして格納されるようになっており、このメモリに格納された参照カラー信号MLdtは、上記カラー動き検出器1140及びカラー動き補償器1150に出力され、動き検出処理及び動き補償処理に用いられるようになっている。

0032

なお、MPEG4における画像信号は、物体に対応するカラー信号を他のカラー信号と合成する際の合成比率を示す透過度信号を含むデータ構造となっており、画像符号化装置は、上記形状符号化装置1200及びカラー符号化装置1100とともに、上記透過度信号を符号化する透過度符号化装置を有しているが、ここではその説明は省略する。なお、この透過度符号化装置は、上記カラー符号化装置1100とほぼ同様な構成となっており、透過度信号に対する動き補償を、上記カラー動きベクトルMVtに基づいて行う点のみ、カラー符号化装置1100と異なっている。従って、透過度符号化装置は、動き検出器は有していない。

0033

次に上記画像符号化装置1000の動作について説明する。所定の物体に対応する画像信号を構成する形状信号Ssが形状符号化装置1200の入力端子1201に入力されると、該形状信号Ssはブロック化器1210にて、上記矩形領域(バウンディングボックス)を区分する各マクロブロックに対応するよう分割されてブロック化形状信号Bsが生成される。このブロック化形状信号Bsは、形状符号化装置1200における形状動き検出器1240,形状符号化器1220,及びモード判定器1280へ出力されるとともに、カラー符号化装置1100のモード判定器1180へ出力される。

0034

該形状動き検出器1240では、上記ブロック化形状信号Bs及びメモリ1260に格納されている前画面の参照形状信号MLdsに基づいて、被処理マクロブロックに対応する形状動きベクトルMVsが検出される。この形状動きベクトルMVsは形状動き補償器1250及び動きベクトル符号化装置1270に出力される。

0035

また、このとき、上記形状動き検出器1240からは、動き検出処理の際に生成された、形状信号に関する動き補償誤差信号DFsがモード判定器1280に出力される。すると、該モード判定器1280では、上記ブロック化器1210の出力Bs及び動き補償誤差信号DFsに基づいて、被処理マクロブロックに対する符号化モードの判定が行われて形状符号化モード信号Mosが出力される。

0036

上記形状動き補償器1250では、上記形状動きベクトルMVs及び上記参照形状信号MLdsに基づいてブロック化形状信号Bsの動き補償処理が行われ、被処理マクロブロックに対応する予測形状信号Psが生成される。また上記形状動きベクトル符号化装置1270では、上記形状符号化モード信号Mos,及びカラー符号化装置1100における動きベクトル符号化装置1170からの動きベクトルに関する情報Mmvt,Mmotに基づいて、上記形状動きベクトルMVsの符号化処理が行われて、形状動きベクトル符号化信号Emvsが出力端子1203から出力される。

0037

また、上記形状符号化器1220では、上記予測形状信号Psを参照する算術符号化処理、あるいは上記予測形状信号Psを参照しない算術符号化処理が、上記形状符号化モード信号Mosに基づいて、ブロック化形状信号Bsに対して施され、形状符号化データCsが生成されるとともに、該形状符号化データCsの算術復号化により局所復号化形状データLdsが生成される。この局所復号化形状データLdsは上記メモリ1260に参照形状信号MLdsとして格納される。

0038

そして、可変長符号化器1230では、上記形状符号化データCs及び形状符号化モード信号Mosを可変長符号に変換する処理が行われ、該可変長符号化処理により生成された被処理マクロブロックに対応する形状符号化信号Esが出力端子1202から出力される。

0039

一方、所定の物体に対応する画像信号を構成するカラー信号Stが形状符号化装置1100の入力端子1101に入力されると、該カラー信号Stはブロック化器1110にて、上記矩形領域(バウンディング・ボックス)を区分する各マクロブロックに対応するよう分割されてブロック化カラー信号Stが生成される。このブロック化カラー信号Btは、カラー動き検出器1140,カラー符号化器1120,及びモード判定器1180へ出力される。

0040

該カラー動き検出器1140では、上記ブロック化カラー信号Bt,メモリ1160における参照カラー信号MLdt,及び形状符号化装置1200からの局所復号化形状データLdsに基づいて、被処理マクロブロックに対応するカラー動きベクトルMVtが検出される。このカラー動きベクトルMVtはカラー動き補償器1150及び動きベクトル符号化装置1170に出力される。

0041

また、このとき、上記カラー動き検出器1140からは、動き検出処理の際に生成された、カラー信号に関する動き補償誤差信号DFtがモード判定器1180に出力される。すると、該モード判定器1180では、上記ブロック化器1110の出力Bt,動き補償誤差信号DFt,及びブロック化形状信号Bsに基づいて、被処理マクロブロックに対する符号化モードの判定が行われてカラー符号化モード信号Motが出力される。

0042

上記カラー動き補償器1150では、上記カラー動きベクトルMVt,上記参照カラー信号MLdt,及び上記局所復号化形状データLdsに基づいて、ブロック化カラー信号Btの動き補償により、被処理マクロブロックに対応する予測カラー信号Ptが生成される。また、上記カラー動きベクトル符号化装置1170では、上記カラー符号化モード信号Motに基づいて上記カラー動きベクトルMVtの符号化処理が行われる。これにより、動きベクトル符号化信号Emvtが出力端子1103から出力されるとともに、上記カラー動きベクトルMVtに関する情報Mmvt,Mmotが上記カラー動きベクトル符号化装置1170から上記形状符号化装置1200の動きベクトル符号化装置1270へ出力される。

0043

また、上記カラー符号化器1120では、上記カラー符号化モード信号Mot及び局所復号化形状データLdsに基づいて、ブロック化カラー信号Btに対して、上記予測カラー信号Ptを参照する波形符号化処理あるいは上記予測カラー信号Ptを参照しない波形符号化処理が施され、カラー符号化データCtが生成されるとともに、該カラー符号化データCtの波形復号化処理により局所復号化カラーデータLdtが生成される。この局所復号化カラーデータLdtは上記メモリ1160に参照カラー信号MLdtとして格納される。

0044

そして、可変長符号化器1130では、上記カラー符号化データCt及びカラー符号化モード信号Motを可変長符号に変換する処理が行われ、被処理マクロブロックに対応するカラー符号化信号Etが出力端子1102から出力される。

0045

図10は、MPEG4準拠の画像復号化装置を説明するためのブロック図である。この画像復号化装置2000は、図9に示す画像符号化装置1000から出力された画像符号化信号を復号化するものであり、上記カラー符号化装置1100からのカラー符号化信号Etに対して、動き補償復号化処理を含む復号化処理を行うカラー復号化装置2100と、上記形状符号化装置1200からの形状符号化信号Esに対して、動き補償復号化処理を含む復号化処理を行う形状復号化装置2200とを有している。

0046

上記形状復号化装置2200は、入力端子2201に入力された各物体に対応する形状符号化信号Esに対して可変長復号化処理を施して形状復号化データAs及び形状符号化モード信号Mosを出力する可変長復号化器2210と、被処理マクロブロックに対応する形状復号化データAsに対して、上記形状符号化モード信号Mosに基づいて、被処理マクロブロックの予測形状信号Psを参照する算術復号化処理、あるいは該予測形状信号Psを参照しない算術復号化処理を施して、形状復号化信号Dsを出力する形状復号化器2220とを有している。

0047

また、上記形状復号化装置2200は、上記形状復号化信号Dsを、復号化処理済画面(前画面)に対応する参照形状信号MDsとして格納するメモリ2260と、上記形状復号化信号Dsを、所定のマクロブロックからなる矩形領域(バウンディング・ボックス)に対応するよう統合して、形状再生信号Rsを出力端子2203から出力する逆ブロック化器2230とを有している。

0048

さらに、上記形状復号化装置2200は、入力端子2202に入力された、上記画像符号化装置1000からの形状動きベクトル符号化信号Emvsを、上記形状符号化モード信号Mos及びカラー復号化装置2100からのカラー動きベクトルの情報Mmvs,Mmotに基づいて復号化して、形状動きベクトル復号化信号Dmvsを生成する動きベクトル復号化装置2240と、該形状動きベクトル復号化信号Dmvs及び参照形状信号MDsに基づいて、被処理マクロブロックに対応する予測形状信号Psを生成する形状動き補償器2250とを有している。

0049

一方、上記カラー復号化装置2100は、入力端子2101に入力された各物体に対応するカラー符号化信号Etに対して可変長復号化処理を施してカラー復号化データAt及びカラー符号化モード信号Motを出力する可変長復号化器2110と、被処理マクロブロックに対応するカラー復号化データAtに対して、上記カラー符号化モード信号Mot及び形状復号化装置2200からの形状復号化信号Dsに基づいて、該被処理マクロブロックの予測カラー信号Ptを参照する波形復号化処理、あるいは該予測カラー信号Pt参照しない波形復号化処理を施して、カラー復号化信号Dtを出力するカラー復号化器2120とを有している。

0050

また、上記カラー復号化装置2100は、上記カラー復号化信号Dtを、復号化処理済画面(前画面)に対応する参照形状信号MDtとして格納するメモリ2160と、上記カラー復号化信号Dtを、所定のマクロブロックからなる矩形領域(バウンディング・ボックス)に対応するよう統合して、カラー再生信号Rtを出力端子2103から出力する逆ブロック化器2130とを有している。

0051

さらに、上記カラー復号化装置2200は、入力端子2102に入力された、上記画像符号化装置1000からのカラー動きベクトル符号化信号Emvtを上記カラー符号化モード信号Motに基づいて復号化して、カラー動きベクトル復号化信号Dmvsを生成するとともに、カラー動きベクトルの情報Mmvt,Mmotを出力する動きベクトル復号化装置2140と、該カラー動きベクトル復号化信号Dmvt,参照カラー信号MDt及び形状復号化装置2200からの形状復号化信号Dsに基づいて、被処理マクロブロックに対応する予測カラー信号Ptを生成するカラー動き補償器2150とを有している。

0052

次に上記画像復号化装置2000の動作について説明する。

0053

上記形状復号化装置2200の入力端子2201に各物体に対応する形状符号化信号Esが入力されると、可変長復号化器2210では、該形状符号化信号Esに対してマクロブロック毎に可変長復号化処理が施されて、各マクロブロックに対応する形状復号化データAs及び形状符号化モード信号Mosが生成される。

0054

また、上記装置2200の入力端子2202に入力された形状動きベクトル符号化信号Emvsは、動きベクトル復号化装置2240にて、上記形状符号化モード信号Mos及びカラー復号化装置2100からの動きベクトルの情報Mmvs,Mmotに基づいて復号化されて、形状動きベクトル復号化信号Dmvsが生成される。すると、形状動き補償器2250では、この形状動きベクトル復号化信号Dmvs及びメモリ2260に格納されている参照形状信号MDsに基づいて、被処理マクロブロックに対応する予測形状信号Psが生成される。

0055

また、形状復号化器2220では、上記被処理マクロブロックに対応する形状復号化データAsに対して、上記形状符号化モード信号Mosに基づいて、該被処理マクロブロックの予測形状信号Psを参照する算術復号化処理、あるいは該予測形状信号Psを参照しない算術復号化処理が施されて、形状復号化信号Dsが生成される。この形状復号化信号Dsはメモリ2260に参照形状信号MDsとして格納されるとともに、逆ブロック化器2230に出力される。該逆ブロック化器2230では、上記形状復号化信号Dsは、所定のマクロブロックからなる矩形領域(バウンディング・ボックス)に対応するよう統合されて、形状再生信号Rsとして出力端子2203から出力される。

0056

一方、上記カラー復号化装置2100の入力端子2101に各物体に対応するカラー符号化信号Etが入力されると、可変長復号化器2110では、該カラー符号化信号Etに対してマクロブロック毎に可変長復号化処理が施されて、各マクロブロックに対応するカラー復号化データAt及びカラー符号化モード信号Motが生成される。

0057

また、上記装置2100の入力端子2102に入力されたカラー動きベクトル符号化信号Emvtは、動きベクトル復号化装置2140にて、上記カラー符号化モード信号Motに基づいて復号化される。このa復号化装置2140からは、カラー動きベクトル復号化信号Dmvtが出力されるとともに、カラー動きベクトルに関する情報Mmvt,Mmotが出力される。すると、カラー動き補償器2150では、このカラー動きベクトル復号化信号Dmvt,メモリ2160に格納されている参照カラー信号MDt,及び形状復号化器2220からの形状復号化信号Dsに基づいて、被処理マクロブロックに対応する予測カラー信号Ptが生成される。

0058

また、カラー復号化器2120では、上記被処理マクロブロックに対応するカラー復号化データAtに対して、上記カラー符号化モード信号Mot及び形状復号化装置2000からの形状復号化データDsに基づいて、該被処理マクロブロックの予測カラー信号Ptを参照する波形復号化処理、あるいは該予測カラー信号Ptを参照しない波形復号化処理が施されて、カラー復号化信号Dtが生成される。このカラー復号化信号Dtはメモリ2160に参照カラー信号MDtとして格納されるとともに、逆ブロック化器2130に出力される。該逆ブロック化器2130では、カラー復号化信号Dtは、所定のマクロブロックからなる矩形領域(バウンディング・ボックス)に対応するよう統合されて、カラー再生信号Rtとして出力端子2103から出力される。

0059

次に、上述した画像符号化装置1000における、カラー動きベクトル及び形状動きベクトルの符号化処理について詳しく説明する。まず、動きベクトルを用いた動き補償処理について説明する。MPEG4では、1つのマクロブロック(16×16画素からなる画像空間)を形成するカラー信号(インターレースあるいは非インターレース)に対するフレーム単位の動き補償処理では、基本的には、図11(a) に示すように、4つの動きベクトルMV1〜MV4により、被処理マクロブロックMBに対応する予測カラー信号が生成される。ここで、4つの動きベクトルMV1〜MV4は、図11(a) に示すように、1つのマクロブロックMBを構成する4つのブロック(8×8画素からなる画像空間)B1〜B4に対応する動きベクトルである。なお、これらの動きベクトルMV1〜MV4がすべて等しい場合は、上記マクロブロックMBに対するフレーム単位の動き補償処理は、図11(d) に示すように1つの動きベクトルMV(MV=MV1=MV2=MV3=MV4)による動き補償処理と等価となる。

0060

また、1つのマクロブロックを形成するカラー信号(インターレース)に対するフィールド単位の動き補償処理では、図11(b) に示すように、第1の動きベクトルMVf1及び第2の動きベクトルMVf2により、フレームにおける被処理マクロブロックMBに対応する予測カラー信号が生成される。ここで、第1の動きベクトルMVf1は、フレームを構成する奇数フィールド走査線上の画素からなる第1の半マクロブロック(図11(c) 参照)MBf1に対応する動きベクトルである。また、第2の動きベクトルMVf2は、フレームを構成する偶数フィールドの走査線上の画素からなる第2の半マクロブロック(図11(c) 参照)MBf2に対応する動きベクトルである。なお、上記各半マクロブロックは16×8画素からなる画像空間であるが、図11(b) では説明の都合上、正方形の領域として示している。また、上記第1,第2の動きベクトルMVf1及びMVf2が等し、上記マクロブロックMBに対するフィールド単位の動き補償処理は、図11(d) に示すように1つの動きベクトルMV(MV=MVf1=MVf2)によるフレーム単位の動き補償処理と等価となる。

0061

一方、形状信号に対するフレーム単位の動き補償処理では、カラー信号に対するフレーム単位の動き補償処理とは異なり、図11(d) に示すように、常に1つの動きベクトルMVにより、被処理マクロブロックMBに対応する予測形状信号が生成される。

0062

次に、動きベクトルの符号化処理について説明する。被処理マクロブロック(16×16画素)に対応するカラー信号の動きベクトル(カラー動きベクトル)の符号化処理では、被処理マクロブロックに隣接して位置する処理済参照マクロブロックの動きベクトルに基づいて予測された予測動きベクトルと、被処理マクロブロックの動きベクトルとの差分値が、被処理マクロブロックの動きベクトルの情報として符号化される。

0063

以下、カラー動きベクトルの予測処理について詳述する。
(1)フレーム単位の動き補償処理における動きベクトル予測処理について
(1a)被処理マクロブロックMBxが4つの動きベクトルを有する場合は、図12(a) に示すように、被処理マクロブロックMBxにおけるブロックB0aの動きベクトルMVt0aの予測値が、該ブロックB0aに隣接するブロックRB1a,RB2a,RB2bを参照ブロックとして、これらのブロックの動きベクトルMVt1a,MVt2a,MVt2bに基づいて生成される。また、被処理マクロブロックMBxにおけるブロックB0bの動きベクトルMVt0bの予測値は、上記動きベクトルMVt0aの予測値と同様に、該ブロックB0bに隣接するブロックB0a,RB2b,RB3を参照ブロックとしてこれらのブロックの動きベクトルMVt0a,MVt2b,MVt3に基づいて再生される。被処理マクロブロックMBxにおけるブロックB0cの動きベクトルMVt0cの予測値も、上記動きベクトルMVt0aの予測値と同様に、該ブロックB0cに隣接するブロックRB1b,B0a,B0bを参照ブロックとしてこれらのブロックの動きベクトルMVt1b,MVt0a,MVt0bに基づいて生成される。さらに、被処理マクロブロックMBxにおけるブロックB0dの動きベクトルMVt0dの予測値は、該ブロックB0dに隣接するブロックB0c,B0a,B0bを参照ブロックとしてこれらの参照ブロックの動きベクトルMVt0c,MVt0a,MVt0bに基づいて生成される。

0064

(1b)被処理マクロブロックMB0が1つの動きベクトルMVt0を有する場合、言い換えると、上記被処理マクロブロックMBxにおける各ブロックB0a〜B0dの動きベクトルMVt0a〜MVt0dがすべて等しい場合は、図12(b) に示すように、被処理マクロブロックMB0の動きベクトルMVt0の予測値は、該被処理マクロブロックMB0に隣接するブロックRB1,RB2,RB3を参照ブロックとして、これらのブロックの動きベクトルMVt1,MVt2,MVt3に基づいて生成される。なお、上記フレーム単位の動き補償処理における動きベクトル予測処理の説明では、被処理マクロブロックに隣接する参照マクロブロックが、すべて4つの動きベクトルを有する、フレーム単位の動き補償処理が施されたマクロブロックである場合を示しているが、参照マクロブロックが1つの動きベクトルのみを有する場合は、該参照マクロブロックを構成する4つのブロックがすべて同一の動きベクトルを有するものとして、被処理マクロブロックにおける各ブロックの動きベクトルの予測値が生成される。また、参照マクロブロックが、2つの動きベクトルを有する、フィールド単位の動き補償処理が施されたマクロブロックである場合は、2つの動きベクトルの平均値に基づいて、被処理マクロブロックにおける各ブロックの動きベクトルの予測値が生成される。

0065

(2)フィールド単位の動き補償処理におこる動きベクトル予測処理について
このフィールド単位の動き補償処理は、図12(c) に示すように、被処理マクロブロックMByが第1,第2の2つの動きベクトルMVt01,MVt02を有する場合に対応する処理である。上記第1の動きベクトルMVt01は、フレームを構成する奇数フィールドの走査線上の画素からなる第1の半マクロブロック(16×8画素)MBf1に対応する動きベクトルである。上記第2の動きベクトルMVt02は、フレームを構成する偶数フィールドの走査線上の画素からなる第2の半マクロブロックMBf2(16×8画素)に対応する動きベクトルである。この場合、図12(c) に示すように、被処理マクロブロックMByの第1,第2の動きベクトルMVtf1,MVtf2の予測値は、該被処理マクロブロックMByに隣接するブロックRB1,RB2,RB3を参照ブロックとして、これらのブロックの動きベクトルMVt1,MVt2,MVt3に基づいて生成される。

0066

なお、上記フィールド単位の動き補償処理における動きベクトル予測処理の説明では、被処理マクロブロックに隣接する参照マクロブロックが、すべて4つの動きベクトルを有する、フレーム単位の動き補償処理が施されたマクロブロックである場合を示しているが、参照マクロブロックが1つの動きベクトルのみを有する場合は、該参照マクロブロックを構成する4つのブロックが同一の動きベクトルを有するものとして、被処理マクロブロックMByを構成する2つの半マクロブロックMBf1,MBf2の動きベクトルMVt01,MVt02の予測値が生成される。

0067

また、参照マクロブロックが、奇数フィールド及び偶数フィールドに対応する2つの動きベクトルを有する、フィールド単位の動き補償処理が施されたマクロブロックである場合は、被処理マクロブロックMByを構成する、奇数フィールドに対応する半マクロブロックMBf1の動きベクトルMVt01の予測値は、参照マクロブロックを構成する、奇数フィールドの半マクロブロックの動きベクトルに基づいて生成される。またこの場合、被処理マクロブロックMByを構成する、偶数フィールドに対応する半マクロブロックMBf2の動きベクトルMV02の予測値は、参照マクロブロックを構成する、偶数フィールドの半マクロブロックの動きベクトルに基づいて生成される。

0068

次に、形状信号に対する動き補償処理における形状動きベクトル予測処理について詳述する。なお、形状信号に対応する被処理マクロブロックは、上述したように常に1つの動きベクトルのみを有している。被処理マクロブロック(16×16画素)に対応する形状信号の動きベクトル(形状動きベクトル)の符号化処理では、被処理マクロブロックに隣接して位置する処理済の参照マクロブロックの動きベクトルに基づいて予測された予測動きベクトルと、被処理マクロブロックの形状動きベクトルとの差分値が、被処理マクロブロックの形状動きベクトルの情報として符号化される。ただし、上述したように、形状信号の動きベクトルとカラー信号の動きベクトルの間には強い相関があるため、被処理マクロブロックの形状動きベクトルに対する予測値(予測形状動きベクトル)は、処理済の参照マクロブロックのカラー動きベクトルと処理済の参照マクロブロックの形状動きベクトルの両方に基づいて生成される。

0069

すなわち、被処理マクロブロックMBs0に対応する形状動きベクトルMVs0の予測値は、図12(d) に示す、形状信号に対応する被処理マクロブロックMBs0周辺のマクロブロックRMBs1,RMBs2,RMBs3のベクトルMVs1,MVs2,及びMVs3だけでなく、図12(b) に示す、カラー信号に対応する被処理マクロブロックMB0周辺のブロックRB1,RB2,RB3のカラー動きベクトルMVt1,MVt2,MVt3を参照して生成される。なお、上記カラー動きベクトル及び形状動きベクトルの予測処理では、被処理マクロブロックに隣接する隣接マクロブロックが、イントラマクロブロック(画面内符号化処理が施されたマクロブロック)である場合や物体外マクロブロック(すべての画素が物体外に位置するマクロブロック)である場合は、イントラマクロブロックや物体外マクロブロックについては動きベクトルが存在しないため、動きベクトルの存在する隣接マクロブロックのみを参照マクロブロックとして、被処理マクロブロックに対する動きベクトルの予測値を生成する処理を行う。

0070

図13は、上記画像符号化装置1000を構成する従来の動きベクトル符号化装置を説明するためのブロック図である。なお、この図では、カラー符号化装置1100を構成する動きベクトル符号化装置(以下、カラー動きベクトル符号化装置という。)1170、及び形状符号化装置1200を構成する動きベクトル符号化装置(以下、形状動きベクトル符号化装置という。)1270が示されている。また、この動きベクトル符号化装置の説明では、動きベクトルの予測処理は、被処理マクロブロックMB0が1つのカラー動きベクトルのみを有し、被処理マクロブロック周辺のブロックRB1〜RB3を参照ブロックとする場合(図12(b) 参照)を例に挙げる。

0071

上記カラー動きベクトル符号化装置1170は、非インタレースカラー信号に対応する動きベクトルを符号化するものであり、この装置1170は、入力端子1に入力された被処理マクロブロックの動きベクトルMVtを記憶するMVメモリ102と、入力端子2に入力されたカラー符号化モード信号Motを格納するMV有効メモリ103とを有している。ここで、上記カラー符号化モード信号Motは、カラー信号から得られる画像空間における被処理マクロブロックが、イントラマクロブロック及び物体外マクロブロックの一方であるかあるいはインターマクロブロックであるかを示すカラー動きベクトル有効信号ある。従って、このカラー動きベクトル有効信号により、上記画像空間上にて被処理マクロブロックに隣接して位置する参照マクロブロックが、イントラマクロブロック及び物体外マクロブロックの一方であるかあるいはインターマクロブロックであるかの判定を行うことができる。

0072

また、上記カラー動きベクトル符号化装置1170は、上記MV有効メモリ103からのカラー符号化モード信号Motに基づいて、上記MVメモリ102に格納されている、符号化済マクロブロックにおける参照ブロックRB1,RB2,RB3に対応するカラー動きベクトルMVt1,MVt2,MVt3から、MV予測値(被処理マクロブロックのカラー動きベクトルの予測値)Pmvtを生成するMV予測器104と、該MV予測器104からのMV予測値Pmvtを参照して被処理マクロブロックMB0のカラー動きベクトルMVt0の符号化処理を行って、カラー動きベクトルの符号化信号Emvtを出力するMV符号化器105とを有している。

0073

さらに、上記カラー動きベクトル符号化装置1170は、入力端子1とMV符号化器105との間に設けられた前段スイッチ100と、出力端子10とMV符号化器105との間に設けられた後段スイッチ101とを有しており、該両スイッチ100,101は上記カラー符号化モード信号Motにより開閉制御されるようになっている。

0074

一方、上記形状動きベクトル符号化装置1270は、非インタレース形状信号に対応する動きベクトルを符号化するものであり、この装置1270は、入力端子4に入力された被処理マクロブロックの形状動きベクトルMVsを記憶するMVメモリ202と、入力端子5に入力された形状符号化モード信号Mosを格納するMV有効メモリ203とを有している。ここで、該形状符号化モード信号Mosは、形状信号から得られる画像空間における被処理マクロブロックが、イントラマクロブロック及び物体外マクロブロックの一方であるか、あるいはインターマクロブロックであるかを示す形状動きベクトル有効信号である。従って、この形状動きベクトル有効信号Mosにより、形状信号から得られる画像空間にて被処理マクロブロックの隣接して位置する参照マクロブロックに対して、これがイントラマクロブロック及び物体外マクロブロックの一方であるかインターマクロブロックであるかの判定を行うことができる。

0075

また、上記形状動きベクトル符号化装置1270は、上記カラー符号化モード信号Mot及び上記形状符号化モード信号Mosに基づいて、上記MVメモリ202に格納されている、符号化済マクロブロックに対応する形状動きベクトルMVs1,MVs2,MVs3から、MV予測値(被処理マクロブロックの形状動きベクトルの予測値)Pmvsを生成するMV予測器204と、該MV予測器204からのMV予測値Pmvsを参照して被処理マクロブロックMBs0の形状動きベクトルMVs0の符号化処理を行って、形状動きベクトルの符号化信号Emvsを出力するMV符号化器205とを有している。ここで、上記MV予測器204は、上記カラー動きベクトル符号化装置1170のMVメモリ102から供給される半画素精度のカラー動きベクトルを1画素精度のカラー動きベクトルに変換し、この変換により得られた1画素精度のカラー動きベクトルを用いて予測処理を行う構成となっている。これは、カラー符号化装置では、半画素精度の動きベクトルにより動き補償処理が行われるのに対し、形状符号化装置では、1画素精度の動きベクトルにより動き補償処理が行われるためである。

0076

さらに、上記形状動きベクトル符号化装置1270は、入力端子4とMV符号化器205との間に設けられた前段スイッチ200と、出力端子11とMV符号化器205との間に設けられた後段スイッチ201とを有しており、該両スイッチ200,201は上記形状符号化モード信号Mosにより開閉制御されるようになっている。

0077

次に動作について説明する。上記カラー動きベクトル符号化装置1170では、カラー信号から得られる動きベクトルMVtが符号化されてその符号化信号Emvtが出力され、形状動きベクトル符号化装置1270では、形状信号から得られる動きベクトルMVsが符号化されてその符号化信号Emvsが出力される。

0078

すなわち、カラー符号化モード信号Motが動きベクトル有効信号として入力端子2に入力されると、該動きベクトル有効信号Motにより、MV符号化器105の前段スイッチ100及びその後段スイッチ101が開閉制御される。具体的には、入力された被処理マクロブロックMB0に対応するカラー動きベクトルMVt0が符号化する必要のあるものである場合には上記両スイッチ100及び101は導通状態となり、一方、被処理マクロブロックMB0に対応するカラー動きベクトルMVt0が符号化する必要のないものである場合には上記両スイッチ100及び101は非導通状態となる。

0079

言い換えると、被処理マクロブロックが画面内符号化処理が施されたイントラマクロブロックである場合や、被処理マクロブロックがすべての画素が物体外に位置する物体外マクロブロックであってその動きベクトルに対する符号化処理が不要である場合には、上記両スイッチ100,101はOFF状態となる。一方、上記被処理マクロブロックが、動き補償符号化処理(画面間符号化処理)が施されたインターマクロブロックである場合には、上記両スイッチ100,101はON状態になる。

0080

各マクロブロックに対応するカラー動きベクトルMVtはMVメモリ102に一時的に記憶される。具体的には、各マクロブロックを構成するブロックに対応するカラー動きベクトル(図11(a) 参照)がMVメモリ102に記憶される。そして該MVメモリ102からは、図12(b) に示す、被処理マクロブロックMB0周辺の参照ブロックMB1〜MB3に対応する動きベクトルMVt1〜MVt3がMV予測器104に供給される。このときカラー動きベクトル有効信号Motは、MV有効メモリ103に一時的に記憶される。

0081

上記MV予測器104に、MV有効メモリ103から上記被処理マクロブロックに対応するカラー動きベクトル有効信号Mmot(Mot)が供給される。すると、該MV予測器104では、上記有効信号Motに基づいて、被処理マクロブロックに隣接して位置する参照ブロックRB1〜RB3の動きベクトルMVt1〜MVt3を符号化すべきか否かの判定、即ち、上記各参照ブロックRB1〜RB3がイントラマクロブロック及び物体外マクロブロックの一方に属するものであるか、あるいはインターマクロブロックに属するものであるかの判定が行われる。そして、その判定結果に応じて被処理マクロブロックMB0に対応する動きベクトルの予測値(MV予測値)Pmvtが生成される。

0082

例えば、参照ブロックRB1〜RB3がすべてインターマクロブロックに属するものである場合は、該MV予測器104では、符号化済の参照ブロックRB1〜RB3に対応する動きベクトルMVt1〜MVt3から、被処理マクロブロックMB0に対応する動きベクトルの予測値(MV予測値)Pmvtが生成される。このMV予測値PmvtはMV符号化器105に出力される。なお、イントラマクロブロックあるいは物体外マクロブロックに属する参照ブロックの動きベクトルは、予測値の生成には用いられない。

0083

上記MV符号化器105では、上記MV予測値Pmvtを参照して、被処理マクロブロックの動きベクトルMVt(MVt0)とその予測値Pmvtとの差分値(カラー差分動きベクトル)が、被処理マクロブロックのカラー動きベクトルに相当する値として符号化され、カラー動きベクトルの符号化信号Emvtが生成される。このカラー動きベクトルの符号化信号Emvtは、後段スイッチ101を介して出力される。

0084

同様に、形状符号化モード信号Mos、つまり被処理マクロブロックの形状動きベクトルが有効なものか否かを示す形状動きベクトル有効信号Mosが入力端子5に入力されると、該形状動きベクトル有効信号Mosにより、MV符号化器205の前段スイッチ200及びその後段スイッチ201が開閉制御される。具体的には、入力された被処理マクロブロックMBs0に対応する動きベクトルMVs0が符号化する必要のあるものである場合には上記両スイッチ200及び201は導通状態となる。一方、被処理マクロブロックMBs0に対応する動きベクトルMVs0が符号化する必要のないものである場合には上記両スイッチ200及び201は非導通状態となる。

0085

言い換えると、被処理マクロブロックが画面内符号化処理が施されたイントラマクロブロックである場合や、被処理マクロブロックがすべての画素が物体外に位置する物体外マクロブロックであってその動きベクトルに対する符号化処理が不要である場合には、上記両スイッチ200及び201はOFF状態になる。一方、上記被処理マクロブロックが、形状信号の動き補償符号化処理(画面間符号化処理)が施されたインターマクロブロックである場合には、上記両スイッチ200及び201はON状態になる。

0086

各マクロブロックに対応する形状動きベクトルMVsはMVメモリ202に一時的に記憶される。そして該MVメモリ202からは、図12(d) に示す、被処理マクロブロックMB0周辺の参照マクロブロックRMBs1〜RMBs3に対応する動きベクトルMVs1〜MVs3がMV予測器204に供給される。また、このとき、図12(c) に示す、被処理マクロブロックMB0に隣接して位置するブロックMBt1〜MBt3に対応する動きベクトルMVt1〜MVt3が上記MVメモリ102からMV予測器204に供給される。このとき形状動きベクトル有効信号Mosは、MV有効メモリ203に記憶される。

0087

上記MV予測器204に、MV有効メモリ203から上記被処理マクロブロックに対応する形状動きベクトルの有効信号Mmos(Mos)が供給され、MV有効メモリ103から上記被処理マクロブロックに対応するカラー動きベクトル有効信号Mmot(Mot)が供給される。すると、MV予測器204では、上記有効信号Mosに基づいて、被処理マクロブロックに隣接して位置する参照マクロブロックRMBs1〜RMBs3の動きベクトルMVs1〜MVs3を符号化すべきか否かの判定、即ち、上記各参照マクロブロックがイントラマクロブロック及び物体外マクロブロックの一方であるか、あるいはインターマクロブロックであるかの判定が行われる。また、上記カラー動きベクトル有効信号Mmotに基づいて、被処理マクロブロックに隣接して位置する参照ブロックRB1〜RB3の動きベクトルMVt1〜MVt3を符号化すべきか否かの判定、即ち、上記各参照ブロックRB1〜RB3がイントラマクロブロック及び物体外マクロブロックの一方に属するものであるか、あるいはインターマクロブロックに属するものであるかの判定が行われる。そして、その判定結果に応じて、被処理マクロブロックMBs0に対応する動きベクトルの予測値(MV予測値)Pmvsが生成される。

0088

例えば、参照マクロブロックRMB1〜RMB3及び参照ブロックRB1〜RB3がすべてインターマクロブロックである場合は、該MV予測器204では、符号化済の参照マクロブロックRMB1〜RMB3に対応する動きベクトルMVs1〜MVs3及び符号化済の参照ブロックRB1〜RB3に対応する動きベクトルMVt1〜MVt3から、被処理マクロブロックMBs0に対応する動きベクトルの予測値(MV予測値)Pmvsが生成される。このMV予測値PmvsはMV符号化器205に出力される。なお、イントラマクロブロックあるいは物体外マクロブロックである参照マクロブロックの動きベクトル、またはイントラマクロブロックあるいは物体外マクロブロックに属する参照ブロックの動きベクトルは、予測値の生成には用いられない。

0089

上記MV符号化器205では、上記MV予測値Pmvsを参照して、被処理マクロブロックの動きベクトルMVsと該予測値Pmvsとの差分値(形状差分動きベクトル)が、被処理マクロブロックの形状動きベクトルに相当する値として符号化され、形状動きベクトルの符号化信号Emvsが生成される。この動きベクトルの符号化信号Emvsは、後段スイッチ201を介して出力される。

0090

図14は、上記画像復号化装置2000を構成する従来の動きベクトル復号化装置を説明するためのブロック図である。この図では、カラー復号化装置2100を構成する動きベクトル復号化装置(以下、カラー動きベクトル復号化装置という。)2140、及び形状復号化装置2200を構成する動きベクトル復号化装置(以下、形状動きベクトル復号化装置という。)2240が示されている。なお、この動きベクトル復号化装置の説明においても、上記動きベクトル復号化装置の説明と同様、動きベクトルの予測処理は、被処理マクロブロックMB0が1つのカラー動きベクトルのみを有し、被処理マクロブロック周辺のブロックRB1〜RB3を参照ブロックとする場合(図12(b) 参照)を例に挙げる。

0091

上記カラー動きベクトル復号化装置2140は、図13に示すカラー動きベクトル符号化装置1170から出力されたカラー動きベクトルの符号化信号Emvtを復号化するものである。

0092

このカラー動きベクトル復号化装置2140は、入力端子13に入力された、被処理マクロブロックに対応するカラー動きベクトルの符号化信号Emvtを復号化してカラー動きベクトルの復号化信号Dmvtを生成するMV復号化器303と、該カラー動きベクトルの復号化信号Dmvtを一時的に記憶するMVメモリ304とを備え、被処理マクロブロックMB0に対応する動きベクトルの復号化処理の際には、該MVメモリ304からは、被処理マクロブロックに隣接する参照ブロックRB1〜RB3(図12(c) 参照)の動きベクトルMVt1〜MVt3が出力されるようになっている。

0093

また、上記カラー動きベクトル復号化装置2140は、入力端子6に入力された各マクロブロックに対応するカラー符号化モード信号Motを一時的に記憶するMV有効メモリ302と、上記MV有効メモリ302からの被処理マクロブロックに対応する符号化モード信号Mmotに基づいて、処理済の参照ブロックRB1〜RB3の動きベクトルMVt1〜MVt3から、被処理マクロブロックの動きベクトルのMV予測値Pmvtを生成するMV予測器305とを有している。

0094

さらに、上記カラー動きベクトル復号化装置2140は、入力端子13とMV復号化器303との間に設けられた前段スイッチ300と、出力端子20とMV復号化器303との間に設けられた後段スイッチ301とを有しており、該両スイッチ300,301は上記符号化モード信号Motにより開閉制御されるようになっている。

0095

また、上記形状動きベクトル復号化装置2240は、図13に示す動きベクトル符号化装置1270から出力される形状動きベクトルの符号化信号Emvsを復号化するものである。

0096

この形状動きベクトル復号化装置2240は、入力端子14に入力された、被処理マクロブロックに対応する形状動きベクトルの符号化信号Emvsを復号化して形状動きベクトルの復号化信号Dmvsを生成するMV復号化器403と、該形状動きベクトルの復号化信号Dmvsを一時的に記憶するMVメモリ404とを備え、該MVメモリ404からは、被処理マクロブロックに隣接する参照マクロブロックRMB1〜RMB3(図12(d) 参照)の動きベクトルMVs1〜MVs3が出力されるようになっている。

0097

また、上記形状動きベクトル復号化装置2240は、入力端子7に入力された、被処理マクロブロックに対応する符号化モード信号Mosを格納するMV有効メモリ402と、上記MV有効メモリ402からの被処理マクロブロックに対応する符号化モード信号Mmos及び上記MV有効メモリ302からの被処理マクロブロックに対応する符号化モード信号Mmotに基づいて、処理済の参照マクロブロックRMB1〜RMB3の動きベクトルMVs1〜MVs3及び処理済の参照ブロックRB1〜RB3の動きベクトルMVt1〜MVt3から、被処理マクロブロックMBs0の動きベクトルMVs0のMV予測値Pmvsを生成するMV予測器405とを有している。なお、このMV予測器405は、上記カラー動きベクトル復号化装置2140のMVメモリ304から供給される半画素精度のカラー動きベクトルを1画素精度のカラー動きベクトルに変換し、この変換により得られた1画素精度のカラー動きベクトルを用いて予測処理を行う構成となっている。これは、カラー復号化装置では、半画素精度の動きベクトルにより動き補償処理が行われるのに対し、形状復号化装置では、1画素精度の動きベクトルにより動き補償処理が行われるためである。

0098

さらに、上記形状動きベクトル復号化装置2240は、入力端子14とMV復号化器403との間に設けられた前段スイッチ400と、出力端子21とMV復号化器403との間に設けられた後段スイッチ401とを有しており、該両スイッチ400,401は上記符号化モード信号Mosにより開閉制御されるようになっている。

0099

次に動作について説明する。上記カラー動きベクトル復号化装置2140では、図13に示すカラー動きベクトル符号化装置1170から出力されるカラー動きベクトルの符号化信号Emvtが復号化されて、その復号化信号Dmvtが生成される。また、上記形状動きベクトル復号化装置2240では、図13に示す形状動きベクトル符号化装置1270から出力される形状動きベクトルの符号化信号Emvsが復号化されて、その復号化信号Dmvsが生成される。

0100

すなわち、カラー復号化装置2100の可変長復号化器2110にて復号化された符号化モード信号Motが、被処理マクロブロックの動きベクトルが有効なものか否かを示す動きベクトル有効信号として入力端子6に入力されると、該符号化モード信号Motにより、上記MV復号化器303の前段スイッチ300及びその後段スイッチ301が開閉制御される。具体的には、入力された被処理マクロブロックに対応するカラー動きベクトルの符号化信号が復号化する必要のあるものである場合には上記両スイッチ300及び301は導通状態となり、一方、該カラー動きベクトルの符号化信号が復号化する必要のないものである場合には上記両スイッチ300及び301は非導通状態となる。

0101

言い換えると、被処理マクロブロックが画面内符号化処理が施されたものである場合や、被処理マクロブロックが物体外に位置するマクロブロックであってその動きベクトルに対する符号化処理が不要である場合には、上記両スイッチはOFF状態になり、上記被処理マクロブロックが動き補償符号化処理(画面間符号化処理)が施されたものである場合に上記両スイッチはON状態になる。

0102

入力端子13に入力されたカラー動きベクトルの符号化信号Emvtは、MV復号化器303にて、被処理マクロブロックのカラー動きベクトルに対する予測値Pmvtを参照して復号化され、カラー動きベクトルの復号化信号Dmvtが生成される。この復号化信号Dmvtは、MVメモリ304に一時的に記憶される。

0103

上記被処理マクロブロックMB0のカラー動きベクトルMVt0に対する復号化処理では、図12(c) に示す、参照ブロックRB1〜RB3に対応する動きベクトルMVt1,MVt2,MVt3に相当する復号化信号DmvtがMV予測器305に入力される。また、上記各マクロブロックに対応する動きベクトルが有効か否かを示す符号化モード信号Motは、MV有効メモリ302に一時的に記憶される。そしてMV予測器305では、上記MV有効メモリ302からの符号化モード信号Mmotに基づいて、被処理マクロブロックに隣接して位置する参照ブロックの動きベクトルMVt1〜MVt3が符号化されているか否かの判定、即ち、上記各参照ブロックがイントラマクロブロック及び物体外マクロブロックの一方に属するものであるか、またはインターマクロブロックに属するものであるかの判定が行われる。この判定結果に応じて、被処理マクロブロックMB0に対応する動きベクトMVt0の予測値(MV予測値)Pmvtが生成される。なお、この予測値生成における具体的処理は、カラー動きベクトル符号化装置におけるものと同一である。そして上記MV予測値Pmvtが上記MV復号化器303に出力される。

0104

一方、形状復号化装置2200の可変長復号化器2210にて復号化された符号化モード信号Mosが入力端子7に入力されると、該符号化モード信号Mosにより、上記MV復号化器403の前段スイッチ400及びその後段スイッチ401が開閉制御される。具体的には、入力された被処理マクロブロックに対応する形状動きベクトルの符号化信号が復号化する必要のあるものである場合には上記両スイッチ400及び401は導通状態となり、一方、該形状動きベクトルの符号化信号が復号化する必要のないものである場合には上記両スイッチ400及び401は非導通状態となる。

0105

言い換えると、被処理マクロブロックが画面内符号化処理が施されたものである場合や、被処理マクロブロックが物体外に位置するマクロブロックであってその動きベクトルに対する符号化処理が不要である場合には、上記両スイッチ400及び401はOFF状態になり、上記被処理マクロブロックが動き補償符号化処理(画面魔符号化処理)が施されたものである場合には上記両スイッチ400及び401はON状態になる。

0106

入力端子14に入力された形状動きベクトルの符号化信号Emvsは、MV復号化器403にて、被処理マクロブロックの形状動きベクトルに対する予測値Pmvsを参照して復号化され、形状動きベクトルの復号化信号Dmvsが生成される。この復号化信号Dmvsは、MVメモリ404に一時的に記憶される。

0107

上記被処理マクロブロックMBs0の形状動きベクトルMVs0に対する符号化処理では、図12(d) に示す参照マクロブロックRMB1,RMB2,RMB3に対する動きベクトルMVs1,MVs2,MVs3に相当する復号化信号Dmvs、および図12(c) に示す参照ブロックRB1,RB2,Rb3に対する動きベクトルMVt1,MVt2,MVt3に相当する復号化信号DmvtがMV予測器405に入力される。また、上記各マクロブロックに対応する形状動きベクトルが有効か否かを示す符号化モード信号Mosは、MV有効メモリ402に一時的に記憶される。そして、MV予測器405には、該MV有効メモリ402から上記被処理マクロブロックに対応する形状動きベクトル有効信号Mosが供給され、MV有効メモリ302から上記被処理マクロブロックに対応するカラー動きベクトル有効信号Mmotが供給される。

0108

すると、上記MV予測器405では、上記有効信号Mmosに基づいて、被処理マクロブロックに隣接して位置する参照マクロブロックの形状動きベクトルMVs1〜MVs3が符号化されているか否かの判定、即ち、上記各参照マクロブロックがイントラマクロブロック及び物体外マクロブロックの一方であるか、あるいはインターマクロブロックであるかの判定が行われる。また、上記MV有効メモリ302からの符号化モード信号Mmotに基づいて、被処理マクロブロックに隣接して位置する参照ブロックの動きベクトルMVt1〜MVt3が符号化されているか否かの判定、即ち、上記各参照ブロックがイントラマクロブロック及び物体外マクロブロックの一方に属するものか、あるいはインターマクロブロックに属するものであるかの判定が行われる。そしてその該判定結果に応じて、被処理マクロブロックMBs0に対応する動きベクトルの予測値Pmvsが生成される。この予測値生成における具体的処理は動きベクトル符号化装置におけるものと同一である。そして上記MV予測値Pmvsが上記MV復号化器403に出力される。

発明が解決しようとする課題

0109

さて、MPEG4に対応する画像符号化処理は、処理対象となる画像信号をMPEG2と同様にインタレース画像信号にも拡張可能なものであり、この画像符号化処理では、カラー信号に対してはフィールド単位の動き補償処理を施すことも可能になっている。MPEG4におけるフィールド単位の動き補償処理は、MPEG2におけるものと同じである。この動き補償処理では、図12(c) に示すように、1画面(1フレーム)における各マクロブロックには、該マクロブロックを構成する、第1,第2フィールドのブロックMBf1,MBf2に対応する動きベクトルMVt01,MVt02が割当てられる。つまり、各マクロブロックに対して2つの動きベクトルが存在することとなる。

0110

但し、MPEG4の動き補償処理では、被処理マクロブロックの動きベクトルと、近傍マクロブロックの動きベクトルから予測した動きベクトル予測値との差分動きベクトルを、被処理マクロブロックの動きベクトルの情報として符号化する、MPEG2における動きベクトルの符号化よりも効率の良い動きベクトル符号化方法が導入された。

0111

図15は、従来のインタレースカラー信号u対応する動きベクトル符号化装置を説明するためのブロック図である。この動きベクトル符号化装置1170aは、フレーム単位の動きベクトルを記憶するフレームMVメモリ102aと、フィールド単位の動きベクトルを記憶するフィールドMVメモリ102bと、フレーム単位の動きベクトルをフィールド単位の動きベクトルに変換するフィールドMV変換器110aと、フィールド単位の動きベクトルをフレーム単位の動きベクトルに変換するフレームMV変換器110bとを有している。

0112

また、上記動きベクトル符号化装置1170aは、被処理マクロブロックの動きベクトルが有効か否かを示す符号化モード信号Motを格納する有効MVメモリ103と、該格納された符号化モード信号Mmotに基づいて、フレーム単位の動きベクトルの予測値をフレーム単位の、符号化済参照マクロブロックに対応する動きベクトルから予測生成するフレームMV予測器104aと、該格納された符号化モード信号Mmotに基づいて、フィールド単位の動きベクトルの予測値をフィールド単位の、符号化済参照マクロブロックの動きベクトルから予測生成するフィールドMV予測器104bとを有している。

0113

ここで、上記フレームMV予測器104aは、符号化済の参照マクロブロックの動きベクトルがフレーム単位であればフレームMVメモリ102aに格納されている動きベクトルを参照し、符号化済の参照マクロブロックの動きベクトルがフィールド単位であれば、フィールドMVメモリ102bに記憶されたフィールド単位の動きベクトルをフレームMV変換器110bで変換して得られるフレーム単位の動きベクトルを参照する構成となっている。上記フィールドMV予測器104bは、符号化済参照マクロブロックの動きベクトルがフィールド単位であれば、フィールドMVメモリ102bに格納されている動きベクトルを参照し、符号化済参照マクロブロックの動きベクトルがフレーム単位であれば、フレームMVメモリ102aに記憶されたフレーム単位の動きベクトルをフィールドMV変換器110aで変換して得られるフィールド単位の動きベクトルを参照する構成となっている。

0114

さらに、上記動きベクトル符号化装置1170aは、MV予測器104aから出力されるMV予測値を参照して、フレーム単位の動きベクトルの符号化処理を行うフレームMV符号化器105aと、MV予測器104bから出力されるMV予測値を参照して、フィールド単位の動きベクトルの符号化処理を行うフィールドMV符号化器105bとを有している。

0115

また、上記動きベクトル符号化装置1170aは、入力端子1に接続された入力ノードS1i、上記フレームMVメモリ102a及びフレームMV符号化器105aの入力に接続された第1の出力ノードS1a、上記フィールドMVメモリ102b及びフィールドMV符号化器105bの入力に接続された第2の出力ノードS1b、及び開放された第3の出力ノードS1cを有し、上記カラー符号化モード信号Motに基づいて、上記入ノードS1iを上記第1〜第3の出力ノードのいずれかに接続する前段スイッチ100を有している。また、上記動きベクトル符号化装置1170aは、出力端子10に接続された出力ノードS2o、上記フレームMV符号化器105aの出力に接続された第1の入力ノードS2a,上記フィールドMV符号化器105bの出力に接続された第2の入力ノードS2b,及び開放された第3の入力ノードS2cを有し、上記カラー符号化モード信号Motに基づいて、上記出力ノードS2oを上記第1〜第3の入力ノードのいずれかに接続する後段スイッチ101を有している。

0116

次に動作について説明する。入力端子1には、被処理マクロブロックのカラー動きベクトルMvtが入力され、入力端子2には被処理マクロブロックのカラー動きベクトル有効信号Motが入力される。すると、上記カラー動きベクトル有効信号Motに基づいて、上記前段スイッチ100及び後段スイッチ101が切り換え制御される。

0117

つまり、カラー動きベクトルMVtが符号化処理の必要のないものである場合には、上記前段スイッチ100の入力ノードS1iは開放出力ノードS1cに接続され、後段スイッチ101の出力ノードS2oはその開放入力ノードS2cに接続される。

0118

また、カラー動きベクトルMVtが符号化処理の必要なフレーム単位の動きベクトルである場合には、上記前段スイッチ100の入力ノードS1iは第1出力ノードS1aに接続され、後段スイッチ101の出力ノードS2oはその第1入力ノードS2aに接続される。

0119

このとき、上記入力端子1に入力された被処理マクロブロックの動きベクトルMVtは一時的にMVメモリ102aに記憶される。さらに、フィールドMV変換器110aでは、上記MVメモリ102aに記憶されたフレーム単位の動きベクトルがフィールド単位の動きベクトルに変換される。

0120

まず、カラー動きベクトルMVtが符号化処理の必要なフィールド単位の動きベクトルである場合には、上記前段スイッチ100の入力ノードS1iは第2出力ノードS1bに接続され、後段スイッチ101の出力ノードS2oはその第2入力ノードS2bに接続される。

0121

このとき、上記入力端子1に入力された被処理マクロブロックの動きベクトルMVtは一時的にMVメモリ102bに記憶される。さらに、フレームMV変換器110bでは、上記MVメモリ102bに記憶されたフィールド単位の動きベクトルがフレーム単位の動きベクトルに変換される。

0122

そして、被処理マクロブロックの動きベクトルMVtが、フレーム単位の動きベクトルの場合には、フレームMV予測器104aにて、フレーム単位の動きベクトルの予測値が生成され、フレームMV符号化器105aにて、被処理マクロブロックの動きベクトルMVtが上記予測値を参照して符号化され、フレーム単位動きベクトルの符号化信号Emvt1が生成される。この符号化信号Emvt1は後段スイッチ101を介して動きベクトル符号化信号Emvtとして生成される。

0123

このとき、フレームMV予測器104aでは、参照マクロブロックがフレーム動き補償処理が施されたものであれば、フレームMVメモリ102aに格納されている動きベクトルが参照され、上記参照マクロブロックがフィールド動き補償処理が施されたものであれば、フィールドMVメモリ102bに記憶されたフィールド単位の動きベクトルをフレームMV変換器110bにて変換して得られるフレーム単位の動きベクトルが参照される。

0124

一方、被処理マクロブロックの動きベクトルMVtが、フィールド単位の動きベクトルの場合には、フィールドMV予測器104bにて、フィールド単位の動きベクトルの予測値が生成され、フィールドMV符号化器105bにて、被処理マクロブロックの動きベクトルMVtが上記予測値を参照して符号化され、フィールド単位動きベクトルの符号化信号Emvt2が生成される。この符号化信号Emvt2は後段スイッチ101を介して動きベクトル符号化信号Emvtとして生成される。

0125

このとき、フィールドMV予測器104bでは、参照マクロブロックがフィールド動き補償処理が施されたものであれば、フィールドMVメモリ102bに格納されている動きベクトルが参照され、上記参照マクロブロックがフレーム動き補償処理が施されたものであれば、フレームMVメモリ102bに記憶されたフレーム単位の動きベクトルをフィールドMV変換器110aにて変換して得られるフィールド単位の動きベクトルが参照される。

0126

図16は、従来のインタレースカラー信号に対応する動きベクトル復号化装置を説明するためのブロック図である。この動きベクトル復号化装置2140aは、図15に示す動きベクトル符号化装置1170aから出力される動きベクトルの符号化信号Emvtを復号化して、動きベクトルの復号化信号Dmvtを出力するものである。

0127

この動きベクトル復号化装置2140aは、被処理マクロブロックのフレーム単位動きベクトルの符号化信号を、復号化済参照マクロブロックの動きベクトルから得られる予測動きベクトルを参照して復号化してフレーム動きベクトルの復号化信号Dmvt1を出力するフレーム復号化器303aと、被処理マクロブロックのフィールド単位動きベクトルの符号化信号を、復号化済参照マクロブロックの動きベクトルから得られる予測動きベクトルを参照して復号化してフィールド動きベクトルの復号化信号Dmvt2を出力するフィールド復号化器303bとを有している。

0128

上記動きベクトル復号化装置2140aは、フレーム動きベクトルの復号化信号Dmvt1を記憶するフレームMVメモリ304aと、フィールド動きベクトルの復号化信号Dmvt2を記憶するフィールドMVメモリ304bと、フレーム単位の動きベクトルの復号化信号をフィールド単位の動きベクトルの復号化信号に変換するフィールドMV変換器310aと、フィールド単位の動きベクトルの復号化信号をフレーム単位の動きベクトルの復号化信号に変換するフレームMV変換器310bとを有している。

0129

また、上記動きベクトル符号化装置2140aは、被処理マクロブロックの動きベクトルが有効か否かを示す符号化モード信号Motを格納する有効MVメモリ302と、該格納された符号化モード信号Mmotに基づいて、フレーム単位の動きベクトルの予測値Pmvt1をフレーム単位の復号化済動きベクトルから予測生成するフレームMV予測器305aと、該格納された符号化モード信号Motに基づいて、フィールド単位の動きベクトルの予測値Pmvt2をフィールド単位の復号化済動きベクトルから予測生成するフィールドMV予測器305bとを有している。

0130

ここで、上記フレームMV予測器305aは、復号化済参照マクロブロックの動きベクトルがフレーム単位であればフレームMVメモリ304aに格納されている動きベクトルを参照し、復号化済参照マクロブロックの動きベクトルがフィールド単位であれば、フィールドMVメモリ304bに記憶されたフィールド単位の動きベクトルをフレームMV変換器310bで変換して得られるフレーム単位の動きベクトルを参照する構成となっている。上記フィールドMV予測器305bは、復号化済参照マクロブロックの動きベクトルがフィールド単位であれば、フィールドMVメモリ304bに格納されている動きベクトルを参照し、復号化済参照マクロブロックの動きベクトルがフレーム単位であれば、フレームMVメモリ304aに記憶されたフレーム単位の動きベクトルをフィールドMV変換器310aで変換して得られるフィールド単位の動きベクトルを参照する構成となっている。

0131

また、上記動きベクトル復号化装置2140aは、入力端子13に接続された入力ノードS3i、上記フレームMV復号化器303aの入力に接続された第1の出力ノードS3a、上記フィールドMV復号化器303bの入力に接続された第2の出力ノードS3b、及び開放された第3の出力ノードS3cを有し、上記符号化モード信号Motに基づいて、上記入力ノードS3iを上記第1〜第3の出力ノードのいずれかに接続する前段スイッチ300を有している。また、上記動きベクトル復号化装置2140aは、出力端子20に接続された出力ノードS4o、上記フレームMV復号化器303aの出力に接続された第1の入力ノードS4a,上記フィールドMV復号化器303bの出力に接続された第2の入力ノードS4b,及び開放された第3の入力ノードS4cを有し、上記符号化モード信号Motに基づいて、上記出力ノードS4oを上記第1〜第3の入力ノードのいずれかに接続する後段スイッチ301を有している。

0132

次に動作について説明する。入力端子13には、被処理マクロブロックの動きベクトルの符号化信号Emvtが入力され、入力端子6には被処理マクロブロックの動きベクトル有効信号Motが入力される。すると、上記動きベクトル有効信号Motに基づいて、上記前段スイッチ300及び後段スイッチ301が切り換え制御される。

0133

また、上記動きベクトル有効信号MotがMV有効メモリ302に格納されると、MV有効メモリ302に格納された有効信号Mmotに基づいて、MV予測器305a、305bで参照するマクロブロックの動きベクトルMVt1,MVt2,MVt3が符号化されているかどうか、およびフレーム単位の動きベクトルであるかフィールド単位の動きベクトルであるかが、フレームMV予測器305aおよびフィールドMV予測器305bにて判定される。

0134

まず、上記動きベクトルの符号化信号Emvtが復号化処理の必要のないものである場合には、上記前段スイッチ300の入力ノードS3iは開放出力ノードS3cに接続され、後段スイッチ301の出力ノードS4oはその開放入力ノードS4cに接続される。

0135

また、被処理マクロブロックの動きベクトルの符号化信号Emvtが復号化処理の必要なフレーム単位の動きベクトルである場合には、上記前段スイッチ300の入力ノードS3iは第1出力ノードS3aに接続され、後段スイッチ301の出力ノードS4oはその第1入力ノードS4aに接続される。

0136

このとき、上記入力端子13に入力された被処理マクロブロックの動きベクトルの符号化信号EmvtはフレームMV復号化器303aにて被処理マクロブロックの予測動きベクトルPmvt1を参照して復号化され、動きベクトルの復号化信号Dmvt1が生成される。この復号化信号Dmvt1は、一時的にMVメモリ304aに記憶される。さらに、フィールドMV変換器310aでは、上記MVメモリ304aに記憶されたフレーム単位の動きベクトルがフィールド単位の動きベクトルに変換される。

0137

また、フレームMV予測器305aでは、被処理マクロブロックの動きベクトル有効信号に基づいて、被処理マクロブロックに隣接する復号化済参照マクロブロックの動きベクトルを参照して、被処理マクロブロックの動きベクトルの予測動きベクトルを生成するフレーム動き補償処理が行われる。このきと、参照マクロブロックがフレーム動き補償処理が施されたものであれば、フレームMVメモリ304aに格納されている動きベクトルが参照され、上記参照マクロブロックがフィールド動き補償処理が施されたものであれば、フィールドMVメモリ304bに記憶されているフィールド単位の動きベクトルをフレームMV変換器310bにて変換して得られるフレーム単位の動きベクトルが参照される。

0138

次に、被処理マクロブロックの動きベクトルの符号化信号Emvtが復号化処理の必要なフィールド単位の動きベクトルである場合には、上記前段スイッチ300の入力ノードS3iは第2出力ノードS3bに接続され、後段スイッチ301の出力ノードS4oはその第2入力ノードS4bに接続される。

0139

このとき、上記入力端子13に入力された被処理マクロブロックの動きベクトルの符号化信号EmvtはフィールドMV復号化器303bにて被処理マクロブロックの予測動きベクトルPmvt2を参照して復号化され、動きベクトルの復号化信号Dmvt2が生成される。この復号化信号Dmvt2は、一時的にMVメモリ304bに記憶される。さらに、フィールドMV変換器310bでは、上記MVメモリ304bに記憶されたフレーム単位の動きベクトルがフィールド単位の動きベクトルに変換される。

0140

また、フィールドMV予測器305bでは、被処理マクロブロックの動きベクトル有効信号に基づいて、被処理マクロブロックに隣接する復号化済参照マクロブロックの動きベクトルを参照して、被処理マクロブロックの動きベクトルの予測動きベクトルを生成するフィールド動き補償処理が行われる。このきと、参照マクロブロックがフィールド動き補償処理が施されたものであれば、フィールドMVメモリ304bに格納されている動きベクトルが参照され、上記参照マクロブロックがフレーム動き補償処理が施されたものであれば、フレームMVメモリ304aに記憶されているフィールド単位の動きベクトルをフレームMV変換器310bにて変換して得られるフレーム単位の動きベクトルが参照される。

0141

ところで、通常のTV放送で使用されるインタレースカラー信号や、インターネットデータベースに利用される非インタレースのカラー信号および形状信号については広い利用分野が考えられるが、インタレース形状信号の利用分野はあまり大きくないと考えられる。

0142

近年話題となっている次世代テレビは非インタレース方式が採用される可能性が高く、したがって実用的な観点からは、利用分野があまり大きくないインタレース形状信号の符号化処理のために符号化装置および復号化装置の構成が複雑なものとなることは好ましくない。

0143

そこで、符号化装置および復号化装置の構成が複雑なものになるの抑えつつ、インターレース形状信号の符号化及び復号化処理を可能とするには、インタレースカラー信号の符号化処理あるいは復号化処理のための回路構成と、非インタレース形状信号の符号化処理あるいは復号化処理のための回路構成とを組み合わせる方法が考えられる。

0144

ところが、インタレース形状信号に対して非インタレース符号化処理を行うならば、インタレース形状信号の動き補償処理も非インタレースに対応してフレーム単位で行われることとなる。この場合、カラー信号がインタレース信号ならば、カラー信号に関する動きベクトルはフィールド単位とフレーム単位の2種類があり、単純に従来の動きベクトル符号化処理のように、カラー動きベクトルを参照した形状動きベクトルの符号化を行うことは困難である。

0145

本発明はこのような従来の問題点を解決するためになされたものであり、非インタレース形状信号に関する動きベクトルの符号化処理及び復号化処理を、最小限の回路構成の拡張でもって、インタレースカラー信号に関する動きベクトルの符号化処理及び復号化処理と組み合わせて、良好に行うことができる画像符号化装置及び画像復号化装置、画像符号化方法及び画像復号化方法、並びに、該画像符号化方法,あるいは画像復号化方法によるインタレース形状信号に関する動きベクトルの符号化処理,あるいは復号化処理をコンピュータに行わせるための画像処理プログラムを格納したデータ記憶媒体を得ることを目的とする。

課題を解決するための手段

0146

この発明(請求項1)に係る画像処理装置は、所定の画像空間に含まれる個々の物体に対応する、該物体をカラー表示するためのカラー信号及び該物体の形状を示す形状信号を含むインタレース画像信号を受け、該画像信号に対してフレーム単位及びフィールド単位の動き補償符号化処理を含む適応的な符号化処理を、上記画像空間を区分する所定数の画素からなるマクロブロック毎に施す画像符号化装置であって、インタレースカラー信号に対してフレーム単位,あるいはフィールド単位の動き補償符号化処理を行うためのフレーム単位,あるいはフィールド単位の、被処理マクロブロックに対応するカラー動きベクトルを、その予測値に基づいて符号化するカラー動きベクトル符号化装置と、インタレース形状信号に対してフレーム単位の動き補償符号化処理を行うためのフレーム単位の、被処理マクロブロックに対応する形状動きベクトルを、処理済マクロブロックに対応するカラー動きベクトル及び形状動きベクトルから得られる予測値に基づいて符号化する形状動きベクトル符号化装置とを備え、上記カラー動きベクトル符号化装置を、処理済マクロブロックに対応するフィールド単位のカラー動きベクトルをフレーム単位のカラー動きベクトルに変換する動きベクトル変換手段を有する構成とし、上記形状動きベクトル符号化装置を、上記処理済マクロブロックに対応するカラー動きベクトルがフィールド単位の動きベクトルであるとき、上記被処理マクロブロックに対応する形状動きベクトルの予測値を、該処理済マクロブロックに対応するフレーム単位の形状動きベクトル及び上記動きベクトル変換手段から出力されるフレーム単位のカラー動きベクトルに基づいて生成する形状動きベクトル予測器を有する構成としたものである。

0147

この発明(請求項2)に係る画像符号化装置は、所定の画像空間に含まれる個々の物体に対応する、該物体をカラー表示するためのカラー信号及び該物体の形状を示す形状信号を含むインタレース画像信号を受け、該画像信号に対してフレーム単位及びフィールド単位の動き補償符号化処理を含む適応的な符号化処理を、上記画像空間を区分する所定数の画素からなるマクロブロック毎に施す画像処理装置であって、インタレースカラー信号に対してフレーム単位, あるいはフィールド単位の動き補償符号化処理を行うためのフレーム単位, あるいはフィールド単位の、被処理マクロブロックに対応するカラー動きベクトルを、その予測値に基づいて符号化するカラー動きベクトル符号化装置と、インタレース形状信号に対してフレーム単位の動き補償符号化処理を行うためのフレーム単位の、被処理マクロブロックに対応する形状動きベクトルを、その予測値に基づいて符号化する形状動きベクトル符装置とを備え、上記形状動きベクトル符号化装置を、上記処理済マクロブロックのカラー動きベクトルがフレーム単位の動きベクトルであるとき、上記被処理マクロブロックに対応する形状動きベクトルの予測値を、処理済マクロブロックに対応するカラー動きベクトル及び形状動きベクトルに基づいて生成し、上記処理済マクロブロックのカラー動きベクトルがフィールド単位の動きベクトルであるとき、上記被処理マクロブロックに対応する形状動きベクトルの予測値を、処理済マクロブロックに対応するフレーム単位の形状動きベクトルのみに基づいて生成する形状動きベクトル予測器を有する構成としたものである。

0148

この発明(請求項3)に係る画像処理装置は、所定の画像空間に含まれる個々の物体に対応する、該物体をカラー表示するためのカラー信号及び該物体の形状を示す形状信号を含むインタレースもしくは非インタレース画像信号を受け、該画像信号に対してフレーム単位及びフィールド単位の動き補償符号化処理を含む適応的な符号化処理を、上記画像空間を区分する所定数の画素からなるマクロブロック毎に施す画像符号化装置であって、カラー信号に対してフレーム単位, あるいはフィールド単位の動き補償符号化処理を行うためのフレーム単位, あるいはフィールド単位の、被処理マクロブロックに対応するカラー動きベクトルを、その予測値に基づいて符号化するカラー動きベクトル符号化装置と、非インタレース形状信号に対してフレーム単位の動き補償符号化処理を行うためのフレーム単位の、被処理マクロブロックに対応する形状動きベクトルをその予測値に基づいて符号化する形状動きトル符号化装置とを備え、上記形状動きベクトル符号化装置を、上記画像信号として非インタレース画像信号を受けたとき、上記被処理マクロブロックに対応する形状動きベクトルの予測値を、処理済マクロブロックに対応するカラー動きベクトル及び形状動きベクトルに基づいて生成し、上記画像信号としてインタレース画像信号を受けたとき、上記被処理マクロブロックに対応する形状動きベクトルの予測値を、処理済マクロブロックに対応するフレーム単位の形状動きベクトルのみに基づいて生成する形状動きベクトル予測器を有する構成としたものである。

0149

この発明(請求項4)に係る画像復号化装置は、所定の画像空間に含まれる個々の物体に対応する、該物体をカラー表示するためのカラー信号及び該物体の形状を示す形状信号を含むインタレース画像信号に対応する画像符号化信号を受け、該画像符号化信号に対してフレーム単位及びフィールド単位の動き補償復号化処理を含む適応的な復号化処理を、上記画像空間を区分する所定数の画素からなるマクロブロック毎に施す画像復号化装置であって、インタレースカラー信号に対応する符号化信号に対してフレーム単位, あるいはフィールド単位の動き補償復号化処理を行うためのフレーム単位, あるいはフィールド単位の、被処理マクロブロックに対応するカラー動きベクトルを、その予測値に基づいて復号化するカラー動きベクトル復号化装置と、インタレース形状信号に対応する符号化信号に対してフレーム単位の動き補償復号化処理を行うためのフレーム単位の、被処理マクロブロックに対応形状動きベクトルを、処理済マクロブロックに対応するカラー動きベクトル及び形状動きベクトルから得られる予測値に基づいて復号化する形状動きベクトル復号化装置とを備え、上記カラー動きベクトル復号化装置を、処理済マクロブロックに対応するフィールド単位のカラー動きベクトルをフレーム単位のカラー動きベクトルに変換する動きベクトル変換手段を有する構成とし、上記形状動きベクトル復号化装置を、上記処理済マクロブロックに対応するカラー動きベクトルがフィールド単位の動きベクトルであるとき、上記被処理マクロブロックに対応する形状動きベクトルの予測値を、該処理済マクロブロックに対応するフレーム単位の形状動きベクトル及び上記動きベクトル変換手段から出力されるフレーム単位のカラー動きベクトルに基づいて生成する形状動きベクトル予測器を有する構成としたものである。

0150

この発明(請求項5)に係る画像処理装置は、所定の画像空間に含まれる個々の物体に対応する、該物体をカラー表示するためのカラー信号及び該物体の形状を示す形状信号を含むインタレース画像信号に対応する画像符号化信号を受け、該画像符号化信号に対してフレーム単位及びフィールド単位の動き補償復号化処理を含む適応的な復号化処理を、上記画像空間を区分する所定数の画素からなるマクロブロック毎に施す画像復号化装置であって、インタレースカラー信号に対応する符号化信号に対してフレーム単位, あるいはフィールド単位の動き補償復号化処理を行うためのフレーム単位, あるいはフィールド単位の、被処理マクロブロックに対応するカラー動きベクトルを、その予測値に基づいて復号化するカラー動きベクトル復号化装置と、非インタレース形状信号に対応する符号化信号に対してフレーム単位の動き補償復号化処理を行うためのフレーム単位の、被処理マクロブロックに対応形状動きベクトルを、その予測値に基づいて復号化する形状動きベクトル復号化装置とを備え、上記形状動きベクトル復号化装置は、上記処理済マクロブロックのカラー動きベクトルがフレーム単位の動きベクトルであるとき、上記被処理マクロブロックに対応する形状動きベクトルの予測値を、処理済マクロブロックに対応するカラー動きベクトル及び形状動きベクトルに基づいて生成し、上記処理済マクロブロックのカラー動きベクトルがフィールド単位の動きベクトルであるとき、上記被処理マクロブロックに対応する形状動きベクトルの予測値を、処理済マクロブロックに対応するフレーム単位の形状動きベクトルのみに基づいて生成する形状動きベクトル予測器を有する構成としたものである。

0151

この発明(請求項6)に係る画像処理装置は、所定の画像空間に含まれる個々の物体に対応する、該物体をカラー表示するためのカラー信号及び該物体の形状を示す形状信号を含むインタレースもしくは非インタレース画像信号に対応する画像符号化信号を受け、該画像符号化信号に対して、フレーム単位及びフィールド単位の動き補償復号化処理を含む適応的な復号化処理を、上記画像空間を区分する所定数の画素からなるマクロブロック毎に施す画像処理装置であって、インタレースカラー信号の符号化信号に対してフレーム単位あるいはフィールド単位の動き補償復号化処理を行うためのフレーム単位あるいはフィールド単位の、被処理マクロブロックに対応するカラー動きベクトルを、その予測値に基づいて符号化するカラー動きベクトル復号化装置と、非インタレース形状信号の符号化信号に対してフレーム単位の動き補償復号化処理を行うためのフレーム単位の、被処理マクロブロックに対応する形状動きベクトルを、その予測値に基づいて復号化する形状動きベクトル復号化装置とを備え、上記形状動きベクトル復号化装置を、上記画像符号化信号として非インタレース画像信号に対応する画像符号化信号を受けたとき、上記被処理マクロブロックに対応する形状動きベクトルの予測値を、処理済マクロブロックに対応するカラー動きベクトル及び形状動きベクトルに基づいて生成し、上記画像符号化信号としてインタレース画像信号に対応する画像符号化信号を受けたとき、上記被処理マクロブロックに対応する形状動きベクトルの予測値を、処理済マクロブロックに対応するフレーム単位の形状動きベクトルのみに基づいて生成する形状動きベクトル予測器を有する構成としたものである。

0152

この発明(請求項7)に係る画像処理方法は、所定の画像空間に含まれる個々の物体に対応する画像信号を、フレーム単位及びフィールド単位の動き補償符号化処理を含む適応的な符号化処理により、上記画像空間を区分する所定数の画素からなるマクロブロック毎に符号化する画像符号化方法であって、上記画像信号に含まれる物体の形状を示すインタレース形状信号に対してフレーム単位の動き補償符号化処理を行うための形状動きベクトルを、その予測値に基づいて各マクロブロック毎に符号化する形状動きベクトル符号化処理と、上記画像信号に含まれる物体をカラー表示するためのインタレースカラー信号に対してフィールド単位の動き補償符号化処理を行うためのフィールド単位のカラー動きベクトルをフレーム単位のカラー動きベクトルに変換するカラー動きベクトル変換処理とを含み、該形状動きベクトル符号化処理では、被処理マクロブロックに対応する形状動きベクトルの予測値を、処理済マクロブロックに対応する形状動きベクトル及びカラー動きベクトルを参照して生成する際、上記処理済マクロブロックに対応するカラー動きベクトルがフィールド単位の動きベクトルである場合、該処理済マクロブロックのカラー動きベクトルを上記カラー動きベクトル変換処理により変換して得られたフレーム単位のカラー動きベクトルを参照するものである。

0153

この発明(請求項8)に係る画像処理方法は、所定の画像空間に含まれる個々の物体に対応するインタレース画像信号を、フレーム単位及びフィールド単位の動き補償符号化処理を含む適応的な符号化処理により、上記画像空間を区分する所定数の画素からなるマクロブロック毎に符号化する画像符号化方法であって、上記画像信号に含まれる物体をカラー表示するためのインタレースカラー信号に対してフレーム単位,あるいはフィールド単位の動き補償符号化処理を行うためのフレーム単位,あるいはフィールド単位のカラー動きベクトルを、その予測値に基づいて各マクロブロック毎に符号化するカラー動きベクトル符号化処理と、上記画像信号に含まれる物体の形状を示すインタレース形状信号に対してフレーム単位の動き補償符号化処理を行うための形状動きベクトルを、その予測値に基づいて各マクロブロック毎に符号化する形状動きベクトル符号化処理とを含み、該形状動きベクトル符号化処理では、上記処理済マクロブロックに対応するカラー動きベクトルがフレーム単位の動きベクトルであるとき、被処理マクロブロックに対応する形状動きベクトルの予測値を、処理済マクロブロックに対応する形状動きベクトル及びカラー動きベクトルを参照して生成し、上記処理済マクロブロックに対応するカラー動きベクトルがフィールド単位の動きベクトルであるとき、被処理マクロブロックに対応する形状動きベクトルの予測値を、該処理済マクロブロックに対応する形状動きベクトルのみを参照して生成するものである。

0154

この発明(請求項9)に係る画像符号化方法は、所定の画像空間に含まれる個々の物体に対応するインタレースもくしは非インタレース画像信号を、フレーム単位及びフィールド単位の動き補償符号化処理を含む適応的な符号化処理により、上記画像空間を区分する所定数の画素からなるマクロブロック毎に符号化する画像符号化方法であって、上記画像信号に含まれる物体をカラー表示するためのカラー信号に対してフレーム単位,あるいはフィールド単位の動き補償符号化処理を行うためのフレーム単位,あるいはフィールド単位のカラー動きベクトルを、その予測値に基づいて各マクロブロック毎に符号化するカラー動きベクトル符号化処理と、上記画像信号に含まれる物体の形状を示す非インタレース形状信号に対してフレーム単位の動き補償符号化処理を行うための形状動きベクトルを、その予測値に基づいて各マクロブロック毎に符号化する形状動きベクトル符号化処理とを含み、上記形状動きベクトル符号化処理では、上記画像信号が非インタレース画像信号であるとき、被処理マクロブロックに対応する形状動きベクトルの予測値を、処理済マクロブロックに対応する形状動きベクトル及びカラー動きベクトルを参照して生成し、上記画像信号がインタレース画像信号であるとき、被処理マクロブロックに対応する形状動きベクトルの予測値を、処理済マクロブロックに対応する形状動きベクトルのみを参照して生成するものである。

0155

この発明(請求項10)に係る画像復号化方法は、所定の画像空間に含まれる個々の物体に対応するインタレース画像信号に対応する画像符号化信号を、フレーム単位及びフィールド単位の動き補償復号化処理を含む適応的な復号化処理により、上記画像空間を区分する所定数の画素からなるマクロブロック毎に復号化する画像処理方法であって、上記画像信号に含まれる物体の形状を示すインタレース形状信号に対応する符号化信号に対してフレーム単位の動き補償復号化処理を行うための形状動きベクトルを、その予測値に基づいて各マクロブロック毎に復号化する形状動きベクトル復号化処理と、上記画像信号に含まれる物体をカラー表示するためのインタレースカラー信号に対応する符号化信号に対してフィールド単位の動き補償復号化処理を行うためのフィールド単位のカラー動きベクトルをフレーム単位のカラー動きベクトルに変換するカラー動きベクトル変換処理とを含み、上記形状動きベクトル復号化処理では、被処理マクロブロックに対応する形状動きベクトルの予測値を、処理済マクロブロックに対応する形状動きベクトル及びカラー動きベクトルを参照して生成する際、上記処理済マクロブロックに対応するカラー動きベクトルがフィールド単位の動きベクトルである場合、該処理済マクロブロックのカラー動きベクトルを上記カラー動きベクトル変換処理により変換して得られたフレーム単位のカラー動きベクトルを参照するものである。

0156

この発明(請求項11)に係る画像復号化方法は、所定の画像空間に含まれる個々の物体に対応するインタレース画像信号に対する画像符号化信号を、フレーム単位及びフィールド単位の動き補償復号化処理を含む適応的な復号化処理により、上記画像空間を区分する所定数の画素からなるマクロブロック毎に復号化する画像復号化方法であって、上記画像信号に含まれる物体をカラー表示するためのインタレースカラー信号に対応する符号化信号に対してフレーム単位,あるいはフィールド単位の動き補償復号化処理を行うためのフレーム単位,あるいはフィールド単位のカラー動きベクトルを、その予測値に基づいて各マクロブロック毎に復号化するカラー動きベクトル復号化処理と、上記画像信号に含まれる物体の形状を示すインタレース形状信号に対応する符号化信号に対してフレーム単位の動き補償復号化処理を行うための形状動きベクトルを、その予測値に基づいて各マクロブロック毎に復号化する形状動きベクトル復号化処理を含み、上記形状動きベクトル復号化処理では、上記処理済マクロブロックに対応するカラー動きベクトルがフレーム単位の動きベクトルであるとき、被処理マクロブロックに対応する形状動きベクトルの予測値を、処理済マクロブロックに対応する形状動きベクトル及びカラー動きベクトルを参照して生成し、上記処理済マクロブロックに対応するカラー動きベクトルがフィールド単位の動きベクトルであるとき、被処理マクロブロックに対応する形状動きベクトルの予測値を、該処理済マクロブロックに対応する形状動きベクトルのみを参照して生成するものである。

0157

この発明(請求項12)に係る画像復号化方法は、所定の画像空間に含まれる個々の物体に対応するインタレースもしくは非インタレース画像信号に対する画像符号化信号を、フレーム単位及びフィールド単位の動き補償復号化処理を含む適応的な復号化処理により、上記画像空間を区分する所定数の画素からなるマクロブロック毎に復号化する画像復号化方法であって、上記画像信号に含まれる物体をカラー表示するためのカラー信号に対応する符号化信号に対してフレーム単位,あるいはフィールド単位の動き補償復号化処理を行うためのフレーム単位,あるいはフィールド単位のカラー動きベクトルを、その予測値に基づいて各マクロブロック毎に復号化するカラー動きベクトル復号化処理と、上記画像信号に含まれる物体の形状を示す非インタレース形状信号に対応する符号化信号に対してフレーム単位の動き補償復号化処理を行うための形状動きベクトルを、その予測値に基づいて各マクロブロック毎に復号化する形状動きベクトル復号化処理を含み、上記形状動きベクトル復号化処理では、上記画像符号化信号が非インタレース画像信号に対応する画像符号化信号であるとき、被処理マクロブロックに対応する形状動きベクトルの予測値を、処理済マクロブロックに対応する形状動きベクトル及びカラー動きベクトルを参照して生成し、上記画像符号化信号がインタレース画像信号に対応する画像符号化信号であるとき、被処理マクロブロックに対応する形状動きベクトルの予測値を、処理済マクロブロックに対応する形状動きベクトルのみを参照して生成するものである。

0158

この発明(請求項13)に係るデータ記憶媒体は、画像処理プログラムを格納したデータ記憶媒体であって、上記画像処理プログラムとして、請求項7記載の画像符号化方法による符号化処理をコンピュータに行わせるための符号化プログラムを格納したものである。

0159

この発明(請求項14)に係るデータ記憶媒体は、画像処理プログラムを格納したデータ記憶媒体であって、上記画像処理プログラムとして、請求項8記載の画像符号化方法による符号化処理をコンピュータに行わせるための符号化プログラムを格納したものである。

0160

この発明(請求項15)に係るデータ記憶媒体は、画像処理プログラムを格納したデータ記憶媒体であって、上記画像処理プログラムとして、請求項9記載の画像符号化方法による符号化処理をコンピュータに行わせるための符号化プログラムを格納したものである。

0161

この発明(請求項16)に係るデータ記憶媒体は、画像処理プログラムを格納したデータ記憶媒体であって、上記画像処理プログラムとして、請求項10記載の画像復号化方法による復号化処理をコンピュータに行わせるための復号化プログラムを格納したものである。

0162

この発明(請求項17)に係るデータ記憶媒体は、画像処理プログラムを格納したデータ記憶媒体であって、上記画像処理プログラムとして、請求項11記載の画像復号化方法による復号化処理をコンピュータに行わせるための復号化プログラムを格納したものである。

0163

この発明(請求項18)に係るデータ記憶媒体は、画像処理プログラムを格納したデータ記憶媒体であって、上記画像処理プログラムとして、請求項12記載の画像復号化方法による復号化処理をコンピュータに行わせるための復号化プログラムを格納したものである。

発明を実施するための最良の形態

0164

以下、本発明の実施の形態について説明する。
(実施の形態1)図1は本発明の実施の形態1による画像符号化装置を構成する動きベクトル符号化装置を説明するためのブロック図である。この実施の形態1の画像符号化装置は、MPEG4に準拠したインタレース画像信号を符号化する画像符号化装置であり、図9に示す従来の画像符号化装置1000における、カラー信号の動きベクトル符号化装置1170及び形状信号の動きベクトル符号化装置1270に代えて、上記インタレース画像信号に対した動きベクトル符号化装置1071を備えたものである。

0165

なお、上記MPEG4に準拠したインタレース画像信号は、1画面の画像を構成する物体をカラー表示するためのインタレースカラー信号、該物体の形状を示すインタレース形状信号、及び上記物体を他の画像と合成するための合成比率を示すインタレース透過度信号を含むデータ構造となっている。従って、上記画像符号化装置は、上記インタレースカラー信号の符号化処理を行うカラー符号化装置、上記インタレース形状信号の符号化処理を行う形状符号化装置、及び上記インタレース透過度信号の符号化処理を行う透過度符号化装置を有するものである。ただし、上記透過度符号化装置は、上記カラー符号化装置と同様な構成となっており、また本発明とは直接関係するものではないため、その説明は省略する。

0166

本実施の形態1の動きベクトル符号化装置1701は、上記カラー符号化装置を構成するカラー動きベクトル符号化装置1171と、上記形状符号化装置を構成する形状動きベクトル符号化装置1271とを有している。そして、この実施の形態1では、上記カラー符号化装置は、図9に示すカラー符号化装置1100とほぼ同様な構成を有し、インタレースカラー信号に対する動き補償符号化処理の際には、フレーム単位の動き補償処理とフィールド単位の動き補償処理とを適応的に切り換える構成となっている。また、このカラー符号化装置におけるカラー動きベクトル符号化装置1171は、図15に示す従来のカラー動きベクトル符号化装置1170aと全く同一の構成となっている。

0167

なお、従来の説明ではフィールド変換器110a及びフレーム変換器110bでの具体的処理は示していないが、上記カラー動きベクトル符号化装置1171のフィールドMV変換器110aは、具体的には、フレームMVメモリ102aから、フレーム単位の動き補償処理が施されたマクロブロックに対応するフレーム単位のカラー動きベクトル(以下、フレームCMVとも言う。)を受け、該フレームを構成する各フィールドに対応するカラー動きベクトル(以下、フィールドCMVとも言う。)として、上記フレームCMVと同一の2つの動きベクトルを出力する構成となっている。また、上記カラー動きベクトル符号化装置1171のフレームMV変換器110bは、具体的には、フィールドMVメモリ102bから、フィールド単位の動き補償処理が施されたマクロブロックに対応するフィールド単位の2つのカラー動きベクトル(以下、フィールドCMV1,フィールドCMV2とも言う。)を受け、該フィールドが構成するフレームに対応するカラー動きベクトル(フレームCMV)として、上記フィールドCMV1とフィールドCMV2を平均して得られる1つの動きベクトルを出力する構成となっている。

0168

なお、上記フレームMV変換器110bの具体的な処理例としては、両フィールドの動きベクトルの平均値をフレーム単位の動きベクトルとするものに限らず、一方のフィールドに対応する半マクロブロックが物体外に位置する場合は、他方のフィールドに対応する半マクロブロック(つまり物体内に位置する半マクロブロック)の動きベクトルをそのフレームに対応するマクロブロックの動きベクトルとするようにしてもよい。この場合、各フィールドに対応する動きベクトルを平均化する処理が不要となり、しかも参照される動きベクトルは、物体外半マクロブロックの、無意味な値を有する動きベクトルの影響のないものとなるいった効果がある。特に、フレームMV変換器110bの出力が、カラー動きベクトル符号化装置1171におけるフレームMV予測器104aと形状動きベクトル符号化装置1271におけるMV予測器204とで共通に使える場合は、動きベクトル平均化のための信号処理の削減や予測精度の向上という点で効果が大きい。

0169

また、上記実施の形態1では、上記形状符号化装置は、上記形状動きベクトル符号化装置1271の構成のみ、図9に示す従来の形状符号化装置1200と異なっている。この実施の形態1の形状符号化装置は、上記インタレース画像信号に含まれるインタレース形状信号をプログレッシブ形状信号に変換し、このプログレッシブ形状信号に対して符号化処理を行う構成となっている。つまり、この形状符号化装置は、画面間符号化処理の際には常にフレーム単位の動き補償符号化処理を行う構成となっている。

0170

さらに、上記形状動きベクトル符号化装置1271は、図13に示す従来の形状動きベクトル符号化装置1270におけるMV予測器204に代えて、上記カラー動きベクトル符号化装置1171におけるフレームMVメモリ102aに記憶されているフレーム単位のカラー動きベクトル、及び該装置1171におけるフレームMV変換器110bから出力されるフレーム単位のカラー動きベクトルを参照して、被処理マクロブロックの形状動きベクトルに対する予測値を生成するMV予測器204aを備えたものである。なお、該MV予測器204aは、上記カラー動きベクトル符号化装置1171のフレームMVメモリ102aから供給される半画素精度のカラー動きベクトルを1画素精度のカラー動きベクトルに変換し、この変換により得られた1画素精度のカラー動きベクトルを用いて予測処理を行う構成となっている。これは、カラー符号化装置では、半画素精度の動きベクトルにより動き補償処理が行われるのに対し、形状符号化装置では、1画素精度の動きベクトルにより動き補償処理が行われるためである。

0171

具体的には、上記MV予測器204aでは、図12(d) に示す被処理マクロブロックMBs0の形状動きベクトルMVs0に対する予測値の生成の際には、形状信号から得られる画像空間(形状画像空間)における参照マクロブロックとして、被処理マクロブロックMBs0に隣接して位置するマクロブロックRMBs1〜RMBs3が選択される。従って、参照される形状動きベクトルとしては、これらのマクロブロックRMBs1〜RMBs3の動きベクトルMVs1〜MVs3が用いられる。一方、カラー信号から得られる画像空間(カラー画像空間)では、上記被処理マクロブロックMBs0に対応するマクロブロックMB0に隣接して位置する参照マクロブロックは、フレーム単位の動き補償処理が施されたものであるとは限らない。従って、参照マクロブロックがフレーム単位の動き補償処理が施されたものである場合は、上記フレームMVメモリ102aに格納されている動きベクトルを照し、上記参照マクロブロックがフィールド単位の動き補償処理が施されたものである場合は、上記フィールドMVメモリ102bに格納されているフィールド単位の動きベクトルをフレームMV変換器110bにて変換して得られるフレーム単位の動きベクトルを参照する。

0172

なお、カラー画像空間における各参照ブロックの動きベクトルMVt1,MVt2,MVt3が符号化されているか否か、言い換えると、参照ブロックの属する参照マクロブロックが、画面間符号化処理が施されたインターマクロブロックであるか否かの判定は、上記MV予測器204aでは、MV有効メモリ103の出力である動きベクトル有効信号Mmotに基づいて行われる。

0173

また、上記形状画像空間にて被処理マクロブロックMBs0に隣接して位置する隣接マクロブロックRMBs1〜RMBs3のうちの、イントラマクロブロックあるいは物体外マクロブロックに該当するものについては、その動きベクトルは、上記動きベクトルの予測値の生成処理では参照されない。また、同様に上記カラー画像空間にて被処理マクロブロックMB0に隣接して位置する隣接ブロックRB1〜RB3のうちの、イントラマクロブロックあるいは物体外マクロブロックに属するものについても、その動きベクトルは上記動きベクトルの予測値の生成処理では参照されない。

0174

次に作用効果について説明する。なお、本実施の形態1では、画像符号化装置の動作は、動きベクトル符号化装置1071の動作のみ、従来の画像符号化装置1000と異なっており、動きベクトル符号化装置1071の動作は、形状動きベクトル符号化装置1271の動作のみ従来の動きベクトル符号化装置と異なっている。従って、本実施の形態1の動きベクトル符号化装置1071を構成するカラー動きベクトル符号化装置1171は従来のカラー動きベクトル符号化装置1170と同一である。

0175

図13に示す従来の形状動きベクトル符号化装置1270におけるMV予測器204では、被処理マクロブロックの形状動きベクトルの予測値を生成する際には、カラー動きベクトルとして、カラー動きベクトル符号化装置1170におけるMVメモリ102に格納されている動きベクトルMVt1,MVt2,MVt3を参照している。

0176

ところが、インタレースカラー信号に対応した画素符号化装置では、画面間符号化処理として、フレーム単位の動きベクトル補償符号化処理とフィールド単位の動き補償符号化処理とが適応的に切り換えられて行われるため、各マクロブロックに対応する動きベクトルとして、フィールド単位の動きベクトルとフレーム単位の動きベクトルの2種類の動きベクトルが生成されることとなる。

0177

この場合には、従来の形状動きベクトル符号化装置1270におけるMV予測器204で参照される形状動きベクトルがフレーム単位の動きベクトルであるため、該MV予測器204では、フィールド単位のカラー動きベクトルを単純に参照することはできない。

0178

これに対し、本実施の形態1の形状動きベクトル符号化装置1271におけるMV予測器204aでは、形状画像空間における被処理マクロブロックの形状動きベクトルの予測値を生成する際には、カラー画像空間における参照マクロブロックがフレーム単位の動き補償処理が施されたものである場合、上記カラー動きベクトル符号化装置1171におけるフレームMVメモリ102aに格納されている対応する動きベクトルが参照される。一方、カラー画像空間における参照マクロブロックがフィールド単位の動き補償処理が施されたものである場合、MV予測器204aでは、上記カラー動き補償符号化装置1171におけるフィールドMVメモリ102bに格納されている対応する動きベクトルをフレームMV変換器110bにて変換されて得られるフレーム単位の動きベクトルが参照される。

0179

従って、形状動きベクトル符号化装置1271のMV予測器204aでは、参照マクロブロックがフィールド単位及びフレームのいずれの動き補償処理が施されたものであっても、参照されるカラー動きベクトルは常にフレーム単位の動きベクトルとなる。

0180

この結果、インタレース画像信号に対して動き補償符号化処理を行う画像符号化装置における動きベクトル符号化装置1171では、従来の非インタレース画像信号に対して動き補償符号化処理を行う画像符号化装置における動きベクトル符号化装置と同様に、カラー画像空間のマクロブロックに対応するカラー動きベクトルを参照して、形状画像空間の被処理マクロブロックに対応する形状動きベクトルの予測値を生成することができる。

0181

このように本実施の形態1では、物体に対応するカラー信号及び形状信号を含むインタレース画像信号に対する動き補償符号化処理として、フレーム単位の動き補償符号化処理とフィールド単位の動き補償符号化処理とを適応的に切り換えて行う画像符号化装置において、形状動きベクトルの予測値をカラー動きベクトルを参照して生成するMV予測器204aを備え、該MV予測器204aでは、参照すべきカラー動きベクトルがフィールド単位の動き補償符号化処理に対応するものである場合は該フィールド単位のカラー動きベクトルをフレーム単位の動きベクトルに変換するフレームMV変換器110bの出力を参照するようにしたので、常にフレーム単位の動き補償符号化処理が行われる形状符号化装置における形状動きベクトルの予測処理においても、インタレースカラー信号に対応するカラー動きベクトルを参照することができる。

0182

このため、形状動きベクトル符号化装置を、カラー動きベクトル符号化装置と同様な構成、つまりフレーム単位の動きベクトルとフィールド単位の動きベクトルのそれぞれに対応する動きベクトル符号化部を有する構成とすることなく、従来の形状動きベクトル符号化装置におけるMV予測器の構成を若干変更することにより、物体に対応するインタレース画像信号の動き補償符号化処理を行う画像符号化装置として、形状動きベクトルの符号化の際にカラー動きベクトルを参照して形状動きベクトルの予測値を生成する形状動きベクトル符号化装置の回路構成が簡単なものを実現することができる。

0183

なお、上記実施の形態1では、形状動きベクトルの予測値を生成する際に参照されるカラー画像空間における参照マクロブロックが1つの動きベクトルを有する場合と、各ブロックに対応する4つの動きベクトルを有する場合とを区別していないが、これは上記いずれの場合も、参照される動きベクトルとしては同じものが用いられるためである。

0184

つまり、上記参照マクロブロックが1つの動きベクトルを有する場合は、該参照マクロブロックを構成する4つのブロックに対応する動きベクトルがすべて等しい場合であると考えられるので、結局、参照される動きベクトルは、上記いずれの場合も、形状画像空間における被処理マクロブロックMBs0(図12(d)参照)に対しては、カラー画像空間の被処理マクロブロックMB0(図12(c)参照)の周辺に位置するブロックRB1〜RB3の動きベクトルMVt1〜MVt3が用いられる。

0185

(実施の形態2)図2は本発明の実施の形態2に係る画像復号化装置を構成する動きベクトル符号化装置を説明するためのブロック図である。この実施の形態2の画像復号化装置は、MPEG4に準拠したインタレース画像信号を符号化して得られる符号化信号を復号化する画像復号化装置であり、図10に示す従来の画像復号化装置2000における、カラー信号の動きベクトル復号化装置2140及び形状信号の動きベクトル復号化装置2240に代えて、上記インタレース画像信号に対した動きベクトル復号化装置2041を備えたものである。なお、上記画像復号化装置は、上記インタレースカラー信号に対応する復号化処理を行うカラー復号化装置、上記インタレース形状信号に対応する復号化処理を行う形状復号化装置、及び上記インタレース透過度信号に対応する復号化処理を行う透過度復号化装置を有するものであるが、上記透過度復号化装置は、上記カラー復号化装置と同様な構成となっており、また本発明とは直接関係するものではないため、その説明は省略する。

0186

本実施の形態2の動きベクトル復号化装置2041は、上記カラー復号化装置を構成するカラー動きベクトル復号化装置2141と、上記形状復号化装置を構成する形状動きベクトル復号化装置2241とを有している。

0187

そして、この実施の形態2では、上記カラー復号化装置は、図10に示すカラー復号化装置2100とほぼ同様な構成を有し、インタレースカラー信号を符号化して得られる符号化信号に対する動き補償復号化処理の際には、フレーム単位の動き補償処理とフィールド単位の動き補償処理とを適応的に切り換える構成となっている。また、このカラー復号化装置におけるカラー動きベクトル復号化装置2141は、図16に示す従来のカラー動きベクトル復号化装置2140aと全く同一の構成となっている。

0188

なお、従来の説明ではフィールド変換器310a及びフレーム変換器310bでの具体的処理は示していないが、上記カラー動きベクトル復号化装置2141のフィールドMV変換器310aは、具体的には、フレームMVメモリ304aから、フレーム単位の動き補償処理が施されたマクロブロックに対応するフレーム単位のカラー動きベクトル(フレームCMV)を受け、該フレームを構成する各フィールドに対応するカラー動きベクトル(フィールドCMV)として、上記フレームCMVと同一の2つの動きベクトルを出力する構成となっている。また、上記カラー動きベクトル復号化装置2141のフレームMV変換器310bは、具体的には、フィールドMVメモリ304bから、フィールド単位の動き補償処理が施されたマクロブロックに対応するフィールド単位の2つのカラー動きベクトル(フィールドCMV1,フィールドCMV2)を受け、2 つのフィールドにより構成されるフレーム対応するカラー動きベクトル(フレームCMV)として、上記フィールドCMV1とフィールドCMV2を平均して得られる1つの動きベクトルを出力する構成となっている。

0189

また、上記フレームMV変換器310bの具体的な処理例としては、両フィールドの動きベクトルの平均値をフレーム単位の動きベクトルとするものに限らず、一方のフィールドに対応する半マクロブロックが物体外に位置する場合は、他方のフィールドに対応する半マクロブロック(つまり物体内に位置する半マクロブロック)の動きベクトルをそのフレームに対応するマクロブロックの動きベクトルとするようにしてもよい。この場合、各フィールドに対応する動きベクトルを平均化する処理が不要となり、しかも参照される動きベクトルは、物体外半マクロブロックの、無意味な値を有する動きベクトルの影響のないものとなるいった効果がある。特に、フレームMV変換器310bの出力が、カラー動きベクトル復号化装置2141におけるフレームMV予測器305aと、形状動きベクトル復号化装置2241におけるMV予測器405aとで共通に使える場合は、動きベクトル平均化のための信号処理の削減や予測精度の向上という点で効果が大きい。

0190

また、上記実施の形態2では、上記形状復号化装置は、上記形状動きベクトル復号化装置2241の構成のみ、図10に示す形状復号化装置2200と異なっている。この実施の形態2の形状復号化装置は、上記実施の形態1の形状符号化装置によりプログレッシブ形状信号を符号化して得られる形状符号化信号に対して復号化処理を行うものである。つまり、この形状復号化装置は、画面間復号化処理の際には常にフレーム単位の動き補償復号化処理を行う構成となっている。なお、この復号化処理により得られたプログレッシブ形状信号は、インタレース形状信号に変換されて画像表示に利用される。

0191

さらに、上記形状動きベクトル復号化装置2141は、図14に示す従来の動きベクトル復号化装置を構成する形状動きベクトル復号化装置2240におけるMV予測器405に代えて、上記カラー動きベクトル復号化装置2141におけるフレームMVメモリ304aに記憶されているフレーム単位のカラー動きベクトル、及び該装置2141におけるフレームMV変換器310bから出力されるフレーム単位のカラー動きベクトルの一方を適応的に選択し、選択したカラー動きベクトルを参照して被処理マクロブロックの形状動きベクトルに対する予測値を生成するMV予測器405aを備えたものである。

0192

具体的には、上記MV予測器405aは、図12(d) に示す被処理マクロブロックMBs0の形状動きベクトルMVs0に対する予測値の生成の際には、形状信号から得られる画像空間(形状画像空間)では、参照マクロブロックとして、被処理マクロブロックMBs0に隣接して位置するマクロブロックRMBs1〜RMBs3が選択される。従って、参照される形状動きベクトルとしては、これらのマクロブロックRMBs1〜RMBs3の動きベクトルMVs1〜MVs3が用いられる。一方、カラー信号から得られる画像空間(カラー画像空間)では、上記被処理マクロブロックMBs0に対応するマクロブロックMB0に隣接して位置する参照マクロブロックは、フレーム単位の動き補償処理が施されたものであるとは限らない。従って、参照マクロブロックがフレーム単位の動き補償処理が施されたものである場合は、上記フレームMVメモリ304aに格納されている動きベクトルを参照、上記参照マクロブロックがフィールド単位の動き補償処理が施されたものである場合は、上記フィールドMVメモリ304bに格納されているフィールド単位の動きベクトルをフレームMV変換器310bにて変換して得られるフレーム単位の動きベクトルを参照する。

0193

なお、カラー画像空間における各参照ブロックの動きベクトルMVt1,MVt2,MVt3が符号化されているか否か、言い換えると、参照ブロックの属する参照マクロブロックがインターマクロブロックであるか否かの判定は、MV有効メモリ402の出力である動きベクトル有効信号Mmotに基づいて行われる。

0194

また、上記形状画像空間にて被処理マクロブロックMBs0に隣接して位置する隣接マクロブロックRMBs1〜RMBs3のうちの、イントラマクロブロックあるいは物体外マクロブロックに該当するものについては、その動きベクトルは、上記動きベクトルの予測値の生成処理では参照されない。また、同様に上記カラー画像空間にて被処理マクロブロックMB0に隣接して位置する隣接ブロックRB1〜RB3のうちの、イントラマクロブロックあるいは物体外マクロブロックに属するものについても、その動きベクトルは上記動きベクトルの予測値の生成処理では参照されない。

0195

次に作用効果について説明する。なお、本実施の形態2では、画像復号化装置の動作は、動きベクトル復号化装置2041の動作のみ、従来の画像復号化装置2000と異なっており、動きベクトル復号化装置2041の動作は、形状動きベクトル符号化装置2241の動作のみ従来の動きベクトル復号化装置と異なっている。従って、本実施の形態2の動きベクトル復号化装置2041を構成するカラー動きベクトル復号化装置2141は従来のカラー動きベクトル復号化装置2140と同一である。

0196

図14に示す従来の形状動きベクトル復号化装置2240におけるMV予測器405では、被処理マクロブロックの形状動きベクトルの予測値を生成する際には、カラー動きベクトルとして、カラー動きベクトル復号化装置2140におけるMVメモリ304に格納されている動きベクトルMVt1,MVt2,MVt3を参照している。

0197

ところが、インタレースカラー信号に対応した画素復号化装置では、画面間復号化処理として、フレーム単位の動きベクトル補償復号化処理とフィールド単位の動き補償復号化処理とが適応的に切り換えられて行われるため、各マクロブロックに対応する動きベクトルとして、フィールド単位の動きベクトルとフレーム単位の動きベクトルの2種類の動きベクトルが生成されることとなる。

0198

この場合には、従来の形状動きベクトル復号化装置2240におけるMV予測器405で参照される形状動きベクトルがフレーム単位の動きベクトルであるため、該MV予測器405では、フィールド単位のカラー動きベクトルを単純に参照することはできない。

0199

これに対し、本実施の形態2の形状動きベクトル復号化装置2241におけるMV予測器405aでは、形状画像空間における被処理マクロブロックの形状動きベクトルの予測値を生成する際には、カラー画像空間における参照マクロブロックがフレーム単位の動き補償処理が施されたものである場合、上記カラー動きベクトル復号化装置2141におけるフレームMVメモリ304aに格納されている対応する動きベクトルが参照される。一方、カラー画像空間における参照マクロブロックがフィールド単位の動き補償処理が施されたものである場合、MV予測器405aでは、上記カラー動き補償符号化装置2141のフィールドMVメモリ304bにおける対応するフィールド単位の動きベクトルをフレームMV変換器310bにて変換して得られるフレーム単位の動きベクトルが参照される。

0200

従って、形状動きベクトル復号化装置2241のMV予測器405aでは、参照マクロブロックがフィールド単位及びフレームのいずれの動き補償処理が施されたものであっても、参照されるカラー動きベクトルは常にフレーム単位の動きベクトルとなる。

0201

この結果、インタレース画像信号に対して動き補償復号化処理を行う画像復号化装置における動きベクトル復号化装置2141では、従来の非インタレース画像信号の符号化信号に対して動き補償復号化処理を行う画像復号化装置における動きベクトル復号化装置と同様に、カラー画像空間のマクロブロックに対応するカラー動きベクトルを参照して、形状画像空間の被処理マクロブロックに対応する形状動きベクトルの予測値を生成することができる。

0202

このように本実施の形態2では、物体に対応するカラー信号及び形状信号を含むインタレース画像信号の符号化信号に対する動き補償復号化処理として、フレーム単位の動き補償復号化処理とフィールド単位の動き補償復号化処理とを適応的に切り換えて行う画像復号化装置において、形状動きベクトルの予測値をカラー動きベクトルを参照して生成するMV予測器405aを備え、該MV予測器405aでは、参照すべきカラー動きベクトルがフィールド単位の動き補償復号化処理に対応するものである場合は該フィールド単位のカラー動きベクトルをフレーム単位の動きベクトルに変換するフレームMV変換器310bの出力を参照するようにしたので、常にフレーム単位の動き補償復号化処理が行われる形状復号化装置における形状動きベクトルの予測処理においても、インタレースカラー信号に対応するカラー動きベクトルを参照することができる。

0203

このため、形状動きベクトル復号化装置を、カラー動きベクトル復号化装置と同様、フレーム単位の動きベクトルとフィールド単位の動きベクトルのそれぞれに対応する動きベクトル復号化部を有する構成とすることなく、従来の形状動きベクトル復号化装置におけるMV予測器の構成を若干変更することにより、物体に対応するインタレース画像信号の符号化信号に対する動き補償復号化処理を行う画像復号化装置として、形状動きベクトルの符号化信号の復号化の際にカラー動きベクトルを参照して形状動きベクトルの予測値を生成する形状動きベクトル復号化装置の回路構成が簡単なものを実現することができる。

0204

なお、上記実施の形態2では、形状動きベクトルの予測値を生成する際に参照されるカラー画像空間における参照マクロブロックが1つの動きベクトルを有する場合と、各ブロックに対応する4つの動きベクトルを有する場合とを区別していないが、これは上記いずれの場合も、参照される動きベクトルとしては同じものが用いられるためである。

0205

つまり、上記参照マクロブロックが1つの動きベクトルを有する場合は、該参照マクロブロックを構成する4つのブロックに対応する動きベクトルがすべて等しい場合であると考えられるので、結局、参照される動きベクトルは、上記いずれの場合も、形状画像空間における被処理マクロブロックMBs0(図12(d)参照)に対しては、カラー画像空間の被処理マクロブロックMB0(図12(c)参照)の周辺に位置するブロックRB1〜RB3の動きベクトルMVt1〜MVt3が用いられる。

0206

(実施の形態3)図3は本発明の実施の形態3による画像符号化装置を構成する動きベクトル符号化装置を説明するためのブロック図である。この実施の形態3の動きベクトル符号化装置1072は、実施の形態1の動きベクトル符号化装置1071と同様、上記カラー符号化装置を構成するカラー動きベクトル符号化装置1172と、上記形状符号化装置を構成する形状動きベクトル符号化装置1272とを有している。

0207

ここで、上記カラー動きベクトル符号化装置1172は、上記実施の形態1のカラー動きベクトル符号化装置1171と全く同一構成となっている。また、上記形状動きベクトル符号化装置1272は、上記実施の形態1の形状動きベクトル符号化装置1271におけるMV予測器204aに代えて、カラー動きベクトル符号化装置1172におけるフレームMVメモリ102aの出力(つまり、フレーム単位の動きベクトル)のみを参照して、被処理マクロブロックの形状動きベクトルの予測値を生成するMV予測器204bを備えたものである。従って、本実施の形態2の形状動きベクトル符号化装置1272は、上記MV予測器204b以外の構成は上記実施の形態1の形状動きベクトル符号化装置1271と全く同一となっている。

0208

具体的には、上記MV予測器204bでは、図12(d) に示す被処理マクロブロックMBs0の形状動きベクトルMVs0に対する予測値の生成の際には、形状信号から得られる画像空間(形状画像空間)における参照マクロブロックとして、被処理マクロブロックMBs0に隣接して位置するマクロブロックRMBs1〜RMBs3が選択される。従って、参照される形状動きベクトルとしては、これらのマクロブロックRMBs1〜RMBs3の動きベクトルMVs1〜MVs3が用いられる。一方、カラー信号から得られる画像空間(カラー画像空間)では、上記被処理マクロブロックMBs0に対応するマクロブロックMB0に隣接して位置する参照マクロブロックは、フレーム単位の動き補償処理が施されたものであるとは限らない。従って、参照マクロブロックがフレーム単位の動き補償処理が施されたものである場合は、上記フレームMVメモリ102aに格納されている動きベクトルを照し、上記参照マクロブロックがフィールド単位の動き補償処理が施されたものである場合は、カラー動きベクトルは参照しない。なお、上記MV予測器204bのその他の構成は上記実施の形態1のMV予測器204aと同一である。

0209

次に作用効果について説明する。本実施の形態3の動きベクトル符号化装置1072では、実施の形態1の動きベクトル符号化装置1071とは異なり、カラー動きベクトル符号化装置1172のフレームMV変換器110bの出力(フレーム単位の動きベクトル)は形状動きベクトル符号化装置1272へは送信されない。

0210

また、上記形状動きベクトル符号化装置1272では、形状画像空間における被処理マクロブロックの形状動きベクトルの予測値を生成する際には、カラー画像空間における参照マクロブロックがフレーム単位の動き補償処理が施されたものである場合、上記カラー動きベクトル符号化装置1171におけるフレームMVメモリ102aに格納されている対応する動きベクトルがMV予測器204bにて参照される。一方、カラー画像空間における参照マクロブロックがフィールド単位の動き補償処理が施されたものである場合、MV予測器204bでは、上記実施の形態1のMV予測器204aとは異なり、上記カラー動き補償符号化装置1171におけるフレームMV変換器110bの出力(フレーム単位の動きベクトル)は参照されない。

0211

このため、本実施の形態3の動きベクトル符号化装置1072では、フィールド単位のカラー動きベクトルを参照しないことから、実施の形態1の動きベクトル符号化装置1071(図1参照)に比べて、被処理マクロブロックの形状動きベクトルに対する予測値の予測精度が劣化する可能性がある。

0212

また、被処理マクロブロックがフレーム単位の動き補償処理を施されたものであり、かつ参照マクロブロックがフィールド単位の動き補償処理を施されたものである場合については、カラー動きベクトル符号化装置1172におけるフレームMV変換器110bの出力が、カラー動きベクトル符号化装置1172のフレームMV予測器104aにて参照されることとなるため、実施の形態1の動きベクトル符号化装置の構成が適していると言える。

0213

つまり、上記の場合には、カラー動きベクトル符号化装置1172におけるフレームMV予測器104aにて、フィールド単位の動きベクトルを参照する必要があるため、フレームMV変換器110bでは、フィールド単位の動きベクトルをフレーム単位に変換する処理が行われる。従って、フレームMV変換器110bの出力(フレーム単位の動きベクトル)を、カラー動きベクトル符号化装置1172のフレームMV予測器104aと形状動きベクトル符号化装置1272のMV予測器204bの両方に出力するもの、その一方のフレームMV予測器104aへ供給するのも、フレームMV変換器110bでの処理量は同じである。従って、上記のような場合に対しては、形状動きベクトルの予測値の予測精度という観点からすると、実施の形態1の動きベクトル符号化装置の構成が適していると言える。

0214

しかしながら、例えば、カラー画像空間における被処理マクロブロック及び参照マクロブロックがともにフィールド単位の動き補償処理が施されたものである場合には、カラー動きベクトル符号化装置1172では、フィールドMVメモリ304bの出力を参照することとなる。このため、形状動きベクトルの予測処理の際にフィールド単位の動き補償処理が施された参照マクロブロックのカラー動きベクトルを参照する実施の形態1の動きベクトル符号化装置1071の構成では、形状動きベクトルの予測処理のためだけに、フレームMV変換器110bにてフィールド単位のカラー動きベクトルをフレーム単位のカラー動きベクトルに変換する処理を行わなければならないこととなる。

0215

これに対して、本実施の形態3の動きベクトル符号化装置1172では、形状動きベクトル符号化装置1172のフレームMVメモリ102aの出力のみが形状動きベクトル符号化装置1272のMV予測器204bに供給されるようになっている。

0216

このような構成では、例えば、カラー画像空間における被処理マクロブロック及び参照マクロブロックがともにフィールド単位の動き補償処理が施されたものである場合には、形状動きベクトル符号化装置1272では、形状動きベクトルの予測処理の際には、参照マクロブロックのカラー動きベクトルが参照されることはなく、この結果、カラー動きベクトル符号化装置1172のフレームMV変換器110bでは、フィールド単位のカラー動きベクトルをフレーム単位のカラー動きベクトルに変換する処理を省略することができる。

0217

(実施の形態4)図4は本発明の実施の形態4による画像復号化装置を構成する動きベクトル復号化装置を説明するためのブロック図である。この実施の形態4の動きベクトル復号化装置2042は、図3に示す実施の形態3の動きベクトル符号化装置1072に対応するものである。この動きベクトル復号化装置2042は、上記動きベクトル符号化装置1072におけるカラー動きベクトル符号化装置1172から出力されるカラー動きベクトルの符号化信号Emvtを復号化してその復号化信号Dmvtを出力するカラー動きベクトル復号化装置2142と、上記動きベクトル符号化装置1072における形状動きベクトル符号化装置1272から出力される形状動きベクトルの符号化信号Emvsを復号化してその復号化信号Dmvsを出力する形状動きベクトル復号化装置2242とを有している。

0218

ここで、上記カラー動きベクトル復号化装置2142は、上記実施の形態2のカラー動きベクトル復号化装置2141と全く同一構成となっている。また、上記形状動きベクトル復号化装置2142は、上記実施の形態2の形状動きベクトル復号化装置2142におけるMV予測器405aに代えて、カラー動きベクトル復号化装置2142におけるフレームMVメモリ304aの出力(つまり、フレーム単位の動きベクトル)のみを参照して、被処理マクロブロックの形状動きベクトルの予測値を生成するMV予測器405bを備えたものである。従って、本実施の形態4の形状動きベクトル復号化装置2142は、上記MV予測器405b以外の構成は上記実施の形態2の形状動きベクトル復号化装置2141と全く同一となっている。

0219

具体的には、上記MV予測器405bは、図12(d) に示す被処理マクロブロックMBs0の形状動きベクトルMVs0に対する予測値の生成の際には、形状信号から得られる画像空間(形状画像空間)では、参照マクロブロックとして、被処理マクロブロックMBs0に隣接して位置するマクロブロックRMBs1〜RMBs3が選択される。従って、参照される形状動きベクトルとしては、これらのマクロブロックRMBs1〜RMBs3の動きベクトルMVs1〜MVs3が用いられる。一方、カラー信号から得られる画像空間(カラー画像空間)では、上記被処理マクロブロックMBs0に対応するマクロブロックMB0に隣接して位置する参照マクロブロックは、フレーム単位の動き補償処理が施されたものであるとは限らない。従って、参照マクロブロックがフレーム単位の動き補償処理が施されたものである場合は、上記フレームMVメモリ304aに格納されている動きベクトルを参照、上記参照マクロブロックがフィールド単位の動き補償処理が施されたものである場合は、カラー動きベクトルを参照しない。なお、上記MV予測器405bのその他の構成は、上記実施の形態2のMV予測器405aの構成と同一である。

0220

次に作用効果について説明する。本実施の形態4の動きベクトル符号化装置2042では、実施の形態2の動きベクトル復号化装置2041とは異なり、カラー動きベクトル復号化装置2142のフレームMV変換器310bの出力(フレーム単位の動きベクトル)は形状動きベクトル復号化装置2242へは送信されない。

0221

また、上記形状動きベクトル復号化装置2242では、形状画像空間における被処理マクロブロックの形状動きベクトルの予測値を生成する際には、カラー画像空間における参照マクロブロックがフレーム単位の動き補償処理が施されたものである場合、上記カラー動きベクトル復号化装置2141におけるフレームMVメモリ304aに格納されている対応する動きベクトルがMV予測器405bにて参照される。一方、カラー画像空間における参照マクロブロックがフィールド単位の動き補償処理が施されたものである場合、MV予測器405bでは、上記カラー動き補償符号化装置2142のフレーム変換器310bの出力(フレーム単位の動きベクトル)は参照されない。

0222

このため、本実施の形態4の動きベクトル符号化装置2042では、フィールド単位のカラー動きベクトルを参照しないことから、実施の形態2の動きベクトル復号化装置2041(図3参照)に比べて、被処理マクロブロックの形状動きベクトルに対する予測値の予測精度が劣化する可能性がある。

0223

また、被処理マクロブロックがフレーム単位の動き補償処理を施されたものであり、かつ参照マクロブロックがフィールド単位の動き補償処理を施されたものである場合については、カラー動きベクトル復号化装置2142におけるフレームMV変換器310bの出力が、カラー動きベクトル復号化装置2142のフレームMV予測器305aにて参照されることとなるため、実施の形態2の動きベクトル符号化装置の構成が適していると言える。

0224

つまり、上記の場合には、カラー動きベクトル復号化装置2142におけるフレームMV予測器304aにて、フィールド単位の動きベクトルを参照する必要があるため、フレームMV変換器310bでは、フィールド単位の動きベクトルをフレーム単位に変換する処理が行われる。従って、フレームMV変換器310bの出力(フレーム単位の動きベクトル)を、カラー動きベクトル復号化装置2142のフレームMV予測器305aと形状動きベクトル復号化装置2242のMV予測器405bの両方に出力するもの、その一方のフレームMV予測器305aへ供給するのも、フレームMV変換器310bでの処理量は同じである。従って、上記のような場合に対しては、形状動きベクトルの予測値の予測精度という観点からすると、実施の形態2の動きベクトル復号化装置の構成が適していると言える。

0225

しかしながら、例えば、カラー画像空間における被処理マクロブロック及び参照マクロブロックがともにフィールド単位の動き補償処理が施されたものである場合には、カラー動きベクトル復号化装置2142では、フィールドMVメモリ304bの出力を参照することとなる。このため、形状動きベクトルの予測処理の際にフィールド単位の動き補償処理が施された参照マクロブロックのカラー動きベクトルを参照する実施の形態2の動きベクトル復号化装置2041の構成では、形状動きベクトルの予測処理のためだけに、フレームMV変換器310bにてフィールド単位のカラー動きベクトルをフレーム単位のカラー動きベクトルに変換する処理を行わなければならないこととなる。

0226

これに対して、本実施の形態4の動きベクトル復号化装置2142では、形状動きベクトル符号化装置2142のフレームMVメモリ304aの出力のみが形状動きベクトル符号化装置2242のMV予測器405bに供給されるようになっている。

0227

このような構成では、例えば、カラー画像空間における被処理マクロブロック及び参照マクロブロックがともにフィールド単位の動き補償処理が施されたものである場合には、形状動きベクトル符号化装置2242では、形状動きベクトルの予測処理の際には、参照マクロブロックの動きベクトルが参照されることはなく、この結果、カラー動きベクトル符号化装置2142のフレームMV変換器310bでは、フィールド単位のカラー動きベクトルをフレーム単位のカラー動きベクトルに変換する処理を省略することができる。

0228

(実施の形態5)図5は本発明の実施の形態5による画像符号化装置を構成する動きベクトル符号化装置を説明するためのブロック図である。この実施の形態5の動きベクトル符号化装置1073は、実施の形態3の動きベクトル符号化装置1073と同様、上記カラー符号化装置を構成するカラー動きベクトル符号化装置1173と、上記形状符号化装置を構成する形状動きベクトル符号化装置1273とを有している。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ