図面 (/)

技術 画像情報変換装置及び方法

出願人 ソニー株式会社
発明者 佐藤数史高橋邦明鈴木輝彦矢ケ崎陽一
出願日 2000年5月30日 (20年7ヶ月経過) 出願番号 2000-160974
公開日 2001年12月14日 (19年0ヶ月経過) 公開番号 2001-346207
状態 特許登録済
技術分野 TV信号の圧縮,符号化方式 テレビジョン方式 TV信号の圧縮,符号化方式
主要キーワード 理論解析 指数演算 誤差分散 媒介変数 コンシューマー 汎用画像 画枠サイズ 各仮想バッファ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2001年12月14日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (6)

課題

安定した符号量制御を行う。

解決手段

飛び越し走査MPEG2画像圧縮情報ビットストリーム)を順次走査のMPEG4画像圧縮情報(ビットストリーム)に変換するものであって、MPEG2画像情報復号化部(ビットストリーム)8はMPEG2画像圧縮情報(ビットストリーム)から情報を抽出し、コンプレキシティ算出部15はコンプレキシティを算出し、MPEG4画像情報符号化部(I/P−VOP)はコンプレキシティに基づいて算出した目標符号量に応じて符号化を行う。

概要

背景

近年、画像情報ディジタルとして取り扱い、効率の高い情報の伝送蓄積を目的とし、画像情報特有冗長性を利用して、離散コサイン変換等の直交変換動き補償により圧縮するMPEGなどの画像情報圧縮方式が提供されている。そして、このような画像情報圧縮方法準拠した装置は、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。

特に、MPEG2(ISO/IEC13818−2)は、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像網羅する、汎用画像符号化方式として定義されている。

すなわち、MPEG2符号化圧縮方式によれば、例えば、720×480画素を持つ標準解像度の飛び越し走査画像に4〜8Mbpsの符号量(ビットレート)を割り当て、1920×1088画素を持つ高解像度の飛び越し走査画像に対して18〜22Mbpsの符号量(ビットレート)を割り当てることにより、高い圧縮率と良好な画質の実現が可能となる。

このようなことから、MPEG2は、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに今後とも用いられるものと予想される。しかし、MPEG2は、主として放送用適合する高画質符号化を対象としており、例えばMPEG1より低い符号量(ビットレート)、つまりより高い圧縮率の符号化方式には対応していなかった。

一方で、近年の携帯端末の普及により、今後とも高い圧縮率の符号化方式のニーズは高まると思われ、これに対応して、高い圧縮率を有するMPEG4符号化方式の標準化が行われている。この画像符号化方式に関しては、1998年12月にISO/IEC14496−2として国際標準規格承認された。

ところで、ディジタル放送用に一度符号化されたMPEG2画像圧縮情報ビットストリーム)を、携帯端末上等で処理するのにより適した、より低い符号量(ビットレート)の画像圧縮情報(ビットストリーム)に変換したいというニーズがある。

かかる目的を達成するために、“Field-to-Frame Transcoding with Spatialand Temporal Downsampling”(Susie L Wee,John G.Apostolopoulos, and NickFeamster, ICIP 99、以下これを文献1と呼ぶ)において画像情報変換装置トランスコーダ)が提供されている。

この文献1において提供された画像情報変換装置(トランスコーダ)は、図4に示すように、ピクチャタイプ判別部1と、MPEG2画像情報復号化部(I/Pピクチャ)2と、間引き部3と、MPEG4画像情報符号化部(I/P−VOP)4と、動きベクトル合成部5と、動きベクトル検出部6とから構成されている。

この画像情報変換装置には、フレーム内で符号化されたイントラ符号化画像(Iピクチャ;I)、表示順序で順方向を参照して予測符号化された順方向予測符号化画像(Pピクチャ;P)及び表示順序で順方向及び逆方向を参照して予測符号化された双方向予測符号化画像(Bピクチャ;B)から構成される飛び越し走査のMPEG2画像圧縮情報(ビットストリーム)が入力される。

このMPEG2画像圧縮情報(ビットストリーム)は、ピクチャタイプ判別部1において、I/Pピクチャに関するものか、Bピクチャに関するものであるかを判別され、I/Pピクチャのみ後続のMPEG2画像情報復号化部(I/Pピクチャ)2に出力され、Bピクチャは破棄される。

MPEG2画像情報復号化部(I/Pピクチャ)2における処理は通常のMPEG2画像情報復号化装置と同様に、MPEG2画像圧縮情報(ビットストリーム)を画像信号復号するものである。

MPEG2画像情報復号化部(I/Pピクチャ)2の出力となる画素値は、間引き部3に入力される。間引き部3は、水平方向には1/2の間引き処理を施し、垂直方向には、第一フィールド若しくは第二フィールドのどちらか一方のデータのみを残し、もう一方を廃棄する。このような間引きによって、入力となる画像情報の1/4の大きさを持つ順次走査画像を生成する。

間引き部3によって生成された順次走査画像はMPEG4画像情報符号化部(I/P−VOP)4によってフレーム内で符号化されたI−VOP及び表示順序で順方向を参照して予測符号化されたP−VOPに符号化され、MPEG4画像圧縮情報(ビットストリーム)として出力される。尚、VOPはVideo object Planeを意味し、MPEG2におけるフレームに相当するものである。

その際、入力となるMPEG2画像圧縮情報(ビットストリーム)中の動きベクトル情報は、動きベクトル合成部5において間引き後の画像情報に対する動きベクトルにマッピングされ、動きベクトル検出部6においては、動きベクトル合成部5において合成された動きベクトル値を元に高精度の動きベクトルを検出する。

文献1は、入力となるMPEG2画像圧縮情報(ビットストリーム)の1/2×1/2の大きさを持つ順次走査画像のMPEG4画像圧縮情報(ビットストリーム)を生成する画像情報変換装置に関して記述している。すなわち、例えば入力となるMPEG2画圧縮情報(ビットストリーム)がNTSC(National Television System Committee)の規格に準拠したものであった場合、出力となるMPEG4画像圧縮情報はSIFサイズ(352×240画素)ということになる。

ところで、図4に示した画像情報変換装置においては、MPEG4画像情報符号化部(I/P−VOP)4における符号量制御が、出力となるMPEG4画像圧縮情報(ビットストリーム)における画質を決定する大きな要因となる。ISO/IEC14496−2においては、符号量制御の方式に関しては特に規定されておらず、各ベンダが、アプリケーションに応じて、演算量及び出力画質の観点から最適と考えられる方式を用いることが出来る。以下では、代表的な符号量制御方式として、MPEG2 Test Model 5(ISO/IEC JTC1/SC29/WG11 N0400)で述べられている方式について述べる。

この符号量制御のフローを図5に示すフローを用いて説明する。最初のステップS11において、画像情報符号化部(I/P−VOP)4は、目標符号量ターゲットビットレート)、及び、GOP(group of pictures)構成を入力変数として、各ピクチャヘのビット配分を行う。ここで、GOPとは、ランダムアクセス可能なピクチャの組である。

すなわち、ステップS11において、画像情報符号化部(I/P−VOP)4は、GOP内の各ピクチャに対する割り当てビット量を、割り当て対象ピクチャを含めGOP内でまだ復号化されていないピクチャに対して割り当てられるビット量(以下、これをRとする)を基に配分する。この配分をGOP内の符号化ピクチャ順に繰り返す。その際、以下に述べる2つの仮定を用いて各ピクチャヘの符号量割り当てを行う。

まず、第一に、各ピクチャを符号化する際に用いる平均量子化スケールコードと発生符号量の積は、画面が変化しない限り、ピクチャタイプ毎一定値となると仮定する。そこで、各ピクチャを符号化した後、各ピクチャタイプ毎に、画面の複雑さを示す変数Xi,Xp,Xb(grobal complelxity measure)を次の式(1)によって更新する。

概要

安定した符号量制御を行う。

飛び越し走査のMPEG2画像圧縮情報(ビットストリーム)を順次走査のMPEG4画像圧縮情報(ビットストリーム)に変換するものであって、MPEG2画像情報復号化部(ビットストリーム)8はMPEG2画像圧縮情報(ビットストリーム)から情報を抽出し、コンプレキシティ算出部15はコンプレキシティを算出し、MPEG4画像情報符号化部(I/P−VOP)はコンプレキシティに基づいて算出した目標符号量に応じて符号化を行う。

目的

本発明は、上述の実情に鑑みて提案されるものであって、画像情報を変換する画像情報変換装置及び方法において、シーンチェンジ等に起因する、GOP内でのコンプレキシティの変化に対応し、安定した符号量制御を行うような画像情報変換装置及び方法を提供することを目的とする。

効果

実績

技術文献被引用数
2件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

第1の圧縮符号化方式圧縮された飛び越し走査入力画像圧縮情報を、第2の圧縮符号化方式で圧縮された順次走査出力画像圧縮情報に変換する画像情報変換装置において、上記入画像圧縮情報フレームごとの情報を抽出する抽出手段と、この抽出手段により抽出された情報に基づいて上記出力画像圧縮情報のフレームごとの目標符号量を決定し、この目標符号量を用いて上記出力画像圧縮情報への符号化を行う符号化手段とを有することを特徴とする画像情報変換装置。

請求項2

上記抽出手段は、次の式で与えられるコンプレキシティを上記入力画像圧縮情報のフレームごとの情報として抽出することを特徴とする請求項1記載の画像情報変換装置。

請求項

ID=000003HE=010 WI=023 LX=0485 LY=1150ただし、上記入力画像圧縮情報の各フレームに対する平均量子化スケールをQ、割当ビット量をB、コンプレキシティをXとする。

請求項3

上記第1の圧縮符号化方式はMPEG2、上記第2の圧縮符号化方式はMPEG4であり、上記出力画像圧縮情報の画像に相当するVOPの内の第1のVOP1の目標符号量を次の式により与えることを特徴とする請求項2記載の画像情報変換装置。

請求項

ID=000004HE=020 WI=078 LX=0210 LY=1700ただし、VOP1,VOP2,…VOPnに対するコンプレキシティをそれぞれX1,X2,…Xnと、コンプレキシティXj(j=1,2,…n),Xk(k=1,2,…n)を変数とする関数をK(Xj,Xk)と、VOP1に対する目標符号量をR1とする。

請求項4

上記関数を次の式により与えることを特徴とする請求項3記載の画像情報変換装置。

請求項

ID=000005HE=020 WI=043 LX=0385 LY=2300

請求項5

上記関数の指数1/(1+m)の値を0.6〜1.2の値にすることを特徴とする請求項4記載の画像情報変換装置。

請求項6

上記関数の指数1/(1+m)の値を1.0とすることを特徴とする請求項5記載の画像情報変換装置。

請求項7

上記関数の演算は、予め準備したテーブルを参照して行うことを特徴とする請求項4記載の画像情報変換装置。

請求項8

上記関数を次の式により与えることを特徴とする請求項3記載の画像情報変換装置。

請求項

ID=000006HE=055 WI=078 LX=1110 LY=0600

請求項9

上記第1の圧縮符号化方式はMPEG2、上記第2の圧縮符号化方式はMPEG4であり、上記出力画像圧縮情報の画像に相当するVOPから構成される1GOV分の遅延バッファと、上記抽出手段によって抽出されたコンプレキシティを1GOV分だけ蓄積する情報バッファとを有し、上記符号化手段は、上記情報バッファから送られたコンプレキシティを用いて上記遅延バッファを介して送られた画像情報を符号化することを特徴とする請求項2記載の画像情報変換装置。

請求項10

上記第1の圧縮符号化方式はMPEG2、上記第2の圧縮符号化方式はMPEG4であり、上記抽出手段は、上記入力画像圧縮情報の画像に相当するピクチャから構成される1GOP分を予め解析して各フレームに対するコンプレキシティを抽出し、上記符号化手段は、上記コンプレキシティを用いて符号化を行うことを特徴とする請求項2記載の画像情報変換装置。

請求項11

上記入力画像圧縮情報を構成する、フレーム内で符号化されたイントラ符号化画像表示順序で順方向を参照して予測符号化された順方向予測符号化画像及び表示順序で順方向及び逆方向を参照して予測符号化された双方向予測符号化画像の種類を判別し、上記イントラ符号化画像及び上記順方向予測符号化画像は通過させるが上記双方向予測符号化画像を破棄してフレームレートを変換する変換手段を有することを特徴とする請求項1記載の画像情報変換装置。

請求項12

第1の圧縮符号化方式で圧縮された飛び越し走査の入力画像圧縮情報を、第2の圧縮符号化方式で圧縮された順次走査の出力画像圧縮情報に変換する画像情報変換方法において、上記入力画像圧縮情報のフレームごとの情報を抽出するステップと、抽出された情報に基づいて上記出力画像圧縮情報のフレームごとの目標符号量を用いて符号化するステップとを有することを特徴とする画像情報変換方法。

請求項13

次の式で与えられるコンプレキシティを上記入力画像圧縮情報のフレームごとの情報として抽出することを特徴とする請求項12記載の画像情報変換方法。

請求項

ID=000007HE=010 WI=023 LX=0485 LY=0700ただし、上記入力画像圧縮情報の各フレームに対する平均量子化スケールをQ、割当ビット量をB、コンプレキシティをXとする。

請求項14

上記第1の圧縮符号化方式はMPEG2、上記第2の符号化方式はMPEG4であり、上記出力画像圧縮情報の画像に相当するVOPの内の第1のVOP1の目標符号量を次の式により与えることを特徴とする請求項13記載の画像情報変換方法。

請求項

ID=000008HE=020 WI=078 LX=1110 LY=0450ただし、VOP1,VOP2,…VOPnに対するコンプレキシティをそれぞれX1,X2,…Xnと、コンプレキシティXj(j=1,2,…n),Xk(k=1,2,…n)を変数とする関数をK(Xj,Xk)と、VOP1に対する目標符号量をR1とする。

請求項15

上記関数を次の式により与えることを特徴とする請求項14記載の画像情報変換方法。

請求項

ID=000009HE=020 WI=100 LX=0550 LY=1100

技術分野

0001

本発明は、画像情報を変換する画像情報変換装置及び方法に関し、詳しくは、離散コサイン変換等の直交変換動き補償によって圧縮されたMPEG等の画像情報(ビットストリーム)を衛星放送ケーブルTVインターネット等のネットワークメディアを介して受信する際に、若しくは光、磁気ディスクのような記憶メディア上で処理する際に用いられる画像情報を変換する画像情報変換装置及び方法に関する。

背景技術

0002

近年、画像情報をディジタルとして取り扱い、効率の高い情報の伝送蓄積を目的とし、画像情報特有冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するMPEGなどの画像情報圧縮方式が提供されている。そして、このような画像情報圧縮方法準拠した装置は、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。

0003

特に、MPEG2(ISO/IEC13818−2)は、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像網羅する、汎用画像符号化方式として定義されている。

0004

すなわち、MPEG2符号化圧縮方式によれば、例えば、720×480画素を持つ標準解像度の飛び越し走査画像に4〜8Mbpsの符号量(ビットレート)を割り当て、1920×1088画素を持つ高解像度の飛び越し走査画像に対して18〜22Mbpsの符号量(ビットレート)を割り当てることにより、高い圧縮率と良好な画質の実現が可能となる。

0005

このようなことから、MPEG2は、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに今後とも用いられるものと予想される。しかし、MPEG2は、主として放送用適合する高画質符号化を対象としており、例えばMPEG1より低い符号量(ビットレート)、つまりより高い圧縮率の符号化方式には対応していなかった。

0006

一方で、近年の携帯端末の普及により、今後とも高い圧縮率の符号化方式のニーズは高まると思われ、これに対応して、高い圧縮率を有するMPEG4符号化方式の標準化が行われている。この画像符号化方式に関しては、1998年12月にISO/IEC14496−2として国際標準規格承認された。

0007

ところで、ディジタル放送用に一度符号化されたMPEG2画像圧縮情報(ビットストリーム)を、携帯端末上等で処理するのにより適した、より低い符号量(ビットレート)の画像圧縮情報(ビットストリーム)に変換したいというニーズがある。

0008

かかる目的を達成するために、“Field-to-Frame Transcoding with Spatialand Temporal Downsampling”(Susie L Wee,John G.Apostolopoulos, and NickFeamster, ICIP 99、以下これを文献1と呼ぶ)において画像情報変換装置(トランスコーダ)が提供されている。

0009

この文献1において提供された画像情報変換装置(トランスコーダ)は、図4に示すように、ピクチャタイプ判別部1と、MPEG2画像情報復号化部(I/Pピクチャ)2と、間引き部3と、MPEG4画像情報符号化部(I/P−VOP)4と、動きベクトル合成部5と、動きベクトル検出部6とから構成されている。

0010

この画像情報変換装置には、フレーム内で符号化されたイントラ符号化画像(Iピクチャ;I)、表示順序で順方向を参照して予測符号化された順方向予測符号化画像(Pピクチャ;P)及び表示順序で順方向及び逆方向を参照して予測符号化された双方向予測符号化画像(Bピクチャ;B)から構成される飛び越し走査のMPEG2画像圧縮情報(ビットストリーム)が入力される。

0011

このMPEG2画像圧縮情報(ビットストリーム)は、ピクチャタイプ判別部1において、I/Pピクチャに関するものか、Bピクチャに関するものであるかを判別され、I/Pピクチャのみ後続のMPEG2画像情報復号化部(I/Pピクチャ)2に出力され、Bピクチャは破棄される。

0012

MPEG2画像情報復号化部(I/Pピクチャ)2における処理は通常のMPEG2画像情報復号化装置と同様に、MPEG2画像圧縮情報(ビットストリーム)を画像信号復号するものである。

0013

MPEG2画像情報復号化部(I/Pピクチャ)2の出力となる画素値は、間引き部3に入力される。間引き部3は、水平方向には1/2の間引き処理を施し、垂直方向には、第一フィールド若しくは第二フィールドのどちらか一方のデータのみを残し、もう一方を廃棄する。このような間引きによって、入力となる画像情報の1/4の大きさを持つ順次走査画像を生成する。

0014

間引き部3によって生成された順次走査画像はMPEG4画像情報符号化部(I/P−VOP)4によってフレーム内で符号化されたI−VOP及び表示順序で順方向を参照して予測符号化されたP−VOPに符号化され、MPEG4画像圧縮情報(ビットストリーム)として出力される。尚、VOPはVideo object Planeを意味し、MPEG2におけるフレームに相当するものである。

0015

その際、入力となるMPEG2画像圧縮情報(ビットストリーム)中の動きベクトル情報は、動きベクトル合成部5において間引き後の画像情報に対する動きベクトルにマッピングされ、動きベクトル検出部6においては、動きベクトル合成部5において合成された動きベクトル値を元に高精度の動きベクトルを検出する。

0016

文献1は、入力となるMPEG2画像圧縮情報(ビットストリーム)の1/2×1/2の大きさを持つ順次走査画像のMPEG4画像圧縮情報(ビットストリーム)を生成する画像情報変換装置に関して記述している。すなわち、例えば入力となるMPEG2画圧縮情報(ビットストリーム)がNTSC(National Television System Committee)の規格に準拠したものであった場合、出力となるMPEG4画像圧縮情報はSIFサイズ(352×240画素)ということになる。

0017

ところで、図4に示した画像情報変換装置においては、MPEG4画像情報符号化部(I/P−VOP)4における符号量制御が、出力となるMPEG4画像圧縮情報(ビットストリーム)における画質を決定する大きな要因となる。ISO/IEC14496−2においては、符号量制御の方式に関しては特に規定されておらず、各ベンダが、アプリケーションに応じて、演算量及び出力画質の観点から最適と考えられる方式を用いることが出来る。以下では、代表的な符号量制御方式として、MPEG2 Test Model 5(ISO/IEC JTC1/SC29/WG11 N0400)で述べられている方式について述べる。

0018

この符号量制御のフロー図5に示すフローを用いて説明する。最初のステップS11において、画像情報符号化部(I/P−VOP)4は、目標符号量ターゲットビットレート)、及び、GOP(group of pictures)構成を入力変数として、各ピクチャヘのビット配分を行う。ここで、GOPとは、ランダムアクセス可能なピクチャの組である。

0019

すなわち、ステップS11において、画像情報符号化部(I/P−VOP)4は、GOP内の各ピクチャに対する割り当てビット量を、割り当て対象ピクチャを含めGOP内でまだ復号化されていないピクチャに対して割り当てられるビット量(以下、これをRとする)を基に配分する。この配分をGOP内の符号化ピクチャ順に繰り返す。その際、以下に述べる2つの仮定を用いて各ピクチャヘの符号量割り当てを行う。

0020

まず、第一に、各ピクチャを符号化する際に用いる平均量子化スケールコードと発生符号量の積は、画面が変化しない限り、ピクチャタイプ毎一定値となると仮定する。そこで、各ピクチャを符号化した後、各ピクチャタイプ毎に、画面の複雑さを示す変数Xi,Xp,Xb(grobal complelxity measure)を次の式(1)によって更新する。

0021

0022

ここでSi,Sp,Sbはピクチャ符号化時の発生符号ビット量であり、Qi,Qp,Qbは、ピクチャ符号化時の平均量子化スケールコードである。また、初期値は、目標符号量(ターゲットビットレート)bit_rate[bits/sec]を用いて、式(2)で示される値とする。

0023

0024

第二に、Iピクチャの量子化スケールコードを基準としたP,Bピクチャの量子化スケールコードの比率Kp,Kbが式(3)に定めた値となる場合に常に全体の画質が最適化されると仮定する。

0025

0026

すなわち、Bピクチャの量子化スケールコードは、I,Pピクチャの量子化スケールコードの常に1.4倍としている。これは、BピクチャをI,Pピクチャに比較して多少粗めに符号化することにより、Bピクチャで節約できる符号量をI,Pピクチャに加えると、I,Pピクチャの画質が改善され、これを参照するBピクチャの画質も改善されることを想定している。

0027

上記2つの仮定より、GOPの各ピクチャに対する割り当てビット量(Ti,Tp,Tb)は式(4)に示す値とする。

0028

0029

ここでNp,NbはGOP内でまだ符号化されていないP,Bピクチャの枚数である。

0030

このようにして求めた割当符号量を基にして、各ピクチャをステップS11,S12に従って符号化する毎に、GOP内の未符号化ピクチャに対して割り当てられるビット量Rを式(5)で更新する。

0031

0032

また、GOPの最初のピクチャを符号化する際には、式(6)によりRを更新する。

0033

0034

NはGOP内のピクチャ数である。また、シーケンスの最初でのRの初期値は0とする。

0035

次に、ステップS12において、画像情報符号化装置(I/P−VOP)4は、仮想バッファを用いたレート制御を行う。すなわち、ステップS12において、画像情報符号化装置(I/P−VOP)4は、ステップS11で式(4)により求められた各ピクチャに対する割当ビット量(Ti,Tp,Tb)と、実際の発生符号量を一致させるため、各ピクチャ毎に独立に設定した3種類の仮想バッファの容量を基に、量子化スケールコードを、マクロブロック単位フィードバック制御で求める。

0036

まず、j番目マクロブロック符号化に先立ち、仮想バッファの占有量を式(7)によって求める。

0037

0038

ここで、d0i,d0p,d0bは各仮想バッファ初期占有量、Bjはピクチャの先頭からj番目のマクロブロックまでの発生ビット量、MB_cntは1ピクチャ内マクロブロック数である。各ピクチャ符号化終了時の仮想バッファ占有量(dMB_cnti,dMB_cntp,dMB_cntb)は、それぞれ同一のピクチャタイプで、次のピクチャに対する仮想バッファ占有量の初期値(d0i,d0p,d0b)として用いられる。

0039

次に、j番目のマクロブロックに対する量子化スケールコードを式(8)により計算する。

0040

0041

ここで、rはリアクションパラメーターと呼ばれるフィードバックループ応答を制御する変数であり、式(9)により与えられる。

0042

0043

尚、符号化開始時における仮想バッファの初期値は式(10)で与えられる。

0044

0045

最後に、ステップS13において、画像情報符号化装置(I/P−VOP)4は、視覚特性を考慮したマクロブロック毎適応量子化を行う。すなわち、ステップS13において、画像情報符号化部(I/P−VOP)4は、ステップS12で求められた量子化スケールコードを、視覚的に劣化の目立ちやすい平坦部でより細かく量子化し、劣化の比較的目立ちにくい絵柄の複雑な部分で粗く量子化するように、各マクロブロック毎のアクティビティと呼ばれる変数によって変化させている。

0046

アクティビティは、原画輝度信号画素値を用い、フレーム離散コサイン変換モードにおける4個のブロックと、フィールド離散コサイン変換モードにおける4個のブロックとの、合計8ブロックの画素値を用いて式(11)で与えられる。

0047

0048

ここで、Pkは原画の輝度信号ブロック内画素値である。式(11)において最小値を採るのは、マクロブロック内の一部だけでも平坦部分のある場合には量子化を細かくするためである。

0049

更に、式(12)によりその値が0.5〜2の範囲を取る正規化アクティビティNactjを求める。

0050

0051

ここで、avg_actは、直前に符号化したピクチャでのactjの平均値である。

0052

視覚特性を考慮した量子化スケールコードmquantjはステップS12で得られた量子化スケールコードQjを基に式(13)で与えられる。

0053

0054

MPEG2 Test Model 5において定められた上記符号量制御方式には以下の制限のあることが知られており、実際の制御を行う場合には、これらの制限に対する対策が必要となる。すなわち、第一の制限は、第一ステップS11はシーンチェンジに対応出来ず、また、シーンチェンジ後には第三ステップS13で用いる媒介変数avg_actが間違った値となるということである。第二の制限は、MPEG2及びMPEG4において規定されているVBV(VideoBuffer Verifier)の拘束条件を満たす保証がないことである。

0055

ところで、文献”MPEG圧縮効率理論解析とその符号量制御への応用”(信学技報、IE−95, DSP95−10, 1995年5月、以下これを文献2と呼ぶ)でも述べられている通り、Test Model 5で定められている符号量制御方式は、MPEG−2画像符号化装置において、必ずしも良好な画質を与えるものではない。

0056

この文献2では、特に、良好な画質を与えるための、GOP内における各フレーム毎の最適な符号量配分を与える手法として以下の方式を提案している。すなわち、NI,NP,NBを、GOP内においてまだ符号化されていないI,P,Bピクチャの枚数として、これらに割り当てられる符号量をRI,RP,RBとする。また、式(14)で与えられる固定レート条件の下に、それぞれにおける量子化ステップサイズをQI,QP,QBとし、mを、量子化ステップサイズと再生誤差分散関係付け次数(すなわち、量子化ステップサイズをm乗したものの平均値の最小化が再生誤差分散を最低にすると仮定する)とする。そして、式(15)を最小にすることを考える。

0057

0058

0059

尚、それぞれのフレームにおける平均量子化スケールQ、及び符号量Rは、Test Model 5でも用いられる媒体変数である各フレームのコンプレキシティXと、式(16)のように関係づけられる。

0060

0061

式(16)の関係も考慮しつつ、式(14)の拘束条件の元に式(15)を最小にするRI,RP,RBを、ラグランジェの未定乗数法を用いて算出すると、最適なRI,RP,RBとして以下の式のような値が求められる。

0062

0063

α=1として、式(17)と、MPEG2 Test Model 5で定められた符号量制御方式における式(4)との関係は以下の通りであると言える。すなわち、式(17)は、符号量制御の媒介変数であるKp,Kbを、各フレームのコンプレキシティXI,XP,XBに応じて、式(18)のように適応的に算出していることに他ならない。

0064

0065

文献2では、1/(1+m)の値として、0.6〜1.2程度に設定することで良好な画質が得られることが示されている。

発明が解決しようとする課題

0066

図4に示した画像情報変換装置内で、MPEG4画像情報符号化装置(I/P−VOP)4において、MPEG2 Test Mode1 5において定められたのと同様な手法を用いて符号量制御を行った場合、シーンチェンジ等に起因する、GOP内でのコンプレキシティの変化に対応することが不可能であるため、安定した符号量制御が困難となり、画質劣化を引き起こすことが考えられる。

0067

本発明は、上述の実情に鑑みて提案されるものであって、画像情報を変換する画像情報変換装置及び方法において、シーンチェンジ等に起因する、GOP内でのコンプレキシティの変化に対応し、安定した符号量制御を行うような画像情報変換装置及び方法を提供することを目的とする。

課題を解決するための手段

0068

上述の課題を解決するために、本発明にかかる画像情報変換装置は、第1の圧縮符号化方式で圧縮された飛び越し走査の入力画像圧縮情報を、第2の圧縮符号化方式で圧縮された順次走査の出力画像圧縮情報に変換する画像情報変換装置において、上記入力画像圧縮情報のフレームごとの情報を抽出する抽出手段と、この抽出手段により抽出された情報に基づいて上記出力画像圧縮情報のフレームごとの目標符号量を決定し、この目標符号量を用いて上記出力画像圧縮情報への符号化を行う符号化手段とを有するものである。

0069

本発明は、飛び越し走査のMPEG2画像圧縮情報(ビットストリーム)を入力画像圧縮情報とし、順次操作のMPEG4画像圧縮情報(ビットストリーム)を出力画像圧縮情報とする。これらMPEG2画像圧縮情報(ビットストリーム)及びMPEG4画像圧縮情報は、複数の画素から構成される画素ブロックすなわちマクロブロックから構成されている。

0070

すなわち、本発明は、飛び越し走査のMPEG2画像情報圧縮情報(ビットストリーム)を入力とし、ピクチャタイプ判別部、MPEG2画像情報復号化部(I/Pピクチャ)、間引き部、遅延バッファ、MPEG4画像情報符号化部(I/P−VOP)、動きベクトル合成部、動きベクトル検出部、情報バッファ、コンプレキシティ算出部を兼ね備え、入力となるMPEG2画像圧縮情報(ビットストリーム)における各フレームに対するコンプレキシティ情報を利用して、各フレームに対する符号量割当が画像に対して最適化された状態で、順次走査のMPEG4画像圧縮情報(ビットストリーム)を出力するものである。なお、遅延バッファを持たず、圧縮情報解析部を兼ね備える装置構成も可能である。

0071

上記構成において、ピクチャタイプ判別部は、入力となるMPEG2画像圧縮情報(ビットストリーム)内で、I/Pピクチャに関するものだけ残してBピクチャに関するものは廃棄する。MPEG2画像情報復号化部(I/Pピクチャ)は、ピクチャタイプ判別部の出力となる、I/Pピクチャに関する圧縮情報(ビットストリーム)を、水平方向垂直方向ともに、8次の離散コサイン係数全てを用いた、若しくはその低域成分のみを用いた復号処理を行う。間引き部は、MPEG2画像情報復号化装置(I/Pピクチャ)の出力である画像情報の第一フィールド若しくは第二ワイールドのみを取り出して順次走査画像への変換を行うと同時に、所望の画枠サイズに変換するためのダウンサンプリングを行う。遅延バッファは、1GOV(Group of VOP)分の遅延を実現するための画像情報の蓄積を行う。MPEG4画像情報符号化部(I/P−VOP)は、遅延バッファの出力となる画像情報をMPEG4符号化方式により符号化する。動きベクトル合成部は、MPEG2画像情報復号化部(I/Pピクチャ)で検出された、入力となる画像圧縮情報(ビットストリーム)内の動きベクトル値を元に、走査変換後の画像データに対する動きベクトル値にマッピングを行う。動きベクトル検出部は、動きベクトル合成部から出力される動きベクトル値を元に、高精度の動きベクトル検出を行う。情報バッファにおいては、MPEG2画像情報復号化部(I/Pピクチャ)において復号処理を行う際に得られる、各フレームに割り当てられた符号量(ビット数)、及び各フレームにおける平均量子化スケールを格納する。コンプレキシティ算出部においては、情報バッファに格納された、入力となる画像圧縮情報(ビットストリーム)における、各フレームに割り当てられた符号量(ビット数)、及び各フレームにおける平均量子化スケールから、各フレームに対するコンプレキシティを算出し、MPEG4画像情報符号化部(I/P−VOP)へ、符号量制御のための媒介変数として伝送する。

発明を実施するための最良の形態

0072

以下、図面を参照し、本発明の実施の形態について、図面を参照して説明する。

0073

まず、本発明の第1の実施の形態の画像情報変換装置について説明する。

0074

この画像情報変換装置は、図1に示すように、ピクチャタイプ判別部7と、MPEG2画像情報復号化部(I/Pピクチャ)8と、間引き部9と、遅延バッファ10と、MPEG4画像情報符号化部(I/P−VOP)11と、動きベクトル合成部12と、動きベクトル検出部13と、情報バッファ14と、コンプレキシティ算出部15とを有している。

0075

この画像情報変換装置には、フレーム内で符号化されたイントラ符号化画像(Iピクチャ;I)、表示順序で順方向を参照して予測符号化された順方向予測符号化画像(Pピクチャ;P)及び表示順序で順方向及び逆方向を参照して予測符号化された双方向予測符号化画像(Bピクチャ;B)から構成される飛び越し走査のMPEG2画像圧縮情報(ビットストリーム)が入力される。

0076

このMPEG2画像圧縮情報(ビットストリーム)は、ピクチャタイプ判別部7において、I/Pピクチャに関するものか、Bピクチャに関するものであるかを判別され、I/Pピクチャのみ後続のMPEG2画像情報復号化部(I/Pピクチャ)8に出力され、Bピクチャは破棄される。

0077

MPEG2画像情報復号化部(I/Pピクチャ)8は、MPEG2画像圧縮情報(ビットストリーム)を画像信号に復号する。ここで、Bピクチャに関するデータはピクチャタイプ判別部7において廃棄されているので、MPEG2画像情報復号化部(I/Pピクチャ)1は、I/Pピクチャのみを復号化出来る機能を有すればよい。

0078

また、MPEG2画像情報復号化装置(I/Pピクチャ)8は、MPEG2画像圧縮情報(ビットストリーム)から抽出手段として情報を抽出し、復号処理に用いられた量子化スケールのフレーム全体に渡る平均値Q、及び、MPEG2画像圧縮情報(ビットストリーム)において当該フレームに割り当てられた総符号量(ビット数)Bを情報バッファ14に格納する。

0079

MPEG2画像情報復号化部(I/Pピクチャ)8の出力となる画素値は、間引き部9に入力される。間引き部9は、水平方向には1/2の間引き処理を施し、垂直方向には、第一フィールド若しくは第二フィールドのどちらか一方のデータのみを残し、もう一方を廃棄する。このような間引きによって、入力となる画像情報の1/4の大きさを持つ順次走査画像を生成する。

0080

ところで、間引き部9から出力された画像をMPEG4画像情報符号化部(I/P−VOP)11において16×16画素で構成されるマクロブロック単位で符号化するためには、水平方向、垂直方向ともに、その画素数が16の倍数である必要が有る。間引き部9においては、このための画素の補填若しくは廃棄を、間引きと同時に行う。

0081

例えば、入力となるMPEG2画像圧縮情報(ビットストリーム)がNTSC(National Television System Committee)の規格に準拠したもの、つまり720×480画素、30Hzの飛び越し走査画像であった場合、間引き後の画枠はSIF(360×240画素)サイズということになる。この画像に対して、間引き部3において、例えば水平方向の右端若しくは左端の8ラインを廃棄して352×240画素とする。

0082

なお、間引き部9における動作の変更を行うことで、これ以外の画枠、例えば上記の例で、約1/4×1/4の画枠であるQSIF(176×112画素)サイズの画像に変換することも可能である。

0083

更に、上述した文献1は、MPEG2画像情報復号化部(I/Pピクチャ)8における処理として、水平方向、垂直方向それぞれについて、入力となるMPEG2画像圧縮情報(ビットストリーム)内の、8次の離散コサイン変換係数すべてを用いた復号処理を行う画像情報変換装置について述べられているが、図1に示した装置に関してはその限りではなく、水平方向のみ、或いは水平方向、垂直方向ともに、8次の離散コサイン変換係数のうちの低域成分のみを用いた復号処理を行い、画質劣化を最小限に抑えながら、復号処理に伴う演算量とビデオメモリ容量を削減することが可能である。

0084

間引き部9によって生成された順次走査画像は遅延バッファ10によって1フレーム遅延された後、MPEG4画像情報符号化部(I/P−VOP)11によってフレーム内で符号化されたI−VOP及び表示順序で順方向を参照して予測符号化されたP−VOPに符号化され、MPEG4画像圧縮情報(ビットストリーム)として出力される。

0085

その際、入力となるMPEG2画像圧縮情報(ビットストリーム)中の動きベクトル情報は、動きベクトル合成部12において間引き後の画像情報に対する動きベクトルにマッピングされ、動きベクトル検出部13においては、動きベクトル合成部12において合成された動きベクトル値を元に高精度の動きベクトルを検出する。

0086

尚、VOPはVideo Object Planeを意味し、MPEG2におけるフレームに相当するものである。また、I−VOPはIピクチャに対応するイントラ符号化VOP、P−VOPはPピクチャに対応する順方向予測符号化VOP、B−VOPはBピクチャに対応する双方向予測符号化VOPである。

0087

この画像情報変換装置のコンプレキテイ算出部15においては、情報バッファ14に格納されたフレーム毎の情報Q及びBから、当該フレームに対するコンプレキシティXを式(19)により算出する。

0088

0089

式(19)によって算出された、当該フレームに対するコンプレキシティXは、1GOV分バッファリングされた後、MPEG4画像情報符号化部(I/P−VOP)11に符号量制御のための媒介変数として伝送される。このため、1GOV分の遅延が必要となる。この遅延は遅延バッファ10を用いて実現される。

0090

以下では、式(19)において算出された、GOV内の各フレームに対するコンプレキシティXが、MPEG4画像情報符号化部(I/P−VOP)11においてどのように用いられるかについて述べる。尚、以下では、ピクチャタイプ判別部7が装置内に存在せず、フレームレートの変換を行わない場合をも考慮することにする。

0091

式(18)によつて求められたKp,Kbの意味するところは、I−VOPに対する理想的な平均量子化スケールQi_idealに対するP−VOP/B−VOPに対する理想的な平均量子化スケールQp_ideal,Qb_idealの比が、式(20)によって与えられるということである。

0092

0093

MPEG2 Test Mode1 5においては、式(18)のように適応的にKp,Kbを算出することを行わず、式(3)に示したような固定値を用いている。

0094

式(18)及び式(20)から、或るVOP1と、或るVOP2に対するコンプレキシテイをそれぞれX1,X2とし、理想的な量子化スケールをQ1_ideal,Q2_idealとすれば、式(21)となる。

0095

0096

或いはまた、MPEG2 Test Mode1 5のように、式(3)に示した固定値を用いたい場合には、式(21)に代えて、式(22)とすれば良い。

0097

0098

今、GOV内の未符号化されたVOPに対して割り当てられる総符号量(ビット数)をRとし、Rが各VOPに対して、R1,R2,…Rnといったように割り当てられる時、当該GOVに対する画質が最適化されるものとする。ここでRとR1,R2,…Rnの間には式(23)という関係式が成り立つ。

0099

0100

或るVOPkに対する平均量子化スケールQk、割当符号量Rk、コンプレキシテイXkの間には式(24)なる関係があることにも注意して、式(23)を変形すれば式(25)となる。

0101

0102

0103

式(25)において、K(X1,X2)に関しては、式(21)に示した値を用いても、式(22)に示した値を用いても良いが、前者の方が、画像に応じた、より最適な符号量配分を実現することが可能である。その際、1/(1+m)の値を1.0と設定することで、指数演算を行うことが不要となり、高速な実行が可能となる。また、1/(1+m)の値を1.0以外に設定する場合にも、予めテーブルを持ち、これを参照して指数演算を行うことで高速な実行が可能となる。

0104

式(25)における各VOPに対するコンプレキシティXkはMPEG4画像符号化によるものであるが、MPEG2画像符号化による各フレームに対するコンプレキシティと、MPEG4画像符号化による各フレームに対するコンプレキシティが等しいと仮定すれば、コンプレキシティ算出装置15に格納されたXkを用いることで、式(25)によって当該VOPに対する目標符号量を算出することが可能である。

0105

このように、式(25)を用いた当該VOPに対する目標量算出に至る一連の手順を、図2を参照して説明する。

0106

最初のステップS21においては、MPEG2画像情報復号化装置(I/Pピクチャ)8は、入力するMPEG2画像圧縮情報(ビットストリーム)について、GOP内の各フレームに対する平均量子化スケールQ、及び割当符号量(ビット数)Bを抽出し、情報バッファ14に格納する。

0107

ステップS22においては、コンプレキシティ算出装置15は、情報バッファ14に格納した平均量子化スケールQ及び割当符号量(ビット数)Bから、式(19)を用いてコンプレキシティXを算出する。

0108

ステップS23においては、MPEG4画像情報符号化部(I/P−VOP)11は、コンプレキシティに応じた目標符号量(ターゲットビット)を算出する。

0109

MPEG2 Test Model 5では、GOP内におけるI,P,Bピクチャに対するコンプレキシティXi, Xp, Xbは一定であると仮定しているが、実際にはシーンチェンジをGOP内に含む場合や、GOP内で背景が著しく変化する場合等ではこの仮定が成り立たず、安定した符号量制御の妨げとなり、画質劣化の要因ともなる。図1に示した画像情報変換装置においては、そのような場合にも、入力となるMPEG2画像圧縮情報(ビットストリーム)における、各フレームに対するコンプレキシテイに基づいた符号量制御を行うため、画質劣化を引き起こすことなく、安定した符号量制御を行うことが可能である。

0110

次に、本発明の第2の実施の形態となる画像情報変換装置について説明する。

0111

この画像情報変換装置は、図3に示すように、ピクチャタイプ判別部16と、圧縮情報解析部17と、MPEG2画像情報復号化部(I/Pピクチャ)18と、間引き部19と、MPEG4画像情報符号化部(I/P−VOP)20と、動きベクトル合成部21と、動きベクトル検出部22と、情報バッファ23と、コンプレキシティ算出部24とを有している。

0112

図1に示した画像情報変換装置と、図3に示した画像情報変換装置の違いは、図1に示した画像情報変換装置においては、遅延バッファ10を用いて1GOV分の遅延を実現するのに対し、図3に示した画像情報変換装置においては、遅延バッファを持たず、圧縮情報解析装置17によって、入力となるMPEG2画像圧縮情報(ビットストリーム)を1GOP分先読みし、各フレームに対するコンプレキシティXを、MPEG4画像符号化に先立って算出する点にある。

0113

他の部分については、上述した第1の実施の形態の画像情報変換装置と同様であるので、説明を省略する。

0114

上述の本実施の形態においては、MPEG2画像情報復号化部(I/Pピクチャ)において抽出される、入力となるMPEG2画像圧縮情報(ビットストリーム)内の情報をMPEG4画像情報符号化部(I/P−VOP)4において利用することにより、安定した符号量制御を行うことを可能にしている。

0115

以上、入力としてMPEG2画像圧縮情報(ビットストリーム)を、出力としてMPEG4画像圧縮情報(ビットストリーム)を対象としてきたが、入力、出力ともこれに限らず、例えばMPEG−1やH.263などの画像圧縮情報(ビットストリーム)でも良い。

発明の効果

0116

以上述べてきた様に、本発明は、飛び越し走査のMPEG2画像圧縮情報(ビットストリーム)を入力とし、入力となるMPEG2画像圧縮情報(ビットストリーム)における各フレームに対するコンプレキシティ情報を利用して、各フレームに対する符号量割当が画像に対して最適化された状態で、順次走査のMPEG4画像圧縮情報(ビットストリーム)に変換して出力する手段を提供するものである。

0117

本発明は、ディーンチェンジ等に起因する、GOP内でのコンプレキシティの変化に対応し、安定した符号量制御を行うことにより、画質を低減させることがない。

図面の簡単な説明

0118

図1第1の実施の形態の画像情報変換装置の構成を示すブロック図である。
図2符号量制御の動作原理を示すフローチャートである。
図3第2の実施の形態の画像情報変換装置の構成を示すブロック図である。
図4従来の画像情報変換装置の構成を示すブロック図である。
図5従来の符号量制御方式の動作原理を示すフローチャートである。

--

0119

7ピクチャタイプ判別部、8MPEG2画像情報復号化部(I/Pピクチャ)、9間引き部、10遅延バッファ、11 MPEG4画像情報符号化部(I/P−VOP)

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ