図面 (/)

技術 スケーラビリティを有する画像符号伝送装置および方法並びに再量子化方法

出願人 セコム株式会社
発明者 花村剛西村敏笠井裕之高屋和幸亀山渉富永英義
出願日 1999年5月24日 (21年5ヶ月経過) 出願番号 1999-144013
公開日 2000年11月30日 (19年11ヶ月経過) 公開番号 2000-333176
状態 拒絶査定
技術分野 TV信号の圧縮,符号化方式 TV信号の圧縮,符号化方式 圧縮、伸長・符号変換及びデコーダ 伝送媒体によって特徴づけられない伝送方式
主要キーワード 識別情報生成ステップ 符号変換器 ラウンディング 情報処理量 密結合 レート制御処理 目標レート 情報伝達媒体
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2000年11月30日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (11)

課題

本発明は、量子化および逆量子化を伴うスケーラビリティを有する動画像または静止画像符号伝送装置および方法において、再量子化による誤差を低減し、画質の低下を低減する装置および方法を提供することを目的とする。

解決手段

第1の量子化前変数と、得られた量子化係数を逆量子化して得られた逆量子化係数と、を比較して、その比較結果を示す識別情報を生成し、第1量子化係数と識別情報を転送し、転送された第1量子化係数を逆量子化して得られた逆量子化係数を識別情報に基づいて補正し、補正後の逆量子化係数を第1の量子化とは異なる量子化幅で再度量子化する。

概要

背景

ディジタルビデオおよび付随するオーディオに対する圧縮符号化方式標準規格であるISO−IEC13818−2(以後、「MPEG2」(Moving Picture Expert Group)と呼ぶ。)では、符号化器において、入力画像に対して、離散コサイン変換(以後、「DCT」と呼ぶ)、量子化および可変長符号化(以後、「VLC」と呼ぶ)の順に処理が行われビットストリームが生成され出力される。このようにして生成されたMPEG2の規格準拠したビットストリーム(以後、「MPEG2ビットストリーム」と呼ぶ)は、通信テレビジョン放送など幅広い分野で使用されている。

MPEG2ビットストリームは階層構造を有し、最上位シーケンス層からGOP(Group of Picture)層、ピクチャ層スライス層マクロブロック層およびブロック層の順の各層からなる。

符号化器で符号化されたMPEG2ビットストリームは、所定の転送速度で伝送路送出され、復号器に入力されて復号され再生される。しかしながら、MPEG2以外の圧縮フォーマットを有する復号器や、異なる転送速度の伝送路に接続された復号器も多数存在するため、異なる圧縮フォーマットや異なる転送速度にMPEG2ビットストリームを変換する装置として、トランスコーダがあり、このトランスコーダを介して各復号器に信号が供給される。

最も簡単な構成のMPEG2ビットストリームを異なる転送速度を有するMPEG2ビットストリームに変換するトランスコーダ10は、図7に示されるものであり、入力MPEG2ビットストリーム1を復号して一旦画像信号5を生成する復号器3と、生成された画像信号5を再度、入力MPEG2ビットストリーム1とは異なる転送速度を有するMPEG2ビットストリーム9として出力する符号化器7を単純に結合したものである。

しかしながら、このような単純結合型トランスコーダ10においては、情報処理量が多く、処理に時間がかかるといった問題点がある。また、復号器3によって復号された画像5からは、入力MPEG2ビットストリーム1のGOP層から得ることのできるGOP構造並びに、ピクチャ層から得ることのできるI、PおよびBピクチャなどのピクチャタイプなどを含む符号化構造などの情報を知ることができない。通常、符号化器7においては、全体の画質を高めるために、再帰的に予測に使用されるIおよびPピクチャ高画質に、予測に使用されないBピクチャは低画質になるように符号配分される。これにより符号化効率も向上する。単純結合型トランスコーダ10では、入力ビットストリーム1が一度復号器3により完全に画像5に復号されてしまうと符号化器7でピクチャタイプが認識できないため、例えば、入力ビットストリーム1中で、Bピクチャとして符号化されていたピクチャをIまたはPピクチャとして再符号化してしまう可能性があり、そのような場合、画像の品質が低下し、符号化効率も低下するといった問題点がある。

さらに、Bピクチャを含む符号化構造の入力MPEG2ビットストリーム1においては、入力MPEG2ビットストリーム1上でのフレーム順序は、IおよびPピクチャの後にBピクチャが続くが、復号された画像表示時のフレーム順序は、IおよびPピクチャの間にBピクチャが挿入されて画像が表示される。このため、IおよびPピクチャを処理した後、Bピクチャを処理して、前もって処理されているIおよびPピクチャの間にBピクチャを挿入するという画像の並べ替え処理が必要なため、トランスコード処理遅延が生じるといった問題点がある。

これらの問題点を解決するために図8に示されるようなトランスコーダ20が提案されている。このトランスコーダ20は、図7の復号器3が知り得る情報の一部を符号化器7に再利用させるものと言える。すなわち、入力MPEG2ビットストリーム1の上位層であるシーケンス層、GOP層およびピクチャ層から得ることのできる符号化条件並びに動きベクトルなどの情報を、トランスコーダ20で生成される出力ビットストリームの符号化条件に再利用するものである。この依存型トランスコーダ20は、入力MPEG2ビットストリーム1を可変長復号(以後、「VLD」と呼ぶ)21、逆量子化23、および逆DCT25の順に処理を行うことによりマクロブロック層およびブロック層を含む符号化データまでを復号し、得られた信号をDCT35、量子化37およびVLC39の順に処理して、入力ビットストリームとは異なる転送速度を有する出力ビットストリーム40を生成するものである。

このように依存型トランスコーダ20は、すでに符号化されている入力ビットストリームから取り出した一部のビットストリームを復号し、画像を再生できる能力、すなわちスケーラビリティを有するものである。

上記の依存型トランスコーダ20は、単純結合型トランスコーダ10の問題点である画像フレームの並べ替えによる処理の遅延を削減し、さらに動きベクトルを再利用することにより、処理の複雑さを低減することが可能である。

また、図9に示されるような密結合型トランスコーダ60が提案されている。この密結合型トランスコーダ60は、図8の依存型トランスコーダ20の符号化条件の再利用に加えて、入力MPEG2ビットストリーム1のスライス層およびマクロブロック層までの符号化情報を再利用するものである。依存型トランスコーダ20では必要であった動き補償用参照画像フレームメモリが、密結合型トランスコーダ60では不要となりメモリ量が削減できるという利点もある。

この密結合型トランスコーダ60は、入力MPEG2ビットストリーム1を、マクロブロック単位にVLD61および逆量子化63の順に処理することにより、DCT係数領域まで復号し、得られたDCT係数信号を、量子化65およびVLC67の順に処理して、入力MPEG2ビットストリーム1とは異なる転送速度を有する出力ビットストリーム71を生成するものである。すなわち、入力MPEG2ビットストリームに含まれる符号化器で一旦量子化された量子化係数が、トランスコーダ60で再度量子化されて出力ビットストリーム71が生成されることになる。密結合型トランスコーダ60では、シーケンス層、GOP層、ピクチャ層、スライス層およびマクロブロック層の符号化情報を殆ど再利用でき、基本的にブロック層のDCT係数の変換およびブロック層の変換に伴い修正が必要なマクロブロック層の符号の変換の処理のみがなされるので、トランスコード処理量を大幅に削減することができる。

概要

本発明は、量子化および逆量子化を伴うスケーラビリティを有する動画像または静止画像符号伝送装置および方法において、再量子化による誤差を低減し、画質の低下を低減する装置および方法を提供することを目的とする。

第1の量子化前変数と、得られた量子化係数を逆量子化して得られた逆量子化係数と、を比較して、その比較結果を示す識別情報を生成し、第1量子化係数と識別情報を転送し、転送された第1量子化係数を逆量子化して得られた逆量子化係数を識別情報に基づいて補正し、補正後の逆量子化係数を第1の量子化とは異なる量子化幅で再度量子化する。

目的

本発明は、量子化および逆量子化を伴う動画像または静止画像符号化装置および方法において、再量子化による画質の低下を低減する装置および方法を提供することを目的とする。

効果

実績

技術文献被引用数
1件
牽制数
2件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

記入力画像を変換係数直交変換する直交変換手段と、該変換係数を所定の量子化幅量子化して量子化係数を算出する量子化手段と、該量子化係数を符号化して画像圧縮信号を出力する出力手段と、を備えた符号化器と、該符号化器の出力手段から出力され、伝送路を経由して転送された画像圧縮信号を入力して、該入力された画像圧縮信号から前記符号化器で量子化された量子化係数を分離して第1量子化係数とする信号分離手段と、該第1量子化係数を逆量子化して逆量子化係数を算出する逆量子化手段と、該逆量子化係数を前記符号化器の量子化手段の量子化幅とは異なる再量子化用量子化幅で量子化して第2量子化係数を算出する再量子化手段と、該第2量子化係数を符号化して圧縮画像信号を生成して出力する出力手段と、を備えた符号変換器と、を具備するスケーラビリティを有する画像符号伝送装置において、前記符号化器が、前記量子化係数を逆量子化して逆量子化係数を算出する逆量子化手段と、該逆量子化係数と前記変換係数とを比較する比較手段と、該比較手段における比較結果を示す識別情報を生成し出力する識別情報生成手段と、をさらに備え、前記符号変換器が、前記符号化器の識別情報生成手段から前記識別情報を入力し、該入力された識別情報に基づいて前記符号化器における比較結果を認識し、前記逆量子化係数を補正する補正手段と、をさらに備えるとともに、前記符号変換器の再量子化手段が、前記補正手段によって補正された逆量子化係数を前記再量子化用量子化幅で量子化することを特徴とするスケーラビリティを有する画像符号伝送装置。

請求項2

(a)入力画像を変換係数に直交変換する直交変換ステップと、(b)該変換係数を第1量子化幅で量子化して第1量子化係数を算出する第1の量子化ステップと、(c)該第1量子化係数を逆量子化して逆量子化係数を算出する第1の逆量子化ステップと、(d)前記第1の量子化ステップ(b)で算出された第1量子化係数を符号化して圧縮画像信号を出力する第1の出力ステップと、(e)該第1の出力ステップ(d)で出力され、伝送路を経由して転送された圧縮画像信号を入力して、該入力された圧縮画像信号から前記第1量子化係数を分離する信号分離ステップと、(f)該信号分離ステップ(e)で分離された第1量子化係数を逆量子化して前記逆量子化係数を算出する第2の逆量子化ステップと、(g)該第2の逆量子化ステップ(f)で算出された逆量子化係数を前記第1量子化幅とは異なる第2量子化幅で量子化して第2量子化係数を算出する第2の量子化ステップと、(h)該第2量子化係数を符号化して圧縮画像信号を生成して出力する第2の出力ステップと、を備えたスケーラビリティを有する画像符号伝送方法において、(i)前記第1の逆量子化ステップ(c)で算出された逆量子化係数と前記直交変換ステップ(a)で変換された変換係数とを比較する比較ステップと、(j)該比較ステップ(i)における比較結果を示す識別情報を生成し出力する識別情報生成ステップと、(k)前記識別情報を入力し、該入力された識別情報に基づいて前記比較ステップ(i)における比較結果を認識し、前記第2の逆量子化ステップ(f)で算出された逆量子化係数を補正する補正ステップと、をさらに備えるとともに、前記第2の量子化ステップ(g)において、前記補正ステップ(k)で補正された逆量子化係数を前記第2量子化幅で量子化することを特徴とするスケーラビリティを有する画像符号伝送方法。

請求項3

(a)変数を第1量子化幅で量子化して第1量子化係数を算出する第1の量子化ステップと、(b)該第1量子化係数を逆量子化して逆量子化係数を算出する第1の逆量子化ステップと、(c)前記第1の量子化ステップで算出された第1量子化係数を転送する第1の転送ステップと、(d)該第1の転送ステップ(c)で転送された第1量子化係数を逆量子化して逆量子化係数を算出する第2の逆量子化ステップと、(e)前記第2の逆量子化ステップ(d)で算出された逆量子化係数を前記第1量子化幅とは異なる第2量子化幅で量子化して第2量子化係数を算出する第2の量子化ステップと、を有する再量子化方法において、(f)該第1の逆量子化ステップ(b)で算出された逆量子化係数と前記直交変換ステップ(a)で変換された変数とを比較する比較ステップと、(g)該比較ステップ(f)における比較結果を示す識別情報を生成する識別情報生成ステップと、(h)該識別情報を転送する第2の転送ステップと、(i)該第2の転送ステップ(h)で転送された識別情報に基づいて前記比較ステップにおける比較結果を認識し、前記第2の逆量子化ステップ(d)で算出された逆量子化係数を補正する補正ステップと、を備えるとともに、前記第2の量子化ステップ(e)において、該補正ステップ(i)で補正された逆量子化係数を前記第2量子化幅で量子化して第2量子化係数を算出することを特徴とする再量子化方法。

技術分野

0001

本発明は、スケーラビリティを有する画像符号伝送装置および方法並びに再量子化方法に関し、特に、量子化および逆量子化を伴う動画像または静止画像符号伝送装置および方法において、再量子化による画質の低下を低減する装置および方法に関する。

背景技術

0002

ディジタルビデオおよび付随するオーディオに対する圧縮符号化方式標準規格であるISO−IEC13818−2(以後、「MPEG2」(Moving Picture Expert Group)と呼ぶ。)では、符号化器において、入力画像に対して、離散コサイン変換(以後、「DCT」と呼ぶ)、量子化および可変長符号化(以後、「VLC」と呼ぶ)の順に処理が行われビットストリームが生成され出力される。このようにして生成されたMPEG2の規格準拠したビットストリーム(以後、「MPEG2ビットストリーム」と呼ぶ)は、通信テレビジョン放送など幅広い分野で使用されている。

0003

MPEG2ビットストリームは階層構造を有し、最上位シーケンス層からGOP(Group of Picture)層、ピクチャ層スライス層マクロブロック層およびブロック層の順の各層からなる。

0004

符号化器で符号化されたMPEG2ビットストリームは、所定の転送速度で伝送路送出され、復号器に入力されて復号され再生される。しかしながら、MPEG2以外の圧縮フォーマットを有する復号器や、異なる転送速度の伝送路に接続された復号器も多数存在するため、異なる圧縮フォーマットや異なる転送速度にMPEG2ビットストリームを変換する装置として、トランスコーダがあり、このトランスコーダを介して各復号器に信号が供給される。

0005

最も簡単な構成のMPEG2ビットストリームを異なる転送速度を有するMPEG2ビットストリームに変換するトランスコーダ10は、図7に示されるものであり、入力MPEG2ビットストリーム1を復号して一旦画像信号5を生成する復号器3と、生成された画像信号5を再度、入力MPEG2ビットストリーム1とは異なる転送速度を有するMPEG2ビットストリーム9として出力する符号化器7を単純に結合したものである。

0006

しかしながら、このような単純結合型トランスコーダ10においては、情報処理量が多く、処理に時間がかかるといった問題点がある。また、復号器3によって復号された画像5からは、入力MPEG2ビットストリーム1のGOP層から得ることのできるGOP構造並びに、ピクチャ層から得ることのできるI、PおよびBピクチャなどのピクチャタイプなどを含む符号化構造などの情報を知ることができない。通常、符号化器7においては、全体の画質を高めるために、再帰的に予測に使用されるIおよびPピクチャ高画質に、予測に使用されないBピクチャは低画質になるように符号配分される。これにより符号化効率も向上する。単純結合型トランスコーダ10では、入力ビットストリーム1が一度復号器3により完全に画像5に復号されてしまうと符号化器7でピクチャタイプが認識できないため、例えば、入力ビットストリーム1中で、Bピクチャとして符号化されていたピクチャをIまたはPピクチャとして再符号化してしまう可能性があり、そのような場合、画像の品質が低下し、符号化効率も低下するといった問題点がある。

0007

さらに、Bピクチャを含む符号化構造の入力MPEG2ビットストリーム1においては、入力MPEG2ビットストリーム1上でのフレーム順序は、IおよびPピクチャの後にBピクチャが続くが、復号された画像表示時のフレーム順序は、IおよびPピクチャの間にBピクチャが挿入されて画像が表示される。このため、IおよびPピクチャを処理した後、Bピクチャを処理して、前もって処理されているIおよびPピクチャの間にBピクチャを挿入するという画像の並べ替え処理が必要なため、トランスコード処理遅延が生じるといった問題点がある。

0008

これらの問題点を解決するために図8に示されるようなトランスコーダ20が提案されている。このトランスコーダ20は、図7の復号器3が知り得る情報の一部を符号化器7に再利用させるものと言える。すなわち、入力MPEG2ビットストリーム1の上位層であるシーケンス層、GOP層およびピクチャ層から得ることのできる符号化条件並びに動きベクトルなどの情報を、トランスコーダ20で生成される出力ビットストリームの符号化条件に再利用するものである。この依存型トランスコーダ20は、入力MPEG2ビットストリーム1を可変長復号(以後、「VLD」と呼ぶ)21、逆量子化23、および逆DCT25の順に処理を行うことによりマクロブロック層およびブロック層を含む符号化データまでを復号し、得られた信号をDCT35、量子化37およびVLC39の順に処理して、入力ビットストリームとは異なる転送速度を有する出力ビットストリーム40を生成するものである。

0009

このように依存型トランスコーダ20は、すでに符号化されている入力ビットストリームから取り出した一部のビットストリームを復号し、画像を再生できる能力、すなわちスケーラビリティを有するものである。

0010

上記の依存型トランスコーダ20は、単純結合型トランスコーダ10の問題点である画像フレームの並べ替えによる処理の遅延を削減し、さらに動きベクトルを再利用することにより、処理の複雑さを低減することが可能である。

0011

また、図9に示されるような密結合型トランスコーダ60が提案されている。この密結合型トランスコーダ60は、図8の依存型トランスコーダ20の符号化条件の再利用に加えて、入力MPEG2ビットストリーム1のスライス層およびマクロブロック層までの符号化情報を再利用するものである。依存型トランスコーダ20では必要であった動き補償用参照画像フレームメモリが、密結合型トランスコーダ60では不要となりメモリ量が削減できるという利点もある。

0012

この密結合型トランスコーダ60は、入力MPEG2ビットストリーム1を、マクロブロック単位にVLD61および逆量子化63の順に処理することにより、DCT係数領域まで復号し、得られたDCT係数信号を、量子化65およびVLC67の順に処理して、入力MPEG2ビットストリーム1とは異なる転送速度を有する出力ビットストリーム71を生成するものである。すなわち、入力MPEG2ビットストリームに含まれる符号化器で一旦量子化された量子化係数が、トランスコーダ60で再度量子化されて出力ビットストリーム71が生成されることになる。密結合型トランスコーダ60では、シーケンス層、GOP層、ピクチャ層、スライス層およびマクロブロック層の符号化情報を殆ど再利用でき、基本的にブロック層のDCT係数の変換およびブロック層の変換に伴い修正が必要なマクロブロック層の符号の変換の処理のみがなされるので、トランスコード処理量を大幅に削減することができる。

発明が解決しようとする課題

0013

しかしながら、上述のような密結合型トランスコーダ60においては、以下のような問題点がある。

0014

密結合型トランスコーダ60に入力されるMPEG2ビットストリーム71は、符号化器での量子化処理で、すでに誤差を生じている。そして、密結合型トランスコーダ60の量子化器65において、再度量子化処理を行うことにより、さらに誤差を生じるため、トランスコーダ60を介して復号される画像の品質が大幅に低下してしまう。この問題点は、図8の依存型トランスコーダ20においても同様である。

0015

この現象について図10を用いて詳細に説明する。

0016

図10では、符号化器でDCT係数aおよびbが量子化されるときの様子を示している。

0017

図10(a)は、符号化器で例えば8Mbpsの転送速度を達成するために量子化幅2×qScaleでDCT係数aおよびbを量子化した時の様子を示す図であり、図10(b)は、符号化器で例えば15Mbpsの転送速度を達成するために量子化幅qScaleでDCT係数aおよびbを量子化し、トランスコーダでさらに例えば8Mbpsの転送速度に変換するために、逆量子化後に量子化幅2×qScaleで再量子化した時の様子を示す図である。

0018

図10(a)に示されるように、DCT係数aは、量子化係数0に、DCT係数bは、量子化係数1に量子化される。

0019

図10(b)に示されるように、始めに、DCT係数aおよびbは符号化器によって量子化幅qScaleで量子化され量子化係数1となる。符号化器で生成されたMPEG2ビットストリームはトランスコーダに入力される。トランスコーダでは、入力ビットストリームから量子化係数が分離され、逆量子化され後、再び量子化される。その結果、DCT係数aおよびbともに、量子化係数1に量子化される。

0020

図10(a)および(b)から分かるように、DCT係数aは符号化器で量子化幅2×qScaleで量子化されると0になるが、符号化器で量子化幅qScaleで量子化されると1になりトランスコーダに転送され、トランスコーダで逆量子化されさらに量子化幅2×qScaleで量子化されると1になる。DCT係数bは、何れの場合も同じ1に量子化されている。このように符号化器で一度量子化されたDCT係数が、トランスコーダにより再量子化されると、トランスコーダを介さないで量子化した場合と異なる値となる場合が出てくることがある。

0021

これはトランスコーダ内で得られた逆量子化係数と符号化器における入力画像のDCT係数との関係を、トランスコーダで知ることができないためである。すなわち、トランスコーダを介して再量子化をすると、DCT係数値によっては誤差が大きくなる可能性があるといった問題点がある。

0022

本発明は、量子化および逆量子化を伴う動画像または静止画像符号化装置および方法において、再量子化による画質の低下を低減する装置および方法を提供することを目的とする。

課題を解決するための手段

0023

請求項1記載の発明は、上記課題を解決するために、前記入力画像を変換係数直交変換する直交変換手段と、該変換係数を所定の量子化幅で量子化して量子化係数を算出する量子化手段と、該量子化係数を符号化して画像圧縮信号を出力する出力手段と、を備えた符号化器と、該符号化器の出力手段から出力され、伝送路を経由して転送された画像圧縮信号を入力して、該入力された画像圧縮信号から前記符号化器で量子化された量子化係数を分離して第1量子化係数とする信号分離手段と、該第1量子化係数を逆量子化して逆量子化係数を算出する逆量子化手段と、該逆量子化係数を前記符号化器の量子化手段の量子化幅とは異なる再量子化用量子化幅で量子化して第2量子化係数を算出する再量子化手段と、該第2量子化係数を符号化して圧縮画像信号を生成して出力する出力手段と、を備えた符号変換器と、を具備するスケーラビリティを有する画像符号伝送装置において、前記符号化器が、前記量子化係数を逆量子化して逆量子化係数を算出する逆量子化手段と、該逆量子化係数と前記変換係数とを比較する比較手段と、該比較手段における比較結果を示す識別情報を生成し出力する識別情報生成手段と、をさらに備え、前記符号変換器が、前記符号化器の識別情報生成手段から前記識別情報を入力し、該入力された識別情報に基づいて前記符号化器における比較結果を認識し、前記逆量子化係数を補正する補正手段と、をさらに備えるとともに、前記符号変換器の再量子化手段が、前記補正手段によって補正された逆量子化係数を前記再量子化用量子化幅で量子化することを特徴とする。

0024

この構成によれば、符号化器においてDCT係数と逆量子化係数を比較し、比較結果に基づいて識別情報を生成し、符号化器から符号変換器に入力するので、符号変換器で再量子化する際、入力された識別情報に基づいて符号化器での量子化前のDCT係数と逆量子化係数との関係を認識することができ、その結果、符号化器において逆量子化係数を補正することができ、再量子化による誤差を低減することができる。これにより再量子化による画質の低下を低減することができるスケーラビリティを有する画像符号伝送装置が提供される。

0025

符号変換器とは、符号化器によって生成された画像圧縮信号の転送速度を変換するトランスコーダであり、トランスコーダによって変換された画像圧縮信号は別の復号器で復号される。転送速度を制御するレート制御処理において、再量子化用量子化幅が求められ、その再量子化用量子化幅を用いて再量子化が行われる。

0026

識別情報は、例えば1ビットからなるフラグで示すことができ、所定のフォーマットで符号化された画像圧縮信号に付加して送出しても良いし、別途に設けた情報伝達媒体を経由して転送しても良い。

0027

請求項2記載の発明は、上記課題を解決するために、(a)入力画像を変換係数に直交変換する直交変換ステップと、(b)該変換係数を第1量子化幅で量子化して第1量子化係数を算出する第1の量子化ステップと、(c)該第1量子化係数を逆量子化して逆量子化係数を算出する第1の逆量子化ステップと、(d)前記第1の量子化ステップ(b)で算出された第1量子化係数を符号化して圧縮画像信号を出力する第1の出力ステップと、(e)該第1の出力ステップ(d)で出力され、伝送路を経由して転送された圧縮画像信号を入力して、該入力された圧縮画像信号から前記第1量子化係数を分離する信号分離ステップと、(f)該信号分離ステップ(e)で分離された第1量子化係数を逆量子化して前記逆量子化係数を算出する第2の逆量子化ステップと、(g)該第2の逆量子化ステップ(f)で算出された逆量子化係数を前記第1量子化幅とは異なる第2量子化幅で量子化して第2量子化係数を算出する第2の量子化ステップと、(h)該第2量子化係数を符号化して圧縮画像信号を生成して出力する第2の出力ステップと、を備えたスケーラビリティを有する画像符号伝送方法において、(i)前記第1の逆量子化ステップ(c)で算出された逆量子化係数と前記直交変換ステップ(a)で変換された変換係数とを比較する比較ステップと、(j)該比較ステップ(i)における比較結果を示す識別情報を生成し出力する識別情報生成ステップと、(k)前記識別情報を入力し、該入力された識別情報に基づいて前記比較ステップ(i)における比較結果を認識し、前記第2の逆量子化ステップ(f)で算出された逆量子化係数を補正する補正ステップと、をさらに備えるとともに、前記第2の量子化ステップ(g)において、前記補正ステップ(k)で補正された逆量子化係数を前記第2量子化幅で量子化することを特徴とする。

0028

この方法によれば、DCT係数と逆量子化係数を比較した結果を示す識別情報を生成し転送するので、再量子化する際、識別情報に基づいて第1の量子化前のDCT係数と逆量子化係数の関係を認識することができ、その結果、逆量子化係数を補正することができ、再量子化による誤差を低減することができる。これにより再量子化による画質の低下を低減することができるスケーラビリティを有する画像符号伝送方法が提供される。

0029

請求項3記載の発明は、上記課題を解決するために、(a)変数を第1量子化幅で量子化して第1量子化係数を算出する第1の量子化ステップと、(b)該第1量子化係数を逆量子化して逆量子化係数を算出する第1の逆量子化ステップと、(c)前記第1の量子化ステップで算出された第1量子化係数を転送する第1の転送ステップと、(d)該第1の転送ステップ(c)で転送された第1量子化係数を逆量子化して逆量子化係数を算出する第2の逆量子化ステップと、(e)前記第2の逆量子化ステップ(d)で算出された逆量子化係数を前記第1量子化幅とは異なる第2量子化幅で量子化して第2量子化係数を算出する第2の量子化ステップと、を有する再量子化方法において、(f)該第1の逆量子化ステップ(b)で算出された逆量子化係数と前記直交変換ステップ(a)で変換された変数とを比較する比較ステップと、(g)該比較ステップ(f)における比較結果を示す識別情報を生成する識別情報生成ステップと、(h)該識別情報を転送する第2の転送ステップと、(i)該第2の転送ステップ(h)で転送された識別情報に基づいて前記比較ステップにおける比較結果を認識し、前記第2の逆量子化ステップ(d)で算出された逆量子化係数を補正する補正ステップと、を備えるとともに、前記第2の量子化ステップ(e)において、該補正ステップ(i)で補正された逆量子化係数を前記第2量子化幅で量子化して第2量子化係数を算出することを特徴とする。

0030

この方法によれば、量子化係数を転送し、逆量子化後、異なる量子化幅で再量子化を行う再量子化処理において、始めの量子化前の変数と逆量子化係数を比較した結果を示す識別情報を生成し転送するので、再量子化時、識別情報に基づいて転送前の変数と逆量子化係数の関係を認識することができ、逆量子化係数を補正することができ、再量子化による誤差を低減することができる。

発明を実施するための最良の形態

0031

以下に図面に基づいて、本発明の詳細な説明を示すが、本発明は以下の実施例により限定されるものではない。尚、すべての図面において、同様な構成要素は同じ参照記号および符号を用いて示してある。

0032

図1〜4に本発明に係るスケーラビリティを有する画像符号伝送装置の第1実施例を示す。第1実施例のスケーラビリティを有する画像符号伝送装置は、動画像を入力して符号化する符号化器(図1)と、符号化器から出力されるビットストリームを、異なるレートを有するビットストリームに変換して出力するトランスコーダ(図3)と、を具備している。トランスコーダとは、符号化器によって所定の伝送フォーマットに則って作成された符号化信号を他の伝送フォーマットに変換したり、あるいは、転送速度を変換するものである。本実施例のトランスコーダは、MPEG2準拠のビットストリームを生成することを前提としているが、これに限定されるものではない。

0033

図1に、本発明に係るスケーラビリティを有する画像符号伝送装置の一部を構成する符号化器100を示す。同図に示されるように、符号化器100は、フレームメモリ103と、加算器105と、スイッチ107と、DCT109と、量子化器111と、レート制御部113と、逆量子化器115と、逆DCT117と、加算器119と、スイッチ121と、フレームメモリ123と、動き補償回路125と、モード制御部127と、多重化/VLC129と、判定部131と、補正部133と、を備えている。ここで、判定部131と補正部133以外は、一般的な符号化器の構成であるので詳細な説明は省略する。

0034

判定部131は、逆量子化器115およびDCT109に接続され、DCT109で求められたDCT係数と、逆量子化器115で求められた逆量子化係数と、を入力し、入力された値を比較し、比較結果に基づいて、識別情報として、ラウンディングフラグを生成して出力するものである。判定部131は、さらに多重化/VLC129に接続されており、このラウンディングフラグは多重化/VLC129に入力される。

0035

補正部133は、逆量子化器115および判定部131に接続され、逆量子化器115から逆量子化係数を入力し、判定部131からラウンディングフラグを入力する。入力されたラウンディングフラグに基づいて、入力された逆量子化係数を補正して出力する。補正部133は、さらに逆DCT117に接続されており、この補正後の値が逆DCT117に入力される。

0036

一般的な符号化器では、逆量子化器115が逆DCT117に接続されている。従って、本実施例は一般的な符号化器の逆量子化器115と逆DCT117の間に、判定部131および補正部133を挿入した構成となっている。

0037

DCT109、量子化器111、逆量子化器115、判定部131、補正部133および多重化/VLC129における処理の詳細を以下に示す。

0038

DCT109は、フレームメモリ103を介して入力された画像をDCT変換してDCT係数を算出する。

0039

量子化器111は、DCT109から入力されたDCT係数に対して量子化を行う。MPEG2における一般的な量子化演算の式は下記に示されるとおりである。

0040

逆量子化器115は、上述の量子化係数levelに対し逆量子化を行い、逆量子化係数dqlevelを求め出力する。MPEG2標準において定められている逆量子化演算式は下記に示されるとおりである。

0041

多重化/VLC129は、レート制御部113、量子化器111、判定部131、モード制御部127、および図示されない動きベクトル探索回路に接続されて、量子化特性情報、量子化係数、ラウンディングフラグ、モード制御信号、動きベクトルをそれぞれ入力する。量子化器111から入力された量子化係数levelは多重化/VLC129によって2次元可変長符号化され、所定の伝送フォーマットで、量子化特性情報、モード制御信号、動きベクトルなどと多重化される。

0042

図2に示されるように、ラウンディングフラグは上記の伝送フォーマットに付加されて出力される。すなわち、2次元可変長符号化された信号(図2では「2DVLC」と示されている)の直後にラウンディングフラグを1ビットで符号化して付け加えて、ビットストリームとして出力される。

0043

本実施例では、識別情報は1ビットからなるフラグで示され、可変長符号化信号2DVLCに続けて送出されるが、これに限定されるものではない。他の実施の形態においては、別途に設けた情報伝達媒体を経由して転送しても良い。

0044

補正部133は、下記の式(3)により逆量子化係数dqlevelを補正してdqlevel’を求める。

0045

式(3)の第2項目量子化ステップサイズの4分の1の値を示しており、ラウンディングフラグによって、量子化ステップサイズの4分の1分だけ補正するものである。すなわち、ラウンディングフラグが0の場合は、量子化ステップサイズの4分の1だけ大きい方に逆量子化値を補正し、ラウンディングフラグが1の場合は、量子化ステップサイズの4分の1だけ小さい方に逆量子化値を補正する。本実施例では量子化ステップサイズの4分の1だけ補正するようにしたが、これに限定されるものではなく、システム毎に最適な補正幅で調整されれば良い。好ましい補正幅は量子化幅の2分の1より小さい値である。例えば補正幅が8分の1の場合は、上記の式(3)の「64」が「128」になり、補正幅が3分の1の場合は、「48」となる。

0046

このようにして補正され逆量子化係数dqlevel’は逆DCT117によって逆DCT処理され、加算器119に入力され、その後、動き補償回路125およびモード制御部127で用いられる。

0047

図3に、本発明に係るスケーラビリティを有する画像符号伝送装置の一部を構成するトランスコーダ150を示す。トランスコーダ150は符号化器によって作成された符号化信号の転送速度を他の転送速度を有する符号化信号に変換するものである。トランスコーダ150によって変換された符号化信号は、別の復号器で復号される。転送速度を変換するために、再量子化が行われる。

0048

図3のトランスコーダ150は、図1の符号化器100によって生成されたビットストリーム151を入力し、所定の目標レート値を有するMPEG2ビットストリーム153に変換して出力するものである。

0049

同図に示されるように、トランスコーダ150は、VLD155と、逆量子化器157と、量子化器159と、レート制御部161と、VLC163と、補正部165とを備えている。図9に示された従来のトランスコーダ60の逆量子化器63と量子化器65の間に、補正部165が挿入された構成になっている。

0050

VLD155は、図1の符号化器100で生成されたラウンディングフラグを含むビットストリーム151を入力し、ビットストリーム151からラウンディングフラグ173と、第1量子化係数level175と、を分離して可変長復号する。

0051

逆量子化器157は、VLD155に接続され、第1量子化係数level175を入力して、MPEG2標準において定められている逆量子化演算式によって逆量子化を行う。演算式は上記の式(2)と同じである。

0052

補正部165は、逆量子化器157およびVLD155に接続され、入力MPEG2ビットストリーム151から得られたラウンディングフラグ173に基づいて、上記の逆量子化器157で求められた逆量子化係数dqlevelを上記の式(3)で補正する。これにより、トランスコーダ150の補正部165では、符号化器100の補正部133で求められた補正後の逆量子化係数dqlevel’と同じ値が得られることになる。

0053

量子化器159は、補正部165に接続され、補正後の逆量子化係数dqlevel’を入力し、量子化を行い第2量子化係数tlevelを求める。MPEG2における一般的な量子化演算式は下記に示すとおりである。

0054

このようにして求められた第2量子化係数tlevelは、VLC163に入力され、可変長符号化されてMPEG2ビットストリーム153として出力される。

0055

図4は、本実施例のスケーラビリティを有する画像符号伝送装置と従来のスケーラビリティを有する画像符号伝送装置における、再量子化の結果を示すグラフである。同図において、X軸が量子化前のDCT係数、Y軸が再量子化後の量子化係数を示している。実線aが、量子化幅2×qScaleで、DCT係数を量子化した場合の量子化係数を示している。一点破線bが、従来のスケーラビリティを有する画像符号伝送装置において、符号化器で量子化幅qScaleで量子化されたDCT係数を、トランスコーダで逆量子化後に、量子化幅2×qScaleで再量子化した場合の量子化係数を示している。点線cは実線aと重なっているが、本実施例のスケーラビリティを有する画像符号伝送装置において、符号化器で量子化幅qScaleで量子化されたDCT係数を、トランスコーダで逆量子化後に、量子化幅2×qScaleで再量子化した場合の量子化係数を示している。ここで、量子化および逆量子化の演算式に使用した定数は、QM=16、qScale=4である。

0056

従来のスケーラビリティを有する画像符号伝送装置で再量子化された値と直接量子化された値との差は、上記の場合、平均で0.26。本実施例のスケーラビリティを有する画像符号伝送装置で再量子化された値と直接量子化された値との差は、上記の場合、0となり、従来のスケーラビリティを有する画像符号伝送装置で生じていた誤差が解消された。

0057

また、再量子化幅を4×qScaleにした場合は、従来のスケーラビリティを有する画像符号伝送装置で再量子化された値と直接量子化された値との差は、平均で0.12。本実施例のスケーラビリティを有する画像符号伝送装置で再量子化された値と直接量子化された値との差は0なり、この場合も従来のスケーラビリティを有する画像符号伝送装置で生じていた誤差が解消されたことになる。

0058

本実施例によれば、従来のトランスコーダにラウンディングフラグを入力し、補正部165を追加するだけで、MEPG2ビットストリームをトランスコーダによる再量子化による誤差を低減でき、画質を低下させることなくMPEG2準拠のシンタックスを有するビットストリームに変換させることが可能となる。

0059

次に、第1実施例のトランスコーダ150の別態様として、トランスコーダ250を具備するスケーラビリティを有する画像符号伝送装置を本発明の第2実施例として説明する。

0060

図5に、第2実施例のスケーラビリティを有する画像符号伝送装置の一部を構成するトランスコーダ250を示す。同図に示されるように、トランスコーダ250は、第1実施例のトランスコーダ150と同じVLD155、レート制御部161およびVLC163に加えて、補正部265を備えている。

0061

補正部265は、VLD155に接続され、ラウンディングフラグ173および第1量子化係数level175を入力する。補正部265では、第1実施例の逆量子化器157、量子化器159および補正部165の処理を結合し、DCT係数変換演算処理を簡易にすることにより、トランスコーダ250における処理効率を向上させ、高速化を実現するものである。以下に、補正部265で使用される演算式を導く手順を記述する。

0062

始めに、第1実施例の式(3)に式(2)を代入して式(5)を得る。

0063

本実施例によれば、第1実施例のトランスコーダに比べて、ラウンディングフラグを含むMPEG2ビットストリームから異なる転送速度を有するMPEG2ビットストリームへの変換を高速に行うことが可能である。

0064

図6は、本発明に係るスケーラビリティを有する画像符号伝送装置の第3実施例を示している。同図によれば、第3実施例のスケーラビリティを有する画像符号伝送装置は、符号化器300と、トランスコーダ350を具備している。符号化器300とトランスコーダ350は、伝送路335を介して互いに接続されている。

0065

符号化器300は、第1実施例の符号化器100から補正部133を削除したものであり、入力画像を符号化して所定の転送速度を有するMPEG2ビットストリームを出力するものである。出力されたMPEG2ビットストリームは、伝送路335を経由してトランスコーダ350へ転送される。符号化器300の判定部131で生成されたラウンディングフラグは、MPEG2ビットストリームとは異なる伝送経路373でトランスコーダ350に転送される。

0066

トランスコーダ350は、第2実施例のトランスコーダ250のVLD155の替りに、符号化器300から伝送路335を介してMPEG2ビットストリームを入力し、第1量子化係数level175を分離して可変長復号するVLD355を備えており、VLD355以外は、第2実施例のトランスコーダ250と同じ構成である。トランスコーダ350の補正部265へのラウンディングフラグの入力は、伝送路335を経由せず、別の伝送経路373で入力される。トランスコーダ350は、符号化器300から伝送路335を経由して入力されたMPEG2ビットストリームの転送速度を変換して新たなMPEG2ビットストリーム353を生成し出力するものである。

0067

本実施例では、第2実施例のトランスコーダ250の構成と同様な構成のトランスコーダ350としたが、第1実施例のトランスコーダ150あるいは、他のトランスコーダであっても良い。

0068

本実施例によれば、符号化器300から伝送路335を介して出力されるビットストリームをMPEG2標準に準拠させることが可能となる。

0069

上記の実施例では、MPEG2に準拠したスケーラビリティを有する画像符号伝送装置について説明をしてきたが、これに限定されるものではなく、量子化および逆量子化を伴う動画像符号化方式、または静止画像符号化方式についても同様な方法により再量子化による誤差の低減を実現することができる。

発明の効果

0070

本発明によれば、量子化された量子化係数を転送して転送先で再度量子化を行う場合、始めの量子化前の変数と逆量子化係数を比較し、その比較結果を示す識別情報として、ラウンディングフラグを生成して転送するので、始めの量子化と異なる量子化幅で再度量子化する際、転送されたラウンディングフラグに基づいて始めの量子化前の変数と逆量子化係数の関係を認識でき、転送された量子化係数を逆量子化して得られた逆量子化係数を補正でき、補正後の逆量子化係数を再度量子化するので、再量子化による誤差を低減できる。

図面の簡単な説明

0071

図1本発明に係るスケーラビリティを有する画像符号伝送装置の第1実施例における符号化器の構成を示すブロック図である。
図2図1に示された符号化器で符号化された可変長符号化信号のフォーマットの一例を示す図である。
図3本発明に係るスケーラビリティを有する画像符号伝送装置の第1実施例におけるトランスコーダの構成を示すブロック図である。
図4第1実施例のスケーラビリティを有する画像符号伝送装置と従来のスケーラビリティを有する画像符号伝送装置における再量子化の結果を示すグラフである。
図5本発明に係るスケーラビリティを有する画像符号伝送装置の第2実施例におけるトランスコーダの構成を示すブロック図である。
図6本発明に係るスケーラビリティを有する画像符号伝送装置の第3実施例における符号化器およびトランスコーダの構成を示すブロック図である。
図7従来の単純結合型トランスコーダの構成を示すブロック図である。
図8従来の依存型トランスコーダの構成を示すブロック図である。
図9従来の密結合型トランスコーダの構成を示すブロック図である。
図10従来のトランスコーダにおける量子化処理の様子を示す図である。

--

0072

100、300符号化器
101入力画像
109 DCT(直交変換手段)
111量子化器(量子化手段)
115逆量子化器(逆量子化手段)
129多重化/VLC(出力手段)
131 判定部(比較手段、識別情報生成手段)
133補正部
150、250、350トランスコーダ(符号変換器)
155、355 VLD(信号分離手段)
157 逆量子化器(逆量子化手段)
159 量子化器(再量子化手段)
161レート制御部
163 VLC(出力手段)
165、265 補正部(補正手段)
173、273ラウンディングフラグ(識別情報)
335伝送路
373 伝送路

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 株式会社東芝の「 AD変換回路」が 公開されました。( 2020/09/24)

    【課題】一つの実施形態は、信号に含まれる誤差を低減できるAD変換回路を提供することを目的とする。【解決手段】一つの実施形態によれば、AD変換回路の第1のΔΣ変換回路において、第1の量子化器は、1.5ビ... 詳細

  • 株式会社デンソーの「 データ圧縮方法、データ圧縮装置」が 公開されました。( 2020/09/24)

    【課題】データを可逆的且つ効率よく圧縮することができるデータ圧縮方法、データ圧縮装置を提供する。【解決手段】実施形態のデータ圧縮方法は、文字および数字の少なくとも一方を含むデータを圧縮するものであって... 詳細

  • シャープ株式会社の「 画像スケーリング変換、逆変換装置及び方法」が 公開されました。( 2020/09/24)

    【課題】画質の低下を抑制可能な画像処理装置を実現する。【解決手段】画素スケーリング階調変換部(51)は、入力画像の各画素値にオフセットを加算又は減算したうえでスケーリングすることによりスケーリング済画... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ