図面 (/)

技術 データストリームを復号化するときエラーをマスキングする方法と装置

出願人 エステーミクロエレクトロニクスソシエテアノニム
発明者 リシャルトブランル
出願日 1996年6月10日 (24年5ヶ月経過) 出願番号 1996-147437
公開日 1997年4月22日 (23年6ヶ月経過) 公開番号 1997-107545
状態 未査定
技術分野 記録のためのテレビジョン信号処理 記録に関連するカラーTV信号処理 TV信号の圧縮,符号化方式 TV信号の圧縮,符号化方式
主要キーワード 相関位置 視覚的印象 周波数レベル 復号化コード 再グループ化 ゼロ周波数 列メモリ 出力コード
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(1997年4月22日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (2)

課題

本発明はMPEG標準に従って符号化された動画を表すデータストリーム復号化するときエラーマスキングする方法と装置を提供する。

解決手段

可変長復号器1によって発生された情報が、画像を形成するためそれ自体が関連する列を形成するために互いに関連するマクロブロックを形成する動きベクトルによって供給される情報の関数として再グループ化される。各画像(n)に関する動きベクトルが、次の画像(n+1)用のマクロブロックが再グループ化される間にマスキングメモリ6内に格納され、発生された情報の何れかにおいてエラーが検出されたとき、このマクロブロックは消去され、先の画像(n)内の対応するマクロブロックと同一値を有するマクロブロックによって置き換えられる。

概要

背景

MPEG標準は動画が符号化されたり復号化されたりする条件を規定する。ディジタル化された画像伝送及び蓄積技術は、アナログ伝送と比較して最終的に得れる画像の質を相当に改善できる。これらの技術はまた広い応用範囲を有する。

しかしながら、ディジタル化された動画の伝送と蓄積は極めて高い情報スループットを必要とするので、実際にはこれらの画像を圧縮して符号化すことが必要である。ディジタル化された画像はしたがって、それらを表す情報量を減少させるために、伝送前に符号化され、次いで伝送後に復号化される。

明らかに、符号化及び復号化の技術は最終的な画像の質にとって本質的であり、それらを標準化してこれらの技術を用いる様々な装置が互換性があるようにすることが必要になってきた。こうしてエキスパートグループ(Movingin Picture Expert Group-MPEG)は、ISO標準11172 とISOIEC標準13818 を開発した。

これら二つの標準はしばしばMPEG1、及びMPEG2と呼ばれており、画像の蓄積と再生、及びそれらの伝送のために、音声信号と関連する可能性のある、等しく適切に用いることができる動画のための、符号化と復号化のための条件を定めている。それゆえ、このMPEG標準は、コンパクトディスクインタラクティブ・コンパクトディスク、磁気テープへの画像の蓄積、LAN又は電話線を介した画像の伝送、及び無線通信によるテレビ画像の伝送に用いることができる。

この技術を詳細に完全に定めている標準は標準化機構から得ることができ、詳細な記載を参照できる。MPEG標準に従って用いられるデータ圧縮はいくかの方法で処理できる。シーケンスを形成する画像グループを形成するために、連続する画像が最初に集められる。したがって、1つのシーケンスは画像グループに細分される。

各画像は列(row )に分割され、各列それ自体は、移動補償を適用するため、そして、必要であれば、量子化スケールを変更するために使用されるベーシック要素を形成するマクロブロックブレークダウンされている。マクロブロックは16×16マトリックス画素ピクセル)から形成されている。

各マクロブロックは通常6ブロックに分割され、最初の4つのブロックは輝度情報を含み、他の2つのブロックは各々色情報を含む。これら6つのブロックの各々は8×8画素(ピクセル)のマトリックスとして定義される。蓄積されるべき又は伝送されるべき情報の量を減少させるために、同じシーケンス内で異なる画像内に含まれる情報の間の類似性を使用することにより、異なるタイプの画像が各シーケンスの内部で定義される。

I(イントラフレーム)画像は他の画像を参照しないで符号化される。P(プレディクテッド)画像は前回再構成されたI又はP画像から導かれる。B(バイディレクシナルフレーム)画像は、通常は直前のものと直後のものである2つの再構成されたI及びP又はP及びP画像から導かれる。一般に、あるシーケンス内で画像が伝送される順番は、取得又は再生の間にそれらが提供される順番とは同じではないということをここで強調しておくべきである。それらは復号化の順である。

離散的余弦変換(DCT)がこれらのブロックに適用される。このDCT変換は8×8画素マトリックスで上記のように定義された空間ブロックを、空間周波数の他の8×8マトリックスから形成された時間的ブロックに変換する。マトリックスの左上に配置された、時間ブロックの8×8マトリックスにおける連続的なバックグランド係数(DC)は、異なる周波数に対応する他の成分よりも、視覚的印象の為にはより重要である、ということが示されてきた。

より正確には、眼は高周波に対しては感度が低い。これが周波数レベルが特に高周波で量子化(quantified) される理由である。この量子化は、標準によっては課せられない、アルゴリズムにより行われる。DCT変換により得られた周波数領域におけるマトリックスは次いで、これらの係数により表される様々な周波数の重みは変化するということを考慮にいれて、時間領域マトリックスにおける期間の各々をその位置に依存する値により割り算するために用いられる、いわゆる「量子化(quantification)マトリックス」により処理される。

各加入者値が最も近い整数値に丸められた後に、この演算の結果はゼロに等しい多数の係数を与える。バックグランド係数(DC)の量子化の値は、内部マクロブロックに対して一定であり、例えば8に等しいということを強調すべきである。非ゼロ周波数係数は次いでハフマンのテーブルを参照してジグザグスキャンにより符号化され、マトリックス内の各係数に可変長符号割り当て、情報の量を減少させる。

好ましくは、連続バックグランドを表す係数は量子化の後に伝送され、さらに、量子化マトリックスは、伝送された情報の質を著しく劣化させることなく、情報量が蓄積又は伝送能力マッチする所定レベルより少なくなるように、最適化される。タイプIの画像は動きベクトルの使用なしに符号化される。

しかしながら、タイプP及びBの画像は、符号化の効率を増すために、及び考慮された画像における特定のマクロブロックが決定されるべき基準画像の部分を示すために、それらの中に含まれる少なくともいくつかのマクロブロックに対して、動きベクトルを使用する。動きベクトルの検索は、符号化の間に最適化され、同一画像における異なるマクロブロックからの動きベクトル間の相関関係最良の使用をするDPCM技術を使用して、それ自体符号化される。最後に、可変長コード(VLC)がこれらに適用される。

符号化されたシーケンスに関するすべての情報は、記録されるか伝送されるであろうビットストリームを作り上げる。このタイプのビットストリームは与えられた量の情報を含むシーケンスヘッダと、シーケンス全体に対して一定の値のパラメータとでスタートする。同様に、シーケンスは画像のグループに分解されるので、これらのグループの各々にグループヘッダ先行し、各画像を表すデータに画像ヘッダが先行する。

概要

本発明はMPEG標準に従って符号化された動画を表すデータストリームを復号化するときエラーマスキングする方法と装置を提供する。

可変長復号器1によって発生された情報が、画像を形成するためそれ自体が関連する列を形成するために互いに関連するマクロブロックを形成する動きベクトルによって供給される情報の関数として再グループ化される。各画像(n)に関する動きベクトルが、次の画像(n+1)用のマクロブロックが再グループ化される間にマスキングメモリ6内に格納され、発生された情報の何れかにおいてエラーが検出されたとき、このマクロブロックは消去され、先の画像(n)内の対応するマクロブロックと同一値を有するマクロブロックによって置き換えられる。

目的

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

画像を形成するためそれ自体が関連する列を形成するために互いに関連するマクロブロックを形成するための動きベクトルによって供給される情報の関数として再グループ化される可変長復号器(1)によって情報が発生される、MPEG標準の1つに従って符号化された動画を表すデータストリーム復号化するときエラーマスキングする方法において、次の画像(n+1)の対応する列におけるマクロブロックが再グループ化される間に、画像(n)内の各列に関する動きベクトルが、FIFO(ファーストインファーストアウト形式メモリ内に格納され、次の画像(n+1)用のマクロブロックが形成される間に、前記可変長復号器(1)により発生される情報内にエラーが検出されたとき、このマクロブロックは、消去され、先の画像(n)内の同一列における対応するマクロブロックと同一値を有するマクロブロックに置き換えられることを特徴とするデータストリームを復号化するときエラーをマスキングする方法。

請求項2

次の画像(n+1)のマクロブロックが、先の画像(n)における対応するマクロブロックと同一値を有するマクロブロックによって置き換えられるとき、このマクロブロックが属する画像(n)に従う画像(n+1)の全ての列が、先の画像(n)における対応する列によって置き換えられる請求項1に記載のデータストリームを復号化するときエラーをマスキングする方法。

請求項3

可変長復号器(1)により発生される1つのシーケンスの情報を受け、エラーをマスキングできる画像を形成するためそれ自体が関連する列を形成するため互いに関連するマクロブロックを形成するために該情報をグループ化するよう設計する、MPEG標準に従って符号化された動画を表すデータストリームを復号化する装置において、前記装置は、画像(n)における1つの完全な列に関する動きベクトルを含むよう設計されたFIFO(ファーストインファーストアウト)形式のマスキングメモリ(6)と、形成されるマクロブロックを表す情報を含むように設計されるマクロメモリ(5)と、入力が前記マスキングメモリ(6)および前記マクロブロックメモリ(5)にそれぞれ接続され、画像(n+1)に対応する列内にマクロブロックをグループ化するときに、制御入力が前記可変長復号器(1)からのエラー出力に接続されるマルチプレクサ(9)であって、そのマクロブロックの形成中にエラー信号が前記可変長復号器(1)により送られないとき、受信したマクロブロックの代表値を下流のエレメント送り、そのマクロブロックの形成中にエラー信号が前記可変長復号器(1)により送られるとき、前記画像(n)における対応するマクロブロックの代表値を下流のエレメントに送るマルチプレクサ(9)と、を備えることを特徴とするデータストリームを復号化する装置。

請求項4

前記装置は、マクロブロックメモリ(5)を含む列メモリを備え、形成された該列を表す値のセットが、そのマクロブロックの形成中にエラー信号が送られるとき、画像(n)の対応する列内における値のセットによって置き換えられる請求項3に記載のデータストリームを復号化する装置。

技術分野

0001

本発明はMPEG標準に従って符号化された動画を表すデータストリーム復号化するときエラーマスキングする方法と装置に関する。

背景技術

0002

MPEG標準は動画が符号化されたり復号化されたりする条件を規定する。ディジタル化された画像伝送及び蓄積技術は、アナログ伝送と比較して最終的に得れる画像の質を相当に改善できる。これらの技術はまた広い応用範囲を有する。

0003

しかしながら、ディジタル化された動画の伝送と蓄積は極めて高い情報スループットを必要とするので、実際にはこれらの画像を圧縮して符号化すことが必要である。ディジタル化された画像はしたがって、それらを表す情報量を減少させるために、伝送前に符号化され、次いで伝送後に復号化される。

0004

明らかに、符号化及び復号化の技術は最終的な画像の質にとって本質的であり、それらを標準化してこれらの技術を用いる様々な装置が互換性があるようにすることが必要になってきた。こうしてエキスパートグループ(Movingin Picture Expert Group-MPEG)は、ISO標準11172 とISOIEC標準13818 を開発した。

0005

これら二つの標準はしばしばMPEG1、及びMPEG2と呼ばれており、画像の蓄積と再生、及びそれらの伝送のために、音声信号と関連する可能性のある、等しく適切に用いることができる動画のための、符号化と復号化のための条件を定めている。それゆえ、このMPEG標準は、コンパクトディスクインタラクティブ・コンパクトディスク、磁気テープへの画像の蓄積、LAN又は電話線を介した画像の伝送、及び無線通信によるテレビ画像の伝送に用いることができる。

0006

この技術を詳細に完全に定めている標準は標準化機構から得ることができ、詳細な記載を参照できる。MPEG標準に従って用いられるデータ圧縮はいくかの方法で処理できる。シーケンスを形成する画像グループを形成するために、連続する画像が最初に集められる。したがって、1つのシーケンスは画像グループに細分される。

0007

各画像は列(row )に分割され、各列それ自体は、移動補償を適用するため、そして、必要であれば、量子化スケールを変更するために使用されるベーシック要素を形成するマクロブロックブレークダウンされている。マクロブロックは16×16マトリックス画素ピクセル)から形成されている。

0008

各マクロブロックは通常6ブロックに分割され、最初の4つのブロックは輝度情報を含み、他の2つのブロックは各々色情報を含む。これら6つのブロックの各々は8×8画素(ピクセル)のマトリックスとして定義される。蓄積されるべき又は伝送されるべき情報の量を減少させるために、同じシーケンス内で異なる画像内に含まれる情報の間の類似性を使用することにより、異なるタイプの画像が各シーケンスの内部で定義される。

0009

I(イントラフレーム)画像は他の画像を参照しないで符号化される。P(プレディクテッド)画像は前回再構成されたI又はP画像から導かれる。B(バイディレクシナルフレーム)画像は、通常は直前のものと直後のものである2つの再構成されたI及びP又はP及びP画像から導かれる。一般に、あるシーケンス内で画像が伝送される順番は、取得又は再生の間にそれらが提供される順番とは同じではないということをここで強調しておくべきである。それらは復号化の順である。

0010

離散的余弦変換(DCT)がこれらのブロックに適用される。このDCT変換は8×8画素マトリックスで上記のように定義された空間ブロックを、空間周波数の他の8×8マトリックスから形成された時間的ブロックに変換する。マトリックスの左上に配置された、時間ブロックの8×8マトリックスにおける連続的なバックグランド係数(DC)は、異なる周波数に対応する他の成分よりも、視覚的印象の為にはより重要である、ということが示されてきた。

0011

より正確には、眼は高周波に対しては感度が低い。これが周波数レベルが特に高周波で量子化(quantified) される理由である。この量子化は、標準によっては課せられない、アルゴリズムにより行われる。DCT変換により得られた周波数領域におけるマトリックスは次いで、これらの係数により表される様々な周波数の重みは変化するということを考慮にいれて、時間領域マトリックスにおける期間の各々をその位置に依存する値により割り算するために用いられる、いわゆる「量子化(quantification)マトリックス」により処理される。

0012

各加入者値が最も近い整数値に丸められた後に、この演算の結果はゼロに等しい多数の係数を与える。バックグランド係数(DC)の量子化の値は、内部マクロブロックに対して一定であり、例えば8に等しいということを強調すべきである。非ゼロ周波数係数は次いでハフマンのテーブルを参照してジグザグスキャンにより符号化され、マトリックス内の各係数に可変長符号割り当て、情報の量を減少させる。

0013

好ましくは、連続バックグランドを表す係数は量子化の後に伝送され、さらに、量子化マトリックスは、伝送された情報の質を著しく劣化させることなく、情報量が蓄積又は伝送能力マッチする所定レベルより少なくなるように、最適化される。タイプIの画像は動きベクトルの使用なしに符号化される。

0014

しかしながら、タイプP及びBの画像は、符号化の効率を増すために、及び考慮された画像における特定のマクロブロックが決定されるべき基準画像の部分を示すために、それらの中に含まれる少なくともいくつかのマクロブロックに対して、動きベクトルを使用する。動きベクトルの検索は、符号化の間に最適化され、同一画像における異なるマクロブロックからの動きベクトル間の相関関係最良の使用をするDPCM技術を使用して、それ自体符号化される。最後に、可変長コード(VLC)がこれらに適用される。

0015

符号化されたシーケンスに関するすべての情報は、記録されるか伝送されるであろうビットストリームを作り上げる。このタイプのビットストリームは与えられた量の情報を含むシーケンスヘッダと、シーケンス全体に対して一定の値のパラメータとでスタートする。同様に、シーケンスは画像のグループに分解されるので、これらのグループの各々にグループヘッダ先行し、各画像を表すデータに画像ヘッダが先行する。

発明が解決しようとする課題

0016

他の理由によりここに伝送されるデジタル情報又はデータは誤って変更されたデータを含む。伝送された情報が再伝送中に失われそれゆえ受信時に無くなってしまうこともある。この場合、可変長復号器は、受信した情報内にこれらの誤りを検出し、その結果、復号化コードにおいて伝送可能とする。これらの誤りは画像の質を落とす原因となり得る。

0017

この問題を補償すべく、仏国特許出願第2,696,026号はエラーをマスキングする新規な方法を提案している。本発明は、これらの欠陥にも関わらず、発生された画像の質を改善するためのマスキング方法と装置を提案するものである。

課題を解決するための手段

0018

したがって、本発明は、MPEG標準の1つに従って符号化された動画を表すデータストリームを復号化するときエラーをマスキングする方法に関し、可変長復号器によって発生された情報が、画像を形成するためそれら自体が関連する列を形成するために互いに関連するマクロブロックを形成する動きベクトルによって供給される情報の関数として再グループ化される。

0019

本発明の方法によれば、画像(n)内の各列に関する動きベクトルは、次の画像の対応する列(n+1)内のマクロブロックが再グループ化される間に、FIFO(first-in first-out)形式メモリに格納される。次の画像(n+1)用のマクロブロックが形成される間に、可変長復号器によって発生される情報内にエラーが検出されたとき、このマクロブロックは、消去され、先の画像(n)内の同一列における対応するマクロブロックと同一値を有するマクロブロックによって置き換えられる。

0020

好適実施例において、マクロブロック形成中に検出されたエラーは、このマクロブロックが属する画像に従う画像(n+1)内の全ての列を、先の画像(n)内の対応する列によって置き換えらせる。本発明は、また、MPEG標準に従って符号化された動画を表すデータストリームを復号化する装置に関し、このMPEG標準は、可変長復号器によって発生された情報のシーケンスを受信するよう設計され、かつマスキングエラーを発生し得る画像を形成するためにそれら自体が関連する列を形成するため、互いに関連するマクロブロックを形成するため、この情報をグループ化するよう設計される。

0021

本発明の装置によれば、画像(n)内の完全な列に関する動きベクトルを含むように設計されたFIFO(first-in first-out)マスキングメモリと、形成されたマクロブロックを表す情報を含むように設計されたマクロブロックメモリと、入力が該マスキングメモリや該マクロブロックメモリにそれぞれ接続され、制御入力が可変長復号器からのエラー出力に接続されるマルチプレクサと、を具備する。画像(n+1)に対応する列内におけるマクロブロックをグループ化するとき、マルチプレクサは、そのマクロブロックの形成中にエラー信号が可変長復号器により送られないとき、マクロブロックの代表値を下流のエレメント送り、そのマクロブロックの形成中にエラー信号が送られるとき、画像(n)の列における対応するマクロブロックの代表値を下流のエレメントに送る。

0022

好適実施例において、本発明の装置は、マクロブロックメモリを含む列メモリを備え、形成された列の代表値のセットは、そのマクロブロックの形成中にエラー信号が送られるとき画像(n)内の対応する列における値のセットによって置き換えられる。

発明を実施するための最良の形態

0023

以下、添付した単一の図面を参照しつつ本発明を詳細に説明する。図1は本発明による装置の一実施例を概略的に示すブロック図である。可変長復号器1はMPEG標準の1つに従って符号化された情報ストリーム2を受信する。可変長復号器1は、その出力3上に復号化された複数のコードからなる1つのシーケンスを供給し、そのエラー出力4上に前記コードの1つが認識されて受信されず復号化できなかったときエラー信号を供給する。

0024

データ出力3は、第1にマクロブロックメモリ5に接続され、第2にマスキングメモリ6に接続される。これらのメモリはそれぞれの出力7、8を介してマルチプレクサ9に接続され、マルチプレクサ9の制御入力10は可変長復号器1のエラー出力4に接続される。マルチプレクサ9はその出力側で装置により使用されることとなる出力コード11のストリームを外部へ供給する。

0025

所定の時間に、可変長復号器1により出力されたコードは、同一画像内の次の列(n+1)を呼び出す列を形成するためのマクロブロックメモリ5内に格納される。この瞬間に、マスキングメモリ6は、先の画像(n)の対応する列における1セットの動きベクトルを含む。

0026

可変長復号器1により受信されたデータ2が、これらの生成そして/又は伝送中に重要な意味をもって変形されなかったとき、これらのデータは、可変長復号器1により正確に認識され、可変長復号器1が表す全ての情報がマクロブロックメモリ5内に結合されるとき、マクロブロックの形成が開始する。このマクロブロックメモリ5がマクロブロックを表す全ての情報を含むとき、受信されたマクロブロックはマルチプレクサ9に送られ、次いでその制御入力10上にエラー信号がないとき、出力データストリーム11に送られる。

0027

他方、入力データストリーム2が誤って変更されたとき、可変長復号器1はそのコードの1つを認識することが不可能となり、可変長復号器1はその出力4を介してエラーコードをマルチプレクサ9の制御入力10へ送る。マクロブロックメモリ5内にすでに格納された情報は、次に消去され、マスキングメモリ6内に含まれる対応する情報は、出力8を介してマルチプレクサ9へ送られ、制御入力10のエラー信号の存在により、出力データストリーム11へ送られる。

0028

連続する画像(n)、(n+1)は、所定の順序と機能をもつ複数のコードからなる1つのシーケンスによって表される。画像(n)内のその列における類似のマクロブロックは、画像(n+1)内の列において正確に定義されるマクロブロックであり、ここで、マクロブロックは、画像(n+1)内の列にあると考慮されたものと、画像(n)内の列の定義において同一機能と同一位置を有する。

0029

次の画像(n+1)に対して先にあるものとして定義された先の画像(n)は、次の画像(n+1)用のデータの前に入力データストリーム2内に伝送された情報を含む画像である。これは、復号化の結果として最終的に得られる動画のシーケンスの再生における画像の相関位置に関して独立なものである。他の実施例において、マクロブロックメモリ5はより大きい容量をもつ列メモリによって置き換えることができる。列を表す値のセットがマクロブロックメモリ5内に保持され、そのセットが列を表す全ての情報を含むとき、単にマルチプレクサ9へ送られる。

0030

この実施例において、列の代表値を集める間に、可変長復号器1がその出力4を介してマルチプレクサ9の制御入力10へエラー信号を送るとき、この全列はマスキングメモリ6内に含まれる先の画像(n)からの対応する列によって置き換えられる。

図面の簡単な説明

0031

図1本発明による装置の一実施例を概略的に示すブロック図である。

--

0032

1…可変長復号器
5…マクロブロックメモリ
6…マスキングメモリ
9…マルチプレクサ

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ