図面 (/)

この項目の情報は公開日時点(2003年10月24日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (13)

課題

デジタルカメラあるいはデジタルカラーコピーに代表されるデジタルイメージング機器において、原画像データ圧縮符号化処理を施して蓄積あるいは表示・印刷系に転送する情報量を削減する際に、必要に応じた再符号化処理を交えながら許容される圧縮率の範囲内で符号化歪みが最も小さい符号化データ列を生成し、一連の圧縮符号化処理に費やされる時間を最小限に抑える。

解決手段

符号化器によって生成された符号化データ量積算値および原画像データを構成する各コンポーネントの符号化データ列の構成比をもとに以降の部分領域の符号化処理で用いる量子化スケーリング値更新値を決定する。その量子化スケーリング値の更新値を用いて既に符号化処理がなされた部分領域に対する再符号化処理を実行する。また同更新値を用いて以降の部分領域に対する符号化処理を実行する。このことによって適切な符号化パラメータによる情報量制御が実現できる。

概要

背景

現在、静止画像に対する圧縮符号化処理機能は多くのデジタルイメージング機器に搭載されている。これらデジタル・イメージング機器の代表的なものはデジタル・カメラの類であるが、デジタル複写機もそう言った圧縮符号化処理機能を備えるデジタル・イメージング機器のひとつである。

一般的なデジタル複写機では、原稿読み取り部において原稿上のイメージ光学式センサ等で読み取られ、その後各種画像処理を施すことによって原画像データが形成される。その形成された原画像データを印刷部に向けて転送する際のデータ転送量を削減する目的で、原稿読み取り部には原画像データに対する圧縮符号化処理機能が搭載されている。一方の印刷部には転送された符号化データ列に対する伸張復号化処理機能が搭載されている。

原稿読み取り部に具備されるこのような圧縮符号化処理機能によって符号化された画像データ列のデータ量は、圧縮符号化処理される前の画像データ、すなわち形成された原画像データのデータ量に比べると数分の一から十数分の一程度に低減され得る。

符号化データ量の圧縮符号化処理される前の原画像データ量に対する低減度、すなわち圧縮率は、圧縮符号化処理による歪みが伸張復号化処理によって得られる再構成画像データから容易に視認できない程度の値がその許容される上限値として設定される。

一方、上記圧縮率の許容される下限値は、原稿読み取り部において単位時間あたりに形成することができる最大原画像データ量、および原稿読み取り部から印刷部に転送する際の最大符号化データ量、といったようなそのシステムに依存する各種システム・パラメータによって一意に決定され得る。

このように原画像データに対する圧縮率の許容される上限値および下限値、すなわち許容範囲が与えられたとしても、原稿読み取り部内で形成されたすべての原画像データに対する圧縮率をその許容範囲内に収めるように圧縮符号化処理を行なうことは容易で無い。

その理由は、量子化テーブルに代表される符号化パラメータとしてたとえ同一のものを用いて同じ大きさの原画像データに対する圧縮符号化処理を行なっても、得られる符号化データ量は原画像データ毎に変化してしまうこと、言い換えるならば、原稿読み取り部において形成される原画像データ毎にその圧縮率が変わってしまうことに起因する。

これは、原画像データが有する情報の空間周波数から見た偏りおよびその度合いが原画像データ毎に異なり、そのような原画像データに対する圧縮符号化処理の中では、値が 0 である直交変換係数に対するランレングス符号化および可変長符号を用いたエントロピー符号化と言ったような被圧縮符号化画像データが有する冗長性を限りなく除去するための様々な手法が採用されているためである。従って、すべての原画像データに対する圧縮率をその許容される上限値と下限値の間の範囲に収めるように圧縮符号化処理を施すためには、どうしても原画像データの各々に対して適用する符号化パラメータを適宜変える必要がでてくる。圧縮率が一定になるように圧縮符号化処理を行なうためには、一般的に情報量制御あるいは符号量制御と称される制御を一連の圧縮符号化処理の中で実現しなければならない。

上記情報量制御を実現するための具体的な手法としては、フィードフォワード手法とフィードバック手法といった大きくふたつの手法が知られている。

フィードフォワード手法は圧縮符号化処理を行なう前に被圧縮符号化データとして入力される原画像データから別途ダイナミックレンジ電力、各種統計情報を算出して、それらの算出値を基に最適な符号化パラメータを推定した後、推定結果として得られた符号化パラメータを用いて実際の圧縮符号化処理を行なうものである。

これに対して、フィードバック手法は初期符号化パラメータを用いて試行となる圧縮符号化処理を事前に行ない、これによって得られた符号化データ量の実測値を基に最適な符号化パラメータを推定した後、推定結果として得られた符号化パラメータを用いて最終的な圧縮符号化処理を行なうものである。

事前に圧縮符号化処理を試行することによって得られた符号化データ量の実測値から最適な符号化パラメータを推定するフィードバック手法のほうが、実測値を直接的に推定値算出に用いているという理由で、フィードフォワード手法に比べてより高い確率で目的とする符号化データ量を生成し得る最適な符号化パラメータを得ることができる。しかし、このフィードバック手法は原理的に試行となる事前の圧縮符号化処理のために費やされる時間的なオーバーヘッドが余計にかかってしまうという欠点がある。

ひとつの原画像データに対して目標とする圧縮率の符号化データ列が得られるまで何回も圧縮符号化処理を繰り返してもそのために消費される処理時間の増分が許容できるようなシステム、言わばリアルタイム性処理性能過度に要求されないシステムであれば、特公平 8-32037 号公報 『画像データ圧縮装置』 に記載されているような有限回繰り返し試行アルゴリズムが適用可能である。

しかし、デジタル・カメラやデジタル複写機のようなデジタル・イメージング機器では、一般的にリアルタイム性および高い処理性能が要求される。したがって、そのようなシステムにおいて最適な符号化パラメータを推定するために行なわれる事前の圧縮符号化処理に費やされる時間的なオーバーヘッドは限りなく小さく抑えることが課題とされ、同時にその予測精度として十分高いものが要求される。

フィードバック手法を用いた情報量制御における最適な符号化パラメータの予測精度を高めるためには、互いに異なる数多くの符号化パラメータを用いて試行となる圧縮符号化処理を複数回行ない、それらの符号化パラメータと実際に得られた符号化データ量の実測値との組み合わせ数を増やすことが効果的であることには違う余地は無い。しかし、その時間的なオーバーヘッドを最小限に抑えるためには、試行となる圧縮符号化処理の際に与えられる符号化パラメータの数と同数演算回路あるいは処理回路を具備し、それらの回路並列に動作させて、試行となる圧縮符号化処理を高速に行なうような工夫が必要とされる。従来からこの課題を解決するいくつかの公知技術が考案されている。

このような言わば並列回路アーキテクチャの公知技術の一例である文献 1 “映像情報1992 年 1 月号 51-58ページ『60〜140Mbps対応のHDTVコーデック』” では、複数の符号化パラメータとして N 組の量子化テーブルを用いて、N個の量子化回路および N 個の発生符号量測定回路を具備する圧縮符号化装置から得られる N 個の符号化データ量から曲線近似を行なうことによって最適な符号化パラメータ、すなわち最適な量子化テーブルを得ることが記載されている。同様な構成でありながら回路規模の増大を抑える工夫として、特登録第 02523953 号公報 『符号化装置』 では 3 個の量子化回路を備えることによって試行となる圧縮符号化処理の際に 5 組の量子化テーブルを用いた量子化を並列に行ない、結果として 5 つの符号化データ量の値を算出することが記載されている。

ひとつの画像データを圧縮符号化処理するにあたって、符号化パラメータ、より具体的には量子化テーブルに対するスケーリング値を動的に変えながら順次圧縮符号化処理を進めることができる符号化方式、所謂MPEG を採用している動画像圧縮符号化では、特登録第 02897563 号公報 『画像圧縮符号化装置』 に記載されるような符号化パラメータの逐次補正アルゴリズムが適用できる。

この従来例では、試行となる圧縮符号化処理の際に特定の量子化スケーリング値を用いた量子化演算によって得られるブロック単位の符号化データ量を計測し、その計測されたデータ量を基に M 個の量子化スケール値で得られることが期待される M 個の符号化データ量を予測し、前記 M 個の予測値から算出した目標符号化データ量と、実際に出力されている符号化データ列の現在までのデータ量の累積値との差分、すなわち予測誤差から実際に使用する量子化スケーリング値を逐次補正しながらひとつのフレームに対する圧縮符号化処理を進めている。

さらに、実際に生成された符号化データ量が予測に反して許容される上限値を超えることを回避する目的で 特登録第 03038022 号 『電子カメラ装置』 では、試行となる圧縮符号化処理の際に得られた符号化データ量から導出した量子化ステップ値を用いて実際に量子化演算および可変長符号化して得られた符号化データ量が、ブロック単位に割り当てたデータ量を超えてしまった場合には、そのブロックにおける可変長符号化を打ち切ること(有意の変換係数の情報を廃棄すること)が記載されている。

概要

デジタルカメラあるいはデジタルカラーコピーに代表されるデジタルイメージング機器において、原画像データに圧縮符号化処理を施して蓄積あるいは表示・印刷系に転送する情報量を削減する際に、必要に応じた再符号化処理を交えながら許容される圧縮率の範囲内で符号化歪みが最も小さい符号化データ列を生成し、一連の圧縮符号化処理に費やされる時間を最小限に抑える。

符号化器によって生成された符号化データ量の積算値および原画像データを構成する各コンポーネントの符号化データ列の構成比をもとに以降の部分領域の符号化処理で用いる量子化スケーリング値の更新値を決定する。その量子化スケーリング値の更新値を用いて既に符号化処理がなされた部分領域に対する再符号化処理を実行する。また同更新値を用いて以降の部分領域に対する符号化処理を実行する。このことによって適切な符号化パラメータによる情報量制御が実現できる。

目的

本出願に係わる発明の目的は、デジタル・イメージング機器のようにリアルタイム性および性能が要求されるシステムに具備される画像符号化装置として、予測精度の高いフィードバック手法を用いた情報量制御を実現しつつひとつの原画像データに対する一連の圧縮符号化処理に費やされる処理時間、特に再符号化処理によるオーバーヘッドを最小限に抑え、かつ伸張復号化処理によって得られる再構成画像において符号化歪みの局所的なばらつきを回避しながら、結果的に許容される圧縮率の範囲内で最も符号化歪みの小さい符号化データ列を生成することである。

効果

実績

技術文献被引用数
2件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

与えられた符号化パラメータを用いて原画像データに対する圧縮符号化処理を行ない第 1 の符号化データ列を生成する符号化手段と、与えられた再符号化パラメータを用いて前記符号化手段によって生成された第 1の符号化データ列に対する再符号化処理を行ない第 2 の符号化データ列を生成する再符号化手段と、前記符号化手段によって生成された第 1 の符号化データ量および前記再符号化手段によって生成された第 2 の符号化データ量の累積値合計値目標総符号化データ量に達した場合、前記符号化手段に対して更新された新たな符号化パラメータを算出し、前記符号化手段に与える手段と、前記累積合計値が前記目標総符号化データ量に達した場合、前記再符号化手段に対して再符号化パラメータを与え、再符号化処理の開始を指示する手段とからなる画像符号化装置において、前記符号化手段では、第 1 の符号化データ列の生成と同時に原画像データを構成する各コンポーネントの当該符号化データ列の構成比を算出するための付帯情報を生成し、前記再符号化手段では、第 2 の符号化データ列の生成と同時に原画像データを構成する各コンポーネントの当該符号化データ列の構成比を算出するための付帯情報を生成し、前記符号化パラメータ算出手段では、原画像データを構成する各コンポーネントの前記第 1および第 2 の符号化データ列の構成比に応じて前記符号化パラメータの更新値を決定することを特徴とする画像符号化装置。

技術分野

0001

本発明はデジタル画像信号符号化データ列圧縮符号化して記録蓄積あるいは伝送するデジタル画像符号化装置に関するものである。

背景技術

0002

現在、静止画像に対する圧縮符号化処理機能は多くのデジタルイメージング機器に搭載されている。これらデジタル・イメージング機器の代表的なものはデジタル・カメラの類であるが、デジタル複写機もそう言った圧縮符号化処理機能を備えるデジタル・イメージング機器のひとつである。

0003

一般的なデジタル複写機では、原稿読み取り部において原稿上のイメージ光学式センサ等で読み取られ、その後各種画像処理を施すことによって原画像データが形成される。その形成された原画像データを印刷部に向けて転送する際のデータ転送量を削減する目的で、原稿読み取り部には原画像データに対する圧縮符号化処理機能が搭載されている。一方の印刷部には転送された符号化データ列に対する伸張復号化処理機能が搭載されている。

0004

原稿読み取り部に具備されるこのような圧縮符号化処理機能によって符号化された画像データ列のデータ量は、圧縮符号化処理される前の画像データ、すなわち形成された原画像データのデータ量に比べると数分の一から十数分の一程度に低減され得る。

0005

符号化データ量の圧縮符号化処理される前の原画像データ量に対する低減度、すなわち圧縮率は、圧縮符号化処理による歪みが伸張復号化処理によって得られる再構成画像データから容易に視認できない程度の値がその許容される上限値として設定される。

0006

一方、上記圧縮率の許容される下限値は、原稿読み取り部において単位時間あたりに形成することができる最大原画像データ量、および原稿読み取り部から印刷部に転送する際の最大符号化データ量、といったようなそのシステムに依存する各種システム・パラメータによって一意に決定され得る。

0007

このように原画像データに対する圧縮率の許容される上限値および下限値、すなわち許容範囲が与えられたとしても、原稿読み取り部内で形成されたすべての原画像データに対する圧縮率をその許容範囲内に収めるように圧縮符号化処理を行なうことは容易で無い。

0008

その理由は、量子化テーブルに代表される符号化パラメータとしてたとえ同一のものを用いて同じ大きさの原画像データに対する圧縮符号化処理を行なっても、得られる符号化データ量は原画像データ毎に変化してしまうこと、言い換えるならば、原稿読み取り部において形成される原画像データ毎にその圧縮率が変わってしまうことに起因する。

0009

これは、原画像データが有する情報の空間周波数から見た偏りおよびその度合いが原画像データ毎に異なり、そのような原画像データに対する圧縮符号化処理の中では、値が 0 である直交変換係数に対するランレングス符号化および可変長符号を用いたエントロピー符号化と言ったような被圧縮符号化画像データが有する冗長性を限りなく除去するための様々な手法が採用されているためである。従って、すべての原画像データに対する圧縮率をその許容される上限値と下限値の間の範囲に収めるように圧縮符号化処理を施すためには、どうしても原画像データの各々に対して適用する符号化パラメータを適宜変える必要がでてくる。圧縮率が一定になるように圧縮符号化処理を行なうためには、一般的に情報量制御あるいは符号量制御と称される制御を一連の圧縮符号化処理の中で実現しなければならない。

0010

上記情報量制御を実現するための具体的な手法としては、フィードフォワード手法とフィードバック手法といった大きくふたつの手法が知られている。

0011

フィードフォワード手法は圧縮符号化処理を行なう前に被圧縮符号化データとして入力される原画像データから別途ダイナミックレンジ電力、各種統計情報を算出して、それらの算出値を基に最適な符号化パラメータを推定した後、推定結果として得られた符号化パラメータを用いて実際の圧縮符号化処理を行なうものである。

0012

これに対して、フィードバック手法は初期符号化パラメータを用いて試行となる圧縮符号化処理を事前に行ない、これによって得られた符号化データ量の実測値を基に最適な符号化パラメータを推定した後、推定結果として得られた符号化パラメータを用いて最終的な圧縮符号化処理を行なうものである。

0013

事前に圧縮符号化処理を試行することによって得られた符号化データ量の実測値から最適な符号化パラメータを推定するフィードバック手法のほうが、実測値を直接的に推定値算出に用いているという理由で、フィードフォワード手法に比べてより高い確率で目的とする符号化データ量を生成し得る最適な符号化パラメータを得ることができる。しかし、このフィードバック手法は原理的に試行となる事前の圧縮符号化処理のために費やされる時間的なオーバーヘッドが余計にかかってしまうという欠点がある。

0014

ひとつの原画像データに対して目標とする圧縮率の符号化データ列が得られるまで何回も圧縮符号化処理を繰り返してもそのために消費される処理時間の増分が許容できるようなシステム、言わばリアルタイム性処理性能過度に要求されないシステムであれば、特公平 8-32037 号公報 『画像データ圧縮装置』 に記載されているような有限回繰り返し試行アルゴリズムが適用可能である。

0015

しかし、デジタル・カメラやデジタル複写機のようなデジタル・イメージング機器では、一般的にリアルタイム性および高い処理性能が要求される。したがって、そのようなシステムにおいて最適な符号化パラメータを推定するために行なわれる事前の圧縮符号化処理に費やされる時間的なオーバーヘッドは限りなく小さく抑えることが課題とされ、同時にその予測精度として十分高いものが要求される。

0016

フィードバック手法を用いた情報量制御における最適な符号化パラメータの予測精度を高めるためには、互いに異なる数多くの符号化パラメータを用いて試行となる圧縮符号化処理を複数回行ない、それらの符号化パラメータと実際に得られた符号化データ量の実測値との組み合わせ数を増やすことが効果的であることには違う余地は無い。しかし、その時間的なオーバーヘッドを最小限に抑えるためには、試行となる圧縮符号化処理の際に与えられる符号化パラメータの数と同数演算回路あるいは処理回路を具備し、それらの回路並列に動作させて、試行となる圧縮符号化処理を高速に行なうような工夫が必要とされる。従来からこの課題を解決するいくつかの公知技術が考案されている。

0017

このような言わば並列回路アーキテクチャの公知技術の一例である文献 1 “映像情報1992 年 1 月号 51-58ページ『60〜140Mbps対応のHDTVコーデック』” では、複数の符号化パラメータとして N 組の量子化テーブルを用いて、N個の量子化回路および N 個の発生符号量測定回路を具備する圧縮符号化装置から得られる N 個の符号化データ量から曲線近似を行なうことによって最適な符号化パラメータ、すなわち最適な量子化テーブルを得ることが記載されている。同様な構成でありながら回路規模の増大を抑える工夫として、特登録第 02523953 号公報 『符号化装置』 では 3 個の量子化回路を備えることによって試行となる圧縮符号化処理の際に 5 組の量子化テーブルを用いた量子化を並列に行ない、結果として 5 つの符号化データ量の値を算出することが記載されている。

0018

ひとつの画像データを圧縮符号化処理するにあたって、符号化パラメータ、より具体的には量子化テーブルに対するスケーリング値を動的に変えながら順次圧縮符号化処理を進めることができる符号化方式、所謂MPEG を採用している動画像圧縮符号化では、特登録第 02897563 号公報 『画像圧縮符号化装置』 に記載されるような符号化パラメータの逐次補正アルゴリズムが適用できる。

0019

この従来例では、試行となる圧縮符号化処理の際に特定の量子化スケーリング値を用いた量子化演算によって得られるブロック単位の符号化データ量を計測し、その計測されたデータ量を基に M 個の量子化スケール値で得られることが期待される M 個の符号化データ量を予測し、前記 M 個の予測値から算出した目標符号化データ量と、実際に出力されている符号化データ列の現在までのデータ量の累積値との差分、すなわち予測誤差から実際に使用する量子化スケーリング値を逐次補正しながらひとつのフレームに対する圧縮符号化処理を進めている。

0020

さらに、実際に生成された符号化データ量が予測に反して許容される上限値を超えることを回避する目的で 特登録第 03038022 号 『電子カメラ装置』 では、試行となる圧縮符号化処理の際に得られた符号化データ量から導出した量子化ステップ値を用いて実際に量子化演算および可変長符号化して得られた符号化データ量が、ブロック単位に割り当てたデータ量を超えてしまった場合には、そのブロックにおける可変長符号化を打ち切ること(有意の変換係数の情報を廃棄すること)が記載されている。

発明が解決しようとする課題

0021

前述したようなフィードバック手法を用いた情報量制御における従来例の思想は、試行として行なわれる圧縮符号化処理によって得られたひとつあるいは複数個の符号化データ量の実測値を基に最適な符号化パラメータ、およびその符号化パラメータによって生成される符号化データ量の推定値を導出するという点でいずれも共通している。

0022

また一般的な静止画像圧縮符号化方式として今日広く採用されている JPEG 符号化方式においては、最も代表的な符号化パラメータのひとつである量子化ステップ値行列、すなわち量子化テーブルについては、ただひとつのテーブルの組み合わせがひとつの原画像データを構成するすべてのブロックに対して共通に適用されなけばならない。従って、このような符号化パラメータの自由度に制限のある静止画像圧縮符号化方式を採用することが前提になっている場合、従来例のひとつとして前述した符号化パラメータの逐次補正アルゴリズムを適用することはできない。

0023

さらに、もうひとつの従来例として引用した特登録第 03038022 号 『電子カメラ装置』 に記載されているアルゴリズムでは、ブロック単位に割り当てたデータ量を超えてしまった時点でそのブロックに対する可変長符号化を打ち切ってしまうので、原画像データを構成するすべてのブロックの圧縮符号化処理が終了した時点で得られた最終的な符号化データ量が許容される上限値を超えない場合でも、本来廃棄する必要が無い有意の直交変換係数まで廃棄することになってしまい、伸張復号化処理によって得られる再構成画像において圧縮符号化歪みの局所的なばらつきが生じてしまう。したがってデジタル・イメージング機器への適用は好ましいとは言えない。

0024

デジタル・イメージング機器のようにリアルタイム性および高い処理性能が要求されるシステムにおいて、予測精度の高いフィードバック手法を用いた情報量制御を実現しつつ圧縮符号化処理を行なう場合、従来例として前述した並列回路アーキテクチャは確かに有効な実現形態ではあることには間違いがない。しかし、この方法を採用した場合、複数の符号化処理回路を実現するための回路規模および複数個の符号化データ列を一時的に格納するためのバッファの容量としていずれも莫大なものが必要とされ、コスト的な見地からすると余りに多くの並列化を実現することは困難である。

0025

デジタル・イメージング機器において静止画像圧縮符号化方式を採用する場合、ひとつひとつの原画像データの中で局所的に符号化歪みに差が露見することは避けなければならない。多くの場合符号化歪みは量子化演算によって生じるものであるが、前出のJPEG 符号化方式ではブロック単位に異なる量子化テーブルを用いることはできないが、逆にこの制限は原画像データ中の符号化歪み(量子化歪み)の偏りが生じないという利点を生んでいる。このような理由で静止画像を対象とするデジタル・カメラやデジタル複写機では静止画像圧縮符号化方式として前出のJPEG 符号化方式を採用している。

0026

以上のことから、JPEG符号化方式のような符号化パラメータの自由度に制限のある静止画像圧縮符号化方式を採用したデジタル・イメージング機器において、高い性能を維持し、かつ目標とする圧縮率で圧縮符号化処理を行なうために再符号化処理機能を具備するはことは堅実な選択である。

0027

一口に再符号化処理と言っても、どのようなデータに対して再符号化処理を行なうかによってその処理の内容は大きく異なる。

0028

符号化処理の期間中に原画像データそのもの、あるいは量子化演算する前の所謂直交変換係数を別途設けたバッファに一時的に蓄積しておき、その蓄積された原画像データあるいは直交変換係数を用いて再符号化処理を行なうものは公知技術として従来から考案されているが、そのバッファのメモリ容量としては莫大なものが必要となってしまう。

0029

そこで原画像データにおいて既に圧縮符号化済みの部分領域に対応した符号化データ列をバッファに蓄積しておき、再符号化処理に際してはこのバッファに蓄積された符号化データ列を読み出し、一時的に復号化した後、新たな符号化パラメータを用いて再び符号化処理を施し、こうして得られた新たな符号化データ列に置換するといった手法が最もコスト的には優れている。

0030

しかし、このような再符号化処理に費やされる時間はそのままシステムの性能低下に繋がるので、再符号化処理を実現する手段にはできるだけ高い処理性能が要求される。

0031

また同時に忘れてはならないことは、前述したように一度でも再符号化処理が施された部分領域とそうでない部分との間で符号化歪みの度合いに差が生じることを回避しなければならないことである。

0032

本出願に係わる発明の目的は、デジタル・イメージング機器のようにリアルタイム性および性能が要求されるシステムに具備される画像符号化装置として、予測精度の高いフィードバック手法を用いた情報量制御を実現しつつひとつの原画像データに対する一連の圧縮符号化処理に費やされる処理時間、特に再符号化処理によるオーバーヘッドを最小限に抑え、かつ伸張復号化処理によって得られる再構成画像において符号化歪みの局所的なばらつきを回避しながら、結果的に許容される圧縮率の範囲内で最も符号化歪みの小さい符号化データ列を生成することである。

課題を解決するための手段

0033

請求項1項に記載される画像符号化装置においては、与えられた符号化パラメータを用いて原画像データに対する圧縮符号化処理を行ない第 1 の符号化データ列を生成する符号化手段と、与えられた再符号化パラメータを用いて前記符号化手段によって生成された第 1の符号化データ列に対する再符号化処理を行ない第 2 の符号化データ列を生成する再符号化手段と、前記符号化手段によって生成された第 1 の符号化データ量および前記再符号化手段によって生成された第 2 の符号化データ量の累積値の合計値が目標総符号化データ量に達した場合、前記符号化手段に対して更新された新たな符号化パラメータを算出し、前記符号化手段に与える手段と、前記累積合計値が前記目標総符号化データ量に達した場合、前記再符号化手段に対して再符号化パラメータを与え、再符号化処理の開始を指示する手段とからなる画像符号化装置において、前記符号化手段では、第 1 の符号化データ列の生成と同時に原画像データを構成する各コンポーネントの当該符号化データ列の構成比を算出するための付帯情報を生成し、前記再符号化手段では、第 2 の符号化データ列の生成と同時に原画像データを構成する各コンポーネントの当該符号化データ列の構成比を算出するための付帯情報を生成し、前記符号化パラメータ算出手段では、原画像データを構成する各コンポーネントの前記第 1および第 2 の符号化データ列の構成比に応じて前記符号化パラメータの更新値を決定することを特徴とする画像符号化装置、を有することによって、情報量制御に伴う符号化パラメータの更新値の算出に際して原画像を構成する各コンポーネントの符号化データ列の構成比を用いているので、適切な符号化パラメータによる情報量制御が実現できる。

0034

ここでの原画像を構成するコンポーネントは、たとえば Y,Cb, Cr に代表される輝度コンポーネント色差成分コンポーネント、あるいは C, M Y K に代表される色成分コンポーネントを指す。

0035

まずは、本発明を適用した画像符号化装置における圧縮符号化処理の概要を説明する。

0036

ひとつの原画像に対して本実施例である画像符号化装置によって一連の圧縮符号化処理が行なわれている期間は大きくふたつの処理フェーズ、符号化処理フェーズと再符号化処理フェーズとに区別することができる。

0037

ひとつの原画像に対する一連の圧縮符号化処理は必ず符号化処理フェーズから開始され、必要に応じてその途中で一回あるいは複数回の再符号化フェーズが挿入される。

0038

符号化処理フェーズにおいては、画像符号化装置内の符号化手段によって所定の大きさの矩形単位で原画像データに対する符号化処理が順次行なわれる。この際に使用される符号化パラメータは現在行なわれている符号化処理フェーズの開始時に同画像符号化装置内の制御手段から与えられる。

0039

符号化処理フェーズ期間中に符号化手段から生成される矩形単位の原画像データに対応する個々の符号化データ列は、符号化データ列バッファ上に順次格納されると同時に、そのデータ量および原画像を構成する各コンポーネントの符号化データ列の構成比といった付帯情報が制御手段にその都度通知される。

0040

符号化データ列バッファは、一連の圧縮符号化処理の最終的な結果として本発明を適用した画像符号化装置から出力され得る符号化データ列を一時的に格納するものであると同時に、再符号化処理フェーズ期間中に後述する再符号化手段に与える符号化データ列を一時的に格納するものである。

0041

制御手段では符号化手段から通知される個々の符号化データ量が累積演算されており、その累積値とあらかじめ外部システムによって設定された最大許容符号化データ量から別途算出した目標符号化データ量とが随時比較される。

0042

この比較結果を用いた所定の判断基準によって、後続する矩形単位の原画像データに対しても現在の符号化パラメータを用いて符号化処理を継続するか、あるいはより圧縮率を高めるべく新たな符号化パラメータに更新するかが決定される。

0043

符号化パラメータを更新すべきと判断した場合、制御手段は矩形単位の原画像データに対応して符号化手段から通知される付帯情報を基に新たな符号化パラメータを算出する。

0044

符号化パラメータの更新値を算出した後、制御手段は新たな符号化パラメータを用いた後続する矩形単位の原画像データに対する符号化処理を開始するのに先立ち、既に符号化処理が施された矩形領域に対応する個々の符号化データ列に対する再符号化処理を行なうべく再符号化処理フェーズへの移行とそれに伴なう各種動作制御を行なう。

0045

再符号化処理フェーズにおいては、先行する符号化処理フェーズ期間中に符号化データ列バッファに格納された個々の符号化データ列に対する再符号化処理が再符号化手段によって順次行なわれる。この際に使用される再符号化パラメータは再符号化処理フェーズの開始時に同画像符号化装置内の制御手段から与えられる。

0046

なお、この再符号化処理フェーズ期間中においては、前記符号化手段は中断状態にある。

0047

再符号化処理フェーズ期間中に再符号化手段に供給された個々の符号化データ列は、再符号化手段から生成される符号化データ列と符号化データ列バッファ上で順次置換されると同時に、その新たなデータ量および原画像を構成する各コンポーネントの符号化データ列の構成比といった付帯情報が制御手段にその都度通知される。

0048

制御手段では再符号化手段から通知される個々の符号化データ量が累積演算される。

0049

先行する符号化処理フェーズ期間中に生成されたすべての符号化データに対する再符号化処理が終了すると、画像符号化装置としての動作フェーズは再符号化処理フェーズから再び符号化処理フェーズに戻る。

0050

再び符号化処理フェーズに復帰した画像符号化装置においては、制御手段によって符号化手段に対する符号化パラメータの更新指示がなされた後に、符号化手段に対する動作中断状態が解除される。この動作制御によって後続する矩形単位の原画像データに対する符号化処理が再開され、その際には更新された符号化パラメータが適用される。

0051

符号化手段において行われる符号化処理が先行する再符号化処理フェーズに後続するものである場合、更新された最新の符号化パラメータだけではなく、以前の符号化処理フェーズで適用したすべての符号化パラメータを用いて符号化処理が行われる。

0052

先行する再符号化フェーズに後続する符号化処理フェーズ期間中に符号化手段から生成される矩形単位の原画像データに対応する個々の符号化データ列は、既に符号化データ列バッファ内に格納されている再符号化された符号化データ列に後続して順次格納されると同時に、そのデータ量および原画像を構成する各コンポーネントの符号化データ列の構成比といった付帯情報が制御手段にその都度通知される。

0053

このようにして必要に応じた再符号化処理フェーズを挿入しながら原画像を構成するすべての矩形単位の画像データに対する符号化処理が行なわれ、符号化データ列バッファに格納されたすべての符号化データ列が本発明を適用した画像符号化装置から一連の圧縮符号化処理の最終的な結果として出力される。

0054

以下、本発明の実施例を図面とともに説明する。

0055

図 1 は、本発明を適用した画像符号化装置の実施例を表わす機能ブロック図である。

0056

図 1 において、101 は制御部、102 は原画像データ・バッファ、103 は符号化部、104 はスイッチ、105 は符号化データ列バッファ、106 は再符号化部、111 は原画像データ入力信号、112 は被符号化データ入力信号、113 は第 1 の符号化データ列信号、114 は選択された符号化データ列信号、115 は符号化データ列バッファ読み出し信号、116 は第 2 の符号化データ列信号、121 は圧縮符号化処理開始要求信号、122 は圧縮符号化処理終了通知信号、131 は符号化部動作制御信号、132 は再符号化部動作制御信号、133 は符号化データ列バッファ制御信号、134 は処理フェーズ指示信号、135 は符号化パラメータ指示信号、136 は再符号化パラメータ指示信号、141 は符号化処理付帯情報通知信号、142 は再符号化処理付帯情報通知信号、である。

0057

図 2 は、図 1 に示した画像符号化装置における符号化部 103 の構成を表わす機能ブロック図である。201 は直交変換部、202 はスイッチ、203 は量子化部、204 は量子化テーブル、205 はスケーリング値レジスタ、206 は量子化値スケーリング部、207 は逆量子化部、208 はエントロピー符号化部、209 は可変長符号テーブル、210 は符号化データ量計数部、221 は変換係数行列信号、222 は選択された変換係数行列信号、223 は量子化ステップ信号、224 はスケーリング信号、225 はスケーリングされた量子化ステップ信号226 は量子化された変換係数行列信号、227 は逆量子化された変換係数行列信号、228 は可変長符号語信号、である。

0058

図 3 は、図 1 に示した画像符号化装置における再符号化部 106 の構成を表わす機能ブロック図である。301 はエントロピー復号化部、302 は復号化用可変長符号テーブル、303 は逆量子化部、304 は量子化テーブル、305 はスケーリング値レジスタ、306 は量子化値スケーリング部、307 は逆量子化部、308 はエントロピー符号化部、309 は符号化用可変長符号テーブル、310 は符号化データ量計数部、321 は復号化用可変長符号語信号、322 は復号化された変換係数行列信号、323 は量子化ステップ信号、324 は逆量子化用スケーリング信号、325 はスケーリングされた逆量子化ステップ信号326 は逆量子化された変換係数行列信号、327 は量子化用スケーリング信号、328 はスケーリングされた量子化ステップ信号329 は量子化された変換係数行列信号、330 は符号化用可変長符号語信号、である。

0059

図 4 は、図 1 に示した画像符号化装置に対して被符号化データとして入力される原画像データに対して 4 種類のスケーリング値Q1, Q2, Q3, および Q4 をそれぞれ初期値として用いて所定の大きさの矩形単位に順次符号化処理を実行した場合に得られる個々の符号化データ量の累積値(縦軸)と、その時点で既に符号化処理が施された矩形領域の原画像における相対的な位置(横軸)との関係を表わすグラフである。

0060

図 5 は、被符号化データとして入力される原画像を表わした図である。

0061

図 6 は、図 1 に示した画像符号化装置に対して被符号化データとして入力される原画像データに対する一連の圧縮符号化処理の過程で第 1 の符号化データ列バッファ105に格納される個々の符号化データ量の累積値(縦軸)と、その時点で既に圧縮符号化処理が実行された矩形領域の原画像データにおける相対位置(横軸)との関係を表わすグラフである。

0062

図 7 は、図 1 に示した画像符号化装置における制御部 101 の動作を表わすフローチャートである。

0063

図 8 は、図 2 に示した符号化部 103 内の量子化テーブル204 および図 3に示した再符号化部 106 内の量子化テーブル 304 に設定される量子化ステップ値行列のひとつの例を示した図である。

0064

図 9 は、図 2 に示した符号化部 103 内の量子化値スケーリング部 206 および図 3 に示した再符号化部 106 内の量子化値スケーリング部 306 において、図 8 に示した量子化ステップ値行列に対してスケーリング値21 (a) およびスケーリング値 33 (b) を設定した場合にそれぞれ出力されるスケーリングされた量子化ステップ値行列を示した図である。

0065

図 10 は、図 1 に示した画像符号化装置における量子化部 203 において、スケーリングされた量子化ステップ値として値 5 が供給された場合の量子化・逆量子化演算入出力特性を示したグラフである。

0066

図 11 は、図 1 に示した画像符号化装置における量子化部 203 において、スケーリングされた量子化ステップ値として値 7 が供給された場合の量子化・逆量子化演算の入出力特性を示したグラフである。

0067

図 12 は、図 1 に示した画像符号化装置における量子化部 203 において、スケーリングされた量子化ステップ値として値 5 および 7 が供給された場合の量子化ステップ値 5 による量子化・逆量子化演算、そして引き続いて量子化ステップ値 7 による量子化・逆量子化演算の入出力特性を示したグラフである。

0068

以降、図 1 に示した上記画像符号化装置における原画像データに対する一連の圧縮符号化処理に係わる動作を図 1、図 2、図 3、図 4、図 5、図 6、図 7、図 8、図 9、図 10、図 11および図 12 を用いて説明する。

0069

本実施例の図示されない外部システム等によって、制御部 101 には図 4 に示す被符号化データとして入力される原画像の大きさを表わす情報、より具体的には、その原画像を所定の大きさの矩形領域に分割した場合に得られる矩形領域の総個数が一連の圧縮符号化処理に先んじて与えられている。

0070

ここで矩形領域の大きさは、例えば 16 × 16画素であるものとする。

0071

また本実施例の図示されない外部システム等によって、制御部 101 には最終的に画像符号化装置から出力される符号化データ量の累積加算値最大許容値ビット数あるいはバイト数)が一連の圧縮符号化処理に先んじて与えられている。

0072

図 4 および図 6 に示すグラフにおいて、制御部 101 に与えられた上記最大許容符号化データ量は、それぞれのグラフの上部に水平の点直線として記されている。

0073

また本実施例の図示されない外部システム等によって、符号化部 103 内の量子化テーブル204 には、図 8 に示す 8 × 8 個の量子化ステップ値行列が一連の圧縮符号化処理に先んじて設定されている。このテーブルの個々の値は 8 行× 8 列の直交変換係数行列を構成する個々の直交変換係数にそれぞれ対応づけられており、量子化ステップ信号 223 を介して量子化スケーリング部 206 によって参照される。

0074

また本実施例の図示されない外部システム等によって、再符号化部 106 内の量子化テーブル304 には、前記符号化部 103 内の量子化テーブル 204 に設定したものと同一の図 8 に示す 8 × 8 個の量子化ステップ値行列が一連の圧縮符号化処理に先んじて設定されており、量子化ステップ信号 323 を介して量子化スケーリング部 306 によって参照される。

0075

また本実施例の図示されない外部システム等によって、符号化部 103 内の可変長符号語化テーブル 209 には可変長符号語ツリー構成情報が一連の圧縮符号化処理に先んじて設定されている。このテーブルの個々の値は可変長符号語信号 228 を介してエントロピー符号化部 208 によって参照される。

0076

また本実施例の図示されない外部システム等によって、再符号化部 106 内の復号化用可変長符号語テーブル302 および符号化用可変長符号語テーブル 309には前記符号化部 103 内の可変長符号語化テーブル 209 に設定したものと同一の可変長符号語ツリー構成情報が一連の圧縮符号化処理に先んじて格納されており、復号化用可変長符号語テーブル 302 の個々の値は復号化用可変長符号語信号 321 を介してエントロピー復号化部 301によって参照され、一方符号化用可変長符号語テーブル 309 の個々の値は符号化用可変長符号語信号 330 を介してエントロピー符号化部 308 によって参照される。

0077

これまで説明してきた一連の圧縮符号化処理に先んじて本実施例である画像符号化装置に対して外部システム等によって行なわれる各種操作は、そのいずれもが所謂初期化操作に相当するものである (ステップS1)。

0078

実際に図 5 に示した被符号化データである原画像に対する一連の圧縮符号化処理が、外部システム等から圧縮符号化処理開始指示信号 121 を通じて本実施例である画像符号化装置に向けて通知されると、制御部 101 は最初の符号化処理フェーズを開始すべく次のような動作制御を実行する。

0079

まず、制御部 101 は現在の画像符号化装置の処理フェーズが符号化処理フェーズであることを示し、また同時に対応するスイッチ 104 を ‘E’ 側に設定するための処理フェーズ指示値を処理フェーズ指示信号134 上に出力する (ステップS2)。

0080

処理フェーズ指示信号134 に対する前記制御によって、スイッチ 104 内では、第 1 の符号化データ列信号 113 を介して供給される符号化データ列 E1(A)を、選択された符号化データ列信号 114 上に伝送するように接続される。

0081

次に、制御部 101 は符号化データ列バッファ105 内を空にすべく符号化データ列バッファ 105 に対する初期化指示を、符号化データ列バッファ制御信号 133 を介して行なう (ステップS3)。

0082

また、制御部 101 はその内部で符号化部 103 から出力される符号化データ列のデータ量を累積演算した結果を示す符号化データ量累積値を 0 にリセットする(ステップS4)。

0083

さらに、制御部 101 は 1回目のスケーリング値として値 "Q1" を符号化パラメータ指示信号135 上に出力する (ステップS5)。このことによって、1回目のスケーリング値 "Q1" は符号化部 103 内のスケーリング値レジスタ205内に格納される。

0084

その後、制御部 101 は符号化部動作制御信号131 を介して符号化部 103 に対する符号化処理の動作開始を指示する (ステップS6)。

0085

上記指示によって、本実施例の画像符号化装置において実質的な 1回目の符号化処理フェーズが、図 5 に示した原画像を構成する最初の矩形領域から開始されることになる。

0086

図示されない画像形成部によって形成され、一般的なラスタスキャン順に原画像データ入力信号111 を介して原画像データ・バッファ102 内に順次格納された原画像データは、所定の大きさ (16×16画素) の矩形単位に被符号化データ入力信号 112 を介して符号化部 103 によって順次読み出される。

0087

読み出された矩形単位の原画像データは、符号化部 103 内の直交変換部 201において、さらに複数個の 8 行 × 8 列サンプルのブロックに等分割された後、そのブロック単位で直交変換演算が施され、その演算結果として得られた複数個の 8 行 × 8 列の直交変換係数行列が変換係数行列信号 221 上に順次出力される。

0088

変換係数行列信号 221 上に出力された複数個の 8 行 × 8 列の直交変換係数行列は、スイッチ 202 を通じて選択された変換係数行列信号 222 上に伝送され、量子化部 203 に順次供給される。

0089

一方、符号化部 103 内の量子化値スケーリング部 206 では、量子化テーブル204 から量子化ステップ信号 223 を介して読み出された図 8 に示す 8 × 8個の量子化ステップ値に対して、スケーリング値レジスタ205 に格納されている 1回目のスケーリング値 "Q1" を用いたスケーリング演算が行なわれ、その演算結果として得られた 8 行 × 8 列の "Q1" でスケーリングされた量子化ステップ値は、スケーリングされた量子化ステップ値信号 225 を介して量子化部203 に順次供給される。

0090

この量子化値スケーリング部 206 で行なわれる一連のスケーリング演算は、実数乗算および整数まるめ演算等で構成される。例えば、量子化ステップ値が 11 でスケーリング値が 21 であれば、量子化ステップ値 11 に 21/50 を乗じた値に最も近い整数 5 がスケーリングされた量子化ステップ値として出力される。また同じ量子化ステップ値 11 に対してスケーリング値 33 が与えられた場合は、同様に量子化ステップ値 11 に 33/50 を乗じた値に最も近い整数 7 がスケーリングされた量子化ステップ値として出力される。なお、与えられたスケーリング値が 50 の場合は、実質的に 1 を乗じることになるので、供給された量子化スケーリング値がそのままスケーリングされた量子化ステップ値として出力される。また、上記整数まるめ演算によって最も近い整数値が 0 となった場合には、例外として値 1 がスケーリングされた量子化ステップ値として出力される。

0091

量子化値スケーリング部 206 によって生成されるスケーリングされた量子化テーブルの例として、図 8 に示す量子化ステップ値行列に対してスケーリング値21 を適用したスケーリング演算結果を図 9 (a) に、同様にスケーリング値 31 を適用したスケーリング演算結果を図 9 (b) にそれぞれ示す。

0092

符号化部 103 内の量子化部 203 では、前記直交変換部 201 からスイッチ 202、さらに選択された変換係数行列信号 222 を介して供給される複数個の 8 行× 8 列の直交変換係数行列に対して、前記量子化値スケーリング部 206 からスケーリングされた量子化ステップ信号 225 を介して供給される 8 × 8 個の "Q1" でスケーリングされた量子化ステップ値行列を用いた量子化演算が行なわれ、その演算結果として得られた 8 行 × 8 列の量子化された直交変換係数行列は、量子化された変換係数行列信号 226 を介してエントロピー符号化部 208 に順次供給される。

0093

この量子化部 203 で行なわれる量子化演算は、実数除算および整数まるめ演算等で構成される。例えば、供給される量子化ステップ値が 5 である場合の量子化・逆量子化演算の入出力特性は、図 10 に示すグラフのようになる。このグラフにおいて横軸は被量子化データとして符号化器に供給される変換係数の値を表わし、縦軸は量子化ステップ値 5 による量子化演算結果に対してさらに量子化ステップ値 5 による逆量子化演算を行なうことによって得られる変換係数の再生値を表わしている。同様に量子化ステップ値が 7 である場合の量子化・逆量子化演算の入出力特性は、図 11 に示すグラフのようになる。

0094

符号化部 103 内のエントロピー符号化部 208 では、量子化部 203 から量子化された変換係数行列信号 226 を介して供給される複数個の 8 行 × 8 列の量子化された直交変換係数行列に対して、所定のスキャン順序による二次元行列データの一次元化、および値が 0 である無意の変換係数に対するランレングス符号化、さらに可変長符号テーブル209 を参照しながらの可変長符号化、といった一連のエントロピー符号化処理が施され、結果として得られる符号化データ列E1(A) が第 1 の符号化データ列信号 113 上に出力される。

0095

符号化部 103 内のエントロピー符号化部 208 から第 1 の符号化データ列信号 113 上に出力された符号化データ列 E1(A) は、符号化部 103 内の符号化データ量計数部 210 によってそのデータ長が計数され、結果として得られる符号化データ量および原画像を構成する各コンポーネントの符号化データ列の構成比といった付帯情報が符号化処理付帯情報通知信号141 を介して制御部 101 に通知される。

0096

符号化部 103 から符号化処理付帯情報通知信号141 を介して制御部 101 に順次通知される個々の矩形領域に対応する符号化データ列E1(A) のデータ量は、制御部 101 の内部で符号化データ量累積値として逐次累積加算がなされる (ステップS7)。

0097

本発明を適用した画像符号化装置の実施例上で図 5 に示した原画像に対して4 つのスケーリング値"Q1"、"Q2"、"Q3" および "Q4" (Q1 ( Q2 ( Q3 ( Q4)を用いて一連の圧縮符号化処理を仮想的に実行した場合に得られる個々の矩形領域に対応する 4 個の符号化データ列のデータ量累積値の推移が、図 4 に示すグラフ上で原点から始まる 4 本の直線で表わされている。実際の累積値はこのグラフのようにきれいに直線的に増えることは無いが、ここでは説明を簡単にするために敢えて直線で表わしている。

0098

このグラフ上で、4 個の中で最も値の小さいスケーリング値"Q1" を用いた圧縮符号化処理によって得られる符号化データ量の累積値の推移は直線 E1(A) で表わされている。カッコ内の記号A は図 5 に示した原画像上の分割領域 A を意味している。

0099

このスケーリング値"Q1" を用いた圧縮符号化処理においては、矩形単位の原画像データに対する符号化処理がなされた矩形領域の相対位置が p1 に進んだ時点で、言い換えれば図 5 に示した原画像上の分割領域 A を構成するすべての矩形領域の符号化処理を終えた時点で、その符号化データ量の累積値が最大許容符号化データ量 Llim に達してしまうので、これ以降の矩形領域に対するスケーリング値 "Q1" を用いた符号化処理を行なう必要が無いことがわかる。

0100

矩形領域の原画像における相対位置 p1 は、図 5 に示す原画像を表わす図の中でその二次元的な位置が明記されている。また分割領域 A はこの原画像上で、最初に符号化処理された矩形領域 (原画像データにおいて最も左上隅に位置する矩形領域) から相対位置 p1 に位置する矩形領域までのすべての矩形領域の集まりとして表わされている。

0101

矩形領域の相対位置が原画像上の分割領域 A の範囲にある期間に、残り 3 つのスケーリング値"Q2"、"Q3" および "Q4" を用いて一連の圧縮符号化処理を仮想的に実行した場合に得られる符号化データ量の累積値の推移は、同グラフ上で直線 E2(A)、E3(A) およびE4(A) としてそれぞれ表わされる。そして符号化処理がなされた矩形領域の相対位置が p1 に達した時点において、これら 3 個の符号化データ量の累積値は L2(A)、L3(A) および L4(A) (Llim ( L2(A) ( L3(A)( L4(A)) にそれぞれ達することが表わされている。

0102

続いて、符号化処理がなされた矩形領域の相対位置が図 5 に示した原画像上の分割領域 B の範囲 (相対位置 p1 から p2 までの範囲) にある期間に、3つの量子化スケーリング値"Q2"、"Q3" および "Q4" を用いて一連の圧縮符号化処理を仮想的に実行した場合に得られる符号化データ量の累積値の推移は、同グラフ上で直線 E2(B)、E3(B) およびE4(B) としてそれぞれ表わされる。そして符号化処理がなされた矩形領域の相対位置が p2 に達した時点において、これら 3つの符号化データ量の累積値は Llim、L3(A+B) および L4(A+B) (Llim ( L3(A+B) ( L4(A+B)) にそれぞれ達することが表わされている。

0103

スケーリング値"Q2" を用いた圧縮符号化処理においては、図 5 に示した原画像上の分割領域 A および分割領域 B を構成するすべての矩形領域に対する符号化処理を終えた時点で、その符号化データ量の累積値が最大許容符号化データ量 Llim に達してしまうので、これ以降の矩形領域に対するスケーリング値 "Q2" を用いた符号化処理を行なう必要が無いことがわかる。

0104

さらに続いて、符号化処理がなされた矩形領域の相対位置が図 5 に示した原画像上の分割領域 C の範囲 (相対位置 p2 から 100までの範囲) にある期間に、残り 2 つのスケーリング値"Q3" および "Q4" を用いて一連の圧縮符号化処理を仮想的に実行した場合に得られる符号化データ量の累積値の推移は、同グラフ上で直線 E3(C) およびE4(C) としてそれぞれ表わされる。そして符号化処理がなされた矩形領域の相対位置が 100に達した時点において、これら 2 つの符号化データ量の累積値は L3(A+B+C) および L4(A+B+C) (Llim ( L3(A+B+C) (L4(A+B+C)) にそれぞれ達することが表わされている。

0105

このことから、図 5 に示した原画像データを構成するすべての矩形領域に対する一連の圧縮符号化処理を終えた時点で、2 つのスケーリング値"Q3" および"Q4" を用いた符号化処理によって得られる 2 つの符号化データ量の最終的な累積値L3(A+B+C) および L4(A+B+C) は、いずれも最大許容符号化データ量 Llim を超えないことがわかる。

0106

最終的な結果としては、符号化歪みの観点から、より圧縮率の低い符号化データ列であるスケーリング値"Q3" を用いた一連の圧縮符号化処理によって得られる符号化データ列がこの画像符号化装置の出力すべき最適な符号化データ列になる。

0107

実際には、このように仮想的な一連の圧縮符号化処理の結果として得られるスケーリング値"Q3" が与えられた 4 個のスケーリング値 "Q1"、"Q2"、"Q3" および "Q4" の中で最適なスケーリング値であることは一連の圧縮符号化処理を開始する時点では未知である。

0108

実際に第 1 の符号化データ列信号 113 上に出力された個々の矩形領域に対応する符号化データ列 E1(A) は、スイッチ 104 を経由して、さらに選択された符号化データ列信号 114 を介して、符号化データ列バッファ105 内に順次格納される。

0109

1回目の符号化処理フェーズの期間中に符号化データ列バッファ105 内に順次格納される符号化データ列 E1(A) は、1 回目のスケーリング値"Q1" を用いた符号化処理によって生成されたものである。この格納された符号化データ列 E1(A) のデータ量の積算値は制御部 101 内部で累積加算されており、その遷移は図 6 に示したグラフ上で直線 E1(A) として表わされている。これは前記図 4に示したグラフ上で描かれた直線 E1(A) に相当するものである。したがって、符号化部 103 によって矩形単位の符号化処理がなされた矩形領域の原画像上の相対位置がp1 に進んだ時点で、前記符号化データ列 E1(A) のデータ量の積算値は最大許容符号化データ量Llim に達してしまうことになる。

0110

制御部 101 では、符号化データ列バッファ105 内に格納された原画像上の分割領域 A を構成するすべての矩形領域に対応する符号化データ列 E1(A) のデータ量の累積値が最大許容符号化データ量Llim に達したことを確認したならば、現在実行中の 1回目の符号化処理フェーズを一時的に中断すべきであると判断する(ステップS8)。

0111

このような符号化処理フェーズに対する動作中断の判断がなされた場合、制御部 101 は速やかに符号化部 103 に対してその矩形単位の符号化処理の動作中断を、符号化部動作制御信号131 を介して指示する (ステップS10)。

0112

その後、画像符号化装置の処理フェーズを 1回目の符号化処理フェーズから1 回目の再符号化処理フェーズに移行すべく、制御部 101 は次のような制御を実行する。

0113

まず、制御部 101 は現在の画像符号化装置の処理フェーズが再符号化処理フェーズであることを示し、また同時に対応するスイッチ 104 を 'R' 側に設定するための処理フェーズ指示値を処理フェーズ指示信号134 上に出力する(ステップS11)。

0114

処理フェーズ指示信号134 に対する前記制御によって、スイッチ 104 内では、第 2 の符号化データ列信号 116 を介して供給される符号化データ列 R2(A)を、選択された符号化データ列信号 114 上に伝送するように接続される。

0115

次に、制御部 101 はその内部で再符号化部 106 から出力される符号化データ列のデータ量を累積演算した結果を示す再符号化データ量累積値を 0 にリセットする(ステップS12)。

0116

次に、制御部 101 は先行する 1回目の符号化処理フェーズ期間中に符号化部103 に与えた 1 回目のスケーリング値"Q1" およびそのスケーリング値 "Q1"を用いて符号化処理がなされた最終矩形領域の原画像上の相対位置である p1 等の符号化処理の結果を基に、更新されたスケーリング値である 2 回目のスケーリング値 "Q2" を導出する(ステップS13)。

0117

制御部 101 は前記導出された 2回目のスケーリング値"Q2" を 1 回目のスケーリング値 "Q1" と共に再符号化パラメータ指示信号136 上に出力する (ステップS14)。このことによって、1 回目のスケーリング値 "Q1" および 2 回目のスケーリング値 "Q2" は再符号化部 106 内のスケーリング値レジスタ305内に格納される。

0118

その後、制御部 101 は再符号化部動作制御信号132 を介して再符号化部 106に対する再符号化処理の動作開始を指示する(ステップS15)。

0119

上記指示によって、本実施例の画像符号化装置において、図 5 に示した原画像上の分割領域 A に含まれるすべての矩形領域に対応する符号化データ列E1(A) に対する再符号化処理フェーズが実質的に開始されることになる。

0120

先行する 1回目の符号化処理フェーズの期間中に符号化データ列バッファ105 に順次格納された符号化データ列 E1(A) は、被符号化データである矩形領域に対応する個々の符号化データ列単位に符号化データ列バッファ読み出し信号115 を介して再符号化部 106 によって順次読み出される。

0121

読み出された矩形単位の符号化データ列E1(A) は、再符号化部 106 内のエントロピー復号化部 301 において、復号化用可変長符号テーブル302 を参照しながらの可変長復号化、値が 0 である無意の変換係数に対するランレングス復号化、さらに所定のスキャン順序による一次元データの二次元行列化、といった一連のエントロピー復号化処理が施され、結果として得られる複数個の 8 行 × 8列の復号化された直交変換係数行列が復号化された変換係数行列信号 322 上に順次出力され、逆量子化部 303 に順次供給される。

0122

一方、再符号化部 106 内の量子化値スケーリング部 306 では、量子化テーブル304 から量子化ステップ信号 323 を介して読み出された図 8 に示す 8 × 8個の量子化ステップ値に対して、スケーリング値レジスタ305 に格納されている 1回目のスケーリング値 "Q1" を用いたスケーリング演算が行なわれ、その演算結果として得られた 8 行 × 8 列の "Q1" でスケーリングされた量子化ステップ値は、スケーリングされた逆量子化ステップ値信号 325 を介して逆量子化部 303 に順次供給される。

0123

この量子化値スケーリング部 306 で行なわれる一連のスケーリング演算は、前記符号化部 103 内の量子化値スケーリング部 206 で行なわれる一連のスケーリング演算と同一のものである。

0124

再符号化部 106 内の逆量子化部 303 では、前記エントロピー復号化部 301から復号化された変換係数行列信号 322 を介して供給される複数個の 8 行 ×8 列の復号化された直交変換係数行列に対して、前記量子化値スケーリング部 306 からスケーリングされた逆量子化ステップ信号325 を介して供給される 8× 8 個の "Q1" でスケーリングされた量子化ステップ値行列を用いた逆量子化演算が行なわれ、その演算結果として得られた 8 行 × 8 列の逆量子化された直交変換係数行列は、逆量子化された変換係数行列信号 326 を介して量子化部307 に順次供給される。

0125

この逆量子化部 303 で行なわれる逆量子化演算は、単純な整数乗算である。例えば、供給される量子化ステップ値が 5 である場合の量子化・逆量子化演算の入出力特性は、図 10 に示すグラフのようになる。このグラフにおいて横軸は被量子化データとして符号化器に供給される変換係数の値を表わし、縦軸は量子化ステップ値 5 による量子化演算結果に対してさらに量子化ステップ値 5 による逆量子化演算を行なうことによって得られる変換係数の再生値を表わしている。同様に量子化ステップ値が 7 である場合の量子化・逆量子化演算の入出力特性は、図 11 に示すグラフのようになる。

0126

続いて、再符号化部 106 内の量子化値スケーリング部 306 では、量子化テーブル304 から量子化ステップ信号 323 を介して読み出された図 8 に示す 8 ×8 個の量子化ステップ値に対して、スケーリング値レジスタ305 に格納されている 2回目のスケーリング値 "Q2" を用いたスケーリング演算が行なわれ、その演算結果として得られた 8 行 × 8 列の "Q2" でスケーリングされた量子化ステップ値は、スケーリングされた量子化ステップ値信号 328 を介して量子化部 307 に順次供給される。

0127

再符号化部 106 内の量子化部 307 では、前記逆量子化部 303 から逆量子化された変換係数行列信号 326 を介して供給される複数個の 8 行 × 8 列の逆量子化された直交変換係数行列に対して、前記量子化値スケーリング部 306 からスケーリングされた量子化ステップ信号 328 を介して供給される 8 × 8 個の"Q2" でスケーリングされた量子化ステップ値行列を用いた量子化演算が行なわれ、その演算結果として得られた 8 行 × 8 列の量子化された直交変換係数行列は、量子化された変換係数行列信号 329 を介してエントロピー符号化部 308に順次供給される。

0128

この量子化部 307 で行なわれる量子化演算は、符号化部 103 内の量子化部 203 で行なわれる量子化演算と同様に実数除算および整数まるめ演算等で構成され、その演算の入出力特性は量子化部 203 と同一である。

0129

しかし、再符号化部 106 内の量子化部 307 に供給される変換係数は、過去に一度以上量子化演算および逆量子化演算を施すことによって再生されたものであるため、適用した量子化ステップ値が 2 以上である場合は、その量子化ステップ値の大きさに応じた量子化歪みを包含していることになる。

0130

例えば、量子化ステップ値5 を用いた量子化演算および逆量子化演算を施すことによって再生された変換係数に対して、更新された量子化ステップ値が 7を用いた量子化・逆量子化演算の入出力特性は、図 12 に示すグラフのようになる。このグラフにおいて横軸は被量子化データとして量子化ステップ値 5 が適用された符号化器に供給される本来の変換係数の値を表わし、縦軸は量子化ステップ値 5 による量子化・逆量子化演算、そしてその後量子化ステップ値 7 による量子化・逆量子化演算を行なうことによって得られる変換係数の再生値を表わしている。

0131

図 12 に示した量子化ステップ値5そしてその後の量子化ステップ値 7 を適用した量子化・逆量子化演算の入出力特性を表わすグラフと、前記図 11 に示した量子化ステップ値 7 のみを適用した量子化・逆量子化演算の入出力特性を表わすグラフとを比較するとわかるように、最終的な出力結果である変換係数の再生値には一部差が生じることがわかる。

0132

例えば、変換係数+11/-11 に対して量子化ステップ値7 による量子化・逆量子化演算を施すことによって得られる変換係数の再生値は図 11 に示すグラフから読み取られるように +14/-14 になるが、一度量子化ステップ値 5 による量子化・逆量子化演算を施すことによって得られる再生値に対してさらに量子化ステップ値 7 による量子化・逆量子化演算を施すことによって得られる変換係数の再生値は図 12 に示すグラフから読み取られるように +7/-7 になる。

0133

再符号化部 106 内のエントロピー符号化部 308 では、量子化部 307 から量子化された変換係数行列信号 329 を介して供給される複数個の 8 行 × 8 列の量子化された直交変換係数行列に対して、所定のスキャン順序による二次元行列データの一次元化、および値が 0 である無意の変換係数に対するランレングス符号化、さらに符号化用の可変長符号テーブル309 を参照しながらの可変長符号化、といった一連のエントロピー符号化処理が施され、結果として得られる符号化データ列R2(A) が第 2 の符号化データ列信号 116 上に出力される。

0134

再符号化部 106 内のエントロピー符号化部 308 から第 2 の符号化データ列信号 116 上に出力された符号化データ列 R2(A) は、再符号化部 106 内の符号化データ量計数部 310 によってそのデータ長が計数され、結果として得られる符号化データ量および原画像を構成する各コンポーネントの符号化データ列の構成比といった付帯情報が再符号化処理付帯情報通知信号142 を介して制御部 101 に通知される。

0135

再符号化部 106 から再符号化処理付帯情報通知信号142 を介して制御部 101に順次通知される個々の矩形領域に対応する符号化データ列R2(A) のデータ量は、制御部 101 の内部で再符号化データ量累積値として逐次累積加算がなされる(ステップS16)。

0136

実際に第 2 の符号化データ列信号 116 上に出力された個々の矩形領域に対応する符号化データ列 R2(A) は、スイッチ 104 を経由して、さらに選択された符号化データ列信号 114 を介して、符号化データ列バッファ105 内に順次格納される。

0137

先行する 1回目の符号化処理フェーズに後続する 1 回目の再符号化処理フェーズの期間中に符号化データ列バッファ105 内に順次格納される符号化データ列 R2(A) は、2 回目のスケーリング値"Q2" を用いた再符号化処理によって生成されたものである。この格納された符号化データ列 R2(A) のデータ量の積算値は制御部 101 内部で累積加算されており、その遷移は図 6 に示したグラフ上で直線 R2(A) として表わされている。これは前記図 4 に示したグラフ上で描かれた直線 E2(A) に相当するものである。したがって、再符号化部 106 によって処理すべきすべての符号化データ列 E1(A) に対する再符号化処理がなされた時点、言い換えれば、再符号化部 106 によって再符号化処理がなされた符号化データ列 E1(A) に対応する矩形領域の原画像上の相対位置が p1 に進んだ時点で、前記符号化データ列 R2(A) のデータ量の積算値は L2(A) に達することになる。

0138

制御部 101 では、符号化データ列バッファ105 内に格納された原画像上の分割領域 A を構成するすべての矩形領域に対応する符号化データ列 E1(A) に対する再符号化処理が行なわれ、これによって得られた符号化データ列 R2(A) によって置き換えられたことを確認したならば、現在実行中の 1回目の再符号化処理フェーズを終了して、速やかに 2 回目の符号化処理フェーズに復帰すべきであると判断する(ステップS17)。

0139

このような再符号化処理フェーズの終了判断がなされた場合、制御部 101 は速やかに再符号化部 106 に対してその再符号化処理の動作停止を、再符号化部動作制御信号132 を介して指示する (ステップS18)。

0140

その後、画像符号化装置の処理フェーズを 1回目の再符号化処理フェーズから 2 回目の符号化処理フェーズに移行すべく、制御部 101 は次のような制御を実行する。

0141

まず、制御部 101 は現在の画像符号化装置の処理フェーズが再び符号化処理フェーズに復帰したことを示し、また同時に対応するスイッチ 104 を 'E' 側に設定するための処理フェーズ指示値を処理フェーズ指示信号134 上に出力する(ステップS19)。

0142

処理フェーズ指示信号134 に対する前記制御によって、スイッチ 104 内では、第 1 の符号化データ列信号 113 を介して供給される符号化データ列 E2(B)を、選択された符号化データ列信号 114 上に伝送するように接続される。

0143

次に、制御部 101 はその内部で符号化部 103 から出力される符号化データ列のデータ量を累積演算した結果を示す符号化データ量累積値を先行する 1回目の再符号化処理フェーズの期間中に計数した再符号化データ量累積値である L2(A) に初期化する (ステップS20)。

0144

さらに、制御部 101 は先行する 1回目の再符号化処理フェーズの開始時に導出したスケーリング値"Q2" を 2 回目のスケーリング値として符号化パラメータ指示信号135 上に出力する (ステップS21)。このことによって、2 回目のスケーリング値 "Q2" は符号化部 103 内のスケーリング値レジスタ205 内に 1回目のスケーリング値 "Q1" と共に格納される。

0145

その後、制御部 101 は符号化部動作制御信号131 を介して符号化部 103 に対する符号化処理の動作再開を指示する (ステップS22)。

0146

上記指示によって、本実施例の画像符号化装置において実質的な 2回目の符号化処理フェーズが、図 5 に示した原画像上の相対位置が p1 である矩形領域に後続する矩形領域、すなわち分割領域 B を構成する最初の矩形領域から開始されることになる。

0147

原画像データ・バッファ102 から読み出された分割領域 B を構成する矩形領域単位の原画像データは、符号化部 103 内の直交変換部 201 において、ブロック単位で直交変換演算が施され、その演算結果として得られた複数個の 8 行 ×8 列の直交変換係数行列が変換係数行列信号 221 上に順次出力され、スイッチ202 を通じて選択された変換係数行列信号 222 上に伝送され、量子化部 203に順次供給される。

0148

一方、符号化部 103 内の量子化値スケーリング部 206 では、量子化テーブル204 から量子化ステップ信号 223 を介して読み出された図 8 に示す 8 × 8個の量子化ステップ値に対して、スケーリング値レジスタ205 に格納されている 1回目のスケーリング値 "Q1" および 2 回目のスケーリング値 "Q2" を用いたスケーリング演算が交互に行なわれ、その演算結果として得られた 8 行 × 8列の "Q1" でスケーリングされた量子化ステップ値、および "Q2" でスケーリングされた量子化ステップ値は、スケーリングされた量子化ステップ値信号 225を介して量子化部 203 に順次交互に供給される。

0149

例えば、量子化ステップ値が 11 で 1回目のスケーリング値が 21、そして 2回目のスケーリング値が 33 であれば、値 5 および値 7 の 2つの演算結果がスケーリングされた量子化ステップ値として交互に出力される。

0150

符号化部 103 内の量子化部 203 では、前記直交変換部 201 からスイッチ 202、さらに選択された変換係数行列信号 222 を介して供給される複数個の 8 行× 8 列の直交変換係数行列に対して、前記量子化値スケーリング部 206 からスケーリングされた量子化ステップ信号 225 を介して供給される 8 × 8 個の "Q1" でスケーリングされた量子化ステップ値行列の対応する要素を用いた量子化演算が行なわれ、その演算結果として得られた 8 行 × 8 列の量子化された直交変換係数行列は、量子化された変換係数行列信号 226 を介して逆量子化部 207 に順次供給される。

0151

符号化部 103 内の逆量子化部 207 では、前記量子化部 203 から量子化された変換係数行列信号 226 を介して供給される複数個の 8 行 × 8 列の量子化された直交変換係数行列に対して、前記量子化値スケーリング部 206 からスケーリングされた量子化ステップ信号 225 を介して供給される 8 × 8 個の "Q1"でスケーリングされた量子化ステップ値行列を用いた逆量子化演算が行なわれ、その演算結果として得られた 8 行 × 8 列の逆量子化された直交変換係数行列は、逆量子化された変換係数行列信号 227 を介してスイッチ 202、さらに選択された変換係数行列信号 222 を介して再度符号化部 203 に順次供給される。

0152

符号化部 103 内の量子化部 203 では、前記逆量子化部 207 からスイッチ 202、さらに選択された変換係数行列信号 222 を介して供給される複数個の 8 行× 8 列の逆量子化された直交変換係数行列に対して、前記量子化値スケーリング部 206 からスケーリングされた量子化ステップ信号 225 を介して供給される8 × 8 個の "Q2" でスケーリングされた量子化ステップ値行列の対応する要素を用いた量子化演算が行なわれ、その演算結果として得られた 8 行 × 8 列の量子化された直交変換係数行列は、量子化された変換係数行列信号 226 を介してエントロピー符号化部 208 に順次供給される。

0153

この量子化部 203 および逆量子化部 207 で行なわれる量子化・逆量子化演算の入出力特性は、例えば、図 12 に示すグラフのようになる。

0154

符号化部 103 内のエントロピー符号化部 208 では、量子化部 203 から量子化された変換係数行列信号 226 を介して供給される複数個の 8 行 × 8 列の量子化された直交変換係数行列に対して、所定のスキャン順序による二次元行列データの一次元化、および値が 0 である無意の変換係数に対するランレングス符号化、さらに可変長符号テーブル209 を参照しながらの可変長符号化、といった一連のエントロピー符号化処理が施され、結果として得られる符号化データ列E2(B) が第 1 の符号化データ列信号 113 上に出力され、符号化データ量計数部 210 によって計数された符号化データ量および原画像を構成する各コンポーネントの符号化データ列の構成比といった付帯情報が符号化処理付帯情報通知信号141 を介して制御部 101 に通知される。

0155

符号化部 103 から符号化処理付帯情報通知信号141 を介して制御部 101 に順次通知される個々の矩形領域に対応する符号化データ列E2(B) のデータ量は、制御部 101 の内部で符号化データ量累積値として逐次累積加算がなされる (ステップS7)。

0156

実際に第 1 の符号化データ列信号 113 上に出力された個々の矩形領域に対応する符号化データ列 E2(B) は、スイッチ 104 を経由して、さらに選択された符号化データ列信号 114 を介して、先行する 1回目の再符号化処理フェーズ期間中に格納された符号化データ列 R2(A) に後続して、符号化データ列バッファ105 内に順次格納される。

0157

2回目の符号化処理フェーズの期間中に符号化データ列バッファ105 内に順次格納される符号化データ列 E2(B) は、2 回目のスケーリング値"Q2" を用いた符号化処理によって生成されたものである。この格納された符号化データ列 E2(B) のデータ量の積算値は制御部 101 内部で累積加算されており、その遷移は図 6 に示したグラフ上で直線 E2(B) として表わされている。これは前記図 4に示したグラフ上で描かれた直線 E2(B) に相当するものである。したがって、符号化部 103 によって矩形単位の符号化処理がなされた矩形領域の原画像上の相対位置がp2 に進んだ時点で、前記符号化データ列 R2(A) および符号化データ列 E2(B) のデータ量の積算値は最大許容符号化データ量Llim に達してしまうことになる。

0158

制御部 101 では、符号化データ列バッファ105 内に格納された原画像上の分割領域 A および 分割領域 B を構成するすべての矩形領域に対応する符号化データ列 R2(A) および E2(B) のデータ量の累積値が最大許容符号化データ量Llim に達したことを確認したならば、現在実行中の 2回目の符号化処理フェーズを再び一時的に中断すべきであると判断する (ステップS8)。

0159

このような符号化処理フェーズに対する動作中断の判断がなされた場合、制御部 101 は速やかに符号化部 103 に対してその矩形単位の符号化処理の動作中断を、符号化部動作制御信号131 を介して指示する (ステップS10)。

0160

その後、画像符号化装置の処理フェーズを 2回目の符号化処理フェーズから2 回目の再符号化処理フェーズに移行すべく、制御部 101 は次のような制御を実行する。

0161

まず、制御部 101 は現在の画像符号化装置の処理フェーズが再び再符号化処理フェーズに移行したことを示し、また同時に対応するスイッチ 104 を 'R' 側に設定するための処理フェーズ指示値を処理フェーズ指示信号134 上に出力する (ステップS11)。

0162

処理フェーズ指示信号134 に対する前記制御によって、スイッチ 104 内では、第 2 の符号化データ列信号 116 を介して供給される符号化データ列 R3(A+B)を、選択された符号化データ列信号 114 上に伝送するように接続される。

0163

次に、制御部 101 はその内部で再符号化部 106 から出力される符号化データ列のデータ量を累積演算した結果を示す再符号化データ量累積値を 0 にリセットする (ステップS12)。

0164

次に、制御部 101 は先行する 2回目の符号化処理フェーズ期間中に符号化部103 に与えた 2 回目のスケーリング値"Q2" およびそのスケーリング値 "Q2"を用いて符号化処理がなされた最終矩形領域の原画像上の相対位置である p2 等の符号化処理の結果を基に、更新されたスケーリング値である 3 回目のスケーリング値 "Q3" を導出する (ステップS13)。

0165

制御部 101 は前記導出された 3回目のスケーリング値"Q3" を 2 回目のスケーリング値 "Q2" と共に再符号化パラメータ指示信号136 上に出力する (ステップS14)。このことによって、2 回目のスケーリング値 "Q2" および 3 回目のスケーリング値 "Q3" は再符号化部 106 内のスケーリング値レジスタ305内に格納される。

0166

その後、制御部 101 は再符号化部動作制御信号132 を介して再符号化部 106に対する再符号化処理の動作開始を指示する (ステップS15)。

0167

上記指示によって、本実施例の画像符号化装置において、図 5 に示した原画像上の分割領域 A および B に含まれるすべての矩形領域に対応する符号化データ列R2(A) および E2(B) に対する再符号化処理フェーズが実質的に開始されることになる。

0168

先行する 1回目の再符号化処理フェーズおよび 2 回目の符号化処理フェーズの期間中に符号化データ列バッファ105 に順次格納された符号化データ列 R2(A) および E2(B) は、被符号化データである矩形領域に対応する個々の符号化データ列単位に符号化データ列バッファ読み出し信号115 を介して再符号化部 106 によって順次読み出される。

0169

読み出された矩形単位の符号化データ列R2(A) および E2(B) は、再符号化部106 内のエントロピー復号化部 301 において、復号化用可変長符号テーブル302 を参照しながらの可変長復号化、値が 0 である無意の変換係数に対するランレングス復号化、さらに所定のスキャン順序による一次元データの二次元行列化、といった一連のエントロピー復号化処理が施され、結果として得られる複数個の 8 行 × 8 列の復号化された直交変換係数行列が復号化された変換係数行列信号 322 上に順次出力され、逆量子化部 303 に順次供給される。

0170

一方、再符号化部 106 内の量子化値スケーリング部 306 では、量子化テーブル304 から量子化ステップ信号 323 を介して読み出された図 8 に示す 8 × 8個の量子化ステップ値に対して、スケーリング値レジスタ305 に格納されている 2回目のスケーリング値 "Q2" を用いたスケーリング演算が行なわれ、その演算結果として得られた 8 行 × 8 列の "Q2" でスケーリングされた量子化ステップ値は、スケーリングされた逆量子化ステップ値信号 325 を介して逆量子化部 303 に順次供給される。

0171

再符号化部 106 内の逆量子化部 303 では、前記エントロピー復号化部 301から復号化された変換係数行列信号 322 を介して供給される複数個の 8 行 ×8 列の復号化された直交変換係数行列に対して、前記量子化値スケーリング部 306 からスケーリングされた逆量子化ステップ信号325 を介して供給される 8× 8 個の "Q2" でスケーリングされた量子化ステップ値行列を用いた逆量子化演算が行なわれ、その演算結果として得られた 8 行 × 8 列の逆量子化された直交変換係数行列は、逆量子化された変換係数行列信号 326 を介して量子化部307 に順次供給される。

0172

続いて、再符号化部 106 内の量子化値スケーリング部 306 では、量子化テーブル304 から量子化ステップ信号 323 を介して読み出された図 8 に示す 8 ×8 個の量子化ステップ値に対して、スケーリング値レジスタ305 に格納されている 3回目のスケーリング値 "Q3" を用いたスケーリング演算が行なわれ、その演算結果として得られた 8 行 × 8 列の "Q2" でスケーリングされた量子化ステップ値は、スケーリングされた量子化ステップ値信号 328 を介して量子化部 307 に順次供給される。

0173

再符号化部 106 内の量子化部 307 では、前記逆量子化部 303 から逆量子化された変換係数行列信号 326 を介して供給される複数個の 8 行 × 8 列の逆量子化された直交変換係数行列に対して、前記量子化値スケーリング部 306 からスケーリングされた量子化ステップ信号 328 を介して供給される 8 × 8 個の"Q3" でスケーリングされた量子化ステップ値行列を用いた量子化演算が行なわれ、その演算結果として得られた 8 行 × 8 列の量子化された直交変換係数行列は、量子化された変換係数行列信号 329 を介してエントロピー符号化部 308に順次供給される。

0174

再符号化部 106 内のエントロピー符号化部 308 では、量子化部 307 から量子化された変換係数行列信号 329 を介して供給される複数個の 8 行 × 8 列の量子化された直交変換係数行列に対して、所定のスキャン順序による二次元行列データの一次元化、および値が 0 である無意の変換係数に対するランレングス符号化、さらに符号化用の可変長符号テーブル309 を参照しながらの可変長符号化、といった一連のエントロピー符号化処理が施され、結果として得られる符号化データ列R3(A+B) が第 2 の符号化データ列信号 116 上に出力される。

0175

再符号化部 106 内のエントロピー符号化部 308 から第 2 の符号化データ列信号 116 上に出力された符号化データ列 R3(A+B) は、再符号化部 106 内の符号化データ量計数部 310 によってそのデータ長が計数され、結果として得られる符号化データ量および原画像を構成する各コンポーネントの符号化データ列の構成比といった付帯情報が再符号化処理付帯情報通知信号142 を介して制御部101 に通知される。

0176

再符号化部 106 から再符号化処理付帯情報通知信号142 を介して制御部 101に順次通知される個々の矩形領域に対応する符号化データ列R3(A+B) のデータ量は、制御部 101 の内部で再符号化データ量累積値として逐次累積加算がなされる(ステップS16)。

0177

実際に第 2 の符号化データ列信号 116 上に出力された個々の矩形領域に対応する符号化データ列 R3(A+B) は、スイッチ 104 を経由して、さらに選択された符号化データ列信号 114 を介して、符号化データ列バッファ105 内に順次格納される。

0178

先行する 2回目の符号化処理フェーズに後続する 2 回目の再符号化処理フェーズの期間中に符号化データ列バッファ105 内に順次格納される符号化データ列 R3(A+B) は、3 回目のスケーリング値"Q3" を用いた再符号化処理によって生成されたものである。この格納された符号化データ列 R3(A+B) のデータ量の積算値は制御部 101 内部で累積加算されており、その遷移は図 6 に示したグラフ上で直線 R3(A+B) として表わされている。これは前記図 4 に示したグラフ上で描かれた直線 E3(A) および E3(B) に相当するものである。したがって、再符号化部 106 によって処理すべきすべての符号化データ列 R2(A) および E2(B)に対する再符号化処理がなされた時点、言い換えれば、再符号化部 106 によって再符号化処理がなされた符号化データ列 R2(A) および E2(B) に対応する矩形領域の原画像上の相対位置が p2 に進んだ時点で、前記符号化データ列 R3(A+B)のデータ量の積算値は L3(A+B) に達することになる。

0179

制御部 101 では、符号化データ列バッファ105 内に格納された原画像上の分割領域 A および B を構成するすべての矩形領域に対応する符号化データ列 R2(A) および E2(B) に対する再符号化処理が行なわれ、これによって得られた符号化データ列 R3(A+B) によって置き換えられたことを確認したならば、現在実行中の 2回目の再符号化処理フェーズを終了して、速やかに 3 回目の符号化処理フェーズに復帰すべきであると判断する (ステップS17)。

0180

このような再符号化処理フェーズの終了判断がなされた場合、制御部 101 は速やかに再符号化部 106 に対してその再符号化処理の動作停止を、再符号化部動作制御信号132 を介して指示する (ステップS18)。

0181

その後、画像符号化装置の処理フェーズを 2回目の再符号化処理フェーズから 3 回目の符号化処理フェーズに移行すべく、制御部 101 は次のような制御を実行する。

0182

まず、制御部 101 は現在の画像符号化装置の処理フェーズが再び符号化処理フェーズに復帰したことを示し、また同時に対応するスイッチ 104 を 'E' 側に設定するための処理フェーズ指示値を処理フェーズ指示信号134 上に出力する(ステップS19)。

0183

処理フェーズ指示信号134 に対する前記制御によって、スイッチ 104 内では、第 1 の符号化データ列信号 113 を介して供給される符号化データ列 E3(C)を、選択された符号化データ列信号 114 上に伝送するように接続される。

0184

次に、制御部 101 はその内部で符号化部 103 から出力される符号化データ列のデータ量を累積演算した結果を示す符号化データ量累積値を先行する 2回目の再符号化処理フェーズの期間中に計数した再符号化データ量累積値である L3(A+B) に初期化する(ステップS20)。

0185

さらに、制御部 101 は先行する 2回目の再符号化処理フェーズの開始時に導出したスケーリング値"Q3" を 3 回目のスケーリング値として符号化パラメータ指示信号135 上に出力する (ステップS21)。このことによって、3 回目のスケーリング値 "Q3" は符号化部 103 内のスケーリング値レジスタ205 内に 1回目のスケーリング値 "Q1" および 2 回目のスケーリング値 "Q2" と共に格納される。

0186

その後、制御部 101 は符号化部動作制御信号131 を介して符号化部 103 に対する符号化処理の動作再開を指示する (ステップS22)。

0187

上記指示によって、本実施例の画像符号化装置において実質的な 3回目の符号化処理フェーズが、図 5 に示した原画像上の相対位置が p2 である矩形領域に後続する矩形領域、すなわち分割領域 C を構成する最初の矩形領域から開始されることになる。

0188

原画像データ・バッファ102 から読み出された分割領域 C を構成する矩形領域単位の原画像データは、符号化部 103 内の直交変換部 201 において、ブロック単位で直交変換演算が施され、その演算結果として得られた複数個の 8 行 ×8 列の直交変換係数行列が変換係数行列信号 221 上に順次出力され、スイッチ202 を通じて選択された変換係数行列信号 222 上に伝送され、量子化部 203に順次供給される。

0189

一方、符号化部 103 内の量子化値スケーリング部 206 では、量子化テーブル204 から量子化ステップ信号 223 を介して読み出された図 8 に示す 8 × 8個の量子化ステップ値に対して、スケーリング値レジスタ205 に格納されている 1回目のスケーリング値 "Q1"、2 回目のスケーリング値 "Q2" および 3 回目のスケーリング値 "Q3" を用いたスケーリング演算が交互に行なわれ、その演算結果として得られた 8 行 × 8 列の "Q1" でスケーリングされた量子化ステップ値、"Q2" でスケーリングされた量子化ステップ値、および "Q3" でスケーリングされた量子化ステップ値は、スケーリングされた量子化ステップ値信号 225 を介して量子化部 203 に順次交互に供給される。

0190

例えば、量子化ステップ値が 11 で 1回目のスケーリング値が 21、2 回目のスケーリング値が 33、そして 3 回目のスケーリング値が 45 であれば、値 5、値 7 および値 10 の 3 つの演算結果がスケーリングされた量子化ステップ値として交互に出力される。

0191

符号化部 103 内の量子化部 203 では、前記直交変換部 201 からスイッチ 202、さらに選択された変換係数行列信号 222 を介して供給される複数個の 8 行× 8 列の直交変換係数行列に対して、前記量子化値スケーリング部 206 からスケーリングされた量子化ステップ信号 225 を介して供給される 8 × 8 個の "Q1" でスケーリングされた量子化ステップ値行列の対応する要素を用いた量子化演算が行なわれ、その演算結果として得られた 8 行 × 8 列の量子化された直交変換係数行列は、量子化された変換係数行列信号 226 を介して逆量子化部 207 に順次供給される。

0192

符号化部 103 内の逆量子化部 207 では、前記量子化部 203 から量子化された変換係数行列信号 226 を介して供給される複数個の 8 行 × 8 列の量子化された直交変換係数行列に対して、前記量子化値スケーリング部 206 からスケーリングされた量子化ステップ信号 225 を介して供給される 8 × 8 個の "Q1"でスケーリングされた量子化ステップ値行列を用いた逆量子化演算が行なわれ、その演算結果として得られた 8 行 × 8 列の逆量子化された直交変換係数行列は、逆量子化された変換係数行列信号 227 を介してスイッチ 202、さらに選択された変換係数行列信号 222 を介して再度符号化部 203 に順次供給される。

0193

符号化部 103 内の量子化部 203 では、前記逆量子化部 207 からスイッチ 202、さらに選択された変換係数行列信号 222 を介して供給される複数個の 8 行× 8 列の逆量子化された直交変換係数行列に対して、前記量子化値スケーリング部 206 からスケーリングされた量子化ステップ信号 225 を介して供給される8 × 8 個の "Q2" でスケーリングされた量子化ステップ値行列の対応する要素を用いた量子化演算が行なわれ、その演算結果として得られた 8 行 × 8 列の量子化された直交変換係数行列は、量子化された変換係数行列信号 226 を介して再度逆量子化部 207 に順次供給される。

0194

符号化部 103 内の逆量子化部 207 では、前記量子化部 203 から量子化された変換係数行列信号 226 を介して供給される複数個の 8 行 × 8 列の量子化された直交変換係数行列に対して、前記量子化値スケーリング部 206 からスケーリングされた量子化ステップ信号 225 を介して供給される 8 × 8 個の "Q2"でスケーリングされた量子化ステップ値行列を用いた逆量子化演算が行なわれ、その演算結果として得られた 8 行 × 8 列の逆量子化された直交変換係数行列は、逆量子化された変換係数行列信号 227 を介してスイッチ 202、さらに選択された変換係数行列信号 222 を介して再度符号化部 203 に順次供給される。

0195

符号化部 103 内の量子化部 203 では、前記逆量子化部 207 からスイッチ 202、さらに選択された変換係数行列信号 222 を介して供給される複数個の 8 行× 8 列の逆量子化された直交変換係数行列に対して、前記量子化値スケーリング部 206 からスケーリングされた量子化ステップ信号 225 を介して供給される8 × 8 個の "Q3" でスケーリングされた量子化ステップ値行列の対応する要素を用いた量子化演算が行なわれ、その演算結果として得られた 8 行 × 8 列の量子化された直交変換係数行列は、量子化された変換係数行列信号 226 を介してエントロピー符号化部 208 に順次供給される。

0196

符号化部 103 内のエントロピー符号化部 208 では、量子化部 203 から量子化された変換係数行列信号 226 を介して供給される複数個の 8 行 × 8 列の量子化された直交変換係数行列に対して、所定のスキャン順序による二次元行列データの一次元化、および値が 0 である無意の変換係数に対するランレングス符号化、さらに可変長符号テーブル209 を参照しながらの可変長符号化、といった一連のエントロピー符号化処理が施され、結果として得られる符号化データ列E3(C) が第 1 の符号化データ列信号 113 上に出力され、符号化データ量計数部 210 によって計数された符号化データ量および原画像を構成する各コンポーネントの符号化データ列の構成比といった付帯情報が符号化処理付帯情報通知信号141 を介して制御部 101 に通知される。

0197

符号化部 103 から符号化処理付帯情報通知信号141 を介して制御部 101 に順次通知される個々の矩形領域に対応する符号化データ列E3(C) のデータ量は、制御部 101 の内部で符号化データ量累積値として逐次累積加算がなされる (ステップS7)。

0198

実際に第 1 の符号化データ列信号 113 上に出力された個々の矩形領域に対応する符号化データ列 E3(C) は、スイッチ 104 を経由して、さらに選択された符号化データ列信号 114 を介して、先行する 2回目の再符号化処理フェーズ期間中に格納された符号化データ列 R3(A+B) に後続して、符号化データ列バッファ105 内に順次格納される。

0199

3回目の符号化処理フェーズの期間中に符号化データ列バッファ105 内に順次格納される符号化データ列 E3(C) は、3 回目のスケーリング値"Q3" を用いた符号化処理によって生成されたものである。この格納された符号化データ列 E3(C) のデータ量の積算値は制御部 101 内部で累積加算されており、その遷移は図 6 に示したグラフ上で直線 E3(C) として表わされている。これは前記図 4に示したグラフ上で描かれた直線 E3(C) に相当するものである。したがって、符号化部 103 によって矩形単位の符号化処理がなされた矩形領域の原画像上の相対位置が100に進んだ時点で、前記符号化データ列 R3(A+B) および符号化データ列 E3(C) のデータ量の積算値は L3(A+B+C) に達することになる。

0200

制御部 101 では、符号化データ列バッファ105 内に格納された原画像上の分割領域 A および 分割領域 B さらに残りの分割領域 C を構成するすべての矩形領域、すなわち原画像を構成するすべての矩形領域に対応する符号化データ列 R3(A+B) および E3(C) のデータ量の累積値が最大許容符号化データ量Llim を超えないことを確認したならば、現在実行中の 3回目の符号化処理フェーズ、すなわち図 5 に示した原画像に対する一連の圧縮符号化処理を終了すべきであると判断する (ステップS9)。

0201

このような一連の圧縮符号化処理に対する動作終了の判断がなされた場合、制御部 101 は速やかに符号化部 103 に対してその矩形単位の符号化処理の動作終了を、符号化部動作制御信号131 を介して指示する (ステップS23)。

0202

そして最終的に、制御部 101 は図 5 に示した被符号化データである原画像に対する一連の圧縮符号化処理が終了した旨を、外部システム等に圧縮符号化処理終了通知信号 122 を通じて通知する (ステップS24)。

0203

以上説明してきた原画像に対する一連の圧縮符号化処理においては、一連の圧縮符号化処理の最終的な結果として符号化データ列バッファ105 に格納された符号化データ列はスケーリング値"S3" を用いた符号化処理および再符号化処理によって生成されたことになる。

0204

さらに詳しく見ると、原画像を構成する最初の分割領域 A は、スケーリング値"S1" を用いた符号化処理、そしてスケーリング値 "S2" を用いた再符号化処理、そしてさらにスケーリング値 "S3" を用いた再符号化処理によって対応する符号化データ列R3(A) が生成されている。続く分割領域 B は、スケーリング値"S2" を用いた符号化処理、そしてスケーリング値 "S3" を用いた再符号化処理によって対応する符号化データ列 R3(B) が生成されている。最後の分割領域 Cは、スケーリング値 "S3" を用いた符号化処理によって対応する符号化データ列E3(C) が生成されている。

0205

このように原画像を構成する 3 つの分割領域は、それぞれ異なる回数の符号化処理および再符号化処理が施されてはいるが、本画像符号化装置では、もっとも量子化歪みが蓄積する分割領域 A の部分に合わせて他の分割領域に対する符号化処理に際して、適用されたすべてのスケーリング値を用いて必要な回数の量子化・逆量子化演算をその内部で行なっている。

0206

以上説明してきたように、本発明を適用した画像符号化装置の実施例では、符号化部 103 および再符号化部 107 によって生成された符号化データ量の積算値および原画像データを構成する各コンポーネントの符号化データ列の構成比をもとに、以降の部分領域の符号化処理で用いる量子化スケーリング値の更新値が制御部 101 によって決定され、その量子化スケーリング値の更新値を用いて既に符号化処理がなされた部分領域に対する再符号化処理および同更新値を用いて以降の部分領域に対する符号化処理を実行する。

発明の効果

0207

以上述べてきたように、本発明においては、符号化器および再符号化器によって生成された符号化データ量の積算値および原画像データを構成する各コンポーネントの符号化データ列の構成比をもとに以降の部分領域の符号化処理で用いる量子化スケーリング値の更新値を決定し、その量子化スケーリング値の更新値を用いて既に符号化処理がなされた部分領域に対する再符号化処理および同更新値を用いて以降の部分領域に対する符号化処理を実行する。このことによって適切な符号化パラメータによる情報量制御が実現できる。

図面の簡単な説明

0208

図1本発明を適用した画像符号化装置の実施例を表わす機能ブロック図
図2画像符号化装置の第 1 の実施例における符号化部 103 の機能ブロック図
図3画像符号化装置の第 1 の実施例における再符号化部 107 の機能ブロック図
図4図 5 に示した原画像における符号化データ量の累積値と符号化処理が行なわれた矩形領域の原画像上の相対位置との関係を表わすグラフ
図5原画像を表わす図
図6図 5 に示した原画像に対する圧縮符号化処理の過程を表わすグラフ
図7実施例における制御部 101 の動作を表わすフロー・チャート
図8量子化ステップ値行列の例
図9スケーリングされた量子化ステップ値行列の例
図10量子化ステップ値が 5 の場合の量子化・逆量子化演算の入出力特性を表わすグラフ
図11量子化ステップ値が 7 の場合の量子化・逆量子化演算の入出力特性を表わすグラフ
図121回目の量子化ステップ値が 5 および 2 回目の量子化ステップ値が 7 の場合の連続した量子化・逆量子化演算の入出力特性を表わすグラフ

--

0209

101 制御部
102原画像データ・バッファ
103 符号化部
104 スイッチ
105符号化データ列バッファ
106再符号化部
111 原画像データ入力信号
112被符号化データ入力信号
113 第 1 の符号化データ列信号
114 選択された符号化データ列信号
115 符号化データ列バッファ読み出し信号
116 第 2 の符号化データ列信号
121圧縮符号化処理開始要求信号
122 圧縮符号化処理終了通知信号
131 符号化部動作制御信号
132 再符号化部動作制御信号
133 符号化データ列バッファ制御信号
134処理フェーズ指示信号
135符号化パラメータ指示信号
136再符号化パラメータ指示信号
141符号化処理付帯情報通知信号
142再符号化処理付帯情報通知信号

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 株式会社東芝の「 AD変換回路」が 公開されました。( 2020/09/24)

    【課題】一つの実施形態は、信号に含まれる誤差を低減できるAD変換回路を提供することを目的とする。【解決手段】一つの実施形態によれば、AD変換回路の第1のΔΣ変換回路において、第1の量子化器は、1.5ビ... 詳細

  • 株式会社デンソーの「 データ圧縮方法、データ圧縮装置」が 公開されました。( 2020/09/24)

    【課題】データを可逆的且つ効率よく圧縮することができるデータ圧縮方法、データ圧縮装置を提供する。【解決手段】実施形態のデータ圧縮方法は、文字および数字の少なくとも一方を含むデータを圧縮するものであって... 詳細

  • シャープ株式会社の「 画像スケーリング変換、逆変換装置及び方法」が 公開されました。( 2020/09/24)

    【課題】画質の低下を抑制可能な画像処理装置を実現する。【解決手段】画素スケーリング階調変換部(51)は、入力画像の各画素値にオフセットを加算又は減算したうえでスケーリングすることによりスケーリング済画... 詳細

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ