図面 (/)

技術 画像符号化装置、画像符号化方法、プログラム、及び記憶媒体

出願人 キヤノン株式会社
発明者 佐藤誠内藤聡
出願日 2002年6月27日 (18年5ヶ月経過) 出願番号 2002-188356
公開日 2003年10月3日 (17年1ヶ月経過) 公開番号 2003-283845
状態 特許登録済
技術分野 TV信号の圧縮,符号化方式 FAX帯域、冗長度の圧縮 TV信号の圧縮,符号化方式 FAXの帯域、冗長度の圧縮 圧縮、伸長・符号変換及びデコーダ
主要キーワード 二次元化 最大データ転送量 一次元化 動作フェーズ 後続部分 集合領域 圧縮復号化処理 スケーリング演算
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2003年10月3日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

予め定められたサイズに画像データを圧縮符号化すると共に、圧縮符号化された符号化データ列伸張復号化処理した場合に得られる画像の圧縮符号化歪みを抑え、高品質再構成画像を得ること。又、上記予め定められたサイズを適宜求めること。

解決手段

符号化部103は第1のパラメータQ1で画像を符号化し、再符号化部107は第2のパラメータQ2で符号化部103の符号化結果を再符号化する。符号化部103による符号化データ量が所定量以上の場合、Q1をQ2で置き換え、再符号化部107による従前の符号化データ列をパラメータ変更後の符号化部103が符号化したものとしてバッファ108に保存する。その次の置換候補の符号化データ列を生成するためには、Q2よりも高圧縮率パラメータを用いて再符号化部107による従前の符号化データ列に再符号化を行なう。

概要

背景

現在、静止画像に対する圧縮符号化処理機能は、多くのデジタルイメージング機器に搭載されている。これらデジタル・イメージング機器の代表的なものは所謂デジタル・カメラの類であるが、デジタル・カラーコピー機も圧縮符号化処理機能を備えるデジタル・イメージング機器のひとつである。

デジタル・カラー・コピー機では、原稿読み取り部から印刷部に対して読み取られた原稿画像データ転送する際のデータ転送量を軽減する目的で原稿読み取り部には読み取られた原稿画像データに対する圧縮符号化処理機能が、一方の印刷部には符号化された原稿画像データ列に対する伸張復号化処理機能がそれぞれ搭載されている。

原稿読み取り部の後段具備される圧縮符号化処理部によって生成される符号化された原稿画像データ列のデータ量は、圧縮符号化処理される前の原稿画像データ、すなわち読み取られた原稿画像データのデータ量に比べると数分の一から十数分の一程度に低減される。

符号化された原稿画像データ列の圧縮符号化処理される前の原稿画像データに対するデータ量の低減度、すなわち圧縮率の上限値は、符号化歪みが伸張復号化処理によって得られる再構成画像データから容易に視認できない程度の値がその許容される上限値として設定される。

一方、上記圧縮率の許容される下限値は、原稿読み取り部における単位時間あたりに読み込むことができる原稿画像データの最大データ量、および原稿読み取り部から印刷部に転送する際の圧縮符号化された原稿画像データ列の最大データ転送量、といったようなそのシステムにおける各種システム・パラメータによって一意に決定される。

このように圧縮率の許容される上限値および下限値が設定されたとしても、供給されるすべての原稿画像データに対する圧縮率をその範囲内に収めるように圧縮符号化処理を行なうことは容易で無い。

その理由は、量子化テーブルに代表される符号化パラメータとして同一のものを用いて圧縮符号化処理を行なっても、得られる符号化された原稿画像データ列のデータ量は原稿画像データ毎に不定であること、言い換えるならば、読み取られた原稿画像データ毎にその圧縮率は変わってしまうことに起因する。

これは、読み取られた原稿画像データ毎にその画像データが有する情報の空間周波数から見た偏りおよびその度合いが異なり、そのような原稿画像データに対する圧縮符号化処理の中では、値が0である変換係数に対するランレングス符号化および可変長符号を用いたエントロピー符号化といったような被圧縮符号化画像データが持つ冗長性を限りなく除去するための様々な手法が採用されているためである。

従って、すべての原稿画像データに対する圧縮率をその許容される上限値と下限値の間の範囲に収めるように圧縮符号化処理を施すためには、被圧縮符号化データすなわち供給される原稿画像データの各々に対して適用する符号化パラメータを適応的に変える必要がある。

一般的に圧縮率が一定になるように圧縮符号化処理を行なうためには、所謂情報量制御あるいは符号量制御と称される符号化制御を実現しなければならない。

上記情報量制御の具体的な実現手法としては、フィードフォワード手法とフィードバック手法の大きくふたつの手法が知られている。

フィードフォワード手法は圧縮符号化処理を行なう前に被圧縮符号化データとして入力される原画像データから別途ダイナミックレンジ電力、各種統計情報を算出して、それらの算出値を基に最適な符号化パラメータを予測した後、その得られた符号化パラメータを用いて実際の圧縮符号化処理を行なうものである。

これに対して、フィードバック手法は試行となる圧縮符号化処理を行なうことによって得られた符号化データ量実測値から最適な符号化パラメータを予測した後、その得られた符号化パラメータを用いて最終的な圧縮符号化処理を行なうものである。

圧縮符号化処理を試行することによって得られた符号化データ量の実測値から最適な符号化パラメータを予測するフィードバック手法のほうが、実際に得られた符号化データ量を直接的に予測値算出に用いているという点で、フィードフォワード手法に比べてより高い精度で目的とする符号化データ量を生成する符号化パラメータの予測値を得ることができる。しかし、このフィードバック手法は原理的に試行となる圧縮符号化処理のために費やされる時間的なオーバーヘッドが余計にかかってしまうという欠点がある。

ひとつの原画像データに対して目標とする圧縮率の符号化データ列が得られるまで何回も圧縮符号化処理を繰り返してもその処理時間の増分が許容できるようなシステム、言わばリアルタイム性や性能が過度に要求されないシステムであれば、特公平8−32037号公報に記載されているような有限回繰り返し試行アルゴリズムが適用可能である。

しかし、デジタル・カメラやデジタル・カラー・コピー機器のようなデジタル・イメージング機器では一般的にリアルタイム性および性能が要求される。したがって、最適な符号化パラメータを予測するための試行となる圧縮符号化処理に費やされる時間的なオーバーヘッドは限りなく小さく抑えることが課題とされ、さらにその予測精度として十分高いものが要求される。

フィードバック手法を用いた情報量制御における最適な符号化パラメータの予測精度を高めるためには、互いに異なる数多くの符号化パラメータを用いて試行となる圧縮符号化処理を複数回行ない、それらの符号化パラメータと実際に得られた符号化データ量の実測値との組み合わせ数を増やすことが効果的であることは容易に考えられる。しかし、その時間的なオーバーヘッドを最小限に抑えるためには、試行となる圧縮符号化処理の際に用いられる符号化パラメータの数と同数演算回路あるいは処理回路を具備し、それらの回路並列に動作させて、試行となる圧縮符号化処理を高速に行なうような工夫が必要となる。従来からこの課題を解決するいくつかの公知技術が考案されている。

このような言わば並列回路アーキテクチャの公知技術の一例である文献1”映像情報1992年1月号51-58ページ『60〜140Mbps対応のHDTVコーデック』”では、複数の符号化パラメータとしてN組の量子化テーブルを用いて、N個の量子化回路およびN個の発生符号量測定回路を具備する圧縮符号化装置から得られるN個の符号化データ量から曲線近似を行なうことによって最適な符号化パラメータ、すなわち最適な量子化テーブルを得ることが記載されている。

同様な構成でありながら回路規模の増大を抑える工夫として、特許第2523953号では、3個の量子化回路を備えることによって試行となる圧縮符号化処理の際に5組の量子化テーブルを用いた量子化を並列に行ない、結果として5つの符号化データ量の値を算出することが記載されている。

ひとつの画像データを圧縮復号化処理するにあたって、符号化パラメータ、より具体的には量子化テーブルに対するスケーリング値を適応的に変えながら順次圧縮符号化処理を進めることができる符号化方式を採用している動画像圧縮符号化では、特許第2897563号に記載されるような符号化パラメータの逐次補正アルゴリズムが適用できる。

この従来例では、試行となる圧縮符号化処理の際に特定の量子化スケーリング値を用いて量子化して得られるブロック単位の符号化データ列のデータ量を算出し、その算出されたデータ量を基にM個の量子化スケール値で得られることが期待されるM個の符号化データ列のデータ量を予測し、前記M個の予測値から算出した目標符号化データ量と、実際に出力されている符号化データ列の現在までのデータ量の累積値との差分、すなわち予測誤差から実際に使用している量子化スケーリング値を逐次補正しながら圧縮符号化処理を進めている。

さらに、実際に生成された符号化データ量が予測に反して許容される上限値を超えることを回避する目的で特許第3038022号では、試行となる圧縮符号化処理の際に得られた符号化データ量から導出した量子化ステップ値を用いて実際に量子化および可変長符号化して得られた符号化データ列のデータ量が、ブロック単位に割り当てたデータ量を超えてしまった場合には、そのブロックにおける可変長符号化を打ち切ること(有意の変換係数の情報を廃棄すること)が記載されている。

概要

予め定められたサイズに画像データを圧縮符号化すると共に、圧縮符号化された符号化データ列を伸張復号化処理した場合に得られる画像の圧縮符号化歪みを抑え、高品質再構成画像を得ること。又、上記予め定められたサイズを適宜求めること。

符号化部103は第1のパラメータQ1で画像を符号化し、再符号化部107は第2のパラメータQ2で符号化部103の符号化結果を再符号化する。符号化部103による符号化データ量が所定量以上の場合、Q1をQ2で置き換え、再符号化部107による従前の符号化データ列をパラメータ変更後の符号化部103が符号化したものとしてバッファ108に保存する。その次の置換候補の符号化データ列を生成するためには、Q2よりも高圧縮率パラメータを用いて再符号化部107による従前の符号化データ列に再符号化を行なう。

目的

本発明は以上の問題を鑑みてなされたものであり、予め定められたサイズに画像データを圧縮符号化すると共に、圧縮符号化された符号化データ列を伸張復号化処理した場合に得られる画像の圧縮符号化歪みを抑え、高品質な再構成画像を得ることを目的とする。又、本発明は上記予め定められたサイズを適宜求めることを目的とする。

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

画像データに対して圧縮符号化を行う画像符号化装置であって、変更可能な第1の圧縮符号化パラメータを用いて、画像データに対して圧縮符号化を行ない、圧縮符号化された符号化データ列を生成する第1の圧縮符号化手段と、前記第1の圧縮符号化手段に適用した第1の圧縮符号化パラメータに応じて生成した第2の圧縮符号化パラメータを用いて、前記第1の符号化手段により圧縮符号化された符号化データ列および自らにより従前に圧縮符号化された置換候補の符号化データ列に対して再圧縮符号化を行ない、より高い圧縮率で圧縮符号化された置換候補の符号化データ列を生成する再圧縮符号化手段と、前記第1の圧縮符号化手段により圧縮符号化された符号化データ列のデータ量を計数すると共に、当該データ量が所定量以上であるか否かを判定するデータ量判定手段と、前記データ量判定手段により前記第1の圧縮符号化手段により圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記第1の圧縮符号化パラメータを前記第2の圧縮符号化パラメータで置き換える変更手段と、前記データ量判定手段により前記第1の圧縮符号化手段により圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記再圧縮符号化手段により従前に圧縮符号化された置換候補の符号化データ列を、第1の圧縮符号化パラメータ変更後の前記第1の圧縮符号化手段により圧縮符号化された符号化データ列として保存し、さらに第1の圧縮符号化パラメータ変更後の前記第1の圧縮符号化手段により圧縮符号化された符号化データ列を後続する符号化データ列として保存する保存手段と、前記データ量判定手段により前記第1の圧縮符号化手段により圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記再圧縮符号化手段による再圧縮符号化処理を行なうか否かを選択する処理実行選択手段と、前記処理実行選択手段により前記再圧縮符号化手段による再圧縮符号化処理を行なうことが選択された場合、前記再圧縮符号化手段に適用する第2の圧縮符号化パラメータとして、より高い圧縮率で圧縮可能な新たな圧縮符号化パラメータに更新する更新手段とを備えることを特徴とする画像符号化装置。

請求項2

画像データに対して圧縮符号化を行う画像符号化装置であって、変更可能な第1の圧縮符号化パラメータを用いて、画像データに対して圧縮符号化を行ない、圧縮符号化された符号化データ列を生成する第1の圧縮符号化手段と、前記第1の圧縮符号化手段に適用した第1の圧縮符号化パラメータに応じて生成した第2の圧縮符号化パラメータを用いて、画像データに対して圧縮符号化を行ない、より高い圧縮率で圧縮符号化された置換候補の符号化データ列を生成する第2の圧縮符号化手段と、前記第2の圧縮符号化手段に適用した第2の圧縮符号化パラメータを用いて、前記第2の符号化手段により圧縮符号化された置換候補の符号化データ列および自らにより従前に圧縮符号化された置換候補の符号化データ列に対して再圧縮符号化を行ない、より高い圧縮率で圧縮符号化された置換候補の符号化データ列を生成する再圧縮符号化手段と、前記第1の圧縮符号化手段により圧縮符号化された符号化データ列のデータ量を計数すると共に、当該データ量が所定量以上であるか否かを判定するデータ量判定手段と、前記データ量判定手段により前記第1の圧縮符号化手段により圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記第1の圧縮符号化パラメータを前記第2の圧縮符号化パラメータで置き換える変更手段と、前記データ量判定手段により前記第1の圧縮符号化手段により圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記第2の圧縮符号化手段および前記再圧縮符号化手段により従前に圧縮符号化された置換候補の符号化データ列を、第1の圧縮符号化パラメータ変更後の前記第1の圧縮符号化手段により圧縮符号化された符号化データ列として保存し、さらに第1の圧縮符号化パラメータ変更後の前記第1の圧縮符号化手段により圧縮符号化された符号化データ列を後続する符号化データ列として保存する保存手段と、前記データ量判定手段により前記第1の圧縮符号化手段により圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記第2の圧縮符号化手段による圧縮符号化処理および前記再圧縮符号化手段による再圧縮符号化処理を行なうか否かを選択する処理実行選択手段と、前記処理実行選択手段により前記第2の圧縮符号化手段による圧縮符号化処理および前記再圧縮符号化手段による再圧縮符号化処理を行なうことが選択された場合、前記第2の圧縮符号化手段および前記再圧縮符号化手段に適用する第2の圧縮符号化パラメータとして、より高い圧縮率で圧縮可能な新たな圧縮符号化パラメータに更新する更新手段とを備えることを特徴とする画像符号化装置。

請求項3

前記第1および第2の圧縮符号化パラメータは、量子化された変換係数に対するスケーリング値であることを特徴とする請求項1および請求項2に記載の画像符号化装置。

請求項4

前記保存手段が保存する符号化データ列に後続する符号化データ列は、前記変更後の前記第1の圧縮符号化パラメータを用いて、前記第1の圧縮符号化手段により生成されることを特徴とする請求項1および請求項2に記載の画像符号化装置。

請求項5

前記処理実行選択手段は更に、前記再圧縮符号化手段により従前に圧縮符号化された置換候補の符号化データ列を、パラメータ変更後の前記第1の圧縮符号化手段により圧縮符号化された符号化データ列として前記保存手段が保存する確率の予測値を求める予測値計算手段を備え、当該予測値計算手段により求めた当該予測値に基づいて、前記再圧縮符号化手段による再圧縮符号化処理を行なうか否かを選択することを特徴とする請求項1に記載の画像符号化装置。

請求項6

前記処理実行選択手段は更に、前記第2の圧縮符号化手段および再圧縮符号化手段により従前に圧縮符号化された置換候補の符号化データ列を、パラメータ変更後の前記第1の圧縮符号化手段により圧縮符号化された符号化データ列として前記保存手段が保存する確率の予測値を求める予測値計算手段を備え、当該予測値計算手段により求めた当該予測値に基づいて、前記第2の圧縮符号化手段による圧縮符号化処理および前記再圧縮符号化手段による再圧縮符号化処理を行なうか否かを選択することを特徴とする請求項2に記載の画像符号化装置。

請求項7

前記データ量判定手段は、前記画像データにおける前記第1の圧縮符号化手段の処理対象となる領域に応じた目標符号化データ量を前記所定量として求め、前記第1の圧縮符号化手段により圧縮符号化された符号化データ列のデータ量が対応する目標符号化データ量以上であるか否かを判定することを特徴とする請求項1および請求項2に記載の画像符号化装置。

請求項8

前記データ量判定手段は、前記画像データにおける前記第1の圧縮符号化手段の処理対象となる領域に応じた予測値を複数求め、当該複数の予測値を用いて、前記目標符号化データ量を求めることを特徴とする請求項7に記載の画像符号化装置。

請求項9

前記データ量判定手段は、前記第1の圧縮符号化手段により圧縮符号化された符号化データ列のシンボル数および前記再圧縮符号化手段により圧縮符号化された置換候補の符号化データ列のシンボル数を用いて、目標シンボル数を前記所定量として求め、前記第1の圧縮符号化手段により圧縮符号化された符号化データ列のシンボル数もしくは前記再圧縮符号化手段により圧縮符号化された置換候補の符号化データ列のシンボル数が前記目標シンボル数以上であるか否かを判定することを特徴とする請求項1に記載の画像符号化装置。

請求項10

前記データ量判定手段は、前記第1の圧縮符号化手段により圧縮符号化された符号化データ列のシンボル数および前記第2の圧縮符号化手段および前記再圧縮符号化手段により圧縮符号化された置換候補の符号化データ列のシンボル数を用いて、目標シンボル数を前記所定量として求め、前記第1の圧縮符号化手段により圧縮符号化された符号化データ列のシンボル数もしくは前記第2の圧縮符号化手段および前記再圧縮符号化手段により圧縮符号化された置換候補の符号化データ列のシンボル数が前記目標シンボル数以上であるか否かを判定することを特徴とする請求項2に記載の画像符号化装置。

請求項11

画像データに対して圧縮符号化を行う画像符号化方法であって、変更可能な第1の圧縮符号化パラメータを用いて、画像データに対して圧縮符号化を行ない、圧縮符号化された符号化データ列を生成する第1の圧縮符号化工程と、前記第1の圧縮符号化工程に適用した第1の圧縮符号化パラメータに応じて生成した第2の圧縮符号化パラメータを用いて、前記第1の符号化工程で圧縮符号化された符号化データ列および自らの工程で従前に圧縮符号化された置換候補の符号化データ列に対して再圧縮符号化を行ない、より高い圧縮率で圧縮符号化された置換候補の符号化データ列を生成する再圧縮符号化工程と、前記第1の圧縮符号化工程で圧縮符号化された符号化データ列のデータ量を計数すると共に、当該データ量が所定量以上であるか否かを判定するデータ量判定工程と、前記データ量判定工程で前記第1の圧縮符号化工程で圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記第1の圧縮符号化パラメータを前記第2の圧縮符号化パラメータで置き換える変更工程と、前記データ量判定工程で前記第1の圧縮符号化工程で圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記再圧縮符号化工程で従前に圧縮符号化された置換候補の符号化データ列を、第1の圧縮符号化パラメータ変更後の前記第1の圧縮符号化工程で圧縮符号化された符号化データ列として保存し、さらに第1の圧縮符号化パラメータ変更後の前記第1の圧縮符号化工程で圧縮符号化された符号化データ列を後続する符号化データ列として保存する保存工程と、前記データ量判定工程で前記第1の圧縮符号化工程で圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記再圧縮符号化工程での再圧縮符号化処理を行なうか否かを選択する処理実行選択工程と、前記処理実行選択工程で前記再圧縮符号化工程での再圧縮符号化処理を行なうことが選択された場合、前記再圧縮符号化工程に適用する第2の圧縮符号化パラメータとして、より高い圧縮率で圧縮可能な新たな圧縮符号化パラメータに更新する更新工程とを含むことを特徴とする画像符号化方法。

請求項12

画像データに対して圧縮符号化を行う画像符号化方法であって、変更可能な第1の圧縮符号化パラメータを用いて、画像データに対して圧縮符号化を行ない、圧縮符号化された符号化データ列を生成する第1の圧縮符号化工程と、前記第1の圧縮符号化工程に適用した第1の圧縮符号化パラメータに応じて生成した第2の圧縮符号化パラメータを用いて、画像データに対して圧縮符号化を行ない、より高い圧縮率で圧縮符号化された置換候補の符号化データ列を生成する第2の圧縮符号化工程と、前記第2の圧縮符号化工程に適用した第2の圧縮符号化パラメータを用いて、前記第2の符号化工程で圧縮符号化された置換候補の符号化データ列および自らの工程で従前に圧縮符号化された置換候補の符号化データ列に対して再圧縮符号化を行ない、より高い圧縮率で圧縮符号化された置換候補の符号化データ列を生成する再圧縮符号化工程と、前記第1の圧縮符号化工程により圧縮符号化された符号化データ列のデータ量を計数すると共に、当該データ量が所定量以上であるか否かを判定するデータ量判定工程と、前記データ量判定工程で前記第1の圧縮符号化工程で圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記第1の圧縮符号化パラメータを前記第2の圧縮符号化パラメータで置き換える変更工程と、前記データ量判定工程で前記第1の圧縮符号化工程で圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記第2の圧縮符号化工程および前記再圧縮符号化工程で従前に圧縮符号化された置換候補の符号化データ列を、第1の圧縮符号化パラメータ変更後の前記第1の圧縮符号化工程で圧縮符号化された符号化データ列として保存し、さらに第1の圧縮符号化パラメータ変更後の前記第1の圧縮符号化工程で圧縮符号化された符号化データ列を後続する符号化データ列として保存する保存工程と、前記データ量判定工程で前記第1の圧縮符号化工程により圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記第2の圧縮符号化工程での圧縮符号化処理および前記再圧縮符号化工程での再圧縮符号化処理を行なうか否かを選択する処理実行選択工程と、前記処理実行選択工程で前記第2の圧縮符号化工程での圧縮符号化処理および前記再圧縮符号化工程での再圧縮符号化処理を行なうことが選択された場合、前記第2の圧縮符号化工程および前記再圧縮符号化工程に適用する第2の圧縮符号化パラメータとして、より高い圧縮率で圧縮可能な新たな圧縮符号化パラメータに更新する更新工程とを備えることを特徴とする画像符号化方法。

請求項13

前記第1および第2の圧縮符号化パラメータは、量子化された変換係数に対するスケーリング値であることを特徴とする請求項11および請求項12に記載の画像符号化方法。

請求項14

前記保存工程で保存する符号化データ列に後続する符号化データ列は、前記変更後の前記第1の圧縮符号化パラメータを用いて、前記第1の圧縮符号化工程で生成されることを特徴とする請求項11および請求項12に記載の画像符号化方法。

請求項15

前記処理実行選択工程は更に、前記再圧縮符号化工程で従前に圧縮符号化された置換候補の符号化データ列を、パラメータ変更後の前記第1の圧縮符号化工程で圧縮符号化された符号化データ列として前記保存工程で保存する確率の予測値を求める予測値計算工程を含み、当該予測値計算工程で求めた当該予測値に基づいて、前記再圧縮符号化工程での再圧縮符号化処理を行なうか否かを選択することを特徴とする請求項11に記載の画像符号化方法。

請求項16

前記処理実行選択工程は更に、前記第2の圧縮符号化工程および再圧縮符号化工程で従前に圧縮符号化された置換候補の符号化データ列を、パラメータ変更後の前記第1の圧縮符号化工程で圧縮符号化された符号化データ列として前記保存工程で保存する確率の予測値を求める予測値計算工程を備え、当該予測値計算工程で求めた当該予測値に基づいて、前記第2の圧縮符号化工程での圧縮符号化処理および前記再圧縮符号化工程での再圧縮符号化処理を行なうか否かを選択することを特徴とする請求項12に記載の画像符号化方法。

請求項17

前記データ量判定工程では、前記画像データにおける前記第1の符号化工程での処理対象となる領域に応じた目標符号化データ量を前記所定量として求め、前記第1の圧縮符号化工程で圧縮符号化された符号化データ列のデータ量が対応する目標符号化データ量以上であるか否かを判定することを特徴とする請求項11および請求項12に記載の画像符号化方法。

請求項18

前記データ量判定工程では、前記画像データにおける前記第1の圧縮符号化工程での処理対象となる領域に応じた予測値を複数求め、当該複数の予測値を用いて、前記目標符号化データ量を求めることを特徴とする請求項17に記載の画像符号化方法。

請求項19

前記データ量判定工程では、前記第1の圧縮符号化工程で圧縮符号化された符号化データ列のシンボル数および前記再圧縮符号化工程で圧縮符号化された置換候補の符号化データ列のシンボル数を用いて、目標シンボル数を前記所定量として求め、前記第1の圧縮符号化工程で圧縮符号化された符号化データ列のシンボル数もしくは前記再圧縮符号化工程で圧縮符号化された置換候補の符号化データ列のシンボル数が前記目標シンボル数以上であるか否かを判定することを特徴とする請求項11に記載の画像符号化方法。

請求項20

前記データ量判定工程では、前記第1の圧縮符号化工程で圧縮符号化された符号化データ列のシンボル数および前記第2の圧縮符号化工程および前記再圧縮符号化工程で圧縮符号化された置換候補の符号化データ列のシンボル数を用いて、目標シンボル数を前記所定量として求め、前記第1の圧縮符号化工程で圧縮符号化された符号化データ列のシンボル数もしくは前記第2の圧縮符号化工程および前記再圧縮符号化工程で圧縮符号化された置換候補の符号化データ列のシンボル数が前記目標シンボル数以上であるか否かを判定することを特徴とする請求項12に記載の画像符号化方法。

請求項21

コンピュータを請求項1乃至10のいずれか1項に記載の画像符号化装置として機能させるプログラム

請求項22

コンピュータに請求項11乃至20のいずれか1項に記載の画像符号化方法を実行させるためのプログラム。

請求項23

請求項21又は22に記載のプログラムを格納するコンピュータ読みとり可能な記憶媒体

技術分野

0001

本発明は、画像符号化装置画像符号化方法プログラム記憶媒体に関するものである。

背景技術

0002

現在、静止画像に対する圧縮符号化処理機能は、多くのデジタルイメージング機器に搭載されている。これらデジタル・イメージング機器の代表的なものは所謂デジタル・カメラの類であるが、デジタル・カラーコピー機も圧縮符号化処理機能を備えるデジタル・イメージング機器のひとつである。

0003

デジタル・カラー・コピー機では、原稿読み取り部から印刷部に対して読み取られた原稿画像データ転送する際のデータ転送量を軽減する目的で原稿読み取り部には読み取られた原稿画像データに対する圧縮符号化処理機能が、一方の印刷部には符号化された原稿画像データ列に対する伸張復号化処理機能がそれぞれ搭載されている。

0004

原稿読み取り部の後段具備される圧縮符号化処理部によって生成される符号化された原稿画像データ列のデータ量は、圧縮符号化処理される前の原稿画像データ、すなわち読み取られた原稿画像データのデータ量に比べると数分の一から十数分の一程度に低減される。

0005

符号化された原稿画像データ列の圧縮符号化処理される前の原稿画像データに対するデータ量の低減度、すなわち圧縮率の上限値は、符号化歪みが伸張復号化処理によって得られる再構成画像データから容易に視認できない程度の値がその許容される上限値として設定される。

0006

一方、上記圧縮率の許容される下限値は、原稿読み取り部における単位時間あたりに読み込むことができる原稿画像データの最大データ量、および原稿読み取り部から印刷部に転送する際の圧縮符号化された原稿画像データ列の最大データ転送量、といったようなそのシステムにおける各種システム・パラメータによって一意に決定される。

0007

このように圧縮率の許容される上限値および下限値が設定されたとしても、供給されるすべての原稿画像データに対する圧縮率をその範囲内に収めるように圧縮符号化処理を行なうことは容易で無い。

0008

その理由は、量子化テーブルに代表される符号化パラメータとして同一のものを用いて圧縮符号化処理を行なっても、得られる符号化された原稿画像データ列のデータ量は原稿画像データ毎に不定であること、言い換えるならば、読み取られた原稿画像データ毎にその圧縮率は変わってしまうことに起因する。

0009

これは、読み取られた原稿画像データ毎にその画像データが有する情報の空間周波数から見た偏りおよびその度合いが異なり、そのような原稿画像データに対する圧縮符号化処理の中では、値が0である変換係数に対するランレングス符号化および可変長符号を用いたエントロピー符号化といったような被圧縮符号化画像データが持つ冗長性を限りなく除去するための様々な手法が採用されているためである。

0010

従って、すべての原稿画像データに対する圧縮率をその許容される上限値と下限値の間の範囲に収めるように圧縮符号化処理を施すためには、被圧縮符号化データすなわち供給される原稿画像データの各々に対して適用する符号化パラメータを適応的に変える必要がある。

0011

一般的に圧縮率が一定になるように圧縮符号化処理を行なうためには、所謂情報量制御あるいは符号量制御と称される符号化制御を実現しなければならない。

0012

上記情報量制御の具体的な実現手法としては、フィードフォワード手法とフィードバック手法の大きくふたつの手法が知られている。

0013

フィードフォワード手法は圧縮符号化処理を行なう前に被圧縮符号化データとして入力される原画像データから別途ダイナミックレンジ電力、各種統計情報を算出して、それらの算出値を基に最適な符号化パラメータを予測した後、その得られた符号化パラメータを用いて実際の圧縮符号化処理を行なうものである。

0014

これに対して、フィードバック手法は試行となる圧縮符号化処理を行なうことによって得られた符号化データ量実測値から最適な符号化パラメータを予測した後、その得られた符号化パラメータを用いて最終的な圧縮符号化処理を行なうものである。

0015

圧縮符号化処理を試行することによって得られた符号化データ量の実測値から最適な符号化パラメータを予測するフィードバック手法のほうが、実際に得られた符号化データ量を直接的に予測値算出に用いているという点で、フィードフォワード手法に比べてより高い精度で目的とする符号化データ量を生成する符号化パラメータの予測値を得ることができる。しかし、このフィードバック手法は原理的に試行となる圧縮符号化処理のために費やされる時間的なオーバーヘッドが余計にかかってしまうという欠点がある。

0016

ひとつの原画像データに対して目標とする圧縮率の符号化データ列が得られるまで何回も圧縮符号化処理を繰り返してもその処理時間の増分が許容できるようなシステム、言わばリアルタイム性や性能が過度に要求されないシステムであれば、特公平8−32037号公報に記載されているような有限回繰り返し試行アルゴリズムが適用可能である。

0017

しかし、デジタル・カメラやデジタル・カラー・コピー機器のようなデジタル・イメージング機器では一般的にリアルタイム性および性能が要求される。したがって、最適な符号化パラメータを予測するための試行となる圧縮符号化処理に費やされる時間的なオーバーヘッドは限りなく小さく抑えることが課題とされ、さらにその予測精度として十分高いものが要求される。

0018

フィードバック手法を用いた情報量制御における最適な符号化パラメータの予測精度を高めるためには、互いに異なる数多くの符号化パラメータを用いて試行となる圧縮符号化処理を複数回行ない、それらの符号化パラメータと実際に得られた符号化データ量の実測値との組み合わせ数を増やすことが効果的であることは容易に考えられる。しかし、その時間的なオーバーヘッドを最小限に抑えるためには、試行となる圧縮符号化処理の際に用いられる符号化パラメータの数と同数演算回路あるいは処理回路を具備し、それらの回路並列に動作させて、試行となる圧縮符号化処理を高速に行なうような工夫が必要となる。従来からこの課題を解決するいくつかの公知技術が考案されている。

0019

このような言わば並列回路アーキテクチャの公知技術の一例である文献1”映像情報1992年1月号51-58ページ『60〜140Mbps対応のHDTVコーデック』”では、複数の符号化パラメータとしてN組の量子化テーブルを用いて、N個の量子化回路およびN個の発生符号量測定回路を具備する圧縮符号化装置から得られるN個の符号化データ量から曲線近似を行なうことによって最適な符号化パラメータ、すなわち最適な量子化テーブルを得ることが記載されている。

0020

同様な構成でありながら回路規模の増大を抑える工夫として、特許第2523953号では、3個の量子化回路を備えることによって試行となる圧縮符号化処理の際に5組の量子化テーブルを用いた量子化を並列に行ない、結果として5つの符号化データ量の値を算出することが記載されている。

0021

ひとつの画像データを圧縮復号化処理するにあたって、符号化パラメータ、より具体的には量子化テーブルに対するスケーリング値を適応的に変えながら順次圧縮符号化処理を進めることができる符号化方式を採用している動画像圧縮符号化では、特許第2897563号に記載されるような符号化パラメータの逐次補正アルゴリズムが適用できる。

0022

この従来例では、試行となる圧縮符号化処理の際に特定の量子化スケーリング値を用いて量子化して得られるブロック単位の符号化データ列のデータ量を算出し、その算出されたデータ量を基にM個の量子化スケール値で得られることが期待されるM個の符号化データ列のデータ量を予測し、前記M個の予測値から算出した目標符号化データ量と、実際に出力されている符号化データ列の現在までのデータ量の累積値との差分、すなわち予測誤差から実際に使用している量子化スケーリング値を逐次補正しながら圧縮符号化処理を進めている。

0023

さらに、実際に生成された符号化データ量が予測に反して許容される上限値を超えることを回避する目的で特許第3038022号では、試行となる圧縮符号化処理の際に得られた符号化データ量から導出した量子化ステップ値を用いて実際に量子化および可変長符号化して得られた符号化データ列のデータ量が、ブロック単位に割り当てたデータ量を超えてしまった場合には、そのブロックにおける可変長符号化を打ち切ること(有意の変換係数の情報を廃棄すること)が記載されている。

発明が解決しようとする課題

0024

前述したようなフィードバック手法を用いた情報量制御における従来例の思想は、試行として行なわれる圧縮符号化処理によって得られたひとつあるいは複数個の符号化データ量の実測値を基に最適な符号化パラメータ、およびその符号化パラメータによって生成される符号化データ量の予測値を導出するという点でいずれも共通している。

0025

また一般的な静止画像圧縮符号化方式として今日広く採用されているJPEG符号化方式においては、最も代表的な符号化パラメータのひとつである量子化ステップ値行列、すなわち量子化テーブルについては、そのただ一つのテーブルの組み合わせがひとつの被圧縮符号化データを構成するすべてのブロックに対して共通に適用される。従って、このような符号化パラメータの自由度に制限のある静止画像圧縮符号化方式を採用することが前提になっている場合、従来例のひとつとして前述した符号化パラメータの逐次補正アルゴリズムを適用することはできない。

0026

さらに、もうひとつの従来例として引用した特許第3038022号に記載されているアルゴリズムでは、ブロック単位に割り当てたデータ量を超えてしまった時点でそのブロックに対する可変長符号化を打ち切ってしまうので、画像データを構成するすべてのブロックの圧縮符号化処理が終了した時点で得られた最終的な符号化データ列のデータ量が許容される上限値を超えない場合でも、本来廃棄する必要が無い有意の変換係数まで廃棄することになってしまい、伸張復号化処理によって得られる再構成画像において圧縮符号化歪みの局所的なばらつきが生じてしまう。したがってデジタル・イメージング機器への適用は好ましいとは言えない。

0027

デジタル・イメージング機器のようにリアルタイム性および性能が要求されるシステムにおいて、予測精度の高いフィードバック手法を用いた情報量制御を実現しつつ圧縮符号化処理を行なう場合、従来例として前述した並列回路アーキテクチャは確かに有効な実現形態ではあることには間違いがない。しかし、複数の符号化処理回路を実現するための回路規模、および複数個の符号化データ列を一時的に格納するためのバッファの容量としていずれも莫大なものが必要とされ、コスト的な見地からすると余りに多くの並列化を実現することは困難である。

0028

これらのことから、デジタル・イメージング機器において、JPEG符号化方式のような符号化パラメータの自由度に制限のある静止画像圧縮符号化方式を採用する場合、許容範囲内の回路規模で並列化数を上げて、少しでも多くの互いに異なる符号化パラメータによって圧縮符号化処理を同時に行ない、得られた複数個の符号化データ列から圧縮率の許容される範囲内で最も符号化歪みの小さい符号化データ列を出力とすることが最適な実現形態となる。しかし、並列化数が有限である以上、複数の符号化パラメータをもって生成された符号化データ列がいずれも圧縮率の許容範囲内からはずれてしまう場合もあり得る。

0029

このような場合、新たな符号化パラメータを決定して、被符号化データ先頭から再び圧縮符号化処理をやり直す必要がある。しかし、やり直し、すなわち再符号化処理に費やされる時間はそのままシステムの性能低下に繋がる。

0030

本発明は以上の問題を鑑みてなされたものであり、予め定められたサイズに画像データを圧縮符号化すると共に、圧縮符号化された符号化データ列を伸張復号化処理した場合に得られる画像の圧縮符号化歪みを抑え、高品質な再構成画像を得ることを目的とする。又、本発明は上記予め定められたサイズを適宜求めることを目的とする。

課題を解決するための手段

0031

本発明の目的を達成するために、例えば本発明の画像符号化装置は以下の構成を備える。

0032

すなわち、画像データに対して圧縮符号化を行う画像符号化装置であって、変更可能な第1の圧縮符号化パラメータを用いて、画像データに対して圧縮符号化を行ない、圧縮符号化された符号化データ列を生成する第1の圧縮符号化手段と、前記第1の圧縮符号化手段に適用した第1の圧縮符号化パラメータに応じて生成した第2の圧縮符号化パラメータを用いて、前記第1の符号化手段により圧縮符号化された符号化データ列および自らにより従前に圧縮符号化された置換候補の符号化データ列に対して再圧縮符号化を行ない、より高い圧縮率で圧縮符号化された置換候補の符号化データ列を生成する再圧縮符号化手段と、前記第1の圧縮符号化手段により圧縮符号化された符号化データ列のデータ量を計数すると共に、当該データ量が所定量以上であるか否かを判定するデータ量判定手段と、前記データ量判定手段により前記第1の圧縮符号化手段により圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記第1の圧縮符号化パラメータを前記第2の圧縮符号化パラメータで置き換える変更手段と、前記データ量判定手段により前記第1の圧縮符号化手段により圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記再圧縮符号化手段により従前に圧縮符号化された置換候補の符号化データ列を、第1の圧縮符号化パラメータ変更後の前記第1の圧縮符号化手段により圧縮符号化された符号化データ列として保存し、さらに第1の圧縮符号化パラメータ変更後の前記第1の圧縮符号化手段により圧縮符号化された符号化データ列を後続する符号化データ列として保存する保存手段と、前記データ量判定手段により前記第1の圧縮符号化手段により圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記再圧縮符号化手段による再圧縮符号化処理を行なうか否かを選択する処理実行選択手段と、前記処理実行選択手段により前記再圧縮符号化手段による再圧縮符号化処理を行なうことが選択された場合、前記再圧縮符号化手段に適用する第2の圧縮符号化パラメータとして、より高い圧縮率で圧縮可能な新たな圧縮符号化パラメータに更新する更新手段とを備えることを特徴とする。

0033

本発明の目的を達成するために、例えば本発明の画像符号化装置は以下の構成を備える。

0034

すなわち、画像データに対して圧縮符号化を行う画像符号化装置であって、変更可能な第1の圧縮符号化パラメータを用いて、画像データに対して圧縮符号化を行ない、圧縮符号化された符号化データ列を生成する第1の圧縮符号化手段と、前記第1の圧縮符号化手段に適用した第1の圧縮符号化パラメータに応じて生成した第2の圧縮符号化パラメータを用いて、画像データに対して圧縮符号化を行ない、より高い圧縮率で圧縮符号化された置換候補の符号化データ列を生成する第2の圧縮符号化手段と、前記第2の圧縮符号化手段に適用した第2の圧縮符号化パラメータを用いて、前記第2の符号化手段により圧縮符号化された置換候補の符号化データ列および自らにより従前に圧縮符号化された置換候補の符号化データ列に対して再圧縮符号化を行ない、より高い圧縮率で圧縮符号化された置換候補の符号化データ列を生成する再圧縮符号化手段と、前記第1の圧縮符号化手段により圧縮符号化された符号化データ列のデータ量を計数すると共に、当該データ量が所定量以上であるか否かを判定するデータ量判定手段と、前記データ量判定手段により前記第1の圧縮符号化手段により圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記第1の圧縮符号化パラメータを前記第2の圧縮符号化パラメータで置き換える変更手段と、前記データ量判定手段により前記第1の圧縮符号化手段により圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記第2の圧縮符号化手段および前記再圧縮符号化手段により従前に圧縮符号化された置換候補の符号化データ列を、第1の圧縮符号化パラメータ変更後の前記第1の圧縮符号化手段により圧縮符号化された符号化データ列として保存し、さらに第1の圧縮符号化パラメータ変更後の前記第1の圧縮符号化手段により圧縮符号化された符号化データ列を後続する符号化データ列として保存する保存手段と、前記データ量判定手段により前記第1の圧縮符号化手段により圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記第2の圧縮符号化手段による圧縮符号化処理および前記再圧縮符号化手段による再圧縮符号化処理を行なうか否かを選択する処理実行選択手段と、前記処理実行選択手段により前記第2の圧縮符号化手段による圧縮符号化処理および前記再圧縮符号化手段による再圧縮符号化処理を行なうことが選択された場合、前記第2の圧縮符号化手段および前記再圧縮符号化手段に適用する第2の圧縮符号化パラメータとして、より高い圧縮率で圧縮可能な新たな圧縮符号化パラメータに更新する更新手段とを備えることを特徴とする。

0035

本発明の目的を達成するために、例えば本発明の画像符号化方法は以下の構成を備える。

0036

すなわち、画像データに対して圧縮符号化を行う画像符号化方法であって、変更可能な第1の圧縮符号化パラメータを用いて、画像データに対して圧縮符号化を行ない、圧縮符号化された符号化データ列を生成する第1の圧縮符号化工程と、前記第1の圧縮符号化工程に適用した第1の圧縮符号化パラメータに応じて生成した第2の圧縮符号化パラメータを用いて、前記第1の符号化工程で圧縮符号化された符号化データ列および自らの工程で従前に圧縮符号化された置換候補の符号化データ列に対して再圧縮符号化を行ない、より高い圧縮率で圧縮符号化された置換候補の符号化データ列を生成する再圧縮符号化工程と、前記第1の圧縮符号化工程で圧縮符号化された符号化データ列のデータ量を計数すると共に、当該データ量が所定量以上であるか否かを判定するデータ量判定工程と、前記データ量判定工程で前記第1の圧縮符号化工程で圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記第1の圧縮符号化パラメータを前記第2の圧縮符号化パラメータで置き換える変更工程と、前記データ量判定工程で前記第1の圧縮符号化工程で圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記再圧縮符号化工程で従前に圧縮符号化された置換候補の符号化データ列を、第1の圧縮符号化パラメータ変更後の前記第1の圧縮符号化工程で圧縮符号化された符号化データ列として保存し、さらに第1の圧縮符号化パラメータ変更後の前記第1の圧縮符号化工程で圧縮符号化された符号化データ列を後続する符号化データ列として保存する保存工程と、前記データ量判定工程で前記第1の圧縮符号化工程で圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記再圧縮符号化工程での再圧縮符号化処理を行なうか否かを選択する処理実行選択工程と、前記処理実行選択工程で前記再圧縮符号化工程での再圧縮符号化処理を行なうことが選択された場合、前記再圧縮符号化工程に適用する第2の圧縮符号化パラメータとして、より高い圧縮率で圧縮可能な新たな圧縮符号化パラメータに更新する更新工程とを含むことを特徴とする。

0037

本発明の目的を達成するために、例えば本発明の画像符号化方法は以下の構成を備える。

0038

すなわち、画像データに対して圧縮符号化を行う画像符号化方法であって、変更可能な第1の圧縮符号化パラメータを用いて、画像データに対して圧縮符号化を行ない、圧縮符号化された符号化データ列を生成する第1の圧縮符号化工程と、前記第1の圧縮符号化工程に適用した第1の圧縮符号化パラメータに応じて生成した第2の圧縮符号化パラメータを用いて、画像データに対して圧縮符号化を行ない、より高い圧縮率で圧縮符号化された置換候補の符号化データ列を生成する第2の圧縮符号化工程と、前記第2の圧縮符号化工程に適用した第2の圧縮符号化パラメータを用いて、前記第2の符号化工程で圧縮符号化された置換候補の符号化データ列および自らの工程で従前に圧縮符号化された置換候補の符号化データ列に対して再圧縮符号化を行ない、より高い圧縮率で圧縮符号化された置換候補の符号化データ列を生成する再圧縮符号化工程と、前記第1の圧縮符号化工程により圧縮符号化された符号化データ列のデータ量を計数すると共に、当該データ量が所定量以上であるか否かを判定するデータ量判定工程と、前記データ量判定工程で前記第1の圧縮符号化工程で圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記第1の圧縮符号化パラメータを前記第2の圧縮符号化パラメータで置き換える変更工程と、前記データ量判定工程で前記第1の圧縮符号化工程で圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記第2の圧縮符号化工程および前記再圧縮符号化工程で従前に圧縮符号化された置換候補の符号化データ列を、第1の圧縮符号化パラメータ変更後の前記第1の圧縮符号化工程で圧縮符号化された符号化データ列として保存し、さらに第1の圧縮符号化パラメータ変更後の前記第1の圧縮符号化工程で圧縮符号化された符号化データ列を後続する符号化データ列として保存する保存工程と、前記データ量判定工程で前記第1の圧縮符号化工程により圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記第2の圧縮符号化工程での圧縮符号化処理および前記再圧縮符号化工程での再圧縮符号化処理を行なうか否かを選択する処理実行選択工程と、前記処理実行選択工程で前記第2の圧縮符号化工程での圧縮符号化処理および前記再圧縮符号化工程での再圧縮符号化処理を行なうことが選択された場合、前記第2の圧縮符号化工程および前記再圧縮符号化工程に適用する第2の圧縮符号化パラメータとして、より高い圧縮率で圧縮可能な新たな圧縮符号化パラメータに更新する更新工程とを備えることを特徴とする。

発明を実施するための最良の形態

0039

以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。

0040

[第1の実施形態]図1は本実施形態における画像符号化装置の構成を示すブロック図である。各部についての説明は後述する。図2は、図1に示した符号化部103の構成を示すブロック図である。各部についての説明は後述する。図3図1に示した再符号化部107の構成を示すブロック図である。各部についての説明は後述する。図4は、図1に示した画像符号化装置に被符号化データとして入力される第1の原画像データを同一の量子化テーブルと4種類の量子化スケーリング値“×1”、“×2”、“×4”、および“×8”を用いてそれぞれ矩形領域単位で順次圧縮符号化処理を実行した場合に得られる符号化データ列のデータ量の累積値(縦軸)と、その時点で既に圧縮符号化処理が実行された矩形領域の原画像データにおける相対位置(横軸)との関係を表わすグラフである。図5は、第1の原画像データを表わした図である。

0041

図6は、第1の原画像データに対する一連の圧縮符号化処理の過程で第1の符号化データ列バッファ104および第2の符号化データ列バッファ108にそれぞれ格納される符号化データ列のデータ量の累積値(縦軸)と、その時点で既に圧縮符号化処理が実行された矩形領域の原画像データにおける相対位置(横軸)との関係を表わすグラフである。さらに図10は、図1に示した制御部101が行う処理のフローチャートである。

0042

本実施形態の画像符号化装置が図5に示した第1の原画像データに対して行う一連の圧縮符号化処理について、上記図1乃至図6、及び図10を用いて以下、説明する。

0043

まず、画像符号化装置の初期化処理を行う(ステップS1)。初期化処理の具体的な内容を以下に示す。

0044

不図示の外部システム等によって、制御部101には第1の原画像データの大きさを表わす情報、より具体的には、その原画像データを構成する矩形領域の総個数が一連の圧縮符号化処理に先んじて格納されている。ここで矩形領域の大きさは、16×16画素であるものとするが、これに限定されるものではない。

0045

また不図示の外部システム等によって、制御部101には最終的に画像符号化装置から出力される符号化データ列の累積加算されたデータ量の最大許容値ビット数あるいはバイト数)が一連の圧縮符号化処理に先んじて格納されている。図4および図6に示すグラフにおいて、制御部101に格納された最大許容符号化データ量はグラフの上部に水平の点直線として記されている。

0046

また不図示の外部システム等によって、符号化部103内の量子化テーブル205には8行×8列の直交変換係数行列を構成するそれぞれの直交変換係数に対応づけられた8×8個の量子化ステップ値行列が一連の圧縮符号化処理に先んじて格納されており、その値は量子化ステップ信号214を介して量子化部202によって参照される。

0047

また不図示の外部システム等によって、符号化部103内の可変長符号語化テーブル206には被符号化データであるシンボルのそれぞれに対応づけられた可変長符号語集が一連の圧縮符号化処理に先んじて格納されており、その値は可変長符号語信号215を介してエントロピー符号化部204によって参照される。

0048

また不図示の外部システム等によって、再符号化部107内の復号化用可変長符号語テーブル304および符号化用可変長符号語テーブル305には符号化部103内の可変長符号語化テーブル206に格納されたものと同一の可変長符号語集が一連の圧縮符号化処理に先んじて格納されており、それらの値は復号化用可変長符号語信号313を介してエントロピー復号化部301によって、および符号化用可変長符号語信号314を介してエントロピー符号化部303によって、それぞれ参照される。

0049

以上の初期化処理が終了すると、画像符号化装置は以下の画像符号化処理を行う。まず、制御部101は現在の画像符号化装置の動作フェーズ符号化フェーズであることを示し、また同時に対応するスイッチ106をE側に設定するための動作フェーズ指示値を動作フェーズ指示信号135上に出力する(ステップS2)。

0050

動作フェーズ指示信号135によってスイッチ106は、第1の符号化データ列信号123を介して供給される第1の符号化データ列を、選択された符号化データ列信号124上に伝送するように接続する。

0051

次に、制御部101は第1の符号化データ列バッファ104内を空にすべく第1の符号化データ列バッファ104に対して初期化指示を第1のバッファ制御信号133を介して行なうとともに、同様に第2の符号化データ列バッファ108内を空にすべく第2の符号化データ列バッファ108に対して初期化指示を第2のバッファ制御信号134を介して行なう(ステップS3)。

0052

また、制御部101はその内部でそのデータ量を累積加算する第1の符号化データ列に対応する第1の累積値、および第2の符号化データ列に対応する第2の累積値をいずれも0にリセットする(ステップS4)。

0053

さらに、制御部101は符号化パラメータ指示信号136上にスケーリング初期値として値“×1”を、同様に再符号化パラメータ指示信号137上に再スケーリング値として値“×2”を、それぞれ出力する(ステップS5)。

0054

その後、制御部101は符号化部103に対してその符号化処理の動作開始を符号化部動作制御信号131を介して指示し、同時に再符号化部107に対してその再符号化処理の動作開始を再符号化部動作制御信号132を介して指示する(ステップS6)。

0055

上記指示によって画像符号化装置は、実質的に第1の原画像データに対する1回目の符号化フェーズに移行することになる。図13に符号化部103が行う一連の圧縮符号化処理のフローチャートを示す。

0056

不図示の外部装置、例えば原稿読み取り部や撮像部によって原画像データ入力信号121を介して供給された第1の原画像データは、原画像データ入力部102において所定の大きさである矩形領域に等分割され、その矩形領域単位で被符号化データ入力信号122上に順次出力される(ステップS1301)。その際、原画像データ入力部102は矩形領域位置情報信号151上に現在被符号化データ入力信号122上に出力している矩形領域の原画像データにおける位置情報、より具体的には既に出力された矩形領域の個数の累計値を順次出力する(ステップS1301)。

0057

原画像データ入力部102によって被符号化データ入力信号122を介して符号化部103に供給される矩形領域単位の原画像データは、符号化部103内の直交変換部201においてさらに複数個の8行×8列サンプルのブロックに等分割された後、そのブロック単位で直交変換演算が施され、その演算結果として得られた複数個の8行×8列の直交変換係数行列が変換係数行列信号211上に順次出力される(ステップS1302)。

0058

符号化部103内の量子化部202では、直交変換部201から変換係数行列信号211を介して供給される複数個の8行×8列の直交変換係数行列と、量子化テーブル205から量子化ステップ信号214を介して供給される8×8個の量子化ステップ値とを用いて量子化演算を行ない、その演算結果として得られた複数個の8行×8列の量子化された直交変換係数行列が量子化された変換係数行列信号212上に順次出力される(ステップS1303)。

0059

符号化部103内のスケーリング部203では、量子化部202から量子化された変換係数行列信号212を介して供給される複数個の8行×8列の量子化された直交変換係数行列に対して、別途符号化パラメータ指示信号136を介して制御部101から指示されるスケーリング値に基づいてスケーリング演算を行ない、その演算結果として得られた複数個の8行×8列のスケーリングされた直交変換係数行列が、スケーリングされた変換係数行列信号213上に順次出力される(ステップS1304)。

0060

このスケーリング部203で実行されるスケーリング演算はビットシフトを基本としている。また本実施形態ではスケーリング値として“×1”、“×2”、“×4”、および“×8”の4つの値のうちのいずれかが選択可能であり、その値“×N”の意味するところは直交変換係数の交流成分に対応する量子化ステップ値をすべてN倍した量子化テーブルで量子化することによって得られる直交変換係数行列と同等のものであることを意味している。例えばスケーリング値が“×2”であれば入力される直交変換係数の交流成分に対して右に1ビット算術シフトした値を演算結果とし、スケーリング値が“×4”であれば右に2ビット算術シフトした値、スケーリング値が“×8”であれば右に3ビット算術シフトした値、がぞれぞれ演算結果とする。但しスケーリング値が“×1”である場合は、入力される直交変換係数のすべての成分がそのまま演算結果として出力される。またいずれのスケーリング値であっても直交変換係数の直流成分に対しては何ら演算を施さない。

0061

スケーリング部203に対するスケーリング値の初期値としてはこの“×1”が設定されている(ステップS5)。

0062

スケーリング部203で実行されるスケーリング演算における入力値(直交変換係数の交流成分)と演算結果(スケーリングされた変換係数)を表の形式でまとめたものを表1に示す。

0063

0064

符号化部103内のエントロピー符号化部204では、スケーリング部203からスケーリングされた変換係数行列信号213を介して供給される複数個の8行×8列のスケーリングされた直交変換係数行列に対して、所定のスキャン順序による一次元化、および値が0である無意の変換係数に対するランレングス符号化、さらに可変長符号語テーブル206を参照しながらの可変長符号化を順に施し、結果として得られた個々の矩形領域に対応する一連の符号化データ列が第1の符号化データ列信号123上に出力される(ステップS1305)。

0065

エントロピー符号化部204から第1の符号化データ列信号123上に出力された第1の符号化データ列は、符号化部103内の符号化データ量計数部207によって個々の矩形領域に対応する符号化データ列の単位でそのデータ長が計数され、結果として得られる第1の符号化データ列のデータ量が、符号化付帯情報通知信号152上に出力される(ステップS1306)。

0066

一方、制御部101では、符号化部103から符号化付帯情報通知信号152を介して制御部101に順次供給される個々の矩形領域に対応する第1の符号化データ列のデータ量は、制御部101の内部で第1の累積値として逐次累積加算される(ステップS7)。

0067

図5に示した第1の原画像データに対して、4つのスケーリング値“×1”、“×2”、“×4”、および“×8”を用いた圧縮符号化処理を仮想的に実行した場合に得られる個々の矩形領域に対応する4個の符号化ストリームのデータ量の累積値の推移図4に示すグラフ上で原点から始まる4本の直線で表わされている。実際の累積値はこのように直線的に増えることは無いが、ここでは説明を簡単にするために敢えて直線で表わしている。

0068

このグラフ上で、スケーリング値“×1”を用いた圧縮符号化処理によって得られる符号化データ列のデータ量の累積値の推移は直線Q1(A)で表わされている。既に圧縮符号化された矩形領域の相対位置がp1の時点で、言いかえれば第1の原画像データ上の分割領域Aを構成するすべての矩形領域の圧縮符号化処理を終えた時点で、その累積値が最大許容符号化データ量Llimに達してしまうので、これ以降の矩形領域に対するスケーリング値“×1”を用いた圧縮符号化処理は必要とされないことになる。

0069

なお、この矩形領域の第1の原画像データにおける相対位置p1は、図5に描かれている第1の原画像データ上でその二次元的な位置が示されている。また分割領域Aは第1の原画像データ上で、最初に圧縮符号化処理された矩形領域(原画像データにおいて最も左上隅に位置する矩形領域)から相対位置p1に位置する矩形領域までのすべての矩形領域の集まりとして示されている。

0070

圧縮符号化処理の対象としている矩形領域の相対位置が第1の原画像データ上の分割領域Aの範囲にある期間に、残り3つのスケーリング値“×2”、“×4”、および“×8”を用いた圧縮符号化処理によって得られる符号化データ列のデータ量の累積値の推移は、同グラフ上で直線Q2(A)、Q4(A)、およびQ8(A)、としてそれぞれ表わされている。そして、既に圧縮符号化がなされた矩形領域の相対位置がp1に達した時点におけるこれら3個の符号化データ列のデータ量の累積値はL2(A)、L4(A)、およびL8(A)にそれぞれ達することが示されている。

0071

従って、相対位置p1以降の矩形領域に対する圧縮符号化処理は、残り3つのスケーリング値“×2”、“×4”、および“×8”に対応する3つの符号化データ列に対するもののみに対してその動作が継続される。

0072

続いて、圧縮符号化処理の対象としている矩形領域の相対位置が第1の原画像データ上の分割領域Bの範囲(p1からp2まで)にある期間に、残り3つのスケーリング値“×2”、“×4”、および“×8”を用いた圧縮符号化処理によって得られる符号化データ列のデータ量の累積値の推移は、同グラフ上で直線Q2(B)、Q4(B)、およびQ8(B)としてそれぞれ表わされている。そして、既に圧縮符号化がなされた矩形領域の相対位置がp2に達した時点におけるこれら3個の符号化データ列のデータ量の累積値はLlim、L4(A+B)、およびL8(A+B)にそれぞれ達することが示されている。

0073

スケーリング値“×2”を用いた圧縮符号化処理によって得られる符号化データ列のデータ量は、第1の原画像データ上の分割領域Aおよび分割領域Bを構成するすべての矩形領域の圧縮符号化処理を終えた時点で、その累積値が最大許容符号化データ量Llimに達してしまっているので、これ以降の矩形領域に対するスケーリング値“×2”を用いた圧縮符号化処理は必要とされないことになる。

0074

従って、相対位置p2以降の矩形領域に対する圧縮符号化処理は、残り2つのスケーリング値“×4”、および“×8”に対応する2つの符号化データ列に対するもののみに対してその動作が継続される。

0075

図4に示した第1の原画像データに対する圧縮符号化処理おいては、圧縮符号化処理の対象としている矩形領域の相対位置が第1の原画像データ上の分割領域Cの範囲(p2から100%まで)にある期間に、残り2つのスケーリング値“×4”、および“×8”を用いた圧縮符号化処理によって得られる符号化データ列のデータ量の累積値の推移は、同グラフ上で直線Q4(C)、およびQ8(C)としてそれぞれ表わされている。そして、既に圧縮符号化がなされた矩形領域の相対位置が100%に達した時点におけるこれら2個の符号化データ列のデータ量の累積値はL4(A+B+C)およびL8(A+B+C)にそれぞれ達することが示されている。

0076

このことから、図5に示した第1の原画像データを構成するすべての矩形領域に対する圧縮符号化処理を終えた時点で、2つのスケーリング値“×4”、および“×8”を用いた圧縮符号化処理によって得られる2つの符号化データ列のデータ量の最終的な累積値は、いずれも最大許容符号化データ量Llimを超えないことがわかる。

0077

結果としては、符号化歪みの観点からより圧縮率の低い符号化データ列であるスケーリング値“×4”を用いた圧縮符号化処理によって得られる符号化データ列が、この画像符号化装置の出力すべき最適な符号化データ列になる。

0078

実際には、このように結果として得られるスケーリング値“×4”が最適な符号化パラメータであることは、図5に示した第1の原画像データに対する一連の圧縮符号化処理を開始する時点では未知である。

0079

第1の符号化データ列信号123上に出力された個々の矩形領域に対応する第1の符号化データ列は、スイッチ106を経由して、さらに選択された符号化データ列信号124を介して、第1の符号化データ列バッファ104内に順次格納されると同時に、再符号化部107にも順次供給される。図14に再符号化部107が行う処理のフローチャートを示す。

0080

スイッチ106によって選択され、選択された符号化データ列信号124を介して再符号化部107に供給される個々の矩形領域に対応する一連の符号化データ列は、その内部で再符号化部107内のエントロピー復号化部301に入力される。

0081

再符号化部107内のエントロピー復号化部301では、選択された符号化データ列信号124を介して供給される個々の矩形領域に対応する符号化データ列に対して、可変長復号語テーブル304を参照しながらの復号化、およびランレングス復号化、さらに所定のスキャン順序による二次元化を順に施し、結果として得られた複数個の8行×8列の復号化された直交変換係数行列が復号化された変換係数行列信号311上に順次出力される(ステップS1401)。

0082

再符号化部107内のスケーリング部302では、エントロピー復号化部301から復号化された変換係数行列信号311を介して供給される複数個の8行×8列の復号化された直交変換係数行列に対して、別途再符号化パラメータ指示信号137を介して制御部101から指示される再スケーリング値に基づいてスケーリング演算を行ない、その演算結果として得られた複数個の8行×8列の再スケーリングされた直交変換係数行列が、再スケーリングされた変換係数行列信号312上に順次出力される(ステップS1402)。このスケーリング部302で実行されるスケーリング演算は符号化部103内のスケーリング部203で実行されるスケーリング演算と同一の演算である。スケーリング部302に対するスケーリング値としては特別なケースを除けば、常に固定値“×2”が設定される。

0083

再符号化部107内のエントロピー符号化部303では、スケーリング部302から再スケーリングされた変換係数行列信号312を介して供給される複数個の8行×8列の再スケーリングされた直交変換係数行列に対して、所定のスキャン順序による一次元化、および値が0である無意の変換係数に対するランレングス符号化、さらに可変長符号語テーブル305を参照しながら可変長の符号化を順に施し、結果として得られた個々の矩形領域に対応する一連の符号化データ列が第2の符号化データ列信号127上に出力される(ステップS1403)。

0084

エントロピー符号化部303から第2の符号化データ列信号127上に出力された置換候補となる第2の符号化データ列は、再符号化部107内の符号化データ量計数部306によって個々の矩形領域に対応する符号化データ列の単位でそのデータ量が計数され、結果として得られる第2の符号化データ列のデータ量が、再符号化付帯情報通知信号153上に出力される(ステップS1404)。

0085

再符号化部107から再符号化付帯情報通知信号153を介して同様に制御部101に順次供給される個々の矩形領域に対応する置換候補となる第2の符号化データ列のデータ量は、制御部101の内部で第2の累積値として逐次累積加算される(ステップS8)。

0086

第2の符号化データ列信号127上に出力された個々の矩形領域に対応する置換候補となる第2の符号化データ列は、第2の符号化データ列バッファ108内に順次格納される。

0087

1回目の符号化フェーズの期間中に、言いかえれば圧縮符号化処理の対象としている矩形領域の相対位置が図5に示される第1の原画像データ上の分割領域Aの範囲にある期間中に、第1の符号化データ列バッファ104内に順次格納される第1の符号化データ列は、符号化部101においてスケーリング値“×1”(初期値)を用いた圧縮符号化処理によって第1の原画像データから生成されたものである。したがって、制御部101内部で累積加算されているそのデータ量の累積値の推移は、図6のグラフ上で点直線Q1(A)として、およびその最終的な累積値がLlimとして示されるが、これは図4のグラフ上で既に示された直線Q1(A)に相当するものである。

0088

一方、同じ1回目の符号化フェーズの期間中に、第2の符号化データ列バッファ108内に順次格納される置換候補となる第2の符号化データ列は、符号化部103においてスケーリング値“×1”を用いた圧縮符号化処理によって生成された第1の符号化データ列に対して、さらに再符号化部107においてスケーリング値“×2”を用いた再符号化処理によって生成されたものである。したがって、制御部101内部で累積加算されているそのデータ量の累積値の推移は、図6のグラフ上で実直線Q1(A)→Q2(A)として、およびその最終的な累積値がL2(A)として示されるが、これは図4のグラフ上で既に示された直線Q2(A)に相当するものである。

0089

制御部101では、第1の符号化データ列バッファ104内に格納された第1の原画像データ上の分割領域Aを構成するすべての矩形領域に対応する第1の符号化データ列のデータ量の累積値が、最大許容符号化データ量Llimに達したことが確認されたならば、実行中の1回目の符号化フェーズを終了すべきであると判断する(ステップS9)。

0090

このような判断がなされた場合、制御部101は直ちに、符号化部103に対してその符号化処理の動作中断を符号化部動作制御信号131を介して指示し、また同時に再符号化部107に対してその再符号化処理の動作中断を再符号化部動作制御信号132を介して指示する(ステップS11)。

0091

その後、画像符号化装置の動作フェーズを1回目の符号化フェーズから1回目の転送フェーズに移行すべく、制御部101は次のような制御を実行する。

0092

まず、制御部101は現在の画像符号化装置の動作フェーズが転送フェーズであることを示し、また同時に対応するスイッチ106をT側に設定するための動作フェーズ指示値を動作フェーズ指示信号135上に出力する(ステップS12)。

0093

動作フェーズ指示信号135によりスイッチ106内では、第2のバッファ読み出し信号128を介して供給される置換候補である第2の符号化データ列を、選択された符号化データ列信号124上に伝送するように接続する。

0094

次に、制御部101は1回目の符号化フェーズ期間中に第1の符号化データ列バッファ104内に格納された符号化データ列を廃棄すべく、第1の符号化データ列バッファ104に対して初期化指示を第1のバッファ制御信号133を介して行なう(ステップS13)。

0095

次に、制御部101はこの時点での第1の累積値、第2の累積値、および矩形領域位置情報信号151を介して得られる既に圧縮符号化された矩形領域の原画像データにおける相対位置情報等を基に、今から開始される1回目の転送フェーズの期間中に再符号化器107によって“次の”置換候補となる第2の符号化データ列を同時に生成すべきか否かを判断する(ステップS14)。

0096

“次の”置換候補となる第2の符号化データ列を生成することが選択された場合、制御部101は再符号化パラメータ指示信号137上に再スケーリング値として値“×2”を出力し(ステップS15)、その後、先ほど(ステップS11)動作中断を指示した再符号化部107に対してその再符号化処理の動作再開を再符号化部動作制御信号132を介して指示する(ステップS16)。

0097

“次の”置換候補となる第2の符号化データ列を生成するか否かに係わらず、制御部101はこの時点での第2の累積値を第1の累積値として扱うべく、その内部で値の複写を行ない、第2の累積値を0にリセットする(ステップS17)。

0098

その後、制御部101は先行する1回目の符号化フェーズの期間中に再符号化部107によって生成され、さらに第2の符号化データ列バッファ108に格納された、そのデータ量の累積値がL2(A)である置換候補となる第2の符号化データ列を第1のデータ列バッファ104に転送すべく、第2の符号化データ列バッファ108に対して読み出し指示を第2のバッファ制御信号134を介して行ない、また同時に第1のデータ列バッファ104に対して書き込み指示を第1のバッファ制御信号133を介してそれぞれ行なう(ステップS18)。

0099

上記指示によって、画像符号化装置は実質的に1回目の転送フェーズに移行することになる。

0100

第2のバッファ読み出し信号128を介して第2の符号化データ列バッファ108から読み出された個々の矩形領域に対応する置換候補となる第2の符号化データ列は、スイッチ106を経由して、さらに選択された符号化データ列信号124を介して、第1の符号化データ列バッファ104内に順次格納(転送)されると同時に、再符号化部107にも順次供給される。

0101

“次の”置換候補となる第2の符号化データ列を生成することが選択された場合、スイッチ106によって選択され、選択された符号化データ列信号124を介して再符号化部107に供給される個々の矩形領域に対応する一連の符号化データ列は、その内部で符号化フェーズの場合と同様に、エントロピー復号化された複数個の8行×8列の復号化された直交変換係数行列に対してスケーリング値“×2”のスケーリング演算が再度行なわれ、さらにエントロピー符号化して得られた個々の矩形領域に対応する一連の符号化データ列が第2の符号化データ列信号127上に出力され、同時にそのデータ量が再符号化付帯情報通知信号153上に出力される。

0102

第2の符号化データ列信号127上に出力された個々の矩形領域に対応する“次の”置換候補となる第2の符号化データ列は第2の符号化データ列バッファ108内に再び順次格納される。

0103

この1回目の転送フェーズの期間中に、第1の符号化データ列バッファ104内に順次格納(転送)される第2の符号化データ列は、先行する1回目の符号化フェーズの期間中に再符号化部107においてスケーリング値“×2”を用いた再符号化処理によって生成されたものである。したがって、この1回目の転送フェーズの期間中に第1の符号化データ列バッファ104内に順次格納(転送)される符号化データ列の累積値の推移は、図6のグラフ上で点直線Q2(A)として、およびその最終的な累積値がL2(A)として示される。

0104

一方、“次の”置換候補となる第2の符号化データ列を生成することが選択された場合、同じ1回目の転送フェーズの期間中に、第2の符号化データ列バッファ108内に順次格納される“次の”置換候補となる第2の符号化データ列は、先行する1回目の符号化フェーズの期間中に再符号化部107においてスケーリング値“×2”を用いた再符号化処理によって生成された第2の符号化データ列に対して、さらに同じ再符号化部107においてスケーリング値“×2”を用いた再符号化処理によって生成されたものである。したがって、制御部101内部で累積加算されているそのデータ量の累積値の推移は、図6のグラフ上で実直線Q2(A)→Q4(A)として、およびその最終的な累積値がL4(A)として示される(ステップS19)。

0105

置換候補となる第2の符号化データ列がすべて第1の符号化データ列バッファ104内に格納(転送)され、さらに、再符号化部107によって生成された“次の”置換候補となる第2の符号化データ列がすべて第2の符号化データ列バッファ108に格納されたことが確認されたならば、実行中の1回の転送フェーズを終了して、速やかに2回目の符号化フェーズに復帰すべきであると判断する(ステップS20)。

0106

このような判断がなされた場合、先行する転送フェーズの期間中に次の”置換候補となる第2の符号化データ列を生成することが選択されていたならば、制御部101は直ちに、再符号化部107に対してその再符号化処理の動作中断を再符号化部動作制御信号132を介して指示する(ステップS21)。

0107

その後、画像符号化装置の動作フェーズを1回目の転送フェーズから2回目の符号化フェーズに移行すべく、制御部101は次のような制御を実行する。

0108

まず、制御部101は現在の画像符号化装置の動作フェーズが符号化フェーズであることを示し、また同時に対応するスイッチ106を再びE側に設定するための動作フェーズ指示値を動作フェーズ指示信号135上に出力する(ステップS22)。

0109

動作フェーズ指示信号135により、スイッチ106内では、第1の符号化データ列信号123を介して供給される第1の符号化データ列を、選択された符号化データ列信号124上に伝送するように再び接続する。

0110

次に、制御部101は符号化パラメータ指示信号136上にスケーリングの更新値として値“×2”を出力し(ステップS23)、その後、先行する1回目の転送フェーズの期間中に中断状態にあった符号化部103に対してその符号化処理の動作再開を符号化部動作制御信号131を介して指示する(ステップS24)。

0111

先行する1回目の転送フェーズの期間中に“次の”置換候補となる第2の符号化データ列を生成することが選択されていたならば、今から開始される2回目の符号化フェーズの期間中にも再符号化器107によるその再符号化処理を継続するものと判断して(ステップS25)、制御部101は再符号化パラメータ指示信号137上に再スケーリング値として値“×2”を出力し(ステップS26)、その後、先ほど(ステップS21)動作中断を指示した再符号化部107に対してその再符号化処理の動作再開を再符号化部動作制御信号132を介して指示する(ステップS27)。

0112

上記指示によって、画像符号化装置は実質的に2回目の符号化フェーズに移行することになる。

0113

原画像データ入力部102は先行する1回目の転送フェーズの期間中に中断していた矩形領域の出力動作を、第1の原画像データにおける相対位置がp1の直後の矩形領域から再開する。また、符号化部103による符号化処理は上記の通り、図13に示したフローチャートに従って行われる。

0114

つまり、原画像データ入力部102によって分割および出力され、被符号化データ入力信号122を介して符号化部103に供給される矩形領域の原画像データは、先行する符号化フェーズの場合と同様に、その内部で直交変換および量子化演算によって得られた複数個の8行×8列の量子化された直交変換係数行列に対してスケーリング値“×2”のスケーリング演算が行なわれ、さらにエントロピー符号化して得られた個々の矩形領域に対応する一連の符号化データ列が第1の符号化データ列信号123上に出力され、同時にそのデータ量が再符号化付帯情報通知信号152上に出力される。

0115

第1の符号化データ列信号123上に出力された個々の矩形領域に対応する第1の符号化データ列は、スイッチ106を経由して、さらに選択された符号化データ列信号124を介して、第1の符号化データ列バッファ104内に順次格納されると同時に、再符号化部107にも順次供給される。

0116

この際に、第1の符号化データ列バッファ104内では、入力される第1の符号化データ列が先行する1回目の転送フェーズの期間中に格納(転送)された第1の原画像データ上の分割領域Aに対応するスケーリング値“×2”の符号化データ列に後続する位置から順次格納される。

0117

スイッチ106によって選択され、選択された符号化データ列信号124を介して再符号化部107に供給される個々の矩形領域に対応する一連の符号化データ列は、先行する転送フェーズの場合と同様に、その内部でエントロピー復号化された複数個の8行×8列の復号化された直交変換係数行列に対してスケーリング値“×2”のスケーリング演算が再度行なわれ、さらにエントロピー符号化して得られた個々の矩形領域に対応する一連の符号化データ列が第2の符号化データ列信号127上に出力され、同時にそのデータ量が再符号化付帯情報通知信号153上に出力される。

0118

第2の符号化データ列信号127上に出力された個々の矩形領域に対応する置換候補となる第2の符号化データ列は第2の符号化データ列バッファ108内に再び順次格納される。

0119

この際に、第2の符号化データ列バッファ108内では、第2の符号化データ列が先行する1回目の転送フェーズの期間中に格納された第1の原画像データ上の分割領域Aに対応するスケーリング値“×4”の符号化データ列に後続する位置から順次格納される。

0120

2回目の符号化フェーズの期間中に、言いかえれば圧縮符号化処理の対象としている矩形領域の相対位置が図5に示される第1の原画像データ上の分割領域Bの範囲にある期間中に、第1の符号化データ列バッファ104内に順次格納される第1の符号化データ列は、符号化部101においてスケーリング値“×2”を用いた圧縮符号化処理によって第1の原画像データから生成されたものである。したがって、制御部101内部で累積加算されているそのデータ量の累積値の推移は、図6のグラフ上で点直線Q2(B)として、およびその最終的な累積値がLlimとして示されるが、これは図4のグラフ上で既に示された直線Q2(B)に相当するものである。

0121

一方、同じ2回目の符号化フェーズの期間中に、第2の符号化データ列バッファ108内に順次格納される置換候補となる第2の符号化データ列は、符号化部103においてスケーリング値“×2”を用いた圧縮符号化処理によって生成された第1の符号化データ列に対して、さらに再符号化部107においてスケーリング値“×2”を用いた再符号化処理によって生成されたものである。したがって、制御部101内部で累積加算されているそのデータ量の累積値の推移は図6のグラフ上で実直線Q2(B)→Q4(B)として、およびその最終的な累積値がL4(A+B)として示されるが、これは図4のグラフ上で既に示された直線Q4(B)に相当するものである。

0122

制御部101では、第1の符号化データ列バッファ104内に格納された第1の原画像データ上の分割領域Aおよび分割領域Bを構成するすべての矩形領域に対応する第1の符号化データ列のデータ量の累積値が、最大許容符号化データ量Llimに達したことが確認されたならば、実行中の2回目の符号化フェーズを終了すべきであると判断する(ステップS9)。

0123

このような判断がなされた場合、制御部101は直ちに、符号化部103に対してその符号化処理の動作中断を符号化部動作制御信号131を介して指示し、また同時に再符号化部107に対してその再符号化処理の動作中断を再符号化部動作制御信号132を介して指示し(ステップS11)。

0124

その後、画像符号化装置の動作フェーズを2回目の符号化フェーズから2回目の転送フェーズに移行すべく、制御部101は次のような制御を実行する。

0125

まず、制御部101は現在の画像符号化装置の動作フェーズが転送フェーズであることを示し、また同時に対応するスイッチ106をT側に設定するための動作フェーズ指示値を動作フェーズ指示信号135上に出力する(ステップS12)。

0126

動作フェーズ指示信号135により、スイッチ106内では、第2のバッファ読み出し信号128を介して供給される置換候補である第2の符号化データ列を、選択された符号化データ列信号124上に伝送するように接続する。

0127

次に、制御部101は1回目の転送フェーズおよび2回目の符号化フェーズの期間中に第1の符号化データ列バッファ104内に格納された符号化データ列を廃棄すべく、第1の符号化データ列バッファ104に対して初期化指示を第1のバッファ制御信号133を介して行なう(ステップS13)。

0128

次に、制御部101はこの時点での第1の累積値、第2の累積値、および矩形領域位置情報信号151を介して得られる既に圧縮符号化された矩形領域の原画像データにおける相対位置情報等を基に、今から開始される2回目の転送フェーズの期間中に再符号化部107によって“次の”置換候補となる第2の符号化データ列を同時に生成すべきか否かを判断する(ステップS14)。

0129

“次の”置換候補となる第2の符号化データ列を生成することが選択された場合、制御部101は再符号化パラメータ指示信号137上に再スケーリング値として値“×2”を出力し(ステップS15)、その後、先ほど(ステップS11)動作中断を指示した再符号化部107に対してその再符号化処理の動作再開を再符号化部動作制御信号132を介して指示する(ステップS16)。

0130

“次の”置換候補となる第2の符号化データ列を生成するか否かに係わらず、制御部101はこの時点での第2の累積値を第1の累積値として扱うべく、その内部で値の複写を行ない、第2の累積値を0にリセットする(ステップS17)。

0131

その後、制御部101は先行する1回目の転送フェーズおよび1回目の符号化フェーズ期間中に再符号化部107によって生成され、さらに第2の符号化データ列バッファ108に格納された、そのデータ量の累積値がL4(A+B)である置換候補となる第2の符号化データ列を第1のデータ列バッファ104に転送すべく、第2の符号化データ列バッファ108に対して読み出し指示を第2のバッファ制御信号134を介して行ない、また同時に第1のデータ列バッファ104に対して書き込み指示を第1のバッファ制御信号133を介してそれぞれ行なう(ステップS18)。

0132

上記指示によって、画像符号化装置は実質的に2回目の転送フェーズに移行することになる。

0133

第2のバッファ読み出し信号128を介して第2の符号化データ列バッファ108から読み出された個々の矩形領域に対応する置換候補となる第2の符号化データ列は、スイッチ106を経由して、さらに選択された符号化データ列信号124を介して、第1の符号化データ列バッファ104内に順次格納(転送)されると同時に、再符号化部107にも順次供給される。

0134

“次の”置換候補となる第2の符号化データ列を生成することが選択された場合、スイッチ106によって選択され、選択された符号化データ列信号124を介して再符号化部107に供給される個々の矩形領域に対応する一連の符号化データ列は、その内部で符号化フェーズの場合と同様に、エントロピー復号化された複数個の8行×8列の復号化された直交変換係数行列に対してスケーリング値“×2”のスケーリング演算が再度行なわれ、さらにエントロピー符号化して得られた個々の矩形領域に対応する一連の符号化データ列が第2の符号化データ列信号127上に出力され、同時にそのデータ量が再符号化付帯情報通知信号153上に出力される。

0135

第2の符号化データ列信号127上に出力された個々の矩形領域に対応する“次の”置換候補となる第2の符号化データ列は第2の符号化データ列バッファ108内に再び順次格納される。

0136

この2回目の転送フェーズの期間中に、第1の符号化データ列バッファ104内に順次格納(転送)される第2の符号化データ列は、先行する1回目の転送フェーズおよび2回目の符号化フェーズの期間中に再符号化部107においてスケーリング値“×2”を用いた再符号化処理によって生成されたものである。したがって、この2回目の転送フェーズの期間中に第1の符号化データ列バッファ104内に順次格納(転送)される符号化データ列の累積値の推移は、図6のグラフ上で点直線Q4(A+B)として、およびその最終的な累積値がL4(A+B)として示される。

0137

一方、“次の”置換候補となる第2の符号化データ列を生成することが選択された場合、同じ2回目の転送フェーズの期間中に、第2の符号化データ列バッファ108内に順次格納される“次の”置換候補となる第2の符号化データ列は、先行する2回目の符号化フェーズの期間中に再符号化部107においてスケーリング値“×2”を用いた再符号化処理によって生成された第2の符号化データ列に対して、さらに同じ再符号化部107においてスケーリング値“×2”を用いた再符号化処理によって生成されたものである。したがって、制御部101内部で累積加算されているそのデータ量の累積値の推移は、図6のグラフ上で実直線Q4(A+B)→Q8(A+B)として、およびその最終的な累積値がL8(A+B)として示される(ステップS19)。

0138

置換候補となる第2の符号化データ列がすべて第1の符号化データ列バッファ104内に格納(転送)され、さらに、再符号化部107によって生成された“次の”置換候補となる第2の符号化データ列がすべて第2の符号化データ列バッファ108に格納されたことが確認されたならば、実行中の2回目の転送フェーズを終了して、速やかに3回目の符号化フェーズに復帰すべきであると判断する(ステップS20)。

0139

このような判断がなされた場合、先行する転送フェーズの期間中に“次の”置換候補となる第2の符号化データ列を生成することが選択されていたならば、制御部101は直ちに、再符号化部107に対してその再符号化処理の動作中断を再符号化部動作制御信号132を介して指示する(ステップS21)。

0140

その後、画像符号化装置の動作フェーズを2回目の転送フェーズから3回目の符号化フェーズに移行すべく、制御部101は次のような制御を実行する。

0141

まず、制御部101は現在の画像符号化装置の動作フェーズが符号化フェーズであることを示し、また同時に対応するスイッチ106を再びE側に設定するための動作フェーズ指示値を動作フェーズ指示信号135上に出力する(ステップS22)。

0142

動作フェーズ指示信号135により、スイッチ106内では、第1の符号化データ列信号123を介して供給される第1の符号化データ列を、選択された符号化データ列信号124上に伝送するように再び接続する。

0143

次に、制御部101は符号化パラメータ指示信号136上にスケーリングの更新値として値“×4”を出力し(ステップS23)、その後、先行する2回目の転送フェーズの期間中に中断状態にあった符号化部103に対してその符号化処理の動作再開を符号化部動作制御信号131を介して指示する(ステップS24)。

0144

先行する2回目の転送フェーズの期間中に“次の”置換候補となる第2の符号化データ列を生成することが選択されていたならば、今から開始される3回目の符号化フェーズの期間中にも再符号化器107によるその再符号化処理を継続するものと判断して(ステップS25)、制御部101は再符号化パラメータ指示信号137上に再スケーリング値として値“×2”を出力し(ステップS26)、その後、先ほど(ステップS21)動作中断を指示した再符号化部107に対してその再符号化処理の動作再開を再符号化部動作制御信号132を介して指示する(ステップS27)。

0145

上記指示によって、画像符号化装置は実質的に3回目の符号化フェーズに移行することになる。

0146

原画像データ入力部102は先行する2回目の転送フェーズの期間中に中断していた矩形領域の出力動作を、第1の原画像データにおける相対位置がp2の直後の矩形領域から再開する。

0147

原画像データ入力部102によって分割および出力され、被符号化データ入力信号122を介して符号化部103に供給される矩形領域の原画像データは、先行する符号化フェーズの場合と同様に、その内部で直交変換および量子化演算によって得られた複数個の8行×8列の量子化された直交変換係数行列に対してスケーリング値“×4”のスケーリング演算が行なわれ、さらにエントロピー符号化して得られた個々の矩形領域に対応する一連の符号化データ列が第1の符号化データ列信号123上に出力され、同時にそのデータ量が再符号化付帯情報通知信号152上に出力される。

0148

第1の符号化データ列信号123上に出力された個々の矩形領域に対応する第1の符号化データ列は、スイッチ106を経由して、さらに選択された符号化データ列信号124を介して、第1の符号化データ列バッファ104内に順次格納されると同時に、再符号化部107にも順次供給される。

0149

この際に、第1の符号化データ列バッファ104内では、入力される第1の符号化データ列が先行する2回目の転送フェーズの期間中に格納(転送)された第1の原画像データ上の分割領域Aおよび分割領域Bに対応するスケーリング値“×4”の符号化データ列に後続する位置から順次格納される。

0150

スイッチ106によって選択され、選択された符号化データ列信号124を介して再符号化部107に供給される個々の矩形領域に対応する一連の符号化データ列は、先行する転送フェーズの場合と同様に、その内部でエントロピー復号化された複数個の8行×8列の復号化された直交変換係数行列に対してスケーリング値“×2”のスケーリング演算が再度行なわれ、さらにエントロピー符号化して得られた個々の矩形領域に対応する一連の符号化データ列が第2の符号化データ列信号127上に出力され、同時にそのデータ量が再符号化付帯情報通知信号153上に出力される。

0151

第2の符号化データ列信号127上に出力された個々の矩形領域に対応する置換候補となる第2の符号化データ列は第2の符号化データ列バッファ108内に再び順次格納される。

0152

この際に、第2の符号化データ列バッファ108内では、入力される置換候補となる第2の符号化データ列が、先行する2回目の転送フェーズの期間中に格納された第1の原画像データ上の分割領域Aおよび分割領域Bに対応するスケーリング値“×8”の符号化データ列に後続する位置から順次格納される。

0153

3回目の符号化フェーズの期間中に、言いかえれば圧縮符号化処理の対象としている矩形領域の相対位置が図5に示される第1の原画像データ上の分割領域Cの範囲にある期間中に、第1の符号化データ列バッファ104内に順次格納される第1の符号化データ列は、符号化部101においてスケーリング値“×4”を用いた圧縮符号化処理によって第1の原画像データから生成されたものである。したがって、制御部101内部で累積加算されているそのデータ量の累積値の推移は、図6のグラフ上で点直線Q4(C)として、およびその最終的な累積値がL4(A+B+C)として示されるが、これは図4のグラフ上で既に示された直線Q4(C)に相当するものである。

0154

一方、同じ3回目の符号化フェーズの期間中に、第2の符号化データ列バッファ108内に順次格納される置換候補となる第2の符号化データ列は、符号化部103においてスケーリング値“×4”を用いた圧縮符号化処理によって生成された第1の符号化データ列に対して、さらに再符号化部107においてスケーリング値“×2”を用いた再符号化処理によって生成されたものである。したがって、制御部101内部で累積加算されているそのデータ量の累積値の推移は図6のグラフ上で実直線Q4(C)→Q8(C)として、およびその最終的な累積値がL8(A+B+C)として示されるが、これは図4のグラフ上で示された直線Q8(C)に相当するものである。

0155

制御部101では、第1の符号化データ列バッファ104内に格納された第1の原画像データを構成するすべての矩形領域に対応する第1の符号化データ列のデータ量の累積値が、最大許容符号化データ量Llimを超えないことが確認されたならば、実行中の3回目の符号化フェーズを終了すべきであると判断する(ステップS10)。

0156

このような判断がなされた場合、制御部101は直ちに、符号化部103に対してその符号化処理の動作終了を符号化部動作制御信号131を介して指示し、また同時に再符号化部107に対してその再符号化処理の動作終了を再符号化部動作制御信号132を介して指示する(ステップS28)。

0157

続いて、制御部101は先行する2回目の転送フェーズさらに3回目の符号化フェーズの期間中に第1の符号化データ列バッファ104に格納された、そのデータ量の累積値がL4(A+B+C)である符号化データ列を画像符号化装置から出力すべく、第1の符号化データ列バッファ104に対して読み出し指示を第1のバッファ制御信号133を介して行なう(ステップS29)。

0158

第1の符号化データ列バッファ104から第1のバッファ読み出し信号125を介して読み出された個々の矩形領域に対応する符号化データ列は、符号化データ列出力部105によって第1の原画像データ全体に対するひとつの符号化データ列としてまとめられ、その符号化データ列が画像符号化装置の圧縮符号化処理の結果として符号化データ列出力信号126上に出力される。

0159

本実施形態の画像符号化装置は、符号化データ列出力部105による符号化データ列の出力処理の終了をもって(ステップS30)、第1の原画像データに対する一連の圧縮符号化処理を終了することになる。

0160

以上説明してきた第1の原画像データに対する一連の圧縮符号化処理においては、最終的な符号化データ列をスケーリング値“×4”を用いた圧縮符号化処理によって生成するために、スケーリング値の更新とそれに伴なう置換候補となる符号化データ列の転送を行なうために転送フェーズが都合2回挿入された。

0161

さらに、2回目の転送フェーズおよびそれに続く3回目の符号化フェーズの期間中に、“次の”置換候補となるスケーリング値“×8”に相当する第2の符号化データ列が再符号化部107における再符号化処理によって生成された。

0162

結論から見ると、この最後の置換候補となる第2の符号化データ列は、あくまでも”候補”で終わってしまい、画像符号化装置から出力されることはなかったが、このことは、画像符号化装置の動作フェーズが2回目の転送フェーズへ移行する時点で、制御部101がステップS14において“次の”置換候補となる符号化データ列を生成すべきという判断を下したことに起因する。

0163

以上の説明により、本実施形態の画像符号化装置及び画像符号化方法によって、画像圧縮符号化結果のデータサイズを予め定められたサイズ以下に抑えることができると共に、上述した従来の圧縮符号化処理のように冗長した処理を行うことがないので、圧縮符号化処理に要する時間を従来よりも短縮する事ができる。

0164

[第2の実施形態]本実施形態では、第1の原画像とは異なる第2の原画像に対して図1に示した構成を備える画像符号化装置を用いて圧縮符号化する際の処理について説明する。第1の原画像が符号化フェーズが3回となるような画像であったのに対し、符号化フェーズの数が4回となるような圧縮符号化対象の画像を第2の原画像としている。

0165

図7は、図1に示した画像符号化装置に被符号化データとして入力される第2の原画像データを同一の量子化テーブルと4種類の量子化スケーリング値“×1”、“×2”、“×4”、および“×8”を用いてそれぞれ矩形領域単位で順次圧縮符号化処理を実行した場合に得られる符号化データ列のデータ量の累積値(縦軸)と、その時点で既に圧縮符号化処理が実行された矩形領域の原画像データにおける相対位置(横軸)との関係を表わすグラフである。図8は、上記第2の原画像データを表わした図である。図9は、図1に示した画像符号化装置に被符号化データとして入力される第2の原画像データに対する一連の圧縮符号化処理の過程で第1の符号化データ列バッファ104および第2の符号化データ列バッファ108にそれぞれ格納される符号化データ列のデータ量の累積値(縦軸)と、その時点で既に圧縮符号化処理が実行された矩形領域の原画像データにおける相対位置(横軸)との関係を表わすグラフである。

0166

本実施形態の画像符号化装置が図8に示した第2の原画像データに対して行う一連の圧縮符号化処理について、上記図1乃至図3、及び図7乃至10を用いて以下、説明する。なお、本実施形態における圧縮符号化処理は図10に示したフローチャートに従ったものとなる。

0167

図8に示した第2の原画像データに対して、4つのスケーリング値“×1”、“×2”、“×4”、および“×8”を用いた圧縮符号化処理を実行した場合に得られる個々の矩形領域に対応する4個の符号化ストリームのデータ量の累積値の推移が図7に示すグラフ上で原点から始まる4本の直線で表わされている。

0168

このグラフ上で、圧縮符号化処理の対象としている矩形領域の相対位置が第2の原画像データ上の分割領域Aの範囲にある期間に、4つのスケーリング値“×1”、“×2”、“×4”、および“×8”を用いた圧縮符号化処理によって得られる符号化データ列のデータ量の累積値の推移は、同グラフ上で直線Q1(A)、Q2(A)、Q4(A)、およびQ8(A)、としてそれぞれ表わされている。そして、既に圧縮符号化がなされた矩形領域の相対位置がp1に達した時点におけるこれら4個の符号化データ列のデータ量の累積値はLlim、L2(A)、L4(A)、およびL8(A)にそれぞれ達することが示されている。

0169

スケーリング値“×1”を用いた圧縮符号化処理によって得られる符号化データ列のデータ量は、第2の原画像データ上の分割領域Aを構成するすべての矩形領域の圧縮符号化処理を終えた時点で、その累積値が最大許容符号化データ量Llimに達してしまうので、これ以降の矩形領域に対するスケーリング値“×1”を用いた圧縮符号化処理は必要とされないことになる。

0170

従って、相対位置p1以降の矩形領域に対する圧縮符号化処理は、残り3つのスケーリング値“×2”、“×4”、および“×8”に対応する3つの符号化データ列に対するもののみに対してその動作が継続される。

0171

続いて、圧縮符号化処理の対象としている矩形領域の相対位置が第2の原画像データ上の分割領域Bの範囲(p1からp2まで)にある期間に、残り3つのスケーリング値“×2”、“×4”、および“×8”を用いた圧縮符号化処理によって得られる符号化データ列のデータ量の累積値の推移は、同グラフ上で直線Q2(B)、Q4(B)、およびQ8(B)としてそれぞれ表わされている。そして、既に圧縮符号化がなされた矩形領域の相対位置がp2に達した時点におけるこれら3個の符号化データ列のデータ量の累積値はLlim、L4(A+B)、およびL8(A+B)にそれぞれ達することが示されている。

0172

スケーリング値“×2”を用いた圧縮符号化処理によって得られる符号化データ列のデータ量は、第2の原画像データ上の分割領域Aおよび分割領域Bを構成するすべての矩形領域の圧縮符号化処理を終えた時点で、その累積値が最大許容符号化データ量Llimに達してしまうので、これ以降の矩形領域に対するスケーリング値“×2”を用いた圧縮符号化処理は必要とされないことになる。

0173

従って、相対位置p2以降の矩形領域に対する圧縮符号化処理は、残り2つのスケーリング値“×4”、および“×8”に対応する2つの符号化データ列に対するもののみに対してその動作が継続される。

0174

図7に示した第2の原画像データに対する圧縮符号化処理おいては、圧縮符号化処理の対象としている矩形領域の相対位置が第2の原画像データ上の分割領域Cの範囲(p2からp3まで)にある期間に、残り2つのスケーリング値“×4”、および“×8”を用いた圧縮符号化処理によって得られる符号化データ列のデータ量の累積値の推移は、同グラフ上で直線Q4(C)、およびQ8(C)としてそれぞれ表わされている。そして、既に圧縮符号化がなされた矩形領域の相対位置がp3に達した時点におけるこれら2個の符号化データ列のデータ量の累積値はLlimおよびL8(A+B+C)にそれぞれ達することが示されている。

0175

スケーリング値“×4”を用いた圧縮符号化処理によって得られる符号化データ列のデータ量は、第2の原画像データ上の分割領域A、分割領域Bおよび分割領域Cを構成するすべての矩形領域の圧縮符号化処理を終えた時点で、その累積値が最大許容符号化データ量Llimに達してしまうので、これ以降の矩形領域に対するスケーリング値“×4”を用いた圧縮符号化処理は必要とされないことになる。

0176

従って、相対位置p3以降の矩形領域に対する圧縮符号化処理は、残りのスケーリング値“×8”に対応する符号化データ列に対するもののみに対してその動作が継続される。

0177

図7に示した第2の原画像データに対する圧縮符号化処理おいては、圧縮符号化処理の対象としている矩形領域の相対位置が第2の原画像データ上の分割領域Cの範囲(p3から100%まで)にある期間に、残りのスケーリング値“×8”を用いた圧縮符号化処理によって得られる符号化データ列のデータ量の累積値の推移は、同グラフ上で直線Q8(D)として表わされている。そして、既に圧縮符号化がなされた矩形領域の相対位置が100%に達した時点におけるこの符号化データ列のデータ量の累積値はL8(A+B+C+D)に達することが示されている。

0178

このことから、図8に示した第2の原画像データを構成するすべての矩形領域に対する圧縮符号化処理を終えた時点で、2つのスケーリング値“×8”を用いた圧縮符号化処理によって得られる符号化データ列のデータ量の最終的な累積値は、最大許容符号化データ量Llimを超えないことがわかる。

0179

結果としては、このスケーリング値“×8”を用いた圧縮符号化処理によって得られる符号化データ列が、画像符号化装置の出力すべき最適な符号化データ列になる。

0180

この第2の原画像データに対して実際に画像符号化装置において一連の圧縮符号化処理を行なった場合、第1の符号化データ列バッファ104および第2の符号化データ列バッファ108にそれぞれ格納される符号化データ列のデータ量の累積値の遷移図9に示すようになる。

0181

図9を見るとわかるように、第2の原画像データに対する一連の圧縮符号化処理においては、最終的な符号化データ列をスケーリング値“×8”を用いた圧縮符号化処理によって生成するために、スケーリング値の更新とそれに伴なう置換候補となる符号化データ列の転送を行なうために転送フェーズが3回挿入される。

0182

しかし、この第2の原画像データの例では、3回目の転送フェーズおよびそれに続く4回目の符号化フェーズの期間中に、“次の”置換候補となる第2の符号化データ列を生成するための再符号化処理は再符号化部107によって実行されなかったことが示されている。

0183

このことは、画像符号化装置の動作フェーズが3回目の転送フェーズへ移行する時点で、制御部101がステップS14において“次の”置換候補となる符号化データ列の生成が不要であるという判断を下したことに起因する。

0184

以上説明してきたように、第1,2の実施形態の画像符号化装置では、制御部101が一連の圧縮符号化処理の過程において2つの動作フェーズである符号化フェーズと転送フェーズ間の移行を制御している。

0185

そして、符号化パラメータ(スケーリング値)に対する更新の必要性に伴なう実行中の符号化フェーズの中断と転送フェーズへの移行の際に、さらなる“次の”置換候補となり得る新たな符号化データ列を再符号化処理によって生成するか否かを、制御部101はその内部で、第1の累積値、第2の累積値、および矩形領域位置情報信号151を介して得られる既に圧縮符号化された矩形領域の原画像データにおける相対位置情報等を基に、所定の判断基準によって決定する。この判断基準は、言うなれば、さらなる“次の”置換候補となり得る符号化データ列がその後に発生する転送フェーズの期間中に実際に第1の符号化データ列バッファに転送され得る確率の予測値が基になっている。

0186

例えば、その確率の予測値を算出する方法は、転送フェーズに移行した時点において圧縮符号化がなされていない残りの矩形領域が原画像データ上で占める割合いが小さいほど低くなり、またその時点において第2の符号化データ列バッファに格納されている最新の置換候補となる符号化データ列のデータ量の累積値が小さいほど低くなる、と言った統計的性質、および想定される矩形領域単位の符号化データ列の最大データ量等に代表されるような入力される原画像データそのものの統計的性質、等を用いている。

0187

[第3の実施形態]上記第1,2の実施形態の画像符号化装置においては、転送フェーズの期間中に“次の”置換候補となる符号化データ列を生成するための実現手段として、専用に具備された再符号化部107における再符号化処理を採用した。そして、最初の符号化フェーズの期間中に最初の置換候補となる符号化データ列を生成するための実現手段、および先行する転送フェーズに後続する符号化フェーズの期間中にその置換候補となる符号化データ列の後続部分を生成するための実現手段、のいずれにも、符号化部103で生成された第1の符号化データ列(出力候補となる符号化データ列)を入力とする再符号化部107を採用した。

0188

この構成では、再符号化部107の稼動率は高まり、回路規模を低く抑える目的には有利であるが、一旦符号化データ列として生成されたものに対する再符号化処理は、その再符号化処理に係る処理サイクル数の増大に伴なって、対符号化部のデータ転送に伴なうフロー制御上でビジー状態通知する可能性も比較的高くなり、このことが画像符号化装置全体としての一連の圧縮符号化処理の性能低下を招く要因にもなり得る。

0189

そういった観点から、符号化フェーズの期間中に、その置換候補となる符号化データ列の後続部分を生成するための実現手段として、符号化部において第1の符号化データ列と同時に置換候補となる符号化データ列を同時に生成するといった構成も考えられる。

0190

図11は、このような構成をとる、本実施形態における画像符号化装置の構成を示すブロック図である。さらに図12は、図11に示した画像符号化装置における符号化部403の構成を表わすブロック図である。

0191

本実施形態の画像符号化装置においては、符号化フェーズの期間中に、符号化器403によって生成される2つの符号化データ列、すなわち出力候補となる第1の符号化データ列が第1の符号化データ列信号423〜第1のスイッチ406〜選択された符号化データ列信号425を介して第1の符号化データ列バッファ404に順次格納される。また同時に、置換候補となる第2の符号化データ列が第2の符号化データ列信号424〜第2のスイッチ408〜第2のバッファ書き込み信号428を介して第2の符号化データ列バッファ409に順次格納される。

0192

符号化部403には2つの符号化データ列に対してそれぞれ独立した符号化パラメータが、第1の符号化パラメータ指示信号436および第2の符号化パラメータ指示信号437を介して制御部401から供給される。

0193

例えば、第1の符号化パラメータ指示信号436上にスケーリング値”×2”が指示されているとき、第2の符号化パラメータ指示信号437上にはスケーリング値”×4”が指示される。これによって第2の符号化パラメータ指示信号437に対応する第2の符号化データ列が、第1の符号化データ列に対する置換候補となる。

0194

たとえば、再符号化処理への移行が決定された時点におけるそれぞれの符号化データ列の累積加算されたデータ量の目標符号化データ量に対する比率等から再符号化処理の対象とする符号化データ列を適応的に選択しても構わない。

0195

そしてそれ以外の処理は第1,2の実施形態と同様に行えばよい。

0196

以上の実施形態を後述の通りまとめる。すなわち、入力画像データに対する一連の圧縮符号化処理に伴なう所謂情報量制御を実施するにあたって、符号化フェーズにある画像符号化装置内の制御手段では、あらかじめ設定された最大許容符号化データ量、現在までに既に符号化処理がなされた矩形領域の集合領域が原画像データに占める割合い、別途算出した目標符号化データ量、さらに現在までに生成された符号化データ列のデータ量の累積値等を基に、符号化フェーズを継続することの妥当性が随時判断されている。

0197

所定の判断基準によって、現在の符号化パラメータを用いた圧縮符号化処理を終了すべきと判断した場合、制御手段は符号化手段に対する符号化パラメータの更新指示と置換候補の符号化データ列との置換を行なうべく、”転送モード”への移行とおよびそれに伴なう各種動作制御を行なう。

0198

本発明の画像符号化装置においては、次に転送フェーズに移行した際に更新される符号化パラメータが既知であることが前提になっている。従って、原理的に、置換候補となリ得るもうひとつの符号化データ列を生成する処理を、符号化フェーズの期間中に行なわれる圧縮符号化処理と同時に実行することが可能である。

0199

この置換候補となり得る符号化データ列を生成する具体的な実現方法として、本発明ではふたつの方法を適用している。

0200

そのひとつは、符号化手段による圧縮符号化処理によって生成された出力候補となり得る第1の符号化データ列を再符号化手段に入力データとして供給して、そこでエントロピー復号化を経て得られるシンボル情報に対して、次に更新される符号化パラメータを用いた再符号化処理を行なうことによって、結果として置換候補となり得る第2の符号化データ列を生成するものである。

0201

もうひとつの方法は、符号化手段において出力候補となり得る第1の符号化データ列の符号化処理と並行して、次に更新される符号化パラメータに対応する符号化データ列の符号化処理を同時行なうことによって、結果として置換候補となり得る第2の符号化データ列を作成するものである。

0202

符号化フェーズの期間中に前記いずれかの方法で生成され、さらに、置換候補として第2の符号化データ列バッファに格納される第2の符号化データ列は、画像符号化装置が転送フェーズに移行した際に、第1の符号化データ列バッファに転送され、その上でそれまで出力候補として格納されていた符号化データ列と置き換えられる。

0203

さらに転送フェーズの期間中に、先行投資的に、さらに“次の”置換候補となり得る符号化データ列を生成するための再符号化処理が前記2つのバッファ間の符号化データ列の転送処理と並行して同時に行なうことができる。

0204

この転送動作と同時に行なわれる“次の”置換候補となり得る符号化データ列を生成する実現方法は、転送中の符号化データ列を再符号化手段に入力データとして供給して、そこでエントロピー復号化を経て得られるシンボル情報に対して、さらにその次に更新される符号化パラメータを用いた再符号化処理を行なうことによって、結果としてさらに“次の”置換候補となり得る符号化データ列を生成するものである。

0205

前記説明した2つのバッファメモリ間での符号化データ列の転送処理とそれと並行して行われる、先行投資的な再符号化処理が終了すると、画像符号化装置としての動作フェーズは転送フェーズから再び符号化フェーズに戻る。

0206

再び符号化フェーズに復帰した画像符号化装置においては、制御手段によって符号化手段に対する符号化パラメータの更新指示がなされた後に、その符号化手段に対する符号化処理の中断状態が解除される。この動作制御によって更新された符号化パラメータを用いた圧縮符号化処理が再開される。

0207

更新された符号化パラメータを用いて再び符号化手段によって生成される符号化データ列は、先行する転送フェーズの期間中に転送および格納された(置換候補であった)符号化データ列に後続して第1の符号化データ列バッファ上に順次格納される。

0208

また符号化フェーズの期間中に、符号化手段における圧縮符号化処理に並行して、さらに“次の”置換候補となり得る符号化データ列も前記説明した方法で生成される。

0209

いずれかの方法で生成されたさらに“次の”置換候補となり得る符号化データ列は、先行する転送フェーズの期間中に生成および格納された符号化データ列に後続して第2の符号化データ列バッファ上に順次格納される。

0210

なお、転送フェーズの期間中に先行投資的に行なわれる、さらに“次の”置換候補となり得る符号化データ列を生成するための再符号化処理の必要性、言い換えれば、そうやって生成された“次の”置換候補となり得る符号化データ列が、将来発生する転送フェーズにおいて実際に出力候補の符号化データ列として第1の符号化データ列バッファに転送される可能性が、最大許容符号化データ量、現在までに既に符号化処理がなされた矩形領域の集合領域が原画像データに占める割合い、別途算出した目標符号化データ量、さらに現在までに生成された置換候補の符号化データ列のデータ量の累積値等を基に、転送フェーズに移行する時に定量的に評価される。

0211

したがって、転送フェーズへの移行時に、“次の”置換候補の符号化データを生成するための再符号化処理が不要であると判断される場合も有り、そのような場合には、本来転送フェーズで行なうべき2つの符号化データ列バッファ間の符号化データ列の転送処理のみが、そしてそれに続く符号化フェーズの期間中には出力候補の符号化データ列を生成するための圧縮符号化処理のみが画像符号化装置内で実行される。

0212

[第4の実施形態]図15は本実施形態における画像符号化装置の構成を示すブロック図である。各部についての説明は後述する。また、以下の実施形態の画像符号化装置の制御部では、“次の”置換候補となる符号化データ列の生成は常に行うとする。

0213

図18は本実施形態の画像符号化装置に設定される最大許容符号化データ量5410と、図15に示す目標符号化データ量算出器5118によって算出された目標符号化データ量5411と、符号化器5102及び再符号化器5103が生成する符号化データ列の累積加算された符号化データ量(縦軸)と、その時点で既に圧縮符号化処理が実行されているブロックの原画像データにおける相対位置(横軸)との関係を示したグラフである。

0214

図21は、図15に示したグラフ上で示される矩形領域の4箇所の相対位置0%、P1,P2、および100%と3つの分割領域A、BおよびCを2次元的に原画像データ上で表わした図である。

0215

以下、図15図18及び図21を参照しながら本実施形態における画像符号化装置について説明する。

0216

画像符号化装置が符号化処理を開始する前に、外部から最大許容符号化データ量格納レジスタ5119に符号化データ列の累積加算されたデータ量の許容される上限値が設定される。また、制御部5111は、符号化・再符号化パラメータ格納レジスタ5112に所定の量子化スケーリング値Q1、Q2を設定する。なお以下、量子化スケーリング値Qn、Qm(m>n)の場合、量子化スケーリング値Qmを用いた方が、量子化スケーリング値Qnを用いた場合よりも圧縮率が高いものとする。また、本実施形態の画像符号化装置においては、符号化・再符号化パラメータ格納レジスタ5112に設定されるパラメータは、量子化スケーリング値に限定されない。例えば、量子化テーブルが設定される。

0217

原画像データ5151が入力されると、原画像データ入力部5101は、原画像データ5151を所定の大きさのブロックに分割する。符号化器5102が符号化処理を開始できる状態にあれば、符号化器5102にブロックに分割された画像データ5152を送る。同時に、符号化されたブロックの原画像における相対位置5161を出力する。符号化器5102は、制御部5111からの制御により、符号化・再符号化パラメータ格納レジスタ5112に格納されている量子化スケーリング値Q1を基に、ブロックに分割された画像データ5152を圧縮符号化し、符号化データ列5153と、符号化データ量5164を出力する。量子化スケーリング値を用いた符号化処理については公知の技術であるために、ここでの説明は省略する。

0218

符号化データ列5153は、符号化データ列バッファ5105及び選択器5107に入力される。選択器5107は、制御部5111からの制御により符号化データ列5153を選択する。再符号化器5103は、選択された符号化データ列5154に対し、符号化・再符号化パラメータ格納レジスタ5112から得られる量子化スケーリング値Q2を基に圧縮再符号化し、再符号化データ列5155を符号化データ列バッファ5104に出力し、再符号化データ列5155の符号化データ量5168を再符号化データ量計数器5114に出力する。

0219

符号化データ量計数器5113は、符号化データ量5164を順次累積加算する。再符号化データ量計数器5114は、再符号化データ列5155の符号化データ量5168を順次累積加算する。

0220

以上の符号化及び再符号化処理により、図18に示した量子化スケーリング値Q1によって符号化された符号化データ列の累積加算された符号化データ量Q1(5421)が符号化データ量計数器5113によって出力され、量子化スケーリング値Q2によって符号化された符号化データ列の累積加算された符号化データ量Q2(5422a)が再符号化データ量計数器5114から出力される。ここで、以上の処理が行なわれるフェーズを符号化フェーズ(5401)と呼ぶ。符号化フェーズ5401では、図21に示す領域Aのブロックの原画像が符号化されている。

0221

一方、目標符号化データ量算出器5118は、最大許容符号化データ量格納レジスタ5119から得られる最大許容符号化データ量5178と、原画像データ入力部5101から得られる符号化されたブロックの原画像における相対位置5161を基に、目標符号化データ量5173(図18の5411)を算出する。なお、目標符号化データ量の具体的な算出方法としては例えば次のように求めることができる。最大許容符号化データ量をLmax、符号化器5102による符号化処理を終えていないブロックの数をN、目標符号化データ量算出定数をCとすると、目標符号化データ量Ltは次式表現される。

0222

Lt = Lmax − C × Nなお、目標符号化データ量算出方法はこれに限定されるものではい。符号化データ量比較器5117は、目標符号化データ量5173と、符号化データ量計数器5113から得られる累積加算された符号化データ量5175を随時比較する。

0223

ここで、図21のブロックp1の符号化処理を終えた段階で、累積加算された符号化データ量5175が目標符号化データ量5173を超えたとき、制御部5111は、符号化器5102へのブロックに分割された画像データ5152の入力を停止させ、符号化データ列バッファ5105に格納されている符号化データ列を破棄し、符号化・再符号化パラメータ格納レジスタ5112に量子化スケーリング値Q2及びQ3を設定し、再符号化データ量格納レジスタ5115に再符号化データ列5155の累積加算された符号化データ量5176を格納し、符号化データ量計数器5113及び再符号化データ量計数器5114がカウントしていた符号化データ量をゼロにクリアした後、符号化データ列バッファ5104に格納されている再符号化データ列5156の読み出しを開始する。

0224

符号化データ列バッファ5104に格納されている再符号化データ列5158は符号化データ列バッファ5105にコピーされる。

0225

選択器5107は、再符号化データ列5156を選択し、再符号化器5103に出力する。再符号化器5103は、量子化スケーリング値Q3を基に再符号化データ列5156に対して圧縮再符号化処理を行ない、さらに圧縮された再符号化データ列5155と、再符号化データ列5155の符号化データ量5168(図18の5423a)を出力する。

0226

以上の処理を行なうフェーズを転送フェーズ(図18の5402)と呼ぶ。転送フェーズ5402では、量子化スケーリング値Q2を基に符号化された図21の領域Aのブロックの原画像が量子化スケーリング値Q3を基に再符号化される。

0227

再符号化データ列5156に対する圧縮再符号化処理が終了(図18の転送フェーズ5402が終了)した後、図21に示す領域Bのブロックを符号化するフェーズに移行する。このフェーズでは、制御部5111は符号化器5102へのブロックに分割された画像データ5152の入力を開始し、符号化器5102は先程設定された量子化スケーリング値Q2を用いて符号化処理を再開する(図18の符号化フェーズ5403へ移行する)。そして符号化データ列5153は符号化データ列バッファ5105に入力され、先程格納した領域Aの符号化データ列の後続のデータとして格納される。

0228

選択器5107は符号化データ列5153を選択する。符号化データ量加算器5116は、再符号化データ量格納レジスタ5115に格納されている符号化データ量5177と、符号化データ量計数器5113から得られる累積加算された符号化データ量5175とを加算する。符号化データ量比較器5117は最大許容符号化データ量5178と加算結果5174(図18の5422aと5422bの加算値)とを比較する。

0229

図21のp2のブロックの原画像を符号化した時点で、符号化データ量加算器5116から得られる加算結果5174が目標符号化データ量5173を超えると、制御部5111は符号化器5102へのブロックに分割された画像データ5152の入力を停止させ、符号化データ列バッファ5105に格納されている符号化データ列を破棄し、符号化・再符号化パラメータ格納レジスタ5112に量子化スケーリング値Q3及びQ4を設定し、再符号化データ量格納レジスタ5115に再符号化データ列5155の累積加算された符号化データ量5176を格納し、符号化データ量計数器5113及び再符号化データ量計数器5114がカウントしていた符号化データ量をゼロにクリアする。以上の処理を行なった後、符号化データ列バッファ5104に格納されている再符号化データ列5156の読み出しを開始し、図18の転送フェーズ5404へ移行する。

0230

転送フェーズ5404では、量子化スケーリング値Q3を基に符号化されている図21の領域A及びBのブロックの原画像が符号化データ列バッファ5105にコピーされると共に、再符号化器5103によって量子化スケーリング値Q4で再符号化される。

0231

以下、同様の処理を行ない、原画像を構成する全てのブロックに対する符号化が終了した時点で、目標符号化データ量及び最大許容符号化データ量を超えない図18の量子化スケーリング値Q3で符号化された符号化データ列Q3(5423a〜5423c)が最終的な出力となる。制御部5111は、符号化データ列バッファ5104に格納されている、量子化スケーリング値Q3で再符号化された図21の領域A及びBの符号化データ列Q3(5423a、5423b)と、符号化データ列バッファ5105に格納されている図21の領域Cの符号化データ列Q3(5423c)を、符号化データ列出力部5106を通して外部に出力する。

0232

以上説明したように、本実施形態の画像符号化装置は、ブロックに分割された原画像の符号化が進むにつれて、図18のグラフに示したように符号化データ量が増加していき、同時に符号化処理が進むのに応じて原画像におけるブロックの相対位置から目標符号化データ量を算出し、目標符号化データ量と符号化処理を終えた符号化データ量の累積加算値との比較結果に応じて、適応的に量子化スケーリング値を設定し、符号化フェーズと転送フェーズを切り替えながら符号化処理を行なう。

0233

ここで、目標符号化データ量算出器を備えず、最大許容符号化データ量との比較結果のみに応じて量子化スケーリング値を設定し、符号化フェーズと転送フェーズを切り替える制御を行なう画像符号化装置において、符号化データ量の増加と原画像の符号化に要する時間について述べる。

0234

図19は、最大許容符号化データ量との比較結果に応じて符号化フェーズと転送フェーズを切り替えた場合の、符号化データ列の累積加算された符号化データ量(縦軸)と、その時点で既に圧縮符号化処理が実行されているブロックの原画像データにおける相対位置(横軸)との関係を示したグラフである。図18に示したグラフと比較すると、図19に示したグラフでは領域Aの転送フェーズへの移行が遅れる。このことにより、転送フェーズ5502で再符号化する領域Aのブロックの原画像の量が本実施形態の画像符号化装置よりも増える。よって、領域Aの転送フェーズに要する時間が本実施形態の画像符号化装置よりも増加する。領域A及びBの転送フェーズにおいても同様である。ゆえに、図19に示す符号化フェーズと転送フェーズの切り替え制御を行なう画像符号化装置は、本実施形態の画像符号化装置よりも符号化処理に要する時間が長くなってしまう。

0235

上より、本実施形態の画像符号化装置は、符号化されたブロックの原画像における相対位置情報を基に随時目標符号化データ量を算出し、符号化データ量との比較結果に応じて符号化フェーズと転送フェーズを切り替えるため、転送フェーズへの移行を早めることができ、転送フェーズで再符号化処理を行なうデータ量を減らすことができるので、原画像全体の符号量制御を伴う符号化処理に要する時間を短縮できることは明らかであろう。

0236

[第5の実施形態]上記第4の実施形態の画像符号化装置では、原画像の持つ特徴によっては、原画像の符号化データ量が最大許容符号化データ量以内に収まるにもかかわらず、転送フェーズに移行してしまう可能性がある。このことを説明するために図20を用いる。図20は符号化されたブロック数(横軸)に応じた符号化データ量(縦軸)の変化を示すグラフである。

0237

例えば図20のグラフに示すように符号化データ量が増加していく場合、最大許容符号化データ量5601に累積加算された符号化データ量5603が達しないにも係わらず、目標符号化データ量5602を超えた時点5604で転送フェーズに移行し、再符号化処理を行なってしまう。これにより、画像の量子化歪み増し画質が低下する恐れがある。そこで、量子化歪みが最も小さい符号化データ列を生成するために、目標符号化データ量算出方法をより正確に行なう必要がある。

0238

この問題に対し、本実施形態の画像符号化装置は第4の実施形態とは異なる方法で目標符号化データ量を算出する手段を備え、より正確に目標符号化データ量を算出することを可能とする。

0239

図16は本実施形態における画像符号化装置の構成を示すブロック図である。同図に示した画像符号化装置は図15に示した画像符号化装置の構成に加えて、原画像属性格納レジスタ5202、符号化パラメータ変更時情報格納レジスタ5203、最大累積符号化データ量予測器5204、平均累積符号化データ量予測器5205、無為ブロック累積符号化データ量予測器5206、画像入力装置誤差格納レジスタ5207を備える。

0240

原画像属性格納レジスタ5202には、原画像が持つ属性、例えば自然画像である、文書であるなどの情報を保持する。尚、この情報は外部から設定される。文字は隣接する画素間の相関関係が低いため、符号化データ量が自然画よりも多くなる傾向にある。このような傾向を情報として予め原画像属性格納レジスタ5202に格納しておくことで、このことを利用して、符号化データ量の予測精度をさらに高めることができる。

0241

符号化パラメータ変更時情報格納レジスタ5203は、制御部が量子化スケーリング値を切り替えて符号化フェーズから転送フェーズへ制御を移行した時点での、符号化されたブロックの原画像における相対位置5161と、符号化データ量計数器5113および符号化データ量加算器5116から得られる累積加算された符号化データ量を保持する。

0242

最大累積符号化データ量予測器5204は、符号化されたブロックの原画像における相対位置5161を基に、既に符号化処理を終えたブロックの原画像データの後に符号化データ量が最大になるブロックのみが存在するときの今後の符号化データ列の累積加算された符号化データ量の予測値5253を算出する。

0243

平均累積符号化データ量予測器5205は、符号化データ量計数器5113あるいは符号化データ量加算器5116から得られる累積加算された符号化データ量と、符号化されたブロックの原画像における相対位置5161を基に、1ブロックあたりの符号化データ列の平均符号化データ量を求め、平均符号化データ量を基に、符号化データ列の累積加算された符号化データ量の予測値5254を算出する。

0244

画像入力装置誤差格納レジスタ5207には、原画像データ入力部5101に入力される原画像を読みとる装置(例えばスキャナなどの光学的な画像読み取り装置)が、原画像を読み取る際の誤差が外部から設定される。この誤差とは、例えば、スキャナが原稿を読み取った時の色のブレなどである。色のブレがあった場合、たとえ真っ白な原稿であったとしても、わずかな色のブレによって隣接する画素間に変化が生じる。

0245

無為ブロック累積符号化データ量予測器5206は、符号化されたブロックの原画像における相対位置5161と、画像入力装置誤差格納レジスタ5207に格納されている読み取り誤差情報5256に応じて、既に符号化処理を終えたブロックの原画像データの後に画像入力装置による読み取り誤差以外に有意な情報が存在しない無為ブロックのみが存在するときの、今後の無為ブロックの符号化データ列の累積加算された符号化データ量の予測値5255を算出する。

0246

目標符号化データ量算出器5201は、原画像属性格納レジスタ5202から得られる原画像が持つ属性5251と、符号化パラメータ変更時情報格納レジスタ5203から得られる制御部が量子化スケーリング値を切り替えて符号化フェーズから転送フェーズへ制御を移行した時点での、符号化されたブロックの原画像における相対位置5161と、符号化データ量計数器5113および符号化データ量加算器5116から得られる累積加算された符号化データ量と、最大累積符号化データ量予測器5204から得られる符号化データ列の累積加算された符号化データ量の予測値5253と、平均累積符号化データ量予測器5205から得られる符号化データ列の累積加算された符号化データ量の予測値5254と、無為ブロック累積符号化データ量予測器5206から得られる無為ブロックの符号化データ列の累積加算された符号化データ量の予測値5255とから、符号化されたブロックの原画像における相対位置5161に応じた複数の目標符号化データ量を算出することができる。

0247

具体的には、符号化されたブロックの原画像における相対位置5161に応じた3つの予測値(5253乃至5255)、すなわち、3つの目標符号化データ量を算出することができる。

0248

なお、上記予測値からの目標符号化データ量の算出方法は規定されないが、本実施形態の画像符号化装置においては例えば以下のように算出される。

0249

最大許容符号化データ量をLmax、原画像を構成するブロックの数をM、符号化器5102による符号化処理を終えたブロックの数をN、目標符号化データ量をLt、符号化データ量が最大になるブロックを基に算出した符号化データ量の予測値5253をL1、平均符号化データ量を基に算出した符号化データ量の予測値5254をL2、無為ブロックの符号化データ量を基に算出した符号化データ量の予測値5255をL3とする。

0250

N < M/4 のときは、転送フェーズへの移行を前倒しすることにより転送フェーズにおいて処理されるブロックの数を削減して画像全体符号化レート低下を防止するために、符号化データ量が最大になるブロックを基に算出した符号化データ量の予測値5253を用いて目標符号化データ量を次式で算出する。

0251

Lt = Lmax −( M − N )× L1/M
M/4 ≦ N < 3/4 × M のときは、平均符号化データ量を基に算出した符号化データ量の予測値5254を用いて目標符号化データ量を次式で算出する。

0252

Lt = Lmax −( M − N )× L2/M
N ≧ 3/4 × M のときは、原画像の符号化データ量が最大許容符号化データ量以内に収まるにもかかわらず転送フェーズに移行してしまうことを防ぐため、無為ブロックの符号化データ量を基に算出した符号化データ量の予測値5255を用いて目標符号化データ量を次式で算出する。

0253

Lt = Lmax −( M − N )× L3/M
ただし、目標符号化データ量算出方法はこれに限定されるものではない。このように、複数の目標符号化データ量を算出することにより、累積加算された符号化データ量を予測するためのサンプルが増えるので、累積加算された符号化データ量をより正確に予測できる。よって、本実施形態の画像符号化装置は、図20のグラフで示すように符号化データ量が増加していく画像であっても、転送フェーズに移行することなく符号化処理を進めていくことができる。また、本実施形態の画像符号化装置は、符号化レートを落とすことなく、且つ最大許容符号化データ量の範囲内で量子化歪みが最も小さい符号化データ列を生成できる。

0254

[第6の実施形態]再符号化処理による符号化レート低下を避ける方法として、再符号化処理の負荷に応じて、符号化データ列の累積加算された符号化データ量が目標符号化データ量に到達するよりも前に、転送フェーズに移行して符号化データ列バッファ内の符号化データ列に対する再符号化処理を開始する方法が挙げられる。ここでの再符号化とは、符号化データ列を復号化して直交変換行列に変換し、前記直交変換行列に対し再量子化を行なった後に符号化を行なう処理である。ゆえに、再符号化処理の負荷は符号化及び復号化における符号化データ列の符号語に対応するシンボルの数に依存する。

0255

図17は本実施形態における画像符号化装置の構成を示すブロック図である。本実施形態における画像符号化装置の構成は、図15に示した画像符号化装置の構成に加えて、再符号化シンボル数計数器5302、目標シンボル数算出器5304、シンボル数比較器5305を備える。

0256

再符号化シンボル数計数器5302は、再符号化器5113から得られる再符号化された符号化データ列に対応する符号語のシンボルの数5352を累積加算する。

0257

目標シンボル数算出器5304は、符号化されたブロックの原画像における相対位置5161を基に、目標シンボル数を算出する。目標シンボル数の算出方法は例えば次のように算出できる。再符号化処理の負荷は符号化及び復号化における符号化データ列の符号語に対応するシンボルの数に依存するため、転送フェーズに要する時間はシンボル数の累積加算値に依存する。よって、転送フェーズに要する時間を所定時間以内に抑えられるように目標シンボル数を算出する。例えば、再符号化器5103の再符号化処理性能が1シンボルあたりサイクルで、転送フェーズに要する時間をnサイクル以内に抑える場合、目標シンボル数はnとなる。ただし、原画像を構成するブロックのうち符号化されていないブロックが残り少ない場合は、転送フェーズに要する時間を極力抑えて画像全体の符号化レート低下を回避するために、符号化されたブロックの原画像における相対位置5161に基づいて目標シンボル数を減らすなど、適応的に目標シンボル数を変更する。

0258

シンボル数比較器5305は、再符号化シンボル数計数器5302から得られるシンボル数の累積加算値5354と、目標シンボル数算出器5304から得られる目標シンボル数5356とを比較する。

0259

制御部5111は、符号化データ量比較器5117から得られる比較結果及びシンボル数比較器5305から得られる比較結果を基に、累積加算された符号化データ量が目標符号化データ量を超えているか、もしくは累積加算されたシンボル数が目標シンボル数を超えた場合は、第4の実施形態の画像符号化装置と同じく符号化パラメータを変更し、符号化フェーズから転送フェーズへ制御を移行する。

0260

本実施形態における画像符号化装置により、再符号化処理の負荷に応じて符号量制御を行なうため、より確実に符号化レート低下を回避できる。

0261

[第7の実施形態]ここで、隣接する画素間の相関関係が低い画像、例えばノイズで埋め尽くされたような画像を、所定の符号化データ量以下に収める符号化処理について説明する。

0262

隣接する画素間の相関関係が低い画像は、粗く量子化しないと符号化データ量が最大許容符号化データ量以下に収まらない。このような画像を、符号化フェーズと転送フェーズを切り替えて量子化スケーリング値を変えながら再符号化する場合、図22のグラフに示すように、何回も再符号化を繰り返すことになり、転送フェーズにおける処理時間が画像全体の符号化処理において大きなオーバーヘッドになってしまう。

0263

そこで、図23のグラフに示すように、ブロック毎の符号化処理の比較的早い段階で、量子化スケーリング値Q1で符号化された符号化データ列Q1(A)の累積加算された符号化データ量が目標符号化データ量を超えた場合、符号化パラメータ格納レジスタに対して通常よりも大きい量子化スケーリング値を設定することで、転送フェーズの回数を減らすことができ、符号化レート低下を防ぐことが可能となる。

0264

本実施形態の画像符号化装置について説明する。本実施形態の画像符号化装置は、図15に示した第4の実施形態の画像符号化装置と同じ構成から成るが、制御部5111における処理が第4の実施形態とは異なる。以下、図14図23を用いて本実施形態の画像符号化装置について説明する。

0265

本実施形態における制御部5111は、現在符号化処理の対象となっているブロックの原画像データにおける相対的な位置情報5161に応じて、量子化スケーリング値を決定し、符号化・再符号化パラメータ格納レジスタ5112が保持する量子化スケーリング値を変更する。具体的には、図23の領域A転送フェーズに移行する際、量子化スケーリング値をQ4に設定し、再符号化器5103は量子化スケーリング値をQ4を基に、領域A符号化フェーズにおいて量子化スケーリング値Q2で符号化された符号化データ列Q2(A)を再符号化し、符号化データQ4(A)を生成する。尚、量子化スケーリング値Q4を用いて再符号化した例について説明したが、これに限定されるものではない。

0266

以上に説明した制御を行なうことにより、転送フェーズで再符号化処理を行なう回数を減らすことができるので、何回も再符号化を行なわなければ最大許容符号化データ量以内に符号化データ量が収まらないような画像の符号化処理においても、再符号化処理に係るオーバーヘッドを最小限に抑えることができる。

0267

[他の実施形態]本発明の目的は、前述した実施形態の機能を実現するソフトウェアプログラムコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

0268

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリ書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

発明の効果

0269

以上の説明によって、本発明によれば、予め定められたサイズに画像データを圧縮符号化すると共に、圧縮符号化された符号化データ列を伸張復号化処理した場合に得られる画像の圧縮符号化歪みを抑え、高品質な再構成画像を得ることができる。又、上記予め定められたサイズを適宜求めることができる。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 株式会社東芝の「 AD変換回路」が 公開されました。( 2020/09/24)

    【課題】一つの実施形態は、信号に含まれる誤差を低減できるAD変換回路を提供することを目的とする。【解決手段】一つの実施形態によれば、AD変換回路の第1のΔΣ変換回路において、第1の量子化器は、1.5ビ... 詳細

  • 株式会社デンソーの「 データ圧縮方法、データ圧縮装置」が 公開されました。( 2020/09/24)

    【課題】データを可逆的且つ効率よく圧縮することができるデータ圧縮方法、データ圧縮装置を提供する。【解決手段】実施形態のデータ圧縮方法は、文字および数字の少なくとも一方を含むデータを圧縮するものであって... 詳細

  • シャープ株式会社の「 画像スケーリング変換、逆変換装置及び方法」が 公開されました。( 2020/09/24)

    【課題】画質の低下を抑制可能な画像処理装置を実現する。【解決手段】画素スケーリング階調変換部(51)は、入力画像の各画素値にオフセットを加算又は減算したうえでスケーリングすることによりスケーリング済画... 詳細

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ