図面 (/)

技術 画像符号化装置及び画像復号装置及びそれらの制御方法及びプログラム

出願人 キヤノン株式会社
発明者 金子唯史
出願日 2016年7月12日 (5年1ヶ月経過) 出願番号 2016-137953
公開日 2018年1月18日 (3年7ヶ月経過) 公開番号 2018-011159
状態 特許登録済
技術分野 TV信号の圧縮,符号化方式 FAXの帯域、冗長度の圧縮
主要キーワード 目標回数 空間的位置関係 各分解レベル 分割境界 DC成分データ 同一空間 中域成分 分割サイズ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2018年1月18日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (11)

課題

離散ウェーブレット変換を用いて画像符号化を行う場合において、特に照度の違いによる解像感の低下を抑制しつつ、画像データを効率良く符号化する技術を提供する。

解決手段

画像符号化装置は、符号化対象の画像データを予め設定された分解レベルn(n≧2)までウェーブレット変換し、複数のサブバンドを生成する変換部と、この変換部で得られた各分解レベルのサブバンド内の係数データを量子化する量子化部と、この量子化部による量子化後の係数データを符号化する符号化部とを有する。ここで、量子化部は、分解レベルnの各サブバンドについては、各サブバンド毎に設定される量子化パラメータに基づき量子化し、分解レベルn−1以下の各サブバンドについては、それぞれ毎に設定された量子化パラメータ及び分解レベルnのサブバンドLLの係数データに基づく重み係数に基づき量子化する。

概要

背景

ウェーブレット変換を用いた符号化技術が知られている。JPEG2000がその代表である。JPEG2000では、離散ウェーブレット変換を用いて画像を複数の帯域サブバンド)毎のウェーブレット変換係数データを生成し、量子化し、そしてエントロピー符号化を行って、圧縮符号化データを得る。

ウェーブレット変換技術を用いた符号化方式において、圧縮率を高めると、原画像に高照度部(明部)と低照度部(暗部)が存在する画像の場合、低照度部の解像感が高照度部も解像感に比べて、より低下してしまう。これは元々低照度部のコントラストの低い画像が高圧縮率の符号化により、コントラストが失われてしまう事に起因している。

このような画質劣化を低減させるため、ROI(Region Of Interest)と呼ばれる関心領域を抽出して、関心領域に符号量を多く割り振って、関心領域を高画質に符号化する技術が知られている。また、画像を複数の領域に分割して各々の領域の画像特徴量を抽出して領域毎に異なる量子化制御を行う方法も知られている(例えば特許文献1)。

概要

離散ウェーブレット変換を用いて画像符号化を行う場合において、特に照度の違いによる解像感の低下を抑制しつつ、画像データを効率良く符号化する技術を提供する。画像符号化装置は、符号化対象の画像データを予め設定された分解レベルn(n≧2)までウェーブレット変換し、複数のサブバンドを生成する変換部と、この変換部で得られた各分解レベルのサブバンド内の係数データを量子化する量子化部と、この量子化部による量子化後の係数データを符号化する符号化部とを有する。ここで、量子化部は、分解レベルnの各サブバンドについては、各サブバンド毎に設定される量子化パラメータに基づき量子化し、分解レベルn−1以下の各サブバンドについては、それぞれ毎に設定された量子化パラメータ及び分解レベルnのサブバンドLLの係数データに基づく重み係数に基づき量子化する。

目的

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

画像データを符号化する画像符号化装置であって、符号化対象の画像データを、2以上の分解レベルまでウェーブレット変換し、複数のサブバンドを生成する変換手段と、該変換手段で得られたサブバンド内の係数データを量子化する量子化手段と、該量子化手段による量子化後の係数データを符号化する符号化手段と、を有し、前記量子化手段は、最上位の分解レベルの低域のサブバンドの係数データに基づいて、下位の分解レベルのサブバンドを量子化することを特徴とする画像符号化装置。

請求項2

前記量子化手段は、最上位の分解レベルのサブバンドLLの係数データに基づいて、下位の分解レベルのサブバンドを量子化することを特徴とする請求項1に記載の画像符号化装置。

請求項3

前記量子化手段は、最上位の分解レベルの低域のサブバンドの係数データに基づいて設定される重みづけ係数に基づいて、下位の分解レベルのサブバンドを量子化することを特徴とする請求項1または2に記載の画像符号化装置。

請求項4

前記量子化手段は、サブバンド毎に設定された量子化パラメータに基づいて、サブバンドの量子化を行い、下位の分解レベルのサブバンドにおいては、サブバンド毎に設定された量子化パラメータと、前記重みづけ係数とに基づいて、サブバンドの量子化を行うことを特徴とする請求項3に記載の画像符号化装置。

請求項5

前記変換手段が画像データをウェーブレット変換する最上位の分解レベルをn(n≧2)としたとき、前記量子化手段は、前記分解レベルnのサブバンドLLの量子化後の係数データを逆量子化する逆量子化手段と、該逆量子化手段による逆量子化後の係数データが示す値から重みづけ係数を生成する生成手段と、前記分解レベルn−1以下の各サブバンドに対して設定された量子化パラメータに前記生成した重みづけ係数を乗算することで、前記量子化パラメータを補正する補正手段とを有し、前記量子化手段は、前記分解レベルn−1以下の各サブバンド内の係数データを、前記補正手段による補正後の量子化パラメータに基づき量子化することを特徴とする請求項1乃至4のいずれか1項に記載の画像符号化装置。

請求項6

前記生成手段は、係数データが示す値が小さいほど小さい値の重みづけ係数を生成することを特徴とする請求項5に記載の画像符号化装置。

請求項7

前記量子化手段による前記分解レベルn−1以下の着目サブバンド内の着目係数データを量子化するとき、当該着目係数データと、当該着目係数データに対する量子化パラメータを補正する際に参照した前記分解レベルnのサブバンドLL内の逆量子化後の係数データとは空間的に同じ座標にあることを特徴とする請求項5又は6に記載の画像符号化装置。

請求項8

符号化画像データ復号する画像復号装置であって、符号化画像データを復号することで、分解レベルn(n≧2)までの複数のサブバンドの量子化係数データを生成する復号手段と、復号して得られた各分解レベルのサブバンド内の量子化係数データを逆量子化する逆量子化手段と、該逆量子化手段による得られた各分解レベルのサブバンド内の係数データをウェーブレット逆変換し、画像データを生成する変換手段とを有し、前記逆量子化手段は、分解レベルnの各サブバンドについては、各サブバンド毎に設定される量子化パラメータに基づき逆量子化し、分解レベルn−1以下の各サブバンドについては、それぞれ毎に設定された量子化パラメータ及び分解レベルnのサブバンドLLの逆量子化後の係数データに基づく重み係数に基づき逆量子化することを特徴とする画像復号装置。

請求項9

前記逆量子化手段は、前記分解レベルnのサブバンドLLの逆量子化後の係数データが示す値から重みづけ係数を生成する生成手段と、前記分解レベルn−1以下の各サブバンドに対して設定された量子化パラメータに前記生成した重みづけ係数を乗算することで、前記量子化パラメータを補正する補正手段とを有し、前記逆量子化手段は、前記分解レベルn−1以下の各サブバンド内の係数データを、前記補正手段による補正後の量子化パラメータに基づき逆量子化することを特徴とする請求項8に記載の画像復号装置。

請求項10

前記生成手段は、係数データが示す値が小さいほど小さい値の重みづけ係数を生成することを特徴とする請求項9に記載の画像復号装置。

請求項11

前記逆量子化手段による前記分解レベルn−1以下の着目サブバンド内の着目係数データを逆量子化するとき、当該着目係数データと、当該着目係数データに対する量子化パラメータを補正する際に参照した前記分解レベルnのサブバンドLL内の逆量子化後の係数データとは空間的に同じ座標にあることを特徴とする請求項8乃至9のいずれか1項に記載の画像復号装置。

請求項12

画像データを符号化する画像符号化装置の制御方法であって、変換手段が、符号化対象の画像データを、2以上の分解レベルまでウェーブレット変換し、複数のサブバンドを生成する変換工程と、量子化手段が、前記変換工程で得られたサブバンド内の係数データを量子化する量子化工程と、符号化手段が、前記量子化工程による量子化後の係数データを符号化する符号化工程と、を有し、前記量子化工程は、最上位の分解レベルの低域のサブバンドの係数データに基づいて、下位の分解レベルのサブバンドを量子化することを特徴とする画像符号化装置の制御方法。

請求項13

符号化画像データを復号する画像復号装置の制御方法であって、復号手段が、符号化画像データを復号することで、分解レベルn(n≧2)までの複数のサブバンドの量子化係数データを生成する復号工程と、逆量子化手段が、復号して得られた各分解レベルのサブバンド内の量子化係数データを逆量子化する逆量子化工程と、変換手段が、前記逆量子化工程による得られた各分解レベルのサブバンド内の係数データをウェーブレット逆変換し、画像データを生成する変換工程とを有し、前記逆量子化工程は、分解レベルnの各サブバンドについては、各サブバンド毎に設定される量子化パラメータに基づき逆量子化し、分解レベルn−1以下の各サブバンドについては、それぞれ毎に設定された量子化パラメータ及び分解レベルnのサブバンドLLの逆量子化後の係数データに基づく重み係数に基づき逆量子化することを特徴とする画像復号装置の制御方法。

請求項14

コンピュータが読み込み実行することで、前記コンピュータを、請求項1乃至7のいずれか1項に記載の画像符号化装置の各手段として機能させるためのプログラム

請求項15

コンピュータが読み込み実行することで、前記コンピュータを、請求項8乃至11のいずれか1項に記載の画像復号装置の各手段として機能させるためのプログラム。

技術分野

0001

本発明は画像データの符号化技術に関するものである。

背景技術

0002

ウェーブレット変換を用いた符号化技術が知られている。JPEG2000がその代表である。JPEG2000では、離散ウェーブレット変換を用いて画像を複数の帯域サブバンド)毎のウェーブレット変換係数データを生成し、量子化し、そしてエントロピー符号化を行って、圧縮符号化データを得る。

0003

ウェーブレット変換技術を用いた符号化方式において、圧縮率を高めると、原画像に高照度部(明部)と低照度部(暗部)が存在する画像の場合、低照度部の解像感が高照度部も解像感に比べて、より低下してしまう。これは元々低照度部のコントラストの低い画像が高圧縮率の符号化により、コントラストが失われてしまう事に起因している。

0004

このような画質劣化を低減させるため、ROI(Region Of Interest)と呼ばれる関心領域を抽出して、関心領域に符号量を多く割り振って、関心領域を高画質に符号化する技術が知られている。また、画像を複数の領域に分割して各々の領域の画像特徴量を抽出して領域毎に異なる量子化制御を行う方法も知られている(例えば特許文献1)。

先行技術

0005

特許第4254017号公報

発明が解決しようとする課題

0006

しかしながら、特許文献1の方法では画像を複数の領域に分割し、異なる量子化パラメータで符号化を行うため、画像によっては領域の分割境界視認され、視覚的に不自然な画像となることがある。また、分割サイズを小さくすれば、この課題は軽減されるかもしれないが、分割サイズを小さくする事で分割領域が増え、符号データ中に保存しなければならない領域毎の画像特徴量あるいは量子化パラメータが増大するので、符号量が増えてしまうという問題も発生する。

0007

本発明は上記問題に鑑みなされたものであり、離散ウェーブレット変換を用いて画像符号化を行う場合において、特に照度の違いによる解像感の低下を抑制しつつ、画像データを効率良く符号化する技術を提供しようとするものである。

課題を解決するための手段

0008

この課題を解決するため、例えば本発明の画像符号化装置は以下の構成を備える。すなわち、
画像データを符号化する画像符号化装置であって、
符号化対象の画像データを、2以上の分解レベルまでウェーブレット変換し、複数のサブバンドを生成する変換手段と、
該変換手段で得られたサブバンド内の係数データを量子化する量子化手段と、
該量子化手段による量子化後の係数データを符号化する符号化手段と、を有し、
前記量子化手段は、最上位の分解レベルの低域のサブバンドの係数データに基づいて、下位の分解レベルのサブバンドを量子化することを特徴とする。

0009

また、本発明の画像復号装置は以下の構成を備える。すなわち、
符号化画像データ復号する画像復号装置であって、
符号化画像データを復号することで、分解レベルn(n≧2)までの複数のサブバンドの量子化係数データを生成する復号手段と、
復号して得られた各分解レベルのサブバンド内の量子化係数データを逆量子化する逆量子化手段と、
該逆量子化手段による得られた各分解レベルのサブバンド内の係数データをウェーブレット逆変換し、画像データを生成する変換手段とを有し、
前記逆量子化手段は、
分解レベルnの各サブバンドについては、各サブバンド毎に設定される量子化パラメータに基づき逆量子化し、
分解レベルn−1以下の各サブバンドについては、それぞれ毎に設定された量子化パラメータ及び分解レベルnのサブバンドLL逆量子化後の係数データに基づく重み係数に基づき逆量子化することを特徴とする。

発明の効果

0010

本発明によれば、離散ウェーブレット変換を用いて画像符号化を行う場合において、特に照度の違いによる解像感の低下を抑制しつつ、画像データを効率良く符号化する技術を提供できる。

図面の簡単な説明

0011

第1の実施形態に係る符号化装置ブロック構成図。
ウェーブレット係数の配列の一例を示す図。
第1の実施形態に係る量子化部のブロック構成図。
第1の実施形態に係る量子化制御部が設定する量子化パラメータを示す図。
第1の実施形態に係る重みづけ係数の変換テーブルの一例を示す図。
第1の実施形態に係るウェーブレット係数の相互の位置関係を示す図。
第1の実施形態に係る復号装置のブロック構成図。
第1の実施形態に係る逆量子化部のブロック構成図。
第2の実施形態に係る量子化部のブロック構成図。
第2の実施形態に係る逆量子化部のブロック構成図。

実施例

0012

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。

0013

[第1の実施形態]
<符号化装置の説明>
図1は第1の実施形態における画像符号化装置のブロック構成図である。同図において、符号化対象の画像データは入力端子106を介してウェーブレット変換部101に供給される。なお、入力端子106に接続される符号化対象画像データの発生源の種類は問わない。例えば実施形態の画像符号化装置がビデオカメラ実装されるのであれば、発生源は撮像部となる。また、画像データを記憶する記憶媒体が発生原であっても構わない。

0014

ウェーブレット変換部101は、入力された画像データに対して離散ウェーブレット変換を施し、複数のサブバンドのウェーブレット変換係数データを生成する。離散ウェーブレット変換は画像の垂直方向と水平方向に順にローパスフィルタおよびハイパスフィルタをかけて、画像データを低域成分Lと高域成分Hとにサブバンド分割帯域分割)し、ウェーブレット係数を生成するものである。1回のサブバンド分割により水平、垂直それぞれについて低域・高域の係数データが生成されるので、その組み合わせから、4つのサブバンドLL、LH、HL、HHが生成される。各サブバンド内には、複数の係数データが含まれる。そして離散ウェーブレット変換では、水平、垂直ともに低域であるサブバンドLLに対して、再帰的にサブバンド分割が施すことが許容されている。ここでサブバンド分割した回数を分解レベルと呼ぶ。また、サブバンド分割された各サブバンドはnXYで表記される。ここでnは分解レベルであり、Xは、水平方向が低域成分L又は高域成分Hのいずれであるかを表す。また、Yは、垂直方向が低域成分L又は高域成分Hのいずれであるかを表す。また、実施形態におけるnは2以上である。

0015

図2に、本第1の実施形態におけるサブバンド分割されたサブバンド1HH〜3LLの配列を示す。本実施形態では同図に示すように分解レベル3のサブバンド分割を行うものとする。なお、上記のように、離散ウェーブレット変換を複数回実行するとき、サブバンドLLが次の分解レベルの離散ウェーブレット変換の対象となる。故に、目標回数の離散ウェーブレット変換を行った場合のサブバンドLLは1つのみとなる。図示のようにサブバンドLLが3LLのみなのはこの理由である。

0016

ウェーブレット変換部101は、変換して得られた分解レベル1〜3のサブバンド1HH〜3LLのウェーブレット係数データを量子化部103に供給される。なお、以下の説明で、サブバンドnXYのウェーブレット係数データをTnXYと表す。

0017

量子化部103はウェーブレット係数データT1HH〜T3LLを、量子化制御部104から設定されるサブバンド毎の量子化パラメータに基づき量子化し、量子化係数データTQ1HHからTQ3LLを生成する。そして、量子化部103は、生成した量子化係数データTQ1HH〜TQ3LLをエントロピー符号化部105に供給する。

0018

ここで、量子化制御部104が設定する量子化パラメータを図4を参照して説明する。図4はサブバンド毎の量子化パラメータの一例を示す図である。図示の如く、総じて分解レベルが低いほど量子化係数は大きい。そして、同一分解レベルであっても高域成分を多く含むサブバンドほど大きい。なお、本実施形態では、図4のように、サブバンド毎に予め量子化パラメータが決められているものとするが、符号化対象の画像データまたはウェーブレット係数データを解析した結果や、目標符号量等に応じて決めるようにしてもよい。

0019

この量子化パラメータは後述する量子化部における量子化ステップの基準となる値であり、劣化が目立ちやすい低域成分は小さな値を設定し、量子化ステップを細かくしている。また、劣化が目立ちにくい高域成分ほど、大きな値を設定し、量子化ステップを粗くする。この結果、高い画質と符号量の削減が図ることが可能となる。なお、量子化部103の詳細は後述する。

0020

エントロピー符号化部105は量子化部103で量子化された量子化係数データTQ1HH〜TQ3LLと、量子化制御104からのサブバンド毎の量子化パラメータとを入力し、それらをエントロピー符号化を行う。エントロピー符号化は所定のエントロピー符号化方式により入力されたデータの冗長性を削除するように符号化し、得られた符号化データを出力する。ここで所定のエントロピー符号化方式とはランレングス符号ハフマン符号算術符号などの可逆圧縮符号化方式である。エントロピー符号化部105から出力された符号データは出力端子107を介して、図示しない記録部により記録媒体に記録する。また、図示しない伝送部により復号装置に伝送しても構わない。

0021

次に、第1の実施形態における量子化部103の構成と動作の詳細を説明する。図3は量子化部103のブロック構成図である。図示の如く、量子化部103は、LL量子化部310、LH量子化部320、HL量子化部330、及び、HH量子化部340を含む。

0022

LL量子化部310は、ウェーブレット係数データT3LLの量子化を行う。LH量子化部320は、ウェーブレット係数データTnLH(n=1,2,3)の量子化を行う。量子化を行うHL量子化部330は、ウェーブレット係数データTnHLの量子化を行う。HH量子化部340は、ウェーブレット変換係数データTnHHの量子化を行う。

0023

LL量子化部310にはウェーブレット変換部101からウェーブレット係数データT3LLと、量子化制御部104から量子化パラメータQP3LLが供給される。量子化部311は、サブバンド3LLのウェーブレット係数データT3LLを、量子化パラメータQP3LLを用いて量子化し、量子化係数データTQ3LLを生成する。そして量子化部311は、生成した量子化係数データTQ3LLをエントロピー符号化部105、及び、逆量子化部312に供給する。

0024

逆量子化器312は、量子化係数データTQ3LLを、量子化時と同じ量子化パラメータQP3LLを用いて逆量子化し、ウェーブレット係数データTIQ3LLを得る。

0025

なお、ウェーブレット係数データTQ3LLを量子化する際に、予め設定された桁数に満たない値(例えば小数点以下)は切り捨てるので、ウェーブレット係数データTQ3LLとウェーブレット係数データTIQ3LLは同じになるとは限らない。このウェーブレット係数データTIQ3LLを生成するのは、復号装置における復号処理と同等の処理を行うためでもある。

0026

さて、逆量子化器312は、逆量子化後のウェーブレット係数データTIQ3LLを、LH量子化部320、HL量子化部330、HH量子化部340それぞれに供給する。

0027

LH量子化部320は、分解レベル1〜3のサブバンド1LH、2LH,3LHのウェーブレット変換係数T1LH、T2LH、T3LHの量子化を行う。以下にその詳細を説明する。

0028

LH量子化部320は、ウェーブレット変換部101からウェーブレット係数データTnLH(=T1LH、T2LH、T3LH)、量子化制御部104から量子化パラメータQPnLH(=QP1LH、QP2LH、QP3LH)を入力する。またLH量子化部320は、LL量子化部310から逆量子化されたウェーブレット係数TIQ3LLをも入力する。ウェーブレット係数TIQ3LLはLH量子化部320内のテーブルa326、テーブルb323に供給される。

0029

テーブルa326は、ウェーブレット係数データTIQ3LLを、サブバンド1LHのウェーブレット係数データT1LHの量子化において適用する重みづけ係数に変換する。乗算器327は量子化パラメータQP1LHに、テーブルa326からの重みづけ係数を乗じて、ウェーブレット係数データT1LHを量子化する際の量子化パラメータを出力する。換言すれば、乗算器327は、サブバンド1LH用の量子化パラメータQP1LHを、重みづけ係数に従って補正する補正部として機能することを意味する。量子化器328はサブバンド1LHのウェーブレット係数T1LHを、乗算器327による補正後の量子化パラメータを用いて量子化し、量子化係数データTQ1LHを生成する。そして、量子化器328は、生成した量子化係数データTQ1LHをエントロピー符号化部105に出力する。

0030

テーブルb323は、ウェーブレット係数データTIQ3LLを、サブバンド2LHのウェーブレット係数データT2LHの量子化において適用する重みづけ係数に変換する。乗算器324は、量子化パラメータQP2LHにテーブルb323からの重みづけ係数を乗じて、ウェーブレット係数データT2LHを量子化する際の量子化パラメータを出力する。量子化器325はサブバンド2LHのウェーブレット係数データT2LHを、乗算器324からの量子化パラメータを用いて量子化し、量子化係数データTQ2LHを生成する。そして量子化器325は生成した量子化係数データTQ2LHを、エントロピー符号化部105に出力する。

0031

量子化器331は、サブバンド3LHのウェーブレット係数データT3LHを、量子化パラメータQP3LHを用いて量子化し、量子化係数データTQ3LHを生成する。そして量子化器331は、生成した量子化係数データTQ3LHをエントロピー符号化部105に出力する。

0032

テーブルa326、テーブルb323は分解レベル3のウェーブレット係数を量子化し、逆量子化して得られたウェーブレット係数から、分解レベル1および分解レベル2のウェーブレット係数を量子化する際の重みづけ係数に変換する変換テーブルである。

0033

重みづけ係数は量子化制御部104からサブバンド毎に設定された量子化パラメータに乗じて、量子化パラメータを小さくしたり、大きくしたりするための係数である。基本的にはウェーブレット係数データの値が小さいほど、重みづけ係数を小さく(例えば1未満)、ウェーブレット係数データの値が大きいほど重みづけ係数を大きく(例えば1以上)する。

0034

図5にテーブルa326、テーブルb323の入出力特性の一例を示す。これはウェーブレット係数データが8ビット(値:0〜255)の場合の例であり、同図に示すように、入力範囲:0→255に対して、出力範囲:0.5→1.5となるようになっている。すなわち、入力値であるウェーブレット係数データが小さいときは0.5を出力し、大きいときは1.5を出力する特性となっている。これにより、例えば量子化パラメータが32と設定されていた場合、重みづけ係数(0.5〜1.5)が乗じられて、量子化パラメータが16〜48に変化する事になる。

0035

LL量子化部310から供給されるウェーブレット係数データTIQ3LLのデータの値は明るさの度合いを示していると考えてよい。つまり、係数データが示す値が小さいと、その部分は低照度部であり、逆に係数データが示す値が大きいとその部分は高照度部と見なせる。故に、図5に示すような入出力特性の重みづけ係数を発生すると、結局のところ、低照度での量子化パラメータは小さくなり、階調性は維持されやすくなる。よって、低照度部の解像感を向上させることができる。

0036

また、重みづけ係数は、重みづけ係数を生成する元となったサブバンド3LLの当該係数と同一座標位置のサブバンド2LH、1LHのウェーブレット係数に対して適用させるようにする。

0037

図6を用いて、サブバンド1LH、2LH、3LHのウェーブレット係数相互の画像の空間的位置関係について説明する。図6はサブバンド1HH〜3LLの配列を示す図である。サブバンドLHに着目したとき、参照符号601は分解レベル3の着目サブバンド内の1つの係数データ(以下、着目係数データ)を表している。離散ウェーブレット変換における分解レベルが下がる度にウェーブレット係数の数は水平、垂直とも2倍になる。それ故、サブバンド3LHの1個の着目係数データ601に対応する、サブバンド2LHにおける同一空間座標にあるのは、参照符号602に示される2×2個の係数データである。また、着目係数データ601に対応する、サブバンド1LHにける同一空間座標になるのは参照符号603に示される4×4個の係数データとなる。

0038

すなわち、サブバンド3LHのウェーブレット係数の1つの係数601から生成される重みづけ係数は2LHの2×2個の係数602、サブバンド1LHの4×4個の係数603に適用される。

0039

これら一連の動作により、LH量子化部330は、サブバンド3LLのウェーブレット係数から生成された重みづけ係数によってサブバンド1LHとサンバンド2LHの量子化パラメータを変化させて量子化する。サブバンド3LL内のウェーブレット係数が小さいほど、サブバンド1LHと2LHの量子化パラメータも小さくなり、小さな量子化ステップで量子化が行われる。

0040

以上、LH量子化部320について説明した。HL量子化部330およびHH量子化部340の構成とその動作は、LH量子化部320と同様である。つまり、LH量子化部320の上記の説明中の“LH”を、“HL”又は“HH”と読み替えることで理解されたい。従って、HL量子化部330およびHH量子化部340においてもLH量子化部320と同様に分解レベル3のウェーブレット係数から重みづけ係数を生成して、分解レベル2、1の量子化パラメータを調整して量子化が行われる。

0041

<復号装置の説明>
図7は本実施形態における画像復号装置のブロック構成図である。不図示のデータ発生源が発生した符号化画像データが、入力端子701を介し、エントロピー復号化部702に供給される。入力端子に接続される符号化画像データの発生源は、上記説明の画像符号化装置がデイレクトに接続されても構わないし、画像符号化装置が出力した符号化画像データを記憶した記憶媒体でも構わず、その種類は問わない。

0042

エントロピー復号部702は、所定のエントロピー復号化方式で、入力された符号デー得たから、量子化係数データTQ1HH〜TQ3LLと、量子化パラメータQP1HH〜QP3LLを復号し、逆量子化部703に供給する。

0043

逆量子化部703は量子化パラメータQP1HH〜QP3LLを用いて量子化係数データTQ1HH〜TQ3LLを逆量子化し、ウェーブレット係数データTIQ1HH〜TIQ3LLとしてウェーブレット逆変換部704へ供給する。逆量子化部703の詳細は後述する。

0044

ウェーブレット逆変換部704は逆量子化部703からのウェーブレット係数データTIQ1HH〜TIQ3LLを用いて、逆離散ウェーブレットを行い、画像データを生成し、出力端子705を介して、図示しない外部の表示装置等の出力装置に出力される。

0045

次に、実施形態における逆量子化部703の構成と動作を以下に説明する。図8は逆量子化部703のブロック構成図である。図示の如く、逆量子化部703は、LL逆量子化部810、LH逆量子化部820、HL逆量子化部830、HH逆量子化部840を含む。

0046

LL逆量子化部810は、サブバンド3LLの量子化係数データTQ3LLの逆量子化を以下のように行う。

0047

LL逆量子化部810にはエントロピー復号部702から量子化係数データTQ3LLと、量子化パラメータQP3LLが供給される。逆量子化器811は、量子化係数データTQ3LLを、量子化パラメータQP3LLを用いて逆量子化し、ウェーブレット係数TIQ3LLを生成する。そして逆量子化器811は、生成したウェーブレット係数TIQ3LLをウェーブレット逆変化部704に供給する。

0048

LH逆量子化部820は、分解レベル1〜3のLH成分の逆量子化を以下のように行う。

0049

LH逆量子化部820には、エントロピー復号部702から量子化係数データTQ1LH、TQ2LH、TQ3LH、及び、量子化パラメータQP1LH、QP2LH、QP3LHが供給される。また、LL逆量子化部810からのウェーブレット係数データTIQ3LLもLH逆量子化部820に供給される。LL逆量子化部810の逆量子化により得られたウェーブレット係数データTIQ3LLは、LH逆量子化部820内のテーブルa825、テーブルb822に供給される。

0050

テーブルa825はウェーブレット係数TIQ3LLを、サブバンド1LHの量子化係数TQ1LHを逆量子化する際の重みづけ係数に変換する。乗算器826は、量子化パラメータQP1LHに、テーブルa825からの重みづけ係数を乗じることで、量子化係数TQ1LHを逆量子化する際の使用する量子化パラメータを生成し、逆量子化部827に供給する。

0051

逆量子化器827は、サブバンド1LHの量子化係数データTQ1LHを乗算器826からの量子化パラメータを用いて逆量子化し。ウェーブレット係数データTIQ1LHを生成する。そして、逆量子化器827は、生成したウェーブレット係数データTIQ1LHをウェーブレット逆変換部704に供給する。

0052

逆量子化器821は、サブバンド3LHの量子化係数TQ3LHを、量子化パラメータQP3LHを用いて逆量子化しウェーブレット係数データT3LHを生成する。逆量子化器821は、生成したウェーブレット係数データT3LHをウェーブレット逆変化部704に供給する。

0053

テーブルb822はウェーブレット係数TIQLLを、サブバンド2LHの量子化係数データTQ2LHを逆量子化する際の重みづけ係数に変換する。乗算器823は量子化パラメータQP2LHに、テーブルb822からの重みづけ係数を乗じて、量子化係数TQ2LHを逆量子化する際の量子化パラメータを生成し、逆量子化器824に供給する。逆量子化器824は、サブバンド2LHの量子化係数データTQ2LHを、乗算器823からの量子化パラメータを用いて逆量子化し、ウェーブレット係数データTIQ2LHを生成する。そして逆量子化器824は、生成したウェーブレット係数データTIQ2LHを、ウェーブレット逆変換部704に供給する。

0054

テーブルa825、テーブルb822は、分解レベル3の量子化係数データを逆量子化したウェーブレット係数から、分解レベル1および分解レベル2の量子化係数を逆量子化する際の重みづけ係数に変換する変換テーブルである。そして、これらテーブルa825。b822における、入力値に対する出力値は、図3の量子化部のテーブルa326とテーブルb323とそれぞれと同一である。また、重みづけ係数は、重みづけ係数を生成する元となったサブバンド3LLのウェーブレット係数データと同一座標位置のサブバンド2LH、1LHの量子化係数に対して適用させるようにする。

0055

これら一連の動作により、LH逆量子化部830は、サブバンド3LLの量子化係数から生成された重みづけ係数によって、サブバンド1LHとサブバンド2LHの量子化パラメータを変化させて逆量子化する。重みづけ係数はサブバンド3LLの量子化係数から生成しているため、符号化装置における量子化部の重みづけ係数と全く同じ値となり、量子化時と同じ量子化パラメータで逆量子化がなされる事になる。

0056

以上、LH逆量子化部820について説明した。HL逆量子化部830およびHH逆量子化部840の構成と動作は、LH逆量子化部810と同様である。よって、HL逆量子化部830およびHH逆量子化部840の構成と動作の説明は省略する。

0057

以上説明したように量子化部103、及び、逆量子化部703は、DC成分である分解レベル3のサブバンドLLの逆量子化されたウェーブレット係数を、AC成分の各分解レベルのサブバンドLH、HL、HH成分の量子化時および逆量子化時の重みづけ係数に変換し、これを量子化制御部から設定された量子化パラメータに乗じる事で最終的な量子化パラメータを生成する。

0058

なお、上記説明においては重みづけ係数に変換するためのテーブルaおよびテーブルbは線形特性としていたが、これに限定される事はなく、非線形であっても良いし、テーブルaとテーブルbの特性を異なる特性としてもよい。

0059

上記実施形態では、離散ウェーブレット変換を3回実行して、分解レベル3のサブバンドの係数データを生成する例を説明したが、離散ウェーブレット変換の実行回数に3に限らない。すなわち、離散ウェーブレット変換を実行する回数をn(ただしn≧2)と定義したとき、量子化部103は、分解レベルnの各サブバンドについては、各サブバンド毎に設定される量子化パラメータに基づき量子化する。そして、量子化部103は、分解レベルn−1以下の各サブバンドについては、それぞれ毎に設定された量子化パラメータ及び分解レベルnのサブバンドLL内の係数データに基づく重み係数に基づき量子化すればよい。

0060

また、実施形態で示したテーブルa326、b323は、図5に示す入出力の重みづけ係数を発生するものとして説明した。上記の画像符号化装置をビデオカメラなどの撮像装置に実装する場合について考察する。この場合、撮像する対象や条件によってはテーブルa326、b323の出力を“1.0”に固定、つまり、量子化パラメータQP1LH.QP2LHを補正しないで量子化するように切換可能にしても良い。この切換は、ユーザが操作部(不図示)の操作部で行えば良い。

0061

[第2の実施形態]
次に、第2の実施形態について説明する。第2の実施形態と第1の実施形態との相違点は量子化部および逆量子化部である。第1の実施形態では各サブバンドの量子化・逆量子化を並列に行っていたのに対し、第2の実施形態では時系列に、低域側のサブバンドから高域側のサブバンドの順に行う。その他のウェーブレット変換部・逆変換部、エントロピー符号化部・復号化部、量子化制御部は同様であるため説明は省略する。なお、低域→高域のサブバンド順とは、3LL→{3HL、3LH,3HH}→{2HL,2LH,2HH}→{1HL,1LH,1HH}の順である。{}で挟まされたサブバンドについては、その順序を問わないことを意味する。

0062

<符号化装置の説明>
図9は第2の実施形態における画像符号化装置における量子化部のブロック図である。同図において量子化部900は、図1の量子化部103に相当するものでもある。量子化部900は、量子化器901、量子化パラメータ決定器902、逆量子化器903、メモリ904で構成される。

0063

量子化器901にはウェーブレット変換部101からのウェーブレット係数と、後述する量子化パラメータ決定器902からの量子化パラメータが供給される。量子化器901は、サブバンド毎に時系列で入力されるウェーブレット係数データを、量子化パラメータ決定器902からの量子化パラメータを用いて量子化する。量子化された量子化係数は外部に出力されるとともに逆量子化器903に入力される。

0064

逆量子化器903は、量子化係数を、量子化時と同じ量子化パラメータを用いて逆量子化する。逆量子化により得られたウェーブレット係数はメモリ904に入力される
量子化パラメータ決定器902は量子化制御部104からの量子化パラメータとメモリ904からのウェーブレット係数を用いて、サブバンド毎に異なる方法で最終的な量子化パラメータを決定し、量子化器901と逆量子化器903に出力する。

0065

以下、量子化部900の全体の動作について詳細に説明する。前述したように、量子化部900は、低域側のサブバンドから高域側のサブバンドの順に時系列で量子化処理を行う。そのため、以下のようにサブバンド毎に異なる処理で量子化がおこなわれる。

0066

まず、量子化部900には低域成分である分解レベル3のLL、LH、HL、HH成分のウェーブレット係数データT3LL〜T3HHと、分解レベル3のLL、LH、HL、HHの量子化パラメータQP3LL〜QP3HHが順次入力される。分解レベル3の量子化においては、量子化パラメータ決定器902は入力された量子化パラメータをそのまま量子化器901に出力する。量子化器901において量子化された量子化係数データTQ3LL〜TQ3HHは外部に出力される。また、逆量子化器903において逆量子化された分解レベル3のサブバンドLL成分のウェーブレット係数データTIQ3LLは、メモリ904に書き込まれて記憶される。

0067

次に、量子化部900には、中域成分である分解レベル2のサブバンドLH、HL、HH成分のウェーブレット係数データT2LH〜T2HHと、分解レベル2のサブバンドLH、HL、HHの量子化パラメータQP2LH〜QP2HHが順次供給される。一方メモリ904からは上記で記憶された分解レベル3のサブバンドLLのウェーブレット係数データが読み出されて、量子化パラメータ決定部902に供給される。量子化パラメータ決定部902は、メモリ904から入力された分解レベル3のウェーブレット係数データを、重みづけ係数に変換する。これは第1の実施形態で説明したテーブルbに相当し、ウェーブレット係数が小さいほど小さい値(例えば1以下)にし、ウェーブレット係数が大きいほど大きい値(例えば1以上)とする。そしてこの重みづけ係数を、量子化制御部から入力された量子化パラメータに乗じて、最終的な量子化パラメータとして出力する。量子化器901は、量子化して得た量子化係数データTQ2LH〜TQ2HHは外部に出力される。また、分解レベル2の処理においては、逆量子化器903は動作させる必要がないので停止させておいてもよい。なお、重みづけ係数は、重みづけ係数を生成する元となった分解レベル3の当該係数と同一座標位置の分解レベル2のウェーブレット係数に対して適用させるようにする。

0068

次に、量子化部900には、高域成分である分解レベル1のサブバンドLH、HL、HH成分のウェーブレット係数データT1LH〜T1HHと、分解レベル1のサブバンドLH、HL、HHの量子化パラメータQP1LH〜QP1HHが順次供給される。一方メモリ904からは上記で記憶された分解レベル3のサブバンドLLのウェーブレット係数データが読み出されて、量子化パラメータ決定部902に供給される。量子化パラメータ決定部902は、メモリ904から入力された分解レベル3のウェーブレット係数データを、重みづけ係数に変換する。これは第1の実施形態で説明したテーブルaに相当し、ウェーブレット係数が小さいほど小さい値(例えば1以下)にし、ウェーブレット係数が大きいほど大きい値(例えば1以上)とする。そしてこの重みづけ係数を、量子化制御部から供給された量子化パラメータに乗じて、最終的な量子化パラメータとして出力する。量子化器901において量子化された量子化係数データTQ1LH〜TQ1HHは外部に出力される。また、分解レベル1の処理においては、逆量子化器903は動作させる必要がないので停止させておいてもよい。なお、重みづけ係数は、重みづけ係数を生成する元となった分解レベル3の当該係数と同一座標位置の分解レベル1のウェーブレット係数に対して適用させるようにする。

0069

<復号装置の説明>
図10は第2の実施形態における逆量子化部1000のブロック図である。この逆量子化部1000は、第1の実施形態における逆量子化部703に相当するものである。逆量子化部1000は、逆量子化器1001、量子化パラメータ決定器1002、メモリ1003で構成される。

0070

逆量子化器1001にはエントロピー復号化部702からの量子化係数と、量子化パラメータ決定器1002からの量子化パラメータが供給される。逆量子化器1001は、サブバンド毎に時系列で入力される量子化係数データを、量子化パラメータ決定器902からの量子化パラメータを用いて逆量子化する。逆量子化して得られウェーブレット係数データは外部に出力されるとともにメモリ1003に供給され保持される。

0071

量子化パラメータ決定器1002は、エントロピー復号化部702からの量子化パラメータとメモリ1003からのウェーブレット係数データを用いて、サブバンド毎に異なる方法で最終的な量子化パラメータを決定し、逆量子化器1001に供給する。

0072

以下、逆量子化部1000の全体の動作について詳細に説明する。前述したように、逆量子化部1000は低域側のサブバンドから高域側のサブバンドに順に時系列で逆量子化処理を行う。そのため、以下のようにサブバンド毎に異なる処理で逆量子化がおこなわれる。

0073

逆量子化部1000には、低域成分である分解レベル3のサブバンドLL、LH、HL、HH成分の量子化係数データTQ3LL〜TQ3HHと、分解レベル3のサブバンドLL、LH、HL、HHの量子化パラメータQP3LL〜QP3HHが順次供給される。分解レベル3の量子化においては、量子化パラメータ決定器1002は、入力された量子化パラメータをそのまま逆量子化器1001に出力する。逆量子化器1001において逆量子化して得られたウェーブレット係数データTIQ3LL〜TIQ3HHは外部に出力される。分解レベル3のサブバンドLL成分のウェーブレット係数データTIQ3LLはメモリ1004に書き込まれて保持される。

0074

次に、逆量子化部1000には中域成分である分解レベル2のサブバンドLH、HL、HH成分の量子化係数データTQ2LH〜TQ2HHと、分解レベル2のサブバンドLH、HL、HHの量子化パラメータQP2LH〜QP2HHが順次供給される。一方メモリ1003からは上記で記憶された分解レベル3のサブバンドLLのウェーブレット係数データが読み出されて、量子化パラメータ決定部1002に入力される。量子化パラメータ決定部1002は、メモリ1003から入力された分解レベル3のウェーブレット係数データを、重みづけ係数に変換する。量子化パラメータ決定部1002は、量子化部900の量子化パラメータ決定器902と同様に、ウェーブレット係数が小さいほど小さい値(例えば1以下)にし、ウェーブレット係数データが大きいほど大きい値(例えば1以上)とする。そして量子化パラメータ決定部1002は、この重みづけ係数を、量子化制御部から入力された量子化パラメータに乗じて、最終的な量子化パラメータとして逆量子化器1001に供給する。逆量子化器1001において逆量子化して得られたウェーブレット係数データTIQ2LH〜TIQ2HHは外部に出力される。また、分解レベル2の処理においては、メモリ1004への書き込みは行わない。なお、重みづけ係数は、重みづけ係数を生成する元となった分解レベル3の当該係数と同一座標位置の分解レベル2の量子化係数に対して適用させるようにする。

0075

次に、逆量子化部1000には、高域成分である分解レベル1のサブバンドLH、HL、HH成分の量子化係数データTQ1LH〜TQ1HHと、分解レベル1のサブバンドLH、HL、HHの量子化パラメータQP1LH〜QP1HHが順次供給される。一方メモリ1003からは上記で記憶された分解レベル3のサブバンドLLのウェーブレット係数データが読み出されて、量子化パラメータ決定部1002に供給される。量子化パラメータ決定部1002は、メモリ1003から入力された分解レベル3のウェーブレット係数データを重みづけ係数に変換する。そして量子化パラメータ決定部1002は、量子化部900の量子化パラメータ決定器902と同様に、ウェーブレット係数が小さいほど小さい値(例えば1以下)にし、ウェーブレット係数が大きいほど小さい値(例えば1以上)とする。そして量子化パラメータ決定部1002は、この重みづけ係数を、量子化制御部から入力された量子化パラメータに乗じて、最終的な量子化パラメータとして逆量子化器1001に供給する。逆量子化器1001において逆量子化して得られたウェーブレット係数データTIQ1LH〜TIQ1HHは外部に出力される。また、分解レベル2の処理においては、メモリ1004への書き込みは行わない。なお、重みづけ係数は、重みづけ係数を生成する元となった分解レベル3の当該係数と同一座標位置の分解レベル1の量子化係数に対して適用させるようにする。

0076

以上説明したように量子化部900および逆量子化部1000は時系列で、低域から高域に向かう順にサブバンドの量子化・逆量子化を行う。DC成分である、分解レベル3のサブバンドLL成分の逆量子化されたウェーブレット係数をメモリに記憶させ、これを読み出して、各分解レベルのAC成分であるサブバンドLH、HL、HH成分の量子化時および逆量子化時の重みづけ係数に変換し量子化パラメータを生成する。これにより、第1の実施形態での並列動作による量子化処理、逆量子化処理と同様の結果を得る事ができる。

0077

なお、本第2の実施形態においては分解レベル3のサブバンドLH、HL、HH成分の量子化における量子化パラメータは入力されたQP3LH〜HHをそのまま用いるとした。しかし、分解レベル3のサブバンドLL成分の逆量子化されたウェーブレット係数により重みづけされた量子化パラメータを用いるようにしてもよい。

0078

また、重みづけ係数を量子化制御部から設定された量子化パラメータに乗じて最終的な量子化パラメータを生成するとしているが、重みづけ係数を量子化制御部から設定された量子化パラメータに加算して最終的な量子化パラメータを生成するようにしてもよい。

0079

また、最終的な量子化パラメータの算出において、下限、上限を設定して、最終的な量子化パラメータを制限するようにしてもよい。例えば1未満の量子化パラメータは量子化ステップが1未満となり、量子化係数のエントロピー符号化を行った際にデータ量が増加する恐れがあるため、最終的な量子化パラメータの下限を1に設定する。

0080

以上の如く、ウェーブレット係数の最上位の分解レベルnのサブバンドLLの係数データはDC成分データでもあり、画像の照度を表していると見なせる。このDC成分に基づいて図5に示すような重みづけ係数を算出し、この重みづけ係数を同一座標位置の、分解レベルn−1以下の各サブバンドの係数データ(AC成分データ)の量子化に適用する事によって、低照度部の解像感の低下を低減する事ができる。また、重みづけ係数はウェーブレット係数のDC成分から生成されるため、別途、符号データ中に保存する必要がなく、符号量を増大させる事も抑制できる。

0081

(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。

0082

101…ウェーブレット変換部、103…量子化部、104…量子化制御部、105…エントロピー符号化部、106…入力端子、107…出力端子

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • ソニー株式会社の「 情報処理装置および情報処理方法、並びにプログラム」が 公開されました。( 2021/07/08)

    【課題・解決手段】本開示は、処理を簡潔に行うことができるようにする情報処理装置および情報処理方法、並びにプログラムに関する。3次元構造を表すPoint Cloudを2次元に変換することによってgeom... 詳細

  • ソニー株式会社の「 画像処理装置および方法」が 公開されました。( 2021/07/08)

    【課題・解決手段】本開示は、テンプレートマッチングの負荷の増大を抑制することができるようにする画像処理装置および方法に関する。動きベクトル候補リストの精度よりも粗い精度の動きベクトル候補について、カレ... 詳細

  • ソニー株式会社の「 画像処理装置と画像処理方法」が 公開されました。( 2021/07/08)

    【課題・解決手段】ブロック位置算出部411は、魚眼情報によって入力画像が魚眼画像であることを判別した場合、魚眼中心に対する処理対象ブロックの位置を算出して、算出した位置を示す位置情報をテーブル選択部4... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ