図面 (/)
課題
解決手段
概要
背景
従来、車両の運転席に搭載されるカーナビゲーションシステムなどからの画像情報を後部座席のディスプレイで表示する場合は、アナログ映像信号を伝送している。近年、MOST(Media Oriented System Transport)などのデジタルネットワークが車両に搭載されるようになり、そのようなネットワークが搭載された車では、ネットワークを介して画像情報が伝送される。
概要
非可逆圧縮方式による圧縮符号化時に色が変化して劣化した画質を向上することのできる画像符号化方法、画像復号化方法、画像符号化装置、および画像復号化装置などを提供する。入力画像からエッジ強度を示すエッジ情報データを生成するステップと(ステップS41)、入力画像の色を示す色データを生成するステップと(ステップS42)、入力画像を圧縮符号化して圧縮画像データを生成するステップと(ステップS43)、圧縮画像データと色データとエッジ情報データとからストリームデータを生成するステップと(ステップS44)、ステリームデータを送信するステップ(ステップS45)とを備える。
目的
本発明は、上記の課題を解決するためになされたものであり、非可逆圧縮方式による圧縮符号化時に色が変化して劣化した画質を向上することのできる画像符号化方法、画像復号化方法、画像符号化装置、および画像復号化装置などを提供する
効果
実績
- 技術文献被引用数
- 1件
- 牽制数
- 0件
この技術が所属する分野
(分野番号表示ON)※整理標準化データをもとに当社作成
請求項1
入力画像を圧縮符号化して圧縮画像データを生成する符号化ステップと、前記圧縮符号化前の入力画像の色を示す色データを生成する色データ生成ステップと、前記圧縮画像データと前記色データからストリームデータを生成するストリーム生成ステップとを含むことを特徴とする画像符号化方法。
請求項2
請求項3
前記色データ生成ステップでは、前記各画素に対応する色情報値のうち、異なる画素における同じ値の色情報値を1つのデータとする色データを生成することを特徴とする請求項2に記載の画像符号化方法。
請求項4
前記色情報値はRGB値であることを特徴とする請求項2または請求項3に記載の画像符号化方法。
請求項5
当該画像符号化方法では、さらに圧縮符号化前の前記入力画像のエッジ強度を検出し、前記入力画像の圧縮符号化前のエッジ強度を示すエッジ情報データを生成するエッジ情報生成ステップを含み、前記ストリーム生成ステップでは、前記圧縮画像データと前記色データと前記エッジ情報データとからストリームデータを生成することを特徴とする請求項1から請求項4のいずれか1項に記載の画像符号化方法。
請求項6
請求項7
入力画像を圧縮符号化して生成される圧縮画像データと、圧縮符号化前の前記入力画像の色を示す色データとを含むことを特徴とするストリームデータが記録された記録媒体。
請求項8
前記入力画像の圧縮符号化前のエッジ強度を示すエッジ情報データをさらに含むことを特徴とするストリームデータが記録された請求項7に記載の記録媒体。
請求項9
入力されたストリームデータから、圧縮符号化された画像の圧縮画像データ、および前記画像における圧縮符号化前の色を示す色データを抽出する抽出ステップと、前記圧縮画像データを伸長復号化して伸長画像データを生成する復号化ステップと、前記伸長画像データの色を前記色データに基づいて変換する変換ステップとを含むことを特徴とする画像復号化方法。
請求項10
前記色データは、前記画像における圧縮符号化前の各画素に対応する色情報値を有しており、前記変換ステップでは、前記伸長画像データにおける各画素の色情報値を前記色データにおける対応する画素の色情報値に変換することを特徴とする請求項9に記載の画像復号化方法。
請求項11
前記変換ステップでは、前記伸長画像データにおける所定の画素の色情報値を、前記色データにおける、前記所定の画素の色情報値と近い値の色情報値に変換することを特徴とする請求項10に記載の画像復号化方法。
請求項12
前記色情報値は、RGB値であることを特徴とする請求項10または請求項11に記載の画像復号化方法。
請求項13
前記抽出ステップでは、さらに前記入力されたストリームデータから前記圧縮符号化前の画像のエッジ強度を示すエッジ情報データを抽出し、当該画像復号化方法はさらに、前記エッジ情報データに基づいて、前記伸長画像データを補正する補正ステップを含むことを特徴とする請求項9から請求項12のいずれか1項に記載の画像復号化方法。
請求項14
前記エッジ情報データは、前記圧縮符号化前の画像における所定数の画素毎のエッジ強度が所定値以上であるか否かを示すデータであり、前記補正ステップでは、所定数の画素毎のエッジ強度が所定値以上であるときは、前記伸長画像データにおける対応する所定数の画素毎のエッジ強度を強調するように補正することを特徴とする請求項13に記載の画像復号化方法。
請求項15
入力画像を圧縮符号化して圧縮画像データを生成する符号化手段と、前記圧縮符号化前の入力画像の色を示す色データを生成する色データ生成手段と、前記圧縮画像データと前記色データからストリームデータを生成するストリーム生成手段とを備えることを特徴とする画像符号化装置。
請求項16
当該画像符号化装置は、さらに圧縮符号化前の前記入力画像のエッジ強度を検出し、前記入力画像の圧縮符号化前のエッジ強度を示すエッジ情報データを生成するエッジ情報生成手段を備え、前記ストリーム生成手段は、前記圧縮画像データと前記色データと前記エッジ情報データとからストリームデータを生成することを特徴とする請求項15に記載の画像符号化装置。
請求項17
前記ストリーム生成手段が生成したストリームデータを送信する送信手段をさらに備えることを特徴とする請求項15または請求項16に記載の画像符号化装置。
請求項18
入力されたストリームデータから、圧縮符号化された画像の圧縮画像データ、および前記画像における圧縮符号化前の色を示す色データを抽出する抽出手段と、前記圧縮画像データを伸長復号化して伸長画像データを生成する復号化手段と、前記伸長画像データの色を前記色データに基づいて変換する変換手段とを備えることを特徴とする画像復号化装置。
請求項19
前記抽出手段は、さらに前記入力されたストリームデータから前記圧縮符号化前の画像のエッジ強度を示すエッジ情報データを抽出し、当該画像復号化装置はさらに、前記エッジ情報データに基づいて、前記伸長画像データを補正する補正手段を備えることを特徴とする請求項18に記載の画像復号化装置。
請求項20
前記ストリームデータを受信し、前記抽出手段に出力する受信手段をさらに備えることを特徴とする請求項18または請求項19に記載の画像復号化装置。
請求項21
請求項22
請求項9から請求項14のいずれか1項に記載の画像復号化方法におけるすべてのステップをコンピュータに実行させることを特徴とするプログラム。
技術分野
0002
従来、車両の運転席に搭載されるカーナビゲーションシステムなどからの画像情報を後部座席のディスプレイで表示する場合は、アナログ映像信号を伝送している。近年、MOST(Media Oriented System Transport)などのデジタルネットワークが車両に搭載されるようになり、そのようなネットワークが搭載された車では、ネットワークを介して画像情報が伝送される。
0003
このようなネットワークを介して画像情報の伝送を行う場合、JPEG(Joint Photographic Experts Group)規格やMPEG(Moving Picture Experts Group)規格などに基づいて画像情報を非可逆圧縮方式で圧縮することで、伝送される画像情報を減少させて狭帯域のネットワークでも伝送できるようにしている。
0004
このような非可逆圧縮方式により画像を圧縮する画像符号化装置、および圧縮された画像を復号化する画像復号化装置についての従来例を説明する(特許文献1参照)。
0005
図6は、従来の画像符号化装置および画像復号化装置の構成を示すブロック図である。
図6において、画像符号化装置100は、画像入力部101と、画像統計解析部102と、前処理フィルタ係数選択部103と、前処理フィルタ処理部104と、JPEG画像圧縮部105と、情報エンコード部106と、送信部107とから構成される。一方、画像復号化装置120は、受信部110と、情報デコード部111と、JPEG画像伸長部112と、後処理フィルタ係数選択部113と後処理フィルタ処理部114と、画像出力部115とから構成される。
0006
画像符号化装置100において、画像統計解析部102は、画像入力部101から入力された原画像の統計的性質を解析する。前処理フィルタ係数選択部103は、事前に保持しているフィルタ係数の中から、上記統計的性質を基に適切なフィルタ係数を選択し、前処理フィルタ処理部104は、選択されたフィルタ係数を基に原画像に対してフィルタ処理を行う。
0007
JPEG画像圧縮部105は、原画像をJPEG方式で圧縮(符号化)した圧縮画像データを作成する。情報エンコード部106は、原画像の統計的性質と圧縮画像データを多重化し、伝送データを作成する。送信部107は、情報エンコード部106より得られた伝送データを画像復号化装置120に送信する。
0008
画像復号化装置120の受信部110は、上記送信部107から送信された伝送データを情報デコード部111に伝送する。情報デコード部111は、その伝送データを分離して、上記原画像の統計的性質を後処理フィルタ係数選択部113に出力し、圧縮画像データをJPEG画像伸長部112に出力する。
0009
JPEG画像伸長部112は、圧縮画像データを伸長(復号化)して伸長画像データを作成し、後処理フィルタ処理部114に出力する。後処理フィルタ係数選択部113は、情報デコード部111より得た原画像の統計的性質に基づき、事前に保持しているフィルタ係数の中から、適切なフィルタ係数を選択する。後処理フィルタ処理部114は、後処理フィルタ係数選択部113が選択したフィルタ係数に基づいて、JPEG画像伸長部112が出力する上記伸長画像データに対してフィルタ処理を行う。画像出力部115は、そのフィルタ処理の行われた画像データを出力する。
0010
このように、画像符号化装置100および画像復号化装置120では、非可逆画像圧縮を用いる際に、その圧縮前にフィルタ処理を行うことで、画質への影響が少ない信号成分をあらかじめ減らし、符号化効率を向上させることができるとともに、非可逆圧縮により雑音を発生しやすい信号成分をあらかじめ減らすことで画質を改善することができ、さらに画像データの伸長(復号)後に原画像の性質と異なる信号を減らすことで、画質を改善することができる。
背景技術
0011
【特許文献1】
特開2002−209209号公報(全文)
0012
しかしながら、この従来の画像符号化装置および画像復号化装置においては、非可逆画像圧縮時のフィルタ処理により、復号化された画像の画質を改善しているが、JPEG圧縮やMPEG圧縮などの非可逆画像圧縮により生じてしまう原画像の色の変化を復元することはできない。特にグラフィック画像のように色調が明確である画像では、色の変化が目立つという問題がある。
発明が解決しようとする課題
0013
そこで本発明は、上記の課題を解決するためになされたものであり、非可逆圧縮方式による圧縮符号化時に色が変化して劣化した画質を向上することのできる画像符号化方法、画像復号化方法、画像符号化装置、および画像復号化装置などを提供することを目的とする。
0014
上記目的を達成するために、本発明に係る画像符号化方法は、入力画像を圧縮符号化して圧縮画像データを生成する符号化ステップと、前記圧縮符号化前の入力画像の色を示す色データを生成する色データ生成ステップと、前記圧縮画像データと前記色データからストリームデータを生成するストリーム生成ステップとを含むことを特徴とする。
0015
これによって、ストリームデータに入力画像の圧縮符号化前の色を示す色データが含まれるため、圧縮符号化した圧縮画像データを復号化するときに、その色データに基づいて、圧縮符号化前の色に対応するように補正することが可能となる。そのため、圧縮符号化時に色が変化して劣化した画質が向上する。特に、グラフィック画像のように色調がはっきりとしている画像の場合に色の変化が目立つため、本発明により得られる効果は大きい。
0017
これによって、色データに使用するメモリ量を少なくすることができる。
また、圧縮符号化前の前記入力画像のエッジ強度を検出し、前記入力画像の圧縮符号化前のエッジ強度を示すエッジ情報データを生成するエッジ情報生成ステップを含み、前記ストリーム生成ステップでは、前記圧縮画像データと前記色データと前記エッジ情報データとからストリームデータを生成するようにしてもよい。
0018
これによって、圧縮符号化した圧縮画像データを復号化するときに、そのエッジ情報データに基づいて、圧縮符号化前の画像のエッジ強度に対応するように補正することが可能となり、圧縮符号化時に変化して劣化した画質が向上する。
0019
また、本発明の画像復号化方法は、入力されたストリームデータから、圧縮符号化された画像の圧縮画像データ、および前記画像における圧縮符号化前の色を示す色データを抽出する抽出ステップと、前記圧縮画像データを伸長復号化して伸長画像データを生成する復号化ステップと、前記伸長画像データの色を前記色データに基づいて変換する変換ステップとを含むことを特徴とする。
0020
これによって、復号化後の画像を色データに基づいて圧縮符号化前の色に対応するように補正することが可能となる。そのため、圧縮符号化時に色が変化して劣化した画質が向上する。特に、グラフィック画像のように色調がはっきりとしている画像の場合に色の変化が目立つため、本発明により得られる効果は大きい。
0021
また、前記抽出ステップでは、さらに前記入力されたストリームデータから前記圧縮符号化前の画像のエッジ強度を示すエッジ情報データを抽出し、当該画像復号化方法はさらに、前記エッジ情報データに基づいて、前記伸長画像データを補正する補正ステップを含むようにしてもよい。
0022
これにより、エッジ情報データに基づいて、復号化後の画像を圧縮符号化前の画像のエッジ強度に対応するように補正することが可能となり、圧縮符号化時に変化して劣化した画質が向上する。
課題を解決するための手段
0023
なお、本発明は、このような画像符号化方法および画像復号化方法として実現することができるだけでなく、このような画像符号化方法および画像復号化方法に含まれる特徴的なステップを手段とする画像符号化装置および画像復号化装置として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、CD−ROMなどの記録媒体やインターネットなどの伝送媒体を介して配信することができるのは言うまでもない。さらに本発明は、上記画像符号化方法に含まれる各ステップにより生成されたデータを備えるストリームデータが記録された記録媒体として実現してもよい。
0024
以下、本発明の実施の形態について説明する。
図1は、本発明の実施の形態における画像符号化方法および画像復号化方法を実現するための画像符号化装置および画像復号化装置の構成を示すブロック図である。
0025
図1において、画像符号化装置1は、画像入力部11と、画像圧縮部12と、エッジ情報生成部13と、色デーブル生成部14と、情報多重化部15と、送信部16により構成され、入力された画像データの符号化を行う。
0026
画像入力部11は、符号化を行う画像データを入力し、画像圧縮部12、エッジ情報生成部13、および色テーブル生成部14に画像データを出力する。
画像圧縮部12は、画像入力部11から出力される画像データをJPEG規格に基づく方法で圧縮(符号化)して(以後JPEG圧縮と呼ぶ)圧縮画像データを生成する。
0027
エッジ情報生成部13は、画像入力部11から出力される画像データのエッジ強度を検出し、検出したエッジ強度を基にエッジ情報データを生成する。
色テーブル生成部14は、画像入力部11から出力される画像データにおける全画素の色情報値である色成分値を抽出し、その色成分値を基に色データである色テーブルデータを生成する。
0028
情報多重化部15は、上記圧縮画像データ、エッジ情報データ、および色テーブルデータを多重化して、1つのストリームデータを生成する。
送信部16は、情報多重化部15が生成したストリームデータを画像復号化装置2に送信する。
0029
一方、画像復号化装置2は、受信部21と、情報分離部22と、エッジ情報保存部23と、色テーブル保存部24と、画像伸長部25と、フィルタ部26と、色変換部27と、画像出力部28とにより構成され、画像符号化装置1が符号化して生成したストリームデータを復号化する。
0030
受信部21は、画像符号化装置1が送信したストリームデータを受信し、情報分離部22に出力する。
情報分離部22は、受信部21が出力するストリームデータから圧縮画像データ、エッジ情報データ、および色テーブルデータを分離して抽出し、圧縮画像データを画像伸長部25に、エッジ情報データをエッジ情報保存部23に、色テーブルデータを色テーブル保存部24に出力する。
0031
エッジ情報保存部23は、エッジ情報データを保持する。
色テーブル保存部24は、色テーブルデータを保持する。
画像伸長部25は、圧縮画像データを伸長(復号化)して、伸長画像データをフィルタ部26に出力する。
0032
フィルタ部26は、エッジ情報保存部23が保持しているエッジ情報データに基づいて、上記伸長画像データのフィルタリングを行い、フィルタリングされた画像データを色変換部27に出力する。
0033
色変換部27は、色テーブル保存部24が保持している色テーブルデータに基づいて、上記フィルタリングされた画像データの画素値を変換し、画像出力部28に出力する。
0034
画像出力部28は、色変換部27から出力された画像データを表示する。
このように構成された画像符号化装置1と画像復号化装置2の動作を説明する。
0036
ここで、エッジ情報生成部13が行う動作の詳細を説明する。
エッジ情報生成部13は、入力した画像データの8×8画素のブロック毎にそれぞれエッジ強度を求める。
0037
このとき、エッジ情報生成部13は、濃淡の変化が急峻であるかを検出することで、各ブロックのエッジ強度を検出する。
エッジ情報生成部13は、この検出したエッジ強度が予め定めた閾値以上であれば、そのエッジを強調するため、後述する画像復号化装置2で復号化した画像におけるその対応するブロックの画像データにエッジ強調フィルタをかけることを示す情報(例えば0,1の2値で示した場合は1)をエッジ情報データとして生成し、またエッジ強度が閾値未満のときはそのブロックにエッジがないとして、後述する画像復号化装置2で復号化した画像におけるその対応するブロックの画像データにローパスフィルタをかけることを示す情報(例えば0,1の2値で示した場合は0)をエッジ情報データとして生成する。このように、エッジ情報生成部13は、復号化後の画像に行うフィルタリング方法をブロック毎に対応させた情報を生成する。
0038
次に、色テーブル生成部14は、画像入力部11から出力される画像データを基に、後に復号化される画像データの色補正を行うために用いる色テーブルデータを生成する(ステップS42)。
0040
図3(a)において、色テーブルデータ40は、RGB値におけるR値、G値、B値からなる組を複数組有している。
色テーブル生成部14は、画像入力部11から出力される画像50における各画素の色情報値であるRGB値を順番に読み出し、その読み出したRGB値を書き込み、色テーブルデータ40を生成する。画像の各画素は、例えば輝度信号と色差信号により示されており、その信号よりRGB値を得る(読み出す)ことができる。
0041
例えば、色テーブル生成部14が、図3(b)に示す画像50の画素50aのRGB値を読み出し、そのRGB値がR値=43、G値=56、B値=18である場合、図3(a)に示す色テーブルデータ40にRGB値40a(R値=43、G値=56、B値=18)を書き込む。
0042
同様に、色テーブル生成部14が画像50の画素50bのRGB値を読み出し、そのRGB値がR値=79、G値=94、B値=146である場合、色テーブルデータ40にRGB値の組としてRGB値40bを書き込む。
0043
このように、色テーブル生成部14は、画像50の全画素のRGB値を順番に読み出し、色テーブルデータ40にRGB値の組を書き込む。このとき、画像50から読み出したRGB値の組がすでに色テーブルデータ40に書き込まれている場合は、再度書き込むことはしない。すなわち、異なる画素における同じ値のRGB値を1つのデータとする。
0044
例えば、画像50の画素50cのRGB値が、画素50bのRGB値と同じくR値=79、G値=94、B値=146である場合、すでに色テーブルデータ40にRGB値40bが書き込まれているため、画素50cについてはRGB値を書き込むことはしない。
0045
以上のように、色テーブル生成部14は、色テーブルデータ40を生成する。次に、画像圧縮部12は、画像入力部11が出力する画像データをJPEG圧縮(符号化)し、圧縮画像データを生成する(ステップS43)。
0046
次に、情報多重化部15は、エッジ情報生成部13が生成したエッジ情報データと、色テーブル生成部14が生成した色テーブルデータと、画像圧縮部12が生成した圧縮画像データとを多重化して、1つのストリームデータを生成する(ステップS44)。
0047
送信部16は、情報多重化部15が生成したストリームデータを画像復号化装置2に送信する(ステップS45)。
図5は、ストリームデータの構造を示す模式図である。
0048
図5に示されるように、ストリームデータ60は、エッジ情報ヘッダ61と、エッジ情報データ62と、色テーブルヘッダ63と、色テーブルデータ64と、圧縮画像ヘッダ65と、圧縮画像データ66により構成される。
0049
エッジ情報ヘッダ61は、エッジ情報ヘッダ固有のIDデータと、エッジ情報データ62のデータ長を示すデータとで構成される。
色テーブルヘッダ63は、色テーブルヘッダ固有のIDデータと、色テーブルデータ64のデータ長を示すデータとで構成される。
0050
圧縮画像ヘッダ65は、圧縮画像ヘッダ固有のIDデータと、圧縮画像データ66のデータ長を示すデータとで構成される。
エッジ情報データ62、色テーブルデータ64、圧縮画像データ66は、それぞれエッジ情報生成部13、色テーブル生成部14、画像圧縮部12が生成したデータである。
0051
次に、上述のストリームデータを復号化する画像復号化装置2の動作について説明する。
図4は、画像復号化装置2の動作を示すフローチャートである。
0052
まず、受信部21は、画像符号化装置1が送信したストリームデータを受信する(ステップS51)。
次に、情報分離部22は、受信部21が受信したストリームデータから圧縮画像データと、エッジ情報データと、色テーブルデータとを分離して抽出し、圧縮画像データを画像伸長部25に出力し、エッジ情報データをエッジ情報保存部23に出力し、色テーブルデータを色テーブル保存部24に出力する(ステップS52)。
0053
次に画像伸長部25は、JPEG圧縮された圧縮画像データを伸長(復号化)し、伸長画像データを生成する(ステップS53)。
次にフィルタ部26は、対応するエッジ情報データの値を基に、各ブロックの伸長画像データにフィルタリングし、フィルタ画像データを生成する(ステップS54)。
0054
ここで、フィルタ部26が行うフィルタリングの詳細を説明する。
まず、フィルタ部26は、フィルタリングを行う画像の各ブロック(8×8画素)に対応するエッジ情報データの値(0か1)をエッジ情報保存部23から読み出す。
0055
上述したようにエッジ情報データは、画像符号化装置1での符号化前に、ブロックにおけるエッジ強度が所定の閾値以上である場合は、そのエッジを強調するためにそのブロックの復号化(伸長)後の画像データにエッジ強調フィルタをかけることを示す情報(例えば0,1の2値で示した場合は1)を記憶し、また符号化前にエッジ強度が閾値未満のときはそのブロックにエッジがないとして、そのブロックの復号化(伸長)後の画像データにローパスフィルタをかけることを示す情報(例えば0,1の2値で示した場合は0)を記憶したデータである。
0056
フィルタ部26は、各ブロックに対応するエッジ情報データの値が1である場合は、そのブロックの伸長画像データに、エッジを強調するエッジ強調フィルタをかけるフィルタリングを行い補正する。このエッジを強調するフィルタリング処理として、例えばこのブロックの画像データに高域成分を追加するようにする。
0057
一方、各ブロックに対応するエッジ情報データの値が0である場合、フィルタ部26は、そのブロックの伸長画像データに、ローパスフィルタをかけるフィルタリング処理をして補正する。
0058
このように、画像の全ブロックにおいて、上述のフィルタリング処理を行う。
以上のように、画像符号化装置1による符号化(圧縮)前の原画像の画像データにおけるエッジ強度に基づいて、原画像に対応するように復号化(伸長)後の画像データにフィルタリング処理を行う。このために、画像を符号化(圧縮)したときにエッジ付近や平坦な部分に生じたノイズを緩和することができる。
0059
次に、色変換部27は、色テーブル保存部24に保存されている色テーブルデータに基づき、フィルタ部26が生成したフィルタ画像データの各画素の画素値を変換して色の補正を行い、変換画像データ(復号画像データ)を生成する(ステップS55)。
0060
ここで色変換部27が行う動作の詳細を説明する。
色変換部27は、フィルタ部26が生成したフィルタ画像データの全画素のRGB値を順に読み出す。
0061
例えば、図3(b)に示される画像50が画像符号化装置1で符号化(圧縮)され、そして画像復号化装置2の画像伸長部25で復号化され、フィルタ部26から出力されたとする。そして、圧縮(符号化)したときに、画像50の画素50aのRGB値が、符号化前のRGB値(R値=43、G値=56、B値=18)からRGB値(R値=44、G値=57、B値=18)に変化したとする。
0062
色変換部27は、画像50における画素50aのRGB値として、R値=44、G値=57、B値=18をフィルタ部26から得る。そして、色変換部27は、この得られたRGB値が、色テーブル保存部24に保存されている色テーブルデータ40におけるRGB値の組のいずれに近い値であるかを演算し、一番近い値のRGB値の組を選択する。
0063
このRGB値の選択方法として、フィルタ部26から出力された画像のR値、G値、B値のそれぞれと、色テーブルデータ40に保存されているRGB値の組のR値、G値、B値のそれぞれとの差の自乗和が最も小さくなる(距離が最も近い)ものを、色テーブルデータ40に保存されているRGB値の組の中から選択する。
0064
例えば、この場合、RGB値40aを選択した場合における自乗和は(44−43)2+(57−56)2+(18−18)2=2であり、RGB値40bを選択した場合における自乗和は(79−44)2+(94−57)2+(146−18)2=18978である。色変換部27は、色テーブルデータ40に保持されている全てのRGB値の組からこのように演算される自乗和の一番小さいものを選択する。
0065
このように、色変換部27は画素50aにおける復号化後のRGB値と近い値のRGB値を選択することで、色テーブルデータ40に保存されているRGB値の組の中から、同じ画素50aにおける符号化前のRGB値40aを選択することとなる。画像の圧縮(符号化)による色の変化は大きくなるものではないため、上述のように近い値のRGBを選択することで、符号化前と同じ画素のRGB値を選択することができる。
0066
そして、色変換部27は、フィルタ部26より得た画像50の画素50aのRGB値(R値=44、G値=57、B値=18)を、色テーブルデータ40から選択したRGB値(R値=43、G値=56、B値=18)、すなわち符号化前のRGB値に変換する。
0067
またこのとき、画像50の画素50cにおける符号化前のRGB値はRGB値40aであり、上述と同様に画素50cの復号化後のRGB値と近い値のRGB値を色テーブルデータ40から選択することで、RGB値40aが選択される。このように異なる画素50a,50cにおける同一値のRGB値を1つのテーブルデータ(RGB値40a)とすることで、色テーブルデータ40に使用するメモリ量を少なくすることができる。
0068
そして上述のような変換を画像の全画素において行い、変換画像データを生成する。
以上のようにして、色変換部27が符号化前のRGB値に変換することで、画像の圧縮時(符号化時)に色が変化して劣化した画質が向上する。
0069
次に、画像出力部28は変換画像データ(復号画像データ)を基に復号画像を表示して(ステップS56)、処理を終了する。
以上のように本実施の形態によれば、復号化後の画像の色を符号化前の原画像の色に変換することで、JPEG圧縮時に色が変化して劣化した画質が向上する。特に、グラフィック画像のように色調がはっきりとしている画像の場合は圧縮による色の変化が目立つため有効である。
0070
また、本実施の形態では、ある画素における復号化後のRGB値と近い値のRGB値を色テーブルデータ40の中から選択することで、同じ画素の符号化前のRGB値を特定して得るようにしているため、色テーブルデータ40は、各RGB値がいずれの画素に対応するものであるかを示す画素情報を有していない構成である。そのため、色テーブルデータ40はその画素情報の分だけ使用するメモリが少ないという利点がある。
0071
尚、色テーブルデータ40は、各RGB値がいずれの画素に対応するかを示す上述した画素情報を有するデータであってもよい。例えば、図3(a)に示す色テーブルデータ40のRGB値40a(R値=43、G値=56、B値=18)が画素50aにおけるデータであることを示す画素情報を色テーブルデータ40が有するようにしてもよい。そして、画像復号化装置2において、色変換部27は、復号化後のある画素のRGB値を、画素情報を基に色データテーブル40における同一画素のRGB値に変換するようにすればよい。
0072
また、本実施の形態では、画像符号化装置1では、エッジ情報生成部13が画像のブロック毎にエッジ強度を検出し、画像復号化装置2では、エッジ情報保存部23が上記エッジ強度を保存し、フィルタ部26がその保存されたエッジ強度に基づいて画像信号のフィルタリングを行うようにしたが、エッジ情報生成部13およびエッジ情報保存部23を設けないようにし、エッジ強度を検出することなく、フィルタ部26が予め定められた方法でフィルタリングを行うようにしてもよい。
0073
また、フィルタ部26が画像伸長部25から出力される伸長画像を解析して、その解析結果に応じて、フィルタリング方法を適応的に決めてもよい。
また、画像符号化装置1が送信し、画像復号化装置2が受信するストリームデータ60のフォーマットの一例を図5に示したが、エッジ情報ヘッダ61やエッジ情報データ62などの各データ領域の順番は、図5に示す順番とは異なるものであってもよい。さらに、エッジ情報データ62と色テーブルデータ64のデータ長を固定長にし、エッジ情報ヘッダ61と色テーブルヘッダ63を無くしてもよい。さらにまた、ストリームデータ60中に他のデータが含まれるようにしてもよい。
0074
そしてまた、図3(b)に示される1つの画像50につき、色テーブルデータとして図3(a)に示される1つの色テーブルデータ40を設定したが、画像50を複数の領域に分割し、分割した各領域に1つの色テーブルデータを設定するようにしてもよい。また、複数の画像に対して1つの色テーブルデータを設定するようにしてもよい。さらに、色テーブルデータ40に書き込む値をRGB値としたが、色を示す値として輝度と色差の組み合わせなど他の値を用いてもよい。
0075
また色変換部27は、フィルタ部26から出力されるRGB値を色テーブルデータ40に含まれるRGB値のうち、差の自乗和(距離)が最も小さくなるRGB値に変換するようにしたが、符号化前の同じ画素のRGB値に変換するようにすれば、この方法に限定されない。また、フィルタ部26から出力されるある画素値は、色テーブルデータ40の各RGB値との距離を求めた結果に応じて、変換しないようにしてもよい。
0076
そしてまたエッジ情報生成部13は、8×8画素のブロック毎におけるフィルタの種類(エッジ強調フィルタ、ローパスフィルタ)を示す情報をエッジ情報データとして生成したが、ブロックの大きさは8×8画素に限定されず、1×8画素などのラインであってもよい。また、フィルタの種類は、エッジ強調フィルタやローパスフィルタ以外であってもよく、またエッジ情報データにフィルタ係数やフィルタをかける方向など、フィルタの種類以外の情報を書き込むようにしてもよい。さらに、エッジ情報データとして、ブロック毎のエッジ強度を示す値を書き込むようにしてもよく、エッジ画像をエッジ情報データとしてもよい。
0077
また、画像伸長部25で伸長した伸長画像データにフィルタ処理を施すようにしたが、画像伸長部25内で圧縮画像データに含まれる周波数係数にフィルタをかけるようにしてもよい。
0078
さらに、画像符号化装置1の画像入力部11が出力した画像データに対してフィルタリングや減色処理などの前処理を行うようにしてもよい。
また、画像符号化装置1内に画像復号化装置2と同等の復号化機能を備えて、画像符号化装置1で符号化し復号化して生成した画像を基に、再度符号化を行うようにしてもよい。
0079
そしてまた、画像符号化装置1は、情報多重化部15が生成したストリームデータを記録媒体に記録してもよい。また、画像復号化装置2は、記録媒体からストリームデータを入力するようにしてもよい。
発明を実施するための最良の形態
0080
さらに、画像の非可逆圧縮方式としてJPEG圧縮を用いて説明したが、MPEG圧縮などの他の非可逆圧縮方式であってもよい。
図面の簡単な説明
0081
以上の説明から明らかなように、本発明によれば、復号化後の画像を色データに基づいて圧縮符号化前の色に対応するように補正することが可能となる。そのため、圧縮符号化時に色が変化して劣化した画質が向上する。特に、グラフィック画像のように色調がはっきりとしている画像の場合に色の変化が目立つため有効である。
【図1】
本発明の実施の形態に係る画像符号化方法と画像復号化方法を実現する画像符号化装置と画像復号化装置の構成を示すブロック図である。
【図2】
本発明の実施の形態に係る画像符号化装置の動作を示すフローチャートである。
【図3】
(a)は本発明の実施の形態に係る画像符号化装置における色テーブルデータを示すデータ図であり、(b)は符号化する画像を説明するために用いる説明図である。
【図4】
本発明の実施の形態に係る画像復号化装置の動作を示すフローチャートである。
【図5】
本発明の実施の形態に係る画像符号化装置より出力されるストリームデータの構造を示すデータ図である。
【図6】
従来の画像符号化装置と画像復号化装置の構成を示すブロック図である。
【符号の説明】
1 画像符号化装置
2 画像復号化装置
11画像入力部
12画像圧縮部
13エッジ情報生成部
14色テーブル生成部
15情報多重化部
16 送信部
21 受信部
22情報分離部
23 エッジ情報保存部
24 色テーブル保存部
25画像伸長部
26フィルタ部
27色変換部
28画像出力部
40 色テーブルデータ
50 画像
60 ストリームデータ
技術視点だけで見ていませんか?
この技術の活用可能性がある分野
分野別動向を把握したい方- 事業化視点で見る -
(分野番号表示ON)※整理標準化データをもとに当社作成