図面 (/)

この項目の情報は公開日時点(2001年4月13日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

分割された画質項目毎に、画質を測定することによって、入力画像性質出力機器の性質、入力機器の性質、画像符号化方式の性質等の様々な入力物理量を連続な媒介パラメタからなる空間にマッピングする。

解決手段

入力画像性質入力手段152において入力画像性質153が画質予測手段160に入力される。画像出力性質入力手段155において画像出力性質156が画質予測手段160に入力される。画像符号化性質入力手段158において画像符号化性質159が画質予測手段160に入力される。画質予測手段は、入力画像性質152、画像出力性質155、画像符号化性質158から画質劣化項目別の画質を予測し、項目別画質161を出力する。総合画質予測手段163は1つ以上の項目別画質を基に総合予測画質164を予測する。

概要

背景

近年、画像を圧縮することによって、蓄積媒体の容量あるいは伝送時間を削減することが行われている。以下、画像符号化画像圧縮と同じ意味で使用する。

図41に示されるように、スキャナ等の画像入力機器あるいはコンピュータ等の画像生成機器プリンタ等の画像出力機器ネットワークで結ばれるシステムでは入力画像が圧縮され、伝送および蓄積される。近年このようなシステムで用いられる画像が高精細化カラー化し、大容量となっているため、画像の圧縮比を高めることが重要となる。

画像圧縮方式は、可逆的なものと非可逆的なものとに分けられる。可逆的なものは圧縮した後、伸長すれば、元の画像を完全に復元できる。非可逆的な圧縮方式では、可逆的な圧縮方式よりも高い圧縮比を期待できるが、伸長しても完全には元に戻らず、画質劣化を起こす。

一般に、同一の符号化条件下であれば、画像圧縮を行う場合には圧縮比と画質とは反比例の関係にある。これは、非可逆的な圧縮法が画像の中の比較的視覚に影響しにくいと考えられる情報を捨てることによって高圧縮比を実現していることによる。このため、圧縮比が小さければ捨てる情報が少なく画質が良いが、圧縮比を大きくすると、捨てる情報が多くなり画質が劣化する。

画像圧縮を行う時には、所定の画質を維持し、かつ、できるだけ高い圧縮比を実現することが望まれる。すなわち、許されるぎりぎりの画質になるように符号化画質を制御する必要がある。

以下に、非可逆圧縮方式において符号化画質を制御する従来の技術を述べる。[従来方式1]従来方式1として、一般に画質を制御して入力画像全体の圧縮比を向上させる方式の従来例を述べる。

入力画像はその内部で局所的に画像の性質が変化する場合がある。ある符号化方式で符号化した場合、画質劣化が目立ち易い画像部分と目立ちにくい画像部分がある。入力画像全体の画質を考慮すると、画質劣化が目立ちやすい画像部分の劣化を少なくするために全体の圧縮比を小さくする必要がある。

そこで、入力画像をブロックに分割して、ブロック毎に画像劣化が目立ち易いが目立ちにくいかを判断し、目立ち易いブロックは圧縮比を低くするかあるいは量子化ステップ幅を狭くする。目立ち難いブロックは圧縮比を高くするかあるいは量子化ステップ幅を広くする。これにより、目立ち難い部分の圧縮比を上げることができるため、画質を一定にして全体の圧縮比を向上できる。

例えば丸善「マルチメディア符号化の国際標準18〜43ページ」に記述されているようなJPEG(Joint Photograhic CodingExperts Group)方式に代表されるDCT(離散コサイン変換)を用いる方式の場合、入力画像ブロックの性質に適応した量子化マトリクスを用いることにより同じ画質で高い圧縮比を得ることができる。以下、図42を用いてDCT符号化方式を簡単に説明する。

図42において、391は入力画像、392は入力画像391をブロック化するブロック化回路、393はブロック化された画像情報直交変換する直交変換回路、394は直交変換係数、395は直交変換係数394を量子化する量子化回路、396は量子化された直交変換係数を符号化する符号化回路、397は符号である。

入力された画像情報391はブロック化回路392において矩形のブロックに切り出される。ブロック化された画像情報は直交変換回路393で直交変換され、直交変換係数394が出力される。直交変換係数394は量子化回路395で所定の量子化マトリクスによって量子化され、量子化された直交変換係数は符号化回路396で符号を割当てられ、符号397として出力される。

図42に示されるような符号化方式では、全てのブロックで同一の量子化を行うため、歪みの出やすいブロックでは画質が劣化し、歪みの出にくいブロックでは視覚的に無駄な情報を符号化することになる。

そこで、先に述べたように、画質劣化が目立ち易い画像部分と目立ちにくい画像部分で異なる量子化を行うことにより、同一画質で圧縮比を高める従来方式がある。この従来方式1を図43を用いて説明する。

図43において、同一番号は図42と同一の構成である。また、図43において、398は画像ブロックの性質を分析する画像分析回路、399は画像分析回路398で分析された分析結果、400は分析結果399を基に量子化方法を選択する量子化選択回路、401は量子化選択回路400で選択された量子化方法である。

以下、図43を用いて従来方式1の動作を説明する。

ブロック化された画像情報は画像分析回路398に送られ、ブロック内の画像の性質が分析される。分析の方法は種々あり、以下の従来方式1−1および、従来方式1−2でその具体例を述べる。さらに、分析された分析結果399は量子化選択回路400に送られ、量子化方法401が選択される。DCT符号化方式では、量子化選択回路400では、分析結果399に最も適した量子化マトリクスが選択される。選択された量子化方法401は量子化回路395に送られ、この量子化方法401を用いて量子化回路395では量子化が行われる。他の構成手段の動作は図42における動作と同じである。

以下、従来方式1の画質制御方式に関して、図43を用いて、従来方式1−1、従来方式1−2の2つの例を用いて具体的に説明する。図43は従来方式1−1および従来方式1−2の主要部分を抜き出して書き直したものである。

[従来方式1−1]従来方式1−1として、特開平6−165149号公報の手法を説明する。従来方式1−1では、入力画像ブロックがここで用いられている符号化方式で符号化することに適しているか、適していないかを判断し、適している場合には高画質が期待できるため、高い圧縮比で符号化する。また、適していない場合には低い画質が予想されるため画質を高めるため低い圧縮比で符号化する。

例えば、従来方式1−1では図43の画像分析回路398において、ブロック毎にモスキートノイズの出やすさを示す物理量399を計測する。さらに、この物理量399に応じて量子化選択回路400で量子化パラメタを選択することで同じ画質における圧縮比を向上させている。これは、モスキートノイズが発生しやすいブロックでは符号量が大きくなるように制御し、モスキートノイズが発生しにくいブロックでは符号量が小さくなるように制御することによって同じ画質で高い圧縮比を得るようにしたものである。

具体的には、従来方式1−1において画像分析回路398では、ブロック内の各画素について、3×3の窓をかけ、中心画素の周囲の画素について各々隣接する画素との階調レベル差の絶対値の平均値を求め、該平均値と、ブロック内の階調レベル信号のレンジ幅との比率が所定の閾値以下である画素数を算出し、該画素数が前期ブロック内に所定個数以上あるか否かによってモスキートノイズが出やすいか出にくいかを判定する。

[従来方式1−2]従来方式1−2として、特開平7−135671号公報の手法を説明する。従来方式1−2では、入力画像ブロックが視覚的に重要であるか、重要ではないかを判断し、重要である場合には高画質が望まれるため、低い圧縮比で符号化する。また、重要ではない場合には低い画質でも構わないため高い圧縮比で符号化する。

従来方式1−2では、図43の画像分析回路398において、ブロック内の赤色の彩度が高い画素数399を検出する。赤色の情報が人間の視覚にとって重要であるため、赤色の彩度が高い画素数399が大である場合は、量子化選択回路400でブロックの圧縮比が小さくなるような量子化マトリクスを選択する。赤色の彩度が高い画素数399が小である場合は、量子化選択回路400でブロックの圧縮比が大きくなるような量子化マトリクスを選択する。

具体的には、従来方式1−2においては、ブロック化回路392において、入力画像信号輝度信号であるY信号色差信号R−Y信号、および、色差信号B−Y信号をブロック化する。画像分析回路398では、R−Y信号が所定の閾値より高い画素を赤色の彩度が高いと判断する。各画素について高い赤色の彩度が高いかどうかを検査し、赤色の彩度が高い画素数が所定個数以上あれば、そのブロックを優位ブロックとして、優位ブロックに対しては低い圧縮比で圧縮するように量子化選択回路401で制御する。

[従来方式1−3]従来方式1−3 として、米国特許第5121216号明細書の手法を説明する。

従来方式1−3では、入力画像ブロックに符号化による歪みを加えた時に、視覚的に知覚されやすいかどうかを判断し、知覚されやすい時には低い圧縮比で符号化する。また、知覚されにくい時には高い圧縮比で符号化する。これにより、人間視覚上は同一の画質で高い圧縮比を得ることができる。

従来方式1−3では、複雑な画像は歪みが知覚されにくいとして、圧縮率を高くしている。

以上の従来方式1において、画質は相対的なもので、画像を見る人間にとって、満足できるかどうかという、絶対的な主観画質は述べられてはいない。

[従来方式2]以上の従来方式は、入力画像信号と符号化方式のパラメタと画質との関係を示すものであり、画像の入力機器出力機器は固定されていた。従来方式2では入力機器、出力機器の性質が変化する場合の画質制御法について述べる。

従来方式2−1では入力機器の例、従来方式2−2では出力機器の例について述べる。

[従来方式2−1]従来方式2−1として、特開平7−177463号公報の手法を説明する。従来方式2−1では、撮像手段への入射光量を制御する絞り手段の絞り値に基づいてデータ圧縮手段の量子化テーブルを制御する。絞り値は、従来方式1で説明した物理量に相当する画像の性質を表す量であるため、画像を分析することなく量子化方式を制御できる。

図44を用いて従来方式2−1を説明する。図44は従来方式2−1の中から、本発明に関連する部分を抜き出し、書き直したたものである。図44において、411はレンズから入力された画像、412は入射光量を制限する絞り、419は入力された光信号を撮像、A/D変換、信号処理等を行ってディジタルデータに変換する光電変換部、414は絞り411の絞り量、415は絞り量414を基に圧縮比を選定する圧縮比選定部、413は圧縮比選定部415で選定された圧縮比で圧縮を行う圧縮処理部、418は圧縮データである。

図44において、絞り量414は、入力画像データの性質を良く表す物理量であり、図43の画像分析結果399に相当する。よって、圧縮比選定部415では、図43における量子化選択回路400と同様に、絞り量414から量子化テーブルを選定する。

具体的には、絞り値が所定の値より大である場合には、圧縮比を下げ、絞り値が所定の値より小である場合には、圧縮比を上げることにより画質を保証することができる。

[従来方式2−2]従来方式2−2として、特開平6−165148号公報の手法を説明する。

従来方式2−2では、画像通信を行う場合に、相手端末表示画面サイズね、その表示サイズに対して十分な画質を得ることのできるステップ幅で符号化を行う。これによって、小さな表示画面サイズを持つ相手端末の場合、表示画質を落とさずに高い圧縮比を得ることができるため、同一の回線速度では、動き情報を多く送ることができ、結果的に主観的画質が向上する。

相手端末の表示画面サイズとそれに適した量子化ステップ幅の関係は主観評価実験によって定める。すなわち、例えば図45に示されるように、表示画面サイズ毎に量子化ステップ幅を変化させて、MOS(Mean Opinion Score)と呼ばれる主観評価値を計測する。MOS尺度上で画質の保証値を定めて、その保証値となるステップ幅を各表示サイズ毎に求める。例えば、図45の例では、表示サイズ1の相手端末に伝送する場合には量子化ステップ幅1で符号化を行う。また、表示サイズ2の相手端末に伝送する場合には量子化ステップ幅2で符号化を行う。表示サイズ3の相手端末に伝送する場合には量子化ステップ幅3で符号化を行う。

なお、MOSは画像品質主観評価法の1つであり、各画像が複数の所定の品質カテゴリのいずれに属するかを評価者に判断してもらい、その平均点を求めるものである。

概要

分割された画質項目毎に、画質を測定することによって、入力画像の性質、出力機器の性質、入力機器の性質、画像符号化方式の性質等の様々な入力物理量を連続な媒介パラメタからなる空間にマッピングする。

入力画像性質入力手段152において入力画像性質153が画質予測手段160に入力される。画像出力性質入力手段155において画像出力性質156が画質予測手段160に入力される。画像符号化性質入力手段158において画像符号化性質159が画質予測手段160に入力される。画質予測手段は、入力画像性質152、画像出力性質155、画像符号化性質158から画質劣化項目別の画質を予測し、項目別画質161を出力する。総合画質予測手段163は1つ以上の項目別画質を基に総合予測画質164を予測する。

目的

そこで、本発明の目的は、複数の画質に影響を与える要素の物理量を計測し、それらの物理量から画質を制御することのできる画像制御装置を提供することにある。

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

入力される画像の画質劣化を起こさせる要因である画質劣化評価項目に対して影響がある入力画像性質を入力する入力画像性質入力手段と、非可逆符号化により画像圧縮された画像の画質劣化を起こさせる要因である画質劣化評価項目に対して影響がある画像圧縮の性質を入力する画像符号化性質入力手段と、出力される画像の画質劣化を起こさせる要因である画質劣化評価項目に対して影響がある出力装置の性質を入力する出力装置性質入力手段と、前記入画像性質入力手段により入力された入力画像性質、前記画像符号化性質入力手段により入力された画像圧縮性質および前記出力装置性質入力手段により入力された出力装置性質に応じて、画像の画質劣化評価項目に対する劣化度予測する画質劣化度予測手段とを複数の画質劣化評価項目毎に対して、各々備えた複数の項目画質予測手段と、前記複数の項目別画質予測手段の各々に含まれる前記画質劣化度予測手段により予測された評価画質に応じて総合的な評価画質を決定する総合画質予測手段とを具備することを特徴とする画質予測装置

請求項2

入力される画像の画質劣化を起こさせる要因である画質劣化評価項目に対して影響がある入力画像の性質を入力する入力画像性質入力手段と、非可逆符号化により画像圧縮された画像の画質劣化を起こさせる要因である画質劣化評価項目に対して影響がある画像圧縮の性質を入力する画像符号化性質入力手段と、出力される画像の画質劣化を起こさせる要因である画質劣化評価項目に対して影響がある出力装置の性質を入力する出力装置性質入力手段と、前記入力画像性質入力手段により入力された入力画像性質、前記画像符号化性質入力手段により入力された画像圧縮性質および前記出力装置性質入力手段により入力された出力装置性質に応じて、画質劣化評価項目に対する劣化度と画像圧縮における符号化パラメタの関係を決定する画質制御方式決定手段とを、複数の画質劣化評価項目毎に対して、各々備えた複数の項目別画質制御方式決定手段と、操作者が所望する画質を入力する所望画質入力手段と、前記複数の項目別画質制御方式決定手段の各々に含まれる前記画質制御方式決定手段により決定された評価画質と符号化パラメタの関係に応じて、前記所望画質入力手段により入力された所望の画質を達成すべき符号化パラメタを決定する総合画質制御手段とを具備することを特徴とする画質制御装置

技術分野

0001

本発明は、画像圧縮を行う時に復号画像画質を制御する技術および復号画像の画質を予測する技術に関するものである。

背景技術

0002

近年、画像を圧縮することによって、蓄積媒体の容量あるいは伝送時間を削減することが行われている。以下、画像符号化を画像圧縮と同じ意味で使用する。

0003

図41に示されるように、スキャナ等の画像入力機器あるいはコンピュータ等の画像生成機器プリンタ等の画像出力機器ネットワークで結ばれるシステムでは入力画像が圧縮され、伝送および蓄積される。近年このようなシステムで用いられる画像が高精細化カラー化し、大容量となっているため、画像の圧縮比を高めることが重要となる。

0004

画像圧縮方式は、可逆的なものと非可逆的なものとに分けられる。可逆的なものは圧縮した後、伸長すれば、元の画像を完全に復元できる。非可逆的な圧縮方式では、可逆的な圧縮方式よりも高い圧縮比を期待できるが、伸長しても完全には元に戻らず、画質の劣化を起こす。

0005

一般に、同一の符号化条件下であれば、画像圧縮を行う場合には圧縮比と画質とは反比例の関係にある。これは、非可逆的な圧縮法が画像の中の比較的視覚に影響しにくいと考えられる情報を捨てることによって高圧縮比を実現していることによる。このため、圧縮比が小さければ捨てる情報が少なく画質が良いが、圧縮比を大きくすると、捨てる情報が多くなり画質が劣化する。

0006

画像圧縮を行う時には、所定の画質を維持し、かつ、できるだけ高い圧縮比を実現することが望まれる。すなわち、許されるぎりぎりの画質になるように符号化画質を制御する必要がある。

0007

以下に、非可逆圧縮方式において符号化画質を制御する従来の技術を述べる。[従来方式1]従来方式1として、一般に画質を制御して入力画像全体の圧縮比を向上させる方式の従来例を述べる。

0008

入力画像はその内部で局所的に画像の性質が変化する場合がある。ある符号化方式で符号化した場合、画質劣化が目立ち易い画像部分と目立ちにくい画像部分がある。入力画像全体の画質を考慮すると、画質劣化が目立ちやすい画像部分の劣化を少なくするために全体の圧縮比を小さくする必要がある。

0009

そこで、入力画像をブロックに分割して、ブロック毎に画像劣化が目立ち易いが目立ちにくいかを判断し、目立ち易いブロックは圧縮比を低くするかあるいは量子化ステップ幅を狭くする。目立ち難いブロックは圧縮比を高くするかあるいは量子化ステップ幅を広くする。これにより、目立ち難い部分の圧縮比を上げることができるため、画質を一定にして全体の圧縮比を向上できる。

0010

例えば丸善「マルチメディア符号化の国際標準18〜43ページ」に記述されているようなJPEG(Joint Photograhic CodingExperts Group)方式に代表されるDCT(離散コサイン変換)を用いる方式の場合、入力画像ブロックの性質に適応した量子化マトリクスを用いることにより同じ画質で高い圧縮比を得ることができる。以下、図42を用いてDCT符号化方式を簡単に説明する。

0011

図42において、391は入力画像、392は入力画像391をブロック化するブロック化回路、393はブロック化された画像情報直交変換する直交変換回路、394は直交変換係数、395は直交変換係数394を量子化する量子化回路、396は量子化された直交変換係数を符号化する符号化回路、397は符号である。

0012

入力された画像情報391はブロック化回路392において矩形のブロックに切り出される。ブロック化された画像情報は直交変換回路393で直交変換され、直交変換係数394が出力される。直交変換係数394は量子化回路395で所定の量子化マトリクスによって量子化され、量子化された直交変換係数は符号化回路396で符号を割当てられ、符号397として出力される。

0013

図42に示されるような符号化方式では、全てのブロックで同一の量子化を行うため、歪みの出やすいブロックでは画質が劣化し、歪みの出にくいブロックでは視覚的に無駄な情報を符号化することになる。

0014

そこで、先に述べたように、画質劣化が目立ち易い画像部分と目立ちにくい画像部分で異なる量子化を行うことにより、同一画質で圧縮比を高める従来方式がある。この従来方式1を図43を用いて説明する。

0015

図43において、同一番号は図42と同一の構成である。また、図43において、398は画像ブロックの性質を分析する画像分析回路、399は画像分析回路398で分析された分析結果、400は分析結果399を基に量子化方法を選択する量子化選択回路、401は量子化選択回路400で選択された量子化方法である。

0016

以下、図43を用いて従来方式1の動作を説明する。

0017

ブロック化された画像情報は画像分析回路398に送られ、ブロック内の画像の性質が分析される。分析の方法は種々あり、以下の従来方式1−1および、従来方式1−2でその具体例を述べる。さらに、分析された分析結果399は量子化選択回路400に送られ、量子化方法401が選択される。DCT符号化方式では、量子化選択回路400では、分析結果399に最も適した量子化マトリクスが選択される。選択された量子化方法401は量子化回路395に送られ、この量子化方法401を用いて量子化回路395では量子化が行われる。他の構成手段の動作は図42における動作と同じである。

0018

以下、従来方式1の画質制御方式に関して、図43を用いて、従来方式1−1、従来方式1−2の2つの例を用いて具体的に説明する。図43は従来方式1−1および従来方式1−2の主要部分を抜き出して書き直したものである。

0019

[従来方式1−1]従来方式1−1として、特開平6−165149号公報の手法を説明する。従来方式1−1では、入力画像ブロックがここで用いられている符号化方式で符号化することに適しているか、適していないかを判断し、適している場合には高画質が期待できるため、高い圧縮比で符号化する。また、適していない場合には低い画質が予想されるため画質を高めるため低い圧縮比で符号化する。

0020

例えば、従来方式1−1では図43の画像分析回路398において、ブロック毎にモスキートノイズの出やすさを示す物理量399を計測する。さらに、この物理量399に応じて量子化選択回路400で量子化パラメタを選択することで同じ画質における圧縮比を向上させている。これは、モスキートノイズが発生しやすいブロックでは符号量が大きくなるように制御し、モスキートノイズが発生しにくいブロックでは符号量が小さくなるように制御することによって同じ画質で高い圧縮比を得るようにしたものである。

0021

具体的には、従来方式1−1において画像分析回路398では、ブロック内の各画素について、3×3の窓をかけ、中心画素の周囲の画素について各々隣接する画素との階調レベル差の絶対値の平均値を求め、該平均値と、ブロック内の階調レベル信号のレンジ幅との比率が所定の閾値以下である画素数を算出し、該画素数が前期ブロック内に所定個数以上あるか否かによってモスキートノイズが出やすいか出にくいかを判定する。

0022

[従来方式1−2]従来方式1−2として、特開平7−135671号公報の手法を説明する。従来方式1−2では、入力画像ブロックが視覚的に重要であるか、重要ではないかを判断し、重要である場合には高画質が望まれるため、低い圧縮比で符号化する。また、重要ではない場合には低い画質でも構わないため高い圧縮比で符号化する。

0023

従来方式1−2では、図43の画像分析回路398において、ブロック内の赤色の彩度が高い画素数399を検出する。赤色の情報が人間の視覚にとって重要であるため、赤色の彩度が高い画素数399が大である場合は、量子化選択回路400でブロックの圧縮比が小さくなるような量子化マトリクスを選択する。赤色の彩度が高い画素数399が小である場合は、量子化選択回路400でブロックの圧縮比が大きくなるような量子化マトリクスを選択する。

0024

具体的には、従来方式1−2においては、ブロック化回路392において、入力画像信号輝度信号であるY信号色差信号R−Y信号、および、色差信号B−Y信号をブロック化する。画像分析回路398では、R−Y信号が所定の閾値より高い画素を赤色の彩度が高いと判断する。各画素について高い赤色の彩度が高いかどうかを検査し、赤色の彩度が高い画素数が所定個数以上あれば、そのブロックを優位ブロックとして、優位ブロックに対しては低い圧縮比で圧縮するように量子化選択回路401で制御する。

0025

[従来方式1−3]従来方式1−3 として、米国特許第5121216号明細書の手法を説明する。

0026

従来方式1−3では、入力画像ブロックに符号化による歪みを加えた時に、視覚的に知覚されやすいかどうかを判断し、知覚されやすい時には低い圧縮比で符号化する。また、知覚されにくい時には高い圧縮比で符号化する。これにより、人間視覚上は同一の画質で高い圧縮比を得ることができる。

0027

従来方式1−3では、複雑な画像は歪みが知覚されにくいとして、圧縮率を高くしている。

0028

以上の従来方式1において、画質は相対的なもので、画像を見る人間にとって、満足できるかどうかという、絶対的な主観画質は述べられてはいない。

0029

[従来方式2]以上の従来方式は、入力画像信号と符号化方式のパラメタと画質との関係を示すものであり、画像の入力機器出力機器は固定されていた。従来方式2では入力機器、出力機器の性質が変化する場合の画質制御法について述べる。

0030

従来方式2−1では入力機器の例、従来方式2−2では出力機器の例について述べる。

0031

[従来方式2−1]従来方式2−1として、特開平7−177463号公報の手法を説明する。従来方式2−1では、撮像手段への入射光量を制御する絞り手段の絞り値に基づいてデータ圧縮手段の量子化テーブルを制御する。絞り値は、従来方式1で説明した物理量に相当する画像の性質を表す量であるため、画像を分析することなく量子化方式を制御できる。

0032

図44を用いて従来方式2−1を説明する。図44は従来方式2−1の中から、本発明に関連する部分を抜き出し、書き直したたものである。図44において、411はレンズから入力された画像、412は入射光量を制限する絞り、419は入力された光信号を撮像、A/D変換、信号処理等を行ってディジタルデータに変換する光電変換部、414は絞り411の絞り量、415は絞り量414を基に圧縮比を選定する圧縮比選定部、413は圧縮比選定部415で選定された圧縮比で圧縮を行う圧縮処理部、418は圧縮データである。

0033

図44において、絞り量414は、入力画像データの性質を良く表す物理量であり、図43画像分析結果399に相当する。よって、圧縮比選定部415では、図43における量子化選択回路400と同様に、絞り量414から量子化テーブルを選定する。

0034

具体的には、絞り値が所定の値より大である場合には、圧縮比を下げ、絞り値が所定の値より小である場合には、圧縮比を上げることにより画質を保証することができる。

0035

[従来方式2−2]従来方式2−2として、特開平6−165148号公報の手法を説明する。

0036

従来方式2−2では、画像通信を行う場合に、相手端末表示画面サイズね、その表示サイズに対して十分な画質を得ることのできるステップ幅で符号化を行う。これによって、小さな表示画面サイズを持つ相手端末の場合、表示画質を落とさずに高い圧縮比を得ることができるため、同一の回線速度では、動き情報を多く送ることができ、結果的に主観的画質が向上する。

0037

相手端末の表示画面サイズとそれに適した量子化ステップ幅の関係は主観評価実験によって定める。すなわち、例えば図45に示されるように、表示画面サイズ毎に量子化ステップ幅を変化させて、MOS(Mean Opinion Score)と呼ばれる主観評価値を計測する。MOS尺度上で画質の保証値を定めて、その保証値となるステップ幅を各表示サイズ毎に求める。例えば、図45の例では、表示サイズ1の相手端末に伝送する場合には量子化ステップ幅1で符号化を行う。また、表示サイズ2の相手端末に伝送する場合には量子化ステップ幅2で符号化を行う。表示サイズ3の相手端末に伝送する場合には量子化ステップ幅3で符号化を行う。

0038

なお、MOSは画像品質主観評価法の1つであり、各画像が複数の所定の品質カテゴリのいずれに属するかを評価者に判断してもらい、その平均点を求めるものである。

発明が解決しようとする課題

0039

従来方式1においては、入力画像の物理量を計測し、その物理量に適応した符号化パラメタで符号化を行う。また、従来方式2においては、入力機器あるいは出力機器の状態を物理量として計測し、その状態に適応した符号化パラメタで符号化を行う。これらの従来方式では、計測を行う物理量は限定されている。すなわち、従来方式1では入力画像の特徴量の計測値のみに限定されている。また、従来方式2では、入力機器あるいは出力機器の特徴量の計測値のみに限定されている。

0040

しかしながら、実際の画質に影響を与える要素は、限定されるものではない。従来方式に述べたように、入力画像の性質、入力機器の性質、あるいは、出力機器の性質等様々ある。さらに、従来方式では述べてはいないが、画像符号化方式の性質によっても、画質に影響を与える。

0041

従来方式では、入力された1次元の物理量に対し、1対1に対応するように画像符号化パラメタを与える方式を採用している。その他の画質に影響を与える要素は固定して考えている。そのため、複数の物理量が入力された場合に適切な符号化パラメタを与える仕組みとはなっていない。

0042

画質は人間の視覚特性に依存し、画質に影響を与える要素それぞれが独立に変化した場合の画質は非線形に変化する。そのため、実際に主観評価実験を行ってはいない物理量に対する画質を予測することが困難である。この理由により従来は1次元の物理量のみによる画質制御を行ってきたと考えられる。

0043

以上の理由により、様々な上記の画質に影響を与える要素の性質を加味した画質制御を行うことができなかった。

0044

そこで、本発明の目的は、複数の画質に影響を与える要素の物理量を計測し、それらの物理量から画質を制御することのできる画像制御装置を提供することにある。

課題を解決するための手段

0045

発明の原理的な説明を最初に行う。なお以下、出力画像提示されたときに人間が画像全体を見て感じる画質を総合画質とする。

0046

まず、画質の劣化の状態を複数の項目に分割する。この画質劣化項目は比較的容易に計測可能な項目とする。総合画質は様々な要因が重なっており、主観評価によってのみ計測可能であるが、画質劣化項目毎の画質は容易に計測できる。この複数の画質劣化項目毎の画質を総合して、総合画質を決定する。

0047

さらに、複数の項目に画質劣化項目を分割することによって、入力画像の性質、出力機器の性質、入力機器の性質、画像符号化方式の性質等の様々な入力物理量を一旦連続な媒介パラメタに変換する。これらの媒介パラメタからなる空間は、画質が連続に変化するような空間とすることができる。

0048

この空間内の画質は連続であるので、格子上に画質を計測しておけば、媒介パラメタからなる点から補間等により、画質劣化項目別の画質を予測することが可能となる。

0049

以上のように、本発明は、分割された画質項目毎に、入力画像の性質、出力機器の性質、入力機器の性質、画像符号化方式の性質等の様々な入力物理量を連続な媒介パラメタに変換し、複数の媒介パラメタから該画質項目の画質を予測し、複数の画質項目毎の画質から、総合画質を予測するものである。

0050

つぎに本発明をさらに詳細に説明する。

0051

本発明の第1の側面によれば、画質予測装置が、入力される画像の画質劣化を起こさせる要因である画質劣化評価項目に対して影響がある入力画像の性質を入力する入力画像性質入力手段と、非可逆符号化により画像圧縮された画像の画質劣化を起こさせる要因である画質劣化評価項目に対して影響がある画像圧縮の性質を入力する画像符号化性質入力手段と、出力される画像の画質劣化を起こさせる要因である画質劣化評価項目に対して影響がある出力装置の性質を入力する出力装置性質入力手段と、前記入画像性質入力手段により入力された入力画像性質、前記画像符号化性質入力手段により入力された画像圧縮性質および前記出力装置性質入力手段により入力された出力装置性質に応じて、画像の画質劣化評価項目に対する劣化度を予測する画質劣化度予測手段とを複数の画質劣化評価項目毎に対して、各々備えた複数の項目別画質予測手段と、前記複数の項目別画質予測手段の各々に含まれる前記画質劣化度予測手段により予測された評価画質に応じて総合的な評価画質を決定する総合画質予測手段とを具備するようにしている。

0052

この構成においても、分割された画質項目毎に、入力画像の性質、出力機器の性質、入力機器の性質、画像符号化方式の性質等の様々な入力物理量を連続な媒介パラメタに変換し、複数の媒介パラメタから該画質項目の画質を予測し、複数の画質項目毎の画質から、総合画質を予測することができる。

0053

また、この構成において、さらに、前記複数の項目別画質予測手段の各々は、入力画像性質、画像圧縮性質および出力装置性質により定まり、画質劣化評価項目毎に予め評価実験により求められた評価画質が記憶されているメモリとを具備し、前記画質劣化度予測手段は、前記メモリに記憶されている評価画質を、前記入力画像性質入力手段により入力された入力画像性質、前記画像符号化性質入力手段により入力された画像圧縮性質および前記出力装置性質入力手段により求められた出力装置性質を用いて取り出すようにすることができる。

0054

前記画質劣化度予測手段は、前記入力画像性質入力手段により入力された入力画像性質、前記画像符号化性質入力手段により入力された画像圧縮性質および前記出力装置性質入力手段により求められた出力装置性質に対応する前記メモリに記憶されている評価画質がなかった場合は、前記入力画像性質入力手段により入力された入力画像性質、前記画像符号化性質入力手段により入力された画像圧縮性質および前記出力装置性質入力手段により求められた出力装置性質に近傍する値を用いて、前記メモリに記憶されている評価画質評価画質と画像圧縮における符号化パラメタの関係を取り出すようにすることができる。

0055

また、本発明の第2の側面によれば、画質制御装置が、入力される画像の画質劣化を起こさせる要因である画質劣化評価項目に対して影響がある入力画像の性質を入力する入力画像性質入力手段と、非可逆符号化により画像圧縮された画像の画質劣化を起こさせる要因である画質劣化評価項目に対して影響がある画像圧縮の性質を入力する画像符号化性質入力手段と、出力される画像の画質劣化を起こさせる要因である画質劣化評価項目に対して影響がある出力装置の性質を入力する出力装置性質入力手段と、前記入力画像性質入力手段により入力された入力画像性質、前記画像符号化性質入力手段により入力された画像圧縮性質および前記出力装置性質入力手段により入力された出力装置性質に応じて、画質劣化評価項目に対する劣化度と画像圧縮における符号化パラメタの関係を決定する画質制御方式決定手段とを、複数の画質劣化評価項目毎に対して、各々備えた複数の項目別画質制御方式決定手段と、操作者が所望する画質を入力する所望画質入力手段と、前記複数の項目別画質制御方式決定手段の各々に含まれる前記画質制御方式決定手段により決定された評価画質と符号化パラメタの関係に応じて、前記所望画質入力手段により入力された所望の画質を達成すべき符号化パラメタを決定する総合画質制御手段とを具備するようにしている。

0056

この構成においても、分割された画質項目毎に、入力画像の性質、出力機器の性質、入力機器の性質、画像符号化方式の性質等の様々な入力物理量を連続な媒介パラメタに変換し、複数の媒介パラメタから該画質項目の画質制御方式を決定し、複数の画質制御方式から、総合的に画質を制御することができる。

0057

この構成において、さらに、前記複数の項目別画質制御方式決定手段の各々は、入力画像性質、画像圧縮性質および出力装置性質により定まり、画質劣化評価項目毎に予め評価実験により求められた評価画質と画像圧縮における符号化パラメタの関係が記憶されているメモリとを具備し、前記画質制御方式決定手段は、前記メモリに記憶されている評価画質と画像圧縮における符号化パラメタの関係を、前記入力画像性質入力手段により入力された入力画像性質、前記画像符号化性質入力手段により入力された画像圧縮性質および前記出力装置性質入力手段により求められた出力装置性質を用いて取り出すようにしてもよい。

0058

また、前記画質制御方式決定手段は、前記入力画像性質入力手段により入力された入力画像性質、前記画像符号化性質入力手段により入力された画像圧縮性質および前記出力装置性質入力手段により求められた出力装置性質に対応する前記メモリに記憶されている評価画質と画像圧縮における符号化パラメタの関係がなかった場合は、前記入力画像性質入力手段により入力された入力画像性質、前記画像符号化性質入力手段により入力された画像圧縮性質および前記出力装置性質入力手段により求められた出力装置性質に近傍する値を用いて、前記メモリに記憶されている評価画質と画像圧縮における符号化パラメタの関係を取り出すようにしてもよい。

0059

また、さらに、入力される画像を分析する入力画像分析手段と、前記入力画像分析手段により分析された結果に応じて、画質劣化評価項目に対する影響度を算出する入力画像画質影響度算出手段とを具備し、前記入力画像性質入力手段は、前記入力画像画質影響度算出手段により算出された影響度を入力するようにしてもよい。

0060

また、前記入力画像分析手段は、分析する入力画像の性質として、その入力画像の画素値種類数周辺画素画素値変化、低域と高域周波数の信号の電力、ある一定の画像をある一定の符号化方式で符号化し、その画像をある一定の出力装置で出力した場合の画質のいずれか1つ以上を含むようにできる。

0061

また、前記出力装置性質入力手段は、出力装置の性質としてその出力装置の解像度階調数周波数伝達特性ドット形状ドット印字精度、網点線数網点形状トーンカーブコントラスト、ある一定の画像をある一定の符号化方式で符号化した場合の画質のいずれか1つ以上を含むようにしてもよい。

0062

また、前記画像符号化性質入力手段は、画像圧縮の性質としてその画像圧縮の際のブロッキング手法、量子化特性、周波数伝達特性、サブサンプリング手法補間手法変換手法、ある一定の画像をある一定の出力装置で出力した場合の画質のいずれか1つ以上を含むようにしてもよい。

0063

また、前記入力画像性質入力手段は、入力画像の性質として、その入力画像を一定の符号化方式で符号化し一定の出力装置で出力した場合の画質、画像入力装置の性質である、入力カメラの絞り情報、画素密度、画素サイズ、量子化ビット数のいずれか1つ以上を含むようにしてもよい。

0064

なお、以上の説明において、画像の画質評価または画質劣化評価項目に対する画質または画質劣化度とは、その画像のぼけエッジビジネス等に対して観察者が感じる主観評価画質の値のほか、物理量としての計測可能な客観的な評価画質の値も含まれる。

0065

以下本発明の実施例について説明する。

0066

[実施例1]画質は、一般に入力画像の性質、画像出力装置の性質、画像符号化方式の性質に依存する。実施例1の画質予測装置は、上記の各性質に依存しない値に変換した空間上で画質を予測するものである。また、上記のように画像の入出力、および符号化方式に依存しない空間を実現するために、画質を複数の画質劣化項目に分割することによって表すものである。なお画像の画質評価または画質劣化評価項目に対する画質または画質劣化度とは、その画像のぼけ、エッジビジネス等に対して観察者が感じる主観評価画質の値のほか、物理量としての計測可能な客観的な評価画質の値も含まれる。

0067

以下、図1図2および図3を用いて実施例1を説明する。

0068

図1は、実施例1の画質予測装置を全体として示すものであり、図1において、画質予測装置は複数の項目別画質予測手段101a〜101nおよび総合画質予測手段102からなっている。項目別画質予測手段101a〜101nには、対応する入力画像性質103、画像出力性質104および画像符号化性質105が入力されている。それぞれの項目別画質予測手段101a〜101nは、対応する入力画像性質103、画像出力性質104および画像符号化性質105に基づいて項目別の画質を予測し、項目別予測画質106a〜106nを出力する。総合画質予測手段102は項目別予測画質106a〜106nに基づいて総合画質107を出力する。

0069

図2は項目別画質予測手段101(101a〜101n)の構成を示すものであり、この図において、項目別画質予測手段101は入力画像性質空間配置手段108、画像出力性質空間配置手段109、画像符号化性質空間配置手段110および画質予測手段111からなっている。入力画像性質空間配置手段108、画像出力性質空間配置手段109および画像符号化性質空間配置手段110は、それぞれ入力画像性質103、画像出力性質104および画像符号化性質105に基づいて、入力画像性質空間内位置112、画像出力性質空間内位置113および画像符号化性質空間内位置114を算出して出力する。画質予測手段111はこれら入力画像性質空間内位置112、画像出力性質空間内位置113および画像符号化性質空間内位置114に基づいて項目別予測画質106を出力する。

0070

図3は画質劣化項目別の入力画像性質空間、画像出力性質空間、画像符号化性質空間を例示したものである。図3では説明を簡単化するために、各空間は1次元であるとして図示している。

0071

図1および図2において、ブロック歪み、ぼけ等の画像劣化項目毎に、その画質劣化の起こりやすさである入力画像性質103が入力画像性質空間配置手段108に入力される。入力画像性質空間配置手段108では、図3の入力画像性質の点に入力画像性質を配置し、入力画像性質空間内位置112を出力する。入力画像性質112とは、例えば、エッジの量、ある周波数の信号電力等である。

0072

同様に、出力画像性質104と、画像符号化性質105も、画像劣化項目毎に、その画質劣化の視覚に対する起こりやすさとして、画像出力性質空間および画像符号化性質空間に配置され、画像出力性質空間内位置113、画像符号化性質空間内位置114が出力される。画像出力性質104とは例えば、プリンタの出力解像度等、画像符号化性質105とは例えば、DCT係数の量子化マトリクス等である。

0073

入力画像性質空間、画像出力性質空間、画像符号化性質空間は、それぞれ連続であるようにとる。

0074

入力画像性質空間の次元数がA、画像出力性質空間の次元数がB、画像符号化性質空間の次元数がCとすると、各空間を部分空間とする(A+B+C)次元の空間を張ることができる。この空間内の各点について画質を計測することができる。以下、この(A+B+C)次元の空間を項目別画質空間と呼ぶ。

0075

画質予測手段111は、項目別の画質値を予測し、項目別予測画質106を出力する。すなわち、予め、図3の項目別画質空間内の格子点上の画質を計測しておく。入力画像性質空間、画像出力性質空間、画像符号化性質空間は、それぞれ、該画質劣化項目の画質劣化の起こりやすさとして定義されているため、入力画像、画像出力手段、画像符号化方式に対して非依存である。入力画像性質空間、画像出力性質空間、画像符号化性質空間は、それぞれ連続であることから、項目別画質空間内の画質は連続であると仮定して、予め計測してあった格子点上の画質評価値を用いて画質の予測を行う。

0076

画質を項目別に分けることにより、項目別画質空間の次元数を減少させることができる。

0077

このようにして得た項目別予測画質106は、総合画質予測手段102に入力され、総合画質107が求められる。

0078

なお、入力画像の性質は、画像入力機器の性質によって定められる場合がある。例えば入力カメラの絞り情報等である。また、入力画像の性質は入力画像を分析して求めてもよい。例えば、エッジの量、所定の周波数の信号電力等を分析してもよい。

0079

また項目別画質空間内の画質を予め測定する場合には、測定点の数はできるだけ少ないほうが良い。そのため、各入力画像性質空間、画像出力性質空間、画像符号化性質空間の次元数はできるだけ小さくする方がよい。

0080

また各入力画像性質空間、画像出力性質空間、画像符号化性質空間の次元数を1とするように、画像劣化項目を細分化する方がよい。このようにすると、事前の主観評価が簡易となる。例えば、画像の濃度値毎に、画像劣化項目を計測することにより、空間の次元を減少させることが可能である。

0081

また総合画質予測手段102は、項目別の予測画質106の最低値を総合画質107として用いたり、項目別の予測画質106の線形和を総合画質107として用いることができる。

0082

また、画像出力性質としては、画像出力の解像度や階調数がある。また画像出力性質として出力装置に関する情報、例えば、出力装置の種類や出力装置の識別情報を入力するようにして間接的に画像出力性質を特定してもよい。出力装置の種類には例えば、ゼログラフィ方式のプリンタ、銀塩写真方式のプリンタ、オフセット方式のプリンタ、CRTディスプレイLCDディスプレイ等の種類が含まれる。出力装置の識別情報には各メーカの装置名や装置番号が含まれる。

0083

[実施例2]つぎに実施例2について説明する。実施例1においては、入力画像性質と、画像出力性質と、画像符号化性質とから、出力画像の画質を予測した。実施例2においては、入力画質性質と、画像出力性質と、画像符号化パラメタを抜いた画像符号化性質とから、出力画像の画質と画像符号化パラメタの関係を予測する。これにより、指定した画質で符号化を行うことが可能となる。

0084

以下、図4図5図6および図7を用いて実施例2を説明する。

0085

図4は実施例2の画質制御装置を全体として示すものであり、この図において図1と対応する箇所には対応する符号を付す。図4において、画質制御装置は、項目別画質制御方式決定手段121a〜121nおよび総合画質制御手段122からなっている。項目別画質制御方式決定手段121a〜121nには、対応する入力画像性質103、画像出力性質104および画像符号化性質105(符号化パラメタを抜いたもの)が入力されている。それぞれの項目別画質制御方式決定手段121a〜121nは、対応する入力画像性質103、画像出力性質104および画像符号化性質105に基づいて画像制御方式123a〜123nを出力する。総合画質制御手段122は画像制御方式123a〜123nに基づいて総合的な符号化パラメタ124を決定し出力する。

0086

図5は項目別画質制御方式決定手段121(121a〜121n)の構成を示すものであり、この図において図2と対応する箇所には対応する符号を付す。図5において、項目別画質制御方式決定手段121は入力画像性質空間配置手段108、画像出力性質空間配置手段109、画像符号化性質空間配置手段110および画質制御方式決定手段125からなっている。入力画像性質空間配置手段108、画像出力性質空間配置手段109および画像符号化性質空間配置手段110は、それぞれ入力画像性質103、画像出力性質104および画像符号化性質105に基づいて、入力画像性質空間内位置112、画像出力性質空間内位置113および画像符号化性質空間内位置114を算出して出力する。画質制御方式決定手段111はこれら入力画像性質空間内位置112、画像出力性質空間内位置113および画像符号化性質空間内位置114に基づいて画質制御方式123を出力する。

0087

図6に示されるように、一部の画像符号化パラメタを抜いた画像符号化性質と、入力画像性質と画像出力性質は項目別画質空間に配置される。ここでは、項目別画質空間は、図7に示されるように、符号化パラメタと画質との関係を示す。

0088

総合画質制御手段122では、各画質劣化項目毎に所望の画質を得ることのできる符号化パラメタを求め、さらに、全体で所望の画質を求めることのできる符号化パラメタを求める。

0089

なお、この実施例においても、入力画像の性質は、画像入力機器の性質によって定められる場合がある。例えば入力カメラの絞り情報等である。また、入力画像の性質は入力画像を分析して求めてもよい。例えば、エッジの量、ある周波数の信号電力等を分析してもよい。

0090

また項目別画質空間内の画質を予め測定する場合には、測定点の数はできるだけ少ないほうが良い。そのため、各入力画像性質空間、画像出力性質空間、画像符号化性質空間の次元数はできるだけ小さくする方がよい。

0091

また各入力画像性質空間、画像出力性質空間、画像符号化性質空間の次元数を1とするように、画像劣化項目を細分化する方がよい。このようにすると、事前の主観評価が簡易となる。例えば、画像の濃度値毎に、画像劣化項目を計測することにより、空間の次元を減少させることが可能である。

0092

また、総合画質制御手段122は、画質制御方式決定手段121a〜121nで決定された、画質と符号化パラメタとの関係を基に、所望の画質を満たす符号化パラメタのうち最も圧縮比の小さくなるものを最終的な符号化パラメタとするようにしてもよい。

0093

また、画像出力性質としては、画像出力の解像度や階調数がある。また画像出力性質として出力装置に関する情報、例えば、出力装置の種類や出力装置の識別情報を入力するようにして間接的に画像出力性質を特定してもよい。出力装置の種類には例えば、ゼログラフィ方式のプリンタ、銀塩写真方式のプリンタ、オフセット方式のプリンタ、CRTディスプレイ、LCDディスプレイ等の種類が含まれる。出力装置の識別情報には各メーカの装置名や装置番号が含まれる。

0094

[実施例3]実施例3は、画像出力装置が変化した場合に画質を制御できるようにした画像符号化装置である。

0095

図8はこの実施例の構成を示しており、この図において、131は入力画像、132は入力画像131をブロック状に分割する画像分割手段、133は分割画像を変換する変換手段、134は変換係数、135は変換係数134を量子化する量子化手段、136は量子化された変換係数を符号化する符号化手段、137は符号、138は分割画像を分析して入力画像性質を出力する画像分析手段、139は入力画像性質、140は量子化選択手段、141は選択された量子化方法、142は画像出力性質出力手段、143は画像出力性質である。

0096

入力画像131は画像分割手段132でブロックに分割され、変換手段133で変換係数134に変換される。さらにブロックに分割された画像は画像分析手段138で分析され、入力画像性質139として量子化選択手段140に送られる。さらに、画像出力性質出力手段142では画像出力性質143を出力し、量子化選択手段140に送る。

0097

量子化選択手段140は、図4における項目別画質制御方式決定手段121と、総合画質制御手段124からなり、所定の画質となる符号化パラメタである量子化方式を選択する。

0098

量子化手段135では選択された量子化方式で変換係数134を量子化し、符号化手段136で符号137が出力される。

0099

なお、変換手段133は例えば離散コサイン変換や、近傍の画素値から符号化画素値を予測する予測方式を採用することができる。

0100

また、画像出力性質143として、実効階調数出力周波数特性を用いることができる。

0101

また、画像分析手段138は、例えば入力画像のライン幅や入力画像の電力スペクトルを検出するものである。

0102

[実施例4]実施例4は、画像符号化性質が変化した場合に画質を制御できるようにした画像符号化装置である。図9はこの実施例の構成を示している。この実施例においては、画像符号化性質出力手段144が画像符号化性質145を出力し、これに基づいて量子化方式が決定されるようになっている。図9において、画像出力性質出力手段142が、画像符号化性質出力手段144になり、画像出力性質143が画像符号化性質145に変わった以外は図8の実施例3と同じであり、詳細な説明は省略する。

0103

[実施例5]実施例5は実施例1の画像予測手段111の具体的な構成を実現するものである。図10はこの構成例を示しており、この図において、146はアドレス計算手段、147はアドレス、148は画質蓄積手段である。画質蓄積手段148には、画質が蓄積されている。画質の蓄積されているアドレス147は、入力画質性質空間内位置112と、画層出力性質空間内位置113と、画像符号化性質空間内位置114から求めることができる。アドレス計算手段146はこのアドレス147を計算し、画質蓄積手段148に伝送する。画質蓄積手段148はアドレス147に対応した予測画質106を出力する。

0104

[実施例6]実施例6は実施例2の画質制御方式決定手段125の具体的な構成を実現するものである。図11はこの構成例を示しており、この図において、149は画質制御方式蓄積手段である。図10における画質蓄積手段148が予測画質106を出力するのに対し、図11における画質制御方式蓄積手段149は画質制御方式123を出力する。

0105

[実施例7]つぎに実施例7の画質予測装置について説明する。図12は、実施例7の画質予測装置を全体として示すものであり、図13は項目別画質予測手段162の構成を示している。図12および図13において、152は入力画像性質入力手段、153は入力画像性質、155は画像出力性質入力手段、156は画像出力性質、158は画像符号化性質入力手段、159は画像符号化性質、160は画質予測手段、161は予測された項目別画質、162は項目別画質予測手段、163は総合画質予測手段、164は予測画質である。

0106

図14は画質予測手段160の構成を示しており、この図において、171は画質記憶手段、172は記憶されている画質、173は画質記憶手段内のアドレス、174は画質計算手段である。

0107

図15は入力画像性質入力手段152の構成を示しており、図15において、153は入力画像性質、181は入力画像、182は画像分析手段、183は入力画像分析結果、184は入力画像画質影響度算出手段である。

0108

図16は画像出力性質入力手段155の構成を示しており、この図において、156は画像出力性質、191は画像出力装置状態、192は画像出力画質影響度蓄積手段、193は画像出力画質影響度、194は画像出力画質影響度算出手段である。

0109

図17は画像符号化性質入力手段158の構成を示しており、この図において、159は画像符号化性質、201は画像符号化パラメタ状態、202は画像符号化画質影響度蓄積手段、203は画像符号化画質影響度、204は画像符号化画質影響度算出手段である。

0110

図13を参照する。入力画像性質入力手段152において入力画像性質153が画質予測手段160に入力される。また、画像出力性質入力手段155において画像出力性質156が画質予測手段160に入力される。さらに、画像符号化性質入力手段158において画像符号化性質159が画質予測手段160に入力される。画質予測手段は、入力画像性質152、画像出力性質155、画像符号化性質158から画質劣化項目別の画質を予測し、項目別画質161を出力する。総合画質予測手段163は1つ以上の項目別画質を基に総合予測画質164を予測する。

0111

図15の入力画像性質入力手段152内では、画像分析手段182が入力画像181の分析を行い、入力画像分析結果183を入力画像画質影響度算出手段184に入力し、入力画像画質影響度算出手段184の出力である入力画像画質影響度を入力画像性質153として出力する。

0112

図16の画像出力性質性質入力手段155内では、入力される画像出力装置状態191に従って画像出力画質影響度蓄積手段192が画像出力画質影響度193を画像出力画質影響度算出手段194に1回または複数回入力し、画像出力画質影響度算出手段194において1つまたは複数の画像出力画質影響度から新たに算出した画像出力画質影響度を画像出力性質156として出力する。

0113

図17の画像符号化性質入力手段158内では、入力される画像符号化パラメタ状態201に従って画像符号化画質影響度蓄積手段202が画像符号化画質影響度203を画像符号化画質影響度算出手段204に1回または複数回入力し、画像符号化画質影響度算出手段204において1つまたは複数の画像符号化画質影響度から新たに算出した画像符号化画質影響度を画像符号化性質159として出力する。

0114

図14の画質予測手段160内では、画質計算手段174が、入力画像性質153、画像出力性質156、画像符号化性質159から最も近いと思われる1つ以上のアドレス173を計算し、画質記憶手段171に送り、画質記憶手段171は画質172を画質計算手段174に送る。画質計算手段174は送られた画質172を基に画質161を計算する。

0115

[実施例8]つぎに実施例8の画質制御装置について説明する。図18は実施例8の画質制御装置を全体として示しており、図19は項目別画質制御方式決定手段222の構成を示している。図18および図19において、152は入力画像性質入力手段、153は入力画像性質、155は画像出力性質入力手段、156は画像出力性質、158は画像符号化性質入力手段、159は画像符号化性質、211は希望画質入力手段、212は希望画質、220は画質制御方式決定手段、221は項目別画質制御方式、222は項目別画質制御方式決定手段、223は総合画質制御手段、224は符号化パラメタである。

0116

図20は画質制御方式決定手段220の構成を示しており、この図において、231は画質制御方式記憶手段、232は記憶されている画質制御方式、233は画質制御方式記憶手段231内のアドレス、234は画質制御方式計算手段である。

0117

図21は、入力画像性質入力手段152の構成を示しており、この図において、152は入力画像性質入力手段、153は入力画像性質、241は画像入力装置状態、242は入力画像画質影響度蓄積手段、243は入力画像画質影響度、244は入力画質影響度算出手段である。

0118

図18および図19を参照する。入力画像性質入力手段152において入力画像性質153が画質制御方式決定手段220に入力される。また、画像出力性質入力手段155において画像出力性質156が画質制御方式決定手段220に入力される。さらに、画像符号化性質入力手段158において画像符号化性質159が画質制御方式決定手段220に入力される。画質制御方式決定手段220は、入力画像性質152、画像出力性質155、画像符号化性質158から画質劣化項目別の画質制御方式を決定し、項目別画質制御方式221を出力する。総合画質制御手段223は個々の項目別画質制御方式と、希望画質212から個々の項目別画質における希望画質を満たす符号化パラメタを決定し、さらに総合画質を満たす符号化パラメタ164を決定する。

0119

図21の入力画像性質入力手段152内では、入力される画像入力装置状態241に従って入力画像画質影響度蓄積手段242が入力画像画質影響度243を入力画像画質影響度算出手段244に1回または複数回入力し、入力画像画質影響度算出手段244において1つまたは複数の入力画像画質影響度から新たに算出した入力画像画質影響度を画像出力性質156として出力する。

0120

画像出力性質入力手段155、および、画像符号化性質入力手段158内は実施例7と同様である。

0121

図20の画質制御方式決定手段220内では、画質制御方式計算手段234が、入力画像性質152、画像出力性質155、画像符号化性質158から最も近いと思われる1つ以上のアドレス233を計算し、画質制御方式記憶手段231に送り、画質制御方式記憶手段231は画質制御方式232を画質制御方式計算手段234に送る。画質制御方式計算手段234は送られた画質制御方式232を基に画質制御方式221を決定する。

0122

[実施例9]つぎに本発明をより具体的に実現した実施例9について説明する。本実施例では、符号化方式はJPEGで、入力画像を部分毎に分析して入力画像の性質を調べる。また、画質劣化項目は、エッジビジネスと、ぼけの2種類を設け、エッジビジネスおよび、ボケそれぞれに対する劣化の出やすさ(影響度)を出力機器(プリンタ)、画像符号化方式(量子化マトリクス)、入力画像性質についてそれぞれ1次元にマッピングする例について説明を行う。ここで、エッジビジネスとは、エッジの幅が広くなったり狭くなったりしてジャギーとなる歪みを指す。ボケとは、高周波数の信号が抑圧されてボケて見える歪みを指す。

0123

この実施例の特徴は、ある入力ブロックに対して、プリンタ種類と、量子化マトリクスが入力された時に、その入力ブロックのプリンタ出力時の画質を予測することである。

0124

図22は、実施例9を全体として示すものであり、この図において、251は入力画像、252は入力画像をブロック化するブロック化回路、253はブロック化された画像をDCT変換するDCT変換回路、254はDCT変換係数を量子化する量子化回路、255は量子化された変換係数に符号を割当てる符号化回路、256は符号である。さらに、257は入力画像をブロック化したブロック画像、258はブロック画像257のエッジビジネス影響度を判定するエッジビジネス影響度判定回路、259はブロック画像257のボケ影響度を判定するボケ影響度判定回路、260は入力画像エッジビジネス影響度、261は入力画像ボケ影響度、262はプリンタ性能を入力するプリンタ性能入力回路、263はプリンタ性能、264は出力装置エッジビジネス影響度を判定する出力装置エッジビジネス度、265は出力装置のボケ影響度を判定する出力装置ボケ影響度、266は出力装置エッジビジネス影響度、267は出力装置ボケ影響度、268は量子化マトリクスを量子化回路254に入力する量子化マトリクス入力回路、269は量子化マトリクス、270は符号化方式のエッジビジネスに対する影響度を判定するエッジビジネス影響度判定回路、271は符号化方式のボケに対する影響度を判定するボケ影響度判定回路、272は符号化方式エッジビジネス影響度、273は符号化方式ボケ影響度、274は量子化マトリクス、275は画質劣化項目の一つであるエッジビジネスの量を判定するエッジビジネス度判定回路、276は画質劣化項目の一つであるボケの量を判定するボケ度判定回路、277はエッジビジネス度、278はボケ度、279はエッジビジネス度とボケ度から総合画質を判定する総合画質判定回路、280は総合画質である。

0125

次に、この実施例の動作を説明する。図22において、入力画像はJPEGと同様の動作で符号化される。すなわち、入力画像251はブロック化回路252において8×8のブロックに分割され、分割されたブロックはDCT回路253で離散コサイン変換され、DCT変換係数が出力される。DCT変換係数は量子化回路254で量子化され、量子化結果に符号化回路255で符号が割当てられて、符号256が出力される。ここで、量子化回路254で用いる量子化マトリクスは量子化マトリクス入力回路268で入力されたものである。

0126

さらに、図22において、ブロック画像257は入力画像エッジビジネス影響度判定回路258、および、入力画像ボケ影響度判定回路259に入力される。以下、入力画像エッジビジネス影響度判定回路258、および、入力画像ボケ影響度判定回路259の動作を説明する。

0127

入力画像エッジビジネス影響度判定回路258では、入力ブロック画像がどれだけエッジビジネスを出し易いかの尺度を判定する。図23を用いて入力画像エッジビジネス影響度判定回路258の動作を説明する。図23において、291はエッジ検出回路、292は二値化回路、293はライン幅検出回路である。エッジ検出回路291では、入力ブロック257にエッジが含まれるか否かを判定し、エッジが含まれていれば入力ブロック257を二値化回路292に入力し、エッジが含まれていなければエッジビジネス影響度260を最低値として出力する。二値化回路291では、入力ブロック257の信号のうち、所定の閾値より大であるものを1、小であるものを0とする。図24に示されるように、ライン幅検出回路292では、縦横斜めの方向で、1となる画素の塊の中で最小の幅を検出し、これをライン幅とする。ライン幅検出回路293はライン幅を入力画像エッジビジネス影響度260として出力する。

0128

同様に、入力画像ボケ影響度判定回路259においても、入力ブロック257内のライン幅を検出し、入力画像ボケ影響度261として出力する。

0129

ここで、入力画像エッジビジネス影響度判定回路258と、入力画像ボケ影響度判定回路259の動作を同じとしたが、必ずしも同じではなくとも良い。

0130

さらに、図22における動作の説明を続ける。図22において、プリンタ性能入力回路262では、画像出力に用いるプリンタ性能を入力する。ここでは、プリンタの解像度と階調数を入力する。

0131

出力装置エッジビジネス影響度判定回路264では、入力されたプリンタの解像度と階調数の場合、どれだけエッジビジネスが視覚的に発生しやすいかを判定し、出力装置エッジビジネス影響度266として出力する。予め、解像度と階調数の異なる複数種類プリンタに対し、標準画像で主観評価を行っておく。出力装置エッジビジネス影響度266はその解像度と階調数に合致した主観評価値を用いる。主観評価値は例えばMOS評価値を用いることができる。例えば、図27に示されるような、解像度と階調数が定まれば出力装置エッジビジネス影響度266が定まるような表を用意しておくことにより、新たなプリンタの解像度と階調数を入力することで出力装置エッジビジネス影響度を求めることができる。

0132

図28を用いて出力装置エッジビジネス影響度判定回路264の動作を説明する。図28において、301はプリンタの解像度情報、302はプリンタの階調数情報、303はアドレス計算回路、304はアドレス、305はエッジビジネス影響度メモリ、306はエッジビジネス影響度、307はエッジビジネス影響度算出回路である。アドレス計算回路303は、プリンタ性能263として入力されたプリンタの解像度情報301とプリンタの階調数情報302からエッジビジネス影響度メモリ305のアドレス304を計算して出力する。エッジビジネス影響度メモリ305はアドレス304の値に従ってエッジビジネス影響度306を出力する。エッジビジネス影響度算出回路307はエッジビジネス影響度306の値から出力装置エッジビジネス影響度266を出力する。ここで、エッジビジネス影響度算出回路307は、アドレス計算回路303が、プリンタの解像度情報301とプリンタの階調数情報302からアドレス304を一意に決定出来る場合は、エッジビジネス影響度の計算を行わず、エッジビジネス影響度メモリ305から出力されるエッジビジネス影響度306をそのまま出力装置エッジビジネス影響度266として出力する。アドレス304が一意に決定できない場合は、複数のアドレス304に従ってエッジビジネス影響度メモリ305から出力される複数のエッジビジネス影響度306の値を補間して算出した結果を出力装置エッジビジネス影響度266として出力する。

0133

図22に戻る。同様に、出力装置ボケ影響度判定回路265では、入力されたプリンタの解像度と階調数の場合、どれだけボケが視覚的に発生しやすいかを判定し、出力装置ボケ影響度265として出力する。予め、解像度と階調数の異なる複数種類プリンタに対し、標準画像で主観評価を行っておく。出力装置ボケ影響度はその解像度と階調数に合致した主観評価値を用いる。主観評価値は例えばMOS評価値を用いることができる。

0134

さらに、量子化マトリクス入力回路268は量子化マトリクス274を量子化回路254に入力する。さらに、量子化マトリクス入力回路268は、量子化マトリクス274を符号化方式エッジビジネス影響度判定回路270に入力する。

0135

符号化方式エッジビジネス影響度判定回路270では、入力された量子化マトリクスの場合、どれだけエッジビジネスが視覚的に発生しやすいかを判定し、符号化方式エッジビジネス影響度272として出力する。予め、様々な量子化マトリクスで標準画像と標準プリンタで主観評価を行っておく。符号化方式エッジビジネス影響度はその主観評価値を用いる。主観評価値は例えばMOS評価値を用いることができる。

0136

図29を用いて符号化方式エッジビジネス影響度判定回路270の動作を説明する。図29において、311はアドレス計算回路、312はアドレス、313はエッジビジネス影響度メモリ、314はエッジビジネス影響度、315はエッジビジネス影響度算出回路である。アドレス計算回路311は、量子化マトリクス269からエッジビジネス影響度メモリ313のアドレス312を計算して出力する。エッジビジネス影響度メモリ313はアドレス312の値に従ってエッジビジネス影響度314を出力する。エッジビジネス影響度算出回路315はエッジビジネス影響度314の値から符号化方式エッジビジネス影響度272を出力する。ここで、エッジビジネス影響度算出回路315は、アドレス計算回路311が、量子化マトリクス269からアドレス312を一意に決定出来る場合は、エッジビジネス影響度の計算を行わず、エッジビジネス影響度メモリ313から出力されるエッジビジネス影響度314をそのまま符号化方式エッジビジネス影響度272として出力する。アドレス312が一意に決定できない場合は、複数のアドレス312に従ってエッジビジネス影響度メモリ313から出力される複数のエッジビジネス影響度314の値を補間して算出した結果を符号化方式エッジビジネス影響度272として出力する。

0137

図22に戻る。符号化方式ボケ影響度判定回路271では、入力された量子化マトリクスの場合、どれだけボケが視覚的に発生しやすいかを判定し、符号化方式ボケ影響度273として出力する。予め、様々な量子化マトリクスで標準画像と標準プリンタで主観評価を行っておく。符号化方式ボケ影響度はその主観評価値を用いる。主観評価値は例えばMOS評価値を用いることができる。

0138

次に、入力ブロック257に対する、入力画像エッジビジネス影響度260、出力装置エッジビジネス影響度266、符号化方式エッジビジネス影響度272がエッジビジネス度判定回路275に入力される。

0139

図25を用いてエッジビジネス度判定回路275の説明を行う。図25に示されるように、入力画像エッジビジネス影響度260、出力装置エッジビジネス影響度266、符号化方式エッジビジネス影響度272から、入力画像エッジビジネス影響度、出力装置エッジビジネス影響度、画像符号化エッジビジネス影響度の3次元からなる空間状の点が指定される。この点はエッジビジネス度が蓄積されているメモリのアドレスを示している。各点のエッジビジネス度は予め、主観評価実験により求められており、該メモリの該アドレスに蓄積されている。そのメモリを参照することにより、入力ブロック257が指定の量子化マトリクスで符号化し、指定のプリンタで出力した時のエッジビジネスの主観評価量を予測し、エッジビジネス度277として出力する。ちょうどその点のエッジビジネス度が予め実験されていない場合は、近接するエッジビジネス度の線形補間により求めることができる。

0140

実際に項目別画質空間内の画質を計測した実験結果を図26および表1に示す。

0141

ID=000003HE=045 WI=104 LX=0530 LY=2350
図26では、画質を測定するための標準プリンタとして、プリンタ1とプリンタ2の2種類のプリンタを用いた。また、量子化マトリクスとして方式1、方式2、方式3の3種類の量子化マトリクスを用いた。さらに、入力画像のエッジビジネス影響度として、入力画像のライン幅を、ライン幅1、ライン幅2、ライン幅3の3種類用いた。この3つの軸で指定できる、計2×3×3=18の格子点のエッジビジネス度を主観評価実験により求めた。この格子点の画質を計測した結果が表1である。

0142

ここで、プリンタ1やプリンタ2以外のプリンタで出力する場合、プリンタ1やプリンタ2を図26グラフにマッピングしたのと同じ方法で、項目別画質空間の出力装置エッジビジネス影響度の軸にマッピングする。

0143

また、入力画像のライン幅も同様に入力画像エッジビジネス影響度軸にマッピングする。さらに、新たな量子化マトリクスで符号化する場合もSF1、SF2、SF3をマッピングした場合と同様の基準で画像符号化エッジビジネス影響度の軸にマッピングする。

0144

表1は、例えば、ルックアップテーブルとして、ROMあるいはRAMに入力しておき、各格子点とROMあるいはRAMのアドレスとの対応をつけておくことで参照することができる。

0145

図30にエッジビジネス度判定回路の構成図を示す。図30において321はアドレス計算回路、322はアドレス、323は画質メモリである。画質メモリ323には、予め、表1の画質の内容が蓄積されている。ここで、出力装置エッジビジネス影響度として与えられるプリンタ番号をP、入力画像エッジビジネス影響度として与えられるライン幅をL、符号化方式エッジビジネス影響度として与えられる量子化マトリクス番号をQとする。この時、画質メモリ323の各番号に対するアドレスを、例えば、P×9+L×3+Qのように定めることができる。各アドレスに、表1の画質量が蓄積される。

0146

図30において、入力画像エッジビジネス影響度260、出力装置エッジビジネス影響度266、符号化方式エッジビジネス影響度272は、アドレス計算回路321に入力され、アドレス計算回路321は、画質メモリ323に蓄積された時と同じ計算手法によりアドレス322を計算し、画質メモリ323に伝送する。画質メモリ323は、アドレス322で指定されたメモリ空間の内容をエッジビジネス度277として出力する。

0147

以上により、新たなプリンタ、新たな入力画像、新たな量子化マトリクスに対するエッジビジネスの項目別評価空間内の点を求めることができる。既に画質が求められている点は上記の18点であるため、新たな点の画質が求められていない場合は、既に求められている近傍の数点の画質の線形和を新たなプリンタ、新たな入力画像、新たな量子化マトリクスに対するエッジビジネス度とする。

0148

例えば、プリンタ1のエッジビジネス影響度をA1、プリンタ2のエッジビジネス影響度をA2、ライン幅1のエッジビジネス影響度をB1、ライン幅2のエッジビジネス影響度をB2、ライン幅3のエッジビジネス影響度をB3、方式1のエッジビジネス影響度をC1、方式2のエッジビジネス影響度をC2、方式3のエッジビジネス影響度をC3とする。表1は、各エッジビジネス影響度の場合入力、出力、画像符号化が行われた場合の画質を示している。新たなプリンタのエッジビジネス影響度を計測した結果が(A1+A2)/2であったとする。また、新たな入力のエッジビジネス影響度がB1であるとする。これを方式1で符号化する場合の画質は、表1において、ライン幅1、方式1、プリンタ1の要素(5.000)と、ライン幅1、方式1、プリンタ2の要素(4.857)の中間の値であると予測される。そこで、新たなプリンタのエッジビジネス影響度を計測した結果が(A1+A2)/2であったとする。また、新たな入力のエッジビジネス影響度がB1であるとする。これを方式1で符号化する場合の画質は、(5.000+4.857)/2=4.9285と予測することができる。

0149

あるいは、新たな点の画質が求められていない場合は、既に求められている最近傍の点の画質を新たなプリンタ、新たな入力画像、新たな量子化マトリクスに対するエッジビジネス度とする。この場合、図30のアドレス計算回路321では、最近傍の格子点を求める。

0150

同様にボケの項目別画質空間内のボケ度を主観評価により求めることができる。ボケに関して、項目別画質空間内の画質を計測した実験結果を表2に示す。この表2に基づいてボケ度判定回路276が動作し、ボケ度278を出力する。

0151

ID=000004HE=045 WI=104 LX=0530 LY=0300
その後、エッジビジネス度277とボケ度278が総合画質判定回路279に送られ、総合画質280が出力される。

0152

総合画質判定回路279では、エッジビジネス度とボケ度のうち、劣化が大きなほうを総合画質と判定する。

0153

この実施例においては、予め、画質劣化項目毎に、画像入力手段あるいは入力画像部分、画像符号化方式および符号化パラメタ、画像出力手段に対する影響度が決定されたときの主観評価を決定しておくことにより、画像入力手段あるいは入力画像部分に対し個々の画質劣化項目の影響度を計測し、画像符号化方式および符号化パラメタに対し個々の画質劣化項目の影響度を計測し、画像出力手段に対し個々の画質劣化項目の影響度を計測して、個々の画質劣化項目の主観評価の予測値を求めることができる。

0154

さらに、個々の画質劣化項目の主観評価の予測値から、全体の画質評価値を求めることができる。

0155

これにより、主観評価を行っていない、画像入力装置あるいは入力画像、画像符号化方式、画像出力装置の組合わせに対する主観評価画質を予測し、符号化画像の画質を保証することができるという効果を奏する。

0156

[実施例10]上述実施例9においては総合画質判定回路279で、エッジビジネス度とボケ度のうち、劣化が大きな方を総合画質と判定したが、これに限るものではない。この実施例10においては、総合画質Sは、エッジビジネス度A、ボケ度Bとした時、

0157

S=aA+bB
とすることによって求める。係数a,bは予め定めておく。他の構成は実施例9と同じであるので説明を省略する。

0158

[実施例11]つぎに本発明をより具体的に実現した他の実施例11について説明する。

0159

図31において、331は画像入力装置状態入力回路、332は画像入力装置状態である。

0160

図31図22の違いは、図22では入力ブロックから入力画像エッジビジネス影響度260と入力画像ボケ影響度261を求めていたが、図31では、画像入力装置状態入力回路331の出力である画像入力装置状態から入力画像エッジビジネス影響度260と入力画像ボケ影響度261を求める点である。

0161

図32を用いて、図31の入力画像エッジビジネス影響度判定回路258の動作を説明する。図32において、341はアドレス計算回路、342はアドレス、343はエッジビジネス影響度メモリ、344はエッジビジネス影響度、345はエッジビジネス影響度算出回路である。アドレス計算回路341は、画像入力装置状態332受け取り、エッジビジネス影響度メモリ343のアドレス342を計算して出力する。エッジビジネス影響度メモリ343はアドレス342の値に従ってエッジビジネス影響度344を出力する。エッジビジネス影響度算出回路345は344の値から入力画像エッジビジネス影響度260を出力する。ここで、エッジビジネス影響度算出回路345は、アドレス計算回路341が、画像入力装置状態332からアドレス342を一意に決定出来る場合は、エッジビジネス影響度の計算を行わず、エッジビジネス影響度メモリ343から出力されるエッジビジネス影響度344をそのまま入力画像エッジビジネス影響度260として出力する。アドレス342が一意に決定できない場合は、複数のアドレス342に従ってエッジビジネス影響度メモリ343から出力される複数のエッジビジネス影響度344の値を補間して算出した結果を入力画像エッジビジネス影響度260として出力する。

0162

[実施例12]つぎに実施例12について説明する。上述した実施例9の特徴は、ある入力ブロックに対して、プリンタ種類と、量子化マトリクスが入力された時に、その入力ブロックのプリンタ出力時の画質を予測することであった(実施例10および11も同様)。それに対して、実施例12の特徴は、予測した画質を量子化マトリクス入力回路にフィードバックして、所望の画質を得ることにある。

0163

図33は実施例12の構成を示しており、この図において、351は量子化マトリクス発生回路、352は量子化マトリクスである。

0164

入力ブロック257を符号化する時、まず、予め定めておいた第1の量子化マトリクスを量子化マトリクス発生回路351は発生し、量子化マトリクスを量子化マトリクス入力回路268に送る。このマトリクスで予測した総合画質280は量子化マトリクス発生回路351に入力され、量子化マトリクス発生回路351は、この画質が所望の画質以上であれば画質を下げるように量子化マトリクスを制御し、この画質が所望の画質以下であれば画質を上げるように量子化マトリクスを制御する。

0165

以上によって、所望の画質の出力画像を得ることができる。

0166

[実施例13]つぎに実施例13について説明する。以上説明した実施例は、単に画質を求めるため、あるいは、フィードバックで画質を制御するための形態であったが、実施例13では、フィードフォワードで画質制御するようにしている。

0167

実施例13においては、JPEGの量子化マトリクスを、基本量子化マトリクスとスケーリングファクタに分解する。量子化マトリクスは、基本量子化マトリクスと、スケーリングファクタの積で表すことができるとする。

0168

図34は実施例13の構成を示している。図34において、371は基本量子化マトリクス入力回路、361はエッジビジネス制御方式決定回路、362はボケ制御方式決定回路、363はエッジビジネス制御方式、364はボケ制御方式、365はスケーリングファクタ決定回路、366はスケーリングファクタ、367および372は基本量子化マトリクス、369は量子化マトリクスである。

0169

図34において、基本量子化マトリクス入力回路371は符号化方式エッジビジネス影響度判定回路270および符号化方式ボケ影響度判定回路271に基本量子化マトリクス372を入力する。

0170

エッジビジネス制御方式決定回路361の動作を以下図35を用いて説明する。図35に示されるように、入力画像エッジビジネス影響度260、出力装置エッジビジネス影響度266、符号化方式エッジビジネス影響度272から、入力画像エッジビジネス影響度、出力装置エッジビジネス影響度、画像符号化エッジビジネス影響度の3次元からなる空間状の点が指定される。この点はエッジビジネス度とスケーリングファクタの関係が蓄積されているメモリのアドレスを示している。エッジビジネス度とスケーリングファクタとの関係は、図36に示されるようなものである。各点のエッジビジネス度とスケーリングファクタの関係は予め、主観評価実験により求められており、該メモリの該アドレスに蓄積されている。そのメモリを参照することにより、入力ブロック257が指定の基本量子化マトリクスを用いて指定のプリンタで出力した時に、あるエッジビジネスの主観評価量とスケーリングファクタの関係であるエッジビジネス制御方式363を求めることができる。該当する点のエッジビジネスの主観評価量とスケーリングファクタの関係が求められていない場合は、最も近接する既に求められている点のエッジビジネスの主観評価量とスケーリングファクタの関係を用いる。

0171

実際に項目別画質空間内の画質を計測した実験結果を図37、表3および表4に示す。

0172

0173

ID=000006HE=045 WI=104 LX=0530 LY=2250
図37では、画質を測定するための標準プリンタとして、プリンタ1とプリンタ2の2種類のプリンタを用いた。また、基本量子化マトリクスとして基本量子化マトリクス1、基本量子化マトリクス2の2種類の量子化マトリクスを用いた。さらに、入力画像のエッジビジネス影響度として、入力画像のライン幅を、ライン幅1、ライン幅2、ライン幅3の3種類用いた。この3つの軸で指定できる、計2×2×3=12の格子点のエッジビジネス度とスケーリングファクタ(SF1,SF2,SF3)の関係を主観評価実験により求めた。結果が表3および、表4である。表3は基本量子化マトリクス1の結果、表4は基本量子化マトリクス2の結果を示す。

0174

ここで、プリンタ1やプリンタ2以外のプリンタで出力する場合、プリンタ1やプリンタ2を図37のグラフにマッピングしたのと同じ方法で、項目別画質空間の出力装置エッジビジネス影響度の軸にマッピングする。

0175

また、入力画像のライン幅も同様に入力画像エッジビジネス影響度軸にマッピングする。さらに、新たな基本量子化マトリクスで符号化する場合も基本量子化マトリクス1、基本量子化マトリクス2をマッピングした場合と同様の基準で画像符号化エッジビジネス影響度の軸にマッピングする。

0176

以上により、新たなプリンタ、新たな入力画像、新たな基本量子化マトリクスに対するエッジビジネスの項目別評価空間内の点を求めることができる。既に画質とスケーリングファクタの関係が求められている点は上記の12点であるため、既に求められている点のうち最も近い点のエッジビジネス度とスケーリングファクタの関係を新たなプリンタ、新たな入力画像、新たな基本量子化マトリクスに対するエッジビジネス度とスケーリングファクタの関係とする。

0177

例えば、プリンタ1のエッジビジネス影響度をA1、プリンタ2のエッジビジネス影響度をA2、ライン幅1のエッジビジネス影響度をB1、ライン幅2のエッジビジネス影響度をB2、ライン幅3のエッジビジネス影響度をB3、基本量子化マトリクス1のエッジビジネス影響度をC1、基本量子化量子化マトリクス2のエッジビジネス影響度をC2とする。表3は、各エッジビジネス影響度の場合入力、出力、画像符号化が行われた場合の画質を示している。新たなプリンタのエッジビジネス影響度を計測した結果がA1であったとする。また、新たな入力のエッジビジネス影響度がB1であるとする。また、新たな量子化マトリクスのエッジビジネス影響度がC1であるとする。この場合の、スケーリングファクタと画質の関係は、表3において、ライン幅1、プリンタ1の3つの要素で示されると予測される。3つの要素は、図36に示されるようなスケーリングファクタとエッジビジネス度を表している。ここでは点が3つの例を示したが、点の数を増やせばさらに正確なエッジビジネス度の予測が可能となる。ここで、望まれるエッジビジネス度が4.143であれば、SF2を選択して符号化を行えばよいことになる。

0178

同様にボケの項目別画質空間内のボケ度とスケーリングファクタの関係を主観評価により求めることができ、ボケ制御方式決定回路362においても、ボケ制御方式364を求めることができる。

0179

スケーリングファクタ決定回路365では、所定のエッジビジネスの量となるスケーリングファクタと、所定のボケの量となるスケーリングファクタを求め、2つのスケーリングファクタのうち、より画質が良くなるスケーリングファクタを求め、そのスケーリングファクタ366を出力する。

0180

乗算器368は基本量子化マトリクス367と、スケーリングファクタ366の乗算を行い、量子化マトリクス369を生成し、量子化回路254に送る。量子化回路254は乗算器368から送られた量子化マトリクス369で量子化を行う。

0181

実施例13においては、画質劣化項目毎に、画像入力手段あるいは入力画像部分、画像符号化方式、画像出力手段に対する影響度が決定されたときの主観評価値と符号化パラメタの関係を決定しておくことにより、画像入力手段あるいは入力画像部分に対し個々の画質劣化項目の影響度を計測し、画像符号化方式に対し個々の画質劣化項目の影響度を計測し、画像出力手段に対し個々の画質劣化項目の影響度を計測して、個々の画質劣化項目の主観評価の予測値と符号化パラメタの関係を求めることができる。

0182

さらに、個々の画質劣化項目の主観評価の予測値と符号化パラメタの関係から、所定の主観評価画質を満たす符号化パラメタを求めることができる。

0183

[実施例14]つぎに実施例14について説明する。以上の実施例では、画質劣化項目がエッジビジネスとボケであったが、画質劣化項目がこの2種に限るものではない。以下の画質劣化項目および、画質劣化項目に関連する入力画像影響度判定手法、出力装置影響度判定手法がある。

0184

例として以下の項目がある。
疑似輪郭
入力画像影響度判定手法:入力画像の画素値の頻度分布をとり、画素値種類数を計測する。
出力装置影響度判定手法:プリンタの実効階調数を計測する。
ブロック歪み
入力画像影響度判定手法:ブロック周辺画素の画素値変化を計測する。
出力装置影響度判定手法:プリンタの実効階調数、周波数特性を計測する。
グラニュラノイズ
入力画像影響度判定手法:入力画像の低域と高域の周波数の信号の電力を測定する。
出力装置影響度判定手法:プリンタの実効階調数、周波数特性を計測する。
うなり
入力画像影響度判定手法:入力画像の低域と高域の周波数の信号の電力を測定する。
出力装置影響度判定手法:プリンタの実効階調数、周波数特性を計測する。
モスキートノイズ
入力画像影響度判定手法:入力画像の低域と高域の周波数の信号の電力を測定する。
出力装置影響度判定手法:プリンタの実効階調数、周波数特性を計測する。

0185

[実施例15]つぎに実施例15について説明する。以上の実施例では、入力画像影響度、出力装置影響度、符号化方式影響度がいずれも1次元の空間にマッピングできたが、マッピングするのは1次元には限らない。

0186

例えば、入力画像の0〜127の画素値の画素値種類数、128〜255の画素値の画素値種類数を採ることにより、入力画像の疑似輪郭の影響度を2次元空間にマッピングすることができる。

0187

[実施例16]つぎに実施例16について説明する。以上の実施例では、符号化方式はJPEGとしたが、符号化方式はこれには限らない。

0188

予測符号化方式で、量子化ステップ幅を変えることによって画質を制御することもできる。予測符号化方式は、既に符号化された画素を用いて次の画素値を予測し、その予測誤差を符号化する符号化方式である。

0189

予測誤差信号分布図38に示されるように0に偏った分布となる。この予測誤差信号を量子化する量子化ステップの定め方は様々ある。図39に示されるような非線形量子化線形量子化がある。図39縦線は、量子化の閾値を示す。

0190

これらの量子化のパターンを、JPEGにおける量子化マトリクスと同様に扱うことができる。

0191

[実施例17]つぎに実施例17について説明する。

0192

この実施例17は上述の実施例7をより具体的な構成で実現するものである。以下、図12図13図14図15図16図17図22図23図28図29図31図33を用いて説明を行う。図22図23図28図29図31図33に示された構成及び番号等は、対応する実施例で述べたものと同じである。また、図22図31図33の動作も、対応する上述実施例で述べたものと同じである。

0193

ここでは、主として図22図23図28図29図31図33の構成と、図12図13図14図15図16、及び図17に示された構成との対応を説明して具体的な構成についての詳細な説明を省略する。

0194

まず図13の構成との対応について述べる。図22図31図33において、入力画像エッジビジネス影響度判定回路258及び、入力画像ボケ影響度判定回路259が、入力画像性質入力手段152に対応する。出力装置エッジビジネス影響度判定回路264及び、出力装置ボケ影響度判定回路265が、出力装置性質入力手段155に対応する。符号化方式エッジビジネス影響度判定回路270及び、符号化方式ボケ影響度判定回路271が、画像符号化性質入力手段158に対応する。エッジビジネス度判定回路275、ボケ度判定回路276が、画質予測手段160に対応する。エッジビジネス度277及びボケ度278が項目別画質161に対応する。総合画質判定回路279が総合画質予測手段163に対応する。さらに、総合画質280が総合画質164に対応する。

0195

つぎに図15の構成との対応について述べる。図23において、エッジ検出回路291が画像分析手段182に対応する。二値化回路292およびライン幅検出回路293が入力画像画質影響度算出手段184に対応する。

0196

つぎに図16の構成について述べる。図28において、アドレス計算回路303およびエッジビジネス影響度メモリ305が画像出力画質影響度蓄積手段192に対応する。エッジビジネス影響度算出回路307が画像出力画質影響度算出手段194に対応する。

0197

つぎに図17の構成との対応について述べる。図29において、アドレス計算回路311およびエッジビジネス影響度メモリ313が画像符号化画質影響度蓄積手段201に対応する。エッジビジネス影響度算出回路315が画像符号化画質影響度算出手段203に対応する。

0198

以上で述べた、入力画像エッジビジネス影響度判定回路258、入力画像ボケ影響度判定回路259、出力装置エッジビジネス影響度判定回路264、出力装置ボケ影響度判定回路265、符号化方式エッジビジネス影響度判定回路270、符号化方式ボケ影響度判定回路271、エッジビジネス度判定回路275、ボケ度判定回路276、総合画質判定回路279の動作は上述実施例9で述べたものと全く同じである。

0199

実施例8についても同様にして具体的に実現できることは明らかである。

0200

[実施例18]つぎに実施例18について説明する。

0201

以下、図18図19図20、および図34を用いて説明を行う。図34に示された構成及び番号等は上述実施例13で述べたものと同じである。また、図34の動作は、実施例9で述べたものと同じである。

0202

ここでは、主として図34の構成と、図18図19、及び図20に示された構成との対応を述べる。

0203

図34において、入力画像エッジビジネス影響度判定回路258及び、入力画像ボケ影響度判定回路259が、入力画像性質入力手段152に対応する。出力装置エッジビジネス影響度判定回路264及び、出力装置ボケ影響度判定回路265が、出力装置性質入力手段155に対応する。符号化方式エッジビジネス影響度判定回路270及び、符号化方式ボケ影響度判定回路271が、画像符号化性質入力手段158に対応する。エッジビジネス制御方式決定回路361、ボケ制御方式決定回路362が、画質制御方式決定手段220に対応する。エッジビジネス制御方式363及びボケ制御方式364が項目別画質制御方式221に対応する。スケーリングファクタ決定回路365が総合画質制御手段223に対応する。さらに、スケーリングファクタ366が符号化パラメタ224に対応する。本形態では、希望画質は固定であり、希望画質入力手段211はスケーリングファクタ決定回路365に予め組み込まれている。

0204

以上で述べた、入力画像エッジビジネス影響度判定回路258、入力画像ボケ影響度判定回路259、出力装置エッジビジネス影響度判定回路264、出力装置ボケ影響度判定回路265、符号化方式エッジビジネス影響度判定回路270、符号化方式ボケ影響度判定回路271、エッジビジネス制御方式決定回路361、ボケ制御方式決定回路362、スケーリングファクタ決定回路365の動作は実施例13で述べたものと全く同じである。

0205

さらに、図40を用いて、希望画質入力手段211がスケーリングファクタ決定回路365に予め組み込まれていない場合の説明を行う。

0206

図40において、381は希望画質入力回路、382は希望画質である。他の番号は図34と同じである。

0207

図40において希望画質入力回路381は希望画質入力手段211に対応する。また、希望画質382は希望画質212に対応する。

0208

スケーリングファクタ決定回路365では、図36に示されたようにエッジビジネス度とスケーリングファクタの関係からスケーリングファクタを決定する。入力された希望画質382は希望エッジビジネス度を含んでおり、図36に示されるように、希望エッジビジネス度からスケーリングファクタを決定する。

0209

同様に希望ボケ度からスケーリングファクタが決定される。

0210

以上のように1つ以上の画質劣化項目からスケーリングファクタを決定し、それらの中から最も小さな、すなわち、最も画質がよくなるスケーリングファクタをスケーリングファクタ決定回路365は出力する。

発明の効果

0211

以上のように、本発明によれば、分割された画質項目毎に、画質を測定することによって、入力画像の性質、出力機器の性質、入力機器の性質、画像符号化方式の性質等の様々な入力物理量を連続な媒介パラメタからなる空間にマッピングすることが可能となった。さらに、個々の画質項目毎の画質から総合画質を求めることができる。これによって、複数の物理量を計測する場合にも画質制御を行うことが可能となった。

図面の簡単な説明

0212

図1本発明の実施例1の構成を示すブロック図である。
図2実施例1の要部を示すブロック図である。
図3実施例1の原理を説明する図である。
図4本発明の実施例2の構成を示すブロック図である。
図5実施例2の要部を示すブロック図である。
図6実施例2の原理を説明する図である。
図7実施例2の原理を説明する図である。
図8本発明の実施例3の構成を示すブロック図である。
図9本発明の実施例4の構成を示すブロック図である。
図10本発明の実施例5の構成を示すブロック図である。
図11本発明の実施例6の構成を示すブロック図である。
図12本発明の実施例7の構成を示すブロック図である。
図13実施例7の項目別画質予測手段の構成を示すブロック図である。
図14図13の画質予測手段の構成を示すブロック図である。
図15図13の入力画像性質入力手段の構成を示すブロック図である。
図16図13の画像出力性質入力手段の構成を示すブロック図である。
図17図13の画像符号化性質入力手段の構成を示すブロック図である。
図18本発明の実施例8の構成を示すブロック図である。
図19実施例8の項目別画質制御方式決定手段の構成を示すブロック図である。
図20図19の画質制御方式決定手段の構成を示すブロック図である。
図21図19の入力画像性質入力手段の構成を示すブロック図である。
図22本発明の実施例9の構成を示すブロック図である。
図23実施例9の入力画像エッジビジネス影響度判定回路の構成を示すブロック図である。
図24図23のライン幅検出回路を説明する図である。
図25実施例9のエッジビジネス度判定回路を説明する図である。
図26実施例9の項目別画質空間を説明する図である。
図27実施例9の出力装置エッジビジネス影響度判定回路を説明する図である。
図28実施例9の出力装置エッジビジネス影響度判定回路の構成を示すブロック図である。
図29実施例9の符号化装置エッジビジネス影響度判定回路の構成を示すをブロック図である。
図30実施例9のエッジビジネス度判定回路の構成を示すブロック図である。
図31本発明の実施例11の構成を示すブロック図である。
図32実施例11の入力画像エッジビジネス影響度判定回路の構成を示すをブロック図である。
図33本発明の実施例12の構成を示すブロック図である。
図34本発明の実施例13の構成を示すブロック図である。
図35実施例13のエッジビジネス制御方式決定回路を説明する図である。
図36実施例13のエッジビジネス制御方式決定回路を説明する図である。
図37実施例13の項目別画質空間を説明する図である。
図38本発明の実施例16における予測符号化を説明する図である。
図39本発明の実施例16における予測符号化を説明する図である。
図40本発明の実施例20を説明するブロック図である。
図41本発明が適用される環境例を示す図である。
図42従来例を説明する図である。
図43従来例を説明する図である。
図44従来例を説明する図である。
図45主観評価実験を説明する図である。

--

0213

101項目別画質予測手段
102総合画質予測手段
103入力画像性質
104画像出力性質
105画像符号化性質
106 項目別予測画質
107 総合画質
108 入力画像性質空間配置手段
109 画像出力性質空間配置手段
110 画像符号化性質空間配置手段
111 画質予測手段
112 入力画像性質空間内位置
113 画像出力性質空間内位置
114 画像符号化性質空間内位置
121 項目別画質制御方式決定手段
122 総合画質制御手段
123 画質制御方式
124 選択された符号化パラメタ
125 画質制御方式決定手段
131 入力画像
132画像分割手段
133 変換手段
134変換係数
135量子化手段
136 符号化手段
137 符号
138画像分析手段
139 入力画像性質
140 量子化選択手段
141量子化方法
142 画像出力性質出力手段
143 画像出力性質
144 画像符号化性質出力手段
145 画像符号化性質
146アドレス計算手段
147アドレス
148 画質蓄積手段
149 画質制御方式蓄積手段
152 入力画像性質入力手段
153 入力画像性質
155 画像出力性質入力手段
156 画像出力性質
158 画像符号化性質入力手段
159 画像符号化性質
160 画質予測手段
161予測された項目別画質
162 項目別画質予測手段
163 総合画質予測手段
164 予測画質
171 画質記憶手段
172 記憶されている画質
173 画質記憶手段内のアドレス
174 画質計算手段
181 入力画像
182 画像分析手段
183 画像分析結果
184 入力画像画質影響度算出手段
191画像出力装置状態
192 画像出力画質影響度蓄積手段
193 画像出力画質影響度
194 画像出力画質影響度算出手段
201 画像符号化パラメタ状態
202 画像符号化画質影響度蓄積手段
203 画像符号化画質影響度
204 画像符号化画質影響度算出手段
211希望画質入力手段
212 希望画質
220 画質制御方式決定手段
221 項目別画質制御方式
222 項目別画質制御手段
223 総合画質制御手段
224 符号化パラメタ
231 画質制御方式記憶手段
232 記憶されている画質制御方式
233 画質制御方式記憶手段内のアドレス
234 画質制御方式計算手段
241画像入力装置状態
242 入力画像画質影響度蓄積手段
243 入力画像画質影響度
244 入力画像画質影響度算出手段
251 入力画像
252ブロック化回路
253DCT変換回路
254量子化回路
255符号化回路
256 符号
257ブロック画像
258エッジビジネス影響度判定回路
259ボケ影響度判定回路
260 入力画像エッジビジネス影響度
261 入力画像ボケ影響度
262プリンタ性能入力回路
263 プリンタ性能
264出力装置エッジビジネス度判定回路
265 出力装置ボケ影響度判定回路
266 出力装置エッジビジネス影響度
267 出力装置ボケ影響度
268量子化マトリクス入力回路
269 量子化マトリクス
270符号化方式エッジビジネス影響度判定回路
271 符号化方式ボケ影響度判定回路
272 符号化方式エッジビジネス影響度
273 符号化方式ボケ影響度
274 量子化マトリクス
275 エッジビジネス度判定回路
276ボケ度判定回路
277 エッジビジネス度
278 ボケ度
279 総合画質判定回路
280 総合画質
291エッジ検出回路
292二値化回路
293ライン幅検出回路
301 プリンタの解像度情報
302 プリンタの階調数情報
303アドレス計算回路
304 アドレス
305 エッジビジネス影響度メモリ
306 エッジビジネス影響度
307 エッジビジネス影響度算出回路
311 アドレス計算回路
312 アドレス
313 エッジビジネス影響度メモリ
314 エッジビジネス影響度
315 エッジビジネス影響度算出回路
321 アドレス計算回路
322 アドレス
323 画質メモリ
331 画像入力装置状態入力回路
332 画像入力装置状態
341 アドレス計算回路
342 アドレス
343 エッジビジネス影響度メモリ
344 エッジビジネス影響度
345 エッジビジネス影響度算出回路
351 量子化マトリクス発生回路
352 量子化マトリクス
361 エッジビジネス制御方式決定回路
362ボケ制御方式決定回路
363 エッジビジネス制御方式
364 ボケ制御方式
365スケーリングファクタ決定回路
366 スケーリングファクタ
367基本量子化マトリクス
369 量子化マトリクス
371 基本量子化マトリクス入力回路
372 基本量子化マトリクス
381 希望画質入力回路
382 希望画質
391 入力画像
392 ブロック化回路
393直交変換回路
394直交変換係数
395 量子化回路
396 符号化回路
397 符号
398画像分析回路
399分析結果
400 量子化選択回路
401 量子化方法
411レンズから入力された画像
412絞り
413圧縮処理部
414 絞り量
415圧縮比選定部
418圧縮データ
419光電変換部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ