図面 (/)

技術 画像処理装置

出願人 メディア・テック・ユーエスエイ・インコーポレーテッド
発明者 笹井俊博
出願日 1999年7月22日 (20年11ヶ月経過) 出願番号 1999-207412
公開日 2001年2月23日 (19年4ヶ月経過) 公開番号 2001-054123
状態 特許登録済
技術分野 画像処理 カラーテレビジョン画像信号発生装置
主要キーワード 囲み部分 補正領域内 補間算出 領域値 周辺画素領域 切り替え選択 補間領域 補正倍率
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2001年2月23日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (16)

課題

複雑な画素補間処理を行うことなく高画質の画像を得る。

解決手段

補間部4において補間点を含む所定の補間領域12内に位置する同一色の画素画素値から、その補間点における各補間画素値5をそれぞれ算出するとともに、補正成分算出部6において補間部4で用いる補間領域12を含むより広い範囲の補正領域13内に位置する複数の画素の画素値から、その補間点での画素補正成分7を算出し、補正部8においてこの画素補正成分7を用いて各補間画素値5を補正する。

概要

背景

一般に、単板式のカラーCCDなどの撮像部を用いて撮影を行う電子撮像装置では、2次元の略市松状に配列された多数の画素ごとに、複数の色(原色)のうちの1つに対する画素値しか持たない画像から、各画素ごとにすべての色情報(RGBあるいは輝度値色差信号)をもつ画像信号生成出力される。この画素ごとにすべての色情報を含む画像信号を生成する際には、各画素位置における不足色情報を、その不足色情報を持つ周辺の画素の画素値を用いて補間算出するものとなっている。

しかしながら、単板式のカラー撮像素子からの画像信号では、もともと各色ごとの情報はその撮像素子全画素数よりも少ないため、前記のように補間によって生成された画像信号は、かなりボケた画像となってしまう。特に、周囲直近同色(不足色)画素からのみの補間で作られる場合には、その傾向が強く、本来その画素位置には存在しないはずの色情報が生成されてしまうことが多い。

従来、このような現象を防ぐため、単板色カラー撮像装置ではさまざまな補間方法が試みられている。図15は従来の画像処理装置での補間処理を示す説明図である。ここでは、いわゆるベイヤ配列によるカラー撮像素子の画素配列が示されており、赤(R)緑(G)青(B)が市松状に配列されている。

このような配列のデータから、各画素ごとにRGBの3色の画素値(輝度情報)を持つ画像情報を生成する場合、最も簡単には、その補間対象となる画素位置を中心に3×3のサブマトリクスに含まれる画素のうち、求める色情報と同色の周辺画素の画素値を用いて、次に示すような補間演算を行うことにより各色の補間画素値が算出される。

例えば、図15(a)に示すように、サブマトリクスの中心にR画素が位置する場合は、R33はそのままで、G33およびB33が周囲直近の画素値から補間算出される。また図15(b)に示すように、サブマトリクスの中心にG画素が位置する場合は、G43はそのままで、R43およびB43が周囲直近の画素値から補間算出される。

概要

複雑な画素補間処理を行うことなく高画質の画像を得る。

補間部4において補間点を含む所定の補間領域12内に位置する同一色の画素の画素値から、その補間点における各補間画素値5をそれぞれ算出するとともに、補正成分算出部6において補間部4で用いる補間領域12を含むより広い範囲の補正領域13内に位置する複数の画素の画素値から、その補間点での画素補正成分7を算出し、補正部8においてこの画素補正成分7を用いて各補間画素値5を補正する。

目的

本発明はこのような課題を解決するためのものであり、複雑な画素補間処理を行うことなく高画質の画像が得られる画像処理装置を提供することを目的としている。

効果

実績

技術文献被引用数
2件
牽制数
2件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

次元平面上に配置された多数の画素からなり、各画素ごとに複数の色信号のうちのいずれかに対応する画素値を有する画像信号について、その2次元平面上に配置された任意の補間点における画素値をその周囲の画素の画素値から補間し、各補間点ごとにすべての色信号の画素値を併せ持つ画像信号を生成する画像処理装置において、補間点を含む所定の補間領域内に位置する同一色の画素の画素値を用いて、補間点における各色信号の画素値をそれぞれ補間算出し、各色信号ごとにその補間点における補間画素値として出力する補間部と、補間点の周辺に位置する画素であって、前記補間領域を含むより広い範囲の補正領域内に位置する複数の画素の画素値を用いて、その補間点の画素値を補正するための画素補正成分を生成する補正成分算出部と、この補正成分算出部で得られた補間点に対応する画素補正成分を用いて、補間部から出力されたその補間点における各色信号の補間画素値を補正し、その補間点における各色信号の新たな画素値として出力する補正部とを備えることを特徴とする画像処理装置。

請求項2

請求項1記載の画像処理装置において、補間部は、任意の画素と同一の位置、または隣接する画素間に設けられた補間点における補間画素値を算出出力することを特徴とすることを特徴とする画像処理装置。

請求項3

請求項1記載の画像処理装置において、補正成分生成部は、補間点の周辺に位置する画素のうち、画像信号の輝度成分を代表する色信号を有する複数の画素の画素値を用いて、その補間点に対応する画素補正成分を生成することを特徴とする画像処理装置。

請求項4

請求項1記載の画像処理装置において、補間部および補正成分算出部は、画像信号から所定画素ライン数分だけ並列して同一画素列ごとに画素ブロックとして順次取込まれ、かつこれら連続して取り込まれた所定数の画素ブロックからなるサブマトリクスに含まれる各画素の画素値を用いて、そのサブマトリクスの補間点における補間画素値および画素補正成分を順次算出出力することを特徴とする画像処理装置。

請求項5

請求項1記載の画像処理装置において、画像信号を構成する各画素値を所定画素ライン数分だけ並列して同一画素列ごとに画素ブロックとして順次取込むことにより、これら連続して取り込まれた所定数の画素ブロックからサブマトリクスを構成し、そのサブマトリクスに対して予め設定されている各領域に含まれる画素の画素値の和をそれぞれの領域ごとの領域値として算出し、これら各領域値を画素ブロックの取込みに同期して並列出力する領域値算出部を備え、補間部および補正成分算出部は、この領域値算出部から並列出力される各領域値を選択的に用いて、対応するサブマトリクスの補間点における補間画素値および画素補正成分を順次算出出力することを特徴とする画像処理装置。

請求項6

請求項1記載の画像処理装置において、補間部は、補間算出時に用いる各画素の画素値とこれら各画素に対応する係数との積の和から補間点における補間画素値を算出し、これら係数として各係数が2の累乗の和からなり、かつ各係数の和が2の累乗となる係数を用いることを特徴とする画像処理装置。

請求項7

請求項1記載の画像処理装置において、補正成分算出部は、補正成分算出時に用いる各画素の画素値とこれら各画素に対応する係数との積の和から補正成分を算出し、これら係数として各係数が2の累乗の和からなり、かつ各係数の和が2の累乗となる係数を用いることを特徴とする画像処理装置。

請求項8

請求項1記載の画像処理装置において、補間部で得られた補間画素値からなる補間画像信号に対して色補正処理を実行する色補正部を備え、補正部は、補正成分算出部で得られた画素補正成分を用いて、補間部からの補間画素値の代わりに、色補正部で色補正された後の各画素値を補正して出力することを特徴とする画像処理装置。

請求項9

請求項1記載の画像処理装置において、補間部で得られた補間画素値からなる補間画像信号を輝度・色差信号に変換して出力する信号変換部を備え、補正部は、補正成分算出部で得られた画素補正成分を用いて、補間部からの補間画素値の代わりに、信号変換部で得られた輝度信号を補正して出力することを特徴とする画像処理装置。

請求項10

請求項1記載の画像処理装置において、補間部で得られた補間画素値からなる補間画像信号をガンマ補正処理を実行するガンマ補正部を備え、補正部は、補正成分算出部で得られた画素補正成分を用いて、補間部からの補間画素値の代わりに、ガンマ補正部でガンマ補正された後の各画素値を補正して出力することを特徴とする画像処理装置。

技術分野

0001

本発明は、画像処理装置に関し、特に単板電子カメラ装置などで撮影された2次元カラー画像信号から高画質の画像を生成する画像処理装置に関するものである。

背景技術

0002

一般に、単板式のカラーCCDなどの撮像部を用いて撮影を行う電子撮像装置では、2次元の略市松状に配列された多数の画素ごとに、複数の色(原色)のうちの1つに対する画素値しか持たない画像から、各画素ごとにすべての色情報(RGBあるいは輝度値色差信号)をもつ画像信号生成出力される。この画素ごとにすべての色情報を含む画像信号を生成する際には、各画素位置における不足色情報を、その不足色情報を持つ周辺の画素の画素値を用いて補間算出するものとなっている。

0003

しかしながら、単板式のカラー撮像素子からの画像信号では、もともと各色ごとの情報はその撮像素子全画素数よりも少ないため、前記のように補間によって生成された画像信号は、かなりボケた画像となってしまう。特に、周囲直近同色(不足色)画素からのみの補間で作られる場合には、その傾向が強く、本来その画素位置には存在しないはずの色情報が生成されてしまうことが多い。

0004

従来、このような現象を防ぐため、単板色カラー撮像装置ではさまざまな補間方法が試みられている。図15は従来の画像処理装置での補間処理を示す説明図である。ここでは、いわゆるベイヤ配列によるカラー撮像素子の画素配列が示されており、赤(R)緑(G)青(B)が市松状に配列されている。

0005

このような配列のデータから、各画素ごとにRGBの3色の画素値(輝度情報)を持つ画像情報を生成する場合、最も簡単には、その補間対象となる画素位置を中心に3×3のサブマトリクスに含まれる画素のうち、求める色情報と同色の周辺画素の画素値を用いて、次に示すような補間演算を行うことにより各色の補間画素値が算出される。

0006

例えば、図15(a)に示すように、サブマトリクスの中心にR画素が位置する場合は、R33はそのままで、G33およびB33が周囲直近の画素値から補間算出される。また図15(b)に示すように、サブマトリクスの中心にG画素が位置する場合は、G43はそのままで、R43およびB43が周囲直近の画素値から補間算出される。

発明が解決しようとする課題

0007

しかしながら従来の方法では、画素値の補間処理は簡単で高速であるが十分な画質が得られないといったものが多い。例えば、図15で説明した例では、前述した式からわかるように、各色データについては数画素ごとにローパスフィルタを通した場合と同じ結果となり、十分な画質が得られないという問題点があった。

0008

これに対して、もう少し広い範囲のサブマトリクスを用いて、高次の補間を行なって空間周波数高次成分を補ったり、色発生などを防ぐためもっと複雑な条件により演算方法適応的に変更したりすることにより、高画質の画像を得る構成も提案されている(例えば、特表昭61−501423号公報、特表昭61−501424号公報、あるいはUSP5805217号公報など参照)。しかし、このような処理は演算が複雑であり、さらに条件により変わる処理を行なわねばならないため、高速でのリアルタイムな処理に適応できないという問題点があった。

0009

例えば、条件により処理が変わる演算をリアルタイムで行なうためには、各条件ごとの演算を最初から行なっておき、条件が決まった時にそれらの中から結果を選ぶといった処理が必要で、回路規模消費電力の点で困難を伴う。また、高次の補間を行なうためには、一方向について補間点を除いて片側2点の値が必要で、各色信号についてそれぞれ同色の画素値から補間を行う場合、もともとGの画素と比較して画素数の少ないRやBについて必要な画素数は、両方向(XおよびY方向)に高次補間するならば9画素×9画素の原画素の範囲が必要となる。

0010

したがって、演算処理の増加はもとより、それらの画素情報を演算のために一時的に保管しておくバッファメモリなども画素数に応じて増大する。さらに、補間処理後空間周波数特性の調整により高周波成分を強調することにより、補間によりボケてしまった画像を少しでもくきり見せるような調整がなされているが、もともとない高域周波数は強調のしようはなく、補間時に十分な高周波情報を残すような処理を施していない限り十分効果が上がらなかった。

0011

本発明はこのような課題を解決するためのものであり、複雑な画素補間処理を行うことなく高画質の画像が得られる画像処理装置を提供することを目的としている。

課題を解決するための手段

0012

このような目的を達成するために、本発明による画像処理装置は、補間点を含む所定の補間領域内に位置する同一色の画素の画素値を用いて、補間点における各色信号の画素値をそれぞれ補間算出し、各色信号ごとにその補間点における補間画素値として出力する補間部と、補間点の周辺に位置する画素であって、前記補間領域を含むより広い範囲の補正領域内に位置する複数の画素の画素値を用いて、その補間点の画素値を補正するための画素補正成分を生成する補正成分算出部と、補正部とを備え、この補正部において、補正成分算出部で得られた補間点に対応する画素補正成分を用いて、補間部から出力されたその補間点における各色信号の補間画素値を補正し、その補間点における各色信号の新たな画素値として出力するようにしたものである。

0013

また、補間部において、任意の画素と同一の位置、または隣接する画素間に設けられた補間点における補間画素値を算出出力するようにしたものである。また、補正成分生成部において、補間点の周辺に位置する画素のうち、画像信号の輝度成分を代表する色信号を有する複数の画素の画素値を用いて、その補間点に対応する画素補正成分を生成するようにしたものである。

0014

また、補間部および補正成分算出部において、画像信号から所定画素ライン数分だけ並列して同一画素列ごとに画素ブロックとして順次取込まれ、かつこれら連続して取り込まれた所定数の画素ブロックからなるサブマトリクスに含まれる各画素の画素値を用いて、そのサブマトリクスの補間点における補間画素値および画素補正成分を順次算出出力するようにしたものである。

0015

また、画像信号を構成する各画素値を所定画素ライン数分だけ並列して同一画素列ごとに画素ブロックとして順次取込むことにより、これら連続して取り込まれた所定数の画素ブロックからサブマトリクスを構成し、そのサブマトリクスに対して予め設定されている各領域に含まれる画素の画素値の和をそれぞれの領域ごとの領域値として算出し、これら各領域値を画素ブロックの取込みに同期して並列出力する領域値算出部を設け、補間部および補正成分算出部において、領域値算出部から並列出力される各領域値を選択的に用いて、対応するサブマトリクスの補間点における補間画素値および画素補正成分を順次算出出力するようにしたものである。

0016

また、補間部において、補間算出時に用いる各画素の画素値とこれら各画素に対応する係数との積の和から補間点における補間画素値を算出し、これら係数として各係数が2の累乗の和からなり、かつ各係数の和が2の累乗となる係数を用いるようにしたものである。また、補正成分算出部において、補正成分算出時に用いる各画素の画素値とこれら各画素に対応する係数との積の和から補正成分を算出し、これら係数として各係数が2の累乗の和からなり、かつ各係数の和が2の累乗となる係数を用いるようにしたものである。

0017

また、補間部で得られた補間画素値からなる補間画像信号に対して色補正処理を実行する色補正部を設け、補正部において、補正成分算出部で得られた画素補正成分を用いて、補間部からの補間画素値の代わりに、色補正部で色補正された後の各画素値を補正して出力するようにしたものである。

0018

また、補間部で得られた補間画素値からなる補間画像信号を輝度・色差信号に変換して出力する信号変換部を設け、補正部において、補正成分算出部で得られた画素補正成分を用いて、補間部からの補間画素値の代わりに、信号変換部で得られた輝度信号を補正して出力するようにしたものである。

0019

また、補間部で得られた補間画素値からなる補間画像信号をガンマ補正処理を実行するガンマ補正部を設け、補正部において、補正成分算出部で得られた画素補正成分を用いて、補間部からの補間画素値の代わりに、ガンマ補正部でガンマ補正された後の各画素値を補正して出力するようにしたものである。

発明を実施するための最良の形態

0020

次に、本発明について図面を参照して説明する。図1は本発明の一実施の形態である画像処理装置のブロック図である。同図において、画像処理装置10には、入力される画像信号1で構成される2次元平面上に配置された任意の補間点を含む所定の補間領域内に位置する同一色の周囲画素の画素値を用いて、その補間点における各色信号の画素値をそれぞれ補間算出し、各色信号ごとにその補間点における補間画素値5として出力する補間部4が設けられている。

0021

また、補間点の周辺に位置する画素であって、補間部4で用いる補間領域を含むより広い範囲の補正領域内に位置する複数の画素の画素値を用いて、補間点の画素値を補正する画素補正成分7を生成する補正成分算出部6と、この補正成分算出部6で得られた画素補正成分7を用いて、補間部4から出力された補間点における各色信号の補間画素値5を補正し、その補間点における各色信号の新たな画素値9として出力する補正部8とが設けられている。

0022

また、以下では、画像信号1として、単板式のカラーCCDなどの撮像素子から出力される画像信号、すなわちRGBの各画素が略市松状に配列されたいわゆるベイヤ配列の画像信号を用いた場合について説明するが、これに限定されるものではない。

0023

次に、図2および図3を参照して、本発明の第1の実施の形態について説明する。図2および図3は本発明の第1の実施の形態による画像処理動作を示す説明図であり、特に図2ではR画素上に補間点が設定された場合が例示されており、図3ではR画素ライン上のG画素上に補間点が設定された場合が例示されている。

0024

まず、図2を参照して、R画素上に補間点が設定された場合の処理動作について説明する。図2において、(a)は画素配置例、(b)は補正成分算出用のフィルタ係数、(c)は補間処理、補正成分算出処理および補正処理を示す数式である。

0025

補間部4では、入力される画像信号1の各画素のうち、図2(a)に示すような補間点X33の周囲直近に位置する所定画素の画素値を用いて、その中心に設定されている補間点(X33)における補間輝度値5(G33,R33,B33)を算出する。特に、各補間輝度値5は、補間点X33の周囲近傍すなわち補間点X33を中心とする3画素×3画素の補間領域12内に位置する同一色の周囲画素の画素値を用いて、図2(c)に示す数式により算出される。

0026

これと並行して、補正成分算出部6では、補間部4で用いた補間点X33の周囲に位置する所定画素の画素値と、図2(b)に示すフィルタ係数および補正倍率重み係数)gfとを用いて、図2(c)に示す数式により、補間点における各色信号の画素値を補正する画素補正成分7(HF33)が生成される。特に、画素補正成分7の算出に用いる画素として、補間部4での補間処理に用いた補間領域と比較して、その補間領域を含み、さらにその補間領域より広い範囲、ここではフィルタ係数に対応する5画素×5画素の補正領域13内に位置する所定画素が用いられる。

0027

したがって、補間部4で算出される補間画素値5には、補間点を中心とする画素領域における空間周波数の高い成分は含まれないが、画素補正成分7には、その画素領域における高い空間周波数成分が含まれることになる。そして、補正部8では、図2(c)の数式に示されているように、画素補正成分7が加算(あるいは積算)されて、各色信号の補間画素値5が補正され、補間点(X33)における各色信号の新たな画素値9(G'33,R'33,B'33)が算出される。

0028

次に、図3を参照して、R画素ライン上のG画素上に補間点が設定された場合の処理動作について説明する。図3において、(a)は画素配置例、(b)補正成分算出力のフィルタ係数、(c)は補間処理、補正成分算出処理および補正処理を示す数式である。

0029

R画素ライン上のG画素上に補間点が設定された場合の処理動作は、図2で示したR画素上に補間点が設定された場合の処理動作と比較して、補間点が画素ライン方向に1画素分シフトしたものと見なすことができる。したがって、補間部4、補正成分算出部6および補正部8での処理動作は、両者ともほぼ同じとなる。

0030

但し、補間点(X34)が元々G画素であるため、補間部4で補間画素値5を算出するための数式、および補正成分算出部6で画素補正成分7を算出するための数式が、図3(c)のように変化する。また、補正成分算出部6で画素補正成分7を算出するためのフィルタ係数が図3(b)のように変化する。

0031

図4は補正成分算出部で得られる画素補正成分の空間周波数特性を示す説明図であり、(a)には図2(b)の場合、(b)には図3(b)の場合が示されている。この例では、前記HF式における補正倍率gfを16とした場合が示されている。

0032

なお、図2,3では、補間点がR画素ライン上に位置する場合について説明したが、補間点がB画素ライン上に位置する場合については、図2,3のR画素とB画素とが入れ替わったものと見なすことができる。したがって、補間点がB画素ライン上に位置する場合は、図2(c)および図3(c)で示される各数式において、RとBとを入れ替えてそれぞれの数式を用いればよい。

0033

このように、本発明は、補間部4において補間点を含む所定の補間領域12内に位置する同一色の画素の画素値から、その補間点における各補間画素値5をそれぞれ算出するとともに、補正成分算出部6において補間部4で用いる補間領域を含むより広い範囲の補正領域13内に位置する複数の画素の画素値から、その補間点での画素補正成分7を算出し、補正部8においてこの画素補正成分7を用いて各補間画素値5を補正するようにしたものである。

0034

したがって、補間部4における低次補間では得られない高い空間周波数成分が、画素補正成分7を用いた補正により補われ、高い空間周波数成分を含む新たな画素値が得られる。これにより、従来のように、広い範囲の画素の画素値を用いてすべての色信号についてそれぞれ高次補間を行ったり、補間点周辺のさまざまな条件による複雑な補間処理を行うことなく、比較的簡素な処理により高い周波数成分を有する十分な画質の画像を得ることができる。

0035

また、補正成分算出部6において、画素補正成分7を算出する場合、図2および図3に示すように、画像信号の輝度成分を代表する色信号を有する複数の画素の画素値、例えばベイヤ配列の画像信号ではG画素の画素値のみを用いて画素補正成分7を算出している。

0036

したがって、補正部8において各色信号の画素の画素値に対して、輝度成分についてのみ補正することができ、色バランスを変化させることもない。また、輝度成分を代表する画素は、通常、画素数が多く、最も高い周波数成分を有しているので、同色の画素のみから補間した画素値に比べて、より高い周波数成分を含む新たな画素値を得ることができる。

0037

次に、図5を参照して、本発明の第2の実施の形態について説明する。図5は本発明の第2の実施の形態による画像処理動作を示す説明図であり、(a)は画素配置例、(b)補正成分算出力のフィルタ係数、(c)は補間処理、補正成分算出処理および補正処理を示す数式である。前述した第1の実施の形態では、画素上に補間点を設定した場合について説明したが、補間点については画素と同じ位置に限定されるものではなく、画素位置からずれた位置すなわち画素と画素との間に設定してもよい。

0038

本実施の形態では、画素間に補間点aを設定した場合について説明する。図5(a)では、図2(a)の補間点X33であるR画素R33から右上にずれた4つ画素の間、R画素R33、G画素G32、G画素G43およびB画素B42に囲まれた位置に補間点aが設定さている。この場合、補間部4では、図5(c)に示す数式に基づき、補間点aを含む2画素×2画素の補間領域14Gまたは3画素×3画素の補間領域14R,14Bに含まれる同一色の周囲画素から補間画素値5(Ga,Ra,Ba)が算出される。

0039

これと並行して、補正成分算出部6では、補間点aの周囲に位置する複数の画素であって、補間部4で用いた補間領域を含むより広い範囲の画素の画素値と、図5(b)に示すフィルタ係数および補正倍率(重み係数)gfとを用いて、図5(c)に示す数式により、補間点aにおける各色信号の画素値を補正する画素補正成分7(HFa)が生成される。特に、画素補正成分7の算出に用いる画素として、補間部4での補間処理に用いた補間点の周囲の画素の範囲と比較して、補間点aを中心としたより広い範囲、ここではフィルタ係数に対応する4画素×4画素の補正領域15内に位置する所定画素が用いられる。

0040

したがって、補間部4で算出される補間画素値5には、補間点を中心とする画素領域での高い空間周波数成分が含まれないが、画素補正成分7には、その画素領域と係数に応じた特性で高い空間周波数成分が含まれることになる。その後、補正部8では、図5(c)の数式に示されているように、画素補正成分7が加算(あるいは積算)されて、各色信号の補間画素値5が補正され、補間点aにおける各色信号の新たな画素値9(G'a,R'a,B'a)が算出される。

0041

図6は補間点の設定位置を示す説明図である。図5では、R画素R33の右上に補間点aを設定した場合について説明したが、補間点aの設定位置は、このほか図6(a)〜図6(c)に示すようにR画素R33の左上、右下および左下の各位置に設定する場合が考えられる。なお、図6(a)については、図5(a)の画素配置例を左右反転(または90゜回転)させたものとみなすことができ、図5(b)のフィルタ係数を左右反転(または90゜回転)させて用いればよい。

0042

また、図6(b),図6(c)については、図5および図6(b)についてR画素とB画素とが入れ替わったものと見なすことができ、RとBとを入れ替えて算出すればよい。したがって、いずれの場合も、図5(c)の数式と同様にして、補間点aを含む2画素×2画素または3画素×3画素の補間領域内の画素から補間画素値5が算出され、その補間領域より広い4画素×4画素の補正領域内の所定画素から画素補正成分7が算出される。

0043

なお、図5では、R画素の右上に補間点が位置する場合について説明したが、補間点がG画素やB画素の右上に位置する場合については、図5および図6で示したいずれかの場合に対応する。例えば、R画素ライン上のG画素の右上に補間点aを設定した場合、着目画素と補間点との位置関係は、図6(a)と一致する。したがって、図5および図6(a)〜(c)に示した4パターンですべての場合の処理を実行できる。

0044

なお、図7は補正成分算出部で得られる画素補正成分の空間周波数特性を示す説明図であり、(a)には図5の場合、(b)には図6(a)の場合が示されている。この例では、前記HF式における補正倍率gfを32とした場合が示されている。

0045

このように、補間点を画素位置からずれた位置に設定した場合でも、前述の第1の実施の形態と同様にして新たな画素値を算出でき、比較的簡素な処理により高い空間周波数成分を有する十分な画質の画像を得ることができる。また、画像信号の輝度成分を代表する色信号を有する複数の画素の画素値、例えばベイヤ配列の画像信号ではG画素の画素値のみを用いて画素補正成分7を算出ようにしたので、補正部8において各色信号の画素の画素値に対して、ほぼ輝度成分についてのみ補正することができ、色バランスを変化させることもない。

0046

なお、補正成分算出に用いた4画素×4画素の領域のように、この領域の1辺の画素数が偶数の場合、1画素ごとに画素補正成分7の空間周波数特性は異なるが、図7に示したように、これは方向が異なるだけで特性そのものは同じである。したがって、1辺の画素数が奇数の場合に比べて補間点位置に起因する画素補正成分7の特性変化が少ないので、より高画質の画像が得られる。

0047

図8は第2の実施の形態により得られた画像の出力例であり、単板式CCD撮像素子で撮影した画像「イ」を補間処理したもの(シミュレーション結果)である。特に、囲み部分はそれぞれの画像「イ」の部分拡大図(10画素×10画素分)である。図8(a)は、前述の図15で示したものと同様の低次補間のみを行ったものである。

0048

これに対して、図8(b)は、図2図3あるいは図5係数フィルタを用いて本発明を適用したものである。両者を比較すると、その拡大部に示されているように、図8(b)は図8(a)に比較して、黒色から白色に変移するエッジ部分において、原画像に対するボケの発生や、偽色(本来、その画素位置には存在しないはずの色)の発生が抑制され、画質の高いクリアな画像が得られていることがわかる。

0049

また、図8(a)の拡大部において、黒画素および白画素以外に色バランスがくずれた偽色画素が多数発生しているのに対して、図8(b)ではその発生が1/2程度に低減されている。

0050

次に、図9を参照して、本発明の第3の実施の形態について説明する。図9は第3の実施の形態による画像処理装置を示すブロック図である。前述した図1では、補間部4および補正成分算出部6において画像信号1を直接取り込む場合について説明したが、本実施の形態では図9に示すように領域値算出部2を設けて画像信号1を取り込んで前処理し、補間部4Aおよび補正成分算出部6Aに分配するようにしたものである。

0051

図9において、2は画像信号1を取り込み、補間点を中心とする複数の画素からなるサブマトリクス上に予め設定されている各画素領域ごとに、その画素領域に属する画素の画素値の和を領域値3として算出出力する領域値算出部である。そして、領域値算出部2で得られた各領域値3は、画素ブロックの取込みに同期して並列出力される。

0052

一方、補間部4Aおよび補正成分算出部6Aで行われる処理は、前述の図1の補間部4および補正成分算出部6と同様であるが、画像信号1を直接取り込むのではなく、領域値算出部2から並列出力される各領域値3を選択的に用いて、対応するサブマトリクスの補間点における補間画素値5および画素補正成分7を順次算出出力する。

0053

図10は領域値算出部の動作を示す説明図であり、(a)は画像信号の2次元平面画像、(b)はサブマトリクス、(c)はサブマトリクスに設定された領域群を示している。領域値算出部2では、図10(a)に示すように、画像信号1を構成する各画素値を所定画素ライン数分(j方向)、ここでは画素補正成分7の算出に必要な画素ライン数として5画素ライン分だけ並列して同一画素列ごとに画素ブロック21として順次取込む。

0054

そして、図10(b)に示すように、これら連続して取り込んだ所定数(i方向)、ここでは画素補正成分7の算出に必要な画素列数として5画素列分の画素ブロック21からサブマトリクス22を構成している。これにより、サブマトリクス22が、2次元平面画像上をi方向に1画素分ずつシフトしていくことになる。

0055

領域値算出部2では、このようにして構成したサブマトリクス22のうち、図10(c)に示すように、予め設定されている各画素領域A〜Fごとに、その画素領域に属する画素の画素値の和すなわち領域値3を算出するとともに、これら各領域値を画素ブロック21の取込みに同期して並列出力する。そして、補間部4Aおよび補正成分算出部6Aでは、これら並列出力される各領域値を選択的に用いて、対応するサブマトリクスの補間点における補間画素値および画素補正成分を順次算出出力する。

0056

なお、各画素領域は、後段の補間部4Aおよび補正成分算出部6Aで用いる数式に基づき設定すればよく、図10(c)には、前述の第1の実施の形態で用いた補間処理および画像補正成分算出処理を用いる場合の画素領域A〜Fが示されている。以下では、この画素領域A〜Fが設定されている場合を例として説明する。

0057

図11は領域値算出部の構成例を示すブロック図である。図11において、21〜25は、それぞれ直列接続された4つの1ピクセルクロックディレイ211〜214,221〜224,231〜234,241〜244,251〜254からなるシフトレジスタであり、それぞれ画素ブロック21の各画素値Vi1〜Vi5ごとに並列的に設けられている。なお、1ピクセルクロックディレイ(以下、ディレイという)とは、画素ライン方向(i方向)のクロック信号に同期して、入力された画素値を遅延出力するラッチ回路である。

0058

したがって、連続する5つの画素ブロック21が順次取り込まれた場合、シフトレジスタ21〜25の各ディレイの出力から、サブマトリクス22の各画素位置における画素値が出力される。そして、加算器201〜207により、各画素領域ごとにそれに属する画素と対応するディレイの出力がすべて加算され、それぞれの領域値が得られる。

0059

例えば、加算器201では、図10(c)の領域Aに対応するディレイ221,223,241,243が加算され領域値Aが得られる。このようにして、領域値算出部2では、取り込まれたサブマトリクス22から各領域値3が算出され並列的に出力される。

0060

図12は補間部および補正成分算出部の構成例を示すブロック図である。補間部4AはそれぞれR画素,B画素およびG画素に関する補間処理を行うR補間部41、B補間部42およびG補間部43から構成されている。これら補間部41〜43では、積算器除算器)や加算器を用いて補間点の位置に応じた複数の補間画素値を並列的に算出している。

0061

そして、実際の補間点の位置を示すO/E信号およびR/B信号、あるいはO/E信号のみに基づき、対応する補間画素値がセレクタ41A〜43Aにより選択出力され、補間点における補間画素値5(R,B,G)として出力される。なお、R/B信号とは、補間点がR画素ライン上にあるのかB画素ライン上にあるのかを示すR/B信号であり、O/E信号とは、補間点がG画素上にあるのか否かを示す信号である。

0062

これと同様にして、補間成分算出部6Aでも、積算器(除算器)や加算器を用いて補間点の位置に応じた複数の補間画素値を並列的に算出している。そして、実際の補間点の位置を示すO/E信号に基づき、対応する補間画素値がセレクタ61により選択出力され、補間点における画素補正成分7(HF)として出力される。

0063

なお、画素補正成分の算出に用いるフィルタ係数の各係数として、2の累乗値の和を用いるとともに、これら各係数の和が2の累乗となる係数を用いることにより、補間成分算出部6Aで用いる積算器(除算器)をビットシフト回路で構成することができ、回路構成の大幅な簡略化を実現できる。

0064

図13は補正部の構成例を示すブロック図である。同図において、81は画素補正成分7に対して2の累乗値を積算(除算)する複数の積算器からなる積算部であり、各積算器が互いに並列接続されている。82は補正倍率(重み係数)gfに基づき積算部81の各積算器の出力のうちの1つ以上を選択的に加算する加算器である。

0065

84は補間画素値5(R,B,G)に対して加算器82の出力83を個別に加算し、画素補正成分7により補正された補間点における新たな補間画素値9(R’,B’,G’)として出力する加算器である。したがって、補正倍率gfを任意に選択入力することにより、このgfに応じた強さだけ補間画素値5を補正することができる。

0066

また、積算部81として、2の累乗値を積算する複数の積算器で構成するようにしたので、簡素な回路構成で任意の補正倍率gfを画素補正成分7に積算できる。なお、画素補正成分7の基準レベルが補間点の位置に応じて変化する場合は、補間点の位置情報に応じて、gfを自動的に切り替え選択することにより、画像補正成分7基準レベルを調整できる。

0067

このように、第3の実施の形態では、領域値算出部2を設けて、サブマトリクス22上に予め設定されている各画素領域ごとに、その画素領域に属する画素の画素値の和を領域値3として算出するとともに、これら各領域値3を画素ブロック21の取込みに同期して並列出力し、補間部4Aおよび補正成分算出部6Aにおいて、これら並列出力される各領域値を選択的に用いて、対応するサブマトリクス22の補間点における補間画素値および画素補正成分を順次算出出力するようにしたものである。

0068

したがって、画素ブロック21の取込みに同期して、サブマトリクスが画像信号1の2次元平面画像上をシフトしていくとともに、そのサブマトリクスに対応する補間点における各色信号の補間画素値として、画素補正成分7により補正された新たな補間画素値が得られ、結果として画素ブロック21の取込みに同期したパイプライン処理が実現できる。

0069

これにより、DSPなどを用いて数値演算することにより補間処理を行う場合と比較して、より高速に十分な画質の補間画素値を算出できる。なお、本実施の形態では、第1の実施の形態を例として説明したが、第2の実施の形態にも、補正成分算出処理に必要な画素ライン数分および画素列分について回路を構成すれば同様にして本実施例を適用でき、前述と同様の作用効果が得られる。

0070

また、本実施の形態を第2の実施の形態に適用した場合は、必要な画素数が減ってバッファメモリあるいはディレイのためのラッチが削減され、必要な回路面積は減少する。特に、バッファメモリに保持すべきデータのライン数が減るということは、最近のように画素数の多いデジタルスチルカメラのような撮像装置の場合、極めて効果が高い。

0071

次に、図14を参照して、本発明の第4の実施の形態について説明する。図14は本発明の第4の実施の形態による画像処理装置の構成例を示すブロック図である。前述した各実施の形態では、補間部4,4Aで得られた補間画素値5に対して画素補正成分7による補正を実行する場合を例として説明したが、これに限定されるものではなく、補間画素値5に対する各種処理を行った後に画素補正成分7による補正を実行するようにしてもよい。

0072

例えば、図14(a)では、補間部4と補正部8との間に色補正部11Aを設け、補間画素値5に対して色バランスの補正を行った後、画素補正成分7による補正を実行している。また、図14(b)では、補間部4と補正部8との間に信号変換部11Bを設け、補間画素値5を輝度・色差信号に変換した後、その輝度信号に対して画素補正成分7による補正を実行している。

0073

前述したように、画素補正成分7を用いた補間画素値の補正は、輝度値の補正を目的として各色信号の画素値が等しく補正される。したがって、補間画素値5に対して色バランス補正を行う場合には、図14(a)に示すように、この色バランス補正を行った後、画素補正成分7による補正を実行することにより、後で色バランス補正を行う場合と比較して、各色信号について均等に画素値を補正でき、補間点における輝度値を正確に補正できる。

0074

また、補間画素値5に対して輝度・色差信号への変換処理を行う場合にも、図14(b)に示すように、この信号変換処理を行った後、輝度信号に対して画素補正成分7による補正を実行することにより、後で信号変換処理を行う場合と比較して、補間点における輝度値を正確に補正できる。

0075

また、図14(c)では、補間部4と補正部8との間にガンマ補正部11Cを設け、補間画素値5に対してガンマ補正を行った後、その輝度信号に対して画素補正成分7による補正を実行している。一般的なガンマ補正では、輝度が高い領域が圧縮されるため、ガンマ補正後に画素補正成分7による補正を行うことにより、失われた画素成分復元することができる。この場合、補間点付近の輝度を示す統計量に基づき、画素補正成分7による補正実行を制御することにより、所望の輝度領域に対してのみ選択的に失われた画素成分の復元を実行できる。

0076

なお、以上説明した各実施の形態では、正方形の範囲内に存在する画素を用いて、画素補正成分を算出する場合について説明したが、これに限定されるものではなく長方形の範囲内の画素を用いるようにしてもよい。例えば、前述した第2の実施の形態(図5参照)において、i方向に5画素分の長さを有する4画素×5画素の範囲から画素補正成分を算出すれば、図5(a)において、G画素G21−G32−G43−G54の方向だけでなく、G画素G41−G32−G23−G14の方向についても平均して高い空間周波数の補正成分を算出できる。

発明の効果

0077

以上説明したように、本発明は、補間点の周辺に位置する複数の画素であって、補間部で用いる補間領域を含むより広い範囲の補正領域内に位置する複数の画素の画素値を用いて、その補間点の画素値を補正するための画素補正成分を生成する補正成分算出部を設け、この補正成分算出部で得られた補間点に対応する画素補正成分を用いて、補間部から出力されたその補間点における各色信号の補間画素値を補正し、その補間点における各色信号の新たな画素値として出力するようにしたものである。

0078

したがって、補間点の周辺画素領域における空間周波数について、補間部における低次補間では得られない高い空間周波数成分が、画素補正成分を用いた補正により補われ、補正領域の範囲とその係数による空間周波数特性を持つ新たな画素値が得られる。これにより、従来のように、広い範囲の画素の画素値を用いてすべての色信号についてそれぞれ高次補間を行ったり、補間点周辺のさまざまな条件に基づく複雑な補間処理を行うことなく、比較的簡素な処理により高い周波数成分成分を有する十分な画質の画像を得ることができる。

図面の簡単な説明

0079

図1本発明の一実施の形態による画像処理装置のブロック図である。
図2第1の実施の形態による画像処理動作(R画素上に補間点が設定された場合)を示す説明図である。
図3第1の実施の形態による画像処理動作(R画素ライン上のG画素上に補間点が設定された場合)を示す説明図である。
図4補正成分算出部で得られる画素補正成分の空間周波数特性を示す説明図である。
図5第2の実施の形態による画像処理動作を示す説明図である。
図6補間点の設定位置を示す説明図である。
図7補正成分算出部で得られる画素補正成分の空間周波数特性を示す説明図である。
図8第2の実施の形態により得られた画像の出力例を示す説明図である。
図9第3の実施の形態による画像処理装置を示すブロック図である。
図10領域値算出部の動作を示す説明図である。
図11領域値算出部の構成例を示すブロック図である。
図12補間部および補正成分算出部の構成例を示すブロック図である。
図13補正部の構成例を示すブロック図である。
図14第4の実施の形態による画像処理装置の構成例を示すブロック図である。
図15従来の画像処理動作を示す説明図である。

--

0080

1…画像信号、2…領域値算出部、3…領域値、4,4A…補間部、5,5A…補間画素値、6…補正成分算出部、7…画素補正成分、8…補正部、9…画素値(補間・補正後)、10,10A,10B,10C…画像処理装置、11A…色補正部、11B…信号変換部、11C…ガンマ補正部、12,14R,14G,14B…補間領域、13,15…補正領域、21…画素ブロック、22…サブマトリクス。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ