図面 (/)

技術 画像処理装置

出願人 メディア・テック・ユーエスエイ・インコーポレーテッド
発明者 笹井俊博
出願日 1999年8月20日 (20年10ヶ月経過) 出願番号 1999-233557
公開日 2001年3月30日 (19年3ヶ月経過) 公開番号 2001-086522
状態 特許登録済
技術分野 画像処理 カラーテレビジョン画像信号発生装置
主要キーワード 再サンプリング回路 補間算出 補正領域内 領域値 切り替え選択 保持出力 補間領域 デジタルローパスフィルタ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2001年3月30日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (14)

課題

多くの処理や消費電力を必要とすることなく高速高画質縮小画像を得る。

解決手段

次元平面画像1A上から画素ライン方向iおよび画素列方向jにn画素間隔各補間点11Aを選択し、補間部4において補間点11Aを中心とする補間領域12A内に位置する同一色の画素画素値から、その補間点11Aにおける各補間画素値5をそれぞれ算出するとともに、補正成分算出部6において補正領域13A内に位置する複数の画素の画素値から、その補間点11Aでの画素補正成分7を算出し、補正部8においてこの画素補正成分7を用いて補間画素値5を補正し新たな画素値9を得る。

概要

背景

一般に、単板式のカラーCCDなどの撮像部を用いて撮影を行う電子撮像装置では、複数の色(原色)のうちの1色の画素値しか有しない、2次元平面上にマトリクス状に配列された多数の画素からなる画像から、画素値の補間処理を行うことにより、各画素ごとにすべての色情報(RGBあるいは輝度値色差信号)をもつ画像を生成している。

ここで、撮像部で得られた画像を、その画像より少ない画素数表示装置で表示するには、原画像の大きさを縮小する必要がある。この場合、原画像を構成する画素を単純に間引くと、原画像が持つ情報が欠落して、いわゆるエイリアシングノイズが発生し、得られた画像がスムーズに繋がらない。したがって、画像サイズを縮小する場合、ローパスフィルタで原画像の高域成分を減衰させた後、原画像の画素間隔より大きな間隔で再びサンプリングするといった処理が必要となる。

従来、このような画像縮小処理としては、画素ラインごとアナログあるいはデジタルローパスフィルタ再サンプリング回路を設ける場合もあるが、DSP(ディジタル信号演算処理回路)を用いて、原画像の各画素ごとにすべての色情報をもつ中間画像を生成した後、フィルタ演算処理コンボリューション演算)を行う方法が多く用いられている。

この種の演算処理としては、中間画像の各画素について、サブマトリクスと呼ぶ所定領域に含まれる複数の画素ごとにローパスフィルタ処理し、そのサブマトリクスを少ずつ重なる部分を残しながら原画像上をシフトさせていくという処理が用いられる。

概要

多くの処理や消費電力を必要とすることなく高速高画質縮小画像を得る。

次元平面画像1A上から画素ライン方向iおよび画素列方向jにn画素間隔で各補間点11Aを選択し、補間部4において補間点11Aを中心とする補間領域12A内に位置する同一色の画素の画素値から、その補間点11Aにおける各補間画素値5をそれぞれ算出するとともに、補正成分算出部6において補正領域13A内に位置する複数の画素の画素値から、その補間点11Aでの画素補正成分7を算出し、補正部8においてこの画素補正成分7を用いて補間画素値5を補正し新たな画素値9を得る。

目的

本発明はこのような課題を解決するためのものであり、多くの処理や消費電力を必要とすることなく高速で高画質の縮小画像が得られる画像処理装置を提供することを目的としている。

効果

実績

技術文献被引用数
1件
牽制数
2件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

次元平面上にマトリクス状に配置された多数の画素からなり、かつ各画素がそれぞれ個別の色フィルタを有する撮像素子から得られた所定色情報のレベルを示す画素値のみを有する元の画像信号から、この画像信号の1/n(nは2以上の整数)の大きさの2次元平面上に配置された各補間点ごとにすべての色情報のレベルを示す画素値を有する新たな画像信号を生成する画像処理装置であって、画像信号から少なくとも画素ライン方向または画素列方向にn画素間隔で選択された補間点について、その補間点を中心とするm×m画素(mは2以上の整数)の補間領域内に位置する同一色の画素の画素値を用いて、補間点における各色情報の画素値をそれぞれ補間算出し、各色情報ごとにその補間点における補間画素値として出力する補間部と、補間点を中心とし前記補間領域を含むより広い範囲のM×M画素(Mはmおよびn以上の整数)の補正領域内に位置する複数の画素の画素値を用いて、その補間点の画素値を補正するための画素補正成分を生成する補正成分算出部と、この補正成分算出部で得られた補間点に対応する画素補正成分を用いて、補間部から出力されたその補間点における各色情報の補間画素値を補正し、その補間点における各色情報の新たな画素値として出力する補正部とを備えることを特徴とする画像処理装置。

請求項2

請求項1記載の画像処理装置において、前記補正部は、補間点の間隔nが補間領域の大きさm以下の場合、補間画素値に画素補正成分を加算することにより、補間点における新たな画素値を算出することを特徴とする画像処理装置。

請求項3

請求項1記載の画像処理装置において、前記補正部は、補間点の間隔nが補間領域の大きさmより大きい場合、補間画素値から画素補正成分を減算することにより、補間点における新たな画素値を算出することを特徴とする画像処理装置。

請求項4

請求項1記載の画像処理装置において、前記補正成分算出部は、画像信号の輝度成分を代表する色情報を有する複数の画素の画素値のみを用いて、その補間点に対応する画素補正成分を算出することを特徴とする画像処理装置。

請求項5

請求項1記載の画像処理装置において、前記補間部は、画像信号からM画素ライン数分だけ並列して同一画素列ごとに画素ブロックとして順次取込まれ、かつこれら連続して取り込まれたM個の画素ブロックからなる補正領域に含まれる各画素の画素値を用いて、その補正領域の補間点における補間画素値を順次算出し、前記補正成分算出部は、前記補間部における補間画素値の算出に用いた前記補正領域と同じ補正領域に含まれる各画素の画素値を用いて、その補正領域の補間点の画素値を補正するための画素補正成分を順次算出出力することを特徴とする画像処理装置。

請求項6

請求項1記載の画像処理装置において、画像信号を構成する各画素値をM画素ライン数分だけ並列して同一画素列ごとに画素ブロックとして順次取込むことにより、これら連続して取り込まれたM個の画素ブロックから補正領域を構成し、その補正領域に対して予め設定されている各領域に含まれる画素の画素値の和をそれぞれの領域ごとの領域値として算出し、これら各領域値を画素ブロックの取込みに同期して並列出力する領域値算出部をさらに備え、前記補間部は、この領域値算出部から並列出力される各領域値を選択的に用いて、対応する補正領域の補間点における補間画素値を順次算出出力し、前記補正成分算出部は、前記領域値算出部から並列出力される各領域値を選択的に用いて、対応する補正領域の補間点の画素値を補正するための画素補正成分を順次算出出力することを特徴とする画像処理装置。

請求項7

請求項1記載の画像処理装置において、前記補間部は、補間算出時に用いる各画素の画素値とこれら各画素に対応する係数との積の和から補間点における補間画素値を算出し、これら係数として各係数が2の累乗の和からなり、かつ各係数の和が2の累乗となる係数を用いることを特徴とする画像処理装置。

請求項8

請求項1記載の画像処理装置において、前記補正成分算出部は、補正成分算出時に用いる各画素の画素値とこれら各画素に対応する係数との積の和から補正成分を算出し、これら係数として各係数が2の累乗の和からなり、かつ各係数の和が2の累乗となる係数を用いることを特徴とする画像処理装置。

技術分野

0001

本発明は、画像処理装置に関し、特に単板電子カメラ装置などで撮影された2次元カラー画像信号から高画質の画像を生成する画像処理装置に関するものである。

背景技術

0002

一般に、単板式のカラーCCDなどの撮像部を用いて撮影を行う電子撮像装置では、複数の色(原色)のうちの1色の画素値しか有しない、2次元平面上にマトリクス状に配列された多数の画素からなる画像から、画素値の補間処理を行うことにより、各画素ごとにすべての色情報(RGBあるいは輝度値色差信号)をもつ画像を生成している。

0003

ここで、撮像部で得られた画像を、その画像より少ない画素数表示装置で表示するには、原画像の大きさを縮小する必要がある。この場合、原画像を構成する画素を単純に間引くと、原画像が持つ情報が欠落して、いわゆるエイリアシングノイズが発生し、得られた画像がスムーズに繋がらない。したがって、画像サイズを縮小する場合、ローパスフィルタで原画像の高域成分を減衰させた後、原画像の画素間隔より大きな間隔で再びサンプリングするといった処理が必要となる。

0004

従来、このような画像縮小処理としては、画素ラインごとアナログあるいはデジタルローパスフィルタ再サンプリング回路を設ける場合もあるが、DSP(ディジタル信号演算処理回路)を用いて、原画像の各画素ごとにすべての色情報をもつ中間画像を生成した後、フィルタ演算処理コンボリューション演算)を行う方法が多く用いられている。

0005

この種の演算処理としては、中間画像の各画素について、サブマトリクスと呼ぶ所定領域に含まれる複数の画素ごとにローパスフィルタ処理し、そのサブマトリクスを少ずつ重なる部分を残しながら原画像上をシフトさせていくという処理が用いられる。

発明が解決しようとする課題

0006

しかしながら、従来の方法では、フィルタ演算処理を行う前に、原画像の各画素ごとにすべての色情報をもつ中間画像を生成する必要があるため、画像の記録を必要としない静止画像を得て表示する場合、例えばディジタルスチルカメラ構図決めのためにそのファインダーに画像を表示する場合でも、ファインダーという比較的画素数の少ない小さなサイズの画像を得るためだけに、わざわざ画素数の多い大きなサイズの中間画像を生成していた。

0007

このために処理時間がかかりリアルタイムで画像が得られないため、上記のような比較的迅速な画像更新表示が求められる構図決めといった機能を実用レベルで実現できないという問題点があった。また、記録用高画質画像を得るよりも多くの演算処理を高速で行う必要があるため、それらに伴って電力消費が増大し、例えばデジタルスチルカメラ等の電池で動く機器では、十分な稼働時間が得られないという問題点があった。

0008

本発明はこのような課題を解決するためのものであり、多くの処理や消費電力を必要とすることなく高速で高画質の縮小画像が得られる画像処理装置を提供することを目的としている。

課題を解決するための手段

0009

このような目的を達成するために、本発明による画像処理装置は、2次元平面上にマトリクス状に配置された多数の画素からなり、かつ各画素がそれぞれ個別の色フィルタを有する撮像素子から得られた所定色情報のレベルを示す画素値のみを有する元の画像信号から、この画像信号の1/n(nは2以上の整数)の大きさの2次元平面上に配置された各補間点ごとにすべての色情報のレベルを示す画素値を有する新たな画像信号を生成する画像処理装置であって、画像信号から画素ライン方向および画素列方向にn画素間隔で選択された補間点について、その補間点を中心とするm×m画素(mは2以上の整数)の補間領域内に位置する同一色の画素の画素値を用いて、補間点における各色情報の画素値をそれぞれ補間算出し、各色情報ごとにその補間点における補間画素値として出力する補間部を備えるものである。

0010

さらに、補間点を中心とし前記補間領域を含むより広い範囲のM×M画素(Mはmおよびn以上の整数)の補正領域内に位置する複数の画素の画素値を用いて、その補間点の画素値を補正するための画素補正成分を生成する補正成分算出部と、補正部とを備え、この補正部において、補正成分算出部で得られた補間点に対応する画素補正成分を用いて、補間部から出力されたその補間点における各色情報の補間画素値を補正し、その補間点における各色情報の新たな画素値として出力するようにしたものである。

0011

また、補正部で、補間点の間隔nが補間領域の大きさm以下の場合、補間画素値に画素補正成分を加算することにより、補間点における新たな画素値を算出するようにしたものである。また、補正部で、補間点の間隔nが補間領域の大きさmより大きい場合、補間画素値から画素補正成分を減算することにより、補間点における新たな画素値を算出するようにしたものである。

0012

また、補正成分算出部で、画像信号の輝度成分を代表する色情報を有する複数の画素の画素値のみを用いて、その補間点に対応する画素補正成分を算出するようにしたものである。また、補間部で、高次で補間された補間画素値であって、かつ高域強調する空間周波数特性を有する補間画素値を算出するようにしたものである。

0013

さらに、補間部で、画像信号からM画素ライン数分だけ並列して同一画素列ごとに画素ブロックとして順次取込まれ、かつこれら連続して取り込まれたM個の画素ブロックからなる補正領域に含まれる各画素の画素値を用いて、その補正領域の補間点における補間画素値を順次算出し、補正成分算出部で、補間部における補間画素値の算出に用いた補正領域と同じ補正領域に含まれる各画素の画素値を用いて、その補正領域の補間点の画素値を補正するための画素補正成分を順次算出出力するようにしたものである。

0014

また、画像信号を構成する各画素値をM画素ライン数分だけ並列して同一画素列ごとに画素ブロックとして順次取込むことにより、これら連続して取り込まれたM個の画素ブロックから補正領域を構成し、その補正領域に対して予め設定されている各領域に含まれる画素の画素値の和をそれぞれの領域ごとの領域値として算出し、これら各領域値を画素ブロックの取込みに同期して並列出力する領域値算出部をさらに備え、補間部で、この領域値算出部から並列出力される各領域値を選択的に用いて、対応する補正領域の補間点における補間画素値を順次算出出力し、補正成分算出部で、領域値算出部から並列出力される各領域値を選択的に用いて、対応する補正領域の補間点の画素値を補正するための画素補正成分を順次算出出力するようにしたものである。

0015

さらに、補間部で、補間算出時に用いる各画素の画素値とこれら各画素に対応する係数との積の和から補間点における補間画素値を算出し、これら係数として各係数が2の累乗の和からなり、かつ各係数の和が2の累乗となる係数を用いるようにしたものである。また、補正成分算出部で、補正成分算出時に用いる各画素の画素値とこれら各画素に対応する係数との積の和から補正成分を算出し、これら係数として各係数が2の累乗の和からなり、かつ各係数の和が2の累乗となる係数を用いるようにしたものである。

発明を実施するための最良の形態

0016

次に、本発明について図面を参照して説明する。図1は本発明の第1の実施の形態である画像処理装置のブロック図である。同図において、画像処理装置10には、入力される画像信号1で構成される2次元平面上から少なくとも画素ライン方向または画素列方向にn画素間隔(nは2以上の整数)で選択された補間点について、その補間点を中心とするm画素×m画素(mは2以上の整数)の補間領域内に位置する同一色の周囲画素の画素値を用いて、その補間点における各色情報の画素値をそれぞれ補間算出し、各色情報ごとにその補間点における補間画素値5として出力する補間部4が設けられている。

0017

また、補間点の周辺に位置する画素であって、補間部4で用いる補間領域を含むより広いM画素×M画素(Mはnおよびm以上の整数)の補正領域内に位置する複数の画素の画素値を用いて、補間点の画素値を補正する画素補正成分7を生成する補正成分算出部6と、この補正成分算出部6で得られた画素補正成分7を用いて、補間部4から出力された補間点における各色情報の補間画素値5を補正し、その補間点における各色情報の新たな画素値9として出力する補正部8とが設けられている。

0018

以下では、画像信号1として、単板式のカラーCCDなどの撮像素子から出力される画像信号、すなわちRGBの各画素が略市松状に配列されたいわゆるベイヤ配列の画像信号を用いた場合について説明するが、これに限定されるものではない。また本発明は、入力される画像信号1で構成される2次元平面上から少なくとも画素ライン方向または画素列方向のいずれか一方向に1/nだけ縮小する場合に適用できるとともに、画素ライン方向および画素列方向の両方向に1/nだけ縮小する場合に適用できる。

0019

次に、図2を参照して、本発明の第1の実施における概略動作について説明する。図2は第1の実施の形態における概略動作を示す説明図であり、(a)は画像信号の2次元平面画像、(b)は各領域の設定例、(c)は所望の画像信号の2次元平面画像を示している。ここでは、入力される画像信号1で構成される2次元平面画像1Aの大きさを画素ライン方向に1/3(n=3)に縮小して、新たな画像信号9からなる2次元平面画像9Aを得る例について説明するが、画素列方向にのみ縮小する場合、さらには画素ライン方向および画素列方向の両方向に縮小する場合についても同様である。

0020

図2では、補間領域の大きさmをm=3とし、補正領域の大きさMをM=5とした例が示されている。この場合、補間点11A,11B‥は、図2(a)に示すように、2次元平面画像1A上から画素ライン方向iおよび画素列方向jに3(n=3)画素間隔で選択され、所望の2次元平面画像9Aを構成する画素91A,91B‥となる。

0021

図2(b)において、12Aは補間点11Aを中心とする3画素×3画素(m=3)の補間領域であり、補間部4ではこの補間領域12Aに含まれる画素の画素値を用いて、補間点11Aにおける補間画素値5が算出される。また、13Aは補間点11Aを中心とする5画素×5画素(M=5)の補正領域であり、補正成分算出部6ではこの補正領域13Aに含まれる画素の画素値を用いて、補間点11Aにおける画素補正成分7を算出する。

0022

次に、図3および図4を参照して、本発明の第1の実施の形態による画像処理動作の詳細について説明する。図3および図4は本発明の第1の実施の形態による画像処理動作の詳細を示す説明図であり、特に図3ではR画素上に補間点が設定された場合が例示されており、図4ではR画素ライン上のG画素上に補間点が設定された場合が例示されている。

0023

まず、図3を参照して、R画素上に補間点が設定された場合の処理動作について説明する。図3において、(a)は画素配置例、(b)は補正成分算出用のフィルタ係数、(c)は補間処理、補正成分算出処理および補正処理を示す数式である。

0024

補間部4では、入力される画像信号1の各画素のうち、図3(a)に示すような補間点X33の周囲直近に位置する所定画素の画素値を用いて、その中心に設定されている補間点(X33)における補間輝度値5(G33,R33,B33)を算出する。特に、各補間輝度値5は、補間点X33の周囲近傍すなわち補間点X33を中心とする3画素×3画素の補間領域12内に位置する同一色の周囲画素の画素値を用いて、図3(c)に示す数式により算出される。

0025

これと並行して、補正成分算出部6では、補間部4で用いた補間点X33の周囲に位置する所定画素の画素値と、図3(b)に示すフィルタ係数および補正倍率重み係数)gfとを用いて、図3(c)に示す数式により、補間点における各色情報の画素値を補正する画素補正成分7(HF33)が生成される。特に、画素補正成分7の算出に用いる画素として、補間部4での補間処理に用いた補間領域と比較して、その補間領域を含み、さらにその補間領域より広い範囲、ここではフィルタ係数に対応する5画素×5画素の補正領域13内に位置する所定画素が用いられる。

0026

したがって、補間部4で算出される補間画素値5には、補間点を中心とする画素領域における空間周波数の高い成分は含まれないが、画素補正成分7には、その画素領域における高い空間周波数成分が含まれることになる。そして、補正部8では、図3(c)の数式に示されているように、画素補正成分7が加算(あるいは積算)されて、各色情報の補間画素値5が補正され、補間点(X33)における各色情報の新たな画素値9(G'33,R'33,B'33)が算出される。

0027

次に、図4を参照して、R画素ライン上のG画素上に補間点が設定された場合の処理動作について説明する。図4において、(a)は画素配置例、(b)補正成分算出力のフィルタ係数、(c)は補間処理、補正成分算出処理および補正処理を示す数式である。R画素ライン上のG画素上に補間点が設定された場合の処理動作は、図3で示したR画素上に補間点が設定された場合の処理動作と比較して、補間点が画素ライン方向に1画素分シフトしたものと見なすことができる。

0028

したがって、補間部4、補正成分算出部6および補正部8での処理動作は、両者ともほぼ同じとなる。但し、補間点(X34)が元々G画素であるため、補間部4で補間画素値5を算出するための数式、および補正成分算出部6で画素補正成分7を算出するための数式が、図4(c)のように変化する。また、補正成分算出部6で画素補正成分7を算出するためのフィルタ係数が図4(b)のように変化する。

0029

このように、本発明は、2次元平面画像1A上から画素ライン方向iおよび画素列方向jにn画素間隔で各補間点11Aを選択し、補間部4において補間点11Aを中心とする補間領域12A内に位置する同一色の画素の画素値から、その補間点11Aにおける各補間画素値5をそれぞれ算出するとともに、補正成分算出部6において補間部4で用いる補間領域12Aを含むより広い範囲の補正領域13A内に位置する複数の画素の画素値から、その補間点11Aでの画素補正成分7を算出し、補正部8においてこの画素補正成分7を用いて各補間画素値5を補正するようにしたものである。

0030

したがって、補間部4における補間領域12Aを用いた補間では損なわれてしまう成分が、補間領域12Aを含むより広い範囲の補正領域13Aから算出された画素補正成分7により補われ、高い空間周波数成分を含む新たな画素値が得られる。これにより、補間領域の画素を用いた補間処理と、画像サイズ縮小に伴う画素情報の欠落を抑制するためのフィルタ演算処理とを並列的に一括して処理することができる。

0031

このことから、従来のように、原画像の各画素ごとにすべての色情報をもつ中間画像を生成する必要がなくなり、多くの処理を必要とすることなく、各画素ごとにすべての色情報を持つ縮小サイズの画像を十分な画質で得ることができる。したがって、例えばディジタルスチルカメラで構図決めのためにそのファインダーに画像を表示する場合、大きな消費電力を必要とすることなく高速かつ高画質で表示できる。

0032

また、補正成分算出部6において、画素補正成分7を算出する場合、図3および図4に示すように、画像信号の輝度成分を代表する色情報を有する複数の画素の画素値、例えばベイヤ配列の画像信号ではG画素の画素値のみを用いて画素補正成分7を算出している。したがって、補正部8において各色情報の画素の画素値に対して、輝度成分についてのみ補正することができ、色バランスを変化させることもない。また、輝度成分を代表する画素は、通常、画素数が多く、最も高い周波数成分を有しているので、同色の画素のみから補間した画素値に比べて、より高い周波数成分を含む新たな画素値を得ることができる。

0033

次に、図5を参照して、本発明の第2の実施の形態について説明する。図5は本発明の第2の実施の形態による画像処理動作を示す説明図であり、(a)は画素配置例、(b)補正成分算出力のフィルタ係数、(c)は補間処理、補正成分算出処理および補正処理を示す数式である。前述した第1の実施の形態では、画素上に補間点を設定した場合について説明したが、補間点については画素と同じ位置に限定されるものではなく、画素位置からずれた位置すなわち画素と画素との間に設定してもよい。

0034

本実施の形態では、画素間に補間点aを設定した場合について説明する。図5(a)では、図2(a)の補間点X33であるR画素R33から右上にずれた4つ画素の間、R画素R33、G画素G32、G画素G43およびB画素B42に囲まれた位置に補間点aが設定さている。この場合、補間部4では、図5(c)に示す数式に基づき、補間点aを含む2画素×2画素(m=2)の補間領域14Gまたは3画素×3画素(m=3)の補間領域14R,14Bに含まれる同一色の周囲画素から補間画素値5(Ga,Ra,Ba)が算出される。

0035

これと並行して、補正成分算出部6では、補間点aの周囲に位置する複数の画素であって、補間部4で用いた補間領域を含むより広い範囲の画素の画素値と、図5(b)に示すフィルタ係数および補正倍率(重み係数)gfとを用いて、図5(c)に示す数式により、補間点aにおける各色情報の画素値を補正する画素補正成分7(HFa)が生成される。特に、画素補正成分7の算出に用いる画素として、補間部4での補間処理に用いた補間点の周囲の画素の範囲と比較して、補間点aを中心としたより広い範囲、ここではフィルタ係数に対応する4画素×4画素(M=4)の補正領域15内に位置する所定画素が用いられる。

0036

したがって、補間部4で算出される補間画素値5には、補間点を中心とする画素領域での高い空間周波数成分が含まれないが、画素補正成分7には、その画素領域と係数に応じた特性で高い空間周波数成分が含まれることになる。その後、補正部8では、図5(c)の数式に示されているように、画素補正成分7が加算(あるいは積算)されて、各色情報の補間画素値5が補正され、補間点aにおける各色情報の新たな画素値9(G'a,R'a,B'a)が算出される。

0037

図6は補間点の設定位置を示す説明図である。図5では、R画素R33の右上に補間点aを設定した場合について説明したが、補間点aの設定位置は、このほか図6(a)〜図6(c)に示すようにR画素R33の左上、右下および左下の各位置に設定する場合が考えられる。なお、図6(a)については、図5(a)の画素配置例を左右反転(または90゜回転)させたものとみなすことができ、図5(b)のフィルタ係数を左右反転(または90゜回転)させて用いればよい。

0038

また、図6(b),図6(c)については、図5および図6(b)についてR画素とB画素とが入れ替わったものと見なすことができ、RとBとを入れ替えて算出すればよい。したがって、いずれの場合も、図5(c)の数式と同様にして、補間点aを含む2画素×2画素または3画素×3画素の補間領域内の画素から補間画素値5が算出され、その補間領域より広い4画素×4画素の補正領域内の所定画素から画素補正成分7が算出される。

0039

図5では、R画素の右上に補間点が位置する場合について説明したが、補間点がG画素やB画素の右上に位置する場合については、図5および図6で示したいずれかの場合に対応する。例えば、R画素ライン上のG画素の右上に補間点aを設定した場合、着目画素と補間点との位置関係は、図6(a)と一致する。したがって、図5および図6(a)〜(c)に示した4パターンですべての場合の処理を実行できる。

0040

このように、補間点を画素位置からずれた位置に設定した場合でも、前述の第1の実施の形態と同様にして新たな画素値を算出でき、比較的簡素な処理により高い空間周波数成分を有する十分な画質の画像を得ることができる。また、画像信号の輝度成分を代表する色情報を有する複数の画素の画素値、例えばベイヤ配列の画像信号ではG画素の画素値のみを用いて画素補正成分7を算出ようにしたので、補正部8において各色情報の画素の画素値に対して、ほぼ輝度成分についてのみ補正することができ、色バランスを変化させることもない。

0041

また、補正成分算出に用いた4画素×4画素(M=4)の領域のように、この領域の1辺の画素数Mが偶数の場合、1画素ごとに画素補正成分7の空間周波数特性は異なるが、これは方向が異なるだけで特性そのものは同じである。したがって、1辺の画素数Mが奇数の場合に比べて補間点位置に起因する画素補正成分7の特性変化が少ないので、より高画質の画像が得られる。

0042

次に、図7を参照して、本発明の第3の実施の形態について説明する。図7は第3の実施の形態による画像処理装置を示すブロック図である。前述した図1では、補間部4および補正成分算出部6において画像信号1を直接取り込む場合について説明したが、本実施の形態では図7に示すように領域値算出部2を設けて画像信号1を取り込んで前処理し、補間部4Aおよび補正成分算出部6Aに分配するようにしたものである。

0043

図7において、2は画像信号1を取り込み、補間点を中心とする処理対象画素からなるサブマトリクス上に予め設定されている各画素領域ごとに、その画素領域に属する画素の画素値の和を領域値3として算出出力する領域値算出部である。そして、領域値算出部2で得られた各領域値3は、画素ブロックの取込みに同期して並列出力される。

0044

一方、補間部4Aおよび補正成分算出部6Aで行われる処理は、前述の図1の補間部4および補正成分算出部6と同様であるが、画像信号1を直接取り込むのではなく、領域値算出部2から並列出力される各領域値3を選択的に用いて、対応するサブマトリクスの補間点における補間画素値5および画素補正成分7を順次算出出力する。

0045

図8は第3の実施の形態における概略動作を示す説明図であり、(a)は画像信号の2次元平面画像、(b)は各領域の設定例を示している。また図9は領域値算出部の動作を示す説明図であり、(a)は補正領域、(b)は補正領域に設定された領域群、(c)は各領域値の算出式を示している。

0046

領域値算出部2では、図8(a)に示すように、画像信号1を構成する各画素値をM画素ライン数分(j方向)、ここでは画素補正成分7の算出に必要な画素ライン数として5画素ライン分だけ並列して同一画素列ごとに画素ブロック21として順次取込む。

0047

そして、図8(b)に示すように、これら連続して取り込んだM個(i方向)、ここでは画素補正成分7の算出に必要な画素列数として5画素列分の画素ブロック21から補正領域と同じ大きさのサブマトリクス22を構成している。これにより、サブマトリクス22が、2次元平面画像上をi方向に1画素分ずつシフトしていくことになる。

0048

領域値算出部2では、このようにして構成したサブマトリクス22のうち、図9(b)に示す予め設定されている各画素領域A〜Fごとに、図9(c)の算出式に基づき、その画素領域に属する画素の画素値の和すなわち領域値3を算出するとともに、これら各領域値を画素ブロック21の取込みに同期して並列出力する。そして、補間部4Aおよび補正成分算出部6Aでは、これら並列出力される各領域値を選択的に用いて、対応するサブマトリクスの補間点における補間画素値および画素補正成分を順次算出出力する。

0049

なお、各画素領域は、後段の補間部4Aおよび補正成分算出部6Aで用いる数式に基づき設定すればよく、図9(b)には、前述の第1の実施の形態で用いた補間処理および画像補正成分算出処理を用いる場合の画素領域A〜Fが示されている。以下では、この画素領域A〜Fが設定されている場合を例として説明する。

0050

図10は領域値算出部の構成例を示すブロック図である。図10において、21〜25は、それぞれ直列接続された4つの1ピクセルクロックディレイ211〜214,221〜224,231〜234,241〜244,251〜254からなるシフトレジスタであり、それぞれ画素ブロック21の各画素値Vi1〜Vi5ごとに並列的に設けられている。なお、1ピクセルクロックディレイ(以下、ディレイという)とは、画素ライン方向(i方向)のクロック信号に同期して、入力された画素値を遅延出力するラッチ回路である。

0051

したがって、連続する5つの画素ブロック21が順次取り込まれた場合、シフトレジスタ21〜25の各ディレイの出力から、サブマトリクス22の各画素位置における画素値が出力される。そして、加算器201〜207により、各画素領域ごとにそれに属する画素と対応するディレイの出力がすべて加算され、それぞれの領域値が得られる。

0052

例えば、加算器201では、図9(b)の領域Aに対応するディレイ221,223,241,243が加算され領域値Aが得られる。このようにして、領域値算出部2では、取り込まれたサブマトリクス22から各領域値3が算出され並列的に出力される。

0053

図11は補間部および補正成分算出部の構成例を示すブロック図である。補間部4AはそれぞれR画素,B画素およびG画素に関する補間処理を行うR補間部41、B補間部42およびG補間部43から構成されている。これら補間部41〜43では、積算器除算器)や加算器を用いて補間点の位置に応じた複数の補間画素値を並列的に算出している。

0054

そして、実際の補間点の位置を示すO/E信号およびR/B信号、あるいはO/E信号のみに基づき、対応する補間画素値がセレクタ41A〜43Aにより選択出力され、補間点における補間画素値5(R,B,G)として出力される。なお、R/B信号とは、補間点がR画素ライン上にあるのかB画素ライン上にあるのかを示すR/B信号であり、O/E信号とは、補間点がG画素上にあるのか否かを示す信号である。

0055

これと同様にして、補間成分算出部6Aでも、積算器(除算器)や加算器を用いて補間点の位置に応じた複数の補間画素値を並列的に算出している。そして、実際の補間点の位置を示すO/E信号に基づき、対応する補間画素値がセレクタ61により選択出力され、補間点における画素補正成分7(HF)として出力される。なお、画素補正成分の算出に用いるフィルタ係数の各係数として、2の累乗値の和を用いるとともに、これら各係数の和が2の累乗となる係数を用いることにより、補間成分算出部6Aで用いる積算器(除算器)をビットシフト回路で構成することができ、回路構成の大幅な簡略化を実現できる。

0056

図12は補正部の構成例を示すブロック図である。同図において、81は画素補正成分7に対して2の累乗値を積算(除算)する複数の積算器からなる積算部であり、各積算器が互いに並列接続されている。82は補正倍率(重み係数)gfに基づき積算部81の各積算器の出力のうちの1つ以上を選択的に加算する加算器である。

0057

84は補間画素値5(R,B,G)に対して加算器82の出力83を個別に加算し、画素補正成分7により補正された補間点における新たな画素値9(R’,B’,G’)として出力する加算器、85は補間画素位置に同期しその間隔を周期とするクロックφnに応じて加算器84の出力を保持出力し、入力された画像信号1の1/nの大きさの画像を構成する新たな画素値9を出力するラッチである。

0058

したがって、補正倍率gfを任意に選択入力することにより、このgfに応じた強さだけ補間画素値5を補正することができる。また、積算部81として、2の累乗値を積算する複数の積算器で構成するようにしたので、簡素な回路構成で任意の補正倍率gfを画素補正成分7に積算できる。なお、画素補正成分7の基準レベルが補間点の位置に応じて変化する場合は、補間点の位置情報に応じて、gfを自動的に切り替え選択することにより、画像補正成分7の基準レベルを調整できる。

0059

このように、第3の実施の形態では、領域値算出部2を設けて、サブマトリクス22上に予め設定されている各画素領域ごとに、その画素領域に属する画素の画素値の和を領域値3として算出するとともに、これら各領域値3を画素ブロック21の取込みに同期して並列出力し、補間部4Aおよび補正成分算出部6Aにおいて、これら並列出力される各領域値を選択的に用いて、対応するサブマトリクス22の補間点における補間画素値および画素補正成分を順次算出出力するようにしたものである。

0060

したがって、画素ブロック21の取込みに同期して、サブマトリクスが画像信号1の2次元平面画像上を1画素ずつシフトしていくとともに、そのサブマトリクスに対応する補間点における各色情報の補間画素値として、画素補正成分7により補正された新たな補間画素値が得られる。そして、入力された画像信号1から画素ライン方向および画素列方向にn画素間隔で選択された補間画素に同期して、新たな補間画素値が保持出力され、結果として画素ブロック21の取込みに同期したパイプライン処理が実現できる。

0061

これにより、DSPなどを用いて数値演算することにより補間処理を行う場合と比較して、より高速に十分な画質の補間画素値を算出できる。なお、本実施の形態では、第1の実施の形態を基本として説明したが、第2の実施の形態にも、補正成分算出処理に必要な画素ライン数分および画素列分について回路を構成すれ、前述と同様の作用効果が得られる。

0062

さらに、本実施の形態を第2の実施の形態に適用した場合は、必要な画素数が減ってバッファメモリあるいはディレイのためのラッチが削減され、必要な回路面積は減少する。特に、バッファメモリに保持すべきデータのライン数が減るということは、最近のように画素数の多いデジタルスチルカメラのような撮像装置の場合、極めて効果が高い。

0063

また、本実施の形態では、加算器84の後段にラッチ85を設けて、入力された画像信号1から画素ライン方向および画素列方向にn画素間隔で選択された補間画素に同期して、加算器84の出力を保持出力するようにした場合について説明したが、これに限定されるものではない。例えば、領域値算出部2(図10参照)の出力段に、クロックφnに基づき領域値A〜Fを保持出力するラッチを設けた場合でも、n画素間隔で新たな画素値9が得られる。

0064

この場合には、そのラッチより後段の回路部分には、1画素ごとではなくn画素ごとに信号が出力されることになる。したがって、これら回路部分での処理動作の速度を低下でき、消費電力を低減できる。理論的には、領域値算出部2の各加算器201〜207の入力段にラッチを設けた場合に、低減できる消費電力量が最大となる。

0065

次に、図13を参照して、本発明の第4の実施の形態について説明する。前述した図2(b)では、補間点11Aの補間領域12Aと、補間点11Bの補間領域12Bとが接しており、補間点11A,11Bの画素間隔nと補間領域12A,12Bの大きさmとが等しい場合(n=m=3)について説明した。ここで、補間点の画素間隔nが大きくなり、補間領域が離間する場合(n>m)、補間部4での補間処理に用いられない画素が生じる。

0066

したがって、n>mの場合は、補正成分を加算ではなく減算することによりこれら補間処理に用いられなかった画素値を補正後の画素値に反映するようにしたものである。図13では、加算器82と加算器84との間に、加算器82の出力83の極性反転させるインバータ87と、このインバータ87の出力と加算器82の出力83のいずれかを選択するセレクタ86とを設け、m,nの大小を比較する比較器88の比較結果に基づきセレクタ86を制御している。

0067

ここでは、比較器88においてn≦mと判断された場合は、セレクタ86の入力Aが出力89として選択出力され、加算器82の出力83がそのまま加算器84へ出力される。したがって、n≦mの場合は、加算器84において補間画素値5に画素補正成分7が加算されることになる。

0068

一方、n>mと判断された場合は、セレクタ86の入力Bが出力89として選択されて、加算器82の出力83をインバータ87で反転したものが加算器84へ出力される。この結果、n>mの場合は、加算器84において補間画素値5から画素補正成分7が減算されることになる。この場合、これら補正に用いた画素の係数は正の値となり、補正領域にローパスフィルタをかけたときと同様の効果が得られる。

0069

なお、各色情報ごとに補間領域の大きさmが違う場合には、補正部8において各色情報ごとに補正するようにしてもよい。例えば、各色情報x(但し、x={R,G,B})ごとの補間領域の大きさをmxとして、
x’=x+HF(n≦mxのとき)
x’=x−HF(n>mxのとき)
により補正できる。

0070

また、原画像において、RやBのように、Gより画素数が少ないものの、補間領域の大きさmxが補間点の間隔nと等しい場合(mx=n)は、補正部8において画素補正成分7による補間値5の補正を行わず、
x’=x
とするようにして、3段階に補正するようにしてもよい。

発明の効果

0071

以上説明したように、本発明は、画像信号から画素ライン方向および画素列方向にn画素間隔で選択された補間点について、その補間点を中心とするm×m画素(mは2以上の整数)の補間領域内に位置する同一色の画素の画素値を用いて、補間点における各色情報の画素値をそれぞれ補間算出し、各色情報ごとにその補間点における補間画素値として出力する補間部と、補間点を中心とし前記補間領域を含むより広い範囲のM×M画素(Mはmおよびn以上の整数)の補正領域内に位置する複数の画素の画素値を用いて、その補間点の画素値を補正するための画素補正成分を生成する補正成分算出部とを設け、補正成分算出部で得られた補間点に対応する画素補正成分を用いて、補間部から出力されたその補間点における各色情報の補間画素値を補正するとともに、その補間点における各色情報の新たな画素値として出力するようにしたので、補間領域の画素を用いた補間処理と、画像サイズ縮小に伴う画素情報の欠落を抑制するためのフィルタ演算処理とを並列的に一括して処理することができる。したがって、従来のように、原画像の各画素ごとにすべての色情報をもつ中間画像を生成する必要がなくなり、各画素ごとにすべての色情報を持つ縮小サイズの画像を、大きな消費電力を必要とすることなく高速かつ高画質で表示できる。

図面の簡単な説明

0072

図1本発明の一実施の形態による画像処理装置のブロック図である。
図2第1の実施の形態における概略動作を示す説明図である。
図3第1の実施の形態による画像処理動作(R画素上に補間点が設定された場合)を示す説明図である。
図4第1の実施の形態による画像処理動作(R画素ライン上のG画素上に補間点が設定された場合)を示す説明図である。
図5第2の実施の形態による画像処理動作を示す説明図である。
図6補間点の設定位置を示す説明図である。
図7第3の実施の形態による画像処理装置を示すブロック図である。
図8第3の実施の形態における概略動作を示す説明図である。
図9領域値算出部の動作を示す説明図である。
図10領域値算出部の構成例を示すブロック図である。
図11補間部および補正成分算出部の構成例を示すブロック図である。
図12補正部の構成例を示すブロック図である。
図13第4の実施の形態による補正部の構成例を示すブロック図である。

--

0073

1…画像信号、2…領域値算出部、3…領域値、4,4A…補間部、5,5A…補間画素値、6…補正成分算出部、7…画素補正成分、8…補正部、9…画素値(補間・補正後)、10…画像処理装置、11A,11B…補間点、12,12A,12B,14R,14G,14B…補間領域、13,13A,13B,15…補正領域、21…画素ブロック、22…サブマトリクス、86…セレクタ、87…インバータ、88…比較器。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ