図面 (/)

技術 電子カメラ装置

出願人 メディア・テック・ユーエスエイ・インコーポレーテッド
発明者 笹井俊博北川崇二
出願日 1999年2月26日 (21年4ヶ月経過) 出願番号 1999-050433
公開日 2000年9月14日 (19年9ヶ月経過) 公開番号 2000-253410
状態 特許登録済
技術分野 カラーテレビジョン画像信号発生装置
主要キーワード 補正分布 基準平均輝度 ダイナミックレンジ補正 利得切替 保持出力 輝度補正係数 補正係数テーブル 光源補正
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2000年9月14日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (18)

課題

画質を低下させることなく適切な輝度バランスの画像を得る。

解決手段

撮像素子5の後段輝度補正部10を設けて、複数の補正係数から各画素ごとに個別の補正係数を生成し、これら補正係数に基づき画像信号5A内に配置された対応する各輝度情報をそれぞれ補正する。

概要

背景

一般に、デジタルスチルカメラと呼ばれる電子カメラ装置では、1つの撮像素子上に構成されたカラーフィルタを用いてカラー画像撮影する構成が多く採用されている。このような構成では、その撮像素子から、予め所定色割り当てられた多数の画素からなるカラー画像を示す画像信号であって、これら各画素ごとの輝度を示すアナログ値輝度情報時間軸上に離散して配置されたアナログの画像信号が得られる。

通常、カラー画像を撮影する場合、光源の種類や周囲の明るさに応じて、得られた画像信号の輝度を補正する必要がある。電子カメラ装置では、予め本撮影前の例えばテスト測光時に、撮像素子で得られた画像信号から輝度補正量を算出し、この輝度補正量を用いてその後のシャッター押下に応じて再度撮影した画像信号を補正している。

ここで、画像信号をA/D変換器で画像データへデジタル化した後に各種画像処理する場合、画像信号をいったんA/D変換してしまった後では、量子化により細部の情報が失われるため、その後の画像処理により得られる画像の質に対して、原情報の質が大きな影響を与える。特に、輝度の低い画素の情報量は非常に少なく、ノイズ等の影響も大きいことから、通常、A/D変換前にアナログ信号のまま増幅し、そのような輝度の低い画素の情報量ができるだけ損なわれないように処理している。

図16は従来の電子カメラ装置を示すブロック図である。まずテスト測光時に撮像素子101で撮影されたカラー画像は、画像信号111として可変利得増幅部102に入力される。画像信号111は、利得制御部103で制御された利得により増幅された後、A/D変換部104でデジタル化され、画像データとしてデジタルメモリ105に一時的に格納される。

続いて、デジタルメモリ105から画像データ113が読み出され、輝度検出部106において、画像データ113の各色ごと平均輝度や最大/最小輝度などの輝度統計情報が検出される。そして、その輝度検出部106の検出結果に応じて、制御部107で全色共通の補正係数が算出され、この補正係数に基づき可変利得増幅部102の利得が利得制御部103により設定される。

ここで、屋内白熱灯下で撮影された画像信号の場合は、図17に示すように、得られたカラー画像のホワイトバランス崩れ、青色(B)の輝度が極端に低下する傾向がある。例えば、図17(a)に示すように、被写体色温度赤緑青(RGB)ともバランスがとれているのに、白熱灯の影響により撮像素子101の撮像素子色温度のバランスが図17(b)のように崩れてしまう。

したがって、このような場合、制御部107では青色(B)の輝度がある程度適正な値となるような補正係数が算出され、利得制御部103により対応する利得が設定される。これにより、その後の本撮影時には、撮像素子101からの画像信号111に含まれる各輝度情報が、図17(c)に示すように、その補正係数に基づく利得により全色同倍率で増幅される。

そして、前述と同様に、A/D変換部104でデジタル化され、新たな画像データとしてデジタルメモリ105に一時的に格納される。その後、デジタルメモリ105から新たな画像データ113が読み出され、同様にして、新たな画像データ113の輝度統計情報が輝度検出部106で検出される。

これに応じて、制御部107で画像処理の要否やそのパラメータが算出され、画像処理部108において、新たな画像データ113に対して所定の画像処理、例えば青(B)の輝度をもう少し増幅するなどの処理が実行される。これにより、図17(d)のようなある程度の色バランスを有する画像データが生成され、デジタルメモリ105に格納される。また、画像処理部108では、他の画像処理として色補正輪郭抽出、さらには圧縮などの処理が行われる。

概要

画質を低下させることなく適切な輝度バランスの画像を得る。

撮像素子5の後段輝度補正部10を設けて、複数の補正係数から各画素ごとに個別の補正係数を生成し、これら補正係数に基づき画像信号5A内に配置された対応する各輝度情報をそれぞれ補正する。

目的

なお、このような周辺減光については、後段の画像処理部でフィルタ処理などにより補正する方法も考えられるが、その処理に時間を要するとともに電力消費されるため、実際には補正されない傾向がある。本発明はこのような課題を解決するためのものであり、画質を低下させることなく適切な輝度バランスの画像が得られる電子カメラ装置を提供することを目的としている。

効果

実績

技術文献被引用数
5件
牽制数
3件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

それぞれ所定色割り当てられた多数の画素からなるカラー画像を示す画像信号であって、これら各画素ごとの輝度を示すアナログ値輝度情報時間軸上に離散して配置された画像信号を撮像素子から読み出し、その画像信号から所望の画像を生成する電子カメラ装置において、複数の補正係数から各画素ごとに個別の補正係数を生成し、これら補正係数に基づき画像信号内に配置された対応する各輝度情報をそれぞれ補正し、画像生成に用いる新たな画像信号として出力する輝度補正部を備えることを特徴とする電子カメラ装置。

請求項2

請求項1記載の電子カメラ装置において、画像信号に対して直列に接続された輝度補正部を備えることを特徴とする電子カメラ装置。

請求項3

請求項1または2記載の電子カメラ装置において、輝度補正部は、画像信号内の各輝度情報に同期するクロック信号に基づき、複数の補正係数から各画素に対応する輝度補正量を順次生成する補正制御部と、この補正制御部で順次生成された輝度補正量に応じて利得切替を行うことにより、入力された画像信号を各輝度情報ごとにそれぞれの輝度補正量に応じた利得で増幅し、新たな画像信号として出力する輝度補正増幅部とを備えることを特徴とする電子カメラ装置。

請求項4

請求項1記載の電子カメラ装置において、輝度補正部は、画像信号内の各輝度情報に同期するクロック信号に基づき、第1の複数の補正係数から各画素に対応する輝度補正量を順次生成する第1の補正制御部と、画像信号内の各輝度情報に同期するクロック信号に基づき、第2の複数の補正係数から各画素に対応する輝度補正量を順次生成する第2の補正制御部と、第1補正制御部で順次生成された輝度補正量に対応する第1の利得と、第2補正制御部で順次生成された輝度補正量に対応する第2の利得との積からなる合成利得を設定することにより、入力された画像信号を各輝度情報ごとにそれぞれの輝度補正量に応じた合成利得で増幅し、新たな画像信号として出力する輝度補正増幅部とを備えることを特徴とする電子カメラ装置。

請求項5

請求項1記載の電子カメラ装置において、複数の補正係数は、各画素に割り当てられている所定色ごとの輝度補正量からなり、輝度補正部は、各画素に割り当てられている色に対応する輝度補正量を、各画素ごとの個別の補正係数として順次選択して用いることを特徴とする電子カメラ装置。

請求項6

請求項1記載の電子カメラ装置において、複数の補正係数は、カラー画像上の2次元座標で規定される各座標位置ごとに対応する輝度補正量からなり、輝度補正部は、各画素の座標位置に対応する輝度補正量を、各画素ごとの個別の補正係数として順次選択して用いることを特徴とする電子カメラ装置。

請求項7

請求項1記載の電子カメラ装置において、複数の補正係数は、カラー画像上の2次元座標で規定される各座標領域ごとに対応する輝度補正量からなり、輝度補正部は、各画素が属する座標領域に対応する輝度補正量を、各画素ごとに個別の補正係数として順次選択して用いることを特徴とする電子カメラ装置。

請求項8

請求項1記載の電子カメラ装置において、複数の補正係数は、カラー画像上に設定された2次元座標を構成する2つの座標軸について、その軸方向に変化する2つの補正分布特性を示す軸輝度補正量からなり、輝度補正部は、各画素の座標位置に基づき、それぞれの座標軸ごとに対応する軸輝度補正量を参照し、得られた2つの軸輝度補正値からその画素に対応する輝度補正量を順次生成して用いることを特徴とする電子カメラ装置。

請求項9

請求項1記載の電子カメラ装置において、複数の補正係数は、カラー画像上に設定された2次元座標を構成する2つの座標軸について、その軸方向に変化する2つの補正分布特性を示す軸輝度補正量からなり、輝度補正部は、各画素の座標位置に基づき、それぞれの座標軸ごとに対応する軸輝度補正量を参照し、得られた2つの軸輝度補正値の積をその画素に対応する輝度補正量として順次生成して用いることを特徴とする電子カメラ装置。

請求項10

請求項1記載の電子カメラ装置において、複数の補正係数は、カラー画像上に設定された2次元座標を構成する2つの座標軸について、その軸方向に変化する2つの補正分布特性を示す軸輝度補正量からなり、輝度補正部は、各画素の座標位置に基づき、それぞれの座標軸ごとに対応する軸輝度補正量を参照し、得られた2つの軸輝度補正値の和をその画素に対応する輝度補正量として順次生成して用いることを特徴とする電子カメラ装置。

技術分野

0001

本発明は、電子カメラ装置に関し、特にカラーフィルタ付き撮像素子から得られた輝度信号に対して、輝度レベル補正を行う電子カメラ装置に関するものである。

背景技術

0002

一般に、デジタルスチルカメラと呼ばれる電子カメラ装置では、1つの撮像素子上に構成されたカラーフィルタを用いてカラー画像撮影する構成が多く採用されている。このような構成では、その撮像素子から、予め所定色割り当てられた多数の画素からなるカラー画像を示す画像信号であって、これら各画素ごとの輝度を示すアナログ値輝度情報時間軸上に離散して配置されたアナログの画像信号が得られる。

0003

通常、カラー画像を撮影する場合、光源の種類や周囲の明るさに応じて、得られた画像信号の輝度を補正する必要がある。電子カメラ装置では、予め本撮影前の例えばテスト測光時に、撮像素子で得られた画像信号から輝度補正量を算出し、この輝度補正量を用いてその後のシャッター押下に応じて再度撮影した画像信号を補正している。

0004

ここで、画像信号をA/D変換器で画像データへデジタル化した後に各種画像処理する場合、画像信号をいったんA/D変換してしまった後では、量子化により細部の情報が失われるため、その後の画像処理により得られる画像の質に対して、原情報の質が大きな影響を与える。特に、輝度の低い画素の情報量は非常に少なく、ノイズ等の影響も大きいことから、通常、A/D変換前にアナログ信号のまま増幅し、そのような輝度の低い画素の情報量ができるだけ損なわれないように処理している。

0005

図16は従来の電子カメラ装置を示すブロック図である。まずテスト測光時に撮像素子101で撮影されたカラー画像は、画像信号111として可変利得増幅部102に入力される。画像信号111は、利得制御部103で制御された利得により増幅された後、A/D変換部104でデジタル化され、画像データとしてデジタルメモリ105に一時的に格納される。

0006

続いて、デジタルメモリ105から画像データ113が読み出され、輝度検出部106において、画像データ113の各色ごと平均輝度や最大/最小輝度などの輝度統計情報が検出される。そして、その輝度検出部106の検出結果に応じて、制御部107で全色共通の補正係数が算出され、この補正係数に基づき可変利得増幅部102の利得が利得制御部103により設定される。

0007

ここで、屋内白熱灯下で撮影された画像信号の場合は、図17に示すように、得られたカラー画像のホワイトバランス崩れ、青色(B)の輝度が極端に低下する傾向がある。例えば、図17(a)に示すように、被写体色温度赤緑青(RGB)ともバランスがとれているのに、白熱灯の影響により撮像素子101の撮像素子色温度のバランスが図17(b)のように崩れてしまう。

0008

したがって、このような場合、制御部107では青色(B)の輝度がある程度適正な値となるような補正係数が算出され、利得制御部103により対応する利得が設定される。これにより、その後の本撮影時には、撮像素子101からの画像信号111に含まれる各輝度情報が、図17(c)に示すように、その補正係数に基づく利得により全色同倍率で増幅される。

0009

そして、前述と同様に、A/D変換部104でデジタル化され、新たな画像データとしてデジタルメモリ105に一時的に格納される。その後、デジタルメモリ105から新たな画像データ113が読み出され、同様にして、新たな画像データ113の輝度統計情報が輝度検出部106で検出される。

0010

これに応じて、制御部107で画像処理の要否やそのパラメータが算出され、画像処理部108において、新たな画像データ113に対して所定の画像処理、例えば青(B)の輝度をもう少し増幅するなどの処理が実行される。これにより、図17(d)のようなある程度の色バランスを有する画像データが生成され、デジタルメモリ105に格納される。また、画像処理部108では、他の画像処理として色補正輪郭抽出、さらには圧縮などの処理が行われる。

発明が解決しようとする課題

0011

しかしながら、このような従来の電子カメラ装置では、撮像素子の後段に設けられた可変利得増幅器において、撮像素子から得られた画像信号を全色および全画素位置について同倍率の利得で増幅しているため、以下のような問題点があった。すなわち、図16において、撮像素子101から得られた画像信号111のうち、赤緑青(RGB)の輝度が極端に異なる場合は、元々良好な輝度が得られている色が可変利得増幅部102での増幅により飽和して、輝度分布明るい方に偏った画像となり、結果として画質が低下するという問題点があった。

0012

例えば、図17(c)において、青(B)の輝度を適切な値となるように増幅した場合、赤緑(RG)がA/D変換部104の入力レンジ(0〜1.0)を越えてしまう。したがって、輝度分布が高輝度側に偏ってしまうとともに、入力レンジを越えた輝度値についてはすべて最高輝度値(1.0)となり、元の輝度情報が失われて画質が低下した画像となってしまう。

0013

また、通常、撮像素子への集光に用いられる光学系では、コサイン4乗則や口径食により画角周辺がその中央部に比較して減光する。これについて、図16に示した従来の電子カメラ装置の可変利得増幅部102では、画像の全領域について同一利得で増幅しているため、周辺減光を補正できないという問題点があった。

0014

なお、このような周辺減光については、後段の画像処理部でフィルタ処理などにより補正する方法も考えられるが、その処理に時間を要するとともに電力消費されるため、実際には補正されない傾向がある。本発明はこのような課題を解決するためのものであり、画質を低下させることなく適切な輝度バランスの画像が得られる電子カメラ装置を提供することを目的としている。

課題を解決するための手段

0015

このような目的を達成するために、本発明による電子カメラ装置は、複数の補正係数から各画素ごとに個別の補正係数を生成し、これら補正係数に基づき画像信号内に配置された対応する各輝度情報をそれぞれ補正し、画像生成に用いる新たな画像信号として出力する輝度補正部を備えることを特徴とするものである。また、画像信号に対して直列に接続された輝度補正部を備えることを特徴とするものである。したがって、各画素に対応して画像信号内に配置されている輝度情報が個別に補正され、所望の画像を得るための新たな画像信号が生成される。

0016

また、輝度補正部として、画像信号内の各輝度情報に同期するクロック信号に基づき、複数の補正係数から各画素に対応する輝度補正量を順次生成する補正制御部と、この補正制御部で順次生成された輝度補正量に応じて利得切替を行うことにより、入力された画像信号を各輝度情報ごとにそれぞれの輝度補正量に応じた利得で増幅し、新たな画像信号として出力する輝度補正増幅部とを備えるものである。

0017

また、輝度補正部として、画像信号内の各輝度情報に同期するクロック信号に基づき、第1の複数の補正係数から各画素に対応する輝度補正量を順次生成する第1の補正制御部と、画像信号内の各輝度情報に同期するクロック信号に基づき、第2の複数の補正係数から各画素に対応する輝度補正量を順次生成する第2の補正制御部と、第1補正制御部で順次生成された輝度補正量に対応する第1の利得と、第2補正制御部で順次生成された輝度補正量に対応する第2の利得との積からなる合成利得を設定することにより、入力された画像信号を各輝度情報ごとにそれぞれの輝度補正量に応じた合成利得で増幅し、新たな画像信号として出力する輝度補正増幅部とを備えるものである。

0018

また、複数の補正係数は、各画素に割り当てられている所定色ごとの輝度補正量からなり、輝度補正部において、各画素に割り当てられている色に対応する輝度補正量を、各画素ごとの個別の補正係数として順次選択して用いるようにしたものである。

0019

また、複数の補正係数は、カラー画像上の2次元座標で規定される各座標位置ごとに対応する輝度補正量からなり、輝度補正部において、各画素の座標位置に対応する輝度補正量を、各画素ごとの個別の補正係数として順次選択して用いるようにしたものである。

0020

また、複数の補正係数は、カラー画像上の2次元座標で規定される各座標領域ごとに対応する輝度補正量からなり、輝度補正部において、各画素が属する座標領域に対応する輝度補正量を、各画素ごとに個別の補正係数として順次選択して用いるようにしたものである。

0021

また、複数の補正係数は、カラー画像上に設定された2次元座標を構成する2つの座標軸について、その軸方向に変化する2つの補正分布特性を示す軸輝度補正量からなり、輝度補正部において、各画素の座標位置に基づき、それぞれの座標軸ごとに対応する軸輝度補正量を参照し、得られた2つの軸輝度補正値からその画素に対応する輝度補正量を順次生成して用いるようにしたものである。

0022

また、複数の補正係数は、カラー画像上に設定された2次元座標を構成する2つの座標軸について、その軸方向に変化する2つの補正分布特性を示す軸輝度補正量からなり、輝度補正部において、各画素の座標位置に基づき、それぞれの座標軸ごとに対応する軸輝度補正量を参照し、得られた2つの軸輝度補正値の積をその画素に対応する輝度補正量として順次生成して用いるようにしたものである。

0023

また、複数の補正係数は、カラー画像上に設定された2次元座標を構成する2つの座標軸について、その軸方向に変化する2つの補正分布特性を示す軸輝度補正量からなり、輝度補正部において、各画素の座標位置に基づき、それぞれの座標軸ごとに対応する軸輝度補正量を参照し、得られた2つの軸輝度補正値の和をその画素に対応する輝度補正量として順次生成して用いるようにしたものである。

発明を実施するための最良の形態

0024

次に、本発明について図面を参照して説明する。図1は本発明の一実施の形態による電子カメラ装置のブロック図であり、(a)は画像データをデジタルで記憶する構成、(b)は画像データをアナログで記憶する構成が示されている。同図において、5はカラーCCDなどの撮像素子、10は撮像素子5で得られた画像信号5Aを各画素ごとに任意の利得で増幅することにより、輝度を補正する輝度補正部である。

0025

6は輝度補正部10で増幅された画像信号5Bから、各色さらには全色共通で平均輝度値や最大/最小輝度値などの輝度統計情報を検出する輝度検出部、7はこの輝度検出部6で検出された輝度統計情報に基づき、各画素さらには各画素共通輝度補正係数を算出する制御部である。また、8は画像信号5Bをデジタル化するA/D変換部、9はこのA/D変換部8でデジタル化された画像信号を画像データとして記憶するデジタル記憶部である。

0026

なお、撮像素子5から得られる画像信号5Aは、一般にカラーインターリーブ信号と呼ばれており、予め所定色(例えば、赤緑青:RGB)がそれぞれ割り当てられた多数の画素からなるカラー画像を示す画像信号であって、これら各画素ごとの輝度を示すアナログ値の輝度情報が時間軸上に離散して配置された画像信号である。CLKはこの画像信号5A内の各輝度値に同期するクロック信号である。

0027

また、必要に応じて、デジタル記憶部9やアナログ記憶部9Aの後段に、DSPなどを用いた画像処理部を従来と同様に設け、これら記憶部9,9Aから読み出した画像データに対し、色補正や輪郭抽出、さらには圧縮などの画像処理を行うようにしてもよい。さらに、デジタル記憶部9やアナログ記憶部9Aを取り外し可能な記憶媒体で構成してもよい。

0028

次に、図2を参照して、輝度補正部10について説明する。図2は輝度補正部の構成例を示すブロック図である。同図において、1は撮像素子5からの画像信号5Aを各画素ごとに任意の利得で増幅する輝度補正増幅部、2は複数の補正係数α1 〜αm (mは2以上の整数)に基づき、輝度補正増幅部1の利得をCLKに同期して各画素ごとに設定制御する利得制御部である。

0029

次に、図3を参照して、輝度補正増幅部1について説明する。図3は輝度補正増幅部の構成例を示すブロック図であり、ここではスイッチトキャパシタ回路を用いて構成されている。同図において、11は利得制御部2からの切替信号φ11〜φ1n,φ21〜φ2n(nは2以上の整数)により画像信号5Aに並列接続された容量成分の大きさを選択することにより利得を切り替える利得切替部、12は利得切替部11で選択された容量成分と固定容量成分との容量比で決定される利得に基づき画像信号5Aを増幅出力する増幅部である。

0030

利得切替部11には、画像信号5Aに対して並列的に配置された容量の異なる複数の容量素子C1 〜Cn が設けられている。また、各容量素子C1 〜Cn の前後には、スイッチS11〜S1n,S21〜S2nが設けられており、これらスイッチが利得制御部2からの切替信号φ11〜φ1n,φ21〜φ2nにより切替制御される。

0031

増幅部12には、演算増幅器13と反転増幅器14とが直列接続されている。演算増幅器の反転入力(−)と出力との間には、固定容量成分として容量素子C0 とスイッチS0 が並列接続されている。特に、容量素子C0 と容量素子C1 〜Cn の容量比は、それぞれ20 〜2n-1に設定されており、所望の利得をn桁の2進数で示した場合の各ビットと容量素子C1 〜Cn とが対応付けられている。

0032

次に、図4を参照して、利得制御部2について説明する。図4は利得制御部の構成例を示すブロック図であり、輝度補正増幅部1に設定する所望の利得をn桁の2進数で示した場合の各ビット、すなわち利得切替部11の容量素子C1 〜Cn に対応して、n個の切替制御部21が並列的に設けられている。

0033

各切替制御部21〜2nには、補正係数α1 〜αm の各対応ビットα11〜α1n,α21〜α2n,…αm1〜αmnがそれぞれ並列的に入力されており、これらビットのいずれか1つがクロックCLKに基づき係数選択部33で選択され、補正係数α0 として出力される。そして、クロックCLKに同期したクロックφ0 ,φ1 に基づき、ゲート31,32でそれぞれ切替信号φ11,φ21〜φ1n,φ2nが生成される。

0034

次に、図面を参照して、本発明の第1の実施例として、RGBのカラーインターリーブ信号からなる画像信号5Aについて、各色すなわち赤緑青(RGB)ごとに個別の補正係数αR ,αG ,αB で輝度補正する場合について説明する。図5は各色ごとに輝度補正する場合の処理を示す説明図である。

0035

図5(a)に示すように、被写体色温度が赤緑青(RGB)ともバランスがとれているのに、白熱灯の影響により撮像素子5の撮像素子色感度のバランスが図5(b)のように崩れているものとする。この場合、図5(c)に示すようにホワイトバランスを戻すためには、図5(d)に示す式のように、各色ごとに個別の補正係数を用いて輝度を補正すればよい。

0036

なお、実際の画像撮影時には、一般的な電子カメラと同様に、連続的に画像が撮像素子5から取り込まれる。したがって、輝度補正部10での利得を適当な値(例えば1倍)にして、画像を得ておき、シャッターが押下された場合は、その前(例えば直前)の画像の画像信号から輝度検出部6で検出された輝度統計情報に基づいて制御部7で補正係数を算出すればよい。

0037

画像信号5Aを2次元平面すなわちカラー画面として表現すれば、通常は図5(e)に示すようなRGBの市松模様となる。したがって、この色配置に応じて、図5(f)に示すように、各色ごとに個別の補正係数を切替制御する必要がある。

0038

図6は各色ごとに個別に輝度補正を行う場合に適用される切替制御部の構成例を示すブロック図であり、特に、i(iは1〜n)ビット目に対応するものが示されている。同図において、係数選択部33には、各画素行「GRGR…」と「BGBG…」の切り替わりを示す信号Lineに基づき、赤色の補正係数αRiと青色の補正係数αBiとを切替出力する切替部(MUX)34Aが設けられている。

0039

また、各画素に同期するクロックCLKに基づき、切替部34Aの出力と緑色の補正係数αGiとを切替出力する切替部(MUX)34Bが設けられている。これにより、係数選択部33からは、図5(f)で示したように、クロックCLKで示される各画素位置に対応した色の補正係数αKiが選択出力される。そして、クロックφ0 ,φ1 に基づき、ゲート31,32でそれぞれ切替信号φ1i,φ2iが生成される。

0040

なお、フリップフロップFF)35は、クロックCLKを1画素分の期間だけ保持出力するために設けられている。また、信号Lineは、クロックCLKを1行分の画素数だけカウントすれば生成できる。

0041

したがって、iビット目の切替制御部2iでは、図7タイミングチャートに示すように、赤色画素のR区間において赤色の補正係数αRi(この場合は「1」)が選択され、利得制御部2全体で補正係数αK i として補正係数αR が出力される。これにより、輝度補正増幅部1の利得切替部11では、その補正係数αR を示す切替信号φ11,φ21〜φ1n,φ2nによりスイッチS11〜S1n,S21〜S2nが切り替えられる。

0042

したがって、容量素子C1 〜Cn のうち、スイッチS11〜S1nがオンしたものだけに、画像信号5Aの振幅電圧分すなわちR区間に対応する赤色画素の画素レベル分だけ電荷充電される。そして、その後にスイッチS21〜S2nがオンした容量素子の電荷だけが、増幅部12に印加され、結果としてスイッチS21〜S2nがオンした容量素子と容量素子C0 との容量比分だけ増幅されて出力される。

0043

このようにして、各画素に対応するR,G,Bの各区間で、その色に対応する補正係数αR ,αG ,αB が利得制御部2で選択されて、これに応じて輝度補正増幅部1で各色ごとに個別の利得で画像信号5Aが増幅され、ホワイトバランスが補正された画像信号5Bが得られる。

0044

これにより、従来のように、全色共通の利得で画像信号を増幅する場合と比較して、輝度の良好な色を飽和させることなく、各色ごとに適切な利得で増幅することができ、画質を低下させることなく適切な輝度の画像が得られる。さらに、アナログの画像信号に対して輝度補正するようにしたので、画像処理部を設けてデジタル化された画像データにフィルタ処理を実行する場合と比較して、小さい回路規模高速処理でき、消費電力も小さい。

0045

また、このような光源補正拡張例として、各種輝度統計情報を用いてその画像のシーン推定し、そのシーンに最適な補正係数で各色ごとに画像信号を補正するようにしてもよい。例えば、夕刻のシーンであると判定した場合は、各色の輝度を調整する場合に、赤みを減らし過ぎないように各色の補正係数を設定することにより、シーンの特徴を失うことなくホワイトバランスを調整できる。

0046

なお、以上の説明では、光源補正を例として説明したが、これに限定されるものではない。図8は輝度補正への適用例を示す説明図である。例えば、図8(a)に示すように、元々被写体の色温度にばらつきがある場合は、これを補正するダイナミックレンジ補正として適用できる。

0047

すなわち、撮像素子5から図8(b)のような特性の画像信号5Aが得られた場合は、それぞれの色の輝度変化レンジを有効に利用できるように、それぞれの補正係数を算出して設定すれば、図8(c)に示すように輝度バランスのよい画像信号5Bが得られる。

0048

また、図8(d)に示すように、元々被写体には色温度のばらつきがないが、撮像素子5自体に感度のばらつきがある場合、これを補正する感度補正として適用できる。すなわち、撮像素子5から図8(e)のような特性の画像信号5Aが得られた場合は、感度の低い色の輝度レベルを大きく増幅するように、それぞれの補正係数を算出して設定すれば、図8(f)に示すように輝度バランスのよい画像信号5Bが得られる。

0049

以上のことから、本発明の輝度補正部10では、図8(g)に示すような演算処理を行っていると表現できる。すなわち、画像信号5A内に含まれる各画素ごとの補正係数αK は、各画素のが対応する色が赤緑青(RGB)の場合のみ1となり他の場合に0となるスイッチ係数SR ,SG ,SB と、それぞれの色に対応する補正係数αR ,αG ,αBとの積の和で示される。

0050

なお、以上の説明では、図1に示したように、輝度補正部10から出力されるアナログの画像信号5Bについて、各色さらには全色共通で平均輝度値や最大/最小輝度値などの輝度統計情報を検出する輝度検出部6を設け、ここで得られた輝度統計情報に基づき利得制御部2へ入力する補正係数αを制御部7で算出する場合について説明した。

0051

図9は輝度検出部の構成例を示す説明図であり、(a)は所定色の画素のみの平均輝度値を検出する回路ブロック、(b)はその動作例を示すタイミングチャートである。ここでは、スイッチトキャパシタ回路を用いて所定色の画素値電圧値)を加算出力する輝度加算器61と、この輝度加算器61からの加算出力6Aとしきい値VTHとを比較する比較器62と、この比較器62の比較出力6Bをカウントしカウンタ出力6Cを平均輝度値として制御部7へ出力するカウンタ63から構成されている。

0052

輝度加算器61のスイッチS61,S62は、画像信号5Bのうち所定色の画素に対応する期間において、オーバーラップすることなく交互にオンすることにより、容量素子C61に充電された電荷を容量素子C60に充電していく。これにより、図9(b)に示すように、加算出力6Aが徐々に上昇し、しきい値VTHに達した時点で比較器62の比較出力6Bが反転し、これがカウンタ63にカウントされカウンタ出力6Cとして出力される。

0053

この場合、容量素子C60,C61の容量比STEPにより、しきい値VTH(カウンタ出力6Cの変化)に対する加算出力6Aが増加する割合、すなわち分解能が決定される。このように、アナログの画像信号から直接に輝度統計情報を検出するようにしたので、A/D変換器を用いることなく高速かつ高精度で所望の色画素さらには全画素の輝度統計情報を検出できる。

0054

なお、以上の説明では、撮像素子5で得られた画像信号5Aごとに、利得制御部2の補正係数αを制御部7で算出して設定するようにした場合について説明したが、装置で固定的な輝度補正については、固定的な補正係数を用いてもよい。例えば、撮像素子5の感度補正や後述の光学系による周辺減光に対する感度補正の補正係数は、予め測定により得られた補正係数をROMなどに登録しておけばよい。

0055

次に、図面を参照して、本発明の第2の実施例として、光学系の周辺減光に対する減光補正に適用する場合について説明する。図10は光学系による周辺減光を示す説明図であり、(a)は周辺減光の特性例、(b)は補正係数の算出例である。撮像素子5の前段に設けられた光学系では、コサイン4乗則や口径食により、図10(a)に示すような周辺減光が発生する。

0056

一般には、撮像素子で得られた画像の中心Oから離れた点Pでの減光量は、図10(b)に示すように、中心Oから垂直に距離Dだけ離れた点Rから見た点Pまでの角度をθとしたとき、COSk θで表すことができ、このkは通常1〜4の範囲の数値をとることがわかっている。ここで、すべての画素についてこのような減光量に対する補正係数を用意するのは不可能である。

0057

本発明では、図11に示すように、これら各画素の補正係数を2次元のX,Y軸方向に分解して記憶しておき、各画素の座標位置に応じて算出するようにしている。図11は周辺減光に対する輝度補正係数の算出方法を示す説明図である。まず、図11(a)に示すように、画像上の画素位置(x=1〜w,y=1〜h)ごとに、X軸側に投影された補正係数αX(1)〜αX(w)と、Y軸側に投影された補正係数αY(1)〜αY(h)とをそれぞれ求め、補正係数テーブルとしてROMなどに登録しておく。

0058

そして、これら両軸方向での補正係数の積から、画素位置x,yにおける補正係数をαP(x,y)を求める。この場合、図11(b)に示すように、補正係数αX(x),αY(y)はほぼ1であることから、両者の積で表されるαP(x,y)を大きな誤差なく両者の和で算出でき、両者の積を求める場合と比較して簡素な回路構成で高速に算出できる。

0059

図12は周辺減光による輝度補正を行う場合に適用される切替制御部の構成例を示すブロック図であり、特に、i(iは1〜n)ビット目に対応するものが示されている。同図において、係数選択部33には、各画素に同期するクロックCLKに基づき各画素のX軸座標値xを算出するカウンタ(CNT)38Xと、各画素行の切り替わりを示す信号Lineに基づき各画素のY軸座標値yを算出するカウンタ(CNT)38Yとが設けられている。

0060

そして、座標値xに基づき切替部(MUX)37Xにより補正係数αX(1)〜αX(w)のうちの対応するαX(x)が選択されるとともに、座標値yに基づき切替部(MUX)37Yにより補正係数αY(1)〜αY(h)のうちの対応するαY(y)が選択され、これら補正係数が加算器39で加算される。これにより、各画素の座標位置に対応する補正係数αP(x,y)が算出され、クロックφ0 ,φ1 に基づき、ゲート31,32でそれぞれ切替信号φ1i,φ2iが生成される。

0061

したがって、各画素位置x,yごとに周辺減光を補正する補正係数αP(x,y)に対応する切替信号φ11,φ21〜φ1n,φ2nが輝度補正増幅部1へ出力され、各画素位置で個別の利得で画像信号5Aが増幅され、周辺減光が補正された画像信号5Bが得られる。

0062

これにより、各画素位置ごとに適切な利得で増幅することができ、画質を低下させることなく適切な輝度の画像が得られる。また、アナログの画像信号に対して輝度補正するようにしたので、画像処理部を設けてデジタル化された画像データにフィルタ処理を実行する場合と比較して、小さい回路規模で高速処理でき、消費電力も小さい。

0063

なお、以上の説明では、各画素位置x,yごとに個別に求めておいた補正係数αX(1)〜αX(w),αY(1)〜αY(h)を用いる場合について説明したが、所定の画素位置範囲ごとに求めておいた補正係数を用いるようにしてもよい。図13は周辺減光に対する輝度補正係数の他の算出方法を示す説明図である。まず、図13(a)に示すように、画像上の画素範囲(x’=1〜w’,y’=1〜h’)ごとに、X軸側に投影された補正係数αX(1)〜αX(w') と、Y軸側に投影された補正係数αY(1)〜αY(h') とをそれぞれ求め、補正係数テーブルとしてROMなどに登録しておく。

0064

そして、所望の画素位置x,yを画素範囲x’,y’に変換し、両軸方向での補正係数の積から、画素範囲x’,y’における補正係数をαP(x',y')を求め、画素位置x,yでの補正係数αP(x,y)とする。この場合も前述と同様であり、図13(b)に示すように、補正係数αX(x'),αY(y') はほぼ1であることから、両者の積で表されるαP(x',y')を大きな誤差なく両者の和で算出できる。

0065

このように、画像上の画素範囲ごとに、X軸側およびY軸側の補正係数を用いるようにしたので、補正係数の記憶に必要な記憶容量を削減できる。また、これを実現する利得制御部2の切替制御部については、図12と同様であり、特にカウンタ38X,38Yの出力のうち上位ビットだけを用いて切替部37X,37Yを制御すればよい。

0066

なお、第2の実施例では、光学系による周辺減光に対する輝度補正として、画面中心からCOSk θの分布を持つ周辺減光を例に説明したが、これに限定されるものではない。例えば、プリズムなどを含む光学系を用いた場合、減光すなわち感度低下は異なる分布特性となる。

0067

さらには、光学系以外の要因により異なる感度低下分布が生じる場合もある。しかし、これら減光分布あるいは感度低下分布が、図11(b)あるいは図13(b)で示した演算式で表現できるものについては、本発明を適用でき、前述と同様の作用効果が得られる。

0068

他の減光分布あるいは感度低下分布に対して、領域ごとに輝度補正を行う方法として、画像に設けられた個々の領域の各色(RGB)の平均輝度を感度低下分布と見なし、その分布に基づいて各領域ごとに個別の補正係数を設定して輝度補正するようにしてもよい。例えば、予め撮像素子から得られた画像について、各領域ごとに各色ごとの平均輝度を検出する。

0069

そのうち、輝度Yが最も高い値を示す領域を白領域と仮定する。
Y=0.3R+0.59G+0.11B
そして、その白領域で実際に得られた各色の平均輝度を白に補正するための補正係数を用いて、他の領域も同様に輝度補正する。これにより、平均輝度が最も高い領域が白となるように、すべての領域で輝度補正され、比較的簡単に適切なホワイトバランスが得られる。

0070

また、白領域を基準として他の領域の輝度を補正するのではなく、各領域の輝度を適切な基準でそれぞれ輝度補正してもよい。例えば、任意の領域の全色(RGB)平均輝度が、輝度分布の大半が後段の処理で用いる所望のレンジ(例えば、A/D変換部の入力レンジなど)の上側または下側範囲に偏る場合は、その輝度分布のうち大半がレンジ内に収まるような個別の補正係数を用いて、その領域の輝度を補正すればよい。

0071

各領域に個別に設定された補正係数に基づき画像信号の輝度補正を行う構成としては、図14に示すような切替制御部2iを用いればよい。図14は領域ごとに個別の補正係数を用いて輝度補正を行う場合に適用される切替制御部の構成例を示すブロック図であり、特に、i(iは1〜n)ビット目に対応するものが示されている。

0072

同図において、係数選択部33には、各画素に同期するクロックCLKに基づき各画素のX軸座標値を計数して各領域のX軸座標値x’を出力するカウンタ(CNT)38X’と、各画素行の切り替わりを示す信号Lineに基づき各画素のY軸座標値を計数して各領域のY軸座標値y’を出力するカウンタ(CNT)38Y’とが設けられている。

0073

そして、これら座標値x’,y’に基づき切替部(MUX)37Aにより、各領域ごとに個別の補正係数αA(1,1)〜αA(ah,aw)のうちの対応するαA(x',y')が選択され、クロックφ0 ,φ1 に基づき、ゲート31,32でそれぞれ切替信号φ1i,φ2iが生成される。これにより、各領域(x’,y’)の輝度を個別に補正する補正係数αA(x',y')に対応する切替信号φ11,φ21〜φ1n,φ2nが輝度補正増幅部1へ出力され、対応する利得で画像信号5Aが増幅され、各領域で個別の補正係数により補正された画像信号5Bが得られる。

0074

この場合、後段の処理で用いる所望のレンジに対応する平均輝度の基準、例えば基準平均輝度を設定しておき、各領域の平均輝度がその基準平均輝度の最大値最小値の範囲に含まれるように、各領域に対する補正係数を算出するようにしてもよい。また、これと同様の算出処理を行う変換特性テーブル化しておき、各領域の平均輝度を入力として、最適な補正係数をテーブルから読み出すようにしてもよい。

0075

このように、各領域ごとに個別の補正係数で輝度補正するようにしたので、各領域ごとに所望のレンジすなわち電子カメラ装置のダイナミックレンジを有効に利用でき、高画質の画像が得られる。これにより、例えば晴天時の日陰など他の領域に比較してコントラストが極めて低い領域であっても、他の領域の輝度分布に影響することなく、そのディテール再現できる。

0076

なお、各領域に個別の補正係数を設定する際、その補正幅の最大をある程度の範囲内に抑制するようにしてもよい。これにより、任意の領域の補正係数だけに突出した値が設定されなくなり、周囲に隣接する領域との境界における輝度差から来る違和感が低減され、さらに高画質の画像信号を生成できる。

0077

また、以上の例では、各領域ごとに得られた全色(RGB)平均輝度に基づき輝度補正する場合について説明したが、これを前述した第1の実施例と組み合わせて、各領域ごとに各色の平均輝度を個別に検出し、これに基づいて各領域で各色ごとに輝度補正を行ってもよい。これにより、各領域において各色ごとに所望のレンジすなわち電子カメラ装置のダイナミックレンジを有効に利用でき、高画質の画像が得られる。

0078

なお、本発明の輝度補正部10は、図1に示すように、撮像素子5とA/D変換部8との間、あるいは撮像素子5とアナログ記憶部9Aとの間であれば、いずれの位置でもよい。また、CCDの電荷検出部で発生するリセットノイズCCD出力段で発生する1/fノイズを除去するため、撮像素子5の後段に、相関二重サンプリング(CDS)回路が設けられている場合は、その内部の演算増幅器を用いて本発明の補正増幅部10を構成してもよい。

0079

以上では、本発明を実施例1,2としてそれぞれ個別に適用した場合について説明したが、これら両方の実施例を同時に適用してもよい。図15は本発明の第3の実施例の構成例を示すブロック図であり、(a)は直列的に輝度補正を行う場合、(b)は一括して輝度補正を行う場合を示している。

0080

図15(a)において、10Aは撮像素子からの画像信号5Aに対して、各色画素ごとに個別の補正係数αR ,αG ,αB を用いて輝度補正を行う輝度補正部、10Bはこの輝度補正部10Aからの画像信号5Cに対して、X軸側に投影された補正係数αX(1)〜αX(w)と、Y軸側に投影された補正係数αY(1)〜αY(h)とを用いて、各画素位置ごとに個別に輝度補正を行い画像信号5Bを出力する輝度補正部である。

0081

この場合、実施例1に対応する輝度補正部10Aの後段に、実施例2に対応する輝度補正部10Bが直列的に配置されている。なお、輝度補正増幅部1Aおよび輝度補正増幅部1Bの構成は、図3で説明した輝度補正増幅部1と同様である。さらに、利得制御部2Aについては図6で説明した切替制御部2iが用いられ、利得制御部2Bについては図12で説明した切替制御部2iが用いられる。

0082

一方、図15(b)では、輝度補正増幅部1Cに、2つの利得切替部11A,11Bが並列的に配置されており、前述した利得制御部2A,2Bがこれら2つの利得切替部11A,11Bに対応して設けられている。また、各利得切替部11A,11Bは、それぞれ前述した図3の利得切替部11と同様の構成をしている。

0083

この場合、利得制御部2A,2Bで選択された補正係数に基づいて各利得切替部11A,11Bの容量素子が選択され、これら選択された容量素子に充電された電荷が合算されて増幅部12の容量素子へ転送される。結果として利得制御部2A,2Bで選択された2つの補正係数の積に対応する利得で、画像信号5Aが増幅される。

0084

したがって、図15(a)のように、異なる輝度補正を直列的に行うようにした場合は、個々の輝度補正が個別に行われるものとなり、一方での補正量(利得)が他方の補正量(利得)に対して比較的小さい場合でも、正確に輝度補正できる。また、図15(b)のように、一括して輝度補正するようにした場合は、回路構成が削減される。

発明の効果

0085

以上説明したように、本発明は、複数の補正係数から各画素ごとに個別の補正係数を生成し、これら補正係数に基づき画像信号内に配置された対応する各輝度情報をそれぞれ補正するようにしたものである。したがって、各画素に対応して画像信号内に配置されている輝度情報が個別に補正された新たな画像信号が生成され、従来のように各画素に対して同一の補正係数で輝度補正を行う場合と比較して、画質を低下させることなく適切な輝度バランスの画像が得られる。

0086

例えば、画素色ごとの補正係数を用いて、各画素ごとにその画素に割り当てられている色の補正係数で輝度補正することにより、画質を低下させることなく、その画像に最適な光源補正やホワイトバランス補正を行うことができる。また、座標位置ごとの補正係数を用い、各画素ごとにその画素位置に対応する補正係数で輝度補正することにより、画質を低下させることなく、光学系による周辺減光の補正を行うことができる。

図面の簡単な説明

0087

図1本発明の一実施の形態による電子カメラ装置のブロック図である。
図2輝度補正部の構成例を示すブロック図である。
図3輝度補正増幅部の構成例を示すブロック図である。
図4利得制御部の構成例を示すブロック図である。
図5各色ごとに輝度補正する場合の処理を示す説明図である。
図6切替制御部の構成例を示すブロック図(各色ごとに個別に輝度補正を行う場合)である。
図7利得制御部の動作を示すタイミングチャートである。
図8輝度補正への適用例を示す説明図である。
図9輝度検出部の構成例を示す説明図である。
図10光学系による周辺減光を示す説明図である。
図11周辺減光に対する輝度補正係数の算出方法を示す説明図である。
図12切替制御部の構成例を示すブロック図(周辺減光による輝度補正を行う場合)である。
図13周辺減光に対する輝度補正係数の他の算出方法を示す説明図である。
図14切替制御部の構成例を示すブロック図(領域ごとに個別の補正係数を用いて輝度補正を行う場合)である。
図15本発明の他の実施例による構成例を示すブロック図である。
図16従来の電子カメラ装置を示すブロック図である。
図17従来のカラーバランス補正の方法を示す説明図である。

--

0088

10,10A,10B…輝度補正部、1…輝度補正増幅部、2…利得制御部、5…撮像素子、5A…画像信号、5B,5C…画像信号(輝度補正後)、6…輝度検出部、7…制御部、8…A/D変換部、9…デジタル記憶部、9A…アナログ記憶部、11…利得切替部、12…増幅部、21〜2n…切替制御部。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • キヤノン株式会社の「 撮像装置及び撮像システム」が 公開されました。( 2020/04/30)

    【課題】高品質のハイダイナミックレンジ画像を取得しうる撮像装置及び撮像システムを提供する。【解決手段】各々が光電変換部を有する複数の画素と、複数の画素の各々から、第1の露光時間の間に光電変換部で生じる... 詳細

  • キヤノン株式会社の「 光電変換装置」が 公開されました。( 2020/04/30)

    【課題】 複数の基板を積層している光電変換装置において、ある光電変換部を通過した光が、ある光電変換部とは異なる光電変換部に入射することを防ぐことを目的とする。【解決手段】 光入射面を有し、複数の光... 詳細

  • アピカルリミテッドの「 画像処理」が 公開されました。( 2020/04/30)

    【課題】口径食を補正しダイナミックレンジを維持する方法、プロセッサ及びシステムを提供する。【解決手段】画像データを処理する方法100は、画像センサを使用して画像データ110を捕捉する。画像データ110... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ