図面 (/)
課題
解決手段
撮像装置は、ノイズ信号と光電変換信号を出力する画素2031と、画素の出力信号を増幅する増幅手段2041と、増幅手段によって第1のゲインで増幅したノイズ信号を保持する第1の保持手段310と、増幅手段によって第1のゲインとは異なる第2のゲインで増幅したノイズ信号を保持する第2の保持手段311と、増幅手段によって第1のゲインで増幅した光電変換信号から第1の保持手段に保持されたノイズ信号を減算して第1の画素信号を形成するとともに、増幅手段によって第2のゲインで増幅した光電変換信号から第2の保持手段に保持されたノイズ信号を減算して第2の画素信号を形成する減算手段314と、第1の画素信号と第2の画素信号を用いて画像を形成する画像形成手段とを有する。
概要
背景
概要
複数種類のゲインの映像信号に対して適切なノイズ低減を可能とする。撮像装置は、ノイズ信号と光電変換信号を出力する画素2031と、画素の出力信号を増幅する増幅手段2041と、増幅手段によって第1のゲインで増幅したノイズ信号を保持する第1の保持手段310と、増幅手段によって第1のゲインとは異なる第2のゲインで増幅したノイズ信号を保持する第2の保持手段311と、増幅手段によって第1のゲインで増幅した光電変換信号から第1の保持手段に保持されたノイズ信号を減算して第1の画素信号を形成するとともに、増幅手段によって第2のゲインで増幅した光電変換信号から第2の保持手段に保持されたノイズ信号を減算して第2の画素信号を形成する減算手段314と、第1の画素信号と第2の画素信号を用いて画像を形成する画像形成手段とを有する。
目的
効果
実績
- 技術文献被引用数
- 0件
- 牽制数
- 0件
この技術が所属する分野
(分野番号表示ON)※整理標準化データをもとに当社作成
請求項1
入射光に基づき光電変換信号を生成する光電変換素子を備え、ノイズ信号と光電変換信号を出力する画素と、前記画素の出力信号を増幅する増幅手段と、前記増幅手段によって第1のゲインで増幅した前記ノイズ信号を保持する第1の保持手段と、前記増幅手段によって前記第1のゲインとは異なる第2のゲインで増幅した前記ノイズ信号を保持する第2の保持手段と、前記増幅手段によって前記第1のゲインで増幅した前記光電変換信号から前記第1の保持手段に保持された前記ノイズ信号を減算して第1の画素信号を形成するとともに、前記増幅手段によって前記第2のゲインで増幅した前記光電変換信号から前記第2の保持手段に保持された前記ノイズ信号を減算して第2の画素信号を形成する減算手段と、前記第1の画素信号と前記第2の画素信号を用いて画像を形成する画像形成手段と、を有することを特徴とする撮像装置。
請求項2
前記ノイズ信号を前記増幅手段によって第1のゲインで増幅した出力を前記第1の保持手段に保持した後、前記光電変換信号を前記増幅手段によって前記第1のゲインで増幅し、その後で前記光電変換信号を前記増幅手段によって前記第2のゲインで増幅する第1のシーケンス動作を実行させる制御手段を有することを特徴とする請求項1に記載の撮像装置。
請求項3
前記第1のシーケンス動作を1水平期間単位で行うことを特徴とする請求項2に記載の撮像装置。
請求項4
前記第1のシーケンス動作を1垂直期間単位で行うことを特徴とする請求項2に記載の撮像装置。
請求項5
前記ノイズ信号を前記増幅手段によって第2のゲインで増幅した出力を前記第2の保持手段に保持した後、前記光電変換信号を前記増幅手段によって前記第2のゲインで増幅し、その後で前記光電変換信号を前記増幅手段によって前記第1のゲインで増幅する第2のシーケンス動作を実行させる制御手段を有することを特徴とする請求項1に記載の撮像装置。
請求項6
前記第2のシーケンス動作を1水平期間単位で行うことを特徴とする請求項5に記載の撮像装置。
請求項7
前記第2のシーケンス動作を1垂直期間単位で行うことを特徴とする請求項5に記載の撮像装置。
請求項8
前記制御手段は、前記ノイズ信号を前記増幅手段によって第2のゲインで増幅した出力を前記第2の保持手段に保持した後、前記光電変換信号を前記増幅手段によって前記第2のゲインで増幅し、その後で前記光電変換信号を前記増幅手段によって前記第1のゲインで増幅する第2のシーケンス動作を実行させることを特徴とする請求項2に記載の撮像装置。
請求項9
前記第1のシーケンス動作と前記第2のシーケンス動作を1水平期間毎に交互に行うことを特徴とする請求項8に記載の撮像装置。
請求項10
前記第1のシーケンス動作と前記第2のシーケンス動作を1垂直期間毎に交互に行うことを特徴とする請求項8に記載の撮像装置。
請求項11
前記光電変換信号を前記増幅手段によって前記第1のゲインで増幅した出力または前記光電変換信号を前記増幅手段によって前記第2のゲインで増幅した出力を保持する第3の保持手段を有することを特徴とする請求項2に記載の撮像装置。
請求項12
入射光に基づき光電変換信号を生成する光電変換素子を備え、ノイズ信号と光電変換信号を出力する画素と、前記画素の出力信号を増幅する増幅手段と、前記増幅手段によって第1のゲインで増幅した前記ノイズ信号を保持する第1の保持手段と、前記増幅手段によって前記第1のゲインと異なる第2のゲインで増幅した前記ノイズ信号を保持する第2の保持手段とを有する撮像装置の制御方法であって、前記増幅手段によって前記第1のゲインで増幅した前記光電変換信号から前記第1の保持手段に保持された前記ノイズ信号を減算して第1の画素信号を形成するとともに、前記増幅手段によって前記第2のゲインで増幅した前記光電変換信号から前記第2の保持手段に保持された前記ノイズ信号を減算して第2の画素信号を形成する減算ステップと、前記第1の画素信号と前記第2の画素信号を用いて画像を形成する画像形成ステップと、を有することを特徴とする撮像装置の制御方法。
請求項13
請求項1〜11のうちいずれか一項に記載の前記撮像装置の各手段としてコンピュータを機能させるためのコンピュータプログラム。
請求項14
技術分野
背景技術
0002
近年、ビデオカメラの撮像素子では画素で光電変換された映像信号を出力するだけでなく、例えばダイナミックレンジ拡大(以下HDR)(High Dynamic Range)を実現する技術が提案されている。特許文献1では、撮像素子の列ごとに設けられた増幅回路の入力容量をを切り替える機能を持ち、信号レベルに応じてゲインを切り替える技術が提案されている。特許文献1のようなゲインを切り替える構成であれば低ゲインの信号と高ゲインの信号の映像信号を出力し、後段の画像処理でそれぞれを合成することで高ダイナミックレンジ且つ、低ノイズな映像信号を作り出すことが可能である。
先行技術
0003
特開2015−128253号公報
発明が解決しようとする課題
0004
しかしながら、上述の特許文献1においては、1つの画素から映像信号を、複数種類のゲインで出力する場合に複数種類のゲインの映像信号に対して、適切なノイズ低減ができない、という問題があった。
本発明の目的は、映像信号を、複数種類のゲインで出力する撮像素子において、各ゲインの映像信号に対してノイズによる画質劣化の影響を低減することが可能な撮像装置を提供することにある。
課題を解決するための手段
0005
本発明の撮像装置は、
入射光に基づき光電変換信号を生成する光電変換素子を備え、ノイズ信号と光電変換信号を出力する画素と、
前記画素の出力信号を増幅する増幅手段と、
前記増幅手段によって第1のゲインで増幅した前記ノイズ信号を保持する第1の保持手段と、
前記増幅手段によって前記第1のゲインとは異なる第2のゲインで増幅した前記ノイズ信号を保持する第2の保持手段と、
前記増幅手段によって前記第1のゲインで増幅した前記光電変換信号から前記第1の保持手段に保持された前記ノイズ信号を減算して第1の画素信号を形成するとともに、前記増幅手段によって前記第2のゲインで増幅した前記光電変換信号から前記第2の保持手段に保持された前記ノイズ信号を減算して第2の画素信号を形成する減算手段と、
前記第1の画素信号と前記第2の画素信号を用いて画像を形成する画像形成手段と、
を有することを特徴とする。
発明の効果
0006
本発明の撮像装置によれば、映像信号を、複数種類のゲインで出力する撮像素子において、各ゲインの映像信号に対してノイズによる画質劣化の影響を低減することができる。
図面の簡単な説明
0007
本発明に係わる撮像装置の全体ブロック図である。
撮像素子の全体ブロック図である。
画素から列ADCまでの構成例を示した回路図である。
実施例1における処理例を示すフローチャートである。
第1のゲインでノイズ信号を読み出す場合のタイミング例を示した図である。
第2のゲインでノイズ信号を読み出す場合のタイミング例を示した図である。
実施例2における処理のフローチャートである。
0008
以下、図を参照しつつ、本発明の実施形態に係る撮像装置の実施例を説明する。
なお、実施例においては、撮像装置としてデジタルムービーカメラに適用した例について説明する。しかし、撮像装置はデジタルスチルカメラ、カメラ付きのスマートフォン、カメラ付きのタブレットコンピュータなど撮像機能を有する電子機器であれば良く、それらを含む。
0009
図1は本実施例に係わる撮像装置の全体ブロック図を示す。撮像装置はレンズ100、撮像素子101、信号処理部102、全体制御部103、外部出力I/F部104等から構成される。撮像装置はレンズ100で取り込んだ光を撮像素子101で光電変換し、電気信号に変換した後、信号処理部102で画像処理を行い、外部出力I/F部104により外部出力用のフォーマットに変換して出力する。
信号処理部102は明るさの異なる2フレームの画像を合成してHDR画像を生成する機能を有する。全体制御部103はコンピュータとしてのCPUを内蔵しており、不図示のメモリに記憶されたコンピュータプログラムに基づき装置全体の各種動作を実行することで制御手段として機能する。そして、レンズ100、撮像素子101、信号処理部102、外部出力I/F部104など、撮像装置全体の動作を制御する。
0010
図2は撮像素子101の全体ブロック図を示したものである。撮像素子101は画素部203、タイミング制御部201、垂直走査回路202、列アンプ204、列ADC205、水平転送回路208、信号処理回路209、外部出力回路210からなる。
0011
画素部203には、入射光量に応じて光電変換を行い、電圧として信号を出力する光電変換素子が2次元状に複数配置されている。画素部203の各光電変換部上には各々カラーフィルタとマイクロレンズが実装されており、R(赤)、G(緑)、B(青)の3色のカラーフィルタが例えばベイヤー配列されている。しかし、カラーフィルタの組み合わせや配列方法などはこれに限らない。
タイミング制御部201は撮像素子101の各ブロックに対する動作クロック及びタイミング信号を供給し、動作を制御するものである。
0012
垂直走査回路202は画素部203に垂直走査信号を供給する。そして、2次元に配置された各画素で形成された画素信号が1フレーム期間中に図2の上部の行から下部の行にかけて、行単位で順次出力される。
列アンプ204は画素部203から行単位で出力された画素信号を電気的に増幅するために用いられる。列ADC(Analog to Digital Converter)205は列アンプ204からのアナログ信号をA/D変換し、後段の水平転送回路208に送る。水平転送回路208は列ADC205でA/D変換された信号を、信号処理回路209へ転送する。
0013
信号処理回路209はデジタル信号処理を行う回路であり、例えば一定量のオフセット値をデジタル値で加える動作や、画素部203に設けられた遮光画素領域の出力信号を利用したデジタルの黒レベルクランプ動作を行う。
外部出力回路210は、信号処理回路209からの信号を外部出力用のフォーマットに変換して外部に出力する。
0014
図3は画素部203の各画素2031、各列アンプ2041、各列ADC2051の構成例を詳細に示した図である。各画素2031には光電変換素子301が含まれており、各光電変換素子301はマイクロレンズ及びカラーフィルタを介した光を受光して入射光に基づく光電変換信号としての電荷を生成する。転送スイッチ302は光電変換素子301で生成された電荷を後段の回路に転送する。電荷保持部303は光電変換素子301から転送された電荷を一時的に保持する。なお、各画素2031は光電変換素子301で発生した電荷や電荷保持部303に保持された電荷をリセットするためのリセットトランジスタを備えているが、図では省略する。
0015
画素アンプ304は読出し手段として機能し、電荷保持部303で保持されている電荷量に応じた信号を垂直出力線3051を通して、後段の列アンプ2041へ出力する。電流制御部3071は垂直出力線3051の電流を制御する。列アンプ2041は増幅手段として機能し、垂直出力線3051を介して入力された画素アンプ304の出力信号を少なくとも2種類以上のゲインで増幅することができる。A/D変換部309は列アンプ2041により増幅されたアナログ信号をデジタル信号に変換する。メモリ310、メモリ311、メモリ312はA/D変換部309で変換されたデジタル信号をそれぞれ一時的に保持する。
メモリ310は光電変換素子301から読み出された画素信号(光電変換信号)と、前記光電変換信号以外の読出し回路部(電荷保持部303からA/D変換部309までの回路)で生じたノイズ信号とが混合された混合信号を保持する。メモリ311は列アンプ2041が第1のゲインで増幅する場合の読出し回路部のノイズ信号のみを保持し、メモリ312は列アンプ2041が第2のゲインで増幅する場合の読出し回路部のノイズ信号のみを保持する。
即ち、メモリ311は前記ノイズ信号を第1のゲインで増幅した出力を保持する第1の保持手段として機能している。また、メモリ312は前記ノイズ信号を第2のゲインで増幅した出力を保持する第2の保持手段として機能している。なお、メモリ310は光電変換信号を第1のゲインまたは前記第2のゲインで増幅した出力を保持する第3の保持手段として機能している。
0016
セレクタ313はメモリ311もしくはメモリ312に保持されたノイズ信号のいずれかを選択し出力する。セレクタ313はメモリ310に保持された混合信号が第1のゲインの場合の混合信号であればメモリ311の出力を選択し、メモリ310に保持された信号が第2のゲインの場合の混合信号であればメモリ312の出力を選択する。
メモリ310に保持された混合信号に対して、セレクタ313から出力されたノイズ信号を減算器314で減算することで得られる画素信号が水平転送回路208へ出力される。
なお、画素部203内のすべての画素が画素2031と同じ構成となっている。また、電流制御部3071、列アンプ2041、列ADC2051は各列ごとに同じ構成となっている。
0017
図4は実施例1における処理のフローチャートである。
S401では、画素信号を出力する行が偶数行かどうかを判定する。偶数行であればS402に進み、奇数行であればS405へ進む。ここでは水平同期信号を基準に画素行をカウントする。水平同期信号のカウント数は、画素部203の物理的なレイアウト上での行数とは必ずしも一致させる必要はない。
例えば、1水平同期信号の期間に、画素部203の物理的なレイアウト上で1行の画素信号を出力する場合には、1水平同期信号のカウント数Nと物理的なレイアウト上での行数Lは、N=Lとなる。1水平同期信号の期間に、画素部203の物理的なレイアウト上で隣接する2行の画素信号を同時に出力する場合には、1水平同期信号のカウント数Nと物理的なレイアウト上での行数Lは、N=L/2となる。S401では、1水平同期信号のカウント数Nが偶数か奇数かを判定するものとする。
0018
S402では、転送スイッチ302がOFFの状態で不図示のリセットトランジスタによる電荷保持部303のリセットを解除した直後の信号を画素アンプ304を介して出力したノイズ信号を第1のゲインで増幅して出力する。さらに、第1のゲインで増幅したノイズ信号をA/D変換部309でA/D変換した後にメモリ311に格納する。
S403では、転送スイッチ302がONの状態で光電変換素子301から出力された画素信号を列アンプ2041において第1のゲインで増幅し、A/D変換部309でA/D変換した後にメモリ310に格納する。そして、減算手段である減算器314において、メモリ310に格納された第1のゲインの画素信号からメモリ311に格納された第1のゲインのノイズ信号を減算し、後段の回路へ出力する。
0019
S404では、転送スイッチ302がONの状態のままで光電変換素子301から出力された画素信号を列アンプ2041において前記第1のゲインとは異なる第2のゲインで増幅し、A/D変換部309でA/D変換した後にメモリ310に格納する。すなわちメモリ310に格納されている第1のゲインの画素信号に上書きする。減算手段である減算器314において、メモリ310に格納された第2のゲインの画素信号からメモリ312に格納された第2のゲインのノイズ信号を減算し、後段の回路へ出力する。
このようにS403、S404では、第1のゲインで増幅した光電変換素子の出力信号から第1の保持手段に保持された信号を減算して第1の画素信号を形成する。また、前記第1のゲインとは異なる第2のゲインで増幅した光電変換素子の出力信号から第2の保持手段に保持された信号を減算して第2の画素信号を形成する。
S403で出力された第1のゲインの第1の画素信号と、S404で出力された第2のゲインの第2の画素信号を用いて、S408において信号処理部102でHDR画像を形成する。S408において信号処理部102は画像形成手段として機能している。
0020
S405では、転送スイッチ302がOFFの状態で不図示のリセットトランジスタによる電荷保持部303のリセットを解除した直後の信号を画素アンプ304を介して出力したノイズ信号を第2のゲインで増幅して出力する。さらに、第2のゲインで増幅したノイズ信号をA/D変換部309でA/D変換した後にメモリ312に格納する。
S406では、転送スイッチ302がONの状態で光電変換素子301から出力された画素信号を列アンプ2041において第2のゲインで増幅し、A/D変換部309でA/D変換した後にメモリ310に格納する。そして、減算手段である減算器314において、メモリ310に格納された第2のゲインの画素信号からメモリ312に格納された第2のゲインのノイズ信号を減算し、後段の回路へ出力する。
0021
S407では、転送スイッチ302がONの状態のままで光電変換素子301から出力された画素信号を列アンプ2041において第1のゲインで増幅し、A/D変換部309でA/D変換した後にメモリ310に格納する。すなわちメモリ310に格納されている第2のゲインの画素信号に上書きする。減算手段である減算器314において、メモリ310に格納された第1のゲインの画素信号からメモリ311に格納された第1のゲインのノイズ信号を減算し、後段の回路へ出力する。
このようにS406、S407では、第2のゲインで増幅した光電変換素子の出力信号から第2の保持手段に保持された信号を減算して第2の画素信号を形成する。また、前記第2のゲインとは異なる第1のゲインで増幅した光電変換素子の出力信号から第1の保持手段に保持された信号を減算して第1の画素信号を形成する。
S407で出力された第1のゲインの第1の画素信号と、S406で出力された第2のゲインの第2の画素信号を用いて、S408において信号処理部102でHDR画像を生成する。S409で1フレーム分の行の画素信号の出力が終了したかどうかを判断し、Yesであれば図4のフローを終了する。NoであればS401に戻る。
0022
図5は第1のゲインでノイズ信号を増幅して出力する場合のタイミングを示した図である。読出し期間502では、水平同期信号501に同期して、ノイズ信号を第1のゲインで増幅して出力する。次に、読出し期間503において、画素信号を第1のゲインで増幅して出力する。最後に読出し期間504において、画素信号を第2のゲインで増幅して出力する。図5に示した一連の第1のシーケンス動作502〜504は、図4では、S402〜S404における動作に相当し、制御手段としての全体制御部103によって水平同期信号に同期しつつ1水平期間単位で実行される。
0023
図6は第2のゲインでノイズ信号を増幅して出力する場合のタイミングを示した図である。読出し期間602では、水平同期信号601に同期して、ノイズ信号を第2のゲインで増幅して出力する。次に、読出し期間603において、画素信号を第2のゲインで増幅して出力する。最後に読出し期間604において、画素信号を第1のゲインで増幅して出力する。図6に示した第2のシーケンス動作602〜604は、は、図4では、S405〜S407における動作に相当し、制御手段としての全体制御部103によって水平同期信号に同期しつつ1水平期間単位で実行される。これにより、水平期間毎に交互に第1、第2のシーケンス動作が行われることになる。
0024
実施例1において、画素信号からノイズ信号を減算する場合に、例えば1フレーム期間(1垂直期間)のうちの最初の水平期間などにおいて、メモリ311もしくはメモリ312に使用すべきノイズ信号が格納されていない場合がある。この場合は、以下の処理を行う。例えば、ノイズ信号の格納の有無を全体制御部103が把握して、ノイズ信号が格納されていないタイミングで出力される映像信号を信号処理回路209において使用しないように制御する。
また例えば、ノイズ信号が格納されていない場合に、デフォルトのオフセットレベルをノイズ信号の代わりに用いてもよい。デフォルトのオフセットレベルは、机上計算で求められる所定の値でもよいし、個体ごとに工場などで測定したデータを使用してもよい。また例えば、メモリ311もしくはメモリ312のいずれかに格納されている直前のノイズ信号から演算によって推定値を求めて使用してもよい。
0025
以上、説明したように、実施例1では、1水平期間毎(即ち行単位の読出し毎)にノイズ信号のゲインを交互に切り替える。それによって、第1のゲインに対しても、第2のゲインのゲインに対しても、画素信号からノイズ信号を適切に減算することができ、ノイズ信号による画質劣化の影響を低減することが可能となる。実施例1では、ノイズ信号が取得できない画素に対しては、その直前に取得しておいたノイズ信号を、画素信号から減算することで、ノイズによる画質劣化を低減する。また、ノイズ信号を格納するメモリも、各垂直出力線に対して、ゲインの数だけ持てばよいので、回路規模も最小限に抑えられる。
0026
実施例2では、フレームごとにノイズ信号のゲインを切り替える例を示す。
実施例2において、図1〜図3、図5〜図6については実施例1と同様なので、説明を省略する。
図7は実施例2における処理のフローチャートである。
S701では、画素信号を出力するフレームが偶数フレームかどうかを判定する。偶数フレームであればS702に進み、奇数フレームであればS705へ進む。ここでは垂直同期信号を基準にフレームをカウントする。
0027
S702では、転送スイッチ302がOFFの状態で不図示のリセットトランジスタによる電荷保持部303のリセットを解除した直後の信号を画素アンプ304を介して出力した信号を第1のゲインで増幅して出力する。さらに、第1のゲインで増幅したノイズ信号をA/D変換部309でA/D変換した後にメモリ311に格納する。実施例2におけるメモリ311は、各列の各画素に対するノイズ信号を、1フレーム分、独立で保持できる容量を有しているものとする。
0028
S703では、転送スイッチ302がONの状態で光電変換素子301から出力された画素信号を列アンプ2041において第1のゲインで増幅し、A/D変換部309でA/D変換した後にメモリ310に格納する。減算手段である減算器314において、メモリ310に格納された第1のゲインの画素信号からメモリ311に格納された第1のゲインのノイズ信号を減算し、後段の回路へ出力する。ここで減算に用いるノイズ信号は、メモリ310に格納された画素信号と同一の画素アドレスのものを選択する。
0029
S704では、転送スイッチ302がONの状態のままで光電変換素子301から出力された画素信号を列アンプ2041において第2のゲインで増幅し、A/D変換部309でA/D変換した後にメモリ310に格納する。すなわちメモリ310に格納されている第1のゲインの画素信号に上書きする。減算手段である減算器314において、メモリ310に格納された第2のゲインの画素信号からメモリ312に格納された第2のゲインのノイズ信号を減算し、後段の回路へ出力する。ここで減算に用いるノイズ信号は、メモリ310に格納された画素信号と同一の画素アドレスのものを選択する。
このようにS703、S704では、第1のゲインで増幅した光電変換素子の出力信号から第1の保持手段に保持された信号を減算して第1の画素信号を形成する。また、前記第1のゲインとは異なる第2のゲインで増幅した光電変換素子の出力信号から第2の保持手段に保持された信号を減算して第2の画素信号を形成する。
S702〜S704の第1のシーケンス動作は、図5で示した動作を1垂直期間単位で偶数フレームのすべての行の読出しに対して行うことで実現される。
S703で出力された第1のゲインの画素信号と、S704で出力された第2のゲインの画素信号を用いて、S708において信号処理部102でHDR画像を生成する。このように、S708において信号処理部102は画像形成手段として機能している。
0030
S705では、転送スイッチ302がOFFの状態で不図示のリセットトランジスタによる電荷保持部303のリセットを解除した直後の信号を画素アンプ304を介して出力したノイズ信号を第2のゲインで増幅して出力する。さらに、第2のゲインで増幅したノイズ信号をA/D変換部309でA/D変換した後にメモリ312に格納する。実施例2におけるメモリ312は、各列の各画素に対するノイズ信号を、1フレーム分、独立で保持できる容量を有しているものとする。
0031
S706では、転送スイッチ302がONの状態で光電変換素子301から出力された画素信号を列アンプ2041において第2のゲインで増幅し、A/D変換部309でA/D変換した後にメモリ310に格納する。減算手段である減算器314において、メモリ310に格納された第2のゲインの画素信号からメモリ312に格納された第2のゲインのノイズ信号を減算した、後段の回路へ出力する。ここで減算に用いるノイズ信号は、メモリ310に格納された画素信号と同一の画素アドレスのものを選択する。
0032
S707では、転送スイッチ302がONの状態のままで光電変換素子301から出力された画素信号を列アンプ2041において第1のゲインで増幅し、A/D変換部309でA/D変換した後にメモリ310に格納する。すなわちメモリ310に格納されている第2のゲインの画素信号に上書きする。減算手段である減算器314において、メモリ310に格納された第1のゲインの画素信号からメモリ311に格納された第1のゲインのノイズ信号を減算し、後段の回路へ出力する。ここで減算に用いるノイズ信号は、メモリ310に格納された画素信号と同一の画素アドレスのものを選択する。
このようにS706、S707では、第2のゲインで増幅した光電変換素子の出力信号から第2の保持手段に保持された信号を減算して第2の画素信号を形成する。また、前記第2のゲインとは異なる第1のゲインで増幅した光電変換素子の出力信号から第1の保持手段に保持された信号を減算して第1の画素信号を形成する。
S705〜S707の第2のシーケンス動作は、図6で示した動作を1垂直期間単位で奇数フレームのすべての行の読出しに対して行うことで実現される。なお、実施例2においては、図5の第1のシーケンス動作を偶数フレームにおいて実行した後、図6の第2のシーケンス動作を奇数フレームにおいて実行する。これにより、垂直期間毎に交互に第1、第2のシーケンス動作が切り替えられることになる。
S707で出力された第1のゲインの第1の画素信号と、S706で出力された第2のゲインの第2の画素信号を用いて、S708において信号処理部102でHDR画像を形成する。
0033
実施例2において、画素信号からノイズ信号を減算する場合に、例えば最初の垂直同期信号期間においてなど、メモリ311もしくはメモリ312に使用すべきノイズ信号が格納されていない場合がある。この場合は、以下の処理を行ってもよい。例えば、ノイズ信号の有無を全体制御部103が把握して、ノイズ信号が格納されていないタイミングで出力される映像信号を信号処理回路209において使用しないように制御してもよい。
また例えば、ノイズ信号が格納されていない場合に、デフォルトのオフセットレベルをノイズ信号の代わりに用いてもよい。デフォルトのオフセットレベルは、机上計算で求められる所定の値でもよいし、個体ごとに工場などで測定したデータを使用してもよい。また例えば、メモリ311もしくはメモリ312のいずれかに格納されている直前のノイズ信号から演算によって推定値を求めて使用してもよい。
0034
以上、説明したように、実施例2では、フレーム毎(1垂直期間毎)にノイズ信号のゲインを切り替えることで、第1のゲインに対しても、第2のゲインに対しても、画素信号からノイズ信号を適切に減算することができる。従って、ノイズ信号による画質劣化の影響を低減することが可能となる。実施例2では、全画素に対して、すべてのゲインのノイズ信号が保持できるため、画素信号からノイズ信号を減算した際の補正精度が向上する。
0035
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。また上述の実施形態の一部を適宜組み合わせてもよい。
なお、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線/無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。
0036
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等、プログラムの形態を問わない。
実施例
0037
プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光/光磁気記憶媒体、不揮発性の半導体メモリでもよい。
また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。
0038
100 ・・・・レンズ
101 ・・・・撮像素子
102 ・・・・信号処理部
103 ・・・・ 全体制御部
104 ・・・・外部出力I/F部
201 ・・・・タイミング制御部
202 ・・・・垂直走査回路
203 ・・・・画素部
204 ・・・・列アンプ
205 ・・・・ 列ADC
208 ・・・・水平転送回路
209 ・・・・信号処理回路
210 ・・・・外部出力回路
301 ・・・・光電変換素子
302 ・・・・転送スイッチ
303 ・・・・電荷保持部
304 ・・・・画素アンプ
3051 ・・・垂直出力線
3071・・・・電流制御部
309 ・・・・ A/D変換部
310 ・・・・メモリ
311 ・・・・ メモリ
312 ・・・・ メモリ
313 ・・・・ セレクタ
技術視点だけで見ていませんか?
この技術の活用可能性がある分野
分野別動向を把握したい方- 事業化視点で見る -
(分野番号表示ON)※整理標準化データをもとに当社作成