図面 (/)

技術 XYアドレス型固体撮像装置のフリッカノイズ低減方法

出願人 富士通セミコンダクター株式会社
発明者 大工博杉山巌
出願日 2001年4月26日 (18年7ヶ月経過) 出願番号 2001-130150
公開日 2002年11月15日 (17年0ヶ月経過) 公開番号 2002-330350
状態 特許登録済
技術分野 光信号から電気信号への変換
主要キーワード 平均輝度差 積和計算 平均輝度データ フリッカノイズ 末尾データ 室内照明用 垂直走査シフトレジスタ ノイズキャンセル回路
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2002年11月15日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (10)

課題

本発明は、室内を撮影する際、室内照明用蛍光燈により生じるフリッカノイズを低減させるXYアドレス固体撮像装置のフリッカノイズ低減方法を提供することを目的とする。

解決手段

発光周波数120Hzの蛍光燈の下でフリッカを生じない信号蓄積時間tsに予め設定し(ステップS1)、1フレーム内に割り当てた所定の平均輝度検出領域で画像データの平均輝度をフレーム毎に算出し(ステップS2)、フレーム間の平均輝度の差を算出し(ステップS3)、輝度差に基づいて信号蓄積時間tsを変更する(ステップS4、S5、S6)ように構成する。

概要

背景

近年、固体撮像装置は、デジタルスチルカメラデジタルビデオカメラ、あるいは携帯電話機等の種々の製品に内蔵されて大量に使われるようになってきている。固体撮像装置は大別して、電荷転送イメージセンサで構成されたCCD(Charge Coupled Device)固体撮像装置と、例えばCMOS(相補型金属酸化物半導体トランジスタでイメージセンサを構成したXYアドレス型固体撮像装置とがある。CMOSイメージセンサを用いたXYアドレス型固体撮像装置(以下、適宜、CMOSイメージセンサと略称する)はMOSFETの製造プロセスと同一の技術で製造することができ、また単一電源で駆動して消費電力も小さく、さらに各種信号処理回路同一チップ上に搭載できることから、CCD固体撮像装置代わるものとして有望視されている。

CMOSイメージセンサは、複数の垂直選択線と水平選択線とに接続されてマトリクス状に配置された複数の画素領域を有している。各画素領域にはフォトダイオード等の光電変換素子が形成されている。各光電変換素子受光面に入射した光は光電変換されて素子内に電荷蓄積される。蓄積された電荷は画素内に設けられたソースフォロワアンプ等で電圧に変換されて増幅され1画素分の画像データとして所定のタイミングで読み出されるようになっている。

所定の水平選択線に接続された複数の画素の画像データは、垂直走査シフトレジスタからの行選択信号により一斉に出力され、次いで水平走査シフトレジスタからの列選択信号に基づいて順次外部システム側に出力される。

ところで、撮像環境が室内の場合、照明には蛍光燈が使用されていることが多い。日本では地域によって蛍光燈の発光周波数が異なり、発光周波数が100Hz(電源周波数が50Hz)の地域と120Hz(同60Hz)の地域がある。この蛍光燈の発光周波数と従来のCMOSイメージセンサの信号蓄積時間との関係を図6(a)、(b)及び図7(a)、(b)に示す。これらの図は横軸に時間をとり、縦軸に蛍光燈の発光量をとっている。図6及び図7の(a)は、発光周波数が100Hz(発光周期点滅周期):1/100sec(秒))の蛍光燈の場合であり、(b)は、発光周波数が120Hz(発光周期:1/120sec)の蛍光燈の場合を示している。

図6(a)、(b)において、1フレーム先頭から第xライン目の水平選択線(以下、第xラインという)に接続された画素のフォトダイオードによる信号蓄積について説明する。第xラインでの信号蓄積開始時刻をlxb、信号蓄積終了時刻をlxe、信号蓄積時間(積分期間)をtsとする。

なお、先頭の水平選択線から末尾の水平選択線までの垂直走査期間及び垂直ブランキング期間の合計を1フレーム周期Tとすると、一例として1フレーム周期T=1/30(sec)であり、したがって、フレーム周波数f=30Hzである。また、フォトダイオードでの信号蓄積期間tsは、フォトダイオードをリセットするリセットパルスの入力から画像データを読み出すまでの期間となるので、リセットパルスの入力のタイミングを変えることにより信号蓄積時間tsを変更できるようになっている。

まず、図6(b)に示すように、発光周期が1/120secの蛍光燈の場合には、蛍光燈の発光周期の整数倍(4倍)がCMOSイメージセンサの1フレーム周期に一致する。従って、第xラインでの信号蓄積開始時刻lxb及び信号蓄積終了時刻lxeは、nフレーム目と次のn+1フレーム目とで蛍光燈の発光周期に対して同一のタイミングになる。このため、発光周波数が120Hzの蛍光燈の下での撮像では、フレーム間での映像の明るさ(図中のハッチング部分の面積)は一定になる。

一方、図6(a)に示すように、発光周期が1/100secの蛍光燈の場合には、蛍光燈の発光周期の整数倍がCMOSイメージセンサの1フレーム周期に一致せず、本例では1フレーム当り100/30≒3.3周期となる。従って、信号蓄積時間tsを蛍光燈の発光周期に合わせない限り、第xラインでの信号蓄積開始時刻lxb及び信号蓄積終了時刻lxeは、nフレーム目と次のn+1フレーム目とで蛍光燈の発光周期に対して同一のタイミングにならない。このため、発光周波数が100Hzの蛍光燈の下での撮像では、フレーム間での映像の明るさがフレーム毎に異なってしまう。

次に、図7(a)、(b)に示すように、同一フレーム内で異なる水平ライン(第xライン及び第yライン)に接続された画素での信号蓄積について説明する。ここで、第yラインの信号蓄積開始時刻をlybとし信号蓄積終了時刻をlyeとする。信号蓄積時間tsは第xラインと同一である。

図示からも明らかなように、第xラインの信号蓄積開始時刻lxb及び信号蓄積終了時刻lxeと、第yラインの信号蓄積開始時刻lyb及び信号蓄積終了時刻lyeとは、発光周波数が100Hz及び120Hzの双方の蛍光燈の発光周期に対して同一のタイミングにならない。このため、発光周波数が100Hz及び120Hzの双方の蛍光燈の下で、同一フレーム内のライン間毎の明るさが違って見えてしまう。

図8は、図6及び図7を用いて説明した上記現象の具体例を示している。図8(a)は、発光周波数が100Hzの蛍光燈の下で撮像したnフレーム目の画像を例示し、図8(b)は、同n+1フレーム目の画像を例示している。図8(a)、(b)に示すように、発光周波数が100Hzの蛍光燈の下で撮像した画像には、画面内に3.3周期の明暗横縞が現われると共に、それらのが上方向又は下方向に徐々に移動する現象が観察される。この現象が、発光周波数100Hzの蛍光燈の下で撮像した画像に表れるフリッカノイズである。

図8(c)は、発光周波数が120Hzの蛍光燈の下で撮像したnフレーム目の画像を例示し、図8(d)は、同n+1フレーム目の画像を例示している。図8(c)、(d)に示すように、発光周波数が120Hzの蛍光燈の下で撮像した画像には、画面内に静止した4周期の明暗の横縞が観察される。この現象が、発光周波数120Hzの蛍光燈の下で撮像した画像に表れるフリッカノイズである。

CMOSイメージセンサに対し、CCDイメージセンサにおいてもフリッカノイズは発生する。CCDイメージセンサにおいては、特徴的な画像データの読み出し方法を用いているため、図8(a)〜(d)に示すような同一画面上での輝度ムラは生じない。従って、発光周波数が120Hzの蛍光燈下ではフリッカノイズは生じない。また、発光周波数が100Hzの蛍光燈の下ではフレーム間での明暗差が生じるフリッカノイズだけが生じる。このフリッカノイズを低減する方法について図9を用いて簡単に説明する。図9(a)、(b)は、蛍光燈の発光周波数と従来のCDDイメージセンサの信号蓄積時間tsとの関係を示している。これらの図は横軸に時間をとり、縦軸に蛍光燈の発光量をとっている。図9(a)は、発光周波数が100Hzの蛍光燈の場合であり、図9(b)は、発光周波数が120Hzの蛍光燈の場合を示している。

CDDイメージセンサのフリッカノイズの低減方法では、図9に示すように、1フレームでの信号蓄積時間ts(信号蓄積開始時刻sb、信号蓄積終了時刻se)を、発光周波数が100Hzの蛍光燈下でフリッカが生じない、例えば蛍光燈の発光周期1/100の3倍に固定する。信号蓄積時間tsを予め3/100secに設定しておけば、発光周波数が100Hzでも120Hzでもフリッカを生じることなく使用できる。

概要

本発明は、室内を撮影する際、室内照明用の蛍光燈により生じるフリッカノイズを低減させるXYアドレス型固体撮像装置のフリッカノイズ低減方法を提供することを目的とする。

発光周波数120Hzの蛍光燈の下でフリッカを生じない信号蓄積時間tsに予め設定し(ステップS1)、1フレーム内に割り当てた所定の平均輝度検出領域で画像データの平均輝度をフレーム毎に算出し(ステップS2)、フレーム間の平均輝度の差を算出し(ステップS3)、輝度差に基づいて信号蓄積時間tsを変更する(ステップS4、S5、S6)ように構成する。

目的

本発明の目的は、室内を撮影する際、室内照明用の蛍光燈により生じるフリッカノイズを低減させるXYアドレス型固体撮像装置のフリッカノイズ低減方法を提供することにある。

効果

実績

技術文献被引用数
1件
牽制数
2件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

所定の信号蓄積時間で入射光光電変換して画像データとして出力する複数の画素を備えたXYアドレス固体撮像装置において照明光発光周波数に依存して生じるフリッカノイズを低減するXYアドレス型固体撮像装置のフリッカノイズ低減方法であって、1フレーム内に割り当てた所定の平均輝度検出領域で、前記画像データの平均輝度をフレーム毎に算出し、前記フレーム間の前記平均輝度の差を算出し、前記輝度差に基づいて前記信号蓄積時間を変更することを特徴とするXYアドレス型固体撮像装置のフリッカノイズ低減方法。

請求項2

請求項1記載のXYアドレス型固体撮像装置のフリッカノイズ低減方法において、前記平均輝度検出領域は、所定数の隣接する水平選択線に接続された複数の画素で構成されることを特徴とするXYアドレス型固体撮像装置のフリッカノイズ低減方法。

請求項3

請求項2記載のXYアドレス型固体撮像装置のフリッカノイズ低減方法において、前記所定数は、前記フリッカノイズにより生じる輝度むら周期整数倍に一致しない数に設定することを特徴とするXYアドレス型固体撮像装置のフリッカノイズ低減方法。

請求項4

請求項3記載のXYアドレス型固体撮像装置のフリッカノイズ低減方法において、前記平均輝度検出領域は、前記水平選択線総数の3/10倍を間隔として1フレーム内で1乃至3個所設定することを特徴とするXYアドレス型固体撮像装置のフリッカノイズ低減方法。

請求項5

所定の信号蓄積時間で入射光を光電変換して画像データとして出力する複数の画素を備えたXYアドレス型固体撮像装置において照明光の発光周波数に依存して生じるフリッカノイズを低減するXYアドレス型固体撮像装置のフリッカノイズ低減方法であって、1フレーム内に2つの平均輝度検出領域を設け、前記2つの平均輝度検出領域での前記画像データの平均輝度を複数フレームにわたって算出し、複数の前記平均輝度に対して積和計算処理を施して積和計算値を算出し、前記積和計算値に基づいて前記信号蓄積時間を変更することを特徴とするXYアドレス型固体撮像装置のフリッカノイズ低減方法。

請求項6

請求項5記載のXYアドレス型固体撮像装置のフリッカノイズ低減方法において、前記2つの平均輝度検出領域のそれぞれは、1本の水平選択線が割り当てられていることを特徴とするXYアドレス型固体撮像装置のフリッカノイズ低減方法。

請求項7

請求項6記載のXYアドレス型固体撮像装置のフリッカノイズ低減方法において、前記2つの平均輝度検出領域の間隔は、前記発光周波数:A(Hz)前記XYアドレス型固体撮像装置のフレーム周波数:B(Hz)前記水平選択線総数:Vとして、V×(1/2−(A/Bの剰余))/(A/B)に設定することを特徴とするXYアドレス型固体撮像装置のフリッカノイズ低減方法。

請求項8

請求項5記載のXYアドレス型固体撮像装置のフリッカノイズ低減方法において、前記積和計算処理にて使用する積和係数の総和が、sin項及びcos項ともに、それぞれ0()になるよう決められていることを特徴とするXYアドレス型固体撮像装置のフリッカノイズ低減方法。

請求項9

請求項1乃至8のいずれか1項に記載のXYアドレス型固体撮像装置のフリッカノイズ低減方法において、第1の発光周波数の前記照明光に対してフリッカノイズを低減可能な第1の信号蓄積時間を予め設定し、前記輝度差又は前記積和計算値が所定の閾値を超えたら、第2の発光周波数の照明光に対してフリッカノイズを低減可能な第2の信号蓄積時間に変更することを特徴とするXYアドレス型固体撮像装置のフリッカノイズ低減方法。

技術分野

0001

本発明は、XYアドレス固体撮像装置で室内を撮影する際、室内照明用蛍光燈により生じてしまう画面フリッカノイズを低減させる方法に関する。

背景技術

0002

近年、固体撮像装置は、デジタルスチルカメラデジタルビデオカメラ、あるいは携帯電話機等の種々の製品に内蔵されて大量に使われるようになってきている。固体撮像装置は大別して、電荷転送イメージセンサで構成されたCCD(Charge Coupled Device)固体撮像装置と、例えばCMOS(相補型金属酸化物半導体トランジスタでイメージセンサを構成したXYアドレス型固体撮像装置とがある。CMOSイメージセンサを用いたXYアドレス型固体撮像装置(以下、適宜、CMOSイメージセンサと略称する)はMOSFETの製造プロセスと同一の技術で製造することができ、また単一電源で駆動して消費電力も小さく、さらに各種信号処理回路同一チップ上に搭載できることから、CCD固体撮像装置代わるものとして有望視されている。

0003

CMOSイメージセンサは、複数の垂直選択線と水平選択線とに接続されてマトリクス状に配置された複数の画素領域を有している。各画素領域にはフォトダイオード等の光電変換素子が形成されている。各光電変換素子受光面に入射した光は光電変換されて素子内に電荷蓄積される。蓄積された電荷は画素内に設けられたソースフォロワアンプ等で電圧に変換されて増幅され1画素分の画像データとして所定のタイミングで読み出されるようになっている。

0004

所定の水平選択線に接続された複数の画素の画像データは、垂直走査シフトレジスタからの行選択信号により一斉に出力され、次いで水平走査シフトレジスタからの列選択信号に基づいて順次外部システム側に出力される。

0005

ところで、撮像環境が室内の場合、照明には蛍光燈が使用されていることが多い。日本では地域によって蛍光燈の発光周波数が異なり、発光周波数が100Hz(電源周波数が50Hz)の地域と120Hz(同60Hz)の地域がある。この蛍光燈の発光周波数と従来のCMOSイメージセンサの信号蓄積時間との関係を図6(a)、(b)及び図7(a)、(b)に示す。これらの図は横軸に時間をとり、縦軸に蛍光燈の発光量をとっている。図6及び図7の(a)は、発光周波数が100Hz(発光周期点滅周期):1/100sec(秒))の蛍光燈の場合であり、(b)は、発光周波数が120Hz(発光周期:1/120sec)の蛍光燈の場合を示している。

0006

図6(a)、(b)において、1フレーム先頭から第xライン目の水平選択線(以下、第xラインという)に接続された画素のフォトダイオードによる信号蓄積について説明する。第xラインでの信号蓄積開始時刻をlxb、信号蓄積終了時刻をlxe、信号蓄積時間(積分期間)をtsとする。

0007

なお、先頭の水平選択線から末尾の水平選択線までの垂直走査期間及び垂直ブランキング期間の合計を1フレーム周期Tとすると、一例として1フレーム周期T=1/30(sec)であり、したがって、フレーム周波数f=30Hzである。また、フォトダイオードでの信号蓄積期間tsは、フォトダイオードをリセットするリセットパルスの入力から画像データを読み出すまでの期間となるので、リセットパルスの入力のタイミングを変えることにより信号蓄積時間tsを変更できるようになっている。

0008

まず、図6(b)に示すように、発光周期が1/120secの蛍光燈の場合には、蛍光燈の発光周期の整数倍(4倍)がCMOSイメージセンサの1フレーム周期に一致する。従って、第xラインでの信号蓄積開始時刻lxb及び信号蓄積終了時刻lxeは、nフレーム目と次のn+1フレーム目とで蛍光燈の発光周期に対して同一のタイミングになる。このため、発光周波数が120Hzの蛍光燈の下での撮像では、フレーム間での映像の明るさ(図中のハッチング部分の面積)は一定になる。

0009

一方、図6(a)に示すように、発光周期が1/100secの蛍光燈の場合には、蛍光燈の発光周期の整数倍がCMOSイメージセンサの1フレーム周期に一致せず、本例では1フレーム当り100/30≒3.3周期となる。従って、信号蓄積時間tsを蛍光燈の発光周期に合わせない限り、第xラインでの信号蓄積開始時刻lxb及び信号蓄積終了時刻lxeは、nフレーム目と次のn+1フレーム目とで蛍光燈の発光周期に対して同一のタイミングにならない。このため、発光周波数が100Hzの蛍光燈の下での撮像では、フレーム間での映像の明るさがフレーム毎に異なってしまう。

0010

次に、図7(a)、(b)に示すように、同一フレーム内で異なる水平ライン(第xライン及び第yライン)に接続された画素での信号蓄積について説明する。ここで、第yラインの信号蓄積開始時刻をlybとし信号蓄積終了時刻をlyeとする。信号蓄積時間tsは第xラインと同一である。

0011

図示からも明らかなように、第xラインの信号蓄積開始時刻lxb及び信号蓄積終了時刻lxeと、第yラインの信号蓄積開始時刻lyb及び信号蓄積終了時刻lyeとは、発光周波数が100Hz及び120Hzの双方の蛍光燈の発光周期に対して同一のタイミングにならない。このため、発光周波数が100Hz及び120Hzの双方の蛍光燈の下で、同一フレーム内のライン間毎の明るさが違って見えてしまう。

0012

図8は、図6及び図7を用いて説明した上記現象の具体例を示している。図8(a)は、発光周波数が100Hzの蛍光燈の下で撮像したnフレーム目の画像を例示し、図8(b)は、同n+1フレーム目の画像を例示している。図8(a)、(b)に示すように、発光周波数が100Hzの蛍光燈の下で撮像した画像には、画面内に3.3周期の明暗横縞が現われると共に、それらのが上方向又は下方向に徐々に移動する現象が観察される。この現象が、発光周波数100Hzの蛍光燈の下で撮像した画像に表れるフリッカノイズである。

0013

図8(c)は、発光周波数が120Hzの蛍光燈の下で撮像したnフレーム目の画像を例示し、図8(d)は、同n+1フレーム目の画像を例示している。図8(c)、(d)に示すように、発光周波数が120Hzの蛍光燈の下で撮像した画像には、画面内に静止した4周期の明暗の横縞が観察される。この現象が、発光周波数120Hzの蛍光燈の下で撮像した画像に表れるフリッカノイズである。

0014

CMOSイメージセンサに対し、CCDイメージセンサにおいてもフリッカノイズは発生する。CCDイメージセンサにおいては、特徴的な画像データの読み出し方法を用いているため、図8(a)〜(d)に示すような同一画面上での輝度ムラは生じない。従って、発光周波数が120Hzの蛍光燈下ではフリッカノイズは生じない。また、発光周波数が100Hzの蛍光燈の下ではフレーム間での明暗差が生じるフリッカノイズだけが生じる。このフリッカノイズを低減する方法について図9を用いて簡単に説明する。図9(a)、(b)は、蛍光燈の発光周波数と従来のCDDイメージセンサの信号蓄積時間tsとの関係を示している。これらの図は横軸に時間をとり、縦軸に蛍光燈の発光量をとっている。図9(a)は、発光周波数が100Hzの蛍光燈の場合であり、図9(b)は、発光周波数が120Hzの蛍光燈の場合を示している。

0015

CDDイメージセンサのフリッカノイズの低減方法では、図9に示すように、1フレームでの信号蓄積時間ts(信号蓄積開始時刻sb、信号蓄積終了時刻se)を、発光周波数が100Hzの蛍光燈下でフリッカが生じない、例えば蛍光燈の発光周期1/100の3倍に固定する。信号蓄積時間tsを予め3/100secに設定しておけば、発光周波数が100Hzでも120Hzでもフリッカを生じることなく使用できる。

発明が解決しようとする課題

0016

ところが、CMOSイメージセンサでは、上述のように発光周波数が100Hzと120Hzのそれぞれでフリッカが生じており、発光周波数が100Hzと120Hzの双方でフリッカが生じない信号蓄積時間tsは、1/30secのフレーム周期内では存在しない。このため、上記CDDイメージセンサのフリッカノイズの低減方法をCMOSイメージセンサにそのまま適用することはできない。

0017

本発明の目的は、室内を撮影する際、室内照明用の蛍光燈により生じるフリッカノイズを低減させるXYアドレス型固体撮像装置のフリッカノイズ低減方法を提供することにある。

課題を解決するための手段

0018

上記目的は、所定の信号蓄積時間で入射光を光電変換して画像データとして出力する複数の画素を備えたXYアドレス型固体撮像装置において照明光の発光周波数に依存して生じるフリッカノイズを低減するXYアドレス型固体撮像装置のフリッカノイズ低減方法であって、1フレーム内に割り当てた所定の平均輝度検出領域で、前記画像データの平均輝度をフレーム毎に算出し、前記フレーム間の前記平均輝度の差を算出し、前記輝度差に基づいて前記信号蓄積時間を変更することを特徴とするXYアドレス型固体撮像装置のフリッカノイズ低減方法によって達成される。

0019

上記目的は、所定の信号蓄積時間で入射光を光電変換して画像データとして出力する複数の画素を備えたXYアドレス型固体撮像装置において照明光の発光周波数に依存して生じるフリッカノイズを低減するXYアドレス型固体撮像装置のフリッカノイズ低減方法であって、1フレーム内に2つの平均輝度検出領域を設け、前記2つの平均輝度検出領域での前記画像データの平均輝度を複数フレームにわたって算出し、複数の前記平均輝度に対して積和計算処理を施して積和計算値を算出し、前記積和計算値に基づいて前記信号蓄積時間を変更することを特徴とするXYアドレス型固体撮像装置のフリッカノイズ低減方法によって達成される。

発明を実施するための最良の形態

0020

本発明の第1の実施の形態によるXYアドレス型固体撮像装置のフリッカノイズ低減方法について図1乃至図3を用いて説明する。まず、本実施の形態によるXYアドレス型固体撮像装置であるCMOSイメージセンサの概略の構成を図1を用いて説明する。図1は、m行n列画素配列を有するCMOSイメージセンサ1の4×4画素分の回路例を示している。複数の垂直選択線CL1〜CL4と水平選択線RW1〜RW4とに接続される画素領域P11〜P44がマトリクス状に配列されている。各画素領域P11〜P44には光電変換素子としてフォトダイオード10が形成されている。光電変換素子はフォトダイオード10に代えて例えばフォトゲートを用いてもよい。

0021

CMOSイメージセンサ1は、各画素領域P11〜P44に例えばMOSFET(本実施形態ではn−ch(nチャネル)MOSFETを例示している)で構成されるソースフォロワアンプ14や水平選択トランジスタ16等が配置されたAPS(Active Pixel Sensor)構成を有している。以下、行番号をmとし、列番号をnとして画素領域Pmnの回路構成について説明する。画素領域Pmn内のフォトダイオード10のカソード側は、例えばn−chMOSFETのリセットトランジスタ12のソース電極及びソースフォロワアンプ14のゲート電極に接続されている。

0022

各リセットトランジスタ12のドレイン電極は、リセット電圧VR印加されるリセット電圧供給線VRmに接続され、ゲート電極はリセット信号線RSTmに接続されている。ソースフォロワアンプ14のドレイン電極はリセット電圧供給線VRmに接続され、ソース電極は例えばn−chMOSFETの水平選択トランジスタ16のドレイン電極に接続されている。各水平選択トランジスタ16のゲート電極は選択信号が供給される水平選択線RWmに接続されている。各水平選択トランジスタ16のソース電極は垂直選択線CLnに接続されている。

0023

リセット電圧供給線VRm及び水平選択線RWmは、垂直走査シフトレジスタ/リセット制御回路4に接続されている。垂直走査シフトレジスタ/リセット制御回路4内に設けられた不図示のシフトレジスタにより、所定のタイミングで水平選択線RWmに順次選択信号が出力されるようになっている。

0024

各垂直選択線CLnは、それぞれアンプノイズキャンセル回路6と例えばn−chMOSFETの列選択トランジスタ20とを介して信号共通出力線30に接続されている。列選択トランジスタ20のゲート電極には、水平走査シフトレジスタ8から列選択信号が所定タイミングで順次入力され、アンプ/ノイズキャンセル回路6により固定パターン雑音の除去された画像データが順次信号共通出力線30に出力され、アンプ32を介して外部システムに送出されるようになっている。

0025

次に、本CMOSイメージセンサ1の動作について簡単に説明する。まず、リセット信号RSTによりリセットトランジスタ12が所定のタイミングでオンになると、フォトダイオード10がリセット電位VRに充電される。次いで光の入射に伴いフォトダイオード10の放電が始まり、リセット電位VRより電位が低下する。所定時間の経過後に水平選択信号RWが水平選択線RWmに出力されると当該水平選択線RWmに接続された水平選択トランジスタ16のゲート電極に当該水平選択信号RWが入力して水平選択トランジスタ16がオンになる。これによりソースフォロワアンプ14からの出力電圧が画素領域Pmnの画像データとして垂直選択線CLnに出力される。

0026

以上の基本構成を有するCMOSイメージセンサにおけるフリッカノイズ低減方法について図2及び図3を用いて説明する。図2は、本実施の形態によるCMOSイメージセンサにおけるフリッカノイズ低減方法の手順を示している。図3は、CMOSイメージセンサの受光面を模式的に示している。

0027

図2において、まず、CMOSイメージセンサの信号蓄積時間の初期値を発光周波数が120Hzの蛍光燈の下でフリッカノイズが生じない信号蓄積時間tsに設定する(ステップS1)。蛍光燈の発光周期が1/120secの場合、フリッカノイズによる1フレーム内の輝度むら図8(a)〜(d)に示した明暗の変化)は、1/120secで周期的になる。従って、当該周期の整数倍であってCMOSイメージセンサの1フレーム周期の1/30sec以下となる1/120、2/120、3/120、又は4/120secが、発光周波数120Hzの蛍光燈の下でフリッカノイズを生じさせない信号蓄積時間tsの取り得る値となる。

0028

次に、所定の平均輝度検出領域での画像データの平均輝度(Yave)をフレーム毎に算出する(ステップS2)。図3には斜線で示した平均輝度検出領域50がほぼ等間隔で水平選択線d2本おきに3個所示されている。1本の水平選択線には図3中、H方向(水平方向)に複数の画素が接続されている。平均輝度検出領域50は、所定数の隣接する水平選択線に接続された複数の画素で構成される。また、各平均輝度検出領域50の水平選択線の本数d1は、フリッカノイズにより生じる輝度むらの周期の整数倍に一致しない数に設定する。

0029

例えば、蛍光燈の発光周期が1/100secの場合、フリッカノイズによる1フレーム内の輝度むらは、1/100secで周期的になる。一方、フレーム周波数が30Hzの場合、1フレーム周期は1/30secである。従って、各平均輝度検出領域50の水平選択線の本数d1を1フレームの水平選択線総数Vのほぼ3/10倍、6/10倍、又は9/10倍に設定すると、輝度むらの周期の整数倍で輝度検出してしまうことになり、どのフレームの平均輝度も同じになって輝度差を利用した蛍光燈の種別判別ができなくなってしまう。従って、フレーム周波数が30Hzの場合には、各平均輝度検出領域50の水平選択線の本数d1は、1フレームの水平選択線総数Vの3/10倍、又は6/10倍、あるいは9/10倍以外の数に設定する必要がある。図3では、水平選択線総数Vの1/10の数の水平選択線からなる平均輝度検出領域50を例示している。

0030

なお、平均輝度検出領域は、水平選択線総数Vの3/10倍を間隔として1フレーム内で1乃至3個所設定することが望ましい。

0031

次に、各フレーム間(例えば当該フレームとその直前フレーム)の平均輝度差Ydaveを算出する(ステップS3)。次に平均輝度差Ydaveが所定の閾値を超えているか否かを判断する(ステップS4)。平均輝度差Ydaveが閾値を超えていたらフレーム毎に輝度差が生じているので蛍光燈の発光周波数が100Hzであると判断し、当該発光周波数でフリッカが生じない信号蓄積時間tsに設定する(ステップS5)。

0032

上述のように、蛍光燈の発光周期が1/100secの場合、フリッカノイズによる1フレーム内の輝度むらは、1/100secで周期的になる。従って、当該周期の整数倍であってCMOSイメージセンサの1フレーム周期1/30sec以下となる1/100、2/100、又は3/100secが、発光周波数100Hzの蛍光燈の下でフリッカノイズを生じない信号蓄積時間tsの取り得る値となる。

0033

ステップS4で平均輝度差Ydaveが閾値を超えていないと判断されれば、フレーム毎に輝度差は生じておらず、蛍光燈の発光周波数が120Hzであると判断し、当該発光周波数の下でフリッカノイズが生じない初期設定の信号蓄積時間tsのままにしておく(ステップS6)。

0034

以上の手順により撮像環境下の蛍光燈の発光周波数を自動判別し、リセット信号RSTの入力タイミングを調節して信号蓄積時間tsを変更することによりフリッカノイズを低減させることができる。

0035

このように本実施の形態によれば、平均輝度検出領域50の平均輝度をフレーム毎に検出して、フレーム間の輝度差を算出することで撮像環境を最適にすることができる。これにより、室内を撮影する際、室内照明用の蛍光燈により生じるフリッカノイズを低減させることができる。

0036

次に、本発明の第2の実施の形態によるXYアドレス型固体撮像装置のフリッカノイズ低減方法について図4及び図5を用いて説明する。本実施の形態においても、フレーム周波数が30Hzの図1に示したCMOSイメージセンサに対して、蛍光燈の発光周波数が100Hz又は120Hzの2種である場合について説明する。図4は、CMOSイメージセンサの受光面を模式的に示している。図5は、本実施の形態で用いる積和係数を示している。

0037

図4には、例として受光面中央付近に配置された斜線で示した2個所の平均輝度検出領域52、54が示されている。平均輝度検出領域52、54にはそれぞれ1本の水平選択線が割り当てられている。平均輝度検出領域52、54の間隔は、水平選択線約d3本分であり、発光周波数:A(Hz)、CMOSイメージセンサのフレーム周波数:B(Hz)、水平選択線総数:V本として、

0038

d3=V×(1/2−(A/Bの剰余))/(A/B)

0039

に設定されている。平均輝度検出領域52、54の間隔を設定する上記式において、数値1/2は、輝度むら1周期に対して最大強度から最小強度(明から暗又は暗から明)への変化が1/2周期であることを示している。A/Bは、フリッカノイズによる1フレーム内にある輝度むらの周期の数を示しており、(A/Bの剰余)は1フレーム内の輝度むらの周期の端数を表している。(1/2−(A/Bの剰余))をA/Bで除することにより、平均輝度検出領域52、54で輝度むらの最大強度及び最小強度を必ず検出することができる間隔d3を求めることができる。

0040

本例では、発光周波数A=100Hz、CMOSイメージセンサのフレーム周波数B=30Hzとして、平均輝度検出領域52、54の間隔d3は、水平選択線総数Vの1/20倍になる。

0041

以上の構成において、まず、CMOSイメージセンサの信号蓄積時間を発光周波数が120Hzの蛍光燈の下でフリッカレスとなる信号蓄積時間tsに初期設定する(図2のステップS1に相当)。

0042

次に、平均輝度検出領域52、54でのそれぞれの画像データの平均輝度Yave52、Yave54を15.5フレーム分(全31個の平均輝度データになる)算出する(図2のステップS2に相当)。

0043

次に、全31個の平均輝度Yave52、Yave54の先頭データから末尾データに向かって図5に示すような積和係数を用いた積和計算(cos、sin)を順次行う。図5は左欄にcos項の係数を第0項から第30項まで示し、右欄にsin項の係数を第0項から第30項まで示している。cos項の第0項から第30項までの各係数はそれらの値の総和が0になるように決められている。sin項の第0項から第30項までの各係数もそれらの値の総和が0になるように決められている。

0044

積和計算を具体的に説明すると、第1フレームの平均輝度検出領域52の平均輝度Yave52(1)に図5の第0項のcos項の係数−0.25を乗じた値と、同平均輝度Yave52(1)に図5の第0項のsin項の係数0を乗じた値とを求める。

0045

次に、第1フレームの平均輝度検出領域54の平均輝度Yave54(1)に図5の第1項のcos項の係数−0.25を乗じた値と、同平均輝度Yave54(1)に図5の第1項のsin項の係数−0.25を乗じた値とを求める。

0046

以下同様にして、第nフレームの平均輝度検出領域52の平均輝度Yave52(n(15.5フレーム目のnは16とする))に図5の第(2n−2)項のcos項の係数を乗じた値と、同平均輝度Yave52(n)に図5の第(2n−2)項のsin項の係数を乗じた値とを求める。

0047

また、第nフレームの平均輝度検出領域54の平均輝度Yave54(n)に図5の第(2n−1)項のcos項の係数を乗じた値と、同平均輝度Yave54(n)に図5の第(2n−1)項のsin項の係数を乗じた値とを求める。

0048

さらに、求めた全62個の値の総和をとることにより積和計算値(Yfave)が求まる(図2のステップS3に相当)。

0049

発光周波数が120Hzの蛍光燈の下で撮像している場合には、積和計算値(Yfave)は、0に近い値になる。一方、発光周波数が100Hzの蛍光燈の下で撮像している場合には、発光周波数が120Hzの蛍光燈の下でフリッカノイズを生じない信号蓄積時間tsが設定されていると必ずフリッカノイズが生じるため、Yfaveの値は大きくなる。

0050

従って、Yfave≒0であれば発光周波数が120Hzの蛍光燈の撮像環境であると判別し、Yfave>0であれば発光周波数が100Hzの蛍光燈の撮像環境であると判別する(図2のステップS4に相当)。

0051

このように本実施の形態によれば、1フレーム内に2つの平均輝度検出領域52、54を設け、2つの平均輝度検出領域52、54での画像データの平均輝度Yave52、Yave54を複数フレームにわたって算出し、複数の平均輝度Yave52、Yave54に対して積和計算処理を施して積和計算値Yfaveを算出し、積和計算値Yfaveに基づいて信号蓄積時間tsを変更して撮像環境を最適にすることができる。これにより、室内を撮影する際、室内照明用の蛍光燈により生じるフリッカノイズを低減させることができる。

0052

なお、第1及び第2の本実施の形態によるCMOSイメージセンサにおけるフリッカノイズ低減方法は、CMOSイメージセンサの電源投入時のみに実行するようにしてもよいし、あるいは、CMOSイメージセンサの動作中に定期的に実行するようにしてもよい。

0053

以上説明したように、上記第1及び第2の実施の形態によれば、イメージエリア内の画素からの情報だけで撮像環境を自動検出でき、その検出結果から信号蓄積時間tsの調整だけでフリッカノイズを低減させることができる。そのため、イメージセンサの性能を大幅に向上させることができるようになる。

0054

本発明は、上記実施の形態に限らず種々の変形が可能である。例えば、上記実施の形態では、第1の発光周波数が120Hz、第2の発光周波数が100Hz、及びフレーム周波数が30Hzの場合を例にとって説明したが、本発明はこれに限られず、各発光周波数が別の値でももちろん適用可能である。

0055

また、上記第2の実施の形態では、平均輝度検出領域52、54でのそれぞれの画像データの平均輝度Yave52、Yave54を15.5フレーム分(全31個の平均輝度データになる)算出したが、本発明はこれに限られない。図5に示した積和係数の項数を異ならせて、当該項数に対応させた複数フレーム分の平均輝度を算出するようにしてももちろんよい。

0056

以上説明した実施の形態によるXYアドレス型固体撮像装置のフリッカノイズ低減方法は、以下のようにまとめられる。
(付記1)所定の信号蓄積時間で入射光を光電変換して画像データとして出力する複数の画素を備えたXYアドレス型固体撮像装置において照明光の発光周波数に依存して生じるフリッカノイズを低減するXYアドレス型固体撮像装置のフリッカノイズ低減方法であって、1フレーム内に割り当てた所定の平均輝度検出領域で、前記画像データの平均輝度をフレーム毎に算出し、前記フレーム間の前記平均輝度の差を算出し、前記輝度差に基づいて前記信号蓄積時間を変更することを特徴とするXYアドレス型固体撮像装置のフリッカノイズ低減方法。

0057

(付記2)付記1記載のXYアドレス型固体撮像装置のフリッカノイズ低減方法において、前記平均輝度検出領域は、所定数の隣接する水平選択線に接続された複数の画素で構成されることを特徴とするXYアドレス型固体撮像装置のフリッカノイズ低減方法。

0058

(付記3)付記2記載のXYアドレス型固体撮像装置のフリッカノイズ低減方法において、前記所定数は、前記フリッカノイズにより生じる輝度むらの周期の整数倍に一致しない数に設定することを特徴とするXYアドレス型固体撮像装置のフリッカノイズ低減方法。

0059

(付記4)付記3記載のXYアドレス型固体撮像装置のフリッカノイズ低減方法において、前記所定数は、フレーム周波数が30Hzの場合、1フレームの前記水平選択線総数の3/10倍、又は6/10倍、あるいは9/10倍以外の数に設定することを特徴とするXYアドレス型固体撮像装置のフリッカノイズ低減方法。

0060

(付記5)付記4記載のXYアドレス型固体撮像装置のフリッカノイズ低減方法において、前記平均輝度検出領域は、前記水平選択線総数の3/10倍を間隔として1フレーム内で1乃至3個所設定することを特徴とするXYアドレス型固体撮像装置のフリッカノイズ低減方法。

0061

(付記6)所定の信号蓄積時間で入射光を光電変換して画像データとして出力する複数の画素を備えたXYアドレス型固体撮像装置において照明光の発光周波数に依存して生じるフリッカノイズを低減するXYアドレス型固体撮像装置のフリッカノイズ低減方法であって、1フレーム内に2つの平均輝度検出領域を設け、前記2つの平均輝度検出領域での前記画像データの平均輝度を複数フレームにわたって算出し、複数の前記平均輝度に対して積和計算処理を施して積和計算値を算出し、前記積和計算値に基づいて前記信号蓄積時間を変更することを特徴とするXYアドレス型固体撮像装置のフリッカノイズ低減方法。

0062

(付記7)付記6記載のXYアドレス型固体撮像装置のフリッカノイズ低減方法において、前記2つの平均輝度検出領域のそれぞれは、1本の水平選択線が割り当てられていることを特徴とするXYアドレス型固体撮像装置のフリッカノイズ低減方法。

0063

(付記8)付記7記載のXYアドレス型固体撮像装置のフリッカノイズ低減方法において、前記2つの平均輝度検出領域の間隔は、
前記発光周波数:A(Hz)
前記XYアドレス型固体撮像装置のフレーム周波数:B(Hz)
前記水平選択線総数:V
として、
V×(1/2−(A/Bの剰余))/(A/B)
に設定することを特徴とするXYアドレス型固体撮像装置のフリッカノイズ低減方法。

0064

(付記9)付記8記載のXYアドレス型固体撮像装置のフリッカノイズ低減方法において、A=100Hz、B=30Hzとして、前記2つの平均輝度検出領域の間隔は、前記水平選択線総数Vの1/20倍に設定することを特徴とするXYアドレス型固体撮像装置のフリッカノイズ低減方法。

0065

(付記10)付記1乃至9のいずれか1項に記載のXYアドレス型固体撮像装置のフリッカノイズ低減方法において、第1の発光周波数の前記照明光に対してフリッカノイズを低減可能な第1の信号蓄積時間を予め設定し、前記輝度差又は前記積和計算値が所定の閾値を超えたら、第2の発光周波数の照明光に対してフリッカノイズを低減可能な第2の信号蓄積時間に変更することを特徴とするXYアドレス型固体撮像装置のフリッカノイズ低減方法。

0066

(付記11)付記10記載のXYアドレス型固体撮像装置のフリッカノイズ低減方法において、前記第1の発光周波数は120Hzであり、前記第2の発光周波数は100Hzであることを特徴とするXYアドレス型固体撮像装置のフリッカノイズ低減方法。

0067

(付記12)付記11記載のXYアドレス型固体撮像装置のフリッカノイズ低減方法において、フレーム周波数が30Hzの場合、前記第1の信号蓄積時間は、1/120、2/120、3/120、又は4/120(秒)のいずれかに設定され、前記第2の信号蓄積時間は、1/100、2/100、又は3/100(秒)のいずれかに設定されることを特徴とするXYアドレス型固体撮像装置のフリッカノイズ低減方法。

0068

(付記13)付記5記載のXYアドレス型固体撮像装置のフリッカノイズ低減方法において、前記積和計算処理にて使用する積和係数の総和が、sin項及びcos項ともに、それぞれ0()になるよう決められていることを特徴とするXYアドレス型固体撮像装置のフリッカノイズ低減方法。

0069

(付記14)付記1乃至13のいずれか1項に記載のXYアドレス型固体撮像装置のフリッカノイズ低減方法において、前記輝度差又は前記積和計算値に基づく前記信号蓄積時間の変更は、少なくとも前記XYアドレス型固体撮像装置の電源投入時に行うことを特徴とするXYアドレス型固体撮像装置のフリッカノイズ低減方法。

発明の効果

0070

以上の通り、本発明によれば、室内を撮影する際、室内照明用の蛍光燈により生じてしまうフリッカノイズを低減できる。

図面の簡単な説明

0071

図1本発明の第1の実施の形態によるCMOSイメージセンサ1の4×4画素分の回路例を示す図である。
図2本発明の第1の実施の形態によるCMOSイメージセンサのフリッカノイズ低減方法の手順を示す図である。
図3本発明の第1の実施の形態によるCMOSイメージセンサのフリッカノイズ低減方法を示す図である。
図4本発明の第2の実施の形態によるCMOSイメージセンサのフリッカノイズ低減方法を示す図である。
図5本発明の第2の実施の形態によるCMOSイメージセンサのフリッカノイズ低減方法で用いる積和係数を示す図である。
図6蛍光燈の発光周波数と従来のCMOSイメージセンサの信号蓄積時間との関係を示す図である。
図7蛍光燈の発光周波数と従来のCMOSイメージセンサの信号蓄積時間との関係を示す図である。
図8従来のCMOSイメージセンサにおけるフリッカノイズの発生状態を示す図である。
図9従来のCCD固体撮像装置におけるフリッカノイズ低減方法を示す図である。

--

0072

1CMOSイメージセンサ
4垂直走査シフトレジスタ/リセット制御回路
6アンプ/ノイズキャンセル回路
8水平走査シフトレジスタ
10フォトダイオード
12リセットトランジスタ
14ソースフォロワアンプ
16水平選択トランジスタ
20列選択トランジスタ
30 信号共通出力線
32、48、54、55 アンプ
40定電流電源
50、52、54平均輝度検出領域
CL1〜CL4、CLn垂直選択線
P11〜P44、Pmn画素領域
RSTリセット信号
RST1〜RST4、RSTmリセット信号線
RW1〜RW4、RWn 水平選択線
VRリセット電圧
VRm リセット電圧供給線

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ