図面 (/)

技術 撮像装置

出願人 ソニー株式会社
発明者 海老原弘知新田嘉一北見大岳
出願日 2009年9月28日 (11年3ヶ月経過) 出願番号 2009-223476
公開日 2011年4月7日 (9年8ヶ月経過) 公開番号 2011-071927
状態 特許登録済
技術分野 光信号から電気信号への変換 スタジオ装置
主要キーワード 動作制御モード 動作モード制御信号 ジャギ 全画素モード 間引きモード 心のずれ 光ショットノイズ カムコーダー
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2011年4月7日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (11)

課題

フレームごとに異なる画像処理が不要で、重心を補正する処理を別途設けることなく重心のズレをなくすことができ、ひいてはS/Nを向上させ、画質を改善することが可能な撮像装置を提供する。

解決手段

コントローラー140は、動作モード制御信号全画素モードを指定している場合には、全ての画素から順次信号読み出し、動作モード制御信号が間引きモードを指定している場合には、フィールド毎に読み出し位置を変えて、異なった画素から信号を読み出すように制御し、信号処理部150は、動作モード制御信号が全画素モードを指定している場合、単一のフィールドのフィールドデータに対して信号処理を行ってフレームデータとして出力し、動作モード制御信号が間引きモードを指定している場合、複数のフィールドのデータを加算処理して、フレームデータとして出力する。

概要

背景

近年、高い解像度を持つイメージセンサであっても、低い解像度の良質な画像を撮像することが求められている。
たとえば、デジタルスチルカメラ動画撮影したり、逆にカムコーダー静止画を撮像したりするなどの機能が一般的になってきている。

また、これらの電子機器では、多くの場合、映像を確認するためのビューファインダーを備えているが、通常、ビューファインダーの解像度は撮像する画像よりも低い。
さらに一部のデジタルスチルカメラや携帯電話などでは、低解像度の撮像時にフレームレートを向上させ、従来は見ることができなかった高速動きを撮像する機能を搭載している。

以上のように、一つのイメージセンサで、高解像度低フレームレートの静止画と、比較的低解像度で高フレームレートの動画の両方に対応することが求められている。

これに対して、全ての画素から信号を読み出す全画素モードと、行や列を飛ばしながら間欠的に読み出す間引きモードに対応するCMOS(Complementary Metal Oxide Semiconductor)イメージセンサが提案されている。

このCMOSイメージセンサにおいては、高解像度の静止画を撮影する際には全画素モードを用い、低解像度の動画や高いフレームレートで撮像する際には間引きモードを用いる。

間引きモードにおける動画の撮像において、画質を向上するCMOSイメージセンサが特許文献1に記載されている。
この方法では、フレーム毎に読み出す画素を変えることで、サンプリング位相周波数を異ならせ、モアレを低減する。

概要

フレームごとに異なる画像処理が不要で、重心を補正する処理を別途設けることなく重心のズレをなくすことができ、ひいてはS/Nを向上させ、画質を改善することが可能な撮像装置を提供する。コントローラー140は、動作モード制御信号が全画素モードを指定している場合には、全ての画素から順次信号読み出し、動作モード制御信号が間引きモードを指定している場合には、フィールド毎に読み出し位置を変えて、異なった画素から信号を読み出すように制御し、信号処理部150は、動作モード制御信号が全画素モードを指定している場合、単一のフィールドのフィールドデータに対して信号処理を行ってフレームデータとして出力し、動作モード制御信号が間引きモードを指定している場合、複数のフィールドのデータを加算処理して、フレームデータとして出力する。

目的

本発明は、フレームごとに異なる画像処理が不要で、重心を補正する処理を別途設けることなく重心のズレをなくすことができ、ひいてはS/Nを向上させ、画質を改善することが可能な撮像装置を提供する

効果

実績

技術文献被引用数
0件
牽制数
1件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

複数の画素マトリクス状に配列された画素部と、上記画素部で発生したアナログ信号変換処理してフィールドデータとして出力する読み出し回路と、動作制御モード信号に応じて上記画素部のいずれの画素から信号を読み出すかを制御するコントローラーと、上記読み出し回路から出力されるフィールドデータに対して信号処理を行い、フレームデータとして出力する信号処理部と、を有し、上記コントローラーは、上記動作モード制御信号全画素モードを指定している場合には、全ての画素から順次信号読み出し、上記動作モード制御信号が間引きモードを指定している場合には、フィールド毎に読み出し位置を変えて、異なった画素から信号を読み出すように制御し、上記信号処理部は、上記動作モード制御信号が全画素モードを指定している場合、単一のフィールドのフィールドデータに対して信号処理を行ってフレームデータとして出力し、上記動作モード制御信号が間引きモードを指定している場合、複数のフィールドのデータを加算処理して、フレームデータとして出力する撮像装置

請求項2

上記信号処理部は、複数フィールドのフィールドデータにおいて、同じ座標に位置するデータの加算もしくは加算平均を全ての画素について行うことによって、複数の画像データから1枚の画像データを生成する請求項1記載の撮像装置。

請求項3

上記信号処理部は、上記動作モード制御信号が間引きモードを指定している場合において、読み出し位置をm(mは任意の整数)フィールド毎に変える場合、m枚のフィールドデータを加算して1枚の画像データを生成する請求項1または2記載の撮像装置。

請求項4

上記信号処理部は、上記動作モード制御信号が間引きモードを指定している場合、各行、列のサンプリング重心が揃うように、複数のフィールドのデータの加算処理を行う請求項1から3のいずれか一に記載の撮像装置。

請求項5

各フィールドにおける画素の読み出しアドレスは、複数枚のフィールドデータを加算したときに、各行、列のサンプリング重心が揃うように選択されている請求項1から4のいずれか一に記載の撮像装置。

請求項6

上記コントローラーは、上記信号処理部で加算する複数のフィールド間で、別のアドレスに位置する画素からデータを読み出すように制御する請求項1から5のいずれか一に記載の撮像装置。

請求項7

上記信号処理部は、記動作モード制御信号が間引きモードを指定している場合において、フィールドデータの中の複数の画素データを加算する処理を行うことにより、各行、列のサンプリング重心を揃える請求項1から6のいずれか一に記載の撮像装置。

技術分野

0001

本発明は、全画素読み出しおよび間引き読み出しが可能なCMOSイメージセンサ等を含む撮像装置に関するものである。

背景技術

0002

近年、高い解像度を持つイメージセンサであっても、低い解像度の良質な画像を撮像することが求められている。
たとえば、デジタルスチルカメラ動画撮影したり、逆にカムコーダー静止画を撮像したりするなどの機能が一般的になってきている。

0003

また、これらの電子機器では、多くの場合、映像を確認するためのビューファインダーを備えているが、通常、ビューファインダーの解像度は撮像する画像よりも低い。
さらに一部のデジタルスチルカメラや携帯電話などでは、低解像度の撮像時にフレームレートを向上させ、従来は見ることができなかった高速動きを撮像する機能を搭載している。

0004

以上のように、一つのイメージセンサで、高解像度低フレームレートの静止画と、比較的低解像度で高フレームレートの動画の両方に対応することが求められている。

0005

これに対して、全ての画素から信号を読み出す全画素モードと、行や列を飛ばしながら間欠的に読み出す間引きモードに対応するCMOS(Complementary Metal Oxide Semiconductor)イメージセンサが提案されている。

0006

このCMOSイメージセンサにおいては、高解像度の静止画を撮影する際には全画素モードを用い、低解像度の動画や高いフレームレートで撮像する際には間引きモードを用いる。

0007

間引きモードにおける動画の撮像において、画質を向上するCMOSイメージセンサが特許文献1に記載されている。
この方法では、フレーム毎に読み出す画素を変えることで、サンプリング位相周波数を異ならせ、モアレを低減する。

先行技術

0008

特開2003‐338933号公報

発明が解決しようとする課題

0009

しかしながら、この方法では、フレーム毎に異なる画像処理が必要で、演算負荷が大きく、必要とされるメモリの量も大きいという不利益がある。
さらに、間引きモードでは、偶数行奇数行とでサンプリングする画素の重心がずれてしまうが、特許文献1ではその点に関しては考慮されておらず、重心を補正する処理が別途必要になるという不利益がある。

0010

本発明は、フレームごとに異なる画像処理が不要で、重心を補正する処理を別途設けることなく重心のズレをなくすことができ、ひいてはS/Nを向上させ、画質を改善することが可能な撮像装置を提供することにある。

課題を解決するための手段

0011

本発明の第1の観点の撮像装置は、複数の画素がマトリクス状に配列された画素部と、上記画素部で発生したアナログ信号変換処理してフィールドデータとして出力する読み出し回路と、動作制御モード信号に応じて上記画素部のいずれの画素から信号を読み出すかを制御するコントローラーと、上記読み出し回路から出力されるフィールドデータに対して信号処理を行い、フレームデータとして出力する信号処理部と、を有し、上記コントローラーは、上記動作モード制御信号が全画素モードを指定している場合には、全ての画素から順次信号読み出し、上記動作モード制御信号が間引きモードを指定している場合には、フィールド毎に読み出し位置を変えて、異なった画素から信号を読み出すように制御し、上記信号処理部は、上記動作モード制御信号が全画素モードを指定している場合、単一のフィールドのフィールドデータに対して信号処理を行ってフレームデータとして出力し、上記動作モード制御信号が間引きモードを指定している場合、複数のフィールドのデータを加算処理して、フレームデータとして出力する。

発明の効果

0012

本発明によれば、フレームごとに異なる画像処理が不要で、重心を補正する処理を別途設けることなく重心のズレをなくすことができ、ひいてはS/Nを向上させ、画質を改善することができる。

図面の簡単な説明

0013

本発明の第1の実施形態に係る撮像装置の構成例を示すブロック図である。
本撮像装置の加算処理の概念図である。
第1の実施形態において、H1/4V1/4間引きモードでm=2の場合の、各フィールドの読み出しアドレスの一例を示す図である。
図3に示すアドレスの画素から信号を読み出した場合の、フィールドデータ200の一例を示す図である。
第1の実施形態において、フィールドデータFL2nとFL2n+1を加算処理して得られたフレームデータFM2n+1のサンプリングの重心を示す図である。
本第1の実施形態に係る撮像装置における、各画素のリセット電子シャッター)および読み出しタイミングの一例を示す図である。
本発明の第2の実施形態に係る撮像装置の各フィールドの読み出しアドレスの一例を示す図である。
第2の実施形態において、フレームデータFM2n+1の画素のアドレスにおけるサンプリングの重心を示す図である。
第2の実施形態における、各画素のリセット(電子シャッター)および読み出しタイミングの一例を示す図である。
第3の実施形態において、H1/4V1/4間引きモードにて、2画素を加算処理する場合の例を示す図である。

実施例

0014

以下、本発明の実施の形態を図面に関連付けて説明する。
なお、説明は以下の順序で行う。
1.第1の実施形態(撮像装置の第1の構成および機能)
2.第2の実施形態(撮像装置の第2の構成および機能)
3.第3の実施形態(撮像装置の第3の構成および機能)

0015

<1.第1実施形態>
図1は、本発明の第1の実施形態に係る撮像装置の構成例を示すブロック図である。

0016

本撮像装置100は、撮像光学系110、画素部としての光電変換部120、読み出し回路130、サンプリングコントローラー140、および信号処理部150を有する。
光電変換部120、読み出し回路130、サンプリングコントローラー140、信号処理部150は、半導体素子として1チップにまとめても良いし、複数チップに分けても良い。

0017

本撮像装置100は、少なくとも、全ての画素から信号を読み出す全画素モードと、行や列を飛ばしながら間欠的に読み出す間引きモードに対応する機能を有している。
動作モードは、撮像装置100の外部から入力される動作モード制御信号300によって切り替えられる。
本撮像装置100は、間引きモード時、光電変換部120からフィールド毎に異なったデータを取得し、それらを加算処理することでフレームのデータを生成して出力する。

0018

撮像光学系110は、レンズメカニカルシャッターなどで構成される。

0019

光電変換部120は、撮像光学系110を介して入射される光を受光して光量に応じた電気信号を発生する。
光電変換部120は、たとえばCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどにより構成される。
光電変換部120は、M行×N列のマトリクス状に配置されたM×N個の画素を有する。
この画素は、たとえば入射する光量に応じた電荷を発生するフォトダイオードからなる光電変換素子を有する。
マトリクス状に配置された画素の前面には、分光透過率が異なるカラーフィルター規則的に配列したカラーフィルタアレイが配置される。
カラーフィルタアレイは、たとえばRGBのカラーフィルターで構成したベイヤー配列(後述する図3図4等参照)やCMYGのカラーフィルターからなる補色フィルタを用いることができる。

0020

読み出し回路130は、光電変換部120で発生したアナログの電気信号を読み取り、AD(Analog/Digital)変換し、フィールドデータ200として出力する。

0021

サンプリングコントローラー140は、動作モード制御信号300に従い、M行×N列に配置された画素の内、いずれの画素から信号を読み出すかを制御する。
サンプリングコントローラー140は、動作モード制御信号300が全画素モードを指定している場合には、全ての画素から順次信号を読み出す。
それに対して動作モード制御信号300が間引きモードを指定している場合には、サンプリングコントローラー140は、フィールド毎に読み出し位置を変えて、異なった画素から信号を読み出す。
たとえば、M行の内1/4の行を読み出すV1/4間引きモードにて2フィールド毎に読み出し位置を変える場合、サンプリングコントローラー140は、次の処理を行う。
すなわち、この場合、サンプリングコントローラー140は、フィールド2aでは4x行からデータを読み出し、フィールド2a+1では4x+2行から信号を読み出す。
ここで、a、xは任意の整数である。

0022

光電変換部120は、サンプリングコントローラー140からの信号に従い、特定の行に配置された画素121から、電気信号を読み出し回路130に出力する。
読み出し回路130は、サンプリングコントローラー140からの制御信号TLに従い、特定の列から電気信号を読み取り、AD変換して、フィールドデータ200として出力する。
もしくは、読み出し回路130は、サンプリングコントローラー140からの制御信号CLTに従い、すべての列から電気信号を読み取り、AD変換して、特定の列の信号のみをフィールドデータ200として出力しても良い。

0023

信号処理部150は、読み出し回路130から出力されるフィールドデータ200に対して信号処理を行い、フレームデータ210として外部に出力する。
信号処理部150は、加算処理部151とメモリ152を有し、動作モード制御信号300によって、複数フィールドのフィールドデータ200を加算処理して出力するか否かを切り替える。
信号処理部150は、動作モード制御信号300が全画素モードを指定している場合、信号処理部は単一のフィールドのフィールドデータ200に対してのみ信号処理を行い、フレームデータ210として出力する。
これに対して、信号処理部150は、動作モード制御信号300が間引きモードを指定している場合、信号処理部は複数のフィールドのデータを加算処理して、フレームデータ210として出力する。

0024

間引きモードでは、信号処理部150のメモリ152は、読み出し回路130から出力されるフィールドデータ200を一時的に保存する。
さらに間引きモードでは、信号処理部150の加算処理部151は、メモリ152に保存された、もしくは読み出し回路130から出力された複数のフィールドデータ200を加算処理する。

0025

具体的には、加算処理部151は、複数フィールドのフィールドデータにおいて、同じ座標に位置するデータの加算(もしくは加算平均)を全ての画素について行う。これによって、複数毎の画像データから1枚の画像データを生成する。
読み出し位置をm(mは任意の整数)フィールド毎に変える場合、加算処理部151はm枚のフィールドデータ200を加算して1枚の画像データを生成する。
このとき、メモリ152は少なくともm−1枚分のフィールドデータ200を保存する必要がある。

0026

以上のように本撮像装置100は、間引きモード時にフィールド毎に読み出し位置を変え、複数フィールドのフィールドデータ200を加算処理してフレームデータ210を生成する。

0027

次に、本第1の実施形態における加算処理について説明する。
本撮像装置100の加算処理では、nフィールドのフィールドデータ200から、1〜n−(m−1)フレーム分のフレームデータを得ることができる。
この加算処理では、nフィールドのフィールドデータ200から、フレームデータ210を何フレーム分得るかは、必要なフレームレート等から自由に決めることができる。

0028

図2(A)および(B)は、本撮像装置の加算処理の概念図である。
図2(A)および(B)読み出し位置を2フィールド毎に変える(m=2)場合について示している。

0029

図2(A)は、nフィールドのフィールドデータ200から(n−1)フレーム分のフレームデータ210を生成する場合の例を示している。
フレームnのフレームデータFMnは、フィールドnのフィールドデータFLnとフィールドn−1のフィールドデータFLn−1を加算処理して生成されている。
同様に、フレームn+1のフレームデータFMn+1は、フィールドデータFLn+1とFLnを加算処理して生成されている。

0030

図2(B)は、2nフィールドのフィールドデータ200からnフレーム分のフレームデータ210を生成する場合の例である。
フレームnのフレームデータFMnは、フィールドデータFL2nとFL2n+1を加算処理して生成されている。
同様に、フレームn+1のフレームデータFMn+1は、フィールドデータFL2(n+1)とFL2(n+1)+1を加算処理して生成されている。

0031

フィールドnのフィールドデータFLnとフィールドn−1のフィールドデータFLn−1を加算処理してフレームnのフレームデータFMnを生成する際、本撮像装置100は同一のアドレスのデータ同士を加算処理する。
すなわち、フレームデータFM2nのX行Y列のデータをFMD2n(X,Y)は、フィールドデータFL2nのX行Y列のデータをFLD2n(X,Y)とすると、{FMD2n(X,Y)=FLD2n−1(X,Y)+FLD2n(X,Y)}となる。

0032

次に、フィールドデータ200の詳細について説明する。
ここでは、M行の内1/4の行と、N列の中の1/4の列を読み出すH1/4V1/4間引きモードにて、2フィールド毎に読み出し位置を変える(m=2)場合を例に説明する。

0033

図3(A)および(B)は、第1の実施形態において、H1/4V1/4間引きモードでm=2の場合の、各フィールドの読み出しアドレスの一例を示している。
図3(A)は2nフィールドの、図3(B)は2n+1フィールドの読み出しアドレスをそれぞれ示している。
ここでnは任意の整数である。

0034

図3(A)および(B)の例では、2nフィールドでは、M行×N列に配置された画素の中から、4x2j行および4x(2j+1)+1行と、4x2i列および4x(2i+1)+1列の交点に位置する画素からの信号を読み出している。
ここで、i,jは、4x(2j+1)+3<M、4x(2i+1)+3<Nを満たす任意の整数である。
また、2n+1フィールドでは、4x2j+2行および4x(2j+1)+1行と、4x2i+2列および4x(2i+1)+1列の交点に位置する画素から信号を読み出している。
以上のように、本撮像装置100は、間引きモード時、フィールド毎に偶数行2j行および偶数列2i列の画素の読み出し位置を変更する。

0035

図4(A)および(B)は、図3に示すアドレスの画素から信号を読み出した場合の、フィールドデータ200の一例である。

0036

図4(A)に示すように、フィールド2nのフィールドデータFL2nの偶数行2j行には画素の4x2j行、奇数行2j+1行には画素の4(2j+1)+1行のデータが出力される。
偶数列2i行には画素の4x2i列、奇数列2i+1列には画素の4(2i+1)+1列のデータが出力される。

0037

また、図4(B)に示すように、フィールド2n+1のフィールドデータFL2n+1の偶数行2j行には画素の4x2j+2行、奇数行2j+1行には画素の4(2j+1)+1行のデータが出力される。
偶数列2i行には画素の4x2i+2列、奇数列2i+1列には画素の4(2i+1)+1列のデータが出力される。

0038

このようにして得られたフィールドデータ200では、単一のフィールドだけでは、偶数行と奇数行、偶数列と奇数列で、空間的な位相がずれてしまう。
たとえば、フィールド2nについて見てみると、フィールドデータの偶数行2nには画素の4x2j行のデータが出力されているのに対して、奇数行2n+1には画素の4(2i+1)+1行のデータが出力されており、サンプリングの重心が1画素分ずれている。列方向についても同様である。
そのため、全画素モードと同様にフィールドデータの偶数行と奇数行とが等ピッチであることを前提として信号処理を行ってしまうと、処理後の画像にジャギが発生してしまう。

0039

これに対して、本撮像装置100では、読み出し位置を変えた複数のフィールドデータ200を足し合わせることで、偶数行と奇数行のサンプリングの重心を等ピッチにする。

0040

図5は、フィールドデータFL2nとFL2n+1を加算処理して得られたフレームデータFM2n+1のサンプリングの重心を示している。

0041

前述の通り、フィールドデータのFL2nの偶数行2j行に出力されている画素の行アドレスは4x2jであり、フィールドデータのFL2n+1の偶数行2j行に出力されている画素の行アドレスは4x2j+2である。
よって、フィールドデータのFL2nとFL2n+1の偶数行2jを足し合わせると、行方向のサンプリングの重心が画素の行アドレスの4x2j+1になる。
一方、フィールドデータのFL2n、FL2n+1共に奇数行2j+1行に出力されている画素の行アドレスは4x(2j+1)+1であり、加算処理後も重心は変わらない。
以上から、フレームデータFM2n+1のk行目(kは0<4k<Mを満たす任意の整数)のサンプリングの重心は偶数行、奇数行共に4k+1になり、行による重心のずれが無くなる。

0042

同様に、フィールドデータのFL2nの偶数列2i列に出力されている画素の列アドレスは4x2iであり、フィールドデータのFL2n+1の偶数行2i列に出力されている画素の列アドレスは4x2i+2である。
よって、フィールドデータのFL2nとFL2n+1の偶数行2iを足し合わせると、列方向のサンプリングの重心は画素の列アドレスの4x2i+1になる。
一方、フィールドデータのFL2n、FL2n+1共に奇数行2i+1列に出力されている画素の列アドレスは4x(2j+1)+1であり、加算処理後も重心は変わらない。
以上から、フレームデータFM2n+1のl列目(Lは0<4l<Nを満たす任意の整数)のサンプリングの重心は偶数列、奇数列共に4l+1になり、列による重心のずれが無くなる。

0043

以上のように、本撮像装置100は、間引きモード時に、読み出し位置を変えた複数のフィールドデータ200を加算処理してフレームデータ210を生成することで、各行、列における画素のサンプリングの重心を一定にして、ジャギを低減することができる。

0044

なお、各フィールドにおける画素の読み出しアドレスは、m枚のフィールドデータを加算した時に、各行、列の重心が揃う様に選択すればよく、図3から図5の例に限定されるものではない。

0045

また、本撮像装置100では、複数のフィールドデータ200を加算処理することで、フレームデータ210のS/N比を向上する。
たとえば、画素がフォトダイオードを用いて電気信号を発生しており、読み出し位置を2フィールド毎に変える(m=2)場合について説明する。
簡単にするためにフィールド2nと2n+1で各画その出力値が等しくSFDであり、ノイズがNFDであるとする。

0046

一般的に、ある程度の光量がある条件では、フォトダイオードが光電変換する際の光ショットノイズがノイズNFDの支配的な要因となり、NFD≒(SFD)1/2となる。
ここで加算処理後の信号をSFM、ノイズをNFMとすると、SFM=2SFD、NFM=((NFD)2+(NFD)2)1/2=21/2NFD=(2SFD)1/2となる。
ここで加算処理前と後とでS/N比を比較すると、加算前のS/N比はSFD/NFD=(SFD)1/2、加算処理後のS/N比はSFM/NFM=2SFD/(2SFD)1/2=(2SFD)1/2となり、加算処理後にS/N比が21/2倍向上していることがわかる。

0047

図6は、本撮像装置100における、各画素のリセット(電子シャッター)および読み出しタイミングの一例を示している。
図6は、読み出し位置を2フィールド毎に変える(m=2)場合について示している。横軸は時間、縦軸は画素の行アドレスを示している。

0048

フィールド2nの先頭では画素の行アドレス0からデータが読み出される。同様に、フィールド2n+1の先頭では画素の行アドレス2からデータが読み出される。
本実施形態では、フィールド2nと2n+1の奇数行2i+1行で、同じ画素の行アドレス4(i+1)+1から信号を読み出している。
そのため、各画素の電気信号をリセットしてから信号を読み出すまでの蓄積時間Teは、1フィールドの長さであるフィールド期間Tfよりも短い必要がある。

0049

以上のように、本実施形態の撮像装置100によれば、間引きモード時に、読み出し位置を変えた複数のフィールドデータ200を加算処理してフレームデータ210を生成する。
これにより、各行における画素のサンプリングの重心を一定にして、ジャギを低減することができる。
また、複数フィールドを加算してフレームデータを生成することでS/N比を向上し、画質を改善することができる。

0050

<2.第2実施形態>
本発明の第2の実施形態に係る撮像装置の全体構成は、第1の実施形態と同様、図1の構成を採用することができる。

0051

本撮像装置100Aは、少なくとも、全ての画素から信号を読み出す全画素モードと、行や列を飛ばしながら間欠的に読み出す間引きモードに対応し、動作モード制御信号300によって動作モードを制御することができる点も第1の実施形態と同様である。
本撮像装置100Aは、間引きモード時、光電変換部120からフィールド毎に異なったデータを取得し、それらを加算処理することでフレームのデータを生成して出力する。
第2の実施形態においても、本撮像装置100Aは、複数のフィールドデータ200を加算処理してフレームデータを生成する。
また、第1の実施形態と同様に、フレームデータを生成する際、本撮像装置100Aは、フィールドデータの同一のアドレスのデータ同士を加算処理する。

0052

図7は、本発明の第2の実施形態に係る撮像装置の各フィールドの読み出しアドレスの一例を示している。
図7は、M行の内1/4の行と、N列の中の1/4の列を読み出すH1/4V1/4間引きモードにて、2フィールド毎に読み出し位置を変える(m=2)場合の例を示している。

0053

第2の実施形態に係る撮像装置100Aでは、加算する複数のフィールド間で、別のアドレスに位置する画素からデータを読み出す。
図7の例では、フィールド2nのフィールドデータFD2nの偶数行2i行に対しては画素の行アドレス4x2jから信号を読み出し、奇数行2i+1行に対しては画素の行アドレス4x2j+3から信号を読み出している。
一方、フィールド2n+1のフィールドデータFD2n+1の偶数行2i行に対しては画素の行アドレス4x2j+2から信号を読み出し、奇数行2i+1行には画素の行アドレス4x(2j+1)+3から信号を読み出している。
M行×N列に配置された画素の中から、4x2j行および4x2j+3行と、4x2i列および4x(2i+1)+1列の交点に位置する画素からの信号を読み出している。
ここで、i,jは、4x(2j+1)+3<M、4x(2i+1)+3<Nを満たす任意の整数である。

0054

また、2n+1フィールドでは、4x2j+2行および4x(2j+1)+3行と、4x2i+2列および4x(2i+1)+1列の交点に位置する画素から信号を読み出している。
ここで、フィールドデータFL2nの偶数列2i行には画素の4x2i列、奇数列2i+1列には画素の4(2i+1)+1列のデータが出力される。
そして、フィールドデータFL2n+1の偶数列2i行には画素の4x2i+2列、奇数列2i+1列には画素の4(2i+1)+1列のデータが出力される点は、第1の実施形態と同様である。

0055

この結果、フィールド2nとフィールド2n+1では、R、G、B全ての画素で、読み出す画素のアドレスが異なっている。
各画素のアドレスを(画素の列アドレス、画素の行アドレス)と示すことにする。
R画素について見てみると、フィールド2nでは(4x2i、4x2j)の画素を読んでいる。これに対して、フィールド2n+1では(4x2i+2、4x2j+2)の画素を読んでいる。
G画素では、フィールド2nでは(4x2i、4x2j+3)および(4x(2i+1)+1、4x2j)の画素を読んでいる。これに対して、フィールド2n+1では(4x2i+2、4x(2j+1)+3)および(4x(2i+1)+1、4x2j+2)の画素を読んでいる。
さらにB画素では、フィールド2nでは(4x(2i+1)+1、4x2j+3)の画素を読んでいる。これに対して、フィールド2n+1では(4x(2i+1)+1、4x(2j+1)+3)の画素を読んでいる。

0056

以上のようにして読み出したフィールド2nと2n+1のフィールドデータFL2nとFL2n+1を加算処理してフレームデータFM2n+1を生成した場合でも、フレームデータFM2n+1では各行、列のサンプリングの重心が等ピッチになる。

0057

図8は、フレームデータFM2n+1の画素のアドレスにおけるサンプリングの重心を示している。

0058

図8において、偶数行2i行の重心は、フィールド2nの画素の行アドレスが4x2i、フィールド2n+1の画素の行アドレスが4x2i+2であることから、画素の行アドレスの4x2i+1になる。
一方、奇数行2i+1行の重心は、フィールド2nの画素の行アドレスが4x2i+3、フィールド2n+1の画素の行アドレスが4x(2i+1)+3であることから、画素の行アドレスの4x(2i+1)+1になる。
以上から、フレームデータFM2n+1のk行目(kは0<4k<Mを満たす任意の整数)のサンプリングの重心は偶数行、奇数行共に4k+1になり、行による重心のずれが無くなる。

0059

同様に、フィールドデータのFL2nの偶数列2i列に出力されている画素の列アドレスは4x2iであり、フィールドデータのFL2n+1の偶数行2i列に出力されている画素の列アドレスは4x2i+2である。
よって、フィールドデータのFL2nとFL2n+1の偶数行2iを足し合わせると、列方向のサンプリングの重心は画素の列アドレスの4x2i+1になる。
一方、フィールドデータのFL2n、FL2n+1共に奇数行2i+1列に出力されている画素の列アドレスは4x(2j+1)+1であり、加算処理後も重心は変わらない。
以上から、フレームデータFM2n+1のl列目(Lは0<4l<Nを満たす任意の整数)のサンプリングの重心は偶数列、奇数列共に4l+1になり、列による重心のずれが無くなる。

0060

以上のように、本撮像装置100は、間引きモード時に、読み出し位置を変えた複数のフィールドデータ200を加算処理してフレームデータ210を生成することで、各行、列における画素のサンプリングの重心を一定にして、ジャギを低減することができる。
なお、各フィールドにおける画素の読み出しアドレスは、m枚のフィールドデータを加算したときに、各行、列の重心が揃う様に選択すればよく、図3から図5の例に限定されるものではない。

0061

また、第2の実施形態においても第1の実施形態と同様、複数のフィールドデータ200を加算処理しているのでフレームデータ210のS/N比を向上することができる。

0062

次に、第2の実施形態における各画素の蓄積時間について説明する。
第2の実施形態では、加算する複数のフィールド間で異なった画素から信号を読み出す。そのため各画素では、複数のフィールドにまたがって信号を蓄積することができる。
たとえば、mフィールド毎に読み出し位置を変え、m個のフィールドデータを加算処理して1枚のフレームデータを生成する場合、1つのフィールドの期間とTf、各画素の蓄積時間をTeとすると、Teは0<Te<m×Tfの範囲に設定することができる。

0063

図9は、第2の実施形態における、各画素のリセット(電子シャッター)および読み出しタイミングの一例を示している。
図9は、読み出し位置を2フィールド毎に変える(m=2)場合について示している。図9において、横軸は時間、縦軸は画素の行アドレスを示している。

0064

フィールド2nの先頭では画素の行アドレス0からデータが読み出される。その後、画素の行アドレス0に位置する画素は、フィールド2n+2まで読み出されない。
以上から、行アドレス0に位置する画素のリセットは、フィールド2nの先頭から、フィールド2n+2の先頭で行うことができる。
そのため、各画素の電気信号をリセットしてから信号を読み出すまでの蓄積時間Teは、最大でフィールド期間Tf×2まで設定することができる。
フィールドTfを長くすることでも最大の蓄積時間を伸ばすことはできるが、フレームレートが低下してしまう。

0065

これに対して、以上のように、加算処理を行うフィールド間で完全に異なった画素から信号を読み出すことで、最大の蓄積時間をフィールド期間Tfより長くすることができる。
すなわち、フレームレートを一定に保ったまま、最大の蓄積時間を増やすことができる。

0066

以上のように、第2の実施形態の撮像装置によれば、間引きモード時に、読み出し位置を変えた複数のフィールドデータ200を加算処理してフレームデータ210を生成する。
これにより、各行における画素のサンプリングの重心を一定にして、ジャギを低減することができる。
また、複数フィールドを加算してフレームデータを生成することでS/N比を向上し、画質を改善することができる。
さらに、加算処理を行うフィールド間で完全に異なった画素から信号を読み出すことで、最大の蓄積時間をフィールド期間Tfより長くすることができる。すなわち、フレームレートを一定に保ったまま、最大の蓄積時間を増やすことができる。

0067

<3.第3実施形態>
次に、本発明の第3の実施形態について説明する。
第3の実施形態では、間引きモード時に、フィールドデータの中の同色の複数の画素データを加算して重心を揃え、フレームデータを作成する。
本発明の第3の実施形態に係る撮像装置の全体構成は、第1の実施形態と同様、図1の構成を取ることができる。

0068

第3の実施形態におけるサンプリングコントローラー140は、動作モード制御信号300に従い、M行×N列に配置された画素の内、いずれの画素から信号を読み出すかを制御する。
サンプリングコントローラー140は、動作モード制御信号300が全画素モードを指定している場合には、全ての画素から順次信号を読み出す。
これに対して、サンプリングコントローラー140は、動作モード制御信号300が間引きモードを指定している場合には、画素の行または列を間欠的に選択し、一部の画素から信号を読み出す。

0069

光電変換部120は、第1の実施形態と同様、サンプリングコントローラー140からの信号に従い、特定の行に配置された画素121から、電気信号を読み出し回路130に出力する。
また、読み出し回路130は、第1の実施形態と同様、サンプリングコントローラー140からの制御信号CTLに従い、特定の列から電気信号を読み取り、AD変換して、フィールドデータ200として出力する。
もしくは、読み出し回路130は、サンプリングコントローラー140からの制御信号に従い、すべての列から電気信号を読み取り、AD変換して、特定の列の信号のみをフィールドデータ200として出力しても良い。

0070

信号処理部150は、読み出し回路130から出力されるフィールドデータ200に対して信号処理を行い、フレームデータ210として外部に出力する。
信号処理部150は、加算処理部151とメモリ152を有し、動作モード制御信号300によって、フィールドデータ200の中の複数の画素データを加算処理して出力するか否かを切り替える。

0071

次に、第3の実施形態におけるフィールドデータ200と加算処理の詳細について説明する。
図10は、第3の実施形態において、H1/4V1/4間引きモードにて、2画素を加算処理する場合の例を示している。
ここで、フィールドデータ200の各画素のアドレスを(画素の列アドレス、画素の行アドレス)示すことにする。

0072

図10の例で、R画素について見てみると、(4x2i、4x2j)と(4x2i+2、4x2j+2)の画素を読み出している。
信号処理部150では、この2つの画素を加算処理し、フレームデータ210の(2i、2j)のデータとして出力する。
さらにG画素では、(4x2i、4x2j+3)と(4x2i+2、4x(2j+1)+3)とを加算処理する。そして、フレームデータ210の(2i、2j+1)のデータを、(4x(2i+1)+1、4x2j)と(4x(2i+1)+1、4x2j+2)とを加算処理して、フレームデータ210の(2i+1、2j)のデータを出力する。
また、B画素では、4x(2i+1)+1、4x2j+3)と(4x(2i+1)+1、4x(2j+1)+3)とを加算して、フレームデータ210の(2i+1、2j+1)のデータを出力する。

0073

以上のように、複数の画素を加算処理することで、フレームデータの各行、列の、サンプリングの重心を揃えることができる。
たとえば、フレームデータ210の(2i、2j)に出力されるR画素では、サンプリングの重心は(4x2i+1、4x2j+1)になっている。
また、フレームデータ210の(2i+1、2j+1)に出力されるB画素では、(4x2(i+1)+1、4x2(j+1)+1)になっている。
すなわち、フレームデータのk行目(kは0<4k<Mを満たす任意の整数)のサンプリングの重心は偶数行、奇数行共に4k+1になる。l列目(Lは0<4l<Nを満たす任意の整数)のサンプリングの重心は偶数列、奇数列共に4l+1になり、行、列による重心のずれが無くなる。

0074

以上のように、本撮像装置100Bは、間引きモード時に、フィールドデータ200の複数の画素を加算処理してフレームデータ210を生成することで、各行、列における画素のサンプリングの重心を一定にして、ジャギを低減することができる。
なお、フィールドデータにおける画素の読み出しアドレスは、複数の画素を加算した時に、各行、列の重心が揃う様に選択すればよく、図10の例に限定されるものではない。

0075

以上のように、本発明の第3の実施形態では、行毎に加算処理を行うことができる。この様な加算処理は順次1行ずつ行うことができる。そのため、メモリ152のサイズは、最低限1行分があれば良い。
また、第3の実施形態においても第1の実施形態と同様、複数の画素データを加算処理してフレームデータ210を生成しておりS/N比を向上することができる。
本撮像装置100Bにおける、蓄積時間Teは、第1の実施形態同様、フィールド期間Tfよりも短い必要がある。

0076

以上のように、第3の実施形態の撮像装置100Bによれば、間引きモード時に、読み出し位置を変えた複数のフィールドデータ200を加算処理してフレームデータ210を生成する。
これにより、各行における画素のサンプリングの重心を一定にして、ジャギを低減することができる。
また、複数フィールドを加算してフレームデータを生成することでS/N比を向上し、画質を改善することができる。
さらに行毎に順次加算処理を行うことができるので、メモリ152に必要とされるサイズが1行分と小さくすることができる。

0077

以上説明したように、第1実施形態、第2実施形態、および第3の実施形態によれば、以下の効果を得ることができる。
本願発明の第1の実施形態における撮像装置によれば、間引きモード時に、読み出し位置を変えた複数のフィールドデータ200を加算処理してフレームデータ210を生成する。
これにより、各行における画素のサンプリングの重心を一定にして、ジャギを低減することができる。
また、複数フィールドを加算してフレームデータを生成することでS/N比を向上し、画質を改善することができる。

0078

また、本願発明の第2の実施形態の撮像装置によれば、間引きモード時に、読み出し位置を変えた複数のフィールドデータ200を加算処理してフレームデータ210を生成する。
これにより、各行における画素のサンプリングの重心を一定にして、ジャギを低減することができる。
また、複数フィールドを加算してフレームデータを生成することでS/N比を向上し、画質を改善することができる。
さらに加算処理を行うフィールド間で完全に異なった画素から信号を読み出すことで、最大の蓄積時間をフィールド期間Tfより長くすることができる。
すなわち、フレームレートを一定に保ったまま、最大の蓄積時間を増やすことができる。

0079

さらに、本願発明の第3の実施形態の撮像装置によれば、間引きモード時に、読み出し位置を変えた複数のフィールドデータ200を加算処理してフレームデータ210を生成する。
これにより、各行における画素のサンプリングの重心を一定にして、ジャギを低減することができる。
また、複数フィールドを加算してフレームデータを生成することでS/N比を向上し、画質を改善することができる。
さらに行毎に順次加算処理を行うことができるので、メモリ152に必要とされるサイズが1行分と小さくすることができる。

0080

100,100A,100B・・・撮像装置、110・・・撮像光学系、120・・・光電変換部、130・・・読み出し回路、140・・・サンプリングコントローラー、150・・・信号処理部、151・・・加算処理部、152・・・メモリ、200・・・フィールドデータ、300・・・動作モード制御信号。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ