図面 (/)

技術 撮像装置およびその制御方法

出願人 キヤノン株式会社
発明者 小布施武範
出願日 2019年4月16日 (1年10ヶ月経過) 出願番号 2019-077864
公開日 2020年10月29日 (3ヶ月経過) 公開番号 2020-178186
状態 未査定
技術分野 スタジオ装置 光信号から電気信号への変換
主要キーワード 通常画 内部記憶回路 シリアライザー アナログ増幅回路 静電容量比 低ゲイン 黒レベルクランプ 列アンプ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年10月29日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (7)

課題

光電変換部の出力に基づく信号を複数のゲインで増幅可能な撮像装置におけるゲイン設定に応じて、S/N比がより良好な画像を取得する。

解決手段

撮像装置100が備える撮像素子102は、行列状に配列されるとともに、光電変換により信号電圧を生成する画素部を有する。撮像素子102の列アンプは、光電変換された信号電圧に対して、複数のゲインで増幅可能である。撮像素子制御部108は撮像素子102の駆動制御を行い、ゲイン設定を行うことができる。画像合成部104はゲインの異なる複数の画像信号を用いて画像合成を行う。撮像素子102により列アンプの増幅率を変更して複数のゲインで画像信号を出力する場合、撮像素子制御部108は複数のゲインのうち、第1のゲインよりも小さい第2のゲインの値を変更し、第1のゲインの値を変更しない制御を行う。

概要

背景

固体撮像素子を備える撮像装置には、2次元配列された画素部で光電変換された映像信号を出力する以外に、ダイナミックレンジ(以下、DRとも記す)の拡大処理を行い、また撮像装置から被写体までの距離情報出力可能な装置がある。特許文献1に開示の装置は、単位画素出力信号に対して列回路内にある増幅部ゲインを切り替え、出力信号がクリップしないようなゲインを決定し、映像信号のDRを向上させることが可能である。特許文献1の図13には、アンプ入力容量を2つ持ち、ゲイン設定部にて入力信号レベルを判定し、その判定結果に応じたゲインに変更することで、2種類のゲインを得る回路が開示されている。また、特許文献2に開示の装置は、単位画素からの出力信号に対して列回路を2つ有しており、列回路内にある増幅部のゲインが異なるので、2種類のゲインで映像信号を出力可能である。

概要

光電変換部の出力に基づく信号を複数のゲインで増幅可能な撮像装置におけるゲイン設定に応じて、S/N比がより良好な画像を取得する。撮像装置100が備える撮像素子102は、行列状に配列されるとともに、光電変換により信号電圧を生成する画素部を有する。撮像素子102の列アンプは、光電変換された信号電圧に対して、複数のゲインで増幅可能である。撮像素子制御部108は撮像素子102の駆動制御を行い、ゲイン設定を行うことができる。画像合成部104はゲインの異なる複数の画像信号を用いて画像合成を行う。撮像素子102により列アンプの増幅率を変更して複数のゲインで画像信号を出力する場合、撮像素子制御部108は複数のゲインのうち、第1のゲインよりも小さい第2のゲインの値を変更し、第1のゲインの値を変更しない制御を行う。

目的

本発明は、光電変換部の出力に基づく信号を複数のゲインで増幅可能な撮像装置におけるゲイン設定に応じて、S/N比(信号対ノイズ比)がより良好な画像を取得することを目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

光電変換部を有する画素部と、前記光電変換部の出力に基づく信号を複数のゲインで増幅する増幅手段と、前記増幅手段のゲインを制御する制御手段と、前記増幅手段により増幅された、前記ゲインの異なる複数の信号を処理して画像を生成する生成手段と、を備え、前記制御手段は、前記複数のゲインのうち、第1のゲインよりも小さい第2のゲインの値を変更し、前記第1のゲインの値を変更しない制御を行うことを特徴とする撮像装置

請求項2

前記生成手段は、前記第1のゲインが乗算された第1の画像信号と前記第2のゲインが乗算された第2の画像信号とを取得して露出補正を行う補正手段と、前記補正手段により補正された複数の画像信号から合成画像の信号を生成する合成手段と、を備えることを特徴とする請求項1に記載の撮像装置。

請求項3

前記生成手段は、前記補正手段により補正された前記第1および第2の画像信号を画素単位加算する加算手段を備えることを特徴とする請求項2に記載の撮像装置。

請求項4

前記第1のゲインの値と、変更された前記第2のゲインの値との差が閾値より大きい場合、前記合成手段は前記合成画像の信号を生成することを特徴とする請求項2または請求項3に記載の撮像装置。

請求項5

前記第1のゲインの値と、変更された前記第2のゲインの値との差が閾値以下である場合、前記加算手段は加算により画像信号を生成することを特徴とする請求項3に記載の撮像装置。

請求項6

撮像素子は、前記画素部の列ごとに信号を増幅する前記増幅手段を備え、前記撮像素子は、前記制御手段により決定された前記第1および第2のゲインでそれぞれ増幅された複数の信号を出力することを特徴とする請求項1乃至5のいずれか1項に記載の撮像装置。

請求項7

光電変換部を有する画素部を備える撮像装置にて実行される制御方法であって、前記光電変換部の出力に基づく信号を増幅する増幅手段のゲインを制御する制御工程と、前記増幅手段によって前記信号を複数のゲインで増幅する増幅工程と、前記増幅手段により増幅された、前記ゲインの異なる複数の信号を処理して画像を生成する生成工程と、を有し、前記制御工程では、前記複数のゲインのうち、第1のゲインよりも小さい第2のゲインの値を変更し、前記第1のゲインの値を変更しない制御が行われることを特徴とする撮像装置の制御方法。

技術分野

0001

本発明は、画素信号を複数のゲインで増幅して読出すことが可能な撮像素子動作制御および信号処理の技術に関する。

背景技術

0002

固体撮像素子を備える撮像装置には、2次元配列された画素部で光電変換された映像信号を出力する以外に、ダイナミックレンジ(以下、DRとも記す)の拡大処理を行い、また撮像装置から被写体までの距離情報出力可能な装置がある。特許文献1に開示の装置は、単位画素出力信号に対して列回路内にある増幅部のゲインを切り替え、出力信号がクリップしないようなゲインを決定し、映像信号のDRを向上させることが可能である。特許文献1の図13には、アンプ入力容量を2つ持ち、ゲイン設定部にて入力信号レベルを判定し、その判定結果に応じたゲインに変更することで、2種類のゲインを得る回路が開示されている。また、特許文献2に開示の装置は、単位画素からの出力信号に対して列回路を2つ有しており、列回路内にある増幅部のゲインが異なるので、2種類のゲインで映像信号を出力可能である。

先行技術

0003

特開2005−175517号公報
特開2015−128253号公報

発明が解決しようとする課題

0004

特許文献1には、ゲイン設定部における入力信号レベルの判定と、その判定結果に応じたゲインの設定方法について記載されている。しかし、一方のゲインは、入力信号レベルの判定のために最もゲインの低い値に設定しなければならない。また、特許文献2では複数の列回路により、ゲインの異なる映像信号を出力可能であるが、ゲインの決定方法に関しては言及されていない。
本発明は、光電変換部の出力に基づく信号を複数のゲインで増幅可能な撮像装置におけるゲイン設定に応じて、S/N比信号対ノイズ比)がより良好な画像を取得することを目的とする。

課題を解決するための手段

0005

本発明の実施形態の撮像装置は、光電変換部を有する画素部と、前記光電変換部の出力に基づく信号を複数のゲインで増幅する増幅手段と、前記増幅手段のゲインを制御する制御手段と、前記増幅手段により増幅された、前記ゲインの異なる複数の信号を処理して画像を生成する生成手段と、を備え、前記制御手段は、前記複数のゲインのうち、第1のゲインよりも小さい第2のゲインの値を変更し、前記第1のゲインの値を変更しない制御を行う。

発明の効果

0006

本発明の撮像装置によれば、光電変換部の出力に基づく信号を複数のゲインで増幅可能な撮像装置におけるゲイン設定に応じて、S/N比がより良好な画像を取得することができる。

図面の簡単な説明

0007

実施形態の撮像装置の構成を示すブロック図である。
固体撮像素子の内部構成を模式的に示す図である。
実施形態における1つの列アンプの構成を示す回路図である。
第1および第2実施形態における画像合成を説明するブロック図である。
入力光量AD変換後出力コードとの関係を示す図である。
入力光量とAD変換後の出力コードとの関係について別例を示す図である。

実施例

0008

以下、本発明の各実施形態について図面を参照しながら説明する。本発明はデジタル一眼レフカメラデジタルスチルカメラデジタルビデオカメラ等の撮像装置に適用可能である。

0009

[第1実施形態]
図1は、本発明の実施形態に係る撮像装置100の一般的な構成を示すブロック図である。光学レンズ部101は、被写体からの光を取り込んで撮像素子102の受光面上に結像させる。光学レンズ部101は撮像装置100の本体部に装着可能な交換レンズユニット、または本体部に組み込まれたレンズ部であり、撮像光学系を構成するレンズ、絞り等の光学部材を有する。

0010

撮像素子102は光学レンズ部101から入射光を受光し、光電変換によって電気信号を出力する。代表例として、CCD(電荷結合素子)型イメージセンサや、CMOS(相補型金属酸化膜半導体)型イメージセンサ等が挙げられる。撮像素子102には、アナログ映像信号を出力する第1のタイプと、撮像素子102の内部でAD(アナログデジタル変換処理を行ってデジタル映像信号を出力する第2のタイプがある。第2のタイプには、LVDS(Low voltage differential signaling)等によりデジタルデータを出力する形態がある。撮像素子102の構成については図2を用いて後述する。

0011

画像取得部103は、撮像素子102から出力された映像信号のキャプチャを行い、各種処理を行う回路部を備える。画像取得部103は、撮像素子102における固定パターンノイズの除去や、黒レベルクランプ処理等を行う。画像取得部103はまた、映像信号の記録に使用する画像信号と、撮像素子102の制御のための評価用信号とに分離する処理を行う。画像取得部103には処理に必要となる設定値を記憶するための内部記憶回路が含まれる。

0012

画像合成部104は画像取得部103の出力を取得し、撮像素子102の出力に基づく信号から、任意の合成方法を用いてHDR高ダイナミックレンジ)画像を生成する。例えば、所定の画像部分(通常画)については高ゲインで取得された画像を用い、明るく白飛びしている画像部分については低ゲインで取得された画像を用いて合成を行う方法がある。合成後に暗部の信号に用いられる通常画としては、暗部のランダムノイズが抑えられていることが好ましい。

0013

信号処理部105は画像合成部104の出力を取得し、画素加算ノイズリダクションガンマ補正ニー補正デジタルゲイン処理キズ補正等の各種画像処理を行う。信号処理部105には補正および画像処理に必要となる設定値を記憶するための内部記憶回路が含まれる。

0014

信号記録部106は、信号処理部105が処理した映像信号を取得して記憶装置または記憶媒体に記録する。例えば撮像装置100の本体部に装着可能なメモリデバイスが使用される。

0015

露出制御部107は、画像取得部103から取得した映像信号情報に基づいて最適露光量を算出する。位相差情報を出力可能な撮像素子102の場合、露出制御部107は撮像素子102の出力から位相差を計算することができる。露出制御部107が焦点調節制御の機能を有する場合には、位相差に基づく相関演算により撮像光学系に係るデフォーカス量を算出して、光学レンズ部101内のフォーカスレンズを駆動することで焦点調節が可能である。また、露出制御部107は撮像素子制御部108の動作を決定して制御信号を伝達する。撮像素子制御部108は露出制御部107からの制御信号にしたがって撮像素子102の動作制御を行う。

0016

図2を参照して、撮像素子102の構成を説明する。図2は撮像素子102の一例を示すブロック図である。タイミング・パルス制御部201は、撮像素子102の各構成部に動作クロックを供給し、また各構成部にタイミング信号を供給することにより、撮像素子102の動作を制御する。垂直走査回路202は、画素部203から画素信号電圧を、1フレーム中に順次読出すタイミング制御を行う。一般的に、映像信号は1フレーム中に画素部203における上部の行から下部の行にかけて、行単位で順次読出される。本実施形態では、画素部203から位相差情報を出力するかどうかを選択することができる。

0017

画素部203は、多数の単位画素が2次元に配置された構成である。各単位画素単数または複数の光電変換部を有しており、入射光量に応じて光電変換を行って電圧を出力する。フォトダイオード等の光電変換素子が用いられる。画素部203は通常の映像とともに位相差情報を取得して出力することもできる。例えば、1つのマイクロレンズに対してフォトダイオードが2つに分割された構造が挙げられる。画素部203は光電変換素子の他にフローティングディフュージョン部への電荷転送を行うトランジスタや、増幅トランジスタ等を備えるが、回路構成については公知であるので詳細な説明を省略する。

0018

列アンプ204は、画素部203から列ごとに読出された信号を電気的に増幅する。列アンプ204で信号を増幅することにより、後段の列ADC205で発生するノイズに対して画素信号を増幅し、等価的にS/N比を改善することができる。また列アンプ204においては、タイミング・パルス制御部201からの信号によって、アンプゲインを変更可能である。撮像素子102は、HDR画像生成用として、列アンプ204のアンプゲインを変更して2種類のゲインで信号を出力することが可能である。つまり列アンプ204は、光電変換部から出力された、ある時刻の信号に対して2つのゲインを乗算した信号を出力することができるので、データ量は増えるものの、同時性を有する2つのゲインの異なる画像信号を取得できる。列アンプ204の構成については後述する。

0019

列ADC(アナログ・デジタル変換部)205は、列アンプ204からアナログ信号を取得してデジタル信号に変換する。デジタル信号は水平転送回路206により順次読出される。水平転送回路206の出力は信号処理回路207に入力される。

0020

信号処理回路207はデジタル信号処理を行う回路である。信号処理回路207はデジタル処理で、一定量のオフセット値の付加を行うほかに、シフト演算や乗算を行うことで簡易にゲイン演算を行うことができる。また、画素部203において意図的に遮光された画素領域を有する場合には、当該画素領域を利用したデジタル処理での黒レベルクランプ動作を行ってもよい。

0021

外部出力回路208は信号処理回路207から信号を取得して出力処理を行う。外部出力回路208はシリアライザー機能を有し、信号処理回路207からの多ビットの入力パラレル信号シリアル信号に変換する。また外部出力回路208は、このシリアル信号を、例えばLVDS信号等に変換して、外部デバイス画像情報を出力する。

0022

次に、HDR画像生成時の撮像素子102の動作と、画像合成部104について詳述する。本実施形態の撮像素子102は、HDR画像を生成するために列アンプ204のゲインを変更して信号を出力することができる。図3を参照して、HDR画像生成時の列アンプ部の回路例を説明する。図3は、列アンプ204のある1列を抜き出して示す回路図である。容量部をCと表記し、スイッチ素子(トランジスタ等)をSWと表記し、オペアンプをOPと表記する。

0023

OP305には入力容量と帰還容量が接続されている。OP305の非反転入力端子には基準電源の電圧が印加され、反転入力端子には入力容量であるC303とC304が接続されている。SW301とC303との直列回路と、SW302とC304との直列回路は並列に接続されており、SW301およびS302が画素部203と接続されている。

0024

C306とC308は帰還容量である。C306は、SW307とC308との直列回路に対して並列に設けられている。SW307のONによってC306とC308とが接続される。列アンプの増幅率は、C303,C304の静電容量と、C306,C308の静電容量によって決定され、「入力容量/帰還容量」から算出される。本実施形態の列アンプは2つの入力容量を有する。SW301をONとし、かつSW302とS307をOFFとして、入力容量C303と、帰還容量C306との静電容量比に対応する第1のゲインを乗算した信号を列ADC205へ出力可能である。また、SW301をOFFとし、かつSW302とSW307をONとして、入力容量C304と、帰還容量C306およびC308の合成容量との静電容量比に対応する第2のゲインを乗算した信号を列ADC205へ出力可能である。このように、入力容量と帰還容量との組み合わせに応じた列アンプの増幅率に対応する複数のゲインが決定される。ゲインの異なる信号に基づく複数の画像信号を出力することができる。なお、必要に応じて図3の入力容量と帰還容量を増やせば、組み合わせの数をさらに大きくすることができる。

0025

図4(A)は、露出補正部401および画像合成部402を示すブロック図である。撮像素子102から出力された2種類のゲインが乗算された信号に基づく2枚の画像については、高ゲインの画像であるHigh Gain画像をH画像と表記し、低ゲインの画像であるLow Gain画像をL画像と表記する。H画像とL画像は露出補正部401によって補正された後に、画像合成部402が1枚の合成画像を生成する。

0026

露出補正部401はH画像およびL画像の各信号を取得して露出補正を行い、H画像のゲインとL画像のゲインとを同一にする。これは後段の画像合成部402が1枚の画像に合成した場合、入力信号に対してリニアな特性の出力信号にするためである。

0027

図5は、入力光量とAD変換後の出力コードとの関係を表すグラフである。横軸は、H画像とL画像についての入力光量を表し、単位はカンデラ(cd)である。縦軸はAD変換後の出力コードを表す。HighはH画像のグラフ(太線)を示し、LowはL画像のグラフ(細線)を示す。

0028

図5(A)は、H画像とL画像とで画像の明るさが異なる状態を示している。これは露出補正前の状態であり、2つの画像をそのまま合成することはできない。そのため、露出補正部401はH画像とL画像との間で明るさを合わせるためにゲイン乗算処理を行う。図5(B)は、H画像の明るさをL画像の明るさに合わせる例を示す。H画像の露出補正を行って、明るさをL画像に合わせた画像であるHigh Gain2画像を、H2画像と表記する(図5:High2参照)。この場合、露出補正に用いるゲイン値は1より小さい。一方で、L画像の明るさをH画像の明るさに合わせることも可能である。その場合に用いるゲイン値は1より大きい。

0029

図5(C)は画像合成後のグラフを示す。画像合成部402はH2画像とL画像との合成処理を実行する。入力光量が小さい画像部分ではH2画像が使用され、入力光量が大きい画像部分ではL画像が使用されて、画像合成が行われる。H画像については列アンプ(図3)、すなわちアナログ増幅回路が用いられるので、ノイズ成分がL画像よりも小さい。よって合成画像のS/N比が向上する。

0030

次に図6を参照して、撮影者の指示にしたがってゲインが、図5に示したH画像とL画像との関係に対して2倍に変更されたときの入力光量とAD変換後の出力コードの関係について説明する。図6における横軸と縦軸の設定は図5と同じである。

0031

図6(A)は、L画像に係るGain1を、列アンプ(図3)により2倍にし(Gain2)、画像全体の明るさに対応する、撮像装置のゲインを2倍にしたときのグラフを表している。図6(B)は、H画像の明るさをL画像の明るさに合わせる例を示す。L画像に係る列アンプ204のゲインを2倍した画像をL2画像(図6:Gain2参照)と表記する。列アンプ204のゲインは撮像素子制御部108から撮像素子102への制御信号によって決定される。

0032

露出補正部401はH画像の明るさをL2画像の明るさに合わせるようにゲイン乗算処理を行う。この場合のゲイン値は、図5に示した例に比べて大きくなる(一方、L2画像の明るさをH画像の明るさに合わせる場合にはゲインが相対的に小さくなる)。そのため、図6(C)を示す画像合成後のグラフにおいて、出力コード全体に占めるH画像(High2参照)の割合が図5(C)の例よりも大きくなる。

0033

本実施形態では、L画像に係る列アンプのゲインによらず、H画像に係る列アンプのゲイン(高ゲイン)を一定の値に設定する。図6(C)に示すように、被写体の明るい画像部分ではL画像が用いられる。暗い画像部分では列アンプの高ゲイン(一定値)で増幅された信号に基づくH2画像が用られる。このように第1のゲイン(高ゲイン)よりも小さい第2のゲイン(低ゲイン)の値は変更され、第1のゲインの値は変更されない。

0034

本実施形態によれば、撮像装置のゲイン設定が変わった場合でも合成画像のS/N比を高く保つことができる。なお、ゲインの異なる2枚の画像の合成に関するアルゴリズムについては任意でよく、本実施形態に限定されるものではない。

0035

[第2実施形態]
次に本発明の第2実施形態を説明する。本実施形態では第1実施形態との相違点を主に説明し、同様の事項については既に使用した符号や記号を用いることで、それらの詳細な説明を省略する。第1実施形態で述べたように、画像の明るさはL画像によって決定される。撮影者が撮像装置に対するゲイン設定値を高くしていくと、L画像についてもH画像と同じかまたは同程度のゲインで信号が出力されることになる。その場合、図4(B)に示す画像加算部403を用いて画像信号を出力する処理が行われる。なお、同程度とは2つのゲイン値の差分が閾値以下であることを意味する。

0036

露出補正部401は2枚のH画像であるHigh Gain1とHigh Gain2の各信号を取得し、2枚のH画像の明るさを微調整する。これは、図3に示す入力容量C303とC304との間の微小なばらつきを除去または低減するためである。2枚のH画像の明るさを合わせる調整後に、画像加算部403は2枚のH画像の信号を画素単位加算する。2枚のH画像を加算することで、列アンプ204で発生するノイズ成分を抑圧することができる。

0037

本実施形態において、2つのゲイン値の差分が閾値より大きい場合には第1実施形態と同様に画像合成部104が画像合成処理を行う。また、L画像に係る列アンプ204のゲインが大きくなり、H画像と同じかまたは同程度のゲインになった場合、画像合成から画像加算に切り替わる。画像加算部403によって画素単位で信号を加算することで、更なるS/N比の向上が可能である。

0038

前記実施形態によれは、光電変換部の出力に基づく信号ごとに複数のゲインで増幅が可能な撮像装置において、被写体によらず、指定のゲイン(撮影者の意図したゲイン設定値等)に応じてS/N比がより良好な画像を取得することができる。なお、前記実施形態では列アンプの増幅率を制御することによりゲインの変更を行う方法を示した。この他には、画素部のFD(フローティングディフュージョン)部への付加容量の接続と非接続を制御することによりゲインの変更を行う方法がある。

0039

102・・・撮像素子
103・・・画像取得部
104・・・画像合成部
105・・・信号処理部
107・・・露出制御部
108・・・撮像素子制御部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ