図面 (/)

技術 撮像装置およびその制御方法

出願人 キヤノン株式会社
発明者 堀川洋平
出願日 2016年3月2日 (5年3ヶ月経過) 出願番号 2016-039756
公開日 2017年9月7日 (3年9ヶ月経過) 公開番号 2017-158039
状態 特許登録済
技術分野 光信号から電気信号への変換 自動焦点調節 写真撮影方法及び装置 焦点調節
主要キーワード 相関像 縦目方向 各分割画素 最終合 単位画素セル 駆動制御命令 SAD演算 視差画像信号
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年9月7日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (9)

課題

焦点検出精度を低下させることなくS/Nを向上させることが可能な撮像装置を提供する。

解決手段

複数の分割画素部を有する複数の単位画素セル200を備え、視差画像信号出力可能撮像素子を備える撮像装置100を設ける。撮像装置100は、上記複数の画素部でそれぞれ同じ位置関係にある分割画素部からの信号同士の合成を行って第2の視差画像信号を生成する第2の合成モードと、前記画素部内の前記分割画素部からの信号を合成して第1の視差画像信号を生成する第1の合成モードとを有する。

概要

背景

特許文献1は、マイクロレンズを二次元的に配置するとともに、各マイクロレンズの下に射出瞳を分割するように複数の光電変換部(分割画素部) を備える撮像素子を用いて、位相差方式焦点検出を行う撮像装置を開示している。この撮像装置は、縦の瞳分割縦目) と、横の瞳分割(横目) とを、分割画素部同士の加算によって実現する。また、特許文献2は、瞳分割された像を複数画素加算することによって、S/Nを向上させる撮像装置を開示している。

概要

焦点検出精度を低下させることなくS/Nを向上させることが可能な撮像装置を提供する。複数の分割画素部を有する複数の単位画素セル200を備え、視差画像信号出力可能な撮像素子を備える撮像装置100を設ける。撮像装置100は、上記複数の画素部でそれぞれ同じ位置関係にある分割画素部からの信号同士の合成を行って第2の視差画像信号を生成する第2の合成モードと、前記画素部内の前記分割画素部からの信号を合成して第1の視差画像信号を生成する第1の合成モードとを有する。

目的

本発明は、焦点検出精度を低下させることなくS/Nを向上させることが可能な撮像装置の提供を目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

複数の分割画素部をそれぞれ有する複数の画素部を備え視差画像信号出力可能撮像素子と、前記複数の画素部でそれぞれ同じ位置関係にある分割画素部からの信号同士の合成を行って第2の視差画像信号を生成する第2の合成モードと、前記画素部内の前記分割画素部からの信号を合成して第1の視差画像信号を生成する第1の合成モードとを有する合成手段を有することを特徴とする撮像装置

請求項2

前記合成手段は、前記第1の視差画像信号から更に前記第2の合成モードで合成された視差画像信号を前記第2の視差画像信号として生成することを特徴とする請求項1に記載の撮像装置。

請求項3

前記第2の視差画像信号を用いて焦点検出を行う焦点検出手段を更に有することを特徴とする請求項1または請求項2に記載の撮像装置。

請求項4

前記合成手段は、焦点検出処理の種類に応じて、前記第2の合成モードまたは前記第1の合成モードで動作することを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。

請求項5

前記合成手段は、前記焦点検出処理でのデフォーカス量の検出モードに応じて、前記第2の合成モードまたは前記第1の合成モードで動作することを特徴とする請求項4に記載の撮像装置。

請求項6

前記合成手段は、前記焦点検出処理において検出するデフォーカス量の大きさに応じて、前記第2の合成モードまたは前記第1の合成モードで動作することを特徴とする請求項5に記載の撮像装置。

請求項7

前記合成手段は、前記焦点検出処理において合焦付近のデフォーカス量を検出する場合には、前記第1の合成モードで動作することを特徴とする請求項5または請求項6に記載の撮像装置。

請求項8

デフォーカス量の検出に用いられる被写体像帯域を制限する制限手段を備え、前記合成手段は、前記帯域の制限により得られる帯域の大きさに応じて、前記第2の合成モードまたは前記第1の合成モードで動作することを特徴とする請求項5乃至7のいずれか1項に記載の撮像装置。

請求項9

前記合成手段は、像高に応じて、前記第2の合成モードで合成する信号の出力元の分割画素部を選択することを特徴とする請求項1乃至8のいずれか1項に記載の撮像装置。

請求項10

前記画素部の各々に対して、入射光集光する1つのマイクロレンズが設けられており、前記複数の分割画素部は、撮像光学系の異なる瞳領域をそれぞれ通過する光束を受光するように瞳分割されていることを特徴とする請求項1乃至9のいずれか1項に記載の撮像装置。

請求項11

前記合成手段が前記第2の合成モードで前記同じ位置関係にある前記分割画素部からの信号同士の合成を行う際の信号の加算方向は、前記瞳分割の方向と直交する方向であることを特徴とする請求項10に記載の撮像装置。

請求項12

前記合成手段は、前記撮像素子内で前記第2の合成モードまたは前記第1の合成モードで動作して信号を合成することを特徴とする請求項1乃至11のいずれか1項に記載の撮像装置。

請求項13

前記画素部は、それぞれ、少なくとも4つ以上の前記分割画素部を有することを特徴とする請求項1乃至12のいずれか1項に記載の撮像装置。

請求項14

画像の方向成分を検出する方向検出手段を備え、前記合成手段は、前記方向検出手段による前記画像の方向成分の検出結果に基づいて、前記第2の合成モードまたは前記第1の合成モードで動作することを特徴とする請求項1に記載の撮像装置。

請求項15

複数の分割画素部をそれぞれ有する複数の画素部を備え視差画像信号を出力可能な撮像素子を有する撮像装置の制御方法であって、前記複数の画素部でそれぞれ同じ位置関係にある分割画素部からの信号同士の合成を行って第2の視差画像信号を生成する第2の合成モードと、前記画素部内の前記分割画素部からの信号を合成して第1の視差画像信号を生成する第1の合成モードとを有する合成工程を有することを特徴とする制御方法。

技術分野

0001

撮像装置およびその制御方法に関する。

背景技術

0002

特許文献1は、マイクロレンズを二次元的に配置するとともに、各マイクロレンズの下に射出瞳を分割するように複数の光電変換部(分割画素部) を備える撮像素子を用いて、位相差方式焦点検出を行う撮像装置を開示している。この撮像装置は、縦の瞳分割縦目) と、横の瞳分割(横目) とを、分割画素部同士の加算によって実現する。また、特許文献2は、瞳分割された像を複数画素加算することによって、S/Nを向上させる撮像装置を開示している。

先行技術

0003

特許第5157128号公報
国際公開第2011/136031号

発明が解決しようとする課題

0004

特許文献1が開示する撮像装置のように、マイクロレンズ下の分割画素部間の加算によってS/Nを向上させる場合、加算前の信号に対して被写界深度の浅い信号を生成することとなる。したがって、生成された信号は、大きなデフォーカス量の画像領域に関する焦点検出に用いる信号には適さない。これは、被写体のエッジ成分ボケによる低周波成分と混合されてしまい、バンドパスフィルタのような線形フィルタで抽出が困難であるので、相関演算を行ったとしても極値を求められないからである。

0005

また、特許文献2が開示する撮像装置では、瞳分割された像の空間周波数が下がってしまうので、焦点検出精度が低下してしまう。本発明は、焦点検出精度を低下させることなくS/Nを向上させることが可能な撮像装置の提供を目的とする。

課題を解決するための手段

0006

本発明の一実施形態の撮像装置は、複数の分割画素部をそれぞれ有する複数の画素部を備え視差画像信号出力可能な撮像素子と、前記複数の画素部でそれぞれ同じ位置関係にある分割画素部からの信号同士の合成を行って第2の視差画像信号を生成する第2の合成モードと、前記画素部内の前記分割画素部からの信号を合成して第1の視差画像信号を生成する第1の合成モードとを有する合成手段を有する。

発明の効果

0007

本発明の撮像装置によれば、焦点検出精度を低下させることなくS/Nを向上させることが可能となる。

図面の簡単な説明

0008

本実施形態の撮像装置の構成例を示す図である。
単位画素セルの構成の一例を説明する図である。
ML内分割画素加算で得られた像の被写界深度を説明する図である。
デフォーカス量の検出処理の例を説明するフローチャートである。
実施例2で用いられる撮像素子の構成を示す図である。
焦点検出部が実行する相関演算を説明する図である。
斜め線に関するML間分割画素加算を説明する図である。
斜め線検出フィルタ出力値の例を示す図である。

実施例

0009

(実施例1)
図1は、本実施形態の撮像装置の構成例を示す図である。
撮像装置100は、撮像光学系101乃至光学ユニット駆動制御部110を備える。撮像光学系101は、被写体光を受け、不図示の複数のレンズ群および絞りを介して撮像素子102に光束を導く。撮像光学系101を通過した光束は、撮像素子102上に結像し、光学像を形成する。また、撮像光学系101にはフォーカスレンズが構成されている。フォーカスレンズは、光学ユニット駆動制御部110からの駆動制御命令によって、または撮像光学系に構成される不図示のフォーカスリング手動で調節することによって、光軸方向に駆動する。

0010

撮像素子102は、視差画像信号を出力可能である。撮像素子102には、複数の単位画素セル(画素部)が2次元マトリクス状に配列されており、撮像光学系101に含まれるシャッターによって露光量の制御が行われる。撮像光学系101によって結像された像は光電変換され、読み出し制御時に、単位画素中に構成される分割画素部に蓄積された電荷を、A/D変換部103に順次出力する。なお、撮像装置100は、不図示のシステム制御部として機能するCPU(Central Processing Unit)を備えている。システム制御部が、撮像装置100が備える各処理部を制御することによって、撮像装置100の機能が実現される。

0011

図2は、単位画素セルの構成の一例を説明する図である。
複数の単位画素セル200の各々は、入射光集光する1つのマイクロレンズ201の下に、複数の分割画素部を有する。具体的には、単位画素セル200は、少なくとも4つ(2×2)の分割画素部を有する。複数の分割画素部は、撮像光学系101の異なる瞳領域をそれぞれ通過する光束を受光するように瞳分割されている。撮像光学系101を介して入射された光は、マイクロレンズ201を通って、各分割画素部にて蓄積される。この例では、単位画素セル200は、各々R,G,Bのカラーフィルタを備えている。カラーフィルタは、二次元状ベイヤー配列固体撮像素子上に配置されている。

0012

各マイクロレンズ下の同一画素位置に存在する画素のみで構成された二次元画像は、他の同一画素位置に存在する画素のみで構成された二次元画像に対して、視差を有する。つまり、図2の1Aに対応する2A,3A,4Aの画素で構成された画像と、1Bに対応する2B,3B,4Bの画素で構成された画像は、異なる視差を有する。図2に示す2×2の分割画素部からは、合計4つの視差を有する画像信号(視差画像信号)が出力される。これらの視差画像信号の相関演算処理を行うことで、視差量の検出が可能となる。

0013

図1の説明に戻る。A/D変換部103は、不図示のアナログ信号処理部でのアナログ信号処理によって撮像素子102から出力されるアナログ電気信号を、デジタル電気信号画素信号) に変換し、キャプチャー部104に出力する。アナログ信号処理部は、伝送路上のノイズを除去するCDS回路非線形増幅回路等である。

0014

キャプチャー部104は、マイクロレンズ201に対する分割画素部の相対的な位置を判別する属性を付与し、画像合成部105および分割画素加算部108に信号出力を行う。画像合成部105は、入力された単位画素セル内の画素の信号を全加算して撮像用画像(本画像)を生成し、デジタル信号処理部106に出力する。具体的には、画像合成部105は、図2の1A,1B,1C,1Dの位置に対応する分割画素部からの信号を加算する。

0015

デジタル信号処理部106は、ベイヤー配列で入力された画像に対して、同時化処理ガンマ処理ノイズリダクション処理に代表されるデジタル信号処理を行い、外部記録装置107に出力する。同時化処理、ガンマ処理、ノイズリダクション等のデジタル信号処理については周知であり、説明を省略する。

0016

システム制御部および分割画素加算部108は、分割画素部からの信号を加算することで合成して、視差画像信号を生成する合成手段として機能する。分割画素加算部108は、第2の合成モードと、第1の合成モードとを有する。第2の合成モードは、複数の画素部でそれぞれ同じ位置関係にある分割画素部からの信号同士の合成を行って第2の視差画像信号を生成する合成モードである。第1の合成モードは、画素部内の分割画素部からの信号を合成して第1の視差画像信号を生成する合成モードである。分割画素加算部108は、焦点検出処理の種類に応じて、第2の合成モードまたは第1の合成モードで動作する。例えば、第1の合成モードでは、分割画素部1Aと1Cからの信号を加算し、分割画素部1Bと1Dからの信号を加算して横目生成を行う。この加算を、第1の加算であるML(Micro Lens)内分割画素加算とする。もちろん、ML内分割画素加算は、縦目生成に適用してもよい。縦目生成の際には、例えば、分割画素部1Aと1Bとを加算し、分割画素部1Cと1Dとを加算する。すなわち、この例では、画素部内すなわち単位画素セル200内で、瞳分割方向と直交する方向に分割画素部からの信号を加算することをML内分割画素加算とする。

0017

また、例えば、第2の合成モードでは、分割画素部1Aと3Aからの信号を加算し、分割画素部1Bと3Bからの信号を加算して横目生成を行う。この加算を、第2の加算であるML間分割画素加算とする。もちろん、ML間分割画素加算は、縦目生成に適用してもよい。縦目生成の際には、例えば、分割画素部1Aと2Aからの信号を加算し、分割画素部1Cと2Cからの信号を加算する。すなわち、この例では、単位画素セル200間で、瞳分割方向と直交する方向に、同じ位置の分割画素部からの信号を加算することをML内分割画素加算とする。分割画素加算部108は、例えば、焦点検出処理において検出されるデフォーカス量の大きさに応じて、第2の合成モードまたは第1の合成モードで動作する。

0018

図3は、ML内分割画素加算によって得られた像の被写界深度を説明する図である。
ML内分割画素加算は、被写界深度の浅い画像が生成されるので、ML間分割画素加算の場合に比べて、なまった像が得られるという特徴がある。

0019

図3では、許容錯乱円をδとし、撮像光学系の絞り値をFとすると、絞り値Fでの被写界深度は±Fδである。点線で示された面が、撮像素子の存在する像面である。通常、単位画素セルは許容錯乱円δのサイズに応じて画素ピッチが設定される。

0020

位置300から放射される光線は、2×2に分割されて狭くなった瞳分割領域301を介して撮像素子に結像される。このとき、瞳分割領域301を介して得られた光線の水平及び垂直方向の実効絞り値F01は、F01=2F(2は分割数) と暗くなる。各視差画像信号の実行的な被写界深度は、±2Fδと2倍深くなり、合焦範囲が2倍に広がる。実行的な被写界深度±2Fδの範囲内では、各視差画像信号に合焦した被写体像が取得されている。つまり、分割画素部1Aと1C、分割画素部1Bと1Dとを加算して生成される横目は、1A、1Bの位置のみで生成される横目よりも被写界深度が浅い。したがって、ML内分割画素加算によって得られる像は、相関演算処理を行った際に、一致度に変化が起きにくいので、大きなデフォーカス量を有した像に対しては検出精度が低くなる。

0021

一方、ML間分割画素加算を行った像は、±2Fδのままであり、シャープな像が得られる。したがって、一致度の変化が起きやすく大きなデフォーカス量を有した像に対して検出精度が高くなる。

0022

なお、2×2分割の撮像素子の場合には、ML内の分割画素加算方向は、瞳分割方向と直交方向のみの加算となるため、横目の瞳分割に対する縦目間の画素加算による被写界深度の影響は小さくなる。しかし、縦目方向の被写界深度が浅くなることによって、低周波成分の増加が発生し、デフォーカス検出可能な範囲が狭まってしまう。

0023

また、撮像素子の画素配列としての水平垂直方向と各分割画素部の開口重心によって定まる瞳分割方向は、ケラレの影響などで必ずしも一致しない。したがって、垂直方向のML内分割画素加算を行ったとしても、水平方向の被写界深度は浅くなり、同様の問題が発生する。さらに、4×4に分割された撮像素子において、横目を生成する際に、横2画素と縦4画素を加算して瞳分割画素を生成する場合においては、被写界深度が浅くなる影響が大きくなる。

0024

ML間分割画素加算は、像高方向の解像度が低くなってしまうので、合焦付近にフォーカスレンズが存在していたとしても、細線に代表される高周波成分の検出精度が下がってしまうという特徴がある。一方、ML内分割画素加算は像高方向の解像度が低くならないため、細線の検出精度が上がるという特徴がある。

0025

なお、ML間分割画素加算は、射出瞳の一部を通過した像を用いて相関演算処理を行うことになるため、像高の高い部分でシェーディングの影響を受けやすくなるという特徴がある。具体的には、像高の左方向にいくにしたがってBおよびD像は入射光が減り、右方向にいくにしたがってAおよびC像は入射光が減ることになる。また上方向にいくにしたがってAおよびB像は入射光が減り、下方向にいくにしたがってCおよびD像は入射光が減ることになる。このような課題を解決するために、像高に応じて、シェーディングの影響を受けにくい分割画素部を、合成する信号の出力元の分割画素部として選択した上で、ML間分割画素加算を行ってもよい。また、ML間分割画素加算を行う際には、相関演算を行う際のシフト方向と直交する方向、つまり瞳分割方向と直交する方向に画素加算を行うことが望ましい。

0026

上述の特徴より、分割画素加算部108は、例えば、デフォーカス量の検出モードに応じて、ML間分割画素加算またはML内分割画素加算を実行する。具体的には、分割画素加算部108は、大きなデフォーカス量を検出する検出モードでは、ML間分割画素加算を選択し、合焦付近のデフォーカス量を検出する検出モードでは、ML内分割画素加算を選択し、加算により得られる像を焦点検出部109に出力する。焦点検出部109は、相関演算を行うことで、位相差を持った分割画素部間の像ずれ量Nを算出し、撮像光学系101の状態によって一意に決定する固定値Kに基づいて、デフォーカス量を検出し、光学ユニット駆動制御部110に出力する。

0027

図6は、焦点検出部が実行する相関演算を説明する図である。
図6中のaおよびbは、ML間分割画素加算もしくはML内分割画素加算によって生成された擬似的な画素出力を示す符号である。焦点検出部109は、画素出力a,bを、各々列方向または行方向に組み合わせ、同色単位画素セル群の出力として、A像及びB像を生成・データ化し、各々の対応点のずれをSAD演算によって求める。SAD演算の結果は、式(1)によって求められる。



YAnおよびYBnは、水平のマイクロレンズのn個の画素数を含んだ数列である。iは、各画素位置を表す。焦点検出部109が画素をずらしながら差の絶対値を算出するときのずらし量をmとする。最も値の小さなCを取るmの位置が、合焦位置に対応するずれ量Nを示す。

0028

(1)合焦のときには、撮影光学系が結像する位置が、P7のML下のPDになるので、A像用画素群とB像用画素群は、ほぼ一致する。この時、相関演算で求められるA像用画素群とB像用画素群の像ずれ量N(1)は、0に近似することを表している。
(2)後ピンのときには、撮影光学系が結像する位置として、A像用画素がP5、B像用画素がP9のML下の画素になる。この時、相関演算で求められるA像用画素群とB像用画素群の像ずれ量N(2)が発生する。
(3)前ピンのときには、撮影光学系と結像する位置として、A像用画素がP9、B像用画素がP5のML下の画素になる。この時、相関演算で求められるA像用画素群とB像用画素群の像ずれ量N(3)は、後ピンとは逆方向の像ずれ量を示す。このことは、合焦時には、A像用画素群およびB像用画素群は、同一の被写体を見ているが、後ピンおよび前ピン時には、A像用画素群およびB像用画素群は、像ずれ量Nだけずれた被写体を見ているということを意味する。

0029

デフォーカス量dは、公知の技術を用いて、例えば、像ずれ量Nと受光素子に至るまでの光学状態によって一意に決まるKの関係に基づいて、式(2)によって求める事が可能である。
d=N×K…式(2)

0030

なお、焦点検出部109による相関演算を行う前に、バンドパスフィルタによって被写体像の帯域制限を行うことが望ましい。したがって、撮像装置100が、分割画素部から出力される視差画像信号の帯域を制限するバンドパスフィルタを備えるようにしてもよい。具体的には、撮像装置100は、小さいデフォーカス量を検出する場合においては、被写体の高い帯域の像の検出に用いるバンドパスフィルタを適用した上で、ML内分割画素加算を実行する。すなわち、撮像装置100は、帯域の制限により得られる帯域の大きさに応じて、ML内分割画素加算またはML間分割加算を実行する。撮像装置100が、最終合焦位置を検出する場合に、被写体の高い帯域の像の検出に用いるバンドパスフィルタを適用した上で、ML内分割画素加算を実行してもよい。図1に示す光学ユニット駆動制御部110は、焦点検出部109で得られたデフォーカス量に基づいて、被写体に合焦するように撮像光学系101を駆動させる。

0031

図4は、撮像装置によるデフォーカス量の検出処理の例を説明するフローチャートである。
以下の説明では、大きいデフォーカス量を検出する検出モードを大デフォーカス検出モードと記述する。また、小さいデフォーカス量を検出する検出モードを小デフォーカス検出モードと記述する。不図示のシステム制御部は、SW1が押されている間、オートフォーカス動作スタートする。ステップS400において、システム制御部が、検出モードを大デフォーカス検出モードに設定する。

0032

ステップS401において、撮像素子102が、分割画素部1A,1B,1C,1Dから出力されるA,B,C,D像の読み出しを行う。次に、ステップS402において、システム制御部が、検出モードが大デフォーカス検出モードであるかを判定する。検出モードが大デフォーカス検出モードである場合は、処理がステップS404に進む。検出モードが大デフォーカス検出モードでない場合(例えば、小デフォーカス検出モードである場合)は、処理がステップS403に進む。

0033

ステップS404において、分割画素加算部108が、ML間分割画素加算を行う。これにより、位相差のある2像を擬似的に生成する。そして、処理がステップS405に進む。ML間分割画素加算によって得られた像は、被写界深度が深いので、大きなボケが生じている状態でもデフォーカス量の検出性能が高いという特徴がある。

0034

また、ステップS403において、分割画素加算部108が、ML内分割画素加算を行う。そして、処理がステップS405に進む。ML内分割画素加算によって得られた像は、空間周波数成分減衰していないので、細線に代表される高周波成分の検出性能が高いという特徴がある。したがって、ML内分割画素加算は、最終合焦判断を行うためのデフォーカス量を検出する設定がされている場合において、有効である。

0035

ステップS405において、焦点検出部109が、ステップS403もしくはS404で生成された像に対して、相関演算(SAD演算)を行う。続いて、ステップS406において、焦点検出部109が、極値の検出処理を行う。続いて、ステップS407において、システム制御部が、極値を検出できたかを判定する。極値を検出できた場合は、システム制御部が、像ずれ量dにKを乗算して得られるデフォーカス量を光学ユニット駆動制御部110に出力して、処理がS409に進む。極値を検出できなかった場合は、処理がS408に進む。

0036

ステップS408において、システム制御部が、検出モードを大デフォーカス検出モードに設定する。また、ステップS409において、システム制御部が、最終合焦位置を次のフレームで検出するために、検出モードを小デフォーカス検出モードに設定する。このように小デフォーカス検出モードに変更することで、大デフォーカス検出モードでのML間分割画素加算によって減衰する空間周波数による影響を抑えることが可能となる。

0037

次に、ステップS410において、システム制御部が、SW1が押されたかを判定する。SW1が押された場合は、処理がステップS402に戻る。SW1が押されていない場合は、オートフォーカス動作を終了する。このように、本実施例では、デフォーカス量の検出モードに応じて、ML間分割画素加算またはML内分割画素加算を実行することで、焦点検出処理の精度を低下させることなくS/N比を向上させることが可能となる。

0038

撮像装置が、以下の方式を適用してもよい。すなわち、撮像装置は、分割画素部を輝度信号化する目的でML間分割画素加算を一定数行った像に対して、さらにデフォーカス量の検出モードに基づいてML間分割画素加算またはML内分割画素加算を実行する。具体的には、輝度信号を行う目的でML間分割画素加算を水平2、垂直2画素加算して瞳分割した像を生成し、さらにS/Nを向上させる目的でML間分割画素加算またはML内分割画素加算を実行する。なお、ML間分割画素加算とML内分割画素加算とを排他的に実行してもよい。

0039

また、本実施例では、大デフォーカス量モードの際にML間分割画素加算を選択し、小デフォーカス量モードの際にML内分割画素加算を選択するが、必ずしもこのように制御する必要はない。ML間分割画素加算による相関像と、ML内分割画素加算による相関像とを同時に算出し、大デフォーカス量検出の目的でML間分割画素加算による相関像を用い、最終合焦位置を判定する目的でML内分割画素加算による相関像を用いてもよい。さらに、一方の加算による相関像を他方の相関像の信頼性評価の目的で用いてもよい。具体的には、ML内分割画素加算によって得られた相関像に複数の極値が存在する場合において、ML間分割画素加算によって得られた相関像の極値の像ずれ量付近に存在する極値を有効とする。

0040

さらに、分割画素加算部108が、ML内分割画素加算で得られた第1の視差画像信号から更にML間分割画素加算で合成された視差画像信号を第2の視差画像信号として生成するようにしてもよい。

0041

(実施例2)
撮像素子102から全ての分割画素部を読み出し、A/D変換後のデジタル処理によって分割画素部からの信号の加算を行うと、転送時間および消費電力が多くかかってしまう場合がある。そこで、実施例2の撮像装置では、システム制御部が、A/D変換前に、撮像素子内で、予め、第2の合成モードまたは第1の合成モードで信号の合成を行う。

0042

図5は、実施例2で用いられる撮像素子の構成を示す図である。
図5において、PD1A、PD1B、PD1C、PD1D、PD3A,PD3B,PD3C,PD3Dは、それぞれ、分割画素部1A、1B、1C、1D、3A、3B、3C、3Dに対応するフォトダイオードである。フォトダイオードの出力は、Rd1A、Rd1B、Rd1C、Rd1D、Rd3A、Rd3B、Rd3C、Rd3Dの読み出しトランジスタによって、電荷としてフローティングディフュージョンFD)上に転送される。VDDは、撮像素子の電源であって、ResによってFD上の電荷がクリアされる。Selは、行読み出しトランジスタであって、画素ソースフォロワを介して、画素値が出力される。

0043

実施例1で説明したML間分割画素加算と同等の処理を行うためには、システム制御部が、Resによって画素値をリセットした上で、Rd1AおよびRd3Aのトランジスタを制御し、FD上にPD1AおよびPD3Aの電荷を転送する。次に、システム制御部が、Selを制御し、画素値をA/D変換部103に出力する。同様に、システム制御部が、Rd1BおよびRd3Bを制御することで、横目方向のML分割画素加算を行うことが可能となる。

0044

一方、ML内分割画素加算を行う際には、Rd1A、Rd1CをFDに蓄積し、画素値として出力を行った後で、Rd1B、Rd1Dを同様に制御し出力を行う。このように分割画素部間の加算を行う単位でFDを共有することで、撮像素子102内で分割画素部からの信号の加算を行うことが可能である。

0045

実施例2では、システム制御部が、ML間分割画素加算を実行するかML内分割画素加算を実行するかを判定し、判定結果に基づいて、トランジスタの転送の順番切り換えレジスタを制御する。このように制御することで、転送時間の削減および省電力化が可能となる。

0046

(実施例3)
実施例3の撮像装置は、画像の方向成分を検出する方向検出手段として斜め線検出フィルタを備える。そして、撮像装置100は、検出された画像の方向成分に基づいて、第2の合成モードまたは第1の合成モードで動作する。

0047

図7は、斜め方向の細線について、ML間分割画素加算で生成される像について説明する図である。
Lは、相関演算を行うオートフォーカス枠の範囲である。Nは、ML間分割画素加算数である。Pは、画素ピッチを示す。θ1およびθ2は、細線の角度を示す。図7(A)および図7(C)は、それぞれ異なる角度の細線を画素上に投影した像を示す。図7(B)は、図7(A)に示す像を垂直方向にML間分割画素加算した結果を示す。図7(D)は、図7(C)に示す像を垂直方向にML間分割画素加算した結果を示す。

0048

図7(A)に示す像に対して、垂直N画素のML間分割画素加算を行うと、図7(B)に示されるように、水平方向に一様の輝度値となるので、模様が存在しなくなる。したがって、分割画素部の加算結果に基づいて相関演算を行っても、極が存在しないので、焦点検出処理を行うことが困難である。

0049

一方、図7(C)に示す像に対して垂直N画素のML間分割画素加算を行うと、図7(D)に示されるように、水平方向端部に模様が存在するので、相関演算によって極を検出することが可能となる。つまり、下記の式(3)で示される角度θの細線が、N画素のML間分割加算を行った際に極の検出が可能な細線である。

0050

θで示される範囲は、ML間分割画素加算を行った場合に極を検出可能な細線の角度である。したがって、実施例2では、撮像装置100が、斜め線検出フィルタ(不図示)を備え、この検出フィルタを、ML間分割画素加算を行う前の像に適用する。撮像装置100は、検出フィルタの出力値を閾値と比較し、出力値が閾値以上である場合には、ML間分割加算を行う。撮像装置100は、出力値が閾値未満である場合には、ML内分割画素加算を行う。このように、実施例2の撮像装置100は、斜め線検出フィルタの出力に応じて、ML間分割画素加算またはML内分割画素加算を実行する。もちろん、分割画素部を輝度信号化する目的でML間分割画素加算を選択した上で、さらに、斜め線検出フィルタの出力に応じて、ML内分割画素加算を選択してもよい。

0051

図8は、斜め線検出フィルタの出力値の例を示す図である。
図8(A)乃至(D)に示す斜め線検出フィルタは、3×3タップデジタルフィルタである。デジタルフィルタは、各タップ位置に存在する係数を画素ごとに適用することで、斜め線の検出を行うことが可能となる。ML間分割画素加算で角度22.5°までの細線について極を検出可能とする場合は、図8(B)のデジタルフィルタの出力値と図8(D)のデジタルフィルタの出力値を水平方向に積分する。積分した結果が閾値よりも高ければ、極の検出が可能となる。以上説明したように、斜め線検出フィルタによる斜め線の検出結果に応じた合成モードで信号を加算することで、S/N比の高い相関像を得ることが可能となる。

0052

本実施例では、2×2の分割画素部に分割された撮像素子102を用いて説明を行ったが、本発明の適用範囲は、2×2の分割画素部に分割された撮像素子に限定されない。4×4の分割画素部に分割された撮像素子を用いて、ML間分割画素加算によって極を検出可能な斜め線の角度を実施例3で説明した方法で算出し、その上でML内分割画素加算も併用するようにしてもよい。これにより、細線の検出角度の精度と、検出可能なデフォーカス量とを確保することが可能となる。また、本発明は、ML内分割画素加算またはML間分割画素加算とを、焦点検出処理の種類に応じて実行する焦点検出装置に適用することもできる。

0053

(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。

0054

100撮像装置
108分割画素加算部
109焦点検出部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 株式会社フジクラの「 撮像モジュール及び内視鏡」が 公開されました。( 2021/04/01)

    【課題・解決手段】撮像モジュールは、撮像素子と、発光素子と、撮像素子および発光素子を保持するケースと、を備える。ケースは、ケースの前面に開口する投光孔と、投光孔よりも後方に位置して発光素子を収容するラ... 詳細

  • ソニー株式会社の「 情報処理装置、情報処理方法、プログラム、及び、情報処理システム」が 公開されました。( 2021/04/01)

    【課題・解決手段】本技術は、撮像レンズを用いない撮像において、選択的な演算処理を可能にすることで負荷を低減可能にすることができるようにする情報処理装置、情報処理方法、プログラム、及び、情報処理システム... 詳細

  • ソニー株式会社の「 撮像装置及びその制御方法」が 公開されました。( 2021/04/01)

    【課題・解決手段】イメージセンサのあおり量とフランジバックのずれ量を算出しユーザーに提示する撮像装置及びその制御方法を提供する。撮像装置は、イメージセンサの撮像領域中の複数箇所の小エリア毎に、ユーザー... 詳細

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ