図面 (/)

技術 撮像装置

出願人 株式会社ニコン
発明者 塩野谷孝神原敏之關口直樹
出願日 2019年10月17日 (1年4ヶ月経過) 出願番号 2019-190531
公開日 2020年3月12日 (11ヶ月経過) 公開番号 2020-039130
状態 特許登録済
技術分野 自動焦点調節 スタジオ装置 光信号から電気信号への変換 カメラの露出制御 焦点調節
主要キーワード 複合ブロック 単位区分 現設定値 複合領域 蓄積回数 フィルタ演算結果 カウンター回路 タッチ操作部材
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年3月12日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

撮像条件が異なる領域で生成された画像データに対し、それぞれ適切に処理を行う撮像装置を提供する。

解決手段

撮像装置1は、被写体を撮像する撮像領域を有する撮像素子32aと、撮像領域の撮像条件を設定する設定部34bと、補間に用いるための画素を撮像領域に含まれる画素から選択する選択部33bと、選択部33bにより選択された画素から出力された信号により補間された信号を用いて撮像領域で撮像された被写体の画像を生成する生成部33cと、を備える。選択部33bは、設定部34bにより設定された撮像条件により、選択する画素の少なくとも一部の画素が異なるよう選択する。

概要

背景

画面の領域ごとに異なる撮像条件を設定可能な撮像素子を搭載した撮像装置が知られている(特許文献1参照)。しかしながら、撮像条件が異なる領域でそれぞれ生成された画像データを用いる場合において、撮像条件が同じ領域で生成された画像データを用いる場合と同様にすることができないという問題があった。

概要

撮像条件が異なる領域で生成された画像データに対し、それぞれ適切に処理を行う撮像装置を提供する。撮像装置1は、被写体を撮像する撮像領域を有する撮像素子32aと、撮像領域の撮像条件を設定する設定部34bと、補間に用いるための画素を撮像領域に含まれる画素から選択する選択部33bと、選択部33bにより選択された画素から出力された信号により補間された信号を用いて撮像領域で撮像された被写体の画像を生成する生成部33cと、を備える。選択部33bは、設定部34bにより設定された撮像条件により、選択する画素の少なくとも一部の画素が異なるよう選択する。

目的

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

第1撮像条件で被写体を撮像するように設定された第1撮像領域と、前記第1撮像条件と異なる第2撮像条件で被写体を撮像するように設定された第2撮像領域と、前記第2撮像条件と異なる第3撮像条件で被写体を撮像するように設定された第3撮像領域と、を有する撮像素子と、前記第2撮像領域に含まれる画素と前記第3撮像領域に含まれる画素とのうちから、前記第1撮像領域に含まれる画素の補間に用いるための画素を選択する選択部と、を有する撮像装置

請求項2

請求項1に記載の撮像装置において、前記選択部により選択された画素から出力された信号により補間された信号を用いて前記第1撮像領域で撮像された被写体の画像を生成する生成部を有する撮像装置。

請求項3

請求項1に記載の撮像装置において、前記選択部により選択された画素から出力された信号により補間された信号を用いて前記第1撮像領域で撮像された被写体を検出する検出部を有する撮像装置。

請求項4

請求項1に記載の撮像装置において、撮像条件の設定を制御する制御部であって、前記選択部により選択された画素から出力された信号により補間された信号を用いて前記第1撮像領域に設定されている撮像条件の設定を制御する制御部を有する撮像装置。

請求項5

請求項1に記載の撮像装置において、前記第1撮像領域と、前記第2撮像領域と、前記第3撮像領域は、光学系の合焦位置を調整するレンズを介して被写体を撮像し、前記選択部により選択された画素から出力された信号により補間された信号を用いて検出された前記光学系の合焦点状態により前記レンズの駆動を制御する制御部を有する撮像装置。

請求項6

請求項1から5までのいずれか一項に記載の撮像装置において、前記第3撮像領域の撮像条件は、前記第1撮像条件と前記第2撮像条件との差よりも前記第1撮像条件との差が小さい第3撮像条件に設定される撮像装置。

請求項7

請求項6に記載の撮像装置において、前記第3撮像領域に前記第1撮像条件が設定される撮像装置。

請求項8

請求項1から7までのいずれか一項に記載の撮像装置において、第3撮像領域は、前記第1撮像領域と前記第2撮像領域との距離よりも前記第1撮像領域との距離が長い撮像装置。

技術分野

0001

本発明は、撮像装置に関する。

背景技術

0002

画面の領域ごとに異なる撮像条件を設定可能な撮像素子を搭載した撮像装置が知られている(特許文献1参照)。しかしながら、撮像条件が異なる領域でそれぞれ生成された画像データを用いる場合において、撮像条件が同じ領域で生成された画像データを用いる場合と同様にすることができないという問題があった。

先行技術

0003

日本国特開2006−197192号公報

0004

本発明の一態様による撮像装置は、第1撮像条件で被写体を撮像するように設定された第1撮像領域と、前記第1撮像条件と異なる第2撮像条件で被写体を撮像するように設定された第2撮像領域と、前記第2撮像条件と異なる第3撮像条件で被写体を撮像するように設定された第3撮像領域と、を有する撮像素子と、前記第2撮像領域に含まれる画素と前記第3撮像領域に含まれる画素とのうちから、前記第1撮像領域に含まれる画素の補間に用いるための画素を選択する選択部と、を有する。

図面の簡単な説明

0005

第1の実施の形態によるカメラの構成を例示するブロック図である。
積層型の撮像素子の断面図である。
撮像チップ画素配列単位領域を説明する図である。
単位領域における回路を説明する図である。
カメラの撮像素子に結像される被写体の像を模式的に示す図である。
撮像条件の設定画面を例示する図である。
図7(a)はライブビュー画像における第1領域の境界付近を例示する図、図7(b)は境界付近を拡大した図、図7(c)は注目画素および参照画素の拡大図である。図7(d)は第2の実施の形態における注目画素および参照画素の拡大図である。
図8(a)は画素から出力された光電変換信号の並びを例示する図、図8(b)はG色成分の画像データの補間を説明する図、図8(c)は補間後のG色成分の画像データを例示する図である。
図9(a)は図8(a)からR色成分の画像データを抽出した図、図9(b)は色差成分Crの補間を説明する図、図9(c)は色差成分Crの画像データの補間を説明する図である。
図10(a)は図8(a)からB色成分の画像データを抽出した図、図10(b)は色差成分Cbの補間を説明する図、図10(c)は色差成分Cbの画像データの補間を説明する図である。
撮像面における焦点検出用画素の位置を例示する図である。
焦点検出画素ラインの一部の領域を拡大した図である。
焦点検出位置を拡大した図である。
図14(a)は、検出しようとする対象物を表すテンプレート画像を例示する図であり、図14(b)は、ライブビュー画像および探索範囲を例示する図である。
領域ごとに撮像条件を設定して撮像する処理の流れを説明するフローチャートである。
図16(a)〜図16(c)は、撮像素子の撮像面における第1領域および第2領域の配置を例示する図である。
変形例8による撮像システムの構成を例示するブロック図である。
モバイル機器へのプログラムの供給を説明する図である。
第3の実施の形態によるカメラの構成を例示するブロック図である。
第3の実施の形態における各ブロックと、複数の選択部との対応関係を模式的に示した図である。
積層型の撮像素子の断面図である。
画像処理に係る、第1画像データと第2画像データとの処理について模式的に表した図である。
焦点検出処理に係る、第1画像データと第2画像データとの処理について模式的に表した図である。
被写体検出処理に係る、第1画像データと第2画像データとの処理について模式的に表した図である。
露出演算処理等の撮像条件の設定に係る、第1画像データと第2画像データとの処理について模式的に表した図である。
変形例10による第1画像データと第2画像データとの処理について模式的に表した図である。
変形例10による第1画像データと第2画像データとの処理について模式的に表した図である。
変形例10による第1画像データと第2画像データとの処理について模式的に表した図である。
変形例10による第1画像データと第2画像データとの処理について模式的に表した図である。

実施例

0006

本実施の形態による画像処理装置を搭載する電子機器の一例として、デジタルカメラを例にあげて説明する。カメラ1(図1)は、撮像素子32aにおける撮像面の領域ごとに異なる条件で撮像を行うことが可能に構成される。画像処理部33は、撮像条件が異なる領域においてそれぞれ適切な処理を行う。このようなカメラ1の詳細について、図面を参照して説明する。

0007

<カメラの説明>
(第1の実施の形態)
図1は、第1の実施の形態によるカメラ1の構成を例示するブロック図である。図1において、カメラ1は、撮像光学系31と、撮像部32と、画像処理部33と、制御部34と、表示部35と、操作部材36と、記録部37とを有する。

0008

撮像光学系31は、被写界からの光束を撮像部32へ導く。撮像部32は、撮像素子32aおよび駆動部32bを含み、撮像光学系31によって結像された被写体の像を光電変換する。撮像部32は、撮像素子32aにおける撮像面の全域において同じ条件で撮像したり、撮像素子32aにおける撮像面の領域ごとに異なる条件で撮像したりすることができる。撮像部32の詳細については後述する。駆動部32bは、撮像素子32aに蓄積制御を行わせるために必要な駆動信号を生成する。撮像部32に対する電荷蓄積時間などの撮像指示は、制御部34から駆動部32bへ送信される。

0009

画像処理部33は、入力部33aと、選択部33bと、生成部33cとを含む。入力部33aには、撮像部32によって取得された画像データが入力される。選択部33bは、上記入力された画像データに対して前処理を行う。前処理の詳細については後述する。生成部33cは、上記入力された画像データと前処理後の画像データとに基づく画像を生成する。また、生成部33cは、画像データに対する画像処理を行う。画像処理には、例えば、色補間処理画素欠陥補正処理輪郭強調処理ノイズ低減(Noise reduction)処理、ホワイトバランス調整処理ガンマ補正処理表示輝度調整処理彩度調整処理等が含まれる。さらに、生成部33cは、表示部35により表示する画像を生成する。

0010

制御部34は、例えばCPUによって構成され、カメラ1による全体の動作を制御する。例えば、制御部34は、撮像部32で取得された光電変換信号に基づいて所定の露出演算を行い、適正露出に必要な撮像素子32aの電荷蓄積時間(露光時間)、撮像光学系31の絞り値、ISO感度等の露出条件を決定して駆動部32bへ指示する。また、カメラ1に設定されている撮像シーンモードや、検出した被写体要素の種類に応じて、彩度コントラストシャープネス等を調整する画像処理条件を決定して画像処理部33へ指示する。被写体要素の検出については後述する。

0011

制御部34には、物体検出部34aと、設定部34bと、撮像制御部34cと、AF演算部34dとが含まれる。これらは、制御部34が不図示の不揮発性メモリに格納されているプログラムを実行することにより、ソフトウェア的に実現されるが、これらをASIC等により構成しても構わない。

0012

物体検出部34aは、公知の物体認識処理を行うことにより、撮像部32によって取得された画像から、人物(人物の顔)、などの動物(動物の顔)、植物、自転車自動車電車などの乗物建造物静止物、山、などの風景、あらかじめ定められた特定の物体などの、被写体要素を検出する。設定部34bは、撮像部32による撮像画面を、上述のように検出した被写体要素を含む複数の領域に分割する。

0013

設定部34bはさらに、複数の領域に対して撮像条件を設定する。撮像条件は、上記露出条件(電荷蓄積時間、ゲイン、ISO感度、フレームレート等)と、上記画像処理条件(例えば、ホワイトバランス調整用パラメータガンマ補正カーブ、表示輝度調整パラメータ彩度調整パラメータ等)とを含む。なお、撮像条件は、複数の領域の全てに同じ撮像条件を設定することも、複数の領域間で異なる撮像条件を設定することも可能である。

0014

撮像制御部34cは、設定部34bによって領域ごとに設定された撮像条件を適用して撮像部32(撮像素子32a)、画像処理部33を制御する。これにより、撮像部32に対しては、複数の領域ごとに異なる露出条件で撮像を行わせることが可能であり、画像処理部33に対しては、複数の領域ごとに異なる画像処理条件で画像処理を行わせることが可能である。領域を構成する画素の数はいくらでもよく、例えば1000画素でもよいし、1画素でもよい。また、領域間で画素の数が異なっていてもよい。

0015

AF演算部34dは、撮像画面の所定の位置(焦点検出位置焦点検出位置と呼ぶ)において、対応する被写体に対してフォーカスを合わせる自動焦点調節オートフォーカス:AF)動作を制御する。AF演算部34dは、演算結果に基づいて、撮像光学系31のフォーカスレンズを合焦位置へ移動させるための駆動信号を駆動部32bに送る。AF演算部34dが自動焦点調節のために行う処理は、焦点検出処理とも呼ばれる。焦点検出処理の詳細については後述する。

0016

表示部35は、画像処理部33によって生成された画像や画像処理された画像、記録部37によって読み出された画像などを再生表示する。表示部35は、操作メニュー画面や、撮像条件を設定するための設定画面等の表示も行う。

0017

操作部材36は、レリーズタンメニューボタン等の種々の操作部材によって構成される。操作部材36は、各操作に対応する操作信号を制御部34へ送出する。操作部材36には、表示部35の表示面に設けられたタッチ操作部材も含まれる。

0018

記録部37は、制御部34からの指示に応じて、不図示のメモリカードなどで構成される記録媒体に画像データなどを記録する。また、記録部37は、制御部34からの指示に応じて記録媒体に記録されている画像データを読み出す。

0019

<積層型の撮像素子の説明>
上述した撮像素子32aの一例として積層型の撮像素子100について説明する。図2は、撮像素子100の断面図である。撮像素子100は、撮像チップ111と、信号処理チップ112と、メモリチップ113とを備える。撮像チップ111は、信号処理チップ112に積層されている。信号処理チップ112は、メモリチップ113に積層されている。撮像チップ111および信号処理チップ112、信号処理チップ112およびメモリチップ113は、それぞれ接続部109により電気的に接続されている。接続部109は、例えばバンプ電極である。撮像チップ111は、被写体からの光像を撮像して画像データを生成する。撮像チップ111は、画像データを撮像チップ111から信号処理チップ112へ出力する。信号処理チップ112は、撮像チップ111から出力された画像データに対して信号処理を施す。メモリチップ113は、複数のメモリを有し、画像データを記憶する。なお、撮像素子100は、撮像チップおよび信号処理チップで構成されてもよい。撮像素子100が撮像チップおよび信号処理チップで構成されている場合、画像データを記憶するための記憶部は、信号処理チップに設けられてもよいし、撮像素子100とは別に設けていてもよい。

0020

図2に示すように、入射光は、主に白抜き矢印で示すZ軸プラス方向へ向かって入射する。また、座標軸に示すように、Z軸に直交する紙面左方向をX軸プラス方向、Z軸およびX軸に直交する紙面手前方向をY軸プラス方向とする。以降のいくつかの図においては、図2の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

0021

撮像チップ111は、例えば、CMOSイメージセンサである。撮像チップ111は、具体的には、裏面照射型のCMOSイメージセンサである。撮像チップ111は、マイクロレンズ層101、カラーフィルタ層102、パッシベーション層103、半導体層106、および配線層108を有する。撮像チップ111は、Z軸プラス方向に向かってマイクロレンズ層101、カラーフィルタ層102、パッシベーション層103、半導体層106、および配線層108の順に配置されている。

0022

マイクロレンズ層101は、複数のマイクロレンズLを有する。マイクロレンズLは、入射した光を後述する光電変換部104に集光する。カラーフィルタ層102は、複数のカラーフィルタFを有する。カラーフィルタ層102は、分光特性の異なる複数種類のカラーフィルタFを有する。カラーフィルタ層102は、具体的には、主に赤色成分の光を透過させる分光特性の第1フィルタ(R)と、主に緑色成分の光を透過させる分光特性の第2フィルタ(Gb、Gr)と、主に青色成分の光を透過させる分光特性の第3フィルタ(B)と、を有する。カラーフィルタ層102は、例えば、ベイヤー配列により第1フィルタ、第2フィルタおよび第3フィルタが配置されている。パッシベーション層103は、窒化膜や酸化膜で構成され、半導体層106を保護する。

0023

半導体層106は、光電変換部104および読出回路105を有する。半導体層106は、光の入射面である第1面106aと第1面106aの反対側の第2面106bとの間に複数の光電変換部104を有する。半導体層106は、光電変換部104がX軸方向およびY軸方向に複数配列されている。光電変換部104は、光を電荷に変換する光電変換機能を有する。また、光電変換部104は、光電変換信号による電荷を蓄積する。光電変換部104は、例えば、フォトダイオードである。半導体層106は、光電変換部104よりも第2面106b側に読出回路105を有する。半導体層106は、読出回路105がX軸方向およびY軸方向に複数配列されている。読出回路105は、複数のトランジスタにより構成され、光電変換部104によって光電変換された電荷により生成される画像データを読み出して配線層108へ出力する。

0024

配線層108は、複数の金属層を有する。金属層は、例えば、Al配線Cu配線等である。配線層108は、読出回路105により読み出された画像データが出力される。画像データは、接続部109を介して配線層108から信号処理チップ112へ出力される。

0025

なお、接続部109は、光電変換部104ごとに設けられていてもよい。また、接続部109は、複数の光電変換部104ごとに設けられていてもよい。接続部109が複数の光電変換部104ごとに設けられている場合、接続部109のピッチは、光電変換部104のピッチよりも大きくてもよい。また、接続部109は、光電変換部104が配置されている領域の周辺領域に設けられていてもよい。

0026

信号処理チップ112は、複数の信号処理回路を有する。信号処理回路は、撮像チップ111から出力された画像データに対して信号処理を行う。信号処理回路は、例えば、画像データの信号値増幅するアンプ回路、画像データのノイズ低減処理を行う相関二重サンプリング回路およびアナログ信号デジタル信号に変換するアナログデジタル(A/D)変換回路等である。信号処理回路は、光電変換部104ごとに設けられていてもよい。

0027

また、信号処理回路は、複数の光電変換部104ごとに設けられていてもよい。信号処理チップ112は、複数の貫通電極110を有する。貫通電極110は、例えばシリコン貫通電極である。貫通電極110は、信号処理チップ112に設けられた回路を互いに接続する。貫通電極110は、撮像チップ111の周辺領域、メモリチップ113にも設けられてもよい。なお、信号処理回路を構成する一部の素子を撮像チップ111に設けてもよい。例えば、アナログ/デジタル変換回路の場合、入力電圧基準電圧の比較を行う比較器を撮像チップ111に設け、カウンター回路ラッチ回路等の回路を、信号処理チップ112に設けてもよい。

0028

メモリチップ113は、複数の記憶部を有する。記憶部は、信号処理チップ112で信号処理が施された画像データを記憶する。記憶部は、例えば、DRAM等の揮発性メモリである。記憶部は、光電変換部104ごとに設けられていてもよい。また、記憶部は、複数の光電変換部104ごとに設けられていてもよい。記憶部に記憶された画像データは、後段の画像処理部に出力される。

0029

図3は、撮像チップ111の画素配列と単位領域131を説明する図である。特に、撮像チップ111を裏面(撮像面)側から観察した様子を示す。画素領域には例えば2000万個以上の画素がマトリックス状に配列されている。図3の例では、隣接する2画素×2画素の4画素が一つの単位領域131を形成する。図の格子線は、隣接する画素がグループ化されて単位領域131を形成する概念を示す。単位領域131を形成する画素の数は、これに限られず1000個程度、例えば32画素×32画素でもよいし、それ以上でもそれ以下でもよく、1画素であってもよい。

0030

画素領域の部分拡大図に示すように、図3の単位領域131は、緑色画素Gb、Gr、青色画素Bおよび赤色画素Rの4画素から成るいわゆるベイヤー配列を内包する。緑色画素Gb、Grは、カラーフィルタFとして緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素Bは、カラーフィルタFとして青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素Rは、カラーフィルタFとして赤色フィルタを有する画素であって赤色波長帯の光を受光する。

0031

本実施の形態において、1ブロックにつき単位領域131を少なくとも1つ含むように複数のブロックが定義される。すなわち、1ブロックの最小単位は1つの単位領域131となる。上述したように、1つの単位領域131を形成する画素の数として取り得る値のうち、最も小さい画素の数は1画素である。したがって、1ブロックを画素単位で定義する場合、1ブロックを定義し得る画素の数のうち最小の画素の数は1画素となる。各ブロックはそれぞれ異なる制御パラメータで各ブロックに含まれる画素を制御できる。各ブロックは、そのブロック内の全ての単位領域131、すなわち、そのブロック内の全ての画素が同一の撮像条件で制御される。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、撮像条件が異なる光電変換信号を取得できる。制御パラメータの例は、フレームレート、ゲイン、間引き率、光電変換信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数デジタル化ビット数語長)等である。撮像素子100は、行方向(撮像チップ111のX軸方向)の間引きのみでなく、列方向(撮像チップ111のY軸方向)の間引きも自在に行える。さらに、制御パラメータは、画像処理におけるパラメータであってもよい。

0032

図4は、単位領域131における回路を説明する図である。図4の例では、隣接する2画素×2画素の4画素により一つの単位領域131を形成する。なお、上述したように単位領域131に含まれる画素の数はこれに限られず、1000画素以上でもよいし、最小1画素でもよい。単位領域131の二次元的な位置を符号A〜Dにより示す。

0033

単位領域131に含まれる画素のリセットトランジスタ(RST)は、画素ごとに個別にオンオフ可能に構成される。図4において、画素Aのリセットトランジスタをオンオフするリセット配線300が設けられており、画素Bのリセットトランジスタをオンオフするリセット配線310が、上記リセット配線300とは別個に設けられている。同様に、画素Cのリセットトランジスタをオンオフするリセット配線320が、上記リセット配線300、310とは別個に設けられている。他の画素Dに対しても、リセットトランジスタをオンオフするための専用のリセット配線330が設けられている。

0034

単位領域131に含まれる画素の転送トランジスタ(TX)についても、画素ごとに個別にオンオフ可能に構成される。図4において、画素Aの転送トランジスタをオンオフする転送配線302、画素Bの転送トランジスタをオンオフする転送配線312、画素Cの転送トランジスタをオンオフする転送配線322が、別個に設けられている。他の画素Dに対しても、転送トランジスタをオンオフするための専用の転送配線332が設けられている。

0035

さらに、単位領域131に含まれる画素の選択トランジスタ(SEL)についても、画素ごとに個別にオンオフ可能に構成される。図4において、画素Aの選択トランジスタをオンオフする選択配線306、画素Bの選択トランジスタをオンオフする選択配線316、画素Cの選択トランジスタをオンオフする選択配線326が、別個に設けられている。他の画素Dに対しても、選択トランジスタをオンオフするための専用の選択配線336が設けられている。

0036

なお、電源配線304は、単位領域131に含まれる画素Aから画素Dで共通に接続されている。同様に、出力配線308は、単位領域131に含まれる画素Aから画素Dで共通に接続されている。また、電源配線304は複数の単位領域間で共通に接続されるが、出力配線308は単位領域131ごとに個別に設けられる。負荷電流源309は、出力配線308へ電流を供給する。負荷電流源309は、撮像チップ111側に設けられてもよいし、信号処理チップ112側に設けられてもよい。

0037

単位領域131のリセットトランジスタおよび転送トランジスタを個別にオンオフすることにより、単位領域131に含まれる画素Aから画素Dに対して、電荷の蓄積開始時間、蓄積終了時間、転送タイミングを含む電荷蓄積を制御することができる。また、単位領域131の選択トランジスタを個別にオンオフすることにより、各画素Aから画素Dの光電変換信号を共通の出力配線308を介して出力することができる。

0038

ここで、単位領域131に含まれる画素Aから画素Dについて、行および列に対して規則的な順序で電荷蓄積を制御する、いわゆるローリングシャッタ方式が公知である。ローリングシャッタ方式により行ごとに画素を選択してから列を指定すると、図4の例では「ABCD」の順序で光電変換信号が出力される。

0039

このように単位領域131を基準として回路を構成することにより、単位領域131ごとに電荷蓄積時間を制御することができる。換言すると、単位領域131間で異なったフレームレートによる光電変換信号をそれぞれ出力させることができる。また、撮像チップ111において一部のブロックに含まれる単位領域131に電荷蓄積(撮像)を行わせる間に他のブロックに含まれる単位領域131を休ませることにより、撮像チップ111の所定のブロックでのみ撮像を行わせて、その光電変換信号を出力させることができる。さらに、フレーム間で電荷蓄積(撮像)を行わせるブロック(蓄積制御の対象ブロック)を切り替えて、撮像チップ111の異なるブロックで逐次撮像を行わせて、光電変換信号を出力させることもできる。

0040

上記の通り、単位領域131のそれぞれに対応して出力配線308が設けられている。撮像素子100は撮像チップ111、信号処理チップ112およびメモリチップ113を積層しているので、これら出力配線308に接続部109を用いたチップ間電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。

0041

<撮像素子のブロック制御
本実施の形態では、撮像素子32aにおける複数のブロックごとに撮像条件を設定可能に構成される。制御部34(撮像制御部34c)は、上記複数の領域を上記ブロックに対応させて、領域ごとに設定された撮像条件で撮像を行わせる。

0042

図5は、カメラ1の撮像素子32aに結像される被写体の像を模式的に示す図である。カメラ1は、撮像指示が行われる前に、被写体像を光電変換してライブビュー画像を取得する。ライブビュー画像は、所定のフレームレート(例えば60fps)で繰り返し撮像するモニタ用画像のことをいう。

0043

制御部34は、設定部34bにより領域を分割する前は、撮像チップ111の全域(すなわち撮像画面の全体)に同一の撮像条件を設定する。同一の撮像条件とは、撮像画面の全体に共通の撮像条件を設定することをいい、例えばアペックス値で0.3段程度に満たないばらつきがあるとしても同じとみなす。撮像チップ111の全域で同一に設定する撮像条件は、被写体輝度測光値に応じた露出条件、またはユーザーによって手動設定された露出条件に基づいて決定する。

0044

図5において、撮像チップ111の撮像面に、人物61aと、自動車62aと、バッグ63aと、山64aと、雲65a、66aとを含む像が結像されている。人物61aは、バッグ63aを両手で抱えている。人物61aの右後方に、自動車62aが止まっている。

0045

<領域の分割>
制御部34は、ライブビュー画像に基づき、以下のようにライブビュー画像の画面を複数の領域に分割する。先ず、物体検出部34aによってライブビュー画像から被写体要素を検出する。被写体要素の検出は、公知の被写体認識技術を用いる。図5の例では、物体検出部34aが、人物61aと、自動車62aと、バッグ63aと、山64aと、雲65aと、雲66aとを被写体要素として検出する。

0046

次に、設定部34bによって、ライブビュー画像の画面を、上記被写体要素を含む領域に分割する。本実施の形態では、人物61aを含む領域を領域61とし、自動車62aを含む領域を領域62とし、バッグ63aを含む領域を領域63とし、山64aを含む領域を領域64とし、雲65aを含む領域を領域65とし、雲66aを含む領域を領域66として説明する。

0047

<ブロックごとの撮像条件の設定>
制御部34は、設定部34bによって画面を複数の領域に分割すると、図6に例示するような設定画面を表示部35に表示させる。図6において、ライブビュー画像60aが表示され、ライブビュー画像60aの右側に撮像条件の設定画面70が表示される。

0048

設定画面70には、撮像条件の設定項目の一例として、上から順にフレームレート、シャッタースピード(TV)、ゲイン(ISO)が挙げられている。フレームレートは、1秒間に取得するライブビュー画像やカメラ1により録画される動画像フレーム数である。ゲインは、ISO感度である。撮像条件の設定項目は、図6に例示した他にも適宜加えて構わない。全ての設定項目が設定画面70の中に収まらない場合は、設定項目を上下にスクロールさせることによって他の設定項目を表示させるようにしてもよい。

0049

本実施の形態において、制御部34は、設定部34bによって分割された領域のうち、ユーザーによって選択された領域を撮像条件の設定(変更)の対象にする。例えば、タッチ操作が可能なカメラ1において、ユーザーは、ライブビュー画像60aが表示されている表示部35の表示面上で、撮像条件を設定(変更)したい主要被写体の表示位置をタップ操作する。制御部34は、例えば人物61aの表示位置がタップ操作された場合に、ライブビュー画像60aにおいて人物61aを含む領域61を撮像条件の設定(変更)対象領域にするとともに、領域61の輪郭を強調して表示させる。

0050

図6において、輪郭を強調して表示(太く表示、明るく表示、色を変えて表示、破線で表示、点滅表示等)する領域61は、撮像条件の設定(変更)の対象となる領域を示す。図6の例では、領域61の輪郭を強調したライブビュー画像60aが表示されているものとする。この場合は、領域61が、撮像条件の設定(変更)の対象である。例えば、タッチ操作が可能なカメラ1において、ユーザーによってシャッタースピード(TV)の表示71がタップ操作されると、制御部34は、強調して表示されている領域(領域61)に対するシャッタースピードの現設定値を画面内に表示させる(符号68)。
以降の説明では、タッチ操作を前提としてカメラ1の説明を行うが、操作部材36を構成するボタン等の操作により、撮像条件の設定(変更)を行うようにしてもよい。

0051

シャッタースピード(TV)の上アイコン71aまたは下アイコン71bがユーザーによってタップ操作されると、設定部34bは、シャッタースピードの表示68を現設定値から上記タップ操作に応じて増減させるとともに、強調して表示されている領域(領域61)に対応する撮像素子32aの単位領域131(図3)の撮像条件を、上記タップ操作に応じて変更するように撮像部32(図1)へ指示を送る。決定アイコン72は、設定された撮像条件を確定させるための操作アイコンである。設定部34bは、フレームレートやゲイン(ISO)の設定(変更)についても、シャッタースピード(TV)の設定(変更)の場合と同様に行う。

0052

なお、設定部34bは、ユーザーの操作に基づいて撮像条件を設定するように説明したが、これに限定されない。設定部34bは、ユーザーの操作に基づかずに、制御部34の判断により撮像条件を設定するようにしてもよい。例えば、画像における最大輝度または最小輝度である被写体要素を含む領域において、白とびまたは黒つぶれが生じている場合、設定部34bは、制御部34の判断により、白とびまたは黒つぶれを解消するように撮像条件を設定するようにしてもよい。
強調表示されていない領域(領域61以外の他の領域)については、設定されている撮像条件が維持される。

0053

制御部34は、撮像条件の設定(変更)の対象となる領域の輪郭を強調表示する代わりに、対象領域全体を明るく表示させたり、対象領域全体のコントラストを高めて表示させたり、対象領域全体を点滅表示させたりしてもよい。また、対象領域を枠で囲ってもよい。対象領域を囲う枠の表示は、二重枠や一重枠でもよく、囲う枠の線種、色や明るさ等の表示態様は、適宜変更して構わない。また、制御部34は、対象領域の近傍に矢印などの撮像条件の設定の対象となる領域を指し示す表示をしてもよい。制御部34は、撮像条件の設定(変更)の対象となる対象領域以外を暗く表示させたり、対象領域以外のコントラストを低く表示させたりしてもよい。

0054

以上説明したように、領域ごとの撮像条件が設定された後に、操作部材36を構成する不図示のレリーズボタン、または撮像開始を指示する表示(レリーズアイコン)が操作されると、制御部34が撮像部32を制御することにより、上記分割された領域に対してそれぞれ設定されている撮像条件で撮像を行わせる。そして、画像処理部33は、撮像部32によって取得された画像データに対して画像処理を行う。画像処理は、上述したように、領域ごとに異なる画像処理条件で行うことができる。

0055

上記画像処理部33による画像処理の後、制御部34から指示を受けた記録部37が、画像処理後の画像データを不図示のメモリカードなどで構成される記録媒体に記録する。これにより、一連撮像処理が終了する。

0056

データ選択処理>
上述したように、本実施の形態では、設定部34bにより撮像画面の領域を分割した後は、ユーザーによって選択された領域、または、制御部34が判断した領域に対して撮像条件を設定(変更)することが可能に構成されている。分割した領域において異なる撮像条件を設定した場合、制御部34は、必要に応じて以下のデータ選択処理を行わせる。

0057

1.画像処理を行う場合
画像処理部33(選択部33b)は、分割した領域間で異なる撮像条件を適用して取得された画像データに対する画像処理が所定の画像処理である場合において、領域の境界付近に位置する画像データに対し、画像処理の前処理としてデータ選択処理を行う。所定の画像処理は、画像において処理対象とする注目位置の画像データを、注目位置の周囲の複数の参照位置の画像データを参照して算出する処理であり、例えば、画素欠陥補正処理、色補間処理、輪郭強調処理、ノイズ低減処理などが該当する。

0058

データ選択処理は、分割した領域間で撮像条件が異なることに起因して、画像処理後の画像に現れる違和感を緩和するために行う。注目位置が、分割した領域の境界付近に位置する場合、注目位置の周囲の複数の参照位置には、注目位置の画像データと同じ撮像条件が適用された画像データと、注目位置の画像データと異なる撮像条件が適用された画像データとが混在する場合がある。本実施の形態では、異なる撮像条件が適用された参照位置の画像データをそのまま参照して注目位置の画像データを算出するよりも、注目位置と同じ撮像条件が適用された参照位置の画像データを参照して注目位置の画像データを算出する方が好ましいという考え方に基づき、以下のように画像処理に用いるデータを選択する。

0059

図7(a)は、ライブビュー画像60aにおける領域61と領域64との境界付近の領域80を例示する図である。本例では、少なくとも人物を含む領域61に第1撮像条件が設定され、山を含む領域64に第2撮像条件が設定されているものとする。図7(b)は、図7(a)の境界付近の領域80を拡大した図である。第1撮像条件が設定された領域61に対応する撮像素子32a上の画素からの画像データを白地で示し、第2撮像条件が設定された領域64に対応する撮像素子32a上の画素からの画像データを網掛けで示す。図7(b)では、領域61上であって、領域61と領域64との境界81の近傍部分である境界部に注目画素Pからの画像データが位置する。注目画素Pを中心とする所定範囲90(例えば3×3画素)に含まれる注目画素Pの周囲の画素(本例では8画素)を参照画素とする。図7(c)は、注目画素Pおよび参照画素の拡大図である。注目画素Pの位置が注目位置であり、注目画素Pを囲む参照画素の位置が参照位置である。

0060

画像処理部33(生成部33c)は、データ選択処理を行わずに参照画素の画像データをそのまま参照して画像処理を行うこともできる。しかしながら、注目画素Pにおいて適用された撮像条件(第1撮像条件とする)と、注目画素Pの周囲の参照画素において適用された撮像条件(第2撮像条件とする)とが異なる場合には、選択部33bが、以下の(例1)〜(例3)のように、参照画素の画像データから画像処理に用いる第1撮像条件の画像データを選択する。そして、生成部33cは、画像データ選択後の参照画素の画像データを参照して注目画素Pの画像データを算出する画像処理を行う。図7(c)において、白地で示す画素から出力されるデータは第1撮像条件の画像データであり、斜線で示す画素から出力されるデータは第2撮像条件の画像データである。本実施の形態では、第2撮像条件の画像データを選択しないことにより、斜線で示す画素から出力された画像データを画像処理に用いない。

0061

(例1)
画像処理部33(選択部33b)は、例えば、第1撮像条件と第2撮像条件との間でISO感度のみが異なり、第1撮像条件のISO感度が100で、第2撮像条件のISO感度が800の場合、参照画素の画像データから画像処理に用いる第1撮像条件の画像データを選択する。つまり、参照画素の画像データのうちの、第1撮像条件と異なる第2撮像条件の画像データを画像処理に用いない。

0062

(例2)
画像処理部33(選択部33b)は、例えば、第1撮像条件と第2撮像条件との間でシャッター速度のみが異なり、第1撮像条件のシャッター速度が1/1000秒で、第2撮像条件のシャッター速度が1/100秒の場合、参照画素の画像データから画像処理に用いる第1撮像条件の画像データを選択する。つまり、参照画素の画像データのうちの、第1撮像条件と異なる第2撮像条件の画像データを画像処理に用いない。

0063

(例3)
画像処理部33(選択部33b)は、例えば、第1撮像条件と第2撮像条件との間でフレームレートのみが異なり(電荷蓄積時間は同じ)、第1撮像条件のフレームレートが30fpsで、第2撮像条件のフレームレートが60fpsの場合、参照画素の画像データのうちの第2撮像条件(60fps)の画像データについて、第1撮像条件(30fps)で取得されたフレーム画像取得タイミングが近いフレーム画像の画像データを選択する。つまり、参照画素の画像データのうちの、第1撮像条件(30fps)のフレーム画像と取得タイミングが異なるフレーム画像の画像データを画像処理に用いない。

0064

一方、画像処理部33(選択部33b)は、注目画素Pにおいて適用された撮像条件と、注目画素Pの周囲の全ての参照画素において適用された撮像条件とが同一である場合には、全ての画像データを選択する。例えば、全ての参照画素において、注目画素Pに適用された撮像条件と同一の撮像条件が適用されていると判断した場合には、全ての参照画素の画像データをそのまま参照して注目画素Pの画像データを算出する画像処理を行う。
なお、上述したように、撮像条件に多少の差違(例えばアペックス値で0.3段以下)があっても同一の撮像条件とみなすこととしてもよい。

0065

<画像処理の例示>
データ選択処理を伴う画像処理について例示する。
(1)画素欠陥補正処理
本実施の形態において、画素欠陥補正処理は、撮像時に行う画像処理の1つである。一般に、固体撮像素子である撮像素子100は、製造過程や製造後において画素欠陥が生じ、異常なレベルの画像データを出力する場合がある。そこで、画像処理部33(生成部33c)は、画素欠陥が生じた画素から出力された画像データを補正することにより、画素欠陥が生じた画素位置における画像データを目立たないようにする。

0066

画素欠陥補正処理の一例を説明する。画像処理部33(生成部33c)は、例えば、1フレームの画像においてあらかじめ不図示の不揮発性メモリに記録されている画素欠陥の位置の画素を注目画素P(処理対象画素)とし、注目画素Pを中心とする所定範囲90(例えば3×3画素)(図7(c))に含まれる注目画素Pの周囲の画素(本例では8画素)を参照画素とする。

0067

画像処理部33(生成部33c)は、参照画素における画像データの最大値最小値を算出し、注目画素Pから出力された画像データがこれら最大値または最小値を超えるときは注目画素Pから出力された画像データを上記最大値または最小値で置き換えるMax,Minフィルタ処理を行う。このような処理を、不揮発性メモリに位置情報が記録されている全ての画素欠陥に対して行う。

0068

本実施の形態において、画像処理部33(選択部33b)は、注目画素Pに適用された第1撮像条件と異なる第2撮像条件が適用された画素が上記参照画素に含まれる場合に、参照画素における画像データから第1撮像条件が適用された画像データを選択する。その後、選択された画像データを参照して画像処理部33(生成部33c)が上述したMax,Minフィルタ処理を行う。なお、選択した画像データの平均をとって画素欠陥補正処理を行うこととしてもよい。

0069

(2)色補間処理
本実施の形態において、色補間処理は、撮像時に行う画像処理の1つである。図3に例示したように、撮像素子100の撮像チップ111は、緑色画素Gb、Gr、青色画素Bおよび赤色画素Rがベイヤー配列されている。画像処理部33(生成部33c)は、各画素位置において配置されたカラーフィルタFの色成分と異なる色成分の画像データが不足するので、周辺の画素位置の画像データを参照して不足する色成分の画像データを生成する色補間処理を行う。

0070

色補間処理の一例を説明する。図8(a)は、撮像素子100から出力された画像データの並びを例示する図である。各画素位置に対応して、ベイヤー配列の規則にしたがってR、G、Bのいずれかの色成分を有する。
<G色補間
まず、一般的なG色補間について説明する。G色補間を行う画像処理部33(生成部33c)は、R色成分およびB色成分の位置を順番に注目位置として、注目位置の周囲の参照位置の4つのG色成分の画像データを参照して注目位置におけるG色成分の画像データを生成する。例えば、図8(b)の太枠(左上位置から数えて2行目列目。以降も同様に、左上位置から数えて注目位置を表すものとする)で示す注目位置においてG色成分の画像データを生成する場合、注目位置(2行目2列目)の近傍に位置する4つのG色成分の画像データG1〜G4を参照する。画像処理部33(生成部33c)は、例えば(aG1+bG2+cG3+dG4)/4を、注目位置(2行目2列目)におけるG色成分の画像データとする。なお、a〜dは参照位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。

0071

次に、本実施の形態のG色補間について説明する。図8(a)〜図8(c)において、太線に対して左および上の領域に第1撮像条件が適用されており、太線に対して右および下の領域に第2撮像条件が適用されているものとする。なお、図8(a)〜図8(c)において、第1撮像条件と第2撮像条件は異なる。また、図8(b)中のG色成分の画像データG1〜G4が、注目位置(2行目2列目)の画素を画像処理するための参照位置である。図8(b)において、注目位置(2行目2列目)には第1撮像条件が適用されている。参照位置のうち、画像データG1〜G3には第1撮像条件が適用されている。また、参照位置のうち、画像データG4には第2撮像条件が適用されている。そのため、画像処理部33(選択部33b)は、G色成分の画像データG1〜G4から第1撮像条件が適用された画像データG1〜G3を選択する。こうして、画像処理部33(生成部33c)が、選択された画像データを参照して注目位置(2行目2列目)におけるG色成分の画像データを算出する。画像処理部33(生成部33c)は、例えば(a1G1+b1G2+c1G3)/3を、注目位置(2行目2列目)におけるG色成分の画像データとする。なお、a1〜c1は、参照位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。

0072

画像処理部33(生成部33c)は、図8(a)におけるB色成分の位置およびR色成分の位置においてそれぞれG色成分の画像データを生成することにより、図8(c)に示すように、各画素位置においてG色成分の画像データを得ることができる。

0073

<R色補間>
図9(a)は、図8(a)からR色成分の画像データを抽出した図である。画像処理部33(生成部33c)は、図8(c)に示すG色成分の画像データと図9(a)に示すR色成分の画像データとに基づいて図9(b)に示す色差成分Crの画像データを算出する。

0074

まず、一般的な色差成分Crの補間について説明する。画像処理部33(生成部33c)は、例えば図9(b)の太枠(2行目2列目)で示す注目位置において色差成分Crの画像データを生成する場合、注目位置(2行目2列目)の近傍に位置する4つの色差成分の画像データCr1〜Cr4を参照する。画像処理部33(生成部33c)は、例えば(eCr1+fCr2+gCr3+hCr4)/4を、注目位置(2行目2列目)における色差成分Crの画像データとする。なお、e〜hは参照位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。

0075

同様に、画像処理部33(生成部33c)は、例えば図9(c)の太枠(2行目3列目)で示す注目位置において色差成分Crの画像データを生成する場合、注目位置(2行目3列目)の近傍に位置する4つの色差成分の画像データCr2、Cr4〜Cr6を参照する。画像処理部33(生成部33c)は、例えば(qCr2+rCr4+sCr5+tCr6)/4を、注目位置(2行目3列目)における色差成分Crの画像データとする。なお、q〜tは、参照位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。こうして、各画素位置について色差成分Crの画像データが生成される。

0076

次に、本実施の形態の色差成分Crの補間について説明する。図9(a)〜図9(c)において、例えば、太線に対して左および上の領域に第1撮像条件が適用されており、太線に対して右および下の領域に第2撮像条件が適用されているものとする。なお、図9(a)〜図9(c)において、第1撮像条件と第2撮像条件は異なる。図9(b)において、太枠(2行目2列目)で示す位置が色差成分Crの注目位置である。また、図9(b)中の色差成分の画像データCr1〜Cr4が注目位置(2行目2列目)の画素を画像処理するための参照位置である。図9(b)において、注目位置(2行目2列目)には第1撮像条件が適用されている。参照位置のうち、画像データCr1、Cr3、Cr4には第1撮像条件が適用されている。また、参照位置のうち、画像データCr2には第2撮像条件が適用されている。そのため、画像処理部33(選択部33b)は、色差成分Crの画像データCr1〜Cr4から第1撮像条件が適用された画像データCr1、Cr3およびCr4を選択する。その後、画像処理部33(生成部33c)が、選択された画像データを参照して注目位置(2行目2列目)における色差成分の画像データCrを算出する。画像処理部33(生成部33c)は、例えば(e1Cr1+g1Cr3+h1Cr4)/3を、注目位置(2行目2列目)における色差成分Crの画像データとする。なお、e1、g1、h1は、参照位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。

0077

また、図9(c)において、太枠(2行目3列目)で示す位置が色差成分Crの注目位置である。また、図9(c)中の色差成分の画像データCr2、Cr4、Cr5、Cr6が注目位置(2行目3列目)の画素を画像処理するための参照位置である。図9(c)において、注目位置(2行目3列目)には第2撮像条件が適用されている。参照位置のうち、画像データCr4、Cr5には第1撮像条件が適用されている。また、参照位置のうち、画像データCr2、Cr6には第2撮像条件が適用されている。そのため、画像処理部33(選択部33b)は、上述した図9(b)の例と同様に、色差成分Crの画像データCr2、Cr4〜Cr6から第2撮像条件が適用された画像データCr2およびCr6を選択する。その後、画像処理部33(生成部33c)が、選択された画像データを参照して注目位置(2行目3列目)における色差成分の画像データCrを算出する。画像処理部33(生成部33c)は、例えば(g2Cr2+h2Cr6)/2を、注目位置(2行目3列目)における色差成分Crの画像データとする。なお、g2、h2は、参照位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。

0078

画像処理部33(生成部33c)は、各画素位置において色差成分Crの画像データを得たのち、各画素位置に対応させて図8(c)に示すG色成分の画像データを加算することにより、各画素位置においてR色成分の画像データを得ることができる。

0079

<B色補間>
図10(a)は、図8(a)からB色成分の画像データを抽出した図である。画像処理部33(生成部33c)は、図8(c)に示すG色成分の画像データと図10(a)に示すB色成分の画像データとに基づいて図10(b)に示す色差成分Cbの画像データを算出する。

0080

まず、一般的な色差成分Cbの補間について説明する。画像処理部33(生成部33c)は、例えば図10(b)の太枠(3行目3列目)で示す注目位置において色差成分Cbの画像データを生成する場合、注目位置(3行目3列目)の近傍に位置する4つの色差成分の画像データCb1〜Cb4を参照する。画像処理部33(生成部33c)は、例えば(uCb1+vCb2+wCb3+xCb4)/4を、注目位置(3行目3列目)における色差成分Cbの画像データとする。なお、u〜xは参照位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。

0081

同様に、画像処理部33(生成部33c)は、例えば、図10(c)の太枠(3行目4列目)で示す注目位置において色差成分Cbの画像データを生成する場合、注目位置(3行目4列目)の近傍に位置する4つの色差成分の画像データCb2、Cb4〜Cb6を参照する。画像処理部33(生成部33c)は、例えば(yCb2+zCb4+αCb5+βCb6)/4を、注目位置(3行目4列目)における色差成分Cbの画像データとする。なお、y、z、α、βは、参照位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。こうして、各画素位置について色差成分Cbの画像データが生成される。

0082

次に、本実施の形態の色差成分Cbの補間について説明する。図10(a)〜図10(c)において、例えば、太線に対して左および上の領域に第1撮像条件が適用されており、太線に対して右および下の領域に第2撮像条件が適用されているものとする。なお、図10(a)〜図10(c)において、第1撮像条件と第2撮像条件は異なる。図10(b)において、太枠(3行目3列目)で示す位置が色差成分Cbの注目位置である。また、図10(b)中の色差成分の画像データCb1〜Cb4が注目位置(3行目3列目)の画素を画像処理するための参照位置である。図10(b)において、注目位置(3行目3列目)には第2撮像条件が適用されている。参照位置のうち、画像データCb1、Cb3には第1撮像条件が適用されている。また、参照位置のうち、画像データCb2、Cb4には第2撮像条件が適用されている。そのため、画像処理部33(選択部33b)は、色差成分Cbの画像データCb1〜Cb4から第2撮像条件が適用された画像データCb2およびCb4を選択する。その後、画像処理部33(生成部33c)が、選択された画像データを参照して注目位置(3行目3列目)における色差成分の画像データCbを算出する。画像処理部33(生成部33c)は、例えば(v1Cb2+x1Cb4)/2を、注目位置(3行目3列目)における色差成分Cbの画像データとする。なお、v1、x1は、参照位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。

0083

図10(c)において太枠で示す注目位置(3行目4列目)について、色差成分の画像データCbを生成する場合も同様である。
図10(c)において、太枠(3行目4列目)で示す位置が色差成分Cbの注目位置である。また、図10(c)中の色差成分の画像データCb2、Cb4〜Cb6が注目位置(3行目4列目)の画素を画像処理するための参照位置である。図10(c)において、注目位置(3行目4列目)には第2撮像条件が適用されている。また、全ての参照位置の画像データCb2、Cb4〜Cb6に第2撮像条件が適用されている。そのため、画像処理部33(生成部33c)は、注目位置(3行目4列目)の近傍に位置する4つの色差成分の画像データCb2、Cb4〜Cb6を参照して注目位置(3行目4列目)における色差成分Cbの画像データを算出する。

0084

画像処理部33(生成部33c)は、各画素位置において色差成分Cbの画像データを得たのち、各画素位置に対応させて図8(c)に示すG色成分の画像データを加算することにより、各画素位置においてB色成分の画像データを得ることができる。

0085

(3)輪郭強調処理
輪郭強調処理の一例を説明する。画像処理部33(生成部33c)は、例えば、1フレームの画像において、注目画素P(処理対象画素)を中心とする所定サイズのカーネルを用いた公知の線形フィルタ(Linear filter)演算を行う。線型フィルタの一例である尖鋭化フィルタのカーネルサイズがN×N画素の場合、注目画素Pの位置が注目位置であり、注目画素Pを囲む(N2−1)個の参照画素の位置が参照位置である。
なお、カーネルサイズはN×M画素であってもよい。

0086

画像処理部33(生成部33c)は、注目画素Pにおける画像データを線型フィルタ演算結果で置き換えるフィルタ処理を、例えばフレーム画像の上部の水平ラインから下部の水平ラインへ向けて、各水平ライン上で注目画素を左から右へずらしながら行う。

0087

本実施の形態において、画像処理部33(選択部33b)は、注目画素Pに適用された第1撮像条件と異なる第2撮像条件が適用された画素が上記参照画素に含まれる場合に、参照画素における画像データから第1撮像条件が適用された画像データを選択する。その後、画像処理部33(生成部33c)が、選択された画像データを参照して上述した線型フィルタ処理を行う。

0088

(4)ノイズ低減処理
ノイズ低減処理の一例を説明する。画像処理部33(生成部33c)は、例えば、1フレームの画像において、注目画素P(処理対象画素)を中心とする所定サイズのカーネルを用いた公知の線形フィルタ(Linear filter)演算を行う。線型フィルタの一例である平滑化フィルタのカーネルサイズがN×N画素の場合、注目画素Pの位置が注目位置であり、注目画素Pを囲む(N2−1)個の参照画素の位置が参照位置である。
なお、カーネルサイズはN×M画素であってもよい。

0089

画像処理部33(生成部33c)は、注目画素Pにおける画像データを線型フィルタ演算結果で置き換えるフィルタ処理を、例えばフレーム画像の上部の水平ラインから下部の水平ラインへ向けて、各水平ライン上で注目画素を左から右へずらしながら行う。

0090

本実施の形態において、画像処理部33(選択部33b)は、注目画素Pに適用された第1撮像条件と異なる第2撮像条件が適用された画素が上記参照画素に含まれる場合に、参照画素における画像データから第1撮像条件が適用された画像データを選択する。その後、画像処理部33(生成部33c)が、選択された画像データを参照して上述した線型フィルタ処理を行う。
上記のように画像処理部33(選択部33b)は、注目画素Pに適用された第1撮像条件と異なる第2撮像条件が適用された画素が上記参照画素に含まれる場合に、参照画素における画像データから第1撮像条件が適用された画像データを選択する。そして、その後、画像処理部33(生成部33c)が、選択された画像データを参照して画素欠陥補正処理、色補間処理、輪郭強調処理、ノイズ低減処理等の画像処理を行う。画像処理部33(選択部33b)は、撮像素子から出力された他の画素からの画像データ(第2撮像条件が適用された画像データも含む)に対しても同様の処理をして画像を生成する。生成された画像は、表示装置などの表示部に表示される。

0091

2.焦点検出処理を行う場合
制御部34(AF演算部34d)は、撮像画面の所定の位置(焦点検出位置)に対応する画像データを用いて焦点検出処理を行う。制御部34(AF演算部34d)は、分割した領域間で異なる撮像条件が設定されており、AF動作の焦点検出位置が分割された領域の境界部分に位置する場合、領域の境界付近に位置する焦点検出用の画像データに対し、焦点検出処理の前処理としてデータ選択処理を行う。

0092

データ選択処理は、設定部34bが分割した撮像画面の領域間で撮像条件が異なることに起因して、焦点検出処理の精度が低下することを抑制するために行う。例えば、画像において像ズレ量位相差)を検出する焦点検出位置の焦点検出用の画像データが、分割した領域の境界付近に位置する場合、焦点検出用の画像データの中に異なる撮像条件が適用された画像データが混在する場合がある。本実施の形態では、異なる撮像条件が適用された画像データをそのまま用いて像ズレ量(位相差)の検出を行うよりも、同じ撮像条件が適用された画像データを用いて像ズレ量(位相差)の検出を行う方が好ましいという考え方に基づき、以下のようにデータ選択処理を行う。

0093

<焦点検出処理の例示>
データ選択処理を伴う焦点検出処理について例示する。本実施の形態のAF動作は、例えば、複数の焦点検出位置の中からユーザーが選んだ焦点検出位置に対応する被写体にフォーカスを合わせる。制御部34(AF演算部34d)は、撮像光学系31の異なる瞳領域を通過した光束による複数の被写体像の像ズレ量(位相差)を検出することにより、撮像光学系31のデフォーカス量を算出する。制御部34(AF演算部34d)は、デフォーカス量をゼロ(許容値以下)にする位置、すなわち合焦位置へ、撮像光学系31のフォーカスレンズを移動させる。

0094

図11は、撮像素子32aの撮像面における焦点検出用画素の位置を例示する図である。本実施の形態では、撮像チップ111のX軸方向(水平方向)に沿って離散的に焦点検出用画素が並べて設けられている。図11の例では、15本の焦点検出画素ライン160が所定の間隔で設けられる。焦点検出画素ライン160を構成する焦点検出用画素は、焦点検出用の光電変換信号を出力する。撮像チップ111において焦点検出画素ライン160以外の画素位置には通常の撮像用画素が設けられている。撮像用画素は、ライブビュー画像や記録用の光電変換信号を出力する。

0095

図12は、図11に示す焦点検出位置80Aに対応する上記焦点検出画素ライン160の一部の領域を拡大した図である。図12において、赤色画素R、緑色画素G(Gb、Gr)、および青色画素Bと、焦点検出用画素S1、および焦点検出用画素S2とが例示される。赤色画素R、緑色画素G(Gb、Gr)、および青色画素Bは、上述したベイヤー配列の規則にしたがって配される。

0096

赤色画素R、緑色画素G(Gb、Gr)、および青色画素Bについて例示した正方形状の領域は、撮像用画素の受光領域を示す。各撮像用画素は、撮像光学系31(図1)の射出瞳を通る光束を受光する。すなわち、赤色画素R、緑色画素G(Gb、Gr)、および青色画素Bはそれぞれ正方形状のマスク開口部を有し、これらのマスク開口部を通った光が撮像用画素の受光部に到達する。

0097

なお、赤色画素R、緑色画素G(Gb、Gr)、および青色画素Bの受光領域(マスク開口部)の形状は四角形に限定されず、例えば円形であってもよい。

0098

焦点検出用画素S1、および焦点検出用画素S2について例示した半円形状の領域は、焦点検出用画素の受光領域を示す。すなわち、焦点検出用画素S1は、図12において画素位置の左側に半円形状のマスク開口部を有し、このマスク開口部を通った光が焦点検出用画素S1の受光部に到達する。一方、焦点検出用画素S2は、図12において画素位置の右側に半円形状のマスク開口部を有し、このマスク開口部を通った光が焦点検出用画素S2の受光部に到達する。このように、焦点検出用画素S1および焦点検出用画素S2は、撮像光学系31(図1)の射出瞳の異なる領域を通る一対の光束をそれぞれ受光する。

0099

なお、撮像チップ111における焦点検出画素ライン160の位置は、図11に例示した位置に限定されない。また、焦点検出画素ライン160の数についても、図11の例に限定されるものではない。さらに、焦点検出用画素S1および焦点検出用画素S2におけるマスク開口部の形状は半円形に限定されず、例えば撮像用画素R、撮像用画素G、撮像用画素Bにおける四角形状受光領域(マスク開口部)を横方向に分割した長方形状としてもよい。

0100

また、撮像チップ111における焦点検出画素ライン160は、撮像チップ111のY軸方向(鉛直方向)に沿って焦点検出用画素を並べて設けたものであってもよい。図12のように撮像用画素と焦点検出用画素とを二次元状に配列した撮像素子は公知であり、これらの画素の詳細な図示および説明は省略する。

0101

なお、図12の例では、焦点検出用画素S1、S2がそれぞれ焦点検出用の一対の光束のうちの一方を受光する構成を説明した。この代わりに、焦点検出用画素がそれぞれ焦点検出用の一対の光束の双方を受光する構成にしてもよい。焦点検出用画素がそれぞれ焦点検出用の一対の光束の双方を受光する構成にすることにより、焦点検出用画素で得られた光電変換信号を記録用の光電変換信号として用いることが可能になる。

0102

制御部34(AF演算部34d)は、焦点検出用画素S1および焦点検出用画素S2から出力される焦点検出用の光電変換信号(信号データ)に基づいて、撮像光学系31(図1)の異なる領域を通る一対の光束による一対の像の像ズレ量(位相差)を検出する。そして、像ズレ量(位相差)に基づいてデフォーカス量を演算する。このような瞳分割位相差方式によるデフォーカス量演算は、カメラの分野において公知であるので詳細な説明は省略する。

0103

焦点検出位置80A(図11)は、図7(a)に例示したライブビュー画像60aにおいて、領域61の境界付近の領域80に対応する位置に、ユーザーによって選ばれているものとする。図13は、焦点検出位置80Aを拡大した図である。白地の画素は第1撮像条件が設定されていることを示し、網掛けの画素は第2撮像条件が設定されていることを示す。図13において枠170で囲む位置は、焦点検出画素ライン160(図11)に対応する。

0104

制御部34(AF演算部34d)は、通常、データ選択処理を行わずに枠170で示す焦点検出用画素の焦点検出用の信号データをそのまま用いて焦点検出処理を行う。しかしながら、枠170で囲む焦点検出用の信号データに、第1撮像条件が適用された焦点検出用の信号データと第2撮像条件が適用された焦点検出用の信号データが混在する場合には、制御部34(AF演算部34d)が、以下の(例1)〜(例3)のように、枠170で囲む焦点検出用の信号データから焦点検出処理に用いる第1撮像条件の焦点検出用の信号データを選択する。そして、制御部34(AF演算部34d)は、データ選択処理後の焦点検出用の信号データを用いて焦点検出処理を行う。図13において、白地で示す画素から出力されるデータは第1撮像条件の焦点検出用の信号データであり、斜線で示す画素から出力されるデータは第2撮像条件の焦点検出用の信号データである。本実施の形態では、第2撮像条件の焦点検出用の信号データを選択しないことにより、斜線で示す画素から出力された焦点検出用の信号データを焦点検出処理に用いない。

0105

(例1)
制御部34(AF演算部34d)は、例えば、第1撮像条件と第2撮像条件との間でISO感度のみが異なり、第1撮像条件のISO感度が100で、第2撮像条件のISO感度が800の場合、枠170で囲む画像データから焦点検出処理に用いる第1撮像条件の焦点検出用の信号データを選択する。つまり、枠170で囲む焦点検出用の信号データのうちの、第1撮像条件と異なる第2撮像条件の焦点検出用の信号データを焦点検出処理に用いない。

0106

(例2)
制御部34(AF演算部34d)は、例えば、第1撮像条件と第2撮像条件との間でシャッター速度のみが異なり、第1撮像条件のシャッター速度が1/1000秒で、第2撮像条件のシャッター速度が1/100秒の場合、枠170で囲む焦点検出用の信号データから焦点検出処理に用いる第1撮像条件の焦点検出用の信号データを選択する。つまり、枠170で囲む焦点検出用の信号データのうちの、第1撮像条件と異なる第2撮像条件の焦点検出用の信号データを焦点検出処理に用いない。

0107

(例3)
制御部34(AF演算部34d)は、例えば、第1撮像条件と第2撮像条件との間でフレームレートのみが異なり(電荷蓄積時間は同じ)、第1撮像条件のフレームレートが30fpsで、第2撮像条件のフレームレートが60fpsの場合、枠170で囲む焦点検出用の信号データから焦点検出処理に用いる第1撮像条件の焦点検出用の信号データを選択する。つまり、枠170で囲む焦点検出用の信号データのうちの、第1撮像条件の画像データと異なるタイミングで取得された第2撮像条件の焦点検出用の信号データを焦点検出処理に用いない。

0108

一方、制御部34(AF演算部34d)は、枠170で囲む焦点検出用の信号データにおいて適用された撮像条件が同一である場合には上記データ選択処理を行わない。つまり、制御部34(AF演算部34d)は、枠170で示す焦点検出用画素の焦点検出用の信号データをそのまま用いて焦点検出処理を行う。

0109

なお、上述したように、撮像条件に多少の差違があっても同一の撮像条件とみなす。
また、上記の例では、枠170で囲む焦点検出用の信号データから第1撮像条件の焦点検出用の信号データを選択する例を説明したが、枠170で囲む焦点検出用の信号データのうちの第2撮像条件の焦点検出用の信号データを選択するようにしてもよい。
上記の例では、第1撮像条件が設定されたエリアを指定して焦点検出を行う例のため、第1撮像条件の焦点検出用の光電変換信号を選択する例を説明した。焦点を合わせるべき被写体が、第1撮像条件が設定された領域と第2撮像条件が設定された領域にまたがって位置する場合の一例を説明する。焦点を合わせるべき被写体が、第1撮像条件が設定された領域と第2撮像条件が設定された領域にまたがって位置する場合は、制御部34(AF演算部34d)は、枠170で囲む焦点検出用の光電変換信号から焦点検出処理に用いる第1撮像条件の焦点検出用の光電変換信号を選択する。そして、制御部34(AF演算部34d)は、選択した焦点検出用の光電変換信号から第1デフォーカス量を算出する。さらに、制御部34(AF演算部34d)は、枠170で囲む焦点検出用の光電変換信号から焦点検出処理に用いる第2撮像条件の焦点検出用の光電変換信号を選択する。そして、制御部34(AF演算部34d)は、選択した焦点検出用の光電変換信号から第2デフォーカス量を算出する。そして、制御部34(AF演算部34d)は、第1のデフォーカス量と第2のデフォーカス量を用いて、焦点検出処理を行う。具体的には、例えば、制御部34(AF演算部34d)は、第1のデフォーカス量と、第2のデフォーカス量の平均値を算出し、レンズ移動距離を算出する。また、制御部34(AF演算部34d)は、第1のデフォーカス量と第2のデフォーカス量のうち、よりレンズの移動距離が小さい方の値を選択することとしてもよい。また、制御部34(AF演算部34d)は、第1のデフォーカス量と第2のデフォーカス量から、被写体がより至近側であることを示す値を選択することとしてもよい。
また、焦点を合わせるべき被写体が、第1撮像条件が設定された領域と第2撮像条件が設定された領域にまたがって位置する場合は、制御部34(AF演算部34d)は、被写体領域面積が大きい方の領域を選択し、焦点検出用の光電変換信号を選択することとしてもよい。たとえば、焦点を合わせる被写体の顔の面積が、第1撮像条件が設定された領域に70%あり、第2領域に30パーセントの場合には、制御部34(AF演算部34d)は、第1撮像条件の焦点検出用の光電変換信号を選択する。なお、上述した面積に比率(パーセント)に関しては例示であり、これに限定されない。

0110

以上の説明では、瞳分割位相差方式を用いた焦点検出処理を例示したが、被写体像のコントラストの大小に基づいて、撮像光学系31のフォーカスレンズを合焦位置へ移動させるコントラスト検出方式の場合も同様に行うことができる。

0111

コントラスト検出方式を用いる場合、制御部34は、撮像光学系31のフォーカスレンズを移動させながら、フォーカスレンズのそれぞれの位置において、焦点検出位置に対応する撮像素子32aの撮像用画素から出力された画像データに基づいて公知の焦点評価値演算を行う。そして、焦点評価値を最大にするフォーカスレンズの位置を合焦位置として求める。

0112

制御部34は、通常、データ選択処理を行わずに焦点検出位置に対応する撮像用画素から出力された画像データをそのまま用いて焦点評価値演算を行う。しかしながら、焦点検出位置に対応する画像データに、第1撮像条件が適用された画像データと第2撮像条件が適用された画像データが混在する場合には、制御部34が、焦点検出位置に対応する画像データのうちの第1撮像条件の画像データ、または第2撮像条件の画像データを選択する。そして、制御部34は、データ選択処理後の画像データを用いて焦点評価値演算を行う。なお、上記のように、焦点を合わせるべき被写体が、第1撮像条件が設定された領域と第2撮像条件が設定された領域にまたがって位置する場合は、制御部34(AF演算部34d)は、被写体領域の面積が大きい方の領域を選択し、焦点検出用の信号データを選択することとしてもよい。

0113

3.被写体検出処理を行う場合
図14(a)は、検出しようとする対象物を表すテンプレート画像180を例示する図であり、図14(b)は、ライブビュー画像60(a)および探索範囲190を例示する図である。制御部34(物体検出部34a)は、ライブビュー画像から対象物(例えば、図5の被写体要素の一つであるバッグ63a)を検出する。制御部34(物体検出部34a)は、対象物を検出する範囲をライブビュー画像60aの全範囲としてもよいが、検出処理を軽くするために、ライブビュー画像60aの一部を探索範囲190としてもよい。

0114

制御部34(物体検出部34a)は、分割した領域間で異なる撮像条件が設定されており、探索範囲190が分割された領域の境界を含む場合、領域の境界付近に位置する画像データに対し、被写体検出処理の前処理としてデータ選択処理を行う。

0115

データ選択処理は、設定部34bが分割した撮像画面の領域間で撮像条件が異なることに起因して、被写体要素の検出処理の精度低下を抑制するために行う。一般に、被写体要素の検出に用いる探索範囲190に、分割された領域の境界を含む場合、探索範囲190の画像データの中に異なる撮像条件が適用された画像データが混在する場合がある。本実施の形態では、異なる撮像条件が適用された画像データをそのまま用いて被写体要素の検出を行うよりも、同じ撮像条件が適用された画像データを用いて被写体要素の検出を行う方が好ましいという考え方に基づき、以下のようにデータ選択処理を行う。

0116

図5に例示したライブビュー画像60aにおいて、人物61aの持ち物であるバッグ63aを検出する場合を説明する。制御部34(物体検出部34a)は、人物61aを含む領域の近傍に探索範囲190を設定する。なお、人物61aを含む領域61を探索範囲に設定してもよい。

0117

制御部34(物体検出部34a)は、探索範囲190が撮像条件の異なる2つの領域によって分断されていない場合には、データ選択処理を行わずに探索範囲190を構成する画像データをそのまま用いて被写体検出処理を行う。しかしながら、仮に、探索範囲190の画像データに、第1撮像条件が適用された画像データと第2撮像条件が適用された画像データが混在する場合には、制御部34(物体検出部34a)は、上述した焦点検出処理を行う場合の(例1)〜(例3)と同様に、探索範囲190の画像データから被写体検出処理に用いる第1撮像条件の画像データを選択する。そして、制御部34(物体検出部34a)は、第1撮像条件の設定された領域に対して、データ選択処理後の画像データを用いて被写体検出処理を行う。ここで被写体検出処理とは、例えば、テンプレート画像180と選択された第1撮像条件の画像データとの類似度を求めて検出を行う処理(いわゆるテンプレートマッチング)である。さらに、制御部34(物体検出部34a)は、探索範囲190の画像データから被写体検出処理に用いる第2撮像条件の画像データを選択する。そして、制御部34(物体検出部34a)は、第2撮像条件の設定された領域に対して、データ選択処理後の画像データを用いて、上記と同様の被写体検出処理を行う。このようにして、制御部34(物体検出部34a)は、探索範囲190内の被写体検出を行う。そして、第1撮像条件の画像データを用いて検出した被写体領域と、第2撮像条件の画像データを用いて検出した被写体領域との境界を合わせることにより、探索範囲190内の被写体検出を検出することができる。なお、上記の例では、制御部34(物体検出部34a)は、第1撮像条件の画像データ及び第2撮像条件の画像データを用いる場合について説明をしたが、いずれか一方のみの画像データを用いて被写体の検出を行うこととしてもよい。たとえば、探索範囲190内に第1撮像条件が設定された領域と、第2撮像条件が設定された領域とが設定されているが、第1撮像条件が設定された領域が多くを占める場合などには第1撮像条件の画像データのみを用いて被写体の検出を行うこととしてもよい。ここで第1撮像条件が設定された領域が多くを占めるとは、例えば、第1撮像条件が設定された領域の面積が7割以上である。また、7割以上に限らず、第1撮像条件が設定された領域の面積が8割以上、あるいは9割以上であってもよい。当然、第1撮像条件が設定された領域の面積の割合についてはこれらに限定されず適宜変更可能である。

0118

上述した探索範囲190の画像データに対するデータ選択処理は、人物の顔のような特定被写体を検出するために用いる探索範囲や、撮像シーンの判定に用いる領域に対して適用してもよい。たとえば、制御部34(物体検出部34a)は、探索範囲190内から人物の顔を検出する場合には、探索範囲190の画像データから被写体検出処理に用いる第1撮像条件の画像データを選択する。そして、制御部34(物体検出部34a)は、第1撮像条件の設定された領域に対して、公知の顔検出処理を行う。さらに、制御部34(物体検出部34a)は、探索範囲190の画像データから被写体検出処理に用いる第2撮像条件の画像データを選択する。そして、制御部34(物体検出部34a)は、第2撮像条件の設定された領域に対して、公知の顔検出処理を行う。そして、制御部34(物体検出部34a)は、第1撮像条件の設定された領域内で検出された顔領域と、第2撮像条件の設定された領域内で検出された顔領域との境界を合わせることにより、探索範囲190の画像データから顔検出を行う。

0119

また、上述した探索範囲190の画像データに対するデータ選択処理は、テンプレート画像を用いたパターンマッチング法に用いる探索範囲に限らず、画像の色やエッジなどに基づく特徴量を検出する際の探索範囲においても同様に適用してよい。

0120

また、取得時刻が異なる複数フレームの画像データを用いて公知のテンプレートマッチング処理を施すことにより、先に取得されたフレーム画像における追尾対象物と類似する領域を後から取得されたフレーム画像から探索する移動体追尾処理に適用してもよい。この場合において、制御部34は、後から取得されたフレーム画像に設定する探索範囲において、第1撮像条件が適用された画像データと第2撮像条件が適用された画像データが混在する場合には、探索範囲の画像データから追尾処理に用いる第1撮像条件の画像データを選択する。そして、第1撮像条件の設定された領域に対して、制御部34は、データ選択処理後の画像データを用いて追尾処理を行う。その後、上記と同様に探索範囲の画像データから追尾処理に用いる第2撮像条件の画像データを選択し、第2撮像条件の設定された領域に対して、制御部34は、データ選択処理後の画像データを用いて追尾処理を行うこととしてもよい。

0121

さらにまた、取得時刻が異なる複数フレームの画像データを用いて公知の動きベクトルを検出する場合も同様である。制御部34は、動きベクトルの検出に用いる検出領域において、第1撮像条件が適用された画像データと第2撮像条件が適用された画像データが混在する場合には、動きベクトルの検出に用いる検出領域の画像データから検出処理に用いる第1撮像条件の画像データを選択する。そして、制御部34は、第1撮像条件の設定された領域に対して、データ選択処理後の画像データを用いて動きベクトルを検出する。その後、上記と同様に、探索範囲の画像データから動きベクトル検出処理に用いる第2撮像条件の画像データを選択し、第2撮像条件の設定された領域に対して、制御部34は、データ選択処理後の画像データを用いて動きベクトル検出処理を行うこととしてもよい。制御部34は、第1撮像条件の設定された領域から検出された動きベクトルと、第2撮像条件の設定された領域から検出された動きベクトルとから、画像全体の動きベクトルを求めることとしてもよいし、領域ごとの動きベクトルとしてもよい。

0122

4.撮像条件を設定する場合
制御部34(設定部34b)は、撮像画面の領域を分割し、分割した領域間で異なる撮像条件を設定した状態で、新たに測光し直して露出条件を決定する場合、領域の境界付近に位置する画像データに対し、露出条件を設定する前処理としてデータ選択処理を行う。

0123

データ選択処理は、設定部34bが分割した撮像画面の領域間で撮像条件が異なることに起因して、露出条件を決定する処理の精度低下を抑制するために行う。例えば、撮像画面の中央部に設定された測光範囲に、分割された領域の境界を含む場合、測光範囲の画像データの中に異なる撮像条件が適用された画像データが混在する場合がある。本実施の形態では、異なる撮像条件が適用された画像データをそのまま用いて露出演算処理を行うよりも、同じ撮像条件が適用された画像データを用いて露出演算処理を行う方が好ましいという考え方に基づき、以下のようにデータ選択処理を行う。

0124

制御部34(設定部34b)は、測光範囲が撮像条件の異なる複数の領域によって分断されていない場合には、データ選択処理を行わずに測光範囲を構成する画像データをそのまま用いて露出演算処理を行う。しかしながら、仮に、測光範囲の画像データに、第1撮像条件が適用された画像データと第2撮像条件が適用された画像データが混在する場合には、制御部34(設定部34b)は、上述した焦点検出処理や被写体検出処理を行う場合の(例1)〜(例3)と同様に、測光範囲の画像データから露出演算処理に用いる第1撮像条件の画像データを選択する。そして、制御部34(設定部34b)は、データ選択処理後の画像データを用いて、第1撮像条件の設定された領域に対する露出演算処理を行う。そして、制御部34(設定部34b)は、測光範囲の画像データから露出演算処理に用いる第2撮像条件の画像データを選択する。そして、制御部34(設定部34b)は、データ選択処理後の画像データを用いて、第2撮像条件の設定された領域に対する露出演算処理を行う。このように、制御部34(設定部34b)は、測光範囲に撮像条件の異なる複数の領域が存在する場合には、それぞれの領域を測光するためのデータ選択処理を行って、データ選択処理の画像データを用いて露出演算処理を行う。
また、測光範囲が、第1撮像条件が設定された領域と第2撮像条件が設定された領域にまたがって位置する場合は、制御部34(設定部34b)は、上述した焦点検出や被写体検出の場合と同様に、面積が大きい方の領域を選択するようにしてもよい。

0125

上述した露出演算処理を行う際の測光範囲に限らず、ホワイトバランス調整値を決定する際に行う測光(測色)範囲や、撮影補助光を発する光源による撮影補助光の発光要否を決定する際に行う測光範囲、さらには、上記光源による撮影補助光の発光量を決定する際に行う測光範囲においても同様である。

0126

また、撮像画面を分割した領域間で、光電変換信号の読み出し解像度を異ならせる場合において、領域ごとの読み出し解像度を決定する際に行う撮像シーンの判定に用いる領域に対しても同様に扱うことができる。

0127

<フローチャートの説明>
図15は、領域ごとに撮像条件を設定して撮像する処理の流れを説明するフローチャートである。カメラ1のメインスイッチがオン操作されると、制御部34は、図15に示す処理を実行するプログラムを起動させる。ステップS10において、制御部34は、表示部35にライブビュー表示を開始させて、ステップS20へ進む。

0128

具体的には、制御部34は、撮像部32から逐次出力される画像データに所定の画像処理を施した画像をライブビュー画像として逐次表示部35に表示させる。上述したように、この時点では撮像チップ111の全域、すなわち画面の全体に同一の撮像条件が設定されている。
なお、ライブビュー表示中にAF動作を行う設定がなされている場合、制御部34(AF演算部34d)は、焦点検出処理を行うことにより、所定の焦点検出位置に対応する被写体要素にフォーカスを合わせるAF動作を制御する。AF演算部34dは、必要に応じて、上記データ選択処理を行ってから焦点検出処理を行う。
また、ライブビュー表示中にAF動作を行う設定がなされていない場合、制御部34(AF演算部34d)は、後にAF動作が指示された時点でAF動作を行う。

0129

ステップS20において、制御部34(物体検出部34a)は、ライブビュー画像から被写体要素を検出してステップS30へ進む。物体検出部34aは、必要に応じて、上記データ選択処理を行ってから被写体検出処理を行う。ステップS30において、制御部34(設定部34b)は、ライブビュー画像の画面を、被写体要素を含む領域に分割してステップS40へ進む。

0130

ステップS40において、制御部34は表示部35に領域の表示を行う。制御部34は、図6に例示したように、分割された領域のうちの撮像条件の設定(変更)の対象となる領域を強調表示させる。また、制御部34は、撮像条件の設定画面70を表示部35に表示させてステップS50へ進む。
なお、制御部34は、ユーザーの指で表示画面上の他の主要被写体の表示位置がタップ操作された場合は、その主要被写体を含む領域を撮像条件の設定(変更)の対象となる領域に変更して強調表示させる。

0131

ステップS50において、制御部34は、AF動作が必要か否かを判定する。制御部34は、例えば、被写体が動いたことによって焦点調節状態が変化した場合や、ユーザー操作によって焦点検出位置の位置が変更された場合、またはユーザー操作によってAF動作の実行が指示された場合に、ステップS50を肯定判定してステップS70へ進む。制御部34は、焦点調節状態が変化せず、ユーザー操作により焦点検出位置の位置が変更されず、ユーザー操作によってAF動作の実行も指示されない場合には、ステップS50を否定判定してステップ60へ進む。

0132

ステップS70において、制御部34は、AF動作を行わせてステップS40へ戻る。AF演算部34dは、必要に応じて、上記データ選択処理を行ってからAF動作である焦点検出処理を行う。ステップS40へ戻った制御部34は、AF動作後に取得されるライブビュー画像に基づき、上述した処理と同様の処理を繰り返す。

0133

ステップS60において、制御部34(設定部34b)は、ユーザー操作に応じて、強調して表示されている領域に対する撮像条件を設定してステップS80へ進む。なお、ステップS60におけるユーザー操作に応じた表示部35の表示遷移や撮像条件の設定については、上述したとおりである。制御部34(設定部34b)は、必要に応じて、上記データ選択処理を行ってから露出演算処理を行う。

0134

ステップS80において、制御部34は、撮像指示の有無を判定する。制御部34は、操作部材36を構成する不図示のレリーズボタン、または撮像を指示する表示アイコンが操作された場合、ステップS80を肯定判定してステップS90へ進む。制御部34は、撮像指示が行われない場合には、ステップS80を否定判定してステップS60へ戻る。

0135

ステップS90において、制御部34は、所定の撮像処理を行う。すなわち、撮像制御部34cが上記領域ごとに設定された撮像条件で撮像するように撮像素子32aを制御してステップS100へ進む。

0136

ステップS100において、制御部34(撮像制御部34c)は画像処理部33へ指示を送り、上記撮像によって得られた画像データに対して所定の画像処理を行わせてステップS110へ進む。画像処理は、上記画素欠陥補正処理、色補間処理、輪郭強調処理、ノイズ低減処理を含む。
なお、画像処理部33(選択部33b)は、必要に応じて、領域の境界付近に位置する画像データに対してデータ選択処理を行ってから画像処理を行う。

0137

ステップS110において、制御部34は記録部37へ指示を送り、画像処理後の画像データを不図示の記録媒体に記録させてステップS120へ進む。

0138

ステップS120において、制御部34は、終了操作が行われたか否かを判断する。制御部34は、終了操作が行われた場合にステップS120を肯定判定して図15による処理を終了する。制御部34は、終了操作が行われない場合には、ステップS120を否定判定してステップS20へ戻る。ステップS20へ戻った場合、制御部34は、上述した処理を繰り返す。

0139

以上の説明では、撮像素子32aとして積層型の撮像素子100を例示したが、撮像素子(撮像チップ111)における複数のブロックごとに撮像条件を設定可能であれば、必ずしも積層型の撮像素子として構成する必要はない。

0140

上述した実施の形態によれば、次の作用効果が得られる。
(1)画像処理装置を備えるカメラ1は、撮像部32の第1領域に入射した被写体像を第1撮像条件で撮像することにより生成された第1画像データと、撮像部32の第2領域に入射した被写体像を第1撮像条件とは異なる第2撮像条件で撮像することにより生成された第2画像データと、を入力する画像処理部33(入力部33a)と、入力部33aに入力された第1画像データおよび第2画像データのうちの一方の画像データを選択する選択部33bと、選択された選択画像データにより生成された画像を表示部35に表示させる画像処理部(生成部33)と、を備える。これにより、撮像条件が異なる領域で、それぞれ適切に処理を行うことができる。すなわち、各領域でそれぞれ生成された画像データによる画像を適切に生成することができる。例えば、領域ごとの撮像条件の違いによって、生成される画像に現れる違和感を抑制できる。

0141

(2)カメラ1の生成部33cは、第1画像データおよび第2画像データを含む画像の各画素の位置において、前記各画素の周辺の所定の参照画素の画像データを用いて画像を生成し、選択部33bは、前記各画素の位置において、前記参照画素の画像データとして第1画像データおよび第2画像データのうちの一方の画像データを選択する。これにより、撮像条件が異なる領域で、それぞれ適切に処理を行うことができる。

0142

(3)カメラ1の選択部33bは、第1画像データおよび第2画像データのうち、前記各画素と共通の撮像条件で撮像することにより生成された画像データを選択する。これにより、撮像条件が異なる領域で、それぞれ適切に処理を行うことができる。

0143

(4)カメラ1の選択部33bはさらに、前記参照画素以外の他画素において、前記各画素と共通の撮像条件で撮像することにより生成された画像データを選択する。これにより、撮像条件が異なる領域で、それぞれ適切に処理を行うことができる。

0144

(5)カメラ1の選択部33bは、画像データの全てが第1画像データである場合は、全ての画像データを選択し、画像データの全てが第2画像データである場合は、全ての画像データを選択し、画像データが第1画像データと第2画像データとを含む場合は、第1画像データまたは第2画像データを選択する。これにより、撮像条件が異なる領域で、それぞれ適切に処理を行うことができる。

0145

(6)カメラ1の第1撮像条件および第2撮像条件は、少なくとも蓄積時間またはISO感度を含むので、電荷蓄積時間、撮像感度が異なる領域で、それぞれ適切に処理を行うことができる。

0146

(7)カメラ1の生成部33cは、少なくとも画素欠陥補正処理、色補間処理、輪郭強調処理、またはノイズ低減処理として第3画像データを生成する。これにより、撮像条件が異なる領域で、それぞれ適切に、画素欠陥補正処理、色補間処理、輪郭強調処理、またはノイズ低減処理を施した画像データを生成できる

0147

(第2の実施の形態)
第1の実施の形態における画像処理を行う場合の画像データ選択処理は、注目画素Pにおいて適用された撮像条件(第1撮像条件とする)と、注目画素Pの周囲の参照画素において適用された撮像条件(第2撮像条件とする)とが異なる場合に、画像処理部33(選択部33b)が、所定範囲90の内側に位置する画素の画像データから、注目画素と共通する第1撮像条件が適用された画像データを選択し、画像処理部33(生成部33c)が、選択された画像データを参照するようにした。

0148

第2の実施の形態では、画像処理部33(選択部33b)が、所定範囲90の外側に位置する画素の画像データからも、注目画素と共通する第1撮像条件が適用された画像データを選択し、画像処理部33(生成部33c)によって参照されるデータ数を増やす。つまり、画像処理部33(選択部33b)は、選択する位置を変更して、第1撮像条件が適用された画像データを選択する。

0149

図7(d)は、第2の実施の形態における注目画素Pおよび参照画素の拡大図である。図7(d)において、注目画素Pを中心とする所定範囲90のうち、白地で示す画素から出力されるデータは第1撮像条件の画像データであり、斜線で示す画素から出力されるデータは第2撮像条件の画像データである。所定範囲90の内側に位置する画素の画像データであっても、第2撮像条件が適用されている画素(斜線)の画像データを、画像処理部33(選択部33b)が選択しない点は、第1の実施の形態と同様である。

0150

第2の実施の形態において、画像処理部33(選択部33b)は、図7(d)に例示するように、所定範囲90の内側に位置して第1撮像条件が適用されている白地の画素の画像データとともに、所定範囲90の外側に位置して第1撮像条件が適用されている白地の画素の画像データをさらに選択する。画像処理部33(生成部33c)は、このように選択された画像データを参照し、画像処理を行う。上記の例では、注目画素Pの位置から、所定範囲90の内側の第2撮像条件の画像データの位置までの距離は、注目画素Pの位置から、所定範囲90の外側に位置して第1撮像条件が適用されている白地の画素の画像データの位置のよりも長くなっている。このように、画像処理部33(生成部33c)は、注目画素Pの位置からの距離が短い第2撮像条件の画像データを選択せず、注目画素Pの位置からの距離が長い第1撮像条件の画像データを選択することもできる。

0151

なお、画像処理部33(選択部33b)は、所定範囲90から離れた位置の画素の画像データよりも、所定範囲90により近い位置の画素の画像データを優先して選択する。この理由は、所定範囲90に近い位置の画素の方が、所定範囲90から遠い位置の画素よりも、注目画素Pと共通の画像情報を有している可能性が高いという考え方に基づく。

0152

また、画像処理部33(選択部33b)は、例えば、所定範囲90の一辺の長さをLとする場合、上記斜線で示す画素からの距離がL以下である白地の画素(すなわち、第1撮像条件が適用されている)の画像データを選択する。この理由は、所定範囲90から離れすぎると注目画素Pと共通の画像情報を有している可能性が低くなるので、参照データに含めない方が好ましいという考え方に基づく。

0153

<画像処理の例示>
第2の実施の形態における画像処理について例示する。
(1)画素欠陥補正処理
画像処理部33(選択部33b)は、注目画素Pと、注目画素Pを中心とする所定範囲90に含まれる画素の全てに同じ撮像条件が適用されている場合、所定範囲90の内側に位置する画素の画像データを全て選択する。その後、選択された画像データを参照して画像処理部33(生成部33c)がMax,Minフィルタ処理を行う。なお、選択した画像データの平均をとって画素欠陥補正処理を行うこととしてもよい。

0154

図7(d)に示したように、画像処理部33(選択部33b)は、撮像時に注目画素Pに適用された第1撮像条件と異なる第2撮像条件が適用された画素が、注目画素Pを中心とする所定範囲90に含まれる場合には、所定範囲90の内側に位置して第1撮像条件が適用された画素の画像データを選択する。さらに、所定範囲90の外側に位置して第1撮像条件が適用されている白地の画素の画像データを選択する。画像処理部33(生成部33c)は、このように選択された画像データを参照して上述したMax,Minフィルタ処理を行う。なお、選択した画像データの平均をとって画素欠陥補正処理を行うこととしてもよい。

0155

画像処理部33は、このような処理を、不揮発性メモリに位置情報が記録されている全ての画素欠陥に対して行う。

0156

(2)色補間処理
<G色補間>
第2の実施の形態のG色補間について説明する。第1の実施の形態の場合と同様に、図8(a)〜図8(c)において、例えば、太線に対して左および上の領域に第1撮像条件が適用されており、太線に対して右および下の領域に第2撮像条件が適用されているものとする。

0157

図8(b)の例において、斜線で示したG色成分の画像データG4に対応する参照位置に、注目位置(2行目2列目)に適用された第1撮像条件と異なる第2撮像条件が適用されている。画像処理部33(選択部33b)は、G色成分の画像データG1〜G4から第1撮像条件が適用された画像データG1〜G3を選択する。さらに、画像処理部33(選択部33b)は、データG4に対応する参照位置の近隣に位置して第1撮像条件が適用されているG色成分の画像データG6を選択する。すなわち、画像処理部33(選択部33b)は、第1の実施の形態に対し、画像データを選択する位置を変更して、第1撮像条件が適用された画像データを選択する。
なお、データG6の位置においても第2撮像条件が適用されていた場合には、データG6の近隣の位置の画像データから第1撮像条件が適用されているデータを選択してもよい。

0158

画像処理部33(生成部33c)は、このように選択された画像データを参照して注目位置(2行目2列目)におけるG色成分の画像データを算出する。画像処理部33(生成部33c)は、例えば(a2G1+b2G2+c2G3+d2G6)/4を、注目位置(2行目2列目)におけるG色成分の画像データとする。なお、a2、b2、c2、およびd2は、参照位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。

0159

画像処理部33(生成部33c)は、図8(a)におけるB色成分の位置およびR色成分の位置においてそれぞれG色成分の画像データを生成することにより、図8(c)に示すように、各画素位置においてG色成分の画像データを得る。

0160

<R色補間>
第2の実施の形態のR色補間について説明する。第1の実施の形態の場合と同様に、図9(a)〜図9(c)において、例えば、太線に対して左および上の領域に第1撮像条件が適用されており、太線に対して右および下の領域に第2撮像条件が適用されているものとする。

0161

画像処理部33(選択部33b)は、図9(b)の例において、斜線で示した色差成分Crの画像データCr2に対応する参照位置に、太枠(2行目2列目)で示す注目位置に適用された第1撮像条件と異なる第2撮像条件が適用されている。そのため、画像処理部33(選択部33b)は、色差成分の画像データCr1〜Cr4から第1撮像条件が適用された画像データCr1、Cr3〜Cr4を選択する。さらに、画像処理部33(選択部33b)は、データCr2に対応する参照位置の近隣に位置して第1撮像条件が適用されている色差成分Crの画像データCr15(またはCr16)を選択する。すなわち、画像処理部33(選択部33b)は、第1の実施の形態に対し、画像データを選択する位置を変更して、第1撮像条件が適用された画像データを選択する。
なお、データCr15またはCr16の位置においても第2撮像条件が適用されていた場合は、データCr15またはCr16の近隣の位置の画像データから第1撮像条件が適用されているデータを選択してもよい。

0162

画像処理部33(生成部33c)は、このように選択された画像データを参照して注目位置(2行目2列目)における色差成分の画像データを算出する。画像処理部33(生成部33c)は、例えば(e3Cr1+f3Cr15+g3Cr3+h3Cr4)/4を、注目位置(2行目2列目)における色差成分Crの画像データとする。なお、e3、f3、g3およびh3は、参照位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。

0163

図9(c)において太枠(2行目3列目)で示す注目位置について色差成分Crの画像データを生成する場合も同様である。図9(c)の例において、斜線で示した色差成分Crの画像データCr4およびCr5に対応する参照位置に、注目位置(2行目3列目)に適用された第2撮像条件と異なる第1撮像条件が適用されている。そのため、画像処理部33(選択部33b)は、色差成分の画像データCr2、Cr4〜Cr6から第2撮像条件が適用された画像データCr2およびCr6を選択する。さらに、画像処理部33(選択部33b)は、データCr4およびCr5に対応する参照位置の近隣に位置して第2撮像条件が適用されている色差成分Crの画像データCr8およびCr7を選択する。すなわち、画像処理部33(選択部33b)は、第1の実施の形態に対し、画像データを選択する位置を変更して、第2撮像条件が適用された画像データを選択する。
なお、仮に、データCr8、Cr7の位置においても第1撮像条件が適用されていた場合には、データCr8およびCr7の近隣の位置の画像データから第2撮像条件が適用されているデータを選択してもよい。

0164

画像処理部33(生成部33c)は、このように選択された画像データを参照して注目位置(2行目3列目)における色差成分Crの画像データを算出する。画像処理部33(生成部33c)は、例えば(q3Cr2+r3Cr8+s3Cr7+t3r6)/4を、注目位置における色差成分Crの画像データとする。なお、q3、r3、s3およびt3は、参照位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。

0165

画像処理部33(生成部33c)は、各画素位置において色差成分Crの画像データを得たのち、各画素位置に対応させて図8(c)に示すG色成分の画像データを加算することにより、各画素位置においてR色成分の画像データを得る。

0166

<B色補間>
第2の実施の形態のB色補間について説明する。第1の実施の形態の場合と同様に、図10(a)〜図10(c)において、例えば、太線に対して左および上の領域に第1撮像条件が適用されており、太線に対して右および下の領域に第2撮像条件が適用されているものとする。

0167

図10(b)の例において、斜線で示した色差成分Cbの画像データCb1およびCb3に対応する参照位置に、太枠(3行目3列目)で示す注目位置に適用された第2撮像条件と異なる第1撮像条件が適用されている。そのため、画像処理部33(選択部33b)は、色差成分の画像データCb1〜Cb4から第2撮像条件が適用された画像データCb2およびCb4を選択する。さらに、画像処理部33(選択部33b)は、データCb1およびCb3に対応する参照位置の近隣に位置して第2撮像条件が適用されている色差成分Cbの画像データCb16およびCb17を選択する。すなわち、画像処理部33(選択部33b)は、第1の実施の形態に対し、画像データを選択する位置を変更して、第2撮像条件が適用された画像データを選択する。

0168

画像処理部33(生成部33c)は、このように選択された画像データを参照して注目位置(3行目3列目)における色差成分の画像データCbを算出する。画像処理部33(生成部33c)は、例えば(u3Cb16+v3Cb2+w3Cb4+x3Cb17)/4を、注目位置(3行目3列目)における色差成分Cbの画像データとする。なお、u3、v3、w3、x3は、参照位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。

0169

図10(c)において太枠で示す注目位置(3行目4列目)について、色差成分の画像データCbを生成する場合も同様である。
なお、図10(c)の例では、注目位置(3行目4列目)の近傍に位置する4つの色差成分の画像データCb2、Cb4〜Cb6に対応する参照位置には、注目位置(3行目4列目)と同じ第2撮像条件が適用されている。画像処理部33(生成部33c)は、注目位置の近傍に位置する4つの色差成分の画像データCb2、Cb4〜Cb6を参照して注目位置における色差成分Cbの画像データを算出する。

0170

画像処理部33(生成部33c)は、各画素位置において色差成分Cbの画像データを得たのち、各画素位置に対応させて図8(c)に示すG色成分の画像データを加算することにより、各画素位置においてB色成分の画像データを得る。

0171

以上説明した第2の実施の形態によれば、第1の実施の形態と同様の作用効果に加えて、以下の作用効果が得られる。すなわち、選択部33bは、参照画素以外の画素であって、画素位置(注目画素の位置)と共通する撮像条件が設定された領域の画素の画像データを選択するようにした。これにより、例えば、生成部33cによる第3画像データの生成のために参照されるデータを増やして、適切に画像処理を行うことができる。

0172

(第1および第2の実施の形態の変形例)
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施の形態と組み合わせることも可能である。
(変形例1)
図16(a)〜図16(c)は、撮像素子32aの撮像面における第1領域および第2領域の配置を例示する図である。図16(a)の例によれば、第1領域は偶数列によって構成され、第2領域は奇数列によって構成される。すなわち、撮像面が偶数列と奇数列とに分割されている。

0173

図16(b)の例によれば、第1領域は奇数行によって構成され、第2領域は偶数行によって構成される。すなわち、撮像面が奇数行と偶数行とに分割されている。

0174

図16(c)の例によれば、第1領域は、奇数列における偶数行のブロックと、偶数列における奇数行のブロックとによって構成される。また、第2領域は、偶数列における偶数行のブロックと、奇数列における奇数行のブロックとによって構成される。すなわち、撮像面が市松模様状に分割されている。

0175

図16(a)〜図16(c)のいずれの場合も、1フレームの撮像を行った撮像素子32aから読み出した光電変換信号によって、第1領域から読み出した光電変換信号に基づく第1画像および第2領域から読み出した光電変換信号に基づく第2画像がそれぞれ生成される。変形例1によれば、第1画像および第2画像は同じ画角で撮像され、共通の被写体像を含む。

0176

変形例1において、制御部34は、第1画像を表示用として用いるとともに、第2画像を検出用として用いる。具体的には、制御部34は、第1画像をライブビュー画像として表示部35に表示させる。また、制御部34は、物体検出部34aによって第2画像を用いて被写体検出処理を行わせ、AF演算部34によって第2画像を用いて焦点検出処理を行わせ、設定部34bによって第2画像を用いて露出演算処理を行わせる。

0177

変形例1においては、第1画像を撮像する第1領域に設定する撮像条件を第1撮像条件と呼び、第2画像を撮像する第2領域に設定する撮像条件を第2撮像条件と呼ぶこととする。制御部34は、第1撮像条件と、第2撮像条件とを異ならせてもよい。

0178

1.一例として、制御部34は、第1撮像条件を、表示部35による表示に適した条件に設定する。第1撮像条件は、撮像画面の第1領域の全体で同一にする。一方、制御部34は、第2撮像条件を、焦点検出処理、被写体検出処理、および露出演算処理に適した条件に設定する。第2撮像条件も、撮像画面の第2領域の全体で同一にする。
なお、焦点検出処理、被写体検出処理、および露出演算処理に適した条件がそれぞれ異なる場合は、制御部34は、第2領域に設定する第2撮像条件をフレームごとに異ならせてもよい。例えば、1フレーム目の第2撮像条件を焦点検出処理に適した条件とし、2フレーム目の第2撮像条件を被写体検出処理に適した条件とし、3フレーム目の第2撮像条件を露出演算処理に適した条件とする。これらの場合において、各フレームにおける第2撮像条件は撮像画面の第2領域の全体で同一にする。

0179

2.他の一例として、制御部34は、第1領域に設定される第1撮像条件を異ならせてもよい。制御部34(設定部34b)は、設定部34bが分割した被写体要素を含む領域ごとに異なる第1撮像条件を設定する。一方、制御部34は、第2撮像条件を撮像画面の第2領域の全体で同一にする。制御部34は、第2撮像条件を、焦点検出処理、被写体検出処理、および露出演算処理に適した条件に設定するが、焦点検出処理、被写体検出処理、および露出演算処理に適した条件がそれぞれ異なる場合は、第2領域に設定する撮像条件をフレームごとに異ならせてもよい。

0180

3.また、他の一例として、制御部34は、第1撮像条件を撮像画面の第1領域の全体で同一とする一方で、第2領域に設定される第2撮像条件を撮像画面において異ならせてもよい。例えば、設定部34bが分割した被写体要素を含む領域ごとに異なる第2撮像条件を設定する。この場合においても、焦点検出処理、被写体検出処理、および露出演算処理に適した条件がそれぞれ異なる場合は、第2領域に設定する撮像条件をフレームごとに異ならせてもよい。

0181

4.さらにまた、他の一例として、制御部34は、第1領域に設定される第1撮像条件を撮像画面において異ならせるとともに、第2領域に設定される第2撮像条件を撮像画面において異ならせる。例えば、設定部34bが分割した被写体要素を含む領域ごとに異なる第1撮像条件を設定しつつ、設定部34bが分割した被写体要素を含む領域ごとに異なる第2撮像条件を設定する。

0182

図16(a)〜図16(c)において、第1領域と第2領域との面積比を異ならせてもよい。制御部34は、例えば、ユーザーによる操作または制御部34の判断に基づき、第1領域の比率を第2領域よりも高く設定したり、第1領域と第2領域の比率を図16(a)〜図16(c)に例示したように同等に設定したり、第1領域の比率を第2領域よりも低く設定したりする。第1領域と第2領域とで面積比を異ならせることにより、第1画像を第2画像に比べて高精細にしたり、第1画像および第2画像の解像度を同等にしたり、第2画像を第1画像に比べて高精細にしたりすることができる。

0183

(変形例2)
上記実施の形態では、制御部34(設定部34b)がライブビュー画像に基づき被写体要素を検出し、ライブビュー画像の画面を、被写体要素を含む領域に分割する例を説明した。変形例2において、制御部34は、撮像素子32aと別に測光用センサを備える場合には、測光用センサからの出力信号に基づき領域を分割してもよい。

0184

制御部34は、測光用センサからの出力信号に基づき、前景背景とに分割する。具体的には、撮像素子32bによって取得されたライブビュー画像を、測光用センサからの出力信号から前景と判断した領域に対応する前景領域と、測光用センサからの出力信号から背景と判断した領域に対応する背景領域とに分割する。

0185

制御部34はさらに、撮像素子32aの撮像面の前景領域に対応する位置に対して、図16(a)〜図16(c)に例示したように、第1領域および第2領域を配置する。一方、制御部34は、撮像素子32aの撮像面の背景領域に対応する位置に対して、撮像素子32aの撮像面に第1領域のみを配置する。制御部34は、第1画像を表示用として用いるとともに、第2画像を検出用として用いる。

0186

変形例2によれば、測光用センサからの出力信号を用いることにより、撮像素子32bによって取得されたライブビュー画像の領域分割を行うことができる。また、前景領域に対しては、表示用の第1画像と検出用の第2画像とを得ることができ、背景領域に対しては、表示用の第1画像のみを得ることができる。

0187

(変形例3)
変形例3では、画像処理部33(生成部33c)が、第1撮像条件と第2撮像条件との差異に基づく画像の不連続性を緩和するように、コントラスト調整処理を行う。すなわち、生成部33cは、階調カーブガンマカーブ)を異ならせることにより、第1撮像条件と第2撮像条件との間の差異に基づく画像の不連続性を緩和する。

0188

例えば、第1撮像条件と第2撮像条件との間でISO感度のみが異なり、第1撮像条件のISO感度が100で、第2撮像条件のISO感度が800の場合を想定する。生成部33cは、階調カーブを寝かせることにより、参照位置の画像データのうちの第2撮像条件の画像データの値を1/8に圧縮する。

0189

あるいは、生成部33cが、階調カーブを立たせることにより、注目位置の画像データ、および参照位置の画像データのうちの第1撮像条件の画像データの値を8倍に伸張させてもよい。

0190

変形例3によれば、上述した実施の形態と同様に、撮像条件が異なる領域でそれぞれ生成された画像データに対し、適切に画像処理を行うことができる。例えば、領域の境界における撮像条件の違いによって、画像処理後の画像に現れる不連続性や違和感を抑制することができる。

0191

(変形例4)
変形例4においては、画像処理部33(生成部33c)が、上述した画像処理(例えば、ノイズ低減処理)において、被写体要素の輪郭を損なわないようにする。一般に、ノイズ低減を行う場合は平滑化フィルタ処理が採用される。平滑化フィルタを用いる場合、ノイズ低減効果の一方で被写体要素の境界がぼける場合がある。

0192

そこで、画像処理部33(生成部33c)は、例えば、ノイズ低減処理に加えて、またはノイズ低減処理とともに、コントラスト調整処理を行うことによって上記被写体要素の境界のぼけを補う。変形例4において、画像処理部33(生成部33c)は、濃度変換階調変換曲線として、Sの字を描くようなカーブを設定する(いわゆるS字変換)。画像処理部33(生成部33c)は、S字変換を用いたコントラスト調整を行うことにより、明るいデータと暗いデータの階調部分をそれぞれ引き伸ばして明るいデータ(および暗いデータ)の階調数をそれぞれ増やすとともに、中間階調の画像データを圧縮して階調数を減らす。これにより、画像の明るさが中程度の画像データの数が減り、明るい/暗いのいずれかに分類されるデータが増える結果として、被写体要素の境界のぼけを補うことができる。

0193

変形例4によれば、画像の明暗をくっきりさせることによって、被写体要素の境界のぼけを補うことができる。

0194

(変形例5)
変形例5においては、画像処理部33(生成部33c)が、第1撮像条件と第2撮像条件との差異に基づく画像の不連続性を緩和するように、ホワイトバランス調整ゲインを変更する。

0195

例えば、注目位置において撮像時に適用された撮像条件(第1撮像条件とする)と、注目位置の周囲の参照位置において撮像時に適用された撮像条件(第2撮像条件とする)とが異なる場合において、画像処理部33(生成部33c)が、参照位置の画像データのうちの第2撮像条件の画像データのホワイトバランスを、第1撮像条件で取得された画像データのホワイトバランスに近づけるように、ホワイトバランス調整ゲインを変更する。

0196

なお、画像処理部33(生成部33c)が、参照位置の画像データのうちの第1撮像条件の画像データと注目位置の画像データのホワイトバランスを、第2撮像条件で取得された画像データのホワイトバランスに近づけるように、ホワイトバランス調整ゲインを変更してもよい。

0197

変形例5によれば、撮像条件が異なる領域でそれぞれ生成された画像データに対し、ホワイトバランス調整ゲインを撮像条件が異なる領域のどちらかの調整ゲインに揃えることによって、第1撮像条件と第2撮像条件との差異に基づく画像の不連続性を緩和することができる。

0198

(変形例6)
画像処理部33を複数備え、画像処理を並列処理してもよい。例えば、撮像部32の領域Aで撮像された画像データに対して画像処理をしながら、撮像部32の領域Bで撮像された画像データに対して画像処理を行う。複数の画像処理部33は、同じ画像処理を行ってもよいし、異なる画像処理を行ってもよい。すなわち、領域Aおよび領域Bの画像データに対して同じパラメータ等を適用して同様の画像処理をしたり、領域Aおよび領域Bの画像データに対して異なるパラメータ等を適用して異なる画像処理をしたりすることができる。

0199

画像処理部33の数を複数備える場合において、第1撮像条件が適用された画像データに対して一つの画像処理部によって画像処理を行い、第2撮像条件が適用された画像データに対して他の画像処理部によって画像処理を行ってもよい。画像処理部の数は上記2つに限られず、例えば、設定され得る撮像条件の数と同数を設けるようにしてもよい。すなわち、異なる撮像条件が適用された領域ごとに、それぞれの画像処理部が画像処理を担当する。変形例6によれば、領域ごとの異なる撮像条件による撮像と、上記領域ごとに得られる画像の画像データに対する画像処理とを並行して進行させることができる。

0200

(変形例7)
上述した説明では、カメラ1を例に説明したが、スマートフォンのようにカメラ機能を備えた高機能携帯電話機250(図14)や、タブレット端末などのモバイル機器によって構成してもよい。

0201

(変形例8)
上述した実施の形態では、撮像部32と制御部34とを単一の電子機器として構成したカメラ1を例に説明した。この代わりに、例えば、撮像部32と制御部34とを分離して設け、制御部34から通信を介して撮像部32を制御する撮像システム1Bを構成してもよい。
以下、図17を参照して撮像部32を備えた撮像装置1001を、制御部34を備えた制御装置1002から制御する例を説明する。

0202

図17は、変形例8に係る撮像システム1Bの構成を例示するブロック図である。図17において、撮像システム1Bは、撮像装置1001と、表示装置1002とによって構成される。撮像装置1001は、上記実施の形態で説明した撮像光学系31と撮像部32とに加えて、第1通信部1003を備える。また、表示装置1002は、上記実施の形態で説明した画像処理部33、制御部34、表示部35、操作部材36、および記録部37に加えて、第2通信部1004を備える。

0203

第1通信部1003および第2通信部1004は、例えば周知の無線通信技術や光通信技術等により、双方向の画像データ通信を行うことができる。
なお、撮像装置1001と表示装置1002とを有線ケーブルにより有線接続し、第1通信部1003および第2通信部1004が双方向の画像データ通信を行う構成にしてもよい。

0204

撮像システム1Bは、制御部34が、第2通信部1004および第1通信部1003を介したデータ通信を行うことにより、撮像部32に対する制御を行う。例えば、撮像装置1001と表示装置1002との間で所定の制御データを送受信することにより、表示装置1002は、上述したように画像に基づいて、画面を複数の領域に分割したり、分割した領域ごとに異なる撮像条件を設定したり、各々の領域で光電変換された光電変換信号を読み出したりする。

0205

変形例8によれば、撮像装置1001側で取得され、表示装置1002へ送信されたライブビュー画像が表示装置1002の表示部35に表示されるので、ユーザーは、撮像装置1001から離れた位置にある表示装置1002から、遠隔操作を行うことができる。
表示装置1002は、例えば、スマートフォンのような高機能携帯電話機250によって構成することができる。また、撮像装置1001は、上述した積層型の撮像素子100を備える電子機器によって構成することができる。
なお、表示装置1002の制御部34に物体検出部34aと、設定部34bと、撮像制御部34cと、AF演算部34dとを設ける例を説明したが、物体検出部34a、設定部34b、撮像制御部34c、およびAF演算部34dの一部について、撮像装置1001に設けるようにしてもよい。

0206

(変形例9)
上述したカメラ1、高機能携帯電話機250、またはタブレット端末などのモバイル機器へのプログラムの供給は、例えば図18に例示するように、プログラムを格納したパーソナルコンピュータ205から赤外線通信近距離無線通信によってモバイル機器へ送信することができる。

0207

パーソナルコンピュータ205に対するプログラムの供給は、プログラムを格納したCD−ROMなどの記録媒体204をパーソナルコンピュータ205にセットして行ってもよいし、ネットワークなどの通信回線201を経由する方法でパーソナルコンピュータ205へローディングしてもよい。通信回線201を経由する場合は、当該通信回線に接続されたサーバー202のストレージ装置203などにプログラムを格納しておく。

0208

また、通信回線201に接続された無線LANアクセスポイント(不図示)を経由して、モバイル機器へプログラムを直接送信することもできる。さらに、プログラムを格納したメモリカードなどの記録媒体204Bをモバイル機器にセットしてもよい。このように、プログラムは記録媒体や通信回線を介する提供など、種々の形態のコンピュータプログラム製品として供給できる。

0209

(第3の実施の形態)
図19〜25を参照して、第3の実施の形態による画像処理装置を搭載する電子機器の一例として、デジタルカメラを例にあげて説明する。以下の説明では、第1または第2の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1または第2の実施の形態と同じである。本実施の形態では、主に、第1の実施の形態の画像処理部33を設ける代わりに、撮像部32Aが第1の実施の形態の画像処理部33と同様の機能を有する画像処理部32cをさらに含む点で、第1の実施の形態と異なる。

0210

図19は、第3の実施の形態によるカメラ1Cの構成を例示するブロック図である。図19において、カメラ1Cは、撮像光学系31と、撮像部32Aと、制御部34と、表示部35と、操作部材36と、記録部37とを有する。撮像部32Aは、第1の実施の形態の画像処理部33と同様の機能を有する画像処理部32cをさらに含む。

0211

画像処理部32cは、入力部321と、選択部322と、生成部323とを含む。入力部321には、撮像素子32aからの画像データが入力される。選択部322は、上記入力された画像データに対して前処理を行う。選択部322が行う前処理は、第1の実施の形態における選択部33bが行う前処理と同じである。生成部323は、上記入力された画像データと前処理後の画像データとに対して画像処理を行い、画像を生成する。生成部323が行う画像処理は、第1の実施の形態における生成部33cが行う画像処理と同じである。

0212

図20は、本実施の形態における各ブロックと、複数の選択部322との対応関係を模式的に示した図である。図20において、矩形で表した撮像チップ111の1つのマスが1つのブロック111aを表している。同様に、矩形で表した後述する画像処理チップ114の1つのマスが1つの選択部322を表している。

0213

本実施の形態では、選択部322は、ブロック111a毎に対応して設けられている。換言すると、選択部322は、撮像面における撮像条件の変更可能な領域の最小単位であるブロック毎にそれぞれ設けられている。たとえば、図20においてハッチングを施したブロック111aと、ハッチングを施した選択部322とは対応関係にある。図20においてハッチングを施した選択部322は、ハッチングを施したブロック111aに含まれる画素からの画像データに前処理を行う。各選択部322は、それぞれ対応するブロック111aに含まれる画素からの画像データに前処理を行う。
これにより、画像データの前処理を複数の選択部322で並列処理できるので、選択部322における処理負担を軽減でき、撮像条件が異なる領域でそれぞれ生成された画像データから適切な画像を短時間で生成することができる。
なお、以下の説明では、あるブロック111aと、当該ブロック111aに含まれる画素との関係について説明する際に、当該ブロック111aのことを、当該画素が属するブロック111aと呼ぶことがある。また、ブロック111aを単位区分と呼ぶことがあり、ブロック111aが複数集まったもの、すなわち単位区分が複数集まったものを複合区分と呼ぶことがある。

0214

図21は、積層型撮像素子100Aの断面図である。積層型撮像素子100Aは、裏面照射型撮像チップ111と、信号処理チップ112と、メモリチップ113とに加えて、上述した前処理および画像処理を行う画像処理チップ114をさらに備える。すなわち、上述した画像処理部32cは、画像処理チップ114に設けられている。
これら撮像チップ111、信号処理チップ112、メモリチップ113および画像処理チップ114は積層されており、Cu等の導電性を有するバンプ109により互いに電気的に接続される。

0215

メモリチップ113および画像処理チップ114の互いに対向する面には、複数のバンプ109が配される。これらのバンプ109が互いに位置合わせされて、メモリチップ113と画像処理チップ114とが加圧等されることにより、位置合わせされたバンプ109同士が接合されて、電気的に接続される。

0216

<データ選択処理>
第1の実施の形態と同様に、第2の実施の形態では、設定部34bにより撮像画面の領域を分割した後は、ユーザーによって選択された領域、または、制御部34が判断した領域に対して撮像条件を設定(変更)することが可能に構成されている。分割した領域において異なる撮像条件を設定した場合、制御部34は、必要に応じて選択部322に以下のデータ選択処理を行わせる。

0217

1.画像処理を行う場合
1−1.注目画素Pの撮像条件と注目画素Pの周囲の複数の参照画素の撮像条件とが同一である場合
この場合、選択部322は、複数の参照画素の画像データをすべて選択して生成部323へ出力する。生成部323は、複数の参照画素の画像データを利用して画像処理を行う。

0218

1−2.注目画素Pの撮像条件と、注目画素Pの周囲の複数の参照画素のうちの少なくとも1つの参照画素の撮像条件とが異なる場合
注目画素Pにおいて適用された撮像条件を第1撮像条件とし、複数の参照画素の一部に適用された撮像条件が第1撮像条件であり、残りの参照画素に適用された撮像条件が第2撮像条件であるとする。
この場合には、第1撮像条件が適用された参照画素が属するブロック111aに対応する選択部322、および第2撮像条件が適用された参照画素が属するブロック111aに対応する選択部322は、参照画素の画像データに対して以下の(例1)〜(例3)のようにデータ選択処理を行う。そして、生成部323は、データ選択処理後の参照画素の画像データを参照して注目画素Pの画像データを算出する画像処理を行う。

0219

(例1)
例えば、第1撮像条件と第2撮像条件との間でISO感度のみが異なり、第1撮像条件のISO感度が100であり、第2撮像条件のISO感度が800であるとする。この場合、第1撮像条件が適用された参照画素が属するブロック111aに対応する選択部322は、第1撮像条件の画像データを選択する。しかし、第2撮像条件が適用された参照画素が属するブロック111aに対応する選択部322は、第2撮像条件の画像データを選択しない。つまり、第1撮像条件と異なる第2撮像条件の画像データを画像処理に用いない。

0220

(例2)
例えば、第1撮像条件と第2撮像条件との間でシャッター速度のみが異なり、第1撮像条件のシャッター速度が1/1000秒であり、第2撮像条件のシャッター速度が1/100秒であるとする。この場合、第1撮像条件が適用された参照画素が属するブロック111aに対応する選択部322は、第1撮像条件の画像データを選択する。しかし、第2撮像条件が適用された参照画素が属するブロック111aに対応する選択部322は、第2撮像条件の画像データを選択しない。つまり、第1撮像条件と異なる第2撮像条件の画像データを画像処理に用いない。

0221

(例3)
例えば、第1撮像条件と第2撮像条件との間でフレームレートのみが異なり(電荷蓄積時間は同じ)、第1撮像条件のフレームレートが30fpsであり、第2撮像条件のフレームレートが60fpsであるとする。この場合、第1撮像条件が適用された参照画素が属するブロック111aに対応する選択部322は、第1撮像条件の画素の画像データを選択する。また、第2撮像条件が適用された参照画素が属するブロック111aに対応する選択部322は、参照画素の画像データのうちの第2撮像条件(60fps)の画像データについて、第1撮像条件(30fps)で取得されたフレーム画像と取得タイミングが近いフレーム画像の画像データを選択する。つまり、参照画素の画像データのうちの、第1撮像条件(30fps)のフレーム画像と取得タイミングが近いフレーム画像の画像データを画像処理に用い、第1撮像条件(30fps)のフレーム画像と取得タイミングが異なるフレーム画像の画像データを画像処理に用いない。

0222

なお、注目画素Pにおいて適用された撮像条件を第2撮像条件とし、注目画素Pの周囲の参照画素において適用された撮像条件を第1撮像条件とした場合も同様である。すなわち、この場合には、第1撮像条件が適用された参照画素が属するブロック111aに対応する選択部322、および第2撮像条件が適用された参照画素が属するブロック111aに対応する選択部322は、参照画素の画像データに対して上述した(例1)〜(例3)のようにデータ選択処理を行う。

0223

なお、上述したように、撮像条件に多少の差違があっても同一の撮像条件ととみなす。

0224

生成部323は、選択部322で選択された参照画素の画像データに基づいて、第1の実施の形態における画像処理部33(生成部33c)と同様に、画素欠陥補正処理、色補間処理、輪郭強調処理、およびノイズ低減処理等の画像処理を行う。

0225

図22は、第1撮像条件が適用された撮像面の一部領域(以下、第1領域141と呼ぶ)に含まれる各画素からの画像データ(以下、第1画像データと呼ぶ)と、第2撮像条件が適用された撮像面の一部領域(以下、第2領域142と呼ぶ)に含まれる各画素からの画像データ(以下、第2画像データと呼ぶ)との処理について、模式的に表した図である。なお、図22は、上記(例1)および(例2)において、注目画素Pにおいて適用された撮像条件が第1撮像条件である場合について説明する図である。

0226

第1領域141に含まれる各画素からは、第1撮像条件で撮像された第1画像データがそれぞれ出力され、第2領域142に含まれる各画素からは、第2撮像条件で撮像された第2画像データがそれぞれ出力される。第1画像データは、処理チップ114に設けられた複数の選択部322のうち、第1画像データを生成した画素が属するブロック111aに対応する選択部322に出力される。以下の説明では、それぞれの第1画像データを生成した画素が属する複数のブロック111aにそれぞれ対応する複数の選択部322を第1選択部151と呼ぶ。
同様に、第2画像データは、処理チップ114に設けられた複数の選択部322のうち、第2画像データを生成した各画素が属するブロック111aに対応する選択部322に出力される。以下の説明では、それぞれの第2画像データを生成した画素が属する複数のブロック111aにそれぞれ対応する複数の選択部322を第2選択部152と呼ぶ。

0227

たとえば、注目画素Pが第1領域141に含まれる場合、第1選択部151は、注目画素Pの画像データおよび第1撮像条件で撮像された参照画素の画像データを選択して生成部323へ出力する。ここで、選択部322は、同じブロックから画像データを選択したが、第1撮像条件で撮像された別のブロックの画像データを用いてもよい。この時、注目画素Pが入力された選択部322と、第1撮像条件で撮像された他のブロックの選択部322とでデータ選択処理に必要な第1撮像条件についての情報181を送受信すればよい。一方、第2選択部152は、第2撮像条件で撮像された参照画素の画像データを選択せず、第2撮像条件で撮像された参照画素の画像データを生成部323へ出力しない。なお、第2選択部152は、データ選択処理に必要な第1撮像条件についての情報181を、たとえば、第1選択部151から受信する。
同様に、たとえば、注目画素Pが第2領域に含まれる場合、第2選択部152は、注目画素Pの画像データおよび第2撮像条件で撮像された参照画素の画像データを選択して生成部323へ出力する。一方、第1選択部151は、第1撮像条件で撮像された参照画素の画像データを選択せず、第1撮像条件で撮像された参照画素の画像データを生成部323へ出力しない。なお、第1選択部151は、データ選択処理に必要な第2撮像条件についての情報を、たとえば、第2選択部152から受信する。

0228

上述した前処理の後、生成部323は、第1選択部151および第2選択部152からの画像データに基づいて、画素欠陥補正処理、色補間処理、輪郭強調処理、およびノイズ低減処理等の画像処理を行い、画像処理後の画像データを出力する。

0229

2.焦点検出処理を行う場合
第1の実施形態と同様に、制御部34(AF演算部34d)は、撮像画面の所定の位置(焦点検出位置)に対応する画像データを用いて焦点検出処理を行う。なお、分割した領域間で異なる撮像条件が設定されており、AF動作の焦点検出位置が分割された領域の境界部分に位置する場合、すなわち焦点検出位置が第1領域と第2領域とで2分されている場合、本実施の形態では、以下の2−2.で説明するように、制御部34(AF演算部34d)は、選択部322に対してデータ選択処理を行わせる。

0230

2−1.図13における枠170内の画素からの画像データに、第1撮像条件が適用された焦点検出用の信号データと第2撮像条件が適用され焦点検出用の信号データが混在しない場合
この場合、選択部322は、枠170内の画素からの焦点検出用の信号データをすべて選択して生成部323へ出力する。制御部34(AF演算部34d)は、枠170で示す焦点検出用画素による焦点検出用の信号データを利用して焦点検出処理を行う。

0231

2−2.図13における枠170内の画素からの焦点検出用の信号データに、第1撮像条件が適用された焦点検出用の信号データと第2撮像条件が適用された焦点検出用の信号データが混在する場合
この場合には、制御部34(AF演算部34d)は、枠170内の画素が属するブロック111aに対応する選択部322に対して以下の(例1)〜(例3)のようにデータ選択処理を行わせる。そして、制御部34(AF演算部34d)は、データ選択処理後の焦点検出用の信号データを用いて焦点検出処理を行う。

0232

(例1)
例えば、第1撮像条件と第2撮像条件との間でISO感度のみが異なり、第1撮像条件のISO感度が100であり、第2撮像条件のISO感度が800であるとする。この場合、第1撮像条件が適用された画素が属するブロック111aに対応する選択部322は、第1撮像条件の焦点検出用の信号データを選択する。そして、第2撮像条件が適用された画素が属するブロック111aに対応する選択部322は、第2撮像条件の焦点検出用の信号データを選択しない。つまり、枠170内の画素からの焦点検出用の信号データのうち、第1撮像条件の焦点検出用の信号データを焦点検出処理に用い、第1撮像条件と異なる第2撮像条件の画像データを焦点検出処理に用いない。

0233

(例2)
例えば、第1撮像条件と第2撮像条件との間でシャッター速度のみが異なり、第1撮像条件のシャッター速度が1/1000秒であり、第2撮像条件のシャッター速度が1/100秒であるとする。この場合、第1撮像条件が適用された画素が属するブロック111aに対応する選択部322は、第1撮像条件の焦点検出用の信号データを選択する。そして、第2撮像条件が適用された画素が属するブロック111aに対応する選択部322は、第2撮像条件の焦点検出用の信号データを選択しない。つまり、枠170内の画素からの焦点検出用の信号データのうち、第1撮像条件の焦点検出用の信号データを焦点検出処理に用い、第1撮像条件と異なる第2撮像条件の焦点検出用の信号データを焦点検出処理に用いない。

0234

(例3)
例えば、第1撮像条件と第2撮像条件との間でフレームレートのみが異なり(電荷蓄積時間は同じ)、第1撮像条件のフレームレートが30fpsであり、第2撮像条件のフレームレートが60fpsであるとする。この場合、第1撮像条件が適用された画素が属するブロック111aに対応する選択部322は、第1撮像条件の画素の焦点検出用の信号データを選択する。また、第2撮像条件が適用された画素が属するブロック111aに対応する選択部322は、第2撮像条件(60fps)の画像データについて、第1撮像条件(30fps)で取得されたフレーム画像と取得タイミングが近いフレーム画像の焦点検出用の信号データを選択する。つまり、第2撮像条件(60fps)の焦点検出用の信号データのうちの、第1撮像条件(30fps)のフレーム画像と取得タイミングが近いフレーム画像の焦点検出用の信号データを焦点検出処理に用い、第1撮像条件(30fps)のフレーム画像と取得タイミングが異なるフレーム画像の焦点検出用の信号データを焦点検出処理に用いない。

0235

なお、上述したように、撮像条件に多少の差違があっても同一の撮像条件とみなす。
また、上記の(例1)および(例2)では、枠170で囲む焦点検出用の信号データから第1撮像条件の焦点検出用の信号データを選択する例を説明したが、枠170で囲む焦点検出用の信号データのうちの第2撮像条件の焦点検出用の信号データを選択するようにしてもよい。
なお、焦点検出位置が第1および第2領域に2分され、第1領域の面積が第2領域の面積よりも大きい場合には、第1撮像条件の画像データを選択し、逆に、第2領域の面積が第1領域の面積よりも大きい場合には、第2撮像条件の画像データを選択することが望ましい。

0236

図23は、焦点検出処理に係る、第1信号データと第2信号データとの処理について模式的に表した図である。なお、図23は、上記(例3)において、枠170で囲む領域から生成された信号データから第1撮像条件の焦点検出用の信号データを選択し、第2撮像条件の焦点検出用の信号データを選択する場合について説明する図である。
第1領域141に含まれる各画素からは、第1撮像条件で撮像された焦点検出用の第1信号データが出力され、第2領域142に含まれる各画素からは、第2撮像条件で撮像された焦点検出用の第2信号データが出力される。第1領域141からの第1信号データは、第1選択部151に出力される。同様に、第2領域142からの第2信号データは、第2選択部152に出力される。
第1処理部151は、第1撮像条件の第1信号データを選択してAF演算部34dへ出力する。第2処理部152は、第2撮像条件の第2信号データを選択してAF演算部34dへ出力する。
上述した前処理の後、AF演算部34dは、第1処理部151からの第1信号データから第1デフォーカス量を算出する。さらに、AF演算部34dは、第1処理部151からの第2信号データから第2デフォーカス量を算出する。そして、AF演算部34dは、第1のデフォーカス量と第2のデフォーカス量を用いて、撮像光学系31のフォーカスレンズを合焦位置へ移動させるための駆動信号を出力する。

0237

なお、上記(例1)および(例2)のように、枠170で囲む領域の信号データから第1撮像条件の焦点検出用の信号データを選択し、第2撮像条件の焦点検出用の信号データを選択しない場合には、第1信号データと第2信号データとについて、次のように処理が行われる。

0238

例えば、第1撮像条件の第1信号データで焦点検出処理を行う場合、第1処理部151は、第1撮像条件の第1信号データを選択して生成部323へ出力する。第2処理部152は、第2撮像条件の第2信号データを選択せず、第2撮像条件で撮像された参照画素の第2信号データを生成部323へ出力しない。なお、第2処理部152は、データ選択処理に必要な第1撮像条件についての情報181を、たとえば、第1処理部151から受信する。

0239

上述した前処理の後、AF演算部34dは、第1処理部151からの第1信号データに基づいて焦点検出処理を行い、その演算結果に基づいて、撮像光学系31のフォーカスレンズを合焦位置へ移動させるための駆動信号を出力する。

0240

ここで、焦点を合わせるべき被写体が、第1撮像条件が設定された領域と第2撮像条件が設定された領域にまたがって位置する場合の一例を説明する。焦点を合わせるべき被写体が、第1撮像条件が設定された領域と第2撮像条件が設定された領域にまたがって位置する場合は、第1撮像条件が適用された画素が属するブロック111aに対応する選択部322は、第1撮像条件の焦点検出用の第1信号データを選択する。さらに、第2撮像条件が適用された画素が属するブロック111aに対応する選択部322は、第2撮像条件の焦点検出用の第2信号データを選択する。そして、制御部34(AF演算部34d)は、選択した焦点検出用の第1信号データから第1デフォーカス量を算出する。さらに、制御部34(AF演算部34d)は、選択した焦点検出用の第2信号データから第2デフォーカス量を算出する。そして、制御部34(AF演算部34d)は、第1のデフォーカス量と第2のデフォーカス量を用いて、焦点検出処理を行う。具体的には、例えば、制御部34(AF演算部34d)は、第1のデフォーカス量と、第2のデフォーカス量の平均算出し、レンズの移動距離を算出する。また、制御部34(AF演算部34d)は、第1のデフォーカス量と第2のデフォーカス量のうち、よりレンズの移動距離が小さい方の値を選択することとしてもよい。また、制御部34(AF演算部34d)は、第1のデフォーカス量と第2のデフォーカス量から、被写体がより至近側であることを示す値を選択することとしてもよい。
また、焦点を合わせるべき被写体が、第1撮像条件が設定された領域と第2撮像条件が設定された領域にまたがって位置する場合は、制御部34(AF演算部34d)は、被写体領域の面積が大きい方の領域を選択し、焦点検出用の光電変換信号を選択することとしてもよい。たとえば、焦点を合わせる被写体の顔の面積が、第1撮像条件が設定された領域に70%あり、第2領域に30パーセントの場合には、制御部34(AF演算部34d)は、第1撮像条件の焦点検出用の光電変換信号を選択する。なお、上述した面積に比率(パーセント)に関しては例示であり、これに限定されない。

0241

3.被写体検出処理を行う場合
分割した領域間で異なる撮像条件が設定されており、探索範囲190が分割された領域の境界を含む場合について説明する。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ