図面 (/)

技術 情報処理装置及び情報処理方法

出願人 キヤノン株式会社
発明者 高尾友美
出願日 2016年12月6日 (4年6ヶ月経過) 出願番号 2016-236710
公開日 2017年6月15日 (4年0ヶ月経過) 公開番号 2017-107204
状態 特許登録済
技術分野 焦点調節 スタジオ装置 カメラ構造、機構 写真撮影方法及び装置 自動焦点調節
主要キーワード ピーク係数 評価方向 Y座標 Y信号 ピーク情報 単位配列 不揮発性領域 算出条件
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年6月15日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (17)

課題

視差画像に対応した距離マップを取得可能な情報処理装置を提供する。

解決手段

第1の瞳領域に対応する撮影光学系の第1の収差情報と、第2の瞳領域に対応する撮影光学系の第2の収差情報と、を取得する収差情報取得手段と、第1の画像信号及び第2の画像信号の少なくとも一方に基づいて第1のデフォーカス情報を算出する算出手段と、第1の収差情報と、第2の収差情報とに基づいて第1のデフォーカス情報を補正して第2のデフォーカス情報を生成する補正手段と、を有する。

概要

背景

撮影光学系の焦点状態を検出する自動焦点検出(Auto Focusing、以下AF表記する)の方式として、コントラストAF方式と位相差AF方式がある。コントラストAF方式及び位相差AF方式は、ビデオカメラデジタルスチルカメラ等の撮像装置に用いられ得る。このような撮像装置では、撮像用撮像素子焦点検出素子としても用いられるものがある。

コントラストAF方式及び位相差AF方式では光学像を利用して焦点検出を行うため、光学像を結像する光学系の収差が焦点検出の結果に誤差を与える場合がある。このような誤差を低減するための方法が提案されている。

特許文献1では、コントラストAF方式により得られる焦点評価値に基づいて、撮影シーンに含まれる被写体距離分布を求め、距離マップを生成する技術が記載されている。特許文献1の手法では、焦点検出領域座標に応じて、撮像レンズの設計上の光学収差製造誤差による焦点検出誤差補正している。

概要

視差画像に対応した距離マップを取得可能な情報処理装置を提供する。第1の瞳領域に対応する撮影光学系の第1の収差情報と、第2の瞳領域に対応する撮影光学系の第2の収差情報と、を取得する収差情報取得手段と、第1の画像信号及び第2の画像信号の少なくとも一方に基づいて第1のデフォーカス情報を算出する算出手段と、第1の収差情報と、第2の収差情報とに基づいて第1のデフォーカス情報を補正して第2のデフォーカス情報を生成する補正手段と、を有する。

目的

本発明は、視差画像に対応した距離マップを取得可能な情報処理装置を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

撮影光学系の第1の瞳領域を通過した光束に基づく第1の画像信号と、前記撮影光学系の前記第1の瞳領域と異なる第2の瞳領域を通過した光束に基づく第2の画像信号と、を取得する画像信号取得手段と、前記第1の瞳領域に対応する前記撮影光学系の第1の収差情報と、前記第2の瞳領域に対応する前記撮影光学系の第2の収差情報と、を取得する収差情報取得手段と、前記第1の画像信号及び前記第2の画像信号の少なくとも一方に基づいて第1のデフォーカス情報を算出する算出手段と、前記第1の収差情報と、前記第2の収差情報とに基づいて前記第1のデフォーカス情報を補正して第2のデフォーカス情報を生成する補正手段と、前記第2のデフォーカス情報に基づいて距離マップを生成する距離マップ生成手段と、を有することを特徴とする情報処理装置

請求項2

前記補正手段は、前記第1の収差情報と前記第2の収差情報に加えて、前記第1のデフォーカス情報を算出するのに用いた画像信号内の領域の位置座標、前記第1のデフォーカス情報を算出するのに用いた光の色及び前記第1のデフォーカス情報を算出するのに用いた信号の空間周波数の少なくとも1つに基づいて前記第1のデフォーカス情報を補正することを特徴とする請求項1に記載の情報処理装置。

請求項3

前記第1の収差情報及び前記第2の収差情報は、前記第1のデフォーカス情報を算出するのに用いた画像信号内の領域の位置座標、前記第1のデフォーカス情報を算出するのに用いた光の色及び前記第1のデフォーカス情報を算出するのに用いた信号の空間周波数の少なくとも1つに依存するMTF(Modulation Transfer Function)についての情報を含むことを特徴とする請求項1又は2に記載の情報処理装置。

請求項4

前記第1の収差情報は、重心が同一の複数の瞳領域に対応した複数の収差情報を有し、前記第2の収差情報は、前記重心が同一の複数の瞳領域に対応した複数の収差情報のうちの1つに基づくことを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。

請求項5

前記第1の収差情報は、重心が同一の複数の瞳領域に対応した複数の収差情報を有し、前記重心が同一の複数の瞳領域に対応した複数の収差情報のうちの1つに基づいて前記第2の収差情報を取得するか否かを、前記第2の瞳領域の重心の座標に基づいて判定する判定手段をさらに有することを特徴とする請求項1乃至4のいずれか1項に記載の情報処理装置。

請求項6

前記第2の瞳領域は前記第1の瞳領域に含まれる領域であることを特徴とする請求項1乃至5のいずれか1項に記載の情報処理装置。

請求項7

前記画像信号取得手段は、前記撮影光学系の異なる瞳領域を通過した光束を受光する複数の光電変換部を有する撮像素子から出力される前記第1の画像信号及び前記第2の画像信号を取得することを特徴とする請求項1乃至6のいずれか1項に記載の情報処理装置。

請求項8

前記第1の瞳領域は、前記複数の光電変換部全体で受光される光束が通過する瞳領域に対応することを特徴とする請求項7に記載の情報処理装置。

請求項9

前記第2のデフォーカス情報の生成は、焦点検出を行う複数の検出領域の各々に対応して複数回行われ、距離マップ生成手段は、複数の前記第2のデフォーカス情報と前記複数の検出領域の座標に基づいて距離マップを生成することを特徴とする請求項1乃至8のいずれか1項に記載の情報処理装置。

請求項10

前記第1のデフォーカス情報は、前記第1の画像信号及び前記第2の画像信号に基づく複数の信号の間の相対的な像ずれ量であることを特徴とする請求項1乃至9のいずれか1項に記載の情報処理装置。

請求項11

前記第1のデフォーカス情報は、デフォーカス値であることを特徴とする請求項1乃至9のいずれか1項に記載の情報処理装置。

請求項12

前記第1のデフォーカス情報は、デフォーカス情報の算出に用いた画像内の領域に対応する被写体が合焦する位置に前記撮影光学系のレンズが動くよう定められた前記レンズの駆動量であることを特徴とする請求項1乃至9のいずれか1項に記載の情報処理装置。

請求項13

前記距離マップは、前記第1の画像信号及び前記第2の画像信号に基づく複数の信号の間の相対的な像ずれ量、デフォーカス値及びレンズの駆動量の少なくとも1つの分布を示すマップであることを特徴とする請求項1乃至12のいずれか1項に記載の情報処理装置。

請求項14

前記算出手段は、前記第1の画像信号及び前記第2の画像信号に基づく複数の信号の間の相対的な像ずれ量を算出することにより前記第1のデフォーカス情報を算出することを特徴とする請求項1乃至13のいずれか1項に記載の情報処理装置。

請求項15

前記算出手段は、前記第1の画像信号又は前記第2の画像信号により形成される画像のコントラストに基づいて前記第1のデフォーカス情報を算出することを特徴とする請求項1乃至14のいずれか1項に記載の情報処理装置。

請求項16

前記第1の画像信号及び前記第2の画像信号に基づいて生成される複数の視差画像から1つ以上の視差画像を選択して表示用又は記録用撮影画像を生成する撮影画像生成手段をさらに有することを特徴とする請求項1乃至15のいずれか1項に記載の情報処理装置。

請求項17

撮影光学系の第1の瞳領域を通過した光束に基づく第1の画像信号と、前記撮影光学系の前記第1の瞳領域と異なる第2の瞳領域を通過した光束に基づく第2の画像信号と、を取得する画像信号取得工程と、前記第1の瞳領域に対応する前記撮影光学系の第1の収差情報と、前記第2の瞳領域に対応する前記撮影光学系の第2の収差情報と、を取得する収差情報取得工程と、前記第1の画像信号及び前記第2の画像信号の少なくとも一方に基づいて第1のデフォーカス情報を算出する算出工程と、前記第1の収差情報と、前記第2の収差情報とに基づいて前記第1のデフォーカス情報を補正して第2のデフォーカス情報を生成する補正工程と、前記第2のデフォーカス情報に基づいて距離マップを生成する距離マップ生成工程と、を有することを特徴とする情報処理方法

請求項18

コンピュータに、撮影光学系の第1の瞳領域を通過した光束に基づく第1の画像信号と、前記撮影光学系の前記第1の瞳領域と異なる第2の瞳領域を通過した光束に基づく第2の画像信号と、を取得する画像信号取得工程と、前記第1の瞳領域に対応する前記撮影光学系の第1の収差情報と、前記第2の瞳領域に対応する前記撮影光学系の第2の収差情報と、を取得する収差情報取得工程と、前記第1の画像信号及び前記第2の画像信号の少なくとも一方に基づいて第1のデフォーカス情報を算出する算出工程と、前記第1の収差情報と、前記第2の収差情報とに基づいて前記第1のデフォーカス情報を補正して第2のデフォーカス情報を生成するデフォーカス値補正工程と、前記第2のデフォーカス情報に基づいて距離マップを生成する距離マップ生成工程と、を実行させることを特徴とするプログラム

技術分野

0001

本発明は、情報処理装置及び情報処理方法に関し、特に、自動焦点検出技術による距離マップ生成技術に関する。

背景技術

0002

撮影光学系の焦点状態を検出する自動焦点検出(Auto Focusing、以下AF表記する)の方式として、コントラストAF方式と位相差AF方式がある。コントラストAF方式及び位相差AF方式は、ビデオカメラデジタルスチルカメラ等の撮像装置に用いられ得る。このような撮像装置では、撮像用撮像素子焦点検出素子としても用いられるものがある。

0003

コントラストAF方式及び位相差AF方式では光学像を利用して焦点検出を行うため、光学像を結像する光学系の収差が焦点検出の結果に誤差を与える場合がある。このような誤差を低減するための方法が提案されている。

0004

特許文献1では、コントラストAF方式により得られる焦点評価値に基づいて、撮影シーンに含まれる被写体距離分布を求め、距離マップを生成する技術が記載されている。特許文献1の手法では、焦点検出領域座標に応じて、撮像レンズの設計上の光学収差製造誤差による焦点検出誤差補正している。

先行技術

0005

特開2014−126858号公報

発明が解決しようとする課題

0006

しかしながら、特許文献1では、視差画像に対応した距離マップの生成方法に関しては触れられていない。

0007

本発明は、視差画像に対応した距離マップを取得可能な情報処理装置を提供することを目的とする。

課題を解決するための手段

0008

本発明の一実施形態によれば、撮影光学系の第1の瞳領域を通過した光束に基づく第1の画像信号と、前記撮影光学系の前記第1の瞳領域と異なる第2の瞳領域を通過した光束に基づく第2の画像信号と、を取得する画像信号取得手段と、前記第1の瞳領域に対応する前記撮影光学系の第1の収差情報と、前記第2の瞳領域に対応する前記撮影光学系の第2の収差情報と、を取得する収差情報取得手段と、前記第1の画像信号及び前記第2の画像信号の少なくとも一方に基づいて第1のデフォーカス情報を算出する算出手段と、前記第1の収差情報と、前記第2の収差情報とに基づいて前記第1のデフォーカス情報を補正して第2のデフォーカス情報を生成する補正手段と、前記第2のデフォーカス情報に基づいて距離マップを生成する距離マップ生成手段と、を有することを特徴とする情報処理装置が提供される。

0009

本発明の他の実施形態によれば、撮影光学系の第1の瞳領域を通過した光束に基づく第1の画像信号と、前記撮影光学系の前記第1の瞳領域と異なる第2の瞳領域を通過した光束に基づく第2の画像信号と、を取得する画像信号取得工程と、前記第1の瞳領域に対応する前記撮影光学系の第1の収差情報と、前記第2の瞳領域に対応する前記撮影光学系の第2の収差情報と、を取得する収差情報取得工程と、前記第1の画像信号及び前記第2の画像信号の少なくとも一方に基づいて第1のデフォーカス情報を算出する算出工程と、前記第1の収差情報と、前記第2の収差情報とに基づいて前記第1のデフォーカス情報を補正して第2のデフォーカス情報を生成する補正工程と、前記第2のデフォーカス情報に基づいて距離マップを生成する距離マップ生成工程と、を有することを特徴とする情報処理方法が提供される。

発明の効果

0010

本発明によれば、視差画像に基づいて焦点検出誤差を補正した距離マップが取得可能な情報処理装置が提供される。

図面の簡単な説明

0011

第1の実施形態に係る距離マップ生成動作を示すフローチャートである。
第1の実施形態に係る情報処理装置の一例であるデジタルカメラブロック図である。
第1の実施形態に係る撮像素子の構成を示す図である。
第1の実施形態に係る撮影光学系の構造を示す図である。
第1の実施形態に係るコントラストAF部の構成を示すブロック図である。
第1の実施形態に係る焦点検出領域の一例を示す図である。
第1の実施形態に係る焦点検出領域の他の例を示す図である。
第1の実施形態に係る距離マップの例を示す図である。
第2の実施形態に係るBP補正情報取得動作を示すフローチャートである。
第2の実施形態に係る撮像素子の構成を示す図である。
第3の実施形態に係るBP補正情報の取得動作を示すフローチャートである。
第1の実施形態に係る撮影光学系のデフォーカスMTFを示すグラフである。
第1の実施形態に係るデフォーカスMTFのピーク位置と空間周波数の関係を示すグラフである。
(a)は、焦点検出情報の例を示す図であり、(b)は、デフォーカスMTFのピーク位置と空間周波数の関係を示すグラフである。
第3の実施形態に係る撮像素子の構成を示す図である。
第1の実施形態に係る視差画像の一例を示す図である。

実施例

0012

以下、図面を参照しながら本発明の例示的な実施形態について説明する。なお、実施形態は発明の理解と説明を容易にするため、具体的かつ特定の構成を有するが、本発明はそのような特定の構成に限定されない。例えば、以下では本発明をレンズ交換可能な一眼レフタイプのデジタルカメラに適用した実施形態について説明するが、本発明は、レンズを交換できないタイプのデジタルカメラ及びビデオカメラに対しても適用可能である。また、本発明は、カメラを備えた任意の電子機器にも適用可能である。カメラを備えた任意の電子機器の例としては、携帯電話機パーソナルコンピュータラップトップ型、タブレット型、デスクトップ型など)、ゲーム機などが挙げられる。

0013

[第1の実施形態]
(情報処理装置の構成の説明−レンズユニット
図2は、第1の実施形態に係る情報処理装置の一例であるデジタルカメラの機能構成例を示すブロック図である。本実施形態のデジタルカメラは、レンズ交換式一眼レフカメラであり、レンズユニット100とカメラ本体120とを有する。レンズユニット100は図中央の点線で示されるマウントMを介して、カメラ本体120に装着される。

0014

レンズユニット100は、光学系(第1レンズ群101、絞り102、第2レンズ群103、フォーカスレンズ群(以下、単に「フォーカスレンズ」という)104)及び、駆動/制御系を有する。このようにレンズユニット100は、フォーカスレンズ104を含み、被写体の光学像を形成する撮影レンズである。なお、レンズユニット100は本実施形態では、制御手段を構成する。第1レンズ群101はレンズユニット100の入光部側の先端に配置される。第1レンズ群101は、光軸方向OAに移動可能に保持される。絞り102は、撮影時の光量を調節する機能、及び静止画撮影時に露出時間を制御するメカニカルシャッタの機能を有する。絞り102及び第2レンズ群103は、一体で光軸方向OAに移動可能であり、第1レンズ群101と連動して移動することによりズーム機能を実現する。フォーカスレンズ104も、光軸方向OAに移動可能である。フォーカスレンズ104の位置に応じて、合焦する被写体距離(合焦距離)が変化する。フォーカスレンズ104の光軸方向OAにおける位置を制御することにより、レンズユニット100の合焦距離を調節する焦点調節が行われる。

0015

駆動/制御系は、ズームアクチュエータ111、絞りシャッタアクチュエータ112、フォーカスアクチュエータ113、ズーム駆動回路114、絞りシャッタ駆動回路115、フォーカス駆動回路116、レンズMPU117、レンズメモリ118を有する。ズーム駆動回路114は、ズームアクチュエータ111を用いて第1レンズ群101及び第2レンズ群103を光軸方向OAに駆動することにより、レンズユニット100の光学系の画角を制御する。絞りシャッタ駆動回路115は、絞りシャッタアクチュエータ112を用いて絞り102を駆動することにより、絞り102の開口径及び開閉を制御する。フォーカス駆動回路116は、フォーカスアクチュエータ113を用いてフォーカスレンズ104を光軸方向OAに駆動することにより、レンズユニット100の光学系の合焦距離を制御する。また、フォーカス駆動回路116は、フォーカスアクチュエータ113を用いてフォーカスレンズ104の現在位置を検出する。

0016

レンズMPU(Micro Processing Unit)117は、レンズユニット100に係る演算、制御を行い、ズーム駆動回路114、絞りシャッタ駆動回路115、フォーカス駆動回路116を制御する。また、レンズMPU117は、マウントMの信号線を通じてカメラMPU125と接続され、コマンド及びデータをカメラMPU125と通信する。例えば、レンズMPU117は、フォーカスレンズ104の現在位置などに関する情報をフォーカス駆動回路116から取得する。レンズMPU117は、カメラMPU125からの要求に応じて、レンズ位置情報をカメラMPU125に通知する。このレンズ位置情報は、フォーカスレンズ104の光軸方向OAにおける位置、光学系が移動していない状態の射出瞳の光軸方向OAにおける位置及び直径、射出瞳の撮影光束を制限するレンズ枠の光軸方向OAにおける位置及び直径などの情報を含む。またレンズMPU117は、カメラMPU125からの要求に応じて、ズーム駆動回路114、絞りシャッタ駆動回路115、フォーカス駆動回路116を制御する。レンズメモリ118には自動焦点検出に必要な光学情報があらかじめ記憶されている。また、レンズメモリ118に、さらにレンズユニット100の動作に必要なプログラムなどが記憶されていてもよい。カメラMPU125は、例えば、内蔵する不揮発性メモリ、あるいはレンズメモリ118に記憶されているプログラムを実行することで、レンズユニット100の動作を制御する。

0017

(情報処理装置の構成の説明−カメラ本体)
カメラ本体120は、光学系(光学ローパスフィルタ121及び撮像素子122)と、駆動/制御系とを有する。レンズユニット100の第1レンズ群101、絞り102、第2レンズ群103及びフォーカスレンズ104並びにカメラ本体120の光学ローパスフィルタ121は撮影光学系を構成する。

0018

光学ローパスフィルタ121は、撮影画像色やモアレを軽減する。撮像素子122はCMOSイメージセンサ周辺回路で構成され、CMOSイメージセンサは、横方向(X方向)にm画素縦方向(Y方向)にn画素(n、mは2以上の整数)が行列状に配置されたエリアセンサを含む。本実施形態の撮像素子122は、瞳分割機能を有し、画像データを用いた位相差AFが可能である。画像処理回路124は、撮像素子122が出力する画像データから、位相差AF用のデータと、表示、記録及びコントラストAF用の画像データとを生成する。

0019

駆動/制御系は、撮像素子駆動回路123、画像処理回路124、カメラMPU125、表示器126、操作スイッチ群127、メモリ128、位相差AF部129及びコントラストAF部130を有する。

0020

撮像素子駆動回路123は、撮像素子122の動作を制御するとともに、取得した画像信号をA/D変換してカメラMPU125に送信する。画像処理回路124は、撮像素子122が取得した画像データに対し、例えば、ガンマ補正ホワイトバランス調整処理色補間処理圧縮符号化処理などの画像処理を行う。また、画像処理回路124は位相差AF用の信号も生成する。

0021

カメラMPU(プロセッサ)125は、カメラ本体120に係る演算、制御を行う。より具体的には、カメラMPU125は、撮像素子駆動回路123、画像処理回路124、表示器126、操作スイッチ群127、メモリ128、位相差AF部129及びコントラストAF部130を制御する。カメラMPU125は、マウントMの信号線を介してレンズMPU117と接続され、レンズMPU117とコマンド及びデータを通信する。カメラMPU125は、レンズMPU117に対し、レンズ位置取得要求、絞り駆動要求、フォーカスレンズ駆動要求、ズーム駆動要求、レンズユニット100に固有の光学情報の取得要求などを行う。カメラMPU125には、カメラ動作を制御するプログラムを格納したROM125a、変数を記憶するRAM125b、種々のパラメータを記憶するEEPROM125cが内蔵されている。

0022

表示器126は、液晶ディスプレイなどから構成され、カメラの撮影モードに関する情報、撮影前のプレビュー画像、撮影後の確認用画像、焦点検出時の合焦状態表示画像などを表示する。操作スイッチ群127は、電源スイッチ、レリーズ撮影トリガ)スイッチ、ズーム操作スイッチ撮影モード選択スイッチなどで構成される。本実施形態の記録手段としてのメモリ128は、例えば着脱可能なフラッシュメモリであり、撮影済み画像を記録する。

0023

位相差AF部129は、画像処理回路124により得られる焦点検出用データを用いて位相差検出方式による焦点検出処理を行う。より具体的には、画像処理回路124は、撮影光学系の一対の瞳領域を通過する撮影光束で形成される一対の像データを焦点検出用データ又は画像用データとして生成する。位相差AF部129は、この一対の像データのずれ量に基づいてデフォーカス値を検出する。このように、本実施形態の位相差AF部129は、専用のAFセンサを用いず、撮像素子122の出力に基づく位相差AF(撮像面位相差AF)を行う。位相差AF部129の動作についての詳細は後述する。

0024

コントラストAF部130は、画像処理回路124が生成するコントラストAF用評価値(画像データのコントラスト情報)に基づいてコントラスト方式の焦点検出処理を行う。コントラスト方式の焦点検出処理においては、フォーカスレンズ104を移動させてコントラストAF用評価値がピークとなる位置が合焦位置として検出される。
このように、本実施形態のデジタルカメラは、位相差AFとコントラストAFの両方を実行可能であり、状況に応じてこれらのいずれか一方を選択的に使用したり、組み合わせて使用したりすることができる。

0025

焦点検出動作の説明:位相差AF)
以下、位相差AF部129及びコントラストAF部130の動作についてさらに説明する。最初に、位相差AF部129の動作について説明する。

0026

図3(a)は本実施形態における撮像素子122の画素配列を示す図である。図3(a)には、2次元CMOSエリアセンサの縦(Y方向)6行と横(X方向)8列の範囲の画素211を、レンズユニット100側から観察した状態が示されている。撮像素子122にはベイヤー配列カラーフィルタが設けられている。奇数行目には、左から順に、緑(G)のカラーフィルタを有する画素211と、赤(R)のカラーフィルタを有する画素211とが交互に配置されている。偶数行目には、左から順に青(B)のカラーフィルタを有する画素211と、緑(G)のカラーフィルタを有する画素211とが交互に配置されている。画素211上には、図中に円で示されているようにオンチップマイクロレンズ211iが設けられている。また、画素211は、図中に矩形で示されているように、上面視においてオンチップマイクロレンズの内側に配置された光電変換部211a、211bを有する。

0027

各画素211はX方向に並ぶ2つの光電変換部211a、211bを有している。換言すると、各画素211はX方向に2分割されている。この構成により、光電変換部211a、211bから出力される画像信号を個別に読み出すことと、2つの画像信号の和を読み出すことが可能である。また、2つの画像信号の和から一方の光電変換部からの画像信号を減じることで、他方の光電変換部からの画像信号に相当する信号を得ることができる。個々の光電変換部からの画像信号は位相差AF用のデータとして用いることができる。また、個々の光電変換部からの画像信号は3D(3−Dimensional)画像を構成する視差画像の生成に用いることもできる。また、画像信号の和は、通常の(表示用又は記録用の)撮影画像データとして用いることができる。

0028

ここで、位相差AFを行う際の画素信号に対する演算について説明する。後述するように、本実施形態においては、図3(a)のオンチップマイクロレンズ211iと、分割された光電変換部211a、211bにより撮影光学系の射出撮影光束を瞳分割する。そして、所定範囲内の複数の画素211について、光電変換部211aの出力を加算して得られた信号をAF用A像、光電変換部211bの出力を加算して得られた信号をAF用B像とする。一例としては、AF用A像及びAF用B像は、カラーフィルタの単位配列に含まれる緑、赤、青、緑の各色の4つの画素211からの信号を加算することで算出された疑似的な輝度(Y)信号を用いる。ただし、赤、青、緑の色ごとに、AF用A像及びAF用B像を生成してもよい。このようにして生成されたAF用A像とAF用B像の間の相対的な像ずれ量相関演算により算出することで、所定領域のデフォーカス値を算出することができる。

0029

本実施形態では、一方の光電変換部からの出力信号と、2つの光電変換部からの出力信号の和に相当する信号との2つの信号が撮像素子122から読み出されるものとする。例えば、光電変換部211aからの第1の出力信号と、光電変換部211a、211bの出力信号の和に相当する第2の出力信号とが読み出される場合、光電変換部211bの出力信号は上述の第2の出力信号から第1の出力信号を減じることで取得され得る。これにより、AF用A像とAF用B像の両方が取得され、位相差AFが実現され得る。

0030

図3(b)は、本実施形態の撮像素子122の読み出し回路の構成例を示す図である。撮像素子122は、水平走査回路151、垂直走査回路153を有する。行方向及び列方向に配列された複数の画素211の境界部には、列方向に並ぶ複数の画素211に沿って水平走査ライン152a、152bが配され、行方向に並ぶ画素211に沿って垂直走査ライン154a、154bが配される。各行の垂直走査ライン154aは、垂直走査回路153と、対応する行の複数の光電変換部211aとを接続する。各行の垂直走査ライン154bは、垂直走査回路153と、対応する行の複数の光電変換部211bとを接続する。各列の水平走査ライン152aは、水平走査回路151と、対応する列の複数の光電変換部211aとを接続する。各列の水平走査ライン152bは、水平走査回路151と、対応する列の複数の光電変換部211bとを接続する。垂直走査回路153は、垂直走査ライン154a、154bを介して、各画素211に制御信号を送信し、信号の読み出し等の制御を行う。水平走査回路151は、水平走査ライン152a、152bを介して、各画素211から信号を読み出す。

0031

なお、本実施形態の撮像素子122は、以下の2種類の読み出しモードでの信号の読み出しが可能である。第1の読み出しモードは、高精細静止画を撮影するための全画素読み出しモードである。全画素読み出しモードでは、撮像素子122に含まれる全ての画素211から信号が読み出される。

0032

第2の読み出しモードは、動画記録、あるいはプレビュー画像の表示のみを行うための間引き読み出しモードである。動画記録、あるいはプレビュー画像の表示の用途では、高精細静止画を撮影する場合と比べて要求される解像度が低い。そのため、これらの用途の場合、撮像素子122に含まれる全画素から信号を読み出す必要がないため、所定比率間引いた一部の画素からのみ信号を読み出す間引き読み出しモードでの動作が行われる。また、上述の用途以外であっても高速に読み出す必要がある場合には、同様に間引き読み出しモードが用いられる。間引きの一例としては、X方向の間引きを行う際には、複数の画素からの信号を加算してS/N比の改善を図り、Y方向の間引きを行う際には、間引かれる行の信号出力を無視するという処理を行うことが可能である。位相差AF及びコントラストAFは、第2の読み出しモードで読み出された信号に基づいて行うことで、高速な処理が可能である。

0033

図4(a)及び図4(b)は、本実施形態における撮影光学系の構造図である。図4(a)及び図4(b)を参照して、撮影光学系の射出瞳面と、像高ゼロすなわち像面中央近傍に配置された撮像素子の光電変換部との共役関係を説明する。撮像素子内の光電変換部211a、211bと撮影光学系の射出瞳面は、オンチップマイクロレンズ211iによって共役関係となるように設計される。撮影光学系の射出瞳面は、一般的に光量調節用の虹彩絞りが置かれる面とほぼ一致する。一方、本実施形態の撮影光学系は変倍機能を有したズームレンズであるが、撮影光学系のタイプによっては変倍操作を行うと、射出瞳の像面からの距離や大きさが変化することがある。図4(a)では、レンズユニット100の焦点距離広角端望遠端の中央にある状態が示されている。この状態における射出瞳面距離Zepを標準値として、オンチップマイクロレンズの形状及び像高(X,Y座標)に応じた偏心パラメータ最適設計がなされる。

0034

図4(a)は、撮影光学系のXZ断面を示している。レンズユニット100に対応する部分として、第1レンズ群101、鏡筒部材101b、開口板102a、絞り羽根102b、フォーカスレンズ104及び鏡筒部材104bが図示されている。鏡筒部材101bは、第1レンズ群101を保持する部材である。開口板102aは絞り開放時の開口径を規定する部材である。絞り羽根102bは絞り込み時の開口径を調節する部材である。鏡筒部材104bは、フォーカスレンズ104を保持する部材である。図2で説明した第2レンズ群103は図4(a)では図示を省略している。

0035

なお、鏡筒部材101b、開口板102a、絞り羽根102b及び鏡筒部材104bは、撮影光学系を通過する光束に対する制限部材として作用する。図4(a)に図示された鏡筒部材101b、開口板102a、絞り羽根102b及び鏡筒部材104bは、像面から観察した場合の光学的な虚像を模式的に示すものであり、必ずしも実際の構造を示すものではない。また、絞り102の近傍における合成開口をレンズの射出瞳と定義し、前述したように像面からの距離をZepとしている。

0036

画素211は像面中央近傍に配置されている。画素211は、最下層より順に、光電変換部211a、211b、配線層211e、211f、211g、カラーフィルタ211h及びオンチップマイクロレンズ211iの各部材を備えている。そして2つの光電変換部211a、211bはオンチップマイクロレンズ211iによって撮影光学系の射出瞳面に投影される。換言すれば、撮影光学系の射出瞳が、オンチップマイクロレンズ211iを介して、光電変換部の表面に投影される。

0037

図4(b)は、撮影光学系の射出瞳面上における、光電変換部211a、211bの投影像を示したものである。図4(b)には、光電変換部211a及び211bに対する投影像が、それぞれ、瞳領域EP1a及びEP1bとして示されている。上述のように、画素211は、2つの光電変換部211a、211bのいずれか一方からの信号と、2つの光電変換部211a、211bからの信号の和とを出力することができる。2つの光電変換部211a、211bからの信号の和は、瞳領域EP1a、EP1bの両方の領域、すなわち、撮影光学系の瞳領域のほぼ全域(瞳領域TL)を通過した光束に基づく信号に対応する。このようにして、本実施形態の光電変換部211aと211bは瞳分割画素を構成する。

0038

図4(a)において、撮影光学系を通過する光束の最外部が線分Lで示されている。図4(a)の配置では、線分Lの位置は、絞り102の開口板102aの端部の位置で決定されている。そのため、図4(a)に示されるように、瞳領域EP1a、EP1bに対応する投影像は撮影光学系によるケラレがほぼ発生していない。図4(b)では、図4(a)の射出瞳面上における光束の最外部がTL(102a)の符号が付された円で示されている。図4(a)に示されるように、円の内部に、光電変換部211a、211bの投影像に対応する瞳領域EP1a、EP1bの大部分が含まれていることからも、ケラレがほぼ発生していないことがわかる。撮影光学系を通過する光束は、絞りの開口板102aでのみ制限されているため、この円は、開口板102aの開口部に相当する。像面中央では各投影像に対応する瞳領域EP1a、EP1bのケラレは光軸に対して対称となる。そのため、各光電変換部211a、211bが受光する光量は等しい。

0039

位相差AFを行う場合、カメラMPU125は、撮像素子122から上述した2種類の出力信号を読み出すように撮像素子駆動回路123を制御する。このとき、カメラMPU125は、画像処理回路124に対して焦点検出領域を示す情報を与える。さらに、カメラMPU125は、焦点検出領域内に含まれる画素211の出力信号から、AF用A像及びAF用B像のデータを生成して位相差AF部129に供給するよう命令する。画像処理回路124は、この命令に従ってAF用A像及びAF用B像のデータを生成して位相差AF部129に出力する。画像処理回路124は、また、コントラストAF部130に対してRAW画像データを供給する。

0040

以上説明したように、撮像素子122は、位相差AF及びコントラストAFを行い得る機能を有している。換言すると、撮像素子122は、位相差AF及びコントラストAFの両方について、焦点検出装置の一部を構成している。

0041

なお、ここでは一例として水平方向(X方向)に射出瞳が2分割されている構成を説明したが、撮像素子122の一部又は全部の画素について垂直方向(Y方向)に射出瞳を2分割する構成としてもよい。また、例えば、画素211に光電変換部を4個配置することにより、水平方向及び垂直方向の両方向に射出瞳を分割される構成としてもよい。このように垂直方向に射出瞳が分割される画素211を設けることにより、水平方向だけでなく垂直方向の被写体のコントラストに対応した位相差AFが可能となる。

0042

(焦点検出動作の説明:コントラストAF)
次に、図5を用いて、コントラストAFについて説明する。コントラストAFは、カメラMPU125とコントラストAF部130が連携してフォーカスレンズ104の駆動と評価値の算出を繰り返し行うことで実現される。

0043

図5は、第1の実施形態に係るコントラストAF部130の構成及びこれと連携するカメラMPU125の構成を示すブロック図である。コントラストAF部130は、AF評価用信号処理部401と、ラインピーク検出部402と、水平積分部403と、ライン最小値検出部404と、垂直ピーク検出部405と、垂直積分部406と、垂直ピーク検出部407とを有する。コントラストAF部130は、さらに、BPF(Band Pass Filter)408と、ラインピーク検出部409と、垂直積分部410と、垂直ピーク検出部411と、減算部412と、領域設定部413とを有する。カメラMPU125はAF制御部451を有する。

0044

画像処理回路124からRAW画像データがコントラストAF部130に入力されると、RAW画像データはまずAF評価用信号処理部401に入力される。AF評価用信号処理部401は、RAW画像データ内のベイヤー配列信号から緑(G)信号を抽出し、低輝度成分を強調して高輝度成分抑圧するガンマ補正処理を行う。本実施形態では、コントラストAFが緑(G)信号を用いて行われる場合を説明するが、他の色の信号を用いてもよく、赤(R)、青(B)、緑(G)の全ての信号を用いてもよい。また、赤(R)、青(B)、緑(G)の全色を用いて輝度(Y)信号を生成してから、輝度(Y)信号を用いてコントラストAFを行ってもよい。以後の説明では、AF評価用信号処理部401で生成される出力信号は、用いられた信号の種類によらず、輝度信号Yと呼ぶ。AF評価用信号処理部401は、輝度信号Yをラインピーク検出部402、水平積分部403、ライン最小値検出部404及びBPF408に出力する。輝度信号Yがこれらの各部に入力されるタイミングは、後述の各評価値を生成すべきタイミングと合致するように制御される。

0045

カメラMPU125は、領域設定部413に焦点検出領域の設定に関する情報を出力する。領域設定部413は、設定された領域内の信号を選択するゲート信号を生成する。ゲート信号は、ラインピーク検出部402、409、水平積分部403、ライン最小値検出部404、垂直積分部406、410及び垂直ピーク検出部405、407、411の各部に入力される。なお、領域設定部413は、焦点検出領域の設定に応じて複数の領域を選択可能である。

0046

ピーク評価値の算出方法について説明する。AF評価用信号処理部401でガンマ補正された輝度信号Yは、ラインピーク検出部402へ入力される。ラインピーク検出部402は、焦点検出領域内で水平ラインごとのYラインピーク値を算出して、垂直ピーク検出部405に出力する。垂直ピーク検出部405は、ラインピーク検出部402から出力されたYラインピーク値に対し焦点検出領域内で垂直方向にピークホールドを行い、Yピーク評価値を生成する。Yピーク評価値は、高輝度被写体及び低輝度被写体の判定に有効な指標である。

0047

積分評価値の算出方法について説明する。AF評価用信号処理部401でガンマ補正された輝度信号Yは、水平積分部403へ入力される。水平積分部403は、焦点検出領域内で水平ラインごとにYの積分値を算出して、垂直積分部406に出力する。垂直積分部406は、水平積分部403で算出された積分値を、焦点検出領域内で垂直方向に積分することにより、Y積分評価値を生成する。Y積分評価値は、焦点検出領域内全体の輝度を判断する指標として用いることができる。

0048

Max−Min評価値の算出方法について説明する。AF評価用信号処理部401でガンマ補正された輝度信号Yは、ライン最小値検出部404に入力される。ライン最小値検出部404は、焦点検出領域内で水平ラインごとにYライン最小値を算出して減算部412に出力する。また、上述のYピーク評価値の算出方法と同様の方法によりラインピーク検出部402で算出されたYラインピーク値も減算部412に入力される。減算部412は、Yラインピーク値からYライン最小値を減算して垂直ピーク検出部407に出力する。垂直ピーク検出部407は、焦点検出領域内で減算部412からの出力に対し垂直方向にピークホールドを行い、Max−Min評価値を生成する。Max−Min評価値は、低コントラスト高コントラストの判定に有効な指標である。

0049

領域ピーク評価値の算出方法について説明する。AF評価用信号処理部401でガンマ補正された輝度信号Yは、BPF408に入力される。BPF408は、輝度信号Yから特定の周波数成分を抽出して焦点信号を生成し、ラインピーク検出部409に出力する。ラインピーク検出部409は、焦点検出領域内で水平ラインごとのラインピーク値を算出して、垂直ピーク検出部411に出力する。垂直ピーク検出部411は、ラインピーク検出部409から出力されたラインピーク値に対し焦点検出領域内でピークホールドを行い、領域ピーク評価値を生成する。領域ピーク評価値は、焦点検出領域内で被写体が移動しても変化が少ないので、合焦状態から再度合焦点探す処理に移行するかどうかを判定する再起動判定に有効な指標である。

0050

ライン積分評価値の算出方法について説明する。領域ピーク評価値の算出方法と同様にして、ラインピーク検出部409は、焦点検出領域内で水平ラインごとのラインピーク値を算出して、垂直積分部410に出力する。垂直積分部410は、ラインピーク検出部409から出力されたラインピーク値に対し焦点検出領域内で垂直方向に全水平走査ライン数について積分して全ライン積分評価値を生成する。全ライン積分評価値は、積分の効果でダイナミックレンジが広く、感度が高いので、焦点検出の処理における主要なAF評価値である。したがって、本実施形態のコントラストAFには主として全ライン積分評価値が用いられる。

0051

カメラMPU125のAF制御部451は、Yピーク評価値、Y積分評価値、Max−Min評価値、領域ピーク評価値及び全ライン積分評価値を取得する。AF制御部451は、レンズMPU117にフォーカスレンズ104を光軸方向に沿って所定方向に所定量移動させる指示を行う。その後、フォーカスレンズ104の移動後に新たに得られた画像データに基づいて再び上述の各評価値を算出する。これを繰り返すことで、全ライン積分評価値が最大値となるフォーカスレンズ位置を検出する。
本実施形態では、各種の評価値の算出に水平ライン方向及び垂直ライン方向の2方向の情報が用いられる。そのため、水平方向及び垂直方向の直交する2方向の被写体のコントラスト情報に対応した焦点検出を行うことができる。

0052

(焦点検出領域及び距離マップ検出領域の説明)
図6(a)及び図6(b)は、撮影範囲220内における焦点検出領域219の一例を示す図である。図6(a)は、撮影範囲220内に配置された焦点検出領域219を示す図である。上述したように、位相差AF及びコントラストAFは、いずれも焦点検出領域219に対応する画素211から得られた信号に基づいて行われる。焦点検出領域219は、5行5列の複数の焦点検出領域を含み得る。なお、後述する距離マップ検出領域も焦点検出領域219と同様にして領域の設定が可能である。したがって、距離マップ検出領域に関する説明においても焦点検出領域と共通の符号を用いるものとし、これらに共通する説明は省略又は簡略化することもある。

0053

図6(b)は、焦点検出領域219(1,1)〜219(5,5)を示す。括弧内の引数は、焦点検出領域219内の行番号及び列番号を示している。図6(a)、図6(b)に示した例では、焦点検出領域219(1,1)〜219(5,5)は、5×5=25枠設定されている。しかしながら、焦点検出領域の個数、位置及び大きさは図示したものに限定されない。

0054

(AF処理及び距離マップ生成フローの説明)
次に、図1を参照して、本実施形態のデジタルカメラ及び付属アプリケーションにおいて行われ得るAF処理及び距離マップ生成動作のフローに関して説明する。

0055

図1(a)を用いて、本実施形態のメインフローを説明する。ステップS1において、カメラMPU125は、複数の焦点検出領域において、位相差AF又はコントラストAFを適用してデフォーカス値を求めるAF処理を行う。カメラMPU125は、複数の焦点検出領域のうちの代表座標のデフォーカス値に基づいて被写体の合焦位置にフォーカスレンズ104を移動させる。AF処理の詳細は図1(b)を用いて説明する。

0056

ステップS2において、カメラMPU125は、撮像装置の各要素に、ステップS1で移動したフォーカスレンズ104の位置での撮影画像の撮影及び記録を行わせるための指示を行う。この処理により、視差画像が生成される。視差画像とは、図4(a)及び図4(b)に示された瞳領域EP1a、EP1bを通過し、瞳分割画素の光電変換部211a、211bに入射した光束に基づく画像信号(第2の画像信号)に基づき生成される撮影画像を意味する。また、ステップS2の処理においては、通常の撮影画像(以下、これを視差画像A+Bとする)も生成され得る。この読み出しにおいては、瞳領域TLに対応する画像信号が読み出される。視差画像Aは、瞳領域EP1a(第2の瞳領域)に対応する光電変換部211aに基づく画像信号(第2の画像信号)による画像である。視差画像Bは、瞳領域EP1b(第2の瞳領域)に対応する光電変換部211bに基づく画像信号(第2の画像信号)による画像である。通常の撮影画像は、瞳領域TL(第1の瞳領域)に対応する光電変換部211a、211bに基づく画像信号(第1の画像信号)による画像である。

0057

ステップS2において撮像装置で取得された複数の画像信号(あるいは複数の視差画像)は、メモリ128等のメモリに記録される。これらのデータは、以降のステップにおいて、画像信号取得手段として動作するカメラMPU125により取得され、以降の処理で用いられる。

0058

図16は、視差画像A、視差画像B、視差画像A+Bの一例である。視差画像A、視差画像B、視差画像A+Bは、対応する瞳領域に応じて、視差被写界深度の異なる画像となる。視差画像Aと視差画像Bは、視差により手前にある花501と奥にある家502の重なり方(オクルージョン)が異なっている。視差画像A、Bと視差画像A+Bとの間では、被写界深度が異なっており、特に視差画像A+Bでは奥にある家502にボケが生じている。

0059

ステップS3において、カメラMPU125は、撮影画像生成手段として動作し、ステップS2で得られた複数の視差画像の中から撮影画像として残すものを1つ以上選択することにより撮影画像を生成する。ここでの選択方法は、ユーザーによる指定に基づいて決定されてもよく、アプリケーション内で自動選択されてもよい。一例として、撮影画像を自動選択する場合には、カメラMPU125は、視差画像を解析して、その解析結果から所定の基準により複数生成された視差画像の中から画像を選択する。所定の基準の例としては、最もコントラストの高い画像を選択するという基準、被写体のエッジ検出などにより最もエッジ数の多い(オクル—ジョンが少ない)画像を選択するという基準などが考えられる。ステップS4以降の処理では、ステップS3で撮影画像を一つ選択した場合について説明するが、ステップS3では複数の視差画像を撮影画像として記録してもよい。その場合には、ステップS4での動作が撮影画像の枚数分だけ繰り返し行われる。

0060

ステップS4において、カメラMPU125は、距離マップ生成手段として動作し、距離マップ生成の処理を行う。ステップS4では、ステップS3で選択された撮影画像に対して、距離マップ情報を付帯させて表示、又は記録を行うことで、ユーザーが撮影画像の被写体距離を認識可能となるアプリケーションを提供することができる。撮影画像に対応した距離マップ検出領域ごとにデフォーカス値の算出と、対応する補正値を算出することで、高精度な距離マップの生成が実現される。ステップS4の詳細な動作は、図1(c)を用いて後述する。

0061

以下、上述したAF処理の詳細を、図1(b)に示すフローチャートを用いて説明する。以下のAF処理動作は、他の主体明記されている場合を除き、カメラMPU125が主体となって実行される。また、カメラMPU125がレンズMPU117にコマンドなどを送信することによってレンズユニット100の駆動や制御を行う場合も、説明を簡潔にするために動作主体をカメラMPU125として記載する場合がある。

0062

ステップS11において、カメラMPU125は焦点検出領域219を設定する。ここで設定される焦点検出領域219は、図6(a)、図6(b)に示されるようなあらかじめ設定された領域であってもよく、主被写体検出座標によって決定される領域であってもよい。例えば、図6(a)、図6(b)の例では、焦点検出領域219(2,4)に人物の顔が検出可能である。この人物の顔を主被写体とした場合、219(2,4)を焦点検出領域とすることができる。

0063

ここでは、焦点検出領域に対して、複数の焦点検出領域のうちの代表座標(x1,y1)を設定する。例えば、代表座標(x1,y1)は、例えば、焦点検出領域219に対する重心座標であってもよい。

0064

ステップS12において、ステップS11で設定された焦点検出領域に対して、焦点検出結果としてデフォーカス値DEFを算出する。デフォーカス値DEFは、前述した焦点検出動作によって求められる。また、本動作を行うカメラMPU125は、デフォーカス値算出手段を構成する。

0065

ステップS13では、カメラMPU125は、ステップS12で求められた複数の焦点検出領域のうちの代表座標(x1,y1)のデフォーカス値に基づいて被写体の合焦位置にフォーカスレンズ104を移動させる。

0066

次に、上述した距離マップ生成処理の詳細を、図1(c)に示すフローチャートを用いて説明する。
ステップS21において、カメラMPU125は、距離マップ生成時の複数の距離マップ検出領域219(x,y)を、図6(a)、図6(b)のように設定する。ここで設定される複数の焦点検出領域219(x,y)は、図6(a)のようにあらかじめ設定された領域であってもよく、主被写体の検出座標によって決定される領域であってもよい。例えば、図6(a)、図6(b)の例では、距離マップ検出領域219(2,4)、219(3,4)に主被写体である人が検出可能である。

0067

なお、変形例として、図7(a)、図7(b)に示されるように、主被写体である人が存在する距離マップ検出領域219(2,4)、219(3,4)について、より細かい距離マップ検出領域を設定してもよい。図7(a)、図7(b)では、距離マップ検出領域219(2,4)が、距離マップ検出領域219(2,4,1)、219(2,4,2)、219(2,4,3)、219(2,4,4)に4分割されている。同様に、距離マップ検出領域219(3,4)が、距離マップ検出領域219(3,4,1)、219(3,4,2)、219(3,4,3)、219(3,4,4)に4分割されている。この方法によれば、高精細な距離マップを生成することができる。

0068

ステップS22において、カメラMPU125は、BP補正値の算出に必要なパラメータ(算出条件)を取得する。BP補正値とは、撮影光学系が有する設計上の光学収差及び製造誤差により生じ得る焦点検出誤差を補正するための値である。BP補正値は、フォーカスレンズ104の位置、ズーム状態を示す第1レンズ群101の位置、距離マップ検出領域219の位置座標(x,y)など、撮影光学系及び焦点検出の光学系の変化に伴い変化する。そのため、カメラMPU125は、ステップS2において、例えば、フォーカスレンズ104の位置、ズーム状態を示す第1レンズ群101の位置、各距離マップ検出領域219の位置座標(x,y)などの情報を取得する。

0069

ステップS23において、カメラMPU125は、収差情報取得手段として動作し、BP補正情報を取得する。ここで、BP補正情報とは、光学系の収差状態を表す情報(収差情報)であり、例えば、被写体の色(入射光の色)、方向、空間周波数ごとの撮影光学系の結像位置に関する情報である。

0070

図12及び図13を参照してレンズメモリ118等に格納されている空間周波数に対応するBP補正情報の例を説明する。図12は、撮影光学系のデフォーカスMTF(Modulation Transfer Function)を示すグラフである。横軸は、フォーカスレンズ104の位置を示しており、縦軸はMTFの強度を示している。図12に描かれている4種の曲線(MTF1、MTF2、MTF3、MTF4)は、4種類の空間周波数に対応するデフォーカスMTF曲線である。4つのデフォーカスMTF曲線は、MTF1、MTF2、MTF3、MTF4の順に、空間周波数が低い方から高い方に変化した場合を示している。空間周波数Fq1(lp/mm)のデフォーカスMTF曲線がMTF1と対応し、同様に、空間周波数Fq2、Fq3、Fq4(lp/mm)のデフォーカスMTF曲線がMTF2、MTF3、MTF4とそれぞれ対応する。また、LP4、LP5、LP6、LP7は、各デフォーカスMTF曲線MTF1、MTF2、MTF3、MTF4がそれぞれ極大値になるときのフォーカスレンズ104の位置を示している。なお、図中の空間周波数Nqは撮像素子122の画素ピッチに依存するナイキスト周波数を示す。

0071

図13(a)、図13(b)及び図13(c)に、本実施形態におけるBP補正情報の例を示す。図13(a)は、図12のデフォーカスMTFが極大値となるフォーカスレンズ104の位置(ピーク位置)と空間周波数の関係を示すグラフである。MTF_P_RH1、…、MTF_P_BV1で示される6種類の曲線は、色と方向の組み合わせが異なるものである。添字の(R,G,B)が色(赤,緑,青)を示しており、添字の(H,V)が方向(水平,垂直)を示している。例えば、色が赤で方向が水平の場合に対応するMTF_P_RH1の曲線は、空間周波数fと、画像信号内における距離マップ検出領域219の位置座標(x,y)とを変数とし、rh(n)(nは0から8の整数)を係数とした以下の式で表現される。
MTF_P_RH(f,x,y)
=(rh(0)×x+rh(1)×y+rh(2))×f2
+(rh(3)×x+rh(4)×y+rh(5))×f
+(rh(6)×x+rh(7)×y+rh(8)) (1)

0072

本実施形態において、rh(n)は、BP補正情報として、例えば、レンズユニット100のレンズメモリ118にあらかじめ記憶されるものとする。ステップS23において、カメラMPU125は、レンズMPU117に要求してrh(n)をレンズメモリ118から取得する。しかしながら、rh(n)はRAM125bの不揮発性領域に記憶されていてもよい。この場合、ステップS23において、カメラMPU125は、rh(n)をRAM125bから取得する。

0073

その他の曲線も式(1)と同様の式で表現される。赤と垂直(MTF_P_RV)、緑と水平(MTF_P_GH)、緑と垂直(MTF_P_GV)、青と水平(MTF_P_BH)、青と垂直(MTF_P_BV)の各組み合わせに対応する係数を(rv,gh,gv,bh,bv)とする。これらの係数も同様にレンズメモリ118に記憶されており、及びカメラMPU125の要求により取得される。

0074

本実施形態では、レンズメモリ118には、各瞳領域に対応する複数のBP補正情報が記憶される。上述のように、図4によれば、光電変換部211aに対応する瞳領域はEP1aであり、光電変換部211bに対応する瞳領域はEP1bである。また、光電変換部211a、211bの和に対応する瞳領域はTLである。図13(a)は瞳領域TLのBP補正情報BP_TL(第1の収差情報)に対応する。図13(b)は瞳領域EP1aでのBP補正情報BP_A(第2の収差情報)に対応する。図13(c)は瞳領域EP1bでのBP補正情報BP_B(第2の収差情報)に対応する。

0075

カメラMPU125は、焦点検出時、記録時又は鑑賞時に使用される撮影画像の瞳領域に対応したBP補正情報を選択する。例えば、全射出瞳面を通過した撮影光束を使用し、コントラストAFを行う場合には、焦点検出用のBP補正情報としては、BP補正情報BP_TLが選択される。一方、視差画像Aを得るため、撮影画像として光電変換部211aのみに対応する信号を読み出す場合には、光電変換部211aに対応するBP補正情報BP_Aが選択される。焦点検出時に選択される瞳領域は前述のステップS1で決定され、撮影画像に用いる瞳領域はステップS3の動作で決定されるので、これらのステップにおいて、前述の処理に対応するBP補正情報の選択が行われる。

0076

このように、対応する瞳領域ごとにBP補正情報を保持しておき、焦点検出及び撮影の際に対応する瞳領域に応じて選択的にBP補正情報を用いることで、瞳領域ごとの収差の差を考慮した補正が可能となる。これにより、高精度なBP補正及び距離マップ作成が可能となる。瞳分割数は本実施形態では2つであり、瞳分割の方向は本実施形態では水平方向(X方向)であるが、これに限定されるものではなく、瞳分割の個数、方向は変更し得る。

0077

また、レンズメモリ118に記憶されるBP補正情報の量を低減するために、選択された瞳領域が近い場合、対称性を有する場合には、共通のBP補正情報を用いてもよい。例えば、BP補正情報BP_AとBP補正情報BP_Bは、瞳領域の位置が対称であるため、製造誤差がそれほど大きくない場合には、類似した特性を有する。このような場合には、BP補正情報BP_BをBP補正情報BP_Aで代用してもよい。

0078

本実施形態のようにBP補正情報を関数化し、各項の係数をBP補正情報として記憶させておくことにより、数値データのまま記憶させた場合と比べてレンズメモリ118又はRAM125bに記憶されるデータ量が削減される。また、撮影光学系及び焦点検出光学系の変化に対応することも可能となる。さらに、本実施形態の複数の距離マップ検出領域に対応したBP補正情報を個別に記憶する必要がなく、計算により得ることが可能となる。

0079

ステップS24において、ステップS21で設定された距離マップ検出領域219ごとにステップS25からステップS28までの処理が複数回行われるループ処理に入る。具体的には、図6(a)のように距離マップ検出領域219が、25個設定されている場合には、n=1から25まで25回のループ処理が行われる。

0080

ステップS25において、ステップS21で設定された距離マップ検出領域219のデフォーカス値DEF(n)を算出する。ここで、デフォーカス値算出手段として機能するカメラMPU125は、前述した焦点検出動作と同様の動作によって、デフォーカス値DEF(n)を算出する。

0081

ステップS26において、焦点検出情報取得手段として機能するカメラMPU125は、距離マップ検出領域219の座標を含む、焦点検出に関する焦点検出情報を取得し、設定する。具体的には、図6(a)及び図6(b)の例では、n=1の処理では、距離マップ検出領域219(1,1)の位置座標(x1,y1)が設定される。同様にn=2以降の処理では、他の領域の位置座標が順次設定される。

0082

ステップS26で設定され得るその他の焦点検出情報の例を図14(a)に示す。図14(a)は、焦点検出情報の例として、焦点状態を評価するコントラストの方向(水平,垂直)、色(赤,緑,青)及び空間周波数(Fq1,Fq2,Fq3,Fq4)の各組み合わせに対する、重み付けの大きさを示す情報を表にまとめたものである。ここで設定される重みづけ情報は、あらかじめ設定されている値であってもよく、検出された被写体情報に応じて変更される値としても良いが、焦点検出用と撮影画像用とで、異なる情報を有するように設定する。

0083

ここで、K_AF_H、K_AF_V、K_IMG_H、K_IMG_Vは各方向のBP補正情報に対する係数である。K_AF_R、K_AF_G、K_AF_B、K_IMG_R、K_IMG_G、K_IMG_Bは各色のBP補正情報に対する係数である。K_AF_Fq1〜K_AF_Fq4、K_IMG_Fq1〜K_IMG_Fq4は各周波数のBP補正情報に対する係数である。

0084

重み付けの大きさの具体例を説明する。一例として、コントラストの方向が水平で、緑色の信号を用い、空間周波数Fq1におけるコントラストAFの結果を補正する場合、焦点検出用の設定情報は、以下のように設定される。
K_AF_H=1
K_AF_V=0
K_AF_R=0
K_AF_G=1
K_AF_B=0
K_AF_Fq1=1
K_AF_Fq2=0
K_AF_Fq3=0
K_AF_Fq4=0

0085

このような設定情報により、焦点検出用の信号のデフォーカスMTFのピーク情報は、水平方向で緑色の信号の特性と同じであることを示すことができる。一方、撮影画像用の設定情報は、以下のように設定される。
K_IMG_H=0.5
K_IMG_V=0.5
K_IMG_R=0.25
K_IMG_G=0.5
K_IMG_B=0.25
K_IMG_Fq1=0
K_IMG_Fq2=0
K_IMG_Fq3=1
K_IMG_Fq4=0

0086

このような設定情報により、RGBの信号をY信号相当に変換するための重み付けが行われ、撮影画像はY信号で評価される。また、水平方向及び垂直方向のいずれの方向のコントラストも同等の重みで評価され、焦点検出時とは異なる空間周波数Fq3で評価される。ただし、上述の具体的な設定値は一例であり、これに限られない。また重み付けを設定する設定値の種類も一例であり、これに限らない。

0087

ステップS27において、補正値算出手段として機能するカメラMPU125は、BP補正値を算出する。ここでは、瞳領域TLに対応する光学系の収差情報と、瞳領域TLとは重心が異なる瞳領域の第2収差情報と、色、方向、周波数の重みづけ係数である焦点検出情報とを用いて、BP補正値を算出する例を説明する。

0088

具体的には、まず、式(1)のx、yに距離マップ検出領域219の位置情報(x1、y1)を代入する。この計算により式(1)は、係数Arh、Brh及びCrhを用いて以下の式(2)のような形式で表される。
MTF_P_RH(f)=Arh×f2+Brh×f+Crh (2)

0089

カメラMPU125は、さらに、MTF_P_RV(f)、MTF_P_GH(f)、MTF_P_GV(f)、MTF_P_BH(f)、MTF_P_BV(f)を同様に計算する。

0090

このとき、図13(a)、図13(b)及び図13(c)に示されるように、MTF_P_RH(f)、…、MTF_P_BV(f)の曲線は互いに乖離したものとなる。例えば、撮影光学系の色収差が大きい場合には、色ごとの曲線が乖離する。撮影光学系の縦横方向の収差が大きい場合には、図中の水平方向と垂直方向の曲線が乖離する。このように、本実施形態では、色(R,G,B)と評価方向(H,V)との組み合わせごとに、空間周波数に対応したデフォーカスMTFを得ることができる。

0091

次に、カメラMPU125は、ステップS26で取得した焦点検出情報を構成する係数(図14(a))で、ステップS3で選択された瞳領域のBP補正情報を重み付けする。ここでは、ステップS3で前述したとおり、焦点検出時のBP補正情報をBP_TL、撮像時のBP補正情報をBP_Aとする。これにより、BP補正情報(収差情報)が、焦点検出及び撮像で評価する色、方向に関して重み付けされる。具体的には、カメラMPU125は、焦点検出用の空間周波数特性MTF_P_AF(f)と撮影画像用の空間周波数特性MTF_P_IMG(f)とを、以下の式(3)及び式(4)を用いて算出する。
MTF_P_AF(f)
=K_AF_R×K_AF_H×MTF_P_RH1(f)
+K_AF_R×K_AF_V×MTF_P_RV1(f)
+K_AF_G×K_AF_H×MTF_P_GH1(f)
+K_AF_G×K_AF_V×MTF_P_GV1(f)
+K_AF_B×K_AF_H×MTF_P_BH1(f)
+K_AF_B×K_AF_V×MTF_P_BV1(f) (3)
MTF_P_IMG(f)
=K_IMG_R×K_IMG_H×MTF_P_RH2(f)
+K_IMG_R×K_IMG_V×MTF_P_RV2(f)
+K_IMG_G×K_IMG_H×MTF_P_GH2(f)
+K_IMG_G×K_IMG_V×MTF_P_GV2(f)
+K_IMG_B×K_IMG_H×MTF_P_BH2(f)
+K_IMG_B×K_IMG_V×MTF_P_BV2(f) (4)

0092

図14(b)には、離散的な空間周波数Fq1からFq4について、デフォーカスMTFがピーク(極大値)となるフォーカスレンズ104の位置(ピーク位置)LP4_AF、LP5_AF、LP6_AF、LP7_AFが縦軸に示されている。

0093

次に、カメラMPU125は、撮影画像の合焦位置(P_IMG)とAFで検出される合焦位置(P_AF)を、以下の式(5)及び(6)に従って算出する。算出には、空間周波数特性MTF_P_IMG(f)と、重み付けの係数K_IMG_Fq1〜Fq4、K_AF_Fq1〜Fq4を用いる。
P_IMG
=MTF_P_IMG(1)×K_IMG_Fq1
+MTF_P_IMG(2)×K_IMG_Fq2
+MTF_P_IMG(3)×K_IMG_Fq3
+MTF_P_IMG(4)×K_IMG_Fq4 (5)
P_AF
=MTF_P_AF(1)×K_AF_Fq1
+MTF_P_AF(2)×K_AF_Fq2
+MTF_P_AF(3)×K_AF_Fq3
+MTF_P_AF(4)×K_AF_Fq4 (6)

0094

すなわち、カメラMPU125は、図14(b)に示される空間周波数ごとのデフォーカスMTFの極大値情報を、K_IMG_FQ、K_AF_FQで重みづけ加算する。それにより、撮影画像の合焦位置(P_IMG)とAFで検出される合焦位置(P_AF)を算出している。

0095

次にカメラMPU125は、BP補正値を、以下の式(7)により算出する。なお、この処理は各距離マップ検出領域nに対して行われるので、BP補正値は距離マップ検出領域219ごとに得られる。そのため、BP補正値はBP(n)と表記する。
BP(n)=P_AF−P_IMG (7)

0096

次に、ステップS28では、デフォーカス値補正手段として機能するカメラMPU125は、デフォーカス値の補正を行う。ここで用いられるデフォーカス値は、前述したコントラストAFの結果で得られるものであってもよく、撮像面位相差AFで得られるものであってもよい。各距離マップ検出領域nにおける焦点検出結果をDEF(n)、補正後の焦点検出結果をcDEF(n)とすると、以下の式(8)の演算処理を行う。
cDEF(n)=DEF(n)−BP(n) (8)

0097

このように、距離マップ検出領域219ごとにデフォーカス値の補正を行うことで、高精度な距離マップを生成することができる。
n=1から25まで25回の処理が完了すると、ステップS29においてループ処理が終了する。

0098

ステップS30において、距離マップ生成手段として動作するカメラMPU125は、各距離マップ検出領域219におけるBP補正後の焦点検出結果cDEF(n)をRAM125bの不揮発性領域に記憶することで距離マップを生成する。各距離マップ検出領域におけるcDAF(n)の検出結果を、0を無限遠とし、+側に値が大きくなるほど至近として、数値化してプロットすると図8(a)のような距離マップが得られる。cDEF(n)の値の大きさを濃淡で示して表示することで図8(b)のような距離マップが得られる。また、cDEF(n)を色で表現してカラーバーをさらに追加してもよい。これらの距離マップはカメラMPU125からの指示に基づき表示器126に表示させることができる。このようにして距離マップを表示することにより、視覚的に距離を把握しやすい距離マップアプリケーションが実現される。

0099

本実施形態では、距離マップ検出領域219の位置、評価する色及びコントラスト方向に関する演算処理を、空間周波数に関する演算処理よりも先行して実行している。これは、撮影者が距離マップ検出領域219の位置を設定するモードの場合、距離マップ検出領域の位置、評価する色及び方向に関する情報は変更される頻度が低いためである。

0100

一方で、空間周波数については、撮像素子122の読出しモード、AF評価信号に係るデジタルフィルタなどにより変更される頻度が高い。例えば、信号のS/N比が低下する低輝度環境では、デジタルフィルタの帯域をより低帯域に変更することなどがあり得る。そのため、変更の頻度が低い係数(ピーク係数)を算出後に記憶しておき、変更の頻度の高い係数(空間周波数)のみを必要に応じて計算し、BP補正値の算出を行ってもよい。これにより、演算量の低減を行うことができる。

0101

本実施形態によれば、視差画像に対応した距離マップを取得可能な情報処理装置が提供される。視差画像は異なる瞳領域を通過した光束に基づく画像である。そのため、視差画像ごとに撮影光学系の光学収差が異なる場合がある。このような場合に通常画像の光学収差をそのまま用いて補正を行うと補正の精度が不十分となることがある。本実施形態では、視差画像に対応した収差情報を用いて補正を行うので、精度の高い補正が可能となり、高精度な距離マップが取得可能となる。

0102

[第2の実施形態]
次に、本発明の第2の実施形態について説明する。本実施形態では、瞳領域EP1aでのBP補正情報BP_Aを、瞳領域TLのBP補正情報BP_TLで代用している。本実施形態を適用することにより、瞳領域ごとのBP補正情報をあらかじめメモリ等に記憶させることなく、瞳領域に対応したBP補正情報を参照することが可能になる。これにより、BP補正情報を記憶させるために要する記憶容量を低減させることができる。

0103

なお、本実施形態において、情報処理装置の構成、各焦点検出方式の内容、焦点検出領域219の設定方法、焦点検出処理及び焦点検出情報の取得等は、特記しない部分については第1の実施形態と同様であるものとし、重複する説明を省略又は簡略化する。

0104

本実施形態では、第1の実施形態で述べたステップS23のBP補正情報の取得方法が異なるので、この点について、図9図10(a)及び図10(b)を参照して説明する。
ステップS101において、瞳分割の数npの回数のループ処理に入る。ここで、瞳分割の数npは、撮影光学系の射出瞳面上に投影される光電変換部の数である。例えば、図4(b)及び図10(a)に示す例ではnp=2となる。換言すると、瞳領域EP1aに対応する処理と瞳領域EP1aに対応する処理の2回の処理が順次行われる。

0105

ステップS102において、カメラMPU125は、ステップS101で設定された瞳領域に対して、瞳領域TLにおける瞳領域EP1aの水平方向の瞳領域割合P_Hを算出する。この処理について、図10(a)を用いて説明する。なお、瞳領域EP1aに対応する水平方向の瞳領域割合をP_A_Hと表記し、瞳領域EP1bに対応する水平方向の瞳領域割合をP_B_Hと表記する。

0106

図10(a)より、瞳領域割合P_A_Hは、瞳領域EP1aと瞳領域EP1bを合わせた瞳領域に対応する瞳領域割合P_TL_Hの半分である。したがって、ステップS102において、カメラMPU125は、瞳領域割合P_A_Hを1/2に設定する。
同様に、なお、瞳領域EP1aに対応する垂直方向の瞳領域割合をP_A_Vと表記し、瞳領域EP1bに対応する垂直方向の瞳領域割合をP_B_Vと表記する。図10(a)より、瞳領域割合P_A_Vは、瞳領域EP1aと瞳領域EP1bを合わせた瞳領域に対応する瞳領域割合P_TL_Hと同一である。したがって、ステップS103において、カメラMPU125は、瞳領域割合P_A_Vを1に設定する。

0107

ステップS104において、カメラMPU125は、ステップS102及びステップS103で設定された瞳領域割合P_A_H及び瞳領域割合P_A_Vに対応する撮影F値を算出する。撮影F値は、BP補正情報BP_Aを瞳領域TLのBP補正情報BP_TLテーブル上から選択するために用いられる。

0108

前述したとおり、BP補正情報は、光学系の収差状態を表す情報であり、光学系のズーム、撮影F値(絞り)、被写体距離などによって変化する。図10(b)は、瞳領域TLの撮影F値による瞳領域の変化を示す図である。撮影F値がF1(開放)状態の水平方向の瞳領域割合は、P_TL_H(F1)に対応し、垂直方向の瞳領域割合は、P_TL_V(F1)に対応する。図10(b)に示されるように、撮影F値がF2からF5の場合も同様の対応関係となる。一般的に、撮影F値が大きくなる(図10(b)上では、F1,F2、F3、…となる)ほど、瞳領域の面積は小さくなる。撮影F値の違いにより変化する瞳領域は、同心円状に変化する。すなわち、これらの複数の瞳領域内は重心が同一である。

0109

カメラMPU125又はレンズメモリ118は、F値の変化によるBP補正情報BP_TLの変化をテーブルとしてあらかじめ記憶している。図10(b)の例では、カメラMPU125又はレンズメモリ118は、BP補正情報BP_TL_H(F1)、・・・、BP_TL_H(F5)及びBP_TL_V(F1)、・・・、BP_TL_V(F5)を記憶している。

0110

ステップS105において、カメラMPU125は、瞳領域割合P_A_H及び瞳領域割合P_A_Vに最も割合の近いP_TL(Fxx)(xxは1〜5の整数)を選択する。これにより、瞳領域P_TLのF値変化情報から、各瞳領域EP1a、EP1bにおける光学特性に近い収差状態が選択されるので、瞳領域面積によるピントの変動に対応可能となる。図10(b)の例では、瞳領域割合P_A_Hに対応する瞳領域割合として、P_TL_H(F2)が選択され、瞳領域割合P_A_Vに対応する瞳領域割合として、P_TL_V(F1)が選択される。

0111

その後、瞳領域割合P_TL_H(F2)に基づき水平方向に対応するBP補正情報としてBP_TL_H(F2)が取得され、瞳領域割合P_TL_V(F1)に基づき垂直方向に対応するBP補正情報としてBP_TL_V(F1)が取得される。このように、本実施形態では、瞳領域TLのBP補正情報のテーブルを参照することにより、BP補正情報の取得が可能であるため、瞳領域ごとのBP補正情報をあらかじめメモリ等に記憶させておく必要がない。これにより、BP補正情報を記憶させるために要する記憶容量を低減させることができる。
np=1から2まで2回の処理が完了すると、ステップS106においてループ処理が終了する。

0112

本実施形態では、第1の実施形態の効果に加え、瞳領域ごとのBP補正情報を瞳領域TLのBP補正情報のテーブルを参照して用いることにより、瞳領域ごとのBP補正情報をメモリ等に記憶させる必要なく、適切なBP補正情報を参照することが可能になる。本実施形態では、瞳分割数が2分割の場合について説明したが、瞳分割数はこれに限られない。なお、本実施形態の動作は、瞳分割数と対応領域の情報が既知であれば実行可能であるため、BP補正情報の記憶時にあらかじめ選択されていてもよい。

0113

[第3の実施形態]
次に、本発明の第3の実施形態について説明する。本実施形態では、瞳領域分割がさらに多分割になり、射出瞳面距離Zepとセンサ瞳面距離Sepとが一致しない場合のBP補正情報の選択方法の一例について説明する。本実施形態が第1、第2の実施形態と異なる点は、各瞳領域の重心に応じて、各瞳領域のBP補正情報を瞳領域TLのBP補正情報BP_TLのF値変化についてのテーブルから参照するか否かを判定する点である。第2の実施形態では、瞳領域EP1aでのBP補正情報BP_Aを、瞳領域TLのBP補正情報BP_TLで代用する方法を示しているが、両者の瞳領域が大きく異なる場合には、本実施形態の動作を適用することでより高精度な補正が可能となる。

0114

図15(b)は、本実施形態の瞳分割を示す図である。図示されているように、瞳領域分割は3×3=9分割されている。各瞳領域をEP2a、EP2b、…、EP2iとする。図15(a)は、撮影光学系の射出瞳面と、画素211、212の光電変換部211a〜211c、212a〜212cとの共役関係を表す図である。なお、本実施形態において、情報処理装置の構成、各焦点検出方式の内容、焦点検出領域219の設定方法、焦点検出処理及び焦点検出情報の取得等は、特記しない部分については第1の実施形態と同様であるものとし、重複する説明は省略又は簡略化する。

0115

本実施形態では、第1の実施形態で述べたステップS23のBP補正情報の取得方法が第1の実施形態及び第2の実施形態と異なるので、この点について、図11図15を参照して説明する。ステップS101については、第2の実施形態で示した動作と同様であるため、説明を省略する。

0116

ステップS201において、各光電変換部が対応する瞳領域を設定する。一般的には、撮影レンズの絞りが設定される射出瞳面までの射出瞳面距離Zepと、光電変換部のオンチップマイクロレンズの共役面までの距離(=センサ瞳面距離Sep)とは、ほぼ一致する平面となることが望ましい。しかしながら、交換レンズ系での設計においては、射出瞳面距離Zepとセンサ瞳面距離Sepは必ずしも一致しない。本実施形態では、図15(a)に示されるように、射出瞳面距離Zepに対して、センサ瞳面距離Sepが短く設定されている場合について説明する。

0117

図15(a)に示されるように、光電変換部211a、211b、211cのような画面中央の焦点検出領域では、光電変換部211a、211b、211cに対応する瞳領域はそれぞれEP2a、EP2b、EP2cとなる。すなわち、光電変換部と瞳領域とは一対一対応する。

0118

しかしながら、光電変換部212a、212b、212cのように中央以外の焦点検出領域では、光電変換部と瞳領域との対応関係が一対一対応とならない。光電変換部212a、212b、212cは、センサ瞳面距離Sepであるため、マイクロレンズからSep離れた位置で瞳領域が共役となり得る。しかしながら、瞳領域におけるBP補正情報(収差情報)は、射出瞳面距離Zepの位置で分割された瞳領域EP2a〜EP2cごとの収差情報として記憶されている。そのため、光電変換部212aから延長された点線は、射出瞳面距離Zepの位置では、どの瞳領域とも交点を持たない。同様に、光電変換部212b、212cに対応する最も近い瞳領域はそれぞれEP2a、EP2bとなり、光電変換部211a、211b、211cの場合と対応関係が異なる。すなわち、射出瞳面距離Zepとセンサ瞳面距離Sepが一致しない場合には、焦点検出領域によって、光電変換部と瞳領域との対応関係が異なる。
よって、ステップS201では、あらかじめ記憶されている光電変換部の位置と瞳領域の対応関係を利用して、焦点検出領域ごとに用いる瞳領域を選択する。

0119

ステップS202において、判定手段としてのカメラMPU125が、瞳領域TLの瞳重心とステップS101で選択された瞳領域の瞳重心とが同一であるか否かを判定する。瞳重心とは、各瞳領域における瞳位置代表位置座標のことである。これについて、図15(c)を参照して説明する。

0120

図15(c)は、複数の光電変換部の射出瞳面上での各瞳領域EP2a〜EP2iにおける瞳重心座標EP2a_BL〜EP2i_BLを、点線で示す交点で表している。瞳領域EP2aにおける瞳重心はEP2a_BL1である。同様に、瞳領域TLの瞳重心はEP_TL_BLとして図15(c)のように示される。

0121

ステップS202において、瞳領域TLの瞳重心とステップS101で設定された瞳領域での瞳重心の座標が一致する場合は、ステップS102に進み、一致しない場合には、ステップS23に進む。図15(c)の例では、瞳領域EP2eのみについては、ステップS102に進み、それ以外の瞳領域EP2a、EP2b、EP2c、EP2d、EP2f、EP2g、EP2h、EP2iについてはステップS202に進む。

0122

ステップS23では、各瞳領域に対応したBP補正情報BP_A、BP_B、…を取得する。この動作は、第1の実施形態のステップS23の動作と同様であるため、説明を省略する。また、本実施形態のステップS102からステップS106の動作は、第2の実施形態のステップS102からステップS106の動作と同様であるため説明を省略する。

0123

本実施形態では、第1の実施形態の効果に加え、瞳領域ごとのBP補正情報を、瞳重心が異なる瞳領域のみに対してメモリに保持させておくことで、瞳領域ごとのBP補正情報の記憶量を最小限にとどめたまま、高精度なBP補正が可能になる。なお、本実施形態では、瞳分割数が9分割の場合について説明したが、瞳分割数はこれに限られない。また、本実施形態の動作は、瞳分割数と対応領域の情報が既知であれば実行可能であるため、BP補正情報をメモリ等にあらかじめ記憶させる際に実行されていてもよい。

0124

[その他の実施形態]
第1乃至第3の実施形態では、BP補正情報を用いて算出されるBP補正値及び距離マップはデフォーカス値の次元で記載されているが、これに限られるものではない。

0125

例えば、距離マップは、第1の画像信号及び第2の画像信号に基づく複数の信号の間の相対的な像ずれ量に基づいて生成されてもよい。デフォーカス値の生成に用いられる相対的な像ずれ量は、カメラからの距離と対応づけられ得るためである。さらに、BP補正情報も像ずれ量の次元で記録されていてもよい。なお、第1の画像信号及び第2の画像信号は、撮影光学系の異なる瞳領域を通過した光束を受光する複数の光電変換部を有する撮像素子から出力され得る。また、撮影光学系の異なる瞳領域のうちの第1の瞳領域は、複数の光電変換部全体で受光される光束が通過する瞳領域に対応する。

0126

例えば、距離マップは、デフォーカス値から換算された被写体距離に基づいて生成されてもよく、BP補正情報もまた被写体距離に対応するように情報が記録されていてもよい。

0127

例えば、距離マップは、撮影光学系のレンズの駆動量(制御信号のパルス数等)の分布に基づいて生成されてもよい。駆動量は、デフォーカス情報の算出に用いた画像内の領域に対応する被写体が合焦する位置にレンズが動くよう定められる。また、BP補正情報もレンズ駆動量の次元で記録され得る。

0128

上述のように、距離マップは、第1の画像信号及び第2の画像信号に基づく複数の信号の間の相対的な像ずれ量、デフォーカス値及び撮影光学系のレンズの駆動量の少なくとも1つの分布を示すものであり得る。言い換えると、距離マップは、デフォーカス情報に基づいて生成され得るものであり、当該デフォーカス情報は、デフォーカス値、上述の相対的な位置ずれ量及びレンズの駆動量を含み得る。

0129

本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。

0130

100…レンズユニット、104…フォーカスレンズ、113…フォーカスアクチュエータ、117…レンズMPU、118…レンズメモリ、120…カメラ本体、122…撮像素子、125…カメラMPU、129…位相差AF部、130…コントラストAF部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 株式会社PFAの「 カメラモジュール製造装置及びカメラモジュール製造方法」が 公開されました。( 2021/04/01)

    【課題・解決手段】撮影レンズ(41)が組み込まれたレンズユニット(40)と、撮像素子(52)が取付けられたセンサ基板(51)とを接合するカメラモジュール製造装置(100)であって、コリメータレンズ(3... 詳細

  • ソニー株式会社の「 撮像装置及び撮像ユニット」が 公開されました。( 2021/04/01)

    【課題・解決手段】冷却用ファンのメンテナンス性の向上を図り良好な動作状態を確保する。冷却用ファンが挿入される挿入孔が形成された外筐と、アクセサリーが取り付けられるマウント部を有し外筐に対して着脱可能に... 詳細

  • 株式会社フジクラの「 撮像モジュール及び内視鏡」が 公開されました。( 2021/04/01)

    【課題・解決手段】撮像モジュールは、撮像素子と、発光素子と、撮像素子および発光素子を保持するケースと、を備える。ケースは、ケースの前面に開口する投光孔と、投光孔よりも後方に位置して発光素子を収容するラ... 詳細

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ