図面 (/)

技術 撮像装置およびその制御方法

出願人 キヤノン株式会社
発明者 上西正晃
出願日 2016年6月17日 (4年11ヶ月経過) 出願番号 2016-121222
公開日 2017年12月21日 (3年5ヶ月経過) 公開番号 2017-223920
状態 特許登録済
技術分野 スタジオ装置 焦点調節 自動焦点調節
主要キーワード 飽和情報 信頼度閾値 最大シフト量 最小シフト 像一致度 所定段数 AE処理 キズ情報
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年12月21日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (10)

課題

AF動作中に露出条件が変更されても、AF動作のやり直しを行わずにAF精度の低下を抑制することが可能な撮像装置およびその制御方法を提供する。

解決手段

デフォーカス量の検出と露出制御とを並行して実行し、検出されたデフォーカス量が、露出制御が完了する前に得られた信号に基づくものであると判定されるか、露出制御における絞り駆動の影響を受けた信号に基づくものであると判定される場合には、そうでない場合と、デフォーカス量に基づくフォーカスレンズの駆動の制御を異ならせる。

概要

背景

撮像素子から得られる信号に基づいて撮影光学系の合焦距離を自動調節するオートフォーカスAF)技術として、コントラスト検出方式のAF(コントラストAF)と、撮像面位相差検出方式位相差AF)とが知られている。

これらのAF技術の精度(AF精度)は、撮像素子から得られる信号の質に影響を受ける。例えば、焦点検出領域露出がAF動作中に急変すると、AF精度が低下する。AF動作中の露出量が大きく変動しないようにAF動作と並行して絞りを調節した場合、絞りの変更が、画像から得られるコンラスト評価値デフォーカス量に影響を与え、AF精度が低下してしまう。

特許文献1では、AF動作中に絞りの変更操作がなされた場合には、AF動作をやり直すことで、絞りの変更によるAF精度の低下を抑制することが提案されている。

概要

AF動作中に露出条件が変更されても、AF動作のやり直しを行わずにAF精度の低下を抑制することが可能な撮像装置およびその制御方法を提供する。デフォーカス量の検出と露出制御とを並行して実行し、検出されたデフォーカス量が、露出制御が完了する前に得られた信号に基づくものであると判定されるか、露出制御における絞り駆動の影響を受けた信号に基づくものであると判定される場合には、そうでない場合と、デフォーカス量に基づくフォーカスレンズの駆動の制御を異ならせる。

目的

本発明の目的は、AF動作中に露出条件が変更されても、AF動作のやり直しを行わずにAF精度の低下を抑制することが可能な撮像装置およびその制御方法を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

撮像素子から得られる信号に基づいて撮影光学系のデフォーカス量を検出する焦点検出手段と、前記撮像素子から得られる信号に基づいて露出制御を行う露出制御手段と、前記デフォーカス量に基づいてフォーカスレンズの駆動を制御する制御手段と、を有し、前記デフォーカス量の検出と前記露出制御とが並行して実行され、前記制御手段は、前記焦点検出手段によって検出されたデフォーカス量が、前記露出制御が完了する前に得られた信号に基づくものであると判定されること(第1の条件)、もしくは前記露出制御における絞り駆動の影響を受けた信号に基づくものであると判定されること(第2の条件)を満たす場合には、前記第1の条件および前記第2の条件を満たさない場合と、該デフォーカス量に基づくフォーカスレンズの駆動の制御を異ならせることを特徴とする撮像装置

請求項2

前記焦点検出手段は、検出したデフォーカス量の信頼度をさらに求め、前記制御手段は、前記焦点検出手段によって検出されたデフォーカス量の前記信頼度が第1信頼度閾値以上、かつ該デフォーカス量が第1デフォーカス量閾値以下の場合、該デフォーカス量が前記第1の条件および前記第2の条件を満たさない場合には合焦状態と判定して前記フォーカスレンズの駆動の制御を終了し、該デフォーカス量が前記第1の条件または前記第2の条件を満たす場合には合焦状態と判定しない、ことを特徴とする請求項1に記載の撮像装置。

請求項3

前記焦点検出手段は、検出したデフォーカス量の信頼度をさらに求め、前記制御手段は、前記焦点検出手段によって検出されたデフォーカス量の信頼度が第1信頼度閾値以上かつ第2信頼度閾値未満で、該デフォーカス量が第1デフォーカス量閾値より大きく第2デフォーカス量閾値以下の場合、該デフォーカス量が前記第2の条件を満たさない場合には該デフォーカス量に相当するフォーカスレンズの駆動を行い、該デフォーカス量が前記第2の条件を満たす場合には該デフォーカス量に相当するフォーカスレンズの駆動を行わない、ことを特徴とする請求項1または請求項2に記載の撮像装置。

請求項4

前記焦点検出手段は、検出したデフォーカス量の信頼度をさらに求め、前記制御手段は、前記焦点検出手段によって検出されたデフォーカス量の信頼度が第2信頼度閾値未満の場合、該デフォーカス量が前記第2の条件を満たさない場合には該デフォーカス量とは無関係にフォーカスレンズを所定方向に移動させ、該デフォーカス量が前記第2の条件を満たす場合にはフォーカスレンズの駆動を行わない、ことを特徴とする請求項1から請求項3のいずれか1項に記載の撮像装置。

請求項5

前記焦点検出手段は、検出したデフォーカス量の信頼度をさらに求め、前記制御手段は、前記焦点検出手段によって検出されたデフォーカス量の信頼度が第1信頼度閾値未満かつ第2信頼度閾値以上の場合、該デフォーカス量が前記第2の条件を満たさない場合には該デフォーカス量に相当する量より少なくフォーカスレンズを所定方向に移動させ、該デフォーカス量が前記第2の条件を満たす場合にはフォーカスレンズの駆動を行わない、ことを特徴とする請求項1から請求項4のいずれか1項に記載の撮像装置。

請求項6

前記焦点検出手段によって検出されたデフォーカス量の信頼度が前記第1信頼度閾値以上であることは、該デフォーカス量の精度のばらつきが所定範囲内であることを示す、ことを特徴とする請求項2、3、および5のいずれか1項に記載の撮像装置。

請求項7

前記焦点検出手段によって検出されたデフォーカス量の信頼度が前記第2信頼度閾値未満であることは、該デフォーカス量の精度は保証されないが、デフォーカスの方向は保証されることを示す、ことを特徴とする請求項3から請求項5および、請求項3を引用する請求項5のいずれか1項に記載の撮像装置。

請求項8

前記焦点検出手段によって検出されたデフォーカス量が前記第1デフォーカス量閾値以下であることは、撮影光学系が被写体に合焦する範囲にフォーカスレンズが駆動されていることを示す、ことを特徴とする請求項3および、請求項3を引用する請求項4から請求項6のいずれか1項に記載の撮像装置。

請求項9

前記焦点検出手段によって検出されたデフォーカス量が前記第2デフォーカス量閾値以下であることは、焦点深度内にフォーカスレンズを駆動するために必要な駆動回数所定回数以内であることを示す、ことを特徴とする請求項3および、請求項3を引用する請求項4から請求項8のいずれか1項に記載の撮像装置。

請求項10

前記焦点検出手段は1対の像信号像ずれ量から前記デフォーカス量を求め、前記信頼度は前記1対の像信号の二像一致度、二像急峻度コントラスト情報飽和情報キズ情報のいずれかであることを特徴とする請求項2から請求項9のいずれか1項に記載の撮像装置。

請求項11

前記露出制御が、評価値を生成すること、前記評価値に基づいて露出条件を決定することを含み、決定された露出条件に応じて、露光時間を変更することおよび絞り値を変更することの少なくとも1つをさらに含むことを特徴とする請求項1から請求項10のいずれか1項に記載の撮像装置。

請求項12

撮像素子から得られる信号に基づいて撮影光学系のデフォーカス量を検出する焦点検出手段と、前記撮像素子から得られる信号に基づいて露出制御を行う露出制御手段と、前記デフォーカス量に基づいてフォーカスレンズの駆動を制御する制御手段と、を有し、前記デフォーカス量の検出と前記露出制御とが並行して実行され、前記制御手段は、前記焦点検出手段によって検出されたデフォーカス量が、目標の露出条件に対する現在の露出状態との差が所定値以上あること(第1の条件)、もしくは前記露出制御における絞り駆動の影響を受けた信号に基づくものであると判定されること(第2の条件)を満たす場合には、該デフォーカス量に基づくフォーカスレンズの駆動制御において、合焦状態と判定しないことを特徴とする撮像装置。

請求項13

撮像装置の制御方法であって、焦点検出手段が、撮像素子から得られる信号に基づいて撮影光学系のデフォーカス量を検出する焦点検出工程と、露出制御手段が、前記撮像素子から得られる信号に基づいて露出制御を行う露出制御工程と、制御手段が、前記デフォーカス量に基づいてフォーカスレンズの駆動を制御する制御工程と、を有し、前記デフォーカス量の検出と前記露出制御とが並行して実行され、前記制御工程では、前記焦点検出工程によって検出されたデフォーカス量が、前記露出制御が完了する前に得られた信号に基づくものであると判定されること(第1の条件)、もしくは前記露出制御における絞り駆動の影響を受けた信号に基づくものであると判定されること(第2の条件)を満たす場合には、前記第1の条件および前記第2の条件を満たさない場合と、該デフォーカス量に基づくフォーカスレンズの駆動の制御を異ならせることを特徴とする撮像装置の制御方法。

請求項14

撮像装置の制御方法であって、焦点検出手段が、撮像素子から得られる信号に基づいて撮影光学系のデフォーカス量を検出する焦点検出工程と、露出制御手段が、前記撮像素子から得られる信号に基づいて露出制御を行う露出制御工程と、制御手段が、前記デフォーカス量に基づいてフォーカスレンズの駆動を制御する制御工程と、を有し、前記デフォーカス量の検出と前記露出制御とが並行して実行され、前記制御工程では、前記焦点検出工程によって検出されたデフォーカス量が、目標の露出条件に対する現在の露出状態との差が所定値以上あること(第1の条件)、もしくは前記露出制御における絞り駆動の影響を受けた信号に基づくものであると判定されること(第2の条件)を満たす場合には、該デフォーカス量に基づくフォーカスレンズの駆動制御において、合焦状態と判定しないことを特徴とする撮像装置の制御方法。

請求項15

撮像装置が有するコンピュータを、請求項1から請求項12のいずれか1項に記載の撮像装置の各手段として機能させるためのプログラム

技術分野

0001

本発明は、撮像装置およびその制御方法に関する。

背景技術

0002

撮像素子から得られる信号に基づいて撮影光学系の合焦距離を自動調節するオートフォーカスAF)技術として、コントラスト検出方式のAF(コントラストAF)と、撮像面位相差検出方式位相差AF)とが知られている。

0003

これらのAF技術の精度(AF精度)は、撮像素子から得られる信号の質に影響を受ける。例えば、焦点検出領域露出がAF動作中に急変すると、AF精度が低下する。AF動作中の露出量が大きく変動しないようにAF動作と並行して絞りを調節した場合、絞りの変更が、画像から得られるコンラスト評価値デフォーカス量に影響を与え、AF精度が低下してしまう。

0004

特許文献1では、AF動作中に絞りの変更操作がなされた場合には、AF動作をやり直すことで、絞りの変更によるAF精度の低下を抑制することが提案されている。

先行技術

0005

特開2013−242589号公報

発明が解決しようとする課題

0006

しかし、特許文献1の方法では、AF動作中に絞りの変更操作があるとAF動作をやり直すため、AFに要する時間が長くなるという問題がある。

0007

本発明の目的は、AF動作中に露出条件が変更されても、AF動作のやり直しを行わずにAF精度の低下を抑制することが可能な撮像装置およびその制御方法を提供することである。

課題を解決するための手段

0008

上述の目的は、撮像素子から得られる信号に基づいて撮影光学系のデフォーカス量を検出する焦点検出手段と、撮像素子から得られる信号に基づいて露出制御を行う露出制御手段と、デフォーカス量に基づいてフォーカスレンズの駆動を制御する制御手段と、を有し、焦点検出と露出制御とが並行して実行され、制御手段は、焦点検出手段によって検出されたデフォーカス量が、露出制御が完了する前に得られた信号に基づくものであると判定されること(第1の条件)、もしくは露出制御における絞り駆動の影響を受けた信号に基づくものであると判定されること(第2の条件)を満たす場合には、第1の条件および第2の条件を満たさない場合と、デフォーカス量に基づくフォーカスレンズの駆動の制御を異ならせることを特徴とする撮像装置によって達成される。

発明の効果

0009

本発明によれば、AF動作中に露出条件が変更されても、AF動作のやり直しを行わずにAF精度の低下を抑制することが可能な撮像装置およびその制御方法を提供できる。

図面の簡単な説明

0010

実施形態に係る撮像装置の一例としてのレンズ交換式デジタルカメラ機能構成例を示すブロック図
実施形態における撮像素子のカラーフィルタおよびフォトダイオードの配列例を示す図
実施形態に係る撮像装置の全体的な動作に関するフローチャート
図3におけるAF動作の詳細に関するフローチャート
図4における焦点検出処理の詳細に関するフローチャート
実施形態に係る焦点検出処理で用いる焦点検出範囲の例を模式的に示した図
図7に示す焦点検出範囲から得られる像信号の例を示す図
図8に示す像信号のシフト量と相関量との関係例を示す図
図8に示す像信号のシフト量と相関変化量との関係例を示す図

実施例

0011

以下、図面を参照しながら本発明の例示的な実施形態について説明する。なお、以下では、本発明を撮像装置の一例としてのレンズ交換式デジタルカメラに適用した実施形態について説明する。しかし、本発明は、画像信号に基づく自動焦点調節機能を有する電子機器に対して適用可能である。このような電子機器には、デジタルカメラ携帯電話機パーソナルコンピュータデスクトップ型ノート型タブレット型など)、プロジェクタゲーム機ロボット家電製品ドライブレコーダなどが含まれるが、これらに限定されない。

0012

図1は本発明の実施形態に係るデジタルカメラの機能構成例を示すブロック図である。デジタルカメラは本体200とレンズ装置交換レンズ)100とから構成される。レンズ装置100は本体200のマウント部に着脱可能であり、マウント部に設けられた電気接点ユニット106を通じて本体200から電源の供給を受けたり、本体200と通信を行ったりする。

0013

レンズ装置100は、撮影レンズ101、絞り(シャッタ)102、フォーカスレンズ103、モータ104、およびレンズ制御部105を有する。撮影レンズ101、絞り102、フォーカスレンズ103は撮影光学系を形成する。撮影レンズ101は変倍レンズを含んでよい。絞り102はシャッタとしても機能する。フォーカスレンズ103はモータ104によって移動可能であり、撮影光学系の焦点を調節する。モータ104の動作はレンズ制御部105が制御する。なお、撮影光学系には防振レンズフィルタなどが含まれてもよい。

0014

本体200において、撮像素子201はCCDまたはCMOSイメージセンサであり、行列状に配置された複数の画素を有する。本実施形態において撮像素子201は瞳分割機能を有し、AF用信号と、撮像用信号とを読み出し可能である。撮像素子201は、撮影光学系が撮像面に結像する被写体像を各画素の光電変換部(フォトダイオード)で電気信号に変換して出力する。

0015

A/D変換部202は、相関2重サンプリング(CDS)回路非線形増幅回路、A/D変換回路を有する。CDS回路は撮像素子201が出力する電気信号のノイズを低減する。非線形増幅回路で増幅された電気信号は、A/D変換回路でデジタル信号に変換される。A/D変換部202は、撮像素子201から読み出される信号のうち、AF用信号はAF信号処理部204へ、撮像用信号は画像処理部203へ出力する。

0016

画像処理部203はA/D変換部202の出力するデジタル信号に対して各種の画像処理を適用する。画像処理部203が実行可能な画像処理には、ホワイトバランス調整デモザイク処理色調補正処理被写体認識処理被写体追尾処理スケーリング処理フィルタ処理などが含まれてよいが、これらに限定されない。画像処理部203は、記録用に処理したデジタル信号(画像データ)をコーデック205に出力する。また、画像処理部203は、表示用自動露出制御AE)用に処理したデジタル信号(画像データ)をシステム制御部209に出力する。例えば、表示用の画像データは記録用の画像データよりも解像度が低いものであってよい。また、AE用の画像データは、表示用の画像データと同一でもよいし、焦点検出領域や被写体領域などの部分領域の画像データであってよい。ただし、これらは単なる例であり、これらに限定されない。

0017

AF信号処理部204はA/D変換部202から供給されるAF用信号から位相差AFに用いる1対の像信号を生成し、像信号の相対位置を変化させながら相関演算を行い、像信号の位相差(像ずれ量)を算出する。また、AF信号処理部204は像ずれ量の信頼度情報(二像一致度、二像急峻度コントラスト情報飽和情報キズ情報等)を算出する。AF信号処理部204は、算出した像ずれ量をそのまま、あるいは像ずれ量をデフォーカス量および方向に変換したのち、信頼度情報とともにシステム制御部209へ出力する。

0018

システム制御部209は、AF信号処理部204から得られる像ずれ量またはデフォーカス量と、信頼度情報とに基づいて、AF信号処理部204における相関演算や信頼度情報の算出設定を変更することができる。システム制御部209は、例えば、デフォーカス量が閾値より大きいと判定される場合には相関演算における最大シフト量を大きくしたり、コントラスト情報に応じてAF信号処理部204が用いるバンドパスフィルタの種類を変更したりすることができる。

0019

コーデック205は、予め定められた符号化方式(例えばJPEG形式MPEG方式など)に従って、画像データや音声データを符号化したり、符号化された画像データや音声データを復号したりする。

0020

内蔵メモリ206は例えばランダムアクセスメモリであり、DRAMとも表記する。内蔵メモリ206は、一時的な画像記憶に用いられるバッファとして、あるいはコーデック205による符号化処理復号処理における作業用メモリなどとして用いられる。内蔵メモリ206はまた、後述するシステム制御部209の作業用メモリとしても用いられる。

0021

画像記録部207はメモリカードなどの記録媒体と、記録媒体を読み書きするためのインタフェースからなる。
タイミングジェネレータ208は、システム制御部209の制御に従い、撮像素子201の動作を制御するタイミング信号を供給する。なお、タイミングジェネレータ208は撮像素子201以外の機能ブロックにも必要に応じてタイミング信号を供給する。

0022

システム制御部209は例えば図示しないCPUと、CPUが実行するためのプログラムを記憶する不揮発性メモリを含み、後述するAF動作を始めとする、デジタルカメラ全体の動作を制御する。
レンズ通信部210は、本体200(システム制御部209)とレンズ装置100(レンズ制御部105)との通信インタフェースである。

0023

AE処理部211は、画像処理部203から得られる画像データに基づいてAE処理を実行する。AE処理は大きく分けて以下の処理からなる。
(1)評価値の生成
(2)露出条件の決定
(3)次フレーム露光時間の変更
(4)絞り値(開口量)の変更
(1)で生成されるAE用の評価値(測光値)は例えば画像の輝度に関する評価値であってよく、一般には画素値の積分および、RGB成分値から輝度値への変換などを含む処理によって評価値が生成される。

0024

(2)は、(1)で生成した評価値に基づいて例えばプログラム線図を参照し、露光時間、絞り値、および撮影感度の組み合わせを決定する。例えば、絞り値を変更すると被写界深度に影響するため、露光時間を優先的に調整することができる。また、撮影感度は露光時間および絞り値の調整範囲を超えた場合に調整することができる。ただし、これらは単なる例示であり、本実施形態において、評価値の変化に応じて露出条件をどのように変更するかには特に制限はない。

0025

また、(3)および(4)は、(2)で現在の設定と異なる露出条件が決定された場合など、必要な場合だけ実行される。なお、本実施形態において、露光時間の設定や絞り102の駆動制御はシステム制御部209が行う。そのため、(3)および(4)が必要な場合、AE処理部211は、露光期間や絞り値をシステム制御部209に出力し、実際の変更制御はシステム制御部209が実行する。

0026

なお、AE処理の(1)〜(4)はシステム制御部209単体で、あるいは画像処理部203およびシステム制御部209の組み合わせによって実行することもできる。この場合、AE処理部211を独立して設ける必要はない。

0027

画像表示用メモリVRAM)212は、画像表示部213に表示する表示画像データを記憶するためのメモリである。画像表示部213は、撮影した画像や再生した画像を表示する。また、画像表示部213は、撮影した画像や再生した画像に操作補助のための画像、カメラの状態を示す画像、焦点検出領域を示す画像などを重畳表示したり、メニュー画面などのGUI画像などを表示したりする。画像表示部213は、ライブビュー表示のためのモニタとしても機能する。

0028

操作部214はデジタルカメラに対してユーザが指示を与えるための入力デバイスキー、ボタンタッチパネルダイヤル等)である。操作部214には、各種設定を行うメニュー画面を表示するためのメニュースイッチ、撮影レンズのズーム動作を指示するズームレバー、動作モード(撮影モードと再生モード)の切換えスイッチ、上下左右方向キーなどが含まれるが、これらに限定されない。画像表示部213がタッチディスプレイの場合、画像表示部213は操作部214の1つとしても機能する。

0029

撮影モードスイッチ215は、デジタルカメラが有する様々な撮影モードの1つを選択するためのスイッチである。撮影モードには例えばマクロモードスポーツモード花火モードポートレートモードなどが含まれてよいが、これらに限定されない。メインスイッチ216は電源スイッチである。

0030

SW1 217は、例えばシャッターボタンが半押しされている際にONとなるスイッチである。SW1 217のONは撮影スタンバイ動作開始指示である。SW1 217がONになると、システム制御部209は撮影スタンバイ動作を開始する。撮影スタンバイ動作には例えばAF処理やAE処理が含まれる。SW2 217は、例えばシャッターボタンを全押しされた際にONとなるスイッチである。SW2 218のONは記録用の撮影動作の開始する指示である。SW2 218がONになると、システム制御部209は撮影スタンバイ動作の結果に基づく撮影動作および記録動作を開始する。

0031

本実施形態の撮像素子201には複数の色が規則的に配置されたカラーフィルタが設けられており、各画素にはいずれか1色のカラーフィルタが配置される。ここでは、図2(a)に示すように、赤(R)、緑(G)、青(B)の3色がベイヤ配列されたカラーフィルタが設けられているものとする。なお、緑色のフィルタは赤色フィルタの間と青色フィルタの間の両方に設けられるため、前者をGr、後者をGbと表記している。

0032

また、本実施形態の撮像素子201にはマイクロレンズアレイが設けられ、各画素に1つのマイクロレンズが対応する。そして、各画素には複数のフォトダイオード(光電変換部)が設けられている。本実施形態では、各画素に同じ大きさの2つのフォトダイオードA,Bが設けられている。図2(b)は、図2(a)に示したカラーフィルタの配置に対応するフォトダイオードA,Bの配列を示している。なお、ここでは各画素が水平方向に分割された2つのフォトダイオードを有する場合を示しているが、他の分割数分割方向を採用してもよい。例えば、水平方向に3分割以上したり、垂直方向に分割したり、複数の方向に分割したりしてもよい。また、分割数や分割方向が異なる画素が含まれていてもよい。

0033

複数のフォトダイオードが1つのマイクロレンズを共有することで、個々のフォトダイオードは、撮影光学系の射出瞳出射する光束のうち、互いに異なる一部を受光する。従って、図2(b)に示した構成の場合、複数の画素について、フォトダイオードAから得られる信号群から形成される像信号(A像信号)とフォトダイオードBから得られる信号群から形成される像信号(B像信号)とを用いて位相差AFが可能である。従って、以下では、1つのマイクロレンズを共有する複数のフォトダイオードの一部から得られる信号をAF用信号または焦点検出用信号と呼ぶ。一方、1つのマイクロレンズを共有する複数のフォトダイオードの全部から得られる信号は、フォトダイオードが分割されていない場合と同様の信号になるため、撮像用信号または加算信号と呼ぶ。

0034

図2(b)の例では、1つのフォトダイオードA(B)から得られる信号(A(B)信号)がAF用信号、同じ画素から得られるA信号とB信号との加算信号(A+B信号ともいう)が撮像用信号である。また、複数のA信号から形成される像信号がA像信号、複数のB信号から形成される像信号がB像信号である。後述するように、AF信号処理部204は、A像信号とB像信号との位相差(像ずれ量)に基づいてデフォーカス量とデフォーカス方向を検出する。

0035

次に、図3に示すフローチャートを用いて、本実施形態のデジタルカメラの、撮影モードにおける全体的な動作について説明する。図3に示す動作は、撮影モードが設定されており、かつ撮影スタンバイ状態にある場合に実行される。撮影スタンバイ状態においてシステム制御部209は動画の撮影と画像表示部213での表示を継続的に実行し、画像表示部213をEVFとして機能させている。また、画像処理部203では、撮影した動画フレームの画像データの全体または一部を、システム制御部209を通じてAE処理部211に供給している。

0036

S301でAE処理部211は、画像処理部203から得られる画像データに基づいてAE処理を行い、処理をS302に進める。AE処理部211は露出条件の決定(上述の(1)および(2))および、露出制御(上述の(3)および(4))を行う。これによりライブビュー表示中の画像を適正露出に保つことができる。
S302でシステム制御部209はSW1 217がONかどうか判定し、ONと判定されれば処理をS303へ進め、ONと判定されなければ処理をS301へ戻す。

0037

S303でシステム制御部209は、AF用AE処理が完了したかどうかを示すフラグ(AF用AE完了Flg)をFALSE(未完了)に初期化する。
S304でAF信号処理部204が後述するAF処理を実行し、像ずれ量(またはデフォーカス量および方向)と、信頼度情報をシステム制御部209に出力して処理をS306に進める。
なお、S304では、AF用AE処理と、AF処理とが並行して実行される。なお、絞りの駆動は機械的に行われるため時間を要する。また、AF処理と並行かつ独立して絞り駆動が行われるため、絞り駆動期間複数フレーム電荷蓄積期間に跨がることもありうる。

0038

S305でシステム制御部209は、SW1 217がONかどうか判定し、ONと判定されれば処理をS306へ進め、ONと判定されなければ処理をS301へ戻す。
S306でシステム制御部209は、SW2 218がONかどうか判定し、ONと判定されれば処理をS307へ進め、ONと判定されなければ処理をS305へ戻す。
S307でシステム制御部209は撮影動作を行い、処理をS301へ戻す。

0039

図4は、図3におけるS305のAF動作を説明するフローチャート図である。
S401でシステム制御部209は、AF用AE処理を開始してS402へ進める。ここでAF用AE処理を開始した後は、AF制御と並行してAE処理を行う。
S402でシステム制御部209は、AE制御が決定した目標の露出条件が通知されたかどうかを調べ、そうであればS403へ進め、そうでなければS405へ進める。

0040

S403でシステム制御部209は、目標の露出条件に対して現在の露出状態との差が所定段数未満かどうかを判定し、所定段数未満と判定されればS404へ、所定段数未満と判定されなければS405へ、処理を進める。所定段数を例えば1.5段で設定した場合、S430でシステム制御部290は以下の条件を満たすか否かを判定する。
(目標Av + 目標Tv - 目標Gain) - (現状Av + 現状Tv - 現状Gain)< 1.5
Av:絞り値 Tv:シャッター速度 Gain:デルタゲイン

0041

S404でシステム制御部209は、AF用AE処理が完了したかどうかを示すフラグ(AF用AE完了Flg)をTRUEにしてS406へ進める。
S405でシステム制御部209は、AF用AEFlgをFALSEにしてS406へ進める。これにより、AF処理が、露出制御が完了する前に得られた信号に基づくものである場合と、露出制御が完了した信号に基づくものである場合とで、AF処理を異ならせることができる。

0042

S406でシステム制御部209は、AF用AE処理で絞り駆動を行った場合に、絞り駆動期間が、AF処理に用いる画像の電荷蓄積期間と重複するかどうかを判定する。システム制御部209は、例えば垂直同期信号のタイミングとタイミングジェネレータ208に設定した電荷蓄積期間の長さから、個々のフレームの電荷蓄積時間を把握することができる。また、システム制御部209は、絞り102を所定の絞り値に駆動する要求(コマンド)をレンズ制御部105に送信したタイミングと、駆動終了の通知をレンズ制御部105から受信したタイミングから、絞りの駆動期間を把握することができる。これらの情報に基づいて、システム制御部209は、S407の焦点検出処理に用いるフレームの電荷蓄積期間に絞り駆動期間が重複するか(電荷蓄積期間に絞りが駆動されていたか否か)を判定することができる。なお、ここで説明した判定方法は単なる一例であり、他の方法に基づいて判定してもよい。

0043

システム制御部209は、絞り駆動期間が電荷蓄積期間と重複すると判定されればS407へ、AF用AE処理において絞り駆動を行っていない場合や、絞り駆動期間が電荷蓄積期間と重複すると判定されなければS408へ、それぞれ処理を進める。

0044

S407でシステム制御部209は、絞り駆動期間が電荷蓄積期間と重複するか否かを示すフラグ(絞り制御中Flg)をTRUE(重複する)に設定し、処理をS409へ進める。
S408でシステム制御部209は、絞り制御中FlgをFALSE(重複しない)に設定し、処理をS409へ進める。

0045

S409でAF信号処理部204は焦点検出処理を行い、デフォーカス方向およびデフォーカス量を検出するとともに、デフォーカス量の信頼度(AF信頼度)を求め、システム制御部209に出力して処理をS410へ進める。S409における焦点検出処理の詳細については後述する。

0046

S410でシステム制御部209は、S409でAF信号処理部204が生成したAF信頼度が予め設定されている第2信頼度閾値以上かどうかを判定する。システム制御部209は、AF信頼度が第2信頼度閾値以上と判定されればS411へ、判定されなければS423へ、それぞれ処理を進める。ここで、第2信頼度閾値は、信頼度が第2信頼度閾値未満の場合、デフォーカス量の精度は保証できないがデフォーカス方向(フォーカスレンズを移動すべき方向)は保証できることを示す。第2信頼度閾値は、事前に例えば実験的な手法で設定しておくことができる。

0047

S411でシステム制御部209は、焦点検出処理で得られたデフォーカス量が予め設定されている第2Def量閾値以下かどうかを判定し、第2Def量閾値以下と判定されればS412へ、判定されなければS422へ、それぞれ処理を進める。ここで、第2Def量閾値は、デフォーカス量が第2Def量閾値以下であれば、その後、焦点深度内にフォーカスレンズを駆動するために必要なレンズ駆動回数所定回数以内(例えば3回以内)であるようなデフォーカス量(例えば5深度)であることを示す。第2Def閾値は、焦点検出処理で得られる最大のデフォーカス量に基づいて事前に設定しておくことができる。

0048

S412でシステム制御部209は、フォーカスレンズ103が停止状態であるかどうか判定し、停止状態と判定されればS413へ、判定されなければS419へ、それぞれ処理を進める。システム制御部209は例えばレンズ制御部105に問い合わせることによってフォーカスレンズ103の状態を知ることができる。

0049

S413でシステム制御部209は、AF信頼度が予め設定されている第1信頼度閾値以上かどうかを判定する。システム制御部209は、AF信頼度が第1信頼度閾値以上と判定されればS414へ、判定されなければS419へ、それぞれ処理を進める。ここで、第1信頼度閾値は、信頼度が第1信頼度閾値以上の場合、デフォーカス量の精度のばらつきが所定範囲内(例えば1深度内)となるように設定されている。つまり、第1信頼度閾値以上であることは、第2信頼度閾値以上であることよりも高い信頼度第1信頼度閾値は、事前に例えば実験的な手法で設定しておくことができる。

0050

S414でシステム制御部209は、絞り制御中FlgがTRUEであるかどうか判定し、TRUEであると判定されれば処理をS402へ戻し、判定されなければS415へ処理を進める。絞り制御中FlgがTRUEの場合、S409で検出されたデフォーカス量が絞り駆動の影響を受けた画像に基づくものであることを示す。絞り制御中FlgがTRUEの場合には処理をS402に戻すことにより、絞り駆動の影響を受けたデフォーカス量に基づくフォーカスレンズ駆動や合焦判断を回避することができる。

0051

S415でシステム制御部209は、AF信号処理部204が検出したデフォーカス量が予め設定されている第1Def量閾値以下かどうかを判定する。システム制御部209は、デフォーカス量が第1Def量閾値以下と判定されればS416へ、判定されなければS418へ、それぞれ処理を進める。ここで第1Def量閾値は、デフォーカス量が第1Def量閾値以下であれば、撮影光学系が被写体に合焦する(撮影光学系の像距離が焦点深度内に存在する)範囲にフォーカスレンズ103が駆動されていることを示す値となるように設定する。つまり、第1Def量閾値以下であることは、第2Def量閾値以下であることよりも高い合焦度を示す。

0052

S416でシステム制御部209は、AF用AE完了FlgがTRUEかどうかを判定し、TRUEと判定されれば処理をS417へ進め、判定されなければ処理をS402へ戻す。これにより、AF用AE処理が完了していない状態で検出したデフォーカス量に基づいて合焦判定しないようにすることができる。
S417でシステム制御部209は、合焦状態であると判定して焦点検出処理を終了する。

0053

S418でシステム制御部209は、フォーカスレンズ103を、S409でAF信号処理部204が検出したデフォーカス量とデフォーカス方向に応じた移動量と移動方向に駆動させ、処理をS402に戻す。例えばシステム制御部209は、レンズ制御部105に駆動方向と駆動量を含むフォーカスレンズ103の駆動要求を送信する。そして、レンズ制御部105は駆動要求に従ってモータ104を駆動し、フォーカスレンズ103を移動させる。

0054

S412〜S418の処理により、AF信頼度が第1信頼度閾値以上である場合に、レンズを停止した状態で再度デフォーカス量を検出することができる。

0055

S419でシステム制御部209は、絞り制御中FlgがTRUEかどうかを判定し、TRUEと判定されればS420へ、判定されなければS421へ、それぞれ処理を進める。絞り制御中FlgがTRUEと判定された場合にはS420をスキップすることにより、デフォーカス量が第2Def量閾値以下の場合に、絞り駆動の影響を受けたデフォーカス量に基づいたフォーカスレンズ駆動をしないようにすることができる。

0056

S420でシステム制御部209はデフォーカス量に相当する移動量よりも少ない量だけ、デフォーカス方向に応じた方向にフォーカスレンズ103を駆動して処理をS421へ進める。例えばシステム制御部209は、デフォーカス量の所定割合(例えば80%)に相当する量だけフォーカスレンズを駆動する。
S421でシステム制御部209はレンズ制御部105を通じてフォーカスレンズ103を停止させ、処理をS402へ戻す。

0057

S422でシステム制御部209は、デフォーカス量に相当する移動量よりも少ない量だけ、デフォーカス方向に応じた方向にフォーカスレンズ103を駆動して処理をS402に戻す。例えばシステム制御部209は、動画撮影の1フレーム期間に相当する時間内にデフォーカス量に相当する量移動する駆動速度よりも低い駆動速度を設定することにより、フォーカスレンズ103の駆動量をデフォーカス量相当量よりも小さくすることができる。

0058

このような速度でフォーカスレンズ103を駆動することで、デフォーカス量が正しくない場合に、フォーカスレンズ103を被写体のピント位置を越えて移動させてしまうことを防ぐことができる。さらに、フォーカスレンズを停止させることなく、駆動させた状態で、次のフレームに基づくデフォーカス量に基づく駆動を継続して実行することができる(オーバーラップ制御)。また、デフォーカス量が第2Def量閾値よりも大きい場合には、絞り駆動の影響を受けたデフォーカス量に基づいてフォーカスレンズを駆動することができる。

0059

S423でシステム制御部209は、非合焦条件を満たしたかどうかを判定し、非合焦条件を満たしたと判定されればS424へ、満たしたと判定なければS425へ、それぞれ処理を進める。なお、非合焦条件を満たすとは、合焦すべき被写体がいないとする判定条件を満たすことである。例えばフォーカスレンズ103を可動範囲の全体について駆動した場合、つまりフォーカスレンズ103の位置が遠側、近側の両方のレンズ端に達して初期位置に戻った場合という条件であってよい。システム制御部209はレンズ制御部105を通じてフォーカスレンズ103の位置の情報を知ることができる。
S424でシステム制御部209は、非合焦状態にあると判定して焦点検出処理を終了する。

0060

S425でシステム制御部209は、フォーカスレンズ103が可動範囲の端(限界)に到達したかどうかを判定し、到達したと判定されればS426へ、判定されなければS427へ、それぞれ処理を進める。システム制御部209はフォーカスレンズ103の位置情報から判定を行うことができる。また、フォーカスレンズ103が可動範囲の端(限界)に到達した場合にはレンズ制御部105からシステム制御部209に通知するようにしてもよい。
S426でシステム制御部209は、フォーカスレンズ103の駆動方向を反転するコマンドをレンズ制御部105に送信し、処理をS402へ戻す。

0061

S427でシステム制御部209はAF用AE完了FlgがTRUE(完了)かどうかを判定し、TRUEと判定されれば処理をS428へ進め、判定されなければ処理をS402へ戻す。
S428でシステム制御部209は、フォーカスレンズ103を現在の設定に従った方向に、デフォーカス量とは無関係に駆動させて処理をS402へ戻す。ここでシステム制御部209は、フォーカスレンズの駆動速度を、例えば、デフォーカス量が検出できるようになった時点でフォーカスレンズが合焦位置を通り過ぎない範囲で最も速い速度に設定する。S427〜S428の処理により、AF用AEが完了していない状態で所定方向にフォーカスレンズ103を駆動させないようにすることができる。そのため、AF用AEが完了しておらず、適正露出から大きくはずれた露出条件で得られた画像に基づいて焦点検出したことでAF信頼度が低い場合にフォーカスレンズが不必要に駆動されることを抑制できる。

0062

次に、図4のS409で行う焦点検出処理の詳細について図5のフローチャートを用いて説明する。
まず、S501でAF信号処理部204は、A/D変換部202から得られる信号のうち、設定されている焦点検出範囲に含まれる画素の信号から、AF用の1対の像信号(A像信号およびB像信号)を生成し、処理をS502に進める。

0063

S502でAF信号処理部204は、像信号間の相関量を算出し、処理をS503に進める。
S503でAF信号処理部204は、S502で算出した相関量から相関変化量を算出し、処理をS504に進める。

0064

S504でAF信号処理部204は、相関変化量から像ずれ量を算出し、処理をS505に進める。
S505でAF信号処理部204は、像ずれ量の信頼度を算出し、処理をS506に進める。この信頼度を、対応する像ずれ量を変換したデフォーカス量の信頼度(AF信頼度)として用いる。

0065

AF信号処理部204は、S501〜S505の処理を、焦点検出範囲内に存在する焦点検出領域ごとに実行する。そして、S506でAF信号処理部204は、焦点検出領域ごとに算出した像ずれ量をデフォーカス量に変換し、処理をS507に進める。
S507でAF信号処理部204は、AFに使用する焦点検出領域を決定し、決定した焦点検出領域に関するデフォーカス量と、対応するAF信頼度とを焦点検出処理の結果として、焦点検出処理を終了する。

0066

図6から図8を用い、図5で説明した焦点検出処理についてさらに詳細に説明する。
図6は焦点検出処理で取り扱う焦点検出範囲と焦点検出領域の一例を模式的に示した図である。焦点検出範囲602は、撮像素子201の画素アレイ601の一部に設定される。図6に示した焦点検出範囲602の大きさおよび位置は単なる例である。焦点検出範囲602の左右に存在するシフト領域603は、相関演算に必要な領域である。従って、焦点検出範囲602とシフト領域603とを合わせた画素領域604が相関演算に必要な画素領域である。図中のp、q、s、tはそれぞれx軸方向の座標を表し、pおよびqは画素領域604の始点及び終点のx座標を、sおよびtは焦点検出範囲602の始点および終点のx座標を表す。

0067

図7図6で設定した焦点検出範囲602に含まれる画素から生成したAF用の像信号の例を示している。実線がA像信号701、破線がB像信号702である。
図7(a)は、シフト前の像信号の例を示している。図7(b)および(c)は、図7(a)のシフト前の像信号に対しプラス方向およびマイナス方向にシフトした状態を示している。相関量を算出する際には、A像信号701およびB像信号702の両方を、矢印の方向に1ビットずつシフトする。

0068

相関量CORの算出法について説明する。まず、図7(b)および(c)に示したように、A像信号701とB像信号702のそれぞれを1ビットずつシフトし、その時のA像信号とB像信号の差の絶対値の和を算出する。シフト量をi、最小シフト量をp−s、最大シフト量をq−t、焦点検出範囲602の開始座標をx、焦点検出範囲602の終了座標をyとすると、相関量CORは以下の式(1)によって算出することができる。

0069

図8(a)はシフト量iと相関量CORとの関係例を示す図である。横軸はシフト量iを、縦軸は相関量CORを示す。相関量波形801における極小値区間802、803のうち、相関量が小さい区間802の方が、A像信号とB像信号の一致度が高い。

0070

続いて相関変化量ΔCORの算出法について説明する。まず、図8(a)の相関量波形801で表される相関量について、1シフト飛ばしの相関量の差から相関変化量を算出する。シフト量をi、最小シフト量をp−s、最大シフト量をq−tとすると、相関変化量ΔCORは以下の式(2)によって算出することができる。

0071

図9(a)はシフト量と相関変化量ΔCORの関係例を示した図である。横軸はシフト量iを、縦軸は相関変化量ΔCORを示す。相関変化量波形901における区間902、903は相関変化量ΔCORの符号がプラスからマイナスになる区間である。相関変化量ΔCORが0となる状態をゼロクロスと呼び、A像信号とB像信号との一致度が最も高くなる。つまり、ゼロクロス時のシフト量が像ずれ量(位相差)である。

0072

図9(a)の区間902を拡大して示す図9(b)を用いて、像ずれ量PRDの算出法について説明する。
ここで、ゼロクロス時のシフト量(k−1+α)は、整数部分β(=k−1)と小数部分αに分けられる。小数部分αは、図中の三角形ABCと三角形ADEとが相似関係を有することから、以下の式(3)によって算出することができる。



また、整数部分βは、図9(b)中より以下の式(4)によって算出することができる。
β=k−1 (4)
そして、αとβの和から像ずれ量PRDを算出することができる。

0073

なお、図9(a)に示すように相関変化量ΔCORが複数のゼロクロスを有する場合は、相関量変化ΔCORの急峻性が最大のゼロクロスを第1ゼロクロスとする。相関量変化ΔCORの急峻性が大きいゼロクロス程、容易に精度良く検出できる。急峻性maxderは以下の式(5)によって算出することができる。



以上のように、ゼロクロスが複数存在する場合は、急峻性によって第1のゼロクロスを決定し、第1のゼロクロスに対応するシフト量を像ずれ量とする。

0074

続いて像ずれ量の信頼度の算出法について説明する。信頼度は例えば、上述した急峻性や、A像信号とB像信号との一致度fnclvl(以下、2像一致度と呼ぶ)によって定義することができる。2像一致度は像ずれ量の精度を表す指標で、本実施形態における算出方法では値が小さいほど精度が良いことを示す。
図8(a)の区間802を拡大して示す図8(b)を用いると、2像一致度fnclvlは以下の式(6)によって算出できる。



AF信号処理部204は、2像一致度fnclvlを像ずれ量(およびこの像ずれ量を変換したデフォーカス量)の信頼度(AF信頼度)として求める。

0075

本実施形態におけるAF動作を、主に閾値の観点からまとめると以下の通りである。
●AF信頼度が第1信頼度閾値以上、かつデフォーカス量が第1デフォーカス量閾値以下の場合で、焦点検出結果が絞り制御の影響を受けておらず、AF用AE処理が完了している場合
→合焦状態と判定し(S415)、AF動作を終了
●AF信頼度が第1信頼度閾値以上かつ第2信頼度閾値未満で、デフォーカス量が第1デフォーカス量閾値より大きく第2デフォーカス量閾値以下の場合で、かつ焦点検出結果が絞り制御の影響を受けていない場合
→焦点検出処理で得られたデフォーカス量(および方向)に相当するフォーカスレンズ駆動を行う(S416)
●AF信頼度が第2信頼度閾値以上、かつデフォーカス量が第2デフォーカス量閾値より大きい場合
→フォーカスレンズを停止させず、デフォーカス量に相当する量より小さい量、合焦方向にフォーカスレンズを移動させ続ける(S420)
●AF信頼度が第2信頼度閾値未満で、かつAF用AE処理が完了している場合
→設定されている方向に(デフォーカス量と無関係に)フォーカスレンズを移動させ続ける(S426)

0076

また、本実施形態におけるAF動作を、主にAF用AE処理の観点からまとめると以下の通りである。
●AF用AE処理が完了していない場合には、
・AF信頼度が第1信頼度閾値以上、かつデフォーカス量が第1デフォーカス量閾値以下であっても、合焦判定は行わない。
・デフォーカス方向について信頼できる結果が得られていても、フォーカスレンズの移動を行わない。
●さらに、焦点検出結果がAF用AE処理の絞り制御の影響を受けている場合には、
・AF信頼度が第1信頼度閾値以上、かつデフォーカス量が第1デフォーカス量閾値以下であっても、合焦判定は行わない。
・AF信頼度が第1信頼度閾値以上、かつデフォーカス量が第1デフォーカス量閾値より大きく第2デフォーカス量閾値以下の場合の場合であっても、焦点検出処理で得られたデフォーカス量(および方向)に相当するフォーカスレンズ駆動は行わず、代わりにない。

0077

このようなAF動作により、AE動作とAF動作を並行に実施しつつ、AE動作がAF精度に与える影響を抑制できる。また、AF動作中に被写体輝度が変化した場合にも、並行実施しているAE動作により適正な露出条件でAF動作を実行できる。

0078

(その他の実施形態)
上述の実施形態におけるAF動作(図4)では、AF用AE処理が開始されてからAF処理が開始される構成となっているが、AF処理が開始された後にAE処理を開始させる構成としてもよい。

0079

本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。

0080

100…レンズ装置、102…絞り、103…フォーカスレンズ、105…レンズ制御部、200…本体、201…撮像素子、203…画像処理部、204…AF信号処理部、208…タイミングジェネレータ、209…システム制御部、210…レンズ通信部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 株式会社PFAの「 カメラモジュール製造装置及びカメラモジュール製造方法」が 公開されました。( 2021/04/01)

    【課題・解決手段】撮影レンズ(41)が組み込まれたレンズユニット(40)と、撮像素子(52)が取付けられたセンサ基板(51)とを接合するカメラモジュール製造装置(100)であって、コリメータレンズ(3... 詳細

  • ソニー株式会社の「 撮像装置及び撮像ユニット」が 公開されました。( 2021/04/01)

    【課題・解決手段】冷却用ファンのメンテナンス性の向上を図り良好な動作状態を確保する。冷却用ファンが挿入される挿入孔が形成された外筐と、アクセサリーが取り付けられるマウント部を有し外筐に対して着脱可能に... 詳細

  • 株式会社フジクラの「 撮像モジュール及び内視鏡」が 公開されました。( 2021/04/01)

    【課題・解決手段】撮像モジュールは、撮像素子と、発光素子と、撮像素子および発光素子を保持するケースと、を備える。ケースは、ケースの前面に開口する投光孔と、投光孔よりも後方に位置して発光素子を収容するラ... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ