図面 (/)

技術 画像処理装置、画像処理方法及び画像処理プログラム

出願人 オリンパス株式会社
発明者 岡澤淳郎山崎輝彬福冨武史
出願日 2013年9月27日 (6年9ヶ月経過) 出願番号 2013-202549
公開日 2015年4月13日 (5年2ヶ月経過) 公開番号 2015-070433
状態 特許登録済
技術分野 焦点調節 自動焦点調節 光信号から電気信号への変換 スタジオ装置
主要キーワード 光量低下量 高次式 右半面 カラーマトリクス係数 水平位 ラグランジュ補間 ゲイン調整量 比率計
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2015年4月13日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (8)

課題

位相差検出画素を有する撮像素子からの画素出力を処理する撮像装置において、位相差検出画素による画質の低下をより抑えることが可能な画像処理装置画像処理方法及び画像処理プログラムを提供する。

解決手段

画像処理部31は、ゲイン量推定部312と、ゲイン補正部313とを有している。ゲイン補正部は、位相差検出画素の画素出力をゲイン補正する。ゲイン量推定部は、ゲイン補正部におけるゲイン補正の際のゲイン量を推定する。ゲイン量推定部は、仮真値算出処理部を有している。仮真値算出処理部は、位相差検出画素を含む基準ブロックと基準ブロックを含むサーチ範囲内において設定された参照ブロックとの相関に応じてゲイン量の推定に用いる基準となる撮像画素の画素出力を仮真値算出画素の画素出力として算出する。

概要

背景

撮像素子の一部の画素焦点検出素子として利用して焦点状態を検出する撮像装置に関する提案が例えば特許文献1においてなされている。特許文献1は、撮像素子の一部の画素を位相差検出画素に設定し、撮影レンズ光軸中心に対して対称な異なる瞳領域を通過した被写体光束を複数の位相差検出画素に結像させ、この被写体光束の間の位相差を検出することによって撮影レンズの焦点状態を検出している。

ここで、位相差検出画素は、撮影レンズの異なる瞳領域を通過した被写体光束の一方を受光できるように例えば一部の領域が遮光されている。このため、位相差検出画素は、そのままでは画像として使用できない欠損画素となる。したがって、特許文献2に開示された撮像装置では、位相差検出画素の画素出力を、ゲイン調整したり、周辺の画素を用いて補間したりすることにより、記録や表示に利用可能としている。

概要

位相差検出画素を有する撮像素子からの画素出力を処理する撮像装置において、位相差検出画素による画質の低下をより抑えることが可能な画像処理装置画像処理方法及び画像処理プログラムを提供する。画像処理部31は、ゲイン量推定部312と、ゲイン補正部313とを有している。ゲイン補正部は、位相差検出画素の画素出力をゲイン補正する。ゲイン量推定部は、ゲイン補正部におけるゲイン補正の際のゲイン量を推定する。ゲイン量推定部は、仮真値算出処理部を有している。仮真値算出処理部は、位相差検出画素を含む基準ブロックと基準ブロックを含むサーチ範囲内において設定された参照ブロックとの相関に応じてゲイン量の推定に用いる基準となる撮像画素の画素出力を仮真値算出画素の画素出力として算出する。

目的

本発明は、前記の事情に鑑みてなされたもので、位相差検出画素を有する撮像素子からの画素出力を処理する撮像装置において、位相差検出画素による画質の低下をより抑えることが可能な画像処理装置、画像処理方法及び画像処理プログラムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

位相差を検出する方向に並べられた位相差検出画素撮像画素とを有する撮像素子からの画素出力を処理する画像処理装置であって、前記位相差検出画素の画素出力をゲイン補正するゲイン補正部と、前記ゲイン補正の際のゲイン量推定するゲイン量推定部と、を具備し、前記ゲイン量推定部は、前記位相差検出画素を含む基準ブロックと前記基準ブロックを含むサーチ範囲内において設定された参照ブロックとの相関に応じて前記ゲイン量の推定に用いる基準となる撮像画素の画素出力を仮真値算出画素の画素出力として算出する仮真値算出処理部を有することを特徴とする画像処理装置。

請求項2

前記基準ブロックは、前記位相差検出画素を含む1画素以上のブロックであり、前記参照ブロックは、前記サーチ範囲内で前記基準ブロックから水平、垂直又は斜め方向にずれた位置のブロックであり、前記仮真値算出処理部は、前記基準ブロックと前記参照ブロックとの間の四則演算によって相関値を算出し、該相関値に応じて前記仮真値算出画素の画素出力を算出することを特徴とする請求項1に記載の画像処理装置。

請求項3

前記仮真値算出処理部は、前記相関値を算出するための前記四則演算の方法、前記基準ブロックと前記参照ブロックの大きさ及びずらし量、前記サーチ範囲の大きさ及び形状を、前記位相差検出画素の配置又は前記撮像素子の駆動モードに依存して適応的に変化させることを特徴とする請求項2に記載の画像処理装置。

請求項4

前記仮真値算出処理部は、前記相関値が最も小さい参照ブロックの前記位相差検出画素に相等する位置の撮像画素の画素出力を前記仮真値算出画素の画素出力として算出することを特徴とする請求項2に記載の画像処理装置。

請求項5

前記仮真値算出処理部は、複数の前記参照ブロックについて算出した複数の前記相関値を用いて複数の前記参照ブロックのそれぞれの前記位相差検出画素に相等する位置の撮像画素の画素出力を重み付け平均することによって前記仮真値算出画素の画素出力を算出することを特徴とする請求項2に記載の画像処理装置。

請求項6

前記仮真値算出処理部は、前記相関値が小さい参照ブロックの前記撮像画素の画素出力に対しては、前記重み付けの割合を高くすることを特徴とする請求項5に記載の画像処理装置。

請求項7

位相差を検出する方向に並べられた位相差検出画素と撮像画素とを有する撮像素子からの画素出力を処理するための画像処理方法であって、前記位相差検出画素を含む基準ブロックと前記基準ブロックを含むサーチ範囲内において設定された参照ブロックとの相関に応じて仮真値算出画素の画素出力を算出し、前記仮真値算出画素の画素出力と前記位相差検出画素の画素出力との比率に応じてゲイン量を推定し、前記推定されたゲイン量に応じて前記位相差検出画素の画素出力をゲイン補正する、ことを特徴とする画像処理方法。

請求項8

位相差を検出する方向に並べられた位相差検出画素と撮像画素とを有する撮像素子からの画素出力を処理するための画像処理プログラムであって、前記位相差検出画素を含む基準ブロックと前記基準ブロックを含むサーチ範囲内において設定された参照ブロックとの相関に応じて仮真値算出画素の画素出力を算出する機能と、前記仮真値算出画素の画素出力と前記位相差検出画素の画素出力との比率に応じてゲイン量を推定する機能と、前記推定されたゲイン量に応じて前記位相差検出画素の画素出力をゲイン補正する機能と、をコンピュータに実現させるための画像処理プログラム。

技術分野

0001

本発明は、一部の画素位相差方式焦点検出素子として利用して焦点状態を検出する撮像素子画素出力を処理する画像処理装置画像処理方法及び画像処理プログラムに関する。

背景技術

0002

撮像素子の一部の画素を焦点検出素子として利用して焦点状態を検出する撮像装置に関する提案が例えば特許文献1においてなされている。特許文献1は、撮像素子の一部の画素を位相差検出画素に設定し、撮影レンズ光軸中心に対して対称な異なる瞳領域を通過した被写体光束を複数の位相差検出画素に結像させ、この被写体光束の間の位相差を検出することによって撮影レンズの焦点状態を検出している。

0003

ここで、位相差検出画素は、撮影レンズの異なる瞳領域を通過した被写体光束の一方を受光できるように例えば一部の領域が遮光されている。このため、位相差検出画素は、そのままでは画像として使用できない欠損画素となる。したがって、特許文献2に開示された撮像装置では、位相差検出画素の画素出力を、ゲイン調整したり、周辺の画素を用いて補間したりすることにより、記録や表示に利用可能としている。

先行技術

0004

特許第3592147号公報
特開2010−062640号公報

発明が解決しようとする課題

0005

ところで、位相差検出画素に入射する光の量は、入射する光の角度、位相差検出画素に形成された遮光膜の位置の他、像高によっても異なる。さらに、位相差検出画素に入射する光の角度は、撮影レンズ等の光学系の製造ばらつきや撮像素子の前面に配置されるマイクロレンズの製造ばらつきによっても異なる。ゲイン調整の精度を高めるためには、位相差検出画素毎の光量の低下量を正しく検出し、検出した低下量に応じてゲイン調整量を設定することが望ましい。

0006

本発明は、前記の事情に鑑みてなされたもので、位相差検出画素を有する撮像素子からの画素出力を処理する撮像装置において、位相差検出画素による画質の低下をより抑えることが可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

課題を解決するための手段

0007

前記の目的を達成するために、本発明の第1の態様の画像処理装置は、位相差を検出する方向に並べられた位相差検出画素と撮像画素とを有する撮像素子からの画素出力を処理する画像処理装置であって、前記位相差検出画素の画素出力をゲイン補正するゲイン補正部と、前記ゲイン補正の際のゲイン量推定するゲイン量推定部とを具備し、前記ゲイン量推定部は、前記位相差検出画素を含む基準ブロックと前記基準ブロックを含むサーチ範囲内において設定された参照ブロックとの相関に応じて前記ゲイン量の推定に用いる基準となる撮像画素の画素出力を仮真値算出画素の画素出力として算出する仮真値算出処理部を有することを特徴とする。

0008

前記の目的を達成するために、本発明の第2の態様の画像処理方法は、位相差を検出する方向に並べられた位相差検出画素と撮像画素とを有する撮像素子からの画素出力を処理するための画像処理方法であって、前記位相差検出画素を含む基準ブロックと前記基準ブロックを含むサーチ範囲内において設定された参照ブロックとの相関に応じて仮真値算出画素の画素出力を算出し、前記仮真値算出画素の画素出力と前記位相差検出画素の画素出力との比率に応じてゲイン量を推定し、前記推定されたゲイン量に応じて前記位相差検出画素の画素出力をゲイン補正することを特徴とする。

0009

前記の目的を達成するために、本発明の第3の態様の画像処理プログラムは、位相差を検出する方向に並べられた位相差検出画素と撮像画素とを有する撮像素子からの画素出力を処理するための画像処理プログラムであって、前記位相差検出画素を含む基準ブロックと前記基準ブロックを含むサーチ範囲内において設定された参照ブロックとの相関に応じて仮真値算出画素の画素出力を算出する機能と、前記仮真値算出画素の画素出力と前記位相差検出画素の画素出力との比率に応じてゲイン量を推定する機能と、前記推定されたゲイン量に応じて前記位相差検出画素の画素出力をゲイン補正する機能とをコンピュータに実現させる。

発明の効果

0010

本発明によれば、位相差検出画素を有する撮像素子からの画素出力を処理する撮像装置において、位相差検出画素による画質の低下をより抑えることが可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することができる。

図面の簡単な説明

0011

本発明の一実施形態に係る画像処理装置を有する撮像装置の一例としてのデジタルカメラの構成を示すブロック図である。
撮像素子の画素配列の例を示した図である。
画像処理部の詳細な構成を示す図である。
ゲイン量推定部の構成を示す図である。
動画記録処理を示すフローチャートである。
仮真値算出処理について説明するための図である。
基準ブロックを斜めに横切るような絵柄被写体像が撮像素子に結像しているときの仮真値算出画素を示す図である。

実施例

0012

以下、図面を参照して本発明の実施形態を説明する。
図1は、本発明の一実施形態に係る画像処理装置を有する撮像装置の一例としてのデジタルカメラ(以下、単にカメラと言う)の構成を示すブロック図である。ここで、図1において、矢印付き実線はデータの流れを示し、矢印付き破線制御信号の流れを示す。

0013

図1に示すカメラ1は、撮影レンズ11と、絞り13と、メカシャッタ15と、駆動部17と、操作部19と、撮像素子21と、撮像制御回路23と、A−AMP25と、アナログデジタル変換部(ADC)27と、CPU29と、画像処理部31と、焦点検出回路33と、ビデオエンコーダ35と、表示部37と、バス39と、DRAM(Dynamic Random Access Memory)41と、ROM(Read Only Memory)43と、記録媒体45とを有する。

0014

撮影レンズ11は、被写体100からの像を撮像素子21に形成するための撮影光学系である。撮影レンズ11は、合焦位置を調節するためのフォーカスレンズを有しており、またズームレンズとして構成されていてもよい。絞り13は、撮影レンズ11の光軸上に配置され、その口径が可変に構成されている。絞り13は、撮影レンズ11を通過した被写体100からの光束の量を制限する。メカシャッタ15は、開閉自在に構成されている。メカシャッタ15は、撮像素子21への被写体100からの被写体光束の入射時間(撮像素子21の露光時間)を調節する。メカシャッタ15としては、公知のフォーカルプレーンシャッタレンズシャッタ等が採用され得る。駆動部17は、CPU29からの制御信号に基づいて、撮影レンズ11、絞り13及びメカシャッタ15の駆動の制御を行う。

0015

操作部19は、電源釦レリーズ釦動画釦再生釦、メニュー釦といった各種の操作釦及びタッチパネル等の各種の操作部材を含む。この操作部19は、各種の操作部材の操作状態を検知し、検知結果を示す信号をCPU29に出力する。ここで、本実施形態の操作部19により、カメラ1の撮影モードを選択することが可能である。すなわち、ユーザは、操作部19を操作することにより、カメラ1の撮影モードを静止画撮影モード動画撮影モードの何れかから選択することができる。静止画撮影モードは、静止画像を撮影するための撮影モードであり、動画撮影モードは、動画像を撮影するための撮影モードである。

0016

撮像素子21は、撮影レンズ11の光軸上であって、メカシャッタ15の後方で、かつ、撮影レンズ11によって被写体光束が結像される位置に配置されている。撮像素子21は、画素を構成するフォトダイオードが二次元的に配置されて構成されている。ここで、本実施形態における撮像素子21は、記録や表示のための画像を取得するための撮像画素と焦点検出をするための位相差検出画素とを有する。

0017

撮像素子21を構成するフォトダイオードは、受光量に応じた電荷を生成する。フォトダイオードで発生した電荷は、各フォトダイオードに接続されているキャパシタ蓄積される。このキャパシタに蓄積された電荷が画像信号として読み出される。本実施形態における撮像素子21は、複数の異なる電荷の読み出し方式を有している。撮像素子21に蓄積された電荷は、撮像制御回路23からの制御信号に従って読み出される。

0018

また、画素を構成するフォトダイオードの前面には、例えばベイヤ配列カラーフィルタが配置されている。ベイヤ配列は、水平方向にR画素とG(Gr)画素が交互に配置されたラインと、G(Gb)画素とB画素が交互に配置されたラインを有している。

0019

撮像制御回路23は、CPU29からの制御信号に従って撮像素子21の駆動モードを設定し、設定した駆動モードに応じた読み出し方式に従って撮像素子21からの画像信号の読み出しを制御する。例えば、ライブビュー表示時や動画記録時といった撮像素子21からの画素データの読み出しにリアルタイム性が求められるような駆動モードの場合には、画素データの読み出しを高速に行えるよう、複数の同色画素からの画素データを混合して読み出すか、特定の画素の画素データを間引いて読み出す。一方、例えば静止画像の記録時のようなリアルタイム性よりも画質が求められる駆動モードの場合には、混合読み出しや間引き読み出しをせずに全画素の画素データを読み出すことで解像力を維持する。

0020

A−AMP25は、撮像制御回路23の制御に従って撮像素子21から読み出された画像信号を増幅する。撮像素子21、撮像制御回路23、A−AMP25とともに撮像部として機能するADC27は、A−AMP25から出力された画像信号を、デジタル形式の画像信号(画素データ)に変換する。以下、本明細書においては、複数の画素データの集まりを撮像データと記す。

0021

CPU29は、ROM43に記憶されているプログラムに従ってカメラ1の全体制御を行う。画像処理部31は、撮像データに対して各種の画像処理を施して画像データを生成する。例えば画像処理部31は、静止画像の記録の際には、静止画記録用の画像処理を施して静止画像データを生成する。同様に、画像処理部31は、動画像の記録の際には、動画記録用の画像処理を施して動画像データを生成する。さらに、画像処理部31は、ライブビュー表示時には、表示用の画像処理を施して表示用画像データを生成する。このような画像処理部31の構成については後で詳しく説明する。

0022

焦点検出回路33は、位相差検出画素からの画素データを取得し、取得した画素データに基づき、公知の位相差方式を用いて撮影レンズ11の合焦位置に対するデフォーカス方向及びデフォーカス量を算出する。

0023

ビデオエンコーダ35は、画像処理部31で生成された表示用画像データを映像データに変換し、この映像データを表示部37に入力して表示部37に画像を表示させる。

0024

表示部37は、例えば液晶ディスプレイ有機ELディスプレイといった表示部であって、例えばカメラ1の背面に配置される。この表示部37は、ビデオエンコーダ35の動作に従って画像を表示する。表示部37は、ライブビュー表示や記録済み画像の表示等に使用される。

0025

バス39は、ADC27、CPU29、画像処理部31、焦点検出回路33、DRAM41、ROM43、記録媒体45に接続され、これらのブロックで発生した各種のデータを転送するための転送路として機能する。

0026

DRAM41は、電気的に書き換え可能なメモリであり、前述した撮像データ(画素データ)、記録用画像データ、表示用画像データ、CPU29における処理データといった各種データを一時的に記憶する。なお、一時記憶用としてSDRAM(Synchronous Dynamic Random Access Memory)が用いられてもよい。ROM43は、マスクROMフラッシュメモリ等の不揮発性メモリである。ROM43は、CPU29で使用されるプログラム、カメラ1の調整値等の各種データを記憶している。記録媒体45は、カメラ1に内蔵されるか又は装填されるように構成されており、記録用画像データを所定の形式画像ファイルとして記録する。

0027

図2を用いて撮像素子21の構成について説明する。図2は、撮像素子21の画素配列の例を示した図である。また、図2の右側には、一部の画素を拡大して示している。図2は、ベイヤ配列の例であるが、カラーフィルタの配列はベイヤ配列に限るものではなく、種々の配列が適用され得る。

0028

前述したように、ベイヤ配列の撮像素子21は、水平方向にR画素とG(Gr)画素が交互に配置された画素行と、G(Gb)画素とB画素が交互に配置された画素行とを有している。言い換えれば、右側の拡大図で示すGr画素と、R画素、Gb画素、B画素の4画素の組が水平及び垂直方向に繰り返して配置されている。

0029

本実施形態においては、一部の撮像画素21aの位置に位相差検出画素21bを配置する。位相差検出画素は、例えば左右の何れかの領域を遮光膜によって遮光した画素である。図2の例では、左半面を遮光した位相差検出画素(以下、右開口位相差検出画素と言う)の行と、右半面を遮光した位相差検出画素(以下、左開口位相差検出画素と言う)の行とを垂直方向に沿って近接するように配置している。

0030

高画素数の撮像素子の場合には個々の画素の面積が小さくなるので、近接して配置される画素にはほぼ同じ像が結像すると考えることができる。したがって、図2に示すようにして位相差検出画素を配置することにより、図2のA行の位相差検出画素とB行の位相差検出画素の対で位相差を検出することができる。また、C行の位相差検出画素とD行の位相差検出画素の対でも位相差を検出することができる。

0031

ここで、図2の例では、位相差検出画素中の遮光する領域を、左右何れかの領域としている。この場合、水平位相差を検出することが可能である。これに対し、遮光する領域を上下何れかの領域としたり、斜め方向の領域としたりすることで、垂直位相差や斜め方向の位相差を検出することも可能である。また、ある程度の面積を有していれば遮光面積も画素領域の1/2でなくともよい。さらに、図2では位相差検出画素をG画素に配置しているが、G画素以外の、R画素、B画素の何れかに配置するようにしてもよい。また、図2の例は、位相差検出画素の一部領域を遮光することによって瞳分割をする例を示しているが、位相差検出画素は、撮影レンズ11の異なる瞳領域を通過した対をなす被写体光束のうちの一方を選択的に受光できればよい。このため、一部領域を遮光する構成とせず、例えば瞳分割用のマイクロレンズによって瞳分割をするようにしてもよい。さらに、図2は、水平方向に沿って4画素周期で位相差検出画素を配置した例を示している。位相差検出画素を配置する周期は特定の周期に限定されるものではない。

0032

ここで、位相差検出画素の一部の領域は遮光されているので、光量の低下が発生する。この光量の低下は、位相差検出画素に形成された遮光膜の面積の他、遮光膜の位置、位相差検出画素に入射する光の角度、像高によっても異なるものである。このような光量の低下が画像処理部31において補正される。

0033

図3は、画像処理部31の詳細な構成を示す図である。図3では、画像処理部31以外のブロックについては図示を省略している。図3に示すように、画像処理部31は、ホワイトバランス(WB)補正処理部311と、ゲイン量推定部312と、ゲイン補正部313と、補間判断処理部314と、補間処理部315と、同時化処理部316と、輝度特性変換部317と、エッジ強調処理部318と、ノイズ低減(NR)処理部319と、色再現処理部320とを有している。

0034

WB補正処理部311は、撮像データの各色成分を所定のゲイン量で増幅することにより、画像の色バランスを補正するホワイトバランス補正処理を行う。

0035

ゲイン量推定部312は、ゲイン補正部313において位相差検出画素の画素出力を補正するためのゲイン量を推定するための関数を算出する。この関数は、撮像画素に対する位相差検出画素の光量低下量を表す関数である。位相差検出画素の光量低下量は、位相差検出画素の画素出力と位相差検出画素の近傍の撮像画素の画素出力との比率に基づいて算出される。ゲイン補正部313は、ゲイン量推定部312で推定されたゲイン量に従って位相差検出画素の画素出力を補正する。ゲイン量推定部312及びゲイン補正部313の詳細については後で説明する。

0036

補間判断処理部314は、ゲイン補正部313でゲイン補正された位相差検出画素の画素出力の適用割合を判断する。適用割合とは、例えばゲイン補正がされた位相差検出画素の画素出力と位相差検出画素の周辺の撮像画素の画素出力との重み付け加算の際の重み付け係数である。ここで、周辺の撮像画素とは、例えば位相差検出画素の周辺の同色(ベイヤ配列の場合には同一成分)の4個の撮像画素のことである。勿論、周辺の撮像画素の画素数は、4画素に限られない。また、重み付け係数は、例えば位相差検出画素の周辺の撮像画素の画素出力のばらつきに従って判断される。補間処理部315は、補間判断処理部314で判断された適用割合に従ってゲイン補正部313でゲイン補正された位相差検出画素の画素出力とその周辺の撮像画素の画素出力とを重み付け加算する補間処理を行う。

0037

同時化処理部316は、例えばベイヤ配列に対応して撮像素子21を介して出力される撮像データ等の、1つの画素が1つの色成分に対応している撮像データを、1つの画素が複数の色成分に対応している画像データに変換する。輝度特性変換部317は、画像データの輝度特性(ガンマ特性)を、表示や記録に適するように変換する。エッジ強調処理部318は、画像データからバンドパスフィルタ等を用いて抽出したエッジ信号エッジ強調係数を乗じ、この結果をもとの画像データに加算することによって、画像データにおけるエッジ輪郭)成分を強調する。NR処理部319は、コアリング処理等を用いて、画像データにおけるノイズ成分を除去する。色再現処理部320は、画像データの色再現を適切なものとするための各種の処理を行う。この処理としては、例えばカラーマトリクス演算処理がある。カラーマトリクス演算処理は、画像データに対して、例えばホワイトバランスモードに応じたカラーマトリクス係数を乗じる処理である。この他、色再現処理部320は、彩度色相の補正を行う。

0038

図4は、ゲイン量推定部312の構成を示す図である。ゲイン量推定部312は、仮真値算出処理部3121と、比率計算処理部3122とを有している。

0039

仮真値算出処理部3121は、比率計算処理部3122で比率計算をする際の基準となる撮像画素(仮真値算出画素)の画素出力を算出するための仮真値算出処理を行う。比率計算処理部3122は、位相差検出画素の画素出力と仮真値算出画素の画素出力との比率を計算することにより、各位相差検出画素の画素出力をゲイン補正するための関数を算出する。

0040

以下、本実施形態の撮像装置の動作を説明する。図5は、撮像装置による動画記録処理を示すフローチャートである。図5に示すフローチャートの処理は、ROM43に記憶されているプログラムに基づいてCPU29によって実行される。また、図5に示す処理は、静止画記録処理やライブビュー表示処理に対しても適用可能である。

0041

図5のフローチャートの処理が開始されると、CPU29は、撮像素子21による撮像(露光)を実行させる(ステップ101)。撮像により得られた画像信号は、予め設定された駆動モードに応じた読み出し方式に従って撮像素子21から読み出される。この読み出された画像信号は、A−AMP25で増幅され、ADC27においてデジタル化された後、撮像データとしてDRAM41に一時記憶される。

0042

次に、CPU29は、焦点検出処理を行う(ステップS102)。ここでは、CPU29は、焦点検出回路33に焦点検出処理を実行させる。焦点検出処理の実行指示を受けて、焦点検出回路33は、DRAM41に一時記憶された撮像データの中から、位相差検出画素に対応した画素データを読み出し、この画素データを用いて公知の位相差法によって撮影レンズ11のデフォーカス方向及びデフォーカス量を算出する。次に、CPU29は、焦点検出回路33により検出された撮影レンズ11のデフォーカス方向及びデフォーカス量に基づいて駆動部17を制御し、撮影レンズ11を合焦させる。

0043

焦点検出処理の後、CPU29は、画像処理部31による画像処理を実行させる。これを受けて画像処理部31は、撮像データ中の画素の走査を行って画素データを選択する(ステップS103)。画素の走査は、例えば撮像データの左上端から右下端に向かうようにして行われる。なお、ループ処理では位相差検出画素の画素出力が補正されればよい。したがって、位相差検出画素以外の画素データはステップS103において選択されないようにしてもよい。この場合、ステップS104のホワイトバランス補正処理は、ループ処理の外で行われることになる。

0044

画素データの選択後、画像処理部31のWB補正処理部311は、画素データに対してホワイトバランス補正処理を施す(ステップS104)。続いて、ゲイン量推定部312の仮真値算出処理部3121は、仮真値算出処理を行う(ステップS105)。以下、仮真値算出処理の例を説明する。

0045

図6は、仮真値算出処理について説明するための図である。仮真値算出処理は、現在の仮真値算出処理の対象となっている画素、すなわちステップS103で選択された画素を含むブロックと類似のブロックを撮像データに設定された所定のサーチ範囲の中から探索する処理である。この探索は、例えば周知のブロックマッチング法を用いて行われる。図6の位相差検出画素Gr(右)が仮真値算出処理の対象となっている画素である。また、図6においてはサーチ範囲Sの大きさを9×7画素とし、1つのブロックの大きさを3×3画素とした例が示されている。サーチ範囲S及び1つのブロックの大きさは図6に示したものに限られるものではない。

0046

具体的な仮真値算出処理として、まず、仮真値算出処理部3121は、サーチ範囲S内に基準ブロックBaseと参照ブロックRefとを設定する。ここで、基準ブロックBaseは、現在の仮真値算出処理の対象となる画素(図6の例では位相差検出画素Gr(右))を中心とするブロックである。また、参照ブロックRefは、サーチ範囲S内に設定される基準ブロックBaseと同じ大きさのブロックである。

0047

基準ブロックBaseと参照ブロックRefとをそれぞれ設定した後、仮真値算出処理部3121は、基準ブロックBaseと参照ブロックRefとの対応する画素同士の画素出力の差の絶対値を算出する。図6の矢印によって差分絶対値を算出する画素の関係が示されている。なお、図6では3画素分の関係のみが例示されているが、実際にはブロック内のそれぞれの画素についての差分絶対値を算出する。基準ブロックBaseと参照ブロックRefの各画素についての差分絶対値を算出した後、仮真値算出処理部3121は、算出した差分絶対値の積算値相関値として算出する。

0048

1つの参照ブロックRefに対する相関値を算出した後、仮真値算出処理部3121は、サーチ範囲Sの中で参照ブロックRefの位置をずらし、基準ブロックBaseと位置をずらした後の参照ブロックRefとの間で前述と同様にして相関値を算出する。ここで、参照ブロックRefの位置は、例えばサーチ範囲Sの左上端から右下端に向けてずらしていく。このときの参照ブロックRefの位置ずらし量及び位置ずらし方向については特に制限されない。

0049

以上のような参照ブロックRefの位置をずらしながらの相関値の算出は、参照ブロックRefがサーチ範囲Sの終端(例えば右下端)に達するまで繰り返される。そして、サーチ範囲S内の終端位置の参照ブロックRefについての相関値を算出した後、仮真値算出処理部3121は、各参照ブロックRefについて算出した相関値の中で、最も小さい相関値を有する参照ブロックRef、すなわち基準ブロックBaseとの相関が最も高い参照ブロックRefの中心の撮像画素を仮真値算出画素とする。これにより、仮真値算出処理が終了する。

0050

ここで、仮真値算出処理においては、仮真値算出画素を位相差検出画素とすることはない。したがって、仮真値算出処理においては、中心画素が撮像画素である参照ブロックRefの相関値が算出されていればよい。このため、参照ブロックRefの位置ずらしの時点で参照ブロックRefの中心の画素が位相差検出画素にならないように参照ブロックRefの位置をずらすようにしてもよい。

0051

また、仮真値算出画素においては、差分絶対値和を相関値としている。これ以外に、差分二乗和を相関値とする等、相関値は、四則演算を適宜組み合わせることによって得られる。例えば、撮像の駆動モードに応じてより高速性が求められる駆動モードの場合においては、演算不可軽減のため差分二乗和でなく差分絶対値を求める等、使用形態に応じて演算方法切り替えても良い。

0052

仮真値算出処理の終了後、ゲイン量推定部312の比率計算処理部3122は、比率計算処理を行う(ステップS106)。比率計算処理においては、現在の比率計算処理の対象となる位相差検出画素の画素出力とこの位相差検出画素に対応する仮真値算出画素の画素出力との比が算出される。例えば、仮真値算出画素の画素出力をGr1とし、位相差検出画素の画素出力をGr2としたとき、画素出力の比Dif_piは、以下の(式1)に従って算出される。
Dif_pi=Gr1/Gr2 (式1)
前述したように、位相差検出画素の一部の領域は遮光されている。したがって、近傍の撮像画素と同じ量の光が位相差検出画素に入射したとしても、位相差検出画素の画素出力は撮像画素の画素出力に対して低下する。撮像画素の画素出力に対する位相差検出画素の画素出力の低下量は、単純には両者の比を計算することによって算出できる。ここで、動画撮影時の撮像データは必ずしも均一輝度面を撮像して得られるものではないので、撮像画素の画素出力と位相差検出画素の画素出力とはともに被写体像(絵柄)の変化の影響を受けて変動する可能性がある。このため、撮像画素と位相差検出画素との間で絵柄の変化があると、撮像画素の画素出力に対する位相差検出画素の画素出力の低下量を正しく求めることができない。例えば、図7に示すように、基準ブロックを斜めに横切るような絵柄の被写体像が撮像素子21に結像している場合において、被写体像が結像している画素と結像していない画素とで画素出力の比較をしてしまうと、比率計算の結果に誤差が生じてしまう。

0053

本実施形態では、位相差検出画素と相関のある撮像画素との間で画素出力の低下量を求めるようにしている。したがって、絵柄の変化の影響を低減した状態で比率を求めることが可能である。さらに、本実施形態の場合、ブロック単位での相関を求めるようにしている。例えば、図7の例において、基準ブロックとの相関が高い参照ブロックは、基準ブロックと同様に被写体像の部分に存在している可能性が高い。すなわち、基準ブロックとの相関が高い参照ブロックの撮像画素を仮真値算出画素とすることにより、絵柄の影響をより低減した状態で比率の計算を行うことが可能である。

0054

比率計算処理の後、画像処理部31は、ループ処理の終了判定として、画素の走査が終了したか否かを判定する(ステップS107)。画素の走査が終了していないと画像処理部31において判定された場合には、ループ処理が継続される。一方、画素の走査が終了したと画像処理部31において判定された場合には、ループ処理が終了される。ループ処理の終了後、ゲイン補正部313は、ゲイン補正処理を行う(ステップS108)。ステップS103−S107のループ処理により、各位相差検出画素の撮像画素に対する光量の低下量を表す関数が算出される。この関数は、例えば1次関数y=ax+bの形で表される。ここで、xは、水平座標(水平像高)であり、yは撮像画素の画素出力を基準とした位相差検出画素の画素出力(すなわち光量低下量)である。また、この1次関数の傾きa及び切片bは、例えば最小二乗法により、以下の(式2)で示すようにして与えられる。

0055

0056

ここで、(式2)のiは、水平座標xの値を示す。また、start_xは、水平座標xの開始座標である。さらに、水平方向にはn個の画素が配列されているものとしている。このような(式2)で示される関数の値を、各位相差検出画素の画素出力に乗じるゲイン補正をすることにより、各位相差検出画素の画素出力における光量低下が補正される。

0057

ここで、(式2)は、光量低下量を1次式近似する例である。光量低下量は、2次式以上の高次式を用いて近似されてもよい。また、最小二乗法によらずにラグランジュ補間スプライン補間といった周知の手法で近似が行われてもよい。

0058

ゲイン補正処理の後、補間判断処理部314は、ゲイン補正部313でゲイン補正された位相差検出画素の画素出力の適用割合を判断する(ステップS109)。前述したように、適用割合は、例えばゲイン補正がされた位相差検出画素の画素出力と位相差検出画素の周辺の撮像画素の画素出力との重み付け加算の際の重み付け係数である。補間判断処理部314による判断の後、補間処理部315は、補間判断処理部314で判断された適用割合に従ってゲイン補正部313でゲイン補正された位相差検出画素の画素出力とその周辺の撮像画素の画素出力とを重み付け加算する補間処理を行う(ステップS110)。

0059

補間処理の後、画像処理部31は、補間処理以後の画像処理を実行する(ステップS111)。画像処理の終了後、CPU29は、画像処理の結果としてDRAM41に一時記憶された画像データを記録媒体45に記録する(ステップS111)。次に、CPU29は、動画記録を停止させるか否かを判定する(ステップS112)。ここでは、CPU29は、操作部19のレリーズ釦の操作状態を判定する。すなわち、レリーズ釦が再び押された場合に、CPU29は、動画記録を停止させると判定する。

0060

ステップS112において、動画記録を停止させないと判定した場合に、CPU29は、処理をステップS101に戻し、動画記録を続行する。一方、ステップS112において、動画記録を停止させると判定した場合に、CPU29は、図5の処理を終了させる。

0061

以上説明したように本実施形態においては、位相差検出画素の画素出力をゲイン補正するためのゲイン量を推定する際に、ゲイン量を求めようとしている位相差検出画素とこの位相差検出画素との相関が高い撮像画素との比率に応じてゲイン量を推定している。相関が高い画素であるということは、位相差検出画素と撮像画素との間で絵柄の傾向が類似していることを意味している。これにより、絵柄の影響を低減して画素出力の比較を行うことができる。結果として、ゲイン量の推定精度を向上させることが可能である。さらに、ブロック単位で相関を判断するようにすることで、よりゲイン量の推定精度を向上させることが可能である。

0062

ここで、前述の実施形態では相関値が最も小さい参照ブロックの中心の撮像画素を仮真値算出画素としている。これに対し、各参照ブロックについて算出された相関値を用いた重み付け平均によって仮真値算出画素が算出されてもよい。この場合の手法の一例を説明する。まず、各参照ブロックについて算出された相関値のうちの最小の相関値が最大値1になるように正規化する。続いて、各正規化された相関値を重み係数として各参照ブロックの中心の撮像画素の画素出力の重み付け平均値を計算し、この計算結果を仮真値算出画素の画素出力とする。このような重み付け平均値を仮真値算出画素の画素出力とすることにより、よりゲイン量の推定精度を向上させることが可能である。

0063

また、本実施形態においては、サーチ範囲の大きさを9×7画素とし、1つのブロックの大きさを3×3画素としている。しかしながら、サーチ範囲の大きさ及び形状並びにブロックの大きさ及び形状は、図6で示した例に限定されるものではない。例えば、位相差検出画素の配置が矩形範囲でない場合には、サーチ範囲やブロックの形状が矩形でなくてもよい。また、ブロックの大きさは1×1画素であってもよい。さらには、撮像素子21の駆動モード等の諸条件に応じてサーチ範囲やブロックの大きさを適応的に変化させてもよい。例えば、撮像素子21の駆動モードが動画記録用の駆動モードの時やライブビュー表示時にはサーチ範囲を狭くすることで、仮真値算出画素の算出精度を向上させることが可能である。また、本実施形態においては、中心に位相差検出画素が位置するように基準ブロックの設定をしているが、位相差検出画素の位置は必ずしも中心でなくてよい。基準ブロックの中心に位相差検出画素が位置していない場合、仮真値算出画素の位置も参照ブロックの中心ではなく位相差検出画素に相等する位置になる。

0064

上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。

0065

また、上述した実施形態による各処理は、CPU29に実行させることができるプログラムとして記憶させておくこともできる。この他、メモリカード(ROMカード、RAMカード等)、磁気ディスクハードディスク等)、光ディスクCD−ROM、DVD等)、半導体メモリ等の外部記憶装置記憶媒体に格納して配布することができる。そして、CPU29は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。

0066

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

0067

11…撮影レンズ、13…絞り、15…メカシャッタ、17…駆動部、19…操作部、21…撮像素子、23…撮像制御回路、31…画像処理部、33…焦点検出回路、35…ビデオエンコーダ、37…表示部、39…バス、41…DRAM、43…ROM、45…記録媒体、311…ホワイトバランス(WB)補正処理部、312…ゲイン量推定部、313…ゲイン補正部、314…補間判断処理部、315…補間処理部、316…同時化処理部、317…輝度特性変換部、318…エッジ強調処理部、319…ノイズ低減(NR)処理部、320…色再現処理部、3121…仮真値算出処理部、3122…比率計算処理部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ