図面 (/)

技術 画像処理装置、画像処理方法、プログラム

出願人 キヤノン株式会社
発明者 大輪寧司
出願日 2016年5月6日 (5年2ヶ月経過) 出願番号 2016-093258
公開日 2017年11月9日 (3年8ヶ月経過) 公開番号 2017-201762
状態 特許登録済
技術分野 光信号から電気信号への変換 カラーテレビジョン画像信号発生装置
主要キーワード 角度閾値 RAW信号 合成比 位置管理情報 倍率色収差量 HPF エッジ度合い 色つき
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年11月9日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (11)

課題

焦点検出用素子位置の画質の低下を抑えた補間信号を生成可能にすることを課題とする。

解決手段

相関画素補正部(104)は、複数の撮像用素子と複数の焦点検出用素子が撮像面上に配置された撮像センサ画像信号のうち、前記焦点検出用素子に隣接した撮像用素子の信号に対して相関が高い画像領域の信号を用いて前記焦点検出用素子の位置に対する第1の補正信号を生成する。周辺画素補間部(105)は、焦点検出用素子の周辺の撮像用素子の信号を用いて焦点検出用素子位置に対する第2の補正信号を生成する。MIX比算出部(108)は焦点検出用素子の位置の倍率色収差を基に合成率を生成し、MIX部(109)はその合成率により、第1、第2の補正信号を合成する。

概要

背景

従来、撮像面に配された複数の受光素子の中の所定の受光素子に遮光層を設け、その受光素子を焦点検出用素子として利用する撮像センサがある。例えば、特許文献1には、通常の撮像用の受光素子(以下、撮像用素子とする。)の間に焦点検出用素子が埋め込まれた撮像センサを備えた撮像装置が開示されている。また、特許文献1の撮像装置では、焦点検出用素子の周囲の撮像用素子の信号値から補間により生成した値と、焦点検出用素子の信号値とから、画像のエッジ度合いを求め、そのエッジ度合いに応じて焦点検出用素子位置の補間信号を生成している。

概要

焦点検出用素子位置の画質の低下を抑えた補間信号を生成可能にすることを課題とする。高相関画素補正部(104)は、複数の撮像用素子と複数の焦点検出用素子が撮像面上に配置された撮像センサの画像信号のうち、前記焦点検出用素子に隣接した撮像用素子の信号に対して相関が高い画像領域の信号を用いて前記焦点検出用素子の位置に対する第1の補正信号を生成する。周辺画素補間部(105)は、焦点検出用素子の周辺の撮像用素子の信号を用いて焦点検出用素子位置に対する第2の補正信号を生成する。MIX比算出部(108)は焦点検出用素子の位置の倍率色収差を基に合成率を生成し、MIX部(109)はその合成率により、第1、第2の補正信号を合成する。

目的

本発明は、焦点検出用素子位置の画質の低下を抑えた補間信号を生成可能にすることを目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

複数の撮像用素子と複数の焦点検出用素子撮像面上に配置された撮像センサ画像信号のうち、前記焦点検出用素子に隣接した撮像用素子の信号に対して相関が高い画像領域の信号を用いて、前記焦点検出用素子の位置に対する第1の補正信号を生成する第1の補正手段と、前記画像信号のうち、前記焦点検出用素子の周辺の撮像用素子の信号を用いて、前記焦点検出用素子の位置に対する第2の補正信号を生成する第2の補正手段と、前記焦点検出用素子の位置における倍率色収差の情報を基に、前記第1の補正信号と前記第2の補正信号との合成率を求め、前記合成率により前記第1の補正信号と前記第2の補正信号を合成して前記焦点検出用素子の位置の補間信号を生成する合成手段と、を有することを特徴とする画像処理装置

請求項2

前記合成手段は、前記焦点検出用素子の位置における画像のエッジ方向と倍率色収差の方向との間の角度と、前記焦点検出用素子の位置における画像のエッジ度合いとに基づいて、前記合成率を算出することを特徴とする請求項1に記載の画像処理装置。

請求項3

前記合成手段は、前記焦点検出用素子の位置における画像のエッジ度合いと、前記焦点検出用素子の配列方向の前記倍率色収差の大きさとに基づいて、前記合成率を算出することを特徴とする請求項1に記載の画像処理装置。

請求項4

前記合成手段は、前記焦点検出用素子の位置における画像のエッジ方向と前記倍率色収差の方向との間の角度が所定の第1の角度閾値より小さい場合、前記合成により前記第1の補正信号のみからなる前記補間信号が生成される前記合成率を算出することを特徴とする請求項1乃至3の何れか1項に記載の画像処理装置。

請求項5

前記合成手段は、前記エッジ方向と前記倍率色収差の方向との間の角度が前記所定の第1の角度閾値以上である場合には、前記エッジ方向が前記焦点検出用素子の配列方向と略々同じ方向であり、かつ、前記焦点検出用素子の配列方向の前記倍率色収差の大きさが所定の閾値より小さいとき、前記合成により前記第1の補正信号のみからなる前記補間信号が生成される前記合成率を算出することを特徴とする請求項4に記載の画像処理装置。

請求項6

前記合成手段は、前記エッジ方向が前記焦点検出用素子の配列方向とは異なる場合には、前記エッジ方向と前記倍率色収差の方向との間の角度が所定の第2の角度閾値より大きいとき、前記合成により前記第2の補正信号のみからなる前記補間信号が生成される前記合成率を算出することを特徴とする請求項5に記載の画像処理装置。

請求項7

前記合成手段は、前記エッジ方向が前記焦点検出用素子の配列方向と略々同じ方向であり、かつ、前記焦点検出用素子の配列方向の前記倍率色収差の大きさが所定の閾値以上である場合には、前記エッジ方向と前記倍率色収差の方向との間の角度が所定の第2の角度閾値より大きいとき、前記合成により前記第2の補正信号のみからなる前記補間信号が生成される前記合成率を算出することを特徴とする請求項5に記載の画像処理装置。

請求項8

前記合成手段は、前記エッジ方向が前記焦点検出用素子の配列方向とは異なる場合には、前記エッジ方向と前記倍率色収差の方向との間の角度が所定の第2の角度閾値以下のとき、前記第1の補正信号と前記第2の補正信号が前記合成率により合成された補間信号を生成することを特徴とする請求項5に記載の画像処理装置。

請求項9

前記合成手段は、前記エッジ方向が前記焦点検出用素子の配列方向と略々同じ方向であり、かつ、前記焦点検出用素子の配列方向の前記倍率色収差の大きさが所定の閾値以上である場合には、前記エッジ方向と前記倍率色収差の方向との間の角度が所定の第2の角度閾値以下のとき、前記第1の補正信号と前記第2の補正信号が前記合成率により合成された補間信号を生成することを特徴とする請求項5に記載の画像処理装置。

請求項10

前記合成手段は、前記撮像センサの撮像面上における前記焦点検出用素子の位置と撮像光学系のレンズの特性とから、前記焦点検出用素子の位置における倍率色収差ベクトルを求めて、前記倍率色収差の情報とすることを特徴とする請求項1乃至9の何れか1項に記載の画像処理装置。

請求項11

前記撮像センサは、前記複数の撮像用素子が二次元配列され、前記二次元配列の中の所定の方向に、光電変換部に対して撮像光学系の射出瞳を2分割する一組の焦点検出用素子が複数配列されていることを特徴とする請求項1乃至10の何れか1項に記載の画像処理装置。

請求項12

複数の撮像用素子と複数の焦点検出用素子が撮像面上に配置された撮像センサの画像信号のうち、前記焦点検出用素子に隣接した撮像用素子の信号に対して相関が高い画像領域の信号を用いて、前記焦点検出用素子の位置に対する第1の補正信号を生成する第1の補正ステップと、前記画像信号のうち、前記焦点検出用素子の周辺の撮像用素子の信号を用いて、前記焦点検出用素子の位置に対する第2の補正信号を生成する第2の補正ステップと、前記焦点検出用素子の位置における倍率色収差の情報を基に、前記第1の補正信号と前記第2の補正信号との合成率を求め、前記合成率により前記第1の補正信号と前記第2の補正信号を合成して前記焦点検出用素子の位置の補間信号を生成する合成ステップと、を含むことを特徴とする画像処理装置の画像処理方法

請求項13

コンピュータを、請求項1乃至11の何れか1項に記載の画像処理装置の各手段として機能させるためのプログラム

技術分野

0001

本発明は、画像処理装置画像処理方法プログラムに関する。

背景技術

0002

従来、撮像面に配された複数の受光素子の中の所定の受光素子に遮光層を設け、その受光素子を焦点検出用素子として利用する撮像センサがある。例えば、特許文献1には、通常の撮像用の受光素子(以下、撮像用素子とする。)の間に焦点検出用素子が埋め込まれた撮像センサを備えた撮像装置が開示されている。また、特許文献1の撮像装置では、焦点検出用素子の周囲の撮像用素子の信号値から補間により生成した値と、焦点検出用素子の信号値とから、画像のエッジ度合いを求め、そのエッジ度合いに応じて焦点検出用素子位置の補間信号を生成している。

先行技術

0003

特開2007−279597号公報

発明が解決しようとする課題

0004

しかしながら、上述の特許文献1に開示された技術において、周囲の撮像用素子の信号値から補間により得られる補間信号の値は、倍率色収差に関して考慮されていない値である。このため、焦点検出用素子の位置の倍率色収差量が大きい場合には正しい補間信号が得られず、例えばエッジ部分などでの色つき補正痕として残り、画質が低下してしまうという問題がある。

0005

そこで、本発明は、焦点検出用素子位置の画質の低下を抑えた補間信号を生成可能にすることを目的とする。

課題を解決するための手段

0006

本発明は、複数の撮像用素子と複数の焦点検出用素子が撮像面上に配置された撮像センサの画像信号のうち、前記焦点検出用素子に隣接した撮像用素子の信号に対して相関が高い画像領域の信号を用いて前記焦点検出用素子の位置に対して生成した第1の補正信号と、焦点検出用素子の周辺の撮像用素子の信号を用いて焦点検出用素子の位置に対して生成した第2の補正信号とを、焦点検出用素子の位置における倍率色収差の情報を基に生成した合成率により合成して、焦点検出用素子の位置の補間信号を生成することを特徴とする。

発明の効果

0007

本発明によれば、焦点検出用素子位置の画質の低下を抑えた補間信号の生成が可能となる。

図面の簡単な説明

0008

実施形態の撮像装置の主要部の概略構成を示す図である。
撮像素子の構成例の説明に用いる図である。
カラーフィルタの各色の配列を示す図である。
通常の撮像用素子と焦点検出用素子の配置の説明に用いる図である。
焦点検出用素子の配置を例にしたキズ画素補正の説明に用いる図である。
高相関画素補正周辺画素補間の説明に用いる図である。
倍率色収差ベクトルと方向及び収差量の説明に用いる図である。
検出されるエッジ方向の説明に用いる図である。
画素補正部における処理のフローチャートである。
焦点検出用素子の他の配置例の説明に用いる図である。

実施例

0009

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
図1は、本実施形態の画像処理装置の一適用例としての撮像装置の内部概略構成を示す図である。
図1において、撮像部101は、図示しない撮像センサ及びその駆動回路からなり、撮像光学系の撮像レンズ100により結像された光学像を、撮像センサにより電気信号に変換する。撮像センサはCCDやCMOSセンサで構成されており、その撮像センサの撮像面上はいわゆるベイヤ配列のRGB(赤緑青)カラーフィルタにより覆われ、カラー撮影が可能な構成となっている。また、詳細は後述するが、撮像センサは、撮像面に、二次元配列された複数の撮像用素子と所定の方向に配置された複数の焦点検出用素子とが設けられた構成となされている。撮像部101から出力されたアナログ信号は、A/D変換部102によってデジタル信号に変換される。A/D変換部102によってデジタル信号に変換された画像信号は、欠陥画素補正部103(以下、画素補正部103と表記する。)に送られる。

0010

詳細は後述するが、画素補正部103は、キズ画素(欠陥画素)と判定された画素の信号値(信号レベル)を補正して、そのキズ補正後の画像信号をRAW信号として出力する。画素補正部103は、高相関画素補正部104、周辺画素補間部105、倍率色収差ベクトル生成部106、エッジ検出部107、MIX比算出部108、MIX部109を有して構成されている。詳細は後述するが、A/D変換部102から出力された画像信号は、高相関画素補正部104、周辺画素補間部105、倍率色収差ベクトル生成部106、エッジ検出部107に送られる。また、倍率色収差ベクトル生成部106とエッジ検出部107の出力は、MIX比算出部108に送られ、高相関画素補正部104と周辺画素補間部105の出力は、MIX部109に送られる。詳細は後述するが、MIX部109は、MIX比算出部108から出力される合成比に基づいて、高相関画素補正部104と周辺画素補間部105の出力を合成する。なお、本実施形態において、高相関画素補正部104は第1の補正手段の一例であり、周辺画素補間部105は第2の補正手段の一例であり、倍率色収差ベクトル生成部106とエッジ検出部107とMIX比算出部108とMIX部109は合成手段の一例である。画素補正部103から出力されたキズ画素補正後のRAW信号は、信号処理部110に送られる。信号処理部110は、キズ画素補正後のRAW信号に対し、公知のホワイトバランス処理色補間処理ノイズリダクション処理ガンマ処理マトリックス処理等の信号処理を行う。

0011

図2は、撮像部101の撮像センサが有する複数の受光素子のうち、通常の撮像用の受光素子(撮像用素子610)と焦点検出用の受光素子(焦点検出用素子611)の概略的な構造を示す断面図である。図2では撮像用素子610と焦点検出用素子611をそれぞれ一つのみ示しているが、撮像センサは、二次元配列された複数の撮像用素子610と、所定の方向に配列された複数の焦点検出用素子611とにより、撮像面が形成されている。撮像用素子610は、マイクロレンズ601、カラーフィルタ602、配線層603、光電変換部606により構成されている。焦点検出用素子611は、マイクロレンズ601、カラーフィルタ602、配線層603、遮光部604、光電変換部605により構成されている。焦点検出用素子611の遮光部604は、配線層603を延長することで形成されている。撮像センサは、二次元配列された複数の撮像用素子610と、所定の方向に配列された複数の焦点検出用素子611とにより、撮像面が形成されている。

0012

撮像用素子610では、マイクロレンズ601から入射した光がカラーフィルタ602により所定の波長の光のみ透過され、その透過光が光電変換部606により受光されて電気信号に変換される。このように、撮像用素子610は、撮像光学系の撮像レンズ100の射出瞳全域を通った光束を、光電変換部606により受光するような構成となされている。

0013

一方、焦点検出用素子611では、マイクロレンズ601から入射した光がカラーフィルタ602により所定の波長の光のみ透過され、その透過光が遮光部604により一部遮られてから、光電変換部605により受光されて電気信号に変換される。言い換えると、焦点検出用素子611は、光電変換部605の露光面に入射する光の重心位置が中心からシフトするような構成となされている。このように、焦点検出用素子611は、遮光部604により遮られなかった光、つまり撮像光学系の撮像レンズ100の通過光束の一部のみを、光電変換部605により受光して電気信号に変換する。

0014

図2の場合、焦点検出用素子611は、図の右側に遮光部604が設けられ、左側が開口部607となされた例のみを示しているが、撮像センサには、左側に遮光部が設けられ、右側が開口部となされた焦点検出用素子も配されている。これら遮光部と開口部の配置がそれぞれ逆になされた二つの焦点検出用素子が、撮像レンズ100の射出瞳を2分割する一組の焦点検出用素子となされている。そして、撮像装置は、撮像レンズ100の射出瞳を2分割する一組又は複数組の焦点検出用素子からの信号値を用いた相関処理により、焦点検出用素子位置のデフォーカス量を求めて合焦制御を行う、いわゆる撮像面位相差AF(SAF)が可能となされている。なお、本実施形態の撮像装置では、デフォーカス量の生成処理の他に、デフォーカス量の信頼度生成処理等も行われるが、それらは公知の技術であるためここではその説明については省略する。

0015

以下、瞳分割を行う焦点検出用素子の組とその配置例について、図3図5を用いて説明する。図3は、ベイヤ配列のカラーフィルタにおいて、画像の1画素分の色を決めるための一組のRGBの各カラーフィルタを示している。また、図4は、図3に示したRGBのフィルタ構成繰り返し配列された、いわゆるベイヤ配列の各画素(撮像センサ上の各受光素子に対応した各画素)を示している。図4のR00,R02,・・・はそれぞれRのカラーフィルタに対応した画素であることを表している。同様に、図4のG01,G03,・・・はそれぞれGのカラーフィルタに対応していることを表し、B11,B13,・・・はそれぞれBのカラーフィルタに対応した画素であることを表している。これ以降の説明では、ベイヤ配列のRGBの各カラーフィルタに対応した画素のうち、Rのカラーフィルタに対応した画素をR画素、Gのカラーフィルタに対応した画素をG画素、Bのカラーフィルタに対応した画素をB画素と表記する。

0016

焦点検出用素子は、図4のようなベイヤ配列における横1列の水平方向のラインの中で所定のB画素の位置に配置される。図4の例の場合、図中のBa31、Bb33、Ba35、Bb37で示す各B画素の位置に焦点検出用素子が配されている。また、Ba31とBa35で示す各B画素の位置の焦点検出用素子は、図中の左側が開口部で右側が遮光部となされており、Bb33とBb37の各B画素の位置の焦点検出用素子は、図中右側が開口部で左側が遮光部となされている。この例の場合、例えばBa31とBb33の各B画素の焦点検出用素子が瞳分割を行う一組の焦点検出用素子、同様に、Bb35とBa37の各B画素の焦点検出用素子が瞳分割を行う一組の焦点検出用素子となされている。

0017

ここで、焦点検出用素子は前述したように焦点検出に使用されており、焦点検出用素子では遮光部により遮られなかった光のみを受光して光電変換が行われるため、焦点検出用素子の信号値(レベル)は他の撮像用素子の信号値(レベル)より低くなる。焦点検出用素子の信号をそのまま用いて画像が形成されると、焦点検出用素子の信号値と他の撮像用素子の信号値との差が目立ってしまい、画像の画質が低下してしまう。このため、撮像装置は、焦点検出用素子位置の画素をキズ画素として扱い、後述するようなキズ画素補正処理を行って焦点検出用素子位置の画素の補間信号を生成し、その補間信号により焦点検出用素子位置の信号を置き換えることによりキズ画素補正を行う。

0018

以下、図5図6(a),図6(b)を参照しながら、前述した横1列の水平方向のラインの中に配置された各組の焦点検出用素子位置の補間信号を、キズ画素補正により生成する例について説明する。図5は、ベイヤ配列のRGBの各カラーフィルタに対応した各画素の配置を示した図である。焦点検出用素子は、図5中の横1列の水平方向のラインの中でSa,Sbで示す各画素の位置に配置されており、SaとSbで示す二つの画素に対応した焦点検出用素子は開口部と遮光部の配置が逆になされているとする。同様に、図6(a),図6(b)は、ベイヤ配列のRGBの各カラーフィルタに対応した各画素の配置を示した図であり、図中にSで示す画素が焦点検出用素子である。図6(a),図6(b)では、焦点検出用素子の開口部と遮光部の配置については区別していない。

0019

先ず、高相関画素補正部104による高相関画素補正処理について、図6(a)の図中Sで示される各焦点検出用素子のうち、一つの着目画素501を例に挙げて説明する。
高相関画素補正部104は、焦点検出用素子の着目画素501を中心とした上下左右の四つの隣接したG画素(以下これらを纏めて着目G画素と表記する。)に対応した各撮像用素子の信号値を取得する。また、高相関画素補正部104は、所定の走査範囲の各B画素について、そのB画素を中心とした上下左右の四つの隣接するG画素(以下これらを纏めて走査G画素と表記する。)の撮像用素子の信号値を取得する。図6(a)の例の場合、高相関画素補正部104は、各焦点検出用素子(S)が配列された水平方向のラインに対して、上下にそれぞれ2ライン目の各B画素を中心とした各走査G画素の撮像用素子の信号値が取得される。なお、図6(a)では、走査G画素の一例として、走査G画素503と走査G画素504を挙げている。

0020

そして、高相関画素補正部104は、着目G画素502に対応した各撮像用素子の信号値と、走査G画素(503や504)に対応した各撮像用素子の信号値との間の、差分絶対値和(以下、SADと表記する。)を求める。より具体的には、高相関画素補正部104は、着目G画素502と走査方向505における各走査G画素503との間、及び、着目G画素502と走査方向506における各走査G画素504との間について、SAD値を求める。SADの計算式は、下記式(1)により表される。

0021

SAD=|Gsu-Gbu|+|Gsb-Gbb|+|Gsl-Gbl|+|Gsr-Gbr| 式(1)
なお、式(1)のGsuは着目G画素502のうち、着目画素501の上隣のG画素の撮像用素子の信号値であり、以下同様に、Gsbは下隣のG画素、Gslは左隣のG画素、Gsrは右隣のG画素の、それぞれ撮像用素子の信号値である。また、Gbuは走査G画素(503や504)のうち、中心のB画素に対して上隣のG画素の撮像用素子の信号値であり、以下同様に、Gbbは下隣、Gblは左隣、Gbrは右隣の、各G画素の撮像用素子の信号値である。

0022

高相関画素補正部104は、着目G画素502と、走査方向505及び506の各走査G画素(503や504等)との間で求めたSAD値を基に、着目G画素502に対して最も相関が高い画像領域(相関が最も高い走査G画素)を求める。具体的には、高相関画素補正部104は、SADが最小値となった走査G画素を、最も相関が高い画像領域(走査G画素)として判定する。

0023

高相関画素補正部104は、SAD値が最小値となった走査G画素における四つのG画素の各撮像用素子の信号値と、その中心のB画素の撮像用素子の信号値とを用い、下記式(2)の色比演算により、着目画素501の補正信号を求める。この着目画素501の補正信号は、第1の補正手段における第1の補正信号に相当し、以下の説明では、補正信号Bssと表記する。

0024

Bss=(Gsu+Gsb+Gsl+Gsr)/(Gmu+Gmb+Gml+Gmr)×Bm 式(2)
なお、式(2)のBmはSAD値が最小値となった走査G画素の中心のB画素の撮像用素子の信号値である。また、式(2)のGmuは、SAD値が最小値となった走査G画素の中心のB画素に対して上隣のG画素の撮像用素子の信号値であり、以下同様に、Gmbは下隣、Gmlは左隣、Gmrは右隣の、各G画素の撮像用素子の信号値である。

0025

次に、周辺画素補間部105による周辺画素補間処理について、図6(b)を参照しながら説明する。図6(a)の例と同様に、図6(b)の図中Sで示される各画素がそれぞれ焦点検出用素子に対応した画素であり、以下、着目画素501を例に挙げて説明する。

0026

周辺画素補間部105は、図6(b)に一例として示すように、着目画素501を中心とした5×5画素の周辺領域507の内の6個のB画素に対応した各撮像用素子の信号値を取得する。そして、周辺画素補間部105は、その周辺領域507内の6個のB画素に対応した各撮像用素子の信号値から、式(3)により、着目画素501の補正信号を算出する。この補正信号は、第2の補正手段における第2の補正信号に相当し、以下の説明では補正信号Bshと表記する。

0027

Bsh=(Bul+Bum+Bur+Bbl+Bbm+Bbr)/6 式(3)
なお、式(3)のBulは5×5画素の領域507の中で着目画素501の左上のB画素の撮像用素子の信号値であり、以下同様に、Bumは中央上、Burは右上、Bblは左下、Bbmは中央下、Bbrは右下の、B画素の撮像用素子の信号値である。

0028

次に、倍率色収差ベクトル生成部106による倍率色収差ベクトル生成処理について、図7を参照しながら説明する。図7は、ベイヤ配列のRGBの各カラーフィルタに対応した各画素の配置を示した図であり、図中にSで示す画素が焦点検出用素子である。図7では、焦点検出用素子の開口部と遮光部の配置については区別していない。図7では、図中Sで示される各焦点検出用素子のうち、着目画素701を例に挙げて説明する。

0029

倍率色収差ベクトル生成部106は、着目画素701における倍率色収差ベクトル702を算出して、その倍率色収差ベクトル702における方向と大きさを求める。以下の説明では、倍率色収差ベクトル702の方向を倍率色収差方向と表記し、倍率色収差ベクトル702の大きさを倍率色収差量と表記する。

0030

ここで、着目画素701の倍率色収差ベクトル702は、撮像画像の中心から着目画素701までの距離、すなわち撮像センサの撮像面上における像高により決まっている撮像レンズ100の特性から求めることができる。撮像画像の中心から着目画素701までの距離(像高)は、撮像センサにおける着目画素701の座標(位置)から求められる。

0031

また、倍率色収差ベクトル702は、水平方向の倍率色収差量703と、垂直方向の倍率色収差量704とに、分解(ベクトル分解)できる。本実施形態の場合、前述したように、焦点検出用素子は撮像センサ上で横一列の水平方向に複数配列されており、着目画素701の位置における水平方向の倍率色収差量703は、焦点検出用素子の配列方向の倍率色収差量に相当する。一方、着目画素701の位置における垂直方向の倍率色収差量704は、焦点検出用素子の配列方向に対して直交する方向の倍率色収差量に相当する。

0032

撮像レンズ100の特性と焦点検出用素子位置は既知であり、倍率色収差ベクトル生成部106は、それら撮像レンズ100の特性と焦点検出用素子位置を基に、着目画素701の位置における倍率色収差ベクトル702と倍率色収差方向及び倍率色収差量を求める。なお、各焦点検出用素子に対応した倍率色収差ベクトルと倍率色収差方向及び倍率色収差量の情報は、予め算出しておいて不図示のメモリ等に記憶されていてもよく、この場合、倍率色収差ベクトル生成部106は、メモリからそれらの情報を読み出せばよい。

0033

次に、エッジ検出部107によるエッジ検出処理について、図8(a)〜図8(d)を参照しながら説明する。図8(a)〜図8(d)は、それぞれエッジ検出部107により検出されるエッジの方向の一例についての説明に用いる図である。図8(a)〜図8(d)はRGBの各カラーフィルタに対応した各画素を表しており、図中の太線枠で示される各画素が、画像内のエッジ部を構成している画素であり、太線枠で示される各画素の並び方向がエッジの方向であるとする。また、図8(a)〜図8(d)の中央のB画素が着目画素であり、ここでは着目画素Bと表記する。

0034

エッジ検出部107は、図8(a)〜図8(d)に示すような四つの方向のエッジ成分を検出する。図8(a)は、中央の着目画素Bが水平方向のエッジ部に含まれている例を示している。以下同様に、図8(b)は着目画素Bが右斜め45度の方向のエッジ部に、図8(c)は着目画素Bが垂直方向のエッジ部に、図8(d)は着目画素Bが左斜め45度(右回りの角度で表す場合には135度)の方向のエッジ部に含まれている例を示している。エッジ検出部107は、画像信号に対し、エッジ検出を行いたい方向のLPFローパスフィルタ)をかけ、さらに、垂直方向にHPFハイパスフィルタ)をかけることにより、各エッジ方向別のエッジ成分を抽出する。

0035

このように、エッジ検出部107は、画像信号に対し、図8(a)〜図8(d)のような4方向に対してLPFをかける処理と、垂直方向にHPFをかける処理を行うことで、図8(a)〜図8(d)の四つの各エッジ方向別のエッジ成分を抽出する。そして、エッジ検出部107は、これら四つのエッジ方向別に抽出したエッジ成分について、それぞれエッジ度合を求める。エッジ度合いとは、エッジ部分と非エッジ部分の信号レベルの差、及び、エッジ方向と直交する方向の高帯域成分に応じた値であり、エッジ検出部107は、そのエッジ度合いの値の大きさを求める。LPFやHPFを用いたエッジ成分の抽出処理、エッジ度合いの生成処理は、公知の技術を用いることができるため、それらの詳細な説明は省略する。このようにエッジ検出部107では、着目画素に対して、エッジ方向とエッジ度合を検出する。

0036

次に、MIX部109のMIX処理(合成処理)について説明する。MIX部109は、後述するMIX比算出部108で得られた合成率MIXを用いて、下記式(4)により、高相関画素補正部104の出力(補正信号Bsh)と周辺画素補間部105の出力(補正信号Bss)とを合成した信号を算出する。この合成後の信号は、焦点検出用素子の信号に対する補間処理後の補間信号であり、以下の説明では補間信号MOと表記する。
MO=Bsh×MIX+Bss×(1−MIX) 式(4)

0037

図9は、画素補正部103におけるキズ画素補正処理のうち、倍率色収差ベクトル生成部106、エッジ検出部107、MIX比算出部108にて行われる処理の流れを示すフローチャートである。図9のフローチャートに示した処理は、本実施形態に係るプログラムを、例えばCPUが実行することにより実現されてもよい。本実施形態に係るプログラムは、例えば不図示のROM等に予め用意されていてもよく、また不図示の外部記憶媒体から読み出されたり、不図示のインターネット等のネットワークからダウンロードされたりして、不図示のRAM等にロードされてもよい。以下の説明では、図9の各処理のステップS901〜ステップS912をS901〜S912と略記する。

0038

S901〜S912のループ処理は撮像センサの全画素のうち着目画素に対して行われる処理となされている。画素補正部103は、S902において、着目画素が焦点検出用素子の画素であるか否かを判断する。ここで、撮像センサの焦点検出用素子の位置は前述したように既知であり、位置管理情報の一つとして不図示のメモリ等に予め用意されているため、画素補正部103は、その位置管理情報を基に着目画素が焦点検出用素子の画素であるか否かを判断する。画素補正部103は、S902において、着目画素が焦点検出用素子の画素であると判断した場合にはS903に処理を進め、焦点検出用素子の画素でないと判断した場合にはS912により次の画素に対する処理に移行させる。

0039

S903の処理は、倍率色収差ベクトル生成部106にて行われる。倍率色収差ベクトル生成部106は、S903において、図7にて説明したように、焦点検出用素子の着目画素について、倍率色収差ベクトルを求め、その倍率色収差ベクトルから倍率色収差方向及び倍率色収差量を算出する。S903の後、画素補正部103は、S904に処理を進める。

0040

S904の処理は、エッジ検出部107にて行われる。エッジ検出部107は、S904において、図8(a)〜図8(d)にて説明したように、焦点検出用素子の着目画素におけるエッジ方向とエッジ度合を検出する。S904の後、画素補正部103は、S905に処理を進める。

0041

S905以降の処理は、MIX比算出部108にて行われる。S905において、MIX比算出部108は、S903で求められた倍率色収差方向とS904で求められたエッジ方向との間の角度と、所定の第1の角度閾値TH_DEG1とを比較する。所定の第1の角度閾値TH_DEG1は、一例として2度など、倍率色収差方向とエッジ方向とが同一方向か又は略々同じ方向と考えられるか否かを判断可能な角度となされている。そして、MIX比算出部108は、倍率色収差方向とエッジ方向との間の角度が第1の角度閾値TH_DEG1より小さい場合、つまり倍率色収差方向とエッジ方向が同一方向か又は略々同じ方向と考えられる場合、S911に処理を進める。一方、MIX比算出部108は、倍率色収差方向とエッジ方向との間の角度が第1の角度閾値以上(TH_DEG1以上)である場合、つまり倍率色収差方向とエッジ方向が異なっていると考えられる場合には、S906に処理を進める。

0042

S911の処理に進んだ場合、MIX比算出部108は、合成率MIX=1と定義する。合成率MIXは、前述したように、MIX部109が式(4)により補正信号Bshと補正信号Bssとを合成して着目画素の補間信号MOを求める際に用いられる値である。S911では、合成率MIX=1となされるので、この場合、補間信号MOの値は、高相関画素補正部104の出力信号値そのものとなる。S911の後、画素補正部103は、S912に処理を進める。

0043

S906の処理に進んだ場合、MIX比算出部108は、エッジ方向が水平方向か否かを判定する。本実施形態では、前述の図4図5(a),図5(b)等で説明したように焦点検出用素子が水平方向に配列されているため、S906において、MIX比算出部108は、エッジ方向が焦点検出用素子の配置方向と同じ方向か否かを判定する。MIX比算出部108は、エッジ方向が水平方向であると判定した場合にはS907に処理を進め、一方、エッジ方向が水平方向でないと判定した場合にはS908に処理を進める。なお、ここではエッジ方向と水平方向とが一致している否かを判定しているが、例えばエッジ方向と水平方向との成す角度が、予め決めた角度閾値より小さい場合に、エッジ方向が水平方向であると判定してもよい。

0044

S907の処理に進んだ場合、MIX比算出部108は、S903で倍率色収差ベクトル生成部106が求めた図7の水平方向の倍率色収差量(703)と、所定の収差量閾値TH_PIX1とを比較する。所定の収差量閾値TH_PIX1は、一例として2画素分の幅に相当する値など、水平方向の倍率色収差量が殆どないと考えられるか否かを判断可能な値となされている。そしてMIX比算出部108は、水平方向の倍率色収差量(703)が収差量閾値TH_PIX1より小さい場合、つまり水平方向の倍率色収差量(703)が殆ど無い(又は非常に少ない)場合にはS911に進む。一方、MIX比算出部108は、水平方向の倍率色収差量(703)が収差量閾値TH_PIX1以上である場合、つまり、水平方向の倍率色収差量(703)がある程度の量以上ある場合にはS908に処理を進める。

0045

S908の処理に進んだ場合、MIX比算出部108は、S903で倍率色収差ベクトル生成部106が求めた倍率色収差方向とS904でエッジ検出部107が求めたエッジ方向との間の角度と、所定の第2の角度閾値TH_DEG2とを比較する。所定の第2の角度閾値TH_DEG2は、一例として45度のように、エッジ方向と倍率色収差方向が異なっていて、それらエッジ方向と倍率色収差方向との間の角度がある程度以上大きい角度になっていると考えられるか否かを判断可能な角度となされている。そして、MIX比算出部108は、倍率色収差方向とエッジ方向との間の角度が第2の角度閾値TH_DEG2より大きい場合にはS909に処理を進める。一方、MIX比算出部108は、倍率色収差の方向とエッジ方向との間の角度が第2の角度閾値以下(TH_DEG2以下)である場合にはS910に処理を進める。

0046

S909の処理に進んだ場合、MIX比算出部108は合成率MIX=0とする。この場合、前述の式(4)による補間信号MOの値は、周辺画素補間部105の出力信号値そのものとなる。S909の後、画素補正部103は、S912に処理を進める。

0047

S910の処理に進んだ場合、MIX比算出部108は、下記式(5)、又は、下記式(6)により、合成率MIXを求める。
MIX=α×DEG×ED 式(5)
MIX=α×HMA×ED 式(6)
ここで、式(5)のDEGは着目画素の位置(焦点検出用素子位置)における倍率色収差方向とエッジ方向との成す角度である。また、式(6)のHMAは水平方向の倍率色収差量である。式(5)と式(6)のEDはS904でエッジ検出部107が求めた着目画素におけるエッジ度合いを表す値である。式(5)のαはDEGとEDのレンジを合成率MIXのとり得る範囲(0〜1)に合わせる際の正規化係数であり、式(6)のαはHMAとEDのレンジを合成率MIXのとり得る範囲(0〜1)に合わせる際の正規化係数である。S910の後、画素補正部103は、S912に処理を進める。

0048

S912では、画素補正部103は、着目画素が画像の最終端の画素でなければS901に処理を戻して次の画素に対する処理に進み、最終端の画素であれば図9のフローチャートの処理を終了させる。

0049

以上説明したように、画素補正部103は、高相関画素補正部104と周辺画素補間部105により補正信号Bsh,Bssを求める。また、画素補正部103は、焦点検出用素子の画素位置における倍率色収差量や倍率色収差方向と、エッジ方向及びエッジ度合いとを基に、合成率MIXを算出している。さらに画素補正部103は、この合成率MIXを基に、高相関画素補正部104の補正信号Bshと周辺画素補間部105の補正信号BssとをMIX部109で合成して、焦点検出用素子の画素の補間信号MOを算出する。そして、MIX部109では、焦点検出用素子位置の信号を補間信号MOにより更新する。このように、画素補正部103は、焦点検出用素子の画素について、倍率色収差方向や倍率色収差量と、エッジ方向及びエッジ度合いとに応じた、より正確なキズ画素補正が可能となされている。これにより、本実施形態の撮像装置は、焦点検出用素子を有する撮像センサの画素補正性能を向上させることが可能となり、撮像用素子の信号レベルと焦点検出用素子位置の信号レベルの差が目立たない、良好な画質の画像を生成可能となる。

0050

なお、本実施形態では、焦点検出用素子が水平方向に複数配列された例を挙げているが、焦点検出用素子は、撮像センサ上で例えば図10(a)〜図10(c)のように配列されていてもよい。図10(a)は、焦点検出用素子が垂直方向に配列された例を示しており、図10(b)は焦点検出用素子が右斜め45度方向に、図10(c)は焦点検出用画素を左斜め45度(右回り方向では斜め135度)方向に配列された例を示している。これら図10(a)〜図10(c)の例において、補間信号を求める詳細なアルゴリズムは、前述した実施形態の例とは、焦点検出用素子の配列方向が異なるのみで処理は同一であるため、その詳細な説明については省略する。

0051

また、前述の実施形態では、高相関画素補正部104で着目G画素と走査G画素との間の相関を求める方法として、走査G画素のSAD値が最小の値となるものを最も相関が高いとしたが、SAD値以外の値により相関が求められてもよい。また、前述の実施形態では、相関を求める際に、前述の図6(a)のように焦点検出用素子(501)が配列された水平ラインに対して上下の水平方向のラインの走査方向について探索したが、探索範囲はその例に限定されず、より広い範囲になされてもよい。また、本実施形態では、周辺画素補間部105が前述の図6(b)に示した5×5画素の周辺領域507の6個のB画素から補正信号Bshを求めたが、その他に、例えば9×5画素の領域の5個のB画素等の平均値から補正信号を求めるようにしてもよい。

0052

<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。

0053

上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

0054

101撮像部、102 A/D変換部、103画素補正部、104 高相関画素補正部、105周辺画素補間部、106倍率色収差ベクトル生成部、107エッジ検出部、108MIX比算出部、109MIX部、110信号処理部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ