図面 (/)

技術 画像処理装置、撮像装置及び画像処理方法

出願人 オリンパス株式会社
発明者 福田崇徳
出願日 2012年3月9日 (9年7ヶ月経過) 出願番号 2012-052853
公開日 2013年9月19日 (8年0ヶ月経過) 公開番号 2013-187811
状態 特許登録済
技術分野 イメージ入力 カラーテレビジョン画像信号発生装置
主要キーワード ハニカム状配列 シフトピッチ 重複関係 シフト間隔 相関度合い シフト撮影 中間画素値 線形変化
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2013年9月19日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (15)

課題

少ないシフト回数高解像度の画像を取得可能な画像処理装置撮像装置及び画像処理方法等を提供すること。

解決手段

撮像素子112の受光面と、受光面に入射する結像との相対的な位置を順次シフトしながら撮像された複数の画像を取得する画像取得部と、複数の画像の各画像よりも画素数が大きい高解像画像を、複数の画像に基づいて推定する推定演算部132と、を含む。撮像素子112には、第1色の色フィルタを有する画素と第2色の色フィルタを有する画素とが少なくとも配列される。推定演算部132は、複数の画像を構成する第1色の画素値と第2色の画素値とが高相関であると判定した場合、高解像画像の第1色の画素値を、複数の画像を構成する第2色の画素値に基づいて推定する。

概要

背景

撮像素子高画素化が進み、高い解像度での撮影が可能となってきている。しかしながら、高画素化にともなって単純に画素サイズを小さくした場合、画素当たりの光量は減少するため一般にはS/Nが悪化するなどの影響があり、一概に良い画質が得られるとは言えない。そこで、画素シフト方式の撮影手法が提案されている(例えば特許文献1、特許文献2)。この手法では、画素サイズをそのままにサンプリング間隔だけを画素サイズよりも小さくできるため、同じ画素サイズの撮像素子を用いて画素シフトを行わずに撮影した場合に比べて、S/Nはそのままに解像度の高い画像を得ることが可能である。

概要

少ないシフト回数高解像度の画像を取得可能な画像処理装置撮像装置及び画像処理方法等を提供すること。撮像素子112の受光面と、受光面に入射する結像との相対的な位置を順次シフトしながら撮像された複数の画像を取得する画像取得部と、複数の画像の各画像よりも画素数が大きい高解像画像を、複数の画像に基づいて推定する推定演算部132と、を含む。撮像素子112には、第1色の色フィルタを有する画素と第2色の色フィルタを有する画素とが少なくとも配列される。推定演算部132は、複数の画像を構成する第1色の画素値と第2色の画素値とが高相関であると判定した場合、高解像画像の第1色の画素値を、複数の画像を構成する第2色の画素値に基づいて推定する。

目的

効果

実績

技術文献被引用数
0件
牽制数
3件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

撮像素子受光面と、前記受光面に入射する結像との相対的な位置を順次シフトしながら撮像された複数の画像を取得する画像取得部と、前記複数の画像の各画像よりも画素数が多い高解像画像を、前記複数の画像に基づいて推定する推定演算部と、を備え、前記撮像素子には、第1色の色フィルタを有する画素と第2色の色フィルタを有する画素とが少なくとも配列され、前記推定演算部は、前記複数の画像を構成する前記第1色の画素値と前記第2色の画素値とが高相関であると判定した場合、前記高解像画像の前記第1色の画素値を、前記複数の画像を構成する前記第2色の画素値に基づいて推定することを特徴とする画像処理装置

請求項2

請求項1において、前記複数の画像を構成する画素値を、前記シフトに対応する画素位置に配置した画像である合成画像は、前記第2色の隣り合う2画素を少なくとも有し、前記推定演算部は、前記第1色の画素値と前記第2色の画素値とが前記高相関であると判定した場合、前記2画素間での前記第1色の画素値の差分を、前記2画素間での前記第2色の画素値の差分により求め、前記求めた差分に基づいて前記推定を行うことを特徴とする画像処理装置。

請求項3

請求項2において、前記合成画像は、前記2画素の両隣りに前記第1色の画素を有し、前記推定演算部は、前記複数の画像を構成する前記第1色の画素値と前記第2色の画素値とが低相関であると判定した場合、前記2画素間での前記第1色の画素値の差分を、前記両隣りの画素間での前記第1色の画素値の差分により求めることを特徴とする画像処理装置。

請求項4

請求項2又は3において、前記2画素である第1画素及び第2画素の画素値は、それぞれ前記高解像画像での複数の画素の加算値に対応し、前記第1画素に対応する複数の画素と前記第2画素に対応する複数の画素とは、共通の画素を有し、前記推定演算部は、前記第2画素に対応する複数の画素から前記共通の画素を除いた画素の画素値を加算した値と、前記第1画素に対応する複数の画素から前記共通の画素を除いた画素の画素値を加算した値との差分を、前記求めた2画素間での前記第1色の画素値の差分により求めることを特徴とする画像処理装置。

請求項5

請求項1乃至4のいずれかにおいて、前記画像取得部は、前記相対的な位置の基準位置で撮像された第1画像と、前記基準位置から水平走査方向に1/2画素ピッチだけシフトされた位置で撮像された第2画像と、前記基準位置から垂直走査方向に前記1/2画素ピッチだけシフトされた位置で撮像された第3画像と、前記基準位置から前記水平走査方向に前記1/2画素ピッチだけシフトされ前記垂直走査方向に前記1/2画素ピッチだけシフトされた位置で撮像された第4画像とを、前記複数の画像として取得し、前記推定演算部は、前記取得した画像の4倍の画素数の画像を、前記高解像画像として推定することを特徴とする画像処理装置。

請求項6

請求項5において、前記撮像素子には、前記第1色の色フィルタを有する画素と前記第2色の色フィルタを有する画素とが、前記水平走査方向に沿って交互に配列され、前記第1〜第4画像を構成する画素値を、前記シフトに対応する画素位置に配置した画像である合成画像には、前記第1色の2×2画素の画素値と前記第2色の2×2画素の画素値とが、前記水平走査方向に沿って交互に配列され、前記推定演算部は、前記合成画像の各画素での前記第1色及び前記第2色の画素値を、前記高解像画像の画素値として推定することを特徴とする画像処理装置。

請求項7

請求項5又は6において、前記推定演算部は、前記高解像画像での前記垂直走査方向に沿って並ぶ2画素の画素値を加算した値である中間画素値を、前記第1〜第4画像の画素値に基づいて求め、前記中間画素値に基づいて前記高解像画像の画素値を推定することを特徴とする画像処理装置。

請求項8

請求項7において、前記水平走査方向に沿って並ぶ第1〜第3の中間画素値のうち前記第1、第2の中間画素値の加算値は、前記合成画像を構成する第1色の画素値である第1画素値に対応し、前記第2、第3の中間画素値の加算値は、前記第1画素値の隣の第1色の画素値である第2画素値に対応し、前記推定演算部は、前記第1〜第3の中間画素値が前記水平走査方向に沿って線形変化すると仮定した場合の前記第1〜第3の中間画素値と真値との誤差である第1誤差を求め、求めた前記第1誤差により前記第1〜第3の中間画素値を決定することを特徴とする画像処理装置。

請求項9

請求項8において、前記推定演算部は、前記第1色の画素値と前記第2色の画素値とが前記高相関であると判定した場合、前記水平走査方向に沿って並ぶ前記第1〜第3の中間画素値及び第4、第5の中間画素値のうち前記第3、第5の中間画素値の差分である第1差分を、前記第2画素値と第1画素値との差分により求め、求めた前記第1差分を満たすように前記第1誤差を決定することを特徴とする画像処理装置。

請求項10

請求項9において、前記推定演算部は、前記水平走査方向に沿って並ぶ前記第1〜第5の中間画素値及び第6〜第11の中間画素値のうち第5〜第7の中間画素値について第2誤差を求め、第9〜第11の中間画素値について第3誤差を求め、第7、第9の中間画素値について第2差分を求め、前記第1、第2差分を満たすとともに前記第1〜第3誤差の二乗和が最小となるように前記第1〜第3誤差を決定することを特徴とする画像処理装置。

請求項11

請求項1乃至10のいずれかにおいて、前記推定演算部は、前記複数の画像を構成する画素値を、前記シフトに対応する画素位置に配置した画像である合成画像で、推定対象画素周辺に位置する前記第1色の画素値と前記第2色の画素値との間の相関値を求め、前記相関値が第1閾値よりも大きく第2閾値よりも小さい場合に前記第1色の画素値と前記第2色の画素値とが前記高相関であると判定することを特徴とする画像処理装置。

請求項12

請求項1乃至11のいずれかにおいて、前記撮像素子は、2×2画素で構成されるユニット繰り返し配列された色フィルタを有することを特徴とする画像処理装置。

請求項13

請求項12において、前記色フィルタは、RGBベイヤ配列の色フィルタであることを特徴とする画像処理装置。

請求項14

請求項1乃至13のいずれかに記載された画像処理装置と、前記撮像素子と、を含むことを特徴とする撮像装置

請求項15

第1配列の色フィルタを有する撮像素子と、前記撮像素子の受光面と、前記受光面に入射する結像との相対的な位置を順次シフトする制御を行うシフト制御部と、前記シフトしながら撮像された複数の画像の各画像よりも画素数が大きい高解像画像を、前記複数の画像に基づいて推定する推定演算部と、を含み、前記シフト制御部は、前記複数の画像を構成する画素値を、前記シフトに対応する画素位置に配置した場合に、前記第1配列とは異なる第2配列となるように前記シフト制御を行い、前記推定演算部は、前記第2配列の画素値に基づいて、前記高解像画像の各色の画素値を推定することを特徴とする撮像装置。

請求項16

請求項15において、前記第1配列は、RGBベイヤ配列であり、前記第2配列は、2×2画素のR画素値と、2組の2×2画素のG画素値と、2×2画素のB画素値とで構成される4×4画素のユニットが繰り返された配列であることを特徴とする撮像装置。

請求項17

撮像素子に、第1色の色フィルタを有する画素と第2色の色フィルタを有する画素とが少なくとも配列される場合に、前記撮像素子の受光面と、前記受光面に入射する結像との相対的な位置を順次シフトしながら撮像された複数の画像を取得し、前記複数の画像を構成する前記第1色の画素値と前記第2色の画素値とが高相関であると判定した場合、高解像画像の前記第1色の画素値を、前記複数の画像を構成する前記第2色の画素値に基づいて推定し、前記複数の画像の各画像よりも画素数が多い前記高解像画像を推定することを特徴とする画像処理方法

技術分野

0001

本発明は、画像処理装置撮像装置及び画像処理方法等に関する。

背景技術

0002

撮像素子高画素化が進み、高い解像度での撮影が可能となってきている。しかしながら、高画素化にともなって単純に画素サイズを小さくした場合、画素当たりの光量は減少するため一般にはS/Nが悪化するなどの影響があり、一概に良い画質が得られるとは言えない。そこで、画素シフト方式の撮影手法が提案されている(例えば特許文献1、特許文献2)。この手法では、画素サイズをそのままにサンプリング間隔だけを画素サイズよりも小さくできるため、同じ画素サイズの撮像素子を用いて画素シフトを行わずに撮影した場合に比べて、S/Nはそのままに解像度の高い画像を得ることが可能である。

先行技術

0003

特開平11−18097号公報
特開2005−143031号公報

発明が解決しようとする課題

0004

しかしながら、画素シフト方式の撮影手法では、解像度の高い画像を得られる反面、複数回の撮影を行うため撮影時間が長くなるという課題がある。シフトピッチを小さくするほど解像度は上がるため、高い解像度の画像を画素シフト撮影で得るためには、一般に多くの回数撮影する必要がある。

0005

例えば特許文献1には、2/3画素ピッチ水平走査方向及び垂直走査方向にそれぞれ3回ずつ、計9回のシフト撮影を行い、シフト撮影後のカラーデータを元のカラーデータと同じ配列にする手法が開示されている。また特許文献2には、1画素ピッチで垂直方向に1回及び1/2画素ピッチで斜め方向に4回の、計5回のシフト撮影を行い、ハニカム状配列のカラーデータを取得する手法が開示されている。また、1/2画素ピッチで水平走査方向及び垂直走査方向に4回ずつ、計16回のシフト撮影を行う手法や、1/3画素ピッチで水平及び垂直方向に6回ずつ、計36回のシフト撮影を行う手法が、従来から知られている。

0006

しかしながら、特許文献1の手法ではカラーフィルタ同一配列の画像を得るため、特許文献2の手法ではハニカム状配列の画像を得るため、従来から知られる手法では各画素に全色の画素値を取得するため、シフト撮影の回数が多くなっている。被写体が時間とともに変化する場合(例えば被写体の蛍光を観察する場合や、被写体が動体である場合など)には、撮影時間が長くなると撮影中に被写体が変化してしまい、画質劣化を招いてしまう。

0007

本発明の幾つかの態様によれば、少ないシフト回数高解像度の画像を取得可能な画像処理装置、撮像装置及び画像処理方法等を提供できる。

課題を解決するための手段

0008

本発明の一態様は、撮像素子の受光面と、前記受光面に入射する結像との相対的な位置を順次シフトしながら撮像された複数の画像を取得する画像取得部と、前記複数の画像の各画像よりも画素数が多い高解像画像を、前記複数の画像に基づいて推定する推定演算部と、を含み、前記撮像素子には、第1色の色フィルタを有する画素と第2色の色フィルタを有する画素とが少なくとも配列され、前記推定演算部は、前記複数の画像を構成する前記第1色の画素値と前記第2色の画素値とが高相関であると判定した場合、前記高解像画像の前記第1色の画素値を、前記複数の画像を構成する前記第2色の画素値に基づいて推定する画像処理装置に関係する。

0009

本発明の一態様によれば、第1色の色フィルタを有する画素と第2色の色フィルタを有する画素とが少なくとも配列された撮像素子により画素シフト撮影が行われ、第1色の画素値と第2色の画素値とが高相関であると判定された場合、第2色の画素値に基づいて高解像画像の第1色の画素値が推定される。これにより、少ないシフト回数で高解像度の画像を取得することが可能になる。

0010

また本発明の一態様では、前記複数の画像を構成する画素値を、前記シフトに対応する画素位置に配置した画像である合成画像は、前記第2色の隣り合う2画素を少なくとも有し、前記推定演算部は、前記第1色の画素値と前記第2色の画素値とが前記高相関であると判定した場合、前記2画素間での前記第1色の画素値の差分を、前記2画素間での前記第2色の画素値の差分により求め、前記求めた差分に基づいて前記推定を行ってもよい。

0011

また本発明の一態様では、前記合成画像は、前記2画素の両隣りに前記第1色の画素を有し、前記推定演算部は、前記複数の画像を構成する前記第1色の画素値と前記第2色の画素値とが低相関であると判定した場合、前記2画素間での前記第1色の画素値の差分を、前記両隣りの画素間での前記第1色の画素値の差分により求めてもよい。

0012

また本発明の一態様では、前記2画素である第1画素及び第2画素の画素値は、それぞれ前記高解像画像での複数の画素の加算値に対応し、前記第1画素に対応する複数の画素と前記第2画素に対応する複数の画素とは、共通の画素を有し、前記推定演算部は、前記第2画素に対応する複数の画素から前記共通の画素を除いた画素の画素値を加算した値と、前記第1画素に対応する複数の画素から前記共通の画素を除いた画素の画素値を加算した値との差分を、前記求めた2画素間での前記第1色の画素値の差分により求めてもよい。

0013

また本発明の一態様では、前記画像取得部は、前記相対的な位置の基準位置で撮像された第1画像と、前記基準位置から水平走査方向に1/2画素ピッチだけシフトされた位置で撮像された第2画像と、前記基準位置から垂直走査方向に前記1/2画素ピッチだけシフトされた位置で撮像された第3画像と、前記基準位置から前記水平走査方向に前記1/2画素ピッチだけシフトされ前記垂直走査方向に前記1/2画素ピッチだけシフトされた位置で撮像された第4画像とを、前記複数の画像として取得し、前記推定演算部は、前記取得した画像の4倍の画素数の画像を、前記高解像画像として推定してもよい。

0014

また本発明の一態様では、前記撮像素子には、前記第1色の色フィルタを有する画素と前記第2色の色フィルタを有する画素とが、前記水平走査方向に沿って交互に配列され、前記第1〜第4画像を構成する画素値を、前記シフトに対応する画素位置に配置した画像である合成画像には、前記第1色の2×2画素の画素値と前記第2色の2×2画素の画素値とが、前記水平走査方向に沿って交互に配列され、前記推定演算部は、前記合成画像の各画素での前記第1色及び前記第2色の画素値を、前記高解像画像の画素値として推定してもよい。

0015

また本発明の一態様では、前記推定演算部は、前記高解像画像での前記垂直走査方向に沿って並ぶ2画素の画素値を加算した値である中間画素値を、前記第1〜第4画像の画素値に基づいて求め、前記中間画素値に基づいて前記高解像画像の画素値を推定してもよい。

0016

また本発明の一態様では、前記水平走査方向に沿って並ぶ第1〜第3の中間画素値のうち前記第1、第2の中間画素値の加算値は、前記合成画像を構成する第1色の画素値である第1画素値に対応し、前記第2、第3の中間画素値の加算値は、前記第1画素値の隣の第1色の画素値である第2画素値に対応し、前記推定演算部は、前記第1〜第3の中間画素値が前記水平走査方向に沿って線形変化すると仮定した場合の前記第1〜第3の中間画素値と真値との誤差である第1誤差を求め、求めた前記第1誤差により前記第1〜第3の中間画素値を決定してもよい。

0017

また本発明の一態様では、前記推定演算部は、前記第1色の画素値と前記第2色の画素値とが前記高相関であると判定した場合、前記水平走査方向に沿って並ぶ前記第1〜第3の中間画素値及び第4、第5の中間画素値のうち前記第3、第5の中間画素値の差分である第1差分を、前記第2画素値と第1画素値との差分により求め、求めた前記第1差分を満たすように前記第1誤差を決定してもよい。

0018

また本発明の一態様では、前記推定演算部は、前記水平走査方向に沿って並ぶ前記第1〜第5の中間画素値及び第6〜第11の中間画素値のうち第5〜第7の中間画素値について第2誤差を求め、第9〜第11の中間画素値について第3誤差を求め、第7、第9の中間画素値について第2差分を求め、前記第1、第2差分を満たすとともに前記第1〜第3誤差の二乗和が最小となるように前記第1〜第3誤差を決定してもよい。

0019

また本発明の一態様では、前記推定演算部は、前記複数の画像を構成する画素値を、前記シフトに対応する画素位置に配置した画像である合成画像で、推定対象画素周辺に位置する前記第1色の画素値と前記第2色の画素値との間の相関値を求め、前記相関値が第1閾値よりも大きく第2閾値よりも小さい場合に前記第1色の画素値と前記第2色の画素値とが前記高相関であると判定してもよい。

0020

また本発明の一態様では、前記撮像素子は、2×2画素で構成されるユニット繰り返し配列された色フィルタを有してもよい。

0021

また本発明の一態様では、前記色フィルタは、RGBベイヤ配列の色フィルタであってもよい。

0022

また本発明の他の態様は、上記のいずれかに記載された画像処理装置と、前記撮像素子と、を含む撮像装置に関係する。

0023

また本発明の更に他の態様は、第1配列の色フィルタを有する撮像素子と、前記撮像素子の受光面と、前記受光面に入射する結像との相対的な位置を順次シフトする制御を行うシフト制御部と、前記シフトしながら撮像された複数の画像の各画像よりも画素数が大きい高解像画像を、前記複数の画像に基づいて推定する推定演算部と、を含み、前記シフト制御部は、前記複数の画像を構成する画素値を、前記シフトに対応する画素位置に配置した場合に、前記第1配列とは異なる第2配列となるように前記シフト制御を行い、前記推定演算部は、前記第2配列の画素値に基づいて、前記高解像画像の各色の画素値を推定する撮像装置に関係する。

0024

また本発明の更に他の態様では、前記第1配列は、RGBベイヤ配列であり、前記第2配列は、2×2画素のR画素値と、2組の2×2画素のG画素値と、2×2画素のB画素値とで構成される4×4画素のユニットが繰り返された配列であってもよい。

0025

また本発明の更に他の態様は、撮像素子に、第1色の色フィルタを有する画素と第2色の色フィルタを有する画素とが少なくとも配列される場合に、前記撮像素子の受光面と、前記受光面に入射する結像との相対的な位置を順次シフトしながら撮像された複数の画像を取得し、前記複数の画像を構成する前記第1色の画素値と前記第2色の画素値とが高相関であると判定した場合、高解像画像の前記第1色の画素値を、前記複数の画像を構成する前記第2色の画素値に基づいて推定し、前記複数の画像の各画像よりも画素数が多い前記高解像画像を推定する画像処理方法に関係する。

図面の簡単な説明

0026

本実施形態における撮像装置の構成例。
画素シフト手法についての説明図。
推定処理フローチャート
画像合成処理についての説明図。
図5(A)、図5(B)は、色相関度の算出処理についての説明図。
図6(A)、図6(B)は、画素値と推定画素値についての説明図。
画素推定処理についての説明図。
画素推定処理についての説明図。
色相関度が低い場合の画素推定処理についての説明図。
色X=Gの場合の画素推定処理についての説明図。
色X=Rの場合の画素推定処理についての説明図。
色X=Rの場合の画素推定処理についての説明図。
色X=Rの場合の画素推定処理についての説明図。
図14(A)〜図14(C)は、撮像画像の例。

実施例

0027

以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。

0028

1.撮像装置
図1に、本実施形態の撮像装置の構成例を示す。図1の撮像装置100は、撮像系110、制御部120、バス121、画素シフト駆動部122(画素シフト機構)、A/D変換部123、メモリコントローラ124、メモリ125、外部インターフェース126、信号処理部130を含む。

0029

撮像装置100は、光学的な画像情報電気信号に変換し、その電気信号に変換された画像情報を電子的に記録媒体に記録する装置である。撮像装置100として、例えばデジタルスチルカメラや、デジタルムービーカメラなどが想定される。

0030

撮像系110は、撮像光学系111と撮像素子112とを含む。撮像素子112は、撮像光学系111によって結像された光を撮像する。撮像素子112は、いわゆるベイヤ配列のカラーフィルタを有する。ベイヤ配列とは、2×2画素を1ユニットとする配列である。1ユニットは、R(赤)色の光を透過するカラーフィルタを有する1画素と、G(緑)色の光を透過するカラーフィルタを有する2画素と、B(青)色の光を透過するカラーフィルタを有する1画素とで構成される。なお、撮像素子112のカラーフィルタは上記に限定されず、RGB以外の色が配列されたカラーフィルタであってもよいし、ベイヤ配列以外の配列のカラーフィルタであってもよい。例えば、CMY(補色)の画素が配列されたカラーフィルタであってもよい。

0031

画素シフト駆動部122は、制御部120からの制御信号に基づいて、撮像系110を画素シフトさせる駆動を行う。画素シフト駆動部122は、例えば撮像素子112を動かすことで画素シフトを実現する。又は撮像素子112を固定し、画素シフト駆動部122が撮像光学系111を動かすことで光束を動かし、画素シフトを実現してもよい。画素シフト手法については後で詳細に説明する。

0032

A/D変換部123は、撮像素子112からのアナログ信号デジタルデータに変換し、メモリコントローラ124は、そのデジタルデータをメモリ125に保存する。例えば、画素シフトを行いながら、A/D変換と保存が逐次に行われる。メモリコントローラ124は、メモリ125に保存されたデジタルデータの画像を、バス121を介して信号処理部130に送信する。

0033

信号処理部130は、前段処理部131、推定演算部132、後段処理部133を含む。前段処理部131は、例えば画像からブラックオフセットを除く処理や、画像のホワイトバランスをとる処理などの前段処理を行う。推定演算部132は、前段処理後の画像に基づいて高解像の画像を推定により求める。この推定処理は、画素シフトの効果を考慮して行う。推定処理については後で詳細に説明する。後段処理部133は、例えば推定処理後の画像に対する色補正処理ガンマ補正処理などの後段処理を行う。後段処理部133は、後段処理後の画像を、バス121を介して制御部120に送信する。

0034

制御部120は、撮像装置100の各部の制御を行う。また制御部120は、後段処理部133からの画像を、外部インターフェース126を介して外部のPC140に送信する。PC140は、受信した画像のモニタ表示や、記録媒体への記録などを行う。なお、本実施形態では、撮像装置100が、画像を表示するモニタ表示部や、画像を記録媒体へ記録する記録制御部を含み、撮像装置100がモニタ表示や記録媒体への記録を行ってもよい。

0035

ここで、図1では撮像装置100が推定処理を行う場合を例に説明したが、本実施形態では、撮像装置100と別体の情報処理装置(例えばPC140)が推定処理を行ってもよい。この場合、前段処理後の画像を外部インターフェース126を介して情報処理装置に転送し、その画像に対して推定処理を行い、高解像画像を生成すればよい。

0036

2.画素シフト手法
図2を用いて、本実施形態における画素シフトの手法について説明する。図2に示すように、撮像素子の画素ピッチをpとし、撮像における水平走査方向をx’とし、撮像における垂直走査方向をy’とする。ハッチングを施した四角は撮像素子112のRGB画素を表し、画素配列はベイヤ配列である。点線の四角は、第1位置PS1を表している。

0037

画素シフトは、撮像光学系111により結像された被写体像と、撮像素子112の受光面との相対的な位置関係を、シフトする動作である。その相対的な位置の基準となる位置を第1位置PS1とすると、第2位置PS2は、第1位置PS1からx’方向に1/2画素ピッチだけシフトされた位置である。第3位置PS3は、第1位置PS1からy’方向に1/2画素ピッチだけシフトされた位置であり、第4位置PS4は、第1位置PS1からx’方向に1/2画素ピッチ及びy’方向に1/2画素ピッチだけシフトされた位置である。本実施形態では、これらの位置PS1〜PS4に順次シフトし、各位置において撮像を行うことにより、画素シフト撮影を行う。

0038

このように本実施形態では、シフト間隔は1/2画素であり、そのシフト間隔で水平走査方向及び垂直走査方向にそれぞれ2回ずつシフトし、計4回の撮影を行う。なお、位置PS1〜PS4のシフト順番は任意であり、必ずしもPS1、PS2、PS3、PS4の順である必要はない。

0039

3.推定処理
図3に、推定演算部132が行う推定処理のフローチャートを示す。図3の推定処理が開始されると、ステップS1に示すように、位置PS1〜PS4で撮像された4枚の撮影画像データを1枚の画像データに合成する。合成した1枚の画像データはメモリに展開され、その画像データをステップS2以降の画像処理において参照する。ステップS1の処理については図4で詳細に後述する。なお、本実施形態ではステップS1の画像合成を必ずしも行う必要はなく、例えばメモリ上に4枚の画像データを別個に展開し、その4枚の画像データの中から処理に必要な画素データを、ステップS2以降の画像処理において参照してもよい。

0040

次にステップS2に示すように、処理対象の画素(又はその画素を含む領域)毎に色相関度Cを算出する。色相関度Cは、後段の推定処理において、異なる2色(後述する色Xと色Y)の間で空間的な画素値の変化が等しいか否かを判定するために用いるための指標であり、本実施形態では、処理領域における2色の分散値の比を色相関度Cとして用いる。ステップS2の処理については図5(A)等で詳細に後述する。なお、色相関度Cは、2色の分散値の比に限定されず、異なる2色の間での空間的な画素値変化相関度合いを評価できる指標であればよい。例えば、マッチドフィルタによる相関値を指標としてもよい。この場合、領域毎にFFTを施し、周波数領域において2色の間の相関値を求め、その相関値を色相関度Cとして用いる。

0041

次にステップS3に示すように、色相関度Cが所定条件を満たすか否かを判定する。具体的には、色相関度Cが1に近い値であれば2色の間の相関が高く、C<<1又は1<<Cであれば相関が低いと考えられる。本実施形態では、閾値C0(<1)、C1(>1)を設定し、C0<C<C1を満たす場合に2色が高相関であると判定する。

0042

なお、本実施形態では、2色が高相関であるか否かの判定は推定演算部132で行うが、本実施形態はこれに限定されず、別途判定部を設けて2色が高相関であるか否かを判定してもよい。

0043

ステップS3において2色が高相関であると判定した場合には、ステップS4に示すように、色相関に基づいて高解像画像の画素値を推定する。例えば2色がG、Rであり、高解像画像のGの画素値を推定する場合、シフト撮影したG及びRの画素値を用いて推定を行う。

0044

ステップS3において2色が高相関でないと判定した場合には、ステップS5に示すように、各色独立に高解像画像の画素値を推定する。例えば2色がG、Rであり、高解像画像のGの画素値を推定する場合、シフト撮影したGの画素値のみを用いて推定を行う。ステップS4、S5の処理については図6(A)等で詳細に後述する。

0045

次にステップS6に示すように、高解像画像の全画素について画素値を推定したか否かを判定する。全画素の推定処理が終了していない場合には次の画素についてステップS2〜S5を行う。全画素の推定処理が終了した場合には、この処理を終了する。

0046

4.画像合成処理
図4を用いて、ステップS1の画像合成処理について詳細に説明する。図4に示すように、それぞれ位置PS1〜PS4で撮像された画像IM1〜IM4を合成し、2×2倍の画素数の合成画像GMを生成する。

0047

画像IM1〜IM4の画素は、図2のシフト位置に対応する画素位置に配置される。即ち、(x,y)を合成画像GMにおける画素位置とし、nを0以上の整数とすると、画像IM1の画素は、基準位置PS1に対応する(x,y)=(2n,2n)に配置される。画像IM2の画素は、水平走査方向x’へ1/2画素シフトされた位置PS2に対応する(x,y)=(2n+1,2n)に配置される。画像IM3の画素は、垂直走査方向y’へ1/2画素シフトされた位置PS3に対応する(x,y)=(2n,2n+1)に配置される。画像IM4の画素は、水平走査方向x’及び垂直走査方向y’へそれぞれ1/2画素ピッチシフトされた位置PS4に対応する(x,y)=(2n+1,2n+1)に配置される。

0048

なお、合成画像GMの画素配置はシフト手法に応じて決まるものであり、撮影画素の重心位置が順に配列されるように画素データを並び替えることに相当する。本実施形態では、上記と異なるシフト手法(例えば1/3画素ピッチの3×3シフト)を採用することも可能であり、そのシフト手法に応じた配置の合成画像が生成される。

0049

5.色相関度の算出処理
図5(A)、図5(B)を用いて、ステップS2の色相関度の算出処理について詳細に説明する。

0050

下式(1)〜(3)に示すように、色Xと色Yの分散値の比Cを色相関度として求める。色Xと色Yは、推定処理の対象となる画素位置に応じて、(X,Y)=(R,G)、(G,R)、(B,G)、(G,B)のいずれかに設定される。なお以下では、(X,Y)=(G,R)の場合を例に説明する。

0051

上式(1)〜(3)のaXx+i,y+jは、合成画像GMにおける位置(x+i,y+j)の色Xの画素値であり、図5(A)の太実線で囲んだ画素に対応している。またaYx+i,y+jは、合成画像GMにおける位置(x+i,y+j)の色Yの画素値であり、図5(B)の太実線で囲んだ画素に対応している。点線で囲んだi=−4〜5、j=0の画素(又はi=−4〜5、j=1の画素)は、推定処理の対象となる画素である。合成画像GMと推定画像の画素位置は対応しており、点線で囲んだ画素を用いて、推定画像上で対応する位置の画素(図7のbGx−5,y〜bGx+5,y)を推定する。

0052

6.推定処理
図6(A)〜図14(C)を用いて、ステップS4、S5の推定処理について詳細に説明する。なお以下では、水平走査方向に高解像化した後に垂直走査方向に高解像化する場合を例に説明するが、本実施形態はこれに限定されず、垂直走査方向に高解像化した後に水平走査方向に高解像化してもよい。

0053

図6(A)に示すように、1/2画素ピッチで画素シフトした画像は、互いに1/2画素ずつ位置を重複してサンプリングしているため、光学的な画像情報も重複していることになる。画素値ax,y、ax+1,yは、水平走査方向に1/2画素ピッチだけシフトされた画素値(例えば図4の画像IM1、IM2の画素値)であり、画素値ax,y、ax+1,yは画素値bx,yを共有している。これらの画素値は下式(4)の関係で結ばれている。

0054

図6(B)に示すように、垂直走査方向においても画素が重複しており、画素値bx,y、bx,y+1は画素値cx,yを共有している。これらの画素値は下式(5)の関係で結ばれている。下式(5)を上式(4)に代入すれば、画素値ax,yは4つの画素値cx,yを加算した値であることがわかる。即ち、画素値cx,yで構成される推定画像は、1枚の撮像画像の4倍の画素数を有することになる。

0055

本実施形態では、まずシフト撮影で得られた画素値ax,yから画素値bx,yを推定し、次に画素値bx,yから画素値cx,yを推定する。以下では、画素値bx,y、cx,yを推定画素値と呼ぶ。又は適宜、画素値bx,yを中間画素値と呼び、画素値cx,yを最終的な推定画素値と呼ぶ。

0056

下式(6)に示すように、推定画素値bx−1,y、bx,y、bx+1,yがリニアに変化すると仮定する。

0057

上式(4)、(6)から、推定画素値は下式(7)のように表される。

0058

しかしながら、現実には画素値がリニアに変化することは稀であり、多くの場合、現実の画素値にはリニアな変化からのずれが生じている。現実の推定画素値とリニアな推定画素値との差分をδx,yとすると、推定画素値は下式(8)のように表される。差分δx,yは正負いずれの値もとり得る。差分δx,yの前に付く符号は、推定画素値を加算したときに上式(4)を満たすように決められている。

0059

図7に示すように色X=G、色Y=Rの場合を例にとると、本実施形態では、水平走査方向に並ぶ色G、Rの画素値aGx−4,y〜aGx+5,yを用いて色Gの推定画素値bGx−5,y〜bGx+5,yを求める。画素値aGx−4,y〜aGx+5,yは、図5(A)に示す合成画像GMの点線で囲んだ画素の画素値である。推定画素値bGx−5,y〜bGx+5,yのうち、色Gの画素と重複する推定画素値は、上式(8)と同様にして下式(9)と表される。

0060

図8に示すように、上式(9)の差分δXx−4,y、δXx,y、δXx+4,yは、黒丸で示すリニアな推定画素値と、白丸で示す実際の推定画素値との差分である。なお図8では簡単のため上付きサフィックスを省略している。この3つの差分を求めるため、推定画素値の間の差分を下式(10)により求める。下式(10)は、画素の重複関係から成り立つものであり、上式(4)から求められる。

0061

図7に示すように色X=G、色Y=Rの場合を例にとると、上式(10)右辺の色Gの画素値aGx−2,y、aGx−1,y、aGx+2,y、aGx+1,yは存在せず、その位置には色Rの画素値しか存在していない。そのため本実施形態では、色Gの推定画素値の間の差分を、色Rの画素値、又は周辺の色Gの画素値を用いて求める。

0062

具体的には、図3のステップS3でC0<C<C1を満たすと判定した場合には、色Xと色Yの相関が高いので、“色Xと色Yの画素値の空間微分は同じである”ことを仮定できる。この仮定のもとでは、色Xの画素値の差分と色Yの画素値の差分が等しいと仮定できるので、下式(11)が成り立つ。このように、色相関度が高い場合には、色Xの推定画素値の差分を、色Yの画素値から求めることができる。

0063

上式(9)及び(11)を満たす範囲で、差分δXx−4,y、δXx,y、δXx+4,yは如何なる値もとり得るが、特に自然画像の場合、隣接画素値は近い値となることが殆どであるため、差分δXx−4,y、δXx,y、δXx+4,yは0に近い値をとるはずである。そこで、下式(12)に示す二乗和Sδの値を最小化するように差分δXx−4,y、δXx,y、δXx+4,yを決定する。具体的には、上式(11)に上式(9)を代入してbx−3,y、bx−1,y、bx+1,y、bx+3,yを消去し、差分δXx−4,y、δXx,y、δXx+4,yと画素値aX、aYとの関係式を求める。この関係式を用いて下式(12)から2つの差分を消去し、残った1つの差分をSδが最小となるように求め、求めた差分を関係式に代入して残りの2つの差分を求める。求めた3つの差分を上式(9)に代入し、推定画素値を決定する。

0064

一方、ステップS3でC0<C<C1を満たさないと判定した場合には、色Xと色Yの相関が低いので、“色Xと色Yの画素値の空間微分は同じである”という仮定は成り立たない。色相関が低い領域で色Yの画素値を用いると誤推定につながるため、下式(13)に示すように、色Xの画素値を用いて色Xの推定画素値の間の差分を求める。

0065

図9に示すように色X=G、色Y=Rの場合を例にとると、画素aGx−3,y、aGx,yの重心位置JG1、JG2の距離は、画素aRx−2,y、aRx−1,yの重心位置JR1、JR2の距離の3倍である。仮に画素値aGx−2,y、aGx−1,yが存在し、画素値aGx−3,y、aGx−2,y、aGx−1,yaGx,yがリニアに変化すると仮定すると、上記の重心間距離から、aGx−1,y−aGx−2,y=1/3(aGx,y−aGx−3,y)が成り立つ。そのため、上式(10)を上式(13)で求めることができる。

0066

差分δXx−4,y、δXx,y、δXx+4,yは、上式(9)、(12)、(13)から二乗和Sδの値を最小化するように決定し、その差分δXx−4,y、δXx,y、δXx+4,yを上式(9)に代入して推定画素値を決定する。

0067

以上の推定処理を、画素位置(x,y)をずらしながら順次行い、求め得る全ての画素位置(x,y)について推定画素値bXx,yを求める。上記では色(X,Y)=(G,R)を例にとったが、色(X,Y)=(R,G)、(B,G)、(G,B)についても同様の推定処理を行い、各色について推定画素値bXx,yを求める。

0068

色Gについては、図10の実線で示す推定画素値bGx+i,y+jが求められる。点線で示す推定画素値bGx+i,y+jは、上記の推定処理では求められないので、水平走査方向の補間処理により求める。例えばbGx−2,yを、水平走査方向に隣接するbGx−3,y、bGx−1,yを用いて補間する。

0069

色Rについては、図11の実線で示す推定画素値bRx+i,y+jが求められる。点線で示す推定画素値bRx+i,y+jは、上記の推定処理では求められないので、水平走査方向の補間処理により求める。補間処理により図12の太実線で示す推定画素値bRx+i,y+jが求められる。

0070

色Bについては、図11の実線で示す画素位置を、水平走査方向に−2、垂直走査方向に+2ずらした画素位置の推定画素値bBx+i,y+jが求められる。これは、図4の合成画像GMにおいてR画素を水平走査方向に−2、垂直走査方向に+2ずらした位置にB画素が存在するためである。推定処理で求められない推定画素値は、水平走査方向の補間処理により求める。

0071

次に、推定画素値bXx,yから最終的な推定画素値cXx,yを求める。垂直走査方向で見ると隣り合う推定画素値bXx,yは重複しているので、図7図9で上述した手法と同様にしてbXx,yからcXx,yを求めることができる。即ち、上式(4)から上式(5)への置き換えを、上式(6)〜上式(13)に対して適用し、その置き換えた式を用いて推定処理を行えばよい。

0072

色Gでは、補間処理により全ての画素位置でbGx,yが求まるので、色相関の判定は不要であり、上式(10)をbXx,y、cXx,yの関係に書き換えた式をそのまま適用すればよい。色Gでは、全ての画素位置でcXx,yが推定される。

0073

色Rでは、図12に示すように2画素おきにbRx,yが存在するので、色相関の判定結果に応じた推定処理を行う。色Rでは、図13の実線で示す推定画素値cRx+i,y+jが求められる。点線で示す推定画素値cRx+i,y+jは、上記の推定処理では求められないので、垂直走査方向の補間処理により求める。例えばcRx,y−2を、垂直走査方向に隣接するcRx,y−3、cRx,y−1を用いて補間する。色Bの推定画素値cBx,yについても、色Rと同様にして推定処理、補間処理を行う。

0074

以上のようにして求めた推定画素値cXx,yは、撮像画像の画素aXx,yよりも1/2×1/2倍の大きさの画素に対応している。即ち上記の推定処理により、あたかも、使用している撮像素子の画素ピッチに比べて1/2×1/2倍の画素ピッチの撮像素子で撮像したかのような画素データを得ることができる。

0075

図14(A)は、画素シフトを行わずに撮像した画像であり、図14(B)は、2/3画素ピッチで3×3回の画素シフトを行う従来手法により撮像した画像であり、図14(C)は、1/2画素ピッチで2×2回の画素シフトを行う本実施形態の手法により撮像した画像である。本実施形態の手法により撮像した画像は、画素シフトを行わずに撮像した画像よりも高解像であり、また、従来手法により撮像した画像よりも少ないシフト回数で画質が劣らないことが分かる。

0076

なお上記では、図7に示すように11個の推定画素値bXx,yを処理単位として推定処理を行う場合を例に説明したが、本実施形態はこれに限定されず、より多くの推定画素値bXx,yを処理単位として推定処理を行ってもよいし、より少ない推定画素値bXx,yを処理単位として推定処理を行ってもよい。また、ノイズなど別要素を考慮した推定処理を行ってもよい。

0077

以上の実施形態によれば、図1に示すように、画像処理装置は画像取得部と推定演算部132とを含む。図2図4で説明したように、画像取得部は、撮像素子112の受光面と、受光面に入射する結像との相対的な位置を順次シフトしながら撮像された複数の画像IM1〜IM4を取得する。推定演算部132は、複数の画像IM1〜IM4の各画像よりも画素数が大きい(例えば2×2倍の)高解像画像を、複数の画像IM1〜IM4に基づいて推定する。図2に示すように、撮像素子112には、第1色X(例えばG)の色フィルタを有する画素と第2色Y(例えばR)の色フィルタを有する画素とが少なくとも配列される。図3等で説明したように、推定演算部132は、複数の画像IM1〜IM4を構成する第1色Xの画素値aXx,yと第2色Yの画素値aYx,yとが高相関であると判定した場合、高解像画像の第1色Xの画素値cXx,yを、複数の画像IM1〜IM4を構成する第2色Yの画素値aYx,yに基づいて推定する。

0078

例えば本実施形態では、画像処理装置は、図1の信号処理部130を実現する回路装置に対応する。画像取得部は、メモリコントローラ124及びバス121を介してメモリ125から画像データを取得する前段処理部131に対応する。あるいは、撮像装置100外部の情報処理装置(例えばPC140)で推定処理を行う場合、画像処理装置はその情報処理装置に対応し、画像取得部は、外部インターフェース126から画像データを受信する不図示のインターフェース部に対応する。また本実施形態では、図7等で説明したように、aYx,yからbXx,yを推定し、そのbXx,yを用いてcXx,yを推定することで、第2色Yの画素値aYx,yに基づいて第1色Xの画素値cXx,yが推定される。

0079

このようにすれば、従来手法(例えば特許文献1、2)に比べて少ないシフト回数であっても解像度を低下させることなく画素シフト撮影を行うことができる。即ち、図4の合成画像GMのように同色画素の間隔が2画素以上になると、通常の補間では高周波成分が失われ、解像度を得ることが難しい。この点、本実施形態では色Xと色Yが高相関の場合に色Yを使って色Xを推定できるので、同色画素の間隔が2画素以上であっても解像度が低下しにくい。これにより、図2のような2×2回の少ないシフト回数を実現できる。また、推定で求められない画素を補間する場合、図10図13で説明したように、同色画素の間隔が1画素の状態で補間を行うため、補間による解像度の低下を最小限にできる。このようにして、シフト回数を少なくして撮影時間を短縮できるため、経時的に被写体が変化する例えば動体や蛍光観察などにおいても、高画質な画像を得ることが可能になる。

0080

また本実施形態では、図4等で説明したように、複数の画像IM1〜IM4を構成する画素値を、シフトに対応する画素位置に配置した画像である合成画像GMは、第2色Yの隣り合う2画素(例えば図5(A)のaRx−2,y、aRx−1,y)を少なくとも有する。推定演算部132は、色Xと色Yが高相関であると判定した場合、2画素間での第1色Xの画素値の差分(上式(10)右辺)を、2画素間での第2色Yの画素値の差分(上式(11)右辺)により求め、求めた差分に基づいて推定を行う。

0081

また本実施形態では、合成画像GMは、2画素の両隣りに第1色Xの画素(例えば図5のaGx−3,y、aGx,y)を有する。推定演算部132は、複数の画像IM1〜IM4を構成する第1色Xの画素値aXx,yと第2色Yの画素値aYx,yとが低相関であると判定した場合、2画素間での第1色Xの画素値の差分(上式(10)右辺)を、両隣りの画素間での第1色Xの画素値の差分(上式(13)右辺)により求める。

0082

なお本実施形態では、第2色Yの隣り合う2画素を少なくとも有する合成画像GMを推定演算部132が生成してもよいし、あるいは、仮に合成画像GMのように画素を配置したとすれば第2色Yの隣り合う2画素を少なくとも有するような複数の画像IM1〜IM4を推定演算部132が参照してもよい。即ち、合成画像GMは必ずしも生成する必要はない。

0083

このようにすれば、図5に示すように、合成画像GMにおいて処理対象画素(点線)の周辺(太実線)で色Xと色Yが高相関である場合、その相関性により色Yの画素値を用いて色Xの画素値を推定することができる。また図9等で説明したように、処理対象画素の周辺で色Xと色Yが低相関である場合、色Xの画素値を用いて色Xの画素値を推定することで、画素値の誤推定を防ぐことができる。

0084

また本実施形態では、図6で説明したように、2画素である第1画素及び第2画素の画素値ax,y、ax+1,yは、それぞれ高解像画像での複数の画素(2×2のcx,y)の加算値に対応する。第1画素に対応する複数の画素と第2画素に対応する複数の画素とは、共通の画素(bx,yを構成するcx,y−1、cx,y)を有する。推定演算部132は、第2画素(例えば図7のaRx−1,y)に対応する複数の画素から共通の画素(bGx−2,y)を除いた画素の画素値を加算した値(bGx−1,y)と、第1画素(aRx−2,y)に対応する複数の画素から共通の画素(bGx−2,y)を除いた画素の画素値を加算した値(bGx−3,y)との差分(上式(10)左辺)を、上記で求めた2画素間での第1色の画素値の差分(上式(11)右辺、又は上式(13)右辺)により求める。

0085

このようにすれば、光学的な画像情報が1/2画素ピッチずつ重複して撮像されることを利用して、高解像画像を推定することが可能になる。即ち、画像情報の重複により、上式(10)のように推定画素値bXx,yの差分を画素値aXx,yの差分で表すことができる。そして、その画素値aXx,yの差分を色相関度に応じて上式(11)又は(13)により求めることにより、推定処理を行うことが可能になる。

0086

また本実施形態では、図7図10で説明したように、推定演算部132は、高解像画像での垂直走査方向に沿って並ぶ2画素の画素値を加算した値である中間画素値(bXx,y、推定画素値)を、前記第1〜第4画像IM1〜IM4の画素値(aXx,y、aYx,y)に基づいて求め、その中間画素値(bXx,y)に基づいて高解像画像の画素値(cXx,y)を推定する。

0087

このようにすれば、水平走査方向における画素の重複を用いて水平走査方向に高解像化して中間画素値(bXx,y)を求め、垂直走査方向における画素の重複を用いて垂直走査方向に高解像化して高解像画像の画素値(cXx,y)を求めることができる。

0088

また本実施形態では、図7に示すように、水平走査方向に沿って第1〜第11の中間画素値bGx−5,y〜bGx+5,yが並ぶ。第1、第2の中間画素値bGx−5,y、bGx−4,yの加算値は、合成画像GMを構成する第1色Xの画素値である第1画素値aGx−4,yに対応する。第2、第3の中間画素値bGx−4,y、bGx−3,yの加算値は、第1画素値aGx−4,yの隣の第1色Xの画素値である第2画素値aGx−3,yに対応する。推定演算部132は、第1〜第3の中間画素値が水平走査方向に沿って線形変化すると仮定(上式(6))した場合の第1〜第3の中間画素値と、真値との誤差である第1誤差δXx−4,y(図8、上式(8))を求める。推定演算部132は、求めた第1誤差δXx−4,yにより第1〜第3の中間画素値bGx−5,y〜bGx−3,yを決定する。

0089

具体的には、推定演算部132は、色Xと色Yが高相関であると判定した場合、第3、第5の中間画素値bGx−3,y、bGx−1,yの差分である第1差分(上式(11)の第1式左辺)を、第2画素値(aRx−1,y)と第1画素値(aRx−2,y)との差分(式(11)の第1式右辺)により求め、求めた第1差分を満たすように第1誤差δXx−4,yを決定する。

0090

より具体的には、推定演算部132は、第5〜第7の中間画素値bGx−1,y〜bGx+1,yについて第2誤差δXx,y(図8、式(8))を求め、第9〜第11の中間画素値bGx+3,y〜bGx+5,yについて第3誤差δXx+4,y(図8、式(8))を求め、第7、第9の中間画素値(bGx+1,y,bGx+3,y)について第2差分(式(11)の第2式左辺)を求め、第1、第2差分を満たすとともに第1〜第3誤差の二乗和Sδ(式(11))が最小となるように第1〜第3誤差δXx−4,y、δXx,y、δXx+4,yを決定する。

0091

このようにすれば、1/2画素ピッチで画素シフト撮影された画像から、中間画素値bXx,y(推定画素値)を求めることが可能になる。即ち、水平走査方向に沿って2画素おきに色Xの画素が並ぶ合成画像GMから、各画素位置における中間画素値bXx,yを推定することができる。また、11個の中間画素値bXx,yを処理単位とすることで、より少ない中間画素値を処理単位とした場合よりも、現実の画素値にフィットした推定値を得られると期待できる。また、3つの中間画素値について1つの誤差を設定することで、推定すべき変数の数を減らし、推定処理を簡素化できる。また、設定した第1〜第3誤差をつなぐ第1、第2差分を求めることで、第1〜第3誤差が満たすべき2つの条件式(上式(11)に上式(9)を代入した式)が得られ、更に二乗和Sδを最小にするという条件と合わせた3つの条件により、3つの第1〜第3誤差を決定できる。

0092

また本実施形態では、図5で説明したように、推定演算部132は、合成画像GMで、推定対象画素(点線)の周辺(太実線)に位置する第1色X(例えばG)の画素値と第2色Y(例えばR)の画素値との間の相関値C(式(1)〜(3))を求める。推定演算部132は、相関値Cが第1閾値C0よりも大きく第2閾値C1よりも小さい場合に高相関であると判定する。

0093

このようにすれば、推定対象画素の周辺における色Xと色Yの相関値Cを求めることができ、その相関値Cに基づいて相関度を判定できる。即ち、その相関値Cが所定条件C0<C<C1を満たした場合に色Xと色Yが高相関であると判定できる。

0094

なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また画像処理装置、撮像装置等の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。

0095

100撮像装置、110撮像系、111撮像光学系、112撮像素子、
120 制御部、121バス、122画素シフト駆動部、
123 A/D変換部、124メモリコントローラ、125メモリ、
126外部インターフェース、130信号処理部、131前段処理部、
132推定演算部、133後段処理部、
B 青色、C色相関度、C0 第1閾値、C1 第2閾値、G 緑色、
GM合成画像、IM1〜IM4 複数の画像、
JG1,JG2,JR1,JR2 重心位置、PS1〜PS4 第1〜第4位置、
R 赤色、Sδ二乗和、X 第1色、Y 第2色、aXx,y,aYx,y画素値、
bXx,y中間画素値、cXx,y推定画素値、x,y画素位置、
x’水平走査方向、y’垂直走査方向、δXx,y 誤差

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ