図面 (/)

技術 撮像装置及びその制御方法

出願人 キヤノン株式会社
発明者 木村正史
出願日 2016年6月17日 (4年5ヶ月経過) 出願番号 2016-120686
公開日 2017年12月21日 (2年11ヶ月経過) 公開番号 2017-225067
状態 特許登録済
技術分野 スタジオ装置
主要キーワード 極小位置 開始位相 自動復帰型 部分信号 サンプリング密度 無次元化 固定焦点距離 多項式近似
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年12月21日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (6)

課題

簡単な演算高画質出力画像を得ることを可能にした撮像装置を提供すること

解決手段

複数の異なる焦点距離光学系101と、複数の光学系101のそれぞれに対応して設けられた複数の撮像素子102と、複数の異なる焦点距離の光学系101で撮像された複数の画像を取得する画像処理部104と、複数の画像を合成し、合成画像を生成する画像処理部104と、を有し、光学系101と撮像素子102のそれぞれの組み合せは、第1の光学系に対応する(焦点距離)/(画素一辺の長さ)が第2の光学系に対応する(焦点距離)/(画素の一辺の長さ)のN倍(Nは1より大きい整数)の関係である。

概要

背景

近年、撮像装置高性能化、多機能化に伴い、複数の光学系を有する撮像装置が提案されており、複数のカメラ撮像素子)からの信号を合成するための画像処理方法についても多くの提案がなされている。例えば、特許文献1では、複眼カメラ(いわゆる多眼カメラのこと)において、複数の画素数異なるセンサを設けるとともに、画素数の多いセンサの信号を加算した後に処理する技術が開示されている。特許文献2では、焦点距離の異なる複数のカメラの画像において、画角の狭いカメラからの画像の空間周波数低周波成分と、画角の広いカメラの信号の位相を合わせて合成する技術が開示されている。

概要

簡単な演算高画質出力画像を得ることを可能にした撮像装置を提供すること複数の異なる焦点距離の光学系101と、複数の光学系101のそれぞれに対応して設けられた複数の撮像素子102と、複数の異なる焦点距離の光学系101で撮像された複数の画像を取得する画像処理部104と、複数の画像を合成し、合成画像を生成する画像処理部104と、を有し、光学系101と撮像素子102のそれぞれの組み合せは、第1の光学系に対応する(焦点距離)/(画素一辺の長さ)が第2の光学系に対応する(焦点距離)/(画素の一辺の長さ)のN倍(Nは1より大きい整数)の関係である。

目的

本発明は、簡単な演算で高画質な出力画像を得ることを可能にした撮像装置を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

複数の異なる焦点距離光学系と、前記複数の光学系のそれぞれに対応して設けられた複数の撮像素子と、前記複数の異なる焦点距離の光学系で撮像された複数の画像を取得する取得手段と、前記複数の画像を合成し、合成画像を生成する合成手段と、を有し、前記光学系と前記撮像素子のそれぞれの組み合せは、第1の光学系に対応する(焦点距離)/(画素一辺の長さ)が第2の光学系に対応する(焦点距離)/(画素の一辺の長さ)のN倍(Nは1より大きい整数)の関係であることを特徴とする撮像装置

請求項2

前記合成手段は、前記第1の光学系に対応する(焦点距離)/(画素の一辺の長さ)が前記第2の光学系に対応する(焦点距離)/(画素の一辺の長さ)と等しくなるように、前記第1の光学系に対応する画像の画素を加算し、合成することを特徴とする請求項1に記載の撮像装置。

請求項3

前記合成手段は、前記第1の光学系に対応する前記画像の画素をN個加算し、合成することを特徴とする請求項1または2に記載の撮像装置。

請求項4

前記取得手段は、同期して撮像された画像を取得することを特徴とする請求項1乃至3のうちいずれか1項に記載の撮像装置。

請求項5

前記複数の画像の位相差を検出する位相差検出手段をさらに有し、前記合成手段は、前記位相差に基づいて、画素ずれが最も小さくなるように加算を開始する位相を決定し、(焦点距離)/(画素の一辺の長さ)が大きい画像の画素を加算し、合成することを特徴とする請求項1乃至4のうちいずれか1項に記載の撮像装置。

請求項6

前記位相差検出手段は、前記合成手段が前記第1の光学系に対応する(焦点距離)/(画素の一辺の長さ)が前記第2の光学系に対応する(焦点距離)/(画素の一辺の長さ)と等しくなるように、前記第1の光学系に対応する画像の画素を加算した画像に基づいて、前記位相差を検出することを特徴とする請求項5に記載の撮像装置。

請求項7

前記複数の異なる焦点距離の光学系は、可変焦点距離の光学系と固定焦点距離の光学系を含み、前記可変焦点距離の光学系の焦点距離は、(焦点距離)/(画素の一辺の長さ)が前記固定焦点距離の光学系の(焦点距離)/(画素の一辺の長さ)の整数倍になる位置に設定されることを特徴とする請求項1乃至6のうちいずれか1項に記載の撮像装置。

請求項8

光学系と、前記光学系に対応して設けられた撮像素子と、を有する複数の撮像装置と、前記光学系で撮像された複数の画像を取得する取得手段と、前記複数の画像を合成し、合成画像を生成する合成手段と、を有する画像処理装置を備える撮像システムであって、前記光学系は異なる焦点距離を有し、前記光学系と前記撮像素子のそれぞれの組み合せは、第1の光学系に対応する(焦点距離)/(画素の一辺の長さ)が第2の光学系に対応する(焦点距離)/(画素の一辺の長さ)のN倍(Nは1より大きい整数)の関係であることを特徴とする撮像システム。

請求項9

複数の異なる焦点距離の光学系と、前記複数の光学系のそれぞれに対応して設けられた複数の撮像素子とを有する撮像装置の制御方法であって、前記複数の異なる焦点距離の光学系で撮像された複数の画像を取得する取得工程と、前記複数の画像を合成し、合成画像を生成する合成工程と、を有し、前記光学系と前記撮像素子のそれぞれの組み合せは、第1の光学系に対応する(焦点距離)/(画素の一辺の長さ)が第2の光学系に対応する(焦点距離)/(画素の一辺の長さ)のN倍(Nは1より大きい整数)の関係であり、前記合成工程において、前記第1の光学系に対応する(焦点距離)/(画素の一辺の長さ)が前記第2の光学系に対応する(焦点距離)/(画素の一辺の長さ)と等しくなるように、前記第1の光学系に対応する画像の画素を加算し、合成することを特徴とする制御方法。

技術分野

0001

本発明は、多眼の撮像装置及びその制御方法に関する。

背景技術

0002

近年、撮像装置の高性能化、多機能化に伴い、複数の光学系を有する撮像装置が提案されており、複数のカメラ撮像素子)からの信号を合成するための画像処理方法についても多くの提案がなされている。例えば、特許文献1では、複眼カメラ(いわゆる多眼カメラのこと)において、複数の画素数異なるセンサを設けるとともに、画素数の多いセンサの信号を加算した後に処理する技術が開示されている。特許文献2では、焦点距離の異なる複数のカメラの画像において、画角の狭いカメラからの画像の空間周波数低周波成分と、画角の広いカメラの信号の位相を合わせて合成する技術が開示されている。

先行技術

0003

特開2010−157863号公報
特開2010−009417号公報

発明が解決しようとする課題

0004

しかしながら、特許文献1の技術を用いた場合には、画素ピッチに強い制約が生じる、焦点距離の異なる光学系にはそのまま適用できない。また、特許文献2の技術を用いた場合には、周波数空間での演算が必要なため、演算負荷が増大してしまう。

0005

本発明は、簡単な演算で高画質出力画像を得ることを可能にした撮像装置を提供することを目的とする。

課題を解決するための手段

0006

上記課題を解決するために、本発明の撮像装置は、複数の異なる焦点距離の光学系と、前記複数の光学系のそれぞれに対応して設けられた複数の撮像素子と、前記複数の異なる焦点距離の光学系で撮像された複数の画像を取得する取得手段と、前記複数の画像を合成し、合成画像を生成する合成手段と、を有し、前記光学系と前記撮像素子のそれぞれの組み合せは、第1の光学系に対応する(焦点距離)/(画素一辺の長さ)が第2の光学系に対応する(焦点距離)/(画素の一辺の長さ)のN倍(Nは1より大きい整数)の関係である。

発明の効果

0007

本発明によれば、簡単な演算で高画質な出力画像を得ることを可能にした撮像装置を提供することができる。

図面の簡単な説明

0008

第1実施形態の多眼撮影装置及び構成を示すブロック図である。
多眼撮影装置で取得される像及び信号の模式図である。
位相差検出部の評価値を説明する図である。
本発明の物理的な意味と動作の流れを説明する図である。
第2実施形態の多眼撮影装置及び構成を示すブロック図である。

実施例

0009

(第1実施形態)
図1は、本実施形態にかかわる撮像装置の外観を示す外観図及び撮像装置の電気的構成を示すブロック図である。図1(A)は、多焦点撮像装置である撮像装置100の外観図である。撮像装置100の前面には、複数の光学系101a、101b、101c、101dが配置されている。スイッチ106aは、操作部106の1つで、自動復帰型の押しボタンスイッチである。スイッチ106aは指などで操作され、軽く押し込むことでスイッチS1がONとなり、奥まで押し込むことでスイッチS2がONとなる。押し込む指を離すと押し込む前の状態へと復帰し、スイッチS1、スイッチS2のそれぞれはOFFとなる。スイッチS1のONにより、ピントや明るさの調整を行い、スイッチS2のONにより、静止画の撮像や動画撮影の開始と終了を行う。

0010

図1(B)は、撮像装置100のシステム構成を示すブロック図である。撮像装置100は、光学系101a〜101d、撮像素子102a〜102d、レンズ駆動部103、画像処理部104、画像表示部105、メモリ部108、それらを制御する制御部107を含む。光学系101a、101b、101cのそれぞれは結像光学系(フォーカスレンズ)であり、結像光学系群を構成する。光学系101a、10b、101cの焦点距離は互いに異なっている。撮像素子102a、102b、102cは、光学系101a、101b、101cのそれぞれに導かれる光線光電変換する複数の光電変換部(画素)を有する撮像素子示す。図1(A)には4つの光学系101a、101b、101c、101dが例示されており、図1(B)はそのうち3つの光学系101a、101b、101cまでの構成を記載した。図1(B)における101cの下方にあるドットは、101dの記載を省略したことを示している。

0011

レンズ駆動部103は、光学系101a〜101d(フォーカスレンズ)を駆動し被写体へと焦点を合わせるフォーカス駆動などのレンズ駆動を行う。画像処理部104は、複数の撮像素子から出力された信号を処理して画像を生成する画像処理部である。画像処理部104は、加算部104a及び位相差検出部104bを含んでいる。画像処理部104では、少なくとも露光時間が重複するように取得された複数の画像を合成する画像処理を行うことができる。画像処理後の画像を合成画像と呼ぶ。ここでいう画像処理とは、異なる焦点距離の光学系101a、101b、101cの画像を利用してズームレンズのような画像を提示する処理や、複数のセンサの信号を利用してノイズを低減する処理等を指す。ここでいうノイズを低減する処理とは、複数の撮像素子からの信号を加算平均することで平滑化してノイズを低減する技術である。画像表示部105は、画像を表示する。操作部106は、ユーザーの指示を受け付けるための複数の操作手段を有し、前述したスイッチ106aなどを含む。制御部107は、カメラシステム全体の制御を行うカメラシステム制御部である。制御部107は、レンズ駆動部103へと指示を送り、焦点距離の制御を行う。また、画像処理部104より送られてきた画像を用いて被写体の測距を行う。測距は、画像の定めた領域内の被写体について行われる。メモリ部108は、取得した画像を記憶する。

0012

図2は、撮像装置100で取得される画像を模式的に示すとともに、位相差検出部104bの動作を説明する図である。図2(A)、図2(B)はそれぞれ異なる焦点距離の光学系で取得される画像を示している。画像111aは焦点距離の短い(画角の広い)光学系で取得される像を、画像111bは焦点距離の長い(画角の狭い)光学系で取得される像をそれぞれ示している。また、図2(A)の画像111a内に示した枠111b’は、図2(B)に示す画像111bが画像111aの一部分を捉えていることを模式的に示している。画像111a及び画像111b内に示した検出エリア112は、位相差検出に用いる画像内の部分を示している。また121は被写体を示している。

0013

図2(A)及び図2(B)から明らかなように、焦点距離の短い(画角の広い)光学系はより広い範囲の像が結像している。これは像面で物体像が小さくなっていることに相当しており、焦点距離によって結像倍率(ここではいわゆる横倍率の意味で用いる)が異なっている。このため、同じ画素ピッチのセンサを用いているとすると、被写体の距離と焦点距離で決まる結像倍率によって、1つの画素に対応する物体の大きさが異なっている。

0014

また、図2(A)、図2(B)では基線長画面長手方向を示しており、一般的な撮像装置においては水平方向に対応する。ここでいう基線長とは、位相差検出を行う光学系が離間している距離であり、基線長に垂直な方向とは位相差検出を行う光学系が離間する方向に直交する方向を示している。図1(A)との対応を考えると、図2(A)、図2(B)の画像は光学系101a及び光学系101bの組または光学系101c及び光学系101dの組に対応する。

0015

多焦点撮像装置においては、異なる焦点距離の光学系から得られた像を、画像処理して出力画像を生成するが、そのためには同じ被写体に対応した領域を決める必要がある。本実施形態においては、位相差検出部104bが画像の情報から同じ被写体に対応した領域を定める。図2(C)〜図2(E)は、位相差検出部104bの動作を模式的に示したものである。図2(C)〜図2(E)において、縦軸無次元化した明るさを示しており、横軸基線長方向の画面内の位置を示している。無次元化した明るさとは、光学系ごとのfナンバー蓄積時間の差などを調整するために、取得された画素の信号を画面の平均輝度で除すなどして無次元化したものである。すなわち、無次元化した明るさは、画面内の相対的な明るさを示しているともいえる。

0016

図2(C)は、図2(A)及び図2(B)に示した位相差検出に用いる画像内の検出エリア112の信号を抜き出したのち、基線長に垂直な方向を加算した信号を示している。位相差検出に用いる、同じ被写体に対応した領域である、画像内の検出エリア112は、基線長の方向が長手となるような長方形をなしている。図2(C)において、輝度信号131aは画像111aからの信号を、輝度信号131bは画像111bからの信号を示している。データ140〜144は131b上のデータを、データ150及びデータ151は131a上のデータをそれぞれ示している。図2(C)において、輝度信号131aよりも輝度信号131bのデータ点の数が多いことが、空間的なサンプリングが稠密になされていることに対応している。これは図2(B)のように部分的な画像を拡大して捉えていることに対応するとともに、画素のピッチの影響も反映させている。

0017

図2(C)に示された例では、サンプリング間隔整数倍になるように調整されている。すなわち次の式1の条件を満たすように複数の光学系が構成されている。

(光学系1の焦点距離)/(光学系1の画素の一辺の長さ)
= N * (光学系2の焦点距離)/(光学系2の画素の一辺の長さ)・・・(式1)

式1において、光学系1は焦点距離が相対的に長い光学系を示しており、Nは自然数(1より大きい整数)を示している。画素の一辺の長さとは受光素子配線などからなる画素(一般的には正方形)の一つの辺の長さを示している。各画素内の定位置に受光素子が配されているとして、画素の一辺の長さは受光素子の中心間の距離(画素ピッチ)と等価であり、式1をそのように定義してもよい。図1(B)の例で式1の定義を図と対応させると、光学系1は101cに光学系1の画素は撮像素子102cの画素にそれぞれ対応し、光学系2は101aに光学系2の画素は撮像素子102aの画素にそれぞれ対応する。すなわち式1は、異なる焦点距離の光学系において、焦点距離と撮像素子上の画素の一辺の長さを規定する式となっている。
なお、N=1の場合は物体側でのサンプリング密度が同じ光学系という意味になる。図2(C)に示した例ではN=4であり、輝度信号131bは輝度信号131aよりも4倍の密度でサンプリングしている様子を示している。

0018

また式1を見ると明らかなように、画素に関しては、光学系1の画素の一辺の長さが分かればよく、画素の一辺の長さを決められた値に設定する必要がないため、画素の一辺の長さを決められた値に設定した場合などに比べて設定の自由度が高い。そのため特性の異なるセンサを用いたい場合、例えば、スペースの制約で特性の光学系の画素ピッチを小さくしてセンサを小型化したい場合や、既存の光学系を使いたい場合など、焦点距離や画素の一辺の長さに制約がある場合に役に立つ。すなわち片方の制約に応じて他方を調整することで式1を満たすことが可能となり、後述するように演算量の低減を実現できる。例えば、センサが既存のものを利用して画素の一辺の長さの比が自由に選択できない時には、焦点距離を式1を満たすような比で設計すればよい。図2では、光学系が2つの場合を示しているが、これに限られるものではなく、複数の光学系についてそれぞれが式1の関係を満たすようにすればよい。

0019

多焦点撮像装置で取得された焦点距離の異なる像を合成するためには、それぞれの像を位置合わせする必要がある。そのためには図2(C)の信号を処理して位置を合わせる必要がある。本実施形態に示す撮像装置100においては、式1の関係が成り立っているために、光学系1の画素をN個加算平均することで容易に処理を行うことが出来る。ここで平均するのは、明るさの違いを正規化する為である。つまり、(焦点距離)/(画素の一辺の長さ)が大きい光学系を考え、加算部104aではN個加算することで(焦点距離)/((画素の一辺の長さ)*(加算数N))を等しくすることが出来る。本実施形態に示す数1の関係が成り立たない場合には、周波数空間での処理を施したり、リサンプリングしたりする必要があり、演算量が増えてしまう。

0020

図2(C)において輝度信号131bの隣接する信号をN個(図2の例では前述したようにN=4)加算した信号を図2(D)に示す。例えば、図2(C)において隣接するデータ140、141、142、143の加算されたデータが、図2(D)におけるデータ145である。図2(C)から図2(D)を貫く一点鎖線146は、加算した信号の重心位置を示す線であり、空間的に対応していることを示している。すなわちデータ145はデータ141と142のあいだの位置にある。このようにそれぞれ隣接する信号をN個加算して作られた信号が輝度信号131cである。

0021

図2(D)では簡単な加算によって光学系1と光学系2の信号である輝度信号131aと輝度信号131cのピッチが等しくなっている。このため、相関演算として知られている位相を検出する演算を行うことで2つの輝度信号131aと輝度信号131cの位相差を検出する。よく知られているように差分絶対値(以下、SADという)の極小を検出して位相が合致する位置とすればよい。位相が合致する位置は、例えば図2(E)のようになる。SADは式2のように定義される。


式2においてiは相対的に位置をずらした画素数を示しており、jは2つの画像の位相差検出に用いる画像の大きさに対応する。つまり差分の絶対値を加算(積分)したものである。

0022

さらには、差分絶対値の変化を局所的に多項式近似するなどして、輝度信号131a、輝度信号131cにおいて1データずれ以下の精度で位相を検知することも出来る。これは、後述する画素ずれを最小にする処理において有用である。この様子を図3に模式的に示した。図3において、縦軸は2つの信号のSADを、横軸は横にずらした量(単位は画素)を示しており、1つの縦線が1画素に対応している。より具体的には、図2(D)、図2(E)に示したような2つの画像の位相差検出に用いる画像内の部分信号を、相対的な位置を変えながらSADを計算する。相対的な位置が横軸(式2におけるi)であり、SADが縦軸(式2におけるSAD(i))となっている。また図3数字1、2、3、4は、この順にSADの値が小さいことを示している。図3(A)は画素ずれが小さい場合の例を、図3(B)は画素ずれが大きい場合の例を、図3(C)は図3(A)及び図3(B)のデータを重ねた様子を示している。SADの値は整数倍の画素ずれ(1画素単位)でしか求まらないが、図3に示されるように極小値近似することが出来る。すなわち、SADの最も小さい箇所(数字1)、SADが2番目に小さい箇所(数字2)、SADが3番目に小さい箇所(数字3)を求める。SADが3番目に小さい箇所(数字3)がSADの最も小さい箇所(数字1)に対してSADが2番目に小さい箇所(数字2)と反対側にある場合には数字1と数字3を直線で結ぶ。この直線は、実線で示されている。この線を延長する。一方で、SADが2番目に小さい箇所(数字2)を先ほどの数字1と数字3を結ぶ直線と傾きが反対の直線が通るようにする。この直線は、破線で示されている。実線と破線の交点を極小値の位置とする。

0023

同じ処理で、図3(A)及び図3(B)のデータでSADの極小位置を求めると、図3(A)では、SADの最も小さい箇所(数字1)近傍に極小値がある。図3(B)では、SADの最も小さい箇所(数字1)とSADが2番目に小さい箇所(数字2)の中間に近い位置に極小値があることが分かる。図3(A)のような場合には画素ずれがすでに小さいので、隣接するデータ140、141、142、143を加算した状態で出力画像を生成する画像処理を施す。一方で図3(B)のような場合には、加算前の画素では1画素以上のずれが生じているので、画素ずれが最も小さくなるように加算開始位相を決定した後に、再度画素加算を施す。この処理については、図4を用いて物理的な結びつきとともに後述する。

0024

さらに図3(A)及び図3(B)の縦軸に注目すると、各データ点は一つの滑らかな関数に乗っていると想定される。図3(C)は、図3(A)と図3(B)のデータを重ね、図3(A)の数字1〜4をそれぞれ数字1a〜4aで、図3(B)の数字1〜4をそれぞれ数字1b〜4bで示している。図3(C)に破線で示した曲線状にデータが乗るとともに、より極小値に近いデータ点である数字1aが最も小さな値になっている。これは画素ずれが小さい状態で加算を行ったほうが、焦点距離の異なる画像間の一致度が良いことを示している。

0025

次に、SADの極小値の位置と物理的な対応及び本実施形態の処理方法について、図4(A)〜図4(C)を用いて説明する。図4(A)及び図4(B)は、撮像素子の画素を平面180に投影した状態を示している。また、図4(A)は図3(A)に、図4(B)は図3(B)にそれぞれ対応している。また、図4(C)は、本実施形態の処理を示すフローチャートである。

0026

図4(A)及び図4(B)において、データ150及びデータ151は焦点距離の短い光学系で取得されたデータであり、図2の同じ番号の信号と対応している。データ140、141、142、143、144は焦点距離の長い光学系で取得されたデータであり、図2の同じ番号の信号と対応している。加算データ145はデータ140、141、142、143を加算した信号を示している。加算データ165は画素ずれが最も小さくなるように加算開始位相を決定した後に再度加算した信号を示している。

0027

図4(A)と図4(B)の信号を比較する。(焦点距離)/(画素の一辺の長さ)が小さい光学系で取得されたデータ150、151を基準に考えると、(焦点距離)/(画素の一辺の長さ)が大きい光学系で取得されたデータ140、141、142、143、144の位置(位相)が異なっている。この位置は、図4(A)に示した2つの光学系の距離(基線長)、2つの光学系の焦点距離、物体距離によって決まる。変数に物体距離を含んでいるために被写体によって異なり事前に得ることが出来ない。このため本実施形態では、一度適当な位置で加算して位相差を検出した後、画素ずれが最も小さくなるように再度加算を行う。

0028

図4(A)では、加算データ145とデータ151の位置がほぼあっている。これは、画素ずれが小さい状態である。このときの(焦点距離)/(画素の一辺の長さ)が小さい光学系からの信号と加算信号で求めたSADは、図3(A)に示すように極小値が、整数倍の画素ずらし量の近傍にある。この場合は、加算位相をそのままとして画像処理を施す。その結果、データ140、141、142、143を加算した加算データ145をそのまま位相を合わせた加算データ165として用いることが出来る。

0029

一方で、図4(B)では、加算データ145とデータ151の位置が、加算前のデータで1データ分ずれている。(焦点距離)/(画素の一辺の長さ)が小さい光学系からの信号と加算信号で求めたSADは、図3(B)に示すように、極小値が整数倍の画素ずらし量の近傍ではなくデータとデータの間にある。そして、焦点距離の長い画素で見たときには1画素以上のずれが生じている。図2及び図4で示している例では数1のN=4のため、焦点距離の短い光学系からの信号と加算信号での位相が0.25画素ずれている場合には、長い焦点距離において1画素分データの位置がずれていることに相当する。前述したように、SADの極小値は1画素以下の単位で求めることが出来るので、このずれが最小となるように加算開始位相を調整する。より具体的には、本実施形態では0.125画素から0.375画素ずれている場合には、0.25画素ずらす(=焦点距離の長い画素で1画素ずらす)処理を行う。その結果、データ141、142、143、144を加算して加算データ165が得られる。これは物理的には、図4(B)に示すように正しく正対していない画素単位で加算が行われていた状態(加算データ145の状態)を画素のずれが最も小さくした状態(加算データ165の状態)にすることに相当する。加算データ145と加算データ165を比較すると、図3(C)に示すように加算データ165の方が像の一致度が高い。つまり、次に行う画像処理において精密な位置合わせなどが容易な状態にある。

0030

次に、図4(C)を用いて本実施形態の処理を、順を追って説明する。ステップS100は処理の開始を示している。例えば、撮像装置100の押しスイッチ106aを押し込む動作で処理が開始される。ステップS110では、画素信号(画像)を取得する。画像処理部104が、各光学系に対応する複数の撮像素子から出力された各信号の取得を行う。本実施形態においては、各光学系の画像は、撮像を指示する信号に同期して、同時に同じ露光時間で取得される。ステップS120では、加算部104aが、(焦点距離)/(画素の一辺の長さ)が等しくなるよう画像の画素の加算を行う。具体的には、(焦点距離)/(画素の一辺の長さ)が大きい画像を整数個加算する。この時の加算位相は初期的に決められた値であり、被写体距離に対して必ずしても最適化されていない。

0031

ステップS130では、位相差検出部104bが、(焦点距離)/(画素の一辺の長さ)が小さい光学系の信号と、ステップS120で加算した信号の位相差を検出する。具体的な動作は図2及び図3で示したが、例えば、SADを計算してその極小値を検出すればよい。ステップS140では、加算部104aが画素ずれを最小として(焦点距離)/(画素の一辺の長さ)が揃うように再度加算を行う。分母の(画素の一辺の長さ)は加算後の大きさを用いる。具体的な動作は図3及び図4を用いて説明した。図4における、加算データ165を生成する動作である。

0032

ステップS150では、画像処理部104が画像処理を施し、記録用の合成画像を生成する。本実施形態の多眼撮影装置は、焦点距離の異なる画像を合成して出力を行う。合成方法としては、例えば、複数の撮像素子の信号を加算してノイズを低減したり、中央付近の画像には(焦点距離)/(画素の一辺の長さ)が大きい画像を挿入して高解像度化したりする方法がある。いずれの処理においても、加算位置や挿入位置を決定するために異なる光学系からの像を精密に位置合わせる必要がある。本実施形態によると式1の条件を守ることで演算量を低減している。さらに画素ずれを最小とすることで像の一致度を上げて位置合わせなどに都合がよい信号を生成している。ステップS160は、メモリ部108に、S150で生成した記録用の画像の記録を行うステップである。必要に応じて画像表示部105のモニタへの表示なども行う。ステップS170で、動作を終了する。

0033

以上説明したように、本実施形態によれば、異なる焦点距離の画像間での演算を、(焦点距離)/(画素の一辺の長さ)を整数にすることで、簡易な演算で合成することができる。そのため、誤差の少ない高画質な出力画像を得ることを可能にした多焦点撮像装置を提供することができる。

0034

(第2実施形態)
以下、図5を参照して、第2実施形態による、多焦点撮像装置について説明する。図5において図1と同じ機能を有する部分には同じ番号を付した。図5の撮像装置100が第1実施形態の図1と異なる点は、結像光学系群の中に、可変焦点距離の光学系201aを有することである。撮像装置100は、いわゆるズーム可能な光学系201aとズームしない固定焦点距離の光学系201b、201cを含む。その他の構成は実施例1と同じである。本実施形態において、可変焦点距離の光学系201aは、いわゆるステップズームとして動作する。すなわち、第1実施形態に示した式1の条件を守る位置にのみ停止することが出来る。例えば、画素ピッチが同じであるとすると固定焦点距離の光学系201b、201cの焦点距離が25mmである時に、可変焦点距離の光学系201aは50、75、100mmという焦点距離の位置にのみ停止して撮像を行うことが出来る。

0035

以上のように、本実施形態によれば、可変焦点距離の光学系をいわゆるステップズームとして動作させることで、異なる焦点距離の画像間での演算を、(焦点距離)/(画素の一辺の長さ)を整数にすることができ、簡易な演算で合成することができる。そのため、誤差の少ない高画質な出力画像を得ることを可能にした多焦点撮像装置を提供することができる。

0036

(その他の実施形態)
第1実施形態及び第2実施形態では、撮像装置100において、画像処理を行う例を示した。しかし、これに限られるものではなく、例えば、レンズである光学系とそれに対応する撮像素子を備えた複数の撮像装置を、画像処理を行う画像処理装置に接続し、撮像システムとして実現してもよい。この場合、各撮像装置の光学系は、焦点距離の異なるものである。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。

0037

以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

0038

100撮像装置
101a光学系
102a撮像素子
104画像処理部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ