図面 (/)

技術 画像処理装置、その制御方法およびプログラム

出願人 キヤノン株式会社
発明者 林良典
出願日 2014年1月30日 (5年9ヶ月経過) 出願番号 2014-016195
公開日 2015年8月3日 (4年3ヶ月経過) 公開番号 2015-142366
状態 特許登録済
技術分野 スタジオ装置 焦点調節 写真撮影方法及び装置 自動焦点調節 画像処理
主要キーワード 識別数字 LFデータ 特定位 胴体領域 可変係数 ゲイン変調 代表距離 ライトフィールドカメラ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2015年8月3日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (13)

課題

多視点画像から生成する再構成画像の合焦距離および被写界深度を容易に設定する。

解決手段

複数の視点の画像から再構成された画像から特定の特徴を持った物体対象物体)の画像上の領域を検出しS602、領域ごとの距離分布S604と被写界深度情報S605を算出する。検出した被写体のユーザによる選択を受け付けS607、選択された被写体の被写体距離から所定の被写界深度を設定しS609、設定した所定の被写界深度を有する再構成画像を生成S610する。

概要

背景

近年、撮影時に光の強度分布入射方向の情報(光線空間情報(ライトフィールド情報とも呼ばれる))を取得可能な撮像装置ライトフィールドカメラLFC))が知られている。

非特許文献1では、マイクロレンズアレイを介して撮像素子の各画素に、撮像レンズの異なる分割瞳領域を通過した光束を結像させることにより、様々な方向から入射した光を分離して記録する方法が開示されている。

このように取得された光線空間情報(以下LFデータと呼ぶ)に対して、「Light Field Photography」と呼ばれる手法を適用することで、任意の焦点距離に合焦した画像(再構成画像)を撮影後に生成することができる。

LFデータを取得できない従来のデジタルカメラ等を扱うとき、撮影後の画像が所望の被写体に合焦していないものであった場合、その被写体に合焦した画像を取得するには再度撮影する必要がある。一方、LFCを用いて撮影した場合は、取得したLFデータを用いて撮影後に再構成画像の生成を行えば、撮影し直すことなく所望の被写体に合焦した画像が得られる。

さらに、所望の被写体が複数含まれ、各被写体間の奥行方向の距離が大きく異なるシーンを撮影する場合、従来型カメラ等でいずれかの被写体に合焦させて撮影すると、他の被写体がぼけ気味となる。他方、LFCを用いて撮影した場合には、撮影後に各被写体に合焦した再構成画像を生成して合成すれば各被写体に合焦した画像を得ることができる。

概要

多視点画像から生成する再構成画像の合焦距離および被写界深度を容易に設定する。複数の視点の画像から再構成された画像から特定の特徴を持った物体対象物体)の画像上の領域を検出しS602、領域ごとの距離分布S604と被写界深度情報S605を算出する。検出した被写体のユーザによる選択を受け付けS607、選択された被写体の被写体距離から所定の被写界深度を設定しS609、設定した所定の被写界深度を有する再構成画像を生成S610する。

目的

本発明では、上述の従来技術の問題点に鑑みてなされたものであり、多視点画像から生成する再構成画像の合焦距離および被写界深度を容易に設定することが可能な画像処理装置、その制御方法およびプログラムを提供する

効果

実績

技術文献被引用数
0件
牽制数
1件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

同時に撮影された複数の視点の画像から任意の被写体距離に合焦した再構成画像を生成可能な画像処理装置であって、予め定めた被写体距離に合焦した再構成画像から所定の被写体を検出する検出手段と、前記検出された所定の被写体の、ユーザによる選択を受け付け入力手段と、前記ユーザにより選択された所定の被写体の被写体距離から所定の被写界深度を設定する設定手段と、前記設定手段が設定した前記所定の被写界深度を有する再構成画像を生成する生成手段と、を有することを特徴とする画像処理装置。

請求項2

前記設定手段は、前記入力手段から同一の前記所定の被写体を選択する指示が継続して受け付けられている場合、前記所定の被写界深度を変更し、前記生成手段は、前記変更された前記所定の被写界深度を有する再構成画像を生成することを特徴とする請求項1に記載の画像処理装置。

請求項3

前記選択する指示は、前記所定の被写体が表示される領域に対するタッチ操作により行われることを特徴とする請求項2に記載の画像処理装置。

請求項4

前記設定手段は、前記入力手段によって前記選択の解除指示が受け付けられるまで、前記所定の被写界深度を変更し、前記生成手段は、前記変更された前記所定の被写界深度を有する再構成画像を生成することを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。

請求項5

前記解除指示は、前記再構成画像が表示される領域に対するタッチ操作により行われることを特徴とする請求項4に記載の画像処理装置。

請求項6

前記設定手段は、前記所定の被写界深度を所定の幅ごとに変更するように構成され、前記所定の幅の大きさが、ユーザの指示に応じて決定されることを特徴とする請求項2乃至5のいずれか1項に記載の画像処理装置。

請求項7

前記設定手段は、前記所定の被写界深度を所定の時間周期で変更するように構成され、前記時間周期が、ユーザの指示に応じて決定されることを特徴とする請求項2乃至6のいずれか1項に記載の画像処理装置。

請求項8

前記設定手段は、前記予め定めた被写体距離に合焦した再構成画像から検出された所定の被写体のうち、前記選択された所定の被写体が他の所定の被写体よりも至近側または無限側に存在する場合には、前記選択された所定の被写体の被写体距離を前記他の所定の被写体の被写体距離との差が減少する方向に所定量を変化させ、前記変化させた後の被写体距離を中心として前記所定の被写界深度を設定することを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。

請求項9

前記設定手段は、前記選択された所定の被写体の被写体距離をユーザの指示に応じて至近側または無限側に変更したのち、前記被写界深度を設定する請求項1乃至7のいずれか1項に記載の画像処理装置。

請求項10

前記ユーザの指示は、前記再構成画像が表示される領域に対する、タッチ操作の位置の移動を伴う操作により行われることを特徴とする請求項9に記載の画像処理装置。

請求項11

前記生成手段は、前記ユーザにより選択された所定の被写体の被写体距離における再構成画像と、該被写体距離からそれぞれ至近側および無限側に設定した被写体距離における再構成画像とを合成することにより、前記設定手段が設定した被写界深度を有する再構成画像を生成することを特徴とする請求項1乃至10のいずれか1項に記載の画像処理装置。

請求項12

前記複数の視点の画像を出力する撮像手段と、請求項1乃至11のいずれか1項に記載の画像処理装置と、を有することを特徴とする撮像装置

請求項13

前記撮像手段は、瞳分割された撮影光学系を通過した光束を光電変換することにより前記複数の画像を出力することを特徴とする請求項12に記載の撮像装置。

請求項14

同時に撮影された複数の視点の画像から任意の被写体距離に合焦した再構成画像を生成可能な画像処理装置の制御方法であって、検出手段が、予め定めた被写体距離に合焦した再構成画像から所定の被写体を検出する検出工程と、入力手段が、前記検出された所定の被写体の、ユーザによる選択を受け付ける入力工程と、設定手段が、前記ユーザにより選択された所定の被写体の被写体距離から所定の被写界深度を設定する設定工程と、生成手段が、前記設定工程において設定した前記所定の被写界深度を有する再構成画像を生成する生成工程と、を有することを特徴とする画像処理装置の制御方法。

請求項15

コンピュータを、請求項1乃至11のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム

技術分野

0001

本発明は画像処理装置、その制御方法およびプログラムに関し、特に多視点画像を用いて所望の被写体に合焦した再構成画像を生成する技術に関するものである。

背景技術

0002

近年、撮影時に光の強度分布入射方向の情報(光線空間情報(ライトフィールド情報とも呼ばれる))を取得可能な撮像装置ライトフィールドカメラLFC))が知られている。

0003

非特許文献1では、マイクロレンズアレイを介して撮像素子の各画素に、撮像レンズの異なる分割瞳領域を通過した光束を結像させることにより、様々な方向から入射した光を分離して記録する方法が開示されている。

0004

このように取得された光線空間情報(以下LFデータと呼ぶ)に対して、「Light Field Photography」と呼ばれる手法を適用することで、任意の焦点距離に合焦した画像(再構成画像)を撮影後に生成することができる。

0005

LFデータを取得できない従来のデジタルカメラ等を扱うとき、撮影後の画像が所望の被写体に合焦していないものであった場合、その被写体に合焦した画像を取得するには再度撮影する必要がある。一方、LFCを用いて撮影した場合は、取得したLFデータを用いて撮影後に再構成画像の生成を行えば、撮影し直すことなく所望の被写体に合焦した画像が得られる。

0006

さらに、所望の被写体が複数含まれ、各被写体間の奥行方向の距離が大きく異なるシーンを撮影する場合、従来型カメラ等でいずれかの被写体に合焦させて撮影すると、他の被写体がぼけ気味となる。他方、LFCを用いて撮影した場合には、撮影後に各被写体に合焦した再構成画像を生成して合成すれば各被写体に合焦した画像を得ることができる。

先行技術

0007

Ren.Ng、外7名,「Light Field Photography with a Hand-Held Plenoptic Camera」,Stanford Tech ReportCTSR 2005-02

発明が解決しようとする課題

0008

LFデータを用いることで、従来実現出来なかったような、撮影後に合焦距離(被写界深度の中心)や被写界深度を変更することが可能になった。しかし、LFデータを用いて再構成画像を生成する際の合焦距離や被写界深度をユーザが容易に設定または変更できる機能は提案されていない。特に、複数の被写体が存在する場合には、個々の被写体に合焦させたり、被写体によって被写界深度を異ならせたりするという要求も考えられるため、ユーザの意図する被写界深度を容易に設定する方法が求められる。

0009

本発明では、上述の従来技術の問題点に鑑みてなされたものであり、多視点画像から生成する再構成画像の合焦距離および被写界深度を容易に設定することが可能な画像処理装置、その制御方法およびプログラムを提供することを目的とする。

課題を解決するための手段

0010

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、同時に撮影された複数の視点の画像から任意の被写体距離に合焦した再構成画像を生成可能な画像処理装置であって、予め定めた被写体距離に合焦した再構成画像から所定の被写体を検出する検出手段と、検出された所定の被写体の、ユーザによる選択を受け付け入力手段と、ユーザにより選択された所定の被写体の被写体距離から所定の被写界深度を設定する設定手段と、設定手段が設定した所定の被写界深度を有する再構成画像を生成する生成手段と、を有することを特徴とする。

発明の効果

0011

本発明によれば、多視点画像から生成する再構成画像の合焦距離および被写界深度を容易に設定することが可能になる。

図面の簡単な説明

0012

本実施形態に係るLFCの一例としての機能構成を示すブロック図
本実施形態に係るマイクロレンズアレイ105と撮像部106の関係を説明する図
本実施形態に係る射出瞳301の各領域を通過した光束と、該光束を光電変換する光電変換素子の関係を説明する図
本実施形態に係る射出瞳301の各領域と、各マイクロレンズアレイに対応付けられた光電変換素子との対応を示す図
本実施形態に係る再構成面の特定位置を通過する光束の、撮像面における通過位置との関係を示す図
実施形態1に係る画像再構成処理を説明するフローチャート
実施形態1に係る対象物体の検出および距離分布情報を説明する図
実施形態1に係る対象物体の被写界深度情報を説明する図
実施形態1に係る被写界深度情報の更新処理を説明するフローチャート
実施形態1に係る物体距離関係に応じた被写界深度情報の更新処理を説明する図
実施形態2に係る再構成処理を説明するフローチャート
実施形態2に係る指定物体の被写界深度情報の更新処理を説明するフローチャート

実施例

0013

以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では、画像処理装置の一例としての、LFデータを記録可能なLFCに本発明を適用した例を説明する。しかし、LFデータの撮像や記録に関する機能を有さない電子機器にも本発明は適用可能である。これらの電子機器には、携帯電話機ゲーム機タブレット端末パーソナルコンピュータなどが含まれるが、これらは単なる例示である。

0014

(実施形態1)
〈1LFCの構成〉
図1は、本発明の実施形態に係るLFC100の機能構成例を示すブロック図である。制御部101は、例えばCPUであり、LFC100が有する各ブロックの動作を制御し、後述する撮影処理あるいは再構成画像の生成処理を含む、LFC100の動作を実現する。具体的には制御部101は、ROM102に記憶されているプログラムを読み出し、RAM103に展開して実行することにより、各ブロックの動作を制御する。

0015

ROM102は、例えば書き換え可能な不揮発性メモリであり、LFC100の制御プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。

0016

RAM103は、揮発性メモリである。RAM103は、ROM102から読み出したプログラムの展開領域としてだけでなく、各ブロックの動作において出力された中間データ等を記憶する格納領域としても用いられる。

0017

撮像部106は、例えばCCDやCMOSセンサ等の撮像素子である。撮像部106は、制御部101の指示により不図示のタイミングジェネレータ(TG)から出力されるタイミング信号を受けて、撮像光学系104により撮像素子の光電変換素子面に結像された光学像を光電変換し、アナログ画像信号を出力する。なお、撮像光学系104は例えば対物レンズフォーカスレンズ絞り等を含む。また、本実施形態のLFC100は、撮像部106の各光電変換素子に設けられているマイクロレンズとは別に、撮像光学系104と撮像部106との間に設けられたマイクロレンズアレイ105を有する。

0018

ここで、マイクロレンズアレイ105について、図2乃至図4を用いて説明する。

0019

図2に示すように、本実施形態のマイクロレンズアレイ105は複数のマイクロレンズ201で構成される。図2では、撮像光学系104の光軸をz軸とし、LFC100の横位置における水平方向をx軸、鉛直方向をy軸としている。なお、図2の例では簡単のため、マイクロレンズアレイ105は5行5列に並んだマイクロレンズ201で構成されるものとして説明するが、マイクロレンズアレイ105の構成はこれに限られるものではない。

0020

また図2では、撮像部106を構成する撮像素子の光電変換素子202が格子で示されている。各マイクロレンズ201には、所定数の光電変換素子202が対応づけられており、図2の例では1つのマイクロレンズ201に対して5×5=25画素の光電変換素子202が対応づけられている。1つのマイクロレンズ201に入射した光束は、入射方向に応じて分離され、対応づけられた複数の光電変換素子のうち、入射方向に対応する光電変換素子202に結像される。

0021

図3は、1つのマイクロレンズ201に対応づけられた光電変換素子202p1乃至p5に入射する光束を図示している。図3において、上方向は鉛直上向き方向に対応している。図3では、LFC100が横位置にある状態で、光軸に直交する水平方向から見た、各光電変換素子202p1〜p5に入射する光束の光路を例示している。図示されるように、水平方向に並んだ光電変換素子202p1乃至p5には、1つのマイクロレンズ201を介して、撮像光学系104の射出瞳301を垂直方向に5分割した領域a1乃至a5を通過した光束がそれぞれ入射する。なお、各領域に付された数字は、通過した光束が入射する光電変換素子202との対応関係を示している。

0022

なお、図3の例では水平方向から見た、各光電変換素子202に垂直方向に分離されて入射する光束の光路を示したが、光束の分離は垂直方向に限らず、水平方向においても同様に行われる。即ち、撮像光学系104の射出瞳301を撮像素子側から見て図4(a)のような領域に分割した場合、各領域を通過した光束は、図4(b)に示されるような光電変換素子202のうち、同一の識別数字が付された光電変換素子に入射する。なお、ここでは、撮像光学系104とマイクロレンズアレイ105の各マイクロレンズのFナンバーは略一致しているものとする。

0023

図1戻りAFE(Analog Front End)107及びDFE(Digital Front End)108は、撮像部106により生成された画像信号に対する補正処理等を行う。具体的にはAFE107は、撮像部106から出力されたアナログ画像信号に対して、基準レベルの調整(クランプ処理)やA/D変換処理を行い、LFデータをDFE108に出力する。DFE108は、入力されたLFデータに対して微少な基準レベルのずれ等を補正する。

0024

画像処理部109は、DFE108による補正処理が適用されたLFデータに対して、色変換処理等の各種画像処理を適用する。また本実施形態では画像処理部109は、LFデータから任意の被写体距離に合焦する画像(再構成画像)を生成する処理も行う。再構成画像の生成は、例えば上述した非特許文献1に示されるような「Light Field Photography」の手法を用いればよい。

0025

画像処理部109は、制御部101の指示に基づいて、LFデータから生成された再構成画像の生成や被写界深度を変更した再構成画像を生成する処理を行う。再構成画像を生成する処理および被写界深度を変更する処理については後に詳細に説明する。

0026

表示部110は、LFC100が有する表示装置であり、例えば小型LCD等である。表示部110は、画像処理部109により生成された、任意の距離に合焦した画像を表示する。上述したように、本実施形態の撮像部106から出力されるアナログ画像信号をA/D変換して得られるLFデータはそのまま表示に用いることはできない。このため表示部110には、例えば各マイクロレンズに対応する複数の画素のデータを加算することによって画像処理部109が生成する画像データを表示する。なお、表示部110は外部表示装置であってもよい。

0027

記録媒体111は、例えばLFC100が有する内蔵メモリや、メモリカードやHDD等のLFC100に着脱可能に接続される記録装置である。記録媒体111には、LFデータ、及びこれらのLFデータから生成された任意の焦点距離に合焦する再構成画像が記録される。

0028

操作入力部112は、例えば電源タンタッチパネル等を有する、LFC100のユーザインタフェースである。操作入力部112は、ユーザによる操作されると、該操作に対応する制御信号命令を制御部101に出力する。

0029

なお、本実施形態では、図4に示したような構成を有する撮像部106によってLFデータを取得しているが、例えば特開2011−22796号公報のように、複数の視点の異なるカメラをまとめて撮像部106とみなす構成でもよい。また、図4光学系と異なり、物体平面と撮像素子が共役の関係にあるように、マイクロレンズアレイ上で撮影光学系からの光束を結像させ、その結像面に撮像素子を設ける構成でもよい。さらには、マイクロレンズアレイ上で撮影光学系からの光束を再結像させ(一度結像した光束が拡散する状態にあるものを結像させるので再結像と呼んでいる)、その結像面に撮像素子を設けるような構成でも良い。また、適当なパターンを施したマスクゲイン変調素子)を撮影光学系の光路中に挿入する構成も利用できる。

0030

〈2再構成画像の生成処理〉
特定の被写体に合焦した再構成画像の生成処理の概要について、図4および図5を用いて説明する。

0031

まず、撮影範囲に含まれる特定の被写体の距離(被写体距離)は、以下の方法で取得可能である。画像処理部109は、LFデータから異なる分割瞳領域を通過した光束から一対の画像(A像およびB像と呼ぶ)を生成し、該画像間の位相差から、特定の被写体に対するデフォーカス量を検出する。現在の合焦距離と検出されたデフォーカス量とに基づき、制御部101は特定の被写体の距離を算出可能である。

0032

図4(b)の例では、各マイクロレンズに対応づけられた画素のうち、右端から第1列及び第2列の画素値を加算することにより、射出瞳301の左半分の分割瞳領域に対応するA像を生成することができる。また、第4列及び第5列の画素値を加算することにより、射出瞳301の右半分の分割瞳領域に対応するB像を生成することができる。即ち、これを式で表すと



のようになる。このように得られた一対の画像は、それぞれ対応する分割瞳領域の重心位置を光軸とする画像である。

0033

つまり、一対の画像は光軸のずれによる像のずれを有しているため、2つの画像について相関演算を行うことで、被写体について像のずれ量(瞳分割位相差)を検出することができる。このように得られた像のずれ量から、LFデータの撮影範囲に含まれる各被写体について合焦する焦点距離を解析することができ、例えば特定の被写体に合焦する再構成画像を生成することができる。

0034

次に、特定の距離の被写体に合焦する再構成画像の生成について説明する。本実施形態のLFC100では、上述したように、1つのマイクロレンズに割り当てられた複数の画素の各々は、撮像レンズの射出瞳の異なる分割瞳領域を通過した光束を受光する。これは、マイクロレンズアレイ105の全マイクロレンズについて同様である。また各マイクロレンズには異なる方向から撮像レンズを通過した光束が入射するため、撮像素子の全ての画素は、各々異なる方向から入射した光束を受光することになる。

0035

このため以下では、撮影により得られたLFデータの各画素に入射した光束の光路を、射出瞳内の通過した瞳領域の座標(u,v)と、対応するマイクロレンズの位置座標(x’,y’)として各光束を規定して説明する。再構成画像の生成においては、再構成画像を生成する任意の合焦距離に対応する再構成面上の画素(x,y)について、該点を通過する光路を有する光束を積分することで画素値を得ることができる。

0036

図5ではLFC100の横位置における鉛直方向から見た水平面(xz平面)における光束の光路が示されている。以下ではxz平面における、再構成面の各画素を通過する光束の光路について説明するが、yz平面についても同様である。

0037

瞳領域の座標(u,v)、再構成面上の画素座標を(x,y)とすると、この瞳領域と再構成面上の画素を通過する光束が入射するマイクロレンズアレイ105上のマイクロレンズの位置座標(x’,y’)は、



で表される。なお、Fは撮像レンズからマイクロレンズアレイまでの距離、αFは撮影レンズの射出瞳から再構成面までの距離(αはリフォーカス係数:再構成面までの距離を決定するための可変係数)である。

0038

また該光束を受光する光電変換素子の出力をL(x’,y’,u,v)とすると、再構成面上に形成される画像の座標(x,y)の画素出力E(x,y)は、L(x’,y’,u,v)を撮影レンズの瞳領域に関して積分したものであり、



で表される。なお、(u,v)を瞳領域の代表座標とすることで、該式は単純加算により計算できる。このような計算を再構成面上の各画素座標について行うことで、任意の被写体距離に合焦した再構成画像を生成することができる。
〈3被写界深度の変更処理
このような構成をもつ本実施形態のLFC100において実行される被写界深度の変更処理について、図6のフローチャートを用いて具体的に説明する。また、各ステップにおいて、説明に必要となる図7乃至図10を適宜用いて説明する。

0039

フローチャートに対応する処理は、制御部101が、例えばROM102に記憶されているプログラムを読み出し、RAM103に展開して実行することにより実現することができる。なお、本処理は、例えばLFC100が閲覧モードに設定されて起動され、記録媒体111に記録されたLFデータに対して再構成画像の生成指示がなされた際に開始されるものとして説明する。また、撮影後の閲覧モードには限定されず、撮影時に表示部110に再構成画像を表示させ、取得したLFデータに再生時のパラメータを設定させる等の目的で被写界深度を変更する処理を行ってもよい。

0040

S601において画像処理部109は、制御部101の指示により、再構成処理の可能なLFデータを記録媒体111から取得する。さらに画像処理部109は、後の物体検出処理に用いる画像を生成するため、所定の被写体距離に対応する再構成画像を生成する。本実施形態では、所定の被写体距離は無限遠に設定されているものして再構成画像を生成するものとするが、ユーザによる設定値を利用したり実験的に定められた設定値を用いて再構成画像を生成してもよい。

0041

S602において画像処理部109は、LFデータから生成した再構成画像に対して、特定の特徴を持った物体(対象物体)の画像上の領域を検出する。本実施形態では、LFC100は画像に含まれる人物の顔および胴体に対応する領域の検出機能を有するものとし、本ステップではS601で生成した再構成画像を用いて、人物の顔および胴体に対応する領域の検出を行うものとする。なお、検出する被写体は人物の顔領域に限らず、LFC100が検出機能を有する特定の被写体であってよい。図7(a)では、物体A701、物体B702、物体C703がそれぞれ検出された例を示している。

0042

S603において画像処理部109は、取得したLFデータについて、再構成画像内の分割領域ごとに被写体までの距離分布を算出する。図7(a)の704は1つの距離分布の分割領域の例を示す。該分割領域の大きさは、LFデータから生成可能な再構成画像の最小分解能に応じて規定される。分割領域704の分割数はLFC100の演算能力フレームレート等の制限に応じて適宜決めても良い。

0043

画像処理部109は、設定された分割領域704の各々について、エリア内に含まれる被写体までの代表距離の情報を算出する。具体的には画像処理部109は、異なる2つの分割瞳領域を通過した光束に対応するデフォーカス量検出用の2種類の再構成画像(検出用画像)を生成する。本ステップで生成される検出用画像は、上述したように射出瞳301の領域を左半分と右半分の分割瞳領域に分け、各分割瞳領域を通過した光束に対応するものであってよい。しかしながら、検出用画像は射出瞳301を通過したうち、光軸が異なる2種類の分割瞳領域を通過した光束に対応する画像であればよく、分割瞳領域の選択方法はこれに限られない。

0044

画像処理部109は、得られた2つの検出用画像から各分割領域内の被写体に対するデフォーカス量を算出し、デフォーカス量に従って代表距離を算出する。代表距離は、例えば分割領域の中央に位置する被写体についての距離であってもよいし、分割領域内の被写体について得られた距離の平均値であってもよい。

0045

S604において画像処理部109は、S603で得られた分割領域704ごとの代表距離とS602で検出された対象物体の画像上の位置関係とから、各対象物体の距離分布情報を生成する(図7(b))。各対象物体に対する距離分布は、物体の形状や大きさに応じた拡がりを有するが、本実施形態では簡単化のため対象物体の距離を代表して表す距離(対象物体の代表距離)を与えるものとする。図7(b)は対象物体である物体A701、物体B702、物体C703の代表距離を示した図であり、それぞれの対象物体までの距離が異なっていることを示している。

0046

画像処理部109は、対象物体の画像上の位置関係に対応する各分割領域704の代表距離を取得し、対象物体の代表距離を算出する。対象物体が人物である本実施形態では、人物の顔領域に対応する代表距離を対象物体の代表距離として算出(選択)するが、胴体領域を含む、同一人物に係る全ての分割領域の代表距離の平均値を対象物体の代表距離として算出してもよい。

0047

S605において画像処理部109は、対象物体の被写界深度情報を生成する。図8は、横軸を被写体距離として、図7(a)で示した対象物体の被写体距離と被写界深度とを模式的に示す図である。物体A701の被写界深度情報は被写体距離401と至近側被写界深度402と無限側被写界深度403である。物体B702の被写界深度情報は被写体距離404と至近側被写界深度405と無限側被写界深度406である。物体C703の被写界深度情報は被写体距離407と至近側被写界深度408と無限側被写界深度409である。

0048

画像処理部109は、まずS604で生成した対象物体の代表距離を用いて対象物体の被写体距離を算出する。その上で、画像処理部109は、各対象物体の被写体距離における至近側被写界深度および無限側被写界深度を取得する。被写界深度は、一般にレンズの焦点距離、絞り値(Fナンバー)、及び撮像素子のサイズ等の撮像装置の物理的な値と、被写体距離とによって求めることができる。しかし、本実施形態では、ある被写体距離とFナンバーに対して予め至近側および無限側被写界深度を算出し、被写界深度テーブルとして保持しておくものとする。画像処理部109は、対象物体の被写体距離おける被写界深度情報を得るために、所定の被写体距離とFナンバーに対する至近側被写界深度および無限側被写界深度の値を、被写界深度テーブルから取得する。

0049

S606において制御部101は、S601において画像処理部109により生成された、無限遠の被写体に合焦した再構成画像をユーザによる対象物体の指定操作のために表示部110に表示させる。

0050

S607において制御部101は、操作入力部112を通じて、対象物体を指定する操作が行われたか判断する。操作入力部112を通じて対象物体の指定操作が行われたと判断する場合、制御部101は処理をS608に進め、対象物体の指定操作が行われていないと判断した場合はS612に処理を移動して操作入力部112からの入力を待つ。以降において、指定された対象物体を指定物体と称する。

0051

例えば制御部101は、操作入力部112を通じて画面上の座標が指定され、かつ指定された座標がS602において画像処理部109が検出した対象物体の領域のいずれかに含まれる場合、指定された座標を含む領域の対象物体が指定されたものと判断する。

0052

S608において画像処理部109は、S605において生成された各対象物体の被写体距離に基づいて、指定物体と他の対象物体との被写体距離の関係を特定する。例えばS607において、図7(a)における各対象物体の中で物体A701が指定されたものとする。そうすると、S605において生成した各対象物体の被写体距離に基づいて、物体A701は物体A701、物体B702、物体C703の中で至近側に存在するという被写体距離の関係が特定される。

0053

画像処理部109は、指定物体と全ての他の対象物体の被写体距離を比較した結果、指定物体が最も至近側に存在する場合には、指定物体と他の対象物体との被写体距離の関係を示す情報として、例えば至近側である旨の識別子を設定する。また、指定物体が最も無限側にある場合は、無限側である旨の識別子を設定し、いずれでもない場合(中間に存在する場合)には識別子を設定しない。

0054

S609において画像処理部109は、S605において生成された各対象物体の被写界深度情報およびS608において設定された指定物体と他の対象物体との被写体距離の関係を示す情報とに基づいて、指定物体の被写界深度を変更する処理を行う。

0055

図9のフローチャートおよび図10を用いて、指定物体の被写界深度を変更する処理について説明する。S501において画像処理部109は、指定物体と他の対象物体との被写体距離の関係を示す情報を参照し、至近側である旨の識別子が設定されていればS502へ、指定物体が無限側である旨の識別子が設定されていればS503へそれぞれ処理を進める。また、画像処理部109は、指定物体と他の対象物体との被写体距離の関係を示す情報に識別子が設定されていない場合には処理をS504へ進める。

0056

S502で画像処理部109は、指定物体の被写界深度情報の被写体距離を無限側に移動する処理を行う。一方、S503で画像処理部109は、指定物体の被写界深度情報の被写体距離を至近側に移動する処理を行う。即ち、指定物体の被写体距離と他の対象物体の被写体距離の差が減少する方向に指定物体の被写体距離を移動させる。画像処理部109は、S502およびS503の処理が完了すると、S504へ処理を進める。

0057

なお、S502およびS503の処理は、被写体距離を移動しなくても所定量の被写界深度を拡大可能であれば必ずしも必要でない。すなわち、被写界深度は合焦距離を中心として至近側と無限側に同じ幅で生じるが、指定物体が至近側や無限側に存在する場合、被写体距離を変更しないと一方の方向への被写界深度の拡大が限界に達してしまう。そのため、本実施形態では、至近側および無限側に指定物体が存在する場合には、それぞれ至近端もしくは無限側から遠ざかるように被写体距離を所定量移動させている。

0058

S504において画像処理部109は、指定物体の被写界深度の至近側被写界深度と無限側被写界深度の範囲を拡大する。画像処理部109は、指定物体の被写界深度情報から至近側被写界深度と無限側被写界深度を取得する。次に新たに設定された被写体距離を中心として、該被写体距離から取得した至近側被写界深度に相当する位置に被写体距離Aを、被写体距離から取得した無限側被写界深度に相当する位置に被写体距離Bを設定する。S502またはS503において指定物体の被写体距離が変化している場合には、変更後の被写体距離が新たに設定された被写体距離となる。画像処理部109は、指定物体の至近側被写界深度について、例えば至近側である被写体距離Aにおいて求められる至近側被写界深度と被写界深度情報から取得した至近側被写界深度とを合算して、指定物体の至近側被写界深度を拡大する。同様に、画像処理部109は、無限側被写界深度について、無限側である被写体距離Bに求められる無限側被写界深度と、被写界深度情報から取得した無限側被写界深度とを合算する。

0059

なお、1回の被写界深度情報の変更処理によって更新される被写体距離の移動量および被写界深度の変更量を調整するために、固定値として予め組み込まれたものを更に合算してもよい。また、これらはユーザがメニュー画面等から設定可能な値であってもよい。移動量や変更量の設定は被写界深度の変更速度の設定と同義である。また、本実施形態では、指定物体の被写界深度の拡大において、至近側被写界深度および無限側被写界深度をそれぞれ変更する例を説明したが、至近側の指定物体であれば無限側被写界深度のみを行ってもよい。また、無限側の指定物体であれば至近側被写界深度のみを変更するような処理を行ってもよい。

0060

S505において画像処理部109は、被写界深度情報を更新する。まず画像処理部109は、被写界深度情報の被写体距離を、中心となる被写体距離で更新する。また、画像処理部109は、指定物体の被写界深度情報における至近側被写界深度について、S504で合算して拡大された被写界深度を用いて被写界深度情報を更新する。

0061

指定物体の存在する位置が至近側である場合、無限遠である場合、中間である場合のそれぞれにおいて、図9の処理でどのように被写界深度が更新(拡大)されるかを、図10を用いてさらに説明する。

0062

図10(a)は、指定物体が至近側に存在する場合(例えば指定物体が図7におけるA701である場合)に行われる被写界深度の変更処理を模式的に示している。物体A701は至近側に存在するため、物体A701の被写界深度情報の被写体距離は、S502において図10(a)の401から1001aに示すように所定量無限側に移動される。そしてS504において、物体A701の被写界深度情報の至近側被写界深度は図10(a)の402から1002aに、無限側被写界深度は図10(a)の403から1003aにそれぞれ拡大される。被写体距離1001aから至近側被写界深度402に相当する被写体距離を被写体距離Aとすると、被写界深度1002aは、至近側被写界深度402に、被写体距離Aにおいて求められる至近側被写界深度を合算することで得られる。同様に、被写体距離1001aから被写界深度402に相当する無限側にある被写体距離を被写体距離Bとすると、無限側被写界深度403に被写体距離Bにおいて求められる無限側被写界深度を合算して無限側被写界深度1003aを得る。

0063

図10(b)は、指定物体が至近側の対象物体と無限側の対象物体の中間に位置する場合(例えば指定物体が図7における物体B702である場合)に行われる被写界深度の変更処理を模式的に示している。物体B702は至近側の被写体と無限側の被写体の中間に位置するため被写界深度情報の被写体距離404は移動しない。そして、S504において、物体B702の被写界深度情報の至近側被写界深度は図10(b)の405から1002bに、該被写界深度情報の無限側被写界深度は図10(b)の406から1003bにそれぞれ変化して被写界深度の範囲が拡大する。被写体距離404から至近側被写界深度405に相当する被写体距離を被写体距離Aとすると、被写界深度1002bは、至近側被写界深度405に、被写体距離Aにおいて求められる至近側被写界深度を合算することで得られる。同様に、被写体距離404から被写界深度406に相当する無限側にある被写体距離を被写体距離Bとすると、無限側被写界深度406に被写体距離Bにおいて求められる無限側被写界深度を合算して無限側被写界深度1003bを得る。

0064

図10(c)は、指定物体が無限側にある場合(例えば指定物体が図7における物体C703である場合)に行われる被写界深度の変更処理を模式的に示している。物体C703の被写体距離は無限側にあるため、物体C703の被写界深度情報の被写体距離は、S503において図10(c)の407から1001cに示すように所定量至近側に移動される。そして、S504において、物体C703の被写界深度情報の至近側被写界深度は図10(c)の408から1002cに、該被写界深度情報の無限側被写界深度は図10(c)の409から1003cにそれぞれ変化して被写界深度の範囲が拡大する。被写界深度1002cは、被写体距離1001cから至近側被写界深度408に相当する被写体距離を被写体距離Aとすると、至近側被写界深度408に、被写体距離Aにおいて求められる至近側被写界深度を合算することで得られる。同様に、被写体距離1001cから被写界深度409に相当する無限側にある被写体距離を被写体距離Bとすると、無限側被写界深度409に被写体距離Bにおいて求められる無限側被写界深度を合算して無限側被写界深度1003cを得る。

0065

このように指定物体と他の対象物体との被写体距離の関係に応じて合焦する被写体距離を移動させた上で被写界深度を更新することにより、ユーザは被写界深度を変化させる方向を意図的に指定することなく、容易に被写界深度を変更することができる。

0066

次にS610において画像処理部109は、S609で変更した被写界深度情報に対応した再構成画像を生成する。画像処理部109は、例えば、図9のS504で算出された3つの被写体距離を焦点面とする再構成画像をそれぞれ生成し、中心の被写体距離に合焦する再構成画像に対して他の再構成画像の合焦部分を合成した合成再構成画像を生成する。これにより被写界深度が拡大した再構成画像を生成することができる。なお、合成処理は、3枚の再構成画像の例えば対応する画素同士の加算であってよい。この際、域毎のエッジ強度を算出し、領域毎にエッジ強度に応じた重みづけ加算を行ってもよい。画像処理部109は合成した合成再構成画像を出力する。

0067

合成再構成画像についてより具体的には、まず画像処理部109は、S504で算出された中心となる被写体距離(合焦距離)と、至近側の被写体距離Aおよび被写体距離Bをそれぞれの再構成画像の焦点面として設定して、それぞれの再構成画像を生成する。これにより、指定物体の被写体距離における再構成画像と被写体距離AおよびBにおける再構成画像を得ることができる。そして、これらの再構成画像を合成した新たな再構成画像を生成することによって、被写界深度の拡大した再構成画像を得ることができる。なお、被写界深度の拡大方法は上記に限らず、中心となる被写体距離から至近側及び無限側のそれぞれに所定ステップ分変位した位置に被写体距離A及び被写体距離Bを設定するようにしてもよい。また、被写体距離は3つに限らず、より多数の被写体距離を設定してもよい。

0068

S611において表示部110は、制御部101の指示により、画像処理部109から出力された再構成画像を表示する。

0069

S612において制御部101は、操作入力部112からの入力に基づいて、更なる処理の有無を判断する。制御部101は、例えばタッチパネルにおける接触等の操作(タッチ操作)により一定の画像領域において選択状態がされた場合には、対象物体の指定を判断するため、S607へ処理を進める。また、制御部101は、例えばタッチパネルにおける長押し操作のように一定の画像領域において選択状態が継続する場合には、被写界深度情報の変更を継続させるため、S609へ処理を戻す。被写界深度情報の変更の継続については、選択状態の継続が停止した場合には、継続の解除指示と判断してS609への移動を停止して被写界深度の変更を停止させる。さらに、制御部101は、ユーザ等の入力が無い場合は、入力待ちの状態となってS612へ処理を戻す。さらに、ユーザによって再構成画像の表示に対する終了操作があった場合には、制御部101は一連の処理を終了させる。

0070

本実施形態によれば、ユーザの指定した被写体の被写体距離と該被写体以外の他の被写体の被写体距離の関係に基づいて被写界深度の変更方法を制御することにより、ユーザは再構成画像の合焦距離および被写界深度を容易に設定することができる。

0071

なお、本実施形態では、被写体を継続的に選択した場合に被写界深度を継続的に変更する例を説明したが、被写体を選択すると自動的に所定の時間周期で被写界深度を変更するようにしてもよい。この場合には、例えばユーザがタッチパネルの所定の領域にタッチ操作をした場合に被写界深度の変更を停止する。さらに、時間周期はユーザがメニュー画面等から設定可能なものであってよい。本実施形態では、タッチパネルの操作を接触による操作として説明したが、タッチパネル等の表示装置に対する入力は、その検出方法によっては必ずしも接触しなくてもよい。また、図示していないが、本発明では指定物体の被写界深度の拡大以外に、被写界深度を縮小する方法も含む。例えば、ユーザは被写体を指定する前に予め、拡大または縮小の別を選択しておいても良いし、被写体を継続的に選択して被写界深度を変更する際に、特定のキーを同時に押下することで処理が縮小するようにしてもよい。ユーザが被写界深度の縮小を選択した場合には、画像処理部109は、S609において被写界深度が縮小するように被写体距離を決めればよい。

0072

(実施形態2)
図11のフローチャートを参照して、本発明の実施形態2における再構成画像の生成処理について説明する。本実施形態は、ユーザが指定物体となる被写体を指定することに加えて、被写界深度の更新方向あるいは更新方向と更新する幅を指示することによって、所望の被写界深度が反映された再構成画像を生成するものである。なお、図6に示した本発明の実施形態1におけるフローチャートと異なる部分について詳細に説明し、重複する部分については説明を省略する。

0073

S607において制御部101は、図6で説明した処理と同様に対象物体の指定操作が行われたと判断した場合は処理をS1101に進める。
S1101において制御部101は、操作入力部112を通じて入力された情報に基づいて、指定物体に対する被写界深度の更新方向と更新する幅を取得する。制御部101は、入力が指定物体に対する、被写界深度の更新方向と更新する幅を指示する操作を得られた場合は処理をS1102へ進める。指定物体に対する指示操作を得られない場合はS1101に戻ってユーザからの指示操作を待つ。所定の時間内に指示操作を得られない場合、制御部101は処理をタイムアウトさせてS612に処理を移動して新たなユーザからの入力を待つ。

0074

制御部101は、操作入力部112を通じて、例えば、タッチパネルにおけるフリック操作スワイプ操作等のタッチ操作の位置の移動を伴う操作の検出を行う。制御部101は、検出した操作がスワイプ操作であると判断した時は更に移動軌跡を確認して軌跡の大きさを取得する。例えばスワイプ操作が上下方向の操作である場合は、それぞれを被写界深度の向きの至近側または無限側の方向に割り当てあて、移動軌跡の大きさを被写界深度の変更の幅に割り当てる。

0075

S1102において画像処理部109は、S1101で取得した指定物体に対する、被写界深度の更新方向と更新する幅に基づいて指定物体の被写界深度を変更する。図12を参照して、S1102の指定物体の被写界深度を更新する処理について説明する。なお、本発明の実施形態1における図9のフローチャートと異なる部分のみ説明を行う。

0076

S1201において画像処理部109は、上述のS1101で取得した指定物体に対する操作指示に基づいて、被写界深度を更新する方向を判定する。画像処理部109は、操作指示における被写界深度の更新方向が無限側を示す場合は、実施形態1で述べたS502へ処理を進めて被写体距離を無限側に変更する。また、画像処理部109は、操作指示における被写界深度の更新方向が至近側である場合は、S503に進めて被写体距離を至近側に変更する。画像処理部109は、S502およびS503の処理を完了すると、処理をS1202へ進める。

0077

S1202において画像処理部109は、指定物体の被写体距離と、S1101で取得した被写界深度を更新する幅に基づいて被写界深度を変更する。画像処理部109は、指定物体の被写界深度情報から至近側被写界深度と無限側被写界深度を取得する。次に新たに設定された被写体距離を中心として、該被写体距離から取得した至近側被写界深度に取得した更新する幅を合算した位置に被写体距離Aを、被写体距離から取得した無限側被写界深度に取得した更新する幅を合算した位置に被写体距離Bを設定する。S502またはS503において指定物体の被写体距離が変化している場合には、変更後の被写体距離が新たに設定された被写体距離となる。画像処理部109は、設定した被写体距離を用いてS505と同様に被写界深度情報を更新する。このように、操作指示から得られた被写界深度の更新方向と更新する幅に基づく3つの被写体距離を得ることによって、S612においてそれぞれの被写体距離における3つの再構成画像が得られ、これらを合成することによる合成再構成画像が得られる。

0078

本実施形態によれば、タッチパネル等により被写界深度の更新方向と更新する幅を取得して被写界深度を変更した再構成画像を生成することにより、ユーザの意図に応じた再構成画像の被写界深度を容易に設定することができる。

0079

以上に説明したように、本発明によれば、多視点画像から生成する再構成画像の合焦距離および被写界深度を容易に設定することが可能な画像処理装置、その制御方法およびプログラムを提供することが可能となる。

0080

[その他の実施形態]
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ