図面 (/)

技術 画像処理装置、画像処理方法及びプログラム

出願人 キヤノン株式会社
発明者 大輪寧司
出願日 2014年2月21日 (6年4ヶ月経過) 出願番号 2014-031962
公開日 2015年9月3日 (4年10ヶ月経過) 公開番号 2015-159357
状態 特許登録済
技術分野 スタジオ装置 焦点調節 画像処理 FAX画像信号回路 写真撮影方法及び装置 自動焦点調節
主要キーワード ボカシ効果 高輝度情報 絶対値成分 中周波数成分 円柱部分 構成フィルタ フィルタ形状 デジタルフィルタ処理
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2015年9月3日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (17)

課題

被写体距離によってぼか度合を変える際に、被写体の数が多い場合にも回路規模及び処理時間を抑えて背景ボケ忠実再現できるようにする。

解決手段

被写体の数が多く、高輝度領域を有していない場合には簡略フィルタを用いてフィルタ処理を行う。この時、ぼかし度合が小さい場合には、1個のフィルタから構成される簡略フィルタを用い、ぼかし度合が中くらいである場合は、5個の同一のフィルタから構成される簡略フィルタを用い、ぼかし度合いが大きい場合は、13個の同一のフィルタから構成される簡略フィルタを用いてフィルタ処理を行う。

概要

背景

従来、コンパクトデジタルカメラ撮影すると、一眼レフカメラで撮影する場合に比べて相対的に広い距離範囲に対して焦点が合ってしまうため、一眼レフカメラのように背景を大きくぼかした画像を撮影することができない。このため、従来のコンパクトデジタルカメラでは、大きなぼかし効果を得るために、デジタルフィルタ処理で一眼レフカメラ相当の大きさのボケ撮影画像に付与している。

例えば特許文献1には、縮小した画像に小さいサイズのフィルタ処理を施したのちに元のサイズに拡大して、小さいサイズのフィルタ処理で大きなボケを画像に付与する技術が開示されている。また、例えば特許文献2には、焦点条件の異なる2枚の画像から主被写体領域と背景領域とを検出し、この結果に応じて背景をぼかす効果を付与した画像を形成する技術が開示されている。

概要

被写体距離によってぼかし度合を変える際に、被写体の数が多い場合にも回路規模及び処理時間を抑えて背景ボケを忠実再現できるようにする。被写体の数が多く、高輝度領域を有していない場合には簡略フィルタを用いてフィルタ処理を行う。この時、ぼかし度合が小さい場合には、1個のフィルタから構成される簡略フィルタを用い、ぼかし度合が中くらいである場合は、5個の同一のフィルタから構成される簡略フィルタを用い、ぼかし度合いが大きい場合は、13個の同一のフィルタから構成される簡略フィルタを用いてフィルタ処理を行う。

目的

効果

実績

技術文献被引用数
0件
牽制数
1件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

焦点までの距離が互いに異なる少なくとも2つの被写体を含む撮影画像を入力する入力手段と、前記撮影画像における各被写体までの距離と、合焦位置までの距離との情報を取得する取得手段と、前記取得手段によって取得された各被写体までの距離及び合焦位置までの距離に基づいて前記各被写体に対して異なるフィルタ処理を施す第1の処理手段とを有し、前記第1の処理手段は、前記各被写体までの距離及び合焦位置までの距離に基づいた回数で前記各被写体に対してそれぞれフィルタ処理を行い、前記フィルタ処理ごとに生成される画像を合成することを特徴とする画像処理装置

請求項2

前記第1の処理手段によるフィルタ処理を適用するか否かを選択する選択手段と、前記選択手段によって前記第1の処理手段によるフィルタ処理を適用しないことが選択された場合に、前記第1の処理手段によるフィルタ処理よりも再現性の高いフィルタ処理を行って処理後の画像を生成する第2の処理手段とをさらに有することを特徴とする請求項1に記載の画像処理装置。

請求項3

前記選択手段は、前記被写体の数が所定値以下である場合は、前記第1の処理手段によるフィルタ処理を適用しないことを選択することを特徴とする請求項2に記載の画像処理装置。

請求項4

前記選択手段は、前記撮影画像に含まれる被写体までの距離と前記合焦位置までの距離との関係に応じて前記第1の処理手段によるフィルタ処理を適用するか否かを選択することを特徴とする請求項2又は3に記載の画像処理装置。

請求項5

前記選択手段は、前記撮影画像に含まれる被写体の輝度値に応じて前記第1の処理手段によるフィルタ処理を適用するか否かを選択することを特徴とする請求項2〜4の何れか1項に記載の画像処理装置。

請求項6

前記第2の処理手段は、円柱形フィルタを用いてフィルタ処理を行うことを特徴とする請求項2〜5の何れか1項に記載の画像処理装置。

請求項7

焦点までの距離が互いに異なる少なくとも2つの被写体を含む撮影画像を入力する入力工程と、前記撮影画像における各被写体までの距離と、合焦位置までの距離との情報を取得する取得工程と、前記取得工程において取得された各被写体までの距離及び合焦位置までの距離に基づいて前記各被写体に対して異なるフィルタ処理を施す処理工程とを有し、前記処理工程においては、前記各被写体までの距離及び合焦位置までの距離に基づいた回数で前記各被写体に対してそれぞれフィルタ処理を行い、前記フィルタ処理ごとに生成される画像を合成することを特徴とする画像処理方法

請求項8

焦点までの距離が互いに異なる少なくとも2つの被写体を含む撮影画像を入力する入力工程と、前記撮影画像における各被写体までの距離と、合焦位置までの距離との情報を取得する取得工程と、前記取得工程において取得された各被写体までの距離及び合焦位置までの距離に基づいて前記各被写体に対して異なるフィルタ処理を施す処理工程とをコンピュータに実行させ、前記処理工程においては、前記各被写体までの距離及び合焦位置までの距離に基づいた回数で前記各被写体に対してそれぞれフィルタ処理を行い、前記フィルタ処理ごとに生成される画像を合成することを特徴とするプログラム

技術分野

0001

本発明は、特に、ぼかし処理を行うために用いて好適な画像処理装置画像処理方法及びプログラムに関する。

背景技術

0002

従来、コンパクトデジタルカメラ撮影すると、一眼レフカメラで撮影する場合に比べて相対的に広い距離範囲に対して焦点が合ってしまうため、一眼レフカメラのように背景を大きくぼかした画像を撮影することができない。このため、従来のコンパクトデジタルカメラでは、大きなぼかし効果を得るために、デジタルフィルタ処理で一眼レフカメラ相当の大きさのボケ撮影画像に付与している。

0003

例えば特許文献1には、縮小した画像に小さいサイズのフィルタ処理を施したのちに元のサイズに拡大して、小さいサイズのフィルタ処理で大きなボケを画像に付与する技術が開示されている。また、例えば特許文献2には、焦点条件の異なる2枚の画像から主被写体領域と背景領域とを検出し、この結果に応じて背景をぼかす効果を付与した画像を形成する技術が開示されている。

先行技術

0004

特開2004−102904号公報
特開平10−233919号公報

発明が解決しようとする課題

0005

しかしながら、上述の特許文献1及び2に開示された従来技術では、フィルタサイズが小さいため、一眼レフカメラのような背景ボケを忠実再現することができない。例えば一眼レフカメラでは、背景の点光源を大きく丸くぼかすような撮影を行うことができるが、特許文献1及び2に開示されている小さいサイズのフィルタ処理では、丸ボケの形状の詳細を十分に表現できない。また、被写体距離によってぼかし度合を変える場合には、被写体距離の種類が増えると全体の処理時間が増大するという問題がある。

0006

本発明は前述の問題点に鑑み、被写体距離によってぼかし度合を変える際に、被写体の数が多い場合にも回路規模及び処理時間を抑えて背景ボケを忠実に再現できるようにすることを目的としている。

課題を解決するための手段

0007

本発明に係る画像処理装置は、焦点までの距離が互いに異なる少なくとも2つの被写体を含む撮影画像を入力する入力手段と、前記撮影画像における各被写体までの距離と、合焦位置までの距離との情報を取得する取得手段と、前記取得手段によって取得された各被写体までの距離及び合焦位置までの距離に基づいて前記各被写体に対して異なるフィルタ処理を施す第1の処理手段とを有し、前記第1の処理手段は、前記各被写体までの距離及び合焦位置までの距離に基づいた回数で前記各被写体に対してそれぞれフィルタ処理を行い、前記フィルタ処理ごとに生成される画像を合成することを特徴とする。

発明の効果

0008

本発明によれば、被写体距離によってぼかし度合を変える際に、被写体の数が多い場合にも回路規模及び処理時間を抑えて背景ボケを忠実に再現することができる。

図面の簡単な説明

0009

実施形態に係るデジタルカメラの構成例を示すブロック図である。
画像処理部に含まれる構成の一部を説明するための図である。
撮影画像に適用する2次元フィルタ処理フィルタ係数を説明するための図である。
図3の2次元フィルタを撮影画像に適用する様子を説明するための図である。
デジタルカメラと撮影される被写体との位置関係を示した図である。
図5に示した位置関係の例で撮影された撮影画像を示す図である。
撮影画像における被写体の距離マップの例を示す図である。
実施形態におけるぼかし処理を行う一連処理手順の一例を示すフローチャートである。
輝度ヒストグラムの一例を示す図である。
実施形態におけるぼかし処理の詳細な手順の一例を示すフローチャートである。
ぼかしモードごとのフィルタ選択条件の一例を示す図である。
ぼかし度合を決定する条件の一例を示す図である。
フィルタの種類とぼかし度合とにより適用するフィルタの一例を示す図である。
フィルタの形状の一例を示す図である。
簡略フィルタの詳細な構成を説明するための図である。
簡略フィルタによるフィルタ処理の詳細な手順の一例を示すフローチャートである。

実施例

0010

以下、本発明の好ましい実施形態について、添付の図面に基づいて詳細に説明する。本実施形態では、画像処理装置としてデジタルカメラに適用した例について説明する。

0011

図1は、本実施形態に係るデジタルカメラ100の構成例を示すブロック図である。
図1において、撮影レンズ103はフォーカスレンズを含むレンズであり、シャッター101は絞り機能を備えている。撮像部22は光学像電気信号に変換するCCDやCMOS素子等で構成されている。A/D変換器23はアナログ信号デジタル信号に変換するための回路であり、撮像部22から出力されるアナログ信号をデジタル信号に変換するために用いられる。バリア102は、デジタルカメラ100の、撮影レンズ103を含む撮像ユニットを覆うことにより、撮影レンズ103、シャッター101、及び撮像部22を含む撮像系の汚れや破損を防止する。

0012

画像処理部24は、A/D変換器23から出力されるデータ、又は、メモリ制御部15から出力されるデータに対し所定の画素補間、縮小といったリサイズ処理色変換処理を行う。また、画像処理部24では、撮像して得られた画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部50が露光制御及び測距制御を行う。これにより、TTLスルー・ザ・レンズ)方式のAFオートフォーカス)処理、AE自動露出)処理、EF(フラッシュプリ発光)処理が行われる。システム制御部50によるAF処理では、主被写体に対する合焦制御が行われ、主被写体距離として合焦距離が得られる。画像処理部24では更に、撮像して得られた画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理も行っている。また、さらに画像処理部24では、撮像して得られた画像データに対して所望のボカシ効果を付与した画像を形成する。

0013

距離マップ生成部104は、例えば焦点条件の異なる2枚の画像から被写体の距離マップを生成する。例えば、2枚の画像のエッジ成分、すなわち高周波数成分や中周波数成分を取り出し、これらの絶対値成分差分値とることによってこの差分値から被写体距離を抽出する。焦点条件の種類を増やして複数枚の撮影画像から被写体距離情報を抽出することにより、被写体距離の分解能及び精度を高くすることもできる。これにより、撮影画像に対する距離マップを生成する。

0014

A/D変換器23から出力される出力データは、画像処理部24及びメモリ制御部15を介して、或いは、メモリ制御部15を介してメモリ32に直接書き込まれる。メモリ32は、撮像部22によって得られ、A/D変換器23によりデジタルデータに変換された画像データや、表示部28に表示するための画像データを格納する。メモリ32は、所定枚数静止画像や所定時間の動画像および音声のデータを格納するのに十分な記憶容量を備えている。また、メモリ32は画像表示用のメモリ(ビデオメモリ)を兼ねている。

0015

D/A変換器13は、メモリ32に格納されている画像表示用のデータをアナログ信号に変換して表示部28に供給する。こうして、メモリ32に書き込まれた表示用の画像データはD/A変換器13を介して表示部28により表示される。表示部28は、LCD等の表示器上に、D/A変換器13から出力されたアナログ信号に応じた表示を行う。

0016

不揮発性メモリ56は、電気的に消去・記録可能なメモリであり、例えばEEPROM等が用いられる。不揮発性メモリ56には、システム制御部50の動作用の定数、プログラム等が記憶されている。この不揮発性メモリ56に記憶されているプログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。

0017

システム制御部50は、デジタルカメラ100全体を制御する。前述した不揮発性メモリ56に記憶されたプログラムを実行することにより、後述する本実施形態の各処理を実現する。また、システム制御部50はメモリ32、D/A変換器13、表示部28等を制御することにより表示制御も行う。システムメモリ52は例えばRAMが用いられ、システムメモリ52には、システム制御部50の動作用の定数、変数、不揮発性メモリ56から読み出されたプログラム等を展開する。

0018

モード切替スイッチ60、シャッターボタン61、第1シャッタースイッチ62、第2シャッタースイッチ64、及び操作部70はシステム制御部50に各種の動作指示を入力するための操作手段である。モード切替スイッチ60は、システム制御部50の動作モードを静止画記録モード動画記録モード再生モード等のいずれかに切り替える。

0019

シャッターボタン61は撮影指示を行うための操作手段であり、第1シャッタースイッチ62および第2シャッタースイッチによって構成されている。第1シャッタースイッチ62は、デジタルカメラ100に設けられたシャッターボタン61の操作途中、いわゆる半押し(撮影準備指示)でONとなり、第1シャッタースイッチ信号SW1を発生する。第1シャッタースイッチ信号SW1がシステム制御部50に入力されると、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理等の動作が開始される。

0020

第2シャッタースイッチ64は、シャッターボタン61の操作完了、いわゆる全押し(撮影指示)でONとなり、第2シャッタースイッチ信号SW2を発生する。第2シャッタースイッチ信号SW2がシステム制御部50に入力されると、撮像部22からの信号読み出しから記録媒体200に画像データを書き込むまでの一連の撮影処理の動作が開始される。

0021

操作部70の各操作部材は、表示部28に表示される種々の機能アイコン選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部28に表示される。利用者は、表示部28に表示されたメニュー画面と、4方向ボタンSETボタンとを用いて直感的に各種設定を行うことができる。

0022

電源制御部80は、電池検出回路DC−DCコンバータ通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部80は、その検出結果及びシステム制御部50の指示に基づいてDC−DCコンバータを制御し、必要な電圧を必要な期間、記録媒体200を含む各部へ供給する。

0023

電源部30は、アルカリ電池リチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池ACアダプター等からなる。インターフェース18はメモリカードハードディスク等の記録媒体200と接続するためのインターフェースである。記録媒体200は、メモリカード等の記録媒体であり、半導体メモリ磁気ディスク等から構成される。電源スイッチ72は、電源オン電源オフを切り替えるためのスイッチである。

0024

次に、図2から図4を参照しながら、再現性の高いフィルタ処理を行うための、画像処理部24の詳細な構成及び動作について説明する。

0025

図3は、撮影画像に適用する2次元フィルタ処理のフィルタ係数を説明するための図である。図3に示すように、フィルタの形状は、円柱形フィルタ形状となっており、撮影画像にこのフィルタ処理を適用することにより一眼レフカメラのような丸ボケを表現することができる。また、フィルタのサイズは、円柱部分が(47タップ)×(47タップ)である。f1、f2、・・・、f36は、サイズが(9タップ)×(9タップ)の2次元フィルタ係数であり、縦6ブロック×横6ブロックで最大(54タップ)×(54タップ)の2次元フィルタ係数を表現することができる。

0026

図4は、図3の2次元フィルタを撮影画像に適用する様子を説明するための図である。図4において、領域401は撮影された入力画像の領域である。領域402は(54タップ)×(54タップ)の2次元フィルタを適用した後の出力画像の領域である。

0027

図2は、画像処理部24に含まれる構成の一部を説明するための図である。
図2(a)に示す2次元フィルタ回路201は、(9タップ)×(9タップ)の2次元フィルタ処理を施す回路である。信号203は、2次元フィルタ回路201に入力される2次元フィルタ係数の信号であり、信号204は、2次元フィルタ回路201に入力される入力画像である。また、2次元フィルタ回路201から出力される信号205は、2次元フィルタが適用された画像信号である。

0028

2次元フィルタ回路201は、入力画像の所望の領域を読み出し、2次元コンボリューション処理を施す。まず、2次元フィルタ回路201は、図3に示す2次元フィルタ係数f1を入力画像に適用する。その際、図4に示すように入力画像中の領域403を部分的に読み出してフィルタ処理を適用することによって、第1の中間画像を生成する。同様に、図3に示す2次元フィルタ係数f2で図4に示す領域404をフィルタ処理することによって第2の中間画像を生成する。

0029

図2(b)には、画像合成回路206を示している。本実施形態では、加算処理により画像を合成する例について説明する。まず、画像合成回路206は、入力信号207、208として第1の中間画像及び第2の中間画像を入力して第1の合成画像を生成し、出力信号209として出力する。次に、図3に示す2次元フィルタ係数f2の処理と同様に、2次元フィルタ回路201において、入力画像の領域をずらして図3に示す2次元フィルタ係数f3によるフィルタ処理を行って第3の中間画像を生成する。そして、画像合成回路206において、第1の合成画像と第3の中間画像とを加算合成することによって第2の合成画像を生成する。以下、図3に示す2次元フィルタ係数f4〜f36についても同様の処理を行って、最終的に第35の合成画像を生成する。

0030

本実施形態において図3に示す2次元フィルタ係数f1〜f36は、それぞれ不揮発性メモリ56に予め記憶されており、メモリ32上に展開されて2次元フィルタ回路201に入力される。ただし、これに限定されるものではなく、システム制御部50が、図3に示す(54タップ)×(54タップ)の2次元フィルタ係数をメモリ32上に生成し、図3に示す36個の2次元フィルタ係数f1〜f36に分割してもよい。これにより、不揮発性メモリ56に記憶される2次元フィルタ係数のデータを削減するように構成してもよい。

0031

図2(c)には、画像除算回路210が示されている。画像除算回路210には、入力信号211、213として第35の合成画像及び正規化係数が入力され、第35の合成画像を正規化係数で除算し、処理後の出力信号212として最終的なぼかし画像を出力する。図3に示す2次元フィルタ係数の係数値の合計は1653なので、正規化係数として「1653」が入力される。

0032

次に、図5図7を参照しながら、距離マップ生成部104で生成される距離マップについて説明する。

0033

図5は、本実施形態に係るデジタルカメラと撮影される被写体との位置関係を示した図である。図5(a)には、第1の被写体504と背景506との位置関係を示しており、デジタルカメラ501で撮像された被写体の距離(以下、被写体距離D)が2種類の場合を示している。図5(a)において、画角502、503は、デジタルカメラ501で撮像される範囲を示しており、第1の被写体504の距離505で合焦している。以下、合焦距離をDFとし、図5(a)に示す例では、DF=200である。

0034

図5(b)は、第1の被写体514と、第2の被写体515と、第3の被写体516と、背景520との位置関係を示しており、デジタルカメラ511で撮像される被写体の距離が4種類の場合を示している。図5(b)において、画角512、513はデジタルカメラ511で撮像される範囲を示している。また、第1の被写体514、第2の被写体515、第3の被写体516、及び背景520は、それぞれ距離517、518、519、520の位置にあり、それぞれの距離は200、100、300、1000である。また、図5(b)に示す例では、第1の被写体514で合焦しており、合焦距離はDF=200である。

0035

図6は、図5に示した位置関係の例で撮影された撮影画像を示す図である。図6(a)は、図5(a)に示した位置関係での撮影画像を示しており、デジタルカメラ501で撮影された撮影画像601において、第1の被写体602及び背景603が含まれている。図6(b)は、図5(b)に示した位置関係での撮影画像を示しており、デジタルカメラ511で撮影された撮影画像611において、第1の被写体612、第2の被写体613、第3の被写体614、及び背景615が含まれている。

0036

図7は、図6に示す撮影画像における被写体の距離マップの例を示す図である。距離マップ生成部104は、図6に示すような撮影画像から図7に示す距離マップを生成する。図7(a)は、図6(a)に示す撮影画像における距離マップ701を示しており、第1の被写体702での距離が200であり、背景703での距離が1000であることを示している。

0037

一方、図7(b)は、図6(b)に示す撮影画像における距離マップ711を示している。図7(b)において、第1の被写体712での距離が200であり、第2の被写体713での距離が100であり、第3の被写体714での距離が300であり、背景715での距離が1000であることを示している。

0038

図8は、本実施形態において、ぼかし処理を行う一連の処理手順の一例を示すフローチャートである。
まず、ステップS801において、距離マップ生成部104は、例えば図7に示したような距離マップを取得する。そして、ステップS802において、システム制御部50は、距離の種類の数NDを取得する。例えば、図7(a)に示す例の場合は、ND=2であり、図7(b)に示す例の場合は、ND=4である。

0039

次に、ステップS803において、システム制御部50は、合焦距離DFを取得する。図7(a)及び図7(b)に示す例の場合は、DF=200である。そして、ステップS804において、システム制御部50は、高輝度分布情報を取得する。例えば、撮影画像601、611に対して水平方向にM個、垂直方向にN個のM×Nのブロック領域に分割し、各ブロック領域に対して図9に示すような輝度ヒストグラムを取得する。図9(a)に示す例の場合は、輝度ヒストグラムのピーク輝度値はYp1であり、図9(b)に示す例の場合は、輝度ヒストグラムのピークの輝度値はYp2である。このようにステップS804の処理では、M×Nのブロック領域のピークの輝度値YpMNを取得する。

0040

次のステップS805はぼかし処理であり、ステップS804までに取得した距離マップ、距離の種類の数ND、合焦距離DF、及び高輝度の分布情報を用いて、画像処理部24により各被写体距離に応じたぼかし処理を施す。

0041

図10は、画像処理部24により行われる、ステップS805のぼかし処理の詳細な処理手順の一例を示すフローチャートである。以下、図10を参照しながらぼかし処理の手順について説明する。
ステップS1001において、撮影画像内の全ての被写体距離Dに対して以下のステップS1002〜S1012のループ処理を開始する。まず、ステップS1002において、図8のステップS802で取得した距離の種類の数NDと閾値D0とを比較する。この比較の結果、距離の種類の数NDが閾値ND0よりも大きい場合はステップS1003へ進み、距離の種類の数NDが閾値ND0以下(所定値以下)である場合はステップ1009へ進む。

0042

ステップS1003においては、図8のステップS803で取得した合焦距離DFと被写体距離Dとの関係から、ぼかしフィルタが簡略フィルタ条件に該当するか否かを判定する。ぼかしフィルタとして簡略フィルタを用いるか否かについては、例えば図11に示すテーブルを参照して決定する。この判定の結果、再現性の低い簡略フィルタを用いる場合はステップ1004へ進み、再現性の高いフィルタを用いる場合はステップS1009へ進む。

0043

ここで、図11に示すテーブルでは、ぼかしモードごとに、合焦距離DFが被写体距離Dよりも大きいか否かによって選択されるフィルタが異なっている。すなわち、被写体の前後関係に基づいてぼかしフィルタが再現性の高いフィルタか再現性の低い簡略フィルタかを定義している。図11において、「○」は再現性の高いフィルタA(高級フィルタ)を使用することを示し、「×」は再現性の低いフィルタB(簡略フィルタ)を使用することを示している。

0044

図11に示す例の場合、ぼかしモード1では、被写体距離Dによらず再現性の高いフィルタAを使用する。ぼかしモード2では、対象となる被写体が合焦距離DFに位置する被写体よりも手前である場合にはフィルタAを用い、後ろである場合にはフィルタBを用いる。一方、ぼかしモード3では、対象となる被写体が合焦距離DFに位置する被写体よりも手前である場合にはフィルタBを用い、後ろである場合にはフィルタAを用いる。また、ぼかしモード4では、被写体距離Dによらず再現性の低いフィルタBを用いる。なお、これらのぼかしモード1〜4はデジタルカメラ100で表示されるメニュー画面などから操作者によって選択されてよいし、連写を行うか否か、複数枚合成をともなう撮影モードか、など撮影モードや撮影条件によって選択されるようにしてもよい。

0045

次に、ステップS1004において、図8のステップS801で取得した距離マップから得られる被写体距離Dの領域と、図8のステップS804で取得した高輝度の分布情報とから被写体距離Dの領域の高輝度情報を取得する。そして、ステップS1005において、ステップS1004で取得した被写体距離Dの領域の高輝度情報から被写体距離Dの領域に高輝度領域が存在するか否かを判定する。すなわち、ステップS804で取得した輝度値のうち、被写体距離Dの領域における輝度値が所定値以上であるか否かを判定する。この判定の結果、高輝度領域が存在しない場合はステップS1006に進み、高輝度領域が存在する場合はステップS1009に進む。

0046

以下に説明するステップS1006〜S1008までの処理では、簡略フィルタによるフィルタ処理を行う。
まず、ステップS1006において、合焦距離DFと被写体距離Dとからぼかし度合を決定する。以下、図12に示すテーブルを例に、ぼかし度合の決定方法について説明する。まず、合焦位置からの相対位DDを以下の式(1)により算出する。
(合焦位置からの相対位置DD)=(被写体距離D)−(合焦距離DF) 式(1)

0047

次に、図12に示すテーブルで相対位置DDがどの条件に該当するかを判別し、ぼかし度合を決定する。ここで、D1、D2、D3、D4は相対位置DDに対してぼかし度合を決定するために必要な閾値であり、仮想的な絞り値によって決定される。また、前方被写界深度、及び後方被写界深度に関しても、仮想的な絞り値、光学レンズ特性などによって決定される。なお、仮想的な絞り値は、デジタルカメラ100の操作者によってダイヤル、ボタン、タッチパネルなどにより指定される。

0048

図12に示す例では、相対位置DDが閾値D1より小さい場合は、ぼかし度合は「大」である。相対位置DDが閾値D1以上であって閾値D2より小さい場合は、ぼかし度合は「中」である。相対位置DDが閾値D2以上であって、かつ前方被写界深度より手前である場合は、ぼかし度合は「小」である。相対位置DDが前方被写界深度と後方被写界深度との間である場合は、合焦位置でぼかし度合は「無し」である。相対位置DDが後方被写界深度より後方であって、かつ閾値D3以下である場合は、ぼかし度合は「小」である。相対位置DDが閾値D3より大きく閾値D4以下の場合は、ぼかし度合は「中」である。そして、相対位置DDが閾値D4より大きい場合は、ぼかし度合は「大」である。

0049

なお、本実施形態では、ぼかし度合に関して「無し」を含め4段階の場合を例として説明したが、より細かくぼかし度合と閾値を設けることにより、相対位置DDに対してより多段階のぼかし度合を設けてもよい。

0050

次に、ステップS1007においては、被写体距離D用の簡略フィルタを取得する。ここで、フィルタの種類は図13に示すようなテーブルで管理されている。ステップS1006で決定されたぼかし度合に従って、ぼかし度合が「小」の場合はフィルタ1Bを取得し、「中」の場合はフィルタ2Bを取得し、「大」の場合はフィルタ3Bを取得する。また、図14(b)に示す簡略フィルタ1404〜1406は、それぞれフィルタ1B、フィルタ2B、フィルタ3Bの形状を表している。

0051

そして、ステップS1008において、ステップS1007で取得した簡略フィルタを用いてフィルタ処理を行う。この処理の詳細については後述する。

0052

一方、ステップS1009〜S1011までの処理では、ぼかし像の再現性の高い高級フィルタによるフィルタ処理を行う。まず、ステップS1009においては、合焦距離DFと被写体距離Dとからぼかし度合を決定する。ぼかし度合の決定方法についてはステップS1006と同様である。

0053

次に、ステップS1010においては、被写体距離D用の高級フィルタを取得する。フィルタの種類は、図13に示すようなテーブルで管理されている。ステップS1009で決定されたぼかし度合に従って、ぼかし度合が「小」の場合はフィルタ1Aを取得し、「中」の場合はフィルタ2Aを取得し、「大」の場合はフィルタ3Aを取得する。また、図14(a)に示す高級フィルタ1401〜1403は、それぞれフィルタ1A、フィルタ2A、フィルタ3Aの形状を表しており、例えば図3で示したような分割フィルタで構成される2次元フィルタである。

0054

次にステップS1011においては、ステップ1010で取得した高級フィルタを用いてフィルタ処理を行う。高級フィルタによるフィルタ処理は、図2図4を参照しながら説明した手順と同様の処理によって行われる。

0055

最後にステップS1012においては、フィルタ処理の結果と、それまでのぼかし処理が施された中間画像との合成処理を行い、新たな中間画像を生成する。以上のように全ての被写体距離Dについてループ処理を行うと、処理を終了する。

0056

次に簡略フィルタであるフィルタ1B、フィルタ2B、フィルタ3Bのフィルタ構成について説明する。図15は、フィルタ1B、フィルタ2B、フィルタ3Bの構成例を説明するための図である。図15に示すように、フィルタ1BはフィルタB0(0,0)の構成で表現されており、2次元フィルタのフィルタB0が1個で構成されている。図14(c)に示す簡略フィルタ1407は、フィルタB0の形状を表しており、(9タップ)×(9タップ)の2次元フィルタであって、係数が全て1のフィルタである。

0057

一方、フィルタ2Bは、図15に示すように、2次元フィルタのフィルタB0が5個で構成されており、図14(b)に示す簡略フィルタ1405のように、フィルタB0が十字に5個連結された2次元形状を有している。このフィルタ2Bによるフィルタ処理では、(9タップ)×(9タップ)を基準として、フィルタB0のフィルタ処理結果座標(x,y)に従って水平に(9×x)画素、垂直に(9×y)画素シフトして加算合成する。

0058

また、フィルタ3Bは、図15に示すように、2次元フィルタのフィルタB0が13個で構成されており、図14(b)に示す簡略フィルタ1406のような配置で連結された形状を有している。フィルタ3Bのフィルタ処理では、フィルタ2Bと同様に、フィルタB0の処理結果を座標(x,y)に従って水平に(9×x)画素、垂直に(9×y)画素シフトして加算合成する。

0059

図16は、図10のステップS1008における簡略フィルタによるフィルタ処理の詳細な処理手順の一例を示すフローチャートである。
ステップS1601において、簡略フィルタを構成する全ての構成フィルタ(フィルタB0)についてのループ処理を開始する。例えば、図15に示すフィルタ2Bの場合、5個のフィルタB0によって構成されているので、5回のループ処理となる。以下、フィルタ2Bを用いてフィルタ処理を行う例を参照しながら説明する。

0060

まず、ステップS1602において、処理対象であるフィルタによって処理された画像データが既に存在するか否かを判定する。この判定の結果、既に存在する場合はステップS1605に進み、存在しない場合はステップS1603に進む。

0061

ステップS1603においては、処理対象であるフィルタの係数情報を取得する。例えば、図14(c)に示すような2次元フィルタ係数f1の情報を取得する。次に、ステップS1604において、構成されているフィルタB0によるフィルタ処理を行う。そして、ステップS1605において、フィルタ処理結果である出力画像Fを一時記憶管理する。

0062

一方、ステップS1606においては、フィルタの処理結果が存在するため、出力済みのフィルタ処理結果である出力画像Fを取得する。

0063

次に、ステップS1607において、処理対象であるフィルタのシフト量(x,y)を取得する。このシフト量は、図15の各フィルタB0に示される(x,y)に該当する。

0064

次に、ステップS1608において、ステップS1605又はS1606で取得した出力画像Fを、ステップS1607で取得したシフト量(x,y)に従ってシフトし、これまでの処理結果である中間画像に対して合成処理を行って新たな中間画像を生成する。構成されているフィルタが(9タップ)×(9タップ)の場合0、シフト量(x,y)は水平に(9×x)画素、垂直に(9×y)画素となり、合成した結果が得られる。例えば、フィルタB0(1,2)の場合、フィルタB0の処理結果を水平に(9×1)画素、垂直に(9×2)画素シフトして合成した結果を中間画像として出力する。以上のように全ての構成フィルタに関してフィルタの数の回数分処理が終了すると、ループ処理を終了する。

0065

なお、図10のステップS1007でフィルタ1Bを取得した場合には、フィルタB0を1つしか有していないため、ステップS1605でフィルタ処理した結果がそのまま出力される。したがってこの場合は、ステップS1607及びS1608の処理が行われないことになる。

0066

また、ステップS1602の判定の結果、出力済みのフィルタ処理結果が存在する場合、実際のフィルタ処理が不要となるため、出力画像Fをシフトして中間画像と合成処理を行うのみでよい。これにより、例えば同じぼかし度合である、高級フィルタであるフィルタ2Aに対して簡略フィルタであるフィルタ2B、高級フィルタであるフィルタ3Aに対して簡略フィルタであるフィルタ3Bの処理時間を大幅に抑えることができる。

0067

なお、図15のフローチャートでは、図14(c)に示した(9タップ)×(9タップ)で全て係数が1のフィルタB0を構成フィルタとする例について説明したが、これに限定されない。また、構成フィルタの組み合わせについても図15に示した例について説明したが、これに限定されない。例えば、基本となる構成フィルタを数種類用意し、複数種類の構成フィルタを組み合わせて簡略フィルタを構成することにより、簡略フィルタの形状の自由度を広げることができる。

0068

以上のように本実施形態によれば、9タップのような小さいサイズの2次元フィルタによる処理で、54タップの2次元フィルタによる処理で得られるような大きなぼかし処理を撮像画像に付与することができる。つまり、フィルタ処理の回路規模を抑えつつ、一眼レフカメラのような大きな背景ぼかしを再現することができる。

0069

さらに本実施形態によれば、被写体距離、合焦位置、および仮想的な絞り情報に従って背景ぼかし処理を行う際に、被写体距離の種類が多い場合でも、ぼかし度合の効果を残しつつ全体の処理時間を抑えることができる。

0070

(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

0071

24画像処理部
50システム制御部
104距離マップ生成部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ