図面 (/)

技術 画像処理装置、撮像装置および画像処理方法

出願人 キヤノン株式会社
発明者 池田紘一郎
出願日 2014年7月28日 (5年1ヶ月経過) 出願番号 2014-153296
公開日 2016年3月7日 (3年6ヶ月経過) 公開番号 2016-032181
状態 特許登録済
技術分野 スタジオ装置 画像処理
主要キーワード 回転式ダイ 撮像条件毎 深度差 付加パラメータ 肌色検出処理 ユーザー設定情報 倍率変更指示 加重平均フィルタ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年3月7日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (10)

課題

被写体人物肌領域ぼかし処理を行うことにより、ぼかし処理前と比較して被写体人物の顔は相対的にぼけ印象になり、特に背景領域のぼかし量よりも被写体人物の肌領域のぼかし量が大きくなった場合に、被写体人物にピントが合っていない印象を与えてしまうという問題があった。

解決手段

画像を取得する画像取得手段と、前記画像における被写体人物の肌領域と背景領域のそれぞれに対してぼかし処理を行うぼかし処理手段と、前記ぼかし処理のぼかし量を領域ごとに制御する制御手段と、を備え、前記制御手段は、前記被写体人物の肌領域のぼかし量が前記背景領域のぼかし量以下となるように、ぼかし量を制御することを特徴とする。

概要

背景

従来、デジタルカメラデジタルビデオカメラなどの撮像装置が備える機能として、撮影された画像の背景領域に対して疑似的にぼかし効果を与える機能がある。

一般に、一眼レフカメラのように撮像素子が大きい撮像装置であれば、絞りを開いて焦点距離を長くすることで、被写界深度が浅くなり、合焦している被写体以外の背景をぼかした画像を撮影することが比較的容易である。一方、コンパクトデジタルカメラなどの撮像素子が小さい撮像装置では、上記の方法を用いたとしても、被写界深度が深くなる傾向にあるため、背景をぼかした画像を撮影することが困難である。

上記問題を鑑みて、撮影された画像の被写体領域と背景領域の判別を行い、背景領域に対してぼかし処理を施すことで、撮像素子の小さい撮像装置であっても、背景がぼけた画像を取得することを可能とした技術が提案されている。

また、被写体人物肌領域に対して画像処理を行い、肌を滑らかにすることで美肌効果を与える機能がある。例えば、特許文献1には、被写体人物の肌領域の検出を行い、その領域にぼかし処理を施して平滑化する手法が開示されている。この機能により、被写体人物の顔の皺やシミなどを見えなくさせることを可能としている。

概要

被写体人物の肌領域にぼかし処理を行うことにより、ぼかし処理前と比較して被写体人物の顔は相対的にぼけた印象になり、特に背景領域のぼかし量よりも被写体人物の肌領域のぼかし量が大きくなった場合に、被写体人物にピントが合っていない印象を与えてしまうという問題があった。 画像を取得する画像取得手段と、前記画像における被写体人物の肌領域と背景領域のそれぞれに対してぼかし処理を行うぼかし処理手段と、前記ぼかし処理のぼかし量を領域ごとに制御する制御手段と、を備え、前記制御手段は、前記被写体人物の肌領域のぼかし量が前記背景領域のぼかし量以下となるように、ぼかし量を制御することを特徴とする。

目的

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

画像を取得する画像取得手段と、前記画像における被写体人物肌領域背景領域のそれぞれに対してぼかし処理を行うぼかし処理手段と、前記ぼかし処理のぼかし量を領域ごとに制御する制御手段と、を備え、前記制御手段は、前記被写体人物の肌領域のぼかし量が前記背景領域のぼかし量以下となるように、ぼかし量を制御することを特徴とする画像処理装置

請求項2

前記被写体人物の肌領域と背景領域の一方の領域のぼかし量を設定する設定手段を有し、前記制御手段は、前記設定手段によって設定された一方の領域のぼかし量に基づいて、他方の領域のぼかし量を決定することを特徴とする請求項1に記載の画像処理装置。

請求項3

前記制御手段は、被写体人物の肌領域が背景領域よりも合焦している印象ユーザーに与えるように、前記設定手段によって設定された一方の領域のぼかし量に基づいて、他方の領域のぼかし量を決定することを特徴とする請求項2に記載の画像処理装置。

請求項4

前記画像における被写体の距離情報を取得する距離情報取得手段を有し、前記制御手段は、被写体人物までの距離と背景までの距離との差分に基づいて、前記背景領域のぼかし量を決定することを特徴とする請求項1に記載の画像処理装置。

請求項5

撮像手段と、請求項1から4のいずれか1項に記載の画像処理装置と、を備えることを特徴とする撮像装置

請求項6

画像を取得し、前記画像における被写体人物の肌領域と背景領域のそれぞれに対してぼかし処理を行う画像処理方法において、前記被写体人物の肌領域のぼかし量が前記背景領域のぼかし量以下となるように、前記ぼかし処理のぼかし量を領域ごとに制御することを特徴とする画像処理方法。

技術分野

0001

本発明は、撮影された画像データの背景領域にぼけ効果を付与するとともに、被写体人物肌領域ぼかして平滑化する技術に関する。

背景技術

0002

従来、デジタルカメラデジタルビデオカメラなどの撮像装置が備える機能として、撮影された画像の背景領域に対して疑似的にぼかし効果を与える機能がある。

0003

一般に、一眼レフカメラのように撮像素子が大きい撮像装置であれば、絞りを開いて焦点距離を長くすることで、被写界深度が浅くなり、合焦している被写体以外の背景をぼかした画像を撮影することが比較的容易である。一方、コンパクトデジタルカメラなどの撮像素子が小さい撮像装置では、上記の方法を用いたとしても、被写界深度が深くなる傾向にあるため、背景をぼかした画像を撮影することが困難である。

0004

上記問題を鑑みて、撮影された画像の被写体領域と背景領域の判別を行い、背景領域に対してぼかし処理を施すことで、撮像素子の小さい撮像装置であっても、背景がぼけた画像を取得することを可能とした技術が提案されている。

0005

また、被写体人物の肌領域に対して画像処理を行い、肌を滑らかにすることで美肌効果を与える機能がある。例えば、特許文献1には、被写体人物の肌領域の検出を行い、その領域にぼかし処理を施して平滑化する手法が開示されている。この機能により、被写体人物の顔の皺やシミなどを見えなくさせることを可能としている。

先行技術

0006

特開2004−303193号公報

発明が解決しようとする課題

0007

画像の背景領域をぼかす技術と、被写体人物の肌領域にぼかし処理を施して平滑化することで美肌効果を与える技術とを1枚の撮影画像に対して同時に用いた場合、以下に述べるような問題があった。

0008

被写体人物の肌領域にぼかし処理を行うことにより、ぼかし処理前と比較して被写体人物の顔は相対的にぼけた印象になる。特に、背景領域のぼかし量よりも、被写体人物の肌領域のぼかし量が大きくなった場合に、被写体人物にピントが合っていない印象を与えてしまうという問題があった。

0009

本発明の目的は、被写体人物にピントが合っていない印象を与えることなく、画像における背景領域のぼかし処理と被写体人物の肌領域のぼかし処理を同時に行うことにある。

課題を解決するための手段

0010

本発明の1実施態様によれば、画像を取得する画像取得手段と、前記画像における被写体人物の肌領域と背景領域のそれぞれに対してぼかし処理を行うぼかし処理手段と、前記ぼかし処理のぼかし量を領域ごとに制御する制御手段と、を備え、前記制御手段は、前記被写体人物の肌領域のぼかし量が前記背景領域のぼかし量以下となるように、ぼかし量を制御することを特徴とする撮像装置である。

発明の効果

0011

本発明によれば、画像における背景領域のぼかし処理と被写体人物の肌領域のぼかし処理をともに行う画像処理において、被写体人物にピントが合っていない印象を与えない好適な画像を得る事が出来る。

図面の簡単な説明

0012

本発明の実施形態に係る画像処理装置の構成例を示すブロック図である。
肌領域平滑化処理部の構成例を示すブロック図である。
背景ぼかし処理部の構成例を示すブロック図である。
肌領域平滑化処理部と背景ぼかし処理部における処理フローを示す図である。
原画像顔範囲の検出の例を示す図である。
原画像の肌領域検出処理の例を示す図である。
背景領域検出処理における処理フローを示す図である。
ぼけ付加パラメータ最低ぼけ付加パラメータを求めるテーブルを示す図である。
最大平滑化パラメータを求めるテーブルを示す図である。

実施例

0013

図面を参照して、本発明の実施形態にかかる画像処理装置について詳細に説明する。以下の説明において、本発明の画像処理装置をデジタルカメラに適用した例を用いて説明するが、これに限定されない。

0014

(第1の実施形態)
図1から図8を参照して、第1の実施形態にかかる画像処理装置100を説明する。

0015

図1は、画像処理装置100の構成例を示す図である。

0016

画像処理装置100は、撮影レンズ101、絞り機能を備える機械式シャッター102、光学像電気信号に変換する撮像素子103、撮像素子103のアナログ信号出力デジタル信号に変換するA/D変換器104を備えている。

0017

また、画像処理装置100は、撮影により画像取得する撮像素子103とA/D変換器104にクロック信号制御信号を供給するタイミング発生回路105を備え、タイミング発生回路105は、メモリ制御回路106及びシステム制御回路107によって制御される。機械式シャッター102以外にも、タイミング発生回路105の撮像素子103のリセットタイミングの制御によって、電子シャッターとして蓄積時間を制御することが可能であり、動画撮影などに使用可能である。

0018

画像処理回路108は、A/D変換器104からのデータ或いはメモリ制御回路106からのデータに対して、所定の画素補間処理色変換処理を行う。また画像処理回路108は、画像の切り出し、変倍処理を行うことで電子ズーム機能を実現する。

0019

さらに、画像処理回路108は、撮像した画像データを用いて所定の演算処理を行う。得られた演算結果に基づいて、システム制御回路107は、露光制御手段113、測距制御手段114に対して制御して、TTL方式AF処理、AE処理、EF処理を行う。さらにまた、画像処理回路108は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいて、TTL方式のAWB(オートホワイトバランス)処理も行う。

0020

メモリ制御回路106は、A/D変換器104、タイミング発生回路105、画像処理回路108、メモリ109、圧縮伸長回路112を制御する。A/D変換器104から出力されたデータは、画像処理回路108とメモリ制御回路106を介して、或いは直接メモリ制御回路106を介して、メモリ109に書き込まれる。

0021

LCD等から成る画像表示部110は、メモリ制御回路106を介してメモリ109に書き込まれた表示用の画像データを表示する。画像表示部110に撮像した画像データを逐次表示すれば、画像表示部110は電子ファインダーとして機能する。画像表示部110は、システム制御回路107の指示により表示をON/OFFすることが可能であり、表示をOFFにした場合には画像処理装置100の電力消費を大幅に低減することが出来る。

0022

静止画像動画像を格納するためのメモリ109は、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影パノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ109に対して行うことが可能となる。また、メモリ109はシステム制御回路107の作業領域としても使用することが可能である。

0023

FlashROM等で構成された不揮発性メモリ111には、システム制御回路107が実行するプログラムコードが書き込まれ、逐次読み出しながらプログラムコードを実行する。また、不揮発性メモリ111内にはシステム情報を記憶する領域やユーザー設定情報を記憶する領域を設け、さまざまな情報や設定を次回起動時に読み出して復元することを実現している。

0024

適応離散コサイン変換ADCT)等により画像データを圧縮伸長する圧縮・伸長回路112は、メモリ109に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ109に書き込む。

0025

絞り機能を備えるシャッター102を制御する露光制御手段113は、フラッシュ116と連動することによりフラッシュ調光機能も有するものである。

0026

撮影レンズ101のフォーカシングを制御する測距制御手段114、撮影レンズ101のズーミングを制御するズーム制御手段115が備えられている。

0027

フラッシュ116は、AF補助光投光機能、フラッシュ調光機能も有する。露光制御手段113、測距制御手段114はTTL方式を用いて制御されており、撮像した画像データを画像処理回路108によって演算した演算結果に基づき、システム制御回路107が露光制御手段113、測距制御手段114に対して制御を行う。

0028

システム制御回路107は、画像処理装置100全体を制御する。

0029

モードダイアル118、シャッタースイッチSW(1)119、シャッタースイッチSW(2)120、表示切替スイッチ121、操作部122及びズームスイッチ123は、システム制御回路107の各種の動作指示を入力するための操作手段であり、スイッチやダイアルタッチパネル視線検知によるポインティング音声認識装置等の単数或いは複数の組み合わせで構成される。

0030

ここで、これらの操作手段の具体的な説明を行う。

0031

モードダイアルスイッチ118は、電源オフ自動撮影モード、撮影モード、HDR撮影モード、パノラマ撮影モード動画撮影モード再生モード、PC接続モード等の各機能モードを切り替え設定することが出来る。

0032

シャッタースイッチSW(1)119を操作することで、シャッターボタン操作途中でONとなり、AF(オートフォーカス)処理、AE自動露出)処理、AEB(オートホワイトバランス)処理等の動作開始を指示する。

0033

シャッタースイッチSW(2)120を操作することで、シャッターボタンの操作完了でONとなる。フラッシュ撮影の場合、EF(フラッシュプリ発光)処理を行った後に、AE処理で決定された露光時間分、撮像素子103を露光させる。フラッシュ撮影の場合、この露光期間中発光させて、露光期間終了と同時に露光制御手段113により遮光することで、撮像素子103への露光を終了させる。

0034

撮像素子103から読み出した信号をA/D変換器104、メモリ制御回路106を介してメモリ109に画像データを書き込む読み出し処理、画像処理回路108やメモリ制御回路106での演算を用いた現像処理、メモリ109から画像データを読み出し、圧縮・伸長回路112で圧縮を行う。次に記録媒体200に画像データを書き込む記録処理という一連の処理の動作開始を指示する。

0035

表示切替スイッチ121で、画像表示部110の表示切替をすることが出来る。この機能により、光学ファインダー104を用いて撮影を行う際に、LCD等から成る画像表示部への電流供給遮断することにより、省電力を図ることが可能となる。

0036

各種ボタン、タッチパネルや回転式ダイアル等からなる操作部122には、メニューボタン、セットボタン、マクロボタンマルチ画面再生改ページボタン、フラッシュ設定ボタン、単写/連写セルフタイマー切り替えボタン等がある。また、操作部122は、メニュー移動+(プラス)ボタン、メニュー移動−(マイナス)ボタン、再生画像移動+(プラス)ボタン、再生画像−(マイナス)ボタン、撮影画質選択ボタン、露出補正ボタン、日付/時間設定ボタン等も有している。

0037

ズームスイッチ123は、ユーザー撮像画像倍率変更指示を行うズーム操作手段である。このズームスイッチ123は、撮像画角望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチから構成される。このズームスイッチ123を用いることにより、ズーム制御手段115に撮影レンズ101の撮像画角の変更を指示し、光学ズーム操作を行うトリガとなる。また、画像処理回路108による画像の切り出しや、画素補間処理などによる撮像画角の電子的なズーミング変更のトリガともなる。

0038

電源手段117は、アルカリ電池一次電池やNiCd電池やNiMH電池、Liイオン電池等の二次電池ACアダプター等からなる電源である。

0039

I/F124は、メモリカードハードディスク等の記録媒体とのインタフェースであり、コネクタ125によりメモリカードやハードディスク等の記録媒体と接続を行う。

0040

光学ファインダー126を用いることで、画像表示部110による電子ファインダー機能を使用すること無しに、撮影を行うことが可能である。

0041

通信手段127は、USB、IEEE1394、LAN、無線通信等の各種通信機能を有する。

0042

コネクタ(アンテナ)128は、通信手段127により画像処理装置100を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。

0043

記録媒体129は、メモリカードやハードディスク等の記録媒体である。画像処理装置100との接続を行うコネクタ130、画像処理装置100とのインタフェース131、メモリカードやハードディスク等の記録媒体の記録部132である。

0044

上述の画像処理回路108は、図2に示す、被写体人物の肌領域の平滑化処理を行う肌領域平滑化処理部200と、図3に示す、画像の背景領域にぼかし処理を行う背景ぼかし処理部300を備えている。

0045

以下、図2を参照して、肌領域平滑化処理部200の構成について説明する。肌領域平滑化処理部200は肌領域検出部201を備えており、この肌領域検出部201は、顔範囲検出部202、肌色検出部203、肌領域検出部204から構成される。肌領域平滑化処理部200は、さらに、平滑化度制御部205、平滑化処理部206、肌領域平滑化画像合成部207を備えている。

0046

以下、図3を参照して、背景ぼかし処理部300の構成について説明する。背景ぼかし処理部300は領域検出部301を備えており、この領域検出部301はエッジ検出部302、エリア分割部303、エッジ積分部304、領域判定部305を備える。背景ぼかし処理部300は、さらに背景ぼかし度制御部306、背景ぼかし処理部307、背景ぼかし画像合成部308を備えている。

0047

次に、肌領域平滑化処理部200と背景ぼかし処理部300における処理内容について、詳しく説明する。図4は、本実施形態の肌領域平滑化処理部200と背景ぼかし処理部300における処理全体のフローを示しており、肌領域平滑化処理部200と背景ぼかし処理部300が備える各処理部によって実行される。

0048

また、図4の原画像1と原画像2は、肌領域平滑化処理部200と、背景ぼかし処理部300に対して入力される画像データである。原画像1は被写体人物に合焦して撮像された画像データであり、原画像2は原画像1の状態から背景側に合焦して撮像された画像データである。

0049

以下、肌領域平滑化処理部200の処理について説明する。肌領域平滑化処理部200は入力された原画像1に対し、被写体人物の肌領域に平滑化処理を行う。ここで肌領域の平滑化処理とはぼかし処理であり、以下では平滑化処理と称して説明する。

0050

肌領域検出部201が実行する顔範囲の検出方法について説明する。顔範囲検出処理S400において、顔範囲検出部202は、図5に示す原画像1の顔範囲9を検出する。まず、顔範囲検出部202は、原画像1の画像データに水平方バンドパスフィルタを作用させる。次に、顔範囲検出部202は処理された画像データに垂直方向バンドパスフィルタを作用させる。これら水平方向及び垂直方向のバンドパスフィルタにより、原画像1の画像データからエッジ成分を検出する。

0051

その後、顔範囲検出部202は、検出されたエッジ成分に関してパターンマッチングを行い、目、、口、などの顔パーツに関する候補群を抽出する。そして、顔範囲検出部202は、抽出された目の候補群の中から、予め設定された条件(例えば2つの目の距離、傾き等)を満たすものを、目の対と判断し、目の対があるもののみ目の候補群として絞り込む。そして、顔範囲検出部202は、絞り込まれた目の候補群とそれに対応する顔を形成する他のパーツ(鼻、口、耳)を対応付け、また、予め設定した非顔条件フィルタを通すことで、顔範囲9を検出する。

0052

なお、顔範囲の検出は上記に限らず、他の検出手段で行っても良い。例えば、顔範囲をユーザーが手動で選択することで、顔範囲の検出が行われても良い。

0053

次に、肌色検出処理S401において、肌色検出部203は顔範囲9に含まれる画像情報に基づき、被写体人物の肌の明るさと色の度合い(以下、肌色成分と称す)を決定する。肌色成分は、たとえば、顔範囲9の範囲内における色相彩度明度といった成分の平均値を用いることができる。なお、肌色成分を決定する方法は、上記に限らず、顔範囲内の目や鼻といった被写体人物の肌以外の領域を除いた範囲に限定して肌色情報を決定しても良い。また、肌の色や明るさの成分のヒストグラムを生成し、所定の閾値を超える成分を抽出して肌色成分を決定しても良い。

0054

肌領域検出処理S402において、肌領域検出部204は、上述の肌色成分に基づき原画像1の被写体人物の肌に相当する領域を検出し、肌領域検出画像3を生成する。肌領域検出画像3は、画素値が原画像1における色相、彩度、明度などの成分と、上述の肌色成分との近さによって決まる画像である。本実施形態では、肌領域検出画像3は、上述の肌色成分に最も近い画素が最大の画素値をとる画像とする。

0055

以下、原画像1の平滑化処理について説明する。平滑化処理S403において、平滑化度制御部205は、平滑化処理の度合いを示すパラメータ(以下、平滑化パラメータと称す)をユーザーの設定により決定する。そして、平滑化処理部206は、前記平滑化パラメータに基づいた原画像1の平滑化処理を行い、平滑化画像4を生成する。ここで、平滑化処理はぼかし処理であり、平滑化パラメータはぼかし処理のぼかし量の大きさを示すパラメータである。

0056

平滑化処理部206は、原画像1に対して、フィルタリング処理を行う。フィルタリング処理は、画像の平滑化を行うものであれば良く、その例として、移動平均フィルタ加重平均フィルタを用いて行う。また、その平滑化の度合いは上述の平滑化パラメータに基づいて決まり、フィルタリング処理のタップ数を増やすなどにより平滑化効果の度合いを変更する。

0057

なお、原画像1の平滑化処理の方法はこれに限定されず、画像データのリサイズによる平滑化など、他の方法を用いても良い。

0058

また、本実施形態では、ユーザーの設定により平滑化パラメータが決定されるが、これに限らなくても良い。例えば、被写体人物の肌領域上において凹凸等の信号特性を測定し、これが所定のレベルまで平滑化されるのに要する平滑化パラメータを、自動で決定するようにしても良い。

0059

以下、原画像1と平滑化画像4の画像合成処理について説明する。肌領域平滑化画像合成処理S404において、肌領域平滑化画像合成部207は、上述の肌領域検出画像3に基づいて、原画像1と平滑化画像4の画像合成を行い、肌領域平滑化画像5を生成する。

0060

ここで、画像合成処理の一例について説明する。肌領域平滑化画像合成部207は、肌領域検出画像3の画素値から求まるα[i,j](0≦α≦1)に基づいて、原画像1の画像データIMG1[i,j]と平滑化画像4の画像データIMG2[i,j]を画像合成し、合成画像データIMG3[i,j]を生成する。即ち、肌領域平滑化画像合成部207は、合成画像データIMG3[i,j]を以下の式(1)を用いて算出する。なお、[i,j]は各画素を示している。

0061

0062

上記の処理によって得られた合成画像データIMG3を、肌領域平滑化画像5として取得する。

0063

次に、図3図4を用いて背景ぼかし処理部300の処理について説明する。背景ぼかし処理部300は、原画像1の背景領域を検出し、切り出しマップ画像6を生成する。次に、原画像1にぼかし処理を行い、ぼけ付加画像7を生成する。そして、画像合成によって被写体人物を含む領域には肌領域平滑化画像5を適用し、背景領域にはぼけ付加画像7を適用した最終画像8を生成する。

0064

以下、背景領域の検出方法について説明する。背景領域検出処理S405において、領域検出部301は、原画像1の背景領域を検出し、切り出しマップ画像6を生成する。

0065

ここで、図7のフローチャートを参照しながら、領域検出部301による領域検出処理について説明する。

0066

テップS701において、エッジ検出部302は、被写体に合焦して撮像された原画像1の画像データのエッジを検出するとともに、背景に合焦して撮像された原画像2の画像データのエッジを検出する。エッジ検出方法の一例としては、撮影された画像データにバンドパスフィルタリングを行って絶対値をとることによって、画像データのエッジを検出する方法が挙げられる。なお、エッジの検出方法はこれに限定されず、他の方法を用いてもよい。

0067

以下、被写体に合焦して撮像された画像データから検出されたエッジ画像を、被写体合焦側のエッジ画像データと称し、背景に合焦して撮像された画像データから検出されたエッジ画像を、背景合焦側のエッジ画像データと称す。

0068

ステップS702において、エリア分割部303は、被写体合焦側のエッジ画像データと背景合焦側のエッジ画像データのそれぞれについて、複数の領域に分割する。

0069

ステップS703において、エッジ積分部304は、前記分割されたそれぞれの領域について、エッジの絶対値を積分する。

0070

ステップS704において、領域判定部305は、各分割領域について被写体領域、背景領域のいずれかを判定する。各分割領域[i,j]における被写体合焦側のエッジ積分値をEGI1[i,j]、背景合焦側のエッジ積分値をEGI2[i,j]とする。領域判定部305は、各分割領域[i,j]について、算出されたEGI1[i,j]とEGI2[i,j]の評価を行い、EGI1[i,j]とEGI2[i,j]が所定の閾値THに対し、以下の式(2)の関係を満たすかどうかを判定する。

0071

0072

式(2)の関係が満たされる場合は、領域判定部305は当該領域を被写体領域として定義し、式(2)の関係が満たされない場合は、領域判定部305は当該領域を背景領域として定義する。

0073

ステップS705において、領域判定部305は、ステップS704における領域判定結果に基づいて、被写体領域と背景領域を判別可能な切り出しマップ画像6を生成する。切り出しマップ画像6においては、例えば合成比率画像データ自体の画素値で表されている。なお、切り出しマップ画像6に対して、境界の変化を目立たなくさせるために、ローパスフィルタなどを行っても良い。

0074

以下、背景領域のぼかし処理について説明する。背景領域のぼかし処理S406において、背景ぼかし度制御部306は、ぼかし効果の度合いを表すパラメータ(以下、ぼけ付加パラメータと称す)を決定する。そして、背景ぼかし処理部307は、前記ぼけ付加パラメータに基づいたぼかし処理を実施する。以下、ぼけ付加パラメータの決定方法について説明する。

0075

画像処理装置100は、撮像時に、撮像画像に写る領域を複数に分割する。次に、画像処理装置100は、所定位置までの距離を求める距離情報取得手段としての測距手段により、画像処理装置100から各分割領域に含む地点までの距離を取得する。撮像後、背景ぼかし度制御部306は、前記取得された距離情報のうち、被写体人物までの距離情報と、背景領域の中で最も遠側の距離情報を取得する。このとき、被写体人物までの距離情報をD1、背景までの距離情報をD2とする。

0076

背景ぼかし度制御部306は、前記距離情報D1と前記距離情報D2の差分値D’を算出する。次に、この差分値と所定のぼけ付加量判定テーブルの照合を行い、ぼけ付加量の判定を行う。図8(a)は、ぼけ付加量判定テーブルの一例を示す図である。図8(a)のテーブルでは、差分値D’が決定すると、ぼけ付加パラメータP1が決定される。

0077

なお、図8(a)のテーブルの設計は任意で行って良く、撮像装置の焦点距離や絞り値といった撮像条件毎にテーブルを設計したり、距離情報の差分値D’に比例しない一定のテーブルを設計したりしても良い。

0078

また、本実施形態では、背景領域の中で最も遠側の距離情報を背景までの距離情報D2としたが、これに限らなくても良い。例えば、背景領域に含まれる全距離情報の平均をとった値を、背景までの距離情報D2としても良い。

0079

また、本実施形態では、測距情報の差分によりぼけ付加パラメータの判定を行っているが、被写体と背景の関係から得られるどの情報を用いてぼけ付加パラメータの判定を行っても良い。例えば、測距された情報から求められる被写体と背景の深度差により、ぼけ付加パラメータの判定を行っても良い。

0080

次に、ぼかし量を制御する制御部としての背景ぼかし度制御部306は、上述の平滑化パラメータに基づき、最低ぼけ付加パラメータP1minを決定する。最低ぼけ付加パラメータとは、肌領域が平滑化された被写体人物が、背景と同等以上にピントが合っている印象を与えるぼけ付加パラメータの最低値である。図8(b)は、決定された平滑化パラメータP2を入力として、最低ぼけ付加パラメータP1minを求めるテーブルを示している。背景ぼかし度制御部306は、ぼけ付加パラメータP1が最低ぼけ付加パラメータP1min以上になるように設定する。これにより、被写体人物の肌領域のぼかし量は、背景領域のぼかし量以下に設定される。

0081

なお、図8(b)のテーブルの設計は任意で行って良く、撮像装置の焦点距離や絞り値といった撮像条件毎にテーブルを設計しても良い。

0082

以下、背景ぼかし処理部307によるぼかし処理について説明する。背景ぼかし処理部307は、上述のぼけ付加パラメータに基づいて、原画像1の画像データに対してフィルタリング処理を行う。フィルタリング処理は画像の平滑化を行うものであれば良く、その例として、移動平均フィルタや加重平均フィルタを用いて行う。また、その平滑化の度合いは上述の平滑化パラメータに基づいて決まり、フィルタリング処理のタップ数を増やすなどにより平滑化効果の度合いを変更する。

0083

なお、原画像1の平滑化処理の方法はこれに限定されず、画像データのリサイズによる平滑化など、他の方法を用いても良い。

0084

以下、上述の肌領域平滑化画像5とぼけ付加画像7の画像合成処理について説明する。背景ぼかし画像合成処理S407において、背景ぼかし画像合成部308は、切り出しマップ画像6に基づいて、肌領域平滑化画像5とぼけ付加画像7の画像合成を行い、最終画像8を生成する。

0085

ここで、画像合成処理の一例について説明する。背景ぼかし画像合成部308は、切り出しマップ画像6の画素値から求まるα[i,j](0≦α≦1)に基づいて、肌領域平滑化画像5の画像データIMG1[i,j]とぼけ付加画像7の画像データIMG2[i,j]を画像合成し、合成画像データIMG3[i,j]を生成する。即ち、背景ぼかし画像合成部308は、合成画像データIMG3[i,j]を上述の式(1)を用いて算出する。なお、[i,j]は各画素を示している。この処理によって得られた合成画像データIMG3を、最終画像として取得する。

0086

以上、ユーザーにより決定された肌領域の平滑化度合い(肌領域のぼかし量)に基づいて、背景領域のぼけ度合い(背景領域のぼかし量)を制御する手段について説明した。本実施形態によれば、背景領域のぼかし量が肌領域のぼかし量以上となるように制御されるので、肌領域の平滑化処理と背景領域のぼけ付加処理を同時に行う画像処理において、肌領域の平滑化処理によって被写体人物がぼけた印象にならない好適な画像データを取得することが出来る。

0087

なお、上述の肌領域の平滑化度はユーザーによる入力だけでなく、被写体人物の肌領域のコントラスト差や、周波数特性に基づいて決定されても良い。

0088

(第2の実施形態)
第1の実施形態では、撮影画像内の被写体人物の肌領域の平滑化度合いに基づいて、背景領域のぼかし効果の強弱を制御する手段について説明した。第2の実施形態では、撮影画像内の背景領域のぼけ度合い(ぼかし量)に基づいて、被写体人物の肌領域の平滑化度合い(ぼかし量)を制御する手段について説明する。なお、第2の実施形態の内容が、第1の実施形態の内容と同じ部分については説明を省略する。

0089

第2の実施形態では、図4の肌領域の平滑化処理S403が実行されるよりも先に、背景領域のぼけ付加パラメータが決定される。ぼけ付加パラメータは、ユーザーからの入力か、或いは画像処理装置100によって自動的に決定される。例えば、自動で決定される場合は、上述したように、撮影時の被写体と背景の位置関係などによって決定される。

0090

図4の平滑化処理S403において、ぼかし量を制御する制御部としての平滑化度制御部205は、前記ぼけ付加パラメータ(ぼけ付加パラメータP1と称す)に基づき、最大平滑化パラメータP2maxを決定する。最大平滑化パラメータとは、肌領域が平滑化された被写体人物が、背景と同等かそれ以上にピントが合っている印象を与える平滑化パラメータの最大値である。図9は、決定されたぼけ付加パラメータP1を入力として、最大平滑化パラメータP2maxを求めるテーブルを示している。平滑化度制御部205は、平滑化パラメータが最大平滑化パラメータP2max以下になるように設定する、これにより、被写体人物の肌領域のぼかし量は、背景領域のぼかし量以下に設定される。

0091

なお、図9のテーブルの設計は任意で行って良く、撮像装置の焦点距離や絞り値といった撮像条件毎にテーブルを設計しても良い。

0092

以上、決定された背景領域のぼかし効果の強弱に基づいて、被写体人物の肌領域の平滑化効果を制御する手段について説明した。本実施形態によれば、肌領域の平滑化処理を背景領域のぼけ付加処理を同時に行う画像処理において、肌領域の平滑化処理によって被写体人物がぼけた印象にならない好適な画像データを取得することが出来る。

0093

以上、第1の実施の形態では、肌領域のぼかし量に基づいて背景領域の適用可能なぼかし量の最小値を算出し、第2の実施形態では、背景領域のぼかし量に基づいて肌領域に適用可能なぼかし量の最大値を算出した。しかし、肌領域のぼかし量を背景領域のぼかし量以下とすればよく、必ずしも最大値または最小値に設定する必要はない。

0094

また、被写体人物の肌領域と背景領域の一方の領域のぼかし量に依存して他方の領域のぼかし量を決定する形態を用いて説明したが、肌領域のぼかし量が背景領域のぼかし量以下となる関係を満たせば、それぞれのぼかし量を独立に設定してもよい。

0095

なお、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェアプログラム)をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

0096

100画像処理装置
108画像処理部
200肌領域平滑化処理部
300背景ぼかし処理部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ