図面 (/)

技術 画像処理方法及び前景領域取得方法

出願人 アキュートロジック株式会社
発明者 吉田敏明和田直史
出願日 2017年10月26日 (1年10ヶ月経過) 出願番号 2017-207234
公開日 2019年5月23日 (3ヶ月経過) 公開番号 2019-079394
状態 特許登録済
技術分野 画像処理 スタジオ装置 イメージ分析
主要キーワード 利得変換 目的画素 差分ステップ 画素結合 フィルタ演算処理 配列方式 エッジ抽出画像 マネキン
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2019年5月23日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (12)

課題

主被写体の領域である前景領域か否かの判定が画像から検出されるエッジの形態に依存しにくい。

解決手段

主被写体にピントを合わせた撮像画像であるJP画像及び無限遠にピントを合わせた撮像画像であるINF画像のそれぞれにエッジ抽出処理を施す(ステップS3)。エッジ抽出処理後のJP画像のブロック積算値とエッジ抽出処理後のINF画像のブロック積算値との差分値を取得する(ステップS4及びS5)。JP画像に領域分割処理を施す(ステップS8)。差分値の大小の傾向を分割領域ごとに評価した結果に基づいて前景領域マップを取得する(ステップS6、S7及びS9)。前景領域マップに基づいてJP画像にぼかし処理を施すことで、背景領域がぼけた画像を取得する(ステップS10)。

概要

背景

従来、撮像画像において検出されたエッジに基づき、主被写体の領域である前景領域を取得する方法が存在する。その一例として、特許文献1では、主被写体にピントを合わせた画像において被写体のエッジを検出する。そして、そのエッジの強度、所定数のエッジにより囲まれる候補領域内に存在する画素数等に応じて主被写体の領域を特定している。

概要

主被写体の領域である前景領域か否かの判定が画像から検出されるエッジの形態に依存しにくい。主被写体にピントを合わせた撮像画像であるJP画像及び無限遠にピントを合わせた撮像画像であるINF画像のそれぞれにエッジ抽出処理を施す(ステップS3)。エッジ抽出処理後のJP画像のブロック積算値とエッジ抽出処理後のINF画像のブロック積算値との差分値を取得する(ステップS4及びS5)。JP画像に領域分割処理を施す(ステップS8)。差分値の大小の傾向を分割領域ごとに評価した結果に基づいて前景領域マップを取得する(ステップS6、S7及びS9)。前景領域マップに基づいてJP画像にぼかし処理を施すことで、背景領域がぼけた画像を取得する(ステップS10)。

目的

本発明の目的は、主被写体の領域である前景領域か否かの判定が画像から検出されるエッジの形態に依存しにくい画像処理方法及び前景領域取得方法を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

主被写体ピントを合わせた第1の撮像画像及び前記主被写体の位置とは異なる位置にピントを合わせた第2の撮像画像のそれぞれにエッジ抽出処理を施すエッジ抽出テップと、前記エッジ抽出処理後の前記第1及び第2の撮像画像同士で、互いに同じ位置の画素値又は画素ブロック値差分値を取得する差分ステップと、前記エッジ抽出処理前の前記第1の撮像画像に基づいて、前記第1の撮像画像中各被写体の領域をそれぞれ取得する領域取得ステップと、前記領域取得ステップにおいて取得された前記領域ごとに、前記差分ステップにおいて画素又は画素ブロックに関して取得された前記差分値の大小の傾向を評価した結果に基づいて、前記領域取得ステップにおいて取得された前記領域のうち前記主被写体に対応する前景領域がいずれであるかを判定する前景領域判定ステップと、前記前景領域判定ステップの判定結果に基づいて前記前景領域以外の領域がぼけた画像を、少なくとも主被写体にピントを合わせた撮像画像から取得する背景ぼけ画像取得ステップとを備えていることを特徴とする画像処理方法

請求項2

前記差分ステップにおいて、前記エッジ抽出処理後の前記第1の撮像画像の画素値又は画素ブロック値から前記エッジ抽出処理後の前記第2の撮像画像の画素値又は画素ブロック値が引かれることにより前記差分値が取得され、前記前景領域判定ステップにおいて、前記領域取得ステップにおいて取得された前記領域のうち、前記差分値が正の大きい値となる傾向が強く且つ前記差分値が負の小さい値になる傾向が弱い領域を前記前景領域であると判定することを特徴とする請求項1に記載の画像処理方法。

請求項3

前記前景領域判定ステップが、前記差分ステップにおいて取得された前記差分値の大小をX1、X2(<X1)及びX3(<X2)の3段階で示す値である大小評価値を画素又は画素ブロックごとに取得する3値取得ステップと、前記3値取得ステップにおいて取得された大小評価値のうち、X1及びX2の前者又は両方に対応する値を、前記領域取得ステップにおいて取得された前記領域内の画素又は画素ブロックに関して前記領域ごとに積算する第1積算ステップと、前記3値取得ステップにおいて取得された大小評価値のうち、X3及びX2の前者又は両方に対応する値を、前記領域取得ステップにおいて取得された前記領域内の画素又は画素ブロックに関して前記領域ごとに積算する第2積算ステップと、前記第1積算ステップによる積算値と第1閾値とを前記領域ごとに比較する第1比較ステップと、前記第2積算ステップによる積算値と第2閾値とを前記領域ごとに比較する第2比較ステップとを含んでいることを特徴とする請求項2に記載の画像処理方法。

請求項4

前記差分ステップが、前記エッジ抽出処理後の前記第1及び第2の撮像画像のそれぞれに関して画素ブロックごとに画素値を積算することで前記画素ブロック値を取得するブロック積算ステップと、前記エッジ抽出処理後の前記第1及び第2の撮像画像同士で、互いに同じ位置の前記画素ブロック値の差分を取ることで前記差分値を取得するブロック差分ステップとを含んでいることを特徴とする請求項1〜3のいずれか1項に記載の画像処理方法。

請求項5

主被写体にピントを合わせた第1の撮像画像及び前記主被写体の位置とは異なる位置にピントを合わせた第2の撮像画像のそれぞれにエッジ抽出処理を施すエッジ抽出ステップと、前記エッジ抽出処理後の前記第1及び第2の撮像画像同士で、互いに同じ位置の画素値又は画素ブロック値の差分値を取得する差分ステップと、前記エッジ抽出処理前の前記第1の撮像画像に基づいて、前記第1の撮像画像中の各被写体の領域をそれぞれ取得する領域取得ステップと、前記領域取得ステップにおいて取得された前記領域ごとに、前記差分ステップにおいて画素又は画素ブロックに関して取得された前記差分値の大小の傾向を評価した結果に基づいて、前記領域取得ステップにおいて取得された前記領域のうち前記主被写体に対応する前景領域がいずれであるかを判定する前景領域判定ステップと、を備えていることを特徴とする前景領域取得方法

技術分野

0001

本発明は、画像処理方法及び前景領域取得方法に関する。

背景技術

0002

従来、撮像画像において検出されたエッジに基づき、主被写体の領域である前景領域を取得する方法が存在する。その一例として、特許文献1では、主被写体にピントを合わせた画像において被写体のエッジを検出する。そして、そのエッジの強度、所定数のエッジにより囲まれる候補領域内に存在する画素数等に応じて主被写体の領域を特定している。

先行技術

0003

特開2013−58823号公報

発明が解決しようとする課題

0004

特許文献1の方法によると、上記の通り、エッジの強度及び所定数のエッジにより囲まれる候補領域内に存在する画素数に応じて主被写体の領域(前景領域)か否かが判定される。しかしながら、このような方法によると、エッジの形状及び分布状況等に応じて、つまり、エッジの形態に応じて候補領域取得結果が異なったものとなるおそれがある。エッジの形態は、主被写体自体の形状やエッジの検出条件等の検出状況に応じて変動する。したがって、エッジの形態のみに依存したこのような前景領域の判定方法によると、判定結果が安定しないおそれがある。

0005

本発明の目的は、主被写体の領域である前景領域か否かの判定が画像から検出されるエッジの形態に依存しにくい画像処理方法及び前景領域取得方法を提供することにある。

課題を解決するための手段

0006

本発明の画像処理方法は、主被写体にピントを合わせた第1の撮像画像及び前記主被写体の位置とは異なる位置にピントを合わせた第2の撮像画像のそれぞれにエッジ抽出処理を施すエッジ抽出テップと、前記エッジ抽出処理後の前記第1及び第2の撮像画像同士で、互いに同じ位置の画素値又は画素ブロック値差分値を取得する差分ステップと、前記エッジ抽出処理前の前記第1の撮像画像に基づいて、前記第1の撮像画像中各被写体の領域をそれぞれ取得する領域取得ステップと、前記領域取得ステップにおいて取得された前記領域ごとに、前記差分ステップにおいて画素又は画素ブロックに関して取得された前記差分値の大小の傾向を評価した結果に基づいて、前記領域取得ステップにおいて取得された前記領域のうち前記主被写体に対応する前景領域がいずれであるかを判定する前景領域判定ステップと、前記前景領域判定ステップの判定結果に基づいて前記前景領域以外の領域がぼけた画像を、少なくとも主被写体にピントを合わせた撮像画像から取得する背景ぼけ画像取得ステップとを備えている。

0007

また、別の観点に係る本発明の前景領域取得方法は、主被写体にピントを合わせた第1の撮像画像及び前記主被写体の位置とは異なる位置にピントを合わせた第2の撮像画像のそれぞれにエッジ抽出処理を施すエッジ抽出ステップと、前記エッジ抽出処理後の前記第1及び第2の撮像画像同士で、互いに同じ位置の画素値又は画素ブロック値の差分値を取得する差分ステップと、前記エッジ抽出処理前の前記第1の撮像画像に基づいて、前記第1の撮像画像中の各被写体の領域をそれぞれ取得する領域取得ステップと、前記領域取得ステップにおいて取得された前記領域ごとに、前記差分ステップにおいて画素又は画素ブロックに関して取得された前記差分値の大小の傾向を評価した結果に基づいて、前記領域取得ステップにおいて取得された前記領域のうち前記主被写体に対応する前景領域がいずれであるかを判定する前景領域判定ステップと、を備えている。

0008

本発明の画像処理方法及び前景領域取得方法によると、主被写体にピントを合わせた撮像画像とそれより遠方にピントを合わせた撮像画像との間で、エッジ抽出処理後の画像における画素値又は画素ブロック値(以下、画素値等とする)の差分値を取得する。例えば、前者の撮像画像の画素値等から後者の撮像画像の画素値等を引いた差分値は、主被写体の領域である前景領域において正の大きい値になる傾向が強いか、負の小さい値になる傾向が弱い。したがって、領域取得ステップにおいて取得された各被写体の領域において差分値の大小の傾向を評価することで前景領域を取得できる。差分値の大小の傾向は、例えば、領域ごとに差分値の傾向を示す評価値を算出し、その評価値と閾値とを領域ごとに比較することで評価してもよい。また、領域同士で評価値を比較することで評価してもよい。領域ごとの差分値の大小の傾向は、撮像画像において抽出されたエッジの形状には依存しにくい。したがって、本発明の画像処理方法及び前景領域取得方法においては、前景領域か否かの判定結果がエッジの形態に依存しにくく、判定結果が安定する。また、本発明の画像処理方法においては、かかる前景領域の取得結果に基づき、前景領域以外の領域にぼかし処理が施されるので、背景となる領域が適切にぼけた画像が取得される。

0009

なお、本発明において、差分値の大小とは、差分値が正の大きい値であったり、差分値が負の小さい値であったりすることをいう。このような大小は、例えば、基準値又は閾値との比較に基づいて評価される。本発明において、差分値の大小の傾向に加え、さらにエッジの形状等も考慮しつつ前景領域を取得してもよい。この場合にも、エッジの形態のみならず、エッジの形態に依存しにくい差分値の大小の傾向にも基づくため、エッジの形態のみに基づく場合と比べ、全体としてエッジの形態に依存しにくい結果が得られる。また、本発明の画素ブロック値は、それぞれが複数の画素値からなる複数の画素ブロックに撮像画像を分けた場合における各画素ブロック代表値(画素値の積算値平均値等)を意味する。

0010

また、本発明においては、前記差分ステップにおいて、前記エッジ抽出処理後の前記第1の撮像画像の画素値又は画素ブロック値から前記エッジ抽出処理後の前記第2の撮像画像の画素値又は画素ブロック値が引かれることにより前記差分値が取得され、前記前景領域判定ステップにおいて、前記領域取得ステップにおいて取得された前記領域のうち、前記差分値が正の大きい値となる傾向が強く且つ前記差分値が負の小さい値になる傾向が弱い領域を前記前景領域であると判定することが好ましい。これによると、前景領域における差分値が示す2つの傾向の両方を基準として前景領域であるか否かを判定する。したがって、前景領域が適切に判定されやすい。なお、差分値の傾向は、上記同様に評価されてよい。例えば、差分値が正の大きい値となる傾向を示す評価値として領域内の差分値が正の基準値を超える数を領域ごとに算出する。また、差分値が負の小さい値となる傾向を示す評価値として領域内の差分値が負の基準値を下回る数を領域ごとに算出する。そして、これらの評価値と閾値とを領域ごとに比較することで差分値の傾向を評価してもよい。また、領域同士で評価値を比較することで評価してもよい。

0011

また、本発明においては、前記前景領域判定ステップが、前記差分ステップにおいて取得された前記差分値の大小をX1、X2(<X1)及びX3(<X2)の3段階で示す値である大小評価値を画素又は画素ブロックごとに取得する3値取得ステップと、前記3値取得ステップにおいて取得された大小評価値のうち、X1及びX2の前者又は両方に対応する値を、前記領域取得ステップにおいて取得された前記領域内の画素又は画素ブロックに関して前記領域ごとに積算する第1積算ステップと、前記3値取得ステップにおいて取得された大小評価値のうち、X3及びX2の前者又は両方に対応する値を、前記領域取得ステップにおいて取得された前記領域内の画素又は画素ブロックに関して前記領域ごとに積算する第2積算ステップと、前記第1積算ステップによる積算値と第1閾値とを前記領域ごとに比較する第1比較ステップと、前記第2積算ステップによる積算値と第2閾値とを前記領域ごとに比較する第2比較ステップとを含んでいることが好ましい。これによると、画素又は画素ブロックごとにX1〜X3からなる3値の大小評価値を取得する。そして、第1積算ステップでX1及びX2の前者又は両方を領域ごとに積算すると共に、第2積算ステップでX3及びX2の前者又は両方を領域ごとに積算する。第1積算ステップの積算値は、正の値に関する差分値の大小の傾向を示す評価値となる。また、第2積算ステップの積算値は、負の値に関する差分値の大小の傾向を示す評価値となる。したがって、各積算値を閾値と比較することにより、正の値及び負の値の両方に関する差分値の大小の傾向を適切に評価することができる。

0012

また、本発明においては、前記差分ステップが、前記エッジ抽出処理後の前記第1及び第2の撮像画像のそれぞれに関して画素ブロックごとに画素値を積算することで前記画素ブロック値を取得するブロック積算ステップと、前記エッジ抽出処理後の前記第1及び第2の撮像画像同士で、互いに同じ位置の前記画素ブロック値の差分を取ることで前記差分値を取得するブロック差分ステップとを含んでいることが好ましい。これによると、差分値の取得において画素ブロック値を用いる。画素ブロック値は、エッジ抽出処理後の各撮像画像において画素ブロックごとの積算値である。このため、第1の撮像画像と第2の撮像画像との間に画角のずれがある場合に、このずれを画素ブロックの範囲において積算値に吸収することができる。

図面の簡単な説明

0013

本発明の一実施形態に係る画像処理方法を実行する撮像装置概略構成を示す機能ブロック図である。
図1の撮像装置が実行する処理の流れを示すフロー図である。
図1の撮像装置が取得したカラーの撮像画像をグレースケールに変換した画像である。図3(a)は主被写体にピントを合わせたJP画像のグレースケール画像を、図3(b)は無限遠にピントを合わせたINF画像のグレースケール画像を示す。
図4(a)は、図3(a)の画像にエッジ抽出処理を施した結果に相当する画像である。図4(b)は、図3(b)の画像にエッジ抽出処理を施した結果に相当する画像である。
図4(a)の画像を縦L個×横L個からなるブロックに分割した状況を概念的に示す図である。
図4(a)及び図4(b)の画像から得られたブロック積算値の差分値に対応する画像である。
図6の画像が示す差分値から得られた3値マップに対応する画像である。
図8(a)は、図7の画像が示す3値マップから得られたポジティブマップに対応する画像である。図8(b)は、図7の画像が示す3値マップから得られたネガティブマップに対応する画像である。
図3(a)の画像に対応するJP画像から取得された領域分割マップに対応する画像である。
図9に示す領域分割マップから得られた前景領域マップに対応する画像である。
図3(a)のJP画像から得られたぼけ画像である。

実施例

0014

本発明の一実施形態に係る画像処理方法及び前景領域取得方法を実行する撮像装置1について図面を参照しつつ説明する。撮像装置1は、図1に示すように、ユーザインタフェース部2、撮像制御部3、撮像光学系10、撮像素子20及び画像処理部100を備えている。ユーザインタフェース部2は、ユーザによって操作可能な各種のスイッチ、ボタンタッチパネル等を含んでいる。撮像光学系10は、絞り、及び、フォーカスレンズを含む各種のレンズを有する。撮像制御部3は、後述の撮影処理を実行するように撮像光学系10及び撮像素子20を制御する。撮像光学系10は、被写体からの光を撮像素子20へと導いて、撮像素子20において結像させる。撮像光学系10は、レンズの位置を変更すること等により、ピントを変更することができる。例えば、撮像光学系10は、撮像装置1に対して所定の距離にある被写体にピントを合わせたり、その被写体より遠くの被写体にピントを合わせたり、無限遠にピントを合わせたりすることができる。以下、ピントが合った被写体を主被写体とする。

0015

撮像素子20は、CMOS(Complementary Metal Oxide Semiconductor)方式が採用されたイメージセンサである。撮像素子20は、所定の配列方式で配列されたカラーフィルタと、各カラーフィルタを通じて受光した光の強度に応じたアナログ信号を出力する光電変換素子と、光電変換素子からのアナログ信号の利得を変換する利得変換部と、そのアナログ信号をデジタル信号に変換するAD変換部とを備えている。なお、撮像素子20として、CCD(Charge Coupled Device)方式が採用されたイメージセンサが用いられてもよい。カラーフィルタの配列方式はいずれが採用されてもよい。例えば、ベイヤー(Bayer)配列方式が採用されてもよい。ベイヤー配列は、R(赤)及びG(緑)が横方向に交互に並んだ行とG(緑)及びB(青)が横方向に交互に並んだ行とが縦方向に交互に並んだ配列である。撮像素子20は、カラーフィルタの配列方式に従ってR、G及びBの各色の各画素が並んだ画像を示す画像信号を出力する。

0016

画像処理部100は、撮像素子20から出力される画像信号に基づいて、画素ごとにR、G及びBの3色の画素値を有するカラー画像を生成する。例えば、ベイヤー配列に従った画像信号が示す画像の各画素は、R、G及びBのいずれか1色のみの画素である。そこで、画像処理部100は、目的画素周辺の画素における画素値に基づいて目的画素の他の2色を補間することで上記カラー画像を生成する。そして、画像処理部100は、生成したカラー画像に各種の画像処理を施す。この画像処理において、画像処理部100は、撮像素子20から出力される画像信号に基づき、画像信号が示す画像において、ピントが合った被写体である主被写体の領域に相当する前景領域を取得する。そして、取得した前景領域に基づき、カラー画像における前景領域以外の領域である背景領域にぼかし処理を施した画像を生成する。これらの画像処理の詳細は後述する。生成された画像はディスプレイ表示として出力される。生成された画像が、印刷用紙への印刷記録媒体への記録として出力されてもよい。また、画像処理部100は、撮像素子10からの画像信号に基づいて各種の制御値を生成する。この制御値は、例えば、撮像制御部3においてフォーカスの調整等に用いられる。

0017

撮像制御部3及び画像処理部100の各種機能は、CPU、メモリなどの記憶用デバイス、各種インタフェースなどからなるハードウェアと、記憶部に記憶されたプログラムデータなどの各種データからなるソフトウェアとが互いに協働することで実現されている。なお、これらの機能は、このようなハードウェア及びソフトウェアの協働による機能にASIC等の専用回路の機能が組み合わされることで実現されてもよい。

0018

以下、撮像装置1が実行する処理の流れについて、図2を参照しつつ説明する。まず、撮像装置1は、ピントを合わせた位置が異なる2枚の撮像画像を取得する撮影処理を実行する(ステップS1)。撮影処理においては、まず、撮像制御部3が撮像光学系10及び撮像素子20を制御することにより、ピントを合わせた位置が異なる2枚の撮像画像に対応する画像信号を画像処理部100へと出力させる。2枚の撮像画像は、時間を置くことなく連続的に取得される。したがって、2枚の撮像画像の間で撮像装置1に対する被写体の位置は等しい。そして、画像処理部100は、撮像素子20からの画像信号に基づいて2枚のカラー画像を生成する。1枚目のカラー画像(第1の撮像画像)は、撮像装置1による撮影範囲内に存在する複数の被写体のうちのいずれかを主被写体とした画像である。つまり、複数の被写体から選択された主被写体にピントを合わせたカラー画像(以下、JP画像とする)である。主被写体の選択は、例えば、画像処理部100からの制御値に基づいて撮像制御部10がフォーカスを自動調整することによって実行されてもよい。あるいは、ユーザインタフェース部2を介したユーザ入力に従って主被写体が選択されてもよい。また、2枚目の撮像画像(第2の撮像画像)は、無限遠にピントを合わせたカラー画像(以下、INF画像とする)である。以降、ステップS2〜S10は画像処理部100による処理である。以下、処理を実行する主体の記載を省略する。

0019

次に、JP画像及びINF画像のそれぞれに前処理が施される(ステップS2)。前処理は、JP画像及びINF画像それぞれをグレースケール画像に変換する処理を含む。なお、ステップS3以降の処理の高速化のため、JP画像及びINF画像それぞれを縮小する処理が前処理に含まれてもよい。この処理は、グレースケール画像への変換の前後いずれにおいて実行されてもよい。グレースケール画像への変換は、元の画像の各画素においてR、G及びBの3画素値の線形結合演算することによって実行される。図3(a)はJP画像から変換されたグレースケール画像の一例を、図3(b)はINF画像から変換されたグレースケール画像の一例をそれぞれ示す。前者のJP画像は、撮影範囲において撮影位置に比較的近接した位置にあるマネキンの頭部にピントを合わせて撮影された画像である。後者のINF画像は、無限遠にピントを合わせて撮影された画像である。

0020

次に、ステップS2で生成された2つのグレースケール画像のそれぞれにエッジ抽出処理を施す(ステップS3;エッジ抽出ステップ)。これにより、エッジ抽出処理後の2つの画像が取得される。以下、JP画像にエッジ抽出処理が施された画像をJPエッジ抽出画像とする。また、INF画像にエッジ抽出処理が施された画像をINFエッジ抽出画像とする。エッジ抽出処理は、画素値又は平滑化等が施された後の画素値に適宜のフィルタ演算処理を施すことにより実行される。例えば、このフィルタ演算処理は、注目画素における周辺画素との間の勾配の大きさを算出したり、勾配の発散を算出したりする処理である。エッジ抽出処理にはさまざまなアルゴリズムが用いられてよい。図4(a)及び図4(b)は一例としてラプラシアンフィルタを用いた結果を示す。図4(a)の画像は、図3(a)の画像から得られたJPエッジ抽出画像である。図4(b)の画像は、図3(b)の画像から得られたINFエッジ抽出画像である。いずれの画像においても被写体の輪郭が強調されている。図4(a)の画像では、ピントを合わせたマネキンの頭部のエッジがそれ以外の被写体のエッジに比べて強調されている。つまり、JPエッジ抽出画像は、主被写体であるマネキンの頭部の領域において高い階調の画素値を取る画素を含む。図4(b)の画像では、ピントを合わせたマネキンの頭部以外の被写体のエッジがマネキンの頭部のエッジに比べて強調されている。つまり、INFエッジ抽出画像は、主被写体以外の領域において高い階調の画素値を取る画素を含む。

0021

次に、ステップS3で生成された2つのエッジ抽出画像にブロック積算処理が施される(ステップS4;ブロック積算ステップ)。ブロック積算処理は、エッジ抽出画像を複数個のブロック(画素ブロック)に分割すると共に、各ブロック内において画素値を積算する処理である。以下、これによって得られたブロックごとの積算値をブロック積算値(画素ブロック値)とする。各ブロックは、エッジ抽出画像において複数の画素からなる矩形画像領域に対応する。図5は、一例として、図4(a)の画像を縦L個×横L個(L:2以上の自然数)からなるブロックに分割した状況を概念的に示す。Lは、ブロックが縦及び横のそれぞれに関して2以上の画素から構成されるような値を有する。また、Lは、前景領域の取得に用いられる後述のポジティブマップ及びネガティブマップのサイズでもある。したがって、これらのマップを用いた前景領域の取得が適切になされるような大きさに調整される。画素値の積算においては、JPエッジ抽出画像及びINFエッジ抽出画像のそれぞれの各ブロックにおいて、そのブロックに属する全ての画素の画素値が足し合わされる。以下、縦L個×横L個のブロックに画像を分割した場合のJPエッジ抽出画像のブロック積算値をIp(i,j)とし、INFエッジ抽出画像のブロック積算値をIf(i,j)とする。iは画像の横方向に関するブロックの位置を示し、1≦i≦Lを満たす。jは画像の縦方向に関するブロックの位置を示し、1≦j≦Lを満たす。また、横方向i、縦方向jの位置にあるブロックをブロック(i,j)とする。Ip(i,j)は、JPエッジ抽出画像から取得されるため、前景領域において大きな値を取りやすい。If(i,j)は、INFエッジ抽出画像から取得されるため、前景領域以外の領域において大きな値を取りやすい。

0022

次に、JPエッジ抽出画像及びINFエッジ抽出画像同士で、ステップS4において取得されたブロック積算値の差分値が算出される(ステップS5;差分ステップ/ブロック差分ステップ)。差分値は、JPエッジ抽出画像のブロックにおける積算値から、INFエッジ抽出画像のブロックにおける積算値を、互いに同じ位置にあるブロックに関して引いた差の値である。つまり、ブロック(i,j)における差分値D(i,j)は次式の通りである:D(i,j)=Ip(i,j)−If(i,j)。図6は、一例として、図4(a)及び図4(b)の画像から得られたブロック積算値の差分値に対応する画像を示す。図6の画像は、グレースケールの階調がD(i,j)の値の大小を示している。具体的には、図6の画像において、位置(i,j)の画素の色は、白に近いほどD(i,j)が正の大きい値であることを示す。また、位置(i,j)の画素の色は、黒に近いほどD(i,j)が負の小さい値であることを示す。上記の通り、Ip(i,j)は前景領域において大きな値を取りやすく、If(i,j)は前景領域以外の領域である背景領域において大きな値を取りやすい。したがって、D(i,j)は、図6にも示されている通り、前景領域において正の大きい値を取る傾向が強い。また、D(i,j)は、背景領域において負の小さい値を取る傾向が強い。逆に言えば、D(i,j)は、前景領域において負の小さい値を取る傾向が弱く、背景領域において正の大きい値を取る傾向が弱い。

0023

次に、ステップS5において取得された差分値に基づいて3値マップが取得される(ステップS6;3値取得ステップ)。3値マップM(i,j)は1、0及び−1のいずれかの値を取る。なお、1、0及び−1の3値は、本発明の大小評価値X1、X2及びX3の一例である。3値マップM(i,j)は、D(i,j)と閾値T1及びT2(T1>0,T2<0)との比較に基づく値を有する。具体的には、M(i,j)は、T1≦D(i,j)となる場合には値1を取り、T2<D(i,j)<T1となる場合には値0を取り、D(i,j)≦T2となる場合には値−1を取る。図7は、一例として、図6の画像が示す差分値から得られた3値マップに対応する画像を示す。図7の画像は、M(i,j)の値を示す3色の画素から構成されている。具体的には、図7の画像において、位置(i,j)の画素の色が白であることは、M(i,j)が1であることを示す。また、位置(i,j)の画素の色がグレーであることは、M(i,j)が0であることを示す。さらに、位置(i,j)の画素の色が黒であることは、M(i,j)が−1であることを示す。上記の通り、D(i,j)は、前景領域において正の大きい値を取りやすく且つ負の小さい値を取りにくい。また、D(i,j)は、背景領域において負の小さい値を取りやすく且つ正の大きい値を取りにくい。したがって、M(i,j)は、図7にも示されている通り、前景領域において1を取りやすく且つ−1を取りにくい。また、M(i,j)は、背景領域において−1を取りやすく且つ1を取りにくい。なお、ステップS2の前処理においてJP画像及びINF画像を縮小する処理が行われた場合には、ステップS6の後で3値マップを拡大してJP画像及びINF画像の元の大きさに戻す処理が実行される。3値マップの拡大処理の代わりに、ステップS7の後で、後述のポジティブマップ及びネガティブマップを同様に拡大する処理が実行されてもよい。

0024

次に、ステップS6において取得された3値マップから、ポジティブマップ及びネガティブマップが取得される(ステップS7)。ポジティブマップP(i,j)は、M(i,j)が1のときに値1を取り、M(i,j)が0又は−1のときに値0を取る。また、ネガティブマップN(i,j)は、M(i,j)が−1のときに値1を取り、M(i,j)が0又は1のときに値0を取る。図8(a)及び図8(b)は、一例として、図7の画像が示す3値マップから得られたポジティブマップに対応する画像及びネガティブマップに対応する画像を示す。図8(a)及び図8(b)の画像は、P(i,j)の値及びN(i,j)の値を示す2色の画素からそれぞれ構成されている。具体的には、図8(a)の画像において位置(i,j)の画素の色が白であることは、P(i,j)が1であることを示す。位置(i,j)の画素の色が黒であることは、P(i,j)が0であることを示す。図8(b)の画像において、位置(i,j)の画素の色が白であることは、N(i,j)が1であることを示す。位置(i,j)の画素の色が黒であることは、N(i,j)が0であることを示す。上記の通り、M(i,j)は、前景領域において1を取りやすく、主被写体以外の領域において−1を取りやすい。したがって、P(i,j)は前景領域において1を取りやすく、背景領域において1を取りにくい。また、N(i,j)は背景領域において1を取りやすく、前景領域において1を取りにくい。

0025

一方、ステップS2〜S7の処理とは別途、ステップS1において取得されたJP画像に基づいて領域分割マップが取得される(ステップS8)。領域分割マップは、JP画像中の各被写体の領域を他の領域から区別可能に示すマップである。領域分割マップは、JP画像に領域分割処理が施されることで取得される。領域分割処理は、各領域内の画素が明るさ、色、テクスチャ等に関して同じような特徴を持つように複数の領域に画像を分割する処理である。以下、これによって得られた各被写体の領域を分割領域とする。領域分割処理には、分割・統合法や画素結合法等、さまざまなアルゴリズムが用いられてよい。例えば、Efficient Graph−based Image Segmentation(P. F. Felzenszwalb and D. P. Huttenlocher, International Journal of Computer Vision, vol. 59, no. 2, 2004)が用いられてもよい。これは、画像において互いに隣接する画素同士をこれらの輝度差に基づいて対応付けていくことによって複数の分割領域を取得する処理である。図9は、一例として、図3(a)の画像に対応するJP画像から取得された領域分割マップに対応する画像を示す。図9において階調の共通する複数の画素からなる各領域が領域分割マップにおける各分割領域に対応する。以下、このようにして得られたm番目の分割領域をAm(m=1,2,…,n)で表す。nは、取得された分割領域の数である。

0026

次に、ステップS7において取得されたポジティブマップ及びネガティブマップと、ステップS8において取得された領域分割マップとから、前景領域マップが取得される(ステップS9)。前景領域マップは、撮像画像において、前景領域と背景領域とを区別可能に示すマップである。前景領域マップは以下の処理によって取得される。

0027

まず、ステップS8において取得された領域分割マップが示す分割領域ごとに、ステップS7において取得されたポジティブマップの値が積算される(第1積算ステップ)。積算値Smの算出は、下記式に示すように、領域分割マップが示す分割領域ごとに、その領域と対応するポジティブマップP(i,j)の全ての値を足し合わせることで行われる。分割領域と対応するポジティブマップの値とは、例えば、図8(a)の画像と図9の画像とを重ね合わせた際に、図8(a)の画像において、図9の画像が示す各分割領域とちょうど重なった領域に含まれる画素が示す値に相当する。P(i,j)は、D(i,j)が正の大きい値となる場合に1を取り、それ以外の領域では0を取る。したがって、分割領域AmにおけるP(i,j)の積算値であるSmは、分割領域AmにおいてD(i,j)が正の大きい値を取る傾向の強弱を示す評価値となる。上記の通り、D(i,j)は前景領域において正の大きい値を取る傾向が強い。このため、Smは前景領域において、それ以外の領域と比べて大きな値となる。

0028

同様に、ステップS8において取得された領域分割マップが示す分割領域ごとに、ステップS7において取得されたネガティブマップの値が積算される(第2積算ステップ)。積算値Tmの算出は、下記式に示すように、領域分割マップが示す分割領域ごとに、その領域と対応するポジティブマップN(i,j)の全ての値を足し合わせることで行われる。分割領域と対応するネガティブマップの値とは、例えば、図8(b)の画像と図9の画像とを重ね合わせた際に、図8(b)の画像において、図9の画像が示す各分割領域とちょうど重なった領域に含まれる画素が示す値に相当する。N(i,j)は、D(i,j)が負の小さい値となる場合に1を取り、それ以外の領域では0を取る。したがって、分割領域AmにおけるN(i,j)の積算値であるTmは、分割領域AmにおいてD(i,j)が負の小さい値を取る傾向の強弱を示す評価値となる。上記の通り、D(i,j)は前景領域において負の小さい値を取る傾向が弱い。このため、Tmは前景領域において、それ以外の領域と比べて小さな値となる。

0029

次に、分割領域Am(m=1,2,…,n)について、ポジティブマップの積算値Smと第1閾値α(α>0)とが比較される(第1比較ステップ)と共に、ネガティブマップの積算値Tmと第2閾値β(0<β<α)とが比較される(第2比較ステップ)。上記の通り、前景領域においては、Smが大きな値となり、Tmが小さな値となる。これに基づき、下記2式の両方を満たす分割領域Aq(1≦q≦n)が前景領域であると判定される。そして、領域分割マップに含まれる複数の分割領域のうち、前景領域であると判定された領域とそれ以外の領域とを区別可能に示すマップとして前景領域マップが取得される。図10は、一例として、図9に示す領域分割マップから得られた前景領域マップに対応する画像を示す。図10において白色の画素からなる領域が前景領域を、黒色の画素からなる領域が背景領域を示す。図10の画像は、図9に示す領域分割マップ中、前景領域と判定された特定の領域に対応する領域が白色の画素からなり、それ以外の領域が黒色の画素からなる。

0030

次に、ステップS1において取得されたJP画像及びステップS9において取得された前景領域マップに基づいて、前景領域がピントの合った領域となり、背景領域がぼけた領域となるぼけ画像を取得する(ステップS10)。具体的には、JP画像において、背景領域に対応する領域には平滑処理等の適宜のぼかし処理が施される。また、JP画像の前景領域に対応するピントの合った領域はそのまま用いられる。ぼかし処理が施された背景領域とピントの合った前景領域とが組み合わされることによってぼけ画像が取得される。図11は、一例として、図3(a)のJP画像から得られたぼけ画像を示す。図11の画像においては、図10が示す前景領域に対応する領域ではピントが合っている。一方で、図10が示す背景領域に対応する領域では、前景領域に対応する領域に比べて像がぼけている。なお、ぼけ画像を取得する方法として上記以外の方法が用いられてもよい。例えば、マクロモードの撮影によって取得された、背景領域がぼけた撮像画像が用いられてもよい。この場合、ステップS9で取得された前景領域マップに基づき、マクロモードの撮像画像から背景領域が切り取られると共に、切り取られた背景領域がJP画像の前景領域と組み合わされる。これによってぼけ画像が取得される。

0031

以上説明した実施形態によると、エッジ抽出処理後のJP画像のブロック積算値Ip(i,j)からエッジ抽出処理後のINF画像のブロック積算値If(i,j)を引くことで差分値D(i,j)を取得する。差分値D(i,j)は、前景領域において正の大きい値になる傾向が強く、且つ、負の小さい値になる傾向が弱い。前者の傾向を、領域分割マップにおける分割領域ごとにポジティブマップの積算値Smと第1閾値αとの比較によって評価する。そして、後者の傾向を、領域分割マップにおける分割領域ごとにネガティブマップの積算値Tmと第2閾値βとの比較によって評価する。これら両方の評価結果に基づくことで前景領域を適切に評価できる。分割領域ごとの差分値D(i,j)の傾向は、各分割領域のピントの合い方に依存するのであって、各分割領域の形状には依存しにくい。したがって、本実施形態によると、前景領域か否かの判定結果がエッジの形態に依存しにくく、判定結果が安定する。そして、かかる前景領域の取得結果に基づき、背景領域が適切にぼけた画像が取得される。

0032

また、本実施形態においては、差分値D(i,j)の取得に当たって、ブロック積算値Ip(i,j)及びIf(i,j)を用いる。仮に、JP画像とINF画像との間に画角のずれがあるとすると、JP画像とINF画像との間で画像上の位置が互いに等しい画素同士であってもそれらの画素が示す被写体上の位置が互いに異なったものとなるおそれがある。したがって、この場合、例えばJP画像とINF画像との間で画像上の位置が等しい画素同士の画素値の差分値を取得したとすると、その差分値は、被写体上の異なる位置における画素値同士の差分値となるおそれがある。これに対し、ブロック積算値は、複数の画素からなるブロック内の画素値を積算した値である。したがって、画角にずれが生じたとしても、そのずれは画素ブロックの範囲において積算値に吸収されやすい。よって、画角のずれが差分値に及ぼす影響を抑制できる。

0033

<変形例>
以上は、本発明の好適な実施形態についての説明であるが、本発明は上述の実施形態に限られるものではなく、課題を解決するための手段に記載された範囲の限りにおいて様々な変更が可能なものである。

0034

例えば、上述の実施形態においては、分割領域Amにおける差分値D(i,j)の大小の傾向が、ポジティブマップの積算値Smと第1閾値αとの比較と、ネガティブマップの積算値Tmと第2閾値βとの比較とに基づいて評価されている。しかし、Sm及びTmの少なくともいずれかを分割領域同士で比較することで差分値D(i,j)の大小の傾向が評価されてもよい。この場合、例えば、ある分割領域においてSmが全領域の中で比較的大きく、且つ、Tmが全領域の中で比較的小さいときに、その分割領域が前景領域であると判定されてもよい。

0035

また、上述の実施形態においては、分割領域Amにおける差分値D(i,j)の傾向を示す評価値としてSm及びTmが用いられている。しかし、その他の評価値が用いられてもよい。各分割領域におけるD(i,j)の平均値、中央値最頻値標準偏差等が用いられてもよい。例えば、D(i,j)の平均値、中央値又は最頻値が正の閾値より大きいときにD(i,j)が正の大きい値を取りやすいと評価されてもよい。また、平均値が正の閾値より大きく且つ標準偏差が閾値より小さい場合に、D(i,j)が正の大きい値を取りやすく且つ負の小さい値を取りにくいと評価されてもよい。

0036

また、上述の実施形態においては、Ip(i,j)からIf(i,j)が引かれた差分値D(i,j)が評価に用いられている。しかし、If(i,j)からIp(i,j)が引かれた差分値D’(i,j)が評価に用いられてもよい。この場合、前景領域におけるD’(i,j)の大小の傾向は、D(i,j)の大小の傾向と逆になる。つまり、前景領域において、D’(i,j)は負の小さい値となる傾向が強く、正の大きい値となる傾向が弱い。したがって、D’(i,j)を用いた評価には、D(i,j)における大小の傾向の評価条件とは異なる評価条件を用いる必要がある。例えば、D’(i,j)に基づいて次のポジティブマップP1(i,j)及びネガティブマップN1(i,j)を用いるものとする。ポジティブマップP1(i,j)は、D’(i,j)が正の大きい値を取る場合に1を取り、その他の場合に0を取る。ネガティブマップN1(i,j)は、D’(i,j)が負の小さい値を取る場合に1を取り、その他の場合に0を取る。この場合、前景領域においては、ポジティブマップP1(i,j)の分割領域ごとの積算値が小さくなり、ネガティブマップN1(i,j)の分割領域ごとの積算値が大きくなる。そこで、ポジティブマップP1(i,j)の分割領域ごとの積算値が閾値以下になること、及び、ネガティブマップN1(i,j)の分割領域ごとの積算値が閾値以上になることの少なくともいずれかを前景領域であると判定するための条件とする。

0037

また、上述の実施形態においては、Ip(i,j)及びIf(i,j)として、エッジ抽出処理後の画素値のブロック積算値が用いられている。しかし、Ip(i,j)及びIf(i,j)の代わりに、エッジ抽出処理後の画素値に関するブロックごとのその他の代表値が用いられてもよい。例えば、ブロック内の画素値の平均値や最頻値、最大値等が用いられてもよい。また、差分値としては、ブロック積算値Ip(i,j)及びIf(i,j)の差分値ではなく、画素値同士を直接引いた差分値が用いられてもよい。

0038

また、上述の実施形態においては、差分値D(i,j)の大小の傾向を評価することで前景領域が取得されている。しかし、差分値D(i,j)又はD’(i,j)の大小の傾向を評価することで背景領域が取得されてもよい。背景領域における差分値の大小の傾向は、前景領域における差分値の大小の傾向とは逆になる。したがって、上記とは逆の評価条件に基づくことで、上述の分割領域においていずれが背景領域であるかが判定されてもよい。分割領域において全ての背景領域が取得されることは、残りの領域が前景領域であるという意味で、分割領域において前景領域が取得されることと等価である。したがって、背景領域の取得も本発明における前景領域の取得の範囲内である。

0039

また、上述の実施形態では、D(i,j)とT1及びT2との比較に基づき、3値マップM(i,j)が1、0及び−1からなる3値を取るものとされている。しかし、3値マップとしては、その他の値を取るものとされてもよい。例えば、3値マップM’(i,j)が、X1>0、X2<X1、X3<X1を満たすX1〜X3からなる3値を取るものとされてもよい。この場合、分割領域ごとのP(i,j)の積算値の代わりに、例えば、分割領域ごとのX1の積算値、あるいは、分割領域ごとのX1及びX2の積算値が用いられる。いずれの積算値も、各分割領域において差分値D(i,j)が正の大きい値を取る傾向を示すものとなる。具体的には、積算値が大きいほど差分値D(i,j)が正の大きい値を取りやすい。したがって、例えば、ある分割領域においてこの積算値が閾値を超えた場合に、その領域は、前景領域であると判定するための必要条件の1つを満たすものと取り扱われる。同様に、分割領域ごとのN(i,j)の積算値の代わりに、例えば、分割領域ごとのX3の積算値、あるいは、分割領域ごとのX3及びX2の積算値が用いられる。いずれの積算値も、各分割領域において差分値D(i,j)が負の小さい値を取る傾向を示すものとなる。具体的には、積算値が小さいほど差分値D(i,j)が負の小さい値を取りやすい。したがって、例えば、ある分割領域において積算値が閾値を下回る場合に、その領域は、前景領域であると判定するための必要条件の1つを満たすものと取り扱われる。

0040

また、上述の実施形態におけるネガティブマップN(i,j)は、D(i,j)が負の大きい値を取る場合に1を取り、それ以外の場合は0を取る。しかし、D(i,j)が負の大きい値を取る場合に−1を取り、それ以外の場合は0を取るネガティブマップN1(i,j)が用いられてもよい。この場合、前景領域であることを判定するための条件として、分割領域ごとのN1(i,j)の積算値T’mに関する条件は、上記Tm≦βの代わりに、T’m≧−βとなる。

0041

また、上述の実施形態においては、ステップS10のぼけ画像の取得においてステップS1で取得されたJP画像が用いられている。しかし、このJP画像とは別のタイミングで取得されたJP画像であって、ステップS1で取得されたJP画像と同じ主被写体にピントがあったものが用いられてもよい。例えば、ステップS1の直後に再度取得されたJP画像がステップS10において用いられてもよい。

0042

また、上述の実施形態におけるINF画像の代わりに、主被写体の位置とは異なる、無限遠ではない位置にピントを合わせた撮像画像が用いられてもよい。例えば、撮像装置1に対して主被写体より遠方であって無限遠ではない位置にピントを合わせた撮像画像IM1が用いられた場合、エッジ抽出処理後のJP画像の画素値又は画素ブロック値からエッジ抽出処理後の撮像画像IM1の画素値又は画素ブロック値を引いた差分値は、D(i,j)と同様の大小の傾向を有する。また、撮像装置1に対して主被写体より近い位置にピントを合わせた撮像画像IM2が用いられた場合、エッジ抽出処理後のJP画像の画素値からエッジ抽出処理後の撮像画像IM2の画素値を引いた差分値は、D(i,j)と同様の大小の傾向を有する。したがって、INF画像以外の撮像画像が用いられた場合にも、上述の実施形態と同様に、差分値の大小の傾向に基づいて前景領域を取得することができる。

0043

なお、上述の実施形態において、図2に示すステップS2〜S10の処理の全部又は一部をコンピュータに実行させるプログラムは、フレキシブルディスクなどの磁気記録媒体、DVD−ROMなどの光学記録媒体ハードディスクUSBメモリなどのコンピュータ読み取りが可能な記録装置等に記録して配布可能である他、インターネットを介したダウンロード等により配布可能である。

0044

1撮像装置
2ユーザインタフェース部
3撮像制御部
10撮像光学系
20撮像素子
100画像処理部
D(i,j)差分値
Ip(i,j)エッジ抽出処理後のJP画像のブロック積算値
If(i,j) エッジ抽出処理後のINF画像のブロック積算値
M(i,j)3値マップ
N(i,j)ネガティブマップ
P(i,j)ポジティブマップ
Sm、Tm ポジティブマップ・ネガティブマップの積算値
T1、T2閾値
X1〜X3 3値

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ