図面 (/)

技術 画像処理装置、画像処理方法、制御プログラムおよび記録媒体

出願人 オムロン株式会社
発明者 酒井俊山本基夫田中宏行村上達哉半澤雄希高山貴宏
出願日 2012年9月13日 (8年3ヶ月経過) 出願番号 2012-201972
公開日 2014年3月27日 (6年9ヶ月経過) 公開番号 2014-056508
状態 特許登録済
技術分野 スタジオ装置 画像処理 イメージ分析
主要キーワード 重み付け係数γ 画像選別 有形物 領域特定ステップ 研究報告書 空間スペクトル マスクROM 領域特定処理
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2014年3月27日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (18)

課題

被写体の鮮明度背景に対して相対的に高い画像を選別する。

解決手段

画像から所定の被写体を検出して、被写体を含む画像上の被写体領域を特定する被写体検出部22と、画像から被写体領域を除いた背景領域を特定する背景領域特定部23と、被写体領域および背景領域の鮮明度を特定する鮮明度特定部24と、被写体領域および背景領域の鮮明度の差分に基づいてスコアを算出するスコア算出部25と、スコアが背景領域より被写体領域が鮮明であることを示す場合、上記画像を最適画像とする判定部26とを備える。

概要

背景

従来、撮影した写真等の画像を整理するアルバム機能、または、当該画像を表示するスライドショー機能等を搭載した電子機器が存在する。ユーザは、このような電子機器を用いて画像を閲覧するが、大量の画像の中から所望の画像を選別する作業は非常に煩雑である。

そこで、撮影し保存された大量の画像の中から被写体が鮮明に写っている画像を選択する技術が開発されている。例えば、特許文献1には、背景画像ボケなどに左右されずに、被写体画像良否に応じて画像データを選別する技術が記載されている。また、特許文献2には、被写体がボケているか否かを評価して、ユーザにとって不要なボケ画像を選別する技術が記載されている。

概要

被写体の鮮明度背景に対して相対的に高い画像を選別する。画像から所定の被写体を検出して、被写体を含む画像上の被写体領域を特定する被写体検出部22と、画像から被写体領域を除いた背景領域を特定する背景領域特定部23と、被写体領域および背景領域の鮮明度を特定する鮮明度特定部24と、被写体領域および背景領域の鮮明度の差分に基づいてスコアを算出するスコア算出部25と、スコアが背景領域より被写体領域が鮮明であることを示す場合、上記画像を最適画像とする判定部26とを備える。

目的

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、被写体の鮮明度が背景に対して相対的に高い画像を選別する画像処理装置画像処理方法制御プログラムおよび記録媒体を実現することにある

効果

実績

技術文献被引用数
0件
牽制数
1件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

画像を選別する画像処理装置であって、上記画像から所定の被写体を検出する検出手段と、上記検出手段が検出した被写体を含む上記画像上の領域である被写体領域を特定する被写体領域特定手段と、上記被写体領域特定手段が特定した被写体領域を除く上記画像上の領域である背景領域を特定する背景領域特定手段と、上記被写体領域および上記背景領域の鮮明度をそれぞれ特定する鮮明度特定手段と、上記被写体領域の鮮明度と、上記背景領域の鮮明度との差分に基づいてスコアを算出するスコア算出手段と、上記スコア算出手段が算出したスコアと最適画像閾値との比較において、上記スコアが上記背景領域より上記被写体領域が鮮明であることを示す場合に、上記画像を最適画像とする判定手段と、を備えることを特徴とする画像処理装置。

請求項2

上記判定手段は、さらに、上記被写体領域の鮮明度と被写体閾値とを比較して、当該被写体領域が鮮明であるか否かを判定し、上記スコアと最適画像閾値との比較において、上記スコアが上記背景領域より上記被写体領域が鮮明であることを示し、かつ、上記被写体領域の鮮明度と被写体閾値との比較において、当該被写体領域が鮮明であると判定した場合、上記画像を最適画像とすることを特徴とする請求項1に記載の画像処理装置。

請求項3

上記判定手段は、さらに、上記背景領域の鮮明度と背景閾値とを比較して、当該背景領域が鮮明であるか否かを判定し、上記スコアと最適画像閾値との比較において、上記スコアが上記背景領域より上記被写体領域が鮮明であることを示し、かつ、上記背景領域の鮮明度と背景閾値との比較において、当該背景領域が鮮明ではないと判定した場合、上記画像を最適画像とすることを特徴とする請求項1に記載の画像処理装置。

請求項4

上記判定手段は、さらに、上記被写体領域の鮮明度と被写体閾値とを比較して、当該被写体領域が鮮明であるか否か、および、上記背景領域の鮮明度と背景閾値とを比較して、当該背景領域が鮮明であるかを判定し、上記スコアと最適画像閾値との比較において、上記スコアが上記背景領域より上記被写体領域が鮮明であることを示し、かつ、上記被写体領域の鮮明度と被写体閾値との比較において、当該被写体領域が鮮明であると判定し、かつ、上記背景領域の鮮明度と背景閾値との比較において、当該背景領域が鮮明ではないと判定した場合、上記画像を最適画像とすることを特徴とする請求項1に記載の画像処理装置。

請求項5

上記検出手段が検出した被写体に応じた最適画像閾値を特定する閾値特定手段をさらに備え、上記判定手段は、上記閾値特定手段が特定した最適画像閾値と上記スコアとを比較することを特徴とする請求項1〜4の何れか1項に記載の画像処理装置。

請求項6

上記画像のシーンを特定するシーン特定手段と、上記シーン特定手段が特定したシーンに応じた最適画像閾値を特定する閾値特定手段とをさらに備え、上記判定手段は、上記閾値特定手段が特定した最適画像閾値と上記スコアとを比較することを特徴とする請求項1〜4の何れか1項に記載の画像処理装置。

請求項7

上記検出手段が上記画像から複数の被写体を検出した場合、上記スコア算出手段は、被写体ごとにスコアを算出し、上記判定手段は、各スコアの平均値と最適画像閾値との比較において、各スコアの平均値が上記背景領域より上記複数の被写体の被写体領域が平均的に鮮明であることを示す場合、上記画像を最適画像とすることを特徴とする請求項1〜6の何れか1項に記載の画像処理装置。

請求項8

上記検出手段が上記画像から複数の被写体を検出した場合、上記スコア算出手段は、被写体ごとにスコアを算出し、上記判定手段は、各スコアと最適画像閾値とのそれぞれの比較において、全てのスコアが上記背景領域より上記被写体領域が鮮明であることを示す場合、上記画像を最適画像とすることを特徴とする請求項1〜6の何れか1項に記載の画像処理装置。

請求項9

上記検出手段が上記画像から複数の被写体を検出した場合、上記スコア算出手段は、被写体ごとにスコアを算出し、上記判定手段は各スコアと最適画像閾値とのそれぞれの比較において、何れかのスコアが上記背景領域より上記被写体領域が鮮明であることを示す場合、上記画像を最適画像とすることを特徴とする請求項1〜6の何れか1項に記載の画像処理装置。

請求項10

上記画像は複数であり、上記判定手段は、上記画像ごとの上記スコアに基づいて、複数の画像に対して順位付けすることを特徴とする請求項1〜9の何れか1項に記載の画像処理装置。

請求項11

上記スコア算出手段は、上記被写体領域の鮮明度と、上記背景領域の鮮明度との差分に重み付け係数乗算して上記スコアを算出することを特徴とする請求項1〜10の何れか1項に記載の画像処理装置。

請求項12

上記画像を順次取得する取得手段を備え、上記判定手段は、上記取得手段が取得した順に判定を行い、上記判定手段が最適画像とした画像以降に、上記取得手段が取得した画像を順次記憶部に保存する保存手段をさらに備えることを特徴とする請求項1〜11の何れか1項に記載の画像処理装置。

請求項13

画像を選別する画像処理方法であって、上記画像から所定の被写体を検出する検出ステップと上記検出ステップにおいて検出された被写体を含む上記画像上の領域である被写体領域を特定する被写体領域特定ステップと、上記被写体領域特定ステップにおいて特定された被写体領域を除く上記画像上の領域である背景領域を特定する背景領域特定ステップと、上記被写体領域および上記背景領域の鮮明度をそれぞれ特定する鮮明度特定ステップと、上記被写体領域の鮮明度と、上記背景領域の鮮明度との差分に基づいてスコアを算出するスコア算出ステップと、上記スコア算出ステップにおいて算出されたスコアと最適画像閾値との比較において、上記スコアが上記背景領域より上記被写体領域が鮮明であることを示す場合に、上記画像を最適画像とする判定ステップと、を含むことを特徴とする画像処理方法。

請求項14

請求項1〜12の何れか1項に記載の画像処理装置を動作させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。

請求項15

請求項14に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体

技術分野

0001

本発明は、最適画像選別する画像処理装置画像処理方法制御プログラムおよび記録媒体に関するものである。

背景技術

0002

従来、撮影した写真等の画像を整理するアルバム機能、または、当該画像を表示するスライドショー機能等を搭載した電子機器が存在する。ユーザは、このような電子機器を用いて画像を閲覧するが、大量の画像の中から所望の画像を選別する作業は非常に煩雑である。

0003

そこで、撮影し保存された大量の画像の中から被写体が鮮明に写っている画像を選択する技術が開発されている。例えば、特許文献1には、背景画像ボケなどに左右されずに、被写体画像良否に応じて画像データを選別する技術が記載されている。また、特許文献2には、被写体がボケているか否かを評価して、ユーザにとって不要なボケ画像を選別する技術が記載されている。

0004

特開2000−209483号公報(2000年7月28日公開
特開2010−79446号公報(2010年4月8日公開)

先行技術

0005

正木潤,川口比呂志、「印刷用デジタル画像品質検査の自動化に関する研究」、佐賀県工業技術センター研究報告書、2005年、No.14
横田裕史、「画像処理技術の応用‐携帯プレゼンテーションカメラの開発」、東京都立産業技術センターセミナー要旨集、2009年

発明が解決しようとする課題

0006

ここで、被写体がより際立って撮影された、マクロ撮影または流し撮り等により得られた画像をユーザが所望する場合がある。具体的には、図16に示すように、被写体のみが鮮明であり、背景がボケていたり、ぶれていたりする画像である。

0007

しかしながら、上述の従来技術は、被写体の鮮明度が同程度の場合、図16に示す画像と、図17に示す画像とを区別することができない。すなわち、上述のような従来技術は、被写体の鮮明度が背景に対して相対的に高い画像を選別することができないという問題がある。

0008

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、被写体の鮮明度が背景に対して相対的に高い画像を選別する画像処理装置、画像処理方法、制御プログラムおよび記録媒体を実現することにある。

課題を解決するための手段

0009

本発明に係る画像処理装置は、上記課題を解決するために、画像を選別する画像処理装置であって、上記画像から所定の被写体を検出する検出手段と、上記検出手段が検出した被写体を含む上記画像上の領域である被写体領域を特定する被写体領域特定手段と、上記被写体領域特定手段が特定した被写体領域を除く上記画像上の領域である背景領域を特定する背景領域特定手段と、上記被写体領域および上記背景領域の鮮明度をそれぞれ特定する鮮明度特定手段と、上記被写体領域の鮮明度と、上記背景領域の鮮明度との差分に基づいてスコアを算出するスコア算出手段と、上記スコア算出手段が算出したスコアと最適画像閾値との比較において、上記スコアが上記背景領域より上記被写体領域が鮮明であることを示す場合に、上記画像を最適画像とする判定手段と、を備えることを特徴としている。

0010

また、本発明に係る画像処理方法は、上記課題を解決するために、画像を選別する画像処理方法であって、上記画像から所定の被写体を検出する検出ステップと上記検出ステップにおいて検出された被写体を含む上記画像上の領域である被写体領域を特定する被写体領域特定ステップと、上記被写体領域特定ステップにおいて特定された被写体領域を除く上記画像上の領域である背景領域を特定する背景領域特定ステップと、上記被写体領域および上記背景領域の鮮明度をそれぞれ特定する鮮明度特定ステップと、上記被写体領域の鮮明度と、上記背景領域の鮮明度との差分に基づいてスコアを算出するスコア算出ステップと、上記スコア算出ステップにおいて算出されたスコアと最適画像閾値との比較において、上記スコアが上記背景領域より上記被写体領域が鮮明であることを示す場合に、上記画像を最適画像とする判定ステップと、を含むことを特徴としている。

0011

上記の構成によれば、上記判定手段は、上記被写体領域の鮮明度と、上記背景領域の鮮明度との差分に基づくスコアが上記背景領域より上記被写体領域が鮮明であることを示す場合に、最適画像とする。ここで、例えば、最適画像とは、上記被写体領域の鮮明度と、上記背景領域の鮮明度との差分が大きい画像である。換言すると、最適画像とは、被写体領域の鮮明度が背景領域に対して相対的に高い画像である。

0012

よって、上記画像処理装置は、被写体の鮮明度が背景に対して相対的に高い画像を選別することができるという効果を奏する。

0013

また、本発明に係る画像処理装置は、上記判定手段は、さらに、上記被写体領域の鮮明度と被写体閾値とを比較して、当該被写体領域が鮮明であるか否かを判定し、上記スコアと最適画像閾値との比較において、上記スコアが上記背景領域より上記被写体領域が鮮明であることを示し、かつ、上記被写体領域の鮮明度と被写体閾値との比較において、当該被写体領域が鮮明であると判定した場合、上記画像を最適画像とすることが好ましい。

0014

上記の構成によれば、上記判定手段は、スコアが上記背景領域より上記被写体領域が鮮明であることを示し、かつ、上記被写体領域が鮮明であると判定した場合に最適画像とする。つまり、この場合、最適画像とは、被写体領域の鮮明度が背景領域に対して相対的に高く、かつ、被写体領域の鮮明度が高い画像である。

0015

よって、上記画像処理装置は、被写体の鮮明度が背景に対して相対的に高く、かつ、被写体が鮮明な画像を選別することができる。

0016

また、本発明に係る画像処理装置は、上記判定手段は、さらに、上記背景領域の鮮明度と背景閾値とを比較して、当該背景領域が鮮明であるか否かを判定し、上記スコアと最適画像閾値との比較において、上記スコアが上記背景領域より上記被写体領域が鮮明であることを示し、かつ、上記背景領域の鮮明度と背景閾値との比較において、当該背景領域が鮮明ではないと判定した場合、上記画像を最適画像とすることが好ましい。

0017

上記の構成によれば、上記判定手段は、上記背景領域より上記被写体領域が鮮明であることを示し、かつ、上記背景領域が鮮明ではないと判定した場合に、最適画像とする。つまり、この場合、最適画像とは、被写体領域の鮮明度が背景領域に対して相対的に高く、かつ、背景領域の鮮明度が低い画像である。

0018

よって、上記画像処理装置は、被写体の鮮明度が背景に対して相対的に高く、かつ、背景が不鮮明な画像を選別することができる。

0019

また、本発明に係る画像処理装置は、上記判定手段は、さらに、上記被写体領域の鮮明度と被写体閾値とを比較して、当該被写体領域が鮮明であるか否か、および、上記背景領域の鮮明度と背景閾値とを比較して、当該背景領域が鮮明であるかを判定し、上記スコアと最適画像閾値との比較において、上記スコアが上記背景領域より上記被写体領域が鮮明であることを示し、かつ、上記被写体領域の鮮明度と被写体閾値との比較において、当該被写体領域が鮮明であると判定し、かつ、上記背景領域の鮮明度と背景閾値との比較において、当該背景領域が鮮明ではないと判定した場合、上記画像を最適画像とすることが好ましい。

0020

上記の構成によれば、上記判定手段は、スコアが上記背景領域より上記被写体領域が鮮明であることを示し、かつ、上記被写体領域が鮮明であると判定し、かつ、上記背景領域が鮮明ではないと判定した場合に、最適画像とする。つまり、この場合、最適画像とは、被写体領域の鮮明度が背景領域に対して相対的に高く、かつ、被写体領域の鮮明度が高く、かつ、背景領域の鮮明度が低い画像である。

0021

よって、上記画像処理装置は、被写体の鮮明度が背景に対して相対的に高く、かつ、被写体が鮮明であり、かつ、背景が不鮮明な画像を選別することができる。

0022

また、本発明に係る画像処理装置は、上記検出手段が検出した被写体に応じた最適画像閾値を特定する閾値特定手段をさらに備え、上記判定手段は、上記閾値特定手段が特定した最適画像閾値と上記スコアとを比較することが好ましい。

0023

上記の構成によれば、上記判定手段は、上記閾値特定手段が被写体に応じて特定した最適画像閾値と上記スコアとを比較する。そのため、最適画像における被写体の相対的な鮮明度を被写体に応じて決定することができる。

0024

また、本発明に係る画像処理装置は、上記画像のシーンを特定するシーン特定手段と、上記シーン特定手段が特定したシーンに応じた最適画像閾値を特定する閾値特定手段とをさらに備え、上記判定手段は、上記閾値特定手段が特定した最適画像閾値と上記スコアとを比較することが好ましい。

0025

上記の構成によれば、上記判定手段は、上記閾値特定手段がシーンに応じて特定した最適画像閾値と上記スコアとを比較する。そのため、最適画像における被写体の相対的な鮮明度をシーンに応じて決定することができる。

0026

また、本発明に係る画像処理装置は、上記検出手段が上記画像から複数の被写体を検出した場合、上記スコア算出手段は、被写体ごとにスコアを算出し、上記判定手段は、各スコアの平均値と最適画像閾値との比較において、各スコアの平均値が上記背景領域より上記複数の被写体の被写体領域が平均的に鮮明であることを示す場合、上記画像を最適画像とすることが好ましい。

0027

また、本発明に係る画像処理装置は、上記検出手段が上記画像から複数の被写体を検出した場合、上記スコア算出手段は、被写体ごとにスコアを算出し、上記判定手段は、各スコアと最適画像閾値とのそれぞれの比較において、全てのスコアが上記背景領域より上記被写体領域が鮮明であることを示す場合、上記画像を最適画像とすることが好ましい。

0028

また、本発明に係る画像処理装置は、上記検出手段が上記画像から複数の被写体を検出した場合、上記スコア算出手段は、被写体ごとにスコアを算出し、上記判定手段は各スコアと最適画像閾値とのそれぞれの比較において、何れかのスコアが上記背景領域より上記被写体領域が鮮明であることを示す場合、上記画像を最適画像とすることが好ましい。

0029

また、本発明に係る画像処理装置は、上記画像は複数であり、上記判定手段は、上記画像ごとの上記スコアに基づいて、複数の画像に対して順位付けすることが好ましい。

0030

上記の構成によれば、上記判定手段は、複数の画像に対して、上記スコアに基づいて順位付けする。そのため、被写体の相対的な鮮明度という基準に基づいて画像に優劣を付けることができる。

0031

また、本発明に係る画像処理装置は、上記スコア算出手段は、上記被写体領域の鮮明度と、上記背景領域の鮮明度との差分に重み付け係数乗算して上記スコアを算出することが好ましい。

0032

上記の構成によれば、上記スコア算出手段は、上記被写体領域の鮮明度と、上記背景領域の鮮明度との差分に重み付け係数を乗算して上記スコアを算出する。例えば、重み付け係数をf(α)(f(α):被写体領域の鮮明度)とした場合、被写体領域の鮮明度が高いほど上記スコアが大きくなる。つまり、最適画像として、被写体領域の鮮明度が高い画像が選別され易くなる。また、重み付け係数をK−f(β)(K:任意の定数、f(β):背景領域の鮮明度)とした場合、背景領域の鮮明度が低いほど上記スコアが大きくなる。つまり、最適画像として、背景領域が不鮮明な画像が選別され易くなる。

0033

また、本発明に係る画像処理装置は、上記画像を順次取得する取得手段を備え、上記判定手段は、上記取得手段が取得した順に判定を行い、上記判定手段が最適画像とした画像以降に、上記取得手段が取得した画像を順次記憶部に保存する保存手段をさらに備えることが好ましい。

0034

上記の構成によれば、上記保存手段は、上記取得手段が取得した最適画像以降の画像を記憶部に保存する。例えば、動画を撮影する場合、被写体の鮮明度が相対的に高い画像になってから記録を開始する。すなわち、ユーザの所望する画像(動画)のみを記録することができる。

0035

なお、上記画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像処理装置の各手段として動作させることにより、上記画像処理装置をコンピュータにて実現させる制御プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に入る。

発明の効果

0036

以上のように、本発明に係る画像処理装置は、上記画像から所定の被写体を検出する検出手段と、上記検出手段が検出した被写体を含む上記画像上の領域である被写体領域を特定する被写体領域特定手段と、上記被写体領域特定手段が特定した被写体領域を除く上記画像上の領域である背景領域を特定する背景領域特定手段と、上記被写体領域および上記背景領域の鮮明度をそれぞれ特定する鮮明度特定手段と、上記被写体領域の鮮明度と、上記背景領域の鮮明度との差分に基づいてスコアを算出するスコア算出手段と、上記スコア算出手段が算出したスコアと最適画像閾値との比較において、上記スコアが上記背景領域より上記被写体領域が鮮明であることを示す場合に、上記画像を最適画像とする判定手段と、を備えている構成である。

0037

また、本発明に係る画像処理方法は、上記画像から所定の被写体を検出する検出ステップと上記検出ステップにおいて検出された被写体を含む上記画像上の領域である被写体領域を特定する被写体領域特定ステップと、上記被写体領域特定ステップにおいて特定された被写体領域を除く上記画像上の領域である背景領域を特定する背景領域特定ステップと、上記被写体領域および上記背景領域の鮮明度をそれぞれ特定する鮮明度特定ステップと、上記被写体領域の鮮明度と、上記背景領域の鮮明度との差分に基づいてスコアを算出するスコア算出ステップと、上記スコア算出ステップにおいて算出されたスコアと最適画像閾値との比較において上記スコアが上記背景領域より上記被写体領域が鮮明であることを示す場合に、上記画像を最適画像とする判定ステップと、を含む。

0038

よって、上記画像処理装置は、被写体の鮮明度が背景に対して相対的に高い画像を選別することができるという効果を奏する。

図面の簡単な説明

0039

本発明の実施形態を示すものであり、画像処理装置の要部構成の一例を示すブロック図である。
上記画像処理装置の記憶部に格納されている閾値情報の一例を示す図である。
上記画像処理装置の記憶部に格納されている閾値情報の一例を示す図である。
上記画像処理装置の記憶部に格納されている閾値情報の一例を示す図である。
上記画像処理装置が実行する最適画像を選別する画像選別処理の一例を示すフローチャートである。
上記画像処理装置が実行する最適画像を選別する画像選別処理の別の一例を示すフローチャートである。
上記画像処理装置が実行する最適画像を選別する画像選別処理の他の一例を示すフローチャートである。
上記画像処理装置が実行する最適画像を選別する画像選別処理の他の一例を示すフローチャートである。
動画撮影時の記録タイミングを示す図である。
入力画像に対して顔検出を実行した結果を示す図である。
顔検出によって特定された被写体領域および背景領域を示す図である。
入力画像に対して輪郭検出を実行した結果を示す図である。
輪郭検出によって特定された被写体領域および背景領域を示す図である。
重み付けによるスコア算出方法の一例を示す図である。
被写体が複数含まれる入力画像の一例を示す図である。
被写体の鮮明度が背景に対して相対的に高い画像の一例を示す図である。
被写体の鮮明度が背景に対して相対的に低い画像の一例を示す図である。

実施例

0040

本発明の一実施形態について図1から図15に基づいて説明すると以下の通りである。

0041

〔画像処理装置の構成〕
まず、画像処理装置について図1に基づいて説明する。画像処理装置は、所定の被写体の鮮明度が背景に対して相対的に高い画像を選別するものである。ここで、被写体とは、画像上の任意の有形物であり、例えば、人間の全身もしくは顔、または、等の動物の全身もしくは顔、または、花もしくは木などの植物、または、自動車バイクもしくは電車、または、ビル家屋等の建造物、または、木、、太陽等の自然物などである。また、背景とは、画像上における上記被写体以外のものである。また、被写体は、予め登録した人間(の顔)またはペットなどであってもよい。また、被写体の鮮明度が背景に対して相対的に高い画像を最適画像と称し、被写体の鮮明度が背景に対して相対的に高くない画像を非最適画像と称する。

0042

画像処理装置は、最適画像を選別するものであれば何でも良く、例えば、PC、デジタルカメラデジタルビデオ携帯電話機スマートフォンプリンターデジタルテレビ、PDA(Personal Digital Assistant)、ゲーム機、写真を撮影して印刷する装置、画像を編集する装置などの電子機器に搭載されていてよい。

0043

図1は、画像処理装置1の要部構成の一例を示すブロック図である。図1に示すように、画像処理装置1は、制御部11、記憶部12、画像入力部13および表示部14を備えている。なお、画像処理装置1は、操作部、通信部、音声入力部、音声出力部等の部材を備えていてもよいが、発明の特徴点とは関係がないため当該部材を図示していない。

0044

画像入力部13は、外部の画像提供装置(不図示)とのインターフェースであり、画像処理装置1が外部から画像を取得するためのものである。画像提供装置は、保持している画像または取得した画像を他の装置に提供する装置であれば何でもよい。例えば、画像提供装置は、デジタルカメラ、デジタルビデオ、デジタルテレビ、サーバ、PC、携帯電話機、スマートフォン、PDA(Personal Digital Assistant)、ゲーム機、USB(Universal Serial Bus)メモリ等の記憶装置などである。

0045

なお、画像入力部13が無線通信機能または有線通信機能を有している場合、画像処理装置1は、ネットワーク上の画像提供装置から画像を取得してもよい。また、画像処理装置1は、画像入力部13の代わりに、カメラを備えていてもよい。

0046

表示部14は、制御部11の指示に従って画像を表示するものである。表示部14は、制御部11の指示に従って画像を表示するものであればよく、例えば、LCD(液晶ディスプレイ)、有機ELディスプレイプラズマディスプレイなどを適用することが可能である。

0047

なお、画像処理装置1は、表示部14を備えていなくてもよい。この場合、画像処理装置1は、外部の表示装置に画像を出力して、表示装置に画像を表示させる。

0048

制御部11は、記憶部12から一時記憶部(不図示)に読み出されたプログラムを実行することにより、各種の演算を行うと共に、画像処理装置1が備える各部を統括的に制御するものである。

0049

本実施形態では、制御部11は、機能ブロックとして、画像取得部(取得手段)21、被写体検出部(検出手段、被写体領域特定手段)22、背景領域特定部(背景領域特定手段)23、鮮明度特定部(鮮明度特定手段)24、スコア算出部(スコア算出手段)25、判定部(判定手段)26、画像出力部(保存手段)27、シーン特定部(シーン特定手段)28および閾値特定部(閾値特定手段)29を備える構成である。これらの制御部11の各機能ブロック(21〜29)は、CPU(central processing unit)が、ROM(read only memory)等で実現された記憶装置に記憶されているプログラムをRAM(random access memory)等で実現された一時記憶部に読み出して実行することで実現できる。

0050

画像取得部21は、画像入力部13を介して、画像提供装置から画像を取得するものである。画像取得部21は、取得した画像を被写体検出部22およびシーン特定部28に出力する。なお、記憶部12に画像が記憶されている場合、画像取得部21は、記憶部12から画像を読み出してもよい。以下では、画像取得部21が取得した画像を入力画像と称する。

0051

被写体検出部22は、画像取得部21から入力画像を取得し、取得した入力画像から所定の被写体を検出し、入力画像上の被写体が含まれる領域を特定するものである。なお、被写体検出部22が検出する対象である被写体の種別は予め定められており、例えば、デフォルトで設定されたり、ユーザから指定されたりする。また、以下では、被写体検出部22が特定する被写体が含まれる領域を被写体領域と称する。

0052

具体的には、被写体検出部22は、例えば、入力画像内の所定の領域(検出領域)に対して、被写体検出を実行し、被写体が検出された検出領域を被写体領域とする。なお、検出領域の形状は、矩形または円形など任意の形状であってよい。被写体検出部22は、被写体を検出すると、被写体領域を背景領域特定部23および鮮明度特定部24に出力し、検出した被写体の種別を閾値特定部29に出力する。

0053

また、被写体検出部22は、例えば、入力画像に対して、輪郭検出(シルエット検出)を実行して被写体を検出してもよい。この場合、被写体検出部22は、輪郭検出によって検出された輪郭によって閉じられた領域を被写体領域として特定する。

0054

背景領域特定部23は、被写体検出部22から被写体領域を取得すると、入力画像上の被写体領域を除く領域を背景領域として特定するものである。また、背景領域特定部23は、入力画像上の被写体領域の周囲の領域を背景領域として特定してもよい。背景領域特定部24は、特定した背景領域を鮮明度特定部24に出力する。

0055

鮮明度特定部24は、被写体検出部22から被写体領域を取得し、背景領域特定部23から背景領域を取得すると、取得した被写体領域および背景領域の鮮明度をそれぞれ特定するものである。鮮明度特定部24は、特定した被写体領域および背景領域の鮮明度をスコア算出部25に出力する。また、以下では、被写体領域の鮮明度をf(α)とし、背景領域の鮮明度をf(β)とする。

0056

鮮明度特定部24は、例えば、高速フーリエ変換を適用して得られる空間スペクトル分布において、高周波成分の有無により判定してもよい(非特許文献1参照)。また、鮮明度特定部24は、例えば、画像中からエッジ強度を算出し、その値により判定してもよい(非特許文献2参照)。

0057

スコア算出部25は、鮮明度特定部24から被写体領域および背景領域の鮮明度を取得し、被写体領域および背景領域の鮮明度に基づいてスコアScを算出するものである。具体的には、スコア算出部25は、被写体領域の鮮明度f(α)と、背景領域の鮮明度f(β)との差分値をスコアScとする。ここでは、Sc=f(α)−f(β)とする。

0058

また、スコア算出部25は、被写体領域の鮮明度f(α)と、背景領域の鮮明度f(β)との差分値に重み付け係数γを乗算してスコアScを算出してもよい。例えば、重み付け係数をγ=f(α)としてもよい。また、重み付け係数をγ=K−f(β)としてもよい(Kは任意の定数)。

0059

スコア算出部25は、算出したスコアScを入力画像に対応付けて判定部26に出力する。また、スコア算出部25は、スコアScに加えて、被写体領域の鮮明度f(α)および/または背景領域の鮮明度f(β)を入力画像に対応付けて判定部26に出力してもよい。

0060

判定部26は、スコア算出部25からスコアScを取得し、取得したスコアScが最適画像閾値Thより大きいか否かを判定する。そして、判定部26は、スコアScが最適画像閾値Thより大きい場合、入力画像を最適画像とし、一方、スコアScが最適画像閾値Th以下の場合、入力画像を非最適画像とする。つまり、判定部26は、被写体の鮮明度と背景の鮮明度との差分が十分大きい入力画像を最適画像とする。

0061

また、判定部26は、スコアScが最適画像閾値Thより大きいか否かを判定し、さらに、被写体領域の鮮明度f(α)が被写体閾値Thαより大きいか否かを判定してもよい。この場合、判定部26は、ScがThより大きく、かつ、f(α)がThαより大きい場合、入力画像を最適画像とし、それ以外の場合、入力画像を非最適画像とする。つまり、判定部26は、被写体の鮮明度と背景の鮮明度との差分が十分大きく、かつ、被写体の鮮明度が大きい(被写体が鮮明な)入力画像を最適画像とする。

0062

また、判定部26は、スコアScが最適画像閾値Thより大きいか否かを判定し、さらに、背景領域の鮮明度f(β)が背景閾値Thβより小さいか否かを判定してもよい。この場合、判定部26は、ScがThより大きく、かつ、f(β)がThβより小さい場合、入力画像を最適画像とし、それ以外の場合、入力画像を非最適画像とする。つまり、判定部26は、被写体の鮮明度と背景の鮮明度との差分が十分大きく、かつ、背景の鮮明度が小さい(背景が不鮮明な)入力画像を最適画像とする。

0063

また、判定部26は、スコアScが最適画像閾値Thより大きいか否かを判定し、さらに、被写体領域の鮮明度f(α)が被写体閾値Thαより大きいか否かを判定し、さらに、背景領域の鮮明度f(β)が背景閾値Thβより小さいか否かを判定してもよい。この場合、判定部26は、ScがThより大きく、かつ、f(α)がThαより大きく、かつ、f(β)がThβより小さい場合、入力画像を最適画像とし、それ以外の場合、入力画像を非最適画像とする。つまり、判定部26は、被写体の鮮明度と背景の鮮明度との差分が十分大きく、かつ、被写体の鮮明度が大きく(被写体が鮮明であり)、かつ、背景の鮮明度が小さい(背景が不鮮明な)入力画像を最適画像とする。

0064

また、判定部26は、画像取得部21が画像を複数取得した場合、複数の入力画像に対して、対応付けられているスコアScに基づいて、順位付けを行ってもよい。

0065

判定部26は、入力画像が最適画像であるか非最適画像であるかを画像出力部27に通知する。また、画像取得部21が画像を複数取得した場合、判定部26は、入力画像が最適画像であるか非最適画像であるかに加えて、各入力画像に対して付加した順位を画像出力部27に通知してもよい。

0066

なお、最適画像閾値Th、被写体閾値Thαおよび背景閾値Thβは予め定められているものとする。ただし、判定部26は、閾値特定部29から最適画像閾値Thを取得した場合、取得した最適画像閾値Thに基づいて判定する。

0067

画像出力部27は、判定部26からの通知に基づいて、最適画像のみを表示部14に出力する。また、画像出力部27は、判定部26からの通知に基づいて、最適画像と非最適画像とを区別して表示部14に表示してもよい。また、画像出力部27は、判定部26からの通知に基づいて、付加された順位の順番で入力画像を表示部14に表示してもよい。

0068

また、画像出力部27は、判定部26からの通知に基づいて、最適画像のみを記憶部12に格納してもよい。また、画像取得部21が画像を順次取得する場合、最適画像として通知された入力画像以降の入力画像を表示部14に表示したり、記憶部12に格納したりしてもよい。

0069

また、画像出力部27は、判定部26が複数の入力画像に対して順位付けを行った場合、判定部26が付与した順序で入力画像を表示部14に表示させてもよい。

0070

シーン特定部28は、画像取得部21から入力画像を取得し、取得した入力画像のシーンを特定するものである。ここで、シーンとは、例えば、海岸雪山夕焼け夜景などである。シーン特定部28は、特定したシーンを閾値特定部29に出力する。

0071

閾値特定部29は、被写体検出部22から被写体の種別を取得し、記憶部12から閾値情報42を読み出し、閾値情報42において、取得した被写体の種別に対応付けられている最適画像閾値Thを特定するものである。閾値特定部29は、特定した最適画像閾値Thを判定部26に出力する。

0072

また、閾値特定部29は、シーン特定部28からシーンを取得し、記憶部12から閾値情報42を読み出し、閾値情報42において、取得したシーンに対応付けられている最適画像閾値Thを特定してもよい。

0073

また、閾値特定部29は、被写体検出部22から被写体の種別を取得すると共に、シーン特定部28からシーンを取得し、記憶部12から閾値情報42を読み出し、閾値情報42において、取得した被写体の種別およびシーンの組み合わせに対応付けられている最適画像閾値Thを特定してもよい。すなわち、閾値特定部29は、被写体および/またはシーンに応じて、最適画像閾値Thを設定することができる。

0074

また、閾値特定部29は、被写体検出部22から被写体の種別を取得し、記憶部12から閾値情報42を読み出し、閾値情報42において、取得した被写体の種別に対応付けられている被写体閾値Thαを特定してもよい。

0075

記憶部12は、制御部11が参照するプログラムやデータ等を格納するものであり、例えば、入力画像、最適画像である画像データ41、閾値情報42等を格納している。

0076

記憶部12に格納されている閾値情報42についてそれぞれ図2〜4に基づいて説明する。図2図4は、記憶部12に格納されている閾値情報42の一例を示す図である。

0077

図2に示す閾値情報42は、被写体と、当該被写体に応じた最適画像閾値とが対応付けられている。また、図3に示す閾値情報42は、シーンと、当該シーンに応じた最適画像閾値とが対応付けられている。また、図4に示す閾値情報42は、被写体およびシーンの組み合わせと、当該組み合わせに応じた最適画像閾値とが対応付けられている。

0078

〔画像選別処理〕
(実施例1)
次に、画像処理装置1が実行する最適画像を選別する画像選別処理の一例(実施例1)について図5に基づいて説明する。図5は、画像処理装置1が実行する最適画像を選別する画像選別処理の一例を示すフローチャートである。

0079

図5に示すように、まず、画像取得部21は、画像入力部13を介して外部の画像提供装置から画像を取得する(S1)。画像取得部21が画像を取得すると、被写体検出部22は、入力画像に対して被写体検出を実行する(S2)。そして、被写体検出部22は、入力画像上における、検出した被写体を含む被写体領域を特定する(S3)。

0080

被写体検出部22が被写体領域を特定すると、鮮明度特定部24は、被写体領域の鮮明度を特定する(S4)。これと並行して、背景領域特定部23は、入力画像上の被写体領域を除く領域を背景領域として特定する(S5)。そして、鮮明度特定部24は、背景領域の鮮明度を特定する(S6)。

0081

鮮明度特定部24が被写体領域の鮮明度および背景領域の鮮明度を特定すると、スコア算出部25は、被写体領域の鮮明度および背景領域の鮮明度に基づいてスコアを算出する(S7)。

0082

スコア算出部25がスコアを算出すると、判定部26は、スコアが最適画像閾値より大きいか否かを判定する(S8)。スコアが最適画像閾値より大きい場合(S8でYES)、判定部26は、入力画像を最適画像とする(S9)。一方、スコアが最適画像閾値以下の場合(S8でNO)、判定部26は、入力画像を非最適画像とする(S10)。そして、画像出力部27は、最適画像のみを表示部14に表示させる(S11)。

0083

(実施例2)
次に、画像処理装置1が実行する最適画像を選別する画像選別処理の別の一例(実施例2)について図6に基づいて説明する。図6は、画像処理装置1が実行する最適画像を選別する画像選別処理の別の一例を示すフローチャートである。

0084

ここでは、判定部26が被写体に応じた最適画像閾値を用いるものとする。

0085

図6に示すように、まず、画像取得部21は、画像入力部13を介して外部の画像提供装置から画像を取得する(S21)。画像取得部21が画像を取得すると、被写体検出部22は、入力画像に対して被写体検出を実行する(S22)。そして、被写体検出部22は、入力画像上における、検出した被写体を含む被写体領域を特定する(S23)。これと並行して、閾値特定部29は、閾値情報42を参照して、被写体検出部22が検出した被写体に対応付けられている最適画像閾値を特定する(S24)。

0086

被写体検出部22が被写体領域を特定すると、鮮明度特定部24は、被写体領域の鮮明度を特定する(S25)。これと並行して、背景領域特定部23は、入力画像上の被写体領域を除く領域を背景領域として特定する(S26)。そして、鮮明度特定部24は、背景領域の鮮明度を特定する(S27)。

0087

鮮明度特定部24が被写体領域の鮮明度および背景領域の鮮明度を特定すると、スコア算出部25は、被写体領域の鮮明度および背景領域の鮮明度に基づいてスコアを算出する(S28)。

0088

スコア算出部25がスコアを算出し、閾値特定部29が被写体に応じた最適画像閾値を特定すると、判定部26は、閾値特定部29が特定した最適画像閾値よりスコアが大きいか否かを判定する(S29)。スコアが最適画像閾値より大きい場合(S29でYES)、判定部26は、入力画像を最適画像とする(S30)。一方、スコアが最適画像閾値以下の場合(S29でNO)、判定部26は、入力画像を非最適画像とする(S31)。そして、画像出力部27は、最適画像のみを表示部14に表示させる(S32)。

0089

(実施例3)
次に、画像処理装置1が実行する最適画像を選別する画像選別処理の他の一例(実施例3)について図7に基づいて説明する。図7は、画像処理装置1が実行する最適画像を選別する画像選別処理の他の一例を示すフローチャートである。

0090

ここでは、判定部26がシーンに応じた最適画像閾値を用いるものとする。

0091

図7に示すように、まず、画像取得部21は、画像入力部13を介して外部の画像提供装置から画像を取得する(S41)。画像取得部21が画像を取得すると、被写体検出部22は、入力画像に対して被写体検出を実行する(S42)。そして、被写体検出部22は、入力画像上における、検出した被写体を含む被写体領域を特定する(S43)。

0092

被写体検出部22が被写体領域を特定すると、鮮明度特定部24は、被写体領域の鮮明度を特定する(S44)。これと並行して、背景領域特定部23は、入力画像上の被写体領域を除く領域を背景領域として特定する(S45)。そして、鮮明度特定部24は、背景領域の鮮明度を特定する(S46)。

0093

鮮明度特定部24が被写体領域の鮮明度および背景領域の鮮明度を特定すると、スコア算出部25は、被写体領域の鮮明度および背景領域の鮮明度に基づいてスコアを算出する(S47)。

0094

また、画像取得部21が画像を取得すると、S42の処理と並行して、シーン特定部28は、入力画像のシーンを特定する(S48)。そして、閾値特定部29は、閾値情報42を参照して、シーン特定部28が特定したシーンに対応付けられている最適画像閾値を特定する(S49)。

0095

スコア算出部25がスコアを算出し、閾値特定部29がシーンに応じた最適画像閾値を特定すると、判定部26は、閾値特定部29が特定した最適画像閾値よりスコアが大きいか否かを判定する(S50)。スコアが最適画像閾値より大きい場合(S50でYES)、判定部26は、入力画像を最適画像とする(S51)。一方、スコアが最適画像閾値以下の場合(S50でNO)、判定部26は、入力画像を非最適画像とする(S52)。そして、画像出力部27は、最適画像のみを表示部14に表示させる(S53)。

0096

(実施例4)
次に、画像処理装置1が実行する最適画像を選別する画像選別処理の他の一例(実施例4)について図8に基づいて説明する。図8は、画像処理装置1が実行する最適画像を選別する画像選別処理の他の一例を示すフローチャートである。

0097

ここでは、外部の画像提供装置がカメラであり、当該カメラが動画を撮影しているものとする。そして、画像取得部21がカメラから動画のフレームを順次取得し、画像出力部27は、最適画像以降のフレームを記憶部12に格納するものとする。例えば、図9に示すように、動画を撮影し、フレームのスコアが最適画像閾値を超えてから、動画を記録するものとする。

0098

図8に示すように、まず、画像取得部21は、画像入力部13を介してカメラからフレーム(画像)を取得する(S61)。画像取得部21が画像を取得すると、被写体検出部22は、入力画像に対して被写体検出を実行する(S62)。そして、被写体検出部22は、入力画像上における、検出した被写体を含む被写体領域を特定する(S63)。

0099

被写体検出部22が被写体領域を特定すると、鮮明度特定部24は、被写体領域の鮮明度を特定する(S64)。これと並行して、背景領域特定部23は、入力画像上の被写体領域を除く領域を背景領域として特定する(S65)。そして、鮮明度特定部24は、背景領域の鮮明度を特定する(S66)。

0100

鮮明度特定部24が被写体領域の鮮明度および背景領域の鮮明度を特定すると、スコア算出部25は、被写体領域の鮮明度および背景領域の鮮明度に基づいてスコアを算出する(S67)。

0101

スコア算出部25がスコアを算出すると、判定部26は、スコアが最適画像閾値より大きいか否かを判定する(S68)。ここで、スコアが最適画像閾値以下の場合(S8でNO)、次のフレームがカメラから出力されているか否か、つまり、カメラが動画の撮影を継続しているか否かを判定する(S69)。次のフレームがあれば(S69でYES)、画像取得部21は、画像入力部13を介してカメラから次のフレームを取得し(S70)、S62〜S68の処理を実行する。一方、次のフレームがなければ(S69でNO)、画像選別処理を終了する。

0102

また、S68において、スコアが最適画像閾値より大きい場合(S68でYES)、判定部26は、入力画像を最適画像とし、画像出力部27は、最適画像である入力画像を記憶部12に格納する(S71)。そして、次のフレームがカメラから出力されているか否か、つまり、カメラが動画の撮影を継続しているか否かを判定する(S72)。次のフレームがあれば(S72でYES)、画像取得部21は、画像入力部13を介してカメラから次のフレームを取得し、画像出力部27は、画像取得部21が取得した入力画像を記憶部12に格納する(S73)。動画の撮影が終了するまで、撮影した画像(動画)を記録し、撮影が終了すると(S72でNO)、画像選別処理を終了する。

0103

なお、ここでは、最適画像と判定した以降のフレームを記録しているが、最適画像と判定したフレームのみ記録するようにしてもよい。

0104

領域特定処理について〕
被写体領域特定処理および背景領域特定処理について、図10図13に基づいて具体的に説明する。まず、被写体検出部22が入力画像に対して顔検出を実行する場合について図10および図11に基づいて説明する。図10は、入力画像に対して顔検出を実行した結果を示す図である。図11は、顔検出によって特定された被写体領域および背景領域を示す図である。

0105

この場合、図10に示すように、被写体検出部22は、入力画像60に対して顔検出を実行し、被写体である人間の顔61が検出される。図11に示すように、被写体検出部22は、この結果に基づいて、検出した人間の顔61を含む領域を被写体領域62として特定する。また、背景領域特定部23は、入力画像60上の、被写体領域62を除いた領域を背景領域63として特定する。

0106

次に、被写体検出部22が入力画像に対して輪郭検出を実行する場合について図12および図13に基づいて説明する。図12は、入力画像に対して輪郭検出を実行した結果を示す図である。図13は、輪郭検出によって特定された被写体領域および背景領域を示す図である。

0107

この場合、図12に示すように、被写体検出部22は、入力画像60に対して輪郭検出を実行し、被写体である人間の輪郭65が検出される。図11に示すように、被写体検出部22は、この結果に基づいて、検出した人間の輪郭65によって閉じられた領域を含む領域を被写体領域66として特定する。また、背景領域特定部23は、入力画像60上の、被写体領域66を除いた領域を背景領域67として特定する。

0108

〔重み付けによるスコア算出について〕
次に、スコア算出部25が被写体領域の鮮明度f(α)と、背景領域の鮮明度f(β)との差分値に重み付け係数γを乗算してスコアを算出する具体例について、図14に基づいて説明する。図14は、重み付けによるスコア算出方法の一例を示す図である。

0109

ここでは、入力画像A〜Eの5つの画像についてスコアを算出するものとする。また、入力画像Aのf(α)、f(β)は、それぞれ750、210であり、入力画像Bのf(α)、f(β)は、それぞれ1000、550であり、入力画像Cのf(α)、f(β)は、それぞれ600、110であり、入力画像Dのf(α)、f(β)は、それぞれ900、850であり、入力画像Eのf(α)、f(β)は、それぞれ100、50であるとする。

0110

まず、スコア算出方法として、重み付け係数γ=1の場合を考える。この場合、図14に示すように、入力画像A〜Eのスコアは、それぞれ、540、450、490、50、50となる。このとき、判定部26がスコアに基づいて入力画像A〜Eに順位付けすると、その順序は、A,C,B,D,Eとなる。

0111

次に、スコア算出方法として、重み付け係数γ=f(α)の場合を考える。この場合、図14に示すように、入力画像A〜Eのスコアは、それぞれ、405000、450000、294000、45000、5000となる。このとき、判定部26がスコアに基づいて入力画像A〜Eに順位付けすると、その順序は、B,A,C、D,Eとなる。

0112

この場合、重み付け係数は、被写体領域の鮮明度が大きいほど、係数の値が大きくなるため、被写体領域の相対的な鮮明度が高く、かつ、被写体領域の鮮明度が高い入力画像のスコアが大きくなる。

0113

最後に、スコア算出方法として、重み付け係数γ=1000−f(β)の場合を考える。この場合、図14に示すように、入力画像A〜Eのスコアは、それぞれ、426600、202500、436100、7500、47500となる。このとき、判定部26がスコアに基づいて入力画像A〜Eに順位付けすると、その順序は、C,A,B,E,Dとなる。

0114

この場合、重み付け係数は、背景領域の鮮明度が小さいほど、係数の値が大きくなるため、被写体領域の相対的な鮮明度が高く、かつ、背景領域がより不鮮明な入力画像のスコアが大きくなる。

0115

〔鮮明度およびスコアについて〕
本実施形態では、鮮明度は、正の値をとり、その値が大きいほど画像(領域)が鮮明であることを示す。違う観点から見ると、鮮明度は、その値が小さいほど画像(領域)が不鮮明であることを示すものであるとも言える。また、鮮明度が正負の値をとるようにしてもよい。この場合、所定の基準画像標準画像)の鮮明度を「0」とし、正の絶対値が大きいほど、基準画像より画像が鮮明であることを示し、負の絶対値が大きいほど、基準画像より画像が不鮮明であることを示してもよい。

0116

また、本実施形態では、スコアをSc=f(α)−f(β)としており、スコアが正負の値をとり、スコアの値が大きいほど、被写体領域が背景領域より相対的に鮮明であることを示し、スコアの値が小さいほど、被写体領域が背景領域より相対的に不鮮明であることを示す。ただし、これに限るものではなく、スコアをSc=f(β)−f(α)としてもよい。この場合、スコアの値が大きいほど、被写体領域が背景領域より相対的に不鮮明であることを示し、スコアの値が小さいほど、被写体領域が背景領域より相対的に鮮明であることを示す。

0117

本発明において、鮮明度およびスコアは、被写体領域が背景領域より相対的に鮮明であるか否かを判定するために使用する尺度である。換言すると、被写体領域が背景領域より相対的に鮮明であるか否かを判定可能であれば、鮮明度およびスコアの定義は任意に設定してよい。すなわち、本発明の目的の範囲内で、鮮明度およびスコアの定義は適宜設定すればよい。

0118

〔変形例〕
図15に示すように、1つの入力画像に複数の被写体が含まれる場合について説明する。図15は、被写体が複数含まれる入力画像の一例を示す図である。

0119

被写体検出部22は、入力画像70に対して顔検出を実行し、9個の被写体を検出する。このとき、被写体検出部22は、検出結果に基づいて、9個の被写体領域71〜79を特定する。そして、背景領域特定部23は、被写体領域71〜79に対する9個の背景領域を特定する。そして、鮮明度特定部24は、被写体領域の鮮明度f(α1)〜f(α9)と、背景領域の鮮明度f(β1)〜f(β9)とを特定する。

0120

ここで、スコア算出部25は、9個の差分値の平均をスコアScとしてもよい。つまり、Sc=(f(h1)+f(h2)+・・・+f(h9))/9としてもよい。なお、f(h)=f(α)−f(β)とする。

0121

また、スコア算出部25は、9個のスコアSc1〜Sc9を算出してもよい。9個のスコアSc1〜Sc9を算出した場合、判定部26は、スコアSc1〜Sc9の全てが最適画像閾値より大きい場合に、入力画像を最適画像としてもよいし、スコアSc1〜Sc9の何れかが最適画像閾値より大きい場合に、入力画像を最適画像としてもよい。

0122

また、スコア算出部25が、被写体領域の鮮明度f(α1)〜f(α9)の平均を算出して、判定部26が被写体閾値Thαと比較してもよいし、判定部26は、鮮明度f(α1)〜f(α9)と被写体閾値Thαとをそれぞれ比較してもよい。さらに、スコア算出部25が、背景領域の鮮明度f(β1)〜f(β9)の平均を算出して、判定部26が背景閾値Thβと比較してもよいし、判定部26は、鮮明度f(β1)〜f(β9)と背景閾値Thβとをそれぞれ比較してもよい。

0123

補足
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

0124

最後に、画像処理装置1の各ブロック、特に制御部11は、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。

0125

すなわち、画像処理装置1は、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像処理装置1の制御プログラムのプログラムコード実行形式プログラム中間コードプログラムソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、画像処理装置1に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

0126

上記記録媒体としては、例えば、磁気テープカセットテープ等のテープ系、フロッピー(登録商標ディスクハードディスク等の磁気ディスクCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカードメモリカードを含む)/光カード等のカード系、あるいはマスクROMEPROM/EEPROM(登録商標)/フラッシュROM等の半導体メモリ系などを用いることができる。

0127

また、画像処理装置1を通信ネットワーク接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネットイントラネットエキストラネット、LAN、ISDN、VAN、CATV通信網仮想専用網(virtual private network)、電話回線網移動体通信網衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送ケーブルTV回線電話線ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線HDR携帯電話網衛星回線地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

0128

本発明は、ユーザの所望する画像を選別する画像処理装置に利用することができる。

0129

1画像処理装置
11 制御部
12 記憶部
21画像取得部(取得手段)
22被写体検出部(検出手段、被写体領域特定手段)
23背景領域特定部(背景領域特定手段)
24鮮明度特定部(鮮明度特定手段)
25スコア算出部(スコア算出手段)
26 判定部(判定手段)
27画像出力部(保存手段)
28シーン特定部(シーン特定手段)
29閾値特定部(閾値特定手段)

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ