図面 (/)

技術 画像処理装置およびその制御方法ならびにプログラム

出願人 キヤノン株式会社
発明者 小林悟
出願日 2015年10月6日 (3年9ヶ月経過) 出願番号 2015-198795
公開日 2017年4月13日 (2年3ヶ月経過) 公開番号 2017-073639
状態 特許登録済
技術分野 スタジオ装置 イメージ分析
主要キーワード 輝度特徴量 撮影向き 彩度平均値 注目領域検出 注目領域情報 画面中央領域 ブロック領域毎 プログラマブルロジックアレイ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年4月13日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (7)

課題

有色被写体及び無色被写体の両方をより適切に検出することが可能な画像処理装置を提供する。

解決手段

本発明に係る画像処理装置は、画像内の第1の領域について、該第1の領域が有する色味の強さを示す指標を算出する有色度算出手段と、第1の領域と第1の領域と異なる第2の領域のそれぞれにおける輝度成分に関する第1の特徴量と、第1の領域と第2の領域のそれぞれにおける色成分に関する第2の特徴量とを算出する特徴量算出手段と、第1の領域と第2の領域における第1の特徴量の差と、第1の領域と第2の領域における第2の特徴量の差と、それぞれの特徴量の差の重要度とに基づいて第1の領域に対する注目度を算出する注目度算出手段と、注目度を用いて画像内の注目領域を検出する注目領域検出手段と、を有し、注目度算出手段は、第1の特徴量の差の重要度と、第2の特徴量の差の重要度とを指標に基づいて決定する。

概要

背景

近年、画像内の被写体領域のうち、視覚的に目立ち易い被写体領域を注目領域として検出する技術(注目領域検出技術ともいう)が知られている。特許文献1は、画像中央部とその周辺部である背景部画像端部)の輝度の差、又は画像中央部と画像端部との色の差のいずれかに基づいて注目領域を検出する技術を開示している。

概要

有色被写体及び無色被写体の両方をより適切に検出することが可能な画像処理装置を提供する。本発明に係る画像処理装置は、画像内の第1の領域について、該第1の領域が有する色味の強さを示す指標を算出する有色度算出手段と、第1の領域と第1の領域と異なる第2の領域のそれぞれにおける輝度成分に関する第1の特徴量と、第1の領域と第2の領域のそれぞれにおける色成分に関する第2の特徴量とを算出する特徴量算出手段と、第1の領域と第2の領域における第1の特徴量の差と、第1の領域と第2の領域における第2の特徴量の差と、それぞれの特徴量の差の重要度とに基づいて第1の領域に対する注目度を算出する注目度算出手段と、注目度を用いて画像内の注目領域を検出する注目領域検出手段と、を有し、注目度算出手段は、第1の特徴量の差の重要度と、第2の特徴量の差の重要度とを指標に基づいて決定する。

目的

特開2007−158941号公報






特許文献1に開示された方法では、輝度の差を重視すると有色被写体の検出精度が低下する一方、色情報の差を重視すると無色被写体の検出精度が低下するという課題があり、有色被写体及び無色被写体の両方の検出精度を向上させる技術が望まれている

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

画像内の第1の領域について、該第1の領域が有する色味の強さを示す指標を算出する有色度算出手段と、前記第1の領域と前記第1の領域と異なる第2の領域のそれぞれにおける輝度成分に関する第1の特徴量と、前記第1の領域と前記第2の領域のそれぞれにおける色成分に関する第2の特徴量とを算出する特徴量算出手段と、前記第1の領域と前記第2の領域における第1の特徴量の差と、前記第1の領域と前記第2の領域における第2の特徴量の差と、それぞれの特徴量の差の重要度とに基づいて前記第1の領域に対する注目度を算出する注目度算出手段と、前記注目度を用いて前記画像内の注目領域を検出する注目領域検出手段と、を有し、前記注目度算出手段は、前記第1の特徴量の差の重要度と、前記第2の特徴量の差の重要度とを前記指標に基づいて決定する、ことを特徴とする画像処理装置

請求項2

前記注目度算出手段は、前記指標が増加するほど前記第1の特徴量の差の重要度を減少させると共に前記第2の特徴量の差の重要度を増加させ、前記指標が減少するほど前記第1の特徴量の差の重要度を増加させると共に前記第2の特徴量の差の重要度を減少させる、ことを特徴とする請求項1に記載の画像処理装置。

請求項3

前記注目度算出手段は、前記第1の特徴量の差と前記第2の特徴量の差とを、前記第1の特徴量の差の重要度と前記第2の特徴量の差の重要度を用いて加重加算する、ことを特徴とする請求項2に記載の画像処理装置。

請求項4

前記注目度算出手段は、前記特徴量算出手段が前記第1の特徴量と前記第2の特徴量のそれぞれを算出する際に前記指標に応じたゲイン値乗算する場合、前記第1の特徴量の差の重要度と、前記第2の特徴量の差の重要度とを同一にする、ことを特徴とする請求項1に記載の画像処理装置。

請求項5

前記画像内における、注目領域の候補領域を検出する候補領域検出手段を更に有し、前記特徴量算出手段は、検出された前記候補領域を前記第1の領域とする、ことを特徴とする請求項1から4のいずれか1項に記載の画像処理装置。

請求項6

前記候補領域検出手段は、前記画像内の合焦領域、画面中央領域および追尾されている被写体領域の少なくともいずれかの領域、又は動画像において時間的に近接したフレームにおける前記注目領域に対応する領域を、前記候補領域として検出する、ことを特徴とする請求項5に記載の画像処理装置。

請求項7

前記第2の領域は、前記画像内における背景領域である、ことを特徴とする請求項1から6のいずれか1項に記載の画像処理装置。

請求項8

前記背景領域は、前記画像内の端部を少なくとも含む部分領域である、ことを特徴とする請求項7に記載の画像処理装置。

請求項9

前記特徴量算出手段は、前記第1の特徴量として、画素値平均値画素分布を示すヒストグラムエッジ量との少なくともいずれかを輝度成分を用いて算出し、前記第2の特徴量として、前記第1の特徴量に対応する、前記画素値の平均値と前記画素分布を示すヒストグラムと前記エッジ量との少なくともいずれかを色成分を用いて算出する、ことを特徴とする請求項1から8のいずれか1項に記載の画像処理装置。

請求項10

前記有色度算出手段は、前記第1の領域の彩度の平均値を用いて前記指標を算出する、ことを特徴とする請求項1から9のいずれか1項に記載の画像処理装置。

請求項11

有色度算出手段が、画像内の第1の領域について、該第1の領域が有する色味の強さを示す指標を算出する有色度算出工程と、特徴量算出手段が、前記第1の領域と前記第1の領域と異なる第2の領域のそれぞれにおける輝度成分に関する第1の特徴量と、前記第1の領域と前記第2の領域のそれぞれにおける色成分に関する第2の特徴量とを算出する特徴量算出工程と、注目度算出手段が、前記第1の領域と前記第2の領域における第1の特徴量の差と、前記第1の領域と前記第2の領域における第2の特徴量の差と、それぞれの特徴量の差の重要度とに基づいて前記第1の領域に対する注目度を算出する注目度算出工程と、注目領域検出手段が、前記注目度を用いて前記画像内の注目領域を検出する注目領域検出工程と、を有し、前記注目度算出工程では、前記第1の特徴量の差の重要度と、前記第2の特徴量の差の重要度とを前記指標に基づいて決定する、ことを特徴とする画像処理装置の制御方法

請求項12

コンピュータに、請求項11に記載の、画像処理装置の制御方法に係る各工程を実行させるためのプログラム

技術分野

0001

本発明は、画像処理装置およびその制御方法ならびにプログラムに関する。

背景技術

0002

近年、画像内の被写体領域のうち、視覚的に目立ち易い被写体領域を注目領域として検出する技術(注目領域検出技術ともいう)が知られている。特許文献1は、画像中央部とその周辺部である背景部画像端部)の輝度の差、又は画像中央部と画像端部との色の差のいずれかに基づいて注目領域を検出する技術を開示している。

先行技術

0003

特開2007−158941号公報

発明が解決しようとする課題

0004

特許文献1に開示された方法では、輝度の差を重視すると有色被写体の検出精度が低下する一方、色情報の差を重視すると無色被写体の検出精度が低下するという課題があり、有色被写体及び無色被写体の両方の検出精度を向上させる技術が望まれている。

0005

本発明は、上述の従来技術の問題点に鑑みてなされたものであり、有色被写体及び無色被写体の両方をより適切に検出することが可能な画像処理装置およびその制御方法ならびにプログラムを提供することを目的とする。

課題を解決するための手段

0006

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、画像内の第1の領域について、該第1の領域が有する色味の強さを示す指標を算出する有色度算出手段と、第1の領域と第1の領域と異なる第2の領域のそれぞれにおける輝度成分に関する第1の特徴量と、第1の領域と第2の領域のそれぞれにおける色成分に関する第2の特徴量とを算出する特徴量算出手段と、第1の領域と第2の領域における第1の特徴量の差と、第1の領域と第2の領域における第2の特徴量の差と、それぞれの特徴量の差の重要度とに基づいて第1の領域に対する注目度を算出する注目度算出手段と、注目度を用いて画像内の注目領域を検出する注目領域検出手段と、を有し、注目度算出手段は、第1の特徴量の差の重要度と、第2の特徴量の差の重要度とを指標に基づいて決定する、ことを特徴とする。

発明の効果

0007

本発明によれば、有色被写体及び無色被写体の両方をより適切に検出することが可能になる。

図面の簡単な説明

0008

本発明の実施形態に係る画像処理装置の一例としてのデジタルカメラ機能構成例を示すブロック図
本実施形態に係る注目領域検出部115の機能構成例を示すブロック図
本実施形態に係る注目領域検出処理一連の動作を示すフローチャート
本実施形態に係る視覚的顕著度の算出処理を説明する図
本実施形態に係る色重みの算出例を説明するグラフ
本実施形態に係る背景領域及び分割されたブロック領域を説明する図

実施例

0009

(実施形態1)
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では画像処理装置の一例として、撮影した画像を取得可能な任意のデジタルカメラに本発明を適用した例を説明する。しかし、本発明は、デジタルカメラに限らず、撮影した画像を取得することが可能な任意の機器にも適用可能である。これらの機器には、例えば携帯電話機ゲーム機タブレット端末パーソナルコンピュータ時計型や眼鏡型の情報端末及び車載機器などが含まれてよい。

0010

(デジタルカメラ100の構成)
図1は、本実施形態の画像処理装置の一例としてデジタルカメラ100の機能構成例を示すブロック図である。なお、図1に示す機能ブロックの1つ以上は、ASICプログラマブルロジックアレイPLA)などのハードウェアによって実現されてもよいし、CPUやMPU等のプログラマブルプロセッサソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

0011

光学系101は、ズームレンズフォーカスレンズを含む撮影光学系を含み、被写体からの光束を集光する。シャッター102は絞り機能を含み、例えば撮像部103への入射光量と電荷蓄積時間を制御する。撮像部103は、光電変換素子を有する画素が複数、2次元状に配列された撮像素子を含み、光学系101により結像された被写体光学像を各画素で光電変換してアナログ画像信号を出力する。撮像素子は、CCD(Charge-Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの撮像素子であってよい。

0012

A/D変換部104は、撮像部103が出力するアナログ信号デジタル信号に変換し、画素単位の画像データを出力する。AFセンサ105は、被写体光学像を電気信号に変換するCCDイメージセンサCMOSイメージセンサ等を含み、AF(Auto Focus)制御を行うための画像信号を出力する。AF用A/D変換部106は、AFセンサ105が出力するアナログ信号をデジタル信号に変換し、画素単位の画像データを出力する。

0013

画像処理部107は、信号処理回路又は信号処理モジュールを含み、A/D変換部104から出力された画像データに対して、例えばホワイトバランス処理やγ処理などの各種画像処理を行う。

0014

画像メモリ108は、半導体メモリ等の揮発性記憶媒体を含み、画像データ等を一時的に記憶する。メモリ制御部109は、画像メモリ108に対するデータの書き込みや読み込みを制御する。D/A変換部110は入力されたデジタル信号をアナログ信号に変換してアナログ画像信号を出力する。

0015

表示部111は、例えばLCD等の表示パネルを含み、入力された画像信号や表示メニュー等を表示する。コーデック部112は、信号処理回路又は信号処理モジュールを含み、入力された画像データや映像データを例えばJPEGやMPEGなどの所定の規格に基づいて圧縮符号化する。

0016

記録媒体113は、メモリカードハードディスク等の不揮発性記憶装置を含み、例えば撮影された画像データや映像データを記録する。記録I/F114は、記録媒体113に対するインターフェースを含み、記録媒体113に対するデータの書き込みや読み込みを制御する。

0017

注目領域検出部115は、信号処理回路又は信号処理モジュールを含み、後述する注目領域検出処理を行って画像データ内の注目領域を検出する。制御部50は、例えばCPUあるいはMPUを含み、不揮発性メモリ123に格納されたプログラムをシステムメモリ125の作業エリア展開し、実行することにより、デジタルカメラ100全体を制御する。本実施形態では、注目領域検出部115を制御部50と区別して説明するが、制御部50が注目領域検出部115の機能を実行してもよい。

0018

操作部120は、スイッチ、ダイヤル等の機械式の部材や表示部111に含まれるタッチパネルを含み、ユーザからの操作指示を検出して制御部50に通知する。電源スイッチ121は、デジタルカメラ100の起動及び終了を制御するためのボタンであり、操作部120に含まれてよい。電源部122はバッテリを含み、デジタルカメラ100の各部に電力を供給する。

0019

不揮発性メモリ123は、例えばEEPROM等を含み、電気的に消去・記録可能な不揮発性の記憶媒体である。システムタイマ124は、各種制御に用いる時間や、内蔵された時計の時間を計測する。システムメモリ125は、揮発性の記憶媒体を含み、制御部50がプログラムを動作させる際に用いられる定数変数等を一時的に記憶させるほか、不揮発性メモリ123から読み出したプログラム等を展開する際に用いられる。

0020

なお、上述したデジタルカメラ100の各部による撮影時の基本的な動作について説明する。

0021

まず、撮像部103は、光学系101及びシャッター102を介して入射した光束を光電変換し、入力画像信号としてA/D変換部104へ出力する。A/D変換部104は、撮像部103から出力されるアナログ画像信号をデジタル画像信号に変換して画像処理部107に出力する。

0022

AFセンサ105は、光学系101及びシャッター102を介して入射した光を複数の対となるラインセンサ受光し、AF用A/D変換部106に出力する。AF用A/D変換部106は、AFセンサ105から出力されたアナログ信号をデジタル信号に変換し、制御部50に出力する。制御部50は、1対のラインセンサから出力された像信号に基づいて、被写体からの光束の分割方向における相対的位置ずれ量を検出することにより、いわゆる位相差AF制御を実現する。

0023

画像処理部107は、A/D変換部104からの画像データ又はメモリ制御部109から読み出した画像データに対して上述した各種画像処理を適用し、処理結果となる画像データを出力する。メモリ制御部109は、画像処理部107から出力された画像データを画像メモリ108に書き込む。画像処理部107では、撮像部103によって撮像された画像データを用いて所定の演算を行い、制御部50が得られた演算結果に基づいて例えばAE自動露出)、AF(オートフォーカス)のための露光制御や測距制御を行う。

0024

画像メモリ108は、撮像部103により撮像された画像データや記録媒体113から読み出された画像データを、表示部111に表示するために記憶する。また、D/A変換部110は、画像メモリ108から読み出された表示用の画像データをアナログ画像信号に変換して表示部111に供給する。表示部111は、LCD等の表示パネル上に、D/A変換部110から出力されたアナログ画像信号を表示する。

0025

注目領域検出部115は、入力された画像データに対して、後述する注目領域検出処理を行う。注目領域検出部115は、画像データ内の注目領域を検出し、注目領域情報を制御部50に出力する。制御部50は、取得した注目領域情報に基づいて、所定の処理、例えば、画像データ内に複数被写体が存在する場合に、注目領域に属する被写体に合焦させるようなAF制御や、注目領域に属する被写体が適正な明るさになるようなAE制御を行う。

0026

(注目領域検出部115の構成及び注目領域検出処理に係る一連の動作)
次に、注目領域検出部115の構成及び注目領域検出処理に係る一連の動作について、説明する。

0027

まず、図2は、注目領域検出部115の機能構成例を示している。注目領域検出部115は、有色度算出領域設定部201、有色度算出部202、色重み算出部203、背景領域設定部204、背景領域特徴量算出部205、ブロック領域特徴量算出部206、特徴量比較部207及び注目領域抽出部208を含む。このような注目領域検出部115を構成する各部の具体的な動作については、以下、図3を参照して説明する注目領域検出処理の一連の動作を説明しながら説明する。

0028

なお、注目領域検出処理の一連の動作は、例えば操作部120に対して撮影指示であるユーザ操作があった場合に、制御部50の指示に応じて注目領域検出部115により開始される。また、本一連の動作は、例えば注目領域検出部115が記憶されたプログラムを実行することにより実現される。

0029

S301において、有色度算出領域設定部201は、画像内の領域のうち有色度を算出する領域を設定する。有色度算出領域設定部201は、有色度を算出する領域(有色度算出領域)を例えば視覚的顕著度に基づいて設定する。

0030

まず、視覚的顕著度の算出処理について、図4(a)及び図4(b)を参照して説明する。図4(a)は、画像内の領域のうち、視覚的顕著度を算出するための内側領域401及び周囲領域402を例示しており、図4(b)は、算出した視覚的顕著度を、画像内の領域ごとにグレースケール画素値を用いて例示している。なお、図4(b)は、白いほど視覚的顕著度が大きく、黒いほど視覚的顕著度が小さいことを示している。

0031

有色度算出領域設定部201は、所定の内側領域401及び周囲領域402を画像内の領域について左上から左下に走査させ、走査しながら各位置において内側領域401の特徴量と周囲領域402の特徴量とを比較する。特徴量の具体例については後述するが、有色度算出領域設定部201は、内側領域401の特徴量と周囲領域402の特徴量の差異が予め定めた値より大きい場合、内側領域401の現在の位置を目立ち易い領域であると判定し、大きい視覚的顕著度を与える。逆に、内側領域401の特徴量と周囲領域402の特徴量の差異が小さい場合、有色度算出領域設定部201は、現在の位置を目立ち難い領域と判定して小さい視覚的顕著度を与える。

0032

図4(a)に示す、背景にボールが存在する例では、内側領域401がボール周辺に位置する場合、内側領域401の特徴量と周囲領域402の特徴量の差異が大きくなり、視覚的顕著度が大きな値に設定される。一方、内側領域401がボール周辺以外に位置する場合、内側領域401の特徴量と周囲領域402の特徴量の差異が小さくなり、視覚的顕著度は小さい値に設定される。

0033

視覚的顕著度の算出に用いる特徴量には、例えば、内側領域401及び周囲領域402におけるヒストグラム画素値平均値及びエッジ量のうちの少なくともいずれかを用いることができる。

0034

例えば、特徴量として例えば輝度成分あるいは色成分に関する画素値分布を示すヒストグラムを用いる場合、視覚的顕著度の算出例は次のようになる。有色度算出領域設定部201は、画像内のある位置において、内側領域401における画素値分布を示すヒストグラムと、周囲領域402における画素値分布を示すヒストグラムをそれぞれ算出し、ヒストグラムの各要素について例えば画素数カウント値差分絶対値を求める。そして、ヒストグラムの全ての要素について求めた差分絶対値を積算した値をある1つの位置における視覚的顕著度とする。

0035

また、特徴量として画素値平均値を用いる場合、視覚的顕著度は、例えば各領域の画素値平均値の差分絶対値を用いて算出される。すなわち、有色度算出領域設定部201は、画像内のある位置において、内側領域401における画素値平均値と、周囲領域402における画素値平均値の差分絶対値を求め、求めた値をある1つの位置における視覚的顕著度とする。なお、画素値平均値とは、例えば、輝度の平均値彩度の平均値が挙げられる。彩度は、例えば、以下の式(1)のように、
彩度 =Cb+ Cr (1)
2つの色差信号の和により求めることができる。

0036

特徴量としてエッジ量を用いる場合、視覚的顕著度は、例えば各領域のエッジ強度積分値の差分絶対値を用いて算出される。すなわち、有色度算出領域設定部201は、画像内のある位置において、内側領域401におけるエッジ強度の積分値と、周囲領域402におけるエッジ強度の積分値の差分絶対値を求め、求めた値をある1つの位置における視覚的顕著度とする。なお、エッジ強度は、例えばソーベルフィルタ等の公知の方法を用いて算出することができる。

0037

有色度算出領域設定部201は、上述した処理により算出された画像内の全領域に対する視覚的顕著度に基づいて、視覚的顕著度が大きい領域を有色度算出領域として設定する。

0038

なお、有色度算出領域の設定は、上述した視覚的顕著度に基づく方法に限定されず、注目領域となる可能性がある候補領域を有色度算出領域に設定してもよい。例えば、不図示の制御部50内の候補領域検出部が出力する注目領域の候補領域、すなわち合焦領域や画面中央領域を有色度算出領域として設定しても良い。また、動画像の撮影時のように複数フレームの情報を利用可能である場合、時間的に近接したフレームにおいて検出された注目領域に対応する候補領域を有色度算出領域に設定してもよい。また、フレーム間のマッチング処理により所定被写体追尾することができる場合、追尾されている追尾被写体領域を有色度算出領域として設定しても良い。

0039

S302において、有色度算出部202は、有色度算出領域設定部201が設定した領域の有色度を算出する。なお、本実施形態では、所定の領域が有する色味の程度を表す指標を有色度とし、有色度算出部202は、例えば、領域内の彩度平均値(色成分の画素値の平均値)を算出する。このとき、彩度平均値が大きい領域ほど有色度は高くなる。

0040

S303において、色重み算出部203は、有色度算出部202により算出された有色度に基づいて色重みを算出する。色重み算出部203は、例えば色重みを、式(2)に従って算出することができる。
色重み = a×有色度+b (a及びbは定数) (2)
例えば本実施形態に係る有色度と色重みの関係を図5に例示している。色重みは、例えば有色度と比例するような相関を有する。すなわち、色重みは、その領域が有する色味の強さを示す指標に応じて増減する重み係数であり、有色度が小さい場合に小さな値、逆に、有色度が大きい場合には大きな値となるように決定される。

0041

S304において、背景領域設定部204は、画像内の領域の背景を推測して背景領域を設定する。具体的には、背景領域設定部204は、図6(a)の網掛けで示した領域601のように、画像の端部(すなわち上端下端、左端及び右端のうち少なくともいずれか)に接する領域を背景領域として設定する。図6(a)の例では、画像内の領域の左端、上端及び右端が背景領域として設定された例を示している。背景領域の設定には、他の方法を用いてもよく、例えば、デジタルカメラ100の撮影向き横撮影縦撮影)の情報を用いて背景領域の設定を変更しても良い。すなわち、天地方向地方向以外の端領域を背景領域として設定する。横撮影の場合は、図6(a)のような端領域を背景領域として設定し、縦撮影の場合は、図6(c)のような端領域602を背景領域として設定する。また、他の方法として、画像の端部の領域について明るさを算出し、明るさが所定値よりも大きい端領域を背景領域として設定しても良い。これのようにすれば、空などの明るい領域を背景として設定し易くなる。

0042

S305において、背景領域特徴量算出部205は、背景領域設定部204が設定した背景領域について輝度成分の特徴量と色成分の特徴量とをそれぞれ算出する。輝度成分の特徴量及び色成分の特徴量の算出については、S306において後述する。

0043

S306において、ブロック領域特徴量算出部206は、例えば図6(b)に示すように、画像内の領域が所定の大きさの部分領域に分割されたブロック領域毎に輝度成分の特徴量の特徴量と色成分の特徴量とをそれぞれ算出する。本実施形態に係る輝度成分の特徴量及び色成分の特徴量の算出には、例えば、領域内のヒストグラム、画素値平均値及びエッジ量のうち、少なくともいずれかを用いることができる。

0044

例えば、特徴量としてヒストグラムを用いる場合、背景領域特徴量算出部205は、背景領域における輝度成分の画素分布を示すヒストグラムと色成分の画素分布を示すヒストグラムを算出する。また、ブロック領域特徴量算出部206は、分割されたブロック領域毎に輝度成分の画素値分布を示すヒストグラムと色成分の画素値分布を示すヒストグラムを算出する。

0045

また、特徴量として画素値平均値を用いる場合、背景領域特徴量算出部205は、背景領域における輝度成分の画素値平均値と色成分の画素値平均値を算出する。また、ブロック領域特徴量算出部206は、分割されたブロック領域毎に輝度成分の画素値平均値と色成分の画素値平均値を算出する。なお、上述したように画素値平均値には、例えば、輝度の平均値や彩度の平均値を用いることができる。

0046

特徴量としてエッジ量を用いる場合、背景領域特徴量算出部205は、背景領域における輝度成分のエッジ強度の積分値と色成分のエッジ強度の積分値を算出する。また、ブロック領域特徴量算出部206は、分割されたブロック領域毎に輝度成分のエッジ強度の積分値と色成分のエッジ強度の積分値を算出する。なお、上述したようにエッジ強度の算出には、例えばソーベルフィルタ等の公知の方法を用いて算出することができる。

0047

S307において、特徴量比較部207は、処理対象であるブロック領域の注目度を算出する。この注目度算出処理では、特徴量比較部207は、S305において算出された背景領域特徴量とS306において算出されたブロック領域に対する特徴量とを、輝度成分及び色成分のそれぞれにおいて比較して比較結果を求める。さらに、S303において算出された色重みを用いてそれぞれの比較結果の重要度を加味した注目度を算出する。具体的には、注目度は、式(3)に従って算出される。
注目度 =(1−色重み)×輝度特徴量の差+色重み×色特徴量の差 (3)
すなわち、背景領域の輝度特徴量及びブロック領域の輝度特徴量の差と、背景領域の色特徴量及びブロック領域の色特徴量の差とを、それぞれ色重みを用いて加重加算する。

0048

このようにすることで、色重みに応じて、輝度特徴量の差と色特徴量の差の各重要度が調整される。すなわち、候補領域の色重みが増加するほど色特徴量の差の重要度が増加した結果としての注目度が算出され、候補領域の色重みが減少するほど輝度特徴量の差の重要度が増加した結果としての注目度が算出される。換言すれば、候補領域の色重みが高い場合には色特徴量の差を用いて有色被写体を検出することができ、反対に候補領域の色重みが低い場合には輝度特量の差を用いて無色被写体を検出することができる。

0049

さらに、特徴量比較部207が輝度特徴量の差及び色特徴量の差を算出する例について説明する。

0050

例えば特徴量としてヒストグラムを用いる場合、特徴量比較部207は、輝度特徴量の差の算出において、背景領域における輝度成分の画素分布を示すヒストグラムと分割されたブロック領域における輝度成分の画素分布を示すヒストグラムを用いて、ヒストグラムの各要素のカウント値について差分絶対値を求める。そして、全てのヒストグラムの構成要素について積算した値を、ある1つの分割されたブロック領域の輝度特徴量の差とする。同様に、特徴量比較部207は、色特徴量の差の算出において、背景領域における色成分の画素分布を示す色ヒストグラムと分割されたブロック領域における色成分の画素分布を示す色ヒストグラムについて、ヒストグラムの各要素のカウント値について差分絶対値を求める。そして、全てのヒストグラムの構成要素について積算した値を、ある1つの分割されたブロック領域の色特徴量の差とする。

0051

また、特徴量として画素値平均値を用いる場合、特徴量比較部207は、輝度特徴量の差の算出において、背景領域における輝度平均値と分割されたブロック領域における輝度平均値の差分絶対値を求める。そして、求めた値をある1つの分割されたブロック領域の輝度特徴量の差とする。同様に、特徴量比較部207は、色特徴量の差の算出において、背景領域における色平均値分割ブロック領域における色平均値の差分絶対値を求め、求めた値をある1つの分割されたブロック領域の色特徴量の差とする。

0052

特徴量としてエッジ量を用いる場合、特徴量比較部207は、輝度特徴量の差の算出において、背景領域における輝度エッジ強度の積分値と分割ブロック領域における輝度エッジ強度の積分値の差分絶対値を求める。そして、特徴量比較部207は、求めた値をある1つの分割されたブロック領域の輝度特徴量の差とする。また、特徴量比較部207は、色特徴量の差の算出において、背景領域における色エッジ強度の積分値と分割ブロック領域における色エッジ強度の積分値の差分絶対値を求め、求めた値をある1つの分割されたブロック領域の色特徴量の差とする。

0053

S308において、特徴量比較部207は、全ての分割されたブロック領域の注目度を算出したかを判定する。特徴量比較部207は、例えば処理対象の領域の、現在の位置を参照して、全ての分割されたブロック領域について注目度を算出していないと判定する場合、処理をS306に戻してS306及びS307の処理を繰り返す。一方、全ての分割されたブロック領域について注目度を算出していないと判定する場合、処理をS309に進める。

0054

S309において、注目領域抽出部208は、特徴量比較部207により算出された注目度に基づいて注目領域を抽出する。具体的には、各分割されたブロック領域の注目度が所定閾値よりも高い場合に当該ブロック領域を注目領域として抽出する。注目領域抽出部208は、注目領域として抽出されたブロック領域を示す注目領域情報を出力する。注目領域検出部115は、注目領域情報を出力すると、本処理に係る一連の動作を終了する。

0055

なお、本実施形態の説明では、S307における注目度の算出例として、輝度特徴量の差と色特徴量の差を色重みに基づいて加重加算する例を説明した。しかし、特徴量の算出において色重みを考慮した特徴量を算出してもよい。具体的には、S304及びS305において特徴量を算出する際に、画像の各成分に色重みに応じたゲイン値乗算して特徴量を算出し、S307における注目度の算出においては、輝度成分の特徴量の差及び色成分の特徴量の差の重要度を同一にしてもよい。

0056

以上説明したように、本実施形態では、輝度成分の特徴量の重要度と色成分の特徴量の重要度とを、候補領域の色重みに応じて調整して注目領域を検出するようにした。すなわち、被写体の領域が無色被写体の場合には、色重みが小さくなるため、輝度特徴量の差の重要度が大きくなり、輝度特徴量の差を重視した注目度を算出する。この場合、無色被写体を注目領域として適切に検出することができる。一方、被写体の領域が有色被写体の場合、色重みが大きくなるため、色特徴量の差の重要度が大きくなり、色特徴量の差を重視した注目度を算出することができる。この場合、有色被写体を注目領域として適切に検出することができる。換言すれば、有色被写体及び無色被写体の両方をより適切に検出することが可能になる。

0057

(その他の実施形態)
本発明は、上述した実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。

0058

115…注目領域検出部、201…有色度算出領域検出部、202…有色度算出部、203…色重み算出部、205…背景領域特徴量算出部、206…ブロック領域特徴量検出部、207…特徴量比較部、208…注目領域抽出部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ