図面 (/)

技術 画像処理装置、画像処理方法、プログラムおよび撮像装置

出願人 ソニー株式会社
発明者 上田敬史佐藤大輔水口淳
出願日 2017年11月13日 (2年0ヶ月経過) 出願番号 2017-217875
公開日 2018年3月29日 (1年7ヶ月経過) 公開番号 2018-050322
状態 特許登録済
技術分野 カラーテレビジョン画像信号発生装置 画像処理 FAX画像信号回路 カラー画像通信方式 スタジオ装置
主要キーワード 画角ずれ カラー効果 所定画像領域 領域解析 処理画像信号 上述実施 候補色 色相環
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2018年3月29日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (12)

課題

入力画像信号色情報を用いて少なくとも1つの抽出色領域を自動的に決定して画像処理を行う。

解決手段

入力画像信号(撮像画像信号再生画像信号など)の色情報を用いて、少なくとも画像内の一部領域を含む抽出色領域を決定する。そして、この抽出色領域および/またはこの抽出色領域を除く他の領域に対して、画像処理を施して出力画像信号を得る。例えば、入力画像信号の抽出色領域を除く他の領域に対して無彩色とする処理を施すことで、いわゆるパーシャルカラー効果を確実に実現できる。

概要

背景

従来、入力画像信号に対し、画像内の特定領域と、それ以外の領域とで、互いに異なった処理を施して、出力画像信号を得ることが知られている。例えば、ユーザが指定する色領域以外の領域を無彩色として、いわゆるパーシャルカラー(Partial Color)効果を実現することが知られている。また、例えば、特許文献1には、撮像画面内において、合焦状態にある主要被写体のみを2次元的に特定してカラー表示をさせることが記載されている。

概要

入力画像信号の色情報を用いて少なくとも1つの抽出色領域を自動的に決定して画像処理を行う。入力画像信号(撮像画像信号再生画像信号など)の色情報を用いて、少なくとも画像内の一部領域を含む抽出色領域を決定する。そして、この抽出色領域および/またはこの抽出色領域を除く他の領域に対して、画像処理を施して出力画像信号を得る。例えば、入力画像信号の抽出色領域を除く他の領域に対して無彩色とする処理を施すことで、いわゆるパーシャルカラー効果を確実に実現できる。

目的

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

入力画像信号色情報を用いて、少なくとも画像内の一部領域を含む抽出色領域を決定する処理を行う抽出色領域決定部と、上記入画像信号の、上記抽出色領域決定部で決定された抽出色領域および/または該抽出色領域を除く他の領域に対して、画像処理を施して出力画像信号を得る画像処理部とを備える画像処理装置

請求項2

上記抽出色領域決定部は、第1の画像領域において上記抽出色領域を決定できないとき、上記第1の画像領域より狭い第2の画像領域において上記抽出色領域を決定する処理を行う請求項1に記載の画像処理装置。

請求項3

上記抽出色領域決定部は、上記第1の画像領域において、画素毎あるいは所定数の画素を含むブロック毎に複数の色領域のいずれかに振り分ける処理を行った後に、頻度閾値を超える色領域があるとき、該色領域のうち少なくとも1つの色領域を上記抽出色領域に決定し、頻度が閾値を超える領域がないとき、上記第1の画像領域より狭い第2の画像領域において上記抽出色領域を決定する処理を行う請求項2に記載の画像処理装置。

請求項4

上記抽出色領域決定部は、上記第2の画像領域を、上記第1の画像領域が画面中心に向かって狭められた画像領域とする請求項2に記載の画像処理装置。

請求項5

上記抽出色領域決定部は、上記第2の画像領域を、上記第1の画像領域が画面中の合焦位置に向かって狭められた画像領域とする請求項2に記載の画像処理装置。

請求項6

上記抽出色領域決定部は、所定画像領域において、画素毎あるいは所定数の画素を含むブロック毎に複数の色領域のいずれかに振り分ける処理を行い、各色領域の頻度に基づいて上記抽出領域を決定する請求項1に記載の画像処理装置。

請求項7

上記抽出色領域決定部は、頻度が閾値を超える色領域が複数存在する場合は、頻度の高い方から所定数の色領域を上記抽出色領域に決定する請求項6に記載の画像処理装置。

請求項8

上記抽出色領域決定部は、頻度が閾値を超える色領域が複数存在する場合は、ユーザに対して上記抽出色領域の選択を促す請求項6に記載の画像処理装置。

請求項9

上記頻度が閾値を超える複数の色領域のうち頻度の高い上位N領域(Nは2以上の整数)を候補色領域として表示部に表示させ、上記表示部の表示に基づいて、ユーザに対して上記抽出色領域の選択を促すユーザ選択取得部をさらに備える請求項8に記載の画像処理装置。

請求項10

上記抽出色領域決定部は、上記入力画像信号の撮像条件が変化した場合、上記決定される抽出色領域を更新する請求項1に記載の画像処理装置。

請求項11

入力画像信号の色情報を用いて、少なくとも画像内の一部領域を含む抽出色領域を決定する処理を行う抽出色領域決定ステップと、上記入力画像信号の、上記抽出色領域決定ステップで決定された抽出色領域および/または該抽出色領域を除く他の領域に対して、画像処理を施して出力画像信号を得る画像処理ステップとを備える画像処理方法

請求項12

コンピュータを、入力画像信号の色情報を用いて、少なくとも画像内の一部領域を含む抽出色領域を決定する処理を行う抽出色領域決定手段と、上記入力画像信号の、上記抽出色領域決定手段で決定された抽出色領域および/または該抽出色領域を除く他の領域に対して、画像処理を施して出力画像信号を得る画像処理手段として機能させるプログラム

請求項13

撮像部と、上記撮像部で得られる撮像画像信号の色情報を用いて、少なくとも画像内の一部領域を含む抽出色領域を決定する処理を行う抽出色領域決定部と、上記撮像画像信号の、上記抽出色領域決定部で決定された抽出色領域および/または該抽出色領域を除く他の領域に対して、画像処理を施して処理画像信号を得る画像処理部と、上記画像処理部で得られる処理画像信号を記録媒体に記録する記録部とを備える撮像装置

技術分野

0001

本技術は、画像処理装置画像処理方法プログラムおよび撮像装置に関する。特に、本技術は、入力画像信号に含まれる色領域の中から少なくとも1つの色領域を抽出して画像処理を行う画像処理装置等に関する。

背景技術

0002

従来、入力画像信号に対し、画像内の特定領域と、それ以外の領域とで、互いに異なった処理を施して、出力画像信号を得ることが知られている。例えば、ユーザが指定する色領域以外の領域を無彩色として、いわゆるパーシャルカラー(Partial Color)効果を実現することが知られている。また、例えば、特許文献1には、撮像画面内において、合焦状態にある主要被写体のみを2次元的に特定してカラー表示をさせることが記載されている。

先行技術

0003

特開平06−098232号公報

発明が解決しようとする課題

0004

従来、入力画像信号の色情報を用いて少なくとも1つの抽出色領域を自動的に決定して画像処理を行うことについては知られていない。

0005

本技術の目的は、入力画像信号の色情報を用いて少なくとも1つの抽出色領域を自動的に決定して画像処理を行うことにある。

課題を解決するための手段

0006

本技術の概念は、
入力画像信号の色情報を用いて、少なくとも画像内の一部領域を含む抽出色領域を決定する処理を行う抽出色領域決定部と、
記入画像信号の、上記抽出色領域決定部で決定された抽出色領域および/または該抽出色領域を除く他の領域に対して、画像処理を施して出力画像信号を得る画像処理部とを備える
画像処理装置にある。

0007

本技術において、抽出色領域決定部により、入力画像信号の色情報を用いて、少なくとも画像内の一部領域を含む抽出色領域を決定する処理が行われる。例えば、抽出色領域決定部は、第1の画像領域において抽出色領域を決定できないとき、第1の画像領域より狭い第2の画像領域において抽出色領域を決定する処理を行う、ようにされてもよい。このように画像領域を狭めることで、抽出色領域を確実に決定することが可能となる。

0008

この場合、例えば、抽出色領域決定部は、第1の画像領域において、画素毎あるいは所定数の画素を含むブロック毎に複数の色領域のいずれかに振り分ける処理を行った後に、頻度閾値を超える色領域があるとき、この色領域のうち少なくとも1つの色領域を抽出色領域に決定し、頻度が閾値を超える領域がないとき、第1の画像領域より狭い第2の画像領域において抽出色領域を決定する処理を行う、ようにされる。

0009

また、この場合、例えば、抽出色領域決定部では、第2の画像領域は、第1の画像領域が画面中心に向かって狭められた画像領域とされる。また、この場合、例えば、抽出色領域決定部では、第2の画像領域は、第1の画像領域が画面中の合焦位置に向かって狭められた画像領域とされる。このように合焦位置に向かって狭められていくことで、よりユーザの好みにあった色領域を抽出色領域として決定することが可能となる。

0010

また、例えば、抽出色領域決定部は、所定画像領域において、画素毎あるいは所定数の画素を含むブロック毎に複数の色領域のいずれかに振り分ける処理を行い、各色領域の頻度に基づいて上記抽出領域を決定する、ようにされてもよい。この場合、抽出色領域決定部は、頻度が閾値を超える色領域が複数存在する場合は、頻度の高い方から所定数の色領域を抽出色領域に決定する、ようにされる。

0011

また、この場合、抽出色領域決定部は、頻度が閾値を超える色領域が複数存在する場合は、ユーザに対して抽出色領域の選択を促す、ようにしてもよい。そして、この場合、頻度が閾値を超える複数の色領域のうち頻度の高い上位N領域(Nは2以上の整数)を候補色領域として表示部に表示させ、この表示部の表示に基づいて、ユーザに対して抽出色領域の選択を促すユーザ選択取得部をさらに備える、ようにされてもよい。この場合、ユーザの好みにあった色領域を抽出色領域として決定することが可能となる。

0012

なお、候補色領域を表示する表示部は、画像処理装置に存在する必要はなく、外部機器であってもよい。また、ユーザが抽出色領域を選択するためのユーザ操作部も、画像処理装置に存在する必要はなく、リモートコントローラネットワーク経由など外部機器であってもよい。

0013

画像処理部により、入力画像信号の、抽出色領域決定部で決定された抽出色領域および/またはこの抽出色領域を除く他の領域に対して、画像処理が施されて出力画像信号が得られる。例えば、入力画像信号の抽出色領域に対して彩度を強調する処理が行われる、また、例えば、入力画像信号の抽出色領域を除く他の領域に対して無彩色とする処理が行われる。

0014

このように本技術においては、入力画像信号の色情報を用いて少なくとも1つの抽出色領域を自動的に決定して画像処理を行うことが可能となる。そのため、例えば、パーシャルカラー効果を確実に実現することが可能となる。

0015

なお、本技術は、例えば、抽出色領域決定部は、入力画像信号の撮像条件が変化した場合、決定される抽出色領域を更新する、ようにされてもよい。これにより、不用意に抽出色領域が変化することを防ぐことが可能となる。

発明の効果

0016

本技術によれば、入力画像信号の色情報を用いて少なくとも1つの抽出色領域を自動的に決定して画像処理を行うことが可能となる。

図面の簡単な説明

0017

本技術の第1の実施の形態としての画像処理装置の構成例を示すブロック図である。
画像処理装置を構成する画像解析部の処理手順を示すフローチャートである。
色情報解析領域の狭め方の一例(画面中心に向かって狭めていく例)を説明するための図である。
色情報解析領域の狭め方の他の例(画面中の合焦位置に向かって狭めていく例)を説明するための図である。
振り分け処理における色領域の分類例を示す図である。
振り分け処理結果例(色領域A〜Gの頻度のいずれも閾値未満である例)を示す図である。
振り分け処理結果例(色領域A〜Gの頻度のうち、色領域Eの頻度は閾値を超え、その他の色領域の頻度は閾値未満である例)を示す図である。
振り分け処理結果例(色領域A〜Gの頻度のうち、色領域B,D,Fの頻度は閾値を超え、その他の色領域の頻度は閾値未満である例)を示す図である。
本技術の第2の実施の形態としてのデジタルスチルカメラ(撮像装置)の構成例を示すブロック図である。
デジタルスチルカメラを構成する画像解析部の処理手順を示すフローチャートである。
デジタルスチルカメラの表示部における候補色領域の表示例を示す図である。

実施例

0018

以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明は以下の順序で行う。
1.第1の実施の形態
2.第2の実施の形態
3.変形例

0019

<1.第1の実施の形態>
[画像処理装置の構成例]
図1は、本技術の第1の実施の形態としての画像処理装置100の構成例を示している。この画像処理装置100は、画像解析部101および画像処理部102を有している。画像解析部101は、抽出色領域決定部を構成している。

0020

画像解析部101は、入力画像信号SVinの色情報を用いて、少なくとも画像内の一部領域を含む抽出色領域を決定する処理を行う。ここで、入力画像信号SVinはカラー画像信号であり、例えば、輝度信号Y、赤色差信号Crおよび青色差信号Cbからなっている。この入力画像信号SVinは、例えば、撮像部で得られた撮像画像信号、または撮像画像信号が一旦記録媒体に記録され、その後に当該記録媒体から再生されて得られた再生画像信号などである。

0021

画像解析部101は、第1の画像領域において抽出色領域を決定できないとき、この第1の画像領域より狭い第2の画像領域において抽出色領域を決定する処理を行う。この場合、画像解析部101は、第1の画像領域において、画素毎あるいは所定数の画素を含むブロック毎に複数の色領域のいずれかに振り分ける処理を行う。その後、画像解析部101は、頻度が閾値を超える色領域があるとき、この色領域のうち少なくとも1つの色領域を抽出色領域に決定する。

0022

一方、画像解析部101は、頻度が閾値を超える領域がないとき、第1の画像領域より狭い第2の画像領域において、抽出領域を決定する処理を行う。すなわち、画像解析部101は、この第2の画像領域において、画素毎あるいは所定数の画素を含むブロック毎に複数の色領域のいずれかに振り分ける処理を行う。その後、画像解析部101は、頻度が閾値を超える色領域があるとき、この色領域のうち少なくとも1つの色領域を抽出色領域に決定する。

0023

以下、画像解析部101は、頻度が閾値を超える領域がないとき、第2の画像領域を第1の画像領域とし、この第1の画像領域より狭い第2の画像領域において抽出色領域を決定する処理を行うことを、繰り返す。

0024

図2のフローチャートは、画像解析部101の処理手順を示している。画像解析部101は、1フレーム毎に、あるいは所定数のフレーム毎に、このフローチャートに沿った処理を行う。画像解析部101は、ステップST1において、処理を開始し、その後に、ステップST2の処理に移る。このステップST2において、画像解析部101は、色情報解析領域を設定する。

0025

画像解析部101は、最初は、色情報解析領域として、画面全体を設定し、以下、このステップST2の処理に戻る毎に、その領域を狭めていく。この場合、変更前の色情報解析領域は第1の画像領域を構成し、変更後の色情報解析領域は第2の画像領域を構成する。図3は、色情報解析領域の狭め方の一例を示している。図3(a)は、画面全体を色情報解析領域として設定する最初の状態を示している。この例では、図3(b)に示すように、画面中心に向かって狭めていく例である。

0026

図4は、色情報解析領域の狭め方の他の例を示している。図4(a)は、画面全体を色情報解析領域として設定する最初の状態を示している。この例では、図4(b)に示すように、画面中の合焦位置に向かって狭めていく例である。この場合、画像解析部101は、合焦位置の情報を、撮像部、または再生部から、入力画像信号SVinと共に、取得する。デジタルスチルカメラ(撮像装置)における撮像部においては、詳細説明は省略するが、例えば位相差オートフォーカス方式などにより画面上の所定位置に存在する被写体に合焦させることが可能とされている。

0027

なお、図示は省略するが、色情報解析領域の狭め方のさらに他の例として、顔などの特定オブジェクトの検出位置に向かって狭めて行くことも可能である。この場合、画像解析部101は、特定オブジェクトの検出位置の情報を、または再生部から、入力画像信号SVinと共に、取得する。

0028

図2に戻って、次に、画像解析部101は、ステップST3において、色頻度分布解析を行う。すなわち、画像解析部101は、画素毎、あるいは所定数の画素、例えば8×8の画素を含むブロック毎に複数の色領域のいずれかに振り分ける処理を行う。画像解析部101は、この振り分け処理を、画素毎あるいはブロック毎の色情報に基づいて行う。

0029

この色情報としては、色相情報彩度情報色相および彩度の情報、さらには色相相当の情報等が考えられる。例えば、色相情報として、赤色差信号Crおよび青色差信号Cbが用いられる。また、例えば、色相相当の情報として、B/G、R/Gが用いられる。ここで、Bは青色信号、Rは赤色信号、Gは緑色信号を示している。

0030

例えば、上述の振り分け処理を、画素毎あるいはブロック毎の色相情報に基づいて行う場合についてさらに説明する。この場合、予め、色相が所定数の色領域に分類される。例えば、図5は、7種類の色領域、すなわち色領域A〜Gに分類された分類例を示している。なお、この例は、色相環を色領域Aで切断して展開したものである。

0031

画像解析部101は、画素毎あるいはブロック毎に、赤色差信号Crおよび青色差信号Cbを用いて、色領域A〜Gのいずれの分類に属するかを判断して、振り分けを行う。なお、ブロックにおける赤色差信号Cr、青色差信号Cbは、それぞれ、そのブロックに含まれる所定数の画素における赤色差信号Cr、青色差信号Cbの平均値、あるいは中間値などとされる。

0032

図6図8は、それぞれ、振り分け処理結果の例を示している。これらの例は、各色領域の頻度を、画面に占める割合として示している。ここで、「画面」とは、ステップST2で設定された「色情報解析領域」を意味している。図6の例は、色領域A〜Gの頻度のいずれも閾値未満である例である。また、図7の例は、色領域A〜Gの頻度のうち、色領域Eの頻度は閾値を超え、その他の色領域の頻度は閾値未満である例である。さらに、図8の例は、色領域A〜Gの頻度のうち、色領域B,D,Fの頻度は閾値を超え、その他の色領域の頻度は閾値未満である例である。なお、閾値は、例えば、3〜4割などに設定されるが、これに限定されない。

0033

図2に戻って、次に、画像解析部101は、ステップST4において、頻度が閾値を超える色領域があるか否かを判別する。頻度が閾値を超える色領域がないと判別するとき(図6参照)、画像解析部101は、ステップST2に戻って、色情報解析領域を変更する。この場合、変更前の色情報解析領域(第1の画像領域)に対し、変更後の色情報解析領域(第2の画像領域)は狭められる(図3図4参照)。

0034

一方、頻度が閾値を超える色領域があると判別するとき(図7図8参照)、画像解析部101は、ステップST5の処理に移る。このステップST5において、画像解析部101は、頻度が閾値を超える色領域のうち、少なくとも1つの色領域を抽出色領域に決定し、画面上における当該抽出色領域の情報を出力する。

0035

この場合、画像解析部101は、頻度が閾値を超える色領域が1つだけであるときは(図7参照)、当該色領域を抽出色領域に決定する。また、この場合、画像解析部101は、頻度が閾値を超える色領域が複数あるときは(図8参照)、当該複数の色領域のうち、例えば、頻度が上位の1つまたは所定数の色領域を抽出色領域に決定する。

0036

画像解析部101は、ステップST5の処理の後、ステップST6において、処理を終了する。

0037

図1に戻って、画像処理部102は、画像解析部101で決定された抽出色領域に基づいて、入力画像信号SVinに画像処理を施し、出力画像信号SVoutを得る。この場合、画像処理部102は、入力画像信号SVinの、抽出色領域および/またはこの抽出色領域を除く他の領域に対して、画像処理を施す。換言すると、画像処理部102は、入力画像信号SVinの、抽出領域と抽出領域を除く他の領域の少なくとも一方の領域に対して、画像処理を施す。さらに双方の領域に画像処理を施す場合は、抽出領域と抽出領域を除く他の領域に対して異なる画像処理を施す。画像処理部102は、入力画像信号SVinの抽出色領域に対して、例えば、彩度を強調する処理を行う。また、画像処理部102は、入力画像信号SVinの抽出色領域を除くその他の領域に対して、例えば、無彩色にする、つまり彩度をゼロにする処理を行う。

0038

図1に示す画像信号処理装置100の動作を説明する。入力画像信号SVin、例えば撮像画像信号あるいは再生画像信号は、画像解析部101および画像処理部102に供給される。画像解析部101では、入力画像信号SVinの色情報を用いて、少なくとも画像内の一部領域を含む抽出色領域が決定され、その領域情報が画像処理部102に供給される。

0039

そして、画像処理部102では、画像解析部101で決定された抽出色領域に基づいて、入力画像信号SVinに画像処理が施され、出力画像信号SVoutが得られる。この場合、画像処理部102では、入力画像信号SVinの、抽出色領域および/またはこの抽出色領域を除く他の領域に対して、画像処理が施される。例えば、入力画像信号SVinの抽出色領域を除く他の領域に対して無彩色とする処理が行われることが、いわゆるパーシャルカラーの効果が実現される。

0040

上述したように、図1に示す画像処理装置100において、画像解析部101は、入力画像信号SVinの色情報を用いて少なくとも1つの抽出色領域を自動的に決定する。そのため、画像処理部102では、入力画像信号SVinに対してその抽出色領域の情報に基づいた画像処理を確実に施すことができる。例えば、入力画像信号SVinの抽出色領域を除く他の領域に対して無彩色とする処理が行われるようにすることで、いわゆるパーシャルカラーの効果を確実に実現できる。

0041

また、図1に示す画像処理装置100において、画像解析部101は、抽出色領域を決定できないとき、色情報解析領域を狭める方向に変更して、再度、抽出色領域を決定する処理を行う。そのため、少なくとも1つの抽出色領域を自動的に決定可能となる。

0042

一般的なデジタルスチルカメラはオートフォーカスを実現するためのフォーカスポイントを持ったもの、ユーザによる自由なフォーカス位置設定が可能なものがある。一般的には、フォーカスを合わせたいものが主要被写体となるため、抽出したい色領域を多く含む可能性が高い。そのため、色情報解析領域を合焦位置(フォーカスポイント)に向かって狭めていくことで、よりユーザの好みにあった色領域を抽出色領域として決定することが可能となる。

0043

なお、図1に示す画像処理処置100では、入力画像信号SVinが輝度信号Y、赤色差信号Crおよび青色差信号Cbからなっているものを示したが、入力画像信号SVinが3原色信号、つまり赤色信号R、緑色信号Gおよび青色信号Bからなっていてもよい。この場合、画像解析部101、画像処理部102では、赤色信号R,緑色信号Gおよび青色信号Bを用いて処理を行っても良いし、適宜、輝度信号Y、赤色差信号Crおよび青色差信号Cbに変換した上で処理しても良い。

0044

<2.第2の実施の形態>
[デジタルスチルカメラの構成例]
図9は、本技術の第2の実施の形態としてのデジタルスチルカメラ(撮像装置)100Aの構成例を示している。この図9において、図1と対応する部分には同一符号、あるいは対応する符号を付し、適宜、その詳細説明は省略する。このデジタルスチルカメラ100Aは、カメラ本体部110と、CPU111と、メモリ112と、ユーザ操作部113と、表示部114とを有しており、各部は内部バス115により互いに接続されている。

0045

CPU111は、デジタルスチルカメラ100Aの各部の動作を制御する。メモリ112は、図示は省略するが、フラッシュROM、DRAMなどからなっている。フラッシュROMは、制御ソフトウェアの格納およびデータの保管を行う。DRAMは、CPU111のワークエリアを構成する。CPU111は、フラッシュROMから読み出しソフトウェアやデータをDRAM上に展開してソフトウェアを起動させ、デジタルスチルカメラ100Aの各部を制御する。

0046

ユーザ操作部113および表示部114は、ユーザインタフェースを構成している。ユーザ操作部113は、デジタルスチルカメラ100Aの図示しない筐体に配置されたキー、釦、ダイアル、あるいは表示部114の表示面に配置されたタッチパネル等で構成される。表示部114は、LCD(Liquid Crystal Display)等の表示パネルで構成される。

0047

カメラ本体部110は、撮像部103と、画像解析部101Aと、画像処理部102と、出力部104とを有している。撮像部103は、被写体を撮像して撮像画像信号SVaを得、この撮像画像信号SVinを出力する。この撮像画像信号SVaはカラー画像信号であり、例えば、輝度信号Y、赤色差信号Crおよび青色差信号Cbからなっている。

0048

この撮像部103は、例えば位相差オートフォーカス方式などのオートフォーカス機能を備え、画面上の所定位置に存在する被写体に合焦させることが可能とされている。また、この撮像部103は、顔などの特定オブジェクトの検出機能を備えている。撮像部103は、上述の撮像画像信号SVaを出力する他に、合焦位置の情報、特定オブジェクトの検出位置の情報などを含む付加情報Iaddを出力する。

0049

画像解析部101Aは、図1に示す画像処理装置100における画像解析部101と同様に、撮像画像信号SVaの色情報を用いて、少なくとも画像内の一部領域を含む抽出色領域を決定する処理を行う。この画像解析部101Aは、第1の画像領域において抽出色領域を決定できないとき、この第1の画像領域より狭い第2の画像領域において抽出色領域を決定する処理を行う。

0050

この場合、画像解析部101Aは、第1の画像領域において、画素毎あるいは所定数の画素を含むブロック毎に複数の色領域のいずれかに振り分ける処理を行う。その後、画像解析部101Aは、頻度が閾値を超える色領域があるとき、この色領域のうち少なくとも1つの色領域を抽出色領域に決定する。一方、画像解析部101Aは、頻度が閾値を超える領域がないとき、第1の画像領域より狭い第2の画像領域において、抽出領域を決定する処理を行う。

0051

なお、画像解析部101Aは、撮像状態に変更があるとき、決定される抽出色領域を更新する。ここで、撮像状態の変更とは、ユーザがユーザ操作部113から明示的に露出モード変更やズーム操作等を行った場合における撮像状態の変更を意味する。これにより、ユーザが意図しない微小画角ずれや被写体の動作で抽出色領域が次々と変化することを避けることができる。

0052

図10のフローチャートは、画像解析部101Aの処理手順を示している。画像解析部101Aは、例えば、ユーザ操作部113からのユーザの開始操作に基づき、ステップST11において、処理を開始し、その後に、ステップST12の処理に移る。このステップST12において、画像解析部101Aは、図1の画像処理装置100の画像解析部101が図2のステップST2で行う処理と同様に、色情報解析領域を設定する。

0053

画像解析部101Aは、最初は、色情報解析領域として、画面全体を設定し、以下、閾値が超える色領域がなく、このステップST12の処理に戻る毎に、その領域を狭めていく。この場合、変更前の色情報解析領域は第1の画像領域を構成し、変更後の色情報解析領域は第2の画像領域を構成する。この場合、例えば、画面中心に向かって狭められていく(図3参照)。

0054

また、この場合、例えば、撮像部103からの付加情報に含まれる合焦位置の情報に基づいて、画面中の合焦位置に向かって狭められていく(図4参照)。また、この場合、例えば、撮像部103からの付加情報に含まれる特定オブジェクトの検出位置の情報に基づいて、画面中の特定オブジェクトの検出位置に向かって狭められていく。

0055

次に、画像解析部101Aは、ステップST13において、図1の画像処理装置100の画像解析部101が図2のステップST3で行う処理と同様に、色頻度分布解析を行う。すなわち、画像解析部101Aは、画素毎、あるいは所定数の画素、例えば8×8の画素を含むブロック毎に複数の色領域のいずれかに振り分ける処理を行う。画像解析部101Aは、この振り分け処理を、画素毎あるいはブロック毎の色情報に基づいて行う。

0056

次に、画像解析部101Aは、ステップST14において、頻度が閾値を超える色領域があるか否かを判別する。頻度が閾値を超える色領域がないと判別するとき(図6参照)、画像解析部101Aは、ステップST12に戻って、色情報解析領域を変更する。この場合、変更前の色情報解析領域(第1の画像領域)に対し、変更後の色情報解析領域(第2の画像領域)は狭められる(図3図4参照)。

0057

一方、頻度が閾値を超える色領域があると判別するとき(図7図8参照)、画像解析部101Aは、ステップST15において、撮像状態に変更があるか否かを判別する。変更がないと判別するとき、画像解析部101Aは、ステップST12に戻って、色情報解析領域を最初の状態、つまり画面全体に設定し、以下、上述したと同様の処理を繰り返す。

0058

撮像状態に変更があると判別するとき、画像解析部101Aは、ステップST16の処理に移る。なお、画像解析部101Aは、ステップST11で処理を開始した後の最初にあっては、ステップST14で頻度が閾値を超える色領域があると判別するとき、直ちに、ステップST16の処理に移る。

0059

このステップST16において、画像解析部101Aは、頻度が閾値を超える色領域のうち、少なくとも1つの色領域を抽出色領域に決定し、画面上における当該抽出色領域の情報を出力する。この処理は、図1の画像処理装置100の画像解析部101が図2のステップST5で行う処理と同様である。上述したように、画像解析部101Aは、ステップST11で処理を開始した後の最初以外は、撮像状態に変更があると判別するときのみ、ステップST16の処理に移る。これにより、決定される抽出色領域は、撮像状態に変更があるとき、更新されていく。

0060

画像解析部101Aは、ステップST16の処理の後、ステップST12に戻って、色情報解析領域を最初の状態、つまり画面全体に設定し、以下、上述したと同様の処理を繰り返す。

0061

図9に戻って、画像処理部102は、画像解析部101で決定された抽出色領域に基づいて、撮像画像信号SVaに画像処理を施し、処理画像信号SVbを得る。この場合、画像処理部102は、撮像画像信号SVaの、抽出色領域および/またはこの抽出色領域を除く他の領域に対して、画像処理を施す。画像処理部102は、撮像画像信号SVaの抽出色領域に対して、例えば、彩度を強調する処理を行う。また、画像処理部102は、撮像画像信号SVaの抽出色領域を除くその他の領域に対して、例えば、無彩色にする、つまり彩度をゼロにする処理を行う。

0062

出力部104は、画像処理部102から出力される処理画像信号SVbを外部に出力する処理を行う。例えば、出力部104は、処理画像信号SVbを、JPEG画像ファイルとして、メモリカード等の記録媒体に記録する。

0063

図9に示すデジタルスチルカメラ100Aの動作を説明する。撮像部103で被写体が撮像されて得られた撮像画像信号SVaは、画像解析部101Aおよび画像処理部102に供給される。また、撮像部103から出力される合焦位置の情報、特定オブジェクトの検出位置の情報などを含む付加情報Iaddは画像解析部101Aに供給される。画像解析部101では、撮像画像信号SVaの色情報を用いて、少なくとも画像内の一部領域を含む抽出色領域が決定され、その領域情報が画像処理部102に供給される。

0064

そして、画像処理部102では、画像解析部101Aで決定された抽出色領域に基づいて、撮像画像信号SVaに画像処理が施され、処理画像信号SVbが得られる。この場合、画像処理部102では、撮像画像信号SVaの、抽出色領域および/またはこの抽出色領域を除く他の領域に対して、画像処理が施される。例えば、撮像画像信号SVaの抽出色領域を除く他の領域に対して無彩色とする処理が行われることで、いわゆるパーシャルカラーの効果が実現される。

0065

この画像処理部102で得られる処理画像信号SVbは、出力部104に供給される。この出力部104では、この処理画像信号SVbを外部に出力する処理が行われる。例えば、この出力部104では、処理画像信号SVbが、JPEG画像ファイルとして、メモリカード等の記録媒体に記録される。

0066

上述したように、図9に示すデジタルスチルカメラ100Aにおいて、カメラ本体部110の画像解析部101Aは、撮像画像信号SVaの色情報を用いて少なくとも1つの抽出色領域を自動的に決定する。そのため、カメラ本体部110の画像処理部102では、撮像画像信号SVaに対してその抽出色領域の情報に基づいた画像処理を確実に施すことができる。例えば、撮像画像信号SVaの抽出色領域を除く他の領域に対して無彩色とする処理が行われるようにすることで、いわゆるパーシャルカラーの効果を確実に実現できる。

0067

また、図9に示すデジタルスチルカメラ100Aにおいて、カメラ本体部110の画像解析部101Aは、抽出色領域を決定できないとき、色情報解析領域を狭める方向に変更して、再度、抽出色領域を決定する処理を行う。そのため、少なくとも1つの抽出色領域を自動的に決定可能となる。なお、この際に、合焦位置(フォーカスポイント)に向かって狭めていく場合には、よりユーザの好みにあった色領域を抽出色領域として決定することが可能となる。

0068

また、図9に示すデジタルスチルカメラ100Aにおいて、カメラ本体部110の画像解析部101Aは、撮像状態に変更があるとき、決定される抽出色領域を更新する。そのため、ユーザがユーザ操作部113から明示的に露出モード変更やズーム操作等を行った場合を除き、画像解析部101Aで決定される抽出色領域は変化しない。したがって、ユーザが意図しない微小な画角ずれや被写体の動作で抽出色領域が次々と変化することを避けることができる。

0069

なお、図10に示すフローチャートでは、撮像状態に変更がない場合でも、ステップST12〜ステップST14の処理が繰り返し行われている。しかし、撮像状態に変更があるときのみ、これらステップST12〜ステップST14の処理を行って、抽出色領域を決定する処理手順であってもよい。

0070

<3.変形例>
上述実施の形態において、画像解析部101,101Aは、頻度が閾値を超える色領域が複数あるときは(図8参照)、当該複数の色領域のうち、例えば、頻度が上位の1つまたは所定数の色領域を抽出色領域に決定する、ように説明した。このように頻度が閾値を超える色領域が複数あるとき、抽出色領域に決定すべき色領域を、ユーザに選択させるように構成することも考えられる。その場合における画像解析部101Aなどの動作例を説明する。

0071

その場合における画像解析部101Aなどの動作例を説明する。例えば、図10のフローチャートにおいて、ステップST15で撮像状態に変更があるとき、CPU111は、ステップST17において、頻度が閾値を超える色領域が2以上あるか否かを判別する。頻度が閾値を超える色領域が1つだけであるとき、画像解析部101Aは、直ちに、ステップST16の処理に移り、その色領域を抽出色領域に決定する。

0072

一方、頻度が閾値を超える色領域が2以上あると判別するとき、CPU111は、ステップST18において、それらの色領域のうち頻度の高い上位N領域(Nは2以上の整数)を候補色領域として、表示部114に表示する。これにより、ユーザに対して抽出色領域の選択を促す。図11は、デジタルスチルカメラ100Aの表示部114における候補色領域の表示例を示している。この例では、3つの候補色領域が、その色で塗りつぶされた矩形により表示されている。

0073

次に、ステップST19において、ユーザは、表示部114の表示に基づいて、ユーザ操作部113を操作して、抽出色領域に決定すべき色領域を選択する。図11の例では、左側の1つの色領域が枠FLで囲まれており、この色領域が選択された状態を示している。このステップST19におけるユーザ選択の後に、画像解析部101Aは、ステップST16において、ユーザが選択した所定数の色領域を、抽出色領域に決定する。

0074

このように頻度が閾値を超える色領域が複数あるとき、抽出色領域に決定すべき色領域を、ユーザに選択させることで、ユーザの好みにあった色領域を抽出色領域として決定することが可能となる。

0075

なお、上述では候補色領域をデジタルスチルカメラ100Aの表示部114に表示し、また、ユーザはデジタルスチルカメラ100Aのユーザ操作部113を操作して抽出色領域に決定すべき色領域を選択するように説明した。しかし、候補色領域を表示する表示部は外部機器であってもよい。また、ユーザが選択操作する操作部も、リモートコントローラやネットワーク経由など外部機器であってもよい。

0076

すなわち、画像処理装置であるデジタルスチルカメラ100Aは、少なくとも、頻度が閾値を超える複数の色領域のうち頻度の高い上位N領域(Nは2以上の整数)を候補色領域として表示部に表示させ、この表示部の表示に基づいてユーザに対して抽出色領域の選択を促すユーザ選択取得部の機能を備えていればよい。

0077

また、上述実施の形態においては、頻度が閾値を超える色領域がないとき、色領域解析領域を順に、画面中心や画面中の合焦位置等に向かって狭めることが行われる。しかし、この処理はあくまでもオプションであり、この処理自体をしなくても良い。その場合、例えば、閾値は使用されず、単に、頻度が上位の一つまたは所定数の色領域を抽出色領域に決定するようにされる。

0078

また、上述実施の形態おいて、画像解析部101,101Aおよび画像処理部102の処理は、ハードウェアで実行できる他、ソフトウェアでも実行可能である。ソフトウェアによる処理を実行する場合には、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

0079

また、本技術は、以下のような構成を取ることもできる。
(1)入力画像信号の色情報を用いて、少なくとも画像内の一部領域を含む抽出色領域を決定する処理を行う抽出色領域決定部と、
上記入力画像信号の、上記抽出色領域決定部で決定された抽出色領域および/または該抽出色領域を除く他の領域に対して、画像処理を施して出力画像信号を得る画像処理部とを備える
画像処理装置。
(2)上記抽出色領域決定部は、第1の画像領域において上記抽出色領域を決定できないとき、上記第1の画像領域より狭い第2の画像領域において上記抽出色領域を決定する処理を行う
前記(1)に記載の画像処理装置。
(3)上記抽出色領域決定部は、上記第1の画像領域において、画素毎あるいは所定数の画素を含むブロック毎に複数の色領域のいずれかに振り分ける処理を行った後に、頻度が閾値を超える色領域があるとき、該色領域のうち少なくとも1つの色領域を上記抽出色領域に決定し、頻度が閾値を超える領域がないとき、上記第1の画像領域より狭い第2の画像領域において上記抽出色領域を決定する処理を行う
前記(2)に記載の画像処理装置。
(4)上記抽出色領域決定部は、上記第2の画像領域を、上記第1の画像領域が画面中心に向かって狭められた画像領域とする
前記(2)または(3)に記載の画像処理装置。
(5)上記抽出色領域決定部は、上記第2の画像領域を、上記第1の画像領域が画面中の合焦位置に向かって狭められた画像領域とする
前記(2)または(3)に記載の画像処理装置。
(6)上記抽出色領域決定部は、所定画像領域において、画素毎あるいは所定数の画素を含むブロック毎に複数の色領域のいずれかに振り分ける処理を行い、各色領域の頻度に基づいて上記抽出領域を決定する
前記(1)または(2)に記載の画像処理装置。
(7)上記抽出色領域決定部は、頻度が閾値を超える色領域が複数存在する場合は、頻度の高い方から所定数の色領域を上記抽出色領域に決定する
前記(6)に記載の画像処理装置。
(8)上記抽出色領域決定部は、頻度が閾値を超える色領域が複数存在する場合は、ユーザに対して上記抽出色領域の選択を促す
前記(6)に記載の画像処理装置。
(9)上記頻度が閾値を超える複数の色領域のうち頻度の高い上位N領域(Nは2以上の整数)を候補色領域として表示部に表示させ、
上記表示部の表示に基づいて、ユーザに対して上記抽出色領域の選択を促すユーザ選択取得部をさらに備える
前記(8)に記載の画像処理装置。
(10)上記抽出色領域決定部は、上記入力画像信号の撮像条件が変化した場合、上記決定される抽出色領域を更新する
前記(1)から(9)のいずれかに記載の画像処理装置。
(11)入力画像信号の色情報を用いて、少なくとも画像内の一部領域を含む抽出色領域を決定する処理を行う抽出色領域決定ステップと、
上記入力画像信号の、上記抽出色領域決定ステップで決定された抽出色領域および/または該抽出色領域を除く他の領域に対して、画像処理を施して出力画像信号を得る画像処理ステップとを備える
画像処理方法。
(12)コンピュータを、
入力画像信号の色情報を用いて、少なくとも画像内の一部領域を含む抽出色領域を決定する処理を行う抽出色領域決定手段と、
上記入力画像信号の、上記抽出色領域決定手段で決定された抽出色領域および/または該抽出色領域を除く他の領域に対して、画像処理を施して出力画像信号を得る画像処理手段と
して機能させるプログラム。
(13)撮像部と、
上記撮像部で得られる撮像画像信号の色情報を用いて、少なくとも画像内の一部領域を含む抽出色領域を決定する処理を行う抽出色領域決定部と、
上記撮像画像信号の、上記抽出色領域決定部で決定された抽出色領域および/または該抽出色領域を除く他の領域に対して、画像処理を施して処理画像信号を得る画像処理部と、
上記画像処理部で得られる処理画像信号を記録媒体に記録する記録部とを備える
撮像装置。

0080

100・・・画像処理装置
100A・・・デジタルスチルカメラ
101,101A・・・画像解析部
102・・・画像処理部
103・・・撮像部
104・・・出力部
110・・・カメラ本体部
111・・・CPU
112・・・メモリ
113・・・ユーザ操作部
114・・・表示部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ