図面 (/)

技術 画像処理装置、画像処理方法

出願人 オリンパス株式会社
発明者 松永拓也
出願日 2015年7月13日 (4年4ヶ月経過) 出願番号 2015-139927
公開日 2017年1月26日 (2年9ヶ月経過) 公開番号 2017-022610
状態 特許登録済
技術分野 スタジオ装置 カラーテレビジョン画像信号発生装置 カラーテレビジョンの色信号処理
主要キーワード 自動設定値 手動設定値 領域平均値 カラーマトリクス係数 色差閾値 室外風 蛍光灯モード カラーマトリクス演算
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年1月26日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (11)

課題

合成画像に適したホワイトバランス検出を、高速かつ安定に行い得る画像処理装置等を提供する。

解決手段

露光量の異なる2枚以上の画像の領域毎の輝度相当値を算出し、輝度相当値を閾値と比較して使用する画像を領域毎に選択する画像データ選択部31と、領域毎に選択された画像を用いてホワイトバランス係数を算出するホワイトバランスゲイン算出部32と、ホワイトバランスゲイン算出部32により算出されたホワイトバランス係数を用いて合成画像のホワイトバランスを補正する基本画像処理部34と、を備える画像処理装置。

概要

背景

例えば、窓から晴天の外の風景見え、室内は比較的照明暗い場合といった明暗差の大きいシーンでは、室外の風景に露出を合わせると室内が黒つぶれし、室内に露出を合わせると室外の風景が白飛びすることがある。

このような明暗差の大きいシーンにおいて、室内と室外風景の両方の階調をなるべく残した画像を得たいという要求に応えるために、1枚の画像よりもダイナミックレンジの広い合成画像高ダイナミックレンジ画像)を作成するHDR合成の技術が採用されたデジタルカメラが提案されている。

こうしたデジタルカメラでは、露光量の異なる複数枚の画像、例えば、適正露光よりも明るい露光条件の画像と、適正露光よりも暗い露光条件の画像と、を含む複数枚の画像を撮影し、これらの露光量の異なる複数枚の画像をHDR合成して合成画像データを生成するようになっている。

このように得られた合成画像データに対しても、通常の1枚撮影の画像データと同様に、ホワイトバランス補正が行われる。ただし、合成画像データを生成する元となる画像データは複数であるために、どの画像データに基づいてホワイトバランス係数を算出するかについての提案がなされている。

例えば、特開2014−175734号公報には、露光量の異なる少なくとも2つの画像の内の、どの画像の評価結果をホワイトバランス補正値を算出するために用いるかを、予め定められた条件に基づいて選択する技術が記載されている。

ところで、1枚の画像におけるホワイトバランス補正値の算出に関して、特開2003−244723号公報には、画像を複数の領域に分割する技術が記載されている。

概要

合成画像に適したホワイトバランス検出を、高速かつ安定に行い得る画像処理装置等を提供する。露光量の異なる2枚以上の画像の領域毎の輝度相当値を算出し、輝度相当値を閾値と比較して使用する画像を領域毎に選択する画像データ選択部31と、領域毎に選択された画像を用いてホワイトバランス係数を算出するホワイトバランスゲイン算出部32と、ホワイトバランスゲイン算出部32により算出されたホワイトバランス係数を用いて合成画像のホワイトバランスを補正する基本画像処理部34と、を備える画像処理装置。

目的

また、第2の方法は、HDR合成前の複数画像のそれぞれについて、ホワイトバランス係数を算出してホワイトバランス補正を行い、ホワイトバランス補正後の複数画像をHDR合成することである

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

露光量の異なる複数枚の画像データを合成して合成画像データを生成する画像処理装置において、上記複数枚の画像データの内の2枚以上の画像データのそれぞれを複数の領域に分割して、分割した領域毎に、輝度相当値を含む画像情報を算出する画像情報算出部と、上記輝度相当値と所定の閾値とを比較した結果に応じて、上記2枚以上の画像データの中からホワイトバランス調整に用いる画像データを上記領域毎に1つ以上選択する画像データ選択部と、上記画像データ選択部により上記領域毎に選択された画像データを用いて、上記合成画像データに適用するためのホワイトバランス係数を算出するホワイトバランスゲイン算出部と、上記ホワイトバランスゲイン算出部により算出されたホワイトバランス係数を用いて上記合成画像データのホワイトバランス補正するホワイトバランス補正部と、を備えることを特徴とする画像処理装置。

請求項2

上記2枚以上の画像データの枚数をn枚としたときに、上記画像データ選択部は上記閾値を(n−1)個設定するものであって、かつ、該閾値を、撮影時の条件に応じて設定することを特徴とする請求項1に記載の画像処理装置。

請求項3

上記2枚以上の画像データは、適正露光画像データと、アンダー露光画像データと、オーバー露光画像データと、の3枚であり、上記適正露光画像データのある領域における上記輝度相当値をX(0)とするときに、上記画像データ選択部は、2個の上記閾値をa、およびa<bを満たすbとして設定して、X(0)<aである場合に上記オーバー露光画像データを選択し、a≦X(0)≦bである場合に上記適正露光画像データを選択し、X(0)>bである場合に上記アンダー露光画像データを選択することを特徴とする請求項2に記載の画像処理装置。

請求項4

上記画像データ選択部は、上記2枚以上の画像データの位置ずれを検出する機能を有し、位置ずれを検出した場合には、X(0)<aであっても上記適正露光画像データを選択し、X(0)>bであっても上記適正露光画像データを選択することを特徴とする請求項3に記載の画像処理装置。

請求項5

上記オーバー露光画像データの上記ある領域における上記輝度相当値をX(+1)、上記アンダー露光画像データの上記ある領域における上記輝度相当値をX(−1)とするときに、上記画像データ選択部は、X(0)<aであってかつX(0)≧X(+1)であるとき、または、X(0)>bであってかつX(0)≦X(−1)であるときに、位置ずれがあると検出することを特徴とする請求項4に記載の画像処理装置。

請求項6

上記画像データ選択部は、上記領域毎の画像情報に基づいて該領域毎の色値を算出し、上記適正露光画像データのある領域における上記色値をC(0)、上記オーバー露光画像データの上記ある領域における上記色値をC(+1)、上記アンダー露光画像データの上記ある領域における上記色値をC(−1)とするときに、色値の差分が大きいか否かを判定するための色差閾値Cthを用いて、X(0)<aであってかつ|C(+1)−C(0)|≧Cthであるとき、または、X(0)>bであってかつ|C(−1)−C(0)|≧Cthであるときに、位置ずれがあると検出することを特徴とする請求項4に記載の画像処理装置。

請求項7

上記画像データ選択部は、ある領域に対して、ホワイトバランス調整に用いる画像データを複数枚選択した場合には、合計が1となるような規格化条件を満たす重みを用いて、選択した複数枚の画像データにおける該ある領域の画像情報に基づき評価値を算出し、上記ホワイトバランスゲイン算出部は、上記画像データ選択部により算出された評価値に基づき、上記合成画像データに適用するためのホワイトバランス係数を算出することを特徴とする請求項1に記載の画像処理装置。

請求項8

上記2枚以上の画像データはオーバー露光画像データを含み、上記画像データ選択部は、撮影時の条件が水中撮影である場合には、水中撮影でない場合よりも上記オーバー露光画像データが高い割合で選択されるように、画像データを選択することを特徴とする請求項1に記載の画像処理装置。

請求項9

上記2枚以上の画像データはオーバー露光画像データを含み、上記画像データ選択部は、上記撮影時の条件が水中撮影である場合には、水中撮影でない場合よりも上記オーバー露光画像データが高い割合で選択されるように、上記閾値を設定することを特徴とする請求項2に記載の画像処理装置。

請求項10

上記画像データ選択部は、上記2枚以上の画像データの位置ずれを検出する機能を有し、上記撮影時の条件が水中撮影である場合に、位置ずれを検出した場合には、X(0)>bであっても上記適正露光画像データを選択することを特徴とする請求項3に記載の画像処理装置。

請求項11

上記2枚以上の画像データは、適正露光画像データと、オーバー露光画像データと、を含み、上記画像データ選択部は、適正露光に対してマイナス露出補正を行うことが上記撮影時の条件である場合には、上記オーバー露光画像データがより低い割合で選択されるように、上記閾値を設定することを特徴とする請求項2に記載の画像処理装置。

請求項12

上記2枚以上の画像データは、適正露光画像データと、アンダー露光画像データと、を含み、上記画像データ選択部は、適正露光に対してプラス露出補正を行うことが上記撮影時の条件である場合には、上記アンダー露光画像データがより低い割合で選択されるように、上記閾値を設定することを特徴とする請求項2に記載の画像処理装置。

請求項13

上記輝度相当値は、輝度成分を最も多く含む色成分の値であることを特徴とする請求項1に記載の画像処理装置。

請求項14

露光量の異なる複数枚の画像データを合成して合成画像データを生成する画像処理方法において、上記複数枚の画像データの内の2枚以上の画像データのそれぞれを複数の領域に分割して、分割した領域毎に、輝度相当値を含む画像情報を算出する第1ステップと、上記輝度相当値と所定の閾値とを比較した結果に応じて、上記2枚以上の画像データの中からホワイトバランス調整に用いる画像データを上記領域毎に1つ以上選択する第2ステップと、上記第2ステップにより上記領域毎に選択された画像データを用いて、上記合成画像データに適用するためのホワイトバランス係数を算出する第3ステップと、上記第3ステップにより算出されたホワイトバランス係数を用いて上記合成画像データのホワイトバランスを補正する第4ステップと、を有することを特徴とする画像処理方法。

技術分野

0001

本発明は、露光量の異なる複数枚の画像を合成して合成画像データを生成する画像処理装置画像処理方法に関する。

背景技術

0002

例えば、窓から晴天の外の風景見え、室内は比較的照明暗い場合といった明暗差の大きいシーンでは、室外の風景に露出を合わせると室内が黒つぶれし、室内に露出を合わせると室外の風景が白飛びすることがある。

0003

このような明暗差の大きいシーンにおいて、室内と室外風景の両方の階調をなるべく残した画像を得たいという要求に応えるために、1枚の画像よりもダイナミックレンジの広い合成画像高ダイナミックレンジ画像)を作成するHDR合成の技術が採用されたデジタルカメラが提案されている。

0004

こうしたデジタルカメラでは、露光量の異なる複数枚の画像、例えば、適正露光よりも明るい露光条件の画像と、適正露光よりも暗い露光条件の画像と、を含む複数枚の画像を撮影し、これらの露光量の異なる複数枚の画像をHDR合成して合成画像データを生成するようになっている。

0005

このように得られた合成画像データに対しても、通常の1枚撮影の画像データと同様に、ホワイトバランス補正が行われる。ただし、合成画像データを生成する元となる画像データは複数であるために、どの画像データに基づいてホワイトバランス係数を算出するかについての提案がなされている。

0006

例えば、特開2014−175734号公報には、露光量の異なる少なくとも2つの画像の内の、どの画像の評価結果をホワイトバランス補正値を算出するために用いるかを、予め定められた条件に基づいて選択する技術が記載されている。

0007

ところで、1枚の画像におけるホワイトバランス補正値の算出に関して、特開2003−244723号公報には、画像を複数の領域に分割する技術が記載されている。

先行技術

0008

特開2014−175734号公報
特開2003−244723号公報

発明が解決しようとする課題

0009

上述したようなHDR合成画像のホワイトバランス補正方法としては、例えば、次の2つの方法が考えられる。

0010

第1の方法は、HDR合成画像自体から、ホワイトバランス係数を算出して、ホワイトバランス補正を行うことである。しかし、この方法の場合には、HDR合成画像を生成してからでないとホワイトバランス係数を算出することができず、ホワイトバランス補正に時間を要してしまう。さらに、HDR合成画像は、画像内の領域によって露光量が異なるために、ホワイトバランスが良好な結果にならないことがある。

0011

また、第2の方法は、HDR合成前の複数画像のそれぞれについて、ホワイトバランス係数を算出してホワイトバランス補正を行い、ホワイトバランス補正後の複数画像をHDR合成することである。ここに、HDR合成前の画像には、輝度がかなり低い黒つぶれ部分や輝度がかなり高い白飛び部分があるが、こうした部分ではホワイトバランスが崩れていることがある。従って、HDR合成前の画像に基づいて算出したホワイトバランス係数を用いてホワイトバランス補正を行った画像を合成しても、良好にホワイトバランス補正されたHDR合成画像を得られないことがある。

0012

同様に、上記特開2014−175734号公報に記載されたような、露光量の異なる複数枚の画像の内の、何れか1枚の画像に基づいて算出したホワイトバランス係数を用いてHDR合成画像をホワイトバランス補正する場合にも、ダイナミックレンジが広いシーンでは黒つぶれ部分や白とび部分の存在により適切なホワイトバランス係数が得られないことがあるために、ホワイトバランスが良好な結果にならないことがある。しかも、露光量の異なる複数枚の画像の内の、どの画像が採用されるかに応じてホワイトバランス係数が変化するために、ホワイトバランス補正結果が不安定になってしまう。

0013

また、上記特開2003−244723号公報は、1枚の画像におけるホワイトバランス補正値を算出する技術であるために、HDR合成画像のホワイトバランス補正をどのように行うかについては記載されていない。

0014

本発明は上記事情に鑑みてなされたものであり、合成画像に適したホワイトバランス検出を、高速かつ安定に行うことができる画像処理装置、画像処理方法を提供することを目的としている。

課題を解決するための手段

0015

本発明のある態様による画像処理装置は、露光量の異なる複数枚の画像データを合成して合成画像データを生成する画像処理装置において、上記複数枚の画像データの内の2枚以上の画像データのそれぞれを複数の領域に分割して、分割した領域毎に、輝度相当値を含む画像情報を算出する画像情報算出部と、上記輝度相当値と所定の閾値とを比較した結果に応じて、上記2枚以上の画像データの中からホワイトバランス調整に用いる画像データを上記領域毎に1つ以上選択する画像データ選択部と、上記画像データ選択部により上記領域毎に選択された画像データを用いて、上記合成画像データに適用するためのホワイトバランス係数を算出するホワイトバランスゲイン算出部と、上記ホワイトバランスゲイン算出部により算出されたホワイトバランス係数を用いて上記合成画像データのホワイトバランスを補正するホワイトバランス補正部と、を備えている。

0016

本発明のある態様による画像処理方法は、露光量の異なる複数枚の画像データを合成して合成画像データを生成する画像処理方法において、上記複数枚の画像データの内の2枚以上の画像データのそれぞれを複数の領域に分割して、分割した領域毎に、輝度相当値を含む画像情報を算出する第1ステップと、上記輝度相当値と所定の閾値とを比較した結果に応じて、上記2枚以上の画像データの中からホワイトバランス調整に用いる画像データを上記領域毎に1つ以上選択する第2ステップと、上記第2ステップにより上記領域毎に選択された画像データを用いて、上記合成画像データに適用するためのホワイトバランス係数を算出する第3ステップと、上記第3ステップにより算出されたホワイトバランス係数を用いて上記合成画像データのホワイトバランスを補正する第4ステップと、を有している。

発明の効果

0017

本発明の画像処理装置、画像処理方法によれば、合成画像に適したホワイトバランス検出を、高速かつ安定に行うことができる。

図面の簡単な説明

0018

本発明の実施形態1における撮像装置の構成を示すブロック図。
上記実施形態1の撮像装置における撮影モードの処理を示すフローチャート
上記実施形態1の図2のステップS6における評価値作成処理の詳細を示すフローチャート。
上記実施形態1において、HDR合成モードにあるときの図3のステップS25における画像データ選択処理の詳細を示すフローチャート。
上記実施形態1において、HDR合成水中撮影モードにあるときの図3のステップS25における画像データ選択処理の詳細を示すフローチャート。
上記実施形態1の図2のステップS9における基本画像処理の詳細を示すフローチャート。
上記実施形態1において、適正露光画像の輝度相当値と比較するための閾値を、撮影時の条件に応じて設定する例を示す図。
上記実施形態1において、撮影枚数が3枚であるときの領域毎の評価値を算出する際に、閾値の近傍において露光量が異なる画像を重み付け加算する例を示す線図。
上記実施形態1において、撮影枚数が2枚であるときの領域毎の評価値を算出する際に、閾値の近傍において露光量が異なる画像を重み付け加算する例を示す線図。
上記実施形態1において、画像全体の評価値を算出する際の領域に対する重みを、領域における適正露光画像の輝度相当値に応じて変化させる例を示す線図。

実施例

0019

以下、図面を参照して本発明の実施の形態を説明する。
[実施形態1]

0020

図1から図10は本発明の実施形態1を示したものであり、図1は撮像装置の構成を示すブロック図である。すなわち、本実施形態は、露光量の異なる複数枚の画像データを合成して合成画像データを生成する画像処理装置を、撮像装置に適用したものとなっている。

0021

なお、本実施形態においては、撮像装置としてレンズ交換式のデジタルカメラを例に挙げて説明するが、これに限定されるものではなく、レンズ固定式のコンパクトデジタルカメラ、あるいはスマートフォン等の、撮像機能を備えた装置であれば任意の装置であって構わない。

0022

この撮像装置は、交換式レンズ1とカメラ本体2とをインタフェース(I/F)3を介して通信できるように接続して構成されていて、連写して得られる複数枚の画像データを合成して1枚の合成画像データを生成する機能を有している。

0023

交換式レンズ1は、例えばレンズマウントを介してカメラ本体2に対して着脱自在に装着されるようになっており、レンズマウントに形成した電気接点(交換式レンズ1側に設けられた電気接点およびカメラ本体2側に設けられた電気接点)等によりインタフェース3が構成されている。

0024

交換式レンズ1は、レンズ11と、絞り12と、ドライバ13と、フラッシュメモリ14と、マイクロコンピュータ15と、を備えている。

0025

レンズ11は、被写体の光学像をカメラ本体2の後述する撮像素子22上に結像するための撮影光学系である。

0026

絞り12は、レンズ11から撮像素子22へ向かう光束の通過範囲を制御する光学絞りである。

0027

ドライバ13は、マイクロコンピュータ15からの指令に基づき、レンズ11を駆動してフォーカス位置の調整を行い、レンズ11が電動ズームレンズ等である場合にはさらに焦点距離の変更も行う。加えて、ドライバ13は、マイクロコンピュータ15からの指令に基づき、絞り12を駆動して開口径を変化させる。この絞り12の駆動により、被写体の光学像の明るさが変化し、ボケの大きさなども変化する。

0028

フラッシュメモリ14は、マイクロコンピュータ15により実行される制御プログラムや、交換式レンズ1に関する各種の情報を記憶する記憶媒体である。

0029

マイクロコンピュータ15は、いわゆるレンズ側コンピュータであり、ドライバ13、フラッシュメモリ14、およびインタフェース3と接続されている。そして、マイクロコンピュータ15は、インタフェース3を介して後述する本体側コンピュータであるマイクロコンピュータ50と通信し、マイクロコンピュータ50からの指令を受けて、フラッシュメモリ14に記憶されている情報の読出書込を行い、ドライバ13を制御する。さらに、マイクロコンピュータ15は、この交換式レンズ1に関する各種の情報をマイクロコンピュータ50へ送信する。

0030

インタフェース3は、交換式レンズ1のマイクロコンピュータ15と、カメラ本体2のマイクロコンピュータ50とを、双方向に通信できるように接続する。

0031

次に、カメラ本体2は、シャッタ21と、撮像素子22と、アナログ処理部23と、アナログデジタル変換部(A/D変換部)24と、バス25と、SDRAM26と、AE処理部27と、AF処理部28と、画像処理部30と、画像圧縮部37と、画像伸張部38と、LCDドライバ41と、LCD42と、メモリインタフェースメモリI/F)43と、記録媒体44と、操作部47と、フラッシュメモリ48と、マイクロコンピュータ50と、を備えている。

0032

シャッタ21は、レンズ11からの光束が撮像素子22へ到達する時間を制御するものであり、例えばシャッタ幕走行させる構成のメカニカルシャッタとなっている。このシャッタ21は、マイクロコンピュータ50の指令により駆動されて、撮像素子22への光束の到達時間、つまり撮像素子22による被写体の露光時間を制御する。

0033

撮像素子22は、撮像面に所定の画素ピッチで2次元状に配列された複数の画素を有し、撮像制御部であるマイクロコンピュータ50の制御に基づき、レンズ11および絞り12からの光束を受光し撮像して(つまり、結像された被写体の光学像を光電変換して)アナログ画像信号を生成する撮像部である。ここに、撮像素子22は、レンズ11の光軸に垂直な面を受光面とするように配置されているために、複数の画素の2次元状配列方向は、レンズ11の光軸に垂直な方向となる。

0034

本実施形態の撮像素子22は、例えば、垂直方向および水平方向に配列された複数の画素の前面に原色ベイヤー配列(R(赤色)G(緑色)B(青色)ベイヤー配列)のカラーフィルタを配置した単板式の撮像素子として構成されている。なお、撮像素子22は、単板式の撮像素子に限らないことは勿論であり、例えば基板厚み方向に色成分を分離するような積層式の撮像素子であっても良い。

0035

アナログ処理部23は、撮像素子22から読み出されたアナログ画像信号に対して、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるようにゲインアップを行う。

0036

A/D変換部24は、アナログ処理部23から出力されたアナログ画像信号をデジタル画像信号(適宜、画像データという)に変換する。

0037

バス25は、撮像装置内のある場所で発生した各種のデータや制御信号を、撮像装置内の他の場所へ転送するための転送路である。本実施形態におけるバス25は、A/D変換部24と、SDRAM26と、AE処理部27と、AF処理部28と、画像処理部30と、画像圧縮部37と、画像伸張部38と、LCDドライバ41と、メモリI/F43と、マイクロコンピュータ50と、に接続されている。

0038

A/D変換部24から出力された画像データ(以下では適宜、RAW画像データという)は、バス25を介して転送され、SDRAM26に一旦記憶される。

0039

SDRAM26は、上述したRAW画像データ、あるいは画像処理部30、画像圧縮部37、画像伸張部38等において処理された画像データ等の各種データを一時的に記憶する記憶部である。

0040

AE処理部27は、RAW画像データに基づき、被写体輝度を算出する。ここで算出された被写体輝度は、自動露出AE)制御、すなわち、絞り12の制御やシャッタ21の制御、撮像素子22の露光タイミング制御(あるいは、いわゆる電子シャッタの制御)等に用いられる。

0041

AF処理部28は、RAW画像データから高周波成分の信号を抽出して、AF(オートフォーカス積算処理により、合焦検出値を取得する。ここで取得された合焦検出値は、レンズ11のAF駆動に用いられる。なお、AFがこのようなコントラストAFに限定されないことは勿論であり、例えば専用のAFセンサ(あるいは撮像素子22上のAF用画素)を用いて位相差AFを行うように構成しても構わない。

0042

画像処理部30は、画像データに対して種々の画像処理を行うものであり、画像データ選択部31、ホワイトバランスゲイン算出部32、HDR合成部33、および基本画像処理部34を含んでいる。

0043

画像データ選択部31は、露光量の異なる複数枚の画像データの内の2枚以上の画像データのそれぞれを複数の領域に分割して、分割した領域毎に、輝度相当値を含む画像情報を算出する画像情報算出部として機能する。さらに、画像データ選択部31は、輝度相当値と所定の閾値とを比較した結果に応じて、上述した2枚以上の画像データの中からホワイトバランス調整に用いる画像データを領域毎に1つ以上選択する。こうして、画像データ選択部31は、HDR合成処理を行う際に、分割した領域毎にどの露光条件で撮影された画像データを使用するかを選択するものとなっている。また、画像データ選択部31が画像データを選択する際には、HDR合成処理に用いる露光量の異なる複数枚の画像データの全てをホワイトバランス調整に用いる画像データの候補とする必要はなく、2枚以上を候補とすれば良い。

0044

ホワイトバランスゲイン算出部32は、画像データ選択部31により領域毎に選択された画像データを用いて、合成画像データに適用するためのホワイトバランスゲインとして、ホワイトバランス係数を算出する。

0045

HDR合成部33は、露光量の異なる複数枚の画像を合成して、高ダイナミックレンジ画像合成(HDR画像合成)を生成する画像合成部である。このHDR合成部33は、具体的には、例えば露光量の異なる複数枚の画像における同一画素位置の輝度相当値を比較して、輝度相当値が最適となる画像の画素値をHDR合成画像における画素値として採用する等を行う。

0046

基本画像処理部34は、OB減算、ホワイトバランス補正、同時化、カラーマトリクス演算ガンマ変換色補正エッジ強調ノイズ低減、等の各処理を行う。従って、基本画像処理部34はホワイトバランス補正部としての機能を備えている。この画像処理部30によって各種の処理が行われた後の画像データは、SDRAM26に再び記憶される。

0047

画像圧縮部37は、画像データを記録する際に、画像処理部30により処理された画像データをSDRAM26から読み出しJPEG圧縮方式に従って圧縮し、JPEG画像データを生成する。このJPEG画像データは、マイクロコンピュータ50によりヘッダ等を付加されて、メモリI/F43を介して記録媒体44にJPEGファイルとして記録される。

0048

画像伸張部38は、圧縮画像データの伸張を行う。例えば記録済み画像再生を行う場合には、マイクロコンピュータ50の制御に基づき、メモリI/F43を介して記録媒体44から読み出されたJPEGファイル中のJPEG画像データを、画像伸張部38がJPEG伸張方式に従って伸張する。

0049

LCDドライバ41は、SDRAM26に記憶されている画像データを読み出して、読み出した画像データを映像信号へ変換し、LCD42を駆動制御して映像信号に基づく画像をLCD42に表示させる。

0050

LCD42は、上述したようなLCDドライバ41の駆動制御により、画像を表示すると共に、この撮像装置に係る各種の情報を表示する。

0051

ここに、LCD42において行われる画像表示には、撮影直後の画像データを短時間だけ表示するレックビュー表示、記録媒体44に記録されたJPEGファイルの再生表示、およびライブビュー表示などがある。

0052

メモリI/F43は、記録媒体44へ画像データを記録する制御を行う記録制御部であり、さらに、記録媒体44からの画像データの読み出しも行う。

0053

記録媒体44は、画像データを不揮発に記憶する記録部であり、例えばカメラ本体2に着脱できるメモリカード等により構成されている。ただし、記録媒体44は、メモリカードに限定されるものではなく、ディスク状の記録媒体でも構わないし、その他の任意の記録媒体であっても良い。従って、記録媒体44は、撮像装置に固有の構成である必要はない。

0054

操作部47は、この撮像装置に対する各種の操作入力を行うためのものであり、撮像装置の電源オンオフするための電源ボタン、画像の撮影開始を指示するための例えば1st(ファーストレリーズスイッチおよび2nd(セカンド)レリーズスイッチを有して構成されている2段式操作ボタンでなるレリーズボタン、記録画像の再生を行うための再生ボタン、撮像装置の設定等を行うためのメニューボタン、項目選択操作に用いられる十字キー選択項目確定操作に用いられるOKボタン等の操作ボタンなどを含んでいる。ここに、メニューボタンや十字キー、OKボタン等を用いて設定できる項目には、撮影モード(プログラム撮影モード、絞り優先撮影モード、シャッタ速度優先撮影モード、マニュアル撮影モード、HDR合成モード、水中撮影モード、HDR合成水中撮影モード等)、記録モードJPEG記録モード、RAW+JPEG記録モード等)、再生モードなどが含まれている。この操作部47に対して操作が行われると、操作内容に応じた信号がマイクロコンピュータ50へ出力される。

0055

フラッシュメモリ48は、マイクロコンピュータ50により実行される処理プログラムと、この撮像装置に係る各種の情報と、を不揮発に記憶する記憶媒体である。ここに、フラッシュメモリ48が記憶する情報としては、例えば、画像処理に用いるパラメータ、カメラ本体2を特定するための機種名や製造番号、ユーザにより設定された設定値、などが幾つかの例として挙げられる。このフラッシュメモリ48が記憶する情報は、マイクロコンピュータ50により読み取られる。

0056

マイクロコンピュータ50は、カメラ本体2内の各部を制御すると共に、インタフェース3を介してマイクロコンピュータ15に指令を送信し交換式レンズ1を制御するものであり、この撮像装置を統括的に制御する制御部である。マイクロコンピュータ50は、ユーザにより操作部47から操作入力が行われると、フラッシュメモリ48に記憶されている処理プログラムに従って、フラッシュメモリ48から処理に必要なパラメータを読み込んで、操作内容に応じた各種シーケンスを実行する。

0057

制御部であるマイクロコンピュータ50は、HDR合成モード(または、HDR合成水中撮影モード、以下適宜同様)において、絞り12やシャッタ21やアナログ処理部23のゲイン(ISO感度)等を制御しながら撮像素子22に撮像を行わせて、露光量の異なる複数枚の画像データを取得させる撮像制御部としても機能するようになっている。

0058

次に、図2は、撮像装置における撮影モードの処理を示すフローチャートである。この処理(および、以下の各フローチャートに示す処理)は、制御部であるマイクロコンピュータ50の制御に基づき行われる。

0059

電源ボタンにより撮像装置の電源がオンされて図示しないメインルーチンの処理を行っているときに、操作部47の操作により撮像装置が撮影モードに設定されると、この処理が実行される。

0060

するとまず、撮影条件の設定を行う(ステップS1)。ここでは、ユーザが設定した各種の撮影条件を取得して、取得した撮影条件となるように設定を行う。具体的に、ユーザが撮影モードとして、プログラム撮影モード、絞り優先撮影モード、シャッタ速度優先撮影モード、マニュアル撮影モード、HDR合成モード、水中撮影モード、HDR合成水中撮影モード等の何れを設定したかを判定し、判定結果に応じて撮像装置のモード設定を行う。

0061

なお、以下では、HDR合成モードまたはHDR合成水中撮影モードが設定されているものとして説明する。

0062

次に、例えばライブビューにおいて取得された画像に基づいて、AE処理部27により測光演算を行い、AF処理部28により測距演算を行って、露光条件を決定する(ステップS2)。

0063

すなわち、測距演算結果に基づきレンズ11のフォーカスレンズを駆動して被写体像が撮像素子22上に合焦するように調整し、測光演算結果に基づき露光量を算出して設定する。ただし、ユーザが手動でフォーカス位置や露光量を設定した場合には、自動設定値に優先してこれらの手動設定値を用いる。

0064

ここでは、HDR合成モードまたはHDR合成水中撮影モードが設定されていることを想定しているために、測光演算結果に基づき適正露光画像を得るための露光条件と、適正露光画像よりも暗いアンダー露光画像を得るための露光条件と、適正露光画像よりも明るいオーバー露光画像を得るための露光条件と、を算出して、例えばまず適正露光画像を得るための露光条件となるように絞り値やシャッタ速度やISO感度等を設定する(ただし、撮影順序は特に限定されないために、適正露光画像よりも先にアンダー露光画像またはオーバー露光画像を撮影する場合には、これらの画像を得るための露光条件をまず設定することになる)。ここに、適正露光画像に対するアンダー露光画像とオーバー露光画像の各露出補正量は、ユーザが設定した値がある場合にはその値を用い、ユーザ設定値がない場合には予め定められた値を用いれば良い。

0065

そして、設定された露光条件により、1枚の画像を撮影する(ステップS3)。

0066

続いて、HDR合成モード(またはHDR合成水中撮影モード)における所定枚数の撮影が終了したか否かを判定する(ステップS4)。この撮影枚数も、ユーザが設定した枚数がある場合にはその枚数を用い、ユーザが設定した枚数がない場合には予め定められた枚数を用いれば良い。なお、本実施形態においては、基本的に、所定枚数が3枚(あるいは後で図7を参照して説明するように、動画またはスルー画などのHDR合成処理においては、撮影枚数が2枚(適正露光画像を撮影せず、アンダー露光画像およびオーバー露光画像だけを撮影する等)となることもある)である場合を説明する。

0067

このステップS4において、所定枚数の撮影がまだ終了していないと判定された場合には、露光条件を次の画像用の露光条件に変更してから(ステップS5)、ステップS3へ戻って次の撮影を行う。

0068

こうして、ステップS4において所定枚数の撮影が終了したと判定された場合には、画像データ選択部31が評価値を作成する(ステップS6)。なお、評価値の作成に使用する画像として、撮影された全ての画像を用いても良いし、一部の画像を用いても良い。例えば、撮影された複数の画像の中の、適正露光画像と、最もオーバーな露光条件で撮影された画像と、最もアンダーな露光条件で撮影された画像と、を用いても良い。

0069

ここで、図3図2のステップS6における評価値作成処理の詳細を示すフローチャートである。

0070

この処理を開始すると、まず、マイクロコンピュータ50が、水中撮影判定部として機能して、水中撮影であるか否かを判定する(ステップS21)。この判定は、ユーザによる手動の設定入力(HDR合成水中撮影モードへ設定するための入力等)に基づき行っても良いし、撮影された画像の内の例えば適正露光画像を解析することにより自動判定として行っても構わない。自動判定の場合には、例えば、画像全体の色成分を解析して、青色成分比率が高い場合に水中撮影と判定する方法などが挙げられる。

0071

続いて、露光量が異なる複数枚の画像の内の2枚以上の画像データのそれぞれを、複数であるN個の領域に分割する(ステップS22)。ここに、分割方法の一例を挙げれば、縦64×横64分割である。また、分割は、等間隔で(つまり、各領域の大きさを均等にして)行っても良いし、あるいは中央部と周辺部とで異なる間隔で行っても構わない。以下では適宜、分割した領域をi(i=1,…,N)により区別することにする。

0072

さらに、画像データ選択部31が、画像を選択する際に用いる閾値を設定する(ステップS23)。ここに、露光量の異なる複数枚の画像データの内の2枚以上の画像データの枚数をn枚としたときに、画像データ選択部31は、閾値を(n−1)個設定するものである。具体例として、画像枚数が3枚であるときには、画像データ選択部31は、閾値を2個設定する。

0073

また、閾値は、領域i毎に異ならせる必要はなく、全ての領域iに対して同一の値を用いて構わない。そして、閾値は、予め定められた値でも良いし、撮影時の条件に応じて調整した値でも構わない。画像データ選択部31が、閾値を、撮影時の条件に応じて設定する例については、後で図7を参照して説明する。

0074

次に、適正露光画像、オーバー露光画像、アンダー露光画像のそれぞれにおいて、領域i毎に画像情報を算出する(ステップS24)。ここで算出する画像情報は、輝度相当値を含み、この輝度相当値は、例えばRGBベイヤー画像であるRAW画像の場合には、領域i内のG画素の画素値の平均値(または積算値でも構わない、以下同様)、または、領域i内のRGBの各色成分毎の画素値の平均値をY値に変換した平均Y値などが該当する。

0075

具体的に、露光量の異なる画像をeにより表し、特に、画像枚数が3枚であるときにおける、適正露光画像をe=0、オーバー露光画像をe=+1、アンダー露光画像をe=−1により表すものとする。

0076

そして、画像eにおける、画素座標(x,y)が領域iに含まれる(つまり、(x,y)∈iとなる)色成分Re(x,y),Ge(x,y),Be(x,y)の平均値を、次の数式1に示すように、Rei,Gei,Beiによりそれぞれ表すことにする。
[数1]

0077

ここで算出した画像情報である色成分の領域平均値Rei,Gei,Beiの内の、輝度成分を最も多く含む色成分の領域平均値Geiが上述した輝度相当値に該当する。ただし、上述したように、各色成分の領域平均値Rei,Gei,Beiに係数掛け加算することにより輝度成分の領域平均値Yeiを算出して、この輝度成分の領域平均値Yeiを輝度相当値として用いても構わない。

0078

次に、ステップS23において設定した閾値と、ステップS24において算出した輝度相当値とを用いて、1つ以上のどの画像eをホワイトバランス調整に用いる画像として領域i毎に選択するか、より具体的には、領域i毎にどの画像eをどのような重みweで使用するかを設定する(ステップS25)。

0079

ここに、重みweは、次の数式2に示すような規格化条件を満たすものとする。
[数2]

0080

この重みweをどのような値とするかの具体例については、後で図4図5図8図9等を参照して説明する。

0081

こうして重みweが設定されたら、画像データ選択部31は、重みweによりある領域iに対して選択された1つ以上の画像における該領域iの画像情報(色成分の領域平均値Rei,Gei,Bei)に基づき、領域iの重み付け色成分Ri,Gi,Biを、次の数式3に示すように算出する(ステップS26)。ここで算出した重み付け色成分Ri,Gi,Biが、ホワイトバランス係数を算出する際に用いる領域i毎の評価値である。
[数3]

0082

こうして、ステップS26の処理を行ったら、この処理からリターンする。

0083

図2の説明に戻って、ホワイトバランスゲイン算出部32が、画像データ選択部31により算出された評価値に基づき、合成画像データに適用するためのホワイトバランス係数を算出する(ステップS7)。

0084

具体的に、まず、領域i毎の評価値Ri,Gi,Biに基づいて、例えば領域i毎の重みαiを用いて、画像全体の評価値<R>,<G>,<B>を、次の数式4に示すように算出する。
[数4]

0085

ここに、全てのiに対してαi=1とおけば、領域i毎の評価値Ri,Gi,Biの単純平均を画像全体の評価値<R>,<G>,<B>とすることになる。また、領域i毎の輝度相当値に基づいて重みαiを設定する例については、後で図10を参照して説明する。さらに、これらの例に限らず、重みαiをその他の適宜の方法により設定しても構わない。

0086

そして、画像全体に対して適用するグローバルなホワイトバランス係数であって、HDR合成画像のR成分に対して適用するホワイトバランス係数gr、およびHDR合成画像のB成分に対して適用するホワイトバランス係数gbを、画像全体の評価値<R>,<G>,<B>に基づいて、次の数式5に示すように算出する。
[数5]

0087

続いて、HDR合成部33が、露光量の異なる複数枚の画像を合成して、1枚の画像よりもダイナミックレンジの広い高ダイナミックレンジ画像を作成する(ステップS8)。ここに、HDR合成部33による合成処理は、複数枚の画像に位置ずれがある場合には、例えば、適正露光画像を基準として適正露光以外の画像を位置合わせしてから行われる。

0088

なお、以下では、HDR合成部33による処理は、RAW画像データに対して行われ、作成された高ダイナミックレンジ画像もRAW画像であることを想定して説明する。ただし、HDR合成部33による合成処理が、画像処理部30によって画像処理が行われた画像データに対して行われるのを妨げるものではない。

0089

次に、基本画像処理部34が、作成された高ダイナミックレンジ画像であるRAW画像を画像処理(いわゆる現像処理)して、YC画像(輝度色差画像)、あるいはRGB画像を生成する(ステップS9)。

0090

その後、画像圧縮部37が現像処理された画像をJPEG圧縮し、マイクロコンピュータ50がメモリI/F43を介して記録媒体44にJPEGファイルとして記録して(ステップS10)、この処理から図示しないメイン処理にリターンする。

0091

続いて、図4はHDR合成モードにあるときの図3のステップS25における画像データ選択処理の詳細を示すフローチャートである。この画像データ選択処理は、上述したように、領域i毎に行われる。

0092

まず、ある領域iに関して、適正露光画像の輝度相当値をX(0)、アンダー露光画像の輝度相当値をX(−1)、オーバー露光画像の輝度相当値をX(+1)として記載し、画像枚数が3枚であるときに画像データ選択部31が設定する2個の閾値がa,b(ここに、a<b)であるものとする。

0093

上述した例においては、
X(0)=Gei(e=0)、またはX(0)=Yei(e=0)
X(−1)=Gei(e=−1)、またはX(−1)=Yei(e=−1)
X(+1)=Gei(e=+1)、またはX(+1)=Yei(e=+1)
である。

0094

そして、この図4に示す処理を開始すると、まず、X(0)<aであるか否かを判定する(ステップS31)。

0095

ここでX(0)<aであると判定された場合には、画像データ選択部31は、露光量の異なる複数枚の画像データの内の2枚以上の画像データの位置ずれを検出するために、さらに、X(0)<X(+1)であるか否かを判定する(ステップS32)。一般に、位置ずれがない場合には輝度相当値は露光量に応じた値となる。しかし、位置ずれがあると、輝度相当値と露光量とに逆転した関係が生じる場合がある。そこで、このステップS32および後述するステップS34は、こうした逆転が生じているか否かを判定することで、位置ずれがあるか否かを判定する処理となっている。

0096

また、ステップS31においてX(0)≧aであると判定された場合には、X(0)>bであるか否かを判定する(ステップS33)。

0097

ここでX(0)>bであると判定された場合には、画像データ選択部31は、露光量の異なる複数枚の画像データの内の2枚以上の画像データの位置ずれを検出するために、X(0)>X(−1)であるか否かを判定する(ステップS34)。

0098

ステップS32において、X(0)<X(+1)であると判定された場合には、オーバー露光画像を選択する(ステップS35)。ここでの選択は、重みwe(e=−1,0,+1)を、we(e=−1)=0、we(e=0)=0、we(e=+1)=1として設定していることを意味する。

0099

また、ステップS34において、X(0)>X(−1)であると判定された場合には、アンダー露光画像を選択する(ステップS36)。ここでの選択は、重みwe(e=−1,0,+1)を、we(e=−1)=1、we(e=0)=0、we(e=+1)=0として設定していることを意味する。

0100

それ以外の場合、つまり、ステップS32においてX(0)≧X(+1)であり位置ずれがあると判定された場合、ステップS33においてX(0)≦bであると判定された場合、ステップS34においてX(0)≦X(−1)であり位置ずれがあると判定された場合には、適正露光画像を選択する(ステップS37)。ここでの選択は、重みwe(e=−1,0,+1)を、we(e=−1)=0、we(e=0)=1、we(e=+1)=0として設定していることを意味する。

0101

そして、ステップS35〜S37の何れかにより画像eの重みweを設定したら、この処理からリターンする。

0102

このように、適正露光画像の輝度相当値X(0)が、a≦X(0)≦bの場合には適正露光画像を選択し、閾値aよりも小さい場合には基本的にオーバー露光画像を選択し、閾値bよりも大きい場合には基本的にアンダー露光画像を選択している。ここで基本的な選択と述べたのは、露光量の異なる複数枚の画像データの内の2枚以上の画像データの位置ずれを考慮しない場合、つまりステップS32およびステップS34の処理を行わない場合を指している。

0103

これに対して位置ずれを考慮する場合には、画像データ選択部31が、位置合わせの規準となる適正露光画像データに対する適正露光以外の画像データの位置ずれを検出して、位置ずれがある場合には、適切な情報が得られないオーバー露光画像またはアンダー露光画像を選択するのに代えて、適正露光画像を選択するようにしている。

0104

また、図5はHDR合成水中撮影モードにあるときの図3のステップS25における画像データ選択処理の詳細を示すフローチャートである。この画像データ選択処理も、上述したように、領域i毎に行われる。

0105

この図5に示す処理は、図4に示した処理におけるステップS32を省略したものとなっている。従って、ステップS31においてX(0)<aであると判定された場合には、ステップS35へ行ってオーバー露光画像を選択する。

0106

従って、X(0)<aであるときには、X(0)とX(+1)の大小関係に関わらずオーバー露光画像が選択され、適正露光画像が選択されることはない。

0107

こうして、R成分の減衰が大きい水中撮影の場合は、画像中のR成分が比較的残っているオーバー露光画像を優先して選択するようにしている。

0108

なお、図4および図5においては、輝度相当値の大小関係が露光量の大小関係と逆転しているか否かに応じて位置ずれが生じているか否かを判定したが、これに限るものではなく、例えば色に基づき判定するようにしても良い。

0109

すなわち、取得される複数枚の画像は、位置ずれがない場合には露光量が異なるだけであるために、領域iにおける複数枚の画像間の色の違いは小さい(一方、色の違いが大きければ、画像の位置ずれがあると推定することができる)。そこで、色値に基づき位置ずれを判定しても良い。ここに色値としては、例えば、色信号値RGBを輝度色差信号値YC変換したときの、色差信号値Cを利用すれば良い。

0110

具体的に、画像データ選択部31は、領域i毎の画像情報(色成分の領域平均値Rei,Gei,Bei)に基づいて、画像eのそれぞれにおいて、領域i毎の色値を算出する。ある領域iに関して、こうして算出された適正露光画像(e=0)の色値をC(0)、アンダー露光画像(e=−1)の色値をC(−1)、オーバー露光画像(e=+1)の色値をC(+1)として記載し、色値の差分が大きいか否かを判定するための色差閾値がCthであるものとする。

0111

この場合に、図4のステップS32の処理に代えて、
|C(+1)−C(0)|<Cth
の判定を行えば良い。従って、この条件式が満たされればステップS35へ行ってオーバー露光画像を選択し、満たされなければ(つまり、位置ずれがあると検出されれば)ステップS37へ行って適正露光画像を選択することになる。

0112

同様に、図4および図5のステップS34の処理に代えて、
|C(−1)−C(0)|<Cth
の判定を行えば良い。この条件式が満たされればステップS36へ行ってアンダー露光画像を選択し、満たされなければ(つまり、位置ずれがあると検出されれば)ステップS37へ行って適正露光画像を選択することになる。

0113

次に、図6図2のステップS9における基本画像処理の詳細を示すフローチャートである。

0114

この処理を開始すると、暗時ノイズを低減するために、撮像素子22の有効画素領域の画素値から、撮像素子22のオプティカルブラック領域の画素値を減算するOB減算処理を行う(ステップS41)。

0115

次に、ベイヤー配列の画像データにおける、R画素の画素値に対してステップS7において算出したRゲインを乗算し、B画素の画素値に対してステップS7において算出したBゲインを乗算することにより、ホワイトバランス補正を行う(ステップS42)。すなわち、基本画像処理部34は、ホワイトバランス補正部として機能して、ホワイトバランスゲイン算出部32により上述したように算出されたホワイトバランス係数を用いて、合成画像データのホワイトバランスを補正する。

0116

続いて、同時化処理として、1画素につきRGB成分の内の1色成分のみが存在するRGBベイヤー配列の画像データから、着目画素に存在しない色成分を周辺画素から補間して求めることにより、全画素がRGBの3色成分を全て備える画像データに変換するデモザイキング処理を行う(ステップS43)。

0117

さらに、設定されているホワイトバランスモード(例えば、太陽光モード、電球モード蛍光灯モード等)に応じたカラーマトリクス係数を、カメラ本体2のフラッシュメモリ48から読み出して画像データに乗算するカラーマトリクス演算を行う(ステップS44)。

0118

そして、予め設定されているガンマテーブルをカメラ本体2のフラッシュメモリ48から読み出して、画像データをガンマ変換する(ステップS45)。

0119

その後、色信号RGBを輝度色差信号YCbCrに変換してから、自然な色再現になるように彩度色相を補正する色再現処理を、色補正処理として行う(ステップS46)。

0120

次に、画像データにバンドパスフィルタを用いることでエッジ成分を抽出し、抽出したエッジ成分にエッジ強調度に応じた係数を乗算して増幅し、増幅したエッジ成分を画像データに加算することでエッジ強調処理を行う(ステップS47)。

0121

さらに、画像データに対して、高周波を低減するフィルタを用いる、あるいは空間周波数に応じたコアリング処理を行うなどにより、ノイズ低減処理を行う(ステップS48)。なお、このノイズ低減処理は、ステップS43の同時化処理の前に行っても構わない。

0122

こうして、ステップS48の処理を行ったら、この処理からリターンする。

0123

続いて、図7は、適正露光画像の輝度相当値と比較するための閾値を、撮影時の条件に応じて設定する例を示す図である。この図7においては、輝度ダイナミックレンジが0〜255である場合を図示している。

0124

図7の最上段には、撮影枚数が3枚であり、特に露出補正等を行うことなく適正露光画像を撮影する場合の、閾値a,bの例を示している。この例を、以下では標準設定例という。

0125

図7の2段目には、撮影枚数が3枚であり、マイナスに露出補正して適正露光画像を撮影する場合の、閾値a,bの例を示している。この場合には、閾値bは標準設定例と同じであるが、閾値aは標準設定例よりも低い値に設定されている。すなわち、ユーザが適正露光画像の露光条件を意図的にマイナス側に露出補正していた場合は、暗い領域でも適正露光画像が選択される割合が増えるように(オーバー露光画像がより低い割合で選択されるように)、低い方の閾値aをより低く設定している。

0126

図7の3段目には、撮影枚数が3枚であり、プラスに露出補正して適正露光画像を撮影する場合の、閾値a,bの例を示している。この場合には、閾値aは標準設定例と同じであるが、閾値bは標準設定例よりも高い値に設定されている。すなわち、ユーザが適正露光画像の露光条件を意図的にプラス側に露出補正していた場合は、明るい領域でも適正露光画像が選択される割合が増えるように(アンダー露光画像データがより低い割合で選択されるように)、高い方の閾値bをより高く設定している。

0127

図7の4段目には、撮影枚数が3枚であり、かつ水中静止画撮影である場合の、閾値a,bの例を示している。この場合には、閾値bは標準設定例と同じであるが、閾値aは標準設定例よりも高い値に設定されている。水中撮影の場合には、画像中のR成分が著しく減少する。そこで、R成分が多く保持されているオーバー露光画像が水中撮影でない場合よりも高い割合で選択されるように(図5のステップS31からステップS35へ移行する割合が増えるように)、低い方の閾値aをより高く設定している。

0128

図7の5段目には、動画またはスルー画などのHDR合成処理であって、撮影枚数が2枚となる(適正露光画像を撮影せず、アンダー露光画像およびオーバー露光画像だけを撮影する)場合の(従って、閾値の個数は2−1=1個である)、閾値aの例を示している。この場合の閾値aは、例えば、標準設定例における2つの閾値a,bの中間程度の値となるように設定されている。なお、この閾値aは、図7の例では、4段目(水中静止画)の閾値aと同等の値として示されているが、これに限るものではない。

0129

なお、上述した図4および図5に示した例では、領域iに対して何れか1枚の画像にのみ重み1を与え、他の画像には重み0を与えていた。しかし、これに限らず、複数枚の画像に対してゼロでない重みを与えるようにしても良い。

0130

ここに、図8および図9には、閾値の近傍で、2つの画像に重み付けを与える例を示している。図8は、撮影枚数が3枚であるときの領域i毎の評価値を算出する際に、閾値a,bの近傍において露光量が異なる画像を重み付け加算する例を示す線図、図9は、撮影枚数が2枚であるときの領域i毎の評価値を算出する際に、閾値aの近傍において露光量が異なる画像を重み付け加算する例を示す線図である。

0131

図8または図9に示すように、適正露光画像の輝度相当値X(0)が閾値aまたは閾値bの近傍値である場合には、図4または図5の処理において閾値を挟んで選択が切り替わる2つの画像の両方に、非ゼロの重みweを付けるようにしても良い。

0132

具体的に、図8に示す例では、輝度相当値X(0)が、閾値aの近傍であるときに、
we(e=+1)≠0 , we(e=0)≠0 , we(e=−1)=0
となっていて、閾値bの近傍であるときに、
we(e=+1)=0 , we(e=0)≠0 , we(e=−1)≠0
となっている。

0133

また、図9に示す例では、輝度相当値X(0)が閾値aの近傍であるときに、
we(e=+1)≠0 , we(e=−1)≠0
となっている。

0134

図8図9に示す何れの場合にも、重みweは数式2に示した規格化条件を満たしながら、閾値a,bの近傍において非ゼロである重みの比率が輝度相当値X(0)に応じて変化し、閾値a,bの近傍以外は図4および図5に示した例と同様の重みとなっている。そして、これらの重みweを用いて数式3に示すように領域i毎の評価値Ri,Gi,Biが算出される。

0135

続いて、図10は、画像全体の評価値を算出する際の領域iに対する重みαiを、領域iにおける適正露光画像の輝度相当値X(0)に応じて変化させる例を示す線図である。

0136

領域i毎の評価値Ri,Gi,Biに基づいて画像全体の評価値<R>,<G>,<B>を算出する際に用いる重みαiは、上述したように、単純平均を得るために1とするに限るものではなく、領域i毎に異ならせても構わない。

0137

図10は、領域i毎の適正露光画像の輝度相当値X(0)に基づいて重みαiを設定する例となっている。なお、この図10においても、輝度ダイナミックレンジが0〜255である場合を図示している。

0138

具体的に、この図10に示す例では、重みαiは、領域iの適正露光画像の輝度相当値X(0)が例えば閾値bよりも幾らか小さい値Xpであるときにαi=1をとり、輝度相当値X(0)がXpより小さくなるとαiが減少してX(0)=0でαi=0となり、輝度相当値X(0)がXpより大きくなってもαiが減少してX(0)=255でαi=0となるように設定されている。なお、図10には増減が直線的となる例を示しているが、これに限定されるものではない。

0139

このような設定を行うことにより、適正露光画像の輝度相当値X(0)が閾値bよりも大きく、適正露光画像において画素値が飽和する付近となる領域Ruの、重みαiを低下させることができる。さらに、適正露光画像の輝度相当値X(0)が閾値b以下である領域Rmにおいても、輝度相当値X(0)が0に近くて適正露光画像において画素が黒つぶれとなる付近の重みαiを徐々に低下させることができる。

0140

これにより、画像全体の評価値<R>,<G>,<B>に対する、カラーバランスが崩れる可能性のある画素飽和付近の寄与、およびカラーバランスが不鮮明となる黒つぶれ付近の寄与を、適切に抑圧することができ、カラーバランスを取得するのに適した中間の明るさの領域を重要視したホワイトバランス係数の算出が可能となる。

0141

また、上述した例に限らず、領域iが画像全体の中央部分に位置する場合に重みαiを大きくし、画像の周辺部分に位置する場合に重みαiを小さくするようにしても構わない。この場合には、画面の中央部分に位置する被写体のカラーバランスを重要視することができる。

0142

このような実施形態1によれば、露光量の異なる複数枚の内の2枚以上の画像データの画像データを複数の領域に分割して、分割した領域i毎の輝度相当値と所定の閾値とを比較した結果に応じて、ホワイトバランス調整に用いる画像データを領域i毎に1つ以上選択し、選択した画像データを用いて合成画像データに適用するためのホワイトバランス係数を算出するようにしたために、合成画像に適したホワイトバランス検出を、高速かつ安定に行うことができる。

0143

また、閾値を撮影時の条件に応じて設定するようにしたために、露出補正が行われた場合や、水中撮影の場合、動画/スルー画撮影の場合などの、それぞれに適した閾値により、ホワイトバランス調整に用いる画像データを選択することが可能となる。

0144

適正露光画像の輝度相当値X(0)が、適正範囲内である場合には適正露光画像を選択し、低い場合にはオーバー露光画像を選択し、高い場合にはアンダー露光画像を選択するようにしたために、ホワイトバランス係数を算出するのに適した明るさの画像データを、領域i毎に適切に選択することができる。

0145

また、位置ずれがある場合には、位置合わせの規準となる適正露光画像データを選択するようにしたために、位置ずれによって適切な情報が得られないオーバー露光画像またはアンダー露光画像が選択されるのを抑制することができる。

0146

このとき、領域i毎の輝度相当値に基づき位置ずれを検出する場合には、輝度相当値が画像データ選択に用いられる値であるために、他の値を算出する等の処理が不要となる。

0147

一方、領域i毎の色値の差分に基づき位置ずれを検出する場合には、画像データの選択を色の相違に基づいて適切に行うことができる。

0148

さらに、規格化条件を満たす重みを用いて評価値を算出するようにしたために、任意の領域に対して、複数枚の画像を適切な割合で組み合わせることが可能となる。

0149

そして、水中撮影の場合には、水中撮影でない場合よりもオーバー露光画像が高い割合で選択されるように画像データを選択するようにしたために、具体的には水中撮影でない場合よりもオーバー露光画像が高い割合で選択されるように閾値を設定したために、R成分が多く保持されているオーバー露光画像に基づきホワイトバランス係数を適切に算出することが可能となる。

0150

また、適正露光画像にマイナス露出補正が行われている場合には、オーバー露光画像がより低い割合で選択されるように閾値を設定し、適正露光画像にプラス露出補正が行われている場合には、アンダー露光画像がより低い割合で選択されるように閾値を設定したために、撮影者の意図に沿った被写体部分重視したホワイトバランス補正を行うことが可能となる。

0151

さらに、輝度相当値として、輝度成分を最も多く含む色成分(例えばG成分)の値を用いる場合には、RGB色成分から輝度成分Yを算出する処理を省略して、処理負荷を軽減することが可能となる。

0152

なお、上述では主として画像処理装置について説明したが、画像処理装置と同様の処理を行うための画像処理方法であっても良いし、コンピュータに画像処理装置と同様の処理を行わせるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。

0153

また、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

0154

1…交換式レンズ
2…カメラ本体
3…インタフェース(I/F)
11…レンズ
12…絞り
13…ドライバ
14…フラッシュメモリ
15…マイクロコンピュータ
21…シャッタ
22…撮像素子
23…アナログ処理部
24…A/D変換部
25…バス
26…SDRAM
27…AE処理部
28…AF処理部
30…画像処理部
31…画像データ選択部
32…ホワイトバランスゲイン算出部
33…HDR合成部
34…基本画像処理部
37…画像圧縮部
38…画像伸張部
41…LCDドライバ
42…LCD
43…メモリI/F
44…記録媒体
47…操作部
48…フラッシュメモリ
50…マイクロコンピュータ

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ