図面 (/)

技術 シーン分類に基づく高ダイナミックレンジ画像処理のための最適アルゴリズムの自動選択

出願人 コニカミノルタラボラトリーユー.エス.エー.,インコーポレイテッド
発明者 メイ,イツァン,シャオノン
出願日 2014年12月5日 (6年2ヶ月経過) 出願番号 2014-246465
公開日 2015年7月16日 (5年6ヶ月経過) 公開番号 2015-130157
状態 特許登録済
技術分野 カラー画像通信方式 FAX画像信号回路 画像処理 スタジオ装置
主要キーワード ネオンライト 重みマップ 訓練ベクトル 品質測度 低ダイナミックレンジ 露光過度 品質パラメーター カラーセグメント
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2015年7月16日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (4)

課題

HDR高ダイナミックレンジ)画像から印刷される画像の質を高める。

解決手段

シーンは、屋内シーン、屋外シーン及び人がいるシーンに分類され、その上でトーンマッピング演算子及びガマットマッピングアルゴリズムが選択される。シーン分類に先立って、様々な露出値で撮られた複数画像は、露出合成アルゴリズムを用いて低ダイナミックレンジ(LDR)画像に合成され、合成LDR画像を用いてシーン分類が実行される。そして、複数画像から生成されたHDR画像は、選択されたトーンマッピング演算子を用いてLDR画像にトーンマッピングされ、その後、プリンター等の出力装置の色空間にガマットマッピングされる。

概要

背景

高ダイナミックレンジHDRイメージングは、明るさ(光強度)の範囲が非常に大きいソースを扱う画像処理及びデジタル写真術において用いられる技術である。例えば、日中の屋外シーンには、青い空及び日に照らされた被写体と共に、陰になった被写体が含まれうる。夜のシーンには、ネオンライト及び明るく照らされた被写体と共に、暗く照らされた被写体が含まれうる。また、屋内シーンには、明るい窓と共に、暗い領域等が含まれうる。これらのシーンは、デジタルカメラ等のイメージング装置にとっての課題である。つまり、現在利用可能なデジタルカメラのイメージセンサダイナミックレンジでは、そのようなシーンを十分に画像化できない場合が多い。露出レベルがシーンの暗い領域の細部撮影するのに適している場合、明るい領域は露出過度となって細部が損なわれることが多い。反対に、露出レベルがシーンの明るい領域の細部を撮影するのに適している場合、暗い領域は露出不足となって細部が損なわれることが多い。

HDRイメージング技術は、様々な露出レベルで同じシーンの画像を複数枚撮影し(露出ブラケティングと呼ばれる)、複数画像デジタル的にマージ又は結合して、明るい領域及び暗い領域の双方の細部が十分に表されるように、元の複数画像の情報を含むHDR画像を生成することによって、この問題に対処する。複数画像(ブラケットと呼ばれる)からHDR画像を生成する方法は、一般に知られている。通常、この処理は、複数画像の位置を合わせ、複数画像におけるゴーストを取り除いてから(複数画像の撮影の間にシーンの被写体が動くとゴーストが発生しうる)、複数画像をマージしてHDR画像を形成する工程を含む。

HDR画像をプリンター印刷するには、まず、画像をプリンターがサポートしている色で表現しなければならない。一般に、インク又はトナーによりプリンター上で生成しうる色の範囲は、HDR画像に含まれる範囲よりもずっと小さい。例えば、プリンターで印刷される画像が1〜255の範囲の階調値を有しうるのに対し、HDR画像は100,000:1のタイナミックレンジを有しうる。印刷の間、HDR画像の非常に広い色の範囲を、それより小さい印刷可能範囲に当てはめる必要がある。この変換には、画像の階調値を高タイナミックレンジ(HDR)から低ダイナミックレンジ(LDR)に変換するトーンマッピングと、印刷のためにLDR画像をRGB(レッドグリーンブルー)色空間からCMYK(シアンマゼンタイエローブラック)色空間に変換するガマットマッピングとが含まれる。様々なトーンマッピングアルゴリズムが知られている。

画像処理では、シーン分類又は画像分類が用いられている。例えば、シーンを屋内及び屋外シーンに分類する方法が提案されている。

概要

HDR(高ダイナミックレンジ)画像から印刷される画像の質を高める。シーンは、屋内シーン、屋外シーン及び人がいるシーンに分類され、その上でトーンマッピング演算子及びガマットマッピングアルゴリズムが選択される。シーン分類に先立って、様々な露出値で撮られた複数画像は、露出合成アルゴリズムを用いて低ダイナミックレンジ(LDR)画像に合成され、合成LDR画像を用いてシーン分類が実行される。そして、複数画像から生成されたHDR画像は、選択されたトーンマッピング演算子を用いてLDR画像にトーンマッピングされ、その後、プリンター等の出力装置の色空間にガマットマッピングされる。

目的

これらのシーンは、デジタルカメラ等のイメージング装置にとっての課題である

効果

実績

技術文献被引用数
1件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

様々な露出値で撮られたシーンの複数の入力画像の組を処理するデータ処理装置で実施される方法であって、(a)前記複数の入力画像の一以上を用いて、前記シーンを複数のシーンクラスの一つに分類する工程と、(b)前記工程(a)で決定された前記シーンクラスに基づき、予め記憶された複数のトーンマッピング演算子の一つを選択する工程と、(c)前記複数の入力画像をマージして高ダイナミックレンジHDR)画像を生成する工程と、(d)前記工程(b)で選択された前記トーンマッピング演算子を用いて前記HDR画像トーンマップし、低ダイナミックレンジ(LDR)画像を生成する工程と、を含むことを特徴とする方法。

請求項2

前記工程(a)において、前記複数のシーンクラスは、人の有意的存在を含むシーンのクラス、屋外シーンのクラス、及び屋内シーンのクラスを含むことを特徴とする請求項1に記載の方法。

請求項3

前記工程(a)において、前記複数のシーンクラスは、人の有意的存在を含むシーンのクラス、日中のシーンのクラス、及び夜のシーンのクラスを含むことを特徴とする請求項1に記載の方法。

請求項4

前記工程(a)は、(a1)前記複数の入力画像から二以上の画像のサブセットを選択する工程と、(a2)選択画像の各々に対する重みマップを生成し、前記重みマップを用いて前記選択画像を結合することにより、前記選択された画像のサブセットを一つの合成画像に合成する工程であって、前記重みマップは、前記選択画像の各々の各画素彩度コントラスト、及び露出の適正度のうちの一以上から生成される工程と、(a3)前記合成画像を前記複数のシーンクラスの一つに分類する工程と、を含むことを特徴とする請求項1に記載の方法。

請求項5

前記工程(a)は、前記工程(a2)の前に、前記選択画像をダウンサンプリングする工程を更に有することを特徴とする請求項4に記載の方法。

請求項6

前記工程(a3)は、顔又は肌色を有する領域、及び、予め定義された形状を、前記合成画像において検出する工程と、前記顔又は肌色を有する領域、及び、前記予め定義された形状が検出された場合は、前記シーンを、前記人の有意的存在があるシーンである第1クラスとして分類し、その他の場合は、前記合成画像の相関色温度を用いることにより、前記シーンを、前記屋外シーンである第2クラス又は前記屋内シーンである第3クラスのいずれかに分類する工程と、を有することを特徴とする請求項4に記載の方法。

請求項7

前記工程(a3)は、顔又は肌色を有する領域、及び、予め定義された形状を、前記合成画像において検出する工程と、前記顔又は肌色を有する領域、及び、前記予め定義された形状が検出された場合は、前記シーンを、前記人の有意的存在があるシーンである第1クラスとして分類し、その他の場合は、前記合成画像の画素強度ヒストグラムを用いることにより、前記シーンを、前記日中のシーンである第2クラス又は前記夜のシーンである第3クラスのいずれかに分類する工程と、を有することを特徴とする請求項4に記載の方法。

請求項8

前記サブセットは、前記複数の入力画像のすべてを含むことを特徴とする請求項4に記載の方法。

請求項9

(e)前記工程(a)で決定された前記シーンクラスに基づき、予め記憶された複数のガマットマッピングアルゴリズムの一つを選択する工程と、(f)前記工程(e)で選択された前記ガマットマッピングアルゴリズムを用いて、前記工程(d)で生成された前記LDR画像を、前記画像の色空間から出力装置の色空間に変換する工程と、を更に含むことを特徴とする請求項1に記載の方法。

請求項10

前記画像の色空間はRGB色空間であり、前記出力装置の色空間はCMYK色空間であることを特徴とする請求項9に記載の方法。

請求項11

データ処理装置を制御するためのコンピューター読取可能なプログラムコードを内蔵したコンピューター使用可能な非一時的媒体を有するコンピュータープログラム製品であって、前記コンピューター読取可能なプログラムコードは、前記データ処理装置に、様々な露出値で撮られたシーンの複数の入力画像の組を処理する処理を実行させるように構成されており、前記処理は、(a)前記複数の入力画像の一以上を用いて、前記シーンを複数のシーンクラスの一つに分類する工程と、(b)前記工程(a)で決定された前記シーンクラスに基づき、予め記憶された複数のトーンマッピング演算子の一つを選択する工程と、(c)前記複数の入力画像をマージして高ダイナミックレンジ(HDR)画像を生成する工程と、(d)前記工程(b)で選択された前記トーンマッピング演算子を用いて前記HDR画像をトーンマップし、低ダイナミックレンジ(LDR)画像を生成する工程と、を含むことを特徴とするコンピュータープログラム製品。

請求項12

前記工程(a)において、前記複数のシーンクラスは、人の有意的存在を含むシーンのクラス、屋外シーンのクラス、及び屋内シーンのクラスを含むことを特徴とする請求項11に記載のコンピュータープログラム製品。

請求項13

前記工程(a)において、前記複数のシーンクラスは、人の有意的存在を含むシーンのクラス、日中のシーンのクラス、及び夜のシーンのクラスを含むことを特徴とする請求項11に記載のコンピュータープログラム製品。

請求項14

前記工程(a)は、(a1)前記複数の入力画像から二以上の画像のサブセットを選択する工程と、(a2)選択画像の各々に対する重みマップを生成し、前記重みマップを用いて前記選択画像を結合することにより、前記選択された画像のサブセットを一つの合成画像に合成する工程であって、前記重みマップは、前記選択画像の各々の各画素の彩度、コントラスト、及び露出の適正度のうちの一以上から生成される工程と、(a3)前記合成画像を前記複数のシーンクラスの一つに分類する工程と、を含むことを特徴とする請求項11に記載のコンピュータープログラム製品。

請求項15

前記工程(a)は、前記工程(a2)の前に、前記選択画像をダウンサンプリングする工程を更に有することを特徴とする請求項14に記載のコンピュータープログラム製品。

請求項16

前記工程(a3)は、顔又は肌色を有する領域、及び、予め定義された形状を、前記合成画像において検出する工程と、前記顔又は肌色を有する領域、及び、前記予め定義された形状が検出された場合は、前記シーンを、前記人の有意的存在があるシーンである第1クラスとして分類し、その他の場合は、前記合成画像の相関色温度を用いることにより、前記シーンを、前記屋外シーンである第2クラス又は前記屋内シーンである第3クラスのいずれかに分類する工程と、を有することを特徴とする請求項14に記載のコンピュータープログラム製品。

請求項17

前記工程(a3)は、顔又は肌色を有する領域、及び、予め定義された形状を、前記合成画像において検出する工程と、前記顔又は肌色を有する領域、及び、前記予め定義された形状が検出された場合は、前記シーンを、前記人の有意的存在があるシーンである第1クラスとして分類し、その他の場合は、前記合成画像の画素強度のヒストグラムを用いることにより、前記シーンを、前記日中のシーンである第2クラス又は前記夜のシーンである第3クラスのいずれかに分類する工程と、を有することを特徴とする請求項14に記載のコンピュータープログラム製品。

請求項18

前記サブセットは、前記複数の入力画像のすべてを含むことを特徴とする請求項14に記載のコンピュータープログラム製品。

請求項19

前記処理は、(e)前記工程(a)で決定された前記シーンクラスに基づき、予め記憶された複数のガマットマッピングアルゴリズムの一つを選択する工程と、(f)前記工程(e)で選択された前記ガマットマッピングアルゴリズムを用いて、前記工程(d)で生成された前記LDR画像を、前記画像の色空間から出力装置の色空間に変換する工程と、を更に含むことを特徴とする請求項11に記載のコンピュータープログラム製品。

請求項20

前記画像の色空間はRGB色空間であり、前記出力装置の色空間はCMYK色空間であることを特徴とする請求項19に記載のコンピュータープログラム製品。

請求項21

請求項11のコンピューター使用可能な非一時的媒体を備え、画像を取得する撮影部と、前記撮影部を制御して、異なる露出レベルを有する複数画像の組を取得する制御部と、を更に備えることを特徴とするデジタルカメラ

技術分野

背景技術

0002

高ダイナミックレンジ(HDR)イメージングは、明るさ(光強度)の範囲が非常に大きいソースを扱う画像処理及びデジタル写真術において用いられる技術である。例えば、日中の屋外シーンには、青い空及び日に照らされた被写体と共に、陰になった被写体が含まれうる。夜のシーンには、ネオンライト及び明るく照らされた被写体と共に、暗く照らされた被写体が含まれうる。また、屋内シーンには、明るい窓と共に、暗い領域等が含まれうる。これらのシーンは、デジタルカメラ等のイメージング装置にとっての課題である。つまり、現在利用可能なデジタルカメラのイメージセンサダイナミックレンジでは、そのようなシーンを十分に画像化できない場合が多い。露出レベルがシーンの暗い領域の細部撮影するのに適している場合、明るい領域は露出過度となって細部が損なわれることが多い。反対に、露出レベルがシーンの明るい領域の細部を撮影するのに適している場合、暗い領域は露出不足となって細部が損なわれることが多い。

0003

HDRイメージング技術は、様々な露出レベルで同じシーンの画像を複数枚撮影し(露出ブラケティングと呼ばれる)、複数画像デジタル的にマージ又は結合して、明るい領域及び暗い領域の双方の細部が十分に表されるように、元の複数画像の情報を含むHDR画像を生成することによって、この問題に対処する。複数画像(ブラケットと呼ばれる)からHDR画像を生成する方法は、一般に知られている。通常、この処理は、複数画像の位置を合わせ、複数画像におけるゴーストを取り除いてから(複数画像の撮影の間にシーンの被写体が動くとゴーストが発生しうる)、複数画像をマージしてHDR画像を形成する工程を含む。

0004

HDR画像をプリンター印刷するには、まず、画像をプリンターがサポートしている色で表現しなければならない。一般に、インク又はトナーによりプリンター上で生成しうる色の範囲は、HDR画像に含まれる範囲よりもずっと小さい。例えば、プリンターで印刷される画像が1〜255の範囲の階調値を有しうるのに対し、HDR画像は100,000:1のタイナミックレンジを有しうる。印刷の間、HDR画像の非常に広い色の範囲を、それより小さい印刷可能範囲に当てはめる必要がある。この変換には、画像の階調値を高タイナミックレンジ(HDR)から低ダイナミックレンジ(LDR)に変換するトーンマッピングと、印刷のためにLDR画像をRGB(レッドグリーンブルー)色空間からCMYK(シアンマゼンタイエローブラック)色空間に変換するガマットマッピングとが含まれる。様々なトーンマッピングアルゴリズムが知られている。

0005

画像処理では、シーン分類又は画像分類が用いられている。例えば、シーンを屋内及び屋外シーンに分類する方法が提案されている。

発明が解決しようとする課題

0006

一つのトーンマッピングアルゴリズムが、すべての種類の画像について最もよく機能するわけではないことが分かっている。例えば、ドラゴ(Drago)トーンマッピング演算子(例えば、F.Drago、K.Myszkowski、T.Annen及びN.Chiba著、「Adaptive Logarithmic MappingFor Displaying High Contrast Scenes」(Computer Graphics Forum、2003年、22巻、419〜426頁)参照)は、景色がある屋外シーンの画像に対して最もよく機能する傾向がある。また、レインハード(Reinhard)02トーンマッピング演算子(例えば、「Photographic Tone Reproduction for Digital Images」(E.Reinhard、M.Stark、P.Shirley及びJ.Ferwerda著、ACMTransactions on Graphics、2002年)参照)は、人がいる屋外のシーンの画像に対して最もよく機能する傾向がある。また、iCAM06トーンマッピング演算子(例えば、Kuang,J.及びFairchild,M.D.著、「iCAM06、HDR、and Image Appearance」(IS&T/SID 15th Color Imaging Conference、2007年)参照)は、屋内のシーンの画像に対して最もよく機能する傾向がある。本発明者らは、画像のシーンの種類の分類に基づいて最適なトーンマッピング演算子を自動選択する方法が、HDR画像処理の質を高めることに気付いた。

課題を解決するための手段

0007

よって、本発明は、HDR画像処理のためのトーンマッピング演算子及びガマットマッピングアルゴリズムを自動選択する方法を対象とする。

0008

本発明は、HDR画像から印刷される画像の質を高めることを目的とする。

0009

本発明の追加的な特徴及び利点は以下の記載において述べられ、その一部は当該記載から明らかであるか、本発明の実施により知るところとなる。本発明の目的及び他の利点は、明細書の記載、特許請求の範囲、及び添付図面で詳しく示された構造により実現され、取得される。

0010

これらの及び/又は他の目的を達成するために、具現化され広く記載されているように、本発明は、様々な露出値で撮られたシーンの複数の入力画像の組を処理するデータ処理装置で実施される方法であって、(a)前記複数の入力画像の一以上を用いて、前記シーンを複数のシーンクラスの一つに分類する工程と、(b)前記工程(a)で決定された前記シーンクラスに基づき、予め記憶された複数のトーンマッピング演算子の一つを選択する工程と、(c)前記複数の入力画像をマージして高ダイナミックレンジ(HDR)画像を生成する工程と、(d)前記工程(b)で選択された前記トーンマッピング演算子を用いて前記HDR画像をトーンマップし、低ダイナミックレンジ(LDR)画像を生成する工程と、
を含む方法を提供する。

0011

前記工程(a)は、(a1)前記複数の入力画像から二以上の画像のサブセットを選択する工程と、(a2)選択画像の各々に対する重みマップを生成し、前記重みマップを用いて前記選択画像を結合することにより、前記選択された画像のサブセットを一つの合成画像に合成する工程であって、前記重みマップは、前記選択画像の各々の各画素彩度コントラスト、及び露出の適正度のうちの一以上から生成される工程と、(a3)前記合成画像を前記複数のシーンクラスの一つに分類する工程と、を含んでもよい。

0012

前記方法は、(e)前記工程(a)で決定された前記シーンクラスに基づき、予め記憶された複数のガマットマッピングアルゴリズムの一つを選択する工程と、(f)前記工程(e)で選択された前記ガマットマッピングアルゴリズムを用いて、前記工程(d)で生成された前記LDR画像を、前記画像の色空間から出力装置の色空間に変換する工程と、を更に含んでもよい。

0013

一の例では、前記複数のシーンクラスは、人の有意的存在を含むシーンのクラス、屋外シーンのクラス、及び屋内シーンのクラスを含む。人の存在は、顔認識技術により決定しうる。屋外シーンと屋内シーンとは、画像の相関色温度を用いて分類することができる。

0014

他の側面では、本発明は、データ処理装置を制御するためのコンピューター読取可能なプログラムコードを内蔵したコンピューター使用可能な非一時的媒体(例えば、メモリ又は記憶装置)を有するコンピュータープログラム製品であって、前記コンピューター読取可能なプログラムコードは、前記データ処理装置に、上記方法を実行させるように構成されたコンピュータープログラム製品を提供する。

0015

また、他の側面では、上述のコンピューター使用可能な非一時的媒体を備え、更に、画像を取得する撮影部と、前記撮影部を制御して、異なる露出レベルを有する複数画像の組を取得する制御部と、を更に含むデジタルカメラを提供する。

0016

上述した概要及び以下の詳細な説明は共に、例示的かつ説明的なものであって、特許請求の範囲に記載された本発明について更なる説明を提供することを意図するものである。

図面の簡単な説明

0017

本発明の実施形態によるHDR画像処理方法を概略的に示す図である。
本発明の実施形態を実現しうるデータ処理装置を概略的に示す図である。
本発明の実施形態を実現しうるデジタルカメラを概略的に示す図である。

実施例

0018

本発明の実施形態は、HDR画像処理のために最適なトーンマッピング演算子と、最適なガマットマッピングアルゴリズムとを自動選択するために、シーン分類を使用する。特定の一の実施形態では、シーンが3つのクラス、すなわち、人がいない屋外シーン、人がいない屋内シーン、並びに、人がいるシーン(屋外及び屋内)に分類される。3つのトーンマッピング演算子、すなわち、ドラゴ(Drago)、iCAM06及びレインハード(Reinhard)02が、これら3つのシーンクラスにそれぞれ用いられる。

0019

図1は、本発明の実施形態によるHDR画像処理方法を概略的に示す。この方法は、コンピューターやデジタルカメラ等のデータ処理装置において実施される。この方法は、入力として、様々な露出で同じシーンを撮影した複数画像(ブラケット)の組を受信する。画像の位置合わせ及びゴースト除去を含む前処理が既に実行されている(図示せず)。複数のブラケットはマージされ、HDR画像生成アルゴリズムを用いたHDR画像が形成される(ステップS16)。本実施形態には、いかなる適切なHDR画像生成アルゴリズムを適用することもできる。

0020

他方、シーン分類(ステップS11〜S13)の適用により、シーンが事前認識されているいくつかのシーンクラスの一つに分類される。初めに複数画像の各々がダウンサンプルされ、より小さい画像の組が生成される(ステップS11)。最新カメラによって得た画像は一般に高画素解像度を有するので、ダウンサンプリングは、シーン分類の精度をそれほど犠牲にすることなく性能を向上させる。このダウンサンプリング工程は任意である。

0021

その後、複数画像は、露出合成アルゴリズムを用いた合成LDR画像に合成される(ステップS12)。露出合成は、HDR画像を生成してからトーンマッピングを適用するのではなく、複数の露出ブラケットを直接一つのLDR画像に合成又は融合する技術である。露出合成は、シーンの明るい領域及び暗い領域の双方において良好な露出レベルを示し、表示(又は印刷)目的に適したLDR画像を生成することができる。露出合成処理は速いものの、生成されるLDR画像の質は、HDR画像のトーンマッピングにより得られる画像の質ほど高くはない。T.Mertens、J.Kautz及びF.Van Reeth著、「Exposure Fusion」(Proceedings of the Pacific Conference on Computer Graphics and Applications、Pacific Graphics 2007、382〜390頁)(「Mertens等」)に記載された一の露出合成方法は、各ブラケットの各画素について、彩度、コントラスト、及び露出の適正度といった望ましい品質を表す知覚品質測度を計算する。この品質測度は、各ブラケットの重みマップを構成するのに用いられ、これにより複数のブラケットが一つのLDR画像に結合される。Mertens等の論文に記載された方法では、重みマップにおける急激な変化に起因する問題に対処するため、更なる技術が適用される。

0022

Mertens等の論文に記載のように、コントラストのインジケーターは、ラプラシアンフィルターを各画像のグレースケール版に適用して、フィルター応答の絶対値を計算することにより計算することができる。このコントラストインジケーターは、エッジテクスチャ等の重要な要素に高い重みを割り当てる傾向がある。彩度は、各画素におけるR、G及びBチャンネル内の標準偏差として計算することができる。飽和色が望ましく、画像を鮮明にする。画素は、その強度が0(露出不足)又は1(露出過度)に近くないときに良好に露出される。露出の適正度は、ガウス曲線又は他の曲線を用いて、強度が0.5にどれくらい近いかによって計測することができる。

0023

本発明の好ましい実施では、彩度、コントラスト、又は露出の適正度等の品質パラメーターのうち一つだけを用いてMertens等の論文から作られた、簡易化露出合成アルゴリズムをステップS12において使用し、重みマップを生成する。この簡易化は、シーン分類の精度に目に付くほどの影響を与えることなく、速度を向上させる。他の実施では、彩度、コントラスト、及び露出の適正度を含む、Mertens等の論文に記載された複数の又はすべての品質パラメーターが組み合わせて用いられ、重みマップが生成される。

0024

一の実施形態では、ステップS12において、複数画像の組のすべてのブラケットが合成され、合成LDR画像が生成される。また、他の実施形態では、特に、画像の組のブラケット数が比較的大きい場合に、ブラケットのサブセットを用いて合成LDR画像を生成してもよい。例えば、画像の組が7つの露出ブラケットを含む場合、3つのブラケット(例えば、2番目、4番目及び6番目)や、4つのブラケット(1番目、3番目、5番目及び7番目)等を用いてもよい。したがって、より広く言えば、ステップS12は、複数の入力画像のサブセットを合成する工程を含む。サブセットは、複数の入力画像のすべてか、又はそれより少なくてもよい。

0025

シーン分類は、合成LDR画像を用いて実行される(ステップS13)。特定の一の実施形態において、シーンは3つのクラス、すなわち、人の有意的存在なしの屋外シーン(本明細書では、便宜上、屋外シーンと呼ぶ)、人の有意的存在なしの屋内シーン(屋内シーンと呼ぶ)、及び、人の有意的存在を含むシーン(人ありのシーンと呼ぶ)に分類される。本実施形態のシーン分類は、まず、画像において肌色を有する形状及び又は顔の存在を検出することによって実行される。肌色は、予め定義された色の組である。一の実施では、顔や手足のような形状の肌色領域が検出されると、画像は人ありのシーンとして分類される。他の実施では、有意な数の画像画素(例えば、画像のすべての画素の5%以上)が肌色を有するとき、画像は人ありのシーンとして分類される。他の実施では、顔検出又は顔認識技術を用いて画像中の顔を検出し、そのシーンが人ありのシーンか否か決定する。ここではいかなる適切な顔検出又は顔認識アルゴリズムを用いてもよい。

0026

その後、画像の相関色温度(CCT)が計算され、シーンが屋内シーンであるか、或いは屋外シーンであるかが決定される。CCTは、光源カラーアピアランス測定単位である。CCTは、知覚色が、特定の観察条件で同じ明るさの所定刺激のそれに最も近い、黒体放射体の温度として定義される。CCTを用いた屋内/屋外シーンの分類方法の一つが、A.Nadian Ghomsheh及びA.Talebpour著、「A New Method for Indoor−outdoor Image Classification Using Color Correlated Temperature」(International Journal of Image Processing:IJIP、第6巻、3号、2012年、167〜181頁)に記載されている。この方法では、画像は異なるカラーセグメントに分割され、各セグメントについてCCTが発見される。これらの値は、画像特徴ベクトルを形成する。訓練ベクトルは、シーン分類子を訓練し、シーンを屋内又は屋外シーンに分類するのに用いられる(上記論文の170〜171頁参照)。上記論文に記載の方法は、ステップS13におけるシーン分類で用いることができる。

0027

上述した3つのシーンクラスは、単なる例にすぎない。他の実施形態では、シーンは他のクラスに分類されてもよい。例えば、夜のシーンと日中のシーン、全体的に暗いシーンと全体的に明るいシーン等である。夜/日中及び暗い/明るいシーンは、画素強度ヒストグラムを計算して、ヒストグラムの特徴的な形状を検出することにより分類することができる。例えば、夜のシーンのヒストグラムでは、低明度領域分布する画素の大半が高いピークを形成し、高明度領域に分布する画素の一部がより小さいピークを形成して、2つの明確なピークを有することになると考えられる。暗い画像では、画素の大部分が、一つのピークを形成する明度のより低い領域に分布することになると考えられる。

0028

ステップS13で決定されたシーン分類に基づき、トーンマッピング演算子が自動選択されて、HDR画像の処理に用いられる(ステップS14)。一の実施形態では、トーンマッピング演算子の選択は以下の通りである。屋外シーンに対してはドラゴトーンマッピング演算子が選択され、屋内シーンに対してはiCAM06トーンマッピング演算子が選択され、人ありのシーン(屋外及び屋内の双方)に対してはレインハード02トーンマッピング演算子が選択される。シーンが日中/夜のシーン或いは明るい/暗いシーンに分類されると、レインハード02トーンマッピング演算子を人ありのシーンに使用することができる一方で、ドラゴトーンマッピング演算子を日中又は明るいシーンに、iCAM06トーンマッピング演算子を夜の又は暗いシーンに使用することができる。

0029

上述したシーンクラスとトーンマッピング演算子との対応関係は単なる例であり、他のトーンマッピング演算子が種々のシーンクラスに対して選択されうる。他の既知のトーンマッピング演算子としては、レインハード(Reinhard)05(例えば、E.Reinhard及びK.Devlin著、「Dynamic Range Reduction Inspired by Photoreceptor Physiology」(IEEE Transactions on Visualization and Computer Graphics、2005年、11巻、13〜14頁)参照)、デュラン(Durand)(例えば、F.Durand及びJulie Dorsey著、「Fast Bilateral Filtering for the Display of High−Dynamic−Range Images」(ACMTransactions on Graphics、2002年、21巻、No.3、257〜266頁)参照)、レティナ(Retine)(例えば、Benoit A.、Caplier A.、Durette B.及びHerault J.著、「Using Human Visual System Modeling For Bio−Inspired Low Level Image Processing」(Elsevier,Computer Vision and Image Understanding 114巻、2010年、758〜773頁)参照)等がある。他の実施形態では、シーン分類に基づき、これら他のトーンマッピング演算子の一つを選択することができる。概して、シーンクラスと好ましいトーンマッピング演算子との対応関係は経験的に決定することが可能であり、シーンクラスとトーンマッピング演算子との対応テーブルをデータ処理装置に予め記憶しておいてもよい。

0030

追加的に(任意に)、ステップS13で決定したシーン分類に基づいて、ガマットマッピングアルゴリズムが自動選択され、トーンマッピング後の画像処理に用いられる(ステップS15)。この目的のため、複数のガマットマッピングアルゴリズム、又は異なるガマットマッピングアルゴリズムにより予め計算された複数のルックアップテーブルを、データ処理装置に記憶すると共に、シーンクラスと好ましいガマットマッピングアルゴリズムとの対応関係を予め記憶しておく。ここで、ガマットマッピングアルゴリズムは、異なる式を用いる場合、又は式は同じだが異なるパラメーターを用いる場合に異なるものとみなされる。シーンクラスと好ましいガマットマッピングアルゴリズムとの対応関係は、実験に基づき、又は訓練データを用いた機械学習によって、手入力で決定することができる。

0031

その後、ステップS16で生成されたHDR画像は、ステップS14で選択されたトーンマッピング演算子を適用することにより、LDR画像にトーンマップされる(ステップS17)。また、LDR画像は、ステップS15で選択されたガマットマッピングアルゴリズムを用いてガマットマップされ、印刷用の画像が生成される(ステップS18)。ガマットマッピングは、一の色空間、この場合はカメラ(入力装置)の色空間、例えばRGBから、他の色空間、この場合はプリンター(出力装置)の色空間、例えばCMYKに画像を変換する。トーンマッピング演算子及びガマットマッピングアルゴリズムが選択されると、当業者は不要な実験なしでステップS17及びS18を実施することができる。

0032

上述の実施形態では、複数のブラケットから生成された合成LDR画像がステップS13のシーン分類に用いられる。他の実施形態では、シーン分類は単一のブラケットで行われる。例えば、組の中央のブラケット又は(露出値の観点で)最適な露出のブラケットを使用することができる。この他の実施形態では、ステップS12が省略され、代わりに、中央のブラケットを選択する工程が実施される。局所的な露光過度及び/又は露出不足により、単一のブラケットがシーン内のすべての特徴の十分な詳細情報を提供しないことも多いため、この他の方法はあまり好ましくない。例えば、人の顔は、中央のブラケットでは露出不足になりうる。よって、シーン分類に単一のブラケットを用いると、誤ったシーン分類を引き起こす要因となりうる。

0033

上述のHDR画像処理方法は、図2Aに示すようなコンピューター120等のデータ処理システムにおいて実施することができる。コンピューター120は、プロセッサー121、記憶装置(例えば、ハードディスクドライブ)122、及び内部メモリー(例えば、RAM)123を備えている。記憶装置122は、上記方法を実行するためにRAM123に読み出され、プロセッサー121により実行されるソフトウェアプログラムを記憶する。

0034

上記方法は、デジタルカメラ内の一以上のチップ等のハードワイヤード回路において実施されることも可能である。図2Bは、プロセッサー131、記憶装置132及び内部メモリー133と、画像を取得する撮影部134及びカメラの様々な機能を制御する制御部135とを備えるデジタルカメラ130を概略的に示している。制御部135は、異なる露出レベルで一組の画像を自動的に撮るオートブラケティングを実行しうる。オートブラケティングは周知なのでここでは詳細を省略する。プロセッサー131は、上述したアルゴリズムを用いて一組の画像を処理し、HDR画像を生成しうる。

0035

一の側面では、本発明は、データ処理装置において具現化される。データ処理装置は、デジタルカメラのデータ処理部であってもよい。他の側面では、本発明は、データ処理装置を制御するためのコンピューター読取可能なプログラムコードを内蔵したコンピューター使用可能な非一時的媒体に具現化されるコンピュータープログラム製品である。他の側面では、本発明は、データ処理装置により実行される方法である。

0036

本発明のHDR画像処理方法及び関連する装置に、本発明の趣旨又は範囲を逸脱することなく、種々の修正や変更を加えうることは、当業者において明らかである。このように、本発明は、添付の特許請求の範囲やその等価物の範囲内の変更点修正点にまで及ぶことが意図されている。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ