図面 (/)
課題・解決手段
概要
背景
本項目は、以下で記載及び/又は請求される本発明の様々な態様に関連し得る技術の様々な態様を読者に紹介することを目的とする。この議論は、本発明の様々な態様のより良い理解を助けるよう読者に背景情報を提供するのに有用であると信じられている。然るに、それらの記述は、この観点から読まれるべきであり、先行技術の承認としてではないことが理解されるべきである。
低ダイナミックレンジ画像(LDR(Low-Dynamic-Range)画像)は、限られた数のビット(ほとんどの場合、8又は10)により表現される輝度値を有する画像である。この限られた表現は、特に、暗い輝度範囲及び明るい輝度範囲において、小さな信号変動の正確なレンダリングを認めない。高ダイナミックレンジ画像(HDR(High-Dynamic-Range)画像)では、信号表現は、その範囲全体にわたって信号の高い精度を維持するために拡張される。HDR画像において、ピクセル値は、通常、浮動小数点フォーマット(夫々のコンポーネントについて32ビット又は16ビット、すなわち、浮動小数点又は半精度浮動小数点のいずれか一方。最も人気のあるフォーマットは、OpenEXR半精度浮動小数点フォーマット(RGBコンポーネントごとに16ビット、すなわち、ピクセルごとに48ビット)である。)で、あるいは、長い表現(通常は、少なくとも16ビット)を持つ整数で、表現される。
本発明によって解決されるべき課題は、HDR画像をLDR画像へ、あるいは、方法は画像ごとへ適用されるので、延長線上で考えてみると、HDR画像のシーケンスをLDR画像のシーケンスへ、トーンマッピングする自動の又は半自動の方法を提供することである。
トーンマッピング方法は、例えば、従来のLDR準拠のディスプレイ上でHDR画像を見るために、あるいは、通常はブロードキャストシナリオで実行するデュアルカラーグレーディングにおいて、有用である。
通常、デュアルカラーグレーディングのアプローチは、HDR画像(又は画像のシーケンス)を捕捉し、捕捉されたHDR画像にカラーグレーディングを施し、HDR画像をLDR画像にトーンマッピングすることを含み、LDR画像は次いでカラーグレーディングを施される。
実際のところ、トーンマッピングされたLDR画像は表示されるよう意図されるので、それは、基礎をなすHDRシーンに適合した見ることができるLDRシーンの基本原則を満たさなければならない。言い換えれば、トーンマッピングは、トーンマッピングされた画像への空間コヒーレンス、画像のシーケンスの中のトーンマッピングされた画像どうしの時間コヒーレンス、大域的な輝度コヒーレンス(すなわち、暗いHDRシーンは暗いLDRシーンをもたらし、その逆も同様である。)、及びHDR画像とトーンマッピングされた画像との間の色コヒーレンスを少なくとも保つべきである。すなわち、カラーグレーディングは、可能な限り保たれる。
デュアルカラーグレーディングのアプローチは、LDR画像がカラーグレーディングのエキスパートの制御下で生成される場合に、LDR画像の最も高い品質をもたらし、よって、自動的且つ系統だった方法の制御されていない望まれていない効果がないことを確かにする。しかし、それは、2つのワークフロー(1つはHDR用、もう1つはLDR用)を扱う必要があるので、二重のポストプロダクションリソースを要する。
それは、全ての使用ケースについて実際的ではない可能性があり、且つ、それは、HDRシーケンスのみがカラーグレーディングを施されている場合であり得る。当然、そのような場合に、全てのカスタマが表示のためにHDRデバイスを備え付けられ得るわけではないので、見ることができるLDR画像を得ることが望ましい。それらのカスタマに手を差し伸べるために、LDR画像は、余分の又は代替のカラーグレーディングなしで、すなわち、全てのコンテンツについて許容可能な品質を持ったLDR画像を提供する自動のトーンマッピング方法を使用することによって、生成されるべきである。
多くの局所的又は大域的トーンマッピングオペレータは、例えば、Reinhardによって定義されたトーンマッピングのように、先行技術において存在し、使用されてよい(Reinhard, E.,Stark, M.,Shirley, P.,及びFerwerda, J.,“Photographic tone reproduction for digital images”,ACMTransactions on Graphics 21(2002年7月)、又はBoitard, R.,Bouatouch, K.,Cozot, R.,Thoreau, D.,及びGruson, A.,“Temporal coherency for video tone mapping”,In A. M. J. van Eijk,C. C. Davis,S. M. Hammel,及びA. K. Majumdar (Eds.),Proc. SPIE8499,Applications of Digital Image Processing,2012年,p.84990D-84990D-10)。
しかし、たとえ大域的トーンマッピングオペレータが輝度一貫性のような画像のシーケンスにわたる時間的特性を保つとしても、大域的トーンマッピングオペレータは、そのようなオペレータが、鮮明さの顕著な喪失なしで、より低いダイナミックで空間ディテールを表現することができないので、多くのダイナミックを持ったHDR画像のシーケンスに適用される場合に劇的に役に立たなくなり得る。
他方で、局所的トーンマッピングオペレータは、画像のシーケンスがある画像の局所的特性を捕捉するために局所的なピクセル近傍に基づくので、画像のシーケンスを扱う場合に有効ではなく、画像のシーケンスの全体的な輝度(時間的な輝度一貫性)を維持しない。結果として、時間的な輝度一貫性は、時間フィルタリングを適用するために、オブジェクト追跡又はフレームバッファリングのような付加的な複雑な処理を使用することによって得られる。
概要
本発明は、概して、画像をトーンマッピングする方法及びデバイスに関係がある。方法は、画像から決定(11)されるバックライト画像によって画像を割ることで残像を得るステップ(12)と、残像へトーンマッピングすることで、トーンマッピングされた画像を得るステップ(13)とを有することを特徴とする。
目的
本発明の様々な態様に関連し得る技術の様々な態様を読者に紹介することを目的とする
効果
実績
- 技術文献被引用数
- 1件
- 牽制数
- 0件
この技術が所属する分野
(分野番号表示ON)※整理標準化データをもとに当社作成
請求項1
画像をトーンマッピングする方法であって、前記画像から決定されるバックライト画像によって前記画像を割ることで残像を得るステップと、前記残像をトーンマッピングすることで、トーンマッピングされた画像を得るステップとを有する、ことを特徴とする方法。
請求項2
請求項3
請求項4
請求項5
当該方法は、前記トーンマッピングされた画像のスケーリングを更に有する、請求項1乃至4のうちいずれか一項に記載の方法。
請求項6
当該方法は、前記トーンマッピングされた画像をクリッピングするステップを更に有する、請求項1乃至5のうちいずれか一項に記載の方法。
請求項7
画像をトーンマッピングするデバイスであって、前記画像から決定されるバックライト画像によって前記画像を割ることで残像を得る手段と、前記残像をトーンマッピングすることで、トーンマッピングされた画像を得る手段とを有するデバイス。
請求項8
コンピュータデバイスで実行される場合に、請求項1乃至6のうちいずれか一項に記載の方法のステップを実行するプログラムコードの命令を有する、ことを特徴とするコンピュータプログラム製品。
請求項9
コンピュータデバイスで実行される場合に、請求項1乃至6のうちいずれか一項に記載の方法のステップを実行するプログラムコードの命令を記憶する非一時的な記憶媒体。
技術分野
0001
本発明は、概して、画像/ビデオのトーンマッピングに関係がある。特に、本発明の技術分野は、高ダイナミックレンジに属するピクセル値を有する画像のトーンマッピングに関連している。
背景技術
0002
本項目は、以下で記載及び/又は請求される本発明の様々な態様に関連し得る技術の様々な態様を読者に紹介することを目的とする。この議論は、本発明の様々な態様のより良い理解を助けるよう読者に背景情報を提供するのに有用であると信じられている。然るに、それらの記述は、この観点から読まれるべきであり、先行技術の承認としてではないことが理解されるべきである。
0003
低ダイナミックレンジ画像(LDR(Low-Dynamic-Range)画像)は、限られた数のビット(ほとんどの場合、8又は10)により表現される輝度値を有する画像である。この限られた表現は、特に、暗い輝度範囲及び明るい輝度範囲において、小さな信号変動の正確なレンダリングを認めない。高ダイナミックレンジ画像(HDR(High-Dynamic-Range)画像)では、信号表現は、その範囲全体にわたって信号の高い精度を維持するために拡張される。HDR画像において、ピクセル値は、通常、浮動小数点フォーマット(夫々のコンポーネントについて32ビット又は16ビット、すなわち、浮動小数点又は半精度浮動小数点のいずれか一方。最も人気のあるフォーマットは、OpenEXR半精度浮動小数点フォーマット(RGBコンポーネントごとに16ビット、すなわち、ピクセルごとに48ビット)である。)で、あるいは、長い表現(通常は、少なくとも16ビット)を持つ整数で、表現される。
0004
本発明によって解決されるべき課題は、HDR画像をLDR画像へ、あるいは、方法は画像ごとへ適用されるので、延長線上で考えてみると、HDR画像のシーケンスをLDR画像のシーケンスへ、トーンマッピングする自動の又は半自動の方法を提供することである。
0005
トーンマッピング方法は、例えば、従来のLDR準拠のディスプレイ上でHDR画像を見るために、あるいは、通常はブロードキャストシナリオで実行するデュアルカラーグレーディングにおいて、有用である。
0006
通常、デュアルカラーグレーディングのアプローチは、HDR画像(又は画像のシーケンス)を捕捉し、捕捉されたHDR画像にカラーグレーディングを施し、HDR画像をLDR画像にトーンマッピングすることを含み、LDR画像は次いでカラーグレーディングを施される。
0007
実際のところ、トーンマッピングされたLDR画像は表示されるよう意図されるので、それは、基礎をなすHDRシーンに適合した見ることができるLDRシーンの基本原則を満たさなければならない。言い換えれば、トーンマッピングは、トーンマッピングされた画像への空間コヒーレンス、画像のシーケンスの中のトーンマッピングされた画像どうしの時間コヒーレンス、大域的な輝度コヒーレンス(すなわち、暗いHDRシーンは暗いLDRシーンをもたらし、その逆も同様である。)、及びHDR画像とトーンマッピングされた画像との間の色コヒーレンスを少なくとも保つべきである。すなわち、カラーグレーディングは、可能な限り保たれる。
0008
デュアルカラーグレーディングのアプローチは、LDR画像がカラーグレーディングのエキスパートの制御下で生成される場合に、LDR画像の最も高い品質をもたらし、よって、自動的且つ系統だった方法の制御されていない望まれていない効果がないことを確かにする。しかし、それは、2つのワークフロー(1つはHDR用、もう1つはLDR用)を扱う必要があるので、二重のポストプロダクションリソースを要する。
0009
それは、全ての使用ケースについて実際的ではない可能性があり、且つ、それは、HDRシーケンスのみがカラーグレーディングを施されている場合であり得る。当然、そのような場合に、全てのカスタマが表示のためにHDRデバイスを備え付けられ得るわけではないので、見ることができるLDR画像を得ることが望ましい。それらのカスタマに手を差し伸べるために、LDR画像は、余分の又は代替のカラーグレーディングなしで、すなわち、全てのコンテンツについて許容可能な品質を持ったLDR画像を提供する自動のトーンマッピング方法を使用することによって、生成されるべきである。
0010
多くの局所的又は大域的トーンマッピングオペレータは、例えば、Reinhardによって定義されたトーンマッピングのように、先行技術において存在し、使用されてよい(Reinhard, E.,Stark, M.,Shirley, P.,及びFerwerda, J.,“Photographic tone reproduction for digital images”,ACMTransactions on Graphics 21(2002年7月)、又はBoitard, R.,Bouatouch, K.,Cozot, R.,Thoreau, D.,及びGruson, A.,“Temporal coherency for video tone mapping”,In A. M. J. van Eijk,C. C. Davis,S. M. Hammel,及びA. K. Majumdar (Eds.),Proc. SPIE8499,Applications of Digital Image Processing,2012年,p.84990D-84990D-10)。
0011
しかし、たとえ大域的トーンマッピングオペレータが輝度一貫性のような画像のシーケンスにわたる時間的特性を保つとしても、大域的トーンマッピングオペレータは、そのようなオペレータが、鮮明さの顕著な喪失なしで、より低いダイナミックで空間ディテールを表現することができないので、多くのダイナミックを持ったHDR画像のシーケンスに適用される場合に劇的に役に立たなくなり得る。
0012
他方で、局所的トーンマッピングオペレータは、画像のシーケンスがある画像の局所的特性を捕捉するために局所的なピクセル近傍に基づくので、画像のシーケンスを扱う場合に有効ではなく、画像のシーケンスの全体的な輝度(時間的な輝度一貫性)を維持しない。結果として、時間的な輝度一貫性は、時間フィルタリングを適用するために、オブジェクト追跡又はフレームバッファリングのような付加的な複雑な処理を使用することによって得られる。
先行技術
0013
Reinhard, E.,Stark, M.,Shirley, P.,及びFerwerda, J.,“Photographic tone reproduction for digital images”,ACMTransactions on Graphics 21(2002年7月)
Boitard, R.,Bouatouch, K.,Cozot, R.,Thoreau, D.,及びGruson, A.,“Temporal coherency for video tone mapping”,In A. M. J. van Eijk,C. C. Davis,S. M. Hammel,及びA. K. Majumdar (Eds.),Proc. SPIE8499,Applications of Digital Image Processing,2012年,p.84990D-84990D-10
0014
本発明は、画像をトーンマッピングする方法であって、
前記画像から決定されるバックライト画像によって前記画像を割ることで残像を得るステップと、
前記残像をトーンマッピングすることで、トーンマッピングされた画像を得るステップと
を有する、ことを特徴とする方法によって、先行技術の欠点の幾つかを改善することを目指す。
0015
これは、見ることができるトーンマッピングされた画像、すなわち、トーンマッピングされた画像が、画像における原シーンと比較してまあまあ良く且つ一貫して、トーンマッピングされたシーンを芸術的にレンダリングするという意味における画像、を提供する。このようにして、この方法は、見ることができるトーンマッピングされた画像が、高ダイナミックレンジを扱うことができない従来の装置によって符号化/復号化及び/又は表示され得るので、上位互換性がある。
0017
ガンマ補正及びエスログ補正は、暗情報及び明情報が失われないように、トーンマッピングされた画像を高い精度を有してもたらす。更には、ガンマ補正及びエスログ補正は、見ることができるトーンマッピングされた画像においてフラットなクリッピングされたエリアを回避する。
0018
実施形態に従って、前記画像から前記バックライト画像を得ることは、
前記画像の輝度成分からバックライト画像を得ることと、
前記画像の平均輝度値により前記バックライト画像を変調することと
を有する。
0019
前記画像の平均輝度値により前記バックライト画像を変調することは、前記画像と前記残像との間の大域的な輝度コヒーレンスを改善する。例えば、画像における明るい領域は、残像において明るく現れ、画像における暗い領域は、残像において暗く現れる。
0022
実施形態に従って、当該方法は、前記トーンマッピングされた画像のスケーリングを更に有する。
0023
これは、トーンマッピングされた画像から得られた画像の平均グレーを、見るための及び潜在的に符号化するための十分な値に置く。
0024
実施形態に従って、当該方法は、前記トーンマッピングされた画像をクリッピングするステップを更に有する。
0025
前記トーンマッピングされた画像をクリッピングすることは、限られた数のビット(通常は、8〜10ビット)が、クリッピングされたトーンマッピングされた画像を符号化又は表示するのに必要とされるので、従来のインフラストラクチャ(コーデック、ディスプレイ、分配チャネル、など)との上位互換性を確かにする。その場合に、例えば、符号化されたデータは、遠隔のディスプレイ上で画像の低ダイナミックレンジバージョンを表示するよう、そのようなインフラストラクチャにわたって送信されてよい。
0026
その他の態様に従って、本発明は、画像をトーンマッピングするデバイスに関係がある。
0027
本発明の特性並びに本発明の他の目的、利点、特徴及び使用は、添付の図面とともに読まれる好適な実施形態の以下の記載から明らかになるであろう。
図面の簡単な説明
0028
実施形態は、次の図を参照して記載される。
本発明の実施形態に従って画像Iをトーンマッピングする方法のステップのブロック図を示す。
本発明の実施形態に従う方法のステップのブロック図を示す。
本発明の実施形態に従う方法のステップのブロック図を示す。
本発明の実施形態に従う方法のステップのブロック図を示す。
デバイスのアーキテクチャの例を示す。
実施例
0029
本発明は、本発明の実施形態が示されている添付の図を参照して、以下で、より十分に記載される。本発明は、しかしながら、多くの代替の形態において具現されてよく、ここで示されている実施形態に制限されるものとして解釈されるべきではない。然るに、本発明は、様々な変更及び代替の形態の余地があり、一方、その具体的な実施形態は、図面において一例として示され、ここで詳細に記載される。なお、本発明を開示されている特定の形態に制限する意図はなく、それどころか、本発明は、特許請求の範囲で定義される本発明の主旨及び適用範囲内にある全ての変形、同等物及び代替案に及ぶべきことが理解されるべきである。同じ符号は、図の説明を通して同じ要素を参照する。
0030
ここで使用される用語は、単に、特定の実施形態を記述することを目的とし、本発明の限定であるよう意図されない。ここで使用されるように、単数形(a、an及びthe)は、特段明記されない限りは、複数形も含むよう意図される。語「有する(comprises、comprising)」及び/又は「含む(includes、including)」は、本明細書において使用される場合に、述べられている機構、整数、ステップ、動作、要素及び/又はコンポーネントの存在を特定するが、1つ以上の他の機構、整数、ステップ、動作、要素、コンポーネント及び/又はそれらのグループの存在又は追加を除外しないことが理解される。更には、要素が他の要素に“応答する”又は“接続される”ものとして呼ばれる場合に、それは他の要素に直接に応答する又は接続されることができ、あるいは、介在する要素が存在してよい。対照的に、要素が他の要素に“直接に応答する”又は“直接に接続される”ものとして呼ばれる場合に、介在する要素は存在しない。ここで使用されるように、語「及び/又は(and/or)」は、関連する列挙された項目のうちの1つ以上のありとあらゆる組み合わせを含み、“/(/)”と省略されてよい。
0031
たとえ語「第1(first)」、「第2(second)」などが様々な要素を記載するために使用され得るとしても、それらの要素はそのような語によって制限されるべきではないことが理解される。そのような語は、1つの要素を他と区別するためにのみ使用される。例えば、本開示の教示から外れることなしに、第1の要素は第2の要素と称されてよく、同様に、第2の要素は第1の要素と称されてよい。
0033
幾つかの実施形態は、ブロック図及び動作フローチャートに関連して記載される。ブロック図及び動作フローチャートにおいて、夫々のブロックは、回路素子、モジュール、あるいは、特定されている論理機能を実施する1つ以上の実行可能命令を含むコードの部分を表す。また、他の実施形態では、ブロックにおいて示されている機能は、示されている順序を外れて起こってよい点が留意されるべきである。例えば、連続して示されている2つのブロックは、実際には、実質的に同時に実行されてよく、あるいは、ブロックは、関連する機能に応じて、ときどき逆の順序で実行されてよい。
0034
「一実施形態」又は「実施形態」とのここでの言及は、実施形態に関連して記載されている特定の機構、構造、又は特性が、本発明の少なくとも1つの実施に含まれ得ることを意味する。明細書中の様々な箇所における「一実施形態において」又は「実施形態に従って」との言い回しの出現は、必ずしも全てが同じ実施形態に言及しているわけでも、他の実施形態と必然的に相互排他的な別個の又は代替の実施形態でもない。
0035
特許請求の範囲において現れる参照符号は、単なる実例であって、特許請求の範囲の適用範囲に対して限定効果を有すべきではない。
0036
明示的には記載されていないが、本実施形態及び変形例は、あらゆる組み合わせ又は部分的組み合わせにおいて用いられてよい。
0037
本発明は、画像を符号化/復号化することについて記載されるが、シーケンスの各画像は後述されるように順次に符号化/復号化されるので、画像のシーケンス(ビデオ)の符号化/復号化に及ぶ。
0038
図1は、本発明の実施形態に従って画像Iをトーンマッピングする方法のステップのブロック図を示す。
0039
ステップ10で、モジュールICは、トーンマッピングされるべき画像Iの輝度成分L及び潜在的に少なくとも1つの色成分C(i)を得る。
0040
例えば、画像Iが色空間(X,Y,Z)に属する場合に、輝度成分Lは成分Yの変換f(.)によって求められる。例えば、L=f(Y)。
0041
画像Iが色空間(R,G,B)に属する場合に、輝度成分Lは、例えば、709ガマットにおいて、
L=0.2127×R+0.7152×G+0.0722×B
によって与えられる線形結合により求められる。
0042
ステップ11で、モジュールBAMは、画像Iの輝度成分Lからバックライト画像Balを決定する。
0043
図2で表されるステップ11の実施形態に従って、モジュールBIは、バックライト画像Baを、
Ba=Σiaiψi (1)
によって与えられる形状関数ψiの加重線形結合であるとして決定する。ここで、aiは重み係数である。
0044
このように、輝度成分Lからバックライト画像Baを得ることは、バックライト画像Balが輝度成分Lに適合するために、最適な重み係数(更には、潜在的に、予め知られてない場合には、最適な形状関数)を見つけることにある。
0046
本発明は、バックライト画像Baを得るために如何なる具体的な方法にも制限されない。
0047
形状関数は、表示バックライトの実際の物理応答(LEDの、例えば、その場合に、1つのLEDの応答に対応する夫々の形状関数から作られる。)であってよく、あるいは、最善の状態で輝度成分に適合するために純粋な数学的構成であってよいことが知られ得る。
0049
例えば、それらのサポートが非常に大きい(事実上無限)場合に、一定のバックライト画像がまさに得られ、結果として起こるトーンマッピング方法は、その場合に、大域的トーンマッピングオペレータと同等である。反対に、非常に小さいサポートによれば、結果として起こるトーンマッピング方法は、その場合に、上述された局所的トーンマッピングオペレータの全ての欠点を伴った局所的トーンマッピングオペレータと同等である。
0050
形状関数のサポートのサイズは、それが、局所的でありながら大きい近傍を有するスムース輝度ダイナミック低減を使用するので、実際には、大域的でも極めて局所的でもないトーンマッピング方法を得るために、選択される。
0052
この実施形態に従って、ステップ11から出力されるバックライト画像Balは、式(1)によって与えられるバックライト画像Baである。
0053
図3で表されるステップ11の実施形態に従って、モジュールBMは、モジュールHLによって得られた画像Iの平均輝度値Lmeanによりバックライト画像Ba(式(1)によって与えられる。)を変調する。
0054
この実施形態に従って、ステップ11から出力されるバックライト画像Balは、変調されたバックライト画像である。
0055
実施形態に従って、モジュールHLは、全体の輝度成分Lにわたって平均輝度値Lmeanを計算するよう構成される。
0056
実施形態に従って、モジュールHLは、
Lmean=E(Lβ)1/β
によって平均輝度値Lmeanを計算するよう構成される。ここで、βは、1に満たない係数であり、E(X)は、輝度成分Lの数学的期待値(平均)である。
0057
この最後の実施形態は、画像Iが画像のシーケンスに属する場合に、非常に厄介である時間的な平均輝度の不安定さを通常もたらす極めて高い値を持った数個のピクセルによって平均輝度値Lmeanが影響を及ぼされることを回避するので、有利である。
0058
本発明は、平均輝度値Lmeanを計算するための具体的な実施形態に制限されない。
0059
図4で表されるこの実施形態の変形例に従って、モジュールNは、画像について(画像が画像のシーケンスに属する場合には、全ての画像について)1バックライト画像でのミッドグレー(mid-gray-at-one backlight image)が得られるように、バックライト画像Ba(式(1)によって与えられる。)をその平均値E(Ba)によって正規化する:
Bagray=Ba/E(Ba)。
次いで、モジュールBMは、次の式:
Bamod≒cstmod・Llfα・Bagray (2)
を使用することによって、画像Iの低空間周波数バージョンLlfにより1バックライト画像でのミッドグレーを変調するよう構成される。ここで、cstmodは、変調係数であり、αは、1に満たない(通常、1/3)他の変調係数である。
0060
この変形例に従って、ステップ11で出力されるバックライト画像Balは、式(2)によって与えられる変調されたバックライト画像Bamodである。
0061
変調係数cstmodは、残像について良好な外観輝度を得るよう調整され、バックライト画像を得るプロセスに大いに依拠する。例えば、最小平均二乗によって得られるバックライト画像について、cstmod≒1.7。
0063
ステップ12で、残像Resは、画像をバックライト画像Balで割ることで計算される。
0064
もっと正確に言えば、モジュールICから得られる画像Iの輝度成分L及び潜在的に夫々の色成分C(i)は、バックライト画像Balによって割られる。この除算はピクセルごとに行われる。
0065
例えば、画像Iの成分R、G又はBが色空間(R,G,B)において表現される場合に、成分Rres、Gres及びBresは、次のように求められる:
Rres=R/Bal,Gres=G/Bal,Bres=B/Bal
例えば、画像Iの成分X、Y又はZが色空間(X,Y,Z)において表現される場合に、成分Xres、Yres及びZresは、次のように求められる:
Xres=X/Bal,Yres=Y/Bal,Zres=Z/Bal。
ステップ13で、トーンマッピングされた画像Resvは、残像Resをトーンマッピングすることで得られる。
0066
残像Resは、そのダイナミックレンジが高すぎるので、且つ、この残像Resがあまりに可視的なアーチファクトを示すので、見ることができないと考えられる。残像をトーンマッピングすることは、そのような欠点のうちの少なくとも1つを改善する。
0067
本発明は、如何なる具体的なトーンマッピングオペレータにも制限されない。
0068
有利に、トーンマッピングオペレータは、原HDR画像の再構成を可能にするために、可逆であるべきである。
0069
ステップ13の実施形態に従って、残像をトーンマッピングすることは、残像のピクセル値に従ってガンマ補正又はエスログ補正のいずれか一方を有する。
0071
代替的に、トーンマッピングされた画像Resvは、例えば:
Resv=a・ln(Res+b)+c
によって与えられる。ここで、a、b及びcは、0及び1が不変であるように決定されたエスログ曲線の係数である。エスログ曲線の導関数は、1を下回るガンマ曲線によって延長される場合に、1において連続的である。よって、a、b及びcは、パラメータγの関数である。
0073
残像Resに対してエスログ補正を適用することは、十分にハイライトを下げるが、暗領域を引っ張り出さない。
0074
次いで、ステップ13の実施形態に従って、モジュールTMOは、残像Resのピクセル値に従ってガンマ補正又はエスログ補正のいずれか一方を適用する。
0075
例えば、残像Resのピクセル値が閾値(1に等しい。)を下回る場合に、ガンマ補正は適用され、そうでない場合に、エスログ補正は適用される。
0076
構成によって、トーンマッピングされた画像Resvは、通常、画像Iの輝度に応じて1におおよそ近い平均値を有し、上記のガンマ−エスログ結合の使用を特に有効なものとする。
0077
方法の実施形態に従って、ステップ14で、モジュールSCAは、トーンマッピングされた画像Resvの夫々の成分にスケーリング係数cstscalingを乗じることによって、トーンマッピングされた画像Resvをスケーリングする。
0078
スケーリングされたトーンマッピングされた画像Ressは、次いで、
Ress=cstscaling・Resv
によって与えられる。
0079
望ましくは、スケーリング係数cstscalingは、トーンマッピングされた画像Resvの値を0から最大値2N−1の間でマッピングするよう定義される。ここで、Nは、例えば、エンコーダ又はディスプレイによる符号化のための入力として許されるビットの数である。
0080
これは、当然ながら、値1(トーンマッピングされた画像Resvのおおよそ平均値である。)をミッドグレー値2N−1にマッピングすることによって得られる。よって、標準的なビット数N=8を有するトーンマッピングされた画像Resvについて、120に等しいスケーリング係数は、27=128での中間グレーに極めて近づけられるので、非常に矛盾のない値である。
0081
方法の実施形態に従って、ステップ15で、モジュールCLIは、トーンマッピングされが画像Resvをクリッピングして、そのダイナミックレンジを目標のダイナミックレンジTDRに制限する。目標のダイナミックレンジTDRは、例えば、エンコーダ又はディスプレイの性能に従って、定義される。
0082
この最後の実施形態に従って、結果として起こる残像Rescは、方法の実施形態に従って、例えば:
Resc=max(2N,Resv)
Resc=max(2N,Ress)
によって与えられる。
0083
本発明は、そのようなクリッピング(max(.))に制限されず、如何なる他のクリッピングにも及ぶ。
0084
スケーリングの実施形態とクリッピングの実施形態とを組み合わせることは、方法の実施形態に従って、
Ressc=max(2N,cstscaling×Resv)、又は
Ressc=max(2N,cstscaling×Ress)
によって与えられる残像Resscをもたらす。
0085
上記のトーンマッピング、スケーリング及びクリッピングは、パラメトリックプロセスである。パラメータは固定であってもなくてもよく、後者の場合に、パラメータ又はそれらの一部は、エンコーダによってビットストリームにおいて符号化され、且つ/あるいは、遠隔のディスプレイへ送信され、且つ/あるいは、局所又は遠隔のメモリから取得されてよい。
0086
パラメータ、例えば、α、cstmod、cstscaling、γ、β、の選択は、ポストプロダクション及びカラーグレーディングにおけるエキスパートの好みに最も良く従うコンテンツに適するトーンマッピングの選択の余地を与えると考えられる。また、バックライトを生成するために使用される形状関数のポジション及びサイズは、選択され得る他のパラメータである。
0087
他方で、普遍的なパラメータは、各種の画像の全てに受け入れられ得るように定義されてよい。これは、上記のパラメータがエンドユーザ又は何らかの他の局所若しくは外部の手段によって選択される半自動のパラメトリックトーンマッピングと対照的に、完全に自動のトーンマッピングをもたらす。
0088
図1乃至4で、モジュールは機能ユニットであって、区別可能な物理ユニットと関係があってもなくてもよい。例えば、それらのモジュール又はそれらの一部は、唯一のコンポーネント若しくは回路において寄せ集められるか、あるいは、ソフトウェアの機能に寄与してよい。反対に、幾つかのモジュールは、場合によっては、別々の物理エンティティから成ってよい。本発明に従う装置は、純粋なハードウェアにより、例えば、ASIC(Application Specific IntegratedCircuit)又はFPGA(Field Programmable Gate Array)又はVLSI(Very Large Scale Integration)のような専用ハードウェアを用いて、あるいは、デバイスに埋め込まれた幾つかの組み込み型電子部品から、又はハードウェア及びソフトウェアコンポーネントの混合から、実装される。
0090
デバイス50は、データ及びアドレスバス51によって結合されている次の要素を有する:
・例えば、DSP(すなわち、Digital Signal Processor)であるマイクロプロセッサ52(又はCPU);
・ROM(すなわち、Read Only Memory)53;
・RAM(すなわち、Random Access Memory)54;
・アプリケーションからの送信すべきデータの受信のためのI/Oインターフェイス55;及び
・バッテリ56。
0091
変形例に従って、バッテリ56はデバイスの外部にある。図5のそれらの要素の夫々は、当業者によく知られており、これ以上は開示されない。示されているメモリの夫々において、明細書中で使用される語「レジスタ(register)」は、小さい容量(数ビット)のエリアに、あるいは、非常に大きいエリア(例えば、プログラム全体又は受信若しくは復号される大量のデータ)に対応することができる。ROM53は、少なくともプログラム及びパラメータを有する。本発明に従う方法のアルゴリズムはROM53において記憶される。起動されるときに、CPU52は、プログラムをRAM54にアップロードし、対応する命令を実行する。
0092
RAM54は、レジスタにおいて、デバイス50の起動後にアップロードされてCPU52によって実行されるプログラムを、レジスタにおいて入力データを、レジスタにおいて、方法の異なる状態での中間データを、そして、レジスタにおいて、方法の実行に使用される他の変数を有する。
0093
ここで記載される実施は、例えば、方法若しくはプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号において実施されてよい。たとえ単一の実施形態に関してしか論じられないとしても(例えば、方法又はデバイスとしてしか論じられないとしても)、論じられている特徴の実施は、他の形態(例えば、プログラム)においても実施されてよい。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアにおいて実施されてよい。方法は、例えば、プロセッサのような装置において実施されてよい。プロセッサは、プロセッシングデバイス全般を指し、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラム可能なロジックデバイスを含む。プロセッサは、例えば、コンピュータ、携帯電話機、ポータブル/パーソナルデジタルアシスタント(“PDA”)、及びエンドユーザ間の情報のやり取りを助ける他のデバイスのような、通信デバイスを更に含む。
0094
ここで記載される様々なプロセス及び機構の実施は、多種多様な設備又は用途、特に、例えば、設備又は用途において具現されてよい。そのような設備の例には、エンコーダ、デコーダ、デコーダからの出力を処理するポストプロセッサ、エンコーダへ入力を供給するプリプロセッサ、ビデオコーダ、ビデオデコーダ、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話機、PDA、及び他の通信デバイスが含まれる。当然、設備は移動性であって、移動車両において設置さえされてよい。
0095
加えて、方法は、プロセッサによって実行される命令によって実施されてよく、そのような命令(及び/又は実施によって生成されたデータ値)は、例えば、集積回路、ソフトウェア担体、又は他の記憶デバイス(例えば、ハードディスク、コンパクトディスケット(“CD”)、光ディスク(例えば、しばしばデジタルバーサタイルディスク又はデジタルビデオディスクと呼ばれるDVD)、ランダムアクセスメモリ(“RAM”)、又はリードオンリーメモリ(“ROM”))のようなプロセッサ可読媒体において記憶されてよい。命令は、プロセッサ可読媒体において有形に具現されるアプリケーションプログラムを形成してよい。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、又は組み合わせにあってよい。命令は、例えば、オペレーティングシステム、別のアプリケーション、又は両者の組み合わせにおいて見つけられてよい。従って、プロセッサは、例えば、プロセスを実行するよう構成されるデバイス、及びプロセスを実行するための命令を有するプロセッサ可読媒体(例えば、記憶デバイス)を含むデバイス、の両方と見なされてよい。更に、プロセッサ可読媒体は、命令に加えて、又はそれに代えて、実施によって生成されたデータ値を記憶してよい。
0096
当業者に明らかなように、実施は、例えば、記憶又は送信され得る情報を運ぶようフォーマットされた様々な信号を生成してよい。情報は、例えば、方法を実行するための命令、又は記載される実施の1つによって生成されたデータを含んでよい。例えば、信号は、記載される実施形態のシンタックスを書き込む又は読み出すための規則をデータとして運ぶよう、あるいは、記載される実施形態によって書き込まれる実際のシンタックス値をデータとして運ぶよう、フォーマットされてよい。そのような信号は、例えば、電磁波として(例えば、スペクトルの無線周波数部分を使用する。)、あるいは、ベースバンド信号として、フォーマットされてよい。フォーマット化は、例えば、データストリームを符号化し、符号化されたデータによりキャリアを変調することを含んでよい。信号が運ぶ情報は、例えば、アナログ又はデジタルの情報であってよい。信号は、知られている多種多様な有線又は無線リンクにわたって送信されてよい。信号は、プロセッサ可読媒体において記憶されてよい。
0097
実施形態に従って、I/Oインターフェイス55は、図1乃至4に関して記載された方法によって使用されるパラメータの少なくとも1つを受けるよう構成される。例えば、パラメータは、知られている非適応的形状関数が使用される場合に重み係数
(外3)
に制限されるが、形状関数ψiは、例えば、より良い適合のためのいくらか最適な数学的構成の場合に、先験的に未知であってもよい。その場合に、形状関数ψiのポジション及びサポートのサイズは、パラメータであってよい。ガンマ曲線の係数γ、β、cstmod、α、スケーリング係数cstscaling、ビットの数Nも、本発明に従う、画像をトーンマッピングする方法のパラメータであってよい。
0098
それらのパラメータの一部は、局所又は遠隔のメモリから得られるか、あるいは、デバイス50のグラフィカルインターフェイスからエンドユーザによって選択されてよい。このように、トーンマッピング方法は、この方法のパラメータを得るために使用される方法に従って、自動又は半自動であってよい。
0099
それらの受け取られるパラメータの一部は、遠隔のデバイスによって符号化されていてよい。その場合に、デバイス50は、それらの受け取られたパラメータを復号するデコーダを有する。
0100
多数の実施が記載されてきた。それでもなお、様々な変更が行われてよいことが理解されるであろう。例えば、異なる実施の要素は、他の実施をもたらすよう、組み合わされ、補完され、変更され、又は削除されてよい。加えて、当業者であれば、他の構造及びプロセスが、開示されているものに取って代わってよく、結果として起こる実施は、開示されている実施と少なくとも実質的に同じ結果を達成するよう、少なくとも実質的に同じようにして、少なくとも実質的に同じ機能を実行すると理解する。然るに、それら及び他の実施は、本願によって考えられている。