図面 (/)

技術 高ダイナミックレンジ画像をトーンマッピングする方法及びデバイス

出願人 トムソンライセンシング
発明者 ラセール,セバスティアンオリヴィエ,ヤニックル,ラエンネック,ファブリストウゼ,デイビッド
出願日 2014年12月22日 (6年2ヶ月経過) 出願番号 2016-542766
公開日 2017年1月19日 (4年1ヶ月経過) 公開番号 2017-502353
状態 特許登録済
技術分野 画像処理 表示装置の制御、回路 陰極線管以外の表示装置の制御
主要キーワード 局所的特性 使用ケース 加重線 平均グレー 低ダイナミックレンジ バックライト画像 プロセッシングデバイス 分配チャネル
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年1月19日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (6)

課題・解決手段

本発明は、概して、画像をトーンマッピングする方法及びデバイスに関係がある。方法は、画像から決定(11)されるバックライト画像によって画像を割ることで残像を得るステップ(12)と、残像へトーンマッピングすることで、トーンマッピングされた画像を得るステップ(13)とを有することを特徴とする。

概要

背景

項目は、以下で記載及び/又は請求される本発明の様々な態様に関連し得る技術の様々な態様を読者紹介することを目的とする。この議論は、本発明の様々な態様のより良い理解を助けるよう読者に背景情報を提供するのに有用であると信じられている。然るに、それらの記述は、この観点から読まれるべきであり、先行技術の承認としてではないことが理解されるべきである。

低ダイナミックレンジ画像(LDR(Low-Dynamic-Range)画像)は、限られた数のビット(ほとんどの場合、8又は10)により表現される輝度値を有する画像である。この限られた表現は、特に、暗い輝度範囲及び明るい輝度範囲において、小さな信号変動の正確なレンダリングを認めない。高ダイナミックレンジ画像HDR(High-Dynamic-Range)画像)では、信号表現は、その範囲全体にわたって信号の高い精度を維持するために拡張される。HDR画像において、ピクセル値は、通常、浮動小数点フォーマット(夫々のコンポーネントについて32ビット又は16ビット、すなわち、浮動小数点又は半精度浮動小数点のいずれか一方。最も人気のあるフォーマットは、OpenEXR半精度浮動小数点フォーマット(RGBコンポーネントごとに16ビット、すなわち、ピクセルごとに48ビット)である。)で、あるいは、長い表現(通常は、少なくとも16ビット)を持つ整数で、表現される。

本発明によって解決されるべき課題は、HDR画像をLDR画像へ、あるいは、方法は画像ごとへ適用されるので、延長線上で考えてみると、HDR画像のシーケンスをLDR画像のシーケンスへ、トーンマッピングする自動の又は半自動の方法を提供することである。

トーンマッピング方法は、例えば、従来のLDR準拠ディスプレイ上でHDR画像を見るために、あるいは、通常はブロードキャストシナリオで実行するデュアルカラーグレーディングにおいて、有用である。

通常、デュアルカラーグレーディングのアプローチは、HDR画像(又は画像のシーケンス)を捕捉し、捕捉されたHDR画像にカラーグレーディングを施し、HDR画像をLDR画像にトーンマッピングすることを含み、LDR画像は次いでカラーグレーディングを施される。

実際のところ、トーンマッピングされたLDR画像は表示されるよう意図されるので、それは、基礎をなすHDRシーン適合した見ることができるLDRシーンの基本原則を満たさなければならない。言い換えれば、トーンマッピングは、トーンマッピングされた画像への空間コヒーレンス、画像のシーケンスの中のトーンマッピングされた画像どうしの時間コヒーレンス大域的輝度コヒーレンス(すなわち、暗いHDRシーンは暗いLDRシーンをもたらし、その逆も同様である。)、及びHDR画像とトーンマッピングされた画像との間の色コヒーレンスを少なくとも保つべきである。すなわち、カラーグレーディングは、可能な限り保たれる。

デュアルカラーグレーディングのアプローチは、LDR画像がカラーグレーディングのエキスパートの制御下で生成される場合に、LDR画像の最も高い品質をもたらし、よって、自動的且つ系統だった方法の制御されていない望まれていない効果がないことを確かにする。しかし、それは、2つのワークフロー(1つはHDR用、もう1つはLDR用)を扱う必要があるので、二重のポストプロダクションリソースを要する。

それは、全ての使用ケースについて実際的ではない可能性があり、且つ、それは、HDRシーケンスのみがカラーグレーディングを施されている場合であり得る。当然、そのような場合に、全てのカスタマが表示のためにHDRデバイス備え付けられ得るわけではないので、見ることができるLDR画像を得ることが望ましい。それらのカスタマに手を差し伸べるために、LDR画像は、余分の又は代替のカラーグレーディングなしで、すなわち、全てのコンテンツについて許容可能な品質を持ったLDR画像を提供する自動のトーンマッピング方法を使用することによって、生成されるべきである。

多くの局所的又は大域的トーンマッピングオペレータは、例えば、Reinhardによって定義されたトーンマッピングのように、先行技術において存在し、使用されてよい(Reinhard, E.,Stark, M.,Shirley, P.,及びFerwerda, J.,“Photographic tone reproduction for digital images”,ACMTransactions on Graphics 21(2002年7月)、又はBoitard, R.,Bouatouch, K.,Cozot, R.,Thoreau, D.,及びGruson, A.,“Temporal coherency for video tone mapping”,In A. M. J. van Eijk,C. C. Davis,S. M. Hammel,及びA. K. Majumdar (Eds.),Proc. SPIE8499,Applications of Digital Image Processing,2012年,p.84990D-84990D-10)。

しかし、たとえ大域的トーンマッピングオペレータが輝度一貫性のような画像のシーケンスにわたる時間的特性を保つとしても、大域的トーンマッピングオペレータは、そのようなオペレータが、鮮明さの顕著な喪失なしで、より低いダイナミックで空間ディテールを表現することができないので、多くのダイナミックを持ったHDR画像のシーケンスに適用される場合に劇的に役に立たなくなり得る。

他方で、局所的トーンマッピングオペレータは、画像のシーケンスがある画像の局所的特性を捕捉するために局所的なピクセル近傍に基づくので、画像のシーケンスを扱う場合に有効ではなく、画像のシーケンスの全体的な輝度(時間的な輝度一貫性)を維持しない。結果として、時間的な輝度一貫性は、時間フィルタリングを適用するために、オブジェクト追跡又はフレームバッファリングのような付加的な複雑な処理を使用することによって得られる。

概要

本発明は、概して、画像をトーンマッピングする方法及びデバイスに関係がある。方法は、画像から決定(11)されるバックライト画像によって画像を割ることで残像を得るステップ(12)と、残像へトーンマッピングすることで、トーンマッピングされた画像を得るステップ(13)とを有することを特徴とする。

目的

本発明の様々な態様に関連し得る技術の様々な態様を読者に紹介することを目的とする

効果

実績

技術文献被引用数
1件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

画像をトーンマッピングする方法であって、前記画像から決定されるバックライト画像によって前記画像を割ることで残像を得るステップと、前記残像をトーンマッピングすることで、トーンマッピングされた画像を得るステップとを有する、ことを特徴とする方法。

請求項2

トーンマッピングは、前記残像のピクセル値に従ってガンマ補正又はエスログ補正のいずれか一方を有する、請求項1に記載の方法。

請求項3

前記画像から前記バックライト画像を得ることは、前記画像の輝度成分からバックライト画像を得ることと、前記画像の平均輝度値により前記バックライト画像を変調することとを有する、請求項1又は2に記載の方法。

請求項4

前記画像から前記バックライト画像を得ることは、前記バックライト画像を変調する前に、該バックライト画像をその平均値によって正規化することを更に有する、請求項3に記載の方法。

請求項5

当該方法は、前記トーンマッピングされた画像のスケーリングを更に有する、請求項1乃至4のうちいずれか一項に記載の方法。

請求項6

当該方法は、前記トーンマッピングされた画像をクリッピングするステップを更に有する、請求項1乃至5のうちいずれか一項に記載の方法。

請求項7

画像をトーンマッピングするデバイスであって、前記画像から決定されるバックライト画像によって前記画像を割ることで残像を得る手段と、前記残像をトーンマッピングすることで、トーンマッピングされた画像を得る手段とを有するデバイス。

請求項8

コンピュータデバイスで実行される場合に、請求項1乃至6のうちいずれか一項に記載の方法のステップを実行するプログラムコード命令を有する、ことを特徴とするコンピュータプログラム製品

請求項9

コンピュータデバイスで実行される場合に、請求項1乃至6のうちいずれか一項に記載の方法のステップを実行するプログラムコードの命令を記憶する非一時的な記憶媒体

技術分野

0001

本発明は、概して、画像/ビデオトーンマッピングに関係がある。特に、本発明の技術分野は、高ダイナミックレンジに属するピクセル値を有する画像のトーンマッピングに関連している。

背景技術

0002

項目は、以下で記載及び/又は請求される本発明の様々な態様に関連し得る技術の様々な態様を読者紹介することを目的とする。この議論は、本発明の様々な態様のより良い理解を助けるよう読者に背景情報を提供するのに有用であると信じられている。然るに、それらの記述は、この観点から読まれるべきであり、先行技術の承認としてではないことが理解されるべきである。

0003

低ダイナミックレンジ画像(LDR(Low-Dynamic-Range)画像)は、限られた数のビット(ほとんどの場合、8又は10)により表現される輝度値を有する画像である。この限られた表現は、特に、暗い輝度範囲及び明るい輝度範囲において、小さな信号変動の正確なレンダリングを認めない。高ダイナミックレンジ画像HDR(High-Dynamic-Range)画像)では、信号表現は、その範囲全体にわたって信号の高い精度を維持するために拡張される。HDR画像において、ピクセル値は、通常、浮動小数点フォーマット(夫々のコンポーネントについて32ビット又は16ビット、すなわち、浮動小数点又は半精度浮動小数点のいずれか一方。最も人気のあるフォーマットは、OpenEXR半精度浮動小数点フォーマット(RGBコンポーネントごとに16ビット、すなわち、ピクセルごとに48ビット)である。)で、あるいは、長い表現(通常は、少なくとも16ビット)を持つ整数で、表現される。

0004

本発明によって解決されるべき課題は、HDR画像をLDR画像へ、あるいは、方法は画像ごとへ適用されるので、延長線上で考えてみると、HDR画像のシーケンスをLDR画像のシーケンスへ、トーンマッピングする自動の又は半自動の方法を提供することである。

0005

トーンマッピング方法は、例えば、従来のLDR準拠ディスプレイ上でHDR画像を見るために、あるいは、通常はブロードキャストシナリオで実行するデュアルカラーグレーディングにおいて、有用である。

0006

通常、デュアルカラーグレーディングのアプローチは、HDR画像(又は画像のシーケンス)を捕捉し、捕捉されたHDR画像にカラーグレーディングを施し、HDR画像をLDR画像にトーンマッピングすることを含み、LDR画像は次いでカラーグレーディングを施される。

0007

実際のところ、トーンマッピングされたLDR画像は表示されるよう意図されるので、それは、基礎をなすHDRシーン適合した見ることができるLDRシーンの基本原則を満たさなければならない。言い換えれば、トーンマッピングは、トーンマッピングされた画像への空間コヒーレンス、画像のシーケンスの中のトーンマッピングされた画像どうしの時間コヒーレンス大域的輝度コヒーレンス(すなわち、暗いHDRシーンは暗いLDRシーンをもたらし、その逆も同様である。)、及びHDR画像とトーンマッピングされた画像との間の色コヒーレンスを少なくとも保つべきである。すなわち、カラーグレーディングは、可能な限り保たれる。

0008

デュアルカラーグレーディングのアプローチは、LDR画像がカラーグレーディングのエキスパートの制御下で生成される場合に、LDR画像の最も高い品質をもたらし、よって、自動的且つ系統だった方法の制御されていない望まれていない効果がないことを確かにする。しかし、それは、2つのワークフロー(1つはHDR用、もう1つはLDR用)を扱う必要があるので、二重のポストプロダクションリソースを要する。

0009

それは、全ての使用ケースについて実際的ではない可能性があり、且つ、それは、HDRシーケンスのみがカラーグレーディングを施されている場合であり得る。当然、そのような場合に、全てのカスタマが表示のためにHDRデバイス備え付けられ得るわけではないので、見ることができるLDR画像を得ることが望ましい。それらのカスタマに手を差し伸べるために、LDR画像は、余分の又は代替のカラーグレーディングなしで、すなわち、全てのコンテンツについて許容可能な品質を持ったLDR画像を提供する自動のトーンマッピング方法を使用することによって、生成されるべきである。

0010

多くの局所的又は大域的トーンマッピングオペレータは、例えば、Reinhardによって定義されたトーンマッピングのように、先行技術において存在し、使用されてよい(Reinhard, E.,Stark, M.,Shirley, P.,及びFerwerda, J.,“Photographic tone reproduction for digital images”,ACMTransactions on Graphics 21(2002年7月)、又はBoitard, R.,Bouatouch, K.,Cozot, R.,Thoreau, D.,及びGruson, A.,“Temporal coherency for video tone mapping”,In A. M. J. van Eijk,C. C. Davis,S. M. Hammel,及びA. K. Majumdar (Eds.),Proc. SPIE8499,Applications of Digital Image Processing,2012年,p.84990D-84990D-10)。

0011

しかし、たとえ大域的トーンマッピングオペレータが輝度一貫性のような画像のシーケンスにわたる時間的特性を保つとしても、大域的トーンマッピングオペレータは、そのようなオペレータが、鮮明さの顕著な喪失なしで、より低いダイナミックで空間ディテールを表現することができないので、多くのダイナミックを持ったHDR画像のシーケンスに適用される場合に劇的に役に立たなくなり得る。

0012

他方で、局所的トーンマッピングオペレータは、画像のシーケンスがある画像の局所的特性を捕捉するために局所的なピクセル近傍に基づくので、画像のシーケンスを扱う場合に有効ではなく、画像のシーケンスの全体的な輝度(時間的な輝度一貫性)を維持しない。結果として、時間的な輝度一貫性は、時間フィルタリングを適用するために、オブジェクト追跡又はフレームバッファリングのような付加的な複雑な処理を使用することによって得られる。

先行技術

0013

Reinhard, E.,Stark, M.,Shirley, P.,及びFerwerda, J.,“Photographic tone reproduction for digital images”,ACMTransactions on Graphics 21(2002年7月)
Boitard, R.,Bouatouch, K.,Cozot, R.,Thoreau, D.,及びGruson, A.,“Temporal coherency for video tone mapping”,In A. M. J. van Eijk,C. C. Davis,S. M. Hammel,及びA. K. Majumdar (Eds.),Proc. SPIE8499,Applications of Digital Image Processing,2012年,p.84990D-84990D-10

0014

本発明は、画像をトーンマッピングする方法であって、
前記画像から決定されるバックライト画像によって前記画像を割ることで残像を得るステップと、
前記残像をトーンマッピングすることで、トーンマッピングされた画像を得るステップと
を有する、ことを特徴とする方法によって、先行技術の欠点の幾つかを改善することを目指す

0015

これは、見ることができるトーンマッピングされた画像、すなわち、トーンマッピングされた画像が、画像における原シーンと比較してまあまあ良く且つ一貫して、トーンマッピングされたシーンを芸術的にレンダリングするという意味における画像、を提供する。このようにして、この方法は、見ることができるトーンマッピングされた画像が、高ダイナミックレンジを扱うことができない従来の装置によって符号化/復号化及び/又は表示され得るので、上位互換性がある。

0016

実施形態に従って、トーンマッピングは、前記残像のピクセル値に従ってガンマ補正又はエスログ(Slog)補正のいずれか一方を有する。

0017

ガンマ補正及びエスログ補正は、暗情報及び明情報が失われないように、トーンマッピングされた画像を高い精度を有してもたらす。更には、ガンマ補正及びエスログ補正は、見ることができるトーンマッピングされた画像においてフラットクリッピングされたエリアを回避する。

0018

実施形態に従って、前記画像から前記バックライト画像を得ることは、
前記画像の輝度成分からバックライト画像を得ることと、
前記画像の平均輝度値により前記バックライト画像を変調することと
を有する。

0019

前記画像の平均輝度値により前記バックライト画像を変調することは、前記画像と前記残像との間の大域的な輝度コヒーレンスを改善する。例えば、画像における明るい領域は、残像において明るく現れ、画像における暗い領域は、残像において暗く現れる。

0020

実施形態に従って、前記画像から前記バックライト画像を得ることは、前記バックライト画像を変調する前に、該バックライト画像をその平均値によって正規化することを更に有する。

0021

これは、画像について1バックライト画像でのミッドグレー(mid-gray-at-one backlight image)を得ることを可能にする。

0022

実施形態に従って、当該方法は、前記トーンマッピングされた画像のスケーリングを更に有する。

0023

これは、トーンマッピングされた画像から得られた画像の平均グレーを、見るための及び潜在的に符号化するための十分な値に置く。

0024

実施形態に従って、当該方法は、前記トーンマッピングされた画像をクリッピングするステップを更に有する。

0025

前記トーンマッピングされた画像をクリッピングすることは、限られた数のビット(通常は、8〜10ビット)が、クリッピングされたトーンマッピングされた画像を符号化又は表示するのに必要とされるので、従来のインフラストラクチャコーデック、ディスプレイ、分配チャネル、など)との上位互換性を確かにする。その場合に、例えば、符号化されたデータは、遠隔のディスプレイ上で画像の低ダイナミックレンジバージョンを表示するよう、そのようなインフラストラクチャにわたって送信されてよい。

0026

その他の態様に従って、本発明は、画像をトーンマッピングするデバイスに関係がある。

0027

本発明の特性並びに本発明の他の目的、利点、特徴及び使用は、添付の図面とともに読まれる好適な実施形態の以下の記載から明らかになるであろう。

図面の簡単な説明

0028

実施形態は、次の図を参照して記載される。
本発明の実施形態に従って画像Iをトーンマッピングする方法のステップのブロック図を示す。
本発明の実施形態に従う方法のステップのブロック図を示す。
本発明の実施形態に従う方法のステップのブロック図を示す。
本発明の実施形態に従う方法のステップのブロック図を示す。
デバイスのアーキテクチャの例を示す。

実施例

0029

本発明は、本発明の実施形態が示されている添付の図を参照して、以下で、より十分に記載される。本発明は、しかしながら、多くの代替の形態において具現されてよく、ここで示されている実施形態に制限されるものとして解釈されるべきではない。然るに、本発明は、様々な変更及び代替の形態の余地があり、一方、その具体的な実施形態は、図面において一例として示され、ここで詳細に記載される。なお、本発明を開示されている特定の形態に制限する意図はなく、それどころか、本発明は、特許請求の範囲で定義される本発明の主旨及び適用範囲内にある全ての変形、同等物及び代替案に及ぶべきことが理解されるべきである。同じ符号は、図の説明を通して同じ要素を参照する。

0030

ここで使用される用語は、単に、特定の実施形態を記述することを目的とし、本発明の限定であるよう意図されない。ここで使用されるように、単数形(a、an及びthe)は、特段明記されない限りは、複数形も含むよう意図される。語「有する(comprises、comprising)」及び/又は「含む(includes、including)」は、本明細書において使用される場合に、述べられている機構、整数、ステップ、動作、要素及び/又はコンポーネントの存在を特定するが、1つ以上の他の機構、整数、ステップ、動作、要素、コンポーネント及び/又はそれらのグループの存在又は追加を除外しないことが理解される。更には、要素が他の要素に“応答する”又は“接続される”ものとして呼ばれる場合に、それは他の要素に直接に応答する又は接続されることができ、あるいは、介在する要素が存在してよい。対照的に、要素が他の要素に“直接に応答する”又は“直接に接続される”ものとして呼ばれる場合に、介在する要素は存在しない。ここで使用されるように、語「及び/又は(and/or)」は、関連する列挙された項目のうちの1つ以上のありとあらゆる組み合わせを含み、“/(/)”と省略されてよい。

0031

たとえ語「第1(first)」、「第2(second)」などが様々な要素を記載するために使用され得るとしても、それらの要素はそのような語によって制限されるべきではないことが理解される。そのような語は、1つの要素を他と区別するためにのみ使用される。例えば、本開示の教示から外れることなしに、第1の要素は第2の要素と称されてよく、同様に、第2の要素は第1の要素と称されてよい。

0032

たとえダイアグラムの幾つかが、通信主方向を示すために通信経路上に矢印を含むとしても、通信は、表されている矢印とは逆方向において起こってよいことが理解されるべきである。

0033

幾つかの実施形態は、ブロック図及び動作フローチャートに関連して記載される。ブロック図及び動作フローチャートにおいて、夫々のブロックは、回路素子モジュール、あるいは、特定されている論理機能を実施する1つ以上の実行可能命令を含むコードの部分を表す。また、他の実施形態では、ブロックにおいて示されている機能は、示されている順序を外れて起こってよい点が留意されるべきである。例えば、連続して示されている2つのブロックは、実際には、実質的に同時に実行されてよく、あるいは、ブロックは、関連する機能に応じて、ときどき逆の順序で実行されてよい。

0034

「一実施形態」又は「実施形態」とのここでの言及は、実施形態に関連して記載されている特定の機構、構造、又は特性が、本発明の少なくとも1つの実施に含まれ得ることを意味する。明細書中の様々な箇所における「一実施形態において」又は「実施形態に従って」との言い回し出現は、必ずしも全てが同じ実施形態に言及しているわけでも、他の実施形態と必然的に相互排他的な別個の又は代替の実施形態でもない。

0035

特許請求の範囲において現れる参照符号は、単なる実例であって、特許請求の範囲の適用範囲に対して限定効果を有すべきではない。

0036

明示的には記載されていないが、本実施形態及び変形例は、あらゆる組み合わせ又は部分的組み合わせにおいて用いられてよい。

0037

本発明は、画像を符号化/復号化することについて記載されるが、シーケンスの各画像は後述されるように順次に符号化/復号化されるので、画像のシーケンス(ビデオ)の符号化/復号化に及ぶ。

0038

図1は、本発明の実施形態に従って画像Iをトーンマッピングする方法のステップのブロック図を示す。

0039

ステップ10で、モジュールICは、トーンマッピングされるべき画像Iの輝度成分L及び潜在的に少なくとも1つの色成分C(i)を得る。

0040

例えば、画像Iが色空間(X,Y,Z)に属する場合に、輝度成分Lは成分Yの変換f(.)によって求められる。例えば、L=f(Y)。

0041

画像Iが色空間(R,G,B)に属する場合に、輝度成分Lは、例えば、709ガマットにおいて、

L=0.2127×R+0.7152×G+0.0722×B

によって与えられる線形結合により求められる。

0042

ステップ11で、モジュールBAMは、画像Iの輝度成分Lからバックライト画像Balを決定する。

0043

図2で表されるステップ11の実施形態に従って、モジュールBIは、バックライト画像Baを、

Ba=Σiaiψi (1)

によって与えられる形状関数ψiの加重線形結合であるとして決定する。ここで、aiは重み係数である。

0044

このように、輝度成分Lからバックライト画像Baを得ることは、バックライト画像Balが輝度成分Lに適合するために、最適な重み係数(更には、潜在的に、予め知られてない場合には、最適な形状関数)を見つけることにある。

0045

重み係数aiを見つけるためのよく知られた方法が多数存在する。例えば、1つは、バックライト画像Baと輝度成分Lとの間の平均二乗誤差を最小限にするために最小平均二乗法を使用してよい。

0046

本発明は、バックライト画像Baを得るために如何なる具体的な方法にも制限されない。

0047

形状関数は、表示バックライトの実際の物理応答(LEDの、例えば、その場合に、1つのLEDの応答に対応する夫々の形状関数から作られる。)であってよく、あるいは、最善の状態で輝度成分に適合するために純粋な数学的構成であってよいことが知られ得る。

0048

それらのサポート及びそれらのセンターのサイズは、形状関数の幾つかのパラメータであってよい。

0049

例えば、それらのサポートが非常に大きい(事実上無限)場合に、一定のバックライト画像がまさに得られ、結果として起こるトーンマッピング方法は、その場合に、大域的トーンマッピングオペレータと同等である。反対に、非常に小さいサポートによれば、結果として起こるトーンマッピング方法は、その場合に、上述された局所的トーンマッピングオペレータの全ての欠点を伴った局所的トーンマッピングオペレータと同等である。

0050

形状関数のサポートのサイズは、それが、局所的でありながら大きい近傍を有するスムース輝度ダイナミック低減を使用するので、実際には、大域的でも極めて局所的でもないトーンマッピング方法を得るために、選択される。

0051

そのような形状関数の使用は、その局所サポートにより空間ディテールを犠牲にせずに非常に高いダイナミックを扱うことを可能にする。

0052

この実施形態に従って、ステップ11から出力されるバックライト画像Balは、式(1)によって与えられるバックライト画像Baである。

0053

図3で表されるステップ11の実施形態に従って、モジュールBMは、モジュールHLによって得られた画像Iの平均輝度値Lmeanによりバックライト画像Ba(式(1)によって与えられる。)を変調する。

0054

この実施形態に従って、ステップ11から出力されるバックライト画像Balは、変調されたバックライト画像である。

0055

実施形態に従って、モジュールHLは、全体の輝度成分Lにわたって平均輝度値Lmeanを計算するよう構成される。

0056

実施形態に従って、モジュールHLは、

Lmean=E(Lβ)1/β

によって平均輝度値Lmeanを計算するよう構成される。ここで、βは、1に満たない係数であり、E(X)は、輝度成分Lの数学的期待値(平均)である。

0057

この最後の実施形態は、画像Iが画像のシーケンスに属する場合に、非常に厄介である時間的な平均輝度の不安定さを通常もたらす極めて高い値を持った数個のピクセルによって平均輝度値Lmeanが影響を及ぼされることを回避するので、有利である。

0058

本発明は、平均輝度値Lmeanを計算するための具体的な実施形態に制限されない。

0059

図4で表されるこの実施形態の変形例に従って、モジュールNは、画像について(画像が画像のシーケンスに属する場合には、全ての画像について)1バックライト画像でのミッドグレー(mid-gray-at-one backlight image)が得られるように、バックライト画像Ba(式(1)によって与えられる。)をその平均値E(Ba)によって正規化する:

Bagray=Ba/E(Ba)。

次いで、モジュールBMは、次の式:

Bamod≒cstmod・Llfα・Bagray (2)

を使用することによって、画像Iの低空間周波数バージョンLlfにより1バックライト画像でのミッドグレーを変調するよう構成される。ここで、cstmodは、変調係数であり、αは、1に満たない(通常、1/3)他の変調係数である。

0060

この変形例に従って、ステップ11で出力されるバックライト画像Balは、式(2)によって与えられる変調されたバックライト画像Bamodである。

0061

変調係数cstmodは、残像について良好な外観輝度を得るよう調整され、バックライト画像を得るプロセスに大いに依拠する。例えば、最小平均二乗によって得られるバックライト画像について、cstmod≒1.7。

0062

実際に、線形性によって、バックライト画像を変調する全ての動作は、
(外1)

を得るように、係数aiを新しい係数
(外2)

に変換する補正係数として、バックライト係数aiに適用される。

0063

ステップ12で、残像Resは、画像をバックライト画像Balで割ることで計算される。

0064

もっと正確に言えば、モジュールICから得られる画像Iの輝度成分L及び潜在的に夫々の色成分C(i)は、バックライト画像Balによって割られる。この除算はピクセルごとに行われる。

0065

例えば、画像Iの成分R、G又はBが色空間(R,G,B)において表現される場合に、成分Rres、Gres及びBresは、次のように求められる:

Rres=R/Bal,Gres=G/Bal,Bres=B/Bal

例えば、画像Iの成分X、Y又はZが色空間(X,Y,Z)において表現される場合に、成分Xres、Yres及びZresは、次のように求められる:

Xres=X/Bal,Yres=Y/Bal,Zres=Z/Bal。

ステップ13で、トーンマッピングされた画像Resvは、残像Resをトーンマッピングすることで得られる。

0066

残像Resは、そのダイナミックレンジが高すぎるので、且つ、この残像Resがあまりに可視的なアーチファクトを示すので、見ることができないと考えられる。残像をトーンマッピングすることは、そのような欠点のうちの少なくとも1つを改善する。

0067

本発明は、如何なる具体的なトーンマッピングオペレータにも制限されない。

0068

有利に、トーンマッピングオペレータは、原HDR画像の再構成を可能にするために、可逆であるべきである。

0069

ステップ13の実施形態に従って、残像をトーンマッピングすることは、残像のピクセル値に従ってガンマ補正又はエスログ補正のいずれか一方を有する。

0070

トーンマッピングされた画像Resvは、次いで、例えば:

Resv=A・Resγ

によって与えられる。ここで、Aは一定値であり、γは、例えば、1/2.4に等しいγ曲線の係数である。

0071

代替的に、トーンマッピングされた画像Resvは、例えば:

Resv=a・ln(Res+b)+c

によって与えられる。ここで、a、b及びcは、0及び1が不変であるように決定されたエスログ曲線の係数である。エスログ曲線の導関数は、1を下回るガンマ曲線によって延長される場合に、1において連続的である。よって、a、b及びcは、パラメータγ関数である。

0072

残像Resに対してガンマ補正を適用することは、暗領域を引っ張り出すが、激しく明るいピクセルを回避するほど十分にハイライト下げない。

0073

残像Resに対してエスログ補正を適用することは、十分にハイライトを下げるが、暗領域を引っ張り出さない。

0074

次いで、ステップ13の実施形態に従って、モジュールTMOは、残像Resのピクセル値に従ってガンマ補正又はエスログ補正のいずれか一方を適用する。

0075

例えば、残像Resのピクセル値が閾値(1に等しい。)を下回る場合に、ガンマ補正は適用され、そうでない場合に、エスログ補正は適用される。

0076

構成によって、トーンマッピングされた画像Resvは、通常、画像Iの輝度に応じて1におおよそ近い平均値を有し、上記のガンマ−エスログ結合の使用を特に有効なものとする。

0077

方法の実施形態に従って、ステップ14で、モジュールSCAは、トーンマッピングされた画像Resvの夫々の成分にスケーリング係数cstscalingを乗じることによって、トーンマッピングされた画像Resvをスケーリングする。

0078

スケーリングされたトーンマッピングされた画像Ressは、次いで、

Ress=cstscaling・Resv

によって与えられる。

0079

望ましくは、スケーリング係数cstscalingは、トーンマッピングされた画像Resvの値を0から最大値2N−1の間でマッピングするよう定義される。ここで、Nは、例えば、エンコーダ又はディスプレイによる符号化のための入力として許されるビットの数である。

0080

これは、当然ながら、値1(トーンマッピングされた画像Resvのおおよそ平均値である。)をミッドグレー値2N−1にマッピングすることによって得られる。よって、標準的なビット数N=8を有するトーンマッピングされた画像Resvについて、120に等しいスケーリング係数は、27=128での中間グレーに極めて近づけられるので、非常に矛盾のない値である。

0081

方法の実施形態に従って、ステップ15で、モジュールCLIは、トーンマッピングされが画像Resvをクリッピングして、そのダイナミックレンジを目標のダイナミックレンジTDRに制限する。目標のダイナミックレンジTDRは、例えば、エンコーダ又はディスプレイの性能に従って、定義される。

0082

この最後の実施形態に従って、結果として起こる残像Rescは、方法の実施形態に従って、例えば:

Resc=max(2N,Resv)
Resc=max(2N,Ress)

によって与えられる。

0083

本発明は、そのようなクリッピング(max(.))に制限されず、如何なる他のクリッピングにも及ぶ。

0084

スケーリングの実施形態とクリッピングの実施形態とを組み合わせることは、方法の実施形態に従って、

Ressc=max(2N,cstscaling×Resv)、又は
Ressc=max(2N,cstscaling×Ress)

によって与えられる残像Resscをもたらす。

0085

上記のトーンマッピング、スケーリング及びクリッピングは、パラメトリックプロセスである。パラメータは固定であってもなくてもよく、後者の場合に、パラメータ又はそれらの一部は、エンコーダによってビットストリームにおいて符号化され、且つ/あるいは、遠隔のディスプレイへ送信され、且つ/あるいは、局所又は遠隔のメモリから取得されてよい。

0086

パラメータ、例えば、α、cstmod、cstscaling、γ、β、の選択は、ポストプロダクション及びカラーグレーディングにおけるエキスパートの好みに最も良く従うコンテンツに適するトーンマッピングの選択の余地を与えると考えられる。また、バックライトを生成するために使用される形状関数のポジション及びサイズは、選択され得る他のパラメータである。

0087

他方で、普遍的なパラメータは、各種の画像の全てに受け入れられ得るように定義されてよい。これは、上記のパラメータがエンドユーザ又は何らかの他の局所若しくは外部の手段によって選択される半自動のパラメトリックトーンマッピングと対照的に、完全に自動のトーンマッピングをもたらす。

0088

図1乃至4で、モジュールは機能ユニットであって、区別可能物理ユニットと関係があってもなくてもよい。例えば、それらのモジュール又はそれらの一部は、唯一のコンポーネント若しくは回路において寄せ集められるか、あるいは、ソフトウェアの機能に寄与してよい。反対に、幾つかのモジュールは、場合によっては、別々の物理エンティティから成ってよい。本発明に従う装置は、純粋なハードウェアにより、例えば、ASIC(Application Specific IntegratedCircuit)又はFPGA(Field Programmable Gate Array)又はVLSI(Very Large Scale Integration)のような専用ハードウェアを用いて、あるいは、デバイスに埋め込まれた幾つかの組み込み型電子部品から、又はハードウェア及びソフトウェアコンポーネントの混合から、実装される。

0089

図5は、図1乃至4で記載された方法を実装するよう構成され得るデバイス50の例となるアーキテクチャを表す。

0090

デバイス50は、データ及びアドレスバス51によって結合されている次の要素を有する:
・例えば、DSP(すなわち、Digital Signal Processor)であるマイクロプロセッサ52(又はCPU);
・ROM(すなわち、Read Only Memory)53;
・RAM(すなわち、Random Access Memory)54;
アプリケーションからの送信すべきデータの受信のためのI/Oインターフェイス55;及び
バッテリ56。

0091

変形例に従って、バッテリ56はデバイスの外部にある。図5のそれらの要素の夫々は、当業者によく知られており、これ以上は開示されない。示されているメモリの夫々において、明細書中で使用される語「レジスタ(register)」は、小さい容量(数ビット)のエリアに、あるいは、非常に大きいエリア(例えば、プログラム全体又は受信若しくは復号される大量のデータ)に対応することができる。ROM53は、少なくともプログラム及びパラメータを有する。本発明に従う方法のアルゴリズムはROM53において記憶される。起動されるときに、CPU52は、プログラムをRAM54にアップロードし、対応する命令を実行する。

0092

RAM54は、レジスタにおいて、デバイス50の起動後にアップロードされてCPU52によって実行されるプログラムを、レジスタにおいて入力データを、レジスタにおいて、方法の異なる状態での中間データを、そして、レジスタにおいて、方法の実行に使用される他の変数を有する。

0093

ここで記載される実施は、例えば、方法若しくはプロセス、装置、ソフトウェアプログラムデータストリーム、又は信号において実施されてよい。たとえ単一の実施形態に関してしか論じられないとしても(例えば、方法又はデバイスとしてしか論じられないとしても)、論じられている特徴の実施は、他の形態(例えば、プログラム)においても実施されてよい。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアにおいて実施されてよい。方法は、例えば、プロセッサのような装置において実施されてよい。プロセッサは、プロセッシングデバイス全般を指し、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラム可能ロジックデバイスを含む。プロセッサは、例えば、コンピュータ、携帯電話機ポータブルパーソナルデジタルアシスタント(“PDA”)、及びエンドユーザ間の情報のやり取りを助ける他のデバイスのような、通信デバイスを更に含む。

0094

ここで記載される様々なプロセス及び機構の実施は、多種多様設備又は用途、特に、例えば、設備又は用途において具現されてよい。そのような設備の例には、エンコーダ、デコーダ、デコーダからの出力を処理するポストプロセッサ、エンコーダへ入力を供給するプリプロセッサビデオコーダビデオデコーダビデオコーデックウェブサーバセットトップボックスラップトップパーソナルコンピュータ、携帯電話機、PDA、及び他の通信デバイスが含まれる。当然、設備は移動性であって、移動車両において設置さえされてよい。

0095

加えて、方法は、プロセッサによって実行される命令によって実施されてよく、そのような命令(及び/又は実施によって生成されたデータ値)は、例えば、集積回路、ソフトウェア担体、又は他の記憶デバイス(例えば、ハードディスクコンパクトディスケット(“CD”)、光ディスク(例えば、しばしばデジタルバータイルディスク又はデジタルビデオディスクと呼ばれるDVD)、ランダムアクセスメモリ(“RAM”)、又はリードオンリーメモリ(“ROM”))のようなプロセッサ可読媒体において記憶されてよい。命令は、プロセッサ可読媒体において有形に具現されるアプリケーションプログラムを形成してよい。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、又は組み合わせにあってよい。命令は、例えば、オペレーティングシステム、別のアプリケーション、又は両者の組み合わせにおいて見つけられてよい。従って、プロセッサは、例えば、プロセスを実行するよう構成されるデバイス、及びプロセスを実行するための命令を有するプロセッサ可読媒体(例えば、記憶デバイス)を含むデバイス、の両方と見なされてよい。更に、プロセッサ可読媒体は、命令に加えて、又はそれに代えて、実施によって生成されたデータ値を記憶してよい。

0096

当業者に明らかなように、実施は、例えば、記憶又は送信され得る情報を運ぶようフォーマットされた様々な信号を生成してよい。情報は、例えば、方法を実行するための命令、又は記載される実施の1つによって生成されたデータを含んでよい。例えば、信号は、記載される実施形態のシンタックスを書き込む又は読み出すための規則をデータとして運ぶよう、あるいは、記載される実施形態によって書き込まれる実際のシンタックス値をデータとして運ぶよう、フォーマットされてよい。そのような信号は、例えば、電磁波として(例えば、スペクトル無線周波数部分を使用する。)、あるいは、ベースバンド信号として、フォーマットされてよい。フォーマット化は、例えば、データストリームを符号化し、符号化されたデータによりキャリアを変調することを含んでよい。信号が運ぶ情報は、例えば、アナログ又はデジタルの情報であってよい。信号は、知られている多種多様な有線又は無線リンクにわたって送信されてよい。信号は、プロセッサ可読媒体において記憶されてよい。

0097

実施形態に従って、I/Oインターフェイス55は、図1乃至4に関して記載された方法によって使用されるパラメータの少なくとも1つを受けるよう構成される。例えば、パラメータは、知られている非適応的形状関数が使用される場合に重み係数
(外3)

に制限されるが、形状関数ψiは、例えば、より良い適合のためのいくらか最適な数学的構成の場合に、先験的未知であってもよい。その場合に、形状関数ψiのポジション及びサポートのサイズは、パラメータであってよい。ガンマ曲線の係数γ、β、cstmod、α、スケーリング係数cstscaling、ビットの数Nも、本発明に従う、画像をトーンマッピングする方法のパラメータであってよい。

0098

それらのパラメータの一部は、局所又は遠隔のメモリから得られるか、あるいは、デバイス50のグラフィカルインターフェイスからエンドユーザによって選択されてよい。このように、トーンマッピング方法は、この方法のパラメータを得るために使用される方法に従って、自動又は半自動であってよい。

0099

それらの受け取られるパラメータの一部は、遠隔のデバイスによって符号化されていてよい。その場合に、デバイス50は、それらの受け取られたパラメータを復号するデコーダを有する。

0100

多数の実施が記載されてきた。それでもなお、様々な変更が行われてよいことが理解されるであろう。例えば、異なる実施の要素は、他の実施をもたらすよう、組み合わされ、補完され、変更され、又は削除されてよい。加えて、当業者であれば、他の構造及びプロセスが、開示されているものに取って代わってよく、結果として起こる実施は、開示されている実施と少なくとも実質的に同じ結果を達成するよう、少なくとも実質的に同じようにして、少なくとも実質的に同じ機能を実行すると理解する。然るに、それら及び他の実施は、本願によって考えられている。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 株式会社半導体エネルギー研究所の「 半導体装置」が 公開されました。( 2020/12/17)

    【課題】一導電型のTFTによって構成し、かつ、出力信号振幅を正常に得られる回路を提供する。【解決手段】シフトレジスタにおいて、TFT101、103は、CK1にHレベルが入力されてONし、信号出力部(O... 詳細

  • 株式会社マーケットヴィジョンの「 画像補正処理システム」が 公開されました。( 2020/12/17)

    【課題】画像情報について自動的に補正処理を行い、オペレータの作業負担を軽減し、また処理時間も減らすことができる画像補正処理システムを提供する。【解決手段】画像補正処理システムは、画像情報において輪郭線... 詳細

  • ソニー株式会社の「 撮像装置および方法、並びに、画像処理装置および方法」が 公開されました。( 2020/12/17)

    【課題・解決手段】本技術は、画像の不正な利用や改竄を、より容易に抑制することができるようにする撮像装置および方法、並びに、画像処理装置および方法に関する。撮像レンズ及びピンホールのいずれも介さずに入射... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ