図面 (/)

技術 ハイダイナミックレンジ画像のためのコンテンツ適応的な知覚的量子化器

出願人 ドルビーラボラトリーズライセンシングコーポレイションドルビー・インターナショナル・アーベー
発明者 フレーリヒ,ジャンスゥ,グワン‐ミーンアトキンス,ロビンダリー,スコットミラー,ジョンスコット
出願日 2016年3月1日 (3年6ヶ月経過) 出願番号 2017-546223
公開日 2018年4月5日 (1年5ヶ月経過) 公開番号 2018-509708
状態 特許登録済
技術分野 画像処理 FAX画像信号回路 TV信号の圧縮,符号化方式
主要キーワード 可視コントラスト ノイズレベル値 電子データ記憶媒体 実施形態群 レンジフィルタ マルチセグメント 最小入力 見込み値
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2018年4月5日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (11)

解決手段

コンテンツ適応的な量子化器プロセッサは、ある入力ビット深度を有する入力画像を受け取る。入力画像に対しノイズマスク生成プロセスを適用することにより、入力画像中の各画素量子化ノイズマスキングの際におけるその知覚的重要度に関して特徴づける、ノイズマスク画像を生成する。入力画像およびノイズマスク画像に基づいて、ノイズマスクヒストグラムが生成される。ノイズマスクヒストグラムに対しマスキングノイズベルビット深度関数を適用することにより、ノイズマスクヒストグラム中の各ビンについての最小ビット深度値を生成する。入力ビット深度、ターゲットビット深度、および最小ビット深度値に基づき、符号語マッピング関数を生成する。符号語マッピング関数を入力画像に適用することにより、ターゲットビット深度において出力画像を生成する。

概要

背景

背景
本明細書において、用語「ダイナミックレンジ」(DR)は、人間の視覚システムHVS)が画像においてある範囲の強度(例えば、輝度ルマ)(例えば、最暗部(黒)から最も明るい白(ハイライト)まで)を知覚する能力に関連し得る。この意味では、DRはシーンリファード(scene−referred)の強度に関する。DRはまた、ディスプレイデバイスが特定の幅を有する強度範囲妥当にまたは近似的に描画する能力にも関連し得る。この意味では、DRは、ディスプレイ−リファード(display−referred)の強度に関する。本明細書中の任意の箇所において、ある特定の意味が特に明示的に指定されている場合を除いて、この用語はどちらの意味としても(例えば、区別なく)使用できるものとする。

本明細書において、ハイダイナミックレンジHDR)という用語は、人間の視覚システム(HVS)において14〜15桁ほどにわたるDR幅に関する。実際において、人間が広範囲の強度範囲を同時に知覚し得るDRは、HDRに対して幾分端折られ得る。本明細書において、エンハンストダイナミックレンジ(EDR)または視覚ダイナミックレンジ(VDR)という用語は、個別にまたは区別なく、人間の視覚システム(HVS)(眼球運動を含み、シーンまたは画像にわたってある程度の明順応変化を可能にする)が、あるシーンまたは画像中において知覚可能なDRに関する。本明細書において、EDRは、5〜6桁にわたるDRに関連し得る。従って、真のシーンリファードのHDRに対しては幾分狭いものの、EDRは広いDR幅を表し、HDRとも呼ばれ得る。

実際において、画像は1つ以上の色成分(例えばルマYおよびクロマCbおよびCr)を有しており、各色成分は、画素あたりnビットの精度(例えばn=8)で表される。線形輝度符号化(linear luminance coding)を用いた場合、n≦8の画像(例えばカラー24ビットJPEG画像)はスタンダードダイナミックレンジとされ、n>8の画像はエンハンストダイナミックレンジの画像とされる。EDRおよびHDR画像はまた、Industrial Light and Magicが開発したOpenEXRファイルフォーマットなどの高精度の(例えば16ビット)浮動小数点フォーマットを用いて、格納および配信され得る。

あるディスプレイについての基準(reference)電気光学伝達関数EOTF)は、入力映像信号明度(color values)(例えば輝度)からそのディスプレイによって生成される出力スクリーン明度(例えばスクリーン輝度)への関係を特徴づける。例えば、その開示内容を全て本願に援用するITURec.ITU−RBT. 1886、「Reference electro−optical transfer function for flat panel displays used inHDTVstudio production」(03/2011)では、陰極線管(CRT)の測定された特性に基づいて、フラットパネルディスプレイについての基準EOTFを定義している。ある映像ストリームが与えられたとき、そのEOTFに関する情報は、典型的にはメタデータとしてビットストリーム中に埋め込まれる。本明細書において、「メタデータ」の語は、符号化ビットストリームの一部として送信され、デコーダ復号化画像を描画することを助ける、任意の補助的情報に関する。そのようなメタデータは、本明細書において記載されるような、色空間または色域情報リファレンスディスプレイパラメータ、および補助的な信号パラメータなどを含むが、これらに限定されない。

概要

コンテンツ適応的な量子化器プロセッサは、ある入力ビット深度を有する入力画像を受け取る。入力画像に対しノイズマスク生成プロセスを適用することにより、入力画像中の各画素を量子化ノイズマスキングの際におけるその知覚的重要度に関して特徴づける、ノイズマスク画像を生成する。入力画像およびノイズマスク画像に基づいて、ノイズマスクヒストグラムが生成される。ノイズマスクヒストグラムに対しマスキングノイズベルビット深度関数を適用することにより、ノイズマスクヒストグラム中の各ビンについての最小ビット深度値を生成する。入力ビット深度、ターゲットビット深度、および最小ビット深度値に基づき、符号語マッピング関数を生成する。符号語マッピング関数を入力画像に適用することにより、ターゲットビット深度において出力画像を生成する。

目的

ヒストグラムビン毎のビット深度の計算
ノイズマスクヒストグラム中の各ビンのノイズレベルbmが与えられたとき、次のステップは各ビンに対して割り当てられるべきビット数を決定することである

効果

実績

技術文献被引用数
0件
牽制数
1件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

プロセッサを用いた、画像の知覚的量子化のための方法であって、ある入力ビット深度にある入力画像に、プロセッサを用いてアクセスすることと、前記入力画像にノイズマスク生成プロセスを適用することによりノイズマスク画像を生成することであって、前記ノイズマスク画像は、前記入力画像中の画素を、量子化ノイズマスキングする際におけるその知覚的重要度に関して特徴づけ、前記入力画像および前記ノイズマスク画像に基づき、ノイズマスクヒストグラムを生成することと、前記ノイズマスクヒストグラム中の1つ以上のビンについて、マスキングノイズベルビット深度関数を適用することにより、前記1つ以上のビンに対し最小ビット深度値群を生成することと、前記入力ビット深度、前記最小ビット深度値群、およびターゲットビット深度に基づき、符号語マッピング関数を生成することと、前記入力画像に前記符号語マッピング関数を適用することにより、前記ターゲットビット深度において出力画像を生成し、前記ターゲットビット深度は前記入力ビット深度よりも小さいこと、を包含する、方法。

請求項2

前記ノイズマスク生成プロセスは、前記入力画像に第1のフィルタを適用して、第1のフィルタリングされた画像(L)を生成することと、前記入力画像と前記第1のフィルタリングされた画像との差の絶対値を算出することにより、第2の画像を生成することと、前記第2の画像に第2のフィルタを適用することにより、前記ノイズマスク画像(H)を生成することと、を包含する、請求項1に記載の方法。

請求項3

前記第1のフィルタはローパスガウスフィルタである、請求項2に記載の方法。

請求項4

前記第2のフィルタはローパスガウスフィルタである、請求項2に記載の方法。

請求項5

前記ノイズマスク画像に画素選択プロセスを適用することにより、量子化プロセスにおいて重要でないとみなされる画素を排除することをさらに包含する、請求項2に記載の方法。

請求項6

前記ノイズマスクヒストグラムを生成することは、前記入力ビット深度に基づいて、前記入力画像のダイナミックレンジを算出することと、前記ダイナミックレンジをM個のサブ範囲に分割することであって、ここでMは1より大きい整数であり、i番目のサブ範囲について、前記入力画像において、前記i番目のサブ範囲内に画素値を有しているすべての画素を特定することと、前記i番目のサブ範囲内の各画素について、前記ノイズマスク画像におけるその対応するノイズマスク値を決定すること、および前記i番目のサブ範囲内のすべての画素について、前記ノイズマスク値の最小値を決定することと、前記ノイズマスクヒストグラム中のi番目のビンに対し、前記i番目のサブ範囲内の前記画素についての前記ノイズマスク値の最小値を割り当てることと、を包含する、請求項1に記載の方法。

請求項7

前記入力画像は、ガンマ符号化またはSMPTEST2084にしたがって符号化されたハイダイナミックレンジ画像である、請求項1に記載の方法。

請求項8

前記マスキングノイズレベル−ビット深度関数は、知覚的ユーザー調査の結果にしたがって生成される、請求項1に記載の方法。

請求項9

前記符号語マッピング関数を生成することは、前記最小ビット深度値群、前記入力ビット深度、および前記ターゲットビット深度に基づいて、前記ターゲットビット深度にある正規化された必要符号語数の下限を生成することと、ある割り当て方式にしたがって、前記入力画像のダイナミックレンジ全体に対して未使用の正規化された符号語を割り当てることにより、新しく更新した正規化された必要な符号語数群を生成することと、前記新しく更新した正規化された必要な符号語数群の累積和を算出することにより、前記符号語マッピング関数を生成することと、をさらに包含する、請求項1に記載の方法。

請求項10

前記符号語マッピング関数を生成するよりも前に、前記新しく更新した正規化された必要な符号語数群をローパスフィルタによってフィルタリングすることをさらに包含する、請求項9に記載の方法。

請求項11

前記ローパスフィルタは、Nが正の整数である(2N+1)タップ平均化フィルタを包含する、請求項10に記載の方法。

請求項12

前記割り当て方式は比例的割り当て方式を包含し、ここでi番目の入力画素値についてであり、は前記新しく更新した正規化された符号語値数を表し、diは前記正規化された必要符号語数を表し、Dはdi値の和を表し、かつU=1−Dである、請求項9に記載の方法。

請求項13

前記割り当て方式は定オフセット割り当て方式を包含し、ここでi番目の入力画素値についてであり、は前記新しく更新した正規化された符号語値数を表し、diは前記正規化された必要符号語数を表し、Dがdi値の和を表すときU=1−Dであり、vHは最大入力画素値を表し、vLは最小入力画素値を表す、請求項9に記載の方法。

請求項14

前記割り当て方式はヒストグラムに基づく割り当て方式を包含し、ここでi番目の入力画素値についてであり、は前記新しく更新した正規化された符号語値数を表し、diは前記正規化された必要符号語数を表し、hiは前記入力画像中の、値がiに等しい画素の数を表し、Dがdi値の和を表すときU=1−Dであり、Pは前記入力画像中において考慮している画素の総数を表す、請求項9に記載の方法。

請求項15

前記割り当て方式は、スカラーベースの割り当て方式を包含し、i番目の入力画素値についてであり、は前記新しく更新した正規化された符号語値数を表し、diは前記正規化された必要符号語数を表し、Dがdi値の和を表すときU=1−Dであり、αは0と1の間のスカラーであり、vHは最大入力画素値を表し、vLは最小入力画素値を表す、請求項9に記載の方法。

請求項16

入力画素値iについて前記符号語マッピング関数を生成することは、を算出することを包含し、ここでsk値群は、前記新しく更新した正規化された符号語値数に基づいて導出される、請求項9に記載の方法。

請求項17

前記出力画像を生成することは、を算出することを包含し、ここで前記入力画像中の画素Ip=iについて、spは、対応する正規化済みの量子化された出力画素を表し、vHは最大入力画素値を表し、vLは最小入力画素値を表す、請求項16に記載の方法。

請求項18

前記最小ビット深度値群は、前記入力画像を含む映像シーン中の複数の連続フレーム群にわたって算出された最小ビット深度値群に基づいて算出される、請求項1に記載の方法。

請求項19

前記ターゲットビット深度が前記割り当てステップによって満足されないと判断したとき、前記ノイズマスク画像にしたがってノイズまたはディザリングを前記入力画像に加え、かつ、正規化された必要符号語数の新たな下限を生成することにより、正規化された必要符号語数の下限を置き換えることを包含する、請求項9に記載の方法。

請求項20

適応的量子化のためのシステムであって、入力フレーム群を受け取り、請求項1の方法にしたがって再量子化されたフレーム群を生成する、プロセッサと、前記再量子化されたフレーム群を符号化することにより、符号化フレーム群を生成する、プロセッサと、前記符号化フレーム群を復号化することにより、復号化フレーム群を生成する、プロセッサと、前記復号化フレーム群に逆方向再構成関数を適用することにより、出力フレーム群を生成する、プロセッサと、を備える、システム。

請求項21

プロセッサを備え、請求項1〜19に記載の方法のうちいずれかを行うように構成された装置。

請求項22

コンピュータ読み取り可能な非一時的記憶媒体であって、請求項1〜19のうちいずれかにしたがって方法を実行するための、コンピュータにより実行可能な命令を格納した、記憶媒体。

技術分野

0001

関連出願への相互参照
本願は、2015年3月2日付け出願の米国仮特許出願第62/126,925号に基づく優先権を主張するものであり、この出願の開示内容を全て本願に援用する。

0002

技術
本発明は、広く画像に関する。より詳細には、本発明のある実施形態は、ハイダイナミックレンジを備える画像の、コンテンツ適応的な知覚的量子化に関する。

背景技術

0003

背景
本明細書において、用語「ダイナミックレンジ」(DR)は、人間の視覚システムHVS)が画像においてある範囲の強度(例えば、輝度ルマ)(例えば、最暗部(黒)から最も明るい白(ハイライト)まで)を知覚する能力に関連し得る。この意味では、DRはシーンリファード(scene−referred)の強度に関する。DRはまた、ディスプレイデバイスが特定の幅を有する強度範囲妥当にまたは近似的に描画する能力にも関連し得る。この意味では、DRは、ディスプレイ−リファード(display−referred)の強度に関する。本明細書中の任意の箇所において、ある特定の意味が特に明示的に指定されている場合を除いて、この用語はどちらの意味としても(例えば、区別なく)使用できるものとする。

0004

本明細書において、ハイダイナミックレンジ(HDR)という用語は、人間の視覚システム(HVS)において14〜15桁ほどにわたるDR幅に関する。実際において、人間が広範囲の強度範囲を同時に知覚し得るDRは、HDRに対して幾分端折られ得る。本明細書において、エンハンストダイナミックレンジ(EDR)または視覚ダイナミックレンジ(VDR)という用語は、個別にまたは区別なく、人間の視覚システム(HVS)(眼球運動を含み、シーンまたは画像にわたってある程度の明順応変化を可能にする)が、あるシーンまたは画像中において知覚可能なDRに関する。本明細書において、EDRは、5〜6桁にわたるDRに関連し得る。従って、真のシーンリファードのHDRに対しては幾分狭いものの、EDRは広いDR幅を表し、HDRとも呼ばれ得る。

0005

実際において、画像は1つ以上の色成分(例えばルマYおよびクロマCbおよびCr)を有しており、各色成分は、画素あたりnビットの精度(例えばn=8)で表される。線形輝度符号化(linear luminance coding)を用いた場合、n≦8の画像(例えばカラー24ビットJPEG画像)はスタンダードダイナミックレンジとされ、n>8の画像はエンハンストダイナミックレンジの画像とされる。EDRおよびHDR画像はまた、Industrial Light and Magicが開発したOpenEXRファイルフォーマットなどの高精度の(例えば16ビット)浮動小数点フォーマットを用いて、格納および配信され得る。

0006

あるディスプレイについての基準(reference)電気光学伝達関数EOTF)は、入力映像信号明度(color values)(例えば輝度)からそのディスプレイによって生成される出力スクリーン明度(例えばスクリーン輝度)への関係を特徴づける。例えば、その開示内容を全て本願に援用するITURec.ITU−RBT. 1886、「Reference electro−optical transfer function for flat panel displays used inHDTVstudio production」(03/2011)では、陰極線管(CRT)の測定された特性に基づいて、フラットパネルディスプレイについての基準EOTFを定義している。ある映像ストリームが与えられたとき、そのEOTFに関する情報は、典型的にはメタデータとしてビットストリーム中に埋め込まれる。本明細書において、「メタデータ」の語は、符号化ビットストリームの一部として送信され、デコーダ復号化画像を描画することを助ける、任意の補助的情報に関する。そのようなメタデータは、本明細書において記載されるような、色空間または色域情報リファレンスディスプレイパラメータ、および補助的な信号パラメータなどを含むが、これらに限定されない。

発明が解決しようとする課題

0007

ほとんどのコンシューマーデスクトップディスプレイは現在、200〜300cd/m2またはニトの輝度をサポートしている。ほとんどのコンシューマー用HDTVは300〜500ニトの範囲であるが、新しいモデルは1000ニト(cd/m2)に達する。このような従来のディスプレイはしたがって、HDRやEDRに対し、より低いダイナミックレンジ(LDR)(またはスタンダードダイナミックレンジ(SDR)とも呼ばれる)の典型例となる。キャプチャ機器(例えばカメラ)およびHDRディスプレイ(例えばDolby LaboratoriesのPRM−4200プロフェッショナルリファレンスモニター)両方の進化によって、HDRコンテンツの普及率が高まるにつれ、HDRコンテンツはカラーグレーディングされてより高いダイナミックレンジ(例えば1,000ニトから5,000ニト以上)をサポートするHDRディスプレイ上に表示されることがある。そのようなディスプレイは、高輝度能力(例えば0から10,000ニトなど)をサポートする代替的なEOTFを用いて定義され得る。そのようなEOTFの一例が、その開示内容を全て本願に援用するSMPTE ST 2084:2014「High Dynamic Range EOTF of Mastering Reference Displays」に定義されている。一般的に、限定しないが、本開示の方法はSDRよりも高い任意のダイナミックレンジに関連する。本発明者らの理解によれば、ハイダイナミックレンジ画像の知覚的量子化のための、改良された手法が望まれる。

0008

本節に記載されている手法は、探求し得る手法ではあるが、必ずしもこれまでに着想または探求されてきた手法ではない。従って、別途示唆のない限り、本節に記載された手法のいずれも、本節に記載されているという理由だけで従来技術としての適格性を有すると考えるべきではない。同様に、別途示唆のない限り、1以上の手法に関して特定される問題が、本節に基づいて、いずれかの先行技術において認識されたことがあると考えるべきではない。

図面の簡単な説明

0009

同様の部材に同様の参照符号を付した添付図面の各図において、本発明のある実施形態を限定する事なく例示する。

0010

図1Aは、映像供給パイプラインのプロセス例を示す。
図1Bは、本発明の一実施形態による、コンテンツ適応的な量子化または再構成を用いたデータ圧縮のプロセス例を示す。
図2は、本発明の一実施形態による、コンテンツ適応的な知覚的量子化のプロセス例を示す。
図3は、本発明の一実施形態による、ノイズマスク生成のプロセス例を示す。
図4は、本発明の一実施形態による、シーンベースノイズマスキングヒストグラムを示す。
図5は、本発明の一実施形態による、ノイズマスクレベルを、必要な信号ビット深度マッピングする、マッピング関数の一例を示す。
図6Aは、本発明の実施形態による、算出された正規化符号語割り当ての例を示す。
図6Bは、本発明の実施形態による、算出された正規化符号語の割り当ての例を示す。
図6Cは、本発明の一実施形態による、適応的な知覚的量子化マッピングの一例を示す。
図7は、本発明の一実施形態による、符号語マッピングのプロセス例を示す。

実施例

0011

実施形態例の説明
ハイダイナミックレンジ(HDR)画像の知覚的量子化のための、コンテンツ適応的技術を本明細書に記載する。以下の説明においては、便宜上、本発明を完全に理解できるように、多数の詳細事項を説明する。ただし、これらの詳細事項が無くても本発明を実施可能であることは明白であろう。他方、本発明の説明を不必要に煩雑にしたり、不明瞭にしたり、難読化したりしないように、周知の構造およびデバイスの細かな詳細までは説明しない。

0012

概要
本明細書に記載の実施形態例は、画像の適応的な知覚的量子化に関する。コンテンツ適応的な量子化器プロセッサは、ある入力ビット深度を有する入力画像を受け取る。入力画像に対しノイズマスク生成プロセスを適用することにより、入力画像中の各画素を量子化ノイズのマスキングの際におけるその知覚的重要度(perceptual relevance)に関して特徴づける、ノイズマスク画像を生成する。入力画像およびノイズマスク画像に基づいて、ノイズマスクヒストグラムが生成される。ノイズマスクヒストグラムに対しマスキングノイズレベル−ビット深度関数を適用することにより、ノイズマスクヒストグラム中の各ビンについての最小ビット深度値群を生成する。入力ビット深度、ターゲットビット深度、および最小ビット深度値群に基づき、符号語マッピング関数を生成する。符号語マッピング関数を入力画像に適用することにより、入力ビット深度よりも低いターゲットビット深度において出力画像を生成する。

0013

映像供給処理パイプライン
図1Aは、従来の映像供給パイプライン(100)のプロセス例を示しており、映像のキャプチャから映像コンテンツの表示までの、様々な段を示している。画像生成ブロック(105)を用い、映像フレームシーケンス(102)をキャプチャまたは生成する。映像フレームは、デジタル的にキャプチャされるか(例えばデジタルカメラにより)またはコンピュータ(例えばコンピュータアニメーションを用いて)によって生成されることにより、映像データ(107)が得られる。あるいは映像フレーム(102)は、銀塩カメラによってフィルム上に取得されてもよい。フィルムがデジタルフォーマットに変換されることによって、映像データ(107)が得られる。プロダクションフェーズ(110)において、映像データ(107)は編集され、映像プロダクションストリーム(112)を得る。

0014

プロダクションストリーム(112)の映像データは次に、ブロック(115)のプロセッサに与えられて、ポストプロダクション編集を受ける。ブロック(115)ポストプロダクション編集は、画像の特定の領域の色または明るさを調節または変更することにより、映像制作者制作意図にしたがってその画像が特定の見え方をするようにしたり、画質を上げたりすることを含み得る。これは、「カラータイミング」あるいは「カラーグレーディング」と呼ばれることがある。ブロック(115)において、その他の編集(例えば、シーン選択およびシーケンシング画像クロッピングコンピュータ生成された視覚的特殊効果の追加など)を行うことにより、プロダクションの、配信用の最終バージョン(117)を作成してもよい。ポストプロダクション編集(115)において、映像イメージは、リファレンスディスプレイ(125)上で視聴される。

0015

ポストプロダクション(115)の後、最終プロダクションとしての映像データ(117)は、下流のテレビ受像機セットトップボックス映画館などの復号化再生機器まで供給されるために、符号化ブロック(120)に供給されてもよい。いくつかの実施形態において、符号化ブロック(120)は、符号化されたビットストリーム(122)を生成するための、ATSC、DVB、DVD、ブルーレイおよびその他の供給フォーマットに規定されるような音声および映像エンコーダを有していてもよい。受信機において、符号化されたビットストリーム(122)は、復号化ユニット(130)により復号化されることにより、信号(117)と同一またはこれに近い近似を表す、復号化された信号(132)を生成し得る。受信機は、リファレンスディスプレイ(125)と全く異なる特性を有し得るターゲットディスプレイ(140)に取り付けられていてもよい。その場合、ディスプレイマネジメントブロック(135)を用いてディスプレイマッピング化信号(137)を生成することで、復号化された信号(132)のダイナミックレンジを、ターゲットディスプレイ(140)の特性にマッピングしてもよい。

0016

信号の量子化
現在、映像供給用のほとんどのデジタルインターフェース、例えばSerial Digital Interface(SDI)などは、各成分につき画素あたり12ビットに制限されている。さらに、ほとんどの圧縮規格、例えばH.264(またはAVC)およびH.265(またはHEVC)などは、各成分につき画素あたり10ビットに制限されている。したがって、既存のインフラストラクチャおよび圧縮規格内において、約0.001から10,000cd/m2(またはニト)のダイナミックレンジを有するHDRコンテンツをサポートするためには、効率的な符号化および/または量子化が必要である。

0017

本明細書において、用語「PQ」は知覚的な輝度振幅(luminance amplitude)の量子化を指す。人間の視覚システムは、光レベルの増大に対して非常に非線形的に反応する。人間が刺激を見る能力は、その刺激の輝度、その刺激の大きさ、その刺激を構成する空間周波数、および、その刺激を見ている瞬間までに目が適応した輝度レベルに影響される。好適な実施形態において、知覚的量子化器関数は、線形入力グレイレベルを、人間の視覚システムにおけるコントラスト感度閾値によりマッチした出力グレイレベルにマッピングする。PQマッピング関数(またはEOTF)の一例が、その開示内容を全て本願に援用する、SMPTE ST 2084:2014「High Dynamic Range EOTF of Mastering Reference Displays」に記載されている。ここでは、ある固定刺激サイズに対して、それぞれの輝度レベル(即ち、刺激レベル)について、最高感度の適応レベルおよび最高感度の空間周波数(HVSモデルによる)に応じて、その輝度レベルにおける最小可視コントラストテップを選択する。物理的な陰極線管(CRT)装置の応答曲線を表しており、人間の視覚システムの応答仕方に対して非常に大まかな類似性偶然有し得る従来のガンマ曲線と比較して、PQ曲線は、比較的シンプル関数モデルを用いながら人間の視覚システムの本当の視覚応答を模擬している。

0018

例えば、SMPTE ST 2084によれば、1cd/m2において、1つの12ビット符号値は約0.0048cd/m2の相対変化に相当する。しかし、1,000cd/m2においては、1つの12ビット符号値は約2.24cd/m2の相対変化に相当する。この非線形的量子化は、人間の視覚システム(HVS)の非線形的なコントラスト感度に対応するために必要である。

0019

知覚的に量子化されたEOTFの別の例が、その開示内容を全て本願に援用する、J.Stessenら、「Chromaticity based color signals for wide color gamut and high dynamic range」、ISO/IECJTC1/SC29/WG11MPEG2014/M35065、Oct.2014に示されている。

0020

HVSのコントラスト感度は、画像コンテンツの輝度だけでなくマスキング特性(特にノイズおよびテクスチャ)、そしてHVSの順応状態に依存する。すなわち、画像のノイズレベルまたはテクスチャ特性によっては、画像コンテンツは、PQまたはガンマ量子化器によって予測されるよりも大きな量子化ステップで量子化されることができる。なぜなら、テクスチャおよびノイズは、量子化アーチファクトをマスキングするからである。PQ量子化は、HVSの能力のうち最大限記述する。つまりこれは画像中にノイズやマスキングが無い場合のことである。しかし多くの画像において(映像のフレーム)は、有意なマスキングが存在する。

0021

ノイズおよびテクスチャマスキングに加えて、他の視覚のふるまいの特性、例えば光学フレア局所順応(local adaptation)なども考慮に入れることにより、量子化のレベルを上げ、各色成分につき10ビット以下でHDR画像を表現することを可能にし得る。本明細書において、用語「コンテンツ適応的なPQ」または略して「適応的PQ」とは、画像の知覚的量子化を、そのコンテンツに基づいて適応的に調節する方法を言う。

0022

図1Bは、一実施形態による、適応的PQのプロセス例を示す。入力フレーム群(117)を与えられると、順方向再構成ブロック(150)が、入力および符号化制約分析し、符号語マッピング関数を生成する。この符号語マッピング関数は、入力フレーム群(117)を、再量子化された出力フレーム群(152)にマッピングする。例えば、特定のEOTFにおいては、入力(117)はガンマ符号化またはPQ符号化され得る。いくつかの実施形態において、再構成プロセスに関する情報は、メタデータを用いて下流の機器(例えばデコーダ)に伝えられてもよい。符号化(120)および復号化(130)の後、前述したディスプレイマネジメントプロセス(135)などのさらなる下流処理のために、復号化フレーム群(132)が、再量子化されたフレーム群(132)を元のEOTFドメイン(例えばガンマまたはPQ)に再度変換する逆方向再構成関数(160)による処理を受けてもよい。いくつかの実施形態において、逆方向再構成関数(160)は、デコーダ(130)中の逆量子化器統合されてもよい(例えばAVCまたはHEVCビデオデコーダ内の逆量子化器の一部として)。

0023

適応的PQ
図2は、本発明の一実施形態による、コンテンツ適応的な知覚的量子化のプロセス例を示す。図2に示すように、画像のシーケンス(例えば映像フレーム)(117)を与えられると、ブロック(205)を用いて、入力画像中の各画素を量子化ノイズのマスキングの際におけるその知覚的重要度に関して特徴づける、ノイズマスク画像を生成する。ノイズマスク画像は、元の画像データとともにステップ(210)で使用されることによりノイズマスクヒストグラムを生成する。ブロック(215)は、ステップ(210)で生成されたヒストグラムの各ビンに必要な最小ビット数推定し、最終的に、符号語マッピングブロック(220)が入力信号(117)をその量子化された出力に変換するためのマッピング関数を算出する。これらのステップの各々を、次により詳細に説明する。

0024

ノイズマスク生成
適応的PQの基本的な考え方は、画像のうちのノイズが多いかあるいはハイテクスチャを有するような領域にはより少ないビットを割り当て、一方、画像のうちのノイズを有しないかあるいはより滑らかであると知覚されるような領域にはより多くのビットを割り当てることである。入力画像(117)を与えられると、ノイズマスク生成ブロック(205)は、画像中の各画素に対してマスキングノイズの見込み値を生成する。いくつかの実施形態において、入力(117)はガンマまたはPQ系の量子化器を用いて既に符号化されていてもよい。他のいくつかの実施形態において、入力画像(117)は線形空間に存在してもよい。図3は、一実施形態による、ノイズマスク生成のプロセス例を示す。他のいくつかの実施形態においてノイズマスクは、当該分野において公知であるような、画像中の局所エントロピーを測定するための他の方法を用いて生成してもよい。例えば、移動窓(moving window)に対してのエントロピーフィルタリング、移動窓に対しての標準偏差フィルタリング、または移動窓に対してのレンジフィルタリングなどである。

0025

Ijpが、入力シーケンス(117)中のj番目のフレームにおける、量子化を受ける色成分(例えば輝度)を有するp番目の画素を、〔0 1)に正規化したものを表すものとする。vLjおよびvHjがこのフレーム中の最小および最大画素値を表すものとする。すなわち、

0026

図3に示すように、ブロック(305)において、第1のローパスフィルタを、画像フレームIjに適用する。ある実施形態において、このフィルタは、人間の視覚システムの特性を模倣する。利用可能な演算能力によって、このフィルタは、ボックスフィルタまたはガウスフィルタなどの非常に単純なフィルタから、Cortex変換を実現するようなより複雑なフィルタバンクであり得る。ある実施形態において、第1のフィルタは、



を有する二次元ガウスフィルタ



であってもよい。すると、その出力(L)は、



のように表し得る。ここで、記号



は、畳み込みを表す。第1のフィルタの出力が与えられると、ブロック(310)において入力フレームの高周波成分を



のように抽出し得る。
次に、ブロック(310)の出力を、第2のローパスフィルタ(315)を用いて再びフィルタリングすることにより、ノイズマスク(H)を生成する。これは、HVSマスキングの低位相精度に対応することである(すなわちマスキング信号ゼロクロス点において、まだマスキングが存在している)。ある実施形態において、第2のLPFもまた、



を有するガウスフィルタであってもよい。
すると、ノイズマスク(H)は、



ように表現され得る。

0027

ある実施形態において、第1および第2のローパスフィルタのパラメータは同じであってもよい。好適な実施形態において、第1および第2のローパスフィルタが分離可能フィルタであることにより、演算上の効率性を高めてもよい。ある実施形態において、さらなるオプションとしてのブロック(320)を用い、後の処理では無視し得るHjp画素を(適応的量子化プロセスにとってバイアスとなり得ることから)特定してもよい。例えばもし画像がレターボックスフレーム(すなわち、元の画像を特定のフレームサイズまたはアスペクト比適合するように枠で囲んでいる、黒い画素)を含む場合なら、レターボックス画素に関連する値は無視し得る。画像境界またはレターボックス境界に関連する値もまた無視し得る。なぜなら、ローパスフィルタの出力は、これら境界におけるデータは、定数値(これらが生成するノイズ値は低い)でパディングされているものと仮定しているからである。Ωjが考慮下のすべての有効な画素の集合を規定しているとすると、最終出力ノイズマスク(322)は、



のように表現され得る。

0028

ノイズマスクヒストグラム生成
BIが入力画像(117)のビット深度を示すとし(例えばBI=16)、K=2BIとすれば、ダイナミックレンジ0〜K−1は、等しい画素間隔値WのM個のビンに区分けされ得る。すなわちW=K/Mである。ある実施形態において、j番目のフレームについて、ノイズヒストグラムbj(m)(ここでmはm番目ヒストグラムビンを表す(m=0,1,2,…M−1))は、以下のように生成され得る。
a)元の画像(Iji,i∈Ωj)中において、



の範囲に画素値を有する全ての画素を特定する。
b)これらの画素のうち最小のHj(i)を選択する。前述のようにマスキング高さは2Dマップではないためである。
すなわち、



となる。
ここで、時として特定のビンが空であることがあり得ることに留意されたい。これは、そのビンの画素範囲内には画像画素が存在しないかもしれないためである。これらのビンのインデックスを格納しておき、それらの状態は後で扱われる(addressed)。

0029

適応的PQ値は、フレームレベルまたはシーンレベルで調整され得る。本明細書において、映像シーケンスについての用語「シーン」または「ショット」は、映像信号中の、同様なカラーおよびダイナミックレンジ特性を有する一連連続フレームに関連し得る。ほとんどのビデオ圧縮フォーマットにおける映像予測の連続性のため、量子化パラメータを、映像エンコーダの典型的な境界に合致する境界(例えばシーンチェンジまたは新しいgroup of pictures(GOP)など)においてのみ調節することが好ましい。したがって、Fフレームを有するシーン、そしてフレームベースのノイズマスキングヒストグラムbj(m)が与えられたとき、シーンベースのノイズマスキングヒストグラムb(m)は、



のように導出される。

0030

ある実施形態において、ノイズ上限を1と仮定するとき、シーン全体につき画素値が存在しないようなノイズビンについては、最大の可能なノイズレベル値である1を割り当ててもよい。いくつかの実施形態においてまた、欠けているビンを近隣のビンから補間してもよい。j=1,2,…,Fについて、シーンベースの最小および最大画素値を、



のように生成してもよい。

0031

図4は、BI=16およびM=64ビンのHDRシーンについて、シーンベースのノイズマスクヒストグラムの一例を示す。この例において、暗領域は、ミッドトーンやハイライトよりも高いマスキングノイズレベルを有している。

0032

ヒストグラムビン毎のビット深度の計算
ノイズマスクヒストグラム中の各ビンのノイズレベルbmが与えられたとき、次のステップは各ビンに対して割り当てられるべきビット数を決定することである。ある実施形態において、そのようなマッピングは、実験的なユーザー調査結果に基づいて決定され得る。例えば、そのような調査の一つにおいて、ユーザーに対して異なるビット深度に量子化されたテスト画像を見せ(量子化の前に画像に対しガウスノイズを加えている)これを評価させたものがある。一例として、図5



のガウスフィルタを用いたユーザー調査の結果を示している。例えば、ノイズマスクレベルが2−10に対し、必要とされるビット深度は8ビットである。期待されるように、図5は、マスクノイズのレベルが高い画像領域ほど、より少ないビット深度において完全な視覚的透明性を達成し得ることを示している。または、画像が滑らかであるほど、正確で知覚的にロスの無い表現のためにはより多くのビット深度を必要とする。

0033

データ対



の集合を考える。i=1,2,3,…,Nであり、i番目入力ノイズレベル



について、対応する最小ビット深度は



であることが、(例えばユーザー調査を通じて、またはその他の手法により)判明している。ある実施形態において、これらの対は、マスキングノイズ−ビット深度関数



として表現することができる。

0034

例えば、限定されないが、単純な線形補間を用いれば、



である。

0035

ある実施形態において、Qm=fN(bm)マッピングを、ルックアップテーブルを用いて算出してもよい。ある実施形態において、ビット深度データを直接用いるのではなく、ヒストグラムビン中の必要符号語数に基づいて符号語マッピング(220)を行う方が便利であり得る。これは、次のセクションにおいて検討する。

0036

符号語マッピング生成
BTが再量子化された信号(152)(例えば各色成分につきBT=10ビット/画素)のターゲットビット深度を表すとすれば、出力は2BT個の符号語を用いてマッピングされることになる。ある実施形態において、符号語の範囲を1に正規化するので、



で、ビンm毎の正規化された符号語数を表すものとする。例えば、Qm=9,BI=16かつBT=10であれば、Dm=2−17である。

0037

が各入力i∈(0,2BI-1)についての正規化された符号語数を表すとすれば、diは、各入力符号語についての必要符号語数の下限であると考えることができる。全ての入力符号語についての正規化された符号語総数Dは1を上限とする。すなわち、



である。

0038

図6Aは、BI=16における単一の映像フレーム(0から65535の範囲の入力符号語)について算出された、正規化された符号語数(di(605))のプロット例を示す。このプロットはまた、16ビットから9個の最上位ビット(610)または10個の最上位ビット(615)へ単純に切り捨てを行った場合の、正規化された符号語数を示す。図6Aに示すように、単純な10ビット切り捨てでは、ハイライト範囲内の特定の入力画素については、ビット深度要件を満たすために十分ではない。

0039

U=1−Dが未使用の正規化された符号語の数を表すとする。これらの未使用の符号語は、所与の条件に基づいて、入力符号語に再割り当てされる必要がある。ある実施形態において、限定されないが、以下の割り当て方式のうち任意の1つ(またはその組み合わせ)を用い得る。
i)比例的割り当て
この条件においては、入力vL≦i≦vHについて追加的な符号語が、既存の分布に基づき割り当てられる。すなわち、



ここで



は、正規化された符号語値の、新しく更新された個数を表す。

ii)定オフセット割り当て
この条件下において、余剰の符号語は均一に配分される、すなわち、入力vL≦i≦vHについて、



となる。
iii)ヒストグラムに基づく割り当て
hiが元の入力画像のヒストグラムを表すとする。すなわち、vL≦i≦vHについて、hi=kは、P個の画素のうち、値iを有する画素がk個存在することを表す。すると、この条件下において、符号語は、ヒストグラム値に従って割り当てられる。すなわち、入力vL≦i≦vHについて、



となる。
一変形例において、入力範囲をM個のサブ範囲(例えばM=3の場合、黒、ミッドトーン、ハイライト)に分割し、m番目のサブ範囲内における入力画素の総数を表すヒストグラムHm(m=1,2,…,M)を算出してもよい。すると、m番目の画素のサブ範囲に属するiについて、



となる。
iv)スカラーに基づく割り当て
これは、ヒストグラムに基づく割り当て(例えば、暗部に対する1つとハイライトに対する1つの、2つのビンだけを有するヒストグラムを考える)と、定オフセット割り当てとの組み合わせと考えることができる。αが0と1の間の「暗部」対「ハイライト」の重要性の関係を示すパラメータを表すとすると、入力vL≦i≦vHについて、本基準において、



となる。

0040

U=0であれば、符号語の再配分は可能でない。このケースにおいて、後にも述べるように、エンコーダがターゲットビット深度を増やすか、入力画像にノイズを加えてdi分布を減らすか、何もせずにおいてデコーダおよび後処理のフィルタリングが観察され得る量子化ノイズを減少するに任せるか、を決定し得る。残りの処理ステップは、



データに直接作用してもよい。ただし、ある実施形態において、性能の改善のため、これらのデータは、例えば2N+1タップ平均化フィルタなどのローパスフィルタによって平滑化されてもよい。

0041

とする。ここでak,k=−N,−N+1,…,Nは、平滑化フィルタ



フィルタ係数を示す。ある実施形態において、このフィルタの長さは、ノイズマスクヒストグラム(例えばN=W)の2つの連続するビンのサイズに少なくとも相当する大きさを持つ。フィルタをより大きくすれば平滑化力は上がるが、より多くの演算能力を必要とするようになる。

0042

図6Bは、



データ(620)のプロット例を示し、定オフセット割り当て方式にしたがって算出された、平滑化された



データを表している。いくつかの場合において、



値の合計は1を超えることがあり、したがって、これらの値を



のようにふたたび再正規化する必要がある。

0043

siの値は、依然として下限制約条件を満たさなければならない。すなわち、



である。



とすれば、j番目のフレームにおいて、与えられた入力画素Ijp=i(i ∈(0,2BI-1))について、最終の、正規化済みの再量子化された画素値sjpは、以下のように表現され得る。



ある実施形態において、FL(i)値は、予め算出されたルックアップテーブル(LUT)に格納されてもよい。あるいは、正規化されたsjp値は、0から2BT-1の範囲に非正規化された値にマッピングされてもよい。(620)データに基づくFL(i)マッピング(630)の一例を、図6Cに示す。

0044

図7は、符号語マッピングプロセス(220)のステップの概略例を示す。各ノイズヒストグラムビン(Qm)(217)についての必要なビット深度、入力ビット深度(BI)、およびターゲットビット深度(BT)を入力として与えられると、ステップ(705)は、各入力Ijp=iについての正規化された必要符号語数の下限を、式(12)にしたがって算出する。ステップ(710)において、未使用の符号語があれば、例えば式(14−17)によって記述されるいくつかの再配分方式のいずれかにしたがって、再配分される。オプションとして、ステップ(715)において、再配分されたデータ



をフィルタリングし(例えば式(18)を参照)、平滑化済みの正規化された符号語数を生成し、これをステップ(720)において累積和関数に基づき最終符号語マッピングを生成するために用いる。

0045

フレームベースの適応的量子化
前述のように、式(7)に従い、ある実施形態において、適応的量子化は、シーン中の複数のフレームにわたって集められたノイズマスキングヒストグラムデータに基づいていてもよい。データを複数のフレームにわたって集めることは、リアルタイムで適応的量子化を行う必要がある環境においては容認しがたいような、有意な遅延を引き起こし得る。別の実施形態において、符号語マッピング(あるいは再構成)を、シーン中の最初のフレームからのデータを用いて行ってもよい。ただし、このマッピングは、シーンのフレーム群内における小さな変動に対応するために、周期的に調節され得る。そのようなプロセスを、表1に擬似コードで記述する。

0046

表1-フレームベースの適応的量子化

0047

逆方向再構成
いくつかの実施形態において、順方向再構成(150)の効果を逆転させるために、逆方向再構成(160)を適用してもよい。ある実施形態において、逆量子化のためのルックアップテーブルを、以下のように構築してもよい。
a)量子化ドメイン(sc)中の各符号語について、FL(vi)=scであるような全ての入力符号語(vi)を特定する。このグループをω(sc)={vi|FL(vi)=sc}と表す。このとき、
b)逆方向再構成関数(BL(sc))を、ω(sc)の関数として構築する。
例えば、ある実施形態において、限定されないが、BL(sc)を、ω(sc)に属する全ての符号語の平均として構築してもよい。すなわち、
もし |ω(sc)| > 0 ならば、



であり、
ここで|ω(sc)|は、集合ω(sc)中の要素の数を表す。もし任意のsc値群について|ω(sc)|=0ならば、ある実施形態において、これらの値は、その近隣の非ゼロ値から補間されてもよい。

0048

別の実施形態群
前述のように、一実施形態において、既存のコーデックが有するビット深度に関連する制限に対応するために、符号化(圧縮)ステップ(120)の前に本提案による適応的量子化が行われてもよい。量子化の後、再構成マッピング関数(630)に関連するデータ(例えば逆マッピング関数)を、メタデータとして(例えばマルチセグメントの線形または2次多項式係数として、またはルックアップテーブルとして)埋め込むことにより、デコーダが逆マッピングを行うことを可能にしてもよい。あるいは、ターゲットビット深度制限内で動作し得る適切な再構成関数が存在しない場合は、ある実施形態において、画像の元の滑らかな領域に対し当該分野において公知のノイズまたはディザリングを加えることにより、量子化エラーのマスキングを改善してもよい。そのようなノイズは、ノイズマスクヒストグラム生成ステップ(210)の出力にしたがって加えられてもよい。

0049

いくつかの実施形態において、コンテンツベースの知覚的量子化プロセスを、デコーダによって受け取られた情報にしたがってさらに適応させてもよい。例えば、もしある下流の機器が、周囲光の強度または視聴距離を測定するためのセンサ群を備えたディスプレイに取り付けられている場合には、そのような情報が上流のエンコーダに送られることにより、ノイズマスク生成(205)のためのフィルタ、または適応的量子化プロセスのその他のパラメータ(例えば再配分ステップなど)を調節してもよい。例えば、高周囲光については、暗領域においてより少ない量子化ステップが必要となる。

0050

いくつかの実施形態において、エンコーダ段におけるノイズ導入またはディザリングを行う代わりに、この動作は、エンコーダから送られたメタデータ情報(例えばノイズマスクヒストグラムなど)に基づいて、デコーダ内において行われてもよい。

0051

画像処理技術の当業者には理解されるように、本提案によるコンテンツ適応的量子化手法は、追加的なノイズ、ディザリング、またはビット切り捨てを適用することによってビット深度要件を減ずるような、他の様々な画像処理アプリケーションにも応用可能である。

0052

コンピュータシステム実装
本発明の実施形態は、コンピュータシステム、電子回路およびコンポーネントで構成されたシステムマイクロコントローラフィールドプログラマブルゲートアレイFPGA)または他のコンフィギュラブルまたはプログラマブルロジックデバイスPLD)、離散時間またはデジタル信号プロセッサ(DSP)、特定用途向けICASIC)などの集積回路(IC)デバイス、および/または、このようなシステム、デバイスまたはコンポーネントを1つ以上含む装置、を用いて実施し得る。このコンピュータおよび/またはICは、本明細書に記載のようなエンハンストダイナミックレンジを有する画像の適応的な知覚的量子化に関する命令を行い、制御し、または実行し得る。このコンピュータおよび/またはICは、本明細書に記載の適応的な知覚的量子化プロセスに関する様々なパラメータまたは値のいずれを演算してもよい。画像およびビデオ実施形態は、ハードウェアソフトウェアファームウェア、および、その様々な組み合わせで実施され得る。

0053

本発明の特定の態様は、本発明の方法をプロセッサに行わせるためのソフトウェア命令を実行するコンピュータプロセッサを含む。例えば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダなどの中の1つ以上のプロセッサは、そのプロセッサがアクセス可能プログラムメモリ内にあるソフトウェア命令を実行することによって、上記のようなHDR画像の適応的な知覚的量子化に関する方法を実装し得る。本発明は、プログラム製品形態で提供されてもよい。このプログラム製品は、データプロセッサによって実行された時に本発明の方法をデータプロセッサに実行させるための命令を含む1セットの、コンピュータ読み取り可能な信号を格納する任意の非一時的媒体を含み得る。本発明によるプログラム製品は、様々な形態をとり得る。例えば、このプログラム製品は、フロッピーディスクハードディスクドライブを含む磁気データ記憶媒体、CD ROM、DVDを含む光学データ記憶媒体、ROM、フラッシュRAMなどを含む電子データ記憶媒体、などの物理的媒体を含み得る。このプログラム製品上のコンピュータ可読信号は、任意に、圧縮または暗号化されていてもよい。

0054

上記においてあるコンポーネント(例えば、ソフトウェアモジュール、プロセッサ、アセンブリ、デバイス、回路など)に言及している場合、そのコンポーネントへの言及(「手段」への言及を含む)は、そうでないと明記されている場合を除いて、当該コンポーネントの機能を果たす(例えば、機能的に均等である)あらゆるコンポーネント(上記した本発明の実施形態例に出てくる機能を果たす開示構造に対して構造的に均等ではないコンポーネントも含む)を、当該コンポーネントの均等物として、含むものと解釈されるべきである。

0055

均等物、拡張物、代替物、その他
HDR画像の効率的な適応的な知覚的量子化に関する実施形態例を上述した。この明細書中において、各実装毎に異なり得る多数の具体的な詳細に言及しながら本発明の実施形態を説明した。従って、本発明が如何なるものかおよび出願人は本発明が如何なるものであると意図しているかについての唯一且つ排他的な指標は、後の訂正を含む、これら請求項が生じる具体的な形態の、本願から生じる1組の請求項である。当該請求項に含まれる用語に対して本明細書中に明示したあらゆる定義が、請求項内で使用される当該用語の意味を決定するものとする。よって、請求項に明示的に記載されていない限定事項、構成要素、特性、特徴、利点または属性は、いかなる形であれ請求の範囲を限定するものではない。従って、本明細書および図面は、限定的ではなく、例示的であると認識されるべきものである。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ