図面 (/)

技術 カラー・ピクチャを符号化および復号する方法および装置

出願人 インターデジタルヴイシーホールディングス,インコーポレイテッド
発明者 ラセール,セバスチアンアンドリボン,ピエールルローネ,フアブリストウズ,デイビツド
出願日 2016年1月25日 (5年11ヶ月経過) 出願番号 2017-539642
公開日 2018年3月15日 (3年9ヶ月経過) 公開番号 2018-507619
状態 特許登録済
技術分野 TV信号の圧縮,符号化方式
主要キーワード ダイナミック入力 後方装置 代数処理 非線形表現 物理的ユニット 同報通信ネットワーク 部分的組合せ 立方根
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2018年3月15日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (17)

課題・解決手段

本開示は、概ね、符号化するカラーピクチャから輝度成分(L)および2つのクロミナンス成分(C1,C2)を取得すること(11)を含む、色成分(Ec)を有するカラー・ピクチャを符号化する方法およびデバイスに関する。符号化するカラー・ピクチャから輝度成分および2つのクロミナンス成分を取得することを含む、色成分を有するカラー・ピクチャを符号化する方法は、輝度成分の各画素(i)の値に基づいて第1のファクタを決定することと、少なくとも1つのクロミナンス成分を第1のファクタでスケーリングすることによって少なくとも1つの最終クロミナンス成分を取得することと、少なくとも1つの最終クロミナンス成分を符号化すること(13)とをさらに含む。

概要

背景

本節は、以下に説明し、且つ/または主張する本開示の様々な特徴に関係する可能性がある様々な技術特徴を読者紹介するための節である。以下の説明は、本開示の様々な特徴をよりよく理解することを容易にするための背景情報を読者に提供する助けになるものと考えられる。従って、これらの記述は、これに照らして読まれるべきものであり、従来技術として自認するものとして読まれるべきものではないことを理解されたい。

以下では、カラーピクチャは、サンプル(画素値)のいくつかのアレイを、ピクチャ(もしくはビデオ)の画素値に関する全ての情報、ならびに例えばディスプレイおよび/またはその他の任意のピクチャ(もしくはビデオ)を視覚化および/または復号するデバイスによって使用される可能性がある全ての情報を指定する特定のピクチャ/ビデオ・フォーマットで含んでいる。カラー・ピクチャは、第1のサンプルのアレイの形状をした少なくとも1つの成分、通常はルマ(または輝度)成分と、少なくとも1つの他のサンプルのアレイの形状をした少なくとも1つの別の成分とを含む。すなわち、同等に、同じ情報が、従来の3色RGB表現など、カラー・サンプル(カラー成分)のアレイのセットによって表されることもある。

画素値は、C個の値のベクトルによって表される。ここで、cは、成分の数である。ベクトルの各値は、それらの画素値の最大ダイナミックレンジを規定するいくつかのビットで表される。

スタンダード・ダイナミック・レンジ・ピクチャ(SDRピクチャ)は、その輝度値が、通常は2またはfストップ累乗で測定される制限されたダイナミックで表される、カラー・ピクチャである。SDRピクチャは、約10fストップのダイナミックを有する、すなわち、線形領域中の最も明るい画素と最も暗い画素の間の比が1000であり、例えばITU−RBT.709 OETF(光電伝達関数)(ITU−R勧告BT.709−5、2002年4月)またはITU−R BT.2020 OETF(ITU−R勧告BT.2020−1、2014年6月)を使用して、非線形領域で限られたビット数(最も多いのはHDTV高精細度テレビジョン・システム)およびUHDTV(超高精細度テレビジョン・システム)における8または10)でコード化されて、ダイナミックを低下させる。この制限された非線形表現では、特に暗い輝度範囲および明るい輝度範囲では、小さな信号変動を正しくレンダリングすることができない。ハイ・ダイナミック・レンジ・ピクチャ(HDRピクチャ)では、信号ダイナミックは、はるかに高くなり(最大で20fストップ、最も明るい画素と最も暗い画素との間の比が100万)、信号の全範囲にわたって信号の高い精度を維持するためには、新たな非線形表現が必要となる。HDRピクチャでは、生データは、通常は、浮動小数点フォーマット(各成分について32ビットまたは16ビット、すなわち単精度または半精度)(最も一般的なフォーマットは、openEXR半精度フォーマット(RGB成分につき16ビット、すなわち画素ごとに48ビット))で表されるか、あるいは通常は少なくとも16ビットの長い表現の整数で表される。

色域は、色の特定の完全なセットである。最も一般的な用法では、所与色空間内または特定の出力デバイスによるなど、所与の状況で正確に表すことができる色のセットを指す。

色域は、図1に示すように、CIE1931色空間色度図に与えられるRGB原色と白色点とによって規定されることもある。

いわゆるCIE1931色空間色度図で原色を規定することは一般的である。これは、輝度成分から独立して色を規定する2次元図(x,y)である。この場合、任意の色XYZは、以下の変換によってこの図に投影される。



z=1−x−y成分も規定されるが、これはこれ以上の情報を担持していない。

この図では、色域は、その頂点3原色RGBの(x,y)座標集合である3角形によって定義される。白色点Wは、この3角形に属する、通常は3角形の中心に近い、別の所与の(x,y)点である。

カラー・ボリュームは、色空間と、この色空間内に表される値のダイナミック・レンジとによって定義される。

例えば、色域は、UHDTVについてのRGBITU−R勧告BT.2020色空間によって規定される。さらに古い標準であるITU−R勧告BT.709は、HDTVについてのより小さな色域を規定する。SDRでは、ダイナミック・レンジは、公式にはデータがコード化されるカラー・ボリュームについて最大で100nit(カンデラ毎平方メートル)まで規定されるが、表示技術によっては、それより明るい画素を示すこともある。

Danny Pascaleによる「A Review of RGB Color Spaces」に広範に説明されているように、色域の変更、すなわち3原色および白色点をある色域から別の色域にマッピングする変換は、線形RGB色空間内で3×3行列を使用することによって実行することができる。また、XYZからRGBへの空間の変更も、3×3行列によって実行される。その結果として、色空間がRGBであってもXYZであっても、色域の変更は、3×3行列によって実行することができる。例えば、BT.2020の線形RGBからBT.709のXYZへの色域の変更は、3×3行列によって実行することができる。

ハイ・ダイナミック・レンジ・ピクチャ(HDRピクチャ)は、その輝度値がSDRピクチャのダイナミックより高いHDRダイナミックで表されるカラー・ピクチャである。

HDRダイナミックは、まだ標準で規定されていないが、最大で数千nitのダイナミック・レンジが予想され得る。例えば、HDRカラー・ボリュームは、RGBBT.2020色空間で規定され、このRGB色空間内に表される値は、0から4000nitのダイナミック・レンジに属する。HDRカラー・ボリュームの別の例は、RGB BT.2020色空間で規定され、このRGB色空間内に表される値は、0から1000nitのダイナミック・レンジに属する。

ピクチャ(またはビデオ)のカラー・グレーディングは、ピクチャ(またはビデオ)の色を変更/増強するプロセスである。通常は、ピクチャのカラー・グレーディングは、このピクチャに関するカラー・ボリューム(色空間および/またはダイナミック・レンジ)の変更あるいは色域の変更を伴う。従って、同じピクチャの2つの異なるカラー・グレーディング・バージョンは、異なるカラー・ボリューム(または色域)に表される値を有するこのピクチャのバージョン、またはその色のうちの少なくとも1つが異なるカラー・グレードに従って変更/増強されているこのピクチャのバージョンである。これは、ユーザとの対話を伴うこともある。

例えば、映画製作では、3色カメラを使用して、ピクチャおよびビデオを取り込んで、3つの成分(赤、緑、および青)で構成されたRGB色値にする。RGB色値は、センサの3色特性(原色)に依存する。次いで、(個々の劇場用グレードを使用して)劇場用のレンダリングを得るように、取り込んだピクチャの第1のカラー・グレーディング・バージョンを得る。通常は、取り込んだピクチャの第1のカラー・グレーディング・バージョンの値は、UHDTVのパラメータ値を規定するBT.2020などの標準化されたYUVフォーマットに従って表される。

YUVフォーマットは、通常は、線形RGB成分に、非線形関数、いわゆる光電伝達関数(OETF)を適用して、非線形成分R’G’B’を得、次いで得られた非線形R’G’B’成分に色変換(通常は3×3行列)を適用して3つの成分YUVを得ることによって、実行される。第1の成分Yは、輝度成分であり、残りの2つの成分U、Vは、クロミナンス成分である。

次いで、カラリスト(Colorist)が、通常は撮影監督協働して、芸術的意図盛り込むために一部の色値を微調整ツイーク(tweak)することによって、取り込んだピクチャの第1のカラー・グレーディング・バージョンの色値に対して制御を実行する。

解決すべき問題は、圧縮HDRピクチャ(またはビデオ)を配信しながら、同時にそのHDRピクチャ(またはビデオ)のカラー・グレーディング・バージョンを表す関連するSDRピクチャ(またはビデオ)を配信することである。

よくある解決策は、SDRピクチャ(またはビデオ)およびHDRピクチャ(またはビデオ)の両方を配信インフラストラクチャ同時放送することであるが、その欠点は、HEVC main 10 profile(「High Efficiency Video Coding」、SERIES H:AUDIOVISUAL AND MULTIMEDIA SYSTEMS、ITU−T勧告H.265、Telecommunication Standardization Sector of ITU、2013年4月)などのSDRピクチャ(またはビデオ)を同報通信するように適応された旧来のインフラストラクチャの配信と比較して必要な帯域幅が実質的に2倍になることである。

旧来の配信インフラストラクチャを使用することは、HDRピクチャ(またはビデオ)の配信の出現を促すための要件である。また、ピクチャ(またはビデオ)のSDRバージョンおよびHDRバージョンの良好な品質保証しながら、ビット・レートを最小限に抑えるものとする。

さらに、後方互換性を保証することができる、すなわち、SDRピクチャ(またはビデオ)は、旧来のデコーダおよびディスプレイを有するユーザが見ることができるものとする、すなわち、特に、全体的な知覚される明るさ(すなわち明るいシーンに対する暗いシーン)および知覚される色が保存されなければならない(例えば色相などの保存)。

別の単純な解決策は、適当な非線形関数によってHDRピクチャ(またはビデオ)のダイナミック・レンジを低下させ、通常はHEVC main 10 profileによって直接圧縮された限られたビット数(例えば10ビット)にすることである。このような非線形関数(曲線)は、SMPTEでDolbyによって提案されたいわゆるPQEOTFなど、既に存在している(SMPTE標準:High Dynamic Range Electro−Optical Transfer Function of Mastering Reference Displays、SMPTE ST 2084:2014)。

この解決策の欠点は、後方互換性がないこと、すなわちピクチャ(ビデオ)の得られる劣化バージョンが、SDRピクチャ(またはビデオ)として見ることができると考えられるのに十分な視覚的品質を有しておらず、圧縮性能がある程度低いことである。

本開示は、上記のことを念頭に考案されたものである。

概要

本開示は、概ね、符号化するカラー・ピクチャから輝度成分(L)および2つのクロミナンス成分(C1,C2)を取得すること(11)を含む、色成分(Ec)を有するカラー・ピクチャを符号化する方法およびデバイスに関する。符号化するカラー・ピクチャから輝度成分および2つのクロミナンス成分を取得することを含む、色成分を有するカラー・ピクチャを符号化する方法は、輝度成分の各画素(i)の値に基づいて第1のファクタを決定することと、少なくとも1つのクロミナンス成分を第1のファクタでスケーリングすることによって少なくとも1つの最終クロミナンス成分を取得することと、少なくとも1つの最終クロミナンス成分を符号化すること(13)とをさらに含む。

目的

以下の説明は、本開示の様々な特徴をよりよく理解することを容易にするための背景情報を読者に提供する

効果

実績

技術文献被引用数
0件
牽制数
1件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

符号化されるカラーピクチャから少なくとも1つのクロミナンス成分を取得することを含む、色成分を有するカラー・ピクチャを符号化する方法において、輝度成分の各画素(i)の値に基づいて第1のファクタを決定することと、前記少なくとも1つのクロミナンス成分を前記第1のファクタでスケーリングすることによって少なくとも1つの最終クロミナンス成分を取得することと、前記少なくとも1つの最終クロミナンス成分を符号化すること(13)と、をさらに含むことを特徴とする、前記方法。

請求項2

輝度成分(L)および2つの最終クロミナンス成分を取得することと、前記輝度成分(L)と前記2つの最終クロミナンス成分とをL”=L−mC”1−nC”2に従って線形結合することによって最終輝度成分(L”)を取得すること(122)であって、Lは前記輝度成分であり、L”は前記最終輝度成分であり、C”1およびC”2は前記2つの最終クロミナンス成分であり、mおよびnは係数である、該取得することと、前記最終輝度成分を符号化すること(13)と、をさらに含む、請求項1に記載の方法。

請求項3

輝度成分(L)および2つの最終クロミナンス成分を取得することと、前記輝度成分(L)と前記2つの最終クロミナンス成分(C”1,C”2)とをL”=L−max(0,mC”1+nC”2)に従って線形結合することによって最終輝度成分(L”)を取得すること(122)であって、Lは前記輝度成分であり、L”は前記最終輝度成分であり、C”1およびC”2は前記2つの最終クロミナンス成分であり、mおよびnは係数である、該取得することと、前記最終輝度成分を符号化すること(13)と、をさらに含む、請求項1に記載の方法。

請求項4

前記係数mおよびnをローカルまたは遠隔メモリに記憶すること、および/または、前記係数mおよびnをビットストリームに追加することをさらに含む、請求項2または3に記載の方法。

請求項5

前記第1のファクタは、前記輝度成分(L)の画素(i)の特定の値についてルップアップ・テーブルから得られる、請求項2から4のいずれか1項に記載の方法。

請求項6

前記輝度成分(L)の画素(i)の特定の値についての前記第1のファクタは、前記ルップアップ・テーブルの値を補間することによって得られる、請求項5に記載の方法。

請求項7

前記第1のファクタはさらに、前記係数mおよびnに依存する、請求項2から6のいずれか1項に記載の方法。

請求項8

前記第1のファクタは、前記最終輝度成分(L”)および前記最終クロミナンス成分(C”1,C”2)から得られる色の色域と符号化される前記カラー・ピクチャの色の色域との間で計算される色域歪みが最小限に抑えられるように取得される、請求項7に記載の方法。

請求項9

符号化される前記カラー・ピクチャから輝度成分(L)および2つのクロミナンス成分(C1,C2)を取得すること(11)は、輝度成分(L)を取得すること(130)であって、前記カラー・ピクチャの輝度(Y)から変調値(Ba)を取得すること(120)と、前記カラー・ピクチャの前記輝度(Y)を前記変調値(Ba)で除算することによって、スケーリングされた輝度を取得することと、前記輝度成分(L)のダイナミックが前記スケーリングされた輝度のダイナミックと比較して小さくなるように、前記スケーリングされた輝度に非線形関数を適用することによって前記輝度成分(L)を取得することと、を含む、前記輝度成分(L)を取得することと、2つのクロミナンス成分(C1,C2)を取得することであって、前記輝度成分(L(i))の画素(i)の値と前記カラー・ピクチャ内の共通の位置にある画素(i)の輝度値(Y(i))とによって決まる第2のファクタ(r(L(i)))を取得することと、各色成分(Ec)に第2のファクタ(r(L))を乗算することによって少なくとも1つの中間色成分(E’c)を取得すること(150)と、前記少なくとも1つの中間色成分(E’c)から前記少なくとも2つのクロミナンス成分(C1,C2)を取得すること(170)と、を含む、前記2つのクロミナンス成分(C1,C2)を取得することと、を含む、請求項1から8のいずれか1項に記載の方法。

請求項10

ビットストリームから少なくとも1つのクロミナンス成分を取得することと、前記少なくとも1つのクロミナンス成分から少なくとも1つの最終クロミナンス成分を取得すること(22)と、前記少なくとも1つの最終クロミナンス成分から、復号されるカラー・ピクチャを取得すること(23)と、を含む、ビットストリームからカラー・ピクチャを復号する方法において、前記少なくとも1つの最終クロミナンス成分を取得すること(22)が、前記最終輝度成分(L)の各画素(i)の値から第1のファクタを取得することと、前記少なくとも1つのクロミナンス成分に前記第1のファクタを乗算すること(221)によって、前記少なくとも1つの最終クロミナンス成分を取得すること(222)と、を含むことを特徴とする、前記方法。

請求項11

輝度成分(L”)および2つのクロミナンス成分を取得することをさらに含み、前記最終輝度成分(L)は、前記輝度成分(L”)と前記2つのクロミナンス成分とをL=L”+mC”1+nC”2に従って線形結合することによって取得され、Lは前記最終輝度成分であり、L”は前記輝度成分であり、C”1およびC”2は前記2つのクロミナンス成分であり、mおよびnは係数である、請求項10に記載の方法。

請求項12

前記最終輝度成分(L)および前記2つの最終クロミナンス成分(C1,C2)から、復号される前記カラー・ピクチャを取得すること(23)は、第1の成分(Y)を取得すること(220)であって、結果的に生じる成分のダイナミックが前記最終輝度成分(L)のダイナミックと比較して大きくなるように、前記最終輝度成分(L)に非線形関数を適用することによって前記結果的に生じる成分を取得することと、復号される前記カラー・ピクチャの輝度から変調値(Ba)を取得することと、前記結果的に生じる成分に前記変調値を乗算することによって前記第1の成分(Y)を取得することと、を含む、前記第1の成分(Y)を取得することと、前記最終輝度成分(L)の画素(i)の値(L(i))によって決まる第2のファクタ(r(L(i)))を取得することと、前記第1の成分(Y)、前記2つの最終クロミナンス成分(C1,C2)、および前記第2のファクタ(r(L(i)))から少なくとも1つの色成分(Ec)を取得すること(230)と、前記少なくとも1つの色成分(Ec)を結合することによって、復号されたピクチャを形成することと、を含む、請求項10または11に記載の方法。

請求項13

符号化されるカラー・ピクチャから少なくとも1つのクロミナンス成分を取得するように構成されたプロセッサを含む、色成分を有するカラー・ピクチャを符号化するデバイスにおいて、前記プロセッサがさらに、前記輝度成分の各画素(i)の値に基づいて第1のファクタを決定し、前記少なくとも1つのクロミナンス成分を前記第1のファクタでスケーリングすることによって少なくとも1つの最終クロミナンス成分を取得し、前記少なくとも1つの最終クロミナンス成分を符号化する(13)、ように構成されていることを特徴とする、前記デバイス。

請求項14

ビットストリームから少なくとも1つのクロミナンス成分を取得し、少なくとも1つのクロミナンス成分から少なくとも1つの最終クロミナンス成分を取得し(22)、前記少なくとも1つの最終クロミナンス成分から、復号されるカラー・ピクチャを取得する(23)ように構成されたプロセッサを含む、ビットストリームからカラー・ピクチャを復号するデバイスにおいて、前記プロセッサが、前記最終輝度成分(L)の各画素(i)の値から第1のファクタを取得することと、前記少なくとも1つのクロミナンス成分に前記第1のファクタを乗算することによって(221)、前記少なくとも1つの最終クロミナンス成分を取得すること(222)と、を含む、前記少なくとも1つの最終クロミナンス成分を取得すること(22)をさらに行うように構成されていることを特徴とする、前記デバイス。

請求項15

プログラムコンピュータ上で実行されたときに請求項1に記載の符号化方法のステップを実行するプログラム・コード命令を含む、コンピュータ・プログラム製品

請求項16

プログラムがコンピュータ上で実行されたときに請求項10に記載の復号方法のステップを実行するプログラム・コード命令を含む、コンピュータ・プログラム製品。

請求項17

少なくとも請求項1に記載の符号化方法のステップをプロセッサに実行させる命令を記憶した、プロセッサ可読媒体

請求項18

少なくとも請求項10に記載の復号方法のステップをプロセッサに実行させる命令を記憶した、プロセッサ可読媒体。

請求項19

プログラムがコンピューティング・デバイス上で実行されたときに請求項1〜18のいずれか1項に記載の方法のステップを実行するプログラム・コードの命令を担持する、非一時的記憶媒体

技術分野

0001

本開示は、概ね、ピクチャビデオの符号化および復号に関する。特に、ただしこれに限定されるわけではないが、本開示の技術分野は、画素値が高ダイナミックレンジに属するピクチャの符号化/復号に関する。

背景技術

0002

本節は、以下に説明し、且つ/または主張する本開示の様々な特徴に関係する可能性がある様々な技術特徴を読者紹介するための節である。以下の説明は、本開示の様々な特徴をよりよく理解することを容易にするための背景情報を読者に提供する助けになるものと考えられる。従って、これらの記述は、これに照らして読まれるべきものであり、従来技術として自認するものとして読まれるべきものではないことを理解されたい。

0003

以下では、カラー・ピクチャは、サンプル(画素値)のいくつかのアレイを、ピクチャ(もしくはビデオ)の画素値に関する全ての情報、ならびに例えばディスプレイおよび/またはその他の任意のピクチャ(もしくはビデオ)を視覚化および/または復号するデバイスによって使用される可能性がある全ての情報を指定する特定のピクチャ/ビデオ・フォーマットで含んでいる。カラー・ピクチャは、第1のサンプルのアレイの形状をした少なくとも1つの成分、通常はルマ(または輝度)成分と、少なくとも1つの他のサンプルのアレイの形状をした少なくとも1つの別の成分とを含む。すなわち、同等に、同じ情報が、従来の3色RGB表現など、カラー・サンプル(カラー成分)のアレイのセットによって表されることもある。

0004

画素値は、C個の値のベクトルによって表される。ここで、cは、成分の数である。ベクトルの各値は、それらの画素値の最大ダイナミック・レンジを規定するいくつかのビットで表される。

0005

スタンダード・ダイナミック・レンジ・ピクチャ(SDRピクチャ)は、その輝度値が、通常は2またはfストップ累乗で測定される制限されたダイナミックで表される、カラー・ピクチャである。SDRピクチャは、約10fストップのダイナミックを有する、すなわち、線形領域中の最も明るい画素と最も暗い画素の間の比が1000であり、例えばITU−RBT.709 OETF(光電伝達関数)(ITU−R勧告BT.709−5、2002年4月)またはITU−R BT.2020 OETF(ITU−R勧告BT.2020−1、2014年6月)を使用して、非線形領域で限られたビット数(最も多いのはHDTV高精細度テレビジョン・システム)およびUHDTV(超高精細度テレビジョン・システム)における8または10)でコード化されて、ダイナミックを低下させる。この制限された非線形表現では、特に暗い輝度範囲および明るい輝度範囲では、小さな信号変動を正しくレンダリングすることができない。ハイ・ダイナミック・レンジ・ピクチャ(HDRピクチャ)では、信号ダイナミックは、はるかに高くなり(最大で20fストップ、最も明るい画素と最も暗い画素との間の比が100万)、信号の全範囲にわたって信号の高い精度を維持するためには、新たな非線形表現が必要となる。HDRピクチャでは、生データは、通常は、浮動小数点フォーマット(各成分について32ビットまたは16ビット、すなわち単精度または半精度)(最も一般的なフォーマットは、openEXR半精度フォーマット(RGB成分につき16ビット、すなわち画素ごとに48ビット))で表されるか、あるいは通常は少なくとも16ビットの長い表現の整数で表される。

0006

色域は、色の特定の完全なセットである。最も一般的な用法では、所与色空間内または特定の出力デバイスによるなど、所与の状況で正確に表すことができる色のセットを指す。

0007

色域は、図1に示すように、CIE1931色空間色度図に与えられるRGB原色と白色点とによって規定されることもある。

0008

いわゆるCIE1931色空間色度図で原色を規定することは一般的である。これは、輝度成分から独立して色を規定する2次元図(x,y)である。この場合、任意の色XYZは、以下の変換によってこの図に投影される。



z=1−x−y成分も規定されるが、これはこれ以上の情報を担持していない。

0009

この図では、色域は、その頂点3原色RGBの(x,y)座標集合である3角形によって定義される。白色点Wは、この3角形に属する、通常は3角形の中心に近い、別の所与の(x,y)点である。

0010

カラー・ボリュームは、色空間と、この色空間内に表される値のダイナミック・レンジとによって定義される。

0011

例えば、色域は、UHDTVについてのRGBITU−R勧告BT.2020色空間によって規定される。さらに古い標準であるITU−R勧告BT.709は、HDTVについてのより小さな色域を規定する。SDRでは、ダイナミック・レンジは、公式にはデータがコード化されるカラー・ボリュームについて最大で100nit(カンデラ毎平方メートル)まで規定されるが、表示技術によっては、それより明るい画素を示すこともある。

0012

Danny Pascaleによる「A Review of RGB Color Spaces」に広範に説明されているように、色域の変更、すなわち3原色および白色点をある色域から別の色域にマッピングする変換は、線形RGB色空間内で3×3行列を使用することによって実行することができる。また、XYZからRGBへの空間の変更も、3×3行列によって実行される。その結果として、色空間がRGBであってもXYZであっても、色域の変更は、3×3行列によって実行することができる。例えば、BT.2020の線形RGBからBT.709のXYZへの色域の変更は、3×3行列によって実行することができる。

0013

ハイ・ダイナミック・レンジ・ピクチャ(HDRピクチャ)は、その輝度値がSDRピクチャのダイナミックより高いHDRダイナミックで表されるカラー・ピクチャである。

0014

HDRダイナミックは、まだ標準で規定されていないが、最大で数千nitのダイナミック・レンジが予想され得る。例えば、HDRカラー・ボリュームは、RGBBT.2020色空間で規定され、このRGB色空間内に表される値は、0から4000nitのダイナミック・レンジに属する。HDRカラー・ボリュームの別の例は、RGB BT.2020色空間で規定され、このRGB色空間内に表される値は、0から1000nitのダイナミック・レンジに属する。

0015

ピクチャ(またはビデオ)のカラー・グレーディングは、ピクチャ(またはビデオ)の色を変更/増強するプロセスである。通常は、ピクチャのカラー・グレーディングは、このピクチャに関するカラー・ボリューム(色空間および/またはダイナミック・レンジ)の変更あるいは色域の変更を伴う。従って、同じピクチャの2つの異なるカラー・グレーディング・バージョンは、異なるカラー・ボリューム(または色域)に表される値を有するこのピクチャのバージョン、またはその色のうちの少なくとも1つが異なるカラー・グレードに従って変更/増強されているこのピクチャのバージョンである。これは、ユーザとの対話を伴うこともある。

0016

例えば、映画製作では、3色カメラを使用して、ピクチャおよびビデオを取り込んで、3つの成分(赤、緑、および青)で構成されたRGB色値にする。RGB色値は、センサの3色特性(原色)に依存する。次いで、(個々の劇場用グレードを使用して)劇場用のレンダリングを得るように、取り込んだピクチャの第1のカラー・グレーディング・バージョンを得る。通常は、取り込んだピクチャの第1のカラー・グレーディング・バージョンの値は、UHDTVのパラメータ値を規定するBT.2020などの標準化されたYUVフォーマットに従って表される。

0017

YUVフォーマットは、通常は、線形RGB成分に、非線形関数、いわゆる光電伝達関数(OETF)を適用して、非線形成分R’G’B’を得、次いで得られた非線形R’G’B’成分に色変換(通常は3×3行列)を適用して3つの成分YUVを得ることによって、実行される。第1の成分Yは、輝度成分であり、残りの2つの成分U、Vは、クロミナンス成分である。

0018

次いで、カラリスト(Colorist)が、通常は撮影監督協働して、芸術的意図盛り込むために一部の色値を微調整ツイーク(tweak)することによって、取り込んだピクチャの第1のカラー・グレーディング・バージョンの色値に対して制御を実行する。

0019

解決すべき問題は、圧縮HDRピクチャ(またはビデオ)を配信しながら、同時にそのHDRピクチャ(またはビデオ)のカラー・グレーディング・バージョンを表す関連するSDRピクチャ(またはビデオ)を配信することである。

0020

よくある解決策は、SDRピクチャ(またはビデオ)およびHDRピクチャ(またはビデオ)の両方を配信インフラストラクチャ同時放送することであるが、その欠点は、HEVC main 10 profile(「High Efficiency Video Coding」、SERIES H:AUDIOVISUAL AND MULTIMEDIA SYSTEMS、ITU−T勧告H.265、Telecommunication Standardization Sector of ITU、2013年4月)などのSDRピクチャ(またはビデオ)を同報通信するように適応された旧来のインフラストラクチャの配信と比較して必要な帯域幅が実質的に2倍になることである。

0021

旧来の配信インフラストラクチャを使用することは、HDRピクチャ(またはビデオ)の配信の出現を促すための要件である。また、ピクチャ(またはビデオ)のSDRバージョンおよびHDRバージョンの良好な品質保証しながら、ビット・レートを最小限に抑えるものとする。

0022

さらに、後方互換性を保証することができる、すなわち、SDRピクチャ(またはビデオ)は、旧来のデコーダおよびディスプレイを有するユーザが見ることができるものとする、すなわち、特に、全体的な知覚される明るさ(すなわち明るいシーンに対する暗いシーン)および知覚される色が保存されなければならない(例えば色相などの保存)。

0023

別の単純な解決策は、適当な非線形関数によってHDRピクチャ(またはビデオ)のダイナミック・レンジを低下させ、通常はHEVC main 10 profileによって直接圧縮された限られたビット数(例えば10ビット)にすることである。このような非線形関数(曲線)は、SMPTEでDolbyによって提案されたいわゆるPQEOTFなど、既に存在している(SMPTE標準:High Dynamic Range Electro−Optical Transfer Function of Mastering Reference Displays、SMPTE ST 2084:2014)。

0024

この解決策の欠点は、後方互換性がないこと、すなわちピクチャ(ビデオ)の得られる劣化バージョンが、SDRピクチャ(またはビデオ)として見ることができると考えられるのに十分な視覚的品質を有しておらず、圧縮性能がある程度低いことである。

0025

本開示は、上記のことを念頭に考案されたものである。

0026

以下、本開示のいくつかの態様の基本的な理解を与えるために、本開示の簡潔概要を示す。この概要は、本開示の排他的な概観ではない。この概要は、本開示の重要または不可欠な要素を特定することを意図したものではない。以下の概要は、単に、後述するさらに詳細な説明の前置きとして、本開示のいくつかの態様を簡潔な形態で提示するものである。

0027

本開示は、請求する方法および装置によって従来技術の欠点のうちの少なくとも1つを解消しようとするものである。

0028

HDRカラー・ピクチャのSDRバージョンを表す輝度成分と2つのクロミナンス成分とを結合することによって得られる色は、HDRカラー・ピクチャの色の色相および知覚飽和度を保存しないように思えるかもしれない。

0029

このようなSDRピクチャの色の色域を、符号化するHDRカラー・ピクチャの色の色域にマッピングすると、このHDRピクチャに対して色相および知覚飽和度が補正される。

0030

従って、HDRピクチャの色の色相および知覚飽和度が保存されて、復号されたSDRピクチャの視覚的品質が高まり、その知覚される色は、元のHDRとより良好に一致する。

0031

一態様によれば、輝度成分およびクロミナンス成分を最終輝度成分および2つの最終クロミナンス成分にマッピングすることは、
2つのクロミナンス成分のそれぞれを、輝度成分から得られる変調値と輝度成分の各画素の値とによって決まる第1のファクタスケーリングすることと、
輝度成分と2つの最終クロミナンス成分とを線形結合することによって最終輝度成分を取得することとを含む。

0032

この態様では、復号された輝度成分とクロミナンス成分とを結合することによってSDRカラー・ピクチャを取得することができる。このSDRカラー・ピクチャは、旧来のSDRディスプレイによって表示することができる。換言すれば、このSDRカラー・ピクチャは、エンドユーザが自分の旧来のSDRディスプレイから見ることができる。従って、この方法は、任意の旧来のSDRディスプレイとの後方互換性をもたらす。さらに、輝度成分およびクロミナンス成分(SDRカラー・ピクチャ)を上記の最終輝度成分およびクロミナンス成分にマッピングすることによって取得される最終輝度成分およびクロミナンス成分からHDRピクチャを形成することによって、SDRピクチャとHDRピクチャとの両方を同時通信することを回避することができる。

0033

一態様によれば、少なくとも1つの中間色成分からの2つのクロミナンス成分を得ることは、
各中間色成分の平方根をとることによって、3つの中間成分を得ることと、
この3つの中間成分を線形結合することとを含む。

0034

平方根関数を使用して、符号化側で必要とされるOETF(光電伝達関数)を近似する。このような近似により、明瞭な反転可能な数式が得られ、複雑さの低いデコーダが得られる。これは、部分的には、デコーダ側でフル・ダイナミック入力ピクチャを復号するために適用されるEOTF(電気光学伝達関数)が2次関数になるからである。

0035

また、平方根は、主に0.45の累乗となる、HD/UHD TVで使用されるITU−R勧告BT.709/BT.2020で規定される標準的なSDR OETFの良好な近似であるので、SDRピクチャは、ある程度一貫した色を示す。

0036

本開示の別の態様によれば、本開示は、ビットストリームからカラー・ピクチャを復号する方法に関する。

0037

本開示の他の態様によれば、本開示は、上記の方法を実施するように構成されたプロセッサを含むデバイス、コンピュータ上で実行されたときに上記の方法のステップを実行するプログラムコード命令を含むコンピュータ・プログラム製品、少なくとも上記の方法のステップをプロセッサに実行させる命令を記憶したプロセッサ可読媒体、そのプログラムがコンピューティング・デバイス上で実行されたときに上記の方法のステップを実行するプログラム・コードの命令を担持する非一時的記憶媒体に関する。

0038

本開示の特定の性質ならびに本開示のその他の目的、利点、特徴、および用途は、以下の実施形態の説明を添付の図面と関連付けて読めば明らかになるであろう。

0039

図面には、本開示の実施形態が示してある。図面は以下の通りである。

図面の簡単な説明

0040

色度図の例を示す図である。
本開示の実施形態によるカラー・ピクチャを符号化する方法のステップを示す概略図である。
本開示による色域マッピング原理を示す図である。
本開示の実施形態によるステップ12のサブステップを示す概略図である。
本開示の実施形態によるステップ11のサブステップを示す概略図である。
本開示の実施形態によるステップ170のサブステップを示す概略図である。
本開示の実施形態によるステップ170のサブステップを示す概略図である。
本開示の実施形態による少なくとも1つのビットストリームからカラー・ピクチャを復号する方法のステップを示す概略図である。
本開示の実施形態によるステップ22のサブステップを示す概略図である。
本開示の実施形態によるステップ23のサブステップを示す概略図である。
本開示の実施形態によるステップ230のサブステップを示す概略図である。
本開示の実施形態によるステップ230のサブステップを示す概略図である。
本開示の実施形態によるステップ231のサブステップを示す概略図である。
本開示の実施形態によるデバイスのアーキテクチャの例を示す図である。
本開示の実施形態による通信ネットワークを介して通信する2つの遠隔デバイスを示す図である。
色域のCIE1931図の要素のセットの例を示す図である。

実施例

0041

同様の、または同じ要素は、同じ参照番号で示してある。

0042

以下、本開示について、本開示の実施形態を示す添付の図面を参照して、より完全に説明する。ただし、本開示は、多くの代替の形態で実施することができ、本明細書に記載する実施形態に限定されるものと解釈すべきではない。従って、本開示には、様々な修正および代替形態の余地があるが、本開示の具体的な実施形態を、例示を目的として図面に示し、本明細書において詳細に説明する。ただし、本開示を開示する特定の形態に限定する意図はなく、むしろ、本開示は、特許請求の範囲によって規定される本開示の趣旨および範囲内に含まれる全ての修正形態、均等物、および代替形態をカバーするものと理解されたい。

0043

本明細書で使用する用語は、特定の実施形態を説明するためのものに過ぎず、本開示を制限するように意図されたものではない。本明細書で使用する単数形「a」、「an」(「或る」、「一つ」)、および「the」(「この」、「その」)は、文脈から明らかに複数形を含まないことが分かる場合を除き、複数形も含むものとして意図されている。さらに、本明細書で使用する「備える」、「備えている」、「含む」、および/または「含んでいる」という用語は、記載される特徴、整数、ステップ、動作、要素、および/または成分が存在することを示すものであり、1つまたは複数のその他の特徴、整数、ステップ、動作、要素、成分、および/またはそれらのグループが存在すること、または追加されることを排除するものではない。さらに、ある要素が別の要素に「応答する」または「接続される」と述べられるとき、その要素がその別の要素に直接応答する、または接続されていることもあれば、介在する要素が存在することもある。これに対して、ある要素が別の要素に「直接応答する」または「直接接続される」と述べられるときには、介在する要素は存在しない。本明細書で使用する「および/または」という用語は、関連する列挙した品目のうちの1つまたは複数の任意の全ての組合せを含み、「/」と略記されることもある。

0044

本明細書では、第1、第2などの用語を使用して様々な要素について述べているが、これらの要素は、これらの用語によって限定されないことは理解されるであろう。これらの用語は、単に1つの要素を別の要素と区別するために使用しているものである。例えば、第1の要素は、第2の要素と称してもよく、同様に、第2の要素を第1の要素と称しても、本開示の教示から逸脱することはない。

0045

図面の一部は、通信の主要な方向を示すために通信経路上に矢印を含んでいるが、通信は、図示した矢印とは反対の方向に起こることもあることを理解されたい。

0046

いくつかの実施形態は、各ブロックが回路要素モジュール、あるいは1つまたは複数の特定の論理機能を実施するための1つまたは複数の実行可能な命令を含むコードの一部分を表す、ブロック図および動作流れ図に関連して説明する。また、実施態様が異なれば、ブロック中に記された1つまたは複数の機能が、記された以外の順序で起こることもあることに留意されたい。例えば、連続して示される2つのブロックが、関連する機能に応じて、実際には実質的に同時に実行されることもあり、あるいは、それらのブロックが逆の順序で実行されることもある。

0047

本明細書で「一実施形態」または「実施形態」と述べている場合、それは、その実施形態に関連して述べられる特定の機能、構造、または特徴が、本開示の少なくとも1つの実施態様に含まれる可能性があるという意味である。本明細書の様々な箇所で「一実施形態では」または「実施形態によれば」という文言が見られるが、それら全てが必ずしも同じ実施形態を指しているわけではなく、また、別個のまたは代替の実施形態は、必ずしも相互に他の実施形態を排除するわけではない。

0048

特許請求の範囲に見られる参照番号は、例示のみを目的としたものであり、特許請求の範囲を限定する効果を有するものではない。

0049

明示的には述べていないが、本開示の実施形態および変形例は、任意の組合せまたは部分的組合せで利用することができる。

0050

実施形態では、ファクタ(すなわち実数値)は、変調値Baによって決まる。変調(またはバックライト)値は、通常はHDRピクチャに関連し、HDRピクチャの明るさを表す。ここで、(変調)バックライトという用語は、例えばLCDパネルなどのカラー・パネルと、例えばLEDアレイなどの後方照明装置とで構成されたTVセット類推で使用したものである。通常は白色光を生成する後方装置は、カラー・パネルを照明してTVにさらなる明るさを提供するために使用される。その結果として、TVの輝度は、後方照明器の輝度とカラー・パネルの輝度の積となる。この後方照明器は、しばしば「変調」または「バックライト」と呼ばれ、その強度は全体のシーンの明るさをある程度表している。

0051

本開示は、カラー・ピクチャの符号化/復号について説明するが、ピクチャのシーケンス(ビデオ)の符号化/復号にも拡張される。これは、そのシーケンスの各カラー・ピクチャが、以下で述べるように連続して符号化/復号されるからである。

0052

以下では、カラー・ピクチャIは、カラー・ピクチャIの画素値が表される3つのカラー成分Ec(c=1、2、または3)を有するものとみなす

0053

本開示は、3つの成分Ecが表されるいかなる色空間にも限定されず、RGB、CIELUV、XYZ、CIELabなど、任意の色空間に拡張される。

0054

図2は、本開示の実施形態によるカラー・ピクチャIを符号化する方法のステップを示す概略図である。

0055

ステップ11で、モジュールCは、符号化対象のカラー・ピクチャIから輝度成分Lと2つのクロミナンス成分C1およびC2を得る。例えば、これらの成分(L,C1,C2)は、カラー・ピクチャIにOETFを適用した後に得られるYUV色空間に属することがあり、カラー成分Ecは、線形のRGBまたはXYZ色空間の何れかに属することがある。

0056

ステップ12で、モジュールGMは、輝度LおよびクロミナンスC1およびC2の成分を、最終輝度成分(L”)および最終クロミナンス成分(C”1,C”2)から得られる色の色域G2が符号化対象のカラー・ピクチャIの色の色域G1上にマッピングされるように、最終輝度成分L”および2つの最終クロミナンス成分C”1,C”2にマッピングする。

0057

図3は、このような色域マッピングを示している。破線内に、成分Lおよび2つのクロミナンス成分C1およびC2から得られる色の色域(R,G,B,W)が表され、実線内に、符号化対象のピクチャIの色の色域(R’,G’,B’,W’)が表されている。

0058

色域(R,G,B,W)を色域(R’,G’,B’,W’)にマッピングするということは、原色R,G,Bを原色R’,G’,B’にそれぞれマッピングし、白色点Wを白色点W’にマッピングすることを意味する。このマッピングの目的は、L”成分、C”1成分、C”2成分から得られる知覚される色が、(L,C1,C2)よりも良好にカラー・ピクチャIの色と一致するように、(L,C1,C2)を(L”,C”,C”2)に変換することである。

0059

ステップ13で、符号化器NCは、最終輝度L”成分および2つの最終クロミナンス成分C”1,C”2を符号化する。

0060

実施形態によれば、符号化された成分L”およびクロミナンス成分C”1,C”2は、ローカルまたは遠隔メモリに記憶され、且つ/あるいはビットストリームFに追加される。

0061

図4に示すステップ12の実施形態によれば、2つの最終クロミナンス成分C”1,C”2は、2つのクロミナンス成分C1,C2のそれぞれを、輝度成分Lの各画素iの値によって決まるファクタβ−1(L(i))によってスケーリングする(ステップ121)ことによって得られ、モジュールLCC(ステップ122)は、以下のように、輝度成分Lと2つの最終クロミナンス成分C”1,C”2とを線形結合することによって最終輝度成分L”を得る。



ここで、mおよびnは、最高輝度ピークを補正することによって色飽和を回避する係数(実数値)である。

0062

変形例によれば、ファクタβ−1(L(i))は、さらに変調値Baによって決まる。

0063

実施形態によれば、係数mおよびnは、ローカルまたは遠隔のメモリに記憶され、且つ/あるいは図4に示すようにビットストリームBFに追加される。

0064

(数式Aの)モジュールLCCの変形例によれば、最終輝度成分L”の値は、以下のように、常に輝度成分Lの値より小さい。
L”=L−max(0,mC”1+nC”2)

0065

これにより、最終輝度成分L”の値が輝度成分Lの値を超えないことが保証され、従って、色飽和が起きないことが保証される。

0066

実施形態によれば、ファクタβ−1(L(i))は、特定の輝度値L(i)についての、また任意選択でさらに特定の変調値Baについてのルックアップ・テーブル(LUT)から得られる。従って、例えば1000nit、1500nit、および4000nitなどの複数の輝度ピーク値について、特定のファクタβ−1(L(i))が、各特定の変調値BaについてのLUTに記憶される。

0067

変形例によれば、LUTが記憶される複数の輝度ピークの間の輝度ピークを補間することによって、輝度成分Lの画素の値について、ファクタβ−1(L(i))を得る。

0068

変形例によれば、LUTが記憶される複数の輝度ピークの間の輝度ピークを補間することによって、輝度成分Lの画素の値について、特定の変調値Baについてのファクタβ−1(L(i))を得る。

0069

実施形態によれば、方程式(A)におけるファクタβ−1(L(i))ならびに係数mおよびnは、以下のように得られる。

0070

最終輝度成分(L”)およびクロミナンス成分(C”1,C”2)から得られる色の色域G2の、(成分L,C1,C2から得られる)カラー・ピクチャIの色の色域G1へのマッピングは、以下で与えられる。



ここで、ΦBa(Y)は、カラー・ピクチャIの線形輝度Yに依存するマッピング関数である。通常は、線形輝度Yは、カラー・ピクチャIの成分Ecの線形結合として得られる。輝度成分Lは、線形輝度Yおよびバックライト値Baと明快に関係しており、
ΦBa(Y)=ΦBa(f(Ba,Y))=ΦBa(L)
と書くことができるようになっており、マッピング関数は、輝度成分Lの関数と見られる。

0071

次に、変調値Baおよび特定の線形輝度レベルY0を固定する。色成分Ecは、線形RGB色空間で表されるものと仮定する。色域G2の関連する3原色





は、



で与えられる。ここで、A1は、線形RGBから線形輝度Yを規定する行ベクトルである、すなわち、



である。

0072

Sが、以下のように、これら3原色の、モジュールCの適用(ステップ11)に対応する画像μ(.)で構成された3×3行列を表すものとする。



マッピング関数ΦBa(L)の目的は、

を色域G2の3原色に逆にマッピングすることである。換言すれば、行列

は、以下の形態でなければならない。



ここで、r、g、bは、未知パラメータであり、Aは、非線形色空間R’G’B’をLC1C2の色空間に変換する3×3行列である。全てを案すると、以下が得られる。

0073

また、LC1C2の色空間内の座標が[1 0 0]である白色点の保存により、以下のように別の条件が得られる。



ここで、ηは、別の未知のパラメータである。その結果として、行列Dは、以下のように一意的に決定される。



ここで、除算は、A−1の第1列の

の第1列による係数除算として理解される。その結果として、このマッピング行列は、スケーリングファクタηまで決定される。

0074

復号側で必要とされるマッピング関数ΦBa(L)の逆数は、Lの陰的非線形問題を解く必要があるので、容易には得られない。これは、逆行列ΦBa−1(L)は輝度成分Lの関数として容易に得られるが、それに対応するΦBa−1(L”)は最終輝度成分L”の関数として容易に得られないからである。発明者等は、単純な逆数ΦBa−1(L”)を得るためにΦBa(L)の定式化をさらに容易にすることができることを示す。

0075

実際には、マッピング関数は、以下のように表現することができる。



ここで、mおよびnは、輝度レベルY0によって決まる係数(実数値)である。マッピング関数ΦBa(L)の逆数

は、以下で与えられる。



ここで、第1列は、以下で与えられる。



いくつかの代数処理を経て、方程式(F)が



となり、これより、マッピング関数



が得られることが分かる。ここで、mおよびnは、変調値Baおよび輝度成分Lに依存しない実数値(係数)であり、β=β(Ba、L(i))であり、以下の固定行列が定義されている。

0076

方程式(B)および(G)は、このマッピング関数が2つの効果を有することを示している。第1に、輝度成分Lのダイナミックが、スケーリングファクタηでスケーリングされることと、第2に、クロミナンス成分C1およびC2も、スケーリングファクタηβ−1でスケーリングされることである。

0077

LとL”の間の大域輝度マッピングを保存するために、パラメータηは、1に設定する。方程式(G)は、以下のようになる。



ここで、βは、変調値Baおよび輝度成分によって決まる。この数式を判定すると、以下の逆マッピング関数が得られる。

0078

ここで、輝度成分Lは、行列

を適用することによって、L”、C”1、C”2から得られ、次いで、Lが既知であることから、ファクタβ(Ba,L(i))を決定して、最終クロミナンス成分C”1,C”2に適用して、クロミナンス成分C1,C2を得る。

0079

次いで、方程式(H)によって、マッピング関数ΦBa(L)が与えられる。ここで、カラー画像Iの輝度ピークPまでの全ての輝度レベルについて定数行列Φ0を使用し、βは、輝度ピークPまでの全範囲の輝度について規定されている。

0080

方程式(H)を方程式(B)に含めると、方程式(A)が得られる。

0081

別の実施形態によれば、ファクタβ−1(Ba,L(i),m,n)は、上記の実施形態で説明したように与えられる係数mおよびnによっても決まると考えられる。

0082

従って、ファクタβ−1は、ステップ12の単一の未知の値である。

0083

ファクタβ−1は、色域G1とG2の間で計算される色域歪みが最小限に抑えられるように得る。換言すれば、ファクタβ−1は、色域保存の条件下の最適のファクタである。

0084

数学的には、ファクタβ−1は、以下で得られる。



ここで、Y0は、そこから輝度値L0を推定する所与の輝度値であり、Ba0は、与えられる所与の変調値であり、色域歪みGD(βtest−1)は、以下で与えられる。



ここで、色域歪みは、色域G1の要素(xj,yj)と色域G2の関連する要素(x’j,y’j)の間の二乗誤差の和で定義される。

0085

輝度値Y0を固定する。この集合の各要素の対応するXYZ値は、
Xj=Y0xj/yj、Yj=Y0、およびZj=Y0(1−xj−yj)/yj
によって得られ、次いで、対応する色値Ecj(c=1、2、または3)が得られる。変調値Ba0と、ステップ121でβ−1(Ba0,L0,m,n)に使用される試験ファクタβtest−1とを固定して課す

0086

ステップ11および12で構成されるコード化チェーンを色成分に適用することによって、最終値L”j、C”1jおよびC”2jを得る。これらの最終値から、CIE1931図中の関連する要素(x’j,y’j)の関連する色域セットを推定する。

0087

図15は、色域のCIE1931図中の要素(xj,yj)のセットの例を示す図である。なお、各要素(xj,yj)のXYZ座標は、
Xj=Y0xj/yj、Yj=Y0、およびZj=Y0(1−xj−yj)/yj
で与えられることに留意されたい。

0088

変調値Ba0および輝度成分L0を変化させ、関連する色域歪みGD(.)を最小限に抑えることにより、固定係数mおよびnについての、変調値Ba0および輝度成分L0によって決まる全てのファクタβ−1(Ba0,L0,m,n)が得られる。

0089

図5に示すステップ11の実施形態によれば、ステップ110で、モジュールICは、以下のように3つの成分Ecを線形結合することによって、カラー・ピクチャIの輝度を表す成分Yを得る。



ここで、A1は、(E1,E2,E3)色空間から色空間(Y,C1,C2)への色空間変換を定義する3×3行列Aの第1行である。

0090

ステップ130で、モジュールFMは、以下のように、非線形関数fを成分Yに適用することによって、輝度成分Lを得る。
L=f(Ba,Y) (1)
ここで、Baは、モジュールBaM(ステップ120)によって成分Yから得られる変調値である。

0091

成分Yに非線形関数fを適用することにより、そのダイナミック・レンジが低下する。換言すれば、輝度成分Lのダイナミックは、成分Yのダイナミックと比較して低下する。

0092

基本的には、成分Lの輝度値が10ビットを使用して表されるように、成分Yのダイナミック・レンジを低下させる。

0093

実施形態によれば、以下のように、成分Yを変調値Baで割った後に、非線形関数fを適用する。
L=f(Y/Ba) (2)

0094

実施形態によれば、非線形関数fは、以下のようにガンマ関数である。



ここで、Y1は、方程式(1)または(2)の実施形態に応じてYまたはY/Baの何れかと等しく、Bは定数値であり、γは、パラメータ(厳密に1未満の実数値)である。

0095

実施形態によれば、非線形関数fは、以下のようにS−Log関数である。
L=a.ln(Y1+b)+c
ここで、a、b、およびcは、f(0)およびf(1)が不変量となるように決定されたSLog曲線のパラメータ(実数値)であり、SLog曲線の導関数は、1未満でガンマ曲線によって延長されたときに1で連続的である。従って、a、b、およびcは、パラメータγの関数である。

0096

代表的な値を、表1に示す。

0097

有利な実施形態では、1/2.5に近いγの値が、HDR圧縮性能、および得られるSDRルマの良好な視認性の点で効率的である。従って、この3つのパラメータは、a=0.44955114、b=0.12123691、c=0.94855684の値をとると有利であることがある。

0098

実施形態によれば、非線形関数fは、成分Yの画素値に応じて、ガンマ補正またはSLog補正の何れかである。

0099

成分Yにガンマ補正を適用して、暗領域を引き上げるが、明るい画素の焼き込みを回避するのに十分なハイライトを低下させることはない。

0100

次いで、実施形態によれば、モジュールFMは、成分Yの画素値に応じて、ガンマ補正またはSLog補正の何れかを適用する。情報データinfは、ガンマ補正またはSLog補正の何れが適用されるかを示すことができる。

0101

例えば、成分Yの画素値がしきい値(1に等しい)未満であるときには、ガンマ補正が適用され、そうでないときには、SLog補正が適用される。

0102

ステップ120の実施形態によれば、変調値Baは、成分Yの画素値の平均値中央値最小値、または最大値である。これらの演算は、線形HDR輝度領域Ylinで、あるいはln(Y)またはYγ(γ<1)などの非線形領域で実行することができる。

0103

実施形態によれば、この方法を使用して、ピクチャのシーケンスに属するいくつかのカラー・ピクチャを符号化するときには、各カラー・ピクチャについて、グループ・オブ・ピクチャ(GOP)について、あるいはこれらに限定されるわけではないが、スライスまたはHEVCで定義される転送単位などのカラー・ピクチャの一部について、変調値Baを決定する。

0104

実施形態によれば、値Ba、および/または非線形関数fのパラメータ(a、b、c、もしくはγなど)、および/または情報データinfは、ローカルまたは遠隔のメモリに記憶され、且つ/あるいは図2および図5に示すようにビットストリームBFに追加される。

0105

ステップ140で、モジュールCCは、カラー・ピクチャIから少なくとも1つの色成分Ec(c=1、2、3)を得る。色成分Ecは、ローカルまたは遠隔のメモリから直接得ることもあれば、あるいはカラー・ピクチャIに色変換を適用することによって得ることもある。

0106

ステップ150で、以下のように各色成分Ecを輝度成分Lによって決まるファクタr(L)によってスケーリングすることによって、中間色成分E’c(c=1、2、または3)を得る。



ここで、r(L(i))は、モジュールRM(ステップ160)によって決定される、成分Lの画素iの値によって決まるファクタ(実数値)であり、E’c(i)は、中間色成分E’cの画素iの値であり、Ec(i)は、色成分Ecの画素iの値である。

0107

ファクタによるスケーリングとは、そのファクタを掛ける、またはそのファクタの逆数で割ることを意味する。

0108

各色成分Ecを輝度成分Lによって決まるファクタr(L)でスケーリングすることにより、カラー・ピクチャIの色の色相が保存される。

0109

ステップ160の実施形態によれば、ファクタr(L)は、以下のように、成分Yに対する輝度成分Lの比である。



ここで、Y(i)は、成分Yの画素iの値である。実際には、成分Yの画素の値Y(i)は、輝度成分Lの画素の値L(i)に明瞭に依存して、その比をL(i)のみの関数として書くことができるようになっている。

0110

この実施形態は、各色成分Ecをさらに成分Yにも依存するファクタr(L)でスケーリングすることによって、カラー・ピクチャIの色の色相が保存され、それにより復号されたカラー・ピクチャの視覚的品質が改善されるので有利である。

0111

さらに厳密には、測色法および色彩理論では、彩度(colorfulness)、クロマ(chroma)、および飽和度(satuation)は、特定の色の知覚強度を指す。彩度は、或る色とグレーとの間の差の程度である。クロマは、同様の視認条件下で白く見える別の色の明るさに対する彩度である。飽和度は、自己の輝度に対する或る色の彩度である。

0112

非常に彩度の高い刺激は鮮やかで強いが、それほど彩度の高くない刺激は、よりぼけて見え、よりグレーに近く見える。彩度が全くないと、色は「ニュートラル」グレーである(何れの色でも彩度がないピクチャは、グレースケールと呼ばれる)。任意の色は、その彩度(またはクロマもしくは飽和度)、明度(または明るさ)、および色相によって記述することができる。

0113

色の色相および飽和度の定義は、その色を表すために使用される色空間に依存する。

0114

例えば、CIELUV色空間を使用するときには、飽和度Suvは、以下のようにクロマ

と輝度L*の間の比として定義される。

0115

この場合、色相は、以下で与えられる。

0116

別の例によれば、CIELAB色空間を使用するときには、飽和度は、以下のように輝度に対するクロマの比として定義される。

0117

この場合、色相は、以下で与えられる。

0118

これらの方程式は、飽和度の人間の知覚と一致する飽和度および色相の妥当予測子であり、角度a*/b*(またはu*/v*)を固定して保持しながらCIELAB(またはCIELUV)色空間内で明るさを調節すると、色相が影響を受け、従って同色の知覚が影響を受けることを実証している。ステップ150で、色成分Ecを同じファクタでスケーリングして、この角度を保存し、従って色相を保存する。

0119

ここで、カラー・ピクチャIがCIELUV色空間内に表され、ピクチャI2が、カラー・ピクチャIの輝度のダイナミック・レンジと比較して低下した(ステップ130)ダイナミック・レンジを有する輝度成分Lと、CIELUV色空間の2つのクロミナンス成分U(=C1)およびV(=C2)とを結合することによって形成されるものと考える。従って、ピクチャI2の色は、それらの色の飽和度および色相が変化したために、人の目に違う色として知覚される。この方法(ステップ150)は、ピクチャI2の色の色相がカラー・ピクチャIの色の色相と最もよく一致するように、ピクチャI2のクロミナンス成分C1およびC2を決定する。

0120

ステップ160の実施形態によれば、ファクタr(L)は、以下で与えられる。

0121

この最後の実施形態は、このファクタが非常に暗い画素でゼロになることを防止する、すなわちその比を画素値に関わらず反転可能になるようにすることができるので、有利である。

0122

ステップ170で、上記の少なくとも1つの中間色成分E’cから、2つのクロミナンス成分C1,C2を得る。

0123

図6に示すステップ170の実施形態によれば、以下のようにOETFを各中間色成分(E’c)に適用する(ステップ171)によって、少なくとも1つの中間成分Dc(c=1、2、または3)を得る。



例えば、OETFは、ITU−R勧告BT.709またはBT.2020によって規定され、以下のように表される。

0124

この実施形態により、個々のOETFに応じてダイナミック・レンジを低下させることが可能になるが、以下で述べるように複雑な復号プロセスとなる。

0125

図7に示すこの実施形態の変形例によれば、OETFを平方根で近似する、すなわち、以下のように各中間色成分(E’c)の平方根をとる(ステップ171)ことによって、少なくとも1つの中間成分Dc(c=1、2、または3)を得る。

0126

この実施形態は、ITU−R勧告BT.709またはBT.2020によって規定されるOETFの良好な近似を提供し、複雑さの低いデコーダが得られるので、有利である。

0127

この実施形態の別の変形例によれば、OETFを立方根で近似する、すなわち、以下のように各中間色成分(E’c)の立方根をとる(ステップ171)ことによって、少なくとも1つの中間成分Dc(c=1、2、または3)を得る。

0128

この実施形態は、ITU−R勧告BT.709またはBT.2020によって規定されるOETFの良好な近似を提供するので有利であるが、OETFを平方根で近似したときに得られるデコーダよりは多少複雑なデコーダとなる。

0129

ステップ172で、モジュールLC1は、以下のように3つの中間成分Dcを線形結合することによって、2つのクロミナンス成分C1およびC2を得る。



ここで、A2およびA3は、3×3行列Aの第2行および第3行である。

0130

図8は、本開示の実施形態による少なくとも1つのビットストリームからカラー・ピクチャを復号する方法のステップを示す概略図である。

0131

ステップ21で、デコーダDECは、ローカルまたは遠隔のメモリから、あるいはビットストリームFを少なくとも部分的に復号することによって、輝度成分L”および2つのクロミナンス成分C”1,C”2を得る。

0132

ステップ22で、モジュールIGMは、上記の輝度成分L”およびクロミナンス成分C”1,C”2から得られる色に逆マッピングを適用することによって、上記の輝度成分L”およびクロミナンス成分C”1,C”2から最終輝度成分Lおよび2つの最終クロミナンス成分C1,C2を得る。

0133

ステップ23で、モジュールINVCは、上記の最終輝度成分Lおよび上記の2つの最終クロミナンス成分C1、C2から、復号対象のカラー・ピクチャの少なくとも1つの色成分Ecを得る。復号されたピクチャは、上記の少なくとも1つの色成分Ecを結合することによって得られる。

0134

図9に示すステップ22の実施形態によれば、モジュールILCCは、輝度成分L”と2つのクロミナンス成分C”1,C”2とを線形結合することによって最終輝度成分Lを得(ステップ222)、2つの最終クロミナンス成分C1、C2は、2つのクロミナンス成分C”1,C”2のそれぞれを、最終輝度成分Lの各画素iの値によって決まるファクタβ(L(i))でスケーリングする(ステップ221)ことによって得られる。以下の通りである。



ここで、mおよびnは、係数(実数値)である。係数mおよびnは、方程式(G)中の行列ΦBa(L)の因数分解によって得られる係数とすることができる、すなわち、mおよびnは、Φ0で得られる係数である。その結果として、これらの係数は、カラー・ピクチャIの色域(例えばBT.709またはBT.2020の色域)によって決まる。mおよびnの代表的な値は、間隔[0.1,0.5]でm≒nである。

0135

変形例によれば、このファクタは、さらに変調値Baによって決まる。

0136

方程式(J)は、輝度成分L”およびクロミナンス成分C”1,C”2から得られる色に適用される逆マッピングであると考えられる。方程式(J)は、色マッピングであると考えられる方程式(A)から直接得られる。

0137

モジュールILCCの変形例によれば、以下のように、最終輝度成分Lの値は、常に輝度成分L”の値より大きい。
L=L”+max(0,mC”1+nC”2)

0138

この実施形態は、最終輝度成分Lがデコーダが輝度ピークを規定するために通常使用する潜在的クリッピング値を超えないことを保証するので、有利である。デコーダが輝度ピークを必要とするとき、および方程式(J)によって最終輝度成分Lが与えられるときには、最終輝度成分Lがクリッピングされて、ある程度のアーチファクトが生じる。

0139

実施形態によれば、変調値Baならびに/または係数mおよびnは、ルックアップ・テーブルなどの遠隔またはローカルなメモリから、あるいは図9に示すようにビットストリームBFから得られる。

0140

実施形態によれば、ファクタβ−1(L(i))は、最終輝度成分Lの特定の値L(i)についての、また任意選択でさらに特定の変調値Baについてのルックアップ・テーブル(LUT)から得られる。従って、例えば1000nit、1500nit、および4000nitなどの複数の輝度ピーク値について、特定のファクタβ−1(L(i))が、各特定の変調値BaについてのLUTに記憶される。

0141

変形例によれば、LUTが記憶される複数の輝度ピークの間の輝度ピークを補間することによって、最終輝度成分Lの画素の値について、特定の変調値Baについてのファクタβ−1(L(i))を得る。

0142

図10に示すステップ23の実施形態によれば、ステップ220で、モジュールIFMは、以下のように、第1の成分Yのダイナミックが最終輝度成分Lのダイナミックと比較して大きくなるように最終輝度成分Lに非線形関数f−1を適用することによって、第1の成分Yを得る。
Y=f−1(Ba,L) (A3)

0143

この非線形関数f−1は、非線形関数f(ステップ130)の逆関数である。

0144

従って、関数f−1の実施形態は、関数fの実施形態に従って規定される。

0145

実施形態によれば、非線形関数f−1のパラメータ(a、b、c、もしくはγなど)および/または情報データinfは、ローカルまたは遠隔のメモリ(例えばルックアップ・テーブル)から、且つ/あるいは図10に示すようにビットストリームBFから得られる。

0146

実施形態によれば、以下のように、輝度成分Lに、非線形関数f−1を適用した後で変調値Baを乗算する。
Y=Ba*f−1(L) (A4)

0147

実施形態によれば、非線形関数f−1は、ガンマ関数の逆関数である。

0148

この場合、成分Yは、以下で与えられる。



ここで、Y1は、方程式(A3)または(A4)の実施形態に応じてYまたはY/Baと等しく、Bは定数値であり、γは、パラメータ(厳密に1未満の実数値)である。

0149

実施形態によれば、非線形関数f−1は、S−Log関数の逆関数である。この場合、成分Y1は、以下で与えられる。

0150

実施形態によれば、非線形関数fは、成分Yの画素値に応じて、ガンマ補正またはSLog補正の何れかの逆関数である。これは、情報データinfによって示される。

0151

ステップ230で、モジュールILCは、第1の成分Y、2つの最終クロミナンス成分C1,C2、および最終輝度成分Lによって決まるファクタr(L)から、少なくとも1つの色成分Ecを得る。次いで、上記の少なくとも1つの色成分Ecを結合することによって、復号されたカラー・ピクチャが得られる。

0152

一般的なOETFを各中間色成分E’cに適用する(図6のステップ171)と、以下のように、中間成分Dcは、成分Y、2つの最終クロミナンス成分C1,C2、およびファクタr(L)に関係する。



且つ



ここで、EOTF(電気光学伝達関数)は、ステップ171で適用するOETFの逆関数である。

0153

方程式(A5b)より、以下が得られる。



ここで、OETF(Ec)=Dcであり、

は、行列Aに依存する定数であり、Liは、やはり行列Aに依存する線形関数である。この場合、方程式A5aは、
r(L)*Y=A11EOTF(D1)+A12EOTF(D2)+A13EOTF(D3) (A7)
となり、さらに、



となる。

0154

方程式(A8)は、D1のみについての陰方程式である。EOTFの表現によるが、方程式(A8)は、ある程度簡単に解くことができる。解けばD1が得られ、方程式(A6)によりD1からD2、D3が推定される。次いで、この3つの得られた中間成分DcにEOTFを適用することにより、中間色成分E’cを得る。すなわち、E’c=EOTF(Dc)である。

0155

この一般的な場合には、すなわち一般的なOETF(いかなる特定の性質も有していない)を各中間色成分(E’c)に適用するときには、方程式(8)の解析的解は存在しない。例えば、OETFがITU−RBT.709/2020のOETFであるときには、方程式(A8)は、いわゆるニュートン法またはその他の任意の数値法を使用して正則関数の根を求めることによって、数値的に解くことができる。ただし、これにより非常に複雑なデコーダとなる。

0156

この一般的な場合には、図11aに示すステップ230の第1の実施形態によれば、ステップ231で、モジュールILECは、上記で説明したように、第1の成分Y、2つの最終クロミナンス成分C1,C2、およびファクタr(L)から3つの中間色成分E’cを得る。ステップ232で、以下のように各中間色成分E’cをファクタr(L)でスケーリングすることによって、3つの色成分Ecを得る。
Ec(i)=E’c(i)/r(L(i))
ここで、r(L(i))は、最終輝度成分Lの画素iの値に依存するステップ160で与えられるファクタであり、E’c(i)は、中間色成分E’cの画素iの値であり、Ec(i)は、色成分Ecの画素iの値である。

0157

実際には、ステップ232の前にステップ231を行うこの順序は、符号化方法のステップ150の後にステップ170を行う順序を逆にしたものである。

0158

この第1の実施形態の変形例によれば、OETFは平方根関数であり、EOTFは2次関数である。

0159

この第1の実施形態の別の変形例によれば、OETFは立方根関数であり、EOTFは、3次関数である。

0160

ステップ171で使用するOETFが交換条件を満たす、すなわち
OETF(x*y)=OETF(x)*OETF(y)
であるときには、成分Yおよび色成分Ecは、以下のような関係になる。



ここで、Fcは、OETF(Ec)に等しい成分であり、



であり、交換条件が、



を与えるようになっている。

0161

方程式(10)は、



を与え、ここで、

は、行列Aに依存する定数であり、Liは、やはり行列Aに依存する線形関数である。

0162

この場合、方程式(A9)は、
Y=A11EOTF(F1)+A12EOTF(F2)+A13EOTF(F3) (A11)
となり、さらに、



となる。

0163

OETFが交換条件を満たすときには、図11bに示すステップ230の第2の実施形態によれば、ステップ232で、以下のように2つの最終クロミナンス成分C1およびC2をファクタOETF(r(L(i)))でスケーリングすることによって、2つの中間成分C’1およびC’2を得る。ここで、OETFは、図6のステップ171で使用した関数である。



ここで、r(L(i))は、最終輝度成分Lの画素iの値に依存するステップ160で与えられるファクタであり、C’1(i),C’2(i)は、それぞれ成分C’1およびC’2の画素iの値であり、C1(i),C2(i)は、それぞれ2つの最終クロミナンス成分C1およびC2の画素iの値である。

0164

ステップ231で、モジュールILECは、上記で説明したように、第1の成分Yおよび2つの中間クロミナンス成分C’1,C’2から3つの色成分Ecを得る。

0165

この第2の実施形態の変形例によれば、OETFは平方根関数であり、EOTFは2次関数である。次いで、図11bのステップ232で、以下のように2つの最終クロミナンス成分C1およびC2をファクタ



でスケーリングすることによって、2つの中間成分C’1およびC’2を得る。

0166

方程式(9)は、



および



となり、交換により、



が得られるようになっている。

0167

方程式(11)は、



および



となる。

0168

方程式(A14)は、解析的に解くことができる2次方程式である。この解析的解から、図12に示すようにステップ231の特定の実施形態が得られる。この実施形態は、EOTF(OETFの逆関数)の解析的表現を可能にし、それによりピクチャの復号された成分の解析的表現を可能にするので、有利である。さらに、この場合には、EOTFは、復号側における複雑さの低いプロセスである2次関数である。ステップ2310で、モジュールSMは、以下のように2つの中間クロミナンス成分C’1,C’2と第1の成分Yとを結合することによって、第2の成分Sを得る。



ここで、k0、k1、およびk2は、パラメータ値であり、C’c2は、成分C’c(c=1または2)の二乗を意味する。

0169

ステップ2311で、モジュールLC2は、以下のように、中間クロミナンス成分C’1、C’2と第2の成分Sとを線形結合することによって、3つのソルバ(solver)成分Fcを得る。



ここで、Cは、行列Aの逆行列として定義される3×3行列である。

0170

ステップ2312で、以下のように、各中間色成分(Dc)の二乗をとることによって、3つの色成分Ecを得る。

0171

行列Aは、符号化対象のピクチャの画素値が表現されている色空間(E1,E2,E3)から色空間(Y,C1,C2)への符号化対象のピクチャIの変換を決定する。

0172

このような行列は、符号化対象のカラー・ピクチャの色域に依存する。

0173

例えば、符号化対象のピクチャがITU−R勧告709に規定されるBT709色域に表されるときには、行列Aは、



で与えられ、行列Cは、



で与えられる。

0174

この第2の実施形態の変形例によれば、OETFは立方根関数であり、EOTFは3次関数である。この場合、図11bのステップ232で、以下のように、2つの最終クロミナンス成分C1およびC2をファクタ



でスケーリングすることによって、2つの中間成分C’1およびC’2を得ることができる。

0175

この場合、EOTFは、3次関数であり、従って、F1についての方程式(14)は、いわゆるカルダノ法で解析的に解くことができるより複雑な3次方程式となる。

0176

4次方程式についても非常に複雑な解析的解が存在する(フェラーリの方法)が、アーベル・ルフィニの定理によって述べられるように5次以上については解は存在しない。

0177

デコーダDECは、符号化器ENCによって符号化されているデータを復号するように構成される。

0178

符号化器ENC(およびデコーダDEC)は、特定の符号化器(デコーダ)に限定されず、エントロピ符号化器(デコーダ)が必要であるときには、ハフマンコーダ算術コーダ、あるいはH.264/AVCまたはHEVCで使用されるCabacなどのコンテキスト適合型コーダなどのエントロピ符号化器が有利である。

0179

符号化器ENC(およびデコーダDEC)は、例えばJPEG、JPEG2000、MPEG2、H.264/AVC、またはHEVCなど損失のあるフレーム/ビデオ・レガシー・コーダであることがある特定の符号化器に限定されない。

0180

図1から図12では、モジュールは、区別することができる物理的ユニットに関係することも関係しないこともある機能ユニットである。例えば、これらのモジュールまたはそのうちのいくつかを、1つの構成要素または回路にまとめることもできるし、あるいはこれらのモジュールまたはそのうちのいくつかが、ソフトウェアの機能の一助となることもできる。一方、いくつかのモジュールは、潜在的に別個の物理的エンティティで構成されることもある。本開示に適合した装置は、例えばASIC特定用途向け集積回路)またはFPGA(フィールドプログラマブルゲート・アレイ)またはVLSI超大規模集積回路)などの専用ハードウェアを使用するなど、ハードウェアのみを使用して、あるいはデバイスに埋め込まれたいくつかの集積電子構成要素から、あるいはハードウェア構成要素ソフトウェア構成要素混成から、実装される。

0181

図13は、図1から図12に関連して説明した方法を実施するように構成することができるデバイス1300の例示的なアーキテクチャを示す図である。

0182

デバイス1300は、データおよびアドレスバス1301によってリンクされた以下の要素を含む。
・例えばDSP(すなわちディジタル信号プロセッサ)であるマイクロプロセッサ1302(またはCPU)
・ROM(すなわち読取り専用メモリ)1303
・RAM(すなわちランダムアクセス・メモリ)1304
アプリケーションとの間のデータの伝送および/または受信のためのI/Oインタフェース1305
バッテリ1306

0183

変形例によれば、バッテリ1306は、デバイスの外付けである。図13のこれらの要素はそれぞれ、当業者には周知であり、これ以上は開示しない。上記のメモリのそれぞれにおいて、本明細書で使用する「レジスタ」という言葉は、小容量(数ビット)の領域に対応することも、非常に大きな領域(例えばプログラム全体、または大量の受信もしくは復号したデータ)に対応することもある。ROM1303は、少なくともプログラムおよびパラメータを含む。本開示による方法のアルゴリズムは、ROM1303に記憶される。CPU1302は、オンになると、プログラムをRAMにアップロードし、対応する命令を実行する。

0184

RAM304は、CPU1302によって実行される、デバイス1300のスイッチ・オン後にアップロードされるプログラムと、入力データと、この方法の様々な状態の中間データと、この方法の実行に使用されるその他の変数とをレジスタに含む。

0185

本明細書に記載する実施態様は、例えば、方法またはプロセス、装置、ソフトウェア・プログラム、データ・ストリーム、あるいは信号で実施することができる。単一の実施態様の形態の文脈でしか説明していない場合でも(例えば方法またはデバイスとしてしか説明していない場合でも)、その説明した特徴の実施態様を、その他の形態(例えばプログラム)で実施することもできる。装置は、例えば、適当なハードウェア、ソフトウェア、およびファームウェアで実装することができる。これらの方法は、例えばコンピュータ、マイクロプロセッサ、集積回路プログラマブル論理デバイスなど、処理デバイス一般を指すものとしてのプロセッサなどの装置で実施することができる。プロセッサは、例えばコンピュータ、携帯電話携帯情報端末(PDA)、およびエンドユーザ間での情報の通信を容易にするその他のデバイスなどの通信デバイスも含む。

0186

符号化または符号化器の特定の実施形態によれば、カラー・ピクチャIは、ソースから得られる。例えば、ソースは、
・例えばビデオ・メモリまたはRAM(すなわちランダム・アクセス・メモリ)、フラッシュ・メモリ、ROM(すなわち読取り専用メモリ)、ハードディスクなどのローカル・メモリ(1303または1304)と、
・例えば大容量記憶装置、RAM、フラッシュ・メモリ、ROM、光ディスク、または磁気サポート(magnetic support)などの記憶インタフェースと、
・例えばワイヤライン・インタフェース(例えばバス・インタフェース、広域ネットワーク・インタフェース、ローカル・エリアネットワーク・インタフェース)またはワイヤレス・インタフェース(IEEE802.11インタフェースもしくはBluetooth(登録商標)インタフェースなど)などの通信インタフェース(1305)と、
・ピクチャ取り込み回路(例えばCCD(すなわち電荷結合素子)またはCMOS(すなわち相補型金属酸化物半導体)などのセンサ)と
を含むセットに属する。

0187

復号またはデコーダの様々な実施形態によれば、復号されたピクチャは送信先に送信される。詳細には、この送信先は、
・例えばビデオ・メモリまたはRAM(すなわちランダム・アクセス・メモリ)、フラッシュ・メモリ、ROM(すなわち読取り専用メモリ)、ハード・ディスクなどのローカル・メモリ(1303または1304)と、
・例えば大容量記憶装置、RAM、フラッシュ・メモリ、ROM、光ディスク、または磁気サポートなどの記憶インタフェースと、
・例えばワイヤライン・インタフェース(例えばバス・インタフェース、広域ネットワーク・インタフェース、ローカル・エリア・ネットワーク・インタフェース)またはワイヤレス・インタフェース(IEEE802.11インタフェースもしくはBluetooth(登録商標)インタフェースなど)などの通信インタフェース(1305)と、
・ディスプレイと
を含むセットに属する。

0188

符号化または符号化器の様々な実施形態によれば、ビットストリームBFおよび/またはFは、宛先に送信される。一例としては、ビットストリームFおよびBFの一方または両方が、例えばビデオ・メモリ(1304)またはRAM(1304)、ハード・ディスク(1303)などのローカルまたは遠隔のメモリに記憶される。変形例では、一方または両方のビットストリームが、例えば大容量記憶装置を備えたインタフェース、フラッシュ・メモリ、ROM、光ディスク、または磁気サポートなどの記憶インタフェースに送信され、且つ/あるいは、例えばポイント・ツー・ポイント・リンク、通信バス、ポイント・ツー・マルチポイント・リンク、または同報通信ネットワークとのインタフェースなどの通信インタフェース(1305)を介して伝送される。

0189

復号またはデコーダの様々な実施形態によれば、ビットストリームBFおよび/またはFは、ソースから得られる。例示的には、ビットストリームは、例えばビデオ・メモリ(1304)、RAM(1304)、ROM(1303)、フラッシュ・メモリ(1303)、またはハード・ディスク(1303)などのローカルなメモリから読み取られる。変形例では、ビットストリームは、例えば大容量記憶装置を備えたインタフェース、RAM、ROM、フラッシュ・メモリ、光ディスク、または磁気サポートなどの記憶インタフェースから受信され、且つ/あるいは、例えばポイント・ツー・ポイント・リンク、通信バス、ポイント・ツー・マルチポイント・リンク、または同報通信ネットワークとのインタフェースなどの通信インタフェース(1305)から受信される。

0190

様々な実施形態によれば、図2から図7に関連して説明した符号化方法を実施するように構成されたデバイス1300は、
モバイル・デバイス、
・通信デバイス、
・ゲーム・デバイス、
タブレット(すなわちタブレット・コンピュータ)、
ラップトップ
静止画カメラ
・ビデオ・カメラ
符号化チップ
静止画サーバ、および
ビデオ・サーバ(例えば放送サーバ、ビデオ・オン・デマンド・サーバ、またはウェブ・サーバ)
を含むセットに属する。

0191

様々な実施形態によれば、図8から図12に関連して説明した復号方法を実施するように構成されたデバイス1300は、
・モバイル・デバイス、
・通信デバイス、
・ゲーム・デバイス、
・セット・トップボックス
・TVセット、
・タブレット(すなわちタブレット・コンピュータ)、
・ラップトップ、
・ディスプレイ、および
・復号チップ
を含むセットに属する。

0192

図14に示す実施形態によれば、通信ネットワークNETを介した2つの遠隔デバイスAとBの間の伝送の状況では、デバイスAは、図2から図7に関連して説明したようにピクチャを符号化する方法を実施するように構成された手段を含み、デバイスBは、図8から図12に関連して説明したように復号する方法を実施するように構成された手段を含む。

0193

本開示の変形例によれば、ネットワークは、デバイスAからデバイスBを含む復号デバイスに静止画またはビデオ・ピクチャを同報通信するように適応された放送ネットワークである。

0194

本明細書に記載する様々なプロセスおよび特徴の実施態様は、様々な異なる機器またはアプリケーションで実施することができる。このような機器の例は、符号化器、デコーダ、デコーダからの出力を処理するポスト・プロセッサ、符号化器に入力を提供するプリプロセッサ、ビデオ・コーダ、ビデオ・デコーダ、ビデオ・コーデック、ウェブ・サーバ、セット・トップ・ボックス、ラップトップ、パーソナル・コンピュータ、携帯電話、PDA、およびピクチャまたはビデオを処理するその他の任意のデバイスあるいはその他の通信デバイスを含む。この機器は、モバイルであってもよく、また移動車両に設置することもできることは明らかであろう。

0195

さらに、これらの方法は、プロセッサが命令を実行することによって実施することもでき、このような命令(および/または実施によって生成されるデータ値)は、コンピュータ可読記憶媒体に記憶することができる。コンピュータ可読記憶媒体は、1つまたは複数のコンピュータ可読媒体に実装される、コンピュータによって実行可能なコンピュータ可読プログラム・コードが実装されているコンピュータ可読プログラム製品の形態をとることができる。本明細書で使用されるコンピュータ可読記憶媒体は、情報を記憶するための固有の容量と、そこからの情報の取出しを実現する固有の容量とが与えられた非一時的記憶媒体と考えられる。コンピュータ可読記憶媒体は、これらに限定されるわけではないが、例えば、電子的、磁気的、光学的、電磁気的、赤外線、または半導体システム、装置、またはデバイス、あるいはそれらの任意の適当な組合せとすることができる。以下に、本原理を適用することができるコンピュータ可読記憶媒体のさらに具体的な例を与えるが、単なる例示的なリストであって排他的なリストではないことは、当業者なら理解されたい。さらに具体的な例としては、携帯型コンピュータディスケット、ハード・ディスク、読取り専用メモリ(ROM)、消去可能プログラマブル読取り専用メモリ(EPROMまたはフラッシュ・メモリ)、携帯コンパクト・ディスク読取り専用メモリ(CD−ROM)、光学記憶デバイス磁気記憶デバイス、またはそれらの任意の適当な組合せがある。

0196

命令は、プロセッサ可読媒体に有形に実装されるアプリケーション・プログラムを構成することができる。

0197

命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、またはそれらの組合せとすることができる。命令は、例えば、オペレーティング・システム、別個のアプリケーション、またはその両者の組合せに見ることができる。従って、プロセッサは、例えば、プロセスを実行するように構成されたデバイス、およびプロセスを実行するための命令を有するプロセッサ可読媒体(記憶デバイスなど)を含むデバイスの両方の特徴を有することができる。さらに、プロセッサ可読媒体は、命令に加えて、または命令の代わりに、実施によって生成されるデータ値を記憶することもできる。

0198

実施態様により、例えば記憶または伝送することができる情報を搬送するようにフォーマット化された様々な信号が生成される可能性があることは、当業者には明らかであろう。この情報は、例えば、方法を実行するための命令、または記載した実施態様のうちの1つによって生成されたデータを含む可能性がある。例えば、信号を、記載した実施形態の構文を書き込む、または読み取る規則をデータとして搬送する、あるいは記載した実施形態によって書き込まれた実際の構文値をデータとして搬送するようにフォーマット化することができる。このような信号は、例えば、電磁波(例えば無線周波スペクトル部分を使用する)またはベースバンド信号としてフォーマット化することができる。フォーマット化は、例えば、データ・ストリームを符号化すること、および搬送波を符号化データ・ストリームで変調することを含む可能性がある。信号が搬送する情報は、例えば、アナログ情報であっても、ディジタル情報であってもよい。信号は、既知のように、様々な異なる有線リンクまたはワイヤレス・リンクを介して伝送することができる。信号は、プロセッサ可読媒体に記憶することができる。

0199

いくつかの実施態様について説明した。しかしながら、様々な修正を施すことが可能であることは理解されるであろう。例えば、様々な実施態様の要素を組み合わせたり、補足したり、修正したり、または除去したりして、他の実施態様を生み出すこともできる。さらに、当業者なら、開示した構造およびプロセスの代わりに他の構造およびプロセスを使用することができ、その結果得られる実施態様も、開示した実施態様と少なくとも実質的には同じである1つまたは複数の機能を、少なくとも実質的には同じである1つまたは複数の方法で実行して、少なくとも実質的には同じである1つまたは複数の結果を実現することになることを理解するであろう。従って、上記の実施態様およびその他の実施態様は、本願によって企図されている。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ