図面 (/)

技術 画像処理装置、撮像装置、画像処理方法、及びプログラム

出願人 キヤノン株式会社
発明者 木村直人
出願日 2019年4月15日 (1年10ヶ月経過) 出願番号 2019-077354
公開日 2020年10月29日 (3ヶ月経過) 公開番号 2020-177297
状態 未査定
技術分野 スタジオ装置 画像処理
主要キーワード リニア信号 信号域 リニアスケーリング スケーリング処理後 回転記録媒体 出力レンジ リニア領域 絶対輝度
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年10月29日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (14)

課題

なるべく画質劣化を抑制しながら、HDR画像をSDR画像に変換する技術を提供する。

解決手段

第1のダイナミックレンジを持ち所定のトーンカーブが適用された画像データを取得する取得手段であって、前記所定のトーンカーブは前記第1のダイナミックレンジと出力される絶対輝度との関係により視覚特性表現するトーンカーブである、取得手段と、前記所定のトーンカーブを維持しながら、前記画像データを前記第1のダイナミックレンジから前記第1のダイナミックレンジよりも狭い第2のダイナミックレンジへと圧縮する第1の圧縮手段と、を備えることを特徴とする画像処理装置を提供する。

概要

背景

近年、ディスプレイ表示輝度が高くなることに伴い、これまで圧縮されていた高輝度側の階調を、より見た目に近い階調で再現できる画像を取得するHDRハイダイナミックレンジカメラシステムが提案されている。HDRカメラシステムで画像を出力する際に使用されるOETFカーブは、HDR規格であるST2084等に記載されたEOTF特性に対して逆特性のカーブである。OETFカーブを使用してカメラ撮影された画像を変換する処理を行うことで、HDRモニタで高輝度側の階調を表示することができる。

しかしながら、HDRモニタとSDRモニタとが混在する環境の中では、HDRカメラシステムで撮影したHDR画像をSDR画像に変換する技術が必要となる。具体的なケースとしては、カメラの背面液晶がSDRモニタの場合や、SDRモニタへの外部出力を実施する場合等が挙げられる。HDR画像をSDR画像に変換する場合、SDR画像の見た目をHDR画像の見た目を近づけるためには、HDR画像で表現できている階調性を保持して、被写体の色相が変化するような色曲りの少ないSDR画像を生成する必要がある。

特許文献1は、暗部から中間輝度にかけてはRGBでトーンマッピング処理を実施し、中間輝度から高輝度にかけてはYUVでトーンマッピング処理を実施することで、HDR画像をSDR画像に変換する技術を開示している。

概要

なるべく画質劣化を抑制しながら、HDR画像をSDR画像に変換する技術を提供する。第1のダイナミックレンジを持ち所定のトーンカーブが適用された画像データを取得する取得手段であって、前記所定のトーンカーブは前記第1のダイナミックレンジと出力される絶対輝度との関係により視覚特性を表現するトーンカーブである、取得手段と、前記所定のトーンカーブを維持しながら、前記画像データを前記第1のダイナミックレンジから前記第1のダイナミックレンジよりも狭い第2のダイナミックレンジへと圧縮する第1の圧縮手段と、を備えることを特徴とする画像処理装置を提供する。

目的

本発明はこのような状況に鑑みてなされたものであり、なるべく画質の劣化を抑制しながら、HDR画像をSDR画像に変換する技術を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

第1のダイナミックレンジを持ち所定のトーンカーブが適用された画像データを取得する取得手段であって、前記所定のトーンカーブは前記第1のダイナミックレンジと出力される絶対輝度との関係により視覚特性表現するトーンカーブである、取得手段と、前記所定のトーンカーブを維持しながら、前記画像データを前記第1のダイナミックレンジから前記第1のダイナミックレンジよりも狭い第2のダイナミックレンジへと圧縮する第1の圧縮手段と、を備えることを特徴とする画像処理装置

請求項2

前記所定のトーンカーブは、PQのOETF特性に従うトーンカーブであることを特徴とする請求項1に記載の画像処理装置。

請求項3

前記第1の圧縮手段は、前記画像データに対して「第2の値/第1の値」を乗じることにより前記画像データを前記第1のダイナミックレンジから前記第2のダイナミックレンジへと圧縮し、前記第1の値は、前記第1のダイナミックレンジの最大値を入力とした場合における前記所定のトーンカーブの出力値であり、前記第2の値は、前記第2のダイナミックレンジの最大値を入力とした場合における前記所定のトーンカーブの出力値であることを特徴とする請求項1又は2に記載の画像処理装置。

請求項4

リニア領域において輝度を一定の比率で圧縮することにより、前記画像データを前記第1のダイナミックレンジから前記第2のダイナミックレンジへと圧縮する第2の圧縮手段と、前記第2の圧縮手段により前記第2のダイナミックレンジへと圧縮された前記画像データの階調特性ローカルトーンマッピング処理により変換する変換手段と、前記第1の圧縮手段及び前記第2の圧縮手段のいずれにより前記画像データを前記第1のダイナミックレンジから前記第2のダイナミックレンジへと圧縮するかを選択する選択手段と、を更に備えることを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。

請求項5

前記第1のダイナミックレンジは、HDR画像のダイナミックレンジであり、前記第2のダイナミックレンジは、SDR画像のダイナミックレンジであることを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。

請求項6

前記第1の圧縮手段は、前記画像データの輝度分布に基づいて前記第2のダイナミックレンジを決定し、前記画像処理装置は、リニア領域において輝度を一定の比率で圧縮することにより、前記第2のダイナミックレンジへと圧縮された前記画像データを前記第2のダイナミックレンジよりも狭い第3のダイナミックレンジへと圧縮する第3の圧縮手段を更に備えることを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。

請求項7

前記第1の圧縮手段は、前記画像データの輝度分布が高輝度に偏っているほど前記第2のダイナミックレンジが広くなるように、前記第2のダイナミックレンジを決定することを特徴とする請求項6に記載の画像処理装置。

請求項8

前記第1のダイナミックレンジは、HDR画像のダイナミックレンジであり、前記第3のダイナミックレンジは、SDR画像のダイナミックレンジであることを特徴とする請求項6又は7に記載の画像処理装置。

請求項9

請求項1乃至8のいずれか1項に記載の画像処理装置と、撮像手段と、前記撮像手段により生成された電気信号に基づいて前記画像データを生成する生成手段と、を備えることを特徴とする撮像装置

請求項10

画像処理装置が実行する画像処理方法であって、第1のダイナミックレンジを持ち所定のトーンカーブが適用された画像データを取得する取得工程であって、前記所定のトーンカーブは前記第1のダイナミックレンジと出力される絶対輝度との関係により視覚特性を表現するトーンカーブである、取得工程と、前記所定のトーンカーブを維持しながら、前記画像データを前記第1のダイナミックレンジから前記第1のダイナミックレンジよりも狭い第2のダイナミックレンジへと圧縮する第1の圧縮工程と、を備えることを特徴とする画像処理方法。

請求項11

コンピュータを、請求項1乃至8のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム

技術分野

0001

本発明は、画像処理装置撮像装置画像処理方法、及びプログラムに関する。

背景技術

0002

近年、ディスプレイ表示輝度が高くなることに伴い、これまで圧縮されていた高輝度側の階調を、より見た目に近い階調で再現できる画像を取得するHDRハイダイナミックレンジカメラシステムが提案されている。HDRカメラシステムで画像を出力する際に使用されるOETFカーブは、HDR規格であるST2084等に記載されたEOTF特性に対して逆特性のカーブである。OETFカーブを使用してカメラ撮影された画像を変換する処理を行うことで、HDRモニタで高輝度側の階調を表示することができる。

0003

しかしながら、HDRモニタとSDRモニタとが混在する環境の中では、HDRカメラシステムで撮影したHDR画像をSDR画像に変換する技術が必要となる。具体的なケースとしては、カメラの背面液晶がSDRモニタの場合や、SDRモニタへの外部出力を実施する場合等が挙げられる。HDR画像をSDR画像に変換する場合、SDR画像の見た目をHDR画像の見た目を近づけるためには、HDR画像で表現できている階調性を保持して、被写体の色相が変化するような色曲りの少ないSDR画像を生成する必要がある。

0004

特許文献1は、暗部から中間輝度にかけてはRGBでトーンマッピング処理を実施し、中間輝度から高輝度にかけてはYUVでトーンマッピング処理を実施することで、HDR画像をSDR画像に変換する技術を開示している。

先行技術

0005

特開2016−225965号公報

発明が解決しようとする課題

0006

しかしながら、特許文献1に開示された技術を用いた場合、輝度信号の値が徐々に変化するような高彩度グラデーションシーン等において、トーンマッピング処理の切り替わり視認可能になり、画質劣化につながる場合があった。

0007

本発明はこのような状況に鑑みてなされたものであり、なるべく画質の劣化を抑制しながら、HDR画像をSDR画像に変換する技術を提供することを目的とする。

課題を解決するための手段

0008

上記課題を解決するために、本発明は、第1のダイナミックレンジを持ち所定のトーンカーブが適用された画像データを取得する取得手段であって、前記所定のトーンカーブは前記第1のダイナミックレンジと出力される絶対輝度との関係により視覚特性を表現するトーンカーブである、取得手段と、前記所定のトーンカーブを維持しながら、前記画像データを前記第1のダイナミックレンジから前記第1のダイナミックレンジよりも狭い第2のダイナミックレンジへと圧縮する第1の圧縮手段と、を備えることを特徴とする画像処理装置を提供する。

発明の効果

0009

本発明によれば、なるべく画質の劣化を抑制しながら、HDR画像をSDR画像に変換することが可能となる。

0010

なお、本発明のその他の特徴及び利点は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

図面の簡単な説明

0011

画像処理装置を含む撮像装置100の構成を示すブロック図。
画像処理部104内のHDR−SDR変換処理に関する構成を示すブロック図。
第1の階調変換部202の詳細な構成を示すブロック図。
第2の階調変換部203の詳細な構成を示すブロック図。
画像処理部104におけるHDR−SDR変換処理のフローチャート
第1の階調変換処理のフローチャート。
第2の階調変換処理のフローチャート。
PQガンマ概念図。
PQスケーリング処理の概念図。
PQスケーリング処理の効果をリニア空間で表現した図。
PQスケーリング処理とリニアスケーリング処理との切り替えの概念図。
HDR画像の輝度分布に基づいて決定される、PQスケーリング処理とリニアスケーリング処理との比率の概念図。
ローカルトーンマッピング処理の概念図。

実施例

0012

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

0013

[第1の実施形態]
図1は、画像処理装置を含む撮像装置100の構成を示すブロック図である。撮像装置100は、撮影した画像を画像処理部104により現像することによりHDR画像を生成する。そして、撮像装置100は、撮影した画像を表示部108等に表示する目的で、画像処理部104によりHDR画像をSDR画像に変換する処理を行う。

0014

なお、HDR画像とは、HDR規格であるST2084等に記載されたOETF特性を適用した画像を指し、SDR画像とは、HDR画像よりも出力レンジが狭い画像を指す。以下の説明では、HDR画像のガンマはST2084のOETF特性(以下、「PQガンマ」とも呼ぶ)であり、HDR画像の色域はRec.2020であるものとする。また、SDR画像のガンマはsRGBガンマであり、SDR画像の色域はsRGBであるものとする。

0015

図1において、光学系101は、ズームレンズフォーカスレンズなどから構成されるレンズ群絞り調整装置、及びシャッター装置を備えている。光学系101は、撮像部102に到達する被写体像倍率ピント位置、及び光量を調整する。撮像部102は、光学系101を通過した被写体の光束を光電変換により電気信号に変換するCCDやCMOSセンサー等の光電変換素子である。A/D変換部103は、入力されたアナログ信号デジタル画像に変換する。

0016

画像処理部104は、通常の信号処理の他に、露光算出処理や、HDR画像をSDR画像に変換する処理(HDR−SDR変換処理)などを行う。画像処理部104は、A/D変換部103から出力された画像のみでなく、記録部109から読み出した画像に対しても同様の画像処理を行うことができる。画像処理部104内のHDR−SDR変換処理に関する構成については、図2を参照して後述する。

0017

露光量制御部105は、画像処理部104によって算出された露光量を実現するために、光学系101及び撮像部102を制御して、絞り、シャッタースピードセンサーアナログゲインを制御する。

0018

システム制御部106は、撮像装置100全体の動作を制御、統括する制御機能部である。また、システム制御部106は、画像処理部104で処理された画像から得られる輝度値や操作部107から送信された指示に基づいて、光学系101や撮像部102の駆動制御も行う。

0019

表示部108は、液晶ディスプレイ有機EL(Electro Luminescence)ディスプレイで構成され、画像処理部104で生成された画像や、記録部109から読み出した画像を表示する。記録部109は、画像を記録する機能を有し、例えば、半導体メモリが搭載されたメモリカードや、光磁気ディスク等の回転記録媒体を収容したパッケージなどを用いた、情報記録媒体を含んでもよい。この情報記録媒体は、撮像装置100に対して着脱可能であってもよい。

0020

バス110は、画像処理部104、システム制御部106、表示部108、及び記録部109の間で画像や情報をやり取りするために用いられる。

0021

図2は、画像処理部104内のHDR−SDR変換処理に関する構成を示すブロック図である。画像処理部104は、階調変換判断部201、第1の階調変換部202、第2の階調変換部203、及び色域変換部204を含む。階調変換判断部201に対する入力画像は、既に画像処理部104により現像されたHDR画像であり、R,G,Bの3成分で構成される。また、色域変換部204からの出力画像は、R,G,Bの3成分で構成されたSDR画像である。

0022

画像処理部104は、様々な条件(例えば、撮像装置100の動作モード、要求される画質、要求される処理速度など)に応じて、SDR画像を生成するための階調変換処理として、第1の階調変換処理又は第2の階調変換処理を選択する。

0023

図5を参照して、画像処理部104におけるHDR−SDR変換処理の詳細について説明する。変換対象の画像データ(HDR画像)が階調変換判断部201に入力されると、図5のフローチャートの処理が開始する。

0024

S501で、階調変換判断部201は、撮像装置100の動作モードが撮影モードであるか否かを判定する。撮影モードの場合、処理はS502へ進み、そうでない場合(例えば再生モードの場合)、処理はS503へ進む。なお、撮影モードの場合、変換対象のHDR画像は、撮影中のHDR画像である。一方、再生モードの場合、変換対象のHDR画像は、記録部109から読み出されたHDR画像である。

0025

S502で、第1の階調変換部202は、HDR画像に対して第1の階調変換処理を行うことにより、HDR画像のガンマからSDR画像のガンマへの変換を行う。第1の階調変換処理は、自然な階調性を持たせた画作りを優先する処理である。また、第1の階調変換処理は、局所的な処理を含まない簡易的な処理で構成される。第1の階調変換処理の詳細については後述する。

0026

S503で、第2の階調変換部203は、HDR画像に対して第2の階調変換処理を行うことにより、HDR画像のガンマからSDR画像のガンマへの変換を行う。第2の階調変換処理は、明るさとコントラスト重視した画作りのための処理である。また、第2の階調変換処理は、局所的な処理で構成される。第2の階調変換処理の詳細については後述する。

0027

S504で、色域変換部204は、第1の階調変換部202又は第2の階調変換部203により階調変換された画像の色域を、SDR画像の色域に変換する処理を行う。この処理については、単純なマトリクス変換による処理であってもよいし、LUTを用いた色域マッピング処理であってもよい。

0028

なお、図5の例では、撮像装置100の動作モードに応じて第1の階調変換処理又は第2の階調変換処理が選択的に実行されているが、選択基準はこの例に限定されない。例えば、撮像装置100の動作モードが再生モードの場合であっても、再生対象のHDR画像の撮影条件に応じて第1の階調変換処理又は第2の階調変換処理を選択するように撮像装置100を構成してもよい。或いは、操作部107を介したユーザからの指示に従って第1の階調変換処理又は第2の階調変換処理を選択するように撮像装置100を構成してもよい。

0029

次に、図3及び図6を参照して、第1の階調変換処理の詳細について説明する。図3は、第1の階調変換部202の詳細な構成を示すブロック図である。第1の階調変換部202は、PQスケーリング処理部301及びガンマ変換部302を含む。

0030

前述した通り、第1の階調変換処理は、自然な階調性を持たせた画作りを優先する処理であり、局所的に処理内容を変えるようなことはせずに、画面一律に共通の階調変換を実施する処理である。

0031

図6は、第1の階調変換処理のフローチャートである。S601で、PQスケーリング処理部301は、入力されたHDR画像に対して、PQガンマによるスケーリング処理(PQスケーリング処理)を実施する。

0032

ここで、図8を参照してPQガンマについて説明する。PQガンマとは、ST2084に規定されるEOTF特性の逆特性(OETF特性)に従うトーンカーブ(ガンマカーブ)であり、視覚特性に基づいて規定されている。図8横軸は、リニア領域入力信号を表し、PQ_IN_MAXは入力された画像のダイナミックレンジにおける最大輝度である。また、図8縦軸は、PQガンマが適用された、絶対輝度に対応付けられた出力信号を表す。従って、PQガンマは、画像データのダイナミックレンジ(第1のダイナミックレンジ)と出力される絶対輝度との関係により視覚特性を表現するトーンカーブであると言える。

0033

なお、本実施形態では、変換対象の画像データの例としてPQガンマが適用されているHDR画像を用いて説明を行う。しかしながら、変換対象の画像データに適用されているトーンカーブは、PQガンマに限定されない。変換対象の画像データに適用されているトーンカーブ(所定のトーンカーブ)は、画像データのダイナミックレンジ(第1のダイナミックレンジ)と出力される絶対輝度との関係により視覚特性を表現する任意のトーンカーブであってよい。また、変換対象の画像データに他の種類のトーンカーブ(例えば、ハイブリットログガンマ)が適用されている場合でも、画像データに対してデガンマとPQガンマへの変換とを行えば、同様のHDR−SDR処理を適用可能である。

0034

図8から理解できるように、PQガンマでは、暗部の信号域801に多くの階調が割り当てられている。PQガンマは、下記の式1により表される。式1において、p_inは、リニア領域におけるR,G,Bの入力信号を0.0〜1.0に正規化した値であり、0.0が0cd/m2の輝度値に対応し、1.0が10000cd/m2の輝度値に対応する。p_outは、ガンマが適用されたR,G,Bの出力信号を0.0〜1.0に正規化した値であり、1.0が出力ビット数に応じた上限値に対応し、0.0が下限値に対応する。例えば、出力ビット数が10bitである場合は、上限値は1023、下限値は0である。

0035

次に、図9を参照して、式1により示されるPQスケーリング処理について説明する。前述した通り、入力されたHDR画像には、図9点線901に示す様なPQガンマが適用されている。HDR画像の入力信号の最大値(ダイナミックレンジにおける最大輝度)をPQ_IN_MAXとすると、PQガンマの出力値は、式1により、最大値がPQ_OUT_MAXで表現されるようなPQガンマになる。

0036

そこで、SDR画像の出力レンジの最大値をPQガンマの出力値で表した値をSDR_MAXとすると、PQガンマをスケーリングする処理は、下記の式2で表される。式2において、p_R,p_G,p_Bは、HDR画像のR,G,Bの信号値を指し、式1によるPQガンマの出力値に相当する。p_s_R,p_s_G,p_s_Bは、PQスケーリング処理後の信号値を指す。

0037

例えば、PQ_IN_MAXが400cd/m2であり、SDR画像の出力レンジの最大値が100cd/m2である場合を考える。この場合、式1においてp_in=0.04(=400/10000)としてp_outを算出することにより、PQ_OUT_MAX(HDR画像のダイナミックレンジの最大値を入力とした場合におけるPQガンマの出力値)を算出することができる。同様に、式1においてp_in=0.01(=100/10000)としてp_outを算出することにより、SDR_MAX(SDR画像のダイナミックレンジの最大値を入力とした場合におけるPQガンマの出力値)を算出することができる。

0038

式2を図9で示したものが、実線902である。PQスケーリング処理によれば、式2で示した固定ゲインkにより点線901の特性が一律の割合で圧縮される。このようにダイナミックレンジの圧縮を行う場合、PQガンマの特性により、暗部の信号域903の階調が多く残る。また、R,G,Bの信号に共通のゲインが掛かる為、階調変換により被写体の色相が変化する様な、いわゆる色曲りが起きにくい。このように、PQスケーリング処理は、PQガンマ(所定のトーンカーブ)を維持しながら、画像データのダイナミックレンジを圧縮する処理である。図9の場合、画像データに対してSDR_MAX/PQ_OUT_MAX(「第2の値/第1の値」)を乗じることにより、画像データをHDR画像のダイナミックレンジからSDR画像のダイナミックレンジへと圧縮する処理が行われている。

0039

図10は、PQスケーリング処理の効果をリニア空間で表現した図である。図10において、横軸はリニア領域の入力信号を表し、縦軸はリニア領域の出力信号を表す。HDR画像の入力信号の最大値をIN_RANGE、SDR画像の出力信号の最大値をOUT_RANGEとすると、HDR画像の階調特性を示した点線1001に対し、PQスケーリング処理の特性は実線1002となる。一点鎖線1003は、0〜IN_RANGEのレンジを0〜OUT_RANGEのレンジに線形に圧縮するスケーリング処理(リニア領域において輝度を一定の比率で圧縮することにより、画像データのダイナミックレンジを圧縮する処理)の特性を示す。このようなスケーリング処理を、以下ではリニアスケーリング処理と呼ぶ。リニアスケーリング処理の特性を示す一点鎖線1003に対し、PQスケーリング処理の特性を示す実線1002では、暗部側が明るく表現され、高輝度側になるにつれ、徐々に階調の傾きが小さくなるのが分かる。

0040

なお、上の説明では、第1の階調変換処理が、画像データをHDR画像のダイナミックレンジからSDR画像のダイナミックレンジへと圧縮するPQスケーリング処理を含むものとした。しかしながら、高輝度側のコントラストを重視したい場合には、必要な圧縮の一部又は全部をPQスケーリング処理の代わりにリニアスケーリング処理により行ってもよい。いずれの方法を用いるかはユーザ操作に基づき選択されてもよいし、以下のような方法で選択されてもよい。

0041

例えば、第1の階調変換部202は、HDR画像のヒストグラム解析することにより、PQスケーリング処理とリニアスケーリング処理のいずれによりHDR画像のダイナミックレンジからSDR画像のダイナミックレンジへの圧縮を行うかを選択する。例えば、図11(a)に示すように暗部被写体が多いシーンでは、第1の階調変換部202は、図11(b)の実線1101に示すようにPQスケーリング処理を使用する。一方、図11(c)に示すように高輝度被写体が多いシーンでは、第1の階調変換部202は、図11(d)の実線1102に示すようにリニアスケーリング処理を使用する。なお、PQスケーリング処理は図6のS601においてPQスケーリング処理部301により行われるが、リニアスケーリング処理は後述する図6のS602においてガンマ変換部302により行われる。

0042

また、図12に示すように、第1の階調変換部202は、高輝度被写体の割合(HDR画像の輝度分布)に基づいて、PQスケーリング処理とリニアスケーリング処理との比率を決定してもよい。具体的には、第1の階調変換部202は、図12(a)に示すようにHDR画像のヒストグラムを解析し、予め決められた閾値TH以上の輝度を持つ高輝度領域の割合1201を算出する。次に、第1の階調変換部202は、図12(b)に示すグラフに従って、リニアスケーリング処理の係数(リニアスケーリング係数j)を決定する。図12(b)において、横軸は高輝度領域の割合を表し、縦軸はリニアスケーリング係数jを表す。

0043

リニアスケーリング係数jは、リニアスケーリング処理における、入力信号に対する出力信号の比率に対応する。従って、j=1.0の場合、リニアスケーリング処理は行われずPQスケーリング処理のみが行われる。一方、j=OUT_RANGE/IN_RANGEの場合、リニアスケーリング処理のみが行われPQスケーリング処理は行われない。図12(b)から理解できるように、高輝度領域の割合が大きいほど、リニアスケーリング係数jが小さくなり、リニアスケーリング処理の比率が大きくなる。

0044

例えば、j=0.5、IN_RANGE=400cd/m2、OUT_RANGE=100cd/m2の場合を考える。この場合、100cd/m2×(1/j)=200cd/m2である。そのため、PQスケーリング処理部301は、図9及び式2に示すPQスケーリング処理において、SDR_MAXの代わりに、200cd/m2をPQガンマの出力値で表した値を用いる。より具体的には、PQスケーリング処理部301は、式1においてp_in=0.02(=200/10000)としてp_outを算出する。こうして算出されるp_outをp_out_200と表記する。PQスケーリング処理部301は、式2のPQスケーリング係数kとして、SDR_MAX/PQ_OUT_MAXの代わりに、p_out_200/PQ_OUT_MAXを用いる。このようなPQスケーリング処理により、入力画像の最大輝度が400cd/m2から200cd/m2へと圧縮される。従って、その後のj=0.5のリニアスケーリング処理により、最大輝度が最終的に100cd/m2へと圧縮される。

0045

このように、第1の階調変換部202は、HDR画像の輝度分布に基づいて中間のダイナミックレンジを決定してもよい。この場合、第1の階調変換部202は、PQスケーリング処理によりHDR画像のダイナミックレンジから中間のダイナミックレンジへの圧縮を行い、リニアスケーリング処理により中間のダイナミックレンジからSDR画像のダイナミックレンジへの圧縮を行う。

0046

図6戻り、S602で、ガンマ変換部302は、S601においてPQスケーリング処理が行われた画像に対し、SDR画像のガンマへの変換処理を行う。ガンマ変換処理については、入力画像をデガンマしてリニア信号に変換した後、目的のガンマ(ここではSDR画像のガンマ)を適用するなどの、一般的な手法を用いることができる。また、前述のようにリニアスケーリング処理を併用する(又はPQスケーリング処理をリニアスケーリング処理に置き換える)場合には、ガンマ変換部302は、リニアスケーリング係数jに従ってリニアスケーリング処理を行う。

0047

次に、図4及び図7を参照して、第2の階調変換処理の詳細について説明する。図4は、第2の階調変換部203の詳細な構成を示すブロック図である。第2の階調変換部203は、ガンマ変換部401及びローカルトーンマッピング処理部402を含む。

0048

前述した通り、第2の階調変換処理は、明るさとコントラストを重視しており、局所的に階調特性を変化させるようなローカルトーンマッピング処理を実施する。また、システム面においては、ローカルトーンマッピング処理を実施するために、入力画像から低周波画像被写体判別結果を生成したりするため、第1の階調変換処理に比べ、メモリ帯域や処理時間を多く必要とする。

0049

図7は、第2の階調変換処理のフローチャートである。S701で、ガンマ変換部401は、入力されたHDR画像に対し、SDR画像のガンマへの変換処理を行う。ガンマ変換処理については、前述のS602の処理と同様なので、説明は省略する。但し、S701では、ガンマ変換処理に伴い、HDR画像のダイナミックレンジからSDR画像のダイナミックレンジへのリニアスケーリング処理も行われる。

0050

S702で、ローカルトーンマッピング処理部402は、S701においてガンマ変換が行われた画像に対し、ローカルトーンマッピング処理を行う。ローカルトーンマッピング処理では、暗部や明部の明るさを変化させつつ、階調圧縮等が起きる輝度域に対してコントラストを高める処理を実施する。ローカルトーンマッピング処理では、異なる周波数帯域の画像や領域の判別結果を用いて、局所的に階調特性が変化する様なゲインMAPを生成し、ゲインMAPを参照しながら階調処理を実施するような一般的な手法を用いることができる。

0051

図13を参照して、S702のローカルトーンマッピング処理の一例について説明する。ローカルトーンマッピング処理については、例えば特開2014−154108号公報に開示されているような方法を用いることができる。

0052

図13は、ローカルトーンマッピングで使用する階調特性の一例である。入力信号は、S701でSDRガンマに変換された信号であり、出力信号は、ローカルトーンマッピング処理の目標となる出力信号である。SDRガンマに変換された信号は、図10の一点鎖線1003に示すように、広いダイナミックレンジの信号をSDRのレンジに収めているため、HDR画像で表現されていた明るさに比べて一律に暗くなる。そのため、ローカルトーンマッピング処理部402は、図13の階調特性1302に示すように、元の階調特性1301に対し、低輝度から中輝度を明るく補正する特性を作成する。

0053

入力信号をx、出力信号をyとして、階調特性1302を式で表すと、下記の式3のようになる。式3において、tm()は階調特性1302を表している。
y=tm(x) …(3)

0054

ガンマ変換後画像信号をpとし、ガンマ変換後の画像信号に対しLPF処理などで生成した低周波画像をp_lpfとすると、ローカルトーンマッピングによる出力信号p_outは、下記の式4で表される。

0055

以上説明したように、第1の実施形態によれば、撮像装置100は、PQガンマ(所定のトーンカーブ)を維持しながら、取得した画像データをHDR画像のダイナミックレンジからSDR画像のダイナミックレンジへと圧縮する階調変換を行う。これにより、なるべく画質の劣化を抑制しながら、HDR画像をSDR画像に変換することが可能となる。

0056

また、第1の実施形態では、撮像装置100の動作モードが撮影モードか再生モードかに応じて第1の階調変換処理と第2の階調変換処理を使い分けることとしたが、それは以下の理由による。

0057

第1に、PQガンマをスケーリングする第1の階調変換処理は、周波数の異なる画像を用いて局所的に階調を変化させる第2の階調変換処理よりも演算などによる処理負荷が少ない。従って、階調変換処理以外にも負荷の高い処理が比較的多い撮影モードにおいては第1の階調変換処理を行い、処理負荷が比較的低い再生モードにおいては第2の階調変換処理を行うこととした。

0058

第2に、両者を比較した場合、第1の階調変換処理はHDR画像の階調を極力維持した階調変換であるのに対し、第2の階調変換処理は画像に応じた画作りを行った階調変換といえる。従って、撮影モードにおける表示、つまりライブビュー表示を行う場合は第1の階調変換処理を行い、変換前の階調を極力維持することでユーザが画面を見ながら露出調整などを正しく行えるようにしている。これに対し再生モードの場合は、最終的な画作りが行われた画像がどのようになるかを確認できるよう、第2の階調変換処理を行うこととした。

0059

なお、第1の実施形態では撮影モードの処理負荷の大きさに鑑みて、撮影モードである場合は第1の階調変換処理を行う構成とした。従って、撮影直後に確認のために自動的に画像を表示する場合(いわゆるレックレビュー表示)も、第1の階調変換処理を行うこととする。しかし、既に撮影され現像された画像を確認するという意味で、撮影モードであってもレックレビュー表示の場合は第2の階調変換処理を行うようにしてもよい。

0060

[その他の実施形態]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。

0061

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

0062

100…撮像装置、101…光学系、102…撮像部、103…A/D変換部、104…画像処理部、105…露光量制御部、106…システム制御部、107…操作部、108…表示部、109…記録部、110…バス

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 株式会社マーケットヴィジョンの「 画像補正処理システム」が 公開されました。( 2020/12/17)

    【課題】画像情報について自動的に補正処理を行い、オペレータの作業負担を軽減し、また処理時間も減らすことができる画像補正処理システムを提供する。【解決手段】画像補正処理システムは、画像情報において輪郭線... 詳細

  • ソニー株式会社の「 撮像装置および方法、並びに、画像処理装置および方法」が 公開されました。( 2020/12/17)

    【課題・解決手段】本技術は、画像の不正な利用や改竄を、より容易に抑制することができるようにする撮像装置および方法、並びに、画像処理装置および方法に関する。撮像レンズ及びピンホールのいずれも介さずに入射... 詳細

  • ソニー株式会社の「 撮像装置および信号処理装置」が 公開されました。( 2020/12/17)

    【課題・解決手段】本開示は、撮像装置の適用範囲を拡大することができるようにする撮像装置および信号処理装置に関する。撮像装置は、撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光し... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ