図面 (/)

技術 画像処理装置、画像処理方法およびプログラム

出願人 キヤノン株式会社
発明者 高橋耕生
出願日 2017年7月13日 (4年7ヶ月経過) 出願番号 2017-137337
公開日 2018年4月12日 (3年10ヶ月経過) 公開番号 2018-061233
状態 特許登録済
技術分野 FAX画像信号回路 スタジオ装置
主要キーワード センサー特性 ND値 絶対輝度値 センサー出力値 画像撮像機器 空間周波数毎 撮像センサー 視覚モデル
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2018年4月12日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (16)

課題

視覚的な階調段差の発生を抑制しつつ階調潰れを低減可能な階調変換特性を決定する。

解決手段

M階調の入力画像をN階調の出力画像に変換するための階調変換特性を決定する画像処理装置は、入力画像の第i階調に対応する輝度値Y(i)と第(i+d)階調に対応する輝度値Y(i+d)との差が所与閾値を超えない最大のdを決定し、当該決定されたdに基づいて、入力画像の第i階調及び第(i+d)階調が出力画像の第j階調及び第(j+1)階調にそれぞれ対応するように階調変換特性を設定する。

概要

背景

近年、デジタルカメラ等の画像入力機器において、撮影可能な輝度レンジであるダイナミックレンジ(以下Dレンジと記す)の拡大が進んでいる。一般的に、撮影Dレンジの拡大に伴い、撮影した画像データの記録、伝送に必要なビット数が増加する。例えば、Dレンジ100:1の輝度リニアの画像を記録する場合、1画素あたりのbit数は、通常の8bit(=256)階調で十分である。しかしながら、Dレンジを10000:1に拡張した場合、最低でも14bit(=15384)階調が必要となる。

Dレンジの広い画像はデータ量が大きくなるため、画像をより少ないbit数で量子化する技術が提案されている。例えば、特許文献1では、JND(Just Noticeable Difference)と呼ばれる、人間の輝度弁別能力を考慮し、非線形な量子化を行う技術が開示されている。具体的には、暗い輝度領域では細かく明るい輝度領域では粗く量子化することにより、視覚的に階調段差を生じさせない量子化を行う方法が開示されている。

概要

視覚的な階調段差の発生を抑制しつつ階調潰れを低減可能な階調変換特性を決定する。M階調の入力画像をN階調の出力画像に変換するための階調変換特性を決定する画像処理装置は、入力画像の第i階調に対応する輝度値Y(i)と第(i+d)階調に対応する輝度値Y(i+d)との差が所与閾値を超えない最大のdを決定し、当該決定されたdに基づいて、入力画像の第i階調及び第(i+d)階調が出力画像の第j階調及び第(j+1)階調にそれぞれ対応するように階調変換特性を設定する。

目的

本発明はこのような問題を鑑みてなされたものであり、より好適な画像の階調変換階調圧縮)を可能とする技術を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

階調入力画像をN階調(ただしM>N)の出力画像に変換するための階調変換特性を決定する画像処理装置であって、前記入力画像の第i階調に対応する輝度値Y(i)と第(i+d)階調に対応する輝度値Y(i+d)との差が所与閾値を超えない最大のd(ただしdは正整数)を決定する決定手段と、前記決定手段により決定されたdに基づいて、前記入力画像の第i階調及び第(i+d)階調が前記出力画像の第j階調及び第(j+1)階調にそれぞれ対応するように、前記階調変換特性を設定する設定手段と、を有することを特徴とする画像処理装置。

請求項2

M階調の入力画像をN階調(ただしM>N)の出力画像に変換するための階調変換特性を決定する画像処理装置であって、所定の輝度閾値より小さい輝度範囲において、前記入力画像の第i階調及び第(i+1)階調が前記出力画像の第j階調及び第(j+1)階調にそれぞれ対応するように階調変換特性を設定する第1の設定手段と、前記所定の輝度閾値以上の輝度範囲において、前記入力画像の第i階調に対応する輝度値Y(i)と第(i+d)階調に対応する輝度値Y(i+d)との差が所与の閾値を超えない最大のd(ただしdは2以上の正整数)を決定し、前記入力画像の第i階調及び第(i+d)階調が前記出力画像の第j階調及び第(j+1)階調にそれぞれ対応するように階調変換特性を設定する第2の設定手段と、を有することを特徴とする画像処理装置。

請求項3

前記入力画像は撮像装置により撮像された画像であり、前記画像処理装置は、前記入力画像を撮像した際の前記撮像装置における撮像条件を取得する取得手段と、前記撮像条件に基づいて、前記入力画像における各階調に対する輝度値の対応関係導出する導出手段と、を更に有し、前記第1の設定手段及び前記第2の設定手段は、前記対応関係に基づいて階調変換特性を設定することを特徴とする請求項2に記載の画像処理装置。

請求項4

前記入力画像は撮像装置により撮像された画像であり、前記画像処理装置は、前記入力画像を撮像した際の前記撮像装置における撮像条件を取得する取得手段と、前記撮像装置における複数の撮像条件に対応する複数の階調変換特性を記憶する記憶手段と、を更に有し、前記第1の設定手段及び前記第2の設定手段は、前記複数の階調変換特性から前記撮像条件に対応する1つの階調変換特性を選択することを特徴とする請求項2に記載の画像処理装置。

請求項5

前記所与の閾値は、輝度値に関する所定の関数係数kを乗じて得られる値であり、前記階調変換特性において、前記入力画像における第(M−1)階調と前記出力画像における第(N−1)階調とが対応するように前記係数kを決定する係数決定手段を更に有することを特徴とする請求項1乃至4の何れか1項に記載の画像処理装置。

請求項6

前記所定の関数は、人間が弁別可能な最小の輝度差を表す関数であることを特徴とする請求項5に記載の画像処理装置。

請求項7

前記所定の関数は前記出力画像を処理する画像出力機器再現可能な最小の輝度差を表す関数であることを特徴とする請求項5に記載の画像処理装置。

請求項8

前記入力画像の階調特性は、該入力画像を生成した撮像装置の階調特性に基づいていることを特徴とする請求項1乃至7の何れか1項に記載の画像処理装置。

請求項9

前記階調変換特性に基づいて前記入力画像を前記出力画像に変換する画像処理手段を更に有することを特徴とする請求項1乃至8の何れか1項に記載の画像処理装置。

請求項10

M階調の入力画像をN階調(ただしM>N)の出力画像に変換するための階調変換特性を決定する画像処理方法であって、前記入力画像の第i階調に対応する輝度値Y(i)と第(i+d)階調に対応する輝度値Y(i+d)との差が所与の閾値を超えない最大のd(ただしdは正整数)を決定する決定工程と、前記決定工程により決定されたdに基づいて、前記入力画像の第i階調及び第(i+d)階調が前記出力画像の第j階調及び第(j+1)階調にそれぞれ対応するように、前記階調変換特性を設定する設定工程と、を含むことを特徴とする画像処理方法。

請求項11

M階調の入力画像をN階調(ただしM>N)の出力画像に変換するための階調変換特性を決定する画像処理方法であって、所定の輝度閾値より小さい輝度範囲において、前記入力画像の第i階調及び第(i+1)階調が前記出力画像の第j階調及び第(j+1)階調にそれぞれ対応するように前記階調変換特性を設定する第1の設定工程と、前記所定の輝度閾値以上の輝度範囲において、前記入力画像の第i階調に対応する輝度値Y(i)と第(i+d)階調に対応する輝度値Y(i+d)との差が所与の閾値を超えない最大のd(ただしdは正整数)を決定し、前記入力画像の第i階調及び第(i+d)階調が前記出力画像の第j階調及び第(j+1)階調にそれぞれ対応するように前記階調変換特性を設定する第2の設定工程と、を含むことを特徴とする画像処理方法。

請求項12

コンピュータを、請求項1乃至9の何れか1項に記載の画像処理装置の各手段として機能させるためのプログラム

技術分野

0001

本発明は、画像の階調変換処理に関するものである。

背景技術

0002

近年、デジタルカメラ等の画像入力機器において、撮影可能な輝度レンジであるダイナミックレンジ(以下Dレンジと記す)の拡大が進んでいる。一般的に、撮影Dレンジの拡大に伴い、撮影した画像データの記録、伝送に必要なビット数が増加する。例えば、Dレンジ100:1の輝度リニアの画像を記録する場合、1画素あたりのbit数は、通常の8bit(=256)階調で十分である。しかしながら、Dレンジを10000:1に拡張した場合、最低でも14bit(=15384)階調が必要となる。

0003

Dレンジの広い画像はデータ量が大きくなるため、画像をより少ないbit数で量子化する技術が提案されている。例えば、特許文献1では、JND(Just Noticeable Difference)と呼ばれる、人間の輝度弁別能力を考慮し、非線形な量子化を行う技術が開示されている。具体的には、暗い輝度領域では細かく明るい輝度領域では粗く量子化することにより、視覚的に階調段差を生じさせない量子化を行う方法が開示されている。

先行技術

0004

特開2015−159543号公報

発明が解決しようとする課題

0005

しかしながら、上述の特許文献1に記載の技術においては、実際の画像機器(例えば撮像センサー)のAD変換における量子化bit数等を考慮していないため、必ずしも使用する画像機器に最適化されていない。

0006

本発明はこのような問題を鑑みてなされたものであり、より好適な画像の階調変換階調圧縮)を可能とする技術を提供することを目的とする。

課題を解決するための手段

0007

上述の問題点を解決するため、本発明に係る画像処理装置は以下の構成を備える。すなわち、M階調の入力画像をN階調(ただしM>N)の出力画像に変換するための階調変換特性を決定する画像処理装置は、前記入力画像の第i階調に対応する輝度値Y(i)と第(i+d)階調に対応する輝度値Y(i+d)との差が所与閾値を超えない最大のd(ただしdは正整数)を決定する決定手段と、前記決定手段により決定されたdに基づいて、前記入力画像の第i階調及び第(i+d)階調が前記出力画像の第j階調及び第(j+1)階調にそれぞれ対応するように、前記階調変換特性を設定する設定手段と、を有する。

0008

あるいは、M階調の入力画像をN階調(ただしM>N)の出力画像に変換するための階調変換特性を決定する画像処理装置は、所定の輝度閾値より小さい輝度範囲において、前記入力画像の第i階調及び第(i+1)階調が前記出力画像の第j階調及び第(j+1)階調にそれぞれ対応するように前記階調変換特性を設定する第1の設定手段と、前記所定の輝度閾値以上の輝度範囲において、前記入力画像の第i階調に対応する輝度値Y(i)と第(i+d)階調に対応する輝度値Y(i+d)との差が所与の閾値を超えない最大のd(ただしdは正整数)を決定し、前記入力画像の第i階調及び第(i+d)階調が前記出力画像の第j階調及び第(j+1)階調にそれぞれ対応するように前記階調変換特性を設定する第2の設定手段と、を有する。

発明の効果

0009

本発明によれば、より好適な画像の階調変換を可能とする技術を提供することができる。

図面の簡単な説明

0010

第1実施形態に係る画像処理装置の構成を示すブロック図である。
第1実施形態における画像処理装置の処理を示すフローチャートである。
Bartenモデルに基づくJND算出を説明する図である。
第1実施形態にて算出した階調変換特性の一例を示す図である。
ルックアップテーブル(LUT)を用いた階調変換処理を説明する図である。
第2実施形態に係る画像処理装置の構成を示すブロック図である。
第2実施形態における画像処理装置の処理を示すフローチャートである。
第1及び第2実施形態における閾値の違いを示す図である。
第3実施形態に係る画像処理装置の構成を示すブロック図である。
第3実施形態における画像処理装置の処理を示すフローチャートである。
階調変換特性の算出方法を説明する図である。
算出した階調変換特性を説明する図である。
露出の違いによる階調変換特性の違いを説明する図である。
第4実施形態に係る画像処理装置の構成を示すブロック図である。
第4実施形態における画像処理装置の処理を示すフローチャートである。

実施例

0011

以下に、図面を参照して、この発明の好適な実施の形態を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。

0012

(第1実施形態)
本発明に係る画像処理装置の第1実施形態として、M階調の入力画像をN階調(ただしM>N)の出力画像に階調変換(階調圧縮)する画像処理装置を例に挙げて以下に説明する。

0013

装置構成
図1は、第1実施形態に係る画像処理装置の構成を示すブロック図である。上述のように、画像処理装置1は、M階調で表された入力画像をN階調の出力画像に変換するための階調変換特性を算出する装置である。また、変換特性記憶部2は、画像処理装置1が算出した階調変換特性、すなわち、入力階調値および当該入力階調値に対応する出力階調値を記憶する装置である。

0014

条件設定部3は、階調変換特性算出における条件を設定する。入力階調設定部4は、算出対象となる入力階調値を設定する。入力輝度値算出部5は、設定された入力階調値に対する輝度値を算出する。入力輝度差算出部6は、入力階調値における1階調分の輝度差を算出する。JND算出部7は、入力階調値に対応する輝度値における、弁別可能な輝度差であるJNDを算出する。

0015

輝度差比較部8は、入力輝度差算出部6にて算出した入力階調1階調分の輝度差と、JND算出部7にて算出したJNDとを比較する。例えば大小関係を判定する。出力階調設定部9は、輝度差比較部8における比較結果に基づき、入力階調値に対応する出力階調値を設定する。

0016

<装置の動作>
図2は、第1実施形態における画像処理装置の処理を示すフローチャートである。

0017

S201では、条件設定部3は、階調変換特性を算出するために必要な条件である、入力階調数および出力階調数の設定を行う。ここでは、入力階調数としてM、出力階調数としてNを設定する(ただし、M>N)。S202では、条件設定部3は、JNDの係数kの初期値を設定する(係数決定手段)。ここでは、k=1を設定する。

0018

S203では、入力階調設定部4は、階調変換特性を算出するための、対象となる入力階調値n(第i階調)の初期値を設定する。ここでは、n=0を設定する。S204では、出力階調設定部9は、初期値(n=0)の入力階調値に対する出力階調値mの初期値を設定する。ここでは、m=0を設定する。S205では、入力階調設定部4は、入力階調ステップΔnの初期値(正整数d)を設定する。ここでは、Δn=1を設定する。

0019

S206では、入力輝度値算出部5は、入力階調値がn、(n+Δn)の場合の輝度値Yin(n)、Yin(n+Δn)を算出する。S207では、輝度差算出部8は、入力輝度値Yin(n)とYin(n+Δn)との輝度差ΔYinを、以下の数式(1)を用いて算出する。

0020

0021

S208では、JND算出部7は、入力階調値がnの場合の輝度値Yin(n)における、輝度値に関する所定の関数としてのJND値を算出する。算出の詳細については後述する。

0022

S209では、輝度差比較部8は、S207にて算出した輝度差ΔYinと、S208にて算出したJNDにS202にて設定した係数kを掛けた値である所与の閾値(k×JND)と、を比較する。この時、ΔYinの値が(k×JND)以上であればS211に進み、そうでなければS210に進む。S210では、出力階調設定部9は、Δnの値を1カウントずつ増加させる。そして、輝度値Yin(n)とYin(n+Δn)との輝度差ΔYinが所与の閾値(k×JND)を超えない最大のΔn値を算出し、S211に進む。S211では、出力階調設定部9は、出力階調値(m+1)に対応する入力階調値を(n+Δn)に設定し、変換特性記憶部2に記憶する。すなわち、入力画像における第i階調及び第(i+d)階調が出力画像の第j階調及び第(j+1)階調にそれぞれ対応するように設定する。

0023

S212では、出力階調設定部9は、出力階調値(m+1)が、出力階調値の最大値Mに達したかどうかを判断する。最大値Mに達していれば、S214に進み、達していなければ、S213にて入力階調値n、mの値をそれぞれ(n+Δn)、(m+1)に変更し、S205に戻る。

0024

S214では、入力階調設定部4は、入力階調値がS201にて設定した値Nに等しいかとかを判断し、等しければ処理を終了し、そうでなければS215に進む。S215では、(n+Δn)の値がNよりも大きければ、S216に進み、小さければS217に進む。

0025

S216では、条件設定部3は、JNDの係数kの値に予め設定した値(Δk)を加算した値で係数kを更新し、S203に戻る。S217では、条件設定部3は、JNDの係数kの値から予め設定した値(Δk)を減算した値で係数kを更新し、S203に戻る。

0026

<JND算出方法>
ある輝度値に対し弁別可能な最小の輝度差(JND)を算出するための視覚モデルが知られている。例えば、Weberの法則と呼ばれるモデルでは、ある輝度値Yに対するJND(ΔY)は、その比率で求められるとしており、数式(2)によりモデル化されている。

0027

0028

数式(2)において、定数constantに適切な値を設定することにより、輝度値Yに対するJNDを算出することが出来る。

0029

一方、JNDの算出方法は、上述のWerberの法則から算出する方法に限定されるものではない。例えば、Bartenモデルと呼ばれる視覚のコントラスト感度から算出する方法もある。Bartenモデルによる視覚のコントラスト感度は、数式(3)によりモデル化されている。

0030

ここで、各パラメータは例えば以下のように設定される。

0031

0032

図3は、Bartenモデルに基づくJND算出を説明する図である。数式(3)から、図3(a)に示すように、輝度値、および空間周波数毎の視覚のコントラスト感度S(L,u)が算出される。このとき、数式(4)に示すように、最もコントラスト感度の高い空間周波数を用い、その時のコントラスト感度の逆数を算出することにより、図3(b)に示すような、任意の輝度値でのJNDを算出する方法もある。すなわち、要求される精度でのJND値を算出可能な方法であれば、任意の視覚モデルを使用することが可能である。

0033

0034

<階調変換特性>
ここで、第1実施形態により算出される階調変換特性に関して説明する。ここでは、入力データの階調は14bit(=16384)階調で表され、入力階調値と輝度値の関係が線形に対応し、最大輝度は800cd/m2であるとする。この入力階調に対し、10bit(=1024)階調の出力階調を割り当てるとする。

0035

この時、入力階調値n、(n+1)に対応する輝度値Yin(n)、Yin(n+1)の輝度差ΔYin(n,n+1)を、数式(1)により算出する。

0036

図4は、第1実施形態にて算出した階調変換特性の一例を示す図である。図4(a)の曲線401は、数式(1)により算出される入力階調における各階調の輝度差を示している。例えば、入力画像の入力階調の特性は、当該入力画像を生成した撮像装置階調特性に基づいている。また、図4(a)の曲線402は、Bartenのモデルにより算出したJNDを示している。

0037

第1実施形態においては、曲線401および曲線402の交点の輝度値(Yc)を所定の輝度閾値とし、輝度値が所定の輝度閾値よりも小さい輝度範囲においては、入力階調の階調差(輝度差)をそのまま出力階調の階調差(輝度差)に割り当てる。一方、輝度値が所定の輝度閾値以上の輝度範囲においては、入力階調が1カウント増加しても、その輝度差は視覚的に弁別できない。そのため、出力階調の階調差を、輝度差が視覚的に弁別できない値まで増加させる。

0038

図4(b)は、上述のようにして算出した階調変換特性(入出力階調対応関係)を示している。また、図4(c)は、図4(b)の出力階調における輝度と1階調分の輝度差との関係を示している。

0039

図4(c)から理解されるように、第1実施形態によれば、Ycよりも小さな輝度範囲では、入力データの階調差をそのまま出力する。一方、Ycよりも大きな輝度範囲では、出力階調の階調差が、入力データの階調差を超えない階調となるように階調変換を行うこととなる。

0040

階調変換方法
上述の説明においては階調変換特性の算出方法について述べた。実際の階調変換処理にあたっては、上述の手法により入力階調の各階調値に対応する出力階調値を予め算出しておき、ルックアップテーブル(以下LUTと記す)の形式で保存し利用するよう構成するとよい。

0041

図5は、LUTを用いた階調変換処理を説明する図である。階調変換部502は、階調変換処理の対象となる入力画像データを入力画像データ記憶部501から取得する。そして、階調変換部502は、LUT記憶部503に保存しておいたLUTを参照し、入力画像データに含まれる各階調値に対応する出力階調値を算出し、出力画像データとして出力画像データ記憶部504に格納する。

0042

以上説明したとおり第1実施形態によれば、人間の視覚特性(JND)を考慮して階調間の輝度差を決定する。これにより、視覚的な階調段差の発生を抑制しつつ階調潰れを低減可能な効率的な階調変換特性を決定することが可能となる。

0043

(第2実施形態)
第2実施形態では、変換特性を決定する他の形態について説明する。具体的には、第2実施形態では、輝度差の閾値として第1実施形態における視覚特性であるJNDを用いる代わりに画像出力機器撮像素子など)の階調再現特性を用いる。

0044

<装置構成>
図6は、第2実施形態に係る画像処理装置の構成を示すブロック図である。なお、条件設定部3〜入力輝度差算出部6および輝度差比較部8〜出力階調設定部9は、図1の同名の機能部と同様であるため説明を省略する。

0045

画像処理装置601は、第1実施形態と同様に、M階調で表された入力画像をN階調の出力画像に変換するための階調変換特性を算出する装置である。機器特性記憶部602は、階調変換の入力及び出力の対象となる画像入力機器および画像出力機器それぞれの階調特性を記憶する。出力輝度差算出部603は、機器特性記憶部602に記憶されている、画像出力機器の階調特性における出力階調の輝度差を算出する。

0046

図7は、第2実施形態における画像処理装置の処理を示すフローチャートである。なお、S203〜S207、S211〜S217は、第1実施形態と同様であるため、説明を省略する。

0047

S701では、条件設定部3は、階調変換の対象となる入力機器及び出力機器の階調特性を機器特性記憶部602から取得する。ここで、入力機器の階調特性としては、例えば、デジタルカメラ等の画像撮像機器から出力される映像信号の階調特性を取得する。すなわち、被写体の輝度値と入力階調値との関係を取得する。また、出力機器の階調特性としては、例えば、液晶ディスプレイ等の画像表示装置に入力される映像信号の階調特性を取得する。すなわち、出力階調値と発光輝度値との関係を取得する。S702では、条件設定部3は、ΔYoutの係数kの初期値を設定する。ここでは、k=1を設定する。

0048

S708では、輝度差算出部8は、輝度値Yin(n)に対応する出力機器の階調値mを算出する。その後、出力機器における階調値m、(m+1)に対する発光輝度Yout(m)、Yout(m+1)の輝度差ΔYoutを、数式(1)を用いて算出する。

0049

S709では、輝度差比較部8は、S207にて算出した入力階調の輝度差ΔYinと、S708にて算出したΔYoutに係数kを掛けた値(k×ΔYout)と、を比較する。この時、ΔYinの値が(k×ΔYout)以上であればS211に進み、そうでなければS710に進む。S710では、出力階調設定部9は、Δnの値を1カウントずつ増加させる。そして、入力輝度値Yin(n)とYin(n+Δn)との輝度差ΔYinが(k×ΔYout)を超えない最大のΔn値を算出し、S211に進む。

0050

<閾値の設定>
第1実施形態においては、階調段差の判断のための閾値として、視覚の弁別輝度であるJNDを用いる形態について説明した。第2実施形態においては、出力機器の階調再現特性、具体的には出力機器が再現可能な最小の輝度差(ΔYout)を用いている。この方法は、入力機器に加え出力機器の特性も特定可能な場合に有効である。

0051

図8は、第1実施形態における閾値及び第2実施形態における閾値の違いを示す図である。曲線801は入力機器の階調特性、曲線802はJND、曲線803は、出力機器の階調特性をそれぞれ示している。

0052

JNDに基づいて閾値を設定する第1実施形態では、Y1より小さい輝度範囲において入力階調の階調差(輝度差)をそのまま出力階調の階調差に割り当てることになる。しかしながら、この場合、入力階調の輝度差を当該出力機器では再現できない範囲(Y2〜Y1の範囲)が存在することになる。すなわち、Y2〜Y1の輝度範囲においては、再現可能な階調よりも、細かいピッチで出力階調値を設定してしまうため、階調の無駄が生じてしまう。

0053

そこで、第2実施形態では、出力機器の特性(曲線803)を考慮し、Y2より小さい輝度範囲において入力階調の階調差(輝度差)をそのまま出力階調の階調差に割り当てる。そして、Y2より大きい輝度範囲においては、曲線803を超えない範囲で最大の輝度差となる複数ステップの入力階調の階調差を出力階調の階調差に割り当てる。

0054

以上説明したとおり第2実施形態によれば、入力機器及び出力機器の双方の階調特性を考慮して、階調段差の判断のための閾値を設定する。この構成により、より効率的に、入力階調を少ない出力階調に変換することが可能となる。

0055

(第3実施形態)
第3実施形態では、入力画像を撮影した際の撮像条件露出条件)に基づき、入力データの各階調に対する絶対輝度の対応関係を算出する。そして、入力階調1階調分の輝度差とJNDに基づいて階調変換特性を算出し階調変換処理を行う形態について説明する。

0056

<装置構成>
図9は、第3実施形態に係る画像処理装置の構成を示すブロック図である。画像処理装置901は、M階調で表された画像データをN階調の画像データに変換する装置である。画像取得装置902は、デジタルカメラ等の、画像データを取得する装置である。

0057

画像入力部903は、画像取得装置902から画像データを入力データとして読み込む。階調数設定部904は、入力データおよび出力データの階調数(入力階調数M、出力階調数N)を設定する。露出条件取得部905は、入力画像を撮影した際の露出条件を取得する。輝度値取得部906は、露出条件取得部905にて取得した露出条件に基づき、階調数取得部904にて設定された入力階調(M階調)の画素値に対応する絶対輝度値導出する。輝度差算出部907は、輝度値取得部906にて算出した入力データの絶対輝度値に基づき、入力階調1階調分の輝度差を算出する。

0058

JND算出部908は、輝度値取得部906にて算出した絶対輝度値に対し、視覚が弁別可能な最小輝度差(以下JNDと記す)を算出する。変換特性算出部909は、輝度値取得部906にて算出した絶対輝度値と、JND算出部908にて算出されたJNDと、に基づき、階調変換特性を算出する。階調変換部910は、変換特性算出部909にて算出した階調変換特性を用いて、入力データの階調変換処理を行い出力データを生成する。画像出力部911は、階調変換部910にて変換された出力データを出力する。画像記憶部912は、画像出力部911にて出力された階調変換後の画像データ(出力データ)を格納する。

0059

<装置の動作>
図10は、第3実施形態における画像処理装置の処理を示すフローチャートである。S1001では、画像取得装置902は、画像データを取得する。例えば、デジタルカメラで撮像を行い画像データを生成する。S1002では、階調数設定部904は、入力データおよび出力データの階調数を設定する。例えば、不図示のユーザインターフェースを介してユーザからの指定を受け付ける。

0060

S1003では、画像入力部903は、S1001で取得した画像データを入力データとして読み込む。例えば、ネットワークを介して画像データを受信するか、あるいは、フラッシュメモリ等の記憶媒体を介して画像データを読み込む。S1004では、露出条件取得部905は、S1001で画像取得した際のカメラの設定より、絞りシャッタースピードISO感度等の、露出条件を取得する。例えば、ネットワークを介して当該入力データを撮影時のカメラ設定を受信するか、あるいは、入力データに付加されたメタデータ(EXIFタグなど)を読み込むことにより露出条件を取得する。

0061

あるいは、図示しないユーザインターフェースを介して、絞り/シャッタースピード/ISO感度の条件に関する情報をユーザによる手動操作により受け付けるよう構成しても良い。すなわち、画像を撮影した際の、画素値と絶対輝度との対応関係を算出すために必要な情報を取得可能であれば、その方法を限定するものではない。

0062

S1005では、輝度値取得部906は、S1004で取得した露出条件に基づき、S1002で読み込んだ入力データの画素値と絶対輝度値との対応関係を導出する。S1006では、輝度差算出部907は、S1005で算出した対応関係から、入力画素値が1階調変化した場合の輝度差を算出する。輝度差の算出の詳細については後述する。

0063

S1007では、JND算出部908は、S1005で算出した、入力画像の画素値と絶対輝度値に基づき、各階調でのJNDを算出する。なお、JNDの算出については第1実施形態と同様であるため説明を省略する。S1008では、変換特性算出部909は、S1006で算出した輝度差とS1007で算出したJNDとの関係に基づき、入出力データ間の階調変換特性を算出する。階調変換特性の算出の詳細については後述する。

0064

S1009では、階調変換部910は、S1008で算出した階調変換特性を用いて、S1001で読み込んだ入力データの階調変換処理を行う。S1010では、画像出力部911は、S1009にて階調変換処理を行った画像を画像記憶部912に格納する。

0065

<入力階調の輝度差の算出(S1006)>
入力階調n、および入力階調(n+1)に対応する輝度値が、Yin(n)およびYin(n+1)であったとする。このとき、入力階調nと(n+1)との輝度差ΔYin(n)を数式(5)に示す式を用いて算出する。

0066

0067

<階調変換特性の算出(S1008)>
ここでは、入力データは14bit(=16384)階調で表され、入力階調と輝度の関係が線形に対応しているとする。図11は、階調変換特性の算出方法を説明する図である。

0068

ある露出条件A(絞りf0、シャッタースピードs0、ISO感度I0)の時、撮影に用いるセンサー飽和輝度が1600cd/m2であったとする。この条件において、センサーからの出力値は、14bitで量子化されるため、数式(5)により、全階調にわたる1階調分の輝度差を算出すると、図11(a)のようになる。すなわち、最大輝度1600cd/m2に対して、輝度が線形に16384階調で分割されているので、1階調分の輝度差は約0.098cd/m2となる。

0069

ただし、数式(5)にて算出する輝度差は、絶対輝度に対する比として表されるため絶対輝度が大きい程、Yin(n)は小さな値となる。よって、図11(a)は、単調減少の特性となる。ここで、図11(a)の特性(実線)に、数式(2)にて算出したJNDの値(点線)を重ねたものを、図11(b)に示す。

0070

図11(b)を見ると、低輝度では、センサー出力値の1階調分の輝度差はJNDよりも大きく、高輝度では、出力値の1階調分の輝度差はJNDを下回っている。すなわち、低輝度側では、出力階調が入力階調(センサー出力値)よりも少ない場合、出力階調の1階調分の輝度差が増加し階調段差が大きくなってしまう。一方、高輝度側では、入力階調の1階調分の輝度差はJNDを十分下回っているため、出力階調が入力階調よりも少ない場合であっても階調段差は視認されない。

0071

そこで、センサー出力値の1階調分の階調段差とJNDとを比較し、交点1101を求める。そして、交点1101よりも小さい輝度範囲では、センサー出力値の1階調差をそのまま出力階調値の1階調差として対応付ける。一方、交点1101よりも大きい輝度範囲では、センサー出力値の輝度差がJNDを超えない最大の階調差を、出力階調の1階調として対応付ける。

0072

図12は、算出した階調変換特性を説明する図である。図12に示す階調特性は、図11の交点1101に相当する輝度値を境界とし、低輝度側では入力階調に対し、出力階調が傾き1の直線となり、高輝度側では、入力階調よりも少ない階調で出力階調値が出力させる非線形な特性となる。

0073

さらに、ここで、露出条件を変えた場合を考える。例えば、条件Aに対し、露出をプラス4段(条件Bとする)およびマイナス4段(条件Cとする)変化させた条件を考える。ただし、絞り、ISO感度はf0、I0のままとする。この時、シャッタースピードは条件Aのシャッタースピードに対して16倍、および1/16倍となる。センサー出力値は、露光量と比例の関係にあるとすると、条件Bおよび条件Cの露出条件において、センサーの飽和輝度は、それぞれ100cd/m2、25600cd/m2となる。

0074

図13は、露出の違いによる階調変換特性の違いを説明する図である。条件B、および条件Cに関しても、条件Aの場合と同様に、センサー出力値の全階調での1階調分の輝度差を算出すると、図13(a)のようになる。図13(a)を見て明らかなように、露出条件が異なる場合、JNDとの交点も異なる。そのため、前述の方法により階調変換特性を算出した場合、図13(b)のように、露出条件毎に異なる階調変換特性が算出されることになる。

0075

以上説明したとおり第3実施形態によれば、入力階調1階調分の輝度差とJNDに基づいて階調変換特性を算出し階調変換を行う。すなわち、実際に撮影した被写体の絶対輝度値に依存する、視覚の輝度弁別可能な最小輝度差を考慮した階調変換処理を行う。これにより、階調段差の少ない階調変換処理が可能となる。

0076

(第4実施形態)
第4実施形態では、入力画像を撮影した際の露出条件の設定値に応じて、予め作成しておいた複数の階調変換特性から1つの階調変換特性を選択し使用する方法について説明する。

0077

<装置構成>
図14は、第4実施形態に係る画像処理装置の構成を示すブロック図である。画像処理装置1401は、M階調で表された入力階調を、N階調の出力階調に変換する装置である。なお、画像入力部1403〜入力階調輝度取得部1406、階調変換部1410〜画像出力部1411は、図9における画像入力部903〜入力階調輝度取得部906、階調変換部910〜画像出力部911と同様であるため説明を省略する。

0078

変換特性選択部1412は、露出条件取得部1405にて取得した露出条件に基づき、複数の階調変換特性の中から1つの階調変換特性を選択する。変換特性記憶部1413は、複数の露出条件に対応する階調変換特性を予め記憶している。

0079

<装置の動作>
図15は、第4実施形態における画像処理装置の処理を示すフローチャートである。なお、S1501〜S1504、S1506〜S1507は、第3実施形態におけるS1001〜S1004、S1009〜S1010と、同様であるため、説明を省略する。

0080

S1505では、変換特性選択部1412は、変換特性記憶部1413に記憶されている複数の階調変換特性の中から1つの階調変換特性を選択する。具体的には、S1504にて取得した対応関係に基づき階調変換特性を選択する。変換特性の選択の詳細については後述する。

0081

<階調変換特性の選択(S1505)>
上述の第3実施形態で述べたように、撮影時の露出条件を変えることにより、センサーの飽和輝度や、センサー出力における1階調の輝度間隔が変化する。それに伴い、階調変換特性を変える処理を行うが、階調変換特性は、撮影の度に計算する必要はない。すなわち、カメラのセンサー特性が分かっていれば露出条件から算出可能であるため、入力画素値と絶対輝度値との関係に応じて予め算出しておくことができる。実際の撮影時には、予め算出しておいた複数の階調変換特性から、露出条件に適合する1つの階調変換特性を選択すればよい。

0082

この時、カメラが設定可能な絞り、シャッタースピード、ISO感度の全ての組み合わせについて、階調変換特性を算出しておく必要はない。例えば、数式(6)に示すように、絞り、シャッタースピード、ISO感度の値からEV値を算出し、EV値に基づいて、階調変換特性を選択するようにしても良い。

0083

0084

尚、記憶しておく階調変換特性に関しては、LUT形式で記憶しておいてもよいし、或いは、数式(7)のように、関数近似し、関数のパラメータのみを記憶しておくようにしても良い。

0085

0086

以上説明したとおり第4実施形態によれば、カメラのセンサー特性に基づいて予め複数の階調変換特性を算出しておき、露出条件に応じて1つの階調変換特性を選択して使用する。これにより、撮影の度に階調変換特性を計算する必要が無くなり計算コストが低減される。

0087

(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。

0088

1画像処理装置; 2変換特性記憶部; 3条件設定部; 4入力階調設定部; 5入力輝度値算出部; 6入力輝度差算出部; 7 JND算出部; 8輝度差比較部; 9出力階調設定部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ