図面 (/)

技術 画像処理装置及びプログラム

出願人 富士ゼロックス株式会社
発明者 鳴海翔太佐々木信
出願日 2016年1月26日 (4年9ヶ月経過) 出願番号 2016-012547
公開日 2017年2月16日 (3年9ヶ月経過) 公開番号 2017-037622
状態 特許登録済
技術分野 FAX画像信号回路 画像処理
主要キーワード 保持パラメータ 保持度 ハロー効果 多層画像 保持レベル モニタ環境 加重合計 特定環境
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年2月16日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

原画像反射率成分強調度合いと、原画像の暗部又は明部の保持度合いとを用いて、原画像の反射率成分を強調する際に、強調度合いに関係なく保持度合いを決定するよう構成された場合に比較して、視認性の向上とノイズ又は白飛びの発生の抑制とを両立できる可能性を高くする。

解決手段

画像処理装置10では、反射率推定部12が、原画像から、その原画像の反射率成分を画素値とする反射率画像を生成し、明暗保持パラメータ決定部13が、原画像と、その原画像の反射率成分の強調度合いとを用いて、その原画像の暗部及び明部の少なくとも何れか一方の保持度合いを決定し、画像再現部17が、反射率画像と、強調度合いと、保持度合いとを用いて、原画像の反射率成分が強調された強調画像を生成する。

概要

背景

原画像推定照明光成分を算出する照明光成分推定部と、推定照明光成分を補正した補正推定照明光成分を出力する推定照明光成分補正部と、原画像の輝度成分を補正された推定照明光成分で除算することで輝度成分を補正するレティネックス処理部と、補正された輝度成分のゲイン調整を行なうゲイン調整部とを備え、推定照明光成分補正部は、0から基準値までの値の推定照明光成分は、補正推定照明光成分の最大値に変換し、基準値より大きい値の推定照明光成分は、推定照明光成分の値よりも補正推定照明光成分の値が大きな値となるように変換し、かつ、推定照明光成分の値が大きくなるにつれて、補正推定照明光成分の増加率が減少するような特性を用いる画像処理装置は知られている(例えば、特許文献1参照)。

概要

原画像の反射率成分強調度合いと、原画像の暗部又は明部の保持度合いとを用いて、原画像の反射率成分を強調する際に、強調度合いに関係なく保持度合いを決定するよう構成された場合に比較して、視認性の向上とノイズ又は白飛びの発生の抑制とを両立できる可能性を高くする。画像処理装置10では、反射率推定部12が、原画像から、その原画像の反射率成分を画素値とする反射率画像を生成し、明暗保持パラメータ決定部13が、原画像と、その原画像の反射率成分の強調度合いとを用いて、その原画像の暗部及び明部の少なくとも何れか一方の保持度合いを決定し、画像再現部17が、反射率画像と、強調度合いと、保持度合いとを用いて、原画像の反射率成分が強調された強調画像を生成する。

目的

本発明の目的は、原画像の反射率成分の強調度合いと、原画像の暗部又は明部の保持度合いとを用いて、原画像の反射率成分を強調する際に、強調度合いに関係なく保持度合いを決定するよう構成された場合に比較して、視認性の向上とノイズ又は白飛びの発生の抑制とを両立できる可能性を高くすることにある

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

原画像から、当該原画像の反射率成分画素値とする反射率画像を生成する反射率画像生成手段と、前記原画像と、当該原画像の反射率成分の強調度合いとを用いて、当該原画像の暗部及び明部の少なくとも何れか一方の保持度合いを決定する決定手段と、前記反射率画像と、前記強調度合いと、前記保持度合いとを用いて、前記原画像の反射率成分が強調された強調画像を生成する強調画像生成手段とを備えたことを特徴とする画像処理装置

請求項2

前記決定手段は、前記保持度合いとして、前記原画像の暗部及び明部の保持度合いである明暗部保持度合いを決定することを特徴とする請求項1に記載の画像処理装置。

請求項3

前記決定手段は、前記原画像の暗い画素ほど、前記明暗部保持度合いが高くなり、かつ、前記原画像の明るい画素ほど、当該明暗部保持度合いが高くなるように、当該明暗部保持度合いを決定することを特徴とする請求項2に記載の画像処理装置。

請求項4

前記決定手段は、前記強調度合いが高いほど、前記明暗部保持度合いが高くなるように、当該明暗部保持度合いを決定することを特徴とする請求項2に記載の画像処理装置。

請求項5

前記決定手段は、前記保持度合いとして、前記原画像の暗部の保持度合いである暗部保持度合いと、前記原画像の明部の保持度合いである明部保持度合いとを決定することを特徴とする請求項1に記載の画像処理装置。

請求項6

前記決定手段は、前記原画像の暗い画素ほど、前記暗部保持度合いが高くなるように、当該暗部保持度合いを決定し、前記原画像の明るい画素ほど、前記明部保持度合いが高くなるように、当該明部保持度合いを決定することを特徴とする請求項5に記載の画像処理装置。

請求項7

前記決定手段は、前記強調度合いが高いほど、前記暗部保持度合いが高くなるように、当該暗部保持度合いを決定し、前記強調度合いが高いほど、前記明部保持度合いが高くなるように、当該明部保持度合いを決定することを特徴とする請求項5に記載の画像処理装置。

請求項8

操作者画面上で行った操作に予め対応付けられた前記強調度合いを設定する設定手段を更に備えたことを特徴とする請求項1に記載の画像処理装置。

請求項9

原画像から、当該原画像の反射率成分を画素値とする反射率画像を生成する反射率画像生成手段と、前記原画像の反射率成分の強調度合いを用いて、当該原画像の疑似輪郭を発生させる色として予め定められた特定色の部分の保持度合いである第1の保持度合いを決定する第1の決定手段と、前記反射率画像と、前記強調度合いと、前記第1の保持度合いとを用いて、前記原画像の反射率成分が強調された強調画像を生成する強調画像生成手段とを備えたことを特徴とする画像処理装置。

請求項10

前記原画像から、前記特定色の部分を抽出する抽出手段を更に備え、前記強調画像生成手段は、前記原画像の前記特定色の部分が前記第1の保持度合いを用いて強調され、かつ、前記原画像の前記特定色の部分以外が前記第1の保持度合いを用いて強調されない前記強調画像を生成することを特徴とする請求項9に記載の画像処理装置。

請求項11

前記第1の決定手段は、前記強調度合いが高いほど、前記第1の保持度合いが高くなるように、当該第1の保持度合いを決定することを特徴とする請求項9に記載の画像処理装置。

請求項12

前記原画像と、前記強調度合いとを用いて、当該原画像の暗部及び明部の少なくとも何れか一方の保持度合いである第2の保持度合いを決定する第2の決定手段を更に備え、前記強調画像生成手段は、前記第2の保持度合いを更に用いて、前記強調画像を生成することを特徴とする請求項9に記載の画像処理装置。

請求項13

コンピュータに、原画像から、当該原画像の反射率成分を画素値とする反射率画像を生成する機能と、前記原画像と、当該原画像の反射率成分の強調度合いとを用いて、当該原画像の暗部及び明部の少なくとも何れか一方の保持度合いを決定する機能と、前記反射率画像と、前記強調度合いと、前記保持度合いとを用いて、前記原画像の反射率成分が強調された強調画像を生成する機能とを実現させるためのプログラム

請求項14

コンピュータに、原画像から、当該原画像の反射率成分を画素値とする反射率画像を生成する機能と、前記原画像の反射率成分の強調度合いを用いて、当該原画像の疑似輪郭を発生させる色として予め定められた特定色の部分の保持度合いである第1の保持度合いを決定する機能と、前記反射率画像と、前記強調度合いと、前記第1の保持度合いとを用いて、前記原画像の反射率成分が強調された強調画像を生成する機能とを実現させるためのプログラム。

技術分野

0001

本発明は、画像処理装置及びプログラムに関する。

背景技術

0002

原画像推定照明光成分を算出する照明光成分推定部と、推定照明光成分を補正した補正推定照明光成分を出力する推定照明光成分補正部と、原画像の輝度成分を補正された推定照明光成分で除算することで輝度成分を補正するレティネックス処理部と、補正された輝度成分のゲイン調整を行なうゲイン調整部とを備え、推定照明光成分補正部は、0から基準値までの値の推定照明光成分は、補正推定照明光成分の最大値に変換し、基準値より大きい値の推定照明光成分は、推定照明光成分の値よりも補正推定照明光成分の値が大きな値となるように変換し、かつ、推定照明光成分の値が大きくなるにつれて、補正推定照明光成分の増加率が減少するような特性を用いる画像処理装置は知られている(例えば、特許文献1参照)。

先行技術

0003

特開2012−108898号公報

発明が解決しようとする課題

0004

ここで、0から基準値までの値の推定照明光成分を、補正推定照明光成分の最大値に変換して、レティネックス処理を行う構成を採用した場合、暗部については、原画像のままとなるので、ノイズの発生は抑制されたとしても、視認性は向上しない。また、基準値より大きい値の推定照明光成分を、推定照明光成分の値よりも補正推定照明光成分の値が大きな値となるように、かつ、推定照明光成分の値が大きくなるにつれて、補正推定照明光成分の増加率が減少するように変換して、レティネックス処理を行う構成を採用した場合、明部については、明るくなるにつれてレティネックスの効果を弱めるようにしているので、白飛びの発生は抑制されたとしても、視認性は思い通りに向上しない。

0005

視認性を向上し、ノイズ又は白飛びの発生を抑制するには、原画像の反射率成分強調度合いと、原画像の暗部又は明部の保持度合いとを用いて、原画像の反射率成分を強調することが考えられる。その際、強調度合いに関係なく保持度合いを決定する構成を採用することも考えられる。しかしながら、原画像の反射率成分の強調度合いによってノイズや白飛びの発生度合いも異なるため、強調度合いに関係なく保持度合いを決定する構成を採用した場合には、視認性の向上とノイズ又は白飛びの発生の抑制とを両立できない可能性が高い。

0006

視認性を向上し、疑似輪郭の発生を抑制するには、原画像の反射率成分の強調度合いと、原画像の疑似輪郭を発生させる特定色の保持度合いとを用いて、原画像の反射率成分を強調することが考えられる。その際、強調度合いに関係なく保持度合いを決定する構成を採用することも考えられる。しかしながら、原画像の反射率成分の強調度合いによって疑似輪郭の発生度合いも異なるため、強調度合いに関係なく保持度合いを決定する構成を採用した場合には、視認性の向上と疑似輪郭の発生の抑制とを両立できない可能性が高い。

0007

本発明の目的は、原画像の反射率成分の強調度合いと、原画像の暗部又は明部の保持度合いとを用いて、原画像の反射率成分を強調する際に、強調度合いに関係なく保持度合いを決定するよう構成された場合に比較して、視認性の向上とノイズ又は白飛びの発生の抑制とを両立できる可能性を高くすることにある。

0008

また、本発明の他の目的は、原画像の反射率成分の強調度合いと、原画像の疑似輪郭を発生させる特定色の保持度合いとを用いて、原画像の反射率成分を強調する際に、強調度合いに関係なく特定色の保持度合いを決定するよう構成された場合に比較して、視認性の向上と疑似輪郭の発生の抑制とを両立できる可能性を高くすることにある。

課題を解決するための手段

0009

請求項1に記載の発明は、原画像から、当該原画像の反射率成分を画素値とする反射率画像を生成する反射率画像生成手段と、前記原画像と、当該原画像の反射率成分の強調度合いとを用いて、当該原画像の暗部及び明部の少なくとも何れか一方の保持度合いを決定する決定手段と、前記反射率画像と、前記強調度合いと、前記保持度合いとを用いて、前記原画像の反射率成分が強調された強調画像を生成する強調画像生成手段とを備えたことを特徴とする画像処理装置である。
請求項2に記載の発明は、前記決定手段は、前記保持度合いとして、前記原画像の暗部及び明部の保持度合いである明暗部保持度合いを決定することを特徴とする請求項1に記載の画像処理装置である。
請求項3に記載の発明は、前記決定手段は、前記原画像の暗い画素ほど、前記明暗部保持度合いが高くなり、かつ、前記原画像の明るい画素ほど、当該明暗部保持度合いが高くなるように、当該明暗部保持度合いを決定することを特徴とする請求項2に記載の画像処理装置である。
請求項4に記載の発明は、前記決定手段は、前記強調度合いが高いほど、前記明暗部保持度合いが高くなるように、当該明暗部保持度合いを決定することを特徴とする請求項2に記載の画像処理装置である。
請求項5に記載の発明は、前記決定手段は、前記保持度合いとして、前記原画像の暗部の保持度合いである暗部保持度合いと、前記原画像の明部の保持度合いである明部保持度合いとを決定することを特徴とする請求項1に記載の画像処理装置である。
請求項6に記載の発明は、前記決定手段は、前記原画像の暗い画素ほど、前記暗部保持度合いが高くなるように、当該暗部保持度合いを決定し、前記原画像の明るい画素ほど、前記明部保持度合いが高くなるように、当該明部保持度合いを決定することを特徴とする請求項5に記載の画像処理装置である。
請求項7に記載の発明は、前記決定手段は、前記強調度合いが高いほど、前記暗部保持度合いが高くなるように、当該暗部保持度合いを決定し、前記強調度合いが高いほど、前記明部保持度合いが高くなるように、当該明部保持度合いを決定することを特徴とする請求項5に記載の画像処理装置である。
請求項8に記載の発明は、操作者画面上で行った操作に予め対応付けられた前記強調度合いを設定する設定手段を更に備えたことを特徴とする請求項1に記載の画像処理装置である。
請求項9に記載の発明は、原画像から、当該原画像の反射率成分を画素値とする反射率画像を生成する反射率画像生成手段と、前記原画像の反射率成分の強調度合いを用いて、当該原画像の疑似輪郭を発生させる色として予め定められた特定色の部分の保持度合いである第1の保持度合いを決定する第1の決定手段と、前記反射率画像と、前記強調度合いと、前記第1の保持度合いとを用いて、前記原画像の反射率成分が強調された強調画像を生成する強調画像生成手段とを備えたことを特徴とする画像処理装置である。
請求項10に記載の発明は、前記原画像から、前記特定色の部分を抽出する抽出手段を更に備え、前記強調画像生成手段は、前記原画像の前記特定色の部分が前記第1の保持度合いを用いて強調され、かつ、前記原画像の前記特定色の部分以外が前記第1の保持度合いを用いて強調されない前記強調画像を生成することを特徴とする請求項9に記載の画像処理装置である。
請求項11に記載の発明は、前記第1の決定手段は、前記強調度合いが高いほど、前記第1の保持度合いが高くなるように、当該第1の保持度合いを決定することを特徴とする請求項9に記載の画像処理装置である。
請求項12に記載の発明は、前記原画像と、前記強調度合いとを用いて、当該原画像の暗部及び明部の少なくとも何れか一方の保持度合いである第2の保持度合いを決定する第2の決定手段を更に備え、前記強調画像生成手段は、前記第2の保持度合いを更に用いて、前記強調画像を生成することを特徴とする請求項9に記載の画像処理装置である。
請求項13に記載の発明は、コンピュータに、原画像から、当該原画像の反射率成分を画素値とする反射率画像を生成する機能と、前記原画像と、当該原画像の反射率成分の強調度合いとを用いて、当該原画像の暗部及び明部の少なくとも何れか一方の保持度合いを決定する機能と、前記反射率画像と、前記強調度合いと、前記保持度合いとを用いて、前記原画像の反射率成分が強調された強調画像を生成する機能とを実現させるためのプログラムである。
請求項14に記載の発明は、コンピュータに、原画像から、当該原画像の反射率成分を画素値とする反射率画像を生成する機能と、前記原画像の反射率成分の強調度合いを用いて、当該原画像の疑似輪郭を発生させる色として予め定められた特定色の部分の保持度合いである第1の保持度合いを決定する機能と、前記反射率画像と、前記強調度合いと、前記第1の保持度合いとを用いて、前記原画像の反射率成分が強調された強調画像を生成する機能とを実現させるためのプログラムである。

発明の効果

0010

請求項1の発明によれば、原画像の反射率成分の強調度合いと、原画像の暗部又は明部の保持度合いとを用いて、原画像の反射率成分を強調する際に、強調度合いに関係なく暗部又は明部の保持度合いを決定するよう構成された場合に比較して、視認性の向上とノイズ又は白飛びの発生の抑制とを両立できる可能性が高くなる。
請求項2の発明によれば、原画像の反射率成分の強調度合いと、原画像の暗部及び明部の保持度合いとを用いて、原画像の反射率成分を強調する際に、強調度合いに関係なく暗部及び明部の保持度合いを決定するよう構成された場合に比較して、視認性の向上とノイズ及び白飛びの発生の抑制とを両立できる可能性が高くなる。
請求項3の発明によれば、原画像の反射率成分の強調度合いと、原画像の暗部の保持度合いと、原画像の明部の保持度合いとを用いて、原画像の反射率成分を強調するよう構成された場合に比較して、ノイズ及び白飛びの発生の抑制が容易になる。
請求項4の発明によれば、原画像の反射率成分の強調度合いの高さに関係なく、原画像の暗部及び明部の保持度合いの高さを決定するよう構成された場合に比較して、強調度合いを高めたときに目立つノイズ及び白飛びの発生を抑制する可能性が高くなる。
請求項5の発明によれば、原画像の反射率成分の強調度合いと、原画像の暗部の保持度合いと、原画像の明部の保持度合いとを用いて、原画像の反射率成分を強調する際に、強調度合いに関係なく暗部の保持度合いと明部の保持度合いとを決定するよう構成された場合に比較して、視認性の向上とノイズ及び白飛びの発生の抑制とを両立できる可能性が高くなる。
請求項6の発明によれば、原画像の反射率成分の強調度合いと、原画像の明部及び暗部の保持度合いとを用いて、原画像の反射率成分を強調するよう構成された場合に比較して、ノイズ及び白飛びの発生の抑制の精度が高くなる。
請求項7の発明によれば、原画像の反射率成分の強調度合いの高さに関係なく、原画像の暗部の保持度合いの高さと原画像の明部の保持度合いの高さとを決定するよう構成された場合に比較して、強調度合いを高めたときに目立つノイズ及び白飛びの発生を抑制する可能性が高くなる。
請求項8の発明によれば、操作者が設定した視認性を確保した上でノイズ及び白飛びの発生を抑制することができる。
請求項9の発明によれば、原画像の反射率成分の強調度合いと、原画像の疑似輪郭を発生させる特定色の保持度合いとを用いて、原画像の反射率成分を強調する際に、強調度合いに関係なく特定色の保持度合いを決定するよう構成された場合に比較して、視認性の向上と疑似輪郭の発生の抑制とを両立できる可能性が高くなる。
請求項10の発明によれば、原画像の反射率成分の強調度合いと、特定色との距離に応じた特定色の保持度合いとを用いて、原画像の全体にわたって反射率成分を強調するよう構成された場合に比較して、視認性の向上と疑似輪郭の発生の抑制とを両立する処理の負荷が軽減される。
請求項11の発明によれば、原画像の反射率成分の強調度合いの高さに関係なく、原画像の疑似輪郭を発生させる特定色の保持度合いの高さを決定するよう構成された場合に比較して、強調度合いを高めたときに目立つ疑似輪郭の発生を抑制する可能性が高くなる。
請求項12の発明によれば、原画像の暗部又は明部の保持度合いを更に用いて、原画像の反射率成分を強調する際に、強調度合いに関係なく暗部又は明部の保持度合いを決定するよう構成された場合に比較して、ノイズ又は白飛びの発生の抑制を更に両立できる可能性が高くなる。
請求項13の発明によれば、原画像の反射率成分の強調度合いと、原画像の暗部又は明部の保持度合いとを用いて、原画像の反射率成分を強調する際に、強調度合いに関係なく暗部又は明部の保持度合いを決定するよう構成された場合に比較して、視認性の向上とノイズ又は白飛びの発生の抑制とを両立できる可能性が高くなる。
請求項14の発明によれば、原画像の反射率成分の強調度合いと、原画像の疑似輪郭を発生させる特定色の保持度合いとを用いて、原画像の反射率成分を強調する際に、強調度合いに関係なく特定色の保持度合いを決定するよう構成された場合に比較して、視認性の向上と疑似輪郭の発生の抑制とを両立できる可能性が高くなる。

図面の簡単な説明

0011

本発明の第1の実施の形態における画像処理装置の機能構成例を示したブロック図である。
原画像がRGB画像である場合の多層画像生成部による多層画像の生成の様子を示した図である。
(a)〜(c)は、σの値によって多層画像の各層の画像の周波数が異なることを示した図である。
原画像が輝度色度画像である場合の多層画像生成部による多層画像の生成の様子を示した図である。
本発明の第1の実施の形態で決定される明暗部保持パラメータと原画像の画素値との関係の例を示したグラフである。
視認性パラメータが大きい場合の明暗部保持パラメータの原画像の画素値に対する変化の例を示したグラフである。
本発明の第2の実施の形態における画像処理装置の機能構成例を示したブロック図である。
本発明の第2の実施の形態で決定される暗部保持パラメータと原画像の画素値との関係の例を示したグラフである。
本発明の第2の実施の形態で決定される明部保持パラメータと原画像の画素値との関係の例を示したグラフである。
暗部保持パラメータと明部保持パラメータの積と原画像の画素値との関係の例を示したグラフである。
白飛びを抑制したい場合の明部保持パラメータと原画像の画素値との関係の例を示したグラフである。
白飛びを抑制したい場合の暗部保持パラメータと明部保持パラメータの積と原画像の画素値との関係の例を示したグラフである。
視認性パラメータが大きい場合の暗部保持パラメータの原画像の画素値に対する変化の例を示したグラフである。
視認性パラメータが大きい場合の明部保持パラメータの原画像の画素値に対する変化の例を示したグラフである。
本発明の第3の実施の形態における画像処理装置の機能構成例を示したブロック図である。
ユーザインタラクションに応じて各パラメータの強度を決定する方法の例を示した図である。
ユーザインタラクションに応じて各パラメータの強度を決定する方法の例を示した図である。
本発明の第1乃至第3の実施の形態における画像処理装置の動作例を示したフローチャートである。
本発明の第4の実施の形態における画像処理装置の機能構成例を示したブロック図である。
本発明の第4の実施の形態で決定される肌部保持パラメータと視認性パラメータとの関係の例を示したグラフである。
本発明の第5の実施の形態における画像処理装置の機能構成例を示したブロック図である。
本発明の第5の実施の形態で決定される肌領域及び肌領域以外についての最終的な再現パラメータと原画像の画素値との関係の例を示したグラフである。
本発明の第5の実施の形態で決定される肌領域についての最終的な再現パラメータと原画像の画素値との関係が視認性パラメータの変化に応じてどのように変化するかを例示したグラフである。
本発明の第4及び第5の実施の形態における画像処理装置の動作例を示したフローチャートである。
本発明の実施の形態における画像処理装置のハードウェア構成例を示したブロック図である。

実施例

0012

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。

0013

[実施の形態の背景
画像を扱って文書を作成する作業は、PC(Personal Computer)を駆使してモニタを観ながら行うのが一般的である。このような作業においては、近年急速に普及しているタブレット等のICT(Information and Communication Technology)デバイスを用いるユーザも増えている。

0014

一般に、事務作業やDTP(DeskTop Publishing)作業の現場のようなオフィス環境では、環境光の変化に左右されることは少ない。一方で、快適に持ち運べるICTデバイスには、場所を問わず作業できるという利点はあるが、環境光の変化等、持ち運んだ先に大きく左右されるという欠点もある。

0015

また、画像を扱う作業には、上記のような文書を作成する作業の他にも、ユーザがカメラ付きタブレット等で撮影した画像をそれぞれのデバイスに保存する作業がある。ユーザが互いに画像を見せ合ったり画像で状況を説明したりするシーンもよく見られるようになった。

0016

このように、近年のモニタ環境の特徴としては、従来のモニタ環境とは違って、「手軽に使え」、「使用場所が多様」であることが挙げられる。そして、この近年のモニタ環境では、使用方法使用環境が従来とは異なることから、色合わせよりも「視認性」の方が重視されている。

0017

「視認性」とは、視対象がはっきり見えるか否かの特性である。画像の視認性を高める方法には、ガンマ補正ヒストグラムイコライゼーションダイナミックレンジ圧縮等に代表される画像処理分野の基本手法がある。

0018

ガンマ補正では、暗部や対象となる領域を盛り上げカーブを生成し、画素値に適用することで、暗部を明るくする。ヒストグラムイコライゼーションでは、画像のヒストグラム偏りをなくすカーブを生成し、画素値に適用することで、ヒストグラムが平滑化される再現を行う。ダイナミックレンジ圧縮では、画像の周辺輝度に応じて補正量を変えることで、コントラストを低下させることなく低輝度及び高輝度表現する。

0019

また、視覚特性を利用した視認性向上の方法には、レティネックス原理を利用したものもある。レティネックスは、人間が反射率によってシーンを知覚しているという考え方に基づき、反射率成分を強調することで視認性を高める基本原理である。

0020

レティネックス処理では、反射率成分を推定するために、照明成分を推定する必要がある。現在のところ、平滑化を行った平滑化画像を照明成分として用いるのが一般的である。この平滑化画像を用いる手法としては、単一の平滑化画像を用いるSSR(Single-Scale Retinex)、及び、複数の平滑化画像を用いるMSR(Multi-Scale Retinex)やIMSR(Integrated Multi-Scale Retinex)がある。SSRでは、単一の平滑化画像を用いるため、平滑化度合いが小さければ暗部領域にノイズが発生する場合があり、平滑化度合いが大きければ明暗差が大きい境界領域で不自然帯状ディフェクトハロー効果)が発生する場合がある。これに対し、MSRやIMSRでは、平滑化画像を多層にするので、ノイズやハロー効果の発生は低減されると言われている。

0021

しかしながら、反射率成分の強調度合い(再現パラメータ)を高くすると、MSRやIMSRでも、画像によってはノイズ又は白飛びが発生してしまう。

0022

そこで、本実施の形態では、視認性パラメータと画像の明るさ情報とに応じて、ノイズ又は白飛びを抑制する暗部又は明部の保持パラメータを制御するようにした。つまり、同じ画素値でも視認性パラメータに応じて暗部又は明部の保持パラメータが変わることで、最終的な強調度合いも変わるようにする。

0023

また、人の身体的な特徴上、顔の輪郭と首との境界や、手足曲げた部分等には陰影ができ易い。このような陰影があると、レティネックス処理によって、疑似輪郭が発生することがある。疑似輪郭は、視認性パラメータが高いほど目立ち易く、不自然な印象を与えてしまう。例えば、視認性パラメータを高くして視認性を向上させるほど、肌部の疑似輪郭が目立つようになる。

0024

そこで、本実施の形態では、再現する視認性のレベルに応じて疑似輪郭を抑制する肌部保持パラメータを制御する。つまり、同じ画素値でも視認性パラメータに応じて肌部保持パラメータを変えることで、最終的な強調度合いも変えるようにする。

0025

[第1の実施の形態]
図1は、本発明の第1の実施の形態における画像処理装置10の機能構成例を表すブロック図である。図示するように、本実施の形態における画像処理装置10は、照明推定部11と、反射率推定部12と、明暗部保持パラメータ決定部13と、画像再現部17とを備える。

0026

照明推定部11は、原画像の位置(x,y)に対する画素値をI(x,y)、照明成分をIL(x,y)とすると、I(x,y)に基づいてIL(x,y)を推定する(以下、この推定された照明成分の画像を「照明推定画像」という)。視覚認知の1つの特性として、網膜に入った光の1点(画像では1つの画素)の知覚量は、その1点の周辺輝度の平均に影響することが知られている。周辺輝度は推定された照明成分に相当し、照明成分の推定は、例えば、移動平均法又はガウス関数で表されるコンボリューションを行うことにより実施される。

0027

0028

ここで、x,yはある画素の位置を表し、kは画像処理のフィルタサイズの画素分で積分した場合に結果が1になるように正規化する係数を表し、σは平滑化度合い(スケール)を表す。尚、上記の関数は一例であり、結果として画像が平滑化されるフィルタであれば如何なるものを用いてもよい。例えば、数式1を変形した関数によるフィルタで、エッジ保存を行う平滑化フィルタとして知られるバイラテラルフィルタがあるが、これを用いてもよいものとする。

0029

レティネックス原理によれば、人の視覚特性は、注目領域周辺から照明光を推定していることが知られている。従って、平滑化した画像は、推定された照明光を表すことになる。しかしながら、シーンによって適するスケールが異なるため、例えば、照明光の推定は、以下のようにスケール1からスケールNまでのN層の画像の加重合計をとるのが望ましい。

0030

0031

ここで、IL(x,y)は照明推定画像の画素値を表し、Gn(x,y)はスケールnに対する数式1を表し、I(x,y)は輝度画像の画素値を表し、Wnはスケールnに対する重みを表し、「×」を「○」で囲んだ記号は畳み込みを表す。尚、Wnは、簡易的に1/Nとしてもよいし、層に応じて可変としてもよい。

0032

尚、照明推定部11内の多層画像生成部110による多層画像の生成の様子を図2に示す。図2には、原画像がRGBの3プレーンから構成される場合において、多層画像として、スケール1からスケールNまでのN層の画像が生成される例を示している。ここで、スケール1、スケール2、・・・、スケールNの層は、数式1のσを変化させることにより得られる層であるため、平滑化度合いが異なることになる。図3(a)〜(c)に示すように、σを変化させると画像の周波数が変化する。具体的には、(a)に示すようにσが小さいと高周波になり、(c)に示すようにσが大きいと低周波になり、(b)に示すようにσが中程度だと周波数も中程度になる。

0033

以上のように、多層画像はRGBの3プレーンのN層でもよいが、図4のようなものでもよい。図4は、RGB画像を予めYCbCr画像のような輝度色度画像に変換しておく例を示したものであり、この例では、輝度を表すYの1プレーンのみを多層画像に変換している。これは、輝度のみで照明成分の推定を行う場合があるためである。尚、ここでは、輝度色度で表される色空間としてYCbCr色空間を用いたが、L*a*b*色空間、HSV色空間(但し、HSは色度座標へ変換する)等を用いてもよい。L*a*b*色空間を用いた場合はL*を、HSV色空間を用いた場合はVを、それぞれ輝度画像として用いればよい。また、SSRで用いられる1つのスケールの層の画像のみを照明推定画像としても構わない。

0034

本実施の形態では、原画像の照明成分を画素値とする照明画像の一例として、照明推定画像を用いており、照明画像を生成する照明画像生成手段の一例として、照明推定部11を設けている。

0035

反射率推定部12は、原画像の画素値の照明推定画像の画素値に対する比を求めることにより原画像の反射率を推定する。具体的には、以下のように反射率を表す画像(以下、「反射率推定画像」という)を求める。

0036

0037

ここで、I(x,y)は原画像の画素値を表し、IL(x,y)は照明推定画像の画素値を表し、IR(x,y)は反射率推定画像の画素値を表す。尚、RGBの3プレーンのそれぞれで照明推定画像を算出した場合は、数式3も、IR(x,y)がRGBの3プレーン分できるものとして解釈される。また、輝度成分(YCbCrのY、L*a*b*のL、HSVのV)のみを用いる場合は、1プレーンについて数式3を用いればよい。

0038

本実施の形態では、原画像の反射率成分を画素値とする反射率画像の一例として、反射率推定画像を用いており、反射率画像を生成する反射率画像生成手段の一例として、反射率推定部12を設けている。

0039

明暗部保持パラメータ決定部13は、視認性パラメータと原画像の輝度情報とに応じて、明暗部保持パラメータを決定する。詳細は後で説明する。

0040

画像再現部17は、反射率推定部12が生成した反射率推定画像と、原画像とに基づいて、反射率成分を強調する処理を行う。例えば、以下のような再現式により、反射率成分を強調した再現画像を生成する。

0041

0042

ここで、I(x,y)は原画像の画素値を表し、IR(x,y)は反射率推定画像の画素値を表し、I^(x,y)は再現画像の画素値を表す。また、αは視認性を強調するための視認性パラメータであり、βは明暗部保持パラメータ決定部13で決定された明暗部保持パラメータである。αはユーザの指示や画像の特徴に応じて変わるものとする。ユーザの指示としては、例えば、画面上での指の移動量やモードの選択がある。I^(x,y)は、α=1かつβ=1の場合、反射率成分そのものとなり、α=0又はβ=0の場合、原画像の画素値となる。尚、本明細書では、ハット記号を、数式中では文字の真上に付すが、文中では文字の後ろに付すものとする。

0043

また、最終的な再現パラメータは、αとβを乗じたパラメータとする。そして、再現パラメータには、視認性パラメータαを高めると暗い画素又は明るい画素ほど明暗部保持パラメータβの強度が高まるという特性を持たせる。こうすることで、暗部ノイズ又は明部の白飛びが抑制される。

0044

尚、レティネックス再現式は幾つか提案されているが、反射率成分の重みを変えるようなものであれば、如何なる再現式を用いても構わない。例えば以下のような式を用いてもよい。

0045

0046

ここで、α、βは反射率のゲインを表すパラメータであり、γは再現式の切片を表すパラメータである。図1は、画像再現部17が原画像を用いて再現画像を生成する場合について示したが、この数式5を用いた場合、画像再現部17は原画像を用いずに再現画像を生成することになる。また、αは図1の視認性パラメータに、βは図1の明暗部保持パラメータに相当するが、γは図1には示されていないパラメータである。

0047

本実施の形態では、原画像の反射率成分が強調された強調画像の一例として、再現画像を用いており、強調画像を生成する強調画像生成手段の一例として、画像再現部17を設けている。

0048

次に、明暗部保持パラメータ決定部13について数式4を例として詳細に説明する。明暗部保持パラメータ決定部13で決定される明暗部保持パラメータβは、暗部ノイズ及び明部の白飛びの抑制を担うパラメータである。基本的には、図5に示す通り、画素が暗い又は明るいほど明暗部保持パラメータβを小さくする。すると、原画像の重みが高くなるため、原画像の暗部と明部の状態が保たれる。従って、レティネックス処理により発生する暗部ノイズと明部の白飛びが抑制される。一方、中間の画素値では明暗部保持パラメータβを大きくする。すると、レティネックス再現画像の重みが高くなるため、視認性が高まると考えられる。

0049

例えば、この特性を表す関数としては、次の数式の関数が考えられる。

0050

0051

ここで、T,Kは係数であり、T>0であり、K>0である。また、K1,K2は正規化のための係数である。0<I(x,y)<1のときにβ(I(x,y))が0から1の範囲に収まるように正規化する場合、K1,K2は上記のようになる。

0052

尚、関数としては、上に凸の二次関数等、上記特性を表すものであれば如何なる関数を用いてもよい。

0053

次いで、明暗部保持パラメータ決定部13が、視認性パラメータαに応じて明暗部保持パラメータβを制御する方法について図6を参照して説明する。視認性パラメータαが大きい場合は、その分暗部ノイズや明部の白飛びが目立ち易くなる。そこで、明暗部保持パラメータ決定部13は、図6破線のように、立ち上がりを遅らせ、立ち下がりを早めた明暗部保持パラメータを決定する。この明暗部保持パラメータを用いることにより、明暗部の保持レベルが強まる。一方、視認性パラメータαが小さい場合は、暗部ノイズや明部の白飛びが目立ち難い。そこで、明暗部保持パラメータ決定部13は、図6実線のように、破線の明暗部保持パラメータよりも、立ち上がりを早め、立ち下がりを遅らせた明暗部保持パラメータを決定する。この明暗部保持パラメータを用いることにより、明暗部の保持レベルが弱まる。このように、視認性パラメータαの強度に応じて、明暗部保持パラメータβの強度を制御することで、より良好な視認性とノイズや白飛びの抑制とが両立される。

0054

以上のような視認性パラメータαの強度に応じた明暗部保持パラメータβの強度の制御は、例えば、数式6のTをαの関数とした次のような式で表される。

0055

0056

ここで、f(α)>0であり、K>0である。また、図6の実線におけるf(α)よりも図6の破線におけるf(α)の方が小さいので、f(α)は減少関数である。但し、この場合の減少関数は、「α1<α2であればf(α1)≧f(α2)」という条件が成立する関数である。つまり、全体として減少する関数であれば、同じ値が続く部分を途中に含んでいてもよい。

0057

そこで、f(α)は、例えば、次のような式で表されるものとするとよい。この式は、視認性パラメータαを場合分けして、視認性パラメータαがある値より小さい場合はf(α)をs1とし、視認性パラメータαがある値より大きい場合はf(α)をs2とするものである。

0058

0059

或いは、f(α)は、連続関数としてもよい。この場合は、例えば、次の式のようにs3を傾きとし、s4を切片とした一次関数とするとよい。

0060

0061

本実施の形態では、原画像の反射率成分の強調度合いの一例として、視認性パラメータを用いている。また、原画像の暗部及び明部の保持度合いである明暗部保持度合いの一例として、明暗部保持パラメータを用いており、原画像と強調度合いとを用いて明暗部保持度合いを決定する決定手段の一例として、明暗部保持パラメータ決定部13を設けている。但し、明暗部保持度合いが高いと、明暗部において反射率推定画像よりも原画像の重みが高くなるので、明暗部保持パラメータの値は小さくなる。

0062

[第2の実施の形態]
図7は、本発明の第2の実施の形態における画像処理装置10の機能構成例を表すブロック図である。図示するように、本実施の形態における画像処理装置10は、照明推定部11と、反射率推定部12と、暗部保持パラメータ決定部14と、明部保持パラメータ決定部15と、画像再現部17とを備える。ここで、照明推定部11及び反射率推定部12については、第1の実施の形態と同じなので説明を省略し、以下では、暗部保持パラメータ決定部14、明部保持パラメータ決定部15及び画像再現部17についてのみ説明する。尚、この第2の実施の形態の基本的な考え方は、暗部保持パラメータと明部保持パラメータとを異なる関数で決定することにより、より良好な再現を行う、というものである。

0063

画像再現部17は、反射率推定部12が生成した反射率推定画像と、原画像とに基づいて、反射率成分を強調する処理を行う。例えば、以下のような再現式により、反射率成分を強調した再現画像を生成する。

0064

0065

ここで、αは視認性を強調するための視認性パラメータ、βは暗部保持パラメータ決定部14で決定された暗部保持パラメータ、γは明部保持パラメータ決定部15で決定された明部保持パラメータである。I^(x,y)は、α=1かつβ=1かつγ=1の場合、反射率成分そのものとなり、α=0又はβ=0又はγ=0の場合、原画像の画素値となる。

0066

また、最終的な再現パラメータは、αとβとγを乗じたパラメータとする。そして、再現パラメータには、視認性パラメータαを高めると暗い画素ほど暗部保持パラメータβの強度が高まるという特性と、視認性パラメータαを高めると明るい画素ほど明部保持パラメータγの強度が高まるという特性とを持たせる。こうすることで、最終的な再現パラメータは、暗い画素でαβに近付き、明るい画素でαγに近付く。

0067

本実施の形態では、原画像の反射率成分が強調された強調画像の一例として、再現画像を用いており、強調画像を生成する強調画像生成手段の一例として、画像再現部17を設けている。

0068

次に、暗部保持パラメータ決定部14及び明部保持パラメータ決定部15について詳細に説明する。暗部保持パラメータ決定部14は、βの特性を変えることで、より良好な視認性を保ちつつ、暗部ノイズを抑制する。また、明部保持パラメータ決定部15は、γの特性を変えることで、より良好な視認性を保ちつつ、明部の白飛びを抑制する。

0069

例えば、暗部保持パラメータβを決定する関数としては、数式11の関数が考えられる。

0070

0071

ここで、T1は係数であり、T1>0である。

0072

図8に示すように、画素が暗いほど暗部保持パラメータβは小さくなる。従って、反射率成分の寄与が小さくなり、原画像の寄与が大きくなる。

0073

また、明部保持パラメータγを決定する関数としては、数式12の関数が考えられる。ここで、T2,T3は係数であり、T2>0であり、T3>0である。尚、数式12の関数は、図8の関数を暗部保持パラメータの軸を中心に反転させた関数の原画像画素値が0から1に対応する部分を基本とする。但し、このままだとマイナスの値しかとらないので、レンジをT3とし、切片を+1とする正規化を行っている。

0074

0075

図9に示すように、画素が明るいほど明部保持パラメータγは小さくなる。従って、反射率成分の寄与が小さくなり、原画像の寄与が大きくなる。

0076

これにより、原画像の画素値と、暗部保持パラメータβ×明部保持パラメータγとの関係は、図10太線で示したようなものとなる。つまり、第1の実施の形態における原画像の画素値と明暗部保持パラメータβとの関係に類似するものとなる。

0077

ここで、この第2の実施の形態が第1の実施の形態と異なる点は、暗部保持パラメータβと明部保持パラメータγとがそれぞれ独立に制御される点である。例えば、図10の形状では、暗部保持パラメータβと明部保持パラメータγとが同等の強度に決定された。これに対し、白飛びを更に抑制したい場合には、数式12のT2を小さくすればよい。こうすることで、図11に示すように、明部保持パラメータの曲線の立ち下がりが早まる。そして、この明部保持パラメータの特性と、図8の暗部保持パラメータの特性とを用いると、原画像の画素値と、暗部保持パラメータβ×明部保持パラメータγとの関係は、図12に太線で示したようなものとなる。つまり、図10に太線で示した形状と比べて、明るい画素でのβ×γの立ち下がりが早まっている。そのため、より白飛びが抑制される。また、このように暗部保持パラメータと明部保持パラメータとを独立に制御することで、ノイズの抑制が強まること等もある。

0078

次いで、暗部保持パラメータ決定部14が、視認性パラメータαに応じて暗部保持パラメータβを制御する方法について説明する。

0079

視認性パラメータαが大きい場合は、その分暗部ノイズが目立ち易くなる。そこで、暗部保持パラメータ決定部14は、図13の破線のように、立ち上がりを遅らせた暗部保持パラメータを決定する。この暗部保持パラメータを用いることにより、暗部の保持レベルが強まる。一方、視認性パラメータαが小さい場合は、暗部ノイズが目立ち難い。そこで、暗部保持パラメータ決定部14は、図13の実線のように、破線の暗部保持パラメータよりも、立ち上がりを早めた暗部保持パラメータを決定する。この暗部保持パラメータを用いることにより、暗部の保持レベルが弱まる。このように、視認性パラメータαの強度に応じて、暗部保持パラメータβの強度を制御することで、より良好な視認性とノイズの抑制とが両立される。

0080

以上のような視認性パラメータαの強度に応じた暗部保持パラメータβの強度の制御は、例えば、数式11のT1をαの関数とした次のような式で表される。

0081

0082

ここで、f(α)>0である。また、図13の実線におけるf(α)よりも図13の破線におけるf(α)の方が小さいので、f(α)は減少関数である。但し、この場合の減少関数は、「α1<α2であればf(α1)≧f(α2)」という条件が成立する関数である。つまり、全体として減少する関数であれば、同じ値が続く部分を途中に含んでいてもよい。

0083

そこで、f(α)は、例えば、次のような式で表されるものとするとよい。この式は、視認性パラメータαを場合分けして、視認性パラメータαがある値より小さい場合はf(α)をs1とし、視認性パラメータαがある値より大きい場合はf(α)をs2とするものである。

0084

0085

或いは、f(α)は、連続関数としてもよい。この場合は、例えば、次の式のようにs3を傾きとし、s4を切片とした一次関数とするとよい。

0086

0087

次いで、明部保持パラメータ決定部15が、視認性パラメータαに応じて明部保持パラメータγを制御する方法について説明する。

0088

視認性パラメータαが大きい場合は、その分明部の白飛びが目立ち易くなる。そこで、明部保持パラメータ決定部15は、図14の破線のように、立ち下がりを早めた明部保持パラメータを決定する。この明部保持パラメータを用いることにより、明部の保持レベルが強まる。一方、視認性パラメータαが小さい場合は、明部の白飛びが目立ち難い。そこで、図14の実線のように、破線の明部保持パラメータよりも、立ち下がりを遅らせた明部保持パラメータを決定する。この明部保持パラメータを用いることにより、明部の保持レベルが弱まる。このように、視認性パラメータαの強度に応じて、明部保持パラメータγの強度を制御することで、より良好な視認性と白飛びの抑制とが両立される。

0089

以上のような視認性パラメータαの強度に応じた明部保持パラメータγの強度の制御は、例えば、数式12のT2をαの関数とした次のような式で表される。

0090

0091

ここで、f(α)>0である。また、図14の実線におけるf(α)よりも図14の破線におけるf(α)の方が小さいので、f(α)は減少関数である。但し、この場合の減少関数は、「α1<α2であればf(α1)≧f(α2)」という条件が成立する関数である。つまり、全体として減少する関数であれば、同じ値が続く部分を途中に含んでいてもよい。

0092

そこで、f(α)は、例えば、次のような式で表されるものとするとよい。この式は、視認性パラメータαを場合分けして、視認性パラメータαがある値より小さい場合はf(α)をs1とし、視認性パラメータαがある値より大きい場合はf(α)をs2とするものである。

0093

0094

或いは、f(α)は、連続関数としてもよい。この場合は、例えば、次の式のようにs3を傾きとし、s4を切片とした一次関数とするとよい。

0095

0096

本実施の形態では、原画像の反射率成分の強調度合いの一例として、視認性パラメータを用いている。また、原画像の暗部の保持度合いである暗部保持度合いの一例として、暗部保持パラメータを用いており、原画像と強調度合いとを用いて暗部保持度合いを決定する決定手段の一例として、暗部保持パラメータ決定部14を設けている。但し、暗部保持度合いが高いと、暗部において反射率推定画像よりも原画像の重みが高くなるので、暗部保持パラメータの値は小さくなる。更に、原画像の明部の保持度合いである明部保持度合いの一例として、明部保持パラメータを用いており、原画像と強調度合いとを用いて明部保持度合いを決定する決定手段の一例として、明部保持パラメータ決定部15を設けている。但し、明部保持度合いが高いと、明部において反射率推定画像よりも原画像の重みが高くなるので、明部保持パラメータの値は小さくなる。

0097

また、本実施の形態では、暗部保持パラメータ決定部14及び明部保持パラメータ決定部15を設け、画像再現部17が、視認性パラメータに加え、暗部保持パラメータ及び明部保持パラメータを用いて、反射率成分を強調した再現画像を生成するようにしたが、この限りではない。暗部保持パラメータ決定部14及び明部保持パラメータ決定部15の何れか一方を設け、画像再現部17が、視認性パラメータに加え、暗部保持パラメータ及び明部保持パラメータの何れか一方を用いて、反射率成分を強調した再現画像を生成するようにしてもよい。この意味で、暗部保持パラメータ決定部14及び明部保持パラメータ決定部15は、原画像の暗部及び明部の少なくとも何れか一方の保持度合いを決定する決定手段の一例である。

0098

[第3の実施の形態]
図15は、本発明の第3の実施の形態における画像処理装置10の機能構成例を表すブロック図である。図示するように、本実施の形態における画像処理装置10は、照明推定部11と、反射率推定部12と、ユーザパラメータ決定部16と、画像再現部17とを備える。ここで、照明推定部11、反射率推定部12及び画像再現部17については、第2の実施の形態と同じなので説明を省略し、ユーザパラメータ決定部16についてのみ説明する。

0099

ユーザパラメータ決定部16は、視認性パラメータ、暗部保持パラメータ及び明部保持パラメータをユーザインタラクションにより決定する。各パラメータをユーザインタラクションにより決定する方法としては、如何なる方法を採用してもよいが、ここでは、2つの方法を説明する。その際、ユーザ(操作者)は指で指示するものとするが、指は指示手段の一例であり、タッチペン等、他の如何なる指示手段で指示するものとしてもよい。

0100

第1の方法は、ユーザが指示した方向の組み合わせに応じて、各パラメータを決定する方法である。

0101

例えば、図16では、表示された原画像上でユーザが指を左右方向に移動させることにより、暗部保持パラメータの強度を変化させるようにしている。具体的には、ユーザが指を左に移動させると、暗部保持パラメータの強度を小さくし、ユーザが指を右に移動させると、暗部保持パラメータの強度を大きくしている。

0102

また、図16では、表示された原画像上でユーザが指を上下方向に移動させることにより、明部保持パラメータの強度を変化させるようにしている。具体的には、ユーザが指を上に移動させると、明部保持パラメータの強度を小さくし、ユーザが指を下に移動させると、明部保持パラメータの強度を大きくしている。

0103

更に、図16では、表示された原画像上でユーザがタップ操作又はダブルタップ操作を行うことにより、視認性パラメータの強度を変化させるようにしている。具体的には、ユーザが指でタップ操作を行うと、視認性パラメータの強度を大きくし、ユーザが指でダブルタップ操作を行うと、視認性パラメータの強度を小さくしている。

0104

或いは、図16には示していないが、表示された原画像上でユーザが指を斜め方向に移動させることにより、暗部保持パラメータと明部保持パラメータとの両方を制御するようにしてもよい。

0105

尚、ここでは、視認性パラメータ、暗部保持パラメータ及び明部保持パラメータを独立にユーザインタラクションにより決定したが、この限りではない。即ち、視認性パラメータのみをタップ操作又はダブルタップ操作により決定してもよい。そして、暗部保持パラメータ及び明部保持パラメータについては、指を左右方向又は上下方向に移動させなくても、決定された視認性パラメータと数式13及び数式16とにより決定するようにしてよい。

0106

第2の方法は、プリンタドライバ等のUIに表示された選択肢の選択に応じて、各パラメータを決定する方法である。

0107

例えば、図17では、視認性パラメータに対応する項目「視認性」、暗部保持パラメータに対応する項目「ノイズ抑制」及び明部保持パラメータに対応する項目「白飛び抑制」のそれぞれについて、3段階の強度「高」、「中」、「小」を選択肢として表示している。これに対して、ユーザは、各項目に対し、3段階の強度の何れかを選択する。図17のように強度を選択すると、視認性パラメータの強度を大きくし、暗部保持パラメータの強度を中程度にし、明部保持パラメータを小さくする。このようにユーザが各パラメータについて選択肢の1つを選択することにより、ユーザの好みを反映しつつ、視認性と暗部ノイズ及び白飛びの抑制とが両立される。

0108

尚、ここでは、視認性パラメータ、暗部保持パラメータ及び明部保持パラメータを独立にユーザインタラクションにより決定したが、この限りではない。即ち、視認性パラメータについてのみ3段階の強度を選択肢として表示し、視認性パラメータのみを選択肢の選択により決定してもよい。そして、暗部保持パラメータ及び明部保持パラメータについては、3段階の強度を選択肢として表示しなくても、決定された視認性パラメータと数式13及び数式16とにより決定するようにしてよい。

0109

本実施の形態では、強調度合いを設定する設定手段の一例として、ユーザパラメータ決定部16を設けている。

0110

加えて、図15では、ユーザパラメータ決定部16が、第2の実施の形態の変形例として、視認性パラメータ、暗部保持パラメータ及び明部保持パラメータをユーザインタラクションにより決定するものとしたが、この限りではない。第1の実施の形態の変形例として、視認性パラメータ及び明暗部保持パラメータをユーザインタラクションにより決定するものとしてもよい。そして、その場合も、視認性パラメータをユーザインタラクションにより決定し、明暗部保持パラメータについては、決定された視認性パラメータと数式7とにより決定するようにしてよい。

0111

[第1乃至第3の実施の形態の動作]
図18は、本発明の第1乃至第3の実施の形態における画像処理装置10の動作例を表すフローチャートである。尚、この動作例では、視認性パラメータに応じて明暗部保持パラメータ、暗部保持パラメータ、明部保持パラメータ等を制御する場合について説明する。

0112

原画像が入力されると、まず、照明推定部11が、図2及び図4に示したように、原画像から、複数の平滑化された画像を含む多層画像を生成し、これらの多層画像を用いて、照明推定画像を生成する(ステップ101)。

0113

次に、反射率推定部12が、原画像と、ステップ101で生成された照明推定画像とに基づいて、反射率推定画像を生成する(ステップ102)。

0114

次いで、画像処理装置10は、暗部及び明部の少なくとも何れか一方の保持パラメータを決定する(ステップ103)。

0115

ここで、「暗部及び明部の少なくとも何れか一方の保持パラメータ」とは、第1の実施の形態では、明暗部保持パラメータである。即ち、第1の実施の形態では、明暗部保持パラメータ決定部13が、原画像と視認性パラメータとに基づいて、明暗部保持パラメータを決定する。

0116

また、「暗部及び明部の少なくとも何れか一方の保持パラメータ」とは、第2の実施の形態では、暗部保持パラメータ及び明部保持パラメータである。即ち、第2の実施の形態では、暗部保持パラメータ決定部14が、原画像と視認性パラメータとに基づいて、暗部保持パラメータを決定すると共に、明部保持パラメータ決定部15が、原画像と視認性パラメータとに基づいて、明部保持パラメータを決定する。

0117

更に、「暗部及び明部の少なくとも何れか一方の保持パラメータ」とは、第3の実施の形態では、明暗部保持パラメータ、暗部保持パラメータ、明部保持パラメータの何れでもよい。但し、ユーザパラメータ決定部16が、ユーザインタラクションにより、視認性パラメータを決定し、この視認性パラメータと原画像とを用いた計算により、明暗部保持パラメータ、暗部保持パラメータ、明部保持パラメータの何れかを決定する。

0118

最後に、画像再現部17が、原画像と、ステップ102で生成された反射率推定画像と、視認性パラメータと、ステップ103で決定された暗部及び明部の少なくとも何れか一方の保持パラメータとに基づいて、再現画像を生成する(ステップ104)。尚、ここでは、数式4を用いて再現画像を生成する場合を想定して原画像を用いることとしたが、数式5を用いて再現画像を生成する場合は、ステップ104で原画像を用いなくてもよい。

0119

[第4の実施の形態]
本実施の形態は、原画像から抽出した人の肌を表す領域(以下、「肌領域」という)において、全画素に同じ肌部保持パラメータを適用する実施の形態である。以下では、疑似輪郭を発生させる領域として肌領域を例にとって説明するが、これに限るものではない。

0120

図19は、本発明の第4の実施の形態における画像処理装置10の機能構成例を表すブロック図である。図示するように、本実施の形態における画像処理装置10は、照明推定部11と、反射率推定部12と、画像再現部17と、肌領域抽出部18と、肌部保持パラメータ決定部19とを備える。ここで、照明推定部11及び反射率推定部12については、第1の実施の形態と同じなので説明を省略し、以下では、肌領域抽出部18、肌部保持パラメータ決定部19及び画像再現部17についてのみ説明する。

0121

肌領域抽出部18は、原画像中から人の肌領域を抽出する。肌領域の抽出は、原画像をRGBからHSVへ変換して代表的な肌の値に近い画素を抽出する方法や、オブジェクト認識等で人間を認識してその情報と色情報とを用いて抽出する方法等、如何なる方法を用いて行ってもよい。

0122

本実施の形態では、原画像の疑似輪郭を発生させる色として予め定められた特定色の部分の一例として、肌領域を用いており、特定色の部分を抽出する抽出手段の一例として、肌領域抽出部18を設けている。

0123

より詳細には、本実施の形態では、原画像においてレティネックス処理を行ったときに疑似輪郭が発生し易い領域を特定し、その特定した領域における代表的な色を「特定色」と呼んでいる。尚、疑似輪郭とは、一般に、画像処理により原画像の濃淡が強調されて段差が生じ、輪郭のような疑似的な線が生じて見える現象のことをいう。

0124

撮影画像においては、撮影時の光源と被写体との関係で被写体の一部に陰影が生じることがよくある。このような場合、撮影画像では、本来近い色で構成されている被写体であるにも関わらず、その中で大きな濃淡差ができてしまうことになる。このように本来近い色であるにも関わらず、撮影画像にした結果、陰影により大きな濃淡ができてしまう領域を、本実施の形態では疑似輪郭が発生し易い領域としている。

0125

ここで、特定色、つまり疑似輪郭が発生し易い領域における代表的な色を決定する方法には様々な方法があるが、基本的には原画像における疑似輪郭が発生し易い領域に属する画素群(の各々の色値)の中から「代表的な色」の値を決定する。そのため、例えば疑似輪郭が発生し易い領域が人の顔の部分と特定された場合であって、その領域内に「光の当たっている領域」と「影になっている領域」の両方が含まれる場合には、そのどちらの領域に属する画素の色も「特定色」として抽出され得る。尚、上記画素群の中からどの色値を「代表的な色」として抽出するかについても複数の方法があるが、一例として、例えば「疑似輪郭が発生し易い領域」を「肌領域」と予め定めておいた上で、肌を示す色として尤もらしい色値を予め記憶しておき、その記憶しておいた肌色を示す色値に最も近い色値を持つ画素(の色)を「代表的な色」として抽出する方法も考えられる。

0126

例えば、人の身体的な特徴上、顔の輪郭と首との境界や、手足を曲げた部分等には陰影ができ易い。そこで、それらの領域を代表する色として、本実施の形態では「肌領域」を「特定色」として用いている。肌領域以外であっても、太陽光等の特定環境下で撮影された立体物等には陰影ができ易いため、この立体物が例えば水色であれば、特定色として水色を抽出することになる。

0127

肌部保持パラメータ決定部19は、視認性パラメータに応じて肌部保持パラメータを決定する。具体的には、視認性パラメータをα、肌部保持パラメータをδ(α)とすると、δ(α)は例えば数式19で表されるものとすればよい。

0128

0129

図20に、このときの視認性パラメータαと肌部保持パラメータδ(a)との関係を示す。視認性パラメータαが大きいほど、肌領域の疑似輪郭が目立つため、δ(α)を小さくすることで、原画像の重みを高くする。関数としては、αの増加に応じてδ(α)が減少する関数であれば、どのようなものを用いても構わない。

0130

本実施の形態では、原画像の反射率成分の強調度合いの一例として、視認性パラメータを用いている。また、原画像の特定色の部分の保持度合いである第1の保持度合いの一例として、肌部保持パラメータを用いており、強調度合いを用いて第1の保持度合いを決定する第1の決定手段の一例として、肌部保持パラメータ決定部19を設けている。但し、第1の保持度合いが高いと、特定色において反射率推定画像よりも原画像の重みが高くなるので、肌部保持パラメータの値は小さくなる。

0131

画像再現部17は、抽出した肌領域と肌領域以外とで処理を変える。肌領域の画素値は、肌部保持パラメータ決定部19で決定した肌部保持パラメータδ(α)を用いて数式20で算出する。肌領域以外の画素値は、δ(α)を用いずに数式21で算出する。但し、0≦α≦1、0≦δ(α)≦1とする。

0132

0133

ここで、I(x,y)は原画像の画素値を表し、IR(x,y)は反射率推定画像の画素値を表し、I^(x,y)は再現画像の画素値を表す。このように、肌領域には、視認性パラメータαに応じて、1以下の肌部保持パラメータδ(α)を乗算する。これにより、反射率推定画像の画素値の重みを低下させ、原画像の画素値の重みを高めることで、疑似輪郭の発生を抑制する。

0134

本実施の形態では、原画像の反射率成分が強調された強調画像の一例として、再現画像を用いており、強調画像を生成する強調画像生成手段の一例として、画像再現部17を設けている。

0135

[第5の実施の形態]
本実施の形態は、肌部保持と暗部保持と明部保持とを組み合わせた実施の形態である。

0136

図21は、本発明の第5の実施の形態における画像処理装置10の機能構成例表すブロック図である。図示するように、本実施の形態における画像処理装置10は、照明推定部11と、反射率推定部12と、暗部保持パラメータ決定部14と、明部保持パラメータ決定部15と、画像再現部17と、肌領域抽出部18と、肌部保持パラメータ決定部19とを備える。ここで、照明推定部11及び反射率推定部12については、第1の実施の形態と同じであり、暗部保持パラメータ決定部14及び明部保持パラメータ決定部15については、第2の実施の形態と同じであり、肌領域抽出部18及び肌部保持パラメータ決定部19については、第4の実施の形態と同じなので説明を省略し、以下では、画像再現部17についてのみ説明する。

0137

画像再現部17は、抽出した肌領域と肌領域以外とで処理を変える。肌領域の画素値は、肌部保持パラメータ決定部19で決定した肌部保持パラメータδ(α)を用いて数式22で算出する。肌領域以外の画素値は、δ(α)を用いずに数式23で算出する。但し、0≦α≦1、0≦β≦1、0≦γ≦1、0≦δ(α)≦1とする。

0138

0139

ここで、数式22と数式23との違いについて、図22を参照して説明する。肌領域以外については、第2の実施の形態と同じ処理となるため、実線のような関数形状のパラメータが最終的な再現パラメータとして決定される。一方、肌領域については、δ(α)を乗算するため、原画像の寄与が高まり、破線のような関数形状のパラメータが最終的な再現パラメータとして決定される。これにより、暗部と明部を保持しつつ肌部の疑似輪郭も抑制する。

0140

また、図22の肌領域についてのパラメータの関数形状が視認性パラメータαを高めた場合にどのように変化するかを図23に示す。図23の2つの破線の関数形状のうち下側の関数形状がαを高めた場合の関数形状である。αが高いほど、暗部ノイズ、明部の白飛び及び肌部の疑似輪郭が目立ち易くなるため、矢印で示すように、原画像の寄与を高くする。これにより、視認性パラメータαに応じて、暗部と明部を保持しつつ肌部の疑似輪郭も抑制する。尚、δ(α)は、数式19のようにαの増加に応じて減少するような関数で算出すればよい。

0141

本実施の形態では、原画像の反射率成分が強調された強調画像の一例として、再現画像を用いており、強調画像を生成する強調画像生成手段の一例として、画像再現部17を設けている。

0142

尚、本実施の形態では、暗部保持パラメータ決定部14及び明部保持パラメータ決定部15を設け、画像再現部17が、視認性パラメータ及び肌部保持パラメータに加え、暗部保持パラメータ及び明部保持パラメータを用いて、反射率成分を強調した再現画像を生成するようにしたが、この限りではない。暗部保持パラメータ決定部14及び明部保持パラメータ決定部15に代えて、第1の実施の形態の明暗部保持パラメータ決定部13を設け、画像再現部17が、視認性パラメータ及び肌部保持パラメータに加え、明暗部保持パラメータを用いて、反射率成分を強調した再現画像を生成するようにしてもよい。或いは、暗部保持パラメータ決定部14及び明部保持パラメータ決定部15の何れか一方を設け、画像再現部17が、視認性パラメータ及び肌部保持パラメータに加え、暗部保持パラメータ及び明部保持パラメータの何れか一方を用いて、反射率成分を強調した再現画像を生成するようにしてもよい。この意味で、暗部保持パラメータ及び明部保持パラメータは、原画像の暗部及び明部の少なくとも何れか一方の保持度合いである第2の保持度合いの一例であり、暗部保持パラメータ決定部14及び明部保持パラメータ決定部15は、原画像と強調度合いとを用いて第2の保持度合いを決定する第2の決定手段の一例である。

0143

[第4及び第5の実施の形態の動作]
図24は、本発明の第4及び第5の実施の形態における画像処理装置10の動作例を表すフローチャートである。尚、この動作例では、視認性パラメータに応じて明暗部保持パラメータ、暗部保持パラメータ、明部保持パラメータ等を制御する場合について説明する。

0144

原画像が入力されると、まず、照明推定部11が、図2及び図4に示したように、原画像から、複数の平滑化された画像を含む多層画像を生成し、これらの多層画像を用いて、照明推定画像を生成する(ステップ151)。

0145

次に、反射率推定部12が、原画像と、ステップ151で生成された照明推定画像とに基づいて、反射率推定画像を生成する(ステップ152)。

0146

次いで、画像処理装置10は、暗部及び明部の少なくとも何れか一方の保持パラメータを決定する(ステップ153)。

0147

但し、第4の実施の形態では、このステップ153は実行しないものとする。

0148

また、「暗部及び明部の少なくとも何れか一方の保持パラメータ」とは、第5の実施の形態では、暗部保持パラメータ及び明部保持パラメータである。即ち、第5の実施の形態では、暗部保持パラメータ決定部14が、原画像と視認性パラメータとに基づいて、暗部保持パラメータを決定すると共に、明部保持パラメータ決定部15が、原画像と視認性パラメータとに基づいて、明部保持パラメータを決定する。

0149

更に、「暗部及び明部の少なくとも何れか一方の保持パラメータ」とは、第5の実施の形態で暗部保持パラメータ決定部14及び明部保持パラメータ決定部15に代えて第1の実施の形態の明暗部保持パラメータ決定部13を設けた変形例では、明暗部保持パラメータである。即ち、第5の実施の形態のこの変形例では、明暗部保持パラメータ決定部13が、原画像と視認性パラメータとに基づいて、明暗部保持パラメータを決定する。

0150

次に、肌領域抽出部18が、原画像から肌領域を抽出する(ステップ154)。

0151

次いで、肌部保持パラメータ決定部19が、視認性パラメータに基づいて、肌部保持パラメータを決定する(ステップ155)。

0152

最後に、画像再現部17が、原画像と、ステップ152で生成された反射率推定画像と、視認性パラメータと、ステップ153で決定された暗部及び明部の少なくとも何れか一方の保持パラメータと、肌領域については、更に、ステップ155で決定された肌部保持パラメータとに基づいて、再現画像を生成する(ステップ156)。尚、ここでは、数式4を用いて再現画像を生成する場合を想定して原画像を用いることとしたが、数式5を用いて再現画像を生成する場合は、ステップ156で原画像を用いなくてもよい。

0153

[画像処理装置のハードウェア構成]
本実施の形態における画像処理装置10は、例えばPCにインストールされた画像処理ソフトウェアとしても実現され得るが、典型的には、画像読取り及び画像形成を行う画像処理装置10として実現される。

0154

図25は、このような画像処理装置10のハードウェア構成例を示した図である。図示するように、画像処理装置10は、CPU(Central Processing Unit)21と、RAM(Random Access Memory)22と、ROM(Read Only Memory)23と、HDD(Hard Disk Drive)24と、操作パネル25と、画像読取部26と、画像形成部27と、通信インターフェース(以下、「通信I/F」と表記する)28とを備える。

0155

CPU21は、ROM23等に記憶された各種プログラムをRAM22にロードして実行することにより、後述する各機能を実現する。

0156

RAM22は、CPU21の作業用メモリ等として用いられるメモリである。

0157

ROM23は、CPU21が実行する各種プログラム等を記憶するメモリである。

0158

HDD24は、画像読取部26が読み取った画像データや画像形成部27における画像形成にて用いる画像データ等を記憶する例えば磁気ディスク装置である。

0159

操作パネル25は、各種情報の表示やユーザからの操作入力の受付を行うタッチパネルである。ここで、操作パネル25は、各種情報が表示されるディスプレイと、指やスタイラスペン等で指示された位置を検出する位置検出シートとからなる。

0160

画像読取部26は、紙等の記録媒体に記録された画像を読み取る。ここで、画像読取部26は、例えばスキャナであり、光源から原稿照射した光に対する反射光レンズ縮小してCCD(Charge Coupled Devices)で受光するCCD方式や、LED光源から原稿に順に照射した光に対する反射光をCIS(Contact Image Sensor)で受光するCIS方式のものを用いるとよい。

0161

画像形成部27は、記録媒体に画像を形成する。ここで、画像形成部27は、例えばプリンタであり、感光体に付着させたトナーを記録媒体に転写して像を形成する電子写真方式や、インクを記録媒体上に吐出して像を形成するインクジェット方式のものを用いるとよい。

0162

通信I/F28は、ネットワークを介して他の装置との間で各種情報の送受信を行う。

0163

尚、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、CD−ROM等の記録媒体に格納して提供することも可能である。

0164

10…画像処理装置、11…照明推定部、12…反射率推定部、13…明暗部保持パラメータ決定部、14…暗部保持パラメータ決定部、15…明部保持パラメータ決定部、16…ユーザパラメータ決定部、17…画像再現部、18…肌領域抽出部、19…肌部保持パラメータ決定部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ