図面 (/)

技術 画像処理装置及びプログラム

出願人 富士ゼロックス株式会社
発明者 鳴海翔太佐々木信
出願日 2015年3月19日 (5年8ヶ月経過) 出願番号 2015-056843
公開日 2016年10月6日 (4年1ヶ月経過) 公開番号 2016-177504
状態 特許登録済
技術分野 FAX画像信号回路 画像処理
主要キーワード 集中分布 ハロー効果 多層画像 モニタ環境 凝集度合い 明部領域 反射率成分 反射率画像
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年10月6日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

反射率成分を強調することで原画像視認性が高まるように再現された再現画像において、ノイズ、白飛び又はハロー効果が発生する可能性を低減する。

解決手段

画像処理装置10では、多層画像生成部11が、原画像から、原画像が複数の平滑化度合いで平滑化された複数の平滑化画像を生成し、照明推定部13が、複数の平滑化画像を、少なくとも1つの平滑化画像の重みが異なる重み付けで用いて、原画像の照明成分画素値とする照明画像を生成し、反射率推定部14が、原画像と、照明画像とに基づいて、原画像の反射率成分を画素値とする反射率画像を生成し、画像再現部15が、少なくとも、反射率画像と、原画像の反射率成分の強調度合いを表す強調度合い情報とに基づいて、原画像の視認性が高まるように再現された再現画像を生成する。

概要

背景

Multi ScaleRetinex処理において、処理対象となる原画像画素値レベルに応じて、スケールの異なる複数の周辺関数から生成されるぼけ具合の異なる複数のぼけ画像からいずれかを画素毎に選択することで、合成ぼけ画像を作成し、合成ぼけ画像に対してローパスフィルタを施すことによって、不自然境界の不連続の発生を防止し、Retinex処理を行なう技術は知られている(例えば、特許文献1参照)。

概要

反射率成分を強調することで原画像の視認性が高まるように再現された再現画像において、ノイズ、白飛び又はハロー効果が発生する可能性を低減する。画像処理装置10では、多層画像生成部11が、原画像から、原画像が複数の平滑化度合いで平滑化された複数の平滑化画像を生成し、照明推定部13が、複数の平滑化画像を、少なくとも1つの平滑化画像の重みが異なる重み付けで用いて、原画像の照明成分画素値とする照明画像を生成し、反射率推定部14が、原画像と、照明画像とに基づいて、原画像の反射率成分を画素値とする反射率画像を生成し、画像再現部15が、少なくとも、反射率画像と、原画像の反射率成分の強調度合いを表す強調度合い情報とに基づいて、原画像の視認性が高まるように再現された再現画像を生成する。

目的

本発明の目的は、複数の平滑化画像の単純平均をとることにより照明画像を生成する場合に比較して、反射率成分を強調することで原画像の視認性が高まるように再現された再現画像において、ノイズ、白飛び又はハロー効果が発生する可能性を低減することにある

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

原画像から、当該原画像が複数の平滑化度合いで平滑化された複数の平滑化画像を生成する平滑化画像生成手段と、前記複数の平滑化画像を、少なくとも1つの平滑化画像の重みが異なる重み付けで用いて、前記原画像の照明成分画素値とする照明画像を生成する照明画像生成手段と、前記原画像と、前記照明画像とに基づいて、当該原画像の反射率成分を画素値とする反射率画像を生成する反射率画像生成手段と、少なくとも、前記反射率画像と、前記原画像の反射率成分の強調度合いを表す強調度合い情報とに基づいて、当該原画像の視認性が高まるように再現された再現画像を生成する再現画像生成手段とを備えたことを特徴とする画像処理装置

請求項2

操作者が指示手段を移動させた軌跡解析することにより得られた前記重み付けを設定する設定手段を更に備えたことを特徴とする請求項1に記載の画像処理装置。

請求項3

操作者が指示手段で指示した方向及び位置の何れかに予め対応付けられた前記重み付けを設定する設定手段を更に備えたことを特徴とする請求項1に記載の画像処理装置。

請求項4

前記照明画像生成手段は、前記複数の平滑化画像を、前記再現画像の暗部領域におけるノイズ、前記再現画像の明部領域における白飛び、及び、前記再現画像の暗部領域と明部領域との境界におけるハロー効果の少なくとも何れか1つの発生を抑制する前記重み付けで用いて、前記照明画像を生成することを特徴とする請求項1に記載の画像処理装置。

請求項5

前記原画像の視認性に対する暗部領域の影響度合いを示す特徴量が大きいほど、低い平滑化度合いで平滑化された平滑化画像の重みが小さい前記重み付けを設定する設定手段を更に備えたことを特徴とする請求項1に記載の画像処理装置。

請求項6

前記原画像の視認性に対する明部領域の影響度合いを示す特徴量が大きいほど、高い平滑化度合いで平滑化された平滑度画像の重みが小さい前記重み付けを設定する設定手段を更に備えたことを特徴とする請求項1に記載の画像処理装置。

請求項7

前記原画像の視認性に対する暗部領域の影響度合いを示す特徴量、及び、前記原画像の視認性に対する明部領域の影響度合いを示す特徴量が、予め定められた基準よりも大きい場合に、低い平滑化度合いで平滑化された平滑度画像の重み及び高い平滑化度合いで平滑化された平滑度画像の重みが小さい前記重み付けを設定する設定手段を更に備えたことを特徴とする請求項1に記載の画像処理装置。

請求項8

前記原画像の暗部領域と明部領域との境界における明暗差に関する特徴量が、予め定められた基準よりも大きい場合に、高い平滑化度合いで平滑化された平滑度画像の重みが小さい前記重み付けを設定する設定手段を更に備えたことを特徴とする請求項1に記載の画像処理装置。

請求項9

コンピュータに、原画像から、当該原画像が複数の平滑化度合いで平滑化された複数の平滑化画像を生成する機能と、前記複数の平滑化画像を、少なくとも1つの平滑化画像の重みが異なる重み付けで用いて、前記原画像の照明成分を画素値とする照明画像を生成する機能と、前記原画像と、前記照明画像とに基づいて、当該原画像の反射率成分を画素値とする反射率画像を生成する機能と、少なくとも、前記反射率画像と、前記原画像の反射率成分の強調度合いを表す強調度合い情報とに基づいて、当該原画像の視認性が高まるように再現された再現画像を生成する機能とを実現させるためのプログラム

技術分野

0001

本発明は、画像処理装置及びプログラムに関する。

背景技術

0002

Multi ScaleRetinex処理において、処理対象となる原画像画素値レベルに応じて、スケールの異なる複数の周辺関数から生成されるぼけ具合の異なる複数のぼけ画像からいずれかを画素毎に選択することで、合成ぼけ画像を作成し、合成ぼけ画像に対してローパスフィルタを施すことによって、不自然境界の不連続の発生を防止し、Retinex処理を行なう技術は知られている(例えば、特許文献1参照)。

先行技術

0003

特開2005−4506号公報

発明が解決しようとする課題

0004

ここで、反射率成分を強調することで原画像の視認性が高まるように再現された再現画像を生成するために、原画像が複数の平滑化度合いで平滑化された複数の平滑化画像を用いて照明画像を生成する際は、複数の平滑化画像の単純平均をとることにより照明画像を生成する構成を採用することが考えられる。しかしながら、そのような構成を採用した場合は、再現画像において、ノイズ、白飛び又はハロー効果が発生する可能性があった。

0005

本発明の目的は、複数の平滑化画像の単純平均をとることにより照明画像を生成する場合に比較して、反射率成分を強調することで原画像の視認性が高まるように再現された再現画像において、ノイズ、白飛び又はハロー効果が発生する可能性を低減することにある。

課題を解決するための手段

0006

請求項1に記載の発明は、原画像から、当該原画像が複数の平滑化度合いで平滑化された複数の平滑化画像を生成する平滑化画像生成手段と、前記複数の平滑化画像を、少なくとも1つの平滑化画像の重みが異なる重み付けで用いて、前記原画像の照明成分画素値とする照明画像を生成する照明画像生成手段と、前記原画像と、前記照明画像とに基づいて、当該原画像の反射率成分を画素値とする反射率画像を生成する反射率画像生成手段と、少なくとも、前記反射率画像と、前記原画像の反射率成分の強調度合いを表す強調度合い情報とに基づいて、当該原画像の視認性が高まるように再現された再現画像を生成する再現画像生成手段とを備えたことを特徴とする画像処理装置である。
請求項2に記載の発明は、操作者が指示手段を移動させた軌跡解析することにより得られた前記重み付けを設定する設定手段を更に備えたことを特徴とする請求項1に記載の画像処理装置である。
請求項3に記載の発明は、操作者が指示手段で指示した方向及び位置の何れかに予め対応付けられた前記重み付けを設定する設定手段を更に備えたことを特徴とする請求項1に記載の画像処理装置である。
請求項4に記載の発明は、前記照明画像生成手段は、前記複数の平滑化画像を、前記再現画像の暗部領域におけるノイズ、前記再現画像の明部領域における白飛び、及び、前記再現画像の暗部領域と明部領域との境界におけるハロー効果の少なくとも何れか1つの発生を抑制する前記重み付けで用いて、前記照明画像を生成することを特徴とする請求項1に記載の画像処理装置である。
請求項5に記載の発明は、前記原画像の視認性に対する暗部領域の影響度合いを示す特徴量が大きいほど、低い平滑化度合いで平滑化された平滑化画像の重みが小さい前記重み付けを設定する設定手段を更に備えたことを特徴とする請求項1に記載の画像処理装置である。
請求項6に記載の発明は、前記原画像の視認性に対する明部領域の影響度合いを示す特徴量が大きいほど、高い平滑化度合いで平滑化された平滑度画像の重みが小さい前記重み付けを設定する設定手段を更に備えたことを特徴とする請求項1に記載の画像処理装置である。
請求項7に記載の発明は、前記原画像の視認性に対する暗部領域の影響度合いを示す特徴量、及び、前記原画像の視認性に対する明部領域の影響度合いを示す特徴量が、予め定められた基準よりも大きい場合に、低い平滑化度合いで平滑化された平滑度画像の重み及び高い平滑化度合いで平滑化された平滑度画像の重みが小さい前記重み付けを設定する設定手段を更に備えたことを特徴とする請求項1に記載の画像処理装置である。
請求項8に記載の発明は、前記原画像の暗部領域と明部領域との境界における明暗差に関する特徴量が、予め定められた基準よりも大きい場合に、高い平滑化度合いで平滑化された平滑度画像の重みが小さい前記重み付けを設定する設定手段を更に備えたことを特徴とする請求項1に記載の画像処理装置である。
請求項9に記載の発明は、コンピュータに、原画像から、当該原画像が複数の平滑化度合いで平滑化された複数の平滑化画像を生成する機能と、前記複数の平滑化画像を、少なくとも1つの平滑化画像の重みが異なる重み付けで用いて、前記原画像の照明成分を画素値とする照明画像を生成する機能と、前記原画像と、前記照明画像とに基づいて、当該原画像の反射率成分を画素値とする反射率画像を生成する機能と、少なくとも、前記反射率画像と、前記原画像の反射率成分の強調度合いを表す強調度合い情報とに基づいて、当該原画像の視認性が高まるように再現された再現画像を生成する機能とを実現させるためのプログラムである。

発明の効果

0007

請求項1の発明によれば、複数の平滑化画像の単純平均をとることにより照明画像を生成する場合に比較して、反射率成分を強調することで原画像の視認性が高まるように再現された再現画像において、ノイズ、白飛び又はハロー効果が発生する可能性が低減される。
請求項2の発明によれば、操作者が指示手段で指示した方向又は位置に予め関連付けられた重み付けを設定する場合に比較して、再現画像におけるノイズ、白飛び又はハロー効果の発生を細かく制御することができる。
請求項3の発明によれば、操作者が指示手段を移動させた軌跡を解析することにより得られた重み付けを設定する場合に比較して、再現画像におけるノイズ、白飛び又はハロー効果の発生を簡単に制御することができる。
請求項4の発明によれば、再現画像におけるノイズ、白飛び又はハロー効果の発生を抑制するとは限らない重み付けを設定する場合に比較して、再現画像におけるノイズ、白飛び又はハロー効果の発生を抑制することができる。
請求項5の発明によれば、複数の平滑化画像の単純平均をとることにより照明画像を生成する場合に比較して、反射率成分を強調することで原画像の視認性が高まるように再現された再現画像の暗部領域におけるノイズの発生を抑制することができる。
請求項6の発明によれば、複数の平滑化画像の単純平均をとることにより照明画像を生成する場合に比較して、反射率成分を強調することで原画像の視認性が高まるように再現された再現画像の明部領域における白飛びの発生を抑制することができる。
請求項7の発明によれば、複数の平滑化画像の単純平均をとることにより照明画像を生成する場合に比較して、反射率成分を強調することで原画像の視認性が高まるように再現された再現画像の暗部領域におけるノイズの発生及び明部領域における白飛びの発生を抑制することができる。
請求項8の発明によれば、複数の平滑化画像の単純平均をとることにより照明画像を生成する場合に比較して、反射率成分を強調することで原画像の視認性が高まるように再現された再現画像の暗部領域と明部領域との境界におけるハロー効果の発生を抑制することができる。
請求項9の発明によれば、複数の平滑化画像の単純平均をとることにより照明画像を生成する場合に比較して、反射率成分を強調することで原画像の視認性が高まるように再現された再現画像において、ノイズ、白飛び又はハロー効果が発生する可能性が低減される。

図面の簡単な説明

0008

本発明の実施の形態における画像処理装置の機能構成例を示したブロック図である。
原画像がRGB画像である場合の多層画像生成部による多層画像の生成の様子を示した図である。
(a)〜(c)は、σの値によって多層画像の各層の画像の周波数が異なることを示した図である。
原画像が輝度色度画像である場合の多層画像生成部による多層画像の生成の様子を示した図である。
スケールの重みを異ならせることの意義の説明に用いる風景画像の例を示した図である。
レティネックス処理を行った場合の風景画像の部分の画素値の変化の例を示した図である。
スケールの重みを異ならせることの意義の説明に用いる風景画像の例を示した図である。
レティネックス処理を行った場合の風景画像の部分の画素値の変化の例を示した図である。
ユーザインタラクションに応じてスケールの重みを決定する方法の例を示した図である。
ユーザインタラクションに応じてスケールの重みを決定する方法の例を示した図である。
暗部領域の空間的な凝集度の例を示した図である。
暗部領域の空間的な凝集度の例を示した図である。
暗部領域の空間的な凝集度の例を示した図である。
暗部領域の凝集度について説明するための風景画像の例を示した図である。
暗部領域の凝集度について説明するための風景画像の例を示した図である。
暗部領域の凝集度について説明するための風景画像を2値化した画像の例を示した図である。
暗部領域の凝集度について説明するための風景画像を2値化した画像の例を示した図である。
凝集度と小スケールの重みとを対応付けた関数の例を示した図である。
暗部ノイズ度の算出方法を説明するための風景画像の例を示した図である。
(a)〜(d)は、暗部ノイズ度を算出するために用いる領域を拡大したときの各画素の明暗の例を示した図である。
本発明の実施の形態における画像処理装置の動作例を示したフローチャートである。
本発明の実施の形態における画像処理装置のハードウェア構成例を示したブロック図である。

実施例

0009

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。

0010

[実施の形態の背景
画像を扱って文書を作成する作業は、PC(Personal Computer)を駆使してモニタを観ながら行うのが一般的である。このような作業においては、近年急速に普及しているタブレット等のICT(Information and Communication Technology)デバイスを用いるユーザも増えている。

0011

一般に、事務作業やDTP(DeskTop Publishing)作業の現場のようなオフィス環境では、環境光の変化に左右されることは少ない。一方で、快適に持ち運べるICTデバイスには、場所を問わず作業できるという利点はあるが、環境光の変化等、持ち運んだ先に大きく左右されるという欠点もある。

0012

また、画像を扱う作業には、上記のような文書を作成する作業の他にも、ユーザがカメラ付きタブレット等で撮影した画像をそれぞれのデバイスに保存する作業がある。ユーザが互いに画像を見せ合ったり画像で状況を説明したりするシーンもよく見られるようになった。

0013

このように、近年のモニタ環境の特徴としては、従来のモニタ環境とは違って、「手軽に使え」、「使用場所が多様」であることが挙げられる。そして、この近年のモニタ環境では、使用方法使用環境が従来とは異なることから、色合わせよりも「視認性」の方が重視されている。

0014

「視認性」とは、視対象がはっきり見えるか否かの特性である。画像の視認性を高める方法には、ガンマ補正ヒストグラムイコライゼーションダイナミックレンジ圧縮等に代表される画像処理分野の基本手法がある。

0015

ガンマ補正では、暗部や対象となる領域を盛り上げカーブを生成し、画素値に適用することで、暗部を明るくする。ヒストグラムイコライゼーションでは、画像のヒストグラム偏りをなくすカーブを生成し、画素値に適用することで、ヒストグラムが平滑化される再現を行う。ダイナミックレンジ圧縮では、画像の周辺輝度に応じて補正量を変えることで、コントラストを低下させることなく低輝度及び高輝度表現する。

0016

また、視覚特性を利用した視認性向上の方法には、レティネック原理を利用したものもある。レティネックスは、人間が反射率によってシーンを知覚しているという考え方に基づき、反射率成分を強調することで視認性を高める基本原理である。

0017

レティネックス処理では、反射率成分を推定するために、照明成分を推定する必要がある。現在のところ、平滑化を行った平滑化画像を照明成分として用いるのが一般的である。この平滑化画像を用いる手法としては、単一の平滑化画像を用いるSSR(Single-Scale Retinex)、及び、複数の平滑化画像を用いるMSR(Multi-Scale Retinex)やIMSR(Integrated Multi-Scale Retinex)がある。SSRでは、単一の平滑化画像を用いるため、平滑化度合いが小さければ暗部領域にノイズが発生する場合があり、平滑化度合いが大きければ明暗差が大きい境界領域で不自然な帯状ディフェクト(ハロー効果)が発生する場合がある。これに対し、MSRやIMSRでは、平滑化画像を多層にするので、ノイズやハロー効果の発生は低減されると言われている。

0018

しかしながら、MSRやIMSRは複数の平滑化画像の単純平均をとることで合成した照明成分を用いているため、画像によっては依然としてノイズやハロー効果等が発生してしまう。

0019

そこで、本実施の形態では、レティネックス処理で照明成分を推定するために用いる多層の平滑化画像の重みを画像の特徴量に応じて変えることで、暗部領域のノイズやハロー効果等の発生を抑制する。

0020

一方で、ユーザによっては、ハロー効果を気にしない、ノイズはあってもよいのでコントラストを上げたい等の好みがあるかもしれない。画像の特徴量に応じた重みを付けることも重要であるが、そのような方法では、ユーザごとの好みの画像への調整を行うことはできない。近年、タブレット端末の普及によって、ユーザが簡易に好みの画像に調整することも重要視されてきている。

0021

そこで、本実施の形態では、多層の平滑化画像の重みの変更をユーザインタラクションによっても行えるようにすることで、暗部領域のノイズやハロー効果等の発生を制御可能とする。

0022

[実施の形態の構成]
図1は、本発明の実施の形態における画像処理装置10の機能構成例を表すブロック図である。図示するように、本実施の形態における画像処理装置10は、多層画像生成部11と、重み決定部12と、照明推定部13と、反射率推定部14と、画像再現部15とを備える。

0023

多層画像生成部11は、主に、原画像を平滑化して平滑化画像を生成する処理を行う。これは、後段の反射率の推定のために行われる。平滑化は、例えば、移動平均法又は以下のガウス関数で表されるコンボリューションを行うことにより実施される。

0024

0025

ここで、x,yはある画素の位置を表し、kは画像処理のフィルタサイズの画素分で積分した場合に結果が1になるように正規化する係数を表し、σは平滑化度合い(スケール)を表す。尚、上記の関数は一例であり、結果として画像が平滑化されるフィルタであれば如何なるものを用いてもよい。例えば、数式1を変形した関数によるフィルタで、エッジ保存を行う平滑化フィルタとして知られるバイラテラルフィルタがあるが、これを用いてもよいものとする。

0026

多層画像生成部11による多層画像の生成の様子を図2に示す。図2には、原画像がRGBの3プレーンから構成される場合において、多層画像として、スケール1からスケールNまでのN層の画像が生成される例を示している。ここで、スケール1、スケール2、・・・、スケールNの層は、数式1のσを変化させることにより得られる層であるため、平滑化度合いが異なることになる。図3(a)〜(c)に示すように、σを変化させると画像の周波数が変化する。具体的には、(a)に示すようにσが小さいと高周波になり、(c)に示すようにσが大きいと低周波になり、(b)に示すようにσが中程度だと周波数も中程度になる。

0027

以上のように、多層画像はRGBの3プレーンのN層でもよいが、図4のようなものでもよい。図4は、RGB画像を予めYCbCr画像のような輝度色度画像に変換しておく例を示したものであり、この例では、輝度を表すYの1プレーンのみを多層画像に変換している。これは、輝度のみで照明成分の推定を行う場合があるためである。尚、ここでは、輝度色度で表される色空間としてYCbCr色空間を用いたが、L*a*b*色空間、HSV色空間(但し、HSは色度座標へ変換する)等を用いてもよい。L*a*b*色空間を用いた場合はL*を、HSV色空間を用いた場合はVを、それぞれ輝度画像として用いればよい。

0028

本実施の形態では、複数の平滑化画像の一例として、多層画像を用いており、原画像から複数の平滑化画像を生成する平滑化画像生成手段の一例として、多層画像生成部11を設けている。

0029

重み決定部12は、多層画像における各スケールの重みを決定する。その際、各スケールの重みが異なるようにする。本実施の形態では、重み付けを設定する設定手段の一例として、重み決定部12を設けている。尚、この重み決定部12については、後で詳細に説明する。

0030

照明推定部13は、多層画像生成部11が生成した多層画像と、重み決定部12が決定した各スケールの重みとに基づいて、原画像の照明成分を推定する(以下、この推定された照明成分の画像を「照明推定画像」という)。例えば、複数の異なるスケールを用いた場合、照明成分の推定は数式2で表される。

0031

0032

ここで、L(x,y)は照明推定画像の画素値を表し、Gn(x,y)はスケールnに対する数式1を表し、I(x,y)は原画像の画素値を表し、「×」を「○」で囲んだ記号は畳み込みを表す。また、Wnは、重み決定部12が決定したスケールnの重みを表す。但し、Wnは、以下の条件を満たすものとする。

0033

0034

本実施の形態では、原画像の照明成分を画素値とする照明画像の一例として、照明推定画像を用いており、照明画像を生成する照明画像生成手段の一例として、照明推定部13を設けている。

0035

反射率推定部14は、原画像の画素値の照明推定画像の画素値に対する比を求めることにより原画像の反射率を推定する。具体的には、以下のように反射率を表す画像(以下、「反射率推定画像」という)を求める。

0036

0037

ここで、R(x,y)は反射率推定画像の画素値を表し、I(x,y)は原画像の画素値を表し、L(x,y)は照明推定画像の画素値を表す。尚、RGBの3プレーンのそれぞれで照明推定画像を算出した場合は、数式4も、R(x,y)がRGBの3プレーン分できるものとして解釈される。また、輝度成分(YCbCrのY、L*a*b*のL、HSVのV)のみを用いる場合は、1プレーンについて数式4を用いればよい。

0038

本実施の形態では、原画像の反射率成分を画素値とする反射率画像の一例として、反射率推定画像を用いており、反射率画像を生成する反射率画像生成手段の一例として、反射率推定部14を設けている。

0039

画像再現部15は、反射率推定部14が生成した反射率推定画像と、原画像とに基づいて、反射率成分を強調する処理を行う。例えば、以下のような再現式により、反射率成分を強調した再現画像を生成する。

0040

0041

ここで、I^(x,y)は再現画像の画素値を表す。また、αは強調度合いを表すパラメータであり、図1強調パラメータ(強調度合い情報)に相当する。I^(x,y)は、α=1の場合、反射率成分そのものとなり、α=0の場合、原画像の画素値となる。本実施の形態において、αは0から1までの如何なる値でもよいものとする。尚、本明細書では、ハット記号を、数式中では文字の真上に付すが、文中では文字の後ろに付すものとする。

0042

また、再現式は、数式5に限らず、以下のような式であってもよい。

0043

0044

ここで、αは反射率のゲインを表すパラメータであり、βは再現式の切片を表すパラメータである。図1は、画像再現部15が原画像を用いて再現画像を生成する場合について示したが、この数式6を用いた場合、画像再現部15は原画像を用いずに再現画像を生成することになる。また、αは図1の強調パラメータに相当するが、βは図1には示されていないパラメータである。

0045

尚、本実施の形態では、画像再現部15が数式5又は数式6を用いて画像を再現することとしたが、反射率を強調する式であれば如何なる式を用いて画像を再現することとしてもよい。

0046

本実施の形態では、再現画像を生成する再現画像生成手段の一例として、画像再現部15を設けている。

0047

[重み決定部]
まず、重み決定部12によって各スケールの重みが異なるようにする意義について説明する。

0048

図5は、木の葉の部分が暗くて視認性が悪い画像を示す。ここでは、この画像に対して、レティネックス処理を行うことを考える。図6は、図5の木の葉の部分の画素値の変化の例を示した図である。尚、この図では、画素値を明度の値で示し、最も明るい画素の明度の値が255になるように正規化している。(a)は、原画像における画素値の分布画素分布)である。(b)は、(a)の画素分布に対して図3(a)のようにσを小さくして平滑化を行った場合の照明推定画像の画素分布である。この場合、各画素は周辺の明るい画素の影響をあまり受けないので、(b)の画素分布は、(a)の画素分布とあまり変わらない。一方、(c)は、(a)の画素分布に対して図3(c)のようにσを大きくして平滑化を行った場合の照明推定画像の画素分布である。この場合、各画素は周辺の明るい画素の影響を受けるので、(c)の画素分布は、(a)の画素分布よりも明るくなっている。

0049

また、(d),(e)は、それぞれ、照明推定画像の画素分布が(b),(c)のようになっている場合に、これと(a)の画素分布とから算出した反射率推定画像の画素分布である。(d)の画素分布は、画素値が大きいので全体的に明るいものの、各画素値の差が大きいのでノイズが目立つ画像を示すものとなっている。一方、(e)の画素分布は、(a)の画素分布より明るく、かつ、各画素値の差も(d)の画素分布に比べて小さいので、ノイズが目立たず良好な画像を示すものとなっている。

0050

図7は、暗い背景の中に明るいがある画像を示す。ここでは、この画像に対して、レティネックス処理を行うことを考える。図8は、図7の背景と塔との境界部分の画素値の変化の例を示した図である。尚、この図でも、画素値を明度の値で示し、最も明るい画素の明度の値が255になるように正規化している。(a)は、原画像における画素分布である。(b)は、(a)の画素分布に対して図3(a)のようにσを小さくして平滑化を行った場合の照明推定画像の画素分布である。この場合、各画素は周辺の暗い画素の影響をあまり受けないので、(b)の画素分布は、境界領域で(a)の画素分布と同じく差がある画素分布になっている。一方、(c)は、(a)の画素分布に対して図3(c)のようにσを大きくして平滑化を行った場合の照明推定画像の画素分布である。この場合、各画素は周辺の暗い画素の影響を受けるので、(c)の画素分布は、境界領域の画素差が分からない画素分布になっている。

0051

また、(d),(e)は、それぞれ、照明推定画像の画素分布が(b),(c)のようになっている場合に、これと(a)の画素分布とから算出した反射率推定画像の画素分布である。(e)では境界領域がぼけて、ハロー効果が発生していることが分かる。

0052

以上のことから、IMSRのように多層画像を単純に平均化しても、暗部領域のノイズや境界領域のハロー効果を抑制することはできない。従って、シーンに応じてスケールの重みを変えることは有効である。

0053

次に、重み決定部12によって各スケールの重みを決定する方法について説明する。この重みを決定する方法としては、如何なる方法を採用してもよいが、ここでは、ユーザインタラクションに応じて決定する方法及び原画像の特徴量に応じて決定する方法について説明する。

0054

(1)ユーザインタラクションに応じて決定する方法
ユーザインタラクションに応じて決定する方法としては、2つの方法を説明する。尚、以下の説明では、3つの異なるスケールに対応する3つの多層画像を用いるものとする。また、ここでは、ユーザ(操作者)は指で指示するものとするが、指は指示手段の一例であり、タッチペン等、他の如何なる指示手段で指示するものとしてもよい。

0055

第1の方法は、ユーザが指示した軌跡に連動して、スケールの重みを決定する方法である。

0056

例えば、図9(a)のように、表示された原画像上でユーザが指を右上がりに直線で移動させたとする。この場合、重み決定部12は、指の軌跡により、図9(b)に示すようなグラフが指示されたと判断する。即ち、指が右上がりに移動したことにより、大きいスケールの重みを大きくし、小さいスケールの重みを小さくする。また、指が直線状に移動したことにより、大きいスケールの重みから小さいスケールの重みまでの各重みを線形で決定する。

0057

また、図9(c)のように、表示された原画像上でユーザが指を右下がり非線形に移動させたとする。この場合、重み決定部12は、指の軌跡により、図9(d)に示すようなグラフが指示されたと判断する。即ち、指が右下がりに移動したことにより、小さいスケールの重みを大きくし、大きいスケールの重みを小さくする。また、指が非線形に移動したことにより、大きいスケールの重みから小さいスケールの重みまでの各重みを非線形関数に基づいて決定する。ここで、非線形関数としては、例えば、以下の式で表されるロジスティック関数の中から軌跡に形状が近いものを選択して用いるとよい。

0058

0059

この関数を選択した場合、小さいスケールの重みは非常に大きく、大きいスケールの重みは非常に小さく、その中間のスケールの重みは中間の大きさになる。

0060

更に、図9(e)のように、表示された原画像上でユーザが指を移動させたとすると、図9(f)に示すように、中程度のスケールの重みは非常に大きく、小さいスケールの重み及び大きいスケールの重みは非常に小さくなる。

0061

尚、ここでは、ユーザが指示した軌跡を、スケールと重みとの関係を示すグラフとして解析することにより、重みを決定したが、これには限られない。即ち、ユーザが指示した軌跡に対して如何なる解析を行って重みを決定してもよい。例えば、ユーザが指示した軌跡から、接触した座標位置や移動した距離等を判定し、これにより重みを決定してもよい。

0062

第2の方法は、ユーザが指示した方向の組み合わせに応じて、スケールの重みと図1の強調パラメータとを決定する方法である。

0063

例えば、図10では、表示された原画像上でユーザが指を左右方向に移動させることにより、スケールの重みを変化させるようにしている。具体的には、ユーザが指を左に移動させると、小さいスケールの重みを大きくし、ユーザが指を右に移動させると、大きいスケールの重みを大きくしている。或いは、図示した方法以外に、左下をタップすると小さいスケールの重みを大きくし、右下をタップすると大きいスケールの重みを大きくする方法を採用してもよい。

0064

また、図10では、表示された原画像上でユーザが指を上下方向に移動させることにより、図1の強調パラメータを制御する。具体的には、ユーザが指を上に移動させると、強調パラメータを大きくして反射率成分を強調し、ユーザが指を下に移動させると、強調パラメータを小さくして反射率成分を強調しないようにしている。

0065

更に、図10では、表示された原画像上でユーザが指を左上方向に移動させることにより、スケールの重みと図1の強調パラメータとの両方を制御するようにしてもよい。

0066

尚、ここでは、1回のユーザインタラクションにより、図1の強調パラメータの制御も行うようにしたが、これは必ずしも行わなくてよい。従って、この第2の方法は、ユーザが指示した方向又は位置に予め対応付けられた重みをスケールの重みとして決定することの一例と捉えてよい。

0067

(2)原画像の特徴量に応じて決定する方法
この方法で用いる原画像の特徴量としては、種々のものが考えられる。

0068

第一に、原画像全体に関する特徴量として、原画像全体の明度の平均値、明度のばらつき等がある。

0069

第二に、暗部領域に関する特徴量として、暗部領域の凝集度(凝集度合い)、暗部ノイズ度、暗部領域の平均画素値、暗部領域の面積等がある。尚、これらの特徴量は、暗部領域に関する特徴量の中でも、特に、原画像の視認性に対する暗部領域の影響度合いを示す特徴量の一例である。

0070

ここで、暗部領域の特徴量の一例として、暗部領域の凝集度について説明する。

0071

暗部領域の空間的な凝集度合いを、図11図13に示す。暗部領域を黒いドットとすると、暗部領域の分布状態としては、例えば、図11のように集中分布している状態と、図12のように分散分布している状態と、図13のようにランダム分布している状態とがある。そこで、本実施の形態では、その凝集度合いを連続的に定量化した特徴量を指標とする。そのような特徴量としては、平均最近隣距離等がある。平均最近隣距離とは、各点から最も近い点までの距離の全ての点についての平均値である。よって、この特徴量Kは、点iから最も近い点までの距離diと、点の数nとを用いて、以下の式で求めることができる。

0072

0073

尚、他の特徴量としては、予め定められた範囲内の点の数等も考えられるが、領域の空間的な凝集度を定量化した特徴量であれば、どのような特徴量を指標としても構わない。

0074

図14及び図15の風景画像における暗部領域の凝集度を用いて説明する。図14では、木の部分が、視認性が悪く暗部領域であり、図15では、建物の部分が、視認性が悪く暗部領域である。図16及び図17は、それぞれ、図14及び図15を2値化した画像である。この例では、図16よりも図17の方が暗部領域の固まりが大きく、凝集している。そのため、レティネックス処理を行うと、図15の方が暗部のノイズが目立つ。従って、重み決定部12は、図15の画像の方が、図14の画像よりも、小さいスケールの重みが小さくなるように、重みを決定する。例えば、図18に示すようなロジスティック関数を用いて、凝集度に応じてスケールの重みを決定してもよい。尚、上記の2値化の方法としては、視認性の悪い暗部領域を抽出できるものであれば、判別分析法等、如何なる方法を用いても構わない。

0075

また、暗部領域の特徴量の別の例として、暗部ノイズ度について説明する。

0076

暗部領域のノイズは平坦領域で発生すると目立つため、暗部領域でありかつ平坦領域である暗部平坦領域に関する特徴量を算出する。

0077

例として、図19の領域(a)〜(d)を用いて説明する。図19の領域(a)〜(d)は、注目画素及び周辺画素を含む領域であり、これらの領域を拡大したときの各画素の明暗を、それぞれ、図20(a)〜(d)に示す。図では、淡い色ほど明るい画素であり、濃い色ほど暗い画素であることを示している。即ち、図20(a),(b)は明るい画素を中心に構成されており、図20(c),(d)は暗い画素を中心に構成されている。また、図20(b),(d)に比べて、図20(a),(c)の方が暗い画素や明るい画素が混在しているため、画素値のばらつきが大きい。つまり、暗部平坦領域とは、図20(d)のように、注目画素及び周辺画素が、暗い画素を中心に構成され、かつ、画素値のばらつきが小さい領域のことである。

0078

ここで、画素値のばらつきは、例えば、領域内の画素数をМ×Nとし、領域内の位置(i,j)の画素値をf(i,j)とし、数式9の平均値μを用いて、数式10の標準偏差σで表せばよい。

0079

0080

重み決定部12は、原画像上で注目画素を1画素ずつずらして、全画素について標準偏差σを算出し、標準偏差σが閾値以下である領域を平坦領域に決定する。

0081

また、重み決定部12は、画素値の平均値μや注目画素の画素値が閾値以下である領域を暗部領域に決定する。

0082

このように暗部領域及び平坦領域が決定されると、重み決定部12は、これらの両方の領域である暗部平坦領域の面積(画素数)を暗部ノイズ度とする。そして、算出した暗部ノイズ度に応じて、スケールの重みを決定することとなる。

0083

更に、重み決定部12は、暗部領域の平均画素値(例えば、明度の平均値)や、暗部領域の面積(例えば、画素数)に応じて、スケールの重みを決定してもよい。

0084

更にまた、重み決定部12は、複数の特徴量を用いてスケールの重みを決定してもよい。具体的には、重みWは、特徴量をK1,K2,K3,…,Knとすると、以下のように、b1,b2,b3,…,bnを係数とした線形和で表される。

0085

0086

尚、重みWは、このような線形和に限らず、どのような関数を用いて決定してもよい。

0087

尚、このような重みの決定方法は、暗部領域に関する特徴量が大きいほど、低い平滑化度合いで平滑化された平滑化画像の重みが小さくなるように重みを決定することの一例である。但し、これは、暗部領域に関する特徴量が予め定められた基準よりも大きい場合に、低い平滑化度合いで平滑化された平滑化画像ほど重みが小さくなるように重みを決定することの一例と捉えてもよい。或いは、予め定められた基準よりも低い平滑化度合いで平滑化された平滑化画像について、暗部領域に関する特徴量が大きいほど重みが小さくなるように重みを決定することの一例と捉えてもよい。

0088

第三に、明部領域に関する特徴量として、明部領域の凝集度(凝集度合い)、明部領域の平均画素値(例えば、明度の平均値)、明部領域の面積(例えば、画素数)等がある。尚、これらの特徴量は、明部領域に関する特徴量の中でも、特に、原画像の視認性に対する明部領域の影響度合いを示す特徴量の一例である。

0089

図8から分かるように、スケールを大きくして平滑化を行うと、比較的明るい領域では、画素値が飽和して白く飛ぶ所謂白飛びが発生することがある。そのため、重み決定部12は、暗部領域の場合と同じように、凝集度、平均画素値、面積等に応じて、大きいスケールの重みを小さくする。

0090

尚、このような重みの決定方法は、明部領域に関する特徴量が大きいほど、高い平滑化度合いで平滑化された平滑化画像の重みが小さくなるように重みを決定することの一例である。但し、これは、明部領域に関する特徴量が予め定められた基準よりも大きい場合に、高い平滑化度合いで平滑化された平滑化画像ほど重みが小さくなるように重みを決定することの一例と捉えてもよい。或いは、予め定められた基準よりも高い平滑化度合いで平滑化された平滑化画像について、明部領域に関する特徴量が大きいほど重みが小さくなるように重みを決定することの一例と捉えてもよい。

0091

第四に、暗部領域に関する特徴量及び明部領域に関する特徴量の両方を用いてもよい。暗部領域に関する特徴量及び明部領域に関する特徴量の両方が予め定められた基準よりも大きい場合は、暗部領域のノイズ及び白飛びが生じ易いので、小さいスケール及び大きいスケールの重みを小さくする。

0092

尚、このような重みの決定方法は、暗部領域に関する特徴量及び明部領域に関する特徴量が予め定められた基準よりも大きい場合に、低い平滑化度合いで平滑化された平滑化画像の重み及び高い平滑化度合いで平滑化された平滑化画像の重みが小さくなるように重みを決定することの一例である。具体的には、平滑化度合いが低い方の平滑化画像については、低い平滑化度合いで平滑化された平滑化画像ほど重みが小さくなるように重みを決定し、平滑化度合いが高い方の平滑化画像については、高い平滑化度合いで平滑化された平滑化画像ほど重みが小さくなるように重みを決定すればよい。

0093

第五に、特定領域に関する特徴量として、図8で説明した明暗差を考慮してもよい。明暗差が大きい画像ではハロー効果が生じ易いので、大きいスケールの重みを小さくする。ここで、明暗差としては、画像全体ではなく局所領域の画素の標準偏差等を用いればよい。

0094

尚、このような重みの決定方法は、暗部領域と明部領域との境界における明暗差に関する特徴量が予め定められた基準よりも大きい場合に、高い平滑化度合いで平滑化された平滑度画像の重みが小さくなるように重みを決定することの一例である。具体的には、高い平滑化度合いで平滑化された平滑化画像ほど重みが小さくなるように重みを決定すればよい。

0095

このように、原画像の特徴量に応じてスケールの重みを変えることで、暗部領域のノイズやハロー効果等が抑制される。

0096

[実施の形態の動作]
図21は、本発明の実施の形態における画像処理装置10の動作例を表すフローチャートである。

0097

原画像が入力されると、まず、多層画像生成部11が、図2及び図4に示したように、原画像から、複数の平滑化された画像を含む多層画像を生成する(ステップ101)。また、重み決定部12が、図9乃至図20を参照して述べたように、ユーザインタラクション又は原画像の特徴量に応じて、多層画像におけるスケールの重みを決定する(ステップ102)。ここで、ステップ101及びステップ102はこの順序で実行されることとしたが、如何なる順序で実行されてもよい。或いは、ステップ101と、ステップ102とは、並行に実行されるものであってもよい。

0098

次に、照明推定部13が、ステップ101で生成された複数の多層画像を、ステップ102で決定した重みで用いて、照明推定画像を生成する(ステップ103)。

0099

次いで、反射率推定部14が、原画像と、ステップ103で生成された照明推定画像とに基づいて、反射率推定画像を生成する(ステップ104)。

0100

最後に、画像再現部15が、原画像と、ステップ104で生成された反射率推定画像と、強調パラメータとに基づいて、再現画像を生成する(ステップ105)。尚、ここでは、数式5を用いて再現画像を生成する場合を想定して原画像を用いることとしたが、数式6を用いて再現画像を生成する場合は、ステップ105で原画像を用いなくてもよい。

0101

[変形例]
本実施の形態では、重み決定部12が、原画像上でのユーザインタラクション又は原画像の特徴量に応じてスケールの重みを決定するようにしたが、これには限らない。

0102

例えば、重み決定部12は、再現画像上でのユーザインタラクションに応じてスケールの重みを再調整して決定するようにしてもよい。このような構成によって、ユーザはスケールの重みを微調整することができ、より視認性の高い再現画像が得られる。

0103

また、重み決定部12を2つに分け、第1の重み決定部12が、原画像の特徴量に応じてスケールの重みを決定し、第2の重み決定部12が、再現画像上でのユーザインタラクションに応じてスケールの重みを決定してもよい。即ち、まず、第1の重み決定部12が、原画像の特徴量に応じてスケールの重みを決定することにより視認性の高い再現画像を取得し、次に、第2の重み決定部12が、一旦取得した再現画像に対してユーザの指示により微調整を行う。このような構成によって、ユーザは微調整を行うだけで済むので、より視認性の高い再現画像が容易に得られる。

0104

[画像処理装置のハードウェア構成]
本実施の形態における画像処理装置10は、例えばPCにインストールされた画像処理ソフトウェアとしても実現され得るが、典型的には、画像読取り及び画像形成を行う画像処理装置10として実現される。

0105

図22は、このような画像処理装置10のハードウェア構成例を示した図である。図示するように、画像処理装置10は、CPU(Central Processing Unit)21と、RAM(Random Access Memory)22と、ROM(Read Only Memory)23と、HDD(Hard Disk Drive)24と、操作パネル25と、画像読取部26と、画像形成部27と、通信インターフェース(以下、「通信I/F」と表記する)28とを備える。

0106

CPU21は、ROM23等に記憶された各種プログラムをRAM22にロードして実行することにより、後述する各機能を実現する。

0107

RAM22は、CPU21の作業用メモリ等として用いられるメモリである。

0108

ROM23は、CPU21が実行する各種プログラム等を記憶するメモリである。

0109

HDD24は、画像読取部26が読み取った画像データや画像形成部27における画像形成にて用いる画像データ等を記憶する例えば磁気ディスク装置である。

0110

操作パネル25は、各種情報の表示やユーザからの操作入力の受付を行うタッチパネルである。ここで、操作パネル25は、各種情報が表示されるディスプレイと、指やスタイラスペン等で指示された位置を検出する位置検出シートとからなる。

0111

画像読取部26は、紙等の記録媒体に記録された画像を読み取る。ここで、画像読取部26は、例えばスキャナであり、光源から原稿照射した光に対する反射光レンズ縮小してCCD(Charge Coupled Devices)で受光するCCD方式や、LED光源から原稿に順に照射した光に対する反射光をCIS(Contact Image Sensor)で受光するCIS方式のものを用いるとよい。

0112

画像形成部27は、記録媒体に画像を形成する。ここで、画像形成部27は、例えばプリンタであり、感光体に付着させたトナーを記録媒体に転写して像を形成する電子写真方式や、インクを記録媒体上に吐出して像を形成するインクジェット方式のものを用いるとよい。

0113

通信I/F28は、ネットワークを介して他の装置との間で各種情報の送受信を行う。

0114

尚、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、CD−ROM等の記録媒体に格納して提供することも可能である。

0115

10…画像処理装置、11…多層画像生成部、12…重み決定部、13…照明推定部、14…反射率推定部、15…画像再現部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ