図面 (/)

技術 画像処理装置、画像処理方法、画像処理システムおよびプログラム

出願人 富士ゼロックス株式会社
発明者 佐々木信
出願日 2016年3月2日 (4年8ヶ月経過) 出願番号 2016-040033
公開日 2017年9月7日 (3年2ヶ月経過) 公開番号 2017-157014
状態 特許登録済
技術分野 画像処理
主要キーワード 画像強度データ 定数関数 タッチモニタ 鏡面成分 鏡面反射像 ユーザ指示情報 テクスチャ特性 DOGフィルタ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年9月7日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

原画像照明陰影)成分を用いた制御を行うことで、これを用いない場合に比べて、より高度な質感の制御を行なうことができる画像処理装置等を提供する。

解決手段

原画像を構成する各画素画素値照明成分反射率成分とに分け、照明成分画像を生成する画像分解部13と、見本となる画像である見本画像に照明成分を反映させ、照明成分を反映後の見本画像を原画像に対し合成する画像合成部15と、を備える画像処理装置10。

概要

背景

画像加工再現の分野では、これまで、画像全体を適正な画質修正する技術や、人の肌や風景の空などの記憶色を好ましく仕上げる技術によって、画質を向上させる研究が行われてきた。また近年、人の知覚訴える、または手触り感などの視覚以外の感覚喚起する質感の制御を行なう研究がさかんになっている。

特許文献1に記載の画像入力装置は、物体RGB表色系における画像を入力して画像保持用メモリに記憶し、ディスプレイ制御部はRGB表色系で表現した物体色ベクトル照明光ベクトル、2次反射光ベクトルを決定してデータメモリに記憶すると共に、これらベクトルと物体の各画素毎の画像データを反射モデル式に代入して各画素毎に3つの係数k1〜k3を演算し、係数記憶部に記憶する。かかる状態で、操作部より3つのベクトル及び3つの係数のうち少なくとも1つのパラメ−タを変更すると、ディスプレイ制御部は反射モデル式を用いて各画素のRGB表色系における画像データを生成して画像表示部に記憶し、ディスプレイ装置に描画する。

また特許文献2には、輝度補正手段が、入力される画像データの各画素の輝度を、画像データの所定範囲内の平均輝度を用いて輝度補正して画像強度データを生成し、知覚的鏡面反射像推定手段が、画像強度データに高域通過フィルタリング非線形変換を施して知覚的な鏡面反射像のデータを得、知覚的な拡散反射像推定手段が、画像強度データから、知覚的な鏡面反射像のデータに閾値処理を施した画像データを減算して知覚的な拡散反射像のデータを得、明度推定手段が、知覚的な鏡面反射像のデータを平均して明度を得、光沢度推定手段が、知覚的な鏡面反射像のデータを平均し、その平均値を上記明度で除算して光沢度を得る知覚的な鏡面・拡散反射画像推定装置が記載されている。

概要

原画像照明陰影)成分を用いた制御を行うことで、これを用いない場合に比べて、より高度な質感の制御を行なうことができる画像処理装置等を提供する。原画像を構成する各画素の画素値照明成分反射率成分とに分け、照明成分画像を生成する画像分解部13と、見本となる画像である見本画像に照明成分を反映させ、照明成分を反映後の見本画像を原画像に対し合成する画像合成部15と、を備える画像処理装置10。

目的

本発明は、原画像の照明(陰影)成分を用いた制御を行うことで、これを用いない場合に比べて、より高度な質感の制御を行なうことができる画像処理装置等を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

原画像を構成する各画素画素値照明成分反射率成分とに分け、照明成分画像を生成する画像分解部と、見本となる画像である見本画像に前記照明成分を反映させ、当該照明成分を反映後の当該見本画像を原画像に対し合成する画像合成部と、を備える画像処理装置

請求項2

前記画像合成部は、前記見本画像の画素値に前記照明成分を乗ずることで当該見本画像に当該照明成分を反映させることを特徴とする請求項1に記載の画像処理装置。

請求項3

前記照明成分の反映の程度を定める制御因子によりさらに当該照明成分を調整する画像処理部をさらに備えることを特徴とする請求項1または2に記載の画像処理装置。

請求項4

前記見本画像は、ランダムノイズを基に生成された画像であることを特徴とする請求項1に記載の画像処理装置。

請求項5

原画像を構成する各画素の画素値を照明成分と反射率成分とに分け、照明成分画像と反射率成分画像とを生成する画像分解部と、前記照明成分画像の陰影を制御する画像処理を行なう画像処理部と、前記画像処理部により画像処理後の画像を合成する画像合成部と、を備える画像処理装置。

請求項6

前記画像処理部は、ランダムノイズを基に生成された画像を使用して前記照明成分画像の陰影を制御することを特徴とする請求項5に記載の画像処理装置。

請求項7

前記画像処理部は、ランダムノイズの周波数方位とを制御した画像を使用して前記照明成分画像の陰影を制御することを特徴とする請求項6に記載の画像処理装置。

請求項8

前記画像処理部は、予め定められた範囲外の画像の前記照明成分画像を使用して当該予め定められた範囲内の画像の当該照明成分画像の陰影を制御する画像処理を行なうことを特徴とする請求項5に記載の画像処理装置。

請求項9

前記画像処理部は、前記照明成分画像または前記反射率成分画像から鏡面を表す鏡面成分を生成し、前記画像合成部は、鏡面成分をさらに付加して画像を合成することを特徴とする請求項5乃至8の何れか1項に記載の画像処理装置。

請求項10

前記画像合成部は、周囲の環境光を表す環境光成分をさらに付加して画像を合成することを特徴とする請求項5乃至9の何れか1項に記載の画像処理装置。

請求項11

前記画像分解部は、見本となる画像である見本画像を構成する各画素の画素値を照明成分と反射率成分とに分け、当該見本画像に対する照明成分画像と反射率成分画像とを生成し、前記画像処理部は、前記見本画像の照明成分を前記原画像の照明成分に反映させる処理、および前記見本画像の反射率成分を前記原画像の反射率成分に反映させる処理の少なくとも一方を行なうことを特徴とする請求項5乃至10の何れか1項に記載の画像処理装置。

請求項12

前記画像処理部は、前記照明成分、前記反射率成分、前記鏡面成分および前記環境光成分の少なくとも1つに対し、画像上での位置をずらす処理を行なうことを特徴とする請求項10または11の何れか1項に記載の画像処理装置。

請求項13

原画像を構成する各画素の画素値を照明成分と反射率成分とに分け、照明成分画像を生成し、見本となる画像である見本画像に前記照明成分を反映させ、当該照明成分を反映後の当該見本画像を原画像に対し合成する画像処理方法

請求項14

画像を表示する表示装置と、前記表示装置に表示される前記画像の画像情報に対し画像処理を行なう画像処理装置と、を備え、前記画像処理装置は、原画像を構成する各画素の画素値を照明成分と反射率成分とに分け、照明成分画像を生成する画像分解部と、見本となる画像である見本画像に前記照明成分を反映させ、当該照明成分を反映後の当該見本画像を原画像に対し合成する画像合成部と、を備える画像処理システム

請求項15

コンピュータに、原画像を構成する各画素の画素値を照明成分と反射率成分とに分け、照明成分画像を生成する画像分解機能と、見本となる画像である見本画像に前記照明成分を反映させ、当該照明成分を反映後の当該見本画像を原画像に対し合成する画像合成機能と、を実現させるプログラム

技術分野

背景技術

0002

画像加工再現の分野では、これまで、画像全体を適正な画質修正する技術や、人の肌や風景の空などの記憶色を好ましく仕上げる技術によって、画質を向上させる研究が行われてきた。また近年、人の知覚訴える、または手触り感などの視覚以外の感覚喚起する質感の制御を行なう研究がさかんになっている。

0003

特許文献1に記載の画像入力装置は、物体RGB表色系における画像を入力して画像保持用メモリに記憶し、ディスプレイ制御部はRGB表色系で表現した物体色ベクトル照明光ベクトル、2次反射光ベクトルを決定してデータメモリに記憶すると共に、これらベクトルと物体の各画素毎の画像データを反射モデル式に代入して各画素毎に3つの係数k1〜k3を演算し、係数記憶部に記憶する。かかる状態で、操作部より3つのベクトル及び3つの係数のうち少なくとも1つのパラメ−タを変更すると、ディスプレイ制御部は反射モデル式を用いて各画素のRGB表色系における画像データを生成して画像表示部に記憶し、ディスプレイ装置に描画する。

0004

また特許文献2には、輝度補正手段が、入力される画像データの各画素の輝度を、画像データの所定範囲内の平均輝度を用いて輝度補正して画像強度データを生成し、知覚的鏡面反射像推定手段が、画像強度データに高域通過フィルタリング非線形変換を施して知覚的な鏡面反射像のデータを得、知覚的な拡散反射像推定手段が、画像強度データから、知覚的な鏡面反射像のデータに閾値処理を施した画像データを減算して知覚的な拡散反射像のデータを得、明度推定手段が、知覚的な鏡面反射像のデータを平均して明度を得、光沢度推定手段が、知覚的な鏡面反射像のデータを平均し、その平均値を上記明度で除算して光沢度を得る知覚的な鏡面・拡散反射画像推定装置が記載されている。

先行技術

0005

特開平5−40833号公報
特開2008−281402号公報

発明が解決しようとする課題

0006

質感として材質感光沢感などの特性を扱う場合、一般的なトーンカーブコントラスト補正のみでこれを再現することは困難であり、質感を喚起する要因の制御にアプローチする必要がある。そのため従来技術では、例えば、物体色ベクトル、照明光ベクトル、2次反射光ベクトルを組み合わせた反射モデルによって、質感の特性を制御し、反射モデルの係数を算出することで再現画像を生成していた。しかしながらこの方法では、原画像の3次元形状の印象を保持しつつ、被写体表面に関するテクスチャの変更や、表面の凹凸などを生成することはできず、被写体表面に対する高度な質感の制御を行うことはできなかった。
本発明は、原画像の照明陰影)成分を用いた制御を行うことで、これを用いない場合に比べて、より高度な質感の制御を行なうことができる画像処理装置等を提供することを目的とする。

課題を解決するための手段

0007

請求項1に記載の発明は、原画像を構成する各画素の画素値照明成分反射率成分とに分け、照明成分画像を生成する画像分解部と、見本となる画像である見本画像に前記照明成分を反映させ、当該照明成分を反映後の当該見本画像を原画像に対し合成する画像合成部と、を備える画像処理装置である。
請求項2に記載の発明は、前記画像合成部は、前記見本画像の画素値に前記照明成分を乗ずることで当該見本画像に当該照明成分を反映させることを特徴とする請求項1に記載の画像処理装置である。
請求項3に記載の発明は、前記照明成分の反映の程度を定める制御因子によりさらに当該照明成分を調整する画像処理部をさらに備えることを特徴とする請求項1または2に記載の画像処理装置である。
請求項4に記載の発明は、前記見本画像は、ランダムノイズを基に生成された画像であることを特徴とする請求項1に記載の画像処理装置である。
請求項5に記載の発明は、原画像を構成する各画素の画素値を照明成分と反射率成分とに分け、照明成分画像と反射率成分画像とを生成する画像分解部と、前記照明成分画像の陰影を制御する画像処理を行なう画像処理部と、前記画像処理部により画像処理後の画像を合成する画像合成部と、を備える画像処理装置である。
請求項6に記載の発明は、前記画像処理部は、ランダムノイズを基に生成された画像を使用して前記照明成分画像の陰影を制御することを特徴とする請求項5に記載の画像処理装置である。
請求項7に記載の発明は、前記画像処理部は、ランダムノイズの周波数方位とを制御した画像を使用して前記照明成分画像の陰影を制御することを特徴とする請求項6に記載の画像処理装置である。
請求項8に記載の発明は、前記画像処理部は、予め定められた範囲外の画像の前記照明成分画像を使用して当該予め定められた範囲内の画像の当該照明成分画像の陰影を制御する画像処理を行なうことを特徴とする請求項5に記載の画像処理装置である。
請求項9に記載の発明は、前記画像処理部は、前記照明成分画像または前記反射率成分画像から鏡面を表す鏡面成分を生成し、前記画像合成部は、鏡面成分をさらに付加して画像を合成することを特徴とする請求項5乃至8の何れか1項に記載の画像処理装置である。
請求項10に記載の発明は、前記画像合成部は、周囲の環境光を表す環境光成分をさらに付加して画像を合成することを特徴とする請求項5乃至9の何れか1項に記載の画像処理装置である。
請求項11に記載の発明は、前記画像分解部は、見本となる画像である見本画像を構成する各画素の画素値を照明成分と反射率成分とに分け、当該見本画像に対する照明成分画像と反射率成分画像とを生成し、前記画像処理部は、前記見本画像の照明成分を前記原画像の照明成分に反映させる処理、および前記見本画像の反射率成分を前記原画像の反射率成分に反映させる処理の少なくとも一方を行なうことを特徴とする請求項5乃至10の何れか1項に記載の画像処理装置である。
請求項12に記載の発明は、前記画像処理部は、前記照明成分、前記反射率成分、前記鏡面成分および前記環境光成分の少なくとも1つに対し、画像上での位置をずらす処理を行なうことを特徴とする請求項10または11の何れか1項に記載の画像処理装置である。
請求項13に記載の発明は、原画像を構成する各画素の画素値を照明成分と反射率成分とに分け、照明成分画像を生成し、見本となる画像である見本画像に前記照明成分を反映させ、当該照明成分を反映後の当該見本画像を原画像に対し合成する画像処理方法である。
請求項14に記載の発明は、画像を表示する表示装置と、前記表示装置に表示される前記画像の画像情報に対し画像処理を行なう画像処理装置と、を備え、前記画像処理装置は、原画像を構成する各画素の画素値を照明成分と反射率成分とに分け、照明成分画像を生成する画像分解部と、見本となる画像である見本画像に前記照明成分を反映させ、当該照明成分を反映後の当該見本画像を原画像に対し合成する画像合成部と、を備える画像処理システムである。
請求項15に記載の発明は、コンピュータに、原画像を構成する各画素の画素値を照明成分と反射率成分とに分け、照明成分画像を生成する画像分解機能と、見本となる画像である見本画像に前記照明成分を反映させ、当該照明成分を反映後の当該見本画像を原画像に対し合成する画像合成機能と、を実現させるプログラムである。

発明の効果

0008

請求項1の発明によれば、原画像の照明(陰影)成分を用いた制御を行わない場合に比べて、原画像の3次元形状の印象を保持しつつ、模様等は見本画像のものとすることができる。
請求項2の発明によれば、原画像の質感をより保持しやすくなる。
請求項3の発明によれば、ユーザが仕上げたいと思っている質感になるように制御することができる。
請求項4の発明によれば、見本画像の選択の自由度がより向上する。
請求項5の発明によれば、原画像の照明(陰影)成分を用いた制御を行わない場合に比べて、より高度な質感の制御を行なうことができる画像処理装置を提供できる。
請求項6の発明によれば、陰影テクスチャをより簡単な方法で作成することができる。
請求項7の発明によれば、周波数と方位を反映した陰影テクスチャを作成することができる。
請求項8の発明によれば、予め定められた範囲内の画像の質感を予め定められた範囲外の画像の質感にすることができる。
請求項9の発明によれば、質感の制御として鏡面を生成することができる。
請求項10の発明によれば、質感の制御として環境光を反映させることができる。
請求項11の発明によれば、ユーザが指定した質感の制御を行なった見本画像を反映させることができる。
請求項12の発明によれば、質感の制御として奥行きを表現することができる。
請求項13の発明によれば、より高度な質感の制御を行なうことができる画像処理方法を提供できる。
請求項14の発明によれば、より高度な画像処理が行える画像処理システムが提供できる。
請求項15の発明によれば、より高度な質感の制御を行なうことができる機能をコンピュータにより実現できる。

図面の簡単な説明

0009

本実施の形態における画像処理システムの構成例を示す図である。
画像処理装置の機能構成例を表すブロック図である。
カラーの自然画像中における被写体(オブジェクト)を表す図である。
(a)〜(b)は、以上のような方法により求めた照明成分を表す図である。
被写体の反射率成分を画像(反射率成分画像)として算出した結果を示す図である。
(a)は、DO関数を画像化した図である。(b)は、(a)に示した2次元DOG関数をベースに作成したDOGフィルタである。
(a)は、方位選択性を付与したDOG関数を画像化した図である。(b)は、(a)に示した方位選択性を付与したDOG関数(方位選択性DOG関数)をベースに作成した方位選択性を有するDOGフィルタ(方位選択性DOGフィルタ)である。(c)〜(f)は、方位として回転角φを0°、45°、90°、135°としたときのそれぞれの方位選択性DOGフィルタである。
ランダムノイズを画像化し、ランダムノイズ画像とした図である。
図8のランダムノイズ画像に数9式を適用した結果、生成された陰影テクスチャ画像を示した図である。
(a)〜(b)は、図8のランダムノイズ画像に数9式を適用した結果、生成された陰影テクスチャ画像の他の例を示した図である。
(a)〜(b)は、数13式を用いて作成した陰影テクスチャ画像の例を示したものである。
数11式〜数13式を使用して求めた照明成分Sを図4(b)で示した照明成分画像に反映させ、陰影制御画像を作成した結果を示した図である。
図4(b)で示した照明成分画像のトーンカーブを変化させ、陰影制御画像を作成した場合を示した図である。
図11で示した陰影制御画像に対し、さらにトーンカーブを変化させ、新たな陰影制御画像を作成した場合を示している。
画面上でユーザが行なう操作について示した図である。
(a)〜(b)は、このとき生成される色度制御画像を示した図である。
ユーザが濃い色のペンで、画像上に模様を描いた場合を示した図である。
反射率成分画像の変化を示した図である。
(a)〜(b)は、画像合成部により画像処理後の画像を合成した場合の例を示した図である。
(a)〜(b)は、画像合成部により画像処理後の画像を合成した場合の他の例を示した図である。
(a)〜(b)は、画像合成部により画像処理後の画像を合成した場合のさらに他の例を示した図である。
(a)〜(b)は、被写体(オブジェクト)の周辺領域を基に陰影テクスチャ画像の成分を生成する例を示した図である。
照明成分画像に対し高周波側を抽出する処理を行なった結果、形状の輪郭に沿った成分が生成された例を示した図である。
成分をさらに強調し、検出した結果を示した図である。
(a)〜(b)は、図19−1(b)の画像に対し鏡面成分画像をさらに合成した場合を示した図である。
階調部分を突出させる変換を行なう例を示した図である。
照明成分画像に対し特定の階調部分を突出させる変換を行なった場合を示している。
(a)〜(b)は、図19−1(b)の画像に対し鏡面成分画像をさらに合成した場合を示した図である。
(a)〜(b)は、図26(b)の画像に対し環境光の色を表すカラーベクトルをさらに合成した場合を示した図である。
見本テクスチャ画像の一例について示した図である。
(a)〜(b)は、見本テクスチャ画像についての照明成分画像に対し、画像処理を行なった結果を示した図である。
(a)〜(c)は、関数について説明した図である。
(a)〜(d)は、関数について説明した図である。
画像処理装置の動作について説明したフローチャートである。
(a)〜(b)は、ユーザが指定領域を指定する作業をユーザインタラクティブに行う方法の例を示した図である。
画像処理装置のハードウェア構成を示した図である。

実施例

0010

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。

0011

画像処理システム全体の説明>
図1は、本実施の形態における画像処理システム1の構成例を示す図である。
図示するように本実施の形態の画像処理システム1は、表示装置20に表示される画像の画像情報に対し画像処理を行なう画像処理装置10と、画像処理装置10により作成された画像情報が入力され、この画像情報に基づき画像を表示する表示装置20と、画像処理装置10に対しユーザが種々の情報を入力するための入力装置30とを備える。

0012

画像処理装置10は、例えば、所謂汎用パーソナルコンピュータ(PC)である。そして、画像処理装置10は、OS(Operating System)による管理下において、各種アプリケーションソフトウェアを動作させることで、画像情報の作成等が行われるようになっている。

0013

表示装置20は、表示画面21に画像を表示する。表示装置20は、例えばPC用液晶ディスプレイ液晶テレビあるいはプロジェクタなど、加法混色にて画像を表示する機能を備えたもので構成される。したがって、表示装置20における表示方式は、液晶方式に限定されるものではない。なお、図1に示す例では、表示装置20内に表示画面21が設けられているが、表示装置20として例えばプロジェクタを用いる場合、表示画面21は、表示装置20の外部に設けられたスクリーン等となる。

0014

入力装置30は、キーボードマウス等で構成される。入力装置30は、画像処理を行なうためのアプリケーションソフトウェア起動、終了や、詳しくは後述するが、画像処理を行なう際に、ユーザが画像処理装置10に対し画像処理を行なうための指示を入力するのに使用する。

0015

画像処理装置10および表示装置20は、DVI(Digital Visual Interface)を介して接続されている。なお、DVIに代えて、HDMI登録商標)(High-Definition Multimedia Interface)やDisplayPort等を介して接続するようにしてもかまわない。
また画像処理装置10と入力装置30とは、例えば、USB(Universal Serial Bus)を介して接続されている。なお、USBに代えて、IEEE1394やRS−232C等を介して接続されていてもよい。

0016

このような画像処理システム1において、表示装置20には、まず最初に画像処理を行なう前の画像である原画像が表示される。そしてユーザが入力装置30を使用して、画像処理装置10に対し画像処理を行なうための指示を入力すると、画像処理装置10により原画像の画像情報に対し画像処理がなされる。この画像処理の結果は、表示装置20に表示される画像に反映され、画像処理後の画像が再描画されて表示装置20に表示されることになる。この場合、ユーザは、表示装置20を見ながらインタラクティブに画像処理を行なうことができ、より直感的に、またより容易に画像処理の作業を行える。

0017

なお本実施の形態における画像処理システム1は、図1の形態に限られるものではない。例えば、画像処理システム1としてタブレット端末を例示することができる。この場合、タブレット端末は、タッチパネルを備え、このタッチパネルにより画像の表示を行なうとともにユーザの指示が入力される。即ち、タッチパネルが、表示装置20および入力装置30として機能する。また同様に表示装置20および入力装置30を統合した装置として、タッチモニタを用いることもできる。これは、上記表示装置20の表示画面21としてタッチパネルを使用したものである。この場合、画像処理装置10により画像情報が作成され、この画像情報に基づきタッチモニタに画像が表示される。そしてユーザは、このタッチモニタをタッチ等することで画像処理を行なうための指示を入力する。

0018

<画像処理装置の説明>
[第1の実施形態]
次に画像処理装置10の第1の実施形態について説明を行なう。
第1の実施形態では、被写体表面の陰影の制御を行なう場合について説明を行なう。また被写体表面の色度を制御する場合について説明を行なう。

0019

図2は、画像処理装置10の機能構成例を表すブロック図である。なお図2では、画像処理装置10が有する種々の機能のうち第1の実施形態に関係するものを選択して図示している。
図示するように本実施の形態の画像処理装置10は、画像情報取得部11と、ユーザ指示受付部12と、画像分解部13と、画像処理部14と、画像合成部15と、画像情報出力部16とを備える。

0020

画像情報取得部11は、画像処理を行なう画像の画像情報を取得する。即ち、画像情報取得部11は、画像処理を行なう前の原画像の画像情報を取得する。この画像情報は、表示装置20で表示を行なうための、例えば、RGB(Red、Green、Blue)のビデオデータ(RGBデータ)である。

0021

ユーザ指示受付部12は、入力装置30により入力された画像処理に関するユーザによる指示を受け付ける。
具体的には、ユーザ指示受付部12は、表示装置20で表示している画像に対してユーザが行なう画像処理の指示をユーザ指示情報として受け付ける。

0022

画像分解部13は、原画像を構成する各画素の画素値を照明成分と反射率成分とに分け、それぞれの画像である照明成分画像と反射率成分画像とを生成する。

0023

本実施の形態では、画像が表すシーンまたは被写体に対して、実シーンであったときの状態を構成する物理的な特性を表す成分に分解する。人がシーンや被写体が知覚できるということは、被写体に反射した光を感じることである。そこで本実施の形態では、被写体の画像に対し照明成分と反射率成分の推定を行うことで、人が画像で質感を知覚する際の構成要素に分解をする。

0024

照明成分は、被写体に照射された照明光の成分であり、スカラー量である。
また反射率成分は、照明に依存しない被写体表面の画像成分であり、色度により定義することができる。よって反射率成分は、色度の情報として表され、ベクトル量である。

0025

(照明成分)
照明成分の推定は、例えば、Retinexモデル考え方を適用することができる。人の視覚系では、シーンの絶対な輝度値よりも周囲との対比によって各領域の明るさを知覚することが知られている。このことは、下記文献に記載されている。

0026

富永昌治 「トーンマネジメント人間の視覚に適応した階調特性の制御」映像情報メディア学会誌Vol.62, No.10,pp.1534〜1541(2008)

0027

Retinexモデルにより、照明成分を推定するには、注目画素周辺平滑化することでそれを照明成分と仮定するC/S(Center/Surround)モデルを使用できる。

0028

画像の画素値を物理的な特性を表す成分に分解して考えると、例えば、原画像の画素は照明成分と反射率成分を乗じたものになる。
そこで本実施の形態では、原画像の各画素の画素値をI、照明成分をS、反射率成分をRとし、以下の数1式により画素値Iを照明成分Sと反射率成分Rに分解する。

0029

0030

原画像がカラー画像である場合は、画素値Iと反射率成分Rは色成分を表すRGBベクトルとし、照明成分Sはスカラーの係数とすればよい。また照明成分Sは表面の凹凸を表すので、Shadingや陰影と考えることもできる。よって照明成分Sは、陰影を表す陰影成分であると捉えることもできる。

0031

原画像の座標(x、y)に位置する画素の画素値の輝度成分をIL(x、y)とし、推定される照明成分をS(x、y)とすると、S(x、y)は、人の視覚の認知モデルであるC/Sモデルに従うと下記数2式のように表すことができる。数2式で○の中に×がある演算子コンボリューションを表す。

0032

0033

数2式のG(x、y)は、平滑化を行なうためのフィルタであり、例えば下記数3式のようなガウス関数を適用する。数3式でkは、画像処理のフィルタサイズの画素分で積分した場合に1になるように正規化する係数である。またσは平滑化度合い(スケール)を表す。σが大きいほどぼかしの強いコンボリューション画像となる。数3式のG(x、y)を表す関数は一例であり、同様な結果(平滑化)になるフィルタであればいかなるものでもよい。

0034

0035

数2式の輝度成分IL(x、y)は、例えば、原画像の画素値をRGB色空間からYCbCr色空間へ変換したときのY値、RGB色空間からHSV色空間に変換したときのV値、あるいはRGB色空間からL*a*b*色空間に変換したときのL*値を使用することができる。特に、L*a*b*色空間は、人の知覚に適合した色空間であることから、画像によっては、そのまま照明成分Sとして使用することもできる。即ち、この場合、S(x、y)=L*(x、y)となる。もちろん、他の色空間における輝度成分でも照明成分Sを代用することができる。例えば、YCbCr色空間におけるY値を用いて、S(x、y)=Y(x、y)とすることができる。またHSV色空間におけるV値を用いて、S(x、y)=V(x、y)とすることができる。さらに輝度成分IL(x、y)は、バイラテラルフィルタにより、エッジを考慮したフィルタによって代用することができる。

0036

また数3式をさらに拡張し、σの平滑化スケールをN段階設け、複数の平滑化スケールの加重平均から照明成分を推定してもよい。
この場合数3式は、例えば、下記数4式となる。数4式のWnは加重を表す。Wnの最も簡易な表し方としては、1/Nとすればよい。

0037

0038

以上は、人の視覚の認知モデルであるC/Sモデルを参考とした方法であるが、実シーンとして考えられる物理的な制約条件下のもとで、照明成分Sを推定すれば、照明成分の精度をさらに高めることもできる。
例えば、照明光は、空間的に滑らかであるという仮説が下記文献に記載されている。

0039

R.Kimmel,M.Elad,D.Shaked,R.Keshet,and I.Sobel,"A variational framework for retinex," Int.J.Computer Vision.,vol.52,no.1,pp7-23,Jan.2003

0040

ここでこの仮説をモデル化するエネルギー式を参考に作成された下記数5式を定義する。

0041

0042

そしてオイラーラグランジュ方程式などで、E(S)を最小にするSを算出することで、照明成分を推定してもよい。αとβは空間的な滑らかさの度合いに関わるパラメータである。

0043

複雑な色情報の形状を持つような被写体の場合など、照明成分Sのみをさらに精度よく分離するために、さらに近傍の画素どうしの色度に応じて、照明の陰影なのか、色度で生じる段差なのかを見分ける方法を適用してもよい。ここで色度の段差を算出するには、例えば、RGBを正規化した値同士の距離を比較してもよく、下記文献のように、照明成分としての条件を満たすエネルギー式に反映させる方法で算出してもよい。

0044

Qi Zhaok Ping Tan, Qiang Dai, Li Shen, Enhua Wu and Stephen Lin, "A Closed-form Solution to Retinex with Non-local Texture Constraints", Pattern Analysis and Machine Intelligence,IEEE Transactions on Vol.34 (7), pp1437-1444.

0045

図3は、カラーの自然画像中における被写体(オブジェクト)を表す図である。
また図4(a)〜(b)は、以上のような方法により求めた照明成分Sを表す図である。
ただし、画像から照明成分Sと反射率成分Rを推定することは、不良設定問題となり、厳密な正解を算出することは困難である。またアルゴリズム内での照明成分Sの定義にもよる。
しかし被写体の照明成分Sは、大体は、図4の(a)または(b)のような画像(照明成分画像)として算出される。つまり図4の(a)と(b)とでは、輪郭部において差異が生じるものの被写体の陰影についての情報が抽出される。または、輪郭などの情報を強めに残すために、この図4(a)および図4(b)の画像の積で表されるような画像を照明成分Sとしてもよい。

0046

(反射率成分)
反射率成分Rは、RGBベクトルであり、被写体の色度を表すものとなる。本実施の形態では、反射率成分Rを下記数6式で表す。

0047

0048

なお反射率成分Rは、率を表すものであることから、0から1の範囲にするのが望ましい。よって反射率成分Rを表すベクトルの各成分であるRr、Rg、Rbは、0≦Rr、Rg、Rb≦1を満たすように設定することが好ましい。

0049

また例えば、上記Qi Zhaok Ping Tan等の文献のように、原画像がカラー画像であった場合の画素値を表すベクトルをI=(IR、IG、IB)としたとき、IR、IG、IBの総和で各成分を正規化したものを反射率成分Rとみなすようにしてもよい。また画像の制御に使用する目的としては、下記数7式のように簡易的に原画像の信号の最大値で正規化したものを反射率成分Rとしてもよい。なお数7式で、IR、IG、IBは、0から255の範囲で表されるものとする。よって最大値は255である。または、数1式の基本式に従い、IR、IG、IBを照明成分(陰影成分)Sの成分の値で割り、さらにそれを0〜1の範囲に収めて反射率成分Rを表すベクトルとしてもよい。

0050

0051

図5は、被写体の反射率成分Rを画像(反射率成分画像)として算出した結果を示す図である。
図示するように陰影による立体の情報は照明成分Sによるものなので除去されていることがわかる。RGBは、階調値であり、8bitで表す場合、通常0〜255の整数値であるが、本実施の形態のように、照明成分Sや反射率成分Rを算出する場合は、計算上は0〜1の範囲で統一する方が容易である場合もある。または、原画像の画素値Iと照明成分(陰影成分)Sとは、0から255の範囲で表し、反射率成分Rのみを0〜1の範囲で表してもよい。

0052

図2戻り、画像処理部14は、照明成分画像および反射率成分画像の少なくとも一方に対し画像処理を行なう。
ここでは、照明成分画像に対し画像処理を行なう場合についてまず説明を行なう。
本実施の形態では、画像処理部14は、照明成分画像の陰影を制御する。即ち、画像処理部14は、被写体に照射された照明光の成分である照明光成分を制御し、被写体の表面に対応する部分に、照明により生じる明るい部分と暗い部分とを新たに作り出す。その結果、被写体表面の凹凸感や形状などの質感を変化させる。また本実施の形態では、質感の要因となる成分を生み出すことが特徴点として挙げられる。この成分は、例えば、ランダムノイズを基に生成された画像である。画像処理部14は、ランダムノイズを基に生成された画像を使用して照明成分画像の陰影を制御し、被写体表面の質感を変化させる。なお照明成分画像に対し陰影の制御を行ない、画像処理を行なった後の画像を以後、「陰影制御画像」と言うことがある。

0053

さらに具体的には、画像処理部14は、ランダムノイズとDOG(Difference Of two Gaussian)フィルタとを組み合わせ、これにより生成される陰影テクスチャ画像を使用して、陰影制御画像を作成する。この方法によれば、多彩な陰影テクスチャを表現できる。

0054

(DOGフィルタ)
DOGフィルタは、特定の周波数帯域に反応する人間の脳内における視覚特性数学的モデルとしても知られており、以下の数8式で表される。DOGフィルタは、DOG関数をベースにしたフィルタである。

0055

0056

図6(a)は、DOG関数を画像化した図である。この図6(a)は、2次元DOG関数の概念図である。また図6(b)は、図6(a)に示した2次元DOG関数をベースに作成したDOGフィルタである。

0057

数8式において、σeが小さいほど高周波への反応が強くなる。またσiはσeよりも大きな値を設定する。そしてAは正のガウスと負のガウスの相対的な強さを制御することができ、Aが0に近づくほど「ぼかし」のフィルタに近づく。

0058

さらには、画像空間的な方位選択性を持つDOGフィルタを考えることができ、これは、以下の数9式で表される。

0059

0060

数9式において、σx、eは、輝度成分に対する反応の興奮性の分散を表し、σx、iは、反応の抑制性の分散を表す。またσyは特定方位への分散を表し、抽出される方位成分のぼかし度合いを決定するパラメータである。

0061

さらに、数9式を、回転角φを指定し、方位選択性を付与することにより、数10式で表されるような特定の方位に反応するフィルタとなる。

0062

0063

図7(a)は、方位選択性を付与したDOG関数を画像化した図である。また図7(b)は、図7(a)に示した方位選択性を付与したDOG関数(方位選択性DOG関数)をベースに作成した方位選択性を有するDOGフィルタ(方位選択性DOGフィルタ)である。
さらに図7(c)〜(f)は、方位として回転角φを0°、45°、90°、135°としたときのそれぞれの方位選択性DOGフィルタである。

0064

数10式のフィルタを用いることで、特定の帯域、かつ、特定の方位に反応する陰影テクスチャを生成することができる。このような生成ができるフィルタとして、DOG関数をベースとした例を示したが、これに限られるものではない。周波数と方位を制御できるものであれば、例えば、Gaborフィルタなど、いかなるフィルタでもよい。

0065

(ランダムノイズ)
図8は、ランダムノイズを画像化し、ランダムノイズ画像とした図である。
また図9は、図8のランダムノイズ画像に数10式を適用した結果、生成された陰影テクスチャ画像を示した図である。
なお図9では、ランダムノイズ画像に図7(e)で示した回転角φが90°の方位選択性DOGフィルタを適用している。

0066

また図10(a)〜(b)は、図8のランダムノイズ画像に数10式を適用した結果、生成された陰影テクスチャ画像の他の例を示した図である。
図10(a)〜(b)の陰影テクスチャ画像は、図9に示したものに対し、数9式で示したσx、e、σx、i、σyの各パラメータを変更したものである。DOGフィルタは任意の周波数帯域への反応に優れ、同様のランダムノイズ画像を用いても、数9式で示したσx、e、σx、i、σyの各パラメータの組み合わせによって、ノイズのぼかしや引き延ばしが可能である。その結果、多彩な陰影テクスチャ表現が可能となる。つまり画像処理部14は、ランダムノイズの周波数と方位とを制御した画像を使用して照明成分画像の陰影を制御する。

0067

数1式で示した照明成分をS0とし、以上のように生成された陰影テクスチャ画像の成分をSdとすると、画像処理部14で生成する陰影制御画像の照明成分Sは、例えば以下の数11式で表すことができる。

0068

0069

この場合、陰影の制御の観点からは、Sを求めるのにS0とSdとは、数11式のように積の形とするのが質感の表現を行なうための観点からは好ましいが、これに限られるものではなく、加重平均の和などの形にしてもよい。

0070

数11式では、原画像の陰影を保持しつつ、新たに生成した陰影による質感を再現することができる。また本実施の形態では、さらに人が有する3次元の知覚に合わせ、陰影テクスチャ画像を歪ませることができる。具体的には、例えば、被写体(オブジェクト)の形状に合わせ奥行きを表現するように、陰影テクスチャ画像の成分Sdを変形させることができる。例えば、陰影が制御される領域の画像の位置を(x、y)で表すと、数11式の左辺は、S(x、y)となり、数11式の右辺は、S0(x、y)とSd(x、y)との積となる。このS0(x、y)とSd(x、y)とは、同一の形式であるが、Sd(x、y)を以下の数12式のようにすることで、歪みを表現することができる。

0071

0072

この場合、画像処理部14は、陰影テクスチャ画像の成分Sdに対し、画像上での位置をずらす処理を行なうことで歪みを表現する。このときの移動量がΔxおよびΔyとなる。Δx、Δyを、人が有する3次元の知覚になるべく合わせるためには、照明成分Sの画像において、例えば、以下の数13式に示すように照明成分Sの勾配を基に決定すればよい。

0073

0074

ここで、Fx、Fyは、照明成分Sの勾配を基に座標の歪ませ量を決める関数であるとし、Sgx、Sgyは、照明成分Sの勾配または勾配に準ずる量を表すものとする。例えば、Fx、Fyのよりシンプルな形としては、Sgx、Sgyに係数を乗算すれば、歪ませ量を表現することができる。

0075

図11−1(a)〜(b)は、数13式を用いて作成した陰影テクスチャ画像の例を示したものである。
ここで図11−1(a)は、図9と同様の陰影テクスチャ画像を示した図である。また図11−1(b)は、数13式を用いて、この陰影テクスチャ画像を歪ませた場合を示した図である。
図11−1(b)の陰影テクスチャ画像は、図11−1(a)の陰影テクスチャ画像を歪ませたものとなる。

0076

照明成分Sの勾配を表すための簡易な量としては、隣接画素との差をそのまま反映させればよい。また高度なものになれば、数8式〜数10式で示したDOGフィルタでも勾配の量を算出することができる。

0077

以上のように、本実施形態では、数13式を用いることで、照明成分Sの勾配または勾配に準ずる量に基づき歪ませ量を決めることができるが、その他にも、奥行き(Depth)を推定するような手法であれば、いかなるものでもよいものとする。
このように陰影テクスチャ画像を変形させることで、新たに生成した陰影の質感は、よりリアルなものとなる。

0078

図11−2は、数11式〜数13式を使用して求めた照明成分Sを図4(b)で示した照明成分画像に反映させ、陰影制御画像を作成した結果を示した図である。
図示するように被写体(オブジェクト)の表面の陰影が制御され、被写体(オブジェクト)の質感が変化する。

0079

また画像処理部14は、照明成分S0に対し、トーンカーブを変化させることで陰影を制御することもできる。なおトーンカーブを変化させるかわりに、ヒストグラムなどを利用した変換などでもよい。さらにトーンカーブやヒストグラムなどの組み合わせを反映させた関数や変換規則などいかなるものを用いてもよい。
図12は、図4(b)で示した照明成分画像のトーンカーブを変化させ、陰影制御画像を作成した場合を示した図である。
図示するように凹凸感が強調された画像が作成される。

0080

図13は、図11で示した陰影制御画像に対し、さらにトーンカーブを変化させ、新たな陰影制御画像を作成した場合を示している。
図示するように図11の画像に対し、凹凸感や陰影が強調された画像が作成される。

0081

次に反射率成分画像に対し画像処理を行なう場合について説明を行なう。
上述したように本実施の形態では、反射率成分Rは、被写体の色度を表す。本実施の形態では、色度に関する特性を制御し、その結果、反射率成分画像に対し色度を追加または除去する。なお反射率成分画像に対し色度の制御を行ない、画像処理を行なった後の画像を以後、「色度制御画像」と言うことがある。

0082

例えば、図3の画像に対して、図14に示すように、画面上でユーザが、色が付いていない被写体の背景の領域と同様の色で塗りつぶすと、ソフトウェア内部では、反射率成分画像の色情報を消す、という処理として認識される。

0083

図15(a)〜(b)は、このとき生成される色度制御画像を示した図である。
図15(a)に示した反射率成分画像は、図5と同様の図であり、色情報が消去される前の画像である。そしてユーザが図14に示した操作を行なうと、図15(a)に示した反射率成分画像の色情報が一部消去され、図15(b)で示した色度制御画像になる。

0084

また逆に色付けを行うことも可能である。例えば、図16に示すように、ユーザが濃い色のペンで、画像上に模様を描いた場合、ソフトウェア内部では、反射率成分画像に色情報を埋め込む処理として認識される。

0085

図17は、このときの反射率成分画像の変化を示した図である。
図17は、ユーザが図14に示した操作を行なった後に、図16の操作を行なった場合を示している。図15(b)の色度制御画像に対し、図17に示した色度制御画像は、模様の色情報が埋め込まれているのがわかる。
画像上で、余分な色情報を消したり、追加したい色情報の描画を行った場合は、実シーンで被写体に塗装したような結果を得ることができる。

0086

再び図2に戻り、画像合成部15は、画像処理部14により画像処理後の画像を合成する。
図18(a)〜(b)は、画像合成部15により画像処理後の画像を合成した場合の例を示した図である。
このうち図18(a)は、図3で示した原画像と同様の図である。
また図18(b)は、図11の陰影を制御後の陰影制御画像と、図5に示す反射率成分画像を、数1式により合成した場合を示している。図示するように被写体表面の質感、即ち、陰影の凹凸に関わる特性を制御した画像を得ることができる。

0087

この場合、画像合成部15により合成された画像の各画素の画素値をI′、照明成分をS(数11式により、S=S0Sd)、反射率成分をRとすると、I′は、以下の数14式で表すことができる。

0088

0089

また図19−1(a)〜(b)は、画像合成部15により画像処理後の画像を合成した場合の他の例を示した図である。
このうち図19−1(a)は、図3で示した原画像と同様の図である。
また図19−1(b)は、ユーザが図14で示した操作を行なった後の画像である。つまり図18(b)の画像に対し、陰影制御画像の色情報が一部消去された画像となる。

0090

さらに図19−2(a)〜(b)は、画像合成部15により画像処理後の画像を合成した場合のさらに他の例を示した図である。
このうち図19−2(a)は、図3で示した原画像と同様の図である。
また図19−2(b)は、ユーザが図16で示した操作を行なった後の画像である。つまり図19−1(b)の画像に対し、色情報を埋め込む処理がされた画像となる。

0091

図19−1(b)および図19−2(b)の場合、画像合成部15により合成された画像の各画素の画素値をI′、照明成分をS(数11式により、S=S0Sd)、変更を行なった後の反射率成分をRdとすると、I′は、以下の数15式で表すことができる。

0092

0093

画像情報出力部16は、以上のように画像処理がなされた後の画像情報を出力する。画像処理がなされた後の画像情報は、表示装置20に送られる。そして表示装置20にてこの画像情報に基づき画像が表示される。

0094

なお陰影が制御される領域の画像の位置を(x、y)で表すと、数15式のS0SdRdは、S0(x、y)とSd(x、y)とRd(x、y)との積となる。そして数12式〜数13式で説明したのと同様に、Δx、Δyを用いて、Sd(x、y)をSd(x+Δx、y+Δy)とし、Rd(x、y)をRd(x+Δx、y+Δy)とすることで、反射率成分Rdに対しても人が有する3次元の知覚に合わせた処理を行なうことができる。
このとき数15式は、下記数16式となる。この場合、画像処理部14が、反射率成分Rに対し、画像上での位置をずらす処理を行なう。そして画像合成部15が、画像処理部14により画像処理後の画像を合成する。これにより反射率成分Rを利用しても歪みを表現できる。

0095

0096

以上のように、第1の実施形態では、原画像が持っている陰影についての情報に基づく成分と、新たに生み出した陰影についての情報に基づく成分の積によって、新たな陰影を生成することで、凹凸感を生み出すことを特徴とする。
従来は、照明成分S0を考慮していなかったため、陰影についての情報が反映されず、質感を表現することが難しかった。本実施の形態では、陰影についての情報を有する照明成分S0の概念を導入し、これを操作することにより質感の表現をより容易かつ多彩とすることができる。また本実施の形態では、陰影テクスチャ画像を原画像に反映させることができ、原画像中で陰影テクスチャ画像を再現することができる。
そしてΔx、Δyを利用して陰影テクスチャ画像の成分Sdや反射率成分Rdに対し、画像上での位置をずらす処理を行なうことで3次元の表現についてもより容易かつ多彩とすることができる。

0097

数14式は、本実施の形態の基本式の1つである。これまで陰影成分を表すS、S0、Sdなどはスカラーで表し、数7式のように、I、I′、R、Rdなどはベクトルであることを自明として説明を行ってきたが、本実施の形態では、さらに照明がRGBの色情報を持つとして、例えば、I′を以下の式で表してもよいものとする。

0098

0099

Sro、Sgo、Sboは、照明成分(陰影成分)S0を、S0=(Sro、Sgo、Sbo)のようにベクトルで表したものを意味し、Srd、Sgd、Sbdは、新たに生み出した陰影テクスチャ画像の成分Sdを、S0=(Srd、Sgd、Sbd)のようにベクトルで表したものを意味する。このようにS0やSdをベクトルで表す利点は、陰影に照明色を付加できることにある。もちろん各成分が同じ値であれば、S0やSrをスカラーとして扱う数14式と等価である。また数15式も同様の扱いをすることができる。

0100

さらに本実施の形態では、例えば数14式を、以下の数18式のように原画像との合成式とすることで、原画像の情報を残した再現を行うこともできる。数18式で、Iは、原画像の画素値を表すベクトルであり、k1とk2は合成の比率を表す係数とする。数18式によれば、k1やk2を調整することで、原画像の反映率を変更することができる。

0101

0102

以上説明した例では、新たな陰影テクスチャ画像の成分Sdを生成し、これに基づき特定の被写体(オブジェクト(切り抜いた領域))に対して新たな凹凸感などの再現を行ってきたが、被写体(オブジェクト)の周辺領域を基にしてもよい。

0103

図20(a)〜(b)は、被写体(オブジェクト)の周辺領域を基に陰影テクスチャ画像の成分Sdを生成する例を示した図である。
このうち図20(a)は、被写体(オブジェクト)が、ある質感をもつ台の上に置かれている場合を示している。そしてこの被写体(オブジェクト)を切り抜き、この被写体(オブジェクト)に対する新たなテクスチャとして、被写体(オブジェクト)の背景に相当する部分(周辺領域)の陰影テクスチャ画像の成分Sdを生成し、これを切り抜いた被写体(オブジェクト)の部分に反映させることができる。
この例では、画像処理部14は、予め定められた範囲外(この場合、被写体(オブジェクト)の背景である周辺領域)の画像の照明成分画像を使用して予め定められた範囲(この場合、被写体(オブジェクト)の領域)内の画像の照明成分画像の陰影を制御する画像処理を行なう、と捉えることができる。

0104

また陰影テクスチャ画像の成分Sdを、数12式〜数13式で説明したのと同様に、Δx、Δyを用いて変形させることで、図20(b)に示すように、被写体(オブジェクト)に対し、周辺領域の陰影の再現を行うことができる。この場合、透過を感じさせる表現となっている。

0105

[第2の実施形態]
次に画像処理装置10の第2の実施形態について説明を行なう。
第2の実施形態では、被写体表面に鏡面を生成する場合について説明を行なう。また被写体表面に環境光の色等の追加を行なう場合について説明を行なう。

0106

まず被写体表面に鏡面を生成する場合について説明を行なう。
照明成分画像は、物体の陰影成分を抽出したものであるから、光の強度を強調することで正反射成分を生み出すことができる。その1つの方法としては、照明成分画像に対し数8式で示したDOGフィルタを使用し、高周波側を抽出する処理を行なう。

0107

図21は、照明成分画像に対し高周波側を抽出する処理を行なった結果、形状の輪郭に沿った成分が生成された例を示した図である。
そして図22は、この成分をさらに強調し、検出した結果を示した図である。
そしてこの成分を鏡面成分とすることができる。また図22のような鏡面成分を検出した画像を以後、「鏡面成分画像」と言うことがある。なお鏡面成分画像は、画像処理部14で生成する。
なお鏡面成分画像は、ここでは照明成分画像から生成したが、反射率制御画像に対し同様の処理を行なうことで生成することもできる。

0108

図23(a)〜(b)は、図19−1(b)の画像に対し鏡面成分画像をさらに合成した場合を示した図である。
このうち図23(a)は、図3で示した原画像と同様の図である。
また図23(b)は、鏡面成分画像を合成した図であり、被写体表面に鏡面が生成されていることがわかる。

0109

画像合成部15は、鏡面成分をさらに付加して画像を合成する。鏡面成分画像を構成する画素の画素値は、RGB値が全て同じ値のベクトル量とし、これをC1とすると、画像合成部15により合成された画像の各画素の画素値をI′は、数15式を基にすると、下記数19式で表すことができる。

0110

0111

また鏡面に色を付けたい場合は、RGB値を全て同じ値とせず、これらの成分比を指定すればよい。

0112

また、形状の輪郭に沿わない領域で鏡面を生み出したい場合は、特定の階調部分を突出させる変換を行なう。

0113

図24は、階調部分を突出させる変換を行なう例を示した図である。
図24横軸は、画素値を表し、縦軸は、変換値を表す。
この場合、2つの画素値について突出させる処理を行なっている。この処理は、特定階調付近を抽出し、それ以外はすべて0にしてしまう変換に近いが、このようにすることで、輪郭以外の表面上のどこかを鏡面にできる可能性が高まる。またこの場合、波打つような面を得ることもできる。または、図12の画像を生成できるようなトーンカーブなどを用いて、陰影を変換し、変換前後の陰影で差分をとって、それを鏡面成分としてもよい。

0114

図25は、照明成分画像に対し特定の階調部分を突出させる変換を行なった場合を示している。
図示するように形状の輪郭に沿わない領域で鏡面が生み出されている。さらに本実施の形態では、鏡面成分に対し数12式〜数13式で説明した処理を行なうことで鏡面成分の画像上における位置を変更し、歪ませてもよい。この場合、画像処理部14が、鏡面成分に対し、画像上での位置をずらす処理を行なう。そして画像合成部15が、画像処理部14により画像処理後の画像を合成する。これにより鏡面成分を利用しても歪みを表現できる。

0115

図26(a)〜(b)は、図19−1(b)の画像に対し鏡面成分画像をさらに合成した場合を示した図である。
このうち図26(a)は、図3で示した原画像と同様の図である。
また図26(b)は、鏡面成分画像を合成した図であり、被写体表面に鏡面が生成されていることがわかる。

0116

次に被写体表面に環境光の色等の追加を行なう場合について説明を行なう。
ここではまず環境光の色を表すカラーベクトルを指定する。このカラーベクトルは、被写体周囲の環境光を表す環境光成分である。このカラーベクトルをC2とすると、画像合成部15は、カラーベクトルC2をさらに付加して画像を合成する。合成された画像の各画素の画素値をI′は、数19式を基にすると、下記数20式で表すことができる。

0117

0118

図27(a)〜(b)は、図26(b)の画像に対し環境光の色を表すカラーベクトルC2をさらに合成した場合を示した図である。
このうち図27(a)は、図26(b)で示した画像と同様の図である。
また図27(b)は、カラーベクトルC2を合成した図であり、環境光を反映した画像となっている。なおここでは、被写体全体に対し環境光を反映させたが、特定領域に限定して反映させてもよい。さらに本実施の形態では、環境光成分に対し数12式〜数13式で説明した処理を行なうことで環境光成分の画像上における位置を変更し、歪ませてもよい。この場合、画像処理部14が、環境光成分に対し、画像上での位置をずらす処理を行なう。そして画像合成部15が、画像処理部14により画像処理後の画像を合成する。これにより環境光成分を利用しても歪みを表現できる。

0119

[第3の実施形態]
次に画像処理装置10の第3の実施形態について説明を行なう。
第3の実施形態では、ユーザが見本テクスチャ画像(見本画像)を与えると、被写体表面のテクスチャが見本テクスチャと同様となる処理について説明を行なう。

0120

図28−1は、見本テクスチャ画像の一例について示した図である。
第3の実施形態では、画像分解部13は、見本テクスチャ画像を構成する各画素についても照明成分と反射率成分とに分け、それぞれの画像である照明成分画像と反射率成分画像とを生成する。

0121

図28−2(a)〜(b)は、図28に示した見本テクスチャ画像を照明成分と反射率成分とに分け、それぞれの画像である照明成分画像と反射率成分画像とを生成した結果を示した図である。
このうち図28−2(a)は、照明成分画像であり、見本テクスチャ画像の陰影が抽出され、凹凸感が表現されているのがわかる。また図28−2(b)は、反射率成分画像であり、見本テクスチャ画像の色度が抽出されている。

0122

画像処理部14は、見本画像の照明成分を原画像の照明成分に反映させる処理、および見本画像の反射率成分を原画像の反射率成分に反映させる処理の少なくとも一方を行なう。
そして画像合成部15は、画像処理部14により画像処理後の画像を合成する。

0123

なお見本テクスチャ画像についての反射率成分画像に対し色度の制御を行なう必要性は少なく、原画像に対する反射率成分画像を置き換えるだけでもよい。

0124

第3の実施形態における見本テクスチャ画像における照明成分Sや反射率成分Rは、第2の実施形態までに示したものと同様であるが、数15式のS0とRdは見本テクスチャのものとなる。

0125

第3の実施形態によれば、見本画像の質感を原画像に反映させることができ、原画像中で見本画像の質感を再現することができる。

0126

[第4の実施形態]
ここでSdRdはカラーの原画像のテクスチャと等価な意味を持つので、本実施形態では、見本テクスチャの画素ベクトルをITとして、数15式を下記数21式のように表すことができる。

0127

0128

数21式では、見本画像の画素値IT(ベクトル量、例えば、RGB値)に照明成分S0(スカラー量)を乗ずることで、見本画像に照明成分S0を反映させる処理を行なっていると考えることもできる。この場合、例えば、見本画像に原画像の照明成分S0を反映させることで、原画像の陰影を有する見本画像を作成できる。そして照明成分S0を反映後の見本画像を原画像に対し合成すると、原画像の質感を保持したまま、表面の色、模様等を見本画像のものに変更することができる。即ち、変更後の画像を見る者は、模様等は見本画像のものとなっているものの原画像の被写体(オブジェクト)の3次元形状をそのまま知覚することになる。

0129

またこの場合、見本画像の画素値ITに照明成分S0を乗ずることで見本画像に照明成分S0を反映させる処理を行なうことが好ましい。例えば、見本画像の画素値ITと照明成分S0とを足し合わせるような処理に比較して、原画像の質感を保持しやすくなる。

0130

従来は、見本画像を原画像に反映させる際に照明成分S0を考慮していなかった。そのため見本画像と原画像とを単にミックスした画像となり、原画像の質感は保持されなかった。本実施の形態では、照明成分S0を反映させることにより見本画像を原画像に反映したときに原画像の質感が保持することが可能となった。

0131

または、原画像と見本画像のそれぞれを反映させる程度を表す合成の比率を用いて、原画像の照明成分S0を反映させる程度を制御してもよい。この場合、数21式を数22式のようにすればよい。数22式において、k1とk2は、原画像と見本画像のそれぞれについて、合成の比率を表す係数である。また数22式でIは原画像の画素値である。

0132

0133

またk1とk2は、0≦k1≦1、0≦k2≦1、k1+k2=1とし、数22式を以下の数23式のように表してもよい。

0134

0135

数22式、数23式によれば、k1やk2を調整することで、原画像に対する見本画像の反映率を変更することができる。例えば、k1=1、k2=0とすれば、数21式と同様となり、見本画像を全て反映させる。この場合、上述したように変更後の画像は、模様等は見本画像のものとなるとともに、原画像の被写体(オブジェクト)の3次元形状の印象をそのまま保持する。またk1=0、k2=1とすれば、見本画像は全く反映されない。この場合、画像は変更されず原画像のままとなる。また0<k1<1、0<k2<1の場合は、これらの間の表現となる。

0136

なお当然ながら、これまでの実施形態で説明してきた、数12式や数18式で示すような、人の3次元の知覚に合わせる式等の、他の数式を利用した画像処理も、第4の実施形態に適用することができる。この場合、画像処理部14が、見本テクスチャ画像における照明成分Sや反射率成分Rに対し、画像上での位置をずらす処理を行なう。そして画像合成部15が、画像処理部14により画像処理後の画像を合成する。これにより見本テクスチャ画像における照明成分Sや反射率成分Rを利用し歪みを表現する。

0137

また、数21式においても、数18式のような原画像との合成式とし、原画像の情報との合成比率を制御してもよい。ただし原画像との合成により、テクスチャの色度情報が損なわれることが気になる場合は、本実施の形態では、数21式において、輝度成分は原画像と合成し、他の色成分は合成しないなどの方法を採ることができる。

0138

例えば、数21式のI′をYCrCb成分に変換した値を(Y’、Cr’、Cb’)とし、原画像の画素値を(Y、Cr、Cb)としたときに、以下の数24式により、輝度成分のみ合成の制御を行うことができる。これにより算出された(Y”、Cr”、Cb”)は、陰影、質感については、原画像の状態を反映し、色度は見本テクスチャの状態を再現するものとなる。

0139

0140

数24式において、k1とk2は、数18式と同様に合成の比率を表す係数であるが、0≦k1≦1とすると、以下の数25式となり、この数25式の方を使用してもよい。なおこれは数18式に対しても同様のことが言える。

0141

0142

以上のように得られた輝度色差信号であるYCrCbをRGBに変換することで、希望するカラー画像を得ることができる。輝度色差信号は、輝度と色度がわかるものであれば、L*a*b*色空間など他の空間のものを使用してもよい。

0143

さらには、本実施の形態では、関数Fsを導入し、数21式を以下の数26式とすることで、反映させる陰影の度合いを制御することができる。

0144

0145

図29(a)〜(c)は、関数Fsについて説明した図である。
関数Fsは、S0を変換する関数であり、図示する例では、横軸が変換前のS0を表し、縦軸が変換後のS0を表す。
関数Fsが、図29(a)に示すような傾きが1の比例関数である場合は、数21式と等価となる。また関数Fsが、図29(c)に示すような変換後の値が定数1となる定数関数である場合は、見本テクスチャの画素ベクトルITそのものとなる。また関数Fsが、図29(b)に示すような切片を有する一次関数である場合は、図29(a)と図29(c)の間の特徴を有する関数となる。Fsとして、図29(b)に示すような関数を導入することで、質感の表現の幅を広げることができる。

0146

数26式によれば、関数Fsにより見本画像に対する照明成分S0の反映率を変更することができる。例えば、図29(a)のようにFs(S0)=S0とすれば、数21式と同様となり、照明成分S0を見本画像に対して全て反映させる。この場合、上述したように変更後の画像は、模様等は見本画像のものとなるとともに、原画像の被写体(オブジェクト)の3次元形状の印象をそのまま保持する。また図29(c)のようにFs(S0)=1とすれば、照明成分S0は全く反映されない。この場合、変更後の画像は、見本画像を単に原画像に貼り付けたものとなり、その部分は、平面的な印象のものとなる。さらに関数Fsを図29(b)のようにするとこれらの間の表現となる。

0147

また合成の比率k1やk2は、数21式に対し適用し数22式とする場合に限らず、数26式に対し適用することもできる。この場合、数26式は、以下の数27式となる。数27式でIは原画像の画素値である。このようにすることで、原画像の情報を残しながら、見本画像の模様等の情報との間でユーザが仕上げたいと思っている質感になるように制御することができる。

0148

0149

またk1とk2は、0≦k1≦1、0≦k2≦1、k1+k2=1とし、数27式を以下の数28式のように表してもよい。

0150

0151

数27式、数28式によれば、k1やk2を調整することで、原画像に対する見本画像の反映率を変更することができる。

0152

数27式や数28式に示すように、本実施の形態では、関数Fsやk1、k2などを制御因子として使用し、照明成分S0を調整することで、陰影やテクスチャの質感を制御することを特徴としている。さらには、照明成分(または輝度成分である)S0をさらに制御する関数fcを使用して変換することで、リアルさに関わる画質を、より強調して制御することが可能となる。関数fcを数28式に適用した場合を、以下の数29式として示す。

0153

0154

図30(a)〜(d)は、関数fcについて説明した図である。
関数fcは、S0を変換する関数であり、図示する例では、横軸が変換前のS0を表し、縦軸が変換後のS0を表す。

0155

関数fcは、照明や輝度を制御する手段であり、例えば、図30(a)は、コントラストを制御する関数fcの一例を示している。図30(a)で示したようなS字形状の関数fcを使用すると陰影差がより強調され、硬さを表現する場合に適する。関数fcは、照明成分(輝度成分)に対する陰影差を制御する制御因子と考えることもできる。
また、図30(b)は、図30(a)と類似の関数fcであるが、変曲点や歪みの度合いを変えた様子を表す。

0156

また図30(c)は、コントラストを制御する関数fcの一例を示しているが、形状を逆S字形状としている。この関数fcは、例えばノイズを緩和したり、やわらかさを表現する場合に適する。
また、図30(d)は、図30(c)と類似の関数fcであるが、変曲点や歪みの度合いを変えた様子を表す。
図30(a)〜(d)で示した関数fcは、形状からわかるように、シグモイド関数ロジスティック関数ガンマ関数、べき乗の関数といった非線形曲線に基づいた式によって実現することができる。

0157

図30(a)〜(d)で示した関数fcのそれぞれの使い分けは、原画像の輝度に応じて、または、表現目標に応じて変えればよく、各々をどう選択するかで、被写体(オブジェクト)の硬さやソフトさなどの、リアルさの表現を左右する。このように、関数fcを使用することで質感の制御がより多彩となる。

0158

以上のように、第4の実施形態では、見本テクスチャを転写する際も、k1やk2、または関数Fsを制御するパラメータ(例えば切片とすればよい)を使用することで多彩な表現を可能とする。

0159

この第4の実施形態で示した方法は、もちろん第1の実施形態〜第3の実施形態でも適用することができ、これまで説明した数式に対し組み込むことができる。さらに第4の実施形態で、見本画像として第1の実施形態で示したようなランダムノイズを基に生成された陰影テクスチャ画像を使用することもできる。

0160

<画像処理装置の動作の説明>
図31は、画像処理装置10の動作について説明したフローチャートである。
以下、図2および図31を主に使用して、画像処理装置10の動作について説明を行なう。

0161

まず画像情報取得部11が、画像処理を行なう原画像の画像情報としてRGBデータを取得する(ステップ101)。なお第3の実施形態および第4の実施形態では、ここでさらにユーザの指示により、見本テクスチャ画像を取得する。

0162

次に画像分解部13が、原画像を構成する各画素の画素値を照明成分と反射率成分とに分け(ステップ102)、それぞれの画像である照明成分画像と反射率成分画像とを生成する。
なお第3の実施形態では、ここでさらに見本テクスチャ画像についても照明成分と反射率成分とに分け、それぞれの画像である照明成分画像と反射率成分画像とを生成する。

0163

そして画像処理部14は、照明成分画像および反射率成分画像の少なくとも一方に対し画像処理を行なう(ステップ103)。
具体的には、画像処理部14は、照明成分画像の陰影を制御して陰影制御画像を生成する。これは上述したように例えば、ランダムノイズ画像とDOGフィルタを組み合わせることで行なう。また画像処理部14は、反射率成分画像の色度を制御して色度制御画像を生成する。
また第2の実施形態では、画像処理部14は、鏡面成分画像を作成する。さらに第3の実施形態では、画像処理部14は、見本画像の照明成分を原画像の照明成分に反映させる処理、および見本画像の反射率成分を原画像の反射率成分に反映させる処理の少なくとも一方を行なう。また第4の実施形態では、制御因子として、k1、k2や関数Fsや関数fcを使用して照明成分S0を制御する。

0164

次に画像合成部15は、画像処理部14により画像処理後の画像を合成する(ステップ104)。
具体的には、画像合成部15は、画像処理部14により生成された陰影制御画像や色度制御画像を使用して画像処理後の画像を生成する。
また第2の実施形態では、さらに鏡面成分画像や環境光の色を表すカラーベクトルを使用して画像を合成する。また第4の実施形態では、照明成分S0を反映させた見本画像を原画像に貼り付け、合成する。

0165

そして画像情報出力部16が、画像処理がなされた後の画像情報を出力する(ステップ105)。この画像情報は、RGBデータであり、このRGBデータは、表示装置20に送られ、表示画面21に画像処理後の画像が表示される。

0166

以上詳述した第1の実施形態〜第4の実施形態では、自然画像に対し、質感などの特性を左右する要因となる成分(照明成分および反射率成分)への分解を行い、それぞれの成分ごとに、画像空間と色空間の両面で画像が制御できる。その結果、簡易で、高度な質感の制御を行なうことができる画像処理装置等が提供できる。また、分解された成分画像(照明成分画像および反射率成分画像)を基にして、凹凸などの特性を生成でき、さらには、見本テクスチャ画像からテクスチャ特性を原画像の一部へ転写するなどの操作を、簡単に行うことができる。

0167

また本実施の形態では、被写体の背景が簡単なものである例について説明したが、背景が複雑な画像に対しては、予め制御対象となる被写体の領域に対して、ユーザの指定領域として予め切り抜きを行い、陰影の制御等を行なう特性制御対象領域としてもよい。またこれまでに示した陰影テクスチャ画像や見本テクスチャ画像は、ソフトウェア内部で、特性制御対象領域を覆うように作成してもよく、特定の大きさで生成しておき、被写体を覆う大きさになるようにキルティング処理などによって、つなぎ合わせて大きな画像にしてもよい。

0168

図32(a)〜(b)は、ユーザが指定領域を指定する作業をユーザインタラクティブに行う方法の例を示した図である。
このうち図32(a)は、ユーザが、前景である被写体および被写体の背景を指定する場合を示している。

0169

そしてユーザは、前景と背景のそれぞれに対し代表となる軌跡をそれぞれ与える。この軌跡は、入力装置30により入力することができる。具体的には、入力装置30がマウスであった場合は、マウスを操作して表示装置20の表示画面21で表示している画像Gをドラッグし軌跡を描く。また入力装置30がタッチパネルであった場合は、ユーザの指やタッチペン等により画像をなぞりスワイプすることで同様に軌跡を描く。なお軌跡ではなく、点として与えてもよい。即ち、ユーザは、被写体などのそれぞれの領域に対し代表となる位置を示す情報を与えればよい。なおこの軌跡や点等を「シード」と言うことがある。ここでは、前景である被写体に描いたシードをシード1、背景に描いたシードをシード2として図示している。

0170

そして例えば、シードが描かれた画素と周辺の画素との間で画素値の近さを基に、近ければ連結し、遠ければ連結しない作業等を繰り返し、領域を拡張していく領域拡張方法により、指定領域を切り出していく。

0171

図32(b)は、領域拡張方法により前景である被写体が切り出された例を示している。
そしてこの領域を陰影の制御等を行なう特性制御対象領域とすればよい。

0172

なお以上説明した画像処理装置10で行われる処理は、原画像を構成する各画素の画素値を照明成分と反射率成分とに分け、照明成分画像と反射率成分画像とを生成し、照明成分画像の陰影を制御する画像処理を行い、画像処理後の画像を合成する画像処理方法として捉えることもできる。

0173

<画像処理装置のハードウェア構成例>
次に、画像処理装置10のハードウェア構成について説明する。
図33は、画像処理装置10のハードウェア構成を示した図である。
画像処理装置10は、上述したようにパーソナルコンピュータ等により実現される。そして図示するように、画像処理装置10は、演算手段であるCPU(Central Processing Unit)91と、記憶手段であるメインメモリ92、およびHDD(Hard Disk Drive)93とを備える。ここで、CPU91は、OS(Operating System)やアプリケーションソフトウェア等の各種プログラムを実行する。また、メインメモリ92は、各種プログラムやその実行に用いるデータ等を記憶する記憶領域であり、HDD93は、各種プログラムに対する入力データや各種プログラムからの出力データ等を記憶する記憶領域である。
さらに、画像処理装置10は、外部との通信を行なうための通信インターフェース(以下、「通信I/F」と表記する)94を備える。

0174

<プログラムの説明>
ここで以上説明を行った本実施の形態における画像処理装置10が行なう処理は、例えば、アプリケーションソフトウェア等のプログラムとして用意される。

0175

よって本実施の形態で、画像処理装置10が行なう処理は、コンピュータに、原画像を構成する各画素の画素値を照明成分と反射率成分とに分け、照明成分画像を生成する画像分解機能と、見本となる画像である見本画像に照明成分を反映させ、照明成分を反映後の見本画像を原画像に対し合成する画像合成機能と、を実現させるプログラムとして捉えることもできる。

0176

なお、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、CD−ROM等の記録媒体に格納して提供することも可能である。

0177

以上、本実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更または改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。

0178

1…画像処理システム、10…画像処理装置、11…画像情報取得部、12…ユーザ指示受付部、13…画像分解部、14…画像処理部、15…画像合成部、16…画像情報出力部、20…表示装置、30…入力装置

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ