図面 (/)

技術 画像処理装置、方法、及びプログラム

出願人 凸版印刷株式会社
発明者 三好裕樹阿部敬由
出願日 2015年6月17日 (5年11ヶ月経過) 出願番号 2015-122397
公開日 2017年1月12日 (4年4ヶ月経過) 公開番号 2017-010131
状態 特許登録済
技術分野 イメージ生成 CAD イメージ処理・作成
主要キーワード 鏡面反射画像 情報取得デバイス 鏡面反射状態 IFカード 周囲全周 建設予定 建築物件 法線ベクトル情報
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年1月12日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (7)

課題

観察環境の変化や素材の向きの変化に応じた素材の質感表現する。

解決手段

表示部と、素材の表示データをレンダリングするレンダリング部とを備えた画像処理装置であって、レンダリング部において、周囲の照明情報、素材の質感に関する素材情報、並びに照明、表示面の方位及び観者相対的位置関係に基づいて、表示データをレンダリングし、表示部において表示データを用いて素材の画像を表示する。

概要

背景

近年の製造技術、通信技術及び情報処理技術の発展により、種々のシーンにおいて、スマートフォンタブレット端末などの携帯型端末が利用されている。タッチパネル型ディスプレイ通信インタフェースの他、GPS、ジャイロセンサカメラ等の各種機能を備えた複合型携帯型端末の適応シーンは今後さらに拡大が見込まれる。

例えば、従来、商取引の対象である商品は、紙媒体パンフレット写真イラストとして掲載されて紹介されていた。写真やイラスト(色見本)では素材質感知覚しにくい建装材等では、実物小片を集めたサンプル集の態様で紹介されていた。

一方、被写体表面光沢感や繊維織りの細かなテクスチャー等の被写体(素材)の質感を画像表示する方法及び装置が提案されている(例えば、特許文献1を参照)。特許文献1の開示によれば、鏡面反射状態が異なる1つの静止被写体について、光源照明位置及び/又は照明方向を変えて複数の原画像を取得し、複数の原画像に基づいて生成された複数のフレーム画像を作成し、連続的に複数のフレーム画像を切り替えて表し、フレーム画像の画像信号は、被写体の鏡面反射画像信号と拡散反射画像信号とを用いて光沢信号を生成し、この光沢信号にウィンドウ処理を行って作成される。

さらに、視差効果等を適用することで静止画奥行き感を付加し、素材の質感を変化させる技術の実用化も進められている。

概要

観察環境の変化や素材の向きの変化に応じた素材の質感を表現する。表示部と、素材の表示データをレンダリングするレンダリング部とを備えた画像処理装置であって、レンダリング部において、周囲の照明情報、素材の質感に関する素材情報、並びに照明、表示面の方位及び観者相対的位置関係に基づいて、表示データをレンダリングし、表示部において表示データを用いて素材の画像を表示する。

目的

本発明は、このような問題に鑑みてなされたもので、その目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

レンダリング手段を備えた画像処理装置であって、前記レンダリング手段は、照明情報素材質感に関する素材情報、並びに照明、前記素材の画像が表示される表示面及び観者相対的位置関係に基づいて、前記素材の表示データをレンダリングするように構成された、画像処理装置。

請求項2

表示手段及び傾き検出手段をさらに備え、前記傾き検出手段は、前記表示手段の表示面の方位を検出するように構成され、前記表示手段は、前記表示データを用いて前記素材の画像を表示するように構成され、前記レンダリング手段は、前記照明情報、前記素材の質感に関する素材情報及び前記傾き検出手段により検出された前記表示手段の表示面の方位に基づいて、前記素材の表示データをレンダリングするように構成された、請求項1に記載の画像処理装置。

請求項3

前記画像処理装置の周囲照明情報を取得するように構成された周囲照明情報取得手段をさらに備え、前記表示データがレンダリングされる際に用いられる前記照明情報は、前記周囲照明情報取得手段により取得された前記周囲照明情報である、請求項1又は2に記載の画像処理装置。

請求項4

前記素材の画像の観者の方位を検出する観者検出手段をさらに備え、前記レンダリング手段は、前記照明情報、前記素材の質感に関する素材情報、前記表示面の方位及び前記観者の方位に基づいて、前記表示データをレンダリングするように構成された、請求項1ないし3のいずれかに記載の画像処理装置。

請求項5

通信手段をさらに備え、前記表示データがレンダリングされる際に用いられる前記照明情報は、前記通信手段を介して外部から取得された外部照明情報である、請求項1ないし4のいずれかに記載の画像処理装置。

請求項6

前記照明情報は、光の方位、色成分及び強度を含み、前記素材情報は、前記素材の画像の各画素についての形状特性及び反射特性を含む、請求項1ないし5のいずれかに記載の画像処理装置。

請求項7

レンダリング手段を備えた画像処理装置における画像処理方法であって、前記レンダリング手段が、照明情報、素材の質感に関する素材情報、並びに照明、前記素材の画像が表示される表示面及び観者の相対的位置関係に基づいて、前記素材の表示データをレンダリングすること、を含む、方法。

請求項8

前記画像処理装置は表示手段及び傾き検出手段をさらに備え、前記方法は、前記傾き検出手段が前記表示手段の表示面の方位を検出することと、前記レンダリング手段が、前記照明情報、前記素材の質感に関する素材情報及び前記傾き検出手段により検出された前記表示手段の表示面の方位に基づいて、前記素材の表示データをレンダリングすることと、前記表示手段が前記表示データを用いて前記素材の画像を表示することとを含む、請求項7に記載の方法。

請求項9

前記画像処理装置が周囲照明情報取得手段をさらに備え、前記方法は、前記周囲照明情報取得手段が周囲照明情報を取得することをさらに含み、前記レンダリング手段が前記素材の表示データをレンダリングすることは、前記レンダリング手段が、前記周囲照明情報、前記素材の質感に関する素材情報及び前記素材の画像が表示される表示面の方位に基づいて、前記素材の表示データをレンダリングすることを含む、請求項7又は8に記載の方法。

請求項10

前記画像処理装置が観者検出手段をさらに備え、前記方法は、前記観者検出手段が前記素材の画像の観者の方位を検出することをさらに含み、前記レンダリング手段が前記素材の表示データをレンダリングすることは、前記レンダリング手段が、前記照明情報、前記素材の質感に関する素材情報、前記素材の画像が表示される表示面の方位及び前記観者の方位に基づいて、前記表示データをレンダリングすることを含む、請求項7ないし9のいずれかに記載の方法。

請求項11

前記画像処理装置が通信手段をさらに備え、前記方法は、前記通信手段を介して外部照明情報を外部から取得することをさらに含み、前記照明情報は前記外部照明情報である、請求項7ないし10のいずれかに記載の方法。

請求項12

前記照明情報は、光の方位、色成分及び強度を含み、前記素材情報は、前記素材の画像の各画素についての形状特性及び反射特性を含む、請求項7ないし11のいずれかに記載の方法。

請求項13

レンダリング手段を備えたコンピュータによって実行されるプログラムであって、前記レンダリング手段に、照明情報、素材の質感に関する素材情報、並びに前記素材の画像が表示される表示面及び観者の相対的位置関係に基づいて、前記素材の表示データをレンダリングさせる、プログラム。

請求項14

前記コンピュータが表示手段及び傾き検出手段をさらに備え、前記プログラムは、前記傾き検出手段に前記表示手段の表示面の方位を検出させ、前記レンダリング手段に、前記照明情報、前記素材の質感に関する素材情報及び前記傾き検出手段により検出された前記表示手段の表示面の方位に基づいて、前記素材の表示データをレンダリングさせ、前記表示手段に前記表示データを用いて前記素材の画像を表示させる、請求項13に記載のプログラム。

請求項15

前記コンピュータが周囲照明情報取得手段をさらに備え、前記プログラムは、前記周囲照明情報取得手段に周囲照明情報を取得させ、前記レンダリング手段に、前記周囲照明情報取得手段により取得させた前記周囲照明情報、前記素材情報及び前記素材の画像が表示される表示面の方位に基づいて、前記素材の表示データをレンダリングさせる、請求項13又は14に記載のプログラム。

請求項16

前記コンピュータが観者検出手段をさらに備え、前記プログラムは、前記観者検出手段に前記素材の画像の観者の方位を検出させ、前記レンダリング手段に、前記照明情報、前記素材の質感に関する素材情報、前記素材の画像が表示される表示面の方位及び前記観者の方位に基づいて、前記表示データをレンダリングさせる、請求項13ないし15のいずれかに記載のプログラム。

請求項17

前記コンピュータが通信手段をさらに備え、前記プログラムは、前記コンピュータに記通信手段を介して外部照明情報を外部から取得させ、前記レンダリング手段に、前記外部照明情報、前記素材情報及び前記素材の画像が表示される表示面の方位に基づいて、前記素材の表示データをレンダリングさせる、請求項13ないし16のいずれかに記載のプログラム。

請求項18

前記照明情報は、光の方位、色成分及び強度を含み、前記素材情報は、前記素材の画像の各画素についての形状特性及び反射特性を含む、請求項13ないし17のいずれかに記載のプログラム。

技術分野

0001

本発明は、画像処理装置、方法、及びプログラムに関し、より詳細には、表示物素材質感画像表示する画像処理装置、方法、及びプログラムに関する。

背景技術

0002

近年の製造技術、通信技術及び情報処理技術の発展により、種々のシーンにおいて、スマートフォンタブレット端末などの携帯型端末が利用されている。タッチパネル型ディスプレイ通信インタフェースの他、GPS、ジャイロセンサカメラ等の各種機能を備えた複合型携帯型端末の適応シーンは今後さらに拡大が見込まれる。

0003

例えば、従来、商取引の対象である商品は、紙媒体パンフレット写真イラストとして掲載されて紹介されていた。写真やイラスト(色見本)では素材の質感を知覚しにくい建装材等では、実物小片を集めたサンプル集の態様で紹介されていた。

0004

一方、被写体表面光沢感や繊維織りの細かなテクスチャー等の被写体(素材)の質感を画像表示する方法及び装置が提案されている(例えば、特許文献1を参照)。特許文献1の開示によれば、鏡面反射状態が異なる1つの静止被写体について、光源照明位置及び/又は照明方向を変えて複数の原画像を取得し、複数の原画像に基づいて生成された複数のフレーム画像を作成し、連続的に複数のフレーム画像を切り替えて表し、フレーム画像の画像信号は、被写体の鏡面反射画像信号と拡散反射画像信号とを用いて光沢信号を生成し、この光沢信号にウィンドウ処理を行って作成される。

0005

さらに、視差効果等を適用することで静止画奥行き感を付加し、素材の質感を変化させる技術の実用化も進められている。

先行技術

0006

特開2003−132350号公報(要約、請求項1,2等参照)

発明が解決しようとする課題

0007

しかしながら、紙媒体であっても電子媒体であっても、観察環境の変化や素材の向きの変化に応じた当該素材の見えの変化(質感)を表現することができないという問題があった。

0008

本発明は、このような問題に鑑みてなされたもので、その目的とするところは、観察環境の変化や素材の向きの変化に応じた当該素材の質感を画像表示するための画像処理装置、方法、及びプログラムを提供することにある。

課題を解決するための手段

0009

このような目的を達成するために、本発明の第1の態様は、素材の質感を画像表示する画像処理装置である。画像処理装置は、レンダリング手段を備える。レンダリング手段は、照明情報、素材の質感に関する素材情報、並びに照明、素材の画像が表示される表示面及び観者相対的位置関係に基づいて、素材の表示データをレンダリングするように構成されている。

0010

一実施形態では、照明情報、素材の質感に関する素材情報、並びに照明、素材の画像が表示される表示面及び観者の相対的位置関係の一部又は全部は、外部から取得され、画像処理装置に予め記憶され、又は画像処理装置の各種取得手段及び検出手段により取得及び検出され得る。

0011

一実施形態では、画像処理装置は、表示手段及び傾き検出手段をさらに備える。表示手段は、表示データを用いて素材の画像を表示するように構成されている。傾き検出手段は、表示手段の表示面の方位を検出するように構成されている。レンダリング手段は、傾き検出手段により検出された表示手段の表示面の方位、照明情報及び素材の質感に関する素材情報に基づいて、素材の表示データをレンダリングするように構成されている。一実施形態では、素材の画像が表示される表示面の方位は、通信手段を介して外部から取得される。

0012

一実施形態では、画像処理装置は、周囲照明情報を取得するように構成された周囲照明情報取得手段をさらに備え、レンダリング手段は、周囲照明情報、素材情報及び素材の画像が表示される表示面の方位に基づいて表示データをレンダリングする。画像処理装置は、通信手段をさらに備え、通信手段を介して外部から取得された外部照明情報を周囲照明情報の代替とすることができる。一実施形態では、画像処理装置は、通信手段を介して外部から周囲照明情報又は外部照明情報を取得し、レンダリング手段は、外部から取得した周囲照明情報又は外部照明情報、素材情報及び素材の画像が表示される表示面の方位に基づいて表示データをレンダリングする。

0013

一実施形態では、画像処理装置は、素材の画像の観者の方位を検出する観者検出手段を備え、レンダリング手段は、照明情報(周囲照明情報、外部照明情報)、素材情報、表示面の方位及び観者の方位に基づいて表示データをレンダリングする。一実施形態では、画像処理装置は、素材の画像の観者の方位は、通信手段を介して外部から取得される。

0014

一実施形態では、照明情報は、光の方位、色成分及び強度を含む。また素材情報は、素材の画像の各画素についての色特性形状特性及び反射特性を含む。

0015

本発明の第2の態様は、上記画像処理装置により実行される、素材の質感を画像表示するための画像処理方法である。

0016

本発明の第3の態様は、コンピュータに、上記画像処理方法を実行させるプログラムである。

発明の効果

0017

以上説明したように、本発明によれば、観察環境の変化や素材の向きの変化に応じた当該素材の質感を画像表示するための画像処理装置、方法、及びプログラムを提供することが可能となる。

図面の簡単な説明

0018

本発明の一実施形態にかかる画像処理装置の機能ブロック図である。
本発明の一実施形態を説明するための図である。
本発明の一実施形態を説明するための図である。
本発明の一実施形態を説明するための図である。
本発明の一実施形態を説明するための図である。
本発明の一実施形態に係る画像処理方法のフロー図である。

実施例

0019

以下、図面を参照しながら本発明の実施形態について詳細に説明する。以下に説明する画像表示装置、方法、及びプログラムは、住宅などの室内・外の空間で用いられる建装材の電子見本帳に適する。すなわち、本実施形態の画像表示装置、方法、及びプログラムによれば、観察環境の変化や建装材の向きの変化に応じた当該建装材の質感を画像表示することが可能となり、実物の小片を集めたサンプル集や単なる色見本は不要の代替となり得る。

0020

本願発明は、建装材に限定されるものではない。一般性を失うことなく他の例でも実施できる。たとえば、住宅などの室内・外空間は、自動車電車及び飛行機等の乗り物の車内・外空間を含む空間に一般化して説明することができる。建装材は、床材(板、カーペット、石、タイル)、内壁材(板、クロス合皮、紙、合成樹脂化粧シート等))及び外壁材サイディング材板材石材タイル材等))及び天井材(板、クロス(革、合皮、紙、合成樹脂、化粧シート等))を含む装材であるが、乗り物の車内装材(革、合皮、布、合成樹脂、化粧シート等)及び車外装材等を含む「素材」に一般化して説明することができる。

0021

図1は、本発明に係る画像処理装置の一実施形態である携帯型端末の機能ブロック図である。図1の携帯型端末100は、例えば、タブレット端末であり、ディスプレイプロセッサメモリ、各種センサを備える。携帯型端末100は、通信デバイスキーボードコンピュータマウスを含むポインティングデバイス、及びマイクロフォン等の入力デバイスを含んでもよい。入力デバイスは、入力部112を構成する。

0022

ディスプレイデバイスは、画像の表示に適したディスプレイデバイスであればよく、これに限定するものではないが、電磁誘導式静電容量式又は感圧式のタッチディスプレイデバイスが好ましい。ディスプレイデバイスは、表示部102を構成する。電磁誘導式、静電容量式又は感圧式のタッチディスプレイデバイスは、表示部102および入力部112を構成する。

0023

プロセッサは、CPUの他、GPUやコプロセッサを含んでもよい。プロセッサは、表示部に表示される画像に対応する表示データを生成する。プロセッサは、レンダリング部(表示データ生成部)104を構成する。

0024

メモリは、HDDなどの磁気ドライブ及びSSDなどの半導体ドライブのいずれでもよい。メモリは、内蔵型でも外付型でも良い。メモリは、照明情報記憶部106及び素材情報記憶部116を構成する。メモリは、傾き検出部110により検出されたタブレット端末の傾き(ディスプレイ面の方位)の情報を記憶することもできる。

0025

各種センサは、タブレット端末の周囲の照明情報(周囲照明情報)を取得するのに適したデバイス(以下、周囲照明情報取得デバイス)及びタブレット端末の傾きの検出に適したデバイス(傾き検出デバイス)であればよい。例えば、周囲照明情報取得デバイスは、測光デバイス、照度センサ及びカメラの1以上とすることができる。周囲照明情報取得デバイスは内蔵型でも外付型でもよい。また、例えば、傾き検出デバイスは、ジャイロセンサ、加速度センサ磁気センサの1以上とすることができる。周囲照明情報取得デバイスは、プロセッサと共に又は単独で、周囲照明情報取得部108を構成する。また、傾き検出デバイスは、プロセッサと共に又は単独で、傾き検出部110を構成する。さらに、各種センサは、観者(例えば、観者の目)の位置を検出するのに適したデバイスを備えてもよい。このようなデバイスは、赤外線センサ及びカメラの1以上とすることができる。

0026

例えば、周囲照明情報取得デバイスとしてのカメラは、周囲全周画像カメラまたは全天球撮影カメラ(omnidirectional camera)とすることができ、このようなカメラでタブレット端末の全周囲を撮影した全周囲画像色味輝度を実環境の照明情報(周囲照明情報)とすることができる。あるいは、内蔵型でも外付型のカメラで、カメラを水平面に置いた状態で撮影した基準画像と、カメラの向きを変えて複数回に分けて撮影したタブレット端末の全周囲を画像とを組み合わせて(繋ぎ合わせて)、全周囲画像を生成し、生成された全周囲画像の色味や輝度を実環境の照明情報(周囲照明情報)とすることができる。カメラが備えるイメージセンサダイナミックレンジラチチュード(latitude))がタブレット端末の周囲の実環境の輝度分布輝度レンジより狭い場合は、露光量を多段に変えて撮影した後に合成する写真技法ハイダイナミックレンジ合成(high dynamic range imaging:HDR)を用いてもよい。

0027

例えば、タブレット端末の内蔵カメラ(またはタブレット端末との相対的位置関係が既知である外付けカメラ)で撮影される画像から、当該タブレット端末の操作者(観者)の顔(目)の位置を特定することで、タブレット端末の表示面と観者の相対的位置関係を特定することができる。撮影と観者の顔(目)の位置の特定を短い時間間隔で繰り返すことで、タブレット端末の表示面と観者の相対的位置関係をリアルタイムで特定することができる。

0028

通信デバイスは、外部機器との接続用バス(例えばUSB(Universal Serial Bus))インタフェース有線通信用ネットワークインタフェースカード(NIC)及び無線通信用無線デバイスの1以上とすることができる。通信デバイスは、通信部114を構成する。タブレット端末100は、通信部114を介して外部から照明情報及び素材情報を取得することもできる。外部からの照明情報は、周囲照明情報の代替として用いることができる。

0029

照明情報記憶部106は、周囲照明情報取得部108によって取得された周囲照明情報又は通信部114を介して外部から取得された外部照明情報を記憶する、又は予め記憶している。

0030

素材情報記憶部116は、通信部114を介して外部から取得された素材情報を記憶する。素材情報は、素材の質感に関する情報である。素材情報は、ピクセル(画素)毎の法線情報(形状特性:装材(床材、壁材、天井材)におけるピクセルの面の向きを示す情報であり、例えば、画素の法線ベクトル情報である)を含む。また、素材情報は、画素毎の鏡面反射正反射)の強さの情報(例えば、鏡面反射率)、鏡面反射(正反射)の鋭さの情報(例えば、表面のミクロな粗さ、表面荒さの標準偏差ラフネス)及び拡散反射散乱反射)の強さの情報(例えば、拡散反射率、素材の地の色を示すRGB)を含む。鏡面反射の強さ及び鋭さの情報並びに拡散反射の強さの情報を反射特性とも言う。拡散反射の強さの情報は、各画素のRGB毎の拡散反射の強さの情報(例えば、RGB毎の拡散反射率)としても良い。また、鏡面反射(正反射)の強さの情報は、各画素のRGB毎の鏡面反射(正反射)の強さの情報(例えば、RGB毎の鏡面反射率)としてもよい。周囲照明情報(または外部から取得した照明情報)及び素材情報に基づいて表示データが生成される。この結果、素材の質感(光沢感、ざらつき感、凹凸感)が画像表示される。

0031

タブレット端末100は、観者とのインタラクションのためのユーザ・インタフェース(UI)を提供するUI提供部(不図示)を備える。観者は、UIを介して、表示させたい素材を選択することができる。すなわち、タブレット端末100は、UIを介して観者からの素材の選択を受信し、当該素材をディスプレイに表示することができる。UIは、観者が表示させたい素材を選択することができる、階層形式カテゴリ別メニューを含んでもよい。例えば、素材を壁材、床材及び天井材のようなカテゴリ別に分類し、観者がカテゴリの階層にしたがって素材を選択できるようにしてよい。サブカテゴリでは複数の素材のサムネール提示して、観者が表示させたい素材を選択させてもよい。

0032

図2は、周囲照明情報取得部108によって周囲照明情報が取得される空間を示す。図2において、x軸及びy軸は水平面内で互いに直交する軸であり、z軸は水平面内に直交する軸である。図2の空間には、2つの電灯202及び204と太陽206を含む合計3つの光源が示されている。x軸、y軸及びz軸の交点を周囲照明情報取得部108の位置として、2つの電灯202及び204並びに太陽206の3つの光源からの光を観測し、光源毎に観測される光の方位、色成分及び強度(輝度)を、空間における周囲照明情報として取得する。光源の数は、3つに限定されない。光源は、発光体に限定されず、周囲照明情報取得部108に向けて光を反射する反射体でもよい。空間内で観測される全ての光源の周囲照明情報(光の方位、色成分及び強度)を取得してもよい。取得された周囲照明情報は、照明情報記憶部106に記憶される。

0033

周囲照明情報代替として、通信部114を介して外部から照明情報を取得することができる。外部から取得された照明情報を外部照明情報ともいう。外部照明情報及び周囲照明情報を単に照明情報という。外部照明情報は、向きの窓(太陽光が差し込む窓)があり4灯のダウンライトがある部屋や、窓の無く電灯が1つの寝室など、モデル化された空間における照明の情報(予め外部のサーバコンピュータなどに格納されている照明の情報)とすることができる。モデル化された空間は、販売中/建設予定建築物件モデルルーム間取り内の1つ又は複数の空間とすることができる。

0034

図3は、図2に示した空間にタブレット端末100を配置した状態を示す。図2には、タブレット端末100によって表示される画像の観者の目208も示されている。タブレット端末100は、ディスプレイ面を上向きにして、ディスプレイ面がxy面に平行と成るように、x軸、y軸及びz軸の交点に配置されている。目208の方位は、観者検出部118によって検出されるディスプレイ面の法線に対する方位でもよく、ディスプレイ面の法線に予め決められた方位と(観者検出部118によって検出しない)してもよい。

0035

図3に示す状態で、レンダリング部104は、素材の面がディスプレイ面に重ねられているかのように素材の表示データを生成する。生成された表示データがディスプレイデバイスに表示されると、タブレット端末100を持っている観者は、あたかも素材を自身の手で持っているかのように、素材の質感を観察することができる。

0036

レンダリング部104は、素材情報記憶部116からレンダリングする素材の素材情報(ピクセル毎の法線情報(形状特性)、鏡面反射の強さ及び鋭さの情報並びに拡散反射の強さの情報(反射特性))を読み出し、照明情報記憶部106から照明情報(1つまたは複数の光源からの光の方位、色成分及び強度(輝度))を読み出し、各画素における観者の方位に反射する色成分及び強度(輝度)を計算して表示データを生成する。生成された表示データが用いられ、表示部に画像が表示される。図3に示す状態では、素材の表面に3つの光源(2つの電灯202及び204並びに太陽206)から入射し、目208の方位に反射する光の色成分及び強度(輝度))が計算される。

0037

図4に示す状態では、タブレット端末100のディスプレイ面は水平面(xy面)から傾斜している。この傾斜は、電灯202の光がディスプレイ面に入射しない程度の傾きである。傾き検出部110がこの傾斜を検出し、レンダリング部104は、表示データの生成の際に考慮する。すなわち、レンダリング部104は、素材の表面に2つの光源(1つの電灯204及び太陽206)から入射し、目208の方位に反射する光の色成分及び強度(輝度))を計算し表示データを生成する。

0038

さらに、図5に示す状態では、タブレット端末100のディスプレイ面はz軸に平行に配置されている。この配置は、2つの電灯202及び204の光がディスプレイ面に入射しない配置である。傾き検出部110がこのときのタブレット端末100の傾斜を検出し、レンダリング部104は、表示データの生成の際に考慮する。すなわち、レンダリング部104は、素材の表面に1つの光源(太陽206)のみから入射し、目208の方位に反射する光の色成分及び強度(輝度))を計算し表示データを生成する。

0039

図3から5を参照して説明したように、レンダリング部104によって生成された表示データは、タブレット端末100の傾き(ディスプレイ面の方位)および目の位置(方位)が反映されている。したがって、タブレット端末100を持っている観者は、タブレット端末100を傾けたり、目の位置(方位)を変えたりすることで、素材の実物を観察した時と同様に、素材の質感を観察することができることができる。

0040

レンダリング部104は、ズーム機能実装することもできる。上述したように、レンダリング部104は、素材の面がディスプレイ面に重ねられているかのように素材の表示データを生成する。ディスプレイ面と、タブレット端末100を保持する観者との間の距離は、略観者の腕の長さとなり、大きく変化しない。したがって、ユーザ・インタフェース(UI)を介して受信する観者からのズームインの指示に応答して、素材がディスプレイ面と観者との間に置かれているかのように素材の表示データを生成する、あるいは、UIを介して受信するズーム・アウトの指示に応答して、ディスプレイ面が素材と観者との間に置かれている(素材がディスプレイ面の裏側に置かれている)かのように素材の表示データを生成する、ズーム機能をレンダリング部104に実装することは有用である。例えば、観者は、ディスプレイ面が水平面に垂直となるようにタブレット端末を保持し、壁材の素材をさせる際に、ズーム・アウト機能を使用して、2〜3mは離れた位置の壁を想定して、素材の質感を観察することが可能になる。

0041

図6は、画像処理方法のフローチャートであり、上述した携帯型端末100によって実行される処理フローの一例である。

0042

テップS601で、携帯型端末100(レンダリング部104)は、周囲照明情報を取得する。当該携帯型端末が配置された実環境において周囲照明情報取得部108によって取得された照明情報、又は周囲照明情報記憶部106に格納された照明情報が取得される。代替として、通信部114を介して取得されたモデル化された空間における外部照明情報、又は通信部114を介して取得され周囲照明情報記憶部106に格納された外部照明情報が取得される。

0043

ステップS603で、携帯型端末100(レンダリング部104)は、表示する素材の素材情報(形状特性、反射特性)を取得する。通信部114を介して外部から取得され素材情報記憶部116に記憶された素材情報が取得される。たとえば、形状特性は素材の画素毎の法線ベクトル情報であり、反射特性は画素毎の鏡面反射の強さの情報(RBG毎の鏡面反射率)及び鏡面反射の鋭さ(表面のミクロな粗さ、表面荒さの標準偏差、ラフネス)及び拡散反射の強さの情報(RGB毎の拡散反射率、地の色に相当するRGB)である。

0044

ステップS605で、携帯型端末100(レンダリング部104)は、照明、ディスプレイ面及び観者の相対的位置関係を特定する。携帯型端末100(レンダリング部104)は、照明、ディスプレイ面及び観者の相対的位置関係を、照明情報に含まれる光の方位と、ディスプレイ面の方位及び観者の目の方位の少なくとも1つとを用いて計算することにより、特定することができる。携帯端末の傾き及び観者の目の方位は、傾き検出部110及び観者検出部118によってそれぞれ検出され、レンダリング部104がアクセスできるようにメモリなどに保持されている。

0045

ステップS607で、携帯型端末100(レンダリング部104)は、取得した照明情報と、計算した相対的位置関係と、取得した素材情報(形状特性、反射特性)とに基づいて、素材の表示データをレンダリングする。

0046

ステップS609で、表示部102は、表示データを用いて表示部102に素材の画像を表示(再表示)する。

0047

なお、ステップS601は、ステップS603の後に実行してもよい。特に、実環境において取得された照明情報を用いる場合、ステップS601は、ステップS605からS609のループに含めて、レンダリング部104が表示情報をレンダリングする毎に照明情報を取得し直すようにしてもよい。

0048

以上、観察環境の変化や素材の向きの変化に応じた当該素材の質感を画像表示するための画像処理装置及び方法の一実施の形態を、タブレット端末等の携帯型端末を例に説明したが、本願発明は、画像処理装置及び方法は上記実施形態に限定されるものではなく、一般性を失うことなく他の形態でも実施することができる。

0049

例えば、携帯型端末と通信するコンピュータ(サーバコンピュータ、デスクトップコンピュータラップトップコンピュータ等の携帯型端末とは別のコンピュータ)を用いて、本願発明の画像処理装置を実施してもよい。すなわち、携帯型端末とは別のコンピュータのCPU、GPU又はコプロセッサでレンダリング部を実装し、コンピュータのレンダリング部で、照明情報、素材の質感に関する素材情報、並びに照明、素材の画像が表示される表示面及び観者の相対的位置関係に基づいて、素材の表示データをレンダリングすることができる。レンダリング部を備えたコンピュータは、携帯型端末から受信した照明情報(周囲照明情報)を表示データのレンダリングに用いることができる。レンダリング部を備えたコンピュータは、携帯型端末以外の他のコンピュータから受信したまたはメモリなどに記録された照明情報(外部照明情報)を表示データのレンダリングに用いることができる。レンダリング部を備えたコンピュータは、携帯型端末から受信した照明、表示面及び素材の画像の観者の相対的位置関係を表示データのレンダリングに用いることができる。携帯型端末は、別のコンピュータでレンダリングされた表示データを用いて素材の画像を表示することができる。

0050

以上、説明したように、本発明によれば、観察環境の変化や素材の向きの変化に応じた当該素材の質感を画像表示する画像処理装置、方法、及びプログラムを提供できる。

0051

100携帯型端末
102 表示部(感圧式ディスプレイ)
104レンダリング部(表示データ生成部)
106照明情報記憶部
108周囲照明情報取得部(測光デバイス、照度センサ、カメラ)
110傾き検出部(ジャイロセンサ、加速度センサ、磁気センサ)
112 入力部(キーボード、キーパッドマウス、ポインティングデバイス、マイク)
114通信部(ネットワークIFカード(NFC)、無線デバイス)
116素材情報記憶部
118観者検出部(赤外線センサ、カメラ)
202,204電灯
206 太陽
208 目

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ