図面 (/)

技術 三次元仮想空間提示システム、三次元仮想空間提示方法及びプログラム

出願人 凸版印刷株式会社
発明者 笠井隆
出願日 2016年2月5日 (5年3ヶ月経過) 出願番号 2016-020969
公開日 2017年8月10日 (3年9ヶ月経過) 公開番号 2017-138907
状態 特許登録済
技術分野 その他の光学系・装置、色の干渉・色の制御 イメージ処理・作成 表示装置の制御、回路 立体TV及びTVの試験,検査,測定等
主要キーワード 質感情報 近似形状 ライトマップ 研究集会 クリッピング平面 三次元空間座標 透視投影行列 部屋空間
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年8月10日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (9)

課題

仮想空間における光源を含む物体から現実空間に対する光学的影響再現し、観察者への臨場感を与える情報として視覚的効果補完することで、表示物実在感を感じさせる三次元仮想空間提示システムを提供する。

解決手段

本発明の三次元仮想空間提示システムは、三次元仮想空間である仮想空間における三次元仮想物体を所定の位置から、観察者に鑑賞される表示装置表示画面に表示する仮想空間画像を生成する仮想空間画像生成部と、画像表示装置の配置された現実空間を三次元仮想空間とした近似仮想空間を生成する近似仮想空間生成部と、現実空間にプロジェクタから投写する光束画像を、光束画像の各画素輝度値が、当該画素と近似仮想空間における所定の部分領域との対応関係に基づき、各画素に対応する部分領域に対して三次元仮想物体からの光が与える光束の値として生成する光束画像生成部とを備える。

概要

背景

従来より、仮想空間の画像を表示し、観察者に対して鑑賞させる装置として、フラットパネルディスプレイあるいはプロジェクタなどの装置が用いられている。

上述した装置は、表示する画像における三次元物体輝度や色の再現性等において(例えば、特許文献1を参照)、また解像度において(例えば、特許文献2を参照)画像上の物体があたかも目の前に実在する現実空間そのものであるかのような感覚(実在感)を観察者に対して与える。

また、表示する画像において、両眼視差運動視差などを再現することにより、画像における物体に対して立体感を与える装置もある(例えば、特許文献3を参照)。
また、近年においては、三次元コンピュータグラフィックスの生成技術及びコンピュータの処理速度も向上しており、三次元仮想空間の写実的な画像をリアルタイムに生成する技術も確立してきている。

概要

仮想空間における光源を含む物体から現実空間に対する光学的影響を再現し、観察者への臨場感を与える情報として視覚的効果補完することで、表示物の実在感を感じさせる三次元仮想空間提示システムを提供する。本発明の三次元仮想空間提示システムは、三次元仮想空間である仮想空間における三次元仮想物体を所定の位置から、観察者に鑑賞される表示装置表示画面に表示する仮想空間画像を生成する仮想空間画像生成部と、画像表示装置の配置された現実空間を三次元仮想空間とした近似仮想空間を生成する近似仮想空間生成部と、現実空間にプロジェクタから投写する光束画像を、光束画像の各画素輝度値が、当該画素と近似仮想空間における所定の部分領域との対応関係に基づき、各画素に対応する部分領域に対して三次元仮想物体からの光が与える光束の値として生成する光束画像生成部とを備える。

目的

本発明は、このような状況に鑑みてなされたものであり、仮想空間における光源を含む物体から現実空間に対する光学的影響を再現し、観察者への臨場感を与える情報として視覚的効果を補完することで、表示物の実在感を感じさせることが可能な三次元仮想空間提示システム、三次元仮想空間提示方法及びプログラムの提供を目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

三次元仮想空間である仮想空間における三次元仮想物体を所定の位置から、観察者鑑賞される画像表示装置表示画面に表示する仮想空間画像を生成する仮想空間画像生成部と、前記画像表示装置の配置された現実空間を三次元仮想空間とした近似仮想空間を生成する近似仮想空間生成部と、現実空間にプロジェクタから投写する光束画像を、前記光束画像の各画素輝度値が、当該画素と前記近似仮想空間における所定の部分領域との対応関係に基づき、前記各画素に対応する前記部分領域に対して前記三次元仮想物体からの光が与える光束の値として生成する光束画像生成部とを備えることを特徴とする三次元仮想空間提示システム

請求項2

前記仮想空間と前記近似仮想空間とを、前記表示画面を境界面として複合し、前記仮想空間と前記近似仮想空間とが同一の三次元空間座標上に配置された複合仮想空間を生成する複合仮想空間生成部をさらに備え、前記光束画像生成部が、前記複合仮想空間において、前記仮想空間の前記三次元仮想物体から前記表示画面を介して前記部分領域に入射される前記光の光束を当該部分領域毎に抽出することを特徴とする請求項1に記載の三次元仮想空間提示システム。

請求項3

前記対応関係が、所定のカメラパラメータ指定方法によって指定されたカメラパラメータを有する仮想的な撮像装置撮像された撮像画像における各画素と、当該画素それぞれに撮像された前記部分領域との対応を示すことを特徴とする請求項1または請求項2に記載の三次元仮想空間提示システム。

請求項4

前記カメラパラメータ指定方法が前記プロジェクタのプロジェクタパラメータを用いて前記カメラパラメータを指定することを特徴とする請求項3に記載の三次元仮想空間提示システム。

請求項5

前記プロジェクタが、観察者の前方から、当該観察者の後方に前記光束画像を投射する位置に配置されていることを特徴とする請求項1から請求項4のいずれか一項に記載の三次元仮想空間提示システム。

請求項6

前記観察者の視点位置を抽出する視点位置推定部をさらに備えることを特徴とする請求項1から請求項5のいずれか一項に記載の三次元仮想空間提示システム。

請求項7

仮想空間画像生成部が、三次元仮想空間である仮想空間における三次元仮想物体を所定の位置から、観察者に鑑賞される画像表示装置の表示画面に表示する仮想空間画像を生成する仮想空間画像生成過程と、近似仮想空間生成部が、前記画像表示装置の配置された現実空間を三次元仮想空間とした近似仮想空間を生成する近似仮想空間生成過程と、光束画像生成部が、現実空間にプロジェクタから投写する光束画像を、当該光束画像の各画素の輝度値が、当該画素と前記近似仮想空間における所定の部分領域との対応関係に基づき、前記各画素に対応する前記部分領域に対して前記三次元仮想物体からの光が与える光束の値として生成する光束画像生成過程とを含むことを特徴とする三次元仮想空間提示方法

請求項8

コンピュータを、三次元仮想空間である仮想空間における三次元仮想物体を所定の位置から、観察者に鑑賞される画像表示装置の表示画面に表示する仮想空間画像を生成する仮想空間画像生成手段、前記画像表示装置の配置された現実空間を三次元仮想空間とした近似仮想空間を生成する近似仮想空間生成手段、現実空間にプロジェクタから投写する光束画像を、当該光束画像の各画素の輝度値が、当該画素と前記近似仮想空間における所定の部分領域との対応関係に基づき、前記各画素に対応する前記部分領域に対して前記三次元仮想物体からの光が与える光束の値として生成する光束画像生成手段として動作させるためのプログラム

技術分野

0001

本発明は、三次元仮想空間観察者に対して提示する三次元仮想空間提示システム、三次元仮想空間提示方法及びプログラムに関する。

背景技術

0002

従来より、仮想空間の画像を表示し、観察者に対して鑑賞させる装置として、フラットパネルディスプレイあるいはプロジェクタなどの装置が用いられている。

0003

上述した装置は、表示する画像における三次元物体輝度や色の再現性等において(例えば、特許文献1を参照)、また解像度において(例えば、特許文献2を参照)画像上の物体があたかも目の前に実在する現実空間そのものであるかのような感覚(実在感)を観察者に対して与える。

0004

また、表示する画像において、両眼視差運動視差などを再現することにより、画像における物体に対して立体感を与える装置もある(例えば、特許文献3を参照)。
また、近年においては、三次元コンピュータグラフィックスの生成技術及びコンピュータの処理速度も向上しており、三次元仮想空間の写実的な画像をリアルタイムに生成する技術も確立してきている。

先行技術

0005

特開2011−068866号公報
特開2014−191338号公報
特開2005−175973号公報

発明が解決しようとする課題

0006

しかしながら、上記従来例においては、実物から観察者が感じるはずの視覚的効果の一部を再現しているに過ぎない。このため、従来例において、写真と見紛うまでの高品質な仮想空間の画像を表示したとしても、観察者に対して、表示されている画像が実物であると感じさせる、すなわち実在感を感じさせる臨場感がある情報を十分に与えている訳ではない。

0007

本発明は、このような状況に鑑みてなされたものであり、仮想空間における光源を含む物体から現実空間に対する光学的影響を再現し、観察者への臨場感を与える情報として視覚的効果を補完することで、表示物の実在感を感じさせることが可能な三次元仮想空間提示システム、三次元仮想空間提示方法及びプログラムの提供を目的とする。

課題を解決するための手段

0008

上述した課題を解決するために、本発明の三次元仮想空間提示システムは、三次元仮想空間である仮想空間における三次元仮想物体を所定の位置から、観察者に鑑賞される表示装置表示画面に表示する仮想空間画像を生成する仮想空間画像生成部と、前記画像表示装置の配置された現実空間を三次元仮想空間とした近似仮想空間を生成する近似仮想空間生成部と、前記現実空間にプロジェクタから投写する光束画像を、前記光束画像の各画素輝度値が、当該画素と前記近似仮想空間における所定の部分領域との対応関係に基づき、前記各画素に対応する前記部分領域に対して前記三次元仮想物体からの光が与える光束の値として生成する光束画像生成部とを備えることを特徴とする。

0009

本発明の三次元仮想空間提示システムは、前記仮想空間と前記近似仮想空間とを、前記表示画面を境界面として複合し、前記仮想空間と前記近似仮想空間とが同一の三次元空間座標上に配置された複合仮想空間を生成する複合仮想空間生成部をさらに備え、前記光束画像生成部が、前記複合仮想空間において、前記仮想空間の前記三次元仮想物体から前記表示画面を介して前記部分領域に入射される前記光の光束を当該部分領域毎に抽出することを特徴とする。

0010

本発明の三次元仮想空間提示システムは、前記対応関係が、所定のカメラパラメータ指定方法によって指定されたカメラパラメータを有する仮想的な撮像装置撮像された撮像画像における各画素と、当該画素それぞれに撮像された前記部分空間との対応を示すことを特徴とする。

0011

本発明の三次元仮想空間提示システムは、前記カメラパラメータ指定方法が前記プロジェクタのプロジェクタパラメータを用いて前記カメラパラメータを指定することを特徴とする。

0012

本発明の三次元仮想空間提示システムは、前記プロジェクタが、観察者の前方から、当該観察者の後方に前記光束画像を投射する位置に配置されていることを特徴とする。

0013

本発明の三次元仮想空間提示システムは、前記観察者の視点位置を抽出する視点位置推定部をさらに備えることを特徴とする。

0014

本発明の三次元仮想空間提示方法は、仮想空間画像生成部が、三次元仮想空間である仮想空間における三次元仮想物体を所定の位置から、観察者に鑑賞される表示装置の表示画面に表示する仮想空間画像を生成する仮想空間画像生成過程と、近似仮想空間生成部が、前記画像表示装置の配置された現実空間を三次元仮想空間とした近似仮想空間を生成する近似仮想空間生成過程と、光束画像生成部が、前記現実空間にプロジェクタから投写する光束画像を、当該光束画像の各画素の輝度値が、当該画素と前記近似仮想空間における所定の部分領域との対応関係に基づき、前記各画素に対応する前記部分領域に対して前記三次元仮想物体からの光が与える光束の値として生成する光束画像生成過程とを含むことを特徴とする。

0015

本発明の三次元仮想空間提示方法は、コンピュータを、三次元仮想空間である仮想空間における三次元仮想物体を所定の位置から、観察者に鑑賞される表示装置の表示画面に表示する仮想空間画像を生成する仮想空間画像生成手段、前記画像表示装置の配置された現実空間を三次元仮想空間とした近似仮想空間を生成する近似仮想空間生成手段、前記現実空間にプロジェクタから投写する光束画像を、当該光束画像の各画素の輝度値が、当該画素と前記近似仮想空間における所定の部分領域との対応関係に基づき、前記各画素に対応する前記部分領域に対して前記三次元仮想物体からの光が与える光束の値として生成する光束画像生成手段として動作させるためのプログラムである。

発明の効果

0016

以上説明したように、本発明によれば、仮想空間における光源を含む物体から現実空間に対する光学的影響を再現し、観察者への臨場感を与える情報として視覚的効果を補完することで、表示物の実在感を感じさせることが可能な三次元仮想空間提示システム、三次元仮想空間提示方法及びプログラムを提供することができる。

図面の簡単な説明

0017

本発明の実施形態による三次元仮想空間提示システムのシステム構成例を示す概念図である。
本発明の実施形態による三次元仮想空間提示システムにおける三次元仮想空間提示装置の構成例を示すブロック図である。
近似仮想空間生成部103の生成した近似仮想空間VRSの一例を示す図である。
画像表示装置13の表示画面121に表示される仮想空間画像VS2に対応する仮想空間VSの構成例を示す模式図である。
仮想空間VSと近似仮想空間VRSとを複合した複合仮想空間CVRSの構成例を示す模式図である。
仮想カメラ421が複合仮想空間CVRSを撮像した撮像画像から仮想空間画像VS2を生成する処理を説明する図である。
本発明の実施形態の三次元仮想空間提示システにおける三次元仮想空間提示の処理の動作例を示すフローチャートである。
図7のステップS105Bにおける輝度値算出方法を示すフローチャートである。

実施例

0018

以下、本発明の実施形態について、図面を参照して説明する。図1は、本発明の実施形態による三次元仮想空間提示システムを適用したシステム構成例を示す概念図である。図1において、三次元仮想空間提示システムは、三次元仮想空間提示装置10、入力装置11、視点位置計測装置12、画像表示装置13及びプロジェクタ14の各々を備えている。

0019

三次元仮想空間提示装置10は、仮想空間VS(後述)から画像表示装置13に表示する2次元の仮想空間画像VS2を生成し、生成した仮想空間画像VS2を画像表示装置13に対して出力する。また、三次元仮想空間提示装置10は、プロジェクタ14が現実空間RSに投射する光束画像LFを生成し、生成した光束画像LFをプロジェクタ14に対して出力する。これにより、プロジェクタ14は、供給された光束画像LFを現実空間RSに対して投射する。三次元仮想空間提示装置10は、画像表示装置13及びプロジェクタ14に光束画像LFなどのデータを出力するための出力インターフェースを含む。また、三次元仮想空間提示装置10は、入力装置11及び視点位置計測装置12からデータを入力するための入力インターフェースを含む。

0020

入力装置11は、キーボードあるいはマウスなどであり、観察者201が三次元仮想空間提示システム1を操作するための命令などを入力する。
視点位置計測装置12は、観察者201の視点位置を抽出するために用いる視点位置計測情報を取得し、取得した視点位置計測情報を三次元仮想空間提示装置10に対して出力する。視点位置計測装置12は、例えば深度カメラなどであり、観察者201の視点位置を抽出するための深度画像を視点位置計測情報として出力する。本実施形態において、現実空間RSにおける三次元物体の位置及び角度は、現実空間RSにおいて定義される三次元直交座標系(X軸、Y軸及びX軸からなる座標系)における座標位置及び角度により表現される。
画像表示装置13は、三次元仮想空間提示装置10から供給される仮想空間画像VS2を、表示画面131に対して表示する。表示画面131は、例えば、平面ないし曲面で構成されている。

0021

プロジェクタ14は、現実空間RSにおける三次元物体、例えば、部屋の壁、床、天井、観察者201に対して、三次元仮想空間提示装置10から供給される光束画像LFを投射する。本実施形態において、例えば、プロジェクタ14は、画像表示装置13が配置される壁側の部屋空間の上部隅に設定されている。上記光束画像LFは、画像表示装置13から漏れ出てくる光を擬似的に実現するため、現実空間RSにおける三次元物体に対して投射される画像である。すなわち、光束画像LFは、現実空間RSに投射されることにより、画像表示装置13に表示されている仮想空間VSにおける三次元物体から直接あるいは間接的に、表示画面121を介して現実空間RSに照射されると推定される照度に対応した画像である。これにより、現実空間RSは、あたかも表示画面121の奥(内部)に仮想空間VSが存在し、この仮想空間VSから得られると推定される照明効果を、プロジェクタ14から投射される光束画像LFから擬似的に得られる。この光束画像LFの生成処理については後述する。

0022

図2は、本発明の実施形態による三次元仮想空間提示システムにおける三次元仮想空間提示装置の構成例を示すブロック図である。図2において、三次元仮想空間提示システム1は、図1を用いて説明したように、三次元仮想空間提示装置10、入力装置11、視点位置計測装置12、画像表示装置13及びプロジェクタ14の各々を備えている。また、三次元仮想空間提示装置10は、画像生成制御部101、視点位置推定部102、近似仮想空間生成部103、複合仮想空間生成部104、仮想空間画像生成部105、光束画像生成部106及び記憶部107の各々を備えている。

0023

画像生成制御部101は、三次元仮想空間提示システム1において処理する、外部装置(不図示)から入力される三次元仮想空間である仮想空間を入力し、記憶部107に対して書き込んで記憶させる。また、画像生成制御部101は、入力装置11から入力される操作するための命令により、三次元仮想空間提示システム1の制御を行う。

0024

視点位置推定部102は、視点位置計測装置12から視点位置計測情報と、現実空間RSの三次元直交座標系における視点位置計測装置12の予め測定された位置とにより、現実空間RSの三次元直交座標系における観察者201の視点位置の座標を推定する。ここで、視点位置の推定は、視点位置計測情報が観察者201の体が写った震度画像を含むのであれば、観察者201の頭部の位置を上記深度画像から推定し、この観察者201の頭部の位置に対して所定のオフセットを加えることで視点位置とする方法(例えば、特開2007−309660号公報)を用いることができる。

0025

近似仮想空間生成部103は、図示しない撮像装置により撮像された現実空間RSの撮像画像から、現実空間RSを等スケールモデル化して、三次元仮想空間としての近似仮想空間VRSを生成する。

0026

図3は、近似仮想空間生成部103の生成した近似仮想空間VRSの一例を示す図である。図3において、近似仮想空間VRSは、現実空間RSの近似形状情報301を含んでいる。この近似形状情報301は、例えば、ポリゴン集合体からなる形状情報である。また、近似形状情報301は、深度カメラにより測定した情報から、近似仮想空間生成部103が生成し、記憶部107に対して予め書き込んで記憶させておいても良い。また、近似形状情報301は、深度カメラにより測定した情報から、近似仮想空間生成部103がリアルタイムに生成し、記憶部107に対して書き込んで順次更新させる構成としても良い。

0027

また、図3において、三次元仮想物体13Vは、近似仮想空間VRSにおいて、現実空間RSの画像表示装置13に対応した三次元仮想物体である。また、近似仮想空間VRSの三次元直交座標系は、現実空間RSの三次元直交座標系に対応している。画面形状情報302は、三次元仮想物体13Vの表示画面131Vとしての領域の情報と対応している。この画面形状情報302の各々は、現実空間RSにおける画像表示装置13の矩形状の表示画面131の各頂点に対応している。
さらに、近似仮想空間VRSは、画面マッピング情報PMを含んでいる。この画面マッピング情報PMは、画像表示装置13に入力される入力画像が表示画面131に対して、どのように表示されるかを示す情報である。例えば、画面マッピング情報PMは、画面形状情報302(画像表示装置13の表示画面131の形状を示している)がポリゴンの集合であれば、各ポリゴンの頂点と対応する、表示画面131の画面平面上の2次元座標の集合である。

0028

図4は、画像表示装置13の表示画面121に表示される仮想空間画像VS2に対応する仮想空間VSの構成例を示す模式図である。図4において、仮想空間VSの仮想空間情報401は、光源412の光源情報とともに、三次元仮想物体である窓4110、人物4111、本棚4112、4113、窓4114及び椅子4115の各々の形状を示すモデル情報411を有している。また、モデル情報411には、例えば、それぞれの三次元仮想物体の質感情報として、色情報RGB(RED、GREEN、BLUE)の各々の拡散反射率及び鏡面反射率が含まれている。上記光源情報は、例えば、仮想空間VSにおける光源412の位置、光源412からの光の照射方向、光源412からの配光情報を含んでいる。頂点情報402は、窓4110の矩形状の頂点の位置を示す情報である。

0029

本実施形態において、配光情報とは、照射方向と照射方向に対して照射される光の光度とを対応付け関数であり、仮想空間VSにおいて光源412を起点とした光の照射方向を引数とし、当該方向に対して光源412から照射される光の強度である光度を求める(入力に対して返す)関数である。また、配光情報は、光源412の照射方向と、照射方向に対して照射される光の光度とを対応付けた対応テーブルとして構成しても良い。この仮想空間VSは、予め記憶部107に書き込まれ記憶されていても、画像生成制御部101を介して外部装置から供給されても良い。

0030

図2戻り、近似仮想空間生成部103は、図示しない深度カメラにより現実空間RSを撮像し、撮像した画像から抽出される各三次元物体の深度情報から、形状トラッキングの技術により、三次元物体の形状を抽出することで近似仮想空間VRSを生成し、生成した近似仮想空間VRSを記憶部107に対して書き込んで記憶させる。

0031

複合仮想空間生成部104は、仮想空間VSと、現実空間RSを等スケール(同一の尺度寸法値)で三次元仮想空間にモデル化した近似仮想空間VRSとを融合(複合)し、複合仮想空間CVRSを生成する。

0032

図5は、仮想空間VSと近似仮想空間VRSとを複合した複合仮想空間CVRSの構成例を示す模式図である。複合仮想空間CVRSは、近似仮想空間VRS上の三次元仮想物体13V(画像表示装置13の三次元仮想物体)の表示画面131Vと、仮想空間VSの窓4110とを境界面として、仮想空間VSと近似仮想空間VRSとが複合仮想空間生成部104により複合されている。すなわち、近似仮想空間VRSに対して、表示画面131Vと窓4110とが重なり合う部分の境界面の奥に、仮想空間VSを重畳して複合したものである。この複合を行う際、仮想空間VSの一部を構成する平面ないし曲面が、近似仮想空間VRSとなす境界面の境界線の一部に近接していることが好ましい。

0033

図5においては、表示画面131Vにおける画面形状情報302の頂点の情報と、仮想空間VSにおける窓4110の頂点情報402とをマッチングさせることで、複合仮想空間生成部104が仮想空間VSと近似仮想空間VRSとを複合して、複合仮想空間CVRSを生成している。これにより、複合仮想空間400は現実空間RSを等スケールで再現した近似仮想空間VRSを含むため、複合仮想空間400内の物体の位置及び角度は、現実空間RSにおける三次元直交座標系により、現実空間RSと同様に表現できる。すなわち、仮想空間VSを観察しようとする領域(一例として窓4110)を、画像表示装置13の表示画面131の領域とが境界面で一致するように、仮想空間VSと近似仮想空間VRSとを複合することで、複合仮想空間CVRSを生成することができる。

0034

図5において、複合仮想空間CVRSには、仮想カメラ420及び仮想カメラ421の各々が配置されている。仮想カメラ420の透視投影行列は、プロジェクタ14の透視投影行列の推定値と一致している。ここで、透視投影行列とは、現実空間RS(複合仮想空間400)の三次元直交座標系上の座標から、仮想カメラ420の撮影画像平面上、またはプロジェクタ14へ入力される光束画像LFの画像平面上の二次元座標系上の座標に変換する行列である。プロジェクタの透視投影行列は、例えば、「田中文武,出口光一郎,岡谷貴之汎用プロジェクタを用いる高精度レンジファインダのためのキャリブレーション計測自動制御学会東支部 第226回研究集会(2005.12.9)」に記載の方法を用いて予め計測しておく。

0035

仮想カメラ421は、複合仮想空間CVRSにおいて、現実空間RSにおける観察者201の視点の位置に配置されている。また、仮想カメラ421は、撮像方向が現実空間RSにおける観察者201の視線の方向と同一である。観察者201の視点は、現実空間RSの三次元直交座標系において視点位置推定部102により推定された座標を用いる。

0036

図1に戻り、仮想空間画像生成部105は、画像表示装置13の表示画面131に表示する仮想空間画像VS2を、仮想空間VSから生成する。この際、仮想空間画像生成部105は、複合仮想空間CRVSにおいて、近似仮想空間VRSにおける仮想カメラ421により、窓4110を介して観察される仮想空間VSの画像を撮像する。この撮像された画像が、現実空間RSの観察者201が画像表示装置13の表示画面131で鑑賞する仮想空間画像VS2となる。この仮想空間画像VS2は、仮想カメラ421の撮像方向にある窓4110を含む複合仮想空間CVRSの三次元仮想物体が、2次元平面である仮想カメラ421の撮像面に投影された2次元画像として得られる。また、仮想空間画像VS2は、平面あるいは曲面の表示画面131に表示される形態として求められる。

0037

このとき、仮想カメラ421の撮像位置は、三次元直交座標系において、視点位置推定部102が推定した観察者201の視点位置と同一とする。そして、視点以外のカメラパラメータは、仮想カメラ421の撮像面に窓4110(仮想空間VSと近似仮想空間VRSとの境界面)が最も大きく撮像されるように調整される。この仮想カメラ421のカメラパラメータの調整は、撮像画像が境界面である窓4110を包含して、かつ仮想カメラ421の視錘台が最小の体積となるようにクリッピング平面を設定することにより行うことができる。これは、なるべく窓4110から仮想カメラ421が撮像する、窓4110をと押して観察される仮想空間VSにおける三次元仮想物体の撮像画像における解像度を上げるためである。

0038

図6は、仮想カメラ421が複合仮想空間CVRSを撮像した撮像画像から仮想空間画像VS2を生成する処理を説明する図である。図6(a)は、仮想カメラ421が撮像した撮像画像Mを示している。本実施形態においては、撮像画像Mにおいて、画面形状情報303は、2次元座標系における四角形のポリゴン500の集合である。また、画面マッピング情報PMは、上記2次元座標系における各ポリゴン500の頂点PM_1の集合である。ここで、画面形状情報303は、近似仮想空間VRSにおける表示画面121Vの画面形状情報302と対応している。

0039

図6(b)は、撮像画像Mから生成した仮想空間画像VS2を示している。仮想空間画像VS2の画面形状情報302は、2次元座標系における四角形のポリゴン550び集合である。また、画面マッピング情報PMは、上記2次元座標系における各ポリゴン550の頂点PM_2の集合である。撮像画像Mのポリゴン500の各々は、仮想空間画像VS2のポリゴン550それぞれと対応している。また、撮像画像Mにおけるポリゴン500の頂点PM_1の各々は、仮想空間画像VS2におけるポリゴン550の頂点PM_2それぞれと対応している。

0040

図6(c)は、仮想空間画像生成部105が撮像画像Mから生成した仮想空間画像VS2を、画像表示装置13の表示画面131に表示し、観察者201の視点から鑑賞した場合の見えを示している。

0041

図2に戻り、仮想空間画像生成部105は、仮想カメラ421により複合仮想空間CVRSの撮像画像Mを、すでに説明したカメラパラメータを用いて撮像する。このとき、仮想空間画像生成部105は、三次元仮想物体13Vの画像表面のポリゴン550を、仮想カメラ421の透視投影行列により変換し、図6(c)の画像平面上のポリゴン500とし、このポリゴン500の頂点PM_1の頂点座標群を生成する。そして、仮想空間画像生成部105は、上記頂点座標群と、画面形状情報302を構成するポリゴン550の頂点座標群である2次元座標群との対応を用い、撮像画像Mをホモグラフィ変換し、仮想空間画像VS2を生成する。頂点座標群及び二次元座標群は、それぞれ画面形状情報303と画面形状情報302との頂点群一対一で対応している。このため、頂点座標群と二次元座標群との対応関係は一意に決まる。なお、仮想カメラ421による複合仮想空間CVRSの撮影の際には、この複合仮想空間CVRSにおける現実空間RSの情報に基づく、三次元物体のモデル描画対象から除外することが好ましい。

0042

仮想空間画像生成部105は、以下に示す(1)式から(7)式の各々を用いることにより、仮想空間画像VS2の各画素の輝度値を算出する。

0043

0044

0045

0046

0047

0048

0049

0050

上記(1)式において、Lu(p)は、プロジェクタ14が投射する光束画像上の二次元座標pの画素の輝度値を示している。ここで、(2)式におけるpは仮想空間画像VS2の画像平面上の2次元座標を示している。ここで、例えば、uはx座標、vはy座標である。Lm(ph)は、撮像画像M上の二次元座標phの輝度値である。(3)式は、ホモグラフィ行列である。ホモグラフィ行列Hの各要素は、(4)式により求められる。
(4)式において、(xi,yi)は、(5)式で示され、撮像画像M上に対し、画面形状情報302が投影された画面形状情報303のポリゴン500の各々の頂点座標群(PM_1)である。また(4)式において、(ui,vi)は、(6)式で示され、三次元仮想物体131Vの表示画面131Vの画面形状情報302におけるポリゴン550の各々の頂点の2次元座標群(PM_2)である。また、Ijは、(7)式で示される注目画素が属するポリゴン(四角形のポリゴン)の頂点番号である。
仮想空間画像生成部105は、上述した(1)式から(7)式の各々により、仮想空間画像VS2の各画素の輝度値を算出する。上述した処理により、仮想空間画像VS2を生成することにより、仮想空間画像VS2画像表示装置13の表示画面131に表示される。

0051

光束画像生成部106は、複合仮想空間CRVSにおける仮想空間VSの三次元仮想物体からの直接光あるいは間接光が近似仮想空間VRSに照射された画像を光束画像LFとして撮像する。すなわち、光束画像生成部106は、仮想カメラ420により複合仮想空間CRVSを撮像する。このとき、光束画像生成部106は、仮想カメラ420による複合仮想空間CRVSの撮像時に、所定の輝度値計算方法により、撮像した画像の各画素の色成分RGBの各々の輝度値を算出することにより、プロジェクタ14に与える光束画像LFを生成する。

0052

以下に、光束画像生成部106による上記所定の輝度値計算方法を説明する。
光束画像生成部106は、仮想カメラ420が撮像する光束画像LFにおける画素を順次注目画素として輝度値を抽出する。そして、光束画像生成部106は、仮想カメラ420が撮像した光束画像LFにおいて輝度値を求める対象の画素である注目画素が、仮想空間VSに含まれている場合、色成分RGBの各々の輝度値は0に設定される。一方、光束画像生成部106は、光束画像LFにおける注目画素に対応する複合仮想空間CRVS上の領域に対して、複合仮想空間CRVSの光源412の光源情報に基づき、光源412から直接的あるいは間接的に入射する光束を算出する。ここで、間接的な光束とは、例えば仮想空間VSにおける他の三次元仮想物体における光源412の反射光などの光束を示している。

0053

光束画像生成部106は、上記光束を求める際、例えば、レンダリング処理レイトレーシング法などを用い、上記領域の代表点の照度に対し、この領域の面積乗算して近似的に光束を求める。これにより、光束画像生成部106は、複合仮想空間CRVSにおいて、仮想空間VSから近似仮想空間VRSに対して漏れ出る光束、すなわち光源412及び他の三次元仮想物体から近似仮想空間VRSに対して与える光束を求める。
また、光束画像生成部106は、求めた光束に対応した注目画素の輝度値を、変換テーブルから求める。上述したように、光束画像生成部106は、上述したように、仮想カメラ420が撮像する光束画像LFの各画素を順次注目画素として輝度値を求める。そして、光束画像生成部106は、生成した光束画像LFをプロジェクタ14に対して出力する。

0054

上記変換テーブルは、例えば、プロジェクタ14から近似仮想空間VRSの画素毎に投影される色成分RGBの3色毎の光束を検索キーとして、プロジェクタ14に供給される光束画像LFの各画素の色成分RGBそれぞれの輝度値を参照するための三次元ルックアップテーブルである。この変換テーブルから求められる輝度値は、仮想空間VSから近似仮想空間VRSに対して漏れ出る光束を、プロジェクタ14から擬似的に出力するために必要な光束画像LF上の各画素の色成分RGB毎の輝度値である。

0055

また、この変換テーブルは、例えば、プロジェクタ14で所定のテスト画像を光束画像LFとしてスクリーンに投影し、スクリーン上の輝度値とテスト画像の輝度値との第1関係と、スクリーン上の輝度値とスクリーン上の光束との第2関係とをそれぞれ求め、これら第1関係及び第2関係の各々を連立することで、光束と光束画像LFの輝度値との関係を求める。上記第1関係は、「山本昇志, 鶴依子, 植田久美子, 津徳道, 中口俊哉, 三宅洋一. "DLPプロジェクタ照明下における物体の質感制御." 日本写真学会誌68.6 (2005): 510-517」による方法で求めることができる。また、第2関係は、スクリーンの位置と、プロジェクタ14の投射方向及びスクリーン面の成す角度と、スクリーン面の反射特性との各々を用いて求めることができる。なおプロジェクタ14が投影する画素毎の光束のばらつきは、無視できる程度に低く抑えられているものとする。

0056

また、複合仮想空間CRVSにおける光源412及び三次元仮想物体のモデルが静的である場合、仮想カメラ420が撮像した画像の画素毎に光束を格納したライトマップテクスチャーを予め作成して用意しておいても良い。この構成により、仮想カメラ420が撮像した画像の各画素の光束は、予め準備されたライトマップテクスチャーの参照によって得ることが可能となる。この構成の場合、仮想空間VSから近似仮想空間VRSに対して漏れる光束の計算に対して、十分な時間を取れるため、複雑な三次元仮想物体からの反射現象を考慮し、高い精度により求めた光束の有するライトマップテクスチャーを用意することができる。これにより、プロジェクタ14に対して高い精度の光束画像LFを出力することができ、プロジェクタ14から投射される光束画像LFをより高品質なものとし、観察者201に対して現実感を与えることが可能となる。

0057

記憶部107は、上述した変換テーブル、近似仮想空間VRSに関する情報である近似形状情報301、仮想空間VSに関する情報である仮想空間情報401の各々を記憶している。

0058

次に、図7は、本発明の実施形態の三次元仮想空間提示システムにおける三次元仮想空間提示の処理の動作例を示すフローチャートである。以下の図7のフローチャートにおいて、ステップS105AからステップS107Aの処理は仮想空間画像生成部105が処理を行う。一方、ステップS105AからステップS107Aの処理は光束画像生成部106が処理を行う。これら仮想空間画像生成部105及び光束画像生成部106の処理は並列に行われる。

0059

ステップS101:
近似仮想空間生成部103は、現実空間RSの撮像画像から、現実空間RSを等スケールでモデル化して、三次元仮想空間としての近似仮想空間VRS及び近似仮想空間VRSの近似形状情報301を生成する。そして、近似仮想空間生成部103は、作成した近似仮想空間VRS及び近似形状情報301を記憶部107に対して書き込んで記憶させる。
また、入力装置11は、外部装置から仮想空間VS及び仮想空間VSの仮想空間情報401の各々を入力し、記憶部107に対して書き込んで記憶させる。上述した前処理が行われる。

0060

ステップS102:
視点位置推定部102は、視点位置計測装置12から視点位置計測情報を入力し、この視点位置計測情報と現実空間RSにおける視点位置計測装置12の位置とにより、観察者201の現実空間RSの三次元直交座標系における観察者201の視点位置を求める。

0061

ステップS103:
視点位置推定部102は、求めた現実空間RSにおける観察者201の視点位置を、仮想空間画像生成部105に対して出力する。
そして、仮想空間画像生成部105は、現実空間RSにおける観察者201の視点位置を入力する。

0062

ステップS104:
複合仮想空間生成部104は、仮想空間VSと近似仮想空間VRSとの各々を、仮想空間VSにおける窓4110と、近似仮想空間VRSにおける三次元仮想物体13Vの表示画面131Vとを境界面として融合させ、複合仮想空間CVRSを生成する。この複合仮想空間CVRSは、近似仮想空間VRSにおける三次元直交座標系に対応しており、現実空間と同一スケールで形成される。
そして、複合仮想空間生成部104は、生成した複合仮想空間CVRSを、記憶部107に対して書き込んで記憶させる。

0063

ステップS105A:
仮想空間画像生成部105は、複合仮想空間CVRS内に設けられた仮想カメラ421により、現実空間RSにおける観察者201の視点から観察されると推定される撮像画像Mを撮像する。
そして、仮想空間画像生成部105は、撮像した撮像画像Mから画像表示装置13の表示画面131に表示する仮想空間画像VS2を生成する。ここで、本フローチャートのループ毎に、観察者201の視点位置が視点位置推定部102から供給されるため、観察者201の視点位置に応じて、生成される仮想空間画像VS2が異なる。このため、観察者201は、自身の視点位置に応じて、運動視差を伴って仮想空間VSを観察することができる。

0064

ステップS106A:
仮想空間画像生成部105は、生成した仮想空間画像VS2を画像表示装置13に対して出力する。
これにより、画像表示装置13は、観察者201の視点位置に応じた仮想空間画像VS2を入力する。

0065

ステップS107A:
画像表示装置13は、観察者201の視点位置に応じた仮想空間画像VS2を、自身の表示画面131に表示する。

0066

ステップS105B:
光束画像生成部106は、仮想カメラ420により複合仮想空間CVを撮像する。ここで、仮想カメラ420のカメラパラメータは、プロジェクタ14のプロジェクタパラメータを用いて指定されている。このプロジェクタパラメータとは、例えば、複合仮想空間CVにおけるプロジェクタの位置、光軸方向、画角及び縦横比などである。
そして、光束画像生成部106は、複合仮想空間CVを撮像する際、後述の輝度値算出方法で各画素の輝度値を算出することにより、複合仮想空間CVの撮像画像として光束画像LFを生成する。

0067

ステップS106B:
光束画像生成部106は、ステップ105Bで光束画像LFを、プロジェクタ14に対して出力する。

0068

ステップS107B:
プロジェクタ14は、光束画像生成部106から供給される光束画像LFを現実空間RSに対して投射する。この際、光束画像LFの各画素の輝度値それぞれが光束に逆変換されて、現実空間RSに対して投射されるため、現実空間RS上に仮想空間VSによる照明効果の照度が再現される。

0069

ステップS108:
画像生成制御部101は、入力装置11から処理の終了を示す終了情報が入力された場合、三次元仮想空間提示の処理を終了する。一方、画像生成制御部101は、入力装置11から処理の終了を示す終了情報が入力されない場合、処理をステップS102へ戻す。

0070

次に、図8は、図7のステップS105Bにおける輝度値算出方法を示すフローチャートである。このフローチャートは、光束画像の画素毎の輝度値を計算する処理を示しており、この処理を、仮想カメラ420による画像の撮像に際して、全ての画素に対して行い、得られた輝度値を光束画像LFの画素毎の輝度値とする。
ステップS201:
光束画像生成部106は、仮想カメラ420が複合仮想空間CVRSを撮像した光束画像LFの各々の画素を順次注目画素として、この注目画素が仮想空間VSに属しているか否かの判定を行う。
そして、光束画像生成部106は、注目画素が仮想空間VSに属している場合、処理をステップS202へ進める。
一方、光束画像生成部106は、注目画素が仮想空間VSに属していない場合、処理をステップS203へ進める。

0071

ステップS202:
光束画像生成部106は、光束画像LFにおいて、仮想空間VSに属している注目画素の輝度値を0として、この注目画素に対する処理を終了する。すなわち、光束画像生成部106は、光束画像LFにおけるこの注目画素に対応する画素の輝度値を0とする。

0072

ステップS203:
光束画像生成部106は、すでに述べたレンダリング処理により、仮想カメラ420が複合仮想空間CVRSを撮像した光束画像LFの注目画素に仮想空間VSから入射される光束を求める。

0073

ステップS204:
光束画像生成部106は、記憶部107の変換テーブルを参照し、注目画素に入射される光束に対応する輝度値を読み出す。そして、光束画像生成部106は、読み出した輝度値を光束画像LFにおける注目画素に対応する画素の輝度値とする。

0074

本実施形態の三次元仮想空間提示システムは、複合仮想空間CVRSにおいて、仮想空間VSから近似仮想空間VRSに対して漏れ出る光を、仮想カメラ420で撮像する際に、撮像される画像の画素の光束を求め、この光束を得るために必要な光束画像LFの各画素の輝度値を求める。そして、光束画像生成部106は、求めた光束画像LFをプロジェクタ14から現実空間に投射させる。これにより、本実施形態の三次元仮想空間提示システムによれば、仮想空間VSにおける光源を含む物体から現実空間RSに対する光学的影響を再現し、観察者201への臨場感を与える情報として視覚的効果を補完することが可能となり、画像表示装置13の表示画面131に表示される画像の実在感を感じさせることが可能となる。

0075

また、本実施形態の三次元仮想空間提示システムにおいて、運動視差を考慮して観察者201の視点位置を推定して、仮想空間画像VS2などの生成を行っていたが、観察者201が椅子などに座って視点位置が固定されている場合、図7のフローチャートにおいて、ループ毎に視点位置を検出する必要はない。したがって、この場合、視点位置の検出及び仮想空間画像VS2の生成も、最初に一度行うのみで良い。

0076

なお、本発明における図1の三次元仮想空間提示システムの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより三次元仮想空間を提示する処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ホームページ提供環境(あるいは表示環境)を備えたWWWシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワーク電話回線等の通信回線を介してプログラムが送信された場合のサーバクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。

0077

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル差分プログラム)であっても良い。

0078

ここまで、本発明の実施形態について説明したが、上記実施形態はあくまで一例であり、本発明は上述した実施形態に限定されず、その技術的思想の範囲内において種々異なる形態にて実施されてよいことは言うまでもない。
また、本発明の範囲は、図示され記載された例示的な実施形態に限定されるものではなく、本発明が目的とするものと均等な効果をもたらすすべての実施形態をも含む。さらに、本発明の範囲は、各請求項により画される発明の特徴の組み合わせに限定されるものではなく、すべての開示されたそれぞれの特徴のうち特定の特徴のあらゆる所望する組み合わせによって画されうる。

0079

本発明の三次元仮想空間提示システムは、例えば、住宅の内部及び外部を高実在感の仮想空間として観察者に提示することで、実物の住宅を用意しなくても、実物を見学した場合と同様のユーザ体験を観察者に与えることが可能である。

0080

1…三次元仮想空間提示システム
10…三次元仮想空間提示装置
11…入力装置
12…視点位置計測装置
13…画像表示装置
14…プロジェクタ
101…画像生成制御部
102…視点位置推定部
103…近似空間生成部
104…複合仮想空間生成部
105…仮想空間画像生成部
106…光束画像生成部
107…記憶部107

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ