図面 (/)

技術 情報処理システム、その制御方法、及びプログラム

出願人 キヤノンマーケティングジャパン株式会社キヤノンITソリューションズ株式会社
発明者 深草弘貴
出願日 2015年12月25日 (4年9ヶ月経過) 出願番号 2015-253005
公開日 2017年6月29日 (3年3ヶ月経過) 公開番号 2017-117259
状態 特許登録済
技術分野 デジタル計算機のユーザインターフェイス イメージ処理・作成
主要キーワード 姿勢特定 移動量補正 座標制御 複合現実感技術 距離感覚 距離算出ステップ 仮想空間情報 現実画像
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年6月29日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (11)

課題

ユーザの視点三次元モデルとの距離に応じて、適切な移動量で三次元モデルを移動させることの可能な仕組みを提供する。

解決手段

三次元モデル600が配置される仮想空間を提示するための情報処理システムにおいて、仮想空間にユーザの視点602を設定する。三次元モデルに対する指先601による移動指示受け付けると、設定された視点602と仮想空間に配置された三次元モデル600との距離を算出し、移動指示が示す移動量を、算出された距離に応じて補正する。そして、補正された移動量を用いて、移動指示を受け付けた三次元モデルを移動する。

概要

背景

従来技術として、三次元モデリングされたCG(Computer Graphics、以下、三次元モデルという。)を含む画像を、現実空間撮像した画像に重畳し、これを観察者提示する仕組みが存在する。この仕組みを用いることで、観察者にあたかも現実空間中に三次元モデルが存在しているかのように見せることができる。この仕組みは、複合現実感(Mixed Reality、以下、MRという。)や拡張現実感と呼ばれている。

こうした仕組みにおいて、仮想空間に存在する三次元モデルを移動させたり回転させたりする場合には、従来、仮想空間を管理する情報処理装置入力デバイスマウスキーボード等)を操作することで、これを実現している。

しかしながら、こうした操作はディスプレイの二次元平面で行われるため、ユーザにとってはあまり直感的な操作ではない。そこで、特許文献1には、現実空間におけるユーザの動作を仮想空間における三次元モデルに作用させる仕組みが開示されている。

概要

ユーザの視点と三次元モデルとの距離に応じて、適切な移動量で三次元モデルを移動させることの可能な仕組みを提供する。三次元モデル600が配置される仮想空間を提示するための情報処理システムにおいて、仮想空間にユーザの視点602を設定する。三次元モデルに対する指先601による移動指示受け付けると、設定された視点602と仮想空間に配置された三次元モデル600との距離を算出し、移動指示が示す移動量を、算出された距離に応じて補正する。そして、補正された移動量を用いて、移動指示を受け付けた三次元モデルを移動する。

目的

本発明は、ユーザの視点と三次元モデルとの距離に応じて、適切な移動量で三次元モデルを移動させることの可能な仕組みを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

三次元モデルが配置される仮想空間を提示するための情報処理システムであって、前記仮想空間にユーザの視点を設定する視点設定手段と、前記視点設定手段で設定された視点と、前記仮想空間に配置された三次元モデルとの距離を算出する距離算出手段と、前記三次元モデルに対する移動指示受け付ける移動指示受付手段と、前記移動指示受付手段で受け付けた移動指示が示す移動量を、前記距離算出手段で算出された距離に応じて補正する移動量補正手段と、前記移動量補正手段で補正された移動量を用いて、前記移動指示受付手段で移動指示を受け付けた三次元モデルを移動する三次元モデル移動手段とを備えることを特徴とする情報処理システム。

請求項2

前記移動指示受付手段は、現実空間物体によって前記三次元モデルに対する移動指示を受け付け、前記移動量補正手段は、前記物体の移動量を、前記距離算出手段で算出された距離に応じて補正することを特徴とする請求項1に記載の情報処理システム。

請求項3

前記視点設定手段は、前記ユーザが現実空間で装着するヘッドマウントディスプレイの位置に応じて、前記仮想空間に当該ユーザの視点を設定することを特徴とする請求項1または2に記載の情報処理システム。

請求項4

前記三次元モデル移動手段は、前記視点設定手段で設定された視点の視線方向に関する移動量を考慮せずに、前記移動量補正手段で補正された移動量を用いて、前記移動指示受付手段で移動指示を受け付けた三次元モデルを移動することを特徴とする請求項1乃至3のいずれか1項に記載の情報処理システム。

請求項5

前記移動量補正手段は、前記距離算出手段で算出された距離が短ければ短いほど、前記移動量が小さくなるように補正することを特徴とする請求項1乃至4のいずれか1項に記載の情報処理システム。

請求項6

三次元モデルが配置される仮想空間を提示するための情報処理システムの制御方法であって、前記情報処理システムの視点設定手段が、前記仮想空間にユーザの視点を設定する視点設定ステップと、前記情報処理システムの距離算出手段が、前記視点設定ステップで設定された視点と、前記仮想空間に配置された三次元モデルとの距離を算出する距離算出ステップと、前記情報処理システムの移動指示受付手段が、前記三次元モデルに対する移動指示を受け付ける移動指示受付ステップと、前記情報処理システムの移動量補正手段が、前記移動指示受付ステップで受け付けた移動指示が示す移動量を、前記距離算出ステップで算出された距離に応じて補正する移動量補正ステップと、前記情報処理システムの三次元モデル移動手段が、前記移動量補正ステップで補正された移動量を用いて、前記移動指示受付ステップで移動指示を受け付けた三次元モデルを移動する三次元モデル移動ステップとを備えることを特徴とする情報処理システムの制御方法。

請求項7

三次元モデルが配置される仮想空間を提示するための情報処理システムの制御方法を実行可能なプログラムであって、前記情報処理システムを、前記仮想空間にユーザの視点を設定する視点設定手段と、前記視点設定手段で設定された視点と、前記仮想空間に配置された三次元モデルとの距離を算出する距離算出手段と、前記三次元モデルに対する移動指示を受け付ける移動指示受付手段と、前記移動指示受付手段で受け付けた移動指示が示す移動量を、前記距離算出手段で算出された距離に応じて補正する移動量補正手段と、前記移動量補正手段で補正された移動量を用いて、前記移動指示受付手段で移動指示を受け付けた三次元モデルを移動する三次元モデル移動手段として機能させることを特徴とするプログラム。

技術分野

0001

本発明は、ユーザの視点三次元モデルとの距離に応じて、適切な移動量で三次元モデルを移動させることの可能な情報処理システム、その制御方法、及びプログラムに関する。

背景技術

0002

従来技術として、三次元モデリングされたCG(Computer Graphics、以下、三次元モデルという。)を含む画像を、現実空間撮像した画像に重畳し、これを観察者提示する仕組みが存在する。この仕組みを用いることで、観察者にあたかも現実空間中に三次元モデルが存在しているかのように見せることができる。この仕組みは、複合現実感(Mixed Reality、以下、MRという。)や拡張現実感と呼ばれている。

0003

こうした仕組みにおいて、仮想空間に存在する三次元モデルを移動させたり回転させたりする場合には、従来、仮想空間を管理する情報処理装置入力デバイスマウスキーボード等)を操作することで、これを実現している。

0004

しかしながら、こうした操作はディスプレイの二次元平面で行われるため、ユーザにとってはあまり直感的な操作ではない。そこで、特許文献1には、現実空間におけるユーザの動作を仮想空間における三次元モデルに作用させる仕組みが開示されている。

先行技術

0005

特開2012−79177号公報

発明が解決しようとする課題

0006

MR技術を用いる場合においても、特許文献1の仕組みや指先センサを装着することで三次元モデルに対して作用させることが可能となるが、画像処理やセンサといった仕組みによって現実空間上の物体の位置を正確に特定することは困難である。

0007

そのため、ユーザの手によって三次元モデルを移動させようとした場合、あまり細かな移動はできない。画像処理の細かな誤差やセンサの性能による誤差によって、ユーザが意図する位置に移動することができない問題がある。また、ユーザの手も細かな動きを正確に行うには限界があるため、MR技術において三次元モデルを移動しながら製品設計を行う場合には、結局従来のように情報処理装置に接続された入力デバイスによって移動させるしかなかった。

0008

本発明は、ユーザの視点と三次元モデルとの距離に応じて、適切な移動量で三次元モデルを移動させることの可能な仕組みを提供することを目的とする。

課題を解決するための手段

0009

上記の目的を達成するために本発明の情報処理システムは、三次元モデルが配置される仮想空間を提示するための情報処理システムであって、前記仮想空間にユーザの視点を設定する視点設定手段と、前記視点設定手段で設定された視点と、前記仮想空間に配置された三次元モデルとの距離を算出する距離算出手段と、前記三次元モデルに対する移動指示受け付ける移動指示受付手段と、前記移動指示受付手段で受け付けた移動指示が示す移動量を、前記距離算出手段で算出された距離に応じて補正する移動量補正手段と、前記移動量補正手段で補正された移動量を用いて、前記移動指示受付手段で移動指示を受け付けた三次元モデルを移動する三次元モデル移動手段とを備えることを特徴とする。

発明の効果

0010

本発明によれば、ユーザの視点と三次元モデルとの距離に応じて、適切な移動量で三次元モデルを移動させることが可能となる。

図面の簡単な説明

0011

本発明の実施形態における情報処理システムのシステム構成を示す図である。
情報処理装置101とHMD102のハードウェア構成を示す図である。
情報処理装置101のハードウェア構成を示す図である。
本発明の一連の処理の流れを示すフローチャートである。
本発明で用いる各種情報を示す図である。
仮想空間に配置された三次元モデルを示す図である。
仮想空間に配置された三次元モデルのXZ平面を示す図である。
指先の位置の変化量が補正された結果を示す図である。
補正された変化量を、視線方向をz軸とする座標系に変換した結果を示す図である。
最終的に三次元モデルが移動した結果を示す図である。

実施例

0012

以下、図面を参照しながら、本発明の実施形態について説明する。

0013

図1は、本実施形態における情報処理システムのシステム構成の一例を示す図である。図1に示す情報処理システムは、複合現実感技術(以下、MR技術という。)を用いた、ユーザに仮想空間を閲覧させるためのシステムである。情報処理システムは、情報処理装置101にHMD102が相互にデータ通信可能に接続されている。情報処理装置101とHMD102との接続は、有線接続であってもよいし、無線接続であってもよい。尚、図1のシステム上に接続される各種端末の構成は一例であり、用途や目的に応じて様々な構成例がある。

0014

情報処理装置101は、汎用的なコンピュータである。情報処理装置101は、HMD102で撮影(撮像)された現実空間の画像(以下、現実空間画像という。)と、情報処理装置101で生成された仮想空間の画像(以下、仮想空間画像という。)とを重畳する。こうして生成された画像(以下、複合現実画像という。)を、HMD102に送信する。尚、MR技術に関しては従来技術を用いるため、詳細な説明は省略する。また、情報処理装置101は、パーソナルコンピュータであってもよいし、サーバのような大型のコンピュータであってもよい。更には、携帯電話タブレット端末といった携帯端末であってもよい。コンピュータの種類は特に問わない。

0015

HMD102は、ヘッドマウントディスプレイである。HMD102は、ユーザの頭部に装着する装置であり、右目用左目用ビデオカメラと、右目用と左目用のディスプレイを備えている。HMD102は、HMD102のビデオカメラで撮影された現実空間画像を情報処理装置101に送信する。そして、情報処理装置101から複合現実画像を受信し、ディスプレイに表示する。HMD102では、右目用と左目用のディスプレイを設けているので、視差によって立体感を得ることができる。尚、HMD102で撮影する現実空間画像とHMD102で表示する複合現実画像は、動画映像)が望ましいが、所定の間隔で撮影された静止画であってもよい。また、スマートフォンのようにディスプレイとビデオカメラがハードウェアの前面と背面に設置されている装置を、ヘッドマウントディスプレイの代用としてもよい。

0016

また、情報処理装置101には赤外線カメラ104が接続されている。赤外線カメラ104は、赤外線を用いた光学式のセンサである。赤外線カメラ104は、現実空間に赤外線を照射し、現実空間の物体で反射した赤外線を撮影することにより、赤外線カメラ104が定義する座標系における、現実空間の物体の位置及び姿勢を特定する。この赤外線カメラ104を用いて、現実空間におけるHMD102(すなわちユーザ)の位置及び姿勢(向きや傾き、視線の方向等。以下、同じ。)と、ユーザの指先(または手や体の一部)の位置及び姿勢を特定する。HMD102とユーザの指先には、オプティカルマーカ103という赤外線を反射する物体を備えており、赤外線カメラ104はこのオプティカルマーカ103で反射した赤外線を撮影することで、HMD102の位置及び姿勢を特定できるようになっている。ユーザがどのような位置や姿勢であっても、当該ユーザが装着するHMD102やユーザの指先のオプティカルマーカ103を撮影または検知できるように、MRシステムでは赤外線カメラ104を複数台設置することが望ましい。また、位置及び姿勢を特定可能なHMD102とユーザの指先は、赤外線カメラ104の撮影範囲に存在するものとして説明を行う。

0017

尚、本実施形態においては、現実空間におけるHMD102及びユーザの指先の位置及び姿勢を特定するために、赤外線カメラ104を用いるが、これらの現実空間における位置及び姿勢を特定できるのであれば、これに限らない。例えば、磁気センサを用いてもよいし、HMD102が撮影した画像を解析して位置及び姿勢を特定してもよい。

0018

図2は、情報処理装置101とHMD102の各ハードウェア構成の一例を示す図である。

0019

CPU201は、システムバス204に接続される各デバイスコントローラを統括的に制御する。

0020

また、ROM202あるいは外部メモリ211には、CPU201の制御プログラムであるBIOS(Basic Input / OutputSystem)やオペレーティングシステムが記憶されている。更には、情報処理装置101の実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。RAM203は、CPU201の主メモリワークエリア等として機能する。

0021

CPU201は、処理の実行に際して必要なプログラム等をRAM203にロードして、プログラムを実行することで各種動作を実現するものである。

0022

また、入力コントローラ(入力C)205は、キーボードやマウス等のポインティングデバイス(入力デバイス210)からの入力を制御する。

0023

情報処理装置101のビデオコントローラVC)206は、HMD102が備える右目左目ディスプレイ222やディスプレイ212等の表示器への表示を制御する。右目・左目ディスプレイ222に対しては、例えば外部出力端子(例えば、Digital Visual Interface)を用いて出力される。また、右目・左目ディスプレイ222は、右目用のディスプレイと左目用のディスプレイとから構成されている。また、ディスプレイ212は、液晶ディスプレイ等であり、右目・左目ディスプレイ222と同様の表示、または仮想空間を操作するためのGUI(Graphical User Interface)が表示される。

0024

メモリコントローラ(MC)207は、ブートプログラムブラウザソフトウエア、各種のアプリケーションフォントデータ、ユーザファイル編集ファイル、各種データ等を記憶する外部メモリ211(記憶手段)へのアクセスを制御する。外部メモリ211は、例えばハードディスク(HD)やフレキシブルディスクFD)或いはPCMCIAカードスロットアダプタを介して接続されるカード型メモリ等がある。

0025

通信I/Fコントローラ(通信I/FC)208は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、TCP/IPを用いたインターネット通信等が可能である。特に、情報処理装置101の通信I/Fコントローラ208は、赤外線カメラ104との通信も制御する。

0026

情報処理装置101の汎用バス209は、情報処理装置101に接続されるHMD102の右目・左目ビデオカメラ221で撮影した画像を取り込むために使用される。右目・左目ビデオカメラ221からは、外部入力端子(例えば、IEEE1394端子)を用いて入力される。また、右目・左目ビデオカメラ221は、右目用のビデオカメラと左目用のビデオカメラとから構成されている。

0027

尚、CPU201は、例えばRAM203内の表示情報用領域へアウトラインフォント展開ラスタライズ)処理を実行することにより、ディスプレイ上での表示を可能としている。また、CPU201は、ディスプレイ上の不図示のマウスカーソル等でのユーザ指示を可能とする。

0028

本発明の情報処理装置101が後述する各種処理を実行するために用いられる各種プログラム等は外部メモリ211に記録されており、必要に応じてRAM203にロードされることによりCPU201によって実行されるものである。さらに、本発明に係わるプログラムが用いる定義ファイルや各種情報テーブルは外部メモリ211に格納されている。

0029

図3は、情報処理装置101の機能構成を示す機能構成図である。尚、図3の情報処理装置101の機能構成は一例であり、用途や目的に応じて様々な構成例がある。

0030

情報処理装置101は機能部として、通信制御部301、位置・姿勢特定部302、現実空間画像取得部303、仮想空間生成部304、仮想空間画像取得部305、複合現実画像生成部306を備える。更に情報処理装置101は機能部として、表示制御部307、三次元モデル制御部308、視線方向特定部309、距離算出部310、座標制御部311を備える。

0031

通信制御部301は、情報処理装置101と通信可能なHMD102と赤外線カメラ104との各種情報の送受信を行う機能部である。通信制御部301は、前述したビデオコントローラ206、通信I/Fコントローラ208、汎用バス209等を通じてこれらの装置と情報の送受信を行う。

0032

位置・姿勢特定部302は、赤外線カメラ104から取得したHMD102とユーザの指先の現実空間における位置及び姿勢(向き)を示す情報に基づいて、仮想空間における位置及び姿勢を特定するための機能部である。本実施形態では、HMD102とユーザの指先にオプティカルマーカ103が装着されているため、現実空間におけるオプティカルマーカ103の位置及び姿勢をまず取得する。そして、現実空間の座標系(赤外線カメラ104の座標系)と仮想空間の座標系とはあらかじめキャリブレーション(位置合わせ)がなされているので、これに基づいて現実空間における位置及び姿勢に対応する仮想空間上の位置及び姿勢を特定する。尚、現実空間画像取得部303で右目・左目ビデオカメラ221から取得した右目用の現実空間画像と左目用の現実空間画像とを用いて、三角測量等の方法により、現実空間の物体の位置及び姿勢を特定してもよい。

0033

現実空間画像取得部303は、HMD102の右目・左目ビデオカメラ221で撮影された現実空間画像を取得する機能部である。

0034

仮想空間生成部304は、情報処理装置101の外部メモリ211に記憶されている情報に基づいて仮想空間を生成する機能部である。仮想空間は情報処理装置101の内部に生成される仮想的な空間であるので、その空間の形や大きさに関する情報が外部メモリ211に記憶されており、これに基づいて仮想空間を生成する。仮想空間には三次元モデルを配置可能である。三次元モデルは三次元モデル制御部308によって配置される。

0035

仮想空間画像取得部305は、仮想空間生成部304で生成した仮想空間の画像を取得する機能部である。仮想空間画像取得部305が仮想空間の画像を取得する場合には、位置・姿勢特定部302で特定した仮想空間におけるHMD102の位置及び姿勢に基づいて仮想空間上に視点を設定する。そして、当該視点から見た場合の仮想空間画像を生成し、これを取得する。この視点に仮想的なカメラを設置し、仮想空間を撮像するようにすればよい。すなわちレンダリングする。

0036

複合現実画像生成部306は、現実空間画像取得部303で取得した現実空間画像に仮想空間画像取得部305で取得した仮想空間画像を重畳することにより、複合現実画像を生成する機能部である。

0037

表示制御部307は、情報処理装置101に接続されたHMD102の右目・左目ディスプレイ222や情報処理装置101に接続されたディスプレイ212における各種情報の表示制御を行う機能部である。特に、複合現実画像生成部306で生成された複合現実画像をHMD102の右目・左目ディスプレイ222に表示させる機能を有する。

0038

三次元モデル制御部308は、三次元モデルを仮想空間に配置するための機能部である。仮想空間が生成された場合には、あらかじめ定義された位置及び姿勢で三次元モデルを配置する。必要に応じて、配置された三次元モデルを異なる位置及び姿勢で再配置(移動)する。

0039

視線方向特定部309は、位置・姿勢特定部302で特定されたHMD102の仮想空間における位置及び姿勢に基づいて、仮想空間上の視点の視線方向を特定するための機能部である。

0040

距離算出部310は、仮想空間上の二点間の距離を算出するための機能部である。三平方定理等を用いて、仮想空間上の座標系における二点間の距離を算出する。

0041

座標制御部311は、仮想空間上の座標に関する処理を制御するための機能部である。特に、座標制御部311は、位置・姿勢特定部302で特定されたHMD102やユーザの指先の座標の変化量を特定したり、座標系の変換を行ったりすることが可能である。

0042

次に、本発明の実施形態における一連の処理の流れについて、図4に示すフローチャートを用いて説明する。以下説明する、S401乃至S415の各ステップは、情報処理装置101のCPU201が各機能部を動作することにより実行される処理である。

0043

ステップS401では、情報処理装置101の仮想空間生成部304は、外部メモリ211に記憶された仮想空間情報を取得する。仮想空間情報とは、仮想空間を生成するための各種情報のことである。具体的には、仮想空間の形やその大きさ、また配置する三次元モデルやその配置場所といった、仮想空間を形作るために必要な情報である。そして、仮想空間生成部304は、取得した仮想空間情報を用いて、仮想空間を生成する。生成される仮想空間は、仮想空間情報が示す形や大きさの仮想空間であり、更には仮想空間情報が示す三次元モデルが仮想空間上に配置される。

0044

ステップS402では、情報処理装置101の現実空間画像取得部303は、HMD102の右目・左目ビデオカメラ221から現実空間画像を取得し、これらをRAM203に記憶する。

0045

ステップS403では、情報処理装置101の位置・姿勢特定部302は、HMD102の現実空間における位置及び姿勢を示す情報を取得する。前述した通り、HMD102が備えるオプティカルマーカ103−1を赤外線カメラ104が検知することで特定した位置及び姿勢を示す情報を、赤外線カメラ104から取得する。そして、位置・姿勢特定部302は、取得した位置及び姿勢を示す情報から仮想空間における位置及び姿勢を特定する。特定した位置及び姿勢は、HMD位置・姿勢情報500(図5参照)としてRAM203に記憶する。この情報は現在のフレームにおけるHMD102の位置及び姿勢であるので、フレームが切り替わるごとにこの情報が更新される。

0046

またステップS404では、情報処理装置101の位置・姿勢特定部302は、ユーザの指先の現実空間における位置及び姿勢を示す情報を取得し、これをRAM203に記憶する。前述した通り、ユーザの指先にもオプティカルマーカ103−2が装着されており、これを赤外線カメラ104が検知することで特定した位置及び姿勢を示す情報を、赤外線カメラ104から取得する。そして、位置・姿勢特定部302は、取得した位置及び姿勢を示す情報から仮想空間における位置及び姿勢を特定する。特定した位置及び姿勢は、指先位置・姿勢情報510(図5参照)としてRAM203に記憶する。この情報は現在のフレームにおけるユーザの指先の位置及び姿勢であるので、フレームが切り替わるごとにこの情報が更新される。特に、1フレーム前の情報については、図5の511に示すように別の情報としてRAM203に記憶しておく。

0047

ステップS405では、情報処理装置101の視線方向特定部309は、ステップS403で特定した仮想空間におけるHMD102の位置及び姿勢に基づいて、仮想空間上にユーザの視点を設定し(視点設定手段)、この視点から見た視線方向を特定する。そして、視線方向の直線上に存在する三次元モデルのうち、最も視点に近い位置にある三次元モデルを特定する。この三次元モデルを移動対象の三次元モデルとして設定する。また、移動対象の三次元モデルの配置位置に関する情報を、三次元モデル配置位置520(図5参照)として、RAM203に記憶しておく。

0048

ステップS406では、情報処理装置101の三次元モデル制御部308は、ステップS404で特定したユーザの指先の位置と、ステップS405で特定された移動対象の三次元モデルの位置とを比較し、ユーザの指先が三次元モデルに触れたか否かを判定する。本実施形態は、ユーザの指先によって三次元モデルを仮想的に押すことで、仮想空間上の三次元モデルの位置を移動できるものである。そのため、ステップS406では、ユーザの指先による三次元モデルの移動指示を受け付けて、移動指示があったか否か、すなわち三次元モデルが押されたか否かを判定している。三次元モデルに指先が触れたと判定した場合には、ステップS407に処理を進める。

0049

ステップS407では、情報処理装置101の距離算出部310は、ステップS403で特定したHMD102(視点)の仮想空間上における位置と、移動対象の三次元モデルの位置との距離を算出する(距離算出手段)。

0050

図6に本実施形態を説明するための仮想空間の一例を示す。図6に示す仮想空間には、三次元モデル600が配置されており、この三次元モデル600に対して指先601が接触すると、三次元モデル600が移動対象となる(移動指示受付手段)。また、この仮想空間においては、HMD102の位置及び姿勢から視点602が設定されている。図6に示す仮想空間の平面図(上面図)が図7である。図6と同じものについては、同じ符号を付与してある。図7以降の図についても同様である。ステップS407で算出する視点602と三次元モデル600との距離は、701に示す距離である。本実施形態では、視点から、当該視点に最も近い三次元モデルの表面までの距離を算出するものとして説明を行うが、特にこれに限らない。視点から三次元モデルの中心点までの距離を算出してもよいし、三次元モデルを構成する線分や面といったいずれかの要素までの距離を算出してもよい。

0051

ステップS408では、情報処理装置101の座標制御部311は、ステップS406で三次元モデルに触れていると判定された指先の位置の変化量を算出する。ここでいう変化量とは、1フレームの間に移動した量(図7の移動量702)のことである。現在のフレームの指先位置・姿勢情報510と1フレーム前の指先位置・姿勢情報511とを用いて、x、y、z座標ごとに変化量を求める。より具体的には、1フレーム前の位置と現在のフレームの位置との差を求めればよい。すなわち、図5の例でいうと、「x座標の変化量=x3−x2」、「y座標の変化量=y3−y2」、「z座標の変化量=z3−z2」となる。

0052

ステップS409では、情報処理装置101の座標制御部311は、ステップS408で算出したx、y、z座標ごとの変化量を、ステップS407で算出した距離に応じてそれぞれ補正する(移動量補正手段)。ここで実行される補正は、ステップS407で算出した距離が短ければ短いほど、変化量を小さくするように補正する。ユーザが三次元モデルの位置を細かく移動させたい場合は、三次元モデルに視点を近づけて操作することが多い。これは、遠くから見ると細かな移動が視認しづらいためである。よって、近くで見ている場合には、ユーザが指示した移動量(変化量)よりも小さくなるように補正を行う。

0053

具体的な補正の方法は様々だが、例えば、HMD102(視点)と三次元モデルとの距離が30cm以上ある場合には補正をせず、15cm以上30cm未満の場合には変化量に0.5を積算して補正する。また、15cm未満の場合には変化量に0.1を積算して補正するといったように、閾値を設けて、算出した距離がどの閾値の条件に合致するのかによって補正する値を決定してもよい。または、距離と補正に用いる値が反比例するような式を用意し、この式を用いて補正に用いる値を決定し、この値と距離とを積算することで、変化量を補正してもよい。こうして補正した結果を図8に示す。図8の801の変化量は、図7の702の変化量を補正した結果を示す。HMD102(視点)と三次元モデルとの距離が近いため、変化量が小さくなるように補正されていることがわかる。

0054

ステップS410では、情報処理装置101の座標制御部311は、ステップS409で補正したx、y、z座標の変化量を、仮想空間における視点を原点とする座標系における変化量に変換する。視点の視線方向(奥行き方向)をz軸とし、視点に対する左右方向をx軸、視点に対する上下方向をy軸の座標系を新たに定義し、仮想空間の座標系から視点の座標系に座標変換する。座標変換の方法は従来技術であるため詳細な説明は省略する。図9は、視点の座標系と仮想空間の座標系との関係を示す図である。この視点602の座標系における変換後の変化量は、x座標の変化量が901、z座標の変化量が902となる。尚、指先がxz平面に対して平行に移動していると仮定し、ここではy座標の変化量については考慮しないが、ステップS410では視点の座標系におけるy座標の変化量も求める。

0055

ステップS411では、情報処理装置101の三次元モデル制御部308は、ステップS410で視点の座標系に変換した変化量のうち、z座標以外の変化量を用いて、移動対象の三次元モデルを移動させる(三次元モデル移動手段)。つまり、x座標の変化量とy座標の変化量とを用いて、同対象の三次元モデルを移動させる。奥行き方向に対する移動というのは、距離感覚を掴みにくい問題があり、正確に物体を移動させられない。そのため、視点から見て上下左右方向にのみ移動を制限することで、誤って奥行き方向に移動させないようにしている。

0056

図10は、ステップS411の実行結果を示す図である。移動対象の三次元モデル600を指先で押すと、視点と三次元モデルとの距離に応じて変化量が補正され、z座標以外の変化量によって三次元モデル600を移動するので、1001に示す位置から図10の三次元モデル600が存在する位置に移動する。つまり、この場合には視点の座標系におけるz軸方向には三次元モデルは移動させず、視点のx軸方向にだけ三次元モデルが移動するように制御する。このようにすることで、奥行き方向に対して三次元モデルを誤って移動させてしまうことが抑止できる。

0057

ステップS412では、情報処理装置101の仮想空間画像取得部305は、仮想空間上に設定された視点から仮想空間を撮像することにより仮想空間画像を取得し、これをRAM203等に記憶する(仮想空間画像生成手段)。尚、HMD102の右目・左目ディスプレイ222のそれぞれに表示するために右目用の仮想空間画像と左目用の仮想空間画像の2枚を取得する。

0058

ステップS413では、情報処理装置101の複合現実画像生成部306は、ステップS402で取得した現実空間画像とステップS412で取得した仮想空間画像とをRAM203等から読み出す。そして、当該現実空間画像に当該仮想空間画像を重畳し、複合現実画像を生成する。生成した複合現実画像はRAM203等に記憶する。尚、前述した通り、現実空間画像と仮想空間画像とは右目用と左目用の2枚ずつがRAM203等に記憶されているので、右目用の現実空間画像に右目用の仮想空間画像を重畳し、左目用の現実空間画像に左目用の仮想空間画像を重畳する。

0059

ステップS414では、情報処理装置101の表示制御部307は、ステップS413で生成した複合現実画像をRAM203等から読み出し、ビデオコントローラ206を通じてHMD102の右目・左目ディスプレイ222に表示する。RAM203等に記憶された複合現実画像は、右目用と左目用の2枚が存在する。そのため、右目用の複合現実画像を右目・左目ディスプレイ222の右目のディスプレイに表示するよう制御し、左目用の複合現実画像を右目・左目ディスプレイ222の左目のディスプレイに表示するよう制御する。

0060

ステップS415では、情報処理装置101の表示制御部307は、HMD102を装着しているユーザに複合現実感を提示する処理の終了指示があったか否かを判定する。例えば、前述したステップS401乃至ステップS415の処理を実行する情報処理装置101のアプリケーションの停止指示や終了指示があったか否かを判定する。終了指示があったと判定した場合には、本一連の処理を終了する。終了指示があったと判定しなかった場合、すなわち終了指示がなかった場合にはステップS402に処理を戻し、終了指示があるまでステップS402乃至ステップS415の処理を繰り返す。

0061

以上説明したように、ユーザの視点と三次元モデルとの距離に応じて、適切な移動量で三次元モデルを移動させることが可能となる。

0062

本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、1つの機器からなる装置に適用してもよい。

0063

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。

0064

したがって、本発明の機能処理をコンピュータで実現(実行可能と)するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

0065

その場合、プログラムの機能を有していれば、オブジェクトコードインタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であってもよい。

0066

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク光磁気ディスク、MO、CD−ROM、CD−R、CD−RWなどがある。また、磁気テープ不揮発性メモリカード、ROM、DVD(DVD−ROM,DVD−R)などもある。

0067

その他、プログラムの供給方法としては、クライアントコンピュータブラウザを用いてインターネットホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

0068

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。

0069

また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

0070

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

0071

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。

0072

なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

0073

101情報処理装置
102 HMD
103オプティカルマーカ
104赤外線カメラ
201 CPU
202 ROM
203 RAM
204システムバス
205入力コントローラ
206ビデオコントローラ
207メモリコントローラ
208通信I/Fコントローラ
209汎用バス
210入力デバイス
211外部メモリ
212ディスプレイ
221右目・左目ビデオカメラ
222 右目・左目ディスプレイ

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ