図面 (/)

技術 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム

出願人 株式会社コロプラ
発明者 澤木一晃
出願日 2017年5月19日 (1年11ヶ月経過) 出願番号 2017-099895
公開日 2018年12月6日 (4ヶ月経過) 公開番号 2018-195177
状態 特許登録済
技術分野 イメージ処理・作成 デジタル計算機のユーザインターフェイス
主要キーワード 一定期間収集 乾電池型 当初位置 肉付け 判定モデル VR空間 方位角β 変形オブジェクト
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2018年12月6日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

仮想体験エンタテイメント性を向上させ得る。

解決手段

表示部を備えるユーザ端末を介してユーザに仮想体験を提供するためにコンピュータによって実行される情報処理方法は、仮想空間を定義する仮想空間データを生成するステップと、ユーザ端末の動きと、仮想空間データと、に基づいて視界画像を生成し、表示部に視界画像を表示させるステップと、仮想空間データに基づいて、所定の撮影期間における仮想空間内の指定位置からの全方位映像である全方位動画再生するための記録データを保存するステップと、を含む。記録データは、仮想空間を定義するためのコンテンツ情報と、ユーザによる作用に応じて変形可能な変形オブジェクトの動作を示す動き情報と、を含む。

概要

背景

非特許文献1は、仮想空間において、ユーザに関連付けられたアバターオブジェクトをユーザの操作に基づいて動作させる技術を開示している。

概要

仮想体験エンタテイメント性を向上させ得る。表示部を備えるユーザ端末を介してユーザに仮想体験を提供するためにコンピュータによって実行される情報処理方法は、仮想空間を定義する仮想空間データを生成するステップと、ユーザ端末の動きと、仮想空間データと、に基づいて視界画像を生成し、表示部に視界画像を表示させるステップと、仮想空間データに基づいて、所定の撮影期間における仮想空間内の指定位置からの全方位映像である全方位動画再生するための記録データを保存するステップと、を含む。記録データは、仮想空間を定義するためのコンテンツ情報と、ユーザによる作用に応じて変形可能な変形オブジェクトの動作を示す動き情報と、を含む。

目的

そこで、本開示は、仮想空間における仮想体験のエンタテイメント性を向上させ得る情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

表示部を備えるユーザ端末を介してユーザに仮想体験を提供するためにコンピュータによって実行される情報処理方法であって、前記仮想体験を提供するための仮想空間を定義する仮想空間データを生成するステップと、前記ユーザ端末の動きと、前記仮想空間データと、に基づいて視界画像を生成し、前記表示部に前記視界画像を表示させるステップと、前記仮想空間データに基づいて、所定の撮影期間における前記仮想空間内の指定位置からの全方位映像である全方位動画再生するための記録データを保存するステップと、を含み、前記記録データは、前記仮想空間を定義するためのコンテンツ情報と、前記ユーザによる作用に応じて変形可能な変形オブジェクトの動作を示す動き情報と、を含む、情報処理方法。

請求項2

前記記録データに基づいて、前記全方位動画を前記仮想空間内で再生するステップをさらに含み、前記再生するステップにおいて、前記コンテンツ情報および前記動き情報に基づいて前記撮影期間における前記仮想空間を特定し、特定された前記仮想空間における所定の視点位置からの全方位の映像である前記全方位動画を生成する、請求項1に記載の情報処理方法。

請求項3

前記コンテンツ情報は、前記仮想空間の背景を規定する背景画像データと、各オブジェクト定義情報と、を含み、前記コンテンツ情報に含まれる前記変形オブジェクトの定義情報と、前記変形オブジェクトの前記動き情報とに基づいて、前記全方位動画における前記変形オブジェクトの動作を特定し、特定された前記変形オブジェクトの動作と前記背景画像データとに基づいて、前記全方位動画を生成する、請求項2に記載の情報処理方法。

請求項4

前記視界画像は、前記ユーザ端末の動きに応じて決定される前記仮想空間内の仮想カメラの位置および傾きに基づいて生成され、前記仮想カメラの位置が、前記視点位置として設定される、請求項2または3に記載の情報処理方法。

請求項5

前記動き情報は、前記変形オブジェクトの予め定められた複数の部分の位置を示す情報である、請求項1〜4のいずれか一項に記載の情報処理方法。

請求項6

前記仮想空間内における視点情報を前記ユーザから受け付けるステップと、前記記録データに基づいて特定される前記撮影期間における前記仮想空間のうち、前記視点情報に基づいて特定される部分を2次元画像データとして抽出するステップと、をさらに含む、請求項1〜5のいずれか一項に記載の情報処理方法。

請求項7

前記記録データを再定義するための編集情報を前記ユーザから受け付けるステップと、前記記録データおよび前記編集情報に基づいて特定される前記撮影期間における前記仮想空間のうち、前記視点情報に基づいて特定される部分を前記2次元画像データとして抽出するステップと、をさらに含む、請求項6に記載の情報処理方法。

請求項8

前記仮想空間内の基準位置を設定するステップをさらに含み、前記保存するステップにおいて、前記撮影期間における前記基準位置からの全方位の映像が記録された映像データを、前記記録データとして保存する、請求項1〜7のいずれか一項に記載の情報処理方法。

請求項9

前記基準位置は、予め用意された複数のモードのうちから前記ユーザによって選択されたモードに基づいて設定され、前記モードは、前記基準位置の移動パターンを決定する際の基準となるルールを示す情報である、請求項8に記載の情報処理方法。

請求項10

前記複数のモードは、発言量の多いユーザに関連付けられたキャラクタオブジェクト優先的に映されるように前記基準位置を移動させる移動パターンに対応するモードを含む、請求項9に記載の情報処理方法。

請求項11

前記コンピュータは、判定モデルを格納しており、前記判定モデルは、複数のユーザの各々が選択した前記モードと、当該ユーザの属性情報と、に基づいて生成され、前記モードは、前記仮想空間に関連付けられた前記ユーザの属性情報と前記判定モデルとに基づいて特定され、前記基準位置は、特定された前記モードに基づいて設定される、請求項9または10に記載の情報処理方法。

請求項12

請求項1〜11のいずれか一項に記載の情報処理方法をコンピュータに実行させる、プログラム

請求項13

少なくともメモリと、前記メモリに結合されたプロセッサとを備え、前記プロセッサの制御により請求項1〜11のいずれか一項に記載の情報処理方法を実行する、装置。

技術分野

0001

本開示は、情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラムに関する。

背景技術

0002

非特許文献1は、仮想空間において、ユーザに関連付けられたアバターオブジェクトをユーザの操作に基づいて動作させる技術を開示している。

0003

“Facebook Mark Zuckerberg SocialVRDemo OC3 Oculus Connect 3 Keynote”、[online]、平成28年10月6日、VRvibe、[平成28年12月5日検索]、インターネット<https://www.youtube.com/watch?v=NCpNKLXovtE>

先行技術

0004

米国特許第9573062号公報

発明が解決しようとする課題

0005

仮想空間における仮想体験(例えばアバターを介したユーザ間の対話)について、ユーザが過去の場面を閲覧したいと考える場合があり得る。このようなユーザの要求に応えることにより、ユーザの仮想体験のエンタテイメント性を向上させる余地がある。

0006

そこで、本開示は、仮想空間における仮想体験のエンタテイメント性を向上させ得る情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラムを提供することを目的とする。

課題を解決するための手段

0007

本開示が示す一態様によれば、表示部を備えるユーザ端末を介してユーザに仮想体験を提供するためにコンピュータによって実行される情報処理方法が提供される。この情報処理方法は、仮想体験を提供するための仮想空間を定義する仮想空間データを生成するステップと、ユーザ端末の動きと、仮想空間データと、に基づいて視界画像を生成し、表示部に視界画像を表示させるステップと、仮想空間データに基づいて、所定の撮影期間における仮想空間内の指定位置からの全方位映像である全方位動画再生するための記録データを保存するステップと、を含み、記録データは、仮想空間を定義するためのコンテンツ情報と、ユーザによる作用に応じて変形可能な変形オブジェクトの動作を示す動き情報と、を含む。

発明の効果

0008

本開示によれば、仮想体験のエンタテイメント性を向上させ得る情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラムを提供することが可能となる。

図面の簡単な説明

0009

ある実施の形態に従うHMDシステム100の構成の概略を表す図である。
一局面に従うコンピュータ200のハードウェア構成の一例を表すブロック図である。
ある実施の形態に従うHMD装置110に設定されるuvw視野座標系概念的に表す図である。
ある実施の形態に従う仮想空間2を表現する一態様を概念的に表す図である。
ある実施の形態に従うHMD装置110を装着するユーザ190の頭部を上から表した図である。
仮想空間2において視界領域23をX方向から見たYZ断面を表す図である。
仮想空間2において視界領域23をY方向から見たXZ断面を表す図である。
ある実施の形態に従うコントローラ160の概略構成を表す図である。
ある実施の形態に従うコンピュータ200をモジュール構成として表すブロック図である。
HMDシステム100Aが実行する処理を表すフローチャートである。
複数ユーザ共有される仮想空間2を模式的に表す図である。
ユーザ190Aに提供される視界画像Mの一例を表す図である。
HMDシステム100A、HMDシステム100B、HMDシステム100C、およびサーバ150が実行する処理を示すシーケンス図である。
記録データの保存および再生に関する処理を表すフローチャートである。
図14破線Tで囲んだ部分の第1の処理例を表すフローチャートである。
基準位置RPの例を表す図である。
動き情報の一例を説明するための図である。
図14の破線Tで囲んだ部分の第2の処理例を表すフローチャートである。
表示オブジェクトDの抽出に関する処理を表すフローチャートである。
表示オブジェクトDの一例を表す図である。
表示オブジェクトDの編集処理を説明するための図である。

実施例

0010

以下、図面を参照しつつ、本開示の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

0011

[HMDシステムの構成]
図1を参照して、HMD(Head Mount Device)システム100の構成について説明する。図1は、ある実施の形態に従うHMDシステム100の構成の概略を表す図である。ある局面において、HMDシステム100は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。

0012

HMDシステム100は、HMD装置110(ユーザ端末)と、HMDセンサ120と、コントローラ160と、コンピュータ200とを備える。HMD装置110は、ディスプレイ112(表示部)と、カメラ116と、マイク118と、注視センサ140とを含む。コントローラ160は、モーションセンサ130を含み得る。

0013

ある局面において、コンピュータ200は、インターネットその他のネットワーク19に接続可能であり、ネットワーク19に接続されているサーバ150その他のコンピュータと通信可能である。別の局面において、HMD装置110は、HMDセンサ120の代わりに、センサ114を含み得る。

0014

HMD装置110は、ユーザの頭部に装着され、動作中に仮想空間をユーザに提供し得る。より具体的には、HMD装置110は、右目用の画像および左目用の画像をディスプレイ112にそれぞれ表示する。ユーザの各目がそれぞれの画像を視認すると、ユーザは、両目視差に基づき当該画像を3次元の画像として認識し得る。

0015

ディスプレイ112は、例えば、非透過型の表示装置として実現される。ある局面において、ディスプレイ112は、ユーザの両目の前方に位置するようにHMD装置110の本体に配置されている。したがって、ユーザは、ディスプレイ112に表示される3次元画像を視認すると、仮想空間に没入することができる。ある実施の形態において、仮想空間は、例えば、背景、ユーザが操作可能なオブジェクト、およびユーザが選択可能なメニューの画像等を含む。ある実施の形態において、ディスプレイ112は、所謂スマートフォンその他の情報表示端末が備える液晶ディスプレイまたは有機EL(Electro Luminescence)ディスプレイとして実現され得る。ディスプレイ112は、HMD装置110の本体と一体に構成されてもよいし、別体として構成されてもよい。

0016

ある局面において、ディスプレイ112は、右目用の画像を表示するためのサブディスプレイと、左目用の画像を表示するためのサブディスプレイとを含み得る。別の局面において、ディスプレイ112は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、ディスプレイ112は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。

0017

カメラ116は、HMD装置110を装着するユーザの顔画像を取得する。カメラ116によって取得された顔画像は、画像解析処理によってユーザの表情を検知するために使用され得る。カメラ116は、例えば、瞳の動き、まぶたの開閉、および眉毛の動き等を検知するために、HMD装置110本体に内蔵された赤外線カメラであってもよい。あるいは、カメラ116は、ユーザの口、、および等の動きを検知するために、図1に示されるようにHMD装置110の外側に配置された外付けカメラであってもよい。また、カメラ116は、上述した赤外線カメラおよび外付けカメラの両方によって構成されてもよい。

0018

マイク118は、ユーザが発した音声を取得する。マイク118によって取得された音声は、音声解析処理によってユーザの感情を検知するために使用され得る。当該音声は、仮想空間2に対して、音声による指示を与えるためにも使用され得る。また、当該音声は、ネットワーク19およびサーバ150等を介して、他のユーザが使用するHMDシステムに送られ、当該HMDシステムに接続されたスピーカ等から出力されてもよい。これにより、仮想空間を共有するユーザ間での会話チャット)が実現される。

0019

HMDセンサ120は、複数の光源(図示しない)を含む。各光源は例えば、赤外線を発するLED(Light Emitting Diode)により実現される。HMDセンサ120は、HMD装置110の動きを検出するためのポジショントラッキング機能を有する。HMDセンサ120は、この機能を用いて、現実空間内におけるHMD装置110の位置および傾きを検出する。

0020

なお、別の局面において、HMDセンサ120は、カメラにより実現されてもよい。この場合、HMDセンサ120は、カメラから出力されるHMD装置110の画像情報を用いて、画像解析処理を実行することにより、HMD装置110の位置および傾きを検出することができる。

0021

別の局面において、HMD装置110は、位置検出器として、HMDセンサ120の代わりに、センサ114を備えてもよい。HMD装置110は、センサ114を用いて、HMD装置110自身の位置および傾きを検出し得る。例えば、センサ114が角速度センサ地磁気センサ加速度センサ、あるいはジャイロセンサ等である場合、HMD装置110は、HMDセンサ120の代わりに、これらの各センサのいずれかを用いて、自身の位置および傾きを検出し得る。一例として、センサ114が角速度センサである場合、角速度センサは、現実空間におけるHMD装置110の3軸周りの角速度を経時的に検出する。HMD装置110は、各角速度に基づいて、HMD装置110の3軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、HMD装置110の傾きを算出する。また、HMD装置110は、透過型表示装置を備えていてもよい。この場合、当該透過型表示装置は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。また、視界画像は仮想空間を構成する画像の一部に、現実空間を提示する構成を含んでいてもよい。例えば、HMD装置110に搭載されたカメラで撮影した画像を視界画像の一部に重畳して表示させてもよいし、当該透過型表示装置の一部の透過率を高く設定することにより、視界画像の一部から現実空間を視認可能にしてもよい。

0022

注視センサ140は、ユーザ190の右目および左目視線が向けられる方向(視線方向)を検出する。当該方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ140は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ140は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ140は、例えば、ユーザ190の右目および左目に赤外光照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球回転角を検出するセンサであってもよい。注視センサ140は、検出した各回転角に基づいて、ユーザ190の視線方向を検知することができる。

0023

サーバ150は、コンピュータ200にプログラムを送信し得る。別の局面において、サーバ150は、他のユーザによって使用されるHMD装置に仮想現実を提供するための他のコンピュータ200と通信し得る。例えば、アミューズメント施設において、複数のユーザが参加型のゲームを行う場合、各コンピュータ200は、各ユーザの動作に基づく信号を他のコンピュータ200と通信して、同じ仮想空間において複数のユーザが共通のゲームを楽しむことを可能にする。サーバ150は、一または複数のコンピュータ装置により構成され得る。サーバ150は、後述するコンピュータ200のハードウェア構成と同様のハードウェア構成(プロセッサメモリストレージ等)を備え得る。

0024

コントローラ160は、ユーザ190からコンピュータ200への命令の入力を受け付ける。ある局面において、コントローラ160は、ユーザ190によって把持可能に構成される。別の局面において、コントローラ160は、ユーザ190の身体あるいは衣類の一部に装着可能に構成される。別の局面において、コントローラ160は、コンピュータ200から送られる信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。別の局面において、コントローラ160は、仮想空間に配置されるオブジェクトの位置および動き等を制御するためにユーザ190によって与えられる操作を受け付ける。

0025

モーションセンサ130は、ある局面において、ユーザの手に取り付けられて、ユーザの手の動きを検出する。例えば、モーションセンサ130は、手の回転速度、回転数等を検出する。検出された信号は、コンピュータ200に送られる。モーションセンサ130は、例えば、手袋型のコントローラ160に設けられている。ある実施の形態において、現実空間における安全のため、コントローラ160は、手袋型のようにユーザ190の手に装着されることにより容易に飛んで行かないものに装着されるのが望ましい。別の局面において、ユーザ190に装着されないセンサがユーザ190の手の動きを検出してもよい。例えば、ユーザ190を撮影するカメラの信号が、ユーザ190の動作を表す信号として、コンピュータ200に入力されてもよい。モーションセンサ130とコンピュータ200とは、有線により、または無線により互いに接続される。無線の場合、通信形態は特に限られず、例えば、Bluetooth(登録商標)その他の公知の通信手法が用いられる。

0026

[ハードウェア構成]
図2を参照して、本実施の形態に係るコンピュータ200について説明する。図2は、一局面に従うコンピュータ200のハードウェア構成の一例を表すブロック図である。コンピュータ200は、主たる構成要素として、プロセッサ10と、メモリ11と、ストレージ12と、入出力インターフェース13と、通信インターフェース14とを備える。各構成要素は、それぞれ、バス15に接続されている。

0027

プロセッサ10は、コンピュータ200に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ11またはストレージ12に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ10は、CPU(Central Processing Unit)、MPU(Micro Processor Unit)、FPGA(Field-Programmable Gate Array)その他のデバイスとして実現される。

0028

メモリ11は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ12からロードされる。メモリ11に保存されるデータは、コンピュータ200に入力されたデータと、プロセッサ10によって生成されたデータとを含む。ある局面において、メモリ11は、RAM(Random Access Memory)その他の揮発性メモリとして実現される。

0029

ストレージ12は、プログラムおよびデータを永続的に保持する。ストレージ12は、例えば、ROM(Read-Only Memory)、ハードディスク装置フラッシュメモリ、その他の不揮発性記憶装置として実現される。ストレージ12に格納されるプログラムは、HMDシステム100において仮想空間を提供するためのプログラム、シミュレーションプログラムゲームプログラムユーザ認証プログラム、および他のコンピュータ200との通信を実現するためのプログラム等を含む。ストレージ12に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含む。

0030

なお、別の局面において、ストレージ12は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、コンピュータ200に内蔵されたストレージ12の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のHMDシステム100が使用される場面において、プログラムおよびデータ等の更新一括して行うことが可能になる。

0031

ある実施の形態において、入出力インターフェース13は、HMD装置110、HMDセンサ120またはモーションセンサ130との間で信号を通信する。ある局面において、入出力インターフェース13は、USB(Universal Serial Bus)インターフェースDVI(Digital Visual Interface)、HDMI(登録商標)(High-Definition Multimedia Interface)その他の端子を用いて実現される。なお、入出力インターフェース13は上述のものに限られない。例えば、入出力インターフェース13は、Bluetooth(登録商標)等の無線通信インターフェースを含み得る。

0032

ある実施の形態において、入出力インターフェース13は、さらに、コントローラ160と通信し得る。例えば、入出力インターフェース13は、モーションセンサ130から出力された信号の入力を受ける。別の局面において、入出力インターフェース13は、プロセッサ10から出力された命令を、コントローラ160に送る。当該命令は、振動、音声出力発光等をコントローラ160に指示する。コントローラ160は、当該命令を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。

0033

通信インターフェース14は、ネットワーク19に接続されて、ネットワーク19に接続されている他のコンピュータ(例えば、サーバ150)と通信する。ある局面において、通信インターフェース14は、例えば、LAN(Local Area Network)その他の有線通信インターフェース、あるいは、WiFi(Wireless Fidelity)、Bluetooth(登録商標)、NFC(Near Field Communication)その他の無線通信インターフェースとして実現される。なお、通信インターフェース14は上述のものに限られない。

0034

ある局面において、プロセッサ10は、ストレージ12にアクセスし、ストレージ12に格納されている1つ以上のプログラムをメモリ11にロードし、当該プログラムに含まれる一連の命令を実行する。当該1つ以上のプログラムは、コンピュータ200のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、コントローラ160を用いて仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ10は、入出力インターフェース13を介して、仮想空間を提供するための信号をHMD装置110に送る。HMD装置110は、その信号に基づいてディスプレイ112に映像を表示する。

0035

サーバ150は、ネットワーク19を介して複数のHMDシステム100の各々の制御装置と接続される。図2に示される例では、サーバ150は、HMD装置110Aを有するHMDシステム100Aと、HMD装置110Bを有するHMDシステム100Bと、HMD装置110Cを有するHMDシステム100Cとを含む複数のHMDシステム100を互いに通信可能に接続する。これにより、共通の仮想空間を用いた仮想体験が各HMDシステムを使用するユーザに提供される。なお、HMDシステム100A、HMDシステム100B、HMDシステム100C、およびその他のHMDシステム100は、いずれも同様の構成を備える。ただし、各HMDシステム100は、互いに異なる機種であってもよいし、互いに異なる性能(処理性能、およびユーザ動作の検知に関する検知性能等)を有してもよい。

0036

なお、図2に示される例では、コンピュータ200がHMD装置110の外部に設けられる構成が示されているが、別の局面において、コンピュータ200は、HMD装置110に内蔵されてもよい。一例として、ディスプレイ112を含む携帯型の情報通信端末(例えば、スマートフォン)がコンピュータ200として機能してもよい。

0037

また、コンピュータ200は、複数のHMD装置110に共通して用いられる構成であってもよい。このような構成によれば、例えば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。なお、このような場合、本実施形態における複数のHMDシステム100は、入出力インターフェース13により、コンピュータ200に直接接続されてもよい。また、本実施形態におけるサーバ150の各機能(例えば後述する同期処理等)は、コンピュータ200に実装されてもよい。

0038

ある実施の形態において、HMDシステム100では、グローバル座標系が予め設定されている。グローバル座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、ならびに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、3つの基準方向(軸)を有する。本実施の形態では、グローバル座標系は視点座標系の一つである。そこで、グローバル座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれ、x軸、y軸、z軸と規定される。より具体的には、グローバル座標系において、x軸は現実空間の水平方向に平行である。y軸は、現実空間の鉛直方向に平行である。z軸は現実空間の前後方向に平行である。

0039

ある局面において、HMDセンサ120は、赤外線センサを含む。赤外線センサが、HMD装置110の各光源から発せられた赤外線をそれぞれ検出すると、HMD装置110の存在を検出する。HMDセンサ120は、さらに、各点の値(グローバル座標系における各座標値)に基づいて、HMD装置110を装着したユーザ190の動きに応じた、現実空間内におけるHMD装置110の位置および傾きを検出する。より詳しくは、HMDセンサ120は、経時的に検出された各値を用いて、HMD装置110の位置および傾きの時間的変化を検出できる。

0040

グローバル座標系は現実空間の座標系と平行である。したがって、HMDセンサ120によって検出されたHMD装置110の各傾きは、グローバル座標系におけるHMD装置110の3軸周りの各傾きに相当する。HMDセンサ120は、グローバル座標系におけるHMD装置110の傾きに基づき、uvw視野座標系をHMD装置110に設定する。HMD装置110に設定されるuvw視野座標系は、HMD装置110を装着したユーザ190が仮想空間において物体を見る際の視点座標系に対応する。

0041

[uvw視野座標系]
図3を参照して、uvw視野座標系について説明する。図3は、ある実施の形態に従うHMD装置110に設定されるuvw視野座標系を概念的に表す図である。HMDセンサ120は、HMD装置110の起動時に、グローバル座標系におけるHMD装置110の位置および傾きを検出する。プロセッサ10は、検出された値に基づいて、uvw視野座標系をHMD装置110に設定する。

0042

図3に示されるように、HMD装置110は、HMD装置110を装着したユーザの頭部を中心(原点)とした3次元のuvw視野座標系を設定する。より具体的には、HMD装置110は、グローバル座標系を規定する水平方向、鉛直方向、および前後方向(x軸、y軸、z軸)を、グローバル座標系内においてHMD装置110の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる3つの方向を、HMD装置110におけるuvw視野座標系のピッチ方向(u軸)、ヨー方向(v軸)、およびロール方向(w軸)として設定する。

0043

ある局面において、HMD装置110を装着したユーザ190が直立し、かつ、正面を視認している場合、プロセッサ10は、グローバル座標系に平行なuvw視野座標系をHMD装置110に設定する。この場合、グローバル座標系における水平方向(x軸)、鉛直方向(y軸)、および前後方向(z軸)は、HMD装置110におけるuvw視野座標系のピッチ方向(u軸)、ヨー方向(v軸)、およびロール方向(w軸)に一致する。

0044

uvw視野座標系がHMD装置110に設定された後、HMDセンサ120は、HMD装置110の動きに基づいて、設定されたuvw視野座標系におけるHMD装置110の傾き(傾きの変化量)を検出できる。この場合、HMDセンサ120は、HMD装置110の傾きとして、uvw視野座標系におけるHMD装置110のピッチ角(θu)、ヨー角(θv)、およびロール角(θw)をそれぞれ検出する。ピッチ角(θu)は、uvw視野座標系におけるピッチ方向周りのHMD装置110の傾き角度を表す。ヨー角(θv)は、uvw視野座標系におけるヨー方向周りのHMD装置110の傾き角度を表す。ロール角(θw)は、uvw視野座標系におけるロール方向周りのHMD装置110の傾き角度を表す。

0045

HMDセンサ120は、検出されたHMD装置110の傾き角度に基づいて、HMD装置110が動いた後のHMD装置110におけるuvw視野座標系を、HMD装置110に設定する。HMD装置110と、HMD装置110のuvw視野座標系との関係は、HMD装置110の位置および傾きに関わらず、常に一定である。HMD装置110の位置および傾きが変わると、当該位置および傾きの変化に連動して、グローバル座標系におけるHMD装置110のuvw視野座標系の位置および傾きが変化する。

0046

ある局面において、HMDセンサ120は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係(例えば、各点間の距離など)に基づいて、HMD装置110の現実空間内における位置を、HMDセンサ120に対する相対位置として特定してもよい。また、プロセッサ10は、特定された相対位置に基づいて、現実空間内(グローバル座標系)におけるHMD装置110のuvw視野座標系の原点を決定してもよい。

0047

[仮想空間]
図4を参照して、仮想空間についてさらに説明する。図4は、ある実施の形態に従う仮想空間2を表現する一態様を概念的に表す図である。仮想空間2は、中心21の360度方向の全体を覆う全天球状の構造を有する。図4では、説明を複雑にしないために、仮想空間2のうちの上半分の天球が例示されている。仮想空間2では各メッシュが規定される。各メッシュの位置は、仮想空間2に規定されるXYZ座標系における座標値として予め規定されている。コンピュータ200は、仮想空間2に展開可能なコンテンツ静止画、動画等)を構成する各部分画像を、仮想空間2において対応する各メッシュにそれぞれ対応付けて、ユーザによって視認可能な仮想空間画像22が展開される仮想空間2をユーザに提供する。

0048

ある局面において、仮想空間2では、中心21を原点とするXYZ座標系が規定される。XYZ座標系は、例えば、グローバル座標系に平行である。XYZ座標系は視点座標系の一種であるため、XYZ座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれX軸、Y軸、Z軸として規定される。したがって、XYZ座標系のX軸(水平方向)がグローバル座標系のx軸と平行であり、XYZ座標系のY軸(鉛直方向)がグローバル座標系のy軸と平行であり、XYZ座標系のZ軸(前後方向)がグローバル座標系のz軸と平行である。仮想空間2内の各位置は、XYZ座標系における座標値によって一意に特定される。

0049

HMD装置110の起動時、すなわちHMD装置110の初期状態において、仮想カメラ1は、例えば仮想空間2の中心21に配置される。仮想カメラ1は、現実空間におけるHMD装置110の動きに連動して、仮想空間2を同様に移動する。これにより、現実空間におけるHMD装置110の位置および傾きの変化が、仮想空間2において同様に再現される。

0050

仮想カメラ1には、HMD装置110の場合と同様に、uvw視野座標系が規定される。仮想空間2における仮想カメラ1のuvw視野座標系は、現実空間(グローバル座標系)におけるHMD装置110のuvw視野座標系に連動するように規定されている。したがって、HMD装置110の傾きが変化すると、それに応じて、仮想カメラ1の傾きも変化する。また、仮想カメラ1は、HMD装置110を装着したユーザの現実空間における移動に連動して、仮想空間2において移動することもできる。

0051

仮想カメラ1の向きは、仮想カメラ1の位置および傾きに応じて決まるので、ユーザが仮想空間画像22を視認する際に基準となる視線(基準視線5)は、仮想カメラ1の向きに応じて決まる。コンピュータ200のプロセッサ10は、基準視線5に基づいて、仮想空間2における視界領域23を規定する。視界領域23は、仮想空間2のうち、HMD装置110を装着したユーザの視界に対応する。

0052

注視センサ140によって検出されるユーザ190の視線方向は、ユーザ190が物体を視認する際の視点座標系における方向である。HMD装置110のuvw視野座標系は、ユーザ190がディスプレイ112を視認する際の視点座標系に等しい。また、仮想カメラ1のuvw視野座標系は、HMD装置110のuvw視野座標系に連動している。したがって、ある局面に従うHMDシステム100は、注視センサ140によって検出されたユーザ190の視線方向を、仮想カメラ1のuvw視野座標系におけるユーザの視線方向とみなすことができる。

0053

[ユーザの視線]
図5を参照して、ユーザの視線方向の決定について説明する。図5は、ある実施の形態に従うHMD装置110を装着するユーザ190の頭部を上から表した図である。

0054

ある局面において、注視センサ140は、ユーザ190の右目および左目の各視線を検出する。ある局面において、ユーザ190が近くを見ている場合、注視センサ140は、視線R1およびL1を検出する。別の局面において、ユーザ190が遠くを見ている場合、注視センサ140は、視線R2およびL2を検出する。この場合、ロール方向wに対して視線R2およびL2がなす角度は、ロール方向wに対して視線R1およびL1がなす角度よりも小さい。注視センサ140は、検出結果をコンピュータ200に送信する。

0055

コンピュータ200が、視線の検出結果として、視線R1およびL1の検出値を注視センサ140から受信した場合には、その検出値に基づいて、視線R1およびL1の交点である注視点N1を特定する。一方、コンピュータ200は、視線R2およびL2の検出値を注視センサ140から受信した場合には、視線R2およびL2の交点を注視点として特定する。コンピュータ200は、特定した注視点N1の位置に基づき、ユーザ190の視線方向N0を特定する。コンピュータ200は、例えば、ユーザ190の右目Rと左目Lとを結ぶ直線の中点と、注視点N1とを通る直線の延びる方向を、視線方向N0として検出する。視線方向N0は、ユーザ190が両目により実際に視線を向けている方向である。また、視線方向N0は、視界領域23に対してユーザ190が実際に視線を向けている方向に相当する。

0056

また、別の局面において、HMDシステム100は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、HMDシステム100は、仮想空間2においてテレビ番組を表示することができる。

0057

さらに別の局面において、HMDシステム100は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。

0058

[視界領域]
図6および図7を参照して、視界領域23について説明する。図6は、仮想空間2において視界領域23をX方向から見たYZ断面を表す図である。図7は、仮想空間2において視界領域23をY方向から見たXZ断面を表す図である。

0059

図6に示されるように、YZ断面における視界領域23は、領域24を含む。領域24は、仮想カメラ1の基準視線5と仮想空間2のYZ断面とによって定義される。プロセッサ10は、仮想空間2における基準視線5を中心として極角αを含む範囲を、領域24として規定する。

0060

図7に示されるように、XZ断面における視界領域23は、領域25を含む。領域25は、基準視線5と仮想空間2のXZ断面とによって定義される。プロセッサ10は、仮想空間2における基準視線5を中心とした方位角βを含む範囲を、領域25として規定する。

0061

ある局面において、HMDシステム100は、コンピュータ200からの信号に基づいて、視界画像をディスプレイ112に表示させることにより、ユーザ190に仮想空間を提供する。視界画像は、仮想空間画像22のうち視界領域23に重畳する部分に相当する。視界領域23内において仮想カメラ1と仮想空間画像22との間に後述する仮想オブジェクトが配置されている場合、視界画像には当該仮想オブジェクトが含まれる。すなわち、視界画像において、仮想空間画像22よりも手前側にある仮想オブジェクトが仮想空間画像22に重畳して表示される。ユーザ190が、頭に装着したHMD装置110を動かすと、その動きに連動して仮想カメラ1も動く。その結果、仮想空間2における視界領域23の位置が変化する。これにより、ディスプレイ112に表示される視界画像は、仮想空間画像22のうち、仮想空間2においてユーザが向いた方向の視界領域23に重畳する画像に更新される。ユーザは、仮想空間2における所望の方向を視認することができる。

0062

ユーザ190は、HMD装置110を装着している間、現実世界を視認することなく、仮想空間2に展開される仮想空間画像22のみを視認できる。そのため、HMDシステム100は、仮想空間2への高い没入感覚をユーザに与えることができる。

0063

ある局面において、プロセッサ10は、HMD装置110を装着したユーザ190の現実空間における移動に連動して、仮想空間2において仮想カメラ1を移動し得る。この場合、プロセッサ10は、仮想空間2における仮想カメラ1の位置および傾きに基づいて、HMD装置110のディスプレイ112に投影される画像領域(すなわち、仮想空間2における視界領域23)を特定する。すなわち、仮想カメラ1によって、仮想空間2におけるユーザ190の視野(視界)が定義される。

0064

ある実施の形態に従うと、仮想カメラ1は、二つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含むことが望ましい。また、ユーザ190が3次元の仮想空間2を認識できるように、適切な視差が、二つの仮想カメラに設定されていることが好ましい。本実施の形態においては、仮想カメラ1が二つの仮想カメラを含み、二つの仮想カメラのロール方向が合成されることによって生成されるロール方向(w)がHMD装置110のロール方向(w)に適合されるように構成されているものとして、本開示に係る技術思想を例示する。

0065

[コントローラ]
図8を参照して、コントローラ160の一例について説明する。図8は、ある実施の形態に従うコントローラ160の概略構成を表す図である。

0066

図8の状態(A)に示されるように、ある局面において、コントローラ160は、右コントローラ160Rと左コントローラ(図示しない)とを含み得る。右コントローラ160Rは、ユーザ190の右手で操作される。左コントローラは、ユーザ190の左手で操作される。ある局面において、右コントローラ160Rと左コントローラとは、別個の装置として対称に構成される。したがって、ユーザ190は、右コントローラ160Rを把持した右手と、左コントローラを把持した左手とをそれぞれ自由に動かすことができる。別の局面において、コントローラ160は両手の操作を受け付ける一体型のコントローラであってもよい。以下、右コントローラ160Rについて説明する。

0067

右コントローラ160Rは、グリップ30と、フレーム31と、天面32とを備える。グリップ30は、ユーザ190の右手によって把持されるように構成されている。例えば、グリップ30は、ユーザ190の右手のと3本の指(中指薬指小指)とによって保持され得る。

0068

グリップ30は、ボタン33,34と、モーションセンサ130とを含む。ボタン33は、グリップ30の側面に配置され、右手の中指による操作を受け付ける。ボタン34は、グリップ30の前面に配置され、右手の人差し指による操作を受け付ける。ある局面において、ボタン33,34は、トリガー式のボタンとして構成される。モーションセンサ130は、グリップ30の筐体に内蔵されている。なお、ユーザ190の動作がカメラその他の装置によってユーザ190の周りから検出可能である場合には、グリップ30は、モーションセンサ130を備えなくてもよい。

0069

フレーム31は、その円周方向に沿って配置された複数の赤外線LED35を含む。赤外線LED35は、コントローラ160を使用するプログラムの実行中に、当該プログラムの進行に合わせて赤外線を発光する。赤外線LED35から発せられた赤外線は、右コントローラ160Rと左コントローラとの各位置および姿勢(傾き、向き)等を検出するために使用され得る。図8に示される例では、二列に配置された赤外線LED35が示されているが、配列の数は図8に示されるものに限られない。一列あるいは3列以上の配列が使用されてもよい。

0070

天面32は、ボタン36,37と、アナログスティック38とを備える。ボタン36,37は、プッシュ式ボタンとして構成される。ボタン36,37は、ユーザ190の右手の親指による操作を受け付ける。アナログスティック38は、ある局面において、初期位置(ニュートラルの位置)から360度任意の方向への操作を受け付ける。当該操作は、例えば、仮想空間2に配置されるオブジェクトを移動させるための操作を含む。

0071

ある局面において、右コントローラ160Rおよび左コントローラは、赤外線LED35その他の部材を駆動するための電池を含む。電池は、充電式、ボタン型、乾電池型等を含むが、これらに限定されない。別の局面において、右コントローラ160Rおよび左コントローラは、例えば、コンピュータ200のUSBインターフェースに接続され得る。この場合、右コントローラ160Rおよび左コントローラは、電池を必要としない。

0072

図8の状態(A)および状態(B)に示されるように、例えば、ユーザ190の右手810に対して、ヨー、ロール、ピッチの各方向が規定される。ユーザ190が親指と人差し指とを伸ばした場合に、親指の伸びる方向がヨー方向、人差し指の伸びる方向がロール方向、ヨー方向の軸およびロール方向の軸によって規定される平面に垂直な方向がピッチ方向として規定される。

0073

[HMD装置の制御装置]
図9を参照して、HMD装置110の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ200によって実現される。図9は、ある実施の形態に従うコンピュータ200をモジュール構成として表すブロック図である。

0074

図9に示されるように、コンピュータ200は、表示制御モジュール220と、仮想空間制御モジュール230と、メモリモジュール240と、通信制御モジュール250とを備える。表示制御モジュール220は、サブモジュールとして、仮想カメラ制御モジュール221と、視界領域決定モジュール222と、視界画像生成モジュール223と、基準視線特定モジュール224とを含む。仮想空間制御モジュール230は、サブモジュールとして、仮想空間定義モジュール231と、仮想オブジェクト制御モジュール232と、チャット制御モジュール233と、仮想空間記録モジュール234とを含む。

0075

ある実施の形態において、表示制御モジュール220と仮想空間制御モジュール230とは、プロセッサ10によって実現される。別の実施の形態において、複数のプロセッサ10が表示制御モジュール220と仮想空間制御モジュール230として作動してもよい。メモリモジュール240は、メモリ11またはストレージ12によって実現される。通信制御モジュール250は、通信インターフェース14によって実現される。

0076

ある局面において、表示制御モジュール220は、HMD装置110のディスプレイ112における画像表示を制御する。仮想カメラ制御モジュール221は、仮想空間2に仮想カメラ1を配置し、仮想カメラ1の挙動、向き等を制御する。視界領域決定モジュール222は、HMD装置110を装着したユーザの頭の向きに応じて、視界領域23を規定する。視界画像生成モジュール223は、決定された視界領域23に基づいて、ディスプレイ112に表示される視界画像を生成する。基準視線特定モジュール224は、注視センサ140からの信号に基づいて、ユーザ190の視線を特定する。

0077

仮想空間制御モジュール230は、ユーザ190に提供される仮想空間2を制御する。仮想空間定義モジュール231は、仮想空間2を表す仮想空間データを生成することにより、HMDシステム100における仮想空間2を規定する。

0078

仮想オブジェクト制御モジュール232は、後述するコンテンツ情報241およびオブジェクト情報242に基づいて、仮想空間2に配置される仮想オブジェクトを生成する。また、仮想オブジェクト制御モジュール232は、仮想空間2における仮想オブジェクトの動作(移動および状態変化等)も制御する。

0079

仮想オブジェクトは、仮想空間2に配置されるオブジェクト全般である。仮想オブジェクトは、例えば、ゲームのストーリーの進行に従って配置される森、山その他を含む風景動物等を含み得る。また、仮想オブジェクトは、仮想空間におけるユーザの分身であるアバターおよびユーザにより操作されるゲームのキャラクタプレイヤキャラクタ)等のキャラクタオブジェクトを含み得る。さらに、仮想オブジェクトは、ユーザ190の身体の一部(例えば手)の動きに応じて動くオブジェクトである操作オブジェクトを含み得る。操作オブジェクトは、例えば、HMD装置110を装着したユーザ190の手に相当する手オブジェクト、ユーザ190の指に相当する指オブジェクト等を含み得る。また、手オブジェクトに関連付けられて操作されるオブジェクトも、ユーザ190の手の動きに応じて動く操作オブジェクトとして機能し得る。例えば、手オブジェクトにより把持されるタッチペン等のスティック状のオブジェクト等が、操作オブジェクトとして機能し得る。なお、以下の説明において、誤解が生じない場合には、仮想オブジェクトのことを単に「オブジェクト」と表記する。

0080

チャット制御モジュール233は、同じ仮想空間2に滞在する他のユーザのアバターとチャットをするための制御を行う。例えば、チャット制御モジュール233は、仮想空間2を介したチャットを行うために必要なデータ(例えば、マイク118に入力された音声データ等)をサーバ150に送信する。また、チャット制御モジュール233は、サーバ150から受信した他のユーザの音声データを図示しないスピーカに出力する。これにより、音声によるチャットが実現される。また、チャット制御モジュール233は、その他のユーザ間で共有すべきデータについても、サーバ150を介して他のユーザのHMDシステム100との間で送受信する。共有すべきデータとしては、アバターの身体の一部の動作を制御するための動き検知データ等がある。

0081

動き検知データは、例えば、向きデータアイトラッキングデータフェイストラッキングデータ、およびハンドトラッキングデータ等である。向きデータは、HMDセンサ120等により検出されたHMD装置110の位置および傾きを示す情報である。アイトラッキングデータは、注視センサ140等により検出された視線方向を示す情報である。フェイストラッキングデータは、例えばHMD装置110Aのカメラ116により取得された画像情報に対する画像解析処理によって生成されるデータである。フェイストラッキングデータは、ユーザ190Aの顔の各パーツの位置および大きさの経時変化を示す情報である。ハンドトラッキングデータは、例えばモーションセンサ130等により検出されたユーザ190Aの手の動きを示す情報である。

0082

本実施形態では、チャット制御モジュール233は、音声データと動き検知データとを含む情報(以下「プレイヤ情報」という。)を、ユーザ間で共有すべき情報として、サーバ150を介して他のユーザのHMDシステム100との間で送受信する。プレイヤ情報の送受信は、通信制御モジュール250の機能を利用することにより実現される。

0083

仮想空間記録モジュール234は、所定期間における仮想空間2内の所定位置からの全方位の映像である全方位動画を再生するための記録データの取得、保存、再生等の制御を行う。仮想空間記録モジュール234による詳細な処理については後述する。

0084

仮想空間制御モジュール230は、仮想空間2に配置されるオブジェクトのそれぞれが、他のオブジェクトと衝突した場合に、当該衝突を検出する。仮想空間制御モジュール230は、例えば、あるオブジェクトと、別のオブジェクトとが触れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行う。仮想空間制御モジュール230は、オブジェクトとオブジェクトとが触れている状態から離れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行う。仮想空間制御モジュール230は、例えばオブジェクト毎に設定されたコリジョンエリアに基づく公知の当たり判定を実行することにより、オブジェクトとオブジェクトとが触れている状態であることを検出することができる。

0085

メモリモジュール240は、コンピュータ200が仮想空間2をユーザ190に提供するために使用されるデータを保持している。ある局面において、メモリモジュール240は、コンテンツ情報241と、オブジェクト情報242と、ユーザ情報243とを保持している。

0086

コンテンツ情報241には、例えば、仮想空間2において再生されるコンテンツ、当該コンテンツで使用されるオブジェクトを配置するための情報等が含まれている。当該コンテンツは、例えば、ゲーム、現実社会と同様の風景を表したコンテンツ等を含み得る。具体的には、コンテンツ情報241は、仮想空間2の背景を規定する仮想空間画像データ(仮想空間画像22)と、仮想空間2に配置されるオブジェクトの定義情報とを含み得る。オブジェクトの定義情報は、オブジェクトを描画するための描画情報(例えば、オブジェクトの形状および色等のデザインを表す情報)、およびオブジェクトの初期配置を示す情報等を含み得る。また、予め設定された動作パターンに基づいて自律的に動作するオブジェクトの定義情報は、当該動作パターンを示す情報(プログラム等)を含み得る。予め定められた動作パターンに基づく動作の例としては、草を模したオブジェクトが一定のパターン揺れる動作のような単純な繰り返し動作が挙げられる。

0087

オブジェクト情報242には、仮想空間2に配置される各オブジェクトの状態(ゲームの進行およびユーザ190の操作等に応じて変化し得る状態)を示す情報が含まれている。具体的には、オブジェクト情報242は、各オブジェクトの位置(例えばオブジェクトに設定された重心の位置)を示す位置情報を含み得る。また、オブジェクト情報242は、変形可能なオブジェクトの動作を示す動き情報(すなわち、オブジェクトの形状を特定するための情報)をさらに含み得る。変形可能なオブジェクトの例としては、上述したアバターのように、頭部、胴体、および手等のパーツを有し、ユーザ190の動きに応じて各パーツを独立して動かすことが可能なオブジェクト等が挙げられる。

0088

ユーザ情報243には、例えば、HMDシステム100の制御装置としてコンピュータ200を機能させるためのプログラム、コンテンツ情報241に保持される各コンテンツを使用するアプリケーションプログラム等が含まれている。

0089

メモリモジュール240に格納されているデータおよびプログラムは、HMD装置110のユーザによって入力される。あるいは、プロセッサ10が、当該コンテンツを提供する事業者運営するコンピュータ(例えば、サーバ150)からプログラムあるいはデータをダウンロードして、ダウンロードされたプログラムあるいはデータをメモリモジュール240に格納する。

0090

通信制御モジュール250は、ネットワーク19を介して、サーバ150その他の情報通信装置と通信し得る。

0091

ある局面において、表示制御モジュール220および仮想空間制御モジュール230は、例えば、ユニティテクノロジーズ社によって提供されるUnity(登録商標)を用いて実現され得る。別の局面において、表示制御モジュール220および仮想空間制御モジュール230は、各処理を実現する回路素子の組み合わせとしても実現され得る。

0092

コンピュータ200における処理は、ハードウェアと、プロセッサ10により実行されるソフトウェアとによって実現される。このようなソフトウェアは、ハードディスクその他のメモリモジュール240に予め格納されている場合がある。また、ソフトウェアは、CD−ROMその他のコンピュータ読み取り可能な不揮発性データ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信制御モジュール250を介してサーバ150その他のコンピュータからダウンロードされた後、メモリモジュール240に一旦格納される。そのソフトウェアは、プロセッサ10によってメモリモジュール240から読み出され、実行可能なプログラムの形式でRAMに格納される。プロセッサ10は、そのプログラムを実行する。

0093

図9に示されるコンピュータ200を構成するハードウェアは、一般的なものである。したがって、本実施の形態に係る最も本質的な部分は、コンピュータ200に格納されたプログラムであるともいえる。なお、コンピュータ200のハードウェアの動作は周知であるので、詳細な説明は繰り返さない。

0094

なお、データ記録媒体としては、CD−ROM、FD(Flexible Disk)、ハードディスクに限られず、磁気テープカセットテープ光ディスク(MO(Magnetic Optical Disc)/MD(Mini Disc)/DVD(Digital Versatile Disc))、IC(IntegratedCircuit)カード(メモリカードを含む)、光カードマスクROMEPROM(Erasable Programmable Read-Only Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、フラッシュROMなどの半導体メモリ等の固定的にプログラムを担持する不揮発性のデータ記録媒体でもよい。

0095

ここでいうプログラムとは、プロセッサ10により直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含み得る。

0096

制御構造
図10を参照して、本実施の形態に係るコンピュータ200の制御構造について説明する。図10は、ユーザ190Aによって使用されるHMDシステム100Aがユーザ190Aに仮想空間2を提供するために実行する処理を表すフローチャートである。他のHMDシステム100B,100Cにおいても、同様の処理が実行される。

0097

ステップS1において、コンピュータ200のプロセッサ10は、仮想空間定義モジュール231として、仮想空間2の背景を構成する仮想空間画像データ(仮想空間画像22)を特定し、仮想空間2を定義する。

0098

ステップS2において、プロセッサ10は、仮想カメラ制御モジュール221として、仮想カメラ1を初期化する。例えば、プロセッサ10は、メモリのワーク領域において、仮想カメラ1を仮想空間2において予め規定された中心点に配置し、仮想カメラ1の視線をユーザ190が向いている方向に向ける。

0099

ステップS3において、プロセッサ10は、視界画像生成モジュール223として、初期の視界画像を表示するための視界画像データを生成する。生成された視界画像データは、視界画像生成モジュール223を介して通信制御モジュール250によってHMD装置110に送られる。

0100

ステップS4において、HMD装置110のディスプレイ112は、コンピュータ200から受信した信号に基づいて、視界画像を表示する。HMD装置110Aを装着したユーザ190Aは、視界画像を視認すると仮想空間2を認識し得る。

0101

ステップS5において、HMDセンサ120は、HMD装置110から発信される複数の赤外線光に基づいて、HMD装置110の位置および傾きを検知する。検知結果は、動き検知データとして、コンピュータ200に送られる。

0102

ステップS6において、プロセッサ10は、視界領域決定モジュール222として、HMD装置110Aの位置と傾きとに基づいて、HMD装置110Aを装着したユーザ190Aの視界方向(すなわち、仮想カメラ1の位置および傾き)を特定する。プロセッサ10は、アプリケーションプログラムを実行し、アプリケーションプログラムに含まれる命令に基づいて、仮想空間2にオブジェクトを配置する。

0103

ステップS7において、コントローラ160は、現実空間におけるユーザ190Aの操作を検出する。例えば、ある局面において、コントローラ160は、ユーザ190Aによってボタンが押下されたことを検出する。別の局面において、コントローラ160は、ユーザ190Aの両手の動作(たとえば、両手を振る等)を検出する。検出内容を示す信号は、コンピュータ200に送られる。

0104

ステップS8において、プロセッサ10は、チャット制御モジュール233として、他のHMDシステム100(ここではHMDシステム100B,100C)との間で、サーバ150を介してプレイヤ情報を送受信する。

0105

ステップS9において、プロセッサ10は、仮想オブジェクト制御モジュール232として、各ユーザ190のプレイヤ情報に基づいて、各ユーザに関連付けられたアバターの動作を制御する。

0106

ステップS10において、プロセッサ10は、視界画像生成モジュール223として、ステップS9の処理結果に基づく視界画像を表示するための視界画像データを生成し、生成した視界画像データをHMD装置110に出力する。

0107

ステップS11において、HMD装置110のディスプレイ112は、受信した視界画像データに基づいて視界画像を更新し、更新後の視界画像を表示する。

0108

ステップS5〜S11の処理は、定期的に繰り返し実行される。

0109

図11は、複数ユーザに共有される仮想空間2を模式的に表す図である。図11に示される例では、HMD装置110Aを装着するユーザ190Aに関連付けられたアバターA1と、HMD装置110Bを装着するユーザ190Bに関連付けられたアバターA2と、HMD装置110Cを装着するユーザ190Cに関連付けられたアバターA3とが、同一の仮想空間2に配置されている。このような複数ユーザに共通の仮想空間2によれば、各ユーザに対して、アバターA1〜A3を介した他のユーザとのチャット等のコミュニケーション体験を提供することができる。

0110

この例では、各アバターA1〜A3は、動物(、熊、うさぎ)を模したキャラクタオブジェクトとして定義されている。アバターA1〜A3は、ユーザの動きに連動して動作可能な部分として、頭部(顔の向き)、目(視線および瞬き等)、顔(表情)、および手を含んでいる。頭部は、HMDセンサ120等によって検出されたHMD装置110の動きに連動して動く部分である。目は、カメラ116および注視センサ140等によって検出されたユーザの目の動きおよび視線の変化に連動して動く部分である。顔は、後述するフェイストラッキングデータに基づいて決定される表情が反映される部分である。手は、モーションセンサ130等により検出されたユーザの手の動きに連動して動く部分である。また、アバターA1〜A3は、頭部および手に付随して表示される胴体部および腕部とを含んでいる。なお、から下の脚部については動作制御が複雑となるため、アバターA1〜A3は脚部を含んでいない。

0111

アバターA1の視野は、HMDシステム100Aにおける仮想カメラ1の視野と一致している。これにより、ユーザ190Aに対して、アバターA1の1人称視点における視界画像Mが提供される。すなわち、ユーザ190Aに対して、あたかも自分がアバターA1として仮想空間2に存在しているかのような仮想体験が提供される。図12は、HMD装置110Aを介してユーザ190Aに提供される視界画像Mの一例を表す図である。ユーザ190B,190Cに対しても同様に、アバターA2,A3の1人称視点における視界画像が提供される。

0112

図13は、仮想空間2におけるチャットを実現するためにHMDシステム100A、HMDシステム100B、HMDシステム100C、およびサーバ150が実行する処理を表すシーケンス図である。

0113

ステップS21Aにおいて、HMDシステム100Aにおけるプロセッサ10は、チャット制御モジュール233として、アバターA1の動作を決定するためのプレイヤ情報を取得する。プレイヤ情報には、アバターA1(あるいはアバターA1に関連付けられるユーザ190A)を特定する情報(ユーザID等)、およびアバターA1が存在する仮想空間2を特定する情報(ルームID等)等が含まれてもよい。プロセッサ10は、チャット制御モジュール233として、上述のように取得されたプレイヤ情報を、ネットワーク19を介してサーバ150に送信する。

0114

ステップS21Bにおいて、HMDシステム100Bにおけるプロセッサ10は、ステップS21Aにおける処理と同様に、アバターA2の動作を決定するためのプレイヤ情報を取得し、サーバ150に送信する。同様に、ステップS21Cにおいて、HMDシステム100Cにおけるプロセッサ10は、アバターA3の動作を決定するためのプレイヤ情報を取得し、サーバ150に送信する。

0115

ステップS22において、サーバ150は、HMDシステム100A、HMDシステム100B、およびHMDシステム100Cのそれぞれから受信したプレイヤ情報を一旦記憶する。サーバ150は、各プレイヤ情報に含まれるユーザIDおよびルームID等に基づいて、共通の仮想空間2に関連付けられた全ユーザ(この例では、ユーザ190A〜190C)のプレイヤ情報を統合する。そして、サーバ150は、予め定められたタイミングで、統合したプレイヤ情報を当該仮想空間2に関連付けられた全ユーザに送信する。これにより、同期処理が実行される。このような同期処理により、HMDシステム100A、HMDシステム100B、およびHMDシステム100Cは、互いのプレイヤ情報をほぼ同じタイミングで共有することができる。

0116

続いて、サーバ150から各HMDシステム100A〜100Cに送信されたプレイヤ情報に基づいて、各HMDシステム100A〜100Cは、ステップS23A〜S23Cの処理を実行する。なお、ステップS23Aの処理は、図10におけるステップS9の処理に相当する。

0117

ステップS23Aにおいて、HMDシステム100Aにおけるプロセッサ10は、仮想オブジェクト制御モジュール232として、仮想空間2におけるユーザ190A〜190CのアバターA1〜A3の動作を制御する。具体的には、プロセッサ10は、HMDシステム100Bから送信されたプレイヤ情報に含まれるユーザ190A〜190Cの動き検知データに基づいて、アバターA1〜A3の動作を制御する。ステップS23BおよびS23Cの処理は、ステップS23Aの処理と同様である。

0118

[記録データの保存および再生]
図14図18を参照して、記録データの保存および再生に関する処理手順を説明する。記録データは、所定の撮影期間における仮想空間2内の所定の指定位置からの全方位の映像である全方位動画(360度動画)を再生するためのデータである。

0119

まず、図14に示されるフローチャートを参照して、記録データの保存および再生に関する一連の処理手順を説明する。本実施形態では、記録データの保存および再生に関する処理がHMDシステム100Aにより実行されるものとして説明する。ただし、当該処理は、他のHMDシステム100B,100Cにより実行されてもよいし、当該処理の一部または全部がサーバ150によって実行されてもよい。

0120

ステップS31において、HMDシステム100Aのプロセッサ10(以下単に「プロセッサ10」)は、仮想空間定義モジュール231として、仮想空間2を定義する。当該処理は、図10のステップS1の処理に相当する。具体的には、プロセッサ10は、仮想空間2を定義する仮想空間データを生成することにより、仮想空間2を規定する。仮想空間データは、上述したコンテンツ情報241とオブジェクト情報242とを含む。

0121

ステップS32において、プロセッサ10は、HMD装置110Aの動きに応じて仮想空間2における仮想カメラ1の位置および傾きを決定する。当該処理は、図10のステップS6の処理の一部に相当する。

0122

ステップS33において、プロセッサ10は、視界画像M(図12参照)をユーザ190に提供する。具体的には、プロセッサ10は、HMD装置110Aの動き(すなわち仮想カメラ1の位置および傾き)と、仮想空間2を定義する仮想空間データと、に基づいて視界画像Mを生成し、HMD装置110Aのディスプレイ112に視界画像Mを表示させる。当該処理は、図10のステップS10の処理に相当する。

0123

続いて、プロセッサ10は、仮想空間記録モジュール234として、ステップS34〜S38の処理を実行する。ステップS34〜S37の処理は、記録データを保存するための処理であり、ステップS38の処理は、記録データを再生するための処理である。なお、上述したステップS32およびS33の処理(すなわち、HMD装置110Aの動きに応じた視界画像Mの更新)は、後述するステップS34〜S38が実行される間にも、継続して繰り返し実行される。

0124

ステップS34において、プロセッサ10は、開始条件の成立を検知する。開始条件とは、記録データの保存開始の契機として予め定められた条件である。例えば、プロセッサ10は、コントローラ160に対する入力操作、および視界画像に表示されるメニュー画面に対するユーザ操作等に基づいて、上記開始条件の成立を検知する。プロセッサ10は、開始条件の成立を検知すると、ステップS35に進み、記録データの保存を開始する。

0125

ステップS35において、プロセッサ10は、仮想空間2の状態を定義する仮想空間データに基づいて、仮想空間2の少なくとも一部を再現するための情報を取得する。より具体的には、プロセッサ10は、仮想空間2内の指定位置からの全方位の映像である全方位動画を再生するための情報を取得する。後述する第1の処理例では、指定位置は、基準位置RPに相当する。また、後述する第2の処理例では、指定位置は、事後的に選択される任意の位置に相当する。全方位動画を再生するための情報の詳細については、第1の処理例および第2の処理例の説明と共に後述する。

0126

ステップS36において、プロセッサ10は、終了条件が成立したか否かを判定する。終了条件とは、記録データの保存終了の契機として予め定められた条件である。例えば、プロセッサ10は、コントローラ160に対する入力操作、および視界画像に表示されるメニュー画面に対するユーザ操作等に基づいて、上記終了条件が成立したと判定する。終了条件が成立するまで、プロセッサ10は、ステップS35の処理を予め定められた時間間隔で定期的に実行する(ステップS36:NO→S35)。終了条件が成立した場合(ステップS36:YES)、プロセッサ10は、ステップS37に進む。

0127

ステップS37において、プロセッサ10は、開始条件が成立してから終了条件が成立するまでの撮影期間にステップS35で取得された情報を、記録データとして保存する。例えば、ステップS35で取得された各情報は、各情報が取得された時点(例えば取得時刻)を示す時間情報に関連付けられた上で、記録データとして保存される。記録データは、例えばメモリモジュール240に保存されてもよいし、複数のHMDシステム100間で共有されるために、サーバ150に送られ、サーバ150上で保存されてもよい。

0128

ステップS38において、プロセッサ10は、例えばユーザ190からの予め定められた再生指示操作を受け付けた場合に、ステップS37において記録された記録データを再生する。具体的には、プロセッサ10は、記録データに基づいて全方位動画を生成し、生成された全方位動画を仮想空間2内に設けられる仮想スクリーン上で再生する。例えば、仮想スクリーンは、天球状の仮想空間2の球面部分に設けられた複数のメッシュ(仮想空間画像22が表示される部分)により構成される。あるいは、仮想スクリーンは、仮想空間2内に生成されるオブジェクト(例えばプラネタリウムのようなドームスクリーン状のオブジェクト)であってもよい。

0129

[第1の処理例]
続いて、記録データの保存および再生の処理(図14のフローチャートの破線Tに囲まれた部分)の第1の処理例について説明する。第1の処理例では、録画データは、現実空間で360度カメラにより撮影されるデータと同様の映像データとして取得される。例えば、プロセッサ10は、仮想空間2内に設定された基準位置からの全方位画像を取得するために、当該基準位置を中心として予め定められた複数の方位の各々に対応する画像を取得する。各方位に対応する各画像は、上述した視界画像と同様の画像である。取得された複数の画像を公知のソフトウェア処理によってつなぎあわせることにより、1つの全方位画像が生成される。プロセッサ10は、このような全方位画像を生成するために必要となる複数の方位の各々に対応する画像を、仮想空間2における基準位置から視認可能な部分を再現するための情報として、定期的に取得する。上述した映像データは、このようにして定期的に取得された複数の画像によって構成され得る。このように、第1の処理例においては、あたかも仮想空間2内の基準位置に配置された仮想的な360度カメラによって撮影されたような映像データが、記録データとして取得される。

0130

図15に示されるフローチャートを参照して、上述した第1の処理例の一連の処理手順について説明する。ステップS41〜S44の処理は、図14のステップS35〜S37の処理に対応し、ステップS45の処理は、図14のステップS38の処理に対応する。

0131

ステップS41において、プロセッサ10は、仮想空間2内の基準位置を設定する。基準位置は、上述した仮想的な360度カメラの位置に相当する。図16は、基準位置RPの例(基準位置RP1〜RP3)を表す図である。

0132

図16の基準位置RP1のように、プロセッサ10は、HMD装置110Aの動きに連動する仮想カメラ1の位置を基準位置RP1として設定してもよい。この場合、仮想カメラ1が移動すると、基準位置RP1も仮想カメラ1と連動して移動する。このような基準位置RP1を設定した場合には、あるユーザ(この場合ユーザ190A)に提供される視界画像Mを含む全方位の映像データを取得することが可能となる。すなわち、あるユーザの過去の仮想体験を追体験できる映像データを取得することが可能となる。

0133

図16の基準位置RP2のように、プロセッサ10は、仮想空間2内の予め定められた固定点を基準位置RP2として設定してもよい。基準位置RP2は、デフォルト設定で定められていてもよいし、ユーザ操作等によって定められてもよい。図16の例のようにアバターA1〜A3を介したチャットが行われる場合には、基準位置RP2は、例えば全てのアバターA1〜A3の顔を映すことができる位置に設定される。この場合、アバターA1〜A3を介したユーザ間のチャットの様子を適切に捉えた映像データを取得することが可能となる。

0134

図16の基準位置RP3のように、プロセッサ10は、予め定められた移動パターンに基づいて基準位置RP3を移動させることにより、基準位置RP3を動的に設定してもよい。より具体的には、プロセッサ10は、移動パターンに基づいて生成されるルートRTに沿って、予め定められた速度で基準位置RP3を移動させてもよい。この場合、あたかも仮想的なカメラマンがルートRTに沿って移動しながら撮影したような映像データを取得することが可能となる。例えば、ルートRTは、予め用意された複数のモードのうちユーザ190Aによって選択されたモードに従って生成される。モードは、基準位置RP3の移動パターン(すなわちルートRT)を決定する際の基準となるルールを示す情報である。モードの具体例としては、発言量の多いユーザ190に関連付けられたアバターを優先的に写すことを定めたモード、各アバターをなるべく均等に写すことを定めたモード等が挙げられる。前者のモードが利用される場合、例えば、プロセッサ10は、複数のユーザ190の各々の音声データに基づいて最も発言量の多いユーザ190を特定し、特定されたユーザ190のアバターから一定範囲内のエリアに基準位置RP3が含まれるように、ルートRTを決定する。例えば、プロセッサ10は、各モードに対応して予め用意されたプログラム(メモリモジュール240に格納されたプログラム)を実行することにより、各モードに応じたルートRTを生成する。

0135

また、モードは、ユーザ190Aによる選択ではなく、公知の機械学習により生成された判定モデルにより決定されてもよい。このような判定モデルは、例えば以下の処理によって生成され得る。すなわち、サーバ150は、各HMDシステム100において記録データの録画を行う際にユーザ190が選択したモードと、当該ユーザ190の特徴を表す属性情報とを関連付けた正解データ一定期間収集する。属性情報は、例えば予めHMDシステム100に登録されたユーザ190の性別年齢趣味等である。サーバ150は、収集された正解データを用いて公知の機械学習を実行することにより、判定モデルを生成する。この判定モデルは、ユーザの属性情報を説明変数として入力し、当該属性情報を有するユーザによって選択され易いと想定されるモードを目的変数として出力するプログラムである。そして、各HMDシステム100は、サーバ150によって生成された判定モデルをダウンロードし、メモリモジュール240に保持する。このような構成によれば、プロセッサ10は、ユーザ190Aの属性情報を判定モデルに入力することで得られたモードに基づいて、ルートRTを生成することができる。ユーザ190Aの属性情報は、例えばメモリモジュール240等に予め保持され得る。

0136

ステップS42において、プロセッサ10は、基準位置RPを中心とした全方位の映像を撮影する。すなわち、プロセッサ10は、基準位置RPからの複数の方位の各々に対応する画像を取得する。

0137

ステップS43において、プロセッサ10は、上述した終了条件が成立したか否かを判定する。終了条件が成立するまで、プロセッサ10は、ステップS41およびS42の処理を定期的に実行する(ステップS43:NO→S41→S42)。ただし、固定点である基準位置RP2が設定される場合には、基準位置RP2の更新は不要であるため、プロセッサ10は、ステップS41の処理を省略してもよい。終了条件が成立した場合(ステップS43:YES)、プロセッサ10は、ステップS44に進む。

0138

ステップS44において、プロセッサ10は、開始条件が成立してから終了条件が成立するまでの撮影期間にステップS42で撮影された映像(複数の画像)から構成される映像データを、記録データとして保存する。

0139

ステップS45において、例えばユーザ190からの予め定められた再生指示操作を受け付けた場合に、プロセッサ10は、ステップS44において記録された記録データを再生する。具体的には、プロセッサ10は、記録データに基づいて全方位動画を生成する。第1の処理例では記録データは上述した映像データであるため、プロセッサ10は、当該映像データをそのまま全方位動画として扱うことができる。そして、プロセッサ10は、当該全方位動画を仮想スクリーン上で再生する。例えば、プロセッサ10は、全方位動画に含まれる各方位に対応する映像を、仮想スクリーン上の対応領域(例えば対応するメッシュ)に割り当てて表示する。

0140

第1の処理例によれば、現実空間における360度カメラによる撮影と同様に、仮想空間2内の基準位置RPを中心位置とする360度動画を再生するための映像データを記録データとして保存することができる。

0141

[第2の処理例]
続いて、記録データの保存および再生の処理(図14のフローチャートの破線Tに囲まれた部分)の第2の処理例について説明する。第2の処理例では、録画データは、コンテンツ情報241と、撮影期間におけるオブジェクト情報242(各オブジェクトの位置情報および各変形オブジェクトの動き情報)とを含む。撮影期間におけるオブジェクト情報242とは、撮影期間を予め定められた時間間隔で区切った各時点の状態を示すオブジェクト情報242である。

0142

プロセッサ10は、変形オブジェクトの動き情報として、変形オブジェクトの予め定められた複数の部分の位置を示す情報を取得してもよい。変形オブジェクトの予め定められた複数の部分は、当該変形オブジェクトの形状および姿勢を特定するために必要なポイントとして予め設定された部分である。例えば、変形オブジェクトがアバターである場合、上記複数の部分は、アバターの関節に相当する部分を含み得る。

0143

図17を参照して、上記複数の部分の例を説明する。図17は、アバターA2に設定された複数の部分Pの例を表す図である。この場合、プロセッサ10は、オブジェクト(アバターA2)の形状および姿勢を特定するために必要となる複数(ここでは11個)の部分Pの位置情報(例えば仮想空間2のXYZ座標における座標値)を、動き情報として取得してもよい。各部分Pの位置に基づいて隣接する部分P同士を接続するボーン(骨)の位置および姿勢が特定され、特定された個々のボーンの位置および姿勢に基づいて変形オブジェクトの骨格が特定される。特定された骨格の上に肉付けを行う(変形オブジェクトの定義情報に含まれる外観デザインを適用する)ことにより、変形オブジェクトの形状および姿勢を再現することができる。すなわち、プロセッサ10は、変形オブジェクトの定義情報(描画情報等)と動き情報とに基づいて、当該変形オブジェクトの動作(形状および姿勢)を特定することができる。このように、変形オブジェクトの具体的な外観デザインを含むデータ(画像データ等)ではなく、比較的データ量の少ない変形オブジェクトの一部(部分P)の位置情報を動き情報として利用することにより、動き情報のデータ量を抑えることができる。

0144

図18に示されるフローチャートを参照して、上述した第2の処理例の一連の処理手順について説明する。ステップS51〜S54の処理は、図14のステップS35〜S37の処理に対応し、ステップS55の処理は、図14のステップS38の処理に対応する。

0145

ステップS51において、プロセッサ10は、コンテンツ情報241を取得する。ステップS52において、プロセッサ10は、オブジェクト情報242(各オブジェクトの位置情報および各変形オブジェクトの動き情報)を取得する。

0146

ステップS53において、プロセッサ10は、上述した終了条件が成立したか否かを判定する。終了条件が成立するまで、プロセッサ10は、ステップS52の処理を定期的に実行する(ステップS53:NO→S52)。これにより、撮影期間に含まれる各時点において、仮想空間2に配置されたオブジェクトの位置情報と、変形オブジェクトの動き情報と、が取得される。終了条件が成立した場合(ステップS53:YES)、プロセッサ10は、ステップS54に進む。

0147

ステップS54において、プロセッサ10は、ステップS51で取得されたコンテンツ情報241と、撮影期間中にステップS52で取得されたオブジェクト情報242(各オブジェクトの位置情報および各変形オブジェクトの動き情報)とを、記録データとして保存する。

0148

ステップS55において、例えばユーザ190Aからの予め定められた再生指示操作を受け付けた場合に、プロセッサ10は、ステップS54において記録された記録データを再生する。具体的には、プロセッサ10は、記録データに含まれるコンテンツ情報241およびオブジェクト情報242(各オブジェクトの位置情報および各変形オブジェクトの動き情報)に基づいて、撮影期間における仮想空間2(すなわち仮想空間2の状態)を特定する。そして、プロセッサ10は、特定された仮想空間2における所定の視点位置からの全方位の映像である全方位動画を生成する。所定の視点位置は、仮想空間2内の任意の位置であり、例えばユーザ190Aによって選択された位置である。

0149

より具体的には、プロセッサ10は、内部的に再現された撮影期間に含まれる各時点の仮想空間2について、所定の視点位置からの複数の方位の各々に対応する画像を取得する。そして、プロセッサ10は、取得された複数の画像を公知のソフトウェア処理によってつなぎあわせることにより、各時点の全方位画像(所定の視点位置を中心とした全方位画像)を生成する。プロセッサ10は、このようにして生成される各時点の全方位画像を時系列に並べることにより、全方位動画を生成することができる。そして、プロセッサ10は、このようにして生成された全方位動画を仮想スクリーン上で再生する。

0150

第2の処理例によれば、記録データに基づいて撮影期間における仮想空間2を内部的に再現することができる。これにより、ユーザ190A(すなわちアバターA1)が内部的に再現された過去の仮想空間2内の所定の視点位置に存在していた場合に視認可能であった風景(アバターA1の頭部を水平方向に沿って360度回すことにより視認可能であった風景)を、ユーザ190Aに全方位動画として提供することができる。

0151

補足すると、第1の処理例では、仮想空間2における基準位置RPから視認できない部分に関する情報は記録データとして記録されないため、当該部分を全方位動画として再生することはできない。一方、第2の処理例では、撮影期間における仮想空間データ(コンテンツ情報241およびオブジェクト情報242)に基づいて過去の仮想空間2の全体を3次元的に再現可能であるため、過去の仮想空間2内の任意の位置からの全方位動画を生成および再生することができる。このため、第2の処理例によれば、ユーザ190Aは、過去の仮想体験時の視点とは異なる視点からも過去の仮想体験を振り返ることができる。

0152

例えば、仮想体験を行っているユーザ190Aの現時点の仮想カメラ1の位置が、上述した所定の視点位置として設定されてもよい。この場合、全方位動画の再生中に仮想カメラ1の位置が移動した場合には、ユーザ190Aに提供される全方位動画の中心位置も、仮想カメラ1の移動に応じて変更されてもよい。このような構成によれば、ユーザ190Aは、現時点の仮想空間2内を移動することにより、あたかも過去の仮想空間2内を同じように移動しているかのような風景の変化を、仮想スクリーン上に再生される全方位動画を通じて楽しむことができる。また、他のユーザ190B,190Cに対しても、同様に処理された全方位動画が提供されてもよい。すなわち、各ユーザ190A〜190Cの仮想カメラの位置に応じて、ユーザ毎に異なる全方位動画が生成および再生されてもよい。このような構成によれば、他のユーザ190B,190Cにも、仮想スクリーン上に再生される全方位動画を通じて、ユーザ190Aと同様の楽しみ方を提供することができる。

0153

[2次元画像データの抽出および編集
第2の処理例においては、2次元画像データの抽出および編集を行うこともできる。2次元画像データは、例えば現実世界における写真のように、ある時点における仮想空間2の状態を2次元画像として記録したデータである。2次元画像データは、仮想空間2における所定位置から見た仮想空間2の一部に相当する。例えば、2次元画像データは、現実世界における写真を模した持ち運び可能な表示オブジェクトとして生成され得る。この場合、例えば複数のユーザ間で2次元画像データを見せ合ったりすることが可能となる。また、2次元画像データは、インターネット等を介して他のシステム(例えばSNS(Social Networking Service)サイト等)にアップロード可能とされてもよい。この場合、仮想空間2内で撮影された2次元画像データをSNSサイト等に投稿すること等が可能となり、仮想空間2における過去の体験を現実空間で他のユーザと共有するといった楽しみ方が可能となる。

0154

なお、第1の処理例においても、生成された全方位動画から特定の位置および方位に対応する2次元画像を抽出することにより、2次元画像データを生成し得る。しかし、第1の処理例では、記録データは基準位置から視認可能な対象のみを写した映像データであるため、当該基準位置から視認可能な範囲の2次元画像データしか抽出できない。また、第1の処理例では、2次元画像データ内に配置されたオブジェクトの位置等を自由に編集することが困難である。例えば、オブジェクトの位置をずらす編集処理を行う場合、元々オブジェクトが写っていた部分に対応するデータ(すなわち、当該オブジェクトによって隠されていた背景等のデータ)が記録データに含まれていないため、当該部分に対応するデータを何らかの方法で補う必要がある。このように、第1の処理例においては、現実空間において撮影された動画から静止画を抽出したり、抽出された静止画を編集したりする場面と同様の制約が課される。一方、第2の処理例では、過去の仮想空間2の状態を3次元的に再現可能な記録データが取得されているため、仮想空間2内の任意の対象を任意の方向から捉えた2次元画像データを生成することができる。また、上述のような編集作業を行う場合でも、元々オブジェクトが写っていた部分に対応するデータを記録データから取得することができる。したがって、第2の処理例によれば、第1の処理例のような現実世界と同様の制限を受けることなく、自由度の高い2次元画像データを生成することができる。

0155

図19に示されるフローチャートを参照して、上述した2次元画像データの抽出および編集に関する一連の処理手順について説明する。プロセッサ10は、仮想空間記録モジュール234として、ステップS61〜S66の処理を実行する。

0156

ステップS61において、プロセッサ10は、ユーザ190Aから仮想空間2内における視点情報を取得する。視点情報は、仮想空間2内における視界領域を特定するための情報であり、例えば仮想空間2内における位置および傾きを示す情報である。仮想カメラ1の位置および傾きを示す情報は、視点情報の一種である。プロセッサ10は、視点情報に基づいて、当該視点情報に対応する視界領域(以下「特定視界領域」)を特定する。特定視界領域は、例えば図6および図7に示される視界領域23と同様の領域である。

0157

ステップS62において、プロセッサ10は、処理対象となる記録データに基づいて過去の撮影期間における仮想空間2の状態(オブジェクトの配置および動作等)を内部的に再現する。そして、プロセッサ10は、内部的に再現された過去の仮想空間2のうち特定視界領域と重なる部分を、プレビュー表示する。例えば、プロセッサ10は、内部的に再現された過去の仮想空間2と特定視界領域とに基づいて暫定的な2次元画像データを決定する。当該2次元画像データは、視界領域23に基づいてユーザ190Aに提供される視界画像を決定する処理と同様の処理によって決定される。そして、プロセッサ10は、決定された2次元画像データを仮想空間2内でプレビュー表示する。本実施形態では、プロセッサ10は、2次元画像データを表す表示オブジェクトDを仮想空間2内に生成する。

0158

図20は、仮想空間2内に配置された表示オブジェクトDの一例を表す図である。表示オブジェクトDは、2次元画像データに基づいて生成された画像(テクスチャ)が表面に貼られたオブジェクトである。表示オブジェクトDが仮想空間2に配置されることにより、仮想空間2を共有する複数のユーザ190(この例では、アバターA1,A2に対応するユーザ190A,190B)は、仮想空間2内において2次元画像データの内容を一緒に確認することができる。表示オブジェクトDは、仮想空間2内の所定の位置に固定されたオブジェクトであってもよいし、移動可能なオブジェクトであってもよい。後者の例としては、アバターを介して持ち運び可能な写真を模したオブジェクト等が挙げられる。

0159

ステップS63において、プロセッサ10は、ユーザ190からの編集要求を受け付けられるように待機する。例えば、編集要求は以下のようなユーザ操作によって入力され得る。

0160

すなわち、プロセッサ10は、仮想オブジェクト制御モジュール232として、手オブジェクトを介した表示オブジェクトDに対する入力を受け付ける。具体的には、プロセッサ10は、2次元画像データの内容を変更するためのユーザ190からの入力を受け付ける。例えば、被写体であるオブジェクト(例えばアバター)同士の距離が遠すぎる、オブジェクト同士が重なっている、木等のオブジェクトが構図を悪くしているといったように、2次元画像データの構図に改善の余地がある場合がある。このような場合に、ユーザ190は、操作オブジェクト(手オブジェクトまたは手オブジェクトに関連付けられたオブジェクト)を介した表示オブジェクトDに対する入力操作により、2次元画像データ内のオブジェクトの位置等を変更することが可能となっている。具体的には、タッチパネルに対してドラッグ操作を行うような感覚で、表示オブジェクトDに対する操作を行うことが可能となっている。

0161

図21の状態(A)は、表示オブジェクトに対する入力操作の一例を示す。まず、変形しないオブジェクト(以下「非変形オブジェクト」)F1,F2,F3に対する操作例について説明する。ここでは一例として、非変形オブジェクトF1に対する操作例について説明する。例えば、手オブジェクトHが表示オブジェクトDに表示された非変形オブジェクトF1に一定距離以下まで近づくと、プロセッサ10は、手オブジェクトHと非変形オブジェクトF1との接触を検知する。そして、プロセッサ10は、手オブジェクトHと非変形オブジェクトF1とが接触した状態のまま手オブジェクトHが移動した場合に、非変形オブジェクトF1を移動させる移動操作を検知し、その移動量(例えばベクトル)を示す情報を編集情報として取得する。

0162

次に、変形オブジェクトであるアバターA2,A3に対する操作例について説明する。ここでは一例として、アバターA3に対する操作例について説明する。変形オブジェクトであるアバターA3に対しては、非変形オブジェクトF1を移動させる操作と同様の移動操作以外に、アバターA3を変形させる操作が可能である。例えば、プロセッサ10は、表示オブジェクトDに表示されたアバターA3の複数の部分Pのいずれかを操作対象として選択する操作を、ユーザ190から受け付ける。そして、プロセッサ10は、手オブジェクトHと選択された部分Pとが接触した状態のまま手オブジェクトHが移動した場合に、当該部分Pを移動させる変形操作を検知し、その移動量(例えばベクトル)を示す情報を編集情報として取得する。

0163

なお、表示オブジェクトDに表示されたオブジェクトに対する操作は、手オブジェクトHによって直接行われてもよいし、手オブジェクトHに関連付けられたオブジェクト(例えばタッチペン等を模したオブジェクト等)によって行われてもよい。

0164

ユーザ190からの編集要求を受け付けなかった場合(ステップS63:NO)、ステップS64において、プロセッサ10は、表示オブジェクトDにプレビュー表示された通りの2次元画像データを抽出する。

0165

一方、ユーザ190からの編集要求を受け付けた場合(ステップS63:YES)、ステップS65において、プロセッサ10は、ユーザ190からの編集情報を受け付ける。編集情報は、記録データの一部(本実施形態では、オブジェクトの位置情報または変形オブジェクトの動き情報)を再定義するための情報である。再定義とは、既に定義されているデータの内容を異なる内容に書き換えることである。

0166

ステップS66において、プロセッサ10は、記録データおよび編集情報に基づいて特定される撮影期間における仮想空間2のうち、特定視界領域(ユーザ190により指定された視点情報に基づいて決定される領域)に基づいて特定される部分を2次元画像データとして抽出する。より具体的には、プロセッサ10は、編集情報に基づいて再定義された記録データに基づいて、仮想空間2の状態(オブジェクトの配置および動作等)を内部的に再現する。そして、プロセッサ10は、内部的に再現された仮想空間2と特定視界領域とに基づいて2次元画像データを抽出する。これにより、編集後の状態を反映した2次元画像データが得られる。

0167

編集情報に基づく記録データの一部(オブジェクトの位置情報または変形オブジェクトの動き情報)の再定義に関するいくつかの例について、以下説明する。

0168

表示オブジェクトDに表示された非変形オブジェクトを移動させる操作がされた場合、上述したように、プロセッサ10は、その移動量を示す情報を編集情報として取得する。この場合、プロセッサ10は、2次元画像データに関連付けられた仮想空間データのうち操作対象とされた非変形オブジェクトの位置情報を、上記移動量に基づいて再定義する。すなわち、プロセッサ10は、当該非変形オブジェクトの元の位置から上記移動量だけ移動した後の位置(例えばXYZ座標値)を、当該非変形オブジェクトの新たな位置情報として再定義する。

0169

表示オブジェクトDに表示された変形オブジェクトを移動させる操作がされた場合、上述したように、プロセッサ10は、その移動量を示す情報を編集情報として取得する。この場合、プロセッサ10は、上述同様の処理により、2次元画像データに関連付けられた仮想空間データのうち操作対象とされた変形オブジェクトの位置情報を、上記移動量に基づいて再定義する。なお、変形オブジェクト自体を移動させる場合、変形オブジェクトの複数の部分Pの各々の位置も同様に移動させる必要がある。このため、プロセッサ10は、当該変形オブジェクトの動き情報についても、上記移動量に基づいて再定義する。具体的には、プロセッサ10は、当該変形オブジェクトの動き情報に含まれる複数の部分Pの各々の位置情報を、上記移動量に基づいて再定義する。

0170

表示オブジェクトDに表示された変形オブジェクトの一部(部分P)を移動させる操作(すなわち変形オブジェクトを変形させる操作)がされた場合、上述したように、プロセッサ10は、その移動量を示す情報を取得する。ここで、部分Pはアバターの関節に相当する部分であり、各部分Pはボーン(骨)により互いに連結されている。したがって、一の部分Pの位置を変化させた場合、その影響を受けて他の部分Pの位置も変化し得る。一の部分Pの位置の変化が他の部分Pの位置に与える影響は、複数の部分Pとそれらを結合するボーンとを含むスケルトンモデルについて予め定められた計算を実行することにより求められる。プロセッサ10は、このような計算を実行することにより、操作対象とされた変形オブジェクトの部分Pを上記移動量だけ移動させた場合に影響を受ける他の部分Pの移動量を算出する。そして、プロセッサ10は、操作対象とされた変形オブジェクトの動き情報のうち操作対象とされた部分Pの位置情報を、上記移動量に基づいて再定義する。また、プロセッサ10は、影響を受ける他の部分Pの位置情報についても、上記算出された移動量に基づいて再定義する。

0171

図21の状態(B)は、表示オブジェクトDに表示された編集後の2次元画像データの例を表している。この例では、非変形オブジェクトF1,F2,F3は、当初位置よりも全体的に右側に移動している。また、変形オブジェクトであるアバターA3は、当初位置よりもアバターA2の近くに移動すると共に、右手部分の形状が手を挙げている状態から手を下した状態に変更されている。

0172

以上説明した第1の処理例および第2の処理例によれば、各ユーザ190A〜190Cに、仮想空間2内において過去の仮想体験(撮影期間における仮想空間2の状態)を振り返る体験を提供することができる。このような振り返り体験を提供することにより、各ユーザ190A〜190Cの仮想体験のエンタテイメント性を向上させることができる。特に第2の処理例では、撮影期間における仮想空間データを記録データとして保存することにより、当該記録データに基づいて過去の仮想空間2を3次元的に再現することが可能となる。その結果、任意の視点位置から過去の仮想体験を振り返る機能をユーザ190に提供することが可能となる。また、ユーザ190の好みの構図の2次元画像データを生成する機能をユーザ190に提供することも可能となる。

0173

以上、本開示の実施形態について説明したが、本発明の技術的範囲は、本実施形態の説明によって限定的に解釈されるべきではない。本実施形態は一例であって、特許請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は、特許請求の範囲に記載された発明の範囲およびその均等の範囲に基づいて定められるべきである。

0174

例えば、上記実施形態では2次元画像データの編集の例として、オブジェクトの配置変更について説明したが、2次元画像データに対して可能な編集処理は上記例に限られない。例えば、仮想空間データに新たなオブジェクトに関する情報(コンテンツ情報または動き情報)を追加してもよい。これにより、実際には存在していなかったオブジェクトを被写体として含んだ2次元画像データが得られる。

0175

また、上述した第1の処理例と第2の処理例とは、適宜切り替えられてもよいし、適宜組み合わせられて併用されてもよい。また、オブジェクトの位置が初期位置から変形されない場合には、記録データは、オブジェクトの位置情報を含まなくてもよい。

0176

また、本実施形態においてHMDシステム100のプロセッサ10が実行するものとして説明した各処理は、HMDシステム100のプロセッサ10ではなく、サーバ150が備えるプロセッサによって実行されてもよいし、プロセッサ10とサーバ150とによって分散して実行されてもよい。

0177

また、本実施形態においては、HMD装置110によってユーザ190が没入する仮想空間(VR空間)を例示して説明したが、HMD装置110として、透過型のHMD装置を採用してもよい。この場合、透過型のHMD装置を介してユーザ190が視認する現実空間に、仮想空間を構成する画像の一部が視界画像として重畳されるように視界画像を出力することにより、拡張現実(AR:Augumented Reality)空間または複合現実MR:Mixed Reality)空間における仮想体験をユーザ190に提供してもよい。この場合、仮想空間2内における操作オブジェクト(例えば手オブジェクトH)に代えて、現実空間におけるユーザ190の手の動きに基づいて、仮想空間2内における対象オブジェクト(例えば表示オブジェクトD)への作用を生じさせてもよい。具体的には、プロセッサ10は、現実空間におけるユーザ190の手の位置の座標情報を特定するとともに、仮想空間2内における対象オブジェクトの位置を現実空間における座標情報との関係で定義してもよい。これにより、プロセッサ10は、現実空間におけるユーザ190の手と仮想空間2における対象オブジェクトとの位置関係を把握し、ユーザ190の手と対象オブジェクトとの間で上述した当たり判定等に対応する処理を実行可能となる。その結果、ユーザ190の手の動きに基づいて対象オブジェクトに作用を与えることが可能となる。

0178

本明細書に開示された主題は、例えば、以下のような項目として示される。
(項目1)
表示部(ディスプレイ112)を備えるユーザ端末(HMD装置110)を介してユーザ190に仮想体験を提供するためにコンピュータ(コンピュータ200またはサーバ150が備えるコンピュータ)によって実行される情報処理方法であって、
前記仮想体験を提供するための仮想空間2を定義する仮想空間データを生成するステップ(図10のS1)と、
前記ユーザ端末の動きと、前記仮想空間データと、に基づいて視界画像Mを生成し、前記表示部に前記視界画像Mを表示させるステップ(図10のS10)と、
前記仮想空間データに基づいて、所定の撮影期間における前記仮想空間2内の指定位置からの全方位の映像である全方位動画を再生するための記録データを保存するステップ(図14のS37,図15のS44,図18のS54)と、
を含み、
前記記録データは、前記仮想空間2を定義するためのコンテンツ情報と、前記ユーザ190による作用に応じて変形可能な変形オブジェクトの動作を示す動き情報と、を含む、
情報処理方法。
本項目の情報処理方法によれば、仮想空間2内において過去の仮想体験(過去の所定期間における仮想空間2の状態)を振り返る体験をユーザ190に提供することが可能となる。これにより、ユーザ190の仮想体験のエンタテイメント性を向上させることができる。
(項目2)
前記記録データに基づいて、前記全方位動画を前記仮想空間内で再生するステップ(図14のS38,図15のS45,図18のS55)をさらに含み、
前記再生するステップにおいて、前記コンテンツ情報および前記動き情報に基づいて前記撮影期間における前記仮想空間2を特定し、特定された前記仮想空間2における所定の視点位置からの全方位の映像である前記全方位動画を生成する、
項目1の情報処理方法。
本項目の情報処理方法によれば、所定の視点位置からの全方位動画を仮想空間2内で再生することができる。
(項目3)
前記コンテンツ情報は、前記仮想空間2の背景を規定する背景画像データと、各オブジェクトの定義情報と、を含み、
前記コンテンツ情報に含まれる前記変形オブジェクトの定義情報と、前記変形オブジェクトの前記動き情報とに基づいて、前記全方位動画における前記変形オブジェクトの動作を特定し、特定された前記変形オブジェクトの動作と前記背景画像データとに基づいて、前記全方位動画を生成する、
項目2の情報処理方法。
本項目の情報処理方法によれば、撮影期間における仮想空間2が撮影された全方位動画を生成するにあたって、変形オブジェクトの動作(形状および姿勢等)を、変形オブジェクトの定義情報と動き情報とに基づいて特定することができる。
(項目4)
前記視界画像は、前記ユーザ端末の動きに応じて決定される前記仮想空間2内の仮想カメラ1の位置および傾きに基づいて生成され、
前記仮想カメラ1の位置が、前記視点位置として設定される、
項目2または3の情報処理方法。
本項目の情報処理方法によれば、ユーザ190は、現時点の仮想空間2内を移動することにより、あたかも過去の仮想空間2内を同じように移動しているかのような風景の変化を、仮想スクリーン上に再生される全方位動画を通じて楽しむことが可能となる。
(項目5)
前記動き情報は、前記変形オブジェクトの予め定められた複数の部分Pの位置を示す情報である、
項目1〜4のいずれかの情報処理方法。
本項目の情報処理方法によれば、動き情報のデータ量を抑えることができる。
(項目6)
前記仮想空間2内における視点情報を前記ユーザ190から受け付けるステップ(図19のS61)と、
前記記録データに基づいて特定される前記撮影期間における前記仮想空間のうち、前記視点情報に基づいて特定される部分を2次元画像データとして抽出するステップ(図19のS64)と、
をさらに含む、
項目1〜5のいずれかの情報処理方法。
本項目の情報処理方法によれば、記録された仮想空間2(撮影期間における仮想空間2)内の任意の視点位置からの2次元画像データを抽出する仮想体験が可能となり、ユーザ190の仮想体験をよりリッチにし得る。
(項目7)
前記記録データを再定義するための編集情報を前記ユーザ190から受け付けるステップ(図19のS65)と、
前記記録データおよび前記編集情報に基づいて特定される前記撮影期間における前記仮想空間2のうち、前記視点情報に基づいて特定される部分を前記2次元画像データとして抽出するステップ(図19のS66)と、
をさらに含む、
項目6の情報処理方法。
本項目の情報処理方法によれば、ユーザ190の好みの構図の2次元画像データを生成する機能をユーザ190に提供することが可能となる。
(項目8)
前記仮想空間2内の基準位置RPを設定するステップ(図15のS41)をさらに含み、
前記保存するステップにおいて、前記撮影期間における前記基準位置RPからの全方位の映像が記録された映像データを、前記記録データとして保存する、
項目1〜7のいずれかの情報処理方法。
本項目の情報処理方法によれば、現実空間における360度カメラによる撮影と同様に、仮想空間2内の基準位置RPを中心位置とする映像データを記録データとして保存することができる。
(項目9)
前記基準位置RPは、予め用意された複数のモードのうちから前記ユーザ190によって選択されたモードに基づいて設定され、
前記モードは、前記基準位置RPの移動パターンを決定する際の基準となるルールを示す情報である、
項目8の情報処理方法。
本項目の情報処理方法によれば、仮想的なカメラマンが移動パターンに基づくルートに沿って移動しながら撮影したような映像データを取得することが可能となる。
(項目10)
前記複数のモードは、発言量の多いユーザ190に関連付けられたキャラクタオブジェクト(アバター)が優先的に映されるように前記基準位置RPを移動させる移動パターンに対応するモードを含む、
項目9の情報処理方法。
本項目の情報処理方法によれば、仮想空間2内で盛り上がっている場所を優先的に映すモードをユーザ190に提供することができる。
(項目11)
前記コンピュータは、判定モデルを格納しており、
前記判定モデルは、複数のユーザ190の各々が選択した前記モードと、当該ユーザ190の属性情報と、に基づいて生成され、
前記モードは、前記仮想空間2に関連付けられた前記ユーザ190の属性情報と前記判定モデルとに基づいて特定され、
前記基準位置RPは、特定された前記モードに基づいて設定される、
項目9または10の情報処理方法。
本項目の情報処理方法によれば、例えば機械学習によって生成された判定モデルを用いることにより、ユーザ190に適したモードを自動的に選択することができる。
(項目12)
項目1〜11のいずれかの情報処理方法をコンピュータに実行させる、プログラム。
(項目13)
少なくともメモリ(メモリモジュール240)と、前記メモリに結合されたプロセッサ(プロセッサ10)とを備え、前記プロセッサの制御により項目1〜11のいずれかの情報処理方法を実行する、装置。

0179

1…仮想カメラ、2…仮想空間、5…基準視線、10…プロセッサ、11…メモリ、12…ストレージ、13…入出力インターフェース、14…通信インターフェース、15…バス、19…ネットワーク、21…中心、22…仮想空間画像、23…視界領域、24,25…領域、31…フレーム、32…天面、33,34,36,37…ボタン、35…赤外線LED、38…アナログスティック、100,100A,100B,100C…HMDシステム、110,110A,110B,110C…HMD装置、112…ディスプレイ、114…センサ、116…カメラ、118…マイク、120…HMDセンサ、130…モーションセンサ、140…注視センサ、150…サーバ、160…コントローラ、160R…右コントローラ、190,190A,190B,190C…ユーザ、200…コンピュータ、220…表示制御モジュール、221…仮想カメラ制御モジュール、222…視界領域決定モジュール、223…視界画像生成モジュール、224…基準視線特定モジュール、230…仮想空間制御モジュール、231…仮想空間定義モジュール、232…仮想オブジェクト制御モジュール、233…チャット制御モジュール、234…仮想空間記録モジュール、240…メモリモジュール、241…コンテンツ情報、242…オブジェクト情報、243…ユーザ情報、250…通信制御モジュール、810…右手、A1,A2,A3…アバター、D…表示オブジェクト、F1,F2,F3…非変形オブジェクト、H…手オブジェクト、M…視界画像、P…部分、RP,RP1,RP2,RP3…基準位置、RT…ルート。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

新着 最近 公開された関連が強い 技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する挑戦したい社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ