図面 (/)

技術 情報処理装置、情報処理方法およびコンピュータプログラム

出願人 株式会社ソニー・インタラクティブエンタテインメント
発明者 奥村泰史村瀬ゆりか内田享佑
出願日 2018年2月15日 (2年2ヶ月経過) 出願番号 2018-024755
公開日 2019年8月22日 (8ヶ月経過) 公開番号 2019-139673
状態 未査定
技術分野 デジタル計算機のユーザインターフェイス イメージ処理・作成 電子ゲーム機
主要キーワード コンポーネント領域 回動態様 行列型 帽子型 視野制御 撮像対象画像 透過属性 フィードデータ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2019年8月22日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (17)

課題

VR画像視聴するユーザに斬新な視聴体験を提供する。

解決手段

情報処理装置200は、ヘッドマウントディスプレイ100に表示させる仮想空間の画像を取得する。情報処理装置200は、仮想空間における撮像対象領域を示す撮像装置オブジェクトを仮想空間に配置した表示用画像を生成し、表示用画像をヘッドマウントディスプレイ100に表示させる。情報処理装置200は、ユーザが把持するコントローラ姿勢の変化に応じて、仮想空間における撮像装置オブジェクトの姿勢を変化させた表示用画像であって、撮像装置オブジェクトが示す撮像対象領域を変化させた表示用画像を生成する。情報処理装置200は、撮像装置オブジェクトが示す撮像対象領域の画像を保存する。

概要

背景

ヘッドマウントディスプレイパノラマ画像を表示し、ヘッドマウントディスプレイを装着したユーザが頭部を回転させると視線方向に応じたパノラマ画像が表示されるようにしたシステムが開発されている。ヘッドマウントディスプレイを利用することで、仮想空間への没入感を高めることができる。

概要

VR画像視聴するユーザに斬新な視聴体験を提供する。情報処理装置200は、ヘッドマウントディスプレイ100に表示させる仮想空間の画像を取得する。情報処理装置200は、仮想空間における撮像対象領域を示す撮像装置オブジェクトを仮想空間に配置した表示用画像を生成し、表示用画像をヘッドマウントディスプレイ100に表示させる。情報処理装置200は、ユーザが把持するコントローラ姿勢の変化に応じて、仮想空間における撮像装置オブジェクトの姿勢を変化させた表示用画像であって、撮像装置オブジェクトが示す撮像対象領域を変化させた表示用画像を生成する。情報処理装置200は、撮像装置オブジェクトが示す撮像対象領域の画像を保存する。

目的

本発明はこうした課題に鑑みてなされたものであり、1つの目的は、VR画像を視聴するユーザに斬新な視聴体験を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

ヘッドマウントディスプレイに表示させる仮想空間の画像を取得する取得部と、前記仮想空間における撮像対象領域を示す撮像装置オブジェクトを前記仮想空間に配置した表示用画像を生成する画像生成部と、前記表示用画像を前記ヘッドマウントディスプレイに表示させる出力部と、撮像部と、を備え、前記画像生成部は、ユーザが把持するコントローラの位置または姿勢の変化に応じて、前記仮想空間における前記撮像装置オブジェクトの位置または姿勢を変化させた表示用画像であって、前記撮像装置オブジェクトが示す撮像対象領域を変化させた表示用画像を生成し、前記撮像部は、前記撮像装置オブジェクトが示す撮像対象領域の画像を保存することを特徴とする情報処理装置

請求項2

前記画像生成部は、前記コントローラに入力された操作に応じて、前記撮像装置オブジェクトが示す前記仮想空間における撮像対象拡大表示させ、前記撮像部は、前記撮像装置オブジェクトにおいて拡大表示された撮像対象の画像を保存することを特徴とする請求項1に記載の情報処理装置。

請求項3

前記撮像部により保存された画像を所定のサーバ登録することにより、他のユーザによる当該画像の閲覧を可能にする登録部をさらに備えることを特徴とする請求項1または2に記載の情報処理装置。

請求項4

前記登録部は、前記仮想空間のコンテンツを説明するデータを自動生成し、そのデータを前記撮像部により保存された画像とともに前記サーバに登録することを特徴とする請求項3に記載の情報処理装置。

請求項5

ヘッドマウントディスプレイに表示させる仮想空間の画像を取得するステップと、前記仮想空間における撮像対象領域を示す撮像装置オブジェクトを前記仮想空間に配置した表示用画像を生成するステップと、前記表示用画像を前記ヘッドマウントディスプレイに表示させるステップと、をコンピュータが実行し、前記生成するステップは、ユーザが把持するコントローラの位置または姿勢の変化に応じて、前記仮想空間における前記撮像装置オブジェクトの位置または姿勢を変化させた表示用画像であって、前記撮像装置オブジェクトが示す撮像対象領域を変化させた表示用画像を生成し、前記撮像装置オブジェクトが示す撮像対象領域の画像を保存するステップを前記コンピュータがさらに実行することを特徴とする情報処理方法

請求項6

ヘッドマウントディスプレイに表示させる仮想空間の画像を取得する機能と、前記仮想空間における撮像対象領域を示す撮像装置オブジェクトを前記仮想空間に配置した表示用画像を生成する機能と、前記表示用画像を前記ヘッドマウントディスプレイに表示させる機能と、をコンピュータに実現させ、前記生成する機能は、ユーザが把持するコントローラの位置または姿勢の変化に応じて、前記仮想空間における前記撮像装置オブジェクトの位置または姿勢を変化させた表示用画像であって、前記撮像装置オブジェクトが示す撮像対象領域を変化させた表示用画像を生成し、前記撮像装置オブジェクトが示す撮像対象領域の画像を保存する機能を前記コンピュータにさらに実現させるためのコンピュータプログラム

技術分野

0001

本発明は、データ処理技術に関し、特にヘッドマウントディスプレイに表示する画像を処理する技術に関する。

背景技術

0002

ヘッドマウントディスプレイにパノラマ画像を表示し、ヘッドマウントディスプレイを装着したユーザが頭部を回転させると視線方向に応じたパノラマ画像が表示されるようにしたシステムが開発されている。ヘッドマウントディスプレイを利用することで、仮想空間への没入感を高めることができる。

先行技術

0003

国際公開第2017/110632号

発明が解決しようとする課題

0004

ヘッドマウントディスプレイが普及しつつある中、ヘッドマウントディスプレイを装着して仮想空間の画像(以下「VR(Virtual Reality)画像」とも呼ぶ。)を視聴するユーザに斬新な視聴体験を提供することが求められている。

0005

本発明はこうした課題に鑑みてなされたものであり、1つの目的は、VR画像を視聴するユーザに斬新な視聴体験を提供することにある。

課題を解決するための手段

0006

上記課題を解決するために、本発明のある態様の情報処理装置は、ヘッドマウントディスプレイに表示させる仮想空間の画像を取得する取得部と、仮想空間における撮像対象領域を示す撮像装置オブジェクトを仮想空間に配置した表示用画像を生成する画像生成部と、表示用画像をヘッドマウントディスプレイに表示させる出力部と、撮像部と、を備える。画像生成部は、ユーザが把持するコントローラの位置または姿勢の変化に応じて、仮想空間における撮像装置オブジェクトの位置または姿勢を変化させた表示用画像であって、撮像装置オブジェクトが示す撮像対象領域を変化させた表示用画像を生成し、撮像部は、撮像装置オブジェクトが示す撮像対象領域の画像を保存する。

0007

本発明の別の態様は、情報処理方法である。この方法は、ヘッドマウントディスプレイに表示させる仮想空間の画像を取得するステップと、仮想空間における撮像対象領域を示す撮像装置オブジェクトを仮想空間に配置した表示用画像を生成するステップと、表示用画像をヘッドマウントディスプレイに表示させるステップと、をコンピュータが実行し、生成するステップは、ユーザが把持するコントローラの位置または姿勢の変化に応じて、仮想空間における撮像装置オブジェクトの位置または姿勢を変化させた表示用画像であって、撮像装置オブジェクトが示す撮像対象領域を変化させた表示用画像を生成し、撮像装置オブジェクトが示す撮像対象領域の画像を保存するステップをコンピュータがさらに実行する。

0008

なお、以上の構成要素の任意の組合せ、本発明の表現をシステム、コンピュータプログラム、コンピュータプログラムを読み取り可能に記録した記録媒体データ構造などの間で変換したものもまた、本発明の態様として有効である。

発明の効果

0009

本発明によれば、VR画像を視聴するユーザに斬新な視聴体験を提供することができる。

図面の簡単な説明

0010

実施例に係るヘッドマウントディスプレイの外観図である。
図1のヘッドマウントディスプレイの機能構成を示すブロック図である。
実施例に係るエンタテインメントシステムの構成図である。
図3の情報処理装置の内部回路構成を示す図である。
図3の情報処理装置の機能構成を示すブロック図である。
VR画像の例を示す図である。
VR画像の例を示す図である。
VR画像の例を示す図である。
VR画像の例を示す図である。
VR画像の例を示す図である。
VR画像の例を示す図である。
VR画像の例を示す図である。
VR画像の例を示す図である。
VR画像の例を示す図である。
VR画像の例を示す図である。
VR画像の例を示す図である。

実施例

0011

図1は、実施例に係るヘッドマウントディスプレイの外観図である。ヘッドマウントディスプレイ100は、本体部110、前頭部接触部120、および側頭部接触部130を含む。ヘッドマウントディスプレイ100は、ユーザの頭部に装着してディスプレイに表示される静止画動画などを鑑賞し、ヘッドホンから出力される音声音楽などを聴くための表示装置である。ヘッドマウントディスプレイ100の形状に制限はなく、例えば、帽子型でもよく、眼鏡型でもよい。

0012

実施例では、ヘッドマウントディスプレイ100に内蔵または外付けされたモーションセンサにより、ヘッドマウントディスプレイ100を装着したユーザの頭部の回転角や傾きといった姿勢情報およびユーザの視線を計測する。変形例として、ユーザがモーションセンサを頭部に装着したり、注視点検出装置を用いて赤外線反射を検出したりすることで視線を検出してもよい。あるいは、ヘッドマウントディスプレイまたはユーザの頭部にマーカーを装着させ、その姿を撮影した画像を解析することにより、ヘッドマウントディスプレイまたはユーザの姿勢と視線を推定してもよい。

0013

図2は、図1のヘッドマウントディスプレイ100の機能構成を示すブロック図である。本明細書のブロック図で示す複数の機能ブロックは、ハードウェア的には、回路ブロックメモリ、その他のLSIで構成することができ、ソフトウェア的には、メモリにロードされたプログラムをCPUが実行すること等によって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

0014

制御部10は、画像信号センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサである。入力インタフェース20は、ユーザからの操作信号や設定信号受け付け、制御部10に供給する。出力インタフェース30は、制御部10から画像信号を受け取り、ディスプレイに表示させる。バックライト32は、液晶ディスプレイにバックライトを供給する。

0015

通信制御部40は、ネットワークアダプタ42またはアンテナ44を介して、有線または無線通信により、制御部10から入力されるデータを外部に送信する。通信制御部40は、また、ネットワークアダプタ42またはアンテナ44を介して、有線または無線通信により、外部からデータを受信し、制御部10に出力する。記憶部50は、制御部10が処理するデータやパラメータ、操作信号などを一時的に記憶する。

0016

モーションセンサ64は、ヘッドマウントディスプレイ100の本体部110の回転角や傾きなどの姿勢情報を検出する。モーションセンサ64は、ジャイロセンサ加速度センサ角加速度センサなどを適宜組み合わせて実現される。外部入出力端子インタフェース70は、周辺機器を接続するためのインタフェースであり、例えばUSB(Universal Serial Bus)コントローラである。外部メモリ72は、フラッシュメモリなどの外部メモリである。

0017

時計部80は、制御部10からの設定信号によって時間情報を設定し、時間データを制御部10に供給する。制御部10は、画像やテキストデータを出力インタフェース30に供給してディスプレイに表示させたり、通信制御部40に供給して外部に送信させたりすることができる。

0018

図3は、実施例に係るエンタテインメントシステムの構成図である。エンタテインメントシステム300は、現在行われているコンサートカンファレンス映像を、ユーザが装着したヘッドマウントディスプレイ100に表示させる情報処理システムである。

0019

情報処理装置200は、ヘッドマウントディスプレイ100の表示内容を制御する据置型ゲーム機である。変形例として、情報処理装置200は、PC、タブレット端末スマートフォン携帯型ゲーム機であってもよい。また、情報処理装置200は、ヘッドマウントディスプレイ100と一体化されてもよく、言い換えれば、情報処理装置200の機能は、ヘッドマウントディスプレイ100に組み込まれてもよい。

0020

情報処理装置200は、無線通信またはUSBなどの周辺機器を接続するインタフェースを介してヘッドマウントディスプレイ100およびコントローラ202に接続される。また、情報処理装置200は、LAN・WANインターネット等を含む通信網308を介して、管理サーバ304、SNSサーバ306、ライブ配信システム302の配信サーバ312と接続される。

0021

コントローラ202は、ヘッドマウントディスプレイ100を装着したユーザが把持するものであり、情報処理装置200に対するユーザの操作を受け付け、その操作内容を情報処理装置200へ送信する。また、コントローラ202は、モーションセンサを備える。モーションセンサは、コントローラ202の回転角や傾きなどの姿勢情報を検出する。このモーションセンサは、ジャイロセンサ、加速度センサ、角加速度センサなどを適宜組み合わせて実現される。

0022

ライブ配信システム302は、現在行われている様々なイベント(例えばコンサートやカンファレンス等)の映像を、複数のユーザの複数の情報処理装置200へ配信する情報処理システムである。ライブ配信システム302は、複数の全天球カメラ310(例えば全天球カメラ310a、全天球カメラ310b、全天球カメラ310c)と、配信サーバ312を含む。

0023

全天球カメラ310は、イベントが実施されている会場(例えば屋内または野外コンサート会場やカンファレンス会場)に配置され、上下左右方位のパノラマ画像を撮像する。全天球カメラ310は、全方位カメラまたは360度カメラとも言える。配信サーバ312は、複数の全天球カメラ310により撮像された複数のパノラマ画像のデータを取得する。配信サーバ312は、複数の全天球カメラ310のうちユーザにより選択された全天球カメラ310により撮像されたパノラマ画像のデータを情報処理装置200へ送信する。

0024

管理サーバ304は、アカウント制のオンラインサービス(例えば複数のユーザのコミュニティサービス)を提供する情報処理装置である。管理サーバ304は、ユーザのフレンドに関する情報を情報処理装置200へ提供し、また、複数のユーザ(情報処理装置200)間で送受信されるデータを中継する。SNSサーバ306は、ソーシャルネットワーキングサービスを提供する情報処理装置である。例えば、SNSサーバ306は、画像共有サービスミニブログサービス、チャットサービスを提供する。エンタテインメントシステム300は、複数のSNS業者の複数のSNSサーバ306を含んでよい。

0025

図4は、図3の情報処理装置200の内部回路構成を示す。情報処理装置200は、CPU(Central Processing Unit)222、GPU(Graphics Processing Unit)224、メインメモリ226を含む。これらの各部は、バス230を介して相互に接続されている。バス230にはさらに入出力インタフェース228が接続されている。

0026

入出力インタフェース228には、USBやIEEE1394などの周辺機器インタフェースや、有線又は無線LANネットワークインタフェースからなる通信部232、ハードディスクドライブ不揮発性メモリなどの記憶部234、ヘッドマウントディスプレイ100などの表示装置へデータを出力する出力部236、ヘッドマウントディスプレイ100からデータを入力する入力部238、磁気ディスク光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部240が接続される。

0027

CPU222は、記憶部234に記憶されているオペレーティングシステムを実行することにより情報処理装置200の全体を制御する。CPU222はまた、リムーバブル記録媒体から読み出されてメインメモリ226にロードされた、あるいは通信部232を介してダウンロードされた各種プログラムを実行する。GPU224は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、CPU222からの描画命令に従って描画処理を行い、表示画像を図示しないフレームバッファに格納する。そしてフレームバッファに格納された表示画像をビデオ信号に変換して出力部236に出力する。メインメモリ226はRAM(Random Access Memory)により構成され、処理に必要なプログラムやデータを記憶する。

0028

図5は、図3の情報処理装置200の機能構成を示すブロック図である。情報処理装置200は、コンポーネント記憶部320、撮像画像記憶部322、画像取得部330、関連情報取得部332、フレンド情報取得部334、位置・姿勢取得部336、視野制御部338、操作検出部340、コンテンツ処理部342、画像生成部344、出力部346を備える。これらの機能のうち少なくとも一部は、ヘッドマウントディスプレイ100(図2の制御部10、記憶部50等)に実装されてもよく、あるいは、ネットワークを介して接続されたサーバ(配信サーバ312等)に実装されてもよい。

0029

図5の複数の機能ブロックのうち少なくとも一部は、各機能ブロックに対応するモジュールを含むコンピュータプログラム(例えばライブストリーミング視聴アプリケーション)として実装されてもよい。このコンピュータプログラムは、DVD等の記録メディアに格納され、または、ネットワークからダウンロードされて、情報処理装置200の記憶部234にインストールされてもよい。情報処理装置200のCPU222およびGPU224は、このコンピュータプログラムをメインメモリ226に読み出して実行することにより、各機能ブロックの機能を発揮してもよい。

0030

コンポーネント記憶部320は、VR画像内で表示される複数種類のコンポーネントのそれぞれについて、形状や表示内容等に関するデータを記憶する。コンポーネントは、仮想空間のコンテンツ(例えばイベントの内容や、演者、登者等)に関連した様々な情報を表示するGUI部品である。コンポーネントは、サブウィンドウパネル、またはダッシュボードとも言える。撮像画像記憶部322は、後述の撮像部352により生成された画像データを記憶する。

0031

画像取得部330は、配信サーバ312から送信された、ヘッドマウントディスプレイ100に表示させる仮想空間のデータを取得する。即ち、画像取得部330は、仮想空間の画像を取得する第1取得部を構成している。仮想空間のデータは、全天球カメラ310により撮像されたパノラマ画像のデータを含む。また、仮想空間のデータは、撮像されたイベントの内容やスケジュール、演者・登壇者に関する情報、撮像場所を示す情報等、撮像対象に関する様々な情報である撮像対象情報を含む。

0032

関連情報取得部332は、ヘッドマウントディスプレイ100で表示される仮想空間に関連する複数種類の情報(以下「関連情報」とも呼ぶ。)を配信サーバ312、SNSサーバ306から取得する。即ち、関連情報取得部332は、第2取得部を構成している。関連情報は、ライブ配信されたメインのコンテンツ(イベントの様子等)に関連する付加的・付随的な情報であり、即時性のある情報を含む。例えば、関連情報は、(1)第2画面用の画像データ、(2)ヒートマップのデータ、(3)演者や登壇者に関するデータ、(4)イベントのスケジュール、(5)イベントに関連づけられたミニブログの投稿データ、(6)ニュースサイトブログサイト等のフィードデータであってもよい。実施例では、関連情報は、コンポーネント上に表示される。

0033

フレンド情報取得部334は、ユーザが予め設定した1人以上のフレンドに関する情報(以下「フレンド情報」とも呼ぶ。)を管理サーバ304から取得する。フレンド情報は、1人以上のフレンドそれぞれについてのアバター情報オンラインの有無、ヘッドマウントディスプレイ100の起動有無、ヘッドマウントディスプレイ100の姿勢(言い換えればフレンドの視線方向)の少なくとも1つを含んでもよい。

0034

位置・姿勢取得部336は、ヘッドマウントディスプレイ100の位置および/または姿勢を取得する。位置・姿勢取得部336は、ヘッドマウントディスプレイ100のモーションセンサ64の検出値に基づいて、ヘッドマウントディスプレイ100を装着したユーザの頭部の位置や姿勢を所定のレートで検出する。

0035

位置は、現実世界の3次元空間においてヘッドマウントディスプレイ100が存在する位置を示す座標であってもよい。姿勢は、縦方向、横方向、高さ方向の3軸におけるヘッドマウントディスプレイ100の傾きであってもよい。位置・姿勢取得部336は、情報処理装置200に接続した図示しない撮像装置による撮像画像に基づき、頭部の位置や姿勢を取得してもよく、その結果をモーションセンサによる情報と統合してもよい。

0036

なお、位置・姿勢取得部336により取得されたヘッドマウントディスプレイ100の位置および姿勢は、不図示の送信部により、管理サーバ304へ定期的にアップロードされてもよい。管理サーバ304は、或るユーザの情報処理装置200からアップロードされたヘッドマウントディスプレイ100の位置および姿勢の情報を当該ユーザのフレンドの情報処理装置200へ提供してもよい。これにより、複数のユーザ間(フレンド間)で、ヘッドマウントディスプレイ100の位置および姿勢を共有することができる。

0037

また、位置・姿勢取得部336は、コントローラ202の位置および/または姿勢を取得する。位置・姿勢取得部336は、コントローラ202に内蔵されたモーションセンサの検出値に基づいて、コントローラ202の位置や姿勢を所定のレートで検出する。なお、位置・姿勢取得部336は、情報処理装置200に接続した図示しない撮像装置による撮像画像に基づき、コントローラ202の位置や姿勢を取得してもよく、その結果をモーションセンサによる情報と統合してもよい。

0038

視野制御部338は、ユーザの視線に基づき表示画像の視野を制御する。視野制御部338は、位置・姿勢取得部336により取得された頭部の位置および/または姿勢に基づいて、ユーザの視野の範囲を決定する。視野制御部338は、描画対象の3次元空間に対する視野面スクリーン)を設定する。

0039

例えば、パノラマ画像が示す仮想空間に、空中に浮かぶコンポーネントとユーザの頭部を包含するような大きさの全天球状の背景オブジェクトを、一般的なコンピュータグラフィックスと同様のグローバル座標系に定義してもよい。これにより空間に奥行き感が生じ、コンポーネントが空中に浮いている状態、もしくは、仮想空間の背景(例えば壁や天井等)に貼り付いた状態をより印象づけられる。視野制御部338は、当該グローバル座標系に対するスクリーン座標を、ヘッドマウントディスプレイ100の姿勢に基づいて所定のレートで設定してもよい。

0040

ヘッドマウントディスプレイ100の姿勢、すなわちユーザ頭部のオイラー角によってユーザの顔面の向く方向が判明する。視野制御部338は少なくとも、当該顔面の向く方向に対応させてスクリーン座標を設定することにより、ユーザが向く方向に応じた視野で仮想空間がスクリーン平面に描画されるようにする。この場合、ユーザの顔面の法線ベクトルをおよそ視線の方向と推定していることになる。

0041

なお赤外線の反射などにより注視点を検出する装置を用いればさらに詳細な視線情報を得ることができる。以後の説明では、導出手法によらず推定あるいは検出された、ユーザが見ている方向を総じて「視線」の方向と称する。視野制御部338は、ユーザ頭部の姿勢の変化が所定の値を超えるまでは検出された角度の変化を無視するようにして、意図せず画像がぶれるのを防いでもよい。また、表示画像のズーム操作を受け付けるような場合は、ズーム倍率に基づいて頭部の角度検出感度を調整してもよい。

0042

操作検出部340は、コントローラ202から受信した信号に基づいて、ユーザがコントローラ202に入力した操作を検出する。操作検出部340は、コントローラ202に入力された操作と、当該操作の対象(VR画像内のオブジェクト等)に応じて、ユーザにより指示された動作および/または処理をユーザ操作として識別する。ユーザ操作は、例えば、メニューアイコンの選択、コンポーネントの選択、コンポーネントの操作、カメラ操作、SNS投稿操作を含む。また、操作検出部340は、位置・姿勢取得部336により検出されたコントローラ202の位置や姿勢もユーザ操作として検出する。

0043

コンテンツ処理部342は、操作検出部340により検出されたユーザ操作に応じて、各種データ処理を実行する。コンテンツ処理部342は、要求部350、撮像部352、登録部354を含む。要求部350は、配信サーバ312に対してライブ配信に関する要求を送信する。また、要求部350は、管理サーバ304に対してユーザ情報の提供を要求する。

0044

撮像部352は、後述のカメラオブジェクトにより指定された撮像対象領域の画像を撮像画像として生成し、撮像画像記憶部322に格納する。登録部354は、撮像画像記憶部322に格納された1つ以上の撮像画像のうちユーザにより指定された撮像画像をSNSサーバ306へ登録する。これにより、登録部354は、SNSを利用する他のユーザによる撮像画像の閲覧を可能にする。

0045

画像生成部344は、配信サーバ312により取得されたパノラマ画像が示す仮想空間を、視野制御部338が決定したユーザの視線方向に応じたスクリーンに投影することにより、ヘッドマウントディスプレイ100に表示させる表示用画像(以下「VR画像」と呼ぶ。)を所定のレートで生成する。これにより、画像生成部344は、ライブ配信されたイベントの映像を、ユーザの姿勢に応じた態様で、ヘッドマウントディスプレイ100に表示させる。

0046

画像生成部344は、ヘッドマウントディスプレイ100において立体視できるようにVR画像を生成してもよい。すなわち、画像生成部344は、VR画像として、ヘッドマウントディスプレイ100の画面を左右に分割してなる領域にそれぞれ表示するための、左眼用右眼用視差画像を生成してもよい。

0047

出力部346は、画像生成部344により生成されたVR画像のデータをヘッドマウントディスプレイ100に所定のレートで送信し、ヘッドマウントディスプレイ100のディスプレイにVR画像を表示させる。

0048

以上の構成による情報処理装置200の動作を説明する。
ユーザが、情報処理装置200においてライブストリーミング視聴アプリケーションを起動すると、情報処理装置200は、配信サーバ312にアクセスする。配信サーバ312は、ライブストリーミングを提供中のチャンネル一覧情報を情報処理装置200に提供し、情報処理装置200は、チャンネルの一覧情報をヘッドマウントディスプレイ100に表示させる。ユーザが特定のチャンネルを選択すると、情報処理装置200の要求部350は、選択されたチャンネル映像の配信を配信サーバ312に要求する。ここでは、ゲームカンファレンスの中継が選択されたこととする。

0049

配信サーバ312は、ゲームカンファレンスの会場に配置された全天球カメラ310により撮像された全天球のパノラマ画像を含む仮想空間データを所定のレートで情報処理装置200へ送信する。情報処理装置200の画像取得部330は、配信サーバ312から送信されたパノラマ画像を取得する。視野制御部338は、ヘッドマウントディスプレイ100の姿勢に基づいて、ユーザの視野の範囲を検出する。

0050

画像生成部344は、パノラマ画像からユーザの視野の範囲を抽出したVR画像を生成する。出力部346は、VR画像をヘッドマウントディスプレイ100へ出力して表示させる。図6図16は、VR画像の例を示す。以下、図6図16を参照して、ヘッドマウントディスプレイ100に表示されるVR画像の遷移を説明する。

0051

(1)コンポーネントの表示に関する動作:
図6のVR画像400は、ユーザが略正面を向いている場合にヘッドマウントディスプレイ100に表示される。情報処理装置200の位置・姿勢取得部336は、ユーザの視線方向の変化を検出し、視野制御部338および画像生成部344は、ユーザの視線方向の変化に応じて、配信サーバ312から送信されたパノラマ画像から抽出する領域を決定する。これにより、ユーザの視線方向の変化に追従したVR画像400をヘッドマウントディスプレイ100に表示させる。

0052

図7は、コンポーネントの表示を指示する所定の操作がコントローラ202を介して入力された場合のVR画像400の例を示す。コンポーネントの表示が指示された場合、情報処理装置200の関連情報取得部332は、ライブ配信中のゲームカンファレンスに関する複数種類の関連情報を配信サーバ312またはSNSサーバ306から取得する。情報処理装置200の画像生成部344は、複数種類の関連情報を示す複数のコンポーネント402をパノラマ画像に重畳して配置したVR画像400を生成する。なお、図7は、複数のコンポーネント402が初期位置に配置された状態を示している。画像生成部344は、非選択状態のコンポーネントを、背景のオブジェクトが見えるように半透過属性に設定する。

0053

複数のコンポーネント402は、コンポーネント402a、コンポーネント402b、コンポーネント402c、コンポーネント402dを含む。コンポーネント402aは、第2画面を表示するコンポーネントである。第2画面は、VR画像400のメインコンテンツコンポーネント領域の外に写るコンテンツ)とは別のコンテンツを表示可能なサブウィンドウである。関連情報取得部332は、第2画面用の画像データを配信サーバ312から取得する。画像生成部344は、コンポーネント記憶部320に記憶された第2画面用のサブウィンドウに第2画面用の画像データを設定したコンポーネント402aをVR画像400上に配置する。

0054

コンポーネント402bは、ヒートマップを表示するコンポーネントである。ヒートマップは、行列型数字データ強弱を色で視覚化したグラフである。図7のコンポーネント402bでは地球儀が描かれ、当該ゲームカンファレンスの映像が配信されているユーザ数(言い換えれば配信サーバ312へのアクセス数)が多い地域が、特定の色彩アニメーションにより強調して示される。関連情報取得部332は、ヒートマップの元データとしての行列データを配信サーバ312または管理サーバ304から取得する。画像生成部344は、コンポーネント記憶部320に記憶されたヒートマップ用のオブジェクトを、行列データに基づいて外観を設定した上で、コンポーネント402bとしてVR画像400上に配置する。

0055

コンポーネント402cは、演者または登壇者に関する情報(以下「演者情報」とも呼ぶ。)を表示するコンポーネントである。演者情報は、演者または登壇者の写真や、経歴プロフィールを含む。関連情報取得部332は、演者情報を配信サーバ312から取得する。画像生成部344は、演者情報を設定したサブウィンドウをコンポーネント402cとしてVR画像400上に配置する。

0056

コンポーネント402dは、イベント(ここではゲームカンファレンス)のスケジュールを表示するコンポーネントである。関連情報取得部332は、イベントのスケジュール情報を配信サーバ312から取得する。画像生成部344は、イベントのスケジュール情報を設定したサブウィンドウをコンポーネント402dとしてVR画像400上に配置する。

0057

図8は、コンポーネント402a(第2画面)が選択された場合のVR画像400を示している。位置・姿勢取得部336によりコントローラ202の姿勢変化が検出された場合、画像生成部344は、コントローラオブジェクト404と、そのコントローラオブジェクト404から伸びビーム406をさらに描画したVR画像400を新たに生成して表示させる。

0058

コントローラオブジェクト404は、ユーザが把持するコントローラ202に対応する仮想空間内のオブジェクト(VRコンテンツ)である。画像生成部344は、コントローラ202の姿勢とコントローラオブジェクト404の姿勢を同期させ、言い換えれば、コントローラ202の姿勢変化に合わせてコントローラオブジェクト404の姿勢を変化させる。ビーム406は、コントローラオブジェクト404の奥側側面(ユーザから見て奥側側面)から垂直に照射される光ビームである。

0059

ユーザは、所望のコンポーネント402に対してビーム406を当て、コントローラ202の所定ボタンを押下することで、そのコンポーネント402を操作対象として選択する。また、ユーザは、或るコンポーネント402を選択状態とした場合に、上記のボタンを押し続けることで、そのコンポーネント402の選択状態を維持する。

0060

画像生成部344は、VR画像400内の複数のコンポーネント402のうちコントローラオブジェクト404から伸びるビーム406により選択されたコンポーネント402を選択状態としたVR画像400を新たに生成して表示させる。図8では、コンポーネント402a(第2画面)がビーム406により選択された状態になっている。画像生成部344は、選択状態のコンポーネント402を、背景のオブジェクトが見えないように非透過属性に設定する。また、画像生成部344は、選択状態のコンポーネント402のサイズを非選択状態時より拡大する。

0061

画像生成部344は、或るコンポーネント402が選択状態であるとき、コントローラ202に第1の操作が入力された場合、仮想空間における選択状態のコンポーネント402の位置を変更したVR画像400を新たに生成する。ここでの第1の操作は、現実世界でのコントローラ202の位置または姿勢を変える操作である。画像生成部344は、位置・姿勢取得部336により検出されたコントローラ202の位置または姿勢の変化に応じて、仮想空間における選択状態のコンポーネント402の位置または姿勢を変更する。姿勢は、ユーザの視線方向に対するコンポーネント402の角度であってもよく、鉛直方向に対するコンポーネント402の角度であってもよい。例えば、現実空間でコントローラ202が左方向に動かされた場合、仮想空間における選択状態のコンポーネント402を左方向に動かす。

0062

ユーザは、或るコンポーネント402を選択した状態を続けつつ(所定のボタンの押下を続けつつ)コントローラ202を動かすことにより、仮想空間において当該コンポーネント402を動かすことができる。

0063

画像生成部344は、或るコンポーネント402が選択状態であるとき、コントローラ202に第2の操作が入力された場合、当該コンポーネント402を非選択状態としたVR画像400であって、仮想空間の背景オブジェクト上に当該コンポーネント402を配置したVR画像400を新たに生成する。ここでの第2の操作は、当該コンポーネント402を選択状態とする場合と同じ操作である。既述したように、非選択状態のコンポーネント402は、選択状態時より小さいサイズで表示され、また、背景を透過する状態で表示される。

0064

画像生成部344は、或るコンポーネント402が選択状態であるとき、コントローラ202に上記第2の操作が入力された場合、コントローラオブジェクト404の姿勢により特定される背景オブジェクト上の位置にそのコンポーネント402を配置する。図8で示したように、或るコンポーネント402が選択状態であるとき、VR画像400ではビーム406が選択状態のコンポーネント402を指した状態となるが、画像生成部344は、ビーム406を伸ばした場合に背景オブジェクト(元のパノラマ画像上のオブジェクト)に達する位置にコンポーネント402を配置する。

0065

図9では、コンポーネント402a(第2画面)とコンポーネント402c(演者情報)の位置が変更された後、仮想空間の背景オブジェクト(カンファレンス会場の天井等)上に貼り付けられた状態を示している。画像生成部344は、コンポーネント402を背景オブジェクト上に貼り付けたように見せるため、背景オブジェクト上にコンポーネント402の画像をマッピングしてもよい。また、画像生成部344は、上記特許文献1に記載の技術を使用して、仮想空間におけるユーザの頭部を中心とする球形の背景オブジェクト上に当該コンポーネント402を配置したVR画像400を生成してもよい。

0066

このように実施例のエンタテインメントシステム300は、ライブ配信のメインコンテンツ(例えばゲームカンファレンス会場の様子)に関連する様々な情報をコンポーネント402を介してユーザに提供する。ヘッドマウントディスプレイ100を装着したユーザはスマートフォン等を用いた即時の情報取得が困難であるところ、コンポーネント402が即時性のある情報を提示することによりユーザの利便性を高めることができる。

0067

また、複数のコンポーネント402のそれぞれをユーザが任意の位置に移動可能であるため、コンポーネント402がライブ配信のメインコンテンツの視聴の妨げになってしまうことを回避できる。また、コンポーネント402を背景オブジェクト上に配置することで、ユーザに圧迫感や違和感を抱かせにくくなる。

0068

画像生成部344は、或るコンポーネント402が選択状態であるとき、コントローラ202に第3の操作が入力された場合、選択状態のコンポーネント402を回動させたVR画像400を新たに生成する。実施例での第3の操作は、コントローラ202の左アナログスティックに対する操作である。

0069

画像生成部344は、コントローラ202の左アナログスティックに対する複数の操作態様と、コンポーネント402の複数の回動態様との対応関係を記憶してもよい。画像生成部344は、コントローラ202の左アナログスティックに対する操作が検出された場合、選択状態のコンポーネント402を、操作態様に応じた態様で回動させたVR画像400を新たに生成して表示させる。コンポーネント402の複数の回動態様は、ピッチングローリングヨーイングのいずれか、または組み合わせであってもよい。

0070

画像生成部344は、コンポーネント402を回動させた後に、当該コンポーネント402に対して上記第2の操作が入力された場合、回動後のコンポーネント402の画像を仮想空間の背景オブジェクトにテクスチャマッピングして貼り付ける。このように、ユーザによるコンポーネント402の回動を可能にすることで、コンポーネント402の配置態様の自由度を一層高めることができる。

0071

なお、配信サーバ312から提供されるパノラマ画像には、コンポーネントの配置を禁止する位置または領域(以下「配置禁止位置」とも呼ぶ。)を示すデータが付加されてもよい。画像生成部344は、選択状態が解除されたコンポーネント402を背景オブジェクト上に配置する場合に、コントローラオブジェクト404(ビーム406)により指定された配置位置(本来配置するはずの位置)が、配置禁止位置に一致するか否か、言い換えれば、配置禁止位置が示す領域に含まれるか否かを判定してもよい。

0072

画像生成部344は、配置禁止位置に不一致であれば、コントローラオブジェクト404(ビーム406)により指定された位置にコンポーネント402を配置する一方、配置禁止位置に一致する場合、上記指定された位置にコンポーネント402を配置することを抑制する。例えば、画像生成部344は、コンポーネント402の選択状態を維持しつつ、現在指定された領域にコンポーネント402を配置できないことを示すメッセージを含むVR画像400を表示させてもよい。

0073

または、画像生成部344は、コントローラオブジェクト404(ビーム406)により指定された位置の近傍位置であり、かつ、配置禁止位置に該当しない位置にコンポーネント402を配置してもよい。例えば、図6に示すステージ中心領域が配置禁止位置であり、コントローラオブジェクト404(ビーム406)により指定された位置がステージ中心領域に該当する場合、画像生成部344は、ステージの周辺領域にコンポーネント402を配置してもよい。この態様によると、コンポーネントの表示により、ライブ配信のメインコンテンツの視認性が低下することを防止できる。

0074

画像生成部344は、或るコンポーネント402が選択状態である場合に、コントローラ202に入力された操作(例えば右アナログスティックの操作)に基づいて、選択状態のコンポーネント402における表示内容を更新したVR画像400を新たに生成する。言い換えれば、画像生成部344は、或るコンポーネント402が選択状態であるとき、選択状態のコンポーネント402に対する操作として予め定められた所定の操作が入力された場合、当該コンポーネント402に対する操作結果を示すように当該コンポーネント402の表示内容を更新する。

0075

図10は、コンポーネント402c(演者情報)が選択された状態を示している。画像生成部344は、コントローラ202の右アナログスティックが下方向(言い換えれば後ろ方向)に倒された場合、コンポーネント402cの文章およびスクロールバー408を下方向にスクロールさせる。また、画像生成部344は、コントローラ202の右アナログスティックが上方向(言い換えれば前方向)に倒された場合、コンポーネント402cの文章およびスクロールバー408を上方向にスクロールさせる。

0076

なお、コンポーネント402に対する操作は、文書の操作に限られない。例えば、コンポーネント402a(第2画面)が選択状態の場合、画像生成部344は、ユーザの操作に基づいて、映像の再生開始再生停止、別の映像への切り替え等の結果をコンポーネント402aに表示させてもよい。また、ミニゲーム等のアプリケーションを表示するコンポーネント402が選択状態の場合、画像生成部344は、ユーザの操作に基づくアプリケーションの実行結果(例えばミニゲームの経過および結果)を当該コンポーネント402に表示させてもよい。

0077

このようにエンタテインメントシステム300では、ユーザは、ライブ配信中のコンテンツを視聴しつつ、様々な情報やアプリケーションに対する操作をコンポーネント402を介して実行できる。これにより、ユーザの利便性を一層高めることができ、また、ライブ配信中のコンテンツを単に視聴することを超えたエンタテインメント体験をユーザへ提供できる。

0078

なお、図10のコンポーネント402eは、ミニブログサイトに投稿されたコメントツイート等)のうち、ライブ配信対象のイベントに関連するコメントを表示する。例えば、関連情報取得部332は、ミニブログサービスを提供するSNSサーバ306へ定期的にアクセスし、ライブ配信対象のイベントに関連づけられた(例えば当該イベントのハッシュタグが付与された)コメントをSNSサーバ306から取得してもよい。画像生成部344は、関連情報取得部332により新たなコメントが取得される都度、コンポーネント402eの表示内容を更新してもよい。

0079

画像生成部344は、コントローラ202に所定の操作(ここでは所定ボタンの押下)が入力された場合に、仮想空間に配置した1または複数のコンポーネント402を一括して非表示としたVR画像400を新たに生成して表示させる。例えば、図7図10に示すVR画像400が表示中に上記所定ボタンの押下操作が検出された場合、画像生成部344は、全てのコンポーネント402を消去したVR画像400(例えば図6のVR画像400)を表示させる。これにより、ライブ配信のメインコンテンツに集中したい場合、ユーザは、簡単な操作で1または複数のコンポーネント402を一括非表示に切り替えることができる。

0080

また、画像生成部344は、1または複数のコンポーネント402を一括して非表示とした後、コントローラ202に所定の操作(ここでは一括非表示の操作と同じ操作)が入力された場合、1または複数のコンポーネント402を、一括非表示にした直前の位置に配置したVR画像400を新たに生成して表示させる。このように、1または複数のコンポーネント402の一括非表示および一括再表示の機能を提供することで、ライブ配信コンテンツを視聴するユーザの利便性を一層高めることができる。

0081

(2)画像の共有に関する動作:
図11および図12は、仮想空間の撮像を指示する所定の操作がコントローラ202を介して入力された場合のVR画像400を示す。撮像を指示する所定の操作が入力された場合、図11に示すように、情報処理装置200の画像生成部344は、撮像装置を模した外観のオブジェクトであるカメラオブジェクト410をパノラマ画像に重畳して配置したVR画像400を生成して表示させる。カメラオブジェクト410は、仮想的なカメラとも言え、また、カメラアプリケーションを起動したスマートフォンの画面を模した外観であってもよい。カメラオブジェクト410は、仮想空間の中で撮像対象となる領域を示すファインダー画面412と、撮像対象のズーム度合いを調整するズームバー414を含む。

0082

画像生成部344は、コントローラオブジェクト404の上方近傍位置にカメラオブジェクト410を配置する。画像生成部344は、ユーザが把持するコントローラ202の位置または姿勢の変化に応じて、仮想空間におけるコントローラオブジェクト404の位置または姿勢を変化させるとともに、カメラオブジェクト410の位置または姿勢を変化させたVR画像400を新たに生成する。すなわち、画像生成部344は、現実空間でのコントローラ202の位置と向きと角度に同期させて、仮想空間でのコントローラオブジェクト404およびカメラオブジェクト410の位置と向きと角度を設定する。

0083

画像生成部344は、カメラオブジェクト410の仮想的な光軸方向(正面側)に合致する仮想空間の領域を撮像対象領域としてパノラマ画像(またはVR画像400)から抽出し、撮像対象領域の画像をファインダー画面412に設定する。図11では、ステージ上の様子が切り取られてファインダー画面412に表示されている。画像生成部344は、カメラオブジェクト410の位置または姿勢(向きおよび角度)が変化した場合、ファインダー画面412に設定する撮像対象領域を変化させる。具体的には、画像生成部344は、変化後の位置または姿勢における光軸方向の仮想空間の領域を新たな撮像対象領域として、新たな撮像対象領域の画像をファインダー画面412に設定する。

0084

ユーザは、ファインダー画面412が示す撮像対象領域を撮像する場合、撮像実行を指示する操作として、コントローラ202の所定ボタン(例えば○ボタン)を押下する。撮像実行操作の入力が検出されると、情報処理装置200の撮像部352は、この操作時点でファインダー画面412に表示された撮像対象領域の画像を撮像画像として撮像画像記憶部322に保存する。

0085

ズームバー414は、「W」(広角)と「T」(望遠)の度合いを調整するウィジェットである。画像生成部344は、コントローラ202に入力された操作(例えば右スティックの左右方向の操作)に応じて、ズームバー414をスライドさせるとともに、ファインダー画面412における撮像対象の表示態様を、広角の態様から望遠の態様まで切り替える。

0086

例えば、コントローラ202の右スティックに対して右方向への操作が入力された場合、図12に示すように、画像生成部344は、デジタルズーム処理により撮像対象を拡大表示した画像をファインダー画面412に設定する。例えば、画像生成部344は、拡大前の撮像対象画像の中心部分を切り出し、その中心部分を補間処理により拡大表示した画像をファインダー画面412に設定してもよい。撮像部352は、ファインダー画面412に拡大表示された撮像対象の画像(例えばデジタルズーム処理後の画像)を撮像画像として撮像画像記憶部322に保存する。

0087

図13は、画像共有を指示する所定の操作(所定ボタンの押下等)がコントローラ202を介して入力された場合のVR画像400を示す。画像生成部344は、カメラオブジェクト410の表示中に画像共有が指示された場合、カメラオブジェクト410の内容をアルバム画面416と操作パネル418に切り替えたVR画像400を新たに生成して表示させる。画像生成部344は、撮像画像記憶部322に保存された複数の撮像画像のサムネイルをアルバム画面416に表示させる。アルバム画面416において特定の撮像画像がユーザにより選択された場合、画像生成部344は、選択された撮像画像をアルバム画面416に表示させる。

0088

画像生成部344は、操作パネル418に、撮像画像を登録可能な複数のSNS(図13では「A」「B」「C」の3つのSNS)のアイコンを設定する。登録対象の撮像画像を選択する操作がコントローラ202で入力され、さらに、特定のSNSアイコンを選択する操作がコントローラ202で入力された場合、登録部354は、選択された撮像画像を、選択されたSNSに対応するSNSサーバ306に登録することにより、他のユーザによる上記撮像画像の閲覧を可能にする。例えば、登録部354は、SNSサーバ306が公開する画像登録用(言い換えれば記事登録用)のAPI(Application Programming Interface)を呼び出し、上記撮像画像をSNSサーバ306へ送信してもよい。

0089

登録部354は、配信サーバ312から提供され、画像取得部330により取得された撮像対象情報に基づいて、仮想空間のコンテンツ(すなわち撮像対象)を説明するデータ(ここでは「撮像画像説明情報」と呼ぶ。)を自動生成する。登録部354は、撮像画像説明情報を撮像画像とともにSNSサーバ306に登録する。撮像画像説明情報(撮像対象情報)は、例えば、(1)ライブ配信対象のイベント(ゲームカンファレンス等)の名称、(2)イベントが開かれている都市名、会場名、(3)情報処理装置200等を使用してオンラインでイベントにアクセスする場合のURLを含んでもよい。

0090

このように実施例のエンタテインメントシステム300によると、現実イベント会場でスマートフォン等を使用してイベントを撮影しているようなVR体験をユーザに提供できる。また、エンタテインメントシステム300によると、ユーザが撮影したイベントの画像を他者友人等)と共有することを支援できる。また、ヘッドマウントディスプレイを装着したユーザは文字等の入力が困難であるが、撮像画像説明情報を撮像画像に自動的に付加することにより、他者に撮像画像の内容を理解させやすくなる。また、SNSにおけるいわゆる「いいね」の獲得を支援できる。さらにまた、イベントの周知にも資することができる。

0091

(3)フレンドの表示に関する動作:
図14は、コントローラ202を介して、フレンド表示に関する所定の操作(例えばフレンドメニューの選択操作)が入力された場合に表示されるVR画像400を示す。VR画像400の表示中にフレンドメニューが選択されると、フレンド情報取得部334は、ユーザのフレンド情報を管理サーバ304から取得する。画像生成部344は、フレンド情報が示すユーザのフレンドのアバター420を並べたVR画像400を新たに生成して表示させる。

0092

特定のフレンドのアバター420を選択する操作が入力された場合、画像生成部344は、操作パネル422を含むVR画像400を新たに生成して表示させる。操作パネル422は、フレンド情報取得部334により取得されたフレンド情報が示す内容であり、選択されたアバター420が示すフレンドの現在の状態を表示する。フレンドの現在の状態は、例えば、インターネット接続中か否か、および/または、ヘッドマウントディスプレイを起動中か否かを含んでもよい。

0093

また、操作パネル422は、フレンドの状態に応じて、ライブ配信中のイベントへフレンドを招待するためのオブジェクト(リンク、ボタン等)を含む。上記オブジェクトは、例えば、フレンドの状態がインターネット接続中、かつ、ヘッドマウントディスプレイ起動中の場合、三次元画像を配信するライブ配信チャンネルを案内する内容の招待メールを送信するものであってもよい。また、上記オブジェクトは、フレンドの状態がインターネット接続中、かつ、ヘッドマウントディスプレイ未起動の場合、二次元画像を配信するライブ配信チャンネルを案内する内容の招待メールを送信するものであってもよい。

0094

招待メール送信用のオブジェクトを選択する操作がコントローラ202を介して入力された場合、要求部350は、招待メールの送信を指示するデータを管理サーバ304へ送信する。管理サーバ304へ送信するデータは、例えば、選択されたアバター420が示すフレンドを宛先として指定し、かつ、当該フレンドの状態に応じた内容(メールで案内するアクセス先等)を指定するものであってもよい。

0095

図15は、招待メールを送信したフレンドが、ユーザと同じライブ配信チャンネルに接続した場合に表示されるVR画像400を示す。画像生成部344は、ユーザの近傍位置(例えば隣の座席等)に、フレンド(ここでは「参加フレンド」と呼ぶ。)のアバター420を表示させる。

0096

エンタテインメントシステム300では、ユーザ間のボイスチャットが可能である。参加フレンドの情報処理装置200に入力された参加フレンドの音声データは、管理サーバ304を介してユーザの情報処理装置200に送信され、ユーザの情報処理装置200は、参加フレンドの音声をスピーカーイヤホン等から出力させる。画像生成部344は、参加フレンドの音声が出力される間、アバター420の明度を通常より高め、または、アバター420を点滅表示させる。言い換えれば、画像生成部344は、参加フレンドの音声が出力される間、音声未出力時とは異なる態様でアバター420を表示させる。

0097

フレンド情報取得部334は、参加フレンドのヘッドマウントディスプレイ100の姿勢(またはフレンドの視線方向)を示すフレンド情報を管理サーバ304から取得する。画像生成部344は、参加フレンドの視線方向を示す姿勢オブジェクト424をアバター420に付加する。画像生成部344は、参加フレンドのヘッドマウントディスプレイ100の姿勢に一致するように姿勢オブジェクト424の向きおよび角度を設定する。これにより、イベント会場におけるフレンドの視線方向、言い換えれば、イベント会場でフレンドが見ているものをユーザに把握させやすくなり、ユーザ・フレンド間の円滑なコミュニケーションを支援することができる。

0098

(4)カメラ切替に関する動作:
図16は、コントローラ202を介してカメラ切替に関する所定の操作(例えばカメラ切替メニューの選択操作)が入力された場合に表示されるVR画像400を示している。画像生成部344は、全天球カメラ310が設置された複数のイベント会場(ホール西ホール等)に対応する複数の会場選択ボタン430を配置したVR画像400を表示させる。ここでは、会場が選択されるが、同じ会場に複数の全天球カメラ310が配置され、会場の変更を伴わずに、パノラマ画像を撮像する全天球カメラを変更する場合も同様の動作になる。

0099

特定の会場選択ボタン430をフォーカスする操作(例えば左右への方向入力操作)が入力された場合、画像取得部330は、フォーカスされた会場選択ボタン430が示すイベント会場(「仮選択会場」とも呼ぶ。)に設置された全天球カメラ310により撮像されたパノラマ映像(もしくはその動画サムネイル)を配信サーバ312から取得する。画像生成部344は、中継画面432を表示させ、仮選択会場に設置された全天球カメラ310により撮像されたパノラマ映像(もしくはその動画サムネイル)を中継画面432に配置する。

0100

また、画像取得部330は、仮選択会場に設置された全天球カメラ310により撮像されたパノラマ映像を配信中(言い換えれば視聴中)の1人以上のユーザの情報を配信サーバ312からさらに取得する。画像生成部344は、当該パノラマ画像を視聴中のユーザの中に自装置のユーザのフレンドが存在する場合、そのフレンドを示すアバター420を中継画面432とともに表示させる。この態様により、情報処理装置200は、ライブ映像を視聴する会場またはカメラをユーザが選択することを支援できる。

0101

特定の会場選択ボタン430をフォーカスした状態で所定の選択操作(例えば所定ボタンの押下)が入力された場合、情報処理装置200の要求部350は、フォーカスされた会場選択ボタン430が示すイベント会場を本選択会場として認識し、本選択会場に設置された全天球カメラ310により撮像されたパノラマ画像のライブ配信を要求するデータを配信サーバ312へ送信する。これにより、ライブ配信のメインコンテンツが切り替わり、例えば、図16の中継画面432に表示された南ホールのライブ映像がVR画像400全体に表示される。

0102

以上、本発明を実施例をもとに説明した。この実施例は例示であり、各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

0103

上記実施例では言及していないが、コンポーネント402の種類、および/または、コンポーネント402に表示される内容を、イベントの進行に伴って更新してもよく、言い換えれば、ライブ配信のメインコンテンツの変化に伴って更新してもよい。例えば、配信サーバ312は、ライブ配信対象のイベントの進行に応じて、例えば、予め定められたスケジュールに応じて、コンポーネント402の種類および/または表示内容を更新することを指示するデータ(「コンポーネント更新指示」と呼ぶ。)を情報処理装置200へ送信してもよい。コンポーネント更新指示は、更新後のコンポーネント402の種類および/または表示内容の指定を含んでもよい。

0104

情報処理装置200の画像取得部330は、配信サーバ312から送信されたコンポーネント更新指示を受信してもよい。情報処理装置200の画像生成部344は、コンポーネント更新指示にしたがって、VR画像に配置する少なくとも1つのコンポーネント402の種類または内容を、仮想空間に表示されるイベント(ゲームカンファレンス等)の進行に応じて更新してもよい。

0105

情報処理装置200の画像生成部344は、コンポーネント更新指示により指定された種類のコンポーネント402をVR画像400に表示させてもよい。また、関連情報取得部332は、コンポーネント更新指示により指定された関連情報を配信サーバ312、SNSサーバ306等から新たに取得してもよい。画像生成部344は、コンポーネント更新指示により指定された関連情報を、更新後のコンポーネント402に表示させてもよい。

0106

この構成によると、例えば、ライブ中継会場において複数の商品が順次紹介される場合に、紹介される商品の情報をコンポーネント402に表示させ、紹介される商品が変わることにあわせてコンポーネント402の表示内容を切り替えることができる。また、ステージ上の話者のプロフィールをコンポーネント402に表示させ、話者が変わることにあわせてコンポーネント402の表示内容を切り替えることができる。

0107

また、上記実施例では言及していないが、図15のように参加フレンドのアバター420を表示させ、かつ、参加フレンドのフレンド(以下「FOAF」とも呼ぶ。)が同じライブ配信を視聴中の場合、画像生成部344は、参加フレンドのアバター420とは別にFOAFのアバターを表示させてもよい。これにより、ユーザは参加フレンドからFOAFを紹介してもらうこともでき、ユーザのフレンド拡大を支援できる。

0108

具体的な構成として、情報処理装置200のフレンド情報取得部334は、FOAFが同じライブ配信を視聴中の場合、そのことを示す情報を管理サーバ304から取得してもよい。画像生成部344は、FOAFが同じライブ配信を視聴中であることが管理サーバ304から通知されると、ユーザから見て参加フレンドのアバター420より奥の位置にFOAFのアバターを表示させてもよい。画像生成部344は、FOAFのアバターを、存在は識別可能だが、個人を識別不可能な態様で表示させてもよい。例えば、画像生成部344は、FOAFのアバターをぼかした態様で表示させてもよく、FOAFのアバターとして中身のない円だけを示すオブジェクトを表示させてもよい。

0109

また、上記実施例では、ヘッドマウントディスプレイ100に、ライブ配信されたコンテンツに基づくVR画像を表示したが、実施例に記載の技術は、様々なVR画像を表示する場合に適用可能である。例えば、ヘッドマウントディスプレイ100に表示されるVR画像は、予め撮影された360度のパノラマ静止画またはパノラマ動画の他、ゲーム空間のような人工的なパノラマ画像に基づくものであってもよい。また、情報処理装置200と接続されたサーバによるアプリケーション実行結果に基づくVR画像、または、情報処理装置200によるアプリケーション実行結果に基づくVR画像をヘッドマウントディスプレイ100に表示する場合にも実施例に記載の技術は有用である。すなわち、情報処理装置200の画像取得部330は、情報処理装置200またはサーバによるアプリケーション処理結果としての仮想空間の画像を取得してもよい。

0110

上述した実施例および変形例の任意の組み合わせもまた本開示の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わされる実施例および変形例それぞれの効果をあわせもつ。また、請求項に記載の各構成要件が果たすべき機能は、実施例および変形例において示された各構成要素の単体もしくはそれらの連携によって実現されることも当業者には理解されるところである。

0111

100ヘッドマウントディスプレイ、 200情報処理装置、 202コントローラ、 236 出力部、 300エンタテインメントシステム、 330画像取得部、 332関連情報取得部、 344画像生成部、 346 出力部、 352撮像部、 354登録部。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 株式会社バンダイの「 プログラム、ゲーム装置及びゲームシステム」が 公開されました。( 2020/02/13)

    【課題】処理負荷を低減しつつ、好適な興趣体験を提供する。【解決手段】プログラムは、物品から取得した情報に基づいてゲームのプレイ体験を提供するコンピュータに、物品に係る、第1の情報、及び第1の情報とは異... 詳細

  • 株式会社エルブズの「 情報提供装置、情報提供方法およびプログラム」が 公開されました。( 2020/02/13)

    【課題】対話形式で情報を提供するシステムにおいて対話の継続性を向上させる。【解決手段】情報提供装置は、ユーザに自身の台詞を選択させることにより、仮想的な人格とユーザとの会話形式で情報を提供する。情報提... 詳細

  • アズビル株式会社の「 エンジニアリング装置」が 公開されました。( 2020/02/13)

    【課題】各種情報の時系列的な変遷を迅速に辿れるようにすることにより、作業時における判断の正確性を向上させて、作業ミスを低減させることができるエンジニアリング装置を提供する。【解決手段】システムの構成要... 詳細

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ