図面 (/)

技術 情報処理装置、情報処理方法及びプログラム

出願人 ソニー株式会社
発明者 野田卓郎井元麻紀市川美和
出願日 2018年9月10日 (2年3ヶ月経過) 出願番号 2018-168698
公開日 2020年3月19日 (9ヶ月経過) 公開番号 2020-042480
状態 未査定
技術分野 デジタル計算機のユーザインターフェイス イメージ処理・作成 表示による位置入力
主要キーワード SSモジュール 連方向 半導体方式 網膜投影 遠隔操作ロボット レーザープロジェクタ 特定位 作業用アーム
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年3月19日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (12)

課題

ユーザによる仮想空間と実空間との空間認識のずれを防止することが可能な仕組みを提供する。

解決手段

第1の空間の座標系と第2の空間の座標系とを対応付けたときの前記第1の空間における第1の基準方向と前記第2の空間における第2の基準方向との間の角度を示す角度情報、及び前記第1の空間にいるユーザの視線に関する方向に基づいて、前記第2の空間を回転させるための回転情報を生成する生成部、を備える情報処理装置

概要

背景

近年、VR(Virtual Reality)技術が様々な場面で活用されている。例えば、VR技術は、遠隔地にいるユーザ同士コミュニケーション支援、及び没入感の高い視覚コンテンツの提供等の、様々な場面で活用されている。

VR技術とは、仮想空間を実空間であるかのようにユーザに知覚させる技術である。その一例として、全天球画像上下左右方位の360度パノラマ画像)を仮想空間として用いる技術が開発されている。

例えば、下記特許文献1では、撮像装置により撮像された撮像画像に基づいて全天球画像を生成し、生成した全天球画像のうちユーザの頭部方向に相当する領域を表示する技術が開示されている。かかる技術によれば、ユーザが頭部方向を変化させると、全天球画像のうち変化後の頭部方向の領域が表示されるので、ユーザは、あたかも撮像された実空間にいるかのような感覚を得ることができる。

概要

ユーザによる仮想空間と実空間との空間認識のずれを防止することが可能な仕組みを提供する。第1の空間の座標系と第2の空間の座標系とを対応付けたときの前記第1の空間における第1の基準方向と前記第2の空間における第2の基準方向との間の角度を示す角度情報、及び前記第1の空間にいるユーザの視線に関する方向に基づいて、前記第2の空間を回転させるための回転情報を生成する生成部、を備える情報処理装置

目的

そこで、本開示では、ユーザによる仮想空間と実空間との空間認識のずれを防止することが可能な仕組みを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

第1の空間の座標系と第2の空間の座標系とを対応付けたときの前記第1の空間における第1の基準方向と前記第2の空間における第2の基準方向との間の角度を示す角度情報、及び前記第1の空間にいるユーザの視線に関する方向に基づいて、前記第2の空間を回転させるための回転情報を生成する生成部、を備える情報処理装置

請求項2

前記回転情報は、前記第2の空間を、前記第1の空間における水平面を基準とした上下の方向に回転させるための情報である、請求項1に記載の情報処理装置。

請求項3

前記回転情報は、前記角度情報が示す角度の分、前記第2の基準方向から第1の基準方向への方向に、前記ユーザの視線に関する方向に対して前記第2の空間を回転させるための情報である、請求項1に記載の情報処理装置。

請求項4

前記角度情報は、前記第1の基準方向と前記第2の基準方向との間の、前記第1の空間における水平面を基準とした上下の方向の角度を示す情報である、請求項1に記載の情報処理装置。

請求項5

前記回転情報は、前記第2の空間を回転させるためのクォータニオンqを含み、前記第2の基準方向を前記第1の基準方向に一致させるための前記第1の空間における水平面を基準とした上下の方向での回転を表すクォータニオンをqtとし、前記ユーザの視線に関する方向と前記第1の基準方向との前記第1の空間における水平面での回転を表すクォータニオンをqhとした場合、クォータニオンqは、q=qh・qt・qh−1で表される、請求項1に記載の情報処理装置。

請求項6

前記生成部は、前記ユーザの視線に関する方向が変化する度に、前記回転情報を生成する、請求項1に記載の情報処理装置。

請求項7

前記情報処理装置は、前記回転情報を用いて前記第2の空間を回転させ、回転させた前記第2の空間を示す情報を表示部に表示させる出力制御部を備える、請求項1に記載の情報処理装置。

請求項8

前記情報処理装置は、前記出力制御部の動作モードを第1の動作モード又は第2の動作モードから選択する動作モード選択部をさらに備え、前記第1の動作モードは、前記回転情報を用いた前記第2の空間の回転を行わない動作モードであり、前記第2の動作モードは、前記回転情報を用いた前記第2の空間の回転を行う動作モードである、請求項7に記載の情報処理装置。

請求項9

前記出力制御部は、前記第2の空間の水平線を示す情報を表示させる、請求項7に記載の情報処理装置。

請求項10

前記出力制御部は、前記回転情報に基づいて、前記第2の空間の音の音像定位させる、請求項7に記載の情報処理装置。

請求項11

前記ユーザの視線に関する方向は、前記ユーザの視線方向である、請求項1に記載の情報処理装置。

請求項12

前記ユーザの視線に関する方向は、前記ユーザの頭部方向である、請求項1に記載の情報処理装置。

請求項13

前記第1の基準方向は、前記第1の空間における水平面の方向である、請求項1に記載の情報処理装置。

請求項14

前記第1の基準方向は、前記第1の空間における水平面を基準として所定角度下にずれた方向である、請求項1に記載の情報処理装置。

請求項15

前記第2の基準方向は、前記第2の空間における特定の位置の方向である、請求項1に記載の情報処理装置。

請求項16

前記特定の位置は、前記ユーザの視線に関する方向に基づいて設定される、請求項15に記載の情報処理装置。

請求項17

前記第1の空間は実空間であり、前記第2の空間は全天球画像である、請求項1に記載の情報処理装置。

請求項18

前記第1の空間は実空間であり、前記第2の空間はモデル化された三次元空間である、請求項1に記載の情報処理装置。

請求項19

第1の空間の座標系と第2の空間の座標系とを対応付けたときの前記第1の空間における第1の基準方向と前記第2の空間における第2の基準方向との間の角度を示す角度情報、及び前記第1の空間にいるユーザの視線に関する方向に基づいて、前記第2の空間を回転させるための回転情報をプロセッサにより生成すること、を含む情報処理方法

請求項20

コンピュータを、第1の空間の座標系と第2の空間の座標系とを対応付けたときの前記第1の空間における第1の基準方向と前記第2の空間における第2の基準方向との間の角度を示す角度情報、及び前記第1の空間にいるユーザの視線に関する方向に基づいて、前記第2の空間を回転させるための回転情報を生成する生成部、として機能させるためのプログラム

技術分野

0001

本開示は、情報処理装置情報処理方法及びプログラムに関する。

背景技術

0002

近年、VR(Virtual Reality)技術が様々な場面で活用されている。例えば、VR技術は、遠隔地にいるユーザ同士コミュニケーション支援、及び没入感の高い視覚コンテンツの提供等の、様々な場面で活用されている。

0003

VR技術とは、仮想空間を実空間であるかのようにユーザに知覚させる技術である。その一例として、全天球画像上下左右方位の360度パノラマ画像)を仮想空間として用いる技術が開発されている。

0004

例えば、下記特許文献1では、撮像装置により撮像された撮像画像に基づいて全天球画像を生成し、生成した全天球画像のうちユーザの頭部方向に相当する領域を表示する技術が開示されている。かかる技術によれば、ユーザが頭部方向を変化させると、全天球画像のうち変化後の頭部方向の領域が表示されるので、ユーザは、あたかも撮像された実空間にいるかのような感覚を得ることができる。

先行技術

0005

国際公開第2015/122108号

発明が解決しようとする課題

0006

しかしながら、上記の特許文献1などで提案されているVR技術は、未だ開発されてから日が浅く、さまざまな局面でVRを活用するための技術が十分に提案されているとはいいがたい。例えば、ユーザによる仮想空間と実空間との空間認識のずれを防止するための技術も、十分には提案されていないものの一つである。

0007

そこで、本開示では、ユーザによる仮想空間と実空間との空間認識のずれを防止することが可能な仕組みを提供する。

課題を解決するための手段

0008

本開示によれば、第1の空間の座標系と第2の空間の座標系とを対応付けたときの前記第1の空間における第1の基準方向と前記第2の空間における第2の基準方向との間の角度を示す角度情報、及び前記第1の空間にいるユーザの視線に関する方向に基づいて、前記第2の空間を回転させるための回転情報を生成する生成部、を備える情報処理装置が提供される。

0009

また、本開示によれば、第1の空間の座標系と第2の空間の座標系とを対応付けたときの前記第1の空間における第1の基準方向と前記第2の空間における第2の基準方向との間の角度を示す角度情報、及び前記第1の空間にいるユーザの視線に関する方向に基づいて、前記第2の空間を回転させるための回転情報をプロセッサにより生成すること、を含む情報処理方法が提供される。

0010

また、本開示によれば、コンピュータを、第1の空間の座標系と第2の空間の座標系とを対応付けたときの前記第1の空間における第1の基準方向と前記第2の空間における第2の基準方向との間の角度を示す角度情報、及び前記第1の空間にいるユーザの視線に関する方向に基づいて、前記第2の空間を回転させるための回転情報を生成する生成部、として機能させるためのプログラムが提供される。

発明の効果

0011

以上説明したように本開示によれば、ユーザによる仮想空間と実空間との空間認識のずれを防止することが可能となる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

図面の簡単な説明

0012

本開示の一実施形態に係る情報処理装置の概要を説明するための図である。
同実施形態に係る第2のキャリブレーション処理を説明するための図である。
同実施形態に係る情報処理装置の論理的な構成の一例を示すブロック図である。
同実施形態に係る頭部方向Sに応じた回転情報の生成処理を説明するための図である。
同実施形態に係る回転情報に基づく仮想空間の回転が行われる場合の仮想空間における頭部方向の位置の軌跡の一例を示す図である。
同実施形態に係るHMDにより表示される画面の一例を示す図である。
同実施形態に係るHMDにより実行される回転補正処理の流れの一例を示すフローチャートである。
第1の変形例に係る第2のキャリブレーション処理を説明するための図である。
第2の変形例にかかる回転補正処理について説明するための図である。
第2の変形例においてカメラ視点を上下に移動させる場合と仮想空間を回転させる場合とのカメラ視点の高さの変化量を示すグラフである。
本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。

実施例

0013

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

0014

なお、説明は以下の順序で行うものとする。
1.はじめに
1.1.情報処理装置の概要
1.2.技術的課題
1.3.提案技術の概要
2.構成例
3.技術的特徴
3.1.ユーザの視線に関する情報の取得
3.2.仮想空間情報の取得
3.3.回転補正処理
3.4.動作モード選択
3.5.音像定位
4.処理の流れ
5.ユースケース
6.変形例
7.ハードウェア構成例
8.まとめ

0015

<<1.はじめに>>
<1.1.情報処理装置の概要>
図1は、本開示の一実施形態に係る情報処理装置の概要を説明するための図である。図1に示した例では、情報処理装置1は、HMD(Head Mounted Display)である。実空間10(第1の空間に相当)にいるユーザは、HMD1を装着し、仮想空間20(第2の空間に相当)に関するVRコンテンツ鑑賞する。なお、VRコンテンツとは、仮想空間20の画像データを含む。VRコンテンツは、仮想空間20の音声データを含んでいてもよい。以下では、一例として、仮想空間20は全天球画像であるものとする。なお、仮想空間20は、半天球画像(上90度左右360度のパノラマ画像)又はその他の任意の撮像範囲を有する画像であってもよい。

0016

HMD1は、VRコンテンツを再生する情報処理装置の一例である。HMD1は、画像を表示可能な表示部がユーザの眼の前に位置するようにして、ユーザの頭部に装着される。そして、HMD1は、VRコンテンツを再生(例えば、表示及び/又は音声出力)する。VRコンテンツを再生する情報処理装置は、HMD1の他にも、スマートフォンタブレット端末又はプロジェクタ等により実現されてもよい。

0017

実空間10の座標系は、X1軸、Y1軸及びZ1軸により定義される。X1軸及びY1軸は、実空間10の水平面11を定義する座標軸である。詳しくは、Y1軸は第1の基準方向の水平成分に一致する座標軸であり、X1軸はY1軸に直交する座標軸である。また、Z1軸は、実空間10の鉛直方向に一致する座標軸である。第1の基準方向とは、ユーザにとって見やすい方向であり、典型的には実空間10の水平面11の方向である。実空間10の原点は、ユーザの視点又は頭部であり、実空間10の水平面11とは、実空間10の原点を通る水平面であるものとする。また、第1の基準方向とは、実空間10の原点を一端とする他端への方向である。

0018

仮想空間20の座標系は、X2軸、Y2軸、及びZ2軸により定義される。X2軸及びY2軸は、仮想空間20の水平面21を定義する座標軸である。詳しくは、Y2軸は第2の基準方向の水平成分に一致する座標軸であり、X2軸はY2軸に直交する座標軸である。また、Z2軸は、仮想空間20の鉛直方向に一致する座標軸である。第2の基準方向とは、仮想空間20における特定の位置(以下、対象位置とも称する)の方向である。対象位置は、典型的には、仮想空間20のうちユーザが見たい、又はユーザに見せたい位置である。仮想空間20の水平面21とは、VRコンテンツのカメラ位置を原点する水平面であるものとする。仮想空間20の原点は、VRコンテンツのカメラ位置であり、仮想空間20の水平面21とは、仮想空間20の原点を通る水平面であるものとする。また、第2の基準方向とは、仮想空間20の原点を一端とする他端への方向である。

0019

HMD1は、まず、実空間10に対する仮想空間20の姿勢を決定する、キャリブレーション処理を行う。以下、キャリブレーション処理について説明する。

0020

(1)第1のキャリブレーション処理
典型的なVR技術においては、キャリブレーション処理において、実空間10の原点と仮想空間20の原点とを一致させた上で、実空間10の水平面11と仮想空間20の水平面21とを一致させる処理が行われる。このようなキャリブレーション処理を、第1のキャリブレーション処理とも称する。

0021

図1の左図は、第1のキャリブレーション処理後の初期状態における実空間10及び仮想空間20の様子を示している。なお、初期状態とは、頭部方向と第1の基準方向とが一致する状態を指す。これに対し、初期状態以外の状態、即ち頭部方向と第1の基準方向とが一致しない状態を、変化状態とも称する。図1の右図は、第1のキャリブレーション処理後の変化状態における実空間10及び仮想空間20の様子を示している。

0022

図1の左図に示す例では、第1のキャリブレーション処理により、X1軸とX2軸とが一致し、Y1軸とY2軸とが一致し、Z2軸とZ2軸とが一致する。これにより、ユーザが重力方向に基づいて知覚する実空間10の空間認識(実空間10の水平面11及び鉛直方向の認識)と、ユーザが見る仮想空間20の画像に基づいて知覚する仮想空間20の空間認識(仮想空間20の水平面21及び鉛直方向の認識)と、が一致することとなる。従って、ユーザは、違和感なく仮想空間20を鑑賞することができる。

0023

HMD1は、VRコンテンツを表示する。その際、HMD1は、図1の左図に示すように、仮想空間20のうち、ユーザの視線に関する方向Sの位置Vの画像(例えば、位置Vを中心とする所定領域の画像)を表示する。ユーザの視線に関する方向Sとは、ユーザの視線方向であってもよいし、ユーザの頭部方向であってもよい。視線方向とは、眼球の方向(例えば、注視点の方向)を意味する。頭部方向とは、顔の向きを意味する。以下では、ユーザの視線に関する方向Sは、頭部方向であるものとして説明する。

0024

キャリブレーション処理後、ユーザが頭部方向Sを変化させると、HMD1は、仮想空間20におけるユーザの頭部方向Sの位置Vの画像を表示する。図1の右図に示した例では、HMD1は、仮想空間20のうち変化後の頭部方向Sの位置Vの画像を表示する。このようにして、ユーザは、VRコンテンツ内で360度ぐるりと回りを見渡す体験を享受することができる。

0025

(2)第2のキャリブレーション処理
第1の基準方向(即ち、ユーザにとって見やすい方向)のピッチ角と第2の基準方向(即ち、対象位置の方向)のピッチ角とは、一致することが望ましい。その場合、ユーザは、見やすい方向に頭部方向Sを向けながら(例えば、頭を上下に傾けずに)、対象位置を含む領域(例えば、対象位置を中心とする所定領域、以下、対象領域とも称する)の画像を鑑賞することができるためである。ここでのピッチ角とは、実空間10の水平面11を基準とする上下方向の回転角度であるものとする。例えば、ユーザの頭部方向Sの水平成分がY1軸と一致する場合、ピッチ軸はX1と一致し、ピッチ角はX1軸まわりの回転角度となる。

0026

しかし、第1のキャリブレーション処理を行った場合、第1の基準方向のピッチ角と第2の基準方向のピッチ角とが一致しない場合がある。そこで、本実施形態に係るHMD1は、第2のキャリブレーション処理を行う。第2のキャリブレーション処理について、図2を参照して説明する。

0027

図2は、本実施形態に係る第2のキャリブレーション処理を説明するための図である。図2の左図は、第1のキャリブレーション処理後の初期状態における実空間10及び仮想空間20の様子を示しており、図2の右図は、第2のキャリブレーション処理後の初期状態における実空間10及び仮想空間20の様子を示している。

0028

図2の左図に示すように、第1のキャリブレーション処理により、実空間10の水平面11と仮想空間20の水平面21とが一致している。しかし、対象領域Tの方向は、実空間10の水平面11から上にずれている(即ち、ピッチ角≠0)。そのため、ユーザは、対象領域Tの画像をHMD1に表示させるために、即ち、位置Vと対象領域Tとを一致させるために、ピッチ軸まわりに頭部方向Sを回転させて、頭部方向Sを対象領域Tの方向に向けることが要される。つまり、ユーザは、対象領域Tの画像を鑑賞するために、頭を上に傾けることが強いられる。VRコンテンツの鑑賞時間が長時間にわたり得ることを考慮すれば、その負担は無視できない。

0029

その対策として、キャリブレーション処理において、予め仮想空間20を回転させて、第1の基準方向と、第2の基準方向とを一致させることが挙げられる。このようなキャリブレーション処理を、第2のキャリブレーション処理とも称する。第2のキャリブレーション処理により、実空間10の水平面11と仮想空間20の水平面21とがずれる。その結果、図2の右図に示すように、対象領域Tの方向は、実空間10の水平面11上に位置することとなり(即ち、ピッチ角≠0)、初期状態における頭部方向Sの位置Vと対象領域Tとが一致するようになる。そのため、ユーザは、ピッチ軸まわりに頭部方向Sを回転させずとも、対象領域Tの画像をHMD1に表示させることができる。つまり、ユーザは、頭を上下に傾けずとも、対象領域Tの画像を鑑賞することができる。よって、第1のキャリブレーション処理が行われる場合にユーザにかかっていた負担が解消される。

0030

<1.2.技術的課題>
しかし、第2のキャリブレーション処理を行うと、実空間10の水平面11と仮想空間20の水平面21とがずれることとなる。このままの状態で、ユーザが実空間10の水平面11に沿って(即ち、Z1軸まわりで)頭部方向Sを回転させると、図2の右図に示すように、実空間10の水平面11に沿う軌跡V´上の仮想空間20の位置V1〜V4の画像が順に表示されることとなる。軌跡V´は、仮想空間20の水平面21と交錯する。よって、ユーザが実空間10の水平面11に沿って頭部方向Sを回転させても、仮想空間20の水平面21と平行でない軌跡V´上の領域の画像が表示されてしまう。そのため、ユーザによる実空間10の空間認識と仮想空間20の空間認識とが一致しなくなり、ユーザに違和感を与えてしまうこととなる。

0031

そこで、第2のキャリブレーション処理が行われる場合に、ユーザによる仮想空間と実空間との空間認識のずれを防止するための仕組みが提供されることが望ましい。

0032

<1.3.提案技術の概要>
提案技術では、まず、第2のキャリブレーション処理が実行される。上述したように、ユーザは、頭を上下に傾けずとも、対象領域Tの画像を鑑賞することができるので、第1のキャリブレーション処理が行われる場合にユーザにかかっていた負担が解消される。

0033

さらに、提案技術では、変化状態において、第2のキャリブレーション処理において行った仮想空間20の回転と同様の回転を、ユーザの頭部方向Sを基準として行う。これにより、頭部方向Sに対して常に仮想空間20が傾くようになり、ユーザが実空間10の水平面11に沿って頭部方向Sを回転させると、仮想空間20の水平面21と平行な軌跡上の領域の画像が表示されるようになる。このようにして、ユーザによる仮想空間と実空間との空間認識のずれが防止される。

0034

<<2.構成例>>
図3は、本実施形態に係る情報処理装置1(例えば、HMD1)の論理的な構成の一例を示すブロック図である。図3に示すように、HMD1は、センサ部110、操作入力部120、通信部130、表示部140、音声出力部150、記憶部160、及び制御部170を含む。

0035

(1)センサ部110
センサ部110は、HMD1又はユーザに関する各種情報を検出する機能を有する。

0036

例えば、センサ部110は、ユーザの眼を撮像するための撮像部を含む。撮像部は、撮像レンズ絞りズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作ズーム動作を行わせる駆動系、及びレンズ系で得られる撮像光光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。撮像部は、ユーザの眼を撮像し、撮像画像のデータを制御部170に出力する。

0037

例えば、HMD1は、ジャイロセンサを含む。ジャイロセンサは、HMD1の角速度を検出する。ジャイロセンサは、圧電振動子又はシリコン振動子等の振動子を含み、振動する振動子に加わるコリオリの力に基づいて角速度を検知する。ジャイロセンサは、検出した角速度を示す情報を制御部170に出力する。

0038

例えば、HMD1は、加速度センサを含む。加速度センサは、HMD1の加速度を検知する。加速度センサは、光学方式、又は半導体方式等の任意の検出方式により加速度を検出する。加速度を検知する軸数は任意であり、例えば3軸であってもよい。加速度センサは、検出した加速度を示す情報を制御部170に出力する。

0039

例えば、HMD1は、方位センサを含む。方位センサは、HMD1の方位を検出する機能を有する。例えば、方位センサは、地磁気センサを含み、地磁気センサにより検知された方位を示す情報と、HMD1における地磁気センサの設置姿勢とに基づいて、HMD1が向く方向(例えば、上述した頭部方向S)を検出する。HMD1は、検出した方位を示す情報を制御部170に出力する。

0040

(2)操作入力部120
操作入力部120は、ユーザからの操作入力を受け付ける機能を有する。例えば、操作入力部120は、ユーザからのキャリブレーション開始指示及び動作モード選択指示の入力を受け付ける。操作入力部120は、ユーザからの操作入力情報を制御部170に出力する。

0041

(3)通信部130
通信部130は、他の装置と情報を送受信するインタフェースである。通信部130は、LAN(Local Area Network)、無線LAN、Wi−Fi(登録商標)、Bluetooth(登録商標)又はNFC(Near Field Communication)等の有線又は無線の任意の通信規格準拠して通信を行う。

0042

(4)表示部140
表示部140は、画像を表示する機能を有する。表示部140は、出力制御部177による制御に基づいて、仮想空間20の画像を表示する。

0043

(5)音声出力部150
音声出力部150は、音を出力する機能を有する。音声出力部150は、出力制御部177による制御に基づいて、仮想空間20の音声を出力する。

0044

(6)記憶部160
記憶部160は、HMD1の動作のための情報を一時的に又は非一時的に記憶する機能を有する。記憶部160は、例えば、VRコンテンツを記憶したり、第2のキャリブレーション処理が実行させる度に回転情報生成部175により生成される角度情報を記憶したりする。

0045

(7)制御部170
制御部170は、HMD1内の動作全般を制御する機能を有する。図3に示すように、制御部170は、視線関連方向取得部171、仮想空間情報取得部173、回転情報生成部175、出力制御部177、及び動作モード選択部179を含む。

0046

視線関連方向取得部171は、実空間10にいるユーザの視線に関する方向を取得する機能を有する。視線関連方向取得部171は、取得したユーザの視線に関する方向を示す情報を、回転情報生成部175に出力する。

0047

仮想空間情報取得部173は、仮想空間20の情報である仮想空間情報を取得する機能を有する。仮想空間情報取得部173は、取得した仮想空間情報を出力制御部177に出力する。

0048

回転情報生成部175は、仮想空間20を回転させるための情報である回転情報を生成する生成部として機能する。回転情報生成部175は、生成した回転情報を出力制御部177に出力する。

0049

出力制御部177は、仮想空間情報及び回転情報に基づいて、出力装置にユーザへの出力情報を出力させる機能を有する。例えば、出力制御部177は、仮想空間情報及び回転情報に基づいて、出力制御情報を生成する。次いで、出力制御部177は、出力制御情報を表示部140及び音声出力部150に出力して、仮想空間20の画像を表示部140に出力させ、仮想空間20の音声を音声出力部150に出力させる。

0050

動作モード選択部179は、出力制御部177の動作モードを選択する機能を有する。動作モード選択部179は、選択した動作モードを示す情報を出力制御部177に出力して、出力制御部177の動作モードを切り替える。

0051

<<3.技術的特徴>>
<3.1.ユーザの視線に関する情報の取得>
視線関連方向取得部171は、実空間10にいるユーザの視線に関する方向を取得する。上述したように、本明細書では、ユーザの視線に関する方向は頭部方向であるものとして説明するが、ユーザの視線に関する方向は視線方向であってもよい。例えば、視線関連方向取得部171は、センサ部110に含まれるジャイロセンサ、加速度センサ、及び/又は方位センサの検出結果に基づいて、ユーザの頭部の位置及び姿勢を演算し、ユーザの頭部の姿勢に基づいてユーザの頭部方向を演算する。また、例えば、視線関連方向取得部171は、センサ部110に含まれる撮像部により撮像されたユーザの眼の画像を対象に画像認識処理を行い、画像認識結果とユーザの頭部の位置及び姿勢の演算結果とに基づいて、ユーザの視線方向を演算する。

0052

<3.2.仮想空間情報の取得>
仮想空間情報取得部173は、仮想空間情報を取得する。仮想空間情報は、上述したVRコンテンツに相当する。仮想空間情報は、仮想空間20の画像データ及び/又は仮想空間20の音声データを含む。仮想空間情報取得部173は、通信部130を介してVRコンテンツを受信したり、記憶部160に記憶されたVRコンテンツを読み出したりすることで、VRコンテンツを取得する。

0053

<3.3.回転補正処理>
(1)第1の基準方向及び第2の基準方向の設定
第1の基準方向とは、上述したように、ユーザにとって見やすい方向であり、典型的には実空間10の水平面11の方向である。例えば、第1の基準方向は、第2のキャリブレーション処理開始時の頭部方向Sの水平成分として設定されてもよい。また、第1の基準方向は、HMD1の使用開始時の頭部方向Sの水平成分、又はユーザが正面を向いたときの頭部方向Sの水平成分として、設定されてもよい。他にも、第1の基準方向は、VRコンテンツに付随する情報として予め設定されてもよい。

0054

第2の基準方向とは、上述したように、仮想空間20における特定の位置(以下、対象位置とも称する)の方向である。対象位置は、典型的には、仮想空間20のうちユーザが見たい、又はユーザに見せたい位置である。対象位置は、人の顔又は建物等のオブジェクトの位置であってもよいし、空の一点等のオブジェクト以外の位置であってもよい。対象位置は、VRコンテンツに付随する情報として予め設定されていてもよい。他にも、対象位置は、ユーザにより設定されてもよい。例えば、対象位置は、ユーザの頭部方向又は視線方向に基づいて設定されてもよい。具体的には、ユーザが、仮想空間20のあるオブジェクトに頭部方向Sを見ている状態でキャリブレーション開始指示を入力すると、当該オブジェクトの位置を特定位置とする第2のキャリブレーション処理が実行され得る。その際、当該オブジェクト上の頭部方向又は視線方向の位置が特定位置として設定されてもよいし、当該オブジェクトの中心位置が特定位置として設定されてもよい。後者の例としては、ユーザが仮想空間20における人の眼を注視していた場合、当該人の顔の中心位置が対象位置として設定されてもよい。これらより、ユーザは、仮想空間20内の任意の位置を見やすい方向に配置させることが可能となる。

0055

(2)角度情報の取得
回転情報生成部175は、第2のキャリブレーション処理のための角度情報を取得する。第2のキャリブレーション処理とは、角度情報を取得すること、及び角度情報に基づいて仮想空間20を回転させることを含む。角度情報に基づく仮想空間20の回転は、後述する回転補正処理により実現される。

0056

回転情報生成部175は、実空間10の座標系と仮想空間20の座標系とを対応付けたときの、実空間10における第1の基準方向と仮想空間20における第2の基準方向との間の角度を示す角度情報を取得する。ここでの実空間10の座標系と仮想空間20の座標系とを対応付けとは、第1のキャリブレーション処理と同様に、実空間10の原点と仮想空間20の原点とを一致させ、実空間10の水平面11と仮想空間20の水平面21とを一致させることを意味する。例えば、回転情報生成部175は、X1軸とX2軸とを一致させ、Y1軸とY2軸とを一致させ、Z2軸とZ2軸とを一致させた上で、第1の基準方向と第2の基準方向との間の角度を示す角度情報を取得する。ここでの角度情報は、第1の基準方向と第2の基準方向との間の、実空間10における水平面11を基準とした上下の方向の角度を示す情報である。より簡易には、角度情報は、第1の基準方向のピッチ角と第2の基準方向のピッチ角との差である。

0057

回転情報生成部175は、ユーザから操作入力部120に入力されたキャリブレーション開始指示に基づいて、角度情報を取得してもよい。また、角度情報の取得タイミングは、VRコンテンツに付随する情報として予め設定されてもよい。例えば、特定位置に対応するオブジェクトの高さが変化した場合には、回転情報生成部175は、変化後のオブジェクトを特定位置として設定し、角度情報を取得する。この場合、仮想空間20におけるオブジェクトの移動等に起因して第1の基準方向と第2の基準方向とが一致しなくなったときに、再度、第1の基準方向と第2の基準方向とを一致させることが可能となる。

0058

回転情報生成部175は、角度情報を生成すると、生成した角度情報を記憶部160に記憶させる。その後、回転情報生成部175は、記憶された角度情報を継続的に利用しながら、後述する回転補正処理を行う。他方、回転情報生成部175は、角度情報を再生成した場合、記憶部160に記憶された角度情報を再生成した角度情報に更新する。

0059

(2)頭部方向に応じた回転補正処理
回転情報生成部175は、角度情報、及び実空間10にいるユーザの視線に関する方向S(例えば、頭部方向)に基づいて、仮想空間20を回転させるための回転情報を生成する。ここでの回転とは、実空間10の原点と仮想空間20の原点とを一致させた上で、実空間10の原点を通る水平面11の任意の軸を回転軸として、仮想空間20を回転させることを指す。

0060

回転情報は、仮想空間20を、実空間10における水平面11を基準とした上下の方向に回転させるための情報である。より詳しくは、回転情報は、角度情報が示す角度の分、第2の基準方向から第1の基準方向への方向に、頭部方向Sに対して仮想空間20を回転させるための情報である。頭部方向Sに対して仮想空間20を回転させるとは、頭部方向Sに直交し且つ実空間10の原点を通る水平面11の回転軸まわりに(即ち、ピッチ軸周りに)、仮想空間20を回転させることを指す。

0061

そして、出力制御部177は、生成された回転情報を用いて仮想空間20を回転させ、回転させた仮想空間20を示す情報を表示部140に表示させる。詳しくは、出力制御部177は、回転情報を用いた回転後の仮想空間20における、ユーザの頭部方向Sの位置の画像を生成し、表示部140に表示させる。このような、回転情報を用いて仮想空間20を回転させることを、回転補正処理とも称する。回転補正処理を行うことで、以下に説明するように、ユーザによる実空間10の空間認識と仮想空間20の空間認識とを一致させて、ユーザに違和感を与えないようにすることが可能となる。

0062

また、回転情報生成部175は、頭部方向Sが変化する度に、回転情報を生成する。詳しくは、回転情報生成部175は、変化状態において、角度情報と変化後の頭部方向Sとに基づいて回転情報を再生成する。これにより、変化状態において、ユーザによる実空間10の空間認識と仮想空間20の空間認識とを、継続的に一致させることが可能となる。

0063

以下、図4及び図5を参照しながら回転補正処理について具体的に説明する。

0064

図4は、本実施形態に係る頭部方向Sに応じた回転情報の生成処理を説明するための図である。図4の左図は、第2のキャリブレーション処理後の初期状態における実空間10及び仮想空間20の様子を示している。図4の右図は、第2のキャリブレーション処理後の変化状態において回転補正処理を適用する場合の実空間10及び仮想空間20の様子を示している。

0065

図4の左図の左図に示すように、第2のキャリブレーション処理が実行されたことで、第1の基準方向(初期状態における頭部方向S)と第2の基準方向(対象領域Tの方向)とが一致している。仮想空間20の回転量Rは、第2のキャリブレーション処理において生成された角度情報が示す回転量である。

0066

変化状態においては、ユーザが実空間10の水平面11に沿って(即ち、Z1軸まわりで)頭部方向Sを回転させると、回転情報生成部175は、角度情報と変化後の頭部方向Sとに基づいて回転情報を再生成し、再生成した回転情報に基づいて仮想空間20を回転させる。より詳しくは、図4の右図に示すように、回転量Rの分、変化後の頭部方向Sに対して仮想空間20を回転させる。図4の左図に示す回転量Rと図4の右図に示す回転量Rは同一である。これにより、変化後の頭部方向Sの位置Vが、仮想空間20における領域T´に一致することとなる。領域T´について、図5を参照して詳しく説明する。

0067

図5は、本実施形態に係る回転情報に基づく仮想空間20の回転が行われる場合の仮想空間20における頭部方向Sの位置Vの軌跡V´の一例を示す図である。図5に示すように、回転情報に基づく仮想空間20の回転が行われる場合、頭部方向Sの位置Vの軌跡V´は、対象領域Tを通り、且つ、仮想空間20における水平面21と平行である。そして、図4の右図に示した領域T´は、この軌跡V´上の領域である。つまり、回転情報に基づく仮想空間20の回転が行われる場合、ユーザが実空間10の水平面11に沿って頭部方向Sを回転させると、仮想空間20の水平面21と平行な軌跡V´上の領域の画像が表示される。そのため、ユーザによる実空間10の空間認識と仮想空間20の空間認識とが一致する。よって、図2の右図を参照して説明した違和感を、ユーザに与えることを防止することが可能となる。

0068

なお、上記では、ユーザが実空間10の水平面11に沿って(即ち、Z1軸)まわりで頭部方向Sを回転させるものとして説明したが、もちろん、ユーザは、実空間10の水平面11と交錯するように頭部方向Sを回転させ得る。この場合でも、上述した効果は同様にして発揮される。

0069

(3)回転情報の詳細
回転情報の内容について詳しく説明する。回転情報は、仮想空間20を回転させるためのクォータニオンqを含んでいてもよい。クォータニオンqは、次式により表される。
q=qh・qt・qh−1 …(1)

0070

ここで、qtは、第2の基準方向を第1の基準方向に一致させるための実空間10における水平面11を基準とした上下の方向での回転を表すクォータニオンである。クォータニオンqtは、角度情報に基づいて生成される。また、qhは、頭部方向Sと第1の基準方向との実空間10における水平面11での回転(即ち、Z1軸まわりの回転)を表すクォータニオンである。クォータニオンqhは、第1の基準方向と現在の頭部方向Sとの間の水平面11での角度に基づいて、生成される。

0071

<3.4.動作モード選択>
動作モード選択部179は、出力制御部177の動作モードを選択する。例えば、動作モード選択部179は、動作モードを第1の動作モード又は第2の動作モードから選択し得る。第1の動作モードは、上述した回転情報を用いた第2の空間の回転を行わない動作モードである。詳しくは、第1の動作モードでは、第2のキャリブレーション処理が行われる一方で、変化状態における回転補正処理が行われない。第1の動作モードでは、図2の右図を参照して説明した、頭部方向Sに応じた画像が表示される。即ち、第2の動作モードでは、ユーザによる実空間10の空間認識と仮想空間20の空間認識とが一致しない。第2の動作モードは、上述した回転情報を用いた第2の空間の回転を行う動作モードである。詳しくは、第2の動作モードでは、第2のキャリブレーション処理、及び変化状態における回転補正処理が行われる。第2の動作モードでは、図4の右図及び図5を参照して説明した、頭部方向Sに応じた画像が表示される。即ち、第2の動作モードでは、ユーザによる実空間10の空間認識と仮想空間20の空間認識とが一致する。このような動作モードの選択により、出力制御部177は、適切な動作モードで動作することが可能となる。

0072

動作モード選択部179は、操作入力部120による操作入力情報に基づいて、動作モードを選択してもよい。例えば、操作入力部120は、第1の動作モード又は第2の動作モードを選択するよう指示する動作モード選択指示の入力を受け付け、動作モード選択部179は、かかる動作モード選択指示の通りに動作モードを選択する。

0073

動作モード選択部179は、VRコンテンツの再生時に、デフォルトで第2の動作モードを選択してもよい。そして、動作モード選択部179は、ユーザからの動作モード選択指示により、一時的に第1の動作モードを選択してもよい。

0074

出力制御部177は、仮想空間20の水平線を示す情報を表示部140に表示させてもよい。ここでの水平線を示す情報とは、仮想空間20の水平面21に平行する線を示す情報である。かかる情報の表示により、出力制御部177が第1の動作モード又は第2の動作モードのいずれで動作しているかを、ユーザに認識させることが可能となる。この点について、図6を参照して説明する。

0075

図6は、本実施形態に係るHMD1により表示される画面の一例を示す図である。図6に示す画面30Aは第1の動作モードにおいて表示され、図6に示す画面30Bは、第2の動作モードにおいて表示される。これらの画面のいずれも、ユーザが実空間10の水平面11に沿って(即ち、Z1軸まわりで)頭部方向Sを回転させたときに、表示される画面の一例である。これらの画面の左右方向は、実空間10の水平面11と平行する。また、これらの画面のいずれも、ホワイトボード31が配置された部屋の全天球画像に基づいて表示されている。

0076

画面30Aにおいて、仮想空間20の水平面21に平行する線32が表示されている。線32は、画面30Aに対し斜めに表示されているので、実空間10の水平面11と仮想空間20の水平面とが交錯していることが分かる。これにより、ユーザは、出力制御部177が第1の動作モードで動作していることを認識することができる。

0077

画面30Bにおいて、仮想空間20の水平面21に平行する線32が表示されている。線32は、画面30Bに対し水平に表示されているので、実空間10の水平面11と仮想空間20の水平面とが平行していることが分かる。これにより、ユーザは、出力制御部177が第2の動作モードで動作していることを認識することができる。

0078

<3.5.音像定位>
出力制御部177は、回転情報に基づいて、仮想空間20の音の音像定位させてもよい。例えば、VRコンテンツにおいて仮想空間20の音の出力位置が定義されている場合、出力制御部177は、音の出力位置を、補正後の回転情報に基づいて回転させることで特定する。そして、出力制御部177は、特定した出力位置から仮想空間20の音が出力されるように、音像を定位させる。これにより、出力制御部177は、画像表示と音声の出力位置とのずれを防止することが可能となり、より自然且つ没入感の高いユーザ体験を提供することが可能となる。

0079

<<4.処理の流れ>>
以下、図7を参照して、回転補正処理の流れの一例を説明する。

0080

図7は、本実施形態に係るHMD1により実行される回転補正処理の流れの一例を示すフローチャートである。図7に示すように、まず、視線関連方向取得部171は、ユーザの頭部方向Sを取得する(ステップS102)。次いで、回転情報生成部175は、第2のキャリブレーション処理を実行するか否かを判定する(ステップS104)。例えば、回転情報生成部175は、キャリブレーション開始指示が入力された場合に、第2のキャリブレーション処理を実行すると判定する。第2のキャリブレーション処理を実行すると判定された場合(ステップS104/YES)、回転情報生成部175は、角度情報を取得して(ステップS106)、記憶部160は、取得された角度情報を記憶する(ステップS108)。その後、処理はステップS110に進む。また、第2のキャリブレーション処理を実行しないと判定された場合(ステップS104/NO)、処理はステップS110に進む。

0081

次いで、回転情報生成部175は、頭部方向S及び記憶部160に記憶された角度情報に基づいて、回転情報を生成する(ステップS110)。次に、出力制御部177は、回転情報に基づいて、仮想空間20を回転させる(ステップS112)。そして、出力制御部177は、回転後の仮想空間20における頭部方向Sの画像を表示部140に表示させる(ステップS114)。

0082

<<5.ユースケース>>
(1)第1のユースケース
第1のユースケースは、ライフログに関する。

0083

本ユースケースにおいては、VRコンテンツは、全天球画像で記録されたライフログである。ユーザは、覚えておきたいシーンがある場合、その内容を思い出しやすくするために、覚えておきたいシーンをHMD1に表示させる。その際、ユーザは、覚えておきたいシーンの重要な部分を特定位置とする第2のキャリブレーション処理を実行させる。

0084

一例として、覚えておきたいシーンが、家族からシャンプーを買ってくるように依頼されたシーンであるものとする。その場合、ユーザは、薬局を通りかかったときに、当該シーンの全天球画像をHMD1に表示させる。その際、ユーザは、HMD1に、シャンプーを買ってくるように依頼する家族の顔を特定位置とする第2のキャリブレーション処理を実行させ、回転情報に基づき全天球画像を回転させる。これにより、ユーザは、シャンプーを買ってくるように依頼する家族の顔が見やすい方向に位置し、且つユーザによる実空間10の空間認識と仮想空間20の空間認識とが一致する、家族からシャンプーを買ってくるように依頼されたシーンの画像を鑑賞することが可能となる。

0085

(2)第2のユースケース
第2のユースケースは、スポーツ観戦に関する。

0086

本ユースケースにおいては、VRコンテンツは、全天球画像で記録されたスポーツ試合である。通常は、試合を実施しているコート/グラウンドよりも観客席が高くに位置しており、観客席から見ると、下方向にコート/グラウンドが位置する。そのため、全天球画像のカメラ視点が観客席に位置する場合であって、第1のキャリブレーション処理が行われる場合、ユーザは、常に頭部方向Sを下に向けることが強いられる。

0087

そこで、ユーザは、HMD1に、コート/グラウンドを特定位置とする第2のキャリブレーション処理を実行させ、回転情報に基づいて全天球画像を回転させる。これにより、ユーザは、コート/グラウンドが見やすい方向に位置し、且つユーザによる実空間10の空間認識と仮想空間20の空間認識とが一致する、スポーツの試合の画像を鑑賞することが可能となる。

0088

また、観客席をカメラ視点とする全天球画像からバードビューを用いた選手目線の全天球画像に切り替えることが可能な場合がある。第1のキャリブレーション処理が行われる場合、ユーザは、切り替え前は頭部方向Sを下方向に向け、切り替え後は頭部方向Sを水平方向に向け直すことが強いられる。この点、本実施形態によれば、ユーザは、切り替え前後で第2のキャリブレーション処理をHMD1に実行させることで、常に見やすい方向に頭部方向Sを向けながら重要な領域の画像を鑑賞することが可能となる。

0089

(3)第3のユースケース
第3のユースケースは、遠隔操作ロボットに関する。

0090

ユーザは、HMD1を装着しながら操作装置を操作し、作業用アームを有するロボット遠隔操作する。ロボットに装着された全天球カメラにより撮像された全天球画像が、HMD1により表示される。このとき、作業用アーム先端の作業位置を特定位置とする第2のキャリブレーション処理を実行させて、上述した回転情報に基づく全天球画像の回転を実行させる。これにより、ユーザは、作業用アーム先端の作業位置が見やすい方向に位置し、且つユーザによる実空間10の空間認識と仮想空間20の空間認識とが一致する、作業空間の画像を鑑賞することが可能となる。その結果、ユーザの身体的負荷を軽減して、作業効率を向上させることが可能となる。

0091

<<6.変形例>>
(1)第1の変形例
上記実施形態では、第1の基準方向は、実空間10における水平面11の方向であるものとして説明したが、本技術はかかる例に限定されない。例えば、第1の基準方向は、実空間10における水平面11を基準として所定角度下にずれた方向であってもよい。具体的には、第1の基準方向は、実空間10における水平面11を基準として下に5度から10度ずれた方向であることが望ましい。これにより、ユーザにとって最も見やすい方向を第1の基準方向として、第2のキャリブレーション処理を実行することが可能となる。

0092

なお、AR(Augmented Reality)デバイス及びVRデバイスでは、設計上、表示部の中心位置をユーザの視点から下に5度から10度ずれた方向とすることが多い。これは、かかる角度が、ユーザにとって見やすいことが経験上分かっているためである。

0093

図8は、第1の変形例に係る第2のキャリブレーション処理を説明するための図である。図8の左図は、第1のキャリブレーション処理後の初期状態における実空間10及び仮想空間20の様子を示しており、図8の右図は、第2のキャリブレーション処理後の初期状態における実空間10及び仮想空間20の様子を示している。なお、図8の左図は、図2の左図と同様である。

0094

初期状態ではユーザの頭部方向Sは第1の基準方向と一致する。そして、図8の右図に示すように、第1の基準方向は、実空間10における水平面11を基準として所定角度下にずれた方向である。第2のキャリブレーション処理により、第1の基準方向と第2の基準方向とが一致する。そのため、図8の右図に示すように、ユーザが頭部方向Sを実空間10における水平面11を基準とした所定角度下に向けると、即ち、頭部方向Sを第1の基準方向に一致させると、頭部方向Sの位置Vと第2の基準方向にある対象領域Tとが一致する。本変形例では、第1の基準方向が、実空間10における水平面11を基準として所定角度下にずれた方向にあるので、第2のキャリブレーション処理により、対象領域Tが実空間10の水平面11よりも下にずれて位置することとなる。

0095

(2)第2の変形例
上記実施形態では、仮想空間20は全天球画像であるものとして説明したが、本技術はかかる例に限定されない。例えば、仮想空間20は、モデル化された三次元空間であってもよい。その場合、HMD1は、ユーザの頭部方向Sの変化に応じて、モデル化された三次元空間内のカメラの姿勢を変化させて、かかるカメラにより得られる画像を表示する。また、HMD1は、回転情報に応じてモデル化された三次元空間のワールド全体の水平面(座標系)を回転させる。

0096

HMD1は、回転補正処理として、回転情報を用いて三次元空間のワールド全体の水平面を回転させることに代えて、カメラ視点を上下に移動させてもよい。この点について、図9を参照して説明する。図9は、第2の変形例にかかる回転補正処理について説明するための図である。なお、図9に示した例では、第1の基準方向は実空間10の水平面11の方向であるものとする。即ち、初期状態では、ユーザの頭部方向Sは実空間10の水平面11の方向を向いているものとする。

0097

図9の左図は、第1のキャリブレーション処理が行われた場合の仮想空間20におけるカメラCの位置と対象領域Tの位置との関係を示している。図9の左図に示すように、初期状態では、カメラCの撮像方向23は地面22と平行する。カメラCの地面22からの高さはLであり、対象領域Tの地面22からの高さはL+Hである。カメラCの撮像方向23は地面22に平行であり、カメラCの撮像方向23とカメラCから対象領域Tまでの方向24との角度はθである。

0098

図9の中央図は、第2のキャリブレーション処理として、カメラ視点の高さを対象領域Tの高さにまで移動させた場合の、初期状態における仮想空間20におけるカメラCの位置と対象領域Tの位置との関係を示している。図9の左図に示すように、初期状態では、カメラCの撮像方向23が地面22と平行する方向を向いている。カメラCの地面22からの高さはL+Hであり、対象領域Tの地面22からの高さL+Hと同一である。そのため、初期状態において、カメラCの撮像方向23は地面22に平行であり、カメラCの撮像方向23とカメラCから対象領域Tまでの方向24と一致する。ユーザが、実空間10の水平面11に沿って頭部方向Sを回転させると、カメラCの撮像方向23は地面22の平行を保ったまま水平に回転する。従って、対象領域Tを通り、且つ、地面22と平行する軌跡上の領域の画像が表示される。よって、ユーザによる実空間10の空間認識と仮想空間20の空間認識とを一致するので、ユーザに違和感を与えないようにすることが可能となる。

0099

図9の右図は、第2のキャリブレーション処理として、回転情報に基づいて仮想空間20を回転させた場合の、初期状態における仮想空間20におけるカメラCの位置と対象領域Tの位置との関係を示している。図9の右図に示すように、カメラCの姿勢はθ傾いており、その結果、カメラCの撮像方向23は、カメラCから対象領域Tまでの方向24と一致する。初期状態では、カメラCの撮像方向23は、地面22に交錯する方向を向いている。カメラCの地面22からの仮想的な高さはL/cosθであり、対象領域Tの地面22からの高さはL+Hである。ユーザが、実空間10の水平面11に沿って頭部方向Sを回転させると、傾きθを保ったままカメラCが地面22と平行に回転する。これにより、対象領域Tを通り、且つ、地面22と平行する軌跡上の領域の画像が表示される。よって、ユーザによる実空間10の空間認識と仮想空間20の空間認識とを一致するので、ユーザに違和感を与えないようにすることが可能となる。

0100

ここで、図9の中央図に示したカメラ視点を上下に移動させる例では、カメラCの高さはL+Hである。一方で、図9の右図に示した仮想空間20を回転させる例では、カメラCの仮想的な高さはL/cosθである。ただし、θは、−π/2<θ<π/2を満たすものとする。つまり、カメラ視点を上下に移動させる場合はカメラCの高さの変化量が|H|であるのに対し、仮想空間20を回転させる場合はL/cosθ−Lである。数式(2)を考慮すると、数式(3)の関係が成り立つ場合、仮想空間20を回転させる場合の方が、カメラ視点を上下に移動させる場合と比較して、カメラCの高さ変化が少なく、優位であると言える。
|H|>L/cosθ−L,tanθ=H/D …(2)
(1−cosθ)2/(1−cos2θ)<(D/L)2 …(3)

0101

図10は、第2の変形例においてカメラ視点を上下に移動させる場合と仮想空間20を回転させる場合とのカメラ視点の高さの変化量を示すグラフである。図10を参照すると、θが−60度〜+60度である場合に上記数式(3)が成り立ち、θが−90〜−60度、+60度〜+90度である場合に上記数式(3)が成り立たない。つまり、多くの場合、上記数式(3)が成り立つことが分かる。このことから、多くの場合、仮想空間20を回転させる場合の方が、カメラ視点を上下に移動させる場合と比較して、カメラCの高さ変化が少なく、優位であることが分かる。

0102

<<7.ハードウェア構成例>>
最後に、図11を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図11は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図11に示す情報処理装置900は、例えば、図3に示した情報処理装置1を実現し得る。本実施形態に係る情報処理装置1による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。

0103

図11に示すように、情報処理装置900は、CPU(Central Processing Unit)901、ROM(Read Only Memory)902、RAM(Random Access Memory)903及びホストバス904aを備える。また、情報処理装置900は、ブリッジ904、外部バス904b、インタフェース905、入力装置906、出力装置907、ストレージ装置908、ドライブ909、接続ポート911及び通信装置913を備える。情報処理装置900は、CPU901に代えて、又はこれとともに、電気回路、DSP若しくはASIC等の処理回路を有してもよい。

0104

CPU901は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置900内の動作全般を制御する。また、CPU901は、マイクロプロセッサであってもよい。ROM902は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM903は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。CPU901は、例えば、図3に示す制御部170を形成し得る。

0105

CPU901、ROM902及びRAM903は、CPUバスなどを含むホストバス904aにより相互に接続されている。ホストバス904aは、ブリッジ904を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス904bに接続されている。なお、必ずしもホストバス904a、ブリッジ904および外部バス904bを分離構成する必要はなく、1つのバスにこれらの機能を実装してもよい。

0106

入力装置906は、例えば、マウスキーボードタッチパネル、ボタンマイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置906は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置900の操作に対応した携帯電話やPDA等の外部接続機器であってもよい。さらに、入力装置906は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などを含んでいてもよい。情報処理装置900のユーザは、この入力装置906を操作することにより、情報処理装置900に対して各種のデータを入力したり処理動作を指示したりすることができる。これらの入力装置906は、例えば、図3に示す操作入力部120を形成し得る。

0107

他にも、入力装置906は、ユーザに関する情報を検知する装置により形成され得る。例えば、入力装置906は、画像センサ(例えば、カメラ)、深度センサ(例えば、ステレオカメラ)、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ音センサ、測距センサ力センサ等の各種のセンサを含み得る。また、入力装置906は、情報処理装置900の姿勢、移動速度等、情報処理装置900自身の状態に関する情報や、情報処理装置900の周辺の明るさや騒音等、情報処理装置900の周辺環境に関する情報を取得してもよい。また、入力装置906は、GNSS(Global Navigation Satellite System)衛星からのGNSS信号(例えば、GPS(Global Positioning System)衛星からのGPS信号)を受信して装置の緯度経度及び高度を含む位置情報を測定するGNSSモジュールを含んでもよい。また、位置情報に関しては、入力装置906は、Wi−Fi(登録商標)、携帯電話・PHS・スマートフォン等との送受信、または近距離通信等により位置を検知するものであってもよい。これらの入力装置906は、例えば、図3に示すセンサ部110を形成し得る。

0108

出力装置907は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、CRTディスプレイ装置液晶ディスプレイ装置プラズマディスプレイ装置ELディスプレイ装置レーザープロジェクタLEDプロジェクタ及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。他にも、表示装置としては、ユーザの網膜に直接的に画像を投影する網膜投影ディスプレイが挙げられる。出力装置907は、例えば、情報処理装置900が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置900が行った各種処理により得られた結果を、テキストイメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号アナログ信号に変換して聴覚的に出力する。上記表示装置は、例えば、図3に示す表示部140を形成し得る。上記音声出力装置は、例えば、図3に示す音声出力部150を形成し得る。

0109

ストレージ装置908は、情報処理装置900の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置908は、例えば、HDD等の磁気記憶デバイス半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置908は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置908は、CPU901が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置908は、例えば、図3に示す記憶部160を形成し得る。

0110

ドライブ909は、記憶媒体用リーダライタであり、情報処理装置900に内蔵、あるいは外付けされる。ドライブ909は、装着されている磁気ディスク光ディスク光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、RAM903に出力する。また、ドライブ909は、リムーバブル記憶媒体に情報を書き込むこともできる。

0111

接続ポート911は、外部機器と接続されるインタフェースであって、例えばUSB(Universal Serial Bus)などによりデータ伝送可能な外部機器との接続口である。

0112

通信装置913は、例えば、ネットワーク920に接続するための通信デバイス等で形成された通信インタフェースである。通信装置913は、例えば、有線若しくは無線LAN(Local Area Network)、LTE(Long Term Evolution)、Bluetooth(登録商標)又はWUSB(Wireless USB)用の通信カード等である。また、通信装置913は、光通信用ルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ又は各種通信用モデム等であってもよい。この通信装置913は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。通信装置913は、例えば、図3に示す通信部130を形成し得る。

0113

なお、ネットワーク920は、ネットワーク920に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク920は、インターネット、電話回線網衛星通信網などの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、ネットワーク920は、IP−VPN(Internet Protocol−Virtual Private Network)などの専用回線網を含んでもよい。

0114

以上、本実施形態に係る情報処理装置900の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。

0115

なお、上述のような本実施形態に係る情報処理装置900の各機能を実現するためのコンピュータプログラムを作製し、PC等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

0116

<<8.まとめ>>
以上、図1図11を参照して、本開示の一実施形態について詳細に説明した。上記説明したように、本実施形態に係る情報処理装置1は、実空間10の座標系と仮想空間20の座標系とを対応付けたときの、実空間10における第1の基準方向と仮想空間20における第2の基準方向との角度を示す角度情報を取得する。そして、情報処理装置1は、角度情報と実空間10にいるユーザの視線に関する方向に基づいて、仮想空間20を回転させるための回転情報を生成する。生成された回転情報により、情報処理装置1は、仮想空間20を回転させ、回転後の仮想空間20におけるユーザの視線に関する方向の領域の画像を表示することが可能となる。これにより、初期状態においては、ユーザは、頭を上下に傾けずとも、仮想空間20における第1の基準方向の領域の画像を鑑賞することが可能となる。また、変化状態においては、ユーザの視線に関する方向に対して常に仮想空間20が傾くようになり、ユーザが実空間10の水平面11に沿って頭部方向Sを回転させると、仮想空間20の水平面21と平行な軌跡上の領域の画像が表示されるようになる。これにより、ユーザによる仮想空間と実空間との空間認識のずれが防止される。

0117

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

0118

なお、本明細書において説明した各装置は、単独の装置として実現されてもよく、一部または全部が別々の装置として実現されても良い。例えば、図3に示した情報処理装置1の機能構成例のうち、制御部170が、センサ部110、操作入力部120、通信部130、表示部140、音声出力部150、及び記憶部160とネットワーク等で接続されたサーバ等の装置に備えられていても良い。

0119

また、本明細書においてフローチャート及びシーケンス図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。

0120

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

0121

なお、以下のような構成も本開示の技術的範囲に属する。
(1)
第1の空間の座標系と第2の空間の座標系とを対応付けたときの前記第1の空間における第1の基準方向と前記第2の空間における第2の基準方向との間の角度を示す角度情報、及び前記第1の空間にいるユーザの視線に関する方向に基づいて、前記第2の空間を回転させるための回転情報を生成する生成部、
を備える情報処理装置。
(2)
前記回転情報は、前記第2の空間を、前記第1の空間における水平面を基準とした上下の方向に回転させるための情報である、前記(1)に記載の情報処理装置。
(3)
前記回転情報は、前記角度情報が示す角度の分、前記第2の基準方向から第1の基準方向への方向に、前記ユーザの視線に関する方向に対して前記第2の空間を回転させるための情報である、前記(1)又は(2)に記載の情報処理装置。
(4)
前記角度情報は、前記第1の基準方向と前記第2の基準方向との間の、前記第1の空間における水平面を基準とした上下の方向の角度を示す情報である、前記(1)〜(3)のいずれか一項に記載の情報処理装置。
(5)
前記回転情報は、前記第2の空間を回転させるためのクォータニオンqを含み、
前記第2の基準方向を前記第1の基準方向に一致させるための前記第1の空間における水平面を基準とした上下の方向での回転を表すクォータニオンをqtとし、前記ユーザの視線に関する方向と前記第1の基準方向との前記第1の空間における水平面での回転を表すクォータニオンをqhとした場合、クォータニオンqは、q=qh・qt・qh−1で表される、前記(1)〜(4)のいずれか一項に記載の情報処理装置。
(6)
前記生成部は、前記ユーザの視線に関する方向が変化する度に、前記回転情報を生成する、前記(1)〜(5)のいずれか一項に記載の情報処理装置。
(7)
前記情報処理装置は、前記回転情報を用いて前記第2の空間を回転させ、回転させた前記第2の空間を示す情報を表示部に表示させる出力制御部を備える、前記(1)〜(6)のいずれか一項に記載の情報処理装置。
(8)
前記情報処理装置は、前記出力制御部の動作モードを第1の動作モード又は第2の動作モードから選択する動作モード選択部をさらに備え、
前記第1の動作モードは、前記回転情報を用いた前記第2の空間の回転を行わない動作モードであり、
前記第2の動作モードは、前記回転情報を用いた前記第2の空間の回転を行う動作モードである、前記(7)に記載の情報処理装置。
(9)
前記出力制御部は、前記第2の空間の水平線を示す情報を表示させる、前記(7)又は(8)に記載の情報処理装置。
(10)
前記出力制御部は、前記回転情報に基づいて、前記第2の空間の音の音像を定位させる、前記(7)〜(9)のいずれか一項に記載の情報処理装置。
(11)
前記ユーザの視線に関する方向は、前記ユーザの視線方向である、前記(1)〜(10)のいずれか一項に記載の情報処理装置。
(12)
前記ユーザの視線に関する方向は、前記ユーザの頭部方向である、前記(1)〜(10)のいずれか一項に記載の情報処理装置。
(13)
前記第1の基準方向は、前記第1の空間における水平面の方向である、前記(1)〜(12)のいずれか一項に記載の情報処理装置。
(14)
前記第1の基準方向は、前記第1の空間における水平面を基準として所定角度下にずれた方向である、前記(1)〜(12)のいずれか一項に記載の情報処理装置。
(15)
前記第2の基準方向は、前記第2の空間における特定の位置の方向である、前記(1)〜(14)のいずれか一項に記載の情報処理装置。
(16)
前記特定の位置は、前記ユーザの視線に関する方向に基づいて設定される、前記(15)のいずれか一項に記載の情報処理装置。
(17)
前記第1の空間は実空間であり、前記第2の空間は全天球画像である、前記(1)〜(16)のいずれか一項に記載の情報処理装置。
(18)
前記第1の空間は実空間であり、前記第2の空間はモデル化された三次元空間である、前記(1)〜(16)のいずれか一項に記載の情報処理装置。
(19)
第1の空間の座標系と第2の空間の座標系とを対応付けたときの前記第1の空間における第1の基準方向と前記第2の空間における第2の基準方向との間の角度を示す角度情報、及び前記第1の空間にいるユーザの視線に関する方向に基づいて、前記第2の空間を回転させるための回転情報をプロセッサにより生成すること、
を含む情報処理方法。
(20)
コンピュータを、
第1の空間の座標系と第2の空間の座標系とを対応付けたときの前記第1の空間における第1の基準方向と前記第2の空間における第2の基準方向との間の角度を示す角度情報、及び前記第1の空間にいるユーザの視線に関する方向に基づいて、前記第2の空間を回転させるための回転情報を生成する生成部、
として機能させるためのプログラム。

0122

1情報処理装置、HMD
10 実空間
11 実空間の水平面
20仮想空間
21 仮想空間の水平面
110センサ部
120操作入力部
130通信部
140 表示部
150音声出力部
160 記憶部
170 制御部
171視線関連方向取得部
173仮想空間情報取得部
175回転情報生成部
177出力制御部
179動作モード選択部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 京セラ株式会社の「 電子機器、制御方法、及びプログラム」が 公開されました。( 2020/10/29)

    【課題】操作性を向上させた電子機器、制御方法、及びプログラムを提供する。【解決手段】電子機器1は、自機器に接触されないジェスチャを検出する第1センサ(近接センサ18)と、自機器に接触されるタッチを検出... 詳細

  • 京セラ株式会社の「 電子機器、制御方法、及びプログラム」が 公開されました。( 2020/10/29)

    【課題】移動体の運転の安全性を向上可能な電子機器、制御方法、及びプログラムを提供する。【解決手段】自動車に搭載可能な電子機器は、自機器に触れられずにジェスチャを検出する第1センサと、自機器に接触される... 詳細

  • 威海火峰電脳有限公司の「 マウスパッドの固定と調節装置」が 公開されました。( 2020/10/29)

    【課題】本発明はマウスパッドの固定と調節装置を開示した。【解決手段】主体を含み、前記主体の中には巻き装置が設置され、前記主体の下側には固定装置が設置され、前記巻き装置の上側には切換装置が設置され、前記... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ