図面 (/)

技術 情報処理装置及び情報処理方法、コンピューター・プログラム、並びに画像処理システム

出願人 ソニー株式会社
発明者 辰田寛和河本献太小山裕一郎今孝安長谷川雄一志村大山本祐輝田中英一
出願日 2015年4月21日 (5年7ヶ月経過) 出願番号 2016-531160
公開日 2017年4月27日 (3年6ヶ月経過) 公開番号 WO2016-002318
状態 特許登録済
技術分野 テレビジョン受像機の構造の細部 デジタル計算機のユーザインターフェイス
主要キーワード センサー内蔵 直接視野 オプション製品 帽子型 角度差分 自動キャリブレーション 視聴姿勢 眺めた図
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年4月27日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題・解決手段

観察者の頭部及び体の動き追従した自由視点画像を表示する画像表示装置を提供する。頭部動作追跡装置200と胴体部動作追跡装置300でそれぞれ取得されるユーザーの頭部及び胴体姿勢情報に基づいて、表示装置500で表示する視点自由空間に、ユーザーの視線方向と体の向きを個別に定位する。視線を体前方と一致させない状態で体前方に空間上で移動するという、実空間では自然な行動表現することが可能となる。また、体の向きに関係なく、視線方向に直進するといった不自然なUIに陥ることがなくなる。

概要

背景

ユーザーの頭部又は顔部に着用される画像表示装置、すなわち、ヘッドマウントディスプレイが知られている。ヘッド・マウント・ディスプレイは、例えば左右の眼毎の画像表示部を持つとともに、ヘッドフォンと併用し、視覚及び聴覚を制御できるように構成されている。頭部に装着した際に外界を完全に遮るように構成すれば、視聴時の仮想現実感が増す。また、ヘッド・マウント・ディスプレイは、左右の眼に違う映像を映し出すことも可能であり、左右の眼に対して視差のある画像を表示すれば3D画像を提示することができる。

この種のヘッド・マウント・ディスプレイは、虚像を眼の網膜上に結像させて、ユーザーに観察させる。ここで、虚像は、物体焦点距離よりレンズに近い位置にある場合に、その物体側に形成される。例えば、瞳孔の前方に25ミリメートルだけ離間して広視野角虚像光学系を配置し、この広視野角光学系のさらに前方に約0.7インチの有効画素範囲の大きさを持つ表示パネルを配置して、表示画像拡大虚像をユーザーの瞳に結像するヘッド・マウント・ディスプレイについて提案がなされている(例えば、特許文献1を参照のこと)。

また、ユーザーは、この種のヘッド・マウント・ディスプレイを用いて、広角画像の一部を切り出した画像を観察することができる。例えば、頭部にジャイロセンサーなどからなる頭部動作追跡装置を取り付け、ユーザーの頭部の動き追従させた全周囲360度の映像を実感できるようにしたヘッド・マウント・ディスプレイについて提案がなされている(例えば、特許文献2、特許文献3を参照のこと)。ジャイロ・センサーが検出した頭部の動きを打ち消すように、広角画像中で表示領域を移動させることで、自由視点視聴及び視点移動環境を実現することができる。

概要

観察者の頭部及び体の動きに追従した自由視点画像を表示する画像表示装置を提供する。頭部動作追跡装置200と胴体部動作追跡装置300でそれぞれ取得されるユーザーの頭部及び胴体姿勢情報に基づいて、表示装置500で表示する視点自由空間に、ユーザーの視線方向と体の向きを個別に定位する。視線を体前方と一致させない状態で体前方に空間上で移動するという、実空間では自然な行動表現することが可能となる。また、体の向きに関係なく、視線方向に直進するといった不自然なUIに陥ることがなくなる。

目的

本明細書で開示する技術の目的は、観察者の動きに追従した画像を好適に処理することができる、優れた情報処理装置及び情報処理方法コンピュータープログラム、並びに画像処理システムを提供する

効果

実績

技術文献被引用数
0件
牽制数
3件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

観察者頭部姿勢に関する第1の情報及び前記観察者の頭部以外の身体の姿勢に関する第2の情報を受信する受信部と、前記第1の情報及び前記第2の情報に基づいて、前記観察者の姿勢に対応した表示画像を生成する描画処理部と、を具備する情報処理装置

請求項2

前記受信部は、前記第2の情報として、少なくとも前記観察者の胴体の姿勢を受信し、前記描画処理部は、前記第1の情報に基づいて自由視点空間における前記観察者の視線方向を定位するとともに、前記第2の情報から得られる前記観察者の胴体の姿勢に基づいて前記自由視点空間における前記観察者の身体の向き(視点位置)を定位して、前記観察者の頭部の姿勢に追従する自由視点画像を生成する、請求項1に記載の情報処理装置。

請求項3

前記描画処理部は、前記自由視点空間における前記観察者の移動を指示する制御信号が入力されたときに、前記第2の情報から得られる前記観察者の胴体の姿勢に基づいて定位した身体の向きを正面方向と認識して移動後の地点(視点位置)を求める、請求項2に記載の情報処理装置。

請求項4

前記描画処理部は、前記第1の情報に基づいて自由視点空間における前記観察者の視線方向を定位するとともに、前記第2の情報から得られる姿勢に基づいて定位した固定位置に配置して、前記観察者の頭部姿勢に追従する自由視点画像を生成する、請求項1に記載の情報処理装置。

請求項5

前記受信部は、前記第2の情報として、少なくとも前記観察者の胴体の姿勢を受信し、前記描画処理部は、前記第1の情報に基づいて自由視点空間における前記観察者の視線方向を定位するとともに、前記第2の情報から得られる前記観察者の胴体の姿勢に基づいて前記自由視点空間における前記観察者の身体の向き(視点位置)を定位し、且つ、前記観察者の胴体に姿勢に基づいて定位した固定位置に所定の画像部品を配置して、前記観察者の頭部の姿勢に追従する自由視点画像を生成する、請求項1に記載の情報処理装置。

請求項6

キャリブレーションパラメーターを取得するキャリブレーション処理部をさらに備え、前記描画処理部は、キャリブレーション・パラメーターで補正した姿勢情報を用いて画像生成を実施する、請求項1乃至5のいずれかに記載の情報処理装置。

請求項7

前記キャリブレーション処理部は、前記第1の情報から得られる頭部の姿勢情報と、前記第2の情報から得られる第2の姿勢情報に基づいて、第2の姿勢情報を補正するためのキャリブレーション・パラメーターを計算し、前記キャリブレーション・パラメーターを用いて前記第2の姿勢情報を補正する、請求項6に記載の情報処理装置。

請求項8

前記キャリブレーション処理部は、前記頭部の姿勢情報と前記第2の姿勢情報を用いて前記第2の姿勢情報を前記頭部の姿勢情報に一致させるための姿勢変換パラメーターを前記キャリブレーション・パラメーターとして計算する、請求項7に記載の情報処理装置。

請求項9

姿勢情報はクォータニオン表記され、前記キャリブレーション処理部は、前記頭部の姿勢情報に前記第2の姿勢情報のクォータニオンのインバースを右から掛けて、第2の姿勢情報を補正するためのキャリブレーション・クォータニオンを計算し、前記第2の姿勢情報のクォータニオンに前記キャリブレーション・クォータニオンを左から掛けて補正する、請求項7に記載の情報処理装置。

請求項10

前記キャリブレーション処理部は、前記第1の情報から得られる頭部姿勢の座標系と前記第2の情報から得られる姿勢の座標系の一定期間の回転変位と、人体性質に基づいて、前記第2の姿勢情報を補正するためのキャリブレーション・パラメーターを推定する、請求項6に記載の情報処理装置。

請求項11

前記キャリブレーション処理部は、一定期間、前記第1の情報から得られる頭部の姿勢情報と前記第2の情報から得られる第2の姿勢情報に基づいて計算したキャリブレーション・パラメーターの時系列の平均を最終的なキャリブレーション・パラメーターとする、請求項6に記載の情報処理装置。

請求項12

姿勢情報はクォータニオンで表記され、前記キャリブレーション処理部は、新たに受信した第1の情報及び第2の情報からそれぞれ得られる姿勢情報のクォータニオンに基づいて新規に算出したキャリブレーション・クォータニオンと、時系列の平均で求めた直前のキャリブレーション・クォータニオンを球面線形補間して、キャリブレーション・クォータニオンを更新する、請求項11に記載の情報処理装置。

請求項13

前記第2の情報に基づいて前記観察者の胴体の姿勢が算出され、前記キャリブレーション処理部は、新たに受信した第1の情報及び第2の情報からそれぞれ得られる頭部及び胴体部の姿勢情報の、重力方向を回転軸としたときの回転方向角度差分平均値を求め、重力方向と前記平均値にキャリブレーション・パラメーターを算出する、請求項11に記載の情報処理装置。

請求項14

前記描画処理部は、前記第1の情報から得られる頭部の姿勢と前記第2の情報から得られる胴体の姿勢の差分に基づいて、前記表示部の表示画像を処理する、請求項1に記載の情報処理装置。

請求項15

生体安全対応モード下において、前記描画処理部は、前記自由視点空間内の頭部姿勢と胴体姿勢の差分が小さくなるように世界座標系を補正して、自由視点画像を生成する、請求項2又は3のいずれかに記載の情報処理装置。

請求項16

前記描画処理部は、生体安全対応モードに入った時点で自由視点空間内の頭部姿勢を固定するとともに、前記生体安全対応モード下では前記頭部姿勢検出部が検出する頭部姿勢に応じて自由視点空間内の胴体の姿勢を変化させて、自由視点画像を生成する、請求項2又は3のいずれかに記載の情報処理装置。

請求項17

前記第1の情報から得られる頭部の姿勢と前記第2の情報から得られる胴体の姿勢の差分が第1の閾値を超える状態が一定時間継続したときに前記生体安全対応モードに入り、前記差分が前記第1の閾値よりも小さい第2の閾値以下となったときに前記生体安全対応モードから出る、請求項15又は16のいずれかに記載の情報処理装置。

請求項18

観察者の頭部姿勢に関する第1の情報及び前記観察者の頭部以外の身体の姿勢に関する第2の情報を受信する受信ステップと、前記第1の情報及び前記第2の情報に基づいて、前記観察者の姿勢に対応した表示画像を生成する描画処理ステップと、を有する情報処理方法

請求項19

観察者の頭部の姿勢を検出する頭部姿勢検出部の検出結果に基づいて前記観察者の頭部の姿勢情報を算出する頭部姿勢演算部、前記観察者の頭部以外の身体の1以上の第2の部位の姿勢を検出する第2の姿勢検出部の検出結果に基づいて前記第2の部位の姿勢情報を算出する第2の姿勢演算部、前記観察者の頭部の姿勢及び前記第2の部位の姿勢に基づいて、前記観察者の頭部又は顔部に固定される表示部に表示する画像を処理する描画処理部、としてコンピューターを機能させるようにコンピューター可読形式記述されたコンピューター・プログラム

請求項20

観察者の頭部又は顔部に固定される表示部と、前記観察者の頭部の姿勢を検出する頭部姿勢検出部と、前記観察者の頭部以外の身体の1以上の第2の部位の姿勢を検出する第2の姿勢検出部と、前記観察者の頭部の姿勢及び前記第2の部位の姿勢に基づいて前記表示部の表示画像を処理する描画処理部と、を具備する画像処理システム

技術分野

0001

本明細書で開示する技術は、観察者動き追従した画像を処理する情報処理装置及び情報処理方法コンピュータープログラム、並びに画像処理システムに関する。

背景技術

0002

ユーザーの頭部又は顔部に着用される画像表示装置、すなわち、ヘッドマウントディスプレイが知られている。ヘッド・マウント・ディスプレイは、例えば左右の眼毎の画像表示部を持つとともに、ヘッドフォンと併用し、視覚及び聴覚を制御できるように構成されている。頭部に装着した際に外界を完全に遮るように構成すれば、視聴時の仮想現実感が増す。また、ヘッド・マウント・ディスプレイは、左右の眼に違う映像を映し出すことも可能であり、左右の眼に対して視差のある画像を表示すれば3D画像を提示することができる。

0003

この種のヘッド・マウント・ディスプレイは、虚像を眼の網膜上に結像させて、ユーザーに観察させる。ここで、虚像は、物体焦点距離よりレンズに近い位置にある場合に、その物体側に形成される。例えば、瞳孔の前方に25ミリメートルだけ離間して広視野角虚像光学系を配置し、この広視野角光学系のさらに前方に約0.7インチの有効画素範囲の大きさを持つ表示パネルを配置して、表示画像拡大虚像をユーザーの瞳に結像するヘッド・マウント・ディスプレイについて提案がなされている(例えば、特許文献1を参照のこと)。

0004

また、ユーザーは、この種のヘッド・マウント・ディスプレイを用いて、広角画像の一部を切り出した画像を観察することができる。例えば、頭部にジャイロセンサーなどからなる頭部動作追跡装置を取り付け、ユーザーの頭部の動きに追従させた全周囲360度の映像を実感できるようにしたヘッド・マウント・ディスプレイについて提案がなされている(例えば、特許文献2、特許文献3を参照のこと)。ジャイロ・センサーが検出した頭部の動きを打ち消すように、広角画像中で表示領域を移動させることで、自由視点視聴及び視点移動環境を実現することができる。

発明が解決しようとする課題

0005

本明細書で開示する技術の目的は、観察者の動きに追従した画像を好適に処理することができる、優れた情報処理装置及び情報処理方法、コンピューター・プログラム、並びに画像処理システムを提供することにある

課題を解決するための手段

0006

本願は、上記課題を参酌してなされたものであり、請求項1に記載の技術は、
観察者の頭部姿勢に関する第1の情報及び前記観察者の頭部以外の身体の姿勢に関する第2の情報を受信する受信部と、
前記第1の情報及び前記第2の情報に基づいて、前記観察者の姿勢に対応した表示画像を生成する描画処理部と、
具備する情報処理装置である。

0007

本願の請求項2に記載の技術によれば、請求項1に記載の情報処理装置の前記受信部は、前記第2の情報として、少なくとも前記観察者の胴体の姿勢を受信し、前記描画処理部は、前記第1の情報に基づいて自由視点空間における前記観察者の視線方向を定位するとともに、前記第2の情報から得られる前記観察者の胴体の姿勢に基づいて前記自由視点空間における前記観察者の身体の向き(視点位置)を定位して、前記観察者の頭部の姿勢に追従する自由視点画像を生成するように構成されている。

0008

本願の請求項3に記載の技術によれば、請求項2に記載の情報処理装置の前記描画処理部は、前記自由視点空間における前記観察者の移動を指示する制御信号が入力されたときに、前記第2の情報から得られる前記観察者の胴体の姿勢に基づいて定位した身体の向きを正面方向と認識して移動後の地点(視点位置)を求めるように構成されている。

0009

本願の請求項4に記載の技術によれば、請求項1に記載の情報処理装置の前記描画処理部は、前記第1の情報に基づいて自由視点空間における前記観察者の視線方向を定位するとともに、前記第2の情報から得られる姿勢に基づいて定位した固定位置に配置して、前記観察者の頭部姿勢に追従する自由視点画像を生成するように構成されている。

0010

本願の請求項5に記載の技術によれば、請求項1に記載の情報処理装置の前記受信部は、前記第2の情報として、少なくとも前記観察者の胴体の姿勢を受信し、前記描画処理部は、前記第1の情報に基づいて自由視点空間における前記観察者の視線方向を定位するとともに、前記第2の情報から得られる前記観察者の胴体の姿勢に基づいて前記自由視点空間における前記観察者の身体の向き(視点位置)を定位し、且つ、前記観察者の胴体に姿勢に基づいて定位した固定位置に所定の画像部品を配置して、前記観察者の頭部の姿勢に追従する自由視点画像を生成するように構成されている。

0011

本願の請求項6に記載の技術によれば、請求項1乃至5のいずれかに記載の情報処理装置は、キャリブレーションパラメーターを取得するキャリブレーション処理部をさらに備えている。そして、前記描画処理部は、キャリブレーション・パラメーターで補正した姿勢情報を用いて画像生成を実施するように構成されている。

0012

本願の請求項7に記載の技術によれば、請求項8に記載の情報処理装置の前記キャリブレーション処理部は、前記第1の情報から得られる頭部の姿勢情報と、前記第2の情報から得られる第2の姿勢情報に基づいて、第2の姿勢情報を補正するためのキャリブレーション・パラメーターを計算し、前記キャリブレーション・パラメーターを用いて前記第2の姿勢情報を補正するように構成されている。

0013

本願の請求項8に記載の技術によれば、請求項7に記載の情報処理装置の前記キャリブレーション処理部は、前記頭部の姿勢情報と前記第2の姿勢情報を用いて前記第2の姿勢情報を前記頭部の姿勢情報に一致させるための姿勢変換パラメーターを前記キャリブレーション・パラメーターとして計算するように構成されている。

0014

本願の請求項9に記載の技術によれば、姿勢情報はクォータニオン表記される。そして、請求項7に記載の情報処理装置の前記キャリブレーション処理部は、前記頭部の姿勢情報に前記第2の姿勢情報のクォータニオンのインバースを右から掛けて、第2の姿勢情報を補正するためのキャリブレーション・クォータニオンを計算し、前記第2の姿勢情報のクォータニオンに前記キャリブレーション・クォータニオンを左から掛けて補正するように構成されている。

0015

本願の請求項10に記載の技術によれば、請求項6に記載の情報処理装置の前記キャリブレーション処理部は、前記第1の情報から得られる頭部姿勢の座標系と前記第2の情報から得られる姿勢の座標系の一定期間の回転変位と、人体性質に基づいて、前記第2の姿勢情報を補正するためのキャリブレーション・パラメーターを推定するように構成されている。

0016

本願の請求項11に記載の技術によれば、請求項6に記載の情報処理装置の前記キャリブレーション処理部は、一定期間、前記第1の情報から得られる頭部の姿勢情報と前記第2の情報から得られる第2の姿勢情報に基づいて計算したキャリブレーション・パラメーターの時系列の平均を最終的なキャリブレーション・パラメーターとするように構成されている。

0017

本願の請求項12に記載の技術によれば、姿勢情報はクォータニオンで表記される。そして、請求項11に記載の情報処理装置の前記キャリブレーション処理部は、新たに受信した第1の情報及び第2の情報からそれぞれ得られる姿勢情報のクォータニオンに基づいて新規に算出したキャリブレーション・クォータニオンと、時系列の平均で求めた直前のキャリブレーション・クォータニオンを球面線形補間して、キャリブレーション・クォータニオンを更新するように構成されている。

0018

本願の請求項13に記載の技術によれば、前記第2の情報に基づいて前記観察者の胴体の姿勢が算出される。そして、請求項11に記載の情報処理装置の前記キャリブレーション処理部は、新たに受信した第1の情報及び第2の情報からそれぞれ得られる頭部及び胴体部の姿勢情報の、重力方向を回転軸としたときの回転方向角度差分平均値を求め、重力方向と前記平均値にキャリブレーション・パラメーターを算出するように構成されている。

0019

本願の請求項14に記載の技術によれば、請求項1に記載の情報処理装置の前記描画処理部は、前記第1の情報から得られる頭部の姿勢と前記第2の情報から得られる胴体の姿勢の差分に基づいて、前記表示部の表示画像を処理するように構成されている。

0020

本願の請求項15に記載の技術によれば、請求項2又は3のいずれかに記載の情報処理装置は、生体安全対応モード下において、前記描画処理部は、前記自由視点空間内の頭部姿勢と胴体姿勢の差分が小さくなるように世界座標系を補正して、自由視点画像を生成するように構成されている。

0021

本願の請求項16に記載の技術によれば、請求項2又は3のいずれかに記載の情報処理装置の前記描画処理部は、生体安全対応モードに入った時点で自由視点空間内の頭部姿勢を固定するとともに、前記生体安全対応モード下では前記頭部姿勢検出部が検出する頭部姿勢に応じて自由視点空間内の胴体の姿勢を変化させて、自由視点画像を生成するように構成されている。

0022

本願の請求項17に記載の技術によれば、請求項15又は16のいずれかに記載の情報処理装置は、前記第1の情報から得られる頭部の姿勢と前記第2の情報から得られる胴体の姿勢の差分が第1の閾値を超える状態が一定時間継続したときに前記生体安全対応モードに入り、前記差分が前記第1の閾値よりも小さい第2の閾値以下となったときに前記生体安全対応モードから出るように構成されている。

0023

また、本願の請求項18に記載の技術は、
観察者の頭部姿勢に関する第1の情報及び前記観察者の頭部以外の身体の姿勢に関する第2の情報を受信する受信ステップと、
前記第1の情報及び前記第2の情報に基づいて、前記観察者の姿勢に対応した表示画像を生成する描画処理ステップと、
を有する情報処理方法である。

0024

また、本願の請求項19に記載の技術は、
観察者の頭部の姿勢を検出する頭部姿勢検出部の検出結果に基づいて前記観察者の頭部の姿勢情報を算出する頭部姿勢演算部、
前記観察者の頭部以外の身体の1以上の第2の部位の姿勢を検出する第2の姿勢検出部の検出結果に基づいて前記第2の部位の姿勢情報を算出する第2の姿勢演算部、
前記観察者の頭部の姿勢及び前記第2の部位の姿勢に基づいて、前記観察者の頭部又は顔部に固定される表示部に表示する画像を処理する描画処理部、
としてコンピューターを機能させるようにコンピューター可読形式記述されたコンピューター・プログラムである。

0025

本願の請求項19に係るコンピューター・プログラムは、コンピューター上で所定の処理を実現するようにコンピューター可読形式で記述されたコンピューター・プログラムを定義したものである。換言すれば、本願の請求項19に係るコンピューター・プログラムをコンピューターにインストールすることによって、コンピューター上では協働的作用が発揮され、本願の請求項1に係る情報処理装置と同様の作用効果を得ることができる。

0026

また、本願の請求項20に記載の技術は、
観察者の頭部又は顔部に固定される表示部と、
前記観察者の頭部の姿勢を検出する頭部姿勢検出部と、
前記観察者の頭部以外の身体の1以上の第2の部位の姿勢を検出する第2の姿勢検出部と、
前記観察者の頭部の姿勢及び前記第2の部位の姿勢に基づいて前記表示部の表示画像を処理する描画処理部と、
を具備する画像処理システムである。

発明の効果

0027

本明細書で開示する技術によれば、観察者の動きに追従した画像を好適に処理することができる、優れた情報処理装置及び情報処理方法、コンピューター・プログラム、並びに画像処理システムを提供することができる。

0028

なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。

0029

本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図面の簡単な説明

0030

図1は、本明細書で開示する技術を適用した画像表示システム100の構成例を模式的に示した図である。
図2は、画像表示システム100の変形例を示した図である。
図3は、画像表示システム100の変形例を示した図である。
図4は、画像表示システム100のさらに他の変形例を示した図である。
図5は、表示装置500を着用したユーザーの上面図である。
図6は、表示装置500を着用したユーザーの正面図である。
図7は、ユーザーの頭部の動きのみに追従した自由視点画像を描画する処理手順を示したフローチャートである。
図8は、頭部動作追跡装置200及び胴体動作追跡装置300の各々から供給される姿勢情報に基づいて自由視点空間にユーザーの視線方向と体の向きを個別に定位する様子を示した図である
図9は、ユーザーの頭部の姿勢と身体の姿勢をともに考慮して自由視点画像を描画する処理手順を示したフローチャートである。
図10は、ユーザーの頭部の動きのみに追従した自由視点画像を説明するための図である。
図11は、ユーザーの頭部の姿勢と身体の姿勢を考慮して生成する自由視点画像を説明するための図である。
図12は、キャリブレーション・パラメーターにより補正した姿勢情報を用いて自由視点画像を描画する処理手順を示したフローチャートである。
図13は、キャリブレーション・パラメーターにより補正した姿勢情報を用いて自由視点画像を描画する他の処理手順を示したフローチャートである。
図14は、キャリブレーション・パラメーターにより補正した姿勢情報を用いて自由視点画像を描画するさらに他の処理手順を示したフローチャートである。
図15は、オート・キャリブレーションの処理手順を示したフローチャートである。
図16は、オート・キャリブレーションの他の処理手順を示したフローチャートである。
図17は、画像の注視点1701を移動して、ユーザーの視線方向1702が胴体の正面方向を向く元の位置に戻るように、自由視点画像を移動させている様子を示した図である。
図18は、第1の方法によりユーザーの不自然視聴姿勢を軽減又は回避する処理を含んだ、自由視点画像の描画処理手順を示したフローチャートである。
図19は、第2の方法によりユーザーの不自然な視聴姿勢を軽減又は回避する処理を含んだ、自由視点画像の描画処理手順を示したフローチャートである。
図20は、第2の方法によりユーザーの不自然な視聴姿勢を軽減又は回避する処理を含んだ、自由視点画像の描画処理手順を示したフローチャートである。
図21は、クォータニオンqを示した図である。
図22は、球面線形補間Slerpによりクォータニオンを補間する方法を示した図である。
図23は、ユーザーの胴体姿勢に基づいて定位した固定位置にUI部品を配置して、自由視点画像を描画する処理手順を示したフローチャートである。
図24は、ユーザーの胴体姿勢に基づいて定位した固定位置にUI部品を配置して、自由視点画像を描画する処理手順を示したフローチャートである。
図25は、ユーザーの頭部姿勢に基づいて定位した固定位置にUI部品を配置した場合の自由視点画像の表示例を示した図である。
図26は、ユーザーの頭部姿勢に基づいて定位した固定位置にUI部品を配置した場合の自由視点画像の表示例を示した図である。
図27は、ユーザーの頭部姿勢に基づいて定位した固定位置にUI部品を配置した場合の自由視点画像の表示例を示した図である。
図28は、ユーザーの頭部姿勢に基づいて定位した固定位置にUI部品を配置した場合の自由視点画像の表示例を示した図である。
図29は、ユーザーの胴体姿勢に基づいて定位した固定位置にUI部品を配置した場合の自由視点画像の表示例を示した図である。
図30は、ユーザーの胴体姿勢に基づいて定位した固定位置にUI部品を配置した場合の自由視点画像の表示例を示した図である。
図31は、ユーザーの胴体姿勢に基づいて定位した固定位置にUI部品を配置した場合の自由視点画像の表示例を示した図である。
図32は、ユーザーの胴体姿勢に基づいて定位した固定位置にUI部品を配置した場合の自由視点画像の表示例を示した図である。

実施例

0031

以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。

0032

A.システム構成
図1には、本明細書で開示する技術を適用した画像表示システム100の構成例を模式的に示している。図示の画像表示システム100は、頭部動作追跡装置200と、胴体動作追跡装置300と、描画装置400と、表示装置500で構成される。

0033

頭部動作追跡装置200は、表示装置500が表示する画像を観察するユーザーの頭部に装着して用いられ、所定の送信周期でユーザーの頭部の姿勢情報を描画装置400に出力する。また、胴体動作追跡装置300は、同ユーザーの胴体部に装着して用いられ、所定の送信周期でユーザーの胴体部の姿勢情報を描画装置400に出力する。

0034

図示の例では、頭部動作追跡装置200は、センサー部201と、姿勢角演算部202と、得られた姿勢情報を描画装置400に送信する送信部203を備えている。また、胴体動作追跡装置300は、センサー部301と、姿勢角演算部302と、得られた姿勢情報を描画装置400に送信する送信部303を備えている。頭部動作追跡装置200と胴体動作追跡装置300は、ユーザーの身体に取り付ける部位や取り付け方法相違するだけで、同様の内部構成並びに動作特性でよい。以下では、頭部動作追跡装置200の内部構成についてのみ説明するが、胴体動作追跡装置300の内部構成も同様であると理解されたい。

0035

センサー部201は、例えば、ジャイロ・センサーと加速度センサー地磁気センサーなど複数のセンサー素子を組み合わせて構成されている。ここでは、3軸ジャイロ・センサー、3軸加速度センサー、3軸地磁気センサーの合計9軸を検出可能なセンサーとする。姿勢角演算部202は、センサー部201による9軸の検出結果に基づいて、ユーザーの頭部など取り付けられた部位の姿勢情報を演算する。送信部203は、求められた姿勢情報を描画装置400に送信する。但し、胴体動作追跡装置300は、ユーザーの胴体部の向きを検出するだけで十分であれば、センサー部301は、9軸検出センサーである必要はなく、ジャイロ・センサーだけを装備する簡易な構成でもよい。

0036

本実施形態では、頭部や胴体部の姿勢情報をクォータニオンの形式で表現して扱うものとする。クォータニオンは、特異点がないことからコンピューターを用いた計算に適している。コンピューター・グラフィックスの分野では、物体の姿勢をクォータニオンで表現するのが一般的である。クォータニオンqは、下式(1)並びに図21に示すように、回転軸(ベクトル)と回転角スカラー)からなる4元数である。

0037

0038

但し、頭部動作追跡装置200や胴体動作追跡装置300の内部で、センサー部201、301が検出した姿勢角の情報からクォータニオンで表現される姿勢情報を演算することは必須ではない。頭部動作追跡装置200や胴体動作追跡装置300は、姿勢角をクォータニオン以外の形式で表現した情報を描画装置400に送信し、描画装置400側でクォータニオンを計算するようにしてもよい。また、図2に示すように、頭部動作追跡装置200や胴体動作追跡装置300は、センサー部201並びにセンサー部301のセンサー情報をそのまま出力し、描画装置400側に配設された姿勢角演算部202でセンサー情報から姿勢角をクォータニオン又はその他の形式で算出するようにしてもよい。

0039

図示の画像表示システム100では、頭部動作追跡装置200と描画装置400間、並びに胴体動作追跡装置300と描画装置400間は、Bluetooth(登録商標通信などの無線通信により相互接続されているものとする。勿論、無線通信ではなく、USB(Universal Serial Bus)のような高速有線インフェース経由で頭部動作追跡装置200と描画装置400間、並びに胴体動作追跡装置300と描画装置400間を接続するようにしてもよい。

0040

描画装置400は、表示装置500で表示する画像のレンダリング処理を行なう。描画装置400は、例えばスマートフォンタブレットなどのAndroid(登録商標)搭載端末、あるいはパーソナル・コンピューター、ゲーム機として構成されるが、これらの装置に限定される訳ではない。

0041

図示の例では、描画装置400は、頭部動作追跡装置200並びに胴体動作追跡装置300から姿勢情報を受信する受信部401と、姿勢情報に基づいて画像のレンダリング処理を行なう描画処理部402と、レンダリングした画像を表示装置500に送信する送信部402と、画像データの供給源となる画像ソース404を備えている。また、図示を省略するが、描画装置400は、音声出力部を備えていてもよい。

0042

受信部401は、Bluetooth(登録商標)通信などを介して、頭部動作追跡装置200並びに胴体動作追跡装置300から姿勢情報を受信する。上述したように、頭部動作追跡装置200からの姿勢情報はクォータニオンの形式で表現されている。

0043

画像ソース404は、例えば、画像コンテンツを記録するHDD(Hard Disc Drive)やSSD(Solid State Drive)などの記憶装置ブルーレイ(登録商標)などの記録メディア再生するメディア再生装置、ゲーム機で生成されるゲーム画像ディジタル放送信号選局受信する放送チューナー、インターネットサーバーからストリーミングされる画像コンテンツを受信する通信インターフェースラジコン自動車などの移動体装置に搭載された外部カメラによる撮影画像無線により受信する無線インターフェースなどからなる。

0044

描画処理部402は、画像ソース404の画像データから、表示装置500側で表示する画像をレンダリングする。描画処理部402は、例えば画像ソース404から供給される全天球型の原画像や4Kなどの広画角の原画像から、受信部401で受信したユーザーの頭部並びに胴体部の姿勢情報に対応した表示画角を切り出して、自由視点画像をレンダリングする。なお、インターネット上のサーバーで自由視点画像をレンダリングするというシステム構成例も想定される。この場合、例えば頭部動作追跡装置200並びに胴体動作追跡装置300がそれぞれ姿勢情報を描画装置400としての役割を果たすサーバーに送信し、サーバー側で切り出された画像を表示装置500で受信し表示するようにすればよい。

0045

描画装置400と表示装置500間は、例えばHDMI(登録商標)(High Definition Multimedia Interface)やMHL(Mobile High−definition Link)などの有線ケーブルにより接続されている。あるいは、wirelessHDやMiracastのような無線通信で接続してもよい。送信部403は、いずれかの通信路を用いて、描画処理部402でレンダリングされた非圧縮画像データ(又は、圧縮画像データでもよい)を表示装置500に送信する。

0046

表示装置500は、描画装置400から画像データを受信する受信部501と、受信した画像を表示する表示部502を備えている。表示装置500(若しくは表示部502)は、例えば、画像を観察するユーザーの頭部又は顔部に固定されるヘッド・マウント・ディスプレイ(例えば、特許文献1を参照のこと)として構成される。

0047

受信部501は、例えばHDMI(登録商標)やMHLなどの通信路を介して、描画装置400から画像データを受信する。画像データが圧縮されている場合、受信部501で復号伸長処理を行なうものとする。表示部502は、受信した画像データを画面に表示する。

0048

表示装置500がヘッド・マウント・ディスプレイとして構成される場合、例えば、表示部502は、ユーザーの左右の眼にそれぞれ固定された左右の画面を備え、左眼用画像及び右眼用画像を表示する。表示部502の画面は、例えば有機EL(Electro−Luminescence)素子(OLED)や液晶ディスプレイ(LCD)などのマイクロ・ディスプレイなどの表示パネル、あるいは、網膜直描ディスプレイなどのレーザー走査方式ディスプレイで構成される。また、表示部502は、表示画面を拡大投影して、ユーザーの瞳に所定の画角からなる拡大虚像を結像する虚像光学系を備えている。

0049

描画装置400側では、例えば全天球型の原画像や4Kなどの広画角の原画像から、ユーザーの頭部並びに胴体部の姿勢情報に対応した表示画角を切り出した画像をレンダリングする。表示装置500側では、ユーザーの頭部の姿勢の変化を打ち消すように原画像中の表示領域が移動することになる。したがって、頭部の動きに追従した自由視点画像を再現することができ、ユーザーは大画面を見渡す体験をすることができる。また、表示装置500は、画像の動きに合わせて音像を定位させるようにしてもよい。

0050

図3には、画像表示システム100の変形例を模式的に示している。図1並びに図2に示した例では、画像表示システム100は、頭部動作追跡装置200、胴体動作追跡装置300、描画装置400、表示装置500という4台の独立した装置で構成されるが、図3に示す例では、描画装置400の機能が表示装置500内に搭載されている。図3中、図1と同一の構成要素については、同一の参照番号を付している。図1に示したように、頭部動作追跡装置200又は胴体動作追跡装置300の少なくとも一方を表示装置500とは別売されるオプション製品アクセサリーなどの付属品)として構成すれば、表示装置500の小型・軽量化、低廉化になる。

0051

また、図4には、画像表示システム100のさらに他の変形例を模式的に示している。図1並びに図2に示した例では、画像表示システム100は、頭部動作追跡装置200、胴体動作追跡装置300、描画装置400、表示装置500という4台の独立した装置で構成されるが、図4に示す例では、頭部動作追跡装置200並びに描画装置400の機能が表示装置500内に搭載されている。図4中、図1と同一の構成要素については、同一の参照番号を付している。図1に示したように、胴体動作追跡装置300のみが表示装置500に外部接続される機器として構成されている。

0052

図5並びに図6には、画像表示システム100をユーザー1が利用する様子を示している。但し、図5は表示装置500を着用したユーザー1を上方から眺めた図であり、図6は表示装置500を着用したユーザー1を正面から眺めた図である。

0053

表示装置500は、ヘッド・マウント・ディスプレイであり、眼鏡型や帽子型など、人の頭部に装着し易い外観構成となっている。ユーザー1は、表示装置500を頭部に着用している。また、頭部動作追跡装置200は、表示装置500のアクセサリー部品として、同様にユーザー1の頭部に取り付けられて、ユーザー1の頭部の姿勢情報を検出するようになっている。

0054

また、図6に示すように、ユーザー1の胴体部には、胴体動作追跡装置300が取り付けられて、ユーザー1の胴体部の姿勢情報を検出するようになっている。図示の例では、胴体動作追跡装置300は、ユーザー1の腰部付近に取り付けられているが、検出する姿勢情報がユーザー1の体の向きと対応付けすることができれば、腕や肩など腰部以外の部位に取り付ける構成であってもよい。また、図示の例では、胴体動作追跡装置300は、ユーザー1が身に付けるボックス600に格納されている。

0055

ボックス600は、専用デバイスであっても良いし、ゲーム・コンソールコントローラーなどのジャイロ・センサー内蔵の機器であっても良い。後者の場合、ヘッド・マウント・ディスプレイなどの表示装置500と胴体動作追跡装置300の間にボックス600が位置する。胴体動作追跡装置300を、スマートフォンやタブレット端末などからなる描画装置400の機能が統合された機器として構成することもできる。また、ユーザー1が胴体動作追跡装置300を胴体部に取り付ける態様は任意であり、ボックス600が介在する必要は必ずしもない。ユーザーの使い易さを考慮すると、胴体動作追跡装置300の取り付け位置を厳密に規定せず、ユーザーが任意に取り付け位置を選べることが好ましい。例えば、ユーザーがポケットに入れた状態や、ベルトに引っ掛けた状態などが想定される。付言すれば、ユーザー1の体に取り付ける胴体動作追跡装置300の台数は1台に限定されず、2台以上を配設することもでき、台数に応じて体の向きを精度よく検知することができる。

0056

上述したように、頭部動作追跡装置200と描画装置400間、並びに胴体動作追跡装置300と描画装置400間は、Bluetooth(登録商標)通信などの無線通信、あるいは、USB(Universal Serial Bus)のような高速な有線インフェース経由で接続されている。

0057

ユーザー1は、表示装置500が表示する画像を視聴している間、自分の頭部や胴体部の向きを変える。描画装置400は、頭部動作追跡装置200及び胴体動作追跡装置300が検出する方位に基づいて自由視点画像を生成して、表示装置500に出力する。

0058

なお、表示装置500として適用されるヘッド・マウント・ディスプレイは、いわゆる没入型、シースルー型ビデオ・シースルー型のうちいずれの構成であってもよい。

0059

没入型ヘッド・マウント・ディスプレイは、例えばユーザーの眼を覆うようにユーザーの頭部又は顔部に装着され、ユーザーの眼に対向するようにLCDやOLEDなどの表示部を配置する。このため、没入型ヘッド・マウント・ディスプレイを装着したユーザーは、外部の風景(すなわち、現実世界の風景)を直接視野に入れることが困難である。言い換えれば、表示部に表示された映像のみが視界に入るので、画像を視聴しているユーザーに対して没入感を与えることができる。

0060

シースルー型ヘッド・マウント・ディスプレイは、ハーフミラー導光板などからなる透明な虚像光学系をユーザーの眼に対向するように配置し、この虚像光学系の内側に画像を表示する。したがって、シースルー型ヘッド・マウント・ディスプレイを装着したユーザーは、虚像光学系の内側に表示された画像を視聴している間も、画像越しに外部の風景を視野に入れることが可能である。

0061

ビデオ・シースルー型ヘッド・マウント・ディスプレイは、没入型と同様に、ユーザーの眼を覆うようにユーザーの頭部又は顔部に装着され、ユーザーの眼に対向するように表示部を配置する。但し、ビデオ・シースルー型ヘッド・マウント・ディスプレイは、カメラなどの周囲の風景を撮像する撮像部をさらに備え、撮像部によるユーザーの視線方向の撮像画像を表示部に表示することができる。ビデオ・シースルー型ヘッド・マウント・ディスプレイを装着したユーザーは、外部の風景を直接視野に入れることはできないが、表示部に表示された撮影画像で外部の風景を観察することができる。

0062

B.自由視点画像の描画処理
次に、画像表示システム100で表示する自由視点画像の描画処理について説明する。

0063

ユーザーの頭部にのみジャイロ・センサーを装備したヘッド・マウント・ディスプレイの場合(例えば、特許文献2、特許文献3を参照のこと)、頭部の変位からユーザーの視線方向を検出することが可能であり、ユーザーの頭部の動きに追従した自由視点画像を提示することができる。

0064

図7には、画像表示システム100において、ユーザーの頭部の動きのみに追従した自由視点画像を描画する処理手順をフローチャートの形式で示している。ユーザーの頭部の動きにのみ追従するとは、すなわち、ユーザーの頭部の姿勢のみを考慮し、身体の姿勢を考慮しないことを意味し、具体的には、描画装置400が頭部動作追跡装置200からの姿勢情報qHのみを入力し、胴体動作追跡装置300からの姿勢情報qBを入力しないことに相当する。

0065

頭部動作追跡装置200内では、センサー部201がユーザーの頭部の姿勢を検出し(ステップS701)、姿勢角演算部202は、その検出結果に基づいて、ユーザーの頭部の姿勢を表すクォータニオンqHを演算して(ステップS702)、送信部203から描画装置400に送信する。

0066

描画装置400は、頭部動作追跡装置200から頭部の姿勢を表すクォータニオンqHを受信するとともに、速度又は変位量など自由視点空間内で移動するための制御信号vが入力される(ステップS703)。例えば、描画装置400でゲームなどの3次元画像を生成する場合には、ゲーム・コントローラーのジョイスティックなどの操作量に応じた制御信号vを入力することになる。また、スマートフォンに操作画面を表示させ、その操作画面をユーザーが操作することにより、制御信号vを入力するようにしてもよい。あるいは、外部に設置されたカメラなどを用いてユーザーの頭部の物理的な位置の移動を検出して、制御信号vとして入力するようにしてもよい。

0067

描画処理部402では、入力された制御信号vに応じて、自由視点空間における移動量ΔHを計算する(ステップS704)。本処理ルーチンでは、胴体動作追跡装置300から取得可能なユーザーの胴体の姿勢情報を利用しないので、制御信号vはユーザーの頭部の姿勢情報qHにのみ紐付け可能であり、移動量ΔHは下式(2)に示すように求められるものとする。但し、下式(2)において、gは、速度又は変位量などを表す制御信号vから姿勢情報を表すクォータニオンqHに基づいて、自由視点空間内における移動量ΔHを算出するための関数とする。

0068

0069

描画処理部402は、自由視点空間内で、現在の地点からユーザーの頭部の姿勢qHの方向(視線方向)に移動量ΔHだけ移動した後の地点pHを計算する(ステップS705)。そして、ユーザーの頭部の姿勢情報qHに紐付けされた地点pHを新たな視点位置とし、その視点位置pHからクォータニオンqHで表される視線方向に見える画像IHをレンダリングして(ステップS706)、表示装置500に表示出力する。ここで生成される自由視点画像IHは、下式(3)に示すように、視点位置pH及び視線方向qHから見える画像を生成する関数fに基づいて生成される。

0070

0071

なお、ユーザーの頭部の姿勢を検出してからその姿勢に追従した画像を表示するまでの間には、頭部動作追跡装置200から描画装置400への姿勢情報を伝送する際に生じる伝送遅延、描画装置400で画像を描画処理する際に生じるレンダリング遅延、描画テータを表示装置500で表示する際に生じるディスプレイ遅延など、さまざまな原因による遅延時間が生じる。そこ遅延時間が長いと、過去の頭部の姿勢に対応した画像を描画することになり、画像が頭部の動作に追従しているという体感劣化させ、さらにはユーザーに酔いを起こさせることが懸念される。そこで、描画装置400では、遅延時間を考慮した画像補正を行なうようにしてもよい。例えば本出願人に既に譲渡されているPCT/2014/079205号明細書で開示されている画像処理技術を適用してもよい(描画装置400は、遅延時間を予測するとともに、受信した姿勢角データからその遅延時間後の姿勢角データを予測して、予測された遅延時間における画像をレンダリングする)。

0072

図7に示した処理手順によれば、描画装置400では、ユーザーの頭部の姿勢に追従した自由視点画像IHを生成することになる。しかしながら、ユーザーの頭部の姿勢のみを検出し、ユーザーの体の姿勢を無視すると、体の向きに関係なく視線方向に直進するというUI(User Interface)や、ゲームなどのコントローラーによって自由視点空間内の移動方向を決めるという現実空間乖離した不自然なUIに陥る。つまり頭部のみの姿勢変位検出では、視線を体前方(体の正面方向)と一致させない状態で体前方に空間を移動するという(例えば、頭を横に向けながら前進する)、実空間では自然な行動を映像で表現することができない。その結果、ユーザーは映像に没入しているという感覚を著しく損なう。

0073

これに対し、本実施形態に係る画像表示システム100では、頭部動作追跡装置200で取得されるユーザーの頭部の姿勢情報qHとともに胴体動作追跡装置300で取得されるユーザーの胴体の姿勢情報qBに基づいて、表示装置500で表示する自由視点空間に、ユーザーの視線方向と体の向きを個別に定位することができる。

0074

図8には、自由視点空間にユーザーの視線方向と体の向きを個別に定位する様子を示している。図示のように、頭部動作追跡装置200から供給される姿勢情報qHに基づいて、参照番号801で示す視線方向を定位する。また、胴体動作追跡装置300から供給される姿勢情報qBに基づいて、参照番号802で示す身体の向きを定位する。そして、描画装置400が自由視点画像を描画する際には、身体の向き802を、自由視点空間上での身体の向きとし、ユーザーが正面と認識する方位を得ることができる。

0075

したがって、本実施形態に係る画像表示システム100によれば、視線を体前方(体の正面方向)と一致させない状態で体前方に空間を移動するという(例えば、頭を横に向けながら前進する)、実空間では自然な行動を自由視点画像で表現することが可能となる。その結果、体の向きに関係なく視線方向に移動する(例えば、頭を横に向けながら前進する)というUIや、ゲームなどのコントローラーによって自由視点空間内の移動方向を決めるという現実空間と乖離した不自然なUIに陥ることがなくなる。

0076

図9には、画像表示システム100において、ユーザーの頭部の姿勢と身体の姿勢をともに考慮して自由視点画像を描画する処理手順をフローチャートの形式で示している。

0077

頭部動作追跡装置200内では、センサー部201がユーザーの頭部の姿勢を検出し(ステップS901)、姿勢角演算部202は、その検出結果に基づいて、ユーザーの頭部の姿勢を表すクォータニオンqHを演算して(ステップS902)、送信部203から描画装置400に送信する。

0078

また、胴体動作追跡装置300内では、センサー部301がユーザーの胴体の姿勢を検出し(ステップS911)、姿勢角演算部202は、その検出結果に基づいて、ユーザーの胴体の姿勢を表すクォータニオンqBを演算して(ステップS912)、送信部303から描画装置400に送信する。

0079

そして、描画装置400は、頭部動作追跡装置200から頭部の姿勢を表すクォータニオンqHを受信し、胴体動作追跡装置300から胴体の姿勢を表すクォータニオンqBを受信するとともに、速度又は変位量など自由視点空間内で移動するための制御信号vが入力される(ステップS903)。例えば、描画装置400でゲームなどの3次元画像を生成する場合には、ゲーム・コントローラーのジョイスティックなどの操作量に応じた制御信号vを入力することになる。また、スマートフォンに操作画面を表示させ、その操作画面をユーザーが操作することにより、制御信号vを入力するようにしてもよい。あるいは、外部に設置されたカメラなどを用いてユーザーの頭部の物理的な位置の移動を検出して、制御信号vとして入力するようにしてもよい。

0080

描画処理部402では、入力された制御信号vに応じて、自由視点空間における移動量ΔBを計算する(ステップS904)。本処理ルーチンでは、胴体動作追跡装置300から取得可能なユーザーの胴体の姿勢情報を利用するので、制御信号vはユーザーの胴体の姿勢情報qBに紐付けすることが可能であり、移動量ΔBは下式(4)に示すように求められる。但し、下式(4)において、gは、速度又は変位量などを表す制御信号vから姿勢情報を表すクォータニオンqBに基づいて、自由視点空間内における移動量ΔBを算出するための関数である(同上)。

0081

0082

描画処理部402は、自由視点空間内で、現在の地点からユーザーの胴体の姿勢qBの方向(すなわち、体の正面の方向)に移動量ΔBだけ移動した後の地点pBを計算する(ステップS905)。そして、ユーザーの胴体の姿勢情報qBに紐付けされた地点pBを自由視点空間における視点位置とし、その視点位置pBからクォータニオンqHで表される視線方向に見える画像IBをレンダリングして(ステップS906)、表示装置500に表示出力する。ここで生成される自由視点画像IBは、下式(5)に示すように、視点位置pB及び視線方向qHから見える画像を生成する関数fに基づいて生成される(同上)。

0083

0084

上式(4)は、ユーザーの胴体の姿勢情報qBに基づいて移動量ΔBを算出する。したがって、ステップS905では、ユーザーの頭部の姿勢情報に基づいて移動量qHを算出する上式(2)を用いた場合よりも、より自然な移動後の地点pBを算出することができる。この結果、ステップS906で生成される自由視点画像IBは、図7に示した処理手順に従って生成される自由視点画像IHと比べてより自然なUIとなる。すなわち、視線を体前方(体の正面方向)と一致させない状態で体前方に空間を移動するという(例えば、頭を横に向けながら前進する)、実空間では自然な行動を表現することが可能である。

0085

なお、図9に示した処理手順においても、ユーザーの頭部並びに胴体の姿勢を検出してから画像を表示するまでに生じる遅延時間を考慮して、画像のレンダリングを行なうようにしてもよい(同上)。

0086

本実施形態では、図8を参照しながら説明したように、頭部動作追跡装置200から供給される姿勢情報qHに基づいて、自由視点空間におけるユーザーの視線方向801を定位するとともに、胴体動作追跡装置300から供給される姿勢情報qBに基づいて、自由視点空間におけるユーザーの身体の向き802を定位する。そして、身体の向き802を、ユーザーが正面と認識する方位とする。

0087

図7並びに上式(2)に示したように、頭部の姿勢情報のみを考慮する場合、頭部の姿勢qHすなわち視線の向きにのみ紐付けして自由視点空間内での移動量を計算することになる。この場合、図8上で示すと、ユーザーの正面方向802ではなく視線方向801に向かって自由視点空間を移動する画像となってしまうので、不自然な画像の動きとなる。例えば、ゲーム・コントローラーのジョイスティックなどで、正面方向への移動を指示する制御信号vが入力されたとする。図10には、ユーザーの頭部の動きのみに追従した自由視点画像を示している。図示のように、ユーザーが頭部(視線方向1001)を左に傾けた姿勢では、正面方向1002へ進める指示がコントローラーから入力されたにも拘らず、現在の地点からユーザーの頭部の姿勢qHの方向(視線方向)1001に移動量ΔHだけ進み、その地点pHから視線方向qHに見える画像IHが生成される。すなわち、正面方向への移動が指示されたにも拘らず、視線方向1001へ進むという不自然な画像IHが生成されることになる。

0088

これに対し、図9並びに上式(4)に示したように、頭部及び胴体の姿勢情報を考慮して自由視点空間内での移動量を計算する場合、図8上で示すと、頭部の姿勢情報に基づいて視線方向801を定位するとともに、胴体の姿勢情報に基づいて自由視点空間におけるユーザーの身体の向き802を定位するので、身体の向き802をユーザーが正面の方位と認識して自由視点空間内での移動量を計算することができる。この結果、ユーザーの頭部と身体の動きに追従した自然な自由視点画像を描画することが可能になる。例えば、ゲーム・コントローラーのジョイスティックなどで、正面方向への移動を指示する制御信号vが入力されたとする。

0089

図11には、ユーザーの頭部の姿勢と身体の姿勢を考慮して生成する自由視点画像を示している。図示のように、ユーザーが頭部(視線方向1101)を左に傾けた姿勢では、正面方向1102へ進める指示がコントローラーから入力されると、現在の地点からユーザーの胴体の姿勢qBの方向(すなわち、体の正面の方向)1102に移動量ΔBだけ進み、その地点pBから視線方向qHに見える画像IBが生成される。すなわち、視線方向1101の風景が正面方向1102へ進むという自然な画像IBが生成されることになる。

0090

C.キャリブレーション
上述したように自由視点空間にユーザーの視線方向と体の向きを個別に定位する場合、頭部動作追跡装置200がユーザーの頭部の姿勢を検出する座標系と胴体動作追跡装置300がユーザーの胴体の姿勢を検出する座標系とを対応付けする必要がある。

0091

頭部動作追跡装置200は、例えば表示装置500としてのヘッド・マウント・ディスプレイ内に組み込まれる場合、ユーザーの頭部への取り付け位置はメカニカルにほぼ厳密に規定することができる。何故ならば、ユーザーは左右の眼毎の画像表示部を覗き込むという観点から、着用する度にほぼ一定の位置に取り付けるからである。

0092

一方、胴体動作追跡装置300についても、ユーザーの胴体に取り付ける初期向きをメカニカルに厳密に規定する方法も考えられる。しかしながら、ユーザーが身に付けるボックス600内に胴体動作追跡装置300を格納するような使用態様(例えば、図6を参照のこと)では、ヘッド・マウント・ディスプレイの場合のように取り付け位置を厳密に規定することは難しい。

0093

また、ユーザーの使い易さを考慮すると、胴体動作追跡装置300の取り付け位置を厳密に規定せず、ユーザーが任意に取り付け位置を選べることが好ましい。例えば、ユーザーがポケットに入れた状態や、ベルトに引っ掛けた状態などが想定される。

0094

このため、頭部動作追跡装置200がユーザーの頭部の姿勢を検出する座標系と胴体動作追跡装置300がユーザーの胴体の姿勢を検出する座標系とを相互変換するためのパラメーターを、キャリブレーションによって求める必要がある。頭部動作追跡装置200の取り付け位置が厳密に規定される場合、胴体動作追跡装置300の初期位置をキャリブレーションすればよい。言い換えれば、ユーザーが胴体動作追跡装置300を取り付けた後に1回だけキャリブレーションを実施するようにすれば、胴体動作追跡装置300の取り付け部位を、ユーザーが任意に決めることができる。

0095

キャリブレーションは、ユーザーの頭部と身体が揃って正しく正面を向いている(すなわち、正立している)状態における、頭部動作追跡装置200の検出座標系と胴体動作追跡装置300の検出座標系との対応関係の判定により行なう。また、キャリブレーションを実施するトリガーとして、例えば以下の(a)〜(c)を挙げることができる。

0096

(a)頭部動作追跡装置200又は胴体動作追跡装置300に装備されたトリガー・ボタンをユーザーが操作する。
(b)表示装置500に表示されたGUI(Graphical User Interface)を介して、ユーザーがキャリブレーションの実行を選択する。
(c)頭部動作追跡装置200又は胴体動作追跡装置300に対してユーザーが特異な入力を行なう(例えば、首を縦に2回振る、頭部動作追跡装置200と胴体動作追跡装置300の回転角速度が同期した瞬間をトリガーとする)。

0097

あるいは、上記(a)〜(c)のようにユーザーにキャリブレーションのトリガー操作を行なわせるのではなく、画像表示システム100において自動的にキャリブレーションを実施するようにしてもよい。

0098

例えば、一定期間ユーザーが正立した姿勢をとるように誘導する画像を表示し(又は、音声で指示し)、その間にキャリブレーションを行なうようにする。

0099

あるいは、ユーザーが自由視点視聴を開始した状態から一定期間の座標系の回転変位を記録し、座標系の回転変位のログ・データと人体の性質から、ユーザーが正立した状態での胴体動作追跡装置300内のセンサー部301の座標系を判定するようにしてもよい。

0100

図12には、画像表示システム100において、キャリブレーション・パラメーターにより補正した姿勢情報を用いて自由視点画像を描画する処理手順をフローチャートの形式で示している。図示の処理手順は、例えばキャリブレーションを実施した後の通常動作時において実行される。

0101

頭部動作追跡装置200内では、センサー部201がユーザーの頭部の姿勢を検出し(ステップS1201)、姿勢角演算部202は、その検出結果に基づいて、ユーザーの頭部の姿勢を表すクォータニオンqHを演算して(ステップS1202)、送信部203から描画装置400に送信する。

0102

また、胴体動作追跡装置300内では、センサー部301がユーザーの胴体の姿勢を検出し(ステップS1211)、姿勢角演算部202は、その検出結果に基づいて、ユーザーの胴体の姿勢を表すクォータニオンqBを演算して(ステップS1212)、送信部303から描画装置400に送信する。

0103

描画装置400は、頭部動作追跡装置200から頭部の姿勢を表すクォータニオンqHを受信するとともに、胴体動作追跡装置300から胴体の姿勢を表すクォータニオンqBを受信する。そして、キャリブレーション・パラメーターとしてのキャリブレーション・クォータニオンqを取得し(ステップS1221)、胴体の姿勢を表すクォータニオンqBをキャリブレーション・クォータニオンqで補正して、補正後のクォータニオンq´Bを得る(ステップS1213)。

0104

キャリブレーション・クォータニオンqは、頭部動作追跡装置200がユーザーの頭部の姿勢を検出する座標系と胴体動作追跡装置300がユーザーの胴体の姿勢を検出する座標系とを相互変換するためのパラメーターであり、キャリブレーションによって求める。姿勢情報がクォータニオンで表記される場合、これを補正するキャリブレーション・パラメーターもクォータニオンの形式で表記されるキャリブレーション・クォータニオンである。ステップS1213では、下式(6)に従って、キャリブレーション・クォータニオンqを左から掛けることによって、胴体の姿勢を表すクォータニオンqBを補正する。

0105

0106

そして、描画装置400は、速度又は変位量など自由視点空間内で移動するための制御信号vが入力される(ステップS1203)。例えば、描画装置400でゲームなどの3次元画像を生成する場合には、ゲーム・コントローラーのジョイスティックなどの操作量に応じた制御信号vを入力することになる。また、スマートフォンに操作画面を表示させ、その操作画面をユーザーが操作することにより、制御信号vを入力するようにしてもよい。あるいは、外部に設置されたカメラなどを用いてユーザーの頭部の物理的な位置の移動を検出して、制御信号vとして入力するようにしてもよい。

0107

描画処理部402では、入力された制御信号vに応じて、自由視点空間における移動量ΔBを計算する(ステップS1204)。本処理ルーチンでは、胴体動作追跡装置300から取得可能なユーザーの胴体の姿勢情報を利用するので、制御信号vはユーザーの胴体の補正後の姿勢情報q´Bに紐付けすることが可能であり、移動量ΔBは下式(7)に示すように求められる。但し、下式(7)において、gは、速度又は変位量などを表す制御信号vから姿勢情報を表す補正後のクォータニオンq´Bに基づいて、自由視点空間内における移動量ΔBを算出するための関数である(同上)。

0108

0109

描画処理部402は、自由視点空間内で、現在の地点からユーザーの胴体の姿勢qBの方向(すなわち、体の正面の方向)に移動量ΔBだけ移動した後の地点pBを計算する(ステップS1205)。そして、ユーザーの胴体の姿勢情報qBに紐付けされた地点pBを自由視点空間における視点位置とし、その視点位置pBからクォータニオンqHで表される視線方向に見える画像IBをレンダリングして(ステップS1206)、表示装置500に表示出力する。ここで生成される自由視点画像IBは、上式(5)に示したように、視点位置pB及び視線方向qHから見える画像を生成する関数fに基づいて生成される(同上)。

0110

なお、図12に示した処理手順においても、ユーザーの頭部並びに胴体の姿勢を検出してから画像を表示するまでに生じる遅延時間を考慮して、画像のレンダリングを行なうようにしてもよい(同上)。

0111

図13には、画像表示システム100において、キャリブレーション・パラメーターにより補正した姿勢情報を用いて自由視点画像を描画する、他の処理手順をフローチャートの形式で示している。図示の処理手順では、キャリブレーションは、上記の(a)〜(c)のような明示的な操作に応じて実施される。

0112

頭部動作追跡装置200内では、センサー部201がユーザーの頭部の姿勢を検出し(ステップS1301)、姿勢角演算部202は、その検出結果に基づいて、ユーザーの頭部の姿勢を表すクォータニオンqHを演算して(ステップS1302)、送信部203から描画装置400に送信する。

0113

また、胴体動作追跡装置300内では、センサー部301がユーザーの胴体の姿勢を検出し(ステップS1311)、姿勢角演算部202は、その検出結果に基づいて、ユーザーの胴体の姿勢を表すクォータニオンqBを演算して(ステップS1312)、送信部203から描画装置400に送信する。

0114

描画装置400では、まず、頭部動作追跡装置200から送られてきたユーザーの頭部の姿勢を表すクォータニオンqHと、胴体動作追跡装置300から送られてきたユーザーの胴体の姿勢を表すクォータニオンqBから、下式(8)を用いてキャリブレーション・クォータニオンqを計算して(ステップS1321)、一時的に格納する。但し、下式(8)において、「qB-1」の上付きの「−1」は、クォータニオン「qB」のインバースを意味するものとする(以下、同様)。

0115

0116

次いで、描画装置400は、上式(6)に従い、キャリブレーション・クォータニオンqを左から掛けることによって、胴体の姿勢を表すクォータニオンqBを補正する(ステップS1313)。

0117

次いで、描画装置400は、速度又は変位量など自由視点空間内で移動するための制御信号vが入力される(ステップS1303)。例えば、描画装置400でゲームなどの3次元画像を生成する場合には、ゲーム・コントローラーのジョイスティックなどの操作量に応じた制御信号vを入力することになる。また、スマートフォンに操作画面を表示させ、その操作画面をユーザーが操作することにより、制御信号vを入力するようにしてもよい。あるいは、外部に設置されたカメラなどを用いてユーザーの頭部の物理的な位置の移動を検出して、制御信号vとして入力するようにしてもよい。

0118

描画処理部402では、制御信号vから自由視点空間における移動量ΔBを計算する(ステップS1304)。本処理ルーチンでは、胴体動作追跡装置300から取得可能なユーザーの胴体の姿勢情報を利用するので、制御信号vはユーザーの胴体の補正後の姿勢情報q´Bに紐付けすることが可能であり、移動量ΔBは上式(7)に従って求められる。

0119

描画処理部402は、自由視点空間内で、現在の地点からユーザーの胴体の姿勢qBの方向(すなわち、体の正面の方向)に移動量ΔBだけ移動した後の地点pBを計算する(ステップS1305)。そして、ユーザーの胴体の姿勢情報qBに紐付けされた地点pBを自由視点空間における視点位置とし、その視点位置pBからクォータニオンqHで表される視線方向に見える画像IBをレンダリングして(ステップS1306)、表示装置500に表示出力する。ここで生成される自由視点画像IBは、上式(5)に示したように、視点位置pB及び視線方向qHから見える画像を生成する関数fに基づいて生成される(同上)。

0120

なお、図13に示した処理手順においても、ユーザーの頭部並びに胴体の姿勢を検出してから画像を表示するまでに生じる遅延時間を考慮して、画像のレンダリングを行なうようにしてもよい(同上)。

0121

図14には、画像表示システム100において、キャリブレーション・パラメーターにより補正した姿勢情報を用いて自由視点画像を描画する、さらに他の処理手順をフローチャートの形式で示している。図示の処理手順では、キャリブレーションは、一定期間の座標系の回転変位と人体の性質に基づいて、自動的に実施されるものとする。

0122

頭部動作追跡装置200内では、センサー部201がユーザーの頭部の姿勢を検出し(ステップS1401)、姿勢角演算部202は、その検出結果に基づいて、ユーザーの頭部の姿勢を表すクォータニオンqHを演算して(ステップS1402)、送信部203から描画装置400に送信する。

0123

また、胴体動作追跡装置300内では、センサー部301がユーザーの胴体の姿勢を検出し(ステップS1411)、姿勢角演算部202は、その検出結果に基づいて、ユーザーの胴体の姿勢を表すクォータニオンqBを演算して(ステップS1412)、送信部203から描画装置400に送信する。

0124

描画装置400では、一定期間の座標系の回転変位と人体の性質に基づいて、キャリブレーション・クォータニオンqを推定する(ステップS1421)。本処理手順では、ある特定の時点でのみキャリブレーション・クォータニオンqを推定するのではなく、常時処理を行なうものとする。ステップS1421においてキャリブレーション・クォータニオンqを推定する方法の詳細については、後述に譲る。

0125

次いで、描画装置400は、上式(6)に従い、キャリブレーション・クォータニオンqを左から掛けて、胴体の姿勢を表すクォータニオンqBを補正する(ステップS1413)。

0126

次いで、描画装置400は、速度又は変位量など自由視点空間内で移動するための制御信号vが入力される(ステップS1403)。例えば、描画装置400でゲームなどの3次元画像を生成する場合には、ゲーム・コントローラーのジョイスティックなどの操作量に応じた制御信号vを入力することになる。また、スマートフォンに操作画面を表示させ、その操作画面をユーザーが操作することにより、制御信号vを入力するようにしてもよい。あるいは、外部に設置されたカメラなどを用いてユーザーの頭部の物理的な位置の移動を検出して、制御信号vとして入力するようにしてもよい。

0127

描画処理部402では、制御信号vから自由視点空間における移動量ΔBを計算する(ステップS1404)。本処理ルーチンでは、胴体動作追跡装置300から取得可能なユーザーの胴体の姿勢情報を利用するので、制御信号vはユーザーの胴体の補正後の姿勢情報q´Bに紐付けすることが可能であり、移動量ΔBは上式(7)に示すように求められる(同上)。

0128

描画処理部402は、自由視点空間内で、現在の地点からユーザーの胴体の姿勢qBの方向(すなわち、体の正面の方向)に移動量ΔBだけ移動した後の地点pBを計算すると(ステップS1405)。そして、ユーザーの胴体の姿勢情報qBに紐付けされた地点pBを自由視点空間における視点位置とし、その視点位置pBからクォータニオンqHで表される視線方向に見える画像IBをレンダリングして(ステップS1406)、表示装置500に表示出力する。ここで生成される自由視点画像IBは、上式(5)に示したように、視点位置pB及び視線方向qHから見える画像を生成する関数fに基づいて生成される(同上)。

0129

なお、図14に示した処理手順においても、ユーザーの頭部並びに胴体の姿勢を検出してから画像を表示するまでに生じる遅延時間を考慮して、画像のレンダリングを行なうようにしてもよい(同上)。

0130

図15には、図14に示したフローチャート中のステップS1421で実施されるオート・キャリブレーションの処理手順をフローチャートの形式で示している。図示の処理手順では、一定期間の座標系の回転変位と人体の性質に基づいて、キャリブレーション・パラメーターqを推定する。本処理手順は、画像表示システム100内の任意の装置200〜500で実施することができるが、以下では便宜上、描画装置400で実施するものとして説明する。

0131

描画装置400は、頭部動作追跡装置200から送信されるユーザーの頭部の姿勢を表すクォータニオンqHと、胴体動作追跡装置300から送信されるユーザーの胴体の姿勢を表すクォータニオンqBを、時系列データとして常時入力する(ステップS1501)。

0132

そして、下式(9)に従って、頭部動作追跡装置200及び胴体動作追跡装置300がそれぞれ新たに検出する姿勢情報のクォータニオンに基づいて、新規のキャリブレーション・クォータニオンq´を計算して、遂次記録する(ステップS1502)。

0133

0134

ユーザーの頭部と胴体が揃って正しく正面を向いている瞬間に検出されたクォータニオンqH、qBによって算出されたキャリブレーション・クォータニオンq´は、正しいキャリブレーション・クォータニオンになる。そこで、本処理手順では、ユーザーの頭部及び胴体の姿勢を長期間測定すると、平均的には頭部と身体が揃って正しく正面を向いていることが多いという仮定に基づいて、ステップS1502で記録したキャリブレーション・クォータニオンq´の時系列の平均をとって、最終的なキャリブレーション・クォータニオンqを計算して(ステップS1503)、出力する(ステップS1504)。

0135

図13に示したように明示的な操作に応じてキャリブレーションが実施される場合と相違し、図15に示す処理手順では、キャリブレーション・クォータニオンqは固定値ではなく時々刻々変動し、ユーザーが立ったり座ったりといったセンサー部201、301への外乱要因を排除することができる。

0136

ステップS1502において、キャリブレーション・クォータニオンq´の時系列の平均化により、最終的なキャリブレーション・クォータニオンを更新する際、更新前のキャリブレーション・クォータニオンqprevと、新規に計算したキャリブレーション・クォータニオンq´を補間して、更新後のキャリブレーション・クォータニオンqupdatedを求める。

0137

姿勢を表すクォータニオンは、3次元球面上の1点として記述される。そこで、下式(10)並びに図22に示すように、クォータニオンqprevとq´の間を3次元球面上で線形補間する球面線形補間Slerpにより、更新後のキャリブレーション・パラメーターqupdatedを計算することができる。

0138

0139

上式(10)では、更新前のキャリブレーション・パラメーターqprevを重み(1−δ)で、新規の計算値q´をδで、それぞれ重み付けして、重み平均して更新後のキャリブレーション・パラメーターqupdatedを求めている(外挿ではなく内挿)。例えば、重み係数δ=0.01である。初回だけは重み1でqupdatedが更新される。このため、起動時にユーザーが正しい姿勢をとっていると(頭部と身体が揃って正しく正面を向いている)、収束が早い。

0140

Slerpの演算は、上式(10)に示したように、2項関係でのみ定義される。このため、多数のクォータニオンを同時に扱って平均を計算するのには適さない(上述したように、クォータニオンqupdatedを順次更新することはできる)。この問題を解決する(すなわち、多数のクォータニオンを同時に扱って平均を計算する)ために、対数空間での加算平均を考える。単位ベクトルuを用いて、u回りに角度θの回転を表すクォータニオンqは、下式(11)のように表すことができる。その対数をとると、下式(12)に示す通りとなる。

0141

0142

0143

したがって、キャリブレーション・クォータニオンの時系列{q´}を対数変換によって3次元空間に写像し、そこで加算平均などの代表値を算出した後、下式(13)に示すように、指数変換によってクォータニオンに戻せばよい。なお、加算平均を計算する際、外れ値の除去など必要な処理を適宜行なうものとする。

0144

0145

図16には、図14に示したフローチャート中のステップS1421で実施されるオート・キャリブレーションの他の処理手順をフローチャートの形式で示している。図示の処理手順では、一定期間の座標系の回転変位と人体の性質に基づいて、キャリブレーション・パラメーターqを推定する。但し、ユーザーの頭部姿勢と胴体の姿勢が重力方向を共通軸として持っているケースを想定し、各センサー部201、301が重力方向を検出して自動キャリブレーションを行なう機能を持つことを前提とする。本処理手順は、画像表示システム100内の任意の装置200〜500で実施することができるが、以下では便宜的に描画装置400で実施するものとして説明する。

0146

描画装置400は、頭部動作追跡装置200から送信されるユーザーの頭部の姿勢を表すクォータニオンqHと、胴体動作追跡装置300から送信されるユーザーの胴体の姿勢を表すクォータニオンqBを、時系列データとして常時入力する(ステップS1601)。

0147

ユーザーの頭部姿勢と胴体の姿勢が重力方向を共通軸として持っており、座標系のずれはθという1つパラメーターだけに集約される。そこで、ユーザーの頭部の姿勢を表すクォータニオンqHとユーザーの胴体の姿勢を表すクォータニオンqBの、重力方向を回転軸としたときの回転方向の角度差分θ(t)を計算して、遂次記録する(ステップS1602)。

0148

そして、角度差分θ(t)の平均値を算出して、その計算結果を、頭部動作追跡装置200のセンサー部201と胴体動作追跡装置300のセンサー部301の取り付け位置のずれ量であると推定する(ステップS1603)。

0149

そこで、重力方向と、角度差分θ(t)の平均値に基づいて、キャリブレーション・クォータニオンqを計算して(ステップS1604)、出力する(ステップS1605)。

0150

ステップS1604では、ユーザーの胴体の姿勢のクォータニオンqBを頭部の姿勢のクォータニオンqHと同じ座標系での表現に変換するためのキャリブレーション・クォータニオンを計算するものとする。

0151

図16に示す処理手順では、キャリブレーション・クォータニオンqは固定値ではなく時々刻々変動し、ユーザーが立ったり座ったりといったセンサー部201、301への外乱要因を排除することができる(同上)。

0152

なお、ステップS1603では、角度差分θ(t)の単純平均を計算する以外にも、以下の(d)〜(g)のいずれかの計算方法を用いるようにしてもよい。

0153

(d)度数分布中央値
(e)外れ値を除去した上での平均値
(f)速度、加速度データ判定材料に併用
(g)頭部回転限界値を判定材料に併用

0154

(f)として挙げた「速度、加速度データを判定材料に併用」は、自由視点空間内を一定範囲の速度・加速度運動しているときのデータのみを使用する。また、長時間静止している場合は、サンプルに含めない。

0155

また、(g)として挙げた「頭部回転の限界値を判定材料に併用」は、例えば、限界値θ_thを仮に120度として、測定データ中の角度差分の最大値をθ_max、最小値をθ_minとすると、[θ_max−θ_th,θ_min+θ_th]の範囲のデータのみを使って、角度差分θ(t)の平均を計算する。

0156

D.生体安全対応
ヘッド・マウント・ディスプレイなどの表示装置500で提示する自由視点空間内で、ユーザーが注視点を初期位置から90度以上動かして後方見ようとする場合、ユーザーは以下の(A)、(B)の2通りの動作を取り得る。

0157

(A)頭部のみを90度回転させる。
(B)体ごと90度回転させる。

0158

ユーザーの頭部の姿勢のみを検出して自由視点画像を描画する場合、ユーザーが上記の(A)又は(B)のうちいずれの動作を行なったかを判定することができない。動作(A)は、無理な姿勢であり、人体への影響が懸念され、製品安全上の問題がある。

0159

これに対し、本実施形態に係る画像表示システム100では、上述したように、頭部動作追跡装置200で取得されるユーザーの頭部の姿勢情報qHとともに胴体動作追跡装置300で取得されるユーザーの胴体の姿勢情報qBを利用するので、ユーザーが上記の(A)又は(B)のうちいずれの動作を行なったかを判定することができる。そこで、動作の判定結果に基づいて、自由視点視聴に起因する頭部の不自然な視聴姿勢を軽減又は回避する仕組みを導入することができる。

0160

例えば、ユーザーの不自然な視聴姿勢を軽減又は回避する第1の方法として、ユーザーの頭部が正常な位置に戻るような画像表示を行なうようにしてもよい。ユーザーの頭部及び胴体の姿勢情報qH、qBから、首や胴体を極端ったような、ユーザーにとって無理な姿勢を伴う動作(A)の状態が一定時間続いたと判定されると、ユーザーには分からないゆっくりした速度で、ユーザーの頭部が胴体の正面方向を向く元の位置に戻るような画像表示を行なう。図17には、画像の注視点1701を移動して、ユーザーの視線方向1702が胴体の正面方向を向く元の位置に戻るように、自由視点画像を移動させている様子を示している。

0161

図9図12図13図14に示した処理手順は、頭部動作追跡装置200並びに胴体動作追跡装置300で実際に検出された頭部姿勢qH、胴体姿勢qBをそのまま自由視点空間の世界座標系にマッピングして自由視点画像をレンダリングするものである。これに対し、ユーザーの不自然な視聴姿勢を軽減又は回避する第1の方法では、ユーザーが自由視点画像を視聴している際に、頭部が胴体に対し大きく捻じれるという無理な姿勢になった場合に、自由視点空間内の頭部姿勢qH*と胴体姿勢qB*の差分が小さくなるように自由視点空間の世界座標系を補正していくことで、現実空間においてもユーザーの頭部姿勢qHと胴体姿勢qBの差分が小さくなるように促す。

0162

若しくは、ユーザーの不自然な視聴姿勢を軽減又は回避する第2の方法として、頭部の動きへの追従(ヘッド・トラッキング)を自動的に解除するようにしてもよい。ユーザーにとって無理な姿勢を伴う動作(A)の状態が一定時間続いたと判定されると、頭部の動きへの追従(ヘッド・トラッキング)を自動的に解除して、注視点を正面に表示したままユーザーの頭部が胴体の正面方向を向く元の姿勢に戻させ、新たな座標合わせを行なうようにする。また、ヘッド・トラッキングを自動で解除するのではなく、ボタンを押すなどユーザーの能動的な操作に応じて解除するようにしてもよい。

0163

ユーザーの不自然な視聴姿勢を軽減又は回避する第2の方法では、自由視点空間内の頭部姿勢をヘッド・トラッキングの解除が指示された時点で固定することによって、注視点を正面に表示したままにする。そして、ヘッド・トラッキングが解除されている期間中、頭部動作追跡装置200が検出した頭部姿勢qHに応じて(すなわち、ユーザーが首を動かしたと同じ量だけ)、自由視点空間内の胴体の姿勢を変化させる。これによって、ユーザーの頭部が胴体の正面方向を向く元の姿勢に戻るように促す。

0164

図18には、第1の方法によりユーザーの不自然な視聴姿勢を軽減又は回避する処理を含んだ、自由視点画像の描画処理手順をフローチャートの形式で示している。この処理は、自由視点空間の世界座標系を補正することにより実現される。図18では図示を省略するが、世界座標系に対する補正を表すクォータニオンqWの初期値を単位クォータニオンに設定しておく。

0165

頭部動作追跡装置200内では、センサー部201がユーザーの頭部の姿勢を検出し(ステップS1801)、姿勢角演算部202は、その検出結果に基づいて、ユーザーの頭部の姿勢を表すクォータニオンqHを演算して(ステップS1802)、送信部203から描画装置400に送信する。

0166

また、胴体動作追跡装置300内では、センサー部301がユーザーの胴体の姿勢を検出し(ステップS1811)、姿勢角演算部202は、その検出結果に基づいて、ユーザーの胴体の姿勢を表すクォータニオンqBを演算して(ステップS1812)、送信部303から描画装置400に送信する。

0167

描画装置400は、頭部動作追跡装置200から頭部の姿勢を表すクォータニオンqHを受信するとともに、胴体動作追跡装置300から胴体の姿勢を表すクォータニオンqBを受信する。そして、キャリブレーション・パラメーターとしてのキャリブレーション・クォータニオンqを取得し(ステップS1821)、胴体の姿勢を表すクォータニオンqBをキャリブレーション・クォータニオンqで補正して、補正後の胴体姿勢のクォータニオンq´Bを得る(ステップS1813)。

0168

キャリブレーション・クォータニオンqは、頭部動作追跡装置200がユーザーの頭部の姿勢を検出する座標系と胴体動作追跡装置300がユーザーの胴体の姿勢を検出する座標系とを相互変換するためのパラメーターである(前述)。キャリブレーション・クォータニオンqの取得方法は任意である。ステップS1813では、上式(6)に従って、キャリブレーション・クォータニオンqを左から掛けることによって、胴体の姿勢を表すクォータニオンqBを補正する。

0169

次いで、頭部動作追跡装置200から受信した頭部姿勢のクォータニオンqHと補正後の胴体姿勢のクォータニオンq´Bに基づいて、当該画像表示システム100が生体安全対応モードか否かをモード判定する(ステップS1831)。モード判定の方法は任意である。例えば、以下の条件(C1)〜(C3)に従って、モード判定を行なうものとする。

0170

(C1)初期状態では生体安全対応モードをオフとする。
(C2)生体安全対応モードがオフで、ユーザーの頭部と胴体の姿勢の差分ψが第1の閾値ψth1を超えた状態が一定時間継続すると、生体安全対応モードをオンにする。
(C3)生体安全対応モードがオンのときに、ユーザーの頭部と胴体の姿勢の差分ψが第2の閾値ψth2を下回ると、生体安全対応モードをオフにする。

0171

ここで、上記の(C2)において、ユーザーの頭部と胴体の姿勢の差分ψは、頭部姿勢のクォータニオンqHと補正後の胴体姿勢のクォータニオンq´Bを用いて、下式(14)により計算することができる。

0172

0173

上式(14)により算出した頭部と胴体の姿勢の差分ψを、各閾値ψth1、ψth2と大小比較することで、生体安全対応モードに入るべきか否かを判定することができる。但し、上記の条件(C1)〜(C3)に従って、自動的に生体安全対応モードのオン/オフを切り換えるのではなく、ユーザーが自分の姿勢が苦しくなったときに能動的に(若しくはマニュアル操作で)生体安全対応モードのオン/オフを切り換えるようにしてもよい。

0174

そして、生体安全対応モード下では(ステップS1831のYes)、自由視点空間内の頭部姿勢と胴体姿勢の差分が小さくなるように、自由視点空間の世界座標系に対して補正を行なう(ステップS1832)。また、生体安全対応モードでなければ(ステップS1831のNo)、世界座標系の補正処理スキップする。

0175

ステップS1832で行なう世界座標系の補正とは、世界座標系を少しずつ回転させて、頭部の姿勢を胴体の姿勢に近づける操作に相当する。世界座標系に対する補正を表すクォータニオンをqWとすると、下式(15)に示すように、胴体の姿勢に近づけるクォータニオンδを左から掛けることにより、世界座標系に対する補正クォータニオンqWをアップデートする。なお、世界座標系に対する補正クォータニオンqWの初期値は単位クォータニオンとする(前述)。

0176

0177

また、胴体の姿勢に少しずつ近づけるクォータニオンδは、例えば下式(16)に示すように、頭部姿勢と胴体姿勢の差分を表すクォータニオンをn分割したクォータニオンである。ここで言うnは、ユーザーが観察して煩わしくない(若しくは、気づかない)程度にするための分割数である。あるいは、胴体の姿勢に少しずつ近づけるクォータニオンδは、例えば下式(17)に示すように、頭部姿勢と胴体姿勢の差分を正規化したクォータニオンに微小なスカラーεを乗算したクォータニオンでもよい。

0178

0179

0180

上式(16)を用いて世界座標系を補正すると、毎回補正量が変化するため、変化が大きいと不自然な動きとして観察されるおそれがある。これに対し、上式(17)を用いて世界座標系を補正すると、毎回の補正量を一定にすることができる。

0181

そして、ステップS1802で算出した頭部の姿勢のクォータニオンqHと、ステップS1813で補正した後の胴体の姿勢のクォータニオンq´Bの各々の左側からクォータニオンqWを掛けて、自由視点空間内での頭部姿勢qH*び胴体姿勢q´B*をそれぞれ補正することで(ステップS1833、S1834)、世界座標系を少しずつ回転させて、頭部の姿勢を胴体の姿勢に近づける操作を実施する。

0182

また、描画装置400は、速度又は変位量など自由視点空間内で移動するための制御信号vが入力される(ステップS1803)。例えば、描画装置400でゲームなどの3次元画像を生成する場合には、ゲーム・コントローラーのジョイスティックなどの操作量に応じた制御信号vを入力することになる。また、スマートフォンに操作画面を表示させ、その操作画面をユーザーが操作することにより、制御信号vを入力するようにしてもよい。あるいは、外部に設置されたカメラなどを用いてユーザーの頭部の物理的な位置の移動を検出して、制御信号vとして入力するようにしてもよい。

0183

次いで、描画処理部402では、世界座標系をクォータニオンqWで補正した自由視点空間における胴体姿勢q´B*に基づいて、入力された制御信号vに応じた移動量ΔB*を下式(18)により計算する(ステップS1804)。但し、下式(18)において、gは、速度又は変位量などを表す制御信号vから姿勢情報を表す補正後のクォータニオンq´B*に基づいて、自由視点空間内における移動量ΔB*を算出するための関数である(同上)。

0184

0185

次いで、描画処理部402は、自由視点空間内で、現在の地点からユーザーの胴体の姿勢qBの方向(すなわち、体の正面の方向)に移動量ΔB*だけ移動した後の地点pB*を計算する(ステップS1805)。そして、補正後のユーザーの胴体の姿勢情報qB*に紐付けされた地点pB*を自由視点空間における視点位置とし、その視点位置pB*から補正後の頭部姿勢のクォータニオンqH*で表される視線方向に見える画像IB*をレンダリングして(ステップS1806)、表示装置500に表示出力する。ここで生成される自由視点画像IB*は、視点位置pB*及び視線方向qH*から見える画像を生成する関数fに基づいて生成される(同上)。

0186

なお、図18に示した処理手順においても、ユーザーの頭部並びに胴体の姿勢を検出してから画像を表示するまでに生じる遅延時間を考慮して、画像のレンダリングを行なうようにしてもよい(同上)。

0187

図19及び図20には、第1の方法によりユーザーの不自然な視聴姿勢を軽減又は回避する処理を含んだ、自由視点画像の描画処理手順をフローチャートの形式で示している。この処理は、自由視点空間の世界座標系を補正することにより実現される。図19及び図20では図示を省略するが、世界座標系に対する補正を表すクォータニオンqWの初期値を単位クォータニオンに設定しておく。

0188

頭部動作追跡装置200内では、センサー部201がユーザーの頭部の姿勢を検出し(ステップS1901)、姿勢角演算部202は、その検出結果に基づいて、ユーザーの頭部の姿勢を表すクォータニオンqHを演算して(ステップS1902)、送信部203から描画装置400に送信する。

0189

また、胴体動作追跡装置300内では、センサー部301がユーザーの胴体の姿勢を検出し(ステップS1911)、姿勢角演算部202は、その検出結果に基づいて、ユーザーの胴体の姿勢を表すクォータニオンqBを演算して(ステップS1912)、送信部303から描画装置400に送信する。

0190

描画装置400は、頭部動作追跡装置200から頭部の姿勢を表すクォータニオンqHを受信するとともに、胴体動作追跡装置300から胴体の姿勢を表すクォータニオンqBを受信する。そして、キャリブレーション・パラメーターとしてのキャリブレーション・クォータニオンqを取得し(ステップS1921)、胴体の姿勢を表すクォータニオンqBをキャリブレーション・クォータニオンqで補正して、補正後の胴体姿勢のクォータニオンq´Bを得る(ステップS1913)。

0191

キャリブレーション・クォータニオンqは、頭部動作追跡装置200がユーザーの頭部の姿勢を検出する座標系と胴体動作追跡装置300がユーザーの胴体の姿勢を検出する座標系とを相互変換するためのパラメーターである(前述)。キャリブレーション・クォータニオンqの取得方法は任意である。ステップS1913では、上式(6)に従って、キャリブレーション・クォータニオンqを左から掛けることによって、胴体の姿勢を表すクォータニオンqBを補正する。

0192

次いで、当該画像表示システム100が生体安全対応モードに入ったか否かを判定する(ステップS1941)。生体安全対応モードに入ったか否かは、例えば、上式(14)に従って算出される頭部と胴体の姿勢の差分ψが所定の閾値を超えたか否かにより自動判別するようにしてもよい。あるいは、ユーザーが能動的に(若しくはボタンを押すなどのマニュアル操作により)ヘッド・トラッキングの解除を指示したか否かにより判別するようにしてもよい。

0193

ここで、生体安全対応モードに入ったときには(ステップS1941のYes)、現在そのモードに入った瞬間か否かをさらにチェックし(ステップS1942)、入った瞬間のユーザーの頭部の姿勢qHをqH0として保存する(ステップS1943)。

0194

そして、生体安全対応モードの期間中は、新しく検出・演算された頭部姿勢のクォータニオンqHをqH0に置き換えることで、自由視点空間内の頭部姿勢を固定することで、レンダリング時にヘッド・トラッキングされないようにする。また、ステップS1913で補正された後の胴体姿勢のクォータニオンq´Bを下式(19)に従って置き換えることで、頭部動作追跡装置200が検出する頭部姿勢qHの変化量だけ自由視点空間内の胴体の姿勢q´Bを変化させるようにする(ステップS1944)。具体的には、胴体の姿勢q´Bの左側から現在の頭部姿勢のクォータニオンqHのインバース、ヘッド・トラッキングを解除した瞬間の頭部姿勢のクォータニオンqH0を順に掛けて、頭部姿勢の変化を胴体の姿勢で補償する。

0195

0196

一方、生体安全対応モードに入っていないときには(ステップS1941のNo)、生体安全対応モードから出た瞬間か否かを判別する(ステップS1945)。そして、生体安全対応モードから出た瞬間であれば(ステップS1945のYes)、生体安全対応モードの期間中における現実の頭部姿勢の変化を補償すべく、下式(20)を用いて、世界座標系に対して補正を行なうクォータニオンqWを更新する(ステップS1946)。具体的には、クォータニオンqWの左側から現在の頭部姿勢のクォータニオンqHのインバース、ヘッド・トラッキングを解除した瞬間の頭部姿勢のクォータニオンqH0を順に掛けて、頭部姿勢の変化を胴体の姿勢で補償する。

0197

0198

次いで、頭部の姿勢のクォータニオンqHと、胴体の姿勢のクォータニオンq´Bの各々の左側からクォータニオンqWを掛けて、自由視点空間内での頭部姿勢qH*び胴体姿勢q´B*をそれぞれ補正することで(ステップS1947、S1948)、世界座標系を少しずつ回転させて、頭部の姿勢を胴体の姿勢に近づける操作を実施する。

0199

また、描画装置400は、速度又は変位量など自由視点空間内で移動するための制御信号vが入力される(ステップS1903)。例えば、描画装置400でゲームなどの3次元画像を生成する場合には、ゲーム・コントローラーのジョイスティックなどの操作量に応じた制御信号vを入力することになる。また、スマートフォンに操作画面を表示させ、その操作画面をユーザーが操作することにより、制御信号vを入力するようにしてもよい。あるいは、外部に設置されたカメラなどを用いてユーザーの頭部の物理的な位置の移動を検出して、制御信号vとして入力するようにしてもよい。

0200

次いで、描画処理部402では、世界座標系をクォータニオンqWで補正した自由視点空間における胴体姿勢q´B*に基づいて、入力された制御信号vに応じた移動量ΔB*を上式(18)により計算する(ステップS1904)。

0201

次いで、描画処理部402は、自由視点空間内で、現在の地点からユーザーの胴体の姿勢qBの方向(すなわち、体の正面の方向)に移動量ΔB*だけ移動した後の地点pB*を計算する(ステップS1905)。そして、補正後のユーザーの胴体の姿勢情報qB*に紐付けされた地点pB*を自由視点空間における視点位置とし、その視点位置pB*から補正後の頭部姿勢のクォータニオンqH*で表される視線方向に見える画像IB*をレンダリングして(ステップS1906)、表示装置500に表示出力する。ここで生成される自由視点画像IB*は、視点位置pB*及び視線方向qH*から見える画像を生成する関数fに基づいて生成される(同上)。

0202

なお、図19及び図20に示した処理手順においても、ユーザーの頭部並びに胴体の姿勢を検出してから画像を表示するまでに生じる遅延時間を考慮して、画像のレンダリングを行なうようにしてもよい(同上)。

0203

このように、本実施形態に係る画像表示システム100では、頭部動作追跡装置200で取得されるユーザーの頭部の姿勢情報qHとともに胴体動作追跡装置300で取得されるユーザーの胴体の姿勢情報qBを利用することによって、自由視点視聴に起因する頭部の不自然な視聴姿勢を軽減又は回避することができる。

0204

E.自由視点画像のメタ情報の表示
自由視点画像コンテンツとして、既存のTV放送の他、自動車やラジコンなどの移動体装置に搭載された広角カメラ撮影した画像、一人称視点のゲーム画像などを挙げることができる。

0205

ユーザーは、視聴中の自由視点画像コンテンツに関わるメタ情報を参照したいことがある。ここで言うメタ情報として、コンテンツの再生位置や再生残り時間の情報、仮想空間内における現在の自分の位置を示す座標や地図の情報、ゲームにおいて自分が操作しているキャラクターの状態(例えば、対戦型ゲームにおける自己疲労度怪我具合武器弾薬の残存数、これまでに獲得した戦利品、スコアなど)を挙げることができる。

0206

また、自由視点画像を視聴中のユーザーは、視界が外界から閉ざされ、又は、仮想世界に没入していることから、上述したようなメタ情報ではなく、現実世界の情報を参照したいことがある。現実世界の情報として、現在時刻やその他の環境情報、メールや電話着信通知などを挙げることができる。

0207

このようなコンテンツのメタ情報や現実世界の情報を記載したUI(Use r Interface)部品を自由視点画像内に表示することで、ユーザーは自由視点画像の視聴を中断することなく、所望するメタ情報や現実世界の情報を確認することができる。

0208

このようなUI部品を、ユーザーの頭部の姿勢のみを考慮して配置する、すなわち、頭部姿勢に基づいて定位した固定位置にUI部品を配置すると、自由視点画像がユーザーの頭部姿勢すなわち視線方向に追従するだけでなく、UI部品が同じ場所に表示され続けることになる。

0209

UI部品が常に同じ場所に表示されると、ユーザーは視聴中いつでもメタ情報や現実世界の情報を確認することができる。しかしながら、頭部姿勢の動きに伴って自由視点画像が変化していくのに対し、UI部品が常に同じ場所にあるのは不自然であり、臨場感や没入感を大きく損なうことになる。また、UI部品が配置されている場所は、本来の自由視点画像の情報が掛けてしまうので、ユーザーに見え難さや、ゲームのプレイのし難さ感じさせてしまう。また、ユーザーは、メタ情報や現実世界の情報を見たくない時間帯もあり、UI部品が表示されていることで鬱陶しさを感じさせてしまうこともある。

0210

図25並びに図26には、頭部動作追跡装置200から得られるユーザーの頭部姿勢に基づいて定位した固定位置にUI部品を配置した場合の自由視点画像の表示例を示している。

0211

図25に示す例では、ユーザーの頭部は正面を向いており、参照番号2501で示すように、UI部品はユーザーの頭部の正面方向に配置されるとする。したがって、この場合の自由視点画像2500内には、参照番号2502で示すようにUI部品が映る。

0212

また、図26に示す例では、ユーザーはお辞儀をした格好であり、頭部は下方を向いている。この場合も、参照番号2601で示すように、UI部品はユーザーの頭部の正面方向に配置される。したがって、この場合の自由視点画像2600内にも参照番号2602で示すようにUI部品が映る。すなわち、ユーザーの頭部姿勢に拘わらず、UI部品は常に自由視点画像内に存在することになる。

0213

また、図27並びに図28には、頭部動作追跡装置200から得られるユーザーの頭部姿勢に基づいて定位した固定位置にUI部品を配置した場合の自由視点画像の他の表示例を示している。

0214

図27に示す例では、ユーザーの頭部は正面を向いており、参照番号2701で示すように、UI部品はユーザーの頭部の正面方向に配置されるとする。したがって、この場合の自由視点画像2700内には、参照番号2702で示すようにUI部品が映る。

0215

また、図28に示す例では、ユーザーは左に振り向いた格好であり、頭部は左側を向いている。この場合も、参照番号2801で示すように、UI部品はユーザーの頭部の正面方向に配置される。したがって、この場合の自由視点画像2800内にも参照番号2802で示すようにUI部品が映る。すなわち、ユーザーの頭部姿勢に拘わらず、UI部品は常に自由視点画像内に存在することになる。

0216

一方、図29並びに図30には、胴体動作追跡装置300から得られるユーザーの胴体姿勢に基づいて定位した固定位置にUI部品を配置した場合の自由視点画像の表示例を示している。

0217

図29に示す例では、ユーザーの頭部は正面を向いているが、参照番号2901で示すように、UI部品はユーザーの胴体の正面方向に配置されるとする。したがって、この場合の自由視点画像2600内にはUI部品が存在しない。

0218

また、図30に示す例では、ユーザーはお辞儀をした格好であり、頭部は下方を向いている。この場合も、参照番号3001で示すように、UI部品はユーザーの胴体の正面方向に配置される。したがって、ユーザーが頭部を下方に向けることによって、自由視点画像3000内には、参照番号3002で示すようにUI部品が出現する。

0219

すなわち、ユーザーが頭部を正面に向けた通常の姿勢ではUI部品は隠れているが、頭部を下方に傾けることによって、自由視点画像内でUI部品を表示させることができる。なお、立体的なUI部品の場合には、ユーザーの胴体姿勢に基づいて固定位置に定位したUI部品の姿勢を、ユーザーの頭部姿勢に合わせて正面に向くように姿勢を補正して、自由視点画像内に配置するようにしてもよい。

0220

また、図31並びに図32には、胴体動作追跡装置300から得られるユーザーの胴体姿勢に基づいて定位した固定位置にUI部品を配置した場合の自由視点画像の他の表示例を示している。

0221

図31に示す例では、ユーザーの頭部は正面を向いているが、参照番号3101で示すように、UI部品はユーザーの胴体の左方向に配置されるとする。したがって、この場合の自由視点画像3100内にはUI部品が存在しない。

0222

また、図32に示す例では、ユーザーは左に振り向いた格好であり、頭部は左側を向いている。この場合、参照番号3201で示すように、UI部品はユーザーの胴体の左方向に配置される。したがって、ユーザーが頭部を左に向けることによって、自由視点画像3200内には、参照番号3202で示すようにUI部品が出現する。

0223

すなわち、ユーザーが頭部を正面に向けた通常の姿勢ではUI部品は隠れているが、左側に振り向くことによって、自由視点画像内でUI部品を表示させることができる。なお、立体的なUI部品の場合には、ユーザーの胴体姿勢に基づいて固定位置に定位したUI部品の姿勢を、ユーザーの頭部姿勢に合わせて正面に向くように姿勢を補正して、自由視点画像内に配置するようにしてもよい。

0224

図23には、ユーザーの胴体姿勢に基づいて定位した固定位置にUI部品を配置して、自由視点画像を描画する処理手順をフローチャートの形式で示している。

0225

頭部動作追跡装置200内では、センサー部201がユーザーの頭部の姿勢を検出し(ステップS2301)、姿勢角演算部202は、その検出結果に基づいて、ユーザーの頭部の姿勢を表すクォータニオンqHを演算して(ステップS2302)、送信部203から描画装置400に送信する。

0226

また、胴体動作追跡装置300内では、センサー部301がユーザーの胴体の姿勢を検出し(ステップS2311)、姿勢角演算部202は、その検出結果に基づいて、ユーザーの胴体の姿勢を表すクォータニオンqBを演算して(ステップS2312)、送信部303から描画装置400に送信する。

0227

次いで、描画装置400は、上述したコンテンツのメタ情報や現実世界の情報を入力すると(ステップS2321)、ユーザーの胴体の姿勢を表すクォータニオンqBに基づくユーザーの胴体座標系上で定位される固定位置に、入力した情報を表示するUI部品を配置する(ステップS2313)。次いで、描画処理部402は、ユーザーの胴体座標系上で配置したUI部品を、ユーザーの頭部の姿勢を表すクォータニオンqHに基づく頭部座標系上の位置及び姿勢に変換する(ステップS2314)。

0228

ここで、i番目のUI部品のユーザーの胴体座標系における位置をpi、姿勢をqiとすると、それぞれ下式(21)及び(22)に従って、ユーザーの頭部座標系における位置p´i及び姿勢q´iに変換することができる。

0229

0230

0231

但し、上式(21)において、pBHは、ユーザーの頭部座標系の原点から見たユーザーの胴体座標系の原点の位置である。頭部や胴体部の位置情報を(姿勢情報に加えて)取得できる場合は、pBHに実際の計測値を使用してもよい。例えば、日本人成人男性の平均値などを利用して、pBH=(0m,0m,−0.75m)などと固定パラメーター化してもよい。

0232

また、上式(22)の右辺のqBqH-1は、ユーザーの胴体部の姿勢を表すクォータニオンqBの右側から頭部の姿勢を表すクォータニオンqHのインバースを掛けたもので、胴体部座標系における物体(UI部品)の姿勢を頭部座標系における姿勢に変換するクォータニオンである。

0233

そして、描画処理部402は、UI部品が配置された自由視点空間をクォータニオンqHで表される視線方向に見える画像をレンダリングして(ステップS2315)、表示装置500に表示出力する。

0234

なお、図23に示した処理手順においても、ユーザーの頭部並びに胴体の姿勢を検出してから画像を表示するまでに生じる遅延時間を考慮して、画像のレンダリングを行なうようにしてもよい(同上)。

0235

また、図23に示したフローチャートでは省略したが、C項で説明したキャリブレーション処理を適用して、頭部動作追跡装置200が検出するユーザーの頭部姿勢の座標系と胴体動作追跡装置300が検出するユーザーの胴体姿勢の座標系との対応付けを行なうようにしてもよい。

0236

図24には、ユーザーの胴体姿勢に基づいて定位した固定位置にUI部品を配置して、自由視点画像を描画する処理手順の他の例をフローチャートの形式で示している。図24に示す処理手順は、自由視点空間におけるユーザーの視点位置をユーザーの胴体姿勢に基づいて制御する点で、図23に示した処理手順とは相違する。

0237

頭部動作追跡装置200内では、センサー部201がユーザーの頭部の姿勢を検出し(ステップS2401)、姿勢角演算部202は、その検出結果に基づいて、ユーザーの頭部の姿勢を表すクォータニオンqHを演算して(ステップS2402)、送信部203から描画装置400に送信する。

0238

また、胴体動作追跡装置300内では、センサー部301がユーザーの胴体の姿勢を検出し(ステップS2411)、姿勢角演算部202は、その検出結果に基づいて、ユーザーの胴体の姿勢を表すクォータニオンqBを演算して(ステップS2412)、送信部303から描画装置400に送信する。

0239

次いで、描画装置400は、上述したコンテンツのメタ情報や現実世界の情報を入力すると(ステップS2421)、ユーザーの胴体の姿勢を表すクォータニオンqBに基づくユーザーの胴体座標系上で定位される固定位置に、入力した情報を表示するUI部品を配置する(ステップS2413)。次いで、描画処理部402は、ユーザーの胴体座標系上で配置したUI部品を、上式(21)及び(22)に従って、ユーザーの頭部の姿勢を表すクォータニオンqHに基づく頭部座標系上の位置及び姿勢に変換する(ステップS2414)。

0240

また、描画装置400には、速度又は変位量など自由視点空間内で移動するための制御信号vが入力される(ステップS2431)。例えば、描画装置400でゲームなどの3次元画像を生成する場合には、ゲーム・コントローラーのジョイスティックなどの操作量に応じた制御信号vを入力することになる。また、スマートフォンに操作画面を表示させ、その操作画面をユーザーが操作することにより、制御信号vを入力するようにしてもよい。あるいは、外部に設置されたカメラなどを用いてユーザーの頭部の物理的な位置の移動を検出して、制御信号vとして入力するようにしてもよい。

0241

描画処理部402では、入力された制御信号vに応じて、自由視点空間における移動量ΔBを計算する(ステップS2432)。本処理ルーチンでは、胴体動作追跡装置300から取得可能なユーザーの胴体の姿勢情報を利用するので、制御信号vはユーザーの胴体の姿勢情報qBに紐付けすることが可能であり、移動量ΔBは上式(4)に示したように求められる。

0242

次いで、描画処理部402は、自由視点空間内で、現在の地点からユーザーの胴体の姿勢qBの方向(すなわち、体の正面の方向)に移動量ΔBだけ移動した後の地点pBを計算する(ステップS2433)。

0243

そして、ユーザーの胴体の姿勢情報qBに紐付けされた地点pBを自由視点空間における視点位置とし、その視点位置pBからクォータニオンqHで表される視線方向に見える画像をレンダリングして(ステップS2415)、表示装置500に表示出力する。

0244

図24に示した処理手順においても、ユーザーの頭部並びに胴体の姿勢を検出してから画像を表示するまでに生じる遅延時間を考慮して、画像のレンダリングを行なうようにしてもよい(同上)。

0245

なお、図24に示したフローチャートでは省略したが、C項で説明したキャリブレーション処理を適用して、頭部動作追跡装置200が検出するユーザーの頭部姿勢の座標系と胴体動作追跡装置300が検出するユーザーの胴体姿勢の座標系との対応付けを行なうようにしてもよい。

先行技術

0246

特開2012−141461号公報
特開平9−106322号公報
特開2010−256534号公報

0247

以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正代用を成し得ることは自明である。

0248

本明細書では、ヘッド・マウント・ディスプレイで自由視点視聴及び視点移動環境を実現する実施形態を中心に説明してきたが、本明細書で開示する技術はその他のユース・ケースにも応用することができる。例えば、テレビプロジェクターなどの大画面ディスプレイの前に座ってゲームをしているユーザーが頭部動作追跡装置200並びに胴体動作追跡装置300を着用して、テレビ内のゲーム画面において自由視点視聴及び視点移動環境を実現することができる。

0249

本明細書で開示する技術は、没入型、シースルー型、ビデオ・シースルー型のうちいずれのヘッド・マウント・ディスプレイにも適用することができる。また、本明細書で開示する技術は、両眼式並びに単眼式いずれのヘッド・マウント・ディスプレイにも適用することができる。

0250

要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

0251

なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
(1)観察者の頭部姿勢に関する第1の情報及び前記観察者の頭部以外の身体の姿勢に関する第2の情報を受信する受信部と、
前記第1の情報及び前記第2の情報に基づいて、前記観察者の姿勢に対応した表示画像を生成する描画処理部と、
を具備する情報処理装置。
(2)前記受信部は、前記第2の情報として、少なくとも前記観察者の胴体の姿勢を受信し、
前記描画処理部は、前記第1の情報に基づいて自由視点空間における前記観察者の視線方向を定位するとともに、前記第2の情報から得られる前記観察者の胴体の姿勢に基づいて前記自由視点空間における前記観察者の身体の向き(視点位置)を定位して、前記観察者の頭部の姿勢に追従する自由視点画像を生成する、
上記(1)に記載の情報処理装置。
(3)前記描画処理部は、前記自由視点空間における前記観察者の移動を指示する制御信号が入力されたときに、前記第2の情報から得られる前記観察者の胴体の姿勢に基づいて定位した身体の向きを正面方向と認識して移動後の地点(視点位置)を求める、
上記(2)に記載の情報処理装置。
(4)前記描画処理部は、前記第1の情報に基づいて自由視点空間における前記観察者の視線方向を定位するとともに、前記第2の情報から得られる姿勢に基づいて定位した固定位置に配置して、前記観察者の頭部姿勢に追従する自由視点画像を生成する、
上記(1)に記載の情報処理装置。
(5)前記受信部は、前記第2の情報として、少なくとも前記観察者の胴体の姿勢を受信し、
前記描画処理部は、前記第1の情報に基づいて自由視点空間における前記観察者の視線方向を定位するとともに、前記第2の情報から得られる前記観察者の胴体の姿勢に基づいて前記自由視点空間における前記観察者の身体の向き(視点位置)を定位し、且つ、前記観察者の胴体に姿勢に基づいて定位した固定位置に所定の画像部品を配置して、前記観察者の頭部の姿勢に追従する自由視点画像を生成する、
上記(1)に記載の情報処理装置。
(5−1)前記描画処理部は、前記自由視点画像に関わるメタ情報を含む前記画像部品を配置する、
上記(4)又は(5)のいずれかに記載の情報処理装置。
(6)キャリブレーション・パラメーターを取得するキャリブレーション処理部をさらに備え、
前記描画処理部は、キャリブレーション・パラメーターで補正した姿勢情報を用いて画像生成を実施する、
上記(1)乃至(5)のいずれかに記載の情報処理装置。
(7)前記キャリブレーション処理部は、前記第1の情報から得られる頭部の姿勢情報と、前記第2の情報から得られる第2の姿勢情報に基づいて、第2の姿勢情報を補正するためのキャリブレーション・パラメーターを計算し、前記キャリブレーション・パラメーターを用いて前記第2の姿勢情報を補正する、
上記(6)に記載の情報処理装置。
(8)前記キャリブレーション処理部は、前記頭部の姿勢情報と前記第2の姿勢情報を用いて前記第2の姿勢情報を前記頭部の姿勢情報に一致させるための姿勢変換パラメーターを前記キャリブレーション・パラメーターとして計算する、
上記(7)に記載の情報処理装置。
(9)姿勢情報はクォータニオンで表記され、
前記キャリブレーション処理部は、前記頭部の姿勢情報に前記第2の姿勢情報のクォータニオンのインバースを右から掛けて、第2の姿勢情報を補正するためのキャリブレーション・クォータニオンを計算し、
前記第2の姿勢情報のクォータニオンに前記キャリブレーション・クォータニオンを左から掛けて補正する、
上記(7)に記載の情報処理装置。
(10)前記キャリブレーション処理部は、前記第1の情報から得られる頭部姿勢の座標系と前記第2の情報から得られる姿勢の座標系の一定期間の回転変位と、人体の性質に基づいて、前記第2の姿勢情報を補正するためのキャリブレーション・パラメーターを推定する、
上記(6)に記載の情報処理装置。
(11)前記キャリブレーション処理部は、一定期間、前記第1の情報から得られる頭部の姿勢情報と前記第2の情報から得られる第2の姿勢情報に基づいて計算したキャリブレーション・パラメーターの時系列の平均を最終的なキャリブレーション・パラメーターとする、
上記(6)に記載の情報処理装置。
(12)姿勢情報はクォータニオンで表記され、
前記キャリブレーション処理部は、新たに受信した第1の情報及び第2の情報からそれぞれ得られる姿勢情報のクォータニオンに基づいて新規に算出したキャリブレーション・クォータニオンと、時系列の平均で求めた直前のキャリブレーション・クォータニオンを球面線形補間して、キャリブレーション・クォータニオンを更新する、
上記(11)に記載の情報処理装置。
(12−1)姿勢情報はクォータニオンで表記され、
前記キャリブレーション処理部は、キャリブレーション・クォータニオンの時系列を対数変換によって3次元空間に写像し、そこで加算平均などの代表値を算出した後、指数変換によってクォータニオンに戻す、
上記(11)に記載の画像表示装置。
(13)前記第2の情報に基づいて前記観察者の胴体の姿勢が算出され、
前記キャリブレーション処理部は、新たに受信した第1の情報及び第2の情報からそれぞれ得られる頭部及び胴体部の姿勢情報の、重力方向を回転軸としたときの回転方向の角度差分の平均値を求め、重力方向と前記平均値にキャリブレーション・パラメーターを算出する、
上記(11)に記載の情報処理装置。
(14)前記描画処理部は、前記第1の情報から得られる頭部の姿勢と前記第2の情報から得られる胴体の姿勢の差分に基づいて、前記表示部の表示画像を処理する、
上記(1)に記載の情報処理装置。
(15)生体安全対応モード下において、前記描画処理部は、前記自由視点空間内の頭部姿勢と胴体姿勢の差分が小さくなるように世界座標系を補正して、自由視点画像を生成する、
上記(2)又は(3)のいずれかに記載の情報処理装置。
(16)前記描画処理部は、生体安全対応モードに入った時点で自由視点空間内の頭部姿勢を固定するとともに、前記生体安全対応モード下では前記頭部姿勢検出部が検出する頭部姿勢に応じて自由視点空間内の胴体の姿勢を変化させて、自由視点画像を生成する、
上記(2)又は(3)のいずれかに記載の情報処理装置。
(17)前記第1の情報から得られる頭部の姿勢と前記第2の情報から得られる胴体の姿勢の差分が第1の閾値を超える状態が一定時間継続したときに前記生体安全対応モードに入り、前記差分が前記第1の閾値よりも小さい第2の閾値以下となったときに前記生体安全対応モードから出る、
上記(15)又は(16)のいずれかに記載の情報処理装置。
(18)観察者の頭部姿勢に関する第1の情報及び前記観察者の頭部以外の身体の姿勢に関する第2の情報を受信する受信ステップと、
前記第1の情報及び前記第2の情報に基づいて、前記観察者の姿勢に対応した表示画像を生成する描画処理ステップと、
を有する情報処理方法。
(19)観察者の頭部の姿勢を検出する頭部姿勢検出部の検出結果に基づいて前記観察者の頭部の姿勢情報を算出する頭部姿勢演算部、
前記観察者の頭部以外の身体の1以上の第2の部位の姿勢を検出する第2の姿勢検出部の検出結果に基づいて前記第2の部位の姿勢情報を算出する第2の姿勢演算部、
前記観察者の頭部の姿勢及び前記第2の部位の姿勢に基づいて、前記観察者の頭部又は顔部に固定される表示部に表示する画像を処理する描画処理部、
としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラム。
(20)観察者の頭部又は顔部に固定される表示部と、
前記観察者の頭部の姿勢を検出する頭部姿勢検出部と、
前記観察者の頭部以外の身体の1以上の第2の部位の姿勢を検出する第2の姿勢検出部と、
前記観察者の頭部の姿勢及び前記第2の部位の姿勢に基づいて前記表示部の表示画像を処理する描画処理部と、
を具備する画像処理システム。

0252

100…画像表示システム
200…頭部動作追跡装置、201…センサー部
202…姿勢角演算部、203…送信部
300…胴体動作追跡装置、301…センサー部
302…姿勢角演算部、303…送信部
400…描画装置、401…受信部、402…描画処理部
403…送信部、404…画像ソース
500…表示装置、501…受信部、502…表示部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ