図面 (/)

技術 姿勢測定装置及び姿勢測定方法、画像処理装置及び画像処理方法、表示装置及び表示方法、コンピューター・プログラム、並びに画像表示システム

出願人 ソニー株式会社
発明者 廣田洋一高橋巨成林哲也
出願日 2014年9月19日 (6年2ヶ月経過) 出願番号 2015-554606
公開日 2017年3月23日 (3年7ヶ月経過) 公開番号 WO2015-098211
状態 特許登録済
技術分野 測量一般 測定手段を特定しない測長装置 表示装置の制御、回路
主要キーワード オプション製品 表示系統 姿勢測定装置 頭部動作 虚像光 回転マトリックス 軸加速度センサー 頭部形状
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年3月23日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (19)

課題・解決手段

ユーザーの頭部の動き追従した画像を好適に処理する。画像表示システム100は、頭部動作追跡装置200の基準軸(x,y,z)とユーザーの基準軸(xw,yw,zw)のずれ、すなわち頭部動作追跡装置200の取り付け位置誤差を測定する取り付け位置誤差測定機能と、頭部動作追跡装置200で検出したユーザーの頭部の姿勢情報を取り付け位置誤差に基づいて補正する取り付け位置誤差吸収機能を備えている。描画装置300は、正しい姿勢情報に基づいて、ユーザーの頭部の動きに正確に追従した画像をレンダリングすることができる。

概要

背景

画像を観察するユーザーの頭部又は顔部に固定される画像表示装置、すなわち、ヘッドマウントディスプレイが知られている。ヘッド・マウント・ディスプレイは、例えば左右の眼毎の画像表示部を持ち、また、ヘッドフォンと併用し、視覚及び聴覚を制御できるように構成されている。頭部に装着した際に外界を完全に遮るように構成すれば、視聴時の仮想現実感が増す。また、ヘッド・マウント・ディスプレイは、左右の眼に違う映像を映し出すことも可能であり、左右の眼に対して視差のある画像を表示すれば3D画像を提示することができる。

この種のヘッド・マウント・ディスプレイは、虚像を眼の網膜上に結像させて、ユーザーに観察させる。ここで、虚像は、物体焦点距離よりレンズに近い位置にある場合に、その物体側に形成される。例えば、瞳孔の前方に25ミリメートルだけ離間して広視野角虚像光学系を配置し、この広視野角光学系のさらに前方に約0.7インチの有効画素範囲の大きさを持つ表示パネルを配置して、表示画像拡大虚像をユーザーの瞳に結像するヘッド・マウント・ディスプレイについて提案がなされている(例えば、特許文献1を参照のこと)。

また、ユーザーは、この種のヘッド・マウント・ディスプレイを用いて、広角画像の一部を切り出した画像を観察することができる。例えば、頭部にジャイロセンサーなどからなる頭部動作追跡装置を取り付け、ユーザーの頭部の動き追従させた全空間の360度の映像を実感できるようにしたヘッド・マウント・ディスプレイについて提案がなされている(例えば、特許文献2、特許文献3を参照のこと)。ジャイロ・センサーが検出した頭部の動きを打ち消すように、広角画像中で表示領域を移動させることで、頭部の動きに追従した画像を再現することができ、ユーザーは全空間を見渡すような体験をする。

ヘッド・マウント・ディスプレイは、ユーザーの頭部の動作の動きに、より正確に追従した画像を提示することが好ましい。ユーザーの頭部の動きを正確にトラッキングできないと、ユーザーの頭部の動きに追従した画像を提示することができない、あるいはユーザーに不快感を与える画像を提示してしまう。

概要

ユーザーの頭部の動きに追従した画像を好適に処理する。画像表示システム100は、頭部動作追跡装置200の基準軸(x,y,z)とユーザーの基準軸(xw,yw,zw)のずれ、すなわち頭部動作追跡装置200の取り付け位置誤差を測定する取り付け位置誤差測定機能と、頭部動作追跡装置200で検出したユーザーの頭部の姿勢情報を取り付け位置誤差に基づいて補正する取り付け位置誤差吸収機能を備えている。描画装置300は、正しい姿勢情報に基づいて、ユーザーの頭部の動きに正確に追従した画像をレンダリングすることができる。

目的

本明細書で開示する技術の目的は、ユーザーの頭部の動きに追従した画像を提示するための、優れた姿勢測定装置及び姿勢測定方法画像処理装置及び画像処理方法表示装置及び表示方法コンピュータープログラム、並びに画像表示システムを提供する

効果

実績

技術文献被引用数
1件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

姿勢を検出するセンサー部と、前記センサー部の取り付け位置の誤差を測定する取り付け位置誤差測定部と、前記取り付け位置の誤差に基づいて、前記センサー部が検出した姿勢情報補正する取り付け位置誤差吸収部と、前記補正した姿勢情報を外部装置に送信する送信部と、を具備する姿勢測定装置

請求項2

ユーザーの頭部に装着して用いられ、前記センサー部は、前記頭部の姿勢を検出し、前記取り付け位置誤差測定部は、前記ユーザーの基準軸に対する前記センサー部の基準軸のずれを測定し、前記取り付け位置誤差吸収部は、前記ずれに基づいて、前記センサー部が検出した姿勢情報を補正する、請求項1に記載の姿勢測定装置。

請求項3

ユーザーの頭部に装着して用いられ、前記送信部は、前記ユーザーの頭部の動き追従する画像をレンダリングする前記外部装置に前記補正した姿勢情報を送信する、請求項1に記載の姿勢測定装置。

請求項4

前記センサー部は重力ベクトルを検出することができ、前記取り付け位置誤差測定部は、前記ユーザーが2つの姿勢をとったときにそれぞれ検出された重力ベクトルに基づいて、前記取り付け位置の誤差を測定する、請求項2に記載の姿勢測定装置。

請求項5

前記取り付け位置誤差測定部は、前記ユーザーが正面を向いたときの重力ベクトルGGに基づいて前記センサー部の基準軸xyzに対する前記ユーザーの基準軸yw軸を確定し、前記ユーザーが真上を向いたときの重力ベクトルGF又は前記ユーザーが斜め上を向いたときの重力ベクトルGSFに基づいて前記センサーの基準軸xyzに対する前記ユーザーの基準軸zw軸を確定するとともに、前記yw軸と前記zw軸の外積演算により前記ユーザーの基準軸のxw軸を確定し、前記センサーの基準軸xyzと前記ユーザーの基準軸xwywzwとの関係に基づいて変換マトリックスMを算出し、前記取り付け位置誤差吸収部は、前記センサー部が検出した姿勢情報を表す回転マトリックスMRに前記変換マトリックスMを乗算して前記取り付け位置の誤差を補正する、請求項4に記載の姿勢測定装置。

請求項6

前記取り付け位置誤差測定部は、表示装置がユーザーに正面を向くように促すメッセージを表示又は音声出力したことに応答して前記重力ベクトルGGを測定し、前記表示装置がユーザーに真上又は斜め上を向くように促すメッセージを表示又は音声出力したことに応答して前記重力ベクトルGF又はGSFを測定する、請求項5に記載の姿勢測定装置。

請求項7

姿勢を検出するセンサー部の取り付け位置の誤差を測定する取り付け位置誤差測定ステップと、前記取り付け位置の誤差に基づいて、前記センサー部が検出した姿勢情報を補正する取り付け位置誤差吸収ステップと、前記補正した姿勢情報を外部装置に送信する送信ステップと、を有する姿勢測定方法

請求項8

ユーザーの頭部に取り付けられた頭部動作追跡装置から前記頭部の姿勢情報を含む情報を受信する受信部と、前記頭部動作追跡装置の取り付け位置の誤差を測定する取り付け位置誤差測定部と、前記取り付け位置の誤差に基づいて、前記頭部動作追跡装置から受信した姿勢情報を補正する取り付け位置誤差吸収部と、前記補正した姿勢情報に基づいて画像を処理する描画処理部と、前記描画処理部が処理した画像を表示装置に送信する送信部と、を具備する画像処理装置

請求項9

前記描画処理部は、前記姿勢情報に基づいて、前記ユーザーの頭部の動きに追従する画像をレンダリングする、請求項8に記載の画像処理装置。

請求項10

前記取り付け位置誤差測定部は、前記ユーザーの基準軸に対する前記頭部動作追跡装置の基準軸のずれを測定し、前記取り付け位置誤差吸収部は、前記ずれに基づいて、前記頭部動作追跡装置から受信した姿勢情報を補正する、請求項8に記載の画像処理装置。

請求項11

前記取り付け位置誤差測定部は、前記ユーザーが2つの姿勢をとったときにそれぞれ前記頭部動作追跡装置から受信した重力ベクトルに基づいて、前記取り付け位置の誤差を測定する、請求項10に記載の画像処理装置。

請求項12

前記取り付け位置誤差測定部は、前記ユーザーが正面を向いたときの重力ベクトルGGに基づいて前記センサー部の基準軸xyzに対する前記ユーザーの基準軸yw軸を確定し、前記ユーザーが真上を向いたときの重力ベクトルGF又は前記ユーザーが斜め上を向いたときの重力ベクトルGSFに基づいて前記センサーの基準軸xyzに対する前記ユーザーの基準軸zw軸を確定するとともに、前記yw軸と前記zw軸の外積演算により前記ユーザーの基準軸のxw軸を確定し、前記センサーの基準軸xyzと前記ユーザーの基準軸xwywzwとの関係に基づいて変換マトリックスMを算出し、前記取り付け位置誤差吸収部は、前記センサー部が検出した姿勢情報を表す回転マトリックスMRに前記変換マトリックスMを乗算して前記取り付け位置の誤差を補正する、請求項11に記載の画像処理装置。

請求項13

前記取り付け位置誤差測定部は、前記表示装置に対してユーザーに正面を向くように促すメッセージの表示又は音声出力を指示したことに応答して前記重力ベクトルGGを測定し、前記表示装置にユーザーに真上又は斜め上を向くように促すメッセージの表示又は音声出力を指示したことに応答して前記重力ベクトルGF又はGSFを測定する、請求項12に記載の画像処理装置。

請求項14

ユーザーの頭部に取り付けられた頭部動作追跡装置から前記頭部の姿勢情報を含む情報を受信する受信ステップと、前記頭部動作追跡装置の取り付け位置の誤差を測定する取り付け位置誤差測定ステップと、前記取り付け位置の誤差に基づいて、前記頭部動作追跡装置から受信した姿勢情報を補正する取り付け位置誤差吸収ステップと、前記補正した姿勢情報に基づいて画像を処理する描画処理ステップと、前記描画処理部が処理した画像を表示装置に送信する送信ステップと、を有する画像処理方法

請求項15

ユーザーの頭部に取り付けられた頭部動作追跡装置から前記頭部の姿勢情報を含む情報を受信する受信部と、前記頭部動作追跡装置の取り付け位置の誤差を測定する取り付け位置誤差測定部と、前記取り付け位置の誤差に基づいて、前記頭部動作追跡装置から受信した姿勢情報を補正する取り付け位置誤差吸収部と、前記補正した姿勢情報に基づいて画像を処理する描画処理部と、前記描画処理部が処理した画像を表示する表示部と、を具備する、前記ユーザーの頭部又は顔部に固定して用いられる表示装置。

請求項16

前記取り付け位置誤差測定部は、前記ユーザーが正面を向いたときの重力ベクトルGGに基づいて前記センサー部の基準軸xyzに対する前記ユーザーの基準軸yw軸を確定し、前記ユーザーが真上を向いたときの重力ベクトルGF又は前記ユーザーが斜め上を向いたときの重力ベクトルGSFに基づいて前記センサーの基準軸xyzに対する前記ユーザーの基準軸zw軸を確定するとともに、前記yw軸と前記zw軸の外積演算により前記ユーザーの基準軸のxw軸を確定し、前記センサーの基準軸xyzと前記ユーザーの基準軸xwywzwとの関係に基づいて変換マトリックスMを算出し、前記取り付け位置誤差吸収部は、前記センサー部が検出した姿勢情報を表す回転マトリックスMRに前記変換マトリックスMを乗算して前記取り付け位置の誤差を補正する、請求項15に記載の表示装置。

請求項17

姿勢を検出するセンサー部の取り付け位置の誤差を測定する取り付け位置誤差測定部、前記取り付け位置の誤差に基づいて、前記センサー部が検出した姿勢情報を補正する取り付け位置誤差吸収部、前記補正した姿勢情報を外部装置に送信する送信部、としてコンピューターを機能させるようにコンピューター可読形式記述されたコンピューター・プログラム

請求項18

ユーザーの頭部に取り付けられた頭部動作追跡装置から前記頭部の姿勢情報を含む情報を受信する受信部、前記頭部動作追跡装置の取り付け位置の誤差を測定する取り付け位置誤差測定部、前記取り付け位置の誤差に基づいて、前記頭部動作追跡装置から受信した姿勢情報を補正する取り付け位置誤差吸収部、前記補正した姿勢情報に基づいて画像を処理する描画処理部、前記描画処理部が処理した画像を表示装置に送信する送信部、としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラム。

請求項19

ユーザーの頭部に取り付けられた頭部動作追跡装置から前記頭部の姿勢情報を含む情報を受信する受信部、前記頭部動作追跡装置の取り付け位置の誤差を測定する取り付け位置誤差測定部、前記取り付け位置の誤差に基づいて、前記頭部動作追跡装置から受信した姿勢情報を補正する取り付け位置誤差吸収部、前記補正した姿勢情報に基づいて画像を処理する描画処理部、前記描画処理部が処理した画像を表示する表示部、としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラム

請求項20

ユーザーの頭部の姿勢を測定する頭部動作追跡装置と、前記頭部動作追跡装置の取り付け位置の誤差を測定する取り付け位置誤差測定機能と、前記取り付け位置の誤差に基づいて、前記頭部動作追跡装置で測定した姿勢情報を補正する取り付け位置誤差吸収機能と、前記補正した姿勢情報に基づいて画像をレンダリングする描画装置と、前記描画装置でレンダリングした画像を表示する表示装置と、を具備する画像表示システム

技術分野

0001

本明細書で開示する技術は、ユーザーの頭部の動きを測定する姿勢測定装置及び姿勢測定方法、ユーザーの頭部の動きに追従した画像を処理する画像処理装置及び画像処理方法、ユーザーの頭部の動きに追従した画像を表示する表示装置及び表示方法コンピュータープログラム、並びに画像表示システムに関する。

背景技術

0002

画像を観察するユーザーの頭部又は顔部に固定される画像表示装置、すなわち、ヘッドマウントディスプレイが知られている。ヘッド・マウント・ディスプレイは、例えば左右の眼毎の画像表示部を持ち、また、ヘッドフォンと併用し、視覚及び聴覚を制御できるように構成されている。頭部に装着した際に外界を完全に遮るように構成すれば、視聴時の仮想現実感が増す。また、ヘッド・マウント・ディスプレイは、左右の眼に違う映像を映し出すことも可能であり、左右の眼に対して視差のある画像を表示すれば3D画像を提示することができる。

0003

この種のヘッド・マウント・ディスプレイは、虚像を眼の網膜上に結像させて、ユーザーに観察させる。ここで、虚像は、物体焦点距離よりレンズに近い位置にある場合に、その物体側に形成される。例えば、瞳孔の前方に25ミリメートルだけ離間して広視野角虚像光学系を配置し、この広視野角光学系のさらに前方に約0.7インチの有効画素範囲の大きさを持つ表示パネルを配置して、表示画像拡大虚像をユーザーの瞳に結像するヘッド・マウント・ディスプレイについて提案がなされている(例えば、特許文献1を参照のこと)。

0004

また、ユーザーは、この種のヘッド・マウント・ディスプレイを用いて、広角画像の一部を切り出した画像を観察することができる。例えば、頭部にジャイロセンサーなどからなる頭部動作追跡装置を取り付け、ユーザーの頭部の動きに追従させた全空間の360度の映像を実感できるようにしたヘッド・マウント・ディスプレイについて提案がなされている(例えば、特許文献2、特許文献3を参照のこと)。ジャイロ・センサーが検出した頭部の動きを打ち消すように、広角画像中で表示領域を移動させることで、頭部の動きに追従した画像を再現することができ、ユーザーは全空間を見渡すような体験をする。

0005

ヘッド・マウント・ディスプレイは、ユーザーの頭部の動作の動きに、より正確に追従した画像を提示することが好ましい。ユーザーの頭部の動きを正確にトラッキングできないと、ユーザーの頭部の動きに追従した画像を提示することができない、あるいはユーザーに不快感を与える画像を提示してしまう。

発明が解決しようとする課題

0006

本明細書で開示する技術の目的は、ユーザーの頭部の動きに追従した画像を提示するための、優れた姿勢測定装置及び姿勢測定方法、画像処理装置及び画像処理方法、表示装置及び表示方法、コンピューター・プログラム、並びに画像表示システムを提供することにある。

課題を解決するための手段

0007

本願は、上記課題を参酌してなされたものであり、請求項1に記載の技術は、
姿勢を検出するセンサー部と、
前記センサー部の取り付け位置の誤差を測定する取り付け位置誤差測定部と、
前記取り付け位置の誤差に基づいて、前記センサー部が検出した姿勢情報補正する取り付け位置誤差吸収部と、
前記補正した姿勢情報を外部装置に送信する送信部と、
具備する姿勢測定装置である。

0008

本願の請求項2に記載の技術によれば、請求項1に記載の姿勢測定装置は、ユーザーの頭部に装着して用いられる。そして、前記センサー部は、前記頭部の姿勢を検出し、前記取り付け位置誤差測定部は、前記ユーザーの基準軸に対する前記センサー部の基準軸のずれを測定し、前記取り付け位置誤差吸収部は、前記ずれに基づいて、前記センサー部が検出した姿勢情報を補正するように構成されている。

0009

本願の請求項3に記載の技術によれば、請求項1に記載の姿勢測定装置は、ユーザーの頭部に装着して用いられる。そして、前記送信部は、前記ユーザーの頭部の動きに追従する画像をレンダリングする前記外部装置に前記補正した姿勢情報を送信するように構成されている。

0010

本願の請求項4に記載の技術によれば、請求項2に記載の姿勢測定装置の前記センサー部は重力ベクトルを検出することができる。そして、前記取り付け位置誤差測定部は、前記ユーザーが2つの姿勢をとったときにそれぞれ検出された重力ベクトルに基づいて、前記取り付け位置の誤差を測定するように構成されている。

0011

本願の請求項5に記載の技術によれば、請求項4に記載の姿勢測定装置の前記取り付け位置誤差測定部は、前記ユーザーが正面を向いたときの重力ベクトルGGに基づいて前記センサー部の基準軸xyzに対する前記ユーザーの基準軸w軸を確定し、前記ユーザーが真上を向いたときの重力ベクトルGF又は前記ユーザーが斜め上を向いたときの重力ベクトルGSFに基づいて前記センサーの基準軸xyzに対する前記ユーザーの基準軸zw軸を確定するとともに、前記yw軸と前記zw軸の外積演算により前記ユーザーの基準軸のxw軸を確定し、前記センサーの基準軸xyzと前記ユーザーの基準軸xwywzwとの関係に基づいて変換マトリックスMを算出するように構成されている。また、前記取り付け位置誤差吸収部は、前記センサー部が検出した姿勢情報を表す回転マトリックスMRに前記変換マトリックスMを乗算して前記取り付け位置の誤差を補正するように構成されている。

0012

本願の請求項6に記載の技術によれば、請求項5に記載の姿勢測定装置の前記取り付け位置誤差測定部は、表示装置がユーザーに正面を向くように促すメッセージを表示又は音声出力したことに応答して前記重力ベクトルGGを測定し、前記表示装置がユーザーに真上又は斜め上を向くように促すメッセージを表示又は音声出力したことに応答して前記重力ベクトルGF又はGSFを測定するように構成されている。

0013

また、本願の請求項7に記載の技術は、
姿勢を検出するセンサー部の取り付け位置の誤差を測定する取り付け位置誤差測定ステップと、
前記取り付け位置の誤差に基づいて、前記センサー部が検出した姿勢情報を補正する取り付け位置誤差吸収ステップと、
前記補正した姿勢情報を外部装置に送信する送信ステップと、
を有する姿勢測定方法である。

0014

また、本願の請求項8に記載の技術は、
ユーザーの頭部に取り付けられた頭部動作追跡装置から前記頭部の姿勢情報を含む情報を受信する受信部と、
前記頭部動作追跡装置の取り付け位置の誤差を測定する取り付け位置誤差測定部と、
前記取り付け位置の誤差に基づいて、前記頭部動作追跡装置から受信した姿勢情報を補正する取り付け位置誤差吸収部と、
前記補正した姿勢情報に基づいて画像を処理する描画処理部と、
前記描画処理部が処理した画像を表示装置に送信する送信部と、
を具備する画像処理装置である。

0015

本願の請求項9に記載の技術によれば、請求項8に記載の画像処理装置の前記描画処理部は、前記姿勢情報に基づいて、前記ユーザーの頭部の動きに追従する画像をレンダリングするように構成されている。

0016

本願の請求項10に記載の技術によれば、請求項8に記載の画像処理装置の前記取り付け位置誤差測定部は、前記ユーザーの基準軸に対する前記頭部動作追跡装置の基準軸のずれを測定し、前記取り付け位置誤差吸収部は、前記ずれに基づいて、前記頭部動作追跡装置から受信した姿勢情報を補正するように構成されている。

0017

本願の請求項11に記載の技術によれば、請求項10に記載の画像処理装置の前記取り付け位置誤差測定部は、前記ユーザーが2つの姿勢をとったときにそれぞれ前記頭部動作追跡装置から受信した重力ベクトルに基づいて、前記取り付け位置の誤差を測定するように構成されている。

0018

本願の請求項12に記載の技術によれば、請求項11に記載の画像処理装置の前記取り付け位置誤差測定部は、前記ユーザーが正面を向いたときの重力ベクトルGGに基づいて前記センサー部の基準軸xyzに対する前記ユーザーの基準軸yw軸を確定し、前記ユーザーが真上を向いたときの重力ベクトルGF又は前記ユーザーが斜め上を向いたときの重力ベクトルGSFに基づいて前記センサーの基準軸xyzに対する前記ユーザーの基準軸zw軸を確定するとともに、前記yw軸と前記zw軸の外積演算により前記ユーザーの基準軸のxw軸を確定し、前記センサーの基準軸xyzと前記ユーザーの基準軸xwywzwとの関係に基づいて変換マトリックスMを算出ように構成されている。また、前記取り付け位置誤差吸収部は、前記センサー部が検出した姿勢情報を表す回転マトリックスMRに前記変換マトリックスMを乗算して前記取り付け位置の誤差を補正するように構成されている。

0019

本願の請求項13に記載の技術によれば、請求項12に記載の画像処理装置の前記取り付け位置誤差測定部は、前記表示装置に対してユーザーに正面を向くように促すメッセージの表示又は音声出力を指示したことに応答して前記重力ベクトルGGを測定し、前記表示装置にユーザーに真上又は斜め上を向くように促すメッセージの表示又は音声出力を指示したことに応答して前記重力ベクトルGF又はGSFを測定するように構成されている。

0020

また、本願の請求項14に記載の技術は、
ユーザーの頭部に取り付けられた頭部動作追跡装置から前記頭部の姿勢情報を含む情報を受信する受信ステップと、
前記頭部動作追跡装置の取り付け位置の誤差を測定する取り付け位置誤差測定ステップと、
前記取り付け位置の誤差に基づいて、前記頭部動作追跡装置から受信した姿勢情報を補正する取り付け位置誤差吸収ステップと、
前記補正した姿勢情報に基づいて画像を処理する描画処理ステップと、
前記描画処理部が処理した画像を表示装置に送信する送信ステップと、
を有する画像処理方法である。

0021

また、本願の請求項15に記載の技術は、
ユーザーの頭部に取り付けられた頭部動作追跡装置から前記頭部の姿勢情報を含む情報を受信する受信部と、
前記頭部動作追跡装置の取り付け位置の誤差を測定する取り付け位置誤差測定部と、
前記取り付け位置の誤差に基づいて、前記頭部動作追跡装置から受信した姿勢情報を補正する取り付け位置誤差吸収部と、
前記補正した姿勢情報に基づいて画像を処理する描画処理部と、
前記描画処理部が処理した画像を表示する表示部と、
を具備する、前記ユーザーの頭部又は顔部に固定して用いられる表示装置である。

0022

本願の請求項16に記載の技術によれば、請求項15に記載の表示装置の前記取り付け位置誤差測定部は、前記ユーザーが正面を向いたときの重力ベクトルGGに基づいて前記センサー部の基準軸xyzに対する前記ユーザーの基準軸yw軸を確定し、前記ユーザーが真上を向いたときの重力ベクトルGF又は前記ユーザーが斜め上を向いたときの重力ベクトルGSFに基づいて前記センサーの基準軸xyzに対する前記ユーザーの基準軸zw軸を確定するとともに、前記yw軸と前記zw軸の外積演算により前記ユーザーの基準軸のxw軸を確定し、前記センサーの基準軸xyzと前記ユーザーの基準軸xwywzwとの関係に基づいて変換マトリックスMを算出するように構成されている。また、前記取り付け位置誤差吸収部は、前記センサー部が検出した姿勢情報を表す回転マトリックスMRに前記変換マトリックスMを乗算して前記取り付け位置の誤差を補正するように構成されている。

0023

また、本願の請求項17に記載の技術は、
姿勢を検出するセンサー部の取り付け位置の誤差を測定する取り付け位置誤差測定部、
前記取り付け位置の誤差に基づいて、前記センサー部が検出した姿勢情報を補正する取り付け位置誤差吸収部、
前記補正した姿勢情報を外部装置に送信する送信部、
としてコンピューターを機能させるようにコンピューター可読形式記述されたコンピューター・プログラムである。

0024

また、本願の請求項18に記載の技術は、
ユーザーの頭部に取り付けられた頭部動作追跡装置から前記頭部の姿勢情報を含む情報を受信する受信部、
前記頭部動作追跡装置の取り付け位置の誤差を測定する取り付け位置誤差測定部、
前記取り付け位置の誤差に基づいて、前記頭部動作追跡装置から受信した姿勢情報を補正する取り付け位置誤差吸収部、
前記補正した姿勢情報に基づいて画像を処理する描画処理部、
前記描画処理部が処理した画像を表示装置に送信する送信部、
としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラムである。

0025

また、本願の請求項に記載19の技術は、
ユーザーの頭部に取り付けられた頭部動作追跡装置から前記頭部の姿勢情報を含む情報を受信する受信部、
前記頭部動作追跡装置の取り付け位置の誤差を測定する取り付け位置誤差測定部、
前記取り付け位置の誤差に基づいて、前記頭部動作追跡装置から受信した姿勢情報を補正する取り付け位置誤差吸収部、
前記補正した姿勢情報に基づいて画像を処理する描画処理部、
前記描画処理部が処理した画像を表示する表示部、
としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラムである。

0026

本願の請求項17乃至19に係るコンピューター・プログラムは、コンピューター上で所定の処理を実現するようにコンピューター可読形式で記述されたコンピューター・プログラムを定義したものである。換言すれば、本願の請求項17乃至19に係るコンピューター・プログラムをコンピューターにインストールすることによって、コンピューター上では協働的作用がそれぞれ発揮され、本願の請求項1に係る姿勢測定装置、請求項8に係る画像処理装置、請求項15に係る表示装置と同様の作用効果を得ることができる。

0027

また、本願の請求項20に記載の技術は、
ユーザーの頭部の姿勢を測定する頭部動作追跡装置と、
前記頭部動作追跡装置の取り付け位置の誤差を測定する取り付け位置誤差測定機能と、
前記取り付け位置の誤差に基づいて、前記頭部動作追跡装置で測定した姿勢情報を補正する取り付け位置誤差吸収機能と、
前記補正した姿勢情報に基づいて画像をレンダリングする描画装置と、
前記描画装置でレンダリングした画像を表示する表示装置と、
を具備する画像表示システムである。

0028

但し、ここで言う「システム」とは、複数の装置(又は特定の機能を実現する機能モジュール)が論理的に集合した物のことを言い、各装置や機能モジュールが単一の筐体内にあるか否かは特に問わない。

発明の効果

0029

本明細書で開示する技術によれば、ユーザーの頭部の動きに追従した画像を提示するための、優れた姿勢測定装置及び姿勢測定方法、画像処理装置及び画像処理方法、表示装置及び表示方法、コンピューター・プログラム、並びに画像表示システムを提供することができる。

0030

本明細書で開示する技術によれば、ユーザーの頭部の動作を追跡する頭部動作追跡装置の取り付け誤差を測定する取り付け位置誤差測定機能と、頭部動作追跡装置が測定したユーザーの頭部の姿勢情報を取り付け位置誤差に基づいて補正する取り付け位置誤差吸収機能を備えることにより、ユーザーにとって簡便な方法で、頭部動作追跡装置が測定する姿勢情報を補正することができる。また、本明細書で開示する技術によれば、頭部動作追跡装置の取り付け位置に拘わらず正しい姿勢情報を得ることができるので、ユーザーの頭部の動きに正確に追従した画像をレンダリングすることが可能である。

0031

なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。

0032

本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図面の簡単な説明

0033

図1は、本明細書で開示する技術を適用した画像表示システム100の構成例を模式的に示した図である。
図2は、画像表示システム100の変形例を模式的に示した図である。
図3は、表示装置400の外観構成を示した図(斜視図)である。
図4は、表示装置400の外観構成を示した図(左側面図)である。
図5は、頭部動作追跡装置200の基準軸(x,y,x)を示した図である。
図6は、ユーザーの基準軸(xw,yw,zw)示した図である。
図7は、頭部動作追跡装置200の基準軸(x,y,z)とユーザーの基準軸(xw,yw,zw)が一致しない様子を示した図である
図8は、頭部動作追跡装置200の取り付け位置誤差測定機能を説明するための図(ユーザーに真上を向かせる場合)である。
図9は、頭部動作追跡装置200の取り付け位置誤差測定機能を説明するための図(ユーザーに真上を向かせる場合)である。
図10は、頭部動作追跡装置200の取り付け位置誤差測定機能を説明するための図(ユーザーに斜め上を向かせる場合)である。
図11は、頭部動作追跡装置200の取り付け位置誤差測定機能を説明するための図(ユーザーに斜め上を向かせる場合)である。
図12は、取り付け位置誤差測定機能及び取り付け位置誤差吸収機能を備えた頭部動作追跡装置200の機能的構成を模式的に示した図である。
図13は、図12に示した頭部動作追跡装置200の構成により、頭部動作追跡装置200の取り付け位置誤差を補正する補正係数を算出するための処理手順を示したフローチャートである。
図14は、取り付け位置誤差測定機能及び取り付け位置誤差吸収機能を備えた描画装置300の機能的構成を模式的に示した図である。
図15は、図14に示した描画装置300の構成により、頭部動作追跡装置200の取り付け位置誤差を補正する補正係数を算出するための処理手順を示したフローチャートである。
図16は、図2に示した画像表示システム100の表示装置400内に取り付け位置誤差測定機能及び取り付け位置誤差吸収機能を装備した機能的構成を模式的に示した図である。
図17は、図16に示した表示装置400の構成により、頭部動作追跡装置200の取り付け位置誤差を補正する補正係数を算出するための処理手順を示したフローチャートである。
図18は、図1又は図2に示した画像表示システム100において、ユーザーの頭部の動きに追従した画像を表示装置400で表示する仕組みを説明するための図である。

実施例

0034

以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。

0035

図1には、本明細書で開示する技術を適用した画像表示システム100の構成例を模式的に示している。図示の画像表示システム100は、頭部動作追跡装置200と、描画装置300と、表示装置400で構成される。

0036

頭部動作追跡装置200は、表示装置400が表示する画像を観察するユーザーの頭部に装着して用いられ、所定の送信周期でユーザーの頭部の姿勢情報を描画装置200に出力する。図示の例では、頭部動作追跡装置200は、センサー部201と、姿勢角演算部202と、得られた姿勢情報を描画装置300に送信する送信部203を備えている。

0037

センサー部201は、例えば、ジャイロ・センサーと加速度センサー地磁気センサーなど複数のセンサー素子を組み合わせて構成されている。ここでは、3軸ジャイロ・センサー、3軸加速度センサー、3軸地磁気センサーの合計9軸を検出可能なセンサーとする。本実施形態では、センサー部201は、加速度センサーなど重力ベクトルを検出可能なセンサー素子を含むものとする。

0038

姿勢角演算部202は、センサー部201による9軸の検出結果に基づいて、ユーザーの頭部の姿勢情報を演算する。送信部203は、求められた姿勢情報を描画装置300に送信する。本実施形態では、姿勢情報は回転マトリックスとして表現されるものとする。但し、頭部動作追跡装置200が回転マトリックスで表現される姿勢情報を出力するのではなく、センサー部201の重力ベクトルなどの検出結果をそのまま送信部203から出力したりするようにしてもよい。

0039

図示の画像表示システム100では、頭部動作追跡装置200と描画装置300間はBluetooth(登録商標通信などの無線通信により相互接続されているものとする。勿論、無線通信ではなく、USB(Universal Serial Bus)のような高速有線インフェース経由で頭部動作追跡装置200と描画装置300間を接続するようにしてもよい。

0040

描画装置300は、表示装置400で表示する画像のレンダリング処理を行なう。描画装置300は、例えばスマートフォンなどのAndroid(登録商標)搭載端末、あるいはパーソナル・コンピューター、ゲーム機として構成されるが、これらの装置に限定される訳ではない。

0041

図示の例では、描画装置300は、頭部動作追跡装置200から姿勢情報を受信する受信部301と、姿勢情報に基づいて画像のレンダリング処理を行なう描画処理部302と、レンダリングした画像を表示装置400に送信する送信部302と、画像データの供給源となる画像ソース304を備えている。

0042

受信部301は、Bluetooth(登録商標)通信などを介して、頭部動作追跡装置200から姿勢情報を受信する。上述したように、姿勢情報は回転マトリックスで表現されている。

0043

画像ソース304は、例えば、画像コンテンツを記録するHDD(Hard Disc Drive)やSSD(Solid State Drive)などの記憶装置ブルーレイ(登録商標)などの記録メディア再生するメディア再生装置ディジタル放送信号選局受信する放送チューナー、インターネットサーバーなどから画像コンテンツを受信する通信インターフェースなどからなる。

0044

描画処理部302は、画像ソース304の画像データから、表示装置400側で表示する画像をレンダリングする。描画処理部302は、例えば画像ソース304から供給される全天球型の原画像や4Kなどの広画角の原画像から、受信部301で受信した姿勢情報に対応した表示画角を切り出した画像をレンダリングする。

0045

描画装置300と表示装置400間は、例えばHDMI(登録商標)(High Definition Multimedia Interface)やMHL(Mobile High−definition Link)などの有線ケーブルにより接続されている。あるいは、wirelessHDやMiracastのような無線通信で接続してもよい。送信部303は、いずれかの通信路を用いて、描画処理部302でレンダリングされた画像データを表示装置400に送信する。

0046

表示装置400は、描画装置300から画像を受信する受信部401と、受信した画像を表示する表示部402を備えている。表示装置400は、例えば、画像を観察するユーザーの頭部又は顔部に固定されるヘッド・マウント・ディスプレイとして構成される。

0047

受信部401は、例えばHDMI(登録商標)やMHLなどの通信路を介して、描画装置300から画像データを受信する。表示部402は、受信した画像データを画面に表示する。

0048

表示装置400がヘッド・マウント・ディスプレイとして構成される場合、例えば、表示部402は、ユーザーの左右の眼にそれぞれ固定された左右の画面を備え、左眼用画像及び右眼用画像を表示する。表示部402の画面は、例えば有機EL(Electro−Luminescence)素子液晶ディスプレイなどのマイクロ・ディスプレイなどの表示パネル、あるいは、網膜直描ディスプレイなどのレーザー走査方式ディスプレイで構成される。また、表示部402の表示画像を拡大投影して、ユーザーの瞳に所定の画角からなる拡大虚像を結像する虚像光学部を備えている。

0049

描画装置300側では、例えば全天球型の原画像や4Kなどの広画角の原画像から、ユーザーの頭部の姿勢情報に対応した表示画角を切り出した画像をレンダリングする。表示装置400側では、ユーザーの頭部の姿勢角を打ち消すように原画像中の表示領域が移動することになる。したがって、頭部の動きに追従した画像を再現することができ、ユーザーは大画面を見渡す体験をすることができる。また、表示装置400は、画像の動きに合わせて音声の出力も変化させるようにしてもよい。

0050

図2には、画像表示システム100の変形例を模式的に示している。図1に示した例では、画像表示システム100は、頭部動作追跡装置200、描画装置300、表示装置400という3台の独立した装置で構成されるが、図2に示す例では、描画装置300の機能が表示装置400内に搭載されている。図1に示したように、頭部動作追跡装置200を表示装置400に外付けされるオプション製品として構成すれば、表示装置400の小型・軽量化、低廉化になる。

0051

図18には、図1又は図2に示した画像表示システム100において、ユーザーの頭部の動きに追従した画像を表示装置400で表示する仕組みを図解している。

0052

ユーザーの視線の奥行き方向がzw軸、水平方向がyw軸、垂直方向がxw軸であり、ユーザーの基準軸xwywzwの原点位置はユーザーの視点位置とする。したがって、ロールθzはユーザーの頭部のzw軸回り運動チルトθyはユーザーの頭部のyw軸回りの運動、パンθzはユーザーの頭部のxw軸回りの運動に相当する。

0053

頭部動作追跡装置200は、ユーザーの頭部のロール、チルト、パンの各方向の動き(θz,θy,θz)や頭部の平行移動からなる姿勢情報を検出して、回転マトリックスMRとして描画装置300に出力する。但し、頭部動作追跡装置200は回転マトリックスMRの誤差を補正してから出力する場合もあるが、この点の詳細については後述に譲る。

0054

描画装置300は、例えば全天球型の原画像や4Kなどの広画角の原画像1801から、ユーザーの頭部の姿勢情報に対応した表示画角1802を切り出した画像をレンダリングする。描画装置300は、ユーザーの頭部運動ロール成分に応じて表示画角1802−1を回転させたり、ユーザーの頭部運動のチルト成分に応じて表示画角1802−2を移動させたり、ユーザーの頭部運動のパン成分に応じて表示画角1802−3を移動させたりして、頭部動作追跡装置200が検出した頭部の動きを打ち消すように表示画角を移動させる。表示装置400側では、ユーザーの頭部の動きに追従するように原画像1801中で表示領域が移動する画像を提示することができる。

0055

図3並びに図4には、表示装置400の外観構成を示している。図示の例では、表示装置400は、画像を観察するユーザーの頭部又は顔部に固定して用いられるヘッド・マウント・ディスプレイとして構成される。但し、図3はヘッド・マウント・ディスプレイの斜視図であり、図4はヘッド・マウント・ディスプレイの左側面図である。

0056

図示の表示装置400は、帽子形状、若しくは、頭部の全周を包む帯状の構造とし、装置の荷重頭部全体に分散させて、ユーザーの負担を軽減して装着することができるヘッド・マウント・ディスプレイである。

0057

表示装置400は、表示系統を含む大部分の部品を含んだ本体部41と、本体部41の上面から突設した額当て部42と、上バンド44及び下バンド45に分岐されるヘッド・バンドと、左右のヘッドフォンからなる。本体部41内には、表示部や回路基板が収容される。また、本体部41の下方には、鼻背に倣うように鼻当て部43が形設されている。

0058

ユーザーが表示装置400を頭部に装着したとき、額当て部42がユーザーの額に当接するとともに、ヘッド・バンドの上バンド44及び下バンド45がそれぞれ頭部の後方に当接する。すなわち、額当て部42、上バンド44、下バンド45の3点支持によって、表示装置400がユーザーの頭部に装着される。したがって、主に鼻当て部で重量を支える通常の眼鏡の構造とは相違し、この表示装置400は、その荷重を頭部全体に分散させて、ユーザーの負担を軽減して装着することができる。図示の表示装置400も鼻当て部43を備えているが、補助的な支持しか寄与しない。また、額当て部42をヘッド・バンドで締め付けることで、表示装置400が装着されたユーザーの頭部から回転しないように、回転方向の動きを支持することができる。

0059

頭部動作追跡装置200は、ヘッド・マウント・ディスプレイとして構成される表示装置400の本体部41内に搭載することもできる。但し、本実施形態では、表示装置400の小型・軽量化、低廉化などを意図して、頭部動作追跡装置200は、表示装置400に外付けされるオプション製品として提供されるものとする。頭部動作追跡装置200は、例えばアクセサリーとして、表示装置400の上バンド44、下バンド45、額当て部42などのいずれかの場所に取り付けて用いられる。

0060

図18に示したようにユーザーの頭部の動きに追従して表示画角が移動する画像を表示装置400で提示するには、頭部動作追跡装置200がユーザーの頭部の姿勢を正確にトラッキングする必要がある。正確にトラッキングできないと、ユーザーの頭部の動きに追従した画像を提示することができない、あるいはユーザーに不快感を与える画像を提示してしまう。

0061

頭部動作追跡装置200は、ジャイロ・センサーと加速度センサーと地磁気センサーなど複数のセンサー素子を組み合わせて構成され、9軸を検出可能なセンサーを備えている。頭部動作追跡装置200がユーザーの頭部の姿勢を正確に検出するには、頭部動作追跡装置200の基準軸(x,y,z)と(図5中の参照番号501)、ユーザーの基準軸(xw,yw,zw)(図6中の参照番号601)とが、一致している必要がある。

0062

頭部動作追跡装置200の基準軸(x,y,z)501とユーザーの基準軸(xw,yw,zw)601が一致しないと(図7を参照のこと)、ユーザーの頭部の姿勢を正しく検出することができない。例えば、図7の参照番号701で示すようにユーザーがyw軸(ヨー)回りに頭部を振っても、頭部動作追跡装置200はy軸回転として検出できない。この結果、表示装置400側ではユーザーの頭部の動きに追従した画像を提示することができない、あるいはユーザーに不快感を与える画像を提示してしまう。したがって、基準軸(x,y,z)がユーザーの基準軸(xw,yw,zw)と一致するように、頭部動作追跡装置200をユーザーの頭部に固定する作業、すなわち、頭部動作追跡装置200の取り付け位置の構成を行なう必要がある。

0063

頭部動作追跡装置200がヘッド・マウント・ディスプレイとして構成される表示装置400の本体部41内に搭載される場合、ユーザーが毎回ヘッド・マウント・ディスプレイを同じ装着の仕方をすると仮定すれば、頭部動作追跡装置200の取り付け位置の校正を1回行なえばよい。

0064

ところが、頭部動作追跡装置200が、例えばアクセサリーとして表示装置400の上バンド44などの場所に取り付けられる場合、取り付ける度に取り付け位置が変わってしまう。頭部動作追跡装置200の取り付け位置の校正を毎回行なうのは現実的ではない。

0065

また、頭部動作追跡装置200がヘッド・マウント・ディスプレイとして構成される表示装置400の本体部41内に搭載される場合であっても、ユーザーの頭部形状嗜好などによって装着方法個人差が生じ、個別の基準軸のずれが発生し得る。また、同一ユーザーであっても、表示装置400を常に同じように頭部に装着するとは限らず、装着する度に基準軸のずれが変化する。

0066

そこで、本実施形態に係る画像表示システム100は、頭部動作追跡装置200の基準軸(x,y,z)とユーザーの基準軸(xw,yw,zw)のずれ、すなわち頭部動作追跡装置200の取り付け位置誤差を測定する取り付け位置誤差測定機能と、頭部動作追跡装置200で検出したユーザーの頭部の姿勢情報を取り付け位置誤差に基づいて補正する取り付け位置誤差吸収機能を備えている。したがって、頭部動作追跡装置200を取り付ける度に取り付け位置誤差が発生し、また、ユーザー毎に取り付け位置誤差が異なる場合であっても、正しい姿勢情報に補正することができ、描画装置300ではユーザーの頭部の動きに正確に追従した画像をレンダリングすることができる。

0067

まず、頭部動作追跡装置200の取り付け位置誤差測定機能について説明する。

0068

頭部動作追跡装置200を装着したユーザーが正面を向いて静止したとする。この状態で頭部動作追跡装置200が重力ベクトルを測定すると、図8中の参照番号801で示すように、ユーザーの鉛直方向に対応する上ベクトルGGが検出される。

0069

また、頭部動作追跡装置200を装着したユーザーが上を向いて静止したとする。この状態で頭部動作追跡装置200が重力ベクトルを測定すると、図8中の参照番号802で示すように、ユーザーの正面方向に対応する前ベクトルGFが検出される。図8中の参照番号803で示す平面SGは、上ベクトルGGに垂直な平面である。前ベクトルGFは、平面SG上にある。なお、ユーザーが下を向いて静止した状態でも、前ベクトルGFが検出される。

0070

上ベクトルGGは、図9中の参照番号901で示すように、ユーザーの基準軸では上方向すなわちyw軸に対応する。また、前ベクトルGFは、図9中の参照番号902で示すように、ユーザーの基準軸では前方向すなわちzw軸に対応する。このようにして、ユーザーの基準軸のうち2軸yw、zwが確定する。すなわち、頭部動作追跡装置200の基準軸xyzから見たユーザーの基準軸のうち2軸yw(yw(x),yw(y),yw(z))、zw(zw(x),zw(y),zw(z))を確定することができる。

0071

また、図9中の参照番号903で示すxw軸も、ywとzwの外積演算により求めることができる。したがって、頭部動作追跡装置200の基準軸xyzから見たユーザーの基準軸xw(xw(x),xw(y),xw(z))も確定することができる。

0072

図8及び図9を参照しながら説明した取り付け位置誤差測定方法では、ユーザーは正面方向と真上又は真下の2方向を向いて静止しなければならない。しかしながら、ユーザーは正面を向くことは容易であっても、真上又は真下を向く姿勢で静止するのは難しい。

0073

そこで、ユーザーに真上又は真下に向かせることに代えて、ユーザーに斜め上又は斜め下に向かせて取り付け位置の誤差を測定する方法についても提案する。斜め上又は斜め下を向く姿勢は楽であり、そのような姿勢で静止することは比較的容易である。

0074

頭部動作追跡装置200を装着したユーザーが正面を向いて静止する。この状態で頭部動作追跡装置200が重力ベクトルを測定すると、図10中の参照番号1001で示すように、ユーザーの鉛直方向に対応する上ベクトルGGが検出される。

0075

また、頭部動作追跡装置200を装着したユーザーが斜め上を向いて静止したとする。この状態で頭部動作追跡装置200が重力ベクトルを測定すると、図10中の参照番号1002で示すように、前斜め上ベクトルGSFが検出される。図10中の参照番号1003で示す平面SG上に、前斜め上ベクトルGSGを射影すると、参照番号1004で示すように、前ベクトルGFに相当するベクトルGF´が得られる。

0076

上ベクトルGGは、図11中の参照番号1101で示すように、ユーザーの基準軸では上方向すなわちyw軸に対応する。また、ベクトルGF´は、図11中の参照番号1102で示すように、ユーザーの基準軸では前方向すなわちzw軸に対応する。このようにして、ユーザーの基準軸のうち2軸yw、zwが確定する。すなわち、頭部動作追跡装置200の基準軸xyzから見たユーザーの基準軸のうち2軸yw(yw(x),yw(y),yw(z))、zw(zw(x),zw(y),zw(z))を確定することができる。

0077

また、図11中の参照番号1103で示すxw軸も、ywとzwの外積演算により求めることができる。したがって、頭部動作追跡装置200の基準軸xyzから見たユーザーの基準軸xw(xw(x),xw(y),xw(z))も確定することができる。

0078

続いて、取り付け位置誤差吸収機能について説明する。

0079

頭部動作追跡装置200の座標系xyzとユーザーxwywzwの座標系との関係は、下式(1)のように表わされる。

0080

0081

ここで、下式(2)のようにマトリックスM-1を定義すると、下式(3)に示すように、変換マトリックスMを用いて、頭部動作追跡装置200の座標系xyzを、ユーザーの座標系xwywzwに変換することができる。

0082

0083

0084

したがって、頭部動作追跡装置200から出力される姿勢情報が回転マトリックスMRで表現されるとすると、MRに変換マトリックスMを乗算することで、頭部動作追跡装置200の基準軸xyz上の姿勢情報をユーザーの基準軸xwywzw上の姿勢情報に補正することができる。

0085

上述した取り付け位置誤差測定機能や取り付け位置誤差吸収機能は、例えば頭部動作追跡装置200に装備して、描画装置300には補正された後の姿勢情報を送信するようにしてもよい。あるいは、取り付け位置誤差測定機能や取り付け位置誤差吸収機能を描画装置300に装備し、頭部動作追跡装置200から取り付け位置誤差を含んだ姿勢情報を描画装置300で補正してから描画処理を行なうようにしてもよい。

0086

図12には、取り付け位置誤差測定機能及び取り付け位置誤差吸収機能を備えた頭部動作追跡装置200の機能的構成を模式的に示している。

0087

センサー部201は、例えば、ジャイロ・センサーと加速度センサーと地磁気センサーなど複数のセンサー素子を組み合わせて構成され、9軸を検出可能なセンサーである。姿勢角演算部202は、センサー部201による9軸の検出結果に基づいて、ユーザーの頭部の姿勢角を演算して、姿勢情報を表す回転マトリックスMRを出力する。

0088

取り付け位置誤差測定機能部1201は、センサー部201で測定される重力ベクトルをモニターしている。

0089

取り付け位置誤差測定機能部1201は、ユーザーが正面を向いて静止しているタイミングで取得した重力ベクトルすなわち上ベクトルGGに基づいて、頭部動作追跡装置200の座標系xyz上のユーザーの基準軸yw軸を確定する。

0090

また、取り付け位置誤差測定機能部1201は、ユーザーが上を向いて静止しているタイミングで取得した重力ベクトルすなわち前ベクトルGFに基づいて、頭部動作追跡装置200の座標系xyz上のユーザーの基準軸zwを確定する。あるいは、取り付け位置誤差測定機能部1201は、ユーザーが斜め上を向いて静止しているタイミングで取得した重力ベクトルすなわち前斜め上ベクトルGSFを上ベクトルGGと垂直な平面SGに射影したベクトルGF´に基づいて、頭部動作追跡装置200の座標系xyz上のユーザーの基準軸zwを確定する。

0091

そして、取り付け位置誤差測定機能部1201は、ywとzwの外積演算により、xw軸を確定すると、上式(1)〜(3)に基づいて、変換マトリックスMを算出する。変換マトリックスMは、頭部動作追跡装置200の取り付け位置誤差を補正する補正係数である。

0092

取り付け位置誤差吸収部1202は、姿勢角演算部202で算出した回転マトリックスMRに変換マトリックスMを乗算して、取り付け位置誤差を補正する。そして、補正した後の回転マトリックスMR×Mを送信部203から描画装置300へ送信する。

0093

上述した方法により頭部動作追跡装置200の取り付け位置誤差の補正を行なうには、ユーザーに正面や上又は斜め上を向いてもらう必要がある。例えば、「正面を向いてください」、「上(又は斜め上)を向いてください」といったメッセージを表示装置400の表示部402に表示し、あるいは音声メッセージを発して、測定に必要な動作をユーザーに促すようにしてもよい。この場合、表示装置400は、各メッセージを表示したタイミングを、例えば描画装置300経由で頭部動作追跡装置200に通知して、重力ベクトルの測定タイミングとの同期をとる。そして、頭部動作追跡装置200では、各メッセージの表示が通知されたことに応答して、取り付け位置誤差測定部1201が、上ベクトルGGや前ベクトルGF又は前斜め上ベクトルGSFを取得するようにすればよい。

0094

図13には、図12に示した頭部動作追跡装置200の構成により、頭部動作追跡装置200の取り付け位置誤差を補正する補正係数を算出するための処理手順をフローチャートの形式で示している。

0095

表示装置400が、「正面を向いてください」といったメッセージを表示又は音声出力するなど、ユーザーに正面を向いてもらうための指示を行なうとともに、指示を行なったことを頭部動作追跡装置200に通知する(ステップS1301)。

0096

頭部動作追跡装置200側では、表示装置400からのメッセージの表示が通知されたことに応答して、取り付け位置誤差測定部1201が上ベクトルGGを測定する(ステップS1302)。例えば、取り付け位置誤差測定部1201は、センサー部201から出力される重力ベクトルが安定化すると、ユーザーが正面を向いて静止した状態と判断して、上ベクトルGGを測定する。あるいは、ユーザーが正面を向いて静止していることを示すユーザー操作が描画装置300又は表示装置400に対して行なわれると、これが頭部動作追跡装置200に通知され、取り付け位置誤差測定部1201が上ベクトルGGを測定する。

0097

次いで、表示装置400が、「上(又は斜め上)を向いてください」といったメッセージを表示又は音声出力するなど、ユーザーに上(又は斜め上)を向いてもらうための指示を行なうとともに、指示を行なったことを頭部動作追跡装置200に通知する(ステップS1303)。

0098

頭部動作追跡装置200側では、表示装置400からのメッセージの表示が通知されたことに応答して、取り付け位置誤差測定部1201が前ベクトルGF又は前斜め上ベクトルGSFを測定する(ステップS1304)。例えば、取り付け位置誤差測定部1201は、センサー部201から出力される重力ベクトルが安定化すると、ユーザーが上(又は斜め上)を向いて静止した状態と判断して、前ベクトルGF又は前斜め上ベクトルGSFを測定する。あるいは、ユーザーが上(又は斜め上)を向いて静止していることを示すユーザー操作が描画装置300又は表示装置400に対して行なわれると、これが頭部動作追跡装置200に通知され、取り付け位置誤差測定部1201が前ベクトルGF又は前斜め上ベクトルGSFを測定する。

0099

そして、取り付け位置誤差測定機能部1201は、上ベクトルGGから確定するyw軸と前ベクトルGF又は前斜め上ベクトルGSFから確定するzw軸の外積演算により、xw軸を確定すると、上式(1)〜(3)に基づいて、取り付け位置誤差を補正する補正係数として変換マトリックスMを算出する(ステップS1305)。

0100

ステップS1306では、演算結果がエラーとならないことをチェックする。例えば、ステップSS1303、S1304で前斜め上ベクトルGSFを測定する場合には、2つのベクトルGGとGSFのなす角が十分大きく(例えば、30度以上)、正しい演算が行なわれたかどうかをチェックする。

0101

ステップS1306のチェックが成功した場合には、ステップS1305で演算した結果を出力して、本処理ルーチンを終了する。

0102

一方、ステップS1306のチェックに失敗した場合には、例えば表示装置400で補正係数の計算に失敗した旨のメッセージをユーザーに提示した後(ステップS1307)、ステップS1301に戻り、補正係数を取得するための処理を繰り返し実行する。

0103

なお、ステップS1301〜S1305からなる変換マトリックスMの計算処理所定回数繰り返して、計算精度を高めるようにしてもよい。この場合、ステップS1306では、処理回数が所定回数に達したかどうかをチェックし、所定回数未満ならチェックに失敗したとして、ステップS1301に戻るようにすればよい。また、処理を複数回繰り返す場合、ユーザーに正面と真上又は斜め上の2方向だけ向かせるのではなく、他の方向にも向かせて、計算精度を高めるようにしてもよい。

0104

また、図14には、取り付け位置誤差測定機能及び取り付け位置誤差吸収機能を備えた描画装置300の機能的構成を模式的に示している。

0105

受信部301は、頭部動作追跡装置200から送信される、ユーザーの頭部の姿勢情報を表す回転マトリックスMRと、センサー部201で測定される重力ベクトルの情報を受信する。

0106

取り付け位置誤差測定機能部1401は、受信部301で受信する重力ベクトルをモニターしている。

0107

取り付け位置誤差測定機能部1401は、ユーザーが正面を向いて静止しているタイミングで取得した重力ベクトルすなわち上ベクトルGGに基づいて、頭部動作追跡装置200の座標系xyz上のユーザーの基準軸yw軸を確定する。

0108

また、取り付け位置誤差測定機能部1401は、ユーザーが上を向いて静止しているタイミングで取得した重力ベクトルすなわち前ベクトルGFに基づいて、頭部動作追跡装置200の座標系xyz上のユーザーの基準軸zwを確定する。あるいは、取り付け位置誤差測定機能部1401は、ユーザーが斜め上を向いて静止しているタイミングで取得した重力ベクトルすなわち前斜め上ベクトルGSFを上ベクトルGGと垂直な平面SGに射影したベクトルGF´に基づいて、頭部動作追跡装置200の座標系xyz上のユーザーの基準軸zwを確定する。

0109

そして、取り付け位置誤差測定機能部1401は、ywとzwの外積演算により、xw軸を確定すると、上式(1)〜(3)に基づいて、変換マトリックスMを算出する。変換マトリックスMは、頭部動作追跡装置200の取り付け位置誤差を補正する補正係数である。

0110

取り付け位置誤差吸収部1402は、受信部301で頭部動作追跡装置から受信した回転マトリックスMRに変換マトリックスMを乗算して、取り付け位置誤差を補正する。そして、補正した後の回転マトリックスMR×Mを描画処理部302に出力する。

0111

描画処理部302は、例えば画像ソース304から供給される全天球型の原画像や4Kなどの広画角の原画像から、取り付け位置誤差吸収部1402で補正された姿勢情報に対応した表示画角を切り出した画像をレンダリングする。

0112

上述した方法により頭部動作追跡装置200の取り付け位置誤差の補正を行なうには、ユーザーに正面や上又は斜め上を向いてもらう必要がある。例えば、描画装置300は、「正面を向いてください」、「上(又は斜め上)を向いてください」といったメッセージを表示するよう表示装置400に指示し、あるいは音声メッセージを発するよう指示して、測定に必要な動作をユーザーに促すようにしてもよい。この場合、描画装置300内の取り付け位置誤差測定部1401は、表示装置400でメッセージを表示するタイミングに同期して、頭部動作追跡装置300から受信する重力ベクトルから、上ベクトルGGや前ベクトルGF又は前斜め上ベクトルGSFを取得するようにすればよい。

0113

図15には、図14に示した描画装置300の構成により、頭部動作追跡装置200の取り付け位置誤差を補正する補正係数を算出するための処理手順をフローチャートの形式で示している。

0114

描画装置300は、表示装置400に対して、「正面を向いてください」といったユーザーに正面を向くように促すメッセージを表示又は音声出力することを指示する(ステップS1501)。

0115

そして、描画装置300内の取り付け位置誤差測定部1401は、表示装置400がメッセージを表示するタイミングに同期して、頭部動作追跡装置200から受信した重力ベクトルすなわち上ベクトルGGに基づいて、頭部動作追跡装置200の座標系xyz上のユーザーの基準軸yw軸を確定する(ステップS1502)。

0116

次いでは、描画装置300は、表示装置400に対して、「上(又は斜め上)を向いてください」といったユーザーに上(又は斜め上)を向くように促すメッセージを表示又は音声出力することを指示する(ステップS1503)。

0117

そして、描画装置300内の取り付け位置誤差測定部1401は、表示装置400がメッセージを表示するタイミングに同期して、頭部動作追跡装置200から受信した重力ベクトルすなわち前ベクトルGF又は前斜め上ベクトルGSFに基づいて、頭部動作追跡装置200の座標系xyz上のユーザーの基準軸zw軸を確定する(ステップS1504)。

0118

次いで、取り付け位置誤差測定機能部1401は、ステップS1502で確定したyw軸とステップS1504で確定したzw軸の外積演算により、xw軸を確定すると、上式(1)〜(3)に基づいて、取り付け位置誤差を補正する補正係数として変換マトリックスMを算出する(ステップS1505)。

0119

ステップS1506では、演算結果がエラーとならないことをチェックする。例えば、ステップSS1503、S1504で前斜め上ベクトルGSFを取得する場合には、2つのベクトルGGとGSFのなす角が十分大きく(例えば、30度以上)、正しい演算が行なわれたかどうかをチェックする。

0120

ステップS1506のチェックが成功した場合には、ステップS1305で演算した結果を出力して、本処理ルーチンを終了する。

0121

一方、ステップS1506のチェックに失敗した場合には、例えば表示装置400で補正係数の計算に失敗した旨のメッセージをユーザーに提示した後(ステップS1507)、ステップS1501に戻り、補正係数を取得するための処理を繰り返し実行する。

0122

なお、ステップS1501〜S1505からなる変換マトリックスMの計算処理を所定回数繰り返して、計算精度を高めるようにしてもよい。この場合、ステップS1506では、処理回数が所定回数に達したかどうかをチェックし、所定回数未満ならチェックに失敗したとして、ステップS1501に戻るようにすればよい。また、処理を複数回繰り返す場合、ユーザーに正面と真上又は斜め上の2方向だけ向かせるのではなく、他の方向にも向かせて、計算精度を高めるようにしてもよい。

0123

また、図16には、図2に示した画像表示システム100の表示装置400内に取り付け位置誤差測定機能及び取り付け位置誤差吸収機能を装備した機能的構成を模式的に示している。

0124

受信部301は、頭部動作追跡装置200から送信される、ユーザーの頭部の姿勢情報を表す回転マトリックスMRと、センサー部201で測定される重力ベクトルの情報を受信する。

0125

取り付け位置誤差測定機能部1601は、受信部301で受信する重力ベクトルをモニターしている。

0126

取り付け位置誤差測定機能部1601は、ユーザーが正面を向いて静止しているタイミングで取得した重力ベクトルすなわち上ベクトルGGに基づいて、頭部動作追跡装置200の座標系xyz上のユーザーの基準軸yw軸を確定する。

0127

また、取り付け位置誤差測定機能部1601は、ユーザーが上を向いて静止しているタイミングで取得した重力ベクトルすなわち前ベクトルGFに基づいて、頭部動作追跡装置200の座標系xyz上のユーザーの基準軸zwを確定する。あるいは、取り付け位置誤差測定機能部1601は、ユーザーが斜め上を向いて静止しているタイミングで取得した重力ベクトルすなわち前斜め上ベクトルGSFを上ベクトルGGと垂直な平面SGに射影したベクトルGF´に基づいて、頭部動作追跡装置200の座標系xyz上のユーザーの基準軸zwを確定する。

0128

そして、取り付け位置誤差測定機能部1601は、ywとzwの外積演算により、xw軸を確定すると、上式(1)〜(3)に基づいて、変換マトリックスMを算出する。変換マトリックスMは、頭部動作追跡装置200の取り付け位置誤差を補正する補正係数である。

0129

取り付け位置誤差吸収部1602は、受信部301で頭部動作追跡装置から受信した回転マトリックスMRに変換マトリックスMを乗算して、取り付け位置誤差を補正する。そして、補正した後の回転マトリックスMR×Mを描画処理部302に出力する。

0130

描画処理部302は、例えば画像ソース304から供給される全天球型の原画像や4Kなどの広画角の原画像から、取り付け位置誤差吸収部1602で補正された姿勢情報に対応した表示画角を切り出した画像をレンダリングする。そして、表示部402は、レンダリングされた表示画角の画像を表示する。

0131

上述した方法により頭部動作追跡装置200の取り付け位置誤差の補正を行なうには、ユーザーに正面や上又は斜め上を向いてもらう必要がある。例えば、表示装置400は、「正面を向いてください」、「上(又は斜め上)を向いてください」といったメッセージを表示し、あるいは音声メッセージを発して、測定に必要な動作をユーザーに促すようにしてもよい。この場合、表示装置400内の取り付け位置誤差測定部1601は、表示装置400でメッセージを表示するタイミングに同期して、頭部動作追跡装置300から受信する重力ベクトルから、上ベクトルGGや前ベクトルGF又は前斜め上ベクトルGSFを取得するようにすればよい。

0132

図17には、図16に示した表示装置400の構成により、頭部動作追跡装置200の取り付け位置誤差を補正する補正係数を算出するための処理手順をフローチャートの形式で示している。

0133

表示装置400は、「正面を向いてください」といったユーザーに正面を向くように促すメッセージを表示又は音声出力する(ステップS1701)。

0134

そして、表示装置400内の取り付け位置誤差測定部1601は、メッセージの表示に同期して、頭部動作追跡装置200から受信した重力ベクトルすなわち上ベクトルGGに基づいて、頭部動作追跡装置200の座標系xyz上のユーザーの基準軸yw軸を確定する(ステップS1702)。

0135

次いでは、表示装置400は、「上(又は斜め上)を向いてください」といったユーザーに上(又は斜め上)を向くように促すメッセージを表示又は音声出力する(ステップS1703)。

0136

そして、表示装置400内の取り付け位置誤差測定部1601は、メッセージの表示に同期して、頭部動作追跡装置200から受信した重力ベクトルすなわち前ベクトルGF又は前斜め上ベクトルGSFに基づいて、頭部動作追跡装置200の座標系xyz上のユーザーの基準軸zw軸を確定する(ステップS1704)。

0137

次いで、取り付け位置誤差測定機能部1601は、ステップS1702で確定したyw軸とステップS1704で確定したzw軸の外積演算により、xw軸を確定すると、上式(1)〜(3)に基づいて、取り付け位置誤差を補正する補正係数として変換マトリックスMを算出する(ステップS1705)。

0138

ステップS1706では、演算結果がエラーとならないことをチェックする。例えば、ステップSS1703、S1704で前斜め上ベクトルGSFを取得する場合には、2つのベクトルGGとGSFのなす角が十分大きく(例えば、30度以上)、正しい演算が行なわれたかどうかをチェックする。

0139

ステップS1706のチェックが成功した場合には、ステップS1305で演算した結果を出力して、本処理ルーチンを終了する。

0140

一方、ステップS1706のチェックに失敗した場合には、例えば表示装置400で補正係数の計算に失敗した旨のメッセージをユーザーに提示した後(ステップS1707)、ステップS1701に戻り、補正係数を取得するための処理を繰り返し実行する。

0141

なお、ステップS1701〜S1705からなる変換マトリックスMの計算処理を所定回数繰り返して、計算精度を高めるようにしてもよい。この場合、ステップS1706では、処理回数が所定回数に達したかどうかをチェックし、所定回数未満ならチェックに失敗したとして、ステップS1701に戻るようにすればよい。また、処理を複数回繰り返す場合、ユーザーに正面と真上又は斜め上の2方向だけ向かせるのではなく、他の方向にも向かせて、計算精度を高めるようにしてもよい。

0142

以上説明してきたように、本実施形態に係る画像表示システム100によれば、頭部動作追跡装置200の取り付け位置誤差の補正を、ユーザーにとって簡便な方法で行なうことができる。

0143

画像表示システム100において頭部動作追跡装置200の取り付け位置誤差を測定する際に、ユーザーは、正面と真上又は斜め上の2方向を向くという2つの姿勢をとるだけでよい。ユーザーは正面を向く姿勢をとることは容易である。また、ユーザーは、真上を向く姿勢は難しいが、斜め上を向く姿勢であれば容易である。また、ユーザーが斜め上を向く姿勢は厳密でなくてもよい。

0144

また、本実施形態に係る画像表示システム100は、頭部動作追跡装置200の取り付け位置誤差を測定し、頭部動作追跡装置200が測定した姿勢情報に対して取り付け位置誤差補正を行なうので、頭部動作追跡装置200を表示装置400本体に対して精密に固定する必要はなく、アクセサリー部品のように毎回取り付けるようにしても正確な姿勢情報を得ることができる。

先行技術

0145

特開2012−141461号公報
特開平9−106322号公報
特開2010−256534号公報

0146

以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正代用を成し得ることは自明である。

0147

本明細書で開示する技術は、頭部動作追跡装置200が、ヘッド・マウント・ディスプレイとして構成される表示装置400に外付けされるオプション製品として提供される場合に特に有効であるが、勿論、表示装置400の本体部41内に頭部動作追跡装置200が搭載される場合であっても、同様に本明細書で開示する技術を適用することができる。また、表示装置400がヘッド・マウント・ディスプレイ以外の製品であっても、ユーザーの頭部の動きに追従した画像を再現する際に、同様に本明細書で開示する技術を適用することができる。

0148

要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

0149

なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
(1)姿勢を検出するセンサー部と、
前記センサー部の取り付け位置の誤差を測定する取り付け位置誤差測定部と、
前記取り付け位置の誤差に基づいて、前記センサー部が検出した姿勢情報を補正する取り付け位置誤差吸収部と、
前記補正した姿勢情報を外部装置に送信する送信部と、
を具備する姿勢測定装置。
(2)ユーザーの頭部に装着して用いられ、
前記センサー部は、前記頭部の姿勢を検出し、
前記取り付け位置誤差測定部は、前記ユーザーの基準軸に対する前記センサー部の基準軸のずれを測定し、
前記取り付け位置誤差吸収部は、前記ずれに基づいて、前記センサー部が検出した姿勢情報を補正する、
上記(1)に記載の姿勢測定装置。
(3)ユーザーの頭部に装着して用いられ、
前記送信部は、前記ユーザーの頭部の動きに追従する画像をレンダリングする前記外部装置に前記補正した姿勢情報を送信する、
上記(1)又は(2)のいずれかに記載の姿勢測定装置。
(4)前記センサー部は重力ベクトルを検出することができ、
前記取り付け位置誤差測定部は、前記ユーザーが2つの姿勢をとったときにそれぞれ検出された重力ベクトルに基づいて、前記取り付け位置の誤差を測定する、
上記(2)に記載の姿勢測定装置。
(5)前記取り付け位置誤差測定部は、前記ユーザーが正面を向いたときの重力ベクトルGGに基づいて前記センサー部の基準軸xyzに対する前記ユーザーの基準軸yw軸を確定し、前記ユーザーが真上を向いたときの重力ベクトルGF又は前記ユーザーが斜め上を向いたときの重力ベクトルGSFに基づいて前記センサーの基準軸xyzに対する前記ユーザーの基準軸zw軸を確定するとともに、前記yw軸と前記zw軸の外積演算により前記ユーザーの基準軸のxw軸を確定し、前記センサーの基準軸xyzと前記ユーザーの基準軸xwywzwとの関係に基づいて変換マトリックスMを算出し、
前記取り付け位置誤差吸収部は、前記センサー部が検出した姿勢情報を表す回転マトリックスMRに前記変換マトリックスMを乗算して前記取り付け位置の誤差を補正する、
上記(4)に記載の姿勢測定装置。
(6)前記取り付け位置誤差測定部は、表示装置がユーザーに正面を向くように促すメッセージを表示又は音声出力したことに応答して前記重力ベクトルGGを測定し、前記表示装置がユーザーに真上又は斜め上を向くように促すメッセージを表示又は音声出力したことに応答して前記重力ベクトルGF又はGSFを測定する、
上記(5)に記載の姿勢測定装置。
(7)姿勢を検出するセンサー部の取り付け位置の誤差を測定する取り付け位置誤差測定ステップと、
前記取り付け位置の誤差に基づいて、前記センサー部が検出した姿勢情報を補正する取り付け位置誤差吸収ステップと、
前記補正した姿勢情報を外部装置に送信する送信ステップと、
を有する姿勢測定方法。
(8)ユーザーの頭部に取り付けられた頭部動作追跡装置から前記頭部の姿勢情報を含む情報を受信する受信部と、
前記頭部動作追跡装置の取り付け位置の誤差を測定する取り付け位置誤差測定部と、
前記取り付け位置の誤差に基づいて、前記頭部動作追跡装置から受信した姿勢情報を補正する取り付け位置誤差吸収部と、
前記補正した姿勢情報に基づいて画像を処理する描画処理部と、
前記描画処理部が処理した画像を表示装置に送信する送信部と、
を具備する画像処理装置。
(9)前記描画処理部は、前記姿勢情報に基づいて、前記ユーザーの頭部の動きに追従する画像をレンダリングする、
上記(8)に記載の画像処理装置。
(10)前記取り付け位置誤差測定部は、前記ユーザーの基準軸に対する前記頭部動作追跡装置の基準軸のずれを測定し、
前記取り付け位置誤差吸収部は、前記ずれに基づいて、前記頭部動作追跡装置から受信した姿勢情報を補正する、
上記(8)又は(9)のいずれかに記載の画像処理装置。
(11)前記取り付け位置誤差測定部は、前記ユーザーが2つの姿勢をとったときにそれぞれ前記頭部動作追跡装置から受信した重力ベクトルに基づいて、前記取り付け位置の誤差を測定する、
上記(8)乃至(10)のいずれかに記載の画像処理装置。
(12)前記取り付け位置誤差測定部は、前記ユーザーが正面を向いたときの重力ベクトルGGに基づいて前記センサー部の基準軸xyzに対する前記ユーザーの基準軸yw軸を確定し、前記ユーザーが真上を向いたときの重力ベクトルGF又は前記ユーザーが斜め上を向いたときの重力ベクトルGSFに基づいて前記センサーの基準軸xyzに対する前記ユーザーの基準軸zw軸を確定するとともに、前記yw軸と前記zw軸の外積演算により前記ユーザーの基準軸のxw軸を確定し、前記センサーの基準軸xyzと前記ユーザーの基準軸xwywzwとの関係に基づいて変換マトリックスMを算出し、
前記取り付け位置誤差吸収部は、前記センサー部が検出した姿勢情報を表す回転マトリックスMRに前記変換マトリックスMを乗算して前記取り付け位置の誤差を補正する、
上記(11)に記載の画像処理装置。
(13)前記取り付け位置誤差測定部は、前記表示装置に対してユーザーに正面を向くように促すメッセージの表示又は音声出力を指示したことに応答して前記重力ベクトルGGを測定し、前記表示装置にユーザーに真上又は斜め上を向くように促すメッセージの表示又は音声出力を指示したことに応答して前記重力ベクトルGF又はGSFを測定する、
上記(12)に記載の画像処理装置。
(14)ユーザーの頭部に取り付けられた頭部動作追跡装置から前記頭部の姿勢情報を含む情報を受信する受信ステップと、
前記頭部動作追跡装置の取り付け位置の誤差を測定する取り付け位置誤差測定ステップと、
前記取り付け位置の誤差に基づいて、前記頭部動作追跡装置から受信した姿勢情報を補正する取り付け位置誤差吸収ステップと、
前記補正した姿勢情報に基づいて画像を処理する描画処理ステップと、
前記描画処理部が処理した画像を表示装置に送信する送信ステップと、
を有する画像処理方法。
(15)ユーザーの頭部に取り付けられた頭部動作追跡装置から前記頭部の姿勢情報を含む情報を受信する受信部と、
前記頭部動作追跡装置の取り付け位置の誤差を測定する取り付け位置誤差測定部と、
前記取り付け位置の誤差に基づいて、前記頭部動作追跡装置から受信した姿勢情報を補正する取り付け位置誤差吸収部と、
前記補正した姿勢情報に基づいて画像を処理する描画処理部と、
前記描画処理部が処理した画像を表示する表示部と、
を具備する表示装置。
(16)前記表示部の表示画面を前記ユーザーの頭部又は顔部に固定して用いられる、上記(15)に記載の表示装置。
(17)前記描画処理部は、前記姿勢情報に基づいて、前記ユーザーの頭部の動きに追従する画像をレンダリングする、
上記(15)又は(16)のいずれかに記載の表示装置。
(18)前記取り付け位置誤差測定部は、前記ユーザーの基準軸に対する前記頭部動作追跡装置の基準軸のずれを測定し、
前記取り付け位置誤差吸収部は、前記ずれに基づいて、前記頭部動作追跡装置から受信した姿勢情報を補正する、
上記(15)乃至(17)のいずれかに記載の表示装置。
(19)前記取り付け位置誤差測定部は、前記ユーザーが2つの姿勢をとったときにそれぞれ前記頭部動作追跡装置から受信した重力ベクトルに基づいて、前記取り付け位置の誤差を測定する、
上記(18)に記載の表示装置。
(20)前記取り付け位置誤差測定部は、前記ユーザーが正面を向いたときの重力ベクトルGGに基づいて前記センサー部の基準軸xyzに対する前記ユーザーの基準軸yw軸を確定し、前記ユーザーが真上を向いたときの重力ベクトルGF又は前記ユーザーが斜め上を向いたときの重力ベクトルGSFに基づいて前記センサーの基準軸xyzに対する前記ユーザーの基準軸zw軸を確定するとともに、前記yw軸と前記zw軸の外積演算により前記ユーザーの基準軸のxw軸を確定し、前記センサーの基準軸xyzと前記ユーザーの基準軸xwywzwとの関係に基づいて変換マトリックスMを算出し、
前記取り付け位置誤差吸収部は、前記センサー部が検出した姿勢情報を表す回転マトリックスMRに前記変換マトリックスMを乗算して前記取り付け位置の誤差を補正する、
上記(19)に記載の表示装置。
(21)前記取り付け位置誤差測定部は、ユーザーに正面を向くように促すメッセージを表示又は音声出力したことに応答して前記重力ベクトルGGを測定し、ユーザーに真上又は斜め上を向くように促すメッセージを表示又は音声出力したことに応答して前記重力ベクトルGF又はGSFを測定する、
上記(20)に記載の表示装置。
(22)姿勢を検出するセンサー部の取り付け位置の誤差を測定する取り付け位置誤差測定部、
前記取り付け位置の誤差に基づいて、前記センサー部が検出した姿勢情報を補正する取り付け位置誤差吸収部、
前記補正した姿勢情報を外部装置に送信する送信部、
としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラム。
(23)ユーザーの頭部に取り付けられた頭部動作追跡装置から前記頭部の姿勢情報を含む情報を受信する受信部、
前記頭部動作追跡装置の取り付け位置の誤差を測定する取り付け位置誤差測定部、
前記取り付け位置の誤差に基づいて、前記頭部動作追跡装置から受信した姿勢情報を補正する取り付け位置誤差吸収部、
前記補正した姿勢情報に基づいて画像を処理する描画処理部、
前記描画処理部が処理した画像を表示装置に送信する送信部、
としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラム。
(24)ユーザーの頭部に取り付けられた頭部動作追跡装置から前記頭部の姿勢情報を含む情報を受信する受信部、
前記頭部動作追跡装置の取り付け位置の誤差を測定する取り付け位置誤差測定部、
前記取り付け位置の誤差に基づいて、前記頭部動作追跡装置から受信した姿勢情報を補正する取り付け位置誤差吸収部、
前記補正した姿勢情報に基づいて画像を処理する描画処理部、
前記描画処理部が処理した画像を表示する表示部、
としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラム
(25)ユーザーの頭部の姿勢を測定する頭部動作追跡装置と、
前記頭部動作追跡装置の取り付け位置の誤差を測定する取り付け位置誤差測定機能と、
前記取り付け位置の誤差に基づいて、前記頭部動作追跡装置で測定した姿勢情報を補正する取り付け位置誤差吸収機能と、
前記補正した姿勢情報に基づいて画像をレンダリングする描画装置と、
前記描画装置でレンダリングした画像を表示する表示装置と、
を具備する画像表示システム。

0150

41…本体部、42…額当て部、43…鼻当て部
44…上バンド、45…下バンド
100…画像表示システム
200…頭部動作追跡装置、201…センサー部、202…姿勢角演算部
203…送信部
300…描画装置、301…受信部、302…描画処理部、303…送信部
304…画像ソース
400…表示装置、401…受信部、402…表示部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ