図面 (/)

この項目の情報は公開日時点(2019年8月15日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (10)

課題

姿勢を特定するための発光部を備えているヘッドマウントディスプレイにおいて、発光部の輝度を測定するための機器別途設けることなく発光部の輝度を制御できるようにする。

解決手段

姿勢特定部62は、カメラ撮影する、駆動電流に応じた輝度で発光する発光部の像を含む、姿勢特定用の画像に基づいて、発光部を備えるHMDの姿勢を特定する。輝度情報特定部64は、姿勢特定用の画像を撮影するカメラが撮影する、発光部の像を含む、輝度特定用の画像に基づいて、発光部の輝度を示す情報を特定する。駆動電流制御部66は、特定される発光部の輝度を示す情報に基づいて、発光部の駆動電流を制御する。

概要

背景

例えば特許文献1〜3に記載されているような、ユーザが頭部に装着して映像観賞等するためのヘッドマウントディスプレイ(HMD)が知られている。HMDのなかには、LEDなどといった駆動電流に応じた輝度発光する発光部を複数備えており、当該複数の発光部をカメラ撮影した画像に基づいて、HMDの姿勢を特定することができるものがある。

概要

姿勢を特定するための発光部を備えているヘッドマウントディスプレイにおいて、発光部の輝度を測定するための機器別途設けることなく発光部の輝度を制御できるようにする。姿勢特定部62は、カメラが撮影する、駆動電流に応じた輝度で発光する発光部の像を含む、姿勢特定用の画像に基づいて、発光部を備えるHMDの姿勢を特定する。輝度情報特定部64は、姿勢特定用の画像を撮影するカメラが撮影する、発光部の像を含む、輝度特定用の画像に基づいて、発光部の輝度を示す情報を特定する。駆動電流制御部66は、特定される発光部の輝度を示す情報に基づいて、発光部の駆動電流を制御する。

目的

本発明は上記実情に鑑みてなされたものであって、その目的の一つは、姿勢を特定するための発光部を備えているヘッドマウントディスプレイにおいて、発光部の輝度を測定するための機器を別途設けることなく発光部の輝度を制御できるようにすることにある

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

カメラ撮影する、駆動電流に応じた輝度発光する発光部の像を含む、姿勢特定用の画像に基づいて、前記発光部を備えるヘッドマウントディスプレイ姿勢を特定する姿勢特定部と、前記姿勢特定用の画像を撮影する前記カメラが撮影する、前記発光部の像を含む、輝度特定用の画像に基づいて、前記発光部の輝度を示す情報を特定する輝度情報特定部と、特定される前記発光部の輝度を示す情報に基づいて、前記発光部の駆動電流を制御する駆動電流制御部と、を含むことを特徴とする制御装置

請求項2

前記輝度情報特定部は、前記発光部の像を含む輝度特定用の画像内における当該発光部が占める領域に基づいて、当該発光部の輝度を示す情報を特定する、ことを特徴とする請求項1に記載の制御装置。

請求項3

前記姿勢特定用の画像と前記輝度特定用の画像は同一の画像である、ことを特徴とする請求項1又は2に記載の制御装置。

請求項4

環境の明るさに基づいて前記輝度を示す情報の目標値を決定する目標値決定部、をさらに含み、前記駆動電流制御部は、前記輝度を示す情報の目標値に応じた前記発光部の駆動電流の制御を行う、ことを特徴とする請求項1から3のいずれか一項に記載の制御装置。

請求項5

前記輝度情報特定部は、前記発光部の輝度を示す情報を特定不能である場合にその旨を通知する、ことを特徴とする請求項1から4のいずれか一項に記載の制御装置。

請求項6

前記ヘッドマウントディスプレイが、前記発光部を複数含み、前記輝度情報特定部は、前記複数の発光部のいずれかの輝度を示す情報が特定不能である場合に、輝度を示す情報が特定不能である前記発光部に応じた通知を行う、ことを特徴とする請求項5に記載の制御装置。

請求項7

駆動電流に応じた輝度で発光する発光部を備えるヘッドマウントディスプレイであって、カメラが撮影する、前記発光部の像を含む姿勢特定用の画像に基づいて、前記ヘッドマウントディスプレイの姿勢を特定する姿勢特定部と、前記姿勢特定用の画像を撮影する前記カメラが撮影する、前記発光部の像を含む輝度特定用の画像に基づいて、当該発光部の輝度を示す情報を特定する輝度情報特定部と、特定される前記発光部の輝度を示す情報に基づいて、前記発光部の駆動電流を制御する駆動電流制御部と、を含むことを特徴とするヘッドマウントディスプレイ。

請求項8

カメラが撮影する、駆動電流に応じた輝度で発光する発光部の像を含む、姿勢特定用の画像に基づいて、前記発光部を備えるヘッドマウントディスプレイの姿勢を特定する姿勢特定部と、前記姿勢特定用の画像を撮影する前記カメラが撮影する、前記発光部の像を含む、輝度特定用の画像に基づいて、前記発光部の輝度を示す情報を特定する輝度情報特定部と、特定される前記発光部の輝度を示す情報に基づいて、前記発光部の駆動電流を制御する駆動電流制御部と、を含むことを特徴とする制御システム

請求項9

カメラが撮影する、駆動電流に応じた輝度で発光する発光部の像を含む、姿勢特定用の画像に基づいて、前記発光部を備えるヘッドマウントディスプレイの姿勢を特定するステップと、前記姿勢特定用の画像を撮影する前記カメラが撮影する、前記発光部の像を含む、輝度特定用の画像に基づいて、前記発光部の輝度を示す情報を特定するステップと、特定される前記発光部の輝度を示す情報に基づいて、前記発光部の駆動電流を制御するステップと、を含むことを特徴とする制御方法

請求項10

カメラが撮影する、駆動電流に応じた輝度で発光する発光部の像を含む、姿勢特定用の画像に基づいて、前記発光部を備えるヘッドマウントディスプレイの姿勢を特定する手順、前記姿勢特定用の画像を撮影する前記カメラが撮影する、前記発光部の像を含む、輝度特定用の画像に基づいて、前記発光部の輝度を示す情報を特定する手順、特定される前記発光部の輝度を示す情報に基づいて、前記発光部の駆動電流を制御する手順、をコンピュータに実行させることを特徴とするプログラム

技術分野

0001

本発明は、制御装置ヘッドマウントディスプレイ、制御システム制御方法及びプログラムに関する。

背景技術

0002

例えば特許文献1〜3に記載されているような、ユーザが頭部に装着して映像観賞等するためのヘッドマウントディスプレイ(HMD)が知られている。HMDのなかには、LEDなどといった駆動電流に応じた輝度発光する発光部を複数備えており、当該複数の発光部をカメラ撮影した画像に基づいて、HMDの姿勢を特定することができるものがある。

先行技術

0003

特開2004−205711号公報
特開2012−2889号公報
特開2013−210588号公報

発明が解決しようとする課題

0004

発光部をカメラで撮影した画像に基づいてHMDの姿勢を特定するにあたって、発光部の輝度が小さいとHMDの姿勢の特定精度が低下する。一方で発光部の輝度が大きいほど発光部の消費電力が大きいので、発光部の輝度はなるべく小さい方が望ましい。また例えばHMDの周辺の環境が明るい場合には、HMDの姿勢を特定するために発光部の輝度を大きくしなければならない場合がある。

0005

ここで発光部の駆動電流と輝度との関係は、素子の特性、使用時間の長さ、使用されている際の周囲の温度などに依存するので、駆動電流の大きさによって発光部の輝度は一意に定まらない。

0006

そのため発光部の輝度がある程度の大きさに保たれるようにするためには、発光部の輝度の測定結果に基づく当該発光部に流れる駆動電流の制御を行う必要がある。しかし従来はこのような制御を行うために輝度を測定するための機器別途設ける必要があった。

0007

本発明は上記実情に鑑みてなされたものであって、その目的の一つは、姿勢を特定するための発光部を備えているヘッドマウントディスプレイにおいて、発光部の輝度を測定するための機器を別途設けることなく発光部の輝度を制御できるようにすることにある。

課題を解決するための手段

0008

上記課題を解決するために、本発明に係る制御装置は、カメラが撮影する、駆動電流に応じた輝度で発光する発光部の像を含む、姿勢特定用の画像に基づいて、前記発光部を備えるヘッドマウントディスプレイの姿勢を特定する姿勢特定部と、前記姿勢特定用の画像を撮影する前記カメラが撮影する、前記発光部の像を含む、輝度特定用の画像に基づいて、前記発光部の輝度を示す情報を特定する輝度情報特定部と、特定される前記発光部の輝度を示す情報に基づいて、前記発光部の駆動電流を制御する駆動電流制御部と、を含む。

0009

本発明の一態様では、前記輝度情報特定部は、前記発光部の像を含む輝度特定用の画像内における当該発光部が占める領域に基づいて、当該発光部の輝度を示す情報を特定する。

0010

また本発明の一態様では、前記姿勢特定用の画像と前記輝度特定用の画像は同一の画像である。

0011

また本発明の一態様では、環境の明るさに基づいて前記輝度を示す情報の目標値を決定する目標値決定部、をさらに含み、前記駆動電流制御部は、前記輝度を示す情報の目標値に応じた前記発光部の駆動電流の制御を行う。

0012

また本発明の一態様では、前記輝度情報特定部は、前記発光部の輝度を示す情報を特定不能である場合にその旨を通知する。

0013

この態様では、前記ヘッドマウントディスプレイが、前記発光部を複数含み、前記輝度情報特定部は、前記複数の発光部のいずれかの輝度を示す情報が特定不能である場合に、輝度を示す情報が特定不能である前記発光部に応じた通知を行ってもよい。

0014

また、本発明に係るヘッドマウントディスプレイは、カメラが撮影する、前記発光部の像を含む姿勢特定用の画像に基づいて、前記ヘッドマウントディスプレイの姿勢を特定する姿勢特定部と、前記姿勢特定用の画像を撮影する前記カメラが撮影する、前記発光部の像を含む輝度特定用の画像に基づいて、当該発光部の輝度を示す情報を特定する輝度情報特定部と、特定される前記発光部の輝度を示す情報に基づいて、前記発光部の駆動電流を制御する駆動電流制御部と、を含む。

0015

また、本発明に係る制御システムは、カメラが撮影する、駆動電流に応じた輝度で発光する発光部の像を含む、姿勢特定用の画像に基づいて、前記発光部を備えるヘッドマウントディスプレイの姿勢を特定する姿勢特定部と、前記姿勢特定用の画像を撮影する前記カメラが撮影する、前記発光部の像を含む、輝度特定用の画像に基づいて、前記発光部の輝度を示す情報を特定する輝度情報特定部と、特定される前記発光部の輝度を示す情報に基づいて、前記発光部の駆動電流を制御する駆動電流制御部と、を含む。

0016

また、本発明に係る制御方法は、カメラが撮影する、駆動電流に応じた輝度で発光する発光部の像を含む、姿勢特定用の画像に基づいて、前記発光部を備えるヘッドマウントディスプレイの姿勢を特定するステップと、前記姿勢特定用の画像を撮影する前記カメラが撮影する、前記発光部の像を含む、輝度特定用の画像に基づいて、前記発光部の輝度を示す情報を特定するステップと、特定される前記発光部の輝度を示す情報に基づいて、前記発光部の駆動電流を制御するステップと、を含む。

0017

また、本発明に係るプログラムは、カメラが撮影する、駆動電流に応じた輝度で発光する発光部の像を含む、姿勢特定用の画像に基づいて、前記発光部を備えるヘッドマウントディスプレイの姿勢を特定する手順、前記姿勢特定用の画像を撮影する前記カメラが撮影する、前記発光部の像を含む、輝度特定用の画像に基づいて、前記発光部の輝度を示す情報特定する手順、特定される前記発光部の輝度を示す情報に基づいて、前記発光部の駆動電流を制御する手順、をコンピュータに実行させる。

図面の簡単な説明

0018

本発明の一実施形態に係る映像表示システムの全体構成の一例を示す図である。
本発明の一実施形態に係るヘッドマウントディスプレイの構成の一例を示す図である。
本発明の一実施形態に係るエンタテインメント装置の構成の一例を示す図である。
撮影画像の一例を示す図である。
発光部抽出画像の一例を示す図である。
本発明の一実施形態における発光部の輝度の調整の一例を説明する説明図である。
本発明の一実施形態における発光部の輝度の調整の別の一例を説明する説明図である。
本発明の一実施形態に係るヘッドマウントディスプレイで実装される機能の一例を示す機能ブロック図である。
本発明の一実施形態に係るヘッドマウントディスプレイにおいて行われる処理の流れの一例を示すフロー図である。

実施例

0019

以下、本発明の一実施形態について、図面を参照しながら説明する。

0020

図1は、本発明の一実施形態に係る映像表示システム10の全体構成の一例を示す図である。図2Aは、本実施形態に係るヘッドマウントディスプレイ(HMD)12の構成の一例を示す図である。図2Bは、本実施形態に係るエンタテインメント装置14の構成の一例を示す図である。

0021

図1に示すように、本実施形態に係る映像表示システム10は、HMD12とエンタテインメント装置14と中継装置16とディスプレイ18とカメラマイクユニット20とコントローラ22とを含んでいる。

0022

本実施形態に係るHMD12には、例えば図2Aに示すように、制御部30、記憶部31、入出力部32、表示部33、駆動回路34、複数の発光部35、センサ部36、音声出力部37が含まれる。

0023

制御部30は、例えばHMD12にインストールされるプログラムに従って動作するマイクロプロセッサ等のプログラム制御デバイスである。

0024

記憶部31は、例えばROMやRAM等の記憶素子などである。記憶部31には、制御部30によって実行されるプログラムなどが記憶される。

0025

入出力部32は、例えばHDMI登録商標)(High-Definition Multimedia Interface)ポートUSBポート、AUXポートなどの入出力ポートである。

0026

表示部33は、HMD12の前側に配置されている、例えば液晶ディスプレイ有機ELディスプレイ等のディスプレイであり、エンタテインメント装置14が生成する映像などを表示させる。また表示部33は、HMD12の筐体38に収容される。表示部33は、例えばエンタテインメント装置14が出力して中継装置16で中継される映像信号を受信して、当該映像信号が表す映像を出力するようにしてもよい。本実施形態に係る表示部33は、例えば左目用の画像と右目用の画像を表示することによって三次元画像を表示させることができるようになっている。なお表示部33は三次元画像の表示ができず二次元画像の表示のみができるものであっても構わない。

0027

駆動回路34は、例えば複数の発光部35を駆動させるためのLEDドライバ等の回路である。

0028

発光部35は、LED等の発光素子によって構成されており、駆動回路34が出力する駆動電流に応じた輝度で発光する。本実施形態に係るHMD12は、複数の発光部35を備えている。複数の発光部35のうちの1個は、筐体38の前面中央に配置されている。また筐体38の前面と側面とに掛かるように、前面の4隅のそれぞれにも発光部35が配置されている。これら4個の発光部35のそれぞれは、筐体38の前面の外縁の外側を向くようにして、筐体38の前面に対して斜めに配置されている。また筐体38の左右の側面のそれぞれにも発光部35が配置されている。また筐体38を支持する装着バンド39にも2個の発光部35が配置されている。以上のように本実施形態に係るHMD12は9個の発光部35を備えている。本実施形態に係る発光部35は青色光を発する。

0029

センサ部36は、例えば加速度センサモーションセンサなどといったセンサである。センサ部36は、HMD12の回転量、移動量などの計測結果を所定のフレームレートで、制御部30に出力する。

0030

音声出力部37は、例えばヘッドホンスピーカ等であり、エンタテインメント装置14が生成する音声データが表す音声などを出力する。音声出力部37は、例えばエンタテインメント装置14が出力して中継装置16で中継される音声信号を受信して、当該音声信号が表す音声を出力する。

0031

本実施形態に係るエンタテインメント装置14は、例えばゲームコンソールDVDプレイヤ、Blu−ray(登録商標)プレイヤなどといったコンピュータである。本実施形態に係るエンタテインメント装置14は、例えば記憶されているゲームプログラムの実行や光ディスクに記録されたコンテンツ再生などによって映像や音声を生成する。そして本実施形態に係るエンタテインメント装置14は、生成される映像を表す映像信号や生成される音声を表す音声信号を、中継装置16を経由して、HMD12やディスプレイ18に出力する。

0032

本実施形態に係るエンタテインメント装置14には、例えば図2Bに示すように、制御部40、記憶部41、通信部42、入出力部43が含まれる。

0033

制御部40は、例えばエンタテインメント装置14にインストールされるプログラムに従って動作するCPU等のプログラム制御デバイスである。本実施形態に係る制御部40には、CPUから供給されるグラフィックスコマンドやデータに基づいてフレームバッファに画像を描画するGPU(Graphics Processing Unit)も含まれている。

0034

記憶部41は、例えばROMやRAM等の記憶素子やハードディスクドライブなどである。記憶部41には、制御部40によって実行されるプログラムなどが記憶される。また、本実施形態に係る記憶部41には、GPUにより画像が描画されるフレームバッファの領域が確保されている。

0035

通信部42は、例えばイーサネット(登録商標)モジュール無線LANモジュールなどの通信インタフェースなどである。

0036

入出力部43は、HDMI(登録商標)(High-Definition Multimedia Interface)ポートやUSBポートなどの入出力ポートである。

0037

本実施形態に係る中継装置16は、エンタテインメント装置14から出力される映像信号や音声信号を中継してHMD12やディスプレイ18に出力するコンピュータである。

0038

本実施形態に係るディスプレイ18は、例えば液晶ディスプレイ等であり、エンタテインメント装置14から出力される映像信号が表す映像などを表示させる。

0039

本実施形態に係るカメラマイクユニット20は、例えば被写体を撮像した画像をエンタテインメント装置14に出力するカメラ20a及び周囲の音声を取得して当該音声を音声データに変換してエンタテインメント装置14に出力するマイク20bを含んでいる。また本実施形態に係るカメラ20aはステレオカメラである。

0040

HMD12と中継装置16とは、例えば、HDMIケーブルUSBケーブルなどを介して接続されている。エンタテインメント装置14と中継装置16とは、例えば、HDMIケーブルやUSBケーブルなどを介して接続されている。中継装置16とディスプレイ18とは、例えば、HDMIケーブルなどを介して接続されている。エンタテインメント装置14とカメラマイクユニット20とは、例えば、AUXケーブルなどを介して接続されている。

0041

本実施形態に係るコントローラ22は、エンタテインメント装置14に対する操作入力を行うための操作入力装置である。ユーザは、コントローラ22が備える方向キーやボタンを押下したり、操作スティックを傾けたりすることで、コントローラ22を用いて各種の操作入力を行うことができる。そして本実施形態では、コントローラ22は、操作入力に対応付けられる入力データをエンタテインメント装置14に出力する。また本実施形態に係るコントローラ22は、USBポートを備えている。そしてコントローラ22は、USBケーブルでエンタテインメント装置14と接続することで、有線で入力データをエンタテインメント装置14に出力することができる。また本実施形態に係るコントローラ22は、無線通信モジュール等を備えており、無線で入力データをエンタテインメント装置14に出力することができるようにもなっている。

0042

本実施形態では、カメラ20aは、所定のフレームレートで画像を撮影する。図3は、カメラ20aが撮影する画像である撮影画像50の一例を示す図である。図3に示す撮影画像50には、筐体38の右側面、前面中央、前面から見て前面の左上隅、及び、前面から見て前面の右上隅に配置されている発光部35の像が含まれている。本実施形態では図3に例示する撮影画像50内における発光部35の像の位置に基づいて、HMD12の位置や向きなどといったHMD12の姿勢が特定される。なお撮影画像50内における発光部35の像の位置とセンサ部36による移動量や回転量の検出結果とに基づいて、HMD12の姿勢が特定されても構わない。このようにして特定されるHMD12の姿勢に応じて表示部33に表示される映像や表示部33に表示されるオブジェクトの制御が行われる。また本実施形態では上述のように様々な位置に発光部35が配置されているため、ユーザがどのような方向を向いていても、撮影画像50にいずれかの発光部35の像が含まれている可能性が高いこととなる。

0043

発光部35の輝度が小さすぎると撮影画像50内における発光部35の像の位置の特定精度が低くなる。一方で消費電力を抑える観点では発光部35の輝度は小さい方がよい。以上の理由で本実施形態に係るHMD12が備える発光部35の輝度は所定の範囲内におさまっていることが望ましい。本実施形態に係る映像表示システム10では、HMD12の姿勢特定用の撮影画像50に基づいて、当該撮影画像50に像が含まれる発光部35の輝度も特定される。そして発光部35の輝度が所定の範囲内に収まるよう発光部35を駆動する駆動電流が制御される。このようにして本実施形態に係る映像表示システム10では、発光部35の輝度が所定の範囲内におさまることとなる。

0044

なお撮影画像50内の発光部35が占める領域を抽出することで、図4に例示する発光部抽出画像52が生成されるようにしてもよい。例えば撮影画像50に対して例えば所定の条件を満足する画素、例えば青色の画素値が所定の範囲である画素を抽出する画像処理を行うことで、図4に例示する発光部抽出画像52が生成されるようにしてもよい。そしてこのようにして生成される発光部抽出画像52内における発光部35が占める領域に基づいて、HMD12の姿勢の特定や、当該発光部抽出画像52内に像が含まれる発光部35の輝度の特定が行われてもよい。

0045

図3に示す撮影画像50や図4に示す発光部抽出画像52には、発光部35の像が複数含まれている。本実施形態では公知のパターン認識技術を用いることにより、それぞれの発光部35の像がどの位置に配置された発光部35の像であるのかを特定可能になっている。

0046

また本実施形態に係るHMD12は、複数の発光部35のそれぞれについて個別に点灯あるいは消灯することができるようになっている。そのため特定の発光部35だけを発光させるようにすることで当該特定の発光部35の位置を特定することができる。このようにして複数の発光部35の像のそれぞれについてどの位置に配置された発光部35の像であるのかが特定されても構わない。

0047

図5及び図6は、それぞれ、本発明の一実施形態における発光部35の輝度の調整の一例を説明する説明図である。図5及び図6には、目標となる輝度である目標輝度Ltが示されている。目標輝度Ltは、所定の輝度であってもよいし、HMD12の周囲の明るさやカメラ20aからの距離に基づいて決定される輝度であってもよい。また図5及び図6には、図3に示す撮影画像50に像が含まれる4つの発光部35の輝度Lがバツ印で示されている。

0048

本実施形態ではHMD12の出荷時においては、図5に示すように、発光部35の輝度Lが高めに設定されている。この場合は、これら4つの発光部35の駆動電流を小さくすることで、発光部35の輝度が目標輝度Ltを中心とする所定の範囲内におさまるよう制御される。本実施形態では例えば、目標輝度Ltと輝度Lとの差の閾値をΔLとすると、発光部35の輝度は、Lt+ΔLとなるよう、あるいはLt+ΔLよりも小さくなるよう制御される。このようにすることで本実施形態によれば、発光部35の消費電力を抑えることができる。

0049

また発光部35は、一定の駆動電流により駆動していても使用時間が長くなるに従って輝度が下がってくる。また発光部35の周囲の温度によっても当該発光部35の輝度が低下する速度は異なる。図6の例では前面中央の発光部35及び前面の左上隅の発光部35については、輝度がLt−ΔLよりも小さい。この場合は、これら2つの発光部35の駆動電流を大きくすることで、発光部35の輝度が目標輝度Ltを中心とする所定の範囲内におさまるよう制御される。本実施形態では例えば、目標輝度Ltと輝度Lとの差の閾値をΔLとすると、発光部35の輝度は、Lt−ΔLとなる、あるいはLt−Δtよりも大きくなるよう制御される。このようにして本実施形態によれば発光部35の輝度が例えば撮影画像50に基づくHMD12の姿勢が特定可能な最小の輝度以上となるよう制御できる。

0050

以上説明したように、本実施形態では、HMD12の姿勢特定用の撮影画像50が発光部35の輝度の特定にも用いられるので、発光部35の輝度を測定するための機器を別途設けることなく発光部35の輝度を制御できることとなる。

0051

なお以上の説明ではHMD12の姿勢を特定するための姿勢特定用の画像と発光部35の輝度を特定するための輝度特定用の画像は同一の画像であったが、姿勢特定用の画像と輝度特定用の画像は異なる画像であってもよい。例えば姿勢特定用の画像と輝度特定用の画像とがカメラ20aによって交互に撮影されるようにしてもよい。

0052

以下、発光部35の輝度の制御を中心に、本実施形態に係るエンタテインメント装置14の機能並びに本実施形態に係るエンタテインメント装置14で実行される処理についてさらに説明する。

0053

図7は、本実施形態に係るエンタテインメント装置14で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係るエンタテインメント装置14で、図7に示す機能のすべてが実装される必要はなく、また、図7に示す機能以外の機能が実装されていても構わない。

0054

図7に示すように、本実施形態に係るエンタテインメント装置14は、機能的には例えば、撮影画像取得部60、姿勢特定部62、輝度情報特定部64、駆動電流制御部66、を含んでいる。撮影画像取得部60、姿勢特定部62、駆動電流制御部66は、制御部40及び入出力部43を主として実装される。輝度情報特定部64は、制御部40を主として実装される。本実施形態に係るエンタテインメント装置14は、発光部35の輝度を制御する制御装置としての役割を担うこととなる。

0055

そして以上の機能は、コンピュータであるエンタテインメント装置14にインストールされた、以上の機能に対応する指令を含むプログラムを制御部40で実行することにより実装されている。このプログラムは、例えば、光ディスク、磁気ディスク磁気テープ光磁気ディスクフラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してエンタテインメント装置14に供給される。

0056

撮影画像取得部60は、本実施形態では、カメラ20aが撮影した撮影画像50を取得する。

0057

姿勢特定部62は、カメラ20aが撮影する撮影画像50に基づいて、HMD12の姿勢を特定する。姿勢特定部62は、センサ部36による移動量や回転量の検出結果を示すデータをHMD12から受信して、受信したデータと撮影画像50とに基づいて、HMD12の姿勢を特定してもよい。

0058

輝度情報特定部64は、カメラ20aが撮影する、発光部35の像を含む撮影画像50に基づいて、当該発光部35の輝度を示す情報を特定する。輝度情報特定部64は本実施形態では例えば、撮影画像取得部60が取得する撮影画像50に像が含まれている発光部35の輝度を特定する。また本実施形態に係るカメラ20aが、撮影画像50内の画素の輝度を特定する機能を備えている場合に、輝度情報特定部64は、カメラ20aが特定する輝度を示す情報をカメラ20aから取得してもよい。そして輝度情報特定部64が、カメラ20aから取得した輝度を示す情報に基づいて発光部35の輝度を特定してもよい。

0059

また輝度情報特定部64は、撮影画像50内における発光部35が占める領域に基づいて、当該発光部35の輝度を特定してもよい。例えば輝度情報特定部64は、発光部抽出画像52において発光部35が占める領域として抽出された領域内の画素に基づいて、当該発光部35の輝度を特定してもよい。

0060

なおエンタテインメント装置14にそれぞれが輝度に関連付けられた複数の参照画像が記憶されていてもよい。この場合に輝度情報特定部64が、複数の参照画像のそれぞれと、撮影画像取得部60が取得する撮影画像50と、の比較結果に基づいて、発光部35の輝度を特定してもよい。具体的には例えば、撮影画像50に最も類似する参照画像が特定され、当該参照画像に関連付けられる輝度が当該発光部35の輝度として特定されてもよい。

0061

駆動電流制御部66は、特定される発光部35の輝度に基づいて、発光部35の駆動電流を制御する。本実施形態では例えば、輝度情報特定部64によって特定された発光部35の輝度LがLt−ΔLよりも小さい場合に、駆動電流制御部66は当該発光部35の駆動電流を増加させる。一方輝度情報特定部64によって特定された発光部35の輝度LがLt+ΔLよりも大きい場合に、駆動電流制御部66は当該発光部35の駆動電流を減少させる。駆動電流制御部66は、本実施形態では例えば駆動電流の値を示すデータをHMD12に送信する。そしてHMD12の制御部30が、エンタテインメント装置14から受信したデータが示す駆動電流の値となるよう駆動回路34を制御する。なお駆動電流制御部66は、駆動電流の増加量又は減少量を示すデータをHMD12に送信してもよい。そしてHMD12の制御部30が、エンタテインメント装置14から受信したデータが示す増加量又は減少量に応じた駆動電流の値となるよう駆動回路34を制御してもよい。

0062

ここで、本実施形態に係るエンタテインメント装置14において行われる、筐体38の前面中央に配置された発光部35の輝度制御処理の流れの一例を、図8に例示するフロー図を参照しながら説明する。

0063

本実施形態では図8に示す輝度制御処理は、繰り返し実行される。ここで当該輝度制御処理は、例えば輝度特定用の撮影画像50の撮影間隔で繰り返し実行されてもよい。例えばカメラ20aによる撮影画像50の撮影が1/60秒間隔で行われ、すべての撮影画像50が輝度特定用の画像として用いられる場合には、図8に示す輝度制御処理は1/60秒間隔で実行されてもよい。また例えば、カメラ20aによる撮影画像50の撮影が1/60秒間隔で行われ、姿勢特定用の撮影画像50と輝度特定用の撮影画像50とが交互に撮影される場合には、図8に示す輝度制御処理は1/30秒間隔で実行されてもよい。

0064

まず、撮影画像取得部60が、撮影画像50を取得する(S101)。そして、輝度情報特定部64が、S101に示す処理で取得した撮影画像50に基づいて、筐体38の前面中央に配置された発光部35の輝度Lを特定する(S102)。S102に示す処理では上述したように、輝度情報特定部64が、S101に示す処理で取得した撮影画像50内において発光部35が占める領域内の画素に基づいて発光部35の輝度Lを特定してもよい。例えば輝度情報特定部64が、S101に示す処理で取得した撮影画像50に基づいて発光部抽出画像52を生成し、発光部抽出画像52において発光部35が占める領域内の画素に基づいて発光部35の輝度Lを特定してもよい。

0065

そして駆動電流制御部66は、S102に示す処理で輝度Lが特定できたか否かを確認する(S103)。S102に示す処理では、例えば筐体38の前面中央に配置された発光部35の像が撮影画像50に含まれていない場合などのように、当該発光部35の輝度Lが特定できない場合がある。S102に示す処理で輝度Lが特定できなかった場合は(S103:N)、S101に示す処理に戻る。この場合は当該フレームでは筐体38の前面中央に配置された発光部35の輝度Lは変化しない。

0066

S102に示す処理で輝度Lが特定できた場合(S103:Y)は、駆動電流制御部66は、S102に示す処理で特定された輝度LがLt+ΔLより大きいか否かを確認する(S104)。S102に示す処理で特定された輝度LがLt+ΔLより大きい場合は(S104:Y)、駆動電流制御部66は、筐体38の前面中央に配置された発光部35の駆動電流iをΔiだけ減少させて(S105)、S101に示す処理に戻る。本実施形態におけるΔiは例えば1mAである。

0067

S102に示す処理で特定された輝度LがLt+ΔLより大きくない場合は(S104:N)、駆動電流制御部66は、S102に示す処理で特定された輝度LがLt−ΔLより小さいか否かを確認する(S106)。S102に示す処理で特定された輝度LがLt−ΔLより小さい場合は(S106:Y)、駆動電流制御部66は、筐体38の前面中央に配置された発光部35の駆動電流iをΔiだけ増加させて(S107)、S101に示す処理に戻る。

0068

S102に示す処理で特定された輝度LがLt−ΔLより小さくない場合(S106:N)、すなわちS102に示す処理で特定された輝度LがLt−ΔL以上Lt+ΔL以下である場合は、S101に示す処理に戻る。この場合も当該フレームでは筐体38の前面中央に配置された発光部35の輝度Lは変化しない。

0069

なお、上述のΔiを1mAよりも小さな値、例えば0.1mAとしてもよい。Δiの値が小さいほど発光部35の輝度を細かく制御できる一方で、図8に示す処理の実行間隔で変更可能な輝度が小さくなる。

0070

また図8には、筐体38の前面中央に配置された発光部35についての輝度制御処理の流れの一例を示したが、当該輝度制御処理は、HMD12が備える複数の発光部35のそれぞれについて独立に実行される。図8に示す輝度制御処理は並列に実行されても構わないし、複数の発光部35のそれぞれについて順次実行されるようにしても構わない。

0071

以上のようにして本実施形態によれば、図8に示す輝度制御処理が実行される度に、発光部35の輝度が目標輝度Ltを中心とする所定の範囲に近づくよう制御されることとなる。

0072

なお例えば輝度情報特定部64が、S101に示す処理で取得された撮影画像50に基づいて、環境の明るさ、例えばHMD12の周囲の空間の明るさを特定してもよい。そして輝度情報特定部64が、特定される環境の明るさに基づいて、目標輝度Ltなどといった、発光部35の輝度を示す情報の目標値を決定してもよい。ここで例えば特定される環境の明るさが明るいほど大きくなるよう目標輝度Ltが決定されてもよい。なおHMD12が明るさセンサを備えている場合は、当該明るさセンサによる測定結果に基づいて環境の明るさが特定されてもよい。そして駆動電流制御部66が、輝度情報特定部64が決定した発光部35の輝度を示す情報の目標値に応じた当該発光部35の駆動電流の制御を行ってもよい。このようにすれば発光部35の輝度が環境の明るさに応じた輝度となるよう制御できることとなる。具体的には例えば環境の明るさが明るいほど発光部35の輝度が大きくなるよう制御できることとなる。

0073

また本実施形態にカメラ20aはステレオカメラであるので、カメラ20aから発光部35までの距離を測定することができる。そこで例えば、輝度情報特定部64が、カメラ20aから発光部35までの距離に基づいて目標輝度Ltを決定してもよい。このとき例えば、カメラ20aから発光部35までの距離が長いほど大きくなるよう目標輝度Ltが決定されてもよい。このようにすれば発光部35の輝度がカメラ20aからの距離に応じた輝度となるよう制御できることとなる。具体的には例えばカメラ20aからの距離が長いほど発光部35の輝度が大きくなるよう制御できることとなる。

0074

以上のように、輝度情報特定部64が、環境の明るさやカメラ20aからの距離に基づいて目標輝度Ltを決定する目標値決定部としての役割も担ってもよい。なお輝度情報特定部64が、環境の明るさとカメラ20aからの距離との組合せに基づいて目標輝度Ltを決定してもよい。そして以上のようにして決定された目標輝度Ltが上述のS104に示す処理やS106に示す処理で用いられてもよい。

0075

また例えば駆動電流iをΔiだけ増加させた際に所定の最大電流(例えば30mA)を超える場合には、駆動電流制御部66はS107に示す処理で駆動電流iを増加させなくてもよい。この場合には駆動電流制御部66がメッセージを出力してもよい。例えば駆動電流制御部66が、表示部33にメッセージを表示出力させる指令をHMD12に送信し、HMD12が当該メッセージを表示部33に表示出力してもよい。あるいは駆動電流制御部66が、所定の音声を音声出力させる指令をHMD12に送信して、HMD12が音声出力部37から所定の音声が音声出力されるよう制御してもよい。このようにすれば例えば寿命到来などによって発光部35に所定の最大電流を供給しても輝度が所定の範囲内とならないことをユーザは認識できることとなる。

0076

また輝度情報特定部64が、最も小さな輝度の発光部35を特定してもよい。そして駆動電流制御部66が、当該輝度に近づくよう他の発光部35の駆動電流を制御してもよい。こうすれば最も小さな輝度の発光部35の輝度に近づくよう他の発光部35の輝度が制御されることとなる。

0077

また図8に示す輝度制御処理は、例えばゲームのプレイ中、すなわちエンタテインメント装置14がゲームプログラムを実行することにより生成される動画像が表示部33に表されている期間に行われてもよいし、ゲームのプレイが開始される前に行われてもよい。

0078

また輝度情報特定部64は、上述のS102に示す処理で発光部35の輝度を特定不能である場合にその旨を通知してもよい。また輝度情報特定部64は、複数の発光部35のいずれかの輝度が特定不能である場合に、輝度が特定不能である発光部35に応じた通知を行うようにしてもよい。例えばゲームのプレイが開始される前に行われる輝度制御処理において輝度Lが特定できなかった発光部35が存在する際に、輝度情報特定部64が、当該発光部35がカメラ20aに撮影されるような頭部の回転をユーザに促す通知を出力してもよい。例えば前面から見て前面の右上隅に配置されている発光部35の像が撮影画像50に含まれていない場合に輝度情報特定部64が「右を向いてください。」とのメッセージを表示出力させる指令をHMD12に送信してもよい。そして当該指令を受信したHMD12が当該メッセージを表示部33に表示出力させてもよい。あるいは上述の場合に輝度情報特定部64が「右を向いてください。」とのメッセージを音声出力させる指令をHMD12に送信してもよい。そして当該指令を受信したHMD12が音声出力部37から当該メッセージが音声出力されるよう制御してもよい。

0079

また以上の説明では、発光部35は可視光(例えば青色光)を発することとしたが、発光部35が可視光以外の光、例えば赤外光を発するようにしてもよい。またカメラ20aが赤外線を撮影可能なカメラであってもよい。

0080

また例えば、輝度情報特定部64が輝度を特定不能な発光部35が存在する場合に、駆動電流制御部66が当該発光部35を消灯してもよい。

0081

また輝度情報特定部64は、発光部35の輝度の代わりに、輝度を示す情報、例えば発光部35の色、画素値、面積等の情報を特定してもよい。そして駆動電流制御部66が、特定された発光部35の色、画素値、面積等の情報に基づいて、発光部35の駆動電流を制御してもよい。

0082

なお、本発明は上述の実施形態に限定されるものではない。

0083

例えばHMD12、エンタテインメント装置14、中継装置16の役割分担は上述のものに限定されない。例えば図7に例示する機能の一部又は全部が、HMD12、又は、中継装置16で実装されても構わない。あるいは図7に例示する機能が、映像表示システム10を構成するHMD12、エンタテインメント装置14、又は、中継装置16で分散して実装されていても構わない。

0084

例えば図7に示す機能がコンピュータであるHMD12にインストールされた、以上の機能に対応する指令を含むプログラムを制御部30で実行することにより実装されていてもよい。またこのプログラムが、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してHMD12に供給されてもよい。

0085

また図7に示す機能の一部がコンピュータであるHMD12にインストールされた、当該一部の機能に対応する指令を含むプログラムを制御部30で実行することにより実装されてもよい。そしてこのプログラムが、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してHMD12に供給されてもよい。また図7に示す機能の残りがコンピュータであるエンタテインメント装置14に当該残りの機能に対応する指令を含むプログラムを制御部40で実行することにより実装されてもよい。またプログラムが、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してエンタテインメント装置14に供給されてもよい。

0086

また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。

0087

10映像表示システム、12ヘッドマウントディスプレイ(HMD)、14エンタテインメント装置、16中継装置、18ディスプレイ、20カメラマイクユニット、20a カメラ、20bマイク、22コントローラ、30 制御部、31 記憶部、32入出力部、33 表示部、34駆動回路、35発光部、36センサ部、37音声出力部、38筐体、39装着バンド、40 制御部、41 記憶部、42通信部、43 入出力部、50撮影画像、52 発光部抽出画像、60 撮影画像取得部、62姿勢特定部、64輝度情報特定部、66駆動電流制御部。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 株式会社エルブズの「 情報提供装置、情報提供方法およびプログラム」が 公開されました。( 2020/02/13)

    【課題】対話形式で情報を提供するシステムにおいて対話の継続性を向上させる。【解決手段】情報提供装置は、ユーザに自身の台詞を選択させることにより、仮想的な人格とユーザとの会話形式で情報を提供する。情報提... 詳細

  • アズビル株式会社の「 エンジニアリング装置」が 公開されました。( 2020/02/13)

    【課題】各種情報の時系列的な変遷を迅速に辿れるようにすることにより、作業時における判断の正確性を向上させて、作業ミスを低減させることができるエンジニアリング装置を提供する。【解決手段】システムの構成要... 詳細

  • セイコーエプソン株式会社の「 虚像表示装置」が 公開されました。( 2020/02/13)

    【課題】薄型で広画角の光学系を実現しつつ装置の小型化あるいは薄型化を図りつつ、光学系への光入射角度について全反射条件による制限を回避する虚像表示装置を提供すること。【解決手段】画像を表示する映像素子と... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ