図面 (/)

この項目の情報は公開日時点(2018年6月14日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (15)

課題

操作性を向上させ、頭部装着型表示装置使い勝手を向上させる。

解決手段

外景を透過し、外景とともに視認できるように表示画像を表示領域310に表示する画像表示部20と、指示位置を示すポインター301を画像表示部20により表示領域310に表示させる表示制御部153と、第1操作を検出する操作制御部149と、第2操作を検出する検出制御部151と、を備え、表示制御部153は、操作制御部149が検出する第1操作に応じてポインター301の位置を移動させ、第1操作に応じたポインター301の位置の移動後に、検出制御部151が検出する第2操作に応じて、ポインター301の位置を、第1操作に応じたポインター301の位置の移動とは異なる態様で移動させるHMD100。

概要

背景

従来、マーカー移動操作して、例えば、表示されたメニューを選択したり、表示されたオブジェクトを指定したりするポインティングデバイスが知られている。ポインティングデバイスとして、使用者の頭部の動きを検出し、検出した頭部の動きに応じてマーカーを移動操作することも行われている(例えば、特許文献1参照)。
特許文献1は、頭部に装着された複数個発信装置から発信される超音波や、電磁波等に基づいて頭部の位置や向きの変化を検出し、検出した頭部の位置や向きの変化に対応してディスプレイ上の特定の位置を指示する頭部駆動型ポインティング装置を開示する。

概要

操作性を向上させ、頭部装着型表示装置使い勝手を向上させる。外景を透過し、外景とともに視認できるように表示画像を表示領域310に表示する画像表示部20と、指示位置を示すポインター301を画像表示部20により表示領域310に表示させる表示制御部153と、第1操作を検出する操作制御部149と、第2操作を検出する検出制御部151と、を備え、表示制御部153は、操作制御部149が検出する第1操作に応じてポインター301の位置を移動させ、第1操作に応じたポインター301の位置の移動後に、検出制御部151が検出する第2操作に応じて、ポインター301の位置を、第1操作に応じたポインター301の位置の移動とは異なる態様で移動させるHMD100。

目的

本発明は、操作性を向上させ、頭部装着型表示装置の使い勝手を向上させることを目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

使用者の頭部に装着される頭部装着型表示装置であって、外景を透過し、前記外景とともに視認できるように表示画像を表示領域に表示する表示部と、指示位置を示すマーカーを前記表示部により前記表示領域に表示させる表示制御部と、第1操作と、第2操作とを検出する検出部と、を備え、前記表示制御部は、前記検出部が検出する前記第1操作に応じて前記マーカーの位置を移動させ、前記第1操作に応じた前記マーカーの位置の移動後に、前記検出部が検出する前記第2操作に応じて、前記マーカーの位置を、前記第1操作に応じた前記マーカーの位置の移動とは異なる態様で移動させる頭部装着型表示装置。

請求項2

前記検出部は、前記使用者の動作を前記第1操作及び前記第2操作の少なくともいずれかとして検出する請求項1記載の頭部装着型表示装置。

請求項3

前記検出部は、前記頭部装着型表示装置の備える操作部が受け付ける操作を第1操作として検出し、前記頭部の動きを第2操作として検出する請求項1又は2記載の頭部装着型表示装置。

請求項4

前記外景を撮像する撮像部を備え、前記表示制御部は、前記撮像部の撮像画像に基づき、前記マーカーに重なって視認される対象物体を特定する第1の動作モードと、前記表示領域に表示される複数の前記表示画像から前記マーカーの位置に対応する前記表示画像を特定する第2の動作モードとを切り替えて実行することを特徴とする請求項1から3のいずれか一項記載の頭部装着型表示装置。

請求項5

前記表示制御部は、前記第1の動作モードを実行中である場合と、前記第2の動作モードを実行中である場合とで、前記マーカーを異なる態様で移動させる請求項4記載の頭部装着型表示装置。

請求項6

前記表示制御部は、前記第1の動作モードの実行中に、前記検出部により前記第1操作又は前記第2操作が検出された場合に、前記第1操作又は前記第2操作に応じて前記マーカーを前記使用者が視認する前記外景を基準として移動させ、前記第2の動作モードを実行中に、前記検出部により前記第1操作又は前記第2操作が検出された場合に、前記第1操作又は前記第2操作に応じて前記マーカーを前記使用者が視認する前記表示画像を基準として移動させる請求項5記載の頭部装着型表示装置。

請求項7

前記表示制御部は、前記第2操作に応じて前記マーカーを移動させる場合の移動量を、前記第1操作に応じて前記マーカーを移動させる場合の移動量よりも小さくする請求項1から6のいずれか1項記載の頭部装着型表示装置。

請求項8

前記使用者が前記表示部を透過して視認する前記対象物体までの距離を検出する距離検出部を備え、前記表示制御部は、前記距離検出部が検出する前記対象物体までの距離に応じて、前記マーカーを異なる態様で移動させる請求項4記載の頭部装着型表示装置。

請求項9

前記表示制御部は、前記距離検出部が検出する前記対象物体までの距離がしきい値よりも大きい場合に、前記検出部が検出する操作を前記第1操作とし、前記距離検出部が検出する前記対象物体までの距離がしきい値以下である場合に、前記検出部が検出する操作を前記第2操作とし、前記第1操作により前記マーカーを移動させる移動量を、前記第2操作により前記マーカーを移動させる移動量よりも小さくする請求項8記載の頭部装着型表示装置。

請求項10

使用者の頭部に装着される頭部装着型表示装置であって、外景を透過し、前記外景とともに視認できるように表示画像を表示領域に表示する表示部と、前記外景を撮像する撮像部と、指示位置を示すマーカーを前記表示部により前記表示領域に表示させる表示制御部と、を備え、前記表示制御部は、前記撮像部の撮像画像に基づき、前記マーカーに重なって視認される対象物体を特定する第1の動作モードと、前記表示領域に表示される複数の前記表示画像から前記マーカーの位置に対応する前記表示画像を特定する第2の動作モードとを切り替えて実行する頭部装着型表示装置。

請求項11

操作を検出する検出部を備え、前記表示制御部は、前記第1の動作モードの実行中に、前記検出部により操作が検出された場合に、検出された前記操作に応じて前記マーカーを前記使用者が視認する前記外景を基準として移動させ、前記第2の動作モードの実行中に、前記検出部により操作が検出された場合に、検出された前記操作に応じて前記マーカーを前記使用者が視認する前記表示画像を基準として移動させる請求項10記載の頭部装着型表示装置。

請求項12

前記検出部は、頭部装着型表示装置の備える操作部が受け付ける操作を第1操作として検出し、前記使用者の頭部の動きを第2操作として検出し、前記表示制御部は、前記検出部が検出する前記第1操作に応じて前記マーカーの位置を移動させ、前記第1操作に応じた前記マーカーの位置の移動後に、前記検出部が検出する前記第2操作に応じて前記マーカーの位置を移動させ、前記第2操作に応じて前記マーカーを移動させる場合の移動量を、前記第1操作に応じて前記マーカーを移動させる場合の移動量よりも小さくする請求項11記載の頭部装着型表示装置。

請求項13

外景を透過し、前記外景とともに視認できるように表示画像を表示領域に表示する表示部と、指示位置を示すマーカーを前記表示部により前記表示領域に表示させる表示制御部と、第1操作と、第2操作とを検出する検出部と、を備え、使用者の頭部に装着される頭部装着型表示装置に実装されるコンピューターに実行させるプログラムであって、コンピューターに、前記検出部が検出する前記第1操作に応じて前記マーカーの位置を移動させる手順と、前記第1操作に応じた前記マーカーの位置の移動後に、前記検出部が検出する前記第2操作に応じて、前記マーカーの位置を、前記第1操作に応じた前記マーカーの位置の移動とは異なる態様で移動させる手順と、を実行させるためのプログラム。

請求項14

外景を透過し、前記外景とともに視認できるように表示画像を表示領域に表示する表示部と、指示位置を示すマーカーを前記表示部により前記表示領域に表示させる表示制御部と、第1操作と、第2操作とを検出する検出部と、を備え、使用者の頭部に装着される頭部装着型表示装置の制御方法であって、前記検出部が検出する前記第1操作に応じて前記マーカーの位置を移動させるステップと、前記第1操作に応じた前記マーカーの位置の移動後に、前記検出部が検出する前記第2操作に応じて、前記マーカーの位置を、前記第1操作に応じた前記マーカーの位置の移動とは異なる態様で移動させるステップと、を有することを特徴とする頭部装着型表示装置の制御方法。

技術分野

0001

本発明は、頭部装着型表示装置プログラム、及び頭部装着型表示装置の制御方法に関する。

背景技術

0002

従来、マーカー移動操作して、例えば、表示されたメニューを選択したり、表示されたオブジェクトを指定したりするポインティングデバイスが知られている。ポインティングデバイスとして、使用者の頭部の動きを検出し、検出した頭部の動きに応じてマーカーを移動操作することも行われている(例えば、特許文献1参照)。
特許文献1は、頭部に装着された複数個発信装置から発信される超音波や、電磁波等に基づいて頭部の位置や向きの変化を検出し、検出した頭部の位置や向きの変化に対応してディスプレイ上の特定の位置を指示する頭部駆動型ポインティング装置を開示する。

先行技術

0003

特開平6−187092号公報

発明が解決しようとする課題

0004

ところで、頭部装着型表示装置において頭部の動きによりマーカーを操作する場合、使用者はマーカーを移動させる間、頭部を傾け続けなければならず、無理な体勢を維持し続けなければならない場合があった。また、トラックパッド等の操作部を操作して、マーカーを目的の位置に移動させる場合、操作部が固定されていないと、使用者がイメージした通りにマーカーを動かすことは容易ではなく、操作性を欠くという課題がある。このため、頭部装着型表示装置の操作性の向上が望まれていた。
本発明は、操作性を向上させ、頭部装着型表示装置の使い勝手を向上させることを目的とする。

課題を解決するための手段

0005

上記課題を解決するため、本発明は、使用者の頭部に装着される頭部装着型表示装置であって、外景を透過し、前記外景とともに視認できるように表示画像を表示領域に表示する表示部と、指示位置を示すマーカーを前記表示部により前記表示領域に表示させる表示制御部と、第1操作と、第2操作とを検出する検出部と、を備え、前記表示制御部は、前記検出部が検出する前記第1操作に応じて前記マーカーの位置を移動させ、前記第1操作に応じた前記マーカーの位置の移動後に、前記検出部が検出する前記第2操作に応じて、前記マーカーの位置を、前記第1操作に応じた前記マーカーの位置の移動とは異なる態様で移動させる。
本発明によれば、マーカーの位置を第1操作と第2操作とで異なる態様で移動させることができる。従って、マーカーを複数の態様で移動させることができるため、マーカーの操作の操作性を向上させ、頭部装着型表示装置の使い勝手を向上させることができる。

0006

また、本発明は、前記検出部は、前記使用者の動作を前記第1操作及び前記第2操作の少なくともいずれかとして検出する。
本発明によれば、使用者の動作によりマーカーの位置を移動させることができる。

0007

また、本発明は、前記検出部は、前記頭部装着型表示装置の備える操作部が受け付ける操作を第1操作として検出し、前記頭部の動きを第2操作として検出する。
本発明によれば、操作部の操作と、頭部の動きとによってマーカーの位置を移動させることができる。

0008

また、本発明は、前記外景を撮像する撮像部を備え、前記表示制御部は、前記撮像部の撮像画像に基づき、前記マーカーに重なって視認される対象物体を特定する第1の動作モードと、前記表示領域に表示される複数の前記表示画像から前記マーカーの位置に対応する前記表示画像を特定する第2の動作モードとを切り替えて実行することを特徴とする。
本発明によれば、マーカーにより対象物体を特定し、表示画像を特定することができる。

0009

また、本発明は、前記表示制御部は、前記第1の動作モードを実行中である場合と、前記第2の動作モードを実行中である場合とで、前記マーカーを異なる態様で移動させる。
本発明によれば、動作モードを変更することで、マーカーを異なる態様で移動させることができる。

0010

また、本発明は、前記表示制御部は、前記第1の動作モードの実行中に、前記検出部により前記第1操作又は前記第2操作が検出された場合に、前記第1操作又は前記第2操作に応じて前記マーカーを前記使用者が視認する前記外景を基準として移動させ、前記第2の動作モードを実行中に、前記検出部により前記第1操作又は前記第2操作が検出された場合に、前記第1操作又は前記第2操作に応じて前記マーカーを前記使用者が視認する前記表示画像を基準として移動させる。
本発明によれば、頭部装着型表示装置の動作モードが第1の動作モードであるときに、第1操作又は第2操作が検出されると、外景を基準としてマーカーを移動させることができる。また、頭部装着型表示装置の動作モードが第2の動作モードであるときに、第1操作又は第2操作が検出されると、表示画像を基準としてマーカーを移動させることができる。

0011

また、本発明は、前記表示制御部は、前記第2操作に応じて前記マーカーを移動させる場合の移動量を、前記第1操作に応じて前記マーカーを移動させる場合の移動量よりも小さくする。
本発明によれば、マーカーの移動量が第2操作よりも大きい第1操作によりマーカーを移動させた後に、マーカーの移動量が第1操作よりも小さい第2操作によりマーカーを移動させることができる。従って、マーカーを対象物体又は表示画像に近づけるための操作の回数を低減し、マーカーの移動量が小さい第2操作によりマーカーを対象物体又は表示画像の位置に微調整することができる。

0012

また、本発明は、前記使用者が前記表示部を透過して視認する前記対象物体までの距離を検出する距離検出部を備え、前記表示制御部は、前記距離検出部が検出する前記対象物体までの距離に応じて、前記マーカーを異なる態様で移動させる。
本発明によれば、対象物体までの距離に応じて、マーカーを異なる態様で移動させることができる。従って、マーカーの操作の操作性を向上させ、頭部装着型表示装置の使い勝手を向上させることができる。

0013

また、本発明は、前記表示制御部は、前記距離検出部が検出する前記対象物体までの距離がしきい値よりも大きい場合に、前記検出部が検出する操作を前記第1操作とし、前記距離検出部が検出する前記対象物体までの距離がしきい値以下である場合に、前記検出部が検出する操作を前記第2操作とし、前記第1操作により前記マーカーを移動させる移動量を、前記第2操作により前記マーカーを移動させる移動量よりも小さくする。
本発明によれば、対象物体までの距離がしきい値よりも大きい場合には、検出部が検出する操作を、マーカーの移動量が第2操作よりも大きい第1操作とし、第1操作によりマーカーを移動させることができる。また、対象物体までの距離がしきい値以下である場合には、検出部が検出する操作を、マーカーの移動量が第1操作よりも小さい第2操作とし、第2操作によりマーカーを移動させることができる。
従って、マーカーを対象物体に近づけるための操作の回数を低減し、マーカーの移動量が小さい第2操作によりマーカーを対象物体又は表示画像の位置に微調整することができる。

0014

上記課題を解決するため、本発明は、使用者の頭部に装着される頭部装着型表示装置であって、外景を透過し、前記外景とともに視認できるように表示画像を表示領域に表示する表示部と、前記外景を撮像する撮像部と、指示位置を示すマーカーを前記表示部により前記表示領域に表示させる表示制御部と、を備え、前記表示制御部は、前記撮像部の撮像画像に基づき、前記マーカーに重なって視認される対象物体を特定する第1の動作モードと、前記表示領域に表示される複数の前記表示画像から前記マーカーの位置に対応する前記表示画像を特定する第2の動作モードと、を切り替えて実行する。
本発明によれば、動作モードを変更することで、マーカーを異なる態様で移動させることができる。

0015

また、本発明は、操作を検出する検出部を備え、前記表示制御部は、前記第1の動作モードの実行中に、前記検出部により操作が検出された場合に、検出された前記操作に応じて前記マーカーを前記使用者が視認する前記外景を基準として移動させ、前記第2の動作モードの実行中に、前記検出部により操作が検出された場合に、検出された前記操作に応じて前記マーカーを前記使用者が視認する前記表示画像を基準として移動させる。
本発明によれば、頭部装着型表示装置の動作モードが第1の動作モードであるときに操作が検出されると、外景を基準としてマーカーを移動させることができる。また、頭部装着型表示装置の動作モードが第2の動作モードであるときに操作が検出されると、表示画像を基準としてマーカーを移動させることができる。

0016

また、本発明は、前記検出部は、頭部装着型表示装置の備える操作部が受け付ける操作を第1操作として検出し、前記使用者の頭部の動きを第2操作として検出し、前記表示制御部は、前記検出部が検出する前記第1操作に応じて前記マーカーの位置を移動させ、前記第1操作に応じた前記マーカーの位置の移動後に、前記検出部が検出する前記第2操作に応じて前記マーカーの位置を移動させ、前記第2操作に応じて前記マーカーを移動させる場合の移動量を、前記第1操作に応じて前記マーカーを移動させる場合の移動量よりも小さくする。
本発明によれば、マーカーの移動量が第2操作よりも大きい第1操作によりマーカーを移動させた後に、マーカーの移動量が第1操作よりも小さい第2操作によりマーカーを移動させることができる。従って、マーカーを対象物体又は表示画像に近づけるための操作の回数を低減し、マーカーの移動量が小さい第2操作によりマーカーを対象物体又は表示画像の位置に微調整することができる。

0017

上記課題を解決するため、本発明は、外景を透過し、前記外景とともに視認できるように表示画像を表示領域に表示する表示部と、指示位置を示すマーカーを前記表示部により前記表示領域に表示させる表示制御部と、第1操作と、第2操作とを検出する検出部と、を備え、使用者の頭部に装着される頭部装着型表示装置に実装されるコンピューターに実行させるプログラムであって、コンピューターに、前記検出部が検出する前記第1操作に応じて前記マーカーの位置を移動させる手順と、前記第1操作に応じた前記マーカーの位置の移動後に、前記検出部が検出する前記第2操作に応じて、前記マーカーの位置を、前記第1操作に応じた前記マーカーの位置の移動とは異なる態様で移動させる手順と、を実行させる。
本発明によれば、マーカーの位置を第1操作と第2操作とで異なる態様で移動させることができる。従って、マーカーを複数の態様で移動させることができるため、マーカーの操作の操作性を向上させ、頭部装着型表示装置の使い勝手を向上させることができる。

0018

上記課題を解決するため、本発明は、外景を透過し、前記外景とともに視認できるように表示画像を表示領域に表示する表示部と、指示位置を示すマーカーを前記表示部により前記表示領域に表示させる表示制御部と、第1操作と、第2操作とを検出する検出部と、を備え、使用者の頭部に装着される頭部装着型表示装置の制御方法であって、前記検出部が検出する前記第1操作に応じて前記マーカーの位置を移動させるステップと、前記第1操作に応じた前記マーカーの位置の移動後に、前記検出部が検出する前記第2操作に応じて、前記マーカーの位置を、前記第1操作に応じた前記マーカーの位置の移動とは異なる態様で移動させるステップと、を有することを特徴とする。
本発明によれば、マーカーの位置を第1操作と第2操作とで異なる態様で移動させることができる。従って、マーカーを複数の態様で移動させることができるため、マーカーの操作の操作性を向上させ、頭部装着型表示装置の使い勝手を向上させることができる。

図面の簡単な説明

0019

HMDの外観図
HMDの光学系の構成を示す要部平面図。
画像表示部の構成を示す斜視図。
HMDのブロック図。
制御装置機能ブロック図。
使用者の視界を示す図。
使用者が首を傾けた状態で見る視界を示す図。
使用者が首を傾けた状態で見る視界を示す図。
ポインターターゲットの近傍に移動させた場合に表示される拡大画像を示す図。
ターゲットまでの距離と、ポインターの移動距離との関係を示す図。
HMDの動作を示すフローチャート
使用者の靴底又は靴内部に装着した検知装置の配置図。
使用者の靴底又は靴内部に装着した検知装置の配置図。
使用者の靴底又は靴内部に装着した検知装置の配置図。

実施例

0020

図1は、本発明を適用したHMD(Head Mounted Display:頭部装着型表示装置)100の外観構成を示す外観図である。
HMD100は、使用者(ユーザー)の頭部に装着された状態で使用者に虚像を視認させる画像表示部20(表示部)と、画像表示部20を制御する制御装置10と、を備える表示装置である。

0021

制御装置10は、図1に示すように平たい箱形ケース10A(筐体又は本体ともいえる)を備える。ケース10Aは、ボタン11、LEDインジケーター12、トラックパッド14、上下キー15、切替スイッチ16及び電源スイッチ18の各部を備える。ボタン11、トラックパッド14、上下キー15、切替スイッチ16及び電源スイッチ18は、使用者により操作される被操作部である。また、LEDインジケーター12は、例えばHMD100の動作状態を示す副表示部として機能する。使用者は、被操作部を操作することにより、HMD100を操作できる。制御装置10は、HMD100のコントローラーとして機能する。

0022

画像表示部20は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部20は、右保持部21と、左保持部23と、前部フレーム27とを有する本体に、右表示ユニット22、左表示ユニット24、右導光板26及び左導光板28を備える。
右保持部21及び左保持部23は、それぞれ、前部フレーム27の両端部から後方に延び、眼鏡テンプル(つる)のように、使用者の頭部に画像表示部20を保持する。ここで、前部フレーム27の両端部のうち、画像表示部20の装着状態において使用者の右側に位置する端部を端部ERとし、使用者の左側に位置する端部を端部ELとする。右保持部21は、前部フレーム27の端部ERから、画像表示部20の装着状態において使用者の右側頭部に対応する位置まで延伸して設けられる。左保持部23は、端部ELから、画像表示部20の装着状態において使用者の左側頭部に対応する位置まで延伸して設けられる。

0023

右導光板26及び左導光板28は、前部フレーム27に設けられる。右導光板26は、画像表示部20の装着状態において使用者の右眼眼前に位置し、右眼に画像を視認させる。左導光板28は、画像表示部20の装着状態において使用者の左眼の眼前に位置し、左眼に画像を視認させる。

0024

前部フレーム27は、右導光板26の一端と左導光板28の一端とを互いに連結した形状を有し、この連結位置は、使用者が画像表示部20を装着する装着状態で、使用者の眉間に対応する。前部フレーム27は、右導光板26と左導光板28との連結位置において、画像表示部20の装着状態で使用者のに当接する鼻当て部を設けてもよい。この場合、鼻当て部と、右保持部21及び左保持部23とにより画像表示部20を使用者の頭部に保持できる。また、右保持部21及び左保持部23に、画像表示部20の装着状態において使用者の後頭部に接するベルト(図示略)を連結してもよく、この場合、ベルトによって画像表示部20を使用者の頭部に保持できる。

0025

右表示ユニット22は、右導光板26による画像の表示を実現する。右表示ユニット22は、右保持部21に設けられ、装着状態において使用者の右側頭部の近傍に位置する。左表示ユニット24は、左導光板28による画像の表示を実現する。左表示ユニット24は、左保持部23に設けられ、装着状態において使用者の左側頭部の近傍に位置する。

0026

本実施形態の右導光板26及び左導光板28は、光透過性樹脂等によって形成される光学部であり、例えばプリズムであり、右表示ユニット22及び左表示ユニット24が出力する画像光を、使用者の眼に導く。
右導光板26及び左導光板28の表面に、調光板(図示略)を設けてもよい。調光板は、光の波長域により透過率が異なる薄板上の光学素子であり、いわゆる波長フィルターとして機能する。調光板は、例えば、使用者の眼の側と反対の側である前部フレーム27の表側を覆うように配置される。この調光板の光学特性を適宜選択することにより、可視光赤外光及び紫外光等の任意の波長域の光の透過率を調整することができ、外部から右導光板26及び左導光板28に入射し、右導光板26及び左導光板28を透過する外光の光量を調整できる。

0027

画像表示部20は、右表示ユニット22及び左表示ユニット24がそれぞれ生成する画像光を、右導光板26及び左導光板28に導く。右導光板26及び左導光板28に導かれた画像光は使用者の右眼と左眼に入射して、使用者に虚像を視認させる。これにより、画像表示部20は画像を表示する。

0028

使用者の前方から、右導光板26及び左導光板28を透過して外光が使用者の眼に入射する場合、使用者の眼には、虚像を構成する画像光及び外光が入射することとなり、虚像の視認性が外光の強さに影響される。このため、例えば前部フレーム27に調光板を装着し、調光板の光学特性を適宜選択又は調整することによって、虚像の視認のしやすさを調整できる。典型的な例では、HMD100を装着した使用者が少なくとも外の景色を視認できる程度の光透過性を有する調光板を用いることができる。また、調光板を用いると、右導光板26及び左導光板28を保護し、右導光板26及び左導光板28の損傷や汚れの付着等を抑制する効果が期待できる。調光板は、前部フレーム27、又は、右導光板26及び左導光板28のそれぞれに対し着脱可能としてもよく、複数種類の調光板を交換して装着可能としてもよく、調光板を省略してもよい。

0029

カメラ61は、画像表示部20の前部フレーム27に配設される。カメラ61の構成及び配置は、使用者が画像表示部20を装着した状態で視認する外景方向を撮像するように決められる。例えば、カメラ61は、前部フレーム27の前面において、右導光板26及び左導光板28を透過する外光を遮らない位置に設けられる。図1の例で、カメラ61は、前部フレーム27の端部ER側に配置されるが、カメラ61を端部EL側に配置してもよく、また、右導光板26と左導光板28との連結部に配置してもよい。
カメラ61は、本発明の「撮像部」に相当する。

0030

カメラ61は、CCDやCMOS等の撮像素子及び撮像レンズ等を備えるデジタルカメラである。本実施形態のカメラ61は単眼カメラであるが、ステレオカメラで構成してもよい。カメラ61は、HMD100の表側方向、換言すれば、HMD100を装着した状態における使用者の視界方向の少なくとも一部の外景(実空間)を撮像する。別の表現では、カメラ61は、使用者の視界と重なる範囲又は方向を撮像し、使用者が注視する方向を撮像する。カメラ61の画角の方向及び広さは適宜設定可能である。本実施形態では、後述するように、カメラ61の画角が、使用者が右導光板26及び左導光板28を通して視認する外界を含む。より好ましくは、カメラ61の画角は、右導光板26及び左導光板28を透過して視認可能な使用者の視界の全体を撮像できるように設定される。
カメラ61は、制御部150(図5)が備える撮像制御部147の制御に従って撮像を実行する。カメラ61は、撮像画像データを、後述するインターフェイス211を介して制御部150に出力する。

0031

HMD100は、予め設定された測定方向に位置する測定対象物までの距離を検出する距離センサー(図示略)を備えてもよい。距離センサーは、例えば、前部フレーム27において右導光板26と左導光板28との連結部分に配置できる。この場合、画像表示部20の装着状態において、距離センサーの位置は、水平方向では使用者の両眼のほぼ中間であり、鉛直方向では使用者の両眼より上である。距離センサーの測定方向は、例えば、前部フレーム27の表側方向とすることができ、言い換えればカメラ61の撮像方向と重複する方向である。距離センサーは、例えば、LEDやレーザーダイオード等の光源と、光源が発する光が測定対象物に反射する反射光受光する受光部とを有する構成とすることができる。距離センサーは、制御部150の制御に従い、三角距処理時間差に基づく測距処理を実行すればよい。また、距離センサーは、超音波を発する音源と、測定対象物で反射する超音波を受信する検出部とを備える構成としてもよい。この場合、距離センサーは、制御部150の制御に従い、超音波の反射までの時間差に基づき測距処理を実行すればよい。

0032

図2は、画像表示部20が備える光学系の構成を示す要部平面図である。図2には説明のため使用者の左眼LE及び右眼REを図示する。
図2に示すように、右表示ユニット22及び左表示ユニット24は、左右対称に構成される。右表示ユニット22は、使用者の右眼REに画像を視認させる構成として、画像光を発するOLED(Organic Light Emitting Diode)ユニット221と、OLEDユニット221が発する画像光Lを導くレンズ群等を備えた右光学系251とを備える。画像光Lは、右光学系251により右導光板26に導かれる。

0033

OLEDユニット221は、OLEDパネル223と、OLEDパネル223を駆動するOLED駆動回路225とを有する。OLEDパネル223は、有機エレクトロルミネッセンスにより発光してR(赤)、G(緑)、B(青)の色光をそれぞれ発する発光素子を、マトリクス状に配置して構成される自発光型表示パネルである。OLEDパネル223は、R、G、Bの素子を1個ずつ含む単位を1画素として、複数の画素を備え、マトリクス状に配置される画素により画像を形成する。OLED駆動回路225は、制御部150(図5)の制御に従って、OLEDパネル223が備える発光素子の選択及び発光素子への通電を実行して、OLEDパネル223の発光素子を発光させる。OLED駆動回路225は、OLEDパネル223の裏面すなわち発光面の裏側に、ボンディング等により固定される。OLED駆動回路225は、例えばOLEDパネル223を駆動する半導体デバイスで構成され、OLEDパネル223の裏面に固定される基板(図示略)に実装されてもよい。この基板には温度センサー217が実装される。
なお、OLEDパネル223は、白色に発光する発光素子をマトリクス状に配置し、R、G、Bの各色に対応するカラーフィルターを重ねて配置する構成であってもよい。また、R、G、Bの色光をそれぞれ放射する発光素子に加え、W(白)の光を発する発光素子を備えるWRGB構成のOLEDパネル223を用いてもよい。

0034

右光学系251は、OLEDパネル223から射出された画像光Lを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Lは、右導光板26に入射する。右導光板26の内部において光を導く光路には、画像光Lを反射する複数の反射面が形成される。画像光Lは、右導光板26の内部で複数回の反射を経て右眼RE側に導かれる。右導光板26には、右眼REの眼前に位置するハーフミラー261(反射面)が形成される。画像光Lは、ハーフミラー261で反射して右眼REに向けて右導光板26から射出され、この画像光Lが右眼REの網膜に像を結び、使用者に画像を視認させる。

0035

また、左表示ユニット24は、使用者の左眼LEに画像を視認させる構成として、画像光を発するOLEDユニット241と、OLEDユニット241が発する画像光Lを導くレンズ群等を備えた左光学系252とを備える。画像光Lは、左光学系252により左導光板28に導かれる。

0036

OLEDユニット241は、OLEDパネル243と、OLEDパネル243を駆動するOLED駆動回路245とを有する。OLEDパネル243は、OLEDパネル223と同様に構成される自発光型の表示パネルである。OLED駆動回路245は、制御部150(図5)の制御に従って、OLEDパネル243が備える発光素子の選択及び発光素子への通電を実行して、OLEDパネル243の発光素子を発光させる。OLED駆動回路245は、OLEDパネル243の裏面すなわち発光面の裏側に、ボンディング等により固定される。OLED駆動回路245は、例えばOLEDパネル243を駆動する半導体デバイスで構成され、OLEDパネル243の裏面に固定される基板(図示略)に実装されてもよい。この基板には、温度センサー239が実装される。

0037

左光学系252は、OLEDパネル243から射出された画像光Lを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Lは、左導光板28に入射する。左導光板28は、画像光Lを反射する複数の反射面が形成された光学素子であり、例えばプリズムである。画像光Lは、左導光板28の内部で複数回の反射を経て左眼LE側に導かれる。左導光板28には、左眼LEの眼前に位置するハーフミラー281(反射面)が形成される。画像光Lは、ハーフミラー281で反射して左眼LEに向けて左導光板28から射出され、この画像光Lが左眼LEの網膜に像を結び、使用者に画像を視認させる。

0038

この構成によれば、HMD100は、シースルー型の表示装置として機能する。すなわち、使用者の右眼REには、ハーフミラー261で反射した画像光Lと、右導光板26を透過した外光OLとが入射する。また、左眼LEには、ハーフミラー281で反射した画像光Lと、ハーフミラー281を透過した外光OLとが入射する。このように、HMD100は、内部で処理した画像の画像光Lと外光OLとを重ねて使用者の眼に入射させ、使用者にとっては、右導光板26及び左導光板28を透かして外景が見え、この外景に重ねて、画像光Lによる画像が視認される。
ハーフミラー261、281は、右表示ユニット22及び左表示ユニット24がそれぞれ出力する画像光を反射して画像を取り出す画像取り出し部であり、表示部ということができる。

0039

なお、左光学系252と左導光板28とを総称して「左導光部」とも呼び、右光学系251と右導光板26とを総称して「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。

0040

図1戻り、制御装置10及び画像表示部20は、接続ケーブル40により接続される。接続ケーブル40は、ケース10Aの下部に設けられるコネクター(図示略)に着脱可能に接続され、左保持部23の先端から、画像表示部20の内部に設けられる各種回路に接続する。接続ケーブル40は、デジタルデータを伝送するメタルケーブル又は光ファイバーケーブルを有し、アナログ信号を伝送するメタルケーブルを有していてもよい。接続ケーブル40の途中には、コネクター46が設けられる。コネクター46は、ステレオミニプラグを接続するジャックであり、コネクター46及び制御装置10は、例えばアナログ音声信号を伝送するラインで接続される。図1に示す構成例では、ステレオヘッドホンを構成する右イヤホン32と左イヤホン34、及びマイク63を有するヘッドセット30が、コネクター46に接続される。
制御装置10と画像表示部20とを無線接続してもよい。例えば、Bluetooth(登録商標)、無線LAN(Wi−Fi(登録商標)を含む)等の規格準拠した無線通信により、制御装置10と画像表示部20とが制御信号やデータを相互に送受信する構成としてもよい。

0041

マイク63は、例えば図1に示すように、マイク63の集音部が使用者の視線方向を向くように配置され、音声を集音して、音声信号音声インターフェイス182(図4)に出力する。マイク63は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。

0042

制御装置10は、使用者により操作される被操作部として、ボタン11、LEDインジケーター12、トラックパッド14、上下キー15、切替スイッチ16、及び電源スイッチ18を備える。これらの被操作部はケース10Aの表面に配置される。

0043

ボタン11は、制御装置10を操作するためのキーやスイッチを備え、これらのキーやスイッチは押圧操作により変位する。例えば、ボタン11は、制御装置10が実行するオペレーティングシステム143(図5参照)等に関する操作を行うためのメニューキー、ホームキー、「戻る」キーを含む。
LEDインジケーター12は、HMD100の動作状態に対応して点灯し、又は点滅する。上下キー15は、右イヤホン32及び左イヤホン34から出力する音量増減指示入力や、画像表示部20の表示の明るさの増減の指示入力に利用される。切替スイッチ16は、上下キー15の操作に対応する入力を切り替えるスイッチである。電源スイッチ18は、HMD100の電源のオンオフを切り替えるスイッチであり、例えばスライドスイッチである。

0044

トラックパッド14は、接触操作を検出する操作面を有し、操作面に対する操作に応じて操作信号を出力する。操作面における検出方式は限定されず、静電式圧力検出式、光学式或いは他の方式を採用できる。トラックパッド14への接触(タッチ操作)は、タッチセンサー(図示略)により検出される。トラックパッド14にはLED表示部17が設置される。LED表示部17は複数のLEDを備え、それぞれのLEDの光はトラックパッド14を透過して、操作用アイコン等を表示する。このアイコン等はソフトウェアボタンとして機能する。トラックパッド14は、本発明の「検出部」に相当する。

0045

図3は、画像表示部20の構成を示す斜視図であり、画像表示部20を使用者の頭部側から見た要部構成を示す。この図3は、画像表示部20の使用者の頭部に接する側、言い換えれば使用者の右眼RE及び左眼LEに見える側である。別の言い方をすれば、右導光板26及び左導光板28の裏側が見えている。
図3では、使用者の右眼REに画像光を照射するハーフミラー261、及び左眼LEに画像光を照射するハーフミラー281が、略四角形の領域として見える。また、ハーフミラー261、281を含む右導光板26及び左導光板28の全体が、上述したように外光を透過する。このため、使用者には、右導光板26及び左導光板28の全体を透過して外景が視認され、ハーフミラー261、281の位置に矩形の表示画像が視認される。

0046

カメラ61は、画像表示部20において右側の端部に配置され、使用者の両眼が向く方向、すなわち使用者にとって前方を撮像する。カメラ61の光軸は、右眼RE及び左眼LEの視線方向を含む方向とされる。使用者がHMD100を装着した状態で視認できる外景は、無限遠とは限らない。例えば、使用者が両眼で、使用者の前方に位置する対象物体を注視する場合、使用者から対象物体までの距離は、30cm〜10m程度であることが多く、1m〜4m程度であることが、より多い。そこで、HMD100について、通常使用時における使用者から対象物体までの距離の上限、及び下限の目安を定めてもよい。この目安は調査実験により求めてもよいし使用者が設定してもよい。カメラ61の光軸、及び画角は、通常使用時における対象物体までの距離が、設定された上限の目安に相当する場合、及び下限の目安に相当する場合に、この対象物体が画角に含まれるように設定されることが好ましい。

0047

一般に、人間の視野角は水平方向におよそ200度、垂直方向におよそ125度とされ、そのうち情報受容能力に優れる有効視野は水平方向に30度、垂直方向に20度程度である。さらに、人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に60〜90度、垂直方向に45度〜70度程度とされている。注視点が使用者の前方に位置する対象物体であるとき、使用者の視野において、右眼RE及び左眼LEのそれぞれの視線を中心として水平方向に30度、垂直方向に20度程度が有効視野である。また、水平方向に60〜90度、垂直方向に45度〜70度程度が安定注視野であり、水平方向に約200度、垂直方向に約125度が視野角となる。さらに、使用者が右導光板26及び左導光板28を透過して視認する実際の視野を、実視野(FOV:Field Of View)と呼ぶことができる。図1及び図2に示す本実施形態の構成で、実視野は、右導光板26及び左導光板28を透過して使用者が視認する実際の視野に相当する。実視野は、視野角及び安定注視野より狭いが、有効視野より広い。

0048

カメラ61の画角は、使用者の視野よりも広い範囲を撮像可能であることが好ましく、具体的には、画角が、少なくとも使用者の有効視野よりも広いことが好ましい。また、画角が、使用者の実視野よりも広いことがより好ましい。さらに好ましくは、画角が、使用者の安定注視野よりも広く、最も好ましくは、画角が使用者の両眼の視野角よりも広いことがより好ましい。

0049

カメラ61が、撮像レンズとして、いわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよいし、単焦点レンズであってもズームレンズであってもよく、複数のレンズからなるレンズ群をカメラ61が備える構成であってもよい。

0050

図4は、HMD100を構成する各部の構成を示すブロック図である。
制御装置10は、プログラムを実行してHMD100を制御するメインプロセッサー140を備える。メインプロセッサー140には、不揮発性記憶部121及びメモリー123及びが接続される。また、メインプロセッサー140には、入力装置としてトラックパッド14及び操作部110が接続される。また、メインプロセッサー140には、センサー類として、6軸センサー111、磁気センサー113が接続される。また、メインプロセッサー140には、GPS受信部115、通信部117、ビーコン受信部119、音声コーデック180、外部コネクター184、外部メモリーインターフェイス186、USBコネクター188、センサーハブ192及びFPGA194が接続される。これらは外部とのインターフェイスとして機能する。

0051

メインプロセッサー140は、制御装置10が内蔵するコントローラー基板120に実装される。コントローラー基板120には、メインプロセッサー140に加えて、メモリー123、ビーコン受信部119、不揮発性記憶部121等が実装されてもよい。本実施形態では、6軸センサー111、磁気センサー113、GPS受信部115、通信部117、メモリー123、不揮発性記憶部121、音声コーデック180等がコントローラー基板120に実装される。また、外部コネクター184、外部メモリーインターフェイス186、USBコネクター188、センサーハブ192、FPGA194、及びインターフェイス196をコントローラー基板120に実装した構成であってもよい。

0052

メモリー123は、メインプロセッサー140がプログラムを実行する場合に、実行されるプログラム、及び処理されるデータを一時的に記憶するワークエリアを構成する。不揮発性記憶部121は、フラッシュメモリーやeMMC(embedded Multi Media Card)で構成される。不揮発性記憶部121は、メインプロセッサー140が実行するプログラムや、メインプロセッサー140がプログラムを実行して処理する各種データを記憶する。

0053

メインプロセッサー140は、トラックパッド14から入力される操作信号に基づいて、トラックパッド14の操作面に対する接触操作を検出し、操作位置を取得する。
操作部110は、ボタン11及びLED表示部17を含む。操作部110は、ボタン11が有するボタンやスイッチ等の操作子が操作された場合に、操作された操作子に対応する操作信号をメインプロセッサー140に出力する。

0054

LED表示部17は、メインプロセッサー140の制御に従って、LEDインジケーター12の点灯、及び消灯を制御する。また、LED表示部17は、トラックパッド14(図1)の直下に配置されるLED(図示略)、及びこのLEDを点灯させる駆動回路を含む構成であってもよい。この場合、LED表示部17は、メインプロセッサー140の制御に従って、LEDを点灯、点滅、消灯させる。

0055

6軸センサー111は、3軸加速度センサー及び3軸ジャイロ(角速度)センサーを備えるモーションセンサー慣性センサー)である。6軸センサー111は、上記のセンサーがモジュール化されたIMU(Inertial Measurement Unit)を採用してもよい。
磁気センサー113は、例えば、3軸の地磁気センサーである。
6軸センサー111及び磁気センサー113は、検出値を、予め指定されたサンプリング周期に従ってメインプロセッサー140に出力する。また、6軸センサー111及び磁気センサー113は、メインプロセッサー140の要求に応じて、メインプロセッサー140により指定されたタイミングで、検出値をメインプロセッサー140に出力する。

0056

GPS受信部115は、図示しないGPSアンテナを備え、GPS衛星から送信されるGPS信号を受信する。GPS受信部115は、受信したGPS信号をメインプロセッサー140に出力する。また、GPS受信部115は、受信したGPS信号の信号強度計測し、メインプロセッサー140に出力する。信号強度には、例えば、受信信号強度RSSI:Received Signal Strength Indication)、電界強度磁界強度信号雑音比(SNR: Signal to Noise ratio)等の情報を用いることができる。

0057

通信部117は、外部の機器との間で無線通信を実行する。通信部117は、アンテナRF回路ベースバンド回路通信制御回路等を備えて構成され、又はこれらが統合されたデバイスで構成される。通信部117は、例えば、Bluetooth、無線LAN(Wi−Fiを含む)等の規格に準拠した無線通信を行う。

0058

ビーコン受信部119は、ビーコン信号送信装置(図示略)から送信されるビーコン信号を受信する。ビーコン受信部119は、受信したビーコン信号に含まれるビーコンIDを検出する。ビーコンIDは、送信装置の識別情報である。また、ビーコン受信部119は、受信したビーコン信号の電波強度(RSSI:Received Signal Strength Indication)を検出し、検出した電波強度により送信装置との間の距離を推定する。ビーコン信号は、例えば、NFC(Near Field Communication)、Bluetooth、或いはBluetooth Low Energy、Bluetooth Smart、iBeacon(登録商標)等の近距離無線通信の規格に準拠した信号が使用される。
ビーコン受信部119は、本発明の「距離検出部」に相当する。

0059

音声インターフェイス182は、音声信号を入出力するインターフェイスである。本実施形態では、音声インターフェイス182は、接続ケーブル40に設けられたコネクター46(図1)を含む。コネクター46はヘッドセット30に接続される。音声インターフェイス182が出力する音声信号は右イヤホン32、及び左イヤホン34に入力され、これにより右イヤホン32及び左イヤホン34が音声を出力する。また、ヘッドセット30が備えるマイク63は、音声を集音して、音声信号を音声インターフェイス182に出力する。マイク63から音声インターフェイス182に入力される音声信号は、外部コネクター184に入力される。

0060

音声コーデック180は、音声インターフェイス182に接続され、音声インターフェイス182を介して入出力される音声信号のエンコード及びデコードを行う。音声コーデック180はアナログ音声信号からデジタル音声データへの変換を行うA/Dコンバーター、及びその逆の変換を行うD/Aコンバーターを備えてもよい。例えば、本実施形態のHMD100は、音声を右イヤホン32及び左イヤホン34により出力し、マイク63で集音する。音声コーデック180は、メインプロセッサー140が出力するデジタル音声データをアナログ音声信号に変換して、音声インターフェイス182を介して出力する。また、音声コーデック180は、音声インターフェイス182に入力されるアナログ音声信号をデジタル音声データに変換してメインプロセッサー140に出力する。

0061

外部コネクター184は、メインプロセッサー140と通信する外部の装置を接続するコネクターである。外部コネクター184は、例えば、外部の装置をメインプロセッサー140に接続して、メインプロセッサー140が実行するプログラムのデバッグや、HMD100の動作のログ収集を行う場合に、この外部の装置を接続するインターフェイスである。

0062

外部メモリーインターフェイス186は、可搬型メモリーデバイス接続可能なインターフェイスであり、例えば、カード型記録媒体を装着してデータの読取が可能なメモリーカードスロットインターフェイス回路とを含む。この場合のカード型記録媒体のサイズ、形状、規格は制限されず、適宜に変更可能である。

0063

USB(Universal Serial Bus)コネクター188は、USB規格に準拠したコネクターとインターフェイス回路とを備える。USBコネクター188は、USBメモリーデバイススマートフォン、コンピューター等を接続できる。USBコネクター188のサイズや形状、適合するUSB規格のバージョンは適宜に選択、変更可能である。

0064

センサーハブ192及びFPGA194は、インターフェイス(I/F)196を介して、画像表示部20に接続される。センサーハブ192は、画像表示部20が備える各種センサーの検出値を取得してメインプロセッサー140に出力する。また、FPGA194は、メインプロセッサー140と画像表示部20の各部との間で送受信するデータの処理、及びインターフェイス196を介した伝送を実行する。

0065

HMD100は、バイブレーター19を備える。バイブレーター19は、モーター偏心した回転子(いずれも図示略)を備え、その他の必要な構成を備えてもよい。バイブレーター19は、メインプロセッサー140の制御に従って上記モーターを回転させることにより、振動を発生する。HMD100は、例えば、操作部110に対する操作を検出した場合、HMD100の電源がオン/オフされる場合、或いはその他の場合に、所定の振動パターンでバイブレーター19により振動を発生する。

0066

画像表示部20の右表示ユニット22及び左表示ユニット24は、それぞれ、制御装置10に接続される。図1に示すように、HMD100では左保持部23に接続ケーブル40が接続され、この接続ケーブル40に繋がる配線が画像表示部20の内部に敷設され、右表示ユニット22と左表示ユニット24のそれぞれが制御装置10に接続される。

0067

右表示ユニット22は、表示ユニット基板210を有する。表示ユニット基板210には、インターフェイス196に接続されるインターフェイス(I/F)211、インターフェイス211を介して制御装置10から入力されるデータを受信する受信部(Rx)213、及びEEPROM215が実装される。
インターフェイス211は、受信部213、EEPROM215、温度センサー217、カメラ61、照度センサー65、及びLEDインジケーター67を、制御装置10に接続する。

0068

EEPROM(Electrically Erasable Programmable Read−Only Memory)215は、各種のデータをメインプロセッサー140が読み取り可能に記憶する。EEPROM215は、例えば、画像表示部20が備えるOLEDユニット221、241の発光特性表示特性に関するデータ、右表示ユニット22又は左表示ユニット24が備えるセンサーの特性に関するデータなどを記憶する。具体的には、OLEDユニット221、241のガンマ補正に係るパラメーター、温度センサー217、239の検出値を補償するデータ等を記憶する。これらのデータは、HMD100の工場出荷時の検査によって生成され、EEPROM215に書き込まれ、出荷後はメインプロセッサー140がEEPROM215のデータを利用して処理を行える。

0069

カメラ61は、インターフェイス211を介して入力される信号に従って撮像を実行し、撮像画像データ、又は撮像結果を示す信号を制御装置10に出力する。
照度センサー65は、図1に示すように、前部フレーム27の端部ERに設けられ、画像表示部20を装着する使用者の前方からの外光を受光するよう配置される。照度センサー65は、受光量(受光強度)に対応する検出値を出力する。
LEDインジケーター67は、図1に示すように、前部フレーム27の端部ERにおいてカメラ61の近傍に配置される。LEDインジケーター67は、カメラ61による撮像を実行中に点灯して、撮像中であることを報知する。

0070

温度センサー217は、温度を検出し、検出温度に対応する電圧値又は抵抗値を、検出値として出力する。温度センサー217は、OLEDパネル223(図2)の裏面側に実装される。温度センサー217は、例えばOLED駆動回路225と同一の基板に実装されてもよい。この構成により、温度センサー217は、主としてOLEDパネル223の温度を検出する。

0071

受信部213は、インターフェイス211を介してメインプロセッサー140が送信するデータを受信する。受信部213は、OLEDユニット221で表示する画像の画像データを受信した場合に、受信した画像データを、OLED駆動回路225(図2)に出力する。

0072

左表示ユニット24は、表示ユニット基板210を有する。表示ユニット基板210には、インターフェイス196に接続されるインターフェイス(I/F)231、インターフェイス231を介して制御装置10から入力されるデータを受信する受信部(Rx)233が実装される。また、表示ユニット基板210には、6軸センサー235及び磁気センサー237が実装される。
インターフェイス231は、受信部233、6軸センサー235、磁気センサー237、及び温度センサー239を、制御装置10に接続する。

0073

6軸センサー235は、3軸加速度センサー及び3軸ジャイロ(角速度)センサーを備えるモーションセンサー(慣性センサー)である。6軸センサー235は、上記のセンサーがモジュール化されたIMUを採用してもよい。6軸センサー235は、本発明の「検出部」に相当する。
磁気センサー237は、例えば、3軸の地磁気センサーである。

0074

温度センサー239は、温度を検出し、検出温度に対応する電圧値又は抵抗値を、検出値として出力する。温度センサー239は、OLEDパネル243(図2)の裏面側に実装される。温度センサー239は、例えばOLED駆動回路245と同一の基板に実装されてもよい。この構成により、温度センサー239は、主としてOLEDパネル243の温度を検出する。
また、温度センサー239が、OLEDパネル243又はOLED駆動回路245に内蔵されてもよい。また、上記基板は半導体基板であってもよい。具体的には、OLEDパネル243が、Si−OLEDとして、OLED駆動回路245等とともに統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー239を実装してもよい。

0075

右表示ユニット22が備えるカメラ61、照度センサー65、温度センサー217、及び左表示ユニット24が備える6軸センサー235、磁気センサー237、温度センサー239は、センサーハブ192に接続される。センサーハブ192は、メインプロセッサー140の制御に従って各センサーのサンプリング周期の設定及び初期化を行う。センサーハブ192は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。また、センサーハブ192は、予め設定されたタイミングで、右表示ユニット22及び左表示ユニット24が備える各センサーの検出値を、メインプロセッサー140に出力する。センサーハブ192は、各センサーの検出値を、メインプロセッサー140に対する出力のタイミングに合わせて一時的に保持する機能を備えてもよい。また、センサーハブ192は、各センサーの出力値信号形式、又はデータ形式相違に対応し、統一されたデータ形式のデータに変換して、メインプロセッサー140に出力する機能を備えてもよい。
また、センサーハブ192は、メインプロセッサー140の制御に従ってLEDインジケーター67への通電を開始及び停止させ、カメラ61が撮像を開始及び終了するタイミングに合わせて、LEDインジケーター67を点灯又は点滅させる。

0076

制御装置10は、電源部130を備え、電源部130から供給される電力により動作する。電源部130は、充電可能なバッテリー132、及びバッテリー132の残容量の検出及びバッテリー132への充電の制御を行う電源制御回路134を備える。電源制御回路134はメインプロセッサー140に接続され、バッテリー132の残容量の検出値、又は電圧の検出値をメインプロセッサー140に出力する。また、電源部130が供給する電力に基づき、制御装置10から画像表示部20に電力を供給してもよい。また、電源部130から制御装置10の各部及び画像表示部20への電力の供給状態を、メインプロセッサー140が制御可能な構成としてもよい。

0077

図5は、制御装置10の制御系を構成する記憶部125及び制御部150の機能ブロック図である。図5に示す記憶部125は、不揮発性記憶部121(図4)により構成される論理的な記憶部であり、EEPROM215を含んでもよい。また、制御部150及び制御部150が有する各種の機能部は、メインプロセッサー140がプログラムを実行することによって、ソフトウェアハードウェアとの協働により形成される。制御部150及び制御部150を構成する各機能部は、例えば、メインプロセッサー140、不揮発性記憶部121及びメモリー123により構成される。

0078

制御部150は、記憶部125が記憶するデータを利用して各種処理を実行し、HMD100を制御する。
記憶部125は、制御部150が処理する各種のデータを記憶する。記憶部125は、設定データ127及びコンテンツデータ128を記憶する。
設定データ127は、HMD100の動作を設定する各種の設定値を含む。また、制御部150がHMD100を制御する際にパラメーター、行列式演算式、LUT(LookUp Table)等を用いる場合、これらを設定データ127に含めてもよい。

0079

コンテンツデータ128は、制御部150の制御によって画像表示部20が表示する画像や映像を含むコンテンツのデータであり、画像データ又は映像データを含む。また、コンテンツデータ128は、音声データを含んでもよい。また、コンテンツデータ128は複数の画像の画像データを含んでもよく、この場合、これら複数の画像は同時に画像表示部20に表示される画像に限定されない。
また、コンテンツデータ128は、コンテンツを画像表示部20により表示する際に、制御装置10によって使用者の操作を受け付け、受け付けた操作に応じた処理を制御部150が実行する、双方向型のコンテンツであってもよい。この場合、コンテンツデータ128は、操作を受け付ける場合に表示するメニュー画面の画像データ、メニュー画面に含まれる項目に対応する処理等を定めるデータ等を含んでもよい。

0080

制御部150は、オペレーティングシステム(OS)143、画像処理部145、撮像制御部147、操作制御部149、検出制御部151及び表示制御部153の機能を有する。操作制御部149及び検出制御部151は、本発明の「検出部」に相当する。
オペレーティングシステム143の機能は、記憶部125が記憶する制御プログラムの機能であり、その他の各部は、オペレーティングシステム143上で実行されるアプリケーションプログラムの機能である。

0081

画像処理部145は、画像表示部20により表示する画像又は映像の画像データに基づいて、右表示ユニット22及び左表示ユニット24に送信する信号を生成する。画像処理部145が生成する信号は、垂直同期信号水平同期信号クロック信号アナログ画像信号等であってもよい。
また、画像処理部145は、必要に応じて、画像データの解像度を右表示ユニット22及び左表示ユニット24に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部145は、画像データの輝度彩度を調整する画像調整処理、3D画像データから2D画像データを作成し、又は2D画像データから3D画像データを生成する2D/3D変換処理等を実行してもよい。画像処理部145は、これらの画像処理を実行した場合、処理後の画像データに基づき画像を表示するための信号を生成して、接続ケーブル40を介して画像表示部20に送信する。
画像処理部145は、メインプロセッサー140がプログラムを実行して実現される構成のほか、メインプロセッサー140と別のハードウェア(例えば、DSP(Digital Signal Processor))で構成してもよい。

0082

撮像制御部147は、カメラ61を制御して撮像を実行させ、撮像画像データを生成し、記憶部125に一時的に記憶する。また、カメラ61が撮像画像データを生成する回路を含むカメラユニットとして構成される場合、撮像制御部147は撮像画像データをカメラ61から取得して、記憶部125に一時的に記憶する。

0083

操作制御部149は、トラックパッド14及び操作部110における操作を検出し、操作に対応する操作データを出力する。操作制御部149は、例えば、操作部110のボタン等が操作された場合、操作内容を示す操作データを生成して、表示制御部153に出力する。表示制御部153は、操作制御部149から入力される操作データに従って表示状態を変更する。
また、操作制御部149は、トラックパッド14における操作を検出した場合に、トラックパッド14における操作位置の座標を取得する。操作制御部149は、操作位置の軌跡を生成する。操作位置の軌跡は、トラックパッド14のタッチ操作が解除されない間、すなわち使用者の手や指操作体がトラックパッド14に接触した状態が継続する間の操作位置の軌跡である。操作制御部149は、検出した操作位置の軌跡を示す操作データを表示制御部153に出力する。操作制御部149は、本発明の「検出部」に相当する。

0084

検出制御部151は、6軸センサー235の検出値に基づいて使用者の頭部の動きを検出する。6軸センサー235は、所定の周期(例えば、50msec)毎にサンプリングを実行し、検出結果を示すアナログ電圧値を出力する。出力された電圧値は、A/D変換器(図示略)によってデジタル信号に変換され、制御部150に出力される。
6軸センサー235の角速度センサーは、内蔵する検出機構測定基準点において、図1に示すX軸まわりの回転(ピッチ角)、Y軸回りの回転(ヨー角)、及びZ軸まわりの回転(ロール角)を検出する。X軸、Y軸及びZ軸は、図1に示すように相互に直交する3軸方向であり、Z軸方向が鉛直方向に対応し、X軸方向が使用者の頭部の左右方向に対応し、Y軸方向が使用者の頭部の前後方向に対応する。
検出制御部151は、6軸センサー235の検出値によりX軸まわりの回転(ピッチ角)を検出して、使用者が顔を上げる又は下げる動きを検出する。また、検出制御部151は、6軸センサー235の検出値によりY軸まわりの回転(ヨー角)を検出して、使用者が首を左肩又は右肩の方向に傾ける動きを検出する。また、検出制御部151は、6軸センサー235の検出値によりZ軸まわりの回転(ロール角)を検出して、使用者が顔を左又は右に回す動きを検出する。以下では、顔を上げるや下げる動き、首を左肩又は右肩の方向に傾ける動き、顔を左又は右に回す動きを総称して、頭部の傾きという。
検出制御部151は、6軸センサー235の検出値に基づき、頭部の傾きの方向と、傾いた頭部の角度とを示す情報を操作データとして生成し、生成した操作データを表示制御部153に出力する。

0085

表示制御部153は、右表示ユニット22及び左表示ユニット24を制御する制御信号を生成し、この制御信号により、右表示ユニット22及び左表示ユニット24のそれぞれによる画像光の生成及び射出を制御する。具体的には、表示制御部147は、OLED駆動回路225、245を制御して、OLEDパネル223、243による画像の表示を実行させる。表示制御部147は、画像処理部145が出力する信号に基づきOLED駆動回路225、245がOLEDパネル223、243に描画するタイミングの制御、OLEDパネル223、243の輝度の制御等を行う。

0086

また、表示制御部153は、操作制御部149から入力される操作データに従って表示領域310に表示させるポインター301(図6)の位置を移動させる。ポインター301は、表示領域310における指示位置を示し、本発明の「マーカー」に相当する。また、ポインター301に変えて、カーソルや、目印文字記号、標識、矢印、ゲームのキャラクターをマーカーとして用いることもできる。
表示制御部153は、操作制御部149から操作データとして、操作面上の移動距離と、移動方向とを示すデータが入力される。表示制御部153は、入力された操作データに基づき、ポインター301を移動させる移動方向と、移動距離とを示す制御信号を生成し、生成した制御信号を右表示ユニット22及び左表示ユニット24に出力する。
また、表示制御部153は、検出制御部151から入力される操作データに従って表示領域310に表示されたポインター301(図6)の位置を移動させる。表示制御部153には、検出制御部151から操作データとして、頭部の傾きを検出した方向と、傾いた頭部の角度とを示すデータが入力される。表示制御部153は、入力された操作データに基づいて、ポインター301を移動させる移動方向と、移動距離とを示す制御信号を生成する。
表示制御部153は、例えば、入力される操作データから頭部の傾きが検出された方向を特定し、この特定した方向に対応する表示領域310の方向にポインター301を移動させる制御信号を生成してもよい。また、表示制御部153は、操作データから頭部の傾きが検出された方向を特定すると共に、傾いた頭部の角度を特定してもよい。そして、表示制御部153は、特定した方向に対応する表示領域310の方向に移動させ、特定した頭部の角度に対応する速度で移動させるようにポインター301を制御する制御信号を生成する。
表示制御部153は、生成した制御信号を右表示ユニット22及び左表示ユニット24に出力する。

0087

また、表示制御部153は、キャリブレーションを実行して、表示領域310の座標と、カメラ61の撮像画像とを対応付けるパラメーターを生成する。
表示制御部153は、画像表示部20にキャリブレーション用画像を表示させながら、キャリブレーション用画像に対応した参照実物体を、カメラ61の撮像画像データから認識し、追跡する。この状態で、使用者が、トラックパッド14等のユーザーインターフェイスを介してキャリブレーション用画像の位置を画像表示部20上で移動させる。そして、使用者が、キャリブレーション用画像と参照実物体とが重なる(位置、大きさ、向きの少なくとも1つがほぼ一致する)ように知覚したタイミングにて、ユーザーインターフェイスを介して表示制御部153に通知する。表示制御部153は、取得した通知に応じて、当該タイミングでの参照実物体の検出結果(撮像画像データ上の位置)と、表示領域310でのキャリブレーション用画像の表示位置とを対応付けるパラメーターを生成する。表示制御部153は、生成されたパラメーターを記憶部125に記憶させる。
このパラメーターは、ポインター301により選択される対象物体を特定する際に使用される。制御部150は、カメラ61の撮像画像データを取得し、ポインター301が表示された表示領域310の座標を、撮像画像データ上の座標に変換して、対象物体を特定する。

0088

HMD100は、コンテンツの供給元となる種々の外部機器を接続するインターフェイス(図示略)を備えてもよい。例えば、USBインターフェイスマイクロUSBインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスであってもよく、無線通信インターフェイスで構成してもよい。この場合の外部機器は、HMD100に画像を供給する画像供給装置であり、パーソナルコンピューター(PC)、携帯電話端末携帯型ゲーム機等が用いられる。この場合、HMD100は、これらの外部機器から入力されるコンテンツデータに基づく画像や音声を出力できる。

0089

図6は、使用者が画像表示部20越しに視認する視界300を示す図である。
使用者は、現実世界(以下、外景という)に存在する人や、建物道路、その他の物体(以下、これらを総称して対象物体という)と、画像表示部20が表示する表示画像とを画像表示部20越しに視認する。画像表示部20が表示する表示画像には、例えば、ポインター301や、画像や映像等のコンテンツが含まれる。画像表示部20が制御部150の制御に従って、コンテンツデータを再生することで、表示領域310にコンテンツが再生される。表示領域310は、画像表示部20が表示画像を表示可能な領域を示す。

0090

使用者は、第1操作と、第2操作とを行って、ポインター301を目的の位置(以下、ターゲットという)に移動させる。例えば、使用者が自動販売機320の飲料を購入する場合、ターゲットは、購入する商品商品ボタンとなる。使用者は、表示領域310内に表示されたポインター301を、第1操作及び第2操作によりターゲットの位置まで移動させる。

0091

本実施形態は、第1操作に応じてポインター301の位置を移動させる場合と、第2操作に応じてポインター301の位置を移動させる場合とで異なる態様で移動させる。例えば、第1操作に応じてポインター301を移動させる場合と、第2操作に応じてポインター301を移動させる場合とで、ポインター301の移動量(例えば、移動距離や、移動速度、加速度等)を変更する。
操作によってポインター301を移動させる移動距離を小さく設定した場合、又は移動速度を遅く設定した場合、ポインター301の位置とターゲットとの距離が離れていると、ポインター301をターゲットの近くまで移動させるのに時間がかかる。また、操作によってポインター301を移動させる移動距離を大きく設定した場合、又は移動速度を速く設定した場合、ポインター301をターゲットの位置に位置合わせする微調整が難しくなる場合がある。
このため、本実施形態のHMD100は、ポインター301の移動距離、移動速度又は加速度の少なくともいずれかが異なる第1操作と、第2操作との2つの操作により、ポインター301をターゲットの位置に移動させる。なお、ターゲットは、画像表示部20が表示させる表示画像であってもよいし、外景として視認する対象物体であってもよい。

0092

第1操作は、第2操作よりも先に行われる。第1操作は、ポインター301をターゲットの近傍に短時間で移動させるための操作である。また、第2操作は、ポインター301の位置を微調整して、ポインター301をターゲットの位置に移動させる操作である。
例えば、第1操作及び第2操作が、スイッチやボタンの押下操作であると仮定する。この場合、第1操作による押下操作を1回受け付けた場合にポインター301を移動させる移動距離、移動速度又は加速度を、第2操作による押下操作を1回受け付けた場合にポインター301を移動させる移動距離、移動速度又は加速度よりも大きく設定する。移動距離、移動速度又は加速度は、本発明の「移動量」に相当する。
また、第1操作及び第2操作が、操作面に対する接触操作であり、検出した操作面上での指の接触距離に応じてポインター301を移動させる操作であると仮定する。この場合、第1操作である指の接触距離に対応してポインター301を移動させる移動距離、移動速度又は加速度を、第2操作である指の接触距離に対応してポインター301を移動させる移動距離、移動速度又は加速度よりも大きく又は速く設定する。
また、第1操作及び第2操作が、操作面に対する接触操作や、使用者の頭部の傾きを検出してポインター301を移動させる操作であり、接触操作や頭部の傾きが検出された検出時間に対応した距離だけポインター301を移動させる操作であると仮定する。この場合、第1操作の検出時間に対応してポインター301を移動させる移動距離、移動速度又は加速度を、第2操作の検出時間に対応してポインター301を移動させる移動距離、移動速度又は加速度よりも大きく又は速く設定する。

0093

本実施形態では、トラックパッド14の操作に応じてポインター301を移動させる操作を第1操作とする。トラックパッド14を操作して、ポインター301をターゲットの位置に移動させる場合、トラックパッド14が固定されていないと、使用者がイメージした通りにポインター301を動かすことは容易ではなかった。このため、本実施形態では、トラックパッド14の操作を、ターゲットの近傍にポインター301を移動させる操作として用いる。
また、本実施形態では、使用者の頭部の傾きを操作として検出し、検出した操作に応じてポインター301を移動させる操作を第2操作とする。使用者が頭部を傾けて行うポインター301の操作は、本発明の「使用者の動作」に相当する。頭部を傾けてポインター301を操作する場合、使用者は頭部を操作が完了するまで傾け続けなければならず、無理な体勢を維持し続けなければならない場合があった。しかし、本実施形態では、第2操作の前に行われる第1操作によって、ポインター301が既にターゲットの近傍に移動しているので、第2操作を行う時間を短縮することができる。

0094

図6に示すx軸は表示領域310の水平方向を示し、y軸は表示領域310の奥行き方向を示し、z軸は表示領域310の鉛直方向(上下方向)を示す。
図1に示す使用者の頭部のX軸まわりの回転が検出された場合、制御部150は、例えば、ポインター301を図6に示すz軸方向、すなわち表示領域310の鉛直方向に移動させる。また、図1に示す使用者の頭部のY軸まわりの回転が検出された場合、制御部150は、例えば、ポインター301を図6に示すy軸方向、すなわち表示領域310の奥行き方向に移動させる。また、図1に示す使用者の頭部のZ軸まわりの回転が検出された場合、制御部150は、例えば、ポインター301を図6に示すx軸方向、すなわち表示領域310の水平方向に移動させる。
なお、使用者が頭部を傾ける方向と、ポインター301を移動させる移動方向との対応付けは、上述したものに限定されるものではなく、任意に設定することができる。

0095

また、本実施形態は、ポインター301を移動させる操作を第1操作から第2操作に切り替えるタイミングを、使用者の手や指(以下、手指という)がトラックパッド14から離れたか否かを検出することで行う。制御部150は、トラックパッド14の操作面への接触が検出される間は、使用者がトラックパッド14を操作する意志があると判断し、トラックパッド14の操作によりポインター301を移動させる。また、制御部150は、操作面への接触が検出できなくなり、手指が操作面から離れた場合、トラックパッド14を操作する意志がなくなったと判定し、ポインター301を移動させる操作を、第2操作に切り替える。
また、第1操作から第2操作への切り替えは、操作面への接触が検出されるか否かに限定されない。例えば、予め設定されたボタン11や、上下キー15、切替スイッチ16が操作された場合や、トラックパッド14を予め設定された回数叩く操作を受け付けた場合に、第1操作から第2操作へ切り替えてもよい。また、マイク63から入力される音声により第1操作から第2操作に切り替えてもよい。例えば、フィンガースナップの音や、使用者が発した言葉をマイク63から入力し、入力した音声データが予め設定された音声データに一致した場合に、第1操作から第2操作に切り替えてもよい。

0096

本実施形態では、トラックパッド14によるポインター301の操作を第1操作とし、使用者の頭部の傾きに基づくポインター301の操作を第2操作としたが、第1操作及び第2操作は、これらの操作に限定されるものではない。例えば、使用者の頭部の傾きを検出してポインター301を移動させる操作を第1操作とし、トラックパッド14によるポインター301の操作を第2操作としてもよい。また、第1操作及び第2操作のいずれか一方に、ハンドサインジェスチャーを用いてもよい。ハンドサインやジェスチャーは、本発明の「使用者の動作」に相当する。ハンドサインやジェスチャーにより第1又は第2操作を行う場合、記憶部125に、ハンドサインやジェスチャーの特定に用いる辞書事前に記憶させておく。例えば、辞書には、指の位置や形状を示すデータがハンドサインごとに登録される。また、ジェスチャーが予め設定された手の形状(形態)を予め設定された順番に行うものである場合、各形状(形態)における指の位置や形状等を示すデータがジェスチャーごとに辞書に登録される。制御部150は、カメラ61の撮像画像から使用者の手や指が撮像された領域(以下、手指領域という)を検出し、検出した手指領域から手指の形状や位置を検出して、辞書に登録されたデータとのマッチングによりハンドサインやジェスチャーを認識する。
また、制御部150は、使用者の手の爪や、使用者が手指に嵌めた指輪、腕に嵌めた腕輪や、時計バンドの動きを第1操作及び第2操作のいずれか一方として検出してもよい。制御部150は、カメラ61の撮像画像から使用者の手の爪や、使用者が手指に嵌めた指輪、腕に嵌めた腕輪や、時計、バンドの動きを検出し、検出した動きに応じてポインター301を移動させる。

0097

制御部150は、動作モードとして第1の動作モードと第2の動作モードとを備え、これらの動作モードを切り替えて実行する。第1の動作モードは、使用者が画像表示部20越しに視認する外景に含まれる対象物体(図7では自動販売機320)をターゲットとし、ターゲットとしての対象物体をポインター301により指示するモードである。第2の動作モードは、画像表示部20が表示する複数の表示画像をターゲットとし、ターゲットとしての表示画像をポインター301により指示するモードである。
第1の動作モードと第2の動作モードとの動作モードの切替えは、例えば、ボタン11や、上下キー15、切替スイッチ16等の操作を受け付けた場合に行ってもよい。また、トラックパッド14を予め設定された回数叩く操作を受け付けた場合に、動作モードの切替えを行ってもよい。

0098

また、HMD100に視線センサー(図史略)を搭載し、この視線センサーが検出する視線方向に対象物体が存在するか、表示画像が存在するかによって第1の動作モードと第2の動作モードとを切り替えてもよい。
ここで、視線センサーについて説明する。
視線センサー68は、使用者の右眼RE、及び、左眼LEのそれぞれに対応するように、右導光板26と左導光板28との中央位置に一対設けられる。視線センサーは、例えば、使用者の右眼REと左眼LEとをそれぞれ撮像する一対のカメラで構成される。視線センサーは、制御部150の制御に従って撮像を行い、制御部150が、撮像画像データから右眼RE及び左眼LEの眼球表面における反射光や瞳孔の画像を検出し、視線方向を特定する。
制御部150は、視線センサーにより検出される視線方向に対象物体が存在する場合、HMD100の動作モードを第1の動作モードに設定する。また、制御部150は、視線センサーにより検出される視線方向に表示画像が存在する場合、HMD100の動作モードを第2の動作モードに設定する。

0099

図7及び図8は、使用者が首を左側に傾けた状態で見る視界300を示す図である。図7は、外景内の対象物体として自動販売機320が見える状態を示し、図8は、画像表示部20が表示する表示画像として、ワープロソフトウェア表示画面302が見える状態を示す。
使用者は、第2操作によってポインター301を操作する場合、首を左肩側又は右肩側に傾ける動作を行う場合がある。このとき、表示領域310も使用者の首の傾きに応じて傾くが、画像表示部20越しに見る対象物体は傾かないため、図7に示すように使用者には対象物体である自動販売機320が傾いて見える。
また、制御部150は、6軸センサー235の検出値に基づいて、画像表示部20が表示する表示画像の傾きを調整する。すなわち、表示画像は、図8に示すように頭部の傾きに応じて傾いた表示となり、使用者には、表示画像が水平に見える。

0100

制御部150は、動作モードが第1の動作モードであって、6軸センサー235の検出値により画像表示部20の傾きを検出した場合、検出した傾きに応じて、ポインター301を対象物体に対して水平になるように移動させる。すなわち、第1の動作モードでは、対象物体を基準として、ポインター301を移動させる。図7には、対象物体である自動販売機320に対してポインター301を水平に移動させる様子を示す。
また、制御部150は、動作モードが第2の動作モードであって、6軸センサー235の検出値により画像表示部20の傾きを検出した場合、検出した傾きに合わせてポインター301を移動させる。すなわち、第2の動作モードでは、表示画像を基準として、ポインター301を移動させる。図8には、表示画像であるワープロソフトウェアの表示画面302の傾きに合わせてポインター301を移動させる様子を示す。

0101

図9は、第1操作によりポインター301をターゲットの近傍に移動させた場合に表示される表示画像を示す図である。
第1操作によりポインター301を操作し、ポインター301をターゲットの近くに移動させると、図9に示すようにポインター301の近くに存在するターゲットが拡大表示される。
制御部150は、カメラ61が撮像する撮像画像データを取得し、取得した撮像画像データから対象物体を検出する。制御部150は、ポインター301の表示位置から予め設定された範囲内に対象物体を検出すると、この対象物体の画像を撮像画像データから抽出し、抽出した対象物体の画像を拡大して表示領域310に表示させる。
また、制御部150は、ポインター301の表示位置から予め設定された範囲内に対象物体を検出された場合に、対象物体の画像を拡大表示させるか否かを問い合わせる表示を表示領域310に表示させてもよい。制御部150は、例えば、対象物体の画像を拡大表示させる旨の指示をボタン11やトラックパッド14により受け付けた場合に、対象物体の画像を拡大して表示領域310に表示させる。拡大して表示された対象物体の画像を拡大画像303という。

0102

使用者は、拡大画像303が表示された状態で、ポインター301がターゲットに重なるように、第2操作によりポインター301の位置を微調整する。使用者は、ポインター301がターゲットに重なると、確定操作を行う。制御部150は、確定操作を受け付けると、ポインター301の表示位置に重なるターゲットが選択されたと判定する。確定操作には、第2操作である使用者の頭部の傾きを検出してポインター301を移動させる操作以外の操作が用いられる。確定操作は、例えば、トラックパッド14の操作面を叩く操作であってもよいし、ボタン11、上下キー15、切替スイッチ16等の操作であってもよい。
また、HMD100は、無線接続した外部の装置から送信される信号を受信した場合に、確定操作を受け付けたと判定してもよい。外部の装置には、例えば、使用者の腕等の装着されるウェアラブル端末等を用いることができる。使用者は、ポインター301がターゲットに重なると、ウェアラブル端末により予め設定された操作を入力する。ウェアラブル端末は、予め設定された操作を受け付けると、HMD100に所定の信号を送信する。HMD100の制御部150は、ウェアラブル端末から所定の信号を受信した場合、確定操作を受け付けたと判定する。

0103

図10は、ターゲットまでの距離と、ポインター301の移動距離との関係を示す図である。
上述した説明では、第1操作によりポインター301を操作する場合と、第2操作によりポインター301を操作する場合とで、ポインター301の移動距離や、移動速度、加速度を変更した。
これ以外の動作として、HMD100とターゲットとの距離に応じて、ポインター301の移動の態様である移動距離や、移動速度、加速度を変更してもよい。例えば、図10に示すようにターゲットがビーコン信号を送信するビーコン送信部321を備える場合、HMD100は、ターゲットから送信されるビーコン信号をビーコン受信部119で受信する。制御部150は、受信したビーコン信号の電波強度に基づき、ターゲットまでの距離を推定する。制御部150は、推定したターゲットまでの距離に応じて、第1又は第2操作により移動させるポインター301の移動距離や、移動速度、加速度を変更する。

0104

本実施形態は、図10に示すように、HMD100とターゲットとの距離が距離Aである場合のポインター301の移動距離を、ターゲットとの距離が距離Bである場合のポインター301の移動距離よりも小さく設定する。距離Aはしきい値よりも大きく、距離Bはしきい値よりも小さいと仮定する。
例えば、制御部150は、ビーコン信号の電波強度に基づいて推定した距離と、予め設定されたしきい値とを比較して、HMD100とターゲットとの距離がしきい値として設定された距離よりも大きいか否かを判定する。
制御部150は、HMD100とターゲットとの距離がしきい値よりも大きい(離れている)場合、第1操作であるトラックパッド14の操作を検出し、検出した第1操作に応じてポインター301の位置を移動させる。また、制御部150は、ターゲットとの距離がしきい値よりも大きい(離れている)場合に、第1操作により移動させるポインター301の移動距離を第1距離とする。
また、制御部150は、ターゲットとの距離がしきい値以下(近い)である場合、第2操作である頭部の傾きを検出し、検出した傾きに応じてポインター301の位置を移動させる。また、制御部150は、ターゲットとの距離がしきい値以下の場合、第2操作により移動させるポインター301の距離を第2距離とする。
第2距離は、第1距離よりも大きい値に設定される。すなわち、HMD100とターゲットとの距離が近くなるほど、ポインター301の移動距離が大きくなるように設定する。

0105

HMD100とターゲットとの間が離れている場合、使用者の視界300内でのターゲット(自動販売機320や商品ボタン)のサイズは小さい。第1操作によるポインター301の移動距離を大きく設定すると、ポインター301がターゲットから大きく外れてしまう場合がある。このため、HMD100とターゲットとの間の距離がしきい値よりも離れている場合、ポインター301の移動距離を小さく設定する。また、HMD100とターゲットとの間が近い場合、使用者の視界300内でのターゲットのサイズは大きい。このため、ポインター301の移動距離を大きく設定しても、ポインター301がターゲットから大きく外れる場合は少ない。このため、HMD100とターゲットとの間の距離がしきい値よりも近い場合、ポインター301の移動距離を大きく設定する。

0106

また、ポインター301の移動距離を、ターゲットとHMD100との距離に応じて連続的に変更してもよい。制御部150は、ビーコン信号の電波強度に基づいてターゲットまでの距離を推定し、推定した距離に応じて第1又は第2操作によりポインター301を移動させる移動距離を変更する。制御部150は、ターゲットとの距離が近くなるほど、第1又は第2操作によりポインター301を移動させる距離が大きくなるように設定する。
また、上述した説明とは逆に、HMD100とターゲットとの距離が近くなるほど、第1又は第2操作によりポインター301を移動させる距離を小さくなるように設定してもよい。
また、上述した説明では、ターゲットとの距離がしきい値よりも大きい場合には第1操作を選択し、ターゲットとの距離がしきい値以下の場合には第2操作を選択した。これ以外に、第1操作と第2操作とのいずれか一方の操作によりポインター301の位置を移動させてもよい。すなわち、ターゲットとの距離がしきい値よりも大きい場合と、しきい値以下の場合との両方において、第1操作又は第2操作のいずれか一方によりポインター301を操作してもよい。
また、図10の説明では、ターゲットから送信されるビーコン信号の電波強度に基づきHMD100との距離を推定したが、HMD100がカメラ61としてステレオカメラを備える場合、このカメラ61の撮像画像によりターゲットまでの距離を求めてもよい。

0107

図11は、HMD100の動作を示すフローチャートである。
制御部150は、トラックパッド14の操作面に対する接触操作を検出したか否かを判定する(ステップS1)。制御部150は、トラックパッド14から入力される操作信号に基づき、接触操作を検出したか否かを判定する(ステップS1)。制御部150は、接触操作を検出していない場合(ステップS1/NO)、接触操作を検出するまで待機し、他に実行可能な処理があればこの処理を実行する。また、制御部150は、接触操作を検出した場合(ステップS1/YES)、ポインター301を移動させる(ステップS2)。制御部150がポインター301を移動させる移動距離は、操作面上での使用者の手指の移動距離に対応する距離であり、移動方向は、操作面上での使用者の手指の移動方向に対応する方向である。

0108

次に、制御部150は、使用者の手指等が操作面に接触しているか否かを判定する(ステップS3)。本実施形態は、手指等の操作面への接触が継続している間は、第1操作である操作面に対する接触操作によりポインター301を移動させる。また、手指等の操作面への接触が検出されなくなると、制御部150は、ポインター301の操作を、第1操作から第2操作に切り替える。制御部150は、第2操作では、使用者の頭部の傾きを検出し、検出した頭部の傾きに応じてポインター301を移動させる。
制御部150は、操作面への接触を検出した場合(ステップS3/YES)、ステップS1に戻り接触操作を検出したか否かを判定し(ステップS1)、検出した接触操作に応じてポインター301を移動させる(ステップS2)。

0109

また、制御部150は、操作面への接触が検出できない場合(ステップS3/NO)、ポインター301の操作を第2操作に切り替える。制御部150は、まず、6軸センサー235の検出値を取得する(ステップS4)。
制御部150は、取得した6軸センサー235の検出値に基づき使用者の頭部の傾きが検出されたか否かを判定する(ステップS5)。制御部150は、使用者の頭部に傾きがないと判定した場合(ステップS5/NO)、ポインター301の操作を終了させる終了操作を受け付けたか否かを判定する(ステップS6)。制御部150は、終了操作を受け付けていない場合(ステップS6/NO)、ステップS4の判定に戻り、引き続き6軸センサー235の検出値に基づき使用者の頭部の傾きを検出する(ステップS5)。また、制御部150は、終了操作を受け付けた場合(ステップS6/YES)、この処理フローを終了する。

0110

また、制御部150は、使用者の頭部に傾きがあると判定した場合(ステップS5/YES)、画像表示部20が左又は右に傾いた状態であるか否かを判定する(ステップS7)。この判定では、使用者が頭部を左又は右に傾ける動きを行ったか否かが判定される。使用者の頭部が左又は右に傾くと、使用者が画像表示部20越しに視認する外景内の対象物体が左又は右に傾いた状態で視認される。そこで、制御部150は、画像表示部20が左右に傾いた状態であると判定される場合に、この画像表示部20の傾きに対応するようにポインター301の移動を制御する。

0111

制御部150は、画像表示部20が左又は右に傾いた状態ではないと判定した場合(ステップS7/NO)、6軸センサー235の検出値に基づき使用者の頭部の傾きを検出し、検出した傾きに対応する方向にポインター301を移動させる(ステップS8)。
例えば、使用者の顔を上に向ける動作が検出された場合、制御部150は、ポインター301を図6に示すz軸の正方向である上方に移動させる。また、使用者の顔を下に向ける動作が検出された場合、制御部150は、ポインター301をz軸の負方向である下方に移動させる。
また、使用者の顔を左に向ける、すなわち、Z軸まわりの左回転が検出された場合、制御部150は、ポインター301を図6に示すx軸の正方向である左方向に移動させる。また、使用者の顔を右に向ける、すなわち、Z軸まわりの右回転が検出された場合、制御部150は、ポインター301を図6に示すx軸の負方向である右方向に移動させる。
また、制御部150は、対象物体を基準としてポインター301を移動させる場合に、磁気センサー237の検出値に基づき、ポインター301を水平に移動させてもよい。

0112

また、制御部150は、画像表示部20が左又は右に傾いた状態であると判定した場合(ステップS7/YES)、制御部150の動作モードが第1の動作モードであるか否かを判定する(ステップS9)。第1の動作モードでは、ポインター301を水平方向に移動させる場合に、外景に対して水平になるようにポインター301を移動させる。使用者の頭部が左又は右に傾いた状態では、使用者には、画像表示部20越しに見える外景内の対象物体も傾いて見える。このため、制御部150は、動作モードが第1の動作モードの場合(ステップS9/YES)、ポインター301を、対象物体を基準にして移動させる(ステップS10)。すなわち、制御部150は、ポインター301が外景内の対象物体に対して水平に移動するように表示を調整する(ステップS10)。制御部150は、6軸センサー235の検出値に基づき、Y軸まわりの回転角を検出して、画像表示部20の傾きを判定する。制御部150は、判定した画像表示部20の傾きに基づき、ポインター301が対象物体に対して水平に移動するように表示を調整する(ステップS10)。

0113

また、制御部150は、動作モードが第1の動作モードではなく(ステップS9/NO)、第2の動作モードであると判定した場合、ポインター301を、表示画像を基準にして移動させる(ステップS11)。すなわち、制御部150は、ポインター301を、表示画像に対して水平になるように表示を調整する。制御部150は、ポインター301を移動させると、ステップS4に戻り6軸センサー235の検出値を新たに取得して、頭部の傾きを検出する(ステップS5)。

0114

制御部150は、ステップS5の判定において、頭部の傾きが検出されない場合(ステップS5/NO)、確定操作を受け付けたか否かを判定する(ステップS6)。制御部150は、例えば、トラックパッド14の操作面を叩く操作を受け付けた場合に、確定操作を受け付けたと判定する。制御部150は、確定操作を受け付けた場合、ポインター301と重なる位置のターゲットが選択されたと判定し、選択されたターゲットに応じた処理を実行する。制御部150は、ターゲットが対象物体である場合、キャリブレーションにより生成したパラメーターを取得し、取得したパラメーターに基づいて、ポインター301が表示された表示領域310の座標を、撮像画像データ上の座標に変換する。そして、制御部150は、変換した撮像画像データ上の座標に写った対象物体を特定し、特定した対象物体に応じた処理を実行する。例えば、ターゲットとして、自動販売機320の商品ボタンが選択された場合、制御部150は、この自動販売機320と無線通信を行って、選択された商品ボタンの商品を購入する処理を実行する。また、制御部150は、ターゲットとして表示画像が選択された場合、この表示画像に対応付けられた処理を実行する。例えば、表示画像がメニュー画面であり、ポインター301によりメニュー画面の項目が選択された場合、制御部150は、選択された項目に対応する処理を実行する。

0115

図12は、使用者の靴底又は靴内部に装着した検知装置の配置を示す配置図である。
上述した実施形態は、HMD100により第1操作及び第2操作を検出する構成であったが、外部の装置により第1操作又は第2操作を検出する構成であってもよい。図12には、使用者の靴底又は靴内部に検知装置330を配置し、この検知装置330により第1操作又は第2操作を検出する構成を示す。検知装置330は、例えば、足裏に生じる圧力を検出する圧力センサーと、近距離無線通信によりHMD100と無線通信を行って、圧力センサーが検出した検出値をHMD100に送信する通信装置(ともに不図示)とを備える。

0116

図12には、右足の靴底又は靴内部であって、の中央部に検知装置330を配置した例を示す。使用者は、ポインター301を移動させる方向に応じて、爪先側(前側)、踵側(後側)、左側、右側のいずれかの方向に体重をかける。検知装置330は、前後左右の4方向のうち、圧力が最も高い方向を検出し、検出した方向を示す信号をHMD100に送信する。HMD100は、検知装置330から送信される信号に基づいて、前後左右の4方向のうちのいずれの方向が選択されたのかを判定する。HMD100は、判定した方向に対応する方向にポインター301を移動させる。
例えば、使用者が体重を爪先側にかけた場合、制御部150は、ポインター301を図6に示すz軸の正方向である上方に移動させる。また、使用者が体重を踵側にかけた場合、制御部150は、ポインター301をz軸の負方向である下方に移動させる。また、使用者が体重を左側にかけた場合、制御部150は、ポインター301を図6に示すx軸の正方向である左方向に移動させる。また、使用者が体重を右側にかけた場合、制御部150は、ポインター301を図6に示すx軸の負方向である右方向に移動させる。また、例えば、ポインター301を表示領域の奥行方向(Y軸方向)に移動させたい場合、前後左右の4方向に順番に体重がかかるように円運動を行う。制御部150は、例えば、前、右、後、左の右回転が検出された場合、ポインター301を図6に示すy軸の正方向である手前側に移動させる。また、制御部150は、例えば、前、左、後、右の左回転が検出された場合、ポインター301を図6に示すy軸の負方向である奥側に移動させる。

0117

図13は、検知装置の他の配置例を示す図である。
図12には、靴底又は靴内部に1つの検知装置330を設けた例を示したが、図13に示すように靴底又は靴内部の中央に1つの検知装置331を配置し、爪先側に2つの検知装置332、333を配置してもよい。検知装置331、332、333の構成は、図12に示す検知装置330と同一であるが、検知装置331、332及び333は、各検知装置331、332及び333がそれぞれに備える圧力センサーが検出する圧力の検出値をHMD100に送信する。
使用者が前方(爪先側)に体重をかけると、検知装置332及び333の検出値は上昇し、検知装置331の検出値は下降する。また、使用者が後方(踵側)に体重をかけると、検知装置331の検出値は上昇し、検知装置332及び333の検出値は下降する。
また、使用者が体重を左側又は右側にかけた場合、検知装置332の検出値と、検知装置333の検出値とが大きく異なる値になる。使用者が体重を左側にかけた場合、検知装置332の検出値が上昇し、検知装置333の検出値が下降する。また、使用者が体重を右側にかけた場合、検知装置332の検出値が下降し、検知装置333の検出値が上昇する。

0118

図14は、検知装置の他の例を示す図である。
図14に示す検知装置の配置例は、左右の両足の靴底又は靴内部に、検知装置334、335をそれぞれ配置した例を示す。検知装置334、335の構成は、図12に示す検知装置330と同一であるが、図12に示す検知装置330と同様に前後左右の4方向のうち、圧力が最も高い方向を検出し、検出した方向を示す信号をHMD100に送信する。
使用者は、例えば、ポインター301の表示位置に表示された表示画像を拡大表示させる操作を入力すると仮定する。この場合、使用者は、両足の爪先の内側に体重をかけ、両足の爪先を広げる動作、すなわち両足の爪先を離す動作を行う。この場合、左足の検知装置334は、左足の内側(右側)の圧力が高いと判定し、右側の圧力が高いことを示す信号をHMD100に送信する。また、右足の検知装置335は、右足の内側(左側)の圧力が高いと判定し、左側の圧力が高いことを示す信号をHMD100に送信する。
HMD100は、左足の検知装置334から受信した信号により、左足の右側の圧力が高いと判定し、右足の検知装置335から受信した信号により、右足の左側の圧力が高いと判定した場合、ピンチアウトの操作が入力されたと判定する。この場合、HMD100の制御部150は、例えば、ポインター301と重なる位置に表示された表示画像を拡大表示させる。本実施形態では、ピンチアウトの操作を表示画像の拡大に対応付けた例を説明したが、ポインター301と重なる位置に表示された表示画像を選択する選択操作や、操作を確定させる確定操作に対応付けてもよい。

0119

使用者は、例えば、ポインター301の表示位置に表示された表示画像を縮小表示させる操作を入力すると仮定する。この場合、使用者は、両足の爪先の内側に体重をかけ、広げた両足の爪先を閉じる動作を行う。この場合、左足の検知装置334は、左足の外側(左側)の圧力が高いと判定し、左側の圧力が高いことを示す信号をHMD100に送信する。また、右足の検知装置335は、右足の外側(右側)の圧力が高いと判定し、右側の圧力が高いことを示す信号をHMD100に送信する。
HMD100は、左足の検知装置334から受信した信号により、左足の左側の圧力が高いと判定し、右足の検知装置335から受信した信号により、右足の右側の圧力が高いと判定した場合、ピンチインの操作が入力されたと判定する。この場合、HMD100の制御部150は、例えば、ポインター301と重なる位置に表示された表示画像を縮小表示させる。本実施形態では、ピンチインの操作を表示画像の拡大に対応付けた例を説明したが、ポインター301と重なる位置に表示された表示画像を選択する選択操作や、操作を確定させる確定操作に対応付けてもよい。

0120

以上、詳細に説明したように本実施形態のHMD100は、画像表示部20と、表示制御部153と、トラックパッド14と、操作制御部149と、6軸センサー235と、検出制御部151とを備える。
画像表示部20は、外景を透過し、外景とともに視認できるように表示画像を表示領域310に表示する。表示制御部153は、指示位置を示すポインター301を画像表示部20により表示領域310に表示させる。トラックパッド14及び操作制御部149は、第1操作であるトラックパッド14の操作面に対する操作を検出し、操作に対応する操作データを出力する。また、6軸センサー235及び検出制御部151は、第2操作としての使用者の頭部の傾きを検出し、検出した頭部の傾きに応じた操作データを出力する。表示制御部153は、検出部が検出する第1操作に応じてポインター301の位置を移動させる。また、表示制御部153は、第1操作に応じたポインター301の位置の移動後に、検出制御部151が検出する第2操作に応じて、ポインター301の位置を、第1操作に応じたポインター301の位置の移動とは異なる態様で移動させる。
従って、ポインター301の移動の態様が増えるため、ポインター301を操作する場合の操作性を向上させ、HMD100の使い勝手を向上させることができる。

0121

また、6軸センサー235及び検出制御部151は、使用者の動作を第2操作として検出するが、使用者の動作を第1操作として検出することも可能である。
従って、使用者の動作によってポインター301の位置を移動させることができる。

0122

また、HMD100は、外景を撮像するカメラ61を備える。
表示制御部163は、カメラ61の撮像画像に基づき、ポインター301に重なって視認される対象物体を特定する第1の動作モードを備える。また、表示制御部163は、表示領域310に表示される複数の表示画像からポインター301の位置に対応する表示画像を特定する第2の動作モードを備える。表示制御部163は、第1の動作モードと第2の動作モードとを切り替えて実行する。
従って、ポインター301の移動により対象物体を特定することも、表示画像を特定することもできる。

0123

また、本発明は、表示制御部153は、第1の動作モードを実行中である場合と、第2の動作モードを実行中である場合とで、ポインター301の位置を異なる態様で移動させる。
従って、ポインター301により特定する対象が対象物体であるか表示画像であるかに応じてポインター301の位置の移動の態様を変更することができる。

0124

また、6軸センサー235及び検出制御部151は、第2操作として使用者の頭部の傾きを検出する。表示制御部153は、第1の動作モードの実行中に、検出制御部151により頭部の傾きが検出された場合は、ポインター301を、使用者が視認する外景を基準として移動させる。また、表示制御部153は、第2の動作モードの実行中に、検出制御部151により頭部の傾きが検出された場合は、ポインター301を、使用者が視認する表示画像を基準として移動させる。
従って、第1の動作モードの実行中は、使用者が第2操作により頭部を傾けても、ポインター301の位置を、外景を基準として移動させることができる。また、第2の動作モードの実行中は、ポインター301の位置を、表示画像を基準として移動させることができる。

0125

また、表示制御部153は、第2操作に応じてポインター301を移動させる場合の移動量を、第1操作に応じてポインター301を移動させる場合の移動量よりも小さくする。
従って、第2操作よりも移動量が大きい第1操作によりポインター301を移動させた後に、第1操作よりも移動量が小さい第2操作によりポインター301を移動させることができる。従って、第1操作によりポインター301を移動させ、その後、第2操作によりポインター301の位置を調整することができる。

0126

また、HMD100は、ビーコン信号により対象物体までの距離を検出するビーコン受信部119を備える。
表示制御部153は、ビーコン受信部119が検出する対象物体までの距離に応じて、ポインター301を異なる態様で移動させる。
従って、ポインター301の操作の操作性を向上させ、HMD100の使い勝手を向上させることができる。

0127

また、表示制御部153は、対象物体までの距離がしきい値よりも大きい場合に、操作制御部149が検出する操作を第1操作とし、対象物体までの距離がしきい値以下である場合に、検出制御部151が検出する操作を第2操作とする。
表示制御部153は、第1操作によりポインター301を移動させる移動量を、第2操作によりポインター301を移動させる移動量よりも小さくする。
従って、対象物体までの距離がしきい値よりも大きい場合、ポインター301の移動量を小さくして、第1操作によりポインター301の位置が大きく移動してしまうことを防止することができる。

0128

なお、この発明は上記各実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、上述した実施形態では、制御装置10が画像表示部20と有線接続される構成を例示したが、本発明はこれに限定されず、制御装置10に対して画像表示部20が無線接続される構成であってもよい。この場合の無線通信方式は通信部117が対応する通信方式として例示した方式を採用してもよいし、その他の通信方式であってもよい。

0129

また、制御部150は、HMD100が第1操作を検出する状態にある場合には、第1操作を検出する状態であることを示す画像やメッセージを生成し、生成した画像やメッセージを画像表示部20により表示させる。また、制御部150は、HMD100が第2操作を検出する状態にある場合には、第2操作を検出する状態であることを示す画像やメッセージを生成し、生成した画像やメッセージを画像表示部20により表示させる。
また、制御部150は、HMD100の動作モードが第1の動作モードである場合に、動作モードが第1の動作モードであることを示す画像やメッセージを生成し、生成した画像やメッセージを画像表示部20により表示させる。また、制御部150は、HMD100の動作モードが第2の動作モードである場合に、動作モードが第2の動作モードであることを示す画像やメッセージを生成し、生成した画像やメッセージを画像表示部20により表示させる。

0130

また、制御装置10が備える一部の機能を画像表示部20に設けてもよく、制御装置10を複数の装置により実現してもよい。すなわち、制御装置10は、箱形のケース10Aを備える構成に限定されない。例えば、制御装置10に代えて、使用者の身体、着衣又は、使用者が身につける装身具に取り付け可能なウェアラブルデバイスを用いてもよい。この場合のウェアラブルデバイスは、例えば、時計型の装置、指輪型の装置、レーザーポインターマウスエアーマウス、ゲームコントローラーペン型のデバイス等であってもよい。

0131

さらに、上記各実施形態では、画像表示部20と制御装置10とが分離され、接続ケーブル40を介して接続された構成を例に挙げて説明した。本発明はこれに限定されず、制御装置10と画像表示部20とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。

0132

また、制御装置10として、ノート型コンピューター、タブレット型コンピューター又はデスクトップ型コンピューターを用いてもよい。また、制御装置10として、ゲーム機携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。

0133

また、上記各実施形態において、使用者が表示部を透過して外景を視認する構成は、右導光板26及び左導光板28が外光を透過する構成に限定されない。例えば外景を視認できない状態で画像を表示する表示装置にも適用可能である。具体的には、カメラ61の撮像画像、この撮像画像に基づき生成される画像やCG、予め記憶された映像データや外部から入力される映像データに基づく映像等を表示する表示装置に、本発明を適用できる。この種の表示装置としては、外景を視認できない、いわゆるクローズ型の表示装置を含むことができる。また、上記実施形態で説明したように実空間に重ねて画像を表示するAR表示や、撮像した実空間の画像と仮想画像とを組み合わせるMR(Mixed Reality)表示といった処理を行わない表示装置に本発明を適用できる。また、仮想画像を表示するVR(Virtual Reality)表示といった処理を行わない表示装置にも本発明を適用できる。例えば、外部から入力される映像データ又はアナログ映像信号を表示する表示装置も、本発明の適用対象として勿論含まれる。

0134

また、例えば、画像表示部20に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼LEに対応して画像を表示する表示部と、使用者の右眼REに対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者の身体に対する位置を位置決めする部分、及び当該部分に対し位置決めされる部分を装着部とすることができる。

0135

また、画像光を使用者の眼に導く光学系として、右導光板26及び左導光板28の一部に、ハーフミラー261、281により虚像が形成される構成を例示した。本発明はこれに限定されず、右導光板26及び左導光板28の全面又は大部分を占める面積を有する表示領域に、画像を表示する構成としてもよい。この場合、画像の表示位置を変化させる動作において、画像を縮小する処理を含めてもよい。
さらに、本発明の光学素子は、ハーフミラー261、281を有する右導光板26、左導光板28に限定されず、画像光を使用者の眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。

0136

また、図4図5等に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部150が実行するプログラムは、不揮発性記憶部121又は制御装置10内の他の記憶装置(図示略)に記憶されてもよい。また、外部の装置に記憶されたプログラムを通信部117や外部コネクター184を介して取得して実行する構成としてもよい。また、制御装置10に形成された構成のうち、操作部110が使用者インターフェイス(UI)として形成されてもよい。

0137

また、図11に示すフローチャートの処理単位は、HMD100の制御部150の処理を理解容易にするために、主な処理内容に応じて分割したものであり、処理単位の分割の仕方名称によって本発明が制限されることはない。また、制御部150の処理は、処理内容に応じて、さらに多くの処理単位に分割することもできるし、1つの処理単位がさらに多くの処理を含むように分割することもできる。また、上記のフローチャートの処理順序も、図示した例に限られるものではない。

0138

1…システム、10…制御装置、10A…ケース、11…ボタン、12、67…LEDインジケーター、14…トラックパッド、15…上下キー、16…切替スイッチ、17…LED表示部、18…電源スイッチ、19…バイブレーター、20…画像表示部(表示部)、21…右保持部、22…右表示ユニット、23…左保持部、24…左表示ユニット、26…右導光板、27…前部フレーム、28…左導光板、30…ヘッドセット、32…右イヤホン、34…左イヤホン、40…接続ケーブル、46…コネクター、61…カメラ(撮像部)、63…マイク、65…照度センサー、100…HMD(受信装置、表示装置)、110…操作部、111…6軸センサー、113…磁気センサー、115…GPS受信部、117…通信部、119…ビーコン受信部(距離検出部)、120…コントローラー基板、121…不揮発性記憶部、123…メモリー、125…記憶部、127…設定データ、128…コンテンツデータ、130…電源部、132…バッテリー、134…電源制御回路、140…メインプロセッサー、143…オペレーティングシステム、145…画像処理部、147…撮像制御部、149…操作制御部(検出部)、150…制御部、151…検出制御部(検出部)、153…表示制御部、180…音声コーデック、182…音声インターフェイス、184…外部コネクター、186…外部メモリーインターフェイス、188…USBコネクター、192…センサーハブ、194…FPGA、196…インターフェイス、200…ビーコン装置、211…インターフェイス、213…受信部、215…EEPROM、217…温度センサー、221…OLEDユニット、223…OLEDパネル、225…OLED駆動回路、231…インターフェイス、233…受信部、235…6軸センサー(検出部)、237…磁気センサー、239…温度センサー、241…OLEDユニット、243…OLEDパネル、245…OLED駆動回路、251…右光学系、252…左光学系、261、281…ハーフミラー、300…視界、301…ポインター、303…拡大画像、310…表示領域、320…自動販売機、330〜335…検知装置。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

新着 最近 公開された関連が強い 技術

  • ナーブ株式会社の「 画像表示装置及び画像表示システム」が 公開されました。( 2018/12/06)

    【課題・解決手段】個別の表示装置によって画像を見ているユーザとの間で容易にコミュニケーションを取ることができる画像表示装置等を提供する。画像表示装置は、通信ネットワークを介してサーバからデータを取得す... 詳細

  • 小米科技有限責任公司の「 スマートデバイス制御方法および装置」が 公開されました。( 2018/12/06)

    【課題・解決手段】本開示の実施例は、スマートデバイス制御方法および装置に関し、スマートホーム分野に属する。前記方法は、スマートマットレスが中継デバイスを介して送信した画像収集要求を受信した場合、前記ス... 詳細

  • 株式会社村田製作所の「 押圧検出装置、電子機器」が 公開されました。( 2018/11/29)

    【課題・解決手段】どのタイミングでも積算値を適正に補正できる押圧検出装置及び電子機器を提供する。電子筆記具(10)は、筐体(101)、操作部(12)及び押圧検出装置(100)を備える。押圧検出装置(1... 詳細

この 技術と関連性が強い 技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する挑戦したい社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ