図面 (/)

技術 頭部装着型表示装置、及び、頭部装着型表示装置の制御方法

出願人 セイコーエプソン株式会社
発明者 藤巻由貴高野正秀
出願日 2016年11月22日 (1年9ヶ月経過) 出願番号 2016-226624
公開日 2018年5月31日 (3ヶ月経過) 公開番号 2018-085595
状態 未査定
技術分野 テレビジョン受像機の構造の細部 その他の光学系・装置、色の干渉・色の制御
主要キーワード レーザー距離センサー 距離検出センサー 外部コネクター 制御データー コントローラー基板 表側領域 メインプロセッサー 並行状態
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2018年5月31日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

頭部装着型表示装置において、様々なシーンに応じて、データ処理量を適切に調整できる技術を提供する。

解決手段

頭部装着型表示装置は、虚像使用者視認させる画像表示部と、画像表示部の動作を制御する画像表示制御部と、外景撮像する外景撮像用カメラと、外景撮像用カメラが撮像した撮像画像データ画像処理して処理画像データを生成する撮像処理部であって、第1処理モードと、第1処理モードよりも単位時間当たりのデータ処理量の多い第2処理モードとのいずれかに設定可能な撮像処理部とを備え、撮像処理部は、前記処理画像データが表す画像内に予め定めた対象物が存在するか否かを判別する対象物判別部を有し、撮像処理部は、対象物判別部によって対象物が存在すると判別された場合に、処理モードを第1処理モードから第2処理モードに切り換える。

概要

背景

使用者の頭部に装着されて、使用者の眼前に位置する画像表示部に虚像を形成する頭部装着型表示装置が知られている(例えば、特許文献1)。また、現実環境コンピューターを用いて情報を付加提示する拡張現実感(AR、Augmented Reality)と呼ばれる技術が知られている(例えば、特許文献1)。

概要

頭部装着型表示装置において、様々なシーンに応じて、データ処理量を適切に調整できる技術を提供する。頭部装着型表示装置は、虚像を使用者に視認させる画像表示部と、画像表示部の動作を制御する画像表示制御部と、外景撮像する外景撮像用カメラと、外景撮像用カメラが撮像した撮像画像データ画像処理して処理画像データを生成する撮像処理部であって、第1処理モードと、第1処理モードよりも単位時間当たりのデータ処理量の多い第2処理モードとのいずれかに設定可能な撮像処理部とを備え、撮像処理部は、前記処理画像データが表す画像内に予め定めた対象物が存在するか否かを判別する対象物判別部を有し、撮像処理部は、対象物判別部によって対象物が存在すると判別された場合に、処理モードを第1処理モードから第2処理モードに切り換える。

目的

よって、様々なシーンに応じて、データ処理量を適切に調整できる技術が望まれている

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

頭部装着型表示装置であって、虚像使用者視認させる画像表示部と、前記画像表示部の動作を制御する画像表示制御部と、外景撮像する外景撮像用カメラと、前記外景撮像用カメラが撮像した撮像画像データ画像処理して処理画像データを生成する撮像処理部であって、前記撮像画像データを処理するための第1処理モードと、前記第1処理モードよりも単位時間当たりのデータ処理量の多い第2処理モードであって、前記撮像画像データを処理するための第2処理モードとのいずれかに設定可能な撮像処理部と、を備え、前記撮像処理部は、前記処理画像データが表す画像内に予め定めた対象物が存在するか否かを判別する対象物判別部を有し、前記撮像処理部は、前記対象物判別部によって前記対象物が存在すると判別された場合に、処理モードを前記第1処理モードから前記第2処理モードに切り換える、頭部装着型表示装置。

請求項2

請求項1に記載の頭部装着型表示装置であって、さらに、前記外景撮像用カメラの撮像領域のうちで一定の対象物検出領域において、前記対象物の候補となる物体の存在を検出するための物体検出部を備え、前記撮像処理部は、前記物体検出部によって前記物体が存在することが検出された場合に、前記第1処理モードを実行する、頭部装着型表示装置。

請求項3

請求項2に記載の頭部装着型表示装置であって、前記一定の対象物検出領域は、前記使用者が前記物体を視認できる範囲内であり、かつ、奥行き方向において前記使用者が水平に手を延ばしたときに前記使用者の手が届く範囲内である、頭部装着型表示装置。

請求項4

請求項3に記載の頭部装着型表示装置であって、前記物体を視認できる範囲は、水平方向において、前記使用者の視線方向に対して一方の側が60度以下の範囲であり、他方の側が60度以下の範囲であり、垂直方向において、前記視線方向よりも上側が30度以下の範囲であり、前記視線方向よりも下側が40度以下の範囲である、頭部装着型表示装置。

請求項5

請求項1から請求項4までのいずれか一項に記載の頭部装着型表示装置であって、さらに、前記使用者の頭部の動きを検出し、経時的に検出した前記頭部の動きに基づいて前記使用者の頭部の動き量を算出する頭部動き検出部と、前記使用者の視線方向を検出し、経時的に検出した前記視線方向に基づいて前記使用者の視線方向の変化量を算出する視線方向検出部と、を備え、前記撮像処理部は、処理モードが前記第1処理モードであるときに、前記動き量が第1閾値を超え、かつ、前記変化量が第2閾値を超えている場合は、前記対象物判別部の判別結果に拘わらず前記処理モードを前記第1処理モードに維持する、頭部装着型表示装置。

請求項6

請求項1から請求項5までのいずれか一項に記載の頭部装着型表示装置であって、前記撮像処理部は、前記第1処理モードと前記第2処理モードとの少なくともいずれ一方のモードにおいて、第1のフレームを構成する前記処理画像データ内の前記対象物が位置する画素領域を含む一定画素領域を設定し、前記第1のフレームの次に撮像された第2のフレームを構成する前記撮像画像データに対して前記一定画素領域に対応する範囲のデータを抽出し、抽出したデータに対して画像処理を行う、頭部装着型表示装置。

請求項7

請求項1から請求項6までのいずれか一項に記載の頭部装着型表示装置であって、前記撮像処理部は、さらに、前記第2処理モードにおいて、経時的に撮像された複数フレームの前記撮像画像データに基づいて前記対象物の動きを検出する対象物動き検出部を備え、前記画像表示制御部は、前記対象物動き検出部によって検出された前記対象物の動きに基づいて前記虚像の表示内容を変化させる、頭部装着型表示装置。

請求項8

請求項7に記載の頭部装着型表示装置であって、前記対象物は、使用者の手である、頭部装着型表示装置。

請求項9

請求項1から請求項8までのいずれか一項に記載の頭部装着型表示装置であって、前記第1処理モードは、前記外景撮像用カメラによって第1フレームレートで前記外景を撮像させる第1撮像モードを含み、前記第2処理モードは、前記外景撮像用カメラによって前記第1フレームレートよりも高い第2フレームレートで前記外景を撮像させる第2撮像モードを含む、頭部装着型表示装置。

請求項10

請求項1から請求項9までのいずれか一項に記載の頭部装着型表示装置であって、前記第1処理モードは、前記外景撮像用カメラによって第1解像度で前記外景を撮像させる第1解像度モードを含み、前記第2処理モードは、前記外景撮像用カメラによって前記第1解像度よりも高い第2解像度で前記外景を撮像させる第2解像度モードを含む、頭部装着型表示装置。

請求項11

請求項1から請求項10までのいずれか一項に記載の頭部装着型表示装置であって、前記第1処理モードは、前記外景撮像用カメラが撮像した前記撮像画像データを構成する複数のフレームの一部の前記フレームを間引いて、間引いた後の前記撮像画像データを画像処理するモードを含み前記第2処理モードは、前記第1処理モードよりも多い前記フレームから構成される前記撮像画像データを画像処理するモードを含む、頭部装着型表示装置。

請求項12

頭部装着型表示装置であって、虚像を使用者に視認させる画像表示部と、前記画像表示部の動作を制御する画像表示制御部と、外景を撮像して撮像画像データを生成する外景撮像用カメラと、前記外景撮像用カメラの動作を制御する撮像処理部と、前記外景撮像用カメラの撮像領域のうちで一定の対象物検出領域に、物体の存在を検出するための物体検出部と、を備え、前記撮像処理部は、前記物体検出部によって前記物体が存在することが検出された場合に、前記外景撮像用カメラによって前記外景の撮像を開始させる、頭部装着型表示装置。

請求項13

請求項12に記載の頭部装着型表示装置であって、前記一定の対象物検出領域は、前記使用者が前記物体を視認できる範囲内であり、かつ、奥行き方向において前記使用者が水平に手を延ばしたときに前記使用者の手が届く範囲内である、頭部装着型表示装置。

請求項14

請求項13に記載の頭部装着型表示装置であって、前記物体を視認できる範囲は、水平方向において、前記使用者の視線方向に対して一方の側が60度以下の範囲であり、他方の側が60度以下の範囲であり、垂直方向において、前記視線方向よりも上側が30度以下の範囲であり、前記視線方向よりも下側が40度以下の範囲である、頭部装着型表示装置。

請求項15

請求項12から請求項14までのいずれか一項に記載の頭部装着型表示装置であって、前記撮像処理部は、前記外景の撮像を実行している際に、経時的に撮像された複数フレームの撮像画像データに基づいて前記対象物の動きを検出する対象物動き検出部を備え、前記画像表示制御部は、前記対象物動き検出部によって検出された前記対象物の動きに基づいて前記虚像の表示内容を変化させる、頭部装着型表示装置。

請求項16

外景を撮像する外景撮像用カメラを備える頭部装着型表示装置の制御方法であって、(a)前記外景撮像用カメラによって前記外景を撮像させ撮像画像データを取得する工程と、(b)前記撮像画像データを画像処理して処理画像データを生成する工程と、(c)前記処理画像データが表す画像内に予め定めた対象物が存在するか否かを判別する工程と、(d)前記工程(c)において、前記対象物が存在すると判別された場合に、処理モードを第1処理モードから第2処理モードに切り換える工程と、を備え、前記第1処理モードは、前記撮像画像データを処理するための処理モードであり、前記第2処理モードは、前記第1処理モードよりも単位時間当たりのデータ処理量の多い処理モードであって、前記撮像画像データを処理するための処理モードである、制御方法。

請求項17

外景を撮像する外景撮像用カメラを備える頭部装着型表示装置の制御方法であって、(a)前記外景撮像用カメラの撮像領域のうちで一定の対象物検出領域に、物体の存在を検出する工程と、(b)前記工程(a)において前記物体が存在することが検出された場合に、前記外景撮像用カメラによって前記外景の撮像を開始させる工程と、を備える、制御方法。

技術分野

0001

本発明は、頭部装着型表示装置に関する。

背景技術

0002

使用者の頭部に装着されて、使用者の眼前に位置する画像表示部に虚像を形成する頭部装着型表示装置が知られている(例えば、特許文献1)。また、現実環境コンピューターを用いて情報を付加提示する拡張現実感(AR、Augmented Reality)と呼ばれる技術が知られている(例えば、特許文献1)。

先行技術

0003

特開2003−296757号公報

発明が解決しようとする課題

0004

近年、頭部装着型表示装置は、外景撮像するカメラを備える場合がある。カメラによって撮像した撮像画像データは、解析したり、画像表示部や外部の表示部に画像を表示したりするために、様々な処理が施される。様々な処理の一例としては、解像度変換処理や、明るさの調整(ガンマ補正)や、ノイズ除去処理や、2D/3D変換処理や、対象物を抽出するために対象物の背景を除去するための背景除去処理などが挙げられる。

0005

しかしながら、様々なシーンにおいて、頭部装着型表示装置が撮像画像データを同じ条件下でデータ処理した場合、不必要にデータ処理量が高くなる場合がある。不必要にデータ処理量が高くなると、撮像画像データの処理時間が長くなったり、撮像画像データの処理のための消費電力が高くなったりする不具合が生じ得る。よって、様々なシーンに応じて、データ処理量を適切に調整できる技術が望まれている。

課題を解決するための手段

0006

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。

0007

(1)本発明の一形態によれば、頭部装着型表示装置が提供される。この頭部装着型表示装置は、虚像を使用者に視認させる画像表示部と、前記画像表示部の動作を制御する画像表示制御部と、外景を撮像する外景撮像用カメラと、前記外景撮像用カメラが撮像した撮像画像データを画像処理して処理画像データを生成する撮像処理部であって、前記撮像画像データを処理するための第1処理モードと、前記第1処理モードよりも単位時間当たりのデータ処理量の多い第2処理モードであって、前記撮像画像データを処理するための第2処理モードとのいずれかに設定可能な撮像処理部と、を備え、前記撮像処理部は、前記処理画像データが表す画像内に予め定めた対象物が存在するか否かを判別する対象物判別部を有し、前記撮像処理部は、前記対象物判別部によって前記対象物が存在すると判別された場合に、処理モードを前記第1処理モードから前記第2処理モードに切り換える。この形態によれば、対象物が存在すると判別された場合に第1処理モードから第2処理モードに切り換えることから、対象物が存在する場合と存在しない場合とでデータ処理量を適切に調整できる。

0008

(2)上記形態の頭部装着型表示装置であって、さらに、前記外景撮像用カメラの撮像領域のうちで一定の対象物検出領域において、前記対象物の候補となる物体の存在を検出するための物体検出部を備え、前記撮像処理部は、前記物体検出部によって前記物体が存在することが検出された場合に、前記第1処理モードを実行してもよい。この形態によれば、物体検出部によって物体が存在することが検出された場合に第1処理モードが実行されることで、外景撮像用カメラによる外景の撮像を不必要に行う可能性を低減できる。これにより、撮像処理部によるデータ処理の負荷を軽減できる。

0009

(3)上記形態の頭部装着型表示装置であって、前記一定の対象物検出領域は、前記使用者が前記物体を視認できる範囲内であり、かつ、奥行き方向において前記使用者が水平に手を延ばしたときに前記使用者の手が届く範囲内であってもよい。この形態によれば、対象物検出領域が、物体を視認できる範囲内であり、かつ、手が届く範囲内であることで、使用者が対象物を容易に確認できる。

0010

(4)上記形態の頭部装着型表示装置であって、前記物体を視認できる範囲は、水平方向において、前記使用者の視線方向に対して一方の側が60度以下の範囲であり、他方の側が60度以下の範囲であり、垂直方向において、前記視線方向よりも上側が30度以下の範囲であり、前記視線方向よりも下側が40度以下の範囲であってもよい。この形態によれば、使用者が対象物をより容易に確認できる。

0011

(5)上記形態の頭部装着型表示装置であって、さらに、前記使用者の頭部の動きを検出し、経時的に検出した前記頭部の動きに基づいて前記使用者の頭部の動き量を算出する頭部動き検出部と、前記使用者の視線方向を検出し、経時的に検出した前記視線方向に基づいて前記使用者の視線方向の変化量を算出する視線方向検出部と、を備え、前記撮像処理部は、処理モードが前記第1処理モードであるときに、前記動き量が第1閾値を超え、かつ、前記変化量が第2閾値を超えている場合は、前記対象物判別部の判別結果に拘わらず前記処理モードを前記第1処理モードに維持してもよい。この形態によれば、動き量が第1閾値を超え、かつ、変化量が第2閾値を超えている場合に、第1処理モードを維持できる。

0012

(6)上記形態の頭部装着型表示装置であって、前記撮像処理部は、前記第1処理モードと前記第2処理モードとの少なくともいずれ一方のモードにおいて、第1のフレームを構成する前記処理画像データ内の前記対象物が位置する画素領域を含む一定画素領域を設定し、前記第1のフレームの次に撮像された第2のフレームを構成する前記撮像画像データに対して前記一定画素領域に対応する範囲のデータを抽出し、抽出したデータに対して画像処理を行ってもよい。この形態によれば、対象物を含まない領域のデータに対しては画像処理を行う必要がないので、撮像処理部によるデータ処理の負荷をさらに軽減できる。

0013

(7)上記形態の頭部装着型表示装置であって、前記撮像処理部は、さらに、前記第2処理モードにおいて、経時的に撮像された複数フレームの前記撮像画像データに基づいて前記対象物の動きを検出する対象物動き検出部を備え、前記画像表示制御部は、前記対象物動き検出部によって検出された前記対象物の動きに基づいて前記虚像の表示内容を変化させてもよい。この形態によれば、対象物の動きを検出する際には、単位時間当たりのデータ処理量の多い第2処理モードを実行しているので、対象物の動きを精度良く検出できると共に、対象物の動きに基づいた虚像の表示内容を精度良く変化させることができる。

0014

(8)上記形態の頭部装着型表示装置であって、前記対象物は、使用者の手であってもよい。この形態によれば、使用者の手の動きに基づいて虚像の表示内容を変化できる。

0015

(9)上記形態の頭部装着型表示装置であって、前記第1処理モードは、前記外景撮像用カメラによって第1フレームレートで前記外景を撮像させる第1撮像モードを含み、前記第2処理モードは、前記外景撮像用カメラによって前記第1フレームレートよりも高い第2フレームレートで前記外景を撮像させる第2撮像モードを含んでもよい。この形態によれば、外景撮像用カメラのフレームレートを変更することで、第1処理モードと第2処理モードとのいずれかの処理モードを設定できる。

0016

(10)上記形態の頭部装着型表示装置であって、前記第1処理モードは、前記外景撮像用カメラによって第1解像度で前記外景を撮像させる第1解像度モードを含み、前記第2処理モードは、前記外景撮像用カメラによって前記第1解像度よりも高い第2解像度で前記外景を撮像させる第2解像度モードを含んでもよい。この形態によれば、外景撮像用カメラの解像度を変更することで、第1処理モードと第2処理モードとのいずれかの処理モードを設定できる。

0017

(11)上記形態の頭部装着型表示装置であって、前記第1処理モードは、前記外景撮像用カメラが撮像した前記撮像画像データを構成する複数のフレームの一部の前記フレームを間引いて、間引いた後の前記撮像画像データを画像処理するモードを含み前記第2処理モードは、前記第1処理モードよりも多い前記フレームから構成される前記撮像画像データを画像処理するモードを含んでもよい。この形態によれば、画像処理する撮像画像データのフレーム数を変更することで、第1処理モードと第2処理モードとのいずれかの処理モードを設定できる。

0018

(12)本発明の他の一形態によれば、頭部装着型表示装置が提供される。この頭部装着型表示装置は、虚像を使用者に視認させる画像表示部と、前記画像表示部の動作を制御する画像表示制御部と、外景を撮像して撮像画像データを生成する外景撮像用カメラと、前記外景撮像用カメラの動作を制御する撮像処理部と、前記外景撮像用カメラの撮像領域のうちで一定の対象物検出領域に、物体の存在を検出するための物体検出部と、を備え、前記撮像処理部は、前記物体検出部によって前記物体が存在することが検出された場合に、前記外景撮像用カメラによって前記外景の撮像を開始させてもよい。この形態によれば、物体が存在することが検出された場合に外景撮像用カメラによって外景の撮像を開始させることで、対象物検出領域に物体が存在する場合と存在しない場合とでデータ処理量を適切に調整できる。

0019

(13)上記形態の頭部装着型表示装置であって、前記一定の対象物検出領域は、前記使用者が前記物体を視認できる範囲内であり、かつ、奥行き方向において前記使用者が水平に手を延ばしたときに前記使用者の手が届く範囲内であってもよい。この形態によれば、対象物検出領域が、物体を視認できる範囲内であり、かつ、手が届く範囲内であることで、使用者が対象物を容易に確認できる。

0020

(14)上記形態の頭部装着型表示装置であって、前記物体を視認できる範囲は、水平方向において、前記使用者の視線方向に対して一方の側が60度以下の範囲であり、他方の側が60度以下の範囲であり、垂直方向において、前記視線方向よりも上側が30度以下の範囲であり、前記視線方向よりも下側が40度以下の範囲であってもよい。この形態によれば、使用者が対象物をより容易に確認できる。

0021

(15)上記形態の頭部装着型表示装置であって、前記撮像処理部は、前記外景の撮像を実行している際に、経時的に撮像された複数フレームの撮像画像データに基づいて前記対象物の動きを検出する対象物動き検出部を備え、前記画像表示制御部は、前記対象物動き検出部によって検出された前記対象物の動きに基づいて前記虚像の表示内容を変化させてもよい。この形態によれば、対象物の動きに基づいた虚像の表示内容を精度良く変化させることができる。

0022

上述した本発明の各形態の有する複数の構成要素は全てが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな構成要素との差し替え、限定内容の一部削除を行うことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。

0023

なお、本発明は、種々の態様で実現することが可能であり、例えば、頭部装着型表示装置、頭部装着型表示装置の制御方法、頭部装着型表示装置を含む画像表示システム、これらの装置、方法、システムの機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを配布するためのサーバー装置、そのコンピュータープログラムを記憶した記憶媒体等の形態で実現することができる。

図面の簡単な説明

0024

第1実施形態における頭部装着型表示装置の概略構成を示す説明図である。
使用者から見た画像表示部の要部構成を示す図である。
HMDの構成を機能的に示すブロック図である。
CPUの構成を機能的に示すブロック図である。
対象物検出領域を説明するための第1の図である。
対象物検出領域を説明するための第2の図である。
記憶部について説明するための図である。
コンテンツ対応テーブルを説明するための図である。
使用者に視認される視野の一例を示す第1の図である。
使用者に視認される視野の一例を示す第2の図である。
CPUが実行する処理フローである。
CPUが実行する処理フローの他の例である。
HMDを備える表示システムの概略構成を示す説明図である。
表示システムが用いられる一つのシーンを説明するための図である。
使用者に視認される視野の一例を示す第1の図である。
使用者に視認される視野の一例を示す第2の図である。
他の処理フローが実行される一つのシーンを示す図である。
CPUが実行する他の処理フローである。
出処理を説明するための図である。
第3変形例におけるHMDの外観の構成を示す説明図である。
第4変形例におけるHMDの外観の構成を示す説明図である。
第6変形例におけるHMDの構成を機能的に示すブロック図である。

実施例

0025

A.第1実施形態:
図1は、本発明の第1実施形態における頭部装着型表示装置(HMD)100の概略構成を示す説明図である。図2は、使用者Psから見た画像表示部20の要部構成を示す図である。図3は、HMD100の構成を機能的に示すブロック図である。図4は、CPU140の構成を機能的に示すブロック図である。

0026

HMD100(図1)は、使用者Psの頭部に装着された状態において使用者Psに虚像を視認させる画像表示部20と、画像表示部20を制御する制御部(コントローラー)10とを備えている。

0027

画像表示部20は、使用者Psの頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部20は、右保持部21と、右表示駆動部22と、左保持部23と、左表示駆動部24と、右光学像表示部26と、左光学像表示部28と、を含んでいる。右光学像表示部26および左光学像表示部28は、それぞれ、使用者Psが画像表示部20を装着した際に使用者Psの右および左の眼前に位置するように配置されている。右光学像表示部26の一端と左光学像表示部28の一端とは、使用者Psが画像表示部20を装着した際の使用者Psの眉間に対応する位置で、互いに接続されている。

0028

右保持部21は、右光学像表示部26の他端である端部ERから、使用者Psが画像表示部20を装着した際の使用者Psの側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部23は、左光学像表示部28の他端である端部ELから、使用者Psが画像表示部20を装着した際の使用者Psの側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部21および左保持部23は、眼鏡テンプル(つる)のようにして、使用者Psの頭部に画像表示部20を保持する。

0029

右表示駆動部22は、右保持部21の内側、換言すれば、使用者Psが画像表示部20を装着した際の使用者Psの頭部に対向する側に配置されている。また、左表示駆動部24は、左保持部23の内側に配置されている。なお、以降では、右保持部21および左保持部23を区別せず「保持部」として説明する。同様に、右表示駆動部22および左表示駆動部24を区別せず「表示駆動部」として説明し、右光学像表示部26および左光学像表示部28を区別せず「光学像表示部」として説明する。

0030

表示駆動部は、液晶ディスプレイ(Liquid Crystal Display、以下「LCD」と呼ぶ)241、242や投写光学系251、252等を含む(図3参照)。表示駆動部の構成の詳細は後述する。光学部材としての光学像表示部は、導光板261、262(図3参照)と調光板とを含んでいる。導光板261、262は、光透過性樹脂材料等によって形成され、表示駆動部から出力された画像光を使用者Psの眼に導く。調光板は、薄板状の光学素子であり、画像表示部20の表側(使用者Psの眼の側とは反対の側)を覆うように配置されている。調光板は、導光板261、262を保護し、導光板261、262の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者Psの眼に入る外光量を調整して虚像の視認のしやすさを調整することができる。なお、調光板は省略可能である。

0031

画像表示部20(図1)は、さらに、画像表示部20を制御部10に接続するための接続部40を有している。接続部40は、制御部10に接続される本体コード48と、本体コード48が2本に分岐した右コード42および左コード44と、分岐点に設けられた連結部材46と、を含んでいる。右コード42は、右表示駆動部22に接続され、左コード44は、左表示駆動部24に接続されている。連結部材46には、イヤホンプラグ30を接続するためのジャックが設けられている。イヤホンプラグ30からは、右イヤホン32および左イヤホン34が延伸している。

0032

画像表示部20と制御部10とは、接続部40を介して各種信号伝送を行う。本体コード48における連結部材46と反対側の端部と、制御部10とのそれぞれには、互いに嵌合するコネクター(図示省略)が設けられており、本体コード48のコネクターと制御部10のコネクターとの嵌合/嵌合解除により、制御部10と画像表示部20とが接続されたり切り離されたりする。右コード42と、左コード44と、本体コード48には、例えば、金属ケーブル光ファイバーを採用することができる。

0033

制御部10は、HMD100を制御するための装置である。制御部10は、点灯部12と、タッチパッド14と、十字キー16と、電源スイッチ18とを含んでいる。点灯部12は、HMD100の動作状態(例えば、電源のON/OFF等)を、その発光態様によって通知する。点灯部12としては、例えば、LED(Light Emitting Diode)を用いることができる。タッチパッド14は、タッチパッド14の操作面上での接触操作を検出して、検出内容に応じた信号を出力する。タッチパッド14としては、静電式圧力検出式、光学式といった種々のタッチパッドを採用することができる。十字キー16は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ18は、スイッチのスライド操作を検出することで、HMD100の電源の状態を切り替える。

0034

制御部10(図3)は、入力情報取得部110と、記憶部120と、電源130と、無線通信部132と、GPSモジュール134と、CPU140と、インターフェイス180と、送信部(Tx)51,52とを備え、各部は図示しないバスにより相互に接続されている。

0035

入力情報取得部110は、例えば、タッチパッド14や十字キー16、電源スイッチ18などに対する操作入力に応じた信号を取得する。記憶部120は、ROM、RAM、DRAMハードディスク等によって構成されている。

0036

電源130は、HMD100の各部に電力を供給する。電源130としては、例えば、リチウムポリマーバッテリーリチウムイオンバッテリーなどの二次電池を用いることができる。さらに、二次電池に替えて、一次電池燃料電池でもよいし、無線給電を受けて動作するようにしてもよい。さらには、太陽電池キャパシターから給電を受けるようにしてもよい。無線通信部132は、無線LANやBluetooth(登録商標)、iBeacon(登録商標)といった所定の無線通信規格に則って、他の機器との間で無線通信を行う。GPSモジュール134は、GPS衛星からの信号を受信することにより、自身の現在位置を検出する。

0037

インターフェイス180は、制御部10に対して、コンテンツ供給元となる種々の外部機器OAを接続するためのインターフェイスである。外部機器ОAとしては、例えば、パーソナルコンピューターPCや携帯電話端末ゲーム端末等がある。インターフェイス180としては、例えば、USBインターフェイスや、マイクロUSBインターフェイス、メモリーカード用インターフェイス等を用いることができる。

0038

画像表示部20は、右表示駆動部22と、左表示駆動部24と、右光学像表示部26としての右導光板26と、左光学像表示部28としての左導光板28と、外景撮像用カメラ61と、9軸センサー66と、を備える。また、画像表示部20は、第1内側カメラ62と、第2内側カメラ64と、距離検出センサー68と、を備えている。

0039

外景撮像用カメラ61(図1)は、使用者Psが画像表示部20を装着した際の使用者Psの眉間に対応する位置に配置されている。そのため、外景撮像用カメラ61は、使用者Psが画像表示部20を頭部に装着した状態において、使用者Psが向いている方向の外部の景色である外景を撮像する。外景撮像用カメラ61は、単眼カメラである。外景撮像用カメラ61は、CCDやCMOS等の撮像素子、および、撮像レンズ等を備えるデジタルカメラである。なお、本実施形態では、外景撮像用カメラ61は、望遠機能を有し、望遠での撮影を行うことが可能となっている。望遠機能としては、光学ズームデジタルズームのいずれによるものであってもよい。さらに、外景撮像用カメラ61は、USB接続等の外付けのカメラであってもよい。

0040

第1内側カメラ62(図2)および第2内側カメラ64(図2)は、外景撮像用カメラ61と同様に、CCDやCMOS等の撮像素子、および、撮像レンズ等を備えるデジタルカメラである。第1内側カメラ62および第2内側カメラ64は、HMD100の内側方向、換言すれば、画像表示部20の装着状態における使用者Psと対向する方向を撮像する。第1内側カメラ62は使用者Psの右眼REを撮像するために用いられ、第2内側カメラ64は使用者Psの左眼LEを撮像するために用いられる。第1内側カメラ62の画角の広さは、使用者Psの右眼RE全体を撮像可能な範囲に設定されることが好ましい。また、第2内側カメラ64の画角の広さは、使用者Psの左眼LE全体を撮像可能な範囲に設定されることが好ましい。第1内側カメラ62および第2内側カメラ64は、外景撮像用カメラ61と同様に、制御部10(図3)の制御に従って撮像を実行し、得られた撮像画像データを制御部10へ出力する。

0041

図2に示す状態では、右導光板26および左導光板28の裏側が視認できると共に、右眼REに画像光を照射するためのハーフミラー261、および、左眼LEに画像光を照射するためのハーフミラー281が略四角形の領域として視認できる。使用者Psは、これらハーフミラー261、281を含む左右の導光板26、28の全体を透過して外景を視認すると共に、ハーフミラー261、281の位置に矩形表示画像を視認する。

0042

距離検出センサー68(図1)は、前部フレーム27の中央付近に2つ設けられている。距離検出センサー68は、予め設定された測定領域に位置する測定対象物までの距離を検出するために用いられる。測定領域は、HMD100の表側領域(外景撮像用カメラ61の撮像領域と重複する領域)とすることができる。距離検出センサー68は、例えば、レーザー距離センサーであり、赤外領域の光(赤外線)を発光する発光部と、光源が発する光が測定対象物に反射する反射光受光する受光部と、により構成できる。この場合、三角距処理や、時間差に基づく測距処理により距離を求める。また、距離検出センサー68は、例えば、超音波センサーであり、超音波を発する発信部と、測定対象物で反射する超音波を受信する受信部と、により構成してもよい。この場合、時間差に基づく測距処理により距離を求める。距離検出センサー68は、検出結果を制御部10へ出力する。

0043

9軸センサー66(図3)は、加速度(3軸)、角速度(3軸)、地磁気(3軸)を検出するモーションセンサーであり、本実施形態では使用者Psの右側のこめかみに対応する位置に配置されている。9軸センサー66は、画像表示部20に設けられているため、画像表示部20が使用者Psの頭部に装着されているときには、CPU140によって使用者Psの頭部の動きを検出するために用いられる。検出された使用者Psの頭部の動きから画像表示部20の向きが特定される。

0044

右表示駆動部22(図3)は、受信部(Rx)53と、光源として機能する右バックライトBL)制御部201および右バックライト(BL)221と、表示素子として機能する右LCD制御部211および右LCD241と、右投写光学系251とを含んでいる。なお、右バックライト制御部201と、右LCD制御部211と、右バックライト221と、右LCD241とを総称して「画像光生成部」とも呼ぶ。

0045

受信部53は、制御部10と画像表示部20との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部201は、入力された制御信号に基づいて、右バックライト221を駆動する。右バックライト221は、例えば、LEDやエレクトロルミネセンス(EL)等の発光体である。右LCD制御部211は、受信部53を介して入力されたクロック信号と、垂直同期信号と、水平同期信号と、右眼用画像データとに基づいて、右LCD241を駆動する。右LCD241は、複数の画素をマトリクス状に配置した透過型液晶パネルである。右LCD241は、マトリクス状に配置された各画素位置液晶を駆動することによって、右LCD241を透過する光の透過率を変化させることにより、右バックライト221から照射される照明光を、画像を表す有効な画像光へと変調する。

0046

右投写光学系251は、右LCD241から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部26としての右導光板26は、右投写光学系251から出力された画像光を、所定の光路に沿って反射させつつ使用者Psの右眼REに導く。光学像表示部は、画像光を用いて使用者Psの眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いてもよいし、半透過反射膜を用いてもよい。なお、HMD100が画像光を出射することを、本明細書では「画像(または虚像)を表示する」とも呼ぶ。

0047

左表示駆動部24は、右表示駆動部22と同様の構成を有している。すなわち、左表示駆動部24は、受信部(Rx)54と、光源として機能する左バックライト(BL)制御部202および左バックライト(BL)222と、表示素子として機能する左LCD制御部212および左LCD242と、左投写光学系252とを含んでいる。右LCD241と同様に、左LCD242は、マトリクス状に配置された各画素位置の液晶を駆動することによって、左LCD242を透過する光の透過率を変化させることにより、左バックライト222から照射される照明光を、画像を表す有効な画像光へと変調する。なお、本実施形態ではバックライト方式を採用することとしたが、フロントライト方式や、反射方式を用いて画像光を射出してもよい。

0048

CPU140(図4)は、記憶部120に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム(OS)150、画像処理部160、画像表示制御部162、撮像処理部164、音声処理部170、物体検出部172、頭部動き検出部173、視線方向検出部176、として機能する。

0049

画像処理部160は、インターフェイス180や無線通信部132を介して入力されるコンテンツ(映像)に基づいて信号を生成する。そして、画像処理部160は、生成した信号を、接続部40を介して画像表示部20に供給することで、画像表示部20を制御する。画像表示部20に供給するための信号は、アナログ形式ディジタル形式の場合で異なる。アナログ形式の場合、画像処理部160は、クロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、画像データDataとを生成し、送信する。具体的には、画像処理部160は、コンテンツに含まれる画像信号を取得する。取得した画像信号は、例えば動画像の場合、一般的に1秒あたり30枚のフレーム画像から構成されているアナログ信号である。画像処理部160は、取得した画像信号から垂直同期信号VSyncや水平同期信号HSync等の同期信号を分離し、それらの周期に応じて、PLL回路等によりクロック信号PCLKを生成する。画像処理部160は、同期信号が分離されたアナログ画像信号を、A/D変換回路等を用いてディジタル画像信号に変換する。画像処理部160は、変換後のディジタル画像信号を、RGBデータの画像データDataとして、1フレームごとに記憶部120内のDRAMに格納する。

0050

一方、ディジタル形式の場合、画像処理部160は、クロック信号PCLKと、画像データDataとを生成し、送信する。具体的には、コンテンツがディジタル形式の場合、クロック信号PCLKが画像信号に同期して出力されるため、垂直同期信号VSyncおよび水平同期信号HSyncの生成と、アナログ画像信号のA/D変換とが不要となる。なお、画像処理部160は、記憶部120に格納された画像データDataに対して、解像度変換処理や、輝度彩度の調整といった種々の色調補正処理や、キーストーン補正処理等の画像処理を実行してもよい。

0051

画像処理部160は、生成されたクロック信号PCLK、垂直同期信号VSync、水平同期信号HSyncと、記憶部120内のDRAMに格納された画像データDataとを、送信部51、52を介してそれぞれ送信する。なお、送信部51を介して送信される画像データDataを「右眼用画像データData1」とも呼び、送信部52を介して送信される画像データDataを「左眼用画像データData2」とも呼ぶ。送信部51、52は、制御部10と画像表示部20との間におけるシリアル伝送のためのトランシーバーとして機能する。

0052

画像表示制御部162は、画像表示部20の動作を制御する。画像表示制御部162は、右表示駆動部22および左表示駆動部24を制御する制御信号を生成する。具体的には、画像表示制御部162は、制御信号により、右LCD制御部211による右LCD241の駆動ON/OFFや、右バックライト制御部201による右バックライト221の駆動ON/OFF、左LCD制御部212による左LCD242の駆動ON/OFFや、左バックライト制御部202による左バックライト222の駆動ON/OFFなどを個別に制御することにより、右表示駆動部22および左表示駆動部24のそれぞれによる画像光の生成および射出を制御する。画像表示制御部162は、右LCD制御部211と左LCD制御部212とに対する制御信号を、送信部51および52を介してそれぞれ送信する。同様に、画像表示制御部162は、右バックライト制御部201と左バックライト制御部202とに対する制御信号を、それぞれ送信する。

0053

また、画像表示制御部162は、後述する撮像処理部164によって生成された処理画像データ中の予め定められた対象物の動きに基づいて虚像(画像)の表示内容を変化させる。対象物は、表示内容を変化させるトリガーとなる物体であればよく、例えば、使用者Psの手やペンなどが挙げられる。画像表示制御部162によって実行される表示内容の変化についての具体例は後述する。

0054

撮像処理部164は、外景撮像用カメラ61が撮像した撮像画像データを画像処理して、処理画像データを生成する。具体的には、撮像処理部164は、撮像画像データを虚像として表示するための表示画像処理や、撮像画像データから対象物を抽出するための対象物抽出処理が挙げられる。表示画像処理としては、例えば、ガンマ補正、輝度補正コントラスト補正ノイズ除去輪郭強調等が挙げられる。また、対象物抽出処理としては、対象物の背景を除去する処理や対象物の輪郭を抽出する処理が挙げられる。

0055

撮像処理部164は、撮像画像データを処理するための第1処理モードM1と、撮像画像データを処理するための第2処理モードM2であって、第1処理モードM1とは処理するデータ容量が異なる第2処理モードM2とのいずれかに設定可能である。第2処理モードM2は、第1処理モードM1よりも単位時間当たりのデータ処理量が多い。本実施形態では、第1処理モードM1は、外景撮像用カメラ61によって第1フレームレートで外景を撮像させるモード(第1撮像モード)である。また本実施形態では、第2処理モードM2は、外景撮像用カメラ61によって第1フレームレートよりも高い第2フレームレートで外景を撮像させるモード(第2撮像モード)である。第1フレームレートは、処理画像データ中に存在する物体を表すデータが、予め定めた対象物を表す対象物データであることを後述する対象物判別部166が判別できる程度のフレームレートであればよい。第1フレームレートは、例えば、1fps以上10fps以下の範囲においていずれかの値に設定される。第2フレームレートは、経時的に並んだ複数のフレームごとの処理画像データに基づいて、対象物の動きを追跡できる程度のフレームレートであればよい。第2フレームレートは、例えば、30fps以上の値に設定される。なお、第2フレームレートは、CPU140の負荷が過大になる可能性を低減するために、120fps以下であってもよい。

0056

撮像処理部164は、対象物判別部166を有する。対象物判別部166は、処理画像データが表す画像内に予め定めた対象物が存在するか否かを判別する。対象物判別部166は、対象物抽出処理が行われた処理画像データと、後述する対象物データ129とをパターンマッチングや統計的識別法による比較を行うことで、処理画像データが表す画像内に対象物が存在するか否かを判別する。つまり、処理画像データが表す画像内に対象物が存在する場合には、外景撮像用カメラ61が撮像した撮像領域内に対象物が存在すると判別し、処理画像データ中に対象物が存在しない場合には、外景撮像用カメラ61が撮像した撮像領域内に対象物が存在しないと判別する。撮像処理部164が、第1処理モードM1を実行中において、対象物判別部166によって対象物が撮像領域内に存在すると判別された場合、撮像処理部164は処理モードを第1処理モードM1から第2処理モードM2に切り換えて実行する。

0057

撮像処理部164は、対象物動き検出部178を有する。対象物動き検出部178は、外景撮像用カメラ61によって経時的に撮像された複数フレームの撮像画像データに基づいて対象物の動きを検出する。具体的には、複数フレームの撮像画像データから対象物を抽出した処理画像データを生成し、処理画像データ内における対象物の位置の変化によって対象物の動きを検出する。

0058

音声処理部170は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材46に接続された右イヤホン32内の図示しないスピーカーおよび左イヤホン34内の図示しないスピーカーに対して供給する。なお、例えば、Dolby(登録商標)システムを採用した場合、音声信号に対する処理がなされ、右イヤホン32および左イヤホン34からは、それぞれ、例えば周波数等が変えられた異なる音が出力される。

0059

物体検出部172は、距離検出センサー68から検出データ距離情報)を取得し、検出結果に基づいて、外景撮像用カメラ61の撮像領域のうちで一定の対象物検出領域において対象物の候補となる物体の存在を検出する。具体的には、物体の距離情報が、対象物検出領域内に位置する場合には、対象物検出領域に物体が位置することを検出する。対象物検出領域は、撮像領域と同じ領域であってもよいし、撮像領域の内側であって撮像領域よりも狭い領域であってもよい。対象物検出領域は、使用者Psが右導光板26および左導光板28を透過して視認する実際の視野のうち色が弁別できる範囲に設定することが好ましい。この対象物検出領域の詳細は後述する。

0060

頭部動き検出部173は、使用者Psの頭部の動きを検出する。具体的には、9軸センサー66から取得した検出データに基づいて使用者Psの頭部の動きを検出する。また、頭部動き検出部173は、経時的に検出した使用者Psの頭部の動きに基づいて、使用者Psの頭部の動き量(例えば、一定時間に移動した動部の移動量)を算出する。動き量は、例えば、一定時間に変化した回転角の合計であってもよいし、一定時間に変化した水平方向および垂直方向の移動量であってもよいし、回転角の合計と移動量とを組み合わせて用いてもよい。

0061

視線方向検出部176は、使用者Psの視線方向を検出する。具体的には、第1内側カメラ62によって撮像された使用者Psの右眼REの画像と、第2内側カメラ64によって撮像された使用者Psの左眼LEの画像から、両眼RE,LEの黒目の向きを検出する。そして、視線方向検出部176は、検出した黒目の向きから使用者Psの視線方向を推定する。視線方向は、右眼と左眼との中間点から使用者Psが注視している注視点に向かう方向であるともいえる。また、視線方向検出部176は、経時的に推定した視線方向に基づいて使用者Psの視線方向の変化量(例えば、一定時間に変化した視線方向の変化量)を算出する。変化量は、例えば、一定時間における視線方向の角度変化量の合計であってもよい。

0062

図5は、対象物検出領域を説明するための第1の図である。図6は、対象物検出領域を説明するための第2の図である。図5および図6を用いて対象物検出領域の好ましい範囲について説明する。対象物検出領域は、使用者Psが物体を視認できる範囲Rx,Rzに設定することが好ましい。物体を視認できる範囲Rx,Rzとしては、以下の範囲(a)〜(d)のいずれかに設定してもよい。
(a)色が弁別できる範囲:
色、輝度が変化する場合の色を弁別できる範囲Rxa,Rza。
(b)誘導視野の範囲:
視覚情報による座標系誘導効果が生じ、臨場感を引き起こす範囲Rxb,Rzb。
(c)安定注視野の範囲:
眼球頭部運動で無理なく物体を注視でき、効果的な情報受容ができる範囲Rxc、Rzc。
(d)有効視野の範囲:
眼球運動だけで瞬時に情報受容できる範囲Rxd,Rzd。

0063

色が弁別できる範囲のうち水平方向の範囲Rxaは、正面を向いた視線方向ED(まっすぐな視線方向ED)に対して一方の側が60度以下の範囲であり、正面を向いた視線方向ED(まっすぐな視線方向ED)に対して他方の側が60度以下の範囲である。つまり、対象物検出領域は、水平方向の角度が120度以下の範囲であってもよい。また、図6に示すように、色が弁別できる範囲のうち垂直方向の範囲Rzaは、視線方向EDよりも上側が30度以下の範囲であり、かつ、視線方向EDよりも下側が40度以下の範囲である。

0064

誘導視野の範囲のうち水平方向の範囲Rxbは、正面を向いた視線方向ED(まっすぐな視線方向ED)に対して一方の側が50度以下の範囲であり、正面を向いた視線方向ED(まっすぐな視線方向ED)に対して他方の側が50度以下の範囲である。つまり、対象物検出領域は、水平方向の角度が100度以下の範囲であってもよい。また、図6に示すように、誘導視野の範囲のうち垂直方向の範囲Rzbは、視線方向EDよりも上側が35度以下の範囲であり、かつ、視線方向EDよりも下側が50度以下の範囲である。

0065

安定注視野の範囲のうち水平方向の範囲Rxcは、正面を向いた視線方向ED(まっすぐな視線方向ED)に対して一方の側が45度以下の範囲であり、正面を向いた視線方向ED(まっすぐな視線方向ED)に対して他方の側が45度以下の範囲である。つまり、対象物検出領域は、水平方向の角度が90度以下の範囲であってもよい。また、図6に示すように、安定注視野の範囲のうち垂直方向の範囲Rzcは、視線方向EDよりも上側が30度以下の範囲であり、かつ、視線方向EDよりも下側が40度以下の範囲である。

0066

有効視野の範囲のうち水平方向の範囲Rxdは、正面を向いた視線方向ED(まっすぐな視線方向ED)に対して一方の側が15度以下の範囲であり、正面を向いた視線方向ED(まっすぐな視線方向ED)に対して他方の側が15度以下の範囲である。つまり、対象物検出領域は、水平方向の角度が30度以下の範囲であってもよい。また、図6に示すように、有効視野の範囲のうち垂直方向の範囲Rzdは、視線方向EDよりも上側が8度以下の範囲であり、かつ、視線方向EDよりも下側が12度以下の範囲である。

0067

また、対象物検出領域は、奥行き方向において、使用者Psが正面側に水平に手を延ばしたときに、右眼REと左眼LEとの中間点CEから使用者Psの手の先端までの範囲Ryに設定することが好ましい。範囲Ryは、例えば1メートル以内である。つまり、対象物検出領域は、使用者が物体を視認できる角度(角度Rx、Rz)の範囲内であり、かつ、奥行き方向において使用者Psが水平に手を延ばしたときに使用者Psの手が届く範囲内であることが好ましい。対象物検出領域が使用者が物体を視認できる範囲内であり、かつ、手が届く範囲内であることで、使用者Psが対象物を容易に確認できる。特に、対象物が使用者Psの手である場合、対象物検出領域の奥行き方向が手の届く範囲内であることで、手以外の他の物体が対象物検出領域に位置する状況を低減できるので、対象物の検出精度を向上できる。

0068

図7は、記憶部120について説明するための図である。記憶部120は、CPU140における処理に供する種々のデータが記憶されている。例えば、記憶部120には、コンテンツデータ122と、コンテンツ対応テーブル124と、閾値データ126と、対象物データ129とが記憶されている。

0069

コンテンツデータ122は、制御部10の制御によって画像表示部20が表示する画像や映像を含むコンテンツのデータ(画像データ、映像データ、音声データ等)が含まれている。なお、コンテンツデータ122には、双方向型のコンテンツのデータが含まれてもよい。双方向型のコンテンツとは、制御部10によって使用者Psの操作を取得して、取得した操作内容に応じた処理を制御部10が実行し、処理内容に応じたコンテンツを画像表示部20に表示するタイプのコンテンツを意味する。この場合、コンテンツのデータには、使用者Psの操作を取得するためのメニュー画面の画像データ、メニュー画面に含まれる項目に対応する処理を定めるデータ等を含みうる。

0070

コンテンツ対応テーブル124は、予め定められた対象物の動きと、予め定められた対象物の動きに応じて画像表示部20に表示するコンテンツとが対応付けられている。本実施形態では、予め定められた対象物の動きは使用者Psの手の動きであり、具体的にはジェスチャーの変化(手の形状の変化)である。なお、予め定められた対象物の動きは、上記に限定されるものではなく、画像表示部20の表示内容を変化させるトリガーとなる動きであればよい。例えば、予め定められた対象物の動きは、使用者Psの手の形状変化を伴わない移動(手を右から左に移動させること等)や、ペンの移動(ペンの速度や、ペンの移動方向)などであってもよい。コンテンツ対応テーブル124と、コンテンツ対応テーブル124を参照して実行される画像表示部20の表示内容の変化については後述する。

0071

閾値データ126は、撮像処理部164のモードを変更するか否かを決定するための第1閾値127および第2閾値128を有する。

0072

第1閾値127は、頭部動き検出部173によって検出された使用者Psの頭部の動き量の基準値である。第1閾値127は、使用者Psが意図して頭部を動かしているか否かを判定するための基準値であり、基準値を超えた場合に使用者Psが意図して頭部を動かしていることを推定できる値に設定することが好ましい。第1閾値127は、例えば、一定時間(例えば、0.5秒間)における回転角を指標とする場合には20度以上に設定されてもよい。また第1閾値127は、一定時間(例えば、0.5秒間)における頭部の移動量を指標とする場合は、10cm〜30cmのいずれかの値に設定されてもよい。

0073

第2閾値128は、視線方向検出部176によって検出された角度変化量の基準値である。第2閾値128は、使用者Psが意図して注目している注目物体から視線を移動させたか否かを判定するための基準値であり、基準値を超えた場合に使用者Psが意図して視線方向を変化させていることを推定できる値に設定することが好ましい。第2閾値128は、一定時間(例えば、0.5秒間)における視線方向の角度変化量であり、例えば、角度変化量は20度以上の値が設定されてもよい。

0074

対象物データ129は、対象物判別部166(図4)で判別するための対象物データである。対象物データ129は、例えば、人間の手を表すデータであったり、ペンを表すデータであってもよい。また、対象物データ129は、使用者Psなどのよって適宜変更可能であってもよい。

0075

図8は、コンテンツ対応テーブル124を説明するための図である。図9は、使用者Psに視認される視野VRの一例を示す第1の図である。図10は、使用者Psに視認される視野VRの一例を示す第2の図である。

0076

コンテンツ対応テーブル124(図8)は、予め定められた対象物の動きと、画像表示部20に表示するコンテンツとを規定する。つまり、コンテンツ対応テーブル124は、予め定められた対象物の動きと、対象物の動きに応じて変化させる画像表示部20の表示内容とを規定する。対象物の動きが第1の動きの場合に、ブラウザーが画像表示部20に表示される。第1の動きは、例えば、使用者Psのジェスチャーの変化であり、手をグーの状態からパーの状態に変化させる動きである。対象物の動きが第2の動きの場合に、電話のコンテンツ(例えば、登録者名および登録者名の電話番号を表す画像)が画像表示部20に表示される。第2の動きは、例えば、使用者Psのジェスチャーの変化であり、手をパーの状態からチョキの状態に変化させる動きである。対象物の動きが第3の動きの場合に、メールのコンテンツを画像表示部20に表示させる。第3の動きは、例えば、使用者Psのジェスチャーの変化であり、手をチョキの状態からパーの状態に変化させる動きである。対象物の動きが第4の動きの場合に、画像表示部20に表示されているコンテンツを非表示にする。

0077

図9に示すように、使用者PsがHMD100を起動してタッチパッド14などを操作することでHMD100が特定のモード(受付モード)になった場合、使用者Psは光学像表示部26,28を透過した外景SCと、画像表示部20に表示されたメニュー画像VIとを視認できる。メニュー画像VIは、各種の選択画像VIa〜VIdを含む。ブラウザー選択画像VIaは、選択されることでブラウザーの画面が画像表示部20に表示される。電話選択画像VIbは、選択されることで電話をするための画像が画像表示部20に表示される。また、メール選択画像VIcは、選択されることでメールのコンテンツ画像VIB(図10)を画像表示部20に表示させる。エンド選択画像VIdは、選択されることで画像表示部20に表示されているコンテンツ画像を非表示にする。つまり、エンド選択画像VIdは、選択されることで起動中のコンテンツが終了する。使用者Psは、タッチパッド14や十字キー16を用いて各種の選択画像VIa〜VIdを選択してもよいし、ジェスチャーの変化を撮像処理部164に検出させることで各種の選択画像VIa〜VIdに対応するコンテンツを実行してもよい。例えば、使用者Psは、外景撮像用カメラ61の撮像領域内の対象物検出領域に手を位置させて、コンテンツ対応テーブル124に規定された手の動きを行う。

0078

図11は、CPU140が実行する処理フローである。図11に示す処理フローは、HMD100が特定のモード(受付モード)になったことをトリガーに開始される。まず、物体検出部172は、対象物検出領域に物体が存在するか否かを検出する(ステップS12)。物体が存在しない場合(ステップS12:No)、繰り返しステップS12を実行する。物体が存在することを検出した場合(ステップS12:Yes)、撮像処理部164は、第1処理モードM1を実行する(ステップS14)。つまり、撮像処理部164は、外景撮像用カメラ61によって第1フレームレートで外景を撮像させる。撮像処理部164は、第1フレームレートで撮像された各フレームの撮像画像データを画像処理して処理画像データを生成する。次に、対象物判別部166は処理画像データが表す画像内に、記憶部120に記憶された予め定めた対象物データが表す対象物が存在するか否かを判別する(ステップS16)。対象物が存在しないと判別された場合(ステップS16:No)、さらに生成された処理画像データに対してステップS16を繰り返し実行する。

0079

対象物が存在すると判別された場合(ステップS16:Yes)、閾値判定を行う(ステップS18)。閾値判定は、頭部の動き量が第1閾値127を超え、かつ、視線方向の変化量が第2閾値128を超えているか否かを撮像処理部164が判定する。この判定に用いられる一定時間の終点は、例えば、ステップ16で対象物が存在すると判定された処理画像データの元となる撮像画像データが生成された時間(撮影時刻)であってもよい。なお、ステップS18は省略してもよい。

0080

頭部の動き量が第1閾値127を超えていることと、視線方向の変化量が第2閾値128を超えていることの少なくともいずれか一方を満たさない場合は(ステップS18:No)、撮像処理部164は、処理モードを第1処理モードM1から第2処理モードM2に切り換える(ステップS20)。これにより撮像処理部164は第2処理モードM2を実行する。つまり、撮像処理部164は、外景撮像用カメラ61によって第2フレームレートで外景を撮像させる。撮像処理部164は、第2フレームレートで撮像された各フレームの撮像画像データを画像処理して処理画像データを生成する。一方で、頭部の動き量が第1閾値127を超え、かつ、視線方向の変化量が第2閾値128を超えている場合は、ステップS14に戻る。つまり、処理モードが第1処理モードM1であるときに、動き量が第1閾値127を超え、かつ、変化量が第2閾値128を超えている場合は、物体が存在することを検出したか否かに拘わらず処理モードを第1処理モードM1に維持する。なお、ステップS18は省略してもよい。

0081

次に、対象物動き検出部178は、第2フレームレートで撮像された撮像画像データに基づいて、対象物の動きを検出する(ステップS22)。詳細には、撮像処理部164は、第2フレームレートで撮像された各フレームの撮像画像データを、対象物の動きを検出するために画像処理して処理画像データを生成する。そして、対象物動き検出部178は、生成された処理画像データをもとに対象物の動きを検出する。

0082

次に、撮像処理部164は、検出した対象物の動きに対応するコンテンツがあるかどうかを判定する(ステップS24)。具体的には、撮像処理部164は、記憶部120に記憶されたコンテンツ対応テーブル124(図8)を参照して、検出した対象物の動きに対応するコンテンツがあるかどうかを判定する。対応するコンテンツがある場合は、対象物の動きに応じたコンテンツ(例えば、メールのコンテンツ)を実行して、画像表示制御部162は、コンテンツの画面を画像表示部20に表示させる(ステップS25)。つまり、画像表示制御部162は、対象物動き検出部178によって検出された対象物の動きに基づいて虚像の表示内容を変化させる。

0083

上記第1実施形態によれば、撮像処理部164は、対象物が存在すると判別された場合に第1処理モードM1から第2処理モードM2に切り換えることから(図11のステップS14〜ステップS20)、対象物が存在する場合と存在しない場合とでデータ処理量を適切に調整できる。つまり、対象物の動きを検出する際には、データ処理量の多い第2処理モードM2を実行し、対象物の存在を判別する際には、データ処理量の少ない第1処理モードM1を実行することで、撮像処理部164によるデータ処理の負荷を軽減できるとともに、HMD100の消費電力を低減できる。また、第1実施形態によれば、外景撮像用カメラ61のフレームレートを変更することで、第1処理モードM1と第2処理モードM2とのいずれかの処理モードを設定できる。

0084

また上記第1実施形態によれば、物体検出部172によって物体が存在することが検出された場合に第1処理モードM1が実行される(図11のステップS12,S14)。これにより、外景撮像用カメラ61による外景の撮像を不必要に行う可能性を低減できる。これにより、撮像処理部164によるデータ処理の負荷をさらに軽減できる。

0085

また上記第1実施形態によれば、撮像処理部164は、動き量が第1閾値127を超え、かつ、変化量が第2閾値128を超えている場合に、対象物判別部166の判別結果に拘わらず第1処理モードを維持している(図11のステップS18:Yes)。動き量が第1閾値127を超え、かつ、変化量が第2閾値128を超えている場合、使用者Psは対象物の動きに着目していないことが想定される。よって、この場合においては、対象物の動きを解析するための処理モードである第2処理モードM2に設定する必要がない。これにより、撮像処理部164によるデータ処理の負荷をさらに軽減できる。

0086

また上記第1実施形態によれば、対象物動き検出部178は、第2処理モードM2において撮像された複数フレームの撮像画像データに基づいて対象物の動きを検出し、画像表示制御部162は、検出された対象物の動きに基づいて虚像の表示内容を変化させている(図11のステップS20〜ステップS25)。対象物の動きを検出する際には、単位時間当たりのデータ処理量の多い第2処理モードM2を実行しているので、対象物の動きを精度良く検出できると共に、対象物の動きに基づいた虚像の表示内容を精度良く変化させることができる。また上記第1実施形態によれば、対象物が使用者Psの手であることで、使用者Psの手の動きに基づいて虚像の表示内容を変化できる。これにより、使用者PsがHMD100をより直感的に操作できる。

0087

図12は、CPU140が実行する処理フローの他の例である。CPU140は、図11に示す処理フローに代えて図12に示す処理フローを実行してもよい。ここで、図11と同様の内容のステップについては、図11と同一の符号を付している。図12に示す処理フローと、図11に示す処理フローとの異なる主な点は、対象物検出領域に物体が存在することが検出された場合に、撮像処理部164は第2処理モードM2を実行する点と、ステップS18を省略した点である。

0088

まず、物体検出部172は対象物検出領域に物体が存在するか否かを検出する(ステップS12)。物体が存在しない場合は(ステップS12:No)、繰り返しステップS12を実行する。物体が存在することを検出した場合(ステップS12:Yes)、撮像処理部164は、第2処理モードを実行する(ステップS20a)。つまり、撮像処理部164は、外景撮像用カメラ61によって第2フレームレートで外景を撮像させる。撮像処理部164は、第2フレームレートで撮像された各フレームの撮像画像データを画像処理して処理画像データを生成する。上記のように、ステップS20aは、対象物検出領域に物体が存在する場合に、外景撮像用カメラ61を起動して撮像を開始させる処理である。よって、本処理フローを用いる場合、撮像処理部164は、第1処理モードM1(図4)を有していなくてもよい。

0089

次に、対象物判別部166は、処理画像データが表す画像内に、記憶部120に記憶された予め定めた対象物データが表す対象物が存在するか否かを判別する(ステップS21)。対象物が存在しないと判別された場合(ステップS21:No)、さらに生成された処理画像データに対してステップS21を繰り返し実行する。

0090

対象物が存在すると判別された場合(ステップS21:Yes)、第2フレームレートで撮像された各フレームの撮像画像データに基づいて、対象物の動きを検出する(ステップS22)。次に、撮像処理部164は、図11に示す処理フローと同様にステップS24以降の処理を実行する。

0091

この処理フローによれば、物体検出部172によって物体が存在することが検出された場合に、撮像処理部164は、外景撮像用カメラ61に対して外景の撮像を開始させている。こうすることで、対象物検出領域に物体が存在する場合と存在しない場合とでデータ処理量を適切に調整できる。つまり、対象物検出領域に対象物の候補となる物体が存在しない状況において、外景撮像用カメラ61による外景を撮像しないことで、撮像処理部164のデータ処理量が不必要に過大になる可能性を低減できる。

0092

B.第2実施形態:
図13は、HMD100を備える表示システム1の概略構成を示す説明図である。第2実施形態では、第1実施形態のHMD100と、サーバー60を経由してHMD100の通信を行うパーソナルコンピューター(PC)250とを備える表示システム1を例に、HMD100の使用例について説明する。具体的には、第2実施形態の表示システム100は、例えば、工場などでHMD100を装着した使用者Psに遠隔から作業内容などの指示を行う遠隔支援システムとして用いることができる。

0093

HMD100は、通信キャリアを介して無線通信でインターネットNTに接続されている。PC250は、通信キャリアBSを介して無線通信でインターネットINTに接続されている。サーバー60は、有線通信でインターネットINTに接続されている。この結果、サーバー60、HMD100、PC250は互いにインターネットINTを介してデータ通信できる。通信キャリアBSは、送受信アンテナや、無線基地局交換局を含む。

0094

図14は、表示システム1が用いられる一つのシーンを説明するための図である。図14に示すシーンは、HMD100の使用者Psが工場内で製品602を生産しているシーンである。製品602は、作業台601に配置されている。使用者Psは、製品602の組み立てや不良品検査などを行う。

0095

図15は、使用者Psに視認される視野VRの一例を示す第1の図である。図16は、使用者Psに視認される視野VRの一例を示す第2の図である。HMD100が起動して、タッチパッド14などを操作することでHMD100が特定のモード(受付モード)になった場合、使用者Psは光学像表示部26,28を透過した外景SCと、画像表示部20に表示されたメニュー画像VI1とを視認できる(図15)。

0096

メニュー画像VI1は、ヘルプ選択画像VI2と通話選択画像VI3とエンド選択画像VI4とを含む。ヘルプ選択画像VI2は、選択されることで製品602の組立手順内容や検査手順内容などの手順内容が画像VI5として表示される(図16)。通話選択画像VI3は、選択されることで予め定められた相手(本実施形態では、PC250を操作する遠隔作業支援者)との通話が可能となり、通話に関する画像(通話時間画像など)が画像表示部20に表示される。エンド選択画像VI4は、選択されることで起動中のコンテンツ(例えば、手順内容の画像VI4)が終了する。使用者Psは、タッチパッド14や十字キー16を用いて各種の選択画像VI2〜VI4を選択してもよいし、ジェスチャーの変化を撮像処理部164に検出させることで各種の選択画像VI2〜VI4に対応するコンテンツを実行してもよい。例えば、使用者Psは、外景撮像用カメラ61の撮像領域内の対象物検出領域に手を位置させて、コンテンツ対応テーブル124(図8)に規定された手の動きを行う。ここで、コンテンツ対応テーブル124は、第2実施形態のシーンに対応した内容に変更される。この変更は、シーンごとに対応した複数のコンテンツ対応テーブル124を記憶部120に記憶させておき、使用者Psがシーンに応じて対応するコンテンツ対応テーブル124を選択してもよい。第2実施形態の場合、第1の動きによってヘルプ選択画像VI2に対応するコンテンツを実行し(画像VI4を表示し)、第2の動きによって通話選択画像VI3に対応するコンテンツを実行し、第3の動きによってエンド選択画像VI4に対応するコンテンツを実行する。

0097

CPU140が実行する処理フローは、上記第1実施形態の図11に示す処理フローや、第1実施形態の変形態様である図12に示す処理フローと同様の処理フローを採用できる。ここで、外景撮像用カメラ61が起動した以降である、図11のステップS14以降や図12のステップS20a以降においては、外景撮像用カメラ61が撮像した撮像画像データを画像処理して、PC250に送信してもよい。こうすることで、PC250側にいる遠隔作業支援者は、PC250の表示部258を介して外景撮像用カメラ61によって撮像された画像を確認できる。また、使用者Psが対象物検出領域で予め定められた対象物の動きを行う場合、製品602について遠隔作業支援者からの指示を受けたいという要望が高いと推定される。図11図12に示す処理フローにおいて、対象物の動きを検出するステップ22ではフレームレートが高い第2フレームレートで外景撮像用カメラ61によって外景SCを撮像させる。よって、遠隔作業支援者は、第2フレームレートで撮像された動画像を表示部258で視認できるので、製品602やその周辺の状況をより詳細に把握できる。これにより、遠隔作業支援者は、使用者Psに対してより適切な指示を行うことができる。

0098

上記第2実施形態によれば、上記第1実施形態と同様の構成を有する限りにおいて第1実施形態と同様の効果を奏する。例えば、撮像処理部164は、対象物が存在すると判別された場合に第1処理モードM1から第2処理モードM2に切り換えることから(図11のステップS14〜ステップS20)、対象物が存在する場合と存在しない場合とでデータ処理量を適切に調整できる。つまり、対象物の動きを検出する際には、データ処理量の多い第2処理モードM2を実行し、対象物の存在を判別する際には、データ処理量の少ない第1処理モードM1を実行することで、撮像処理部164によるデータ処理の負荷を軽減できるとともに、HMD100の消費電力を低減できる。

0099

C.第2実施形態の変形態様:
上記第2実施形態では、上記第1実施形態の図11図12と同様の処理フローを採用可能であったが、他の処理フローを採用してもよい。図17は、他の処理フローが実行される一つのシーンを示す図である。図17に示すシーンは、不具合が発生した製品を使用者Psが修理するシーンであり、PC250側の遠隔作業支援者が表示部258に表示された外景撮像用カメラ61によって撮像された動画像を見て使用者Psに指示を出したりするシーンである。図17では、製品604と製品605のうち、製品605に不具合が発生しと仮定する。使用者Psや遠隔作業支援者は、記憶部120の対象物データ129に、製品605を判別するための情報(例えば、製品605の形状データ)を予め記憶させる。

0100

図18は、CPU140が実行する他の処理フローである。図18に示す処理フローは、例えば図17に示すシーンで実行される。以下に説明する他の処理フローのように、図11図12に示す処理フローでは、物体検出部172は対象物検出領域に物体が存在するか否かを検出するステップを有していたが(ステップS12)、省略してもよい。

0101

図18に示す処理フローは、HMD100が特定のモード(受付モード)になったことをトリガーに開始される。まず、撮像処理部164は外景撮像用カメラ61を起動させて、第1処理モードM1を実行する(ステップS40)。第1処理モードM1は、上記第1実施形態と同様の内容であり、外景撮像用カメラ61によって第1フレームレートで外景を撮像させるモードである。撮像処理部164は、第1フレームレートで撮像された各フレームの撮像画像データを画像処理して処理画像データを生成する。また、第1フレームレートで撮像された各フレームは、画像処理してPC250(図13)に送信される。

0102

次に、対象物判別部166は処理画像データが表す画像内に、記憶部120に記憶された予め定めた対象物データが表す対象物(製品605)が存在するか否かを判別する(ステップS42)。対象物が存在しないと判別された場合(ステップS42:No)、さらに生成された処理画像データに対してステップS42を繰り返し実行する。

0103

対象物が存在すると判別された場合(ステップS42:Yes)、撮像処理部164は、処理モードを第1処理モードM1から第2処理モードM2に切り換える(ステップS44)。これにより撮像処理部164は第2処理モードM2を実行する。つまり、撮像処理部164は、外景撮像用カメラ61によって第2フレームレートで外景を撮像させる。撮像処理部164は、第2フレームレートで撮像された各フレームの撮像画像データを画像処理して処理画像データを生成する。また、第2フレームレートで撮像された各フレームは、画像処理してPC250(図13)に送信される。なお、ステップS42とステップS44との間に図11に示すステップS18を実行してもよい。

0104

上記変更態様によれば、対象物が存在すると判別された場合に第1処理モードM1から第2処理モードM2に切り換えることから、対象物が存在する場合と存在しない場合とでデータ処理量を適切に調整できる。また、対象物が存在する場合は、第1フレームレートよりも高い第2フレームレートで撮像された撮像画像データを処理してPC250側に送信することから、PC250側の遠隔作業支援者は対象物をより精度良く観察できる。よって、遠隔作業支援者はより適切な指示を使用者Psに出すことができる。

0105

D.処理モードの変形態様:
上記各実施形態では、第1処理モードM1は外景撮像用カメラ61によって第1フレームレートで撮像させる第1撮像モードであり、第2処理モードM2は外景撮像用カメラ61によって第1フレームレートよりも高い第2フレームレートで外景を撮像させる第2撮像モードであった。しかしながら、第2処理モードM2の単位時間当たりのデータ処理量が、第1処理モードM1の単位時間当たりのデータ処理量よりも多ければ、各処理モードを実現するための内容は上記に限定されるものではない。以下に、第1処理モードM1と第2処理モードM2の変形態様について説明する。

0106

第1処理モードM1は、外景撮像用カメラ61によって第1解像度で外景を撮像させる第1解像度モードであってもよく、第2処理モードM2は、外景撮像用カメラ61によって第1解像度よりも高い第2解像度で外景を撮像させる第2解像度モードであってもよい。第1解像度は、処理画像データ中に存在する物体を表すデータが予め定めた対象物を表す対象物データであるかを対象物判別部166が判別できる程度の解像度であればよい。

0107

また、第1処理モードM1は、所定のフレームレート(例えば、上記第2フレームレート)で外景撮像用カメラ61が撮像した複数のフレームの撮像画像データの一部のフレームを間引いて、間引いた後の撮像画像データを画像処理するモード(間引きモード)であってもよい。また、第2処理モードM2は、第1処理モードM1よりも多いフレームから構成される撮像画像データを画像処理するモード(通常モード)であってもよい。単位時間当たりに画像処理するフレーム数は、第2処理モードM2の方が第1処理モードM1よりも多い。第2処理モードM2は、例えば、所定のフレームレート(例えば、上記第2フレームレート)で外景撮像用カメラ61が撮像した複数のフレームの撮像画像データの全てを画像処理する。また、第1処理モードM1は、第1撮像モードと第1解像度モードと間引きモードとの2つ以上を組み合わせて実行してもよい。また、第2処理モードM2は、第2撮像モードと第2解像度モードと通常モードとの2つ以上を組み合わせて実行してもよい。

0108

また、第1処理モードM1と第2処理モードM2との少なくともいずれか一方のモードにおいて、撮像処理部164は以下に説明する切出処理を行ってもよい。図19は、切出処理を説明するための図である。図19は処理画像データIMGDの一例である。第1のフレームを構成する処理画像データIMGDに基づき、対象物判別部166が対象物hd(本例では手hd)を判別した場合、撮像処理部164は対象物hdが位置する画素領域IMGR2を含む一定画素領域IMGR1を設定する。図19に示す例では、撮像処理部164は、対象物hdが位置する画素領域IMGR2よりも大きい領域の一定画素領域IMGR1が設定される。本実施形態では撮像画像データと処理画像データとでは、画素数は同じであり、また一定画素領域IMGR1も同じである。撮像処理部164は、第1のフレームの次に外景撮像用カメラ61によって撮像された第2のフレームを構成する撮像画像データに対しては一定画素領域IMGR1に対応する範囲のデータを抽出し、抽出したデータに対して画像処理を行う。本例では、一定画素領域IMGR1に対応する範囲は、一定画素領域IMGR1と同じ領域であり、画素の座標で特定できる。抽出したデータに対して画像処理を行って、例えば、対象物動き検出部178による対象物の動きを検出するために用いてもよい。また、抽出したデータに対して画像処理を行って、1フレーム前の処理画像データIMGDにおける一定画素領域IMGR1の画素データと差し替えてもよい。抽出したデータに対して画像処理を行うことで、対象物を含まない領域のデータに対しては画像処理を行う必要がない。これにより、撮像処理部164によるデータ処理の負荷をさらに軽減できる。

0109

E.変形例:
上記実施形態において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。その他、以下のような変形も可能である。

0110

E−1.第1変形例:
上記各実施形態において、対象物は特定の印の画像である印画像であってもよい。印画像としては、QRコード(登録商標)やバーコードなどが挙げられる。撮像処理部164は、印画像を読み取って印画像に対応する虚像を画像表示部20に表示させてもよい。例えば、第1処理モードM1で、物体が印画像であることを判別し、次に第2処理モードM2で印画像を読み取ってもよい。

0111

E−2.第2変形例:
上記各実施形態では、外景撮像用カメラ61は単眼カメラであったが、ステレオカメラであってもよい。また、視線方向の検出は、第1内側カメラ62と第2内側カメラ64の撮像画像に基づいて行っていたが、これに限定されるものではなく、例えば、筋電センサーを用いて行ってもよい。

0112

E−3.第3変形例:
図20は、第3変形例におけるHMDの外観の構成を示す説明図である。図20に示す例の場合、画像表示部20xは、右光学像表示部26に代えて右光学像表示部26xを備え、左光学像表示部28に代えて左光学像表示部28xを備えている。右光学像表示部26xと左光学像表示部28xとは、上記実施形態の光学部材よりも小さく形成され、HMDの装着時における使用者Psの右眼および左眼の斜め上にそれぞれ配置されている。画像表示部20xは、図示は省略しているが、上記第各実施形態と同様に、距離検出センサー68、外景撮像用カメラ61、9軸センサー66、第1内側カメラ62、第2内側カメラ64などの上記各実施形態を実施するための構成を備えている。

0113

E−4.第4変形例:
図21は、第4変形例におけるHMDの外観の構成を示す説明図である。図21に示す例の場合、画像表示部20yは、右光学像表示部26に代えて右光学像表示部26yを備え、左光学像表示部28に代えて左光学像表示部28yを備えている。右光学像表示部26yと左光学像表示部28yとは、上記実施形態の光学部材よりも小さく形成され、HMDの装着時における使用者Psの右眼および左眼の斜め下にそれぞれ配置されている。画像表示部20yは、図示は省略しているが、上記第各実施形態と同様に、距離検出センサー68、外景撮像用カメラ61、9軸センサー66、第1内側カメラ62、第2内側カメラ64などの上記各実施形態を実施するための構成を備えている。このように、光学像表示部は使用者Psの眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が使用者Psの眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者Psの眼を完全に覆わない態様のHMDとして実現することもできる。

0114

E−5.第5変形例:
上記実施形態では、右導光板26および左導光板28が外光を透過する、いわゆる透過型のHMD100について説明した。しかし、本発明は、例えば、外景を視認できない状態で画像を表示する、いわゆる非透過型のHMD100に適用することもできる。また、これらのHMD100では、上記実施形態で説明した実空間に重畳して画像を表示するAR表示のほか、撮像した実空間の画像と仮想画像とを組み合わせて表示するMR(Mixed Reality)表示、あるいは、仮想空間を表示するVR(Virtual Reality)表示を行うこともできる。また本発明は、AR、MR、VR表示のいずれも行わない装置にも適用できる。

0115

E−6.第6変形例:
上記各実施形態におけるHMD100の機能ブロック図は図3に示す構成であったが、上記に限定されるものではなく他の機能ブロック図であってもよい。以下に各実施形態とは異なる機能ブロックを有するHMD100aについて説明する。図22は、HMD100aの構成を機能的に示すブロック図である。上記実施形態のHMD100の構成と同様の構成については同一符号を付すと共に説明を適宜省略する。

0116

制御装置10aは、プログラムを実行してHMD100aを制御するメインプロセッサー140aと、記憶部と、入出力部と、センサー類と、インターフェイスと、電源部130aとを備える。メインプロセッサー140aには、これらの記憶部、入出力部、センサー類、インターフェイス、電源部130aがそれぞれ接続されている。メインプロセッサー140aは、制御装置10aが内蔵しているコントローラー基板120aに実装されている。メインプロセッサー140aは、上記各実施形態のCPU140と同様の処理を実行できる。例えば、メインプロセッサー140aは、図4に示す機能部を少なくとも備える。

0117

記憶部には、メモリー118と、不揮発性記憶部121とが含まれている。メモリー118は、メインプロセッサー140aによって実行されるコンピュータープログラム、および、処理されるデーターを一時的に記憶するワークエリアを構成する。不揮発性記憶部121は、フラッシュメモリーやeMMC(embedded Multi Media Card)で構成される。不揮発性記憶部121は、メインプロセッサー140aが実行するコンピュータープログラムや、メインプロセッサー140aによって処理される各種のデーターを記憶する。不揮発性記憶部121には、図7に示す記憶部120が記憶するデータを少なくとも記憶する。本実施形態において、これらの記憶部はコントローラー基板120aに実装されている。

0118

入出力部には、トラックパッド14aと、操作部110aとが含まれている。操作部110aには、例えばボタン11と、LEDインジケーター12aと、十字キー16とが含まれる。メインプロセッサー140aは、これら各入出力部を制御すると共に、各入出力部から出力される信号を取得する。

0119

センサー類には、6軸センサー111と、磁気センサー113と、GPS(Global Positioning System)115とが含まれている。6軸センサー111は、3軸加速度センサーと3軸ジャイロ(角速度)センサーとを備えるモーションセンサー(慣性センサー)である。6軸センサー111は、これらセンサーがモジュール化されたIMU(Inertial Measurement Unit)を採用してもよい。磁気センサー113は、例えば、3軸の地磁気センサーである。GPS受信部115は、図示しないGPSアンテナを備え、GPS衛星から送信される無線信号を受信して、制御装置10aの現在位置の座標を検出する。これらセンサー類(6軸センサー111、磁気センサー113、GPS115)は、検出値を予め指定されたサンプリング周波数に従って、メインプロセッサー140aへと出力する。各センサーが検出値を出力するタイミングは、メインプロセッサー140aからの指示に応じてもよい。

0120

インターフェイスには、無線通信部117と、音声コーデック181と、外部コネクター184と、外部メモリーインターフェイス186と、USB(Universal Serial Bus)コネクター188と、センサーハブ192と、FPGA194と、インターフェイス196とが含まれている。これらは、外部とのインターフェイスとして機能する。無線通信部117は、HMD100aと外部機器との間における無線通信を実行する。無線通信部117は、図示しないアンテナRF回路ベースバンド回路通信制御回路等を備えて構成され、あるいはこれらが統合されたデバイスとして構成されている。無線通信部117は、例えば、Bluetooth(登録商標)、Wi−Fiを含む無線LAN等の規格準拠した無線通信を行う。

0121

音声コーデック181は、音声インターフェイス182に接続され、音声インターフェイス182を介して入出力される音声信号のエンコードデコードを行う。また、音声コーデック181は、マイクや右イヤホン32や左イヤホン34を備えるヘッドセットを介して入出力される音声を加工処理する機能を備えていてもよい。さらに、音声コーデック181は、内蔵されているヘッドセットを介して入出力される音声信号について、アナログ音声信号からデジタル音声データーへの変換を行うA/Dコンバーター、および、その逆の変換を行うD/Aコンバーターを備えてもよい。A/Dコンバーターは、マイク(図示せず)を介して入力されるアナログ音声信号を、デジタル音声データーに変換してメインプロセッサー140aへ出力する。D/Aコンバーターは、メインプロセッサー140aから出力されるデジタル音声データーをアナログ音声信号に変換して、右イヤホン32および左イヤホン34(図1)へと出力する。音声インターフェイス182は、ヘッドセットとの間で、音声信号を入出力するインターフェイスである。

0122

外部コネクター184は、メインプロセッサー140aに対して、メインプロセッサー140aと通信する外部装置(例えば、パーソナルコンピューター、スマートフォンゲーム機器等)を接続するためのコネクターである。外部コネクター184に接続された外部装置は、コンテンツの供給元となり得るほか、メインプロセッサー140aが実行するコンピュータープログラムのデバッグや、HMD100aの動作ログ収集に使用できる。外部コネクター184は種々の態様を採用できる。外部コネクター184としては、例えば、USBインターフェイス、マイクロUSBインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスや、無線LANインターフェイス、Bluetoothインターフェイス等の無線接続に対応したインターフェイスを採用できる。

0123

外部メモリーインターフェイス186は、可搬型メモリーデバイス接続可能なインターフェイスである。外部メモリーインターフェイス186は、例えば、カード型記録媒体を装着してデーターの読み書きを行うメモリーカードスロットと、インターフェイス回路とを含む。カード型記録媒体のサイズ、形状、規格等は適宜選択できる。USBコネクター188は、USB規格に準拠したメモリーデバイス、スマートフォン、パーソナルコンピューター等を接続可能なインターフェイスである。USBコネクター188は、例えば、USB規格に準拠したコネクターと、インターフェイス回路とを含む。USBコネクター188のサイズ、形状、USB規格のバージョン等は適宜選択できる。

0124

また、HMD100aは、バイブレーター19を備える。バイブレーター19は、図示しないモーターと、偏芯した回転子等を備え、メインプロセッサー140aの制御に従って振動発声する。HMD100aは、例えば、操作部110aに対する操作を検出した場合や、HMD100aの電源がオンオフされた場合等に予め定められた振動パターンでバイブレーター19により振動を発生させる。

0125

センサーハブ192およびFPGA194は、インターフェイス(I/F)196を介して画像表示部20aに接続されている。センサーハブ192は、画像表示部20aが備える各種センサーの検出値を取得して、メインプロセッサー140aに出力する。FPGA194は、メインプロセッサー140aと画像表示部20aの各部との間で送受信されるデーターの処理およびインターフェイス196を介した伝送を実行する。インターフェイス196は、画像表示部20aの右表示ユニット22aと、左表示ユニット24aとに対してそれぞれ接続されている。本実施形態の例では、左保持部23に接続ケーブル40が接続され、この接続ケーブル40に繋がる配線が画像表示部20a内部に敷設され、右表示ユニット22aと左表示ユニット24aとのそれぞれが、制御装置10aのインターフェイス196に接続される。

0126

電源部130aは、制御装置10aが動作するための電力を供給する。バッテリー136は、充電可能な電池である。電源制御回路135は、バッテリー136の残容量の検出と、OS143への充電の制御を行う。電源制御回路135は、メインプロセッサー140aに接続され、バッテリー136の残容量の検出値や、バッテリー136の電圧の検出値をメインプロセッサー140aへと出力する。なお、電源部130aが供給する電力に基づいて、制御装置10aから画像表示部20aへと電力を供給してもよい。電源部130aから制御装置10aの各部および画像表示部20aへの電力の供給状態を、メインプロセッサー140aにより制御可能な構成としてもよい。

0127

右表示ユニット22aは、表示ユニット基板210aと、OLEDユニット221aと、外景撮像用カメラ61と、第1内側カメラ62と、照度センサー65aと、LEDインジケーター67aと、温度センサー217aと、距離検出センサー68と、を備える。表示ユニット基板210aには、インターフェイス196に接続されるインターフェイス(I/F)211aと、受信部(Rx)213aと、EEPROM(Electrically Erasable Programmable Read-Only Memory)215aとが実装されている。受信部213aは、インターフェイス211aを介して制御装置10aから入力されるデーターを受信する。受信部213aは、OLEDユニット221aで表示する画像の画像データーを受信した場合に、受信した画像データーをOLED駆動回路へと出力する。

0128

EEPROM215aは、各種のデーターをメインプロセッサー140aが読み取り可能な態様で記憶する。EEPROM215aは、例えば、画像表示部20aのOLEDユニット221a、241aの発光特性表示特性に関するデーター、右表示ユニット22aまたは左表示ユニット24aのセンサー特性に関するデーター等を記憶する。具体的には、例えば、OLEDユニット221a、241aのガンマ補正に係るパラメーター、後述する温度センサー217a、239aの検出値を補償するデーター等を記憶する。これらのデーターは、HMD100aの工場出荷時の検査によって生成され、EEPROM215aに書き込まれる。出荷後は、メインプロセッサー140aがEEPROM215aのデーターを読み込んで各種の処理に利用する。

0129

外景撮像用カメラ61は、インターフェイス211aを介して入力される信号に従って撮像を実行し、撮像画像データーあるいは撮像結果を表す信号を制御装置10aへと出力する。照度センサー65aは、画像表示部20aを装着する使用者の前方からの外光を受光するように配置される。照度センサー65aは、受光量(受光強度)に対応した検出値を出力する。LEDインジケーター67aは、外景撮像用カメラ61の近傍に配置される。LEDインジケーター67aは、外景撮像用カメラ61による撮像を実行中に点灯して、撮像中であることを報知する。

0130

温度センサー217aは、温度を検出し、検出した温度に対応する電圧値あるいは抵抗値を出力する。温度センサー217aは、OLEDパネル(図示せず)の裏面側に実装される。温度センサー217aは、例えばOLED駆動回路と同一の基板に実装されてもよい。この構成により、温度センサー217aは主としてOLEDパネルの温度を検出する。なお、温度センサー217aは、OLEDパネルあるいはOLED駆動回路に内蔵されてもよい。例えば、OLEDパネルがSi−OLEDとしてOLED駆動回路と共に統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー217aを実装してもよい。

0131

左表示ユニット24aは、表示ユニット基板230aと、OLEDユニット241aと、温度センサー239aと、第2内側カメラ64と、を備える。表示ユニット基板230aには、インターフェイス196に接続されるインターフェイス(I/F)231aと、受信部(Rx)233aと、6軸センサー235aと、磁気センサー237aとが実装されている。受信部233aは、インターフェイス231aを介して制御装置10aから入力されるデーターを受信する。受信部233aは、OLEDユニット241aで表示する画像の画像データーを受信した場合に、受信した画像データーをOLED駆動回路(図示せず)へと出力する。

0132

6軸センサー235aは、3軸加速度センサーおよび3軸ジャイロ(角速度)センサーを備えるモーションセンサー(慣性センサー)である。6軸センサー235aは、上記のセンサーがモジュール化されたIMUを採用してもよい。磁気センサー237aは、例えば、3軸の地磁気センサーである。温度センサー239aは、温度を検出し、検出した温度に対応する電圧値あるいは抵抗値を出力する。温度センサー239aは、OLEDパネル(図示せず)の裏面側に実装される。温度センサー239aは、例えばOLED駆動回路と同一の基板に実装されてもよい。この構成により、温度センサー239aは主としてOLEDパネルの温度を検出する。温度センサー239aは、OLEDパネルあるいはOLED駆動回路に内蔵されてもよい。詳細は温度センサー217aと同様である。

0133

右表示ユニット22aの外景撮像用カメラ61、照度センサー65a、温度センサー217aと、左表示ユニット24aの6軸センサー235a、磁気センサー237a、温度センサー239aは、制御装置10aのセンサーハブ192に接続される。センサーハブ192は、メインプロセッサー140aの制御に従って各センサーのサンプリング周期の設定および初期化を行う。センサーハブ192は、各センサーのサンプリング周期に合わせて、各センサーへの通電制御データーの送信、検出値の取得等を実行する。センサーハブ192は、予め設定されたタイミングで、右表示ユニット22aおよび左表示ユニット24aが備える各センサーの検出値をメインプロセッサー140aへ出力する。FPGA194は、各センサーの検出値を一時的に保持するキャッシュ機能を備えてもよい。センサーハブ192は、各センサーの検出値の信号形式やデーター形式変換機能(例えば、統一形式への変換機能)を備えてもよい。FPGA194は、メインプロセッサー140aの制御に従ってLEDインジケーター67aへの通電を開始および停止させることで、LEDインジケーター67aを点灯または消灯させる。

0134

E−7.第7変形例:
本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

0135

1…表示システム、10…制御部、10a…制御装置、11…ボタン、12…点灯部、12a…LEDインジケーター、14…タッチパッド、14a…トラックパッド、16…十字キー、18…電源スイッチ、19…バイブレーター、20,20a,20x,20y…画像表示部、21…右保持部、22…右表示駆動部、22a…右表示ユニット、23…左保持部、24…左表示駆動部、24a…左表示ユニット、26,26x,26y…右光学像表示部、27…前部フレーム、28,28x,28y…左光学像表示部、30…イヤホンプラグ、32…右イヤホン、34…左イヤホン、40…接続部(接続ケーブル)、42…右コード、44…左コード、46…連結部材、48…本体コード、51…送信部、52…送信部、53…受信部、60…サーバー、61…外景撮像用カメラ、62…第1内側カメラ、64…第2内側カメラ、65a…照度センサー、66…9軸センサー、67a…LEDインジケーター、68…距離検出センサー、100…表示システム、110…入力情報取得部、110a…操作部、111…6軸センサー、113…磁気センサー、115…GPS受信部、117…無線通信部、118…メモリー、120…記憶部、120a…コントローラー基板、121…不揮発性記憶部、122…コンテンツデータ、124…コンテンツ対応テーブル、126…閾値データ、127…第1閾値、128…第2閾値、129…対象物データ、130…電源、130a…電源部、132…無線通信部、134…GPSモジュール、135…電源制御回路、136…バッテリー、140…CPU、140a…メインプロセッサー、160…画像処理部、162…画像表示制御部、164…撮像処理部、166…対象物判別部、170…音声処理部、172…物体検出部、173…頭部動き検出部、176…視線方向検出部、178…対象物動き検出部、180…インターフェイス、181…音声コーデック、182…音声インターフェイス、184…外部コネクター、186…外部メモリーインターフェイス、188…USBコネクター、192…センサーハブ、196…インターフェイス、201…右バックライト制御部、202…左バックライト制御部、211…右LCD制御部、212…左LCD制御部、213a…受信部、215a…EEPROM、217a…温度センサー、221…右バックライト、221a…OLEDユニット、222…左バックライト、230a…表示ユニット基板、231a…インターフェイス、233a…受信部、235a…6軸センサー、237a…磁気センサー、239a…温度センサー、241a…OLEDユニット、250…PC、251…右投写光学系、252…左投写光学系、258…表示部、261,281…ハーフミラー、601…作業台、602、604、605…製品、ED…視線方向、EL…端部、ER…端部、IMGD…処理画像データ、IMGR1…一定画素領域、IMGR2…画素領域、INT…インターネット、LE…左眼、Ps…使用者、RE…右眼、SC…外景、VR…視野、hd…手(対象物)

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

新着 最近 公開された関連が強い 技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する挑戦したい社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ