図面 (/)

この項目の情報は公開日時点(2018年9月13日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

透過型表示装置が表示する画像の視認性を、外景の視認性と合わせて適切に調整することが可能な表示装置、及び、表示装置の制御方法を提供する。

解決手段

HMD100は、外光を透過することにより外景を視認可能に画像を表示する画像表示部20と、移動機310の位置を取得する移動体位置取得部と、操作を検出する操作検出部と、画像表示部20に画像を表示させる表示制御部と、を備える。表示制御部は、移動体位置取得部により取得する移動機310の位置、及び、操作検出部により検出する操作に基づいて、画像表示部20により表示する画像の、画像表示部20を透過する外光に対する視認性を制御する画像表示制御を実行する

概要

背景

従来、画像表示部を透過する外景視認させる透過型表示装置が知られている(例えば、特許文献1参照)。この種の表示装置は、例えば、画像を表示した状態で、この表示画像と外景との両方を視認するような方法で使用できる。
また、従来、遠隔操縦できる無人機(いわゆるドローン)が知られている(例えば、特許文献2参照)。特許文献2記載の無人機は、航法姿勢制御システムを備える4ヘリコプター(quadricopter)であり、カメラを搭載する。

概要

透過型の表示装置が表示する画像の視認性を、外景の視認性と合わせて適切に調整することが可能な表示装置、及び、表示装置の制御方法を提供する。HMD100は、外光を透過することにより外景を視認可能に画像を表示する画像表示部20と、移動機310の位置を取得する移動体位置取得部と、操作を検出する操作検出部と、画像表示部20に画像を表示させる表示制御部と、を備える。表示制御部は、移動体位置取得部により取得する移動機310の位置、及び、操作検出部により検出する操作に基づいて、画像表示部20により表示する画像の、画像表示部20を透過する外光に対する視認性を制御する画像表示制御を実行する

目的

本発明は、透過型の表示装置において、透過型の表示装置が表示する画像の視認性を、外景の視認性と合わせて適切に調整することが可能な表示装置、及び、表示装置の制御方法を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

外光を透過することにより外景視認可能に画像を表示する表示部と、移動体の位置を取得する移動体位置取得部と、操作を検出する操作検出部と、前記表示部に画像を表示させる表示制御部と、を備え、前記表示制御部は、前記移動体位置取得部により取得する前記移動体の位置、及び、前記操作検出部により検出する操作に基づいて、前記表示部により表示する画像の、前記表示部を透過する外光に対する視認性を制御する視認性制御処理を実行する表示装置

請求項2

前記移動体が撮像する撮像画像に関する画像データーを取得する画像取得部を備え、前記表示制御部は前記画像取得部により取得した前記画像データーに基づく画像を前記表示部に表示させる請求項1記載の表示装置。

請求項3

前記画像取得部は、複数の前記移動体が撮像する撮像画像の各々に関する複数の前記画像データーを取得し、前記表示制御部は、前記画像取得部により取得した複数の前記画像データーに基づく複数の前記画像を前記表示部に表示させ、前記視認性制御処理によって、複数の前記画像の視認性を制御する請求項2記載の表示装置。

請求項4

前記表示制御部は、前記画像取得部により取得した複数の前記画像データーに基づき前記表示部に表示される複数の前記画像の視認性の差が小さくなるように前記視認性制御処理を実行する請求項3記載の表示装置。

請求項5

前記表示制御部は、前記画像取得部により取得した複数の前記画像データーに基づき前記表示部に表示される複数の前記画像のうち、一部の前記画像の視認性が他の前記画像よりも高くなるように前記視認性制御処理を実行する請求項4記載の表示装置。

請求項6

前記移動体位置取得部は、実空間の前記移動体が前記表示部を透過して視認される視認位置を取得し、前記表示制御部は、前記移動体位置取得部が取得する前記移動体の視認位置に対応して、前記視認性制御処理を実行する請求項1から5のいずれか1項に記載の表示装置。

請求項7

前記表示制御部は、前記移動体の視認位置に対応する位置に、前記移動体に関連付けられた画像を表示させる請求項6記載の表示装置。

請求項8

前記移動体位置取得部は、前記表示部に対する前記移動体の相対位置を取得する請求項1から7のいずれか1項に記載の表示装置。

請求項9

前記表示制御部は、前記移動体位置取得部により取得される前記移動体の位置を示す情報を前記表示部に表示させる請求項1から8のいずれか1項に記載の表示装置。

請求項10

前記表示制御部は、画像データーに基づき前記表示部に前記画像を表示させ、前記画像データーに対する輝度調整色調調整ガンマ補正の少なくともいずれかを実行可能に構成され、前記視認性制御処理において、前記画像データーの輝度、色調、及びガンマ補正値の少なくともいずれかを変更する請求項1から9のいずれか1項に記載の表示装置。

請求項11

前記表示制御部は、前記表示制御部は、前記視認性制御処理を実行することにより、前記表示部を透過して視認される前記外景の視認性を前記表示部により表示する画像の視認性より高くする第1モード、及び、前記表示部を透過する外光に対して前記表示部により表示する画像の視認性を高める第2モードを、前記操作検出部が検出する操作に応じて切り替える請求項1から10のいずれか1項に記載の表示装置。

請求項12

外光を検出する外光検出部を有し、前記表示制御部は、前記外光検出部により検出される外光に応じて前記視認性制御処理を実行する請求項1から11のいずれか1項に記載の表示装置。

請求項13

使用者の頭部に装着される前記表示部を有する頭部装着型表示装置である請求項1から12のいずれか1項に記載の表示装置。

請求項14

外光を透過することにより外景を視認可能に画像を表示する表示部を備える表示装置の制御方法であって、移動体の位置を取得し、操作を検出し、前記表示部に画像を表示させ、前記移動体の位置、及び、操作に基づいて、前記表示部により表示する画像の、前記表示部を透過する外光に対する視認性を制御する視認性制御処理を実行する表示装置の制御方法。

技術分野

0001

本発明は、表示装置、及び、表示装置の制御方法に関する。

背景技術

0002

従来、画像表示部を透過する外景視認させる透過型の表示装置が知られている(例えば、特許文献1参照)。この種の表示装置は、例えば、画像を表示した状態で、この表示画像と外景との両方を視認するような方法で使用できる。
また、従来、遠隔操縦できる無人機(いわゆるドローン)が知られている(例えば、特許文献2参照)。特許文献2記載の無人機は、航法姿勢制御システムを備える4ヘリコプター(quadricopter)であり、カメラを搭載する。

先行技術

0003

特開2017−022635号公報
特開2006−12042号公報

発明が解決しようとする課題

0004

特許文献1に記載された透過型の表示装置は、例えば、特許文献2に記載された無人機が撮像する画像を表示し、実空間の無人機を外景として視認するような利用ができる。このような利用法では、外景すなわち実空間の無人機を視認しながら、その撮像画像を見ることができ、有用であると考えられる。
ところで、透過型の表示装置が表示する画像の視認性は、表示装置を透過する外光の影響を受ける。このため、表示装置が画像を表示する場合に、外光の影響を考慮した処理を行うことが考えられる。しかし、外景を視認することと、透過型の表示装置が表示する画像を視認することとを両立する方法は従来なかった。
本発明は、透過型の表示装置において、透過型の表示装置が表示する画像の視認性を、外景の視認性と合わせて適切に調整することが可能な表示装置、及び、表示装置の制御方法を提供することを目的とする。

課題を解決するための手段

0005

上記課題を解決するため、本発明は、外光を透過することにより外景を視認可能に画像を表示する表示部と、移動体の位置を取得する移動体位置取得部と、操作を検出する操作検出部と、前記表示部に画像を表示させる表示制御部と、を備え、前記表示制御部は、前記移動体位置取得部により取得する前記移動体の位置、及び、前記操作検出部により検出する操作に基づいて、前記表示部により表示する画像の、前記表示部を透過する外光に対する視認性を制御する視認性制御処理を実行する。
本発明によれば、外景に対する表示画像の視認性を、移動体の位置および操作に基づいて制御することにより、実空間の移動体の視認性と表示画像の視認性とを適切に調整できる。例えば、移動体の位置から、移動体が外景として視認される可能性を判定できるので、この可能性に対応して、移動体の視認性を高める制御や表示画像の視認性を高める制御等を行うことができる。

0006

また、上記構成において、前記移動体が撮像する撮像画像に関する画像データーを取得する画像取得部を備え、前記表示制御部は前記画像取得部により取得した前記画像データーに基づく画像を前記表示部に表示させる構成であってもよい。
この構成によれば、移動体が撮像する撮像画像に関する画像を表示し、この画像の視認性を、外景として視認される移動体の視認性に対して適切に調整できる。

0007

また、上記構成において、前記画像取得部は、複数の前記移動体が撮像する撮像画像の各々に関する複数の前記画像データーを取得し、前記表示制御部は、前記画像取得部により取得した複数の前記画像データーに基づく複数の前記画像を前記表示部に表示させ、前記視認性制御処理によって、複数の前記画像の視認性を制御する構成であってもよい。
この構成によれば、複数の移動体に関する複数の画像を表示する場合に、これら複数の画像の視認性を適切に調整することができる。

0008

また、上記構成において、前記表示制御部は、前記画像取得部により取得した複数の前記画像データーに基づき前記表示部に表示される複数の前記画像の視認性の差が小さくなるように前記視認性制御処理を実行する構成であってもよい。
この構成によれば、複数の移動体に関する複数の画像を表示する場合に、これら複数の画像の全てを視認しやすい状態を実現できる。

0009

また、上記構成において、前記表示制御部は、前記画像取得部により取得した複数の前記画像データーに基づき前記表示部に表示される複数の前記画像のうち、一部の前記画像の視認性が他の前記画像よりも高くなるように前記視認性制御処理を実行する構成であってもよい。
この構成によれば、複数の移動体に関する複数の画像を表示する場合に、一部の画像の視認性を高めることができ、例えば表示装置の使用者を、特定の画像に注目させることができる。

0010

また、上記構成において、前記移動体位置取得部は、実空間の前記移動体が前記表示部を透過して視認される視認位置を取得し、前記表示制御部は、前記移動体位置取得部が取得する前記移動体の視認位置に対応して、前記視認性制御処理を実行する構成であってもよい。
この構成によれば、表示部において移動体が視認される位置に対応して、外景に対する表示画像の視認性を適切に調整できる。

0011

また、上記構成において、前記表示制御部は、前記移動体の視認位置に対応する位置に、前記移動体に関連付けられた画像を表示させる構成であってもよい。
この構成によれば、外景として視認される移動体に関する情報を効果的に表示できる。

0012

また、上記構成において、前記移動体位置取得部は、前記表示部に対する前記移動体の相対位置を取得する構成であってもよい。
この構成によれば、表示装置を使用する使用者に対する移動体の見え方に対応して、適切に表示画像を表示できる。

0013

また、上記構成において、前記表示制御部は、前記移動体位置取得部により取得される前記移動体の位置を示す情報を前記表示部に表示させる構成であってもよい。
この構成によれば、移動体の位置に関する情報を、表示装置を使用する使用者に対して効果的に見せることができる。

0014

また、上記構成において、前記表示制御部は、画像データーに基づき前記表示部に前記画像を表示させ、前記画像データーに対する輝度調整色調調整ガンマ補正の少なくともいずれかを実行可能に構成され、前記視認性制御処理において、前記画像データーの輝度、色調、及びガンマ補正値の少なくともいずれかを変更する構成であってもよい。
この構成によれば、外景に対する表示画像の視認性を効果的に調整できる。

0015

また、上記構成において、前記表示制御部は、前記視認性制御処理を実行することにより、前記表示部を透過して視認される前記外景の視認性を前記表示部により表示する画像の視認性より高くする第1モード、及び、前記表示部を透過する外光に対して前記表示部により表示する画像の視認性を高める第2モードを、前記操作検出部が検出する操作に応じて切り替える構成であってもよい。
この構成によれば、操作に対応して外景と表示画像との視認性の優先度を切り替えることができ、利便性の向上を図ることができる。

0016

また、上記構成において、外光を検出する外光検出部を有し、前記表示制御部は、前記外光検出部により検出される外光に応じて前記視認性制御処理を実行する構成であってもよい。
この構成によれば、外光に対する表示画像の視認性をより適切に調整できる。

0017

また、上記構成において、使用者の頭部に装着される前記表示部を有する頭部装着型表示装置である構成であってもよい。
この構成によれば、使用者が頭部に装着する表示部を透過して視認する外景と、表示画像との視認性を適切に制御することができ、利便性の向上を図ることができる。

0018

また、上記課題を解決するため、本発明は、外光を透過することにより外景を視認可能に画像を表示する表示部を備える表示装置の制御方法であって、移動体の位置を取得し、操作を検出し、前記表示部に画像を表示させ、前記移動体の位置、及び、操作に基づいて、前記表示部により表示する画像の、前記表示部を透過する外光に対する視認性を制御する視認性制御処理を実行する。
本発明によれば、外景に対する表示画像の視認性を、移動体の位置および操作に基づいて制御することにより、実空間の移動体の視認性と表示画像の視認性とを適切に調整できる。例えば、移動体の位置から、移動体が外景として視認される可能性を判定できるので、この可能性に対応して、移動体の視認性を高める制御や表示画像の視認性を高める制御等を行うことができる。

0019

本発明は、上述した表示装置、及び表示装置の制御方法以外の種々の形態で実現することも可能である。例えば、上記の表示装置と移動体とを含む表示システムとして構成することも可能である。また、上記の表示装置、移動体、及び、上記移動体を操縦する操縦装置を含むシステムとして構成することも可能である。また、上記の制御方法を実行するために制御部やコンピューターが実行するプログラムとして実現してもよい。また、上記プログラムを記録した記録媒体、プログラムを配信するサーバー装置、上記プログラムを伝送する伝送媒体、上記プログラムを搬送波内に具現化したデーター信号等の形態で実現できる。

図面の簡単な説明

0020

移動機複合制御システム概略構成図。
移動機の機能ブロック図。
HMDの外観構成を示す説明図。
画像表示部の光学系の構成を示す図。
画像表示部の構成を示す斜視図。
画像表示部と撮像範囲の対応を示す模式図。
HMDのブロック図。
HMDの制御部および記憶部の機能ブロック図。
移動機の動作を示すフローチャート
HMDの動作を示すフローチャート。
HMDの表示例を示す図。
HMDの動作を示すフローチャート。
HMD間のデーターの送受信に係る動作を示すシーケンス図。
HMDの動作を示すフローチャート。
HMDの動作を示すフローチャート。
外景の視認特性を示す図表
画像表示部が表示する画像の視認特性を示す図表。
HMDの表示例を示す図。
HMDの表示例を示す図。
HMDの表示例を示す図。

実施例

0021

図1は、本発明を適用した実施形態に係る移動機複合制御システム1の概略構成図である。
移動機複合制御システム1は、移動機(移動体)310と、移動機310を操縦するオペレーターが装着して使用するHMD(Head Mounted Display:頭部装着型表示装置)100とを有する移動機制御システム300により構成される表示システムである。移動機複合制御システム1は、複数のオペレーターが、それぞれHMD100(表示装置)を装着し、移動機310を操縦する構成であり、複数の移動機制御システム300を含む。

0022

図1の例では、3つの移動機制御システム300A、300B、300Cにより移動機複合制御システム1が構成される。移動機複合制御システム1を構成する移動機制御システム300の数、すなわちHMD100の数および移動機310の数は任意であり、2以下であっても4以上であってもよい。また、移動機複合制御システム1は、移動機310を操縦しないオペレーターが装着するHMD100を含んでもよい。

0023

以下の説明では、複数のHMD100及び移動機310を符号により区別して、HMD100A、100B、100C、及び、移動機310A、310B、310Cと表記する。各々のHMD100を区別する必要がある場合はHMD100A、100B、100Cと記載し、区別しない場合はHMD100と記載する。同様に、各々の移動機310を区別する必要がある場合は移動機310A、310B、310Cと記載し、区別しない場合は移動機310と記載する。
また、図示はしないが、移動機310AはオペレーターAにより操縦され、移動機310BはオペレーターBにより操縦され、移動機310CはオペレーターCにより操縦される。オペレーターは、ユーザー、あるいは使用者ということができ、以下の説明では使用者と称する。

0024

本実施形態では、本発明の移動体の一態様として、移動機310を例示する。移動機310は、4つのプロペラ321、322、323、324の回転により飛行する飛行体である。移動機310は、或いは、無人飛行体UAV:UnmannedAerial Vehicle)を意味するドローン(Drone)と呼ばれるものの一種であり、4翼ヘリコプターと呼ぶこともできる。移動機310は、HMD100により遠隔操縦される。すなわち、移動機310AはHMD100Aにより遠隔操縦され、同様に、移動機310BはHMD100Bにより、移動機310CはHMD100Cにより遠隔操縦される。

0025

プロペラ321、322、323、324は、それぞれ、飛行モーター331、332、333、334により駆動されて回転し、移動機310を浮上させる。また、移動機310には移動機カメラ335が設けられ、移動機カメラ335により撮像した撮像画像をHMD100に送信できる。移動機カメラ335は、移動機310の本体に直接固定されてもよいし、ジンバル(Gimbal)、雲台等の台座を介して移動機310の本体に固定される構成であってもよい。また、移動機カメラ335の台座に、移動機カメラ335の撮像方向を変更及び調整する機構を設けてもよい。

0026

HMD100は、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部20(表示部)と、画像表示部20を制御する制御装置10と、を備える表示装置である。制御装置10は、図3を参照して後述するように、平たい箱形の本体を備え、この本体に、使用者の操作を受け付ける各種のスイッチや操作パッド等の操作部を備える。これらの操作部を使用者が操作することによって、制御装置10は、HMD100を制御する制御装置として機能する。

0027

HMD100は、移動機310との間で通信を実行する。HMD100は、移動機310から画像データーを受信して、受信した画像データーに基づく画像を画像表示部20により表示する。これにより、使用者は、移動機310が撮像した撮像画像を画像表示部20によって視認し、制御装置10を操作して、移動機310を操縦できる。

0028

HMD100と移動機310とを接続する態様は任意であり、例えば、後述する周波数無線信号を用いて各種データーを送受信する。

0029

図2は、移動機310の機能ブロック図であり、移動機310の制御系の構成を示す。この構成は、移動機310A、310B、310Cに共通であるため、これらを区別せず説明する。

0030

移動機310の制御系は、移動機310を制御する移動機制御部341と、移動機制御部341に接続される各部により構成される。詳細には、移動機310は、移動機制御部341、移動機記憶部342、移動機通信部343、GPS装置344、飛行制御部345、カメラ制御部346、モーターコントローラー347、姿勢センサー348、及び、インジケーター349を備える。また、図示を省略するが、移動機310は、飛行モーター331、332、333、334(図1)を含む各部に電源を供給するバッテリーと、バッテリーによる電力供給を制御するバッテリー制御回路とを備える。

0031

移動機制御部341は、CPU(Central Processing Unit)やマイコン等の演算処理装置プロセッサー)を備え、プログラムを実行することにより、移動機310を制御する。移動機制御部341は、ROM(Read Only Memory)、RAM(Random Access Memory)、その他周辺回路等を備える構成としてもよい。

0032

移動機制御部341には、移動機制御部341が処理するデーター等を記憶する移動機記憶部342が接続される。移動機記憶部342は、半導体メモリー素子等の記憶装置を有し、移動機310の制御に関する各種データーや、移動機制御部341が実行するプログラムを記憶する。

0033

また、移動機制御部341には、移動機通信部343が接続される。移動機通信部343は、アンテナRF回路ベースバンド回路通信制御回路等を備えて構成され、或いはこれらが統合されたデバイスで構成され、HMD100との間で無線通信を実行する。移動機通信部343は、ラジコン用の周波数である27MHz帯、40MHz帯、2.4GHz帯等で無線通信を実行する。或いは、移動機通信部343は、Bluetooth(登録商標)、無線LAN(Wi−Fi(登録商標)を含む)等の規格準拠した無線通信を行う。移動機通信部343は、移動機制御部341の制御に従ってHMD100と通信を実行し、HMD100が送信するコマンドを受信して移動機制御部341に出力する。また、移動機通信部343は、移動機カメラ335の撮像画像データーをHMD100に送信する。

0034

移動機310Aが備える移動機通信部343は、HMD100Aと通信を行う。同様に、移動機310Bの移動機通信部343はHMD100Bと通信し、移動機310Cの移動機通信部343はHMD100Cと通信する。

0035

GPS(Global Positioning System)装置344は、GPS衛星から送信される信号を受信して解析することにより、移動機310の位置を測定(測位)する装置である。GPS装置344は、移動機制御部341の制御に従って測位を行い、測位結果を移動機制御部341に出力する。GPS装置344が出力する測位結果は、移動機310の緯度及び経度を含み、移動機310の高度を含んでもよい。

0036

また、移動機制御部341には飛行制御部345が接続される。飛行制御部345は、モーターコントローラー347、及び姿勢センサー348に接続される。モーターコントローラー347は、飛行制御部345の制御に従って、飛行モーター331、332、333、334を駆動する回路である。

0037

姿勢センサー348は、移動機310の姿勢動きを検出するセンサーである。例えば、姿勢センサー348は、ジャイロセンサー加速度センサー速度センサー、高度センサーのいずれかを備える構成とすることができる。また、姿勢センサー348は、移動機310の方向を検出するための地磁気センサーを備えてもよい。例えば、姿勢センサー348は、3軸ジャイロセンサー、3軸加速度センサー、3軸地磁気センサーを統合した9軸モーションセンサーユニットを用いてもよく、このモーションセンサーユニットに高度センサーを統合してもよい。姿勢センサー348は、飛行制御部345の制御に従って、検出値を飛行制御部345に出力する。また、姿勢センサー348は風速センサーを備えてもよい。

0038

飛行制御部345は、移動機310が姿勢センサー348により検出した検出値及び/またはGPS装置344により検出した緯度、経度を、移動機制御部341に出力する。移動機制御部341は、姿勢センサー348の検出値及びGPS装置344の検出結果の一部または全部を、移動機通信部343によりHMD100に送信できる。移動機310がHMD100に送信する移動機310の位置に関する情報を、移動機位置情報と呼ぶ。移動機位置情報は、例えば、移動機310の高度、緯度、経度を含み、風速等の外部環境に関する情報を含んでもよい。また、移動機位置情報は、移動機310の位置を示す情報として、高度、緯度、経度以外の情報を含んでもよい。例えば、移動機310の位置を移動機310の平面位置に対応する住所表示、地名、地番、近傍または直下の施設名や建物名により表現してもよい。また、予め設定されたランドマークを基準とする方角や距離により移動機310の位置を示す情報を含んでもよいし、風速等の外部環境に関する情報を含んでもよい。

0039

また、移動機310がHMD100に送信する移動機310の位置に関する情報は、移動機位置情報のほか、移動機310の環境や状況に関する移動機状況情報を含んでもよい。移動機状況情報は、移動機310の位置に関連する情報を含んでもよい。例えば、移動機310の近傍または直下の施設名や建物名等の周辺施設に関する情報を含んでもよい。また、移動機状況情報は、移動機310の環境に関する情報(天気天候)、温度、湿度、風速、風向降雨量等)を含んでもよい。

0040

移動機310は、HMD100に対し、HMD100が指定したタイミングで取得した検出値及び/または検出結果に基づく移動機位置情報を送信してもよい。また、移動機310は、HMD100に対し、HMD100が指定したタイミング以後に取得した検出値及び/または検出結果に基づく移動機位置情報を随時送信してもよい。

0041

なお、移動機310が位置を検出する構成は、GPS装置344や姿勢センサー348に限定されない。例えば、移動機310が飛行する領域(エリア)に予め設置された無線ビーコン送信機からビーコン信号を受信し、ビーコン信号の受信強度等に基づいて移動機310の位置を検出してもよい。無線ビーコン送信機には、赤外光(IR)等の可視外領域の光でビーコン信号を送信する光ビーコン装置や、Bluetoothでビーコン信号を送信するBluetoothビーコンを利用できる。この場合に検出される移動機310の位置は、高度、及び、無線ビーコン送信機に対する相対位置を含む。この場合、移動機制御部341は、高度、及び、無線ビーコン送信機に対する相対位置を含む移動機位置情報を生成して、HMD100に送信すればよい。

0042

移動機制御部341には、飛行制御部345を制御するカメラ制御部346が接続される。飛行制御部345は、上述したように移動機310の本体に設置されて、所定の方向を撮像する。飛行制御部345は、撮像素子336と、撮像レンズ(図示略)を移動させてズーム倍率を調整するズーム機構337とを備える。撮像素子336は、例えば、CCD(Charge Coupled Device)イメージセンサーやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサー等からなる。

0043

カメラ制御部346は、移動機制御部341の制御に従って撮像素子336及びズーム機構337を駆動し、移動機制御部341により指定されたズーム倍率で撮像を行い、撮像画像データーを移動機制御部341に出力する。移動機310は、移動機カメラ335によって予め設定されたサンプリング周期で撮像を実行し、撮像画像データーを生成する。すなわち、移動機310は動画像を撮像するといえる。移動機310は、HMD100に対し、HMD100が指定したタイミングで撮像した撮像画像データーを送信することができる。この場合、HMD100は、移動機310が撮像した静止画像の撮像画像データーを取得できる。また、移動機310は、HMD100に対し、HMD100が指定したタイミング以後に撮像した撮像画像データーを随時送信することができる。この場合、HMD100は、移動機310が撮像した動画像(映像)の撮像画像データーを取得できる。

0044

移動機制御部341は、移動機カメラ335の撮像画像データーを送信する場合に、撮像画像データーに基づき生成した画像データーを送信してもよい。例えば、移動機カメラ335の撮像画像データーの解像度フレームレートを変更して帯域を調整し、調整した画像データーを送信してもよい。

0045

また、移動機制御部341には、インジケーター349が接続される。インジケーター349は、LED(Light Emitting Diode)等の光源を備え、移動機310の動作状態に対応する発光色、及び/または発光パターンで発光する。インジケーター349は、移動機310の筐体の下面、前面、後面など、移動機310の飛行中において外部から視認可能な位置に配置される。移動機制御部341は、飛行制御部345の動作状態に対応して、インジケーター349を発光させる。例えば、移動機制御部341は、移動機310が前進している場合は赤色でインジケーター349を発光させ、移動機310が後退している間は緑色でインジケーター349を発光させる。また、移動機310の旋回中に、インジケーター349を点滅させてもよい。

0046

図3は、HMD100の外観構成を示す説明図である。この構成は、HMD100A、100B、100Cに共通であるため、これらを区別せず説明する。図4図5図6図7及び図8についても同様である。

0047

制御装置10は、図3に示すように、平たい箱形のケース10A(筐体)を備える。ケース10Aは、使用者の操作を受け付ける各種のスイッチやトラックパッド14等を備え、これらを使用者が操作することによって、制御装置10は、HMD100を制御する制御装置として機能する。また、ケース10Aは、HMD100を制御する機能部を内蔵する。

0048

画像表示部20は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部20は、右保持部21と、左保持部23と、前部フレーム27とを有する本体に、右表示ユニット22、左表示ユニット24、右導光板26、及び左導光板28を備える。

0049

右保持部21及び左保持部23は、それぞれ、前部フレーム27の両端部から後方に延び、眼鏡テンプル(つる)のように、使用者の頭部に画像表示部20を保持する。ここで、前部フレーム27の両端部のうち、画像表示部20の装着状態において使用者の右側に位置する端部を端部ERとし、使用者の左側に位置する端部を端部ELとする。右保持部21は、前部フレーム27の端部ERから、画像表示部20装着状態において使用者の右側頭部に対応する位置まで延伸して設けられる。左保持部23は、端部ELから、画像表示部20の装着状態において使用者の左側頭部に対応する位置まで延伸して設けられる。

0050

右導光板26及び左導光板28は、前部フレーム27に設けられる。右導光板26は、画像表示部20の装着状態において使用者の右眼眼前に位置し、右眼に画像を視認させる。左導光板28は、画像表示部20の装着状態において使用者の左眼の眼前に位置し、左眼に画像を視認させる。

0051

前部フレーム27は、右導光板26の一端と左導光板28の一端とを互いに連結した形状を有し、この連結位置は、使用者が画像表示部20を装着する装着状態で、使用者の眉間に対応する。前部フレーム27は、右導光板26と左導光板28との連結位置において、画像表示部20の装着状態で使用者のに当接する鼻当て部を設けてもよい。この場合、鼻当て部と右保持部21及び左保持部23とにより画像表示部20を使用者の頭部に保持できる。また、右保持部21及び左保持部23に、画像表示部20の装着状態において使用者の後頭部に接するベルト(図示略)を連結してもよく、この場合、ベルトによって画像表示部20を使用者の頭部に保持できる。

0052

右表示ユニット22は、右導光板26による画像の表示に係るユニットであり、右保持部21に設けられ、装着状態において使用者の右側頭部の近傍に位置する。左表示ユニット24は、左導光板28による画像の表示に係るユニットであり、左保持部23に設けられ、装着状態において使用者の左側頭部の近傍に位置する。なお、右表示ユニット22及び左表示ユニット24を総称して単に「表示駆動部」とも呼ぶ。

0053

本実施形態の右導光板26及び左導光板28は、光透過性樹脂等によって形成される光学部であり、例えばプリズムであり、右表示ユニット22及び左表示ユニット24が出力する画像光を、使用者の眼に導く。

0054

画像表示部20は、右表示ユニット22及び左表示ユニット24がそれぞれ生成する画像光を、右導光板26及び左導光板28に導き、この画像光によって虚像を使用者に視認させることによって、画像を表示する。使用者の前方から、右導光板26及び左導光板28を透過して外光が使用者の眼に入射する場合、使用者の眼には、虚像を構成する画像光及び外光が入射することとなり、虚像の視認性が外光の強さに影響される。このため、例えば前部フレーム27に右電子シェード227及び左電子シェード247(図5)を配置し、虚像の視認のしやすさを調整できる。

0055

HMDカメラ61(外光検出部)は、画像表示部20の前部フレーム27に配設される。HMDカメラ61は、使用者が画像表示部20を装着した状態で視認する外景方向を撮像することが望ましく、前部フレーム27の前面において、右導光板26及び左導光板28を透過する外光を遮らない位置に設けられる。図3の例では、HMDカメラ61が前部フレーム27の端部ER側に配置される。HMDカメラ61は、端部EL側に配置されてもよく、右導光板26と左導光板28との連結部に配置されてもよい。

0056

HMDカメラ61は、CCDやCMOS等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、本実施形態のHMDカメラ61は単眼カメラであるが、ステレオカメラで構成してもよい。HMDカメラ61は、HMD100の表側方向、換言すれば、HMD100を装着した状態における使用者の視界方向の少なくとも一部の外景(実空間)を撮像する。別の表現では、HMDカメラ61は、使用者の視界と重なる範囲または方向を撮像し、使用者が注視する方向を撮像するということもできる。HMDカメラ61の画角の広さは適宜設定可能であるが、本実施形態では、後述するように、使用者が右導光板26及び左導光板28を通して視認する外界を含む。より好ましくは、右導光板26及び左導光板28を透過して視認可能な使用者の視界の全体を撮像できるように、HMDカメラ61の撮像範囲が設定される。
HMDカメラ61は、HMD制御部141が備える撮像制御部149の制御に従って撮像を実行し、撮像画像データーを撮像制御部149に出力する。

0057

HMD100は、予め設定された測定方向に位置する測定対象物までの距離を検出する距離センサー64を備える。距離センサー64は、例えば、使用者にとって前方に位置する測定対象物までの距離を検出する構成とすることができ、本実施形態では、前部フレーム27において右導光板26と左導光板28との連結部分に配置される。この例では、画像表示部20の装着状態において、距離センサー64の位置は、水平方向では使用者の両眼のほぼ中間であり、鉛直方向では使用者の両眼より上である。距離センサー64の測定方向は、例えば、前部フレーム27の表側方向とすることができ、言い換えればHMDカメラ61の撮像方向と重複する方向である。

0058

距離センサー64は、例えば、LEDやレーザーダイオード等の光源と、光源が発する光が測定対象物に反射する反射光受光する受光部とを有する。距離センサー64は、HMD制御部141の制御に従い、三角距処理時間差に基づく測距処理を実行すればよい。また、距離センサー64は、超音波を発する音源と、測定対象物で反射する超音波を受信する検出部とを備える構成としてもよい。この場合、距離センサー64は、HMD制御部141の制御に従い、超音波の反射までの時間差に基づき測距処理を実行すればよい。

0059

制御装置10と画像表示部20とは、接続ケーブル40により接続される。接続ケーブル40は、ケース10Aの端部に設けられるコネクター42に着脱可能に接続される。すなわち、ケース10Aには、接続ケーブル40を抜き差し可能なコネクター42が設けられ、画像表示部20を使用する場合にコネクター42に接続ケーブル40が接続される。

0060

接続ケーブル40は、左保持部23の先端から、画像表示部20の内部に設けられる各種回路に接続する。接続ケーブル40は、デジタルデーターを伝送するメタルケーブルまたは光ファイバーケーブルを有し、アナログ信号を伝送するメタルケーブルを有していてもよい。接続ケーブル40の途中には、コネクター46が設けられる。
コネクター46は、ステレオミニプラグを接続するジャックオーディオコネクター)であり、コネクター46と制御装置10とは、例えばアナログ音声信号を伝送するラインで接続される。図3に示す構成例では、ステレオヘッドホンを構成する右イヤホン32及び左イヤホン34と、マイク63とを有するヘッドセット30が、コネクター46に接続される。

0061

マイク63は、例えば図3に示すように、マイク63の集音部が使用者の視線方向を向くように配置され、音声を集音して、音声信号音声インターフェイス182(図8)に出力する。マイク63は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。

0062

制御装置10は、使用者により操作される被操作部として、トラックパッド14、上下キー15、LED表示部17、及び電源スイッチ18を備える。これらの被操作部はケース10Aの表面に配置される。これらの被操作部は、例えば、使用者の手指により操作される。

0063

トラックパッド14は、ケース10Aの前面において、使用者が指を接触させる、タッチ操作を行うための領域である。トラックパッド14は、ケース10Aの前面と同様の平面であってもよいが、トラックパッド14と、それ以外の領域とを使用者が識別できる構成であることが好ましい。例えば、トラックパッド14の縁を示す線が印刷または凹凸により形成されてもよいし、トラックパッド14が、トラックパッド14の表面の触感をそれ以外の領域と異ならせる表面加工を施されてもよい。

0064

制御装置10は、ケース10Aの前面において、後述するタッチセンサー13(図7)により、使用者によるトラックパッド14への接触操作を検出できる。制御装置10は、タッチセンサー13が接触操作を検出した場合に、操作を検出した位置を特定する。トラックパッド14は、トラックパッド14における絶対位置、或いは、相対位置を入力する操作のために使用できる。

0065

ケース10Aの前面にはLED表示部17が設置される。LED表示部17は、トラックパッド14に位置し、LED表示部17の表面は、ケース10Aの前面における他の領域と違わない。LED表示部17は、光を透過可能な透過部(図示略)を有し、透過部の直下に設置される1または複数のLEDが点灯することにより、使用者が記号等を視認できるように、発光する。図3の例では、LED表示部17のLEDが点灯することにより、3つの記号△(三角形)、○(丸)、□(四角形)が現れる。

0066

制御装置10は、LED表示部17に対する使用者の手指の接触操作を、タッチセンサー13により検出し、操作位置を特定できる。このため、例えば操作位置が、LED表示部17に現れる記号のどれに対応する位置かを特定できる。従って、LED表示部17はソフトウェアボタンとして機能する。例えば、LED表示部17に現れる記号を、HMD100の機能に対応付けることで、LED表示部17へのタッチ操作を当該機能に対する操作として検出できる。HMD100は、図3の例で、記号○(丸)をホームボタン割り当てることができる。この場合、記号○(丸)の位置に接触操作が行われると、HMD制御部141は、ホームボタンの操作を検出する。また、記号□(四角形)は履歴ボタンに割り当てることができる。この場合、記号□(四角形)の接触操作を、HMD制御部141は、履歴ボタンの操作として検出する。同様に、記号△(三角形)は戻るボタンに割り当てることができる。HMD制御部141は、記号△(三角形)の接触操作を、戻るボタンの操作として検出する。

0067

上下キー15は、ケース10Aの側面に配置され、押圧操作を検出する一対のキーを備える。上下キー15の右イヤホン32及び左イヤホン34から出力する音量増減指示入力や、画像表示部20の表示の明るさの増減の指示入力に利用される。
電源スイッチ18は、HMD100の電源のオンオフを切り替えるスイッチである。

0068

ケース10Aにおいて電源スイッチ18と同じ側の側面には、USBコネクター188(図7)が設けられる。USBコネクター188は、制御装置10を、外部の装置に接続するインターフェイスであり、本実施形態ではインターフェイスの一例として、USB規格に準拠したコネクターを例示する。USBコネクター188は、例えば、microUSB規格に適合する形状、及びサイズを有するコネクターであり、転送速度等の仕様は任意である。

0069

制御装置10は後述するようにバッテリー132(図7)を有し、バッテリー132が供給する電力により制御装置10および画像表示部20が動作する。バッテリー132への充電は、USBコネクター188に対して電力を供給することにより行うことができる。HMD100は、制御装置10と画像表示部20を取り外し、制御装置10のみを専用の充電装置に接続することで、充電を行うことができる。

0070

図4は、画像表示部20が備える光学系の構成を示す要部平面図である。図4には説明のため使用者の左眼LE及び右眼REを図示する。
図4に示すように、右表示ユニット22と左表示ユニット24とは、左右対称に構成される。使用者の右眼REに画像を視認させる構成として、右表示ユニット22は、画像光を発するOLED(Organic Light Emitting Diode)ユニット221を備える。また、OLEDユニット221が発する画像光Lを導くレンズ群等を備えた右光学系251を備える。画像光Lは、右光学系251により右導光板26に導かれる。

0071

OLEDユニット221は、OLEDパネル223と、OLEDパネル223を駆動するOLED駆動回路225とを有する。OLEDパネル223は、有機エレクトロルミネッセンスにより発光してR(赤)、G(緑)、B(青)の色光をそれぞれ発する発光素子を、マトリクス状に配置して構成される、自発光型表示パネルである。OLEDパネル223は、R、G、Bの素子を1個ずつ含む単位を1画素として、複数の画素を備え、マトリクス状に配置される画素により画像を形成する。OLED駆動回路225は、HMD制御部141の制御に従って、OLEDパネル223が備える発光素子の選択及び発光素子への通電を実行して、OLEDパネル223の発光素子を発光させる。OLED駆動回路225は、OLEDパネル223の裏面すなわち発光面の裏側に、ボンディング等により固定される。OLED駆動回路225は、例えばOLEDパネル223を駆動する半導体デバイスで構成され、OLEDパネル223の裏面に固定される基板(図示略)に実装されてもよい。この基板には温度センサー69(図7)が実装される。
なお、OLEDパネル223は、白色に発光する発光素子をマトリクス状に配置し、R、G、Bの各色に対応するカラーフィルターを重ねて配置する構成であってもよい。また、R、G、Bの色光をそれぞれ放射する発光素子に加え、W(白)の光を発する発光素子を備えるWRGB構成のOLEDパネル223を用いてもよい。

0072

右光学系251は、OLEDパネル223から射出された画像光Lを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Lは、右導光板26に入射する。右導光板26の内部において光を導く光路には、画像光Lを反射する複数の反射面が形成される。画像光Lは、右導光板26の内部で複数回の反射を経て右眼RE側に導かれる。右導光板26には、右眼REの眼前に位置するハーフミラー261(反射面)が形成される。画像光Lは、ハーフミラー261で反射して右眼REに向けて右導光板26から射出され、この画像光Lが右眼REの網膜に像を結び、使用者に画像を視認させる。

0073

また、使用者の左眼LEに画像を視認させる構成として、左表示ユニット24は、画像光を発するOLEDユニット241と、OLEDユニット241が発する画像光Lを導くレンズ群等を備えた左光学系252とを備える。画像光Lは、左光学系252により左導光板28に導かれる。

0074

OLEDユニット241は、OLEDパネル243と、OLEDパネル243を駆動するOLED駆動回路245とを有する。OLEDパネル243は、OLEDパネル223と同様に構成される自発光型の表示パネルである。OLED駆動回路245は、HMD制御部141の制御に従って、OLEDパネル243が備える発光素子の選択及び発光素子への通電を実行して、OLEDパネル243の発光素子を発光させる。OLED駆動回路245は、OLEDパネル243の裏面すなわち発光面の裏側に、ボンディング等により固定される。OLED駆動回路245は、例えばOLEDパネル243を駆動する半導体デバイスで構成され、OLEDパネル243の裏面に固定される基板(図示略)に実装されてもよい。この基板には、温度センサー239が実装される。

0075

左光学系252は、OLEDパネル243から射出された画像光Lを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Lは、左導光板28に入射する。左導光板28は、画像光Lを反射する複数の反射面が形成された光学素子であり、例えばプリズムである。画像光Lは、左導光板28の内部で複数回の反射を経て左眼LE側に導かれる。左導光板28には、左眼LEの眼前に位置するハーフミラー281(反射面)が形成される。画像光Lは、ハーフミラー281で反射して左眼LEに向けて左導光板28から射出され、この画像光Lが左眼LEの網膜に像を結び、使用者に画像を視認させる。

0076

この構成によれば、HMD100は、シースルー型の表示装置として機能する。すなわち、使用者の右眼REには、ハーフミラー261で反射した画像光Lと、右導光板26を透過した外光OLとが入射する。また、左眼LEには、ハーフミラー281で反射した画像光Lと、ハーフミラー281を透過した外光OLとが入射する。このように、HMD100は、内部で処理した画像の画像光Lと外光OLとを重ねて使用者の眼に入射させ、使用者にとっては、右導光板26及び左導光板28を透かして外景が見え、この外景に重ねて、画像光Lによる画像が視認される。
ハーフミラー261、281は、右表示ユニット22及び左表示ユニット24がそれぞれ出力する画像光を反射して画像を取り出す画像取り出し部であり、表示部ということができる。

0077

なお、左光学系252と左導光板28とを総称して「左導光部」とも呼び、右光学系251と右導光板26とを総称して「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。

0078

また、画像表示部20は、右電子シェード227及び左電子シェード247を備える。右電子シェード227は、シェード駆動部228(図6)と、液晶パネル229とを備える。左電子シェード247は、シェード駆動部248(図6)と、液晶パネル249とを備える。液晶パネル229及び249は、透過率調整板ともいうことができる。
右電子シェード227の液晶パネル229は、右導光板26の前面側、すなわち、使用者の頭部の側とは反対側に設けられる。図2には、液晶パネル229を、右導光板26から離して配置した状態を示すが、液晶パネル229は、右導光板26の表面に貼り付けられる。液晶パネル229は、画像表示部20の右導光板26に重ねて配置される。
左電子シェード247の液晶パネル249は、左導光板28の前面側、すなわち、使用者の頭部の側とは反対側に設けられる。図2には、液晶パネル249を、左導光板28から離して配置した状態を示すが、液晶パネル249は、左導光板28の表面に貼り付けられる。液晶パネル249は、画像表示部20の左導光板28に重ねて配置される。

0079

液晶パネル229及び249は、複数の画素をマトリクス状に配置した透過型の液晶パネルである。液晶パネル229及び249は、TN(twisted nematic)液晶ゲストホスト液晶、PDLC(Polymer Dispersed Liquid Crystal)、エレクトロクロミックガスクロミックのいずれかの液晶により構成される。

0080

液晶パネル229及び249は、供給電圧の増減により、外部から使用者の眼REに導かれる外光の透過率画素単位で増減させる。本実施形態の右電子シェード227及び左電子シェード247は、供給電圧なしの状態では外光の透過率が100%となり、供給電圧が最大の状態では外光の透過率が0%(遮断)される。

0081

図5及び図6は、画像表示部20の要部構成を示す図である。図5は、画像表示部20を使用者の頭部側から見た要部斜視図である。なお、図5では接続ケーブル40の図示を省略する。図6はHMDカメラ61の画角の説明図である。

0082

図5は、画像表示部20の使用者の頭部に接する側、言い換えれば使用者の右眼RE及び左眼LEに見える側である。別の言い方をすれば、右導光板26及び左導光板28の裏側が見えている。
図5では、使用者の右眼REに画像光を照射するハーフミラー261、及び、左眼LEに画像光を照射するハーフミラー281が、略四角形の領域として見える。また、ハーフミラー261、281を含む右導光板26及び左導光板28の全体が、上述したように外光を透過する。このため、使用者には、右導光板26及び左導光板28の全体を透過して外景が視認され、ハーフミラー261、281の位置に矩形の表示画像が視認される。

0083

HMDカメラ61は、上記のように画像表示部20において右側の端部に配置され、使用者の両眼が向く方向、すなわち使用者にとって前方を撮像する。図6は、HMDカメラ61の位置を、使用者の右眼RE及び左眼LEとともに平面視で模式的に示す図である。HMDカメラ61の画角(撮像範囲)をCで示す。なお、図6には水平方向の画角Cを示すが、HMDカメラ61の実際の画角は一般的なデジタルカメラと同様に上下方向にも拡がる。

0084

HMDカメラ61の光軸は、右眼RE及び左眼LEの視線方向を含む方向とされる。使用者がHMD100を装着した状態で視認できる外景は、無限遠とは限らない。例えば図6に示すように、使用者が両眼で対象物OBを注視すると、使用者の視線は、図中符号RD、LDに示すように対象物OBに向けられる。この場合、使用者から対象物OBまでの距離は、30cm〜10m程度であることが多く、1m〜4m程度であることが、より多い。そこで、HMD100について、通常使用時における使用者から対象物OBまでの距離の上限、及び下限の目安を定めてもよい。この目安は調査実験により求めてもよいし使用者が設定してもよい。HMDカメラ61の光軸、及び画角は、通常使用時における対象物OBまでの距離が、設定された上限の目安に相当する場合、及び、下限の目安に相当する場合に、この対象物OBが画角に含まれるように、設定されることが好ましい。

0085

また、一般に、人間の視野角は水平方向におよそ200度、垂直方向におよそ125度とされ、そのうち情報受容能力に優れる有効視野は水平方向に30度、垂直方向に20度程度である。さらに、人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に60〜90度、垂直方向に45度〜70度程度とされている。この場合、注視点が、図6の対象物OBであるとき、視線RD、LDを中心として水平方向に30度、垂直方向に20度程度が有効視野である。また、水平方向に60〜90度、垂直方向に45度〜70度程度が安定注視野であり、水平方向に約200度、垂直方向に約125度が視野角となる。さらに、使用者が画像表示部20を透過して右導光板26及び左導光板28を透過して視認する実際の視野を、実視野(FOV:Field Of View)と呼ぶことができる。図3に示す本実施形態の構成で、実視野は、右導光板26及び左導光板28を透過して使用者が視認する実際の視野に相当する。実視野は、視野角及び安定注視野より狭いが、有効視野より広い。

0086

HMDカメラ61の画角Cは、使用者の視野よりも広い範囲を撮像可能であることが好ましく、具体的には、画角Cが、少なくとも使用者の有効視野よりも広いことが好ましい。また、画角Cが、使用者の実視野よりも広いことが、より好ましい。さらに好ましくは、画角Cが、使用者の安定注視野よりも広く、最も好ましくは、画角Cが使用者の両眼の視野角よりも広い。

0087

HMDカメラ61が、撮像レンズとして、いわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよいし、単焦点レンズであってもズームレンズであってもよく、複数のレンズからなるレンズ群をHMDカメラ61が備える構成であってもよい。

0088

また、距離センサー64は、右導光板26と左導光板28との中央において、前方を向いて配置される。例えば、距離センサー64は、画像表示部20の中央位置から、図6に示す対象物OBのように、使用者の正面方向に位置する物体までの距離を検出可能に構成される。HMD100を装着した使用者は、注視する方向に頭を向けるので、注視する対象は画像表示部20の正面にあると考えることができる。このため、画像表示部20の中央に配置された距離センサー64が、画像表示部20の正面を検出方向64Aとすれば、使用者が注視する対象までの距離を検出できる。

0089

また、図5に示すように、画像表示部20の使用者側には内側カメラ68が配置される。内側カメラ68は、使用者の右眼RE、及び、左眼LEのそれぞれに対応するように、右導光板26と左導光板28との中央位置に一対、設けられる。内側カメラ68は、使用者の右眼REと左眼LEとをそれぞれ撮像する一対のカメラである。内側カメラ68は、HMD制御部141の制御に従って撮像を行う。HMD制御部141は、内側カメラ68の撮像画像データーを解析する。例えば、HMD制御部141は、内側カメラ68の撮像画像データーから右眼RE及び左眼LEの眼球表面における反射光や瞳孔の画像を検出し、使用者の視線方向を特定する。また、HMD制御部141は、使用者の視線方向の変化を求めることができ、右眼RE及び左眼LEのそれぞれの眼球運動を検出してもよい。
ここで、使用者の視線の移動は、使用者の仮想視点の移動とみることもできる。

0090

また、HMD制御部141は、内側カメラ68の撮像画像データーから使用者の右眼RE及び左眼LEの瞼(眼瞼)の画像を抽出して、眼瞼運動を検出してもよく、眼瞼の状態を検出してもよい。本実施形態では画像表示部20が一対の内側カメラ68、68を備える構成を例示するが、例えば、1つの内側カメラ68を、画像表示部20の中央位置に設けてもよい。この場合、1つの内側カメラ68が、右眼RE及び左眼LEを撮像できる画角を有することが好ましいが、例えば、右眼REまたは左眼LEの一方のみを内側カメラ68により撮像してもよい。すなわち、右眼REまたは左眼LEのいずれか一方の視線方向、眼球運動、眼瞼運動、眼瞼の状態等をHMD制御部141が検出する構成としてもよい。

0091

また、HMD制御部141は、内側カメラ68の撮像画像から右眼RE及び左眼LEの視線方向を検出した場合に、右眼RE及び左眼LEの輻輳角を求めることができる。図6には輻輳角を符号PAで示す。輻輳角PAは、使用者が注視する対象物OBまでの距離に対応する。すなわち、使用者が立体的に画像や物体を視認する場合、視認する対象までの距離に対応して、右眼RE及び左眼LEの輻輳角が定まる。従って、輻輳角を検出することで、使用者が注視する距離を求めることができる。また、使用者の輻輳角を誘導するように画像を表示することにより、立体視を誘導できる。

0092

輻輳角は、例えば、内側カメラ68の撮像画像データーから求めることができる。例えば、内側カメラ68に撮像画像データーから右眼REの視線方向を求め、この視線方向から、右眼REの正面方向に対する右眼REの視線方向の角度LAを求める。同様に、内側カメラ68の撮像画像データーから左眼LEの視線方向を求め、この視線方向に基づき、左眼LEの正面方向に対する左眼LEの視線方向の角度RAを求める。輻輳角PAは、角度LA、RAの和に等しく、容易に輻輳角PAを求めることができる。

0093

図7は、HMD100を構成する各部の構成を示すブロック図である。
制御装置10は、プログラムを実行してHMD100を制御するメインプロセッサー140を備える。メインプロセッサー140には、メモリー118及び不揮発性記憶部121が接続される。また、メインプロセッサー140には、入力装置として操作部110が接続される。また、メインプロセッサー140には、センサー類として、6軸センサー111、磁気センサー113、及び、GPS115が接続される。また、メインプロセッサー140には、HMD通信部117、音声コーデック180、外部コネクター184、外部メモリーインターフェイス186、USBコネクター188、センサーハブ192、及び、FPGA194が接続される。これらは外部とのインターフェイスとして機能する。

0094

メインプロセッサー140は、制御装置10が内蔵するコントローラー基板120に実装される。コントローラー基板120には、メインプロセッサー140に加えて、メモリー118、不揮発性記憶部121等が実装されてもよい。本実施形態では、6軸センサー111、磁気センサー113、GPS115、HMD通信部117、メモリー118、不揮発性記憶部121、音声コーデック180等がコントローラー基板120に実装される。また、外部コネクター184、外部メモリーインターフェイス186、USBコネクター188、センサーハブ192、FPGA194、及びインターフェイス196をコントローラー基板120に実装した構成であってもよい。

0095

メモリー118は、メインプロセッサー140がプログラムを実行する場合に、実行されるプログラム、及び、処理されるデーターを一時的に記憶するワークエリアを構成する。不揮発性記憶部121は、フラッシュメモリーやeMMC(embedded Multi Media Card)で構成される。不揮発性記憶部121は、メインプロセッサー140が実行するプログラムや、メインプロセッサー140がプログラムを実行して処理する各種データーを記憶する。

0096

メインプロセッサー140は、操作部110から入力される操作信号に基づいて、トラックパッド14の操作面に対する接触操作を検出し、操作位置を取得する。
操作部110は、ボタン11、タッチセンサー13、およびLED表示部17を含む。タッチセンサー13は、トラックパッド14へのタッチ操作を検出し、検出したタッチ操作の操作位置を特定する。この場合、操作部110は、トラックパッド14におけるタッチ位置を示すデーターを含む操作信号をメインプロセッサー140に出力する。ボタン11の操作が行われた場合、及び、タッチセンサー13がタッチ操作を検出した場合、操作部110からメインプロセッサー140に対し、操作信号が出力される。
LED表示部17は、トラックパッド14(図3)の直下に配置されるLED(図示略)、及び、このLEDを点灯させる駆動回路を含む。LED表示部17は、メインプロセッサー140の制御に従って、LEDを点灯、点滅、消灯させる。

0097

6軸センサー111は、3軸加速度センサー、及び、3軸ジャイロ(角速度)センサーを備えるモーションセンサー(慣性センサー)である。6軸センサー111は、上記のセンサーがモジュール化されたIMU(Inertial Measurement Unit)を採用してもよい。
磁気センサー113は、例えば、3軸の地磁気センサーである。
GPS(Global Positioning System)115は、図示しないGPSアンテナを備え、GPS衛星から送信される無線信号を受信して、制御装置10の現在位置の座標を検出する。
6軸センサー111、磁気センサー113及びGPS115は、検出値を、予め指定されたサンプリング周期に従ってメインプロセッサー140に出力する。或いは、6軸センサー111、磁気センサー113及びGPS115は、メインプロセッサー140の要求に応じて、メインプロセッサー140により指定されたタイミングで、検出値をメインプロセッサー140に出力する。

0098

HMD通信部117(画像取得部)は、外部の機器との間で無線通信を実行する。本実施形態では、通信部117は、他のHMD100が備えるHMD通信部117と無線通信を実行する。HMD通信部117は、アンテナ、RF回路、ベースバンド回路、通信制御回路等を備えて構成され、或いはこれらが統合されたデバイスで構成される。HMD通信部117は、例えば、Bluetooth、無線LAN(Wi−Fiを含む)等の規格に準拠した無線通信を行う。

0099

HMD通信部117は、移動機310が備える移動機通信部343と無線通信を行う。この構成において、HMD通信部117が通信に使用する周波数帯通信方式は、移動機通信部343と通信できるよう適宜選択されればよい。従って、HMD通信部117は、移動機通信部343と同様、ラジコン用の周波数である27MHz帯、40MHz帯、2.4GHz帯等で無線通信を実行する。或いは、移動機通信部343は、Bluetooth、無線LAN(Wi−Fiを含む)等の規格に準拠した無線通信を行う。
HMD100は、HMD通信部117とは別の通信部(図示略)を備え、この通信部によって移動機通信部343と通信を行う構成としてもよい。

0100

HMD100Aが備えるHMD通信部117は、移動機310Aと通信を実行する。同様に、HMD100Bが備えるHMD通信部117は移動機310Bと通信し、HMD100Cが備えるHMD通信部117は移動機310Cと通信する。
また、HMD通信部117は、他のHMD100が備えるHMD通信部117と通信を実行することも可能である。このため、後述するように、移動機複合制御システム1を構成するHMD100A、100B、100Cが相互にデーターを送受信することができる。さらに、HMD100AのHMD通信部117は、移動機310Aに限らず、移動機310B、310Cに対してコマンド等を含むデーターを送信可能であってもよい。HMD100B、100Cも同様に、移動機310A、310B、310Cに対しデーターを送信可能であってもよい。この場合、例えば、HMD100Aから移動機310B、310Cに対し移動機310Aの位置情報を送信し、過度の接近を回避する動作を行わせてもよい。

0101

音声インターフェイス182は、音声信号を入出力するインターフェイスである。本実施形態では、音声インターフェイス182は、接続ケーブル40に設けられたコネクター46(図3)を含む。音声コーデック180は、音声インターフェイス182に接続され、音声インターフェイス182を介して入出力される音声信号のエンコードデコードを行う。また、音声コーデック180はアナログ音声信号からデジタル音声データーへの変換を行うA/Dコンバーター、及び、その逆の変換を行うD/Aコンバーターを備えてもよい。例えば、本実施形態のHMD100は、音声を右イヤホン32及び左イヤホン34により出力し、マイク63で集音する。音声コーデック180は、メインプロセッサー140が出力するデジタル音声データーをアナログ音声信号に変換して、音声インターフェイス182を介して出力する。また、音声コーデック180は、音声インターフェイス182に入力されるアナログ音声信号をデジタル音声データーに変換してメインプロセッサー140に出力する。

0102

外部コネクター184は、メインプロセッサー140と通信する外部の装置を接続するコネクターである。外部コネクター184は、例えば、外部の装置をメインプロセッサー140に接続して、メインプロセッサー140が実行するプログラムのデバッグや、HMD100の動作のログ収集を行う場合に、この外部の装置を接続するインターフェイスである。
外部メモリーインターフェイス186は、可搬型メモリーデバイス接続可能なインターフェイスであり、例えば、カード型記録媒体を装着してデーターの読取が可能なメモリーカードスロットインターフェイス回路とを含む。この場合のカード型記録媒体のサイズ、形状、規格は制限されず、適宜に変更可能である。

0103

USBコネクター188は、USB規格に準拠したコネクターとインターフェイス回路とを備え、USBメモリーデバイススマートフォン、コンピューター等を接続できる。USBコネクター188のサイズや形状、適合するUSB規格のバージョンは適宜に選択、変更可能である。

0104

また、HMD100は、バイブレーター19を備える。バイブレーター19は、モーター(図示略)、偏心した回転子(図示略)等を備え、メインプロセッサー140の制御に従って振動を発生する。HMD100は、例えば、操作部110に対する操作を検出した場合、HMD100の電源がオン/オフされる場合等に、所定の振動パターンでバイブレーター19により振動を発生する。

0105

センサーハブ192及びFPGA194は、インターフェイス(I/F)196を介して、画像表示部20を接続される。センサーハブ192は、画像表示部20が備える各種センサーの検出値を取得してメインプロセッサー140に出力する。また、FPGA194は、メインプロセッサー140と画像表示部20の各部との間で送受信するデーターの処理、及び、インターフェイス196を介した伝送を実行する。

0106

画像表示部20の右表示ユニット22及び左表示ユニット24は、それぞれ、制御装置10に接続される。図3に示すように、HMD100では左保持部23に接続ケーブル40が接続され、この接続ケーブル40に繋がる配線が画像表示部20内部に敷設され、右表示ユニット22と左表示ユニット24のそれぞれが制御装置10に接続される。

0107

右表示ユニット22は、表示ユニット基板210を有する。表示ユニット基板210には、インターフェイス196に接続されるインターフェイス(I/F)211、インターフェイス211を介して制御装置10から入力されるデーターを受信する受信部(Rx)213、及び、EEPROM215が実装される。
インターフェイス211は、受信部213、EEPROM215、温度センサー217、HMDカメラ61、照度センサー65、LEDインジケーター67、及びシェード駆動部228を、制御装置10に接続する。

0108

EEPROM(Electrically Erasable Programmable ROM)215は、各種のデーターをメインプロセッサー140が読み取り可能に記憶する。EEPROM215は、例えば、画像表示部20が備えるOLEDユニット221、241の発光特性表示特性に関するデーター、右表示ユニット22または左表示ユニット24が備えるセンサーの特性に関するデーターなどを記憶する。具体的には、OLEDユニット221、241のガンマ補正に係るパラメーター、温度センサー217、239の検出値を補償するデーター等を記憶する。これらのデーターは、HMD100の工場出荷時の検査によって生成され、EEPROM215に書き込まれ、出荷後はメインプロセッサー140がEEPROM215のデーターを利用して処理を行える。

0109

HMDカメラ61は、インターフェイス211を介して入力される信号に従って撮像を実行し、撮像画像データー、或いは、撮像結果を示す信号を制御装置10に出力する。
照度センサー65(外光検出部)は、図3に示すように、前部フレーム27の端部ERに設けられ、画像表示部20を装着する使用者の前方からの外光を受光するよう配置される。照度センサー65は、受光量(受光強度)に対応する検出値を出力する。
LEDインジケーター67は、図3に示すように、前部フレーム27の端部ERにおいてHMDカメラ61の近傍に配置される。LEDインジケーター67は、HMDカメラ61による撮像を実行中に点灯して、撮像中であることを報知する。

0110

温度センサー217は、温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値として出力する。温度センサー217は、OLEDパネル223(図3)の裏面側に実装される。温度センサー217は、例えばOLED駆動回路225と同一の基板に実装されてもよい。この構成により、温度センサー217は、主としてOLEDパネル223の温度を検出する。

0111

内側カメラ68は、インターフェイス211を介して制御装置10から入力される信号に従って撮像を実行し、撮像画像データー、或いは、撮像結果を示す信号を制御装置10に出力する。図4には1つの内側カメラ68を図示するが、図3(A)に示す一対の内側カメラ68、68が同時に動作してもよい。また、一対の内側カメラ68、68のそれぞれが、インターフェイス211に接続され、独立して動作する構成であってもよい。

0112

距離センサー64は、インターフェイス211を介して制御装置10から入力される信号に従って距離検出を実行し、検出結果を示す信号を制御装置10に出力する。図4には1つの距離センサー64を図示するが、図3(A)に示す一対の距離センサー64、64が同時に動作してもよい。また、一対の距離センサー64、64のそれぞれが、インターフェイス211に接続され、独立して動作する構成であってもよい。

0113

シェード駆動部228は、メインプロセッサー140に従って、右電子シェード227に供給される電圧を制御し、右電子シェード227の外光の透過率を画素単位で増減させる。

0114

受信部213は、インターフェイス211を介してメインプロセッサー140が送信するデーターを受信する。受信部213は、OLEDユニット221で表示する画像の画像データーを受信した場合に、受信した画像データーを、OLED駆動回路225(図2)に出力する。

0115

左表示ユニット24は、表示ユニット基板210を有する。表示ユニット基板210には、インターフェイス196に接続されるインターフェイス(I/F)231、インターフェイス231を介して制御装置10から入力されるデーターを受信する受信部(Rx)233が実装される。また、表示ユニット基板210には、6軸センサー235(動きセンサー)、及び、磁気センサー237が実装される。
インターフェイス231は、受信部233、6軸センサー235、磁気センサー237、温度センサー239、及びシェード駆動部248を、制御装置10に接続する。

0116

6軸センサー235は、3軸加速度センサー、及び、3軸ジャイロ(角速度)センサーを備えるモーションセンサー(慣性センサー)である。6軸センサー235は、上記のセンサーがモジュール化されたIMU(Inertial Measurement Unit)を採用してもよい。
磁気センサー237は、例えば、3軸の地磁気センサーである。

0117

温度センサー239は、温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値として出力する。温度センサー239は、OLEDパネル243(図3)の裏面側に実装される。温度センサー239は、例えばOLED駆動回路245と同一の基板に実装されてもよい。この構成により、温度センサー239は、主としてOLEDパネル243の温度を検出する。
また、温度センサー239が、OLEDパネル243或いはOLED駆動回路245に内蔵されてもよい。また、上記基板は半導体基板であってもよい。具体的には、OLEDパネル243が、Si−OLEDとして、OLED駆動回路245等とともに統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー239を実装してもよい。

0118

シェード駆動部248は、メインプロセッサー140に従って、左電子シェード247に供給する電圧を制御し、左電子シェード247の外光の透過率を画素単位で増減させる。

0119

右表示ユニット22が備えるHMDカメラ61、距離センサー64、照度センサー65、内側カメラ68、温度センサー217、左表示ユニット24が備える6軸センサー235、磁気センサー237、温度センサー239は、センサーハブ192に接続される。センサーハブ192は、メインプロセッサー140の制御に従って各センサーのサンプリング周期の設定及び初期化を行う。センサーハブ192は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データーの送信、検出値の取得等を実行する。また、センサーハブ192は、予め設定されたタイミングで、右表示ユニット22及び左表示ユニット24が備える各センサーの検出値を、メインプロセッサー140に出力する。センサーハブ192は、各センサーの検出値を、メインプロセッサー140に対する出力のタイミングに合わせて一時的に保持する機能を備えてもよい。また、センサーハブ192は、各センサーの出力値信号形式、或いはデーター形式相違に対応し、統一されたデーター形式のデーターに変換して、メインプロセッサー140に出力する機能を備えてもよい。
また、センサーハブ192は、メインプロセッサー140の制御に従ってLEDインジケーター67への通電を開始及び停止させ、HMDカメラ61が撮像を開始及び終了するタイミングに合わせて、LEDインジケーター67を点灯または点滅させる。

0120

制御装置10は、電源部130を備え、電源部130から供給される電力により動作する。電源部130は充電可能なバッテリー132、及び、バッテリー132の残容量の検出およびバッテリー132への充電の制御を行う電源制御回路134を備える。電源制御回路134はメインプロセッサー140に接続され、バッテリー132の残容量の検出値、或いは電圧の検出値をメインプロセッサー140に出力する。また、電源部130が供給する電力に基づき、制御装置10から画像表示部20に電力を供給してもよい。また、電源部130から制御装置10の各部及び画像表示部20への電力の供給状態を、メインプロセッサー140が制御可能な構成としてもよい。

0121

HMD100は、コンテンツ供給元となる種々の外部機器を接続するインターフェイス(図示略)を備えてもよい。例えば、USBインターフェイスマイクロUSBインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスであってもよく、無線通信インターフェイスで構成してもよい。この場合の外部機器は、HMD100に画像を供給する画像供給装置であり、パーソナルコンピューター(PC)、携帯電話端末携帯型ゲーム機等が用いられる。この場合、HMD100は、これらの外部機器から入力されるコンテンツデーターに基づく画像や音声を出力できる。

0122

図8は、制御装置10の制御系を構成するHMD記憶部170、及びHMD制御部141の機能ブロック図である。図8に示すHMD記憶部170は、不揮発性記憶部121(図7)により構成される論理的な記憶部であり、EEPROM215を含んでもよい。また、HMD制御部141、及び、HMD制御部141が有する各種の機能部は、メインプロセッサー140がプログラムを実行することによって、ソフトウェアハードウェアとの協働により形成される。HMD制御部141、及びHMD制御部141を構成する各機能部は、例えば、メインプロセッサー140、メモリー118、及び不揮発性記憶部121により構成される。

0123

HMD制御部141は、HMD記憶部170が記憶するデーターを利用して各種処理を実行し、HMD100を制御する。
HMD記憶部170は、HMD制御部141が処理する各種のデーターを記憶する。HMD記憶部170は、設定データー171、表示設定データー172、撮像画像データー173、移動機識別データー174、及び、移動エリアデーター175を記憶する。

0124

また、HMD記憶部170は、画像表示部20により表示可能な画像や映像を含むコンテンツを含むコンテンツデーターを記憶してもよい。

0125

設定データー171は、HMD100の動作に係る各種の設定値を含む。また、HMD制御部141がHMD100を制御する際にパラメーター、行列式演算式、LUT(LookUp Table)等を用いる場合、これらを設定データー171に含めてもよい。

0126

表示設定データー172は、画像表示部20により表示する画像に関するデーターであり、詳細には、使用者が移動機310を操縦する場合の画像の表示態様に関する設定を含む。
表示設定データー172は、例えば、移動機310からHMD通信部117が受信した画像データーを画像表示部20に表示する場合の表示サイズ、表示位置等の情報を含む。HMD制御部141は、画像表示部20にアイコンウィジェットメニュー画面等のように、特定の機能が割り当てられた画像や領域を表示することが可能であり、これらを用いてGUI(Graphical User Interface)を実現できる。表示設定データー172は、これらの表示の要否や表示位置等に関する情報を含んでもよいし、これらを表示するための画像データーを含んでもよい。

0127

撮像画像データー173は、移動機310から受信された画像データーである。HMD制御部141は、移動機310から受信した画像データーを、撮像画像データー173としてHMD記憶部170に記憶させる。

0128

ここで、HMD100AのHMD制御部141は、移動機310Aから受信する撮像画像データーを撮像画像データー173として記憶する。また、上述したように、HMD100A、100B、100Cは相互にデーター通信可能であり、例えば、移動機310A、310B、310Cがそれぞれ移動機カメラ335により撮像した撮像画像データーを送受信できる。この場合、HMD100A、100B、100Cは、他のHMD100から受信した撮像画像データーを、撮像画像データー173として記憶する。具体的には、HMD100Aは、HMD100B、100Cから、移動機310B、310Cの撮像画像データーを受信した場合、撮像画像データー173として記憶する。HMD100B、100Cも同様である。

0129

移動機識別データー174は、制御装置10が通信する移動機310を識別する情報を含む。移動機識別データー174は、移動機310の機種名、型番メーカー名、製造番号、製造時に設定された固有のID等を含んでもよい。或いは、移動機識別データー174は、使用者が設定した移動機310のID等の識別情報を含んでもよい。HMD100A、100B、100Cは、それぞれ、移動機識別データー174を利用して、移動機310A、310B、310Cを識別できる。

0130

移動機識別データー174は、HMD100が移動機制御システム300を認証するために用いる認証用の情報を含んでもよい。また、移動機識別データー174は、制御装置10がHMD通信部117により移動機310と通信する場合、通信に必要な情報を含んでもよい。具体的には、ネットワークアドレスネットワークID、パスワード等の通信用認証情報等を含んでもよい。

0131

移動エリアデーター175は、移動機310を移動(飛行)させる領域として予め設定された移動エリアに関する情報を含む。例えば、移動エリアは、移動機310A、310B、310Cが移動(飛行)する領域(空域、地域)を含み、移動エリアデーター175は、この空域や地域を含む地図データーである。また、移動エリアデーター175は、平面位置に関するデーターに限らず、高度に関するデーターを含んでもよい。
移動エリアデーター175に含まれるデーターと、移動機310A、310B、310Cの位置とは、実空間における絶対的な位置を示すことが可能な、緯度や経度で対応付けることが可能である。また、実空間に設定される基準位置に対する相対的な位置により対応付けることが可能であってもよい。

0132

HMD制御部141は、オペレーティングシステム(OS)143、画像処理部145、表示制御部147、撮像制御部149、検出制御部151、通信制御部153、位置推定部155、操作検出部157、及び、コマンド生成部159の機能を有する。
オペレーティングシステム143の機能は、HMD記憶部170が記憶する制御プログラムの機能であり、その他のHMD制御部141の各部は、オペレーティングシステム143上で実行されるアプリケーションプログラムの機能である。

0133

画像処理部145は、画像表示部20により表示する画像または映像の画像データーに基づいて、右表示ユニット22及び左表示ユニット24に送信する信号を生成する。画像処理部145が生成する信号は、垂直同期信号水平同期信号クロック信号アナログ画像信号等であってもよい。

0134

また、画像処理部145は、必要に応じて、画像データーの解像度を右表示ユニット22及び左表示ユニット24に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部145は、画像データーの輝度や彩度を調整する画像調整処理、3D画像データーから2D画像データーを作成し、或いは2D画像データーから3D画像データーを生成する2D/3D変換処理等を実行してもよい。画像処理部145は、これらの画像処理を実行した場合、処理後の画像データーに基づき画像を表示するための信号を生成して、接続ケーブル40を介して画像表示部20に送信する。

0135

表示制御部147は、右表示ユニット22及び左表示ユニット24を制御する制御信号を生成し、この制御信号により、右表示ユニット22及び左表示ユニット24のそれぞれによる画像光の生成及び射出を制御する。具体的には、表示制御部147は、OLED駆動回路225、245を制御して、OLEDパネル223、243による画像の表示を実行させる。表示制御部147は、画像処理部145が出力する信号に基づきOLED駆動回路225、245がOLEDパネル223、243に描画するタイミングの制御、OLEDパネル223、243の輝度の制御等を行う。

0136

また、表示制御部147は、表示設定データー172に基づき、画像表示部20により各種の画像を表示させる。例えば、表示制御部147は、表示設定データー172の設定に従ってアイコン、ウィジェット、メニュー等を表示させる。

0137

また、表示制御部147は、画像表示部20が表示する画像の視認性を調整する処理を実行する。この処理を、以下の説明において画像表示制御(視認性制御処理)と呼ぶ。画像表示制御で、表示制御部147は、画像表示部20が表示する画像に係る画像データーの輝度調整、色調調整、ガンマ補正の少なくともいずれかを実行する。また、画像表示制御において、表示制御部147は、画像データーに係る上記処理に加えて、或いは上記処理に代えて、右電子シェード229及び左電子シェード249の透過率(透光率)を調整してもよい。

0138

表示制御部147は、画像表示制御において、画像表示部20を透過して使用者の視界に入射する外光OLの光量を検出する。具体的な外光OLの光量の検出方法としては、照度センサー65の検出値を用いる方法や、HMDカメラ61の撮像画像の輝度及びHMDカメラ61の露光量を用いる方法が挙げられる。表示制御部147は、検出制御部151が取得する照度センサー65の検出値に基づき、外光OLの光量を判定し、判定した外光OLの光量に対応して、画像表示部20が表示する画像の視認性を実現するように、画像表示制御を行う。また、表示制御部147は、撮像制御部149の制御によりHMDカメラ61が撮像する撮像画像データーの輝度と、この撮像画像データーの撮像時における露光量の設定値とに基づき、外光OLの光量を判定する。

0139

また、表示制御部147は、画像表示制御において、複数の画像データーに基づき複数の画像を画像表示部20に表示する場合に、表示される複数の画像の視認性を調和させる処理を行うこともできる。この場合、表示制御部147は、画像表示部20により表示させる複数の画像に係る画像データーの視認性を判定し、視認性を揃えるように処理する。つまり、表示制御部147は、複数の移動機310A、310B、310Cが撮像した撮像画像を、各々の画像の視認性の差が小さくなるように画像表示制御を行う。或いは、表示制御部147は、いずれか一部の画像の視認性を他の画像より高めるように処理を行う。表示制御部147が実行する処理は、例えば、上述した画像データーの輝度調整、色調調整、ガンマ補正の少なくともいずれかであってもよい。

0140

例えば、HMD100Aが、移動機310A、310B、310Cが撮像した撮像画像データーをそれぞれ取得して画像表示部20に表示する場合、表示制御部147は、移動機310A、310B、310Cの各々の撮像画像データーに基づき画像を表示する。表示制御部147は、これらの複数の画像の視認性を揃えるように、或いは、いずれか一部の画像の視認性を他の画像より高めるように、画像表示制御を行う。これにより、HMD100Aは、移動機310A、310B、310Cの撮像画像を、画像の視認性が揃った状態で、或いは、一部の画像が他の画像より視認しやすい状態で、表示できる。

0141

表示制御部147は、メインプロセッサー140がプログラムを実行して実現される構成のほか、メインプロセッサー140とは別のハードウェア(例えば、DSP(Digital Signal Processor))で構成してもよい。

0142

撮像制御部149は、HMDカメラ61を制御して撮像を実行させ、撮像画像データーを生成し、HMD記憶部170に一時的に記憶する。また、HMDカメラ61が撮像画像データーを生成する回路を含むカメラユニットとして構成される場合、撮像制御部149は撮像画像データーをHMDカメラ61から取得して、HMD記憶部170に一時的に記憶する。

0143

また、撮像制御部149は、内側カメラ68を制御して使用者の右眼RE及び左眼LEを撮像してもよい。この場合、HMD制御部141は、撮像制御部149の制御に従って内側カメラ68が撮像する撮像画像データーを解析して、使用者の右眼RE及び左眼LEの運動を検出してもよい。この場合、HMD制御部141は、右眼RE及び左眼LEのそれぞれ、或いは、いずれか一方について、動き方向、及び、動き量等を求めてもよい。

0144

検出制御部151は、HMD100が備える各種センサーの検出値を取得する。検出制御部151が制御するセンサーは、例えば、6軸センサー111、磁気センサー113、温度センサー217、6軸センサー235、磁気センサー237、距離センサー64、及び照度センサー65を含む。また、GPS115を含んでもよい。

0145

また、検出制御部151は、受付部として機能し、HMD100に対する操作を受け付ける。検出制御部151は、制御装置10が備えるボタン11やタッチセンサー13に対する操作を検出する。また、検出制御部151は、制御装置10が備える6軸センサー111や磁気センサー113の検出値及び/または検出値の変化に基づき、制御装置10を動かすことによる操作を検出する。また、検出制御部151は、画像表示部20が備える6軸センサー235や磁気センサー237の検出値及び/または検出値の変化に基づき、画像表示部20を動かすことによる操作を検出する。例えば、検出制御部151は、制御装置10及び/又は画像表示部20の動きが、予め設定された態様の動きに該当する場合に、操作を検出する。

0146

通信制御部153は、HMD通信部117を制御して、移動機310、及び、他のHMD100との間の通信を実行させる。すなわち、HMD100Aの通信制御部153は、HMD通信部117により、移動機310Aと通信を実行し、さらに、HMD100B、100Cと各々に対し通信を実行する。

0147

また、通信制御部153は、移動機310から送信される撮像画像データーを受信してもよい。例えば、通信制御部153はHMD通信部117が送受信するデーターから、撮像画像データーに該当するデーターを抽出する。HMD100Aが備える通信制御部153は、移動機310Aが送信する撮像画像データーを受信してもよいし、移動機310B、310Bが送信する撮像画像データーを受信してもよい。また、HMD100Aが備える通信制御部153は、HMD100B、100Cが、移動機310から受信した撮像画像データーをHMD100Aに向けて送信した場合に、この送信された撮像画像データーを受信してもよい。これらの機能は、HMD100B、100Cが備える通信制御部153も同様である。

0148

位置推定部155(移動体位置取得部)は、移動機310の位置を推定する。位置推定部155は、移動機310の位置情報に基づき、移動機310の位置を特定してもよい。移動機310が移動エリア内に位置する状態で、位置推定部155は、移動機310が送信する撮像画像データーに基づいて、移動機310の位置を推定する処理を行う。
HMD100Aの位置推定部155は、移動機310Aの位置を推定する。また、HMD100Aの位置推定部155は、HMD100B、100Cから受信するデーターに基づき、移動機310B、310Cの位置を推定することが可能なものであってもよい。
位置推定部155が推定する移動機310の位置は、移動エリアデーター175により定められる移動エリアにおける移動機310の位置に限らない。

0149

例えば、位置推定部155は、画像表示部20に対する移動機310の相対的な位置を推定してもよい。より詳細には、位置推定部155は、画像表示部20を装着する使用者が、画像表示部20を透過して実空間の移動機310を視認できるかどうかを判定するための位置を推定する。具体的には、位置推定部155は、画像表示部20の位置および画像表示部20の正面方向を基準とする移動機310の位置を推定してもよい。或いは、使用者が画像表示部20を透過して実空間の移動機310を視認する場合の、画像表示部20を通した視界と移動機310との相対位置を推定してもよい。

0150

また、位置推定部155は、通信制御部153の制御によって実行されるデーター通信を利用して、移動機310の移動機位置情報を取得してもよい。例えば、位置推定部155は、通信制御部153の制御によってHMD通信部117が受信する各種のデーターから、移動機位置情報に該当するデーターを抽出する。例えば、HMD100Aが備える位置推定部155は、移動機310Aが送信する移動機位置情報を受信してもよいし、移動機310B、310Bが送信する移動機位置情報を受信してもよい。また、HMD100Aが備える位置推定部155は、HMD100B、100Cが、移動機310から受信した移動機位置情報をHMD100Aに向けて送信した場合に、この送信された移動機位置情報を受信してもよい。これらの機能は、HMD100B、100Cが備える位置推定部155も同様である。

0151

さらにまた、位置推定部155は、GPS装置344の検出値等を含む移動機位置情報に限らず、外部(移動機310以外、或いはHMD100以外の装置)から受信するデーターや信号に基づき移動機310Aの位置を推定してもよい。例えば、信号機案内標識等の道路設備に取り付けられたビーコン信号送信機、商業施設において店舗等に設置されたビーコン送信機等が送信するビーコン信号を受信して、位置の推定に利用してもよい。また、外部からの信号としては、携帯電話基地局が送信するデーター、公衆無線LANの送信設備(例えば、WiFiスポット等)により送信される位置情報や通信データーを用いてもよい。また、上記の各種信号組合せを利用して位置を推定してもよい。

0152

操作検出部157は、画像表示部20を装着した使用者による操作を検出するものであり、例えば位置指示操作を検出する。操作検出部157は、撮像制御部149の制御によりHMDカメラ61が撮像する撮像画像データーを解析し、撮像画像データーから指示体(使用者の指、手、他の身体の一部、或いは他の物体など)の画像を抽出する。操作検出部157は、撮像画像データーにおける指示体の画像の位置を特定し、特定した位置を、画像表示部20に対する相対位置に変換する。変換後の位置を、操作位置として出力する。これにより、画像表示部20を装着する使用者が、HMDカメラ61の撮像範囲に指示体を位置させ、或いは、撮像範囲で指示体を動かすことで、位置指示操作を行うことができる。

0153

コマンド生成部159は、検出制御部151が検出する操作、或いは、操作検出部157が検出する操作に従って、コマンドを生成する。コマンド生成部159が生成するコマンドは、移動機310を動作させるコマンドである。例えば、移動機310の上昇(浮上)、降下、前進(進行)、後退、旋回(回転)、逆旋回(逆回転)等を指示するコマンドや、移動機310の定型動作を指示するコマンド、撮像画像データーの送信を指示するコマンド等である。コマンド生成部159が生成するコマンドはHMD通信部117により移動機310に送信される。

0154

コマンド生成部159が生成するコマンド(本発明のコマンドに相当)は、移動機310の動作を指示するものであれば、データー形式や処理されるプロセスは特に限定されない。具体的には、コマンド生成部159が生成するコマンドは、移動機310において、移動機制御部341が各部を制御するためのコマンド、すなわち移動機310の内部コマンドそのものであってもよいし、移動機制御部341に対して内部コマンドを生成させる元となるデーターであってもよい。例えば、移動機制御部341が、コマンド生成部159が生成してHMD通信部117により送信するコマンドを受信し、このコマンドに基づき、飛行制御部345、カメラ制御部346、インジケーター349等を制御するための内部コマンドを生成する構成であってもよい。従って、コマンド生成部159は、飛行制御部345、カメラ制御部346、インジケーター349等を移動機制御部341が制御するための内部コマンドを生成する機能を有するものであってもよいし、移動機制御部341が解釈可能な形式の制御データー等を生成する機能を有するものであってもよい。内部コマンドとは、例えば、上述した定型動作コマンド等を含んでもよい。

0155

HMD100Aのコマンド生成部159は、HMD100Aを用いて操縦される移動機310Aに対応するコマンドを生成する。移動機310Aに対応するコマンドとは、HMD100Aのコマンド生成部159が生成するコマンドは、少なくとも移動機制御部341が受信し、解釈し、処理を実行可能な形式のデーターを指し、移動機310Aの内部コマンドに限定されない。ここで、移動機310A、310B、310Cの少なくとも一部が異なるコマンドに対応して動作する場合、HMD100Aのコマンド生成部159は、移動機310Aに対応するコマンドを生成可能であればよい。また、HMD100Aのコマンド生成部159が移動機310B、310Cに対応するコマンドを生成可能な構成であってもよい。

0156

さらに、コマンド生成部159は、他のHMD100から受信したデーターに基づきコマンドを生成してもよい。
例えば、HMD100Aが、HMD100Bから受信するデーターに従って、移動機310Aに対するコマンドを生成し、HMD通信部117により送信してもよい。この動作は、HMD100Bが、移動機310Aに対し、HMD100Aを介して間接的にコマンドを送信する動作に相当する。この動作を、HMD100A、100B、100Cの間で相互に実行可能であってもよい。この場合、移動機310A、310B、310Cが異なっている場合など、対応するコマンドが異なる場合であっても、1つのHMD100から各々の移動機310にコマンドを送信できる。

0157

コマンド生成部159が生成し、HMD通信部117によって移動機310にコマンドを送信する場合、HMD通信部117と、移動機310の移動機通信部343との間で暗号化されたコマンドを送受信してもよい。例えば、HMD通信部117と移動機通信部343とがパケット形式で、コマンドを含む各種データーを送受信する構成とし、パケットごとに乱数鍵情報を用いた暗号化を施してもよい。この場合、コマンド生成部159が、コマンドを暗号化して、暗号データーをHMD通信部117により送信させてもよい。また、移動機310において、移動機制御部341が、移動機通信部343により受信した暗号データーを復号する処理を行ってもよい。移動機310からHMD100にデーターを送信する場合も同様に、移動機制御部341が暗号化した暗号データーを移動機通信部343により送信し、HMD100が、HMD通信部117によって暗号データーを受信し、受信した暗号データーをHMD制御部141が復号してもよい。

0158

HMD制御部141は、HMD通信部117により移動機310と通信し、移動機310が送信する移動機位置情報を受信する。また、HMD制御部141は、移動機310が送信する撮像画像データーを受信する。また、HMD制御部141は、移動機310から受信した移動機位置情報を加工し、受信した移動機位置情報に基づき生成された移動機310の位置を示すデーターを、新しい移動機位置情報として生成してもよい。また、HMD制御部141は、移動機310から受信した撮像画像データーを加工して、受信した撮像画像データーに基づく新たな画像データーを生成してもよい。

0159

また、HMD100Aは、HMD100B、100Cに対し、移動機310Aの移動機位置情報、及び、撮像画像データーを送信できる。この場合、HMD100AのHMD制御部141は、HMD100B、100Cに対し、指定されたタイミングで移動機位置情報及び/または撮像画像データーを送信することができる。同様に、HMD100Bは、HMD100A、100Cに対し、移動機310Bの移動機位置情報、及び、撮像画像データーを送信できる。また、HMD100Cは、HMD100A、100Bに対し、移動機310Cの移動機位置情報、及び、撮像画像データーを送信できる。

0160

移動機複合制御システム1が有するHMD100A、100B、100Cを、その機能により、第1表示装置、及び、第2表示装置とすることができる。この場合、HMD100A、100B、100Cのいずれかが第1表示装置に対応し、その他は第2表示装置に対応する。例えばHMD100Aを第1表示装置とする場合において、HMD100B、100Cは第2表示装置に対応する。HMD100BまたはHMD100Cを第1表示装置とする場合も同様であり、各々の場合に対し、HMD100A、100C、或いは、HMD100A、100Bが第2表示装置に対応する。また、これらの場合において、第1表示装置の画像表示部20を第1表示部とし、第2表示装置の画像表示部20を第2表示部と呼ぶことができる。

0161

上記の場合において、第1表示装置の操作検出部157は第1操作検出部に相当し、第2表示装置の操作検出部157は第2操作検出部に相当する。第1表示装置のコマンド生成部159は第1移動体制御部に相当し、第2表示装置のコマンド生成部159は第2移動体制御部に相当する。第1表示装置の通信制御部153は第1移動体画像データー取得部に相当し、第2表示装置の通信制御部153は第2移動体画像データー取得部に相当する。これら第1及び第2移動体画像データー取得部は、通信制御部153とHMD通信部117との協働により実現されてもよく、画像取得部としての機能も同様である。また、第1表示装置の表示制御部147は第1表示制御部に相当し、第2表示装置の表示制御部147は第2表示制御部に相当する。

0162

また、上記の場合において、移動機複合制御システム1が有する移動体である移動機310A、310B、310Cのいずれかを、第1移動体とし、その他を第2移動体とすることができる。例えば、移動機310Aを第1移動体とする場合において、移動機310B、310Cは第2移動体に対応する。移動機310B、310Cを第1移動体とする場合も同様に、移動機310A、310C、或いは、移動機310A、310Bが第2移動体に対応する。

0163

第1表示装置と第1移動体との対応関係、及び、第2表示装置と第2移動体との対応関係についても同様である。HMD100Aが第1表示装置である場合、移動機310Aは第1移動体に対応する。HMD100Aが第2表示装置である場合、移動機310Aは第2移動体に対応する。HMD100B、100C及び移動機310B、310Cについても同様である。

0164

図9図10図12図13図14及び図15は移動機複合制御システム1の各部の動作を示すフローチャートである。図12はHMD100における表示例を示す図である。図16及び図17は画像表示部20が表示する画像の視認特性を示す図表である。図18図19、及び図20は、移動機複合制御システム1の動作に伴い画像表示部20に表示される画面の表示例を示す図である。これらの図を参照して、移動機複合制御システム1の動作を説明する。

0165

図9は、移動機310の動作を示すフローチャートである。図9に示す動作は移動機310A、310B、310Cに共通である。移動機310A、310B、310Cは、それぞれ、HMD100A、100B、100Cから送信されるコマンドに従って図9の動作を実行する。ここでは、移動機310Aを例に挙げて説明する。

0166

移動機310Aの移動機制御部341は、移動機310Aの電源がオンにされると動作を開始し、モーターコントローラー347を含む各部の初期化、及び、HMD100Aとの間の通信を確立する動作を実行する(ステップS11)。

0167

移動機制御部341は、GPS装置344による位置検出を開始させ、GPS装置344が検出する位置情報の取得を開始する(ステップS12)。また、移動機制御部341は、カメラ制御部346を制御して、移動機カメラ335による撮像を開始させる(ステップS13)。

0168

移動機制御部341は、GPS装置344から取得した位置情報、及び、移動機カメラ335の撮像画像データーを、HMD100Aに送信する処理を開始する(ステップS14)。ここで、移動機制御部341は、姿勢センサー348の検出値を位置情報に含めて送信してもよい。また、移動機制御部341は、例えば移動機310のバッテリー残量等を含む制御情報を、位置情報に含めて送信してもよい。図9に示す動作例では、移動機制御部341は、位置情報及び撮像画像データーの送信を、ステップS14以後、予め設定された周期で継続して実行する。

0169

移動機制御部341は、移動機通信部343により、HMD100Aからコマンドを受信したか否かを判定する(ステップS15)。コマンドを受信した場合(ステップS15;Yes)、移動機制御部341は、受信したコマンドが定型動作コマンドであるか否かを判定する(ステップS16)。受信したコマンドが定型動作コマンドである場合(ステップS16;Yes)、移動機制御部341は、受信したコマンドで指定される定型動作を、飛行制御部345によって実行させ(ステップS17)、ステップS19に移行する。受信したコマンドが定型動作コマンドでない場合(ステップS16;Yes)、移動機制御部341は、受信したコマンドで指定される動作を飛行制御部345によって実行させ(ステップS18)、ステップS19に移行する。また、HMD100Aからコマンドを受信していない場合(ステップS15;No)、移動機制御部341はステップS19に移行する。

0170

ステップS19で、移動機制御部341は、動作を終了するか否かを判定し(ステップS19)、動作を終了しない場合は(ステップS19;No)、ステップS15に戻る。

0171

移動機310B及び移動機310Cは、移動機310Aと同様に図9の動作を実行し、それぞれ、HMD100B、100Cと通信を実行する。これにより、移動機310Bは、HMD100Bが送信するコマンドに従って動作し、HMD100Bに対して撮像画像データーや位置情報を送信する。移動機310C及びHMD100Cについても同様である。

0172

図10は、HMD100の動作を示すフローチャートである。図10に示す動作はHMD100A、100B、100Cに共通であり、ここでは、HMD100Aを例に挙げて説明する。

0173

HMD100AのHMD制御部141は、HMD100の電源がオンにされると動作を開始し、HMD100の各部の初期化を行い、移動機310Aとの間で通信を確立する(ステップS31)。

0174

HMD制御部141は、移動機310Aを操縦する操作を行うための操縦画面(操作用画面)を画像表示部20により表示させ(ステップS32)、コマンド生成処理を開始する(ステップS33)。コマンド生成処理は、画像表示部20に操縦画面を表示する状態において操作検出部157によって操作を検出し、検出した操作に基づき、コマンド生成部159によって移動機310Aを動かすためのコマンドを生成し、送信する処理である。HMD制御部141は、ステップS33でコマンド生成処理を開始してから、動作を終了するまで、使用者の操作に対応してコマンドを生成し送信することができる。コマンド生成処理で操作検出部157が検出する操作は、上述したように、トラックパッド14のタッチ操作等の制御装置10における操作、HMDカメラ61の撮像範囲における指示体による操作等である。指示体による操作については、図11を参照して後に例を説明する。

0175

HMD制御部141は、移動機310Aから位置情報を受信する動作を開始する(ステップS34)。また、HMD制御部141は画像データーの取得を開始する(ステップS35)。ステップS35で取得する画像データーは移動機310Aの撮像画像データーであってもよく、他の移動機310B、310Cの撮像画像データーであってもよい。

0176

ここで、HMD制御部141は、ステップS34で受信開始した位置情報、及び、ステップS35で取得開始した画像データーを、他のHMD100に送信するか否かを判定する(ステップS36)。送信の要否は、予めHMD制御部141に設定され、例えば設定データー171に含まれる設定値により決められる。具体的な送信先は、HMD100B及びHMD100Cの少なくともいずれかである。また、HMD制御部141は、他のHMD100すなわちHMD100B、100Cと通信を行い、データーの送信を要求された場合に、データーを受信すると判定してもよい。

0177

HMD制御部141は、HMD100BまたはHMD100Cにデーターを送信する場合(ステップS36;Yes)、画像データー及び位置情報のデーター送信を開始する(ステップS37)。仮に、HMD100Bが図10の動作を実行する場合、ステップS37ではHMD100A、100Cへのデーター送信を開始し、HMD100Cが図10の動作を実行する場合、ステップS37ではHMD100A、100Bへのデーターの送信を開始する。

0178

その後、HMD制御部141は、他のHMD100からデーターを受信するか否かを判定する(ステップS38)。受信の要否は、予めHMD制御部141に設定され、例えば設定データー171に含まれる設定値により決められる。具体的な送信元は、HMD100B及びHMD100Cの少なくともいずれかである。また、HMD制御部141は、他のHMD100すなわちHMD100B、100Cと通信を行い、データーの受信を要求された場合に、データーを受信すると判定してもよい。また、HMD100BまたはHMD100Cにデーターを送信しないと判定した場合(ステップS36;No)、ステップS38に移行する。

0179

HMD制御部141は、HMD100BまたはHMD100Cからデーターを受信する場合(ステップS38;Yes)、画像データー及び位置情報のデーターの受信を開始する(ステップS39)。仮に、HMD100Bが図10の動作を実行する場合、ステップS39ではHMD100A、100Cからのデーター受信を開始し、HMD100Cが図10の動作を実行する場合、ステップS39ではHMD100A、100Bからのデーター受信を開始する。

0180

HMD制御部141は、画像データーの表示位置及びサイズを決定する表示位置調整処理を開始し(ステップS40)、本処理を終了する。また、他のHMD100からデーターを受信しないと判定した場合(ステップS38;No)、ステップS40の動作を実行して本処理を終了する。

0181

HMD100A、100B、100Cが表示する画面の状態、すなわち表示形態は任意である。
例えば、HMD100Aは、移動機310Aを操作するための操作画面を表示してもよい。操作画面は、使用者の操作により移動機310Aを操縦するための画面であり、例えば、移動機310AからHMD100Aが受信する位置情報に基づく表示が行われる。具体的には、移動機310Aの経度、緯度、高度、バッテリー残量等が表示される。
また、HMD制御部141は、使用者の操作に応じて移動機310Aにコマンドを送信した場合に、送信したコマンドの内容を示す画像を表示してもよい。具体的には、移動機310Aに対して前進を指示するコマンドを送信したことを示す画像、文字、図形、或いはその他の表示オブジェクトを表示してもよい。

0182

また、HMD制御部141は、画像表示部20により、移動機310Aの位置を示す画像を表示してもよい。この画像は、例えば、地図とともに移動機310Aの位置を示す画像であってもよく、この地図には、HMD100Aの位置が表示されてもよい。また、上記地図に、移動機310B、310Cの位置が表示されてもよく、HMD100B、100Cの位置が表示されてもよい。HMD100Aは、これらの位置を、HMD100AがHMD100B、100Cから受信する位置情報に基づき表示できる。また、上記のように画像として表示される地図は、俯瞰地図を用いてもよく、具体的には、移動機310Aが飛んでいる状況に応じたナビゲーションマップとして機能する表示態様であってもよい。

0183

また、HMD制御部141は、移動機310A、HMD100B、100CからHMD100Aが受信した画像を表示してもよい。これらの画像は、移動機310Aから受信した撮像画像データーに基づき表示される画像、或いは、HMD100AがHMD100Bから受信した画像データーに基づき表示される画像である。具体的には、HMD100Bが移動機310Bから受信する移動機310Bの撮像画像データーに基づく画像、または、HMD100Bが備えるHMDカメラ61の撮像画像データーに基づく画像である。また、HMD100AがHMD100Cから受信した画像データーに基づき画像を表示してもよい。具体的には、HMD100Cが移動機310Cから受信する移動機310Cの撮像画像データーに基づく画像、または、HMD100Cが備えるHMDカメラ61の撮像画像データーに基づく画像を表示してもよい。

0184

また、HMD制御部141は、移動機310Aの動作状態を示す画像を表示してもよい。この画像は、例えば、画像表示部20を透過して使用者が視認する実空間の移動機310Aに対し、移動機310Aが視認される位置に対応する表示位置で表示される、いわゆるAR(拡張現実:Augmented Reality)画像とすることができる。この画像は、例えば、移動機310Aの進行方向(前進、後退、旋回、逆旋回など)を示す画像である。本実施形態では、移動機310Aが備えるインジケーター349(図2)が移動機310Aの移動方向に対応して発光する。このため、インジケーター349の発光を模したAR画像を、実空間の移動機310Aが視認される位置に重なるように表示することができる。このように、実空間の移動機310Aの視認性に影響を与え、追加的に情報を表示するAR画像を表示することで、効果的な視覚効果を得ることができる。

0185

この例では、使用者は、移動機310Aのインジケーター349を直接視認できない場合であっても、直接インジケーター349を視認できる場合と同様に、移動機310Aの動作状態を把握できる。これにより、使用者は、移動機310Aの進行方向を知ることができる。HMD100Bが画像表示部20において画像を表示する表示領域、及び、HMD100Cが画像表示部20において画像を表示する表示領域においても、同様の表示を行う構成としてもよい。すなわち、操縦画面の表示中、或いは、実空間の移動機310B、310Cを視認可能な状態で、上述したAR画像と同様の画像を表示してもよい。また、実空間の移動機310B、310Cが、表示領域に重なる位置で視認される場合に、HMD100AのHMD制御部141が、移動機310B、310Cが視認される位置にAR画像を表示してもよい。

0186

また、HMD制御部141は、画像表示部20の表示領域に、移動機310からHMD100が受信する位置情報に基づく表示を行ってもよい。具体的には、移動機310の経度、緯度、高度、バッテリー残量等を表示してもよい。ここで、HMD100Aの画像表示部20において、移動機310Aの経度、緯度、高度、バッテリー残量等を表示してもよく、移動機310B及び移動機310Cのいずれか1以上の経度、緯度、高度、バッテリー残量等を表示してもよい。

0187

これらの表示は、HMD100A、100B、100Cの各々が実行可能な構成であってもよく、HMD100A、100B、100Cの一部のみが上記表示を行う構成であってもよい。このため、移動機複合制御システム1において、HMD100A、100B、100Cが、同様の画像等の表示オブジェクトを表示してもよいし、HMD100A、100B、100Cの表示或いは表示される情報が各々異なる形態であってもよい。

0188

これらの表示形態を採用することにより、HMD100Aの使用者は、実空間の移動機310Aを視認しながら、画像表示部20に表示される画像や操作表示を見る。例えば、移動機310Aのような無人飛行体の操縦について、目視できる範囲で操縦するよう法令・条令その他の規則により規定されている場合、実空間の移動機310Aを視認できる必要がある。一方、使用者が、移動機310Aの位置や状態等を示す画像を視認することの重要性も低くない。また、例えば、HMD100Bが移動機310Bの撮像画像データーを送信する場合に、HMD100Aの使用者は、画像表示部20の表示を視認することにより、移動機310Bの位置や方向を知ることができる。また、使用者は、移動機310Bが撮像する撮像対象物について、多くの情報を得ることができる。例えば、移動機310B、310CがHMD100Aの使用者から離れた位置を飛行する場合に、移動機310B、310Cの撮像画像データーに基づく画像を利用して、渋滞道路の情報、迂回路の案内、火事を含む各種災害現場情報提供情報共有を実現できる。なお、上述した表示形態において、表示される画像を撮像した機器を識別するため、画像に枠を表示し、枠の表示状態実線破線か、表示色など)を機種毎に変更してもよい。

0189

ここで、HMD100A、100B、100Cの表示形態について説明する。
図11は、HMD100Aの表示例を示す図である。
図中、符号VR1は、HMD100Aの画像表示部20を装着する使用者の視野を示す。符号V1はハーフミラー261、281により画像を使用者に視認させることが可能な領域であり、言い換えれば画像表示部20が画像を表示できる表示可能領域である。視野VR1は、画像表示部20を透過する外光OL、及び、画像表示部20が出力する画像光Lによって使用者が視認する範囲を示している。図11の例では、表示領域V1に重なる位置に、実空間の移動機310Aが視認される。

0190

表示領域V1の中央には、操作画面として機能する画像P11が表示される。画像P11は、使用者の操作により移動機310Aを操縦するための画面であり、例えば、移動機310AからHMD100Aが受信する位置情報に基づく表示が行われる。具体的には、移動機310Aの経度、緯度、高度、バッテリー残量等が表示される。

0191

また、HMD制御部141は、使用者の操作に応じて移動機310Aにコマンドを送信した場合に、送信したコマンドの内容を画像P11に表示する。例えば、図15には、画像P11に、移動機310Aに対して前進を指示するコマンドを送信したことを示す操作表示M11が表示される。このコマンドの内容の表示は、操作表示M11のように画像であってもよいし、文字、図形、或いはその他の表示オブジェクトを利用できる。

0192

表示領域V1には、移動機310Aの位置を示す画像P12が表示される。画像P12は、地図とともに移動機310Aの位置を示す画像が表示される。画像P12の地図には、HMD100Aの位置が表示されてもよい。また、画像P12の地図に、移動機310B、310Cの位置が表示されてもよく、HMD100B、100Cの位置が表示されてもよい。HMD100Aは、これらの位置を、HMD100AがHMD100B、100Cから受信する位置情報に基づき表示できる。また、画像P12に表示される地図は、俯瞰地図を用いてもよく、具体的には、移動機310Aが飛んでいる状況に応じたナビゲーションマップとして機能する表示態様であってもよい。

0193

表示領域V1には、移動機310A、HMD100B、100CからHMD100Aが受信した画像P13、P14、P15が表示される。画像P13は、移動機310Aから受信した撮像画像データーに基づき表示される画像である。画像P14は、HMD100AがHMD100Bから受信した画像データーに基づき表示される画像である。具体的には、HMD100Bが移動機310Bから受信する移動機310Bの撮像画像データーに基づく画像、または、HMD100Bが備えるHMDカメラ61の撮像画像データーに基づく画像である。画像P15は、HMD100AがHMD100Cから受信した画像データーに基づき表示される画像である。具体的には、HMD100Cが移動機310Cから受信する移動機310Cの撮像画像データーに基づく画像、または、HMD100Cが備えるHMDカメラ61の撮像画像データーに基づく画像である。

0194

また、表示領域V1には、移動機310Aの動作状態を示す画像AR1が表示される。画像AR1は、移動機310Aの進行方向(前進、後退、旋回、逆旋回など)を示す画像である。本実施形態では、移動機310Aが備えるインジケーター349(図2)の発光を模した画像AR1が表示される。画像AR1の表示位置は、実空間の移動機310Aが視認される位置に重なる位置とされる。つまり、画像AR1は、実空間の移動機310Aの視認性に影響を与え、追加的に情報を表示するAR表示である。

0195

これにより、使用者は、移動機310Aのインジケーター349を直接視認できない場合であっても、直接インジケーター349を視認できる場合と同様に、移動機310Aの動作状態を把握できる。これにより、使用者は、移動機310Aの進行方向を知ることができる。表示領域V2、V3においても、操縦画面の表示中、或いは、実空間の移動機310B、310Cを視認可能な状態で、画像AR1と同様の画像を表示してもよい。また、実空間の移動機310B、310Cが、表示領域V1に重なる位置で視認される場合に、HMD100AのHMD制御部141が、移動機310B、310Cが視認される位置に画像AR1と同様の画像を表示してもよい。

0196

さらに、図11の表示例では、実空間の移動機310Aが視野VR1に視認される状態で、指示体Hによる操作を行う例を示す。指示体Hは、図11の例では使用者の手であるが、発行回路を内蔵した電子デバイス指示棒ペン、その他各種の物体であって、HMDカメラ61により撮像可能な物体であればよい。HMD制御部141は、撮像制御部149によりHMDカメラ61の撮像画像データーを取得し、この撮像画像データーを操作検出部157が解析することで、指示体Hを検出する。操作検出部157は、画像表示部20に対する指示体Hの相対位置を特定することにより、視野VR1に対する指示体Hの位置を特定する。この位置が、指示体Hによる操作位置として検出される。HMD制御部141は、操作位置に対応する表示領域V1内部表示位置に、指示体Hによる操作を検出したことを示す操作画像M12を表示させる。操作画像M12は、HMD制御部141が検出した操作位置を使用者に報知するための画像である。さらに、HMD制御部141は、操作検出部157が検出した指示体Hの位置に基づき、移動機310に送信するコマンドをコマンド生成部159により生成させ、HMD通信部117によって移動機310に送信させる。ここで、指示体Hの位置に関して予めキャリブレーションが実行され、キャリブレーションの結果を含むキャリブレーションデータをHMD100が記憶してもよく、この場合、キャリブレーションデータに従って、指示体Hの位置アライメントを特定できる。つまり、画像表示部20を装着する使用者は、指示体Hを動かすことによって、移動機310の駆動を指示することができ、HMD100はいわゆるアクションUI(User Interface)を提供する。この指示体HによるアクションUIの操作は、位置指示操作に相当する。つまり、位置指示操作は、HMDカメラ61の撮像範囲において指示体を位置に位置させ、或いは動かす操作である。操作検出部157は、図16の例のように、指示体Hの位置を指示位置として検出するだけでなく、指示体HがHMDカメラ61の撮像範囲において動いた場合に、この動きが予め設定されたジェスチャーに該当すると、これを操作検出部157が検出する、ジェスチャーUIを実現してもよい。HMDカメラ61の撮像画像に基づいて指示体の位置または動きを操作検出部157が検出すれば、位置指示操作が検出されたことになる。このように、操作検出部157が検出する操作は、制御装置10の操作部であるトラックパッド14等に対する操作に限らず、指示体Hによる操作、画像表示部20の位置、姿勢、動き等による操作を含めることができる。そして、操作検出部157が検出する操作は、移動機310を操縦するためにHMD100を使用する使用者に限らず、例えば、移動機310AをHMD100Aの使用者が操縦する場合において、HMD100Bの使用者が操作を行い、このHMD100Bの表示の制御に適用してもよい。

0197

HMD100AのHMD制御部141は、画像表示部20により表示する画像等の各々について、視認性を制御する処理を行う。この処理を図12に示す。
図12は、HMD100の動作を示すフローチャートである。図12に示す動作はHMD100A、100B、100Cに共通であるが、ここでは、HMD100Aを例に挙げて説明する。

0198

HMD100AのHMD制御部141は、表示対象である移動機310、すなわち移動機310Aから受信する撮像画像データー及び位置情報を取得する(ステップS61)。ステップS61で取得される撮像画像データー及び位置情報は、図10に示す処理で受信したものが挙げられるが、HMD100B、100Cから受信してもよい。

0199

HMD制御部141は、HMD100Aの位置情報を取得する(ステップS62)。ステップS62では、例えば、GPS115(図7)が検出する位置情報を取得するが、HMD100Aの位置を特定可能な情報であればよい。

0200

HMD制御部141は、ステップS61及びステップS62で取得した情報に基づき、表示領域V1に表示する画像に係る画像データーに対し、重要度順位付けを行う(ステップS63)。ステップS63で、HMD制御部141は、例えば、移動機310Aの位置とHMD100Aの位置とに基づき、外景と、移動機310Aの撮像画像データーと、移動機310Aを操縦するための操縦画面との重要度を順位付けする。HMD制御部141は、ステップS63で決定した重要度の順位付けに従って、各画像データーに基づく画像の表示位置及び表示サイズを決定し(ステップS64)、表示を更新する(ステップS65)。

0201

続いて、HMD制御部141は、HMDカメラ61の撮像画像の撮像画像データーを取得し(ステップS66)、撮像画像データーを解析することにより外光OLの状態を検出する(ステップS67)。HMD制御部141は、画像表示部20に表示する表示対象の画像データーの各々について、特性を検出する(ステップS68)。HMD制御部141は、ステップS67で検出した外光OLの状態、及び、ステップS68で検出した各画像データーの特性に基づき、画像表示制御の内容を決定し(ステップS69)、決定した内容に従って画像表示制御を行う(ステップS70)。

0202

ステップS67において、HMD制御部141は、外光OLの光量あるいは外光OLの強度を検出する。この場合、HMD制御部141は、ステップS67でHMDカメラ61の撮像画像データーを利用して外光OLの光量あるいは強度を検出する処理に限らず、照度センサー65の検出値に基づいて外光OLの光量あるいは強度を検出する処理を行ってもよい。また、HMD制御部141は、ステップS67で、外光OLの色調を検出してもよい。外光OLの色調は、例えば、RGB、YUV、Lab等の各種の色空間における座標として特定してもよい。また、例えば、撮像画像データーから予め設定された位置または数の代表画素を抽出して、抽出した画素の色データーに基づき、外光OLの色調を検出してもよい。或いは、撮像画像データーの全体の色データー(階調値)の平均値中央値に基づき、外光OLの色調を検出してもよい。これらの処理の具体的な内容は任意である。

0203

ステップS68で決定される画像表示制御の内容としては、外光OLの状態に対応して、画像表示部20が表示する画像の視認性を高める処理、及び、画像表示部20を透過する外景の視認性を高める処理が挙げられる。また、画像表示部20に表示される複数の画像の視認性を揃える処理、及び、画像表示部20に表示される複数の画像の視認性の一部を他の画像より高める処理が挙げられる。

0204

画像表示制御では、例えば、HMD制御部141は、ステップS65で、上述した操縦画面の重要度の順位が高い場合、外景及び撮像画像データーよりも操縦画面の視認性が高くなるように、処理を行ってもよい。すなわち、操縦画面の拡大表示ブリンキング等により強調表示をしてもよい。また、外光OLの光量を低減させるため、HMD制御部141は、右電子シェード229及び左電子シェード249の透過光量を低減させてもよい。右電子シェード229及び左電子シェード249の透過光量を変化させる場合、右電子シェード229及び左電子シェード249の一部のエリアの透過光量を他のエリアとは異ならせるエリア制御を行ってもよい。また、特定の画像の輝度や画像サイズを時間的(経時的)に変化させてフェードイン或いはフェードアウトさせてもよい。また、画像に蛍光色表示を付して強調する表示制御を行ってもよい。また、HMD制御部141は、操縦画面の輝度を高めて、外景よりも操縦画面の視認性が高まるようにしてもよい。この処理で、HMD制御部141は、照度センサー65の検出値や、HMDカメラ61の撮像画像データーから得られる外部環境に対応して、制御を行ってもよい。一例として、HMD100Aの場所の背景、天候や時刻に影響される実背景(晴れ、雨、夕方、夜、、海、紅葉等)に応じて、表示領域V1の画像を制御してもよい。また、HMD制御部141は、操縦画面の色または色調を調整して、操縦画面が、背景の空または風景識別可能な状態を維持できるように自動調整してもよい。また、操縦画面が暗く見える場合に、明色(白など)の透かしや背景を付加してもよい。
さらに、HMD制御部141は、順位付けを行う際に、他の移動機すなわち移動機310B、310Cの位置と、移動機310Aの位置と、HMD100Aの位置との位置関係によって変更してもよい。

0205

移動機310Aの撮像画像データーに基づく画像、移動機310Aを操縦するための操縦画面、及び、その他の画像等の表示位置の制御に関して、HMD制御部141は、HMD100Aが有する各種センサーの検出値を用いてもよい。例えば、HMD制御部141は、画像表示部20の位置に関する検出値を用いて表示位置を制御してもよい。具体的には、操作検出部157により、6軸センサー235及び/または磁気センサー237の検出値に基づいて画像表示部20の動きを検出し、画像表示部20の動きや使用者の姿勢を操作として検出してもよい。また、操作検出部157が、HMDカメラ61の撮像画像の変化や距離センサー64の検出値の変化に基づき画像表示部20の動きや使用者の姿勢を検出してもよい。また、操作検出部157が内側カメラ68により撮像した右眼RE及び/または左眼LEの動きや視線方向を操作として検出してもよい。そして、HMD制御部141が、表示制御部147の機能により、操作検出部157が検出した操作に対応して表示画像の優先度を決定し、表示位置を決定してもよい。これにより、第1表示装置であるHMD100Aや第2表示装置であるHMD100B、100Cにおける撮像画像データーに基づく画像の表示位置、表示エリアのサイズ、撮像画像と外景との透過度制御用表示UIの透過度等を制御してもよい。一例として、視線や、画像表示部20を装着した使用者の頭の向きが、操作する対象である移動機310を向いている場合は、表示領域Vを透過して視認される外景(実空間)を優先して視認できるように、表示画像や操作用UIの透過度を変更してもよい。また、これらの制御を移動機310の動作状態をも反映させて行ってもよく、例えば、移動機310が離着陸をする時に、使用者から近い位置に移動機310が位置する場合は、移動機カメラ335の撮像画像データーに基づく画像の表示を消して、移動機310を操作するための操縦用画像の表示の優先度を高めることができる。さらにまた、操作検出部157によって画像表示部20を装着した頭の急な動きや右眼REまたは左眼LEの視線方向の急な変動を検出した場合に、使用者の近くで外景を見る優先事項が発生した場合に該当すると判断し、具体的には使用者が歩いていると判断してもよい。このような場合に、HMD制御部141は、移動機カメラ335の撮像画像データーに基づく画像や移動機310の操縦用画像の表示を、視野VR1の中央から周辺退避させる、画像の表示輝度(明るさ)を低下させて、これらの画像よりも外景の視認性を高めるように画像を制御してもよい。
また、画像表示制御の具体例については、図16図19を参照して後述する。

0206

図13は、HMD100A、100B、100C間のデーターの送受信に係る動作を示すシーケンス図である。
移動機複合制御システム1において、HMD100A、100B、100Cは、相互にデーターを送受信可能である。
具体的には、HMD100Aは、移動機310Aの撮像画像データー(移動機カメラ画像データー)、移動機310Aの位置情報(移動機位置情報)、及び、HMDカメラ61の撮像画像データー(HMDカメラ画像データー)を送信できる。送信先として、HMD100Bに送信する(ステップSA1)、HMD100Cに送信する(ステップSA2)動作のいずれも可能である。

0207

同様に、HMD100Bは、移動機310Bの移動機カメラ画像データー、移動機310Bの移動機位置情報、及び、HMD100Bが撮像したHMDカメラ画像データーを送信できる。送信先は、HMD100A(ステップSB1)、HMD100C(ステップSB2)のいずれも選択可能である。HMD100Cは、移動機310Cの移動機カメラ画像データー、移動機310Cの移動機位置情報、及び、HMD100Cが撮像したHMDカメラ画像データーを送信できる。送信先は、HMD100A(ステップSC1)、HMD100B(ステップSC2)のいずれも選択可能である。

0208

このように、移動機複合制御システム1では、HMD100A、100B、100Cが相互にデーターを送受信し、移動機310A、310B、310Cの撮像画像データー及び位置情報を互いに取得できる。この構成を利用して、移動機310の操縦の交代引継)を行う事ができる。

0209

例えば、HMD100Aの操縦により移動機310AがA地点まで移動し、A地点でホバリングを実行する。ここで、HMD100BがHMD100Aと相互に通信し、互いに認証を行う。認証に成功した後、HMD100Aは移動機310Aに対し、HMD100Bを識別するデーターを送信し、このデーターに基づき、移動機310Aが、HMD100Bと相互に通信して認証を行う。その後、移動機310Aは、A地点でホバリングする状態から、HMD100Bが送信するコマンドに従って移動する状態に移行する。この手順により、移動機310Aの操縦を、HMD100Aの使用者からHMD100Bの使用者に引き継ぐことができる。また、引継の前後において、HMD100A、100Bが表示する移動機310Aの撮像画像データーに基づく画像、または、実空間の移動機310Aに重ねて表示されるAR画像を変更してもよい。HMD100Aが移動機310Aを操縦する間と、HMD100Bが移動機310Aを操縦する間とで、AR表示の表示色や撮像画像データーに基づく画像の表示枠の色を変えてもよい。

0210

図14は、HMD100の動作を示すフローチャートである。
この図14に示す動作は移動機310に対応するAR画像の表示に関する動作である。図14の動作はHMD100B、100Cが実行してもよく、ここでは一例として、HMD100Aが実行する例を説明する。AR画像は、例えば、上述したようにインジケーター349の発光を模した画像であってもよいし、移動機310Aの位置や動作に係る情報を示す文字や画像であってもよい。ここでは、インジケーター349に対応するAR画像を表示する例を説明する。

0211

HMD100AのHMD制御部141は、HMDカメラ61の撮像画像データーを取得する(ステップS81)。HMD制御部141は、撮像画像データーから移動機310Aの画像を抽出し、抽出した画像と表示領域V1との相対位置を検出する(ステップS82)。検出した位置は、画像表示部20を透過した視野VR1に対する移動機310Aの位置に相当し、AR画像の表示位置を決定する条件となる。

0212

HMD制御部141は、移動機310Aの移動方向を特定する(ステップS83)。移動機310Aの移動方向は、HMD100Aが移動機310Aに送信したコマンドや、移動機310AがHMD100Aに送信する位置情報等に基づき特定できる。
HMD制御部141は、特定した移動方向に基づき、インジケーター349の表示に対応するAR画像を生成し、画像表示部20表示領域に表示する(ステップS84)。

0213

HMD制御部141は、移動機310Aが備えるインジケーター349の視認状態を検出、或いは取得する(ステップS85)。すなわち、ステップS82で検出した位置や、移動機310Aの高度、角度等から、HMD100Aの使用者がインジケーター349を視認できるかどうか等を含む視認状態を検出できる。この視認状態は、例えば、使用者が制御装置10を操作して入力することができ、この場合、HMD制御部141は、使用者が入力する視認状態を取得する。

0214

HMD制御部141は、ステップS85で検出または取得した視認状態に対応して、ステップS84で表示を開始した画像AR1の表示状態を調整する(ステップS86)。例えば、使用者が、インジケーター349を良好に視認できる場合には、画像AR1の表示輝度を低下させ、或いは、表示を停止させる。また、使用者が、インジケーター349を視認することが困難な場合には、AR画像の表示輝度を向上させる。

0215

図15は、HMD100の動作を示すフローチャートである。図15に示す動作は移動機310に対応するAR画像の表示に関する動作であり、特に、AR画像の表示を行う場合の視認性を制御する動作を示す。図15の動作はHMD100B、100Cが実行してもよく、ここでは一例として、HMD100Aが実行する例を説明する。AR画像は、例えば、上述したようにインジケーター349の発光を模した画像であってもよいし、移動機310Aの位置や動作に係る情報を示す文字や画像であってもよい。ここでは、インジケーター349に対応するAR画像を表示する例を説明する。

0216

HMD制御部141は、移動機310Aの位置を取得する(ステップS91)。移動機310Aの位置を取得する処理は、例えば、ステップS82(図14)で移動機310Aの位置を検出する処理を同様の処理とすることができる。
続いて、HMD制御部141は、実空間の移動機310Aが、画像表示部20を透過して使用者が視認可能な位置にあるか否かを判定する(ステップS92)。すなわち、移動機310Aが外景として視認可能であるか否かを判定する。

0217

ここで、実空間の移動機310Aが視認可能な位置にある場合(ステップS92;Yes)、HMD制御部141はAR表示を実行する(ステップS93)。HMD制御部141は、外景における移動機310Aの視認性を確保するため、HMD100Aの表示モードとして、移動機優先モードを選択する(ステップS94)。
また、実空間の移動機310Aが視認可能な位置にない場合(ステップS92;No)、HMD制御部141は、HMD100Aの表示モードとして、表示画像優先モードを選択する(ステップS95)。

0218

ステップS94及びステップS95で表示モードを選択した後、HMD制御部141は、HMDカメラ61の撮像画像データーを取得する(ステップS96)。HMD制御部141は、取得した撮像画像データーを解析することにより外光OLの状態を検出する(ステップS97)。ステップS96及びステップS97の動作は、例えば、上述したステップS66及びステップS67の動作と同様である。HMD制御部141は、ステップS94またはステップS95で選択した表示モードに合わせて、画像表示制御の内容を決定し(ステップS98)、決定した内容に従って画像表示制御を行う(ステップS99)。

0219

図16は、外景の視認特性を示す図表であり、例えば、移動機310Aが搭載する移動機カメラ335の画像等の画像を画像表示部20によって表示する場合の、実空間の物体の視認特性を示す。
図16縦軸は実空間の物体(外景)の視認性を示し、縦軸において上が視認性が高いことを示し、下は視認性が低いことを示す。図16横軸は、表示画像の色調を示し、図中において左側が色調が暗色であることを示し、図中において右側は色調が明るい色であることを示す。

0220

図16に示す実線SP1は、表示画像の色調と外景の視認性との相関を示す。図中のゾーンNは外景が暗色の場合(外光OLの周波数成分が暗色に偏っている場合)を示し、例えば夜間、或いは暗い室内に相当する。これに対し、ゾーンDが、外景が明るい色の場合(外光OLの周波数成分が明色に偏っている場合)を示し、例えば昼間、或いは、明るい室内に相当する。

0221

図16に示す例では、相関SP1は、表示画像の色調が明るいほど、外景における物体(例えば、実空間の移動機310A)の視認性が低下し、表示画像の色調が暗いほど、外景における物体の視認性が高まることを示している。
この図16の例におけるゾーンDでは、表示画像の色調が明るく、この色調の影響によって実空間の移動機310Aの視認性が低くなっている。この場合、表示画像優先モード(第2モード)では、表示画像の視認性が外景よりも優先されているため、HMD制御部141は表示を継続する。これに対し、移動機優先モード(第1モード)では、移動機310Aの視認性を高めるため、画像表示制御を行う。この画像表示制御において、HMD制御部141は、移動機310Aの視認性を高めるため、表示画像の画像データーに対し、コントラストを低下させる等の処理を行う。或いは、画像データーの輝度または画像表示部20における表示輝度を低下させる、画像データーのガンマ値を暗くする等の処理を行う。

0222

また、図16の例におけるゾーンNのように、表示画像の色調が暗く、実空間の移動機310Aの視認性が高い場合、移動機優先モードでは、移動機310Aの視認性が高いので、HMD制御部141は表示を継続する。これに対し、表示画像優先モードでは、表示画像の視認性を高めるため、HMD制御部141は、画像データーに対しコントラストを高める処理を行う。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

新着 最近 公開された関連が強い 技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する挑戦したい社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ