図面 (/)

技術 ヘッドマウントディスプレイ

出願人 ブラザー工業株式会社
発明者 村上健一
出願日 2008年12月24日 (10年6ヶ月経過) 出願番号 2008-326866
公開日 2010年7月8日 (9年0ヶ月経過) 公開番号 2010-153960
状態 特許登録済
技術分野 閉回路テレビジョンシステム 機械的光走査系 その他の光学系・装置、色の干渉・色の制御 テレビジョン受像機の構造の細部
主要キーワード レーザ群 充電用アダプタ 赤色出力 垂直走査ミラー 水平走査ミラー レイヤ表示 ビデオRAM 画像記憶エリア
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2010年7月8日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (14)

課題

表示画面上に定点カメラ撮影された画像を視覚的に分かりやすく表示することができるヘッドマウントディスプレイを提供する。

解決手段

メイン処理が実行されると、現在位置が取得され(S11)、進行方向が取得される(S12)。進行方向に変化がない場合(S13:NO)、進行方向が記憶される。そして、定点カメラから位置情報を受信したか否かが判断される(S15)。進行方向に変化があった場合(S13:YES)、進行方向が記憶され、表示画像テーブルがクリアされる(S14)。定点カメラ情報を受信した場合(S15:YES)、カメラ画像の撮影方向と進行方向とに基づいて、撮影方向がRAMに記憶される。そして、定点カメラとの距離が算出され(S24)、進行方向基準画像テーブル設定処理が行われる(S25)。次いで、画像入替処理(S26)、画像表示処理が実行される(S27)。

概要

背景

従来、複数個定点カメラ道路に沿って設置し、道路の交通状況撮影し、端末装置に送信する情報通信システムが知られている(例えば、特許文献1参照)。この特許文献1に記載の情報通信システムによると、画像情報提供部が、複数個の定点カメラのそれぞれで撮影された道路の交通状況の画像を収集する。収集した画像情報を、定点カメラの識別情報と、定点カメラの設置位置の情報とに対応させて蓄積して管理すると共に、利用者に、提供可能な定点カメラの候補の情報を提供する。そして、利用者の端末装置の画面上に定点カメラの候補のリストが表示される。利用者は、定点カメラの候補のリストから定点カメラを選択することにより、所望の位置の定点カメラで撮影された撮影画像である道路交通情報を得ることができる。
特開2001−155289号公報

概要

表示画面上に定点カメラで撮影された画像を視覚的に分かりやすく表示することができるヘッドマウントディスプレイを提供する。メイン処理が実行されると、現在位置が取得され(S11)、進行方向が取得される(S12)。進行方向に変化がない場合(S13:NO)、進行方向が記憶される。そして、定点カメラから位置情報を受信したか否かが判断される(S15)。進行方向に変化があった場合(S13:YES)、進行方向が記憶され、表示画像テーブルがクリアされる(S14)。定点カメラ情報を受信した場合(S15:YES)、カメラ画像の撮影方向と進行方向とに基づいて、撮影方向がRAMに記憶される。そして、定点カメラとの距離が算出され(S24)、進行方向基準画像テーブル設定処理が行われる(S25)。次いで、画像入替処理(S26)、画像表示処理が実行される(S27)。

目的

しかしながら、特許文献1に記載の発明の情報通信システムでは、複数の定点カメラの情報のリストを表示するだけなので、個々の定点カメラの画像が視覚的に分かりづらいという問題点があった。また、ヘッドマウントディスプレイの利用者は、ヘッドマウントディスプレイを装着した状態で、街角歩くので、歩きながらリストからの選択などの操作はしづらく、歩く速さや方向に応じて視角的にわかりやすく最適な画像の表示が望まれている。

効果

実績

技術文献被引用数
1件
牽制数
1件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

使用者の頭部に装着する頭部装着部と、前記使用者の眼に表示画像映像光光学的に導いて視認させる画像表示部とを有するヘッドマウントディスプレイにおいて、前記画像表示部は、外界外光を透過するハーフミラーを有し、前記ヘッドマウントディスプレイの向いている方向である進行方向を取得する進行方向取得手段と、外部の異なる位置に設けられた定点カメラにより撮影された画像データと、前記画像データの方向である撮影方向とが対応づけられたデータを、前記定点カメラから受信データとして受信するデータ受信手段と、前記受信データを記憶するデータ記憶手段と、前記データ受信手段により受信した前記受信データを前記データ記憶手段に記憶させるデータ記憶制御手段と、前記進行方向取得手段により取得された前記進行方向と、前記データ記憶手段に記憶されている前記受信データの前記撮影方向とが同一の方向である前記画像データを前記画像表示部に表示する表示制御手段とを備えたことを特徴とするヘッドマウントディスプレイ。

請求項2

前記受信データには、前記定点カメラの位置の情報である第一位置情報をさらに含み、前記ヘッドマウントディスプレイの位置の情報である第二位置情報を取得する位置情報取得手段と、前記データ記憶手段に記憶された前記受信データの前記第一位置情報、及び前記位置情報取得手段により取得された前記第二位置情報に基づいて、前記定点カメラと前記ヘッドマウントディスプレイとの間の距離を取得する距離取得手段とを備え、前記表示制御手段は、前記距離取得手段により取得された前記距離が近いほど、前記画像表示部に前記受信データの前記画像データを手前側に表示し、前記距離が遠いほど、前記画像データを奥側に表示することでレイヤ表示をすることを特徴とする請求項1に記載のヘッドマウントディスプレイ。

請求項3

前記ヘッドマウントディスプレイの移動する速度を取得する速度取得手段を備え、前記表示制御手段は、前記レイヤ表示の前記画像データの間隔及び表示枚数を、前記速度取得手段により取得された前記速度に応じた所定の間隔及び枚数で表示することを特徴とする請求項2に記載のヘッドマウントディスプレイ。

請求項4

前記表示制御手段は、前記進行方向に対して右側の方向と同一の方向である前記撮影方向に対応する前記画像データを、前記画像表示部に表示されている前記進行方向に対応する前記画像データの右側に表示し、前記進行方向に対して左側の方向と同一の方向である前記撮影方向に対応する前記画像データを、前記画像表示部に表示されている前記進行方向に対応する前記画像データの左側に表示することを特徴とする請求項1乃至3のいずれかに記載のヘッドマウントディスプレイ。

請求項5

前記画像表示部に表示されている複数の前記画像データの内のいずれか1つを選択する画像選択手段と、前記画像選択手段により選択された前記画像データを、前記画像表示部に表示させる画像データ表示制御手段とを備えたことを特徴とする請求項1乃至4のいずれかに記載のヘッドマウントディスプレイ。

請求項6

前記使用者の眼の動きを検出する検出手段と、前記画像選択手段は、前記検出手段により検出された前記使用者の眼の動きに基づいて、前記画像表示部に表示されている複数の前記画像データの内のいずれか1つを選択することを特徴とする請求項5に記載のヘッドマウントディスプレイ。

請求項7

前記使用者から、前記画像表示部に表示されている前記画像データを選択するための入力を受け付け入力受付手段と、前記画像選択手段は、前記入力受付手段により受け付けられた前記入力に基づいて、前記画像表示部に表示されている複数の前記画像データの内のいずれか1つを選択することを特徴とする請求項5に記載のヘッドマウントディスプレイ。

技術分野

0001

本発明は、ヘッドマウントディスプレイに関するものであり、詳細には、表示画面上に定点カメラ撮影された画像を視覚的に分かりやすく表示することができるヘッドマウントディスプレイに関するものである。

背景技術

0002

従来、複数個の定点カメラを道路に沿って設置し、道路の交通状況を撮影し、端末装置に送信する情報通信システムが知られている(例えば、特許文献1参照)。この特許文献1に記載の情報通信システムによると、画像情報提供部が、複数個の定点カメラのそれぞれで撮影された道路の交通状況の画像を収集する。収集した画像情報を、定点カメラの識別情報と、定点カメラの設置位置の情報とに対応させて蓄積して管理すると共に、利用者に、提供可能な定点カメラの候補の情報を提供する。そして、利用者の端末装置の画面上に定点カメラの候補のリストが表示される。利用者は、定点カメラの候補のリストから定点カメラを選択することにより、所望の位置の定点カメラで撮影された撮影画像である道路交通情報を得ることができる。
特開2001−155289号公報

発明が解決しようとする課題

0003

しかしながら、特許文献1に記載の発明の情報通信システムでは、複数の定点カメラの情報のリストを表示するだけなので、個々の定点カメラの画像が視覚的に分かりづらいという問題点があった。また、ヘッドマウントディスプレイの利用者は、ヘッドマウントディスプレイを装着した状態で、街角歩くので、歩きながらリストからの選択などの操作はしづらく、歩く速さや方向に応じて視角的にわかりやすく最適な画像の表示が望まれている。

0004

本発明は、上述した問題を解決するためになされたものであり、表示画面上に定点カメラで撮影された画像を視覚的に分かりやすく表示することができるヘッドマウントディスプレイを提供することを目的とする。

課題を解決するための手段

0005

上記目的を達成するために、請求項1に係る発明のヘッドマウントディスプレイは、使用者の頭部に装着する頭部装着部と、前記使用者の眼に表示画像映像光光学的に導いて視認させる画像表示部とを有するヘッドマウントディスプレイにおいて、前記画像表示部は、外界外光を透過するハーフミラーを有し、前記ヘッドマウントディスプレイの向いている方向である進行方向を取得する進行方向取得手段と、外部の異なる位置に設けられた定点カメラにより撮影された画像データと、前記画像データの方向である撮影方向とが対応づけられたデータを、前記定点カメラから受信データとして受信するデータ受信手段と、前記受信データを記憶するデータ記憶手段と、前記データ受信手段により受信した前記受信データを前記データ記憶手段に記憶させるデータ記憶制御手段と、前記進行方向取得手段により取得された前記進行方向と、前記データ記憶手段に記憶されている前記受信データの前記撮影方向とが同一の方向である前記画像データを前記画像表示部に表示する表示制御手段とを備えている。

0006

また、請求項2に係る発明のヘッドマウントディスプレイは、請求項1に記載の発明の構成に加え、前記受信データには、前記定点カメラの位置の情報である第一位置情報をさらに含み、前記ヘッドマウントディスプレイの位置の情報である第二位置情報を取得する位置情報取得手段と、前記データ記憶手段に記憶された前記受信データの前記第一位置情報、及び前記位置情報取得手段により取得された前記第二位置情報に基づいて、前記定点カメラと前記ヘッドマウントディスプレイとの間の距離を取得する距離取得手段とを備え、前記表示制御手段は、前記距離取得手段により取得された前記距離が近いほど、前記画像表示部に前記受信データの前記画像データを手前側に表示し、前記距離が遠いほど、前記画像データを奥側に表示することでレイヤ表示をすることを特徴とする。

0007

また、請求項3に係る発明のヘッドマウントディスプレイは、請求項2に記載の発明の構成に加え、前記ヘッドマウントディスプレイの移動する速度を取得する速度取得手段を備え、前記表示制御手段は、前記レイヤ表示の前記画像データの間隔及び表示枚数を、前記速度取得手段により取得された前記速度に応じた所定の間隔及び枚数で表示することを特徴とする

0008

また、請求項4に係る発明のヘッドマウントディスプレイは、請求項1乃至3のいずれかに記載の発明の構成に加え、前記表示制御手段は、前記進行方向に対して右側の方向と同一の方向である前記撮影方向に対応する前記画像データを、前記画像表示部に表示されている前記進行方向に対応する前記画像データの右側に表示し、前記進行方向に対して左側の方向と同一の方向である前記撮影方向に対応する前記画像データを、前記画像表示部に表示されている前記進行方向に対応する前記画像データの左側に表示することを特徴とする。

0009

また、請求項5に係る発明のヘッドマウントディスプレイは、請求項1乃至4のいずれかに記載の発明の構成に加え、前記画像表示部に表示されている複数の前記画像データの内のいずれか1つを選択する画像選択手段と、前記画像選択手段により選択された前記画像データを、前記画像表示部に表示させる画像データ表示制御手段とを備えている。

0010

また、請求項6に係る発明のヘッドマウントディスプレイは、請求項5に記載の発明の構成に加え、前記使用者の眼の動きを検出する検出手段と、前記画像選択手段は、前記検出手段により検出された前記使用者の眼の動きに基づいて、前記画像表示部に表示されている複数の前記画像データの内のいずれか1つを選択することを特徴とする。

0011

また、請求項7に係る発明のヘッドマウントディスプレイは、請求項5に記載の発明の構成に加え、前記使用者から、前記画像表示部に表示されている前記画像データを選択するための入力を受け付け入力受付手段と、前記画像選択手段は、前記入力受付手段により受け付けられた前記入力に基づいて、前記画像表示部に表示されている複数の前記画像データの内のいずれか1つを選択することを特徴とする。

発明の効果

0012

請求項1に係る発明のヘッドマウントディスプレイでは、データ受信手段により、外部の異なる位置に設けられた定点カメラから受信データとして、定点カメラにより撮影された画像データと、撮影方向とが対応づけられたデータを受信し、データ記憶制御手段によりデータ記憶手段に記憶する。また、進行方向取得手段によりヘッドマウントディスプレイの進行方向が取得され、表示制御手段により進行方向と、撮影方向とが同一の方向である画像データを画像表示部に表示する。これにより、ヘッドマウントディスプレイを装着した使用者は、表示させたい画像データを選択することなしに、進行方向に対応した画像を認識することができる。

0013

また、請求項2に係る発明のヘッドマウントディスプレイでは、請求項1に記載の発明の効果に加え、受信データは第一位置情報を含んでいる。また、ヘッドマウントディスプレイの位置の情報である第二位置情報を取得する位置情報取得手段を備え、距離取得手段により第一位置情報と、第二位置情報とに基づいて、定点カメラとヘッドマウントディスプレイとの距離を取得する。そして、表示制御手段により、距離が近いほど、画像データは手前側に表示され、距離が遠いほど、画像データは奥側に表示されるレイヤ表示となる。これにより、ヘッドマウントディスプレイを装着した使用者は、表示させたい画像データを選択することなしに、進行方向に対応した画像を認識することができる。また、定点カメラとの距離に応じてレイヤ表示がされているため、進行方向での画像が撮影された位置を、より詳しく認識できると共に、表示された画像に基づいて外界の状況を立体的に把握できる。

0014

また、請求項3に係る発明のヘッドマウントディスプレイでは、請求項2に記載の発明の効果に加え、ヘッドマウントディスプレイの移動する速度を取得する速度取得手段を備えており、表示制御手段は、速度に応じてレイヤ表示の間隔、及び枚数を変更して表示する。これにより、ヘッドマウントディスプレイを装着した使用者は、移動速度に応じて、より立体的に外界の状況を把握することができる。

0015

また、請求項4に係る発明のヘッドマウントディスプレイでは、請求項1乃至3のいずれかに記載の発明の効果に加え、表示制御手段は、進行方向に対して右側の方向と同一の方向である撮影方向に対応する画像データを、画像表示部に表示されている進行方向に対応する画像データの右側に表示し、進行方向に対して左側の方向と同一の方向である撮影方向に対応する画像データを、画像表示部に表示されている進行方向に対応する画像データの左側に表示する。これにより、ヘッドマウントディスプレイを装着した使用者は、進行方向だけでなく、進行方向に対して左右方向の画像も視認できるため、より立体的に外界の状況を把握することができる。

0016

また、請求項5に係る発明のヘッドマウントディスプレイでは、請求項1乃至4のいずれかに記載の発明の効果に加え、画像選択手段により、画像表示部に表示されている複数の画像データの内のいずれか1つを選択することができる。そして、画像データ表示制御手段により、選択された画像データを画像表示部に表示させることができる。これにより、ヘッドマウントディスプレイを装着した使用者は、複数の内のいずれか1つを自由に選択することができる。そして、選択された画像データのみを表示させ、確認することができる。

0017

また、請求項6に係る発明のヘッドマウントディスプレイでは、請求項5に記載の発明の効果に加え、使用者の眼の動きを検出する検出手段を備えている。そして、画像選択手段は、検出手段により検出された使用者の眼の動きに基づいて、画像表示部に表示されている複数の画像データの内のいずれか1つを選択することができる。これにより、ヘッドマウントディスプレイを装着した使用者は、画像表示部に表示させたい画像データを、眼の視線で容易、且つ素早く選択することができる。そして、選択された画像データのみを表示させ、確認することができる。

0018

また、請求項7に係る発明のヘッドマウントディスプレイでは、請求項5に記載の発明の効果に加え、画像表示部に表示されている画像データを選択するための入力を受け付ける入力受付手段を備えている。そして、画像選択手段は、入力受付手段により受け付けられた入力に基づいて、画像表示部に表示されている複数の画像データの内のいずれか1つを選択することができる。これにより、ヘッドマウントディスプレイを装着した使用者は、入力により、画像表示部に表示されている複数の画像データの内で、画像表示部に表示させたい画像データを確実に選択することができる。そして、選択された画像データのみを表示させ、確認することができる。

発明を実施するための最良の形態

0019

以下、本発明を具現化した一実施形態について、図面を参照して説明する。なお、参照する図面は、本発明が採用しうる技術的特徴を説明するために用いられるものであり、記載されている装置の構成、各種処理のフローチャートなどは、それのみに限定する趣旨ではなく、単なる説明例である。

0020

なお、本実施形態では、ヘッドマウントディスプレイとして、画像信号に応じた光束を2次元方向に走査し、その走査された光を眼に導き網膜上に表示画像を形成する網膜走査型ディスプレイを例に挙げて説明するが、これに限定しない。例えば、液晶ディスプレイ有機EL(ElectroLuminesence)ディスプレイ等、他の画像表示装置を備え、利用者が頭部に装着して画像を鑑賞するヘッドマウントディスプレイであってもよい。

0021

はじめに、図1及び図2を参照し、定点カメラ300及びヘッドマウントディスプレイ200の接続形態について説明する。図1は、定点カメラ300が設けられた街角の一具体例を示す図である。図2は、定点カメラ300及びヘッドマウントディスプレイ200の接続形態の一具体例を示す図である。

0022

はじめに、図1を参照して、定点カメラ300の設置位置等について説明する。図1に示すように、定点カメラ300は、街角の各交差点に設けられている。この定点カメラ300は、交差点東西南北の4方向の映像所定間隔の時間で撮影する。ここで、例えば、定点カメラ300は道路の交通状況、歩行者の流れ等を撮影する。

0023

次に、図2を参照して、定点カメラ300とヘッドマウントディスプレイ200との接続形態について説明する。図2に示すように、使用者3が装着したヘッドマウントディスプレイ200には、ネットワーク1を介して定点カメラ300が接続可能である。ヘッドマウントディスプレイ200と、定点カメラ300とは無線によりデータ通信が可能となっており、定点カメラ300からヘッドマウントディスプレイ200へ、定点カメラ300で撮影された画像(以下、「カメラ画像」という)等が送信される。

0024

次に、図3を参照し、ヘッドマウントディスプレイ200の概略構成について説明する。図3は、ヘッドマウントディスプレイ200の外観構成を示した図である。

0025

図3に示すように、ヘッドマウントディスプレイ200は、画像信号に応じて変調されたレーザ光(以下「映像光4」という)を走査させて出射させ、使用者3の少なくとも一方の眼の網膜に画像を直接投影する。これにより、使用者3に画像を視認させる。ヘッドマウントディスプレイ200は、画像信号に応じて映像光4を出射する出射装置100と、その出射装置100から出射された映像光4を導くと共に、その映像光4を使用者3の眼に向かって反射させるハーフミラー150と、出射装置100及びハーフミラー150を支持する頭部装着部210と、使用者3の眼の動きを撮影するカメラ7とを少なくとも備えている。

0026

出射装置100は、映像光4をハーフミラー150に対し出射する。ハーフミラー150は、出射装置100に対して固定的な位置にあり、その出射装置100から出射された映像光4を導き、その映像光4を使用者3の眼に向かって反射させる。ハーフミラー150は、図示しないビームスプリッタ部を備えており、外界からの外光5を透過させ、使用者3の眼に導く。ハーフミラー150は、使用者3の側方から入射された映像光4を使用者3の眼に入射させると共に、外界からの外光5を使用者3の眼に入射させる。これにより、実際の視界はもちろん、出射装置100から出射された映像光4に基づく画像が視認可能となる。

0027

なお本実施形態においては、ヘッドマウントディスプレイとして、網膜走査を用いたシースルーのヘッドマウントディスプレイを例に挙げて説明したが、本発明はこの例に限定されず、例えば、反射型LCDを利用したヘッドマウントディスプレイであってもよい。

0028

図4を参照し、ヘッドマウントディスプレイ200の電気的構成について説明する。図4は、ヘッドマウントディスプレイ200の電気的構成を示す模式図である。

0029

図4に示すように、ヘッドマウントディスプレイ200は、使用者3に画像を視認させる表示部40、各種操作やデータの入力を行うための入力部41、画像情報等の送受信を行う通信部43、ヘッドマウントディスプレイ200で使用する機能の各種設定値等を記憶するフラッシュメモリ49、表示部40に表示する画像(グラフィック)やテキストなどのイメージデータが記憶されるビデオRAM44、表示部40に表示するテキストのフォントデータが記憶されるフォントROM45、ヘッドマウントディスプレイ200全体を制御する制御部46、外界の映像を撮影するカメラ7の制御を行うカメラ制御部99、ヘッドマウントディスプレイ200の位置を取得するためのデータを取得するGPS受信機88の制御を行うGPS制御部89、ヘッドマウントディスプレイ200を装着した使用者3の進行方向を取得するための加速度計38の制御を行う加速度計制御部39及び電源部47を備えている。

0030

表示部40は、使用者3に視認させるための映像の情報(以下「映像情報」という。)を制御部46より受信し、使用者3の網膜に直接投影させるために必要な各信号に変換する為の映像信号処理部70、レーザ光を出力するレーザ群72(青色出力レーザ(Bレーザ)721、緑色出力レーザ(Gレーザ)722、赤色出力レーザ(Rレーザ)723)、及び、レーザよりレーザ光を出力させるための制御を行うレーザドライバ群71を備えている。そして、映像信号処理部70の制御により、所望のレーザ光を所望のタイミングで出力させることが可能なように、映像信号処理部70はレーザドライバ群71と電気的に接続されている。またレーザドライバ群71は、Bレーザ721、Gレーザ722、及びRレーザ723と其々電気的に接続されている。また、映像信号処理部70が制御部46より映像信号を受信することが可能なように、映像信号処理部70と制御部46とはバスを介して電気的に接続されている。

0031

また表示部40は、レーザより出力されたレーザ光を垂直方向に反射させることによって走査を行う垂直走査ミラー812及び垂直走査ミラー812の駆動制御を行う垂直走査制御回路811、レーザより出力されたレーザ光を水平方向に反射させることによって走査を行う水平走査ミラー792及び水平走査ミラー792の駆動制御を行う水平走査制御回路791を備えている。そして、映像信号処理部70の制御により、所望の方向にレーザ光を反射させることが可能なように、映像信号処理部70と垂直走査制御回路811及び水平走査制御回路791とは其々電気的に接続されている。また、垂直走査制御回路811は垂直走査ミラー812と電気的に接続されている。また、水平走査制御回路791は水平走査ミラー792と電気的に接続されている。

0032

入力部41は、各種機能キーなどからなる操作ボタン群50、操作ボタン群50のキーが操作されたことを検出し、制御部46に通知する入力制御回路51を備えている。そして、操作ボタン群50のキーに入力された情報を制御部46(後述)にて認識することが可能なように、操作ボタン群50は入力制御回路51と電気的に接続されている。また入力制御回路51は制御部46と電気的に接続されている。

0033

通信部43は、無線電波を使用し、画像信号等の受信を行う通信モジュール57と、この通信モジュール57を制御する通信制御回路58とを備えている。そして、制御部46にて画像信号を取得することが可能なように、制御部46と通信制御回路58とはバスを介して電気的に接続されている。また、通信モジュール57は通信制御回路58と電気的に接続されている。

0034

なお、通信モジュール57の通信方式としては特に限定されず、従来周知の無線通信方式使用可能である。例えば、Bluetooth(登録商標)、UWB(Ultra Wide Band)規格無線LANIEEE802.11b,11g,11nなど)規格、WirelessUSB規格などに準拠した無線通信方式が使用可能である。また、赤外線を利用したIrDA(Infrared Data Association)規格に準拠した無線通信方式も使用可能である。

0035

カメラ制御部99は、使用者3の眼の動きを撮影するためのカメラ7、このカメラ7の制御を行うカメラ制御回路8から構成されている。また、カメラ7にて撮影された使用者3の眼の映像を記憶可能なように、バスを介して制御部46、及びRAM48に電気的に接続されている。

0036

GPS制御部89は、ヘッドマウントディスプレイ200の現在位置のデータを取得するためのGPS受信機88、このGPS受信機88の制御を行うGPS制御回路87から構成されている。また、GPS受信機88にて受信された現在位置のデータを記憶可能なように、バスを介して制御部46、及びRAM48に電気的に接続されている。

0037

加速度計制御部39は、ヘッドマウントディスプレイ200を装着した使用者3の進行方向を取得するための加速度計38、この加速度計38の制御を行う加速度計制御回路37から構成されている。また、加速度計38により計測されたデータに基づいて使用者3の進行方向を記憶可能なように、バスを介して制御部46、及びRAM48に電気的に接続されている。

0038

電源部47は、ヘッドマウントディスプレイ200を駆動させるための電源となる充電式電池59、及び、電池59の電力をヘッドマウントディスプレイ200に供給すると共に、充電用アダプタ(図示せず)から供給される電力を電池59へ供給して電池59の充電を行う充電制御回路60を備えている。

0039

フラッシュメモリ49、ビデオRAM44、及びフォントROM45は、制御部46より各記憶領域に記憶された情報を参照することが可能なように、それぞれがバスを介して制御部46と電気的に接続されている。

0040

制御部46は、ヘッドマウントディスプレイ200全体を制御する機能を有しており、例えば、所望の情報を表示部40に表示させたり、使用者3による入力部41の操作に応じて所定の動作を行ったりする。

0041

制御部46は、CPU61、各種プログラムを格納したROM62、各種データが一時的に記憶されるRAM48などから構成されている。制御部46では、CPU61がROM62に格納された各種プログラムを読み出すことにより、各処理が実行される。RAM48は、CPU61が各処理を実行する場合に必要な各種フラグやデータの記憶領域を提供する。

0042

表示部40にて映像光4が形成される過程概要について、図5を参照して詳説する。図5は、表示部40において映像光4が形成される過程を説明した模式図である。表示部40は、図5に示すように、光源ユニット部65、コリメート光学系77、水平走査系79、第一リレー光学系80、垂直走査系81、第二リレー光学系82を備えている。光源ユニット部65は、映像信号処理部70、レーザドライバ群71、レーザ群72、コリメート光学系73、ダイクロイックミラー群74、及び結合光学系75を備えている。水平走査系79は、水平走査制御回路791及び水平走査ミラー792を備えている。垂直走査系81は、垂直走査制御回路811及び垂直走査ミラー812を備えている。

0043

光源ユニット部65の構成について図4、及び図5を参照して詳説する。映像信号処理部70は、既述のように、CPU46と電気的に接続されている。そして、制御部46を介して所望の情報を網膜に投影させるためにビデオRAM44に展開された映像情報が入力される。映像信号処理部70には、輝度信号66(B輝度信号661、G輝度信号662、R輝度信号663)、垂直同期信号67及び水平同期信号68が其々入力される。映像信号処理部70では、入力された映像情報を網膜に投影させるための要素となる各信号(輝度信号、水平同期信号、垂直同期信号)が生成される。生成された各信号は、輝度信号66、水平同期信号68、及び垂直同期信号67に対して画素毎に出力される。

0044

輝度信号66(B輝度信号661、G輝度信号662、R輝度信号663)は、レーザドライバ群71(Bレーザドライバ711、Gレーザドライバ712、Rレーザドライバ713)に其々入力される。水平同期信号68は、水平走査系79の水平走査制御回路791に入力される。垂直同期信号67は、垂直走査系81の垂直走査制御回路811に入力される。

0045

レーザドライバ群71は、レーザ群72(Bレーザ721、Gレーザ722、Rレーザ723)に其々電気的に接続されている。レーザドライバ群71は、輝度信号66(B輝度信号661、G輝度信号662、R輝度信号663)を介して伝達された各信号の各輝度信号に基づいて、強度変調されたレーザ光をレーザ群72より出射させるために、レーザ群72を駆動する。

0046

レーザドライバ群71の制御に基づきレーザ群72より出射された3色(青色、緑色、赤色)のレーザ光を平行光にコリメートさせることが可能なコリメート光学系73(731〜733)、コリメート光学系73にてコリメートされたレーザ光を合波させることが可能なダイクロイックミラー群74(741〜743)、合波されたレーザ光を光ファイバ76に導くための結合光学系75が其々設けられている。

0047

尚、レーザ群72(Bレーザ721、Gレーザ722、Rレーザ723)として、レーザダイオード等の半導体レーザ固体レーザを利用してもよい。

0048

表示部40のうち光源ユニット部65を除く部分の構成について詳説する。光源ユニット部65より光ファイバ76に対して導かれたレーザ光を、水平方向に走査させるための水平走査ミラー792が水平走査系79に設けられている。水平走査ミラー792の偏向面793に入射されたレーザ光は、水平走査制御回路791の制御により、映像信号処理部70より受信される水平同期信号68に同期して水平方向に走査される。本実施の形態の水平走査系79は、表示すべき画像の1走査線毎に、レーザ光を水平方向に水平走査(1次走査の一例)させるための光学系である。

0049

水平走査されたレーザ光を垂直走査系81に導くための第一リレー光学系80が表示部40に設けられている。また、第一リレー光学系80により導かれたレーザ光を垂直方向に走査させるための垂直走査ミラー812が垂直走査系81に設けられている。垂直走査ミラー812の偏向面813に入射されたレーザ光は、垂直走査制御回路811の制御により、映像信号処理部70より受信される垂直同期信号67に同期して垂直方向に走査される。本実施の形態の垂直走査系81は、表示すべき画像の1フレーム毎に、レーザ光を最初の走査線から最後の走査線に向かって垂直に垂直走査(2次走査の一例)する光学系である。

0050

垂直走査されたレーザ光(映像光4(図1参照))をハーフミラー150に導くための第二リレー光学系82が表示部40に設けられている。第二リレー光学系82にて導かれた映像光4は、ハーフミラー150に入射される。ハーフミラー150は、第二リレー光学系82と使用者3の瞳孔90との間に配置される。ハーフミラー150は、映像光4を全反射させるなどして、使用者3の瞳孔90に導く。

0051

上述の表示部40では、水平走査系79は、垂直走査系81より高速にすなわち高周波数でレーザ光を走査するように設計される。また、第一リレー光学系80は、水平走査系79の水平走査ミラー792と、垂直走査系81の垂直走査ミラー812とが共役となるように構成されている。第二リレー光学系82は、垂直走査ミラー812と、使用者3の瞳孔90とが共役となるように構成されている。

0052

本発明の一実施形態のヘッドマウントディスプレイ200が、外部からの映像信号を受けてから、使用者3の網膜上に映像を投影するまでの過程について、図5を参照して説明する。

0053

本実施形態のヘッドマウントディスプレイ200では、光源ユニット部65に設けられた映像信号処理部70が映像信号を受信する。次いで映像信号処理部70より、青、緑、赤の各色のレーザ光を出力させるためのB輝度信号661、G輝度信号662、R輝度信号663からなる輝度信号66と、水平同期信号68と、垂直同期信号67とが出力される。

0054

Bレーザドライバ711、Gレーザドライバ712、Rレーザドライバ713は、各々入力されたB輝度信号661、G輝度信号662、R輝度信号663に基づき、Bレーザ721、Gレーザ722、Rレーザ723に対してそれぞれの駆動信号を出力する。

0055

上述の駆動信号に基づいて、Bレーザ721、Gレーザ722、Rレーザ723は、それぞれ強度変調されたレーザ光を発生させる。発生されたレーザ光は、コリメート光学系73に出力される。レーザ光は、コリメート光学系73によってそれぞれが平行光にコリメートされ、更に、ダイクロイックミラー群74に入射されて1つのレーザ光となるよう合成される。合成されたレーザ光は、結合光学系75によって光ファイバ76に入射されるよう導かれる。

0056

光ファイバ76を伝達したレーザ光は、光ファイバ76からコリメート光学系77を介して水平走査系79に出射される。

0057

水平走査系79に入射されたレーザ光は、水平走査ミラー792の偏向面793にて、水平同期信号68に同期して水平方向に走査される。水平走査ミラー792は、水平同期信号68に同期して、その偏向面793が入射光を水平方向に反射するように往復振動をしている。この水平走査ミラー792によってレーザ光は水平方向に走査される。水平走査されたレーザ光は、第一リレー光学系80を介し、垂直走査系81に出射される。

0058

第一リレー光学系80では、水平走査ミラー792の偏向面793と垂直走査ミラー812の偏向面813とが共役の関係となるように調整され、また、水平走査ミラー792の面倒れ補正される。

0059

垂直走査系81に入射されたレーザ光は、垂直走査ミラー812の偏向面813にて、垂直同期信号67に同期して垂直方向に走査される。垂直走査ミラー812は、水平走査ミラー792が水平同期信号68に同期することと同様に垂直同期信号67に同期して、その偏向面813が入射光を垂直方向に反射するように往復振動をしている。この垂直走査ミラー812によってレーザ光は垂直方向に走査される。

0060

水平走査系79及び垂直走査系81によって垂直方向及び水平方向に2次元に走査されたレーザ光(映像光4)は、垂直走査ミラー812の偏向面813と、ユーザの瞳孔90とが共役の関係となるように設けられた第二リレー光学系82、ハーフミラー150によりユーザの瞳孔90へ入射され、網膜上に投影される。

0061

以上説明した過程を経ることにより、使用者3は、2次元走査されて網膜上に投影されたレーザ光による画像を認識することが可能となる。なお、水平走査系79の水平走査ミラー792と、垂直走査系81の垂直走査ミラー812とは、名称を同じように説明したが、光を走査するように其の反射面が揺動(回転)させられるものであれば、共振タイプ、非共振タイプ等、圧電駆動電磁駆動静電駆動等いずれの駆動方式によるものであってもよいことは言うまでもない。

0062

次に、図6図7を参照して、ヘッドマウントディスプレイ200のメイン処理が実行される際にRAM48に作成される進行方向基準画像テーブル1410、及び表示画像テーブル1420について説明する。図6は、進行方向基準画像テーブル1410の構成を示す模式図である。図7は、表示画像テーブル1420の構成を示す模式図である。

0063

図6に示す進行方向基準画像テーブル1410は、ヘッドマウントディスプレイ200でメイン処理(図8参照)が実行されると、RAM48の進行方向基準画像テーブル記憶エリア(図示外)に作成されるテーブルである。進行方向基準画像テーブル1410は、「前画像」、「右画像」、「左画像」、及び「後画像」の項目を備えており、カメラ画像のファイル名を記憶している。「前画像」は、ヘッドマウントディスプレイ200を装着した使用者3の進行方向に対して同一の方向で撮影されたカメラ画像のファイル名が記憶され、ヘッドマウントディスプレイ200からの距離が近い順に「1」〜「5」のエリアに記憶される。また、「右画像」は、進行方向に対して右側の方向で撮影されたカメラ画像のファイル名が記憶され、ヘッドマウントディスプレイ200からの距離が近い順に「1」〜「5」のエリアに記憶される。また、「左画像」は、進行方向に対して左側の方向で撮影されたカメラ画像のファイル名が記憶され、ヘッドマウントディスプレイ200からの距離が近い順に「1」〜「5」のエリアに記憶される。「後画像」は、進行方向に対して後側の方向で撮影されたカメラ画像のファイル名が記憶され、ヘッドマウントディスプレイ200からの距離が近い順に「1」〜「5」のエリアに記憶される。

0064

図7に示す、表示画像テーブル1420は、上述した進行方向基準画像テーブル1410と同様に、ヘッドマウントディスプレイ200でメイン処理(図8参照)が実行されると、RAM48の表示画像テーブル記憶エリア(図示外)に作成されるテーブルである。表示画像テーブル1420は、「前画像」、「右画像」、「左画像」、及び「後画像」の項目を備えており、カメラ画像のファイル名を記憶している。表示画像テーブル1420は、進行方向基準画像テーブル1410に記憶されているカメラ画像を、ヘッドマウントディスプレイ200によって検出された使用者3の顔方向に基づいて方向を変換して記憶したものである。そして、ヘッドマウントディスプレイ200からの距離が近い順にファイル名が、「1」〜「5」のエリアに記憶される。

0065

次に、図8図13を参照して、ヘッドマウントディスプレイ200で実行される各処理について説明する。図8は、ヘッドマウントディスプレイ200で実行されるメイン処理のフローチャートである。図9は、ヘッドマウントディスプレイ200で実行される進行方向基準画像テーブル設定処理サブルーチンのフローチャートである。図10は、ヘッドマウントディスプレイ200で実行される画像入替処理のサブルーチンのフローチャートである。図11は、ヘッドマウントディスプレイ200で実行される画像表示処理のサブルーチンのフローチャートである。図12は、レイヤ表示されたカメラ画像である。図13は、移動速度が速い場合のレイヤ表示されたカメラ画像である。なお、メイン処理は、ヘッドマウントディスプレイ200の電源起動時に実行される処理である。また、ヘッドマウントディスプレイ200の電源がOFFになった際には、自動的に終了するものとする。また、ヘッドマウントディスプレイ200で実行される他の処理については、他のプロセスで実行されるものとする。他の処理についての説明は省略する。

0066

はじめに、図8を参照して、ヘッドマウントディスプレイ200で実行されるメイン処理について説明する。メイン処理が実行されると、ヘッドマウントディスプレイ200を装着している使用者3の現在位置が取得される(S11)。この現在位置は、ヘッドマウントディスプレイ200に設けられているGPS受信機88で受信したGPSデータに基づいて取得される。そして、取得された現在位置の情報(以下、「位置情報」という。)は、RAM48の位置情報記憶エリア(図示外)に記憶される。なお、この位置情報記憶エリアは、少なくとも2以上の異なった時間に取得した位置情報を記憶することが可能な領域である。

0067

次いで、ヘッドマウントディスプレイ200を装着している使用者3の進行方向が取得される(S12)。この進行方向は、RAM48の位置情報記憶エリアに記憶されている異なった時間に取得された位置情報に基づいて、ヘッドマウントディスプレイ200を装着している使用者3が移動した方向を求めることで決定される。なお、この進行方向は例えば、「東」,「西」,「」,「」の4方向やさらに北東、西南などの8方向に分けた内の1方向として決定される。あるいは、北を0度とした角度で表しても良い。そして、進行方向に変化があったか否かが判断される(S13)。この判断は、RAM48の進行方向記憶エリア(図示外)に記憶されている進行方向と同一か否かで判断される。進行方向記憶エリアに何も記憶されていない、又は進行方向記憶エリアに記憶されている進行方向と同一の場合、つまり、進行方向に変化がない場合(S13:NO)、S12で取得した進行方向が、進行方向記憶エリアに記憶される。そして、街角に設置されている定点カメラ300からカメラ画像、カメラ画像の撮影方向、及び定点カメラ300の位置情報(以下、これらを称して「定点カメラ情報」という。)を受信したか否かが判断される(S15)。

0068

また、進行方向記憶エリアに記憶されている進行方向と、S12で取得した進行方向とが異なっており、使用者3の進行方向に変化があったと判断された場合(S13:YES)、S12で取得した進行方向が進行方向記憶エリアに記憶される。そして、RAM48に記憶されている進行方向基準画像テーブル1410、及び表示画像テーブル1420のデータがクリアされ(S14)、S11へ移行する。

0069

定点カメラ300から定点カメラ情報を受信していないと判断された場合(S15:NO)、S11へ移行する。また、定点カメラ300から定点カメラ情報が送信され、定点カメラ情報を受信したと判断された場合(S15:YES)、受信した定点カメラ情報のカメラ画像が、使用者3の進行方向に対して撮影されたカメラ画像か否かが判断される(S16)。この判断処理は、受信した定点カメラ情報の撮影方向が、RAM48の進行方向記憶エリアに記憶されている進行方向と同一か否かで判断される。

0070

受信した定点カメラ情報のカメラ画像が、使用者3の進行方向に対して撮影されたカメラ画像であると判断された場合(S16:YES)、つまり、受信した定点カメラ情報の撮影方向が、RAM48の進行方向記憶エリアに記憶されている進行方向と同一である場合、定点カメラ情報がRAM48の前画像記憶エリア(図示外)に保存される(S17)。なお、前画像記憶エリアには、複数の定点カメラ情報を記憶することができる。そして、定点カメラ300とヘッドマウントディスプレイ200との距離が算出される(S24)。この距離は、定点カメラ情報の位置情報と、RAM48の位置情報記憶エリアに記憶されている位置情報とに基づいて算出される。

0071

受信した定点カメラ情報のカメラ画像が、使用者3の進行方向に対して撮影されたカメラ画像でないと判断された場合(S16:NO)、つまり、受信した定点カメラ情報の撮影方向が、RAM48の進行方向記憶エリアに記憶されている進行方向と同一でない場合、受信した定点カメラ情報のカメラ画像が、使用者3の進行方向に対して右方向で撮影されたか否かが判断される(S18)。この判断処理は、受信した定点カメラ情報の撮影方向が、RAM48の進行方向記憶エリアに記憶されている進行方向に対して右方向か否かで判断される。受信した定点カメラ情報のカメラ画像が、使用者3の進行方向に対して右方向で撮影されたカメラ画像であると判断された場合(S18:YES)、定点カメラ情報がRAM48の右画像記憶エリア(図示外)に保存される(S19)。なお、右画像記憶エリアには、複数の定点カメラ情報を記憶することができる。そして、S24へ移行する。

0072

受信した定点カメラ情報のカメラ画像が、使用者3の進行方向に対して右方向で撮影されたカメラ画像でないと判断された場合(S18:NO)、つまり、受信した定点カメラ情報の撮影方向が、RAM48の進行方向記憶エリアに記憶されている進行方向に対して、右方向でないと判断された場合、受信した定点カメラ情報のカメラ画像が、使用者3の進行方向に対して左方向で撮影されたか否かが判断される(S20)。この判断処理は、受信した定点カメラ情報の撮影方向が、RAM48の進行方向記憶エリアに記憶されている進行方向に対して左方向か否かで判断される。受信した定点カメラ情報のカメラ画像が、使用者3の進行方向に対して左方向で撮影されたカメラ画像であると判断された場合(S20:YES)、定点カメラ情報がRAM48の左画像記憶エリア(図示外)に保存される(S21)。なお、左画像記憶エリアには、複数の定点カメラ情報を記憶することができる。そして、S24へ移行する。

0073

受信した定点カメラ情報のカメラ画像が、使用者3の進行方向に対して左方向で撮影されたカメラ画像でないと判断された場合(S20:NO)、つまり、受信した定点カメラ情報の撮影方向が、RAM48の進行方向記憶エリアに記憶されている進行方向に対して、左方向でないと判断された場合、受信した定点カメラ情報のカメラ画像が、使用者3の進行方向に対して後方向で撮影されたか否かが判断される(S22)。この判断処理は、受信した定点カメラ情報の撮影方向が、RAM48の進行方向記憶エリアに記憶されている進行方向に対して後方向か否かで判断される。受信した定点カメラ情報のカメラ画像が、使用者3の進行方向に対して後方向で撮影されたカメラ画像であると判断された場合(S22:YES)、定点カメラ情報がRAM48の後画像記憶エリア(図示外)に保存される(S23)。なお、後画像記憶エリアには、複数の定点カメラ情報を記憶することができる。そして、S24へ移行する。

0074

受信した定点カメラ情報のカメラ画像が、使用者3の進行方向に対して後方向で撮影されたカメラ画像でないと判断された場合(S22:NO)、つまり、受信した定点カメラ情報の撮影方向が、RAM48の進行方向記憶エリアに記憶されている進行方向に対して、後方向でないと判断された場合、S11へ移行する。

0075

次いで、定点カメラ300とヘッドマウントディスプレイ200との距離が算出される(S24)。そして、RAM48の進行方向基準画像テーブル記憶エリアに、進行方向基準画像テーブル1410が設定される処理である進行方向基準画像テーブル設定処理が行われる(S25)。この進行方向基準画像テーブル設定処理についての詳細は後述する。そして、画像入替処理が実行される(S26)。この画像入替処理についての詳細は、後述する。次いで、画像表示処理が実行され(S27)、S11へ戻る。この画像表示処理についての詳細は、後述する。

0076

次に、図9を参照して、進行方向基準画像テーブル設定処理について説明する。この進行方向基準画像テーブル設定処理は、メイン処理(図8参照)から実行される処理である。進行方向基準画像テーブル設定処理が実行されると、進行方向基準画像テーブル1410がRAM48の進行方向基準画像テーブル記憶エリアに記憶されているか否かが判断される(S51)。進行方向基準画像テーブル1410が記憶されていると判断された場合(S51:YES)、この記憶されている進行方向基準画像テーブル1410に、受信したカメラ画像が、RAM48の前画像記憶エリア、右画像記憶エリア、左画像記憶エリア、及び後画像記憶エリアに記憶されている情報に基づいて追加される(S53)。一方、進行方向基準画像テーブル1410がRAM48の進行方向基準画像テーブル記憶エリアに記憶されていないと判断された場合(S51:NO)、進行方向基準画像テーブル1410が新たに作成される(S52)。次いで、受信した定点カメラ情報のカメラ画像を、RAM48の前画像記憶エリア、右画像記憶エリア、左画像記憶エリア、及び後画像記憶エリアに記憶されている情報に基づいて進行方向基準画像テーブルに追加する(S53)。さらに、撮影された定点カメラ300との距離が近い順に並べ替えられる(S54)。

0077

次に、図10を参照して、画像入替処理について説明する。この画像入替処理は、メイン処理(図8参照)から実行される処理である。画像入替処理が実行されると、ヘッドマウントディスプレイ200の使用者3の顔が向いている方向(以下、「顔方向」という。)が取得される(S31)。この方向は、ヘッドマウントディスプレイ200に設けられている加速度計38を使用して取得される。加速度計38により、使用者3の顔の動きを検出し、動きがあった方向を顔方向として取得する。なお、加速度計の代わりに方位計で東西南北のような方位を直接取得しても良い。

0078

そして、取得された顔方向が、使用者3の進行方向と同一か否かが判断される(S32)。この判断は、顔方向がRAM48の進行方向記憶エリアに記憶されている進行方向と同一の方向であるか否かで判断される。顔方向が、使用者3の進行方向と同一と判断された場合(S32:YES)、RAM48の表示画像テーブル記憶エリアに記憶されている表示画像テーブル1420に設定されている情報が、顔方向である進行方向に対しての情報に更新される(S33)。ここでは、顔方向と、進行方向とは同一の方向であるため、更新された表示画像テーブル1420は、進行方向基準画像テーブル1410と同一のテーブルとなる。そして、画像入替処理が終了する。

0079

顔方向が、使用者3の進行方向と同一でないと判断された場合(S32:NO)、つまり、顔方向がRAM48の進行方向記憶エリアに記憶されている進行方向と同一の方向でないと判断された場合、顔方向が、使用者3の進行方向に対して右側の方向であるか否かが判断される(S34)。この判断処理は、顔方向が、RAM48の進行方向記憶エリアに記憶されている進行方向に対して右側の方向か否かで判断される。顔方向が、使用者3の進行方向に対して右側の方向であると判断された場合(S34:YES)、表示画像テーブル1420に設定されている情報が、進行方向に対して右側の方向の情報に更新される(S35)。つまり、進行方向基準画像テーブル1410の「右画像」が表示画像テーブル1420の「前画像」に、「後画像」が「右画像」に、「前画像」が「左画像」に、「左画像」が「後画像」にコピーされる。

0080

例えば、図6の進行方向基準画像テーブル1410では、「右画像」である「R1.jpg」〜「R5.jpg」が表示画像テーブル1420では「前画像」として記憶され、「後画像」である「B1.jpg」〜「B5.jpg」が「右画像」として記憶され、「前画像」である「F1.jpg」〜「F5.jpg」が「左画像」として記憶され、「左画像」である「L1.jpg」〜「L5.jpg」が「後画像」として記憶される。そして、画像入替処理が終了する。なお、図7に示す表示画像テーブル1420は、進行方向基準画像テーブル1410が図6に示す状態で、顔方向が、使用者3の進行方向に対して右側の方向であると判断され、更新された状態を示している。

0081

顔方向が、使用者3の進行方向に対して右側の方向と同一でないと判断された場合(S34:NO)、つまり、顔方向がRAM48の進行方向記憶エリアに記憶されている進行方向に対して右側の方向でないと判断された場合、顔方向が、使用者3の進行方向に対して左側の方向であるか否かが判断される(S36)。この判断処理は、顔方向が、RAM48の進行方向記憶エリアに記憶されている進行方向に対して左側の方向か否かで判断される。顔方向が、使用者3の進行方向に対して左側の方向であると判断された場合(S36:YES)、表示画像テーブル1420に設定されている情報が、進行方向に対して左側の方向の情報に更新される(S37)。つまり、進行方向基準画像テーブル1410の「左画像」が「前画像」に、「前画像」が「右画像」に、「後画像」が「左画像」に、「右画像」が「後画像」となる。例えば、図6の進行方向基準画像テーブル1410では、「左画像」である「L1.jpg」〜「L5.jpg」が表示画像テーブル1420では「前画像」として記憶され、「前画像」である「F1.jpg」〜「F5.jpg」が「右画像」として記憶され、「後画像」である「B1.jpg」〜「B5.jpg」が「左画像」として記憶され、「右画像」である「R1.jpg」〜「R5.jpg」が「後画像」として記憶される。そして、画像入替処理が終了する。

0082

また、顔方向が、使用者3の進行方向に対して左側の方向でないと判断された場合(S36:NO)、つまり、顔方向が、RAM48の進行方向記憶エリアに記憶されている進行方向に対して左側の方向でないと判断された場合、画像入替処理を終了する。

0083

次に、図11図13を参照して、画像表示処理について説明する。この画像表示処理は、メイン処理(図8参照)から実行される処理である。画像表示処理が実行されると、1画像のみ表示(以下、「1画像表示」という。)されているか否かが判断される(S41)。

0084

ここで、ヘッドマウントディスプレイ200で、使用者3に認識される表示画像の表示形態には、レイヤ表示と、1画像表示とがある。レイヤ表示は、図12に示すように、異なった定点カメラ300から受信したカメラ画像の内で、撮影方向が同一方向の方向であるカメラ画像を3次元的にレイヤ状に表示した表示方法である。たとえば、図12におけるレイヤ表示においては、使用者3の進行方向に対して同一の撮影方向であるカメラ画像は、顔の向きが進行方向と同じときは、進行方向画像400として中央に表示される。進行方向に対して左側の撮影方向であるカメラ画像は、左方向画像500として進行方向画像400の左側に表示される。進行方向に対して右側の撮影方向であるカメラ画像は、右方向画像600として進行方向画像400の右側に表示される。顔の向きが変わると、図8で説明したように、表示画像テーブル1420が並び替えられるので、右を向いたときには、右方向のカメラ画像が正面に表示される。

0085

なお、レイヤ表示の際は、使用者3と距離の近い定点カメラ300で撮影されたカメラ画像ほど、手前側に表示され、距離の近い定点カメラ300で撮影されたカメラ画像ほど、奥側に表示されるものとする。さらに、最前列の画像の位置や大きさも使用者との距離に応じて変えても良い。すなわち、遠いほど奥まって見えるよう、表示位置をたとえば図12の2番目や3番目のレイヤ位置とし、大きさを小さくしても良い。後ろのレイヤの画像も最前列画像に合わせて、位置と大きさが変えられる。

0086

また、1画像表示は、レイヤ表示がされているカメラ画像から、選択されたカメラ画像のみが表示されているものとする。

0087

1画像表示されていると判断された場合(S41:YES)、1画像表示されているカメラ画像の選択を解除する指示が行われたか否かが判断される(S42)。この判断処理は、RAM48の選択フラグ記憶エリア(図示外)に記憶されている選択フラグの値により判断される。この選択フラグは、レイヤ表示されている状態で、選択ボタン(図示外)が押されると「1」となる。また、1画像表示されている状態で、選択解除ボタン(図示外)が押されると、選択フラグは「0」となる。ここで、選択フラグの初期値は「0」とする。

0088

1画像表示されているカメラ画像の選択を解除する指示が行われなかった場合(S42:NO)、つまり、選択フラグの値が「1」の場合、画像表示処理を終了する。

0089

また、1画像表示されているカメラ画像の選択を解除する指示が行われた場合(S42:YES)、つまり、選択フラグの値が「0」の場合、レイヤ表示が行われる(S43)。このレイヤ表示は、上述した図12のように表示される。

0090

また、1画像表示されていないと判断された場合(S41:NO)、つまり、レイヤ表示されている場合、レイヤ表示が再度行われる(S43)。

0091

次いで、ヘッドマウントディスプレイ200を装着する使用者3の移動速度が算出される(S44)。この移動速度は、所定時間内の移動距離により算出される。ここで、移動距離は、ヘッドマウントディスプレイ200に設けられたGPS受信機88で受信するGPSデータに基づいて算出される。そして、算出された移動速度に応じてレイヤ表示の表示形態が変更される(S45)。ここで、例えば、移動速度が、所定速度より速ければ図13に示すように表示される。図13は、図12の状態と比べて移動速度が速い場合の表示画像である。図13に示すレイヤ表示では、進行方向画像400,左方向画像500,及び右方向画像600に表示されるカメラ画像の画像数が多くなり、その間隔が狭くなっている点に特徴を有する。

0092

次いで、レイヤ表示されているカメラ画像の1枚を選択するための処理が行われたか否かが判断される(S46)。この判断は、RAM48の選択フラグ記憶エリアに記憶されている選択フラグの値により判断される。

0093

レイヤ表示されているカメラ画像の1枚を選択するための指示が行われなかった場合(S46:NO)、つまり、選択ボタンが押されておらず、選択フラグの値が「0」の場合、画像表示処理を終了する。

0094

また、レイヤ表示されているカメラ画像の1枚を選択するための指示が行われた場合(S46:YES)、つまり、選択ボタンが押され、選択フラグの値が「1」の場合、使用者3の眼の動作によりレイヤ表示されているカメラ画像の1枚が選択される(S47)。この選択処理は、ヘッドマウントディスプレイ200に設けられているカメラ7により撮影される使用者3の眼の動きにより判断される。例えば、レイヤ表示されているカメラ画像の内で、所定時間の間、特定のカメラ画像の位置に対して、使用者3の視線が向いているか否かで判断される。そして、S47で選択されたカメラ画像のみが表示され(S48)、画像表示処理を終了する。

0095

以上説明したように、ヘッドマウントディスプレイ200では、街角の各交差点に設けられた定点カメラ300から定点カメラ情報を受信する。そして、使用者3の進行方向と、定点カメラ300の撮影方向とが同一の方向であるカメラ画像を画像表示部に表示する。また、定点カメラ情報の位置情報と、ヘッドマウントディスプレイ200の位置情報とに基づいて、定点カメラ300との距離を算出し、定点カメラ300との距離が近いほど、カメラ画像は手前側に表示され、距離が遠いほど、カメラ画像は奥側に表示されるレイヤ表示がされる。これにより、ヘッドマウントディスプレイ200を装着した使用者3は、表示させたいカメラ画像を選択することなしに、進行方向に対応したカメラ画像を認識することができる。また、定点カメラ300との距離に応じてレイヤ表示がされているため、進行方向でのカメラ画像が撮影された位置を、より詳しく認識できると共に、表示されたカメラ画像に基づいて外界の状況を立体的に把握できる。

0096

また、ヘッドマウントディスプレイ200は、進行方向に対して右側の方向と同一の方向である撮影方向に対応するカメラ画像を、画像進行方向に対応するカメラ画像の右側に表示し、進行方向に対して左側の方向と同一の方向である撮影方向に対応するカメラ画像を、進行方向に対応する画像データの左側に表示する。これにより、ヘッドマウントディスプレイ200を装着した使用者3は、進行方向だけでなく、進行方向に対して左右方向のカメラ画像も視認できるため、より立体的に外界の状況を把握することができる。

0097

また、ヘッドマウントディスプレイ200が移動する速度を算出し、速度に応じてレイヤ表示の間隔、及び枚数を変更して表示する。これにより、ヘッドマウントディスプレイ200を装着した使用者3は、移動速度に応じて、より立体的に外界の状況を把握することができる。

0098

また、ヘッドマウントディスプレイ200は、カメラ7により、使用者3の眼の動きを検知し、レイヤ表示がされている複数のカメラ画像の内のいずれか1つを選択することができる。これにより、ヘッドマウントディスプレイ200を装着した使用者3は、表示させたいカメラ画像を、眼の視線で容易、且つ素早く選択することができる。そして、選択されたカメラ画像のみを表示させ、確認することができる。

0099

なお、定点カメラ情報が、「受信データ」に相当する。RAM48の前画像記憶エリア、右画像記憶エリア、左画像記憶エリア、及び後画像記憶エリアが、「データ記憶手段」に相当する。

0100

また、図8のS11の処理を実行するCPU61が「位置情報取得手段」に相当し、取得された位置情報が「第一位置情報」に相当する。図8のS15:YESを実行するCPU61が「データ受信手段」に相当する。図8のS17、S19、S21、及びS23の処理を実行するCPU61が「データ記憶制御手段」に相当する。図8のS12の処理を実行するCPU61が「進行方向取得手段」に相当する。図8のS24の処理を実行するCPU61が「距離取得手段」に相当する。図11のS44の処理を実行するCPU61が「速度取得手段」に相当する。図11のS47の処理を実行するCPU61が「画像選択手段」に相当する。図11のS48の処理を実行するCPU61が「画像データ表示制御手段」に相当する。カメラ7が「検出手段」に相当する。図11のS43、S45、及びS48の処理を実行するCPU61が「表示制御手段」に相当する。定点カメラ情報の位置情報が「第二位置情報」に相当する。

0101

尚、本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を脱しない範囲内において種々の変更が可能であることは無論である。上述した実施の形態では、使用者3の眼の動作によりレイヤ表示されているカメラ画像の1枚が選択される(図11:S47)が、これに限定しない。例えば、入力部41のボタン操作により、レイヤ表示されているカメラ画像の1枚が選択されるようにしてもよい。ここで、入力部41が本発明の「入力受付手段」に相当する。

図面の簡単な説明

0102

定点カメラ300が設けられた街角の一具体例を示す図である。
定点カメラ300及びヘッドマウントディスプレイ200の接続形態の一具体例を示す図である。
ヘッドマウントディスプレイ200の外観構成を示した図である。
ヘッドマウントディスプレイ200の電気的構成を示す模式図である。
表示部40において映像光4が形成される過程を説明した模式図である。
進行方向基準画像テーブル1410の構成を示す模式図である。
表示画像テーブル1420の構成を示す模式図である。
ヘッドマウントディスプレイ200で実行されるメイン処理のフローチャートである。
ヘッドマウントディスプレイ200で実行される進行方向基準画像テーブル設定処理のサブルーチンのフローチャートである。
ヘッドマウントディスプレイ200で実行されるサブルーチンの画像入替処理のフローチャートである。
ヘッドマウントディスプレイ200で実行されるサブルーチンの画像表示処理のフローチャートである。
レイヤ表示されたカメラ画像である。
移動速度が速い場合のレイヤ表示されたカメラ画像である。

符号の説明

0103

1ネットワーク
3使用者
4映像光
5外光
7カメラ
38加速度計
40 表示部
41 入力部
48 RAM
50操作ボタン群
57通信モジュール
61 CPU
62 ROM
88GPS受信機
100出射装置
150ハーフミラー
200ヘッドマウントディスプレイ
210頭部装着部
300定点カメラ
400進行方向画像
500左方向画像
600右方向画像
1410 進行方向基準画像テーブル
1420表示画像テーブル

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ