図面 (/)

この項目の情報は公開日時点(2011年4月7日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (9)

課題

ユーザが外界像と区別してコンテンツ画像視認し易いシースルー型ヘッドマウントディスプレイを提供することを目的とする。

解決手段

コンテンツデータによって示されるコンテンツ画像をユーザの眼に視認可能に提示し、コンテンツ画像を視認しているユーザが外界像をこのコンテンツ画像と重ねて視認できるシースルー型のヘッドマウントディスプレイであって、コンテンツ画像と外界像とが類似している場合(S102:類似)、このコンテンツ画像に表示効果を付加し(S106)、表示効果が付加されたコンテンツ画像を、ユーザの眼に提示する(S108)こととした。

概要

背景

従来から、ユーザの眼にコンテンツデータにより示されるコンテンツ画像視認可能に提示するシースルー型ヘッドマウントディスプレイに関する技術が提案されている。例えば、画像を表示する透光型の液晶表示パネルを有し、これが目の直前にくるように頭部に装着されるめがね部を持つヘッドマウント型AV装置と、各作業過程作業対象物を象って予め作成された各種アニメーション画像を記憶する記憶部と、各作業過程の順番に従って、AV装置を装着する装着者によって液晶表示パネルを通して視認される作業対象物そのものに対して、記憶部に記憶された対応するアニメーション画像が重なるように、そのアニメーション画像を液晶表示パネルに表示するアニメーション表示処理機能とを備え、各作業過程の順番に従って、アニメーション画像を液晶表示パネルに表示することにより、作業対象物に対して行われるべき作業内容を装着者に示すようにした技術が提案されている(例えば、特許文献1参照)。

概要

ユーザが外界像と区別してコンテンツ画像を視認し易いシースルー型のヘッドマウントディスプレイを提供することを目的とする。コンテンツデータによって示されるコンテンツ画像をユーザの眼に視認可能に提示し、コンテンツ画像を視認しているユーザが外界像をこのコンテンツ画像と重ねて視認できるシースルー型のヘッドマウントディスプレイであって、コンテンツ画像と外界像とが類似している場合(S102:類似)、このコンテンツ画像に表示効果を付加し(S106)、表示効果が付加されたコンテンツ画像を、ユーザの眼に提示する(S108)こととした。

目的

本発明は、ユーザが外界像と区別してコンテンツ画像を視認し易いシースルー型のヘッドマウントディスプレイを提供する

効果

実績

技術文献被引用数
1件
牽制数
2件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

コンテンツデータによって示されるコンテンツ画像をユーザの眼に視認可能に提示し、前記コンテンツ画像を視認しているユーザが外界像を前記コンテンツ画像と重ねて視認できるシースルー型ヘッドマウントディスプレイであって、前記コンテンツ画像と前記外界像との類似について判断する判断手段と、前記判断手段によって前記コンテンツ画像と前記外界像とが類似すると判断された場合、前記コンテンツデータに対して画像処理を実行し、前記コンテンツ画像に表示効果を付加する表示効果付加手段と、前記表示効果付加手段によって前記表示効果が付加された前記コンテンツ画像を、前記ユーザの眼に提示するコンテンツ画像提示手段とを備えることを特徴とするヘッドマウントディスプレイ。

請求項2

前記外界像を撮像する撮像手段を備え、前記判断手段は、前記コンテンツ画像と、前記撮像手段によって撮像された前記外界像との類似について判断することを特徴とする請求項1に記載のヘッドマウントディスプレイ。

請求項3

前記表示効果付加手段は、前記コンテンツ画像提示手段が前記コンテンツ画像を提示する範囲を囲む枠を、前記表示効果として付加することを特徴とする請求項1または請求項2に記載のヘッドマウントディスプレイ。

請求項4

前記表示効果付加手段は、前記コンテンツ画像に含まれる第1オブジェクトを囲む枠を、前記第1オブジェクトに前記表示効果として付加することを特徴とする請求項1または請求項2に記載のヘッドマウントディスプレイ。

請求項5

前記判断手段は、前記第1オブジェクトと前記外界像に含まれる第2オブジェクトとを比較して、前記コンテンツ画像と前記外界像との類似について判断し、前記表示効果付加手段は、前記枠を、前記判断手段によって前記第2オブジェクトに類似すると判断された前記第1オブジェクトにのみ前記表示効果として付加することを特徴とする請求項4に記載のヘッドマウントディスプレイ。

請求項6

前記表示効果付加手段は、前記コンテンツ画像の色を変化させて、前記コンテンツ画像に前記表示効果を付加することを特徴とする請求項1または請求項2に記載のヘッドマウントディスプレイ。

請求項7

前記表示効果付加手段は、前記判断手段によって前記コンテンツ画像と前記外界像とが類似していないと判断された場合、前記コンテンツデータに対して前記画像処理を未実行として、前記コンテンツ画像に前記表示効果を付加せず、前記コンテンツ画像提示手段は、前記表示効果付加手段によって前記表示効果が付加されていない前記コンテンツ画像を、前記ユーザの眼に提示することを特徴とする請求項1から請求項6のいずれか1項に記載のヘッドマウントディスプレイ。

技術分野

0001

本発明は、ユーザの眼にコンテンツデータによって示されるコンテンツ画像視認可能に提示するシースルー型ヘッドマウントディスプレイに関するものである。

背景技術

0002

従来から、ユーザの眼にコンテンツデータにより示されるコンテンツ画像を視認可能に提示するシースルー型のヘッドマウントディスプレイに関する技術が提案されている。例えば、画像を表示する透光型の液晶表示パネルを有し、これが目の直前にくるように頭部に装着されるめがね部を持つヘッドマウント型AV装置と、各作業過程作業対象物を象って予め作成された各種アニメーション画像を記憶する記憶部と、各作業過程の順番に従って、AV装置を装着する装着者によって液晶表示パネルを通して視認される作業対象物そのものに対して、記憶部に記憶された対応するアニメーション画像が重なるように、そのアニメーション画像を液晶表示パネルに表示するアニメーション表示処理機能とを備え、各作業過程の順番に従って、アニメーション画像を液晶表示パネルに表示することにより、作業対象物に対して行われるべき作業内容を装着者に示すようにした技術が提案されている(例えば、特許文献1参照)。

先行技術

0003

特開2004−21931号公報

発明が解決しようとする課題

0004

ところで、シースルー型のヘッドマウントディスプレイでは、外界像の上に重ねてコンテンツ画像が提示されるため、ユーザが外界像と区別してコンテンツ画像を視認し、認識することが困難となる場合がある。例えば、特許文献1のように、作業内容を表示するなどの作業支援にヘッドマウントディスプレイが用いられる場合、ユーザ(作業者)の注意がコンテンツ画像に常に向けられているわけではない。ユーザは、コンテンツ画像より作業対象物および/またはその周囲などに十分注意を向ける必要がある。そのため、ユーザにとって、コンテンツ画像と外界像とを区別して視認することが困難となることがあった。このような状態は、コンテンツ画像である部品の画像を実物違いさせ、手を伸ばしても触ることができないなど、作業効率を低下させまたはユーザを困惑させる可能性があった。特に背景暗い場合、部品が外界の中に存在するように見えてしまう。

0005

本発明は、ユーザが外界像と区別してコンテンツ画像を視認し易いシースルー型のヘッドマウントディスプレイを提供することを目的とする。

課題を解決するための手段

0006

上記従来の課題に鑑みなされた本発明は、コンテンツデータによって示されるコンテンツ画像をユーザの眼に視認可能に提示し、コンテンツ画像を視認しているユーザが外界像をこのコンテンツ画像と重ねて視認できるシースルー型のヘッドマウントディスプレイであって、コンテンツ画像と外界像とが類似している場合、このコンテンツ画像に表示効果を付加し、表示効果が付加されたコンテンツ画像を、ユーザの眼に提示することとしたものである。

0007

本発明を反映した第1の課題解決手段は、コンテンツデータによって示されるコンテンツ画像をユーザの眼に視認可能に提示し、前記コンテンツ画像を視認しているユーザが外界像を前記コンテンツ画像と重ねて視認できるシースルー型のヘッドマウントディスプレイであって、前記コンテンツ画像と前記外界像との類似について判断する判断手段と、前記判断手段によって前記コンテンツ画像と前記外界像とが類似すると判断された場合、前記コンテンツデータに対して画像処理を実行し、前記コンテンツ画像に表示効果を付加する表示効果付加手段と、前記表示効果付加手段によって前記表示効果が付加された前記コンテンツ画像を、前記ユーザの眼に提示するコンテンツ画像提示手段とを備えることを特徴とするヘッドマウントディスプレイである。これによれば、コンテンツ画像と外界像とが類似する場合に、表示効果を付加したコンテンツ画像をユーザの眼に提示することができる。

0008

第2の課題解決手段は、第1の課題解決手段のヘッドマウントディスプレイであって、前記外界像を撮像する撮像手段を備え、前記判断手段は、前記コンテンツ画像と、前記撮像手段によって撮像された前記外界像との類似について判断することを特徴とする。これによれば、撮像手段によって撮像された外界像を対象として、コンテンツ画像と外界像との類似を判断することができる。

0009

第3の課題解決手段は、第1または第2の課題解決手段のヘッドマウントディスプレイであって、前記表示効果付加手段は、前記コンテンツ画像提示手段が前記コンテンツ画像を提示する範囲を囲む枠を、前記表示効果として付加することを特徴とする。これによれば、ユーザに、コンテンツ画像が提示されている範囲を好適に視認(認識)させることができる。

0010

第4の課題解決手段は、第1または第2の課題解決手段のヘッドマウントディスプレイであって、前記表示効果付加手段は、前記コンテンツ画像に含まれる第1オブジェクトを囲む枠を、前記第1オブジェクトに前記表示効果として付加することを特徴とする。これによれば、ユーザに、コンテンツ画像に含まれる第1オブジェクトを好適に視認(認識)させることができる。

0011

第5の課題解決手段は、第4の課題解決手段のヘッドマウントディスプレイであって、前記判断手段は、前記第1オブジェクトと前記外界像に含まれる第2オブジェクトとを比較して、前記コンテンツ画像と前記外界像との類似について判断し、前記表示効果付加手段は、前記枠を、前記判断手段によって前記第2オブジェクトに類似すると判断された前記第1オブジェクトにのみ前記表示効果として付加することを特徴とする。これによれば、外界像に含まれる第2オブジェクトに類似する、コンテンツ画像に含まれる第1オブジェクトに対して、表示効果としての枠を付加することができる。換言すれば、外界像との区別がつき難いコンテンツ画像の部分(第1オブジェクト)にのみ、表示効果としての枠を付加することができる。

0012

第6の課題解決手段は、第1または第2の課題解決手段のヘッドマウントディスプレイであって、前記表示効果付加手段は、前記コンテンツ画像の色を変化させて、前記コンテンツ画像に前記表示効果を付加することを特徴とする。これによれば、ユーザに、コンテンツ画像の範囲を認識させることができる。

0013

第7の課題解決手段は、第1から第6の課題解決手段のいずれか1つのヘッドマウントディスプレイであって、前記表示効果付加手段は、前記判断手段によって前記コンテンツ画像と前記外界像とが類似していないと判断された場合、前記コンテンツデータに対して前記画像処理を未実行として、前記コンテンツ画像に前記表示効果を付加せず、前記コンテンツ画像提示手段は、前記表示効果付加手段によって前記表示効果が付加されていない前記コンテンツ画像を、前記ユーザの眼に提示することを特徴とする。これによれば、コンテンツ画像と外界像とが類似していない場合、表示効果を付加する画像処理を行わないようにできる。換言すれば、コンテンツ画像と外界像とが類似し、その区別が困難となる可能性がある場合に限り、表示効果を付加する画像処理を実行するようにできる。

発明の効果

0014

本発明によれば、ユーザが外界像と区別してコンテンツ画像を視認し易いシースルー型のヘッドマウントディスプレイを得ることができる。

図面の簡単な説明

0015

ヘッドマウントディスプレイを示す図である。
(a)はヘッドマウントディスプレイ本体の上面図であり、(b)は正面図であり、(c)は左側面図である。
制御ボックス機能ブロックを示す図である。
画像提示部の機能ブロックを示す図である。
メイン処理フローチャートを示す図である。
(a)はコンテンツ画像に含まれる第1オブジェクトを囲む枠による表示効果が付加された効果付きコンテンツ画像を示し、(b)は外界像を示す図である。
表示効果付加処理のフローチャートを示す図である。
(a)はコンテンツ画像に含まれる第1オブジェクトを囲む枠による表示効果が付加された効果付きコンテンツ画像を示し、(b)は外界像を示す図である。

実施例

0016

本発明を反映した上記課題解決手段を実施するための実施形態について、図面を用いて以下に詳細に説明する。上記課題解決手段は以下に記載の構成に限定されるものではなく、同一の技術的思想において種々の構成を採用することができる。例えば、以下に説明する各構成において、所定の構成を省略することができる。また、以下に説明する各処理において、所定のステップを省略することができる。

0017

(ヘッドマウントディスプレイの概要
ヘッドマウントディスプレイ(Head Mounted Display/以下、「HMD」ともいう。)10について、図1および図2を参照して説明する。HMD10は、HMD本体100と制御ボックス200とを含む。HMD本体100は、ユーザの顔に装着され、利用される。制御ボックス200は、ユーザのなどに取り付けられる。

0018

HMD本体100は、ユーザのに当たるモダン102A,102Bが一端に取り付けられたテンプル104A,104Bと、テンプル104A,104Bの他端に蝶番112A,112Bを介して連結されたヨロイ106A,106Bと、ヨロイ106A,106Bを連結するフロントフレーム108と、フロントフレーム108の中央部に取り付けられ、ユーザのに当接する鼻パッド110とを備える。これら各部は、HMD本体100の骨格部を形成する。ヨロイ106A,106Bに形成された蝶番112A,112Bでテンプル104A,104Bを折りたたむことができる。HMD本体100の骨格部の構成は、例えば、通常の眼鏡と同様であり、HMD本体100は、ユーザが装着した状態において、モダン102A,102Bと、鼻パッド110とによりユーザの顔に支持される。なお、図2(b)では、モダン102A,102Bおよびテンプル104A,104Bの図示を省略している。

0019

HMD本体100の骨格部には、画像提示部114が、ヨロイ106A付近に設けられた取付部122を介して取り付けられている。画像提示部114は、ヨロイ106A付近に取付部122を介して取り付けられた状態において、HMD本体100を装着したユーザの左眼118と略同一の高さとなる位置に配置されている。画像提示部114の上面にはCCDセンサ260が取り付けられている(図2で図示を省略、図1参照)。画像提示部114およびCCDセンサ260は、信号ケーブル250を介して制御ボックス200と接続されている。詳細は後述するが、制御ボックス200は、所定の領域に記憶されたコンテンツデータに対して再生処理レンダリング処理)を実行し、これによって形成されたコンテンツ画像を含む画像信号を、信号ケーブル250を介して画像提示部114に出力する。画像提示部114は、制御ボックス200が出力する画像信号を取得し、画像信号に基づくコンテンツ画像を、ハーフミラー116に向けて光学的に出射する。

0020

画像提示部114から出射されたコンテンツ画像を表す画像光120aは、ハーフミラー116で反射し、反射した画像光120bがユーザの左眼118に入射、換言すれば、視認可能に提示(投影)される。これにより、ユーザはコンテンツ画像を視認する。ハーフミラー116は、外界像を表す外光を透過する。ユーザは、HMD本体100を装着した状態でハーフミラー116を介して左眼118で外界像をコンテンツ画像と重ねて視認することができる。

0021

なお、画像提示部114は、取得した画像信号に応じた画像光120a,120bを2次元方向に走査し、その走査された画像光120a,120bをユーザの左眼118に導き網膜上にコンテンツ画像を形成する網膜走査型ディスプレイを用いて構成することができる他、液晶ディスプレイ有機EL(Organic Electroluminescence)ディスプレイその他の装置を用いた構成とすることもできる。

0022

(制御ボックス)
制御ボックス200について、図3を参照して説明する。制御ボックス200は、自装置の制御を司るCPU202と、以下に説明するメイン処理および表示効果付加処理を含む各種処理のためのプログラムを記憶するプログラムROM204と、コンテンツデータその他各種データを記憶する不揮発性フラッシュROM206と、作業領域としてのRAM208とを備える。例えば、CPU202は、RAM208上で、プログラムROM204に記憶されているメイン処理(図5参照)のためのプログラムを実行する。また、CPU202は、メイン処理の中で、再生処理のためのプログラムを実行し、所定の場合に表示効果付加処理(図7参照)のためのプログラムを実行する。CPU202が、プログラムROM204に記憶された各種プログラムをRAM208上で実行することにより、各種機能手段が構成される。

0023

制御ボックス200は、ビデオRAM210と、HMD接続I/Fコントローラ220と外部装置接続I/Fコントローラ230と周辺I/F240とを備える。ビデオRAM210は、再生処理によって形成されたコンテンツ画像および後述する外部装置400から入力されたコンテンツ画像などを記憶する。HMD接続I/Fコントローラ220は、信号ケーブル250を介してHMD本体100に接続され、CPU202からの指令に基づき、HMD本体100の画像提示部114との間で行われる各種信号入出力を制御する。具体的に、HMD接続I/Fコントローラ220は、コンテンツ画像を含む画像信号および画像提示部114に対する制御信号などを、画像提示部114に出力する。

0024

外部装置接続I/Fコントローラ230は、所定のケーブルを介してパーソナルコンピュータなどの外部装置400に接続され、CPU202からの指令に基づき、外部装置400との間の通信を制御する。例えば、外部装置接続I/Fコントローラ230は、外部装置400から入力される画像信号を受信する。なお、外部装置接続I/Fコントローラ230は、受信した画像信号によるコンテンツ画像をビデオRAM210に記憶する。

0025

周辺I/F240は、CCDセンサ260、電源スイッチ270および電源ランプ280などが接続される接続I/Fである。CPU202は、CCDセンサ260によって撮像された外界像を周辺I/F240を介して取得する。ユーザは、電源スイッチ270を介して画像提示部114および制御ボックス200のオンオフを操作する。電源ランプ280は、電源スイッチ270がオンされたとき点灯し、オフされたとき消灯する。

0026

(画像提示部)
画像提示部114について、図4を参照して説明する。画像提示部114は、走査画像光生成部3121、コリメート光学系3122、水平走査部3123、垂直走査部3124、リレー光学系3125、リレー光学系3126を有している。

0027

走査画像光生成部3121は、HMD接続I/Fコントローラ220が出力する画像信号を、ドットクロック毎に読み出し、読み出した画像信号に応じて強度変調して走査画像光を生成する装置である。走査画像光生成部3121は、信号処理回路3211、光源部3212、光合成部3213を有している。

0028

信号処理回路3211は、HMD接続I/Fコントローラ220と接続している。信号処理回路3211は、HMD接続I/Fコントローラ220から入力された画像信号に基づいて、走査画像光を生成するための要素となるB(青)、G(緑)、R(赤)の各画像信号3214a〜3214cを生成し、光源部3212に出力する。また、信号処理回路3211は、後述する水平走査部3123の水平走査制御回路3123bと接続している。信号処理回路3211は、HMD接続I/Fコントローラ220から入力された画像信号に基づいて水平駆動信号3215を生成し、この水平駆動信号3215を水平走査制御回路3123bに出力する。さらに、信号処理回路3211は、後述する垂直走査制御回路3124bと接続している。信号処理回路3211は、HMD接続I/Fコントローラ220から入力された画像信号に基づいて垂直駆動信号3216を生成し、この垂直駆動信号3216を垂直走査制御回路3124bに出力する。

0029

光源部3212は、Bレーザドライバ3212a、Gレーザドライバ3212b、Rレーザドライバ3212c、Bレーザ3212d、Gレーザ3212e、Rレーザ3212fから構成されている。Bレーザドライバ3212aは、信号処理回路3211からドットクロック毎に出力されたB(青)の画像信号3214aに基づき、Bレーザ3212dを駆動させる。Bレーザ3212dは、B(青)の画像信号3214aに基づき、強度変調された青色のレーザ光を出射する。Gレーザ3212eおよびRレーザ3212fも、同様に、それぞれ強度変調された、緑色のレーザ光、赤色のレーザ光を出射する。

0030

各レーザ3212d〜3212fには、半導体レーザや、高調波発生機能付固体レーザが含まれる。なお、半導体レーザを用いる場合には、駆動電流直接変調して、レーザ光の強度変調を行う。また、高調波発生機能付固体レーザを用いる場合には、各レーザ3212d〜3212fそれぞれに、外部変調器を備えてレーザ光の強度変調を行う。なお、高調波発生の効率は高くなく、さらに外部変調器での損失も加わるため、高調波発生機能付固体レーザの消費電力は大きくなるため、各レーザ3212d〜3212fに半導体レーザを用いることが好ましい。

0031

光合成部3213は、コリメート光学系3213a〜3213c、ダイクロイックミラー3213d〜3213f、結合光学系3213gとから構成されている。コリメート光学系3213a〜3213cは、それぞれ、各レーザ3212d〜3212fの前方に配設されていて、各レーザ3212d〜3212fが出射したレーザ光を、平行光化する。ダイクロイックミラー3213d〜3213fは、それぞれ、コリメート光学系3213a〜3213cの前方に配設されていて、各コリメート光学系3213a〜3213cが平行化した各レーザ光を、所定の範囲の波長のレーザ光のみを選択的に、反射または透過する。

0032

結合光学系3213gは、ダイクロイックミラー3213dの前方に配設されている。ダイクロイックミラー3213dを透過した青色のレーザ光および、ダイクロイックミラー3213e、3213fでそれぞれ反射された、緑色のレーザ光、赤色のレーザ光が、結合光学系3213gに入射する。結合光学系3213gは、各3原色のレーザ光を集光(混合)させて、光ファイバ3127に入射させる。なお、青色のレーザ光、緑色のレーザ光、赤色の各レーザ光の強度を均等にすると、白色を表現することができる。

0033

水平走査部3123および垂直走査部3124は、光ファイバ3127に入射されたレーザ光を、画像として照射するために、当該レーザ光を水平方向と垂直方向に走査して走査画像光を生成する。

0034

水平走査部3123は、共振型偏向素子3123a、水平走査制御回路3123b、水平走査角検出回路3123cとから構成されている。光ファイバ3127に入射されたレーザ光は、コリメート光学系3122で平行光化され、共振型偏向素子3123aに入射される。共振型偏向素子3123aは、水平走査制御回路3123bで揺動される反射面3123dを有し、入射されたレーザ光を、揺動する反射面3123dで反射させて水平方向に走査する。水平走査制御回路3123bは、信号処理回路3211から出力される水平駆動信号3215に基づいて、共振型偏向素子3123aの反射面3123dを揺動させる駆動信号を発生する。水平走査角検出回路3123cは、共振型偏向素子3123aから出力される変位信号に基づいて、共振型偏向素子3123aの反射面3123dの揺動範囲および揺動周波数などの揺動状態を検出し、当該揺動状態を示す信号を、HMD接続I/Fコントローラ220に出力する。

0035

垂直走査部3124は、偏向素子3124a、垂直走査制御回路3124b、垂直走査角検出回路3124cとから構成されている。偏向素子3124aは、垂直走査制御回路3124bで揺動される反射面3124dを有し、入射されたレーザ光を、揺動する反射面3124dで反射させて垂直方向に走査し、2次元的に走査された画像光として、リレー光学系3126に出射する。垂直走査制御回路3124bは、信号処理回路3211から出力される垂直駆動信号3216に基づいて、偏向素子3124aの反射面3124dを揺動させる駆動信号を発生する。垂直走査角検出回路3124cは、偏向素子3124aから出力される変位信号に基づいて、偏向素子3124aの反射面3124dの揺動範囲および揺動周波数などの揺動状態を検出し、当該揺動状態を示す信号を、HMD接続I/Fコントローラ220に出力する。

0036

リレー光学系3125は、共振型偏向素子3123aと偏向素子3124aの間に配設されている。リレー光学系3125は、共振型偏向素子3123aの反射面3123dで水平方向に走査されたレーザ光を、偏向素子3124aの反射面3124dに入射させる。

0037

信号処理回路3211は、HMD接続I/Fコントローラ220から入力された画像信号に基づいて、水平駆動信号3215と垂直駆動信号3216を、それぞれ水平走査制御回路3123bと垂直走査制御回路3124bに出力し、反射面3123d、3124dの走査角を変更することにより、画像光を生成する。

0038

こうして変更された反射面3123d、3124dの走査角度は、水平走査角検出回路3123cおよび垂直走査角検出回路3124cによって検出信号として検出され、当該検出信号がHMD接続I/Fコントローラ220に入力され、水平駆動信号3215および垂直駆動信号3216にフィードバックされる。

0039

リレー光学系3126は、正の屈折力を持つレンズ系3126a、3126bを有している。偏向素子3124aから出射された画像光は、レンズ系3126aによって、それぞれの画像光が、その走査画像光の中心線を相互に略平行にされ、かつそれぞれ収束画像光に変換される。前記収束画像光は、レンズ系3126bによってそれぞれほぼ平行な走査画像光となるとともに、これらの走査画像光の中心線がユーザの瞳孔Eaに収束するように集光される。

0040

なお、本実施形態では、光ファイバ3127から入射されたレーザ光を、水平走査部3123で水平方向に走査した後、垂直走査部3124によって垂直方向に走査することとしたが、水平走査部3123と垂直走査部3124の配置を入れ替え、垂直走査部3124に垂直方向に走査した後、水平走査部3123で水平方向に走査するように構成してもよい。

0041

(メイン処理)
メイン処理について、図5を参照して説明する。メイン処理は、制御ボックス200のCPU202が、RAM208上で、プログラムROM204に記憶されたこの処理のためのプログラムを実行することで行われる。CPU202は、この処理の実行に際し、フラッシュROM206に記憶されたコンテンツデータ、CCDセンサ260によって撮像された外界像および外部装置接続I/Fコントローラ230によって受信されたコンテンツ画像などのデータを用いる。

0042

まず、ユーザは、制御ボックス200の操作部(図示を省略)を操作して、HMD10によって視認するコンテンツを選択する。CPU202は、このユーザ選択がなされた場合、選択されたコンテンツに対応するコンテンツデータを対象として、この処理を開始する。この処理を開始したCPU202は、CCDセンサ260を制御し、外界像の撮像を開始する(S100)。ここで、CPU202は、S100に合わせ、選択されたコンテンツデータをフラッシュROM206から読み出してRAM208に記憶し、このコンテンツデータに対して再生処理を実行する。そして、これによって形成されたコンテンツ画像をビデオRAM210に記憶する。外部装置400から画像信号が入力される場合、外部装置接続I/Fコントローラ230は、受信した画像信号によるコンテンツ画像をビデオRAM210に記憶する。

0043

S102でCPU202は、ビデオRAM210に記憶されているコンテンツ画像と、CCDセンサ260によって撮像された外界像とを解析し、コンテンツ画像と外界像との類似を判断する。なお、コンテンツ画像が複数ある場合、CPU202は、コンテンツ画像それぞれについてS102の判断を実行する。例えば、コンテンツデータが、複数ページからなる作業指図書を示すものであるとき、各ページに対応するコンテンツ画像それぞれについて、外界像との類似を判断する。なお、類似の判断方法としては、様々な周知の画像処理方法使用可能である。例えば、エッジ検出によりコンテンツ画像と外界像とから輪郭が抽出される。そして、抽出された両者の輪郭の内側の画像をパターンマッチングにより比較することで、コンテンツ画像と外界像との類似が判断される。また、コンテンツ画像と外界像との間で、色相彩度ヒストグラムの比較や、空間周波数の比較などを行うことで類似が判断されてもよい。

0044

S102の判断の結果、外界像に類似するコンテンツ画像が含まれていない場合(S102:非類似)、CPU202は処理をS104に移行する。一方、外界像に類似するコンテンツ画像が含まれている場合(S102:類似)、CPU202は処理をS106に移行する。S104でCPU202は、ビデオRAM210に記憶されているコンテンツ画像を含む画像信号と、コンテンツ画像の提示についての制御信号とを、HMD接続I/Fコントローラ220を介して画像提示部114に出力し、画像提示部114からのコンテンツ画像の提示を実行する。これによって、ユーザは、表示効果が付加されていないコンテンツ画像を視認する。

0045

S106でCPU202は、ビデオRAM210に記憶されているコンテンツ画像に対して、表示効果を付加する。ここで、コンテンツ画像が複数ある場合、複数のコンテンツ画像全てに対してS106の処理を実行する。S102で類似すると判断されたコンテンツ画像の全てを対象として、S106の処理を実行する構成とすることもできる。なお、S106で実行される表示効果付加処理については、後述する。

0046

S108でCPU202は、S104と同じ処理を実行して、S106で表示効果が付加された効果付きコンテンツ画像504A(図6(a)参照)を含む画像信号を出力し、画像提示部114からの効果付きコンテンツ画像504Aの提示を実行する。これによって、ユーザは、例えば、コンテンツ画像に含まれる第1オブジェクト500を囲む枠502が付加された効果付きコンテンツ画像504Aを視認する。具体的には、サーバコンピュータの背面に設けられたコネクタに、所定のケーブルを接続するような組立作業で、HMD10が、この作業の作業指図書を提供するツールとして利用される場合、ユーザは、図6(a)に示すように第1オブジェクト500としてのコネクタ画像を囲む枠502が付加された効果付きコンテンツ画像504Aを視認する。

0047

また、ユーザは、図6(a)に示す第1オブジェクト500としてのコネクタ画像を含む効果付きコンテンツ画像504Aを視認しつつ、左眼118でハーフミラー116を介した自身の視野図6(b)参照)内の外界像(サーバコンピュータの背面)に含まれる第2オブジェクト510としてのコネクタ画像をも視認する(図6(b)参照)。しかし、第1オブジェクト500としてのコネクタ画像には枠502が付加されているため、ユーザは、画像提示部114による第1オブジェクト500としてのコネクタ画像と、第2オブジェクト510としてのコネクタ画像とが、仮に類似していたとしても区別することができる。換言すれば、ユーザは、画像提示部114から提示されたコンテンツ画像(効果付きコンテンツ画像504A)と、外界像とを区別することができる。

0048

S104またはS108を実行した後、CPU202は、ユーザが制御ボックス200の操作部(図示を省略)を操作し、または、電源スイッチ270がオフされ、この処理の終了指令が入力されたかを判断する(S110)。判断の結果、終了指令が入力されていない場合(S110:No)、CPU202は処理をS100に戻し、上記各ステップを繰り返して実行する。一方、終了指令が入力された場合(S110:Yes)、CPU202はこの処理を終了する。

0049

(表示効果付加処理)
図5に示すメイン処理のS106で実行される表示効果付加処理について、図7を参照して説明する。この処理を開始したCPU202は、CCDセンサ260によって撮像された外界像から、これに含まれる第2オブジェクト510を抽出する(S200)。また、CPU202は、コンテンツ画像から、これに含まれる第1オブジェクト500を抽出する(S202)。なお、外界像からの第2オブジェクト510の抽出と、コンテンツ画像からの第1オブジェクト500の抽出とに際し、CPU202は、所定の画像解析を実行する。

0050

S200およびS202を実行した後、CPU202は、両ステップで抽出された第1オブジェクト500と第2オブジェクト510との中から、それぞれ1つを選択する。そして、CPU202は、選択した第1オブジェクト500と第2オブジェクト510とを比較し(S204)、両者の類似を判断する(S206)。例えば、CPU202は、第1オブジェクト500の輪郭を特定し、また、第2オブジェクト510の輪郭を特定し、特定した各輪郭を比較し、類似を判断する。

0051

S206の判断の結果、第1オブジェクト500と第2オブジェクト510とが類似している場合(S206:Yes)、CPU202は処理をS208に移行する一方、類似していない場合(S206:No)、S208を実行することなく、処理をS210に移行する。すなわち、CPU202は、第1オブジェクト500と第2オブジェクト510とが類似している場合に限りS208を実行する。

0052

S208でCPU202は、第2オブジェクト510に類似する第1オブジェクト500を囲む枠502を付加する処理をコンテンツ画像に対して実行する。これによって、効果付きコンテンツ画像504Aが形成される。S210でCPU202は、S200で抽出された第2オブジェクト510とS202で抽出された第1オブジェクト500とを全て比較したかを判断する。例えば、CPU202は、S202で抽出された第1オブジェクト500を順次選択し、その全てについてS200で抽出された第2オブジェクト510と比較したかを判断する。

0053

S210の判断の結果、比較されていない第1オブジェクト500と第2オブジェクト510とが存在する場合(S210:No)、CPU202は、処理をS204に戻し、未比較の第1オブジェクト500と第2オブジェクト510とを選択し、上記S200〜S208を繰り返して実行する。一方、未比較の第1オブジェクト500と第2オブジェクト510が存在しない場合(S210:Yes)、CPU202はこの処理を終了し、処理を図5に示すメイン処理のS108に移行する。

0054

(変形例)
上述した本実施形態の構成は、次のようにすることもできる。

0055

(1)上記では、HMD本体100と制御ボックス200とが別体のHMD10を例に説明したが、HMD本体100と制御ボックス200とを一体で構成したHMDとすることもできる。この場合、制御ボックス200の各構成(図3参照)は、例えば画像提示部114を形成する筐体カバー)内に収容される。

0056

(2)上記では、図5に示すメイン処理のS102で「類似」と判断された場合、S106で図7に示す表示効果付加処理を実行し、枠502で囲まれた第1オブジェクト500を含む効果付きコンテンツ画像504A(図6(a)参照)を形成する構成を例に説明した。このような構成の他、例えば、図5に示すメイン処理のS102で「類似」と判断された場合、CPU202は、図8(a)に示すように、画像提示部114がコンテンツ画像を提示する範囲(最大提示範囲)を囲む枠520(最大提示範囲の外縁に一致する枠520)をコンテンツ画像に付加し、その後、処理を図5のS108に移行する構成とすることもできる。

0057

この場合、S108でCPU202は、効果付きコンテンツ画像504Bを含む画像信号を出力し、画像提示部114からの効果付きコンテンツ画像504Bの提示を実行する。ユーザは、図8(a)に示す態様の効果付きコンテンツ画像504Bを視認するため、画像提示部114から提示されたコンテンツ画像(効果付きコンテンツ画像504B)と、図8(b)に示すサーバコンピュータの背面に設けられたコネクタを表す第2オブジェクト510としてのコネクタ画像を含む外界像とを区別(第1オブジェクト500と第2オブジェクト510とを区別)することができる。なお、コンテンツ画像の画像サイズが最大提示範囲より小さい場合などにおいては、コンテンツ画像の外縁を枠で囲む構成としてもよい。

0058

(3)上記では、図5に示すメイン処理でS102を実行する構成とし、その判断結果に応じて、処理をS104またはS106に分岐する構成を例に説明した。しかし、このような構成の他、S102を省略し(S104についても省略)、直接、S106に移行して図7に示す表示効果付加処理を実行する構成とすることもできる。この場合、CPU202は、コンテンツ画像と外界像とが類似しているか否かに関わらず、図7に示す表示効果付加処理を実行する。そして、CPU202は、コンテンツ画像に含まれる第1オブジェクト500と、外界像に含まれる第2オブジェクト510とを比較し、類似していると判断される場合(S206:Yes)、第2オブジェクト510に類似すると判断された第1オブジェクト500を囲む枠502を付加する処理をコンテンツ画像に対して実行し(S208)、これによる効果付きコンテンツ画像504Bを提示する(S108)。したがって、この変形例(3)の構成によっても、ユーザは、上記同様、コンテンツ画像(効果付きコンテンツ画像504B)と外界像とを区別することができる。なお、類似していると判断される第1オブジェクト500が存在しない場合(S206:No)、CPU202は、S208を実行しない。したがって、S108では、コンテンツ画像が、図5のS104と同様の態様で提示される。

0059

(4)上記では、図7に示す表示効果付加処理で、外界像に含まれる第2オブジェクト510を抽出し(S200)、これに類似する第1オブジェクト510に対し枠502を付加する(S206:Yes,S208)構成を例に説明した。しかし、このような構成の他、例えばS200,S204,S206の各ステップを省略し、コンテンツ画像から抽出された第1オブジェクト500の全てに枠502を付加する(S208)構成とすることもできる。この場合、S210は、全ての第1オブジェクト500に対して枠502が付加されたかに基づいて判断される。

0060

(5)上記では、第1オブジェクト500に枠502を付加する構成(例えば本実施形態,図6(a)参照)と、画像提示部114がコンテンツ画像を提示する範囲(最大提示範囲)を囲む枠520を付加する構成(上記変形例(2),図8(a)参照)とを説明した。しかし、このような構成の他、コンテンツ画像の色を変化させて、コンテンツ画像に表示効果を付加する構成とすることもできる。具体的に、第1オブジェクト500またはコンテンツ画像全体を、ハーフミラー116を介して視認される外界像の色合いと異なる色、例えば赤味がかった色(色合い)とする。この変形例(5)の構成によっても、ユーザは、コンテンツ画像と外界像とを区別することができる。

0061

(6)上記では、図5に示すメイン処理でコンテンツ画像と外界像との類似を判断し(S102)、このS102の判断で「類似」と判断された場合、さらに、図7の表示効果付加処理で、第1オブジェクト500と第2オブジェクト510との類似を判断し(S206)、このS206の判断が肯定された場合(S206:Yes)、第1オブジェクト500を囲む枠502を表示効果として付加する(S208)構成を例に説明した。しかし、このような構成とは異なる構成とすることもできる。

0062

具体的に、HMD10でユーザが視認するコンテンツ画像の種別にしたがい、コンテンツ画像と外界像との類似を判断する構成とすることもできる。例えば、上述したような態様、すなわち、HMD10が、所定の製品の組立作業で、この作業の作業指図書を提供するツールとして利用される場合、ユーザは、外界像として、組立てに用いる部品(図6図8に基づけば「コネクタ」が対応)などを、ハーフミラー116を介して視認する。このような状態で、表示効果が付加されずに、組立てに用いる部品などを含むコンテンツ画像が、ユーザの左眼118に提示されると、コンテンツ画像に含まれる部品を、実際の部品と誤って認識してしまうといった事態の発生が想定される。すなわち、提示されるコンテンツ画像の種別を判断し、このような事態が想定される種別のものである場合、本実施形態の上記具体的な判断を行うことなしに、コンテンツ画像と外界像とが類似するとみなすようにしてもよい。

0063

また、外部装置400から、コンテンツ画像を含む画像信号を外部装置接続I/Fコントローラ230を介して受信する場合、外部装置400側で、本実施形態の上記具体的な判断自体を実行し、その判断結果を示す信号を、画像信号とともに受信し、判断結果を示す信号にしたがってコンテンツ画像と外界像との類似を判断する構成とすることもできる。例えばHMD10が上記のように作業指図書を提供するツールとして利用される場合、外部装置400としては、組立作業を監視するセンターに設置されているコンピュータが想定される。なお、この変形例(6)の構成による場合、HMD10(制御ボックス200のCPU202)では、本実施形態の上記具体的な判断を行わないため、CCDセンサ260と、図5のメイン処理のS100については、省略することができる。

0064

(本実施形態の構成による有利な効果)
本実施形態の構成によれば、コンテンツ画像に表示効果を付加するため、コンテンツ画像と外界像とを区別(第1オブジェクト500と第2オブジェクト510とを区別)することができる。

0065

10ヘッドマウントディスプレイ(HMD)
100 ヘッドマウントディスプレイ本体(HMD本体)
114画像提示部
116ハーフミラー
200制御ボックス
202 CPU
204プログラムROM
206フラッシュROM
208 RAM
260CCDセンサ
502,520 枠

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • ヤフー株式会社の「 情報処理装置、情報処理方法および情報処理プログラム」が 公開されました。( 2020/06/04)

    【課題】ユーザの行動の意図を高精度に加味した情報提案を行うこと。【解決手段】本願にかかる情報処理装置は、受付部と、決定部とを有する。受付部は、ユーザからコンテンツの配信要求を受け付ける。決定部は、ユー... 詳細

  • 株式会社長府製作所の「 給湯システム」が 公開されました。( 2020/06/04)

    【課題】 音声認識を活用して、操作の確実性と異常状態の探知を可能として給湯システムを提供する。【解決手段】本給湯システムは、台所リモコンと浴室リモコンと給湯器を備える給湯システムであって、「昇温フレ... 詳細

  • 株式会社コロプラの「 ゲームプログラム、方法、および情報処理装置」が 公開されました。( 2020/06/04)

    【課題】作用を及ぼす対象となるオブジェクトを選択する操作性を向上させる。【解決手段】ゲームプログラム(131)は、プロセッサ(10)に、第1オブジェクト及び第2オブジェクトをゲーム空間に配置するステッ... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ