図面 (/)

技術 ヘッドマウントディスプレイ装置およびそれを用いた視覚補助方法

出願人 マクセル株式会社
発明者 大西邦一
出願日 2015年6月19日 (4年3ヶ月経過) 出願番号 2017-524273
公開日 2018年5月24日 (1年4ヶ月経過) 公開番号 WO2016-203654
状態 特許登録済
技術分野 その他の光学系・装置、色の干渉・色の制御 立体TV及びTVの試験,検査,測定等 テレビジョン受像機の構造の細部
主要キーワード プログラム負荷 不透明スクリーン 所定対象物 視力特性 視認能力 撮影器 距離ポイント 矯正システム
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2018年5月24日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (13)

課題・解決手段

ヘッドマウントディスプレイ(HMD)を用い、使用者にとって違和感や不快感が生じない良好な遠近感を確保し、かつ使用者の視認能力差異やばらつきに影響されず良好な視認状態で外部情景視認できる視覚補助システムを提供することを目的とする。 上記目的を達成するために、HMDに付属した外部情景撮影用電子カメラ撮影した外部情景映像を、使用者の視認能力に応じた最適な視認距離を有する虚像映像として使用者の左右眼前に配置された映像表示スクリーン投影表示する。この際、外部情景映像の虚像内に映し出されている各対象物映像に対して、各対象物の実距離から算出される所定の換算距離に基づき、左右の映像表示スクリーンに投影表示される虚像映像に所定の両眼視差や所定の映像ぼかしを付加するよう虚像映像に加工処理を施すことで、使用者が外部情景の虚像映像に対して違和感や不快感が無い良好な遠近感を感じるようにできる。

概要

背景

近年、使用者の頭部に装着するゴーグル型眼鏡型のいわゆるHMDによる情報映像表示装置が急速に普及しつつある。

このHMDは、使用者から見て所定の視認距離を有する虚像投影する機能を備えており、この機能を用いて必要な情報映像を使用者に虚像として提示することができる。

一方、人間の視認能力には個々に差異やばらつきがある。例えば、一般に近視の人は、本や新聞など比較的近い距離にある物を視る場合には健常な視認能力と大差は無いが、視認対象が遠く離れるほど急速に視認能力が低下する特性を持ち、逆に遠視の人は、遠距離よりも近距離での視認能力が低いという特性がある。

さらに昨今の高齢化社会を反映して急激に対象人口が増えている中高年齢層では、中間距離では比較的良好な視認能力は確保されている一方で、近距離および遠距離での視認能力は急速に低下してしまう。すなわち、一般に、若年者に比べある程度以上の視認能力を確保できる視認距離範囲が狭まる傾向にある。これがいわゆる老眼である。

このような各個人ごとの視認能力の差異やばらつきを考慮して、例えば、特開2000−89157号公報(特許文献1)では、使用者の視認能力に合わせて適正な視認距離を有する虚像を投影できるよう虚像視認距離を可変できるHMD構成が開示されている。

概要

ヘッドマウントディスプレイ(HMD)を用い、使用者にとって違和感や不快感が生じない良好な遠近感を確保し、かつ使用者の視認能力の差異やばらつきに影響されず良好な視認状態で外部情景視認できる視覚補助システムを提供することを目的とする。 上記目的を達成するために、HMDに付属した外部情景撮影用電子カメラ撮影した外部情景映像を、使用者の視認能力に応じた最適な視認距離を有する虚像映像として使用者の左右眼前に配置された映像表示スクリーン投影表示する。この際、外部情景映像の虚像内に映し出されている各対象物映像に対して、各対象物の実距離から算出される所定の換算距離に基づき、左右の映像表示スクリーンに投影表示される虚像映像に所定の両眼視差や所定の映像ぼかしを付加するよう虚像映像に加工処理を施すことで、使用者が外部情景の虚像映像に対して違和感や不快感が無い良好な遠近感を感じるようにできる。

目的

本発明の目的は、上記のような問題に鑑みてなされたものであって、HMDを用いて肉眼視同様の遠近感を保持しつつ同時に良好な視認性能を確保できる高い機能性を持った視覚補助システムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

使用者の頭部に装着し眼前情報映像を表示するヘッドマウントディスプレイ装置であって、前記使用者の直接視認視野を含む視野領域で外部情景撮影する外部情景撮影器と、前記使用者の眼前に別個に配置された左眼用および右眼用映像表示スクリーン上の各々に前記外部情景撮影器によって撮影された外部情景映像を所定の視認距離を有する左眼用および右眼用虚像映像として投影表示する虚像投影器と、前記使用者から前記外部情景撮影器によって撮影された外部情景映像内に映しこまれている対象物までの実距離を検知する視野内対象物距離検知器と、該視野内対象物距離検知器で検知された前記対象物の実距離情報に基づき、前記左眼用および右眼用虚像映像に所定の処理を施すことにより遠近感を付加した虚像映像を生成する遠近感映像生成器と、を備えたことを特徴とするヘッドマウントディスプレイ装置。

請求項2

請求項1に記載のヘッドマウントディスプレイ装置であって、前記遠近感映像生成器は、前記対象物の実距離が所定の設定距離より遠距離の場合は前記実距離と略一致し、前記実距離が前記設定距離より近距離の場合は前記実距離より大きな値となる前記視認距離の換算距離を算出する機能を具備したことを特徴とするヘッドマウントディスプレイ装置。

請求項3

請求項1に記載のヘッドマウントディスプレイ装置であって、前記遠近感映像生成器は、前記対象物の実距離が所定の設定距離より遠距離の場合は前記実距離と略一致し、前記実距離が前記設定距離より近距離の場合は前記実距離の変化量に対する比例係数が該実距離の減少に応じて1.0から徐々に増加させるような特性を有する前記視認距離の換算距離を算出する機能を具備したことを特徴とするヘッドマウントディスプレイ装置。

請求項4

請求項2に記載のヘッドマウントディスプレイ装置であって、前記遠近感映像生成器は、前記左眼用および右眼用虚像映像に映しこまれている前記対象物の映像ごとに、前記視認距離の換算距離に基づき該換算距離に略反比例した両眼視差量に相当する面内方向ずれを前記虚像映像に与える機能を備えていることを特徴とするヘッドマウントディスプレイ装置。

請求項5

請求項2に記載のヘッドマウントディスプレイ装置であって、前記遠近感映像生成器は、前記左眼用および右眼用虚像映像に映しこまれている前記対象物の映像ごとに、前記視認距離の換算距離に基づき該換算距離に略比例した映像ぼかし量を前記虚像映像に付加する機能を備えていることを特徴とするヘッドマウントディスプレイ装置。

請求項6

請求項5に記載のヘッドマウントディスプレイ装置であって、前記使用者の視線方向を検知する視線方向検知器と、該視線方向検知器で検知された視線方向と前記外部情景撮影器によって撮影された外部情景映像から前記使用者が注視している対象物を検知する注視対象物検知器を具備し、該注視対象物検知器で検知した注視対象物が視認性よく視認されるように前記虚像映像の付与される前記映像ぼかし量を調整する機能を備えたことを特徴とする請求項5記載のヘッドマウントディスプレイ装置。

請求項7

請求項1に記載のヘッドマウントディスプレイ装置であって、前記左眼用および右眼用映像表示スクリーンは、印加電圧に応じて透明性が変化する液晶調光ガラスであって、前記ヘッドマウントディスプレイ装置が動作状態のときは不透明スクリーンとして機能し、非動作状態の時は、透明または半透明ガラスとして機能することを特徴するヘッドマウントディスプレイ装置。

請求項8

請求項1に記載のヘッドマウントディスプレイ装置であって、前記左眼用および右眼用映像表示スクリーンと前記使用者の眼球の間に、視力矯正用眼鏡レンズを配置したことを特徴とするヘッドマウントディスプレイ装置。

請求項9

請求項1に記載のヘッドマウントディスプレイ装置であって、前記使用者が発する音声を検知するための集音マイクと、該集音マイクで集音された使用者の音声から前記使用者が発した所定のキーワードを認識する音声認識器が具備されており、前記キーワードの認識結果に基づき前記外部情景撮影装置における外部情景撮影倍率を所定の拡大率で拡大する機能を備えたことを特徴とするヘッドマウントディスプレイ装置。

請求項10

請求項1に記載のヘッドマウントディスプレイ装置であって、前記使用者が発する音声を検知するための集音マイクと、該集音マイクで集音された使用者の音声から前記使用者が発した所定のキーワードを認識する音声認識器と、前記外部情景撮影器によって撮影された外部情景映像内に含まれる文字映像から所定の文字認識を行う文字認識器および所定の言語を自動翻訳する自動翻訳器を具備し、前記キーワードの認識結果に基づき前記外部情景映像内に含まれる外国語単語外国語文もしくは難読漢字翻訳文を前記映像表示スクリーンに投影表示される虚像映像に重畳表示する機能を備えたことを特徴とするヘッドマウントディスプレイ装置。

請求項11

請求項1に記載のヘッドマウントディスプレイ装置であって、前記使用者の視力計測する機能を備えた視力測定器と、該視力測定器で検知された前記使用者の視力から、前記使用者にとって良好な視認性を確保できる虚像視認距離を算出する最適虚像視認距離算出器を具備し、該最適虚像視認距離算出器で算出された最適虚像視認距離情報に基づき、前記映像表示スクリーンに投影表示される虚像映像の視認距離が自動調整される機能を備えたことを特徴とするヘッドマウントディスプレイ装置。

請求項12

使用者の頭部に装着し眼前に情報映像を表示するヘッドマウントディスプレイ装置の映像表示方法であって、前記使用者の視野領域で外部情景映像を撮影し、前記使用者から前記外部情景映像内に映しこまれている対象物までの実距離を検知し、前記撮影された外部情景映像を使用者の眼前に別個に配置された左眼用および右眼用映像表示スクリーン上の各々に所定の視認距離を有する左眼用および右眼用虚像映像として投影表示し、前記左眼用および右眼用虚像映像は、前記検知された前記対象物の実距離情報に基づき遠近感が付加されることを特徴とするヘッドマウントディスプレイ装置の映像表示方法。

請求項13

請求項12に記載のヘッドマウントディスプレイ装置の映像表示方法を用いた視覚補助方法であって、前記使用者の視力を計測し、前記使用者の視力から、前記使用者にとって良好な視認性を確保できる前記視認距離を算出し、前記算出した視認距離情報に基づき、前記映像表示スクリーンに投影表示される虚像映像の視認距離を自動調整することを特徴とする視覚補助方法。

技術分野

0001

本発明は、ウェアラブル型の情報表示システム、特に使用者の頭部に装着し使用者の眼前に所定の映像情報を表示する機能を備えたヘッドマウントディスプレイ装置(以下、HMDと記す)およびその応用システムに関する。

背景技術

0002

近年、使用者の頭部に装着するゴーグル型眼鏡型のいわゆるHMDによる情報映像表示装置が急速に普及しつつある。

0003

このHMDは、使用者から見て所定の視認距離を有する虚像投影する機能を備えており、この機能を用いて必要な情報映像を使用者に虚像として提示することができる。

0004

一方、人間の視認能力には個々に差異やばらつきがある。例えば、一般に近視の人は、本や新聞など比較的近い距離にある物を視る場合には健常な視認能力と大差は無いが、視認対象が遠く離れるほど急速に視認能力が低下する特性を持ち、逆に遠視の人は、遠距離よりも近距離での視認能力が低いという特性がある。

0005

さらに昨今の高齢化社会を反映して急激に対象人口が増えている中高年齢層では、中間距離では比較的良好な視認能力は確保されている一方で、近距離および遠距離での視認能力は急速に低下してしまう。すなわち、一般に、若年者に比べある程度以上の視認能力を確保できる視認距離範囲が狭まる傾向にある。これがいわゆる老眼である。

0006

このような各個人ごとの視認能力の差異やばらつきを考慮して、例えば、特開2000−89157号公報(特許文献1)では、使用者の視認能力に合わせて適正な視認距離を有する虚像を投影できるよう虚像視認距離を可変できるHMD構成が開示されている。

先行技術

0007

特開2000−89157号公報

発明が解決しようとする課題

0008

前記特許文献1に開示されているような虚像の視認距離を可変できる機能を備えたHMDを利用すれば、例えば使用者が視ている外部情景ビデオカメラ等で撮影しておき、その撮影外部情景映像を使用者の視認能力に最も適した視認距離を有する虚像として投影表示することで、使用者ごとの視認能力の差異やばらつきに関係なく、使用者にとって常に良好な視認状態で外部情景を視ることができるようになる。よって、あたかも使用者ごとに最適化された視覚矯正眼鏡のような視覚補助機能をHMDに持たせることができる。

0009

しかしながら、上記のように単純に撮影視野内の全ての対象物映像を同じ虚像位置に投影してしまうと、外部情景を肉眼視した場合に感得する対象物の遠近感感覚が全て抜け落ちてしまい、平板な映像としてしか視認できないので、肉眼視した情景に比較して著しい違和感が生じてしまう。

0010

本発明の目的は、上記のような問題に鑑みてなされたものであって、HMDを用いて肉眼視同様の遠近感を保持しつつ同時に良好な視認性能を確保できる高い機能性を持った視覚補助システムを提供することにある。

課題を解決するための手段

0011

上記課題を解決するため、本発明は例えば請求の範囲に記載の構成を採用する。本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、使用者の頭部に装着し眼前に情報映像を表示するヘッドマウントディスプレイ装置であって、使用者の直接視認視野を含む視野領域で外部情景を撮影する外部情景撮影器と、使用者の眼前に別個に配置された左眼用および右眼用映像表示スクリーン上の各々に外部情景撮影器によって撮影された外部情景映像を所定の視認距離を有する左眼用および右眼用虚像映像として投影表示する虚像投影器と、使用者から外部情景撮影器によって撮影された外部情景映像内に映しこまれている対象物までの実距離を検知する視野内対象物距離検知器と、視野内対象物距離検知器で検知された対象物の実距離情報に基づき、左眼用および右眼用虚像映像に所定の処理を施すことにより遠近感を付加した虚像映像を生成する遠近感映像生成器と、を備えた構成とする。

発明の効果

0012

本発明によれば、HMDを用いて遠近感を保持しつつ個々の視認能力に合わせて良好な視認性能を確保できる視覚補助システムを実現することができる。

図面の簡単な説明

0013

本発明の前提となるHMDおよびその応用システムの概要を示した斜視図である。
本発明の前提となる虚像投影の説明図である。
本発明の前提となる注視対象物までの実距離と肉眼視の相対視力の関係を示した線図である。
実施例1におけるHMD応用視覚補助システムのブロック構成図である。
実施例1における虚像の両眼視差を説明するための概要平面図である。
実施例1における両眼視差を与えた虚像の一例を示した概要正面図である。
実施例1における注視対象物までの実距離と対象物を肉眼視した実像に対する相対視力および虚像の相対視力の関係を示した線図である。
実施例1における注視対象物までの実距離と虚像内の対象物映像に与える視覚上の換算距離の関係を示す線図である。
実施例1における処理フローを示したフローチャートである。
実施例2におけるHMD応用視覚補助システムのブロック構成図である。
実施例3におけるHMD応用視覚補助システムのブロック構成図である。
実施例4におけるHMD応用視覚補助システムのブロック構成図である。

0014

以下、図面を用いて本発明の実施例について説明する。

0015

まず、本発明の前提となるHMDおよびその応用システムの概要について説明する。図1は、HMDおよびその応用システムの概要を示した斜視図である。以下、HMD応用システムは、使用者の肉眼での視認性能を補償する視覚補助システムとして説明する。

0016

図1において、HMD1は使用者20の頭部に装着されている。そして、HMD1は、使用者20の左右両眼前に配置された非透明な映像表示スクリーン映像表示装置)2に所定の映像を投影表示する機能を備えた、いわゆるビデオシースルー型HMDである。すなわち、少なくともHMD1が動作状態の時、映像表示スクリーン2は不透明状態になっているため、使用者20は肉眼で外部視認することは出来ず映像表示スクリーン2に投影される映像のみを視認するようになっている。

0017

また、HMD1には、映像表示スクリーン2に加え、使用者の肉眼周辺に配置された外部情景撮影用電子カメラ3が具備されている。外部情景撮影用電子カメラ3は、HMD1を装着した使用者20の視線方向とほぼ同一の方向から外部情景を撮影するように設置されており、使用者20の肉眼視野とほぼ同等もしくはより広い視野で外部情景を撮影できる機能、すなわち直接視認視野を含む視野領域で外部情景を電子映像情報として撮影する機能を備え、かつ使用者の肉眼による視認性能に比べて充分に高い撮影性能(解像度MTFなど)を備えている。また電子カメラ3は、肉眼視による被写界深度に比べ充分に深い被写界深度を備えていてもよい。

0018

なお、電子カメラ3には、撮影視野内の所定対象物に自動的にピントを合わすことができるオートフォーカス機能も具備されている。ピントを合わす対象物としては、撮影視野の中央にある対象物としてもよいし、例えば後述するように使用者の視線方向を検知する何らかの視線検知装置を配備し、その視線方向にある対象物にピントを合わせるようにしてもよい。また撮影視野内にあって使用者からの距離が異なる複数の対象物に対して順次ピントを合わせた複数の映像情報を撮影、蓄積しておき、これらを合成することで、近距離から遠距離の広い距離レンジにわたってピントが合ったいわゆる「パンフォーカス」または「ディープフォーカス」と呼ばれる映像を生成する装置を備えていてもよい。

0019

更に電子カメラ3には、使用者20の指示に応じて所定の拡大率ズームアップして外部情景を撮影する機能を備えていてもよい。

0020

またHMD1には、外部情景撮影用電子カメラ3で撮影された視野内の各対象物までの距離を測定する測距機能が備わっている。この測距機能の具体的実施手段としては、電子カメラ3のオートフォーカス機能を利用してもよいし、一定距離だけ離間して配置された2個の電子カメラでそれぞれ独立に撮影された対象物映像の視差から距離を検出する手法を用いてもよい。さらには、赤外線あるいは超音波等を用いた測距センサ別途設ける等所定の測距機能を実現できる手段であればどのような手段を用いても構わない。

0021

以上のように撮影あるいは生成された外部情景映像は、HMD1に具備された虚像投影器を用いて映像表示スクリーン2に虚像として投影表示される。

0022

この時、例えば図2(a)に示す交通標識のような比較的遠距離にある対象物30を注視している場合や、あるいは逆に図2(b)に示す新聞あるいは本などのように比較的近距離にある対象物40を注視している場合でも、使用者と注視対象物間の距離の大小に関わらず使用者にとって最も良好な視認性能が得られる適正な視認距離cを有する虚像31や41を投影表示する。これにより、使用者は、肉眼視同様の外部情景を注視対象物30や40等の実距離d、d’の大小に伴う使用者20の視認能力の差異やばたつきに関係なく、常に良好な視認状態で視認することができる。

0023

ところで、上記した虚像の適正視認距離cは以下のように決定すればよい。図3は、注視対象物までの実距離と対象物を肉眼で視認したときの相対視力(対象物視認性能の相対値)の関係をグラフ化した例である。(以下、このようなグラフを相対視力特性図と記す。)両グラフとも横軸には注視対象物までの実距離を、縦軸には距離1m離れた対象物を健常な視力の人が肉眼視した場合の視力を1.0とした場合の相対視力値を取っている。一般に健常な視力での肉眼視の場合、相対視力特性図は各図中の破線100に示すようにほぼ実距離に対して反比例の関係になる。

0024

これに対して図3(a)中の実線101は、近視の人の相対視力特性図の一例を示している。近視の人は対象物間の距離が比較的近い場合は健常な相対視力との差異は小さいが、距離が離れるに従って相対視力が急速に低下する傾向にある。そこで使用者がこのような近視の視力特性を持つ場合は、例えば健常な視力特性での相対視力1.0と同等の相対視力を確保できる点Pの対象物実距離(図3(a)の例では0.8m)を上記した虚像の適正視認距離cとすればよい。

0025

一方、遠視の人は、図には示さないが、比較的遠距離では健常な相対視力と同等以上の相対視力を持つ一方で、近距離での相対視力は健常な相対視力に比べ顕著に低下する傾向にある。そこで使用者がこのような遠視の視力特性を持つ場合においても、健常な視力特性とほぼ同等の相対視力を確保できる対象物距離(比較的遠距離にある)を虚像の適正視認距離cとすればよい。

0026

更に、図3(b)中の実線は老眼の人の相対視力特性図の一例を示している。老眼視の場合は近距離、遠距離とも健常視力に比べ低下する傾向にあり、中距離近辺図3(b)の例では0.8m〜1.0m)に相対視力が最良となる点Qが存在する。そこで、このQ点の対象物実距離を虚像の適正視認距離cとすればよい。

0027

なお、以上述べた虚像の適正視認距離cの決定手法は一例に過ぎず、本実施例は上記の決定手法に限定されるものではない。人間の相対視力特性には、個人差年齢差、さらには周囲の環境の影響など様々な要因によって大きな差異やばらつきがある。本実施例における虚像の適正視認距離cについては、使用者それぞれの視認能力に応じて任意に決めても一向に構わない。

0028

さらに、表示スクリーン2と使用者20の眼球の間に所定の視覚補助眼鏡レンズを装着することで、任意の視認距離を適正視認距離にするよう使用者側の視力を矯正する構成にしても一向に構わない。

0029

なお、上記のように投影される虚像の視認距離を各使用者の適正視認距離に任意に合わせられるようにする為には、虚像の視認距離を適切に可変、調整できる機能が備わっている必要があるが、これには、例えば前記特許文献1に記載されている構成のように、虚像を生成する光学系の少なくとも一部を光軸に沿って機械的に移動させる装置を設けるなど公知の虚像視認距離可変手段を用いればよい。

0030

以上のような構成を用いることで、使用者はその視認能力の差異やばらつきに関わりなく、良好に外部情景や視認対象物を視認できる高機能性視覚補助システムとしてHMDを活用することができる。

0031

しかしながら、以上述べたような手法でHMDを視覚補助システムとして活用する場合、以下に示すような重大な問題が生じる怖れがある。

0032

すなわち、上記のように撮影された外部情景映像を使用者の適正視認距離に合わせて虚像として投影表示した場合、確かに使用者は注視対象物の遠近に関わらず常に良好な視認状態で外部情景を視認することはできるが、反面、視野内の全ての対象物映像が同一の視認距離に虚像表示されるため、各対象物の実距離の大小に伴う遠近感感覚が完全に欠落してしまい平面的な情景としか認識できなくなってしまう。このため使用者は肉眼視に比べて遠近感が欠落することに伴う著しい違和感や不快感が生じてしまう。

0033

そこで、撮影された外部情景映像を適正視認距離に合わせて虚像を投影することで良好な視認状態を保持しつつ、使用者が外部情景を肉眼視した場合に感じる遠近感を出来るだけ忠実再現し、使用者から違和感や不快感を払拭させる新たな虚像表示方法または装置が必要である。以下ではその具体的な実施例について説明する。

0034

図4に本実施例のHMD応用視覚補助システムのブロック構成図を示す。以下このブロック構成図各部の機能について説明する。

0035

図4において、外部情景撮影用電子カメラ3で撮影された外部情景映像情報は、視野内対象物距離検知器10および遠近感映像生成器11に送られる。

0036

視野内対象物距離検知器10では、撮影された外部情景映像内に写しこまれている各対象物の実距離(使用者から対象物までの実際の距離)を検知する機能を備えている。なお、図4の例では、撮影された映像もしくは撮影用電子カメラ3自体に具備されている測距機能を用いて上記距離情報を検知する例を示しているが、勿論前述したように、対象物の距離情報検知には、電子カメラ3以外に専用の測距センサまたは測距装置を用いても一向に構わない。このような場合は、当然前記視野内対象物距離検知器10は前記測距センサまたは測距装置からの情報信号を受け取るように構成される。なお、電子カメラ3で撮影された映像情報は、必要に応じて視野内対象物距離検知器10で検知された各対象物の距離情報を付帯した形でメモリ12内に格納される。

0037

遠近感映像生成器11は、本実施例の視覚補助システムの核心部分であり、電子カメラ3で撮影された外部情景映像情報と視野内対象物距離検知器10で検知された各対象物の距離情報、さらには必要に応じてメモリ12から抽出された所定の映像情報等を用いて、HMD使用者20の左右眼前に配置された映像表示スクリーン2に各々独立に投影表示される遠近感を持った虚像映像を生成する機能を備えている。なお、この遠近感映像生成器11における遠近感付与機能の詳細については、後ほど詳細に説明する。

0038

遠近感映像生成器11で生成された表示映像映像表示制御器13に送られる。この映像表示制御器13は、遠近感映像生成器11から送られてきた表示映像をHMD1内にある投影スクリーン2上に適正に虚像投影するためHMD1内に具備されている虚像投影装置を制御する機能を備えている。

0039

更に、この映像表示制御器13は、虚像の視認距離を所定の距離に可変、調整できるように虚像投影装置内に具備されている虚像生成用光学系の制御を行う機能を備えていてもよい。

0040

なお、以上述べた、外部情景撮影用電子カメラ3、視野内対象物距離検知器10、遠近感映像生成器11、メモリ12、映像表示制御器13の各々は、制御器14により、その機能や動作が適正に制御されている。

0041

前記したように、図4中の各ブロックの中で遠近感映像生成器11が本実施例の核心部であり、ここで左右の映像表示スクリーン2に各々独立に投影表示される虚像映像に所定の加工処理が施され、使用者20から視て所定の遠近感が感じられる虚像映像が生成される。以下ではその遠近感生成の具体的実施例について説明する。

0042

まず、人が虚像を視認する場合に、その虚像に遠近感を感じさせるためには、以下の3要素が必須となる。
(1)両眼視差
(2)距離に応じた虚像のぼか
(3)両眼輻輳に伴う違和感の緩和

0043

まず(1)の両眼視差とは、観測者から対象物までの距離に応じて左右それぞれの眼で見える映像(虚像)の位置に面内方向の差異を生じさせることをいう。図5にその一例を示す。今、HMD1を装着している使用者20から該使用者の真正面にある注視実対象物50までの実距離をdとし、HMD1によりその左右の投影スクリーン2上に投影される対象物50の虚像51および52の視認距離をcとする。また使用者の両眼の間隔をWとする。この時、使用者が実対象物50の虚像51および52を視て実対象物50自体と同様の遠近感を感じるためには、少なくとも実対象物50と使用者の左右両眼をそれぞれ結んだ直線(図中の破線)と視認距離cだけ離れた虚像視認面との交点位置に、左右それぞれの眼で見た実対象物50の虚像51および52が投影されなければならない。

0044

つまり図6のように、左目における実対象物50の虚像51は、虚像中心よりΔxだけ右側にずれた位置に投影され、右目における虚像52は、虚像中心よりΔxだけ左側にずれた位置に投影されなければならない。

0045

この左右の虚像の相対ずれ量Δxは、一般に前記実距離dおよび虚像視認距離c、観測者両眼の間隔Wを用いて以下の式で表される。
Δx=(W/2)×(1−c/d) ……(1)
このように、相対ずれ量Δxは、観測者(本実施例の場合はHMD使用者)から注視対象物までの距離に応じて略反比例する、左右両眼に投影される虚像映像に所定の面内方向ずれ(視差)を与えることにより、観測者が遠近感を感じるための一助とすることができる。

0046

次に(2)の距離に応じた虚像のぼかしとは、前記したように人間の視認能力は対象物までの距離にほぼ反比例する事を考慮して、投影された虚像内の個々の対象物映像にその対象物の実距離に応じてその虚像映像に所定の「ぼかし」を付与することをいう。

0047

図7にその一例を示す。この図は図3と同じく人の相対視力特性を示したもので、図の横軸、縦軸は図3と同様である。前記のように、対象物を直接肉眼視した実像に対する相対視力は、図中の破線100で示すように、その対象物の実距離にほぼ反比例して低下する。

0048

一方、カメラで撮影された情景を虚像で見る場合は、虚像の視認位置が対象物の遠近に関わらず一定であるため、対象物の虚像映像に対する相対視力は、図中の実線200のように、その対象物実距離に関係なく一定値になってしまう。これが虚像の遠近感感覚阻害の大きな要因となっている。

0049

そこで、あらかじめ虚像で投影される映像内に映し出されている各対象物映像に、その対象物の実距離情報に略比例した量の「ぼかし」を付与することで、同一の視認距離にある虚像であっても肉眼視による実像に対する相対視力特性曲線100に近づけ、この相対視力特性効果により観測者が遠近感を感じるための一助とすることができる。

0050

なおこの際、使用者が注視している対象物に対する視認性を最も良好にするため、その注視対象物の実距離における相対視力が最も適正になるように、対象物の実距離に対応する「ぼかし」量を適当に調整しても構わない。

0051

また上記の注視対象物の特定については、使用者の肉眼視野にほぼ一致させた撮影視野内の中央にある対象物を使用者の注視対象物と特定してもよいし、後述するように使用者の視線方向を検知しその視線方向にある対象物を注視対象物と特定しても構わない。

0052

最後に(3)の両眼の輻輳による違和感の緩和とは、以下のような内容である。両眼の輻輳とは、特に近距離の対象物を直接視認する場合、その対象物に両眼の焦点を合わせようとするために両眼の眼球が互いに内側に回りこむ運動内転運動)のことをいう。この眼球の内転動作を脳が検知する事によっても、人は対象物の遠近感をある程度検知している。この輻輳は、対象物が数十cm程度以内のごく近距離にある場合に顕著に起こる。一方で人が虚像を見る場合、その人の眼の焦点はあくまで虚像の視認距離に合っている。このため視認距離が数十cm程度以上の離れたところにある虚像を視認する場合には、顕著な輻輳は起こらない。しかし、対象物が観測者のごく近距離にある場合、前記した両眼視差や距離応じた虚像のぼかし等により恣意的に与えられた虚像の遠近感と上記輻輳から検知される距離感乖離が生じ、観測者に大きな違和感や不快感が生じてしまう。

0053

本実施例の目的は、このような観測者(HMD使用者)の違和感や不快感を払拭する事にある。そこで本実施例においては、対象物の実距離とその対象物の虚像映像に与える視覚上の換算距離に所定の補正をかける手法を提案する。

0054

図8はその一例を示した図である。この図は注視対象物までの実距離と本実施例において、虚像内の各対象物映像に与える視覚上の換算距離の関係(以下、この関係を距離換算特性と記す。)をプロットしたグラフである。

0055

本来、対象物までの実距離(横軸)と虚像内の対象物映像に与える視覚上の換算距離(縦軸)は厳密に一致している事が理想である。すなわち前記距離換算特性は、図8中の破線110のように傾き(比例係数)が1.0の直線関係にあることが理想である。しかしながら、前記したように、このような正しい距離関係を保持してしまうと、特に近距離領域において、上記したような虚像に恣意的に付与された遠近感と輻輳から検知される距離間に大きな乖離が生じてしまう。

0056

そこで本実施例では、中距離、遠距離領域においては本来の正しい距離関係を示す直線110に沿いつつ、所定のポイントR(図の例では実距離1m)より近距離の領域では、対象物までの実距離変化量に対する虚像映像に与える視覚上距離の変化量の比例係数をその対象物実距離が減少するのに応じて1.0から徐々に増加させていき、例えば図中の実線210に示すような曲線上の距離換算特性で換算距離を算出する機能を、視野内対象物距離検知器10または遠近感映像生成器11内に具備している。

0057

そして以上のようにして算出した換算距離に基づき、遠近映像生成器11において、左眼用および右眼用映像表示スクリーン2に夫々投影される左眼用および右眼用の虚像映像に付与される両眼視差量や距離に応じた像のぼかし量を算出し、それらを付与するように映像の加工処理を実施する。そのような処理を施すことで、虚像映像に恣意的与えられた遠近感との前記輻輳との乖離が低減され、観測者(HMD使用者)に与える違和感や不快感を良好に払拭することができる。

0058

ところで、このように近距離領域で実距離の変化量に対する虚像映像に与える視覚上距離の変化量の比例係数を1.0から徐々に減少させていくと、当然その領域では実際の対象物の遠近感に対する虚像映像の遠近感の忠実性が劣化してしまう。しかしながら、特に近距離対象物を注視する場合は、本や新聞等を読む場合のように、その対象物だけを集中的に注視するケースがほとんどで、周囲の情景との遠近感が気になる状況は稀である。したがって対象物の遠近感に対する忠実性を確保するよりも、観測者(HMD使用者)の違和感や不快感を出来るだけ払拭する方が視覚矯正システムとしての実用性は高い。

0059

なお、図8に示した距離換算特性210は、あくまで一例であって、当然本実施例はこれに限定されるものではない。使用者個人の特性や嗜好、あるいは周囲の環境や状況に応じて距離換算特性の変曲ポイントRの位置(実距離)やRより近距離側での距離換算特性曲線の形状は任意に設定して構わない。所定の距離ポイントより近距離側で、対象物の実距離よりも虚像映像に与える視覚上の換算距離の方が所定量または所定比率だけ大きくなるような距離換算特性であればどのような特性であっても構わない。

0060

以上述べたように、(1)両眼視差、(2)距離に応じた虚像のぼかし、(3)両眼の輻輳に伴う違和感の緩和をもたらすように使用者の左右眼前に配置されたHMD1の投影スクリーン2に投影される各映像に所定の処理を施すことにより、使用者は虚像の遠近感に対して違和感や不快感を生じることなく、かつ良好な視認特性で外部情景を視認することができる。

0061

次に、図9のフローチャートを用いて、本実施例である視覚補助システムの処理フローについて説明する。図9において、まずステップ1(S1)では、外部情景撮影用電子カメラ3から所定の映像情報を逐次取得する。次のステップ2では、撮影視野内の各対象物の実距離情報を取得する。次のステップ3では、ステップ2で取得した各対象物の実距離情報を用い、前記した距離換算特性に従って、輻輳対策として、虚像内の各対象物映像に与える視覚上換算距離を算出する。次のステップ4では、ステップ3で換算した虚像の視覚上換算距離に基づき、左右両眼の虚像映像に与える「両眼視差量」を例えば前記(1)式に従って算出する。

0062

同様にステップ5では、ステップ3で換算した前記虚像の視覚上換算距離に基づき、各対象物の虚像映像に与えるべき所定の「ぼかし量」を算出する。

0063

次のステップ6では、ステップ4およびステップ5で算出した「両眼視差量」や「ぼかし量」などの遠近感構築パラメータを用い、ステップ1で取得した映像情報に加工を施すことで、HMD1内にある左右の映像表示スクリーン2の各々に投影するための虚像映像を生成する。

0064

最後にステップ7では、HMD1内にある左右の各映像表示スクリーン2にステップ6で加工、生成された左右の虚像映像が投影表示され、続くステップ8において、上記一連の処理フローを継続するか否かが判定される。もし判定結果が“Yes”であれば、改めてステップ1に戻り、判定結果が“No”であれば、一連の処理フローを終了する。

0065

ところで、以上の処理フローが終了すると、使用者20の眼前に配置された映像表示スクリーン2には映像は何も映らない状態になる。この映像表示スクリーン2は基本的には不透明であるので、何も映っていない状態では外部情景を肉眼で視認することも困難となるためHMDをはずさないと大変危険である。そこで例えば、この映像表示スクリーン2を液晶調光ガラスなどで構成し、電圧のON/OFFによって透明状態と不透明状態を切り替えることができるようにしておく。これにより、視覚補助システムとしての機能が動作状態の時は、不透明の映像表示スクリーンとして機能し、前記システムの動作がOFFになると自動的に映像表示スクリーン2が透明または半透明状態になって肉眼で外部情景が視認できるようになり、常時HMDを装着しておいても安全である。

0066

なお、図4に示した本実施例のHMD応用視覚補助システムは、各ブロック構成部分がHMD1と一体となっていてもよいし、別体でもよい。また、虚像の適正視認距離Cは、可変できるようにユーザが設定してもよい。

0067

以上のように、本実施例は、使用者の頭部に装着し眼前に情報映像を表示するヘッドマウントディスプレイ装置であって、使用者の直接視認視野を含む視野領域で外部情景を撮影する外部情景撮影器と、使用者の眼前に別個に配置された左眼用および右眼用映像表示スクリーン上の各々に外部情景撮影器によって撮影された外部情景映像を所定の視認距離を有する左眼用および右眼用虚像映像として投影表示する虚像投影器と、使用者から外部情景撮影器によって撮影された外部情景映像内に映しこまれている対象物までの実距離を検知する視野内対象物距離検知器と、視野内対象物距離検知器で検知された対象物の実距離情報に基づき、左眼用および右眼用虚像映像に所定の処理を施すことにより遠近感を付加した虚像映像を生成する遠近感映像生成器と、を備えた構成とする。

0068

また、使用者の頭部に装着し眼前に情報映像を表示するヘッドマウントディスプレイ装置の映像表示方法であって、使用者の視野領域で外部情景映像を撮影し、使用者から外部情景映像内に映しこまれている対象物までの実距離を検知し、撮影された外部情景映像を使用者の眼前に別個に配置された左眼用および右眼用映像表示スクリーン上の各々に所定の視認距離を有する左眼用および右眼用虚像映像として投影表示し、左眼用および右眼用虚像映像は、検知された対象物の実距離情報に基づき遠近感が付加される構成とする。

0069

これにより、HMDを用いて遠近感を保持しつつ個々の視認能力に合わせて良好な視認性能を確保できる視覚補助システムを実現することができる。

0070

図10に本実施例のHMD応用視覚補助システムのブロック構成図を示す。このブロック図において、図4のブロック図と同じ構成要素には同じ番号を付しており、その説明は省略する。

0071

本実施例では、図4に示した実施例1の構成要素に加え、使用者20の視線方向を検知するための視線方向検知器15と、この視線方向検知器15から得られた視線方向と電子カメラ3で撮影された外部情景映像から使用者が現在注視している対象物を検知、特定する注視対象物検知器16が具備されている。そして、この注視対象物検知器16で検知、特定された注視対象物が最も良好な視認性で視認できるよう虚像映像に付与される「ぼかし量」を調整し、遠近感映像生成器11にて左右の映像表示スクリーン2に投影するための虚像映像を生成する。

0072

このような構成をとることにより、使用者がその視野の中央から外れたところにある対象物を注視している場合でも、適正な視認特性でその注視対象物の虚像を視ることができる。

0073

図11に本実施例のHMD応用視覚補助システムのブロック構成図を示す。このブロック図において、図4および図10のブロック図と同じ構成要素には同じ番号を付しており、その説明は省略する。

0074

本実施例では、図4に示した実施例1の構成要素に加え、使用者20が発する音声を検知するための集音マイク17と、この集音マイク17で集音された使用者20の音声を分析して、使用者20が発した言語の内容を認識する音声認識器18が具備されている。

0075

本実施例においては、例えば、使用者20が発する「拡大」あるいは「ズームアップ」等何らかのキーワードを検知すると、そのキーワードを前記音声認識器18で認識し、外部情景撮影用電子カメラ3での撮影映像を所定の拡大率でズームアップする機能を設けてもよい。
あるいは、前記システム内に別途文字認識器や所定の言語自動翻訳器を設け、「翻訳」等のキーワードを検知、認識すると、撮影視野内にある英単語英文あるいは難読漢字などを自動翻訳して、その翻訳結果を表示スクリーン2に映し出される虚像映像に重畳表示する機能を設けてもよい。

0076

このように使用者の音声を検知、認識する装置を設けることで、使用者はHMDに関する様々な機能を音声のみで操作でき、完全なフリーハンド操作が可能となる。

0077

図12に本実施例のHMD応用視覚補助システムにおけるブロック構成図を示す。このブロック図において、図4図10および図11のブロック図と同じ構成要素には同じ番号を付しており、その説明は省略する。

0078

本実施例では、図4に示した実施例1の構成要素に加え、本実施例の視覚補助システムを装着した使用者20の視力を自動的に計測する機能を備えた小型の自動視力測定器オートレフラクトメーター)60と、この自動視力測定装置60で検知された使用者20の視力から、該使用者にとって最も良好な視認性を確保できる虚像視認距離を算出する最適虚像視認距離算出器61を具備している。そして、この最適虚像視認距離算出器61で算出された最適虚像視認距離情報が、遠近感映像生成器11および映像表示制御器13に送られ、最適虚像視認距離を有しかつ使用者に違和感や不快感を与えない良好な遠近感を保持した虚像映像が生成され、かつ映像表示スクリーンに投影表示されるよう映像表示制御器13を通じてHMD1内にある虚像生成用光学系が自動調整される。

0079

このような構成をとることにより、使用者20が本視覚補助システムを装着する都度、その使用者の視力を自動計測し、使用者にとって最適な視認性能を得られる虚像視認距離になるように虚像位置を自動調整することができる。

0080

本実施例は、HMD応用視覚補助システムにおける遠近感映像生成器11の処理を外部処理として、HMD応用視覚補助システムの処理負担を軽減する例について説明する。

0081

実施例1の図4で説明したように、遠近感映像生成器11は、電子カメラ3で撮影された外部情景映像情報と視野内対象物距離検知器10で検知された各対象物の距離情報、さらには必要に応じてメモリ12から抽出された所定の映像情報等を用いて、HMD使用者20の左右眼前に配置された映像表示スクリーン2に各々独立に投影表示される遠近感を持った虚像映像を生成する機能を備えており、前記したように、(1)両眼視差、(2)距離に応じた虚像のぼかし、(3)両眼の輻輳に伴う違和感の緩和をもたらすように使用者の左右眼前に配置されたHMD1の投影スクリーン2に投影される各映像に所定の処理を施す処理を行う。そのため、遠近感映像生成器11の処理は、例えばプログラム負荷や処理速度負荷が大きく、HMD応用視覚補助システムを例えば、HMD1と一体化して軽量化を図ろうとした場合にネックとなる場合が考えられる。

0082

そのため、遠近感映像生成器11の処理を外部処理として、例えば、外部情景映像情報や対象物の距離情報をネットワーククラウド送り、クラウド上で遠近感映像生成器11の処理を行い、その処理された表示映像を受け取り、HMD応用視覚補助システムの映像表示制御器13で処理してHMD1の映像表示スクリーン2に表示するように構成する。

0083

これにより、HMD応用視覚補助システムのプログラム負荷や処理負担を軽減することができる。

実施例

0084

なお、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、各実施例の構成、機能を組み合わせたものでもよい。

0085

1…HMD、2…映像表示スクリーン、3…外部情景撮影用電子カメラ、
10…視野内対象物距離検知器、11…遠近感映像生成器、
15…視線方向検知器、16…注視対象物検知器、17…音声マイク
20…使用者、30、40、50…対象物、31、41、51,52…虚像、60…自動視力測定器、61…最適虚像視認距離算出器

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ