図面 (/)

技術 ヘッドマウントディスプレイ装置、撮影制御方法、及びプログラム

出願人 浅田一憲川崎幸弘
発明者 浅田一憲
出願日 2014年12月1日 (4年9ヶ月経過) 出願番号 2014-243160
公開日 2016年6月9日 (3年3ヶ月経過) 公開番号 2016-105555
状態 特許登録済
技術分野 立体TV及びTVの試験,検査,測定等 その他の光学系・装置、色の干渉・色の制御 テレビジョン受像機の構造の細部
主要キーワード Y座標 視線範囲 開閉度合い 画質調節 混同色 赤外線撮影 遠近方向 可視光撮影
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年6月9日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (19)

課題

装着者に煩雑な操作や動作を行わせずに、装着者の意図に合った、装着者の前方を表す画像を表示する。

解決手段

本発明に係るヘッドマウントディスプレイ装置10は、装着者の前方を撮影する前方撮影部13、前方撮影部13によって撮影された装着者の前方を表す前方画像を表示する表示部14、装着者の左右の前眼部分を撮影する前眼部分撮影部15、前眼部分撮影部15によって撮影された前眼部分を表す前眼画像を取得する前眼画像取得部11a、前眼画像取得部11aによって取得された前眼画像から表示部14に向けられた装着者の視線を表す視線検出情報を抽出する視線検出情報抽出部11b、視線検出情報抽出部11bによって抽出された視線検出情報に基づいて、装着者の視線に応じた撮影を前方撮影部13に行わせる撮影制御部11cを備える。

概要

背景

装着者の前方を撮影することで取得された画像(前方画像)を装着者の眼の前に表示する、いわゆるビデオ透過型ヘッドマウントディスプレイ(Head Mounted Display:HMD)装置が知られている。この種のHMD装置に表示される前方画像の範囲は、その撮影を行うカメラ画角によって制限される。HMD装置に表示される前方画像の範囲を広くするための技術として、特許文献1には、広角レンズを有するカメラによって広範囲な前方画像を取得するHMD装置が開示されている。

概要

装着者に煩雑な操作や動作を行わせずに、装着者の意に合った、装着者の前方を表す画像を表示する。本発明に係るヘッドマウントディスプレイ装置10は、装着者の前方を撮影する前方撮影部13、前方撮影部13によって撮影された装着者の前方を表す前方画像を表示する表示部14、装着者の左右の前眼部分を撮影する前眼部分撮影部15、前眼部分撮影部15によって撮影された前眼部分を表す前眼画像を取得する前眼画像取得部11a、前眼画像取得部11aによって取得された前眼画像から表示部14に向けられた装着者の視線を表す視線検出情報を抽出する視線検出情報抽出部11b、視線検出情報抽出部11bによって抽出された視線検出情報に基づいて、装着者の視線に応じた撮影を前方撮影部13に行わせる撮影制御部11cを備える。

目的

本発明は、このような事情に鑑みてなされたものであり、装着者に煩雑な操作や動作を行わせずに、装着者の意図に合った、装着者の前方を表す画像(前方画像)を表示できる、ヘッドマウントディスプレイ装置、撮影制御方法、及びプログラムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

装着者の前方を撮影する前方撮影手段と、前記前方撮影手段によって撮影された装着者の前方を表す前方画像を表示する表示手段と、装着者の左右の前眼部分を撮影する前眼部分撮影手段と、前記前眼部分撮影手段によって撮影された前眼部分を表す前眼画像を取得する前眼画像取得手段と、前記前眼画像取得手段によって取得された前記前眼画像から、前記表示手段に向けられた装着者の視線を検出するための視線検出情報を抽出する視線検出情報抽出手段と、前記視線検出情報抽出手段によって抽出された前記視線検出情報に基づいて、装着者の視線に応じた撮影を前記前方撮影手段に行わせる撮影制御手段と、を備える、ことを特徴とするヘッドマウントディスプレイ装置

請求項2

前記視線検出情報抽出手段は、装着者の動点の位置を前記視線検出情報として抽出する、ことを特徴とする請求項1に記載のヘッドマウントディスプレイ装置。

請求項3

前記撮影制御手段は、前記視線検出情報抽出手段によって抽出された動点の位置に応じて、前記前方撮影手段の撮影方向を変更する、ことを特徴とする請求項2に記載のヘッドマウントディスプレイ装置。

請求項4

前記前方撮影手段の撮影方向を変更する必要があるか否かと前記動点の位置との対応関係を記憶し、前記撮影制御手段は、前記対応関係を参照して、前記視線検出情報抽出手段によって抽出された動点の位置に応じて前記前方撮影手段の撮影方向を変更する必要があるか否かを判別し、その判別結果に従って前記前方撮影手段の撮影方向を変更する、ことを特徴とする請求項3に記載のヘッドマウントディスプレイ装置。

請求項5

前記撮影制御手段は、前記視線検出情報抽出手段によって抽出された動点の位置に応じて、前記前方撮影手段の焦点を調整する、ことを特徴とする請求項2乃至4の何れか1項に記載のヘッドマウントディスプレイ装置。

請求項6

前記動点の位置と装着者の視線がなす角度との対応関係、及び、前記装着者の視線がなす角度が変化しているか否かを判別するための基準の角度を記憶し、前記撮影制御手段は、前記対応関係を参照して、前記視線検出情報抽出手段によって抽出された動点の位置に応じて前記装着者の視線がなす角度を読み出し、読み出した角度と前記基準の角度とから焦点を調整するか否かを判別し、その判別結果に従って前記前方撮影手段の焦点を調整する、ことを特徴とする請求項5に記載のヘッドマウントディスプレイ装置。

請求項7

前記視線検出情報抽出手段は、装着者の水晶体の厚さを前記視線検出情報として抽出し、前記撮影制御手段は、前記視線検出情報抽出手段によって抽出された水晶体の厚さに応じて、前記前方撮影手段の焦点を調整する、ことを特徴とする請求項1乃至4の何れか1項に記載のヘッドマウントディスプレイ装置。

請求項8

前記水晶体の厚さが変化しているか否かを判別するための基準の厚さを記憶し、前記撮影制御手段は、前記視線検出情報抽出手段によって抽出された前記水晶体の厚さと前記基準の厚さとから焦点を調整するか否かを判別し、その判別結果に従って前記前方撮影手段の焦点を調整する、ことを特徴とする請求項7に記載のヘッドマウントディスプレイ装置。

請求項9

前記前眼画像取得手段によって取得された前記前眼画像から、前記前方画像の明るさを検出するための明るさ検出情報を抽出する明るさ検出情報抽出手段を備え、前記撮影制御手段は、前記明るさ検出情報抽出手段によって抽出された前記明るさ検出情報に基づいて、前記前方画像の明るさを変更する、ことを特徴とする請求項1乃至8の何れか1項に記載のヘッドマウントディスプレイ装置。

請求項10

前記明るさ検出情報抽出手段は、装着者の瞳孔径瞼裂高径の少なくとも何れかを前記明るさ検出情報として抽出する、ことを特徴とする請求項9に記載のヘッドマウントディスプレイ装置。

請求項11

前眼画像取得部が、装着者の左右の前眼部分を表す前眼画像を取得する前眼画像取得ステップと、視線検出情報抽出部が、前記前眼画像取得ステップで取得された前記前眼画像から、装着者の視線を検出するための視線検出情報を抽出する視線検出情報抽出ステップと、撮影制御部が、前記視線検出情報抽出ステップで抽出された前記視線検出情報に基づいて、装着者の視線に応じた撮影を装着者の前方を撮影する前方撮影部に行わせる撮影制御ステップと、を有する、ことを特徴とする撮影制御方法

請求項12

コンピュータを、装着者の左右の前眼部分を表す前眼画像を取得する前眼画像取得手段、前記前眼画像取得手段によって取得された前記前眼画像から、装着者の視線を検出するための視線検出情報を抽出する視線検出情報抽出手段、前記視線検出情報抽出手段によって抽出された前記視線検出情報に基づいて、装着者の視線に応じた撮影を装着者の前方を撮影する前方撮影部に行わせる撮影制御手段、として機能させる、ことを特徴とするプログラム

技術分野

背景技術

0002

装着者の前方を撮影することで取得された画像(前方画像)を装着者の眼の前に表示する、いわゆるビデオ透過型ヘッドマウントディスプレイ(Head Mounted Display:HMD)装置が知られている。この種のHMD装置に表示される前方画像の範囲は、その撮影を行うカメラ画角によって制限される。HMD装置に表示される前方画像の範囲を広くするための技術として、特許文献1には、広角レンズを有するカメラによって広範囲な前方画像を取得するHMD装置が開示されている。

先行技術

0003

特開2011−205358号公報

発明が解決しようとする課題

0004

特許文献1に開示されたHMD装置によれば、装着者の前方の様子を広い範囲で表示できる。しかし、装着者は、HMD装置に表示された範囲の周辺を確認するためには、顔や身体の向きを変える必要がある。また、装着者が注目したい対象物焦点が合っていない場合、装着者は、その対象物にカメラのピントを合わせるための操作を行う必要がある。このように、従来のHMD装置において、装着者の意図に合った前方画像を表示するためには装着者による煩雑な操作や動作を要していた。

0005

本発明は、このような事情に鑑みてなされたものであり、装着者に煩雑な操作や動作を行わせずに、装着者の意図に合った、装着者の前方を表す画像(前方画像)を表示できる、ヘッドマウントディスプレイ装置、撮影制御方法、及びプログラムを提供することを目的とする。

課題を解決するための手段

0006

本発明の第一の観点に係るヘッドマウントディスプレイ装置は、
装着者の前方を撮影する前方撮影手段と、
前記前方撮影手段によって撮影された装着者の前方を表す前方画像を表示する表示手段と、
装着者の左右の前眼部分を撮影する前眼部分撮影手段と、
前記前眼部分撮影手段によって撮影された前眼部分を表す前眼画像を取得する前眼画像取得手段と、
前記前眼画像取得手段によって取得された前記前眼画像から、前記表示手段に向けられた装着者の視線を検出するための視線検出情報を抽出する視線検出情報抽出手段と、
前記視線検出情報抽出手段によって抽出された前記視線検出情報に基づいて、装着者の視線に応じた撮影を前記前方撮影手段に行わせる撮影制御手段と、を備えることを特徴とする。

0007

前記視線検出情報抽出手段は、装着者の動点の位置を前記視線検出情報として抽出するとよい。

0008

前記撮影制御手段は、前記視線検出情報抽出手段によって抽出された動点の位置に応じて、前記前方撮影手段の撮影方向を変更してもよい。

0009

また、前記前方撮影手段の撮影方向を変更する必要があるか否かと前記動点の位置との対応関係を記憶し、
前記撮影制御手段は、前記対応関係を参照して、前記視線検出情報抽出手段によって抽出された動点の位置に応じて前記前方撮影手段の撮影方向を変更する必要があるか否かを判別し、その判別結果に従って前記前方撮影手段の撮影方向を変更してもよい。

0010

前記撮影制御手段は、前記視線検出情報抽出手段によって抽出された動点の位置に応じて、前記前方撮影手段の焦点を調整してもよい。

0011

また、前記動点の位置と装着者の視線がなす角度との対応関係、及び、前記装着者の視線がなす角度が変化しているか否かを判別するための基準の角度を記憶し、
前記撮影制御手段は、前記対応関係を参照して、前記視線検出情報抽出手段によって抽出された動点の位置に応じて前記装着者の視線がなす角度を読み出し、読み出した角度と前記基準の角度とから焦点を調整するか否かを判別し、その判別結果に従って前記前方撮影手段の焦点を調整してもよい。

0012

前記視線検出情報抽出手段は、装着者の水晶体の厚さを前記視線検出情報として抽出し、
前記撮影制御手段は、前記視線検出情報抽出手段によって抽出された水晶体の厚さに応じて、前記前方撮影手段の焦点を調整してもよい。

0013

前記水晶体の厚さが変化しているか否かを判別するための基準の厚さを記憶し、
前記撮影制御手段は、前記視線検出情報抽出手段によって抽出された前記水晶体の厚さと前記基準の厚さとから焦点を調整するか否かを判別し、その判別結果に従って前記前方撮影手段の焦点を調整してもよい。

0014

前記前眼画像取得手段によって取得された前記前眼画像から、前記前方画像の明るさを検出するための明るさ検出情報を抽出する明るさ検出情報抽出手段を備え、
前記撮影制御手段は、前記明るさ検出情報抽出手段によって抽出された前記明るさ検出情報に基づいて、前記前方画像の明るさを変更してもよい。

0015

前記明るさ検出情報抽出手段は、装着者の瞳孔径瞼裂高径の少なくとも何れかを前記明るさ検出情報として抽出するとよい。

0016

本発明の第二の観点に係る撮影制御方法は、
前眼画像取得部が、装着者の左右の前眼部分を表す前眼画像を取得する前眼画像取得ステップと、
視線検出情報抽出部が、前記前眼画像取得ステップで取得された前記前眼画像から、装着者の視線を検出するための視線検出情報を抽出する視線検出情報抽出ステップと、
撮影制御部が、前記視線検出情報抽出ステップで抽出された前記視線検出情報に基づいて、装着者の視線に応じた撮影を装着者の前方を撮影する前方撮影部に行わせる撮影制御ステップと、を有することを特徴とする。

0017

本発明の第三の観点に係るプログラムは、
コンピュータを、
装着者の左右の前眼部分を表す前眼画像を取得する前眼画像取得手段、
前記前眼画像取得手段によって取得された前記前眼画像から、装着者の視線を検出するための視線検出情報を抽出する視線検出情報抽出手段、
前記視線検出情報抽出手段によって抽出された前記視線検出情報に基づいて、装着者の視線に応じた撮影を装着者の前方を撮影する前方撮影部に行わせる撮影制御手段、として機能させることを特徴とする。

発明の効果

0018

本発明によれば、装着者に煩雑な操作や動作を行わせずに、装着者の意図に合った前方画像を表示できる。

図面の簡単な説明

0019

本発明の第1の実施の形態に係るヘッドマウントディスプレイ装置の外観を示した図である。
図1に示したヘッドマウントディスプレイ装置の背面部(装着者の眼と対向する面)を示した図である。
図1に示したヘッドマウントディスプレイ装置の構成を示したブロック図である。
図3に示した撮影方向制御情報の構成を示した図である。
図4に示した視線範囲を模式的に示した図である。
撮影方向の変更が必要な範囲を模式的に示した図である。
図3に示した焦点制御情報の構成を示した図である。
装着者の注視点輻輳角との関係を模式的に示した図である
第1の実施の形態に係るヘッドマウントディスプレイ装置が実行する撮影制御処理フローチャートである。
図9に示した撮影方向制御処理のフローチャートである。
図9に示した焦点制御処理のフローチャートである。
本発明の第2の実施の形態に係る焦点制御情報の構成を示した図である。
第2の実施の形態に係るヘッドマウントディスプレイ装置が実行する撮影制御処理のフローチャートである。
図13に示した焦点制御処理のフローチャートである。
本発明の第3の実施の形態に係るヘッドマウントディスプレイ装置の構成を示したブロック図である。
図15に示した明るさ制御情報の構成を示した図である。
第3の実施の形態に係るヘッドマウントディスプレイ装置が実行する撮影制御処理のフローチャートである。
図17に示した明るさ調整処理のフローチャートである。

実施例

0020

(第1の実施の形態)
以下、図面を参照して、本発明の第1の実施の形態に係るヘッドマウントディスプレイ装置、撮影制御方法、及びプログラムを説明する。

0021

ヘッドマウントディスプレイ装置10(以下、HMD装置という)は、図1に示すように、フェイスパッドFP及びストラップSと一体に設けられる。フェイスパッドFPは、装着者の目の周りを覆う形状に形成されている。ストラップSは、弾性を有し、ストラップSの長さを調節するアジャスタAを備える。装着者は、装着者の頭部にフィットするようにストラップSの長さをアジャスタAによって調節し、フェイスパッドFPで装着者の両眼を覆ってストラップSを取り付ける。このようにして装着者はHMD装置10を装着する。HMD装置10が装着されると、装着者の視界はフェイスパッドFPによって遮られ、装着者は直接的に現実空間の様子を確認できなくなる。

0022

HMD装置10の前面(装着者から遠い方の面)には、装着者の眼(視点)に対応する位置に前方撮影部13が設けられている。前方撮影部13は、装着者の前方の現実空間を撮影する。また、HMD装置10の後面(装着者に近い方の面)には、図2に示すように、装着者の眼の前の位置(向かい合う位置)に表示部14が設けられている。表示部14は、前方撮影部13によって撮影された装着者の前方を表す画像(以下、前方画像という)を立体的に表示する。つまり、装着者は、表示部14に表示された前方画像を通じて(間接的に)、現実空間の様子を確認する。

0023

また、HMD装置10は、装着者の視線に応じた撮影を前方撮影部13に行わせる機能を備える。この機能を実現するために、表示部14の周辺には前眼部分撮影部15が設けられている。前眼部分撮影部15は、装着者の左右のまぶた、まつ毛を含む前眼部分を撮影する。HMD装置10は、前眼部分を表す画像(前眼画像)を処理することで装着者の視線に応じた撮影を前方撮影部13に行わせる。なお、ここでいう装着者の視線は左右の視線からなる。左の視線は装着者が注目している対象物と装着者の左眼の中心とを結ぶ線であり、右の視線は装着者が注目している対象物と装着者の右眼の中心とを結ぶ線である。

0024

次に図3を参照してHMD装置10の具体的な構成を説明する。HMD装置10は、制御部11と、記憶部12と、前方撮影部13と、表示部14と、前眼部分撮影部15とを備える。

0025

前方撮影部13は、制御部11の制御に従って装着者の前方を撮影する。前方撮影部13の撮影タイミングは例えば48〜60フレーム毎秒(fps)であり、予め設定されている。前方撮影部13の撮影タイミングは装着者の操作によって適宜に変更できる。また、前方撮影部13は、左視点撮影装置13L及び右視点撮影装置13Rを備える。左視点撮影装置13L及び右視点撮影装置13Rは、それぞれ可視光撮影用のカメラ(一般的なデジタルカメラ)から構成される。左視点撮影装置13Lは装着者の左眼の視点で、右視点撮影装置13Rは装着者の右眼の視点で、それぞれ撮影を行う。前方撮影部13は、左視点撮影装置13L及び右視点撮影装置13Rが行う撮影によって、立体的な前方画像(ステレオ画像)を取得する。

0026

左視点撮影装置13Lは、レンズユニット131L、信号処理部132L、及びレンズ駆動部133Lを備える。一方、右視点撮影装置13Rは、レンズユニット131R、信号処理部132R、及びレンズ駆動部133Rを備える。

0027

レンズユニット131L,131Rは、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子撮影レンズとを備える。レンズユニット131L,131Rは、装着者の前方を表す像を結像し、結像した像を光電変換する。また、レンズユニット131L,131Rは、光電変換後の画像信号を出力する。レンズユニット131Lは左視点の画像信号を、レンズユニット131Rは右視点の画像信号を、それぞれ出力する。

0028

信号処理部132L,132Rは、ノイズ除去回路信号増幅回路アナログデジタル変換回路とを備える。信号処理部132Lは、レンズユニット131Lから出力された左視点の画像信号について、ノイズ除去信号増幅、アナログ・デジタル変換を行い、これにより得られた左視点の画像データを出力する。一方、信号処理部132Rは、信号処理部132Lと同様の信号処理を行い、右視点の画像データを出力する。

0029

レンズ駆動部133L,133Rは、レンズ駆動回路から構成される。レンズ駆動部133L,133Rは、後述する撮影制御部11cの制御に従って、レンズユニット131L,131Rの撮影方向や焦点を調整する。具体的には、レンズ駆動部133L,133Rは、レンズユニット131L,131Rの撮影レンズを回転させることにより撮影方向(光軸)を変更し、レンズユニット131L,131Rの撮影レンズを光軸方向に移動することにより焦点を調整する。

0030

表示部14は、制御部11から各種画像受け取り、受け取った画像を表示する。表示部14は、前方撮影部13によって得られた前方画像を表示する。表示部14は、左視点表示装置14L及び右視点表示装置14Rを備える。左視点表示装置14L及び右視点表示装置14Rは、それぞれLCD(Liquid Crystal Display)や有機EL(Electro-Luminescence)等の表示装置と接眼レンズとを備える。左視点表示装置14Lは、左視点撮影装置13によって得られた画像を装着者の左眼の前に表示する。一方、右視点表示装置14Rは、右視点撮影装置13によって得られた画像を装着者の右眼の前に表示する。左視点表示装置14L及び右視点表示装置14Rに表示される各画像によって、装着者は立体的な画像(ステレオ画像)を確認できる。なお、表示部14は、制御部11の制御に従って、前方画像だけでなく拡張現実(AR:Augmented Reality)情報を表示してもよい。

0031

前眼部分撮影部15は、制御部11の制御に従って装着者の左右の前眼部分を撮影する。前眼部分撮影部15の撮影タイミングは例えば1秒間隔であり、装着者の操作によって適宜に変更できる。また、前眼部分撮影部15は、左眼撮影装置15L及び右眼撮影装置15Rを備える。左眼撮影装置15L及び右眼撮影装置15Rは、それぞれ可視光撮影用のカメラから構成される。左眼撮影装置15Lは装着者の左眼の前眼部分を撮影し、右眼撮影装置15Rは装着者の右眼の前眼部分を撮影する。

0032

左眼撮影装置15Lは、レンズユニット151L及び信号処理部152Lを備える。一方、右眼撮影装置15Rは、レンズユニット151R及び信号処理部152Rを備える。

0033

レンズユニット151L,151Rは、CCDやCMOS等の撮像素子と撮影レンズとを備える。レンズユニット151,151Rは、装着者の前眼部分を表す像を結像し、結像した像を光電変換することで得られた画像信号を出力する。レンズユニット151Lは左眼の前眼部分を、レンズユニット151Rは右眼の前眼部分を、それぞれ表す画像信号を出力する。

0034

信号処理部152L,152Rは、ノイズ除去回路と信号増幅回路とアナログ・デジタル変換回路とを備える。信号処理部152Lは、レンズユニット151Lから出力された左眼の前眼部分を表す画像信号について、ノイズ除去、信号増幅、アナログ・デジタル変換を行い、これにより得られた左眼の前眼部分を表す画像データを出力する。一方、信号処理部152Rは、信号処理部152Lと同様の信号処理を行い、右眼の前眼部分を表す画像データを出力する。

0035

記憶部12は、ROM(Read Only Memory)、フラッシュメモリ等の記憶装置から構成される。記憶部12は、制御部11が各種処理を行うために使用する各種プログラムおよびデータ、制御部11が各種処理を行うことにより生成または取得した各種データを記憶する。

0036

記憶部12は、特徴的には、撮影制御プログラム12a、撮影方向制御情報12b、及び焦点制御情報12cを記憶する。

0037

撮影制御プログラム12aは、制御部11に後述の撮影制御処理を実行させるためのプログラムである。撮影制御プログラム12aは、制御部11の実行によって、制御部11を前眼画像取得部11a、視線検出情報抽出部11b、撮影制御部11cとして機能させる。

0038

撮影方向制御情報12bは、レンズユニット131L,131Rの撮影方向を制御するための情報である。撮影方向制御情報12bは、図4に示すように、エントリ毎に、視線範囲、動点範囲、変更要否、変更量を有する。

0039

視線範囲は、表示部14に立体的に表示される前方画像の範囲のうちの一の範囲を識別する情報を有する。図5に示すように、前方画像の範囲(装着者が確認可能な前方画像)が、縦、横及び奥行き(遠近)方向に4分割(全部で64分割)された場合、視線範囲は、縦、横及び奥行き方向の範囲をそれぞれ識別する情報を有し、64分割された範囲の何れの範囲であるのか識別される。

0040

動点範囲は、同一エントリの視線範囲に対応する装着者の動点の範囲を表す。具体的には、動点範囲は、装着者が視線範囲内の対象物に注目しているときの装着者の動点の位置の範囲を表す。動点は例えば虹彩(黒眼)の中心である。動点範囲は、例えば、左右の眼についてXY(平面)座標で表す。なお、XY座標原点(0,0)は前眼画像において動かない部分である目頭等の固定点とする。また、動点範囲は、視線範囲毎に対象物に注目させる実験を行うことで得られた一般的なものである。

0041

装着者の動点の位置は、前眼部分撮影部15によって取得された前眼画像から抽出される。装着者の動点の位置が属する動点範囲は、その動点範囲に対応する視線範囲に装着者の視線が交差する点(注視点)が存在すること、つまり装着者が注目していることを表す。例えば、装着者の動点の位置が動点範囲「LX0≦X<LX1,LY0≦Y<LY1」、「RX0≦X<RX1,RY0≦Y<RY1」に属する場合、装着者は「視線範囲1」に注目していることを表す。

0042

変更要否は、同一エントリの視線範囲に対応する撮影方向の変更の要否を表す。具体的には、装着者の注視点が視線範囲にあるとき(装着者の動点の位置が動点範囲に属するとき)に撮影方向の変更が必要か否かを表す。撮影方向の変更が必要な範囲は、例えば図6に示すように、装着者がほぼ正面でとらえられる視線の範囲から外れる範囲(半分から3分の2の範囲)とする。この範囲に該当する視線範囲については撮影方向の変更が必要であるとして、変更要否は「要」に設定される。一方、この範囲に該当しない視線範囲については撮影方向の変更が必要ないとして、変更要否は「否」に設定される。

0043

変更量は、同一エントリの視線範囲に対応する撮影方向の制御量を表す。この変更量によって、装着者によって確認可能な前方画像の範囲の中心が視線範囲の代表的な位置となるように左右の撮影レンズ(レンズユニット131L,131R)が向けられる。例えば、装着者の動点の位置が動点範囲「LX2≦X<LX3,LY2≦Y<LY3」、「RX2≦X<RX3,RY2≦Y<RY3」に属する場合、左の撮影レンズは「変更量L3」、右の撮影レンズは「変更量R3」に従って撮影方向が変更される。なお、変更量は、装着者によって確認可能な前方画像の範囲の中心を基準の位置とし、その基準の位置と視線範囲の代表的な位置とから求められる。

0044

焦点制御情報12cは、レンズユニット131L,131Rの焦点を制御するための情報である。焦点制御情報12cは、図7に示すように、エントリ毎に、視線範囲、動点範囲、輻輳角、レンズ位置を有する。視線範囲及び動点範囲は、撮影方向制御情報12bに含まれた視線範囲及び動点範囲と一致するものとする。

0045

輻輳角は、同一エントリの視線範囲に対応する装着者の左右の視線がなす角度を表す。具体的には、装着者が視線範囲の代表的な位置に注目したときの左右の視線がなす角度を表す。輻輳角は、装着者の注視点が近くにあるほど大きくなる。例えば、図8に示すように、対象物P2が対象物P1よりも装着者の近くにある場合、対象物P2に注目したときの輻輳角θ2は、対象物P1に注目したときの輻輳角θ1よりも大きい。

0046

レンズ位置は、同一エントリの視線範囲に対応する撮影レンズの位置を表す。具体的には、装着者が視線範囲の代表的な位置に注目したとき(装着者の動点の位置が動点範囲に属するとき)に配置される撮影レンズの位置を表す。例えば、動点範囲「LX0≦X<LX1,LY0≦Y<LY1」、「RX0≦X<RX0,RY0≦Y<RY0」に装着者の動点の位置が属する場合、左の撮影レンズを「位置L1」、右の撮影レンズを「位置R1」に、それぞれ配置する。なお、輻輳角は、視線範囲の代表的な位置(注視点の位置)から推定される左右の視線がなす角度に基づいて設定される。レンズ位置は、レンズユニット131L,131Rから注視点までの距離に基づいて設定される。なお、レンズユニット131L,131Rから注視点までの距離は、左右の視線の方向とレンズユニット131L,131Rの幅の長さとから求められる。

0047

図3戻り、制御部11は、CPU(Central Processing Unit)、CPUのメインメモリとして機能するRAM(Random Access Memory)、タイマ等を備える。制御部11は、命令やデータを転送するための伝送経路であるシステムバスを介してHMD装置10の各部と接続され、HMD装置10全体を制御する。なお、制御部11は、一部にASIC(Application Specific IntegratedCircuit)等の専用回路を備えてもよい。

0048

また、制御部11は、HMD装置10が起動すると記憶部12から撮影制御プログラム12aを読み出して実行する。制御部11は、撮影制御プログラム12aを実行すると、前眼画像取得部11a、視線検出情報抽出部11b、撮影制御部11cとして機能する。

0049

以上のように構成されたHMD装置10は、前方画像(装着者の前方を表す画像)を表示部14に表示する動作を行うとともに、前眼画像(装着者の前眼部分を表す画像)から装着者の動点の位置を抽出し、抽出した動点の位置に基づいて、装着者の視線に応じた撮影を前方撮影部13に行わせる動作を行う。

0050

以下、図9を参照してHMD装置10の動作を詳細に説明する。HMD装置10が起動されると、制御部11は、記憶部12から撮影制御プログラム12aを読み出して実行する。これにより制御部11は、前眼画像取得部11a、視線検出情報抽出部11b、撮影制御部11cとして機能する。

0051

はじめに、撮影制御部11cは、前方撮影部13に装着者の前方を撮影させ(ステップS11)、前方撮影部13から前方画像を取得する。撮影制御部11cは、取得した前方画像を表示部14に表示する(ステップS12)。

0052

前眼画像取得部11aは、装着者の前眼部分を撮影するタイミング(例えば1秒間隔)が到来したか否かを判別する(ステップS13)。前眼画像取得部11aは、前眼部分を撮影するタイミングが到来していないと判別した場合は(ステップS13;NO)、ステップS11に戻る。つまり、前眼部分を撮影するタイミングが到来するまでの間は、撮影方向や焦点の変更は行われず、予め設定されたフレームレートの撮影によって取得された前方画像が表示部14に表示される。

0053

一方、前眼画像取得部11aは、前眼部分を撮影するタイミングが到来したと判別した場合は(ステップS13;YES)、前眼部分撮影部15に装着者の前眼部分を撮影させる(ステップS14)。前眼画像取得部11aは、前眼部分撮影部15から装着者の前眼部分を表す画像(前眼画像)を取得する(ステップS15)。

0054

視線検出情報抽出部11bは、前眼画像取得部11aによって取得された前眼画像から装着者の動点の位置を抽出する処理を行う。例えば、動点が虹彩(黒眼)の中心である場合、視線検出情報抽出部11bは、前眼画像の中から虹彩の中心を特定し、その位置(XY座標値)を抽出する。視線検出情報抽出部11bは、動点の位置を抽出できたか否かを判別し(ステップS16)、抽出できないと判別した場合は(ステップS16;NO)、ステップS11に戻って上記と同様の処理を行う。つまり、この場合、ステップS17及びS18には進まないので、撮影方向や焦点の変更は行われない。

0055

一方、視線検出情報抽出部11bは、動点の位置を抽出できたと判別した場合(ステップS16;YES)、撮影方向制御処理を行う(ステップS17)。

0056

ここで図10を参照して、ステップS17で行う撮影方向制御処理を説明する。

0057

撮影制御部11cは、記憶部12に記憶された撮影方向制御情報12bを参照し、抽出した動点の位置が属する動点範囲を特定する(ステップS171)。

0058

撮影制御部11cは、特定した動点範囲に対応する変更要否を参照し、撮影方向の変更が必要か否かを判別する(ステップS172)。例えば、動点範囲「LX2≦X<LX3,LY2≦Y<LY3」、「RX2≦X<RX3,RY2≦Y<RY3」を特定した場合、これに対応する変更要否は「要」なので、撮影制御部11cは、撮影方向の変更が必要であると判別する(ステップS172;YES)。この場合、撮影制御部11cは、特定した動点範囲に対応する「変更量L3」及び「変更量R3」に従って、レンズユニット131L,131Rの撮影レンズの向きをそれぞれ変更する(ステップS173)。その後、撮影制御部11cは、図9に示したステップS18に進む(リターン)。

0059

一方、ステップS171で特定した動点範囲に対応する変更要否が「否」だった場合、撮影制御部11cは、撮影方向の変更が必要ないと判別する(ステップS172;NO)。この場合、撮影制御部11cは、撮影レンズの向きを変更しないで図9に示したステップS18に進む(リターン)。

0060

図9に戻り、撮影制御部11cは、撮影方向制御処理(ステップS17)を終えた後、焦点制御処理を行う(ステップS18)。

0061

図11を参照して、ステップS18で行う焦点制御処理を説明する。

0062

撮影制御部11cは、記憶部12に記憶された焦点制御情報12cを参照し、ステップS16で抽出された動点の位置が属する動点範囲を特定する(ステップS181)。また、撮影制御部11cは、特定した動点範囲に対応する輻輳角を抽出する(ステップS182)。例えば、動点範囲「LX2≦X<LX3,LY2≦Y<LY3」、「RX2≦X<RX3,RY2≦Y<RY3」を特定した場合、これに対応する「輻輳角3」が抽出される。

0063

また、撮影制御部11cは、ステップS182で抽出した輻輳角と、予め記憶された基準の輻輳角とから、輻輳角が一定の範囲を超えて変化しているか否かを判別する(ステップS183)。基準の輻輳角は、HMD装置10を起動して最初にステップS183を行う際には予め設定された初期値とされ、それ以降は、前回のステップS182で抽出された輻輳角とされる。例えば、撮影制御部11cは、ステップS183が行われる度に、ステップS182で抽出した輻輳角を基準の輻輳角として更新、記憶する。

0064

撮影制御部11cは、一定の範囲を超えて変化していると判別した場合(ステップS183;YES)、ステップS181で特定した動点範囲に対応するレンズ位置に、レンズユニット131L,131Rの撮影レンズを配置する。例えば動点範囲に対応するレンズ位置が「位置L3」、「位置R3」である場合、レンズユニット131Lの撮影レンズを「位置L3」、レンズユニット131Rの撮影レンズを「位置R3」に配置する。これにより、撮影制御部11cの焦点を装着者が注目している対象物に合わせる(ステップS184)。その後、撮影制御部11cは、図9に示したステップS11に戻る(リターン)。

0065

一方、ステップS183において一定の範囲を超えて変化していないと判別した場合(ステップS183;NO)、撮影制御部11cは、前方撮影部13の焦点を調整しないで図9に示したステップS11に戻る(リターン)。

0066

以上のようにして一連の撮影制御処理が行われる。前眼画像取得部11a、視線検出情報抽出部11b、撮影制御部11cは、HMD装置10の電源オフになるか、装着者によって処理を中断する操作が行われるまで、ステップS11〜S18の処理を繰り返し行う。

0067

以上、第1の実施の形態に係るHMD装置10によれば、装着者の左右の前眼部分を撮影することによって取得される前眼画像から、動点(虹彩の中心)の位置を抽出し、抽出した動点の位置に応じて前方撮影部13の撮影方向や焦点を調整することができる。そのため、HMD装置10は、装着者に煩雑な操作や動作を行わせずに、装着者の意図に合った前方画像を表示できる。

0068

また、HMD装置10によれば、前眼画像から抽出した動点の位置に基づいて撮影方向の変更が必要か否かを判別し、必要と判別した場合に撮影方向の変更を行うことができる。これにより、正面から外れた方向に視線を向ける等、視線が大きく変化する場合には撮影方向が変更されるが、装着者が無意識に視線を変える等、視線がほとんど変化しない場合には撮影方向は変更されない。このように、HMD装置10は、装着者の意図に合わせて自動的に撮影方向を変更できる。なお、HMD装置10は、変更要否について設定されていなくてもよい。HMD装置10は、動点の位置(視線検出情報)と変更量との対応関係が設定されていればよく、これにより、前眼画像から抽出した視線検出情報に対応する変更量に従って撮影方向を変更できる。

0069

また、HMD装置10によれば、装着者の視線がなす輻輳角の変化に基づいて焦点の変更が必要か否かを判別し、必要と判別した場合に焦点の変更を行うことができる。これにより、装着者の視線が遠近方向に大きく変化した場合には前方撮影部13の焦点が調整されるが、装着者の視線が遠近方向にほとんど変化しない場合には前方撮影部13の焦点は調整されない。このように、HMD装置10は、装着者の意図に合わせて自動的に焦点を調整できる。なお、HMD装置10は、この判別処理を行わなくてもよく、特定された動点範囲に対応するレンズ位置に従って、前方撮影部13の焦点を調整してもよい。

0070

また、本実施の形態では、虹彩の中心を動点として説明したが、その他の動点でもよく、例えば瞳孔の中心等が採用されてもよい。また、動点の数も1つに限定されず、複数でもよい。また、視線検出情報抽出部11bは、XY座標の原点として設定された固定点(目頭等)を動点とともに特定してもよい。視線検出情報抽出部11bは、特定した固定点の位置(XY座標値)を原点(0,0)に変更することにより個人差補正し、より正確に動点の位置を抽出できる。

0071

また、HMD装置10は、前方撮影部13から取得した前方画像について、装着者が注目している部分を鮮明にし、それ以外を不鮮明にする画像変換を行ってもよい。例えば、画像を鮮明にするための手法としては、画像のエッジ(輪郭)部分を強調するシャープネス機能を採用する。シャープネス機能は、その調整値を上げることで画像のエッジ部分が強調され、画像が鮮明になる。また、画像を不鮮明にするための手法としては、画像のエッジ(輪郭)部分をあいまいにする、ぼかし機能を採用する。ぼかし機能は、その調整値を上げることで画像のエッジ部分があいまいになり、画像が不鮮明になる。これらの機能を利用する場合、撮影制御部11cは、ステップS171で特定した動点範囲に対応する視線範囲とその周辺の視線範囲を特定する。撮影制御部11cは、特定した視線範囲に属する部分の前方画像についてシャープネスに係る調整値を上げることにより当該部分の前方画像を鮮明にする。また、撮影制御部11cは、特定した視線範囲以外の部分の前方画像について、ぼかしに係る調整値を上げることにより当該部分の前方画像を不鮮明にする。そして、撮影制御部11cは、このような画像変換を行った後の前方画像を表示部14に表示する。これにより、表示部14には、装着者が注目している部分が鮮明で、それ以外が不鮮明な前方画像が表示され、装着者は、直接的に現実空間の様子を確認している感覚を得ることができ、装着者の臨場感を向上させる効果が期待できる。

0072

また、撮影方向制御情報12bと焦点制御情報12cとの間で視線範囲及び動点範囲が一致する場合、撮影方向制御情報12bと焦点制御情報12cとは、一つの制御情報にまとめてもよい。この場合、当該制御情報は、視線範囲、動点範囲、変更要否、変更量、輻輳角、及びレンズ位置を有する。また、本実施の形態では、撮影方向制御情報12bと焦点制御情報12cとの間で視線範囲及び動点範囲が一致する場合を説明したが、これらは異なっていてもよい。

0073

また、撮影方向制御情報12b及び焦点制御情報12cに含まれた動点範囲は、実験によって得られた一般的なものとして説明したが、実際にHMD装置10を装着する装着者の動点の位置に基づいて設定されてもよい。この場合、例えば、HMD装置10の制御部11は、表示部14に実験用画面を表示し、その画面において視線範囲毎に装着者の注意をひく絵や文字等の画像を表示する。制御部11は、当該画像が表示されたときの前眼画像を前眼部分撮影部15から取得し、取得した前眼画像から動点の位置を抽出する。制御部11は、抽出した動点の位置に基づいて視線範囲に対応する動点の範囲を設定する。これにより、装着者固有の動点範囲を含んだ撮影方向制御情報12b及び焦点制御情報12cが得られ、これを用いることで、より装着者の意図に合った前方画像を表示できる。

0074

なお、撮影方向制御情報12b及び焦点制御情報12cに含まれる視線範囲の数は、装着者の操作によって適宜に設定されてもよい。また、これに従って、撮影方向制御情報12bに含まれる変更量、焦点制御情報12cに含まれる輻輳角及びレンズ位置が設定されてもよい。また、撮影方向の変更が必要な範囲も装着者の操作によって適宜に設定されてもよく、これに従って、撮影方向制御情報12bに含まれる変更要否が設定されてもよい。

0075

また、HMD装置10は、撮影方向制御情報12bに代えて、装着者の動点の位置と変更量との対応関係を回帰分析し、これによりモデル化された撮影方向制御情報を記憶してもよい。この場合、撮影制御部11cは、モデル化された撮影方向制御情報を用いて、視線検出情報抽出部11bによって抽出された動点の位置に対応する変更量を算出し、算出した変更量に従って、前方撮影部13の撮影方向を変更させてもよい。

0076

また、HMD装置10は、焦点制御情報12cに代えて、装着者の動点の位置とレンズ位置との対応関係を回帰分析し、これによりモデル化された焦点制御情報を記憶してもよい。この場合、撮影制御部11cは、モデル化された焦点制御情報を用いて、視線検出情報抽出部11bによって抽出された動点の位置に対応するレンズ位置を算出し、算出したレンズ位置に従って、前方撮影部13の焦点を調整してもよい。

0077

(第2の実施の形態)
次に、本発明の第2の実施の形態を説明する。第1の実施の形態では、撮影制御部11cは、視線検出情報抽出部11bによって抽出された動点の位置に基づいて前方撮影部13の焦点を調整した。本実施の形態では、水晶体の厚さを視線検出情報とし、前方画像から抽出した水晶体の厚さに基づいて、前方撮影部13の焦点を調整する場合の態様を説明する。なお、上記実施の形態で説明した構成または動作と同様のものについては説明を適宜省略する。

0078

前眼部分撮影部15は、赤外線LED(Light Emitting Diode)と赤外線撮影用カメラとを備える。赤外線LEDは、装着者の左右の前眼部分を照射する。赤外線撮影用カメラは、装着者の前眼部分を撮影する。また、記憶部12は、焦点制御情報12c’を記憶する。焦点制御情報12c’は、レンズユニット131L,131Rの焦点を制御するための情報である。焦点制御情報12c’は、図12に示すように、距離と、水晶体の厚さと、レンズ位置との対応関係を表す。水晶体の厚さは、異なる距離毎に対象物に注目させる実験を行うことで得られた一般的なものである。

0079

距離は、装着者の眼と装着者が注目している対象物との間の距離を表す。

0080

水晶体の厚さは、同一エントリの距離に対応する装着者の水晶体の厚さを表す。水晶体は、装着者の注視点が近くにあるほど厚くなるという性質を有する。水晶体の厚さは、赤外線LEDの照射によって水晶体の前面で反射する像と水晶体の後面で反射する像との間の長さによって表される。

0081

レンズ位置は、同一エントリの距離に対応する撮影レンズの位置を表す。

0082

次に、図13を参照してHMD装置10が行う撮影制御処理を説明する。第1の実施の形態に係る撮影制御処理は、動点の位置が抽出されなかった場合に最初の処理(ステップS11)に戻ったが、本実施の形態では、焦点制御処理(ステップS18’)を行う。なお、それ以外の処理は第1の実施の形態に係る撮影制御処理と同じである。

0083

図13に示した焦点制御処理(ステップS18’)について、図14を参照して説明する。

0084

視線検出情報抽出部11bは、左右の前眼画像から、赤外線LEDの照射によって水晶体の前面で反射する像及び水晶体の後面で反射する像を特定し、その間の距離を測定する。これにより視線検出情報抽出部11bは、左右の水晶体の厚さを抽出する(ステップS181’)。

0085

撮影制御部11cは、視線検出情報抽出部11bによって抽出された水晶体の厚さと、予め記憶された基準の厚さとから、水晶体の厚さが一定の範囲を超えて変化しているか否かを判別する(ステップS182’)。基準の厚さは、HMD装置10を起動して最初に当該処理を行う際には予め設定された初期値とされ、それ以降は、前回抽出された水晶体の厚さとされる。撮影制御部11cは、当該処理が行われる度に、視線検出情報抽出部11bによって抽出された水晶体の厚さを基準の厚さとして更新、記憶する。ここでいう一定の範囲とは、視線が遠近方向に大きく変化したか否かを判断する基準として設定された距離の範囲に対応する水晶体の厚さの範囲である。なお、距離の範囲は適宜に変更できる。

0086

撮影制御部11cは、一定の範囲を超えて変化していると判別した場合(ステップS182’;YES)、記憶部12に記憶された焦点制御情報12c’を参照し、視線検出情報抽出部11bによって抽出された水晶体の厚さが属する範囲を特定する。撮影制御部11cは、特定した範囲に対応するレンズ位置に、レンズユニット131L,131Rの撮影レンズを配置する。例えば、左眼の水晶体の厚さが「T0≦T<T1」に属し、右眼の水晶体の厚さが「T1≦T<T2」に属する場合、左の撮影レンズを「位置1」、右の撮影レンズを「位置2」にそれぞれ配置する。これにより、撮影制御部11cの焦点を調整し(ステップS183’)、装着者が注目している対象物にピントを合わせる。その後、撮影制御部11cは、図13に示したステップS11に戻る(リターン)。

0087

一方、ステップS182’において一定の範囲を超えて変化していないと判別した場合(ステップS182’;NO)、撮影制御部11cは、焦点を調整しないで図13に示したステップS11に戻る(リターン)。

0088

以上、第2の実施の形態に係るHMD装置10によれば、前方画像から水晶体の厚さを抽出し、抽出した水晶体の厚さに基づいて前方撮影部13の焦点を調整することができる。

0089

また、HMD装置10によれば、水晶体の厚さの変化に基づいて焦点の変更が必要か否かを判別し、必要と判別した場合に焦点の変更を行うことができる。これにより、装着者の視線が遠近方向に大きく変化した場合に前方撮影部13の焦点が調整され、装着者の視線が遠近方向にほとんど変化しない場合には前方撮影部13の焦点は調整されない。このように、HMD装置10は、装着者の意図に合わせて自動的に焦点を調整できる。なお、HMD装置10は、この判別処理を行わなくてもよく、抽出された水晶体の厚さに対応するレンズ位置に従って、前方撮影部13の焦点を調整してもよい。

0090

また、前眼部分撮影部15に備えられた赤外線撮影用カメラは、水晶体の厚さを測定するために備えられたものであるが、視線検出情報抽出部11bは、赤外線撮影用カメラによって取得された前眼画像から動点(例えば虹彩の中心)の位置を抽出し、動点の位置に応じて、赤外線撮影用カメラの撮影レンズの向きを変えてもよい。つまり、この場合、可視光撮影用のカメラを省略できる。また、前眼部分撮影部15が可視光と赤外線の両方の撮影を行うことができる場合、何れのカメラによって前眼画像を取得するのかを、装着者の操作によって設定できるようにしてもよい。また、前方撮影部13の焦点を、水晶体の厚さ、動点の位置のどちらに基づいて調整するのかを、装着者の操作によって設定できるようにしてもよい。

0091

また、本実施の形態では、焦点制御情報12c’に含まれた水晶体の厚さは実験によって得られた一般的なものとして説明したが、実際にHMD装置10を装着する装着者の水晶体の厚さに基づいて設定されてもよい。この場合、例えば、HMD装置10の制御部11は、表示部14に実験用の画面を表示し、その画面において、焦点制御情報12c’により表される距離毎に装着者の注意をひく絵や文字等の画像を表示する。制御部11は、当該画像が表示されたときの前眼画像を前眼部分撮影部15から取得し、取得した前眼画像から水晶体の厚さを測定する。制御部11は、測定した水晶体の厚さに基づいて、距離に対応する水晶体の厚さの範囲を設定する。これにより、装着者固有の水晶体の厚さの範囲を含んだ焦点制御情報12c’が得られ、これを用いることで、より装着者の水晶体の厚さに応じて前方撮影部13の焦点を調整できる。

0092

また、HMD装置10は、焦点制御情報12c’に代えて、装着者の水晶体の厚さとレンズ位置との対応関係を回帰分析し、これによりモデル化された焦点制御情報を記憶してもよい。この場合、撮影制御部11cは、モデル化された焦点制御情報を用いて、視線検出情報抽出部11bによって抽出された水晶体の厚さに対応するレンズ位置を算出し、算出したレンズ位置に従って、前方撮影部13の焦点を調整してもよい。

0093

(第3の実施の形態)
次に、本発明の第3の実施の形態を説明する。本実施の形態では、前眼画像から視線検出情報を抽出するだけでなく、前方画像の明るさを検出するための明るさ検出情報を前眼画像から抽出し、明るさ検出情報に基づいて前方画像の明るさを変更するHMD装置1の例を説明する。なお、上記各実施の形態で説明した構成または動作と同様のものについては説明を適宜省略する。

0094

明るさ検出情報は、例えば瞳孔径や瞼裂高径がある。瞳孔径は、瞳孔の大きさを表すものであり、明るいところでは小さく、暗いところでは大きくなるという性質を有する。また、瞼裂高径は、上瞼と下瞼の間の大きさを表すものであり、瞳孔径と同様、明るいところでは小さく、暗いところでは大きくなるという性質を有する。本実施の形態では、瞳孔径を採用した例を説明する。

0095

図15に示すように、HMD装置1の制御部11は、明るさ検出情報抽出部11dを備える。明るさ検出情報抽出部11dは、明るさ検出情報を前眼画像から抽出し、明るさ検出情報に基づいて表示部14に表示される前方画像の明るさを調整する処理(明るさ調整処理)を行う。

0096

また、HMD装置1の記憶部12には、明るさ制御情報12dが記憶されている。明るさ制御情報12dは、表示部14に表示される前方画像の明るさを調整するための情報である。明るさ制御情報12dは、図16に示すように、エントリ毎に、明るさ、瞳孔径、調整要否、調整値を有する。

0097

明るさは、表示部14に表示された前方画像の明るさを識別する情報を有する。

0098

瞳孔径は、同一エントリの明るさに対応する瞳孔径の範囲を表す。瞳孔径は、明るさ毎に瞳孔径の大きさを計測する実験を行うことで得られた一般的なものである。例えば、装着者の瞳孔径が「D0≦D<D1」に属する場合、表示部14に表示された前方画像の明るさは「明るさ1」と検出される。

0099

調整要否は、同一エントリの明るさについての調整の要否を表す。具体的には、人が暗いと感じる範囲の明るさ(例えば10,000ルクス以上)や、明るいと感じる範囲の明るさ(例えば0.1ルクス以下)等、確認しにくいと感じる明るさについては調整が必要であるとして、調整要否は「要」に設定される。一方、この範囲に該当しない明るさ(確認しにくいと感じない明るさ)については調整が必要ないとして、調整要否は「否」に設定される。

0100

調整値は、同一エントリの明るさを調整するための値を表す。調整値は、露出補正を行うための値である。この調整値によって、表示部14に表示される前方画像の明るさが調整され、確認しくいと感じる明るさを、確認しやすいと感じる明るさに変更できる。露出補正は、その補正値が大きければ大きいほど明るくなる。従って、前方画像の明るさが明るいものほど調整値は小さく、前方画像の明るさが暗いものほど調整値は大きく設定される。例えば、装着者の瞳孔径が「D0≦D<D1」に属する場合、「調整値1」に従って前方画像の明るさが調整される。

0101

次に、図17を参照してHMD装置10が行う撮影制御処理を説明する。第1の実施の形態に係る撮影制御処理は、焦点制御処理(ステップS18)を行った後に最初の処理(ステップS11)に戻ったが、本実施の形態では、焦点制御処理(ステップS18)を行った後に明るさ調整処理(ステップS19)を行う。なお、それ以外の処理は第1の実施の形態に係る撮影制御処理と同じである。

0102

図17に示した明るさ調整処理(ステップS19)について、図18を参照して説明する。

0103

明るさ検出情報抽出部11dは、前眼画像の中から瞳孔を特定し、瞳孔径を抽出する(ステップS191)。

0104

撮影制御部11cは、記憶部12に記憶された明るさ制御情報12dを参照し、抽出した瞳孔径が属する範囲を特定する。また、撮影制御部11cは、特定した瞳孔径の範囲に対応する調整要否を参照し、前方画像の明るさの調整が必要か否かを判別する(ステップS192)。例えば、瞳孔径の範囲「D0≦D<D1」を特定した場合、これに対応する調整要否は「要」なので、撮影制御部11cは、前方画像の明るさの調整が必要であると判別する(ステップS192;YES)。この場合、撮影制御部11cは、特定した瞳孔径の範囲に対応する「調整値1」を設定する(ステップS193)。これにより、「調整値1」に露出補正され、以降の撮影によって取得される前方画像の明るさが変更される。その後、撮影制御部11cは、図17に示したステップS11に戻る(リターン)。

0105

一方、ステップS191で抽出した瞳孔径が属する範囲に対応する調整要否が「否」だった場合、撮影制御部11cは、前方画像の明るさの調整が必要ないと判別する(ステップS192;NO)。この場合、撮影制御部11cは、前方画像の明るさを調整しないで図17に示したステップS11に戻る(リターン)。

0106

以上、第3の実施の形態に係るHMD装置10によれば、前方画像から装着者の瞳孔径を抽出し、抽出した瞳孔径に基づいて表示部14に表示される前方画像の明るさを変更することができる。これにより、装着者が暗いまたは明るいと感じる(確認しにくいと感じる)前方画像の明るさを、装着者が確認しやすいと感じる明るさに自動的に変更できる。

0107

また、本実施の形態では、瞳孔径を明るさ検出情報として説明したが、瞼裂高径を明るさ検出情報としてもよい。また、瞳孔径と瞼裂高径の両方を明るさ検出情報としてもよく、瞳孔径及び瞼裂高径に基づいて前方画像の明るさを変更してもよい。

0108

また、HMD装置10は、抽出した明るさ検出情報に対応する調整要否に従って、前方画像の明るさを変更したが、調整要否について設定されていなくてもよい。HMD装置10は、明るさ検出情報(瞳孔径、瞼裂高径の少なくとも何れか)と調整値との対応関係が設定されていればよく、これにより、前眼画像から抽出した明るさ検出情報に対応する調整値に従って前方画像の明るさを調整できる。

0109

また、HMD装置10は、前眼画像から抽出した明るさ検出情報(例えば瞳孔径)が、一定の範囲を超えて変化したか否かを判別し、一定の範囲を超えて変化したと判別した場合に、抽出した明るさ検出情報に対応する調整値に従って前方画像の明るさを調整してもよい。ここでいう一定の範囲とは、前方画像の明るさが大きく変化したか否かを判断する基準として設定された明るさの範囲に対応する明るさ検出情報(ここでは瞳孔径)の範囲である。なお、明るさの範囲は適宜に変更できる。

0110

(変形例1)
前方撮影部13に備えられた撮影レンズの回転範囲が制限されている場合、HMD装置10の撮影制御部11cは、現在の撮影レンズの向きと、撮影レンズの変更量(回転角)とから撮影方向を変更できるか否かを判別し、その判別結果を装着者に通知してもよい。例えば、撮影制御部11cは、撮影方向を変更できないと判別した場合には、その旨を通知するメッセージを表示部14に表示する。このメッセージが表示部14に表示された場合、装着者は、顔または身体の向きを変えて、装着者の前方の撮影を行う。

0111

(変形例2)
上記各実施の形態では、前方画像から抽出された動点の位置や水晶体の厚さ等の視線検出情報に基づいて、装着者の視線に応じた撮影を前方撮影部13に行わせたが、装着者の視線に応じた撮影は、その他の視線検出情報に基づいて行ってもよい。例えば、人間の眼は、近くにあるものを見るときに見開き、遠くにあるものを見るときに細める動作を行う。HMD装置10は、この動作に基づいて、撮影制御部13の焦点を調整してもよい。例えば、視線検出情報抽出部11bは、前眼画像取得部11aによって取得された前眼画像から装着者の眼の開閉度合いを求め、撮影制御部11cは、開閉度合いに応じて撮影制御部13の焦点を調整してもよい。

0112

その他、上記各実施の形態では、HMD装置10は、撮影制御部13の撮影方向及び焦点を調整する例を説明したが、撮影方向及び焦点の何れを変更するのかは、操作者の操作によって設定されてもよい。また、HMD装置10は、撮影方向及び焦点の何れかを変更するものであってもよい。HMD装置10が撮影方向のみを変更するものとした場合、前方撮影部13は、1つの撮影装置から構成されてもよい。

0113

また、HMD装置10には、前方撮影部13によって取得された前方画像を変換する画像変換機能を備えても良い。画像変換機能には、ズーム機能画質調節機能、色覚補助機能等がある。ズーム機能は、前方画像を拡大または縮小する機能である。画質調節機能は、前方画像の明るさやコントラスト等の画質を調節する機能である。色覚補助機能は、色覚異常者によって同一の色として知覚される異なる種類の色のペア混同色)を弁別できるように画像を変換する機能である。これらの画像変換機能によって、HMD装置10は、装着者の意図に合った前方画像を表示できる。

0114

また、HMD装置10は、装着者の前眼画像によって認証処理を行ってもよい。例えば、HMD装置10には正当使用権限を有する装着者の虹彩を表す画像(虹彩画像)を予め登録しておく。HMD装置10は、前眼部分撮影部15によって取得された前眼画像の中から虹彩画像を抽出し、抽出した虹彩画像と一致する画像(類似する度合いが一定以上の画像)が登録されているか否かを判別する。HMD装置10は、一致する画像が登録されていると判別した場合、装着者が正当な使用権限を有する者であると認証し、一致する画像が登録されていないと判別した場合、装着者が正当な使用権限を有する者でないと認証する。

0115

また、HMD装置10は、動画によって装着者の前眼画像を取得し、複数の連続した前眼画像に基づいて特定される操作者の眼の動作(ジェスチャー)に従って各種処理を行うようにしてもよい。この場合、HMD装置10には、眼の動作を特定する情報と、HMD装置10が実行する処理とを対応付けて予め登録しておく。具体的には、黒眼(虹彩)が左上、右上、左下、右下の順に移動してZ字を描く動きを特定する情報と、一定の比率ズーム(拡大する)処理とを対応付けて登録しておく。これにより、装着者がZ字を描くように黒眼を動かした場合に、HMD装置10は、表示部14に表示された前方画像を拡大する処理を行う。

0116

なお、本発明に係るHMD装置は、一般的なコンピュータによって実現できる。この場合、上記実施の形態で説明した動作を実行するためのプログラムをコンピュータにインストールし、このプログラムをコンピュータが実行することによって本発明に係るHMD装置として機能させることができる。このようなプログラムは、例えば、持ち運び可能な記録媒体等に記録されて配布される。持ち運び可能な記録媒体には、例えば、CD−ROM(Compact Disc Read Only Memory)、DVD−ROM(Digital Versatile Disk Read Only Memory)、BD−ROM(Blu-ray(登録商標) Disc)等がある。

0117

また、プログラムを提供する方法は任意である。例えば、SNS(ソーシャルネットワーキングサービス)にアップロードされたプログラムをダウンロードしてもよい。また、プログラムは、プログラムを表す信号によって搬送波変調した変調波によって伝送され、この変調波を受信した装置が変調波を復調してプログラムを復元してもよい。そして、コンピュータは、このプログラムを起動して、他のアプリケーションと同様に実行する。これによって、コンピュータは、本発明に係るHMD装置として機能する。

0118

その他、本発明は、上記実施の形態の説明および図面によって限定されるものではなく、上記実施の形態および図面に適宜変更等を加えることは可能である。

0119

10ヘッドマウントディスプレイ装置(HMD装置)
11 制御部
11a前眼画像取得部
11b視線検出情報抽出部
11c撮影制御部
11d 明るさ検出情報抽出部
12 記憶部
12a撮影制御プログラム
12b撮影方向制御情報
12c焦点制御情報
12d 明るさ制御情報
13前方撮影部
13R右視点撮影装置
13L 左視点撮影装置
131L,131Rレンズユニット
132L,132R信号処理部
133L,133Rレンズ駆動部
14 表示部
14L 左視点表示装置
14R 右視点表示装置
15 前眼部分撮影部
15L左眼撮影装置
15R右眼撮影装置
151L,151R レンズユニット
152L,152R 信号処理部
FPフェイスパッド
Sストラップ
A アジャスタ

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ