図面 (/)

NEWこの技術のポテンシャルをビッグデータで簡単査定!

特許:約8,000万件, クラウドファンディング:約100万年件, 科研費・グラントデータ:約500万件, 発明者・研究者情報:約600万人

この項目の情報は公開日時点(2014年10月6日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (12)

課題

虚像表示環境に関する種々の条件を考慮して外景に付加提示用の情報を融像させることで、使用者に違和感を与えづらい拡張現実感を提供する。

解決手段

使用者が虚像と外景を視認可能な頭部装着型表示装置において、外景を拡張するための付加提示用の情報を表す右眼用画像データーと左眼用画像データーとを生成する拡張現実処理部と、両画像データーを用いて使用者の左右の眼に異なる虚像を視認させる画像表示部と、左右同一の画像データーに基づいて表示された虚像の第1の輻輳角と、左右にずらした画像データーに基づいて表示された虚像の第2の輻輳角との差分を記憶する画素視差角記憶部とを備え、拡張現実処理部は、画素視差角記憶部に記憶されている差分を用いて、外景に付加提示用の情報を融像させるための右眼用画像データーと左眼用画像データーとを生成する。

概要

背景

観察者の頭部に装着されて用いられることによって、観察者の視野領域虚像を形成する頭部装着型表示装置が知られている。この頭部装着型表示装置は、ヘッドマウントディスプレイ(HMD:Head Mounted Display)とも呼ばれ、頭部装着型表示装置を装着した状態において使用者視界遮断される非透過型の頭部装着型表示装置と、頭部装着型表示装置を装着した状態で使用者の視界が遮断されない透過型の頭部装着型表示装置とがある。

一方、現実環境コンピューターを用いて情報を付加提示する拡張現実感(AR、Augmented Reality)と呼ばれる技術が知られている。拡張現実感を実現する方法として、画像認識による方法と、パススルー方式に基づく方法と、が知られている。画像認識による方法の場合、例えばWEBカメラ等で撮像された外景の画像を画像認識することで付加提示用の情報が生成される。パススルー方式に基づく方法の場合、例えばGPS等で取得された現在位置情報と、例えば電子コンパス等で取得された方位情報とを用いて付加提示用の情報が生成される。非透過型の頭部装着型表示装置では、外景の画像と、上記のようにして生成された付加提示用の情報とを重畳させた画像が、液晶ディスプレイに表示される。これにより、使用者は拡張現実感を体感することができる。透過型の頭部装着型表示装置では、上記のようにして生成された付加提示用の情報のみが液晶ディスプレイに表示される。使用者は、液晶ディスプレイを介して虚像として表示された付加提示用の情報と、目前のレンズを透過して見える実際の外景との両方を視認することで、拡張現実感を体感することができる。このため、光学透過型の頭部装着型表示装置において使用者に違和感を与えづらい拡張現実感を提供するためには、使用者が実際に目にする外景に対して、虚像として表示される付加提示用の情報を融像させる必要がある。

特許文献1には、外景に付加提示用の情報を融像させるために、使用者から外景に含まれる実オブジェクトまでの距離と、付加提示用の情報である仮想オブジェクトまでの距離とを、略同じ距離とする技術が記載されている。特許文献1では、使用者と実オブジェクトとの間の距離Dを求め、距離Dから実オブジェクトの輻輳角θを決定し、実オブジェクトの輻輳角θ±40分となるような仮想オブジェクトの輻輳角演算して、演算した輻輳角を実現する右眼用画像データーと、左眼用の画像データーとを生成する。特許文献2には、外景に付加提示用の情報を融像させるために、仮想オブジェクトの輻輳角を調節可能とする技術が記載されている。特許文献3には、非透過型の頭部装着型表示装置において使用者に違和感を与えづらい拡張現実感を提供するために、外景画像を撮像するためのカメラを、予め測定した撮像パラメータに応じて調整する技術が記載されている。

概要

虚像の表示環境に関する種々の条件を考慮して外景に付加提示用の情報を融像させることで、使用者に違和感を与えづらい拡張現実感を提供する。使用者が虚像と外景を視認可能な頭部装着型表示装置において、外景を拡張するための付加提示用の情報を表す右眼用画像データーと左眼用画像データーとを生成する拡張現実処理部と、両画像データーを用いて使用者の左右の眼に異なる虚像を視認させる画像表示部と、左右同一の画像データーに基づいて表示された虚像の第1の輻輳角と、左右にずらした画像データーに基づいて表示された虚像の第2の輻輳角との差分を記憶する画素視差角記憶部とを備え、拡張現実処理部は、画素視差角記憶部に記憶されている差分を用いて、外景に付加提示用の情報を融像させるための右眼用画像データーと左眼用画像データーとを生成する。

目的

このため、光学透過型の頭部装着型表示装置において使用者に違和感を与えづらい拡張現実感を提供する

効果

実績

技術文献被引用数
3件
牽制数
3件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

使用者虚像外景視認可能な頭部装着型表示装置であって、前記外景を拡張するための付加提示用の情報を表す画像データーであって、右眼用右眼用画像データーと、左眼用左眼用画像データーとを生成する拡張現実処理部と、前記右眼用画像データーと、前記左眼用画像データーとを用いて、前記使用者の左右の眼に異なる前記虚像を視認させる画像表示部と、同一の前記右眼用画像データーと前記左眼用画像データーとに基づいて表示された前記虚像の第1の輻輳角と、左右にずらした前記右眼用画像データーと前記左眼用画像データーとに基づいて表示された前記虚像の第2の輻輳角と、の差分を記憶する画素視差角記憶部と、を備え、前記拡張現実処理部は、前記画素視差角記憶部に記憶されている前記差分を用いて、前記外景に前記付加提示用の情報を融像させるための前記右眼用画像データーと前記左眼用画像データーとを生成する、頭部装着型表示装置。

請求項2

請求項1記載の頭部装着型表示装置であって、前記拡張現実処理部は、前記使用者に前記付加提示用の情報を視認させる目標距離を決定し、決定した前記目標距離から、前記目標距離における輻輳角である目標輻輳角を算出し、算出した前記目標輻輳角と前記第1の輻輳角とを用いて、前記目標距離における視差角である目標視差角を算出し、前記目標視差角と、前記画素視差角記憶部に記憶されている前記差分とを用いて、前記付加提示用の情報を表す単一の画像データーから、前記右眼用画像データーと前記左眼用画像データーとを生成する、頭部装着型表示装置。

請求項3

請求項1記載の頭部装着型表示装置であって、前記拡張現実処理部は、前記使用者に前記付加提示用の情報を視認させる目標距離を決定し、決定した前記目標距離に基づいて、3Dモデル空間上に2D投影画像を取得するための2箇所の仮想カメラを設定し、決定した前記目標距離から、前記目標距離における輻輳角である目標輻輳角を算出し、算出した前記目標輻輳角と前記第1の輻輳角とを用いて、前記目標距離における視差角である目標視差角を算出し、前記目標視差角と、前記画素視差角記憶部に記憶されている前記差分とを用いて、一方の前記仮想カメラによる2D投影画像をスケーリングして前記右眼用画像データーを生成し、他方の前記仮想カメラによる2D投影画像をスケーリングして前記左眼用画像データーを生成する、頭部装着型表示装置。

請求項4

請求項3記載の頭部装着型表示装置であって、さらに、前記使用者の眼間距離を記憶する眼間距離記憶部を備え、前記拡張現実処理部は、前記2箇所の仮想カメラを設定する際、前記決定した目標距離に基づいて、3Dモデル空間上に仮想的な視点である仮想視点を配置し、配置された前記仮想視点から眼間距離/2離れた位置に一方の仮想カメラを配置し、配置された前記仮想視点から眼間距離/2離れた位置に他方の仮想カメラを配置する、頭部装着型表示装置。

請求項5

請求項4記載の頭部装着型表示装置であって、さらに、前記使用者の瞳孔間距離を測定する瞳孔間距離測定部を備え、前記瞳孔間距離測定部による測定結果は、前記眼間距離として前記眼間距離記憶部に記憶される、頭部装着型表示装置。

請求項6

使用者が虚像と外景を視認可能な頭部装着型表示装置の制御方法であって、(a)前記外景を拡張するための付加提示用の情報を表す画像データーであって、右眼用の右眼用画像データーと、左眼用の左眼用画像データーとを生成する工程と、(b)前記右眼用画像データーと、前記左眼用画像データーとを用いて、前記使用者の左右の眼に異なる前記虚像を視認させる工程と、(c)同一の前記右眼用画像データーと前記左眼用画像データーとに基づいて表示された前記虚像の第1の輻輳角と、左右にずらした前記右眼用画像データーと前記左眼用画像データーとに基づいて表示された前記虚像の第2の輻輳角と、の差分を記憶する工程と、を備え、前記工程(a)は、前記工程(c)によって記憶されている前記差分を用いて、前記外景に前記付加提示用の情報を融像させるための前記右眼用画像データーと前記左眼用画像データーとを生成する、頭部装着型表示装置の制御方法。

技術分野

0001

本発明は、頭部装着型表示装置に関する。

背景技術

0002

観察者の頭部に装着されて用いられることによって、観察者の視野領域虚像を形成する頭部装着型表示装置が知られている。この頭部装着型表示装置は、ヘッドマウントディスプレイ(HMD:Head Mounted Display)とも呼ばれ、頭部装着型表示装置を装着した状態において使用者視界遮断される非透過型の頭部装着型表示装置と、頭部装着型表示装置を装着した状態で使用者の視界が遮断されない透過型の頭部装着型表示装置とがある。

0003

一方、現実環境コンピューターを用いて情報を付加提示する拡張現実感(AR、Augmented Reality)と呼ばれる技術が知られている。拡張現実感を実現する方法として、画像認識による方法と、パススルー方式に基づく方法と、が知られている。画像認識による方法の場合、例えばWEBカメラ等で撮像された外景の画像を画像認識することで付加提示用の情報が生成される。パススルー方式に基づく方法の場合、例えばGPS等で取得された現在位置情報と、例えば電子コンパス等で取得された方位情報とを用いて付加提示用の情報が生成される。非透過型の頭部装着型表示装置では、外景の画像と、上記のようにして生成された付加提示用の情報とを重畳させた画像が、液晶ディスプレイに表示される。これにより、使用者は拡張現実感を体感することができる。透過型の頭部装着型表示装置では、上記のようにして生成された付加提示用の情報のみが液晶ディスプレイに表示される。使用者は、液晶ディスプレイを介して虚像として表示された付加提示用の情報と、目前のレンズを透過して見える実際の外景との両方を視認することで、拡張現実感を体感することができる。このため、光学透過型の頭部装着型表示装置において使用者に違和感を与えづらい拡張現実感を提供するためには、使用者が実際に目にする外景に対して、虚像として表示される付加提示用の情報を融像させる必要がある。

0004

特許文献1には、外景に付加提示用の情報を融像させるために、使用者から外景に含まれる実オブジェクトまでの距離と、付加提示用の情報である仮想オブジェクトまでの距離とを、略同じ距離とする技術が記載されている。特許文献1では、使用者と実オブジェクトとの間の距離Dを求め、距離Dから実オブジェクトの輻輳角θを決定し、実オブジェクトの輻輳角θ±40分となるような仮想オブジェクトの輻輳角演算して、演算した輻輳角を実現する右眼用画像データーと、左眼用の画像データーとを生成する。特許文献2には、外景に付加提示用の情報を融像させるために、仮想オブジェクトの輻輳角を調節可能とする技術が記載されている。特許文献3には、非透過型の頭部装着型表示装置において使用者に違和感を与えづらい拡張現実感を提供するために、外景画像を撮像するためのカメラを、予め測定した撮像パラメータに応じて調整する技術が記載されている。

先行技術

0005

特許第3717653号公報
特開平5−328408号公報
特開2008−227865号公報

発明が解決しようとする課題

0006

頭部装着型表示装置において、狙った輻輳角で仮想オブジェクトの虚像を表示させるためには、例えば、液晶ディスプレイの大きさ、使用者の左右の眼前に表示される虚像間の距離、使用者の眼間距離、といった虚像の表示環境に関する種々の条件を考慮することが必要である。しかし、特許文献1および特許文献2に記載の技術では、この点について十分な考慮がなされていないという問題があった。また、特許文献3に記載の技術では、光学透過型の頭部装着型表示装置を対象としていない。

0007

このため、虚像の表示環境に関する種々の条件を考慮して外景に付加提示用の情報を融像させることで、使用者に違和感を与えづらい拡張現実感を提供可能な光学透過型の頭部装着型表示装置が望まれていた。

課題を解決するための手段

0008

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。

0009

(1)本発明の一形態によれば、使用者が虚像と外景を視認可能な頭部装着型表示装置が提供される。この頭部装着型表示装置は;前記外景を拡張するための付加提示用の情報を表す画像データーであって、右眼用の右眼用画像データーと、左眼用の左眼用画像データーとを生成する拡張現実処理部と;前記右眼用画像データーと、前記左眼用画像データーとを用いて、前記使用者の左右の眼に異なる前記虚像を視認させる画像表示部と;同一の前記右眼用画像データーと前記左眼用画像データーとに基づいて表示された前記虚像の第1の輻輳角と、左右にずらした前記右眼用画像データーと前記左眼用画像データーとに基づいて表示された前記虚像の第2の輻輳角と、の差分を記憶する画素視差角記憶部と、を備え;前記拡張現実処理部は、前記画素視差角記憶部に記憶されている前記差分を用いて、前記外景に前記付加提示用の情報を融像させるための前記右眼用画像データーと前記左眼用画像データーとを生成する。この形態の頭部装着型表示装置によれば、画素視差角記憶部に記憶されている差分は、同一の右眼用画像データーと左眼用画像データーとに基づいて表示された虚像の第1の輻輳角と、左右にずらした右眼用画像データーと左眼用画像データーとに基づいて表示された虚像の第2の輻輳角との差分である。このため、画素視差角記憶部に記憶されている差分は、左右にずれた画像データーによって実現される視差角であって、虚像の表示環境に関する種々の条件を考慮して定められた視差角であると言える。従って、拡張現実処理部は、画素視差角記憶部に記憶されている差分を用いて、虚像の表示環境に関する種々の条件を考慮して、外景に付加提示用の情報を融像させるための右眼用画像データーと左眼用画像データーとを生成することができる。このように、拡張現実処理部は、画像データーの生成の際、虚像の表示環境に関する種々の条件を考慮して外景に付加提示用の情報を融像させるため、使用者に違和感を与えづらい拡張現実感を提供可能な頭部装着型表示装置を実現することができる。

0010

(2)上記形態の頭部装着型表示装置において;前記拡張現実処理部は;前記使用者に前記付加提示用の情報を視認させる目標距離を決定し;決定した前記目標距離から、前記目標距離における輻輳角である目標輻輳角を算出し;算出した前記目標輻輳角と前記第1の輻輳角とを用いて、前記目標距離における視差角である目標視差角を算出し;前記目標視差角と、前記画素視差角記憶部に記憶されている前記差分とを用いて、前記付加提示用の情報を表す単一の画像データーから、前記右眼用画像データーと前記左眼用画像データーとを生成してもよい。この形態の頭部装着型表示装置によれば、拡張現実処理部は、使用者に付加提示用の情報を視認させる目標距離を決定し、決定した目標距離から目標距離における輻輳角である目標輻輳角を算出し、算出した目標輻輳角と第1の輻輳角とを用いて、目標距離における視差角である目標視差角を算出する。拡張現実処理部は、このようにして算出した目標視差角と、画素視差角記憶部に記憶されている差分とを用いることで、付加提示用の情報を表す単一の画像データーから、異なる右眼用画像データーと左眼用画像データーとを生成することができる。

0011

(3)上記形態の頭部装着型表示装置において;前記拡張現実処理部は;前記使用者に前記付加提示用の情報を視認させる目標距離を決定し;決定した前記目標距離に基づいて、3Dモデル空間上に2D投影画像を取得するための2箇所の仮想カメラを設定し;決定した前記目標距離から、前記目標距離における輻輳角である目標輻輳角を算出し;算出した前記目標輻輳角と前記第1の輻輳角とを用いて、前記目標距離における視差角である目標視差角を算出し;前記目標視差角と、前記画素視差角記憶部に記憶されている前記差分とを用いて、一方の前記仮想カメラによる2D投影画像をスケーリングして前記右眼用画像データーを生成し、他方の前記仮想カメラによる2D投影画像をスケーリングして前記左眼用画像データーを生成してもよい。この形態の頭部装着型表示装置によれば、拡張現実処理部は、使用者に付加提示用の情報を視認させる目標距離を決定し、決定した目標距離から目標距離における輻輳角である目標輻輳角を算出し、算出した目標輻輳角と第1の輻輳角とを用いて、目標距離における視差角である目標視差角を算出する。拡張現実処理部は、このようにして算出した目標視差角と、画素視差角記憶部に記憶されている差分とを用いることで、2箇所の仮想カメラによる2D投影画像をそれぞれスケーリングして、右眼用画像データーと左眼用画像データーとを生成することができる。

0012

(4)上記形態の頭部装着型表示装置では、さらに;前記使用者の眼間距離を記憶する眼間距離記憶部を備え;前記拡張現実処理部は、前記2箇所の仮想カメラを設定する際、前記決定した目標距離に基づいて、3Dモデル空間上に仮想的な視点である仮想視点を配置し、配置された前記仮想視点から眼間距離/2離れた位置に一方の仮想カメラを配置し、配置された前記仮想視点から眼間距離/2離れた位置に他方の仮想カメラを配置してもよい。この形態の頭部装着型表示装置によれば、拡張現実処理部は、3Dモデル空間上に仮想カメラを設定する際、まず、使用者に付加提示用の情報を視認させる目標距離に基づいて仮想視点を配置する。そして、拡張現実処理部は、配置された仮想視点から眼間距離/2離れた位置に一方の仮想カメラを配置し、配置された仮想視点から眼間距離/2離れた位置に他方の仮想カメラを配置する。この結果、仮想カメラは、使用者に付加提示用の情報を視認させる目標距離と、使用者の眼間距離との両方を考慮した2D投影画像を取得することができる。

0013

(5)上記形態の頭部装着型表示装置では、さらに;前記使用者の瞳孔間距離を測定する瞳孔間距離測定部を備え;前記瞳孔間距離測定部による測定結果は、前記眼間距離として前記眼間距離記憶部に記憶されてもよい。この形態の頭部装着型表示装置によれば、使用者ごとにそれぞれ瞳孔間距離を測定して眼間距離記憶部を更新するため、使用者に応じた瞳孔間距離を、眼間距離記憶部に記憶させることができる。

0014

上述した本発明の各形態の有する複数の構成要素は全てが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな構成要素との差し替え、限定内容の一部削除を行うことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。

0015

例えば、本発明の一形態は、拡張現実処理部と、画像表示部と、画素視差角記憶部と、の3つの要素のうちの一部または全部の要素を備えた装置として実現可能である。すなわち、この装置は、拡張現実処理部を有していてもよく、有していなくてもよい。また、この装置は、画像表示部を有していてもよく、有していなくてもよい。また、この装置は、画素視差角記憶部を有していてもよく、有していなくてもよい。こうした装置は、例えば頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置としても実現可能である。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。

0016

なお、本発明は、種々の態様で実現することが可能であり、例えば、頭部装着型表示装置および頭部装着型表示装置の制御方法頭部装着型表示システム、これらの方法、装置またはシステムの機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体等の形態で実現することができる。

図面の簡単な説明

0017

本発明の一実施形態における頭部装着型表示装置の概略構成を示す説明図である。
ヘッドマウントディスプレイの構成を機能的に示すブロック図である。
使用者に視認される虚像の一例を示す説明図である。
拡張現実処理の手順を説明するための説明図である。
眼間距離と画素視差角について説明するための説明図である。
AR処理部が、画像データーから、右眼用画像データーと左眼用画像データーとを生成する様子を示す説明図である。
第2実施例における拡張現実処理の手順を表すフローチャートである。
第2実施例における拡張現実処理の詳細を説明するための説明図である。
AR処理部が、仮想視点に配置された仮想カメラの2D投影画像を用いて、投影により得られた画像をスケーリングする様子を示す説明図である。
第3実施例における拡張現実処理の手順を表すフローチャートである。
変形例におけるヘッドマウントディスプレイの外観の構成を示す説明図である。

実施例

0018

A.実施形態:
A−1.頭部装着型表示装置の構成:
図1は、本発明の一実施形態における頭部装着型表示装置の概略構成を示す説明図である。頭部装着型表示装置100は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ(Head Mounted Display、HMD)とも呼ばれる。本実施形態のヘッドマウントディスプレイ100は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。

0019

ヘッドマウントディスプレイ100は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部20と、画像表示部20を制御する制御部(コントローラー)10とを備えている。

0020

画像表示部20は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部20は、右保持部21と、右表示駆動部22と、左保持部23と、左表示駆動部24と、右光学像表示部26と、左光学像表示部28と、カメラ61と、を含んでいる。右光学像表示部26および左光学像表示部28は、それぞれ、使用者が画像表示部20を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部26の一端と左光学像表示部28の一端とは、使用者が画像表示部20を装着した際の使用者の眉間に対応する位置で、互いに接続されている。

0021

右保持部21は、右光学像表示部26の他端である端部ERから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部23は、左光学像表示部28の他端である端部ELから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部21および左保持部23は、眼鏡テンプル(つる)のようにして、使用者の頭部に画像表示部20を保持する。

0022

右表示駆動部22は、右保持部21の内側、換言すれば、使用者が画像表示部20を装着した際の使用者の頭部に対向する側に配置されている。また、左表示駆動部24は、左保持部23の内側に配置されている。なお、以降では、右保持部21および左保持部23を総称して単に「保持部」とも呼び、右表示駆動部22および左表示駆動部24を総称して単に「表示駆動部」とも呼び、右光学像表示部26および左光学像表示部28を総称して単に「光学像表示部」とも呼ぶ。

0023

表示駆動部は、液晶ディスプレイ(Liquid Crystal Display、以下「LCD」と呼ぶ)241、242や投写光学系251、252等を含む(図2参照)。表示駆動部の構成の詳細は後述する。光学部材としての光学像表示部は、導光板261、262(図2参照)と調光板とを含んでいる。導光板261,262は、光透過性樹脂材料等によって形成され、表示駆動部から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、画像表示部20の表側(使用者の眼の側とは反対の側)を覆うように配置されている。調光板は、導光板261、262を保護し、導光板261、262の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整することができる。なお、調光板は省略可能である。

0024

カメラ61は、使用者が画像表示部20を装着した際の使用者の眉間に対応する位置に配置されている。カメラ61は、画像表示部20の表側方向、換言すれば、ヘッドマウントディスプレイ100を装着した状態における使用者の視界方向の外景(外部の景色)を撮像し、外景画像を取得する。カメラ61はいわゆる可視光カメラであり、カメラ61により取得される外景画像は、物体から放射される可視光から物体の形状を表す画像である。本実施形態におけるカメラ61は単眼カメラであるが、ステレオカメラとしてもよい。

0025

画像表示部20は、さらに、画像表示部20を制御部10に接続するための接続部40を有している。接続部40は、制御部10に接続される本体コード48と、本体コード48が2本に分岐した右コード42および左コード44と、分岐点に設けられた連結部材46と、を含んでいる。右コード42は、右保持部21の延伸方向の先端部APから右保持部21の筐体内に挿入され、右表示駆動部22に接続されている。同様に、左コード44は、左保持部23の延伸方向の先端部APから左保持部23の筐体内に挿入され、左表示駆動部24に接続されている。連結部材46には、イヤホンプラグ30を接続するためのジャックが設けられている。イヤホンプラグ30からは、右イヤホン32および左イヤホン34が延伸している。

0026

画像表示部20と制御部10とは、接続部40を介して各種信号伝送を行う。本体コード48における連結部材46とは反対側の端部と、制御部10とのそれぞれには、互いに嵌合するコネクター(図示省略)が設けられており、本体コード48のコネクターと制御部10のコネクターとの嵌合/嵌合解除により、制御部10と画像表示部20とが接続されたり切り離されたりする。右コード42と、左コード44と、本体コード48には、例えば、金属ケーブル光ファイバーを採用することができる。

0027

制御部10は、ヘッドマウントディスプレイ100を制御するための装置である。制御部10は、点灯部12と、タッチパッド14と、十字キー16と、電源スイッチ18とを含んでいる。点灯部12は、ヘッドマウントディスプレイ100の動作状態(例えば、電源のON/OFF等)を、その発光態様によって通知する。点灯部12としては、例えば、LED(Light Emitting Diode)を用いることができる。タッチパッド14は、タッチパッド14の操作面上での接触操作を検出して、検出内容に応じた信号を出力する。タッチパッド14としては、静電式圧力検出式、光学式といった種々のタッチパッドを採用することができる。十字キー16は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ18は、スイッチのスライド操作を検出することで、ヘッドマウントディスプレイ100の電源の状態を切り替える。

0028

図2は、ヘッドマウントディスプレイ100の構成を機能的に示すブロック図である。制御部10は、入力情報取得部110と、記憶部120と、電源130と、無線通信部132と、GPSモジュール134と、CPU140と、インターフェイス180と、送信部(Tx)51および52とを備え、各部は図示しないバスにより相互に接続されている。

0029

入力情報取得部110は、例えば、タッチパッド14や十字キー16、電源スイッチ18などに対する操作入力に応じた信号を取得する。記憶部120は、ROM、RAM、DRAMハードディスク等によって構成されている。記憶部120は、眼間距離122と、画素視差角124とを含んでいる。詳細は後述する。電源130は、ヘッドマウントディスプレイ100の各部に電力を供給する。電源130としては、例えば二次電池を用いることができる。無線通信部132は、無線LANブルートゥースといった所定の無線通信規格に則って、他の機器との間で無線通信を行う。GPSモジュール134は、GPS衛生からの信号を受信することにより、自身の現在位置を検出する。

0030

CPU140は、記憶部120に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム(ОS)150、画像処理部160、音声処理部170、表示制御部190、AR処理部142として機能する。AR処理部142は、OS150や、特定のアプリケーションからの処理開始要求トリガーとして、拡張現実感を実現させるための処理(以降、「拡張現実処理」とも呼ぶ。)を実行する。詳細は後述する。なお、AR処理部142は、特許請求の範囲における「拡張現実処理部」に相当する。

0031

画像処理部160は、インターフェイス180や無線通信部132を介して入力されるコンテンツ映像)に基づいて信号を生成する。そして、画像処理部160は、生成した信号を、接続部40を介して画像表示部20に供給する。画像表示部20に供給するための信号は、アナログ形式ディジタル形式の場合で異なる。アナログ形式の場合、画像処理部160は、クロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、画像データーDataとを生成・送信する。具体的には、画像処理部160は、コンテンツに含まれる画像信号を取得する。取得した画像信号は、例えば動画像の場合、一般的に1秒あたり30枚のフレーム画像から構成されているアナログ信号である。画像処理部160は、取得した画像信号から、垂直同期信号VSyncや水平同期信号HSync等の同期信号を分離し、それらの周期に応じて、PLL回路等によりクロック信号PCLKを生成する。画像処理部160は、同期信号が分離されたアナログ画像信号を、A/D変換回路等を用いてディジタル画像信号に変換する。画像処理部160は、変換後のディジタル画像信号を、RGBデーターの画像データーDataとして、1フレームごとに記憶部120内のDRAMに格納する。一方、ディジタル形式の場合、画像処理部160は、クロック信号PCLKと、画像データーDataとを生成・送信する。具体的には、コンテンツがディジタル形式の場合、クロック信号PCLKが画像信号に同期して出力されるため、垂直同期信号VSyncおよび水平同期信号HSyncの生成と、アナログ画像信号のA/D変換とが不要となる。なお、画像処理部160は、記憶部120に格納された画像データーDataに対して、解像度変換処理や、輝度彩度の調整といった種々の色調補正処理や、キーストーン補正処理等の画像処理を実行してもよい。

0032

画像処理部160は、生成されたクロック信号PCLK、垂直同期信号VSync、水平同期信号HSyncと、記憶部120内のDRAMに格納された画像データーDataとを、送信部51、52を介してそれぞれ送信する。なお、送信部51を介して送信される画像データーDataを「右眼用画像データーData1」とも呼び、送信部52を介して送信される画像データーDataを「左眼用画像データーData2」とも呼ぶ。送信部51、52は、制御部10と画像表示部20との間におけるシリアル伝送のためのトランシーバーとして機能する。

0033

表示制御部190は、右表示駆動部22および左表示駆動部24を制御する制御信号を生成する。具体的には、表示制御部190は、制御信号により、右LCD制御部211による右LCD241の駆動ON/OFFや、右バックライト制御部201による右バックライト221の駆動ON/OFF、左LCD制御部212による左LCD242の駆動ON/OFFや、左バックライト制御部202による左バックライト222の駆動ON/OFFなどを個別に制御することにより、右表示駆動部22および左表示駆動部24のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部190は、右表示駆動部22および左表示駆動部24の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。また、表示制御部190は、右LCD制御部211と左LCD制御部212とに対する制御信号を、送信部51および52を介してそれぞれ送信する。また、表示制御部190は、右バックライト制御部201と左バックライト制御部202とに対する制御信号を、それぞれ送信する。

0034

音声処理部170は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材46に接続された右イヤホン32内の図示しないスピーカーおよび左イヤホン34内の図示しないスピーカーに対して供給する。なお、例えば、Dolby(登録商標)システムを採用した場合、音声信号に対する処理がなされ、右イヤホン32および左イヤホン34からは、それぞれ、例えば周波数等が変えられた異なる音が出力される。

0035

インターフェイス180は、制御部10に対して、コンテンツの供給元となる種々の外部機器OAを接続するためのインターフェイスである。外部機器ОAとしては、例えば、パーソナルコンピューターPCや携帯電話端末ゲーム端末等がある。インターフェイス180としては、例えば、USBインターフェイスや、マイクロUSBインターフェイス、メモリーカード用インターフェイス等を用いることができる。

0036

画像表示部20は、右表示駆動部22と、左表示駆動部24と、右光学像表示部26としての右導光板261と、左光学像表示部28としての左導光板262と、カメラ61と、9軸センサー66とを備えている。

0037

9軸センサー66は、加速度(3軸)、角速度(3軸)、地磁気(3軸)を検出するモーションセンサーである。9軸センサー66は、画像表示部20に設けられているため、画像表示部20が使用者の頭部に装着されているときには、使用者の頭部の動きを検出する動き検出部として機能する。ここで、頭部の動きとは、頭部の速度・加速度・角速度・向き・向きの変化を含む。

0038

右表示駆動部22は、受信部(Rx)53と、光源として機能する右バックライト(BL)制御部201および右バックライト(BL)221と、表示素子として機能する右LCD制御部211および右LCD241と、右投写光学系251とを含んでいる。なお、右バックライト制御部201と、右LCD制御部211と、右バックライト221と、右LCD241とを総称して「画像光生成部」とも呼ぶ。

0039

受信部53は、制御部10と画像表示部20との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部201は、入力された制御信号に基づいて、右バックライト221を駆動する。右バックライト221は、例えば、LEDやエレクトロルミネセンス(EL)等の発光体である。右LCD制御部211は、受信部53を介して入力されたクロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、右眼用画像データーData1とに基づいて、右LCD241を駆動する。右LCD241は、複数の画素をマトリクス状に配置した透過型液晶パネルである。右LCD241は、マトリクス状に配置された各画素位置液晶を駆動することによって、右LCD241を透過する光の透過率を変化させることにより、右バックライト221から照射される照明光を、画像を表す有効な画像光へと変調する。なお、本実施形態ではバックライト方式を採用することとしたが、フロントライト方式や、反射方式を用いて画像光を射出してもよい。

0040

右投写光学系251は、右LCD241から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部26としての右導光板261は、右投写光学系251から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼REに導く。光学像表示部は、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。

0041

左表示駆動部24は、右表示駆動部22と同様の構成を有している。すなわち、左表示駆動部24は、受信部(Rx)54と、光源として機能する左バックライト(BL)制御部202および左バックライト(BL)222と、表示素子として機能する左LCD制御部212および左LCD242と、左投写光学系252とを含んでいる。

0042

図3は、使用者に視認される虚像の一例を示す説明図である。図3(A)は、通常の表示処理中の使用者の視野VRを例示している。上述のようにして、ヘッドマウントディスプレイ100の使用者の両眼に導かれた画像光が使用者の網膜結像することにより、使用者は虚像VIを視認する。図3(A)の例では、虚像VIは、ヘッドマウントディスプレイ100のOSの待ち受け画面である。また、使用者は、右光学像表示部26および左光学像表示部28を透過して外景SCを視認する。このように、本実施形態のヘッドマウントディスプレイ100の使用者は、視野VRのうち虚像VIが表示された部分については、虚像VIと、虚像VIの背後に外景SCとを見ることができる。また、視野VRのうち虚像VIが表示されていない部分については、光学像表示部を透過して、外景SCを直接見ることができる。

0043

図3(B)は、拡張現実処理中の使用者の視野VRを例示している。拡張現実処理において、ヘッドマウントディスプレイ100のAR処理部142は、使用者が知覚する外景SCを拡張するための付加提示用の情報を表す画像データーを生成する。なお、「外景SCを拡張する」とは、使用者が眼にする現実環境、すなわち外景SCに対して情報を付加、削除、強調、減衰させることを意味する。画像データー生成の際、AR処理部142は、外景SCに付加提示用の情報を融像させるために、異なる右眼用画像データーData1と左眼用画像データーData2とを生成する。「外景に付加提示用の情報を融像させる」とは、使用者が実際目にする外景SCのうちの、使用者から所定の距離(以降、「目標距離」とも呼ぶ)だけ離れた位置に対して、付加提示用の情報が存在するかのような感覚を使用者に対して与える虚像VIを表示することを意味する。図3(B)の例では、外景SCに含まれる現実の道の上に重なるように、リンゴを表す画像が虚像VIとして表示されている。これにより、使用者は、あたかも何もない道の上に、リンゴが落ちているような感覚を得ることができる。図3(B)の例では、使用者の位置と、使用者が「リンゴが落ちている」と感じる位置と、の間の距離が目標距離に相当する。なお、拡張現実処理において、AR処理部142が虚像VIとして表示させる付加提示用の情報を、仮想オブジェクトOBとも呼ぶ。図3(B)の例では、リンゴが仮想オブジェクトOBに相当する。

0044

A−2.拡張現実処理(第1実施例):
AR処理部142は、以下の手順a1〜a3によって拡張現実処理を実行する。
(a1)仮想オブジェクトを視認させる目標距離を決定する。
(a2)仮想オブジェクトを表す画像データーを生成する。
(a3)画像データーから右眼用画像データーData1と左眼用画像データーData2を生成する。

0045

図4は、拡張現実処理の手順を説明するための説明図である。画像処理部160が同一の右眼用画像データーData1と左眼用画像データーData2とを画像表示部20へ供給した場合、使用者は、使用者から初期結像距離Laだけ離れた位置CO1に物体を認識する。この際の輻輳角を「初期輻輳角θa」と呼ぶ。手順a1においてAR処理部142は、遠近感を持たせた仮想オブジェクトOBの表示を可能とするために、使用者に仮想オブジェクトOBを視認させる目標距離Lbを決定する。AR処理部142は、例えば、以下のいずれかの方法で、目標距離Lbを決定することができる。
・カメラ61によって取得された使用者の視界方向の外景画像を解析する。
・使用者の現在位置座標と頭の動きとを解析する。この場合、使用者の現在位置座標は、GPSモジュール134により検出された制御部10の位置情報により取得する。使用者の頭の動きは、9軸センサー66により検出された動き情報により取得する。

0046

手順a2においてAR処理部142は、仮想オブジェクトOBを表す画像データーを生成する。第1実施例の拡張現実処理では、AR処理部142は、記憶部120内に予め記憶されている複数の画像データーから、手順a1の解析結果に応じた画像データーを取得する。

0047

手順a3においてAR処理部142は、手順a2で生成した画像データーから、右眼用画像データーData1と左眼用画像データーData2を生成する。この際、AR処理部142は、記憶部120に記憶されている画素視差角124を用いる。

0048

図5は、眼間距離122と画素視差角124について説明するための説明図である。本実施形態では、眼間距離122は、光学像表示部26の中心と左光学像表示部28の中心との間の距離を、使用者の右眼REと左眼LEとの間の距離DLとみなしている。このため、眼間距離122には、ヘッドマウントディスプレイ100の設計値に基づいた、右光学像表示部26の中心と左光学像表示部28の中心との間の距離(例えば、65mm)が予め格納されている。なお、眼間距離122には、使用者の右眼REと左眼LEとの間の実際の距離DLが格納されていてもよい。詳細は拡張現実処理の第2実施例で説明する。また、眼間距離122は、使用者の好みに応じて調整可能としてもよい。眼間距離122は特許請求の範囲における「眼間距離記憶部」に相当する。

0049

画素視差角124は、左右に1画素(ピクセル)ずれた画像データーによって実現される視差角であり、θpix(°)で表される。画素視差角124は、具体的には、左右同一の画像データーに基づいて表示された虚像の輻輳角と、左右で1画素(ピクセル)ずらした画像データーに基づいて表示された虚像との輻輳角の差分である。θpixは以下のようにして求められ、画素視差角124に予め格納されている。
・同一の右眼用画像データーData1と左眼用画像データーData2とに基づいて右LCD241と左LCD242とが駆動された場合の初期輻輳角θaを測定する。
・1画素ずらした右眼用画像データーData1と左眼用画像データーData2とに基づいて右LCD241と左LCD242とが駆動された場合の輻輳角θcを測定する。
・初期輻輳角θaと輻輳角θcとの差分を求める(θc−θa)。なお、通常はθc>θaとなることが想定されるため、ここでは、輻輳角θcから初期輻輳角θaを減ずることとする。
・片眼あたりの輻輳角の差分とするため、初期輻輳角θaと輻輳角θcとの差分を2で除する。

0050

すなわち、θpix=(θc−θa)/2 と表すことができる。なお、初期輻輳角θaは特許請求の範囲における「第1の輻輳角」に相当し、輻輳角θcは特許請求の範囲における「第2の輻輳角」に相当し、画素視差角124は特許請求の範囲における「画素視差角記憶部」に相当する。

0051

図4戻り拡張現実処理の手順の説明を続ける。手順a1で決定した目標距離Lb(使用者に仮想オブジェクトOBを視認させる距離)と、その際の輻輳角θbと、眼間距離122(DL/2)は、三角関数を用いて以下の式1で表すことができる。このため、AR処理部142は、手順a1で決定した目標距離Lbと、眼間距離122とを式1に当てはめ、目標輻輳角θbを算出する。
tan(θb/2)=(DL/2)/Lb
tan(θb/2)=DL/(2×Lb)
θb/2=arctan{DL/(2×Lb)}
θb=2×arctan{DL/(2×Lb)} ・・・(1)

0052

AR処理部142は、求めた目標輻輳角θbと初期輻輳角θaとを用いて、目標距離Lb(使用者に仮想オブジェクトOBを視認させる距離)における視差角である目標視差角θxを算出する。具体的には、AR処理部142は、式2に初期輻輳角θaと目標輻輳角θbとの値を当てはめ、目標視差角θxを算出する。
θx=(θb−θa)/2 ・・・(2)
式2において、例えば、設定位置を無限遠にした場合、θxは、θx=−θa/2として表される。

0053

AR処理部142は、求めた目標視差角θxと、画素視差角124とを用いて、手順a2の画像データーを加工し、右眼用画像データーData1と左眼用画像データーData2とを生成する。具体的には、画素視差角124に格納されているθpixは、左右に1画素ずれた画像データーによって実現される視差角である。従って、目標視差角θxを実現するための右眼用画像データーData1を生成するためには、元となる画像データーを左方向へθx/θpix画素ずらせばよい。同様に、目標視差角θxを実現するための左眼用画像データーData2を生成するためには、元となる画像データーを右方向へθx/θpix画素ずらせばよい。

0054

図6は、上述のようにして、AR処理部142が、画像データーDTから、右眼用画像データーData1と左眼用画像データーData2とを生成する様子を示している。

0055

AR処理部142は、上記のようにして生成した右眼用画像データーData1と左眼用画像データーData2とを、画像処理部160へ送信する。画像処理部160は、受信した右眼用画像データーData1を、送信部51を介して画像表示部20へ送信する。同様に、受信した左眼用画像データーData2を、送信部52を介して画像表示部20へ送信する。その後、図2で説明した表示処理を実行する。図3(B)に示すように、ヘッドマウントディスプレイ100の使用者は、視野VRに、立体的な仮想オブジェクトOBを視認することができる。

0056

なお、視力1.0である場合の人間の分解能はarctan(1.5mm/5000mm)で表すことができ、約0.017°となる。従って、右眼用画像データーData1および左眼用画像データーData2により表示される虚像VIと、外景SCとの誤差を0.017°以下に設計すれば、外景SCにあわせた実寸サイズの虚像VIの表示が可能となる。

0057

以上のように、第1実施例の拡張現実処理によれば、拡張現実処理部(AR処理部142)は、画像データー(右眼用画像データーData1および左眼用画像データーData2)の生成の際、虚像VIの表示環境に関する種々の条件(右LCD241および左LCD242の大きさ、使用者の左右の眼前に表示される虚像VI間の距離)を考慮して外景SCに付加提示用の情報(仮想オブジェクトOB)を融像させるため、使用者に違和感を与えづらい拡張現実感を提供可能な頭部装着型表示装置(ヘッドマウントディスプレイ100)を実現することができる。具体的には、画素視差角記憶部(画素視差角124)に記憶されている差分(θpix)は、同一の右眼用画像データーData1と左眼用画像データーData2とに基づいて表示された虚像VIの第1の輻輳角θa(初期輻輳角θa)と、左右に1画素ずらした右眼用画像データーData1と左眼用画像データーData2とに基づいて表示された虚像の第2の輻輳角θcとの差分である。このため、画素視差角記憶部(画素視差角124)に記憶されている差分(θpix)は、左右に1画素ずれた画像データーによって実現される視差角であって、虚像VIの表示環境に関する種々の条件、すなわち、右LCD241および左LCD242の大きさや使用者の左右の眼前に表示される虚像VI間の距離といった条件を考慮して定められた視差角であると言える。従って、拡張現実処理部(AR処理部142)は、画素視差角記憶部(画素視差角124)に記憶されている画素視差角記憶部(画素視差角124)を用いて、虚像VIの表示環境に関する種々の条件を考慮して、外景SCに付加提示用の情報(仮想オブジェクトOB)を融像させるための右眼用画像データーData1と左眼用画像データーData2とを生成することができる。

0058

さらに、第1実施例の拡張現実処理によれば、拡張現実処理部(AR処理部142)は、使用者に付加提示用の情報(仮想オブジェクトOB)を視認させる目標距離Lbを決定し、決定した目標距離Lbから目標距離Lbにおける輻輳角である目標輻輳角θbを算出し、算出した目標輻輳角θbと第1の輻輳角θa(初期輻輳角θa)とを用いて、目標距離Lbにおける視差角である目標視差角θxを算出する。拡張現実処理部(AR処理部142)は、このようにして算出した目標視差角θxと、画素視差角記憶部(画素視差角124)に記憶されている差分(θpix)とを用いることで、付加提示用の情報(仮想オブジェクトOB)を表す単一の画像データーDT(図6)から、異なる右眼用画像データーData1と左眼用画像データーData2とを生成することができる。

0059

A−3.拡張現実処理(第2実施例):
第2実施例の拡張現実処理では、AR処理部142は、3D(Three Dimensions)モデル空間内の仮想的な立体物から使用者の動きに応じた仮想オブジェクトを表す画像データーを生成し、生成した画像データーから右眼用画像データーData1と左眼用画像データーData2を生成する。第1実施例の拡張現実処理との相違は、手順a2、a3に代えて、図7の手順を実行する点である。なお、手順a1は第1実施例と同様であるため、説明を省略する。

0060

図7は、第2実施例における拡張現実処理の手順を表すフローチャートである。AR処理部142は、眼間距離122の初期設定を行う(ステップS102)。具体的には、AR処理部142は、使用者の瞳孔間距離を測定し、測定した距離を眼間距離122に記憶させる。瞳孔間距離とは、使用者の右眼REの虹彩の中心と使用者の左眼LEの虹彩の中心との間の距離である。本実施例の場合、ヘッドマウントディスプレイ100は、瞳孔間距離を測定するための瞳孔間距離測定部をさらに備える。瞳孔間距離測定部は、例えば、画像表示部20の内面に配置されて使用者の右眼REおよび左眼LEの画像を撮影するカメラと、撮影された画像を解析して左右の眼の虹彩の中心間の距離を計算する処理部とを含む。このように、ステップS102によれば、使用者に応じた瞳孔間距離を、眼間距離122に記憶させることができる。

0061

図8は、第2実施例における拡張現実処理の詳細を説明するための説明図である。図7のステップS104において、AR処理部142は、3Dモデル空間上の所定位置に仮想視点を設定する。具体的には、AR処理部142は、3Dモデル空間上の仮想オブジェクトOB1から手順a1で求めた距離Lb離れた位置に、仮想視点IVを設定する(図8)。仮想視点IVは、使用者のこめかみに相当する位置であり、仮想視点IVの向き(視点方向VD)は、仮想オブジェクトOB1方向を向いている。なお、仮想視点IVの位置は、3Dモデル空間の原点座標に対する移動量(x,y,z)によって定義される。視点方向VDは、仮想視点IVに対する角度(θx,θy,θz)によって定義される。なお、(θx,θy,θz)は、(ロール角ピッチ角ヨー角)=(φ,θ,ψ)とも表される。仮想視点IVを設定後、AR処理部142は、ステップS110〜S116の処理と、ステップS120〜S126の処理とを並行して実行する。

0062

仮想視点IVを設定後、AR処理部142は、仮想視点IVの位置および向きに基づいて、左眼相当の位置に仮想カメラCMLを設定する(ステップS110)。具体的には、AR処理部142は、仮想視点IVから左側に(眼間距離122/2)離れた位置に、視点方向VDを向いた仮想カメラCMLを設定する。同様に、AR処理部142は、仮想視点IVの位置および向きに基づいて、右眼相当の位置に仮想カメラCMRを設定する(ステップS120)。具体的には、AR処理部142は、仮想視点IVから右側に(眼間距離122/2)離れた位置に、視点方向VDを向いた仮想カメラCMRを設定する。図8では、上記のようにして設定された仮想カメラCML、CMRを表している。

0063

仮想カメラを設定後、AR処理部142は、仮想カメラCMLの2D(Two Dimensions)投影を行う(ステップS112)。具体的には、AR処理部142は、3Dモデル空間内の立体物(仮想オブジェクトOB1、OB2)を、仮想カメラCMLによって得られた2次元である平面状の情報に変換し、奥行き感のある画像を生成する。同様に、AR処理部142は、仮想カメラCMRの2D投影を行う(ステップS122)。具体的には、AR処理部142は、3Dモデル空間上の立体物を、仮想カメラCMRによって得られた2次元である平面上の情報に変換し、奥行き感のある画像を生成する。

0064

仮想カメラCMLの2D投影後、AR処理部142は、投影により得られた画像をスケーリングする(ステップS114)。具体的には、AR処理部142は、以下の手順b1〜b3を実行する。
(b1)AR処理部142は、手順a1で決定した目標距離Lbを上記式1に当てはめ、目標輻輳角θbを算出する。
(b2)AR処理部142は、求めた目標輻輳角θbと初期輻輳角θaとを上記式2に当てはめ、目標視差角θxを算出する。
(b3)ステップS112により得られた仮想カメラCMLの2D投影画像と、仮想視点IVに配置された仮想カメラCMの2D投影画像とが、θx/θpix画素ずれるように、ステップS112により得られた仮想カメラCMLの2D投影画像を拡大/縮小する。この際、AR処理部142は、右LCD241の解像度を考慮する。

0065

同様に、仮想カメラCMRの2D投影後、AR処理部142は、投影により得られた画像をスケーリングする(ステップS124)。具体的には、AR処理部142は、上記手順b1、b2、および、以下手順c3を実行する。
(b3)ステップS122により得られた仮想カメラCMRの2D投影画像と、仮想視点IVに配置された仮想カメラCMの2D投影画像とが、θx/θpix画素ずれるように、ステップS122により得られた仮想カメラCMRの2D投影画像を拡大/縮小する。この際、AR処理部142は、左LCD242の解像度を考慮する。

0066

図9は、上述のようにして、AR処理部142が、仮想視点IVに配置された仮想カメラCMの2D投影画像DTを用いて、投影により得られた画像をスケーリングする様子を示している。なお、上記例では、仮想カメラCMRは右眼相当の位置に設定され、仮想カメラCMLは左眼相当の位置に設定されるとした。しかし、設定される仮想カメラの位置および個数は変更可能である。

0067

以上のように、第2実施例の拡張現実処理によっても、拡張現実処理部(AR処理部142)は、画像データー(右眼用画像データーData1および左眼用画像データーData2)の生成の際、虚像VIの表示環境に関する種々の条件(右LCD241および左LCD242の大きさ、使用者の左右の眼前に表示される虚像VI間の距離)を考慮して外景SCに付加提示用の情報(仮想オブジェクトOB1,OB2)を融像させるため、使用者に違和感を与えづらい拡張現実感を提供可能な頭部装着型表示装置(ヘッドマウントディスプレイ100)を実現することができる。

0068

さらに、第2実施例の拡張現実処理によれば、拡張現実処理部(AR処理部142)は、使用者に付加提示用の情報(仮想オブジェクトOB1,OB2)を視認させる目標距離Lbを決定し、決定した目標距離Lbから目標距離Lbにおける輻輳角である目標輻輳角θbを算出し、算出した目標輻輳角θbと第1の輻輳角θa(初期輻輳角θa)とを用いて、目標距離Lbにおける視差角である目標視差角θxを算出する。拡張現実処理部(AR処理部142)は、このようにして算出した目標視差角θxと、画素視差角記憶部(画素視差角124)に記憶されている差分(θpix)とを用いることで、2箇所の仮想カメラ(仮想カメラCMR,CML)による2D投影画像をそれぞれスケーリングして、右眼用画像データーData1と左眼用画像データーData2とを生成することができる。

0069

さらに、第2実施例の拡張現実処理によれば、拡張現実処理部(AR処理部142)は、3Dモデル空間上に仮想カメラ(仮想カメラCMR,CML)を設定する際、まず、使用者に付加提示用の情報を視認させる目標距離Lbに基づいて仮想視点IVを配置する。そして、拡張現実処理部(AR処理部142)は、配置された仮想視点IVから眼間距離/2離れた位置に一方の仮想カメラ(仮想カメラCMR)を配置し、配置された仮想視点から眼間距離/2離れた位置に他方の仮想カメラ(仮想カメラCML)を配置する。この結果、仮想カメラ(仮想カメラCMR,CML)は、使用者に付加提示用の情報(仮想オブジェクトOB1,OB2)を視認させる目標距離Lbと、使用者の眼間距離(眼間距離122)との両方を考慮した2D投影画像を取得することができる。

0070

A−4.拡張現実処理(第3実施例):
第3実施例の拡張現実処理では、第2実施例の拡張現実処理において、使用者の移動に伴って外景SCに融像させるための付加提示用の情報を変化させることができる。以下では、第2実施例の拡張現実処理と異なる手順についてのみ説明する。なお、図中において第2実施例と同様の部分については先に説明した第2実施例と同様の符号を付し、その詳細な説明を省略する。

0071

図10は、第3実施例における拡張現実処理の手順を表すフローチャートである。図7に示した第2実施例との違いは、ステップS104の後にステップS202とS204とを実行する点と、ステップS116およびS126の終了後に処理をステップS202へ遷移させる点である。

0072

ステップS202においてAR処理部142は、使用者の視点が移動したか否かを判定する。具体的には、AR処理部142は、使用者の現在位置座標と頭の動きとの少なくともいずれか一方に変化があった場合、使用者の視点が移動したと判定する。なお、使用者の現在位置座標は、GPSモジュール134により検出された制御部10の位置情報により取得する。使用者の頭の動きは、9軸センサー66により検出された動き情報により取得する。使用者の視点が移動していない場合(ステップS202:NO)、AR処理部142は、処理をステップS110およびS120へ遷移させる。

0073

使用者の視点が移動した場合(ステップS202:YES)、AR処理部142は、ステップS202で検出した使用者の現在位置座標と頭の動きに基づいて、3Dモデル空間上の所定位置に仮想視点を設定する。詳細は、図7のステップS104と同様である。

0074

以上のように、第3実施例の拡張現実処理によれば、使用者の視点の移動に伴って、すなわち、使用者の現在位置座標と頭の動きとの少なくともいずれか一方の変化に伴って、仮想カメラCMLの2D投影画像と仮想カメラCMRの2D投影画像とを生成、スケーリングし、右眼用画像データーData1と左眼用画像データーData2とを生成することができる。この結果、第2実施例での効果に加えて、使用者の視点の移動に伴って外景SCに融像させるための付加提示用の情報を変化させることができる。

0075

B.変形例:
上記実施形態において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。その他、以下のような変形も可能である。

0076

・変形例1:
上記実施形態では、ヘッドマウントディスプレイの構成について例示した。しかし、ヘッドマウントディスプレイの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。

0077

上記実施形態における、制御部と、画像表示部とに対する構成要素の割り振りは、あくまで一例であり、種々の態様を採用可能である。例えば、以下のような態様としてもよい。(i)制御部にCPUやメモリー等の処理機能を搭載、画像表示部には表示機能のみを搭載する態様、(ii)制御部と画像表示部との両方にCPUやメモリー等の処理機能を搭載する態様、(iii)制御部と画像表示部とを一体化した態様(例えば、画像表示部に制御部が含まれ眼鏡型のウェアラブルコンピューターとして機能する態様)、(iv)制御部の代わりにスマートフォン携帯型ゲーム機を使用する態様、(v)制御部と画像表示部とを無線通信かつワイヤレス給電可能な構成とすることにより接続部(コード)を廃した態様。

0078

上記実施形態では、説明の便宜上、制御部が送信部を備え、画像表示部が受信部を備えるものとした。しかし、上記実施形態の送信部および受信部は、いずれも、双方向通信が可能な機能を備えており、送受信部として機能することができる。また、例えば、図2に示した制御部は、有線信号伝送路を介して画像表示部と接続されているものとした。しかし、制御部と、画像表示部とは、無線LANや赤外線通信やBluetooth(登録商標)等の無線の信号伝送路を介した接続により接続されていてもよい。

0079

例えば、図2に示した制御部、画像表示部の構成は任意に変更することができる。具体的には、例えば、制御部からタッチパッドを省略し、十字キーのみで操作する構成としてもよい。また、制御部に操作用スティック等の他の操作用インターフェイスを備えても良い。また、制御部にはキーボードマウス等のデバイス接続可能な構成として、キーボードやマウスから入力を受け付けるものとしてもよい。また、例えば、タッチパッドや十字キーによる操作入力のほか、フットスイッチ(使用者の足により操作するスイッチ)による操作入力を取得してもよい。例えば、画像表示部に赤外線センサー等の視線検知部を設けた上で、使用者の視線を検知し、視線の動きに対応付けられたコマンドによる操作入力を取得してもよい。例えば、カメラを用いて使用者のジェスチャーを検知し、ジェスチャーに対応付けられたコマンドによる操作入力を取得してもよい。ジェスチャー検知の際は、使用者の指先や、使用者の手に付けられた指輪や、使用者の手にする医療器具等を動き検出のための目印にすることができる。フットスイッチや視線による操作入力を取得可能とすれば、使用者が手を離すことが困難である作業においても、入力情報取得部は、使用者からの操作入力を取得することができる。

0080

例えば、ヘッドマウントディスプレイは、両眼タイプの透過型ヘッドマウントディスプレイであるものとしたが、単眼タイプのヘッドマウントディスプレイとしてもよい。また、使用者がヘッドマウントディスプレイを装着した状態において外景の透過が遮断される非透過型ヘッドマウントディスプレイとして構成してもよい。

0081

図11は、変形例におけるヘッドマウントディスプレイの外観の構成を示す説明図である。図11(A)の例の場合、図1に示したヘッドマウントディスプレイ100との違いは、画像表示部20aが、右光学像表示部26に代えて右光学像表示部26aを備える点と、左光学像表示部28に代えて左光学像表示部28aを備える点である。右光学像表示部26aは、第1実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の右眼の斜め上に配置されている。同様に、左光学像表示部28aは、第1実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の左眼の斜め上に配置されている。図11(B)の例の場合、図1に示したヘッドマウントディスプレイ100との違いは、画像表示部20bが、右光学像表示部26に代えて右光学像表示部26bを備える点と、左光学像表示部28に代えて左光学像表示部28bを備える点である。右光学像表示部26bは、第1実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の右眼の斜め下に配置されている。左光学像表示部28bは、第1実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の左眼の斜め下に配置されている。このように、光学像表示部は使用者の眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のヘッドマウントディスプレイとして実現することもできる。

0082

例えば、画像処理部、表示制御部、AR処理部、音声処理部等の機能部は、CPUがROMやハードディスクに格納されているコンピュータープログラムをRAMに展開して実行することにより実現されるものとして記載した。しかし、これら機能部は、当該機能を実現するために設計されたASIC(Application Specific IntegratedCircuit:特定用途向け集積回路)を用いて構成されてもよい。

0083

例えば、上記実施形態では、画像表示部を眼鏡のように装着するヘッドマウントディスプレイであるとしているが、画像表示部が通常の平面型ディスプレイ装置液晶ディスプレイ装置プラズマディスプレイ装置有機ELディスプレイ装置等)であるとしてもよい。この場合にも、制御部と画像表示部との間の接続は、有線の信号伝送路を介した接続であってもよいし、無線の信号伝送路を介した接続であってもよい。このようにすれば、制御部を、通常の平面型ディスプレイ装置のリモコンとして利用することもできる。

0084

また、画像表示部として、眼鏡のように装着する画像表示部に代えて、例えば帽子のように装着する画像表示部といった他の形状の画像表示部を採用してもよい。また、イヤホン耳掛け型ヘッドバンド型を採用してもよく、省略しても良い。また、例えば、自動車飛行機等の車両に搭載されるヘッドアップディスプレイ(HUD、Head-Up Display)として構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。

0085

例えば、上記実施形態では、電源として二次電池を用いることしたが、電源としては二次電池に限らず、種々の電池を使用することができる。例えば、一次電池や、燃料電池太陽電池熱電池等を使用してもよい。

0086

例えば、上記実施形態では、画像光生成部は、バックライトと、バックライト制御部と、LCDと、LCD制御部とを用いて構成されるものとした。しかし、上記の態様はあくまで例示である。画像光生成部は、これらの構成部と共に、またはこれらの構成部に代えて、他の方式を実現するための構成部を備えていても良い。例えば、画像光生成部は、有機EL(有機エレクトロルミネッセンス、Organic Electro-Luminescence)のディスプレイと、有機EL制御部とを備える構成としても良い。また、例えば、画像生成部は、LCDに代えてデジタルマイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型の頭部装着型表示装置に対して本発明を適用することも可能である。

0087

・変形例2:
上記第1実施形態では、拡張現実処理の一例を示した。しかし、上記拡張現実処理の手順はあくまで一例であり、種々の変形が可能である。例えば、一部のステップを省略してもよいし、更なる他のステップを追加してもよい。また、実行されるステップの順序を変更してもよい。

0088

上記実施形態では、画素視差角は、左右同一の画像データーに基づいて表示された虚像の輻輳角と、左右で1画素(ピクセル)ずらした画像データーに基づいて表示された虚像との輻輳角の差分であるとした。しかし、画素視差角は、左右同一の画像データーに基づいて表示された虚像の輻輳角と、左右でずらした画像データーに基づいて表示された虚像との輻輳角の差分であればよく、左右の画像データーのずらし量は1画素(ピクセル)に限られない。

0089

例えば、拡張現実処理において、算出した目標視差角θxが平行より大きくなる場合(すなわちθx<−θa/2となる場合)、AR処理部は、このような目標視差角θxを実現するための画像データーの生成を抑制することができる。そうすれば、使用者が感じる違和感を緩和することができる。

0090

視差角が過度に大きすぎると、使用者は違和感を覚えやすくなる。このため、例えば、拡張現実処理において、算出した目標視差角θxが所定の閾値以上となる場合(すなわちθx>θlimとなる場合)、AR処理部は、このような目標視差角θxを実現するための画像データーの生成を抑制することができる。なお、所定の閾値(θlim)は、「当該利用者にとって、物体が二重に見える視差と一重に見える視差との境界」とすることが好ましい。所定の閾値(θlim)は、使用者の好みに応じて調整可能としてもよい。

0091

AR処理部は、決定した目標距離Lbの大きさ、または、算出した目標視差角θxの大きさに応じて、右眼用画像データーおよび左眼用画像データーの彩度、明度コントラストを調整してもよい。例えば、遠方に表示させる仮想オブジェクトを表す画像データーの場合、彩度、明度、コントラストのうちの少なくともいずれかを低下させることによって、使用者が感じる遠近感を強調することができる。

0092

画素視差角に記憶されている視差角θpixは、使用者の好みに応じて調整可能としてもよい。利用者は、遠近感を強調したい場合視差角θpixを小さく調整し、遠近感を緩和したい場合視差角θpixを大きく調整することができる。

0093

・変形例3:
AR処理部は、カメラによって取得された使用者の視界方向の外景画像を、画素視差角によりパターンマッチングさせて、拡張現実処理を実現してもよい。具体的には、画像表示部は、右眼用カメラと、左眼用カメラとを備える構成とする。右眼用カメラは、画像表示部の使用者の右眼に対応する位置に配置され、画像表示部の表側方向の外景を撮像可能なカメラである。左眼用カメラは、画像表示部の使用者の左眼に対応する位置に配置され、画像表示部の表側方向の外景を撮像可能なカメラである。AR処理部は、右眼用カメラにより撮像された画像に含まれる対象物体(付加提示用の情報を近傍に表示させる対象となる物体)と、左眼用カメラにより撮像された画像に含まれる対象物体との間のずれ量を求め、当該ずれ量と画素視差角とを用いて、拡張現実処理における「目標距離」を決定してもよい。

0094

・変形例4:
AR処理部は、上記の拡張現実処理を、所定の条件が満足される場合に限って実行してもよい。例えば、画像表示部に対して使用者の視線の方向を検出可能な構成を備えたうえで、AR処理部は、検出された視線の方向が以下の条件のうちの少なくともいずれか1つを満たす場合に限って、上記の拡張現実処理を実行してもよい。
・水平約200°、垂直約125°(例えば、下方向75°、上方向50°)の視野角の範囲内であるとき。
・情報受容能力に優れる有効視野である、水平約30°、垂直約20°の範囲内であるとき。
注視点が迅速に安定して見える安定注視野である、水平60°〜90°、垂直45°〜70°の範囲内であるとき。
・映像に誘発される自己運動感覚(ベクション)の誘発が起こりはじめる水平約20°から、自己運動感覚が飽和する約110°の範囲内であるとき。

0095

・変形例5:
本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

0096

10…制御部(コントローラー)
12…点灯部
14…タッチパッド
16…十字キー
18…電源スイッチ
20…画像表示部
21…右保持部
22…右表示駆動部
23…左保持部
24…左表示駆動部
26…右光学像表示部
28…左光学像表示部
30…イヤホンプラグ
32…右イヤホン
34…左イヤホン
40…接続部
42…右コード
44…左コード
46…連結部材
48…本体コード
51…送信部
52…送信部
53…受信部
54…受信部
61…カメラ
110…入力情報取得部
100…ヘッドマウントディスプレイ(頭部装着型表示装置)
120…記憶部
122…眼間距離(眼間距離記憶部)
124…画素視差角(画素視差角記憶部)
130…電源
140…CPU
142…AR処理部(拡張現実処理部)
160…画像処理部
170…音声処理部
180…インターフェイス
190…表示制御部
201…右バックライト制御部
202…左バックライト制御部
211…右LCD制御部
212…左LCD制御部
221…右バックライト
222…左バックライト
241…右LCD
242…左LCD
251…右投写光学系
252…左投写光学系
261…右導光板
262…左導光板
PCLK…クロック信号
VSync…垂直同期信号
HSync…水平同期信号
Data…画像データー
Data1…右眼用画像データー
Data2…左眼用画像データー
OA…外部機器
PC…パーソナルコンピューター
SC…外景
RE…右眼
LE…左眼
VI…虚像
ER…端部
EL…端部
AP…先端部
VR…視野
VD…視点方向
IV…仮想視点
OB…仮想オブジェクト
OB1…仮想オブジェクト
OB2…仮想オブジェクト
CM…仮想カメラ
CML…仮想カメラ
CMR…仮想カメラ
θa…初期輻輳角(第1の輻輳角)
θb…目標輻輳角
θc…輻輳角(第2の輻輳角θ)
θx…目標視差角

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ

特許:約8,000万件, クラウドファンディング:約100万年, 科研費・グラントデータ:約500万件, 発明者・研究者情報:約600万人