図面 (/)

技術 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム

出願人 セイコーエプソン株式会社
発明者 山崎明生
出願日 2015年5月15日 (4年3ヶ月経過) 出願番号 2015-099841
公開日 2016年12月22日 (2年8ヶ月経過) 公開番号 2016-218547
状態 未査定
技術分野 イメージ処理・作成 テレビジョン受像機の構造の細部
主要キーワード フロントスポイラー 並行状態 軸センサー 本体コード SB値 図形記号 身体防護具 天空光
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年12月22日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (12)

課題

実オブジェクトの色と仮想オブジェクトの色とが重畳された状態において利用者視認する色を制御することが可能な頭部装着型表示装置を提供する。

解決手段

利用者が虚像外景とを視認可能な頭部装着型表示装置は、利用者に虚像を視認させる画像表示部と、現実世界実在する実オブジェクトに対して、その少なくとも一部を重畳して表示するための仮想オブジェクトを含んだ虚像を画像表示部に形成させる拡張現実感処理部と、実オブジェクトの色である実物色を検出する色検出部と、実物色に仮想オブジェクトの色が重畳された色である目視色を、検出された実物色を用いて目的の色に近づける色調整部と、を備える。

概要

背景

現実世界実在するオブジェクトである実オブジェクトに対して、コンピューターを用いて情報を付加提示する拡張現実感(AR、Augmented Reality)と呼ばれる技術が知られている。拡張現実感において、実オブジェクトに付加的に表示される情報を「仮想オブジェクト」とも呼ぶ。拡張現実感の機能は、例えば、ヘッドマウントディスプレイ(以降、「HMD」または「頭部装着型表示装置」とも呼ぶ。)に搭載される。

HMDは、カメラ外景撮像し、撮像により得られた画像を画像認識し、仮想オブジェクトを生成または取得する。HMDを装着した状態において利用者視界遮断されない透過型のHMDでは、仮想オブジェクトを含む虚像のみを利用者に視認させる。利用者は、現実世界の実オブジェクトと、虚像によって表されている仮想オブジェクトと、の両方を見ることで、拡張現実感を体感することができる。特許文献1には、透過型のHMDにおいて、虚像の表示領域とカメラの撮像領域とを位置合わせすることで、拡張現実感を実現する際の利用者の違和感を低減する技術が記載されている。

概要

実オブジェクトの色と仮想オブジェクトの色とが重畳された状態において利用者が視認する色を制御することが可能な頭部装着型表示装置を提供する。利用者が虚像と外景とを視認可能な頭部装着型表示装置は、利用者に虚像を視認させる画像表示部と、現実世界に実在する実オブジェクトに対して、その少なくとも一部を重畳して表示するための仮想オブジェクトを含んだ虚像を画像表示部に形成させる拡張現実感処理部と、実オブジェクトの色である実物色を検出する色検出部と、実物色に仮想オブジェクトの色が重畳された色である目視色を、検出された実物色を用いて目的の色に近づける色調整部と、を備える。

目的

このため、実オブジェクトの色と仮想オブジェクトの色とが重畳された状態において利用者が視認する色を制御することが可能な頭部装着型表示装置が望まれていた

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

利用者虚像外景とを視認可能な頭部装着型表示装置であって、前記利用者に前記虚像を視認させる画像表示部と、現実世界実在する実オブジェクトに対して、その少なくとも一部を重畳して表示するための仮想オブジェクトを含んだ前記虚像を前記画像表示部に形成させる拡張現実感処理部と、前記実オブジェクトの色である実物色を検出する色検出部と、前記実物色に前記仮想オブジェクトの色が重畳された色である目視色を、検出された前記実物色を用いて目的の色に近づける色調整部と、を備える、頭部装着型表示装置。

請求項2

請求項1に記載の頭部装着型表示装置であって、前記色調整部は、検出された前記実物色と、前記仮想オブジェクトの色と、を加法混色した色が、前記目的の色に近づくように前記仮想オブジェクトの色を調整することで、前記目視色を前記目的の色に近づける、頭部装着型表示装置。

請求項3

請求項1または請求項2に記載の頭部装着型表示装置であって、前記画像表示部は、さらに、画素毎に前記外景の透過率を変更可能であり、前記色調整部は、前記画像表示部に前記外景の透過率を変更させることで、前記目視色を前記目的の色に近づける、頭部装着型表示装置。

請求項4

請求項2に従属する請求項3に記載の頭部装着型表示装置であって、前記色調整部は、検出された前記実物色の彩度が所定の彩度以上である場合に、前記画像表示部に前記外景の透過率を変更させ、検出された前記実物色の彩度が前記所定の彩度より小さい場合に、検出された前記実物色と、前記仮想オブジェクトの色と、を加法混色した色が、前記目的の色に近づくように前記仮想オブジェクトの色を調整する、頭部装着型表示装置。

請求項5

請求項1から請求項4のいずれか一項に記載の頭部装着型表示装置であって、前記色調整部は、前記目視色を前記目的の色に近づける処理を、前記仮想オブジェクトの画素毎に実行する、頭部装着型表示装置。

請求項6

請求項1から請求項4のいずれか一項に記載の頭部装着型表示装置であって、前記色調整部は、前記目視色を前記目的の色に近づける処理を、前記仮想オブジェクトの画素のうち、近隣の複数の画素をまとめたn×m(n、mは2以上の整数画素ブロック毎に実行する、頭部装着型表示装置。

請求項7

請求項1から請求項6のいずれか一項に記載の頭部装着型表示装置であって、前記色調整部は、前記目的の色を、前記実オブジェクトが置かれている現実光環境に基づいて決定する、頭部装着型表示装置。

請求項8

請求項1から請求項7のいずれか一項に記載の頭部装着型表示装置であって、前記色調整部は、さらに、仮想的な光環境を考慮して前記仮想オブジェクトの色を色変換することで、前記目視色を変更する、頭部装着型表示装置。

請求項9

請求項1から請求項8のいずれか一項に記載の頭部装着型表示装置であって、前記色検出部は、前記外景を表す外景画像を取得するカメラである、頭部装着型表示装置。

請求項10

頭部装着型表示装置を制御する方法であって、(a)現実世界に実在する実オブジェクトに対して、その少なくとも一部を重畳して表示するための仮想オブジェクトを含んだ虚像を形成させる工程と、(b)前記実オブジェクトの色である実物色を検出する工程と、(c)前記実物色に前記仮想オブジェクトの色が重畳された色である目視色を、検出された前記実物色を用いて目的の色に近づける工程と、を備える、方法。

請求項11

コンピュータープログラムであって、現実世界に実在する実オブジェクトに対して、その少なくとも一部を重畳して表示するための仮想オブジェクトを含んだ虚像を形成させる機能と、前記実オブジェクトの色である実物色を検出する機能と、前記実物色に前記仮想オブジェクトの色が重畳された色である目視色を、検出された前記実物色を用いて目的の色に近づける機能と、をコンピューターに実現させるための、コンピュータープログラム。

技術分野

0001

本発明は、頭部装着型表示装置に関する。

背景技術

0002

現実世界実在するオブジェクトである実オブジェクトに対して、コンピューターを用いて情報を付加提示する拡張現実感(AR、Augmented Reality)と呼ばれる技術が知られている。拡張現実感において、実オブジェクトに付加的に表示される情報を「仮想オブジェクト」とも呼ぶ。拡張現実感の機能は、例えば、ヘッドマウントディスプレイ(以降、「HMD」または「頭部装着型表示装置」とも呼ぶ。)に搭載される。

0003

HMDは、カメラ外景撮像し、撮像により得られた画像を画像認識し、仮想オブジェクトを生成または取得する。HMDを装着した状態において利用者視界遮断されない透過型のHMDでは、仮想オブジェクトを含む虚像のみを利用者に視認させる。利用者は、現実世界の実オブジェクトと、虚像によって表されている仮想オブジェクトと、の両方を見ることで、拡張現実感を体感することができる。特許文献1には、透過型のHMDにおいて、虚像の表示領域とカメラの撮像領域とを位置合わせすることで、拡張現実感を実現する際の利用者の違和感を低減する技術が記載されている。

先行技術

0004

特開2013−186641号公報

発明が解決しようとする課題

0005

上述した仮想オブジェクトは、実オブジェクトに対して、その少なくとも一部が重畳されて表示される場合がある。例えば、車のディーラーにおいて、注文する車の色やアクセサリーを決める際に拡張現実感を用いる場合や、住宅展示場において、注文する住宅の壁紙や床材を決める際に拡張現実感を用いる場合である。このような場合は、実オブジェクトの色と仮想オブジェクトの色とが重畳された状態において利用者が視認する色が重要となる。特許文献1に記載された技術では、このような色に関する課題については何ら考慮されていない。

0006

このため、実オブジェクトの色と仮想オブジェクトの色とが重畳された状態において利用者が視認する色を制御することが可能な頭部装着型表示装置が望まれていた。

課題を解決するための手段

0007

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。

0008

(1)本発明の一形態によれば、利用者が虚像と外景とを視認可能な頭部装着型表示装置が提供される。この頭部装着型表示装置は;前記利用者に前記虚像を視認させる画像表示部と;現実世界に実在する実オブジェクトに対して、その少なくとも一部を重畳して表示するための仮想オブジェクトを含んだ前記虚像を前記画像表示部に形成させる拡張現実感処理部と;前記実オブジェクトの色である実物色を検出する色検出部と;前記実物色に前記仮想オブジェクトの色が重畳された色である目視色を、検出された前記実物色を用いて目的の色に近づける色調整部と、を備える。
この形態の頭部装着型表示装置によれば、色調整部は、実オブジェクトの色(実物色)と仮想オブジェクトの色とが重畳された色である目視色、換言すれば、利用者が視認する色である目視色を、色検出部によって検出された実物色を用いて制御することができる。

0009

(2)上記形態の頭部装着型表示装置において;前記色調整部は;検出された前記実物色と、前記仮想オブジェクトの色と、を加法混色した色が、前記目的の色に近づくように前記仮想オブジェクトの色を調整することで、前記目視色を前記目的の色に近づけてもよい。
この形態の頭部装着型表示装置によれば、色調整部は、仮想オブジェクトの色を調整することで目視色を目的の色に近づけることができる。すなわち、頭部装着型表示装置が備える既存の構成に特別な構成を追加することなく、目視色を制御することができる。

0010

(3)上記形態の頭部装着型表示装置において;前記画像表示部は、さらに、画素毎に前記外景の透過率を変更可能であり;前記色調整部は;前記画像表示部に前記外景の透過率を変更させることで、前記目視色を前記目的の色に近づけてもよい。
この形態の頭部装着型表示装置によれば、色調整部は、画像表示部における外景の透過率を変更することで目視色を目的の色に近づけることができる。すなわち、頭部装着型表示装置における特別な画像処理を必要とせずに、目視色を制御することができる。

0011

(4)上記形態の頭部装着型表示装置において;前記色調整部は;検出された前記実物色の彩度が所定の彩度以上である場合に、前記画像表示部に前記外景の透過率を変更させ;検出された前記実物色の彩度が前記所定の彩度より小さい場合に、検出された前記実物色と、前記仮想オブジェクトの色と、を加法混色した色が、前記目的の色に近づくように前記仮想オブジェクトの色を調整してもよい。
この形態の頭部装着型表示装置によれば、色調整部は、実物色の彩度(色鮮やかさ)に応じて、外景の透過率を変更することで目視色を制御するのか、仮想オブジェクトの色を調整することで目視色を制御するのか、を使い分ける。実物色の彩度が高い(色鮮やかである)場合は、例えば外景の透過率を下げることによって、色鮮やかな実物色そのものを利用者に見えづらくすることで、仮想オブジェクトの色を強調することが有効である。一方、実物色の彩度が低い(くすんだ色である)場合は、仮想オブジェクトの色を調整した加法混色による調色を用いれば、表現できる色域を拡げることができる。このようにして色の分解能を向上させれば、微妙な色再現が可能となるため有効である。このようにすれば、色調整部は、実物色の彩度に応じて、目視色を制御するためのより適切な方法を使い分けることができる。

0012

(5)上記形態の頭部装着型表示装置において;前記色調整部は;前記目視色を前記目的の色に近づける処理を、前記仮想オブジェクトの画素毎に実行してもよい。
この形態の頭部装着型表示装置によれば、色調整部は、目視色の制御(目視色を目的の色に近づける処理)を仮想オブジェクトの画素毎に実行するため、目視色の制御を簡単に行うことができる。また、仮想オブジェクトに複数の色が混在している場合であっても、目視色を制御することができる。

0013

(6)上記形態の頭部装着型表示装置において;前記色調整部は;前記目視色を前記目的の色に近づける処理を、前記仮想オブジェクトの画素のうち、近隣の複数の画素をまとめたn×m(n、mは2以上の整数画素ブロック毎に実行してもよい。
この形態の頭部装着型表示装置によれば、色調整部は、目視色の制御(目視色を目的の色に近づける処理)を仮想オブジェクトの画素ブロック毎に実行するため、目視色の制御の結果が画素ごとにばらつくことを抑制することができる。また、仮想オブジェクトに複数の色が混在している場合であっても、目視色を制御することができる。

0014

(7)上記形態の頭部装着型表示装置において;前記色調整部は;前記目的の色を、前記実オブジェクトが置かれている現実光環境に基づいて決定してもよい。
この形態の頭部装着型表示装置によれば、色調整部は、実オブジェクトが置かれている現実の光環境に基づいて目的の色を決定するため、目的の色を、例えば現実の環境に適合するような色とすることができる。また、色調整部は、目的の色を、例えば現実の環境から際立たせるような色とすることもできる。

0015

(8)上記形態の頭部装着型表示装置において;前記色調整部は、さらに;仮想的な光環境を考慮して前記仮想オブジェクトの色を色変換することで、前記目視色を変更してもよい。
この形態の頭部装着型表示装置によれば、色調整部は、仮想的な光環境を考慮して目視色を変更するため、頭部装着型表示装置における目視色の再現の幅が広がり、利用者における利便性を向上させることができる。

0016

(9)上記形態の頭部装着型表示装置において;前記色検出部は、前記外景を表す外景画像を取得するカメラであってもよい。
この形態の頭部装着型表示装置によれば、標準機能として広く普及しているカメラを用いて実物色を検出することができる。

0017

上述した本発明の各形態の有する複数の構成要素は全てが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな構成要素との差し替え、限定内容の一部削除を行うことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。

0018

例えば、本発明の一形態は、画像表示部と、拡張現実感処理部と、色検出部と、色調整部と、の4つの要素のうちの一部または全部の要素を備えた装置として実現可能である。すなわち、この装置は、画像表示部を有していてもよく、有していなくてもよい。また、この装置は、拡張現実感処理部を有していてもよく、有していなくてもよい。また、この装置は、色検出部を有していてもよく、有していなくてもよい。また、この装置は、色調整部を有していてもよく、有していなくてもよい。こうした装置は、例えば頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置としても実現可能である。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。例えば、本発明の一形態としての装置は、実オブジェクトの色と仮想オブジェクトの色とが重畳された状態において利用者が視認する色を制御することを課題としている。しかし、この装置には、他にも、装置の小型化、利便性の向上、装置製造の際の低コスト化省資源化、製造の容易化、等が望まれている。

0019

なお、本発明は、種々の態様で実現することが可能であり、例えば、頭部装着型表示装置および頭部装着型表示装置の制御方法、頭部装着型表示装置を含むシステム、これらの方法、装置、システムの機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを配布するための装置、そのコンピュータープログラムを記憶した記憶媒体等の形態で実現することができる。

図面の簡単な説明

0020

本発明の一実施形態における頭部装着型表示装置の概略構成を示す説明図である。
頭部装着型表示装置の構成を機能的に示すブロック図である。
利用者に視認される虚像の一例を示す説明図である。
色調整処理の手順を示すフローチャートである。
色調整処理の一例について説明する図である。
色調整処理の他の例について説明する図である。
第2実施形態の頭部装着型表示装置の構成を機能的に示すブロック図である。
第2実施形態の色調整処理について説明する図である。
色変換処理の手順を示すフローチャートである。
環境対応テーブルの一例を示す図である。
変形例における頭部装着型表示装置の外観の構成を示す説明図である。

実施例

0021

A.実施形態:
A−1.頭部装着型表示装置の構成:
図1は、本発明の一実施形態における頭部装着型表示装置の概略構成を示す説明図である。本実施形態の頭部装着型表示装置100は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ(Head Mounted Display、HMD)とも呼ばれる。HMD100は、利用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型のヘッドマウントディスプレイである。

0022

本実施形態のHMD100は、現実世界に実在するオブジェクトである「実オブジェクト」に対して、HMD100のCPUを用いて情報を付加する拡張現実感(AR、Augmented Reality)処理を行うことができる。ここで、オブジェクトとは、任意の人、任意の動植物、任意の物(人工物、自然物等を含む)等を意味する。また、拡張現実感処理において、実オブジェクトに対して付加的に表示される情報を「仮想オブジェクト」と呼ぶ。本実施形態のHMD100は、拡張現実感処理において、仮想オブジェクトを含む虚像のみを利用者に視認させる。利用者は、HMD100を透過した実オブジェクトと、虚像によって表されている仮想オブジェクトと、の両方を見ることで、拡張現実感を体感することができる。このような拡張現実感処理において、本実施形態のHMD100は、実オブジェクトの色と仮想オブジェクトの色とが重畳された色、換言すれば、利用者が実際に視認する色(以降、単に「目視色」とも呼ぶ。)を制御することができる。

0023

なお、本実施形態の実オブジェクトは、利用者が関心を寄せている(例えば視線を向けている)オブジェクトである「実関心オブジェクト」と、利用者の関心外の(例えば視界に入っているものの視線を向けていない)オブジェクトである「実背景オブジェクト」との両方を含む。本実施形態の拡張現実感処理は、実関心オブジェクトと、実背景オブジェクトと、の両方を含む実オブジェクトが処理対象となり得る。

0024

HMD100は、利用者の頭部に装着された状態において利用者に虚像を視認させる画像表示部20と、画像表示部20を制御する制御部(コントローラー)10とを備えている。なお、以降の説明において、HMD100によって利用者が視認する虚像を便宜的に「表示画像」とも呼ぶ。また、HMD100が画像データーに基づいて生成された画像光射出することを「画像を表示する」ともいう。

0025

A−1−1.画像表示部の構成:
図2は、HMD100の構成を機能的に示すブロック図である。画像表示部20は、利用者の頭部に装着される装着体であり、本実施形態では眼鏡形状である(図1)。画像表示部20は、右保持部21と、右表示駆動部22と、左保持部23と、左表示駆動部24と、右光学像表示部26と、左光学像表示部28と、カメラ61と、9軸センサー66と、を備えている。以降、利用者が画像表示部20を装着した状態における、画像表示部20の各部の位置関係と機能について説明する。

0026

図1に示すように、右光学像表示部26および左光学像表示部28は、利用者の右の眼前と、左の眼前とにそれぞれ位置するように配置されている。右光学像表示部26の一端と左光学像表示部28の一端とは、利用者の眉間に対応する位置で接続されている。図2に示すように、右光学像表示部26は、右導光板261と、右電子シェード261sと、調光板(図示省略)と、を備えている。右導光板261は、光透過性樹脂材料等によって形成され、右表示駆動部22から出力された画像光を、所定の光路に沿って反射させつつ利用者の右眼REに導く。

0027

右電子シェード261sは、複数の画素をマトリクス状に配置した透過型液晶パネルである。右電子シェード261sは、供給電圧増減により、外部から利用者の右眼REに導かれる外光の透過率を画素単位で増減させる。本実施形態の右電子シェード261sは、供給電圧なしの状態では外光の透過率が100%となり、供給電圧が最大の状態では外光の透過率が0%(遮断)される。なお、図2における電子シェードの配置は一例であり、右電子シェード261sは、右LCD241と利用者の右眼REとの間の光路上に配置されていればよい。調光板は、薄板状の光学素子であり、画像表示部20の表側(利用者の眼の側とは反対の側)を覆うように配置されている。調光板は、導光板261および右電子シェード261sを保護し、損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、利用者の眼に入る外光量を調整して虚像の視認のしやすさを調整することができる。なお、調光板は省略可能である。

0028

左光学像表示部28は、左導光板262と、左電子シェード262sと、調光板(図示省略)とを備えている。これらの詳細は、右光学像表示部26と同様である。なお、右光学像表示部26および左光学像表示部28を総称して単に「光学像表示部」とも呼び、右電子シェード261sおよび左電子シェード262sを総称して単に「電子シェード」とも呼ぶ。光学像表示部は、画像光を用いて利用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いて実現されても良いし、半透過反射膜を用いて実現されても良い。

0029

図1に示すように、右保持部21は、右光学像表示部26の他端ERから利用者の側頭部に対応する位置にかけて延伸して設けられている。左保持部23は、左光学像表示部28の他端ELから利用者の側頭部に対応する位置にかけて、延伸して設けられている。右保持部21および左保持部23は、眼鏡テンプル(つる)のようにして、利用者の頭部に画像表示部20を保持する。なお、右保持部21および左保持部23を総称して単に「保持部」とも呼ぶ。

0030

図1に示すように、右表示駆動部22は、右保持部21の内側(利用者の頭部に対向する側)に配置されている。左表示駆動部24は、左保持部23の内側に配置されている。図2に示すように、右表示駆動部22は、受信部(Rx)53と、光源として機能する右バックライトBL)制御部201および右バックライト(BL)221と、表示素子として機能する右LCD(液晶ディスプレイ、Liquid Crystal Display)制御部211および右LCD241と、右投写光学系251とを備えている。なお、右バックライト制御部201と、右LCD制御部211と、右バックライト221と、右LCD241とを総称して「画像光生成部」とも呼ぶ。

0031

受信部53は、制御部10と画像表示部20との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部201は、入力された制御信号に基づいて右バックライト221を駆動する。右バックライト221は、例えばLED(Light Emitting Diode)やエレクトロルミネセンス(EL)等の発光体である。右LCD制御部211は、受信部53を介して入力されたクロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、右眼用の画像データーDataとに基づいて、右LCD241を駆動する。右LCD241は、複数の画素をマトリクス状に配置した透過型液晶パネルである。右投写光学系251は、右LCD241から射出された画像光を並行状態の光束にするコリメートレンズである。

0032

左表示駆動部24は、受信部(Rx)54と、光源として機能する左バックライト(BL)制御部202および左バックライト(BL)222と、表示素子として機能する左LCD制御部212および左LCD242と、左投写光学系252とを備えている。これらの詳細は、右表示駆動部22と同様である。なお、右表示駆動部22および左表示駆動部24を総称して単に「表示駆動部」とも呼ぶ。

0033

図1に示すように、カメラ61は、利用者の右眼の目尻の上方に対応する位置に配置されている。カメラ61は、画像表示部20の表側方向、換言すれば、HMD100を装着した状態における利用者の視界方向の外景(外部の景色)を撮像し、外景画像を取得する。カメラ61はいわゆる可視光カメラであるため、外景画像は、物体から放射される可視光によって物体の形状を表す画像となる。本実施形態におけるカメラ61は単眼カメラであるが、いわゆるステレオカメラを採用してもよい。カメラ61は「色検出部」として機能する。

0034

図1に示すように、9軸センサー66は、利用者の右側のこめかみに対応する位置に配置されている。9軸センサー66は、加速度(3軸)、角速度(3軸)、地磁気(3軸)を検出するモーションセンサーである。9軸センサー66は、画像表示部20に設けられているため、画像表示部20が利用者の頭部に装着されているときには、ヘッドマウントディスプレイ100の利用者の頭部の動きを検出する動き検出部として機能する。ここで、頭部の動きとは、頭部の速度・加速度・角速度・向き・向きの変化を含む。

0035

図1に示すように、画像表示部20は、画像表示部20と制御部10とを接続するための接続部40を備えている。接続部40は、制御部10に接続される本体コード48と、本体コード48が分岐した右コード42および左コード44と、分岐点に設けられた連結部材46と、を含んでいる。連結部材46には、イヤホンプラグ30を接続するためのジャックが設けられている。イヤホンプラグ30からは、右イヤホン32および左イヤホン34が延伸している。画像表示部20と制御部10とは、接続部40を介して各種信号伝送を行う。接続部40の各コードには、例えば、金属ケーブル光ファイバーを採用することができる。

0036

A−1−2.制御部の構成:
制御部10はHMD100を制御するための装置である。図1に示すように、制御部10は、決定キー11と、点灯部12と、表示切替キー13と、トラックパッド14と、輝度切替キー15と、方向キー16と、メニューキー17と、電源スイッチ18と、を備えている。決定キー11は、押下操作を検出して、制御部10において操作された内容を決定するための信号を出力する。点灯部12は、例えばLEDによって実現され、HMD100の動作状態(例えば電源のON/OFF等)を発光状態によって通知する。表示切替キー13は、押下操作を検出して、例えばコンテンツ動画の表示モードを3Dと2Dとに切り替える信号を出力する。

0037

トラックパッド14は、トラックパッド14の操作面上における利用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド14としては、静電式圧力検出式、光学式といった種々の方式を採用できる。輝度切替キー15は、押下操作を検出して、画像表示部20の輝度を増減する信号を出力する。方向キー16は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ18は、スイッチのスライド操作を検出することで、HMD100の電源投入状態を切り替える。

0038

図2に示すように、制御部10は、入力情報取得部110と、記憶部120と、電源130と、無線通信部132と、GPSモジュール134と、CPU140と、インターフェイス180と、送信部(Tx)51および52とを備え、各部は図示しないバスにより相互に接続されている。

0039

入力情報取得部110は、決定キー11、表示切替キー13、トラックパッド14、輝度切替キー15、方向キー16、メニューキー17、および、電源スイッチ18に対する操作入力に応じた信号を取得する。入力情報取得部110は、上記以外の種々の方法を用いた操作入力を取得することができる。例えば、フットスイッチ(利用者の足により操作するスイッチ)による操作入力を取得してもよい。例えば、視線検出部(図示省略)によって検出された利用者の視線や、目の動きに対応付けられたコマンドによる操作入力を取得してもよい。このコマンドは利用者によって追加可能に設定されていてもよい。例えば、カメラ61を用いて利用者のジェスチャーを検知し、ジェスチャーに対応付けられたコマンドによる操作入力を取得してもよい。ジェスチャー検知の際は、利用者の指先や、利用者の手に付けられた指輪や、利用者の手にする医療器具等を動き検出のための目印にすることができる。これらの方法による操作入力を取得可能とすれば、利用者が手を離すことが困難である作業においても、入力情報取得部110は、利用者からの操作入力を取得することができる。

0040

記憶部120は、ROM、RAM、DRAMハードディスク等によって構成されている。記憶部120には、オペレーティングシステム(ОS)をはじめとする種々のコンピュータープログラムが格納されている。また、記憶部120には、彩度基準122が記憶されている。

0041

彩度基準122には、後述する色調整処理において使用される彩度の基準となる値が予め格納されている。本実施形態において、彩度の基準には、RGB色空間またはHSB色空間における「S値」を用いる。彩度基準122の値は、目視色を制御する方法を使い分けるために用いられる。なお、彩度基準122の値は、利用者によって適宜変更可能であってもよい。

0042

電源130は、HMD100の各部に電力を供給する。電源130としては、例えば二次電池を用いることができる。

0043

無線通信部132は、所定の無線通信規格に則って、外部装置との間で無線通信を行う。所定の無線通信規格とは、例えば、赤外線、Bluetooth(登録商標)に例示される近距離無線通信IEEE802.11に例示される無線LAN等である。

0044

GPSモジュール134は、GPS衛星からの信号を受信することにより、HMD100の利用者の現在位置を検出し、利用者の現在位置情報を表す現在位置情報を生成する。現在位置情報は、例えば緯度経度を表す座標によって実現することができる。

0045

CPU140は、記憶部120に格納されているコンピュータープログラムを読み出して実行することにより、拡張現実感処理部142、色調整部144、OS150、画像処理部160、音声処理部170、表示制御部190として機能する。

0046

拡張現実感処理部142は、拡張現実感処理を実行する。拡張現実感処理は、現実世界に実在する実オブジェクトに対して、仮想オブジェクトを付加して表示するための処理であり、以下の手順a1〜a6を含む。

0047

(a1)拡張現実感処理部142は、カメラ61により撮像された外景画像を取得する。
(a2)拡張現実感処理部142は、手順a1で取得した外景画像に含まれる実オブジェクトの中から、仮想オブジェクトを付加する対象となる実オブジェクト(以降、「対象オブジェクト」とも呼ぶ。)を特定する。
(a3)拡張現実感処理部142は、HMD100に対する対象オブジェクトの位置および距離を取得する。この際、拡張現実感処理部142は、ステレオカメラによって取得された2枚以上の外景画像を用いて位置および距離を算出してもよいし、図示しない各種のセンサー(例えば、深度センサー、測距センサー等)を用いて位置および距離を算出してもよい。

0048

(a4)拡張現実感処理部142は、仮想オブジェクトを表す画像、文字図形記号等を取得または生成する。拡張現実感処理部142は、仮想オブジェクトを記憶部120に予め記憶していてもよいし、仮想オブジェクトをHMD100にネットワーク接続されている他の装置から取得してもよい。
(a5)拡張現実感処理部142は、手順a3で取得した対象オブジェクトの位置および距離に合わせて、手順a4の仮想オブジェクトを配置し、他の部分に黒色を配置した付加画像データーを生成する。この位置合わせの際、拡張現実感処理部142は、対象オブジェクトの特徴部(エッジ等)を利用してもよいし、対象オブジェクトに付されたマーカー等の目印を利用してもよい。また、拡張現実感処理部142は、仮想オブジェクトを配置する際に、仮想オブジェクトに対して拡大、縮小、回転、色変換等の画像処理を施してもよい。
(a6)拡張現実感処理部142は、付加画像データーを画像処理部160へ送信する。画像処理部160は、受信した付加画像データーに対して、後述の表示処理を実行する。

0049

色調整部144は、目視色を制御するための色調整処理を実行する。色調整処理は、拡張現実感処理のサブルーチンとして、上述した手順a5と手順a6との間において実行される処理である。色調整処理の詳細は後述する。

0050

画像処理部160は、画像表示のための信号処理を行う。具体的には、画像処理部160は、インターフェイス180や無線通信部132を介してコンテンツ(映像)が入力されている場合、コンテンツに基づく画像データーDataを生成する。画像処理部160は、HMD100の他の機能部から画像データーを受信した場合、受信したデーターを画像データーDataとする。なお、画像処理部160は、画像データーDataに対して、解像度変換処理、輝度や彩度の調整といった種々の色調補正処理キーストーン補正処理等の画像処理を実行してもよい。画像処理部160は、上述の画像データーDataと、クロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、を、送信部51、52を介して、画像表示部20へ送信する。

0051

表示制御部190は、右表示駆動部22および左表示駆動部24を制御する制御信号を生成する。具体的には、表示制御部190は、制御信号により、左右のLCD制御部211、212による左右のLCD241、242の駆動ON/OFFや、左右のバックライト制御部201、202による左右のバックライト221、222の駆動ON/OFFを個別に制御することにより、右表示駆動部22および左表示駆動部24のそれぞれによる画像光の生成および射出を制御する。表示制御部190は、これらの制御信号を、送信部51、52を介して画像表示部20へ送信する。

0052

音声処理部170は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、右イヤホン32の図示しないスピーカーと、左イヤホン34の図示しないスピーカーとに対して供給する。

0053

インターフェイス180は、所定の有線通信規格に則って、外部装置OAとの間で通信を行う。所定の有線通信規格としては、例えば、MicroUSB(Universal Serial Bus)、USB、HDMI(High Definition Multimedia Interface、HDMIは登録商標)、DVI(Digital Visual Interface)、VGA(Video Graphics Array)、コンポジット、RS−232C(Recommended Standard 232)、IEEE802.3に例示される有線LAN等である。外部機器ОAとしては、例えば、パーソナルコンピューターPCや携帯電話端末ゲーム端末等を利用することができる。

0054

図3は、利用者に視認される虚像の一例を示す説明図である。図3(A)は、拡張現実感処理を実行していない場合の利用者の視野VRを例示している。上述のようにして、HMD100の利用者の両眼に導かれた画像光が利用者の網膜結像することにより、利用者は虚像VIを視認する。図3(A)の例では、虚像VIは、HMD100のOS150の待ち受け画面である。利用者は、右光学像表示部26および左光学像表示部28を透過して外景SCを視認する。このように、本実施形態のHMD100の利用者は、視野VRのうち虚像VIが表示された部分については、虚像VIと、虚像VIの背後に外景SCとを見ることができる。また、視野VRのうち虚像VIが表示されていない部分については、光学像表示部を透過して、外景SCを直接見ることができる。

0055

図3(B)は、拡張現実感処理を実行している場合の利用者の視野VRを例示している。拡張現実感処理を実行することによって、利用者は、仮想オブジェクトVOを含んだ虚像VIを視認する。仮想オブジェクトVOは、外景SCの山の麓に重畳するように配置されたリンゴの画像である。このように、利用者は、虚像VIに含まれる仮想オブジェクトVOと、虚像VIの背後に透過して見える外景SC内の実オブジェクトと、の両方を見ることで、拡張現実感を体感することができる。

0056

A−2.色調整処理:
色調整処理は、拡張現実感処理中において、目視色を制御する処理である。目視色とは、実オブジェクトの色と仮想オブジェクトの色とが重畳された色、換言すれば、利用者が実際に視認する色を意味する。色調整処理は、拡張現実感処理のサブルーチンとして、拡張現実感処理の手順a5と手順a6との間で実行される。なお、以降の色調整処理における「色」の特定には、RGB色空間またはHSB色空間における「RGB値」または「HSB値」を用いる。すなわち、本実施形態の「色」には、色相、彩度、明度の全てを含む。

0057

図4は、色調整処理の手順を示すフローチャートである。図5は、色調整処理の一例について説明する図である。図5の例では、車のディーラーにおいて、利用者URが、注文する車の車体の色を決める際に拡張現実感処理を利用する場合を示している。図6は、色調整処理の他の例について説明する図である。図6の例では、車のディーラーにおいて、利用者URが、注文する車に付加するアクセサリーを決める際に拡張現実感処理を利用する場合を示している。

0058

色調整処理(図4)のステップS100において色調整部144は、仮想オブジェクトを取得する。具体的には、色調整部144は、拡張現実感処理部142から仮想オブジェクトを含んだ付加画像データーを取得する。付加画像データーとは、拡張現実感処理の手順a5で生成されたデーターである。色調整部144は、例えば特徴部抽出(エッジ抽出)等の手法を用いて、取得した付加画像データーから仮想オブジェクトを抽出する。

0059

図5の例では、色調整部144は、拡張現実感処理部142から付加画像データーData1を取得し、車体を表す仮想オブジェクトVO1を抽出する。図6の例では、色調整部144は、拡張現実感処理部142から付加画像データーData2を取得し、フロントスポイラーを表す仮想オブジェクトVO2を抽出する。

0060

図4のステップS102において色調整部144は、外景画像から対象オブジェクトを取得する。対象オブジェクトとは、仮想オブジェクトを付加する対象となる実オブジェクトである。具体的には、色調整部144は、カメラ61に外景画像を撮像させ、カメラ61から外景画像を取得する。色調整部144は、例えば特徴部抽出(エッジ抽出)等の手法を用いて、取得した外景画像データーから対象オブジェクトを抽出する。

0061

図5の例では、色調整部144は、カメラ61から外景画像IM1を取得し、車を表す対象オブジェクト(実オブジェクト)FOを抽出する。同様に、図6の例では、色調整部144は、カメラ61から外景画像IM2を取得し、車を表す対象オブジェクトFOを抽出する。

0062

図4のステップS104において色調整部144は、色調整処理内において用いる変数x、yに1をセットする。変数x、yは、共に、1つの画素を特定するために用いられる。

0063

ステップS106において色調整部144は、仮想オブジェクトの(x,y)画素の目的の色を決定する。目的の色とは、拡張現実感処理が用いられる場面に応じて、以下の基準b1、b2のいずれかに沿って定められる。

0064

(b1)カタログ色:
対象オブジェクトが置かれている現実の環境(特に光環境)を考慮せずに、目的の色を定める。色調整部144は、ステップS100で抽出した仮想オブジェクトの(x,y)画素の色をそのまま目的の色としてもよいし、利用者によって指定された色をそのまま目的の色としてもよい。なお、仮想オブジェクトの(x,y)画素の色は、仮想オブジェクトが本来持つ色と、仮想オブジェクトのテクスチャを表現するための色と、仮想オブジェクトに当たる光を表現するための色と、仮想オブジェクトに生じる陰影を表現するための色と、のうちのいずれかとなる。このため、例えば仮想オブジェクトが「赤い車」であっても、仮想オブジェクトの(x,y)画素の色は、x,yの値に応じて(画素の位置に応じて)、例えば赤、白、色等、様々となる。基準b1は、対象オブジェクトの少なくとも一部を仮想オブジェクトで置換したい場合に採用されることが好ましい。置換したい場合とは、例えば、図5に示したディーラーにおける車体色シミュレーションや、住宅展示場における壁紙や床材のシミュレーション等である。

0065

(b2)マッチング色
対象オブジェクトが置かれている現実の環境(特に光環境)を考慮して(例えば、現実の環境に適合するようにしてもよいし、現実の環境から際立たせるようにしてもよい)、目的の色を定める。具体的には、色調整部144は、以下に例示する方法b2−1またはb2−2によって目的の色を定めることができる。基準b2は、対象オブジェクトに仮想オブジェクトを付加したい場合に採用されることが好ましい。付加したい場合とは、例えば、図6に示したディーラーにおけるアクセサリーのシミュレーションや、住宅展示場における家具のシミュレーション等である。

0066

(b2−1)色調整部144は、ステップS102で取得した対象オブジェクト(実オブジェクト)の色の統計色(例えば、平均色、中央色等)を求める。色調整部144は、求めた統計色を目的の色とする。
(b2−2)色調整部144は、ステップS102で取得した外景画像を画像認識することによって、対象オブジェクト(実オブジェクト)の各領域の輝度情報(影領域の情報、鏡面反射の情報、拡散反射の情報等)を収集する。色調整部144は、収集した輝度情報に基づいて、仮想オブジェクトに追加する光源の種類(点光源スポットライト、平行光源環境光天空光、IBL等)、光源の色温度、光源の強さ等のうちの少なくとも一部を決定する。色調整部144は、決定した種類、色温度、強さ等を持つ光源を、ステップS100で取得した仮想オブジェクトに合成する。色調整部144は、光源の合成後の仮想オブジェクトの(x,y)画素の色を目的の色とする。

0067

なお、ステップS106において、仮想オブジェクトが本来持つ色として利用者から指定された色は、ネットワークを介して他の装置の記憶装置に記憶されてもよい。他の装置に記憶された色は、種々の用途に使用可能である。例えば、他の装置に記憶された色は、利用者から指定された色を持つ製品(例えば、車や、壁紙や床材等)の注文や製造に使用されてもよいし、利用者の嗜好を把握するための分析に使用されてもよい。

0068

図4のステップS108において色調整部144は、対象オブジェクトの(x,y)画素の実物色を取得する。実物色とは、対象オブジェクト(仮想オブジェクトを付加する対象となる実オブジェクト)の実際の色である。具体的には、色調整部144は、ステップS102で取得した対象オブジェクトの(x,y)画素の色を、実物色として取得する。このように、本実施形態では、カメラ61により撮像された外景画像内の対象オブジェクトの色を実物色とみなしているため、標準機能として広く普及しているカメラ61を用いて実物色を検出することができる。

0069

ステップS110において色調整部144は、ステップS108で取得した対象オブジェクトの(x,y)画素の実物色の彩度(S値)が、彩度基準122に格納されている基準(S値)以上であるか否かを判定する。実物色の彩度が彩度基準122以上である場合(ステップS110:YES)、ステップS112以降の処理で色調整部144は、電子シェードを用いて外景の透過率を変更させることで目視色を制御する。一方、実物色の彩度が彩度基準122より小さい場合(ステップS110:NO)、ステップS118の処理で色調整部144は、仮想オブジェクトの色を調整することで目視色を制御する。

0070

電子シェードを用いて外景の透過率を変更させることで目視色を制御する場合について説明する。図4のステップS112において色調整部144は、対象オブジェクトの(x,y)画素に対応する部分の電子シェードをONにする。具体的には、色調整部144は、図2の右電子シェード261sのうちの対象オブジェクトの(x,y)画素に対応する画素と、左電子シェード262sのうちの対象オブジェクトの(x,y)画素に対応する画素と、に電圧を供給することで、当該画素部分の外光の透過率を減少させる。この際、色調整部144は、電子シェードへの供給電圧を最大(100%)にして外光を遮断してもよい。こうすれば、色調整部144における制御が単純となる。また、色調整部144は、対象オブジェクトの(x,y)画素の彩度に比例させて電子シェードへの供給電圧を1%〜100%の範囲で調整することで、外光の少なくとも一部を遮断してもよい。こうすれば、色調整部144はきめ細かく目視色を制御することができる。

0071

ステップS114において色調整部144は、仮想オブジェクトの(x,y)画素のCG色を変更せずに、そのままとする。CG色とは、画像データーに含まれる仮想オブジェクトの色である。

0072

仮想オブジェクトの色を調整することで目視色を制御する場合について説明する。図4のステップS118において色調整部144は、以下の実物色iと、CG色iiと、を加法混色した際に、目的の色iiiとなる(または近づく)色を求める。色調整部144は、仮想オブジェクトの(x,y)画素のCG色を、求めた色に変更する。
(i)ステップS108で取得した対象オブジェクトの(x,y)画素の実物色
(ii)CG色
(iii)ステップS106で決定した仮想オブジェクトの(x,y)画素の目的の色

0073

図4のステップS116において色調整部144は、処理を次の画素へ進めるための変数の制御を行う。具体的には、変数xが仮想オブジェクトの最終画素ではない場合、色調整部144は、変数xをインクリメントして、処理をステップS106へ遷移させる。これにより、処理対象が右隣の画素に遷移する。変数xが最終画素であり、かつ、変数yが最終画素ではない場合、色調整部144は、変数yをインクリメントして、変数xを1にして、処理をステップS106へ遷移させる。これにより、処理対象が1行下の画素列に遷移する。変数xおよび変数yが最終画素である場合、色調整部144は、処理を終了し、CG色の調整後における仮想オブジェクトを含んだ付加画像データーを、拡張現実感処理部142へ送信する。その後、色調整部144は処理を終了させる。

0074

図4に示した色調整処理の結果、図5図6に示すように、利用者URは、視野VRにおいて、CG色が調整された仮想オブジェクトVO1、VO2を含んだ虚像VIを視認する。また、利用者URは、画像表示部20を透過した外景SCにおいて、実オブジェクトFO(対象オブジェクト)を視認する。図5の仮想オブジェクトVO1は、実オブジェクトFOの車体部分全域に亘って重畳されて表示されているため、利用者URは、あたかも車の色が変わったような像を見ることができる。図6の仮想オブジェクトVO2は、実オブジェクトFOの車体下部において、その一部が重畳されて表示されているため、利用者URは、あたかも車にフロントスポイラーが付加されたような像を見ることができる。

0075

以上のように、上記色調整処理において色調整部144は、実オブジェクトFOの色(実物色)と仮想オブジェクトVOの色(CG色)とが重畳された色である目視色、換言すれば、利用者が視認する色である目視色を、色検出部(カメラ61)によって検出された実物色を用いて制御することができる。この結果、本実施形態の頭部装着型表示装置(HMD100)は、図5図6に例示したような様々な場面において、利用者URによる実際の見え方を考慮して、より適切な色表現を行うことが可能となる。

0076

さらに、ステップS110以降の色調整処理において、色調整部144は、実物色の彩度(色鮮やかさ)に応じて、外景SCの透過率を変更することで目視色を制御するのか、仮想オブジェクトVOの色を調整することで目視色を制御するのか、を使い分ける。実物色の彩度が高い(色鮮やかである)場合は、例えば外景SCの透過率を下げることによって、色鮮やかな実物色そのものを利用者に見えづらくすることで、仮想オブジェクトVOの色を強調することが有効である。一方、実物色の彩度が低い(くすんだ色である)場合は、仮想オブジェクトVOの色を調整した加法混色による調色を用いれば、表現できる色域を拡げることができる。このようにして色の分解能を向上させれば、微妙な色再現が可能となるため有効である。このようにすれば、色調整部144は、実物色の彩度に応じて、目視色を制御するためのより適切な方法を使い分けることができる。

0077

さらに、上記色調整処理において色調整部144は、目視色の制御を仮想オブジェクトVOの画素毎に実行するため、目視色の制御を簡単に行うことができる。また、仮想オブジェクトVOに複数の色が混在している場合であっても、目視色を制御することができる。なお、仮想オブジェクトVOに複数の色が混在している場合とは、仮想オブジェクトVOが本来持つ色が複数ある場合(例えば、ボディが青でが白いヨット)のほか、上述した1つの仮想オブジェクトVO(例えば、赤い車用のフロントスポイラー)に、仮想オブジェクトが本来持つ色と、仮想オブジェクトのテクスチャを表現するための色と、仮想オブジェクトに当たる光を表現するための色と、仮想オブジェクトに生じる陰影を表現するための色とが混在している場合も含む。

0078

A−3.色調整処理の変形:
なお、色調整処理(図4)には、以下のような変形1〜3を施してもよい。変形1〜3は単独で採用してもよいし、組み合わせて採用してもよい。

0079

A−3−1.変形1:
変形1では、実物色の彩度に応じた目視色の制御を省略する。

0080

一例では、色調整部144は、実物色の彩度によらず一律に、電子シェードを用いて外景の透過率を変更させることで目視色を制御する。具体的には、図4のステップS110とS118とを省略すればよい。このようにすれば、画像表示部20における外景SCの透過率を変更することで目視色を目的の色に近づけることができるため、頭部装着型表示装置(HMD100)における特別な画像処理を必要とせずに、目視色を制御することができる。

0081

他の例では、色調整部144は、実物色の彩度によらず一律に、仮想オブジェクトの色を調整することで目視色を制御する。具体的には、図4のステップS110とS112とS114とを省略すればよい。このようにすれば、仮想オブジェクトVOの色(CG色)を調整することで目視色を目的の色に近づけることができるため、頭部装着型表示装置(HMD100)が備える既存の構成に特別な構成(右電子シェード261s、左電子シェード262s)を追加することなく、目視色を制御することができる。

0082

A−3−2.変形2:
変形2では、目視色の制御を仮想オブジェクトVOの画素ブロック毎に実行する。画素ブロックとは、仮想オブジェクトVOの画素のうち、近隣の複数の画素をまとめたn×m(n、mは2以上の整数)の画素のまとまりである。「近隣の複数の画素」とは、隣り合って連続する複数の画素を意味する。

0083

図4のステップS104において色調整部144は、色調整処理内において用いる変数x、yに2をセットする。変数x、yは、共に、3×3画素から構成される画素ブロックを特定するために用いられる。

0084

ステップS106、S108、S112の説明のうち、「(x,y)画素」との記載は「(x,y)画素を中心とする画素ブロック」と読み替え、「(x,y)画素の色」との記載は「(x,y)画素を中心とする画素ブロックの色」と読み替える。色調整部144は、画素ブロックの色を、画素ブロックを構成する各画素の統計色(例えば、平均色、中央色等)によって求めることができる。

0085

ステップS116の説明のうち、「インクリメント」との記載は「元の値に3を加算」と読み替え、「変数xを1にし」との記載は「変数xを2にし」と読み替える。

0086

なお、上記例では、n=3、m=3を用いて3×3画素から構成される画素ブロックを採用した場合について例示したが、nとmとの値は任意に定めることができる。nの値とmの値とを異なる値としてもよい。

0087

変形2によれば、色調整部144は、目視色の制御を仮想オブジェクトVOの画素ブロック毎に実行するため、目視色の制御の結果が画素ごとにばらつくことを抑制することができる。また、仮想オブジェクトVOに複数の色が混在している場合であっても、目視色を制御することができる。

0088

A−3−3.変形3:
変形3では、表示系の位置合わせ(キャリブレーション)を実施する。

0089

HMD100には、予め、光学像表示部(左表示駆動部24および右光学像表示部26)と、カメラ61と、平均的な利用者の眼と、から構成される表示系の位置合わせがされている。変形3では、この規定の位置合わせの内容を、HMD100の利用者の個人差や、HMD100の個体差に合わせて変更可能である。具体的には、CPU140は、以下の手順c1、c2を実行する。以下の2つの手順は、位置合わせの精度向上の観点から、組み合わせて、かつ、手順c1、c2の順で実行されることが好ましいが、単独で実行されてもよい。

0090

(c1)利用者の眼間距離の調整:
CPU140は、右LCD241および左LCD242に対して、同一の第1の校正用画像を表示させる。本実施形態では、表示は無限遠とする。この時、CPU140は、左右のLCDのうちのいずれか一方に表示されている第1の校正用画像の位置を、ユーザーインターフェイス(例えば、トラックパッド14等)の操作により移動可能とする。利用者は、ユーザーインターフェイスを操作し、虚像として視認している左右の第1の校正用画像の位置を一致させた後、ユーザーインターフェイス(例えば、決定キー11等)を操作し、位置確定の旨をCPU140へ通知する。

0091

CPU140は、位置確定の旨を取得した際の、右LCD241における第1の校正用画像の位置と、左LCD242における第1の校正用画像の位置と、画像処理部160へ送信する。画像処理部160は、右LCD241における第1の校正用画像の位置を基準として、右LCD241における画像の表示範囲を調整する。同様に、画像処理部160は、左LCD242における第1の校正用画像の位置を基準として、左LCD242における画像の表示範囲を調整する。

0092

(c2)利用者による校正用画像と実オブジェクトとの位置合わせ:
CPU140は、右LCD241および左LCD242に対して、第2の校正用画像を表示させながら、当該第2の校正用画像に対応した実オブジェクト(例えば、2次元マーカー)を、カメラ61を介して認識する。この時、CPU140は、カメラ61(または光学表示部)に対する実オブジェクトの姿勢および位置を追跡する。CPU140は、左右のLCDに表示されている第2の校正用画像の位置を連動させて、ユーザーインターフェイス(例えば、トラックパッド14等)の操作により移動可能とする。この場合、利用者の操作がないときには、実オブジェクトの上記追跡に応じて、表示された第2の校正用画像の姿勢および位置が変わるようにしてもよい。なお、第2の校正用画像の表示範囲は、手順c1が実行されている場合は手順c1で調整された後の範囲であり、手順c1が実行されていない場合はデフォルトの範囲である。利用者は、ユーザーインターフェイスを操作し、虚像として視認している左右の第2の校正用画像と、光学像表示部を透過して視認している実オブジェクトとが重なる(位置、大きさ、向きの少なくとも1つがほぼ一致する)ように知覚したタイミングでユーザーインターフェイス(例えば、決定キー11等)を操作し、位置確定の旨をCPU140へ通知する。

0093

CPU140は、位置確定の旨を取得した際の、カメラ61の撮像により得られた画像(外景画像)における実オブジェクトの位置と、右LCD241における第2の校正用画像の位置と、左LCD242における第2の校正用画像の位置と、を取得する。CPU140は、取得した各位置の情報に基づいて、カメラ61の撮像範囲と、左右のLCD241、242における画像の表示範囲と、を調整する。なお、手順c2では、第2の校正用画像はLCD241、242上で移動可能であるが、第2の校正用画像は、固定された姿勢で、固定された位置に表示されてもよい。後者の場合には、利用者が第2の校正用画像と実オブジェクトとが重なるように知覚するように、利用者が実オブジェクトに対して移動すればよい。

0094

変形3の手順c1によれば、CPU140は、主に利用者の個人差に応じた表示系の位置合わせを行うことができる。変形3の手順c2によれば、CPU140は、主にHMD100の個体差に応じた表示系の位置合わせを行うことができる。これらの結果、CPU140は、拡張現実感処理において、実オブジェクトの位置と、仮想オブジェクトの位置と、をより精度よく合わせることができる。なお、第1の校正用画像と、第2の校正用画像とは、同じであってもよく異なっていてもよい。

0095

B.第2実施形態:
本発明の第2実施形態では、色調整処理において、現実の光環境に加えてさらに、仮想的な光環境を考慮して目視色を変更する。以下では、第1実施形態と異なる構成および動作を有する部分についてのみ説明する。なお、図中において第1実施形態と同様の構成および動作は先に説明した第1実施形態と同様の符号を付し、その詳細な説明を省略する。すなわち、以下に説明しない構成および動作は、上述した第1実施形態と同じである。

0096

B−1.頭部装着型表示装置の構成:
図7は、第2実施形態のHMD100aの構成を機能的に示すブロック図である。HMD100aは、制御部10に代えて制御部10aを備えている。制御部10aは、色調整部144に代えて色調整部144aを備え、記憶部120に代えて記憶部120aを備えている。色調整部144aは、色調整処理における処理内容の一部が第1実施形態と異なる。

0097

記憶部120aは、彩度基準122に加えてさらに、環境対応テーブル124と、プリセット群126と、を備えている。環境対応テーブル124には、複数のプリセット(プリセット群126)から1つのプリセットを特定するための情報が記憶されている。プリセット群126は、複数のプリセットにより構成されている。個々のプリセットには、それぞれ、付加画像データーを色変換するための情報が記憶されている。色変換するための情報には、例えば、ホワイトバランス調整のための情報(具体的には、例えば、RGB毎トーンカーブ調整内容、色温度の調整内容、色偏差の調整内容等のうちの、少なくとも一部)が含まれている。

0098

B−2.色調整処理:
図8は、第2実施形態の色調整処理について説明する図である。上述した第1実施形態の色調整処理では、対象オブジェクトが置かれている現実の光環境を考慮せず(図4、ステップS106、b1:カタログ色)、または、現実の光環境を考慮して(図4、ステップS106、b2:マッチング色)、目視色を制御した(図8破線枠)。第2実施形態では、このような現実の光環境に加えてさらに、仮想的な光環境を考慮して、目視色を変更することを可能とする。なお、「現実の光環境」とは、色調整処理の対象オブジェクトが置かれている現実の光環境を意味する。「仮想的な光環境」とは、HMD100aの利用者に対して視認させようとする仮想的な光環境を意味する。

0099

色調整部144aは、仮想的な光環境を考慮する場合、図4に示した色調整処理のステップS116において、付加画像データーを拡張現実感処理部142へ送信する前に、後述の色変換処理を実施する(図8実線枠)。一方、色調整部144aは、仮想的な光環境を考慮しない場合、図4に示した色調整処理をそのまま実施する(図8、破線枠)。この結果、色調整部144aは、図8に示す4パターンの処理を実施することができる。なお、色調整部144aは、仮想的な光環境を考慮するか否かについて、例えば、記憶部120a内に予め記憶されている設定の内容を参照して判断できる。この設定内容は、利用者によって変更可能であってもよい。

0100

B−2−1.色変換処理:
図9は、色変換処理の手順を示すフローチャートである。色変換処理は、付加画像データーを色変換することで、仮想的な光環境を考慮して、目視色を変更するための処理である。ステップS200において色調整部144aは、対象オブジェクトが置かれている現実の光環境を取得する。色調整部144aは、例えば、色調整処理(図4)のステップS106の基準b2−2と同様の方法を用いて、現実の光環境を取得することができる。

0101

ステップS202において色調整部144aは、仮想的な光環境を取得する。仮想的な光環境は、例えば、記憶部120a内に予め記憶されている設定の内容を参照して判断できる。この設定内容は、利用者によって変更可能であってもよい。

0102

ステップS204において色調整部144aは、環境対応テーブル124を参照して、採用すべきプリセットを取得する。

0103

図10は、環境対応テーブル124の一例を示す図である。環境対応テーブル124には、仮想的な光環境を実現するために、現実の光環境に応じて採用すべきプリセットの識別子が対応付けられて記憶されている。図10の例では、環境対応テーブル124には、例えば、仮想的な光環境「蛍光灯」を実現するために、現実の光環境が「蛍光灯」である場合にはプリセットを採用しないこと、現実の光環境が「白熱灯」である場合にはプリセット3を採用すること、現実の光環境が「太陽光」である場合にはプリセット5を採用すること、が記憶されている。仮想的な光環境「白熱灯」、「太陽光」についても同様であるため、説明は省略する。本実施形態では蛍光灯として昼光色を想定し、太陽光として晴天日中の太陽光を想定する。なお、図10の例では、光環境の一例として光源の種類を例示した。しかし、光環境としては、例えば、朝焼け、夕暮れ等のシーン的な要素が採用されてもよい。

0104

図9のステップS204において色調整部144aは、ステップS200で取得した現実の光環境と、ステップS202で取得した仮想的な光環境と、をキーとして環境対応テーブル124を検索し、プリセットの識別子を取得する。色調整部144aは、プリセット群126から、取得した識別子を有するプリセットを取得する。

0105

ステップS206において色調整部144aは、付加画像データーの全画素(黒色部分も含む全画素を意味する)に対して、ステップS204で取得したプリセットを適用する。この結果、付加画像データーの全体には、プリセットに予め記憶されているRGB毎のトーンカーブの調整、色温度の調整、色偏差の調整等が行われる。例えば、プリセット5(現実の光環境が太陽光、仮想的な光環境が蛍光灯の場合のプリセット)が適用された場合、付加画像データーの全体には、例えば色温度を4000Kとし、例えばBのトーンカーブを上昇させるような調整が行われる。このようにして、色調整部144aは、仮想オブジェクトが含まれる付加画像データーの全体を色変換することで、仮想的な光環境を考慮して目視色を変更することができる。この結果、本実施形態の頭部装着型表示装置(HMD100a)では、目視色の再現の幅が広がり、利用者における利便性を向上させることができる。

0106

なお、上述した色変換処理では、付加画像データーの色変換によって仮想的な光環境を考慮した目視色の制御を実現した。しかし、色調整部144aは、付加画像データーの色変換に代えて、または、付加画像データーの色変換と共に、電子シェードを利用することによって、仮想的な光環境を考慮した目視色の変更を実現してもよい。この場合、電子シェードの制御内容(例えば、電子シェードへの供給電圧の調整内容)は、例えば、プリセットに記憶されていてもよい。

0107

B−3.色調整処理の変形:
第2実施形態の色調整処理においても、上述した変形1〜3を採用してよい。変形1〜3は単独で採用してもよいし、組み合わせて採用してもよい。

0108

C.変形例:
上記実施形態において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。その他、以下のような変形も可能である。

0109

・変形例1:
上記実施形態では、HMDの構成について例示した。しかし、HMDの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。

0110

上記実施形態における制御部と画像表示部とに対する構成要素の割り振りは、あくまで一例であり、種々の態様を採用可能である。例えば、以下のような態様としてもよい。
(i)制御部にCPUやメモリー等の処理機能を搭載し、画像表示部には表示機能のみを搭載する態様
(ii)制御部と画像表示部との両方にCPUやメモリー等の処理機能を搭載する態様
(iii)制御部と画像表示部とを一体化した態様(例えば、画像表示部に制御部が含まれ眼鏡型のウェアラブルコンピューターとして機能する態様)
(iv)制御部の代わりにスマートフォン携帯型ゲーム機を使用する態様
(v)制御部と画像表示部とを無線LANや赤外線通信やBluetooth等の無線信号伝送路を介した接続により接続し、接続部(コード)を廃した態様。なお、この場合において、制御部または画像表示部に対する給電ワイヤレスにより実施してもよい。

0111

例えば、上記実施形態で例示した制御部、画像表示部の構成は任意に変更することができる。具体的には、例えば、制御部の送信部(Tx)および画像表示部の受信部(Rx)は、いずれも、双方向通信が可能な機能を備えており送受信部として機能してもよい。例えば、制御部が備えるとした操作用インターフェイス(各種キーやトラックパッド等)の一部を省略してもよい。例えば、制御部に操作用スティック等の他の操作用インターフェイスを備えてもよい。例えば、制御部にはキーボードマウス等のデバイス接続可能な構成として、キーボードやマウスから入力を受け付けるものとしてもよい。例えば、電源として二次電池を用いることしたが、電源としては二次電池に限らず、種々の電池を使用することができる。例えば、一次電池や、燃料電池太陽電池熱電池等を使用してもよい。

0112

図11は、変形例におけるHMDの外観の構成を示す説明図である。図11(A)の画像表示部20xは、右光学像表示部26xおよび左光学像表示部28xを備えている。これらは上記実施形態の光学部材よりも小さく形成され、HMDの装着時における利用者の左右の眼の斜め上にそれぞれ配置されている。図11(B)の画像表示部20yは、右光学像表示部26yおよび左光学像表示部28yを備えている。これらは上記実施形態の光学部材よりも小さく形成され、HMDの装着時における利用者の左右の眼の斜め下にそれぞれ配置されている。このように、光学像表示部は利用者の眼の近傍に配置されていれば足りる。光学像表示部を形成する光学部材の大きさは任意であり、光学像表示部が利用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が利用者の眼を完全に覆わない態様でもよい。

0113

例えば、制御部が備えるとした各処理部(例えば画像処理部、表示制御部、拡張現実感処理部等)は、当該機能を実現するために設計されたASIC(Application Specific IntegratedCircuit:特定用途向け集積回路)を用いて構成されてもよい。

0114

例えば、HMDは、両眼タイプの透過型HMDであるものとしたが、単眼タイプのHMDとしてもよい。例えば、利用者がHMDを装着した状態において外景の透過が遮断される非透過型HMDとして構成してもよいし、非透過型HMDにカメラを搭載したビデオシースルーとして構成してもよい。例えば、イヤホン耳掛け型ヘッドバンド型を採用してもよく、省略しても良い。

0115

例えば、眼鏡のように装着する画像表示部に代えて、通常の平面型ディスプレイ装置液晶ディスプレイ装置プラズマディスプレイ装置有機ELディスプレイ装置等)を採用してもよい。この場合も、制御部と画像表示部との間の接続は、有線、無線どちらでもよい。このようにすれば、制御部を、通常の平面型ディスプレイ装置のリモコンとして利用することができる。
例えば、眼鏡のように装着する画像表示部に代えて、例えば帽子のように装着する画像表示部や、ヘルメット等の身体防護具に内蔵された画像表示部といった、他の態様の画像表示部を採用してもよい。例えば、自動車飛行機等の車両、またはその他の交通手段に搭載されるヘッドアップディスプレイ(HUD、Head-Up Display)として構成されてもよい。

0116

例えば、画像光生成部は、上述した構成部(バックライト、バックライト制御部、LCD、LCD制御部)と共に、または、上述した構成部に代えて、他の方式を実現するための構成部を備えていても良い。例えば、画像光生成部は、有機EL(有機エレクトロルミネッセンス、Organic Electro-Luminescence)のディスプレイと、有機EL制御部とを備えていてもよい。例えば、画像生成部は、LCDに代えてデジタルマイクロミラー・デバイス等を備えていてもよい。例えば、レーザー網膜投影型の頭部装着型表示装置に対して本発明を適用することも可能である。

0117

・変形例2:
上記実施形態では、拡張現実感処理と、色調整処理との一例を示した。しかし、上記実施形態において示した処理の手順はあくまで一例であり、種々の変形が可能である。例えば、一部のステップを省略してもよいし、更なる他のステップを追加してもよい。実行されるステップの順序を変更してもよい。

0118

例えば、色調整処理(図4)は、拡張現実感処理の手順a4と手順a5との間において実行されてもよい。例えば、色調整部は、「色」の構成要素のうちの色相、彩度、明度のうちの少なくともいずれか1つについてのみ、色調整処理を実施してもよい。

0119

例えば、色調整処理のステップS106において色調整部は、画素ごと(または画素ブロックごと)に目的の色を決定しているが、色調整部は、仮想オブジェクト単位で目的の色を決定してもよい。仮想オブジェクト単位で目的の色を決定した場合、仮想オブジェクトは単色になる。この場合、ステップS116が終了した後、色調整部は処理をステップS108へ遷移させればよい。

0120

例えば、色調整処理のステップS108において、HMDがカラーセンサー等の他の色検出手段を備える場合、色調整部は、他の色検出手段を用いて実物色を取得してもよい。

0121

例えば、色調整処理のステップS110の判定は、最初の画素(または最初の画素ブロック)について1回実施するだけとし、2回目以降は「前回と同じ処理ルートを通る」こととして、省略してもよい。このようにすれば、色調整部における処理量を低減させることができる。

0122

例えば、色調整処理のステップS110の判定において、異なる複数の彩度基準(第1の彩度基準、第2の彩度基準、第1の彩度基準>第2の彩度基準の関係を満たす)を併用してもよい。例えば、色調整部は、実物色の彩度が第1の彩度基準以上である場合にステップS112以降の処理を実行し、実物色の彩度が第2の彩度基準以下である場合にステップS118以降の処理を実行し、実物色の彩度が第1の彩度基準より小さく、かつ、第2の彩度基準より大きい場合にステップS112以降の処理とステップS118以降の処理とを併用してもよい。このようにすれば、色調整部は、よりきめ細かな目視色の制御を実施することができる。

0123

例えば、色調整処理のステップS112において色調整部は、実オブジェクト近傍における紫外線や、赤外線等を取得し、取得した紫外線や赤外線の状態に応じて電子シェードの透過率を決定してもよい。

0124

例えば、色調整処理のステップS118において色調整部は、実物色の彩度と、実オブジェクト近傍における紫外線と、赤外線と、のうちの少なくともいずれかに基づいて、仮想オブジェクトのCG色を調整することに加えて、電子シェードを併用してもよい。

0125

例えば、上記実施形態で例示した実オブジェクトおよび仮想オブジェクトは任意に変更することができる。例えば、実オブジェクトには「実背景オブジェクト」を用いてもよい。また、実オブジェクトは平面的(例えば壁やスクリーン)であってもよく、仮想オブジェクトも平面的(例えば、実オブジェクトとしての壁に添付したように見える広告の画像)であってもよい。

0126

例えば、拡張現実感処理において利用者の眼前に形成される虚像には、仮想オブジェクトだけが含まれていてもよく、仮想オブジェクト以外の他の情報(例えば、メニューバー時計等)が含まれていてもよい。

0127

・変形例3:
本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

0128

10、10a…制御部
11…決定キー
12…点灯部
13…表示切替キー
14…トラックパッド
15…輝度切替キー
16…方向キー
17…メニューキー
18…電源スイッチ
20…画像表示部
21…右保持部
22…右表示駆動部
23…左保持部
24…左表示駆動部
26…右光学像表示部
28…左光学像表示部
30…イヤホンプラグ
32…右イヤホン
34…左イヤホン
40…接続部
42…右コード
44…左コード
46…連結部材
48…本体コード
51…送信部
52…送信部
53…受信部
54…受信部
61…カメラ(色検出部)
66…9軸センサー
110…入力情報取得部
100…HMD(頭部装着型表示装置)
120、120a…記憶部
122…彩度基準
124…環境対応テーブル
126…プリセット群
130…電源
132…無線通信部
140…CPU
142…拡張現実感処理部
144、144a…色調整部
160…画像処理部
170…音声処理部
180…インターフェイス
190…表示制御部
201…右バックライト制御部
202…左バックライト制御部
211…右LCD制御部
212…左LCD制御部
221…右バックライト
222…左バックライト
241…右LCD
242…左LCD
251…右投写光学系
252…左投写光学系
261…右導光板
262…左導光板
261s…右電子シェード
262s…左電子シェード
PCLK…クロック信号
VSync…垂直同期信号
HSync…水平同期信号
Data…画像データー
Data1…付加画像データー
Data2…付加画像データー
OA…外部機器
PC…パーソナルコンピューター
SC…外景
VI…虚像
VR…視野
RE…右眼
LE…左眼
ER…端部
EL…端部
VO…仮想オブジェクト
VO1…仮想オブジェクト
VO2…仮想オブジェクト
FO…対象オブジェクト(実オブジェクト)

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ