図面 (/)

技術 頭部装着型表示装置、情報システム、頭部装着型表示装置の制御方法、および、コンピュータープログラム

出願人 セイコーエプソン株式会社
発明者 藤巻由貴
出願日 2014年8月11日 (5年6ヶ月経過) 出願番号 2014-163647
公開日 2016年3月22日 (3年11ヶ月経過) 公開番号 2016-039599
状態 特許登録済
技術分野 特定用途計算機 計算機間の情報転送 テレビジョン受像機の構造の細部 表示装置の制御、回路 照明広告以外の広告
主要キーワード 並行状態 四角画像 本体コード 平均時刻 身体防護具 キャリブレーション設定 網膜投影 ヘッドバンド型
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年3月22日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (18)

課題

使用者に必要な広告の画像を頭部装着型表示装置画像表示部に表示させる。

解決手段

透過型の頭部装着型表示装置は;画像を表示すると共に外景を透過可能な画像表示部と;前記頭部装着型表示装置の位置を特定する位置特定部と;特定された前記位置の情報を他の装置へと送信し、送信された前記位置の情報に基づいて、他の装置から送信される表示用情報を受信する情報送受信部と;前記外景の中から前記表示用情報に含まれる識別対象画像を検出する画像検出部と;前記識別対象画像が検出された場合には、前記表示用情報に含まれると共に検出された前記識別対象画像に対応付けられた識別対象対応画像を前記画像表示部に表示させる表示画像制御部と、を備える。

概要

背景

頭部に装着する表示装置である頭部装着型表示装置ヘッドマウントディスプレイ(Head Mounted Display)、HMD)が知られている。頭部装着型表示装置は、例えば、液晶ディスプレイおよび光源を利用して画像光を生成し、生成された画像光を投写光学系導光板を利用して使用者の眼に導くことにより、使用者に虚像視認させる。頭部装着型表示装置には、使用者が虚像に加えて外景も視認可能な透過型と、使用者が外景を視認できない非透過型と、の2つのタイプがある。透過型の頭部装着型表示装置には、光学透過型とビデオ透過型とがある。

特許文献1には、HMDの使用者の位置と関連する特定の物体対応付けられた広告拡張現実の画像として表示させるHMDが開示されている。

概要

使用者に必要な広告の画像を頭部装着型表示装置の画像表示部に表示させる。透過型の頭部装着型表示装置は;画像を表示すると共に外景を透過可能な画像表示部と;前記頭部装着型表示装置の位置を特定する位置特定部と;特定された前記位置の情報を他の装置へと送信し、送信された前記位置の情報に基づいて、他の装置から送信される表示用情報を受信する情報送受信部と;前記外景の中から前記表示用情報に含まれる識別対象画像を検出する画像検出部と;前記識別対象画像が検出された場合には、前記表示用情報に含まれると共に検出された前記識別対象画像に対応付けられた識別対象対応画像を前記画像表示部に表示させる表示画像制御部と、を備える。

目的

本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア(コンピュータープログラム)は、コンピューター読み取り可能な記録媒体に格納された形で提供する

効果

実績

技術文献被引用数
0件
牽制数
1件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

透過型頭部装着型表示装置であって、画像を表示すると共に外景を透過可能な画像表示部と、前記頭部装着型表示装置の位置を特定する位置特定部と、特定された前記位置の情報を他の装置へと送信し、送信された前記位置の情報に基づいて、他の装置から送信される表示用情報を受信する情報送受信部と、前記外景の中から前記表示用情報に含まれる識別対象画像を検出する画像検出部と、前記識別対象画像が検出された場合には、前記表示用情報に含まれると共に検出された前記識別対象画像に対応付けられた識別対象対応画像を前記画像表示部に表示させる表示画像制御部と、を備える、頭部装着型表示装置。

請求項2

請求項1に記載の頭部装着型表示装置であって、前記画像検出部は、前記外景を撮像し、前記表示画像制御部は、撮像された前記外景の中に前記識別対象画像が検出された場合には、検出された前記識別対象画像に対応付けられた前記識別対象対応画像を前記画像表示部に表示させる、頭部装着型表示装置。

請求項3

請求項1に記載の頭部装着型表示装置であって、前記画像検出部は、前記画像表示部の向きを特定し、前記表示画像制御部は、特定された前記画像表示部の向きに基づいて前記外景の中に前記識別対象画像が検出された場合には、検出された前記識別対象画像に対応付けられた前記識別対象対応画像を前記画像表示部に表示させる、頭部装着型表示装置。

請求項4

請求項1から請求項3までのいずれか一項に記載の頭部装着型表示装置であって、さらに、前記頭部装着型表示装置の外部環境の状態を検出する状態検出部を備え、前記表示画像制御部は、検出された前記外部環境の状態に対応付けられた前記識別対象対応画像を前記画像表示部に表示させる、頭部装着型表示装置。

請求項5

請求項1から請求項4までのいずれか一項に記載の頭部装着型表示装置であって、さらに、特定の画像を前記画像表示部に表示させ、前記外景の中における特定の対象物の画像を検出し、前記特定の画像と前記特定の対象物の画像とに基づいて、前記画像表示部に表示される画像と前記対象物との位置関係校正する校正部を備え、前記表示画像制御部は、前記校正部によって校正された後、前記外景の中に検出される前記特定の対象物の画像の位置に基づいて、前記画像表示部に表示させた前記識別対象対応画像を変更する、頭部装着型表示装置。

請求項6

請求項1から請求項5までのいずれか一項に記載の頭部装着型表示装置であって、さらに、個人情報を記憶する個人情報記憶部を備え、前記表示画像制御部は、使用者の個人情報に基づいて設定した前記識別対象対応画像を前記画像表示部に表示させる、頭部装着型表示装置。

請求項7

請求項6に記載の頭部装着型表示装置であって、使用者の前記個人情報は、使用者が過去に滞在した場所についての情報である、頭部装着型表示装置。

請求項8

請求項1から請求項7までのいずれか一項に記載の頭部装着型表示装置であって、さらに、特定された前記位置と、検出された前記識別対象画像の基となる看板の位置と、の距離を測定する距離測定部を備え、前記表示画像制御部は、測定された前記距離に基づいて、前記画像表示部に表示させる前記識別対象対応画像の表示態様を設定する、頭部装着型表示装置。

請求項9

請求項8に記載の頭部装着型表示装置であって、前記表示画像制御部は、前記画像表示部に表示させる前記識別対象対応画像の表示態様として、画像の大きさと表示位置との少なくとも一方を設定する、頭部装着型表示装置。

請求項10

透過型の頭部装着型表示装置であって、画像を表示すると共に外景を透過可能な画像表示部と、前記頭部装着型表示装置の位置を特定する位置特定部と、前記画像表示部に表示される識別対象対応画像を含む表示用情報を記憶する広告情報記憶部と、前記外景の中から前記表示用情報に含まれる識別対象画像を検出する画像検出部と、前記外景の中に前記識別対象画像が検出された場合には、検出された前記識別対象画像に対応付けられた前記識別対象対応画像を前記画像表示部に表示させる表示画像制御部と、を備える、頭部装着型表示装置。

請求項11

透過型の頭部装着型表示装置であって、画像を表示すると共に外景を透過可能な画像表示部と、他の装置から送信される表示用情報を受信する情報送受信部と、前記外景の中から前記表示用情報に含まれる識別対象画像を検出する画像検出部と、前記識別対象画像が検出された場合には、前記表示用情報に含まれると共に検出された前記識別対象画像に対応付けられた識別対象対応画像を前記画像表示部に表示させる表示画像制御部と、を備える、頭部装着型表示装置。

請求項12

情報を記憶して送信する情報記憶装置と、前記情報記憶装置と情報を送受信する透過型の頭部装着型表示装置と、を有する、情報システムであって、前記頭部装着型表示装置は、前記頭部装着型表示装置の位置を特定する位置特定部と、特定された前記位置の情報を前記情報記憶装置へと送信する情報送信部と、を備え、前記情報記憶装置は、前記情報送信部から送信された前記位置の情報に基づいて、前記情報記憶装置に記憶された情報から表示用情報を選択する情報選択部と、選択された前記表示用情報を、前記頭部装着型表示装置へと送信する選択情報送信部と、を備え、前記頭部装着型表示装置は、画像を表示すると共に外景を透過可能な画像表示部と、前記外景の中から前記表示用情報に含まれる識別対象画像を検出する画像検出部と、前記外景の中に前記識別対象画像が検出された場合には、前記表示用情報に含まれると共に検出された前記識別対象画像に対応付けられた識別対象対応画像を前記画像表示部に表示させる表示画像制御部と、を備える、情報システム。

請求項13

画像を表示すると共に外景を透過可能な画像表示部と、他の装置との情報の送受信を行なう情報送受信部と、を有する透過型の頭部装着型表示装置の制御方法であって、コンピューターが、前記頭部装着型表示装置の位置を特定する工程と、特定された前記位置の情報を他の装置へと送信する工程と、送信された前記位置の情報に基づいて、他の装置から送信される表示用情報を受信する工程と、前記外景の中から前記表示用情報に含まれる識別対象画像を検出する工程と、前記識別対象画像が検出された場合には、前記表示用情報に含まれると共に検出された前記識別対象画像に対応付けられた識別対象対応画像を前記画像表示部に表示させる工程と、を備える、制御方法。

請求項14

画像を表示すると共に外景を透過可能な画像表示部を有する透過型の頭部装着型表示装置のためのコンピュータープログラムであって、前記頭部装着型表示装置の位置を特定する位置特定機能と、特定された前記位置の情報を他の装置へと送信し、送信された前記位置の情報に基づいて、他の装置から送信される表示用情報を受信する情報送受信機能と、前記外景の中から前記表示用情報に含まれる識別対象画像を検出する看板検出機能と、前記外景に前記識別対象画像が検出された場合には、前記表示用情報に含まれると共に検出された前記識別対象画像に対応付けられた識別対象対応画像を前記画像表示部に表示させる表示画像制御機能と、をコンピューターに実現させる、コンピュータープログラム。

技術分野

0001

本発明は、頭部装着型表示装置に関する。

背景技術

0002

頭部に装着する表示装置である頭部装着型表示装置(ヘッドマウントディスプレイ(Head Mounted Display)、HMD)が知られている。頭部装着型表示装置は、例えば、液晶ディスプレイおよび光源を利用して画像光を生成し、生成された画像光を投写光学系導光板を利用して使用者の眼に導くことにより、使用者に虚像視認させる。頭部装着型表示装置には、使用者が虚像に加えて外景も視認可能な透過型と、使用者が外景を視認できない非透過型と、の2つのタイプがある。透過型の頭部装着型表示装置には、光学透過型とビデオ透過型とがある。

0003

特許文献1には、HMDの使用者の位置と関連する特定の物体対応付けられた広告拡張現実の画像として表示させるHMDが開示されている。

先行技術

0004

特表2013−521576号公報

発明が解決しようとする課題

0005

しかし、特許文献1に記載された技術では、使用者に視認されていない特定の物体に対応付けられた広告が表示されない場合や、使用者に視認されていても使用者にとって不要な広告が表示されてしまう場合があり、使用者の利便性を向上させる余地があった。そのほか、従来のHMDにおいては、HMDの小型化等が望まれていた。

課題を解決するための手段

0006

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。

0007

(1)本発明の一形態によれば、透過型の頭部装着型表示装置が提供される。この頭部装着型表示装置は、画像を表示すると共に外景を透過可能な画像表示部と;前記頭部装着型表示装置の位置を特定する位置特定部と;特定された前記位置の情報を他の装置へと送信し、送信された前記位置の情報に基づいて、他の装置から送信される表示用情報を受信する情報送受信部と;前記外景の中から前記表示用情報に含まれる識別対象画像を検出する画像検出部と;前記識別対象画像が検出された場合には、前記表示用情報に含まれると共に検出された前記識別対象画像に対応付けられた識別対象対応画像を前記画像表示部に表示させる表示画像制御部と、を備える。この形態の頭部装着型表示装置によれば、頭部装着型表示装置の使用者が識別対象画像を視認できると共に識別対象画像に対応付けられた識別対象対応画像を視認できるため、使用者の利便性が向上する。

0008

(2)上記形態の頭部装着型表示装置において、前記画像検出部は、前記外景を撮像し;前記表示画像制御部は、撮像された前記外景の中に前記識別対象画像が検出された場合には、検出された前記識別対象画像に対応付けられた前記識別対象対応画像を前記画像表示部に表示させてもよい。この形態の頭部装着型表示装置によれば、撮像されていない識別対象画像に対応付けられた識別対象対応画像が表示されないため、使用者は、自身が視認する看板のみに対応付けられた識別対象対応画像を視認でき、不要な識別対象対応画像を視認せずに済むため、使用者の利便性を向上させることができる。

0009

(3)上記形態の頭部装着型表示装置において、前記画像検出部は、前記画像表示部の向きを特定し;前記表示画像制御部は、特定された前記画像表示部の向きに基づいて前記外景の中に前記識別対象画像が検出された場合には、検出された前記識別対象画像に対応付けられた前記識別対象対応画像を前記画像表示部に表示させてもよい。この形態の頭部装着型表示装置によれば、使用者は、自身の視線方向上にある識別対象画像に対応付けられた識別対象対応画像を視認でき、視線方向上に存在しない識別対象画像に対応付けられた不要な識別対象対応画像を視認せずに済み、使用者の利便性がさらに向上する。

0010

(4)上記形態の頭部装着型表示装置において、さらに;前記頭部装着型表示装置の外部環境の状態を検出する状態検出部を備え;前記表示画像制御部は、検出された前記外部環境の状態に対応付けられた前記識別対象対応画像を前記画像表示部に表示させてもよい。この形態の頭部装着型表示装置によれば、頭部装着型表示装置の外部環境も考慮された識別対象対応画像が画像表示部に表示されるため、使用者は、その場の状況に合った情報を認識できるため、使用者の利便性がさらに向上する。

0011

(5)上記形態の頭部装着型表示装置において、さらに;特定の画像を前記画像表示部に表示させ、前記外景の中における特定の対象物の画像を検出し、前記特定の画像と前記特定の対象物の画像とに基づいて、前記画像表示部に表示される画像と前記対象物との位置関係校正する校正部を備え;前記表示画像制御部は、前記校正部によって校正された後、前記外景の中に検出される前記特定の対象物の画像の位置に基づいて、前記画像表示部に表示させた前記識別対象対応画像を変更してもよい。この形態の頭部装着型表示装置によれば、実際の特定の対象物と画像表示部に表示された特定の画像とを重畳させることで、使用者は、特定の対象物と特定の画像とを同一の空間にある物体として認識でき、使用者の操作における使い勝手が向上する。

0012

(6)上記形態の頭部装着型表示装置において、さらに;個人情報を記憶する個人情報記憶部を備え;前記表示画像制御部は、使用者の個人情報に基づいて設定した前記識別対象対応画像を前記画像表示部に表示させてもよい。この形態の頭部装着型表示装置によれば、頭部装着型表示装置の使用者の個人情報も考慮された識別対象対応画像が画像表示部に表示されるため、使用者は、自分の好みに合った情報を認識できるため、使用者の利便性がさらに向上する。

0013

(7)上記形態の頭部装着型表示装置において、使用者の前記個人情報は、使用者が過去に滞在した場所についての情報であってもよい。この形態の頭部装着型表示装置によれば、頭部装着型表示装置の使用者の過去に滞在した場所も考慮された画像が画像表示部に表示されるため、使用者は、滞在する頻度の高い場所の情報をその他の場所の情報よりも優先的に認識できるため、使用者の利便性がさらに向上する。

0014

(8)上記形態の頭部装着型表示装置において、さらに;特定された前記位置と、検出された前記識別対象画像の基となる看板の位置と、の距離を測定する距離測定部を備え;前記表示画像制御部は、測定された前記距離に基づいて、前記画像表示部に表示させる前記識別対象対応画像の表示態様を設定してもよい。この形態の頭部装着型表示装置によれば、頭部装着型表示装置の使用者は、視認する実際の看板の位置に加え、画像表示部に表示される識別対象対応画像に基づいて、看板の位置を認識できるため、使用者の利便性がさらに向上する。

0015

(9)上記形態の頭部装着型表示装置において、前記表示画像制御部は、前記画像表示部に表示させる前記識別対象対応画像の表示態様として、画像の大きさと表示位置との少なくとも一方を設定してもよい。この形態の頭部装着型表示装置によれば、頭部装着型表示装置の使用者は、識別対象対応画像の大きさまたは表示位置によって看板の位置との距離を認識できるため、より看板の位置との距離を認識しやすい。

0016

(10)本発明の他の形態によれば、透過型の頭部装着型表示装置が提供される。この頭部装着型表示装置は、画像を表示すると共に外景を透過可能な画像表示部と;前記頭部装着型表示装置の位置を特定する位置特定部と;前記画像表示部に表示される識別対象対応画像を含む表示用情報を記憶する広告情報記憶部と;前記外景の中から前記表示用情報に含まれる識別対象画像を検出する画像検出部と;前記外景の中に前記識別対象画像が検出された場合には、検出された前記識別対象画像に対応付けられた前記識別対象対応画像を前記画像表示部に表示させる表示画像制御部と、を備える。この形態の頭部装着型表示装置によれば、他の情報記憶装置と情報の送受信を行なわなくても済むため、使用者の利便性を向上させ、かつ、頭部装着型表示装置を小型化できる。

0017

(11)本発明の他の形態によれば、透過型の頭部装着型表示装置が提供される。この頭部装着型表示装置は、画像を表示すると共に外景を透過可能な画像表示部と;他の装置から送信される表示用情報を受信する情報送受信部と;前記外景の中から前記表示用情報に含まれる識別対象画像を検出する画像検出部と;前記識別対象画像が検出された場合には、前記表示用情報に含まれると共に検出された前記識別対象画像に対応付けられた識別対象対応画像を前記画像表示部に表示させる表示画像制御部と、を備える。この形態の頭部装着型表示装置によれば、頭部装着型表示装置の位置情報がなくても、検出された識別対象画像と受信された表示用情報とに基づいて、識別対象対応画像が表示されるため、使用者の利便性を向上させることができる。

0018

上述した本発明の各形態の有する複数の構成要素はすべてが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな他の構成要素との差し替え、限定内容の一部削除を行なうことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。

0019

例えば、本発明の一形態は、画像表示部と、位置特定部と、情報送受信部と、画像検出部と、表示画像制御部と、の5つの要素の内の一つまたは二つ以上を備えた装置として実現可能である。すなわち、この装置は、画像表示部を有していてもよく、有していなくてもよい。また、装置は、位置特定部を有していてもよく、有していなくてもよい。また、装置は、情報送受信部を有していてもよく、有していなくてもよい。また、装置は、画像検出部を有していてもよく、有していなくてもよい。また、装置は、表示画像制御部を有していてもよく、有していなくてもよい。画像表示部は、例えば、画像を表示すると共に外景を透過可能であってもよい。位置特定部は、例えば、前記頭部装着型表示装置の位置を特定してもよい。例えば、情報送受信部は、特定された位置の情報を他の装置へと送信し、送信された位置の情報に基づいて、他の装置から送信される表示用情報を受信してもよい。画像検出部は、例えば、外景の中から表示用情報に含まれる識別対象画像を検出してもよい。表示画像制御部は、例えば、識別対象画像が検出された場合には、表示用情報に含まれると共に検出された識別対象画像に対応付けられた識別対象対応画像を画像表示部に表示させてもよい。こうした装置は、例えば、頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置としても実現可能である。このような形態によれば、装置の操作性の向上および簡易化、装置の一体化や、装置を使用する使用者の利便性の向上、等の種々の課題の少なくとも1つを解決することができる。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。

0020

本発明は、頭部装着型表示装置以外の種々の形態で実現することも可能である。例えば、頭部装着型表示装置の制御方法、頭部装着型表示装置を有する情報システム、頭部装着型表示装置の制御方法および情報システムを実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、および、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号等の形態で実現できる。

図面の簡単な説明

0021

本発明の第1実施形態における情報システムの概略構成を示す説明図である。
サーバーの構成を機能的に示すブロック図である。
サーバーの広告DBに記憶された看板の画像のそれぞれに対応付けられた広告情報の一例を示す一覧表である。
HMDの構成を機能的に示すブロック図である。
HMDの使用者の滞在情報の一例を示す一覧表である。
画像光生成部によって画像光が射出される様子を示す説明図である。
広告表示処理のフローチャートである。
カメラ撮像画像の一例を示す説明図である。
検出看板の広告画像が表示された場合に使用者が視認する視野の一例を示す説明図である。
HMDの使用者の視線方向が変化した後に使用者が視認する視野の一例を示す説明図である。
第2実施形態のHMDの構成を機能的に示すブロック図である。
第2実施形態における広告表示処理のフローチャートである。
キャリブレーション設定が実行されている場合に使用者が視認する視野の一例を示す説明図である。
検出看板の広告画像が表示された場合に使用者が視認する視野の一例を示す説明図である。
キャリブレーション操作が行なわれた後に使用者が視認する視野の一例を示す説明図である。
変形例における広告表示処理のフローチャートである。
変形例におけるHMDの外観構成を示す説明図である。

実施例

0022

A.第1実施形態:
A−1.情報システムの構成:
図1は、本発明の第1実施形態における情報システム500の概略構成を示す説明図である。情報システム500は、使用者の頭部に装着され、虚像を使用者に視認させるヘッドマウントディスプレイ100(Head Mounted Display、HMD100)と、HMD100などの情報端末に、各地に設置されている看板と、看板のそれぞれの位置を特定する位置情報および看板のそれぞれに対応付けられた画像情報と、を含む広告情報を記憶しているサーバー300と、を備えている。情報システム500では、HMD100によって検出された種々の情報に応じて、サーバー300からHMD100へとサーバー300に記憶された広告情報が送信される。なお、情報システム500において、本実施形態では、HMD100とサーバー300とが1つずつしか備えられていないが、他の実施形態では、HMD100およびサーバー300の少なくとも一方が複数備えられていてもよい。

0023

図2は、サーバー300の構成を機能的に示すブロック図である。サーバー300は、HMD100に送信する広告情報を記憶している記憶部320と、記憶部320に記憶されている広告情報の内の少なくとも1部をHMD100に送信する通信部330と、CPU310と、を備えている。記憶部320は、ROMやRAM等によって構成されている。記憶部320は、看板の画像と、看板の画像のそれぞれに対応付けられた広告情報を記憶している広告データベース325(広告DB325)を有している。広告DB325に格納されている広告情報の詳細については、後述する。また、記憶部320は、各種コンピュータープログラムを格納している。

0024

通信部330は、無線LANブルートゥース登録商標)といった所定の無線通信方式に則って他の機器との間で無線通信を行なう。通信部330は、サーバー300とHMD100との間で各種情報を送受信する。CPU310は、記憶部320に格納されているコンピュータープログラムを読み出して実行する。CPU310は、通信部330を介して受信されたHMD100の画像表示部20の位置情報やHMD100に備え付けられている外景を撮像するカメラ61の撮像画像などの情報に基づいて、広告DB325に記憶された広告情報から少なくとも一部を選択する情報選択部312を備える。なお、画像表示部20の位置などを特定する方法については、後述する。情報選択部312は、選択した広告情報の一部である選択情報を、通信部330を介して、HMD100に送信する。なお、本実施形態におけるサーバー300は、請求項における情報記憶装置に相当し、サーバー300の通信部330は、請求項における選択情報送信部に相当する。

0025

図3は、サーバー300の広告DB325に記憶された看板の画像のそれぞれに対応付けられた広告情報の一例を示す一覧表である。図3には、広告DB325に記憶された広告情報の一部の店舗広告データSDが一覧で示されている。店舗別広告データSDでは、店舗の店舗名称ごとに、カテゴリーと、看板の位置と、画像情報とが区別されている。詳細については後述するが、カテゴリーと看板の位置とに基づいて、サーバー300からHMD100へと送信される選択情報が広告情報から選択される。また、サーバー300から送信された選択情報に対応付けられた画像情報に基づいて、HMD100に表示される画像の表示態様などが設定される。

0026

以下では、店舗別広告データSDの情報の詳細について説明する。例えば、図3に示すように、店舗名称が「富士」である店舗のカテゴリーは、飲食であり、店舗名称が「カラオケJO」である店舗のカテゴリーは、娯楽である。店舗別広告データSDにおける看板の位置は、看板が設置されている場所の緯度および経度を特定する。例えば、店舗名称が「富士」である店舗の看板の位置の緯度および経度のそれぞれは、「130.x・・・xx1」と「33.y・・・yy1」である。

0027

店舗別広告データSDにおける画像情報は、画像の種類と、ページ数と、時刻制限と、環境制限とに区別されている。画像の種類は、HMD100に表示される場合の画像の種類である。例えば、店舗名称が「富士」である店舗の画像の種類は、「文字」の画像(単に、「文字画像」とも呼ぶ)である。文字画像は、HMD100に表示された場合に、時間が経過しても変化せず、文字によって表された静止画像である。また、店舗名称が「××肉店」の画像の種類は「動画」であり、動画は、時間の経過に伴ってHMD100に表示される画像が変化する画像である。ページ数は、HMD100に表示される画像の階層構造を示している。例えば、店舗名称が「富士」である店舗のページ数は「2」であるため、2階層の画像の構造になっている。そのため、特定の時点では、HMD100に表示される画像は1種類であるが、所定の操作を受け付けることにより、HMD100に表示される画像がもう1種類の画像に変更される。テンポ情報が「カラオケJO」である店舗のページ数は「1」であるため、HMD100に表示される画像は1種類である。

0028

時刻制限は、HMD100に表示される画像の時刻についての設定である。例えば、店舗名称が「富士」である店舗の時刻制限は11時から20時であるため、「富士」に対応付けられた画像がHMD100に表示される時刻が11時から20時までに限られており、これ以外の時刻では、「富士」に対応付けられた画像は表示されない。また、店舗名称が「カラオケJO」の店舗の時刻制限は、10時から18時までと、18時から24時までの2通りである。そのため、10時から18時にHMD100に表示される「カラオケJO」に対応付けられた画像と、18時から24時までにHMD100に表示される「カラオケJO」に対応付けられた画像とは異なる。また、店舗名称が「○○薬局」の店舗の時刻制限はないため、1日の24時間を通して、HMD100には同じ画像が表示される。

0029

環境制限は、HMD100に表示される画像を変更する条件についてのHMD100の外部環境の設定である。例えば、店舗名称が「富士」である店舗の環境制限は、外部の温度が「摂氏30度(30℃)」であるため、30℃を境界としてHMD100に表示される画像が異なる。また、店舗名称が「カラオケJO」の店舗の環境制限は、「雨」であるため、天候が雨の場合と雨以外の場合とでHMD100に表示される画像が異なる。また、店舗名称が「○○薬局」である店舗の環境制限は、「なし」であるため、外部環境に関わらず、HMD100に表示される画像は同じである。

0030

図1に示すHMD100は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。なお、本明細書では、HMD100によって使用者が視認する虚像を便宜的に「表示画像」ともいう。また、コンテンツ等の画像データに基づいて生成された画像光を射出することを「画像を表示する」ともいう。

0031

HMD100は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部20と、画像表示部20を制御する制御部10(コントローラー10)と、を備えている。

0032

画像表示部20は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部20は、右保持部21と、右表示駆動部22と、左保持部23と、左表示駆動部24と、右光学像表示部26と、左光学像表示部28と、カメラ61と、マイク63と、温度計65とを含んでいる。右光学像表示部26および左光学像表示部28は、それぞれ、使用者が画像表示部20を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部26の一端と左光学像表示部28の一端とは、使用者が画像表示部20を装着した際の使用者の眉間に対応する位置で、互いに接続されている。

0033

右保持部21は、右光学像表示部26の他端である端部ERから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部23は、左光学像表示部28の他端である端部ELから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部21および左保持部23は、眼鏡テンプル(つる)のようにして、使用者の頭部に画像表示部20を保持する。

0034

右表示駆動部22と左表示駆動部24とは、使用者が画像表示部20を装着した際の使用者の頭部に対向する側に配置されている。なお、以降では、右保持部21および左保持部23を総称して単に「保持部」とも呼び、右表示駆動部22および左表示駆動部24を総称して単に「表示駆動部」とも呼び、右光学像表示部26および左光学像表示部28を総称して単に「光学像表示部」とも呼ぶ。

0035

表示駆動部22,24は、液晶ディスプレイ241,242(Liquid Crystal Display、以下「LCD241,242」とも呼ぶ)や投写光学系251,252等を含む(図4参照)。表示駆動部22,24の構成の詳細は後述する。光学部材としての光学像表示部26,28は、導光板261,262(図4参照)と調光板とを含んでいる。導光板261,262は、光透過性樹脂材料等によって形成され、表示駆動部22,24から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部20の表側を覆うように配置されている。調光板は、導光板261,262を保護し、導光板261,262の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整できる。なお、調光板は省略可能である。

0036

カメラ61は、使用者が画像表示部20を装着した際の使用者の眉間に対応する位置に配置されている。そのため、カメラ61は、使用者が画像表示部20を頭部に装着した状態において、使用者の視線方向の外部の景色である外景を撮像し、撮像画像を取得する。本実施形態のカメラ61は、使用者の視野とほぼ同じとなるような画角に設定されている。カメラ61は、単眼カメラであるが、ステレオカメラであってもよい。マイク63は、外部の音声を取得する装置である。マイク63は、使用者が画像表示部20を装着した際の右表示駆動部22における使用者と対向する側の反対側(外側)に配置されている。温度計65は、外部環境の温度(摂氏)を測定する。なお、温度計65は、請求項における状態検出部に相当する。

0037

画像表示部20は、さらに、画像表示部20を制御部10に接続するための接続部40を有している。接続部40は、制御部10に接続される本体コード48と、右コード42と、左コード44と、連結部材46と、を含んでいる。右コード42と左コード44とは、本体コード48が2本に分岐したコードである。右コード42は、右保持部21の延伸方向の先端部APから右保持部21の筐体内に挿入され、右表示駆動部22に接続されている。同様に、左コード44は、左保持部23の延伸方向の先端部APから左保持部23の筐体内に挿入され、左表示駆動部24に接続されている。連結部材46は、本体コード48と、右コード42および左コード44と、の分岐点に設けられ、イヤホンプラグ30を接続するためのジャックを有している。イヤホンプラグ30からは、右イヤホン32および左イヤホン34が延伸している。

0038

画像表示部20と制御部10とは、接続部40を介して各種信号伝送を行なう。本体コード48における連結部材46とは反対側の端部と、制御部10と、のそれぞれには、互いに嵌合するコネクター(図示しない)が設けられている。本体コード48のコネクターと制御部10のコネクターとの嵌合/嵌合解除により、制御部10と画像表示部20とが接続されたり切り離されたりする。右コード42と、左コード44と、本体コード48とには、例えば、金属ケーブル光ファイバーを採用できる。

0039

制御部10は、HMD100を制御するための装置である。制御部10は、決定キー11と、点灯部12と、表示切替キー13と、トラックパッド14と、輝度切替キー15と、方向キー16と、メニューキー17と、電源スイッチ18と、を含んでいる。決定キー11は、押下操作を検出して、制御部10で操作された内容を決定する信号を出力する。点灯部12は、HMD100の動作状態を、その発光状態によって通知する。HMD100の動作状態としては、例えば、電源のON/OFF等がある。点灯部12としては、例えば、LEDが用いられる。表示切替キー13は、押下操作を検出して、例えば、コンテンツ動画の表示モードを3Dと2Dとに切り替える信号を出力する。トラックパッド14は、トラックパッド14の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド14としては、静電式圧力検出式、光学式といった種々のトラックパッドを採用できる。輝度切替キー15は、押下操作を検出して、画像表示部20の輝度増減する信号を出力する。方向キー16は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ18は、スイッチのスライド操作を検出することで、HMD100の電源投入状態を切り替える。

0040

図4は、HMD100の構成を機能的に示すブロック図である。図4に示すように、制御部10は、記憶部120と、電源130と、GPSモジュール137と、無線通信部132と、操作部135と、CPU140と、インターフェイス180と、送信部51(Tx51)および送信部52(Tx52)と、を有している。

0041

GPSモジュール137は、GPS衛星からの信号を受信することにより、画像表示部20の現在位置を特定して、画像表示部20の位置を示す位置情報を生成する。言い換えれば、GPSモジュール137は、画像表示部20を含むHMD100の位置を特定する。画像表示部20の現在位置が特定されることで、HMD100を装着した使用者の現在位置が特定される。なお、GPSモジュール137は、請求項における位置特定部に相当する。

0042

無線通信部132は、無線LANやブルートゥース(登録商標)といった所定の無線通信方式に則って他の機器との間で無線通信を行なう。無線通信部132は、GPSモジュール137によって特定された画像表示部20の位置情報を、サーバー300の通信部330へと送信する。通信部330が画像表示部20の位置情報を受信すると、サーバー300の情報選択部312は、記憶部320の広告DB325に記憶されると共に、特定された画像表示部20の現在位置から所定の距離にある看板の位置(図3)の看板の画像および広告情報を選択する。通信部330は、情報選択部312によって選択された看板の位置に対応付けられた看板の画像および画像情報(図3)と看板の位置とを対応付けた情報を選択情報として、HMD100の無線通信部132へと送信する。無線通信部132は、通信部330から送信された選択情報を受信する。また、無線通信部132は、サーバー300とは異なるサーバーから、特定された画像表示部20の現在位置の天気の状態および現在の時刻についての情報を取得できる。なお、無線通信部132は、請求項における情報送受信部および状態検出部に相当する。

0043

電源130は、HMD100の各部に電力を供給する。電源130としては、例えば二次電池を用いることができる。

0044

記憶部120は、種々のコンピュータープログラムを格納している。記憶部120は、ROMやRAM等によって構成されている。記憶部120は、選択情報記憶部122と、過去履歴記憶部124とを有している。選択情報記憶部122は、無線通信部132を介して、サーバー300から送信された選択情報を記憶する。選択情報記憶部122に記憶された選択情報や後述するカメラ61によって撮像された撮像画像などに基づいて、画像表示部20に選択情報に含まれる画像情報に対応付けられた画像が表示される。

0045

過去履歴記憶部124は、HMD100の過去における滞在情報を記憶している。滞在情報は、所定の周期でHMD100の現在位置がGPSモジュール137によって特定されることで生成される。具体的には、周期的に特定される画像表示部20の現在位置が、一定の期間の後、ある時点で特定された位置から所定の範囲内(例えば、5メートル以内)に含まれる場合には、画像表示部20の使用者が特定された位置に滞在したと判定される。そのため、過去履歴記憶部124に記憶された滞在情報から、特定の位置に存在する店舗に画像表示部20の使用者が滞在した時間などを判定できる。なお、過去履歴記憶部124は、請求項における個人情報記憶部に相当する。

0046

図5は、HMD100の使用者の滞在情報VDの一例を示す一覧表である。滞在情報VDには、滞在場所と、1ヶ月あたりの滞在頻度との項目について、それぞれの値が記憶されている。滞在場所の項目では、滞在場所の仮名称としての滞在IDと、滞在場所の緯度および経度とが区別されている。1ヶ月あたりの滞在頻度は、前日から遡って直近1ヶ月の履歴から情報が作成されている。滞在頻度の項目では、1ヶ月あたりの合計の滞在時間と、1ヶ月あたりに滞在した回数と、1回の滞在した平均滞在時間と、滞在したときの時刻の中央の平均である中央平均時刻と、が区別されている。例えば、図5に示すように、滞在IDが場所Aの緯度は「130.x・・・xx1」、場所Aの経度は「33.y・・・yy1」である。HMD100の使用者は、場所Aに1ヶ月あたり合計240分間滞在しており、1ヶ月当たり2回滞在している。そのため、1ヶ月あたりの平均滞在時間は、120分である。また、使用者が場所Aに滞在した中央平均時刻は、19時30分である。なお、本実施形態では、場所Aと場所Bと場所Cと場所Dとのそれぞれは、図3における「富士」と「カラオケJO」と「○○薬局」と「××肉店」との店舗と同じ場所であるが、他の実施形態では、異なる場所であってもよい。

0047

CPU140(図4)は、記憶部120に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム150(OS150)、表示制御部190、音声処理部170、画像処理部160、環境情報処理部169、看板検出部168、過去履歴照合部166、距離測定部161、および、表示設定部165として機能する。

0048

表示制御部190は、右表示駆動部22および左表示駆動部24を制御する制御信号を生成する。具体的には、表示制御部190は、制御信号により、右LCD制御部211による右LCD241の駆動ON/OFF、右バックライト制御部201による右バックライト221の駆動ON/OFF、左LCD制御部212による左LCD242の駆動ON/OFF、左バックライト制御部202による左バックライト222の駆動ON/OFFなど、を個別に制御する。これにより、表示制御部190は、右表示駆動部22および左表示駆動部24のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部190は、右表示駆動部22および左表示駆動部24の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。

0049

表示制御部190は、右LCD制御部211と左LCD制御部212とに対する制御信号のそれぞれを、送信部51および52を介して送信する。また、表示制御部190は、右バックライト制御部201と左バックライト制御部202とに対する制御信号のそれぞれを送信する。

0050

画像処理部160は、コンテンツに含まれる画像信号を取得する。画像処理部160は、取得した画像信号から、垂直同期信号VSyncや水平同期信号HSync等の同期信号を分離する。また、画像処理部160は、分離した垂直同期信号VSyncや水平同期信号HSyncの周期に応じて、PLL(Phase Locked Loop)回路等(図示しない)を利用してクロック信号PCLKを生成する。画像処理部160は、同期信号が分離されたアナログ画像信号を、A/D変換回路等(図示しない)を用いてディジタル画像信号に変換する。その後、画像処理部160は、変換後のディジタル画像信号を、対象画像の画像データ(RGBデータ)として、1フレームごとに記憶部120内のDRAMに格納する。なお、画像処理部160は、必要に応じて、画像データに対して、解像度変換処理、輝度、彩度の調整といった種々の色調補正処理キーストーン補正処理等の画像処理を実行してもよい。

0051

画像処理部160は、生成されたクロック信号PCLK、垂直同期信号VSync、水平同期信号HSync、記憶部120内のDRAMに格納された画像データ、のそれぞれを、送信部51、52を介して送信する。なお、送信部51を介して送信される画像データを「右眼用画像データ」とも呼び、送信部52を介して送信される画像データを「左眼用画像データ」とも呼ぶ。送信部51、52は、制御部10と画像表示部20との間におけるシリアル伝送のためのトランシーバーとして機能する。

0052

音声処理部170は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材46に接続された右イヤホン32内のスピーカー(図示しない)および左イヤホン34内のスピーカー(図示しない)に対して供給する。なお、例えば、Dolby(登録商標)システムを採用した場合、音声信号に対する処理がなされ、右イヤホン32および左イヤホン34のそれぞれからは、例えば周波数等が変えられた異なる音が出力される。また、音声処理部170は、マイク63が取得した外部の音声に対して、音声認識を行なう。音声認識によって認識された外部の音声が予め設定された所定の音声であった場合には、音声処理部170は、取得した音声が所定の音声であることを示す信号を操作部135へと送信する。操作部135は、決定キー11などが押下されたキー操作に加え、音声処理部170から送信された信号に基づいて、HMD100の各種操作を実行する。

0053

看板検出部168は、パターンマッチングや統計的識別法によって、カメラ61によって撮像された撮像画像の中から、選択情報記憶部122に記憶された選択情報に対応付けられた看板の画像(以降、単に「検出看板」とも呼ぶ)を検出する。また、看板検出部168は、GPSモジュール137によって特定された画像表示部20の位置と、撮像画像の中から検出看板の位置とに基づいて、カメラ61の向きを特定する。すなわち、看板検出部168は、カメラ61が配置された画像表示部20の向きを特定できる。看板検出部168が撮像画像の中から、少なくとも1つの選択情報に対応付けられた看板の画像を検出すると、検出看板に対応付けられた店舗の店舗別広告データSDを表示設定部165および環境情報処理部169へと送信する。なお、看板検出部168とカメラ61とGPSモジュール137とは、請求項における画像検出部に相当し、検出された看板の画像は、請求項における識別対象画像に相当する。

0054

環境情報処理部169は、温度計65によって測定されたHMD100の外部の温度と、看板検出部168から送信された店舗別広告データSDにおける環境制限とを照合する。環境情報処理部169は、温度計65によって測定されたHMD100の外部の温度と、店舗別広告データSDにおける環境制限との照合結果と、を表示設定部165へと送信する。

0055

距離測定部161は、GPSモジュール137によって特定された画像表示部20の現在位置と、選択情報記憶部122に記憶されると共に検出看板に対応付けられた看板の位置とに基づいて、画像表示部20と検出看板の位置との距離を測定する。

0056

過去履歴照合部166は、検出看板に対応付けられた店舗別広告データSDと、過去履歴記憶部124に記憶されたHMD100の使用者の滞在情報VDとを照合する。過去履歴照合部166は、検出看板の店舗別広告データSDと滞在情報VDとの照合結果を表示設定部165へと送信する。

0057

表示設定部165は、看板検出部168から送信された検出看板に対応付けられた店舗別広告データSDと、環境情報処理部169から送信された照合結果とに基づいて、画像表示部20に表示させる画像の表示態様を設定し、画像表示部20に画像を表示させる。画像表示部20に表示される画像の具体的な態様については、後述する「A−2.広告表示処理」において説明する。なお、環境情報処理部169と、表示設定部165と、看板検出部168とは、請求項における表示画像制御部に相当する。

0058

操作部135は、使用者による物理的な操作を受け付ける、決定キー11、表示切替キー13、トラックパッド14、輝度切替キー15、方向キー16、メニューキー17、電源スイッチ18、および、音声処理部170によって音声認識されて送信された信号に基づいて、画像表示部20の各種操作を実行する。

0059

インターフェイス180は、制御部10に対して、コンテンツの供給元となる種々の外部機器OAを接続するためのインターフェイスである。外部機器OAとしては、例えば、パーソナルコンピューター(PC)や携帯電話端末ゲーム端末等、がある。インターフェイス180としては、例えば、USBインターフェイスマイクロUSBインターフェイス、メモリーカード用インターフェイス等、を用いることができる。

0060

画像表示部20は、右表示駆動部22と、左表示駆動部24と、右光学像表示部26としての右導光板261と、左光学像表示部28としての左導光板262と、カメラ61と、マイク63と、温度計65とを備えている。

0061

右表示駆動部22は、受信部53(Rx53)と、光源として機能する右バックライト制御部201(右BL制御部201)および右バックライト221(右BL221)と、表示素子として機能する右LCD制御部211および右LCD241と、右投写光学系251と、を含んでいる。右バックライト制御部201と右バックライト221とは、光源として機能する。右LCD制御部211と右LCD241とは、表示素子として機能する。

0062

受信部53は、制御部10と画像表示部20との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部201は、入力された制御信号に基づいて、右バックライト221を駆動する。右バックライト221は、例えば、LEDやエレクトロルミネセンス(EL)等の発光体である。右LCD制御部211は、受信部53を介して入力されたクロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、右眼用画像データと、に基づいて、右LCD241を駆動する。右LCD241は、複数の画素マトリクス状に配置した透過型液晶パネルである。

0063

右投写光学系251は、右LCD241から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部26としての右導光板261は、右投写光学系251から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼REに導く。

0064

左表示駆動部24は、右表示駆動部22と同様の構成を有している。左表示駆動部24は、受信部54(Rx54)と、光源として機能する左バックライト制御部202(左BL制御部202)および左バックライト222(左BL222)と、表示素子として機能する左LCD制御部212および左LCD242と、左投写光学系252と、を含んでいる。左バックライト制御部202と左バックライト222とは、光源として機能する。左LCD制御部212と左LCD242とは、表示素子として機能する。なお、左バックライト制御部202と、左LCD制御部212と、左バックライト222と、左LCD242と、を総称して「画像光生成部」とも呼ぶ。また、左投写光学系252は、左LCD242から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部28としての左導光板262は、左投写光学系252から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼LEに導く。なお、左投写光学系252と左導光板262とを総称して「導光部」とも呼ぶ。

0065

図6は、画像光生成部によって画像光が射出される様子を示す説明図である。右LCD241は、マトリクス状に配置された各画素位置液晶を駆動することによって、右LCD241を透過する光の透過率を変化させることにより、右バックライト221から照射される照明光ILを、画像を表わす有効な画像光PLへと変調する。左側についても同様である。なお、図6に示すように、本実施形態ではバックライト方式を採用したが、フロントライト方式や、反射方式を用いて画像光を射出する構成としてもよい。

0066

A−2.情報検出処理
図7は、広告表示処理のフローチャートである。広告表示処理は、制御部10が各種処理を実行することによって実行される。広告表示処理では、検出看板に対応付けられた広告情報が、HMD100の外部の温度などに基づいて設定された表示態様で、画像として画像表示部20に表示される。

0067

広告表示処理では、初めに、操作部135が所定の操作を受け付けると、広告表示処理のアプリ起動する(ステップS10)。広告表示処理のアプリが起動すると、制御部10は、広告表示処理を実行するために必要なカメラ61などの各種装置を起動する(ステップS12)。次に、起動したGPSモジュール137は、画像表示部20の現在位置を特定する(ステップS14)。画像表示部20の現在位置が特定されると、無線通信部132は、サーバー300の通信部330へと画像表示部20の位置情報を送信する(ステップS16)。次に、無線通信部132は、送信した画像表示部20の位置情報に基づいてサーバー300によって選択された選択情報を受信する(ステップS18)。

0068

無線通信部132が選択情報を受信すると、カメラ61は、外景の撮像を開始する(ステップS20)。次に、看板検出部168は、カメラ61の撮像画像の中から、無線通信部132によって受信された選択情報に含まれる看板の画像と同一の画像を検出するのを監視する(ステップS22)。言い換えれば、看板検出部168は、撮像画像に検出看板が含まれるか否かを判定する。撮像画像に検出看板が含まれなかった場合には(ステップS22:NO)、看板検出部168は、引き続き、撮像画像に検出看板が含まれるかを監視する(ステップS22)。撮像画像に検出看板が含まれた場合には(ステップS22:YES)、距離測定部161は、GPSモジュール137によって特定された画像表示部20の現在位置と、選択情報記憶部122に記憶された看板の位置と、に基づいて、画像表示部20と検出看板の位置との距離を測定する(ステップS24)。

0069

図8は、カメラ61の撮像画像IMGの一例を示す説明図である。図8に示す撮像画像IMGは、使用者が装着したHMD100に配置されたカメラ61が撮像した外景SCの画像である。撮像画像IMGにおいて、看板検出部168は、選択情報記憶部122に記憶された選択情報の店舗別広告データSDに含まれる看板の画像と同一の看板として、看板AB1と看板AB2と看板AB3との3つの看板を検出する。図8に示すように、「富士」の看板AB1は、「富士」の店舗の出入口の前に設置され、「カラオケJO」の看板AB2は、「カラオケJO」の出入口の上側に設置され、「○○薬局」の看板AB3は、「○○薬局」の店舗の出入口の前に設置されている。なお、「××肉店」の看板自体は、画像表示部20の現在位置の近くに存在するものの、撮像範囲には写っていない。距離測定部161は、画像表示部20の現在位置と、看板検出部168によって検出された看板AB1,AB2,AB3のそれぞれの位置との距離を測定する。

0070

画像表示部20の現在位置と検出看板のそれぞれの位置との距離が測定されると、無線通信部132と、温度計65および環境情報処理部169とは、環境情報を取得する(図7のステップS16)。環境情報には、無線通信部132によって取得される画像表示部20の現在位置の天気の情報および時刻と、温度計65および環境情報処理部169によって測定される画像表示部20の外部の温度とが含まれる。次に、過去履歴照合部166は、過去履歴記憶部124に記憶されたHMD100の使用者の滞在情報VDと、検出看板である看板AB1,AB2,AB3のそれぞれの店舗と、の関係を照合する(ステップS28)。

0071

次に、表示設定部165は、検出看板である看板AB1,AB2,AB3と、看板AB1,AB2,AB3のそれぞれの店舗別広告データSDと、看板AB1,AB2,AB3のそれぞれの位置と画像表示部20との距離と、環境情報と、使用者の滞在情報VDと、に基づいて、店舗別広告データSDに含まれる広告の画像を画像表示部20に表示させるための表示態様を設定する(ステップS28)。設定された表示態様の一例としては、表示設定部165は、画像表示部20との距離が近い位置の検出看板と対応付けられた文字画像のフォントを大きくしたり、現在の時刻と使用者の滞在情報VDにおける中央平均時刻が近い店舗の広告を、画像光生成部が画像光を生成できる範囲の中央部分に表示させたり、滞在情報VDにおける滞在時間が長い店舗の広告を目立つように点滅させた態様である。表示態様が設定されると、表示設定部165および画像処理部160は、設定された表示態様に基づいて、画像光生成部に画像光を生成して、広告の画像を表示させる(ステップS32)。

0072

図9は、検出看板の広告画像TX1,TX2が表示された場合に使用者が視認する視野VRの一例を示す説明図である。図9には、画像光生成部が画像光を生成できる最大の領域である画像表示最大領域PNの中に、「富士」に対応付けられた広告画像TX1と、「カラオケJO」に対応付けられた広告画像TX2と、がHMD100の使用者に視認された状態が示されている。広告画像TX1は、「富士」の本日の会員割引とお勧めメニューとを示す文字画像である。広告画像TX2は、「カラオケJO」の30分あたりの料金が300円であることを示す文字画像である。広告画像TX1,TX2のそれぞれは、看板AB1,AB2のそれぞれに対応付けられた文字画像であり、検出看板である看板AB1,AB2のそれぞれの位置の近くに表示されている。また、画像表示部20の現在位置から、看板AB2の位置と看板AB3の位置とまでのそれぞれの距離は、ほぼ同じである。一方で、無線通信部132によって取得された天気および現在の時刻のそれぞれは、晴天で17時である。また、環境情報処理部169および温度計65によって取得された外部の温度は、31℃である。図3に示すように、店舗別広告データSDにおける「富士」の環境制限で、摂氏30度が設定されているため、画像表示最大領域PN(図9)には、30℃以上の場合に対応した「富士」の広告画像TX1が表示されている。また、現在の時刻が17時であるため、店舗別広告データSDにおいて、「富士」、「カラオケJO」、「○○薬局」のいずれの時刻制限にも該当する。しかし、滞在情報VD(図5)における「○○薬局」では、平均中央時刻は、8時であり、現在の時刻よりも9時間前である。本実施形態では、表示設定部165は、現在の時刻よりも平均中央時刻が5時間以上空いている場合には、当該広告の画像を画像表示最大領域PNに表示しない。また、滞在情報VDの「富士」における使用者の1ヶ月あたりの滞在時間および滞在回数数値は、「カラオケJO」の滞在時間および滞在回数よりも数値が大きい。そのため、表示設定部165は、「富士」の看板AB1に対応付けられた広告画像TX1のフォントを、「カラオケJO」に対応付けられた広告画像TX2のフォントよりも太く、大きく設定する。また、店舗別広告データSD(図3)の「富士」におけるページ数は、「2」に設定されているため、操作部135が所定の操作を受け付けることにより、表示設定部165は、画像表示最大領域PN内の広告画像TX1に表示させる文字画像を変更する。なお、広告画像TX1,TX2は、請求項における識別対象対応画像に相当する。

0073

画像表示最大領域PNに広告画像TX1,TX2が表示されると(図7のステップS32)、GPSモジュール137が画像表示部20の現在位置の変化を検出すると共に、看板検出部168がカメラ61の撮像画像の変化に基づくHMD100の使用者の視線方向の変化を検出する(ステップS34)。画像表示部20の現在位置と使用者の視線方向との少なくとも一方に変化が検出された場合には(ステップS34:YES)、制御部10は、ステップS14以降の処理を繰り返す。

0074

図10は、HMD100の使用者の視線方向が変化した後に使用者が視認する視野VRの一例を示す説明図である。図10には、使用者の視線方向が図9に示した状態よりもさらに左を向いた状態が示されている。なお、画像表示部20の現在位置は、図9の状態から変更されていない。図10に示すように、「カラオケJO」の看板AB2が検出看板でなくなったため、表示設定部165は、看板AB2に対応付けられた広告画像TX2を非表示に設定する。また、本実施形態では、広告の画像を画像表示最大領域PNの中心部分には表示させないように予め設定されているため、表示設定部165は、看板AB1に対応付けられた「富士」の広告画像TX3として、画像表示最大領域PNに表示させる位置を広告画像TX1(図9)から変更する。なお、図10の状態では、図9の状態と比較して、時刻および天気に変更はない。広告画像TX3は、請求項における識別対象対応画像に相当する。

0075

図7のステップS34の処理において、画像表示部20の現在位置に変化がなく、かつ、使用者の視線方向に変化がないと判定された場合には(ステップS34:NO)、制御部10は、広告表示処理を終了するか否かを判定する(ステップS36)。本実施形態では、操作部135が広告表示処理を終了する所定の操作を受け付けると、制御部10は、広告表示処理を終了する。操作部135が広告表示処理を終了する所定の操作を受け付けなかった場合には(ステップS36:NO)、制御部10は、ステップS34以降の処理を繰り返す。ステップS36の処理において、操作部135が広告表示処理を終了する所定の操作を受け付けると(ステップS36:YES)、制御部10は、広告表示処理を終了する。

0076

以上説明したように、本実施形態のHMD100では、GPSモジュール137がHMD100の現在位置を特定し、無線通信部132は、特定されたHMD100の位置情報をサーバー300へと送信し、サーバー300から送信された選択情報を受信する。看板検出部168およびGPSモジュール137が画像表示部20の向きを特定し、表示設定部165は、検出看板である看板AB1,AB2に対応付けられた広告画像TX1,TX2を画像表示部20に表示させる。そのため、本実施形態のHMD100では、HMD100の使用者は、視認できる範囲の実物の看板AB1,AB2に加え、検出看板に対応付けられた広告画像TX1,TX2も視認でき、より多くの情報を入手できるため、使用者の利便性が向上する。また、使用者は、自身の視線方向に存在する看板AB1、AB2に対応付けられた広告画像TX1,TX2を視認できるが、使用者からの看板の位置が近くても、視線方向から外れた方向に存在する看板に対応付けられた情報を視認しなくて済むため、必要な情報のみを視認できる。

0077

また、本実施形態のHMD100では、看板検出部168は、カメラ61の撮像画像の中から看板AB1,AB2を検出し、表示設定部165は、検出看板の看板AB1,AB2に対応付けられた広告画像TX1,TX2を画像表示部20に表示させる。そのため、本実施形態のHMD100では、使用者の視線方向上に存在しても、使用者に視認されない看板に対応付けられた広告画像が画像表示部20に表示されず、使用者は、不要な広告画像を視認せずに済み、使用者の利便性がさらに向上する。

0078

また、本実施形態のHMD100では、環境情報として、GPSモジュール137が他のサーバーから現在の時刻および画像表示部20の現在位置の天気の情報を取得し、温度計65および環境情報処理部169が画像表示部20の外部の温度を取得し、表示設定部165は、取得した環境情報に応じて、画像表示部20に表示させる広告画像TX1,TX2を設定する。そのため、本実施形態のHMD100では、画像表示部20の現在位置および画像表示部20の向きに加え、画像表示部20の外部の情報も踏まえた画像が画像表示最大領域PNに表示されるため、使用者は、その場の状況に合った情報を視認できるため、使用者の利便性がさらに向上する。

0079

また、本実施形態のHMD100では、記憶部120の過去履歴記憶部124は、使用者の過去の滞在情報VDを記憶し、表示設定部165は、滞在情報VDと撮像画像IMGの中に検出された看板AB1、AB2に対応付けられた店舗別広告データSDとに基づいて、広告画像TX1,TX2を画像表示最大領域PNに表示させる。そのため、本実施形態のHMD100では、画像表示部20の現在位置および画像表示部20の向きに加え、使用者の滞在情報VDも踏まえた広告画像が画像表示部20に表示されるため、使用者は、自分の好みに合った情報を視認できるため、使用者の利便性がさらに向上する。

0080

また、本実施形態のHMD100では、距離測定部161およびGPSモジュール137が画像表示部20の現在位置と検出看板の位置との距離を測定し、表示設定部165は、測定された距離に基づいて、検出看板である看板AB1,AB2に対応付けられた広告画像TX1,TX2の文字画像のフォントの大きさを設定した。そのため、本実施形態のHMD100では、より近くに存在する看板に対応付けられた広告情報に含まれる文字画像ほど大きく画像表示部20に表示されるため、使用者は、画像表示部20に表示された広告画像TX1,TX2によって検出看板の位置との距離を認識でき、使用者の利便性がさらに向上する。

0081

B.第2実施形態:
B−1.HMDの構成:
図11は、第2実施形態のHMD100aの構成を機能的に示すブロック図である。第2実施形態のHMD100aでは、第1実施形態のHMD100と比較して、制御部10aの記憶部120aが過去履歴記憶部124を有していない点と、制御部10aのCPU140aが過去履歴照合部166および環境情報処理部169の代わりにキャリブレーション設定部167として機能する点と、画像表示部20aが温度計65を備えていない点とが異なり、その他の構成については、第1実施形態のHMD100と同じである。

0082

キャリブレーション設定部167は、カメラ61の撮像画像の中に検出された特定の対象物としてのHMD100aの使用者の人差し指と、画像表示部20aの画像表示最大領域PN内に表示される広告画像と、相対的な位置関係を定義する。具体的な定義の方法については、「B−2.広告表示処理」において説明する。なお、キャリブレーション設定部167は、請求項における校正部に相当する。

0083

B−2.広告表示処理:
図12は、第2実施形態における広告表示処理のフローチャートである。第2実施形態の広告表示処理では、第1実施形態の広告表示処理(図7)と比較して、ステップS44およびステップS62の処理が追加されている点と、図7のステップS26およびステップS28の処理が削除されている点とが異なり、他の処理については、第1実施形態の広告表示処理と同じである。そのため、第2実施形態では、第1実施形態の広告表示処理と同じ処理については、詳細な説明は省略する。

0084

第2実施形態の広告表示処理では、広告表示処理のアプリが起動すると(図12ステップS40)、CPU140aが各種装置を起動させた後に(ステップS42)、CPU140aのキャリブレーション設定部167がキャリブレーション設定を実行する(ステップS44)。キャリブレーション設定では、初めに、表示設定部165は、キャリブレーション設定を実行するための画像である設定画像を画像表示部20aの画像表示最大領域PNに表示させる。その後、カメラ61が撮像を開始する。キャリブレーション設定部167は、カメラ61の撮像画像の中に検出される特定の対象物として予め設定された使用者の人差し指の位置の変化と、画像表示最大領域PNに表示された設定画像との関係に基づいて、キャリブレーション設定を実行する。

0085

図13は、キャリブレーション設定が実行されている場合に使用者が視認する視野VRの一例を示す説明図である。図13には、キャリブレーション設定を実行するための設定画像CGが外景SCに重畳して表示され、カメラ61の撮像画像に使用者の右手HDが撮像されている状態が示されている。設定画像CGは、矩形状の四角画像BGと、5つの円形画像P1,P2,P3,P4,P5と、4つの矢印画像CS1,Cs2、CS3,CS4とによって構成されている。円形画像P1は、四角画像BGの1つの頂点の近傍の左上に形成され、円形画像P2は、四角画像BGの右上の頂点の近傍に形成され、円形画像P3は、四角画像BGの右下の頂点の近傍に形成され、円形画像P4は、四角画像BGの左下の頂点の近傍に形成され、円形画像P5は、四角画像BGの中央に形成される。矢印画像CS1は、円形画像P1から円形画像P2へと直線で結んだ矢印であり、矢印画像CS2は、円形画像P2から円形画像P3へと直線で結んだ矢印であり、矢印画像CS3は、円形画像P3から円形画像P4へと直線で結んだ矢印であり、矢印画像CS4は、円形画像P4から円形画像P5へと直線で結んだ矢印である。

0086

キャリブレーション設定部167は、設定画像CGが画像表示最大領域PN内に表示された後に、右手HDの人差し指FFを撮像画像の中に検出する。その後、キャリブレーション設定部167は、人差し指FFが円形画像P1を起点として、矢印画像CS1、矢印画像CS2、矢印画像CS3、矢印画像CS4に沿って順々に、円形画像P1、円形画像P2、円形画像P3、円形画像P4、円形画像P5と重複する動きを検出することで、設定画像CGの位置関係と外景SCに含まれる人差し指FFとの位置関係を定義する。これにより、キャリブレーション設定部167は、カメラ61によって撮像された人差し指FFが画像表示最大領域PNにおけるどの位置の画素に対応しているかを設定する。なお、設定画像CGは、請求項における特定の画像に相当し、右手HDの人差し指FFは、請求項における特定の対象物に相当する。

0087

キャリブレーション設定が実行されると(図12のステップS44)、制御部10aがステップS46からステップS56の処理を行なう。その後、表示設定部165は、検出看板と、検出看板のそれぞれの店舗別広告データSDと、検出看板のそれぞれの位置と画像表示部20との現在位置との距離と、に基づいて、画像表示部20に表示させる広告画像の表示態様を設定する(ステップS58)。次に、表示設定部165および画像処理部160は、設定された表示態様に基づいて、広告画像を画像表示部20に表示させる(ステップS58)。

0088

図14は、検出看板の広告画像TX2,TX4が表示された場合に使用者が視認する視野VRの一例を示す説明図である。図14に示すように、第2実施形態では、表示設定部165は、検出看板である看板AB1に対応付けられた広告画像TX4を画像表示最大領域PNに表示させる。広告画像TX4は、選択可能な2つのアイコン画像IC1,IC2を含んでいる。キャリブレーション設定後に、使用者が人差し指FFをアイコン画像IC1またはアイコン画像IC2に重畳させるキャリブレーション操作が実行されることにより、操作部135は、重畳されたアイコン画像を選択し、選択されたアイコン画像に対応付けられた広告画像TX4とは異なる広告画像を画像表示最大領域PNに表示できる。

0089

広告画像が画像表示最大領域PNに表示されると(図12のステップS60)、操作部135は、音声入力または人差し指FFによるキャリブレーション操作を受け付けたか否かを判定する(ステップS62)。なお、他の実施形態では、操作部135の決定キー11等のキー操作を受け付けたかが判定されてもよい。ステップS62の処理において、操作部135が音声入力またはキャリブレーション操作を受け付けた場合には(ステップS62:YES)、表示設定部165は、受け付けた音声入力またはキャリブレーション操作に基づいて、画像表示最大領域PNに表示させる広告画像の表示態様を設定し(ステップS58)、表示設定部165および画像処理部160は、画像表示最大領域PNに設定された広告画像を表示させる(ステップS60)。

0090

図15は、キャリブレーション操作が行なわれた後に使用者が視認する視野VRの一例を示す説明図である。図15には、図14に示す広告画像TX4におけるアイコン画像IC2がキャリブレーション操作によって選択された場合に表示される広告画像TX5が示されている。広告画像TX5は、選択されたアイコン画像IC2(図14)に対応付けられた「富士」で提供されるドリンクのメニューの一部を文字画像で示し、かつ、2つのアイコン画像IC1,IC3を含んでいる。音声入力またはキャリブレーション操作によってアイコン画像IC3が選択されると、表示設定部165は、広告画像TX5の代わりに広告画像TX4を画像表示最大領域PNに表示させる。また、アイコン画像IC1が選択されると、表示設定部165は、広告画像TX5の代わりに、アイコン画像IC1に対応付けられた「富士」で提供される料理のメニューの一部を文字画像で画像表示最大領域PNに表示させる。なお、広告画像TX4,TX5は、請求項における識別対象対応画像に相当する。

0091

広告画像TX2,TX5が画像表示最大領域PNに表示されると(図12のステップS60)、操作部135は、音声入力または人差し指FFによるキャリブレーション操作を受け付けたか否かを判定する(ステップS62)。操作部135が音声入力もキャリブレーション操作も受け付けなかった場合には(ステップS62:NO)、制御部10aがステップS64以降の処理を行なう。

0092

以上説明したように、第2実施形態のHMD100aでは、キャリブレーション設定部167は、画像表示部20aに表示させた四角画像BGと、撮像画像の中に検出された使用者の右手HDの人差し指FFとの位置関係に基づいて、キャリブレーション設定を実行する。キャリブレーション設定後に、表示設定部165は、撮像画像の中に検出された人差し指FFの位置に基づいて、画像表示部20aに表示される画像を広告画像TX4から広告画像TX5へと変更する。そのため、第2実施形態のHMD100aでは、現実での外景SCと画像表示部20aに表示される画像とを重畳させることで、使用者は、外景SCと表示画像を同一のものとして認識して操作でき、使用者にとっての使い勝手が向上する。

0093

C.変形例:
なお、この発明は上記実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。

0094

C−1.変形例1:
上記実施形態では、GPSモジュール137によって特定された画像表示部20の位置と、カメラ61の撮像画像の中に検出された看板の画像とに基づいて、画像表示部20の向きが特定されたが、画像表示部20の向きの特定の方法については、種々変形可能である。例えば、画像表示部20に方位センサーおよび加速度センサーが搭載され、画像表示部20の現在位置と方位センサーによって特定された東西南北の向きと加速度センサーとによって特定された重力方向に対する向きとに基づいて、画像表示部20の向きが特定されてもよい。この変形例のHMD100では、使用者の前を一時的に遮った障害物(例えば、自動車など)があっても、障害物がない場合に検出した看板に対応付けられた画像を画像表示部20に表示できる。また、使用者に視認されない看板に対応付けられた画像のみが画像表示部20に表示されることで、使用者は、実物として視認する看板と、実物として視認していない看板に対応付けられた画像とを認識でき、広範囲の情報を取得できる。

0095

また、上記実施形態では、店舗別広告データSD(図3)や滞在情報VD(図5)の一例を示したが、店舗別広告データSDおよび滞在情報VDにおける項目については、上記実施形態の項目に限られず、種々変形可能である。例えば、店舗別広告データSDの項目の一例として、湿度年齢に基づく制限があってもよい。また、記憶部120の過去履歴記憶部124は、使用者の滞在情報VDの変わりに、使用者の過去において画像表示部20に表示された広告画像の頻度や店舗の利用回数や無線通信部132を用いた店舗の検索回数などを記憶してもよい。また、記憶部120は、使用者の過去の情報ではなく、性別趣味住所職種などの個人情報を記憶し、表示設定部165は、記憶された個人情報に基づいて、画像表示部20に表示させる広告画像を設定してもよい。

0096

また、上記実施形態では、GPSモジュール137が取得した画像表示部20の現在位置と検出看板の位置とに基づいて、画像表示部20からの検出看板の位置までの距離が測定されたが、画像表示部20の現在位置と検出看板の位置との距離を測定する方法については、種々変形可能である。例えば、距離測定部161として、画像表示部20のカメラ61の近くに赤外線発光部および赤外線受光部が配置され、赤外線発光部が発した赤外線を赤外線受光部が受光することにより、距離測定部161は、赤外線を反射した対象と画像表示部20との距離を測定してもよい。

0097

また、上記実施形態では、操作部135は、音声処理部170によって認識された音声の信号に基づいて、HMD100の各種操作を実行したが、認識された音声の信号に基づいて、操作以外の制御が実行されてもよい。例えば、撮像画像の中に検出された看板と認識された音声とに基づいて、表示設定部165は、画像表示部20に表示させる広告画像を設定してもよい。具体的には、「お腹空いた」の音声が認識された場合には、表示設定部165は、店舗別広告データSDにおけるカテゴリーが「飲食」のみの検出看板に対応付けられた広告情報を、画像表示部20に表示させたり、画像表示部20に点滅などさせて強調して表示させたりする。

0098

また、上記第2実施形態では、キャリブレーション設定部167は、設定画像CGを画像表示部20aに表示させ、撮像画像IMGの中に検出した右手HDの人差し指FFによってキャリブレーション設定を実行したが、設定画像CGや人差し指FFについては、種々変形可能である。例えば、キャリブレーション設定部167は、設定画像CGとして、1つの大きな円の画像を画像表示部20aに表示させて、表示された円の軌跡と検出された人差し指FF軌跡とによってキャリブレーション設定を実行してもよい。また、キャリブレーション設定部167が検出する特定の対象物としては、右手HDの人差し指FFではなく、HMD100aに1対1で対応付けられている制御部10aであってもよいし、ボールペンなどであってもよい。

0099

C−2.変形例2:
上記実施形態では、GPSモジュール137によって画像表示部20の現在位置が特定された後に、HMD100の無線通信部132がサーバー300から選択情報を受信したが、HMD100とサーバー300との間での情報の送受信の方法については、種々変形可能である。例えば、画像表示部20の現在位置が特定され、かつ、撮像画像の中から看板の画像が検出された場合に、無線通信部132が画像表示部20の位置情報と検出看板の画像の情報とをサーバー300へと送信し、サーバー300から検出看板に対応付けられた広告情報を受信してもよい。この変形例のHMD100では、上記実施形態の記憶部120の選択情報記憶部122のように、サーバー300に記憶された広告情報を制御部10に格納しなくても済むため、制御部10の記憶容量が少なくて済み、HMD100を小型化できる。

0100

上記実施形態では、HMD100の無線通信部132がサーバー300などのサーバーと情報を送受信することで、制御部10が看板の画像と看板に対応付けられた広告情報とを取得したが、広告情報等の取得の方法については、種々変形可能である。例えば、制御部10の記憶部120が看板の画像と看板に対応付けられた広告情報とを記憶しており、制御部10の各部は、記憶された看板の画像と広告情報とを用いて広告表示処理を行なってもよい。また、看板の画像と広告情報とは、USBインターフェイスによって接続された外部の記憶装置から取得されてもよい。この変形例のHMD100では、無線通信部132などの他の情報端末と情報の送受信をしなくても済むため、HMD100を小型化できる。

0101

C−3.変形例3:
上記実施形態では、表示設定部165が画像表示部20に表示させる広告画像の表示態様の一例を挙げて説明したが、表示設定部165に設定される表示態様については、種々変形可能である。例えば、第2実施形態において、表示設定部165は、使用者によってキャリブレーション操作が行なわれた広告画像TX4に対応付けられた広告画像TX5などを、画像表示最大領域PNの中心付近に表示させると共に、BL221,222の輝度を操作が行なわれる前よりも上昇させてもよい。使用者が画像表示最大領域PN内に表示された広告画像TX4を対象にキャリブレーション操作を行なう場合には、外景SCを透過させる必要が少ないため、BL221,222の輝度を上昇させることで、使用者の利便性を向上させることができる。

0102

また、店舗別広告データSDにおける同じカテゴリーの複数の検出看板がある場合には、表示設定部165は、使用者が比較しやすいように、画像表示最大領域PN内に並べて表示させてもよい。また、表示設定部165は、同じカテゴリーの広告画像について、画像表示最大領域PN内に表示される文字画像のフォントを同じフォントに設定したり、広告画像の外枠の色を同じ色に設定して表示させてもよい。

0103

また、表示設定部165は、右光学像表示部26に表示させる画像と左光学像表示部28とに表示させる画像と変えることで、輻輳角を形成して、使用者が画像表示部20に表示された広告画像を三次元画像として表示させてもよい。例えば、表示設定部165は、距離測定部161によって測定された距離と、画像表示部20に三次元で表示させる広告画像の位置とを同じ距離に設定してもよい。また、表示設定部165は、滞在情報VDを参照して、使用者にとって最も使用頻度が高い店舗の検出看板に対応付けられた広告画像のみを三次元で表示させることで、強調して使用者に視認させてもよい。

0104

また、上記実施形態では、看板検出部168がカメラ61の撮像画像の中から看板の画像を検出したが、看板検出部168は、カメラ61の撮像画像以外の情報からも識別対象画像を検出できる。例えば、看板検出部168は、赤外線センサー超音波センサーレーダーによって検出された情報に含まれる画像を識別対象画像として検出してもよい。

0105

C−4.変形例4:
上記第1実施形態の広告表示処理では、図7のステップS24からステップS32までの処理において、距離などの各種情報が取得され、取得された情報に基づいて、画像表示部20に広告画像が表示されたが、取得される各種情報について、種々変形可能である。図16は、変形例における広告表示処理のフローチャートである。図16に示す広告表示処理は、図7のステップS24からステップS28までの処理が省略された処理である。このように、広告表示処理では、画像表示部20と検出看板との距離が測定されなくてもよいし、温度等の環境情報が取得されなくてもよいし、滞在情報VDと検出看板との関係が照合されなくてもよい。

0106

また、上記実施形態では、GPSモジュール137によって特定された画像表示部20の現在位置と、特定された現在位置に基づいてサーバー300から送信される選択情報とに基づいて、画像表示部20に広告画像が表示されたが、広告画像の取得の方法については、種々変形可能である。例えば、サーバー300ではなく、看板に、当該看板に対応付けられた店舗の店舗別広告データSDを光情報として発信する発信部が配置されていてもよい。この場合に、HMD100は、看板から発信される光情報を受信する受信部を備えており、看板検出部168は、受信部によって受信された光情報に含まれる看板の画像とカメラ61によって検出される看板との照合を行なうことで、検出看板を取得してもよい。この変形例では、GPSモジュール137によって画像表示部20の位置が取得される必要がないため、HMD100の使用者の利便性が向上する。

0107

上記実施形態では、請求項の識別対象画像に相当する画像として、検出された看板の画像を例に挙げて説明したが、識別対象画像については、種々変形可能である。例えば、識別対象画像は、撮像画像の中から、文字、図形、記号立体的な形状によって構成される標識のような画像であってもよいし、特定の外観を有する物品の形状、模様色彩の組み合わせの画像であってもよい。また、上記実施形態では、請求項の識別対象対応画像に相当する画像として、広告画像TX1,TX2を例に挙げて説明したが、識別対象対応画像については、種々変形可能である。例えば、の看板に対応付けられた時刻表の画像であってもよいし、バス停留所の看板や目印に対応付けられた路線図、次に到着する停留所、下車する停留所ごとの運賃のような関連情報を示す画像であってもよい。

0108

C−5.変形例5:
上記実施形態では、制御部10に操作部135が形成されたが、操作部135の態様については種々変形可能である。例えば、制御部10とは別体で操作部135であるユーザーインターフェースがある態様でもよい。この場合に、操作部135は、電源130等が形成された制御部10とは別体であるため、小型化でき、使用者の操作性が向上する。また、カメラ61が画像表示部20に配置されたが、カメラ61が画像表示部20とは別体に構成され、外景SCを撮像できてもよい。

0109

例えば、画像光生成部は、有機EL(有機エレクトロルミネッセンス、Organic Electro-Luminescence)のディスプレイと、有機EL制御部とを備える構成としてもよい。また、例えば、画像光生成部は、LCDに代えて、LCOS(Liquid crystal on silicon, LCoS は登録商標)や、デジタルマイクロミラーデバイス等を用いることもできる。また、例えば、レーザー網膜投影型のHMD100に対して本発明を適用することも可能である。

0110

また、例えば、HMD100は、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のヘッドマウントディスプレイとしてもよい。また、HMD100は、いわゆる単眼タイプのヘッドマウントディスプレイであるとしてもよい。また、HMD100は、両眼タイプの光学透過型であるとしているが、本発明は、例えば、ビデオ透過型といった他の形式の頭部装着型表示装置にも同様に適用可能である。

0111

また、イヤホン耳掛け型ヘッドバンド型が採用されてもよく、省略してもよい。また、例えば、自動車や飛行機等の車両に搭載される頭部装着型表示装置として構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵された頭部装着型表示装置として構成されてもよい。

0112

C−6.変形例6:
上記実施形態におけるHMD100の構成は、あくまで一例であり、種々変形可能である。例えば、制御部10に設けられた方向キー16を省略したり、方向キー16やトラックパッド14に加えて、操作用スティック等の他の操作用インターフェイスを設けたりしてもよい。また、制御部10は、キーボードマウス等の入力デバイス接続可能な構成であり、キーボードやマウスから入力を受け付けるものとしてもよい。

0113

また、画像表示部として、眼鏡のように装着する画像表示部20に代えて、例えば帽子のように装着する画像表示部といった他の方式の画像表示部を採用してもよい。また、イヤホン32,34は、適宜省略可能である。また、上記実施形態では、画像光を生成する構成として、LCDと光源とを利用しているが、これらに代えて、有機ELディスプレイといった他の表示素子を採用してもよい。

0114

図17は、変形例におけるHMDの外観構成を示す説明図である。図17(A)の例の場合、図1に示したHMD100との違いは、画像表示部20xが、右光学像表示部26に代えて右光学像表示部26xを備える点と、左光学像表示部28に代えて左光学像表示部28xを備える点とである。右光学像表示部26xは、上記実施形態の光学部材よりも小さく形成され、HMD100xの装着時における使用者の右眼の斜め上に配置されている。同様に、左光学像表示部28xは、上記実施形態の光学部材よりも小さく形成され、HMD100xの装着時における使用者の左眼の斜め上に配置されている。図17(B)の例の場合、図1に示したHMD100との違いは、画像表示部20yが、右光学像表示部26に代えて右光学像表示部26yを備える点と、左光学像表示部28に代えて左光学像表示部28yを備える点とである。右光学像表示部26yは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の右眼の斜め下に配置されている。左光学像表示部28yは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の左眼の斜め下に配置されている。このように、光学像表示部は使用者の眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のHMD100として実現できる。

0115

また、上記実施形態において、HMD100は、使用者の左右の眼に同じ画像を表わす画像光を導いて使用者に二次元画像を視認させるとしてもよいし、使用者の左右の眼に異なる画像を表わす画像光を導いて使用者に三次元画像を視認させるとしてもよい。

0116

また、上記実施形態において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。例えば、上記実施形態では、画像処理部160や音声処理部170は、CPU140がコンピュータープログラムを読み出して実行することにより実現されるとしているが、これらの機能部はハードウェア回路により実現されるとしてもよい。

0117

また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア(コンピュータープログラム)は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクCD−ROMのような携帯型の記録媒体に限らず、各種のRAMやROM等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。

0118

また、上記実施形態では、図2および図3に示すように、制御部10と画像表示部20とが別々の構成として形成されているが、制御部10と画像表示部20との構成については、これに限られず、種々変形可能である。例えば、画像表示部20の内部に、制御部10に形成された構成の全てが形成されてもよいし、一部が形成されてもよい。また、上記実施形態における電源130が単独で形成されて、交換可能な構成であってもよいし、制御部10に形成された構成が重複して画像表示部20に形成されていてもよい。例えば、図2に示すCPU140が制御部10と画像表示部20との両方に形成されていてもよいし、制御部10に形成されたCPU140と画像表示部20に形成されたCPUとが行なう機能が別々に分けられている構成としてもよい。

0119

本発明は、上記実施形態や変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや、組み合わせを行なうことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

0120

10…制御部
11…決定キー
12…点灯部
13…表示切替キー
14…トラックパッド
15…輝度切替キー
16…方向キー
17…メニューキー
18…電源スイッチ
20…画像表示部
21…右保持部
22…右表示駆動部
23…左保持部
24…左表示駆動部
26…右光学像表示部
28…左光学像表示部
30…イヤホンプラグ
32…右イヤホン
34…左イヤホン
40…接続部
42…右コード
44…左コード
46…連結部材
48…本体コード
51,52…送信部
53,54…受信部
61…カメラ(画像検出部)
63…マイク
65…温度計(状態検出部)
100…HMD
120…記憶部
122…選択情報記憶部
124…過去履歴記憶部(個人情報記憶部)
130…電源
132…無線通信部(情報送受信部、状態検出部)
135…操作部
137…GPSモジュール(位置特定部、画像検出部)
140…CPU
150…オペレーティングシステム
160…画像処理部
161…距離測定部
165…表示設定部(表示画像制御部)
166…過去履歴照合部
167…キャリブレーション設定部(校正部)
168…看板検出部(画像検出部、表示画像制御部)
169…環境情報処理部(表示画像制御部)
170…音声処理部
180…インターフェイス
190…表示制御部
201…右バックライト制御部
202…左バックライト制御部
211…右LCD制御部
212…左LCD制御部
221…右バックライト
222…左バックライト
241…右LCD
242…左LCD
251…右投写光学系
252…左投写光学系
261…右導光板
262…左導光板
300…サーバー(情報記憶装置)
310…CPU
312…情報選択部
320…記憶部
325…広告DB
330…通信部(選択情報送信部)
500…情報システム
A、B,C,D…場所
VSync…垂直同期信号
HSync…水平同期信号
PCLK…クロック信号
P1、P2,P3,P4,P5…円形画像
OA…外部機器
SC…外景
SD…店舗別広告データ
VD…滞在情報
HD…右手
RE…右眼
LE…左眼
FF…人差し指(特定の対象物)
CG…設定画像(特定の画像)
BG…四角画像
IL…照明光
PL…画像光
PN…画像表示最大領域
VR…視野
AB1、AB2,AB3…看板
CS1、CS2,CS3,CS4…矢印画像
TX1、TX2,TX3,TX4,TX5…広告画像(識別対象対応画像)
IMG…撮像画像
IC1,IC2,IC3…アイコン画像IC

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ