図面 (/)

技術 ヘッドマウントディスプレイ

出願人 国立大学法人名古屋工業大学
発明者 須藤正時クグレマウリシオ深谷晃輔マコヴニコバヤナ
出願日 2015年1月27日 (5年10ヶ月経過) 出願番号 2015-012863
公開日 2016年8月4日 (4年3ヶ月経過) 公開番号 2016-139881
状態 特許登録済
技術分野 音声の分析・合成 その他の光学系・装置、色の干渉・色の制御 スタジオ装置 テレビジョン受像機の構造の細部
主要キーワード 接近音 接続端子構造 不透過部材 警笛音 充電式バッテリー 前面形状 歩行停止 点滅光
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年8月4日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (10)

課題

前方視界におけるモノの陰に隠れた死角音情報をも可視化し、使用者に危険情報を、さらには後方の危険情報も、視覚的に伝える。

解決手段

情報に応じた画像を表示する表示画面部12が配されてなるヘッドマウントディスプレイにおいて、周囲の音を集音するマイク16をフレーム14に配し、マイク16により集音した音が、登録された周波数である場合、対応する点滅光または/および絵図を表示画面部12に表示指示する音判別装置18をフレーム14に着脱自在に配し、表示画面部12、マイク16、音判別装置18に電力を供給するポータブル電源24を音判別装置18に付設し、マイク16により集音した音が、音判別装置18に登録された特定の周波数と判別したときに、表示画面部12にその情報に対応する点滅光または/および絵図を表示することを特徴とする。

概要

背景

近年、使用者の頭部に装着されるタイプの画像表示装置、いわゆるヘッドマウントディスプレイ(Head Mounted Display : HMD)が広く知られている。

このヘッドマウントディスプレイは、使用者の眼前に配置され、画像を表示する表示部と、この表示部を支持する支持部材と、表示部に電力を供給するためのバッテリーと、から構成されている(特許文献1、2参照)。

人(主に健常者)は脳の働きにより、音の大小に関わらず重要な音を判断し、危険を回避している。

音の大小を画像に変換し、ディスプレイに表示する画像表示装置なるものもあった(特許文献3参照)。

しかし、現段階ではニューラルネットワークを利用した音認識装置では音の大小に関わらず重要性の取捨選択が非常に難しい。

また、聴覚障害者(特に中途難聴者)にとって、屋外での音の判別が難しく、後方視界は非常に重要であるが、後方から近づいて来る音を知る方法、手段が何ら確立できていない。

概要

前方視界におけるモノの陰に隠れた死角音情報をも可視化し、使用者に危険情報を、さらには後方の危険情報も、視覚的に伝える。情報に応じた画像を表示する表示画面部12が配されてなるヘッドマウントディスプレイにおいて、周囲の音を集音するマイク16をフレーム14に配し、マイク16により集音した音が、登録された周波数である場合、対応する点滅光または/および絵を表示画面部12に表示指示する音判別装置18をフレーム14に着脱自在に配し、表示画面部12、マイク16、音判別装置18に電力を供給するポータブル電源24を音判別装置18に付設し、マイク16により集音した音が、音判別装置18に登録された特定の周波数と判別したときに、表示画面部12にその情報に対応する点滅光または/および絵を表示することを特徴とする。

目的

本発明は上記欠点に鑑み、前方視界におけるモノの陰に隠れた目視では確認できない死角の音情報をも可視化し、使用者に危険性を視覚的に伝えることができ、さらには後方の危険性も伝えることができるヘッドマウントディスプレイを提供する

効果

実績

技術文献被引用数
1件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

情報に応じた画像を表示する表示画面部が配されてなるヘッドマウントディスプレイにおいて、周囲の音を集音するマイクを、フレームに配し、マイクが集音した音が、予め登録された特定の周波数である場合に、その情報に対応する点滅光または/および絵図を表示画面部に表示指示する音判別装置を、マイク、画像表示部とそれぞれ接続可能に、フレームに着脱自在に配し、表示画面部、マイク、音判別装置に電力を供給するポータブル電源を、音判別装置に付設し、マイクにより集音した音が、音判別装置にて特定の周波数と判別したときに、表示画面部にその情報に対応する点滅光または/および絵図を表示することを特徴とするヘッドマウントディスプレイ。

請求項2

後方画像撮影するカメラをフレームに配し、マイクにより集音した音が後方からであり、登録された特定の周波数と判別したときに、初めに点滅光を表示画面部に表示し、その後、使用者歩行が停止した状態となった際、カメラによる後方画像を表示画面部に表示することを特徴とする請求項1記載のヘッドマウントディスプレイ。

請求項3

フレームを眼鏡型とし、一方のレンズの内側に表示画面部を配し、表示画面部の裏面側に不透過部材を配したことを特徴とする請求項1または請求項2記載のヘッドマウントディスプレイ。

請求項4

加速度センサーを音判別装置と接続して付設し、この加速度センサーによる使用者の歩行停止の検知により、カメラによる後方画像を表示画面部へ表示させることを特徴とする請求項2または請求項3記載のヘッドマウントディスプレイ。

技術分野

0001

本発明は、音の大小に関わらず重要な音を可視化し、使用者に、主に危険情報を視覚的に伝えることができるヘッドマウントディスプレイに関する。

背景技術

0002

近年、使用者の頭部に装着されるタイプの画像表示装置、いわゆるヘッドマウントディスプレイ(Head Mounted Display : HMD)が広く知られている。

0003

このヘッドマウントディスプレイは、使用者の眼前に配置され、画像を表示する表示部と、この表示部を支持する支持部材と、表示部に電力を供給するためのバッテリーと、から構成されている(特許文献1、2参照)。

0004

人(主に健常者)は脳の働きにより、音の大小に関わらず重要な音を判断し、危険を回避している。

0005

音の大小を画像に変換し、ディスプレイに表示する画像表示装置なるものもあった(特許文献3参照)。

0006

しかし、現段階ではニューラルネットワークを利用した音認識装置では音の大小に関わらず重要性の取捨選択が非常に難しい。

0007

また、聴覚障害者(特に中途難聴者)にとって、屋外での音の判別が難しく、後方視界は非常に重要であるが、後方から近づいて来る音を知る方法、手段が何ら確立できていない。

先行技術

0008

特許第5413385号公報
特許第5030595号公報
特開2012−181178号公報

発明が解決しようとする課題

0009

本発明は上記欠点に鑑み、前方視界におけるモノの陰に隠れた目視では確認できない死角音情報をも可視化し、使用者に危険性を視覚的に伝えることができ、さらには後方の危険性も伝えることができるヘッドマウントディスプレイを提供することである。

課題を解決するための手段

0010

本発明に係るヘッドマウントディスプレイは、情報に応じた画像を表示する表示画面部が配設されてなるヘッドマウントディスプレイにおいて、周囲の音を集音するマイクを、フレームに配し、マイクが集音した音が、予め登録された特定の周波数である場合に、その情報に対応する点滅光または/および絵図を表示画面部に表示指示する音判別装置を、マイク、画像表示部とそれぞれ接続可能に、フレームに着脱自在に配し、表示画面部、マイク、音判別装置に電力を供給するポータブル電源を、音判別装置に付設し、マイクにより集音した音が、音判別装置にて特定の周波数と判別したときに、表示画面部にその情報に対応する点滅光または/および絵図を表示することを特徴とする、
または、後方画像撮影するカメラをフレームに配し、マイクにより集音した音が後方からであり、登録された特定の周波数と判別したときに、初めに点滅光を表示画面部に表示し、その後、使用者の歩行が停止した状態となった際、カメラによる後方画像を表示画面部に表示することを特徴とする、
または、フレームを眼鏡型とし、一方のレンズの内側に表示画面部を配し、表示画面部の裏面側に不透過部材を配したことを特徴とする、
または、加速度センサーを音判別装置と接続して付設し、この加速度センサーによる使用者の歩行停止の検知により、カメラによる後方画像を表示画面部へ表示させることを特徴とするものである。

発明の効果

0011

本発明に係るヘッドマウントディスプレイによれば、マイクにより前方視界におけるモノの陰に隠れた目視では確認できない死角の音をも集音し、この音情報を可視化し、使用者に危険情報を視覚的に伝えることができる。

0012

また、マイクにより後方の音を集音できるため、後方の危険情報も視覚的に伝えることができる。

0013

また、後方画像を撮影するカメラを配することにより、後方からの危険情報を、初めに点滅光により使用者に伝えた後、使用者の歩行が停止した状態となった際には、画像にて、明確、かつ視覚的に伝えることができ、危険を早期に回避することが可能となる。

0014

また、フレームを眼鏡型とし、一方の眼鏡レンズの内側(顔面側)に表示画面部を、表示画面部の裏面側(眼鏡レンズ側)に不透過部材を、配することにより、表示画面部の表示を見易くすることができる。

0015

また、加速度センサーを配することにより、使用者の歩行停止を検知した場合にのみ、カメラによる後方画像を表示画面部へ表示させ、使用者の歩行の安全性を確保することができる。

図面の簡単な説明

0016

本発明に係るヘッドマウントディスプレイの分解斜視図であり、下部に部分拡大側面図を示す。
同、使用状態を示す3面図。
同、表示画面部に表示される絵図の説明図。
同、音を可視化するフローチャート図であり、(a)は音認識、(b)は音方向
別の例を示す斜視図。
さらに別の例を示す斜視図であり、下部に部分拡大図を示す。
さらに別の例を示す斜視図および正面図であり、下部にマイクの集音方向を示す。
さらに別の例を示す斜視図。
表示画面部の配置可能範囲を示す平面図。

0017

前方視界においてモノの陰に隠れた目視では確認できない死角の音情報の可視化、後方の危険性を伝えるという目的を、画像を表示する表示画面部と、周囲の音を集音するマイクと、後方画像を撮影するカメラと、集音した音情報に対応する点滅光、絵図または画像を表示画面部に表示指示する音判別装置と、により実現した。

0018

本発明は、以下の実施形態に限定されるものではなく、発明の範囲を逸脱しない限り、適宜変更、修正、改良を加え得るものである。

0019

本発明に係るヘッドマウントディスプレイを図1−4に基づいて説明する。

0020

本例のヘッドマウントディスプレイ10の基本構成は、情報に応じた画像を表示する表示画面部12がフレーム14に配設されてなるものである。

0021

本例において、フレーム14は眼鏡型に形成され、フロント部14aとテンプル部14bとにより構成し、さらにテンプル部14bを二分割し、テンプル部14bに対してテンプル部14cを着脱可能とし、その着脱は接続端子構造としてある。

0022

周囲の音を集音するマイク16をフレーム14に配し、マイク16が集音した音が、予め登録された特定の周波数である場合に、その情報に対応する点滅光および絵図を表示画面部12に表示指示する音判別装置18を、マイク、画像表示部12とそれぞれ接続可能に、フレーム14に着脱自在に配してある。

0023

本例において、マイク16はフレーム14のテンプル部14bに所定間隔を隔てて前後方向に一対配してあり、このため、前後方で発する音の集音性が向上する。

0024

さらに、音の種類および方向の判断は、テンプル部14bに配した二つのマイク16a、16bの水平方向の離間距離(本例では約数cmの距離が必要)の違いを利用して行われる(図4参照)。

0025

このため、マイク16a、16bは集音する音に対して水平であることが重要であるが、前後どちらか一方を水平に配置すればよい。

0026

予め登録されている周波数は、自動車接近音警笛音自転車の接近音、ベル音、緊急車両が発するサイレン音、等である

0027

この際、音は任意にスマートフォン等のデジタル携帯端末を介しBluetooth(登録商標)等の近距離無線通信により登録することが可能であり、また音判別装置18へ任意の音を登録することも可能である。

0028

また、音判別装置18はフレーム14のテンプル部14b下方に着脱自在に配してあるが、フレーム14の他の個所とすることは自由である。

0029

また、加速度センサー20が音判別装置18に接続して付設されている。

0030

この加速度センサー20は、使用者が携行し、その歩行または歩行停止を検出するためのものである。

0031

後方画像を撮影するカメラ22を、フレーム14に配してある。

0032

本例において、カメラ22は後方画像を効果的に撮影するため、フレーム14のテンプル部14c後面に配してある。

0033

予め後方の危険情報を使用者に点滅光により表示画面部12に表示させて伝えた後、カメラ22による後方画像は、使用者の歩行停止を加速度センサー20が検知した後、表示画面部12に表示するよう制御されている。

0034

それぞれが接続された表示画面部12、マイク16、音判別装置18、加速度センサー20およびカメラ22へ、電力を供給するポータブル電源24が、音判別装置18に内装されている。

0035

本例において、ポータブル電源24は充電式バッテリーである。

0036

また、表示画面部12に表示される絵図の例が図3に示してある。

0037

マイク16が集音した危険音の周波数に応じて、図3上段左から自動車の接近、緊急車両の接近、自転車の接近、同図の下段にはその方向を示す絵図が、音判別装置18により選択、指示される。

0038

なお、図中Lは眼鏡レンズ、Pはバッド、Hは一体型の眼鏡レンズを取付けるための凹部を示す。

0039

本例のヘッドマウントディスプレイ10を使用し、使用者に危険情報を視覚的に伝える方法を説明する。

0040

まず、使用者は本例のヘッドマウントディスプレイを通常の眼鏡と同様に、装着する。

0041

その後、使用者は屋外を歩行する。

0042

使用者が歩行中、ヘッドマウントディスプレイ10のマイク16が集音した音が、音判別装置18に予め登録された周波数である場合、その周波数に応じた危険情報を、初めに点滅光にて、次いで絵図(図3上段絵図参照)にて、表示画面部12に表示して、使用者に危険情報を視覚的に伝える。

0043

この際、マイク16が集音した音の方向も絵図(図3下段絵図参照)として表示画面部12に表示される。

0044

また、前方視界においてモノの陰に隠れた目視では確認できない死角の音情報をも可視化し、絵図として表示画面部12に表示させ、使用者に伝えることができ、このため使用者は危険を早期に回避することが可能となる。

0045

また、眼鏡レンズLは透明であるため、使用者はこの表示画面部12の表示と共に、前方視界もそのまま見ることができ、使用者の歩行に支障をきたすことはない。

0046

また、マイク16が集音した音の方向が後方である場合は、カメラ22により撮影された後方画像も表示画面部12に表示することができる。

0047

このマイク16が集音した音の種類、方向は、図4(a)(b)に示すフローにより判断される。

0048

この後方画像は、加速度センサー20が使用者の歩行停止を検知した場合にのみ、表示画面部12に表示するように制御されているため、安全面上何ら問題はない。

0049

また、ポータブル電源24の残量が少なくなる、または無くなった場合には、満充電された新たなポータブル電源と交換する。

0050

このポータブル電源24は音判別装置18内に内装されており、充電が可能、かつ取り外しができるため、容易に交換することができる。

0051

この際、電源残量が少なくなったことを使用者に警告するため、危険情報とは異なる点滅光、点灯または絵図を表示画面部12に表示させることにより、いち早く交換することができる。

0052

このように、本発明に係るヘッドマウントディスプレイによれば、前後方のいずれの危険情報音をも視覚的に使用者に伝えることができるため、聴覚障害者(特に中途難聴者)には効果的である。

0053

また、ポータブル電源24および音判別装置18はヘッドマウントブィスプレイ本体であるフレーム14とは別体としてあるため、重量が重くならず、通常の眼鏡と同様に装着することができ、使用性については何ら問題がない。

0054

なお、本例において、前方の危険情報を伝える際、点滅光および絵図を表示画面部に表示させるものであるが、点滅光による表示を点灯表示としても良く、また後方の危険情報を伝える際、後方画像を表示できるため、絵図による表示を省略することもできる。

0055

また、図5に別の例が示してある。

0056

本例は、眼鏡レンズLの形状が前例と異なり、好みのデザインを選択できるようにしたものであり、自由に取替え使用に供することができる。

0057

本例においても第1実施例と同様の効果を奏する。

0058

また、図6に別の例が示してある。

0059

本例は、屋外での使用中、太陽光のもとでも、表示画面部12に表示される絵図、画像を見易くするため、表示画面部12を眼鏡レンズLの内側(顔面側)に配し、さらに表示画面部12の前面側(眼鏡レンズL側)に不透過部材26を配し、この不透過部材26を配した表示画面部12をフレーム14に着脱自在に装着したものである。

0060

本例においても第1実施例と同様の効果を奏する。

0061

また、図7に別の例が示してある。

0062

本例は、フレーム14のフロント部14aの両側前面形状および眼鏡レンズLの形状を変更し、マイク16a、16bをフロント部14aにも配したものである。

0063

このため、第1実施例と同様の効果に加え、集音した音の左右方向を明確に判断することができる。

0064

また、図8に別の例が示してある。

0065

本例は、音判別装置18の制御方式および表示画面部12へ表示する点滅光の色彩、間隔、情報絵図のデザインを、外部コントローラ28により、逐次変更可能としたものである。

0066

本例においても第1実施例と同様の効果を奏すると共に、外部コントローラ28としてスマートフォンを使用する場合には、スマートフォンから電力が得られるため、ポータブル電源を省略することも可能となる。加えて、スマートフォンが受信する地震津波等の緊急災害情報も点滅光または絵図として使用者に伝えることができる。

0067

また、図9に表示画面部12の配置可能範囲30が示してある。

実施例

0068

本図によれば、フレーム14と顔面との間に表示画面部12が配置可能であることが理解できる。

0069

本発明に係るヘッドマウントディスプレイは眼鏡として使用できる他、車載用としても利用することができる。

0070

10ヘッドマウントディスプレイ
12表示画面部
14フレーム
14aフロント部
14bテンプル部
16マイク
18 音判別装置
20加速度センサー
22カメラ
24ポータブル電源
26 不透過部材

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ