図面 (/)

この項目の情報は公開日時点(2018年6月21日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

間仕切りが設けられていないオフィスでも、自己の作業を集中して行うことを可能とする。

解決手段

撮像部32は、自装置の周囲の実空間の画像を撮像する。表示部35は、実空間を視認可能な透過型表示部であり、演算処理部33により生成された仮想オブジェクトの画像を、例えばホログラフィー技術を用いて表示する。仮想オブジェクト描画制御部43は、撮像部32により撮像された画像に基づいて、利用者視界を遮るような壁状の不透明な仮想オブジェクトを描画して、実空間内に存在するように表示部35に表示する制御を行う。

概要

背景

特許文献1には、現実物体仮想オブジェクト重畳させて投影する際に、投影部と現実物体との位置関係によって投影する仮想オブジェクトのパラメータを制御するように投影制御方法が開示されている。

概要

間仕切りが設けられていないオフィスでも、自己の作業を集中して行うことを可能とする。撮像部32は、自装置の周囲の実空間の画像を撮像する。表示部35は、実空間を視認可能な透過型表示部であり、演算処理部33により生成された仮想オブジェクトの画像を、例えばホログラフィー技術を用いて表示する。仮想オブジェクト描画制御部43は、撮像部32により撮像された画像に基づいて、利用者視界を遮るような壁状の不透明な仮想オブジェクトを描画して、実空間内に存在するように表示部35に表示する制御を行う。

目的

本発明の目的は、間仕切りが設けられていないオフィスでも、自己の作業を集中して行うことが可能な頭部装着型表示装置仮想物体表示システムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

実空間の画像を撮像する撮像部と、実空間を視認可能な透過型表示部と、前記撮像部により撮像された画像に基づいて、利用者視界を遮るような壁状の不透明な仮想物体を描画して、実空間内に存在するように前記透過型表示部に表示する制御を行う描画制御手段と、を備えた頭部装着型表示装置

請求項2

前記描画制御手段は、自装置を装着している利用者の、少なくとも前方に壁状の不透明な仮想物体が表示されるように前記透過型表示部を制御する請求項1記載の頭部装着型表示装置。

請求項3

前記描画制御手段は、自装置を装着している利用者の周囲を囲うように壁状の不透明な仮想物体が表示されるように前記透過型表示部を制御する請求項1記載の頭部装着型表示装置。

請求項4

前記撮像部により撮像された画像から、自装置を装着している利用者の指先の位置を認識する認識手段をさらに備え、前記描画制御手段は、前記認識手段により認識された利用者の指先の位置までの距離の2倍を一辺の長さとする正四角柱状に、4つの壁状の仮想物体を前記透過型表示部に表示する請求項1記載の頭部装着型表示装置。

請求項5

前記撮像部により撮像された画像から、自装置を装着している利用者の指先の位置を認識する認識手段をさらに備え、前記描画制御手段は、前記認識手段により認識された利用者の指先が、描画した仮想物体の位置と交差した場合、前記透過型表示部に表示した仮想物体を半透明に変化または消去する請求項1から4のいずれか記載の頭部装着型表示装置。

請求項6

前記撮像部により撮像された画像から、自装置を装着している利用者の指先の位置を認識する認識手段をさらに備え、前記描画制御手段は、前記認識手段により認識された利用者の指先が、描画した仮想物体の位置と交差した場合、仮想物体への接触位置に応じて、前記透過型表示部に表示した仮想物体の色彩、表示位置、形状または大きさのうちの少なくとも1つの属性を変更する請求項1から4のいずれか記載の頭部装着型表示装置。

請求項7

前記撮像部により撮像された画像から、接近する人の位置を認識する認識手段をさらに備え、前記描画制御手段は、前記認識手段により認識された人の一部が、描画した仮想物体の位置と交差した場合、前記透過型表示部に表示した仮想物体を半透明に変化または消去する請求項1から4のいずれか記載の頭部装着型表示装置。

請求項8

前記描画制御手段は、予め設定された事象が発生した場合、発生した事象に応じた文字情報を、描画した仮想物体上に表示するような制御を行う請求項1から7のいずれか記載の頭部装着型表示装置。

請求項9

実空間の画像を撮像する撮像部と、実空間を視認可能な透過型表示部と、前記撮像部により撮像された画像に基づいて、利用者の視界を遮るような壁状の不透明な仮想物体を描画して、実空間内に存在するように前記透過型表示部に表示する制御を行う描画制御手段とを備えた複数の頭部装着型表示装置と、前記複数の頭部装着型表示装置において透過型表示部に表示しているそれぞれの仮想物体の属性情報を格納し、ある頭部装着型表示装置において透過型表示部に表示している仮想物体を、異なる頭部装着型表示装置の透過型表示部にも表示させるような制御を行う管理サーバと、を有する仮想物体表示システム

請求項10

前記複数の頭部装着型表示装置には、それぞれ識別情報が設定されており、前記管理サーバは、予め登録された識別情報が設定された頭部装着型表示装置に対して、他の頭部装着型表示装置において表示されている仮想物体を表示するよう制御する請求項9記載の仮想物体表示システム。

請求項11

前記複数の頭部装着型表示装置は、それぞれ自装置の現在位置を検出する検出手段を備え、前記管理サーバは、ある頭部装着型表示装置に対して表示している仮想物体を、予め設定された距離内に存在する他の頭部装着型表示装置に対してのみ表示するよう制御する請求項9記載の仮想物体表示システム。

請求項12

前記管理サーバは、ある頭部装着型表示装置に対して表示している仮想物体の外側に文字情報を表示した状態で、他の頭部装着型表示装置に対して表示するよう制御する請求項9記載の仮想物体表示システム。

技術分野

0001

本発明は、頭部装着型表示装置仮想物体表示システムに関する。

背景技術

0002

特許文献1には、現実物体仮想オブジェクト重畳させて投影する際に、投影部と現実物体との位置関係によって投影する仮想オブジェクトのパラメータを制御するように投影制御方法が開示されている。

先行技術

0003

特開2013−235374号公報

発明が解決しようとする課題

0004

本発明の目的は、間仕切りが設けられていないオフィスでも、自己の作業を集中して行うことが可能な頭部装着型表示装置、仮想物体表示システムを提供することである。

課題を解決するための手段

0005

[頭部装着型表示装置]
請求項1に係る本発明は、実空間の画像を撮像する撮像部と、
実空間を視認可能な透過型表示部と、
前記撮像部により撮像された画像に基づいて、利用者視界を遮るような壁状の不透明な仮想物体を描画して、実空間内に存在するように前記透過型表示部に表示する制御を行う描画制御手段とを備えた頭部装着型表示装置である。

0006

請求項2に係る本発明は、前記描画制御手段が、自装置を装着している利用者の、少なくとも前方に壁状の不透明な仮想物体が表示されるように前記透過型表示部を制御する請求項1記載の頭部装着型表示装置である。

0007

請求項3に係る本発明は、前記描画制御手段が、自装置を装着している利用者の周囲を囲うように壁状の不透明な仮想物体が表示されるように前記透過型表示部を制御する請求項1記載の頭部装着型表示装置である。

0008

請求項4に係る本発明は、前記撮像部により撮像された画像から、自装置を装着している利用者の指先の位置を認識する認識手段をさらに備え、
前記描画制御手段は、前記認識手段により認識された利用者の指先の位置までの距離の2倍を一辺の長さとする正四角柱状に、4つの壁状の仮想物体を前記透過型表示部に表示する請求項1記載の頭部装着型表示装置である。

0009

請求項5に係る本発明は、前記撮像部により撮像された画像から、自装置を装着している利用者の指先の位置を認識する認識手段をさらに備え、
前記描画制御手段は、前記認識手段により認識された利用者の指先が、描画した仮想物体の位置と交差した場合、前記透過型表示部に表示した仮想物体を半透明に変化または消去する請求項1から4のいずれか記載の頭部装着型表示装置である。

0010

請求項6に係る本発明は、前記撮像部により撮像された画像から、自装置を装着している利用者の指先の位置を認識する認識手段をさらに備え、
前記描画制御手段は、前記認識手段により認識された利用者の指先が、描画した仮想物体の位置と交差した場合、仮想物体への接触位置に応じて、前記透過型表示部に表示した仮想物体の色彩、表示位置、形状または大きさのうちの少なくとも1つの属性を変更する請求項1から4のいずれか記載の頭部装着型表示装置である。

0011

請求項7に係る本発明は、前記撮像部により撮像された画像から、接近する人の位置を認識する認識手段をさらに備え、
前記描画制御手段は、前記認識手段により認識された人の一部が、描画した仮想物体の位置と交差した場合、前記透過型表示部に表示した仮想物体を半透明に変化または消去する請求項1から4のいずれか記載の頭部装着型表示装置である。

0012

請求項8に係る本発明は、前記描画制御手段が、予め設定された事象が発生した場合、発生した事象に応じた文字情報を、描画した仮想物体上に表示するような制御を行う請求項1から7のいずれか記載の頭部装着型表示装置である。

0013

[仮想物体表示システム]
請求項9に係る本発明は、実空間の画像を撮像する撮像部と、実空間を視認可能な透過型表示部と、前記撮像部により撮像された画像に基づいて、利用者の視界を遮るような壁状の不透明な仮想物体を描画して、実空間内に存在するように前記透過型表示部に表示する制御を行う描画制御手段とを備えた複数の頭部装着型表示装置と、
前記複数の頭部装着型表示装置において透過型表示部に表示しているそれぞれの仮想物体の属性情報を格納し、ある頭部装着型表示装置において透過型表示部に表示している仮想物体を、異なる頭部装着型表示装置の透過型表示部にも表示させるような制御を行う管理サーバとを有する仮想物体表示システムである。

0014

請求項10に係る本発明は、前記複数の頭部装着型表示装置には、それぞれ識別情報が設定されており、
前記管理サーバは、予め登録された識別情報が設定された頭部装着型表示装置に対して、他の頭部装着型表示装置において表示されている仮想物体を表示するよう制御する請求項9記載の仮想物体表示システムである。

0015

請求項11に係る本発明は、前記複数の頭部装着型表示装置が、それぞれ自装置の現在位置を検出する検出手段を備え、
前記管理サーバは、ある頭部装着型表示装置に対して表示している仮想物体を、予め設定された距離内に存在する他の頭部装着型表示装置に対してのみ表示するよう制御する請求項9記載の仮想物体表示システムである。

0016

請求項12に係る本発明は、前記管理サーバが、ある頭部装着型表示装置に対して表示している仮想物体の外側に文字情報を表示した状態で、他の頭部装着型表示装置に対して表示するよう制御する請求項9記載の仮想物体表示システムである。

発明の効果

0017

請求項1に係る本発明によれば、間仕切りが設けられていないオフィスでも、自己の作業を集中して行うことが可能な頭部装着型表示装置を提供することができる。

0018

請求項2に係る本発明によれば、間仕切りが設けられていないオフィスでも、自己の作業を集中して行うことが可能な頭部装着型表示装置を提供することができる。

0019

請求項3に係る本発明によれば、間仕切りが設けられていないオフィスでも、周囲の状況に気を取られることなく、自己の作業を集中して行うことが可能な頭部装着型表示装置を提供することができる。

0020

請求項4に係る本発明によれば、表示する仮想物体の大きさを簡単な操作で設定することが可能な頭部装着型表示装置を提供することができる。

0021

請求項5に係る本発明によれば、表示した仮想物体の向こう側の様子を把握することが可能な頭部装着型表示装置を提供することができる。

0022

請求項6に係る本発明によれば、表示した仮想物体の色彩、表示位置、形状および大きさ等の属性を簡単な操作で変更することが可能な頭部装着型表示装置を提供することができる。

0023

請求項7に係る本発明によれば、他人が接近してきたことを把握することが可能な頭部装着型表示装置を提供することができる。

0024

請求項8に係る本発明によれば、作業中であっても、特定の事象が発生したことを知ることが可能な頭部装着型表示装置を提供することができる。

0025

請求項9に係る本発明によれば、ある頭部装着型表示装置に表示している仮想物体を他の頭部装着型表示装置にも表示させることが可能な仮想物体表示システムを提供することができる。

0026

請求項10に係る本発明によれば、ある頭部装着型表示装置に表示している仮想物体を、特定の他の頭部装着型表示装置にのみ表示させることが可能な仮想物体表示システムを提供することができる。

0027

請求項11に係る本発明によれば、ある頭部装着型表示装置に表示している仮想物体を、特定の他の頭部装着型表示装置にのみ表示させることにより、特定の相手からのコンタクト遮断することが可能な仮想物体表示システムを提供することができる。

0028

請求項12に係る本発明によれば、ある頭部装着型表示装置に表示している仮想物体を他の頭部装着型表示装置にも表示させる際に、他の頭部装着型表示装置を装着している利用者にメッセージを伝達することが可能な仮想物体表示システムを提供することができる。

図面の簡単な説明

0029

本発明の一実施形態の仮想オブジェクト表示システムのシステム構成を示す図である。
図1に示したHMD10のハードウェア構成を示す図である。
本発明の一実施形態におけるHMD10の機能構成を示すブロック図である。
本発明の一実施形態におけるHMD10の外観を示す図である。
HMD10を装着した場合の様子を説明するための図である。
本発明の一実施形態のHMD10において仮想オブジェクトの表示命令を受けた場合の動作を説明するためのフローチャートである。
生成する仮想オブジェクトのサイズ指定の一例を示す図である。
生成される仮想オブジェクト70を上面から見た場合の寸法図例である。
仮想オブジェクト70を表示する際の、この仮想オブジェクト70の上面図例を示す図である。
仮想オブジェクト70が表示された状態を斜め後ろから見た場合の斜視図である。
仮想オブジェクト70が表示部35に表示される前の利用者の視界の様子を模式的に示す図である。
仮想オブジェクト70が表示部35に表示された後の利用者の視界の様子を模式的に示す図である。
仮想オブジェクト70の色彩を変化させる際の操作例を説明するための図である。
仮想オブジェクト70の高さを変化させる際の操作例を説明するための図である。
仮想オブジェクト70の表示位置を変化させる際の操作例を説明するための図である。
「緊急地震速報を受信しました!」という文字情報を仮想オブジェクト70上に表示する場合を示す図である。
「人が接近しています!」という文字情報を仮想オブジェクト70上に表示する場合を示す図である。
接近してきた人80と交差した仮想オブジェクト70の面を半透明にする様子を説明するための図である。
指先と交差した仮想オブジェクト70の面を半透明にする様子を説明するための図である。
仮想オブジェクト70を表示させて仕事をしている利用者とは異なる他の利用者90のHMD10にも仮想オブジェクト70を表示させる様子を説明するための図である。
2つのHMD10の距離が予め設定された距離以内となり近接したと判定した場合、表示している仮想オブジェクト70を半透明にする様子を説明するための図である。
仮想オブジェクト71の奥行距離が仮想オブジェクト70の表示位置よりも遠い場合でも、仮想オブジェクト70の手前に仮想オブジェクト71を表示する様子を説明するための図である。

実施例

0030

次に、本発明の実施の形態について図面を参照して詳細に説明する。

0031

図1は本発明の一実施形態の仮想オブジェクト(仮想物体)表示システムのシステム構成を示す図である。

0032

近年、ヘッドマウントディスプレイ(以下、HMD(Head Mounted Display)と略す。)を用いて、利用者に仮想空間にいるような視覚を与えるVR(Virtual Reality:仮想現実感)が様々な装置で実現されている。

0033

しかし、このVR技術では、HMDを装着している人にとっては実空間の視覚情報が遮断されてしまう。そのため、実空間の映像人工的に生成した画像を重ねて表示する技術であるAR(Augmented Reality:拡張現実感)という技術や、現実空間と仮想空間を混合し、現実の物と仮想的な物がリアルタイムで影響しあう新たな空間を構築するMR(Mixed Reality:複合現実感)という技術が提案されている。

0034

ここで、AR技術では、カメラ等の撮像装置により撮像した実画像上に人工的に生成した画像を重ねて表示しているのに対して、MR技術では、HMDを装着した利用者が透過型ディスプレイを通して実空間の様子をリアルタイムで直接視認可能になっている点で異なっている。

0035

そして、本実施形態の仮想オブジェクト表示システムでは、このようなMR技術を用いて、利用者がリアルタイムで視認している実空間内に、人工的に生成した仮想オブジェクトが存在するかのような視覚を与えるような構成となっている。

0036

本実施形態の仮想オブジェクト表示システムは、図1に示されるように、利用者がそれぞれ頭部に装着するための複数のヘッドマウントディスプレイ(以下、HMD(Head Mounted Display)と略す。)10と、各HMD10において表示している仮想オブジェクトの属性情報を管理する管理サーバ20と、無線LANターミナル30とから構成されている。

0037

HMD(頭部装着型表示装置)10は、利用者の頭部に装着されて使用され、実空間を視認可能な透過型表示部を有し、利用者はこの透過型表示部を介して外部の様子を視認することが可能となっている。そして、HMD10では、この透過型表示部上に仮想物体が表示されることにより、利用者にとっては、実空間内に仮想オブジェクトが存在するかのような視覚を得ることができるような構成となっている。

0038

なお、各HMD10は、それぞれ、Bluetooth(登録商標)やWi-Fi等の無線通信回線を介して無線LANターミナル30とデータの送受信を行うことにより、管理サーバ20と接続されている。

0039

そして、それぞれのHMD10において表示されている仮想オブジェクトの、色彩、表示位置、形状および大きさ等の属性情報が管理サーバ20内において格納されている。

0040

次に、図1に示したHMD10のハードウェア構成を図2に示す。

0041

HMD10は、図2に示されるように、CPU11、メモリ12、フラッシュメモリ等の記憶装置13、無線通信回線を介して管理サーバ20等の外部装置との間でデータの送信及び受信を行う通信インタフェース(IF)14、GPS等のシステムを利用して自装置の位置を測定する位置測定部15、加速度センサジャイロセンサ角速度センサ)等のセンサ16、外部の画像を撮影するためのカメラ17、仮想オブジェクトを表示する表示装置18を有する。これらの構成要素は、制御バス19を介して互いに接続されている。

0042

CPU11は、メモリ12または記憶装置13に格納された制御プログラムに基づいて所定の処理を実行して、HMD10の動作を制御する。

0043

図3は、上記の制御プログラムが実行されることにより実現されるHMD10の機能構成を示すブロック図である。

0044

本実施形態のHMD10は、図3に示されるように、位置姿勢検出部31と、撮像部32と、演算処理部33と、通信部34と、表示部35とを備えている。また、演算処理部33は、ジェスチャ認識部41と、交差判定部42と、仮想オブジェクト描画制御部43とから構成されている。

0045

位置姿勢検出部31は、GPS受信装置により位置情報により自装置の位置を検出したり、加速度センサや加速度センサ等の出力信号に基づいて自装置の姿勢変化を検出する。

0046

撮像部32は、自装置の周囲の実空間の画像を撮像する。

0047

演算処理部33は、撮像部32により撮像された周囲の実空間の画像と、位置姿勢検出部31により検出された自装置の位置情報や姿勢変化の情報に基づいて、表示部35に表示すべき仮想オブジェクト(仮想物体)の画像を描画する。

0048

通信部34は、演算処理部33により生成された仮想オブジェクトの属性情報や自装置の位置情報を管理サーバ20に送信したり、管理サーバ20から送信されてきた他のHMD10における仮想オブジェクトの属性情報等を受信する。

0049

表示部35は、実空間を視認可能な透過型表示部であり、演算処理部33により生成された仮想オブジェクトの画像を、例えばホログラフィー技術を用いて表示する。

0050

ジェスチャ認識部41は、撮像部32により撮像された画像から、自装置を装着している利用者の指先の位置を認識したり、自装置に接近する人の位置を認識する。

0051

交差判定部42は、ジェスチャ認識部41により認識された利用者の指先が、描画した仮想オブジェクトの位置と交差するか否か、およびジェスチャ認識部41により認識された自装置に接近しつつある人の一部が、描画した仮想物体の位置と交差するか否かを判定する。

0052

仮想オブジェクト描画制御部43は、撮像部32により撮像された画像に基づいて、利用者の視界を遮るような壁状の不透明な仮想オブジェクトを描画して、実空間内に存在するように表示部35に表示する制御を行う。

0053

具体的には、仮想オブジェクト描画制御部43は、自装置を装着している利用者の、少なくとも前方に壁状の不透明な仮想オブジェクトが表示されるように表示部35を制御する。

0054

より具体的には、仮想オブジェクト描画制御部43は、自装置を装着している利用者の周囲を囲うように壁状の不透明な仮想物体が表示されるように表示部35を制御する。

0055

さらに、ジェスチャ認識部41により利用者の指先の位置が認識された場合、仮想オブジェクト描画制御部43は、自装置からジェスチャ認識部41により認識された利用者の指先の位置までの距離の2倍を一辺の長さとする正四角柱状に、4つの壁状の仮想オブジェクトを表示部35に表示する。

0056

そして、仮想オブジェクト描画制御部43は、ジェスチャ認識部41により認識された利用者の指先が、描画した仮想オブジェクトの位置と交差した場合、表示部35に表示した仮想オブジェクトを半透明に変化または消去する。

0057

また、仮想オブジェクト描画制御部43は、ジェスチャ認識部41により認識された利用者の指先が、描画した仮想オブジェクトの位置と交差した場合、仮想オブジェクトへの接触位置に応じて、表示部35に表示した仮想オブジェクトの色彩、表示位置、形状または大きさのうちの少なくとも1つの属性を変更する。

0058

また、仮想オブジェクト描画制御部43は、ジェスチャ認識部41により認識された、自装置に接近しつつある人の指先等の一部が、描画した仮想オブジェクトの位置と交差した場合、表示部35に表示した仮想オブジェクトを半透明に変化または消去する。

0059

さらに、仮想オブジェクト描画制御部43は、予め設定された事象が発生した場合、発生した事象に応じた文字情報を、描画した仮想オブジェクト上に表示するような制御を行う。例えば、管理サーバ20において緊急地震速報等の緊急情報を受信するというような事象が発生した場合、「地震が発生しました!」等いうような文字情報を仮想オブジェクト上に表示する。

0060

また、管理サーバ20は、複数のHMD10において表示部に表示しているそれぞれの仮想オブジェクトの属性情報を格納し、あるHMD10において表示部に表示している仮想オブジェクトを、異なるHMD10の表示部にも表示させるような制御を行う。

0061

また、この複数のHMD10にそれぞれ異なるID(識別情報)を設定しておくことにより、管理サーバ20は、予め登録されたIDが設定されたHMD10に対してのみ、あるHMD10において表示されている仮想オブジェクトを表示するようにすることができる。

0062

さらに、複数のHMD10は、それぞれ自装置の現在位置を検出する位置姿勢検出部31を備えている。そのため、管理サーバ20は、あるHMD10に対して表示している仮想オブジェクトを、予め設定された距離、例えば10m以内に存在する他のHMD10に対してのみ表示するよう制御することも可能である。

0063

さらに、管理サーバ20は、あるHMD10に対して表示している仮想オブジェクトの外側に文字情報を表示した状態で、他のHMD10に対して表示するよう制御するようにしても良い。例えば、あるHMD10に対して表示している壁状の仮想オブジェクトの外側に「仕事中」という文字情報を表示させた状態で、他のHMD10において表示するようにすれば、その他のHMD10を装着している利用者は壁状の仮想オブジェクト内にいる利用者は仕事中であることを知って邪魔しないようにすることを期待できる。

0064

次に、上記で説明したHMD10の外観を図4に示す。HMD10は、図4に示されるように、装着した利用者が外部の様子を視認可能な透明な表示部35を備えている。そして、HMD10の一部には、外部の様子を撮像するための撮像部32が設けられており、利用者が透過型の表示部35を介して視認している外部の様子の画像を撮像することができるような構成となっている。

0065

このようなHMD10を頭部に装着した場合の様子を図5に示す。図5を参照すると、HMD10を装着した利用者は、目が表示部35により覆われているが、この表示部35が透過型であるため外部の様子を視認することができるようになっているのが分かる。

0066

次に、本実施形態のHMD10において仮想オブジェクトの表示命令を受けた場合の動作を図6のフローチャートを参照して説明する。例えば、HMD10に装着されているスイッチを利用者が押下することにより仮想オブジェクトの表示命令が行われたことになる。

0067

先ず、利用者が、図7に示すように腕を伸ばして指先が撮像部32により撮像されるようにする。すると、ジェスチャ認識部41が、撮像部32により撮像された画像から、利用者の指先の位置を認識して特定する(ステップS101)。

0068

そして、ジェスチャ認識部41は、撮像部32により撮像された画像から、特定した指先の位置までの距離を算出する(ステップS102)。ここでは、図7に示すように算出された距離がaであるものとして説明を行う。

0069

すると、仮想オブジェクト描画制御部43では、図8に示すように、自装置からジェスチャ認識部41により認識された利用者の指先の位置までの距離aの2倍を一辺の長さとする正四角柱状に、4つの壁状の仮想オブジェクト70を描画して表示部35に表示する。

0070

仮想オブジェクト70を表示する際の、この仮想オブジェクト70の上面図例を図9に示す。図9(A)は、仮想オブジェクト70が表示される前の様子を示す図であり、図9(B)は、仮想オブジェクト70が表示された後の様子を示す図である。図9(B)では、の前に座っている利用者(ユーザ)の周囲に4つの壁状の物体からなる仮想オブジェクト70が配置されているように表示されている。

0071

また、この仮想オブジェクト70が表示された状態を斜め後ろから見た場合の斜視図を図10に示す。

0072

なお、図9図10は共に、仮想オブジェクト70の表示位置や形状を模式的に示すものであり、HMD10を装着していない人が見た場合にはこのような仮想オブジェクト70が見える訳ではない。

0073

次に、このような仮想オブジェクト70が表示部35に表示されたことにより利用者の視界がどのように変化するかを図11図12を参照して説明する。

0074

図11は、仮想オブジェクト70が表示部35に表示される前の利用者の視界の様子を模式的に示す図である。また、図12は、仮想オブジェクト70が表示部35に表示された後の利用者の視界の様子を模式的に示す図である。

0075

図12を参照すると、利用者が座っている机の周囲に仮想オブジェクト70が存在するように表示されており、利用者は周囲の他の人等の動き注意を奪われることなく自己の業務に集中することができるような環境が実現されているのが分かる。

0076

そして、図6のフローチャートの説明に戻り、仮想オブジェクト70が表示された後において、交差判定部42は、撮像部32により撮像されジェスチャ認識部41に認識された利用者の指先と、表示されている仮想オブジェクト70との交差判定を行う(ステップS104)。

0077

そして、利用者の指先と表示した仮想オブジェクト70とが交差していると判定された場合(ステップS105においてyes)、仮想オブジェクト描画制御部43は、交差している位置や時間等に応じて、仮想オブジェクト70を半透明にしたり消去したり、または指先の位置に応じて仮想オブジェクト70の表示位置の移動や形状の変形等を行う(ステップS106、S107)。

0078

例えば、指先が仮想オブジェクト70に短い時間だけ触れたような場合、図13に示すように仮想オブジェクト70の色彩をサイクリックに変化させるようにしても良い。例えば、最初は仮想オブジェクト70を青色に表示して、1回指先により触れると緑色に変化し、次に触れると赤色に変化するというように順次仮想オブジェクト70の色彩を変化させる。

0079

また、図14に示すように、仮想オブジェクト70の特定の辺を一定時間以上指先で触れた場合には、その辺を指先の移動に伴って平行移動させるようにしても良い。図14では、壁状の仮想オブジェクト70の高さを変更する様子が示されている。

0080

また、図15に示すように、仮想オブジェクト70のある面を一定時間以上触れた状態とすることにより、その面を指先の移動に伴って平行移動させて表示位置を変化させるようにしても良い。図15では、利用者の前面の壁状の仮想オブジェクト70の表示位置を奥方向に移動させて変更する様子が示されている。

0081

なお、このような仮想オブジェクト70を利用者に仮想的に表示させることにより利用者が自己の仕事に集中することができるが、周囲の状況が見えなくなることにより周囲の状況変化に気が付かなくなる。

0082

そのため、管理サーバ20がある特定の事象の発生を検出した場合、その事象が発生したことを文字情報等により仮想オブジェクト70上に表示させるようにしても良い。例えば、管理サーバ20が緊急地震速報を受信した場合、HMD10にその旨を送信することにより、HMD10内の仮想オブジェクト描画制御部43は、図16に示すように、「緊急地震速報を受信しました!」という文字情報を仮想オブジェクト70上に表示する。

0083

また、撮像部32が撮像している画像により、ジェスチャ認識部41が、人が接近していることを検出した場合、図17に示すように、「人が接近しています!」という文字情報を仮想オブジェクト70上に表示する。

0084

そして、さらに人が接近して、交差判定部42が接近した人と仮想オブジェクト70との交差を判定した場合、仮想オブジェクト描画制御部43は、図18に示すように、接近してきた人80と交差した面を半透明にするか、または消去する。このようにすることにより、利用者は、接近してきた人80を視認することができ、近くまで人が接近したことを把握することができる。

0085

また、自分から周囲の状況を知りたい場合には、例えば、図19(A)に示すように、仮想オブジェクト70のある面を指先により触るような動作をすることにより、仮想オブジェクト描画制御部43は、図19(B)に示すように、その面を半透明にするか、または消去する。このようにすることにより、利用者は、周囲の状況を視認することができ、現在の周囲の状況がどのようになっているかを把握することができる。

0086

さらに、あるHMD10において表示されている仮想オブジェクト70の属性情報は管理サーバ20に格納されているため、HMD10を装着している他の人にも仮想オブジェクト70が存在するように見せることが可能である。

0087

例えば、図20に示すように、仮想オブジェクト70を表示させて仕事をしている利用者とは異なる他の利用者90のHMD10にも仮想オブジェクト70を表示させることにより、この利用者90から見た場合に仮想オブジェクト70が実空間内に存在するように見せることが可能である。

0088

また、各HMD10にそれぞれ識別情報を対応させておくことにより、自己の周囲の仮想オブジェクト70を特定の識別情報のHMD10に対してのみ表示させることにより、特定の人からのコンタクトをシャットアウトするようなことも可能となる。

0089

また、仮想オブジェクト70の外側に予め入力した文字情報を表示させることも可能であり、図20に示した例では、「仕事中です!」という文字情報が表示されている。

0090

なお、このような場合、それぞれのHMD10の実際の位置は管理サーバ20により管理されているため、2つのHMD10の距離が予め設定された距離以内、例えば2m以内となり近接したと判定した場合、仮想オブジェクト描画制御部43は、図21に示すように、表示している仮想オブジェクト70を半透明にするか、または消去してお互いが接近したことを把握することができるようにしても良い。

0091

なお、仮想オブジェクト描画制御部43は、撮像部32により撮像された画像から、奥行方向の距離を算出して仮想オブジェクト70を重ね合わせる位置を判定している。そのため、仮想オブジェクト70の表示位置よりも遠い位置の画像は見えなくなるような描画処理が行われる。

0092

しかし、図22に示すように、奥行方向のある仮想オブジェクト71を表示する場合、この仮想オブジェクト71の奥行距離が仮想オブジェクト70の表示位置よりも遠い場合でも、仮想オブジェクト70の手前に仮想オブジェクト71を表示する。例えば、壁状の不透過の仮想オブジェクト71が1m先に表示され、仮想オブジェクト71の奥行が4mある場合も、仮想オブジェクト71を仮想オブジェクト70の手前に表示することにより、仮想オブジェクト71の全体が見えるように表示することが可能である。

0093

[変形例]
上記実施形態では、平面形状の壁状の仮想オブジェクトを表示する場合を用いて説明したが、本発明はこれに限定されるものではなく、柱状の仮想オブジェクトや球面状の仮想オブジェクトを表示する場合でも同様に本発明を適用することができるものである。

0094

10 HMD(ヘッドマウントディスプレイ:頭部装着型表示装置)
11 CPU
12メモリ
13記憶装置
14通信インタフェース(IF)
15位置測定部
16センサ
17カメラ
18表示装置
19制御バス
20管理サーバ
30無線LANターミナル
31位置姿勢検出部
32撮像部
33演算処理部
34通信部
35 表示部
41ジェスチャ認識部
42交差判定部
43仮想オブジェクト描画制御部
70、71 仮想オブジェクト

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

新着 最近 公開された関連が強い 技術

  • リー、チャルウーの「 反応型映像生成方法及び生成プログラム」が 公開されました。( 2018/11/08)

    【課題】本発明は、反応型映像生成方法及び生成プログラムに関する。【解決手段】本発明の一実施形態に係る反応型映像生成方法は、コンピュータが第1映像を獲得する第1映像獲得段階(S100)と、特定の再生範囲... 詳細

  • オリンパス株式会社の「 画像処理装置」が 公開されました。( 2018/11/01)

    【課題・解決手段】プロセッサ(13)は、緑色の波長帯域内において、血液による吸収が最小となる波長を含む第1の狭帯域光が照射された出血点を含む被検体の画像を画像化した第1の画像信号が入力され、第1の画像... 詳細

  • 株式会社オプティムの「 画像解析システム、画像解析方法、およびプログラム」が 公開されました。( 2018/11/01)

    【課題】 カメラで撮像した画像を解析する画像解析システムにおいて、画像解析による検出および識別精度を向上させる。【解決手段】 カメラの設定データおよび被写体に関するデータからなる撮像環境データセッ... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する挑戦したい社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ