図面 (/)

技術 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム

出願人 セイコーエプソン株式会社
発明者 青沼正志高野正秀
出願日 2014年12月10日 (5年3ヶ月経過) 出願番号 2014-249673
公開日 2016年6月20日 (3年8ヶ月経過) 公開番号 2016-110542
状態 特許登録済
技術分野 イメージ処理・作成 デジタル計算機のユーザインターフェイス 電気的に作動する教習具
主要キーワード 実現条件 検出データー ガス検知センサー センサー検出値 測定データー 並行状態 軸センサー 本体コード
関連する未来課題
重要な関連分野

NEWこの技術のポテンシャルをビッグデータで簡単査定!

特許:約8,000万件, クラウドファンディング:約100万年件, 科研費・グラントデータ:約500万件, 発明者・研究者情報:約600万人

この項目の情報は公開日時点(2016年6月20日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (13)

課題

拡張現実感の技術を用いた作業支援を実現することができる頭部装着型表示装置において、1つの動作手順と、当該動作手順に関連する動作手順と、からなる一連の動作手順の教示を実現する。

解決手段

利用者虚像外景とを視認可能な頭部装着型表示装置は、利用者に虚像を視認させる画像表示部と、現実世界に付加して表示するための仮想オブジェクトを用いて、一連の動作手順を表した情報である手順情報を特定する特定部であって、予め用意された複数の手順情報の中から、少なくとも1つの手順情報を特定する特定部と、特定された手順情報と、特定された手順情報の前後のうちの少なくともいずれか一方に付随する手順情報である付随手順情報とを取得し、取得した手順情報と付随手順情報とのうちの少なくとも一方に含まれている仮想オブジェクトを表す虚像を画像表示部に形成させる取得部と、を備える。

概要

背景

利用者に対して一連の動作の手順(以降、単に「動作手順」とも呼ぶ。)を教示する作業支援システムが知られている。例えば、特許文献1には、ビデオ撮影された被写体の動作と、被写体の動作のうち、特に詳細な説明が必要となる部分の模式的な動画像と、を合成して、1つの画面上に表示することで、作業支援を実現する技術が記載されている。

概要

拡張現実感の技術を用いた作業支援を実現することができる頭部装着型表示装置において、1つの動作手順と、当該動作手順に関連する動作手順と、からなる一連の動作手順の教示を実現する。利用者が虚像外景とを視認可能な頭部装着型表示装置は、利用者に虚像を視認させる画像表示部と、現実世界に付加して表示するための仮想オブジェクトを用いて、一連の動作手順を表した情報である手順情報を特定する特定部であって、予め用意された複数の手順情報の中から、少なくとも1つの手順情報を特定する特定部と、特定された手順情報と、特定された手順情報の前後のうちの少なくともいずれか一方に付随する手順情報である付随手順情報とを取得し、取得した手順情報と付随手順情報とのうちの少なくとも一方に含まれている仮想オブジェクトを表す虚像を画像表示部に形成させる取得部と、を備える。

目的

しかし、この装置には、他にも、装置の小型化、利便性の向上、装置製造の際の低コスト化省資源化、製造の容易化、等が望まれている

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

利用者虚像外景とを視認可能な頭部装着型表示装置であって、前記利用者に前記虚像を視認させる画像表示部と、現実世界に付加して表示するための仮想オブジェクトを用いて、一連動作手順を表した情報である手順情報を特定する特定部であって、予め用意された複数の前記手順情報の中から、少なくとも1つの前記手順情報を特定する特定部と、特定された前記手順情報と、特定された前記手順情報の前後のうちの少なくともいずれか一方に付随する前記手順情報である付随手順情報とを取得し、取得した前記手順情報と前記付随手順情報とのうちの少なくとも一方に含まれている前記仮想オブジェクトを表す前記虚像を前記画像表示部に形成させる取得部と、を備える、頭部装着型表示装置。

請求項2

請求項1に記載の頭部装着型表示装置であって、前記予め用意された複数の手順情報には、それぞれ、前記一連の動作手順に関するタグ情報が含まれ、前記特定部は、前記タグ情報を用いて前記手順情報を特定する、頭部装着型表示装置。

請求項3

請求項2に記載の頭部装着型表示装置であって、さらに、前記頭部装着型表示装置を装着した状態における前記利用者の視界方向の外景画像を取得する画像取得部を備え、前記特定部は、取得された前記外景画像を画像認識することで、現実世界に実在する実オブジェクトを表す情報を取得し、取得した前記実オブジェクトを表す情報と前記タグ情報とを照合することで、前記手順情報を特定する、頭部装着型表示装置。

請求項4

請求項2に記載の頭部装着型表示装置であって、前記特定部は、前記タグ情報の一覧を表す前記虚像を前記画像表示部に形成させ、前記利用者からの前記タグ情報の指定を取得することで、前記手順情報を特定する、頭部装着型表示装置。

請求項5

請求項2に記載の頭部装着型表示装置であって、前記特定部は、前記利用者からのキーワードの入力を取得し、取得したキーワードと前記タグ情報とを照合することで、前記手順情報を特定する、頭部装着型表示装置。

請求項6

請求項2に記載の頭部装着型表示装置であって、さらに、前記利用者の発声内容を取得する音取得部を備え、前記特定部は、取得された前記発声内容と前記タグ情報とを照合することで、前記手順情報を特定する、頭部装着型表示装置。

請求項7

請求項2から請求項6のいずれか一項に記載の頭部装着型表示装置であって、前記タグ情報には、前記一連の動作手順の出所に関する情報と、前記一連の動作手順の実現条件に関する情報と、前記一連の動作手順の評価に関する情報と、が含まれ、前記特定部は、さらに、前記出所に関する情報と、前記実現条件に関する情報と、前記評価に関する情報と、のうちの少なくともいずれかを考慮して、前記手順情報を特定する、頭部装着型表示装置。

請求項8

請求項1から請求項7のいずれか一項に記載の頭部装着型表示装置であって、前記付随手順情報は、前記一連の動作手順の出所に関する情報と、前記一連の動作手順の実現条件に関する情報と、前記一連の動作手順の評価に関する情報と、のうちの少なくともいずれかを考慮して決定されている、頭部装着型表示装置。

請求項9

請求項1から請求項8のいずれか一項に記載の頭部装着型表示装置であって、さらに、前記一連の動作手順のモデルであって、前記一連の動作手順を表す前記仮想オブジェクトの元となるモデルを生成するモデル生成部と、生成された前記モデルに前記一連の動作手順に関するタグ情報を付して、前記手順情報を生成する生成部と、を備える、頭部装着型表示装置。

請求項10

請求項9に記載の頭部装着型表示装置であって、さらに、前記利用者の発声内容を取得する音取得部と、前記利用者に関する情報を記憶するユーザー情報記憶部と、を備え、前記生成部は、さらに、前記モデルの生成中において取得された前記発声内容と、前記利用者に関する情報と、のうちの少なくともいずれかを用いて、前記タグ情報を抽出する、頭部装着型表示装置。

請求項11

請求項9または請求項10のいずれか一項に記載の頭部装着型表示装置であって、前記生成部は、前記一連の動作手順の出所に関する情報と、前記一連の動作手順の実現条件に関する情報と、前記一連の動作手順の評価に関する情報と、前記一連の動作手順を実行するにあたって参考に資する情報と、のうちの少なくともいずれかを前記タグ情報とする、頭部装着型表示装置。

請求項12

頭部装着型表示装置を制御する方法であって、現実世界に付加して表示するための仮想オブジェクトを用いて、一連の動作手順を表した情報である手順情報を特定する工程であって、予め用意された複数の前記手順情報の中から、少なくとも1つの前記手順情報を特定する工程と、特定された前記手順情報と、特定された前記手順情報の前後のうちの少なくともいずれか一方に付随する前記手順情報である付随手順情報とを取得する工程と、取得した前記手順情報および前記付随手順情報に含まれている前記仮想オブジェクトを表す虚像を前記頭部装着型表示装置に形成させる工程と、を備える、方法。

請求項13

コンピュータープログラムであって、現実世界に付加して表示するための仮想オブジェクトを用いて、一連の動作手順を表した情報である手順情報を特定する特定機能であって、予め用意された複数の前記手順情報の中から、少なくとも1つの前記手順情報を特定する特定機能と、特定された前記手順情報と、特定された前記手順情報の前後のうちの少なくともいずれか一方に付随する前記手順情報である付随手順情報とを取得する取得機能と、取得した前記手順情報および前記付随手順情報に含まれている前記仮想オブジェクトを表す虚像を頭部装着型表示装置に形成させる形成機能と、をコンピューターに実現させるための、コンピュータープログラム。

技術分野

0001

本発明は、頭部装着型表示装置に関する。

背景技術

0002

利用者に対して一連の動作の手順(以降、単に「動作手順」とも呼ぶ。)を教示する作業支援システムが知られている。例えば、特許文献1には、ビデオ撮影された被写体の動作と、被写体の動作のうち、特に詳細な説明が必要となる部分の模式的な動画像と、を合成して、1つの画面上に表示することで、作業支援を実現する技術が記載されている。

先行技術

0003

特開2002−230086号公報
特開平8−75418号公報
特表2007−514211号公報

発明が解決しようとする課題

0004

一方、現実世界実在するオブジェクトである実オブジェクトに対して、コンピューターを用いて情報を付加提示する拡張現実感(AR、Augmented Reality)と呼ばれる技術が知られている。拡張現実感において、実オブジェクトに付加的に表示される情報を「仮想オブジェクト」とも呼ぶ。拡張現実感は、例えば、ヘッドマウントディスプレイ(以降、「HMD」または「頭部装着型表示装置」とも呼ぶ。)に搭載される。HMDは、カメラ外景撮像し、撮像により得られた画像を画像認識し、仮想オブジェクトを生成または取得する。HMDを装着した状態において利用者の視界遮断される非透過型のHMDでは、撮影された画像と仮想オブジェクトとを重畳させて利用者に視認させる。HMDを装着した状態において利用者の視界が遮断されない透過型のHMDでは、仮想オブジェクトのみを利用者に視認させる。透過型のHMDを装着した利用者は、現実世界の実オブジェクトと仮想オブジェクトとの両方を見ることで、拡張現実感を体感することができる。

0005

このような拡張現実感の技術を利用した作業支援を実現すれば、利用者は、眼前に実在する実オブジェクトに対して、仮想オブジェクトを用いて表された動作手順の教示を受けることができるため、非常に有用である。この点、特許文献1に記載された技術では、ビデオ撮影された被写体およびその動作はマニュアル的なものに過ぎず、現実世界とは何ら関係がないという課題があった。さらに、拡張現実感の技術を利用した作業支援において、1つの動作手順と、当該動作手順に関連する動作手順と、からなる一連の動作手順の教示を実現したいという要望があった。

0006

このため、拡張現実感の技術を用いた作業支援を実現することができる頭部装着型表示装置において、1つの動作手順と、当該動作手順に関連する動作手順と、からなる一連の動作手順の教示を実現することが求められていた。

課題を解決するための手段

0007

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。

0008

(1)本発明の一形態によれば、利用者が虚像と外景とを視認可能な頭部装着型表示装置が提供される。この頭部装着型表示装置は;前記利用者に前記虚像を視認させる画像表示部と;現実世界に付加して表示するための仮想オブジェクトを用いて、一連の動作手順を表した情報である手順情報を特定する特定部であって、予め用意された複数の前記手順情報の中から、少なくとも1つの前記手順情報を特定する特定部と;特定された前記手順情報と、特定された前記手順情報の前後のうちの少なくともいずれか一方に付随する前記手順情報である付随手順情報とを取得し、取得した前記手順情報と前記付随手順情報とのうちの少なくとも一方に含まれている前記仮想オブジェクトを表す前記虚像を前記画像表示部に形成させる取得部と、を備える。
この形態の頭部装着型表示装置によれば、取得部は、取得した手順情報と付随手順情報とのうちの少なくとも一方に含まれている仮想オブジェクトを表す虚像を画像表示部に形成させる。このため、頭部装着型表示装置において、拡張現実感の技術を用いた作業支援を実現することができる。さらに、取得部は、特定部によって特定された少なくとも1つの手順情報と、特定された手順情報に付随する付随手順情報と、を取得する。付随手順情報は、特定された手順情報の前後のうちの少なくともいずれか一方に付随する手順情報であり、換言すれば、特定された手順情報に関連する手順情報である。このため、頭部装着型表示装置において、1つの動作手順(特定された手順情報)と、当該動作手順に関連する動作手順(付随手順情報)と、からなる一連の動作手順の教示を実現することができる。

0009

(2)上記形態の頭部装着型表示装置において;前記予め用意された複数の手順情報には、それぞれ、前記一連の動作手順に関するタグ情報が含まれ;前記特定部は、前記タグ情報を用いて前記手順情報を特定してもよい。
この形態の頭部装着型表示装置によれば、特定部は、一連の動作手順に関する情報であるタグ情報を用いて、複数の手順情報の中から少なくとも1つの手順情報を特定することができる。

0010

(3)上記形態の頭部装着型表示装置では、さらに;前記頭部装着型表示装置を装着した状態における前記利用者の視界方向の外景画像を取得する画像取得部を備え;前記特定部は;取得された前記外景画像を画像認識することで、現実世界に実在する実オブジェクトを表す情報を取得し;取得した前記実オブジェクトを表す情報と前記タグ情報とを照合することで、前記手順情報を特定してもよい。
この形態の頭部装着型表示装置によれば、特定部は、利用者の視界方向の外景画像から、利用者の視界方向の現実世界に実在する実オブジェクトを表す情報を取得し、取得した実オブジェクトを表す情報とタグ情報とを照合することで、手順情報を特定することができる。すなわち、特定部は、利用者が実際に目にしているであろうと推定される実オブジェクトに基づいて、手順情報を特定することができる。

0011

(4)上記形態の頭部装着型表示装置において;前記特定部は、前記タグ情報の一覧を表す前記虚像を前記画像表示部に形成させ、前記利用者からの前記タグ情報の指定を取得することで、前記手順情報を特定してもよい。
この形態の頭部装着型表示装置によれば、特定部は、利用者の意図に基づいて、手順情報を特定することができる。また、特定部は、画像表示部にタグ情報の一覧を表す虚像を形成させるため、利用者がタグ情報を指定する際の利便性を向上させることができる。

0012

(5)上記形態の頭部装着型表示装置において;前記特定部は;前記利用者からのキーワードの入力を取得し;取得したキーワードと前記タグ情報とを照合することで、前記手順情報を特定してもよい。
この形態の頭部装着型表示装置によれば、特定部は、利用者の意図に基づいて、手順情報を特定することができる。また、特定部は、利用者からのキーワードに基づいて手順情報を特定することができるため、利用者における入力の自由度を高めることができる。

0013

(6)上記形態の頭部装着型表示装置では、さらに;前記利用者の発声内容を取得する音取得部を備え;前記特定部は、取得された前記発声内容と前記タグ情報とを照合することで、前記手順情報を特定してもよい。
この形態の頭部装着型表示装置によれば、特定部は、利用者の意図に基づいて、手順情報を特定することができる。また、特定部は、利用者の発声内容に基づいて手順情報を特定することができるため、利用者における利便性を向上させることができる。

0014

(7)上記形態の頭部装着型表示装置において;前記タグ情報には;前記一連の動作手順の出所に関する情報と;前記一連の動作手順の実現条件に関する情報と;前記一連の動作手順の評価に関する情報と;が含まれ;前記特定部は、さらに、前記出所に関する情報と、前記実現条件に関する情報と、前記評価に関する情報と、のうちの少なくともいずれかを考慮して、前記手順情報を特定してもよい。
この形態の頭部装着型表示装置によれば、特定部は、一連の動作手順に関する種々の情報を考慮して、手順情報を特定することができる。出所に関する情報を考慮して手順情報を特定する場合、特定部は、例えば、確かな出所(例えば、有名な人物、有名な企業等)からの手順情報を優先することができる。実現条件に関する情報を考慮して手順情報を特定する場合、特定部は、例えば、利用者が準備可能な実現条件に即した実現条件を有する手順情報を優先することができる。評価に関する情報を考慮して手順情報を特定する場合、特定部は、例えば、評価の高い手順情報を優先することができる。

0015

(8)上記形態の頭部装着型表示装置において;前記付随手順情報は;前記一連の動作手順の出所に関する情報と;前記一連の動作手順の実現条件に関する情報と;前記一連の動作手順の評価に関する情報と;のうちの少なくともいずれかを考慮して決定されていてもよい。
この形態の頭部装着型表示装置によれば、特定された手順情報に付随手順情報が、一連の動作手順に関する種々の情報を考慮して決定されることができる。例えば、出所に関する情報を考慮して付随手順情報が決定される場合、例えば、確かな出所(例えば、有名な人物、有名な企業等)からの手順情報が優先され得る。実現条件に関する情報を考慮して付随手順情報が決定される場合、例えば、利用者が準備可能な実現条件に即した実現条件を有する手順情報が優先され得る。評価に関する情報を考慮して付随手順情報が決定される場合、例えば、評価の高い手順情報が優先され得る。

0016

(9)上記形態の頭部装着型表示装置では、さらに;前記一連の動作手順のモデルであって、前記一連の動作手順を表す前記仮想オブジェクトの元となるモデルを生成するモデル生成部と;生成された前記モデルに前記一連の動作手順に関するタグ情報を付して、前記手順情報を生成する生成部と、を備えていてもよい。
この形態の頭部装着型表示装置によれば、頭部装着型表示装置において、一連の動作手順を表す仮想オブジェクトの元となるモデルと、一連の動作手順に関するタグ情報と、を含んだ手順情報を生成することができる。

0017

(10)上記形態の頭部装着型表示装置では、さらに;前記利用者の発声内容を取得する音取得部と;前記利用者に関する情報を記憶するユーザー情報記憶部と、を備え;前記生成部は、さらに、前記モデルの生成中において取得された前記発声内容と、前記利用者に関する情報と、のうちの少なくともいずれかを用いて、前記タグ情報を抽出してもよい。
この形態の頭部装着型表示装置によれば、生成部は、モデルの生成中において取得された情報(発声内容)と、予め準備されている情報(利用者に関する情報)と、を用いて、手順情報に含めるタグ情報を自動的に抽出することができる。

0018

(11)上記形態の頭部装着型表示装置において;前記生成部は;前記一連の動作手順の出所に関する情報と;前記一連の動作手順の実現条件に関する情報と;前記一連の動作手順の評価に関する情報と;前記一連の動作手順を実行するにあたって参考に資する情報と;のうちの少なくともいずれかを前記タグ情報としてもよい。
この形態の頭部装着型表示装置によれば、生成部は、一連の動作手順に関する種々の情報をタグ情報として用いることができる。

0019

上述した本発明の各形態の有する複数の構成要素は全てが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな構成要素との差し替え、限定内容の一部削除を行うことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。

0020

例えば、本発明の一形態は、画像表示部と、特定部と、取得部と、の3つの要素のうちの一部または全部の要素を備えた装置として実現可能である。すなわち、この装置は、画像表示部を有していてもよく、有していなくてもよい。また、この装置は、特定部を有していてもよく、有していなくてもよい。また、この装置は、取得部を有していてもよく、有していなくてもよい。こうした装置は、例えば頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置としても実現可能である。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。例えば、本発明の一形態としての装置は、頭部装着型表示装置を用いて、仮想オブジェクトを用いて表された既存の動作手順を利用して、拡張現実感の技術を用いた作業支援を実現することが可能な装置において、1つの動作手順と、当該動作手順に関連する動作手順と、からなる一連の動作手順の教示を実現することを課題としている。しかし、この装置には、他にも、装置の小型化、利便性の向上、装置製造の際の低コスト化省資源化、製造の容易化、等が望まれている。

0021

なお、本発明は、種々の態様で実現することが可能であり、例えば、頭部装着型表示装置および頭部装着型表示装置の制御方法、頭部装着型表示装置を含むシステム情報処理装置および情報処理装置の制御方法、情報処理装置を含むシステム、画像表示装置および画像表示装置の制御方法、画像表示装置を含むシステム、これらの方法、装置、システムの機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを配布するためのサーバー装置、そのコンピュータープログラムを記憶した記憶媒体等の形態で実現することができる。

図面の簡単な説明

0022

本発明の一実施形態における画像表示システム概略構成を示す説明図である。
HMD100の構成を機能的に示すブロック図である。
利用者に視認される虚像の一例を示す説明図である。
サーバー300の構成を機能的に示すブロック図である。
シナリオ登録処理の手順を示すシーケンス図である。
生成された3Dモデルの一例を示す図である。
生成された3Dモデルの他の例を示す図である。
シナリオの一例を示す図である。
サーバー300のシナリオ記憶部322の一例を示す図である。
シナリオ表示処理の手順を示すシーケンス図である。
選択画面の一例を示す図である。
変形例におけるHMDの外観の構成を示す説明図である。

実施例

0023

A.実施形態:
A−1.画像表示システムの構成:
図1は、本発明の一実施形態における画像表示システムの概略構成を示す説明図である。画像表示システム1は、頭部装着型表示装置100と、サーバー300と、を備えている。本実施形態の画像表示システム1は、後述のシナリオ登録処理によって、頭部装着型表示装置100からサーバー300に対して、シナリオをアップロードし、蓄積しておくことができる。また、本実施形態の画像表示システム1は、後述のシナリオ表示処理によって、サーバー300から頭部装着型表示装置100に対して、シナリオをダウンロードし、頭部装着型表示装置100においてダウンロードされたシナリオを表示させることができる。

0024

本実施形態の「シナリオ」とは、仮想オブジェクトを用いて、頭部装着型表示装置100の利用者に対して、一連の「動作手順」を教示するために用いられる情報である。「動作手順」には、種々のカテゴリーの動作の手順が広く含まれる。例えば、料理や裁縫における製作者の動作の手順、工場作業における作業員の動作の手順、テニス等のスポーツにおける競技者の動作の手順等が含まれる。また、動作手順には、思考プロセスのような思考の手順、学習プロセスにおける思考の手順といった、利用者の体の動きを伴わない思考動作の手順をも含む。これらの動作の手順は、連続的であってもよいし、一定間隔をおいて不連続的であってもよい。また、動作の手順には、手順を表さない情報(モデル、画像、文字列図形記号等、音声、その他の任意のデーター等)を含んでいてもよい。シナリオは「手順情報」として機能する。

0025

「仮想オブジェクト」とは、拡張現実感(AR、Augmented Reality)処理において、現実世界に実在するオブジェクトである「実オブジェクト」に対して付加的に表示される情報を意味する。オブジェクトとは、任意の人、任意の動植物、任意の物(人工物、自然物等を含む)等を意味する。本実施形態の実オブジェクトは、利用者が関心を寄せている(例えば視線を向けている)オブジェクトである「実関心オブジェクト」と、利用者の関心外の(例えば視界に入っているものの視線を向けていない)オブジェクトである「実背景オブジェクト」との両方を含みうる。

0026

頭部装着型表示装置100は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ(Head Mounted Display、HMD)とも呼ばれる。本実施形態のHMD100は、利用者が、虚像を視認すると同時に外景も直接視認することができる光学透過型のヘッドマウントディスプレイである。

0027

サーバー300は、後述のシナリオ登録処理において、HMD100から受信したシナリオを蓄積する。サーバー300は、複数のHMD100から受信したシナリオを蓄積することができる。また、サーバー300は、後述のシナリオ表示処理において、HMD100から指定された条件に従って、蓄積されている複数のシナリオから、少なくとも1つのシナリオを抽出し、抽出したシナリオをHMD100へ送信する。

0028

HMD100は、通信キャリアBSを介して無線通信インターネットNTに接続されている。サーバー300は、有線通信でインターネットINTに接続されている。この結果、HMD100とサーバー300とは、互いにインターネットINTによって接続される。通信キャリアBSは、送受信アンテナや、無線基地局交換局を含む。

0029

A−2.頭部装着型表示装置(HMD)の構成:
A−2−1.画像表示部の構成:
図2は、HMD100の構成を機能的に示すブロック図である。図1に示すように、画像表示部20は、利用者の頭部に装着される装着体であり、本実施形態では眼鏡形状である。画像表示部20は、右保持部21と、右表示駆動部22と、左保持部23と、左表示駆動部24と、右光学像表示部26と、左光学像表示部28と、カメラ61と、マイク62と、9軸センサー66と、を備えている。以降、利用者が画像表示部20を装着した状態における、画像表示部20の各部の位置関係と機能について説明する。

0030

図1に示すように、右光学像表示部26および左光学像表示部28は、利用者の右の眼前と、左の眼前とにそれぞれ位置するように配置されている。右光学像表示部26の一端と左光学像表示部28の一端とは、利用者の眉間に対応する位置で接続されている。図2に示すように、右光学像表示部26は、右導光板261と調光板(図示省略)とを備えている。右導光板261は、光透過性樹脂材料等によって形成され、右表示駆動部22から出力された画像光を、所定の光路に沿って反射させつつ利用者の右眼REに導く。調光板は、薄板状の光学素子であり、画像表示部20の表側(利用者の眼の側とは反対の側)を覆うように配置されている。調光板は、導光板261を保護し、導光板261の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、利用者の眼に入る外光量を調整して虚像の視認のしやすさを調整することができる。調光板は省略してもよい。

0031

左光学像表示部28は、左導光板262と調光板(図示省略)とを備えている。これらの詳細は、右光学像表示部26と同様である。なお、右光学像表示部26および左光学像表示部28を総称して単に「光学像表示部」とも呼ぶ。光学像表示部は、画像光を用いて利用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いて実現されても良いし、半透過反射膜を用いて実現されても良い。

0032

図1に示すように、右保持部21は、右光学像表示部26の他端ERから利用者の側頭部に対応する位置にかけて延伸して設けられている。左保持部23は、左光学像表示部28の他端ELから利用者の側頭部に対応する位置にかけて、延伸して設けられている。右保持部21および左保持部23は、眼鏡テンプル(つる)のようにして、利用者の頭部に画像表示部20を保持する。なお、右保持部21および左保持部23を総称して単に「保持部」とも呼ぶ。

0033

図1に示すように、右表示駆動部22は、右保持部21の内側(利用者の頭部に対向する側)に配置されている。左表示駆動部24は、左保持部23の内側に配置されている。図2に示すように、右表示駆動部22は、受信部(Rx)53と、光源として機能する右バックライトBL)制御部201および右バックライト(BL)221と、表示素子として機能する右LCD(液晶ディスプレイ、Liquid Crystal Display)制御部211および右LCD241と、右投写光学系251とを備えている。なお、右バックライト制御部201と、右LCD制御部211と、右バックライト221と、右LCD241とを総称して「画像光生成部」とも呼ぶ。

0034

受信部53は、制御部10と画像表示部20との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部201は、入力された制御信号に基づいて右バックライト221を駆動する。右バックライト221は、例えばLED(Light Emitting Diode)やエレクトロルミネセンス(EL)等の発光体である。右LCD制御部211は、受信部53を介して入力されたクロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、右眼用画像データーDataとに基づいて、右LCD241を駆動する。右LCD241は、複数の画素マトリクス状に配置した透過型液晶パネルである。右投写光学系251は、右LCD241から射出された画像光を並行状態の光束にするコリメートレンズである。

0035

左表示駆動部24は、受信部(Rx)54と、光源として機能する左バックライト(BL)制御部202および左バックライト(BL)222と、表示素子として機能する左LCD制御部212および左LCD242と、左投写光学系252とを備えている。これらの詳細は、右表示駆動部22と同様である。なお、右表示駆動部22および左表示駆動部24を総称して単に「表示駆動部」とも呼ぶ。

0036

図1に示すように、カメラ61は、利用者の右眼の目尻の下方に対応する位置に配置されている単眼カメラである。カメラ61は、画像表示部20の表側方向、換言すれば、HMD100を装着した状態における利用者の視界方向の外景(外部の景色)を撮像し、外景画像を取得する。カメラ61はいわゆる可視光カメラであり、カメラ61により取得される外景画像は、物体から放射される可視光から物体の形状を表す画像である。なお、本実施形態におけるカメラ61は単眼カメラであるが、ステレオカメラとしてもよい。カメラ61は「画像取得部」として機能する。

0037

図1に示すように、マイク62は、利用者のの上方に対応する位置に配置されているマイクである。マイク62は、外部の音声を取得する「音取得部」として機能する。「音声」とは、人の声のみでなく、機械音等を含む広義の「音」を意味する。

0038

図1に示すように、9軸センサー66は、利用者の右側のこめかみに対応する位置に配置されている。9軸センサー66は、加速度(3軸)、角速度(3軸)、地磁気(3軸)を検出するモーションセンサーである。9軸センサー66は、画像表示部20に設けられているため、画像表示部20が頭部に装着されているときには、利用者の頭部の動きを検出し、取得することができる。ここで、頭部の動きとは、頭部の速度・加速度・角速度・向き・向きの変化を含む。

0039

図1に示すように、画像表示部20は、画像表示部20と制御部10とを接続するための接続部40を備えている。接続部40は、制御部10に接続される本体コード48と、本体コード48が分岐した右コード42および左コード44と、分岐点に設けられた連結部材46と、を含んでいる。連結部材46には、イヤホンプラグ30を接続するためのジャックが設けられている。イヤホンプラグ30からは、右イヤホン32および左イヤホン34が延伸している。画像表示部20と制御部10とは、接続部40を介して各種信号伝送を行う。接続部40の各コードには、例えば、金属ケーブル光ファイバーを採用することができる。

0040

A−2−2.制御部の構成:
制御部10はHMD100を制御するための装置である。図1に示すように、制御部10は、決定キー11と、点灯部12と、表示切替キー13と、トラックパッド14と、輝度切替キー15と、方向キー16と、メニューキー17と、電源スイッチ18と、を備えている。決定キー11は、押下操作を検出して、制御部10において操作された内容を決定するための信号を出力する。点灯部12は、例えばLEDによって実現され、HMD100の動作状態(例えば電源のON/OFF等)を発光状態によって通知する。表示切替キー13は、押下操作を検出して、例えばコンテンツ動画の表示モードを3Dと2Dとに切り替える信号を出力する。

0041

トラックパッド14は、トラックパッド14の操作面上における利用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド14としては、静電式圧力検出式、光学式といった種々の方式を採用できる。輝度切替キー15は、押下操作を検出して、画像表示部20の輝度増減する信号を出力する。方向キー16は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ18は、スイッチのスライド操作を検出することで、HMD100の電源投入状態を切り替える。

0042

図2に示すように、制御部10は、入力情報取得部110と、記憶部120と、電源130と、無線通信部132と、GPSモジュール134と、CPU140と、インターフェイス180と、送信部(Tx)51および52とを備え、各部は図示しないバスにより相互に接続されている。

0043

入力情報取得部110は、決定キー11、表示切替キー13、トラックパッド14、輝度切替キー15、方向キー16、メニューキー17、および、電源スイッチ18に対する操作入力に応じた信号を取得する。入力情報取得部110は、上記以外の種々の方法を用いた操作入力を取得することができる。例えば、フットスイッチ(利用者の足により操作するスイッチ)による操作入力を取得してもよい。例えば、視線検出部(図示省略)によって検出された利用者の視線や、目の動きに対応付けられたコマンドによる操作入力を取得してもよい。このコマンドは利用者によって追加可能に設定されていてもよい。例えば、カメラ61を用いて利用者のジェスチャーを検知し、ジェスチャーに対応付けられたコマンドによる操作入力を取得してもよい。ジェスチャー検知の際は、利用者の指先や、利用者の手に付けられた指輪や、利用者の手にする医療器具等を動き検出のための目印にすることができる。これらの方法による操作入力を取得可能とすれば、利用者が手を離すことが困難である作業においても、入力情報取得部110は、利用者からの操作入力を取得することができる。

0044

記憶部120は、ROM、RAM、DRAMハードディスク等によって構成されている。記憶部120には、オペレーティングシステム(ОS)をはじめとする種々のコンピュータープログラムが格納されている。また、記憶部120には、シナリオ記憶部122と、ユーザー情報記憶部124とが記憶されている。

0045

シナリオ記憶部122は、後述のシナリオ登録処理によってHMD100が生成したシナリオを記憶しておくための領域である。ユーザー情報記憶部124には、HMD100の利用者に関する情報が予め記憶されている。利用者に関する情報とは、種々の情報を含むことができる。例えば、利用者を相互に識別するために付された識別子(ユーザーID)のほか、名前性別住所電話番号等の個人情報を含みうる。ユーザー情報記憶部124には、HMD100を利用する複数人の利用者の情報が記憶されていてもよい。

0046

電源130は、HMD100の各部に電力を供給する。電源130としては、例えば二次電池を用いることができる。

0047

無線通信部132は、所定の無線通信規格に則って、外部装置との間で無線通信を行う。所定の無線通信規格とは、例えば、赤外線、Bluetooth(登録商標)に例示される近距離無線通信IEEE802.11に例示される無線LAN等である。

0048

GPSモジュール134は、GPS衛星からの信号を受信することにより、HMD100の利用者の現在位置を検出し、利用者の現在位置情報を表す現在位置情報を生成する。現在位置情報は、例えば緯度経度を表す座標によって実現することができる。

0049

CPU140は、記憶部120に格納されているコンピュータープログラムを読み出して実行することにより、モデル生成部142、生成部144、特定部146、取得部148、拡張現実感処理部149、OS150、画像処理部160、音声処理部170、表示制御部190として機能する。

0050

モデル生成部142は、後述のシナリオ登録処理において、3Dモデルを生成する。「3Dモデル」とは、シナリオの実演者およびその周囲の実オブジェクト(現実世界に実在するオブジェクト)についての3Dモデルのデーターである。3Dモデルは、実演者による一連の動作手順のモデル、換言すれば、実演者の動きについての時系列的な情報を含む。本実施形態において「時系列的な情報」とは、モデル、画像、文字列図形記号等、音声、その他のデーター等の種々の情報を、連続的に、または一定間隔をおいて不連続的に表したものである。3Dモデルは、シナリオの基幹となる部分であり、一連の動作手順を表す仮想オブジェクトの元となる。生成部144は、後述のシナリオ登録処理において、モデル生成部142によって生成された3Dモデルから、シナリオを生成する。

0051

特定部146は、後述のシナリオ表示処理において、サーバー300に記憶されている複数のシナリオの中から、利用者の意図を反映した少なくとも1つのシナリオを特定する。取得部148は、後述のシナリオ表示処理において、特定部146によって特定されたシナリオと、特定されたシナリオに付随するシナリオと、をサーバー300から取得する。取得部148は、取得したシナリオを拡張現実感処理部149へ送信することで、HMD100に表示させる。拡張現実感処理部149は、後述のシナリオ表示処理において、取得部148から受信したシナリオに対して拡張現実感処理を実行する。拡張現実感処理は、現実世界に実在する実オブジェクトに対して、仮想オブジェクトを付加して表示するための処理である。これら各部の詳細は後述する。

0052

画像処理部160は、画像表示のための信号処理を行う。具体的には、画像処理部160は、インターフェイス180や無線通信部132を介してコンテンツ(映像)が入力されている場合、コンテンツに基づく画像データーDataを生成する。画像処理部160は、HMD100の他の機能部から画像データーを受信した場合、受信したデーターを画像データーDataとする。なお、画像処理部160は、画像データーDataに対して、解像度変換処理、輝度や彩度の調整といった種々の色調補正処理キーストーン補正処理等の画像処理を実行してもよい。画像処理部160は、上述の画像データーDataと、クロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、を、送信部51、52を介して、画像表示部20へ送信する。

0053

表示制御部190は、右表示駆動部22および左表示駆動部24を制御する制御信号を生成する。具体的には、表示制御部190は、制御信号により、左右のLCD制御部211、212による左右のLCD241、242の駆動ON/OFFや、左右のバックライト制御部201、202による左右のバックライト221、222の駆動ON/OFFを個別に制御することにより、右表示駆動部22および左表示駆動部24のそれぞれによる画像光の生成および射出を制御する。表示制御部190は、これらの制御信号を、送信部51、52を介して画像表示部20へ送信する。

0054

音声処理部170は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、右イヤホン32の図示しないスピーカーと、左イヤホン34の図示しないスピーカーとに対して供給する。

0055

インターフェイス180は、所定の有線通信規格に則って、外部装置OAとの間で通信を行う。所定の有線通信規格としては、例えば、MicroUSB(Universal Serial Bus)、USB、HDMI(High Definition Multimedia Interface、HDMIは登録商標)、DVI(Digital Visual Interface)、VGA(Video Graphics Array)、コンポジット、RS−232C(Recommended Standard 232)、IEEE802.3に例示される有線LAN等である。外部機器ОAとしては、例えば、パーソナルコンピューターPCや携帯電話端末ゲーム端末等を利用することができる。

0056

図3は、利用者に視認される虚像の一例を示す説明図である。図3(A)は、拡張現実感処理を実行していない場合の利用者の視野VRを例示している。上述のようにして、HMD100の利用者の両眼に導かれた画像光が利用者の網膜結像することにより、利用者は虚像VIを視認する。図3(A)の例では、虚像VIは、HMD100のOS150の待ち受け画面である。利用者は、右光学像表示部26および左光学像表示部28を透過して外景SCを視認する。このように、本実施形態のHMD100の利用者は、視野VRのうち虚像VIが表示された部分については、虚像VIと、虚像VIの背後に外景SCとを見ることができる。また、視野VRのうち虚像VIが表示されていない部分については、光学像表示部を透過して、外景SCを直接見ることができる。

0057

図3(B)は、拡張現実感処理を実行している場合の利用者の視野VRを例示している。拡張現実感処理部149が拡張現実感処理を実行することによって、利用者は、仮想オブジェクトを含んだ虚像VIを視認する。図3(B)の例では、仮想オブジェクトVO1は、外景SCの現実世界の山(実オブジェクト)の近傍に表示された吹き出し形状の情報である。仮想オブジェクトVO2は、外景SC内の現実世界の木(実オブジェクト)に重畳するように表示されたノート形状の情報である。仮想オブジェクトVO3は、外景SCの現実世界の道(実オブジェクト)の上に重畳するように配置されたリンゴの画像である。仮想オブジェクトVO4は、リンゴの画像、すなわち、仮想オブジェクトVO3の近傍に表示された吹き出し形状の情報である。このように、利用者は、虚像VIに含まれる仮想オブジェクトVO1〜VO4と、虚像VIの背後に透過して見える外景SC内の実オブジェクトと、の両方を見ることで、拡張現実感を体感することができる。

0058

A−3.サーバーの構成:
図4は、サーバー300の構成を機能的に示すブロック図である。図4に示すように、サーバー300は、CPU310と、記憶部320と、ROM330と、RAM340と、通信インターフェイス(I/F)350と、を備え、各部は図示しないバスにより相互に接続されている。

0059

CPU310は、記憶部320やROM330に格納されているコンピュータープログラムをRAM340に展開して実行することにより、サーバー300の各部を制御する。そのほか、CPU310は、シナリオ登録部312、推奨シナリオ生成部314としても機能する。

0060

シナリオ登録部312は、後述のシナリオ登録処理において、HMD100からシナリオを受信し、記憶部320に登録する。

0061

推奨シナリオ生成部314は、後述のシナリオ表示処理において、HMD100からの要求に従って、記憶部320に記憶されている複数のシナリオから推奨シナリオを生成し、HMD100へ送信する。「推奨シナリオ」とは、HMD100によって指定された代表シナリオと、代表シナリオに付随するシナリオ(以降、「付随シナリオ」とも呼ぶ。)と、を組み合わせて生成された一連のシナリオである。

0062

本実施形態において「代表シナリオ」とは、最終的な成果を得るためのシナリオを意味する。代表シナリオとしては、「タイの刺身」、「テニスのサーブ」等が例示される。代表シナリオは「特定された手順情報」として機能する。「付随シナリオ」とは、代表シナリオの前後に付随して実行すべきシナリオを意味する。付随シナリオのうち、代表シナリオの前に実行されるシナリオを「事前シナリオ」とも呼び、代表シナリオの後に実行されるシナリオを「事後シナリオ」とも呼ぶ。例えば、代表シナリオが「タイの刺身」である場合、事前シナリオとして「タイの3枚おろし」、事後シナリオとして「盛り付け」が例示される。例えば、代表シナリオが「テニスのサーブ」である場合、事前シナリオとして「テニスボール選定」が例示される。付随シナリオ(事前シナリオ、事後シナリオ)は「付随手順情報」として機能する。

0063

記憶部320は、ROM、RAM、DRAM、ハードディスク等によって構成されている。記憶部320には、オペレーティングシステム(ОS)をはじめとする種々のコンピュータープログラムが格納されている。また、記憶部320には、シナリオ記憶部322が記憶されている。シナリオ記憶部322は、後述のシナリオ登録処理によって取得したシナリオを記憶しておくための領域である。詳細は後述する。

0064

A−4.シナリオ登録処理:
図5は、シナリオ登録処理の手順を示すシーケンス図である。シナリオ登録処理は、HMD100と、サーバー300とが協働することによって実行される。シナリオ登録処理の開始トリガーは任意に定めることができる。例えば、HMD100のOS150や特定のアプリケーションからの処理開始要求を開始トリガーとしてもよい。

0065

テップS100においてHMD100のモデル生成部142は、3Dモデルを生成する。具体的には、モデル生成部142は、以下の手順a1〜a5によって3Dモデルを生成する。

0066

(a1)実演者の周囲に、1つ以上の可視光カメラと、1つ以上の測距センサーとを配置する。可視光カメラの撮像範囲と、測距センサーの検出範囲とは、予めキャリブレーションされている。この状態で、実演者は、3Dモデルを生成しようとする一連の動作を実演する。なお、可視光カメラは、被写体(実演者)を含む所定の外景を撮像するカメラである。測距センサーは、例えば、無数の赤外線を照射し、照射した赤外線を赤外線カメラ(または赤外線受光部)によって取得することによって、対象までの距離を測定することのできる深度センサーである。可視光カメラと、測距センサーとの個数は、多ければそれだけ精度が向上するため好ましい。なお、測距センサーに代えて、2つ以上の可視光カメラを用いて、対象までの距離を測定してもよい。また、測距センサーと2つ以上の可視光カメラとを、実演時の環境(外光の状況)に応じて使い分けてもよい。

0067

(a2)モデル生成部142は、可視光カメラによる撮像データーと、測距センサーによる測定データーとを取得する。

0068

(a3)モデル生成部142は、取得したデーターに基づいて、少なくとも、実演者およびその周囲の実オブジェクトを表す3Dモデルを生成する。具体的には、3Dモデル生成部142は、測距センサーの測定データーに基づいて、可視光カメラの撮像範囲内のオブジェクトの形状を取得し、オブジェクトの境界線を検出することで、3Dモデルの輪郭を生成する。また、3Dモデル生成部142は、可視光カメラの撮像データー内のRGB値に基づいて、生成した3Dモデルの輪郭内部を着色する。

0069

(a4)3Dモデル生成部142は、手順a3で生成した3Dモデルと、手順a3で検出したオブジェクトの境界線と、を用いて、3Dモデル内で、連続した境界を持つオブジェクトを「1つの物体」として関連付ける。また、3Dモデル生成部142は、予め記憶されている人体パーツ(例えば、手、足、頭等)のモデルを用いて、パターンマッチングや統計的識別法による比較を行うことで、1つの物体と識別されたオブジェクトの集合を「人体」と認識する。

0070

(a5)3Dモデル生成部142は、手順a3で生成した3Dモデルのデーターと、手順a3で検出したオブジェクトの境界線を表す境界線データーと、手順a4による1つの物体であることの関連付けデーターと、手順a4による人体であることの関連付けデーターとをセットにして「3Dモデルのデーター」とする。

0071

図6は、生成された3Dモデルの一例を示す図である。図6の例では、手順a1〜a5の結果として生成された「テニスのサーブ」についての連続的な一連の動作の3Dモデルを図示している。図6の一連の動作とは、時刻t1のボールトス動作、時刻t2〜t4のバックスイング動作、時刻t5のインパクト動作、時刻t6、t7のフォロースルー動作である。3Dモデルには、実演者URのほかに、テニスラケットOB1、テニスボールOB2、コートOB3といった、実演者の周囲の実オブジェクトも3Dモデル化され、含まれている。なお、3Dモデル生成部142によって生成される3Dモデルは、3Dモデルのデーターと、境界線データーと、物体および人体の関連付けデーターと、のうち、不要な部分(例えば、背景、動きのないオブジェクト等)が削除されていてもよい。また、3Dモデルは、例えばパラパラ漫画のような、一定間隔を置いて不連続的に表された一連の動作についての3Dモデルであってもよい。3Dモデルには、例えば、時系列的に変化するアイコン画像や、ポップアップ画像や、その他のモデル、画像、文字列図形記号等、音声、その他の任意のデーター等が含まれてもよい。

0072

図7は、生成された3Dモデルの他の例を示す図である。図7の例では、手順a1〜a5の結果として生成された「タイの3枚おろし」についての一連の動作の3Dモデルのうち、時刻t3の3Dモデルのみを図示している。3Dモデルには、実演者URのほかに、流し台OB1、包丁OB2、計量カップOB3、タイOB4、うろこ取りOB5、まな板OB6、ボウルOB7、布巾OB8、塩OB9、胡椒OB10といった実演者の周囲の実オブジェクトも3Dモデル化され、含まれている。

0073

図8は、シナリオの一例を示す図である。図5のステップS102において生成部144は、ステップS100で生成された3Dモデルに対してタグ情報を付与する。「タグ情報」とは、3Dモデル化された一連の動作手順に関する情報であり、例えば、以下の要素e1〜e6の少なくともいずれか1つを含むことができる(図8)。

0074

(e1)カテゴリーに関する情報
(e2)出所に関する情報
(e3)実現条件に関する情報
(e4)評価に関する情報
(e5)参考に資する情報
(e6)編集に関する情報

0075

要素e1の「カテゴリーに関する情報」は、当該シナリオが、どのようなカテゴリーに属するかを表す情報である。カテゴリーに関する情報は、1つ以上のサブカテゴリーを含んでいてもよい。カテゴリーに関する情報は、例えば、シナリオが「料理」である場合、料理名、調理手順内におけるステップ(準備、下ごしらえ調理、盛り付け等)等のうちの、少なくとも1つを含むことができる。シナリオが「工場作業」である場合、品番、品名、工程(モデリング、準備、加工、検査等)名等のうちの、少なくとも1つを含むことができる。

0076

図5のステップS102において生成部144は、実演者URから指定されたカテゴリーを取得し、要素e1の値とすることができる。ステップS102において生成部144は、ステップS100で生成された3Dモデルと、記憶部120に予め記憶されているカテゴリーと実オブジェクトとの対応付けと、を用いて、パターンマッチングや統計的識別法による比較を行うことで、自動的に要素e1の値を求めてもよい。この際、生成部144は、さらに、比較の結果として求められた複数の実オブジェクトから「実オブジェクトの動きの有無」を用いて、カテゴリーとすべき実オブジェクトを抽出してもよい。ステップS102において生成部144は、一連の動作の実演(手順a1)と同時に、または実演後において、マイク62により取得された実演者の発声内容をテキスト変換して、自動的に要素e1の値を求めてもよい。図8の例では、シナリオSCは、「料理」カテゴリーの、「タイ」サブカテゴリーの、「3枚におろす」サブカテゴリーに属する。

0077

要素e2の「出所に関する情報」は、当該シナリオの作成者、または、実演者(3Dモデルの元となった人物)についての情報である。出所は、個人、企業どちらでもよい。出所に関する情報は、1つ以上の任意の項目を含むことができる。出所に関する情報は、例えば、作成者を識別するための識別子(ユーザーID)、作成者の名称熟練度年齢、性別、身長、体重、所属経験年数等のうちの、少なくとも1つを含むことができる。

0078

図5のステップS102において生成部144は、記憶部120のユーザー情報記憶部124に格納されている情報を取得し、要素e2の値とすることができる。図8の例では、シナリオSCの出所は、ユーザーID「XXX」の、「あけみ」という「女性」である。本実施形態において「X」は、任意の文字を指す。以降同様である。

0079

要素e3の「実現条件に関する情報」は、当該シナリオを実現するために必要となる条件についての情報である。実現条件に関する情報は、1つ以上の任意の項目を含むことができる。実現条件に関する情報は、例えば、使用されている道具器具工具設備天候気温湿度、地面の状況等のうちの、少なくとも1つを含むことができる。

0080

図5のステップS102において生成部144は、ステップS100において生成された3Dモデルと、記憶部120に予め記憶されている実オブジェクトと実オブジェクトの名称との対応付けと、を用いて、パターンマッチングや統計的識別法による比較を行うことで、自動的に要素e3の値を求めてもよい。ステップS102において生成部144は、一連の動作の実演(手順a1)と同時に、または実演後において、マイク62により取得された実演者の発声内容をテキスト変換して、自動的に要素e3の値を求めてもよい。図8の例では、シナリオSCの実現条件に関する情報は、「包丁」と「まな板」と「うろこ取り」である。

0081

要素e4の「評価に関する情報」は、当該シナリオの一連の動作の結果を表す情報である。結果に関する情報はどのようなものでもよい。評価に関する情報は、例えば、実演者による自己採点の結果、実演者とは異なる第三者による採点の結果、測定結果飛距離、寸法、重量等)、試験結果(合格不合格歩留まり)等のうちの、少なくとも1つを含むことができる。

0082

図5のステップS102において生成部144は、実演者URによる入力内容を取得し、要素e4の値とすることができる。ステップS102において生成部144は、一連の動作の実演(手順a1)と同時に、または実演後において、マイク62により取得された実演者の発声内容をテキスト変換して、自動的に要素e4の値を求めてもよい。図8の例では、シナリオSCの評価に関する情報は「70点」である。

0083

要素e5の「参考に資する情報」は、当該シナリオを実施する際において、実施者の参考に資するための情報である。参考に資する情報はどのようなものでもよい。参考に資する情報は、例えば、WEB(World Wide Web)ページのURL(Uniform Resource Locator)、実現条件に関する情報に含まれる物品購入することのできる店舗等の場所、実現条件に関する情報に含まれる物品の選定方法、シナリオSCを実行するために参考にすべき他のシナリオを特定するための情報等のうちの、少なくとも1つを含むことができる。

0084

図5のステップS102において生成部144は、実演者URによる入力内容を取得し、要素e5の値とすることができる。ステップS102において生成部144は、一連の動作の実演(手順a1)と同時に、または実演後において、マイク62により取得された実演者の発声内容をテキスト変換して、自動的に要素e5の値を求めてもよい。図8の例では、シナリオSCの参考に資する情報は「http://www.XXX.XXX.com」というWEBページである。

0085

要素e6の「編集に関する情報」は、当該シナリオの編集についての情報である。編集についての情報はどのようなものでもよい。編集に関する情報は、例えば、シナリオ作成日時、シナリオ内の3Dモデルの分割についての情報等のうちの、少なくとも1つを含むことができる。

0086

図5のステップS102において生成部144は、現在日時を取得し、要素e6の値とすることができる。図8の例では、シナリオSCの編集に関する情報は「2014/11/10 15:10」である。

0087

図5のステップS104において生成部144は、ステップS100で生成された3Dモデルに対してセンサー検出値(要素e8)と、付加情報(要素e9)とを付与する。センサー検出値と、付加情報とは、3Dモデルに付随する時系列的な情報である。

0088

まず、生成部144は、一連の動作の実演(手順a1)時における種々のセンサーの検出値を取得する。種々のセンサーとは、例えば、ジャイロセンサー加速度センサー地磁気センサー、モーションセンサー(ジャイロ、加速度、地磁気を全て搭載したセンサー)、生体情報取得センサー(筋力を取得するセンサー、脈拍を取得するセンサー、発汗状態を取得するセンサー、血液の流れを取得するセンサー等)、光センサー赤外線センサー超音波センサーガス検知センサーイオンセンサーバイオセンサー温度センサー湿度センサー等である。これらのセンサーは、実演者の周囲に予め配置されていてもよい。これらのセンサーは、例えば、実演者が身に着けることが可能な装置(例えば、HMD100、時計腕輪、指輪等)内に配置されていてもよい。生成部144は、取得したセンサーの検出値を、3Dモデルに付随する情報として関連付ける。

0089

次に生成部144は、付加情報を取得し、取得した付加情報を3Dモデルに付随する情報として関連付ける。「付加情報」とは、一連の動作に付加するための情報、換言すれば、一連の動作の解説である。付加情報は、文字データーでもよいし、音声データーでもよいし、画像データーでもよい。生成部144は、以下の手順b1またはb2のいずれかを用いて、付加情報を取得することができる。

0090

(b1)実演者がリアルタイムに付加情報を入力する場合:実演者は、一連の動作の実演(手順a1)と同時に、一連の動作についての解説を口述する。生成部144は、実演者がHMD100を身に着けている場合はマイク62によって取得された発声内容を取得し、実演者がHMD100とは別のマイクを身に着けている場合は、当該マイクによって取得された発声内容を取得する。生成部144は、取得した発声内容を音声データーとして、または音声認識によりテキスト変換した文字データーとして、発声開始時刻と共に3Dモデルに関連付ける。

0091

(b2)実演後に付加情報を入力する場合:実演者は、一連の動作の実演(手順a1)後、マイクやキーボード等の入力手段を用いて、一連の動作についての解説を入力する。この際、実演者は、3Dモデルのデーターを再生しつつ、どの時点の解説を入力するかを都度指定する。生成部144は、入力された音声データー、文字データー、画像データーを、指定された時刻と共に3Dモデルに関連付ける。

0092

図8の例では、シナリオSCのセンサー検出値として、実演者URがタイを3枚におろす、という一連の動作の間に、モーションセンサーによって検出された検出データーが記憶される。なお、要素e8には複数のセンサーの検出値が記憶されていてもよい。また、図8の例では、シナリオSCの付加情報として、開始直後(時刻0:00)に「タイの頭の部分を利き手とは反対側の手でおさえます」と表示し、開始10秒後に「利き手にうろこ取りを持ち、尾の部分からうろこを剥ぎます」と表示し、開始1分後に「流水でうろこを洗い流します」と表示する旨が記憶される。なお、シナリオSCの付加情報は、図8のように時間に対応付けられていてもよいし、実オブジェクトの状態(タイのうろこのとれ具合)に対応付けられていてもよいし、利用者の動作(手の動きや体の動き)に対応付けられていてもよい。

0093

図5のステップS106において生成部144は、ステップS100で生成された3Dモデルに対して表示制御情報(要素e10)を付与する。「表示制御情報」には、(c1)当該シナリオが代表シナリオであるか否かを表す情報と、(c2)代表シナリオである場合、事前シナリオを特定するための情報と、(c3)代表シナリオである場合、事後シナリオを特定するための情報と、が含まれている。生成部144は、実演者URから上記c1〜c3を取得し、3Dモデルに関連付ける。図8の例では、シナリオSCは代表シナリオではないため「非代表シナリオ」と記憶される。

0094

図5のステップS108において生成部144は、ステップS100〜S106を経て生成したシナリオを、記憶部120のシナリオ記憶部122に記憶させる。ステップS110において生成部144は、ステップS100〜S106を経て生成したシナリオを、サーバー300へ送信する。

0095

ステップS112においてサーバー300のシナリオ登録部312は、HMD100から送信されたシナリオを受信する。シナリオ登録部312は、受信したシナリオに対して一意な識別子を付し、記憶部320のシナリオ記憶部322に記憶させる。

0096

図9は、サーバー300のシナリオ記憶部322の一例を示す図である。上述のようにして、サーバー300のシナリオ記憶部322には、様々な利用者から送信された複数のシナリオが予め記憶されている。各シナリオには、相互を識別するために、シナリオ登録処理のステップS112によって、一意な識別子(ID)が付与されている。この結果、例えば、シナリオ記憶部322には、識別子003のシナリオと識別子004のシナリオのように、同一のカテゴリーを持つものの、実現条件や評価等が異なる複数のシナリオが存在する。

0097

以上のように、本実施形態のシナリオ登録処理によれば、頭部装着型表示装置(HMD100)において、一連の動作手順を表す仮想オブジェクトの元となるモデル(3Dモデル)と、一連の動作手順に関するタグ情報(要素e1〜e6)と、を含んだ手順情報(シナリオ)を生成することができる。また、HMD100の生成部144は、モデルの生成中において取得された情報(発声内容)と、予め準備されている情報(ユーザー情報記憶部124の利用者に関する情報)と、を用いて、手順情報に含めるタグ情報を自動的に抽出することができる。

0098

A−5.シナリオ表示処理:
図10は、シナリオ表示処理の手順を示すシーケンス図である。シナリオ表示処理は、HMD100と、サーバー300とが協働することによって実行される。シナリオ表示処理の開始トリガーは任意に定めることができる。例えば、HMD100のOS150や特定のアプリケーションからの処理開始要求を開始トリガーとしてもよい。

0099

ステップS200においてHMD100の特定部146は、サーバー300に対してタグ情報の一覧の取得要求を送信する。ステップS202においてサーバー300の推奨シナリオ生成部314は、シナリオ記憶部322に記憶されている代表シナリオのタグ情報の一覧を、シナリオのIDと共にHMD100へ送信する。ここで、シナリオ記憶部322に記憶されている代表シナリオとは、シナリオ記憶部322において代表欄が「1」のシナリオを意味する。

0100

以降、特定部146は、ステップS210〜S242の処理によって、ステップS202で取得した一覧から、1つの代表シナリオを特定する。特定部146は、ステップS210〜S214による特定方法d1と、ステップS220による特定方法d2と、ステップS230〜S232による特定方法d3と、ステップS240〜S242による特定方法d4とを、選択的に実行する。どの特定方法を実行するかは、利用者の指定に依拠してもよく、事前の設定に依拠してもよく、HMD100において起動されているアプリケーションの種類に依拠してもよい。

0101

(d1)ステップS210において特定部146は、カメラ61によって撮像された外景画像を取得する。ステップS212において特定部146は、取得した外景画像を画像認識し、外景画像に含まれる実オブジェクト(現実世界に実在するオブジェクト)を抽出する。特定部146は、記憶部120に予め記憶されている実オブジェクトと実オブジェクトの名称との対応付けを用いて、抽出された実オブジェクトの名称を取得する。ステップS214において特定部146は、取得した実オブジェクトの名称と、ステップS202で取得したタグ情報の実現条件と、を照合する。特定部146は、照合の結果、最も一致率の高い代表シナリオを1つ特定する。なお、特定部146は、実オブジェクトの名称と他のタグ情報(例えば、出所、実現条件、評価等)を照合してもよい。

0102

このように、ステップS210〜S214によれば、特定部146は、利用者の視界方向の外景画像から、利用者の視界方向の現実世界に実在する実オブジェクトを取得し、取得した実オブジェクトとタグ情報(実現条件)とを照合することで、手順情報(代表シナリオ)を特定することができる。すなわち、特定部146は、利用者が実際に目にしているであろうと推定される実オブジェクトに基づいて、手順情報を特定することができる。

0103

(d2)図11は、選択画面の一例を示す図である。図10のステップS220において特定部146は、利用者が代表シナリオを選択するための画面(以降、「選択画面」とも呼ぶ。)を生成し、画像表示部20に表示させる。特定部146が生成する選択画面は、ステップS202で取得されたタグ情報を、大、中、小の各カテゴリー単位で名称を基準としてマージし、図11に示すようなツリー構造とすることが好ましい。このようにすれば、利用者は、簡単に所望の代表シナリオを指定することができる。特定部146は、利用者によって指定された1つの代表シナリオを特定する。

0104

このように、ステップS220によれば、特定部146は、利用者の意図に基づいて、手順情報(代表シナリオ)を特定することができる。また、特定部146は、画像表示部20にタグ情報(大、中、小カテゴリー)の一覧を表す虚像VIを形成させるため、利用者がタグ情報を指定する際の利便性を向上させることができる。

0105

(d3)ステップS230において特定部146は、利用者がキーワードを入力するための画面(以降、「入力画面」とも呼ぶ。)を生成し、画像表示部20に表示させる。特定部146は、入力画面に入力されたキーワードを取得する。ステップS232において特定部146は、取得したキーワードと、ステップS202で取得したタグ情報のカテゴリー(大、中、小カテゴリー)と、を照合する。特定部146は、照合の結果、最も一致率の高い代表シナリオを1つ特定する。なお、特定部146は、キーワードと他のタグ情報(例えば、実現条件、評価等)を照合してもよい。

0106

このように、ステップS230〜S232によれば、特定部146は、利用者の意図に基づいて、手順情報(代表シナリオ)を特定することができる。また、特定部146は、利用者からのキーワードに基づいて手順情報を特定することができるため、利用者における入力の自由度を高めることができる。

0107

(d4)ステップS240において特定部146は、音声認識機能を起動させ、マイク62により取得された発声内容を音声認識する。ステップS242において特定部146は、発声内容と、ステップS202で取得したタグ情報のカテゴリー(大、中、小カテゴリー)と、を照合する。特定部146は、照合の結果、最も一致率の高い代表シナリオを1つ特定する。なお、特定部146は、発声内容と他のタグ情報(例えば、出所、実現条件、評価等)を照合してもよい。

0108

このように、ステップS240〜S242によれば、特定部146は、利用者の意図に基づいて、手順情報(代表シナリオ)を特定することができる。また、特定部146は、利用者の発声内容に基づいて手順情報を特定することができるため、利用者における利便性を向上させることができる。

0109

以上のように、特定方法d1〜d4によれば、特定部146は、一連の動作手順に関する種々の情報(カテゴリー、出所、実現条件、評価等)を考慮して、手順情報(代表シナリオ)を特定することができる。出所に関する情報を考慮して手順情報を特定する場合、特定部146は、例えば、確かな出所(例えば、有名な人物、有名な企業等)からの手順情報を優先することができる。実現条件に関する情報を考慮して手順情報を特定する場合、特定部146は、例えば、利用者が準備可能な実現条件に即した実現条件を有する手順情報を優先することができる。評価に関する情報を考慮して手順情報を特定する場合、特定部146は、例えば、評価の高い手順情報を優先することができる。

0110

ステップS250において取得部148は、ステップS210〜S242によって特定された代表シナリオのIDと、付随シナリオの特定条件と、をサーバー300へ送信する。付随シナリオの特定条件とは、サーバー300が、事前シナリオと事後シナリオとを選択する際に、基準とすべき条件である。取得部148は、例えば、以下のf1〜f4に列挙する条件を採用することができる。条件f1〜f4は単独で採用されてもよく、組み合わせて採用されてもよい。また、事前シナリオ用と事後シナリオ用に別々の条件が指定されてもよい。

0111

(f1)出所に関する情報を用いた条件:
本条件を採用する場合、取得部148は、出所の照合に用いるための情報(例えば、シナリオ作者の名前等)を、付随シナリオの特定条件としてサーバー300へ送信する。本条件を採用すれば、サーバー300での推奨シナリオの生成において、確かな出所(例えば、有名な人物、有名な企業等)からの手順情報(事前シナリオ、事後シナリオ)が優先され得る。

0112

(f2)実現条件に関する情報を用いた条件:
本条件を採用する場合、取得部148は、実現条件の照合に用いるための情報(例えば、ステップS210〜212と同様の処理を経て取得された、利用者の視界方向の現実世界に実在する実オブジェクトの名称等)を、付随シナリオの特定条件としてサーバー300へ送信する。本条件を採用すれば、サーバー300での推奨シナリオの生成において、利用者が準備可能な実現条件に即した実現条件を有する手順情報(事前シナリオ、事後シナリオ)が優先され得る。

0113

(f3)評価に関する情報を用いた条件:
本条件を採用する場合、取得部148は、評価の照合に用いるための情報(例えば、最も評価が高いシナリオを採用する旨等)を、付随シナリオの特定条件としてサーバー300へ送信する。本条件を採用すれば、サーバー300での推奨シナリオの生成において、評価の高い手順情報(事前シナリオ、事後シナリオ)が優先され得る。

0114

(f4)利用者の指示に基づく条件:
本条件を採用する場合、取得部148は、利用者による指示を取得し、取得した指示内容を付随シナリオの特定条件としてサーバー300へ送信する。取得部148は、利用者による指示を取得するために、カメラ61を用いて利用者のジェスチャーを検知し、ジェスチャーに対応付けられた入力内容を取得してもよく、マイクから入力された利用者の発声内容を音声認識してもよい。本条件を採用すれば、サーバー300での推奨シナリオの生成において、利用者の意図に即した手順情報(事前シナリオ、事後シナリオ)が優先され得る。

0115

ステップS251においてサーバー300の推奨シナリオ生成部314は、代表シナリオのIDと、付随シナリオの特定条件とを取得する。推奨シナリオ生成部314は、取得したIDを元にシナリオ記憶部322を検索し、代表シナリオを取得する。

0116

ステップS252において推奨シナリオ生成部314は、タグ情報を考慮して、シナリオ記憶部322から事前シナリオを特定する。具体的には、推奨シナリオ生成部314は、以下のg1〜g3の手順を実行する。

0117

(g1)推奨シナリオ生成部314は、ステップS251で取得した代表シナリオの「事前シナリオ」を参照する。
(g2)推奨シナリオ生成部314は、シナリオ記憶部322を検索し、事前シナリオにおいて指定されている小カテゴリーを有し、かつ、ステップS251で取得した付随シナリオの特定条件を有するシナリオを1つ特定する。
(g3)推奨シナリオ生成部314は、手順g1において事前シナリオが複数指定されている場合(例えば、図9のID:001)、全ての事前シナリオについて、手順g2を繰り返す。

0118

ステップS254において推奨シナリオ生成部314は、タグ情報を考慮して、シナリオ記憶部322から事後シナリオを特定する。具体的には、推奨シナリオ生成部314は、上述した手順g1〜g3を実行する。この際「事前シナリオ」との説明は「事後シナリオ」と読み替える。

0119

ステップS256において推奨シナリオ生成部314は、ステップS252で特定した事前シナリオと、ステップS251で取得した代表シナリオと、ステップS254で特定した事後シナリオと、を組み合わせて推奨シナリオを生成する。ステップS258において推奨シナリオ生成部314は、生成した推奨シナリオをHMD100へ送信する。

0120

ステップS260においてHMD100の取得部148は、推奨シナリオを取得する。取得部148は、取得した推奨シナリオを拡張現実感処理部149へ送信し、画像表示部20に表示させる。具体的には、拡張現実感処理部149は、以下のh1〜h3の手順を実行する。

0121

(h1)拡張現実感処理部149は、カメラ61により撮影された外景画像を取得する。
(h2)拡張現実感処理部149は、手順h1で取得した外景画像に含まれる実オブジェクトの中から、推奨シナリオの仮想オブジェクト(図8、要素e7)に対応付けられた実オブジェクト(以降、「対象オブジェクト」とも呼ぶ。)を検出する。この検出のために、拡張現実感処理部149は、実オブジェクトを特定するための情報(例えば名称)と仮想オブジェクトを特定するための情報とを対応付けたテーブルを利用してもよい。このテーブルは、予めHMD100の記憶部120に記憶されている。このテーブルは、カメラ61により撮影された外景画像を用いた画像認識によって拡張現実感処理部149が自動的に生成してもよい。また、HMD100の利用者によって生成または編集されてもよい。拡張現実感処理部149は、利用者によるテーブルの生成または編集を可能とするために、カメラ61を用いて利用者のジェスチャーを検知し、ジェスチャーに対応付けられたコマンドによる操作入力を取得してもよく、マイクから入力された利用者の発声内容を音声認識してもよい。また、拡張現実感処理部149は、外景画像に含まれる実オブジェクトの中の特定のオブジェクト(例えば、利用者が手に持っている実オブジェクト)に限って、手順h2の検出対象としてもよい。このようにすれば、拡張現実感処理部149は、効率よく実オブジェクトの検出をすることができる。

0122

(h3)拡張現実感処理部149は、対象オブジェクトの位置を取得する。ここで、「位置」とは、利用者からの距離、および、利用者の視界内における水平方向および鉛直方向の位置を含む。この際、拡張現実感処理部149は、カメラ61により取得された1枚以上の外景画像と、図示しない各種のセンサー(例えば、深度センサー、測距センサー等)とを併用して、対象オブジェクトの位置を算出することができる。

0123

(h4)拡張現実感処理部149は、手順h3で取得した対象オブジェクトの位置に合わせて、推奨シナリオの仮想オブジェクト(図8、要素e7)と、付加情報(図8、要素e9)と、を配置した画像データーを生成する。この位置合わせの際、拡張現実感処理部149は、対象オブジェクトの特徴部(エッジ等)を利用してもよいし、対象オブジェクトに付されたマーカー等の目印を利用してもよい。また、拡張現実感処理部149は、仮想オブジェクトを配置する際に、仮想オブジェクトに対して拡大、縮小、回転、色変換等の画像処理を施してもよい。また、拡張現実感処理部149は、推奨シナリオのうち、代表シナリオと、付随シナリオと、のうちのいずれか一方について、画像データーに対する仮想オブジェクト(または付加情報)の配置を省略してもよい。具体的には、例えば、付随シナリオについては、仮想オブジェクトの配置を省略して付加情報のみを配置してもよい。こうすれば、付随シナリオについての案内を簡略化することができる。

0124

(h5)拡張現実感処理部149は、生成した画像データーに基づく画像を、画像処理部160へ送信し、画像表示部20の光学像表示部26、28に表示させる。

0125

このようにして、HMD100の利用者は、現実世界に存在する実オブジェクトと、光学像表示部26、28に虚像として表示されている仮想オブジェクトと、の両方を見ることで、拡張現実感を体感することができる。また、本実施形態の仮想オブジェクトは、利用者に対して一連の動作手順を教示するために用いられる情報である。このため、本実施形態のシナリオ表示処理によれば、HMD100の利用者に対して、拡張現実感の技術を利用した作業支援を提供することができる。

0126

以上のように、本実施形態のシナリオ表示処理によれば、HMD100の取得部148は、サーバー300から取得した手順情報(代表シナリオ)と付随手順情報(付随シナリオ:事前シナリオ、事後シナリオ)とのうちの少なくとも一方に含まれている仮想オブジェクトを表す虚像を画像表示部20に形成させる。このため、頭部装着型表示装置(HMD100)において、拡張現実感の技術を用いた作業支援を実現することができる。

0127

さらに、HMD100の取得部148は、特定部146によって特定された少なくとも1つの手順情報(代表シナリオ)と、特定された手順情報に付随する付随手順情報(付随シナリオ:事前シナリオ、事後シナリオ)と、を取得する。付随手順情報は、特定された手順情報の前後のうちの少なくともいずれか一方に付随する手順情報であり、換言すれば、特定された手順情報に関連する手順情報である。このため、頭部装着型表示装置(HMD100)において、1つの動作手順(特定された手順情報)と、当該動作手順に関連する動作手順(付随手順情報)と、からなる一連の動作手順の教示を実現することができる。

0128

さらに、本実施形態のシナリオ表示処理によれば、HMD100の特定部146は、一連の動作手順(シナリオ)に関する情報であるタグ情報を用いて、複数の手順情報(シナリオ記憶部322)の中から少なくとも1つの手順情報(代表シナリオ)を特定することができる。

0129

B.変形例:
上記実施形態において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。その他、以下のような変形も可能である。

0130

・変形例1:
上記実施形態では、画像表示システムの構成について例示した。しかし、画像表示システムの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、構成要素の追加・削除・変換等を行うことができる。

0131

例えば、画像表示システム内における機能部の配置は、任意に変更可能である。例えば、サーバーが備えると説明した機能部(シナリオ登録部、推奨シナリオ生成部、シナリオ記憶部)のうちの少なくとも一部または全部は、HMDに備えられていてもよい。同様に、HMDが備えると説明した機能部(モデル生成部、生成部、特定部、取得部、拡張現実感処理部)のうちの少なくとも一部または全部は、サーバーに備えられていてもよい。

0132

例えば、画像表示システムは、HMDと、サーバーとを備える構成とした。しかし、画像表示システムの構成要素はあくまで例示であり、任意に変更することができる。例えば、サーバーを省略し、全ての機能をHMDに搭載してもよい。例えば、HMDに代えて、スマートフォン等の携帯端末を表示装置として採用してもよい。例えば、例示しない他の構成要素(例えば、ルーターアクセスポイント等のネットワーク装置等)を備えていてもよい。例えば、サーバーは、HMDと同一LAN内に配置されていてもよい。

0133

・変形例2:
上記実施形態では、HMDの構成について例示した。しかし、HMDの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。

0134

上記実施形態における制御部と画像表示部とに対する構成要素の割り振りは、あくまで一例であり、種々の態様を採用可能である。例えば、以下のような態様としてもよい。
(i)制御部にCPUやメモリー等の処理機能を搭載し、画像表示部には表示機能のみを搭載する態様
(ii)制御部と画像表示部との両方にCPUやメモリー等の処理機能を搭載する態様
(iii)制御部と画像表示部とを一体化した態様(例えば、画像表示部に制御部が含まれ眼鏡型のウェアラブルコンピューターとして機能する態様)
(iv)制御部の代わりにスマートフォンや携帯型ゲーム機を使用する態様
(v)制御部と画像表示部とを無線LANや赤外線通信やBluetooth等の無線信号伝送路を介した接続により接続し、接続部(コード)を廃した態様。なお、この場合において、制御部または画像表示部に対する給電ワイヤレスにより実施してもよい。

0135

例えば、上記実施形態で例示した制御部、画像表示部の構成は任意に変更することができる。具体的には、例えば、制御部の送信部(Tx)および画像表示部の受信部(Rx)は、いずれも、双方向通信が可能な機能を備えており送受信部として機能してもよい。例えば、制御部が備えるとした操作用インターフェイス(各種キーやトラックパッド等)の一部を省略してもよい。例えば、制御部に操作用スティック等の他の操作用インターフェイスを備えてもよい。例えば、制御部にはキーボードやマウス等のデバイス接続可能な構成として、キーボードやマウスから入力を受け付けるものとしてもよい。例えば、電源として二次電池を用いることしたが、電源としては二次電池に限らず、種々の電池を使用することができる。例えば、一次電池や、燃料電池太陽電池熱電池等を使用してもよい。

0136

図12は、変形例におけるHMDの外観の構成を示す説明図である。図12(A)の画像表示部20xは、右光学像表示部26xおよび左光学像表示部28xを備えている。これらは上記実施形態の光学部材よりも小さく形成され、HMDの装着時における利用者の左右の眼の斜め上にそれぞれ配置されている。図12(B)の画像表示部20yは、右光学像表示部26yおよび左光学像表示部28yを備えている。これらは上記実施形態の光学部材よりも小さく形成され、HMDの装着時における利用者の左右の眼の斜め下にそれぞれ配置されている。このように、光学像表示部は利用者の眼の近傍に配置されていれば足りる。光学像表示部を形成する光学部材の大きさは任意であり、光学像表示部が利用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が利用者の眼を完全に覆わない態様でもよい。

0137

例えば、制御部が備えるとした各処理部(例えば画像処理部、表示制御部、モデル生成部、生成部、特定部、取得部、拡張現実感処理部等)は、当該機能を実現するために設計されたASIC(Application Specific IntegratedCircuit:特定用途向け集積回路)を用いて構成されてもよい。

0138

例えば、HMDは、両眼タイプの透過型HMDであるものとしたが、単眼タイプのHMDとしてもよい。例えば、利用者がHMDを装着した状態において外景の透過が遮断される非透過型HMDとして構成してもよいし、非透過型HMDにカメラを搭載したビデオシースルーとして構成してもよい。例えば、イヤホン耳掛け型ヘッドバンド型を採用してもよく、省略しても良い。

0139

例えば、眼鏡のように装着する画像表示部に代えて、通常の平面型ディスプレイ装置液晶ディスプレイ装置プラズマディスプレイ装置有機ELディスプレイ装置等)を採用してもよい。この場合も、制御部と画像表示部との間の接続は、有線、無線どちらでもよい。このようにすれば、制御部を、通常の平面型ディスプレイ装置のリモコンとして利用することができる。例えば、眼鏡のように装着する画像表示部に代えて、例えば帽子のように装着する画像表示部や、ヘルメット等の身体防護具に内蔵された画像表示部といった、他の態様の画像表示部を採用してもよい。例えば、自動車飛行機等の車両、またはその他の交通手段に搭載されるヘッドアップディスプレイ(HUD、Head-Up Display)として構成されてもよい。

0140

例えば、画像光生成部は、上述した構成部(バックライト、バックライト制御部、LCD、LCD制御部)と共に、または、上述した構成部に代えて、他の方式を実現するための構成部を備えていても良い。例えば、画像光生成部は、有機EL(有機エレクトロルミネッセンス、Organic Electro-Luminescence)のディスプレイと、有機EL制御部とを備えていてもよい。例えば、画像生成部は、LCDに代えてデジタルマイクロミラー・デバイス等を備えていてもよい。例えば、レーザー網膜投影型の頭部装着型表示装置に対して本発明を適用することも可能である。

0141

・変形例3:
上記実施形態では、シナリオ登録処理の一例を示した。しかし、上記実施形態において示した処理の手順はあくまで一例であり、種々の変形が可能である。例えば、一部のステップを省略してもよいし、更なる他のステップを追加してもよい。実行されるステップの順序を変更してもよい。

0142

例えば、ステップS102で付与するとしたタグ情報の一部に対して、追加・削除・変換等を行ってもよい。例えば、要素e1のカテゴリーに関する情報のサブカテゴリーの数は任意に決めることができ、サブカテゴリー自体を省略してもよい。例えば、要素e2〜e6の各情報は、文字列、画像等のあらゆる形式のデーターによって実現されてもよい。

0143

例えば、ステップS104、S106は省略してもよい。ステップS106が省略された場合、サーバーにシナリオが登録された後において、サーバーの管理者が要素e10(表示制御情報)を登録してもよい。

0144

例えば、ステップS100、S102、S104、S106の実行順序は、入れ替えられてもよい。

0145

・変形例4:
上記実施形態では、シナリオ表示処理の一例を示した。しかし、上記実施形態において示した処理の手順はあくまで一例であり、種々の変形が可能である。例えば、一部のステップを省略してもよいし、更なる他のステップを追加してもよい。実行されるステップの順序を変更してもよい。

0146

例えば、特定部は、タグ情報を利用せずに、シナリオを特定してもよい。この場合、例えば、ステップS200〜S242に代えて、次のステップを実行する。特定部は、サーバーからシナリオ記憶部に記憶されている全てのシナリオを取得する。特定部は、画像表示部に取得したシナリオを一覧表示させ、利用者から、少なくとも1つのシナリオの選択を取得する。一覧表示の際は、図11と同様に、ツリー表示させてもよい。

0147

例えば、ステップS210〜S214と、ステップS220と、ステップS230〜S232と、ステップS240〜S242とは、その一部の機能のみがHMDに搭載されていてもよい。

0148

例えば、ステップS210〜S214と、ステップS220と、ステップS230〜S232と、ステップS240〜S242とにおいてHMDは、複数の代表シナリオを特定してもよい。この場合、ステップS250においてHMDは、特定した複数の代表シナリオのIDをサーバーへ送信する。サーバーは、受信した複数の代表シナリオについて、それぞれ付随シナリオ(事前シナリオ、事後シナリオ)を特定し、複数の推奨シナリオを生成し、HMDへ送信すればよい。

0149

例えば、サーバーは、付随シナリオ(事前シナリオ、事後シナリオ)を省略してもよい。この場合、サーバーは、HMDから指定された代表シナリオをシナリオ記憶部から取得し、そのまま推奨シナリオとしてHMDへ送信すればよい。

0150

例えば、上記実施形態のシナリオ表示処理およびシナリオ登録処理において「実オブジェクトの名称」との記載を用いて説明した部分について、実オブジェクトの名称に代えて実オブジェクトの特徴部を用いて処理を実施してもよい。

0151

・変形例5:
本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

0152

1…画像表示システム
10…制御部
11…決定キー
12…点灯部
13…表示切替キー
14…トラックパッド
15…輝度切替キー
16…方向キー
17…メニューキー
18…電源スイッチ
20…画像表示部
21…右保持部
22…右表示駆動部
23…左保持部
24…左表示駆動部
26…右光学像表示部
28…左光学像表示部
30…イヤホンプラグ
32…右イヤホン
34…左イヤホン
40…接続部
42…右コード
44…左コード
46…連結部材
48…本体コード
51…送信部
52…送信部
53…受信部
54…受信部
61…カメラ(画像取得部)
62…マイク(音取得部)
66…9軸センサー
110…入力情報取得部
100…HMD(頭部装着型表示装置)
120…記憶部
122…シナリオ記憶部
124…ユーザー情報記憶部
130…電源
132…無線通信部
140…CPU
142…モデル生成部
144…生成部
146…特定部
148…取得部
149…拡張現実感処理部
160…画像処理部
170…音声処理部
180…インターフェイス
190…表示制御部
201…右バックライト制御部
202…左バックライト制御部
211…右LCD制御部
212…左LCD制御部
221…右バックライト
222…左バックライト
241…右LCD
242…左LCD
251…右投写光学系
252…左投写光学系
261…右導光板
262…左導光板
300…サーバー
310…CPU
312…シナリオ登録部
314…推奨シナリオ生成部
320…記憶部
322…シナリオ記憶部
330…ROM
340…RAM
350…通信インターフェイス
PCLK…クロック信号
VSync…垂直同期信号
HSync…水平同期信号
Data…画像データー
Data1…右眼用画像データ
Data2…左眼用画像データ
OA…外部機器
PC…パーソナルコンピューター
VI…虚像
VR…視野
RE…右眼
LE…左眼
ER…端部
EL…端部
BS…通信キャリア
VO1〜VO4…仮想オブジェクト
OB1〜OB10…実オブジェクト
SC…シナリオ
INT…インターネット

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ

特許:約8,000万件, クラウドファンディング:約100万年, 科研費・グラントデータ:約500万件, 発明者・研究者情報:約600万人