図面 (/)

NEWこの技術のポテンシャルをビッグデータで簡単査定!

特許:約8,000万件, クラウドファンディング:約100万年件, 科研費・グラントデータ:約500万件, 発明者・研究者情報:約600万人

この項目の情報は公開日時点(2014年8月28日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

複数人閲覧して操作可能な操作表示装置表示状態を維持しつつ該操作表示装置に表示されている操作画面に対して個人的な操作を可能にする操作表示システムを提供する。

解決手段

操作表示システム3は、ヘッドマウントディスプレイ装置30の装着者が操作表示装置60に表示中の操作画面に対して空中で行った操作である空中操作を検出すると、操作表示装置60に表示中の操作画面の内容を該空中操作に従って変更した場合の操作画面である仮想操作画面を作成し、この仮想操作画面の画像を現実空間に合成した拡張現実空間をヘッドマウントディスプレイ装置30に表示する。一方、空中操作を受けても操作表示装置60に表示中の操作画面は変更しない。

概要

背景

コンピュータなどで作成した画像を拡張現実情報(AR(Augmented Reality)情報)として現実空間に合成した拡張現実空間ヘッドマウントディスプレイ装置などに表示する技術が種々提案されている。

たとえば、コンピュータが作成したキーボードの画像をAR情報として現実空間に合成した拡張現実空間をヘッドマウントディスプレイ装置に表示し、ユーザが、その表示された仮想のキーボードに手を伸ばして操作することを可能にした技術がある(たとえば、特許文献1、2参照)。

また、複数のユーザが、それぞれヘッドマウントディスプレイ装置を装着している場合に、近隣にある他のヘッドマウントディスプレイ装置と情報を相互に送受信することで、たとえば、共同作業を行う際に他のメンバーとAR情報を共有しながら情報閲覧を行うことを可能にするシステムがある(特許文献3参照)。

概要

複数人閲覧して操作可能な操作表示装置表示状態を維持しつつ該操作表示装置に表示されている操作画面に対して個人的な操作を可能にする操作表示システムを提供する。操作表示システム3は、ヘッドマウントディスプレイ装置30の装着者が操作表示装置60に表示中の操作画面に対して空中で行った操作である空中操作を検出すると、操作表示装置60に表示中の操作画面の内容を該空中操作に従って変更した場合の操作画面である仮想操作画面を作成し、この仮想操作画面の画像を現実空間に合成した拡張現実空間をヘッドマウントディスプレイ装置30に表示する。一方、空中操作を受けても操作表示装置60に表示中の操作画面は変更しない。

目的

本発明は、上記の問題を解決しようとするものであり、複数人で閲覧して操作可能な操作表示装置の表示状態を維持しつつ該操作表示装置に表示されている操作画面に対して個人的な操作を可能にする操作表示システムを提供する

効果

実績

技術文献被引用数
2件
牽制数
3件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

作画面を表示する複数人閲覧可能な表示部と、前記表示部に表示された操作画面に対する操作を受ける操作部と、前記操作部で受けた操作に従って前記表示部に表示される操作画面を変更する表示制御部とを備えた操作表示装置と、前記表示部に表示されている操作画面に対して前記表示部から離れた空中で一のユーザが行った操作である空中操作を検出する空中操作検出部と、前記空中操作検出部によって検出された前記空中操作に従って前記操作画面の内容を変更した仮想操作画面を作成する仮想操作画面作成部と、現実空間に前記仮想操作画面の画像を合成した拡張現実空間を前記一のユーザに見せるAR表示部と、を有し、前記表示制御部は、前記表示部に表示中の操作画面を前記空中操作に基づいて変更しないことを特徴とする操作表示システム

請求項2

前記AR表示部は、現実空間内の前記表示部の位置に重なるように前記仮想操作画面の画像を合成した拡張現実空間を前記一のユーザに見せることを特徴とする請求項1に記載の操作表示システム。

請求項3

前記AR表示部は、前記操作部で受けた操作によって設定された項目と前記空中操作によって設定された項目とを、前記仮想操作画面において異なる表示態様識別可能に表示することを特徴とする請求項1または2に記載の操作表示システム。

請求項4

前記AR表示部は、前記一のユーザが頭部に装着する眼鏡型のヘッドマウントディスプレイであることを特徴とする請求項1乃至3のいずれか1つに記載の操作表示システム。

請求項5

前記一のユーザの視線方向の現実空間を撮影するカメラを備え、前記AR表示部は、前記カメラで撮影している前記現実空間の画像から、前記拡張現実空間において前記仮想操作画面の画像の背後に隠れる手指を検出し、該検出した手指の画像を前記仮想操作画面の画像の手前に合成することを特徴とする請求項1乃至4のいずれか1つに記載の操作表示システム。

請求項6

前記一のユーザの視線方向の現実空間を撮影するカメラを備え、前記AR表示部は、前記カメラで撮影している前記現実空間の画像から、前記拡張現実空間において前記仮想操作画面の画像の背後に隠れる手指を検出し、前記仮想操作画面の画像のうち前記検出した手指を隠している部分を消去することを特徴とする請求項1乃至4のいずれか1つに記載の操作表示システム。

請求項7

前記一のユーザの視線方向の現実空間を撮影するカメラを備え、前記空中操作検出部は、前記カメラが撮影している画像を解析して前記空中操作を検出することを特徴とする請求項1乃至6のいずれか1つに記載の操作表示システム。

請求項8

前記空中操作は、空中でのフリック操作、空中でのタッチ操作、空中でのジェスチャー操作のうちの少なくとも1つを含むことを特徴とする請求項1乃至7のいずれか1つに記載の操作表示システム。

請求項9

前記操作部で受けた設定と、前記一のユーザから前記空中操作によって受けた設定とを融合させて、前記一のユーザに固有の設定を生成することを特徴とする請求項1乃至8のいずれか1つに記載の操作表示システム。

技術分野

0001

本発明は、操作画面の画像を現実空間に合成した拡張現実空間を表示する操作表示システムに関する。

背景技術

0002

コンピュータなどで作成した画像を拡張現実情報(AR(Augmented Reality)情報)として現実空間に合成した拡張現実空間をヘッドマウントディスプレイ装置などに表示する技術が種々提案されている。

0003

たとえば、コンピュータが作成したキーボードの画像をAR情報として現実空間に合成した拡張現実空間をヘッドマウントディスプレイ装置に表示し、ユーザが、その表示された仮想のキーボードに手を伸ばして操作することを可能にした技術がある(たとえば、特許文献1、2参照)。

0004

また、複数のユーザが、それぞれヘッドマウントディスプレイ装置を装着している場合に、近隣にある他のヘッドマウントディスプレイ装置と情報を相互に送受信することで、たとえば、共同作業を行う際に他のメンバーとAR情報を共有しながら情報閲覧を行うことを可能にするシステムがある(特許文献3参照)。

先行技術

0005

特開平07−078055号公報
特開2009−146333号公報
特開2010−217719号公報

発明が解決しようとする課題

0006

比較的大きな表示部を備えた操作表示装置会議システムの大型パネルタブレット型コンピュータ複合機の大型の操作パネルなど)を会議などにおいて複数のメンバーで共用する場合に、皆で見ている画面に対して、個人的に別途の操作を行いたい場合がある。たとえば、他の画面に遷移してその内容を確認したい場合や、特定の機能を個人的に設定したい場合などがある。

0007

しかし、皆で見て共用している操作表示装置に対して個人的な操作を行うと、他のメンバーに迷惑を与えてしまう。一方、会議などにおいて各メンバーに個別の操作表示装置を渡して使用させれば、各メンバーはそれぞれ個人的な操作を思いのままに行えるが、メンバー全員で情報を共有することは難しくなる。したがって、皆で閲覧して使用する操作表示装置の表示状態を維持しつつ、これとは別に個人的な操作や表示を可能にする技術が望まれる。

0008

特許文献3に開示のヘッドマウントディスプレイ装置は、共同作業を行う際に他のメンバーと情報を共有しながら情報閲覧を行うことを可能にするが、全員が同じ内容を閲覧するものであり、他のメンバーに影響を与えずに、個人的に別の操作を可能にするものではない。また、特許文献1、2に開示の技術は、単に、拡張現実空間に表示した仮想のキーボードを空中で操作可能にする技術に過ぎない。

0009

本発明は、上記の問題を解決しようとするものであり、複数人で閲覧して操作可能な操作表示装置の表示状態を維持しつつ該操作表示装置に表示されている操作画面に対して個人的な操作を可能にする操作表示システムを提供することを目的としている。

課題を解決するための手段

0010

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。

0011

[1]操作画面を表示する複数人で閲覧可能な表示部と、前記表示部に表示された操作画面に対する操作を受ける操作部と、前記操作部で受けた操作に従って前記表示部に表示される操作画面を変更する表示制御部とを備えた操作表示装置と、
前記表示部に表示されている操作画面に対して前記表示部から離れた空中で一のユーザが行った操作である空中操作を検出する空中操作検出部と、
前記空中操作検出部によって検出された前記空中操作に従って前記操作画面の内容を変更した仮想操作画面を作成する仮想操作画面作成部と、
現実空間に前記仮想操作画面の画像を合成した拡張現実空間を前記一のユーザに見せるAR表示部と、
を有し、
前記表示制御部は、前記表示部に表示中の操作画面を前記空中操作に基づいて変更しない
ことを特徴とする操作表示システム。

0012

上記発明では、操作表示装置に表示されている操作画面に対してその表示部から離れた空中で一のユーザが行った空中操作を検出すると、現在表示中の操作画面の内容を該空中操作に従って変更した仮想操作画面が作成され、この仮想操作画面の画像を現実空間に合成した拡張現実空間が、先の空中操作を行ったユーザに見えるように、AR表示部に表示される。一方、空中操作を受けても操作表示装置に表示中の操作画面は変更されない。これにより、複数人で閲覧して操作可能な操作表示装置の表示状態を維持しつつ、AR表示部を見ているユーザは操作表示装置に表示されている操作画面に対して個人的な操作を行って操作後の操作画面を確認することができる。

0013

[2]前記AR表示部は、現実空間内の前記表示部の位置に重なるように前記仮想操作画面の画像を合成した拡張現実空間を前記一のユーザに見せる
ことを特徴とする[1]に記載の操作表示システム。

0014

上記発明では、AR表示部を見ているユーザは、現実空間内の操作表示装置に表示されている操作画面が空中操作に従って変更されたかのように視認することができる。

0015

[3]前記AR表示部は、前記操作部で受けた操作によって設定された項目と前記空中操作によって設定された項目とを、前記仮想操作画面において異なる表示態様識別可能に表示する
ことを特徴とする[1]または[2]に記載の操作表示システム。

0016

上記発明では、仮想操作画面において、操作表示装置の操作部で受けた操作によって設定された項目と、空中操作によって設定された項目とが識別可能に表示される。たとえば、操作表示装置の操作部で受けた操作によって設定された項目と、空中操作によって設定された項目とは、色や形、書体などの相違によって識別可能に表示される。

0017

[4]前記AR表示部は、前記一のユーザが頭部に装着する眼鏡型のヘッドマウントディスプレイである
ことを特徴とする[1]乃至[3]のいずれか1つに記載の操作表示システム。

0018

[5]前記一のユーザの視線方向の現実空間を撮影するカメラを備え、
前記AR表示部は、前記カメラで撮影している前記現実空間の画像から、前記拡張現実空間において前記仮想操作画面の画像の背後に隠れる手指を検出し、該検出した手指の画像を前記仮想操作画面の画像の手前に合成する
ことを特徴とする[1]乃至[4]のいずれか1つに記載の操作表示システム。

0019

上記発明では、仮想操作画面の画像の背後に隠れてしまう手指の画像が、仮想操作画面の手前に合成されて表示される。

0020

[6]前記一のユーザの視線方向の現実空間を撮影するカメラを備え、
前記AR表示部は、前記カメラで撮影している前記現実空間の画像から、前記拡張現実空間において前記仮想操作画面の画像の背後に隠れる手指を検出し、前記仮想操作画面の画像のうち前記検出した手指を隠している部分を消去する
ことを特徴とする[1]乃至[4]のいずれか1つに記載の操作表示システム。

0021

上記発明では、仮想操作画面の画像の背後に手指が隠れて見えなくならないように、仮想操作画面の画像のうち背後に手指が存在する部分は消去される。AR表示部を見るユーザは、仮想操作画面が消去された部分を通して手指を見ることができる。

0022

[7]前記一のユーザの視線方向の現実空間を撮影するカメラを備え、
前記空中操作検出部は、前記カメラが撮影している画像を解析して前記空中操作を検出する
ことを特徴とする[1]乃至[6]のいずれか1つに記載の操作表示システム。

0023

[8]前記空中操作は、空中でのフリック操作、空中でのタッチ操作、空中でのジェスチャー操作のうちの少なくとも1つを含む
ことを特徴とする[1]乃至[7]のいずれか1つに記載の操作表示システム。

0024

[9]前記操作部で受けた設定と、前記一のユーザから前記空中操作によって受けた設定とを融合させて、前記一のユーザに固有の設定を生成する
ことを特徴とする[1]乃至[8]のいずれか1つに記載の操作表示システム。

0025

上記発明では、操作部で設定された設定内容に対して、空中操作によって個人的な設定内容を加えることで、空中操作を行ったユーザに固有の設定を生成することができる。複数人に共通な設定を操作部で行えば、各個人は自分に固有の設定のみを追加すればよいので、最初からすべての設定を個人毎に個別に作成する場合に比べて、設定にかかる作業工数が低減される。

発明の効果

0026

本発明に係る操作表示システムによれば、複数人で閲覧して操作可能な操作表示装置の表示状態を維持しつつ該操作表示装置に表示されている操作画面に対して個人的な操作を行うことができる。

図面の簡単な説明

0027

本発明の実施の形態に係る操作表示システムを含む画像処理システムの構成例を示す図である。
画像処理装置概略構成を示すブロック図である。
ヘッドマウントディスプレイ装置の外観および構成を示す図である。
ヘッドマウントディスプレイ装置の概略構成を示すブロック図である。
操作表示装置の概略構成を示すブロック図である。
画像処理装置の操作画面が表示された操作表示装置の一例を示す図である。
操作表示装置に表示されている操作画面に対してヘッドマウントディスプレイ装置を装着しているユーザが空中操作を行っている様子の一例を示す図である。
図6に示す操作画面に対して図7のように空中操作を行っている状態においてヘッドマウントディスプレイ装置の一方の表示部を通して装着者の目に届く光景の一例を示す図である。
仮想操作画面の画像がヘッドマウントディスプレイ装置の一方の表示部に表示されている状態を示す図である。
図9の仮想操作画面が表示されているときに、ヘッドマウントディスプレイ装置の一方の表示部を通して装着者の目に届く光景を示す図である。
カメラ部の撮影画像を解析することで、ヘッドマウントディスプレイ装置の装着者が見ている現実空間の光景の中にある操作画面の位置(四隅空間座標)を認識する様子を示す図である。
四隅の空間座標を基に操作表示装置に表示されている操作画面に重ねて仮想操作画面を表示している状態においてヘッドマウントディスプレイ装置の一方の表示部を通して装着者の目に届く光景を示す図である。
操作表示装置で操作を受けた設定内容と空中操作で受けた設定内容とを異なる態様で表示した仮想操作画面の一例を示す図である。
操作表示装置に表示されている操作画面と仮想操作画面の間の空間にある手指が仮想操作画面の背後に隠れて見えなくなる様子を示す図である。
画像合成法による手指の表示例を示す図である。
取り除き法によって手指を視認可能とした例を示す図である。
ヘッドマウントディスプレイ装置が行う処理を示す流れ図である。
図17のステップS104の処理の詳細を示す流れ図である。
操作表示装置の処理の概要を示す流れ図である。
図19のステップS202の処理の詳細を示す流れ図である。

実施例

0028

以下、図面に基づき本発明の実施の形態を説明する。

0029

図1は、本発明の実施の形態に係る操作表示システム3を含む画像処理システムの構成例を示している。画像処理システムは画像処理装置10と、この画像処理装置10に対応した別体の操作表示装置60と、ユーザが頭部に挿着するヘッドマウントディスプレイ(HMD)装置30と、携帯端末80や図示省略のPC(パーソナルコンピュータ)などをLAN(Local Area Network)などのネットワーク2に接続して構成される。操作表示システム3は、操作表示装置60とヘッドマウントディスプレイ装置30を有して構成される。操作表示装置60やヘッドマウントディスプレイ装置30は、無線通信によりネットワーク2と接続される。

0030

画像処理装置10は、原稿光学的に読み取ってその複製画像を記録紙に印刷するコピー機能、読み取った原稿の画像データをファイルにして保存したり外部端末へネットワーク2を通じて送信したりするスキャン機能、PCなどからネットワーク2を通じて受信した印刷データに係る画像を記録紙上に形成して印刷出力するプリンタ機能ファクシミリ手順に従って画像データを送受信するファクシミリ機能などを備えた、所謂、複合機(MFP)である。

0031

操作表示装置60は、画像処理装置10に対する各種の操作をユーザから受け付ける機能を備えた、所謂、リモート操作パネルである。操作表示装置60は比較的大きな表示部を備えており、複数人で同時に閲覧しながら操作を受けることができる。

0032

ヘッドマウントディスプレイ装置30は、ユーザの視線方向の現実空間に任意の画像を合成した拡張現実空間をユーザに見せるAR(Augmented Reality)表示部としての機能を果たす。

0033

操作表示システム3では、ユーザは、操作表示装置60に表示されている操作画面に対してタッチ操作などにより各種の操作を行うことができる。操作表示装置60に表示される操作画面の内容はユーザから受けたタッチ操作等に従って変更される。

0034

また、操作表示システム3では、ヘッドマウントディスプレイ装置30を装着したユーザは、操作表示装置60に表示されている操作画面に対して、該操作画面から離れた空中で所定の操作を行うことができる。このように操作画面から離れた空中で行う操作を空中操作と呼ぶものとする。

0035

操作表示システム3は、ヘッドマウントディスプレイ装置30を装着して操作表示装置60に表示されている操作画面を見ているユーザから、該操作画面に対する空中操作を受けると、その空中操作に従って操作画面の内容を変更した場合の仮想操作画面を作成し、該ユーザの視線方向の現実空間にこの仮想操作画面の画像をAR情報として合成した拡張現実空間をヘッドマウントディスプレイ装置30に表示する。一方、操作表示装置60に表示中の操作画面は空中操作に基づいて変更しない。

0036

このように、操作表示システム3では、複数人で閲覧して操作可能な操作表示装置60の表示状態を維持しつつ、ヘッドマウントディスプレイ装置30を装着したユーザは操作表示装置60に表示されている操作画面に対して個人的な操作(空中操作)を行って、該操作に応じて変更された操作画面を確認することができる。これにより、ヘッドマウントディスプレイ装置30を装着したユーザは、他のユーザに迷惑をかけることはなく、操作表示装置60に表示中の操作画面に対して個別の操作を行って、その操作に従って変更された後の操作画面を確認することができる。

0037

図2は、画像処理装置10の概略構成を示すブロック図である。画像処理装置10は、当該画像処理装置10の動作を統括的に制御するCPU(Central Processing Unit)11を有している。CPU11にはバスを通じてROM(Read Only Memory)12、RAM(Random Access Memory)13、不揮発メモリ14、ハードディスク装置15、自動原稿搬送部(ADF:Auto Document Feeder)16、画像読取部17、操作表示部21、通信部22、画像処理部23、プリンタ部24、ファクシミリ通信部25、認証部26などが接続されている。

0038

CPU11は、OS(Operating System)プログラムベースとし、その上で、ミドルウェアアプリケーションプログラムなどを実行する。ROM12には、各種のプログラムが格納されており、これらのプログラムに従ってCPU11が各種処理を実行することで画像処理装置10の各機能が実現される。

0039

RAM13は、CPU11がプログラムに基づいて処理を実行する際に各種のデータを一時的に格納するワークメモリや画像データを格納する画像メモリなどとして使用される。

0040

不揮発メモリ14は、電源オフにしても記憶内容破壊されないメモリフラッシュメモリ)であり、各種設定情報の保存などに使用される。ハードディスク装置15は大容量不揮発記憶装置であり、印刷データ、画像データなどのほか各種のプログラムやデータが記憶される。

0041

画像読取部17は、原稿を光学的に読み取って画像データを取得する機能を果たす。画像読取部17は、例えば、原稿に光を照射する光源と、その反射光を受けて原稿を幅方向に1ライン分読み取るラインイメージセンサと、ライン単位の読取位置を原稿の長さ方向に順次移動させる移動ユニットと、原稿からの反射光をラインイメージセンサに導いて結像させるレンズミラーなどからなる光学経路と、ラインイメージセンサの出力するアナログ画像信号デジタルの画像データに変換する変換部などを備えて構成される。

0042

自動原稿搬送部16は、原稿台にセットされた原稿をその最上のものから1枚ずつ順に繰り出して搬送し、画像読取部17の読み取り位置を通過させて所定の排紙位置へ排紙する機能を果たす。画像読取部17は、プラテンガラス上に載置された原稿を読み取る機能と、自動原稿搬送部16によって搬送される原稿を順次読み取る機能を備えている。

0043

操作表示部21は、各種の操作画面、設定画面等を表示したりユーザからジョブ投入などの操作を受けたりする機能を果たす。操作表示部21は液晶ディスプレイ(LCD…Liquid Crystal Display)などの表示装置と、スタートタンなどの各種操作スイッチと、表示装置の表示面上に設けられたタッチパネルとを備えている。タッチパネルは、表示装置の表示面がタッチペンや指などで接触操作された座標位置を検出する。

0044

通信部22は、ネットワーク2を通じて操作表示装置60やPC、サーバなどの外部装置と通信する機能を果たす。通信部22はヘッドマウントディスプレイ装置30や携帯端末80と無線通信する機能も備えている。

0045

画像処理部23は、画像の拡大縮小、回転などの処理のほか、印刷データをイメージデータに変換するラスタライズ処理、画像データの圧縮伸張処理などを行う。

0046

プリンタ部24は、画像データに応じた画像を記録紙上に画像形成する機能を果たす。ここでは、記録紙の搬送装置と、感光体ドラムと、帯電装置と、レーザーユニットと、現像装置と、転写分離装置と、クリーニング装置と、定着装置とを有し、電子写真プロセスによって画像形成を行う、所謂、レーザープリンタとして構成されている。画像形成は他の方式でもかまわない。

0047

ファクシミリ通信部25は、ファクシミリ機能を備えた外部装置と電話回線を通じて画像データを送受信する機能を果たす。

0048

認証部26は、画像処理装置10を使用するユーザを認証する。認証方法は、パスワード、指紋静脈など任意でよい。

0049

図3は、ヘッドマウントディスプレイ装置30の概略構成を示している。ヘッドマウントディスプレイ装置30は、眼鏡型を成しており、人の頭に装着されて使用される。本例のヘッドマウントディスプレイ装置30は、外の様子にハーフミラーで画像を重ね合わせる方式(所謂、光透過型)を採用している。

0050

ヘッドマウントディスプレイ装置30は、装着時に装着者の左右の目の前にそれぞれ配置される表示部31と、左右の表示部31をそれらの間で繋ぐブリッジ32と、ブリッジ32で連結された左右の表示部31の両脇から同一方向に延びて装着者のに引っ掛けられるツル33などを備えている。表示部31は、たとえば、眼鏡のレンズに対応するものであり、透明な部材で構成される。ただし、視力矯正する効果はなくてよい。

0051

表示部31の両脇には、制御回路投影部46、カメラ部47などを含む基幹部34が設けられている。また各表示部31の前方に位置するようにハーフミラー35が、左右の基幹部34から延びる支持腕に支持されている。

0052

ハーフミラー35は前方から表示部31に向けて入射する光L1に対して45度の角度で傾斜して設けてあり、基幹部34の投影部46は、画像(拡張現実情報(AR情報)の画像光L2とする)をハーフミラー35に向けて投影する。ハーフミラー35は透明基板ガラス基板)に、反射膜金属膜誘電体膜)をコーティングして構成されている。ハーフミラー35は、たとえば、透過と反射光量比が1:1になっている。

0053

ヘッドマウントディスプレイ装置30の装着者の目には、現実空間に対応する外光L1とAR情報に対応する画像光L2とが1:1の割合で合成された光が表示部31を通じて入射する。すなわち、ヘッドマウントディスプレイ装置30は、外の様子(現実空間)と投影部46が投影した画像(AR情報)とを重ね合わせた拡張現実空間を装着者に見せる機能を果たす。

0054

図4は、ヘッドマウントディスプレイ装置30の構成を示すブロック図である。ヘッドマウントディスプレイ装置30は、制御部としてのCPU41にバスを介してROM42、RAM43、不揮発メモリ44、方位センサー部45、投影部46、カメラ部47、操作部48、表示部31、通信部49、画像処理部51、空中操作検出部52などを接続して構成される。

0055

CPU41はROM42に格納されているプログラムに従ってヘッドマウントディスプレイ装置30の動作を制御する。ROM42にはプログラムや固定データが記憶されている。RAM43はCPU41がプログラムを実行する際に各種のデータを一時的に格納するワークメモリなどとして使用される。不揮発メモリ44には、各種の設定情報が記憶される。

0056

方位センサー部45は、ヘッドマウントディスプレイ装置30の向きや姿勢およびその変化を検出する。方位センサー部45は、複数の地磁気センサと、複数の加速度センサを組み合わせて構成される。方位センサー部45は、ヘッドマウントディスプレイ装置30を装着している操作者の姿勢や操作者が向いている方向や角度(これらは、カメラ部47が撮影している方向や向きと一致)を検出したり、ヘッドマウントディスプレイ装置30が傾けられたりした場合の動作の向きや速さを検出したりして、その検出結果をCPU41へ通知する。CPU41は、方位センサー部45からの通知に基づいて、ヘッドマウントディスプレイ装置30を装着している操作者の姿勢、角度、傾けられたりした動作の向きや速さを認識する。

0057

投影部46は前述したように、投影対象の画像(拡張現実感情報の画像光L2とする)をハーフミラー35に向けて投影する。

0058

カメラ部47は、ヘッドマウントディスプレイ装置30の前方を撮影する。より詳細には、ヘッドマウントディスプレイ装置30の装着者の視線方向の現実空間を撮影する。すなわち、装着者が前方を見たときの視野とほぼ同じ範囲を撮影する。カメラ部47は、左右の基幹部34にそれぞれ設けられてステレオ撮影することができる。このステレオ撮影された画像を解析することで各物体までの距離を認識することができる。カメラ部47は動画を撮影し、たとえば、毎秒30フレームの画像を取り込む。

0059

操作部48は基幹部34等に設けられたスイッチ等であり、投影画像の明るさなどの調整に使用される。

0060

通信部49は、無線LANを含むネットワーク2を通じて操作表示装置60や他の外部装置との間でデータを通信する機能を果たす。なお、操作表示装置60との間の通信は、ネットワーク2を介さない、近距離無線通信で行うことも可能になっている。

0061

画像処理部51は、投影部46からハーフミラー35を介して表示部31へ投影する画像の拡大・縮小、変形などを行う。

0062

空中操作検出部52は、カメラ部47の撮影画像を解析して空中操作を検出する。

0063

なお、ヘッドマウントディスプレイ装置30は、光透過型に限定されず、ビデオ透過型でもよい。ビデオ透過型の場合、ユーザは外の様子を外光の透過によってみることはできないが、カメラ部47で撮影している外の様子の映像が表示部31に映し出され、この映像に任意の画像が合成されて拡張現実空間が表示される。

0064

ヘッドマウントディスプレイ装置30には、当該ヘッドマウントディスプレイ装置30を使用するユーザが設定される。たとえば、何らかの方法でユーザ認証して、使用者を特定してもよい。

0065

図5は、操作表示装置60の概略構成を示している。操作表示装置60は、CPU61にバスを介してROM62、RAM63、不揮発メモリ64、ハードディスク装置65、認証部66、操作表示部67、画面作成部68、通信部69、画像処理部71などを接続して構成される。

0066

CPU61はROM62に格納されているプログラムに従って操作表示装置60の動作を制御する。ROM62にはプログラムや固定データが記憶されている。RAM63はCPU61がプログラムを実行する際に各種のデータを一時的に格納するワークメモリなどとして使用される。不揮発メモリ64には、各種の設定情報が記憶される。ハードディスク装置65は大容量不揮発の記憶装置であり、各種の操作画面の画面データ、画面の遷移情報(たとえば、遷移表)などが記憶される。

0067

認証部66は、操作表示装置60を使用するユーザを認証する。操作表示装置60で認証されると、遠隔からの画像処理装置10の使用者として認証されることになる。

0068

操作表示部67は、各種の操作画面、設定画面等を表示したりユーザからジョブの投入操作などを受けたりする機能を果たす。操作表示部67は比較的大きな(たとえば12インチ程度)液晶ディスプレイなどの表示部と、スタートボタンなどの少数の操作スイッチと、表示部の表示面上に設けられたタッチパネルなどから成る操作部とを備えている。CPU61は操作表示部67に表示される操作画面を変更する表示制御部としての機能を果たす。

0069

画面作成部68は、空中操作に従って操作画面の内容を変更した場合の操作画面である仮想操作画面の画面データを作成する機能を果たす。

0070

通信部69は、無線LANを含むネットワーク2を通じて画像処理装置10やヘッドマウントディスプレイ装置30などの外部装置との間でデータを通信する機能を果たす。なお、通信部69は近距離無線通信の機能も有し、ヘッドマウントディスプレイ装置30との間の通信を近距離無線通信にて行うこともできる。

0071

画像処理部71は、画像データに対して、回転、拡大縮小、変形など各種の処理を施す。

0072

操作表示装置60は画像処理装置10の操作表示部21に表示される操作画面と同じ操作画面を表示することが可能であり、当該操作表示装置60の操作表示部67で受け付けた操作内容を画像処理装置10へ送信する。

0073

次に、ヘッドマウントディスプレイ装置30の装着者が操作表示装置60に表示された操作画面に対して空中操作を行う場合のヘッドマウントディスプレイ装置30および操作表示装置60の動作について説明する。

0074

図6は、画像処理装置10を遠隔操作するための操作画面91が表示された状態の操作表示装置60の一例を示している。操作表示装置60の表示面73には、大きく操作画面91が表示される。そのため、操作表示装置60は複数人で同時に閲覧して共用することができる。操作画面91は表示面73の全面またはほぼ全面に表示されてもよい。

0075

図7は、操作表示装置60に表示されている操作画面91に対して、ヘッドマウントディスプレイ装置30を装着しているユーザが空中操作を行っている様子の一例を示している。空中操作は、操作表示装置60の表示面73から離れた空中で行われる。空中操作の種類には、タッチパネルに対するタッチ操作に相当する空中タッチ操作、タッチパネルに対するフリック操作に相当する空中フリック操作、空中でのジェスチャー操作である空中ジェスチャー操作などがある。なお、空中操作は、ヘッドマウントディスプレイ装置30の表示部31と操作表示装置60の表示面73との間の空間であれば、操作表示装置60から遠くに離れた位置で行われてもよく、図7に示すような距離で行われるものに限定されるものではない。

0076

図8は、図6に示す操作画面91に対して図7の空中操作を行っている状態において、ヘッドマウントディスプレイ装置30の一方の表示部31を通して装着者の目に届く光景の一例を示している。図8において装着者の目に届く光景はすべて現実空間となっている。

0077

操作表示システム3では、ヘッドマウントディスプレイ装置30を装着して操作表示装置60の操作画面91を見ているユーザから該操作画面91に対する空中操作を受けると、表示中の操作画面91の内容をその空中操作に従って変更した場合の仮想操作画面93(図9参照)を作成し、該ユーザの見ている現実空間にこの仮想操作画面93の画像を合成した拡張現実空間をヘッドマウントディスプレイ装置30に表示する。

0078

図9は、図6に示す操作画面91の中にある応用設定の操作ボタン94に対して図8に示す空中操作を受けた場合に作成される仮想操作画面93の画像が、ヘッドマウントディスプレイ装置30の一方の表示部31に拡張現実情報(AR情報)として表示されている状態を示している。図9では現実空間の情報は示していない。

0079

この仮想操作画面93は、ヘッドマウントディスプレイ装置30を装着しているユーザが見ている現実空間(図8参照)内の操作表示装置60に表示されている操作画面91の位置に丁度重なるように、サイズや位置が調製されて表示される。

0080

図10は、図9の仮想操作画面93が表示されているときに、ヘッドマウントディスプレイ装置30の一方の表示部31を通して当該ヘッドマウントディスプレイ装置30の装着者の目に届く光景を示している。仮想操作画面93が現実空間の操作画面91に重なるように表示されるため、ヘッドマウントディスプレイ装置30を装着しているユーザには、あたかも、現実空間内の操作表示装置60に表示される操作画面の内容が空中操作に従って変更されたかのように見える。なお、この例では、現実空間の操作表示装置60に表示されている操作画面が透けて見えないように、仮想操作画面は不透明な画像にされている。

0081

空中操作を受けても操作表示装置60に表示中の操作画面は変更されない。したがって、ヘッドマウントディスプレイ装置30の装着者が図10に示す光景を見ているとき、現実の操作表示装置60では図6に示す表示状態が維持されている。なお、ヘッドマウントディスプレイ装置30を装着している操作者は、表示された仮想操作画面93に対してさらに空中操作を行うことができるようになっている。

0082

図11は、カメラ部47の撮影画像を解析することで、ヘッドマウントディスプレイ装置30の装着者が見ている現実空間の光景の中にある操作画面91の位置を認識する様子を示している。ここでは、ヘッドマウントディスプレイ装置30のカメラ部47の撮影画像内で、操作表示装置60に表示されている操作画面91を検出したとき、その操作画面91の四隅の空間座標((X1、Y1)、(X2、Y2)、(X3、Y3)、(X4、Y4))を求めている。

0083

図12は、図11に示すようにして求めた四隅の空間座標を基に、仮想操作画面93をヘッドマウントディスプレイ装置30の一方の表示部31に表示した状態を示している。AR情報である仮想操作画面93は、現実空間内の操作表示装置60に表示されている操作画面91の位置に重なりかつ現実空間における操作画面91と同じ大きさに見えるように、位置およびサイズが調整されて表示される。

0084

図13は、空中操作に応じてヘッドマウントディスプレイ装置30にAR情報として表示される他の一例の仮想操作画面93Bを示している。この仮想操作画面93Bでは、操作表示装置60に対する直接の操作(操作表示装置60のタッチパネルや操作スイッチ等への操作)で設定された設定項目と、空中操作によって設定された設定項目とが異なる表示態様で表示される。

0085

図13の例では、ホスト名、ファイルパス、ユーザ名の各設定項目の設定内容については操作表示装置60で入力操作を受けている。パスワードは空中操作で入力を受けている。たとえば、操作表示装置60に対する直接の操作で設定された設定項目と、空中操作によって設定された設定項目とは、表示色、フォントサイズなどを相違させることで識別可能に表示される。パスワードは、たとえば、AR情報として表示した仮想のキーボードから空中操作によって入力される。図13では、操作表示装置60で入力操作を受けた内容に対応する文字背景は白色にしてあり、空中操作で設定された内容に対応する文字の背景はグレーにしてある。

0086

操作表示システム3では、操作表示装置60で受けた操作による設定と、ヘッドマウントディスプレイ装置30の装着者から空中操作によって受けた設定とを融合させて、該ヘッドマウントディスプレイ装置30の装着者に固有の設定を生成することができる。たとえば、複数のユーザに共通な部分の設定は操作表示装置60で行い、セキュリティ情報などの個人的な部分の入力を空中操作で行うことで、複数人に共通な部分と個人的な部分とを含む一連の設定をユーザ別に作成する場合の作業工数を削減して効率的な設定が可能になる。また、パスワードなどのセキュリティ情報を他人に見られることなく入力することができる。

0087

上記の融合によって生成された個人的な設定はヘッドマウントディスプレイ装置30から画像処理装置10へ直接送信して設定登録される、あるいはヘッドマウントディスプレイ装置30から操作表示装置60へ送信され、これを操作表示装置60が画像処理装置10へ送信して画像処理装置10に設定登録される。あるいは、操作表示装置60はヘッドマウントディスプレイ装置30に表示させている仮想操作画面93Bを把握しているので、操作表示装置60において上記の融合させた設定を生成し、これを画像処理装置10へ送信して設定登録するような構成でもかまわない。

0088

次に、仮想操作画面93が表示されている状態での手指の視認について説明する。

0089

操作表示装置60に表示されている操作画面91の位置に重なるようにして仮想操作画面93をヘッドマウントディスプレイ装置30に表示すると、図14に示すように、ヘッドマウントディスプレイ装置30を装着しているユーザには、操作表示装置60に表示されている操作画面91と仮想操作画面93の間の空間にある手指95が仮想操作画面93の背後に隠れて見えなくなってしまう。図では、仮想操作画面93の背後に隠れて見えない手指を破線95bで示してある。

0090

このような状態では、仮想操作画面93が表示された後、この仮想操作画面93に対してさらに空中操作を行うことが難しくなる。そこで、操作表示システム3では、仮想操作画面93を表示中に手指95の視認を可能にするために、以下の2つの対応法のいずれかを選択して実施可能としている。

0091

<画像合成法>
図15は、画像合成法による手指の表示例を示している。画像合成法では、カメラ部47で撮影している映像の中から、手指95のうちで仮想操作画面93によって隠される部分(拡張現実空間において仮想操作画面93の背後に隠れる部分)を検出して抽出し、その部分の手指の画像96をAR情報として、仮想操作画面93の上に重なるように合成してヘッドマウントディスプレイ装置30に表示する。ヘッドマウントディスプレイ装置30を装着しているユーザは、実物の手指95の代わりに、AR情報として表示された手指の画像96を視認する。AR情報として表示された手指96の位置や大きさは実物の手指95の動きに従って変化する。

0092

<取り除き法>
図16は、取り除き法による手指の視認例を示している。取り除き法では、カメラ部47で撮影している映像の中から、手指95のうちで仮想操作画面93によって隠される部分(拡張現実空間において仮想操作画面93の背後に隠れる部分)を検出する。そして、仮想操作画面93から、その検出した手指95の部分に対応する領域(除いた部分97)を取り除いたものをAR情報としてヘッドマウントディスプレイ装置30に表示する。ヘッドマウントディスプレイ装置30を装着しているユーザは、この取り除き部分97を通して、実物の手指95を視認することができる。取り除き部分97の位置や大きさは実物の手指95の動きに従って変化する。

0093

図17は、空中操作に関してヘッドマウントディスプレイ装置30が行う処理の流れを示している。操作表示システム3のヘッドマウントディスプレイ装置30は、カメラ部47が撮影している映像を解析して、操作表示装置60の操作表示部67の表示面とヘッドマウントディスプレイ装置30の表示部31との間の空間にある手指95の検出を継続的に試みる(ステップS101;No)。上記の空間内で手指95が検出されると(ステップS101;Yes)、カメラ部47の撮影画像から操作表示装置60に表示されている操作画面91の四隅の空間座標を算出する(ステップS102、図11参照)。そして、この算出した四隅の空間座標を不揮発メモリ44に保存する(ステップS103)。

0094

次に、操作表示装置60に表示されている操作画面91に対する空中操作の位置と種別を特定する処理を行う(ステップS104)。ここでは、空中での手指95の動きが、空中タッチ操作、空中フリック操作、空中ジェスチャー操作のいずれに該当するかを判断する。ステップS104の処理の詳細は後述する。

0095

空中操作が検出されない場合は(ステップS105;No)、ステップS101に戻って処理を継続する。空中操作が検出された場合は(ステップS105;Yes)、その検出された空中操作の位置と種別を示す情報(空中操作情報とする)を操作表示装置60へ送信する(ステップS106)。

0096

空中操作情報を受信した操作表示装置60は、表示中の操作画面91と空中操作情報に基づいて、仮想操作画面93の画像データ(AR情報)を作成してヘッドマウントディスプレイ装置30へ送信する。

0097

ヘッドマウントディスプレイ装置30は、空中操作情報を送信してから一定時間が経過しても操作表示装置60から仮想操作画面93のAR情報が受信されない場合は(ステップS107;Yes)、操作表示装置60からAR情報が受信されない旨のエラー表示を行って(ステップS108)、処理を終了する。

0098

一方、空中操作情報を送信してから一定時間が経過する前に操作表示装置60から仮想操作画面93のAR情報を受信した場合は(ステップS107;No、S109;Yes)、その受信したAR情報(仮想操作画面93)を表示部31に表示して(ステップS110)、本処理を終了する。なお、本処理は繰り返し継続的に実行される。

0099

図18は、図17のステップS104の処理の詳細を示している。まず、カメラ部47の撮影画像を取得する(ステップS131)。この撮影画像は、操作表示装置60に表示されている操作画面91と、この操作画面91に対して空中操作を行っている操作者の手指95とが写っているものである。

0100

取得した撮影画像から、操作表示装置60に表示中の操作画面91に対する手指95による操作箇所(位置)を特定する(ステップS132)。次に、ステップS132で位置を特定した手指95の動きから空中操作の種別を判別する(ステップS133)。ここでは、空中タッチ操作、空中フリック操作、空中ジェスチャー操作に対応する指の動きのパターンをそれぞれ予め記憶しておき、これらのパターンと撮影画像における手指95の動きとを比較(パターンマッチング)して、空中操作の種別を特定する。図18に示す処理では、空中操作が検出された場合はその位置と種別を示す情報が戻り値にされ、空中操作が検出されない場合は、検出なしを示す情報が戻り値にされる。

0101

図19は、操作表示装置60の処理の概要を示している。操作表示装置60は、ヘッドマウントディスプレイ装置30から空中操作情報の受信を監視している(ステップS201;No)。ヘッドマウントディスプレイ装置30から空中操作情報を受信すると(ステップS201;Yes)、操作表示装置60の画面作成部68は、その空中操作情報が示す空中操作に対応する仮想操作画面(AR情報)93を作成する(ステップS202)。仮想操作画面93を作成する処理の詳細は後述する。

0102

操作表示装置60は、空中操作を受けても、自装置に表示中の操作画面91は変更しない(ステップS203)。操作表示装置60は、ステップS202で作成した仮想操作画面(AR情報)93の画像のデータをヘッドマウントディスプレイ装置30へ送信して(ステップS204)、処理を終了する。

0103

図20は、図19のステップS202の処理の詳細を示している。まず、AR情報の表示設定の設定内容を不揮発メモリ64から取得する(ステップS221)。AR情報の表示設定とは、AR情報(仮想操作画面93)の作成に関して選択可能な条件に関する設定である。ここでは、図15図16で示した手指95の隠れに関する対応方法をAR情報の表示設定に関する条件として設定可能になっている。予め別途の設定画面でAR情報の表示設定に関する設定操作を受け付け、その設定内容が不揮発メモリ64に保存されている。

0104

不揮発メモリ64から読み出したAR情報の表示設定(手指95の隠れに関する対応方法)に関する設定内容が、手指95の隠れに対応しない、ことを示す場合は(ステップS222;No)、手指95の隠れを考慮しないAR情報(仮想操作画面)を作成して(ステップS223)、本処理を終了する(リターン)。

0105

なお、手指95の隠れを考慮しないAR情報の作成では、まず、操作表示装置60に現在表示中の操作画面91を特定し、ヘッドマウントディスプレイ装置30から受信した空中操作情報が示す空中操作の位置および種別から、この操作画面91に対する空中操作の操作内容を特定する。たとえば、「応用設定の操作ボタン94に対するタッチ操作である」というような特定を行う。次に、現在表示中の操作画面91に対して、上記の特定した操作を実際に行った場合に操作表示装置60の操作表示部67に表示すべき変更後の操作画面を、仮想操作画面93として求める。

0106

AR情報の表示設定の設定内容が、前述した画像合成法で手指95の隠れに対応することを示す場合は(ステップS222;Yes、S224;Yes)、画像合成法で手指95の隠れに対応したAR情報(仮想操作画面)を作成して(ステップS225)、本処理を終了する(リターン)。詳細には、手指95の隠れを考慮しない場合と同じ仮想操作画面93を基本画面として求め、この基本画面の上の該当位置に手指の画像96を合成した画像をAR情報として求める。

0107

AR情報の表示設定の設定内容が、前述した取り除き法で手指95の隠れに対応することを示す場合は(ステップS222;Yes、S224;No)、取り除き法で手指95の隠れに対応したAR情報(仮想操作画面)を作成して(ステップS226)、本処理を終了する(リターン)。詳細には、手指95の隠れを考慮しない場合と同じ仮想操作画面93を基本画面として求め、この基本画面から手指に対応する取り除き部分97を取り除いた画像をAR情報として生成する。

0108

以上説明したように、操作表示システム3では、複数人で閲覧して操作可能な操作表示装置60の表示状態(操作画面91)を維持しつつ、ヘッドマウントディスプレイ装置30を装着したユーザは、操作表示装置60に表示されている操作画面91に対して個人的な操作を行って、該操作に応じて変更された後の操作画面(仮想操作画面93)をヘッドマウントディスプレイ装置30において確認することができる。これにより、ヘッドマウントディスプレイ装置30を装着したユーザは、他のユーザに迷惑をかけることはなく、操作表示装置60に表示中の操作画面91に対して個別の操作を行って、その操作に応じて変更された操作画面93を確認することができる。また、空中操作によってセキュリティ情報などの個人的な情報を入力すれば、該情報を他人に覗かれてしまうことはない。

0109

また、現実空間の操作表示装置60に表示されている操作画面91にちょうど重なるように仮想操作画面93を表示するので、ヘッドマウントディスプレイ装置30を装着しているユーザは、あたかも、現実空間の操作表示装置60の表示が空中操作に従って変更されたかのように視認することができる。

0110

また、図13に示すように、操作表示装置60で受けた操作によって設定された項目と空中操作によって設定された項目とを、仮想操作画面93において異なる表示態様で識別可能に表示するので、各項目に対する設定が空中操作で行われたか否かを一目で確認することができる。

0111

また、操作表示装置60で受けた操作による設定と、ヘッドマウントディスプレイ装置30の装着者から空中操作によって受けた設定とを融合させて、該ヘッドマウントディスプレイ装置30の装着者に固有の設定を生成するので、複数のユーザに共通な部分の設定は操作表示装置60で行い、個人的な部分の設定は空中操作で行うことで、複数人に共通な部分と個人的な部分とを含む一連の設定をユーザ別に作成する場合の作業効率を高めることができる。また、空中操作で入力を行えば、セキュリティ情報などを他人に見られることなく入力することができる。

0112

また、手指95の隠れに対応したので、操作表示装置60に表示中の操作画面91に重ねて仮想操作画面93を不透明に表示した場合でも、手指を見ながら仮想操作画面93に対して空中操作を行うことができる。

0113

以上、本発明の実施の形態を図面によって説明してきたが、具体的な構成は実施の形態に示したものに限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。

0114

実施の形態では、操作表示装置60に対する空中操作を例に説明したが、画像処理装置10の操作表示部21が空中操作に関連する機能を備え、操作表示部21に対して空中操作を可能としてもよい。

0115

実施の形態では、カメラ部47の撮影画像を解析して空中操作を検出したが、他の方法で空中操作を検出してもよい。たとえば、操作表示装置60が音波などを射出し、その反射によって手指の動きや位置を認識して空中操作を検出する、といった方法でもよい。

0116

実施の形態では、空中操作として、空中でのフリック操作、空中でのタッチ操作、空中でのジェスチャー操作を検出したが、検出対象の空中操作はこれらのうちの1以上の任意数でよい。なお、空中でのジェスチャーには、記号や文字を描く、といった動作が含まれる。また、ピンチアウトピンチインなど他の動作を空中操作として認識してもよい。

0117

ヘッドマウントディスプレイ装置30と操作表示装置60との役割分担は、実施の形態で例示したものに限定されず、適宜に配分すればよい。たとえば、仮想操作画面93を作成する画面作成部68の機能をヘッドマウントディスプレイ装置30に持たせてもかまわない。

0118

たとえば、この場合、ヘッドマウントディスプレイ装置30に操作表示装置60に表示されるすべての操作画面の画面データや画面遷移表のデータを記憶しておき、空中操作を検出したとき、操作表示装置60から現在表示中の操作画面91の識別番号などを取得し(あるいはカメラ部47の撮影画像を解析して操作画面を識別し)、この操作画面91を空中操作に従って変更した場合の仮想操作画面93を作成すればよい。このほか、カメラ部47で撮影した映像を操作表示装置60へ送信し、操作表示装置60において空中操作を検出するように役割配分してもよい。

0119

実施の形態では、拡張現実空間の表示装置をヘッドマウントディスプレイ装置30としたが、カメラ部を備えた携帯端末80であってもかまわない。この携帯端末80は、カメラ部の撮影画像内で、操作表示装置60に表示されている操作画面91とこの操作画面91に対する空中操作とを検出し、この空中操作に対応する仮想操作画面93をAR情報として作成し、該AR情報をカメラ部が撮影している現実空間に合成した拡張現実空間を表示部に表示するように動作する。

0120

手指95の隠れへの対応は、操作表示装置60に表示中の操作画面91に重ねて仮想操作画面93を表示する場合に限らず、操作表示装置60に表示中の操作画面91とは別の位置に仮想操作画面93を表示する場合にも有用である。すなわち、仮想操作画面93を表示した後は、この仮想操作画面93に対して空中操作が行われるので、仮想操作画面93の背後に隠れないように手指を視認可能にすることは有用である。

0121

2…ネットワーク
3…操作表示システム
10…画像処理装置
11…CPU
12…ROM
13…RAM
14…不揮発メモリ
15…ハードディスク装置
16…自動原稿搬送部
17…画像読取部
21…操作表示部
22…通信部
23…画像処理部
24…プリンタ部
25…ファクシミリ通信部
26…認証部
30…ヘッドマウントディスプレイ装置
31…表示部
32…ブリッジ
33…ツル
34…基幹部
35…ハーフミラー
41…CPU
42…ROM
43…RAM
44…不揮発メモリ
45…方位センサー部
46…投影部
47…カメラ部
48…操作部
49…通信部
51…画像処理部
52…空中操作検出部
60…操作表示装置
61…CPU
62…ROM
63…RAM
64…不揮発メモリ
65…ハードディスク装置
66…認証部
67…操作表示部
68…画面作成部
69…通信部
71…画像処理部
73…表示面
80…携帯端末
91…操作画面
93…仮想操作画面
93B…仮想操作画面(色分け表示
94…応用設定の操作ボタン
95…現実空間の手指
95b…仮想操作画面の背後に隠れて見えない手指
96…手指の画像
97…取り除き部分
L1…外光
L2…画像光

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ

特許:約8,000万件, クラウドファンディング:約100万年, 科研費・グラントデータ:約500万件, 発明者・研究者情報:約600万人