図面 (/)

この項目の情報は公開日時点(1995年1月17日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (19)

目的

本発明はデータ処理装置に関し、HMD等の使用時に、所望の表示データの特定ができるようにすることを目的とする。

構成

筐体2中に、内蔵されるディスプレイ手段47を備えるデータ処理装置1であって、前記ディスプレイ手段47に所定のデータを表示するデータ表示手段48と、該データ表示手段48により表示される表示データの任意位置仮想的に指定する指定手段32と、該指定手段32により指定された仮想的な指定位置を検出する位置検出手段26R,26L、27R,27Lと、該位置検出手段26R,26L、27R,27Lにより検出された位置に対応する前記表示データの指定位置を算出し、該表示データ中の所定データを特定するデータ特定手段41とを具備するように構成する。

概要

背景

従来、データ処理装置としては、例えば、エンジニアリングワークステーション(以下、EWS:Engineering Work Stationという),パーソナルコンピュータ(Personal Computer;以下、パソコンと略す),ワードプロセッサ(Word Processor ;以下、ワープロと略す)等がある。

これらのデータ処理装置には、通常、入力装置としてキーボードが、また、出力装置としてディスプレイ装置が備えられ、キーボードから入力されるキーコマンドに対応する処理がデータ処理装置内で行われるとともに、処理結果がディスプレイ装置に出力されるものである。

データ処理装置におけるディスプレイ装置として代表的なものには、CRT(Cathode Ray Tube)表示装置や、液晶表示装置(以下、LCD:Liquid CrystalDisplay という)等がある。

CRT表示装置は、例えば、デスクトップ型のEWS、パソコン、ワープロ等における表示装置として一般的なものであり、比較的安価に大画面の表示装置を得ることができるが、CRT表示装置では、大画面の表示装置を得る場合、CRT表示装置自体のサイズも大きくなり、設置場所が限定される。

一方、LCDは、低消費電力でかつ軽量・薄型である点から、ラップトップ型やノート型のパソコン・ワープロ等の表示装置として多用されており、近時においては、大画面・高精細化が図られ、EWS等の表示装置としても利用されている。

しかし、LCDは、一般に大画面化が難しく、かつ、画面サイズが大きくなるとそのサイズに比してコストがかかる。

そこで、設置場所を選ばずに、大画面化が可能な表示装置として、HMDが注目されている。

HMDとは、目の前に配置した2枚の液晶ディスプレイ映像を表示し、輻輳角焦点距離とを所定の値に設定することにより、眼鏡双眼鏡のように両目に対してそれぞれ別々の映像を与え、小さな機器大画面表示装置を見ているかのように表示を行うものであり、例えば、左右の液晶ディスプレイを像ができる面に対し1.5度傾かせて3度の輻輳角を与えた場合、両目の間隔が65mm(日本人平均値)の人が約1m先を注視することを考えると、約2インチ型の液晶ディスプレイと、焦点距離約20mmのレンズとを組み合わせて30度の画角を実現したとすると、1m先に約20インチの表示画面を有する光学系が得られる。

HMDは、このような利点を備えることから、映画鑑賞、擬似3D表示立体表示)による医療CAD建築の分野での利用が有望視されている。

概要

本発明はデータ処理装置に関し、HMD等の使用時に、所望の表示データの特定ができるようにすることを目的とする。

筐体2中に、内蔵されるディスプレイ手段47を備えるデータ処理装置1であって、前記ディスプレイ手段47に所定のデータを表示するデータ表示手段48と、該データ表示手段48により表示される表示データの任意位置仮想的に指定する指定手段32と、該指定手段32により指定された仮想的な指定位置を検出する位置検出手段26R,26L、27R,27Lと、該位置検出手段26R,26L、27R,27Lにより検出された位置に対応する前記表示データの指定位置を算出し、該表示データ中の所定データを特定するデータ特定手段41とを具備するように構成する。

目的

本発明は、HMD等の使用時に、所望の表示データの特定ができるようにすることを目的とする。

効果

実績

技術文献被引用数
2件
牽制数
7件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

筐体中に、内蔵されるディスプレイ手段を備えるデータ処理装置であって、前記ディスプレイ手段に所定のデータを表示するデータ表示手段と、該データ表示手段により表示される表示データ中の任意位置仮想的に指定する指定手段と、該指定手段により指定された仮想的な指定位置を検出する位置検出手段と、該位置検出手段により検出された位置に対応する前記表示データの指定位置を算出し、該表示データ中の所定データを特定するデータ特定手段と、を具備することを特徴とするデータ処理装置。

請求項2

前記指定手段は、前記筐体外に設けられた位置指定部と、該位置指定部の該筐体に対する相対位置を検出する相対位置検出部と、該相対位置検出部により検出された相対位置に基づいて前記データ表示手段によって表示される表示データ中に所定のポインタ画像を表示するポインタ表示部と、を有することを特徴とする請求項1記載のデータ処理装置。

技術分野

0001

本発明は、データ処理装置係り、詳細には、頭部搭載型ディスプレイ装置(以下、HMD:Head Mounted Displayという)を備えたデータ処理装置に関する。

背景技術

0002

従来、データ処理装置としては、例えば、エンジニアリングワークステーション(以下、EWS:Engineering Work Stationという),パーソナルコンピュータ(Personal Computer;以下、パソコンと略す),ワードプロセッサ(Word Processor ;以下、ワープロと略す)等がある。

0003

これらのデータ処理装置には、通常、入力装置としてキーボードが、また、出力装置としてディスプレイ装置が備えられ、キーボードから入力されるキーコマンドに対応する処理がデータ処理装置内で行われるとともに、処理結果がディスプレイ装置に出力されるものである。

0004

データ処理装置におけるディスプレイ装置として代表的なものには、CRT(Cathode Ray Tube)表示装置や、液晶表示装置(以下、LCD:Liquid CrystalDisplay という)等がある。

0005

CRT表示装置は、例えば、デスクトップ型のEWS、パソコン、ワープロ等における表示装置として一般的なものであり、比較的安価に大画面の表示装置を得ることができるが、CRT表示装置では、大画面の表示装置を得る場合、CRT表示装置自体のサイズも大きくなり、設置場所が限定される。

0006

一方、LCDは、低消費電力でかつ軽量・薄型である点から、ラップトップ型やノート型のパソコン・ワープロ等の表示装置として多用されており、近時においては、大画面・高精細化が図られ、EWS等の表示装置としても利用されている。

0007

しかし、LCDは、一般に大画面化が難しく、かつ、画面サイズが大きくなるとそのサイズに比してコストがかかる。

0008

そこで、設置場所を選ばずに、大画面化が可能な表示装置として、HMDが注目されている。

0009

HMDとは、目の前に配置した2枚の液晶ディスプレイ映像を表示し、輻輳角焦点距離とを所定の値に設定することにより、眼鏡双眼鏡のように両目に対してそれぞれ別々の映像を与え、小さな機器大画面表示装置を見ているかのように表示を行うものであり、例えば、左右の液晶ディスプレイを像ができる面に対し1.5度傾かせて3度の輻輳角を与えた場合、両目の間隔が65mm(日本人平均値)の人が約1m先を注視することを考えると、約2インチ型の液晶ディスプレイと、焦点距離約20mmのレンズとを組み合わせて30度の画角を実現したとすると、1m先に約20インチの表示画面を有する光学系が得られる。

0010

HMDは、このような利点を備えることから、映画鑑賞、擬似3D表示立体表示)による医療CAD建築の分野での利用が有望視されている。

発明が解決しようとする課題

0011

出力装置としてCRTやLCD等のディスプレイ装置を備えるとともに、入力装置としてキーボードを備える従来のデータ処理装置では、データ処理に必要なキー入力は、キーボードから行うことができるが、HMDをディスプレイ装置とするデータ処理装置を考えた場合、HMDはオペレータの頭部に装着して利用するといった構成となっているため、以下に述べるような問題点が生じる虞がある。

0012

すなわち、前述のHMDにあっては、ディスプレイ装置を頭部に搭載するという性格上、完全なブラインドタッチ入力が可能な者以外のオペレータでは、一般的な入力装置であるキーボード等を使用することができず、このため、HMDを装着した状態では、例えば、ジョイススティック等の簡単な操作で利用できるポインティングデバイスくらいしか操作できない。

0013

また、HMD自体にキー入力部を設けることも考えられるが、HMDは頭部に装着するという目的から小型・軽量であることが望まれ、多種類のキーを備えることは好ましくない。

0014

本発明は、HMD等の使用時に、所望の表示データの特定ができるようにすることを目的とする。

課題を解決するための手段

0015

請求項1記載の発明では、筐体中に、内蔵されるディスプレイ手段を備えるデータ処理装置であって、前記ディスプレイ手段に所定のデータを表示するデータ表示手段と、該データ表示手段により表示される表示データ中の任意位置仮想的に指定する指定手段と、該指定手段により指定された仮想的な指定位置を検出する位置検出手段と、該位置検出手段により検出された位置に対応する前記表示データの指定位置を算出し、該表示データ中の所定データを特定するデータ特定手段と、を具備することを特徴としている。

0016

この場合、請求項2記載のように、前記指定手段は、前記筐体外に設けられた位置指定部と、該位置指定部の該筐体に対する相対位置を検出する相対位置検出部と、該相対位置検出部により検出された相対位置に基づいて前記データ表示手段によって表示される表示データ中に所定のポインタ画像を表示するポインタ表示部とを有することが有効である。

0017

請求項1記載の発明によれば、データ表示手段により表示される表示データに対し、指定手段により任意位置が仮想的に指定されるとともに、位置検出手段により仮想的な指定位置が検出され、データ特定手段により検出された指定位置に基づいて表示データ中の所定データが特定される。

0018

なお、この場合、請求項2記載の発明のように、位置指定部の筐体に対する相対位置が検出され、検出された相対位置に基づいてデータ表示手段によって表示される表示データ中に所定のポインタ画像が表示されることにより、表示データ中の所定データの特定が容易に行われる。

0019

以下、図1図18を参照して実施例を説明する。

0020

図1図18は本発明に係るデータ処理装置の一実施例を示す図である。

0021

まず、構成を説明する。図1図2は、本発明のデータ処理装置の外観図であり、図1は、本実施例のデータ処理装置を斜め前方から見た図であり、図2は、本実施例のデータ処理装置を斜め後方から見た図である。

0022

本実施例におけるデータ処理装置1は、HMDによる単体ディスプレイ装置内に内蔵されたHMD一体型のデータ処理装置1であり、キーボード等によるキー入力手段を備えていないため、HMDに仮想的なキーボードを表示することで、仮想的なキー入力を可能としている。

0023

図1図2において、データ処理装置1は、データ処理において処理された種々のデータを表示画像として生成する表示ユニット等の各種ユニットを内蔵する機器ケース(筐体)2と、機器ケース2を支持するとともに、頭部に装着する伸縮自在のヘッドバンド3とから構成されており、機器ケース2の上部には、表示ユニットに対するバックライト光を生成するバックライトユニット4が着脱自在に設けられており、データ処理装置1を外部光照度が十分得られる場所で使用する場合には、バックライトユニット4を外した状態でも使用することができる。

0024

なお、図1に示すように、機器ケース2には、ロッドアンテナ5、電源オンオフスイッチ6、指定キー7、メニュー切換ダウン指示キー8D、メニュー切換アップ指示キー8Uが設けられるとともに、図2に示すように、ファインダ9R,9Lが形成されている。また、ヘッドバンド3には、図1に示すように、支持部11、イヤホン12R,12Lが形成されるとともに、図2に示すように、装着検出センサ13が設けられている。

0025

ロッドアンテナ5は、データ処理装置1内で処理された各種データを電波に変換して送信するための伸縮自在のアンテナであり、電源オン・オフスイッチ6は、電源部(図示せず)から供給される電源電圧をデータ処理装置1内に通電するか否かを選択するためのスイッチであり、指定キー7は、データ処理装置1を使用する時点で、使用するオペレータの確認処理を開始するためのスイッチである。なお、使用するアンテナとしては、本実施例のような伸縮自在のロッドアンテナ5に限らず、例えば、ヘリカルアンテナでも良く、使用する電波の波長帯域に適切なアンテナの利用が可能である。

0026

メニュー切換ダウン指示キー8D及びメニュー切換アップ指示キー8Uは、表示ユニットにより表示されるメニュー画面のメニュー内容を切り換えるためのキースイッチであり、メニュー切換ダウン指示キー8Dは、順方向(例えば、メニュー画面中の枠カーソルを下方向に移動させる方向)にメニュー内容を切り換え、メニュー切換アップ指示キー8Uは、メニュー切換ダウン指示キー8Dと逆方向(例えば、メニュー画面中の枠カーソルを上方向に移動させる方向)にメニュー内容を切り換えるものである。

0027

ファインダ9R,9Lは、ガラスまたはプラスチック光学レンズからなる拡大レンズ10R,10Lが設けられた覗き窓であり、支持部11は、機器ケース2とヘッドバンド3とを支持固定するものである。

0028

イヤホン12R,12Lは、エラー音ガイダンス情報を聞くためのものであり、装着検出センサ13は、ヘッドバンド3がオペレータの頭部に装着されたか否かを検出するためのセンサである。

0029

図3は、本実施例におけるデータ処理装置1の横方向から見た断面図であり、図4は、本実施例におけるデータ処理装置1の上方向から見た断面図である。

0030

機器ケース2は、図3及び図4に示すように、バックライトユニット4からの光を拡散して輝度均整化するための白色アクリル板等から構成される拡散板21と、表示ユニットの中枢である約1インチサイズのアクティブマトリクス型カラー液晶表示部であるLCD22R,22Lと、LCD22R,22Lからの表示画像を反射して拡大レンズ10R,10Lに導く反射ミラー23と、LCD22R,22LのドライバIC(IntegratedCircuit)等の機器ケース2内の制御回路実装する回路基板24と、機器ケース2内の左右の側壁に設けられる2個のCCD(Charge Coupled Device :撮像素子)25R,25Lと、機器ケース2内の左右の側壁下部位置に設けられ、後述する赤外線発光ペン(位置指定部)32の位置を検出する赤外光検出センサ26R,26Lと、赤外光検出センサ26R,26Lの内側に設けられ、赤外線発光ペン32からの位置指定入力信号を検出する赤外光検出センサ27R,27Lとから構成されている。

0031

バックライトユニット4は、図3に示すように、直下型方式冷陰極管蛍光ランプ)からなるバックライト31を備え、機器ケース2に装着された場合、機器ケース2側から電源電圧の供給を受けて発光するとともに、拡散板21を介してLCD22R,22Lにバックライト光を照射するものである。なお、周囲が十分明るい場合は、バックライトユニット4を装着することなしに外部光を拡散板21から導入することで、画像を見ることもできる。

0032

バックライト31の照射によりLCD22R,22Lを介して得られる画像(光)は、反射ミラー23により反射され、拡大レンズ10R,10L及びファインダ9R,9Lを介してオペレータの目ER,ELに届く。さらに、前方に見え周囲状況の画像は、CCD25R,25Lにより撮影され、必要に応じてLCD22R,22Lに表示され、オペレータが参照することができる。

0033

図5は、赤外線発光ペン32の斜視図である。

0034

赤外線発光ペン32は、赤外線発光ペン32の動作開始のための電源スイッチ33と、位置指定入力のための発光スイッチ34と、電源スイッチ33のオン動作と共に連続発光を開始する位置確認のための発光部35と、発光スイッチ34のオン動作により発光する入力指定のための発光部36とを備えている。

0035

すなわち、機器ケース2内の左右の側壁に設けられた赤外光検出センサ26R,26Lによって、電源スイッチ33のオン時から赤外線発光ペン32の発光部35から連続して発せられる赤外光によって赤外線発光ペン32の位置(機器ケース2からの相対位置)が検出されるとともに、赤外光検出センサ26R,26Lの内側に設けられた赤外光検出センサ27R,27Lによって、赤外線発光ペン32に設けられた発光スイッチ34をオンすることより発光部36から発せられる赤外光(位置指定入力信号)が検出され、これによって、赤外線発光ペン32による位置指定が可能となる。

0036

図6は、本実施例のデータ処理装置1の全体構成を示すブロック図である。

0037

本実施例のデータ処理装置1は、CPU41、ROM42、データメモリ43、角度センサ44、方位センサ45、入力部46、表示部47、表示駆動部48、無線伝送制御部49を備え、さらに、CCD25R,25L、赤外光検出センサ26R,26L、赤外光検出センサ27R,27Lを備えている。なお、図6中、Bは、CPU41、ROM42、データメモリ43、角度センサ44、方位センサ45、入力部46、表示駆動部48、無線伝送制御部49、CCD25R,25L、赤外光検出センサ26R,26L、赤外光検出センサ27R,27Lをそれぞれ接続する信号伝送路となるバスであり、101はプリンタ、102は外部記憶装置である。

0038

CPU41は、データ処理装置1内の各部を制御する各種制御信号を、バスBを介して各回路に出力するものであり、また、CPU41は、入力部46からの入力情報に基づいて表示駆動部48を制御して表示部47に所定の表示を行うとともに、無線伝送制御部49を制御してデータ処理装置1内で処理された各種データを電波に変換してプリンタ101や外部記憶装置102に必要なデータを送信するものである。

0039

ROM42は、データ処理装置1内で利用されるプログラムやデータ等を格納する半導体メモリである。

0040

データメモリ43は、CPU41により実行される処理において利用される各種データ、すなわち、表示データ、ポインタ画像となる“ペン”のイメージデータ(以下、ペンカーソルという)等を格納するととも、データ処理における作業領域となるワークエリアを有する半導体メモリである。なお、表示データは、表示部47により表示される各種メニュー画面等の表示データであり、ペンカーソルは、赤外線発光ペン32の位置検出に基づいて表示部47により表示される仮想的な“ペン”の画像データである。

0041

角度センサ44は、例えば、ナビゲーションシステムジャイロシステム等に用いられるように、“ゆれ”の検出を行うことにより、データ処理装置1であるHMDが水平状態から何度傾いているかを検出するセンサである。本実施例では、図7に示すように、鉛直方向から図7中、右回りに所定の角度だけ回転した位置を基準点位置(0度位置)に設定し、90度位置においては、わずかに上向きとなるように設定されている。

0042

方位センサ45は、データ処理装置1であるHMDが基準位置から左または右方向に何度回転しているかを検出するセンサである。本実施例では、図8に示すように、「」の方位を基準点位置(図8中、N)に設定し、図8中、右回りに何度回転しているかを検出するようになっている。

0043

入力部46は、データ処理装置1でキー入力を可能とするために設けられた仮想的な入力部である。これは、本実施例のデータ処理装置1はディスプレイ部だけで構成され、特別にキーボード等の入力部を持っていないため、データメモリ43中の表示データとして、表示部47にキーボードを表示するとともに、データメモリ43中に格納されたペンカーソルを重ね合わせて表示することにより、位置関係を明確にしてキー入力を可能とするものである。

0044

表示部47は、図3に示すように、オペレータの左右の目にそれぞれ対応する2つの画像を表示する機器ケース2内の光学ユニット(拡散板21、LCD22R,22L、反射ミラー23、拡大レンズ10R,10L等)及びバックライトユニット4内の光学ユニット(バックライト31等)から構成され、2つの画像が合成される点に固定することで、左右のファインダ9R,9Lから覗き見た画像は自然な状態で合成されて表示される。

0045

表示駆動部48は、LCD22R,22Lによって画像表示を行うためにLCD22R,22Lを駆動するディスプレイ駆動部であり、具体的には、CPU41の処理に基づいて生成される画像データをLCD22R,22Lの画素数に対応する所定ビットアナログ映像信号アナログRGB信号)に変換し、このアナログ映像信号をLCD22R,22Lに出力するものである。

0046

無線伝送制御部49は、データ処理装置1内で処理された各種データを電波に変換して送信するものである。これは、本実施例のデータ処理装置1はディスプレイ部だけで構成されており、データ処理装置1単体では処理データの出力ができないため、例えば、プリントアウトを行う場合は、プリントアウトしたい所望のデータを無線伝送制御部49によって周波数変調または振幅変調等により変調し、このデータを電波として外部のプリンタ101に出力したり、また同様に、重要なデータを保管する場合は、保管したい所望のデータを電波に変換して外部記憶装置102に出力したりするものである。この場合、本実施例と同一のデータ処理装置1との間でデータの送受も可能となり、さらに、1つのホストステーションからの送信電波を、本実施例と同一構成の複数のデータ処理装置1で受信することで、共通の画像を見ることもでき、例えば、会議等にも利用することができる。

0047

次に、本実施例の動作を説明する。

0048

図9は、本実施例のデータ処理装置の起動時におけるオペレータの認識処理フローチャートである。

0049

以下、図9に基づいてデータ処理装置1によるオペレータ認識処理について説明する。なお、図9に示すCPU41の処理動作に対応するプログラムは、ROM42に格納されている。

0050

まず、本実施例におけるデータ処理装置1がオペレータに装着され、電源オン・オフスイッチ6がオンされると、HMDの表示部47にはメニュー画面が表示される(ステップS1)。

0051

そして、この状態で、メニュー切換ダウン指示キー8Dまたはメニュー切換アップ指示キー8Uの押下状態チェックされ(ステップS2)、メニュー切換ダウン指示キー8Dまたはメニュー切換アップ指示キー8Uが押された場合、切換指示に基づいてメニュー内容が切り換えられ(ステップS3)、一方、上記ステップS2の処理において、メニュー切換ダウン指示キー8Dまたはメニュー切換アップ指示キー8Uが押されていない場合、続いて指定キー7の押下状態がチェックされ(ステップS4)、指定キーが押されていない場合、上記ステップS2からの処理が繰り返される。

0052

ステップS4の処理において、指定キー7が押下された場合、指定メニューに応じて各機能処理が行われる初期メニュー画面に切り換えられる(ステップS5)。

0053

以上、ステップS1からステップS5の処理により、オペレータによるHMDの使用が確認されると、図10(a)に示すような初期メニュー画面が表示される。ちなみに、図10(a)に示す例では、選択項目して“データ入力編集”、“データ認識入力”、“録画”、“再生”の項目が表示されており、“データ入力・編集”の項目に枠カーソルがある状態を示している。この状態において、メニュー切換ダウン指示キー8Dを押すと枠カーソルは図中下方向に移動し、また、メニュー切換アップ指示キー8Uを押すと枠カーソルは図中上方向に移動して目的の項目を反転表示する。

0054

ここで、図10(a)に示すように、“データ入力・編集”の項目に枠カーソルがある状態で指定キー7が押されると、“データ入力・編集”の機能が選択され、図10(b)に示すようなデータメニュー画面が表示される。なお、図10(b)中、Aは、表示すべきデータのレイアウトを示したり、指定するためのレイアウトウィンドウ、Bは、図10(a)の初期メニュー画面で選択された項目を表示する動作項目表示ウィンドウであり、これによって現在の動作内容が確認できる。Cは、編集する文書または表データのファイル名を示したり、編集する文書または表データのファイル名を指定するためのファイル名ウィンドウであり、Dは、仮想キーボードを指定するためのキーボード指定ウィンドウである。

0055

また、図10(a)の“データ認識入力”の項目に枠カーソルがある状態で指定キー7が押されると、“データ認識入力”の機能が選択され、図11(a)に示すようなメニュー画面が表示される。同様にして、図10(a)の“録画”の項目に枠カーソルがある状態で指定キー7が押されると、“録画”の機能が選択され、図11(b)に示すような画面が表示される。

0056

次いで、図12図15に示すフローチャートに基づいてデータ入力・編集処理を説明する。なお、図12は、データ入力・編集処理を示すフローチャートである。

0057

図10(b)に示すデータメニュー画面において、データ入力・編集処理時には、仮想キーボードのデータがデータメモリ43から読み出されて次の処理には進めない状態となっている。このため、まず、仮想キーボードが指定により表示されているか否かがチェックされ(ステップS11)、仮想キーボードが表示されている場合は次ステップに進み、一方、仮想キーボード表示されていない場合は、後述するキーボード指定処理が実行され(ステップS12)、仮想キーボードが表示される。

0058

この仮想キーボード上には、「読出キー」という特別なキーが用意されており、「読出キー」が選択されたか否かがチェックされる(ステップS13)。

0059

ステップS13の処理において、「読出キー」が選択された場合、記憶ファイル名の一覧がウィンドウ表示され(ステップS14)、この状態で仮想キーボード上の「カーソルキー」が操作されると(ステップS15)、カーソル位置が変更され、変更されたカーソル位置にあるファイル名に表示内容更新される(ステップS16)。

0060

次いで、ウィンドウの入力指定の有無がチェックされ(ステップS17)、入力指定がある場合、指定位置と対応するファイルデータの読み出しが行われ(ステップS18)、先の表示を消してレイアウトウィンドウが再表示される(ステップS19)。

0061

ここで、再度ウィンドウの入力指定の有無がチェックされ(ステップS20)、入力指定がある場合、ファイルデータの配置処理が行われ(ステップS21)、配置されたファイルデータが表示されるとともに、ファイル名ウィンドウが消去され(ステップS22)、データ入力・編集処理が終了する。

0062

一方、上記ステップS17の処理及びステップS20の処理において、ウィンドウの入力指定がなかった場合、仮想キーボード上の「クリアキー」の押下の有無がチェックされ(ステップS23)、「クリアキー」が押されていれなければ、上記ステップS14からの処理が繰り返し実行され、「クリアキー」が押されていれば、データ入力・編集処理を終了する。

0063

また、上記ステップS13の処理において、「読出キー」が選択されなかった場合、「読出キー」と同様に仮想キーボード上に用意された「書込キー」が選択されたか否かがチェックされる(ステップS24)。

0064

ステップS24の処理において、「書込キー」が選択されなかった場合は、別処理へと進み、「書込キー」が選択された場合、記憶ファイル名の一覧がウィンドウ表示されるとともに(ステップS25)、入力指定の有無がチェックされる(ステップS26)。

0065

そして、入力指定がある場合、表示データが指定されたか否かがチェックされ(ステップS27)、表示データの指定が確認されると、指定された表示データの内容を対応するファイルに書き込み(ステップS28)、データ入力・編集処理が終了する。

0066

なお、上記ステップS26の処理で入力指定がない場合、新規にファイルファイルを作成するか否かが問われ(ステップS29)、新規作成ファイルの入力であれば、新規にファイルが作成され(ステップS30)、上記ステップS27からの処理が実行される。

0067

また、新規作成ファイルの入力ではない場合、ファイル名の更新と判断し、「カーソルキー」が操作されると(ステップS31)、カーソル位置が変更され、変更されたカーソル位置にあるファイル名に表示内容が更新されるとともに(ステップS32)、上記ステップS25からの処理が実行される。

0068

ステップS41の処理において、「カーソルキー」の操作がない場合は、仮想キーボード上の「クリアキー」の押下の有無がチェックされ(ステップS33)、「クリアキー」が押されていなければ、上記ステップS25からの処理が繰り返し実行され、「クリアキー」が押されていれば、データ入力・編集処理を終了する。

0069

図13は、図12中におけるキーボード指定処理を示すフローチャートである。

0070

図13に示すように、キーボード指定処理では、まず始めに後述する入力指定処理が実行され(ステップS41)、入力指定処理において、キーボードウィンドウが指定されたか否かがチェックされる(ステップS42)。

0071

ステップS52の処理において、キーボード指定ウィンドウが指定されない場合、仮想キーボード上の「クリアキー」の指定の有無がチェックされ(ステップS43)、「クリアキー」が指定されていた場合は記憶されたキーボードデータクリアし、初期状態とした後に(ステップS44)、上記ステップS41からの処理が繰り返し実行される。ここで、「クリアキー」が指定されていなかった場合は、図10(b)に示すデータメニュー画面が指定されたか否かがチェックされ(ステップS45)、データメニュー画面の指定が行われた場合、キーボード指定処理が終了する。

0072

そして、上記ステップS45の処理において、データメニュー画面の指定が行われなかった場合、固定フラグをオンであるか否かがチェックされる(ステップS46)。ここで、固定フラグがオンである場合は、HMDの移動に伴う視野の変化に関りなく、仮想キーボードを表示部47の中央位置に固定して表示するものであり、固定フラグがオフである場合は、実キーボードと同様に、所定の位置に仮想キーボードが配置され、HMDの移動によりキーボードが視野に入ったり入らなかったりする表示モードとなる。

0073

すなわち、固定フラグがオンである場合、仮想キーボードが固定表示されるモードであると判断されて上記ステップS41からの処理が繰り返し実行され、また、固定フラグがオフである場合、角度センサ44により現在のHMDの角度が検出されるとともに、方位センサ45により現在のHMDの方向が検出され、それぞれの値(角度及び方位)が表示部47に表示される(ステップS47)。そして、HMDの移動によりキーボードを表示すべきエリアに入った場合(ステップS48)、キーボードエリア分の仮想キーボードが表示部47に表示され(ステップS49)、キーボードエリアに入っていない場合には、上記上記ステップS41からの処理が繰り返し実行される。

0074

一方、上記ステップS42の処理において、キーボード指定ウィンドウが指定された場合、レイアウトウィンドウの指定の有無がチェックされる(ステップS50)。

0075

レイアウトウィンドウは、キーボード指定ウィンドウによる指定に先立って指定されるものであり、レイアウトウィンドウが指定されていない場合、HMD位置がどこに向いていようとも仮想キーボードを正面中央位置に表示するために、現在のHMDの角度及び方位に対応する記憶位置にキーボードデータが記憶され(ステップS51)、仮想キーボードの表示が固定的に実行されるモードとなる(ステップS52)。このとき、固定フラグがオンとなり(ステップS53)、仮想キーボードのレイアウト位置が表示されるとともに(ステップS54)、上記ステップS41からの処理が繰り返し実行される。

0076

また、レイアウトウィンドウが指定されている場合、レイアウト位置に対応するデータメモリ43にキーボードデータが記憶され(ステップS55)、HMDがその位置に向いた場合にのみ仮想キーボードが表示されるモードとなり、上記ステップS54の処理に進む。

0077

図14は、図13中における入力指定処理を示すフローチャートである。

0078

図14に示すように、入力指定処理では、まず、赤外線発光ペン32の電源がオンとなって連続発光しているか否かがチェックされ(ステップS61)、発光が検出されない場合、赤外線発光ペン32は電源がオフ状態であると判断し、処理を終了する。

0079

一方、赤外線発光ペン32からの連続発光が検出された場合、検出された赤外光に基づいて赤外線発光ペン32の位置(機器ケース2からの相対位置)が検出され(ステップS62)、CPU41によって赤外線発光ペン32の位置と対応する表示位置が算出される(ステップS63)。

0080

そして、求めた表示位置にペンカーソル(ポインタ画像)を表示する(ステップS64)。

0081

次いで、赤外線発光ペン32の発光スイッチ34が押されることによって赤外光が発光しているか否かがチェックされ(ステップS65)、発光が検出されない場合、赤外線発光ペン32の発光スイッチ34は押されていないものと判断し、処理を終了する。

0082

一方、赤外線発光ペン32からの発光が検出された場合、検出された赤外光に基づいた赤外線発光ペン32の位置が検出され、この検出された位置と前回検出された位置との差が一定距離内にあるか否か判断され(ステップS66)、一定距離内にある場合、赤外線発光ペン32による位置指定の移動はないものとして処理を終了する。

0083

上記ステップS66の処理において、赤外線発光ペン32の位置が前回検出された位置から一定距離以上移動し、仮想キーボードとペンカーソルとが重なる場合、仮想キーボード上のペンカーソルと重なっているキーの輝度が変更(例えば、輝度のアップ等)され(ステップS67)、ペンカーソルがどのキーに触れているかがわかるようになっている。この場合、仮想キーボードとペンカーソルとの表示状態は、図15に示すようになっている。

0084

そして、入力指定が終了したら、入力指定処理での各種処理データを利用するために、ペンカーソル位置に相当する仮想キーボード上のキーまたはウィンドウ内容等がデータメモリ43に記憶される(ステップS68)。

0085

図15は、本実施例のHMDにおける実際の表示例を示す図である。

0086

なお、図15中、Eは、方位センサ45によって検出されるHMDの方位を示す表示、Fは、角度センサ44によって検出されるHMDの角度を示す表示、Gは、所定の領域に指定された文書や表データ等がどのように配置されているかを示すレイアウトウィンドウ、Hは、ペンカーソル、Iは、仮想キーボード、Jは、ファイル名ウィンドウ、Kは、現在オープンされている文書データである。

0087

図16は、一定時間毎に実行される表示処理を示すフローチャートである。

0088

この表示処理では、まず、角度センサ44及び方位センサ45によってHMDの角度及び方位が検出され(ステップP1)、検出された角度及び方位が表示部47に表示されるとともに、現在のHMDの位置に対応するデータメモリ43中の表示データの対応エリア検索されてポインタが移動される(ステップP2)。

0089

そして、この対応エリアに表示すべきデータがあるか否かがチェックされ(ステップP3)、対応エリア中に表示データがある場合は、次処理に移り、対応エリア中に表示データがない場合は、表示処理を終了する。

0090

対応エリアに表示データがある場合、現在の表示モードを示す固定フラグがチェックされる(ステップP3)。

0091

ここで、固定フラグがオンである場合、現在の表示モードはキーボード固定表示であると判断され、仮想キーボードが表示部47の中央位置に表示される(ステップP5)。

0092

そして、対応エリア中の表示すべき表示データが仮想キーボードの表示に重なるか否かがチェックされ(ステップP6)、重なる場合は、仮想キーボードを表示する分の表示エリアだけ対応エリア中の表示データを移動して表示する。

0093

具体的には、例えば、図17(a)に示すように、対応エリアを示す表示エリアポインタ左位置と表示エリアポインタ右位置との間にR0,R1,R2という表示データがある場合、図17(b)に示すように、仮想キーボードを表示する分だけ表示データを、図17中上方向に移動させて仮想キーボードを固定表示する(ステップP7)。

0094

一方、上記ステップP4の処理において固定フラグがオフであった場合、また、上記ステップP6の処理において表示エリア中に仮想キーボードと重なる表示データがなかった場合は、対応エリアのデータをそのまま表示する(ステップP8)。この場合、ステップP4の処理において固定フラグがオンとなって、かつ、仮想キーボードと重ならない場合には仮想キーボートと対応エリアのデータとを合成して表示する必要がある。

0095

本実施例のデータ処理装置1において、HMDの位置に基づいて順次表示される表示データは、その表示されているデータを仮想的なキーボードの入力と同様に、ペンカーソルで指定することによって(本実施例の場合、ペンカーソルの先端で押すという動作により指定)他の表示位置に移動することができる。

0096

図18は、配置処理を示すフローチャートである。

0097

前述した表示データの移動に伴い、移動先にすでに表示データが存在し、表示データ同士が重なる場合(ステップQ1)、移動すべき表示データと重ならない位置に重なる表示データが再配置される(ステップQ2)。

0098

次いで、再配置による元の表示データの移動先についても上記ステップQ1の処理と同様に、移動する表示データが重ならないかどうかがチェックされ(ステップQ3)、重ならない場合は、上記ステップQ1の処理に戻り、重なる場合は、重なる表示データを重ならない位置に再配置し(ステップQ4)、重なりがなくなるまで上記ステップQ3,Q4の処理が繰り返し実行される。

0099

この場合、重なるデータが複数ある場合は、重なっている比率の高いデータから再配置が行われる。

0100

ちなみに、例えば、表示データが表示領域いっぱいに表示されているときに表示データを移動する場合、永久に重なり状態が解消されないために上記ステップQ3,Q4の間の処理が繰り返されることによる無限ループが発生する。このため無限ループの発生を防止するために、何らかの理由によって重なり状態が一定時間以上解消されない場合は、エラー報知し、元の状態に復帰するようにしている。

0101

以上説明したように、本実施例では、表示部47によって表示される表示データに対し、赤外線発光ペン32により任意位置を仮想的に指定でき、さらに、赤外光検出センサ26R,26L及び赤外光検出センサ27R,27Lによって仮想的な赤外線発光ペン32による指定位置を検出し、検出された指定位置に基づいて表示データ中の所定データが特定される。

0102

したがって、HMD使用時であっても、仮想的にキーボード入力が可能となるため、入力能力を低下させることなく、所望のデータ入力が行われる。

0103

なお、上記実施例は、表示ユニットにより生成された画像と外の景色とを合成して表示する各種ユニットを内蔵するものであり、HMDを装着した状態で直接前方の景色を見ることができないが、HMDの前面位置透過型として外の景色を直接見ることができるように構成しても構わない。

発明の効果

0104

本発明によれば、請求項1記載の発明では、データ表示手段によって表示される表示データに対し、指定手段により任意位置を仮想的に指定でき、位置検出手段によって仮想的な指定位置を検出し、データ特定手段によって検出された指定位置に基づいて表示データ中の所定データを特定することができる。

0105

なお、この場合、請求項2記載の発明のように、位置指定部の筐体に対する相対位置を検出し、検出された相対位置に基づいてデータ表示手段によって表示される表示データ中に所定のポインタ画像を表示することで、表示データ中の所定データの特定を容易に行うことができる。

0106

したがって、HMD等の使用時に、入力能力を低下させることなく、所望のデータ入力を行うことができる。

図面の簡単な説明

0107

図1本実施例におけるデータ処理装置を斜め前方から見た図である。
図2本実施例におけるデータ処理装置を斜め後方から見た図である。
図3本実施例におけるデータ処理装置を横から見た断面図である。
図4本実施例におけるデータ処理装置を上から見た断面図である。
図5赤外線発光ペンの斜視図である。
図6本実施例のデータ処理装置の全体構成を示すブロック図である。
図7本実施例のデータ処理装置の角度検出を説明するための図である。
図8本実施例のデータ処理装置の方位検出を説明するための図である。
図9本実施例のデータ処理装置の起動時におけるオペレータの認識処理のフローチャートである。
図10初期メニュー画面及びデータメニュー画面を示す図である。
図11データ認識入力画面及び録画画面を示す図である。
図12データ入力・編集処理を示すフローチャートである。
図13図12中におけるキーボード指定処理を示すフローチャートである。
図14図13中における入力指定処理を示すフローチャートである。
図15本実施例のHMDにおける実際の表示例を示す図である。
図16一定時間毎に実行される表示処理を示すフローチャートである。
図17仮想キーボードと表示データとの表示例を示す図である。
図18配置処理を示すフローチャートである。

--

0108

1データ処理装置
2機器ケース
3ヘッドバンド
4バックライトユニット
5ロッドアンテナ
6電源オン・オフスイッチ
7指定キー
8Dメニュー切換ダウン指示キー
8U メニュー切換アップ指示キー
9R,9Lファインダ
10R,10L拡大レンズ
11 支持部
12R,12Lイヤホン
13装着検出センサ
21拡散板
22R,22L LCD
23反射ミラー
24回路基板
25R,25L CCD
26R,26L赤外光検出センサ
27R,27L 赤外光検出センサ
31バックライト
32赤外線発光ペン
33電源スイッチ
34発光スイッチ
35発光部
36 発光部
41 CPU
42 ROM
43データメモリ
44角度センサ
45方位センサ
46 入力部
47 表示部
48表示駆動部
49無線伝送制御部
101プリンタ
102 外部記憶装置

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ