図面 (/)

この項目の情報は公開日時点(2001年5月11日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (12)

課題

操作者に新たな負担を強いず、キャリブレーション操作初期化動作が不必要であり、誰でもすぐに利用でき、指先を使つた繊細な作業や操作が阻害されず、移動体の中でも利用できる操作入力装置

解決手段

操作者の手の動きたは姿勢を検出する手甲検出手段、操作者の身体の動きまたは姿勢を検出する身体検出手段、手甲検出手段および身体検出手段との出力に基づいて3次元座標系における操作者の身体の位置に対する手の甲の位置または姿勢を検出する空間座標演算手段、操作者の指の姿勢を検出する指姿勢検出手段、空問座標演算手段と指姿勢検出手段との出力に基づいて操作者の手の甲に対する指の姿勢を演算する指形状推定手段、手甲検出手段と指形状推定手段からの出力に基づいて操作者の手全体の形状を演算する手形状推定手段、手形状推定手段と空間座標演算手段の出力に基づいて所定の方式でコマンドを生成する操作入力解析手段を具備する。

概要

背景

首記のような操作入力装置は、その操作コマンド入力に対して、ある所定の処理を行うコマンド処理装置に接続されて用いられる。

このコマンド処理装置とは、操作者から与えられたコマンド情報に応じて目的の処理を行い、結果を出力するコンピュータ等の機械装置の総称である。

従来、この種のコンピュータ入力装置として、3Dマウス空間操作マウス等のように内部に加速度センサなどを加え、従来の2次元マウスの機能を拡張し3次元入力デバイスとして利用できるようにしたものが、例えば、特開平7−28591号公報などによって提案されている。

また、グローブに装着した光フアイバ抵抗体によって、各指や手掌曲げ具合を測定する方式としてデーダグローブ等が商品として市販されている(VPLResearch社のDataGl0ve,USP4,937,444、USP5,097,252参照)。

その他に、手の形状や動きなどを画像処理方式により行うものとして、特開平9−102046号公報などによるものが提案されている。

また、ウェアラブルコンピュータのような常時利用可能な携帯型コンピュータシステム操作入力デバイスとしての利用も前提とした本発明者による特願平10−302236号等によるものが提案されている。

概要

操作者に新たな負担を強いず、キャリブレーション操作初期化動作が不必要であり、誰でもすぐに利用でき、指先を使つた繊細な作業や操作が阻害されず、移動体の中でも利用できる操作入力装置。

操作者の手のの動きたは姿勢を検出する手甲検出手段、操作者の身体の動きまたは姿勢を検出する身体検出手段、手甲検出手段および身体検出手段との出力に基づいて3次元座標系における操作者の身体の位置に対する手の甲の位置または姿勢を検出する空間座標演算手段、操作者の指の姿勢を検出する指姿勢検出手段、空問座標演算手段と指姿勢検出手段との出力に基づいて操作者の手の甲に対する指の姿勢を演算する指形状推定手段、手甲検出手段と指形状推定手段からの出力に基づいて操作者の手全体の形状を演算する手形状推定手段、手形状推定手段と空間座標演算手段の出力に基づいて所定の方式でコマンドを生成する操作入力解析手段を具備する。

目的

本発明の目的とするところは、上記の事情に鑑みてなされたもので、操作者に新たに負担を強いることなく、装着時のキャリブレーション操作や初期化動作が不必要であり、誰に対してでもすぐに利用させることができると共に、指先を使つた繊細な作業や操作が阻害されることなく、移動体の中でも等速並進運動状態や、停止状態に限られずに利用することができるようした簡易システム構成による操作入力装置を提供することである。

効果

実績

技術文献被引用数
1件
牽制数
1件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

操作者の手のに装着され、前記操作者の手の甲の動きたは姿勢を検出する手甲検出手段と、前記操作者の身体に装着され、前記操作者の身体の動きまたは姿勢を検出する身体検出手段と、上記手甲検出手段からの出力と上記身体検出手段との出力に基づいて、3次元座標系における前記操作者の身体の位置に対する手の甲の位置または姿勢を検出する空間座標演算手段と、前記操作者の指の先端近傍に装着され、前記操作者の指の姿勢を検出する指姿勢検出手段と、上記空問座標演算手段と上記指姿勢検出手段との出力に基づいて、前記操作者の手の甲に対する指の姿勢を演算する指形状推定手段と、上記手甲検出手段と上記指形状推定手段からの出力に基づいて、前記操作者の手全体の形状を演算する手形状推定手段と、上記手形状推定手段と上記空間座標演算手段との出力に基づいて、所定の方式でコマンドを生成する操作入力解析手段と、を具備することを特徴とする操作入力装置

請求項2

前記身体検出手段は、前記操作入力解析手段によつて生成された操作入力コマンドを受けてそのコマンドに対する処理を行う携帯コマンド処理装置と一体に形成されていることを特徴とする請求項1に記載の操作入力装置。

請求項3

操作者の手の甲に装着され、前記操作者の手の甲の動きまたは姿勢を検出する手甲検出手段と、前記操作者の指の先端近傍に装着され、前記操作者の指の姿勢を検出する指姿勢検出手段と、上記手甲検出手段と上記指姿勢手段からの情報を送信する手指情報送信手段とから構成された操作入力送信部および、上記手指情報送信手段からの情報を受信する手指情報受信手段と、前記操作者の身体に装着され、前記操作者の身体の動きまたは姿勢を検出する身体検出手段と、上記手指情報受信手段で受けた上記手甲検出手段の出力および上記身体検出手段からの出力に基づいて、3次元座標系における前記操作者の身体の位置に対する手の甲の位置または姿勢を検出する空間座標演算手段と、上記空間座標演算手段と上記手指情報受信手段で受信した指姿勢検出手段からの出力から前記操作者の手の甲に対する指の姿勢を演算する指形状推定手段と、上記指形状推定手段と上記空間座標演算手段との出力に基づいて、所定の方式でコマンドを生成する操作入力解析手段とから構成された操作入力受信部、を具備することを特徴とする操作入力装置。

技術分野

0001

本発明は、コンピュータマルチメディア装置TVゲーム機等で用いられる操作入力装置に関し、特に、操作性の良いヒューマンインタフェース環境を提供するための空間操作マウスなどのような3次元入力装置、更には操作者操作パターン動作パターンによる拡張された入力機能を実現するジェスチャ時空間動作パターン)入力装置として適用される操作入力装置に関するものである。

0002

また、本発明は、更には常時利用可能な状態で、身につけられる携帯型のコンピュータシステムウェアラブルコンピュータ)の操作入力装置に関するものである。

背景技術

0003

首記のような操作入力装置は、その操作コマンド入力に対して、ある所定の処理を行うコマンド処理装置に接続されて用いられる。

0004

このコマンド処理装置とは、操作者から与えられたコマンド情報に応じて目的の処理を行い、結果を出力するコンピュータ等の機械装置の総称である。

0005

従来、この種のコンピュータ入力装置として、3Dマウス、空間操作マウス等のように内部に加速度センサなどを加え、従来の2次元マウスの機能を拡張し3次元入力デバイスとして利用できるようにしたものが、例えば、特開平7−28591号公報などによって提案されている。

0006

また、グローブに装着した光フアイバ抵抗体によって、各指や手掌曲げ具合を測定する方式としてデーダグローブ等が商品として市販されている(VPLResearch社のDataGl0ve,USP4,937,444、USP5,097,252参照)。

0007

その他に、手の形状や動きなどを画像処理方式により行うものとして、特開平9−102046号公報などによるものが提案されている。

0008

また、ウェアラブルコンピュータのような常時利用可能な携帯型コンピュータシステム操作入力デバイスとしての利用も前提とした本発明者による特願平10−302236号等によるものが提案されている。

発明が解決しようとする課題

0009

しかるに、上述した3Dマウスのような操作システムにおいては、2次元マウスの操作を拡張しているために、そのコマンド操作のための特有操作方法を新たに学習しなければならず、操作者に新たな負担を強いることになる。

0010

次に、データグローブのようなデバイスの場合には、操作者の通常の手の操作を使った動作によるコマンド操作を行うことが可能であるが、指関節角度変化を、光ファイバ感圧抵抗素子を操作者の関節の辺りに装着し、光量の変化や抵抗値の変化で見るため、全ての指関節を測定する必要があることによって、測定装置やその処理システムが複雑で高価なものとなっている。

0011

また、データグローブのようなデバイスの場合には、個人、個人の手の形状に対応させるため、装着時のキャリブレーション操作初期化動作が必要であり、更にグローブの大きさと手の大きさがあまりにも違うと利用することもできなくなってしまう。

0012

また、このデバイスの場合には、グローブ状のために着用時の拘束感があり、指先などが被われているために、指先を使つた繊細な作業や操作か阻害されることによって、常に、装着したままの状態で他の作業を行うというような使い方をすることができない。

0013

また、画像処理による方式においては、その画像を取り込むためのカメラ取り付け位置や遮蔽に関する問題、取り込み画像ダイナミックレンジ解像度による測定範囲や精度の問題、更に移動性携帯性など、様々な問題がある。

0014

また、この方式においては、画像処理のたのの装置や処理システムも複雑で高価である。

0015

また、本発明者による提案(特願平10−302236号)の方式においては、操作者の手の動きを測定するための角速度センサや加速度センサは、操作者自身移動物体の中にいる時には移動体自身加速度回転運動加算された情報となってしまうために、移動体の中では等速並進運動状態や、停止状態でしか利用することができない。

0016

以上のように従来の入力システムでは、それぞれの問題があった。

0017

本発明の目的とするところは、上記の事情に鑑みてなされたもので、操作者に新たに負担を強いることなく、装着時のキャリブレーション操作や初期化動作が不必要であり、誰に対してでもすぐに利用させることができると共に、指先を使つた繊細な作業や操作が阻害されることなく、移動体の中でも等速並進運動状態や、停止状態に限られずに利用することができるようした簡易システム構成による操作入力装置を提供することである。

課題を解決するための手段

0018

本発明によると、上記課題を解決するために、(1)操作者の手のに装着され、前記操作者の手の甲の動きたは姿勢を検出する手甲検出手段と、前記操作者の身体に装着され、前記操作者の身体の動きまたは姿勢を検出する身体検出手段と、上記手甲検出手段からの出力と上記身体検出手段との出力に基づいて、3次元座標系における前記操作者の身体の位置に対する手の甲の位置または姿勢を検出する空間座標演算手段と、前記操作者の指の先端近傍に装着され、前記操作者の指の姿勢を検出する指姿勢検出手段と、上記空間座標演算手段と上記指姿勢検出手段との出力に基づいて、前記操作者の手の甲に対する指の姿勢を演算する指形状推定手段と、上記手甲検出手段と上記指形状推定手段からの出力に基づいて、前記操作者の手全体の形状を演算する手形状推定手段と、上記手形状推定手段と上記空間座標演算手段との出力に基づいて、所定の方式でコマンドを生成する操作入力解析手段と、を具備することを特徽とする操作入力装置が提供される。

0019

また、本発明によると、上記課題を解決するために、(2) 前記身体検出手段は、前記操作入力解析手段によって生成された操作入力コマンドを受けてそのコマンドに対する処理を行う携帯型コマンド処理装置と一体に形成されていることを特徴とする(1)に記載の操作入力装置が提供される。

0020

また、本発明によると、上記課題を解決するために、(3)操作者の手の甲に装着され、前記操作者の手の甲の動きまたは姿勢を検出する手甲検出手段と、前記操作者の指の先端近傍に装着され、前記操作者の指の姿勢を検出する指姿勢検出手段と、上記手甲検出手段と上記指姿勢手段からの情報を送信する手指情報送信手段とから構成された操作入力送信部および、上記手指情報送信手段からの情報を受信する手指情報受信手段と、前記操作者の身体に装着され、前記操作者の身体の動きまたは姿勢を検出する身体検出手段と、上記手指情報受信手段で受けた上記手甲検出手段の出力および上記身体検出手段からの出力に基づいて、3次元座標系における前記操作者の身体の位置に対する手の甲の位置または姿勢を検出する空間座標演算手段と、上記空間座標演算手段と上記手指情報受信手段で受信した指姿勢検出手段からの出力から前記操作者の手の甲に対する指の姿勢を演算する指形状推定手段と、上記指形状推定手段と上記空間座標演算手段との出力に基づいて、所定の方式でコマンドを生成する操作入力解析手段とから構成された操作入力受信部、を具備することを特徴とする操作入力装置が提供される。

発明を実施するための最良の形態

0021

下図面を参照して本発明の実施の形態について説明する。

0022

図1は、本発明の第1の実施の形態による操作入力装置の要部の構成を示すブロック図である。

0023

すなわち、本発明の第1の実施の形態に係る操作入力装置は、図1に示すように、指姿勢検出手段1と、この指姿勢検出手段1に接続された指形状推定手段2と、この指形状推定手段2に接続された手形状推定手段3とを有している。

0024

また、本発明の第1の実施の形態に係る操作入力装置は、図1に示すように、手甲検出手段5と、身体姿勢検出手段50と、この手甲検出手段5および身体姿勢検出手段50ならびに前記指形状推定手段2に接続された空間座標演算手段6と、この空間座標演算手段6および前記手形状推定手段3に接続された操作入力解析手段4とを有している。

0025

また、本発明の第1の実施の形態に係る操作入力装置は、図1に示すように、前記操作入力解析手段4に接続された携帯可能なコマンド処理装置40を有して構成されている。

0026

本発明の操作入力装置は、基本的にはコンピュータ等の操作のための操作入力デバイスとして接続される。

0027

そして、コマンド処理装置40は、そのようなコマンドの処理を実行する装置の総称である。

0028

なお、この操作入力装置において、前記指形状推定手段2、手形状推定手段3、操作入力解析手段4、空間座標演算手段6とは、マイクロコンピュータおよびその周辺回路を含むCPU11によって構成することも可能である。

0029

図2は、操作者の右手を前方に広げた状態の手の甲から見た場合における各指と関節等に座標系等を定義付けしたものを示している。

0030

図2中、OXYZは、この測定空間における固定空間座標を示し、−Z軸方向が重力方向となる。

0031

通常は、システムが起動したときに初期化された位置が原点となる。

0032

次に、図示されていないが、操作者の身体に固定された座標系BXYZが設定される。

0033

この座標系BXYZは、前記OXYZ空間に対する相対座標系である。

0034

また、HXYZは手の甲を原点とする手甲座標系を示し、前記OXYZ空間に対する相対座標系である。

0035

なお、初期化時点では、固定空間座標0XYZと身体座標系BXYZおよび手甲座標系HXYZの原点は一致している。

0036

また、XYZ軸の各座標軸の進行方向(+軸方向)に対して右回りの回転方向をそれぞれ+Roll(ロール)、+Pitch(ピッチ)、+Yaw(ヨー)方向と定義する(各座標軸は右手系で定義する)。

0037

手甲座標系HXYZは、指先方向を+X軸、親指方向を+Y軸、手の甲のXY平面内に対して直交し上に向かう方向を+Z軸方向とする。

0038

更に、各指先にもそれぞれ同様に独立の座標系が定義されている。

0039

すなわち、指先方向を+X軸、爪から垂直に上に向かう方向を+Z軸方向、XZ面に対して左方向を+Y軸とする。

0040

また、親指座標系TXYZ、人差し指座標系IXYZ、中指座標系MXYZ、薬指座標系DXYZ、小指座標系LXYZ(ただし、指先座標系は手甲座標系PXYZに対しての相対座標系)となるよう設定される。

0041

図3は、本発明で想定した手の骨格モデルを示す。

0042

各関節に相当するジョイント部は1軸方向にしか回転しない1自由度のジョイントを示している。

0043

また、指先先端リンク操作点は、それぞれ親指Tp、人差し指Ip、中指Mp、薬指Dp、小指Lpとし、図2と同じ座標系が定義付けされると共に、各関節等の記号も対応したものであり、添字のj1.j2、j3は第1、第2、第3関節(ジョイント)を意味する。

0044

このモデルでは、親指以外の各指の関節はHXYZ座標系におけるY軸周りの回転であるPitch方向にのみ回転する1自由度を持ち、親指は2自由度、手首は3自由度となっている。

0045

また、図4は、本実施形態における3本指型の操作入力装置の場合の手形状のモデルを示す。

0046

このモデルにおける手の甲の位置と姿勢および手の甲に対する各関節の角度を検出するための検出座標を記号で示すと、指先先端角度は、手の甲に対して親指Y軸回転角度(θTy)、親指X軸回転角度(θTx)、人差し指Y軸回転角度(θI)、中指Y軸回転角度(θM)と定義される。

0047

この指先先端角度は、図5に示すように、手を横から見たときの隣り合うリンク間相対角度情報で下記の式(1)のように表される。

0048

θTy=Tj1+Tj2、θTx=Tj3、
θM=Mj1+Mj2+Mj3、
θI=Ij1+Ij2+Ij3 …(1)
このように指先端の操作点の姿勢情報は第1、第2、第3関節角度情報の合成値で示される。

0049

また、図6は、指先の姿勢情報である角度情報を角速度センサにより指先座標系XYZのY軸周り(Pitch方向)を検出するように配置し、更に手の甲の位置(Xb,Yb,Zb)と傾き(Pitch,Roll)を加速度センサ12と、角速度センサ14により検出するように配置しているイメージを示す。

0050

また、図示されていないが、身体姿勢座標を検出するセンサは、手甲検出センサと全く同じ構成となっている。

0051

この場合、各センサ12,14については、具体的には、角速度センサ14は1軸の回転方向の角速度運動量を検知する振動ジャイロ型のセンサを利用し、図6では長軸方向の軸周りの回転を検出する振動ジャイロ型のセンサを利用した場合の取り付け方向の様子を示すものでぁる。

0052

また、手甲検出手段5としての加速度センサ12は半導体型加速度センサを3軸組み合わせて設置する。

0053

図6では、2軸型の加速度センサ12x,12yと1軸型の加速度センサ12zとを組み合わせて配置した様子を示す。

0054

図7は、図1の指姿勢検出手段1と、手甲検出手段5との詳細な回路構成を示すブロック図である。

0055

まず、指姿勢検出手段1は操作者の指の先端の姿勢を検出するために、角速度センサ7とアナログ演算回路8と、アナログデジタル(A/D)変換部9とから構成されている。

0056

ここで、角速度センサ7は操作者の指先先端に取り付けられ、指先の曲げ伸ばし状態による回転運動により発生する角速度を検知するセンサ素子として機能するものである。

0057

そして、この角速度センサ7で検知された角速度信号は、アナログ演算回路8に加えられる。

0058

このアナログ演算回路8では、角速度センサ7から加えられた角速度信号が、A/D変換部9の変換レンジ適合するように、角速度センサ7から加えられた角速度信号を増幅してA/D変換部9に送出する。

0059

このA/D変換部9では、アナログ演算回路8からのアナログ信号が、デジタル信号に変換される。

0060

このA/D変換部9による変換後の角速度信号はCPU11に加えられる。

0061

なお、同時に、アナログ演算回路8では、角速度信号の低周波域高周波域の不要な信号をカットするためのバンドパスフィルタ機能も有している。

0062

また、指姿勢検出手段1(I,M,Tx,Ty)は親指の2軸とその他の指の数分だけ並列に設置される。

0063

次に、手甲検出手段5は、操作者の手の甲の位置と姿勢を検出するために、直交する3軸上に配置された3つの加速度センサ12と、カウンタ回路13と、さらに前記加速度センサ12と同じ軸上に配置された3つの角速度センサ14と、アナログ演算回路15と、A/D変換部16とにより構成されている。

0064

ここで、加速度センサ12は操作者の手の甲に取り付けられ、一つは手の甲の移動方向に対する運動加速度に比例した信号を検知する。

0065

更に、加速度センサ12は操作者の手の甲の傾きにより変化する重力加速度(1G)の検知を行う傾きセンサとして機能するものである。

0066

この加速度センサ12で検知された信号は、PWD(パルス幅変調されて出力されるので、これをカウンタ回路13によりデューティ比(パルス幅のH/Lの比率)をカウントすることで、その検知された加速度情報を変換することができる。

0067

このカウンタ回路13で変換後の加速度信号はCPU11に加えられる。

0068

また、角速度センサ14からアナログ演算回路15、A/D変換部16までの機能は前記指姿勢検出手段1とほぼ同じ回路構成および動作である。

0069

しかし、角速度センサ14は操作者の手の甲に取り付けられ、操作者の手の甲の傾きによる回転運動により発生する角速度を検知するセンサ素子として機能するものである。

0070

そして、この角速度情報の一つは、前記加速度センサ12から得られる傾斜情報と運動加速度情報を分離するために利用される。

0071

手甲検出手段5は、内部回路構成としては、前述したように、3次元空間の加速度信号と角速度信号を検知するために直交する3軸を検知する3つの加速度センサ12x、12y、12zと、3つのカウンタ13x、13y、13zと、3つの角速度センサ14x、14y、14zと、3つのアナログ演算回路15x、15y、15zと、3つのA/D変換部16x、16y、16zにより構成されている。

0072

但し、A/D変換部16x、16y、16zなどはマルチプレクス機能により一つの変換器の入力を切り換えながら変換する構成としても良いし、前記指姿勢検出手段1で使用されているA/D変換部16と共用して利用することも可能である。

0073

なお、CPU11には、インタフェース部17が接続されている。

0074

次に、CPU11内部では、空間座標演算手段6が前記手甲検出手段5からの情報であるそれぞれ3つの加速度信号と角速度信号とに基づいて、操作者の手の甲の位置・姿勢を求めるための演算処理が行われる。

0075

また、CPU11内部では、同時に、前記身体姿勢検出手段50からの情報であるそれぞれ3つの加速度信号と角速度信号により身体の位置・姿勢を求めるための同様の演算処理も行う。

0076

従って、以下では、手甲の姿勢演算について説明する。

0077

前記加速度センサ12からの加速度信号は、そのときの動きにより運動加速度成分重力加速度成分とが合成された信号となっている。

0078

操作者の手の甲に取り付けられたX軸方向検出用の加速度センサ12xが、傾きθ、運動加速度(e)でX軸の方向へ進行した状態のとき、地球の重力加速度(g)による加速度成分はa=g・sinθとなる。

0079

更に、このときの運動加速度成分はb=e・cosθとなる。

0080

従って、加速度センサ12xではa+bの加速度信号が合成される。

0081

よって、加速度センサ12の傾き成分である重力加速度成分を分離する演算のために、角速度センサにより得られる角速度情報を時間積分することで得られる角度変位情報を利用する。

0082

X軸方向の傾きに対しては、Y軸周りの回転運動を計測する角速度センサ14yの角速度信号を時間積分することにより、回転角度変位を得る。

0083

一般に、角速度センサ14は、温度や振動などによる影響で、出力信号オフセット値によるドリフトが発生する。

0084

よって、この信号を時間積分することで得られる角度情報には、誤差蓄積されている可能性がある。

0085

これに対して、加速度センサ12の加速度情報はDC成分である傾き情報とAC成分である運動加速度情報との合成値である。

0086

このため、前述したように、加速度センサ12の信号の低域周波数ローパスすることで得られる傾斜角度情報には、誤差が蓄積されることはない。

0087

この加速度センサ12の傾斜角度情報と角速度センサ14の角度変位情報とを比較参照することにより、傾斜角度を求めることが可能となる。

0088

また、各センサ信号振幅条件により手甲検出手段5が停止していると判定できるときには、直接傾き成分を利用することができる。

0089

傾斜角度情報である重力加速度成分が分離できることにより、運動加速度情報も分離することが可能となる。

0090

よって、この運動加速度情報は、時間積分することで3軸上での変位を表す速度情報として利用することができ、更に、時間積分することにより、並進位置情報に変換することができる。

0091

以上の考えに基づいて3軸空間での姿勢演算処理を行う。

0092

微小時間毎に測定される3軸の角速度データは、ある回転軸に対してある微小角度の回転を行う手甲座標系HXYZでの微小回転マトリックス(hX)として表わすことかできる。

0093

ドリフトやノイズが無ければ、固定座標空間OXYZでの手甲の姿勢は、微小時間毎に観測される角速度センサ14の回転マトリックスを繰り返し積算処理することにより、実際の手甲の位置に一致するはずである。

0094

固定座標空間OXYZからみた手甲の姿勢(Handフレーム)oXは、手甲座標系HXYZでのHandフレームHX、手甲座標系HXYZから固定空間座標OXYZへの変換マトリックスohSとするとき、同次変換行列で表わすと次のように表わされる。

0095

oX=ohS HX …(2)
また、Handフレームが{H}から{H´}に移動したとするとき、{H}から{H´}を見た変換マトリックスをMとし、移動後の変換マトリックスをohS1とすると、
ohS1=ohS0M …(3)
の関係となる。

0096

この(2)、(3)式より以下の関係式が求まる。

0097

oXn=oXn−1 HXn …(4)
次に、3軸の加速度センサの加速度べクトルA[ax,ay,az]は、手甲座標系HXYZにおいて、常に重力ベクトル方向を示している。

0098

つまり、固定座標空間OXYZにおける[0 0 −1]T べクトルを示している。

0099

そこで、上記(4)式の演算により求めた角速度センサ14の固定座標空間OXYZでのHandフレームの姿勢oXより角速度センサのX軸、Y軸回り回転成分を表わす傾き成分べクトルVGを求める。

0100

VG=oX[0 0 1]T
次に、加速度べクトルAからみた固定座標空間OXYZにおける傾きべクトル、[0 0 −1]T べクトルVAを求める。

0101

VA=[ax,ay,−az]
前記VGべクトルをこのVAべクトルに一致させることにより、角速度センサ14の傾き方向の誤差を補正することができる。

0102

従って、水平面に対する傾き成分だけが、加速度センサ12による傾き成分で補正されることになる。

0103

以上、2つのべクトルの外積からべクトルを一致させるための回転軸ωを求め、更に、2つのべクトルの内積をとることでべクトルのなす角度θを求める。

0104

ω=VG×VA
cosθ=VG・VA
よって、この回転軸ωと回転角θより新たに補正回転マトリックスを求め、角速度センサより求められた現在の固定座標空間OXYZのHandフレームoXを変換することにより、手甲の姿勢の補正が行われる。

0105

また、その他の解法として、角速度センサ14により微小時間毎に得られる角速度デ一タを(ωxG,ωyG,ωzG)とし、更に、その積算値を(φxG,φyG,φzG)とする。

0106

ドリフトやノイズが無ければ、角速度センサから推定される固定座標空間OXYZでの手甲の姿勢は、実際の手の位置に一致し、(φxG,φyG,φzG)のそれぞれの値がXYZ固定角となり、求める解となる。

0107

加速度センサ12で測定される加速度べクトルは、手甲座標系HXYZにおける固定座標空間OXYZの重力方向[ax,ay,az]が検出されるので、重力方向は固定座標空間OXYZの+Z軸方向と定義する。

0108

ここで、ジャイロで計測される重力ベクトルは
PhG=Rot(−φzG)Rot(−φyG)Rot(一φxG)[0 0
1]T =[i,j,k][0 0 1]T
=k …(5)
但し、i(ix,iy,iz)、j(jx,jy,jz)、k(kx,ky,kz)とする。

0109

よって、(5)式は、
kx=−cosφz sinφy cosφx+sinφz sinφx
ky=sinφz sinφy cosφx+cosφz sinφx
kz=cosφy cosφx
となる。

0110

これは角速度センサ14が観測する手甲座標系HXYZにおける重力ベクトルである。

0111

そして、加速度センサ12が観測する手甲座標系HXYZにおける重力ベクトルは[ax,ay,az]Tとなる。

0112

固定座標空間OXYZでのPoべクトルと手甲座標系HXYZのPhべクトルが一致したとすると
Po=Rotx(φx)Roty(φy)Rotz(φz)Ph
∴Ph=Rotz(一φz)Roty(一φy)Rotx(−φx)Po
となる。

0113

いま、角速度センサ14によって計測されるべクトルに対して、
phG=Rotz(−φzG)Roty(一φyG)Rotx(一φxG)P
oG …(6)
加速度べクトルは、
PhA=[nx,ny,nz]T
PoA=[0 0 1]T
PhA=RotZ(一φzA)Roty(一φyA)Rotx(−φxA)P
oA …(7)
もし、加速度べクトルと観測する重力ベクトルが正しいと仮定し、(6)式と(7)式とが等しいとおくと、
ax=−cosφz sinφy cosφx+sinφz sinφx
ay=sinφz sinφy cosφx+cosφz sinφx
az=cosφy cosφx
が導き出される。

0114

これを各時刻t毎に満たされなければならない。

0115

条件として、各時刻tで(φx、φy、φz)の観測値が角速度センサ14により与えられている(φxG、φyG、φzG)とする。

0116

この角速度センサ14の値を加速度センサ12の観測値[ax,ay,az]によって補正するため、問題の定式化をする。

0117

f1(Φ)=−cosφz sinφy cosφx+sinφz sinφx−ax=0
f2(Φ)=sinφz sinφy cosφx+cosφz sinφx−ay=0
f3(Φ)=cosφy cosφx−az=0
f(Φ)=[f1(Φ)f2(Φ)f3(Φ)]
これらの式を直接解く方法は困難なので、繰り返し演算法(例えば、ニュートン法)を利用して解く。

0118

初期値Φ0としてはジャイロの読みを利用する。

0119

0120

ID=000004HE=105 WI=088 LX=0610 LY=1450
ここで、Sx=sinφx,Cx=cosφx,Sy=sinφy,Cy=cosφy,Sz=sinφz,Cz=cosφzである。

0121

上記は、ニュートン法を用いた方法であったが、その他にもいろいろな方法を考えることができる。

0122

その他にはKalman Filter等を用いる方法もある。

0123

以上の処理により手甲の姿勢を求めることができる。

0124

なお、この演算処理が身体姿勢検出手段50からの信号についても同様に行われており、初期位置からの身体座標系BXYZ上での姿勢が求められる。

0125

前記手甲座標系HXYZでの手甲姿勢を、この身体座標系上での相対座標に変換することにより、身体に対する手甲姿勢を求めることができる。

0126

次に、指形状推定手段2では、前記指姿勢検出手段1からの情報である角速度信号を時間積分して角度情報に変換する。

0127

しかし、このときに指先に取り付けた角速度センサの角速度情報には、取り付け回転検出方向と同じ方向に動作する手首の回転運動(手甲座標HXYZのY軸周りの回転)よる情報も合成される場合がある。

0128

従って、手甲検出手段5のY軸周りの回転情報である角速度信号を時間積分して得られた角度情報をこの指姿勢検出手段1からの角度情報より減算することにより、指先先端の手の甲に対する角度情報のみを求めることができる。

0129

これによって、指形状推定手段2では、操作者の各指の手の甲に対する姿勢角度を手の姿勢が変化しても求めることが可能となる。

0130

次に、手形状推定手段3では、それぞれの指の角度情報と手の甲の位置関係より手形状を推定する。

0131

更に、操作入力解析手段4ではこの手形状情報と空間座標演算手段6からの手の空間姿勢や動き情報をもとに手のジェスチャなどを解析して操作入力コマンド情報データをインタフェース部17へ転送する。

0132

前記空間座標演算手段6では、その他に、手甲姿勢状態を6つに分類・定義した姿勢識別コードを生成する機能を有している。

0133

この場合、空間座標演算手段6では、手甲検出手段5における3つの加速度センサ12からの重力加速度出力を利用する。

0134

すなわち、空間座標演算手段6は、各加速度センサ出力の重力加速度情報の絶対値の中から最大値となる軸とその符号方向を求めることより、3軸とその正負の方向の6方向の中から、重力方向に最も近い方向軸を求めることができる。

0135

よって、この値より、そのときの手甲の姿勢状態を簡単に識別することができる。

0136

上記手甲姿勢状態とは、次のような6つの姿勢の状態である。

0137

加速度センサ12の手甲の配置状態より、
(姿勢識別コード1)手の甲を上に向けた状態、
(姿勢識別コード2)を上に向けた状態、
(姿勢識別コード5)親指側を上に向けた状態、
(姿勢識別コード6)小指側を上に向けた状態、
(姿勢識別コード4)指先を伸ばした状態で見ると、指先を上に向けた状態、
(姿勢識別コード3)指先を伸ばした状態で見ると、指先を下に向けた状態。

0138

実際には、手甲の姿勢であるために、指先の方向はどの方向を向いていても良いものである。

0139

ここで、角速度センサの回転情報も加えることにより、更に、多くの状態を識別することも可能となる。

0140

次に、操作入力解析手段3では、操作入力処理モードがいくつか用意されており、その動作モードに応じた操作コマンドおよびデータを解析する。

0141

通常、本発明の操作入力装置はコンピュータ等の操作のために、そのホストPCの入力デバイスとして接続されて利用される。

0142

本発明の操作入力装置は、3次元の手形状を推定する機能を有しており、この推定形状情報をホストPCに転送することも可能である。

0143

しかし、一般的に、操作入力装置として必要な機能は、キーボードのような多くのコード情報を発生できることか、またはマウスのようなポインティング位置情報を発生することである。

0144

本発明の操作入力装置においては、手の形状に応じたコード情報を発生することは可能であるが、その手形状の取り得る組み合わせに関しては、キーボードのように多くのコードに対応した形状は望めない。

0145

また、本発明の操作入力装置においては、手話のような時系列的な組み合わせを適用することも可能であるが、操作者の習熟が必要となる。

0146

本発明の操作入力装置においては、一つの操作入力方法として、3次元姿勢検出機能と手形状推定機能を使用した仮想的な2次元操作入力デバイスによる機能を具備している。

0147

その操作入力方式としては、モード切り替えに応じて仮想ボタン操作入力、仮想マウス操作入力、仮想トラックパッド操作入力、仮想ジョイスティック操作入力等の操作入力方法を選択することができる。

0148

この場合、仮想ボタン操作入力は、指による通常より速い角速度によるボタン入力操作の操作パターンを、指先の角速度センサ14の動作パターンより解析し、コード情報を発生させるモードである。

0149

図8は、そのときの指先の角速度センサ14の動作パターンを例示しているものである。

0150

更に、図8の例示に加えて、動かす指や、指の組み合わせにより、そのコード数を増やすことができる。

0151

例えば、各指単独によるボタン動作モードとして、親指がマウスの左ボタンコマンドデータコード、人差し指がマウス中央ボタン、中指がマウス右ボタン等と対応させている。

0152

この動作モードにおいて、最初の1回目の動作が、マウスボタン押し下げたコードを発生し、更に、もう一度入力するとボタンを離した状態のデータコードを発生する。

0153

実際には、などへのボタン打ち下ろし動作によりマウスボタン入力を行うことができる。

0154

しかるに、角速度動作パターンが同じであれば、実際に机などを叩かなくても、空中で同様の動作パターンを発生させることでもボタン入力が可能である。

0155

また、親指と他の指を組み合わせた親指協調動作モードとして、親指と人差し指がマウスの左ボタン、親指と中指がマウス右ボタンなどに対応させることもできる。

0156

この親指協調動作モードでは、親指は掌と対向状態(親指X軸回転がある閾値以上)になっており、親指と他の指で同時にボタン入力操作が検出されたとき、その状態を接触した状態とし、マウスボタンを押し下げたデータコードを発生する。

0157

更に、その接触状態から指を離すと(指を開く動作)、ボタンを離した状態のコードを発生する。

0158

この動作は基本的には机や膝などへの動作ではなく、空間でのみ行われる入力動作となる。

0159

また、仮想トラックパッド操作入力では、前記空間座標演算手段6の手甲姿勢識別情報の手甲が上の姿勢状態(姿勢識別コード1)で、手甲状態のY軸周りの傾きがある水平範囲内(この範囲は設定変更が可能)に入り、更に、中指あるいは人差し指の曲げ角度がある角度以上になったときにポインティング動作モードとなる。

0160

また、ポインタ操作では、指先の曲げ角度変位量スクリーン座標Y軸方向のポインティング量に対応し、また、手甲のX軸周りの水平角度変位量がスクリーン座標X軸方向のポインティング量となる。

0161

この操作モードは、仮想的な仮想パッド平面に対して指先のなぞり動作がポインティング操作となる。

0162

なお、空間上でこの仮想パッド平面を想定し、そこで操作を行うこともできるが、実際の机や膝などを利用して、そこで指先を動かすことでトラックパッドと同様の操作方法によりポインタを動かすこともできる。

0163

また、ここでは手甲のZ軸周りの回転角度量も、スクリーン座標X軸方向のポインティング量に加えている。

0164

従って、X軸方向への移動操作は手甲の左右の回転(X軸周り)あるいは、手首の回転(Z軸周り)の合計量がポインティング移動量となる。

0165

また、移動量は折り曲げる指とその組み合わせにより移動スケール切り替えている。

0166

例えば、人差し指と中指を同時に同じ角度Aずつ曲げると、ポインティング情報はA×10のデータとなる。

0167

次に、中指だけだと前と同じ角度A曲げても、今度はポインティング情報はAのみのデータとなる。

0168

このようにして、操作する指によって、移動スケール量を切り替えることができる。

0169

更に、人差し指単独では、ホイールマウスのようなマウス中央ボタン操作のデータコードを発生する。

0170

仮想マウス操作入力では、前記空間座標演算手段6の手甲姿勢識別情報の手先が上の姿勢状態(姿勢識別コード4)からはじまる。

0171

この状態で、更に、前記仮想ボタン操作モードの親指協調ボタン入力モードのマウスボタン押し下げモード状態のとき、マウス入力準備モードとなり、次にマウス操作入力モードヘ移行することができる。

0172

親指協調ボタン入力モードの親指と人差し指では左ボタンを押し下げた状態で、マウス操作ではドラッグ動作領域選択モードなどに相当する動作がある。

0173

この場合、親指と中指はマウスの右ボタンを押し下げた状態となる。

0174

また、親指と人差し指・中指の3つの指ではボタン動作はなくマウス入力準備モードのみとなり、単にポインタの移動だけに利用する。

0175

このマウス入力準備モード状態から、姿勢識別コード1の状態に移り、更に、手甲状態のY軸周りの傾きがある水平範囲内(この範囲は設定変更が可能)に入ると、ポインティング動作モードとなる。

0176

空間姿勢演算手段6では手甲の並進移動情報を演算することにより、固定座標空間OXYZの中のXY軸方向の移動情報をマウスのポィティングデータとして出力する。

0177

ポインタ操作は、マウス入力準備モード状態のときの高さを基準とした2次元平面内(XY平面)を移動することにより、その平面内での移動情報をポインティング情報とする。

0178

このときに、手をその平面内からZ軸方向へ移動した場合、同様のXY移動操作ではこのポインティング情報は更新されない。

0179

つまり、これは2Dマウスでポインタの移動を行わずマウスの位置を変えたいときに行う操作に相当し、マウスを浮かせながら移動を行う操作と同じになるものである。

0180

この操作モードでは、空間内で仮想的な平面を想定し、そこで操作を行うこともできるが、実際の机や膝などを利用して、そこに手を置いてマウスと同様の操作方法によりポインタを動かすこともできる。

0181

また、手甲のX軸周りの水平角度量に応じて、ポインティングデータの移動スケール値を変えている。

0182

例えば、水平状態のときのスケール量を10とすると、手甲を並進方向に距離L動かすと、ポインティング情報はL×10のデータとなる。

0183

次に、手首を少し回転させた状態で、このときのスケール量を5とすると、同じ距離L動かしても、今度はポインティング情報はL×5のデータとなる。

0184

このように水平状態が最大スケール動作となり、そこから凡そ±45゜で最小動作となる。

0185

また、その他に、指先の曲げ角度によりスケール変換量を変化させることも可能である。

0186

例えば、指先の曲げ角度量が0度に近いとき(手を開いた状態)をスケール量10とすると、手甲を並進方向に距離L動かすと、ポインティング情報はL×10のデータとなる。

0187

次に、指先の曲げ角度量を大きくした状態で、このときのスケール量を5とすると、同じ距離L動かしても、今度はポインティング情報はL×5のデータとなる。

0188

このように手を開いた状態が最大スケールで動作し、そこから手を握っていくとスケール量が小さくなって動作する。

0189

この指先曲げ角度量に対するスケール動作は手を開いた状態が最小で、手を閉じた状態が最大となるようにすることも可能である。

0190

また、仮想ジョイスティック操作入力では、前記空間座標演算手段6の手甲姿勢識別情報の親指が上の姿勢状態(姿勢識別コード5)である。

0191

この状態で、更に、親指を立てた状態で、その他の指をある角度以上曲げた状態のときに移行することができる。

0192

また、この条件が一つでも揃わなくなればそのモードを終了する。

0193

これは手甲姿勢識別情報の姿勢識別コード5の状態を基準として、手の甲の傾き情報により、ジョイスティックによるポインティング操作を擬似的に行う操作モードである。

0194

すなわち、手首による左右の傾き(手甲座標系HXYZのX軸回転)或いはその傾き量に応じた情報がジョイスティックの1軸操作情報として検出される。

0195

また、手首による前後の傾き(手甲座標系HXYZのZ軸回転)或いはその傾き量に応じた情報がジョイスティックの他の1軸操作情報として検出される。

0196

また、手首による左右の回転(手甲座標系HXYZのY軸回転)或いはその回転量に応じた情報がジョイスティックの更に1軸操作情報として検出される。

0197

また、これと同時に、仮想ボタン操作の単独動作モード入力も可能である。

0198

なお、仮想ボタン操作によるボタンが入力される瞬間は、前記仮想ジョイスティック操作入力モードの条件が揃わなくなるために、ポィンティングデータは更新されない。

0199

更に、本発明の操作入力装置においては、従来のジョイスティックのように、常に、机などの上での操作に限定されることもなく、操作環境を選ぶことなく利用することができる。

0200

また、本発明の操作入力装置においては、その他には、手形状データをそのままホストPCに転送し、その形状をホストPC側で解析し、操作コマンドを発生させることも可能である。

0201

その場合、仮想現実的(VR)なヒューマンインタフェースを考えれば様々な入力方式が考えられる。

0202

例えば、ジョグダイヤルや、スライドスイッチのような入力オブジェクト画像を操作入力する方法も考えられる。

0203

すなわち、その画面オブジェクトに応じた操作入力方法により、その操作動作連動した情報をポインティングデータとして利用することができる。

0204

本発明の操作入力装置においては、以上の仮想操作入力モードにおいて、ホストPCからのモード設定コマンドにより前記モードが選択される。

0205

また、本発明の操作入力装置においては、そのときの手形状状態と手甲姿勢状態により、各入力モードを自動的に選択することができる自動認識モードを有している。

0206

図9は、このような自動認識モードにおける姿勢識別コードと、仮想操作モードの組み合わせを例示している。

0207

この自動認識モードにおいて、前記の各操作入力モードを解析・処理する操作入力解析手段4では、常に、すべての手形状状態を識別するような解析処理はしていない。

0208

すなわち、操作入力解析手段4では、図9に示したように、手甲姿勢状態に応じた、操作手段の解析を行つている。

0209

操作者側から見ると、一見、全ての操作コマンドがどのような状態からも入力できたほうが良いように思われるが、思わぬ手形状により自分の意志と違う操作入力モードになったり、また無意識に操作コマンドが入力されたりする可能性も高くなる。

0210

よって、操作入力解析手段4では、姿勢識別コード毎に適用された操作入力の処理を行うことにより、操作入力解析手段4の演算負荷を軽減し、処理速度を高速化している。

0211

図9の仮想ボタンによるON/OFF操作は、手先が下を向いた状態(姿勢識別コード3)で、手を握ってすぐに開く(じゃんけんグー/パー)動作により、操作入力装置としての操作入力認識動作やポインティング情報の発生を停止したり開始したりする。

0212

但し、停止した状態でも、開始のための上記ON/OFF操作入力だけは監視している。

0213

また、図9で何も定義されていない場所に独自の手形状コマンドや、あるいは仮想ボタン入力によるユーザ定義出力コード等を定義づけて付加することも可能である。

0214

前記の各仮想操作入力モードにおいて、操作入力時に、操作者に対して入力モード状態になっていることを例えば、サウンド音により提示している。

0215

また、サウンド音の種類も操作モード毎に切り替えられ、どのモードで操作しているかが操作者にフィードバックされるようにしている。

0216

また、このフィードバック信号は音に限るものではなく、振動や光、更には映像により操作者に提示することも可能である。

0217

特に、振動による提示の場合、手の近くに配置する方が効果的である。

0218

以上のようにして、本発明における第1の実施の形態による操作入力装置は、基準となる体の姿勢を検出するセンサと、手の姿勢検出センサとの相対情報をとることで、手の動きを移動体の動きに関係無く求めることができる。

0219

よって、本発明における第1の実施の形態による操作入力装置は、乗り物の中や,歩きながらでも利用することが可能となる。

0220

また、本発明における第1の実施の形態による操作入力装置は、角速度センサおよび加速度センサ等の小型の素子を利用することで他のセンサ構成より装置を小型化することができると共に、同じ構成とすることで生産効率を上げることができ、安価な装置を供給することが可能となる。

0221

また、本発明における第1の実施の形態による操作入力装置は、手甲姿勢の識別情報より、分類空間ごとに認識処理する動作の数を減らすことにより、処理を軽くすることができると共に、操作コマンドを記憶し易すくすることができ、更には操作者による無意識の誤操作入力を減らすこともできる。

0222

また、本発明における第1の実施の形態による操作入力装置は、加速度センサの出力値と符号をモニタするだけで手甲の姿勢を1軸なら2分類、2軸なら4分類、3軸なら6分類の定義に基づいて識別することができると共に、処理を軽くすることができる。

0223

また、本発明における第1の実施の形態による操作入力装置は、3次元の姿勢情報と手指情報推定機能により、仮想的な2次元操作入力デバイスを実現することで、操作者の使い慣れ操作インタフェース動作によりポインティング操作やコマンド操作を可能とすることができると共に、操作者に新たに操作のためのコマンド操作を覚えさせる必要が無く、また同じ操作モードでも利用する指やその組み合わせで、動作モードや移動スケールを変え、その操作性を向上させることができる。

0224

また、本発明における第1の実施の形態による操作入力装置は、手甲の傾きや、指の曲げ角度を併用することで、同じ操作モードでも移動スケールを変えることが容易であり、目標へのボインティング精度や時間を向上させることができるので、その操作性を向上させることが可能となる。

0225

また、本発明における第1の実施の形態による操作入力装置は、仮想操作状態のフィードバックにより、誤操作を防ぎ、さらには操作性を向上させることができる。

0226

図10は、本発明における第2の実施の形態による操作入力装置の主要部の構成を示すブロック図である。

0227

すなわち、本発明に係る第2の実施の形態による操作入力装置は、図10に示すように、操作入力送信部20と操作入力受信部30に分離した構成となっている。

0228

操作入力送信部20は、指姿勢検出手段1と、手甲検出手段5と、この指姿勢検出手段1と手甲検出手段5とに接続された手指情報送信手段21とで構成されている。

0229

操作入力受信部30は、手指情報受信手段31と、この手指情報受信手段31とにそれぞれ接続されている指形状推定手段2および空間座標演算手段6と、この指形状推定手段2に接続された手形状推定手段3と、この手形状推定手段3および前記空間座標演算手段6に接続された操作入力解析手段4と、前記空間座標演算手段6に接続された身体姿勢検出手段50とで構成されている。

0230

但し、操作入力受信部30は、第1の実施の形態で接続される携帯型のコマンド処理装置40より更に小型で、操作者の体に装着することが可能な装着型コマンド処理装置40に接続されている。

0231

なお、この操作入力装置のおいて,第1の実施の形態と同様に、前記指形状推定手段2、手形状推定手段3、操作入力解析手段4、空間座標演算手段6とは,マイクロコンピュータおよびその周辺回路を含むCPU11によって構成することも可能である。

0232

本実施形態において、第1の実施の形態と同じ名称のブロックは同一の構成・機能となっている。

0233

但し、前記身体姿勢検出手段50は、前記操作入力受信部30と一体化され形成されている。

0234

そして、この操作入力受信部30は、前記装着型コマンド処理装置40に固定して接続される形態となつている。

0235

図11は、図10の操作入力送信部20と操作入力受信部30との詳細な回路構成を示すブロック図である。

0236

図11において、第1の実施の形態と同じ名称のブロックは同一の構成・機能となっている。

0237

そして、本実施形態において、新たに追加された部分は、手指情報送信部21と手指情報受信部31である。

0238

操作入力送信部20では、各指先の指姿勢検出手段1と手甲検出手段5からのそれぞれのセンサ信号を検出しその情報を収集し、手指情報送信部21から操作入力受信部30にシリアルデータとして転送する。

0239

このときにハード的な方式を用いこの機能を実現することも可能であるが、本実施形態においてはCPU22により各センサ情報の収集や、転送の処理などを行っている。

0240

操作入力受信部30では、操作入力送信部20からのセンサ情報受信処理が、手指情報受信部31により処理されている。

0241

CPU11では、指姿勢検出手段1と手甲検出手段5からのセンサ情報の取得方法シリアル通信手段による方式に置換されただけで、第1の実施の形態と同様の処理が行われる。

0242

操作入力受信部30は身体姿勢検出手段50を含め、PCMCIA規格などのPCカード型の筺体内実装された形態となっている。

0243

また、装着型コマンド処理装置40自身は、べルト等により操作者の腰に固定したり、胸ポケットに入れたりして操作者の身体に装着・固定することを前提としている。

0244

これによって、本実施形態では、前記操作入力受信部30とはPCカードにより接続・固定されるため、コマンド処理装置40自身の姿勢を検知することにより、前記のような条件で操作者の身体に装着すれば、操作者の身体の姿勢を検出することが可能となる。

0245

すなわち、本実施形態では、操作入力装置全体としては構成要素が増えるが、操作入力送信部20側の主容な構成部品をセンサだけとし、演算処理部を操作者の身体側に配置することにより、操作者の手指側の重さや形状を小さく、操作上の負担を軽くすることができる。

0246

また、本実施形態では、演算処理負荷の重い部分を操作者の身体側に配置することが可能となることより、操作入力受信部30に、よリパフォーマンスの高いCPUを利用することも可能となる。

0247

そして、前記手指情報送信部21と手指情報受信部31の通信方法において、ワイヤレス方式による通信手段を適用するようにしている。

0248

ここでは、その通信手段として超微弱電力電波による超近距離無線を利用している。

0249

すなわち、このような方式では、操作者の手の先から体に装着したコマンド処理装置まで転送できれば良いので、数mW以下の出力で可能である。

0250

また、操作入力送信部20側はその装置固有ID情報を持っており、そのID情報を操作入力受信部30に対して各センサ情報と同時に転送するようにしている。

0251

そして、操作入力受信部30では、予め、受信すべき装置のID情報が登録されており、受信データ列の中のID情報がこの登録ID情報と一致しているかどうかを常に調べている。

0252

このとき、登録されていないID情報の信号が受信されたときには、操作入力受信部30側では、何の処理も行わない。

0253

登録されていない操作入力送信部20を使用するには、予め登録作業により操作入力受信手段30にID情報を登録する必要かある。

0254

その他に、IrDAのような赤外線による通信方法とする場合には、操作入力受信部30の手指情報受信手段31の受光部を操作者の身体の外側に取り付け、更に操作入力送信部20からの赤外線が検出できる位置とする必要が有る。

0255

また、この場合には、操作するとき、常に、送受信路に遮蔽物が無いように注意することが必要である。

0256

以上の構成により、本発明における第2の実施の形態による操作入力装置は、操作者の手からコンピュータまでの配線の煩わしさを無くすことができ、装着性、操作性が向上する。

0257

更に、本発明における第2の実施の形態による操作入力装置は、1つの操作入力送信手段20のみで、他の操作入力受信手段30を有したコンピュータ装置への操作も可能で、入力装置を切り換えたり、繋ぎ換えたり、更に持ち替えたりする必要もなく利用することが可能となる。

0258

また、本発明における第2の実施の形態による操作入力装置は、ID情報を具備することで、他の操作入力送信装置20や他の操作入力受信装置30を有したコンピュータ装置との混信を防ぐことができる。

0259

また、本発明における第2の実施の形態による操作入力装置は、コンピュータ利用時におけるログイン作業時等の入力作業を自動化したりすることにより、操作者の作業を省略することができる。

0260

また、本発明における第2の実施の形態による操作入力装置は、そのコンピュータに登録されている操作入力送信部20を持った者だけが利用できるようにすれば、そのコンピュータにセキュリティ機能を持たせることができる。

0261

また、本発明における第2の実施の形態による操作入力装置は、姿勢検出センサを携帯型コマンド処理装置側に身体姿勢測定手段として固定して取り付けるか、或いは操作信号を受ける受信側に身体姿勢測定手段を設け、それ自身を携帯型コマンド処理装置側(操作者が常に身に着けて持ち歩くことができ、所定のコマンドに対する処理を行うことができるコマンド処理装置)のインタフェース部と一体型とすることにより、手に取り付ける側(操作入力送信部)を軽量・小型して、使用者の負担を減らすことができると共に、手からコンピュータまでの配線の煩わしさを無くして、装着性、操作性を向上することができる。

0262

また、本発明における第2の実施の形態による操作入力装置は、1つの操作入力送信部のみで、他の操作入力受信装置を有したコンピュータ装置への操作も可能で、入力装置を切り換えたり、繋ぎ換えたりすることなく利用することができる。

0263

そして、上述したような実施の形態で示した本明細書には、特許請求の範囲に示した請求項1乃至3以外にも、以下に付記1乃至付記11として示すような発明が含まれている。

0264

(付記1) 上記身体検出手段は上記手甲検出手段と同じ構成としたことを特徴とする請求項1から3の操作入力装置。

0265

(付記2) 上記空間座標演算手段は空間内での手の甲の姿勢を少なくとも二つ以上の状態に分類するとともに状態を定義し、その定義された姿勢出力情報を出力する機能を付加したことを特徴とする請求項1から3の操作入力装置。

0266

(付記3) 上記空間座標演算手段は1軸の加速度センサあるいは直交する2軸または3軸の加速度センサ出力の絶対値の中の最大値を出力するセンサの出力を求めて識別情報を求めることを特徴とする請求項1から3の操作入力装置。

0267

(付記4)手甲がほぼ水平状態にあり、親指以外の指がある一定値以上の曲げ角度にあるときに、手首の左右の回転角度を第1軸の移動情報とし、指先の曲げ角速度情報を基に第2軸の移動情報とすることにより、2次元座標データを出力することを特徴とする請求項1から3の操作入力装置。

0268

(付記5) 折り曲げる指の組み合せを検出することにより、操作モードや座標データのスケールを切り替える構成としたことを特徴とする付記4に記載の操作入力装置。

0269

(付記6)手甲の並進移動量に応じて第1及び第2の移動情報を出力するモードにおいて、手の甲の傾き量に応じて、出力する移動情報座標のスケールを切り替えることを特徴とする請求項1から3の操作入力装置。

0270

(付記7)折り曲げる指の組み合せや、指の曲げ角度量に応じて出力する座標データのスケールを切り替える構成としたことを特徴とする付記6に記載の操作入力装置。

0271

(付記8) 上記操作入力解析手段が所定のコマンドを発生しているときに、音、光、振動などを操作者に呈示する手段を設けたことを特徴とする請求項1から3の操作入力装置。

0272

(付記9) 上記操作入力送信部と上記操作入力受信部の情報の転送は電磁波を利用することを特徴とする晴求項3に記載の操作入力装置。

0273

(付記10) 上記操作入力送信部は固有のID情報を保持する識別情報保持手段を有し、上記操作入力送信部と上記操作入力受信部間で上記固有のID情報を転送する識別情報転送手段を有することを特徴とする請求項3に記載の操作入力装置。

0274

(付記11) 上記操作入力受信部において、受信可能な上記操作入力送信部のID情報を登録する機構を備えたことを特徴とする請求項3の操作入力装置。

発明の効果

0275

従って、以上説明したように、本発明によれば、操作者に新たに負担を強いることなく、装着時のキャリブレーション操作や初期化動作が不必要であり、誰に対してでもすぐに利用させることができると共に、指先を使つた繊細な作業や操作が阻害されることなく、移動体の中でも等速並進運動状態や、停止状態に限られずに利用することができるようした簡易なシステム構成による操作入力装置を提供することができる。

図面の簡単な説明

0276

図1図1は、本発明の第1の実施の形態による操作入力装置の要部の構成を示すブロック図である。
図2図2は、操作者の右手を前方に広げた状態の手の甲から見た場合における各指と関節等に座標系等を定義付けしたものを示す図である。
図3図3は、本発明で想定した手の骨格モデルを示すである。
図4図4は、本実施形態における3本指型の操作入力装置の場合の手形状のモデルを示す図である。
図5図5は、手を横から見たときの隣り合うリンク間の相対角度情報で表される指先先端角度を求めるために、手の甲に対して親指Y軸回転角度(θTy)、親指X軸回転角度(θTx)、人差し指Y軸回転角度(θI)、中指Y軸回転角度(θM)の定義づけを説明する図である。
図6図6は、指先の姿勢情報である角度情報を角速度センサにより指先座標系XYZのY軸周り(Pitch方向)を検出するように配置し、更に手の甲の位置(Xb,Yb,Zb)と傾き(Pitch,Roll)を加速度センサと、角速度センサにより検出するように配置しているイメージを示す図である。
図7図7は、図1の指姿勢検出手段1と、手甲検出手段5との詳細な回路構成を示すブロック図である。
図8図8は、指先の角速度センサの動作パターンを例示している図である。
図9図9は、姿勢識別コードと、仮想操作モードの組み合わせを例示している図である。
図10図10は、本発明における第2の実施の形態による操作入力装置の主要部の構成を示すブロック図である。
図11図11は、図10の操作入力送信部20と操作入力受信部30との詳細な回路構成を示すブロック図である。

--

0277

1…姿勢検出手段、
2…指形状推定手段、
3…手形状推定手段、
5…手甲検出手段、
50…身体姿勢検出手段、
6…空間座標演算手段、
4…操作入力解析手段、
40…コマンド処理装置、
11…CPU、
7…角速度センサ、
8…アナログ演算回路、
9…アナログ/デジタル(A/D)変換部、
12…加速度センサ、
13…カウンタ回路、
14…角速度センサ、
15…アナログ演算回路、
16…A/D変換部、
12x、12y、12z…加速度センサ、
13x、13y、13z…カウンタ、
14x、14y、14z…角速度センサ、
15x、15y、15z…アナログ演算回路、
16x、16y、16z…A/D変換部
17…インタフェース部、
20…操作入力送信部、
30…操作入力受信部、
21…手指情報送信手段、
31…手指情報受信手段、
22…CPU。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ