図面 (/)

技術 ポインティング入力装置

出願人 トヨタ自動車株式会社
発明者 榊原翔
出願日 2015年3月25日 (5年11ヶ月経過) 出願番号 2015-062855
公開日 2016年10月20日 (4年4ヶ月経過) 公開番号 2016-184203
状態 未査定
技術分野 表示による位置入力
主要キーワード 特定処理手順 各検出部位 インタフェース領域 非接触入力 ポインティング方向 ポインティングベクトル 推定ベクトル ポインティング入力装置
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年10月20日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (8)

課題

指をさし示すジェスチャから特定されるポインティング位置が、ユーザの意図する位置からずれにくいポインティング入力装置を提供する。

解決手段

手による非接触入力がなされるポインティング対象領域のポインティング位置を検知するポインティング入力装置1であって、手の姿勢を検出する第1センサ1bと、手からポインティング対象領域までの距離を取得する第2センサ1cと、第1センサ1bにより検出された手の姿勢から手の中手骨の姿勢を解析する解析部1dと、解析部1dにより解析された中手骨の姿勢に基づいて手によるポインティング方向を特定するポインティング方向特定部1eと、ポインティング方向特定部1eにより特定されたポインティング方向と、第2センサ1cにより取得された距離Lとに基づいて、ポインティング入力位置を特定するポインティング位置特定部1fとを備えている。

概要

背景

コンピュータ機器への入力内容を認識してコンピュータ機器に伝達するインタフェースであるポインティング入力装置として、ユーザのジェスチャから入力内容を認識する構成のものがある。特許文献1には、手の動きまたは姿勢指先の姿勢とをセンサにより検出して手の甲に対する指先の角度位置を決定する、手形状推定手法が開示されている。そして、当該手法で得た指先の角度位置に基づいて、指をさすジェスチャを解析し、入力コマンドへの変換を行うようにした入力装置を開示している。特許文献2には、ユーザの肢(例えば、指、手、腕)の画像を取り込んで、当該肢の位置を求めることによりポインティングベクトルを決定する車載システムが開示されている。

概要

指をさし示すジェスチャから特定されるポインティング位置が、ユーザの意する位置からずれにくいポインティング入力装置を提供する。手による非接触入力がなされるポインティング対象領域のポインティング位置を検知するポインティング入力装置1であって、手の姿勢を検出する第1センサ1bと、手からポインティング対象領域までの距離を取得する第2センサ1cと、第1センサ1bにより検出された手の姿勢から手の中手骨の姿勢を解析する解析部1dと、解析部1dにより解析された中手骨の姿勢に基づいて手によるポインティング方向を特定するポインティング方向特定部1eと、ポインティング方向特定部1eにより特定されたポインティング方向と、第2センサ1cにより取得された距離Lとに基づいて、ポインティング入力位置を特定するポインティング位置特定部1fとを備えている。

目的

本発明は、上記課題に鑑み、指をさし示すジェスチャから特定されるポインティング位置が、ユーザの意図する位置からずれにくいポインティング入力装置を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

手による非接触入力がなされるポインティング対象領域のポインティング位置を検知するポインティング入力装置であって、前記手の姿勢を検出する検出部と、前記手から前記ポインティング対象領域までの距離を取得する距離取得部と、前記検出部により検出された前記手の姿勢から前記手の中手骨の姿勢を解析する解析部と、前記解析部により解析された前記中手骨の姿勢に基づいて前記手によるポインティング方向を特定する方向特定部と、前記方向特定部により特定された前記ポインティング方向と、前記距離取得部により取得された前記距離とに基づいて、前記ポインティング位置を特定する位置特定部とを備えているポインティング入力装置。

技術分野

0001

本発明は、手による非接触のポインティング入力を検知する技術に関する。

背景技術

0002

コンピュータ機器への入力内容を認識してコンピュータ機器に伝達するインタフェースであるポインティング入力装置として、ユーザのジェスチャから入力内容を認識する構成のものがある。特許文献1には、手の動きまたは姿勢指先の姿勢とをセンサにより検出して手の甲に対する指先の角度位置を決定する、手形状推定手法が開示されている。そして、当該手法で得た指先の角度位置に基づいて、指をさすジェスチャを解析し、入力コマンドへの変換を行うようにした入力装置を開示している。特許文献2には、ユーザの肢(例えば、指、手、腕)の画像を取り込んで、当該肢の位置を求めることによりポインティングベクトルを決定する車載システムが開示されている。

先行技術

0003

特開2008−112459号公報
特開2012−69114号公報

発明が解決しようとする課題

0004

指をさすジェスチャを上記従来技術のように指のさす方向を認識し、当該指のさす方向にポインティング位置を特定することもできる。しかしながら、指をさすジェスチャにおいては、指の姿勢に個人差が存在する。また、疲労や慣れによって指の伸縮仕方が変化するため、同じ人のジェスチャにも指の姿勢にばらつきが発生する。したがって、指のさす方向にポインティング位置を特定する場合には、特定したポインティング位置がユーザの意図した位置からずれやすくなる虞がある。

0005

本発明は、上記課題に鑑み、指をさし示すジェスチャから特定されるポインティング位置が、ユーザの意図する位置からずれにくいポインティング入力装置を提供するものである。

課題を解決するための手段

0006

第1の発明は、手による非接触入力がなされるポインティング対象領域のポインティング位置を検知するポインティング入力装置であって、前記手の姿勢を検出する検出部と、前記手から前記ポインティング対象領域までの距離を取得する距離取得部と、前記検出部により検出された前記手の姿勢から前記手の中手骨の姿勢を解析する解析部と、前記解析部により解析された前記中手骨の姿勢に基づいて前記手によるポインティング方向を特定する方向特定部と、前記方向特定部により特定された前記ポインティング方向と、前記距離取得部により取得された前記距離とに基づいて、前記ポインティング位置を特定する位置特定部とを備えている。

0007

第1の発明によれば、検出部が手の姿勢を検出し、解析部が検出された手の姿勢から手の中手骨の姿勢を解析する。そして、解析された中手骨の姿勢から、方向特定部が手によるポインティング方向を特定する。特定されたポインティング方向と距離取得部が取得した手からポインティング対象領域までの距離とに基づいて、位置特定部がポインティング対象領域上でのポインティング入力位置を特定する。中手骨の可動範囲の個人差は小さいので、中手骨の姿勢に個人間のばらつきは生じにくい。また、同じ人の中手骨の姿勢にもばらつきは生じにくい。したがって、このように特定されるポインティング方向の確からしさは大きい。これにより、特定されるポインティング位置は、ユーザの意図する位置からずれにくい。

発明の効果

0008

本発明によれば、指をさし示すジェスチャから特定されるポインティング位置が、ユーザの意図する位置からずれにくいポインティング入力装置を提供することができる。

図面の簡単な説明

0009

本発明の実施形態に係るポインティング入力装置の構成を示すブロック図
本発明の実施形態に係るポインティング入力を説明する図
本発明の実施形態に係るポインティング位置の算出原理を示す図
本発明の実施形態に係るポインティング位置の特定処理手順を説明するフローチャート
本発明の実施形態の変形例に係るポインティング位置の特定処理を説明する図
本発明の実施形態の効果を説明する図であって、(a)〜(c)は第1の比較例からの改善を示す図
本発明の実施形態の効果を説明する図であって、第2の比較例からの改善を示す図

実施例

0010

以下、図1図7を参照しながら、実施の形態について詳細に説明する。
[概要]
本実施形態に係るポインティング入力装置は、手による非接触のポインティング入力に対して、手の姿勢を検出し、当該検出結果から、ばらつきが生じにくい中手骨の姿勢を解析する。そして、当該中手骨の姿勢に基づいてポインティング方向を特定する。次いで、特定されたポインティング方向と、手とポインティング対象領域との間の距離とに基づいて、当該領域上でのポインティング位置を特定する。

0011

[ポインティング入力装置の構成]
図1に、本実施形態に係るポインティング入力装置1の構成を示す。図2に、ポインティング位置の算出原理を説明する図を示す。図3に、当該算出原理に用いられるベクトル図を示す。

0012

図1に示すように、ポインティング入力装置1は、表示部1a、第1センサ(検出部)1b、第2センサ1c、解析部1d、ポインティング方向特定部(方向特定部)1e、ポインティング位置特定部(位置特定部)1f、および、距離情報記憶部1gを備えている。解析部1d、ポインティング方向特定部1e、および、ポインティング位置特定部1fはコンピュータの構成を有するECU11により実現される。また、第2センサ1cおよび距離情報記憶部1gにより、距離取得部が構成されている。

0013

表示部1aは、例えば車載ディスプレイからなり、ECU11による制御にしたがって、ユーザにポインティング入力を促す画像を表示する。当該画像には、ポインティング入力がなされるインタフェース領域(ポインティング対象領域)αが含まれている。後述するECU11は、インタフェース領域αに手のジェスチャによるポインティング入力がなされると、入力箇所に応じた所定のコマンドを発行するようになっている。

0014

第1センサ1bは、図2に示すように、手に装着される装着型センサである。第1センサ1bは、親指人差し指中指薬指、および、小指に順に対応した中手骨M1、中手骨M2、中手骨M3、中手骨M4、および、中手骨M5を検出することで、ユーザの手(手の平または甲)の姿勢を検出する。これら中手骨の検出は、第1センサ1bの位置を基準にして定義されたxyz座標空間においてこれら中手骨の位置変化が検出されることにより行われる。図2では、インタフェース領域αはxy平面上にあり、第1センサ1bすなわち手は、インタフェース領域αからz軸方向に距離Lだけ離れている。第1センサ1bは、これら中手骨の位置変化を検出し、検出結果を逐次出力する。

0015

第2センサ1cは、上記距離Lを測定する測距センサである。第2センサ1cは、任意の場所に設置可能であり、第1センサ1bと一体に設けられていてもよいし、表示部1aに設けられていてもよい。第2センサ1cにより測定された距離Lの情報は、距離情報記憶部1gに記憶される。

0016

解析部1dは、第1センサ1bから逐次入力される中手骨の位置変化の検出結果から、これら中手骨の位置座標を逐次算出することにより、中手骨の姿勢を解析する。解析部1dは、ポインティング入力装置1の初期状態において第1センサ1bの存在する位置を、上記xyz空間での基準位置とする。そして、解析部1dは、当該基準位置に対する中手骨の各検出部位の相対的な位置変化を追跡する。

0017

ポインティング方向特定部1eは、算出された中手骨の現時点の位置座標から、中手骨M1、中手骨M2、および、中手骨M5の手首側端部および指先側端部の各位置座標を抽出する。図2に、中手骨M1、中手骨M2、および、中手骨M5の手首側端部を順に、点PTb、PIb、PPbで示し、中手骨M1、中手骨M2、および、中手骨M5の指先側端部を順に、点PTf、PIf、PPfで示す。そして、図3に示すように、点PTbから点PTfに至るベクトルV1(ベクトル記号表記を省略)と点PIbから点PIfに至るベクトルV2(ベクトル記号の表記を省略)とで作る平面が、点PPbから点PPfに至るベクトルV5(ベクトル記号の表記を省略)と交わる点を点Oとする。点Oをポインティングベクトルの起点とする。なお、ここでは、説明の簡略化のために点PTbと点PIbと点PPbとは互いに一致するものとし、したがって、これらの一致点が点Oになるものとする。

0018

図3に示すように、ポインティング方向特定部1dは、線分PTfPPfを2等分する点Qを求める。次に、ポインティング方向特定部1dは、線分PIfQを2等分する点PXを求める。こうして、ポインティング方向特定部1dは、点Oから点PXに至る推定ベクトルVP(ベクトル記号の表記を省略)を生成する。すなわち、ベクトルVPは、次の(1)式で表される。

0019

ポインティング方向特定部1eは、推定ベクトルVPの方向がポインティング方向であると特定する。上述の推定ベクトルVPの算出では、人差し指の中手骨M2のみならず親指の中手骨M1および小指の中手骨M5の位置座標をも使用している。親指と人差し指と小指とにより手の平(または甲)の外郭が形成されるため、これら3指の中手骨の位置座標を用いると、人差し指の中手骨M2の位置座標のみを用いる場合よりも高精度にユーザの意図するポインティング方向を特定することができる。また、上述の推定ベクトルVPの算出では、(1)式から分かるように、ポインティングの意味合いが強い人差し指のベクトルの重み(=1/2)を、親指および小指のベクトルの重み(=1/4)よりも大きくしている。

0020

ポインティング位置特定部1fは、図2に示すように、ポインティング方向特定部1eによって生成された推定ベクトルVPをインタフェース領域αと交わるまで延長する。そして、ポインティング位置特定部1fは、延長された推定ベクトルVPとインタフェース領域αとの交点PEがポインティング位置であると特定する。すなわち、点Oから交点PEに至るベクトルをポインティングベクトルとする。交点PEを求めるために、ポインティング位置特定部1fは、距離情報記憶部1gに記憶された距離Lの情報を読み出して推定ベクトルVPのz軸方向成分と距離Lとの比率を求め、当該z軸方向成分が距離Lに等しくなるよう推定ベクトルVPをスカラー倍する。なお、ポインティング位置に要求される分解能に応じて、交点PEの近隣を含めてある程度の面積を有するようにポインティング位置の特定を行ってもよい。

0021

ポインティング入力装置1の初期状態において、交点PEはインタフェース領域αの原点(例えば画面の中心)に定められる。その後に特定されるポインティング位置は、中手骨の姿勢の追跡に伴って生じる、交点PEの原点からの相対的な位置変化が累積したものである。

0022

距離情報記憶部1gは、メモリなどの記憶媒体からなり、第2センサ1cにより測定された距離Lの情報を逐次記憶する。距離情報記憶部1gは、ECU11の一部を構成していてもよい。

0023

なお、表示部1aは必ずしも備えられていなくてよく、車外景色など任意の領域がポインティング対象領域となり得る。車外の景色をポインティング対象領域とする場合に、例えば、測定される距離Lに代えて、距離情報記憶部1gに予め記憶された定数からなる距離が使用される。

0024

また、第1センサ1bは、ユーザの手(手の平または甲)を撮像により検出するカメラであってもよい。この場合の第1センサ1bによる手の検出結果は手の撮像データである。第1センサ1bがカメラである場合には、解析部1dは、第1センサ1bから入力される撮像データを画像解析することにより、中手骨の位置座標を算出する。また、ポインティング位置を特定する処理のアルゴリズムは、左右のいずれの手にも適用可能である。

0025

[ポインティング位置の特定処理手順]
次に、図4のフローチャートを参照して、ポインティング入力装置1のECU11が実行するポインティング位置の特定処理手順を説明する。当該手順は、ECU11が有するコンピュータにより行われるものであり、当該コンピュータに含まれるプロセッサが記憶媒体に格納されたプログラムを読み出して実行することにより実現される。

0026

まず、ステップS101において、ポインティング方向特定部1eは、第1センサ1bから手の姿勢の検出結果が入力されたか否かを判定する。当該検出結果が入力されたと判定されるまでステップS101を繰り返し、当該検出結果が入力されたと判定されるとステップS102へ進む。

0027

次いで、ステップS102において、解析部1dは、入力された手の姿勢の検出結果から、中手骨M1、中手骨M2、中手骨M3、中手骨M4、および、中手骨M5の位置座標を算出する。続くステップS103において、ポインティング方向特定部1eは、算出された位置座標の中から、中手骨M1、中手骨M2、および、中手骨M5の位置座標を抽出する。続くステップS104において、ポインティング方向特定部1eは、中手骨M1、中手骨M2、および、中手骨M5の位置座標から、推定ベクトルVPを生成する。

0028

次いで、ステップS105において、ポインティング位置特定部1fは、距離情報記憶部1gから距離Lの情報を読み出して取得する。そして、続くステップS106において、ポインティング位置特定部1fは、距離Lに基づいて、推定ベクトルVPをインタフェース領域αと交わるまで延長し、交点PEをポインティング位置であると特定する。以上により、当該フローは終了する。

0029

[変形例]
図5に、本実施形態の変形例を示す。当該変形例は、ポインティング位置が中手骨の位置座標から求まることから、指の動作をその他の入力内容として認識するものである。図5(a)に、ポインティング方向Drにおいてポインティング位置が特定されていながら、人差し指のさす方向が、ポインティング方向D0よりも下方に向く方向Daに向いている状態を示す。当該人差し指の姿勢は第1センサ1bまたはその他のセンサにより検出される。この状態では、インタフェース領域α上のポインティング位置が選択状態とされるが、ポインティング入力は確定しない。図5(b)に、人差し指のさす方向が図5(a)の方向Daからポインティング方向Drにほぼ平行な方向Dbに変えられた状態を示す。当該人差し指の姿勢が検出されると、選択状態にあったポインティング入力が確定する。

0030

[実施の形態の効果等]
次に、本実施形態による効果を説明する。

0031

図6および図7を参照して、本実施形態の効果を比較例とともに説明する。図6において、指先の向きおよび第3関節の検出結果から求めた人差し指の指す方向をD1、ユーザの意図する方向をD0とする。図6(a)には、方向D1が方向D0と一致している標準の指さし状態が示されている。図6(b)には、人差し指が反った状態に指されているために、方向D1が方向D0よりも上方にずれている状態が示されている。図6(c)には、人差し指の指先が垂れているために、方向D1が方向D0よりも下方にずれている状態が示されている。図7には、肩および指の位置を使用して求めた人差し指の指す方向D2が、方向D0よりも下方にずれている状態が示されている。

0032

図6(a)、図6(b)、および、図7のように、指の検出結果を用いて特定したポインティング位置は指の姿勢のばらつきにより、方向D0からずれやすい。これに対して、本実施形態のように中手骨の検出結果に基づいて特定したポインティング位置は、方向D0とほぼ一致する。

0033

以上のように、本実施形態のポインティング入力装置によれば、手の姿勢を検出し、当該検出結果から手の中手骨の位置座標を算出することにより中手骨の姿勢を解析する。そして、当該位置座標に基づいて推定ベクトルVPを生成することにより、当該手によるポインティング方向を特定する。さらに、特定されたポインティング方向と、手とインタフェース領域αとの間の距離Lとに基づいて、インタフェース領域α上でのポインティング位置(交点PE)を特定する。中手骨の可動範囲の個人差は小さいので、中手骨の姿勢に個人間のばらつきは生じにくい。また、同じ人の中手骨の姿勢にもばらつきは生じにくい。したがって、このように特定されるポインティング方向の確からしさは大きい。これにより、特定されるポインティング位置は、ユーザの意図する位置からずれにくい。以上により、指をさし示すジェスチャから特定されるポインティング位置が、ユーザの意図する位置からずれにくいポインティング入力装置を提供することができる。

0034

本発明は、非接触で操作入力可能な画面を備えた車載機器などに適用可能である。

0035

1ポインティング入力装置
1a 表示部
1b 第1センサ
1c 第2センサ
1d解析部
1eポインティング方向特定部
1fポインティング位置特定部
1g距離情報記憶部
αインタフェース領域
Dr ポインティング方向
Da、Db、D0、D1、D2 方向
L 距離
M1、M2、M3、M4、M5中手骨
PE交点
O、PTb、PTf、PIb、PIf、PPb、PPf、PX、Q 点
V1、V2、V5ベクトル
Vp 推定ベクトル

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • ソニー株式会社の「 入力装置および電子機器」が 公開されました。( 2021/01/07)

    【課題】外装体の表面の押圧を検出することができる電子機器を提供する。【解決手段】電子機器10は、外装体11と、センシング面20Sを有する感圧センサ20と、外装体の内側面11SRとセンシング面とが対向す... 詳細

  • 株式会社コナミデジタルエンタテインメントの「 プログラムおよび情報処理装置」が 公開されました。( 2021/01/07)

    【課題】タッチパネルへのタッチ位置にかかわらず、タッチパネルに対して指示を入力しないことを可能とする技術を低要する。【解決手段】プログラムは、プロセッサ14を、タッチパネル11におけるタッチ位置に関す... 詳細

  • 任天堂株式会社の「 装置、システム、ゲームシステム、および、装置セット」が 公開されました。( 2021/01/07)

    【課題】ゲームコントローラを用いた新規な操作をユーザに提供する。【解決手段】装置は、環状部と、検出部と、本体部とを備える。環状部は、少なくとも一部が弾性変形可能である。検出部は、環状部の変形を検出する... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ