図面 (/)

技術 ジェスチャ入力システム及びジェスチャ入力方法

出願人 パナソニックIPマネジメント株式会社
発明者 和久田大介江崎賢一松本玄
出願日 2017年1月10日 (4年9ヶ月経過) 出願番号 2017-001979
公開日 2017年9月21日 (4年1ヶ月経過) 公開番号 2017-168086
状態 特許登録済
技術分野 デジタル計算機のユーザインターフェイス
主要キーワード 音響放射圧 振動覚 参照座標 仮想座標 参照箇所 レーザーセンサ 可視光センサ 右手人差指
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年9月21日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (8)

課題

ユーザの利便性を向上したジェスチャ入力システムを提供する。

解決手段

ジェスチャ入力システムは、ユーザの身体の第一の部分及び第二の部分の動きを検出するセンサと、前記第一の部分の動きに応じて前記第二の部分の基点を設定し、前記基点に対する前記第二の部分の動きに応じて所定の入力を受け付け制御器と、前記基点が設定されたことを前記身体の第三の部分に非接触で通知する通知装置と、を備える。

概要

背景

特許文献1、2には、ユーザからの入力を受け付ける従来のシステムが開示されている。このシステムは、運転者手元に設けられた複数のスイッチを含む入力部と、入力部を撮像する撮像部と、運転者の視線の前方に設けられた表示部と、を備える。表示部は、入力部の複数のスイッチの画像と、運転者の手の画像とを重ねて表示する。このシステムにより、ユーザは、視線の前方の表示部を見ることによって、手元の入力部を見なくても正しい入力ができる。

概要

ユーザの利便性を向上したジェスチャ入力システムを提供する。ジェスチャ入力システムは、ユーザの身体の第一の部分及び第二の部分の動きを検出するセンサと、前記第一の部分の動きに応じて前記第二の部分の基点を設定し、前記基点に対する前記第二の部分の動きに応じて所定の入力を受け付ける制御器と、前記基点が設定されたことを前記身体の第三の部分に非接触で通知する通知装置と、を備える。

目的

特開2000−6687号公報
特開2007−69676号公報






本開示は、ユーザの利便性を向上したジェスチャ入力システム及びジェスチャ入力方法を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

ユーザの身体の第一の部分及び第二の部分の動きを検出するセンサと、前記第一の部分の動きに応じて前記第二の部分の基点を設定し、前記基点に対する前記第二の部分の動きに応じて所定の入力を受け付け制御器と、前記基点が設定されたことを前記身体の第三の部分に非接触で通知する通知装置と、を備えるジェスチャ入力システム

請求項2

前記通知装置は、前記第三の部分の皮膚感覚刺激することによって、前記基点が設定されたことを通知する、請求項1に記載のジェスチャ入力システム。

請求項3

前記通知装置は、超音波振動子レーザーペルチェ素子空気砲、及び、赤外線源からなる群から選択される少なくとも1つを含む、請求項2に記載のジェスチャ入力システム。

請求項4

前記通知装置は、前記第三の部分に音響放射圧を与える複数の超音波振動子を含む、請求項2に記載のジェスチャ入力システム。

請求項5

前記制御器は、前記第一の部分が所定の動きをしたときの前記第二の部分の位置を前記基点として設定する、請求項1から4のいずれか一項に記載のジェスチャ入力システム。

請求項6

前記第一の部分、前記第二の部分、及び前記第三の部分の少なくとも2つは、前記身体のうち同じ部分である、請求項1から5のいずれか一項に記載のジェスチャ入力システム。

請求項7

前記通知装置は、さらに、前記所定の入力が受け付けられたことを前記第三の部分に非接触で通知する、請求項1から6のいずれか一項に記載のジェスチャ入力システム。

請求項8

前記制御器は、さらに、前記第二の部分の動きに応じて、前記基点を再設定する、請求項1から7のいずれか一項に記載のジェスチャ入力システム。

請求項9

前記制御器は、前記第一の部分、前記第二の部分、及び前記第三の部分のそれぞれの位置情報として、実空間における座標を取得する、請求項5に記載のジェスチャ入力システム。

請求項10

ユーザの身体の第一の部分の動きに応じて、前記身体の第二の部分の基点を設定するステップと、前記基点が設定されたことを、前記身体の第三の部分に非接触で通知するステップと、前記基点に対する前記第二の部分の動きに応じて所定の入力を受け付けるステップと、を含む、ジェスチャ入力方法。

請求項11

前記通知するステップにおいて、前記第三の部分の皮膚感覚を刺激することによって、前記基点が設定されたことを通知する、請求項10に記載のジェスチャ入力方法。

請求項12

前記設定するステップにおいて、前記第一の部分が所定の動きをしたときの前記第二の部分の位置を前記基点として設定する、請求項10又は11に記載のジェスチャ入力方法。

請求項13

前記第一の部分、前記第二の部分、及び前記第三の部分の少なくとも2つは、前記身体のうち同じ部分である、請求項10から12のいずれか一項に記載のジェスチャ入力方法。

請求項14

前記所定の入力が受け付けられたことを前記第三の部分に非接触で通知するステップをさらに含む、請求項10から13のいずれか一項に記載のジェスチャ入力方法。

請求項15

前記第二の部分の動きに応じて、前記基点を再設定するステップをさらに含む、請求項10から14のいずれか一項に記載のジェスチャ入力方法。

技術分野

0001

本開示は、ユーザの動きに応じて入力を受け付けジェスチャ入力システム及びジェスチャ入力方法に関する。

背景技術

0002

特許文献1、2には、ユーザからの入力を受け付ける従来のシステムが開示されている。このシステムは、運転者手元に設けられた複数のスイッチを含む入力部と、入力部を撮像する撮像部と、運転者の視線の前方に設けられた表示部と、を備える。表示部は、入力部の複数のスイッチの画像と、運転者の手の画像とを重ねて表示する。このシステムにより、ユーザは、視線の前方の表示部を見ることによって、手元の入力部を見なくても正しい入力ができる。

先行技術

0003

特開2000−6687号公報
特開2007−69676号公報

発明が解決しようとする課題

0004

本開示は、ユーザの利便性を向上したジェスチャ入力システム及びジェスチャ入力方法を提供する。

課題を解決するための手段

0005

本開示の一態様のジェスチャ入力システムは、ユーザの身体の第一の部分及び第二の部分の動きを検出するセンサと、前記第一の部分の動きに応じて前記第二の部分の基点を設定し、前記基点に対する前記第二の部分の動きに応じて所定の入力を受け付ける制御器と、前記基点が設定されたことを前記身体の第三の部分に非接触で通知する通知装置と、を備える。

0006

これらの概括的かつ特定の態様は、システム、方法、及びコンピュータプログラム、並びに、それらの組み合わせにより、実現されてもよい。

発明の効果

0007

本開示のジェスチャ入力システム及びジェスチャ入力方法によれば、ユーザが入力を行うために要する動作が簡素化され、ユーザの利便性が向上する。

図面の簡単な説明

0008

図1は、第1実施形態のジェスチャ入力システムの構成を示すブロック図である。
図2は、第1実施形態のジェスチャ入力方法のフローチャートである。
図3は、第1実施形態において、ホームポジションが設定される際の実空間に想定される平面の一例を示す模式図である。
図4は、第1実施形態における、仮想空間と実空間の対応付けの一例を示す模式図である。
図5は、第2実施形態における、ジェスチャ入力方法の一例を示すフローチャートである。
図6は、第2実施形態における、ジェスチャ入力方法の他の例を示すフローチャートである。
図7は、第3実施形態における、仮想空間と実空間の対応付けの一例を示す模式図である。

実施例

0009

本開示の一態様に係るジェスチャ入力システムは、ユーザの身体の第一の部分及び第二の部分の動きを検出するセンサと、前記第一の部分の動きに応じて前記第二の部分の基点を設定し、前記基点に対する前記第二の部分の動きに応じて所定の入力を受け付ける制御器と、前記基点が設定されたことを前記身体の第三の部分に非接触で通知する通知装置と、を備える。

0010

「第二の部分」は、所定の入力を行う操作に対応付けられた所定のジェスチャを読み取るために検出される、身体の一部である。「第一の部分」は、第二の部分の基点を設定する操作に対応付けられた所定のジェスチャを読み取るために検出される、身体の一部である。「第三の部分」は、基点が設定されたことが通知される、身体の一部である。

0011

「動きを検出する」とは、例えば、検出対象の移動量、移動速度、移動方向、及び静止時間からなる群から選択される少なくとも1つを検出することを意味する。「動きを検出する」は、検出対象が動いていることを検出することのみならず、検出対象が動いていないことを検出することをも包含する。

0012

以下の種々の実施形態で説明される「参照箇所」、「追跡箇所」、「通知箇所(又は触感提示箇所)」は、それぞれ、「第一の部分」、「第二の部分」、及び「第三の部分」の一例である。

0013

以下の種々の実施形態で説明される「ホームポジション」は、「基点」の一例である。

0014

以下の種々の実施形態で説明される「入力制御装置」は、「制御器」の一例である。制御器は、例えば、半導体装置半導体集積回路(IC)、LSI(large scale integration)、または、それらが組み合わされた電子回路であってもよい。LSIまたはICは、1つのチップ集積されていてもよいし、複数のチップが組み合わされていてもよい。例えば、実施形態で説明される各機能ブロックは、1つのチップに集積されてもよい。ここでは、LSIやICは、集積の度合いに応じて、例えば、システムLSIVLSI(very large scale integration)、もしくはULSI(ultra large scale integration)と呼ばれうる。制御器は、所定のアルゴリズムを実行するためのプログラムが記録されたメモリを含む。このアルゴリズムは、例えば、ユーザの身体の第一の部分の動きに応じて身体の第二の部分の基点を設定するステップと、基点が設定されたことを身体の第三の部分に非接触で通知するステップと、基点に対する第二の部分の動きに応じて所定の入力を受け付けるステップと、を含む。

0015

一態様に係るジェスチャ入力システムにおいて、例えば、前記通知装置は、前記第三の部分の皮膚感覚刺激することによって、前記基点が設定されたことを通知してもよい。

0016

「皮膚感覚」とは、皮膚を通して人体が認識することのできる感覚である。皮膚感覚の例として、触覚振動覚圧覚温覚冷覚、及び痛覚が挙げられる。「皮膚感覚を刺激する」とは、例えば、振動及び/又は圧力によって刺激を与えることであってもよく、温感及び/又は冷感を与えるものであってもよい。例えば、通知装置は、振動子(例えば超音波振動子)によってユーザに振動及び/又は音響放射圧を与えてもよく、レーザーによって空中にプラズマを生成し、このプラズマに接触した皮膚に衝撃を与えてもよく、空気砲によってユーザに空気の圧力波を与えてもよい。あるいは、通知装置は、赤外線源によってユーザに温感を与えてもよく、ペルチェ素子によってユーザに冷感を与えてもよい。言い換えると、通知装置は、振動子、レーザー、空気砲、ペルチェ素子、及び、赤外線源からなる群から選択される少なくとも1つを含んでもよい。なお、以下の実施形態では、説明の簡便のため、皮膚感覚への刺激を「触感」と呼ぶことがある。ただし、本開示における「皮膚感覚」は、触覚に限定されるものではない。

0017

一態様に係るジェスチャ入力システムにおいて、例えば、前記制御器は、前記第一の部分、前記第二の部分、及び前記第三の部分のそれぞれの位置情報として、実空間内の座標を取得してもよい。

0018

なお、本開示では、実空間にマッピングされる座標を「実座標」と呼び、実空間に対応する仮想空間にマッピングされる座標を「仮想座標」と呼ぶ場合がある。

0019

以下で説明する種々の実施形態は、いずれも一具体例を示すものである。以下の実施形態で示される数値、形状、構成要素、構成要素の配置および接続、ステップ、ステップの順序などは、あくまで一例であり、本開示を限定するものではない。以下で説明される構成要素のうち、独立請求項に記載されていない構成要素は、任意の構成要素である。また、図面において同じ符号が付された構成は、その説明が省略される場合がある。

0020

(本開示の基礎となった知見)
特許文献1及び2に記載の従来のシステムでは、入力可能な場所が入力部の位置に限定されるため、ユーザは、入力を行うために入力部の位置まで手を移動させる必要があった。さらに、この従来のシステムでは、ユーザは、意図した入力を正しく行うために、目線を表示部の方向に向けて、視覚で画像を確認する必要があった。このように、従来のシステムは、ユーザにとって不便であった。

0021

以下に説明される種々の実施形態に係るジェスチャ入力システム及びジェスチャ入力方法によれば、ユーザは、手を入力部の位置まで移動させなることなく、かつ、目線を表示部の方向に向けることなく、正しい入力を行うことができる。以下に説明されるジェスチャ入力システムは、ジェスチャ入力と非接触の通知とを採用する。これにより、ユーザは、手を入力部の位置まで移動させることなく、精度良くかつ素早く入力を行うことができる。例えば、ユーザが自動車運転している場合、ユーザは、運転への集中を低下させることなく、入力操作ができる。

0022

「ジェスチャ入力」とは、ユーザが、身体の一部の動きを用いて、ユーザの操作の意思電子機器等に伝える入力方法である。一般に、電子機器においては、ジェスチャ入力における身体の動きと、電子機器の操作に関するユーザの意思と、電子機器内の命令とが関連付けられている。電子機器は、センサによって検出された身体の動きを分析し、操作に関するユーザの意思表示を判定し、判定結果に関連付けられた命令を実行する。

0023

ジェスチャ入力は、身体の一部(例えば、指先)を用いて行われる。このため、センサは、身体の一部の動きを追跡する。以下の説明において、ジェスチャ入力のために追跡される身体の部分を「追跡箇所」と呼ぶ場合がある。ジェスチャ入力において、身体の動きは、例えば、ある時刻を起点とした追跡箇所の状態変化として読み取られる。追跡箇所の状態変化は、追跡箇所の移動量、移動速度、移動方向、及び静止時間等の組み合わせよって成り立つ。

0024

以下の説明において、空間内におけるジェスチャ入力の基点(開始点)を「ホームポジション」と呼ぶ場合がある。実空間におけるホームポジションは、例えば、ジェスチャ入力の起点となる時刻において追跡箇所が位置する実座標である。

0025

ジェスチャ入力における身体の動きは、言い換えると、追跡箇所とホームポジションとの相対関係によって成り立つ。例えば、ジェスチャ入力における身体の動きは、ホームポジションからの追跡箇所の移動量、移動速度、移動方向、及び静止時間等の組み合わせによって成り立つ。

0026

ユーザの身体が途切れることなく動いている場合、ユーザの身体の動きがジェスチャ入力を意図した動作であるのか否かを判別することは難しい。そのため、この判別を確実にするために、ジェスチャ入力の起点となる時刻と、ホームポジションの位置とを、ユーザに認識させることが必要となる。

0027

そこで、以下に説明される種々の実施形態に係るジェスチャ入力システム及びジェスチャ入力方法では、まず、ジェスチャ入力の前にホームポジションが設定され、ホームポジションの位置がユーザに通知される。この通知は、ユーザに対して、非接触で触感を提示することによってなされる。例えば、ある時刻におけるユーザの指先の位置がホームポジションに設定され、その指先に触感が与えられる。これにより、ユーザは、ホームポジションが設定されたことを認識でき、それ以後に、意図したジェスチャ入力を行うことができる。よって、ユーザが意図するジェスチャ入力が、ホームポジションを基点として精度よく判別されうる。

0028

(第1実施形態)
以下、第1実施形態について、図面を参照しながら説明する。なお、以後の説明において以下のように用語を定義する。
参照箇所:ホームポジションを設定したいというユーザの意思表示を読み取る際に参照される身体の部分
追跡箇所:ジェスチャ入力のために追跡される身体の部分
触感提示箇所:非接触で触感が提示される身体の部分

0029

[1.ジェスチャ入力システムの構成]
図1に、本実施形態に係るジェスチャ入力システムの構成例を示す。ジェスチャ入力システム100は、ユーザの身体の動きを検出するセンサ1と、センサ1の出力に基づいてユーザのジェスチャ入力を受け付ける入力制御装置2と、入力制御装置2による制御に応じてユーザに対して触感を提示する触感提示装置3とを含む。

0030

センサ1は、人体の動きを検出可能なセンサである。センサ1は、カメラなどの視覚センサを含む。例えば、センサ1は、人体の動きを非接触で3次元的に検出することが可能な距離画像センサ又はレーザーセンサである。センサ1は、人体の動きを検出することができるものであればよく、例えば、超音波センサ赤外線センサ、又は可視光センサであってもよい。

0031

本実施形態において、センサ1は、ユーザの身体の一部である参照箇所の動きと、ユーザの身体の一部である追跡箇所の動きと、ユーザの身体の一部である触感提示箇所(又は通知箇所)の動きとを検出する。例えば、センサ1は、参照箇所、追跡箇所、及び触感提示箇所の3次元の座標を、参照箇所、追跡箇所、及び触感提示箇所の動きに関する情報として取得する。参照箇所、追跡箇所、及び触感提示箇所は、入力制御装置2が任意に決めることができる。例えば、参照箇所、追跡箇所、及び触感提示箇所は、上半身、顔、手、指、又は指先である。参照箇所、追跡箇所、及び触感提示箇所は、同一の場所であってもよいし、異なる場所であってもよい。センサ1は、検出した参照箇所、追跡箇所、及び触感提示箇所の動きに関する情報を出力する。

0032

入力制御装置2は、センサ1が検出した情報に基づいて、ホームポジションを設定してジェスチャ入力を受け付ける制御部21と、設定されたホームポジションを格納する記憶部22とを含む。制御部21は、半導体素子などで実現可能であり、例えばマイコンである。制御部21は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。記憶部22は、例えば、DRAMフラッシュメモリ、又は強誘電体メモリなどで実現できる。制御部21は、受け付けたジェスチャ入力に応じて制御対象4を制御する。制御対象4は任意の装置であり、例えば、ナビゲーション装置空調装置、又はオーディオ装置である。

0033

触感提示装置3は、空気を介して触感を提示することが可能な通知装置である。「触感」とは、皮膚を通して人体が認識することのできる感覚のことであり、振動及び圧力などの力が作用するものと、温かい及び冷たいなどの温冷感とを含む。空気を介した触感の提示とは、人体に接触せずに、触感を人体に感じさせることである。本実施形態においては、空気を介した触感の提示として、超音波の音響放射圧を利用する。

0034

本実施形態の触感提示装置3は、複数の超音波振動子を並べて構成される超音波振動子アレイを含む。超音波振動子アレイは、空中の任意の位置に超音波の焦点を作り出すことによって、人体の表面に触覚を提示することができる。超音波の焦点では、音圧の振動に加えて、音響放射圧という静的な圧力が発生する。音響放射圧は、空気中を伝播する超音波が空気の音響インピーダンスと異なる物体で遮られたときに発生する。音圧レベルが大きな超音波になると、超音波が身体表面で遮られ、これにより、人が認識できるような身体表面を押す力が発生する。すなわち、非接触で身体に力を提示することができる。一般的に、人は、20Hz以上且つ20kHz以下の周波数を音として感じることができ、この周波数帯域可聴域という。「超音波」とは、20kHz以上の周波数を有する音波のことであり、人のには聞こえない。聴覚に頼らず触感を提示するためには、周波数を20kHz以上にすればよい。超音波の周波数に上限の制約はないが、空気中を伝播する超音波の減衰は、周波数が高くなるにしたがって大きくなるため、触感を提示するために用いられる超音波の周波数は、好ましくは20kHz〜200kHz、より好ましくは20kHz〜100kHzである。人が認識できる圧力を身体表面に提示することができる超音波の音圧レベルは、140dB以上、好ましくは150dB以上、さらに好ましくは160dB以上である。

0035

超音波振動子を間欠的に駆動させることによって、及び/又は、超音波振動振幅変調させることによって、音響放射圧を時間的に変化させてもよい。これにより、ユーザに振動を提示することができる。振動覚をつかさどる皮膚感覚受容器は、特定の振動数において高い感度を示す。そのため、この振動数に音響放射圧の変調周波数を合わせてもよい。これにより、音響放射圧が同じでも、より強い触感を与えることが可能になる。この変調周波数は、好ましくは0〜300Hz、より好ましくは100Hz〜300Hzである。

0036

[2.ホームポジションの設定]
図2に、本実施形態に係るジェスチャ入力方法を示す。図3に、本実施形態におけるホームポジションが設定される際の実空間の平面の一例を示す。図2において、ジェスチャ入力システム100は、まず、ホームポジションの設定を行う(S201〜S206)。

0037

ジェスチャ入力システム100の起動後、センサ1は、制御部21の指示に応じて、ユーザの身体の一部である参照箇所の動きを取得し始める(S201)。参照箇所は1つであってもよいし、複数であってもよい。具体的には、一例として、センサ1は、参照箇所の動きに関する情報として、参照箇所の実座標を取得する。参照箇所の実座標を「参照座標」と呼ぶ。センサ1は、取得した参照箇所の動きに関する情報を入力制御装置2に出力する。

0038

入力制御装置2において、制御部21はセンサ1からの情報に基づいて、参照箇所の動きを分析する(S202)。例えば、参照座標に基づいて、参照箇所の移動量、参照箇所の移動速度、参照箇所の移動方向、及び参照箇所の静止時間を分析し、これによって参照箇所の動きを分析する。制御部21は、分析の結果に基づいて、所定の動きを検出したか否かを判断する(S203)。この所定の動きは、ユーザがホームポジションを設定する意思を表明するための動きであり、参照箇所の移動量、移動速度、移動方向、及び静止時間等の任意の組み合わせで予め決められている。所定の動きの情報は、記憶部22に格納されている。例えば、図3に示されるような実空間に想定された平面31aを右手人差指(すなわち参照箇所)が通る又は横切るような動きが、所定の動きとして予め決められていてもよい。これにより、ユーザは、右手人差指のみによって、ホームポジションを設定することが可能になる。

0039

制御部21が、所定の動きを検出しなかった場合(すなわち、ユーザがホームポジションを設定する意思を示していないと判断する場合)(S203でNo)、ステップS201に戻り、センサ1による参照箇所の動きの取得を継続する。

0040

制御部21が、所定の動きを検出した場合(すなわち、ユーザがホームポジションを設定する意思を示していると判断する場合)(S203でYes)、実空間の基点であるホームポジションを設定する(S204)。具体的には、所定の動きを検出した時点における追跡箇所の実座標をセンサ1から取得して、これをホームポジションとして設定する。追跡箇所は、ホームポジションが設定される前に予め決められていてもよいし、ホームポジションの設定と同時に決定されてもよい。制御部21は、設定したホームポジションの座標の情報を記憶部22に格納する。ホームポジションは、ジェスチャ入力の際の基点として、参照される。

0041

制御部21は、触感提示箇所の実座標をセンサ1から取得する(S205)。触感提示箇所は、ホームポジションが設定される前に予め決められていてもよいし、ホームポジションの設定と同時に決定されてもよい。触感提示箇所は1つであってもよいし、複数であってもよい。触感提示箇所の実座標を「触感提示座標」と呼ぶ。制御部21は、取得した触感提示座標を記憶部22に格納する。

0042

ホームポジションが設定された後、触感提示装置3は、制御部21の指示に応じて、触感提示座標で示されるユーザの触感提示箇所に非接触で触感を提示し、これにより、ユーザにホームポジションが設定されたことを通知する(S206)。これにより、ユーザは、視覚、聴覚、及び固体を通した触覚に頼ることなく、ホームポジションが設定されたことを認識でき、触感が提示された時の追跡箇所の位置をホームポジションの位置として認識することができる。

0043

触感提示箇所と追跡箇所は、同一であってもよい。この場合、ユーザは、触感によって、ホームポジションが設定されたことを、そのホームポジションの位置で認識できる。そのため、より直感的なジェスチャ入力が可能となる。

0044

[3.参照箇所、触感提示箇所、及び追跡箇所の組み合わせ]
参照箇所、触感提示箇所、及び追跡箇所は、身体の任意の部分に設定できる。例えば、参照箇所、触感提示箇所、及び追跡箇所の全てを右手人差し指の指先に予め設定してもよい。例えば、図3に示されるように、ジェスチャ入力システム100は、ユーザの右手人差指の指先が実空間に想定された平面31aを横切るときに、ユーザがホームポジションを設定する意思を示していると判断してもよい。この場合、ジェスチャ入力システム100は、ユーザの右手人差指の指先が平面31aを横切ったことを検出した時点における右手人差指の指先の実座標をホームポジションとして設定してもよく、ホームポジションが設定されたことを右手人差指の指先に非接触で触感提示してもよい。

0045

他の例として、両目まぶたを参照箇所とし、右手人差し指の指先を追跡箇所とし、額を触感提示箇所として予め設定してもよい。例えば、ジェスチャ入力システム100は、ユーザの両目が瞬きを2回連続で行ったときに、ユーザがホームポジションを設定する意思を示していると判断してもよい。この場合、ジェスチャ入力システム100は、両目が瞬きを2回連続で行ったことを検出した時点における右手人差し指の指先の実座標をホームポジションとして設定してもよく、ホームポジションが設定されたことを額に非接触で触感提示してもよい。

0046

さらに他の例として、右手5本の指先の各々を参照箇所として予め設定してもよい。例えば、ジェスチャ入力システム100は、ユーザの右手5本の指先のうちのいずれかの1本が、実空間に想定された平面31aを横切るときに、ユーザがホームポジションを設定する意思を示していると判断してもよい。この場合、ジェスチャ入力システム100は、右手5本の指先のうちのいずれかの1本が平面31aを横切ったことを検出した時点における当該1本の指先の実座標をホームポジションとして設定してもよく、ホームポジションが設定されたことを当該1本の指先に非接触で触感提示してもよい。

0047

[4.仮想空間と実空間の対応付け]
図4に、仮想空間と実空間の対応付けの例を示す。入力制御装置2は、予め、仮想空間の基点となるホームポジション41bとアイコン42を仮想空間に配置して、仮想空間におけるホームポジション41bとアイコン42の座標を記憶部22に格納しておく。アイコン42は、所定の入力を受け付ける領域である選択可能部位である。入力制御装置2は、各アイコン42に、それぞれ、制御対象4に対する異なった機能を割り当てておく。仮想空間に定義されたホームポジション41bとアイコン42は、実際には目で見えない。よって、ユーザは、ジェスチャ入力時に、仮想空間のホームポジション41bとアイコン42を観察したり、触ったりすることができない。よって、ユーザが仮想空間に定義されたホームポジション41bとアイコン42の配置関係を予め認識できるようにしておく。例えば、ジェスチャ入力システム100の起動時又はユーザが指示した時に、所定時間、表示装置(図示せず)等にホームポジション41bとアイコン42を視覚的に表示させる。これにより、ユーザは、仮想空間に定義されたホームポジション41bとアイコン42の配置関係を予め認識できる。

0048

ここで、実空間の座標を「グローバル座標」と呼び、仮想空間の座標を「ローカル座標」と呼ぶ。入力制御装置2は、実空間のホームポジション41aを設定したときに、実空間のホームポジション41aのグローバル座標と、仮想空間のホームポジション41bのローカル座標とを対応付ける。これにより、ユーザは、ホームポジション41aが設定されたことを触感によって認識したときに、実空間のホームポジション41aの位置を仮想空間のホームポジション41bの位置として認識できる。よって、ユーザは、実空間での身体の動きにより、仮想空間のアイコン42を選択することが可能になる。例えば、図4に示す仮想空間において、「C」のアイコン42がホームポジション41bを基点として、右上45°で距離30mmの位置に予め定義されていたとする。この場合に、ユーザは、追跡箇所の右手人差し指の指先を、実空間のホームポジション41aを基点として、右上45°で距離30mmの位置に移動させることによって、仮想空間の「C」アイコン42を選択することができる。さらに、例えば、追跡箇所の右手人差し指を「C」アイコン42に対応する位置で所定時間以上静止させることにより、「C」アイコン42に割り当てられた機能を実行することが可能になる。例えば、アイコン42に関連付けられた制御対象4に関するパラメータを変更することができる。

0049

仮想空間内のアイコン42の位置に対応付けられた実空間内の位置は、ホームポジション41a、41bを共通点にして任意に設定することができる。例えば、図3に示すように、実空間におけるホームポジション41aの位置とユーザの顔とを結ぶ軸32に対して垂直な平面31a、31b、31c上に、仮想空間内のアイコン42の位置に対応する実空間内の位置が設定されてもよい。

0050

[5.ジェスチャ入力]
図2において、ジェスチャ入力システム100は、ホームポジション41aを設定した後、ホームポジションを基点としてジェスチャ入力の受け付けを行う(S207〜S212)。

0051

ホームポジションが設定された後、センサ1は、制御部21の指示に応じて、追跡箇所の動きを取得し始める(S207)。追跡箇所は1つであってもよいし、複数であってもよい。具体的には、一例として、センサ1は、追跡箇所の動きに関する情報として、追跡箇所の実座標を取得する。追跡箇所の実座標を「追跡座標」と呼ぶ。センサ1は、取得した追跡箇所の動きに関する情報を入力制御装置2に出力する。

0052

入力制御装置2において、制御部21はセンサ1からの情報に基づいて、追跡箇所の動きを分析する(S208)。例えば、制御部21は、ホームポジション41aと追跡座標との相対関係を分析することにより、ホームポジション41aを基点とした追跡箇所の状態変化、例えば移動量、移動速度、移動方向、及び静止時間の組み合わせを分析する。制御部21は、分析の結果に基づいて、所定の機能を実行するための所定のジェスチャ入力を検出したか否かを判断する(S209)。所定の機能を実行するため操作と所定のジェスチャ入力とは予め対応付けられていて、その対応関係の情報が記憶部22に格納されている。例えば、図4において、ユーザが、実空間のホームポジション41aを基点として、右上45°で距離30mmの位置に、右手人差し指の指先を移動させたときに、制御部21は、仮想空間の「C」アイコン42が選択されたと判断する。さらにユーザが右手人差し指を「C」アイコン42に対応する位置で所定時間以上静止させたときに、制御部21は、「C」アイコン42に割り当てられた機能の実行が指示された、すなわち、ジェスチャ入力がされたと判断する。一方、ユーザが右手人差し指を「C」アイコン42に対応する位置で所定時間以上静止させずに、右手人差し指を「C」アイコン42に対応する位置から移動したときは、制御部21は、「C」アイコン42に割り当てられた機能の実行が指示されなかった、すなわち、ジェスチャ入力がされなかったと判断する。

0053

制御部21が、所定のジェスチャ入力を検出しなければ(S209でNo)、ステップS207に戻り、センサ1による追跡箇所の動きの取得を継続する。

0054

制御部21は、所定のジェスチャ入力を検出すれば(S209でYes)、触感提示座標をセンサ1から取得する(S210)。触感提示装置3は、制御部21の指示に応じて、触感提示座標で示される触感提示箇所に、ジェスチャ入力が受け付けられたことを非接触で通知する(S211)。具体的には、触感提示装置3は、例えば図4において、追跡箇所がアイコン42に対応する位置に来たときに触感提示箇所に触感を提示し、さらにジェスチャ入力を受け付けてアイコン42に割り当てられた機能を実行するときに再度、触感提示箇所に触感を提示する。アイコン42に対応する位置に追跡箇所が来たときと、ジェスチャ入力を受け付けてアイコン42に割り当てられた機能を実行するときとで、圧力の強弱や振動を変えてもよい。また、アイコン42に対応する位置に追跡箇所が来たときの触感と、ジェスチャ入力を受け付けてアイコン42に割り当てられた機能を実行するときの触感は、ホームポジションの設定時の触感と同一であってもよいし、異なってもよい。さらに、触感を提示する箇所は、ホームポジションの設定を通知したときと同じ触感提示箇所に限らず、別の箇所であってもよい。

0055

入力制御装置2は、ジェスチャ入力を受け付けて制御対象4を制御する(S212)。例えば、制御対象4がオーディオ装置であって、選択されたアイコン42にオーディオ装置の音量を大きくする機能が割り当てられていた場合、入力制御装置2はオーディオ装置の音量を大きくする。

0056

[6.効果及び補足
本実施形態のジェスチャ入力システム100によれば、ジェスチャによって入力を行うため、センサ1の検出範囲内であれば、任意の位置での入力が可能となる。よって、入力するために、手をタッチパネルなどの入力部の位置まで移動させる必要がなくなる。さらに、本実施形態のジェスチャ入力システム100によれば、非接触でユーザにホームポジションが設定されたことを通知するため、ユーザは目線を表示部の方向に向けなくても、ホームポジションの位置を認識できる。そのため、ユーザは、精度良く且つ素早く入力を行うことができる。よって、本実施形態のジェスチャ入力システム100によれば、ユーザの利便性が向上する。ユーザは、視覚及び聴覚に頼ることなく、ホームポジションを設定して、その位置を認識することができる。そのため、ユーザは、ホームポジションを基点としたジャスチャ入力を直感的に実施できる。

0057

本実施形態のジェスチャ入力システム100によれば、ホームポジションを触感によって非接触で提示するため、ユーザは視覚、聴覚、及び固体を通した触覚に頼ることなく、ホームポジションを認識することができる。よって、例えば、ユーザが表示部に注視できない状況であっても、触覚を頼りにして、所望の入力操作を素早くかつ精度良く行うことができる。また、例えば、ユーザは音声提示に傾聴できない状況であっても、触感を頼りにして所望の入力操作を素早くかつ精度良く行うことができる。本実施形態のジェスチャ入力システム100によれば、メカニカルに構成されたボタン類などの物体に拘束されずに、所望の機能を実行することができる。

0058

本実施形態では、センサ1が、ユーザの身体の一部の動きを検出して、参照座標、追跡座標、及び触感提示座標をそれぞれ取得する例について説明した。しかし、制御部21がセンサ1からの情報を解析して参照座標、追跡座標、及び触感提示座標を取得してもよい。例えば、センサ1は、参照箇所、追跡箇所、及び触感提示箇所の全てを含む領域の距離画像を出力し、入力制御装置2(制御部21)がその距離画像を解析することによって、参照座標、追跡座標、及び触感提示座標を取得してもよい。

0059

なお、本実施形態のジェスチャ入力システム100において、ホームポジションの設定(S203)の判断基準となる参照箇所の動きと、ジェスチャ入力(S209)の判断基準となる追跡箇所の動きを、ユーザの好みに応じて予め自由に設定できるようにしてもよい。また、参照箇所、追跡箇所、及び触感提示箇所をユーザが予め設定できるようにしてもよい。

0060

本実施形態においては、空気を介した触感提示として超音波の音響放射圧を利用したが、これに限定されず、空気を介した触感提示として、空気の流れを利用してもよいし、赤外線を利用してもよい。例えば、赤外線を用いることにより、非接触で身体に温感を提示することが可能である。また、ユーザへの通知は、非接触でユーザに通知するものであれば、触感以外のものを使用してもよい。例えば、音声や光によって、ホームポジションの設定及びジェスチャ入力の受け付けをユーザに通知してもよい。

0061

(第2実施形態)
第2実施形態では、ジェスチャ入力システム100はホームポジションの設定を取り消すことを可能にする。図5に、第2実施形態のジェスチャ入力処理を示すフローチャートの一例を示す。図5に示すフローチャートは、図2に示すフローチャートに、ホームポジションの解除のステップS501を追加したものである。図5において、ホームポジションの解除のステップS501以外の各ステップは、図2と同一である。

0062

ホームポジションを解除するためのジェスチャは予め決められており、そのジェスチャの情報が記憶部22に格納されている。入力制御装置2の制御部21は、ホームポジションを設定した後、追跡箇所の動きを分析しているときに(S208)、ホームポジションを解除するためのジェスチャを検出したかどうかを判断する(S501)。例えば、追跡箇所とホームポジションとの相対的な関係に基づいて、ホームポジションを解除するためのジェスチャが行われたかどうかを判断する。ホームポジションを解除するためのジェスチャを検出したとき(S501でYes)は、ホームポジションの設定を取り消して、参照箇所の動きの取得に戻る(S201)。これにより、参照箇所の動きに基づくホームポジションの再設定(S204)が可能となる。ホームポジションを解除するためのジェスチャを検出しなければ(S501でNo)、制御部21は、アイコン42に割り当てられた機能を実行するためのジェスチャ入力を検出したかどうかを判断する(S209)。

0063

なお、ホームポジションの再設定は、参照箇所の動きに基づいて行わずに、ホームポジションを解除する際に分析していた追跡箇所の位置に基づいて行ってもよい。図6に、第2実施形態のジェスチャ入力処理の他の例を示す。図6に示すフローチャートは、図5に示すフローチャートと同様に、ホームポジションの解除のステップS601が含まれるが、図6においては、制御部21は、追跡箇所の動きの分析中に(S208)、ホームポジションを解除するためのジェスチャを検出したときに(S601でYes)、分析していた追跡箇所の実空間の位置に基づいて、ホームポジションを再設定する(S204)。

0064

本実施形態によれば、例えば、ユーザの意思に反して、ホームポジションが設定されたときに、ホームポジションを再設定することができる。なお、ホームポジションを解除するためのジェスチャは追跡箇所の動作に限定されず、追跡箇所とは別の身体の一部の動作であってもよい。

0065

(第3実施形態)
図1に示すジェスチャ入力システム100が自動車に搭載され、制御対象4が自動車に備え付けられた装置である場合の例について説明する。

0066

人体の動きを検出するセンサ1として、投光した赤外線が反射して戻ってくる時間から深度情報を得る「TOF(Time of Flight)」という方式を採用するセンサを使用して、ユーザの動きを3次元的に検出する。例えば、マイクロソフト社の「Kinect v2」センサを使用してもよい。このセンサ1は、自動車を運転する運転者の手の動きを検出するために、運転席正面のフロントガラスの下に設置される。

0067

触感提示装置3は、超音波の音響放射圧を利用する超音波振動子アレイを含む。例えば、超音波振動子アレイでは、駆動周波数40kHzの249個の超音波振動子が格子状に並べられている。触感提示装置3は、超音波振動子をそれぞれ個別に駆動することにより、空中の任意の位置に超音波の焦点を作り出す。これにより、ひとつひとつの超音波振動子では出力できない大きさの音圧を焦点スポットに形成することができる。例えば、単体で駆動した場合に測定距離300mmで120dB未満の出力を示す超音波振動子を249個準備し、これらの超音波振動子を、出力が300mmの場所に焦点を成すように格子状に並べる。この場合、焦点スポットで159dBの音圧レベルが得られうる。超音波の焦点では音響放射圧という静的な圧力が発生し、この静的な圧力が身体の表面で遮られることにより、身体表面を押す力が発生する。これにより、非接触で身体に圧力を提示させることができる。さらに、超音波振動子を間欠的に駆動させることにより、音響放射圧を時間的に変化させて、ユーザに振動を提示することができる。例えば、超音波振動子に200Hz矩形波の振幅変調を掛けて駆動させることにより、ユーザに振動を提示できる。超音波振動子アレイは、ステアリングを操作する運転者の指先に触感を提示するために、ステアリングコラムの上面に設置される。

0068

自動車のエンジンが駆動されたときに、ジェスチャ入力システム100は起動する。これによりセンサ1が運転者の動きを取得し始める。本実施形態では、運転者の右手人差し指の指先を参照箇所として検出する。また、触感を提示する触感提示箇所と、ジェスチャ入力を行う際の追跡箇所も運転者の右手人差し指の指先に予め設定する。

0069

図7に、ジェスチャ入力システム100が自動車に搭載されたときの、仮想空間と実空間の対応付けの例を示す。本実施形態では、ユーザがホームポジションを設定したい意思を表すために行う動きとして、参照箇所である右手人差し指の指先が自動車のステアリングホイールから50mm離れた面71を横切る動きが、予め設定されている。これにより、運転者は、運転中でも、ステアリングホイールを握ったまま右手の指一本を立てることで、ホームポジションを設定したい意思を示すことができる。

0070

制御部21は、右手人差し指の指先が自動車のステアリングホイールから50mm離れた面71を横切ったことを、センサ1を介して検出したときに、その右手人差し指の指先の位置をホームポジション41aとして設定し、その位置を触感提示座標として設定する。これらの設定は、記憶部22に格納される。

0071

制御部21は、ホームポジション41aを設定したことを運転者に通知するために、ホームポジション41aに設定された指先に、触感提示装置3からの超音波の焦点を合わせる。このとき、触感提示装置3は、超音波に200Hzの振幅変調をかける。これにより、運転者は振動を感じることができる。よって、運転者は、視覚、聴覚、及び固体を通した触覚に頼ることなく、ホームポジション41aが設定されたことと、そのホームポジション41aの位置を触感で認識することができる。

0072

センサ1は、ホームポジション41aを設定した際に参照していた運転者の右手指先の動きを取得する。入力制御装置2は、運転者の右手指先の動きとホームポジション41aとの相対的な関係を分析し、ジェスチャを判定する。

0073

入力制御装置2は、例えば、図7に示すように、オーディオ装置の音量を調節するためのアイコン42の位置を仮想座標として予め決めていて、それを記憶部22に格納している。入力制御装置2は、仮想空間のホームポジション41bと実空間のホームポジション41aとを対応させ、且つ仮想空間のX軸、Y軸、Z軸をそれぞれ実空間のX軸、Y軸、Z軸に対応させる。入力制御装置2は、運転者の右手指先がアイコン42に対応する位置にあるかどうかを、実空間のホームポジション41aと右手指先との相対的な関係から分析する。運転者の右手指先がアイコン42に対応する位置にあれば、そのアイコン42が選択されていると判断する。

0074

ユーザは、実空間のホームポジション41aに基づいて、仮想空間のアイコン42が実空間の対応する位置にあると想定する。制御対象4が自動車に搭載されたオーディオ装置であって、かつ、ユーザがそのオーディオ装置の音量を大きくしたい場合、ユーザは右手指先をホームポジション41aの位置から実空間におけるX軸のプラス方向に移動させる。入力制御装置2は、ユーザの実空間での右手指先の移動に基づいて、仮想空間のホームポジション41bから「+」アイコン42の方向にユーザの右手指先が移動したと判断できる。入力制御装置2は、ユーザの右手指先が「+」アイコン42に対応する領域に所定時間以上存在するときに、「+」アイコン42に割り当てられた機能の実行が指示されたと判断して、オーディオ装置の音量を1目盛り分大きくする。指先が「+」アイコン42の領域内に留まっている時間と音量の増加量とを関連付けて、「+」アイコン42の領域内に留まっている時間が長くなるにつれて、音量を大きくしてもよい。また、指先がアイコン42の領域に留まっている間、その指先に非接触で触感を提示してもよい。

0075

この一連のステップにより、ユーザは、視覚、聴覚、及び固体を通した触覚に頼ることなく、オーディオ装置の音量変更を素早くかつ精度良く行うことができる。本実施形態のジェスチャ入力システム100によれば、ユーザは、例えばステアリングホイールから50mm離れた面71内であれば、ホームポジションの設定の意思をシステム100に伝えることができる。そのため、運転者は、運転中でもステアリングホイールを握ったまま、右手の指一本を立てることで、ホームポジションを設定することができる。また、ジェスチャ入力システム100は、ホームポジションの設定及びジェスチャ入力の受け付けを触感によって提示するため、ユーザは、自動車を運転しているときであっても、目線を表示部に向ける必要がない。そのため、ユーザは、運転への集中を低下させることなく、入力操作を実行できる。また、聴覚を使用した通知がされないため、同乗者との会話車内音楽なども妨げられない。

0076

(実施形態の概要
(1)本開示のジェスチャ入力システムは、ユーザの身体の一部である参照箇所の動きと、ユーザの身体の一部である追跡箇所の動きを検出するセンサと、センサによって検出された参照箇所の動きに基づいて空間内の基点を設定し、基点からの追跡箇所の動きに応じて、所定の入力を受け付ける入力制御装置と、入力制御装置によって基点が設定されたことを、ユーザの身体の一部である通知箇所に非接触で通知する通知装置と、を有する。

0077

このように、身体の動きに基づいて、空間内の基点を設定して、所定の入力を受け付けると共に、基点が設定されたことをユーザに非接触で通知するため、精度良く且つ素早く入力を行うことが可能になる。ユーザは、例えば、タッチパネルなどの入力部の位置まで手を移動させなくても、入力をすることができる。また、ユーザは、表示部の方向に目線を向けなくても、精度良く入力をすることができる。

0078

(2)(1)のジェスチャ入力システムにおいて、入力制御装置は、参照箇所が所定の動きをしたときの追跡箇所の実座標を基点として設定してもよい。

0079

これにより、ユーザは、基点からの身体の動きによるジャスチャ入力を直感的にできる。

0080

(3)(1)または(2)のジェスチャ入力システムにおいて、参照箇所、追跡箇所、及び通知箇所のうちの少なくとも2つが同一であってもよい。

0081

これにより、ユーザは、基点からの身体の動きによるジャスチャ入力を直感的にできる。

0082

(4)(1)から(3)のいずれかのジェスチャ入力システムにおいて、通知装置は、入力制御装置が所定の入力を受け付けたことを、ユーザの身体の一部に通知してもよい。

0083

これにより、ユーザは、ジェスチャ入力に基づいた制御が実行されることを知ることができる。

0084

(5)(1)から(4)のいずれかのジェスチャ入力システムにおいて、入力制御装置は、追跡箇所の動きに応じて、基点を再設定してもよい。

0085

これにより、誤って基点が設定されても、基点の設定をやり直すことができる。

0086

(6)(1)から(5)のいずれかのジェスチャ入力システムにおいて、通知装置は、触感の提示により通知を行ってもよい。

0087

これにより、ユーザが表示部に注視できない状況であっても、触覚を頼りにして、所望の入力操作を精度良く行うことが可能になる。

0088

(7)(6)のジェスチャ入力システムにおいて、通知装置は、複数の超音波振動子を含み、超音波振動子によって出力される音響放射圧によって、通知を行ってもよい。

0089

これにより、ユーザが表示部に注視できない状況であっても、触覚を頼りにして、所望の入力操作を精度良く行うことが可能になる。

0090

(8)本開示のジェスチャ入力方法は、ユーザの身体の一部である参照箇所の動きを検出するステップと、検出された参照箇所の動きに基づいて、空間内の基点を設定するステップと、ユーザの身体の一部である通知箇所に、基点が設定されたことを非接触で通知するステップと、ユーザの身体の一部である追跡箇所の動きを検出するステップと、基点からの追跡箇所の動きに応じて、所定の入力を受け付けるステップと、を含む。

0091

このように、身体の動きに基づいて、空間内の基点を設定して、所定の入力を受け付けると共に、基点が設定されたことをユーザに非接触で通知するため、精度良く且つ素早く入力を行うことが可能になる。ユーザは、例えば、タッチパネルなどの入力部の位置まで手を移動させなくても、入力をすることができる。また、ユーザは、表示部の方向に目線を向けなくても、正しい入力をすることができる。

0092

本開示の全請求項に記載のジェスチャ入力システム及びジェスチャ入力方法は、ハードウェア資源、例えば、プロセッサ、メモリ、及びプログラムとの協働などによって、実現可能である。

0093

本開示のジェスチャ入力システムは、例えば、自動車に搭載されるナビゲーション装置、空調装置、及びオーディオ装置の入力制御手段として、有用である。

0094

1センサ
2入力制御装置
3触感提示装置
4制御対象
21 制御部
22 記憶部
100 ジェスチャ入力システム

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ