図面 (/)

技術 ウェアラブル装置

出願人 京セラ株式会社
発明者 伊東伸悟
出願日 2015年11月11日 (5年0ヶ月経過) 出願番号 2016-559098
公開日 2017年7月13日 (3年4ヶ月経過) 公開番号 WO2016-076376
状態 特許登録済
技術分野 デジタル計算機のユーザインターフェイス
主要キーワード 着用式 微細振動 拡大変形 ウェアラブル装置 握り動作 付け根近傍 所定時間外 総指伸筋
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年7月13日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題・解決手段

ウェアラブル装置1は、ユーザの身体の特定部位に装着可能なものである。ウェアラブル装置1は、例えば、ユーザの左右の上肢の内、一方の上肢に取り付けられるものである。ウェアラブル装置1は、画像を表示する表示部20と、一方の上肢に接触して該上肢の筋活動を検出する筋活動検出部と、検出された筋活動に基づいて一方の上肢の身体動作を検出し、身体動作に基づいて、表示部20に所定の表示動作を実行させる制御部と、を備える。

概要

背景

上記のウェアラブル装置として、近年、腕時計を模した着用式電子デバイスであって、ユーザの左右の腕の内の一方の腕の手首に取り付け、他方の腕に対応した手又は指の動作によって、操作可能な着用式電子デバイスがある。例えば、着用式電子デバイスにタッチセンシティブ領域を設け、他方の指をタッチ・センシティブ領域に接触させることにより所定の操作を行えることが記載されている(特許文献1)。

概要

ウェアラブル装置1は、ユーザの身体の特定部位に装着可能なものである。ウェアラブル装置1は、例えば、ユーザの左右の上肢の内、一方の上肢に取り付けられるものである。ウェアラブル装置1は、画像を表示する表示部20と、一方の上肢に接触して該上肢の筋活動を検出する筋活動検出部と、検出された筋活動に基づいて一方の上肢の身体動作を検出し、身体動作に基づいて、表示部20に所定の表示動作を実行させる制御部と、を備える。

目的

特開2014−102838号公報






特許文献1に記載の着用式電子デバイスにおいては、左右の腕の内、該着用式電子デバイスが取り付けられた方の腕に対応する手又は指の動作による入力の態様が限られており、従って、より多様な操作が可能となることが望まれている

効果

実績

技術文献被引用数
0件
牽制数
1件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

ユーザの左右の上肢の内、一方の上肢に取り付けられるウェアラブル装置であって、画像を表示する表示部と、前記一方の上肢に接触して該上肢の筋活動を検出する筋活動検出部と、前記検出された筋活動に基づいて前記一方の上肢の身体動作を検出し、前記身体動作に基づいて、前記表示部に所定の表示動作を実行させる制御部と、を備えるウェアラブル装置。

請求項2

前記制御部は、前記一方の上肢における力動作を検出し、前記力動作が検出されてから所定時間内に前記身体動作が検出された場合には、該身体動作の検出を有効にし、前記力動作が検出されてから所定時間外に前記身体動作が検出された場合には、該身体動作の検出を無効にする請求項1に記載のウェアラブル装置。

請求項3

前記制御部は、前記身体動作の内の第1動作と、該第1動作と相反する第2動作と、を検出し、前記第1動作を検出してから所定時間以内に検出した前記第2動作に対しては、該第2動作の検出を無効にする請求項1又は2に記載のウェアラブル装置。

請求項4

前記表示部は、前記一方の上肢における腕に沿って配置され、前記制御部は、前記一方の上肢における手の動作と指の動作の少なくとも一方を、前記身体動作として検出する請求項1から3の何れか一項に記載のウェアラブル装置。

請求項5

前記制御部は、前記身体動作に伴う身体の変位量を算出し、前記所定の表示動作として、前記変位量に基づいて前記表示部の表示内容を変更する請求項1から4の何れか一項に記載のウェアラブル装置。

請求項6

前記制御部は、前記第1動作が行われた状態と、前記第2動作が行われた状態と、の間の所定の中間状態を検出し、前記身体動作によって身体の状態が前記中間状態となったことを契機として前記変位量の算出を開始する請求項5に記載のウェアラブル装置。

請求項7

前記中間状態を基準状態として、該基準状態から身体が変位した量を前記変位量として算出する請求項6に記載のウェアラブル装置。

請求項8

前記制御部は、前記身体動作として指の動作を検出し、前記中間状態として、指が完全に曲がった状態と、指が完全に伸展した状態と、の間の状態を検出し、前記指の曲がり量が、前記中間状態における指の曲がり量に対して変化した量を前記変位量として算出する請求項7に記載のウェアラブル装置。

請求項9

前記制御部は、前記一方の上肢における手の動作と指の動作の双方を、前記身体動作として検出可能であり、前記手の動作と前記指の動作の内の一方を検出した場合に、前記表示部に第1の表示動作を実行させ、前記手の動作と前記指の動作の双方を検出した場合に、前記表示部に第2の表示動作を実行させる請求項1に記載のウェアラブル装置。

請求項10

前記制御部は、前記所定の表示動作として、所定画像の移動に関する動作を前記表示部に実行させ、前記第1の表示動作は、前記所定画像を第1の移動量だけ移動させる動作であり、前記第2の表示動作は、前記所定画像を第2の移動量だけ移動させる動作である請求項9に記載のウェアラブル装置。

請求項11

前記第2の移動量は、前記第1の移動量よりも大きい請求項10に記載のウェアラブル装置。

請求項12

前記制御部は、前記所定の表示動作として、前記所定画像の移動に関する動作を前記表示部に実行させ、前記第1の表示動作は、前記所定画像を第1の移動速度で移動させる動作であり、前記第2の表示動作は、前記所定画像を第2の移動速度で移動させる動作である請求項9に記載のウェアラブル装置。

請求項13

前記第2の移動速度は、前記第1の移動速度よりも速い請求項12に記載のウェアラブル装置。

請求項14

前記表示部は、前記一方の上肢における前腕に沿って配置され、前記制御部は、前記一方の上肢における前腕の回転動作を、前記身体動作として検出する請求項1に記載のウェアラブル装置。

請求項15

前記表示部は、前記前腕の外側に沿って配置される第1表示領域と前記前腕の内側に沿って配置される第2表示領域とを有し、前記制御部は、前記回転動作として、回内動作及び回外動作を検出し、前記回内動作を検出した場合、前記所定の表示動作として前記第1表示領域に前記所定画像を表示させ、前記回外動作を検出した場合、前記所定の表示動作として前記第2表示領域に前記所定画像を表示させる請求項14に記載のウェアラブル装置。

請求項16

前記表示部は、前記一方の上肢における腕の側部であって、該上肢の母指側に対応する側部に沿って配置され、かつ、前記第1表示領域と前記第2表示領域との間に配置される第3表示領域をさらに有し、前記制御部は、前記回転動作における前腕の回転量を算出し、前記回転量が所定値より小さい場合には、前記第1表示領域又は前記第2表示領域に替えて、前記第3表示領域に前記所定画像を表示させる請求項15に記載のウェアラブル装置。

請求項17

前記制御部は、前記第3表示領域に前記所定画像を表示させる場合、該第3表示領域には複数の表示画像候補を表示させ、前記検出された前記身体動作に基づいて、前記複数の表示画像候補の何れかを選択可能とする請求項16に記載のウェアラブル装置。

請求項18

前記複数の表示画像候補の内の何れかが選択された状態で、前記制御部が前記回転動作を検出した場合、前記表示部は、前記所定の表示動作として前記第1表示領域又は前記第2表示領域に前記選択された表示画像候補を表示する請求項17に記載のウェアラブル装置。

請求項19

ユーザの接触操作受け付ける接触操作部をさらに備え、前記表示部は、前記制御部が前記身体動作の内の第1身体動作を検出すると、第1の接触操作受付画面を表示し、前記制御部が前記身体動作の内の第2身体動作を検出すると、第2の接触操作受付画面を表示する請求項1に記載のウェアラブル装置。

請求項20

前記制御部は、前記第1身体動作を検出してから他の身体動作が検出するまでは前記第1の接触操作受付画面の表示を継続し、第2身体動作が検出されてから他の身体動作が検出されるまでは前記第2の接触操作受付画面の表示を継続する請求項19に記載のウェアラブル装置。

請求項21

前記制御部は、前記身体動作を検出する直前の身体の状態に基づいて、前記表示動作の内容を異ならせる請求項1に記載のウェアラブル装置。

請求項22

前記制御部は、前記所定の表示動作として、前記指の動作と前記手の動作と前記前腕の回転動作との少なくともいずれかを含む前記身体動作と、前記身体動作を検出する直前の身体の状態とを組み合わせて特徴づけられる動作に基づいた表示動作を前記表示部に実行させる請求項1に記載のウェアラブル装置。

請求項23

ユーザの身体に装着されるウェアラブル装置であって、画像を表示する表示部と、前記装着される部位を除いて、前記ウェアラブル装置に接触不可能な身体部位の動作を検出し、前記検出された身体動作に基づいて、前記表示部に所定の表示動作を実行させる制御部と、を備えるウェアラブル装置。

技術分野

0001

本出願は、ユーザの身体の特定部位に装着可能なウェアラブル装置に関する。

背景技術

0002

上記のウェアラブル装置として、近年、腕時計を模した着用式電子デバイスであって、ユーザの左右の腕の内の一方の腕の手首に取り付け、他方の腕に対応した手又は指の動作によって、操作可能な着用式電子デバイスがある。例えば、着用式電子デバイスにタッチセンシティブ領域を設け、他方の指をタッチ・センシティブ領域に接触させることにより所定の操作を行えることが記載されている(特許文献1)。

先行技術

0003

特開2014−102838号公報

発明が解決しようとする課題

0004

特許文献1に記載の着用式電子デバイスにおいては、左右の腕の内、該着用式電子デバイスが取り付けられた方の腕に対応する手又は指の動作による入力の態様が限られており、従って、より多様な操作が可能となることが望まれている。

0005

本発明の目的は、多様な操作を可能とするウェアラブル装置を提供することにある。

課題を解決するための手段

0006

態様の一つに係るウェアラブル装置は、ユーザの左右の上肢の内、一方の上肢に取り付けられるウェアラブル装置であって、画像を表示する表示部と、前記一方の上肢に接触して該上肢の筋活動を検出する筋活動検出部と、前記検出された筋活動に基づいて前記一方の上肢の身体動作を検出し、前記身体動作に基づいて、前記表示部に所定の表示動作を実行させる制御部と、を備える。

0007

態様の一つに係るウェアラブル装置は、ユーザの身体に装着されるウェアラブル装置であって、画像を表示する表示部と、前記ウェアラブル装置に接触不可能な身体部位の動作を検出し、前記検出された身体動作に基づいて、前記表示部に所定の表示動作を実行させる制御部と、を備える。

図面の簡単な説明

0008

図1Aは、実施形態に係るウェアラブル装置の概略構成の一例を示す図である。
図1Bは、実施形態に係るウェアラブル装置の概略構成の一例を示す図である。
図2は、実施形態に係るウェアラブル装置の機能ブロックの一例を示す図である。
図3は、制御部によって検出される身体動作の種類を例示した図である。
図4Aは、表示部の表示動作の一態様の一例を示す図である。
図4Bは、表示部の表示動作の一態様の一例を示す図である。
図5Aは、表示部の表示動作の他の態様の一例を示す図である。
図5Bは、表示部の表示動作の他の態様の一例を示す図である。
図6Aは、表示部の表示動作の他の態様の一例を示す図である。
図6Bは、表示部の表示動作の他の態様の一例を示す図である。
図7Aは、表示部の表示動作の他の態様の一例を示す図である。
図7Bは、表示部の表示動作の他の態様の一例を示す図である。
図8Aは、表示部の表示動作の他の態様の一例を示す図である。
図8Bは、表示部の表示動作の他の態様の一例を示す図である。
図8Cは、表示部の表示動作の他の態様の一例を示す図である。
図8Dは、表示部の表示動作の他の態様の一例を示す図である。
図9Aは、表示部の表示動作の他の態様の一例を示す図である。
図9Bは、表示部の表示動作の他の態様の一例を示す図である。
図9Cは、表示部の表示動作の他の態様の一例を示す図である。
図9Dは、表示部の表示動作の他の態様の一例を示す図である。
図10Aは、表示部の表示動作の他の態様の一例を示す図である。
図10Bは、表示部の表示動作の他の態様の一例を示す図である。
図10Cは、表示部の表示動作の他の態様の一例を示す図である。
図10Dは、表示部の表示動作の他の態様の一例を示す図である。
図11Aは、表示部の表示動作の他の態様の一例を示す図である。
図11Bは、表示部の表示動作の他の態様の一例を示す図である。
図12Aは、表示部の表示動作の他の態様の一例を示す図である。
図12Bは、表示部の表示動作の他の態様の一例を示す図である。
図13は、筋活動検出部が筋音検出部である場合のウェアラブル装置の機能ブロックの一例を示す図である。
図14は、身体動作を特徴づける各要素をまとめた表の一例を示す図である。

実施例

0009

以下、本発明を実施するための実施形態を、図面を参照しつつ詳細に説明する。以下の説明により本発明が限定されるものではない。以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。

0010

図1Aは、実施形態に係るウェアラブル装置1の概略構成の一例を示す図である。図1Bは、実施形態に係るウェアラブル装置の概略構成の一例を示す図である。図1A及び図1Bでは、ウェアラブル装置1がユーザの左右の上肢の内、一方の上肢に装着されている様子が示されている。本明細書において、上肢とは、ヒトの腕、手及び指を意味し、上腕前腕、手及び指を含めているものとする。本実施形態において、一例として、図1A図1Bに示すように、ウェアラブル装置1は、ユーザの左側の上肢における前腕である左前腕に装着されているものとして説明する。図1Aは、手の甲側を示している。図1Bは、手のひら側を示している。

0011

ウェアラブル装置1は、例えば、リストバンド型又は腕時計型である。ウェアラブル装置1は、ユーザの上肢に着脱可能に装着されている。ウェアラブル装置1は、例えば、柔軟性と伸縮性を有する素材で大半の部分が形成されている。これにより、ウェアラブル装置1は、ユーザの上肢に対して密着する。

0012

ウェアラブル装置1は、該ウェアラブル装置1におけるユーザが視認できる位置に表示部20を備える。表示部20は、ウェアラブル装置1の外側に配置されている。表示部20は、ユーザの一方の上肢における腕に沿って配置されている。

0013

表示部20は、ユーザの前腕における手の甲側に対応する部分と前腕における手のひら側に対応する部分とに表示領域を有している。表示部20は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)又は有機EL(Organic Electro−Luminescence)ディスプレイを含むディスプレイである。表示部20は、曲面状部分を有した曲面ディスプレイ又は可撓性を有したフレキシブルディスプレイであっても良い。

0014

次に、図2を用いて、実施形態に係るウェアラブル装置1の機能について説明する。図2は、実施形態に係るウェアラブル装置1の機能ブロックの一例を示す図である。図2に示すように、実施形態に係るウェアラブル装置1は、表示部20、接触操作部30、通信部40、近接センサ50、傾きセンサ60、筋活動検出部70、記憶部80、制御部90を備える。

0015

表示部20は、制御部90による制御に基づいて映像又は画像を表示する。

0016

接触操作部30は、ユーザの操作による入力を検出する。接触操作部30は、例えば、ウェアラブル装置1に設けられる単一又は複数のボタンである。接触操作部30は、ボタンが押下された際に所定の信号を制御部90へ出力する。接触操作部30は、例えば、ウェアラブル装置1に設けられて、接触を検出するタッチセンサであっても良い。タッチセンサは、例えば、表示部20と重畳されて設けられても良い。この場合、接触操作部30は、ユーザの指が触れた表示面上の位置を入力位置として検出し、検出した入力位置に応じた信号を制御部90へ出力する。タッチセンサには、例えば、静電容量式超音波式感圧式、抵抗膜式光検知式を含む各種方式のタッチパネルが用いられ得る。

0017

接触操作部30がタッチセンサである場合、ユーザは、表示面に指を触れることにより各種のタッチ操作を行う。タッチ操作の種類としては、例えば、表示面に指を接触させた後、短時間のうちに指を離す操作(タップ操作)、表示面を指で任意の方向に弾く操作(フリック操作)、及び、表示面に指を接触させたまま任意の方向へ移動させる操作(スライド操作)が挙げられる。

0018

通信部40は、アンテナRF回路部とを備える。通信部40は、制御部90による制御に基づいて、外部装置と、例えば、情報通信又は電話通信を含む通信を行うことで各種情報送受信する。通信部40は、無線で通信を行う場合には、例えば、通信距離が数cm〜1m又は数m〜数十mの近距離無線通信通信方式を採用しても良い。近距離無線通信には、例えば、Bluetooth(登録商標)、ZigBee(登録商標)、赤外線通信可視光通信、NFC(Near Field Communication)が用いられ得る。例えば、ウェアラブル装置1を用いて鉄道駅改札機と通信することにより改札機を通過したい場合には、通信部40は、通信方式としてNFCを利用すれば良い。このとき、改札機に備えられた情報読み取り部に対して、上肢に装着されたウェアラブル装置1をかざすことで、通信部40は、改札機とウェアラブル装置1との通信を行うようにすれば良い。

0019

通信部40は、公衆回線ネットワークを介して通信を行うための通信方式を含む他の通信方式を採用しても良い。公衆回線ネットワークを介して通信を行うための通信方式には、例えば、LTE(Long Term Evolution)、W−CDMA(Wideband Code Division Multiple Access)が用いられ得る。通信部40は、有線で通信を行うようにしても良い。

0020

近接センサ50は、ウェアラブル装置1に物体近接したことを検出する。近接センサ50には、例えば、発光素子である赤外LEDと受光素子であるフォトダイオードとの組み合わせを用いることができる。近接センサ50は、フォトダイオードの出力の変化から、近接センサ50に近接する物体、例えば、ユーザの他方の上肢における指の距離を算出する。具体的には、赤外LEDが赤外線発光し、近接センサ50は、指などで反射した赤外線を受光する。例えば、近接センサ50がユーザの指から遠い場合には、赤外LEDが発光した赤外線はフォトダイオードによって受光されない。例えば、近接センサ50がユーザの指に近接している場合には、赤外LEDが発光した赤外線は指に反射してフォトダイオードによって受光される。このように、フォトダイオードは近接センサ50がユーザの指に近接している場合とそうでない場合とで赤外線の受光量が変化する。近接センサ50は、フォトダイオードによって受光した赤外線の受光量を制御部90に出力する。その受光量に基づいて、制御部90は、物体の近接を検出する。近接センサ50は、赤外線型のものに限らず、例えば、静電容量型のものが用いられても良い。

0021

傾きセンサ60は、例えば、表示部20の表示面の水平面に対する傾きを検出する。傾きセンサ60は、例えば、半導体式の3軸の加速度センサである。加速度センサは、表示部20の表示面に対する3軸(X,Y,Z)の加速度データを制御部90に出力する。表示部20の表示面の一端向をX軸方向、表示面内においてX軸方向と直交する方向をY軸方向、X軸方向及びY軸方向のそれぞれと直交する方向をZ軸方向とする。X軸及びY軸を含むX,Y平面は、表示面と平行である。表示部20の表示面のX軸方向、Y軸方向、Z軸方向は、ウェアラブル装置1のX軸方向、Y軸方向、Z軸方向と一致する。

0022

筋活動検出部70は、ユーザの皮膚に接触して、ユーザの上肢の筋活動を検出する。筋活動検出部70は、筋肉収縮したときに身体表面に生じる電位を筋活動として検出する筋電位検出部71である。筋電位検出部71は、ユーザの皮膚に接触して、ユーザの身体動作によって皮膚の表面に生じる筋電位信号を検出する。筋電位検出部71は、検出した筋電位信号を制御部90へ出力する。筋電位検出部71は、ウェアラブル装置1の内周面に複数設けられる。

0023

複数の筋電位検出部71(711、712、・・・71n)は、それぞれ、複数の筋電電極711(7111、7112、・・・711n)、複数のフィルタ部712(7121、7122、・・・712n)、複数の増幅部713(7131、7132、・・・713n)、及び複数のA/D変換部714(7141、7142、・・・714n)を、有する。

0024

筋電電極711は、ウェアラブル装置1がユーザの上肢に装着された際に、ユーザの皮膚に当接する。筋電電極711は、ユーザの皮膚表面に生じる表面電位を筋電位信号として検出する。

0025

フィルタ部712は、例えば、通過帯域が数10Hz〜1.5kHzのバンドパスフィルタが用いられ得る。フィルタ部712は、筋電電極711の分極電圧電源雑音高周波雑音などを除去する。フィルタ部712は、筋電電極711から出力された筋電位信号から上記の雑音等を除去し、通過可能な信号を増幅部713へ出力する。

0026

増幅部713は、フィルタ部712から出力される筋電位信号を、信号解析可能なレベルまで増幅する。増幅された筋電位信号は、A/D変換部714へ出力される。

0027

A/D変換部714は、増幅部713から出力されたアナログ信号の筋電位信号をデジタル信号に変換する。A/D変換部714により変換されたデジタル信号は、制御部90に出力される。

0028

筋活動検出部70としての筋電位検出部71は、上記の構成に加えて積分部を備えていても良い。積分部は、フィルタ部712によりフィルタリングされた筋電位信号又は増幅部713により増幅された筋電位信号を全波整流回路によって整流した後、平滑化フィルタによって平滑化することによって積分する。積分部は、積分した筋電位信号である積分筋電位信号をA/D変換部714に出力する。

0029

記憶部80は、例えば、不揮発性記憶デバイス又は読み書き可能な記憶デバイスを含む記憶デバイスである。不揮発性の記憶デバイスには、例えば、ROM(Read Only Memory)を含む不揮発性半導体メモリ又はハードディスク装置が用いられ得る。読み書き可能な記憶デバイスには、例えば、SRAM(Static Random Access Memory)又はDRAM(Dynamic Random Access Memory)が用いられ得る。記憶部80は、各種プログラムを記憶する。記憶部80は、後述する筋電位データ周波数特性と各種の身体動作とが別個対応付けられた複数の身体動作検出パターンを記憶している。記憶部80は、複数の身体動作検出パターンのそれぞれに対応付けられた表示動作パターンを記憶している。

0030

制御部90は、例えば、少なくとも一つのマイクロプロセッサユニット(MPU:Micro Processing Unit)で構成される。制御部90は、ソフトウェアで指示された手順にしたがって上述したウェアラブル装置1に各種の処理を実行する。制御部90は、オペレーティングシステムプログラム又はアプリケーションのプログラムを含む各種プログラムから命令コードを順次読み込んで処理を実行する。このように、制御部90は、各部の動作を制御する。制御部90は、各部に必要なデータ、例えば、表示部20に映像又は画像を表示させるための制御信号又は画像信号を出力する。

0031

制御部90は、近接センサ50のフォトダイオードの出力の変化から、ウェアラブル装置1に近接する物体、例えば、ユーザの他方の上肢における指の距離を算出する。制御部90は、近接センサ50のフォトダイオードによって受光した赤外線の受光量に基づいて、物体の近接を検出する。

0032

制御部90は、傾きセンサ60の3軸の加速度データの変化を検出することで、表示部20の表示面又はウェアラブル装置1の動きを判断する。制御部90は、加速度センサが検出する重力加速度に対して三角関数を用いることで、表示部20の表示面又はウェアラブル装置1の水平面に対する傾斜角を算出する。制御部90は、表示部20の表示面又はウェアラブル装置1の水平面に対する傾斜角が変化すると、そのときの傾斜角に基づいて表示部20に所定の表示動作を実行させる。

0033

制御部90は、筋活動検出部70としての筋電位検出部71から出力される筋電位データを解析し、ユーザの身体動作を検出する。

0034

制御部90は、デジタル化された筋電位データである筋電位信号をサンプリングし、サンプリングされた筋電位データをFFT(Fast Fourier Transform、高速フーリエ変換)又はウェーブレット変換を含む各種方法によって周波数変換する。制御部90は、周波数変換された周波数データに基づいて、周波数スペクトルを解析することによって得られる周波数特性からユーザの身体動作の種類を検出する。

0035

一般的に、筋電位データの周波数特性は、ヒトの身体動作の種類に依って相異する。したがって、予め、筋電位データの周波数特性と身体動作の種類とを対応付けて記憶しておけば、制御部90は、筋電位データから導出された周波数データに基づいて、ユーザが行った身体動作を推定する。従って、制御部90は、記憶部80に記憶された身体動作検出パターンを参照して、筋電位データの周波数特性から、ユーザが行った身体動作の種類を検出する。身体動作の推定には、例えばニューラルネットを用いれば良い。

0036

制御部90は、記憶部80に記憶された表示動作パターンを参照し、検出された身体動作に対応付けられた表示動作を表示部20に実行させるよう制御する。

0037

制御部90は、上記の構成を有することにより、筋活動検出部70の筋電位検出部71で検出された筋電位によって検出した筋活動に基づいてユーザの上肢の身体動作を検出し、該身体動作に基づいて、表示部20に所定の表示動作を実行させる。

0038

制御部90は、上記の積分部から出力された積分筋電位信号に基づいて、例えば、積分平均値IEMG:Integrated ElectroMyoGraphy)に基づいて筋張力を検出する。積分筋電位信号と筋張力とは大略比例の関係を呈する。制御部90は、検出した筋張力が所定の閾値を超えたか否かに基づいてユーザによって所定の身体動作、例えば、後述する握り動作又は力動作が実際に行われたか否かを判断するようにしても良い。

0039

筋電位データから身体動作を検出するための指標としては、上記に例示した周波数スペクトル又は積分平均値の他にも、例えば、平均周波数(MPF:Mean Power Frequency)、中心周波数実効値(RMS:Root Mean Square)又は周波数分布標準偏差(SDFD:Standard Deviation of Frequency Distribution)を含む各種指標を用いても良い。

0040

ヒトの上肢の動作を司る筋肉は、上肢において別個に配置されている。例えば、上肢における前腕、手、又は指の各種の動作を司る筋肉は、前腕部分において別個に配置されている。そのため、制御部90は、手、又は指の各種の動作を司る筋肉の動きによって生じる筋電位の信号又は筋電位の分布を十分な解像度計測できれば、前腕、手、又は指の動作を推定可能になる。

0041

例えば、制御部90は、第2〜5指である示指中指薬指小指の動作を司る前腕部分の筋肉である深指屈筋浅指屈筋、又は総指伸筋における各指の動作に対応する部位の筋電位を測定することで各指の動作を推定する。深指屈筋は特に第2〜5指の第1関節の曲げ動作を、浅指屈筋は特に第2〜5指の第2関節の曲げ動作を、総指伸筋は特に第2〜5指の伸展動作を、それぞれ司っている。さらに、制御部90は、第1指である母指又は親指の動作を司る前腕部の筋肉である長母指屈筋の筋電位も測定することで第1〜5指の全ての動作を推定する。従って、例えば、第1〜5指の動作を推定するために、上記の深指屈筋、浅指屈筋、総指伸筋、長母指屈筋の4箇所のそれぞれの直上に筋電電極711が配置されると良い。この場合ウェアラブル装置1は、4個の筋電電極711に対応する4個の筋電位検出部71を備えていれば良い。筋電電極711を接触させる身体の箇所は、上記の筋肉の他にも、検出すべき動作を司る筋肉の筋電位を検出可能な位置に配置されるようにすれば良い。例えば、ウェアラブル装置1に複数の筋電電極711を設け、最適な筋電位検出位置を絞り込む方法を採っても良い。筋電電極の数は、ウェアラブル装置1の内面側に配置可能な数とする。このような方法の他にも、上肢の各指、手又は腕の身体動作の種類を推定可能な従来のあらゆる手法が適用されて良い。

0042

次に、制御部90によって検出される身体動作の種類について説明する。図3は、制御部90によって検出される身体動作の種類を例示したものである。実施形態に係るウェアラブル装置1が検出する上肢の身体動作の主体を、例えば、指、手又は前腕に分類することにする。

0043

まず、指の動作として、第1〜5指の各指の曲げ動作(パターン1)、各指の伸展動作(パターン2)、第1指と第2〜5指の何れかの指とのつまみ動作(パターン3)、手の握り動作(パターン4)、手の開き動作(パターン5)を例示して説明する。パターン1〜5に示される指の身体動作を司る筋肉については前述した通りである。制御部90は、それらの筋肉の動きに起因して生じる筋電位を検出することで、パターン1〜5の身体動作を検出する。

0044

「各指の曲げ動作(パターン1)」は、例えば、第2〜4指の何れかの指における第3関節である指先から3番目の関節又は指の付け根の関節が曲げられる身体動作が含まれる。「各指の曲げ動作(パターン1)」は、例えば、第2〜4指の何れかの指における第1関節である指先から1番目の関節と第2関節である指先から2番目の関節とが共に曲げられる身体動作が含まれる。「各指の曲げ動作(パターン1)」は、例えば、第2〜4指の何れかの指における第1〜3関節の何れもが曲げられる身体動作が含まれる。「各指の曲げ動作(パターン1)」は、第1〜5指の内の複数の指を同時に曲げる動作も含まれる。

0045

「各指の曲げ動作(パターン1)」は、例えば、第2指において、第2指の付け根の関節を支点として、左右方向へ移動させる身体動作も含まれる。左右方向とは、第3指に近づいたり、遠ざかったりする方向である。

0046

「各指の伸展動作(パターン2)」は、各指の曲げ動作(パターン1)と相反する動作である。「各指の伸展動作(パターン2)」は、例えば、第2〜4指の何れかの指において、該指の第1〜3関節の何れもが曲げられていない状態をその「指が伸展している状態」としても良い。「各指の伸展動作(パターン2)」は、「指が伸展している状態」を取るための身体動作を含む。

0047

所定角度より大きく、指の各関節が曲げられている状態を「指が曲げられている状態」とし、所定角度より小さく指の各関節が曲げられている場合は「指が伸展している状態」としても良い。この場合、所定角度は適宜設定されて良い。指の各関節の曲げ角度を推定する手法としては、例えば、特開2010−125287に開示されている手法を用いても良い。

0048

「第1指と第2〜5指の何れかの指とのつまみ動作(パターン3)」において、該身体動作に基づいて検出される筋電位信号の特徴は、単に指を曲げる動作に基づいて検出される筋電位信号の特徴とは区別される。この身体動作は、ユーザの意図した動作によるものである。このため、この身体動作は、例えば、ユーザが不意に指を曲げてしまった場合などに身体動作として誤検出されてしまう問題を生じさせずに済む。これにより、「第1指と第2〜5指の何れかの指とのつまみ動作(パターン3)」は、身体動作による操作の種類として割り当てるのに適している。

0049

より詳しくは、「第1指と第2〜5指の何れかの指とでつまむ」動作を行った際、第1指と第2〜5指の何れかの指とは互いに力を及ぼす。このため、ユーザは、動作を行ったことを知覚することができ、実際に入力を行ったことを認識しやすい。

0050

「手の握り動作(パターン4)」は、例えば、拳を作る動作である。「手の握り動作(パターン4)」は、各指の曲げ動作(パターン1)において、第1〜5指の全ての指を曲げる身体動作である。従って、各指の曲げ動作(パターン1)と一部重複する部分があるが、以後の表示態様の説明を容易にするため、別のパターンとして分類しておく。この身体動作を司る筋肉は、前述した指の動作を司る筋肉と同様である。このため、制御部90は、それらの筋肉の動きに起因して生じる筋電位を検出することで、手の握り動作を検出する。

0051

「手の開き動作(パターン5)」は、手の握り動作(パターン4)と相反する動作である。「手の開き動作(パターン5)」は、例えば、第1〜5指の各関節が曲げられていない状態を取るための身体動作である。各指の伸展動作(パターン2)と一部重複する部分があるが、以後の表示態様の説明を容易にするため、別のパターンとして分類しておく。

0052

所定角度より大きく、第1〜5指の各関節が曲げられている場合に「手が握られている状態」とし、所定角度より小さく第1〜5指の各関節が曲げられている場合は「手が開かれている状態」としても良い。この場合、所定角度は適宜設定されて良い。

0053

次に、手の動作として、手の屈動作(パターン6)、手の背屈動作(パターン7)、手首の橈屈(パターン8)、手首の尺屈(パターン9)を例示して説明する。

0054

「手の掌屈動作(パターン6)」は、手首を手のひら側に曲げる身体動作である。この身体動作を司る筋肉は、例えば、橈側手根屈筋長掌筋又は尺側手根屈筋を含む筋肉が挙げられる。制御部90は、これらの筋肉の何れかの動きに起因して生じる筋電位を検出することで、手の掌屈動作を検出する。

0055

「手の背屈動作(パターン7)」は、手首を手の甲側に曲げる身体動作である。「手の背屈動作(パターン7)」は、手の掌屈動作(パターン6)と相反する動作である。この身体動作を司る筋肉は、例えば、長橈側手根伸筋短橈側手根伸筋又は尺側手根伸筋を含む筋肉が挙げられる。このため、制御部90は、これらの筋肉の何れかの動きに起因して生じる筋電位を検出することで、手の背屈動作を検出する。

0056

「手首の橈屈(パターン8)」は、前腕を構成する橈骨のある側である母指側に手首の関節を曲げる身体動作である。例えば、左側の上肢にウェアラブル装置1が装着され、左前腕における手の甲側が上になり、手のひら側が下となっている場合において、手首の橈屈とは、手首を右側に曲げることと同じである。この身体動作を司る筋肉は、例えば、長橈側手根伸筋又は短橈側手根伸筋を含む筋肉が挙げられる。このため、制御部90は、これらの筋肉の何れかの動きに起因して生じる筋電位を検出することで、手の橈屈動作を検出する。

0057

「手首の尺屈(パターン9)」は、前腕を構成する尺骨のある側(小指側)に手首の関節を曲げる身体動作である。「手首の尺屈(パターン9)」は、手首の橈屈(パターン8)と相反する身体動作である。例えば、左側の上肢にウェアラブル装置1が装着され、左前腕における手の甲側が上になり、手のひら側が下となっている場合において、手首の尺屈とは、手首を左側に曲げることと同じである。この身体動作を司る筋肉は、例えば、尺側手根屈筋又は尺側手根伸筋を含む筋肉が挙げられる。このため、制御部90は、これらの筋肉の何れかの動きに起因して生じる筋電位を検出することで、手の橈屈動作を検出する。

0058

次に、前腕の動作として、前腕の回内動作(パターン10)、前腕の回外動作(パターン11)を例示して説明する。

0059

「前腕の回内動作(パターン10)」は、手のがユーザの顔側を向くように、前腕を回旋させる身体動作である。「前腕の回内動作(パターン10)」は、例えば、左側の上肢の場合、左前腕の左左手首とを結ぶ仮想線を軸として該左前腕を時計回り旋回させる動作である。制御部90は、この身体動作を司る筋肉の動きに起因して生じる筋電位又は筋張力を検出することで、前腕の回内動作を検出する。制御部90は、例えば、左側の上肢において、時計回りの回転量が所定値より大きい場合、回内動作がなされたものと判定しても良い。前腕の回転動作における回転量は、身体動作に基づく筋電位データの周波数特性又は筋張力の変化に基づいて算出すればよい。

0060

「前腕の回外動作(パターン11)」は、手のひらがユーザの顔側を向くように、前腕を回旋させる身体動作である。「前腕の回外動作(パターン11)」は、前腕の回内動作(パターン10)と相反する身体動作である。「前腕の回外動作(パターン11)」は、例えば、左側の上肢の場合、左前腕を軸として該左前腕を反時計回りに旋回させる動作である。制御部90は、この身体動作を司る筋肉の動きに起因して生じる筋電位を検出することで、前腕の回外動作を検出する。制御部90は、例えば、左側の上肢において、反時計回りの回転量が所定値より大きい場合、回外動作がなされたものと判定しても良い。

0061

以上、各身体動作の種類を例示した。各身体動作の内の一の身体動作がなされた後の上肢の状態において、該状態を維持するために生じる筋活動と、該状態から一の身体動作を継続して行う、又は再度行うときに生じる筋活動と、が検出され得る。

0062

身体動作がなされた後の上肢の状態を維持するために生じる筋活動としては、例えば、手の握り動作(パターン4)がなされた後に、第1〜5指が曲げられた状態である手が握られた状態を維持しておくために生じる筋活動である。以後このような筋活動を状態維持筋活動と称する。

0063

一の身体動作がなされた後の上肢の状態から、一の身体動作を継続して行う、又は再度行うときに生じる筋活動としては、例えば、手の握り動作(パターン4)がなされて手が握られた状態となった後に、さらに手の握り動作を行おうとユーザが意図して力を入れる際に生じる筋活動である。この場合、ユーザは、手が握られた状態を維持する状態維持筋活動よりも強く力を入れて手を握る。このような筋活動によっては、身体の変位である上肢の位置・形状の変化が生じない。以後このような筋活動を不変位筋活動と称する。

0064

状態維持筋活動は、ユーザが操作を行うために意図して動作した際に生じるものではない。このため、制御部90が状態維持筋活動を検出した場合には、該検出に基づいて所定の動作を実行させないようにしても良い。不変位筋活動は、上記のようにユーザが操作を行うために意図して動作した際に生じるものである。このため、制御部90が不変位筋活動を検出した場合には、該検出に基づいて所定の動作を実行させるようにしても良い。従って、不変位筋活動を生じる動作は、実施形態における「身体動作(単に動作と称する場合もある)」の一つとして「力動作」と称する。

0065

状態維持筋活動と不変位筋活動とを区別して検出するために、制御部90は、例えば、筋活動検出部70によって検出される筋張力が所定の閾値より小さい場合には、身体動作により生じる筋活動が状態維持筋活動であると判定しても良い。制御部90は、例えば、筋活動検出部70によって検出される筋張力が所定の閾値より大きい場合には、身体動作により生じる筋活動が不変位筋活動である、又は、身体動作が力動作であると判定しても良い。さらに、制御部90は、力動作については、次のように判定してもよい。まず、制御部90は、上記複数のパターンの内の一のパターンの身体動作を検出するとともに、該身体動作の種類に基づいて身体動作後の上肢の位置・形状を含む上肢の状態を推定する。そして、制御部90は、次の身体動作を検出したときに、該状態からは上肢の状態の変化を伴わない身体動作であると判定された場合には、この身体動作が力動作であると判定するようにしても良い。

0066

上記の各パターンにおける身体動作においては、該身体動作がなされる起点となる上肢の状態は、ヒトの身体的特徴から不可能となる場合を除いては、どのような状態であっても良い。例えば、手の掌屈動作(パターン6)を検出する場合に、手首が手のひら側にも手の甲側にも曲げられていない状態を「中立位」とし、(1)手首が手の甲側に所定角度だけ曲げられた状態を起点として、中立位へ遷移する動作、(2)中立位から、手首が手のひら側に所定角度だけ曲げられた状態に遷移する動作、(3)手首が手の甲側に所定角度だけ曲げられた状態を起点として、手首が手のひら側に所定角度だけ曲げられた状態に遷移する動作、を掌屈動作がなされたものと検出しても良い。身体動作がなされる起点となる上肢の状態、又は、身体動作がなされる直前における上肢の状態の違いによって、該身体動作の検出を有効とするか否かを判定しても良い。例えば、上記のように手の掌屈動作(パターン6)を検出する場合には、上記(1)の場合は掌屈動作としての検出を無効にし、上記(2)、(3)の場合は掌屈動作としての検出を有効にする等、適宜定義されて良い。上記(1)、(2)及び(3)のような、起点が異なる身体動作を区別するためには、例えば、身体動作に基づく筋電位データの周波数特性の違い、筋張力の違い、又は筋張力の変化時間の違いに基づいて区別すれば良い。

0067

「中立位」は、身体動作の種類によって適宜定義されて良い。中立位とは異なる上肢の状態から、中立位に遷移する身体動作をパターン12として設定しても良い。

0068

制御部90は、上記パターン1〜11の身体動作の内の複数を組み合わせた身体動作も検出する。

0069

次に、ユーザの身体動作に基づいた所定動作として、表示部20に所定の表示動作を実行させる際の態様について説明する。図4Aは、表示部20の表示動作の一態様の一例を示す図である。図4Bは、表示部の表示動作の一態様の一例を示す図である。図4A図4Bに示すように、例えば、ウェアラブル装置1は、ユーザの一方の上肢である左側の上肢に装着されている。図4Aにおいて、紙面手前側には、ユーザの前腕における橈骨側の側部が描かれている。表示部20は、ユーザの前腕の側部に沿った部分にも表示領域を有している。図4Aの状態は、例えば、手が開いた状態において、該状態を維持するための状態維持筋活動が制御部90によって検出されているが、他の筋活動は検出されていない。従って、筋活動の検出に基づく所定の動作は実行されていない。図4Aの状態は、例えば、事前の身体動作として手の開き動作が行われたが、その後、手が開いた状態を維持するための状態維持筋活動が検出されず、他の身体動作も検出されていない。このとき、ユーザは意図して力を入れていない。従って、筋活動の検出に基づく所定の動作は実行されていない。従って、表示部20には特に画像が表示されていない。

0070

このような状態で、ユーザが前腕の回内動作を行うと、図4Bに示すように、表示部20は、所定画像として、例えば、現在の時刻を示す情報が含まれた画像201を表示する。図4Bにおいて、前腕の回内動作が行われた後の状態として、紙面手前側には、ユーザの前腕における上側の前腕において手の甲と共に視認される部分が描かれている。図4Bにおいて、所定画像201は、表示部20の表示領域において、前腕における上側に沿った部分に対応した箇所に表示されている。

0071

一態様では、ユーザが前腕の回内動作を行うことによって生じる筋電位を筋電位検出部71が検出する。そして、制御部90は、その筋電位に基づいて実際に「前腕の回内動作(パターン10)」がなされたことを検出する。そして、制御部90は、「前腕の回内動作(パターン10)」がなされたことに基づいて、表示部20に、所定画像201を表示する表示動作を実行させるよう制御する。

0072

制御部90は、検出した所定の身体動作に基づいて、ウェアラブル装置1の起動を実行し、例えば、ウェアラブル装置1が別途備えるスピーカによって所定の音を放音させたり、ウェアラブル装置1が別途備える振動装置によって所定の振動をさせたり、ウェアラブル装置1が別途備える点灯装置所定態様点灯させることにより、ウェアラブル装置1が起動したことをユーザに報知するようにしても良い。

0073

以上のように、実施形態に係るウェアラブル装置1は、ユーザの左右の上肢の内、一方の上肢に取り付けられる。ウェアラブル装置1は、筋電位検出部71によって筋電位を検出し、検出された筋電位に基づいて、制御部90が一方の上肢の身体動作を検出し、検出した身体動作に基づいて、表示部20に所定の表示動作を実行させるものである。このような構成により、ウェアラブル装置1は、左右の上肢の内の一方の上肢に取り付けられたウェアラブル装置1に対して、該一方の上肢の動作に基づいて操作が可能となる。これにより、ウェアラブル装置1は、従来のウェアラブル装置と比較して、より多様な操作を可能とすることができる。

0074

ウェアラブル装置1は、ウェアラブル装置1に対する接触操作を要することなく、操作を行うことができる。このため、ウェアラブル装置1は、接触操作によってウェアラブル装置1を汚すことを抑制でき、腕時計型のアクセサリーとしての美観性を保つことができる。

0075

例えば、ユーザの前腕に腕時計が装着され、前腕における外側に文字盤が配されている場合に、ユーザが文字盤を見ようと前腕を回内させることは、ごく自然な身体動作である。これに対し、図4A図4Bに示すウェアラブル装置1では、制御部90が一方の上肢における前腕の回内動作を身体動作として検出し、該身体動作の検出に基づいて所定画像を表示する構成を有する。このような構成により、ウェアラブル装置1が表示する画像をユーザが見ようとする自然な身体動作である前腕の回内動作に伴って、ユーザにとって有用な画像を表示させることができる。このため、ウェアラブル装置1は、ユーザが求める画像を見るためにわざわざ余分な操作又は動作を行わずに済むので、操作性を向上することができる。

0076

回内動作は、前述のように、手の甲がユーザの顔側を向くように前腕を回旋させる身体動作である。これにより、回内動作を行った後はユーザにとって、前腕における外側が視認しやすい状態となる。このため、ウェアラブル装置1は、図4Bに示すように、回内動作に伴った表示動作として、所定画像201を表示する際は、表示部20における前腕の外側に沿った部分の前腕における手の甲に沿った部分の表示領域に該所定画像201を表示する構成としても良い。

0077

一態様では、ウェアラブル装置1が、前腕の回内動作に基づいて表示動作を実行させる構成を示したが、これに限られず、前腕の回外動作に基づいて表示動作を実行させる構成であっても良い。ウェアラブル装置1は、前腕の回内動作と回外動作とを含む回転動作に基づいて表示動作を実行させる構成であって良い。回外動作は、前述のように、手のひらがユーザの顔側を向くように前腕を回旋させる身体動作である。これにより、回外動作を行った後はユーザにとって、前腕における内側の前腕において手のひらと共に視認される部分が視認しやすい状態となる。このため、ウェアラブル装置1は、回外動作に伴った表示動作として所定画像を表示する際は、表示部20における前腕の内側に沿った部分の前腕における手のひらに沿った部分の表示領域に該所定画像を表示する構成としても良い。

0078

上記の例では、図4Aにおいて、手が開いた状態を維持するための状態維持筋活動が検出され、他の筋活動は検出されていない、又は、状態維持筋活動すらも検出されていない状態を示したがこれに限定されない。図4Aにおいて、所定の表示動作を実行させるための他の身体動作が行われている状態であっても良い。他の身体動作に続いて、図4Bの状態に遷移するような身体動作を連続して検出された場合であっても、これに基づく表示動作を実行させるようにしても良い。

0079

次に、ユーザの身体動作に基づいて、表示部20に所定の表示動作を実行させる際の他の態様について説明する。図5Aは、表示部20の表示動作の他の態様の一例を示す図である。図5Bは、表示部20の表示動作の他の態様の一例を示す図である。図5A図5Bでは、ウェアラブル装置1が装着されたユーザの身体部分を示すとともに、ウェアラブル装置1の表示部20の表示内容を別途、拡大して模式的に示している。

0080

図5Aに示すように、ウェアラブル装置1は、例えば、ユーザの一方の上肢に装着されている。このとき、ユーザの一方の上肢における手は、開いた状態にある。この状態は、一態様と同様に、手が開いた状態を維持するための状態維持筋活動が検出され、他の筋活動は検出されていない状態であっても良いし、又は、状態維持筋活動すらも検出されていない状態であっても良い。以後の他の態様についても、所定の身体動作に基づく表示動作の制御について説明するが、身体動作が検出される前の状態は、特記が無い限りは、上記と同様であるものとする。図5Aにおいて、表示部20は、前腕における上側に対応する表示領域に所定画像を表示している。この表示領域には、図5Aに示すように、例えば、所定画像として他のユーザが所有する携帯端末を含む機器からメッセージを受信した旨である着信を報知するための画像である第1画像202が表示されている。メッセージの受信は、通信部40による情報通信によりなされる。第1画像202を表示することで、ユーザは、着信があったことを把握する。

0081

ユーザが第1画像202を視認した後に、手を開いた状態から図5Bに示すように、手を握った状態に移し、手を握る身体動作を行うと、表示部20には、第1画像202の代わりに第2画像203が表示される。第2画像203は、第1画像202に関連付けられる画像である。第2画像203は、例えば、着信したメッセージの内容を示している。

0082

このとき、ユーザが手を握る動作を行うことによって生じる筋電位を筋電位検出部71が検出する。そして、制御部90は、その筋電位に基づいて実際に「手の握り動作(パターン4)」がなされたことを検出する。そして、制御部90は、「手の握り動作(パターン4)」がなされたことに基づいて、表示部20に、第1画像202の表示から第2画像203の表示に遷移する表示動作を実行させるよう制御する。

0083

他の態様では、ユーザの身体動作を検出することに基づいて、第1画像202の表示から第2画像203の表示へと遷移させる例を示したがこれに限らない。例えば、一態様と同様に、ユーザの身体動作を検出することに基づいて、例えば、スリープ状態を含む何も表示されていない状態から、その状態を解除し、例えば、第1画像202又は第2画像203を含む所定画像を表示させた状態へと遷移させるようにしても良い。

0084

以上のように、他の態様におけるウェアラブル装置1は、一態様と同様に、ユーザの左右の上肢の内、一方の上肢に取り付けられる。ウェアラブル装置1は、筋電位検出部71によって筋電位を検出し、検出された筋電位に基づいて、制御部90が一方の上肢の身体動作を検出し、検出した身体動作に基づいて、表示部20に所定の表示動作を実行させるものである。このような構成により、ウェアラブル装置1は、左右の上肢の内の一方の上肢に取り付けられたウェアラブル装置1に対して、該一方の上肢の動作に基づいて操作が可能となる。これにより、ウェアラブル装置1は、従来のウェアラブル装置と比較して、より多様な操作を可能とすることができる。

0085

他の態様におけるウェアラブル装置1では、制御部90が一方の上肢における手の動作を、身体動作として検出する構成を有する。このような構成により、ウェアラブル装置1は、ウェアラブル装置1が装着された前腕を動かすことなく、手の身体動作によって表示部20に所定の表示動作を実行させることができる。このため、ウェアラブル装置1は、身体動作時に表示部20の位置が動くことなく、ユーザは表示部20の表示動作が起こったことを視認しながら操作を行うことができる。このように、ウェアラブル装置1は、ユーザの操作性を向上することができる。

0086

他の態様におけるウェアラブル装置1は、手の身体動作として、握り動作を検出したことに基づいて、表示部20に所定の表示動作を実行させるものとしたが、これに限らない。ウェアラブル装置1は、例えば、手の開き動作を検出したことに基づいて、表示部20に所定の表示動作を実行させるものとしても良い。

0087

次に、ユーザの身体動作に基づいて、表示部20に所定の表示動作を実行させる際の他の態様について説明する。図6Aは、表示部20の表示動作の他の態様の一例を示す図である。図6Bは、表示部20の表示動作の他の態様の一例を示す図である。図6A及び図6Bにおいても、図5A及び図5Bと同様、ウェアラブル装置1が装着されたユーザの身体部分を示すとともに、ウェアラブル装置1の表示部20の表示内容を別途、拡大して模式的に示している。

0088

図6Aに示すように、ウェアラブル装置1は、例えば、ユーザの一方の上肢に装着されている。このとき、ユーザの一方の上肢における手は、握られた状態にある。ユーザの一方の上肢における手は、第1〜5指の何れもが曲げられた状態である。表示部20は、前腕おける外側に対応する表示領域に所定画像を表示している。この表示領域には、上述の態様と同様に、例えば、所定画像として着信を報知するための画像である第1画像202が表示されている。

0089

ユーザが第1画像202を視認した後に、第1〜5指の何れもが曲げられた状態から図6Bに示すように、第2指を伸展させた状態に移し、第2指の伸展動作を行うと、表示部20には、第1画像202の代わりに第2画像203が表示される。第2画像203は、第1画像202に関連付けられる画像である。第2画像203は、例えば、着信したメッセージの内容を示している。

0090

このとき、ユーザが第2指を伸展させる動作を行うことによって生じる筋電位を筋電位検出部71が検出する。そして、制御部90は、その筋電位に基づいて実際に「第2指の伸展動作(パターン2)」がなされたことを検出する。そして、制御部90は、「第2指の伸展動作(パターン2)」がなされたことに基づいて、表示部20に、第1画像202の表示から第2画像203の表示に遷移する表示動作を実行させるよう制御する。

0091

以上のように、他の態様におけるウェアラブル装置1は、上述の態様と同様に、左右の上肢の内の一方の上肢に取り付けられたウェアラブル装置1に対して、該一方の上肢の動作に基づいて操作が可能となる。これにより、ウェアラブル装置1は、従来のウェアラブル装置と比較して、より多様な操作を可能とすることができる。

0092

他の態様におけるウェアラブル装置1では、制御部90が一方の上肢における指の動作を、身体動作として検出する構成を有する。このような構成により、ウェアラブル装置1は、ウェアラブル装置1が装着された前腕を動かすことなく、指の身体動作によって表示部20に所定の表示動作を実行させることができる。このため、ウェアラブル装置1は、身体動作時に表示部20の位置が動くことなく、ユーザに表示部20の表示動作が起こったこと視認させながら操作を実行させることができる。このように、ウェアラブル装置1は、ユーザの操作性を向上することができる。

0093

他の態様におけるウェアラブル装置1は、手の身体動作として、指の伸展動作を検出したことに基づいて、表示部20に所定の表示動作を実行させるものとしたが、これに限らない。ウェアラブル装置1は、例えば、指の曲げ動作を検出したことに基づいて、表示部20に所定の表示動作を実行させるものとしても良い。

0094

次に、ユーザの身体動作に基づいて、表示部20に所定の表示動作を実行させる際の他の態様について説明する。図7Aは、表示部20の表示動作の他の態様の一例を示す図である。図7Bは、表示部20の表示動作の他の態様の一例を示す図である。他の態様は、上述の態様と同様、身体動作として前腕の回転動作を検出することにより、表示部20に所定の表示動作を実行させるものである。

0095

図7Aは、ユーザの一方の上肢の前腕における外側が示されている。図7Bは、ユーザの一方の上肢の前腕における内側が示されている。表示部20は、前腕の外側部分に沿って配置される第1表示領域22と前腕の内側部分に沿って配置される第2表示領域23とを有する。表示部20は、それぞれの表示領域に異なる画像を表示する。図7Aに示すように、手の甲側の第1表示領域22には、例えば、現在の時刻を示す情報が含まれた画像204が表示されている。図7Bに示すように、手のひら側の第2表示領域23には、例えば、各種アプリケーションを実行するための各アイコンが表示された所謂ホーム画面である画像205が表示されている。

0096

一般的に、前腕における内側を正視している状態では、前腕における外側を正視することは不可能である。前腕における外側を正視している状態では、前腕における手の内側を正視することは不可能である。従って、前腕における外側に対応した第1表示領域22と前腕における内側に対応した第2表示領域23とを同時に正視することも不可能である。そのため、第1表示領域22と第2表示領域23の内、ユーザが視認している一方の表示領域に所定画像を表示することができれば、ユーザが視認していない他の表示領域に画像を表示することに依る電力の無駄な消費を抑えることができる。ユーザが第1表示領域22と第2表示領域23の内の何れを視認しているか、又は、視認しやすい状態にあるかは、例えば、前述したように、回内動作が行われたか、又は、回外動作が行われたかによって判断する。

0097

ウェアラブル装置1は、制御部90が回内動作を検出した場合、図7Aに示されるように、前腕における外側が視認され易い状態にあるものとして第1表示領域22に所定画像を表示する構成を有していて良い。ウェアラブル装置1は、制御部90が回外動作を検出した場合、図7Bに示されるように、前腕における内側が視認され易い状態にあるものとして第2表示領域23に所定画像を表示する構成を有していて良い。

0098

以上のように、他の態様におけるウェアラブル装置1は、制御部90が回内動作を検出したことに基づいて、ユーザが視認している一方の表示領域に所定画像を表示することができる。このように、ウェアラブル装置1は、ユーザの操作性を向上することができる。しかも、ウェアラブル装置1は、ユーザが視認している一方の表示領域に所定画像を表示し、ユーザが視認していない他の表示領域には画像を非表示とすることができる。このため、ウェアラブル装置1は、電力の無駄な消費を抑えることができる。

0099

次に、ユーザの身体動作に基づいて、表示部20に所定の表示動作を実行させる際の他の態様について説明する。図8Aは、表示部20の表示動作の他の態様の一例を示す図である。図8Bは、表示部20の表示動作の他の態様の一例を示す図である。図8Cは、表示部20の表示動作の他の態様の一例を示す図である。図8Dは、表示部20の表示動作の他の態様の一例を示す図である。図8Aにおいて、ウェアラブル装置1が装着された一方の上肢における前腕の側部が示されている。この前腕の側部は、一方の上肢における母指側である。表示部20において、前腕の側部に沿って配置された第3表示領域24が示されている。第3表示領域24は、前腕における外側に対応した第1表示領域22と前腕における内側に対応した手のひら側の第2表示領域23との間に配置された領域である。図8Aにおいて、第3表示領域24には、複数の表示画像候補206〜208が表示されている。

0100

図8Aに示すような、前腕の側部に沿って配置された第3表示領域24が視認される状態は、例えば、図7Aに示されるような、前腕における外側に対応した第1表示領域22が視認され易い状態から回外動作を行い、図7Bに示されるような、前腕における内側に対応した第2表示領域23が視認され易い状態に遷移する途中で、該回外動作を中止した場合に取り得る。図8Aに示すような状態は、図7Bに示されるような、前腕における内側に対応した第2表示領域23が視認され易い状態から回内動作を行い、図7Aに示されるような、前腕における外側に対応した第1表示領域22が視認され易い状態に遷移する途中で、該回内動作を中止した場合に取り得る。

0101

そこで、制御部90は、前腕の回転動作を検出するときに、その回転量を算出し、回転量が所定値より小さい場合には、図8Aに示すような、前腕の側部に沿って配置された第3表示領域24が視認される状態となっているものと判定する。そして、このように判定されると、制御部90は、第1表示領域22又は第2表示領域23に替えて、第3表示領域24に所定画像を表示するよう表示部20を制御する。

0102

以上のように、他の態様におけるウェアラブル装置1は、このような構成とすることで、前腕における外側、内側ではなく、前腕の側部が視認されていると見なされるときには、該側部に沿って配置された表示領域に画像を表示することができる。このため、ユーザは表示を見易くするためにわざわざ身体を動かす必要がなくて済む。このように、ウェアラブル装置1は、ユーザの操作性を向上することができる。

0103

再度図8Aから図8Dを参照すると、図8Aにおいて、第3表示領域24には、複数の表示画像候補206〜208が表示されている。表示画像候補206〜208は、ユーザによる所定操作によって、何れかが選択できるようになっている。例えば、図8Aにおいては、表示画像候補206〜208の内、真中に配置されて表示されている表示画像候補207が選択された状態となっている。

0104

例えば、図8Bに示すように、ユーザが手の身体動作として、掌屈動作を行うと、表示部20による表示動作の態様が図8Cに示す状態に遷移する。図8Bにおける掌屈動作は、前述したように手首を手のひら側に曲げる身体動作である。該掌屈動作は、図8Bにおいて矢印で示すように、右方向に手首を曲げる動作である。図8Aにおいて最も右側に表示された表示画像候補208は、右方向に手首を曲げる動作に伴って、図8Cにおいて表示されなくなる。図8Aにおいて真中に表示された表示画像候補207及び最も左側に表示された表示画像候補206は、右方向に手首を曲げる動作に伴って、図8Cに示すようにそれぞれ右隣に移動して表示される。そして、真中に移動して表示された表示画像候補206は、最も右側に移動した表示画像候補207に替わって、選択されている状態に遷移する。図8Aにおいて表示画像候補206が表示されていた最も左側の領域には、図8Cにおいては新たな表示画像候補209が表示される。

0105

このように、他の態様におけるウェアラブル装置1は、表示部20に複数の表示画像候補が表示されている場合に、制御部90が所定の身体動作を検出すると、該身体動作に基づいて複数の表示画像候補の何れかを選択可能とし、身体動作の動作方向と同じ方向に複数の表示画像候補のそれぞれを移動して表示させる構成とした。このため、ウェアラブル装置1は、ユーザの自然な身体動作によって表示画像候補の選択を実現できる。このように、ウェアラブル装置1は、ユーザの操作性を向上することができる。

0106

ウェアラブル装置1は、制御部90が検出する身体動作の動作回数に基づいて、表示画像候補の移動の態様を変更するようにしても良い。ウェアラブル装置1は、例えば、図8A及び図8Bに示されるように、制御部90が掌屈動作を1回検出すると、複数の表示画像候補が1画像分だけ隣に移動する。ウェアラブル装置1は、例えば、制御部90が掌屈動作を複数回検出すると、複数の表示画像候補が複数画像分だけ隣に移動するようにしても良い。

0107

再度図8Aから図8Dを参照すると、ウェアラブル装置1は、右方向に手首を曲げる動作である掌屈動作に伴って、複数の表示画像候補のそれぞれを右隣に移動させている。ウェアラブル装置1は、掌屈動作と相反する動作である左方向に手首を曲げる動作である背屈動作を行った場合には、複数の表示画像候補のそれぞれを左隣に移動させるようにしても良い。このように、ウェアラブル装置1は、掌屈動作と背屈動作によって、複数の表示画像候補のそれぞれを相反する方向に移動させるようにしても良い。

0108

ウェアラブル装置1は、図8Cにおいて、表示画像候補206、例えば他のユーザとのメッセージのやり取りを表示するための画面が真中に表示され、選択されている状態である。ウェアラブル装置1は、制御部90が前腕の回内動作を検出すると、図8Dに示すように、他の表示画像候補の表示が消え、表示画像候補206が表示され選択決定される。回内動作を行うと、前述したように前腕における外側が視認されやすくなる。回内動作を行うと、前腕における外側に沿って配置される第1表示領域22が視認されやすくなる。このため、表示画像候補206の選択表示図8Dに示すように第1表示領域22に表示するようにしても良い。

0109

他の態様におけるウェアラブル装置1は、回内動作を行うことにより、第1表示領域22に表示画像候補206を選択表示する構成を例示したが、この構成に限らない。例えば、ウェアラブル装置1は、図8Cの状態から制御部90が回外動作を検出すると、第2表示領域23に表示画像候補206を選択表示する構成としても良い。

0110

他の態様において、ウェアラブル装置1は、第1動作となる掌屈動作に伴って、複数の表示画像候補のそれぞれを右隣に移動させ、掌屈動作と相反する第2動作となる背屈動作に伴って、複数の表示画像候補のそれぞれを左隣に移動させて表示する構成を示した。ウェアラブル装置1は、掌屈動作又は背屈動作の動作回数を算出してカウントし、動作回数に基づいて、表示画像候補の移動の回数を変更する構成を示した。このような場合、ユーザは1回目の第1動作を行った後、続いて2回目の第1動作を行おうとしたときに、再度第1動作を行える状態とするために、第1動作と相反する第2動作を一度行わなければならなくなる。他の態様において、ユーザは1回目の掌屈動作を行った後、続いて2回目の掌屈動作を行おうとしたときに、再度掌屈動作を行える状態とするために背屈動作を一度行わなければならなくなる。このような場合、ユーザは、掌屈動作を複数回行うことによって、表示画像候補を所定方向へ複数回移動させたいのにも関わらず、掌屈動作を複数行うために相反する背屈動作を行なってしまい、表示画像候補がユーザの求める方向とは逆の方向に移動してしまうことになる。

0111

制御部90は、再度第1動作を行える状態とするために行う、第1動作と相反する第2動作の動作検出を無効とするために、次のような手段を取り得る。

0112

一の手段として、制御部90は、第1動作を検出してから所定時間以内に検出された第2動作に対しては動作検出を無効にするようにしても良い。制御部90は、第1動作を検出してから所定時間以内に検出された第2動作に対しては、第2動作に基づく表示部20による表示動作の実行を無効にするようにしても良い。他の態様において、制御部90は、例えば、掌屈動作を検出してから所定時間以内に検出された背屈動作に対しては動作検出を無効にするようにしても良い。制御部90は、例えば、掌屈動作を検出してから所定時間以内に検出された背屈動作に対しては、該第2動作に基づく表示部20による表示動作の実行を無効にするようにしても良い。所定時間は、例えば0.1秒に設定される。

0113

別の手段として、第1動作が行われた状態と、第2動作が行われた状態と、の間の状態を「中間位」として検出し、1回目の第1動作が検出され、第1動作が行われた状態から「中間位」に遷移するような動作に対しては、制御部90は、第2動作となる検出を無効にしても良い。第1動作が行われた状態を起点として、第1動作と相反する第2動作が行われた状態へ遷移するような動作に対しては、制御部90は、第2動作となる検出を有効にしても良い。制御部90は、身体動作を検出する直前の身体の状態に基づいて、表示動作の内容を異ならせても良い。他の態様において、前述したように、手首が手のひら側にも手の甲側にも曲げられていない状態を「中立位(中間位)」とし、1回目の掌屈動作が検出され、手首が手のひら側に所定角度だけ曲げられた状態となった場合、制御部90は、該状態から「中立位」に遷移するような動作に対して、背屈動作の検出を無効にしても良い。制御部90は、手首が手のひら側に所定角度だけ曲げられた状態を起点として、手首が手の甲側に所定角度だけ曲げられた状態へ遷移するような動作に対して、背屈動作としての検出を有効にしても良い。

0114

さらに別の手段として、制御部90は、第1動作を検出してから第2動作を検出するまでの第1時間と、第1動作を検出してから第2動作を検出するまでの第2時間と、を算出し、第1時間と第2時間に基づいて第1動作と第2動作の内の一方のカウントを有効にするようにしても良い。他の態様において、制御部90は、例えば、掌屈動作を検出してから背屈動作を検出するまでの第1時間と、背屈動作を検出してから掌屈動作を検出するまでの第2時間と、を算出し、第1時間と第2時間に基づいて掌屈動作と背屈動作の内の一方のカウントを有効にするようにしても良い。

0115

例えば、第1時間が第2時間よりも短い場合には、ユーザが次の動作として、掌屈動作を直ぐにでも行いたい状態であると捉えられる。このため、制御部90は、掌屈動作のカウントを有効にするようにしても良い。逆に第2時間が第1時間よりも短い場合には、ユーザが次の動作として、背屈動作を直ぐにでも行いたい状態であると捉えられる。このため、制御部90は、背屈動作のカウントを有効にするようにしても良い。

0116

次に、ユーザの身体動作に基づいて、表示部20に所定の表示動作を実行させる際の他の態様について説明する。図9Aは、表示部20の表示動作の他の態様の一例を示す図である。図9Bは、表示部20の表示動作の他の態様の一例を示す図である。図9Cは、表示部20の表示動作の他の態様の一例を示す図である。図9Dは、表示部20の表示動作の他の態様の一例を示す図である。他の態様において、ウェアラブル装置1は、接触操作部30としてのタッチセンサが表示部20に重畳されて配置されている。ウェアラブル装置1は、表示部20に表示された画面に対して接触操作可能になっている。図9Aでは、前腕に装着されたウェアラブル装置1の表示部20に表示された画像に対して、他方の上肢である右側の上肢によって接触操作可能である状態が示されている。

0117

図9Aでは、ユーザの一方の上肢における手は第1〜5指の何れもが曲げられた状態である。表示部20の表示領域21には、例えば、他のユーザとのメッセージのやり取りを表示するための画面210が表示されている。制御部90が身体動作の内の第1身体動作として、例えば「第2指の伸展動作(パターン2)」を検出すると、表示部20は、図9Bに示すように、第1の接触操作受付画面として文字入力画面211を表示する。第1の接触操作受付画面としての文字入力画面211は、仮名文字入力を行うための画面である。

0118

次に、図9Bに示す状態で、制御部90が身体動作の内の第2身体動作として、例えば「第3指の伸展動作(パターン2)」を検出すると、表示部20は、図9Cに示すように、第2の接触操作受付画面として文字入力画面212を表示する。第2の接触操作受付画面としての文字入力画面212は、英字入力を行うための画面である。

0119

図9Bに示す状態から図9Cに示す状態へ遷移するときに、図9Bに示す状態において第2指を伸展させていた状態を維持しつつ、第3指の伸展動作が行われる例が示されているが、これに限られない。ウェアラブル装置1は、例えば、図9Bに示す状態から図9Cに示す状態へ遷移するときに、第2指を伸展させていた状態を解除して第2指を曲げつつ、第3指を伸展させる場合も該身体動作の検出も有効としても良い。

0120

ウェアラブル装置1は、第1身体動作が検出されてから他の身体動作が検出されるまでは第1の接触操作受付画面を表示し続け、第2身体動作が検出されてから他の身体動作が検出されるまでは第2の接触操作受付画面を表示し続けるようにしても良い。

0121

次に、図9Cでは、表示領域21にユーザによって入力された「○○さんからTEL」が表示され、次の文字入力受け付ける旨のアンダーバーが併せて表示されている状態が示されている。制御部90が身体動作の内の第3身体動作として「手の握り動作(パターン4)」を検出すると、表示部20は、図9Dに示すように、文字入力を完了し、アンダーバーの表示が消去された状態に表示を遷移する。

0122

例えば、ウェアラブル装置1が接触操作部30を備えていると、該接触操作部30に対して、ウェアラブル装置1が装着された方の上肢における指で接触操作を行うことは困難である。従って、接触操作部30に対しては、ウェアラブル装置1が装着された方の上肢とは反対側の他方の上肢によって操作されるのが通常である。

0123

これに対し、他の態様におけるウェアラブル装置1は、接触操作の検出とは異なって、ウェアラブル装置1が装着された方の上肢の身体動作により生じる筋電位に基づいて所定の操作を検出する構成とした。このため、ウェアラブル装置1は、該上肢の指の動作に基づいた操作が可能となる。これにより、ウェアラブル装置1は、筋電位に基づいた操作検出を行わない従来の場合と比較して、より多様な操作を実現することができる。

0124

他の態様において、第1身体動作として「第2指の伸展動作」を、第2身体動作として「第3指の伸展動作」を、それぞれ行う例が示されているが、それぞれの動作を行うための指は、第1〜第5指の何れであっても良い。それぞれの動作は、指の伸展動作に限らず、指が伸展されている状態において指を曲げる動作としても良い。それぞれの動作は、第1指と第2〜5指の何れかとのつまみ動作としても良い。それぞれの動作は、指の動作に限らず、手の動作又は前腕の動作において、それぞれ別個に検出可能な動作を適用しても良い。

0125

ヒトの身体組織的な特徴によれば、第1〜第5指の身体動作を司る筋肉は前述したように同一である。特に、小指を動作させるために筋肉へ伝達される信号と薬指を動作させるために筋肉へ伝達される信号とを分離することは難しい。このため、小指と薬指とが同時に曲がってしまう、又は伸展してしまうことは多くあり得る。

0126

従って、上記の第1動作を一の指の動作とし、上記の第2動作を一方の上肢における他の指の動作とする場合には、第1動作と第2動作のそれぞれに小指と薬指のそれぞれを割り当てないようにしても良い。一の指が小指又は薬指である場合は、他の指には薬指と小指以外の指を割り当てるようにしても良い。

0127

次に、ユーザの身体動作に基づいて、表示部20に所定の表示動作を実行させる際の他の態様について説明する。図10Aは、表示部20の表示動作の他の態様の一例を示す図である。図10Bは、表示部20の表示動作の他の態様の一例を示す図である。図10Cは、表示部20の表示動作の他の態様の一例を示す図である。図10Dは、表示部20の表示動作の他の態様の一例を示す図である。図10Aに示すように、ウェアラブル装置1は、ユーザの一方の上肢に装着されており、何れの指も曲げられた状態である。表示部20における表示領域21の全体には、日時に関する情報を含んだ画像213が表示されている。表示領域21における左辺近傍の端部領域に画像214が画像213に重畳されて表示されている。表示領域21における上辺近傍の端部領域に画像215が画像213に重畳されて表示されている。表示領域21における左上の角部に画像216が画像213に重畳されて表示されている。

0128

第2〜5指の内の一つの指として例えば第2指の伸展動作が行われたことを制御部90が検出すると、図10Bに示すように、表示領域21における左辺近傍の端部領域に表示されている画像214が、第2指が伸展する方向である右方向に拡大されて表示される。拡大表示された画像214は、例えば、音楽再生アプリケーションに関する操作項目を含んだ画像である。拡大表示された画像214は、ウェアラブル装置1が装着された側の上肢とは反対側の他方の上肢による接触操作を含む操作により操作可能である。拡大表示される前の画像214には、例えば、現在再生中の楽曲名を含む、拡大表示された後の画像214に表示される情報量よりも少ない量の情報を表示していても良い。

0129

制御部90は、第2指の伸展動作を検出するとともに、第2指の伸展量又は曲がり量に基づいて、画像214の拡大率を変更するようにしても良い。例えば、制御部90は、第2指がより伸展するに従って、又は、曲がり量が減少するに従って、画像214をより拡大して表示するようにしても良い。指の曲がり量とは、例えば、指の各関節の曲がり角度である。

0130

図10Bに示すように、画像214が拡大表示された状態で、第2指の曲げ動作が行われたことを制御部90が検出すると、図10Aの状態に戻るようにしても良い。

0131

次に、図10Aに示す状態で、第1指の伸展動作が行われたことを制御部90が検出すると、図10Cに示すように、表示領域21における下辺近傍の端部領域に表示されている画像215が、第1指が伸展する方向である下方向に拡大されて表示される。拡大表示された画像215は、例えば、健康管理アプリケーションに関する各種情報を含んだ画像である。拡大表示された画像215は、ウェアラブル装置1が装着された側の上肢とは反対側の他方の上肢による接触操作を含む操作により操作可能である。拡大表示される前の画像215には、例えば、歩数を含む、拡大表示された後の画像215に表示される情報量よりも少ない量の情報を表示していても良い。

0132

制御部90は、第1指の伸展動作を検出するとともに、第1指の伸展量又は曲がり量に基づいて、画像215の拡大率を変更するようにしても良い。制御部90は、例えば、第1指がより伸展するに従って、又は、曲がり量が減少するに従って、画像215をより拡大して表示するようにしても良い。

0133

図10Cに示すように、画像215が拡大表示された状態で、第1指の曲げ動作が行われたことを制御部90が検出すると、図10Aの状態に戻るようにしても良い。

0134

図10Bに示すように、第2指が伸展された状態から、第1指の伸展動作が行われたことを制御部90が検出すると、図10Cに示すように画像215を拡大表示するようにしても良い。このとき、画像215は、画像214に重畳されて表示される。

0135

次に、図10Aに示す状態で、第2〜5指の内の一つの指、例えば第2指の伸展動作と第1指の伸展動作とが同時に行われたことを制御部90が検出すると、図10Dに示すように、表示領域21における左上の角部に表示されている画像216が、第2指が伸展する方向である右方向と第1指が伸展する方向である下方向に拡大されて表示される。拡大表示された画像216は、例えば、各種アプリケーションを実行可能な複数のアイコンが表示された所謂ホーム画面である。

0136

以上のように、他の態様におけるウェアラブル装置1は、伸展動作を行う指の違いによって表示させる画像を異ならせている。このように、ウェアラブル装置1は、身体動作を行う指の違いによって表示させる画像を異ならせている。このような構成により、ウェアラブル装置1は、ウェアラブル装置1が装着された一方の上肢の身体動作によって、ユーザがより多くの情報を確認することができる。

0137

図10Aに示すように、指の伸展動作を行っていない状態においては、画像214〜216を表示させることなく、指の伸展動作を検出したときに、画像214〜216の何れかが新たに挿入されるように表示されても良い。このとき、身体動作の方向である指の伸展方向と画像214〜216の挿入される方向が一致するようにしても良い。指の伸展量に基づいて画像214〜216の挿入される大きさを変更するようにしても良い。

0138

次に、ユーザの身体動作に基づいて、表示部20に所定の表示動作を実行させる際の他の態様について説明する。図11Aは、表示部20の表示動作の他の態様の一例を示す図である。図11Bは、表示部20の表示動作の他の態様の一例を示す図である。図11A図11Bにおいては、ウェアラブル装置1の表示部20における手の甲側の表示領域21に表示される表示内容を別途、拡大して模式的に示している。

0139

他の態様においては、所定の身体動作として、例えば、指の身体動作である曲げ動作と伸展動作と、手の身体動作である掌屈動作と背屈動作とによってスクロール操作を行う例を示している。スクロール操作は、表示領域内で収まりきらない表示内容がある場合に、部分的な表示内容だけを表示し、必要に応じて表示内容を移動させる操作である。

0140

図11A及び図11Bに示すように、表示領域21には、例えば、ウェブブラウザアプリケーションを実行したときに閲覧可能な各種情報が表示されている。表示領域21における右辺に沿ってスクロールバーが表示されている。スクロールバーは、全表示内容の内のどの部分の表示内容が表示されているかを示すバーである。

0141

図11A及び図11Bに示すように、例えば、ウェアラブル装置1が装着された一方の上肢における手の動作、例えば掌屈動作と、指の動作、例えば曲げ動作との少なくとも一方を所定の身体動作として検出すると、該身体動作に基づいてスクロール操作が実行される。このとき、制御部90は、例えば指の曲がり量又は手首の曲がり量を算出し、算出した曲がり量に基づいてスクロールさせる量である画像の移動量を変更するようにしても良い。ウェアラブル装置1において、制御部90は、一方の上肢の身体動作に伴う身体の変位量を算出し、表示部20の表示動作として、算出した変位量に基づいて表示内容を変更する構成であっても良い。ウェアラブル装置1は、このような構成により、一の身体動作で多様な操作を可能とする。

0142

図11Aに示すように、ウェアラブル装置1は、例えば、掌屈動作を行うことなく指の曲げ動作が行われたことを制御部90が検出すると、表示内容を第1の移動量だけスクロールさせる。図11Bに示すように、ウェアラブル装置1は、例えば、掌屈動作を伴って指の曲げ動作が行われたことを制御部90が検出すると、表示内容を第1の移動量よりも大きな第2の移動量だけスクロールさせる。ウェアラブル装置1は、例えば、掌屈動作を行うことなく指の曲げ動作が行われたことを制御部90が検出すると、表示内容を第1の移動速度でスクロールさせる。図11Bに示すように、ウェアラブル装置1は、例えば、掌屈動作を伴って指の曲げ動作を行うと、表示内容を第1の移動速度よりも速い第2の移動速度でスクロールさせる構成であっても良い。

0143

以上のように、他の態様におけるウェアラブル装置1は、制御部90が手の動作と指の動作の内の一方を検出した場合に、表示部20に第1の表示動作を実行させ、制御部90が手の動作と指の動作の双方を検出した場合に、表示部20に第2の表示動作を実行させる構成を有する。この構成によって、他の態様におけるウェアラブル装置1は、複数の身体動作のそれぞれを組み合わせた動作に対して、それぞれ単体の身体動作に基づく表示動作とは異なる表示動作を割り当てることができる。これにより、ウェアラブル装置1は、より多様な操作を実現することができる。

0144

前述のように、他の態様におけるウェアラブル装置1は、第2の表示動作である手の動作と指の動作の内の双方の検出に基づく動作により所定画像を移動させる第2の移動量の方が、第1の表示動作である手の動作と指の動作の内の一方の検出に基づく動作により所定画像を移動させる第1の移動量よりも大きくしても良い。これによって、より大きな身体動作を行うことで、より大きな移動量だけ所定画像をスクロールできる。このため、ウェアラブル装置1は、ユーザにとって使い勝手を良くすることができる。

0145

同様に、他の態様におけるウェアラブル装置1は、第2の表示動作である手の動作と指の動作の内の双方の検出に基づく動作により所定画像を移動させる第2の移動速度の方が、第1の表示動作である手の動作と指の動作の内の一方の検出に基づく動作により所定画像を移動させる第1の移動速度よりも速くしても良い。これによって、より大きな身体動作を行うことで、より早い移動速度で所定画像をスクロールできる。このため、ウェアラブル装置1は、ユーザにとって使い勝手を良くすることができる。

0146

上記の例では、手の掌屈動作と指の曲げ動作とを所定の身体動作として制御部90が検出する場合を示したが、手の背屈動作と指の伸展動作も同様に制御部90が検出するものとして良い。この場合、手の背屈動作と指の伸展動作によるスクロールの方向は、手の掌屈動作と指の曲げ動作の場合と逆方向とすれば良い。例えば、指の曲げ動作又は手の掌屈動作を伴った指の曲げ動作により所定画像をスクロールしている最中に、指の伸展動作又は手の背屈動作を伴った指の伸展動作を制御部90が検出すると、スクロールを途中で停止するようにしても良い。

0147

上記の例では、身体動作における身体の変位量に基づいて、表示内容をスクロールさせる量を変更する構成を示したが、これに限定されない。ウェアラブル装置1は、例えば、音楽再生アプリケーションの起動中に表示される音量変更バー、動作再生アプリケーションの起動中に、データの再生箇所を示すために表示されるシークバーを含む所定のパラメータの変更を可能とするオブジェクトを表示し、身体動作に基づいて、所定のパラメータを変更する構成としても良い。ウェアラブル装置1は、例えば、音楽再生アプリケーションの起動中に、指の身体動作によって音量変更バーを操作する。例えば、指を伸展させたときには、その伸展量又は変位量に基づいて音量を上げるようにし、一方で、指を曲げたときには、その曲がり量又は変位量に基づいて音量を下げるようにしても良い。

0148

上肢の指が曲げられている状態では、音量変更操作を行うために一度、指の伸展動作を行わざるを得なくなる。この場合、ユーザが意図していないのに、勝手に音量が上がってしまい、不快な思いをすることになりかねない。このような状況に鑑みて、他の態様におけるウェアラブル装置1においては、例えば指が完全に曲がった状態と、指が完全に伸展した状態と、の間の所定状態中間状態として検出し、身体動作による指の曲げ状態が一度、中間状態となったことを契機として、指の身体動作に伴う変位量である曲がり量又は伸展量の算出を開始するようにしても良い。ウェアラブル装置1において、制御部90は、第1動作が行われた状態と、該第1動作と相反する第2動作が行われた状態と、の間の所定の中間状態を検出し、身体動作によって身体の状態が中間状態となったことを契機として身体の変位量の算出を開始する構成であっても良い。ウェアラブル装置1は、このような構成により、上肢の指が曲げられている状態から、音量調整操作を行うために一度、指の伸展動作を行わざるを得なくなっても、指の曲がり状態が中間状態になるまでは音量変更を行わないようにすることができる。これにより、ウェアラブル装置1は、例えば、不当に音量が変更されることによってユーザが不快な思いをしてしまう事態を回避することができる。

0149

他の態様において、ウェアラブル装置1は、上記の中間状態を基準状態として、該基準状態から身体が変位した量を身体動作による身体の変位量として算出するようにして良い。上記の例では、制御部90は指の曲がり量の変化を検出し、中間状態における指の曲がり量に対して変化した量を身体の変位量として算出すれば良い。

0150

身体動作に伴う身体の変位量、例えば、指の曲がり量は、例えば、特開2010−125287に開示されている指の関節角度推定手法を用いることで算出可能である。

0151

図11A及び図11Bに示す態様において、ウェアラブル装置1では、身体動作に基づいてパラメータを変更する構成を示したが、これに限定されない。他の態様について以下で説明する。図12Aは、表示部20の表示動作の他の態様の一例を示す図である。図12Bは、表示部20の表示動作の他の態様の一例を示す図である。

0152

図12Aでは、表示部20の表示領域21に各種アプリケーションを実行するための各アイコンが表示された所謂ホーム画面である画像218が表示されている。ウェアラブル装置1が装着された一方の上肢における手は握られた状態である。所定の身体動作として手の開き動作を検出すると、図12Bに示すように画像218は拡大表示される。

0153

このとき、制御部90は、手が握られた状態から手が開かれた状態に遷移するときの手の開き量である変位量を算出し、算出した変位量に基づいて画像218の拡大率を変更して表示内容を変更するようにしても良い。制御部90は、手が開いた状態から手が握られた状態に遷移したことを検出した場合には、各指が曲げられる量に応じて画像218を縮小するようにしても良い。

0154

以上のように、他の態様におけるウェアラブル装置1は、ユーザの一方の上肢における身体動作に基づいて、所定画像を拡大表示する構成を有する。このような構成により、ウェアラブル装置1は、例えばユーザの他方の上肢における接触操作を行う際に、所定画像中の所望のオブジェクトに接触し易くすることができる。

0155

画像が拡大表示されると元の画像の一部の表示内容が表示され、他の表示内容が表示されなくなる。表示されなくなった他の表示内容は、例えば、スクロール操作を行うことにより移動させて表示されるようにしても良い。この場合、手の開き動作及び握り動作又は指の伸展動作及び曲げ動作によって、画像の拡大、縮小を行えるようにしているため、スクロールを行うための身体動作としては、手首の曲げ動作として掌屈、背屈、橈屈又は尺屈を適用しても良い。

0156

以上、実施形態を諸図面に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。従って、これらの変形又は修正は実施形態の範囲に含まれることに留意されたい。さらに、本明細書において開示される全ての技術的事項は、矛盾しないように再配置可能であり、複数の構成部を1つに組み合わせたり、又は分割したりすることが可能である。

0157

制御部90は、一方の上肢における力動作を検出し、力動作が検出されてから所定時間内に身体動作が検出された場合には該身体動作の検出を有効にし、力動作が検出されてから所定時間外に身体動作が検出された場合には該身体動作の検出を無効にする構成としても良い。

0158

上記で説明した「力動作」は、通常、ユーザが意図しない動作によっては行われ難い。「力動作」は、ユーザが意図して行わないとウェアラブル装置1によって検出され難い。従って、ユーザの上肢の身体動作により所定の操作を行う上で、実際に操作として受け付けるための条件として、ユーザが意図して行う身体動作を要求するようにした。このため、ウェアラブル装置1は、ユーザが意図していない動作によって誤操作されてしまうことを防ぐことができる。「力動作」の替わりに、ユーザが意図して行わないと検出され難い他の身体動作を適用しても良い。このような身体動作としては、例えば、第1指と第2指から第5指のいずれかの指とのつまみ動作(パターン3)のような、つまみ動作が適用されて良い。

0159

指の伸展動作により所定動作を実行させたい、又は、所定操作を行いたい場合に、単に指が伸展されたことを検出するのではなく、指をはじく動作を伴って指が伸展動作された場合に、該動作を伸展動作として検出するようにしても良い。「指をはじく動作」とは、例えば、第2〜5指の内の所定の指が曲げられた状態で、該所定の指を伸展させようと力を入れつつ、第1指で外側から抑えつけることによりその伸展動作を抑制した状態を作り、この状態から第1指を離すことで、所定の指を勢いよく外側に伸展させる動作が挙げられる。所定の指が第1指によって抑えられるときに、所定の指と第1指とが互いに及ぼし合い、拮抗する力に基づく筋活動を筋活動検出部70及び制御部90が検出することで「指をはじく動作」として検出することが可能である。このように、実施形態に係るウェアラブル装置1において、制御部90は、一方の上肢における他の物体と拮抗する拮抗動作を検出し、身体動作が、拮抗動作が検出されてから所定時間内に検出された場合には所定の表示動作の実行を有効にし、身体動作が、拮抗動作が検出されてから所定時間内に検出されなかった場合には所定の表示動作の実行を無効にする構成としても良い。

0160

実施形態では、筋活動検出部70が筋電位検出部71である場合を示してきた。筋活動検出部70は、筋電位検出部71の替わりに、筋肉が収縮するときに生じる微細振動を筋活動として検出する筋音検出部72であっても良い。微細振動は、筋線維の収縮による側方への拡大変形である。微細振動は、該変形により発生する一種圧波筋音信号として検出される。図13は、筋活動検出部70が筋音検出部72である場合のウェアラブル装置の機能ブロックの一例を示す図である。図13に示す、表示部20、接触操作部30、通信部40、近接センサ50、傾きセンサ60、記憶部80については、図2に示す機能ブロックの場合と同様であるので、説明を省略する。

0161

筋活動検出部70は、筋音検出部72である。筋音検出部72は、加速度センサ721と信号処理部722とを有する。

0162

加速度センサ721は、ユーザの一方の上肢に接触する位置に設けられる。加速度センサ721は、ユーザの身体動作に応じた信号を検出する。加速度センサ721は、1つの3軸加速度センサと、3つの1軸加速度センサと、を備える。加速度センサ721は、上記信号として、上肢の身体運動に起因する加速度信号と筋音信号とを含んだ信号を検出する。加速度信号は、3軸加速度センサのX,Y,Z軸から取得される。筋音信号は、3軸加速度センサのZ軸と1軸加速度センサ3つの計4チャネルから取得される。加速度センサ721は、検出した加速度信号と筋音信号とを含む信号を信号分離部722へ出力する。

0163

信号分離部722は、加速度センサ721によって検出された信号から筋音信号を分離する。筋肉の収縮時に生じる筋音信号に含まれる周波数成分は5〜100Hzである。このため、信号分離部722は、例えば、5〜150Hzのフィルタを用いて筋音信号を分離すれば良い。分離された筋音信号は、整流、平滑化又は正規化を含む適切な処理が施されることで特徴パターンベクトルとして取得される。制御部90は、例えばニューラルネットを利用することによって、特徴パターンベクトルから身体動作の種類を推定する。

0164

制御部90は、筋音信号から特徴パターンベクトルを取得して身体動作の推定を行うのではなく、加速度信号から特徴パターンベクトルを取得して身体動作の推定を行うようにしても良い。このとき、信号分離部722は、加速度センサ721が検出した信号から加速度信号を分離するために、例えば1〜3Hzのフィルタを用いて分離すれば良い。

0165

加速度信号から身体動作の推定を行う場合、筋音信号からは身体動作時の筋張力を検出するようにしても良い。このとき、検出された筋張力が所定の閾値を超えたことを契機に前述の力動作を検出するようにしても良い。

0166

上記のように、筋音検出部72においても筋電位検出部71と同様にして、ユーザの身体動作の種類を推定可能である。このため、制御部90は、図3における各種パターンの動作を別個に検出することも可能である。従って、ウェアラブル装置1は、ユーザの身体動作に基づいて上記種々の表示制御を実行させることが可能である。

0167

筋音検出部72は、上記の加速度センサに限定されず、例えば、コンデンサマイクロフォン又は圧電素子を用いた圧力センサ等他の機器を用いても良い。

0168

筋活動検出部70は、筋電検出と筋音検出の双方を行い、双方で得られた情報の相関に基づいて、筋活動の情報をより精度高く取得するようにしても良い。

0169

実施形態では、ウェアラブル装置1がユーザの前腕における手首近傍に装着されるリストバンド型又は腕時計型のものである例を示したが、ウェアラブル装置1の形態はこれに限定されない。例えば、ウェアラブル装置1は、ユーザの前腕における肘近傍に装着されるアームバンド型のものであっても良い。例えば、ウェアラブル装置1は、指の身体動作を検出したい場合には、ユーザの示指から小指までの4指の付け根近傍にて、手の甲と手の平を取り囲むように装着可能な環状のものであっても良い。このような形状とした場合、例えば、筋活動検出部70としての筋電位検出部71は、例えば、母指内転筋短母指屈筋小指対立筋短小指屈筋及び小指外転筋を含む各指の動作を司る手のひら近傍の筋肉に接触可能なように、ウェアラブル装置1に設ければ良い。

0170

上述の態様では、身体動作による身体の変位量に基づいて表示内容を変更する構成を示したが、これに限定されない。例えば、制御部90は、一方の上肢の身体動作の動作回数を算出し、動作回数に基づいて表示内容を変更する構成としても良い。

0171

例えば、身体動作を検出する直前の指の状態に基づいて、該身体動作による表示動作の表示内容を変更するようにしても良い。例えば、図11Bに示した例において、身体動作を検出する直前の指の状態が第1〜5指の内の一つの指が伸展している状態で掌屈動作を検出すると所定画像を第1の移動量で移動させ、一方で、身体動作を検出する直前の指の状態が第1〜5指の内の二つの指が伸展している状態で掌屈動作を検出すると所定画像を第1の移動量よりも大きな第2の移動量で移動させるようにしても良い。このとき、身体動作を検出する直前の指の状態において、伸展している指の数が多い程、掌屈動作の検出に基づく所定画像の移動量を大きく又は移動速度速くしても良い。

0172

図14に示す、身体動作を特徴づける各要素をまとめた表から、各カテゴリの一覧の内のそれぞれを、ヒトの身体的特徴上、不可能な身体動作とならないように組み合わせた動作に対して、それぞれ異なる表示動作を対応付けても良い。図14に示す身体動作を特徴づける各要素をまとめた表は、指の動作と手の動作と前腕の回転動作との少なくともいずれかを含む身体動作と、身体動作を検出する直前の身体の状態とを組み合わせている。まず、指の身体動作に関する大カテゴリ100内において、小カテゴリ101〜103のそれぞれにおける各要素が選択され、組み合わさることで指動作の特徴が決定される。小カテゴリ102には各要素が示されていないが、動作する指の組み合わせもが要素として選択されることを意味している。次に、手の身体動作に関する大カテゴリ300内において、小カテゴリ301、302のそれぞれにおける各要素が選択され、組み合わさることで手又は手首動作の特徴が決定される。次に、前腕の身体動作に関する大カテゴリ400内において、小カテゴリ401、402のそれぞれにおける各要素が選択され、組み合わさることで前腕動作の特徴が決定される。そして、大カテゴリ100〜400のそれぞれで特徴づけられた指動作、手動作、前腕動作のそれぞれを同時に又は順番不同で順次行うことによってなされた身体動作に対して、それぞれ異なった身体動作として検出し、該検出に基づいて、異なる表示動作を実行させるようにしても良い。

0173

実施形態では、接触操作部30によって、ウェアラブル装置1が装着された一方の上肢とは反対の他方の上肢による操作を受け付ける構成を示したが、操作を受け付ける機能部はこれに限定されない。例えば、近接センサ50が、ユーザの他方の上肢における指が近づいたこと又は遠ざかったことを検出したことを契機として、表示部20による所定の表示動作を実行させるようにしても良い。

0174

実施形態と同様に、接触操作部30によって他方の上肢による操作を受け付ける構成を有する場合、例えば、近接センサ50が、他方の上肢における指が接触操作部30に近接していることを検出すると、表示部20が表示する画像の左右方向と腕の長手方向とが一致するように、画像の表示方向を変更するようにしても良い。

0175

例えば、左上肢の前腕に装着されたウェアラブル装置1の接触操作部30であるタッチセンサに対して右上肢の指で操作する場合には、ヒトの身体的な特徴上、左前腕の長手方向と右腕の指の伸びる方向とが概ね交差する。このため、画像の左右方向と腕の長手方向とが一致、言い換えると画像の上下方向と左前腕の短手方向である橈骨と尺骨とが並ぶ方向とが一致するように表示させることで、画像の上下方向と操作する右手の指の伸びる方向とが一致する。これにより、ウェアラブル装置1は、操作性を向上することができる。

0176

実施形態と同様に、接触操作部30によって他方の上肢による操作を受け付ける構成を有する場合、接触操作部30が他方の上肢における指の接触を受け付けると、該接触した部分の形状を検出し、その形状から指が延びている方向である付け根と指先とを通る方向を推定し、該方向と画像の上下方向とが一致するように、該画像の表示方向を変更するようにしても良い。

0177

実施形態で例示した、ウェアラブル装置1と鉄道駅の改札機とを通信させることにより改札機を通過したい場合において、上肢の前腕に取り付けられたウェアラブル装置1を改札機の情報読み取り部にかざす際、所定の身体動作を検出したことを契機に改札機との通信を許可するようにしても良い。例えば、改札機の情報読み取り部に対して、ウェアラブル装置1を横からかざす際は、前腕における外側をかざすこと及び前腕をかざす際に手が情報読み取り部にぶつからないように手を掌屈させることが想定される。従って、上記所定の身体動作として手の掌屈動作を検出したことを契機に改札機との通信を許可するようにしても良い。

0178

改札機の例の他に、例えば電子マネーによる電子決済を行いたい場合において、前腕にウェアラブル装置1を装着し、決済を行うための情報読み取り装置に対して、ウェアラブル装置1をかざす場合も今後想定される。このような場合、情報読み取り装置に対して、ウェアラブル装置1を上からかざす際は、前腕における内側をかざすこと及び前腕をかざす際に手が情報読み取り部にぶつからないように手を背屈させることが想定される。従って、上記所定の身体動作として手の背屈動作を検出したことを契機に情報読み取り装置との通信を許可するようにしても良い。

0179

筋活動検出部70がユーザの身体動作を検出したときに、傾きセンサ60がウェアラブル装置1の変動を検出している場合には、制御部90によって表示部20の表示動作の実行させる制御を無効にし、筋活動検出部70がユーザの身体動作を検出したときに、傾きセンサ60がウェアラブル装置1の変動を検出していない場合には、制御部90によって表示部20の表示動作の実行させる制御を有効にするようにしても良い。

0180

表示部20の表示面が水平面に対して所定角度より大きく傾いている状態を傾きセンサ60が検出している場合には、身体動作による表示動作の実行制御を無効にし、表示部20の表示面が水平面に対して所定角度より小さく傾いている状態を傾きセンサ60が検出している場合には、身体動作による表示動作の実行制御を有効にするようにしても良い。

0181

実施形態に係るウェアラブル装置1は、画像を表示する表示部20と、前記装着される部位を除いて、ウェアラブル装置1に接触不可能な身体部位の動作を検出する検出部70と、検出された身体動作に基づいて、前記表示部に所定の表示動作を実行させる制御部90と、を備えるものとしても規定されても良い。

0182

1ウェアラブル装置
20 表示部
30接触操作部
40通信部
70筋活動検出部
80 記憶部
90 制御部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ