図面 (/)

技術 磁気検出装置、行動機器識別装置、行動機器識別システム、行動機器識別方法、及びプログラム

出願人 日本電信電話株式会社
発明者 前川卓也岸野泰恵櫻井保志須山敬之
出願日 2011年1月28日 (9年9ヶ月経過) 出願番号 2011-016573
公開日 2012年8月16日 (8年3ヶ月経過) 公開番号 2012-155669
状態 未査定
技術分野 表示による位置入力 デジタル計算機のユーザインターフェイス デジタル計算機のユーザインターフェイス
主要キーワード 工作作業 タイムウインドウ てのひら センシングデバイス 日常行動 複数次元 手袋型 直接センサ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2012年8月16日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (7)

課題

簡易な構成で、様々な行動又は使用している電子機器識別することができるようにする。

解決手段

複数の磁気センサ16を、てのひら側の指の関節間領域に配置し、複数の磁気センサ16の各々の時系列センサデータ無線通信により行動機器識別装置14へ送信する。行動機器識別装置14の特徴抽出部30によって、複数の磁気センサ16の各々の時系列のセンサデータに基づいて、磁気センサ16の各々について、特徴量の時系列データを抽出する。識別部34によって、抽出された特徴量の時系列データに基づいて、予め学習した識別器に従って、装着者の行動、又は手で携帯し使用している電子機器の種類を識別する。

概要

背景

センシングデバイスを用いた研究で現在最も盛んな分野は日常行動推定である。ユーザの手首などに加速度センサを添付して計測した波形から、”歩く”、”テレビを見る”、”歯を磨く”などの20種類のユーザの行動を認識する方法が知られている(例えば、非特許文献1)。また、ユーザにマイクと加速度センサを添付して、のこぎり引きやドリルの利用などの工作作業を認識する方法が知られている(例えば、非特許文献2)。

また、画像処理アプローチから、環境(部屋の天井など)に設置したカメラで得られた人物映像を用いて人物の動作を認識する方法が知られている(例えば、非特許文献3)。さらに、環境内の生活用品モノセンサRFIDタグを添付し、それらにより生活用品やモノの利用を検知することで行動の認識を行う方法も知られている(例えば、非特許文献4)。

磁気センサを用いた手法として、体に装着した磁気発生装置と手に装着した磁気センサとを用いて、手の体に対する相対的な位置を算出し、手のジェスチャ認識に用いる手法が知られている(例えば、非特許文献5)。また、ユーザが使っている電子機器家電など)が何であるかを推定する従来手法は、主に2つのアプローチに分けられる。一つ目は、非特許文献6のように電子機器に直接センサノードを設置するアプローチであり、二つ目は、非特許文献7のように、家庭内電線を流れる電流ノイズから、使っている電子機器を推定するアプローチである。

概要

簡易な構成で、様々な行動又は使用している電子機器を識別することができるようにする。複数の磁気センサ16を、てのひら側の指の関節間領域に配置し、複数の磁気センサ16の各々の時系列センサデータ無線通信により行動機器識別装置14へ送信する。行動機器識別装置14の特徴抽出部30によって、複数の磁気センサ16の各々の時系列のセンサデータに基づいて、磁気センサ16の各々について、特徴量の時系列データを抽出する。識別部34によって、抽出された特徴量の時系列データに基づいて、予め学習した識別器に従って、装着者の行動、又は手で携帯し使用している電子機器の種類を識別する。

目的

本発明は、上記の課題を解決するためになされたもので、簡易な構成で、様々な行動又は使用している電子機器を識別することができる磁気検出装置、行動機器識別装置、行動機器識別システム、行動機器識別方法、及びプログラムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

1または複数の磁気センサと、前記1または複数の磁気センサの各々の時系列センサデータを出力する出力手段と、を含む手袋型又は指輪型磁気検出装置であって、前記1または複数の磁気センサは、装着者の手のてのひら側であって、かつ、指の関節と関節との間である1または複数の関節間領域に配置された1または複数の磁気センサを含むことを特徴とする磁気検出装置。

請求項2

前記1または複数の磁気センサは、4つ以上の関節間領域に配置された複数の磁気センサを含むことを特徴とする請求項1記載の磁気検出装置。

請求項3

前記1または複数の磁気センサは、人差し指の関節間領域に配置された磁気センサ、又は中指の関節間領域に配置された磁気センサを含むことを特徴とする請求項1又は2記載の磁気検出装置。

請求項4

装着者の手のてのひら側であって、かつ、指の関節と関節との間である1または複数の関節間領域に配置された1または複数の磁気センサの各々の時系列のセンサデータに基づいて、前記磁気センサの各々について、特徴量を抽出する特徴抽出手段と、前記1または複数の磁気センサの各々について抽出された前記特徴量と、前記磁気センサを装着した装着者の行動、又は前記装着者が前記磁気センサを装着している手で携帯し、かつ、使用している電子機器を示す教師データとに基づいて前記1または複数の磁気センサの各々の前記特徴量と前記行動又は前記電子機器との関係を予め学習した学習結果に基づいて、前記特徴抽出手段によって抽出された前記特徴量について、前記装着者の行動又は前記電子機器を識別する識別手段と、を含む行動機器識別装置

請求項5

前記特徴抽出手段は、前記複数の磁気センサ間で、前記磁気センサのセンサデータの差の時系列データを算出し、前記差の時系列データに基づいて前記特徴量を抽出する請求項4記載の行動機器識別装置。

請求項6

前記特徴抽出手段は、前記1または複数の磁気センサの各々の時系列のセンサデータに基づいて、前記磁気センサの各々について、前記センサデータの大きさ又は時間的変化を表わす特徴量を抽出する請求項5記載の行動機器識別装置。

請求項7

1または複数の磁気センサ、及び前記1または複数の磁気センサの各々の時系列のセンサデータを無線通信によって送信する無線通信手段を含む手袋型又は指輪型の磁気検出装置であって、前記1または複数の磁気センサは、装着者の手のてのひら側であって、指の関節と関節との間である1または複数の関節間領域に配置された1または複数の磁気センサを含む磁気検出装置と、前記磁気検出装置によって送信された前記磁気センサの各々の時系列のセンサデータを無線通信によって受信する無線通信手段、前記無線通信手段によって受信した前記磁気センサの各々の時系列のセンサデータに基づいて、前記磁気センサの各々について、特徴量を抽出する特徴抽出手段、及び前記1または複数の磁気センサの各々について抽出された前記特徴量と、前記磁気検出装置を装着した装着者の行動、又は前記装着者が前記磁気検出装置を装着している手で携帯し、かつ、使用している電子機器を示す教師データとに基づいて前記1または複数の磁気センサの各々の前記特徴量と前記行動又は前記電子機器との関係を予め学習した学習結果に基づいて、前記特徴抽出手段によって抽出された前記特徴量について、前記装着者の行動又は前記電子機器を識別する識別手段を含む行動機器識別装置と、を含む行動機器識別システム

請求項8

特徴抽出手段と、識別手段とを含む行動機器識別装置における行動機器識別方法であって、前記行動機器識別装置は、前記特徴抽出手段によって、装着者の手のてのひら側であって、かつ、指の関節と関節との間である1または複数の関節間領域に配置された1または複数の磁気センサの各々の時系列のセンサデータに基づいて、前記磁気センサの各々について、特徴量を抽出するステップと、前記識別手段によって、前記1または複数の磁気センサの各々について抽出された前記特徴量と、前記磁気センサを装着した装着者の行動、又は前記装着者が前記磁気センサを装着している手で携帯し、かつ、使用している電子機器を示す教師データとに基づいて前記1または複数の磁気センサの各々の前記特徴量と前記行動又は前記電子機器との関係を学習した学習結果に基づいて、前記特徴抽出手段によって抽出された前記特徴量について、前記装着者の行動又は前記電子機器を識別するステップと、を含んで実行することを特徴とする行動機器識別方法。

請求項9

コンピュータを、請求項4〜請求項6の何れか1項記載の行動機器識別装置の各手段として機能させるためのプログラム

技術分野

0001

本発明は、磁気検出装置行動機器識別装置行動機器識別システム行動機器識別方法、及びプログラム係り、特に、人間の行動又は携帯している電子機器識別するための磁気検出装置、行動機器識別装置、行動機器識別システム、行動機器識別方法、及びプログラムに関する。

背景技術

0002

センシングデバイスを用いた研究で現在最も盛んな分野は日常行動推定である。ユーザの手首などに加速度センサを添付して計測した波形から、”歩く”、”テレビを見る”、”歯を磨く”などの20種類のユーザの行動を認識する方法が知られている(例えば、非特許文献1)。また、ユーザにマイクと加速度センサを添付して、のこぎり引きやドリルの利用などの工作作業を認識する方法が知られている(例えば、非特許文献2)。

0003

また、画像処理アプローチから、環境(部屋の天井など)に設置したカメラで得られた人物映像を用いて人物の動作を認識する方法が知られている(例えば、非特許文献3)。さらに、環境内の生活用品モノセンサRFIDタグを添付し、それらにより生活用品やモノの利用を検知することで行動の認識を行う方法も知られている(例えば、非特許文献4)。

0004

磁気センサを用いた手法として、体に装着した磁気発生装置と手に装着した磁気センサとを用いて、手の体に対する相対的な位置を算出し、手のジェスチャ認識に用いる手法が知られている(例えば、非特許文献5)。また、ユーザが使っている電子機器(家電など)が何であるかを推定する従来手法は、主に2つのアプローチに分けられる。一つ目は、非特許文献6のように電子機器に直接センサノードを設置するアプローチであり、二つ目は、非特許文献7のように、家庭内電線を流れる電流ノイズから、使っている電子機器を推定するアプローチである。

先行技術

0005

L. Bao and S. S. Intille, ``Activity recognition from user-annotated acceleration data,'' Proc. PERVASIVE2004, pp. 1--17, 2004.
P. Lukowicz, J. Ward, H. Junker, M. Stager, G. Troster, A. Atrash, and T. Starner, ``Recognizing workshop activity using body worn microphones and accelerometers,'' Proc. Pervasive 2004, pp. 18--32, 2004.
J. Yamamoto, J. Ohya, and K. Ishii, ``Recognition human action in time-sequential images using hidden markov model,'' Proc.IEEE Conf. Computer Vision and Pattern Recognition, pp. 379--385, 1992.
M. Philipose, K.P. Fishkin, and M. Perkowitz, ``Inferring activities from interactions with objects,'' IEEE Pervasive computing, 3(4), pp. 50--57, 2004.
G. Pirkl, K. Stockinger, and K. Kunze, ``Adapting magnetic resonant coupling based relative positioning technology for wearable activity recognition,'' Proc. Int'l Symp. on Wearable Computers, 2008.
Y. Kim, T. Schmid, Z.M. Charbiwala, and M.B. Srivastava, ``ViridiScope: design and implementation of a fine grained power monitoring system for homes,'' Proc. Ubicomp 2009, pp. 245-254, 2009.
S.N. Patel, T. Robertson, J.A. Kientz, M.S. Reynolds, and G.D. Abowd, ``At the flick of a switch: Detecting and classifying unique electrical events on the residential power line,'' Proc. Ubicomp 2007, pages 271-288, 2007.

発明が解決しようとする課題

0006

非特許文献1、2に記載のマイクや加速度センサを用いた手法は、装着者にのみセンサデバイスを添付するだけでよいため、コストが低いが、認識できる行動は、その行動に含まれる音が特徴的なものや、その行動を行う際の体の部位の動きが特徴的なもののみに限られる、という問題がある。例えば、ドリルを使う工作作業や歩行の行動などである。

0007

また、非特許文献3に記載の技術を用いて生活行動を認識するためには、環境のさまざまな部屋に大量のカメラを設置するためのコストがかかる、という問題がある。また、プライバシーの問題もある。

0008

また、非特許文献5に記載の技術は、手のジェスチャを認識することを目的としており、ユーザが使用している電子機器の推定は対象としていない。また、体に磁気の発生器を装着する必要がある、という問題がある。

0009

非特許文献4、6に記載の技術では、環境内にあるさまざまな大量のモノにセンサやRFIDタグを添付するため、コストがかかってしまう、という問題がある。また、非特許文献7に記載の技術では、コンセントに繋がっている電子機器の利用のみしか認識できない、という問題がある。

0010

本発明は、上記の課題を解決するためになされたもので、簡易な構成で、様々な行動又は使用している電子機器を識別することができる磁気検出装置、行動機器識別装置、行動機器識別システム、行動機器識別方法、及びプログラムを提供することを目的とする。

課題を解決するための手段

0011

上記の目的を達成するために本発明に係る磁気検出装置は、1または複数の磁気センサと、前記1または複数の磁気センサの各々の時系列センサデータを出力する出力手段と、を含む手袋型又は指輪型の磁気検出装置であって、前記1または複数の磁気センサは、装着者の手のてのひら側であって、かつ、指の関節と関節との間である1または複数の関節間領域に配置された1または複数の磁気センサを含むことを特徴としている。

0012

本発明に係る磁気検出装置によれば、1または複数の磁気センサを、装着者の手のてのひら側であって、かつ、指の関節と関節との間である1または複数の関節間領域に配置し、出力手段によって、1または複数の磁気センサの各々の時系列のセンサデータを出力する。

0013

ここで、磁気検出装置から出力された1または複数の磁気センサの各々の時系列のセンサデータを用いることにより、装着者の様々な行動又は使用している電子機器を識別することができる。

0014

本発明に係る1または複数の磁気センサは、4つ以上の関節間領域に配置された複数の磁気センサを含むことができる。これによって、装着者の行動又は使用している電子機器を精度良く識別することができる。

0015

本発明に係る1または複数の磁気センサは、人差し指の関節間領域に配置された磁気センサ、又は中指の関節間領域に配置された磁気センサを含むことができる。これによって、装着者の行動又は使用している電子機器を精度良く識別することができる。

0016

本発明に係る行動機器識別装置は、装着者の手のてのひら側であって、かつ、指の関節と関節との間である1または複数の関節間領域に配置された1または複数の磁気センサの各々の時系列のセンサデータに基づいて、前記磁気センサの各々について、特徴量を抽出する特徴抽出手段と、前記1または複数の磁気センサの各々について抽出された前記特徴量と、前記磁気センサを装着した装着者の行動、又は前記装着者が前記磁気センサを装着している手で携帯し、かつ、使用している電子機器を示す教師データとに基づいて前記1または複数の磁気センサの各々の前記特徴量と前記行動又は前記電子機器との関係を学習した学習結果に基づいて、前記特徴抽出手段によって抽出された前記特徴量について、前記装着者の行動又は前記電子機器を識別する識別手段と、を含んで構成されている。

0017

本発明に係る行動機器識別方法は、特徴抽出手段と、識別手段とを含む行動機器識別装置における行動機器識別方法であって、前記行動機器識別装置は、前記特徴抽出手段によって、装着者の手のてのひら側であって、かつ、指の関節と関節との間である1または複数の関節間領域に配置された1または複数の磁気センサの各々の時系列のセンサデータに基づいて、前記磁気センサの各々について、特徴量を抽出するステップと、前記識別手段によって、前記1または複数の磁気センサの各々について抽出された前記特徴量と、前記磁気センサを装着した装着者の行動、又は前記装着者が前記磁気センサを装着している手で携帯し、かつ、使用している電子機器を示す教師データとに基づいて前記1または複数の磁気センサの各々の前記特徴量と前記行動又は前記電子機器との関係を学習した学習結果に基づいて、前記特徴抽出手段によって抽出された前記特徴量について、前記装着者の行動又は前記電子機器を識別するステップと、を含んで実行することを特徴としている。

0018

本発明に係る行動機器識別装置及び行動機器識別方法によれば、特徴抽出手段によって、装着者の手のてのひら側であって、かつ、指の関節と関節との間である1または複数の関節間領域に配置された1または複数の磁気センサの各々の時系列のセンサデータに基づいて、磁気センサの各々について、特徴量を抽出する。そして、識別手段によって、1または複数の磁気センサの各々について抽出された特徴量と、磁気センサを装着した装着者の行動、又は装着者が磁気センサを装着している手で携帯し、かつ、使用している電子機器を示す教師データとに基づいて1または複数の磁気センサの各々の特徴量と行動又は電子機器との関係を予め学習した学習結果に基づいて、特徴抽出手段によって抽出された特徴量について、装着者の行動又は電子機器を識別する。

0019

このように、装着者の手のてのひら側であって、かつ、指の関節間領域に配置された1または複数の磁気センサの各々の時系列のセンサデータに基づいて、磁気センサの各々について、特徴量を抽出し、装着者の行動又は電子機器を識別することにより、簡易な構成で、様々な行動又は使用している電子機器を識別することができる。

0020

本発明に係る特徴抽出手段は、複数の磁気センサ間で、磁気センサのセンサデータの差の時系列データを算出し、差の時系列データに基づいて特徴量を抽出するようにすることができる。これによって、装着者の行動又は使用している電子機器を精度良く識別することができる。

0021

本発明に係る特徴抽出手段は、1または複数の磁気センサの各々の時系列のセンサデータに基づいて、磁気センサの各々について、センサデータの大きさ又は時間的変化を表わす特徴量を抽出するようにすることができる。

0022

本発明に係る行動機器識別システムは、1または複数の磁気センサ、及び前記1または複数の磁気センサの各々の時系列のセンサデータを無線通信によって送信する無線通信手段を含む手袋型又は指輪型の磁気検出装置であって、前記1または複数の磁気センサは、装着者の手のてのひら側であって、指の関節と関節との間である1または複数の関節間領域に配置された1または複数の磁気センサを含む磁気検出装置と、前記磁気検出装置によって送信された前記磁気センサの各々の時系列のセンサデータを無線通信によって受信する無線通信手段、前記無線通信手段によって受信した前記磁気センサの各々の時系列のセンサデータに基づいて、前記磁気センサの各々について、特徴量を抽出する特徴抽出手段、及び前記1または複数の磁気センサの各々について抽出された前記特徴量と、前記磁気検出装置を装着した装着者の行動、又は前記装着者が前記磁気検出装置を装着している手で携帯し、かつ、使用している電子機器を示す教師データとに基づいて前記1または複数の磁気センサの各々の前記特徴量と前記行動又は前記電子機器との関係を予め学習した学習結果に基づいて、前記特徴抽出手段によって抽出された前記特徴量について、前記装着者の行動又は前記電子機器を識別する識別手段を含む行動機器識別装置と、を含んで構成されている。

0023

本発明に係る行動機器識別システムによれば、磁気検出装置の1または複数の磁気センサを、装着者の手のてのひら側であって、かつ、指の関節と関節との間である1または複数の関節間領域に配置し、無線通信手段によって、1または複数の磁気センサの各々の時系列のセンサデータを無線通信によって送信する。

0024

行動機器識別装置の無線通信手段によって、磁気検出装置によって送信された磁気センサの各々の時系列のセンサデータを無線通信によって受信する。特徴抽出手段によって、無線通信手段によって受信した磁気センサの各々の時系列のセンサデータに基づいて、磁気センサの各々について、特徴量を抽出する。

0025

そして、識別手段によって、1または複数の磁気センサの各々について抽出された特徴量と、磁気検出装置を装着した装着者の行動、又は装着者が磁気検出装置を装着している手で携帯し、かつ、使用している電子機器を示す教師データとに基づいて1または複数の磁気センサの各々の特徴量と行動又は電子機器との関係を予め学習した学習結果に基づいて、特徴抽出手段によって抽出された特徴量について、装着者の行動又は電子機器を識別する。

0026

このように、装着者の手のてのひら側であって、かつ、指の関節間領域に配置された1または複数の磁気センサの各々の時系列のセンサデータに基づいて、磁気センサの各々について、特徴量を抽出し、装着者の行動又は電子機器を識別することにより、簡易な構成で、様々な行動又は使用している電子機器を識別することができる。

0027

本発明に係るプログラムは、コンピュータを、上記の行動機器識別装置の各手段として機能させるためのプログラムである。

発明の効果

0028

以上説明したように、本発明の磁気検出装置、行動機器識別装置、行動機器識別システム、行動機器識別方法、及びプログラムによれば、簡易な構成で、様々な行動又は使用している電子機器を識別することができる、という効果が得られる。

図面の簡単な説明

0029

本発明の第1の実施の形態に係る手袋型検出装置の磁気センサの配置を示す図である。
本発明の第1の実施の形態に係る行動機器識別システムの構成を示す概略図である。
(A)デジカメを使用したときのセンサデータの変化を示すグラフ、(B)ドライヤを使用したときのセンサデータの変化を示すグラフ、及び(C)デジカムを使用したときのセンサデータの変化を示すグラフである。
(A)歩くときのセンサデータの変化を示すグラフ、及び(B)卓球をしているときのセンサデータの変化を示すグラフである。
本発明の第1の実施の形態に係る行動機器識別装置における識別処理ルーチンの内容を示すフローチャートである。
本発明の第2の実施の形態に係る指輪型検出装置の磁気センサの配置を示す図である。

実施例

0030

以下、図面を参照して本発明の実施の形態を詳細に説明する。

0031

<行動機器識別システムの構成>
図1に示す手1は、行動を識別する対象となる人物のものである。以下においては、この人物を単に装着者という。この手1には、第1の実施の形態に係る行動機器識別システム10(図2参照)の一部を構成する手袋型検出装置12が装着されている。図2に示すように、第1の実施の形態に係る行動機器識別システム10は、手袋型検出装置12と、手袋型検出装置12に無線通信によって接続された行動機器識別装置14とを備えている。

0032

<センサデバイスの構成>
手袋型検出装置12は、手袋のてのひら側に配置された、磁気を検出する複数の磁気センサ16を備えている。複数の磁気センサ16は、指の関節と関節との間である関節間領域に配置された4個以上の磁気センサを含んでいる。磁気センサ16が関節と関節の間に配置されることで、日常生活の妨げにならない、利用しやすいデバイスを構成することができる。また、磁気センサ16を少なくとも4箇所以上の関節間領域に設置すると、高精度な識別を行うことが実験により確認できている。

0033

また、他の部分に設置した磁気センサ16のセンサデータと比較して、行動や電子機器の識別への貢献度識別精度への影響)が大きいため、利き腕の中指および人差し指の少なくとも一方の関節間領域に磁気センサ16を配置することが好ましい。

0034

手袋型検出装置12は、右手及び左手の何れか一方に装着されるものであってもよいし、右手及び左手の双方に装着されるものであってもよい。

0035

手袋型検出装置12は、複数の磁気センサ16に対応して複数のセンサデバイス18を備えている。各センサデバイス18は、磁気センサ16、増幅器20、バッファ22、及び無線通信部24を備えている。なお、無線通信部24が、出力手段の一例である。

0036

磁気センサ16としては、例えば、ホール素子磁気抵抗効果素子などの一般的な素子が用いられる。

0037

増幅器20は、磁気センサ16から出力されたセンサデータを増幅する。バッファ22は、増幅器20から出力されたセンサデータを蓄積する。バッファ22にセンサデータが所定量以上蓄積されると、無線通信部24は、バッファ22に蓄積されたセンサデータを、センサデバイス18を識別するためのデバイスIDと共に無線通信により行動機器識別装置14へ送信する。

0038

<行動機器識別装置の構成>
行動機器識別装置14は、CPU(Central Processing Unit)と、RAM(Random Access Memory)と、後述する識別処理ルーチンを実行するためのプログラムを記憶したROM(Read Only Memory)とを備えたコンピュータで構成され、機能的には次に示すように構成されている。行動機器識別装置14は、無線通信部26、ノイズ除去部28、特徴抽出部30、学習結果記憶部32、識別部34、出力部36、学習データ記憶部38、特徴抽出部40、及び学習部42を備えている。

0039

無線通信部26は、各センサデバイス18の無線通信部24から送信されたセンサデータを受信する。ノイズ除去部28は、受信したセンサデータに対してノイズ除去を行う。なお、ノイズ除去部28は、センサデバイス18側に実装してもよい。ノイズ除去では、センサデータに含まれる高周波成分を、ローパスフィルタなどを用いて除去する。例えば、移動平均法などを用いてノイズ除去を行う。

0040

特徴抽出部30は、ノイズを除去したセンサデータから、センサデータが示す行動及び電子機器を識別するための特徴量を抽出する。特徴抽出では、磁気センサ16毎に、当該磁気センサ16の時系列のセンサデータから特徴量を抽出する。特徴抽出の詳細については後述する。

0041

学習結果記憶部32は、装着者の行動及び使用している電子機器の何れか一方の種類を識別する識別器の学習結果を記憶している。識別器は、入力された特徴に対して、その特徴に対応する可能性の高い行動、及び手で携帯し使用している電子機器の何れか一方の種類を返す関数(またはモデル)であり、後述の学習部42により予め学習しておく。なお、識別器が、センサデータの特徴量と行動又は電子機器の種類との関係に対応している。

0042

識別部34は、抽出された特徴量と、識別器の学習結果とを用いて、抽出された特徴量に対応する行動及び電子機器の何れか一方の種類を識別する。

0043

識別部34による識別結果が、出力部36よりユーザに出力される。なお、出力部36は、ディスプレイプリンタ磁気ディスクなどで実装される。

0044

<センサデータの特徴>
特徴抽出部30、40の処理について詳細に説明する前に、手1に装着した磁気センサ16から得られるセンサデータについて説明する。図3(A)〜(C)は、手袋型検出装置12を手1に装着した装着者が、手袋型検出装置12を装着した手1で携帯している、デジカメを使用した(写真を取った)とき、ヘアドライヤーを使用したとき、及びデジカムを使用した(映像を撮った)ときの各々のセンサデータの系列を示す。ただし、これらのデータはローパスフィルタでノイズ除去をした後のものである。図3(A)、(B)中のL−M1は、左手中指の第一関節と第二関節の間に設置した磁気センサ16から得たセンサデータ、R−M1は、右手中指の第一関節と第二関節の間に設置した磁気センサ16から得たセンサデータを示す。また、図3(C)中のR−I1は右手人差し指の第一関節と第二関節の間に設置した磁気センサ16から得たセンサデータ、R−I2は右手人差し指の第二関節と付け根の間に設置した磁気センサ16から得たセンサデータを示す。

0045

デジカメを使用している間、センサデータがマイナス方向に振れているのが分かる。電子機器には、磁石電気回路などが含まれ、それらから磁場が発生している。磁場の大きさは磁石や回路によって異なり、また、磁気センサ16が計測する磁場は距離に応じて減衰するため、ある電子機器を手で持つときに、その持ち方がほぼ同じならば、手1に装着した磁気センサ16が計測する磁場の大きさは、その電子機器を手1に持っているときは、いつもほぼ同じとなる。つまり、電子機器を手にしたユーザの手1に装着した磁気センサ16により取得したセンサデータの特徴から、ユーザが手1で携帯し、かつ、使用している電子機器が何であるかを識別することができる。

0046

また、図3(B)に示す、ドライヤを使っているときのセンサデータでは、R−M1のセンサデータの中央部に特徴的な振幅が含まれていることが分かる。これは、ドライヤのモータの回転によるものである。また、図3(C)に示す、デジカムを使っているときのセンサデータの中央部では、2つのセンサデータ系列が同期して変化していることが分かる。これは、磁気センサ16が地磁気の影響を受けており、デジカメを回しているときに、装着者の向いている方向が変わったためである。

0047

図4(A)、(B)に、装着者が歩いているときに得られたセンサデータと、卓球をしているときに得られたセンサデータとを示す。図4(A)中のL−I1は、左手人差し指第一関節と第二関節の間の磁気センサ16から得たセンサデータ、L−I2は、左手人差し指第二関節と付け根の間の磁気センサ16から得たセンサデータ、L−M1は、左手中指第一関節と第二関節の間の磁気センサ16から得たセンサデータ、L−M2は、左手中指第二関節と付け根の間の磁気センサ16から得たセンサデータ、L−P1は、左手親指第一関節と第二関節の間の磁気センサ16から得られたセンサデータを示す。また、図4(B)中のR−I1は、右手人差し指第一関節と第二関節の間の磁気センサ16から得たセンサデータ、R−I2は、右手人差し指第二関節と付け根の間の磁気センサ16から得たセンサデータ、R−M1は、右手中指第一関節と第二関節の間の磁気センサ16から得たセンサデータ、R−M2は、右手中指第二関節と付け根の間の磁気センサ16から得たセンサデータ、R−P1は、右手親指第一関節と第二関節の間の磁気センサ16から得られたセンサデータを示す。

0048

歩く行動の場合、周期的な動きが見られる。また、卓球の行動の場合、ところどころに大きな値の変化が見られる。これらは、手の動き(方向の変化)による地磁気の影響の変化によって引き起こされたものである。

0049

したがって、正解のラベル(センサデータがどの電子機器に対応するか、および、どの行動(手の動きを伴う行動)に対応するかを示すラベル)が付与されたセンサデータの系列を学習データとし、教師あり機械学習を行うことで、入力された未知の(ラベルの分からない)センサデータの系列に対して、当該センサデータに対応する行動又は電子機器の種類を識別するための識別器を学習することができる。

0050

<特徴抽出部の処理>
特徴抽出部30、40は、センサデータの系列に対してタイムウインドウ(窓)毎に抽出処理を行う。例えば、1秒ごとのスライディング窓を設定し、その窓ごとに、その窓内のセンサデータから特徴を抽出する。窓の大きさは予め設定しておくものとする。

0051

上述のように、磁気センサ16のセンサデータは、センサデータの値の大きさと周期的な変化とに特徴があるため、それらを捉えるように特徴抽出を行う。例えば、値の大きさを捉えるために、センサデータの窓内の値の平均を、そのまま特徴量として用いる。また、センサデータの周期的な変化を捉えるために、窓内のセンサデータの系列をフーリエ解析する。例えば、窓内のセンサデータの系列に対して高速フーリエ変換を適用して得られるフーリエ係数で構成される複数次元ベクトルを特徴量としてそのまま用いる。

0052

特徴抽出部30、40は、上記の2つの特徴抽出を、それぞれの磁気センサ16ごとに行い、各磁気センサ16に対して、値の大きさを捉えるための特徴量の時系列データと、センサデータの周期的な変化を捉えるための特徴量の時系列データとを抽出する。

0053

ここで、図3(C)のデジカムの例で示したように、装着者の向いている方向によって磁気センサ16のセンサデータは影響を受ける。これをキャンセルするために、別のセンサから得られたセンサデータの差の系列データに対して、特徴抽出を行うことが好ましい。例えば、差の系列データに対して、スライディング窓毎に平均を算出し、値の大きさを捉えるための特徴として、平均の系列データを抽出する。これは、図3(C)に示す通り、それぞれの磁気センサ16のセンサデータが、装着者の方向変化に応じて同期して変化している、という性質を利用したものである。

0054

例えば、図3(C)の例では、右手人差し指に付いている2つの磁気センサ16から同じ時刻に得られたデータの値の差の系列データを算出し、差の系列データから、各窓内の平均を求める。ただし、この差を求める方法は、ほぼ同じ方向を向いているセンサ同士でしか用いることができないため、違う手に付いているセンサ同士では用いることができない。これは、センサの向いている方向が違えば装着者の方向変化による、センサデータの変化の仕方が異なるためである。すなわち、特徴抽出部30、40は、各磁気センサ16について、当該磁気センサ16と同じ手に配置された磁気センサ16から得られたセンサデータとの差の系列データを算出し、算出した差の系列データに対して、平均を用いた特徴量の抽出を行い、値の大きさを捉えるための特徴量の時系列データを抽出する。

0055

以上のようにして抽出した2種類の特徴量の時系列データ(ベクトルなどで表現される)を、識別部34及び学習部42の入力とする。なお、学習時には、2種類の特徴量の時系列データと、予め当該特徴量の時系列データ(センサデータ)に対応する、電子機器又は行動が何であるかを人手などによりラベル付けしたデータとの組み合わせからなる学習データ(教師ありデータ)を、入力として用いる。

0056

<識別器の学習>
学習データ記憶部38は、各センサデバイス18の磁気センサ16により取得されたセンサデータの系列に、当該センサデータに対応する手の動きを伴う行動の種類(例えば、歩く、走る、歯を磨くなど)を予めラベル付けした学習データを複数記憶すると共に、各センサデバイス18の磁気センサ16により取得されたセンサデータの系列に、当該センサデータに対応する、磁気センサ16を装着した手で携帯し、かつ使用している電子機器の種類(例えば、携帯電話デジタルカメラなど)を予めラベル付けした学習データを複数記憶している。

0057

なお、学習データのラベルを付与する場合には、手袋型検出装置12の各磁気センサ16からセンサデータを取得するのと同時に環境や身体に装着したカメラにより行動や使用している電子機器を撮影しておき、その行動が行われた時又は電子機器を使用している時に得られたセンサデータの系列に対して、行動又は電子機器の種類に対応するラベル付けを人手で行えばよい。

0058

特徴抽出部40は、特徴抽出部30と同様の処理により、磁気センサ16毎に、学習データに含まれるセンサデータの系列から、2種類の特徴量の時系列データを抽出する。

0059

学習部42は、各磁気センサ16に対する特徴量の時系列データに対して、当該センサデータに対応する可能性の高い行動及び電子機器の何れか一方の種類を返す識別器を学習する。なお、学習部42による識別器の学習では、従来より周知の教師有り学習の方法を用いれば良い。

0060

<行動機器識別システムの作用>
次に、第1の実施の形態に係る行動機器識別システム10の作用について説明する。まず、行動機器識別装置14の入力部(図示省略)を介して、行動及び電子機器のいずれか一方の種類を示すラベルが付与された、磁気センサ16毎のセンサデータの時系列データが、学習データとして複数入力され、学習データ記憶部38に格納される。そして、行動機器識別装置14の特徴抽出部40によって、学習データの各々について、磁気センサ16毎に2種類の特徴量の時系列データが抽出され、学習部42によって、行動及び電子機器の種類を識別するための識別器が学習される。学習部42による学習結果が、学習結果記憶部32に格納される。

0061

手袋型検出装置12を手1に装着した装着者が何らかの行動をしているとき、又は手袋型検出装置12を装着した手1に電子機器を携帯して使用しているとき、各センサデバイス18において、磁気センサ16からセンサデータが出力され、増幅されたセンサデータがバッファ22に格納される。そして、各センサデバイスにおいて、センサデータがバッファ22に所定量以上蓄積されると、無線通信部24によってバッファ22に蓄積されたセンサデータの系列を行動機器識別装置14へ送信する。

0062

また、行動機器識別装置14において、図5に示す識別処理ルーチンが実行される。

0063

まず、ステップ100において、センサデバイス18からセンサデータの系列を受信したか否かを判定し、センサデータの系列を受信した場合には、ステップ102へ進み、上記ステップ100で受信したセンサデータの系列に対してノイズ除去を行う。

0064

そして、ステップ104では、上記ステップ102でノイズ除去されたセンサデータの系列に対して、スライディング窓内で2種類の特徴量を各々抽出し、2種類の特徴量の時系列データをメモリに保存する。

0065

次のステップ106において、上記ステップ104で抽出された特徴量の時系列データが、所定時間分蓄積されたか否かを判定し、所定時間分蓄積されていない場合には、上記ステップ100へ戻る。一方、各磁気センサ16について、所定時間分の特徴量の時系列データが蓄積された場合には、ステップ108へ進む。

0066

ステップ108では、各磁気センサ16に対して抽出された2種類の特徴量の時系列データを入力として、学習された識別器により、対応する行動及び電子機器の何れか一方の種類を識別する。そして、ステップ110において、上記ステップ108で識別された、対応する行動及び電子機器の何れか一方の種類を出力部36により出力して、識別処理ルーチンを終了する。

0067

以上説明したように、第1の実施の形態に係る行動機器識別システムによれば、装着者の手のてのひら側であって、かつ、指の関節間領域に配置された複数の磁気センサの各々のセンサデータの系列に基づいて、磁気センサの各々について、特徴量の時系列データを抽出し、装着者の手の動きを伴う行動の種類、又は手で携帯し、かつ使用している電子機器の種類を識別することにより、簡易な構成で、様々な行動又は使用している電子機器の種類を識別することができる。

0068

また、手に磁気センサを装着するため、電子機器にセンサなどを設置しなくても、どの電子機器を使っているのかを識別することができる。

0069

次に、第2の実施の形態について説明する。なお、第1の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。

0070

第2の実施の形態では、指輪型検出装置を手に装着している点が、第1の実施の形態と異なっている。

0071

図6に示すように、手1には、第2の実施の形態に係る行動機器識別システムの一部を構成する指輪型検出装置212が装着されている。第2の実施の形態に係る行動機器識別システムは、指輪型検出装置212と、指輪型検出装置212に無線通信によって接続された行動機器識別装置14とを備えている。

0072

指輪型検出装置212が、指輪型のセンサデバイス218を複数備えている。指に装着された指輪型のセンサデバイス218の手にひら側に、磁気センサ16が配置されている。複数の磁気センサ16は、複数の関節間領域に配置された複数の磁気センサを含んでいる。

0073

指輪型検出装置212は、右手及び左手の何れか一方に装着されるものであってもよいし、右手及び左手の双方に装着されるものであってもよい。

0074

センサデバイス218は、上記の第1の実施の形態で説明したセンサデバイス18と同様の構成であり、磁気センサ16により取得したセンサデータを、行動機器識別装置14へ送信する。

0075

なお、第2の実施の形態に係る行動機器識別システムの他の構成及び作用については、第1の実施の形態と同様であるため、説明を省略する。

0076

このように、指輪型検出装置を手に装着し、磁気センサを、手のひら側であって、指の関節と関節との間に配置することで、日常生活の妨げにならない、利用しやすいデバイスを構成することができる。

0077

なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

0078

例えば、上記の実施の形態では、1つのセンサデバイスに対して1つの磁気センサが搭載されている場合を例に説明したが、これに限定されるものではなく、1つのセンサデバイスに複数の磁気センサが搭載されていてもよい。この場合、センサデバイスにおいて、それぞれの磁気センサごとに増幅回路を設けると共に、センサデバイスは、それぞれの磁気センサに対してIDを付加し、そのIDとともに当該磁気センサのセンサデータを送信するようにすればよい。

0079

また、センサデバイスと行動機器識別装置とが無線通信によって接続されている場合を例に説明したが、これに限定されるものではなく、センサデバイスと行動機器識別装置とが有線によって接続されていてもよい。

0080

また、センサデバイスに蓄積されたセンサデータを、オフラインで、行動機器識別装置へ出力するようにしてもよい。

0081

また、磁気センサのセンサデータに基づいて、装着者の行動又は使用している電子機器の種類を識別する場合を例に説明したが、これに限定されるものでなない。磁気センサのセンサデータに基づいて、装着者の行動のみの種類を識別するように構成してもよいし、磁気センサのセンサデータに基づいて、装着者が使用している電子機器のみの種類を識別するように構成してもよい。

0082

また、行動機器識別装置が、識別器の学習を行う場合を例に説明したが、これに限定されるものではなく、行動機器識別装置とは別の装置において、識別器の学習を行うようにしてもよい。この場合には、当該他の装置が、学習データ記憶部、特徴抽出部、学習部、及び学習結果記憶部を備え、行動機器識別装置は、当該他の装置の学習結果記憶部と同じ内容を記憶した学習結果記憶部を備えていればよい。

0083

また、装着者の手に複数の磁気センサを配置した場合を例に説明したが、これに限定されるものではない。手袋側検出装置又は指輪型検出装置を、装着者の手のてのひら側の指の1つの関節間領域に1つの磁気センサだけ配置するように構成してもよい。

0084

また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。

0085

10行動機器識別システム
12手袋型検出装置
14行動機器識別装置
16磁気センサ
18、218センサデバイス
20増幅器
22バッファ
24、26無線通信部
28ノイズ除去部
30特徴抽出部
32学習結果記憶部
34識別部
42 学習部
212指輪型検出装置

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ