図面 (/)

技術 情報処理装置、情報処理方法、およびプログラム

出願人 ソニー株式会社
発明者 勝正範松澤荘太
出願日 2016年1月27日 (5年11ヶ月経過) 出願番号 2017-504902
公開日 2017年12月21日 (4年0ヶ月経過) 公開番号 WO2016-143404
状態 特許登録済
技術分野 医療・福祉事務
主要キーワード ウェアラブル装置 各検出対象 対象動作 センシング対象 シースルーディスプレイ 豆知識 三軸加速度センサ ターゲット表
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年12月21日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

ユーザの多様な動作を検出してその結果を利用して有用な情報を生成する。

解決手段

ユーザの反復的かつ非周期的一連の動作を検出する動作検出部と、上記一連の動作に関連する情報を生成する情報生成部とを備える情報処理装置が提供される。プロセッサが、ユーザの反復的かつ非周期的な一連の動作を検出することと、上記一連の動作に関連する情報を生成することとを含む情報処理方法が提供される。ユーザの反復的かつ非周期的な一連の動作を検出する機能と、上記一連の動作に関連する情報を生成する機能とをコンピュータに実現させるためのプログラムが提供される。

概要

背景

近年、各種センシング技術を用いて取得されたセンサ情報からユーザの動作行動を認識する技術が提案されている。例えば、特許文献1では、このような技術を利用して、小型センサ内蔵記録装置によって記録された行動ログをユーザにわかりやすく提示するための表現手法が提案されている。

概要

ユーザの多様な動作を検出してその結果を利用して有用な情報を生成する。ユーザの反復的かつ非周期的一連の動作を検出する動作検出部と、上記一連の動作に関連する情報を生成する情報生成部とを備える情報処理装置が提供される。プロセッサが、ユーザの反復的かつ非周期的な一連の動作を検出することと、上記一連の動作に関連する情報を生成することとを含む情報処理方法が提供される。ユーザの反復的かつ非周期的な一連の動作を検出する機能と、上記一連の動作に関連する情報を生成する機能とをコンピュータに実現させるためのプログラムが提供される。

目的

従って、例えば、プレフィルタ122によって第1の条件が満たされる区間が発生したと判定されるまでは、メインアナライザ124の処理、および加速度センサ110がメインアナライザ124に三軸加速度114のセンサデータを提供する

効果

実績

技術文献被引用数
2件
牽制数
1件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

ユーザの反復的かつ非周期的一連の動作を検出する動作検出部と、前記一連の動作に関連する情報を生成する情報生成部とを備える情報処理装置

請求項2

前記動作検出部は、センシング対象またはセンシング方法が異なる複数のセンサデータに基づいて前記一連の動作を検出する、請求項1に記載の情報処理装置。

請求項3

前記複数のセンサデータは、第1のセンサデータと第2のセンサデータとを含み、前記動作検出部は、前記第1のセンサデータが前記一連の動作に対応する第1の条件を満たす区間が発生したか否かを判定する第1の動作検出部と、前記第1の条件を満たす区間が発生したと判定された場合に、当該区間において前記第2のセンサデータが前記一連の動作に対応する第2の条件を満たすか否かを判定する第2の動作検出部とを含む、請求項2に記載の情報処理装置。

請求項4

前記複数のセンサデータは、外部のセンサ装置において取得される第1のセンサデータと第2のセンサデータとを含み、前記情報処理装置は、前記第1のセンサデータが前記一連の動作に対応する第1の条件を満たす区間が発生したと前記センサ装置において判定された場合に、前記センサ装置から送信される前記第2のセンサデータを受信する受信部をさらに含み、前記動作検出部は、前記第1の条件を満たす区間において前記第2のセンサデータが前記一連の動作に対応する第2の条件を満たすか否かを判定する、請求項2に記載の情報処理装置。

請求項5

前記情報は、前記一連の動作の検出との前後関係に応じて生成される情報を含む、請求項1に記載の情報処理装置。

請求項6

前記情報は、前記一連の動作の検出中に生成される第1の情報を含む、請求項5に記載の情報処理装置。

請求項7

前記第1の情報は、前記一連の動作に関する記録装置制御情報を含む、請求項6に記載の情報処理装置。

請求項8

前記一連の動作は、食事に対応し、前記記録装置は、前記制御情報に従って前記食事の内容を画像によって記録する、請求項7に記載の情報処理装置。

請求項9

前記第1の情報は、さらに、前記食事の内容に基づく前記ユーザへのアドバイスまたは前記ユーザとは異なる他人へのアドバイスを含む、請求項8に記載の情報処理装置。

請求項10

前記情報は、前記一連の動作の検出との前後関係と、前記一連の動作とは異なる前記ユーザの行動認識結果とに応じて生成される、請求項5に記載の情報処理装置。

請求項11

前記情報は、前記一連の動作の検出後に生成される第2の情報を含む、請求項5に記載の情報処理装置。

請求項12

前記第2の情報は、前記一連の動作の後に予定されている動作のリマインダ情報を含む、請求項11に記載の情報処理装置。

請求項13

前記情報は、前記一連の動作の検出中および検出後には生成が抑制される第3の情報を含む、請求項5に記載の情報処理装置。

請求項14

前記第3の情報は、前記一連の動作に関する推薦情報を含む、請求項13に記載の情報処理装置。

請求項15

前記一連の動作は、食事に対応し、前記推薦情報は、前記食事の場所または内容に関する推薦情報を含む、請求項14に記載の情報処理装置。

請求項16

前記情報は、前記一連の動作の検出後に生成されるログ情報を含む、請求項1に記載の情報処理装置。

請求項17

前記情報は、さらに、前記一連の動作の検出中に生成される、前記一連の動作に関する記録装置の制御情報を含み、前記ログ情報は、前記記録装置が前記制御情報に従って記録した、前記一連の動作に関する記録を含む、請求項16に記載の情報処理装置。

請求項18

前記一連の動作は、食事に対応し、前記記録装置は、前記食事の内容を画像によって記録し、前記ログ情報は、前記食事の時間帯と、前記食事の時間帯に記録された少なくとも1つの前記画像とを含む、請求項17に記載の情報処理装置。

請求項19

プロセッサが、ユーザの反復的かつ非周期的な一連の動作を検出することと、前記一連の動作に関連する情報を生成することとを含む情報処理方法

請求項20

ユーザの反復的かつ非周期的な一連の動作を検出する機能と、前記一連の動作に関連する情報を生成する機能とをコンピュータに実現させるためのプログラム

技術分野

0001

本開示は、情報処理装置情報処理方法、およびプログラムに関する。

背景技術

0002

近年、各種センシング技術を用いて取得されたセンサ情報からユーザの動作行動を認識する技術が提案されている。例えば、特許文献1では、このような技術を利用して、小型センサ内蔵記録装置によって記録された行動ログをユーザにわかりやすく提示するための表現手法が提案されている。

先行技術

0003

特開2013−3649号公報

発明が解決しようとする課題

0004

上記の特許文献1に記載されたような技術も、ユーザが継続的にセンサ装置を装着し、例えば生活の中で発生する様々な行動センサデータに基づいて検出することを意図している。しかしながら、センサの小型化や省電力化がさらに進行したことによって、例えばリストウェアネックウェアアイウェアなど様々な形のウェアラブル装置にセンサを搭載することが可能になり、それに伴って、ユーザの動作を検出するために利用可能なセンサデータなどのソース多様化している。そのような中、既に利用されていたセンサデータも含め、ユーザの動作を検出してその結果を利用して情報を生成するための技術には、なおも改良の余地があると考えられる。

0005

そこで、本開示では、ユーザの多様な動作を検出してその結果を利用して有用な情報を生成することを可能にする、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。

課題を解決するための手段

0006

本開示によれば、ユーザの反復的かつ非周期的一連の動作を検出する動作検出部と、上記一連の動作に関連する情報を生成する情報生成部とを備える情報処理装置が提供される。

0007

また、本開示によれば、プロセッサが、ユーザの反復的かつ非周期的な一連の動作を検出することと、上記一連の動作に関連する情報を生成することとを含む情報処理方法が提供される。

0008

また、本開示によれば、ユーザの反復的かつ非周期的な一連の動作を検出する機能と、上記一連の動作に関連する情報を生成する機能とをコンピュータに実現させるためのプログラムが提供される。

発明の効果

0009

以上説明したように本開示によれば、ユーザの多様な動作を検出してその結果を利用して有用な情報を生成することができる。

0010

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

図面の簡単な説明

0011

本開示の一実施形態に係るシステムの概略的な構成を示す図である。
本開示の一実施形態において、一連の処理が単一の装置内で完結する場合の機能構成の例を示すブロック図である。
図2に示した例における処理の例を示すフローチャートである。
本開示の一実施形態において、一連の処理が複数の装置に分散して実行される場合の機能構成の例を示すブロック図である。
本開示の一実施形態において食事の動作を検出する例について説明するための図である。
本開示の一実施形態において食事の動作を検出する例についての実験結果を示す図である。
本開示の一実施形態においてビリヤードプレイを検出する例について説明するための図である。
本開示の一実施形態においてタイピングを検出する例について説明するための図である。
本開示の一実施形態においてショッピングを検出する例について説明するための図である。
本開示の一実施形態においてサッカーのプレイを検出する例について説明するための図である。
本開示の一実施形態において、複数の検出対象動作がある場合の構成の第1の例を示す図である。
本開示の一実施形態において、複数の検出対象動作がある場合の構成の第2の例を示す図である。
本開示の一実施形態において動作の検出前に情報を生成する例を示すフローチャートである。
図13に示した例において出力される情報の第1の例を示す図である。
図13に示した例において出力される情報の第2の例を示す図である。
本開示の一実施形態において動作の検出中に情報を生成する例を示すフローチャートである。
図16に示した例において出力される情報の第1の例を示す図である。
図16に示した例において出力される情報の第2の例を示す図である。
本開示の一実施形態において動作の検出後に情報を生成する例を示すフローチャートである。
図19に示した例において出力される情報の第1の例を示す図である。
図19に示した例において出力される情報の第2の例を示す図である。
本開示の一実施形態において食事の動作を検出する場合に提供されうる情報のバリエーションを示す図である。
本開示の一実施形態において食事の動作を検出する場合に提供されうる情報のバリエーションを示す図である。
本開示の一実施形態において食事の動作を検出する場合に提供されうる情報のバリエーションを示す図である。
本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。

実施例

0012

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

0013

なお、説明は以下の順序で行うものとする。
1.システム構成
2.機能構成
2−1.単一の装置内で完結する構成の例
2−2.複数の装置に分散した構成の例
3.検出される動作の例
4.複数の検出対象動作がある場合の構成
5.情報生成の例
5−1.動作の検出前に情報を生成する例
5−2.動作の検出中に情報を生成する例
5−3.動作の検出後に情報を生成する例
5−4.その他の例
6.ハードウェア構成
7.補足

0014

(1.システム構成)
図1は、本開示の一実施形態に係るシステムの概略的な構成を示す図である。図1を参照すると、システム10は、センサ装置100を含む。後述するように、センサ装置100は、情報処理装置としても機能し、センサ装置100の内部で一連の処理を完結させることが可能であってもよい。

0015

また、システム10は、センサ装置100と通信する端末装置200を含んでもよい。端末装置200は、より具体的には例えばスマートフォンタブレットパーソナルコンピュータなどの各種の情報処理装置でありうる。端末装置200は、センサ装置100と協働して一連の処理を実行する。なお、上記のように、センサ装置100の内部で一連の処理が完結する場合、センサ装置100と端末装置200とは、一体化しているとみなすこともできる(センサ装置100が情報処理装置としても機能する場合と、端末装置200がセンサを備えてセンサ装置としても機能する場合とは等価である)。

0016

さらに、システム10は、端末装置200とネットワークを介して通信するサーバ300を含んでもよい。サーバ300は、単一の情報処理装置、または複数の情報処理装置の集合体によって実現される。上記のようにセンサ装置100と端末装置200とが一体化しているとみなしうる場合、サーバ300はセンサ装置100と通信するともいえる。また、センサ装置100と端末装置200とが別個に存在する場合、サーバ300は、センサ装置100および端末装置200のそれぞれと通信可能であってもよい。

0017

図示された例において、センサ装置100は、アイウェア100a、ネックウェア100b、およびリストウェア100cとして例示されている。これらのウェアラブル装置は、ユーザの身体に装着されて、ユーザの身体に発生する加速度などのセンサデータを取得することができる。センサ装置100は、そのようなセンサデータを取得するために、少なくとも1つのセンサを含む。センサは、より具体的には、例えば加速度センサジャイロセンサ地磁気センサ光センサ音センサ気圧センサ、および/または位置センサ(例えばGNSS受信機またはWi−Fi通信装置などによって実現されうる)を含む。センサ装置100は、取得されたセンサデータを、内部で処理してもよい。あるいは、センサ装置100は、取得されたセンサデータを端末装置200に送信してもよい。センサ装置100と端末装置200とは、例えばBluetooth(登録商標)やWi−Fiによる無線通信を実行する。

0018

また、センサ装置100は、内部での処理によって生成された情報、または端末装置200もしくはサーバ300での処理によって生成された情報を出力するための出力装置を備えてもよい。図示された例において、アイウェア100aは、出力装置としてシースルーディスプレイ140aを有する。シースルーディスプレイ140aは、ユーザが視認している実空間の像に画像を透過的に重畳する。また、ネックウェア100bは、出力装置としてイヤフォン140bを有する。リストウェア100cは、出力装置としてディスプレイ140cを有する。なお、例えば端末装置200が有する出力装置(図示された例におけるディスプレイ240)が利用可能であるような場合や、生成される情報が専らログとして蓄積されてリアルタイムでは出力されない場合、センサ装置100は必ずしも出力装置を備えなくてもよい。また、センサ装置100が出力装置を有する場合であっても、本実施形態に係る一連の処理によって生成された情報が当該出力装置から出力されなくてもよい。

0019

なお、センサ装置100は、図示されたアイウェア100a、ネックウェア100b、またはリストウェア100cのいずれかであってもよく、他の種類のウェアラブル装置であってもよい。また、スマートフォンなどのモバイル装置がセンサ装置100として機能してもよい。この場合、当該モバイル装置はセンサ装置100および端末装置200の両方として機能してもよいし、さらに別の装置が端末装置200として機能してもよい。なお、センサ装置100は、上述したようなウェアラブル装置またはモバイル装置のうちのいずれか1つであってもよいし、複数のウェアラブル装置および/またはモバイル装置がセンサ装置100に含まれてもよい。センサ装置100が単一の装置である場合も、当該装置が有する複数のセンサによって、複数のセンサデータが取得されてもよい。これらの構成は、例えばセンシング対象またはセンシング方法が異なる複数のセンサデータを取得するために利用されうる。

0020

上記のようなシステム10の構成要素のうち、端末装置200およびサーバ300を構成する1または複数の情報処理装置は、例えば後述する情報処理装置のハードウェア構成によって実現される。センサ装置100についても、情報処理装置として機能して一連の処理を完結させる場合はもちろん、そうでない場合も取得されたセンサデータを端末装置200に送信するための処理を実行する処理回路(プロセッサ)を有するため、後述する情報処理装置のハードウェア構成によって実現されるといえる。

0021

(2.機能構成)
(2−1.単一の装置内で完結する構成の例)
図2は、本開示の一実施形態において、一連の処理が単一の装置内で完結する場合の機能構成の例を示すブロック図である。図2に示した例において、センサ装置100は、加速度センサ110、動作検出部120、および情報生成部130を含む。動作検出部120および情報生成部130は、例えばCPUなどのプロセッサがプログラムに従って動作することによって実現されるソフトウェア的な構成要素である。以下、それぞれの構成要素について、さらに説明する。

0022

加速度センサ110では、一軸加速度112および三軸加速度114のセンサデータを取得することが可能である。加速度センサ110は、これらのセンサデータを取得するための別個の加速度センサ(つまり、一軸加速度センサ三軸加速度センサ)を含んでもよいし、同じ加速度センサによるセンシング方法(加速度センサから出力されたデータの前処理を含む)を変更することによって上記のそれぞれのセンサデータを取得してもよい。なお、加速度センサはユーザの動作を検出するためのセンサデータを取得するためのセンサの一例として説明されており、例えばジャイロセンサ、地磁気センサ、光センサ、音センサ、気圧センサ、および/または位置センサが併用されたり、また加速度センサ110がこれらのセンサによって代替されたりしてもよい。

0023

動作検出部120は、加速度センサ110から提供されるセンサデータに基づいてユーザの動作を検出する。図示された例において、加速度センサ110から提供されるセンサデータは、一軸加速度112および三軸加速度114のセンサデータを含む。上記の通り、これらのセンサデータは、センシング対象が異なる(加速度センサ110が一軸加速度センサと三軸加速度センサとを別個に含む場合)、またはセンシング方法が異なる(加速度センサ110が同じ加速度センサのセンシング方法の変更によって一軸加速度および三軸加速度のセンサデータを取得する場合)複数のセンサデータの例である。図示された例において、一軸加速度112のセンサデータ(以下、第1のセンサデータともいう)は動作検出部120に含まれるプレフィルタ122(第1の動作検出部)に入力され、三軸加速度114のセンサデータ(以下、第2のセンサデータともいう)は動作検出部120に含まれるメインアナライザ124(第2の動作検出部)に入力される。

0024

このような構成によって、動作検出部120では、第1のセンサデータが検出対象の動作に対応する第1の条件を満たす区間が発生したか否かをプレフィルタ122が判定し、そのような区間が発生したと判定された場合に、当該区間において第2のセンサデータが検出対象の動作に対応する第2の条件を満たすか否かをメインアナライザ124が判定することが可能である。従って、例えば、プレフィルタ122によって第1の条件が満たされる区間が発生したと判定されるまでは、メインアナライザ124の処理、および加速度センサ110がメインアナライザ124に三軸加速度114のセンサデータを提供する処理を休止することができる。これによって、例えば、動作検出部120を実現するプロセッサの消費電力節減することができる。また、例えば加速度センサ110が一軸加速度センサと三軸加速度センサとを別個に含む場合に三軸加速度センサを休止させたり、加速度センサ110が(一軸加速度と三軸加速度とで共通の)加速度センサによって出力されたデータから三軸加速度を抽出するための処理回路を休止させたりすることによって、加速度センサ110での消費電力を節減することもできる。

0025

本実施形態において、動作検出部120は、例えば後述する食事やビリヤード、タイピング、ショッピング、サッカーのような、ユーザの反復的かつ非周期的な一連の動作を検出する。ここで、ユーザの反復的な一連の動作には、例えば歩行走行のような周期的な動作と、そうではない非周期的な動作とが含まれる。動作検出部120は、上記のような非周期的な動作とともに、またはこれに代えて、周期的な動作を検出可能であってもよい。また、動作検出部120は、反復的ではない一過性の動作を検出可能であってもよい。なお、このような動作(反復的でない、または反復的であっても周期的な動作)の検出については、例えば特開2013−3649号公報のような文献に記載された公知の様々な手法を適宜利用することが可能であるため、ここでは詳細な説明を省略する。

0026

情報生成部130は、動作検出部120によって検出された動作(ユーザの反復的かつ非周期的な一連の動作を含みうる)に関連する情報を生成する。図示された例において、情報生成部130はリアルタイム情報生成部132およびログ生成部134の処理を実行している。リアルタイム情報生成部132は、検出された動作との前後関係に応じて情報を生成する。リアルタイム情報生成部132によって生成される情報は、例えばディスプレイなどの出力装置140を介して出力される情報を含みうる。このような情報は、より具体的には、ユーザの行動に関する推薦情報リマインダ情報などでありうる。また、リアルタイム情報生成部132によって生成される情報は、例えばカメラなどの被制御装置150の制御情報を含みうる。制御情報は、より具体的には、被制御装置150に含まれるカメラなどの記録装置に記録を実行させる制御情報を含みうる。一方、ログ生成部134は、動作の検出後にログ情報を生成する。ログ情報は、例えばデータベース160に蓄積され、後の解析や出力に利用される。

0027

なお、情報生成部130は、例えば上記の例のうちのいずれか1つの種類の情報を生成してもよいし、複数の種類の情報を生成してもよい。従って、情報生成部130の処理には、リアルタイム情報生成部132およびログ生成部134の両方が含まれてもよいし、いずれか一方が含まれてもよい。また、情報生成部130が生成する情報は上記の例には限られず、動作の検出中または検出後に動作の発生を前提として当該情報を生成することによってユーザにより適切な情報を提供することが可能になるようなものであれば、どのような種類の情報であってもよい。また、情報生成部130は、上述したような情報とともに、またはこれに代えて、動作検出部120による動作の検出結果を利用するものの、必ずしも動作の発生を前提とするわけではない、他の種類の情報を生成してもよい。

0028

また、図2において、情報生成部130によって生成された情報の出力先である出力装置140、被制御装置150、およびデータベース160は、センサ装置100に含まれてもよいし、センサ装置100の外部にあってもよいように図示されている。これは、これらの出力先が、例えばセンサ装置100が有するディスプレイやカメラ、ストレージなどであってもよいし、センサ装置100の外部にある、例えば端末装置200が有するディスプレイやカメラ、ストレージなどであってもよいことを意味している。なお、データベース160に関しては、端末装置200には限らず、サーバ300のストレージによって実現されてもよい。情報生成部130によって生成された情報がセンサ装置100の外部に出力される場合、生成された情報は、センサ装置100が有する通信装置から、例えばBluetooth(登録商標)やWi−Fiによる無線通信を介して端末装置200に送信される。端末装置200は、受信された情報を、ネットワーク通信によってサーバ300に転送してもよい。あるいは、生成された情報は、センサ装置100が有する通信装置から、ネットワーク通信によって直接的にサーバ300に送信されてもよい。

0029

図3は、図2に示した例における処理の例を示すフローチャートである。図3には、主にセンサ装置100の動作検出部120および情報生成部130が実行する処理が示されている。

0030

まず、動作検出部120において、プレフィルタ122が、加速度センサ110から提供される一軸加速度112のセンサデータにおいて、継続的な一軸加速度の変化が観測されているか否かを判定する(S101)。ここで、継続的な一軸加速度の変化が観測されていない場合(NO)、処理は一旦終了し、例えば所定の時間の経過後に再度実行される。一方、継続的な一軸加速度の変化が観測されている場合(YES)、プレフィルタ122は、一軸加速度の条件判定を実施する(S103)。この判定は、上述した、第1のセンサデータが検出対象の動作に対応する第1の条件を満たす区間が発生しているか否かの判定に対応する。

0031

上記の判定において用いられる第1の条件は、例えば、対象動作が発生している場合に観測される可能性がある第1のセンサデータ(図示された例では一軸加速度)の特徴を、可能な限り広く表現する条件でありうる。後述するように、対象動作が発生しているか否かはメインアナライザ124によって最終的に判定される。従って、プレフィルタ122による判定では、実際に対象動作が発生している区間について高い精度で第1の条件が満たされると判定されるのであれば、それに伴って実際には対象動作が発生していない区間の一部でも第1の条件が満たされると判定されたとしても問題はない。それゆえ、プレフィルタ122が実行する第1の条件についての判定処理は、処理速度の向上や消費電力の節減を可能にする、より軽い処理にすることが可能である。

0032

S103の判定において、第1の条件が満たされると判定された場合(YES)、動作検出部120ではメインアナライザ124が起動される(S105)。このとき、加速度センサ110に含まれる加速度センサ、またはセンサを用いて三軸加速度のセンサデータを取得するための処理回路が、併せて起動されてもよい。メインアナライザ124は、加速度センサ110から提供される三軸加速度114のセンサデータを用いて、三軸加速度の条件判定を実施する(S107)。この判定は、上述した、第2のセンサデータが検出対象の動作に対応する第2の条件を満たすか否かの判定に対応する。

0033

上記の判定において用いられる第2の条件は、例えば、対象動作が発生している場合に観測される可能性がある第2のセンサデータ(図示された例では三軸加速度)の特徴を、可能な限り正確に表現する条件でありうる。メインアナライザ124は、対象動作が発生しているか否かを最終的に判定するため、第2の条件が満たされると判定される区間は、実際に対象動作が発生している区間に可能な限り近い方が望ましい。それゆえ、メインアナライザ124が実行する第2の条件についての判定処理は、上記の目的が達成される限りにおいて、処理速度の低下や消費電力の増大を伴う複雑な処理であってもよい。そのような場合でも、プレフィルタ122によって対象動作が発生していない区間の少なくとも一部が処理対象から除外されているため、例えば全区間で第2の条件についての判定を実施するような場合に比べて、処理速度の低下や消費電力の増大を抑制することができる。

0034

S107の判定において、第2の条件が満たされると判定された場合(YES)、情報生成部130による情報の生成が実行される(S109)。既に説明したように、生成される情報には、出力装置140を介して出力されるユーザの行動に関する何らかの推薦情報やリマインダ情報、カメラなどの被制御装置150の制御情報、またはデータベース160に蓄積されるログ情報などが含まれうる。

0035

情報の生成後は、再び上記のS101以下の動作に関する判定処理が実行される。再度実行された判定処理でも対象動作が発生していると判定された場合(S107のYES)、情報生成処理(S109)では、対象動作が継続していることを前提として情報が生成されてもよい。また、図示していないが、再度実行された判定処理では対象動作が発生していないと判定された場合(S101、S103、またはS107のNO)、対象動作が終了したことを前提とした情報の生成が、情報生成部130によって実行されてもよい。

0036

以上、本開示の一実施形態において、一連の処理がセンサ装置の内部で完結する場合の構成の例について説明した。なお、システム構成について既に説明したように、一連の処理は、センサ装置100と一体化した端末装置200の内部で完結してもよい。この場合、上記の説明において、センサ装置100は端末装置200と読み替えられる。この場合、端末装置200は、上記のように加速度センサ110(他の種類のセンサでもよい)を備えて自らセンサデータを取得するとともに、他のセンサ装置から無線通信などによってセンサデータを受信してもよい。端末装置200がセンサ装置100からセンサデータを受信する構成については、次の例でさらに説明する。

0037

(2−2.複数の装置に分散した構成の例)
図4は、本開示の一実施形態において、一連の処理が複数の装置に分散して実行される場合の機能構成の例を示すブロック図である。なお、上記で図2および図3を参照して説明した例と同様の構成要素については、共通の符号を付することによって重複した説明を省略する。

0038

図示された例では、センサ装置100が、加速度センサ110と、センサ制御部170と、送信部180とを含む。センサ制御部170は、例えばCPUなどのプロセッサ(より単純な処理回路であってもよい)がプログラムに従って動作することによって実現されるソフトウェア的な構成要素である。送信部180は、センサ装置100が有する、端末装置200との間でBluetooth(登録商標)やWi−Fiによる無線通信を実行する通信装置によって実現される。

0039

センサ制御部170は、加速度センサ110から提供されるセンサデータに基づいて送信部180の動作を制御する。より具体的には、センサ制御部170はプレフィルタ122を含み、加速度センサ110から提供される一軸加速度112のセンサデータについてプレフィルタ122が実行する判定処理において、一軸加速度(第1のセンサデータ)が検出対象の動作に対応する第1の条件を満たす区間が発生したと判定された場合に、センサ制御部170が送信部180を起動させる。起動された送信部180は、加速度センサ110から提供される三軸加速度114のセンサデータを、端末装置200に送信する。起動されるまで、送信部180は、端末装置200との間の通信を休止していてもよい。このとき、さらに、センサ制御部170は、加速度センサ110に含まれる三軸加速度センサ、またはセンサを用いて三軸加速度のセンサデータを取得するための処理回路を起動させてもよい。起動されるまで、これらのセンサまたは処理回路は休止していてもよい。このような構成によって、送信部180を実現する通信装置の消費電力や、加速度センサ110での消費電力を節減することができる。

0040

一方、図示された例において、端末装置200は、受信部210と、動作検出部220と、情報生成部130とを含む。受信部210は、端末装置200が有する、センサ装置100との間でBluetooth(登録商標)やWi−Fiによる無線通信を実行する通信装置によって実現される。動作検出部220および情報生成部130は、例えばCPUなどのプロセッサがプログラムに従って動作することによって実現されるソフトウェア的な構成要素である。

0041

受信部210は、センサ装置100から送信されたセンサデータを受信する。上記のように、送信されるセンサデータには、センサ装置100が有する加速度センサ110から提供される三軸加速度114のセンサデータが含まれる。上記の通り、センサ装置100では、一軸加速度(第1のセンサデータ)が検出対象の動作に対応する第1の条件を満たす区間が発生したとプレフィルタ122において判定された場合にセンサデータが送信される。従って、受信部210は、そのような場合に限ってセンサデータを受信することになる。受信部210によってセンサデータが受信された場合、動作検出部220においてメインアナライザ124が起動し、三軸加速度114のセンサデータについての判定処理を実行する。ここで実行される判定処理は、三軸加速度(第2のセンサデータ)が検出対象の動作に対応する第2の条件を満たすか否かの判定でありうる。受信部210によってセンサデータが受信されていない間は、動作検出部220におけるメインアナライザ124の処理は休止される。これによって、例えば、動作検出部220を実現するプロセッサの消費電力を節減することができる。

0042

上記で図2および図3を参照して説明した例と同様に、本実施形態において、動作検出部220は、ユーザの反復的かつ非周期的な一連の動作を検出する。なお、動作検出部220は、上記のような非周期的な動作とともに、またはこれに代えて、周期的な動作を検出可能であってもよい。また、動作検出部220は、反復的ではない一過性の動作を検出可能であってもよい。このような動作の検出については、既に述べたように公知の様々な手法を適宜利用することが可能である。

0043

情報生成部130は、動作検出部220によって対象動作(例えば、ユーザの反復的かつ非周期的な一連の動作)が検出された場合に、その検出中または検出後に、動作の発生を前提として情報を生成する。情報生成部130の詳細な構成については、上記で図2および図3を参照して説明した例と同様であるため詳細な説明を省略する。

0044

なお、端末装置200に含まれる情報生成部130の場合、生成された情報の出力先は出力装置240、被制御装置250、および/またはデータベース260である。これらの出力先は、端末装置200に含まれてもよいし、端末装置200の外部にあってもよいように図示されている。これは、これらの出力先が、例えば端末装置200が有するディスプレイやカメラ、ストレージなどであってもよいし、端末装置200の外部にある、例えば別の端末装置(センサ装置100であってもよい)が有するディスプレイやカメラ、ストレージなどであってもよいことを意味している。なお、データベース260に関しては、サーバ300のストレージによって実現されてもよい。情報生成部130によって生成された情報が端末装置200の外部に出力される場合、生成された情報は、センサ装置100が有する通信装置から、例えばBluetooth(登録商標)やWi−Fiによる無線通信を介して他の端末装置(センサ装置100であってもよい)に送信される。あるいは、生成された情報は、ネットワーク通信によって外部(他の端末装置、またはサーバ300)に送信されてもよい。

0045

以上、本開示の一実施形態において、一連の処理が複数の装置に分散して実行される場合の構成の例について説明した。この場合、一連の処理は、センサ制御部170(プレフィルタ122)を含むセンサ装置100と、それ以外の装置との間で分散される。上記の例ではセンサ装置100と端末装置200とに処理が分散される場合について説明したが、センサ装置100とサーバ300との間で処理が分散されてもよい。この場合、サーバ300が、上記で端末装置200の構成要素として説明された受信部210、動作検出部220、および情報生成部130を含む。端末装置200は、センサ装置100からサーバ300へのセンサデータの送信を中継してもよい。あるいは、センサ装置100がネットワークを介して直接的にサーバ300にセンサデータを送信してもよい。

0046

あるいは、上記の例において、一連の処理は、センサ装置100と、それ以外の複数の装置との間で分散されてもよい。例えば、センサ装置100と、端末装置200と、サーバ300とにそれぞれ処理が分散されてもよい。この場合、例えば、端末装置200が受信部210および動作検出部220を含み、サーバ300が情報生成部130を含んでもよい。あるいは、情報生成部130が分割して実装されてもよい。より具体的には、例えば、リアルタイム情報生成部132は端末装置200で実行され、ログ生成部134はサーバ300で実行されてもよい。

0047

さらに別の例として、センサ装置100がセンサ制御部170を含まなくてもよい。この場合、センサ装置100は、加速度センサ110において取得される一軸加速度112および三軸加速度114のセンサデータを送信部180によって端末装置200に送信する。端末装置200は、受信部210で受信されたセンサデータを、動作検出部220で処理する。この場合、動作検出部220は、図2に示した例の動作検出部120と同様の構成をとりうる。つまり、動作検出部220には、メインアナライザ124だけではなく、プレフィルタ122も含まれうる。この場合、センサ装置100における加速度センサ110および送信部180の消費電力は節減されないものの、端末装置200において動作検出部220を実現するプロセッサの消費電力は節減される。ここで、センサ装置100における消費電力も節減するために、端末装置200にセンサ制御部170を含めてもよい。この場合、プレフィルタ122は、動作検出部220とセンサ制御部170との間で共有されうる。端末装置200は、センサ制御部170に含まれるプレフィルタ122の判定結果に従って、通信装置(受信部210を実現する通信装置と同じものでありうる)を介してセンサ装置100の加速度センサ110を遠隔制御する。

0048

(3.検出される動作の例)
次に、本開示の一実施形態において検出される動作の例について説明する。上述の通り、本実施形態において、動作検出部120(動作検出部220であってもよい。以下同様)は、ユーザの反復的かつ非周期的な一連の動作を検出することが可能でありうる(必ずしもそうでなくてもよく、専ら反復的かつ周期的な動作および/または反復的ではない一過性の動作を検出してもよいことは既に述べた通りである)。以下では、動作検出部120がユーザの反復的かつ非周期的な一連の動作を検出する場合について、その具体的ないくつかの例を挙げながらさらに説明する。

0049

図5は、本開示の一実施形態において食事の動作を検出する例について説明するための図である。図5では、食事(Mealtime)を含む区間について、ユーザの首に装着された加速度センサ(例えば、図1に示したネックウェア100bが有する加速度センサ)によって取得される加速度(NA:Neck Acceleration)と、ユーザの左手および右手にそれぞれ装着された加速度センサ(例えば、図1に示したリストウェア100cが有する加速度センサ)によってそれぞれ取得される加速度(LWA:Left Wrist AccelerationおよびRWA:Right Wrist Acceleration)の波形が示されている。図示された区間のうち、区間P11は食事の区間であり、区間P12は食事後雑談の区間である。

0050

本実施形態では、例えば上記のような場合において、NAとLWAとに基づいて食事の動作が発生した区間が検出される。なお、以下の例(食事以外の動作を検出する例も含む)では、右利きのユーザが利き手ではない方の手首にリストウェア100cを装着することを想定して動作区間の検出にLWAを用いているにすぎない。従って、例えばユーザが利き手の手首にリストウェア100cを装着したり、左利きであるような場合は、LWAに代えてRWAを用いてもよい。

0051

上記で図2図4を参照して説明した例に即していえば、この例において、動作検出部120のプレフィルタ122は、ネックウェア100bが有する加速度センサによって取得される一軸加速度112のセンサデータ(図5では三軸の加速度が示されているが、このうち一軸の加速度が取得されればよい)に基づいて判定を実施する。また、メインアナライザ124は、リストウェア100cが有する加速度センサによって取得される三軸加速度114のセンサデータに基づいて判定を実施する。プレフィルタ122およびメインアナライザ124の判定器は、例えば実際の食事の区間におけるそれぞれのセンサデータを教師データとして与えて機械学習を実施することによって生成される。あるいは、食事の区間におけるユーザの首や手首の動きを(例えば画像なども用いて)解析することによって、ルールベースで判定器を生成してもよい。

0052

NAでは、区間P11において、姿勢がほぼ変化しないものの検出値が小刻みに変化するという特徴的な波形が観察されている。従って、プレフィルタ122は、この区間を、食事に対応する第1の条件を満たす区間として検出することができる。ここで、同様のNAの波形は、区間P12の一部においても観察されている。従って、プレフィルタ122の段階では、区間P11だけではなく、区間P12の一部も、第1の条件を満たす区間として検出されうる。区間P12の残りの部分や、区間P11よりも前の区間については、NAの波形が上記のような特徴を示していないため、プレフィルタ122の時点で食事に対応する条件を満たさないものとしてメインアナライザ124による判定の対象から除外することができる。

0053

一方、LWAでは、区間P11と区間P12との間で波形の特徴に明確な相違がある。図示された例では、ユーザがを使って食事をしているが、食事区間である区間P11の一部では、左手で茶碗を持ち上げて口元運ぶという、反復的かつ非周期的な動作に対応する波形が観察されている。一方、区間P12ではユーザは雑談しているため、そのようなLWAの波形は観察されない。従って、メインアナライザ124は、この区間において、LWAに基づいて食事に対応する第2の条件が満たされるか否かを判定することができる。なお、RWAについても、右手で箸を持って食物を口に運ぶ動作が発生しており、こちらも反復的かつ非周期的な動作といえる。従って、上述のように、ユーザによるセンサの装着状態などに応じて、LWAに代えてRWAを用いて食事区間を検出することも可能である。

0054

図6は、本開示の一実施形態において食事の動作を検出する例についての実験結果を示す図である。実験では、図5に示した例を含む数十例について、ユーザが実際に食事をした区間とそれ以外の区間とにおけるセンサデータを、実際の食事(Mealtime)区間と食事ではない(Non-mealtime)区間が1:9の割合になるように収集した。ユーザは、ネックウェア100bおよびリストウェア100cを装着して生活するとともに、実際の食事の開始時点および終了時点を記録するための入力操作を実施した。図6では、各区間におけるプレフィルタ122およびメインアナライザ124のそれぞれの判定結果が、食事区間を100、食事ではない区間を900とした場合の割合によって示されている。なお、プレフィルタ122およびメインアナライザ124の判定器は、特開2010−198595号に記載された技術によって生成した。

0055

図示された結果では、まず、プレフィルタ122の判定において、食事ではない区間のうち630/900が(食事の)条件を満たさない区間として除外された。その一方で、実際の食事区間の25/100も除外された(プレフィルタ122における検出漏れ)。残りの区間345/1000(食事区間75と食事ではない区間270を含む)は、プレフィルタ122を通過した。

0056

さらに、メインアナライザ124の判定(Result)では、プレフィルタ122を通過した実際の食事区間のうち、68/75が食事区間であると判定された。残りの7/75は食事ではない区間と検出された(メインアナライザ124における検出漏れ)。ただし、実際には食事区間の中でも比較的長い食事動作の中断(例えば短い会話による中断)が発生しうることを考慮すれば、上記で検出漏れとして説明された区間のうちの少なくとも一部はこのような中断の区間に対応しており、必ずしもすべてが全くの検出漏れとはいえないものと推定される。
一方、プレフィルタ122を通過した実際には食事ではない区間のうち、262/270は食事ではない区間と判定された。残りの8/270は食事区間と検出された(誤検出)。

0057

以上の結果において、実際の食事区間を100%とした場合、実際の食事区間が最終的に食事区間であると判定される割合(検出率)は68%、食事ではない区間であると判定される割合(検出漏れ率)は32%であった。このうち、プレフィルタ122における検出漏れが25%、メインアナライザ124における検出漏れが7%であった。また、実際には食事ではない区間が動作検出部120において食事区間であると判定される割合(誤検出率)は、食事区間と食事ではない区間が1:9の割合である場合において、食事区間100に対して8の割合で発生した。

0058

上記の検出結果のうち、メインアナライザ124において発生した検出漏れや誤検出は、判定器の精度に起因するものであり、仮にすべての区間でメインアナライザ124による判定を実施したとしても生じたと考えられる。これに対して、プレフィルタ122において発生した検出漏れ(実際の食事区間の25%)は、プレフィルタ122を設けずにすべての区間でメインアナライザ124による判定を実施していたら生じなかった可能性があるため、プレフィルタ122による判定を実施したことのデメリットともいえる。ただし、上記の通り、検出漏れとして説明された区間でも、必ずしもすべてが全くの検出漏れではなく、例えば食事動作の短い中断の区間に対応している可能性がある。その一方で、プレフィルタ122による判定を実施したことのメリットとして、実際に食事ではない区間の70%においてメインアナライザ124による判定が省略され、その分の消費電力などが節減されている。これらの欠損を補間するために、後段頻度が高い部分は間を埋めるような処理をおいてもよい。

0059

このように、本実施形態におけるプレフィルタ122およびメインアナライザ124を利用した動作の検出では、プレフィルタ122を設けたことによる検出漏れ(図6の例では実際の食事区間の25%)が生じる可能性がある一方で、多くの区間(図6の例では実際には食事ではない区間の70%)でメインアナライザ124による判定の省略による効果を得ることもできる(なお、検出漏れなどの割合は、検出の対象動作やセンサデータの品質などによって異なる)。従って、例えば、プレフィルタ122を設けたことによる検出漏れが生じなかったり、生じても許容できる程度であるような場合には、本実施形態は有効である。また、上記で説明した以外の検出方法による対象動作の検出が併用され、プレフィルタ122を設けたことによる検出漏れが他の検出方法によってカバーできるような場合にも、本実施形態が有効でありうる。

0060

図7は、本開示の一実施形態においてビリヤードのプレイを検出する例について説明するための図である。図7では、ビリヤードのプレイを含む区間について、ユーザの首に装着された加速度センサによって取得される加速度(NA)、およびユーザの右手首(上記の通り、利き手の手首)に装着された加速度センサによって取得される加速度(RWA)の波形が示されている(約5分間)。図示された区間のうち、区間P21,P22,P23がビリヤードのショットを含む区間である。この例において、動作検出部120のプレフィルタ122は、例えばネックウェア100bが有する加速度センサによって取得されるNAのセンサデータに基づいて判定を実施する。また、メインアナライザ124は、例えばリストウェア100cが有する加速度センサによって取得されるRWAのセンサデータに基づいて判定を実施する。

0061

区間P21,P22,P23では、いずれも、NAにおいてユーザがショットのために特定の姿勢(同じユーザであれば、ショットごとのばらつきは小さい)で静止したことによる特徴的な波形が観測されている。従って、プレフィルタ122は、これらの区間を、ビリヤードのショットに対応する第1の条件を満たす区間として検出することができる。さらに、これらの区間の中では、RWAにおいて、ユーザが右手でキュースティックを突いたことによる特徴的な波形が観測されている(図示していないが、ユーザは左手でキュースティックを支えるため、LWAでも同様に特徴的な波形が観測されうる)。従って、メインアナライザ124は、この波形の特徴を、ビリヤードのショットに対応する第2の条件として用いて判定を実行することができる。この結果として、ショットが反復的かつ非周期的な動作として発生するビリヤードのプレイ区間を検出することができる。

0062

図8は、本開示の一実施形態においてタイピングを検出する例について説明するための図である。図8では、タイピングを含む区間について、ユーザの首に装着された加速度センサによって取得される加速度(NA)、およびユーザの左手首に装着された加速度センサによって取得された加速度(LWA)の波形が示されている(約5分間)。図示された区間のうち、区間P32がタイピングの区間である。区間P31および区間P33は、ノート筆記をしていた区間である。この例において、動作検出部120のプレフィルタ122は、例えばネックウェア100bが有する加速度センサによって取得されるNAのセンサデータに基づいて判定を実施する。また、メインアナライザ124は、例えばリストウェア100cが有する加速度センサによって取得されるLWAのセンサデータに基づいて判定を実施する。

0063

区間P31,P32,P33では、いずれも、ユーザがに座っているためにNAの変化は小さい。従って、プレフィルタ122は、これらの区間を、タイピングに対応する第1の条件を満たす区間として検出することができる。なお、図示された範囲の外では、例えばユーザが机から立ち上がって歩いたりしている区間もありうる。プレフィルタ122は、こうした区間については上記のような第1の条件を満たさないものとしてメインアナライザ124による判定の対象から除外することができる。

0064

一方、LWAでは、区間P32と区間P31および区間P33との間で波形の特徴に明確な相違がある。タイピングの区間である区間P32では、図中に矢印で示すように、反復的かつ非周期的な、キーストロークによる加速度の波形が観察されている。一方、区間P31および区間P33では、ユーザは左手でノートを押さえているだけであるため、そのようなLWAの波形は観察されない。従って、メインアナライザ124は、このような波形の特徴を、タイピングに対応する第2の条件として用いて判定を実行することができる。なお、RWAについても区間P32ではLWAと同様の波形が観察されうるものの、区間P31および区間P33においてユーザは右手にペンを持って筆記するため、RWAではこれらの区間においても反復的かつ非周期的な加速度の波形が観察され、区間P32との違いがわかりにくい。従って、タイピングの検出にRWAを用いる場合は、メインアナライザ124での処理がLWAとは異なる可能性がある。

0065

図9は、本開示の一実施形態においてショッピングを検出する例について説明するための図である。図9では、ショッピング中の区間について、ユーザの右手首に装着された加速度センサによって取得された加速度(RWA)、およびユーザのに装着された加速度センサによって取得された加速度(LA:Loins Acceleration)の波形が示されている(約5分間)。図示された区間のうち、区間P41,P42,P43が、ショッピングにおいてユーザが商品に手を伸ばす動作をした区間である。この例において、動作検出部120のプレフィルタ122は、例えばセンサ装置100として機能する(端末装置200としても機能しうる)スマートフォンが有する加速度センサによって取得されるLAのセンサデータに基づいて判定を実施する。また、メインアナライザ124は、例えばリストウェア100cが有する加速度センサによって取得されるRWAのセンサデータに基づいて判定を実施する。

0066

区間P41および区間P43では、いずれも、LAにおいてユーザが商品に手を伸ばすために立ち止まったことによる特徴的な波形が観測されている。従って、プレフィルタ122は、これらの区間を、ショッピングに対応する第1の条件を満たす区間として検出することができる。一方、区間P42では、LAにおいて、ユーザが商品に手を伸ばすために立ち止まっただけではなく屈んだことによる特徴的な波形が観察されている。プレフィルタ122は、これらの区間を、ショッピングに対応する別の第1の条件を満たす区間として検出してもよい。あるいは、動作検出部120においてこれらの区間(区間P41および区間P43と、区間P42と)には別々の動作を示すラベルが付けられ、プレフィルタ122はそれぞれの区間を別々の動作にそれぞれ対応する第1の条件を満たす区間として検出してもよい。

0067

一方、区間P41,P42,P43では、いずれも、RWAにおいて、ユーザが商品に手を伸ばしたことによる特徴的な波形が観察されている。従って、メインアナライザ124は、これらの波形の特徴を、ショッピングに対応する第2の条件として用いて判定を実行することができる。このとき、区間P41および区間P43(ユーザが立ち止まった区間)と区間P42(ユーザが立ち止まるだけではなく屈んだ区間)とについて、共通のメインアナライザ124が用いられてもよいし、それぞれについて別々のメインアナライザ124が用いられてもよい。この結果として、ユーザが立ち止まったり屈んだりして商品に手を伸ばす動作が反復的かつ非周期的に発生するショッピングの区間を検出することができる。

0068

図10は、本開示の一実施形態においてサッカーのプレイを検出する例について説明するための図である。図10では、サッカーのプレイを含む期間について、ユーザの首に装着された加速度センサによって取得される加速度(NA)、およびユーザの右足首(利き足の足首)に装着された加速度センサによって取得される加速度(RAA:Right Ankle Acceleration)の波形が示されている(約1分間)。図示された区間のうち、区間P51,P52が、サッカーのキックを含む区間である。この例において、動作検出部120のプレフィルタ122は、例えばネックウェア100bが有する加速度センサによって取得されるNAのセンサデータに基づいて判定を実施する。また、メインアナライザ124は、例えば足首に装着するタイプのウェアラブル装置が有する加速度センサによって取得されるRAAのセンサデータに基づいて判定を実施する。

0069

区間P51,P52では、いずれも、NAにおいてユーザがキック動作をすることによる特徴的な波形が観測されている従って、プレフィルタ122は、これらの区間を、サッカーのキックに対応する第1の条件を満たす区間として検出することができる。さらに、これらの区間の中では、RAAにおいて、ユーザがボールをキックしたことによる特徴的な波形(衝撃)が観測されている。従って、メインアナライザ124は、この波形の特徴を、サッカーのキックに対応する第2の条件として用いて判定を実行することができる。この結果として、キックが反復的かつ非周期的な動作として発生するサッカーのプレイ区間を検出することができる。

0070

以上、本実施形態において検出されうるユーザの反復的かつ非周期的な一連の動作について説明した。本実施形態において、動作検出部120は、例えば図5に示した食事の例や図8に示したタイピングの例のように、反復的かつ非周期的な一連の動作(例えば左手でフォークを使う動作や、キーストロークなど)を含む区間を一括して検出してもよい。あるいは、動作検出部120は、例えば図7に示したビリヤードの例や、図9に示したショッピングの例、図10に示したサッカーの例のように、非周期的な個々の動作(例えばビリヤードのショットや、商品に手を伸ばす動作、サッカーのキックなど)の区間をそれぞれ検出した上で、そのような動作が反復されている区間を、検出対象の動作(ビリヤードのプレイ、ショッピング、またはサッカーのプレイ)の区間として認識してもよい。

0071

上記のようにして認識されるユーザの反復的かつ非周期的な一連の動作は、例示したものには限らず、ユーザの日常生活において他にも多く発生しうる。このような動作は、反復的であるという点で特徴的ではあるものの、周期的ではないために、区間の特定が容易ではない場合がある。そのような場合に、例えばプレフィルタ122による判定に基づいて動作が発生した可能性がある区間をある程度絞り込めれば、メインアナライザ124による判定によって対象動作の発生を精度よく検出できる。また、プレフィルタ122で条件が満たされたと判定された場合に限って、メインアナライザ124による判定や該判定に用いられるセンサデータの取得などを実行することで消費電力などを節減できうることは、既に説明した通りである。

0072

なお、本開示の他の実施形態において、ユーザの反復的かつ非周期的な一連の動作を検出する場合、動作検出部は必ずしもプレフィルタ(第1の動作検出部)とメインアナライザ(第2の動作検出部)とを含む構成をとらなくてもよい。例えば、対象動作が発生した可能性がある区間を適切に絞り込むプレフィルタを構築することが困難な場合や、プレフィルタを設けることによる消費電力などの節減が必要とされない場合、動作検出部はプレフィルタを含まず、すべての区間についてメインアナライザによる判定を実施してもよい。つまり、本開示の実施形態において、反復的かつ非周期的な一連の動作を検出することは、プレフィルタとメインアナライザとを設けることとは独立している。

0073

また、既に述べたように、本実施形態において、ユーザの反復的かつ非周期的な一連の動作は必ずしも検出されなくてもよく、代わりに反復的かつ周期的な動作や、反復的ではない一過性の動作が検出されてもよい。このような動作を検出する場合でも、動作検出部がプレフィルタとメインアナライザとを含むことによって消費電力などの節減ができうることは、反復的かつ非周期的な動作を検出する場合と同様である。

0074

(4.複数の検出対象動作がある場合の構成)
図11は、本開示の一実施形態において、複数の検出対象動作がある場合の構成の第1の例を示す図である。本実施形態では、例えば上記で図5図10を参照した例のような複数の動作を、それぞれ検出することが可能でありうる。また、例えば、同じラベルが与えられる動作であっても、その中に複数の検出対象が含まれる場合もありうる。例えば、図5を参照して説明した食事の検出の例では、食器使い方(フォークおよびナイフを使う場合、スプーンを使う場合、箸を使う場合など)によって、それぞれ検出される加速度の特徴(例えば左手の動作によって発生するLWAの特徴)が異なりうる。また、例えば、食物の種類(米飯パン、麺、スープなど)によっても、検出される加速度の特徴は異なりうる。従って、例えば食事の検出にあたっては、このような検出対象を統合して1回の食事としてもよい(1回の食事の中で食器の使い方が変わったり、複数の種類の食物を順番または交互に摂食したりすることがありうる)。

0075

図示された例では、それぞれの検出対象動作に対応するプレフィルタ122a,122b,・・・と、同様にそれぞれの検出対象動作に対応するメインアナライザ124a,124b,・・・とが設けられている。さらに、それぞれの検出対象動作に対応する情報生成部130aが設けられてもよい。一軸加速度112のセンサデータはプレフィルタ122a,122b,・・・のそれぞれに入力され、三軸加速度114のセンサデータはメインアナライザ124a,124b,・・・のそれぞれに入力される。プレフィルタ122a,122b,・・・の判定結果に従って対応するメインアナライザ124a,124b,・・・が起動される。より具体的には、例えば、プレフィルタ122aで第1の検出対象動作に対応する条件が満たされる区間が発生したと判定された場合に、メインアナライザ124aが起動される。このとき、プレフィルタ122bで同様に第2の検出対象動作に対応する条件が満たされる区間が発生したと判定されていなければ、メインアナライザ124bは起動されない。例えば、各検出対象動作における一軸加速度112のセンサデータの特徴の相違が大きく、プレフィルタ122a,122b,・・・によって各検出対象動作を識別できるような場合には、上記のような構成が有効でありうる。

0076

図12は、本開示の一実施形態において、複数の検出対象動作がある場合の構成の第2の例を示す図である。図示された例では、複数の検出対象動作に共通のプレフィルタ122と、それぞれの検出対象動作に対応するメインアナライザ124a,124b,・・・とが設けられている。一軸加速度112のセンサデータはプレフィルタ122に入力され、三軸加速度114のセンサデータはメインアナライザ124a,124b,・・・のそれぞれに入力される。プレフィルタ122の判定結果に従ってメインアナライザ124a,124b,・・・が起動される。より具体的には、例えば、プレフィルタ122で各検出対象動作に共通の条件が満たされる区間が発生したと判定された場合に、メインアナライザ124a,124b,・・・のそれぞれが起動される。例えば、各検出対象動作での一軸加速度112のセンサデータの特徴の相違が小さく、プレフィルタ122で各検出対象動作を識別することが合理的ではないような場合には、上記のような構成が有効でありうる。

0077

ここまでの部分では、本開示の一実施形態における動作の検出に関する構成の例について説明してきた。ここで説明された例に限らず、本開示の実施形態では動作の検出に関して様々な変形例が可能である。例えば、センサ装置は、上記の例のようなアイウェア、ネックウェア、およびリストウェアには限られず、ユーザの腕や足首、衣服、歯などに装着されてもよい。また、センサ装置は、必ずしもユーザに装着されなくてもよく、ユーザによって使用される道具、例えば食事に使用される食器(端や皿など)に装着または内蔵されてもよい。また、センサ装置に含まれ、動作検出部による動作の検出に用いられるセンサデータは、上記の例における加速度のセンサデータには限られず、ジャイロセンサによって取得される角速度や、地磁気気圧などであってもよい。センサデータは、カメラなどに含まれるイメージセンサによって取得される画像データや、マイクロフォン(音センサ)によって取得される音声データを含んでもよい。また、センサデータは、GNSS受信機またはWi−Fi通信装置など(位置センサであるといえる)によって取得される位置データを含んでもよい。

0078

ここで、上記のようなセンサデータの組み合わせについて、例えば、食事の動作を検出する場合であれば、食事をする可能性のある場所は自宅レストランなどに限られているため、位置データに基づいたフィルタリングを実施することによって検出の精度が向上しうる。既に食事をしたことが検出されている場所については食事の動作が検出されやすくする(プレフィルタ122を通過しやすくする)など、パーソナライズされたPOI(Point of Interest)が利用されてもよい。なお、位置データを利用して食事の動作を検出することは、認識の精度を高める一方で、位置データへの依存は動作を検出するにあたっての制約にもなりうる。例えば、位置データとともに加速度のセンサデータを用いた食事動作の検出を繰り返す過程で機械学習などの技術を用いることでパラメータを自動的に調整し、加速度に基づく判定器の精度を十分に向上させることができれば、必ずしも位置データが取得されていない、または取得することが難しい場合であっても、食事の動作を十分な精度で検出することができるようになる。また、位置データに依存せずに食事の動作を検出できれば、例えば自宅から出ることが少ない(食事の時間帯とそれ以外の時間帯とで位置データの変化が少ない)高齢者についても、食事をしたかどうかや、食事の内容などを精度よく検出することができる。

0079

また、例えば、動作検出部120が他の動作、例えば周期的な動作として検出される歩行や走行などを検出可能である場合、これらの他の動作の検出結果が、食事の動作の検出に利用されてもよい。より具体的には、歩行や走行(その他の移動も含まれうる)が検出されている間は、基本的には食事はされないと考えられることから、食事の動作が検出されないようにしてもよい。あるいは、歩行中などに食事をすることはあまり行儀がよくないことから、歩行中に検出された食事の動作を通常の食事の動作とは別に扱い、歩行中に食事をするのを止めるように促す情報を出力してもよい。

0080

(5.情報生成の例)
(5−1.動作の検出前に情報を生成する例)
図13は、本開示の一実施形態において動作の検出前に情報を生成する例を示すフローチャートである。なお、本実施形態では、動作検出部120が実際に発生した動作を検出するため、動作検出前の情報の生成は、例えば動作の検出中および検出後に情報の生成を抑制することによって実現される。図13に示された例では、動作検出部120が例えば上記で図5および図6を参照して説明したような食事検出の処理を実行する(S201)。ここで、情報生成部130は、ユーザが食事中または食事後であるか否かを判定する(S203)。例えば、ユーザが食事中である状態は、センサデータがプレフィルタ122による判定を通過し、さらにメインアナライザ124によって反復的かつ非周期的な摂食動作が検出されている状態でありうる。なお、この例においては、ユーザが食事中であるか食事後であるかを判定する必要はないため、情報生成部130は、ユーザが一旦食事中の状態になった後、所定の時間(例えば一般的な食事の間隔に対応しうる)が経過するまでは、ユーザが食事中または食事後であると判定することができる。

0081

上記のS203の判定において、ユーザが食事中または食事後であると判定された場合(YES)、情報生成部130は、情報を生成せずに処理を終了する。一方、ユーザが食事中または食事後ではない(つまり、食事前である可能性が高い)と判定された場合(NO)、情報生成部130は、レストランの推薦情報を生成する(S205〜S209)。より具体的には、リアルタイム情報生成部132が、ユーザの位置情報を取得し(S205)、位置情報に基づいてユーザの近くにあるレストランの推薦情報を生成する(S207)。ユーザの位置情報は、例えばセンサ装置100が有する位置センサによって取得されてもよいし、端末装置200として機能するモバイル装置によって取得されてもよい。また、推薦情報の生成にあたっては、例えばユーザの嗜好の反映などの公知の技術を適宜利用することが可能である。レストランの推薦情報は、食事の場所または内容に関する推薦情報といえる。このような推薦情報の例については、続く部分で図14および図15を参照してさらに説明する。生成された推薦情報は、出力装置140から出力される(S209)。上述の通り、出力装置140は、例えば、図1に示した例においてアイウェア100aが有するシースルーディスプレイ140a、ネックウェア100bが有するイヤフォン140b、リストウェア100cが有するディスプレイ140c、または端末装置200が有するディスプレイ240などでありえ、推薦情報は例えば画像や音声などによって出力される。
上記のような情報は、例えば、ユーザが食事前であるか否かだけではなく、さらに、例えば他の行動認識結果に基づいて、ユーザが情報を受け取るのに適した状態にあるか否かに応じて提示されてもよい。この場合、例えば、ユーザが食事前であっても、まだ仕事中であることが(例えば他の行動認識処理によって)検出されている場合には、レストランの推薦情報は出力されない。その後、ユーザが仕事を終え、歩き出したことが(例えば他の行動認識処理によって)検出されると、レストランの推薦情報が生成され、ユーザに提示される。さらに、ユーザが目的のレストランを決定して歩き始めた場合には、レストランまでのナビゲーションが提供されてもよい。

0082

図14は、図13に示した例において出力される情報の第1の例を示す図である。図示された例では、アイウェア100aが有するシースルーディスプレイ140aによって、レストランの推薦情報が出力されている。シースルーディスプレイ140aによって実空間の像1401に透過的に重畳される画像は、レストランの所在を示すアイコン1403を含む。

0083

図15は、図13に示した例において出力される情報の第2の例を示す図である。図示された例では、リストウェア100cが有するディスプレイ140cによって、レストランの推薦情報が出力されている。ディスプレイ140cに表示される画像は、ユーザの位置近傍マップ1405と、マップ上に配置され現在地を示すアイコン1407と、レストランの所在を示すアイコン1409とを含む。

0084

上記の例では、動作検出部120によって食事の動作が検出され、情報生成部130が食事の動作の検出後(食事中および食事後)はレストランの推薦情報の生成を抑制している。このように、検出対象の動作発生前に限って情報を生成する例は、例えば、情報生成部130によって動作に関する推薦情報(例えば、その動作をする場所などが推薦される)が生成される場合に有効でありうる。ユーザが既に動作を開始した場合に推薦情報の生成が抑制される(より具体的には、例えば、ユーザが既に食事を始めた後や食事を終えた後には、レストランの推薦情報を提供しない)ことによって、ユーザにとって不要な推薦情報が出力されるのを防止することができる。

0085

(5−2.動作の検出中に情報を生成する例)
図16は、本開示の一実施形態において動作の検出中に情報を生成する例を示すフローチャートである。図16に示された例では、動作検出部120が例えば上記で図5および図6を参照して説明したような食事検出の処理を実行する(S201)。ここで、情報生成部130は、ユーザが食事中であるか否かを判定する(S221)。例えば、ユーザが食事中である状態は、センサデータがプレフィルタ122による判定を通過し、さらにメインアナライザ124によって反復的かつ非周期的な摂食動作が検出されている状態でありうる。後述する通り、この例ではユーザが摂っている食事の画像を反復的に撮像してその変化を検出することが目的である。従って、例えば、反復的に実行されるS201の食事検出処理において、前回の検出以降に1回でも摂食動作が検出されていれば、ユーザが食事中であると判定されてもよい。また、S201の食事検出処理において摂食動作が検出されないことが所定の時間続いた場合や、センサデータがプレフィルタ122による判定を通過しなくなった場合には、ユーザはもはや食事中ではないと判定されてもよい。

0086

上記のS221の判定において、ユーザが食事中であると判定された場合(YES)、情報生成部130では、リアルタイム情報生成部132が制御情報を生成する(S223)。より具体的には、制御情報は、この例において被制御装置150として機能するカメラに撮像を実行させるための情報である。カメラは、検出された動作に関する記録装置の例である。S223で生成された制御情報に従って、カメラは食事画像の撮像を実行する(S225)。撮像された食事画像について、例えば端末装置200またはサーバ300のプロセッサが画像解析の処理を実行し、食事内容を認識する(S227)。リアルタイム情報生成部132は、さらに、認識された食事内容に基づくユーザへのアドバイスを生成してもよい。生成された情報は、上記の図13の例と同様に、各種の出力装置140によって、画像や音声などとして出力される。なお、このようなアドバイスの例については、続く部分で図17および図18を参照してさらに説明する。例えば、食事画像の認識結果に基づいてユーザが料理を食べる順序や速さなどを検出するような場合、所定の周期で食事検出(S201)が再度実行される。なお、このようなアドバイスは、例えばユーザ自身に向けたものであってもよいし、ユーザとは異なる他人、例えば子供の食生活を管理する親、高齢者の介護者栄養士医師などに向けたものであってもよい。

0087

図17は、図16に示した例において出力される情報の第1の例を示す図である。図示された例では、アイウェア100aが有するシースルーディスプレイ140aによって、ユーザが食事中に料理を食べる順序に関する情報が出力されている。シースルーディスプレイ140aによって実空間の像1421(図示された例では、ユーザが食べている料理の皿が含まれている)に重畳される画像は、次に食べることが推薦される料理を示すターゲットアイコン1423、およびこれまで推薦に従って料理を食べることを続けられた回数の表示1425を含む。

0088

図18は、図16に示した例において出力される情報の第2の例を示す図である。図示された例では、リストウェア100cが有するディスプレイ140cによって、ユーザが食事中に料理を食べる順序に関する情報が出力されている。ディスプレイ140cに表示される画像は、次に食べることが推薦される料理(の種類)を示すターゲット表示1427、およびこれまで推薦に従って料理を食べることを続けられた回数の表示1429を含む。

0089

上記の例では、動作検出部120によって食事の動作が検出され、情報生成部130が食事の動作の検出中(食事中)に記録装置の制御情報を生成している。これによって、食事中に限定して記録装置を動作させ、例えばカメラで食事画像を取得することができる。この場合、動作検出部120の検出結果を利用して、食事の動作が発生していることを前提として撮像が実行されるため、例えば食事画像を解析して食事内容を認識するにあたり、画像が食事画像ではない可能性を排除でき、認識の精度を向上させたり、処理負荷を低減したりすることができる。なお、食事内容の認識に限らず、例えば動作の検出中に動作に関する記録を実行したい場合(より具体的には、単純に動作を画像で記録するような場合でもよい)には、上記のような構成が有効でありうる。

0090

(5−3.動作の検出後に情報を生成する例)
図19は、本開示の一実施形態において動作の検出後に情報を生成する例を示すフローチャートである。図19に示された例では、動作検出部120が例えば上記で図5および図6を参照して説明したような食事検出の処理を実行する(S201)。ここで、情報生成部130は、ユーザが食事後であるか否かを判定する(S241)。例えば、ユーザが食事後である状態は、メインアナライザ124によって反復的かつ非周期的な摂食動作が検出されなくなった状態でありうる。情報生成部130は、S201の食事検出処理において摂食動作が検出されないことが所定の時間続いた場合や、センサデータがプレフィルタ122による判定を通過しなくなった場合に、ユーザが食事後であると判定することができる。後述するように、この例では食事後にユーザにリマインダ情報を出力することが目的である。従って、S241において一旦食事後であると判定され、リマインダ情報が生成された(S243,S245)場合には、その後再び食事の動作(反復的かつ非周期的な摂食動作)が検出されるまで、ユーザは食事前である(つまり、食事後ではない)と判定することができる。

0091

上記のS241の判定において、ユーザが食事後であると判定された場合(YES)、情報生成部130では、リアルタイム情報生成部132がリマインダ情報を生成する(S243)。図示された例において、リマインダ情報は、食事後に予定されている動作をリマインドするための情報である。リマインドされる動作は、例えば食事後の服薬を含む。この場合、リマインダ情報の生成にあたって、ユーザが登録した服薬予定が参照されてもよい。また、リアルタイム情報生成部132は、同様にして他の種類のリマインダ情報を生成してもよい。例えば、リアルタイム情報生成部132は、ユーザのスケジュールを参照して、食事後のユーザの予定のリマインダ情報を生成してもよい。なお、このようなリマインダ情報の例については、続く部分で図20および図21を参照してさらに説明する。生成されたリマインダ情報は、上記の図13の例と同様に、各種の出力装置140によって、画像や音声などとして出力される。(S245)。一方、S241の判定においてユーザが食事後ではない(食事中である、または食事前である)と判定された場合、所定の周期で食事検出(S201)が再度実行される。

0092

図20は、図19に示した例において出力される情報の第1の例を示す図である。図示された例では、アイウェア100aが有するシースルーディスプレイ140aによってリマインダ情報が出力されている。シースルーディスプレイ140aによって実空間の像1441(図示された例では、ユーザが食べ終わった料理の皿が含まれている)に重畳される画像は、食事後の服薬(薬)のリマインダ情報1443、および食事後のユーザの予定のリマインダ情報へのリンク1445を含む。

0093

図21は、図19に示した例において出力される情報の第2の例を示す図である。図示された例では、リストウェア100cが有するディスプレイ140cによって、食事後の服薬(胃薬)のリマインダ情報1447と、食事後のユーザの予定のリマインダ情報1449とが交互に出力されている。

0094

上記の例では、動作検出部120によって食事の動作が検出され、情報生成部130が食事の動作の検出後にリマインダ情報を生成している。このように、検出対象の動作発生後に情報を生成する例は、例えば、検出対象の動作との前後関係が特定されている別の動作(上記の例では、食事に対する服薬の動作)があるような場合に有効でありうる。ユーザが動作(例えば食事)を終えて初めて情報が出力されることによって、ユーザにとって効果的なタイミングでリマインダなどの情報が提供されることになる。

0095

なお、ここまで説明された例では、専らリアルタイム情報生成部132が情報を生成したが、既に説明したように、ログ生成部134が各種の情報を生成してもよい。より具体的には、例えば、ログ生成部134は、食事の時間帯や食事の内容のログを生成してもよい。この場合、摂食動作の検出が反復的かつ非周期的に継続した区間を食事区間として事後的に特定することができる。また、食事の内容については、上記で図16を参照して説明した例のように、食事の動作検出中に撮像された食事画像を利用して検出することができる。さらに、例えば、ログ生成部134は、センサ装置100などが有するマイクロフォンを利用して食事区間における会話の量を検出し、会話の盛り上がり指標として記録してもよい。また、ログ生成部134は、食事とともに(例えば摂食動作の間に)検出された身振り(食事以外の動作)の大きさを、会話の盛り上がり度の指標として記録してもよい。また、例えば、ログ生成部134は、マイクロフォンで検出された音から環境音やユーザ自身の発声などを検出し、食事の場がフォーマルな場か大衆的な場かを推定してもよい。

0096

また、ログ生成部134は、例えば上記のような食事などの動作に関する指標を、絶対値ではなく相対値で表現するログを生成してもよい。例えば、食事の時間について、具体的な時間(30分など)ではなく、いつもより長かったか、短かったかによって表現してもよい。また、例えば、会話の盛り上がりの指標について、ユーザが属する集団(例えば日本人、30代男性、など)の平均に比べて盛り上がっていたか、盛り上がっていなかったかが表現されてもよい。このような相対的な表現は、例えば、端末装置200またはサーバ300のストレージに指標値に関する統計量辞書を格納することによって可能になる。

0097

(5−4.その他の例)
図22図24は、本開示の一実施形態において食事の動作を検出する場合に、動作の検出前(食事前)、検出中(食事中)、検出後(食事後)にそれぞれ提供されうる情報のバリエーションを示す図である。本開示の実施形態では、例えば食事以外の動作を検出する場合にも同様に、さまざまな内容の情報を生成することができる。また、食事を検出する場合にも、図示された内容には限らず、ユーザにとって有効な様々な種類の情報を生成することができる。

0098

図22に示された食事前の例では、例えば自宅で食事をする場合には、買い物調理支度などといった内容で情報を生成することができる。支度には、例えば食前の手洗いも含まれる。レストランやデリバリーで食事をする場合には、メニュー表示、メニュー選択、オーダーなどといった内容で情報を生成することができる。メニュー表示の場合には、レストランなどからのオススメを表示したり、選択しようとしているメニューに対して食べ合わせ指導食事制限に関する警告が出力されたりしてもよい。また、メニュー選択の場合には、ユーザの過去の食事に関するデータが表示されてもよい。

0099

図23に示された食事中の例では、例えば食事のサーブに関して、そのタイミングを推薦する情報を生成することができる。また、食べる動作が発生している最中に、食べ過ぎを防ぐよう指導したり、食べる速さを適正な範囲に保つよう指導したり、食べる順序を指導したり、マナーを指導したりすることができる。ユーザは何かをしながら(例えば、テレビを観ながら、音楽を聞きながら、新聞を読みながら、仕事をしながら)食事をしていることが検出された場合には、ユーザが食事中であることを考慮した上で、それらのコンテンツ(テレビ、音楽、新聞、仕事など)に関する情報を生成してもよい。

0100

また、食事中の例では、ユーザが他のユーザと食事をしているときに、食事が楽しくなるような情報提示をすることも可能である。より具体的には、例えば会話の話題を提供したり、会話の内容についての情報を提示したり、一緒に食事をしている相手の情報を提示したりすることができる。あるいは、食事がおいしくなるような情報が提示されてもよい。より具体的には、食事の内容についての情報、例えば食材産地や、食材の特徴、料理に関する豆知識、オススメの食べ合わせメニューなどに関する情報が提示されてもよい。あるいは、食事をしている場所についての情報、例えば食事をしているレストランの歴史トピック人気メニュー、またはレストランがある周辺地域の情報などが提供されてもよい。なお、ユーザが他のユーザと食事をしている場合には、プライバシーに配慮し、例えば食べ合わせ指導や食事制限に関する警告、過去の食事に関するデータなどの情報は、出力しないか、他のユーザに認識されるような出力の仕方をしないなどといった制御がされてもよい。

0101

図24に示された食事後の例では、例えばユーザが食事の感想発信する手段を持っている場合に、ブログレビューイトへのリンクを表示したり、ソーシャルメディアで感想を共有することを促したりしてもよい。また、食事管理の観点から、食べ終えた食事の内容をふまえた食事内容指導の情報が提示されてもよい。このとき、カロリー摂取量や、栄養摂取量が算出されてもよい。また、健康管理の観点から、食べ終えた食事の内容をふまえた運動指導の情報が提示されてもよい。このとき、運動によるカロリー消費量が算出され、食事でのカロリー摂取量と比較されてもよい。また、上記の例のように、薬の飲み忘れを防止するためのアラームが提供されてもよい。あるいは、食事後の行動に関しての情報提示が実施されてもよい。この場合、例えば、ユーザのスケジュールやToDoリストに沿った情報提示がされてもよい。また、特にすることがない場合やユーザが休憩中である場合には、娯楽に関する情報が提示されてもよい。さらに、食事を終えたことに基づいて何らかの情報を提示するタイミングに、その他の行動ログ(例えば、他の行動認識処理によって生成されたログ)を用いてもよい。例えば、午後に間食が検出され、しかも食べ過ぎたことが検出された場合は、間食の終了後、帰宅を始めた時に歩くことを促す、翌日、コンビニエンスストアに向かっているときに間食をやめるようなアラートをだす、などの情報提示が実行されてもよい。

0102

(6.ハードウェア構成)
次に、図25を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図25は、本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。図示された情報処理装置900は、例えば、上記の実施形態におけるセンサ装置、端末装置、および/またはサーバを実現しうる。

0103

情報処理装置900は、CPU(Central Processing unit)901、ROM(Read Only Memory)903、およびRAM(Random Access Memory)905を含む。また、情報処理装置900は、ホストバス907、ブリッジ909、外部バス911、インターフェース913、入力装置915、出力装置917、ストレージ装置919、ドライブ921、接続ポート923、通信装置925を含んでもよい。さらに、情報処理装置900は、必要に応じて、撮像装置933、およびセンサ935を含んでもよい。情報処理装置900は、CPU901に代えて、またはこれとともに、DSP(Digital Signal Processor)、ASIC(Application Specific IntegratedCircuit)、またはFPGA(Field-Programmable Gate Array)などの処理回路を有してもよい。

0104

CPU901は、演算処理装置および制御装置として機能し、ROM903、RAM905、ストレージ装置919、またはリムーバブル記録媒体927に記録された各種プログラムに従って、情報処理装置900内の動作全般またはその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータなどを記憶する。RAM905は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。CPU901、ROM903、およびRAM905は、CPUバスなどの内部バスにより構成されるホストバス907により相互に接続されている。さらに、ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。

0105

入力装置915は、例えば、マウスキーボードタッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置900の操作に対応した携帯電話などの外部接続機器929であってもよい。入力装置915は、ユーザが入力した情報に基づいて入力信号を生成してCPU901に出力する入力制御回路を含む。ユーザは、この入力装置915を操作することによって、情報処理装置900に対して各種のデータを入力したり処理動作を指示したりする。

0106

出力装置917は、取得した情報をユーザに対して視覚聴覚触覚などの感覚を用いて通知することが可能な装置で構成される。出力装置917は、例えば、LCD(Liquid Crystal Display)または有機EL(Electro-Luminescence)ディスプレイなどの表示装置スピーカまたはヘッドフォンなどの音声出力装置、もしくはバイブレータなどでありうる。出力装置917は、情報処理装置900の処理により得られた結果を、テキストもしくは画像などの映像、音声もしくは音響などの音声、またはバイブレーションなどとして出力する。

0107

ストレージ装置919は、情報処理装置900の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)などの磁気記憶デバイス半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。ストレージ装置919は、例えばCPU901が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。

0108

ドライブ921は、磁気ディスク光ディスク光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体927のためのリーダライタであり、情報処理装置900に内蔵、あるいは外付けされる。ドライブ921は、装着されているリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されているリムーバブル記録媒体927に記録を書き込む。

0109

接続ポート923は、機器を情報処理装置900に接続するためのポートである。接続ポート923は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポートなどでありうる。また、接続ポート923は、RS−232Cポート、光オーディオ端子、HDMI(登録商標)(High-Definition Multimedia Interface)ポートなどであってもよい。接続ポート923に外部接続機器929を接続することで、情報処理装置900と外部接続機器929との間で各種のデータが交換されうる。

0110

通信装置925は、例えば、通信ネットワーク931に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置925は、例えば、LAN(Local Area Network)、Bluetooth(登録商標)、Wi−Fi、またはWUSB(Wireless USB)用の通信カードなどでありうる。また、通信装置925は、光通信用ルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用モデムなどであってもよい。通信装置925は、例えば、インターネットや他の通信機器との間で、TCP/IPなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置925に接続される通信ネットワーク931は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内LAN、赤外線通信ラジオ波通信または衛星通信などを含みうる。

0111

撮像装置933は、例えば、CMOS(Complementary Metal Oxide Semiconductor)またはCCD(Charge Coupled Device)などの撮像素子、および撮像素子への被写体像結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置933は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。

0112

センサ935は、例えば、加速度センサ、角速度センサ、地磁気センサ、照度センサ温度センサ、気圧センサ、または音センサ(マイクロフォン)などの各種のセンサである。センサ935は、例えば情報処理装置900の筐体の姿勢など、情報処理装置900自体の状態に関する情報や、情報処理装置900の周辺の明るさや騒音など、情報処理装置900の周辺環境に関する情報を取得する。また、センサ935は、GPS(Global Positioning System)信号を受信して装置の緯度経度および高度を測定するGPS受信機を含んでもよい。

0113

以上、情報処理装置900のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々技術レベルに応じて適宜変更されうる。

0114

(7.補足
本開示の実施形態は、例えば、上記で説明したような情報処理装置(センサ装置、端末装置、および/またはサーバ)、システム、情報処理装置またはシステムで実行される情報処理方法、情報処理装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形媒体を含みうる。

0115

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

0116

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

0117

なお、以下のような構成も本開示の技術的範囲に属する。
(1)ユーザの反復的かつ非周期的な一連の動作を検出する動作検出部と、
前記一連の動作に関連する情報を生成する情報生成部と
を備える情報処理装置。
(2)前記動作検出部は、センシング対象またはセンシング方法が異なる複数のセンサデータに基づいて前記一連の動作を検出する、前記(1)に記載の情報処理装置。
(3)前記複数のセンサデータは、第1のセンサデータと第2のセンサデータとを含み、
前記動作検出部は、
前記第1のセンサデータが前記一連の動作に対応する第1の条件を満たす区間が発生したか否かを判定する第1の動作検出部と、
前記第1の条件を満たす区間が発生したと判定された場合に、当該区間において前記第2のセンサデータが前記一連の動作に対応する第2の条件を満たすか否かを判定する第2の動作検出部と
を含む、前記(2)に記載の情報処理装置。
(4)前記複数のセンサデータは、外部のセンサ装置において取得される第1のセンサデータと第2のセンサデータとを含み、
前記情報処理装置は、前記第1のセンサデータが前記一連の動作に対応する第1の条件を満たす区間が発生したと前記センサ装置において判定された場合に、前記センサ装置から送信される前記第2のセンサデータを受信する受信部をさらに含み、
前記動作検出部は、前記第1の条件を満たす区間において前記第2のセンサデータが前記一連の動作に対応する第2の条件を満たすか否かを判定する、前記(2)に記載の情報処理装置。
(5)前記情報は、前記一連の動作の検出との前後関係に応じて生成される情報を含む、前記(1)〜(4)のいずれか1項に記載の情報処理装置。
(6)前記情報は、前記一連の動作の検出中に生成される第1の情報を含む、前記(5)に記載の情報処理装置。
(7)前記第1の情報は、前記一連の動作に関する記録装置の制御情報を含む、前記(6)に記載の情報処理装置。
(8)前記一連の動作は、食事に対応し、
前記記録装置は、前記制御情報に従って前記食事の内容を画像によって記録する、前記(7)に記載の情報処理装置。
(9)前記第1の情報は、さらに、前記食事の内容に基づく前記ユーザへのアドバイスまたは前記ユーザとは異なる他人へのアドバイスを含む、前記(8)に記載の情報処理装置。
(10)前記情報は、前記一連の動作の検出との前後関係と、前記一連の動作とは異なる前記ユーザの行動認識結果とに応じて生成される、前記(5)〜(9)のいずれか1項に記載の情報処理装置。
(11)前記情報は、前記一連の動作の検出後に生成される第2の情報を含む、前記(5)〜(10)のいずれか1項に記載の情報処理装置。
(12)前記第2の情報は、前記一連の動作の後に予定されている動作のリマインダ情報を含む、前記(11)に記載の情報処理装置。
(13)前記情報は、前記一連の動作の検出中および検出後には生成が抑制される第3の情報を含む、前記(5)〜(12)のいずれか1項に記載の情報処理装置。
(14)前記第3の情報は、前記一連の動作に関する推薦情報を含む、前記(13)に記載の情報処理装置。
(15)前記一連の動作は、食事に対応し、
前記推薦情報は、前記食事の場所または内容に関する推薦情報を含む、前記(14)に記載の情報処理装置。
(16)前記情報は、前記一連の動作の検出後に生成されるログ情報を含む、前記(1)〜(15)のいずれか1項に記載の情報処理装置。
(17)前記情報は、さらに、前記一連の動作の検出中に生成される、前記一連の動作に関する記録装置の制御情報を含み、
前記ログ情報は、前記記録装置が前記制御情報に従って記録した、前記一連の動作に関する記録を含む、前記(16)に記載の情報処理装置。
(18)前記一連の動作は、食事に対応し、
前記記録装置は、前記食事の内容を画像によって記録し、
前記ログ情報は、前記食事の時間帯と、前記食事の時間帯に記録された少なくとも1つの前記画像とを含む、前記(17)に記載の情報処理装置。
(19)プロセッサが、ユーザの反復的かつ非周期的な一連の動作を検出することと、
前記一連の動作に関連する情報を生成することと
を含む情報処理方法。
(20)ユーザの反復的かつ非周期的な一連の動作を検出する機能と、
前記一連の動作に関連する情報を生成する機能と
をコンピュータに実現させるためのプログラム。

0118

10 システム
100センサ装置
110センサ
112 一軸加速度
114三軸加速度
120,220動作検出部
122プレフィルタ
124メインアナライザ
130情報生成部
132リアルタイム情報生成部
134ログ生成部
140,240出力装置
150,250被制御装置
160,260データベース
170センサ制御部
180 送信部
210 受信部
300 サーバ

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ