図面 (/)

技術 情報処理装置、操作支援方法及び操作支援プログラム

出願人 富士通フロンテック株式会社
発明者 柳澤英輔
出願日 2014年2月18日 (5年7ヶ月経過) 出願番号 2014-028877
公開日 2015年8月24日 (4年0ヶ月経過) 公開番号 2015-153325
状態 未査定
技術分野 デジタル計算機のユーザインターフェイス
主要キーワード 除外操作 除外項目 顔構成要素 衝撃解析 検出確度 ユーザ表 操作支援プログラム ため息
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2015年8月24日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (14)

課題

ユーザが操作に困惑している状態の検出までの時間を短縮し、検出の確度を上げる。

解決手段

記憶部3は、ユーザが操作に困惑していると想定される状態を示す困惑状態情報3aを記憶する。検知信号解析部2は、ユーザの動きや様子を検知した検知信号を解析し、当該ユーザが操作を行っているときのユーザ操作状態を検出する。操作状態判定部4は、ユーザ操作状態を困惑状態情報3aと照合し、ユーザが操作に困惑しているか否かを判定する。操作状態判定部4によってユーザが操作に困惑していると判定されたとき、操作支援部5は、ユーザに対して操作支援を行う。

概要

背景

近年、携帯電話機携帯型オーディオ機器ディジタルカメラ車載ナビゲーションなどは、高機能化多機能化が図られており、マイクロプロセッサを搭載した情報処理装置として位置付けることができる。

このような情報処理装置では、所望の機能を利用する際に、ユーザは予め決められた所定の操作を行う必要がある。しかしながら、ユーザには、その操作を熟知している者もいれば、操作に不慣れな者もいる。また、同じユーザでも利用する機能が異なればその操作に不慣れな場合もあり、単にユーザに対応して操作不慣れを判定することはできない。ユーザは、不慣れな操作を行うとき、操作方法がわからずに同じ操作を繰り返したり、操作が止まってしまったりするなど、操作に困惑し、不快な思いをする。

そこで、ユーザの操作履歴を取得して操作に困惑している可能性の高い操作パターンと照合し、ユーザが操作に困惑しているかどうかを判断する監視支援方法がある(例えば、特許文献1参照)。

また、複写機のユーザをカメラ撮影し、困惑の表情をしていることが検出されたとき、ヘルプガイダンス画面を表示するものがある(例えば、特許文献2参照)。

概要

ユーザが操作に困惑している状態の検出までの時間を短縮し、検出の確度を上げる。記憶部3は、ユーザが操作に困惑していると想定される状態を示す困惑状態情報3aを記憶する。検知信号解析部2は、ユーザの動きや様子を検知した検知信号を解析し、当該ユーザが操作を行っているときのユーザ操作状態を検出する。操作状態判定部4は、ユーザ操作状態を困惑状態情報3aと照合し、ユーザが操作に困惑しているか否かを判定する。操作状態判定部4によってユーザが操作に困惑していると判定されたとき、操作支援部5は、ユーザに対して操作支援を行う。

目的

本発明は、ユーザが操作に困惑している状態を検出するまでの時間を短縮し、かつ検出の確度を上げ、適切な操作支援を行うことが可能な情報処理装置、操作支援方法及び操作支援プログラムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

ユーザが操作に困惑していると想定される状態を示す困惑状態情報を記憶する記憶部と、前記ユーザの動きや様子を検知した検知信号解析し、当該ユーザが操作を行っているときのユーザ操作状態を検出する検知信号解析部と、前記ユーザ操作状態を前記困惑状態情報と照合し、前記ユーザが操作に困惑しているか否かを判定する操作状態判定部と、前記操作状態判定部によって前記ユーザが操作に困惑していると判定されたときは、前記ユーザに対して操作支援を行う操作支援部と、を有する情報処理装置

請求項2

前記検知信号は、前記ユーザがタッチパネルタッチした圧力を検知した信号であって、前記検知信号解析部は、前記ユーザ操作状態を前記ユーザのタッチ圧として検出し、前記操作状態判定部は、検出した前記ユーザのタッチ圧と、前記困惑状態情報が示す前記ユーザが操作に困惑していると想定されるタッチ圧の閾値と、を比較し、検出した前記ユーザのタッチ圧が前記困惑状態情報の示すタッチ圧の閾値を超えているときは、前記ユーザが操作に困惑していると判定する、請求項1に記載の情報処理装置。

請求項3

前記検知信号は、前記情報処理装置が動いたときの角速度と加速度のうちの少なくとも一つを検知した信号であって、前記検知信号解析部は、前記ユーザ操作状態を前記情報処理装置に加えられた衝撃の大きさとして検出し、前記操作状態判定部は、検出した前記衝撃の大きさと、前記困惑状態情報が示す前記ユーザが操作に困惑していると想定される衝撃の大きさの閾値と、を比較し、検出した前記情報処理装置に加えられた衝撃の大きさが前記困惑状態情報の示す衝撃の大きさの閾値を超えているときは、前記ユーザが操作に困惑していると判定する、請求項1に記載の情報処理装置。

請求項4

前記検知信号は、ユーザの声を入力した音声信号であって、前記検知信号解析部は、前記ユーザ操作状態を前記ユーザが発した言葉として検出し、前記操作状態判定部は、検出した前記ユーザの言葉と、前記困惑状態情報が示す前記ユーザが操作に困惑しているときに発すると想定される音声キーワードと、を照合し、検出した前記ユーザの言葉に前記困惑状態情報の示す音声キーワードが含まれるときは、前記ユーザが操作に困惑していると判定する、請求項1に記載の情報処理装置。

請求項5

前記検知信号は、ユーザの声を入力した音声信号であって、前記検知信号解析部は、前記ユーザ操作状態を前記ユーザの声の音量として検出し、前記操作状態判定部は、検出した前記ユーザの声の音量と、前記困惑状態情報が示す前記ユーザが操作に困惑していると想定される声の音量の閾値と、を比較し、検出した前記ユーザの声の音量が前記困惑状態情報の示す声の音量の閾値を超えているときは、前記ユーザが操作に困惑していると判定する、請求項1に記載の情報処理装置。

請求項6

前記検知信号は、ユーザの顔を撮像した画像信号であって、前記検知信号解析部は、前記ユーザ操作状態を前記ユーザの顔の表情種別として検出し、前記操作状態判定部は、検出した前記ユーザの顔の表情の種別と、前記困惑状態情報が示す前記ユーザが操作に困惑している想定される顔の表情の種別と、を照合し、検出した前記ユーザの表情の種別が前記困惑状態情報の示す顔の表情の種別に含まれているときは、前記ユーザが操作に困惑していると判定する、請求項1に記載の情報処理装置。

請求項7

前記操作状態判定部における判定処理の対象から除外する前記ユーザ操作状態の項目を使用しているアプリケーション対応付けて示した除外項目情報を参照し、前記検知信号解析部が検出した前記ユーザ操作状態が、動作しているアプリケーションに対応する除外項目と一致するときは、当該ユーザ操作状態を前記判定処理の対象から除外する対象操作状態判定部を有し、前記操作状態判定部は、前記対象操作状態判定部において前記判定処理の対象として残った前記ユーザ操作状態を前記困惑状態情報と照合し、前記ユーザが操作に困惑しているか否かを判定する、請求項1から請求項6のいずれか一項に記載の情報処理装置。

請求項8

前記操作支援部は、前記ユーザが操作に困惑していると判定されたときは、前記ユーザを操作案内誘導する操作案内誘導画面を表示し、前記操作案内誘導画面において前記ユーザから前記操作案内の提供を指示されたとき、前記操作案内を提供する処理を開始する、請求項1から請求項7のいずれか一項に記載の情報処理装置。

請求項9

コンピュータが、ユーザの動きや様子を検知した検知信号を解析して当該ユーザが操作を行っているときのユーザ操作状態を検出し、前記ユーザ操作状態と、記憶部に記憶される前記ユーザが操作に困惑していると想定される状態を示す困惑状態情報と、を照合して前記ユーザが操作に困惑しているか否かを判定し、前記ユーザが操作に困惑していると判定されたときは、前記ユーザに対して操作支援を行う、操作支援方法

請求項10

コンピュータに、ユーザの動きや様子を検知した検知信号を解析して当該ユーザが操作を行っているときのユーザ操作状態を検出し、前記ユーザ操作状態と、記憶部に記憶される前記ユーザが操作に困惑していると想定される状態を示す困惑状態情報と、を照合して前記ユーザが操作に困惑しているか否かを判定し、前記ユーザが操作に困惑していると判定されたときは、前記ユーザに対して操作支援を行う、処理を実行させる操作支援プログラム

技術分野

0001

本発明は、情報処理装置操作支援方法及び操作支援プログラムに関する。

背景技術

0002

近年、携帯電話機携帯型オーディオ機器ディジタルカメラ車載ナビゲーションなどは、高機能化多機能化が図られており、マイクロプロセッサを搭載した情報処理装置として位置付けることができる。

0003

このような情報処理装置では、所望の機能を利用する際に、ユーザは予め決められた所定の操作を行う必要がある。しかしながら、ユーザには、その操作を熟知している者もいれば、操作に不慣れな者もいる。また、同じユーザでも利用する機能が異なればその操作に不慣れな場合もあり、単にユーザに対応して操作不慣れを判定することはできない。ユーザは、不慣れな操作を行うとき、操作方法がわからずに同じ操作を繰り返したり、操作が止まってしまったりするなど、操作に困惑し、不快な思いをする。

0004

そこで、ユーザの操作履歴を取得して操作に困惑している可能性の高い操作パターンと照合し、ユーザが操作に困惑しているかどうかを判断する監視支援方法がある(例えば、特許文献1参照)。

0005

また、複写機のユーザをカメラ撮影し、困惑の表情をしていることが検出されたとき、ヘルプガイダンス画面を表示するものがある(例えば、特許文献2参照)。

先行技術

0006

特開平10−222467号公報
特開2002−258682号公報

発明が解決しようとする課題

0007

情報処理装置を利用するユーザにとって、操作に困惑しているときは、できるだけ早く操作支援が行われることが好ましい。一方、操作に困惑していないときに操作支援が行われると、それまでの作業が中断されるため好ましくない。

0008

しかしながら、操作履歴と操作パターンとを照合する方法では、少なくともユーザが操作を行ったことが認識されないと操作に困惑しているかどうかの判定ができない。例えば、タッチパネル操作の場合、操作に困惑してイライラしたユーザがキーに対応しない領域にタッチしても、操作として認識されない場合がある。また、操作と認識されても、1回の操作では単なる間違いか、操作に不慣れであるのかを判断できない。したがって、ユーザがこの操作を繰り返し行った後でなければ確度の高い判定を行うことができない。このため、ユーザが操作に困惑していることを検出するまでに時間がかかり、操作支援が遅れてしまう。

0009

また、単に困惑の表情を検出して操作支援を行う方法では、ユーザが困惑している原因が操作の不慣れにあるのかどうかわからない。他の原因で困惑の表情となっていた場合、必要のない操作支援が行われ、かえってユーザに不快感を与えてしまう場合がある。

0010

1つの側面では、本発明は、ユーザが操作に困惑している状態を検出するまでの時間を短縮し、かつ検出の確度を上げ、適切な操作支援を行うことが可能な情報処理装置、操作支援方法及び操作支援プログラムを提供することを目的とする。

課題を解決するための手段

0011

上記目的を達成するために、以下に示すような情報処理装置が提供される。情報処理装置は、記憶部と、検知信号解析部と、操作状態判定部と、操作支援部と、を有する。記憶部は、ユーザが操作に困惑していると想定される状態を示す困惑状態情報を記憶する。検知信号解析部は、ユーザの動きや様子を検知した検知信号を解析し、当該ユーザが操作を行っているときのユーザ操作状態を検出する。操作状態判定部は、ユーザ操作状態を困惑状態情報と照合し、ユーザが操作に困惑しているか否かを判定する。操作支援部は、操作状態判定部によってユーザが操作に困惑していると判定されたときは、ユーザに対して操作支援を行う。

発明の効果

0012

1態様によれば、ユーザが操作に困惑している状態の検出までの時間を短縮し、かつ検出の確度を上げ、適切な操作支援を行うことが可能となる。

図面の簡単な説明

0013

第1の実施形態の情報処理装置の構成の一例を示す図である。
第2の実施の形態の携帯電話機の構成の一例を示す図である。
第2の実施の形態の携帯電話機のハードウェア構成の一例を示す図である。
第2の実施の形態の携帯電話機の機能構成の一例を示す図である。
第2の実施の形態の操作履歴情報の一例を示す図である。
第2の実施の形態のユーザ表情情報の一例を示す図である。
第2の実施の形態の音声キーワード情報の一例を示す図である。
第2の実施の形態の操作不慣れ支援処理の手順を示すフローチャートである。
第2の実施の形態の操作不慣れ判定処理の手順を示すフローチャートである。
第2の実施の形態のユーザサポート処理の手順を示すフローチャートである。
第3の実施の形態の携帯電話機の機能構成の一例を示す図である。
第3の実施の形態の除外項目情報の一例を示す図である。
第3の実施の形態の除外操作判定処理の手順を示すフローチャートである。

実施例

0014

以下、本実施の形態について図面を参照して説明する。
[第1の実施の形態]
まず、第1の実施形態の情報処理装置について図1を用いて説明する。図1は、第1の実施形態の情報処理装置の構成の一例を示す図である。

0015

図1に示した情報処理装置は、検知部1、検知信号解析部2、記憶部3、操作状態判定部4、操作支援部5、操作判定部6及びアプリ制御部7を有する。
検知部1は、ユーザの動きや様子を検知する手段として、タッチ検知部1a、カメラ撮影部1b、角速度検知部1c、音声検知部1dを備える。各検知手段は、検知したユーザの動きや様子を検知信号として出力する。タッチ検知部1aは、タッチパネルの一部を構成し、ユーザの指などがタッチパネルを押したことをタッチとして認識し、押された位置座標(以下、タッチ位置と表記する)と、押した圧力の大きさ(以下、タッチ圧と表記する)と、を検知する。カメラ撮影部1bは、ユーザの顔を撮影し、イメージ画像信号を生成する。角速度検知部1cは、情報処理装置の向きの変化や角速度を検知する。音声検知部1dは、ユーザの声を検知する。なお、図1のタッチ検知部1a、カメラ撮影部1b、角速度検知部1c及び音声検知部1dは検知部1の構成の一例であり、検知部1は、このうちの一部からなる構成、または他の検知手段を備える構成としてもよい。

0016

検知信号解析部2は、検知部1から取得した検知信号を解析し、このユーザが操作を行っているときのユーザ操作状態を検出する。検知信号解析部2は、検知部1から取得した検知信号によって「操作中」の条件が成立したとき、情報処理装置の動作状態を「操作中」とする。例えば、タッチ検知部1aによって、予め決められた領域内がタッチされたことを「操作中」の条件とすることができる。また、所定の音声入力があったときでもよい。「操作中」は、少なくとも条件が成立してから一定時間、または有効な操作が続いている間は保持される。また、ユーザ操作状態とは、ユーザが操作中に検知信号から得られる操作を含むユーザの動作、及び表情や声の様子である。

0017

タッチ検知部1aから取得した検知信号を解析し、ユーザがタッチパネルを操作したタッチ位置及びタッチ圧を検出する。カメラ撮影部1bから取得したらユーザの顔のイメージ画像信号を解析し、ユーザの表情の種別を検出する。例えば、イメージ画像信号に捉えられた顔の特徴と、困っている表情、哀しんでいる表情など、各表情に表れる特徴とを照合し、それぞれの表情との類似度によって表情の種別を特定する。角速度検知部1cから取得した検知信号を解析し、情報処理装置に加わった衝撃の大きさを検出する。音声検知部1dから取得した音声信号を解析し、ユーザが発した言葉と、声の音量とを検出する。これら検出されたユーザの状態と、「操作中」が成立する条件とを照合してユーザが操作中であるか否かを判定する。また、「操作中」であるときは、検出したユーザの状態をユーザ操作状態として操作状態判定部4に出力する。さらに、検知したタッチ位置及びタッチ圧は、操作情報として操作判定部6にも出力する。音声による操作が行われているときは、ユーザの発した言葉を操作情報として操作判定部6に出力する。

0018

記憶部3は、操作状態判定部4が参照する困惑状態情報3aを予め記憶している。困惑状態情報3aには、ユーザが操作に困惑していると想定される状態であって、検知信号解析部2によって検出可能なユーザ操作状態が登録されている。操作に困惑している状態とは、操作がまったくわからない、操作がうろ覚え、あるいは、間違った操作を覚えているなど、操作がうまくいかず困っている状態をいう。このようなとき、人は、例えば、タッチ圧が強くなる、タッチ頻度が増す、キー以外の箇所を繰り返しタッチする、情報処理装置を振って衝撃を与える、表情が険しくなる、ため息や「わからない」などの言葉を口にする、声が大きくなるなど、困惑していない通常の状態と動作や様子が異なることが知られている。困惑状態情報3aには、このような困惑時の特徴的なユーザ操作状態を示す情報が設定されている。なお、タッチ圧が強くなる、声が大きくなるなど、個人差が大きい特徴は、予め通常の状態において測定した値から閾値を求め、困惑状態情報3aに設定しておくようにしてもよい。

0019

操作状態判定部4は、検知信号解析部2が検出したユーザ操作状態を取得し、取得したユーザ操作状態を、困惑状態情報3aと照合する。検出したユーザ操作状態が困惑状態情報3aに示された状態と合致するときは、ユーザが操作に困惑していると判定する。合致していなければユーザは操作に困惑していないと判定する。判定結果は、操作支援部5に出力する。

0020

操作支援部5は、操作状態判定部4からユーザが操作に困惑しているか否かの判定結果を取得する。ユーザが操作に困惑していることが検出されたときは、操作案内を提供して操作支援を行う。また、操作案内を行う前に、ユーザを操作案内に誘導する操作案内誘導画面を表示して、操作案内が必要かどうかを問い合わせるとしてもよい。例えば、「ヘルプ」キーを表示し、ユーザがこれを操作すれば操作案内を提供し、操作されなければ操作案内は行わないようにする。操作案内は、操作判定部6が保持するこれまでの操作履歴や、アプリ制御部7が保持する現在動作中のアプリケーション(以下、アプリとする)に関する情報などに基づいて、適切なメッセージを出して行う。

0021

操作判定部6は、検知信号解析部2から取得した操作情報に基づき、ユーザが行った操作を操作履歴として保持するとともに、操作に応じた指示をアプリ制御部7に出力する。
アプリ制御部7は、操作判定部6から取得した指示に基づき、指示されたアプリの開始や終了処理、アプリの動作状態の変更などのアプリ制御処理を行う。情報処理装置には、所定の機能を実現するためのアプリが複数搭載されており、ユーザは任意のアプリを起動して動作させることができる。アプリ制御部7は、動作中のアプリに関するアプリ情報も保持している。

0022

このように、第1の実施の形態の情報処理装置では、検知部1をなすタッチ検知部1a、カメラ撮影部1b、角速度検知部1c及び音声検知部1dが、ユーザの動きや様子を検知する。例えば、操作に困惑したユーザのタッチ圧やタッチ間隔が短くなったときは、タッチ検知部1aがこれを検出する。ユーザが困惑の表情を浮かべれば、カメラ撮影部1bがこれを捉える。情報処理装置を振ったりたたいたりすれば、角速度検知部1cがこれを検知する。そして、困惑を表す言葉を発したり、声が大きくなったりすれば音声検知部1dが検知する。このように、ユーザが操作に困惑したときに行うと想定される動作や様子を検知部1により検知する。検知信号解析部2は、検知部1から取得したそれぞれの検知信号を解析し、ユーザが操作中であるか否かを判定するとともに、操作中であれば、そのときのユーザ操作状態を検出する。タッチ検知部1aの検知信号からタッチ位置とタッチ圧、カメラ撮影部1bの検知信号からユーザの表情の種別、角速度検知部1cの検知信号から情報処理装置に加わった衝撃の大きさ、音声検知部1dの検知信号からユーザの発した言葉と音量をそれぞれユーザ操作状態として検出する。検出したユーザ操作状態は、操作状態判定部4に出力する。操作状態判定部4は、検出されたユーザ操作状態と、記憶部3に記憶される困惑状態情報3aに設定されるユーザが操作に困惑したと想定される状態とを照合し、ユーザが操作に困惑しているか否かを判定する。操作支援部5は、ユーザが操作に困惑していると判定されたとき、ユーザに対して操作支援を行う。

0023

このように、第1の実施の形態の情報処理装置では、操作履歴を用いた方法では「キー操作」という通常状態でも発生する動作に基づき判定を行わなければならないのに対し、操作に困惑している状態という通常状態とは異なるユーザ操作状態を検知して判定する。これにより、ユーザが操作に困惑している状態をいち早く検知し、かつ検知の確度を上げることができる。したがって、ユーザが困惑しながら操作を繰り返さなくても、より早いタイミングで適切な操作支援を行うことが可能となる。

0024

[第2の実施の形態]
次に、第2の実施の形態として、第1の実施の形態の情報処理装置を携帯電話機に適用した場合について説明する。図2は、第2の実施の形態の携帯電話機の構成の一例を示す図である。

0025

携帯電話機100は、タッチパネル対応ディスプレイ101、近接センサ102、照度センサ103、受話口104、インカメラ105、ワンセグFMトランスミッタアンテナ106、ジャイロ加速度センサ107及び送話口108を有する。

0026

タッチパネル対応ディスプレイ101は、タッチパネルとしての機能を兼ね備えたディスプレイである。ディスプレイとして、起動されたアプリに応じて動画静止画を表示する。また、タッチパネルとして、所定の領域にタッチ用のキーを表示するとともに、ユーザが押したタッチ位置とタッチ圧とを検出する、タッチ検知部1aの一形態である。近接センサ102は、物体近接したことを検知し、照度センサ103は、周囲の明るさを検知する。受話口104は、電話として動作するとき、相手の音声を再生する。インカメラ105は、ユーザ側の撮影を行うカメラであり、カメラ撮影部1bの一形態である。ワンセグ・FMトランスミッタアンテナ106は、放送信号を受信するアンテナである。ジャイロ・加速度センサ107は、角速度に加え加速度を検知するセンサであり、携帯電話機100の動き、すなわち、ユーザが携帯電話機100に動かしたことを検知する、角速度検知部1cの一形態である。送話口108は、ユーザの音声を入力する、音声検知部1dの一形態である。

0027

このように、携帯電話機100は、第1の実施の形態の検知部1を構成するタッチ検知部1a、カメラ撮影部1b、角速度検知部1c及び音声検知部1dに対応するセンサを備える。なお、インカメラ105及び送話口108も画像及び音声を検知するセンサとして位置付ける。

0028

次に、携帯電話機100のハードウェア構成について図3を用いて説明する。図3は、第2の実施の形態の携帯電話機のハードウェア構成の一例を示す図である。図2と同じものには同じ番号を付し、説明は省略する。

0029

携帯電話機100は、制御部110と、ディスプレイ101a、タッチパネル101b、近接センサ102、照度センサ103、受話口104、インカメラ105、ワンセグ・FMトランスミッタアンテナ106、ジャイロ・加速度センサ107及び送話口108を備える。なお、図3では、図2に示したタッチパネル対応ディスプレイ101を便宜的にディスプレイ101aとタッチパネル101bとに分けている。

0030

制御部110は、携帯電話機100を統括的に制御する。制御部110は、CPU(Central Processing Unit)111によって全体が制御されている。CPU111には、バス116を介してROM(Read Only Memory)112と、RAM(Random Access Memory)113と、通信インタフェース114及び入出力インタフェース115が接続されている。

0031

ROM112は、制御部110の電源遮断時においても記憶内容を保持する。ROM112は、たとえば、EEPROM(Electrically Erasable Programmable Read-Only Memory)やフラッシュメモリなどの半導体記憶装置や、HDD(Hard Disk Drive)などである。また、ROM112は、制御部110の補助記憶装置として使用される。ROM112には、OS(Operating System)のプログラムファームウェアアプリケーションプログラム、および各種データが格納される。

0032

RAM113は、制御部110の主記憶装置として使用される。RAM113には、CPU111に実行させるOSのプログラムやファームウェア、アプリケーションプログラムの少なくとも一部が一時的に格納される。また、RAM113には、CPU111による処理に必要な各種データが格納される。また、RAM113は、各種データの格納に用いるメモリと別体にキャッシュメモリを含むものであってもよい。

0033

通信インタフェース114は、ネットワーク200に接続し、ネットワーク200を経由して外部装置との間で情報を交換する。
入出力インタフェース115は、ディスプレイ101a、タッチパネル101b、近接センサ102、照度センサ103、受話口104、インカメラ105、ワンセグ・FMトランスミッタアンテナ106、ジャイロ・加速度センサ107及び送話口108と接続し、これらの各部からの入力信号をバス116経由で制御部110内に取り込む。また、CPU111に従って、各部へ出力信号を出力する。

0034

以上のようなハードウェア構成によって、第2の実施形態の携帯電話機100の処理機能を実現することができる。
次に、携帯電話機100が有する機能について図4を用いて説明する。図4は、第2の実施の形態の携帯電話機の機能構成の一例を示す図である。なお、図4では、操作支援に関係しない機能部の図示は省略している。

0035

携帯電話機100は、検知部10、検知信号解析部20、記憶部30、操作不慣れ判定部40及びユーザサポート実施部50を有する。操作不慣れ判定部40は、操作状態判定部4の一形態である。なお、以下の説明では、操作は、ユーザがタッチパネル101bに有効なタッチを行ったときに開始されるとする。

0036

検知部10は、ユーザの動きや様子を検知するため、タッチパネル101b、インカメラ105、ジャイロ・加速度センサ107及び送話口108を備える。タッチパネル101bは、ユーザが指などによって押圧したタッチ位置とタッチ圧とに応じた検知信号を生成する。インカメラ105は、ユーザ側の撮影を行うカメラで、ユーザの顔を撮影した画像信号を生成する。ジャイロ・加速度センサ107は、携帯電話機100に加わった加速度及び角速度に応じた検知信号を生成する。送話口108は、ユーザの声を検知し、音声信号を生成する。検知部10の各センサの検知信号は、検知信号解析部20の対応する解析部に出力される。タッチパネル101bの検知信号は、タッチ操作解析部21に出力される。インカメラ105の画像信号は、ユーザ表情解析部22に出力される。ジャイロ・加速度センサ107の検知信号は、衝撃解析部23に出力される。送話口108の音声信号は、音声解析部24に出力される。検知部10の各部は、所定の周期、近接センサ102がユーザの接近を検知したとき、あるいはタッチパネル101bが有効なタッチを検知したときなどのタイミングで起動する。そして、少なくとも携帯電話機100の動作状態が操作中の間は、ユーザの動きや様子が検知可能な状態にある。なお、常時検知可能な状態にあるとすることもできる。

0037

検知信号解析部20は、ユーザが操作中に検知された検知信号を解析してユーザ操作状態を検出し、検出したユーザ操作状態を操作不慣れ判定部40に出力する。タッチ操作解析部21、ユーザ表情解析部22、衝撃解析部23及び音声解析部24を有し、それぞれ検知信号からユーザ操作状態を検出する。それぞれ検知の対象が異なっており、少なくとも1つのセンサがユーザの動作や様子を検知し、対応する検知信号解析部20の各部がその検知信号を解析する。タッチ操作解析部21は、タッチパネル101bから取得した検知信号を解析し、ユーザが押圧したタッチ位置とタッチ圧とを検出する。タッチ位置が所定の領域内に含まれ、タッチ圧が一定値以上であるとき、有効なタッチであると判定する。そして、現在の携帯電話機100の状態が操作中であれば、操作中を継続させる。操作中でなければ、操作が開始されたとして携帯電話機100の動作状態を操作中にする。検出したタッチ位置とタッチ圧とは、ユーザ操作判定部41と、タッチ圧判定部42に出力する。ユーザ表情解析部22は、インカメラ105から取得した画像信号を解析し、ユーザの表情の種別を検出する。表情の種別の検出は、例えば、顔構成要素である、目、口の特徴点座標変化に基づく方法などが知られているが、実施の形態ではこれら公知の方法を用いるとする。なお、ユーザ表情解析部22では、困惑時に表れると想定される表情の特徴に基づき、該当するかどうかのみを判定するとしてもよい。検出された表情の種別あるいは、困惑の表情であるか否かの判定結果は、ユーザ表情判定部43に出力する。衝撃解析部23は、ジャイロ・加速度センサ107から取得した検知信号を解析し、携帯電話機100に加わった加速度あるいは角速度に応じた衝撃の大きさを検出する。検出した衝撃の大きさは、衝撃操作判定部44に出力する。音声解析部24は、送話口108から取得した音声信号を解析し、ユーザが発した言葉と、声の大きさとを検出する。ユーザが発した言葉は、よく知られている音声認識処理を用いて検出する。また、ため息など語として認識できない音声は、例えば、感嘆詞として分類しておくとしてもよい。検出した言葉と音量は、音声キーワード判定部45と音量判定部46に出力する。

0038

記憶部30は、操作履歴情報31、タッチ圧情報32、ユーザ表情情報33、衝撃操作情報34、音声キーワード情報35及び音量情報36を記憶領域に格納する。これらの各情報は、困惑状態情報3aの一例であり、操作不慣れ判定部40の各部に対応して用意される。それぞれについて説明する。

0039

操作履歴情報31は、ユーザ操作判定部41に対応して記憶部30に格納される情報であり、ユーザの操作の履歴から操作不慣れによる困惑を検出するために参照される。図5は、第2の実施の形態の操作履歴情報の一例を示す図である。操作履歴テーブル310には、ユーザが操作に困惑しているときによく行われる操作が「操作不慣れと判定する操作」として設定されている。例えば、次の操作がわからないため操作を中断する「長時間放置」がある。また、操作がうろ覚え、あるいは、操作を誤って覚えているため同じ操作を繰り返す「操作繰り返し」、操作がわからないため最初の設定画面に頻繁に戻る「設定画面の高頻度呼び出し」といった操作が設定されている。

0040

タッチ圧情報32は、タッチ圧判定部42に対応して記憶部30に格納される情報であり、タッチ圧からユーザが操作に困惑していることを検出するために参照される。ユーザが操作に困惑しているとき、イライラしてタッチパネル1bをタッチする力が大きくなることがある。タッチ圧情報32には、ユーザが操作に困惑しているか否かを判定するための閾値が登録されている。なお、ユーザが操作に困惑していると推定されるタッチ圧の大きさを閾値として予め設定しておくとしてもよいが、測定値に基づいて設定することもできる。例えば、初期設定時あるいは所定のタイミングで通常時のタッチ圧を測定し、測定されたタッチ圧からユーザが操作に困惑していることを検出するための閾値を求め、設定しておく。なお、ここではタッチ圧で検出するとしたが、タッチ圧ばかりでなく、ユーザが操作に困惑しているときのタッチ位置や、タッチ間隔などが設定されていてもよい。

0041

ユーザ表情情報33は、ユーザ表情判定部43に対応して記憶部30に格納される情報であり、ユーザの困惑の表情を検出するために参照される。図6は、第2の実施の形態のユーザ表情情報の一例を示す図である。ユーザ表情テーブル330には、操作不慣れによってユーザが困惑しているときに多い表情の種別が「操作不慣れと判定する表情」として設定されている。図6の例では、操作に困惑している状態では、ユーザは「怒り」や「哀しみ」の表情となることが設定されている。

0042

衝撃操作情報34は、衝撃操作判定部44に対応して記憶部30に格納される情報であり、ユーザが携帯電話機100に加えた衝撃の大きさを検出するために参照される設定情報である。ユーザが操作不慣れによって困惑しているとき、イライラして携帯電話機100を振ったり、たたいたりすることがあり、その際、携帯電話機100は通常の使用状態よりも大きく動く。衝撃操作情報34には、携帯電話機100に衝撃が加えられて動いたとき、その衝撃が、ユーザが操作に困惑していることによるのか否かの判定に用いる閾値が設定されている。なお、ユーザが操作に困惑していると推定される衝撃の大きさ(角速度と加速度)を閾値として予め設定しておいてもよいが、測定値に基づいて設定することもできる。例えば、初期設定時あるいは所定のタイミングで通常の使用時に検出される角速度や加速度を測定し、測定された値からユーザが困惑状態にあることを検出するための閾値を求め、設定しておく。

0043

音声キーワード情報35は、音声キーワード判定部45に対応して記憶部30に格納される情報であり、ユーザが操作に困惑しているときの言葉を検出するために参照される。図7は、第2の実施の形態の音声キーワード情報の一例を示す図である。音声キーワードテーブル350は、ユーザが操作に困惑しているときによく口にする言葉が「操作不慣れと判定する音声キーワード」として設定されている。例えば、操作がわからないときや、携帯電話機100が期待通りに動作しないとき、「解らない」、「使い辛い」、「壊れた」といった音声キーワードを検出することが設定されている。

0044

音量情報36は、音量判定部46に対応して記憶部30に格納される情報であり、ユーザが困惑し、大きな声をあげたことを検出するために参照される。ユーザが操作に困惑しているとき、奇声をあげたり、叫んだりして声の音量が通常状態よりも大きくなることがある。音量情報36には、ユーザが操作に困惑しているか否かの判定に用いる閾値が設定されている。なお、閾値は予め設定しておくほか、例えば、初期設定時あるいは所定のタイミングで通常の使用時に検出されるユーザの音量を測定し、測定された音量値からユーザが困惑状態にあることを検出するための閾値を求め、設定しておいてもよい。

0045

なお、タッチ圧、角速度、加速度、音量などの閾値は、記憶部30に格納するのではなく、予めプログラムに組み込んでおくとしてもよい。
図4に戻って説明する。

0046

操作不慣れ判定部40は、ユーザ操作判定部41、タッチ圧判定部42、ユーザ表情判定部43、衝撃操作判定部44、音声キーワード判定部45及び音量判定部46を有する。検知信号解析部20が検出したユーザ操作状態と、記憶部30に格納される困惑状態情報3aと、に基づき、ユーザが不慣れな操作に困惑しているか否かを判定する。判定結果は、ユーザサポート実施部50に出力する。

0047

ユーザ操作判定部41は、タッチ操作解析部21が検出したタッチ位置及びタッチ圧に基づき、有効な操作であるかどうかを判定する。有効な操作であれば、「操作中」を設定するとともに、タッチ位置に対応する操作を特定し、この操作を操作履歴に保存しておく。得られた操作履歴を記憶部30に格納される操作履歴情報31と照合する。一致するものがあれば、ユーザが不慣れな操作に困惑していると判定する。一致するものがなければ、困惑していないと判定する。また、所定の機能の動作に必要な一連操作入力が終了した時点で「操作中」を解除し、対応する機能を実現するアプリを実行させる。また、タッチパネル101b以外の箇所に操作ボタンが配置されている装置では、このような操作ボタンが操作されたときも有効な操作と見なし、「操作中」とする。

0048

なお、ユーザ操作判定部41は、操作不慣れ判定部40の他の判定部と異なり、ユーザが操作を繰り返した後でなければ操作に困惑していることを検出することができない。しかしながら、操作に困惑しているものの他の判定部で検出されるような動作や様子をユーザが行わない場合も考えられる。携帯電話機100では、このような場合にも、ユーザ操作判定部41によってユーザが操作に困惑していることを検出できる。

0049

タッチ圧判定部42は、「操作中」であれば、タッチ操作解析部21が検出したタッチ位置及びタッチ圧を記憶部30に格納されるタッチ圧情報32の閾値と比較する。検出されたタッチ圧が閾値を超えていれば、ユーザが不慣れな操作に困惑していると判定する。閾値を超えていなければ、困惑していないと判定する。なお、タッチ圧の閾値に加え、タッチ圧情報32にタッチ位置やタッチ間隔の閾値が設定され、タッチ操作解析部21からタッチ間隔が得られるときは、これも判定に用いることができる。例えば、タッチ位置が操作キーの表示領域ではないとき、あるいは、タッチ間隔が短いとき、ユーザはイライラしているとし、この状態を困惑の判定に用いる。このように、操作に困って通常状態より強くタッチするなど、通常時と異なるタッチ操作が行われたときは、タッチ圧判定部42によってユーザが操作に困惑していることを検出できる。

0050

ユーザ表情判定部43は、「操作中」であれば、ユーザ表情解析部22が検出したユーザの表情を記憶部30に格納されるユーザ表情情報33の設定と照合する。一致する表情があれば、ユーザが不慣れな操作に困惑していると判定する。一致する表情がなければ、困惑していないと判定する。なお、ユーザ表情解析部22においてユーザが操作に困惑している表情であるか否かを検出していたときは、照合は行わず、結果を利用するとしてもよい。このように、操作に困ってユーザの表情が険しくなるなど、通常状態とは異なる困惑の表情となったときは、ユーザ表情判定部43によってユーザが操作に困惑していることを検出できる。

0051

衝撃操作判定部44は、「操作中」であれば、衝撃解析部23が検出した携帯電話機100が外部から加わった力によって動いたときの加速度及び角速度を、記憶部30に格納される衝撃操作情報34の閾値と比較する。検出された加速度あるいは角速度が閾値を超えていれば、ユーザが不慣れな操作に困惑していると判定する。閾値を超えていなければ、困惑していないと判定する。このように、操作に困っているユーザがイライラして携帯電話機100をたたいたり振ったりして通常状態では生じないような衝撃が携帯電話機100に加えられたときは、衝撃操作判定部44によってユーザが操作に困惑していることを検出できる。

0052

音声キーワード判定部45は、「操作中」であれば、音声解析部24が検出したユーザの発した言葉を記憶部30に格納される音声キーワード情報35に設定される音声キーワードと照合する。検出されたユーザの言葉の中に音声キーワードが含まれていれば、ユーザが不慣れな操作に困惑していると判定する。音声キーワードが含まれていなければ、困惑していないと判定する。このように、操作に困っているユーザが困惑を表す言葉を発したときは、音声キーワード判定部45によってユーザが操作に困惑していることを検出できる。

0053

音量判定部46は、「操作中」であれば、音声解析部24が検出したユーザの声の音量を記憶部30に格納される音量情報36の閾値と比較する。検出された音量が閾値を超えていれば、ユーザが不慣れな操作に困惑していると判定する。閾値を超えていなければ、困惑していないと判定する。このように、操作に困っているユーザがイライラして通常状態より大きな声を出したときは、音量判定部46によってユーザが操作に困惑していることを検出できる。

0054

ユーザサポート実施部50は、操作不慣れ判定部40からユーザが不慣れな操作に困惑しているか否かの判定結果を取得し、ユーザが困惑していると判定されたときは、ユーザの操作をサポートするユーザサポート処理を実施する。ユーザサポート処理では、最初に、ユーザに対してサポートが必要であるかどうかを問い合わせる。例えば、「ヘルプ」キーを画面の一部に表示し、サポートが必要であれば「ヘルプ」を操作するようにメッセージを出す。メッセージは、画面上に表示されても音声で出力されてもよい。そして、ユーザが「ヘルプ」を操作し、サポートを要求したときに、サポート画面を表示する。このように、サポート処理の開始前にサポートの要否を問い合わせることにより、不必要なサポート画面が表示されたときのユーザの不快感をさらに低減することができる。

0055

上記の携帯電話機100では、操作中のユーザが操作に困ったときに観察される通常時とは異なる動作や様子を検知部10の各センサが捉える。検知信号解析部20が検知部10の検知信号を解析し、ユーザが操作を行っているときの動作や様子を含むユーザ操作状態を検出する。操作不慣れ判定部40は、検知信号解析部20が検出したユーザ操作状態と、記憶部30に格納される操作不慣れのユーザが困惑している状態を設定した情報と、を照合し、ユーザが不慣れな操作に困惑しているか否かを判定する。携帯電話機100では、ユーザのタッチ圧、表情、発した言葉、声の大きさや、自装置に加わった衝撃の大きさによって、ユーザが操作に困惑している状態を検出することができる。ユーザが不慣れな操作に困惑していると判定されたときは、ユーザサポート実施部50がサポートの要否を問い合わせるメッセージを提示し、要求されたときはサポートを行う。

0056

次に、携帯電話機100が実行する操作不慣れ支援処理について図8を用いて説明する。図8は、第2の実施の形態の操作不慣れ支援処理の手順を示すフローチャートである。
操作不慣れ支援処理は、検知部10を構成するタッチパネル101b、ジャイロ・加速度センサ107、送話口108がユーザの動作を検知したとき、あるいはインカメラ105がユーザの顔を撮影したとき、開始される。

0057

[ステップS11]検知信号解析部20は、検知部10が検知した検知信号を解析し、ユーザ操作状態を検出する。タッチ操作解析部21は、タッチパネル101bの検知信号を解析し、少なくともタッチ位置とタッチ圧とを検出する。ユーザ表情解析部22は、インカメラ105の画像信号を解析し、ユーザの表情を検出する。衝撃解析部23は、ジャイロ・加速度センサ107の検知信号を解析し、携帯電話機100に加わった衝撃の大きさを検出する。音声解析部24は、送話口108の音声信号を解析し、ユーザが発した言葉と、声の音量を検出する。各解析部における解析処理は、検知部10から対応する検知信号が得られたときに実行される。

0058

[ステップS12]操作不慣れ判定部40は、検知信号解析部20が解析したユーザ操作状態が、操作に困惑している状態であるか否かを判定する。操作不慣れ判定処理については、図9を用いて後で説明する。

0059

[ステップS13]操作不慣れ判定部40は、操作不慣れによってユーザが操作に困惑しているか否かを判定する。ユーザが不慣れな操作に困惑している状態が検出されたときは、ステップS14に進み、不慣れな操作に困惑している状態が検出されなかったときは、処理を終了する。

0060

[ステップS14]ユーザの操作不慣れによる困惑が検出されたとき、ユーザサポート実施部50は、ユーザの操作をサポートするための処理を実行する。ユーザサポート処理については、図10を用いて後で説明する。

0061

次に、操作不慣れ判定処理について、図9を用いて説明する。図9は、第2の実施の形態の操作不慣れ判定処理の手順を示すフローチャートである。操作不慣れ支援処理において、検知信号が解析され、ユーザ操作状態が検出された後に起動される。

0062

[ステップS121]ユーザ操作判定部41は、ユーザの操作履歴を取得し、得られた操作履歴を操作履歴情報31と照合し、ユーザが操作に困惑している状態に該当する操作が検出されるか否かを判定する。該当操作が検出されていればステップS127に進み、検出されていなければステップS122に進む。

0063

[ステップS122]タッチ圧判定部42は、検出されたユーザのタッチ圧と、タッチ圧情報32の閾値とを比較し、タッチ圧が閾値を超える該当タッチ圧であるか否かを判定する。タッチ圧が閾値を超えていればステップS127に進み、閾値を超えていなければステップS123に進む。

0064

[ステップS123]ユーザ表情判定部43は、検出されたユーザの表情をユーザ表情情報33と照合して困惑表情が検出されるか否かを判定する。困惑表情が検出されればステップS127に進み、検出されなければステップS124に進む。

0065

[ステップS124]衝撃操作判定部44は、検出された携帯電話機100が受けた衝撃の大きさ(加速度及び角速度)と、衝撃操作情報34の閾値とを比較し、衝撃の大きさが閾値を超えたか否かを判定する。衝撃の大きさが閾値を超えていればステップS127に進み、閾値を超えていなければステップS125に進む。

0066

[ステップS125]音声キーワード判定部45は、検出されたユーザの発した言葉を音声キーワード情報35と照合して、ユーザが操作に困惑しているときに口にすると想定される音声キーワードを発したか否かを判定する。ユーザが音声キーワードを発していればステップS127に進み、発していなければステップS126に進む。

0067

[ステップS126]音量判定部46は、検出されたユーザの声の音量と、音量情報36の閾値とを比較し、ユーザが大きな声を出したか否かを判定する。音量が閾値を超えていればステップS127に進み、閾値を超えていなければステップS128に進む。

0068

[ステップS127]ユーザが不慣れな操作に困惑していると想定される動作や様子が少なくとも1つ検出されたので、ユーザが不慣れな操作に困惑している状態であると判定する。

0069

[ステップS128]ユーザが不慣れな操作に困惑していると想定される動作や様子が全く検出されなかったので、ユーザが不慣れな操作に困惑している状態でないと判定する。

0070

なお、上記の操作不慣れ判定処理では、検知信号ごとに判定処理を順次行って、いずれかの判定処理で操作不慣れを検出したときは、それ以降の判定処理を行わないようになっている。しかし、検知信号ごとの判定処理をすべて行った後、それぞれの判定処理で得られた結果の論理和を算出して判定を行うとしてもよい。

0071

次に、ユーザサポート処理について、図10を用いて説明する。図10は、第2の実施の形態のユーザサポート処理の手順を示すフローチャートである。操作不慣れ支援処理において、ユーザの操作不慣れが検出されたときに起動される。

0072

[ステップS141]ユーザサポート実施部50は、ユーザに対してヘルプ誘導通知を実行し、ユーザに操作をサポートする必要があるか否かを問い合わせる。例えば、操作をサポートするヘルプ処理を起動させる開始ボタンと、サポートが必要であるか否かを問い合わせるメッセージを表示画面に表示する。

0073

[ステップS142]ユーザサポート実施部50は、ヘルプ誘導通知を受けたユーザがヘルプを要求したか否かを判定する。例えば、開始ボタンが押されたか否かを判定する。ヘルプが要求されれば処理をステップS143に進め、ヘルプが要求されなければヘルプ誘導通知を消し、処理を終了する。

0074

[ステップS143]ユーザサポート実施部50は、ユーザがヘルプを要求したので、サポート情報を提供する。例えば、表示画面をサポート用の表示画面に切り替え、サポート情報を表示する。

0075

このような携帯電話機100の操作支援処理によれば、ユーザが操作に困惑していると想定される動作や様子が検知されると、ユーザサポート処理が開始される。これらの動作及び様子は、通常状態における動作及び様子とは異なるため、ユーザの操作不慣れによる困惑状態を高い確度で検出することができる。また、困惑した状態のユーザが操作を繰り返し行う前にユーザサポートを行うことができるため、より早くユーザサポート処理を行うことができる。

0076

[第3の実施の形態]
次に、第3の実施の形態として、第2の実施の形態の構成に対象操作状態判定部を設け、ユーザが操作に困惑している状態の検出の確度をより高めることが可能な構成について説明する。

0077

携帯電話機100の多機能化及び高機能化は著しく、本来の通話機能に加え、カメラ機能動画像再生機能ブラウザ機能ナビゲーション機能などを備えている。このように多機能化された携帯電話機100では、動作中のアプリによっては、ユーザが操作に困惑していると想定されるユーザの動作や様子が、操作に困惑していなくても検出される場合が考えられる。第3の実施の形態は、このようなケースを除外することによって、ユーザが操作に困惑している状態の検出確度を上げることを可能にするものである。

0078

第3の実施の形態の構成について図11を用いて説明する。図11は、第3の実施の形態の携帯電話機の機能構成の一例を示す図である。図4と同じものには同じ番号を付し、説明は省略する。

0079

携帯電話機300は、検知部10、検知信号解析部20、操作不慣れ判定部40、ユーザサポート実施部50及び対象操作状態判定部80を有する。検知部10、検知信号解析部20、操作不慣れ判定部40及びユーザサポート実施部50は、第2の実施の形態の携帯電話機100と同じである。なお、図11では、図4に示した記憶部30は省略している。

0080

第3の実施の形態の携帯電話機300は、第2の実施の形態の携帯電話機100に対象操作状態判定部80を加えた構成である。よって、以下では、対象操作状態判定部80について説明する。

0081

対象操作状態判定部80は、動作アプリ判定部81、除外項目情報記憶部82及び除外操作状態判定部83を有し、検知信号解析部20と操作不慣れ判定部40との間に配置される。そして、検知信号解析部20が検出したユーザ操作状態から指定されたものを除外し、ユーザが操作に困惑しているか否かを判定する操作不慣れ判定部40に出力する。動作アプリ判定部81は、ユーザが操作を行っているときに動作しているアプリを判定する。除外項目情報記憶部82は、除外項目テーブル82aを格納する記憶部である。

0082

ここで、除外項目テーブル82aは、ユーザが操作に困惑している状態を検出する際の参照項目から除外するものを設定した情報である。図12は、第3の実施の形態の除外項目情報の一例を示す図である。除外項目テーブル82aには、操作不慣れ判定部40によるユーザが操作に困惑しているか否かの判定の対象から除外する項目が「操作不慣れ判定から除外される項目」として、動作アプリに対応付けて設定されている。例えば、動作アプリがカメラであるときは、検出された操作がファインダー画面での操作であれば、判定の対象から除外することが設定されている。また、動作アプリがマップであるときは、地図画面上で操作が行われているとき、この操作を判定の対象から除外することが設定されている。操作ばかりでなく、動作アプリが動画再生であるとき、ユーザの表情を判定の対象から除外することが設定されている。視聴する動画の内容によっては、操作に困惑しているわけではないのにユーザの顔が険しくなることが想定されるためである。

0083

図11に戻って説明する。除外操作状態判定部83は、検知信号解析部20からユーザ操作状態(ユーザの動作及び様子)を取得するとともに、動作アプリ判定部81から動作中の動作アプリに関する情報を取得する。そして、取得した動作アプリ及びユーザ操作状態を除外項目情報記憶部82に格納される除外項目テーブル82aと照合し、一致する項目の有無を判定する。一致する項目があるときは、該当するユーザ操作状態を削除する。操作不慣れ判定部40には、除外操作状態判定部83によって除外項目を除去したユーザ操作状態を出力する。

0084

このように、携帯電話機300では、対象操作状態判定部80は、検知信号解析部20が検出したユーザ操作状態のうち、除外項目テーブル82aに設定された除外項目を除外し、残ったユーザ情報のみを操作不慣れ判定部40に出力する。操作不慣れ判定部40は、対象操作状態判定部80によって除外された項目を除くユーザ操作状態に基づき、ユーザが操作に困惑しているか否かを判定する。例えば、動画の視聴中に音量の調整などの操作を行ったユーザが、視聴している動画の内容によって険しい表情となっていたとしても、検知信号解析部20によって検出された険しい表情は対象操作状態判定部80によって判定処理の参照項目から除外される。操作不慣れ判定部40は、判定時にユーザの表情を参照しないので、このようなケースでユーザサポート処理が行われることはない。これにより、ユーザが操作に困惑していることをより正確に検出できるようになる。

0085

次に、除外操作判定処理について、図13を用いて説明する。なお、除外操作判定処理は、図8に示した操作不慣れ支援処理において、検知信号解析処理(ステップS11)が行われた後であって、操作不慣れ判定処理(ステップS12)の前に実行される。図13は、第3の実施の形態の除外操作判定処理の手順を示すフローチャートである。除外操作判定処理は、検知信号解析処理によってユーザ操作状態が検出された後に起動される。

0086

[ステップS181]動作アプリ判定部81は、現在どのアプリを使用しているのかを示すアプリ情報を取得し、動作しているアプリに除外項目が設定されているか否かを判定する。判定は、動作アプリと、除外項目情報記憶部82に格納される除外項目テーブル82aの「動作アプリ」とを照合して実行する。動作アプリに除外項目が設定されていればステップS182に進み、除外項目が設定されていなければ処理を終了する。

0087

[ステップS182]除外操作状態判定部83は、検知信号解析部20から取得したユーザ操作状態と、除外項目情報記憶部82に格納される除外項目テーブル82aの該当する「動作アプリ」に設定されている「操作不慣れ判定から除外される項目」と、を照合する。検知信号解析部20が検出したユーザ操作状態が「操作不慣れ判定から除外される項目」と一致していれば、ステップS183に進み、一致していなければステップS184に進む。

0088

[ステップS183]除外操作状態判定部83は、検出されたユーザ操作状態が「操作不慣れ判定から除外される項目」と一致しているので、検出されたユーザ操作状態を操作不慣れ判定処理の対象から除外する。

0089

[ステップS184]除外操作状態判定部83は、検出されたすべての「ユーザ操作状態」について、「操作不慣れ判定から除外される項目」との照合が終了したかどうかを判定する。検出されたすべての「ユーザ操作状態」について照合が終了していなければ、ステップS182に戻り、照合が終了していれば処理を終了する。

0090

このように、除外操作判定処理により、検出された「ユーザ操作状態」が使用しているアプリに対応して設定された操作不慣れの判定の対象から除外される項目であれば、この「ユーザ操作状態」は操作不慣れ判定処理の対象から除外される。これにより、操作不慣れ判定処理における判定をより正確に行うことができる。

0091

なお、上記の処理機能は、コンピュータによって実現することができる。その場合、情報処理装置が有すべき機能の処理内容記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記憶装置光ディスク光磁気記録媒体半導体メモリなどがある。磁気記憶装置には、ハードディスク装置(HDD)、フレキシブルディスクFD)、磁気テープなどがある。光ディスクには、DVD(Digital Versatile Disc)、DVD−RAM、CD−ROM(Compact Disc Read Only Memory)、CD−R(Recordable)/RW(ReWritable)などがある。光磁気記録媒体には、MO(Magneto-Optical disk)などがある。

0092

プログラムを流通させる場合には、たとえば、そのプログラムが記録されたDVD、CD−ROMなどの可搬型記録媒体販売される。また、プログラムをサーバコンピュータ記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

0093

プログラムを実行するコンピュータは、たとえば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムにしたがった処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムにしたがった処理を実行することもできる。また、コンピュータは、ネットワークを介して接続されたサーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムにしたがった処理を実行することもできる。

0094

また、上記の処理機能の少なくとも一部を、DSP(Digital Signal Processor)、ASIC(Application Specific IntegratedCircuit)、PLD(Programmable Logic Device)などの電子回路で実現することもできる。

0095

1 検知部
1aタッチ検知部
1bカメラ撮影部
1c角速度検知部
1d音声検知部
2検知信号解析部
3 記憶部
3a困惑状態情報
4操作状態判定部
5操作支援部
6操作判定部
7アプリ制御部
10 検知部
20 検知信号解析部
30 記憶部
40 操作不慣れ判定部
50ユーザサポート実施部
80対象操作状態判定部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ