図面 (/)

技術 滞留度計算装置およびその動作方法

出願人 日本電信電話株式会社
発明者 山下福太郎水野理秦泉寺浩史中村無心松本猛
出願日 2012年5月23日 (7年10ヶ月経過) 出願番号 2012-117488
公開日 2013年12月9日 (6年3ヶ月経過) 公開番号 2013-246468
状態 特許登録済
技術分野 デジタル計算機のユーザインターフェイス デジタル計算機のユーザインターフェイス
主要キーワード 滞留度 滞留状況 視線速度 動作識別情報 指先動作 滞留状態 指先座標 レーベンシュタイン距離
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2013年12月9日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (8)

課題

重度の操作の滞留が発生する可能性を示す滞留度を計算する。

解決手段

動作判定部106は、検出したユーザの動作を示す動作情報を動作情報記憶部107に蓄積する。動作情報読み出し部108は、各サンプリングタイミングにおいて、回数Nだけ遡ったサンプリングタイミングまでの動作情報からなる第1動作情報列を動作情報記憶部107から読み出し、これが操作の滞留があることを示しているなら、さらに回数Mだけ遡ったサンプリングタイミングまでの動作情報からなる第2動情報列を読み出し、動作情報列記憶部109に蓄積する。滞留度計算部110は、操作の滞留があることを示していないなら、最新のサンプリングタイミングから第2の回数Mだけ遡ったサンプリングタイミングまでの動作情報からなる第3動作情報列と動作情報列記憶部109内の各第2動作情報列との類似度が大きい程大きくなるような滞留度を計算する。

概要

背景

ユーザに対して情報を画面に表示し、ユーザが選択等の操作を行うような情報端末において、ユーザが操作を行っている途中で、次に何を行えばよいのか、わからず困って行き詰ってしまう「滞留」状態が発生することがある。

そのような状況を改善するために、非特許文献1に記載の技術が提案されている。

非特許文献1の技術は、見ているウェブサイトキーボード操作マウス動き視線表情音声情報を入力とし、出力を支援内容としてユーザ満足度によって学習を行うというものである。この技術は、出力が満足度を向上させるようならば、事例として記憶していくという事例ベース推論を用いた操作支援方法である。

概要

重度の操作の滞留が発生する可能性を示す滞留度を計算する。動作判定部106は、検出したユーザの動作を示す動作情報を動作情報記憶部107に蓄積する。動作情報読み出し部108は、各サンプリングタイミングにおいて、回数Nだけ遡ったサンプリングタイミングまでの動作情報からなる第1動作情報列を動作情報記憶部107から読み出し、これが操作の滞留があることを示しているなら、さらに回数Mだけ遡ったサンプリングタイミングまでの動作情報からなる第2動情報列を読み出し、動作情報列記憶部109に蓄積する。滞留度計算部110は、操作の滞留があることを示していないなら、最新のサンプリングタイミングから第2の回数Mだけ遡ったサンプリングタイミングまでの動作情報からなる第3動作情報列と動作情報列記憶部109内の各第2動作情報列との類似度が大きい程大きくなるような滞留度を計算する。

目的

本発明は、上記の課題に鑑みてなされたものであり、その目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

操作が滞る滞留の程度を示す滞留度を計算する滞留度計算装置であって、予め定められた各サンプリングタイミングにおいて、当該サンプリングタイミングになされた動作が予め定められた複数の動作のうちどの動作に一致するかを判定する動作判定部と、前記動作判定部で一致すると判定された動作を示す動作情報蓄積される動作情報記憶部と、前記各サンプリングタイミングにおいて、当該サンプリングタイミングから予め定められた第1の回数だけ遡ったサンプリングタイミングまでの動作情報からなる第1動作情報列を前記動作情報記憶部から読み出し、当該第1動作情報列が予め定められた程度以上の操作の滞留があることを示しているなら、当該遡ったサンプリングタイミングから予め定められた第2の回数だけ遡ったサンプリングタイミングまでの動作情報からなる第2動情報列を前記動作情報記憶部から読み出す動作情報読み出し部と、当該第2動作情報列が蓄積される動作情報列記憶部と、前記第1動作情報列が予め定められた程度以上の操作の滞留があることを示していないなら、予め定められた式を用いて、最新のサンプリングタイミングから前記第2の回数だけ遡ったサンプリングタイミングまでの動作情報からなる第3動作情報列と前記動作情報列記憶部内の各第2動作情報列との類似度が大きい程大きくなるような滞留度を計算する滞留度計算部とを備えることを特徴とする滞留度計算装置。

請求項2

前記動作判定部は、視線の動作が予め定められた複数の視線の動作のうちどの動作に一致するかを判定する視線動作判定部と、指先の動作が予め定められた複数の指先の動作のうちどの動作に一致するかを判定する指先動作判定部とを備え、前記動作情報記憶部は、前記視線動作判定部で一致すると判定された動作を示す視線動作識別情報と前記指先動作判定部で一致すると判定された動作を示す指先動作識別情報とからなる動作情報を蓄積するものであることを特徴とする請求項1記載の滞留度計算装置。

請求項3

操作を実行するものを対象とした出力内容を出力する出力部と、前記出力内容を前記出力部に出力させる処理部と、前記滞留度に応じた出力内容が前記出力部に出力されるように前記処理部を制御する出力制御部とを備えることを特徴とする請求項1または2記載の滞留度計算装置。

請求項4

操作が滞る滞留の程度を示す滞留度を計算する滞留度計算装置の動作方法であって、前記滞留度計算装置の動作判定部が、予め定められた各サンプリングタイミングにおいて、当該サンプリングタイミングになされた動作が予め定められた複数の動作のうちどの動作に一致するかを判定し、一致すると判定された動作を示す動作情報を前記滞留度計算装置の動作情報記憶部に蓄積し、前記滞留度計算装置の動作情報読み出し部が、前記各サンプリングタイミングにおいて、当該サンプリングタイミングから予め定められた第1の回数だけ遡ったサンプリングタイミングまでの動作情報からなる第1動作情報列を前記動作情報記憶部から読み出し、当該第1動作情報列が予め定められた程度以上の操作の滞留があることを示しているなら、当該遡ったサンプリングタイミングから予め定められた第2の回数だけ遡ったサンプリングタイミングまでの動作情報からなる第2動作情報列を前記動作情報記憶部から読み出し、当該第2動作情報列を前記滞留度計算装置の動作情報列記憶部に蓄積し、前記滞留度計算装置の滞留度計算部が、前記第1動作情報列が予め定められた程度以上の操作の滞留があることを示していないなら、予め定められた式を用いて、最新のサンプリングタイミングから前記第2の回数だけ遡ったサンプリングタイミングまでの動作情報からなる第3動作情報列と前記動作情報列記憶部内の各第2動作情報列との類似度が大きい程大きくなるような滞留度を計算することを特徴とする滞留度計算装置の動作方法。

請求項5

前記動作判定部による判定は、当該動作判定部の視線動作判定部が、視線の動作が予め定められた複数の視線の動作のうちどの動作に一致するかを判定することと、当該動作判定部の指先動作判定部が、指先の動作が予め定められた複数の指先の動作のうちどの動作に一致するかを判定することからなり、前記動作情報記憶部には、前記視線動作判定部で一致すると判定された動作を示す視線動作識別情報と前記指先動作判定部で一致すると判定された動作を示す指先動作識別情報とからなる動作情報が蓄積されることを特徴とする請求項4記載の滞留度計算装置の動作方法。

請求項6

前記滞留度計算装置は、操作を実行するものを対象とした出力内容を出力する出力部と、前記出力内容を前記出力部に出力させる処理部とを備え、前記動作方法は、さらに、前記滞留度計算装置の出力制御部が、前記滞留度に応じた出力内容が前記出力部に出力されるように前記処理部を制御することを特徴とする請求項4または5記載の滞留度計算装置の動作方法。

技術分野

0001

本発明は、重度の操作の滞留が発生する可能性を示す滞留度を計算できる滞留度計算装置およびその動作方法に関するものである。

背景技術

0002

ユーザに対して情報を画面に表示し、ユーザが選択等の操作を行うような情報端末において、ユーザが操作を行っている途中で、次に何を行えばよいのか、わからず困って行き詰ってしまう「滞留」状態が発生することがある。

0003

そのような状況を改善するために、非特許文献1に記載の技術が提案されている。

0004

非特許文献1の技術は、見ているウェブサイトキーボード操作マウス動き視線表情音声情報を入力とし、出力を支援内容としてユーザ満足度によって学習を行うというものである。この技術は、出力が満足度を向上させるようならば、事例として記憶していくという事例ベース推論を用いた操作支援方法である。

先行技術

0005

L.Maat, et al, “Gaze-X: Adaptive Affective Multimodal Interface for Single-User Office Scenarios”, Proceedings of the 8th international conference on Multimodal interfaces, 2006.

発明が解決しようとする課題

0006

非特許文献1の技術では、滞留状態を滞留しているかしていないかの二つの状態に分け、人が見て明らかな「重度」の滞留状態のみを扱っている。

0007

しかしながら、「重度」の滞留に至るまでには、人が見ても分からないような「軽度」の滞留状況というものが存在する。非特許文献1ではこれを考慮していない。つまり、「重度」の滞留が発生する可能性を示す指標がない。よって、「重度」の滞留が発生し、例えば、回復困難となる虞がある。

0008

本発明は、上記の課題に鑑みてなされたものであり、その目的とするところは、重度の操作の滞留が発生する可能性を示す滞留度を計算できる滞留度計算装置およびその動作方法を提供することにある。

課題を解決するための手段

0009

上記の課題を解決するために、第1の本発明は、操作が滞る滞留の程度を示す滞留度を計算する滞留度計算装置であって、予め定められた各サンプリングタイミングにおいて、当該サンプリングタイミングになされた動作が予め定められた複数の動作のうちどの動作に一致するかを判定する動作判定部と、前記動作判定部で一致すると判定された動作を示す動作情報蓄積される動作情報記憶部と、前記各サンプリングタイミングにおいて、当該サンプリングタイミングから予め定められた第1の回数だけ遡ったサンプリングタイミングまでの動作情報からなる第1動作情報列を前記動作情報記憶部から読み出し、当該第1動作情報列が予め定められた程度以上の操作の滞留があることを示しているなら、当該遡ったサンプリングタイミングから予め定められた第2の回数だけ遡ったサンプリングタイミングまでの動作情報からなる第2動情報列を前記動作情報記憶部から読み出す動作情報読み出し部と、当該第2動作情報列が蓄積される動作情報列記憶部と、前記第1動作情報列が予め定められた程度以上の操作の滞留があることを示していないなら、予め定められた式を用いて、最新のサンプリングタイミングから前記第2の回数だけ遡ったサンプリングタイミングまでの動作情報からなる第3動作情報列と前記動作情報列記憶部内の各第2動作情報列との類似度が大きい程大きくなるような滞留度を計算する滞留度計算部とを備えることを特徴とする。

0010

例えば、前記動作判定部は、視線の動作が予め定められた複数の視線の動作のうちどの動作に一致するかを判定する視線動作判定部と、指先の動作が予め定められた複数の指先の動作のうちどの動作に一致するかを判定する指先動作判定部とを備え、前記動作情報記憶部は、前記視線動作判定部で一致すると判定された動作を示す視線動作識別情報と前記指先動作判定部で一致すると判定された動作を示す指先動作識別情報とからなる動作情報を蓄積するものである。

0011

例えば、前記動作情報読み出し部は、前記第1動作情報列内の動作情報同士で視線動作識別情報が等しく且つ指先動作識別情報が等しいなら、前記第2動作情報列を読み出し、前記滞留度計算部は、前記第1動作情報列内の動作情報同士で視線動作識別情報が等しくない又は指先動作識別情報が等しくないなら、前記滞留度を計算する。

0012

例えば、滞留度計算装置は、操作を実行するものを対象とした出力内容を出力する出力部と、前記出力内容を前記出力部に出力させる処理部と、前記滞留度に応じた出力内容が前記出力部に出力されるように前記処理部を制御する出力制御部とを備える。

0013

第2の本発明は、操作が滞る滞留の程度を示す滞留度を計算する滞留度計算装置の動作方法であって、前記滞留度計算装置の動作判定部が、予め定められた各サンプリングタイミングにおいて、当該サンプリングタイミングになされた動作が予め定められた複数の動作のうちどの動作に一致するかを判定し、一致すると判定された動作を示す動作情報を前記滞留度計算装置の動作情報記憶部に蓄積し、前記滞留度計算装置の動作情報読み出し部が、前記各サンプリングタイミングにおいて、当該サンプリングタイミングから予め定められた第1の回数だけ遡ったサンプリングタイミングまでの動作情報からなる第1動作情報列を前記動作情報記憶部から読み出し、当該第1動作情報列が予め定められた程度以上の操作の滞留があることを示しているなら、当該遡ったサンプリングタイミングから予め定められた第2の回数だけ遡ったサンプリングタイミングまでの動作情報からなる第2動作情報列を前記動作情報記憶部から読み出し、当該第2動作情報列を前記滞留度計算装置の動作情報列記憶部に蓄積し、前記滞留度計算装置の滞留度計算部が、前記第1動作情報列が予め定められた程度以上の操作の滞留があることを示していないなら、予め定められた式を用いて、最新のサンプリングタイミングから前記第2の回数だけ遡ったサンプリングタイミングまでの動作情報からなる第3動作情報列と前記動作情報列記憶部内の各第2動作情報列との類似度が大きい程大きくなるような滞留度を計算することを特徴とする。 例えば、前記動作判定部による判定は、当該動作判定部の視線動作判定部が、視線の動作が予め定められた複数の視線の動作のうちどの動作に一致するかを判定することと、当該動作判定部の指先動作判定部が、指先の動作が予め定められた複数の指先の動作のうちどの動作に一致するかを判定することからなり、前記動作情報記憶部には、前記視線動作判定部で一致すると判定された動作を示す視線動作識別情報と前記指先動作判定部で一致すると判定された動作を示す指先動作識別情報とからなる動作情報が蓄積される。

0014

例えば、前記動作情報読み出し部は、前記第1動作情報列内の動作情報同士で視線動作識別情報が等しく且つ指先動作識別情報が等しいなら、前記第2動作情報列を読み出し、前記滞留度計算部は、前記第1動作情報列内の動作情報同士で視線動作識別情報が等しくない又は指先動作識別情報が等しくないなら、前記滞留度を計算する。

0015

例えば、前記滞留度計算装置は、操作を実行するものを対象とした出力内容を出力する出力部と、前記出力内容を前記出力部に出力させる処理部とを備え、前記動作方法は、さらに、前記滞留度計算装置の出力制御部が、前記滞留度に応じた出力内容が前記出力部に出力されるように前記処理部を制御する。

発明の効果

0016

本発明によれば、重度の操作の滞留が発生する可能性を示す滞留度を計算することができる。

図面の簡単な説明

0017

本実施の形態に係る滞留度計算装置を含んで構成した情報処理装置概略構成を示すブロック図である。
情報処理装置1の動作の流れを示すフローチャートである。
操作入力部105と操作面151の一例を示す図である。
テップS7の詳細なフローチャートである。
ステップS9の詳細なフローチャートである。
出力部102と表示面121の一例を示す図である。
動作情報列記憶部109の構成の一例を示す図である。

実施例

0018

以下、本発明の実施の形態について図面を参照して説明する。

0019

図1は、本実施の形態に係る滞留度計算装置を含んで構成した情報処理装置の概略構成を示すブロック図である。

0020

情報処理装置1は、ここでは、いわゆるシナリオとして予めに記憶した出力内容を出力する装置である。

0021

情報処理装置1は、シナリオを予め記憶したシナリオデータベース101、シナリオに記載された出力内容を出力する表示装置などの出力部102、シナリオを読み込み、シナリオに記載された出力内容を出力部102から出力させる処理部103、出力部102に出力される出力内容の視聴などを行うユーザを撮影するカメラ等の画像入力部104、ユーザが指先を触れて操作するタッチパネルなどの操作入力部105、ユーザにより行われる動作が予め定められた複数の動作のうちどの動作に一致するかを判定する動作判定部106、動作判定部106で一致すると判定された動作を示す動作情報が蓄積される動作情報記憶部107、予め定められた数の動作情報からなる第1動作情報列を動作情報記憶部107から読み出し、第1動作情報列が所定の条件を満たすなら、予め定められた数の動作情報からなる第2動作情報列を動作情報記憶部107から読み出す動作情報読み出し部108、第2動作情報列が蓄積される動作情報列記憶部109、第1動作情報列が所定の条件を満たさないなら、予め定められた数の動作情報からなる第3動作情報列を動作情報記憶部107から読み出し、動作情報列記憶部109の第2動作情報列と第3動作情報列を用いて、重度の操作の滞留が発生する可能性を示す滞留度を滞留度計算部110、および滞留度に応じた出力内容が出力部102に出力されるように処理部103を制御する出力制御部111を備える。

0022

操作入力部105は、例えば、透明なタッチパネルであり、出力部102である表示装置がその背後に配置され、これにより、ユーザが出力内容に触れるようにして、操作入力部105が操作される。

0023

本実施の形態の滞留度計算装置は、出力部102、処理部103、動作判定部106、動作情報記憶部107、動作情報読み出し部108、動作情報列記憶部109、滞留度計算部110および出力制御部111から構成される。

0024

動作判定部106は、ユーザの視線の動作が予め定められた複数の視線の動作のうちどの動作に一致するかを判定する視線動作判定部161と、ユーザの指先の動作が予め定められた複数の指先の動作のうちどの動作に一致するかを判定する指先動作判定部162とを備える。

0025

次に、情報処理装置1の動作の流れを説明する。
処理部103は、シナリオデータベース101からシナリオを読み込み、シナリオに記載された出力内容を出力部102から出力させる。出力内容は画面を構成し、画面には、別の画面を表示するためのボタンが表示される。

0026

図2は、情報処理装置1の動作の流れを示すフローチャートである。前述のように、出力部102は、ボタンを含む画面を表示していることとする。

0027

情報処理装置1は、予め定められた各サンプリングタイミングにおいて、図2に示す動作を実行する。サンプリングタイミングの周期t[秒]は、一定である。

0028

まず、処理部103は、操作入力部105からの信号に基づき、ユーザの指先の位置を示す指先座標(xTn、yTn)の取得を試みる(S1)。

0029

ここでは、処理部103は、操作入力部105が図3に示すような操作面151を有している場合、原点0Tから、操作面151に触れた指先までのx軸方向の距離に相当する座標xTnと、原点0Tから、操作面151に触れた指先までのy軸方向の距離に相当する座標yTnとからなる指先座標(xTn、yTn)の取得を試みる(S1)。

0030

nは、最新の、つまり現在のサンプリングタイミングを示す整数である。例えば、1回前のサンプリングタイミングにおける指先座標は、(xTn−1、yTn−1)と表現される。

0031

次に、処理部103は、指先座標を取得でき、つまり、指先が操作面151に触れており、且つ、指先座標がボタン内の位置に対応するものであるか否かを判定する(S3)。つまり、処理部103は、ユーザがボタンを操作したか否かを判定する(S3)。

0032

処理部103は、ステップS3でYESと判定されたなら、シナリオに基づいて、別の画面を出力部102に表示させ(S5)、処理を終える。

0033

一方、指先動作判定部162は、ステップS3でNOと判定されたなら、指先の動作が予め定められた複数の指先の動作のうちどの動作に一致するかを判定する(S7)。

0034

図4は、ステップS7の詳細なフローチャートである。
指先動作判定部162は、指先座標の取得を試み、指先座標を取得できなければ(S71:NO)、最新のサンプリングタイミングにおける指先動作識別情報Tnとして、指先が操作面151に触れていない(アンタッチ)ことを示す指先動作識別情報「T1」を生成し(S73)、処理を終える。

0035

一方、指先動作判定部162は、指先座標つまり最新のサンプリングタイミングにおける指先座標(xTn、yTn)を取得できたなら(S71:YES)、1回前のサンプリングタイミングにおける指先座標(xTn−1、yTn−1)と指先座標(xTn、yTn)の距離(以下、変位という)lTnを式(1)により計算し、変位lTnが予め定められた変位(しきい値)LT以上であるか否かを判定する(S75)。

0036

つまり、指先動作判定部162は、式(2)、(3)のどちらが成立するかを判定する(S75)。

0037

式(2)が成立する場合とは、指先を操作面151に触れたまま意図的に動かす動作(ドラッグ)が行われた場合である。

0038

式(3)が成立する場合とは、指先を単に操作面151に触れる動作(タッチ)が行われた場合である。

0039

指先動作判定部162は、ステップS75でNOと判定された(タッチが行われた)なら、指先動作識別情報Tnとして、タッチが行われたことを示す指先動作識別情報「T2」を生成し(S77)、処理を終える。

0040

一方、指先動作判定部162は、ステップS75でYESと判定された(ドラッグが行われた)なら、指先動作識別情報Tnとして、ドラッグが行われたことを示す指先動作識別情報「T3」を生成し(S79)、処理を終える。

0041

図2戻り、次に、視線動作判定部161は、視線の動作が予め定められた複数の視線の動作のうちどの動作に一致するかを判定する(S9)。

0042

図5は、ステップS9の詳細なフローチャートである。
まず、視線動作判定部161は、画像入力部104からの信号に基づき、ユーザの視線の位置を示す視線座標(xGn、yGn)の取得を試みる(S901)。

0043

出力部102が図6に示すような表示面121を有している場合、原点0Gから、表示面121に注がれた視線の表示面121における位置までのx軸方向の距離に相当する座標xGnと、原点0Gから、表示面121に注がれた視線の表示面121における位置までのy軸方向の距離に相当する座標yGnとからなる視線座標(xGn、yGn)の取得を試みる(S901)。

0044

画像入力部104が単眼カメラである場合、視線座標の取得は、以下の参考文献に記載のアルゴリズムを用いて行える。

0045

参考文献:Hirotake Yamazoe, “Remote Gaze Estimation with a Single Camera Based on Facial-Feature Tracking without Special Calibration Actions”, Proceedings of the 2008 symposium on Eye tracking research applicationsETRA 08, 2008.
視線座標(xGn、yGn)のnは、最新のサンプリングタイミングを示す整数である。例えば、1回前のサンプリングタイミングにおける視線座標は、(xGn−1、yGn−1)と表現される。

0046

次に、視線動作判定部161は、視線座標(xGn、yGn)を取得できたか否かを判定する(S903)。つまり、視線動作判定部161は、視線が表示面121に注がれている状況であるか、または、視線が表示面121外に注がれているか瞬きをしている等の状況であるかを判定する(S903)。

0047

視線動作判定部161は、ステップS903でNOと判定されたなら、最新のサンプリングタイミングにおける視線動作識別情報Gnとして、視線が表示面121に注がれていないことを示す視線動作識別情報「G1」を生成し(S905)、処理を終える。

0048

一方、視線動作判定部161は、ステップS903でYESと判定されたなら、1回前のサンプリングタイミングにおける視線座標(xGn−1、yGn−1)と視線座標(xGn、yGn)の距離(以下、変位という)lGnを式(4)により計算し、変位lGnが予め定められた変位(しきい値)LG以上であるか否かを判定する(S907)。

0049

つまり、指先動作判定部162は、式(5)、(6)のどちらが成立するかを判定する(S907)。

0050

式(6)が成立する場合とは、ユーザが表示面121の一点を見ている動作(絶対固視)が行われた場合である。

0051

視線動作判定部161は、ステップS907でNOと判定されたなら、視線動作識別情報Gnとして、絶対固視が行われたことを示す視線動作識別情報「G2」を生成し(S909)、処理を終える。

0052

一方、視線動作判定部161は、ステップS907でYESと判定されたなら、1回前のサンプリングタイミングから最新のサンプリングタイミングまでの期間における指先の速度を示す指先速度ベクトルvTnと、1回前のサンプリングタイミングから最新のサンプリングタイミングまでの期間における視線の速度を示す視線速度ベクトルvGnを式(7)、(8)により計算する(S911)。

0053

なお、式(7)において、vxTnは指先速度ベクトルvTnのx成分、vyTnは指先速度ベクトルvTnのy成分である。
また、式(8)において、vxGnは指先速度ベクトルvGnのx成分、vyGnは指先速度ベクトルvGnのy成分である。

0054

次に、視線動作判定部161は、指先速度ベクトルvTnと視線速度ベクトルvGnの内積を計算し、内積が0未満であるか否かを判定する(S913)。

0055

つまり、視線動作判定部161は、式(9)、(10)のどちらが成立するかを判定する(S913)。

0056

式(9)が成立する場合とは、視線が指先に追従せずに動く動作(スキャン)が行われた場合である。
式(10)が成立する場合とは、視線が指先に追従する動作(相対固視)が行われた場合である。

0057

視線動作判定部161は、ステップS913でNOと判定されたなら、視線動作識別情報Gnとして、相対固視が行われたことを示す視線動作識別情報「G3」を生成し(S915)、処理を終える。

0058

一方、視線動作判定部161は、ステップS913でYESと判定されたなら、視線動作識別情報Gnとして、スキャンが行われたことを示す視線動作識別情報「G4」を生成し(S917)、処理を終える。

0059

図2に戻り、次に、動作判定部106は、ステップS7で生成された指先動作識別情報TnとステップS9で生成された視線動作識別情報Gnとからなる動作情報(Tn,Gn)を動作情報記憶部107に蓄積する(S10)。つまり、動作情報記憶部107には、動作判定部106で一致すると判定された動作を示す動作情報が蓄積される。

0060

動作情報記憶部107には、こうして、最新のサンプリングタイミングまでの各サンプリングタイミングで生成された動作情報が蓄積される。なお、動作情報の数は、後述の処理に必要な数以上であることとする。

0061

次に、動作情報読み出し部108は、最新のサンプリングタイミングから予め定められた第1の回数Nだけ遡ったサンプリングタイミングまでの動作情報からなる第1動作情報列を動作情報記憶部107から読み出し、第1動作情報列が予め定められた程度以上の操作の滞留があることを示しているか否かを判定する(S11)。

0062

具体的には、動作情報読み出し部108は、式(11)に示す第1動作情報列を読み出し、式(12)、(13)が共に成立するか否かを判定する(S11)。

0063

式(12)、(13)が共に成立する場合は、「最重度」の滞留が発生している場合であり、動作情報読み出し部108は、ここでは、「最重度」の滞留が発生しているか否かを判定する(S11)。「最重度」の滞留が発生している状況は、後述の滞留度Sに換算すると、滞留度S=「1」に相当する。

0064

なお、ステップS11では、例えば、式(12)と式(13)の一方が成立するか否かを判定してもよい。つまり、滞留の程度を下げ、その程度以上の操作の滞留があるか否かを判定してもよい。

0065

さて、動作情報読み出し部108は、ステップS11でYESと判定されたなら、最新のサンプリングタイミングから前記第1の回数Nだけ遡ったサンプリングタイミングからさらに予め定められた第2の回数Mだけ遡ったサンプリングタイミングまでの動作情報からなる第2動作情報列を、動作情報記憶部107から読み出し、第2動作情報列を動作情報列記憶部109に蓄積する(S13)。なお、第2の回数Mは、第1の回数Nに等しくてもよい。

0066

つまり、動作情報読み出し部108は、式(14)に示す第2動作情報列を読み出し、動作情報列記憶部109に蓄積する(S13)。

0067

動作情報列記憶部109には、例えば、図7に3例を示すような第2動作情報列が蓄積される。

0068

図2に戻り、滞留度計算部110は、ステップS11でNOと判定されたなら、操作が滞る滞留の程度を示す滞留度Sを計算する(S15)。つまり、滞留度計算部110は、予め定められた式を用いて、最新のサンプリングタイミングから第2の回数Mだけ遡ったサンプリングタイミングまでの動作情報からなる第3動作情報列と動作情報列記憶部109内の各第2動作情報列との類似度が大きい程大きくなるような滞留度Sを計算する(S15)。

0069

動作情報列記憶部109には、「最重度」の滞留が発生した場合の第2動作情報列が蓄積されているので、滞留度Sは、現在の滞留の程度を示すだけでなく、「最重度」の滞留が発生する可能性の大きさを示すものでもある。

0070

具体的には、滞留度計算部110は、まず、各第2動作情報列を動作情報列記憶部109から読み出し、それぞれにつき、第3動作情報列とのレーベンシュタイン距離Lを計算する。

0071

レーベンシュタイン距離とは、ある文字列str1(ここでは、第3動作情報列)を別の文字列str2(ここでは、第2動作情報列)に変換するために置換、挿入、削除しなければならない最小の文字数である。文字数は、文字列str1、str2の類似度が大きい程少なくなる。

0072

次に、滞留度計算部110は、計算されたレーベンシュタイン距離Lの中での最小のレーベンシュタイン距離Lminを式(15)に代入し、滞留度Sを計算する(S15)。

0073

ここで、Lmaxは、第3動作情報列と第2動作情報列とで、全てのサンプリングタイミングのそれぞれで、当該サンプリングタイミングに対応する指先動作識別情報が互いに異なり、且つ、当該サンプリングタイミングに対応する視線動作識別情報が互いに異なる場合のレーベンシュタイン距離Lである。

0074

よって、滞留度Sは、最小のレーベンシュタイン距離Lminが小さいほど大きくなる。つまり、滞留度Sは、第3動作情報列と第2動作情報列の類似度が大きい程大きくなる。

0075

次に、出力制御部111が、滞留度Sが予め定められた閾値S1以上であるか否かを判定する(S17)。閾値S1は、予め定められた2つの閾値S1、S2の内の高い方の閾値である。つまり、出力制御部111は、滞留度Sとなりうる0から1までの範囲を3分割して得られる最も高い範囲に滞留度Sが含まれるか否かを判定する(S17)。なお、分割数は3に限るものではない。

0076

出力制御部111は、ステップS17でYESと判定されたなら、または、ステップS13の処理が終わったなら、この場合、滞留度Sが最も高い範囲に含まれるので、強い注意喚起を示す出力内容が出力部102に出力されるように処理部103を制御し(S19)、処理を終える。

0077

一方、出力制御部111は、ステップS17でNOと判定されたなら、滞留度Sが閾値S2以上であるか否かを判定する(S21)。

0078

出力制御部111は、ステップS21でYESと判定されたなら、この場合、滞留度Sが2番目に高い範囲に含まれるので、例えば、ガイダンスなどの出力内容が出力部102に出力されるように処理部103を制御し(S23)、処理を終える。

0079

一方、出力制御部111は、ステップS21でNOと判定されたなら、この場合、滞留度Sが最も低い範囲に含まれ、操作再開が期待できるので、処理を終える。

0080

したがって、本実施の形態に係る滞留度計算装置は、操作が滞る滞留の程度を示す滞留度を計算する滞留度計算装置であって、予め定められた各サンプリングタイミングにおいて、当該サンプリングタイミングになされた動作が予め定められた複数の動作のうちどの動作に一致するかを判定する動作判定部106と、動作判定部106で一致すると判定された動作を示す動作情報が蓄積される動作情報記憶部107と、各サンプリングタイミングにおいて、当該サンプリングタイミングから予め定められた第1の回数Nだけ遡ったサンプリングタイミングまでの動作情報からなる第1動作情報列を動作情報記憶部107から読み出し、第1動作情報列が予め定められた程度以上の操作の滞留があることを示しているなら、当該遡ったサンプリングタイミングから予め定められた第2の回数Mだけ遡ったサンプリングタイミングまでの動作情報からなる第2動作情報列を動作情報記憶部107から読み出す動作情報読み出し部108と、第2動作情報列が蓄積される動作情報列記憶部109と、第1動作情報列が予め定められた程度以上の操作の滞留があることを示していないなら、予め定められた式(15)を用いて、最新のサンプリングタイミングから第2の回数Mだけ遡ったサンプリングタイミングまでの動作情報からなる第3動作情報列と動作情報列記憶部109内の各第2動作情報列との類似度が大きい程大きくなるような滞留度を計算する滞留度計算部110とを備えるので、重度の操作の滞留が発生する可能性を示す滞留度Sを計算することができる。

0081

また、動作判定部106は、視線の動作が予め定められた複数の視線の動作のうちどの動作に一致するかを判定する視線動作判定部161と、指先の動作が予め定められた複数の指先の動作のうちどの動作に一致するかを判定する指先動作判定部とを備え、動作情報記憶部107は、視線動作判定部161で一致すると判定された動作を示す視線動作識別情報と指先動作判定部162で一致すると判定された動作を示す指先動作識別情報とからなる動作情報を蓄積するものなので、滞留度Sを視線と指先の動作により計算することができる。

0082

また、滞留度計算装置は、操作を実行するもの、つまり上記ユーザを対象とした出力内容を出力する出力部102と、出力内容を出力部102に出力させる処理部103と、滞留度Sに応じた出力内容が出力部102に出力されるように処理部103を制御する出力制御部111とを備えるので、上記のような、滞留度Sに応じた注意喚起などのための出力内容を出力部102に出力することができる。

0083

以上、本発明の実施の形態の一例を説明したが、滞留度Sを計算することに特化した滞留度計算装置が必要な場合は、出力部102、処理部103および出力制御部111を滞留度計算装置に含めなくてもよい。

0084

また、本実施の形態では、動作判定部106に視線動作判定部161と指先動作判定部162を設けたが、例えば、一方だけを動作判定部106に設けてもよい。つまり、動作判定部106は、サンプリングタイミングになされた動作が予め定められた複数の動作のうちどの動作に一致するかを判定でき、動作情報記憶部107には、動作判定部106で一致すると判定された動作を示す動作情報が蓄積されればよい。

0085

また、本実施の形態では、滞留度計算装置を、シナリオの出力内容を出力する装置に設けたが、滞留度計算装置は別な装置に設けてもよく、また、滞留度計算装置を単独で設けてもよい。

0086

1情報処理装置
101シナリオデータベース
102 出力部
103 処理部
104画像入力部
105操作入力部
106動作判定部
107動作情報記憶部
108 動作情報読み出し部
109 動作情報列記憶部
110滞留度計算部
111出力制御部
121 表示面
151 操作面
161視線動作判定部
162指先動作判定部
0G 表示面の原点
0T 操作面の原点
Gn 視線動作識別情報
Lレーベンシュタイン距離
Lmin レーベンシュタイン距離(最小値
M 第2の回数
N 第1の回数
S 滞留度
Tn 指先動作識別情報
lGn,lTn変位
tサンプリングタイミングの周期
vGn視線速度ベクトル
vTn指先速度ベクトル
xGn視線座標(x座標)
xTn指先座標(x座標)
yGn 視線座標(y座標)
yTn 指先座標(y座標)

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ