図面 (/)

技術 情報処理装置、情報処理方法、およびプログラム

出願人 ソニー株式会社
発明者 木村淳塚原翼深澤遼田中友久
出願日 2015年12月28日 (6年1ヶ月経過) 出願番号 2015-257065
公開日 2017年7月6日 (4年7ヶ月経過) 公開番号 2017-120550
状態 特許登録済
技術分野 音声入出力 デジタル計算機のユーザインターフェイス
主要キーワード 操作不可状態 ウェアラブルデバイス ウェアラブル装置 自転車移 表示軸 視覚条件 リストバンド型 歩行者道路
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年7月6日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

ユーザの活動状態に応じて入力方式を動的に切り替えて操作性をより向上させることが可能な情報処理装置情報処理方法、およびプログラムを提供する。

解決手段

ユーザの活動に関するセンサ情報の取得S103し、ユーザ行動状態の認識S106に応じて1以上の操作入力方式の選定S112する。選定ステップは、ユーザの活動状態が第1の状態と決定された場合、操作対象を第1の操作で操作させるための第1の操作入力方式を選定し、ユーザの活動状態が第2の状態と決定された場合、操作対象を第1の操作とは異なる第2の操作で操作させるための第2の操作入力方式を選定する。

概要

背景

近年、操作デバイスを備えたヘッドマウントディスプレイ(Head Mounted Display:以下、「HMD」とも称する)が開発されている。HMDは、ユーザの頭部に装着された際にユーザの眼前に位置するディスプレイを有し、ユーザの前方に表示オブジェクトを表示する。このようなHMDには、ディスプレイが非透過型のタイプと透過型のタイプがある。

ディスプレイが透過型タイプの場合、ディスプレイを介して視認し得る実空間に重なって上記表示オブジェクトが重畳表示される。例えば下記特許文献1のHMDでは、表示面と並行に移動する表示オブジェクトがユーザの前方に表示され、操作デバイスにより検出したユーザ操作に応じて、当該表示オブジェクトを選択するためのカーソル表示軸上を移動する。

概要

ユーザの活動状態に応じて入力方式を動的に切り替えて操作性をより向上させることが可能な情報処理装置情報処理方法、およびプログラムを提供する。ユーザの活動に関するセンサ情報の取得S103し、ユーザ行動状態の認識S106に応じて1以上の操作入力方式の選定S112する。選定ステップは、ユーザの活動状態が第1の状態と決定された場合、操作対象を第1の操作で操作させるための第1の操作入力方式を選定し、ユーザの活動状態が第2の状態と決定された場合、操作対象を第1の操作とは異なる第2の操作で操作させるための第2の操作入力方式を選定する。

目的

このように、例えば画像認識の精度を考慮しながら動的に変更することで、誤作動が少なく、操作性の高い入力方式をユーザに提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

ユーザの活動に関する情報に応じて1以上の操作入力方式を選定する選定部を備え、前記選定部は;前記ユーザの活動状態が第1の状態と決定された場合、操作対象を第1の操作で操作させるための第1の操作入力方式を選定し、前記ユーザの活動状態が第2の状態と決定された場合、前記操作対象を第1の操作とは異なる第2の操作で操作させるための第2の操作入力方式を選定する、情報処理装置

請求項2

前記情報処理装置は、前記選定された操作入力方式に応じて前記操作対象の表示態様を決定する決定部をさらに備え、前記操作対象は;前記第1の操作入力方式が選択された際に前記決定部で決定される第1の表示態様で表示され、前記第2の操作入力方式が選択された際に前記決定部で決定される前記第1の表示態様とは異なる第2の表示態様で表示される、請求項1に記載の情報処理装置。

請求項3

前記情報処理装置は、前記操作対象に対するユーザ操作入力受け付ける受付部をさらに備え、前記受付部によりユーザ操作入力を受け付けるために用いる情報は、前記選定部で選定された操作入力方式に応じて異なる、請求項2に記載の情報処理装置。

請求項4

前記操作対象は、選択の対象であり、前記受付部は、前記ユーザの操作入力として前記操作対象を選択する操作を受け付ける、請求項3に記載の情報処理装置。

請求項5

前記情報処理装置は、前記決定された表示態様に従って前記選択の対象の表示画像を生成する生成部をさらに備える、請求項4に記載の情報処理装置。

請求項6

前記活動状態は、前記ユーザの活動に関する情報に含まれる活動量に基づいて認識される、請求項1に記載の情報処理装置。

請求項7

前記受付部は、センサにより検知された情報に基づいて前記ユーザ操作入力を受け付ける、請求項3に記載の情報処理装置。

請求項8

前記選定部は、センサにより検知された情報に基づいて認識を行う認識エンジン精度スコアに応じて、前記操作入力方式を選定する、請求項7に記載の情報処理装置。

請求項9

前記選定部は;前記精度スコアが閾値を下回る場合、操作対象を第1の操作で操作させるための第1の操作入力方式を選定し、前記精度スコアが閾値を上回る場合、前記操作対象を第1の操作とは異なる第2の操作で操作させるための第2の操作入力方式を選定する、請求項8に記載の情報処理装置。

請求項10

前記認識エンジンは、頭部姿勢認識エンジン、Depth認識エンジン、SLAM認識エンジン、視線認識エンジン方位認識エンジン、および音声認識エンジンの少なくともいずれかである、請求項9に記載の情報処理装置。

請求項11

前記情報処理装置は、前記生成部により生成された前記選択の対象の表示画像を、表示部に表示するよう制御する表示制御部をさらに備え、前記表示制御部による、前記選択の対象を選択するユーザ操作フィードバック制御は、前記選定された操作入力方式に応じて異なる、請求項5に記載の情報処理装置。

請求項12

前記情報処理装置は、頭部に装着されるウェアラブル装置であって、装着時にユーザの眼前に位置する表示部をさらに備える、請求項11に記載の情報処理装置。

請求項13

前記表示部は透過型であって、前記表示制御部は、前記生成された前記選択の対象の表示画像を、実空間の実物体重畳して表示するよう制御する、請求項12に記載の情報処理装置。

請求項14

前記操作入力方式は、空間認識を使用した入力、頭部ジェスチャによる入力、視線入力、および音声入力の少なくともいずれかである、請求項1に記載の情報処理装置。

請求項15

前記生成部により生成される前記選択の対象の数は、選定された操作入力方式に応じて異なる、請求項5に記載の情報処理装置。

請求項16

プロセッサが、ユーザの活動に関する情報に応じて1以上の操作入力方式を選定することを含み、前記選定は;前記ユーザの活動状態が第1の状態と決定された場合、操作対象を第1の操作で操作させるための第1の操作入力方式を選定し、前記ユーザの活動状態が第2の状態と決定された場合、前記操作対象を第1の操作とは異なる第2の操作で操作させるための第2の操作入力方式を選定する、情報処理方法

請求項17

コンピュータを、ユーザの活動に関する情報に応じて1以上の操作入力方式を選定する選定部として機能させ、前記選定部は;前記ユーザの活動状態が第1の状態と決定された場合、操作対象を第1の操作で操作させるための第1の操作入力方式を選定し、前記ユーザの活動状態が第2の状態と決定された場合、前記操作対象を第1の操作とは異なる第2の操作で操作させるための第2の操作入力方式を選定する、プログラム

技術分野

0001

本開示は、情報処理装置情報処理方法、およびプログラムに関する。

背景技術

0002

近年、操作デバイスを備えたヘッドマウントディスプレイ(Head Mounted Display:以下、「HMD」とも称する)が開発されている。HMDは、ユーザの頭部に装着された際にユーザの眼前に位置するディスプレイを有し、ユーザの前方に表示オブジェクトを表示する。このようなHMDには、ディスプレイが非透過型のタイプと透過型のタイプがある。

0003

ディスプレイが透過型タイプの場合、ディスプレイを介して視認し得る実空間に重なって上記表示オブジェクトが重畳表示される。例えば下記特許文献1のHMDでは、表示面と並行に移動する表示オブジェクトがユーザの前方に表示され、操作デバイスにより検出したユーザ操作に応じて、当該表示オブジェクトを選択するためのカーソル表示軸上を移動する。

先行技術

0004

特開2014−164449号公報

発明が解決しようとする課題

0005

上記特許文献1では、ユーザ操作に応じて、表示軸に垂直方向成分を持たせるよう表示制御することでユーザ操作の向上を図っている。しかしながら、停止中や移動中等、ユーザの行動状態によっては同じような精度で操作入力を行うことが難しく、操作性の低下が生じる。

0006

そこで、本開示では、ユーザの活動状態に応じて入力方式を動的に切り替えて操作性をより向上させることが可能な情報処理装置、情報処理方法、およびプログラムを提案する。

課題を解決するための手段

0007

本開示によれば、ユーザの活動に関する情報に応じて1以上の操作入力方式を選定する選定部を備え、前記選定部は、前記ユーザの活動状態が第1の状態と決定された場合、操作対象を第1の操作で操作させるための第1の操作入力方式を選定し、前記ユーザの活動状態が第2の状態と決定された場合、前記操作対象を第1の操作とは異なる第2の操作で操作させるための第2の操作入力方式を選定する、情報処理装置を提案する。

0008

本開示によれば、プロセッサが、ユーザの活動に関する情報に応じて1以上の操作入力方式を選定することを含み、前記選定は、前記ユーザの活動状態が第1の状態と決定された場合、操作対象を第1の操作で操作させるための第1の操作入力方式を選定し、前記ユーザの活動状態が第2の状態と決定された場合、前記操作対象を第1の操作とは異なる第2の操作で操作させるための第2の操作入力方式を選定する、情報処理方法を提案する。

0009

本開示によれば、コンピュータを、ユーザの活動に関する情報に応じて1以上の操作入力方式を選定する選定部として機能させ、前記選定部は、前記ユーザの活動状態が第1の状態と決定された場合、操作対象を第1の操作で操作させるための第1の操作入力方式を選定し、前記ユーザの活動状態が第2の状態と決定された場合、前記操作対象を第1の操作とは異なる第2の操作で操作させるための第2の操作入力方式を選定する、プログラムを提案する。

発明の効果

0010

以上説明したように本開示によれば、ユーザの活動状態に応じて入力方式を動的に切り替えて操作性をより向上させることが可能となる。

0011

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

図面の簡単な説明

0012

本開示の一実施形態による情報処理装置の概要を説明する図である。
本実施形態による情報処理装置の構成の一例を示すブロック図である。
本実施形態による入力方式を認識精度によって切り替える場合について説明する図である。
本実施形態による入力方式をユーザ行動状況によって切り替える場合について説明する図である。
本実施形態による入力方式を認識精度およびユーザ行動状況によって切り替える場合について説明する図である。
本実施形態による入力方式を歩行状態によって切り替える場合について説明する図である。
本実施形態による入力方式を自転車走行状態によって切り替える場合について説明する図である。
本実施形態による表示制御処理を示すフローチャートである。
本実施形態によるユーザ行動認識処理を示すフローチャートである。
本実施形態によるスコア取得処理を示すフローチャートである。
本実施形態による入力方式選定処理を示すフローチャートである。
本実施形態による認識精度スコアに基づく入力方式選定処理を示すフローチャートである。
本実施形態による自転車UIの乗車前の表示例を示す図である。
本実施形態による自転車UIの乗車時の表示例を示す図である。
本実施形態による自転車UIの走行時の表示例を示す図である。
本実施形態による自転車UIのゴール時の表示例を示す図である。
本実施形態による自転車UIのユーザ行動に応じてペースメーカーが停止する際の表示例を示す図である。
本実施形態による自転車UIにおけるユーザ行動状況に応じた入力方式の切り替えを説明する図である。
本実施形態による自転車UIにおけるユーザの選択行動について説明する図である。
本実施形態による自転車UIにおけるユーザの選択操作に対するフィードバックについて説明する図である。
本実施形態による自転車UIにおける走行状態に応じて選択肢の数が増減する場合について説明する図である。
本実施形態による自転車UIにおける走行中の選択行動の他の例について説明する図である。
本実施形態による認識精度に応じた情報の表示例について説明する図である。
本実施形態による認識精度に応じた情報の表示例について説明する図である。
本実施形態による入力方式の制限をユーザに通知する場合の表示例について説明する図である。
本実施形態による入力方式の制限をユーザに通知する場合の表示例について説明する図である。
本実施形態によるコミュニケーションUIの一例を示す図である。
本実施形態によるコミュニケーションUIの一例を示す図である。

実施例

0013

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

0014

また、説明は以下の順序で行うものとする。
1.本開示の一実施形態による情報処理装置の概要
2.情報処理装置の構成
3.動作処理
3−1.表示制御処理
3−2.ユーザ行動認識処理
3−3.スコア取得処理
3−4.入力方式選定処理
4.表示例
4−1.自転車UI
4−2.コミュニケーションUI
5.まとめ

0015

<<1.本開示の一実施形態による情報処理装置の概要>>
まず、本開示の一実施形態による情報処理装置の概要について説明する。図1は、本実施形態による情報処理装置1の概要を説明する図である。図1に示すように、本実施形態による情報処理装置1は、例えばユーザの頭部に装着されるメガネ型のヘッドマウントディスプレイ(HMD:Head Mounted Display)により実現される。装着時にユーザの眼前に位置するメガネレンズ部分に相当する表示部13は、シースルータイプまたは非シースルータイプであってもよい。情報処理装置1は、表示部13に表示オブジェクトを表示することで、ユーザの視線の前方に表示オブジェクトを提示することができる。また、情報処理装置1の一例であるHMDは、両眼映像を提示するものに限定されず、片眼のみに映像を表示するものであってもよい。例えばHMDは、片方の眼に映像を表示する表示部13が設けられた片目タイプのものであってもよい。

0016

また、情報処理装置1には、装着時にユーザの視線方向、すなわち外方向を撮影する外向きカメラ110が設けられている。さらに、図1に図示しないが、情報処理装置1には、装着時にユーザの眼を撮影する内向きカメラマイクロホン(以下、「マイク」と示す。)等の各種センサが設けられている。外向きカメラ110、および内向きカメラは、それぞれ複数設けられていてもよい。なお外向きカメラ110が複数設けられている場合、視差情報によりデプス画像距離画像)を得ることができ、周囲の環境をセンシングすることが可能である。

0017

なお情報処理装置1の形状は図1に示す例に限定されない。例えば情報処理装置1は、ヘッドバンド型(頭部の全周を回るバンドで装着されるタイプ。また、側頭部だけでなく頭頂部を通るバンドが設ける場合もある)のHMDや、ヘルメットタイプ(ヘルメットのバイザー部分がディスプレイに相当する)のHMDであってもよい。また、情報処理装置1は、リストバンド型(例えばスマートウォッチ。ディスプレイがある場合または無い場合を含む)、ヘッドフォン型(ディスプレイなし)、またはネックフォン型(首掛けタイプ。ディスプレイがある場合または無い場合を含む)等のウェアラブル装置により実現されてもよい。

0018

また、本実施形態による情報処理装置1は、上述したようなウェアラブル装置により実現され、ユーザに装着され得るため、停止時の他、例えば歩行、走行、または自転車等の乗り物に乗っている時など様々な状態において操作入力が行われることが想定される。したがって、情報処理装置1は、ボタンやスイッチ等(操作部材の一例)の他、音声入力や、手または頭部によるジェスチャ入力視線入力等の様々な入力方式を備える。

0019

ここで、停止中や移動中等、ユーザの行動状態によっては同じような精度で操作入力を行うことが難しく、操作性の低下が生じる場合がある。また、シースルータイプのHMD(以下、「スマートアイグラス」と示す。)を日常的に装着している場合に、西日逆光等で視線入力を用いた入力が困難になり操作が出来なくなる危険性がある。

0020

そこで、本実施形態による情報処理装置1は、ユーザの活動状態に応じた様々な入力方式を準備し、ユーザの活動状態に応じて入力方式を動的に切り替えて操作性をより向上させることを可能とする。

0021

以上、本実施形態による情報処理装置1の概要について説明した。続いて、本実施形態による情報処理装置1の構成について図2を参照して説明する。

0022

<<2.構成>>
図2は、本実施形態による情報処理装置の構成の一例を示すブロック図である。図2に示すように、情報処理装置1は、制御部10、センサ部11、操作入力部12、表示部13、スピーカ14、通信部15、および記憶部16を有する。

0023

(制御部10)
制御部10は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置1内の動作全般を制御する。制御部10は、例えばCPU(Central Processing Unit)、マイクロプロセッサ等の電子回路によって実現される。また、制御部10は、使用するプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、及び適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)を含んでいてもよい。

0024

また、本実施形態による制御部10は、図2に示すように、認識エンジン100、スコア取得部101、行動認識部102、入力方式選定部103、表示態様決定部104、表示情報生成部105、表示制御部106、および操作入力受付部107として機能する。

0025

認識エンジン100は、センサ部11によりセンシングされた各種センサ情報を用いてユーザまたは周辺の各種状況を認識する機能を有する。より具体的には、認識エンジン100は、頭部姿勢認識エンジン100a、Depth認識エンジン100b、SLAM(Simultaneous Localization and Mapping)認識エンジン100c、視線認識エンジン100d、音声認識エンジン100e、および位置認識エンジン100fを含む。なお、図1に示すこれらの認識エンジンは一例であって、本実施形態はこれに限定されない。

0026

頭部姿勢認識エンジン100aは、センサ部11によりセンシングされた各種センサ情報を用いて、ユーザの頭部の姿勢(身体に対する顔の向きまたは傾きを含む)を認識する。例えば頭部姿勢認識エンジン100aは、外向きカメラ110により撮像された周辺の撮像画像ジャイロセンサ113により取得されたジャイロ情報加速度センサ114により取得された加速度情報、および方位センサ115により取得された方位情報の少なくともいずれかを解析して、ユーザの頭部の姿勢を認識し得る。なお頭部姿勢の認識アルゴリズムは一般的に知られているアルゴリズムを用いてもよく、本実施形態では特に限定しない。

0027

Depth認識エンジン100bは、センサ部11によりセンシングされた各種センサ情報を用いて、ユーザ周辺の空間におけるデプス情報を認識する。例えばDepth認識エンジン100bは、外向きカメラ111により取得した周辺の撮像画像を解析して、周辺空間物体距離情報および物体の平面位置を認識し得る。なおDepth認識のアルゴリズムについては一般的に知られているアルゴリズムを用いてもよく、本実施形態では特に限定しない。

0028

SLAM認識エンジン100cは、センサ部11によりセンシングされた各種センサ情報を用いて、自己位置推定と周辺空間の地図作成を同時に行い、周辺空間内における自身の位置を同定し得る。例えばSLAM認識エンジン100cは、外向きカメラ110により取得した周辺の撮像画像を解析して、情報処理装置1の自己位置を同定し得る。なおSLAM認識のアルゴリズムについては一般的に知られているアルゴリズムを用いてもよく、本実施形態では特に限定しない。

0029

なお認識エンジン100は、上述したDepth認識エンジン100bの認識結果およびSLAM認識エンジン100cの認識結果に基づいて、空間認識(空間把握)を行うことが可能である。具体的には、認識エンジン100は、周辺3次元空間における情報処理装置1の位置を認識することができる。

0030

視線認識エンジン100dは、センサ部11によりセンシングされた各種センサ情報を用いて、ユーザの視線検出を行う。例えば視線認識エンジン100dは、内向きカメラ111により取得したユーザの眼の撮像画像を解析して、ユーザの視線方向を認識する。なお視線検出のアルゴリズムについては特に限定しないが、例えば目頭虹彩位置関係、または角膜反射瞳孔の位置関係に基づいて、ユーザの視線方向を認識し得る。

0031

音声認識エンジン100eは、センサ部11によりセンシングされた各種センサ情報を用いて、ユーザまたは環境音の認識を行う。例えば音声認識エンジン100eは、マイク112により取得した収音情報に対してノイズ除去音源分離等を行い、音声認識形態素解析音源認識、または騒音レベルの認識等を行い得る。

0032

位置認識エンジン100fは、センサ部11によりセンシングされた各種センサ情報を用いて、情報処理装置1の絶対位置を認識する。例えば位置認識エンジン100fは、位置測位部116により測位された位置情報、および予め取得した地図情報に基づいて、情報処理装置1の場所(例えば、学校、家、会社、電車テーマパーク等)を認識する。

0033

スコア取得部101は、認識エンジン100の認識精度を示すスコアを取得し得る。例えばスコア取得部101は、認識エンジン100の各認識エンジンにおける認識結果から、当該認識エンジンの精度を示すスコアを算出する。なおスコアの算出アルゴリズムは、一般的に知られているアルゴリズムを用いてもよく、本実施形態では特に限定しない。

0034

行動認識部102は、センサ部11によりセンシングされた各種センサ情報を用いて、ユーザの行動を認識する。例えば行動認識部102は、外向きカメラ110の撮像画像、マイク112の収音音声、ジャイロセンサ113の角速度情報、加速度センサ114の加速度情報、方位センサ115の方位情報、および位置測位部116の絶対位置情報の少なくともいずれかを用いて、ユーザの行動状況(活動状態の一例)を認識する。ユーザの行動状況としては、例えば静止状態、歩行状態(ゆっくり歩行、ジョグ)、走行状態(ダッシュ高速走行)、座っている状態、立っている状態、寝ている状態、自転車に乗っている状態、電車に乗っている状態、自動車に乗っている状態が認識し得る。また、行動認識部102は、より具体的には、角速度情報および加速度情報に基づいて測定される活動量に応じて状態状況を認識してもよい。なお本実施形態による上記各種センサ情報は、ユーザの活動状態に関する情報の一例と言える。

0035

入力方式選定部103は、情報処理装置1に対するユーザ操作の入力方式を選定する。本実施形態による情報処理装置1は、上述したように様々な入力方式を備える。具体的には、例えば操作入力部12(ボタンやスイッチ等)を用いた操作入力、音声入力、手または頭部によるジェスチャ入力、視線入力、および空間認識を用いた入力が可能である。空間認識を用いた入力とは、例えば空間内においてユーザの位置が所定の位置に移動したことをトリガとした入力方式である。空間認識を用いた入力の一例については、図16を参照して説明する。

0036

このように様々な方法による操作入力が可能な状況において、入力方式選定部103は、現状に応じてより最適な入力方式を選定する。入力方式の選定は、最適な一の入力方式の選定に限定されず、複数の入力方式を選定であってもよい。複数の入力方式を選定する際、入力方式選定部103は、優先度に応じて選定してもよい。

0037

また、入力方式選定部103は、状況に応じて動的に入力方式の選定を行う。入力方式の選定基準としては、例えば以下のようなものが想定される。すなわち、入力方式選定部103は、行動認識部102により認識された「ユーザ行動状況」、またはスコア取得部101により取得された「スコア(認識エンジンの精度スコア、すなわち認識精度)」に応じて入力方式を選定してもよいし、ユーザ行動状況および認識精度の両方を考慮して入力方式を選定してもよい。

0038

例えば入力方式選定部103は、ユーザの行動状況(活動状態の一例であって、例えば静止状態、歩行状態、走行状態等)が第1の状態の場合、操作対象を第1の操作で操作させるための第1の操作(入力方式)を選定し、ユーザの行動状況が第2の状態の場合、操作対象を第1の操作とは異なる第2の操作入力方式で操作させるための第2の操作入力方式を選定する。これにより、誤操作や危険性を防ぎ、より操作のし易い入力方式を自動的に選定することができる。

0039

また、認識精度とは、音声入力に使用される音声認識エンジン100e、頭部ジェスチャ入力に使用される頭部姿勢認識エンジン100a、視線入力に用いられる視線認識エンジン100d、空間認識に用いられるDepth認識エンジン100bおよびSLAM認識エンジン100cの精度が想定される。認識精度を考慮して入力方式を選定することで、認識精度の低さによる誤入力や、認識ができずに操作を受け付けることができないといった危険性を防ぎ、より操作性の高い入力方式を自動的に選定することができる。

0040

ここで、図3図7を参照して入力方式の選定について具体的に説明する。図3図7では、状況に応じて選定される入力方式に使用される認識エンジン(すなわち利用可能なモーダル)を示す。

0041

図3は、本実施形態による入力方式を認識精度によって切り替える場合について説明する図である。ここでは、一例として外向きカメラ110から取得された撮像画像を解析して行う認識エンジン(具体的には、例えばSLAM認識、Depth認識であって、『画像認識』とも総称される)の精度を縦軸に示し、横軸にはユーザ行動状況(例えば活動量の高さ)を示す。

0042

図3に示すように、画像認識の精度が最も低い領域の場合は、画像認識の結果に基づく空間認識を使用した入力方式が出来ない(空間認識が正しく動作しない)可能性が高い。したがって、入力方式選定部103は、ジャイロセンサ113や加速度センサ114等のセンサ情報に基づく頭部姿勢認識を使用する頭部ジェスチャ入力、または内向きカメラ111の撮像画像に基づく視線認識を使用する視線入力のいずれかを選定してもよい。なお、西日が入ってきて内向きカメラ111によるユーザの眼の画像から視線が正しく取れない場合(視線認識の精度が低い場合)、入力方式選定部103は、頭部ジェスチャ入力のみを選定するようにしてもよい。

0043

次いで、画像認識の精度が次に低い領域の場合、入力方式選定部103は、図3に示すように、頭部姿勢認識を使用する頭部ジェスチャ入力および視線認識を使用する視線入力を選定してもよい。ユーザは、いずれの方式でも操作入力が可能となる。

0044

次に、画像認識の精度が中程度の場合、入力方式選定部103は、図3に示すように、空間認識を使用する入力および頭部姿勢認識を使用する頭部ジェスチャ入力を選定してもよい。

0045

次いで、画像認識の精度が中程度より高い場合、入力方式選定部103は、図3に示すように、空間認識を使用する入力および視線認識を使用する視線入力を選定してもよい。

0046

そして、画像認識の精度が高い場合、入力方式選定部103は、図3に示すように、空間認識を使用する入力、視線認識を使用する視線入力、頭部姿勢認識を使用する頭部ジェスチャ、および音声認識を使用する音声入力を選定してもよい。認識精度が高い程、様々な入力方式による入力が可能となる。

0047

なお高速で走行中(例えばランニングしている場合や自転車で移動中)の場合(若しくは素早く首ふりをしている等の活動量が高い場合)、情報処理装置1は誤作動を防止するため、入力方式を何も選定せず操作OFFし、表示オブジェクトの表示やセンサ部11による情報取得のみ動作するようにしてもよい。

0048

このように、例えば画像認識の精度を考慮しながら動的に変更することで、誤作動が少なく、操作性の高い入力方式をユーザに提供することができる。また、全ての認識エンジンの精度が低く使えない場合、情報処理装置1の制御部10は、表示部13に、現在操作を受け付けることができない旨を示すアイコンを表示したり、スピーカ14から、現在操作を受け付けることができない旨の音声を出力したりする。

0049

図4は、本実施形態による入力方式をユーザ行動状況によって切り替える場合について説明する図である。ユーザ行動状況は、例えば加速度センサ114により検知される加速度情報から取得される活動量の高さに基づいて、行動認識部102により認識され得る。また、図4に示す縦軸の認識精度は、図3と同様に例えば画像認識の精度を示す。

0050

図4に示すように、ユーザ行動状況、例えば「静止状態」、「歩行状態(遅い〜速い)」、「走行状態(遅い〜速い)」に応じて、空間認識を使用する入力、視線認識を使用する視線入力、頭部姿勢認識を使用する頭部ジェスチャ、音声認識を使用する音声入力が、各々選定される。図4に示す例では、活動量が低い程、様々な入力方式による入力が可能となる。例えば、図4に示すように、静止時の場合、空間認識を使用する入力、視線認識を使用する視線入力、頭部姿勢認識を使用する頭部ジェスチャ、および音声認識を使用する音声入力が選定される。次いで、遅めの歩行時の場合、空間認識を使用する入力および視線認識を使用する視線入力が選定される。次に、速めの歩行時の場合、視線認識を使用する視線入力、および頭部姿勢認識を使用する頭部ジェスチャが選定される。そして、遅めの走行時の場合、頭部姿勢認識を使用する頭部ジェスチャのみ、または視線認識を使用する視線入力のみが選定される。また、高速で走行中の場合(すなわち活動量が高い場合)、情報処理装置1は、誤作動を防止するため入力方式を何も選定せず操作OFFし、表示オブジェクトの表示やセンサ部11による情報取得のみ動作するようにする。

0051

図5は、本実施形態による入力方式を認識精度およびユーザ行動状況によって切り替える場合について説明する図である。図5に示す例では、活動量が低く、かつ、認識精度が高い程、様々な入力方式による入力が可能となる。また、活動量が高く、かつ認識精度が低い場合、情報処理装置1は、誤作動を防止するため入力方式を何も選定せず操作OFFする。

0052

以上説明した入力方式の選定は、選定基準を2軸に基づく場合について説明したが、本実施形態はこれに限定されず、例えば1軸に基づいてもよい。以下、図6図7を参照して説明する。

0053

図6は、本実施形態による入力方式を歩行状態によって切り替える場合について説明する図である。図6に示す例では、歩行状態のレベルが低い程、すなわち活動量が低い程、様々な入力方式による入力が可能となる。ここで、歩行状態は、例えば活動量の高さに応じて認識され、活動量が十分に低い場合は「座る」、低い場合は「立つ」、活動量が中程度の場合は「ゆっくり歩行」、活動量が中程度より高い場合は「ジョグ」、活動量が十分に高い場合は「ダッシュ」と認識され得る。歩行状態レベルが十分に高い「ダッシュ」の場合、情報処理装置1は、誤作動を防止するため入力方式を何も選定せずに、操作OFFする(操作入力を受け付けない状態)。

0054

図7は、本実施形態による入力方式を自転車の走行状態によって切り替える場合について説明する図である。すなわち、ユーザが情報処理装置1を装着して自転車に乗車している場合の、入力方式の切り替えである。図7に示す例では、走行状態のレベルが低い程、すなわち活動量が低い程、様々な入力方式による入力が可能となる。ここで、自転車の走行状態は、例えば活動量の高さに応じて認識され、活動量が低い場合は「停車中」または「低速走行」、活動量が中程度の場合は「中速走行」、活動量が高い場合は「高速走行」、活動量がさらに高い場合は「ダンシングまたはカーブ中」と認識され得る。また、走行状態レベルが高い「ダンシングまたはカーブ中」の場合、情報処理装置1は、誤作動を防止するため入力方式を何も選定せず操作OFFする。

0055

以上説明した例では、選定する入力方式を、認識精度およびユーザ行動状況のいずれか若しくは両方に基づいて切り替える例を示したが、本実施形態はこれに限定されず、環境の変化やその他デバイスの状況等、他の要因をトリガとしてもよい。例えば、「ユーザ依存」のトリガ(例えば視線の注視点生体情報感情、姿勢、または位置(場所)等)に応じて入力方式の選定が行われてもよい。また、「コンテンツ依存」のトリガ(表示オブジェクトの表示サイズ、表示位置、表示アニメーション態様、コンテンツの属性(種類、重要度、優先度、アプリケーション種類)、解像度、色等)に応じて入力方式の選定が行われてもよい。また、「環境依存」のトリガ(背景視界風景)、照度、場所(屋内屋外シチュエーション)、行動履歴慣れた場所か否か)、周辺状況他者や車の有無、密度)、時間、風向き、風量等)に応じて入力方式の選定が行われてもよい。また、「デバイス依存」のトリガ(デバイス属性腕輪、HMD、TV、スマートフォン)、バッテリー残量バッテリー容量、CPUの処理負荷CPU温度ウェアラブルデバイス装着状態(装着、非装着、装着箇所)等)に応じて入力方式の選定が行われてもよい。

0056

表示態様決定部104は、入力方式選定部103により選定された入力方式に対応する表示態様(表現方法)を決定する。例えば表示態様決定部104は、第1の操作入力方式(入力方式)が選定された場合には第1の表示態様に決定し、第2の操作入力方式(入力方式)が選定された場合には第1の表示態様とは異なる第2の表示態様に決定する。例えば表示態様決定部104は、入力方式選定部103により「空間認識を使用する入力方式」が選定された場合には空間認識を使用する入力方式が使用可能な表現方法に決定し、視線入力が選定された場合には視線入力が使用可能な表現方法に決定する。また、表示態様決定部104は、頭部ジェスチャ入力が選定された場合には頭部ジェスチャ入力が使用可能な表現方法に決定する。

0057

また、表示態様決定部104は、入力方式選定部103により複数の入力方式が選定された場合、優先度の最も高い入力方式に対応する表示態様に決定してもよい。例えば、空間認識を使用した入力の優先度が最も高く、次いで視線入力の優先度が高く、次に頭部ジェスチャの優先度が高く、次いで音声入力の優先度が高いよう設定されていてもよい。

0058

表示情報生成部105は、表示部13に表示する表示オブジェクト(表示画像とも称す)を生成する。また、本実施形態による表示情報生成部105は、表示態様決定部104により決定された表示態様に従って表示画像を生成する。例えば表示情報生成部105は、表示画像の一例である選択対象(選択肢)を、表示態様決定部104により決定された表示態様で表示するための情報を生成する。

0059

表示制御部106は、表示情報生成部105により生成された表示情報を表示部13から出力するよう制御する。例えば、表示制御部106は、表示情報生成部105により生成された、選定された入力方式に対応する表示態様の選択対象(表示オブジェクト)を、表示部13に表示(ユーザの前方に表示)するよう制御する。

0060

操作入力受付部107は、ユーザによる操作入力を受け付けて、操作入力情報を表示情報生成部105(または制御部10)に出力する。本実施形態による操作入力受付部107は、入力方式選定部103により選定された1以上の入力方式による操作入力を受け付ける。すなわち、操作入力受付部107によりユーザ操作入力を受け付けるために用いる情報は、入力方式選定部103で選定された操作入力方式に応じて異なる。例えば、入力方式選定部103により「頭部ジェスチャ」および「視線入力」が選定されている場合は、ジャイロセンサ情報、加速度情報、方位情報、内向きカメラ111による撮像画像情報を用いる。また、入力方式選定部103により「空間認識を使用した入力」が選定されている場合は、外向きカメラ110による撮像画像情報を用いる。

0061

(センサ部11)
センサ部11は、ユーザまたは周辺環境に関する各種情報を取得する機能を有する。例えばセンサ部11は、外向きカメラ110、内向きカメラ111、マイク112、ジャイロセンサ113、加速度センサ114、方位センサ115、および位置測位部116を含む。なおここで挙げるセンサ部11の具体例は一例であって、本実施形態はこれに限定されない。また、各センサは複数あってもよい。

0062

外向きカメラ110および内向きカメラ111は、撮像レンズ絞りズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作ズーム動作を行わせる駆動系、レンズ系で得られる撮像光光電変換して撮像信号を生成する固体撮像素子アレイ等を各々有する。固体撮像素子アレイは、例えばCCD(Charge Coupled Device)センサアレイや、CMOS(Complementary Metal Oxide Semiconductor)センサアレイにより実現されてもよい。

0063

マイク112は、ユーザの音声や周囲の環境音を収音し、音声データとして制御部10に出力する。

0064

ジャイロセンサ113は、例えば3軸ジャイロセンサにより実現され、角速度(回転速度)を検出する。

0065

加速度センサ114は、例えば3軸加速度センサGセンサとも称す)により実現され、移動時の加速度を検出する。

0066

方位センサ115は、例えば3軸地磁気センサコンパス)により実現され、絶対方向(方位)を検出する。

0067

位置測位部116は、外部からの取得信号に基づいて情報処理装置1の現在位置を検知する機能を有する。具体的には、例えば位置測位部116は、GPS(Global Positioning System)測位部により実現され、GPS衛星からの電波を受信して、情報処理装置1が存在している位置を検知し、検知した位置情報を制御部10に出力する。また、位置測位部116は、GPSの他、例えばWi−Fi(登録商標)、Bluetooth(登録商標)、携帯電話・PHS・スマートフォン等との送受信、または近距離通信等により位置を検知するものであってもよい。

0068

(操作入力部12)
操作入力部12は、スイッチ、ボタン、またはレバー等の物理的な構造を有する操作部材により実現される。

0069

(表示部13)
表示部13は、例えばホログラム光学技術を用いて表示を行うレンズ部(透過型表示部の一例)、液晶ディスプレイ(LCD)装置、OLED(Organic Light Emitting Diode)装置等により実現される。また、表示部13は、透過型、半透過型、または非透過型であってもよい。

0070

(スピーカ14)
スピーカ14は、制御部10の制御に従って、音声信号再生する。

0071

(通信部15)
通信部15は、有線無線により他の装置との間でデータの送受信を行うための通信モジュールである。通信部15は、例えば有線LAN(Local Area Network)、無線LAN、Wi−Fi(Wireless Fidelity、登録商標)、赤外線通信、Bluetooth(登録商標)、近距離/非接触通信等の方式で、外部機器と直接またはネットワークアクセスポイントを介して無線通信する。

0072

(記憶部16)
記憶部16は、上述した制御部10が各機能を実行するためのプログラムやパラメータを格納する。例えば記憶部16には、行動認識部102によるユーザ行動の認識処理に用いる各種閾値、認識アルゴリズム、認識精度スコアの算出アルゴリズム、入力方式選定処理に用いる各種閾値等が記憶されている。

0073

以上、本実施形態による情報処理装置1の構成について具体的に説明したが、本実施形態による情報処理装置1の構成は図2に示す例に限定されない。例えば情報処理装置1の制御部10の少なくとも一部の処理が、通信部15を介して接続するクラウド上のサーバで行われるようにしてもよい。

0074

<<3.動作処理>>
続いて、本実施形態による情報処理装置1の動作処理について図8図12を参照して具体的に説明する。

0075

<3−1.表示制御処理>
図8は、本実施形態による表示制御処理を示すフローチャートである。図8に示すように、まず、情報処理装置1の制御部10は、センサ部11からセンサ情報を取得する(ステップS103)。

0076

次に、行動認識部102は、取得したセンサ情報に基づいてユーザ行動状態の認識を行う(ステップS106)。ユーザ行動認識処理の詳細については、図9を参照して後述する。

0077

一方、スコア取得部101は、取得したセンサ情報に基づく認識エンジン100の処理結果から精度スコアを取得(算出)する(ステップS109)。スコア取得処理の詳細については、図10を参照して後述する。

0078

次いで、入力方式選定部103は、ユーザ行動認識の結果(すなわちユーザ行動状況)および認識精度のスコアに基づいて、入力方式の選定(すなわち使用する認識エンジンの決定)を行う(ステップS112)。入力方式選定処理の詳細については、図11および図12を参照して後述する。また、図8に示す例では、ユーザ行動状況および認識精度のスコアに基づいて入力方式を選定しているが、本実施形態はこれに限定されず、少なくともどちらか一方、若しくは上述した他のトリガを用いて選定してもよい。

0079

次に、表示態様決定部104は、入力方式選定部103により選定された入力方式に応じて表示態様を決定する(ステップS115)。

0080

次いで、表示情報生成部105は、決定された表示態様に従って表示情報の生成(UIの描画処理)を行い(ステップS118)、生成された表示情報が表示制御部106により表示部13に表示される(ステップS121)。

0081

上述したセンサ情報の取得(ステップS103)、ユーザ行動状況の認識(ステップS106)、および認識精度のスコア取得(ステップS109)は継続的に行われ、ユーザ行動状況やスコアの変化が有った場合(ステップS124/Yes)、入力方式の再選定が行われる(ステップS112)。これにより、例えばユーザが歩行中、次いで自転車に乗った際、さらに自転車で移動中といった状況の変化に応じて異なる入力方式が選定されるので、入力方式によって異なる表示態様により同じ選択肢が表示され得る。行動状況に応じた選択肢の表示態様の変化の一例については、図18を参照して後述する。

0082

以上説明したステップS103〜S124は、表示処理(UIの描画処理)が終了するまで繰り返される(ステップS127)。

0083

<3−2.ユーザ行動認識処理>
次に、上記ステップS106に示すユーザ行動状態の認識処理の一例について図9を参照して具体的に説明する。図9は、本実施形態によるユーザ行動認識処理を示すフローチャートである。

0084

図9に示すように、まず、行動認識部102は、センサ部11により取得されたセンサ情報、具体的には例えば加速度情報に基づいてユーザの活動量を測定する(ステップS130)。

0085

次に、測定した活動量が閾値Th1より低い場合(ステップS133/Yes)、行動認識部102は、静止状態と認識する(ステップS136)。

0086

次いで、測定した活動量が閾値Th1より高く、かつ閾値Th2より低い場合(ステップS139/Yes)、行動認識部102は、ゆっくり歩行状態(遅めの歩行状態)と認識する(ステップS142)。

0087

次に、測定した活動量が閾値Th2より高く、かつ閾値Th3より低い場合(ステップS145/Yes)、行動認識部102は、早歩きまたはジョグの歩行状態と認識する(ステップS148)。

0088

そして、測定した活動量が閾値Th3より高い場合(ステップS151/Yes)、行動認識部102は、走行状態と認識する(ステップS151)。

0089

以上、ユーザ行動状態の認識処理を活動量に基づいて行う場合について説明した。なお本実施形態によるユーザ行動状態の認識処理は、活動量に基づいて行う場合に限定されず、例えば位置情報に基づいて、車道歩行者道路のいずれを移動しているかに応じて、歩行または走行か、自転車移動中かを、認識することも可能である。

0090

<3−3.スコア取得処理>
次に、上記ステップS109に示す認識精度のスコア取得処理の一例について図10を参照して具体的に説明する。図10は、本実施形態によるスコア取得処理を示すフローチャートである。

0091

図10に示すように、まず、頭部姿勢認識エンジン100aが、ジャイロセンサ113または加速度センサ114の少なくともいずれかにより取得されたセンサ情報と、方位センサ115により取得されたセンサ情報とに基づいて、頭部姿勢を認識する(ステップS160)。

0092

次に、スコア取得部101は、頭部姿勢認識エンジン100aによる認識処理結果の精度を示すスコアを取得(算出)する(ステップS163)。

0093

また、Depth認識エンジン100bが、外向きカメラ110の撮像画像に基づいてDepth認識を行うと(ステップS166)、スコア取得部101は、Depth認識エンジン100bによる認識処理結果の精度を示すスコアを取得(算出)する(ステップS169)。

0094

また、SLAM認識エンジン100cが、外向きカメラ110の撮像画像に基づいてSLAM認識を行うと(ステップS172)、スコア取得部101は、SLAM認識100cによる認識処理結果の精度を示すスコアを取得(算出)する(ステップS175)。

0095

また、視線認識エンジン100dが、内向きカメラ111の撮像画像に基づいて視線認識を行うと(ステップS178)、スコア取得部101は、視線認識エンジン100dによる認識処理結果の精度を示すスコアを取得(算出)する(ステップS181)。

0096

また、音声認識エンジン100eが、マイク112の収音情報に基づいて音声認識を行うと(ステップS184)、スコア取得部101は、音声認識エンジン100eによる認識処理結果の精度を示すスコアを取得(算出)する(ステップS187)。

0097

<3−4.入力方式選定処理>
次に、上記ステップS112に示す入力方式の選定処理の一例について図11を参照して具体的に説明する。図11は、本実施形態による入力方式選定処理を示すフローチャートである。

0098

図11に示すように、まず、入力方式選定部103は、認識されたユーザ行動状況に基づいて、使用可能な入力方式を選定する(ステップS200)。例えば、入力方式選定部103は、静止状態(図9に示すステップS136)の場合、「空間認識を使用した入力、視線入力、および頭部ジェスチャ入力」、「音声入力」、「手によるジェスチャ入力」、または「ボタンやスイッチからの入力」のいずれかを選定してもよい。また、入力方式選定部103は、ゆっくり歩行状態(図9に示すステップS142)の場合、「視線入力、および頭部ジェスチャ入力」、「音声入力」、「手によるジェスチャ入力」、または「ボタンやスイッチからの入力」のいずれかを選定してもよい。また、入力方式選定部103は、早歩きまたはジョグ状態(図9に示すステップS148)の場合、「視線入力」、「音声入力」、「手によるジェスチャ入力」、または「ボタンやスイッチからの入力」のいずれかを選定してもよい。また、入力方式選定部103は、走行状態(図9に示すステップS154)の場合、いずれの入力方式も選定せず、操作不可状態とし、情報の表示または音声出力のみが行われるようにしてもよい。

0099

また、入力方式選定部103は、認識エンジンの精度スコアに基づいて、利用可能な入力方式を選定する(ステップS203)。かかる選定については図12を参照して後述する。

0100

そして、入力方式選定部103は、上記各選定結果を考慮して、利用可能な入力方式を選定する(ステップS206)。

0101

図12は、本実施形態による認識精度スコアに基づく入力方式選定処理を示すフローチャートである。図12に示すように、まず、頭部姿勢認識エンジン100aのスコアが所定の閾値Th10を超える場合(ステップS230/Yes)、入力方式選定部103は、頭部姿勢認識を使用する入力方式の利用フラグをONにする(ステップS233)。

0102

一方、頭部姿勢認識エンジン100aのスコアが所定の閾値Th10を超えない場合(ステップS230/No)、入力方式選定部103は、頭部姿勢認識を使用する入力方式の利用フラグをOFFにする(ステップS236)。

0103

次いで、Depth認識エンジン100bのスコアが所定の閾値Th11を超える場合(ステップS239/Yes)、入力方式選定部103は、Depth認識を使用する入力方式の利用フラグをONにする(ステップS242)。

0104

一方、Depth認識エンジン100bのスコアが所定の閾値Th11を超えない場合(ステップS239/No)、入力方式選定部103は、Depth認識を使用する入力方式の利用フラグをOFFにする(ステップS245)。

0105

次に、SLAM認識エンジン100cのスコアが所定の閾値Th12を超える場合(ステップS248/Yes)、入力方式選定部103は、SLAM認識を使用する入力方式の利用フラグをONにする(ステップS251)。

0106

一方、SLAM認識エンジン100cのスコアが所定の閾値Th12を超えない場合(ステップS248/No)、入力方式選定部103は、SLAM認識を使用する入力方式の利用フラグをOFFにする(ステップS254)。

0107

次いで、視線認識エンジン100dのスコアが所定の閾値Th13を超える場合(ステップS257/Yes)、入力方式選定部103は、視線認識を使用する入力方式の利用フラグをONにする(ステップS260)。

0108

一方、視線認識エンジン100dのスコアが所定の閾値Th13を超えない場合(ステップS257/No)、入力方式選定部103は、視線認識を使用する入力方式の利用フラグをOFFにする(ステップS263)。

0109

続いて、音声認識エンジン100eのスコアが所定の閾値Th14を超える場合(ステップS266/Yes)、入力方式選定部103は、音声認識を使用する入力方式の利用フラグをONにする(ステップS269)。

0110

一方、音声認識エンジン100eのスコアが所定の閾値Th14を超えない場合(ステップS266/No)、入力方式選定部103は、音声認識を使用する入力方式の利用フラグをOFFにする(ステップS272)。

0111

このように、精度スコアに基づいて判断された各入力方式の利用フラグのON、OFFに応じて、入力方式選定部103は認識精度に応じた入力方式を選定し得る。

0112

<<4.表示例>>
続いて、本実施形態による表示例について、図13図28を参照して具体的に説明する。本実施形態による情報処理装置1は、例えば図1に示すような透過型HMD、すなわちスマートアイグラスにより実現され、ユーザが情報処理装置1を装着した際にユーザの眼前に位置する表示部13(レンズ部に相当)に表示情報を実空間の風景に重畳して表示(AR(Augmented Reality)表示とも示す。)することが可能である。本明細書において、AR表示とは、観察者から見て、仮想物体が実空間に存在する現実物体のように知覚できるように表示させるものである。情報処理装置1は、観察者の周囲の現実空間センシング結果に基づいて、仮想物体の表示を変化させることが可能である。例えば、情報処理装置1は、観察者が視認する領域に存在する実物体のID、位置、または姿勢をセンシングして、センシング結果に対応するよう仮想物体の表示を変化させ、あたかも仮想物体が実物体に付着しているように表示させることができる。また、情報処理装置1は、光学シースルーの場合、観察者の視覚条件視点、視線、視野焦点、頭部の姿勢等)のセンシング結果、またはビデオシースルの場合はカメラの撮影条件カメラ位置、姿勢、焦点、撮影範囲等)のセンシング結果に基づいて、仮想物体の表現を変化させることもできる。例えば、仮想物体に近付いた場合には近付くにつれ大きく仮想物体が表示され、仮想物体を中心に視点が動いた場合には視点の動きに応じて仮想物体が回転して見えるよう制御される。また、本実施形態による情報処理装置1が利用されるシーンとしては、例えばスポーツ、ゲーム、クリエーション、またはコミュニケーションが想定され、ユーザがスポーツ等を行う際に、関連する様々な情報が提示され得る。また、空間認識を使用した入力や音声入力、頭部ジェスチャ、または視線入力による操作入力が可能であるため、ユーザはハンズフリーで操作入力を行うことができる。そして、本実施形態による情報処理装置1は、ユーザの行動状況に応じて自然な入力方式に自動的に切り替わることで(入力方式の選定)、より利便性を向上させることが可能となる。

0113

<4−1.自転車UI>
まず、一例として、図1に示す情報処理装置1を装着して自転車を利用する場合の様々な表示例について、図13図26を参照して具体的に説明する。

0114

図13は、本実施形態による自転車UIの乗車前の表示例を示す図である。情報処理装置1は、行動認識によりユーザが自転車に近付いたことを検知すると、図13に示すように、ユーザの自転車20(実物体)の周辺に、関連情報(本日の累積走行距離、タイヤ空気圧、および鍵表示等)と、ペースメーカー30(画像)が表示される。この場合、ユーザが自身の自転車20に乗るために自転車20に近付くという自然な行動の認識(空間認識)により、情報処理装置1は自転車20の選択を受け付ける。自転車20が選択されたことは、例えば図15に示す自転車20の鍵マーク開錠するよう表示制御することで、選択決定のフィードバックを行うことが可能である。また、ユーザの自転車20の検出は、例えば外向きカメラ110により撮像された撮像画像の解析結果(物体抽出)と、予め登録されたユーザの自転車画像とのパターンマッチングにより行われてもよいし、自転車に設けられた通信装置からのビーコン受信により行われてもよい。

0115

図14は、本実施形態による自転車UIの乗車時の表示例を示す図である。ユーザが自転車に乗ると、自転車に厳選されたメニューの選択肢が表示される。図14に示す例では、ハンドルバー21の上に、ナビゲーショントレーニングの2つの選択肢32、33が表示される。この場合、例えばユーザが利用したい方のメニューを見るという自然な行為(視線認識)により、情報処理装置1はメニュー選択を受け付ける。

0116

図15は、本実施形態による自転車UIの走行時の表示例を示す図である。ユーザが「トレーニング」を選択した場合、図15に示すように、ユーザの前方にペースメーカー30(画像)が表示される。ユーザはペースメーカー30を追いながら走行することで、トレーニングを行うことができる。情報処理装置1の制御部10は、ペースメーカー30の所定の速度(目標速度、ペース)とユーザの速度とに基づいて、ユーザに対するペースメーカー30の仮想的な表示位置(空間におけるユーザとの距離)を継続的に調整する。ユーザは、ペースメーカー30に付いて走ることで、図16に示すように、ゴールに到着することができる。また、走行時のユーザ状況は、ユーザの移動そのもの(空間認識)や、ユーザがペースメーカー30を見ているか(視線認識)によって認識され得る。ユーザがペースメーカー30に付いて行かない、またはペースメーカー30を見ていない場合、例えば図17に示すように、ペースメーカー30が停止してユーザの方を振り向く表示制御を行ってもよい。これにより、ユーザが見ていない、または付いていけない場合にペースメーカー30が自身の速度(目標速度、ペース)でユーザの視界から消えてしまうことを防止する。ユーザがペースメーカー30を視認したり、再度走り出すと、ペースメーカー30も再度走り始めて、トレーニングが続行される。また、図17に示すようにユーザの行動に応じてペースメーカー30が停止することで、アプリケーションが正しく動いていることをユーザに知らせることもできる。

0117

続いて、自転車UIにおけるユーザ行動状況に応じた入力方式の切り替えについて、図18を参照して説明する。図18は、本実施形態による自転車UIにおけるユーザ行動状況に応じた入力方式の切り替えを説明する図である。本実施形態による入力方式の切り替えは、結果的に選択肢の表示態様の切り替えとも言える。

0118

図18に示すように、走行状態のレベル(活動量の高さ)に応じて、入力方式が切り替わり、選択肢の表示態様が変化する。具体的には、例えば停止中の場合、「視線入力」および「手によるジェスチャ入力」が選定され、ハンドルバー21の上に、ナビゲーションの選択肢32とトレーニングの選択肢33が3D表示される。これにより、ユーザは選択したい方の選択肢を見たり、または選択したい方の3D表示に手をかざす等の自然な行動(操作入力)が促される。

0119

また、低速走行から中速走行の場合、「空間認識を使用した入力」が選定され、前方にトレーニングのペースメーカー30とナビゲーションのペースメーカー31が選択肢(表示オブジェクト)として表示される。ユーザは選択したい方のペースメーカーに付いていくよう実際に自転車で走行することで(選択行動)、選択することができる。ここで、ユーザの選択行動について、図19を参照して具体的に説明する。

0120

図19は、本実施形態による自転車UIにおけるユーザの選択行動について説明する図である。まず、図19上段に示すように、自転車に乗車したユーザの前方にトレーニングのペースメーカー30とナビゲーションのペースメーカー31が選択肢として表示される。次いで、図19中段に示すように、前方に表示された各ペースメーカー30、31が走り出し、ユーザは選択したいペースメーカーが居る方向にハンドルを切る。そして、図19下段に示すように、選択したいペースメーカー30に実際に付いて走ることで、ペースメーカー31は後方下がり、ペースメーカー30(トレーニング)を選択することができる。このようなユーザの選択行動は、例えばDepth認識エンジン100bおよびSLAM認識エンジン100cによる認識結果を用いた空間認識処理により認識され得る。なお表示されるペースメーカーは、実物大であってもよいし、シンプルテキスト表示であってもよい。また、前方にペースメーカーが選択肢として表示される際、ユーザの選択行動に限定されず、視線入力(選択したい方のペースメーカーを注視する)や頭部ジェスチャ(選択したい方のペースメーカーに顔を向ける)といった他の選定された入力方式による操作入力を受け付けるようにしてもよい。

0121

また、前方に表示したペースメーカー(選択肢)に対する選択操作のフィードバックとして、例えば図20に示すように、選択されているペースメーカー30を振り向かせるよう表示制御することで、ユーザの選択操作のフィードバックを実現することも可能である。選択操作のフィードバックは、選定された入力方式(空間認識を用いた入力、視線入力、または頭部ジェスチャ等)によって異なるようにしてもよい。

0122

次いで、図18戻り、ユーザが高速走行からダンシング、カーブ中の場合は、誤動作を防止するために、選択肢無し(選択操作の受け付けを行わない、操作OFF)としてもよい。

0123

このように、本実施形態では、同じ選択肢(ここでは、一例としてトレーニングとナビゲーションの選択)であっても、ユーザの行動状況(例えば停止中、走行中)に応じて異なる表示態様で表現される。

0124

続いて、走行状態に応じた選択肢の表示態様の変化の他の例について図21を参照して説明する。図21は、走行状態に応じて選択肢の数が増減する場合について説明する図である。図21に示すように、例えば停止中の場合は選択肢をN個(例えば選択肢34a、34b、34cの3つ)表示し、低速走行から中速走行の場合は選択肢をN−1個(例えば選択肢34a、34bの2つ)表示するようにしてもよい。低速走行から中速走行の場合は、停止中の場合に比べて選択肢を視認することが困難な場合が想定されるため、選択肢を減らすことで、ユーザの負担を軽減する。また、低速走行から中速走行の場合は各選択肢表示間隔を広げて表示することで、選択の誤操作や、操作のし難さを回避することを可能とする。また、図21に示すように、ユーザが高速走行からダンシング、カーブ中の場合は、誤動作を防止するために、選択肢無し(選択操作の受け付けを行わない、操作OFF)としてもよい。

0125

このように、本実施形態では、ユーザ行動状況に応じて、選択肢を増減させることが可能である。

0126

次に、自転車走行中における選択行動の他の例について図22を参照して説明する。図22は、本実施形態による選択行動の他の例について説明する図である。図22に示すように、例えばユーザが自転車走行中に、前方の路面に選択肢35、36を表示してもよい。選択肢35、36は、それぞれ矢印と、対応するアプリケーションのアイコンを含む。ユーザは路面に表示された矢印に従って選択肢(アイコン)の上を通るよう走行することで、その選択肢を選択することが可能となる。情報処理装置1は、空間認識によりユーザがAR表示された選択肢の上を走行したことを認識し得る。

0127

また、図22に示すUIは、例えば目的地に到着した後に表示するようにしてもよい。例えば選択肢35、36が各々ソーシャルコミュニケーションに対応する場合、選択したアイコンで示されるソーシャルコミュニケーション(例えばメール、ブログ短文投稿サイト画像投稿サイト電子掲示板等)が起動し、ユーザの走行情報が当該ソーシャルコミュニケーションのWebサイト投稿される。また、データ保存に対応する選択肢が選択された場合、走行情報(トレーニングデータ等)が保存され得る。このように、画面操作等の明示的な操作を行わずに、自転車で走行するという自然な行動で選択操作を行うことが可能となる。また、路面上等、実物体に即して情報(選択肢を含む)が表示されるため、情報と実物体を同時に視認することができ、低負荷でUIを確認することが可能になる。

0128

次いで、認識精度に応じて情報の表示方法を切り替える場合について、図23図24を参照して説明する。図23および図24は、認識精度に応じた情報の表示例について説明する図である。

0129

図23左には、空間認識精度が低い場合または空間認識できない場合における表示例を示す。この場合、例えばリアルタイムの速度、平均速度、最大速度、現在日時、タイムトレーニングタイム)、距離、および心拍等の情報を含む情報画像40が、ユーザの目の前の決まった位置、例えば目の前1.5m先に一定時間表示される。図23左に示す表示は、非AR表示であって、情報画像40は、ディスプレイに対して定位する(換言すると認識対象の空間または空間に存在する物体に対して定位しない)。一方、図23右には、空間認識精度が高い場合における表示例を示す。この場合、例えばリアルタイムの速度を示す情報画像41が、前方の路面上にAR表示される。すなわち、例えば情報画像41は、例えば路面上に固定して(「路面」という実物体に対して定位して)表示され、ユーザが追い越すと視界から消える。

0130

図24左には、空間認識精度が低く、ユーザ周辺(手前側)のみ空間認識できている場合における表示例を示す。この場合、例えば速度等に関する情報を含む情報画像42が、ユーザ周辺の認識された実物体、例えばハンドルバー21に対して定位し、ハンドルバー21上に一定時間表示される(AR表示)。一方、図24右には、空間認識精度が高い場合における表示例を示す。この場合、例えば前方を走る人物名前リアルタイム心拍数回転数等を示す情報画像43が、当該人物(実物体)に対応付けて(定位して)表示される(AR表示)。なお、図23図24に示す各情報画像40、41、42、43は、いわゆる2D(非立体視)で表現されてもよいし、3D(立体視)で表現されてもよい。

0131

次に、入力方式の制限をユーザに通知する場合の表示例について、図25図26を参照して説明する。図25に示すように、例えば空間認識による入力が行えない場合、「空間認識×、選択できません」といったテキストによる通知表示45をユーザの前方に表示する。また、音声認識による入力が行えない場合、マイクのアイコンに禁止マークを重ねた通知表示46をユーザの前方に表示してもよい。また、複数の入力方式が使えない状態の場合、例えば音声認識による入力と視線認識による入力が行えない場合は、上述した通知表示46と、目のアイコンに禁止マークを重ねた通知表示47をユーザの前方に表示してもよい。

0132

また、図26に示すように、前方を走るペースメーカー30等の仮想表示キャラクターにより、利用できない入力方式について音声やテキストでユーザに通知してもよい。図26左に示す例では、ペースメーカー30がテキストで「ここから先は音声認識できません」とユーザに伝える通知表示48が表示されている。また、図26右に示す例では、ペースメーカー30が所定のハンドサイン49を行うよう表示制御することで、利用できない入力方式をユーザに伝えることが可能である。ユーザは、所定のハンドサインを覚えておくことで、利用できない入力方式を把握することができる。

0133

このように、利用できない入力方式をユーザに通知することで、ユーザは入力方式の制限について明確に把握でき、利便性を向上させることが可能である。なおユーザへの通知は、利用できない入力方式に限定されず、利用可能な入力方式の通知であってもよい。

0134

<4−2.コミュニケーションUI>
図27および図28は、本実施形態によるコミュニケーションUIの一例を示す図である。例えばユーザがリラックスした状態、またはカフェ等で休憩中の状態(画像認識等により行動認識され得る)等の場合に、情報処理装置1は、図27上段に示すように、アバター50、51を目の前(例えばテーブル(実物体)の上)に表示するよう制御する。かかるアバター50、51は、コミュニケーションアプリケーションに対応し、例えば新着メッセージ(音声、テキスト、または画像によるメッセージ)が来ている相手ユーザ顔画像が合成され生成される。また、ユーザのリラックス状態は、例えば生体情報に基づいて行動認識され得る。生体情報としては、例えば心拍、体温発汗血圧、発汗、脈拍呼吸瞬目眼球運動凝視時間、瞳孔径の大きさ、血圧、脳波体動体位皮膚温度皮膚電気抵抗筋電位等が挙げられる。

0135

ユーザは、興味がある方のアバターを見る(視線入力)、または興味がある方のアバターの方向に頭部(顔)を向ける(頭部ジェスチャ)ことで、自然とアバターの選択を行うことができる。選択されたアバターは、ユーザの方へ近付いて来る。

0136

次いで、図27中段に示すように、選択されたアバター50のみとなると、図27下段に示すように、アバター50に対応する相手ユーザからの新着メッセージ52が表示され、ユーザは相手ユーザからのメッセージを確認することができる。

0137

次に、図28上段に示すように、返信の選択肢であるアイコン53、54がテーブル(実物体)の上に表示される。アイコン53は、ユーザの現在地を地図データで返信するものである。また、返信のアイコン54は、音声入力で返信するものである。ユーザは、実行したい方のアイコン(選択肢)を見る(視線入力)、または実行したい方の選択肢の方向に頭部(顔)を向ける(頭部ジェスチャ)ことで、自然と選択することができる。

0138

例えばアイコン54に視線を向けることで選択した場合、図28中段に示すように、アイコン54の色や形が変化し、ユーザは当該アイコン54を選択したことを認識することができる。そして、ユーザによる発話(音声入力)をマイク112により検出すると、情報処理装置1は、図28下段に示すように、アイコン54がアバター50に飛んで行くアニメーションを表示し、メッセージの送信が完了したことをユーザに通知する。

0139

また、アバターの選択は、上述したような視線や頭部の動きに限定されず、ユーザが実際にアバターの方へ近付いて行く行動により行われてもよい。アバターへ近付いて行く行動は、撮像画像を用いた空間認識により認識され得る。

0140

このように、ユーザの選択行動(視線や頭部の動き、行動認識)と、UIの動きを連動させて、ユーザの選択操作を自然に促すことができる。

0141

なお、表示されるアバターは、上述したように新着メッセージの相手ユーザに限定されず、例えば普段からユーザとメッセージのやり取りが多い相手ユーザや、直近にやり取りを行った相手ユーザ、ユーザのスケジュールに基づいて直近時刻待ち合わせ電話等の約束をしている相手ユーザ等であってもよい。

0142

<<5.まとめ>>
上述したように、本開示の実施形態による情報処理装置1は、ユーザの活動状態に応じて入力方式を動的に切り替えて操作性をより向上させることを可能とする。

0143

これにより、誤操作が少なくなり、ユーザが安心して使用することができる。

0144

また、認識精度も考慮して入力方式を動的に切り替えることで、環境の変化が生じ易い屋外や、スポーツ中等でも、変化に強いUI入力を実現することができる。

0145

また、情報処理装置1がスマートアイグラスにより実現され、視線入力、頭部ジェスチャ、空間認識を使用した入力等、ハンズフリーでの操作入力を多様に準備することで、操作性を向上させることができる。

0146

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

0147

例えば、上述した情報処理装置1に内蔵されるCPU、ROM、およびRAM等のハードウェアに、情報処理装置1の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。

0148

また、図3図7に示す、状況に応じた入力方式の組み合わせは任意であって、図3図7に示す例に限定されない。状況に応じた入力方式の組み合わせは、ユーザ毎に異なってもよい。例えば活動量が高くでも誤操作の少ないユーザの場合は、活動量が高くても使用可能な入力方式を増やすようにしてもよい。

0149

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

0150

なお、本技術は以下のような構成も取ることができる。
(1)
ユーザの活動に関する情報に応じて1以上の操作入力方式を選定する選定部を備え、
前記選定部は;
前記ユーザの活動状態が第1の状態と決定された場合、操作対象を第1の操作で操作させるための第1の操作入力方式を選定し、
前記ユーザの活動状態が第2の状態と決定された場合、前記操作対象を第1の操作とは異なる第2の操作で操作させるための第2の操作入力方式を選定する、情報処理装置。
(2)
前記情報処理装置は、
前記選定された操作入力方式に応じて前記操作対象の表示態様を決定する決定部をさらに備え、
前記操作対象は;
前記第1の操作入力方式が選択された際に前記決定部で決定される第1の表示態様で表示され、
前記第2の操作入力方式が選択された際に前記決定部で決定される前記第1の表示態様とは異なる第2の表示態様で表示される、
前記(1)に記載の情報処理装置。
(3)
前記情報処理装置は、
前記操作対象に対するユーザ操作入力を受け付ける受付部をさらに備え、
前記受付部によりユーザ操作入力を受け付けるために用いる情報は、前記選定部で選定された操作入力方式に応じて異なる、前記(2)に記載の情報処理装置。
(4)
前記操作対象は、選択の対象であり、
前記受付部は、前記ユーザの操作入力として前記操作対象を選択する操作を受け付ける、前記(3)に記載の情報処理装置。
(5)
前記情報処理装置は、
前記決定された表示態様に従って前記選択の対象の表示画像を生成する生成部をさらに備える、前記(4)に記載の情報処理装置。
(6)
前記活動状態は、前記ユーザの活動に関する情報に含まれる活動量に基づいて認識される、前記(1)〜(5)のいずれか1項に記載の情報処理装置。
(7)
前記受付部は、センサにより検知された情報に基づいて前記ユーザ操作入力を受け付ける、前記(3)に記載の情報処理装置。
(8)
前記選定部は、センサにより検知された情報に基づいて認識を行う認識エンジンの精度スコアに応じて、前記操作入力方式を選定する、前記(7)に記載の情報処理装置。
(9)
前記選定部は;
前記精度スコアが閾値を下回る場合、操作対象を第1の操作で操作させるための第1の操作入力方式を選定し、
前記精度スコアが閾値を上回る場合、前記操作対象を第1の操作とは異なる第2の操作で操作させるための第2の操作入力方式を選定する、前記(8)に記載の情報処理装置。
(10)
前記認識エンジンは、頭部姿勢認識エンジン、Depth認識エンジン、SLAM認識エンジン、視線認識エンジン、方位認識エンジン、および音声認識エンジンの少なくともいずれかである、前記(9)に記載の情報処理装置。
(11)
前記情報処理装置は、
前記生成部により生成された前記選択の対象の表示画像を、表示部に表示するよう制御する表示制御部をさらに備え、
前記表示制御部による、前記選択の対象を選択するユーザ操作のフィードバック制御は、前記選定された操作入力方式に応じて異なる、前記(5)に記載の情報処理装置。
(12)
前記情報処理装置は、頭部に装着されるウェアラブル装置であって、
装着時にユーザの眼前に位置する表示部をさらに備える、前記(11)に記載の情報処理装置。
(13)
前記表示部は透過型であって、
前記表示制御部は、前記生成された前記選択の対象の表示画像を、実空間の実物体に重畳して表示するよう制御する、前記(12)に記載の情報処理装置。
(14)
前記操作入力方式は、空間認識を使用した入力、頭部ジェスチャによる入力、視線入力、および音声入力の少なくともいずれかである、前記(1)〜(13)のいずれか1項に記載の情報処理装置。
(15)
前記生成部により生成される前記選択の対象の数は、選定された操作入力方式に応じて異なる、前記(5)に記載の情報処理装置。
(16)
プロセッサが、
ユーザの活動に関する情報に応じて1以上の操作入力方式を選定することを含み、
前記選定は;
前記ユーザの活動状態が第1の状態と決定された場合、操作対象を第1の操作で操作させるための第1の操作入力方式を選定し、
前記ユーザの活動状態が第2の状態と決定された場合、前記操作対象を第1の操作とは異なる第2の操作で操作させるための第2の操作入力方式を選定する、情報処理方法。
(17)
コンピュータを、
ユーザの活動に関する情報に応じて1以上の操作入力方式を選定する選定部として機能させ、
前記選定部は;
前記ユーザの活動状態が第1の状態と決定された場合、操作対象を第1の操作で操作させるための第1の操作入力方式を選定し、
前記ユーザの活動状態が第2の状態と決定された場合、前記操作対象を第1の操作とは異なる第2の操作で操作させるための第2の操作入力方式を選定する、プログラム。

0151

1情報処理装置
10 制御部
100認識エンジン
100a頭部姿勢認識エンジン
100b Depth認識エンジン
100cSLAM認識エンジン
100d視線認識エンジン
100e音声認識エンジン
100f位置認識エンジン
101スコア取得部
102行動認識部
103入力方式選定部
104表示態様決定部
105表示情報生成部
106表示制御部
107操作入力受付部
110カメラ
111 カメラ
112マイク
113ジャイロセンサ
114加速度センサ
115方位センサ
116位置測位部
121 スコア取得部
123 入力方式選定部
11センサ部
12操作入力部
13 表示部
14スピーカ
15通信部
16 記憶部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ