図面 (/)

技術 情報処理装置及び情報処理方法

出願人 株式会社NTTドコモ
発明者 中西美木子堀越力
出願日 2013年9月30日 (4年2ヶ月経過) 出願番号 2013-204531
公開日 2015年4月13日 (2年8ヶ月経過) 公開番号 2015-069512
状態 特許登録済
技術分野 デジタル計算機のユーザインターフェイス デジタル計算機のユーザインターフェイス イメージ処理・作成 表示による位置入力 位置入力装置
主要キーワード 領域指標 利用物 手領域 認識領域内 指輪型 多角形近似 領域特定情報 領域推定

この技術の活用可能性のある市場・分野

関連する未来課題
重要な関連分野

この技術に関連する成長市場

関連メディア astavision

  • ロコモーティブ症候群・関節疾患

    加齢や過負荷のほか、スポーツ損傷や肥満によっても引き起こされる変形性関節症(OA:osteoarth…

  • ワクチンと自然免疫制御

    2009年6月、世界保健機関(WHO)は、新型インフルエンザA(N1H1)のパンデミック(pande…

  • 人工筋肉・ソフトアクチュエータ

    人工筋肉とは、ゴムや導電性ポリマー、形状記憶合金、カーボン・ナノチューブなどで作られた伸縮性のアクチ…

後で読みたい技術情報を見つけたら、ブックマークしておきましょう!

ページの右上にあるブックマークボタンからこのページをブックマークできます。
あなたがブックマークした技術情報は、いつでもマイページのリストから閲覧することが出来ます。

この項目の情報は公開日時点(2015年4月13日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (9)

課題

ユーザの身の回りにある物体を利用して、ユーザからの入力操作を行う。

解決手段

情報処理装置100の入力領域認識部105では、画像取得部103により取得された現実空間画像において、予め保持された第1の領域特定情報に基づいて、コンテンツに係るユーザの入力操作を行う入力領域を推定し、推定された入力領域に対して描画手段によりコンテンツが描画されて、表示される。この結果、例えば、第1の領域特定情報としてユーザの身の回りにある物体の中から入力操作に利用したい物体を特定する情報を設定して、現実空間画像においてその物体を撮像した領域を入力領域として推定することで、当該入力領域がユーザによる入力操作を行う領域として判断されることから、ユーザが身の回りにある物体を用いて入力操作を行うことが可能となる。

背景

近年、AR(Augmented Reality:拡張現実)技術を用いたサービスが開発・提供されている。AR技術に関連した技術として、例えば、特許文献1には、カメラにより撮像された画像から特定の対象物の特徴を認識し、これに基づいて対象物を追跡すると共に、対象物に対して関連する画像を重畳して表示する方法が示されている。

概要

ユーザの身の回りにある物体を利用して、ユーザからの入力操作を行う。情報処理装置100の入力領域認識部105では、画像取得部103により取得された現実空間画像において、予め保持された第1の領域特定情報に基づいて、コンテンツに係るユーザの入力操作を行う入力領域を推定し、推定された入力領域に対して描画手段によりコンテンツが描画されて、表示される。この結果、例えば、第1の領域特定情報としてユーザの身の回りにある物体の中から入力操作に利用したい物体を特定する情報を設定して、現実空間画像においてその物体を撮像した領域を入力領域として推定することで、当該入力領域がユーザによる入力操作を行う領域として判断されることから、ユーザが身の回りにある物体を用いて入力操作を行うことが可能となる。

目的

本発明は上記を鑑みてなされたものであり、ユーザの身の回りにある物体を利用して、ユーザからの入力操作を行うことが可能な情報処理装置及び情報処理方法を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

現実空間画像取得する画像取得手段と、ユーザによる入力操作認識する入力操作認識手段と、前記入操作認識手段が前記ユーザによる入力操作を認識することを契機として、前記画像取得手段により取得された前記現実空間画像において、予め保持された第1の領域特定情報に基づいて、コンテンツに係るユーザの入力操作を行う入力領域を推定する入力領域推定手段と、前記入力領域推定手段により推定された前記入力領域に対応する領域に前記コンテンツを描画する描画手段と、前記描画手段により描画された前記コンテンツを表示する表示手段と、を備え情報処理装置

請求項2

前記第1の領域特定情報は、前記入力領域の形状を特定する情報である請求項1記載の情報処理装置。

請求項3

前記入力領域推定手段は、前記入力操作認識手段により認識された前記ユーザの入力操作に基づいて、前記画像取得手段により取得された前記現実空間画像から第2の領域特定情報を取得し、前記第1の領域特定情報と、前記第2の領域特定情報とに基づいて、前記現実空間画像における前記入力領域を推定する請求項1又は2記載の情報処理装置。

請求項4

前記第2の領域特定情報には、前記入力領域を特定する色情報が含まれる請求項3記載の情報処理装置。

請求項5

前記第1の領域特定情報は、前記入力領域の形状を特定する情報であって、前記入力領域推定手段は、前記第2の領域特定情報により特定される領域を多角形近似し、近似された多角形頂点の一部及び該多角形を構成する複数の辺を伸長した直線同士の交点から形成された領域が前記第1の領域特定情報で特定される形状となる場合に、当該領域を入力領域と推定する請求項3又は4記載の情報処理装置。

請求項6

前記入力操作認識手段は、前記入力領域のうち、前記第2の領域特定情報により特定される領域以外の領域の色情報に基づいて前記入力領域内で移動する物体を特定し、該物体の移動を、前記ユーザによる入力操作として認識する請求項3〜5のいずれか一項に記載の情報処理装置。

請求項7

前記入力操作認識手段は、画像取得手段により取得された連続する複数の現実空間画像において、前記入力領域推定手段により推定された前記入力領域内で移動する物体のうち最も移動量が大きい物体の端部の移動を、前記ユーザによる入力操作として認識する請求項1〜6のいずれか一項に記載の情報処理装置。

請求項8

前記描画手段は、前記入力領域推定手段により推定された前記入力領域の面積に応じて描画するコンテンツを変更する請求項1〜7のいずれか一項に記載の情報処理装置。

請求項9

画像取得手段により、現実空間画像を取得する画像取得ステップと、入力操作認識手段により、ユーザによる入力操作を認識する入力操作認識ステップと、前記入力操作認識ステップにおいて前記ユーザによる入力操作を認識することを契機として、入力領域推定手段により、前記画像取得手段により取得された前記現実空間画像において、予め保持された第1の領域特定情報に基づいて、コンテンツに係るユーザの入力操作を行う入力領域を推定する入力領域推定ステップと、描画手段により、前記入力領域推定ステップにおいて推定された前記入力領域に対応する領域に前記コンテンツを描画する描画ステップと、表示手段により、前記描画ステップにおいて描画された前記コンテンツを表示する表示ステップと、を有する情報処理方法

技術分野

0001

本発明は、ユーザによる入力操作に応じて処理を行う情報処理装置及び情報処理方法に関する。

背景技術

0002

近年、AR(Augmented Reality:拡張現実)技術を用いたサービスが開発・提供されている。AR技術に関連した技術として、例えば、特許文献1には、カメラにより撮像された画像から特定の対象物の特徴を認識し、これに基づいて対象物を追跡すると共に、対象物に対して関連する画像を重畳して表示する方法が示されている。

先行技術

0003

特表2006−507722号公報

発明が解決しようとする課題

0004

ところで、従来のノート型PCや携帯端末に代わり、例えば、より軽量なメガネ型端末等のウェアラブル端末を用いて、現実空間の上に仮想空間の情報を重畳して表示する方法等が知られている。仮想空間の情報に対して操作を行うようにした場合、仮想空間が空中に浮かんでいて実際には存在しないため、仮想空間の位置している奥行きがわからない、操作をしても触覚フィードバックがない、といった問題がある。

0005

これに対して、例えば、端末に対する入力動作をユーザが行う際に、ユーザの身の回りを撮像した現実空間画像に含まれる特定の物体の表面の画像に対して仮想空間の情報を重畳して表示すると共に、重畳して仮想空間の情報が表示された特定の物体の表面をタッチパネルのように使用することで、入力操作時のユーザ自身操作感覚を向上させる方法が考えられる。

0006

しかしながら、特許文献1記載の方法では、対象物の特徴を予め取得した上で、これに基づいて対象物の追跡を行うことは可能であるが、不特定多数の物体が撮像された画像から特定の対象物を取り出すことは困難である。したがって、特許文献1記載の方法を用いたとしても、依然としてユーザから端末に対して何らかの処理を指示する場合に、ユーザの身の回りにある物体を気軽に利用することは困難であり、ユーザ自身の操作感覚を向上させることは困難である。

0007

本発明は上記を鑑みてなされたものであり、ユーザの身の回りにある物体を利用して、ユーザからの入力操作を行うことが可能な情報処理装置及び情報処理方法を提供することを目的とする。

課題を解決するための手段

0008

上記目的を達成するため、本発明に係る情報処理装置は、現実空間画像を取得する画像取得手段と、ユーザによる入力操作を認識する入力操作認識手段と、前記入力操作認識手段が前記ユーザによる入力操作を認識することを契機として、前記画像取得手段により取得された前記現実空間画像において、予め保持された第1の領域特定情報に基づいて、コンテンツに係るユーザの入力操作を行う入力領域を推定する入力領域推定手段と、前記入力領域推定手段により推定された前記入力領域に対応する領域に前記コンテンツを描画する描画手段と、前記描画手段により描画された前記コンテンツを表示する表示手段と、を備えることを特徴とする。

0009

また、本発明に係る情報処理方法は、画像取得手段により、現実空間画像を取得する画像取得ステップと、入力操作認識手段により、ユーザによる入力操作を認識する入力操作認識ステップと、前記入力操作認識ステップにおいて前記ユーザによる入力操作を認識することを契機として、入力領域推定手段により、前記画像取得手段により取得された前記現実空間画像において、予め保持された第1の領域特定情報に基づいて、コンテンツに係るユーザの入力操作を行う入力領域を推定する入力領域推定ステップと、描画手段により、前記入力領域推定ステップにおいて推定された前記入力領域に対応する領域に前記コンテンツを描画する描画ステップと、表示手段により、前記描画ステップにおいて描画された前記コンテンツを表示する表示ステップと、を有することを特徴とする。

0010

上記の情報処理装置及び情報処理方法によれば、入力領域推定手段において、画像取得手段により取得された現実空間画像において、予め保持された第1の領域特定情報に基づいて、コンテンツに係るユーザの入力操作を行う入力領域を推定し、推定された入力領域に対して描画手段によりコンテンツが描画されて、表示される。この結果、例えば、第1の領域特定情報としてユーザの身の回りにある物体の中から入力操作に利用したい物体を特定する情報を設定して、現実空間画像においてその物体を撮像した領域を入力領域として推定することで、当該入力領域がユーザによる入力操作を行う領域として判断されることから、ユーザが身の回りにある物体を用いて入力操作を行うことが可能となる。

0011

ここで、上記作用を効果的に奏する構成として第1の領域特定情報は、前記入力領域の形状を特定する情報とすることができる。ユーザが入力操作に用いたい物体の形状が特定されている場合には、これを特定する情報を第1の領域特定情報とすることで、現実空間画像の中から入力領域を推定する操作をより簡便且つ確実に行うことができる。

0012

また、前記入力領域推定手段は、前記入力操作認識手段により認識された前記ユーザの入力操作に基づいて、前記画像取得手段により取得された前記現実空間画像から第2の領域特定情報を取得し、前記第1の領域特定情報と、前記第2の領域特定情報とに基づいて、前記現実空間画像における前記入力領域を推定する態様とすることができる。このように、第2の領域特定情報を利用することで、入力領域の推定をより確実に行うことができる。

0013

ここで、前記第2の領域特定情報には、前記入力領域を特定する色情報が含まれることが好ましい。入力領域を特定する色情報を第2の領域特定情報として取得することで、入力領域の推定をより確実に行うことができる。

0014

前記第1の領域特定情報は、前記入力領域の形状を特定する情報であって、前記入力領域推定手段は、前記第2の領域特定情報により特定される領域を多角形近似し、近似された多角形頂点の一部及び該多角形を構成する複数の辺を伸長した直線同士の交点から形成された領域が前記第1の領域特定情報で特定される形状となる場合に、当該領域を入力領域と推定する態様とすることができる。このように、第2の領域特定情報により特定される領域を多角形近似した後に、近似された多角形に基づいて形成される領域が第1の領域特定情報で特定される形状となる場合に、入力領域と推定する構成を有することで、例えば、ユーザの手が重なる等によって第1の領域特定情報と合致しない形状をなす画像が取得された場合であっても、入力領域を推定することが可能となる。

0015

また、前記入力操作認識手段は、前記入力領域のうち、前記第2の領域特定情報により特定される領域以外の領域の色情報に基づいて前記入力領域内で移動する物体を特定し、該物体の移動を、前記ユーザによる入力操作として認識する構成とすることが好ましい。このように第2の領域特定情報により特定される領域以外の領域の色情報に基づいて、ユーザによる入力操作を行う物体を特定する構成とすることで、ユーザによる入力操作をより確実に検出することができる。

0016

また、前記入力操作認識手段は、画像取得手段により取得された連続する複数の現実空間画像において、前記入力領域推定手段により推定された前記入力領域内で移動する物体のうち最も移動量が大きい物体の端部の移動を、前記ユーザによる入力操作として認識する態様とすることができる。入力領域内で移動する物体が複数ある場合には、ユーザによる入力操作を行う物体を特定し、これを入力操作として認識することで、ユーザによる入力操作をより確実に検出することができる。

0017

また、前記描画手段は、前記入力領域推定手段により推定された前記入力領域の面積に応じて描画するコンテンツを変更する態様とすることができる。これにより、ユーザの利便性を向上することができる。

発明の効果

0018

本発明によれば、ユーザの身の回りにある物体を利用して、ユーザからの入力操作を行うことが可能な情報処理装置及び情報処理方法が提供される。

図面の簡単な説明

0019

本実施形態の情報処理装置100の外観図である。
本実施形態に係る情報処理装置100の機能を示すブロック図である。
情報処理装置100のハードウェア構成図である。
情報処理装置100の処理を示すフローチャートである。
情報処理装置100の入力データ解析部102における解析方法を説明する図である。
情報処理装置100における領域特定情報の取得について説明する図である。
情報処理装置100における入力領域の推定について説明する図である。
情報処理装置100における入力領域の推定について説明する図である。

実施例

0020

以下、添付図面を参照して、本発明を実施するための形態を詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。

0021

図1は、本実施形態の情報処理装置100の外観図である。図1に示される通り、情報処理装置100は、画像取得部103たるカメラが取り付けられたメガネ型端末110、指輪型端末120、及び制御端末130が有線接続されている。なお、有線接続の代わりに、ブルートゥース/Bluetooth(登録商標)等の近距離無線通信により接続されてもよい。情報処理装置100のユーザは、メガネ型端末110及び指輪型端末120を装着して使用する。メガネ型端末110は、例えば、ビデオシースルー式HMD(ヘッドマウントディスプレイ)や、光学シースルー式HMDを用いることができるが、光学シースルー式HMDを用いることが好ましい。制御端末130は、例えば、情報処理装置100のユーザが携帯する形状とすることができる。また、制御端末130を例えば無線通信網内のサーバとして実現し、無線通信網を利用して通信を行う構成としてもよい。

0022

本実施形態に係る情報処理装置100は、身の回りにある物体を利用してユーザが入力操作を行うことを可能とした装置である。具体的には、ユーザの身の回りにある例えばノートファイル等の四角形の物体をタッチパネルに見立てて、カメラにより撮像された画像のうち、疑似タッチパネルとなる物体を撮像した領域に対して、情報処理装置100から所望のコンテンツを重畳して表示をすることで、ユーザは疑似タッチパネルとなる物体を利用して当該コンテンツに対する入力操作を行うことを可能とする装置である。また、ユーザによる入力操作とは、情報処理装置100による特定の処理を開始又は終了を指示する操作も含まれ、ユーザが身の回りにある物体を利用して入力操作を行うことで、情報処理装置100は、自装置における特定の処理(例えば、特定のプログラム起動)を開始又は終了する構成とすることもできる。

0023

情報処理装置100が重畳して表示をするコンテンツは特に限定されないが、疑似タッチパネルとなる物体を撮像した領域には、例えば次のコンテンツに進むか又は終了するかを選択する選択肢等ユーザが何らかの入力を行うことを必要とするコンテンツが表示される。

0024

なお、疑似タッチパネルとなる物体形状は特に限定されないが、以下の実施形態では、疑似タッチパネルとなる物体が四角形状である場合を中心に説明する。

0025

次に、この情報処理装置100の機能構成を示す。図2は、本実施形態の情報処理装置100の機能を示すブロック図である。図2に示される通り、入力部101(入力操作認識手段)、入力データ解析部102(入力操作認識手段)、画像取得部103(画像取得手段)、入力領域認識部105(入力領域推定手段)及び手領域認識部106(入力操作認識手段)を含んで構成される画像認識部104、コンテンツ蓄積部107、描画部108(描画手段)、表示部109(表示手段)を含んで構成されている。このうち、入力部101は指輪型端末120により実現され、画像取得部103及び表示部109はメガネ型端末110により実現される。本実施形態においては、他の機能部は制御端末130により実現されるが、上記の機能構成には限定されず、種々の変更を行うことができる。

0026

図3は、情報処理装置100のハードウェア構成図である。図2に示される情報処理装置100は、物理的には、図3に示すように、1または複数のCPU11、主記憶装置であるRAM12及びROM13、入力デバイスであるキーボード及びマウス等の入力装置14、ディスプレイ等の出力装置15、ネットワークカード等のデータ送受信デバイスである通信モジュール16、半導体メモリ等の補助記憶装置17などを含むコンピュータシステムとして構成されている。図2における各機能は、図3に示すCPU11、RAM12等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、CPU11の制御のもとで入力装置14、出力装置15、通信モジュール16を動作させるとともに、RAM12や補助記憶装置17におけるデータの読み出し及び書き込みを行うことで実現される。

0027

次に、図2戻り、情報処理装置100を構成する各機能ブロックについて説明する。

0028

入力部101は、ユーザの動作を検知する機能を有する。ユーザの動作とは、例えば、身の回りの何らかの物体の表面をユーザが指で叩く(タップする)又はクリックする動作のことを言う。また、何らかの物体の表面を指でスライドする又はフリックする動作であってもよい。入力部101は、例えば加速度センサマイク、距離センサ、又はカメラ等により実現され、図1に示す指輪型端末120に取り付けられる。そして、指輪型端末120を取り付けた指で上記の動作を行うことで、入力部101はその動作を検知し、その情報を入力データ解析部102へ送る。

0029

入力データ解析部102は、入力部101から送られたユーザの動作に係る情報から、ユーザが入力操作を行ったか否かを判断すると共に、具体的なユーザの動作に基づいて、入力操作の種類を判別する機能を備える。すなわち、入力部101及び入力データ解析部102によって、ユーザによる入力操作が認識される。入力データ解析部102によって認識されたユーザによる入力操作に係る情報は、後述の手領域認識部106により認識される指の位置に係る情報と組み合わせて処理される。

0030

画像取得部103は、ユーザの周囲の画像である現実空間画像を取得する機能を有する。画像取得部103は、例えばカメラ等により実現され、画像取得部103により取得された現実空間画像は、画像認識部104へ送られる。

0031

画像認識部104は、画像取得部103により取得された現実空間画像について種々の処理を施すことで、情報処理装置100から提供するコンテンツに対してユーザの入力操作を行う入力領域を推定する機能を有する。また、ユーザの入力領域内で移動する指の位置を認識する機能を有する。画像認識部104は、入力領域認識部105と、手領域認識部106とを含んで構成される。

0032

入力領域認識部105においては、入力領域を推定する機能を有する。入力領域の推定は、現実空間画像に含まれる種々の物体を撮像した領域について、情報処理装置100において予め保持された第1の領域特定情報と、ユーザの入力操作によって取得される第2の領域特定情報とに基づいて入力領域か否かを判断することにより行われる。第1の領域特定情報とは、例えば、入力領域の形状が挙げられる。四角形状の物体を入力領域として認識することを予め決めている場合には、第1の領域特定情報とは「四角形状であること」となる。そして、現実空間画像によって撮像された種々の物体のうち、四角形状の物体を撮像したと思われる領域について、入力領域と推定される。また、第2の領域特定情報とは、ユーザの入力操作に基づいて画像取得部103により取得された現実空間画像から取り出される情報であり、例えば、入力領域の色情報が挙げられる。入力領域認識部105においては、これらの領域特定情報を用いて入力領域の推定を行う。具体的な処理については後述する。

0033

手領域認識部106は、現実空間画像を参照し、入力領域認識部105において推定された入力領域内で移動する物体を手領域として認識する機能を有する。入力領域内で移動する物体とは、例えば、入力領域を構成する四角形状の物体(疑似タッチパネル)を支持する手、四角形状の物体の表面を移動することで入力操作を行うユーザの手、等が挙げられる。手領域置認識部106では、このように入力領域内で移動する物体を撮像した領域を手領域として認識した上で、ユーザの入力操作に該当するか否かを判断する機能を備える。

0034

入力領域認識部105による入力領域の推定結果、及び、手領域認識部106による手領域の認識結果は、描画部108へ送られる。

0035

コンテンツ蓄積部107は、ユーザに対して表示するコンテンツを格納する機能を有する。コンテンツ蓄積部107は、描画部108からの指示に応じて、ユーザに対して表示するコンテンツを描画部108に対して送信する。

0036

描画部108は、画像認識部104から送られる入力領域の推定結果及び手領域の認識結果を示す情報に基づいて、コンテンツ蓄積部107からユーザに対して表示するコンテンツを取得すると共に、入力領域に対応する領域にコンテンツ蓄積部107から取得したコンテンツを描画する機能を有する。描画部108により描画されたコンテンツは、表示部109へ送られる。

0037

表示部109は、描画部108において描画されたコンテンツ、すなわち入力領域に対応したコンテンツを表示する機能を有する。表示部109は、メガネ型端末110におけるディスプレイや、プロジェクタ等が挙げられる。メガネ型端末110が光学シースルー式HMDの場合は、画像取得部103により撮像された現実空間画像において入力領域と推定された領域に対して、描画部108において描画されたコンテンツを表示させることで、メガネ型端末110に対して入射する外部からの光により描かれるユーザの周囲の状況を示す情報(現実空間を示す情報)と、表示部109に表示されたコンテンツとが重畳された結果、ユーザに重畳画像として認識される。また、メガネ型端末110がビデオシースルー式HMDである場合には、描画部108において描画されたコンテンツを画像取得部103により撮像された現実空間画像に対して重畳して表示部109に表示することで、ユーザは、表示部109に表示された重畳画像を認識する。

0038

上記の構成を有する情報処理装置100による情報処理方法について、図4のフローチャートを参照しながらさらに詳細に説明する。図4は、情報処理装置100による情報処理方法を説明するフローチャートである。また、図5〜8は、情報処理装置100における情報処理について、説明する図である。なお、以下の説明では、情報処理装置100において予め保持される第1の領域特定情報が「四角形状であること」であることを前提として説明する。

0039

まず、メガネ型端末110及び指輪型端末120を含んで構成される情報処理装置100をユーザが装着した後に、ユーザが指輪型端末120を装着した指で例えば身の回りの物体を利用して入力操作となる何らかの動作を行う。これに対して、入力部101がユーザの動作を検知すると、制御端末130の入力データ解析部102において、ユーザの動作が入力操作であるか否かを判断することで、ユーザの入力操作を認識する(S01:入力操作認識ステップ)。そして、入力データ解析部102において、ユーザの入力操作を認識した場合には、これを契機として、情報処理装置100における画像認識に係るシステムを起動させ、これにより画像取得部103はユーザの周囲の画像(現実空間画像)の取得を開始する(S02:画像取得ステップ)。

0040

ここで、入力部101がマイクであって、ユーザの入力操作をダブルクリックとした場合に、入力部101により取得されるデータの一例を図5に示す。図5に示すデータは、横軸を時間(秒)とし、マイクにより受信した音の振幅縦軸に示す。ユーザによる入力操作が身の回りの物体のダブルクリックである場合、物体を指でクリックした(叩いた)場合にはマイクは何らかの音を受信するはずである。そこで、例えば予め閾値T0を設定しておき、マイクは、閾値T0を超える振幅の音を所定期間内に連続して受信した場合(例えばT1に示すようなデータが得られた場合)には、ユーザによる入力操作が行われたと判断する。なお、ユーザによる入力操作が複数種類ある場合には、入力操作の種類に応じて個別に認識するための基準(閾値等)を設定しておくことが好ましい。

0041

なお、システム起動(S02)のためにユーザが入力操作を行う(S01)際には、後の段階において疑似タッチパネルとして利用したい物体が画像認識部104においてより確実に認識されるように、疑似タッチパネルとして利用したい物体を画像取得部103の前に配置した上で、入力操作を行うことが好ましい。これにより、システム起動(S02)後に画像取得部103により取得される画像には、疑似タッチパネルとして利用物体が撮像されるため、より高い精度で入力領域を推定することができる。

0042

図4に戻り、ユーザによる入力操作を情報処理装置100側で認識すること契機として、情報処理装置100における画像認識に係るシステムが起動されると、画像認識部104の入力領域認識部105により、入力領域の推定に用いる第2の領域特定情報を取得するための入力領域指標の表示が指示され、表示部109は、入力領域認識部105からの指示に基づいて、入力領域指標をユーザに対して表示する(S02)。入力領域指標の例を図6に示す。図6(A)はすなわち画像取得部103により取得される画像の例を示していて、図6(B)は、画像取得部103により取得される画像に対して表示部109によって表示される入力領域指標Pを表示させた例である。図6(A)及び図6(B)では、それぞれ画像取得部103により取得される画像Sを示している。ここでは、疑似タッチパネルとして使用したい物体が、表面が同一色のファイルFであり、ファイルFが画像取得部103により撮像される画像の中央に配置されるようにした状態で、システムを起動(S02)させた場合の例を示している。入力領域指標Pとは、図6(B)の画像Sの中央に示される四角形状の枠のことをいう。図6(B)の例では、四角形状の枠である入力領域指標PはファイルFと重なって表示されているが、入力領域指標PがファイルFとは重なっていない場合には、ファイルFと入力領域指標Pとが重なるように画像取得部103を移動させる(メガネ型端末110の場合には、ユーザの視野を変更させる)。

0043

その後、ユーザが再び入力操作を行うことで、入力データ解析部102においてユーザの入力操作を認識すると(S03)、これを契機として、入力領域認識部105は、画像取得部103により取得されている画像から、入力領域指標Pにより囲われた領域の色情報を取得する(S04)。これにより、入力領域認識部105は、入力領域指標Pに対して重なって表示されるファイルFの色情報を取得する。これにより、ファイルFの色情報が第2の領域特定情報として入力領域認識部105により取得される。

0044

次に、これまでの処理によって得られた情報に基づいて入力領域を推定する(S05:入力領域推定ステップ)。ここで、入力領域認識部105は、第1の領域特定情報(入力領域が四角形状であること)と、第2の領域特定情報(ファイルFの色情報)とに基づいて、画像取得部103により取得された画像内の入力領域を推定する。

0045

このとき、疑似タッチパネルとして利用したい物体の形状が四角形状であり、その物体の色が入力領域指標Pにより囲われた領域の色情報と一致する、と入力領域認識部105により認識された場合には、当該物体を撮像した領域が入力領域であると推定される。しかしながら、実際には、例えば図7の画像Sとして示すように、ユーザの手H1,H2が入力領域として認識したいファイルFと重なっていることが多く、画像取得部103により取得された画像Sでは、目的の物体を撮像した領域の中から第1の領域特定情報及び第2の領域特定情報を満たす領域を特定し、これを入力領域と判断する方法では、入力領域とを区呈することが困難なことが多い。

0046

そこで、入力領域認識部105においては、以下の処理を行うことで、入力領域の推定を行う。まず、画像Sから、入力領域指標Pにより囲われた領域の色情報と同じ色の領域を特定する。そしてその領域が四角形状の領域の一部を何らかの物体で覆った形状を成しているかを判断することで、入力領域に相当するかを判断する。例えば、図7で示すようにファイルFをユーザの手により支持している場合、四角形状の物体の一部は手H1,H2により覆われる。しかし、ファイルFの上辺図7の上部側の辺)は、画像Sの中に撮像されている。このように四角形状の物体の一部がユーザの手の画像と重なっている場合であっても上辺が支持されていることは少ないと思われる。そこで、四角形状の物体を認識するために(1)四角形状の外形全体が画像Sに撮像されている、(2)外形のうち、上辺は隠れていない(画像Sにおいて四角形状の上辺は認識することができる)、という2つの前提を設け、これらに基づいて、四角形状をなすと推定される物体を撮像した領域を検出する。

0047

四角形状をなすと推定される物体を撮像した領域を検出する方法について、図8を参照しながら説明する。まず画像Sにおいて、下方が隠れている四角形を認識するために、取得した色情報と同色の領域を多角形近似する。そこで、多角形を構成する頂点のうち,画面左上に近い点をP0とし,反時計回りにP0から順に番号をふっていく(図8でP0〜P5が割り振られている)。次に、P0〜P5で示される多角形に外接する矩形を求め、この外接矩形底辺図7では、P2−P3を含む辺)とP0−P1との交点(PC0)と、外接矩形の底辺とP5−P4との交点(PC1)と、算出する。これにより、P0−PC1−PC2−P5が、ファイルFの外形であり、入力領域であると推定することができる。このように、入力領域を推定することで、ユーザの手H1,H2が重なっていてもファイルFの外形、すなわち、入力領域を推定することができる。

0048

なお、入力領域認識部105における入力領域の推定と並行して、手領域認識部106では手領域の認識が行われる。これは、入力領域として推定された領域に含まれる入力領域とは異なる色を呈している領域を手領域として判断するものであり、例えば図8では、P0−PC1−PC2−P5により囲われる領域のうち、入力領域認識部105で取得した色情報と異なる色情報を有する領域が手領域として認識される。さらに、手領域認識部106では、手領域として認識された領域の色情報を取得し、取得した手領域の色情報に基づき、画像取得部103により取得される画像に基づいて時間経過に対する手領域の移動を認識することで、ユーザの手の移動を確認することができる。ユーザによる入力操作は、入力領域内で行われるため、この手領域の移動を認識することで、ユーザの入力操作、すなわちユーザの指示内容を情報処理装置100において認識することができる。

0049

このようにして、入力領域が推定されると、当該入力領域を示す情報が描画部108に送られ、描画部108において、コンテンツ蓄積部107から取得されたコンテンツの描画に係る処理が行われる(S06:描画ステップ)。このときに、入力領域の大きさや形状に応じて、コンテンツの形状を変化させる処理等が行われると共に、表示部109において、画像取得部103により取得された画像に対してコンテンツを重畳して表示する構成とされている場合には、重畳に係る処理も行われる。

0050

描画部108では、疑似タッチパネルとして用いられる物体(ファイルF)の大きさに合わせて重畳するコンテンツを変更することもできる。この物体Fの大きさは、画像S内での物体を撮像した領域の大きさ(面積)で推定する。描画部108では、コンテンツの表示の大きさを変えるだけではなく、画面が大きいときには複数アイコンを表示し、操作はポインティングおよびクリック操作とし、画面が小さい時にはアイコンは1つだけ表示し、フリックとクリックだけで操作ができるようにするなど、四角形の物の大きさに合わせて適した表示形式に変更することができる。これにより、操作性を向上することができる。

0051

メガネ型端末110として光学シースルー式HMDを用いる場合、視野角が比較的狭いと考えられる。そのため、現実空間画像に対して重畳する映像(コンテンツ)を表示する領域は、四角形の物体(画像S中の四角形の物体Fの領域)とHMDにおける表示領域とが重なる部分となる。ユーザが光学シースルー式HMDを介して見る領域と、画像取得部103により取得される画像の領域(すなわち、カメラの視野)と、が一致するように利用前に調整しておくことが望ましい。

0052

そして、描画部108により描画されたコンテンツは、表示部109に対して送られ、ユーザの動作による入力操作の認識を契機として(S07)、表示部109に表示される(S08:表示ステップ)。入力領域に対応して表示されるコンテンツは、ユーザの入力操作に応じて適宜変更される、すなわち、ユーザの入力操作の認識(S07)に対して表示部109への表示(S08)は繰り返され、また、必要に応じて描画・重畳の処理(S06)についても繰り返し行われる。

0053

上述のように、入力領域に対応する疑似タッチパネルでのユーザの入力操作は、なお、図8に示す画像の場合では、左右の両方の手H1,H2が認識領域内にある。したがって、ユーザの入力操作を行う手(図8では指輪型端末を装着した手H1)とファイルFを持っている手(図8ではH2)とを区別できない可能性がある。そこで、それを回避するために、ファイルを持つ手H2はあまり動かず、入力操作を行なっている側の手H1の方が動作が大きくなると予想されるため、これに基づいて、検出位置の変動が大きい側の手(ここではH1)を入力操作している側の手領域と判断する。また、ユーザが入力操作(コンテンツの該当箇所を指すポインティング操作)を行う場合には、図8に示すように人差し指が一本だけ突出していて、その端部は一番移動量が大きいと考えられるので、手領域として認識した領域のうち最も移動量が大きい端部がポインティングを行っている位置と判断する。また、図8に示すように人差し指を立てていることが明らかな場合には、手領域の上端がポインティングを行っている位置として、ユーザの入力操作を認識する構成としてもよい。このように画像取得部103により取得された画像に基づいて、手領域の移動をトレースすることで、例えば、左右フリックおよび上下のスクロールを認識することが可能となる。

0054

また、疑似タッチパネルとなるファイルFを用いて入力操作を行なうためには、ユーザの指(ポインティングを行う部分)の位置の認識に加え,「ボタンを押した」など入力操作を行なったタイミングも検出する必要がある。そこで、入力データ解析部102では、ユーザが持っている疑似タッチパネルとなる物体(ファイルF)を叩いたタイミングを、入力を行ったタイミングとして認識する。ユーザがファイルFを叩いたタイミングを画像取得部103により取得される画像のみから認識するのは困難であるから、入力部101及び入力データ解析部102により取得されたユーザの入力操作に係る情報に基づいて、ユーザのクリックのタイミングを認識することが好ましい。

0055

以上のように、本実施形態に係る情報処理装置100及び情報処理方法によれば、入力領域認識部105では、画像取得部103により取得された現実空間画像において、予め保持された第1の領域特定情報に基づいて、コンテンツに係るユーザの入力操作を行う入力領域を推定し、推定された入力領域に対して描画手段によりコンテンツが描画されて、表示される。この結果、例えば、第1の領域特定情報としてユーザの身の回りにある物体の中から入力操作に利用したい物体を特定する情報を設定して、現実空間画像においてその物体を撮像した領域を入力領域として推定することで、当該入力領域がユーザによる入力操作を行う領域として判断されることから、ユーザが身の回りにある物体を用いて入力操作を行うことが可能となる。

0056

また、上記実施形態のように、ユーザが入力操作に用いたい物体の形状が特定されている場合には、これを特定する情報を第1の領域特定情報とすることで、現実空間画像の中から入力領域を推定する操作をより簡便且つ確実に行うことができる。

0057

さらに、上記実施形態のように、入力領域認識部105は、第1の領域特定情報により特定される入力領域の形状を特定する情報と現実空間画像に含まれる特定の物体を撮像した領域の形状とに基づいて、前入力領域を推定する構成とすることができる。この場合、現実空間画像では、第1の領域特定情報により特定される入力領域の形状と一致する画像が得られない場合があるので、両者を比較して入力領域を推定する構成を採用することが好ましい。

0058

また、入力領域認識部105は、入力データ解析部102により認識されたユーザの入力操作に基づいて、画像取得部103により取得された現実空間画像から第2の領域特定情報を取得し、第1の領域特定情報と、第2の領域特定情報とに基づいて、現実空間画像における入力領域を推定する態様とすることで、入力領域の推定をより確実に行うことができる。そして、第2の領域特定情報として、入力領域を特定する色情報を取得することで、疑似タッチパネルとして用いたい物体(例えばファイルF)の情報を確実に取得することができるため、入力領域の推定をより正確に行うことができる。なお、ファイルFが例えば何色かの模様を有する物体である場合には、異なる色の領域は手領域認識部106により手領域として認識される可能性がある。

0059

以上、本発明の好適な実施形態について説明してきたが、本発明は必ずしも上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲で様々な変更が可能である。例えば、入力領域の形状は特に限定されず、例えば、四角形状ではなく、円形状とすることも考えらえる。この場合には、第1の領域特定情報を変更すると共に、入力領域の推定のためのロジックを適宜変更すればよい。

0060

100…情報処理装置、101…入力部、102…入力データ解析部、103…画像取得部、104…画像認識部、107…コンテンツ蓄積部、108…描画部、109…表示部。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する未来の課題

関連する公募課題

ページトップへ

おすすめの成長市場

関連メディア astavision

  • 人工筋肉・ソフトアクチュエータ

    人工筋肉とは、ゴムや導電性ポリマー、形状記憶合金、カーボン・ナノチューブなどで作られた伸縮性のアクチ…

  • 超小型モビリティ・パーソナルモビリティ

    軽自動車よりも更にコンパクトな電気自動車で、1人から2人程度の乗車定員のものを超小型モビリティと呼ば…

  • 高性能コンピュータ

    2015年4月、理化学研究所は新規のスーパーコンピュータシステム「HOKUSAI GreatWave…

ページトップへ

新着 最近公開された関連が強い技術

この技術と関連性が強い人物

この技術と関連する未来の課題

関連する未来の課題一覧

この技術と関連する公募課題

公募課題一覧

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ