図面 (/)

技術 情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体

出願人 ソニー株式会社
発明者 笠原俊一繁田脩
出願日 2013年10月16日 (7年1ヶ月経過) 出願番号 2014-545628
公開日 2016年9月8日 (4年2ヶ月経過) 公開番号 WO2014-073346
状態 特許登録済
技術分野 デジタル計算機のユーザインターフェイス 位置入力装置
主要キーワード ライトスタンド 操作メニュ 拡張作業 センシングデバイス 形トレー リモート機 IRカメラ 補助的情報
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年9月8日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (16)

課題

拡張作業空間で行われる手書き入力内容に応じてインタラクティブに作業を実施することの可能な情報処理装置を提供する。

解決手段

本開示の情報処理装置は、実体仮想オブジェクトとを操作可能な拡張作業空間内において入力された入力情報に基づいて、入力情報に対応する付加情報を決定する解析部と、入力情報への新たな操作入力を受けて、付加情報を用いて当該拡張作業空間に対して表示される仮想オブジェクトの表示制御を行う表示制御部と、を備える。

概要

背景

紙の上にペン文字を書く、キッチンの上で食材を切る、カードゲームで遊ぶといった、実際に触ることのできる実体を伴った行為と、パソコンスマートフォンのようにデジタル情報を用いて行う行為とは、同一空間で行うことができない。しかし、将来的には実世界の上に例えばプロジェクタ等を用いてデジタル情報を重畳することで、実世界とデジタル情報の世界とを融合した空間での作業ができるようになると考えられる。例えば、紙の上に数式を記述することでグラフ自動生成する、料理に合わせて食材を適切に切られるようカットラインプロジェクションすることが考えられる。このような処理を実現するためのARアプリケーションとして、例えば特許文献1等に開示された技術がある。

実世界の上にデジタル情報を提示する先行技術としては、例えば、プロジェクタや、シースル型のHMD(Head Mount Display)、スマートフォン等のカメラ内蔵型ディスプレイなどを用いた技術がある。このような実世界とデジタル情報とが融合された作業空間を、以下、拡張作業空間と称する。

概要

拡張作業空間で行われる手書き入力内容に応じてインタラクティブに作業を実施することの可能な情報処理装置を提供する。本開示の情報処理装置は、実体と仮想オブジェクトとを操作可能な拡張作業空間内において入力された入力情報に基づいて、入力情報に対応する付加情報を決定する解析部と、入力情報への新たな操作入力を受けて、付加情報を用いて当該拡張作業空間に対して表示される仮想オブジェクトの表示制御を行う表示制御部と、を備える。

目的

このような情報の表示制御によるフィードバックにより、インタラクティブな操作を実現し、ユーザに対して直観的にわかりやい、興味を引くような情報を提供する

効果

実績

技術文献被引用数
1件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

実体仮想オブジェクトとを操作可能な拡張作業空間内において入力された入力情報に基づいて、前記入力情報に対応する付加情報を決定する解析部と、前記入力情報への新たな操作入力を受けて、前記付加情報を用いて当該拡張作業空間に対して表示される仮想オブジェクトの表示制御を行う表示制御部と、を備える、情報処理装置

請求項2

前記解析部は、前記拡張作業空間内においてユーザが手書き入力した筆跡を認識し、当該入力情報に対応する前記付加情報を決定する、請求項1に記載の情報処理装置。

請求項3

前記解析部は、ユーザが手書き入力した前記筆跡を、手書き入力を行う筆記用機器から発信される信号処理を行う入力検出デバイスから受信する、請求項2に記載の情報処理装置。

請求項4

前記筆記用機器は、仮想的な筆記入力が可能であり、前記解析部は、前記仮想的な筆記入力の筆跡を認識し、当該筆跡を前記付加情報とする、請求項3に記載の情報処理装置。

請求項5

前記解析部は、前記拡張作業空間内に存在する実体に含まれる情報を入力情報として認識し、当該入力情報に対応する前記付加情報を決定する、請求項1に記載の情報処理装置。

請求項6

前記付加情報は、前記仮想オブジェクトを表示するか否かを判定するための情報である、請求項1に記載の情報処理装置。

請求項7

前記仮想オブジェクトは、前記解析部により認識された前記入力情報に関連する情報である、請求項1に記載の情報処理装置。

請求項8

前記拡張作業空間内において実体に対して表示されている仮想オブジェクトの位置情報を、当該仮想オブジェクトに関連する前記拡張作業空間内の実体に固有物体座標系に変換する座標処理部をさらに備え、前記拡張作業空間において前記実体を移動する操作入力があったとき、前記表示制御部は、当該物体の移動に応じて前記仮想オブジェクトの表示位置を移動させる、請求項1に記載の情報処理装置。

請求項9

実体と仮想オブジェクトとを操作可能な拡張作業空間内において入力された入力情報に基づいて、前記入力情報に対応する付加情報を決定すること、前記入力情報への新たな操作入力を受けて、前記付加情報を用いて当該拡張作業空間に対して表示される仮想オブジェクトの表示制御を行うこと、を含む、情報処理方法

請求項10

コンピュータに、実体と仮想オブジェクトとを操作可能な拡張作業空間内において入力された入力情報に基づいて、前記入力情報に対応する付加情報を決定する解析部と、前記入力情報への新たな操作入力を受けて、前記付加情報を用いて当該拡張作業空間に対して表示される仮想オブジェクトの表示制御を行う表示制御部と、を備える、情報処理装置として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体

技術分野

0001

本開示は、情報処理装置情報処理方法およびコンピュータ読み取り可能な記録媒体に関する。

背景技術

0002

紙の上にペン文字を書く、キッチンの上で食材を切る、カードゲームで遊ぶといった、実際に触ることのできる実体を伴った行為と、パソコンスマートフォンのようにデジタル情報を用いて行う行為とは、同一空間で行うことができない。しかし、将来的には実世界の上に例えばプロジェクタ等を用いてデジタル情報を重畳することで、実世界とデジタル情報の世界とを融合した空間での作業ができるようになると考えられる。例えば、紙の上に数式を記述することでグラフ自動生成する、料理に合わせて食材を適切に切られるようカットラインプロジェクションすることが考えられる。このような処理を実現するためのARアプリケーションとして、例えば特許文献1等に開示された技術がある。

0003

実世界の上にデジタル情報を提示する先行技術としては、例えば、プロジェクタや、シースル型のHMD(Head Mount Display)、スマートフォン等のカメラ内蔵型ディスプレイなどを用いた技術がある。このような実世界とデジタル情報とが融合された作業空間を、以下、拡張作業空間と称する。

先行技術

0004

特開2010−238098号公報

発明が解決しようとする課題

0005

実世界での入力情報をデジタル情報としてダイレクトに取得できる入力システムのひとつに、手書きの筆跡を認識してデジタル情報とする手書き筆跡入力システムがある。この入力システムは、赤外線信号もしく超音波信号発信する電子ペンから発信される各信号を受信部で受信し、各信号の受信結果より電子ペンの位置座標を算出することで、電子ペンの筆跡をデジタル情報で表すものである。このような入力システムを用いることで、実世界とデジタル情報とが融合された拡張作業空間内で実施可能な作業のバリエーションをさらに増やすことができると考えられる。

0006

そこで、本開示では、拡張作業空間で行われる手書き入力内容に応じてインタラクティブに作業を実施することの可能な、新規かつ改良された情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体を提案する。

課題を解決するための手段

0007

本開示によれば、実体と仮想オブジェクトとを操作可能な拡張作業空間内において入力された入力情報に基づいて、入力情報に対応する付加情報を決定する解析部と、入力情報への新たな操作入力を受けて、付加情報を用いて当該拡張作業空間に対して表示される仮想オブジェクトの表示制御を行う表示制御部と、を備える、情報処理装置が提供される。

0008

本開示によれば、拡張作業空間において認識された入力情報に対応する付加情報を拡張作業空間に反映するとともに、反映された付加情報に対する操作入力に応じて仮想オブジェクトの表示を制御する。このような情報の表示制御によるフィードバックにより、インタラクティブな操作を実現し、ユーザに対して直観的にわかりやい、興味を引くような情報を提供することができる。

0009

また、本開示によれば、実体と仮想オブジェクトとを操作可能な拡張作業空間内において入力された入力情報に基づいて、入力情報に対応する付加情報を決定すること、入力情報への新たな操作入力を受けて、付加情報を用いて当該拡張作業空間に対して表示される仮想オブジェクトの表示制御を行うこと、を含む、情報処理方法が提供される。

0010

さらに、本開示によれば、コンピュータに上記情報処理装置として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体が提供される。

発明の効果

0011

以上説明したように本開示によれば、拡張作業空間で行われる手書き入力内容に応じてインタラクティブに作業を実施することの可能な情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体を提供することができる。

図面の簡単な説明

0012

本開示の実施形態に係る拡張作業空間システムの一構成例を示す説明図である。
同実施形態に係る情報認識表示装置およびペン入力検出デバイス機能構成を示すブロック図である。
同実施形態に係る情報フィードバック処理を示すフローチャートである。
同実施形態に係る情報フィードバック処理を適用した情報表示例を示す説明図である。
同実施形態に係る情報フィードバック処理を適用した学習アシスト機能を示す説明図である。
デジタル情報により表示された電卓における情報フィードバック処理の一例を示す説明図である。
拡張作業空間システムにおけるキャリブレーション方法を示す説明図である。
同実施形態に係る情報認識表示装置によるデジタル情報のトラッキング表示処理を示すフローチャートである。
同実施形態に係る情報認識表示装置によるデジタル情報のトラッキング表示の一例を示す説明図である。
デジタル情報の消去方法の一例を示す説明図である。
リモート機能を用いた作業アシスタントの一例として、実際にテキストブックを用いて勉強している生徒の学習アシスタントを行う例を示す説明図である。
物体物理的操作によるデジタル情報の消去方法の一例を示す説明図である。
物体の物理的操作による物体へのデジタル情報表示の一例を示す説明図である。
物体の物理的操作による物体の動きに応じたデジタル情報の移動の一例を示す説明図である。
情報処理部の一ハードウェア構成を示すブロック図である。

実施例

0013

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

0014

なお、説明は以下の順序で行うものとする。
1.本開示の実施形態
1.1.拡張作業空間システムの構成例
1.2.情報認識表示装置の機能構成
1.3.入力情報に対応した情報フィードバック処理
1.4.キャリブレーションへの適用
1.5.デジタル情報のトラッキング表示
1.6.リモート機能
1.7.デジタル情報の物理的操作
2.ハードウェア構成例

0015

<1.本開示の実施形態>
[1.1.拡張作業空間システムの構成例]
まず、図1を参照して、本開示の実施形態に係る拡張作業空間システムの構成例について説明する。なお、図1は、本実施形態に係る拡張作業空間システムの一構成例を示す説明図である。

0016

本実施形態に係る拡張作業空間システムは、実世界に存在する実物を認識可能であるとともに、デジタル情報を実世界に重畳し、実世界とデジタル情報とが融合する拡張作業空間を構築するシステムである。拡張作業空間システムは、例えば、デジタル情報を拡張作業空間に投影するプロジェクタや、拡張作業空間を撮影するカメラ、拡張作業空間で行われたタッチピンチインピンチアウト等のジェスチャ認識を行うセンシングデバイス無線通信装置から構成される。

0017

例えば図1に示すように、卓上を作業面2とし、プロジェクタ、カメラ、無線通信装置、センシングデバイスを備えた情報認識表示装置100を卓上に設置して作業面2にデジタル情報を投影することで、拡張作業空間を構築することができる。情報認識表示装置100は、作業面2を含む空間をカメラで撮影し、作業面2で行われるユーザのジェスチャをセンシングデバイスにより認識する。また、プロジェクタによりデジタル情報を作業面2に投影し、実世界に存在する物体にデジタル情報を重畳する。

0018

拡張作業空間システムにおいて、図1の例では、卓上にプロジェクタを備える情報認識表示装置100を設置して作業面2にデジタル情報を投影しているが、プロジェクタは卓上に設置されるデスクライトスタンド天井照明、あるいは壁等に設置してもよい。また、プロジェクタによりデジタル情報を投影する代わりに、例えば、カメラが内蔵されたHMD(Head Mount Display)やシースル型のHMD等のようにメガネ型のデバイスを用いてもよい。このとき、拡張作業空間に重畳されるデジタル情報は、ユーザが装着するメガネ型のディスプレイ上に重畳される。また、プロジェクタの代替としてカメラおよびディスプレイが内蔵されたスマートフォン等のデバイスを用いて、ディスプレイに表示された、カメラにより撮影されているスルー画像の上に、デジタル情報を重畳して表示してもよい。

0019

また、センシングデバイスには、例えば作業面2に対して並行照射された赤外線を検出するIRカメラや、ステレオカメラ奥行き情報を取得可能な特殊センサ等で用いてもよい。また、センシングデバイスには、指等の作業面2への接触を検出するタッチセンサや、図1に示すように、超音波と赤外線とを用いてデジタルペン200による筆跡の座標を取得可能なペン入力検出デバイス210を用いてもよい。なお、筆跡の座標は、デジタルペン200を用いなくとも、通常のペンの筆跡をカメラ等の別のセンサで検出してもよい。

0020

無線通信装置には、例えばBluetooth(登録商標)、Wi‐fi(登録商標)、NFC(Near Field Communication)等の外部デバイス通信可能な装置が用いられる。

0021

なお、本実施形態に係る拡張作業空間システムにおいては、プロジェクタの投影領域と、デジタルペン200の動きをトラッキングする領域とが同一空間に存在し、これらの関係が既知であるとする。これらの関係は、キャリブレーションにより取得することができる。

0022

[1.2.情報認識表示装置の機能構成]
次に、図2に基づいて、情報認識表示装置100およびペン入力検出デバイス210の機能構成について説明する。なお、図2は、本実施形態に係る情報認識表示装置100およびペン入力検出デバイス210の機能構成を示すブロック図である。まず、本実施形態に係る情報認識表示装置100は、投影部110と、検出部120と、撮像部130と、情報処理部140と、通信部150とから構成される。

0023

投影部110は、デジタル情報を拡張作業空間に投影する機能部であり、図1で説明したプロジェクタ等により実現される。投影部110は、後述する情報処理部140からの表示指示を受けて、投影部110が設置されている拡張作業空間にデジタル情報を表示する。

0024

検出部120は、拡張作業空間における動き情報を検出する。検出部120は、例えば図1で説明したセンシングデバイス等により実現される。検出部120は、検出結果を後述する情報処理部140へ出力する。

0025

撮像部130は、拡張作業空間を撮影する機能部であり、図1で説明したカメラ等により実現される。撮像部130は、撮像画像を後述する情報処理部140へ出力する。

0026

情報処理部140は、拡張作業空間における物体の位置や動きを解析し、解析結果に対応して当該拡張作業空間におけるデジタル情報の表示処理を行う。情報処理部140は、図2に示すように、解析部142と、座標処理部144と、表示制御部146と、設定記憶部148とを備える。

0027

解析部142は、検出部120の検出結果および撮像部130による撮像画像のうち少なくともいずれか一方の情報に基づいて、拡張作業空間における物体の位置や動きを解析する。例えば、解析部142は、検出部120による検出結果よりユーザの手の動きの変化を算出する。そして、解析部142は、設定記憶部148を参照し、特定したユーザの手の動きの変化から、拡張作業空間においてユーザが行ったタッチやピンチイン、ピンチアウト等のジェスチャを特定する。解析部142による解析結果はユーザが拡張作業空間で行った操作入力情報であり、当該解析結果に基づいて仮想作業空間へデジタル情報が表示される。

0028

また、解析部142には、通信部150を介して、後述するデジタルペン200の入力を検出するペン入力検出デバイス210からの入力情報が入力される。ユーザがデジタルペン200を用いて文字列や図形等を描くと、ペン入力検出デバイス210によって描いた内容が認識され、認識された内容が入力情報として情報認識表示装置100へ出力される。解析部142は、デジタルペン200による入力情報より、拡張作業空間内に投影されているデジタル情報および同空間内にある実物との位置関係を解析し、デジタルペン200による入力情報をこれらに対応付ける。解析部142は、解析結果を座標処理部144および表示制御部146へ出力する。なお、入力情報は、予め実体に記載されている情報を物体認識して取得してもよい。

0029

座標処理部144は、拡張作業空間内にあるデジタル情報や実物、デジタルペン200による入力情報について、空間内での位置を同一座標系に変換する。座標処理部144により同一座標系で各情報の表示位置を把握することで、異なる情報の表示位置を同時に同一方向に移動させる等の表示処理を容易にすることができる。座標処理部144は、座標処理結果を表示制御部146へ出力する。

0030

表示制御部146は、解析部142の解析結果に基づいて、拡張作業空間のデジタル情報の表示処理を行う。表示制御部146は、例えばデジタルペン200からの入力情報に対してユーザが動作を行ったとき、動作に応じたフィードバックを行う。表示制御部146のフィードバック内容は、投影部110を介して拡張作業空間に表示される。

0031

設定記憶部148は、情報処理部140にて行われる解析や各種情報座標系統一するために必要な情報を記憶する。設定記憶部148に記憶された情報を参照して、例えば解析部142はユーザが拡張作業空間で行った操作入力情報を特定し、座標処理部144は拡張作業空間における各情報の座標変換処理を行う。

0032

通信部150は、ペン入力検出デバイス210と情報の送受信をする。これにより、デジタルペン200による手書き入力情報も拡張作業空間内の情報の1つとして認識することができる。また、通信部150は、他の拡張作業空間の情報認識表示装置100とも情報の送受信をする。通信部150により、他の拡張作業空間の情報認識表示装置100との情報のやり取りが可能となることで、互いの拡張作業空間の状況をそれぞれの空間に反映させることができる。

0033

次に、本実施形態に係る拡張作業空間で使用されるデジタルペン200およびペン入力検出デバイス210の構成について説明する。

0034

デジタルペン200は、ユーザが文字等を書くために用いる筆記用機器であり、実際にインク吐出するペン先を紙等に押し付けることで文字等を書くことができる。デジタルペン200は、筆記中にペン先から赤外線信号および超音波信号を発信しており、ペン入力検出デバイス210により受信される。

0035

また、本実施形態に係るデジタルペン200は、ペン先からインクを吐出するオン状態と、ペン先からインクを吐出しないオフ状態とを切り替え可能に構成してもよい。これにより、紙等に文字を記載するときにはデジタルペン200をオン状態とし、タップドラッグ等の操作を行うときにはデジタルペン200をオフ状態として使用することで、デジタルペン200により入力可能な情報を広げることができる。デジタルペン200のオンオフ切り替え機構には、例えばペン先と反対側にスイッチ機構を設けたノック式把持部分近辺にボタンを設けるボタン式等を用いることができる。

0036

ペン入力検出デバイス210は、デジタルペン200から出力される信号を受信して、デジタルペン200のペン先の動きを割り出す装置である。ペン入力検出デバイス210は、信号受信部212と、信号処理部214と、入力情報送信部216とからなる。信号受信部212は、デジタルペン200から出力された赤外線信号および超音波信号を受信し、信号処理部214へ出力する。信号処理部214は、所定の時間間隔で、赤外線信号および超音波信号の受信時間差に基づきペン先の動きを算出する。信号処理部214は、この演算によりペン先の位置を都度特定する。特定された位置を点として連続的に表示することにより、滑らかな線を表すことができる。信号処理部214により特定されたペン先の位置情報は入力情報送信部216へ出力され、入力情報送信部216から情報認識表示装置100の通信部150を介して解析部142へ送信される。

0037

[1.3.入力情報に対応した情報フィードバック処理]
本実施形態に係る拡張作業空間システムでは、拡張作業空間において認識された入力情報に対応する付加情報を拡張作業空間に反映するとともに、反映された付加情報に対する操作入力に応じて仮想オブジェクトの表示を制御する。このような情報の表示制御によるフィードバックにより、インタラクティブな操作を実現し、ユーザに対して直観的にわかりやい、興味を引くような情報を提供することができる。

0038

まず、図3および図4に基づいて、本実施形態に係る情報フィードバック処理について説明する。なお、図3は、本実施形態に係る情報フィードバック処理を示すフローチャートである。図4は、本実施形態に係る情報フィードバック処理を適用した情報表示例を示す説明図である。なお、以下では、入力情報を認識して設定されるデジタル情報を付加情報とし、入力情報に対する操作入力を受けて付加情報を用いて表示されるデジタル情報を仮想オブジェクトとする。

0039

本実施形態に係る情報フィードバック処理では、図3に示すように、まず、情報認識表示装置100により、拡張作業空間における入力情報が認識される(S100)。ステップS100では、デジタルペン200等により実際に紙に書かれた文字や図形等を入力情報として認識する。例えば、図4上に示すように、紙4にデジタルペン200で絵300が描かれるとする。このとき、デジタルペン200から発信される各信号はペン入力検出デバイス210で受信され、筆跡が入力情報として情報認識表示装置100へ出力される。

0040

入力情報を受けた情報認識表示装置100は、認識した入力情報に対応する付加情報が解析部142によって拡張作業空間に反映される(S110)。すなわち、情報認識表示装置100は、入力情報を認識すると、当該入力情報への操作入力に対するフィードバックを行うために、付加情報を拡張作業空間に与える。付加情報は、ユーザが視認可能な情報であってもよく、視認できない情報であってもよい。図4の例では、解析部142は、紙4に描かれた絵300の輪郭で囲まれた領域を認識領域310として設定し、情報を付加する。情報認識表示装置100は、認識領域310として設定したことをユーザに明示するために認識領域310内あるいは輪郭に色を付ける等してもよく、認識領域310を明示的に示さなくてもよい。

0041

その後、情報認識表示装置100は、入力情報に対して操作入力が行われたか否かを定期的に判定し(S120)、操作入力があったと判定したとき、付加情報を用いて操作入力に応じた情報を表示制御によりフィードバックする(S130)。フィードバックされる情報は、入力情報の内容とその入力情報に対する付加情報とに基づき決定されており、設定記憶部148に予め記憶されている。図4には2つのフィードバック例を示している。例えば、ユーザが紙4に記載された絵300の内部、すなわち認識領域310に指をタッチさせると、吹き出し320が表示するフィードバックをしてもよい(パターン1)。あるいは、同様にユーザが紙4に記載された絵300の内部に指をタッチさせると、絵300の色を変更するフィードバックをしてもよい(パターン2)。

0042

以上、本実施形態に係る情報フィードバック処理について説明した。ユーザが手書きで入力した情報に対して、新たな情報をフィードバックすることで、インタラクティブな操作を実現し、ユーザに対して直観的にわかりやい、興味を引くような情報を提供することができる。また、本技術は、情報認識表示装置100が認識する入力情報と、付加情報が付加された後に当該入力情報に対して入力される操作入力とは内容的に独立した、直接的な関連性がないものであってもよい。例えば、図3のように、描かれた絵という入力情報と、吹き出しを表示させるために絵にタッチするという操作入力とは、連続した内容ではない。しかし、これにより、最初に入力された情報に対して新たな情報を提供することができ、拡張作業空間における情報の展開をより一層広げることが可能となる。

0043

このような情報フィードバック処理は、図4に示した例以外にも、例えば、図5に示すように教育用アプリケーションへ適用することもできる。図5の例では、紙4に実際にインクで書かれた内容(301a、301b)に対して、補助的情報をデジタル情報(細線で示す情報、401a、401b)により表示して、ユーザの作業をアシストしている。数学の例では、答案用紙に記載された数式に回答を表示したり、図形に補助線を示したりして、正解を伝えたり正解を導くための情報を提供している。また、スペルガイドの例では、紙4上に正しいスペルをデジタル情報402で表示し、ユーザにデジタル情報の上をペンでなぞらせる(符号302で示す線)というようにユーザをアシストしている。あるいは、ドローイングの例では、絵の下書きをデジタル情報403で表示してユーザにデジタル情報の上をペンでなぞらせたり(符号303で示す線)、描きかけの絵に対して完成に近づけるためのラインをデジタル情報で表示したりして、ユーザをアシストしている。

0044

また、本実施形態に係る情報フィードバック処理は、図6に示すような手書きの入力装置において、ユーザがタッチした領域に対してフィードバックする処理にも適用できる。図6には、紙4に手書きで記載された電卓304を示している。この電卓304は、拡張作業空間内において、情報認識表示装置100により各キーが認識され、それぞれに対して付加情報として認識領域が設定される。その後ユーザが紙4上のキーにタッチすると、タッチした認識領域に対応するキーの色が変わるというフィードバックがある。このように、本実施形態に係る情報フィードバック処理により、ユーザに自身の操作入力をわかりやすく伝えることもできる。

0045

[1.4.キャリブレーションへの適用]
上述したように、本実施形態に係る拡張作業空間システムにおいては、プロジェクタの投影領域と、デジタルペン200の動きをトラッキングする領域とが同一空間に存在し、これらの関係を、キャリブレーションにより予め取得しておく。キャリブレーションの方法としては、例えば、図7上に示すように、拡張作業空間に置かれた紙4の四隅に指定されている4つのポイントP1〜P4をデジタルペンで指定する方法がある。

0046

また、本実施形態に係る拡張作業空間システムでは、上述の情報フィードバック処理を応用して、図形トレースによるキャリブレーションを実施することもできる。かかるキャリブレーション方法では、例えば拡張作業空間に紙4が置かれたときに当該紙4上に任意の図形405をプロジェクタにより投影し表示させる。そして、表示された図形をデジタルペン200や指等によってなぞらせることでキャリブレーションを実施する。

0047

デジタル情報の投影面に傾きがある場合、情報認識表示装置100を設置する度に当該キャリブレーションを実行する必要がある。図形トレースによるキャリブレーションは、ユーザが簡単に行うことができるとともに、例えば拡張作業空間における入力のアンロック状態解除するためのジェスチャ入力としても用いることもできる。この場合、ユーザは1つのジェスチャ入力を行うことでキャリブレーションと入力アンロック状態解除という2つの処理を実行させることができ、ユーザの入力負荷を軽減することもできる。

0048

[1.5.デジタル情報のトラッキング表示]
本実施形態に係る拡張作業空間システムでは、デジタルペン200を用いた情報の入力が可能である。上述したように、本実施形態に係るデジタルペン200は、オンオフの切り替え機構によりインクの吐出を制御することができる。ユーザは、インクを吐出させて紙4に実際に文字等を書くことも可能であり、インクを吐出させずにタッチ等の入力操作を行ったり実際のインクではなくデジタル情報として表示される文字等を書いたりすることも可能である。

0049

インクの吐出をオフ状態にした場合、情報認識表示装置100は、デジタルペン200の用途をユーザに確認する確認情報を拡張作業空間に表示させてもよい。確認情報は、例えば「手書き入力を行いますか?」という問いに対してYES/NOで用途を選択できるようなものであってもよい。YESが選択されれば、情報認識表示装置100は、デジタルペン200の動きを解析した結果、手書き入力された情報を、情報デジタル情報として拡張作業空間に表示する。一方、NOが選択されれば、情報認識表示装置100は、デジタルペン200の動きは操作入力としてのものであると認識し、操作入力に応じた処理を実行する。

0050

ここで、インクの吐出をオフにした状態でデジタルペン200による手書き入力が行われている状態を考える。このとき、デジタルペン200での手書き入力に対応して表示されるデジタル情報が拡張作業空間内の物体に投影されていると、当該物体とデジタル情報とは独立しているため、物体を移動してもデジタル情報は現在の表示位置に残り続けることになる。そうすると、ユーザが物体に文字をデジタル情報として書いたつもりであっても、物体の移動とともに文字が移動しないというユーザの意図しない状況が生じる可能性がある。

0051

そこで、本実施形態に係る情報認識表示装置100は、拡張作業空間内の物体を認識し、デジタルペン200による手書き入力が行われている物体をトラッキングする。情報認識表示装置100は、当該物体に手書き入力されたデジタル情報を、トラッキングしている物体の移動に合わせて移動させる処理を行うことで、物体に書かれた情報として当該デジタル情報をユーザに認識させる。以下、図8および図9に基づいて、かかる処理を詳細に説明する。なお、図8は、本実施形態に係る情報認識表示装置100によるデジタル情報のトラッキング表示処理を示すフローチャートである。図9は、本実施形態に係る情報認識表示装置100によるデジタル情報のトラッキング表示の一例を示す説明図である。

0052

まず、図8に示すように、情報認識表示装置100は、拡張作業空間内の物体を認識する(S200)。ステップS200では、拡張作業空間内にある、例えば紙やテキスト、本等の物体を認識する、物体認識は、画像認識等により行うことができる。このとき、拡張作業空間における物体の位置および姿勢は、投影部110であるプロジェクタの投影座標系で認識されている。

0053

一方、ペン入力検出デバイス210は、デジタルペン200のペン先の位置情報より、デジタルペン200で手書き入力されたデジタル情報の入力座標を、情報認識表示装置100へ送信する(S210)。デジタルペン200により入力されたデジタル情報の入力座標は、デジタルペン200の動きを検出するペン入力検出デバイス210により定義されるデジタルペン入力座標系で表されている。

0054

ペン入力検出デバイス210からデジタルペン200により入力されたデジタル情報の入力座標を受信した情報認識表示装置100は、入力座標をデジタルペン入力座標系からプロジェクタ投影座標系に変換する(S220)。ステップS220では、デジタル情報の入力座標と物体の位置姿勢情報との座標系を合わせる処理を行っている。

0055

さらに情報認識表示装置100は、プロジェクタ投影座標系に変換されたデジタル情報の入力座標を、ステップS200で認識した物体の位置姿勢情報に基づき、当該物体中心の座標系に変換する(S230)。情報認識表示装置100は、ステップS220の処理により物体とデジタル情報との位置関係を把握することができる。そして、ステップS230にてデジタル情報の入力位置を当該物体基準の座標系で表すことで、物体が拡張作業空間内で移動したとしても、この物体の座標系でデジタル情報を表示することで、当該デジタル情報が物体とともに移動したように表示されるようになる。

0056

例えば、図9上に示すように、情報認識表示装置100により構築される拡張作業空間があり、その作業面2にデジタルペン200の出力信号を受信するペン入力検出デバイス210と紙4とが置かれている。紙4には、デジタルペン200によりデジタル情報として手書き入力された文字406が表示されている。すなわち、文字406は実際に紙4に記載されたものではなく、紙4とは独立している。このとき、情報認識表示装置100は、プロジェクタ座標系における紙4の位置姿勢情報を取得するとともに、文字406の入力座標をデジタルペン入力座標系からプロジェクタ座標系に変換した後、さらに紙4を中心とする座標系に変換する。

0057

このような状態で、情報認識表示装置100は紙4をトラッキングしている。そして、図9下に示すように紙4が回転されると、情報認識表示装置100は紙4の回転を検出してプロジェクタ座標系における紙4の新たな位置姿勢情報を取得する。そして、情報認識表示装置100は、紙4の位置姿勢の変化に伴って、変化量分だけ紙4の中心座標系に基づき文字406の表示位置を変更する。これにより、紙4の上に表示されている文字406も紙4と一体に移動して表示されるので、違和感のない表示をユーザに提供することができる。

0058

なお、例えばデジタルペン200によりデジタル情報として手書き入力された文字等は、デジタルペン200による入力と、情報認識表示装置100により認識されるユーザの手や腕等の形状等を組み合わせることで、消去できるようにしてもよい。例えば、図10に示すように、拡張作業空間の作業面2に、デジタルペン200により手書き入力されたデジタル情報の図形407が投影部110により表示されているとする。ここで、ユーザが指を作業面2に接触させて図形407上で指を周期的に動かしていることが認識されると、情報認識表示装置100は、指が動かされている部分の図形407を非表示とする。これにより、デジタルペン200により入力されたデジタル情報が消去されたように表現することができる。

0059

[1.6.リモート機能]
本実施形態に係る拡張作業空間システムは、複数の拡張作業空間の情報を互いに表示するリモート機能を備えてもよい。リモート機能により、遠隔あるユーザによる協調作業や作業アシスタントが可能となる。リモート機能を用いた作業アシスタントの一例として、図11に実際にテキストブックを用いて勉強している生徒の学習アシスタントを行う例を示す。

0060

図11左に示すように、生徒が数学のテキストブック5を用いて勉強しているとする。テキストブック5は、情報認識表示装置100により構築される拡張作業空間の作業面2に置かれている。生徒の学習の様子は、情報認識表示装置100の撮像部120によって、遠隔にある教師が見ることができるようになっている。このとき、教師側にも情報認識表示装置が設置されて拡張作業空間が構築されており、生徒側の情報認識表示装置100と教師側の情報認識表示装置とは情報を通信可能に接続されている。

0061

教師は、生徒の学習が進まない様子を見ると、教師側の拡張作業空間でデジタルペンなどを用いて問題を解くためのヒントとなる情報を書く。教師の入力情報は、教師側の情報認識表示装置から生徒側の情報認識表示装置100へ送信され、図11中央に示すように、生徒側の拡張作業空間に教示される。このとき、教師側と生徒側では拡張作業空間のプロジェクタ座標系を一致させておくことで、テキストブック5の内容に対応した位置に教師の入力情報が表示される。このようにリモート機能を用いることで、遠隔にある教師が生徒の学習をアシストすることが可能になる。

0062

また、生徒の学習補助機能として、例えば図11右に示すように、図6に示したような電卓304を必要に応じて拡張作業空間に表示させて使用することもできる。生徒は、例えばダブルタップ等の所定のジェスチャを行ったり、操作メニュー等を表示させて電卓表示の項目を選択したりして、電卓304を拡張作業空間の作業面に表示させる。このように、必要な機器をデジタル情報として表示して使用できることで、実際の機器を用意する必要がなくなり利便性を高めることができる。

0063

[1.7.デジタル情報の物理的操作]
拡張作業空間に表示されるデジタル情報は、拡張作業空間内に存在する紙等の実際の物体を用いる物理法則に従った操作により操作できるようにしてもよい。この場合、情報認識表示装置100は、拡張作業空間において認識された実際の物体と、当該物体に対して行われた操作とに基づいて、拡張作業空間に表示されているデジタル情報の表示処理を行う。

0064

(1)デジタル情報の消去
例えば、図12左に示すように、拡張作業空間にある紙4の上に、デジタル情報410が投影されているとする。なお、図12左および右の図では、上側に拡張作業空間の作業面2を上から見た状態を示しており、下側に拡張作業空間を側面から見た状態を示している。また、図12では、説明のため、紙4の上に表示されているデジタル情報410に厚みを持たせて示しているが、実際はデジタル情報410の厚みはなくてもよい。

0065

図12の例では、紙4に投影されたデジタル情報410の消去方法として、紙面重力方向に対して直交する状態から紙4を傾けたとき、デジタル情報410を消去するようにしてもよい。仮にデジタル情報410を物体とすると、紙4を傾けることによって重力によって紙4上のデジタル情報410が傾斜に沿って落ちる。そこで、仮想の情報であるデジタル情報410についても、図12右に示すように、紙4の傾きによってデジタル情報がこぼれ落ち紙4上から消えるようにすることで、ユーザは直観的にわかりやすい操作でデジタル情報を消去させることができる。

0066

(2)物体へのデジタル情報表示
また、拡張作業空間に存在する実際の物体に対してデジタル情報を表示する際に、物体自体にデジタル情報が記載されているような表示方法を提示することもできる。例えば図13に示すように、拡張作業空間の作業面2に、表面4aに問題311が印字された紙4が置かれているとする。ユーザが紙4をめくり裏面4bをみると、裏面4bに問題311の解答がデジタル情報411により表示される。このように、実際には印字されていない紙4の裏面4bにデジタル情報411を表示させることで、ユーザに直観的に情報を提示することができる。

0067

(3)物体の動きに応じたデジタル情報の移動
さらに、拡張作業空間に表示されたデジタル情報を、当該空間内にある物体によって移動させるようにしてもよい。例えば図14上に示すように、拡張作業空間の作業面2にデジタル情報412が投影されているとする。次いで、実際の物体、例えば紙4が拡張作業空間に持ち込まれ、作業面2に投影されているデジタル情報412が当該紙4の上に表示されるように置かれたとする。図12中央に示すように、デジタル情報412は紙4上に表示されると、情報認識表示装置100は、デジタル情報412を紙4と一体に移動させるように取り扱う。

0068

その後、図12中央に示す状態から図12下に示すように、紙4を左から右へ移動させると、紙4上に表示されているデジタル情報412も紙4の移動に伴って移動する。このような処理により、デジタル情報412を紙4の上に載せて運ぶような直観的な操作が実現でき、ユーザは直観的にわかりやすい操作でデジタル情報412を移動させることができる。なお、ここではデジタル情報412を紙4の上に載せて移動させるという処理を説明したが、図12中央に示す状態においてデジタル情報412を紙4にコピーさせる処理を行うようにしてもよい。この場合、図12下に示すように紙4を移動させると、紙4とともに移動するデジタル情報412が紙4上に表示されているとともに、作業面2の元の表示位置にもデジタル情報412が表示される。

0069

図12図14に示したようなデジタル情報の操作において、デジタル情報を操作する物体は紙4以外であってもよく、例えばタブレット端末やスマートフォン、電子ペーパー等であってもよい。

0070

<2.ハードウェア構成例>
上述の実施形態に係る情報認識表示装置100の情報処理部140による処理は、ハードウェアにより実行させることもでき、ソフトウェアによって実行させることもできる。この場合、情報処理部140は、図15に示すように構成することもできる。以下、図15に基づいて、情報処理部140の一ハードウェア構成例について説明する。

0071

情報処理部140は、上述したように、コンピュータ等の処理装置により実現することができる。情報処理部140は、図15に示すように、CPU(Central Processing Unit)901と、ROM(Read Only Memory)902と、RAM(Random Access Memory)903と、ホストバス904aとを備える。また、情報処理部140は、ブリッジ904と、外部バス904bと、インタフェース905と、入力装置906と、出力装置907と、ストレージ装置(HDD)908と、ドライブ909と、接続ポート911と、通信装置913とを備える。

0072

CPU901は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理部140内の動作全般を制御する。また、CPU901は、マイクロプロセッサであってもよい。ROM902は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM903は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはCPUバスなどから構成されるホストバス904aにより相互に接続されている。

0073

ホストバス904aは、ブリッジ904を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス904bに接続されている。なお、必ずしもホストバス904a、ブリッジ904および外部バス904bを分離構成する必要はなく、一のバスにこれらの機能を実装してもよい。

0074

入力装置906は、マウスキーボードタッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、CPU901に出力する入力制御回路などから構成されている。出力装置907は、例えば、液晶ディスプレイ(LCD)装置、OLED(Organic Light Emitting Diode)装置およびランプなどの表示装置や、スピーカなどの音声出力装置を含む。

0075

ストレージ装置908は、情報処理部140の記憶部の一例であり、データ格納用の装置である。ストレージ装置908は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置908は、例えば、HDD(Hard Disk Drive)で構成される。このストレージ装置908は、ハードディスクを駆動し、CPU901が実行するプログラムや各種データを格納する。

0076

ドライブ909は、記憶媒体用リーダライタであり、情報処理部140に内蔵、あるいは外付けされる。ドライブ909は、装着されている磁気ディスク光ディスク光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体に記録されている情報を読み出して、RAM903に出力する。

0077

接続ポート911は、外部機器と接続されるインタフェースであって、例えばUSB(Universal Serial Bus)などによりデータ伝送可能な外部機器との接続口である。また、通信装置913は、例えば、通信網10に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置913は、無線LAN(Local Area Network)対応通信装置であっても、ワイヤレスUSB対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。

0078

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

0079

なお、上記実施形態において、情報処理部140は情報認識表示装置100に設けたが、本技術はかかる例に限定されず、例えばネットワークに接続されたサーバ上に設けてもよい。

0080

なお、以下のような構成も本開示の技術的範囲に属する。
(1)実体と仮想オブジェクトとを操作可能な拡張作業空間内において入力された入力情報に基づいて、前記入力情報に対応する付加情報を決定する解析部と、
前記入力情報への新たな操作入力を受けて、前記付加情報を用いて当該拡張作業空間に対して表示される仮想オブジェクトの表示制御を行う表示制御部と、
を備える、情報処理装置。
(2) 前記解析部は、前記拡張作業空間内においてユーザが手書き入力した筆跡を認識し、当該入力情報に対応する前記付加情報を決定する、前記(1)に記載の情報処理装置。
(3) 前記解析部は、ユーザが手書き入力した前記筆跡を、手書き入力を行う筆記用機器から発信される信号処理を行う入力検出デバイスから受信する、前記(2)に記載の情報処理装置。
(4) 前記筆記用機器は、仮想的な筆記入力が可能であり、
前記解析部は、前記仮想的な筆記入力の筆跡を認識し、当該筆跡を前記付加情報とする、前記(3)に記載の情報処理装置。
(5) 前記解析部は、前記拡張作業空間内に存在する実体に含まれる情報を入力情報として認識し、当該入力情報に対応する前記付加情報を決定する、前記(1)〜(4)のいずれか1項に記載の情報処理装置。
(6) 前記付加情報は、前記仮想オブジェクトを表示するか否かを判定するための情報である、前記(1)〜(5)のいずれか1項に記載の情報処理装置。
(7) 前記仮想オブジェクトは、前記解析部により認識された前記入力情報に関連する情報である、前記(1)〜(6)のいずれか1項に記載の情報処理装置。
(8) 前記拡張作業空間内において実体に対して表示されている仮想オブジェクトの位置情報を、当該仮想オブジェクトに関連する前記拡張作業空間内の実体に固有物体座標系に変換する座標処理部をさらに備え、
前記拡張作業空間において前記実体を移動する操作入力があったとき、前記表示制御部は、当該物体の移動に応じて前記仮想オブジェクトの表示位置を移動させる、前記(1)に記載の情報処理装置。

0081

2 作業面
100情報認識表示装置
110投影部
120 検出部
130撮像部
140情報処理部
142解析部
144座標処理部
146表示制御部
148 設定記憶部
150通信部
200デジタルペン
210ペン入力検出デバイス
212信号受信部
214信号処理部
216入力情報送信部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ