図面 (/)

技術 情報処理装置、情報処理システム、及びプログラム

出願人 沖電気工業株式会社
発明者 福島寛之
出願日 2015年9月28日 (6年1ヶ月経過) 出願番号 2015-189447
公開日 2017年4月6日 (4年7ヶ月経過) 公開番号 2017-067473
状態 特許登録済
技術分野 表示による位置入力 測量一般 移動体の位置、進路、高度又は姿勢の制御
主要キーワード 自己状態 吹き抜け構造 車輪機構 三次元位置センサ 出力状態情報 指定位置座標 飛行ロボット 目標位置座標
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年4月6日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (19)

課題

解決手段

情報処理装置であって、姿勢に応じた方向を指し示すポインティングデバイスが存在する実空間における、前記情報処理装置の位置、及び姿勢に係る自己情報の測定を行う自己測定部と、前記情報処理装置から見た前記ポインティングデバイスの相対位置、及び相対姿勢に係るポインティングデバイス情報の測定を行うポインティングデバイス測定部と、前記自己情報に基づいて、前記実空間と対応付けられた地図情報における前記情報処理装置の位置座標、及び姿勢を特定する自己特定部と、前記ポインティングデバイス情報と、記地図情報における前記情報処理装置の位置座標、及び姿勢とに基づいて、前記地図情報における前記ポインティングデバイスの位置座標、及び姿勢を特定するポインティングデバイス特定部と、を備える、情報処理装置。

概要

背景

複数種類センサにより得られる実空間の計測データから、空間上に存在する物体地形形状、サイズ等を電子データとして構築再現した三次元地図情報を利用するサービスロボット等が実用化されつつある。

例えば、下記特許文献1には、実空間に対して投射したレーザ光反射光観測することで環境の三次元情報を取得し、予め記憶しておいた三次元地図情報と比較することで、実空間における自己の位置を同定する移動ロボットが開示されている。

また、下記特許文献2には、実空間上に設置された識別用マーカを含む環境を画像として取得することで、実空間における自己の位置・姿勢を認識する移動ロボットが開示されている。さらに、下記特許文献2には、ユーザが音声地図情報への操作等の入力を行うことで移動ロボットの目標地点を指定することが開示されている。

概要

情報処理装置情報処理システム、及びプログラムを提供する。情報処理装置であって、姿勢に応じた方向を指し示すポインティングデバイスが存在する実空間における、前記情報処理装置の位置、及び姿勢に係る自己情報の測定を行う自己測定部と、前記情報処理装置から見た前記ポインティングデバイスの相対位置、及び相対姿勢に係るポインティングデバイス情報の測定を行うポインティングデバイス測定部と、前記自己情報に基づいて、前記実空間と対応付けられた地情報における前記情報処理装置の位置座標、及び姿勢を特定する自己特定部と、前記ポインティングデバイス情報と、記地情報における前記情報処理装置の位置座標、及び姿勢とに基づいて、前記地情報における前記ポインティングデバイスの位置座標、及び姿勢を特定するポインティングデバイス特定部と、を備える、情報処理装置。

目的

特開平4−216487号公報
特開2006−185240号公報






上記のような、ユーザが三次元地図情報における位置を指定する技術では、より直感的に位置の指定を行えるようにすることが望まれていた

効果

実績

技術文献被引用数
1件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

情報処理装置であって、姿勢に応じた方向を指し示すポインティングデバイスが存在する実空間における、前記情報処理装置の位置、及び姿勢に係る自己情報の測定を行う自己測定部と、前記情報処理装置から見た前記ポインティングデバイスの相対位置、及び相対姿勢に係るポインティングデバイス情報の測定を行うポインティングデバイス測定部と、前記自己情報に基づいて、前記実空間と対応付けられた地図情報における前記情報処理装置の位置座標、及び姿勢を特定する自己特定部と、前記ポインティングデバイス情報と、前記地図情報における前記情報処理装置の位置座標、及び姿勢とに基づいて、前記地図情報における前記ポインティングデバイスの位置座標、及び姿勢を特定するポインティングデバイス特定部と、を備える、情報処理装置。

請求項2

前記情報処理装置は、前記地図情報における前記ポインティングデバイスの位置座標、及び姿勢と、前記地図情報とに基づいて、前記地図情報における、前記ポインティングデバイスが指し示す指示位置座標の特定を行う指示位置座標処理部をさらに備える、請求項1に記載の情報処理装置。

請求項3

前記ポインティングデバイス情報は画像情報を含み、前記指示位置座標処理部は、前記ポインティングデバイス情報に基づいて、前記ポインティングデバイスから前記ポインティングデバイスが指し示す方向に出力される光により前記実空間に表示された指示位置を検出し、さらに前記指示位置に基づいて、前記指示位置座標の特定を行う、請求項2に記載の情報処理装置。

請求項4

前記情報処理装置は、前記情報処理装置から見た、飛行ロボットの相対位置に係る飛行ロボット情報を測定する飛行ロボット測定部と、前記飛行ロボット情報と、前記地図情報における前記情報処理装置の位置座標、及び姿勢とに基づいて、前記地図情報における前記飛行ロボットの位置座標を特定する飛行ロボット位置特定部と、特定された前記飛行ロボットの位置座標に基づいて、前記飛行ロボットの位置を制御するための制御パラメータを特定する、飛行ロボット位置制御部と、をさらに備える、請求項1に記載の情報処理装置。

請求項5

前記情報処理装置は、前記飛行ロボットへの前記制御パラメータの送信、及び前記ポインティングデバイスからの距離パラメータの受信を行う通信部と、前記地図情報における前記ポインティングデバイスの位置座標、及び姿勢と、前記地図情報と、前記距離パラメータとに基づいて、前記地図情報における、前記ポインティングデバイスが指し示す指示位置座標の特定を行う指示位置座標処理部をさらに備え、前記飛行ロボット位置制御部は、さらに前記指示位置座標に基づいて、前記制御パラメータを特定する、請求項4に記載の情報処理装置。

請求項6

前記飛行ロボット位置制御部は、前記指示位置座標と前記飛行ロボットの位置座標との差分が小さくなるように前記制御パラメータを特定する、請求項5に記載の情報処理装置。

請求項7

前記情報処理装置は、前記ポインティングデバイスから、前記ポインティングデバイスによる光出力出力状態を示す出力状態情報を受信する通信部をさらに備え、前記指示位置座標処理部は、前記通信部により受信された前記出力状態に応じて、前記指示位置座標の特定を行う、請求項2、3、5、または6に記載の情報処理装置。

請求項8

前記指示位置座標処理部は、前記出力状態がオンであることを示す前記出力状態情報を、前記通信部が前記ポインティングデバイスから受信した場合に、前記指示位置座標の特定を行う、請求項7に記載の情報処理装置。

請求項9

前記情報処理装置は、前記ポインティングデバイスから、座標設定要求を受信する通信部をさらに備え、前記指示位置座標処理部は、前記通信部が前記ポインティングデバイスから前記座標設定要求を受信した場合に、前記指示位置座標をユーザにより指定された指定座標として設定する、請求項2、3、または5〜8のいずれか一項に記載の情報処理装置。

請求項10

前記指示位置座標処理部が、前記指示位置座標を前記指定座標として設定した場合に、設定が完了したことを前記ポインティングデバイスのユーザに通知するための出力を制御する出力情報処理部をさらに備える、請求項9に記載の情報処理装置。

請求項11

前記情報処理装置は、前記ポインティングデバイスのユーザによるポインティング行動補助するための視覚情報を、前記実空間に対して出力させる出力情報処理部をさらに備える、請求項1〜10のいずれか一項に記載の情報処理装置。

請求項12

前記視覚情報は、格子状の線を含む、請求項11に記載の情報処理装置。

請求項13

姿勢に応じた方向を指し示すポインティングデバイスと、情報処理装置を備え、前記情報処理装置は、前記ポインティングデバイスが存在する実空間における、前記情報処理装置の位置、及び姿勢に係る自己情報の測定を行う自己測定部と、前記情報処理装置から見た前記ポインティングデバイスの相対位置、及び相対姿勢に係るポインティングデバイス情報の測定を行うポインティングデバイス測定部と、前記自己情報に基づいて、前記実空間と対応付けられた地図情報における前記情報処理装置の位置座標、及び姿勢を特定する自己特定部と、前記ポインティングデバイス情報と、前記地図情報における前記情報処理装置の位置座標、及び姿勢とに基づいて、前記地図情報における前記ポインティングデバイスの位置座標、及び姿勢を特定するポインティングデバイス特定部と、を備える、情報処理システム

請求項14

コンピュータに、センサ装置が行う測定により得られた、姿勢に応じた方向を指し示すポインティングデバイスが存在する実空間における、前記センサ装置の位置、及び姿勢に係る自己情報に基づいて、前記実空間と対応付けられた地図情報における前記センサ装置の位置座標、及び姿勢を特定する自己特定機能と、前記センサ装置が行う測定により得られた、前記センサ装置から見た前記ポインティングデバイスの相対位置、及び相対姿勢に係るポインティングデバイス情報と、前記地図情報における前記センサ装置の位置座標、及び姿勢とに基づいて、前記地図情報における前記ポインティングデバイスの位置座標、及び姿勢を特定するポインティングデバイス特定機能と、を実現させるための、プログラム

技術分野

0001

本発明は、情報処理装置情報処理システム、及びプログラムに関する。

背景技術

0002

複数種類センサにより得られる実空間の計測データから、空間上に存在する物体地形形状、サイズ等を電子データとして構築再現した三次元地図情報を利用するサービスロボット等が実用化されつつある。

0003

例えば、下記特許文献1には、実空間に対して投射したレーザ光反射光観測することで環境の三次元情報を取得し、予め記憶しておいた三次元地図情報と比較することで、実空間における自己の位置を同定する移動ロボットが開示されている。

0004

また、下記特許文献2には、実空間上に設置された識別用マーカを含む環境を画像として取得することで、実空間における自己の位置・姿勢を認識する移動ロボットが開示されている。さらに、下記特許文献2には、ユーザが音声地図情報への操作等の入力を行うことで移動ロボットの目標地点を指定することが開示されている。

先行技術

0005

特開平4−216487号公報
特開2006−185240号公報

発明が解決しようとする課題

0006

上記のような、ユーザが三次元地図情報における位置を指定する技術では、より直感的に位置の指定を行えるようにすることが望まれていた。例えば、デバイスを通して仮想空間に対して行われる従来の位置指定よりも、実空間に対して直接行う位置指定の方が、より直感的であり、作業効率もよい。

0007

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、より直感的に位置の指定を行うことが可能な、新規かつ改良された情報処理装置、情報処理システム、及びプログラムを提供することにある。

課題を解決するための手段

0008

上記課題を解決するために、本発明のある観点によれば、情報処理装置であって、姿勢に応じた方向を指し示すポインティングデバイスが存在する実空間における、前記情報処理装置の位置、及び姿勢に係る自己情報の測定を行う自己測定部と、前記情報処理装置から見た前記ポインティングデバイスの相対位置、及び相対姿勢に係るポインティングデバイス情報の測定を行うポインティングデバイス測定部と、前記自己情報に基づいて、前記実空間と対応付けられた地図情報における前記情報処理装置の位置座標、及び姿勢を特定する自己特定部と、前記ポインティングデバイス情報と、前記地図情報における前記情報処理装置の位置座標、及び姿勢とに基づいて、前記地図情報における前記ポインティングデバイスの位置座標、及び姿勢を特定するポインティングデバイス特定部と、を備える、情報処理装置が提供される。

0009

前記情報処理装置は、前記地図情報における前記ポインティングデバイスの位置座標、及び姿勢と、前記地図情報とに基づいて、前記地図情報における、前記ポインティングデバイスが指し示す指示位置座標の特定を行う指示位置座標処理部をさらに備えてもよい。

0010

前記ポインティングデバイス情報は画像情報を含み、前記指示位置座標処理部は、前記ポインティングデバイス情報に基づいて、前記ポインティングデバイスから前記ポインティングデバイスが指し示す方向に出力される光により前記実空間に表示された指示位置を検出し、さらに前記指示位置に基づいて、前記指示位置座標の特定を行ってもよい。

0011

前記情報処理装置は、前記情報処理装置から見た、飛行ロボットの相対位置に係る飛行ロボット情報を測定する飛行ロボット測定部と、前記飛行ロボット情報と、前記地図情報における前記情報処理装置の位置座標、及び姿勢とに基づいて、前記地図情報における前記飛行ロボットの位置座標を特定する飛行ロボット位置特定部と、特定された前記飛行ロボットの位置座標に基づいて、前記飛行ロボットの位置を制御するための制御パラメータを特定する、飛行ロボット位置制御部と、をさらに備えてもよい。

0012

前記情報処理装置は、前記飛行ロボットへの前記制御パラメータの送信、及び前記ポインティングデバイスからの距離パラメータの受信を行う通信部と、前記地図情報における前記ポインティングデバイスの位置座標、及び姿勢と、前記地図情報と、前記距離パラメータとに基づいて、前記地図情報における、前記ポインティングデバイスが指し示す指示位置座標の特定を行う指示位置座標処理部をさらに備え、前記飛行ロボット位置制御部は、さらに前記指示位置座標に基づいて、前記制御パラメータを特定してもよい。

0013

前記飛行ロボット位置制御部は、前記指示位置座標と前記飛行ロボットの位置座標との差分が小さくなるように前記制御パラメータを特定してもよい。

0014

前記情報処理装置は、前記ポインティングデバイスから、前記ポインティングデバイスによる光出力出力状態を示す出力状態情報を受信する通信部をさらに備え、前記指示位置座標処理部は、前記通信部により受信された前記出力状態に応じて、前記指示位置座標の特定を行ってもよい。

0015

前記指示位置座標処理部は、前記出力状態がオンであることを示す前記出力状態情報を、前記通信部が前記ポインティングデバイスから受信した場合に、前記指示位置座標の特定を行ってもよい。

0016

前記情報処理装置は、前記ポインティングデバイスから、座標設定要求を受信する通信部をさらに備え、前記指示位置座標処理部は、前記通信部が前記ポインティングデバイスから前記座標設定要求を受信した場合に、前記指示位置座標をユーザにより指定された指定座標として設定してもよい。

0017

前記情報処理装置は、前記指示位置座標処理部が、前記指示位置座標を前記指定座標として設定した場合に、設定が完了したことを前記ポインティングデバイスのユーザに通知するための出力を制御する出力情報処理部をさらに備えてもよい。

0018

前記情報処理装置は、前記ポインティングデバイスのユーザによるポインティング行動補助するための視覚情報を、前記実空間に対して出力させる出力情報処理部をさらに備えてもよい。

0019

前記視覚情報は、格子状の線を含んでもよい。

0020

また、上記課題を解決するために、本発明の別の観点によれば、姿勢に応じた方向を指し示すポインティングデバイスと、情報処理装置を備え、前記情報処理装置は、前記ポインティングデバイスが存在する実空間における、前記情報処理装置の位置、及び姿勢に係る自己情報の測定を行う自己測定部と、前記情報処理装置から見た前記ポインティングデバイスの相対位置、及び相対姿勢に係るポインティングデバイス情報の測定を行うポインティングデバイス測定部と、前記自己情報に基づいて、前記実空間と対応付けられた地図情報における前記情報処理装置の位置座標、及び姿勢を特定する自己特定部と、前記ポインティングデバイス情報と、前記地図情報における前記情報処理装置の位置座標、及び姿勢とに基づいて、前記地図情報における前記ポインティングデバイスの位置座標、及び姿勢を特定するポインティングデバイス特定部と、を備える、情報処理システムが提供される。

0021

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータに、センサ装置が行う測定により得られた、姿勢に応じた方向を指し示すポインティングデバイスが存在する実空間における、前記センサ装置の位置、及び姿勢に係る自己情報に基づいて、前記実空間と対応付けられた地図情報における前記センサ装置の位置座標、及び姿勢を特定する自己特定機能と、前記センサ装置が行う測定により得られた、前記センサ装置から見た前記ポインティングデバイスの相対位置、及び相対姿勢に係るポインティングデバイス情報と、前記地図情報における前記センサ装置の位置座標、及び姿勢とに基づいて、前記地図情報における前記ポインティングデバイスの位置座標、及び姿勢を特定するポインティングデバイス特定機能と、を実現させるための、プログラムが提供される。

発明の効果

0022

以上説明したように本発明によれば、ユーザは、より直感的に位置の指定を行うことが可能となる。

図面の簡単な説明

0023

本発明の第一の実施形態に係る情報処理システム1の概略構成を示す説明図である。
同実施形態に係る情報処理システム1の利用イメージ例を示す説明図である。
同実施形態に係る情報処理システム1による指示位置の三次元座標特定を模式的に示す説明図である。
同実施形態に係る情報処理装置20−1の構成例を示す説明図である。
同実施形態に係るポインティングデバイス30−1の構成例を示す説明図である。
同実施形態に係るポインティングデバイス30−1の動作例を示すフローチャート図である。
同実施形態に係る情報処理装置20−1の動作例を示すフローチャート図である。
本発明の第二の実施形態に係る実空間について説明するための説明図である。
本発明の第二の実施形態に係る情報処理システム2の概略構成を示す説明図である。
同実施形態に係る情報処理システム2の利用イメージ例を示す説明図である。
同実施形態に係る情報処理システム2による指示位置の三次元座標特定を模式的に示す説明図である。
同実施形態に係る情報処理装置20−2の構成例を示す説明図である
同実施形態に係るポインティングデバイス30−2の構成例を示す説明図である。
同実施形態に係る飛行ロボット80の構成例を示す説明図である。
同実施形態に係るポインティングデバイス30−2の動作例を示すフローチャート図である。
同実施形態に係る情報処理装置20−2の動作例を示すフローチャート図である。
同実施形態に係る飛行ロボット80の動作例を示すフローチャート図である。
情報処理装置のハードウェア構成例を示す説明図である。

実施例

0024

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

0025

また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

0026

<<1.第一の実施形態>>
<1−1.第一の実施形態の概要
まず、図1〜3を参照して本発明の第一の実施形態に係る情報処理システム1の概要を説明する。図1は本実施形態に係る情報処理システム1の概略構成を示す説明図である。また、図2は、本実施形態に係る情報処理システム1の利用イメージ例を示す説明図である。

0027

図1に示すように、本実施形態に係る情報処理システム1は、データサーバ10、情報処理装置20−1、ポインティングデバイス30−1、通信網40を備える。

0028

データサーバ10は、記憶機能を有するサーバであり、少なくとも実空間の計測により作成された三次元地図情報を記憶する。実空間の計測による三次元地図情報の作成は後述する情報処理装置20−1や他の装置により事前に行われてもよい。例えば、三次元地図情報は、RGBカメラ、RGB−Dカメラレーザレンジファインダー等を用いた計測結果に基づいて生成されてもよい。

0029

情報処理装置20−1は、ユーザと共に計測済みの実空間に存在し、ユーザがポインティングデバイス30−1を用いて指示した指示位置を特定し、ユーザの要求に応じて当該指示位置をユーザによる指定位置として設定する装置である。上述したデータサーバ10、情報処理装置20−1、ポインティングデバイス30−1は、通信網40を介して相互に接続されている。

0030

なお、通信網40は、通信網40に接続されている装置、またはシステムから送信される情報の有線、または無線伝送路である。例えば、通信網40は、インターネット電話回線網衛星通信網等の公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)等を含んでもよい。また、通信網40は、IP−VPN(Internet Protocol−Virtual Private Network)等の専用回線網を含んでもよい。

0031

図2に示す三次元地図情報V1は、図2に示す実空間R1の形状を事前に測定して三次元地図三次元データ)化した情報を示している。三次元地図情報V1は情報処理装置20−1による実空間の測定に基づいて生成されてもよいし、他の測定器による測定に基づいて生成されてもよい。

0032

本実施形態に係る情報処理装置20−1は、図2に示す実空間R1においてユーザU1がポインティングデバイス30−1を用いて指し示す指示位置P10に対応する、三次元地図情報における三次元座標を特定する。ポインティングデバイス30−1は、姿勢に応じた方向を指し示す装置であり、例えば、図2に示すようにポインティングデバイス30−1は、姿勢に応じた方向にレーザ光(直進光)を出力してもよい。

0033

図3は、本実施形態に係る情報処理システム1による指示位置の三次元座標特定を模式的に示す説明図である。なお、図3に示す座標系C10は図1を参照して説明したデータサーバ10に記憶される三次元地図情報の座標系である。

0034

図3に示す平面F11、平面F12、及び平面F13は、それぞれ三次元地図情報における床面、壁面、天井を示している。情報処理装置20−1は、データサーバ10から、床面F11、壁面F12,天井F13等の位置や形状等に関する周囲の三次元情報取得することができる。また、情報処理装置20−1は、上記三次元情報に基づいて、三次元地図情報における自己(情報処理装置20−1)の位置と姿勢を測定することが可能である。なお、図3に示す座標系C12は、情報処理装置20−1により測定された情報処理装置20−1の位置、及び姿勢に基づく、情報処理装置20−1の位置を中心とした座標系である。

0035

また、情報処理装置20−1は、情報処理装置20−1の位置と姿勢に基づいて、ポインティングデバイス30−1の位置、及び姿勢を測定することが可能である。なお、図3に示す座標系C14は、情報処理装置20−1により測定されたポインティングデバイス30−1の位置、及び姿勢に基づく座標系である。

0036

さらに、情報処理装置20−1は、ポインティングデバイス30−1の位置、及び姿勢に基づいて、ポインティングデバイス30−1から出力される直進光L1と天井の交点として、指示位置P20の座標を特定することが可能である。また、情報処理装置20−1は、ユーザの入力に応じて、特定した指示位置P20をユーザが指定した位置として設定し、記録してもよい。

0037

係る構成によれば、ユーザはポインティングデバイス30−1を用いて、実空間に対して任意の位置を指し示すことで、直観的に位置の指定を行うことが可能であり、また、情報処理システム1は、ユーザにより指定された位置を特定することが可能である。以下、このような効果を有する本実施形態の構成についてより詳細に説明する。

0038

<1−2.第一の実施形態の構成>
以上、本実施形態による情報処理システム1の概要について説明した。続いて、本実施形態による情報処理システム1が備える、情報処理装置20−1、及びポインティングデバイス30−1の構成について図4、及び図5を参照して詳細に説明する。

0039

(情報処理装置)
情報処理装置20−1は、実空間に固定的に設置された装置であってもよいし、移動可能なロボット等であってもよいが、以下では、ユーザにより指示された指示位置座標の特定に係る機能を中心に説明を行う。図4は、情報処理装置20−1の構成例を示す説明図である。図4に示すように、情報処理装置20−1は、センサ部220、制御部240、出力部260、及び通信部280を備える。

0040

センサ部220は、自己測定部222、及びポインティングデバイス測定部224を含み、情報処理装置20−1、及びポインティングデバイス30−1が存在する実空間に関する情報を測定するセンサ装置である。

0041

自己測定部222は、姿勢に応じた方向を指し示すポインティングデバイスが存在する実空間における、情報処理装置20−1の位置、及び姿勢に係る自己情報の測定を行うセンサである。自己測定部222は、例えば、屋内GPSセンサ三軸加速度センサジャイロセンサ等を含み、情報処理装置20−1の位置、及び姿勢の変化情報等を自己情報として測定してもよい。また、情報処理装置20−1が図示されない車輪機構等による移動機能を有している場合、車輪の径、及び移動による車輪の回転数の情報から情報処理装置20−1の位置と姿勢の変化を自己情報として測定してもよい。

0042

また、自己測定部222は、RGBカメラ、RGB−Dカメラ、レーザ・レンジ・ファインダー等を含み、実空間における情報処理装置20−1の周囲の環境情報である二次元画像三次元画像三次元点データの集合等の情報を自己情報として取得してもよい。

0043

上記のような自己情報の測定には、実空間へのマーカ等の配置は不要であるため、係る構成によれば、自己位置推定するためにマーカが必要な従来技術と比べて、情報処理装置20−1の位置、及び姿勢の推定に係るユーザの負担を軽減することが可能である。

0044

ポインティングデバイス測定部224は、情報処理装置20−1から見たポインティングデバイス30−1の相対位置、及び相対姿勢に係るポインティングデバイス情報の測定を行うセンサ装置である。ポインティングデバイス測定部224は、RGBカメラ、RGB−Dカメラ、レーザ・レンジ・ファインダー等を含んでもよい。係る場合、ポインティングデバイス測定部224は、ポインティングデバイス30−1を含む実空間の環境情報である二次元画像、三次元画像、三次元点データの集合等の情報をポインティングデバイス情報として取得してもよい。

0045

なお、ポインティングデバイス測定部224が測定するポインティングデバイス情報は、上記のような環境情報に限定されない。上記以外のポインティングデバイス測定部224が測定する情報の例については、変形例として後述する。

0046

制御部240は、情報処理装置20−1の各構成を制御する。本実施形態による制御部240は、図4に示すように、自己位置特定部242、ポインティングデバイス位置特定部244、指示位置座標処理部246、出力情報処理部248としての機能を有する。

0047

自己位置特定部242(自己特定部)は、自己測定部222により測定された自己情報に基づいて、実空間と対応付けられた三次元地図情報における情報処理装置20−1の位置座標、及び姿勢を特定する自己特定機能を有する。係る処理により、情報処理装置20−1は、仮想的な三次元地図上に再現され、実空間上、及び三次元地図情報上の両方に存在している状態となる。なお、三次元地図情報は、図1を参照して説明したデータサーバ10から後述する通信部280を介して制御部240の各部に提供される。

0048

ポインティングデバイス位置特定部244(ポインティングデバイス特定部)は、上記ポインティングデバイス情報と、三次元地図情報における情報処理装置20−1の位置座標、及び姿勢に基づいて、三次元地図情報におけるポインティングデバイス30−1の位置座標、及び姿勢を特定するポインティングデバイス特定機能を有する。例えば、ポインティングデバイス位置特定部244は、ポインティングデバイス情報に基づいて、情報処理装置20−1から見た、ポインティングデバイス30−1の相対位置、及び相対姿勢を特定する。さらに、ポインティングデバイス位置特定部244は、情報処理装置20−1の位置座標、及び姿勢と、上記の相対位置、及び相対姿勢とから、三次元地図情報におけるポインティングデバイス30−1の位置座標、及び姿勢を特定する。係る処理により、ポインティングデバイス30−1は、仮想的な三次元地図上に再現され、実空間上、及び三次元地図情報上の両方に存在している状態となる。

0049

指示位置座標処理部246は、三次元地図情報におけるポインティングデバイス30−2の位置座標、及び姿勢と、三次元地図情報とに基づいて、三次元地図情報における、ポインティングデバイス30−1が指し示す指示位置座標(候補点)の特定を行う。係る構成によれば、情報処理装置20−1は、ユーザがポインティングデバイス30−1を用いて現在指し示している位置の座標を取得することが可能である。

0050

例えば、指示位置座標処理部246は、ポインティングデバイス30−1の位置、及び姿勢の情報に基づき、ポインティングデバイス30−1から放出されるレーザ光の向きを算出する。さらに指示位置座標処理部246は、三次元地図情報におけるオブジェクト又は境界面(床面、壁面、天井等)とレーザ光の交点の座標を算出し、当該交点の座標を指示位置座標として特定してもよい。

0051

また、指示位置座標処理部246は、ポインティングデバイス測定部224により取得されたポインティングデバイス情報に含まれる画像情報に基づいて、指示位置座標の特定を行ってもよい。例えば、指示位置座標処理部246は、ポインティングデバイス30−1からポインティングデバイス30−1が指し示す方向に出力されるレーザ光により実空間に表示された指示位置を上記画像情報において検出する。さらに指示位置座標処理部246は、上記画像情報において検出された指示位置に対応する座標と、上述した交点の座標の算出により得られた座標とに基づいて、指示位置座標を特定してもよい。係る構成によれば、レーザ光の検出情報を用いることで、上述した交点の座標の算出のみによる処理よりも、高精度に指示位置座標を特定することが可能である。

0052

また、指示位置座標処理部246は、通信部280を介してポインティングデバイス30−1より取得したポインティングデバイス30−1の情報に基づいて処理を行う。

0053

例えば、指示位置座標処理部246は、後述する通信部280により受信されたポインティングデバイス30−1の出力状態情報に応じて、指示位置座標の特定を行う。指示位置座標処理部246は、ポインティングデバイス30−1の出力状態がオンである(レーザ光が出力されている)ことを示す出力状態情報を通信部280がポインティングデバイス30−1から受信した場合に、上記指示位置座標の特定を行ってもよい。係る構成によれば、ポインティングデバイス30−1からレーザ光が出力されている場合にのみ、指示位置座標の特定処理が行われるため、処理負荷を軽減することが可能である。

0054

また、指示位置座標処理部246は、通信部280がポインティングデバイス30−1から座標設定要求を受信した場合に、指示位置座標をユーザにより指定された指定座標として設定してもよい。上記の設定は、情報処理装置20−1が有する記憶部(不図示)、またはデータサーバ10の記憶部に、IDなどの識別子と共に現在の指示位置座標が指定座標として記録されることで行われてもよい。係る構成によれば、例えば、ユーザが位置の指定を完了したタイミングで、ユーザがポインティングデバイス30−1を操作して座標設定要求を送信させることで、適切に指定座標が設定される。

0055

出力情報処理部248は、後述する出力部260の出力を制御する。

0056

例えば、出力情報処理部248は、指示位置座標処理部246が、指示位置座標を指定座標として設定した場合に、設定が完了したことをポインティングデバイス30−1のユーザに通知するための出力を制御する。例えば、上記通知するための出力は、音声やLED(Light-Emitting Diode)による発光振動等であってもよい。係る構成によれば、ユーザは上記通知を確認することで、指定座標の設定が正常に完了したことを認識することが可能である。

0057

また、出力情報処理部248は、指示位置座標処理部246の処理において、三次元地図情報におけるオブジェクト又は境界面とレーザ光の交点が存在しなかった場合に、交点が存在しないことをユーザに通知するための出力を制御してもよい。係る構成によれば、ユーザは上記通知を確認することで、交点が存在するようにポインティングデバイス30−1の位置と姿勢を調整する必要があることを認識することが可能である。

0058

また、出力情報処理部248は、出力部260を制御し、ポインティングデバイス30−1のユーザによるポインティング行動を補助するための視覚情報を、実空間に対して出力させてもよい。例えば、上記の視覚情報は格子線(格子状の線)を含んでもよい。なお、出力情報処理部248は、三次元地図情報、三次元地図情報上に再現された情報処理装置20−1の位置と姿勢、及び出力部260の出力能力等に基づいて、実空間上に出力される格子線の結像位置を推定し、当該結像位置に基づく歪み補正を行ってもよい。係る構成によれば、ユーザは実空間において位置を指定するためのポインティング行動をより容易に行うことが可能となる。

0059

出力部260は、出力情報処理部248の制御を受け、出力を行う。出力部260は、例えばレーザ投光器プロジェクタ等の視覚情報出力装置や、音声出力装置LED発光装置振動装置等を含んでもよい。

0060

通信部280は、図1を参照して説明した通信網40に接続し、通信網40に接続された他の装置とのデータの送受信を行う通信機能を有する。例えば、通信部280は、データサーバ10から、三次元地図情報を受信する。また、通信部280は、ポインティングデバイス30−1から、ポインティングデバイス30−1によるレーザ光出力の出力状態を示す出力状態情報、及び座標設定要求を受信する。

0061

(ポインティングデバイス)
ポインティングデバイス30−1は、ユーザと共に実空間に存在し、ユーザに把持されて、例えばレーザポインタのような実空間に対するポインティング(位置の指示、指定)を行うことが可能なデバイスである。図5は、ポインティングデバイス30−1の構成例を示す説明図である。ポインティングデバイス30−1は、図5に示すように、入力部320、制御部340、出力部360、及び通信部380を備える。

0062

入力部320は、座標設定要求部322、及び出力状態切替部324を含み、ポインティングデバイス30−1を扱うユーザの入力を受け付ける。

0063

座標設定要求部322は、ポインティングデバイス30−1により実世界に対して指し示した位置を、三次元地図情報において指定位置として設定させるための座標設定要求の入力を受け付ける。座標設定要求部322は、例えばポインティングデバイス30−1上に配置された押しボタン、またはタッチパネル等の入力装置を含んで実現されてもよい。例えば、座標設定要求部322が押しボタンである場合、ユーザが当該押しボタンを押下すると、押下されたことが制御部340により検知され、座標設定要求が通信部380を介して情報処理装置20−1に送信される。

0064

出力状態切替部324は、後述する出力部360の出力状態の切替(例えば、オン/オフの切替)のための入力を受け付ける。出力状態切替部324は、例えばポインティングデバイス30−1上に配置された押しボタン、またはタッチパネルのような入力装置を含んで実現されてもよい。

0065

制御部340は、ポインティングデバイス30−1の各部を制御する。例えば、制御部340は、入力部320へのユーザの入力を検知し、通信部380を制御して、当該入力に基づいて情報処理装置20−1に情報を送信させる。また、制御部340は、当該入力に基づいて、出力部360による出力を制御する。

0066

出力部360は、実空間に対して情報等の出力を行う。例えば、出力部360は、レーザ投光器やプロジェクタ等の視覚情報出力装置を含んでもよい。出力部360により出力された光情報は、実空間におけるポインティングデバイス30−1が指し示す位置で結像し、視覚情報として実空間に表示される。係る構成により、ユーザはポインティング行動に関する視覚的フィードバックを受けることが可能であり、ユーザのポインティング行動を補助する効果が得られる。

0067

なお、出力部360の出力の状態は、上述した出力状態切替部324により切り替えられ、通信部380によって情報処理装置20−1に送信される。また、以下では、出力部360がレーザ光を出力するレーザ投光器である例を説明する。

0068

通信部380は、図1を参照して説明した通信網40に接続し、通信網40に接続された他の装置とのデータの送受信を行う通信機能を有する。例えば、通信部380は、情報処理装置20−1に、出力部360によるレーザ光出力の出力状態を示す出力状態情報、及び座標設定要求を送信する。

0069

<1−3.第一の実施形態の動作例>
以上、本実施形態に係る情報処理装置20−1、及びポインティングデバイス30−1の構成について説明した。続いて、本実施形態の動作について説明する。以下では、図6を参照してポインティングデバイス30−1の動作例について説明した後、図7を参照して情報処理装置20−1の動作例について説明する。

0070

(ポインティングデバイスの動作例)
図6は、本実施形態に係るポインティングデバイス30−1の動作例を示すフローチャート図である。

0071

出力部360の出力状態がオン(ON)ではない場合(S102においてNO)、通信部380は、出力状態がオフであることを示す出力状態情報を含む情報(A)を情報処理装置20−1に送信する(S106)。

0072

一方、出力部360の出力状態がオンである場合(S102においてYES)、出力部360から、ポインティングデバイス30−1の位置と姿勢により決定される直進光(レーザ光)が出力され、ユーザによりポインティング行動が行われている。ユーザは把持しているポインティングデバイス30−1から出力される直進光が実空間上の物体(壁や物の表面等)上で結像する光点の位置を参考にしながら、ユーザが指定したい場所に光点が位置するようにポインティングデバイス30−1の位置と姿勢を調整する。

0073

ユーザがポインティングデバイス30−1の位置と姿勢の調整を完了し、指定したい場所に光点を位置させた場合、ユーザにより座標設定要求部322への入力が行われる(S104においてYES)。ユーザにより座標設定要求部322への入力が行われると、通信部380は、出力状態がオンであることを示す出力状態情報と、座標設定要求とを含む情報(B)を情報処理装置20−1に送信する(S108)。

0074

一方、ユーザがポインティングデバイス30−1の位置と姿勢を調整中であり、座標設定要求が行われていない場合(S104においてNO)、通信部380は、出力状態がオンであることを示す出力状態情報を含む情報(C)を情報処理装置20−1に送信する(S110)。

0075

なお、図6に示すように、ポインティングデバイス30−1は、ステップS102〜S110の処理を繰り返してもよい。

0076

(情報処理装置の動作例)
図7は、本実施形態に係る情報処理装置20−1の動作例を示すフローチャート図である。

0077

まず、自己測定部222により測定された自己情報に基づいて、自己位置特定部242が三次元地図情報における情報処理装置20−1の位置、及び姿勢(自己状態)を特定する(S202)。係る処理により、図3に示したように三次元地図情報上に、情報処理装置20−1の位置と姿勢が再現される。

0078

続いて、通信部280がポインティングデバイス30−1(PD)からポインティングデバイス30−1に関する情報を受信する(図7のS204)。通信部280が受け取った情報において、ポインティングデバイス30−1の出力状態がオン(ON)ではない場合(S206においてNO)、処理はステップS202に戻る。一方、通信部280が受け取った情報において、ポインティングデバイス30−1の出力状態がオンである場合(S206においてYES)、ポインティングデバイス測定部224が相対位置、及び相対姿勢に係るポインティングデバイス情報を測定する(S208)。

0079

続いて、ポインティングデバイス位置特定部244が、情報処理装置20−1の位置、及び姿勢の情報と、ポインティングデバイス情報に基づいて、三次元地図情報におけるポインティングデバイス30−1の位置、及び姿勢を特定する(S210)。係る処理により、図3に示したように三次元地図情報上にポインティングデバイス30−1の位置と姿勢が再現される。

0080

続いて、指示位置座標処理部246は、ポインティングデバイス30−1の位置、及び姿勢に基づいて、三次元地図情報において、ポインティングデバイス30−1から放出(出力)される直進光の方向を特定する(図7のS212)。係る処理により、図3に示したように三次元地図情報上にポインティングデバイス30−1の出力方向向きに直進光L1が再現される。

0081

続いて、指示位置座標処理部246は、三次元地図情報上に再現された直進光L1と、三次元地図情報上のオブジェクト(例えば、図3に示す床面F11,壁面F12,天井F13等)や設置物等との交点(候補点)が存在するか否かを判定する(S214)。交点が存在しない場合(S214においてNO)、処理はステップS202に戻る。また、交点が存在し(S214においてYES)、ステップS204で受信したポインティングデバイス30−1の情報に座標設定要求が含まれていない場合(S216においてNO)も、処理はステップS202に戻る。

0082

一方、交点が存在し(S214においてYES)、ステップS204で受信したポインティングデバイス30−1の情報に座標設定要求が含まれている場合(S216においてYES)、指示位置座標処理部246は、上記交点の座標をユーザによる指定位置として記録する(S218)。

0083

なお、図7に示すように、情報処理装置20−1は、ステップS202〜S218の処理を繰り返してもよい。

0084

<1−4.第一の実施形態の効果>
以上、第一の実施形態について説明した。本実施形態によれば、情報処理装置20−1が、ポインティングデバイス30−1により指し示された位置を特定し、記録することで、ユーザはより直感的に位置の指定を行うことが可能である。

0085

<<2.第二の実施形態>>
上述した第一の実施形態では、ポインティングデバイスの出力が直進光(レーザ光)であり、直進光によって、実空間に設置された物体や実空間の境界面に対する位置の指定が可能であった。一方、図8に示すような吹き抜け構造のような実空間R2を測定した場合、三次元地図情報の作成に使用するセンサの計測可能範囲の制限から、三次元地図情報V2のように物体により閉じられていない領域を持つ三次元地図情報が得られる場合がある。上記のような実空間上、及び、三次元地図情報上に対する位置指定としては、物体表面だけでなく、空中に対する位置指定が考えられる。

0086

そこで、以下では、第二の実施形態として、情報処理システムがマルチプターのような小型飛行ロボットを備え、空中の飛行ロボットの位置を指定可能な情報処理システムの例を説明する。なお、以下に説明する第二の実施形態は、一部において第一の実施形態と同様の構成を有するため、第一の実施形態と実質的に同様の機能を有する構成に関しては、同一の符号を付し、説明を省略する場合がある。

0087

<2−1.第二の実施形態の概要>
図9−11を参照して本発明の第二の実施形態に係る情報処理システム2の概要を説明する。図9は、本実施形態に係る情報処理システム2の概略構成を示す説明図である。また、図10は、本実施形態に係る情報処理システム2の利用イメージ例を示す説明図である。

0088

図9に示すように、本実施形態に係る情報処理システム2は、データサーバ10、情報処理装置20−2、ポインティングデバイス30−2、通信網40、飛行ロボット80を備える。

0089

情報処理装置20−2は、ユーザと共に計測済みの実空間に存在し、ユーザがポインティングデバイス30−2を用いて指示した指示位置を特定し、当該指示位置に飛行ロボット80を移動させるような制御パラメータを生成し、ユーザの要求に応じて飛行ロボット80の位置を指定位置として設定する装置である。

0090

飛行ロボット80は、ユーザと共に計測済みの実空間に存在し、実空間中を浮遊、及び飛行可能な、例えばマルチコプターのような制御ロボットである。飛行ロボット80は、通信網40を介して情報処理装置20−2から制御パラメータを受信し、当該制御パラメータに従って移動する。

0091

図10に示す三次元地図情報V3は、図10に示す実空間R3の形状を事前に測定して三次元地図(三次元データ)化した空間である。三次元地図情報V3は情報処理装置20−2による実空間の測定に基づいて生成されてもよいし、他の測定器による測定に基づいて生成されてもよい。

0092

本実施形態に係る情報処理装置20−2は、図10に示す実空間R3においてユーザU2がポインティングデバイス30−2を用いて指し示す指示位置P30に対応する、三次元地図情報における三次元座標を特定する。また、本実施形態に係る情報処理装置20−2は、当該指示位置に飛行ロボット80を移動させるように飛行ロボット80を制御する。ポインティングデバイス30−2は、姿勢に応じた方向を指し示す装置であり、例えば、図10に示すようにポインティングデバイス30−2は、姿勢に応じた方向にレーザ光(直進光)を出力してもよい。図10に示す例では、情報処理装置20−2による飛行ロボット80の制御が完了し、飛行ロボット80が指示位置P30に移動済みであるため、ユーザは指示位置が空中であっても、指示位置を三次元的に把握することが可能である。

0093

図11は、本実施形態に係る情報処理システム2による指示位置の三次元座標特定を模式的に示す説明図である。なお、図11に示す座標系C20,C22,C24は、図3を参照して説明した座標系C10,C12,C14と同様であるため、説明を省略する。また、図11に示す情報処理装置20−2,及びポインティングデバイス30−2の位置と姿勢についても、図3を参照して説明した情報処理装置20−1,及びポインティングデバイス30−1と同様に取得されるため、説明を省略する。

0094

情報処理装置20−2は、ポインティングデバイス30−2の位置、及び姿勢に基づいて、ポインティングデバイス30−2から出力される直進光L2を三次元地図情報上に再現することができる。本実施形態においては、空中へのポインティングを想定しているため、情報処理装置20−2は、ポインティングデバイス30−2から所定距離の位置を指示位置P40として特定してもよい。なお、上記の所定距離は、後述するようにユーザにより調整されてもよい。

0095

さらに、情報処理装置20−2は、指示位置P40を飛行ロボット80の移動目標位置として、飛行ロボット80の制御パラメータを生成し、飛行ロボット80の制御を行う。また、情報処理装置20−2は、ユーザの入力に応じて、指示位置P40をユーザが指定した位置として設定し、記録してもよい。

0096

係る構成によれば、ユーザは、実空間において物体の存在しなかった、空中の位置を直感的に指定することが可能である。また、情報処理システム2は、ユーザにより指定された空中の位置を特定することが可能である。以下、このような効果を有する本実施形態の構成についてより詳細に説明する。

0097

<2−2.第二の実施形態の構成>
以上、本実施形態による情報処理システム2の概要について説明した。続いて、本実施形態による情報処理システム2が備える、情報処理装置20−2、及びポインティングデバイス30−2の構成について図12、及び図13を参照して説明する。

0098

(情報処理装置)
情報処理装置20−2は、実空間に固定的に設置された装置であってもよいし、移動可能なロボット等であってもよいが、以下では、ユーザにより指示された指示位置座標の特定に係る機能を中心に説明を行う。図12は、情報処理装置20−2の構成例を示す説明図である。図12に示すように、情報処理装置20−2は、センサ部230、制御部250、出力部260、及び通信部280を備える。

0099

センサ部230は、自己測定部222、ポインティングデバイス測定部224、及び飛行ロボット測定部226を含み、情報処理装置20−2、及びポインティングデバイス30−2が存在する実空間に関する情報を測定するセンサ装置である。

0100

飛行ロボット測定部226は、情報処理装置20−2から見た飛行ロボット80の相対位置、及び相対姿勢に係る飛行ロボット情報の測定を行うセンサ装置である。飛行ロボット測定部226は、RGBカメラ、RGB−Dカメラ、レーザ・レンジ・ファインダー等を含んでもよい。係る場合、飛行ロボット測定部226は、飛行ロボット80を含む実空間の環境情報である二次元画像、三次元画像、三次元点データの集合等の情報を飛行ロボット情報として取得してもよい。

0101

なお、飛行ロボット測定部226が測定する飛行ロボット情報は、上記のような環境情報に限定されない。上記以外の飛行ロボット測定部226が測定する情報の例については、変形例として後述する。

0102

制御部250は、情報処理装置20−2の各構成を制御する。本実施形態による制御部250は、図12に示すように、自己位置特定部242、ポインティングデバイス位置特定部244、指示位置座標処理部247、出力情報処理部248、飛行ロボット位置特定部252、飛行ロボット位置制御部254としての機能を有する。

0103

指示位置座標処理部247は、三次元地図情報におけるポインティングデバイス30−2の位置座標、及び姿勢と、三次元地図情報とに基づいて、三次元地図情報における、ポインティングデバイス30−2が指し示す指示位置座標(候補点)の特定を行う。

0104

例えば、本実施形態に係る指示位置座標処理部247は、ポインティングデバイス30−2から出力される直進光方向に、ポインティングデバイス30−2から通信部280を介して受信した距離パラメータに基づく距離だけ離れた位置を指示位置座標として特定してもよい。また、ポインティングデバイス30−2と上記の指示位置を結ぶ線分上に物体、あるいは境界面が存在し、上記線分との交点が発生する場合には、この交点を指示位置座標として更新する。当該指示位置座標が、後述する飛行ロボット80の移動目標座標として用いられる。指示位置座標処理部247は、通信部280がポインティングデバイス30−2から座標設定要求を受信した場合に、指示位置座標をユーザにより指定された指定座標として設定してもよい。

0105

飛行ロボット位置特定部252は、上記飛行ロボット情報と、三次元地図情報における情報処理装置20−2の位置座標、及び姿勢に基づいて、三次元地図情報における飛行ロボット80の位置座標、及び姿勢を特定する。例えば、飛行ロボット位置特定部252は、飛行ロボット情報に基づいて、情報処理装置20−2から見た飛行ロボット80の相対位置、及び相対姿勢を特定する。さらに、飛行ロボット位置特定部252は、情報処理装置20−2の位置座標、及び姿勢と、上記の相対位置、及び相対姿勢とから、三次元地図情報における飛行ロボット80の位置座標、及び姿勢を特定する。係る処理により、飛行ロボット80は、仮想的な三次元地図上に再現され、実空間上、及び三次元地図情報上の両方に存在している状態となる。

0106

飛行ロボット位置制御部254は、指示位置座標処理部247により算出された三次元地図情報上の飛行ロボット80の移動目標座標と飛行ロボット位置特定部252により特定された飛行ロボット80の位置座標、及び姿勢に基づいて、飛行ロボット80の位置を制御するための制御パラメータを特定する。

0107

飛行ロボット位置制御部254は、上記指示位置座標処理部247により特定された指示位置座標(移動目標座標)に基づいて、制御パラメータを特定してもよい。例えば、飛行ロボット位置制御部254は、指示位置座標と現在の飛行ロボットの位置座標との差分が小さくなるように制御パラメータを特定してもよい。係る構成によれば、実空間上の飛行ロボット80の存在位置がユーザのポインティング行動による実空間に対する指定位置となる。したがって、実空間上の飛行ロボット80の存在が、ユーザに対するポインティング行動の視覚的なフィードバックとして機能する。

0108

飛行ロボット80の位置を制御するための制御パラメータは、例えば、4成分の速度指令値Vx(飛行ロボット座標系のx方向向きの速度成分)、Vy(飛行ロボット座標系のy方向向きの速度成分)、Vz(飛行ロボット座標系のz方向向きの速度成分)、Va(飛行ロボット座標系の鉛直方向軸周り旋回速度)であってもよい。特定された制御パラメータは、通信部280を介して飛行ロボット80へ送信される。

0109

なお、上記では飛行ロボット80の制御パラメータとして、4成分の速度指令値を例として説明したが、飛行ロボット80の制御パラメータは、上記に限定されず、飛行ロボット80の飛行制御方式に応じて決定されてもよい。

0110

(ポインティングデバイス)
ポインティングデバイス30−2は、ユーザと共に実空間に存在し、ユーザに把持されて、例えばレーザポインタのような実空間に対するポインティング(位置の指示、指定)を行うことが可能なデバイスである。図13は、ポインティングデバイス30−2の構成例を示す説明図である。ポインティングデバイス30−2は、図13に示すように、入力部330、制御部340、出力部360、及び通信部380を備える。

0111

入力部330は、図13に示すように、座標設定要求部322出力状態切替部324、及び飛行ロボット位置調整部326を備える。

0112

飛行ロボット位置調整部326は、ユーザの飛行ロボットの位置制御に関する入力を受け付ける。飛行ロボット位置調整部326は、例えばポインティングデバイス30−2上に配置された押しボタン、またはタッチパネル等の入力装置を含んで実現されてもよい。例えば、飛行ロボット位置調整部326への入力により、飛行ロボット80の目標位置座標(指示位置座標)とポインティングデバイス30−2との距離を決定するための距離パラメータが増減される。また、当該距離パラメータは通信部380を介して情報処理装置20−2に送信される。

0113

(飛行ロボット)
飛行ロボット80は、例えばユーザと共に実空間に存在し、実空間中を浮遊、及び飛行可能な、例えばマルチコプターのような制御ロボットである。第二の実施形態においては、実空間上の飛行ロボット80の存在位置がユーザのポインティング行動による実空間に対する指定位置となる。したがって、実空間上の飛行ロボット80の存在が、ユーザに対するポインティング行動の視覚的なフィードバックとして機能する。

0114

図14は、本実施形態に係る飛行ロボット80の構成例を示す説明図である。飛行ロボット80は、図14に示すように、制御部820、飛行動力部840、出力部860、及び通信部880を備える。

0115

制御部820は、飛行ロボット80の各部を制御する。本実施形態による制御部820は、図14に示すように、飛行制御部822、出力情報処理部824としての機能を有する。

0116

飛行制御部822は、通信部880を介して情報処理装置20−2から受信した制御パラメータを、飛行動力部840に対する指令値に変換して伝達する。制御パラメータと飛行動力部840に対する指令値との関係は、例えば、飛行ロボット80の飛行制御方式に応じて決定される。

0117

出力情報処理部824は、後述する出力部860の出力を制御する。例えば、出力情報処理部824は、図4を参照して説明した出力情報処理部248のように、ユーザに通知を行うための出力を制御してもよい。

0118

また、出力情報処理部824は、出力部860を制御し、ポインティングデバイス30−1のユーザによるポインティング行動を補助するための視覚情報を、実空間に対して出力させてもよい。例えば、上記の視覚情報は格子線(格子状の線)を含んでもよい。なお、出力情報処理部824は、三次元地図情報、三次元地図情報上に再現された情報処理装置20−2の位置と姿勢、及び出力部860の出力能力等に基づいて、実空間上に出力される格子線の結像位置を推定し、当該結像位置に基づく歪み補正を行ってもよい。係る構成によれば、ユーザは実空間において位置を指定するためのポインティング行動をより容易に行うことが可能となる。

0119

飛行動力部840は、飛行ロボットを浮遊、または飛行させるための機能を有する。例えば、飛行ロボット80がマルチコプターである場合、飛行動力部840は、各回転翼を回転させるモータなどの組であり、飛行制御部822から受け取った指令値に従った運動を行う。指令値と飛行動力部840の運動との関係は、飛行ロボット80の飛行制御方式に応じて決定されてもよい。

0120

出力部860は、出力情報処理部824の制御を受け、出力を行う。出力部860は、例えばレーザ投光器やプロジェクタ等の視覚情報出力装置や、音声出力装置、LED発光装置、振動装置等を含んでもよい。

0121

通信部880は、図9を参照して説明した通信網40に接続し、通信網40に接続された他の装置とのデータの送受信を行う通信機能を有する。例えば、通信部880は、情報処理装置20−2から、制御パラメータを受信する。

0122

<2−3.第二の実施形態の動作例>
以上、本実施形態に係る各装置の構成について説明した。続いて、本実施形態の動作について説明する。以下では、図15を参照してポインティングデバイス30−2の動作例について、図16を参照して情報処理装置20−2の動作例について、図17を参照して飛行ロボット80の動作例について順次説明する。

0123

(ポインティングデバイスの動作例)
図15は、本実施形態に係るポインティングデバイス30−2の動作例を示すフローチャート図である。

0124

出力部360の出力状態がオン(ON)ではない場合(S302においてNO)、通信部380は、出力状態がオフであることを示す出力状態情報を含む情報(A)を情報処理装置20−2に送信する(S306)。

0125

一方、出力部360の出力状態がオンである場合(S302においてYES)、出力部360から、ポインティングデバイス30−2の位置と姿勢により決定される直進光(レーザ光)が出力され、ユーザによりポインティング行動が行われている。また、係る場合、飛行ロボット80がユーザのポインティング行動に応じて、指示位置に移動し続けている。ユーザは飛行ロボット80の位置を参考にしながら、ユーザが指定したい場所に飛行ロボット80が位置するようにポインティングデバイス30−2の位置と姿勢の調整、及び飛行ロボット位置調整部326への入力による距離パラメータの調整を行う。

0126

ユーザが指定したい場所に飛行ロボット80が移動した場合、ユーザにより座標設定要求部322への入力が行われる(S304においてYES)。ユーザにより座標設定要求部322への入力が行われると、通信部380は、出力状態がオンであることを示す出力状態情報と、距離パラメータと、座標設定要求とを含む情報(D)を情報処理装置20−1に送信する(S308)。

0127

一方、ユーザがポインティング行動中であり、座標設定要求が行われていない場合(S304においてNO)、通信部380は、出力状態がオンであることを示す出力状態情報と、距離パラメータとを含む情報(E)を情報処理装置20−2に送信する(S310)。

0128

なお、図15に示すように、ポインティングデバイス30−2は、ステップS302〜S310の処理を繰り返してもよい。

0129

(情報処理装置の動作例)
図16は、本実施形態に係る情報処理装置20−2の動作例を示すフローチャート図である。

0130

まず、自己測定部222により測定された自己情報に基づいて、自己位置特定部242が三次元地図情報における情報処理装置20−2の位置、及び姿勢(自己状態)を特定する(S402)。係る処理により、図11に示したように三次元地図情報上に、情報処理装置20−2の位置と姿勢が再現される。

0131

続いて、通信部280がポインティングデバイス30−2(PD)からポインティングデバイス30−2に関する情報を受信する(図16のS404)。通信部280が受け取った情報において、ポインティングデバイス30−2の出力状態がオン(ON)ではない場合(S406においてNO)、処理はステップS402に戻る。一方、通信部280が受け取った情報において、ポインティングデバイス30−2の出力状態がオンである場合(S406においてYES)、ポインティングデバイス測定部224がポインティングデバイス情報を、飛行ロボット測定部226が飛行ロボット情報を測定する(S408)。

0132

続いて、ポインティングデバイス位置特定部244が三次元地図情報におけるポインティングデバイス30−1の位置、及び姿勢を特定し、飛行ロボット位置特定部252が、三次元地図情報における飛行ロボット80の位置、及び姿勢を特定する(S410)。係る処理により、図11に示したように三次元地図情報上にポインティングデバイス30−2の位置と姿勢、及び飛行ロボット80の位置が再現される。

0133

続いて、指示位置座標処理部247は、飛行ロボットの移動目標座標である指示位置座標の特定を行う(図16のS412)。係る処理により、図11に示したように三次元地図情報上にポインティングデバイス30−2の出力方向向きに直進光L2が再現され、直進光L2上に指示位置P40が再現される。

0134

続いて、飛行ロボット位置制御部254により特定された制御パラメータが、飛行ロボット80へ送信される(S414)。続いて、飛行ロボット80が移動目標座標に存在するか否かの判定が行われる(S416)。当該判定は、例えば、飛行ロボット80の位置が移動目標座標と一致、または飛行ロボット80と移動目標座標の間の距離が所定の閾値以下であるか否かにより行われてもよい。

0135

飛行ロボット80が移動目標座標に存在しないと判定された場合(S416においてNO)、処理はステップS402に戻る。飛行ロボット80が移動目標座標に存在すると判定され(S416においてYES)、ステップS404で受信したポインティングデバイス30−2の情報に座標設定要求が含まれていない場合(S418においてNO)も、処理はステップS402に戻る。

0136

一方、飛行ロボット80が移動目標座標に存在すると判定され(S416においてYES)、ステップS404で受信したポインティングデバイス30−2の情報に座標設定要求が含まれている場合(S418においてYES)も指示位置座標処理部247は、上記交点の座標をユーザによる指定位置として記録する(S420)。

0137

なお、図16に示すように、情報処理装置20−2は、ステップS402〜S420の処理を繰り返してもよい。

0138

(飛行ロボットの動作例)
図17は、本実施形態に係る飛行ロボット80の動作例を示すフローチャート図である。

0139

まず、通信部880が情報処理装置20−2から、制御パラメータを受信する(S502)。続いて、飛行制御部822が受信された制御パラメータを飛行動力部840に対する指令値へと変換し、飛行動力部840は指令値に従った操作を行う(S504)。上記処理により、飛行ロボット80は、図16を参照して説明したステップS412で特定された、三次元地図情報における移動目標座標に対応する実空間上の位置に一致するように飛行する。係る構成により、飛行ロボット80は、ユーザのポインティング行動に係る視覚的フィードバックとしての効果を奏する。

0140

なお、図17に示すように、飛行ロボット80は、ステップS502〜S504の処理を繰り返してもよい。

0141

<2−4.第二の実施形態の効果>
以上、第二の実施形態について説明した。本実施形態によれば、空中の飛行ロボットの位置をユーザによる指定位置として記録することで、ユーザはより直感的に、かつ空中に対する位置の指定を行うことが可能である。

0142

<<3.変形例>>
以上、本発明の各実施形態を説明した。以下では、各実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で各実施形態に適用されてもよいし、組み合わせで各実施形態に適用されてもよい。また、各変形例は、各実施形態で説明した構成に代えて適用されてもよいし、各実施形態で説明した構成に対して追加的に適用されてもよい。

0143

<3−1.変形例1>
上記では、ポインティングデバイスや飛行ロボットの位置、及び姿勢の特定に用いられる情報が二次元画像、三次元画像、三次元点データの集合等、実空間の環境情報である例を説明したが、本発明は係る例に限定されない。

0144

例えば、赤外光の反射光を用いてポインティングデバイスや飛行ロボットの位置、及び姿勢が特定されてもよい。係る場合、情報処理装置が特定波長赤外光投光器と、当該赤外光の反射光を測定する赤外線センサ等のセンサを備え、ポインティングデバイスや飛行ロボットが赤外光を反射する複数の反射マーカを備えることで、情報処理装置は赤外光の反射光を測定してもよい。

0145

また、磁場変化の情報を用いてポインティングデバイスや飛行ロボットの位置、及び姿勢が特定されてもよい。係る場合、情報処理装置がトランスミッタ磁場発生装置)を備えてもよい。また、ポインティングデバイスや飛行ロボットは、レシーバ(磁場受信装置)を配置した磁気式三次元位置センサを備えて、トランスミッタとレシーバの位置と姿勢の関係により変化する磁場変化を測定し、情報処理装置に送信してもよい。

0146

<3−2.変形例2>
また、上記実施形態では、三次元地図情報における座標点(位置)を設定(記録)する例を説明したが、本発明において、実空間に対するユーザのポインティング行動により三次元地図情報に対して記録される情報は、点情報に限定されない。

0147

例えば、三次元地図情報に対して記録される情報は、複数の点情報を結んだ線情報や、第一点を中心とし、第二点を通る円、球領域情報、またはN個の点を結ぶN多角形領域情報等であってもよい。

0148

また、上記第二の実施形態において、飛行ロボットが複数台制御され、複数の点が同時に設定されてもよい。

0149

<3−3.変形例3>
また、上記実施形態では、データサーバ10と情報処理装置20が通信網により接続され、データサーバ10から情報処理装置20に三次元地図情報が提供される例を説明したが、本発明は係る例に限定されない。

0150

例えば、情報処理装置20がデータサーバ10の機能を有し、情報処理装置20内の記憶部に三次元地図情報を記憶してもよい。

0151

<<4.ハードウェア構成例>>
以上、本発明の各実施形態と各変形例を説明した。上述した自己位置特定処理、ポインティングデバイス位置特定処理、指示位置特定処理、飛行ロボット制御処理などの情報処理は、ソフトウェアと、情報処理装置(情報処理装置20−1,及び情報処理装置20−2)のハードウェアとの協働により実現される。以下では、本実施形態に係る情報処理装置である情報処理装置20−1,及び情報処理装置20−2のハードウェア構成例として、情報処理装置1000のハードウェア構成例について説明する。

0152

図18は、本実施形態に係る情報処理装置1000のハードウェア構成を示す説明図である。図18に示したように、情報処理装置1000は、CPU(Central Processing Unit)1001と、ROM(Read Only Memory)1002と、RAM(Random Access Memory)1003と、入力装置1004と、出力装置1005と、ストレージ装置1006と、通信装置1007とを備える。

0153

CPU1001は、演算処理装置及び制御装置として機能し、各種プログラムに従って情報処理装置1000内の動作全般を制御する。また、CPU1001は、マイクロプロセッサであってもよい。ROM1002は、CPU1001が使用するプログラムや演算パラメータなどを記憶する。RAM1003は、CPU1001の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時記憶する。これらはCPUバスなどから構成されるホストバスにより相互に接続されている。主に、CPU1001、ROM1002及びRAM1003とソフトウェアとの協働により、制御部240、制御部250、の機能が実現される。

0154

入力装置1004は、マウスキーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、CPU1001に出力する入力制御回路などから構成されている。情報処理装置1000のユーザは、該入力装置1004を操作することにより、情報処理装置1000に対して各種のデータを入力したり処理動作を指示したりすることができる。

0155

出力装置1005は、例えば、液晶ディスプレイ(LCD)装置、OLED装置及びランプなどの表示装置を含む。さらに、出力装置1005は、スピーカ及びヘッドホンなどの音声出力装置を含む。例えば、表示装置は、撮像された画像や生成された画像などを表示する。一方、音声出力装置は、音声データなどを音声に変換して出力する。出力装置1005は、図4、12を参照して説明した出力部260に対応する。

0156

ストレージ装置1006は、データ格納用の装置である。ストレージ装置1006は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置及び記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置1006は、CPU1001が実行するプログラムや各種データを格納する。

0157

通信装置1007は、例えば、通信網に接続するための通信デバイスなどで構成された通信インタフェースである。また、通信装置1007は、無線LAN(Local Area Network)対応通信装置LTE(Long Term Evolution)対応通信装置、有線による通信を行うワイヤー通信装置、またはブルートゥース(登録商標)通信装置を含んでもよい。通信装置1007は、図4、12を参照して説明した通信部280に対応する。

0158

<<5.まとめ>>
以上説明したように、本発明の実施形態によれば、ユーザは、より直感的に位置の指定を行うことが可能である。

0159

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

0160

例えば、上記実施形態では、事前の測定により得られた三次元地図情報が用いられる例について説明したが、本発明は係る例に限定されない。例えば、情報処理装置は、周囲の環境情報の測定に基づき、三次元地図情報を更新してもよい。また、情報処理装置は、三次元地図情報を更新する際に、例えば、実空間に更新前には存在していなかった物体が置かれた等の変化により三次元地図情報上に反映された当該物体と、既に記憶された指定位置座標干渉が起こった場合、例えばアラートを発する、または自動的に指定位置座標を当該物体との干渉を避けるように補正する、といった処理を行ってもよい。

0161

また、上記実施形態では、指定位置の設定後は、次の指定位置を設定するため、レーザ光が指し示す位置や飛行ロボットの位置が、当該指定位置に対応する実空間上の位置から移動する例を説明したが、本発明は係る例に限定されない。例えば、情報処理装置の出力部から出力されるレーザ光や、飛行ロボットの飛行位置の制御により、三次元地図情報上に記憶された指定位置が実空間上に再現されてもよい。

0162

また、上記第一の実施形態において、三次元地図情報上で指定位置を特定する(図7のステップS214)際に、ポインティングデバイスの出力性能(直進光の結像距離等)に応じて直進光の長さに制限を行って指定位置の特定を行ってもよい。

0163

また、上記第二の実施形態において、三次元地図情報上で飛行ロボット80の移動目標座標を特定する(図16のステップS412)際に、例えば、飛行ロボット80の飛行能力、あるいは飛行範囲制限に応じて、特定される移動目標座標の位置に制限が加えられてもよい。

0164

また、上記実施形態における各ステップは、必ずしもフローチャート図として記載された順序に沿って時系列に処理する必要はない。例えば、上記実施形態の処理における各ステップは、フローチャート図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

0165

また、上述したデータサーバ10、情報処理装置20、ポインティングデバイス30、飛行ロボット80等に内蔵されるCPU1001、ROM1002及びRAM1003などのハードウェアに、上述したデータサーバ10、情報処理装置20、ポインティングデバイス30、飛行ロボット80等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。

0166

1、2情報処理システム
10データサーバ
20情報処理装置
30ポインティングデバイス
40通信網
80飛行ロボット
220、230センサ部
222自己測定部
224 ポインティングデバイス測定部
226 飛行ロボット測定部
240、250 制御部
242自己位置特定部
244 ポインティングデバイス位置特定部
246指示位置座標処理部
247 指示位置座標処理部
248出力情報処理部
252 飛行ロボット位置特定部
254 飛行ロボット位置制御部
260 出力部
280通信部
320 入力部
322座標設定要求部
324出力状態切替部
326 飛行ロボット位置調整部
330 入力部
340 制御部
360 出力部
380 通信部
820 制御部
822飛行制御部
824 出力情報処理部
840飛行動力部
860 出力部
880 通信部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ