図面 (/)

技術 情報処理装置、情報処理装置の制御方法およびプログラム

出願人 キヤノン株式会社
発明者 小林俊広小竹大輔鈴木雅博藤木真和片山昭宏
出願日 2016年8月26日 (4年8ヶ月経過) 出願番号 2016-166011
公開日 2017年8月24日 (3年8ヶ月経過) 公開番号 2017-146952
状態 特許登録済
技術分野 イメージ分析
主要キーワード 規定状態 検知判定処理 閉経路 誘導出力 二画像間 外接多角形 立方体形 各撮影領域
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年8月24日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (15)

課題

高精度な三次元地図の生成を実現する。

解決手段

情報処理装置であって、複数の位置姿勢撮影部により撮影された撮影画像を取得する取得部と、規定状態の撮影画像と略同じ位置姿勢に対応する撮影画像を取得させるための誘導指示を生成する生成部と、誘導指示を出力する出力部と、誘導指示の出力後に取得部により取得された1つの撮影画像が、規定状態の撮影画像と略同じ位置姿勢で撮影されたか否かを判定する判定部と、略同じ位置姿勢で撮影されたと判定された場合、複数の位置姿勢で撮影された1つの撮影画像を含む複数の撮影画像に基づいて、撮影画像に含まれる特徴の三次元座標から三次元地図を生成もしくは更新する地図生成部とを備える。

概要

背景

近年、撮影装置によって獲得された画像に写っている特徴に基づき、撮影装置の位置姿勢を算出する技術はSfM(Structure from Motion)あるいはSLAM(Simultaneous Localization And Mapping)と呼ばれ、実写画像計算機仮想的に生成された画像を重畳して提示するAR(Augmented Reality)やMR(Mixed Reality)などに広く用いられている。

SfMやSLAMにおいては、撮影装置(あるいはそれを保持する装置の使用者)が広い空間を動き回るような場合には、撮影装置の移動距離が長くなるにつれて、検出される空間中の特徴点三次元座標三次元地図)および撮影装置の位置姿勢の推定値に次第にずれが生じることとなる。これを解決するために撮影装置を周回的に移動させて閉経路を構成し、経路の始点と終点の位置姿勢を一致させるように最適化を行うループクローズと呼ばれる手法が広く用いられている。特許文献1では、ループクローズを適用できるときに三次元地図を生成し、処理を終了することが開示されている。

概要

高精度な三次元地の生成を実現する。情報処理装置であって、複数の位置姿勢で撮影部により撮影された撮影画像を取得する取得部と、規定状態の撮影画像と略同じ位置姿勢に対応する撮影画像を取得させるための誘導指示を生成する生成部と、誘導指示を出力する出力部と、誘導指示の出力後に取得部により取得された1つの撮影画像が、規定状態の撮影画像と略同じ位置姿勢で撮影されたか否かを判定する判定部と、略同じ位置姿勢で撮影されたと判定された場合、複数の位置姿勢で撮影された1つの撮影画像を含む複数の撮影画像に基づいて、撮影画像に含まれる特徴の三次元座標から三次元地を生成もしくは更新する地生成部とを備える。

目的

本発明は、上記の課題に鑑みてなされたものであり、高精度な三次元地図の生成を実現する技術を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

複数の位置姿勢撮影部により撮影された撮影画像を取得する取得手段と、規定状態の撮影画像と略同じ位置姿勢に対応する撮影画像を取得させるための誘導指示を生成する生成手段と、前記誘導指示を出力する出力手段と、前記誘導指示の出力の後に前記取得手段により取得された1つの撮影画像が、前記規定状態の撮影画像と略同じ位置姿勢で撮影されたか否かを判定する判定手段と、前記略同じ位置姿勢で撮影されたと判定された場合、前記複数の位置姿勢で撮影された前記1つの撮影画像を含む複数の撮影画像に基づいて、撮影画像に含まれる特徴の三次元座標から三次元地図を生成もしくは更新する地図生成手段と、を備えることを特徴とする情報処理装置

請求項2

前記生成手段は、前記規定状態の撮影画像を含む画像を前記誘導指示として生成することを特徴とする請求項1に記載の情報処理装置。

請求項3

前記判定手段は、前記1つの撮影画像と、前記規定状態の撮影画像との類似度に基づいて、前記略同じ位置姿勢で撮影されたか否かを判定することを特徴とする請求項1又は2に記載の情報処理装置。

請求項4

前記判定手段は、前記1つの撮影画像に含まれる特徴と、前記規定状態の撮影画像に含まれる特徴とから取得される画像間の幾何変換パラメータに基づいて、前記略同じ位置姿勢で撮影されたか否かを判定することを特徴とする請求項1又は2に記載の情報処理装置。

請求項5

前記規定状態の撮影画像を記憶する画像記憶手段をさらに備えることを特徴とする請求項1乃至4の何れか1項に記載の情報処理装置。

請求項6

前記取得手段により取得された撮影画像が撮影された位置姿勢を取得する位置姿勢取得手段と、前記規定状態に対応する規定位置姿勢を記憶する状態記憶手段と、をさらに備え、前記生成手段は、前記規定位置姿勢と略同じ位置姿勢に対応する撮影画像を取得させるための誘導指示を生成することを特徴とする請求項1乃至5の何れか1項に記載の情報処理装置。

請求項7

前記生成手段は、前記規定位置姿勢と前記位置姿勢取得手段により取得された複数の位置姿勢の軌跡とを含む計測空間俯瞰図を含む誘導指示を生成することを特徴とする請求項6に記載の情報処理装置。

請求項8

前記生成手段は、前記規定位置姿勢と、前記位置姿勢取得手段により取得された位置姿勢とに基づいて、前記位置姿勢取得手段により取得された位置姿勢から前記規定位置姿勢へと至る誘導方向を含む誘導指示を生成することを特徴とする請求項6又は7に記載の情報処理装置。

請求項9

前記状態記憶手段は、前記取得手段により取得された複数の撮影画像に対応する複数の位置姿勢の軌跡をさらに記憶し、前記生成手段は、前記位置姿勢の軌跡に基づいて、計測空間に対する前記位置姿勢の軌跡の空間的な広がりが拡大するように、前記誘導指示を生成することを特徴とする請求項6乃至8の何れか1項に記載の情報処理装置。

請求項10

前記判定手段は、前記規定位置姿勢と、前記位置姿勢取得手段により取得された位置姿勢との間の各位置のユークリッド距離と、各姿勢ベクトルのなす角との少なくとも一方に基づいて、前記略同じ位置姿勢で撮影されたか否かの判定を行うことを特徴とする請求項6乃至9の何れか1項に記載の情報処理装置。

請求項11

前記判定手段は、前記三次元地図の推定精度をさらに算出し、当該推定精度に基づいて、前記略同じ位置姿勢で撮影されたか否かの判定を行うことを特徴とする請求項1乃至10の何れか1項に記載の情報処理装置。

請求項12

前記地図生成手段による三次元地図の生成の終了を判定する終了判定手段をさらに備えることを特徴とする請求項1乃至11の何れか1項に記載の情報処理装置。

請求項13

複数の位置姿勢で撮影部により撮影された撮影画像を取得する取得手段と、前記複数の位置姿勢で撮影された少なくとも1つの撮影画像に基づいて、撮影画像に含まれる特徴の三次元座標から三次元地図を生成する地図生成手段と、規定状態の撮影画像と略同じ位置姿勢に対応する撮影画像を取得させるための誘導指示を生成する生成手段と、前記誘導指示を出力する出力手段と、前記誘導指示の出力の後に前記取得手段により取得された1つの撮影画像が、前記規定状態の撮影画像と略同じ位置姿勢で撮影されたか否かを判定する判定手段と、前記略同じ位置姿勢で撮影されたと判定された場合、前記三次元地図を修正する地図修正手段とを備えることを特徴とする情報処理装置。

請求項14

情報処理装置の制御方法であって、取得手段が、複数の位置姿勢で撮影部により撮影された撮影画像を取得する取得工程と、生成手段が、規定状態の撮影画像と略同じ位置姿勢に対応する撮影画像を取得させるための誘導指示を生成する生成工程と、出力手段が、前記誘導指示を出力する出力工程と、判定手段が、前記誘導指示の出力の後に前記取得工程により取得された1つの撮影画像が、前記規定状態の撮影画像と略同じ位置姿勢で撮影されたか否かを判定する判定工程と、地図生成手段が、前記略同じ位置姿勢で撮影されたと判定された場合、前記複数の位置姿勢で撮影された前記1つの撮影画像を含む複数の撮影画像に基づいて、撮影画像に含まれる特徴の三次元座標から三次元地図を生成する地図生成工程と、を有することを特徴とする情報処理装置の制御方法。

請求項15

情報処理装置の制御方法であって、取得手段が、複数の位置姿勢で撮影部により撮影された撮影画像を取得する取得工程と、地図生成手段が、前記複数の位置姿勢で撮影された少なくとも1つの撮影画像に基づいて、撮影画像に含まれる特徴の三次元座標から三次元地図を生成する地図生成工程と、生成手段が、規定状態の撮影画像と略同じ位置姿勢に対応する撮影画像を取得させるための誘導指示を生成する生成工程と、出力手段が、前記誘導指示を出力する出力工程と、判定手段が、前記誘導指示の出力の後に前記取得工程により取得された1つの撮影画像が、前記規定状態の撮影画像と略同じ位置姿勢で撮影されたか否かを判定する判定工程と、地図修正手段が、前記略同じ位置姿勢で撮影されたと判定された場合、前記三次元地図を修正する地図修正工程とを有することを特徴とする情報処理装置の制御方法。

請求項16

コンピュータを、請求項1乃至13の何れか1項に記載の情報処理装置として機能させるためのプログラム

技術分野

0001

本発明は、情報処理装置、情報処理装置の制御方法およびプログラムに関する。

背景技術

0002

近年、撮影装置によって獲得された画像に写っている特徴に基づき、撮影装置の位置姿勢を算出する技術はSfM(Structure from Motion)あるいはSLAM(Simultaneous Localization And Mapping)と呼ばれ、実写画像計算機仮想的に生成された画像を重畳して提示するAR(Augmented Reality)やMR(Mixed Reality)などに広く用いられている。

0003

SfMやSLAMにおいては、撮影装置(あるいはそれを保持する装置の使用者)が広い空間を動き回るような場合には、撮影装置の移動距離が長くなるにつれて、検出される空間中の特徴点三次元座標三次元地図)および撮影装置の位置姿勢の推定値に次第にずれが生じることとなる。これを解決するために撮影装置を周回的に移動させて閉経路を構成し、経路の始点と終点の位置姿勢を一致させるように最適化を行うループクローズと呼ばれる手法が広く用いられている。特許文献1では、ループクローズを適用できるときに三次元地図を生成し、処理を終了することが開示されている。

先行技術

0004

米国特許第8787614号明細書

発明が解決しようとする課題

0005

しかしながら、特許文献1では、確実にループクローズを行うために、装置の使用者を経路の始点に誘導するための方法については何ら言及されていない。そのため、高精度な三次元地図を生成することは容易ではないという課題がある。

0006

本発明は、上記の課題に鑑みてなされたものであり、高精度な三次元地図の生成を実現する技術を提供することを目的とする。

課題を解決するための手段

0007

上記の目的を達成する本発明に係る情報処理装置は、
複数の位置姿勢で撮影部により撮影された撮影画像を取得する取得手段と、
規定状態の撮影画像と略同じ位置姿勢に対応する撮影画像を取得させるための誘導指示を生成する生成手段と、
前記誘導指示を出力する出力手段と、
前記誘導指示の出力後に前記取得手段により取得された1つの撮影画像が、前記規定状態の撮影画像と略同じ位置姿勢で撮影されたか否かを判定する判定手段と、
前記略同じ位置姿勢で撮影されたと判定された場合、前記複数の位置姿勢で撮影された前記1つの撮影画像を含む複数の撮影画像に基づいて、撮影画像に含まれる特徴の三次元座標から三次元地図を生成もしくは更新する地図生成手段と、
を備えることを特徴とする。

発明の効果

0008

本発明によれば、高精度な三次元地図の生成を実現することが可能となる。

図面の簡単な説明

0009

第1実施形態に係るシステム構成及び情報処理装置の構成を示す図である。
第1実施形態に係る入力画像初期位置姿勢画像およびその位置関係の例を示す図である。
第1実施形態に係る出力画像の例を示す図である。
第1実施形態に係る情報処理装置が実施する処理の手順を示すフローチャートである。
第2実施形態に係るシステム構成及び情報処理装置の構成を示す図である。
第2実施形態に係る誘導指示画像および出力画像の例を示す図である。
第2実施形態に係る誘導生成部が誘導方向を決定する方法を示す図である。
第2実施形態に係る情報処理装置が実施する処理の手順を示すフローチャートである。
変形例10に係る判定部が行う追加の判定処理概要を説明する図である。
第3実施形態に係る誘導生成部が誘導方向を決定する方法を示す図である。
第3実施形態において誘導指示画像および出力画像の例を示す図である。
第4実施形態に係るシステム構成及び情報処理装置の構成を示す図である。
第4実施形態において誘導指示画像、仮想画像および出力画像の例を示す図である。
第4実施形態に係る情報処理装置が実施する処理の手順を示すフローチャートである。

実施例

0010

以下、図面を参照しながら実施形態を説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

0011

(第1実施形態)
<概要>
本実施形態では、MR(またはAR)体験に先立ち、あらかじめ高精度な三次元地図を生成し用意しておく場合に適用できる情報処理装置に関して説明する。情報処理装置の使用者は、接続されたカメラを保持して移動しながら、三次元地図を生成するための画像列を撮影する。本発明の装置はループクローズが可能となるように使用者を誘導する。具体的には、使用者に経路の始点となる初期位置姿勢(規定位置姿勢)において撮影された画像を提示する。

0012

使用者はこの画像を見ながら、カメラの位置姿勢が初期位置姿勢(規定位置姿勢)と概ね一致するようにカメラを移動する。情報処理装置はカメラがほぼ初期位置姿勢(規定位置姿勢)に至ったことを判定し、ループクローズ処理を行う。これによって、情報処理装置は経路の始点と終点との位置姿勢を一致させるように最適化を行い、高精度な三次元地図を生成する。

0013

<システム構成>
図1は、第1実施形態に係るシステム構成を示す図である。図1における長方形の各枠は本実施形態の各処理を行う機能モジュールを、矢印はデータの流れを示している。第1実施形態に係るシステムは、情報処理装置200と、それに接続する撮影部101および表示部102を備えている。図1の構成は一例であり図示されるものに限定されない。

0014

撮影部101は、情報処理装置200を用いて三次元地図を生成する対象となる空間内において、使用者がその位置姿勢を変更しながら一連の画像列を撮影する。撮影部101は、情報処理装置200に接続して用いられ、例えば30分の1秒などの短い時間周期で連続的に画像を撮影する。画像は撮影した都度、画像取得部201に入力される。具体的には、撮影部101はヘッドマウントディスプレイ(HMD)に備えられたカメラである。

0015

表示部102は、使用者に提示する画像を表示する。提示する画像は情報処理装置200(より具体的には誘導出力部205)から供給される。具体的には、表示部102は、モニターなどのディスプレイ装置や、HMDに備えられた液晶パネルである。

0016

<情報処理装置の構成>
情報処理装置200は、画像取得部201、画像記憶部202、判定部203、誘導生成部204、誘導出力部205、及び三次元地図生成部206を備えている。

0017

画像取得部201は、撮影部101が撮影した画像を情報処理装置200内部に取り込み、入力画像10として、画像記憶部202、判定部203、誘導生成部204、誘導出力部205へ送出する。

0018

画像記憶部202は、画像取得部201が取得した各時刻における入力画像10を記憶し、保持する。また、画像記憶部202は三次元地図を生成するための撮影準備が整った状態で、あるいは使用者が指定した任意のタイミングで撮影された入力画像10を、初期位置姿勢画像20(規定位置姿勢に対応する撮影画像)として登録する。

0019

より具体的には、画像記憶部202は、初期位置姿勢画像とみなす入力画像10にラベルを付与して保持する。情報処理装置200は、高精度な三次元地図を生成するにあたり、撮影部101の移動履歴が閉経路を構成するように、初期位置姿勢に概略一致する位置姿勢の画像を撮影すべく、使用者に誘導指示を提示するものである。画像記憶部202は、使用者に対する誘導対象の状態を定義する初期位置姿勢画像20を保持する。

0020

ここで、図2(a)及び図2(b)は、撮影部101の移動履歴と初期位置姿勢画像20の例を示している。図2(a)は、計測空間を上方から観測した俯瞰図であり、黒丸は撮影部101の位置を、三角は撮影部101の視野三角形頂点視点位置、三角形の底辺視野範囲)を表している。図2(a)において、撮影部101は、位置姿勢Aから位置姿勢B、位置姿勢Cへと矢印に沿って移動したことを表している。図2(b)に示した初期位置姿勢画像20は、図2(a)における位置姿勢Aで撮影した画像である。

0021

判定部203は、誘導生成部204および誘導出力部205による誘導の結果、撮影部101の位置姿勢が初期位置姿勢に到達し、初期位置姿勢登録時からの位置姿勢の軌跡が閉経路を構成したか否かを判定するための閉経路判定処理を行う。本実施形態において、判定部203は、起動モードと、閉経路判定モードとの少なくとも2つのモードを持つ。

0022

初期位置姿勢画像20を登録した直後は、撮影部101の位置姿勢がほとんど変化していないため、実質的には移動がほとんどなく閉経路を構成していないにも関わらず、閉経路であると誤判定されてしまうおそれがある。そのため、判定部203は起動モードであるときには閉経路検知判定処理を行わない。あるいは、起動モードであっても閉経路検知判定処理を行ってよいが、判定に成功しても閉経路を構成したと見なさないようにしてもよい。本実施形態において、判定部203は、初期位置姿勢登録時から規定の時間が経過したときに起動モードから閉経路判定モードに移行する。

0023

判定部203は、閉経路判定モードである場合に、画像取得部201から入力された現在の入力画像10と、画像記憶部202が保持している初期位置姿勢画像20とを比較することで、閉経路判定処理を行う。すなわち、判定部203は撮影部101の現在の位置姿勢が、初期位置姿勢画像20登録時の位置姿勢に概略一致したか否かを判定する。概略一致した場合には、情報処理装置200の使用者にその旨を通知し、撮影を終了するように促す。

0024

具体的には、判定部203は、図3(b)に示すような、閉経路に到達したことを通知する表示形態30を生成し、誘導出力部205に送出する。さらに、判定部203は、この時点での入力画像10を閉経路到達画像として、ラベルを付与して画像記憶部202に記憶させる。そうでない場合には、後述の誘導生成部204の処理によって情報処理装置200の使用者に対して撮影部101の位置姿勢を初期位置姿勢に概略一致させるための誘導指示を行う。

0025

次に、判定部203による閉経路判定処理の内容について説明する。閉経路と判定される条件(ループクローズが適用できる条件)とは、閉経路の始点における撮影画像と終点における撮影画像において、両者の撮影領域内に共通の特徴が検出される程度の重なりが存在し、二画像間の相対的な位置姿勢が算出可能であることである。二画像間で共通領域が多いということは、両者の位置姿勢が似通っており、連続したものと見なせることを意味するのであるから、本実施形態においては、Bag of Words(BoW)を適用して、閉経路の判定を行う。BoWは画像中に含まれる特徴の出現頻度によって複数の画像間での類似度を算出するものである。判定部203は、BoWの類似度が閾値を上回った場合、すなわち始点画像終点画像との類似度が高い場合に、閉経路を検知したと判定する。

0026

ここで、図2(c)は、図2(b)の初期位置姿勢画像20と同じ環境を図2(a)における位置姿勢Bから撮影した入力画像10の例を示している。図2(c)の入力画像10と図2(b)の初期位置姿勢画像20との各撮影領域には重複が極めて少ないため、判定部203は、図2(c)における入力画像10の位置姿勢は初期位置姿勢画像20に対して閉経路を構成しないと判定する。

0027

一方、図2(d)は、図2(b)の初期位置姿勢画像20と同じ環境を図2(a)における位置姿勢Cから撮影した入力画像10の例を示している。図2(d)の入力画像10と図2(b)初期位置姿勢画像20との各撮影領域には重複が多いため、判定部203は閉経路判定処理に成功する。そのため、図2(d)における入力画像10の位置姿勢は、初期位置姿勢画像20に対して閉経路を構成したと判定する。

0028

誘導生成部204は、判定部203が起動モードから閉経路判定モードに遷移したときに図3(a)及び図3(b)に示すような誘導指示画像40を生成し、誘導出力部205に送出する。誘導指示画像40は、情報処理装置200の使用者に提示され、次に移動すべき位置姿勢を示す画像である。本実施形態において、誘導生成部204は、誘導指示画像40として画像記憶部202が保持する初期位置姿勢画像20を用いる。すなわち、本実施形態における誘導指示画像40は初期位置姿勢画像20と同一のものである。

0029

誘導出力部205は、表示部102上に表示して使用者に提示するための画像を生成する。本実施形態においては、図3(a)及び図3(b)に示すように、入力画像10に対し、誘導指示画像40を重畳し、出力画像50を生成する。出力画像は情報処理装置200外部の表示部102に送出される。図3(a)及び図3(b)には本実施形態における出力画像50の例を示している。

0030

三次元地図生成部206は、装置の使用者からの操作によって撮影が終了した場合には、画像記憶部202からこれまでに保持した一連の入力画像10を参照して、SLAM処理によって三次元地図の生成を行う。また、このとき、初期位置姿勢画像20(始点)と閉経路到達画像(終点)の位置姿勢は連続しているものとして対応付け、ループクローズによる最適化処理を行う。

0031

<処理>
以上のような構成を備えた本実施形態に係る情報処理装置200の制御について、以下説明する。図4は、本実施形態に係る情報処理装置200が実施する処理の手順を示すフローチャートである。

0032

まず、情報処理装置200が起動されると、ステップS1010において、初期化処理が行われる。ステップS1010の初期化処理には、各モジュールの起動に必要な処理や、判定部203を起動モードに設定する処理が含まれる。

0033

ステップS1020において、撮影部101は現在の入力画像10を撮影する。入力画像10は画像取得部201を通じて情報処理装置200の内部に取り込まれる。ステップS1030において、誘導生成部204は、誘導指示画像40を生成し、誘導出力部205に送出する。先述のように、本実施形態では、誘導生成部204は、画像記憶部202が保持している初期位置姿勢画像20を誘導指示画像40として生成する。誘導出力部205は、入力画像10に誘導指示画像40を重畳し、出力画像50を生成する。

0034

ステップS1040において、判定部203は、動作モードが閉経路判定モードである場合に、現在の入力画像10に対して閉経路判定処理を行う。判定部203が起動モードである場合には、画像記憶部202は初期位置姿勢画像20の登録を行い、所定の時間が経過した後に、判定部203の動作モードを起動モードから閉経路判定モードに移行する。

0035

ステップS1050において、ステップS1040における閉経路判定処理に成功した(閉経路が構成された)場合には、判定部203は、画像記憶部202に入力画像10を閉経路到達画像として登録し、ステップS1060に進む。そうでない場合には、ステップS1020に戻る。

0036

ステップS1060において、三次元地図生成部206は、これまでに記憶した入力画像10、初期位置姿勢画像20、閉経路到達画像を用いて、撮影画像に含まれる特徴の三次元座標から三次元地図を生成する処理とループクローズによる最適化処理とを行う。最適化された三次元地図が生成されたら、本実施形態の処理を終了する。

0037

以上述べたように、本実施形態によれば、装置の使用者に対して、ループクローズ処理を適用可能な閉経路を構成するように撮影部の動きを誘導することが可能となる。また、取得した画像列に対してループクローズ処理を適用することによって高精度な三次元地図を生成することが可能となる。

0038

[変形例1]
ステップS1030において、判定部203は、初期位置姿勢登録からの経過時間に加えて、さらにステップS1050の判定処理で規定の回数以上失敗したことを条件に加えて、起動モードから閉経路判定モードに移行するようにしてもよい。このようにすることで、情報処理装置200の使用者が初期位置姿勢を維持したまま一定時間以上静止した場合に、閉経路判定モードに移行してしまうことを防止することができる。

0039

[変形例2]
ステップS1050において、判定部203は、BoWを用いるのではなく、初期位置姿勢画像20、現在の入力画像10の両方からSIFTなどを用いて特徴点の対応付けを行い、アフィン変換ホモグラフィー変換などの二画像間の変換を求めてもよい。この場合、一方の画像を他方の画像に変換し、これらの画像間の輝度差の総和の逆数を類似度として、これが閾値よりも大きいときに閉経路を検知したと判定してもよい。また、抽出された特徴点数と対応付けに成功した特徴点数との比を取り、これが閾値以上であれば閉経路を検知したと判定するようにしてもよい。

0040

[変形例3]
情報処理装置200の使用者が初期位置姿勢に近づいた場合には、重畳される入力画像10ないし誘導指示画像40の表示を変更するようにしてもよい。表示の変更については、使用者が初期位置姿勢に近づいたことを認識できればいかなる方法を用いてもよい。また、初期位置姿勢に近づいたか否かの判定には、いかなる方法を用いてもよい。

0041

変形例2において、初期位置姿勢画像20と現在の入力画像10との間で対応する特徴点数が増加した場合には、誘導生成部204ないし誘導出力部205は情報処理装置200の使用者が初期位置姿勢に近づいたとみなしてもよい。対応特徴点数が増加した場合、その割合に応じて入力画像10の色調を変更することによって、情報処理装置200の使用者が初期位置姿勢に近づいている状況を把握することが可能となる。

0042

[変形例4]
誘導出力部205は、ステップS1050の閉経路判定処理に成功した場合には、撮影を終了できる旨を使用者に通知するようにしてもよい。図3(b)は閉経路に到達したことを通知する表示形態30として「撮影終了」との文字列を表示している。これは、使用者に対して、これまでに撮影した複数の画像(入力画像10)の位置姿勢が閉経路を構成し、必要な画像がすべて取得できたため、撮影を終了することができるという情報を提示するものである。使用者への通知は、使用者が撮影を終了できることを認識できるものであれば、いかなるものでもよい。表示形態30の他に、音声振動などを使用者に提示するようにしてもよい。

0043

[変形例5]
ステップS1010において、三次元地図を生成する対象となる空間が撮影部101の視野内に含まれるようになったことを確認してから、ステップS1020に進むようにしてもよい。このようにすることで、起動直後に撮影部101が本来三次元地図を生成しない環境を撮影していた場合に、三次元地図の精度が低下することを防止することができる。情報処理装置200の使用者に準備が完了したことをボタンやスイッチなどにより情報処理装置200へ通知させるようにしてもよいし、例えば撮影部101が環境中の特定の物体が観察できたことを条件として、情報処理装置200が自動で判定するようにしてもよい。

0044

[変形例6]
本実施形態における撮影部101は、デプスセンササーモグラフィ等、明るさ以外の情報を輝度値に変えて取得する装置を利用してもよく、装置の使用者が現在のおよび初期位置姿勢を画像によって区別できるものであれば、いかなるものを用いてもよい。また、これらの装置で構成される撮影部101から取得される画像あるいはデータ群を用いて閉経路判定処理を実行してもよい。

0045

[変形例7]
三次元地図生成部206が行うSLAM処理は、一連の入力画像10から各入力画像10を撮影した位置姿勢と、特徴点の三次元座標を算出できるものであれば、いかなる手法を用いてもよい。

0046

(第2実施形態)
<概要>
本実施形態では、MR(またはAR)体験に先立ち、あらかじめ高精度な三次元地図を生成し用意しておく場合に適用できる情報処理装置に関して説明する。情報処理装置の使用者は、接続されたカメラを保持して移動しながら、三次元地図を生成するための画像列を撮影する。本発明の情報処理装置は、推定される位置姿勢を用いて、ループクローズが可能となるように使用者を誘導する。具体的には、使用者に現在の位置姿勢から経路の始点となる初期位置姿勢に至る方向を示した画像を提示する。使用者はこの画像を見ながら、カメラの位置姿勢が初期位置姿勢と概ね一致するようにカメラを移動する。

0047

本実施形態では、使用者に対して具体的な移動方向が提示されるので、より効率的にカメラの位置姿勢を初期位置姿勢に一致させることができるようになる。情報処理装置はカメラがほぼ初期位置姿勢に至ったことを判定し、ループクローズ処理を行う。これによって、情報処理装置は経路の始点と終点の位置姿勢を一致させるように最適化を行い、高精度な三次元地図を生成する。

0048

<システム構成>
図5は、第2実施形態に係るシステム構成を示す図である。図5における長方形の枠は本実施形態の各処理を行う機能モジュールを、矢印はデータの流れを示している。本実施形態に係るシステムは、情報処理装置200とそれに接続する撮影部101および表示部102を備えている。図5の構成は一例であり図示されるものに限定されない。また、第1実施形態と異なる部分について主に説明し、同じ部分については説明を省略する。

0049

<情報処理装置の構成>
本実施形態においては、画像記憶部202に替えて状態記憶部207が備えられている。状態記憶部207は、入力画像10の撮影時における撮影部101の位置姿勢を入力画像10に対応づけて保持する。また、初期位置姿勢画像20の登録時には、状態記憶部207はその時点における位置姿勢も初期位置姿勢として同時に記憶する。すなわち、本実施形態では、状態記憶部207は、初期位置姿勢画像20、閉経路到達画像を含む入力画像10のすべてがその位置姿勢に対応づけた形で保持される。状態記憶部207の詳細な動作に関しては後述する。

0050

さらに、本実施形態においては、新たに位置姿勢取得部208が追加されている。位置姿勢取得部208は、入力画像10を用いて、SLAM処理によって現在の入力画像10を撮影したときの撮影部101の位置姿勢を推定する。推定された位置姿勢は状態記憶部207によって、入力画像10と対応づけて保持される。以後、対応づけられたこれらの位置姿勢については、入力画像10の位置姿勢と表記する。位置姿勢取得部208の詳細な動作に関しては後述する。

0051

判定部203は、画像取得部201からの現在の入力画像10と、画像記憶部202が保持している初期位置姿勢画像20とを比較することに加えて、これらに対応づけられた位置姿勢を参照して、閉経路判定処理を行う。

0052

より具体的には、判定部203は、第1実施形態で説明したBoWによる類似度の判定に加えて、入力画像10の位置姿勢と、初期位置姿勢画像20の位置姿勢とを比較する。画像の類似性のみならず、両者の位置姿勢を比較することによって、より正確に閉経路の判定を行うことができる。位置については、2つの三次元座標間のユークリッド距離、姿勢については2つの姿勢ベクトル間の内積(あるいはなす角)を指標として比較すればよい。

0053

すなわち、2つの三次元座標間のユークリッド距離が閾値よりも小さければ位置については一致したものとみなし、2つの姿勢ベクトル間の内積が閾値よりも大きければ姿勢については一致したものと見なすことができる。なお、SLAMによって推定された位置姿勢は、前述のように再び同じ地点に到達したときに位置姿勢が同じにならない場合がある。そのため、初期位置姿勢と現在の位置姿勢との比較時に、特に位置の閾値を大きめに設定してもよい。

0054

誘導生成部204は、判定部203が閉経路判定モードである場合に、情報処理装置200の使用者を誘導する方向を算出し、後述する誘導指示画像60を生成する。生成した誘導指示画像60は誘導出力部205に送出される。誘導生成部204は、誘導指示画像60を生成するために、状態記憶部207において保持されている入力画像10と対応する位置姿勢、三次元地図を参照する。

0055

図6(a)には、本実施形態において、誘導指示画像60およびそれを重畳した出力画像70の例を示している。入力画像10は図2(a)における位置姿勢Bにおいて撮影されたものとする。初期位置姿勢画像20を図2(a)における位置姿勢Aにおいて撮影されたものとすると、図6(a)における入力画像10が撮影された位置姿勢Bに対して、情報処理装置200の使用者を左方向に誘導させれば閉経路を構成することができる。

0056

そのため、図6(a)においては、誘導指示画像60として、出力画像70中央に左方向を示す矢印を、右上に計測空間全体を示す俯瞰図を示している。俯瞰図には、初期位置姿勢(黒丸)、位置姿勢の軌跡(実線矢印)、移動すべき経路(破線矢印)が示されている。情報処理装置200の使用者は、俯瞰図によって目的とする位置姿勢を認識することができる。また、出力画像70中の矢印、俯瞰図を参照することによって、左側に向かって移動すればよいことが認識できる。

0057

図6(b)には、本実施形態において、誘導指示画像60およびそれを重畳した出力画像70の別の例を示している。図6(b)には、誘導指示画像60として、出力画像70中央に立方体形状の仮想物体が表示されている。仮想物体の左側面には文字が書かれており、左側面に書かれた文字を読むように促すメッセージが表示されている。この場合、情報処理装置200の使用者は仮想物体左側面に書かれた文字がよく読めるよう、左側に回り込むような動作を行うことが期待できる。誘導生成部204は、現在の位置姿勢と誘導方向とに基づいて、仮想物体の回転角を算出する。

0058

情報処理装置200の使用者を左方向に誘導する場合には、仮想物体に書かれた文字を画面左から奥に隠す方向に仮想物体を回転させる。逆に情報処理装置200の使用者を右方向に誘導する場合には、仮想物体に書かれた文字を画面右から奥に隠す方向に仮想物体を回転させる。誘導生成部204は、短時間のうちに推定される位置姿勢に応じて仮想物体を刻一刻と回転させるため、情報処理装置200の使用者を所望の位置姿勢へと誘導することができる。

0059

図6(c)には、本実施形態における、誘導指示画像60およびそれを重畳した出力画像70の別の例を示している。図6(c)には、誘導指示画像60として、出力画像70の誘導する方向を除いた部分を黒で塗りつぶした画像を示している。図6(c)においては、黒で塗りつぶしているが、異なる色としてもよい。また、塗りつぶしの色を半透明にするなど、覆われる部分においても、その下の入力画像10の一部を視認できるようにしてもよい。使用者が出力画像70の明るい部分に向かって移動しやすいように塗りつぶしの色を決定する。

0060

本実施形態において、誘導生成部204が現在の位置姿勢から初期位置姿勢に向けて誘導すべき方向を決定する処理を、図7(a)、図7(b)を用いて説明する。図7(a)において初期位置T0を黒丸で、初期姿勢R0を三角で示している。三角はR0における視野方向を示すものである。現在の位置姿勢Tt、Rtを同様に白丸および三角で示している。また、現在の姿勢Rtから算出できる視線ベクトルをvtとする。現在位置Ttから向かうべき方向を示す移動方向ベクトルdtは式(1)で表される。

0061

dt=T0−Tt...(1)
誘導する方向はvtからdtへのなす角θtによって定めることができる。θtが正であれば誘導方向は左、負であれば誘導方向は右となる。すなわち、誘導生成部204は、このθtが正であれば左方向の矢印、負であれば右方向の矢印を誘導指示画像60として生成すればよい。

0062

一方、現在の位置姿勢が初期位置姿勢に十分近い場合には、誘導生成部204は現在の姿勢を初期姿勢に合わせるように誘導する必要が生じる。この場合に誘導すべき方向を決定する方法を、図7(b)を用いて説明する。図7(b)における初期姿勢の視線ベクトルをv0とすると、誘導すべき方向はvtからv0へのなす角φtによって定められる。φtが正であれば誘導方向は左、負であれば誘導方向は右となる。すなわち、誘導生成部204は、このφtが正であれば左方向の矢印、負であれば右方向の矢印を誘導指示画像60として生成すればよい。

0063

三次元地図生成部206は、状態記憶部207が保持する入力画像10および位置姿勢から計測空間の三次元地図を生成する。第1実施形態においては、一連の撮影が終了した後に三次元地図の生成を行っていたのに対し、本実施形態においては、入力画像10が入力され、対応する位置姿勢が推定されるたびに三次元地図の生成・更新を行う。生成・更新された三次元地図は状態記憶部207において保持される。また、判定部203によって閉経路が構成された旨が判定され、撮影を終了した場合には、ループクローズ処理を行い、これまでに生成した三次元地図に対して最適化処理を行う。

0064

状態記憶部207は、画像取得部201が取得した各時刻における入力画像10を記憶し、保持する。また、位置姿勢取得部208によって推定された位置姿勢について、同時刻に撮影された入力画像10と対応づけて保持する。また、状態記憶部207は三次元地図生成部206によって生成・更新された三次元地図についても保持し、必要に応じて三次元地図生成部206とデータの送受を行う。

0065

位置姿勢取得部208は、過去の入力画像10とその位置姿勢、これまでに生成された三次元地図を参照して、SLAM処理によって現在の入力画像10の位置姿勢を推定する。推定された位置姿勢は状態記憶部207に送られ、入力画像10と対応づけて保持される。

0066

<処理>
以上のような構成を備えた本実施形態に係る情報処理装置200の制御について、以下説明する。図8(a)は、本実施形態に係る情報処理装置200が実施する処理の手順を示すフローチャートである。第1実施形態と比較すると、ステップS1020の処理がステップS1025に変更されている。ステップS1025では、現在の入力画像10に対する位置姿勢の取得と、三次元地図の生成更新を行う。

0067

図8(b)は、ステップS1025内部の処理の流れを示すフローチャートである。ステップS2010において、撮影部101は、現在の入力画像10を撮影する。入力画像10は画像取得部201を通じて情報処理装置200の内部に取り込まれる。また、この時点から誘導出力部205は表示部102への出力画像70の出力を開始する。

0068

ステップS2020において、位置姿勢取得部208は、状態記憶部207に保持された起動開始から現在までの入力画像10および三次元地図を用い、SLAM処理によって入力画像10の位置姿勢を取得する。

0069

ステップS2030において、三次元地図生成部206は、状態記憶部207に保持された入力画像10および位置姿勢を用いて三次元地図の生成を行う。既に三次元地図が生成されている場合には、三次元地図の更新処理を行う。

0070

ステップS2020およびS2030の処理については、処理の順序入れ替えてもよいし、同時に行ってもよい。いずれにせよ、ステップS2030までの処理を完了することによって、情報処理装置200内部に入力画像10が取り込まれ、それに対応する位置姿勢と現在までの三次元地図が生成・更新されることになる。

0071

ステップS1030において、誘導生成部204は、誘導指示画像60を生成し、誘導出力部205に送出する。先述のように、本実施形態では、誘導生成部204は、状態記憶部207が保持する初期位置姿勢と、位置姿勢取得部208において取得された位置姿勢とに基づいて、誘導指示画像60を生成する。誘導出力部205は、入力画像10に誘導指示画像60を重畳し、出力画像70を生成する。

0072

ステップS1040において、判定部203は、動作モードが閉経路判定モードである場合に、現在の入力画像10に対して閉経路判定処理を行う。一方、起動モードである場合には、状態記憶部207は初期位置姿勢画像20および初期位置姿勢の登録を行い、所定の時間が経過した後に、判定部203の動作モードを閉経路判定モードに移行する。

0073

ステップS1050において、ステップS1040における閉経路判定処理に成功した(閉経路が構成された)場合には、判定部203は画像記憶部202に入力画像10を閉経路到達画像として登録し、ステップS1060に進む。そうでない場合には、ステップS1020に戻る。

0074

ステップS1060において、三次元地図生成部206は、ステップS2010において記憶した入力画像10、初期位置姿勢画像20、初期位置姿勢、ステップS2020において推定した入力画像10の位置姿勢、ステップS1050において取得した閉経路到達画像を用い、ステップS2030で作成した三次元地図を初期値として、ループクローズによる最適化処理とを行う。最適化された三次元地図が生成されたら、本実施形態の処理を終了する。

0075

以上述べたように、本実施形態によれば、撮影された画像から随時算出される位置姿勢と三次元地図を用いることで、装置の使用者に対して、ループクローズ処理を適用可能な閉経路を構成するための方向を具体的に示し、撮影部の動きを効率的に誘導することが可能となる。また、生成された三次元地図にループクローズ処理を適用することによって、より高精度な三次元地図を生成することが可能となる。

0076

このように、装置の使用者に対して、ループクローズ処理を適用可能な閉経路を構成するための位置姿勢に誘導することが可能となる。このとき、使用者に対して具体的な移動方向を提示することによって、使用者はより効率的に閉経路を構成するための位置姿勢に到達することが可能となる。

0077

[変形例8]
本実施形態における位置姿勢取得部208は、SLAM処理によって入力画像10から位置姿勢を求めるのではなく、撮影部101に位置姿勢センサを設置して、直接的に位置姿勢を求めるようにしてもよい。あるいは、撮影部101にマーカなどの特徴を配置し、さらに外部に設けられた撮影装置によって撮影部101の画像を撮影して、その画像から特徴を抽出することによって、撮影部101の位置姿勢を求めるようにしてもよい。

0078

撮影部101の位置姿勢を、入力画像10を用いたSLAMによって算出せず、前述したように外部の装置によって推定する場合には、三次元地図生成部206は、撮影中に三次元地図をリアルタイムで生成しなくてもよく、状態記憶部207は三次元地図を常時保持しなくてもよい。また、6自由度の位置姿勢のうち、3自由度の位置のみ、あるいは姿勢のみを外部の装置で計測し、残りのパラメータをSLAM処理によって算出するようにしてもよい。

0079

[変形例9]
本実施形態における撮影部101には、デプスセンサなど撮影部101視点からの奥行きを計測できるものを利用することが可能である。三次元地図生成部206および位置姿勢取得部208は、入力画像10に替えて奥行き画像を用いて位置姿勢の推定および三次元地図の生成を行ってもよい。

0080

[変形例10]
判定部203は、閉経路の判定において、入力画像10の位置姿勢の履歴(軌跡)を利用するようにしてもよい。ループクローズの最適化時には、位置姿勢の軌跡が広く分布していることが好ましいため、これを判定部203の判定条件として追加することができる。例えば、三次元地図を作成する空間(計測空間)において、位置姿勢の軌跡が十分な広がりを持っているかどうかを閉経路検出の判定条件に追加すればよい。

0081

図9にその例を示している。図9の長方形は、上から見た計測空間を示している。その内部に描かれている曲線は、初期位置姿勢から開始した位置姿勢の軌跡を示している。図9の軌跡に対して、外接長方形を定義したときに、計測空間の大きさに対して、X方向、Y方向の辺が共に十分な長さを持っているため、この時点で閉経路を構成した場合には、精度のよい三次元地図が生成できることが期待できる。判定条件として、例えば計測空間のX軸、Y軸方向の長さと、軌跡の外接長方形のX軸方向、Y軸方向の広がりの比を算出し、この比が閾値以上であることを用いればよい。また、計測空間と軌跡が描く図形を多角形近似して面積を求め、計測空間との面積比を用いてもよい。

0082

[変形例11]
誘導生成部204は、変形例7で説明した位置姿勢の軌跡が十分な広がりを持つ方向(広がりが拡大する方向)を優先して誘導指示を生成するようにしてもよい。誘導生成部204は、図9の軌跡に対する外接長方形に対して、少なくとも1つの辺が大きくなる方向を経由させ、最終的に閉経路を構成する位置姿勢に至るように誘導指示画像60を生成するようにしてもよい。

0083

[変形例12]
判定部203は、閉経路判定処理において、状態記憶部207が保持する三次元地図を利用するようにしてもよい。三次元地図を構成する点群計測空間内に均一に分布していることが望ましいため、三次元地図として生成された三次元点群密度分布を判定条件に追加してもよい。例えば、三次元点群が疎である領域がまだ残っている場合には、判定部203は閉経路判定処理を失敗させ、誘導生成部204は情報処理装置200の使用者に対してその領域に至るように誘導指示画像60を生成するようにしてもよい。

0084

[変形例13]
判定部203は、閉経路の判定において、状態記憶部207が保持する入力画像10、位置姿勢、三次元地図を用いて、各入力画像における再投影誤差を利用するようにしてもよい。判定部203は状態記憶部207が保持する三次元地図を構成する三次元点群を、位置姿勢に基づいて入力画像10上に再投影し、画像処理によって抽出された特徴点と再投影された座標との差を算出する。この差が大きい場合には位置姿勢あるいは三次元地図の推定精度が良好でないことを意味する。そのため、この場合、判定部203は閉経路判定処理を失敗させ、誘導生成部204は情報処理装置200の使用者に対してその領域での入力画像10を再撮影させるべく誘導指示画像60を生成するようにしてもよい。

0085

[変形例14]
誘導生成部204は、情報処理装置200の使用者が閉経路を構成する目的の位置姿勢に近づく、あるいは遠ざかるにつれて、誘導指示画像60で表示される色を変更するようにしてもよい。例えば目的の位置姿勢に近づくにつれて図6(c)の塗りつぶしの色を薄くする、あるいは塗りつぶす領域を狭くすることによって、情報処理装置200の使用者は、目的の位置姿勢に近づいていることを容易に認識できる。

0086

誘導生成部204が目的の位置姿勢に近づいている、あるいは遠ざかっていることを判定するために、位置姿勢の軌跡を用いるだけでなく、初期位置姿勢画像20と入力画像10との間で対応する特徴点の数を用いてもよい。対応する特徴点の数が増加している場合には、使用者が初期位置姿勢に近づいていると判断することができる。逆に対応する特徴点数が減少している場合には、初期位置姿勢から遠ざかっていると判定することができる。

0087

[変形例15]
誘導生成部204および誘導出力部205は、画像以外の方法を用いて使用者が移動すべき方向を示してもよい。不図示の音響装置を用いて、声によって情報処理装置200の使用者が移動すべき方向を示してもよい。右あるいは左など、移動方向を直接指示することができる。あるいは立体音響によって、例えば仮想物体が移動すべき方向に去っていくような音声を与え、情報処理装置200の使用者を誘導するようにしてもよい。情報処理装置200の使用者は、仮想物体が去っていく方向を追うような動作を行うことで、目的の位置姿勢に近づくことが可能となる。

0088

[変形例16]
図6(a)には誘導指示画像60の例として、矢印と俯瞰図の両方を示しているが、いずれか片方のみで誘導指示画像60を構成してもよい。

0089

(実施形態3)
<概要>
本実施形態では、MR(またはAR)体験に先立ち、あらかじめ高精度な三次元地図を生成し用意しておく場合に適用できる情報処理装置に関して説明する。情報処理装置200の使用者は、接続されたカメラを保持して移動しながら、三次元地図を生成するための画像列を撮影する。本発明の情報処理装置はまず、MR体験時の位置姿勢推定に好適な三次元地図が生成されるように使用者を誘導する。そのために情報処理装置は、あらかじめ指定された、MR体験時に仮想物体が配置されることが想定される領域を観測しつつ、使用者の移動軌跡が空間的に広がるような画像列を撮影するように使用者を誘導する。

0090

具体的には、使用者に仮想物体が配置される領域方向と、軌跡が空間的に広がる移動方向とを示した画像を提示する。使用者はこの画像を見ながら、MR体験時の位置姿勢推定に好適な画像列を撮影するようにカメラを移動する。情報処理装置はそのような画像列が取得されたことを検出すると、次にループクローズが可能となるように使用者を誘導する。具体的には、使用者に経路の始点方向を示した画像を提示する。使用者はこの画像を見ながら、カメラの位置姿勢が初期位置姿勢と概ね一致するようにカメラを移動する。情報処理装置はカメラがほぼ初期位置姿勢に至ったことを判定し、ループクローズ処理を行う。これによって、情報処理装置200は経路の始点と終点の位置姿勢を一致させるように最適化を行い、高精度な三次元地図を生成する。

0091

<システム構成>
本実施形態に係るシステムの全体構成は、図5に示す第2実施形態における構成と同じである。ただし、本実施形態においては、機能モジュールの動作について第2実施形態と異なる部分が存在する。以下、第2実施形態と異なる部分についてのみ説明し、同じ部分については説明を省略する。

0092

<情報処理装置の構成>
判定部203は、MR体験を行うための三次元地図が生成されたか否かの三次元地図生成判定処理と、閉経路を検知するための閉経路判定処理とを行う。本実施形態においては、判定部203は起動モード、三次元地図生成モード、閉経路判定モードの少なくとも3つのモードを持つ。本実施形態において、判定部203は、初期位置姿勢が登録され、かつ後述の仮想物体提示領域が検知された場合に、起動モードから三次元地図生成モードに移行する。

0093

仮想物体提示領域とは、MR体験時に仮想物体が提示される領域として情報処理装置200に入力されるものであり、仮想物体中心を示す三次元座標と、仮想物体が占める大きさ(例えば、仮想物体のバウンディングボックスを定義する縦、横、高さの値)の情報を含む。仮想物体提示領域は、情報処理装置200にあらかじめ数値として入力しておく。入力された仮想物体提示領域の中心座標および大きさは状態記憶部207が保持する。

0094

判定部203は、三次元地図生成の終了判定処理に成功した場合には、三次元地図生成モードから閉経路判定モードに移行する。三次元地図の生成終了判定処理は、以下のようにして行う。

0095

判定部203は、変形例7と同様に、これまで推定された位置姿勢の軌跡を参照する。この軌跡が計測空間の大きさに対して、X方向、Y方向の辺が共に十分な長さを持っているか否かを判定する(第1の判定)。さらに判定部203は、入力画像10に仮想物体提示領域が含まれていた回数を参照し、位置姿勢の履歴に対して、当該回数が十分に大きいか否かを判定する(第2の判定)。判定部203は、2つの判定条件が両方とも満たされた場合に、三次元地図の生成終了処理に成功したと判定する。閉経路判定モードに移行した後の判定部203の動作に関しては、第2実施形態と同じである。

0096

誘導生成部204は、判定部203が三次元地図生成モードである場合に、MR体験時に提示される仮想物体を観察するのに好適な位置姿勢へ誘導するための誘導指示画像40を生成する。誘導生成部204は、状態記憶部207において保持されている入力画像10に対応する位置姿勢、三次元地図、仮想物体提示領域を用いて誘導指示画像40を生成する。生成される誘導指示画像80(図11参照)は第2実施形態と同様であるが、本実施形態では、第2実施形態に対して誘導する方向が異なるため、以下説明する。

0097

本実施形態において、誘導生成部204は、情報処理装置200の利用者に対して、仮想物体提示領域の方向を向き、かつ、位置姿勢の軌跡が計測空間内に広がる方向に誘導する。後者に関しては、初期位置姿勢から遠ざかり、かつ、位置姿勢の軌跡の外接多角形の面積が大きくなる方向に誘導すればよい。

0098

本実施形態において、誘導生成部204が現在の位置姿勢から仮想物体提示領域の方向を向くように誘導するにあたり、その方向を決定する方法を、図10を参照しながら説明する。図10において、仮想物体提示領域の中心座標をTmとすると、現在の位置から仮想物体提示領域を向く方向ベクトルmtは式(2)によって表される。

0099

mt=Tm−Tt...(2)
このとき、誘導すべき方向はvtからmtへのなす角ρtによって定められる。ρtが正であれば誘導方向は左となり、負であれば誘導方向は右となる。すなわち、誘導生成部204は、このρtが正であれば左方向の矢印を、負であれば右方向の矢印を誘導指示画像80として生成すればよい。

0100

図11は、本実施形態に係る誘導指示画像80およびそれを重畳した出力画像90の例を示している。図11には、誘導指示画像80として、誘導方向を示す2種類の矢印が描かれている。図11において、黒の矢印は仮想物体提示領域の方向を示し、情報処理装置200の使用者にその方向を視認するように促している。また、白の矢印は三次元地図を生成するための移動方向を示しており、情報処理装置200の使用者が移動すべき方向を示している。すなわち、情報処理装置200の使用者は、黒の矢印で示された方向を向きつつ、白の矢印で示された方向に移動することで、最適な三次元地図が生成されることが容易に理解できる。また、誘導指示画像80の一部に、実際に提示されるべき仮想物体を重畳して表示するようにしてもよい。

0101

<処理>
以上のような構成を備えた本実施形態に係る情報処理装置200の制御について、以下説明する。本実施形態に係る情報処理装置200が実施する処理の手順を示すフローチャートは、図8に示した第2実施形態のフローチャートとほぼ同じであるが、処理の内容については第2実施形態と異なる部分が存在する。そのため、以下、第2実施形態と異なる部分について主に説明し、同じ部分については説明を省略する。

0102

ステップS1040において、誘導生成部204は、判定部203の動作モードに応じた誘導指示画像80を生成する。判定部203の動作モードが三次元地図生成モードである場合には、MR体験時に提示される仮想物体を観察するのに好適な位置姿勢へ誘導するための誘導指示画像80を生成する。一方、判定部203のモードが閉経路判定モードである場合には、第1、第2実施形態と同様に、撮影部101を初期位置姿勢に至らしめる誘導指示画像40又は60を生成する。判定部203のモードが三次元地図生成モードである場合、誘導出力部205は、入力画像10に誘導指示画像80を重畳し、出力画像90を生成する。

0103

ステップS1050において、判定部203は、動作モードに応じて異なる判定処理を行う。動作モードが三次元地図生成モードである場合には、三次元地図生成の終了判定処理を行う。三次元地図生成の終了判定に成功した場合には、判定部203は自身の動作モードを閉経路判定モードに移行させる。また、動作モードが三次元地図生成モードである場合には、三次元地図生成の終了判定処理の後、その結果によらずステップS1025に戻る。一方、動作モードが閉経路判定モードである場合には、第1、第2実施形態と同様に閉経路判定処理を行う。判定に成功した場合にはステップS1060に進み、そうでない場合にはステップS1025に戻る。

0104

ステップS1080において、誘導生成部204は、判定部203の動作モードが三次元地図生成モードであるか、閉経路判定モードであるかに応じて異なる誘導指示画像40、60、80等を生成し、誘導出力部205に送出する。

0105

以上述べたように、本実施形態によれば、撮影された画像から随時算出される位置姿勢と三次元地図を用いることで、最初に情報処理装置200の使用者をMR体験時に表示される仮想物体を観察するのに好適な位置姿勢に誘導することが可能となる。また、ループクローズ処理を適用可能な閉経路を構成するための位置姿勢に誘導することが可能となる。ループクローズ処理を適用することによって、MR体験時の位置姿勢推定に好適な高精度な三次元地図を生成することが可能となる。

0106

[変形例17]
仮想物体提示領域は、空間中で仮想物体を提示することが想定される領域を指定できるものであれば、いかなる方法で指定してもよい。本実施形態ではあらかじめ数値を入力することとしたが、例えば形状あるいは模様既知のマーカを空間に配置し、入力画像10に写るマーカ像から中心座標を自動で算出するようにしてもよい。

0107

[変形例18]
誘導生成部204は、装置の使用者への誘導生成時に三次元地図を参照し、障害物などの存在により移動できない方向を避けるように誘導してもよい。

0108

(実施形態4)
<概要>
本実施形態では、高精度な三次元地図を生成しながらMR(またはAR)体験を行う場合に適用できる情報処理装置に関して説明する。情報処理装置200の使用者は、撮影部101および表示部102を内蔵したHMDを装着して移動しながら、MR体験を行うことができる。このとき、本発明の情報処理装置はカメラによって撮影された画像群を用いて三次元地図を生成しつつ、同時にこれまでに生成された三次元地図を利用してHMDの位置姿勢を算出する。情報処理装置は算出したHMDの位置姿勢から仮想画像をコンピュータグラフィックスCG)によって使用者に提示する。情報処理装置は推定された位置姿勢を用いて、ループクローズが可能となるように使用者を誘導する。具体的には、使用者に現在の位置姿勢から経路の始点となる初期位置姿勢に至る方向を示した画像を提示する。使用者はこの画像を見ながら、装着したHMDの位置姿勢が初期位置姿勢と概ね一致するように移動する。

0109

情報処理装置はHMDがほぼ初期位置姿勢に至ったことを判定すると、ループクローズ処理を行う。これによって、情報処理装置は経路の始点と終点の位置姿勢を一致させるように最適化を行い、これまでに生成された三次元地図が修正され高精度化される。

0110

<システム構成>
図12は、第4実施形態に係るシステム構成を示す図である。図12における長方形の枠は本実施形態の各処理を行う機能モジュールを、矢印はデータの流れを示している。本実施形態に係るシステムは、情報処理装置200とそれに接続する撮影部101、表示部102、仮想画像生成部103、仮想画像出力部104を備えている。図12の構成は一例であり図示されるものに限定されない。また、第2実施形態と異なる部分について主に説明し、同じ部分については説明を省略する。

0111

<情報処理装置の構成>
本実施形態においては、情報処理装置200の外部に仮想画像生成部103が備えられている。仮想画像生成部103は、位置姿勢取得部208よりHMDの位置姿勢を受け取り、MR体験を行っている使用者に対して提示する仮想画像を生成する処理を行う。より具体的には、仮想画像生成部103は、位置姿勢取得部208において取得されたHMDの位置姿勢を視点としてコンピュータグラフィックスによって仮想の物体を描画し、仮想画像100を生成する。このようにして生成された仮想画像100は仮想画像出力部104へと送出される。

0112

さらに、本実施形態においては、情報処理装置200の外部に仮想画像出力部104が備えられている。仮想画像出力部104は仮想画像生成部103より仮想画像100を、誘導出力部205より出力画像70を入力する。仮想画像出力部104は出力画像70に仮想画像100を重畳して最終出力画像110を生成する。出力画像110はHMDに内蔵された表示部102へと送られ、本装置の使用者に提示される。

0113

図13は仮想画像出力部104が出力する最終出力画像110の例を示す図である。第2実施形態における出力画像70とは異なり、出力画像70上にさらに仮想の物体(この例では椅子)を、推定された位置姿勢からCGによって描画した仮想画像100が重畳されている。すなわち、本装置の使用者はMR体験中に仮想画像100を観察しながら、同時に表示されている誘導指示画像40を参照することで、ループクローズ処理を適用可能な閉経路を構成するための位置姿勢へと誘導される。

0114

さらに、本実施形態においては、三次元地図修正部209が備えられている。三次元地図修正部209は、判定部203によって閉経路が構成された旨が判定された場合には、状態記憶部207において保持されている三次元地図を修正する。三次元地図修正部209はループクローズ処理を行い、三次元地図に対して最適化を行うことで、三次元地図を修正する。

0115

<処理>
以上のような構成を備えた本実施形態に係る情報処理装置200の制御について、以下説明する。図14は、本実施形態に係る情報処理装置200が実施する処理の手順を示すフローチャートである。第2実施形態と比較すると、ステップS1030の処理がステップS1035に、ステップS1060の処理がステップS1065に変更されている。また、ステップS1070が追加されている。

0116

ステップS1035において、誘導生成部204は誘導指示画像60を生成する。誘導生成部204は生成された誘導指示画像60を誘導出力部205に送出する。また同時に仮想画像生成部103は、ステップS1025において取得された位置姿勢からCGによって仮想の物体を描画し、仮想画像100を生成する。仮想画像生成部103は生成された仮想画像100を仮想画像出力部104に送出する。また、ステップS1035において誘導出力部205は、入力画像10に誘導指示画像60を重畳し、出力画像70を生成して仮想画像出力部211に送出する。仮想画像出力部104は出力画像90に仮想画像100を重畳して最終出力画像110を生成し、表示部102に送出する。

0117

ステップS1065において、三次元地図修正部209は、判定部203によって閉経路が構成された旨が判定された場合には、状態記憶部207において保持されている三次元地図を修正する。三次元地図修正部209はループクローズ処理を行い、三次元地図に対して最適化を行うことで、三次元地図を修正する。修正された三次元地図は状態記憶部207に保持され、次にステップS1025の処理を行う際に、ステップS1070において修正され高精度化された三次元地図が用いられるようになる。

0118

ステップS1070において、本装置の使用者がMR体験を終了する場合には、本実施形態に係る情報処理装置200の処理を終了する。そうでない場合には、ステップS1025に戻る。

0119

以上述べたように、本実施形態によれば、装置の使用者に対して、MR体験中において、ループクローズ処理を適用可能な閉経路を構成するための位置姿勢に誘導することが可能となる。また、生成された三次元地図にループクローズ処理を適用することによって、三次元地図が修正され高精度される。その結果、MR体験中の使用者が装着しているHMDの位置姿勢が高精度に推定され、位置ずれのない正しい仮想画像を生成することが可能となる。

0120

<実施例の効果>
第1実施形態によれば、装置の使用者に対して、ループクローズ処理を適用可能な閉経路を構成するための位置姿勢に誘導することが可能となる。また、取得した画像列に対してループクローズ処理を適用することによって高精度な三次元地図を生成することが可能となる。

0121

第2実施形態によれば、装置の使用者に対して、ループクローズ処理を適用可能な閉経路を構成するための位置姿勢に誘導することが可能となる。このとき、使用者に対して具体的な移動方向を提示することによって、使用者はより効率的に閉経路を構成するための位置姿勢に到達することが可能となる。また、生成された三次元地図にループクローズ処理を適用することによって、より高精度な三次元地図を生成することが可能となる。

0122

第3実施形態によれば、MR体験時の位置姿勢推定に好適な三次元地図を生成するための画像列を撮影する位置姿勢に誘導することが可能となる。さらに、そのような画像列を撮影した後に、ループクローズ処理を適用可能な閉経路を構成するための位置姿勢に誘導することが可能となる。ループクローズ処理を適用することによって、MR体験時の位置姿勢推定に好適な三次元地図を高精度に生成することが可能となる。

0123

第4実施形態によれば、装置の使用者に対して、MR体験中において、ループクローズ処理を適用可能な閉経路を構成するための位置姿勢に誘導することが可能となる。また、生成された三次元地図にループクローズ処理を適用することによって、三次元地図が修正され高精度される。その結果、MR体験中の使用者が装着しているHMDの位置姿勢が高精度に推定され、位置ずれのない正しい仮想画像を生成することが可能となる。

0124

<定義>
本発明における画像取得部201は、撮影部101が撮影した画像を情報処理装置200に入力できるものであれば、いかなるものでもよい。また、入力する画像においても、RGBカラー画像グレイスケール画像白黒画像、奥行き画像など、いかなる種類の画像でもよい。

0125

本発明における画像記憶部202は、情報処理装置200が動作している間、画像やパラメータなどのデータを保持できるものであれば、いかなるものでもよい。RAM、フラッシュメモリなどの半導体記憶装置や、ハードディスクソリッドステートディスク等の補助記憶装置を利用することができる。

0126

本発明における誘導生成部204および誘導出力部205は、撮影部101の位置姿勢を初期位置姿勢と概略同じ位置姿勢へと変更させることを促すものであれば、いかなるものでもよい。第1〜第3実施形態では誘導指示画像を生成し、出力する方法について説明した。他にも音声などの報知方法を用いることも可能であるし、情報処理装置200の使用者に振動や触覚などを提示するようにしてもよい。また、撮影部101を保持するロボット装置動作指示を与えるような構成も可能である。

0127

また、本発明における誘導生成部204は、撮影部101の位置姿勢を初期位置姿勢と概略同じ位置姿勢へと変更させることを促すだけでなく、さらなる誘導を生成するようにしてもよい。第3実施形態や変形例11においては、生成される三次元地図の密度あるいは精度を向上させる方向に誘導を行いつつ、撮影部101の位置姿勢を初期位置姿勢と概略同じ位置姿勢へと変更させることを促す方法について説明した。

0128

本発明における判定部203は、規定状態における撮影画像とその他の状態における撮影画像とが概略同じ位置姿勢において撮影されたか否かが判定できれば、いかなるものでもよい。

0129

第1実施形態においては、BoWによって画像間の類似度を判定する方法について説明した。変形例2で説明したように、画像間で対応する特徴点から幾何変換パラメータを算出し、幾何変換パラメータを適用した画像間で類似度を算出するようにしてもよい。

0130

また、本発明における判定部203は、規定状態における撮影画像とその他の状態における撮影画像とが概略同じ位置姿勢において撮影されたか否かの判定に加えて、他の条件を追加して判定してもよい。先述の変形例12、13においては、生成される三次元地図の性質を向上させることを企図して、さらに条件を追加して判定を行う方法について説明した。

0131

本発明における三次元地図生成部206は、複数の撮影画像を用いて対象空間の三次元座標を算出するものであれば、いかなるものでもよい。先述の実施形態においては、SfMやSLAMを用いる方法について説明した。変形例5で説明したように、位置姿勢センサを補助的に用いてもよいし、変形例6で説明したように、奥行き画像を入力して用いるようにしてもよい。

0132

(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。

0133

101:撮影部、102:表示部、200:情報処理装置、201:画像取得部、202:画像記憶部、203:判定部、204:誘導生成部、205:誘導出力部、206:三次元地図生成部、207:状態記憶部、208:位置姿勢取得部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ