図面 (/)

技術 情報処理装置、情報処理方法およびプログラム

出願人 株式会社建設システム
発明者 相場陽介土屋義彦田中克彦
出願日 2018年1月24日 (2年5ヶ月経過) 出願番号 2018-009829
公開日 2019年8月1日 (10ヶ月経過) 公開番号 2019-128776
状態 未査定
技術分野 測量一般 イメージ処理・作成
主要キーワード SSモジュール 算出機構 三角点 観測モード 工事関係者 仮想基準点 設計物 測量値
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2019年8月1日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (11)

課題

計測器処理負荷を抑えつつ撮像画像に対する3次元モデルのデータの重畳精度を高めることができる情報処理装置情報処理方法およびプログラムを提供する。

解決手段

情報処理装置を、工事現場撮像する撮像部と、指標の位置を示す計測情報を取得する取得部と、撮像部によって撮像された画像内における指標の位置と取得された計測情報が示す指標の位置とを対応付ける対応付け部と、対応付け部によって指標の位置に対応付けられた計測情報が示す指標の位置を用いて、撮像部によって撮像された画像に建築物の3次元データを重畳した画像を生成する画像生成部と、を有する構成とする。

概要

背景

土木建築などの工事において、いわゆる拡張現実(Augmented Reality(AR))を
利用して、パソコンなどの装置にあらかじめ設計した構造物現場に重ね合わせて表示する技術が実用に供されている。そして、ARにおいて現実の画像に設計物重畳する際に、重畳される設計物の位置合わせの精度を高める技術が提案されている(特許文献1、2)。

概要

計測器処理負荷を抑えつつ撮像画像に対する3次元モデルのデータの重畳精度を高めることができる情報処理装置情報処理方法およびプログラムを提供する。情報処理装置を、工事現場撮像する撮像部と、指標の位置を示す計測情報を取得する取得部と、撮像部によって撮像された画像内における指標の位置と取得された計測情報が示す指標の位置とを対応付ける対応付け部と、対応付け部によって指標の位置に対応付けられた計測情報が示す指標の位置を用いて、撮像部によって撮像された画像に建築物の3次元データを重畳した画像を生成する画像生成部と、を有する構成とする。

目的

本件開示の技術は、上記の事情に鑑みてなされたものであり、その目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

工事現場撮像する撮像部と、前記工事現場内に配置された指標の位置を示す計測情報を取得する取得部と、前記撮像部によって撮像された画像内における前記指標の位置と前記取得された前記計測情報が示す前記指標の位置とを対応付ける対応付け部と、前記対応付け部によって前記指標の位置に対応付けられた、前記計測情報が示す前記指標の位置を用いて、前記撮像部によって撮像された画像に建築物の3次元データを重畳した画像を生成する画像生成部と、を有することを特徴とする情報処理装置

請求項2

前記撮像部によって撮像された画像内に少なくとも2つ以上の前記指標が含まれ、前記対応付け部は、前記少なくとも2つ以上の指標の位置それぞれと前記取得された前記計測情報が示す前記少なくとも2つ以上の指標の位置とを対応付け、前記画像生成部は、前記少なくとも2つ以上の指標の位置に対応付けられた前記計測情報が示す前記少なくとも2つ以上の指標の位置と、前記計測情報が示す前記少なくとも2つ以上の指標の間の距離とを用いて、前記撮像部によって撮像された画像に前記建築物の3次元データを重畳した画像を生成することを特徴とする請求項1に記載の情報処理装置。

請求項3

前記指標は測量用プリズムであり、前記対応付け部は、少なくとも2点以上の前記測量用プリズムの位置それぞれと前記取得された前記計測情報が示す少なくとも2点以上の前記測量用プリズムの位置とを対応付け、前記画像生成部は、前記少なくとも2点以上の前記測量用プリズムの位置に対応付けられた前記計測情報が示す前記少なくとも2点以上の前記測量用プリズムの位置と、前記計測情報が示す前記少なくとも2点以上の前記測量用プリズムの位置の間の距離とを用いて、前記撮像部によって撮像された画像に前記建築物の3次元データを重畳した画像を生成することを特徴とする請求項1に記載の情報処理装置。

請求項4

前記計測情報は、GNSS(Global Navigation Satellite System)による測位に基づいて特定される前記指標の位置を示す情報である、ことを特徴とする請求項1から3のいずれか一項に記載の情報処理装置。

請求項5

工事現場を撮像する撮像部と、前記工事現場内に配置された指標の位置を示す計測情報を取得する取得部と、前記撮像部によって撮像された画像内における前記指標の位置と前記取得された前記計測情報が示す前記指標の位置とを対応付ける対応付け部と、前記対応付け部によって前記指標の位置に対応付けられた前記計測情報が示す前記指標の位置を用いて、前記撮像部によって撮像された画像に建築物の3次元データを重畳した画像を生成する画像生成部、として、コンピュータを機能させるためのプログラム

請求項6

前記撮像部によって撮像された画像内に少なくとも2つ以上の前記指標が含まれ、前記対応付け部は、前記少なくとも2つ以上の指標の位置それぞれと前記取得された前記計測情報が示す前記少なくとも2つ以上の指標の位置とを対応付け、前記画像生成部は、前記少なくとも2つ以上の指標の位置に対応付けられた前記計測情報が示す前記少なくとも2つ以上の指標の位置と、前記計測情報が示す前記少なくとも2つ以上の指標の間の距離とを用いて、前記撮像部によって撮像された画像に前記建築物の3次元データを重畳した画像を生成することを特徴とする請求項5に記載のプログラム。

請求項7

前記指標は測量用プリズムであり、前記対応付け部は、少なくとも2点以上の前記測量用プリズムの位置それぞれと前記取得された前記計測情報が示す少なくとも2点以上の前記測量用プリズムの位置とを対応付け、前記画像生成部は、前記少なくとも2点以上の前記測量用プリズムの位置に対応付けられた前記計測情報が示す前記少なくとも2点以上の前記測量用プリズムの位置と、前記計測情報が示す前記少なくとも2点以上の前記測量用プリズムの位置の間の距離とを用いて、前記撮像部によって撮像された画像に前記建築物の3次元データを重畳した画像を生成することを特徴とする請求項5に記載のプログラム。

請求項8

前記計測情報は、GNSS(Global Navigation Satellite System)による測位に基づいて特定される前記指標の位置を示す情報である、ことを特徴とする請求項5から7のいずれか一項に記載のプログラム。

請求項9

情報処理装置の撮像部によって工事現場を撮像するステップと、前記情報処理装置の取得部によって、前記工事現場内に配置された指標の位置を示す計測情報を取得するステップと、前記情報処理装置の対応付け部によって、前記撮像された画像内における前記指標の位置と前記取得された前記計測情報が示す前記指標の位置とを対応付けるステップと、前記情報処理装置の画像生成部によって、前記対応付け部によって前記指標の位置に対応付けられた前記計測情報が示す前記指標の位置を用いて、前記撮像部によって撮像された画像に建築物の3次元データを重畳した画像を生成するステップとを含む情報処理方法

請求項10

前記撮像部によって撮像された画像内に少なくとも2つ以上の前記指標が含まれ、前記対応付け部は、前記少なくとも2つ以上の指標の位置それぞれと前記取得された前記計測情報が示す前記少なくとも2つ以上の指標の位置とを対応付け、前記画像生成部は、前記少なくとも2つ以上の指標の位置に対応付けられた前記計測情報が示す前記少なくとも2つ以上の指標の位置と、前記計測情報が示す前記少なくとも2つ以上の指標の間の距離とを用いて、前記撮像部によって撮像された画像に前記建築物の3次元データを重畳した画像を生成することを特徴とする請求項9に記載の情報処理方法。

請求項11

前記指標は測量用プリズムであり、前記対応付け部は、少なくとも2点以上の前記測量用プリズムの位置それぞれと前記取得された前記計測情報が示す少なくとも2点以上の前記測量用プリズムの位置とを対応付け、前記画像生成部は、前記少なくとも2点以上の前記測量用プリズムの位置に対応付けられた前記計測情報が示す前記少なくとも2点以上の前記測量用プリズムの位置と、前記計測情報が示す前記少なくとも2点以上の前記測量用プリズムの位置の間の距離とを用いて、前記撮像部によって撮像された画像に前記建築物の3次元データを重畳した画像を生成することを特徴とする請求項9に記載の情報処理方法。

請求項12

前記計測情報は、GNSS(Global Navigation Satellite System)による測位に基づいて特定される前記指標の位置を示す情報である、ことを特徴とする請求項9から11のいずれか一項に記載の情報処理方法。

技術分野

0001

本発明は、工事における建築物画像表示に関する情報処理装置情報処理方法およびプログラムに関する。

背景技術

0002

土木建築などの工事において、いわゆる拡張現実(Augmented Reality(AR))を
利用して、パソコンなどの装置にあらかじめ設計した構造物現場に重ね合わせて表示する技術が実用に供されている。そして、ARにおいて現実の画像に設計物重畳する際に、重畳される設計物の位置合わせの精度を高める技術が提案されている(特許文献1、2)。

先行技術

0003

特開2002−230586号公報
特開2016−38867号公報

発明が解決しようとする課題

0004

しかし、上記の技術では、現実の画像を撮像する装置をトータルステーションなどの計測器によって追尾して該装置の位置や姿勢を特定する処理を繰り返し行わないと、設計物が正しく配置された画像を得ることができない可能性がある。また、重畳される設計物を配置する平面を規定するための基準プレートを現場に持ち込んで基準プレートが映り込んだ画面上で平面を選択するため、基準プレートを安定して載置できるような現場でなければ設計物が正しく配置された画像を得ることができない可能性がある。

0005

本件開示の技術は、上記の事情に鑑みてなされたものであり、その目的とするところは、計測器の処理負荷を抑えつつ撮像画像に対する3次元モデルのデータの重畳精度をより容易に高めることができる情報処理装置、情報処理方法およびプログラムを提供することである。

課題を解決するための手段

0006

本件開示の一側面における情報処理装置は、工事現場を撮像する撮像部と、指標の位置を示す計測情報を取得する取得部と、撮像部によって撮像された画像内における指標の位置と取得された計測情報が示す指標の位置とを対応付ける対応付け部と、対応付け部によって指標の位置に対応付けられた計測情報が示す指標の位置を用いて、撮像部によって撮像された画像に建築物の3次元データを重畳した画像を生成する画像生成部と、を有する。これにより、トータルステーションなどの計測器による指標の計測を継続的に行うことなく、現場の撮像画像に精度よく3次元データが重畳された画像を生成することができる。

0007

また、上記の情報処理装置において、撮像部によって撮像された画像内に少なくとも2つ以上の指標が含まれ、対応付け部は、少なくとも2つ以上の指標の位置それぞれと取得された計測情報が示す少なくとも2つ以上の指標の位置とを対応付け、画像生成部は、少なくとも2つ以上の指標の位置に対応付けられた計測情報が示す少なくとも2つ以上の指標の位置と、計測情報が示す少なくとも2つ以上の指標の間の距離とを用いて、撮像部によって撮像された画像に建築物の3次元データを重畳した画像を生成してもよい。

0008

あるいは、上記の情報処理装置において、指標は測量用プリズムであり、対応付け部は、少なくとも2点以上の測量用プリズムの位置それぞれと取得された計測情報が示す少なくとも2点以上の測量用プリズムの位置とを対応付け、画像生成部は、少なくとも2点以上の測量用プリズムの位置に対応付けられた計測情報が示す少なくとも2点以上の測量用プリズムの位置と、計測情報が示す少なくとも2点以上の測量用プリズムの位置の間の距離とを用いて、撮像部によって撮像された画像に建築物の3次元データを重畳した画像を生成してもよい。

0009

また、本件開示の一側面におけるプログラムは、工事現場を撮像する撮像部と、工事現場内に配置された指標の位置を示す計測情報を取得する取得部と、撮像部によって撮像された画像内における指標の位置と取得された計測情報が示す指標の位置とを対応付ける対応付け部と、対応付け部によって指標の位置に対応付けられた計測情報が示す指標の位置を用いて、撮像部によって撮像された画像に建築物の3次元データを重畳した画像を生成する画像生成部として、コンピュータを機能させる。

0010

また、上記のプログラムにおいて、撮像部によって撮像された画像内に少なくとも2つ以上の指標が含まれ、対応付け部は、少なくとも2つ以上の指標の位置それぞれと取得された計測情報が示す少なくとも2つ以上の指標の位置とを対応付け、画像生成部は、少なくとも2つ以上の指標の位置に対応付けられた計測情報が示す少なくとも2つ以上の指標の位置と、計測情報が示す少なくとも2つ以上の指標の間の距離とを用いて、撮像部によって撮像された画像に建築物の3次元データを重畳した画像を生成してもよい。

0011

あるいは、上記のプログラムにおいて、指標は測量用プリズムであり、対応付け部は、少なくとも2点以上の測量用プリズムの位置それぞれと取得された計測情報が示す少なくとも2点以上の測量用プリズムの位置とを対応付け、画像生成部は、少なくとも2点以上の測量用プリズムの位置に対応付けられた計測情報が示す少なくとも2点以上の測量用プリズムの位置と、計測情報が示す少なくとも2点以上の測量用プリズムの位置の間の距離とを用いて、撮像部によって撮像された画像に建築物の3次元データを重畳した画像を生成してもよい。

0012

また、本件開示の一側面における情報処理方法は、情報処理装置の撮像部によって工事現場を撮像するステップと、情報処理装置の取得部によって、工事現場内に配置された指標の位置を示す計測情報を取得するステップと、情報処理装置の対応付け部によって、撮像された画像内における指標の位置と取得された計測情報が示す指標の位置とを対応付けるステップと、情報処理装置の画像生成部によって、対応付け部によって指標の位置に対応付けられた計測情報が示す指標の位置を用いて、撮像部によって撮像された画像に建築物の3次元データを重畳した画像を生成するステップとを含む。

0013

また、上記の情報処理方法において、撮像部によって撮像された画像内に少なくとも2つ以上の指標が含まれ、対応付け部は、少なくとも2つ以上の指標の位置それぞれと取得された計測情報が示す少なくとも2つ以上の指標の位置とを対応付け、画像生成部は、少なくとも2つ以上の指標の位置に対応付けられた計測情報が示す少なくとも2つ以上の指標の位置と、計測情報が示す少なくとも2つ以上の指標の間の距離とを用いて、撮像部によって撮像された画像に建築物の3次元データを重畳した画像を生成してもよい。

0014

あるいは、上記の情報処理方法において、指標は測量用プリズムであり、対応付け部は、少なくとも2点以上の測量用プリズムの位置それぞれと取得された計測情報が示す少なくとも2点以上の測量用プリズムの位置とを対応付け、画像生成部は、少なくとも2点以上の測量用プリズムの位置に対応付けられた計測情報が示す少なくとも2点以上の測量用プリズムの位置と、計測情報が示す少なくとも2点以上の測量用プリズムの位置の間の距
離とを用いて、撮像部によって撮像された画像に建築物の3次元データを重畳した画像を生成してもよい。

0015

さらに、上記の情報処理装置、プログラム、情報処理方法において、計測情報は、GNSS(Global Navigation Satellite System)による測位に基づいて特定される指標の位置を示す情報であってもよい。

発明の効果

0016

本件開示の技術によれば、計測器の処理負荷を抑えつつ撮像画像に対する3次元モデルのデータの重畳精度をより容易に高めることができる情報処理装置、情報処理方法およびプログラムを提供することができる。

図面の簡単な説明

0017

図1は、一実施形態に係る情報処理装置のハードウェア構成を例示する図である。
図2は、一実施形態に係る情報処理装置およびトータルステーションにおいて実行される処理のフローチャートを例示する図である。
図3は、一実施形態に係るトータルステーションによるマーカの計測を例示する図である。
図4は、一実施形態に係るトータルステーションから情報処理装置への計測情報の送信を例示する図である。
図5は、一実施形態に係る情報処理装置とマーカとのマッチングを例示する図である。
図6は、一変形例に係る情報処理装置およびトータルステーションにおいて実行される処理のフローチャートを例示する図である。
図7は、一変形例に係るトータルステーションによる測量用プリズムの位置の特定を例示する図である。
図8は、一変形例に係るGNSSを用いた測量用マーカの位置の特定を例示する図である。
図9は、別の変形例に係るGNSSを用いた測量用マーカの位置の特定を例示する図である。
図10は、さらに別の変形例に係るGNSSを用いた測量用マーカの位置の特定を例示する図である。

実施例

0018

<システム概要
本実施形態に係る「情報処理装置」は、土木工事等の工事現場において撮像された画像に構築予定の構造物の3次元モデル(3次元コンピュータグラフィックス。以下、「3DCG」とも表記する)を重畳して可視化する。情報処理装置は、さらに、経時とともに変化する施工状況を、構造物の3DCGの動画としても可視化する。なお、情報処理装置によって、土木工事に限らず、建設工事の施工状況が可視化されてもよい。

0019

<ハードウェア構成>
情報処理装置は、コンピュータであり、工事に携わる工事関係者などのユーザによって操作される。情報処理装置は、例えば、スマートフォンである。なお、情報処理装置は、タブレット端末パーソナルコンピュータワークステーションなどであってもよい。

0020

図1は、本実施形態に係る情報処理装置1およびトータルステーション100のハードウェア構成を例示する図である。情報処理装置1は、CPU(Central Processing Unit
)11、RAM(Random Access Memory)12、補助記憶装置であるフラッシュメモリ
3、トータルステーション100などの外部装置との通信によってデータの送受信を行う通信部14、ユーザの操作を受け付けタッチパネルなどの操作部15、及びディスプレイ16、工事現場などを撮像するカメラ17を備える。

0021

CPU11は、中央処理装置であり、RAM12などに展開された命令及びデータを処理することで、RAM12、フラッシュメモリ13などを制御する。RAM12は、主記憶装置であり、CPU11によって制御され、各種命令やデータの書き込みや読み出しがRAM12に対して実行される。フラッシュメモリ13は、不揮発性記憶装置であり、以下に説明する処理を実行するためのプログラムを含む各種プログラムや永続的な保存が求められるデータなどが記憶される。

0022

また、図1に示すように、トータルステーション100は、CPU101、RAM102、ROM(Read-Only Memory)103、記憶部104、通信部105、操作部106、ディスプレイ107、計測部108、カメラ109などがバスラインで接続されて構成されている。本実施形態では、地球上の位置や海面からの高さが正確に測定された電子基準点三角点水準点等から構成され、地図作成や各種測量の基準となる基準点の情報があらかじめ記憶部104に記憶されている。また、現場に工事予定の建築物に関する3DCGデータもあらかじめ記憶部104に記憶されている。

0023

本実施形態では、現場にてトータルステーション100による計測が実行される前に、作業者が現場の任意の位置にマーカを配置する。マーカは、トータルステーション100および情報処理装置1によって識別可能な画像が施された平板などの部材であり、その大きさや重さは、作業者が現場で運ぶことができる程度の大きさや重さである。トータルステーション100は、マーカを認識すると、マーカが配置されている位置に対する計測を実行する。

0024

<動作の流れ>
本実施形態の情報処理装置1およびトータルステーション100によって実行される主な処理の流れを説明する。なお、説明される動作の内容及び順序は一例であり、動作の内容や順序は、実施の形態に合わせて適宜変更することができる。

0025

図2に、本実施形態において情報処理装置1およびトータルステーション100によって実行される処理のフローチャートの一例を示す。まず、本フローチャートの処理は、トータルステーション100のCPU101によって開始される。S101において、一例として、トータルステーション100のCPU101は、情報処理装置1からの計測実行指示信号を通信部105によって受信すると、カメラ109を動作させて周知の画像認識処理を実行し、トータルステーション100の周囲に配置されたマーカの検出を行う。

0026

図3に、本実施形態においてトータルステーション100の周囲に配置されたマーカ200、300を模式的に示す。一例として、マーカ200は位置P1に配置され、マーカ300は位置P2に配置されているとする。なお、位置P1のxyz座標は(x1,y1,z1)であり、位置P2のxyz座標は(x2,y2,z2)である。なお、トータルステーション100のカメラ109を用いたマーカ200、300の検出は周知の技術を用いて実現できるためここでは詳細な説明は省略する。

0027

CPU101は、カメラ109を用いてマーカ200、300を検出すると、計測部108によってマーカ200の位置P1およびマーカ300の位置P2のそれぞれに対する計測を実行し、位置P1、P2のxyz座標を算出する。計測部108は、例えば、レンズなどの光学装置レーザ装置、これらを駆動する駆動装置、計測情報の算出機構などを備え、マーカなどの計測対象を計測して計測情報を算出する。当該計測情報には、位置P
1、P2それぞれのxyz座標などの各種測量値が含まれる。CPU101は、マーカ200、300の計測を完了すると、処理をS102に進める。

0028

S102において、図3に示すように、CPU101は、S101で算出された位置P1、P2のxyz座標を含む計測情報のデータを通信部105により情報処理装置1に送信する。情報処理装置1のCPU11は、通信部14を制御して、トータルステーション100から送信される計測情報のデータを受信する。なお、CPU11が、工事現場内に配置された指標の位置を示す計測情報を取得する取得部の一例である。次に、処理はS103に進む。ここで処理の主体は、トータルステーション100のCPU101から情報処理装置1のCPU11に移る。

0029

S103において、図4に示すように、CPU11は、工事現場を撮像する撮像部の一例であるカメラ17を動作させて周知の画像認識処理を実行し、マーカ200、300の検出を行う。次に、処理はS104に進む。S104において、CPU11は、カメラ17により撮像される画像内のマーカ200、300と、S102においてトータルステーション100から受信した計測情報のデータに含まれるマーカ200、300の位置P1、P2の各座標とのマッチングを行う。なお、CPU11が、撮像部によって撮像された画像内における指標の位置と取得された計測情報が示す指標の位置とを対応付ける対応付け部の一例である。

0030

これにより、カメラ17によって撮像される画像内のマーカ200、300の各位置と、記憶部104に記憶されている基準点を用いた位置P1、P2の各座標の座標情報とが対応付けられる。また、CPU11は、情報処理装置1が有する図示しない加速度センサジャイロ電子コンパス、GNSS(Global Navigation Satellite System)モジュールを用いて、いわゆる任意座標系における情報処理装置1の位置や向きなどを位置情報として特定し、特定した位置情報を記憶部104に記憶する。次に、処理はS105に進む。

0031

S105において、CPU11は、記憶部104に記憶されている現場に建築予定の建築物の3DCGデータを取得し、取得した3DCGデータをカメラ17によって撮像される画像に重畳する。このとき、CPU11は、カメラ17によって撮像される画像内のマーカ200、300に対応付けられている座標情報に基づいて画像内におけるマーカ200とマーカ300との間の距離などを算出する。CPU11は、例えば、マーカ200、300が配置されている平面におけるマーカを原点とした座標系(いわゆる「マーカ座標系」)、カメラ17のレンズ中心を原点とした座標系(いわゆる「カメラ座標系」)、画像が表示されるディスプレイ16の画面を示す平面における座標系(いわゆる「画像座標系」)、マーカ座標系に対するカメラ17のレンズの光軸(いわゆる「投影軸」)の傾き、各座標系間変換行列、記憶部104に記憶されている情報処理装置1の位置情報などを用いて、カメラ17の位置および姿勢(情報処理装置1のロール軸ピッチ軸ヨー軸の回転速度など)を特定し、3DCGデータに対して画像に重畳するための拡大、縮小、回転などの変換処理を行う。

0032

そして、CPU11は、適切なサイズや向きに変換した建築物の3DCGデータを画像に重畳し、建築物の3DCGデータが重畳された画像をディスプレイ16に表示する。なお、CPU11が、指標の位置に対応付けられた計測情報が示す指標の位置を用いて、撮像部によって撮像された画像に建築物の3次元データを重畳した画像を生成する画像生成部の一例である。このようなカメラ17による撮像画像への3DCGデータの合成によるオーバーレイ表示により、情報処理装置1のユーザは、現場で工事予定の建築物が完成した場合の画像をディスプレイ16で確認することができる。次に、処理はS106に進む。

0033

本実施形態では、情報処理装置1は一例としてスマートフォンであることを想定している。このため、情報処理装置1のユーザが、上記の処理によって建築物の3DCGデータが重畳された画像をディスプレイ16に表示した状態で移動したり、カメラ17の向きを変えたりするといった可能性がある。そこで、S106では、CPU11は、情報処理装置1の加速度センサ、ジャイロ、電子コンパス、GNSSモジュールを用いて、任意座標系における情報処理装置1の位置情報を更新し、更新した位置情報を記憶部104に記憶する。そして、CPU11は、S105と同様に、更新した位置情報に基づいて3DCGデータの変換処理を行い、変換後の3DCGデータをカメラ17によって撮像された画像に重畳してディスプレイ16に表示する。

0034

なお、上記の処理によって情報処理装置1におけるマーカ200、300とのマッチング処理が実行された後は、カメラ17によって撮像される画像の外にマーカ200またはマーカ300が移動した場合であっても、CPU11は、カメラ17によって撮像された画像内に存在する任意の特徴点を基準として画像から外れたマーカの位置を追跡する処理を行う。これにより、ディスプレイ16に建築物の3DCGデータが重畳表示されているときにユーザがカメラ17の向きを変えて建築物の3DCGデータが画像の外に移動した場合でも、ユーザがカメラ17の向きを建築物の3DCGデータが重畳されていた画像を撮像できる向きに戻したときに、建築物の3DCGデータがS104と同様に適切なサイズや向きで画像に重畳されて表示される。

0035

作用効果
このように、本実施形態によれば、現場にて一度トータルステーション100によるマーカ200、300の計測を行うだけで、トータルステーション100によるマーカの計測を繰り返すことなく、情報処理装置1でカメラ17によって撮像される画像に建築予定の建築物の3DCGデータを重畳してリアルタイムで更新しつつ表示することができる。このため、トータルステーションによる計測情報を取得して撮像中の画像に仮想オブジェクトを重畳する従来の情報処理装置に比べて、トータルステーションと情報処理装置との間の通信量やトータルステーションの処理量を低減することができる。また、マーカ200、300の配置位置については、平面上に載置するなどの制約がないため、ユーザはカメラ17によってマーカ200、300を撮像可能な任意の位置にマーカ200、300を配置すればよい。これにより、ユーザは現場の地形に合わせてマーカ200、300を配置できるため、より精度の高い3DCGデータの画像への重畳が可能となる。

0036

また、従来技術におけるマーカを用いたマッチングでは、撮像画像に3DCGデータを重畳する情報処理装置において、マーカの「直接座標系」の情報が取得される。したがって、現場においてマーカを水平に載置するという作業が必要になる。また、作業者は、マーカ自体の方向に関しても同様に正しい方向となるようマーカを載置する必要がある。一方、本実施形態によれば、情報処理装置1においてマーカ200、300の各座標を特定するだけでマッチングを行うことができるため、従来行っていた上記のマーカの位置合わせに伴う作業を行う手間を省くことができる。

0037

さらに、上記の実施形態によれば、現場においてカメラ17による撮像画像に工事予定の建築物の3DCGデータの重畳ができるため、作業者が工事中施工範囲を把握することができる。また、画像に重畳される建築物の3DCGデータは、上記の処理の前にあらかじめ作成されていてもよいし、現場で作業者が作成し、作成されたデータを情報処理装置1が取得して上記の処理に使用してもよい。さらに、例えば、情報処理装置1において、カメラ17によって撮像された画像から現場の周辺環境の座標情報を特定して、特定した座標情報を蓄積し、特定した座標情報を用いて、現場の環境を3DCGによって示す画像を生成してもよい。

0038

さらに、情報処理装置1において、特定した座標情報に基づいて、画像に表示される3DCGデータに対していわゆるオクルージョンを用いることで、カメラ17による撮像画像に重畳される3DCGデータのオブジェクトが、情報処理装置1の移動に応じて画像内に現れる現実世界物体の陰に見え隠れするような映像効果を生み出すことも可能である。これにより、情報処理装置1において、作業者は、現実世界の現場における工事予定の建築物の奥行きが表現された画像を確認することで、現場において工事予定の建築物がどのように配置されるかをイメージしながら種々の作業を効率よく進めることができる。

0039

以上が本実施形態に関する説明であるが、上記の情報処理装置の構成は、上記の実施形態に限定されるものではなく、本発明の技術的思想同一性を失わない範囲内において種々の変更が可能である。例えば、計測部108は、記憶部104に記憶されている計測プログラムにより、移動しない計測対象を計測する通常の観測モード、移動する計測対象を自動追尾する自動視準モード等の各種モードで動作することができる。また、以下の変形例の説明からわかるように、上記の情報処理装置1は、種々の計測器と組み合わせて得られる計測情報を基に、撮像画像における建築物の3DCGデータの重畳を実現できる。

0040

また、上記の実施形態において、マッチングに際して、情報処理装置1にマーカ200、300をあらかじめ指定(登録)しておくことで、カメラ17による撮像実行時にマーカ200、300が画角内に入ったときに情報処理装置1において自動的にマーカ200、300を認識させてもよい。あるいは上記の実施形態において、カメラ17による撮像画像がディスプレイ16に表示され、ユーザが画像内に表示されているマーカ200、300の位置をタップなどの操作によって指定し、指定された位置に基づいてマーカのマッチングを行ってもよい。

0041

以下に、上記の実施形態に対する変形例を示す。なお、本変形例において上記の実施形態と同様の構成については同一の符号を付し、詳細な説明は省略する。上記の実施形態では、トータルステーション100によって2つのマーカ200、300の計測(S101)が実行された後で、マーカ200、300の計測情報が情報処理装置1に送信され(S102)、情報処理装置1とマーカ200、300とのマッチング(S103、S104)が実行された。本変形例では、マーカ200、300の代わりに測量用プリズム400が使用される。

0042

図6に、本変形例において、トータルステーション100と情報処理装置1によって実行される処理のフローチャートの一例を示す。なお、本変形例では一例として、まず測量用プリズム400が位置P3に移動され、以下に説明する測量用プリズムの位置P3の座標とのマッチングが行われ、その後、測量用プリズム400が位置P4に移動され、同様のマッチングが行われるものとする。本フローチャートの処理は、トータルステーション100のCPU101によって開始される。S201において、一例として、トータルステーション100のCPU101は、情報処理装置1からの計測実行の指示信号を通信部105によって受信すると、カメラ109を動作させて周知の画像認識処理を実行し、トータルステーション100の周囲に配置されたマーカの検出を行う。

0043

図7に示すように、本変形例では、現場において、測量用プリズム400がトータルステーション100によって認識される範囲内の位置(図7の場合は位置P3(z3,y3,z3))に移動される。そして、ユーザは情報処理装置1を操作して、測量用プリズム400に対する計測を実行する指示をトータルステーション100に送信する。トータルステーション100は、情報処理装置1から当該指示を受信すると、S201において測量用プリズム400に対する計測を実行する。なお、位置P3のxyz座標は(x3,y3,z3)である。なお、トータルステーション100のカメラ109を用いた測量用プ
リズム400の検出は周知の技術を用いて実現できるためここでは詳細な説明は省略する。

0044

CPU101は、カメラ109を用いて測量用プリズム400を検出すると、計測部108によって測量用プリズム400の位置P3に対する計測を実行し、位置P3のxyz座標を含む計測情報を算出する。CPU101は、位置P3の測量用プリズム400の計測を完了すると、処理をS202に進める。

0045

S202において、CPU101は、S201で算出された位置P3のxyz座標を含む計測情報のデータを通信部105により情報処理装置1に送信する。情報処理装置1のCPU11は、通信部14を制御して、トータルステーション100から送信される計測情報のデータを受信する。次に、処理はS203に進む。ここで処理の主体は、トータルステーション100のCPU101から情報処理装置1のCPU11に移る。

0046

S203において、図7に示すように、CPU11は、カメラ17を動作させて周知の画像認識処理を実行し、位置P3にある測量用プリズム400の検出を行う。次に、処理はS204に進む。S204において、CPU11は、カメラ17により撮像される画像内の測量用プリズム400と、S202においてトータルステーション100から受信した計測情報のデータに含まれる測量用プリズムの位置P3の座標とのマッチングを行う。これにより、カメラ17によって撮像される画像内の測量用プリズム400の位置と、記憶部104に記憶されている基準点を用いた位置P3の座標の座標情報とが対応付けられる。次に、処理はS205に進む。

0047

S205において、CPU11は、上記の処理によってカメラ17によって撮像される画像内における測量用プリズム400とトータルステーション100によって計測された測量用プリズム400の位置との対応付けの処理を、測量用プリズム400を移動して所定数の位置において実行されたか否かを判定する。なお、所定数の位置としては2以上の位置であればよい。また、CPU11は、例えば、CPU11内の図示しないレジスタなどを使用して、測量用プリズム400の計測情報が示す位置とカメラ17によって撮像された画像内の測量用プリズム400の対応付けを行った回数カウントし、カウントした回数が上記の所定数以上となったか否かに基づいて、上記判定を行うことができる。測量用プリズム400を用いた上記の対応付けが所定数以上の位置で行われた場合は(S205:YES)、CPU11は、処理をS206に進める。一方、測量用プリズム400を用いた上記の対応付けが行われた位置が所定数未満である場合は(S205:NO)、CPU11は、処理をS201に戻す。

0048

なお、本変形例では、位置P3における画像内の測量用プリズム400と座標とのマッチングが行われた直後のS205の処理では、位置P4(座標は(x4,y4,z4))における画像内の測量用プリズム400と座標とのマッチングは行われておらず、上記の対応付けが所定数未満であるため、処理がS205からS201に戻る。そこで、図7に示すようにユーザは測量用プリズム400を位置P3から位置P4に移動し、上記の処理S201〜S204を繰り返すことで位置P4における画像内の測量用プリズム400と座標とのマッチングを行う。このようにユーザが測量用プリズム400を複数の位置に移動して各位置における画像内の測量用プリズム400と座標とのマッチングを繰り返し、上記の対応付けが所定数以上となると処理がS205からS206に進む。

0049

S206において、CPU11は、上記の処理によって対応付けられた各座標の情報に基づいて画像内における座標間の距離などを算出する。そして、CPU11は、算出した座標間の距離などに基づいてカメラ17の位置および姿勢(情報処理装置1のロール軸、ピッチ軸、ヨー軸の回転速度など)を特定する。さらに、CPU11は、記憶部104に
記憶されている現場に建築予定の建築物の3DCGデータを取得し、特定したカメラ17の位置および姿勢に基づいて3DCGデータに対して画像に重畳するための拡大、縮小、回転などの変換処理を行う。

0050

そして、CPU11は、適切なサイズや向きに変換した建築物の3DCGデータを画像に重畳し、建築物の3DCGデータが重畳された画像をディスプレイ16に表示する。このようなカメラ17による撮像画像への3DCGデータの合成によるオーバーレイ表示により、情報処理装置1のユーザは、現場で建築予定の建築物が完成した場合の画像をディスプレイ16で確認することができる。次に、処理はS207に進む。S207の処理は、上記のS106に対応する処理であり、CPU11は、更新した位置情報に基づいて3DCGデータの変換処理を行い、変換後の3DCGデータをカメラ17によって撮像された画像に重畳してディスプレイ16に表示する。

0051

このように本変形例によれば、測量用プリズム400の計測と併せて情報処理装置1における画像内の測量用プリズム400と計測情報との対応付けが実行できるため、マーカを設置する作業が必要ない。また、別の変形例として、上記の実施形態において、マーカ200、300に付されている画像認識用模様を、それぞれ異なる模様や異なる色を施すなど、トータルステーション100によるマーカの各計測点を区別できるようにしてもよい。

0052

また、上記の実施形態のさらなる変形例として、図8に例示するように、GNSSに用いられている人工衛星600による測位に基づいて測量用マーカ500の位置が特定されてもよい。本変形例において、測量用マーカ500はアンテナ501を備え、人工衛星600および情報処理装置1と無線通信を行うことができる。なお、図では、アンテナ501は、外部から視認可能に測量用マーカ500に設けられているが、測量用マーカ500に内蔵されていてもよい。本変形例では、まず測量用マーカ500が位置P3に移動され、人工衛星600の測位によって特定された測量用マーカの位置P3(座標)と情報処理装置1によって撮像された画像内の測量用マーカ500の位置とのマッチングが行われ、その後、測量用マーカ500が位置P4に移動され、同様のマッチングが行われるものとする。

0053

上記の変形例では、トータルステーション100によって計測された位置P3、P4の座標情報が、トータルステーション100から情報処理装置1に送信されるが、本変形例では、人工衛星600による測位によって特定された位置P3、P4の座標情報は、測量用マーカ500から情報処理装置1に送信される。また、本変形例において、情報処理装置1は測量用マーカ500から受信した位置P3、P4の座標情報を用いて上記のS203〜S207の処理(プリズムの代わりにマーカが用いられる)を実行するため、処理の詳細についての説明は省略する。

0054

また、上記の各実施形態のさらなる変形例では、図9に例示するように、情報処理装置800によって測量用マーカ700が撮像される。情報処理装置800は人工衛星600および情報処理装置1と無線通信を行う。そして、人工衛星600による測位によって情報処理装置800の位置が特定される。さらに、情報処理装置800によって測量用マーカ700が撮像されたときの、情報処理装置800が備える各種センサ(図示せず)が出力する情報や撮像画像や人工衛星600による測位によって特定された情報処理装置800の位置に基づいて、測量用マーカ700の位置(座標)が特定される。そして、特定された測量用マーカ700の位置の座標情報が情報処理装置800から情報処理装置1に送信される。本変形例では、まず測量用マーカ700が位置P3に移動され、測量用マーカの位置P3(座標)と情報処理装置1によって撮像された画像内の測量用マーカ700の位置とのマッチングが行われ、その後、測量用マーカ700が位置P4に移動され、同様
のマッチングが行われるものとする。また、本変形例において、情報処理装置1は情報処理装置800から受信した測量用マーカ700の位置P3、P4の座標情報を用いて上記のS203〜S207の処理(プリズムの代わりにマーカが用いられる)を実行するため、処理の詳細についての説明は省略する。

0055

また、上記の各実施形態のさらなる変形例では、図10に例示するように、情報処理装置1000によって測量用マーカ700が撮像される。情報処理装置1000は、上記の情報処理装置1の各構成要素を備えるとともに、人工衛星600と無線通信を行うことができるよう構成されている。そして、人工衛星600による測位によって情報処理装置1000の位置が特定される。さらに、情報処理装置1000によって測量用マーカ700が撮像されたときの、情報処理装置1000が備える各種センサ(図示せず)が出力する情報や撮像画像や人工衛星600による測位によって特定された情報処理装置1000の位置に基づいて、測量用マーカ700の位置(座標)が特定される。本変形例では、まず測量用マーカ700が位置P3に移動され、測量用マーカの位置P3(座標)と情報処理装置1000によって撮像された画像内の測量用マーカ700の位置とのマッチングが行われ、その後、測量用マーカ700が位置P4に移動され、同様のマッチングが行われるものとする。また、本変形例において、情報処理装置1000は特定された測量用マーカ700の位置P3、P4の座標情報を用いて上記のS203〜S207の処理(プリズムの代わりにマーカが用いられる)を実行するため、処理の詳細についての説明は省略する。

0056

さらに、上記の各実施形態において、いわゆる仮想基準点方式(Virtual Reference Station(VRS))、RTK(Real Time Kinematic)など電子基準点を用いて工事現場内に配置された指標の位置を示す計測情報が取得されるように情報処理装置が備える各構成要素を構成してもよい。

0057

<コンピュータが読み取り可能な記録媒体
コンピュータその他の機械、装置(以下、コンピュータ等)に上記情報処理装置の設定を行うための管理ツール、OSその他を実現させるプログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。

0058

ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。このような記録媒体のうちコンピュータ等から取り外し可能なものとしては、例えばフレキシブルディスク光磁気ディスクCD−ROM、CD−R/W、DVD、ブルーレイディスクDAT、8mmテープ、フラッシュメモリ等のメモリカード等がある。また、コンピュータ等に固定された記録媒体としてハードディスクやROM等がある。

0059

1情報処理装置
101トータルステーション
11、101 CPU
14、105通信部
16、107ディスプレイ
17、109カメラ
108 計測部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ