図面 (/)

技術 測量データ処理装置、測量データ処理方法およびプログラム

出願人 株式会社トプコン
発明者 佐々木大輔深谷暢之大谷仁志大佛一毅佐々木剛穴井哲治
出願日 2015年1月28日 (4年7ヶ月経過) 出願番号 2015-014293
公開日 2016年8月4日 (3年1ヶ月経過) 公開番号 2016-138826
状態 特許登録済
技術分野 測量一般 イメージ処理・作成 画像処理 イメージ分析
主要キーワード 移動方向表示 マーカ点 ジオタグ 連続静止画像 印位置 飛行軌跡 無人航空機 移動方向ベクトル
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年8月4日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (15)

課題

移動しながら撮影することで得た複数の静止画像と撮影時の移動経路との対応関係を確認する作業の負担を軽減する。

解決手段

飛行する移動体から撮影した複数の静止画像の画像データと前記移動体の飛行経路とを関連付けた測量データを記憶する記憶部106、前記移動体の飛行経路を画面表示すると共に前記静止画像を画面表示するUI制御部105とを備え、前記飛行経路の画面表示と前記静止画像の画面表示とは同一画面上に同時に表示され、前記飛行経路と前記静止画像とは対応関係が特定された状態で表示され、前記静止画像中には、当該静止画像を撮影した前記移動体の移動方向が表示されることを特徴とする。

概要

背景

例えば土木工事現場等を上空から写真撮影し、その際に得られた画像データに基づき対象となる地形三次元モデル電子データとしてモデル化された三次元地形データ)を得る技術が知られている(例えば、特許文献1参照)。この技術では、撮影データに撮影位置の情報を関連付けする必要がある。

概要

移動しながら撮影することで得た複数の静止画像と撮影時の移動経路との対応関係を確認する作業の負担を軽減する。飛行する移動体から撮影した複数の静止画像の画像データと前記移動体の飛行経路とを関連付けた測量データを記憶する記憶部106、前記移動体の飛行経路を画面表示すると共に前記静止画像を画面表示するUI制御部105とを備え、前記飛行経路の画面表示と前記静止画像の画面表示とは同一画面上に同時に表示され、前記飛行経路と前記静止画像とは対応関係が特定された状態で表示され、前記静止画像中には、当該静止画像を撮影した前記移動体の移動方向が表示されることを特徴とする。

目的

本発明は、移動しながら撮影することで得た複数の静止画像と撮影時の移動経路との対応関係を確認する作業の負担を軽減する技術を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

飛行する移動体から撮影した複数の静止画像の画像データと前記移動体の飛行経路とを関連付けた測量データを記憶する記憶部と、前記移動体の飛行経路を画面表示すると共に前記静止画像を画面表示するUI制御部とを備え、前記飛行経路の画面表示と前記静止画像の画面表示とは同一画面上に同時に表示され、前記飛行経路と前記静止画像とは対応関係が特定された状態で表示され、前記静止画像中には、当該静止画像を撮影した前記移動体の移動方向が表示されることを特徴とする測量データ処理装置

請求項2

画面表示された前記飛行経路には、前記静止画像を撮影した時刻の位置を特定する印が表示されていることを特徴とする請求項1に記載の測量データ処理装置。

請求項3

前記静止画像を撮影した時刻の位置を特定する前記印が指定されると、当該時刻に撮影された静止画像が選択されることを特徴とする請求項2に記載の測量データ処理装置。

請求項4

飛行する移動体から撮影した複数の静止画像の画像データと前記移動体の飛行経路とを関連付けた測量データを記憶するステップと、前記移動体の飛行経路を画面表示すると共に前記静止画像を画面表示するステップとを備え、前記飛行経路の画面表示と前記静止画像の画面表示とは同一画面上に同時に表示され、前記飛行経路と前記静止画像とは対応関係が特定された状態で表示され、前記静止画像中には、当該静止画像を撮影した前記移動体の移動方向が表示されることを特徴とする測量データ処理方法

請求項5

コンピュータに読み取らせて実行させるプログラムであって、コンピュータを飛行する移動体から撮影した複数の静止画像の画像データと前記移動体の飛行経路とを関連付けた測量データを記憶する記憶部と、前記移動体の飛行経路を画面表示すると共に前記静止画像を画面表示するUI制御部として動作させ、前記飛行経路の画面表示と前記静止画像の画面表示とは同一画面上に同時に表示され、前記飛行経路と前記静止画像とは対応関係が特定された状態で表示され、前記静止画像中には、当該静止画像を撮影した前記移動体の移動方向が表示されることを特徴とするプログラム。

技術分野

0001

本発明は、測量技術に関する。

背景技術

0002

例えば土木工事現場等を上空から写真撮影し、その際に得られた画像データに基づき対象となる地形三次元モデル電子データとしてモデル化された三次元地形データ)を得る技術が知られている(例えば、特許文献1参照)。この技術では、撮影データに撮影位置の情報を関連付けする必要がある。

先行技術

0003

特開2013−96745号公報

発明が解決しようとする課題

0004

上述した技術において、カメラを搭載した自律飛行可能な無人航空機UAV(Unmanned Air Vehicle)。)を用いる方法がある。この場合、得られた静止画像動画の場合はフレーム画像)とカメラ(UAV)の位置および姿勢との関係を取得する必要がある。
しかしながら、コストや機器の精度に起因してUAVの位置データと静止画像との同期が完全にとれない場合も多々あり、最終的には作業者目視で確認する作業が必要となる。ところで、静止画像は数百枚以上ある場合もあり、上記の確認作業は煩雑であり、作業者への負担も大きい。このような背景において、本発明は、移動しながら撮影することで得た複数の静止画像と撮影時の移動経路との対応関係を確認する作業の負担を軽減する技術を提供することを目的とする。

課題を解決するための手段

0005

請求項1に記載の発明は、飛行する移動体から撮影した複数の静止画像の画像データと前記移動体の飛行経路とを関連付けた測量データを記憶する記憶部と、前記移動体の飛行経路を画面表示すると共に前記静止画像を画面表示するUI制御部とを備え、前記飛行経路の画面表示と前記静止画像の画面表示とは同一画面上に同時に表示され、前記飛行経路と前記静止画像とは対応関係が特定された状態で表示され、前記静止画像中には、当該静止画像を撮影した前記移動体の移動方向が表示されることを特徴とする測量データ処理装置である。

0006

請求項1に記載の発明によれば、飛行経路と静止画像の対応関係が視覚的に把握し易いUI画面が得られる。また、静止画像中に当該静止画像を撮影した移動体の移動方向が表示されるので、この表示と移動経路の軌跡とを視覚的に比較することで、データ表示の基となる測量データ、すなわち飛行する移動体から撮影した複数の静止画像の画像データと前記移動体の飛行経路とを関連付けた測量データにおける飛行経路のデータと静止画像のデータとの同期が正しくとれているのか否かを判断することができる。この作業は、容易であり、測量データの確認にあたる作業者の負担を軽減することができる。

0007

請求項2に記載の発明は、請求項1に記載の発明において、画面表示された前記飛行経路には、前記静止画像を撮影した時刻の位置を特定する印が表示されていることを特徴とする。請求項2に記載の発明によれば、飛行経路と静止画像の関係をより容易に認識することができる

0008

請求項3に記載の発明は、請求項2に記載の発明において、前記静止画像を撮影した時刻の位置を特定する前記印が指定されると、当該時刻に撮影された静止画像が選択されることを特徴とする。請求項3に記載の発明によれば、飛行経路と静止画像の関係を作業者が確認し易いUI(ユーザ・インターフェース)が得られる。

0009

請求項4に記載の発明は、飛行する移動体から撮影した複数の静止画像の画像データと前記移動体の飛行経路とを関連付けた測量データを記憶するステップと、前記移動体の飛行経路を画面表示すると共に前記静止画像を画面表示するステップとを備え、前記飛行経路の画面表示と前記静止画像の画面表示とは同一画面上に同時に表示され、前記飛行経路と前記静止画像とは対応関係が特定された状態で表示され、前記静止画像中には、当該静止画像を撮影した前記移動体の移動方向が表示されることを特徴とする測量データ処理方法である。

0010

請求項5に記載の発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータを飛行する移動体から撮影した複数の静止画像の画像データと前記移動体の飛行経路とを関連付けた測量データを記憶する記憶部と、前記移動体の飛行経路を画面表示すると共に前記静止画像を画面表示するUI制御部として動作させ、前記飛行経路の画面表示と前記静止画像の画面表示とは同一画面上に同時に表示され、前記飛行経路と前記静止画像とは対応関係が特定された状態で表示され、前記静止画像中には、当該静止画像を撮影した前記移動体の移動方向が表示されることを特徴とするプログラムである。

発明の効果

0011

本発明によれば、移動しながら撮影することで得た複数の静止画像と撮影時の移動経路との対応関係を確認する作業の負担を軽減できる。

図面の簡単な説明

0012

実施形態のブロック図である。
画像処理部のブロック図である。
UI制御部のブロック図である。
テンプレートマッチング原理を示す説明図である。
画像から飛行経路を推定する処理の原理を示す原理図である。
処理の手順の一例を示すフローチャートである。
処理の手順の一例を示すフローチャートである。
静止画像と移動経路との関係を示す図面代用写真である。
画面上に表示されるGUI画像の一例を示す図面代用写真の一例である。
画面上に表示されるGUI画像の一例を示す図面代用写真の一例である。
画面上に表示されるGUI画像の一例を示す図面代用写真の一例である。
画面上に表示されるGUI画像の一例を示す図面代用写真の一例である。
画面上に表示されるGUI画像の一例を示す図面代用写真の一例である。
画面上に表示されるGUI画像の一例を示す図面代用写真の一例である。

実施例

0013

1.第1の実施形態
概要
この例では、自律飛行可能な無人航空機(UAV(Unmanned Air Vehicle)。)にカメラを搭載した機材を用いる。UAVは、GNSS装置(航法衛星を用いた位置特定装置)とIMU(慣性航法装置)を搭載しており、自律飛行が可能である。UAVは、飛行しながらカメラによって地表を連続的に撮影する。すなわち、飛行しながら、時刻t1に第1の静止画像を撮影し、時刻t2に第2の静止画像を撮影し、時刻t3に第3の静止画像を撮影し、といった処理を連続的に行う。撮影の間隔は、必要に応じて決めればよいが、例えば2秒間隔とする。なお、動画撮影を行い、動画を構成するフレーム画像を静止画像として扱うこともできる。すなわち、動画は、時刻t1に撮影した第1のフレーム画像、時刻t2に撮影した第2のフレーム画像、といった時系列に並んだ複数のフレーム画像により構成されるが、そのフレーム画像を本実施形態における静止画像として用いることもできる。

0014

上記の撮影では、飛行しながらの撮影であるので、視点の位置が少しずつずれ、また少しずつ撮影対象の範囲がずれた静止画像が多数得られる。カメラは時計を持っており、撮影時刻は記録され、撮影した静止画像との関連付けがされた画像データが得られる。UAVは、GNSS装置とIMUが計測した飛行経路に係るデータを記録する機能を有する。

0015

この例において、UAVは、GNSSを利用して0.2秒間隔で飛行経路の位置情報を記録している。この飛行経路を記録したデータは、ログデータとして飛行後にUAV外部に出力することができる。他方でカメラは2秒間隔で静止画像の撮影を行い、その画像データを記録している。そして、UAVとカメラは、それぞれ時計を持っているが、それは同期していない、したがって、飛行が終了し、カメラから画像データを、UAVから飛行経路に係るログデータを得た段階で、画像データと飛行経路に関するログデータとの関連付けは行われていない。本実施形態は、上記の画像データと飛行経路の関連付けをソフトウェア処理により行う技術に関する。

0016

(構成)
カメラから得られる画像データとUAVから得られる飛行経路のデータとの関係を求める処理が図1の測量データ処理装置100において行われる。図1の測量データ処理装置100は、コンピュータとしての機能を有し、CPU、固体電子メモリハードディスク記憶装置、各種のインターフェース、その他必要に応じた演算素子を備えている。図1には、機能として捉えた各種の機能部が記載されている。図示された各種の機能部の一部または複数は、ソフトウェア的に構成されていてもよいし、専用のハードウェアで構成されていてもよい。

0017

例えば、測量データ処理装置100を専用のハードウェアで構成することも可能であるが、汎用のコンピュータを用いて図示する機能部の機能をソフトウェア的に実現する構成も可能である。汎用のコンピュータを用いた場合、当該コンピュータが備えた(あるいは当該コンピュータに接続された)ディスプレイ上に後述する画面表示が行われ、当該コンピュータで利用できるUI(ユーザ・インターフェース)を用いて、作業者による各種の作業が行われる。また、三次元モデル計測装置100の少なくとも一部の機能をタブレットコンピュータタブレット端末)やスマートフォンで行うことも可能である。

0018

測量データ処理装置100は、入力部101、画像処理部102、同期処理部103、表示部104、UI(ユーザ・インターフェース)制御部105、記憶部106および出力部107を備えている。

0019

入力部101には、UAVが飛行中にカメラが撮影した画像の画像データ、UAVのログデータ(飛行経路を記録したデータ)およびIMUが計測したUAVの傾きに関するデータが入力される。画像処理部102は、UAVが飛行中に撮影した複数の静止画像に基づき、UAVの飛行経路を推定する処理を行う。図2には、画像処理部102のブロック図が示されている。画像処理部102は、特徴点抽出部111、対応点特定部112、移動方向ベクトル特徴抽出部113、飛行経路推定部114および正規化処理部115を備えている。

0020

特徴点抽出部111は、静止画像中から特徴点を抽出する。特徴点は、周囲から区別できる点であり、例えば、エッジ部分や周囲と色彩が異なっている部分が特徴点として抽出される。特徴点の抽出は、ソフトウェア処理により行われる。特徴点の抽出には、ソーベルラプラシアンプリューウィットロバーツなどの微分フィルタが用いられる。

0021

対応点特定部112は、2枚の静止画像中でそれぞれ個別に抽出された特徴点の対応関係を特定する。すなわち、一方の静止画像中で抽出された特徴点と同じ特徴点を他方の静止画像中で特定する処理を行う。この特徴点の対応関係を特定する処理は、例えば、図4に示すテンプレートマッチングを用いて行われる。

0022

テンプレートマッチングとしては、残差逐次検定法(SSDA:Sequential Similarity Detection Algorithm)、相互相関係数法などが挙げられる。以下、テンプレートマッチングの一例を説明する。テンプレートマッチングは、2つの座標系における画像の座標データを相互に比較し、両者の相関関係により、2つの画像の対応関係を求める方法である。テンプレートマッチングでは、2つの視点それぞれから見た画像の特徴点の対応関係が求められる。図4は、テンプレートマッチングの原理を説明する説明図である。この方法では、図示するように、N1×N1画素テンプレート画像を、それよりも大きいM1×M1画素の入力画像内探索範囲(M1−N1+1)2上で動かし、下記数1で示される相互相関関数C(a,b)が最大となるような(つまり相関の程度が最大となるような)テンプレート画像の左上位置を求める。

0023

0024

上記の処理は、一方の画像の倍率を変えながら、また回転させながら行われる。そして、相関関係が最大となった条件で、両画像の一致する領域が求まり、更にこの領域における特徴点を抽出することで、対応点の検出が行われる。

0025

テンプレートマッチングを用いることで、比較する2つの画像の一致する部分が特定でき、2つの画像の対応関係を知ることができる。この方法では、2つ画像の相関関係が最大となるように両者の相対的な位置関係が定められる。2つの画像の相関関係は、両画像の特徴点によって決まる。

0026

移動方向ベクトルの特徴抽出部113は、時間の経過に従って生じる静止画像の変化に基づき、UAV(カメラ)の移動に相関するベクトルの特徴を抽出する。このベクトルを移動方向ベクトルと呼ぶ。時間の経過に伴う移動方向ベクトルの軌跡を求めることでUAVの相対的な飛行経路を求めることができる。

0027

以下、移動方向ベクトルの特徴抽出部113で行われる処理について説明する。まず、予備的な知識として、各時刻にえられた静止画像と実際の飛行経路との関係を説明する。図8には、静止画像の遷移と、UAVのログデータから得た移動ベクトルの対応関係が示されている。図8には、飛行に従って刻々と映っている場所がずれてゆく様子が示された連続静止画像No1〜No4が示されている。連続静止画像No1〜No4の下には、UAVのログデータから得た飛行経路(移動ベクトルの遷移)が示されている。

0028

図8に示すように静止画像の変化は、飛行経路の動きに対応している。この現象を利用して、移動方向ベクトルの特徴抽出部113では、静止画像を解析することで、カメラに対する静止画像の相対的な動きを特徴づける移動方向ベクトルを得る処理を行う。

0029

図5には、t1→t2→t3と経過した場合における時刻t1に得られた静止画像、時刻t2に得られた静止画像および時刻t3に得られた静止画像が模式的に示されている。図5に示す静止画像には、十字路と角に立つ建築物が簡素化された状態で示されている。図5には、時刻t1から時刻t2にかけて特徴点×が左に移動し、更に時刻t2から時刻t3にかけて特徴点×が左下 に移動した場合が示されている。

0030

この場合、移動方向ベクトルの特徴抽出部113は、特徴点×に着目し、その位置の変化を抽出する。例えば、この場合、時刻t1の静止画像と時刻t2の静止画像を比較することで、特徴点×の移動の方向と量を現すベクトルとして移動方向ベクトルAを得る。また、時刻t2の静止画像と時刻t3の静止画像を比較することで、特徴点×の移動の方向と量を現すベクトルとして移動方向ベクトルBを得る。そして、移動方向ベクトルAとBを接続することで、移動方向ベクトルCを得る。このようにして時間軸上で隣接する静止画像を比較することで、静止画像の変化を特徴づける移動方向ベクトル(例えば、図5の移動方向ベクトルC)を得る。

0031

飛行経路推定部114は、移動方向ベクトルに基づいてUAVの飛行経路(カメラの移動経路)を推定する。例えば、図5の移動ベクトルCに着目した場合、大地を基準にするとUAVの動きは、移動ベクトルAおよびBと逆の経路になるので、時刻t1〜t3におけるUAVの飛行経路は、飛行経路Lのようになる。以上は、時刻t1,t2,t3の3つの時刻の場合であるが、更に複数の時刻に得られた静止画像を対象に同様な処理を行うことで、UAVの飛行経路の軌跡が推定される。以上の処理が飛行経路推定部114において行われる。

0032

ただし、この段階で得られる推定された飛行軌跡は、スケールが与えられていないので相対的なものとなる。すなわち、図5に示す原理に従って得られた飛行経路は、飛行距離に関するデータは得られていない。

0033

図2の正規化処理部115は、飛行経路推定部114が推定したUAVの推定飛行経路の軌跡を拡大縮小させ、UAVのログデータから得られたUAVの実際の飛行経路との間のスケールの差を調整する。すなわち、飛行経路推定部が得たUAVの推定飛行経路は、実スケールが与えられていない相対的な飛行の軌跡であるので、ログデータから得られる実際の飛行経路とスケールを合わせるために、上記のスケールの調整を行う。

0034

一般にUAVの飛行は、図9に示すような軌跡で行われる。そこで、図9に示すような実際の軌跡と同じ程度のスケールになるように推定された飛行軌跡を拡大縮小させる。こうして、スケールが同程度に調整された推定飛行経路の軌跡が得られる。以上が正規化処理部115で行われる処理の内容である。

0035

図1戻り、同期処理部103は、画像処理部102が推定したUAVの飛行経路のデータとUAVが実際に記録した飛行経路のデータ(ログデータ)とを比較し、両者を同期させる(対応させる)処理を行う。

0036

同期処理部103において行われる処理の具体的な一例を以下に示す。同期処理部103は、画像処理部102が推定したUAVの飛行経路Aの軌跡を回転、平行移動、拡大および縮小させ、実際に記録した飛行経路Bとのマッチングを行う。このマッチングが行われることで、飛行経路Aと飛行経路Bの対応関係が明らかになり、飛行経路のどの位置でどのような静止画像が撮影されたのかを特定することができるようになる。

0037

すなわち、飛行経路Bでは、位置と時刻の関係が特定されているから、飛行経路Aと飛行経路Bとがマッチングした段階で、飛行経路A(画像解析から推定した飛行経路)に実スケールが与えられ、さらに飛行経路Aにおける位置と時刻の関係が判明する。そして、飛行経路Aにおける位置と時刻の関係が判明することで、飛行経路Aの元となった静止画像の撮影時刻と撮影位置の情報が得られる。すなわち、カメラから得られた画像データにおける特定の静止画像の撮影時刻と撮影位置が判明する。判明した撮影時刻と撮影位置のデータおよび当該撮影時刻におけるUAVの傾きに関するデータは、ヘッダー情報(例えば、ジオタグ)として、それぞれの画像ファイルに付加される。

0038

表示部104は、図9図14に示すような各種のGUIグラフカル・ユーザ・インターフェース)画像を表示する。また、表示部104は、測量データ処理装置100の操作に必要な表示、各種データの表示を行う。測量データ処理装置100としてノートパソコンを用いた場合、当該ノートパソコンのディスプレイが表示部104として用いられる。

0039

UI制御部105は、図9図14に示すようなGUIの機能を制御する。図3には、UI制御部105のブロック図が示されている。UI制御部105は、経路点指示受付部121、対応静止画像取得部122、移動方向表示埋め込み部123および移動方向表示付き静止画像の表示制御部124を備えている。

0040

経路点指示受付部121は、ログデータから得られた飛行経路の特定の点(経路点)が作業者によって指定された際にそれを受け付ける。例えば、図10には、表示部104に表示されるGUI画像の一例が示されている。図10の右側には、ログデータから得られた飛行経路が示され、左側に画像データから得られた静止画像が表示されている。ここで、右側の飛行経路の特定の点(四葉のクローバ型のマーカ点)の位置で撮影した静止画像が左側に表示されている。四葉のクローバ型のマーカの位置は、作業者がGUIを操作して指定することができる。この操作の内容が経路点指示受付部121で受け付けられる。

0041

対応静止画像取得部122は、経路点指示受付部121が受け付けた飛行経路の特定の位置に対応した静止画像(カメラが撮影した静止画像)を画像データから取得する。移動方向表示埋め込み部123は、対応静止画像取得部122が取得した静止画像の中にUAV(カメラ)の移動方向を示す印(図10の場合、緑の矢印)を埋め込む処理を行う。UAVの移動方向は、図5に示す原理から算出される。すなわち、時間軸上で隣接する静止画像を比較することで、当該画像間における特徴点の相対的な動きを検出し、この特徴点の相対的な動きから、UAVの移動方向と移動量を算出する。この処理により、一つ前の静止画像を起点としたUAVの移動方向と移動量が算出され、それを矢印(ベクトル表示)として当該静止画像中に表示する。この処理が移動方向表示埋め込み部123において行われる。

0042

移動方向表示付き静止画像の表示制御部124は、UAVの移動方向を示す印を埋め込んだ静止画像を表示部104に表示するための制御を行う。図10の左側には、移動方向表示付き静止画像の表示制御部124によって表示部104に表示された静止画像の一例が示されている。

0043

図1に戻り、記憶部106は、測量データ処理装置100の動作に必要な各種のデータや動作の結果得られた各種のデータを記憶する。例えば、カメラが得た画像データ、UAVのログデータ、測量データ処理装置を動作させるための各種のプログラム、および測量データ処理装置100で処理する中間データや処理の結果得られたデータが記憶部106に記録される。出力部107は、測量データ処理装置100が得た各種のデータや測量データ処理装置100が扱う各種のデータを外部に出力する。

0044

(処理の一例)
図6には、処理手順の一例が示されている。処理が開始されると、画像データの入力が行われ(ステップS101)、さらにログデータの入力が行われる(ステップS102)。画像データが入力されたら、各静止画像において特徴点の抽出が行われる(ステップS103)。この処理は、図2の特徴点抽出部111において行われる。特徴点を抽出したら、時間軸上で隣接する静止画像間において対応する特徴点の特定が行なわれる(ステップS104)。この処理は、図2の対応点特定部112において行われる。

0045

対応点を特定したら、図5に例示した方法を用いて移動方向ベクトルの特徴を抽出する(ステップS105)。この処理は、図2の移動方向ベクトルの特徴抽出部113において行われる。次に、ステップS106に進み、図5下部に示す原理により、移動方向ベクトルに基づくUAVの飛行経路の算出を行う。この処理は、図2の飛行経路推定部114において行われる。

0046

飛行経路を推定したら、正規化処理(ステップS107)を行い、ログデータ102から得られる飛行経路とステップS106で推定した飛行経路とのスケールを合わせる。次に、推定した飛行経路を平行移動、回転、拡大、縮小させ、ログデータ102から得られる飛行経路とのマッチングを行う(ステップS108)。マッチングの判定は、最小二乗法を用いて行う。

0047

この処理では、図5の方法により得られた推定飛行経路を示すベクトルと、ログデータから得られる飛行経路を示すベクトルとの間の距離の総和が最小となる推定飛行経路の位置を最小二乗法により求める。勿論、他の方法により、推定飛行経路とログデータから得た飛行経路とのマッチングをとることもできる。ステップS108により、撮影した複数の静止画像とUAV側で取得した飛行経路とが関連付けされた測量データが得られる。この測量データは、図1の記憶部106に記憶される。

0048

ログデータ102から得られる飛行経路とステップS106で推定した飛行経路とのマッチングを取ることで、飛行経路と撮影した静止画像との対応関係が判明する。この結果、図9図14に例示するGUI画像の表示が可能となる(ステップS109)。

0049

以下、図9図14について説明する。図9の右側には、飛行前に指定した指定位置Wとログデータから得た実際の飛行経路が示され、左側には、右側の飛行経路中で四葉のクローバ型のマーカで指定された位置に対応する(当該位置で撮影されたとされる)静止画像が表示されている。

0050

図10の右側には、ログデータから得た実際の飛行経路が示されている。ここで、矢印の表示が、静止画像の撮影位置に対応している。この矢印表示を作業者が指定すると、その点が四葉のクローバ型のマーカとなり、対応する静止画像が左側に表示される。この際、左側に表示される静止画像中には、UAVの向き(飛行する方向)を示す矢印が表示される。この処理は、図11図14においても同様に行われる。

0051

上記の図10図14に係る処理の手順の一例を説明する。ここでは、図10を対象に説明を行う。図7には、この際の処理の手順の一例が示されている。まず、前提として図6の処理が行なわれ、画像データとログデータとの同期(対応関係)が得られた状態であるとする。

0052

図10GUI画面上において、作業者により右側の飛行経路の特定の撮影位置(特定の矢印位置)が指定されると(ステップS111)、対応する静止画像が取得される(ステップS112)。ここで、ステップS111は、図3の経路点指定受付部121で実行され、ステップS112は、図3の対応静止画像取得部122で行われる。

0053

ステップS112の後、ステップS113に進み、ステップS112で取得した静止画像の中にUAVの飛行方向を示す矢印(移動方向表示)を埋め込む処理を行う。この処理は、図3の移動方向表示埋め込み部123において行われる。次に、ステップS114に進み、UAVの飛行方向を示す矢印(移動方向表示)が表示された静止画像を図1の表示部104に表示する処理が行なわれる。この処理は、図3の移動方向表示付き静止画像の表示制御部124において行われる。

0054

UAVが搭載するGNSS装置やIMUの性能にもよるが、往々にしてUAVが取得するログデータには誤差が含まれている。特に低コストである装置を用いた場合、この傾向が大となる。また、UAV側における位置情報の取得間隔とカメラの撮影間隔とは必ずしも一致しない。そもそも汎用の製品を組み合わせた場合、ログデータの時刻情報と画像データの時刻情報とがずれている場合もあり得る。したがって、図10において、作業者が指定した位置と左側に表示される静止画像とが一致しない場合がありうる。すなわち、マッチングにずれがあり、指定した位置と数コマずれた静止画像(指定した位置と少し異なる位置から撮影された静止画像)が選択され、表示される可能性がある。

0055

図10図14の画像を用いることで上記のずれを検出することができる。この場合、作業者のマニュアル操作によりずれが補正される。このずれの検出は、以下のようにして行われる。図10図14に示すように、作業者は、飛行経路に沿って飛行位置を指定し、その際に表示される左側の静止画像を確認する。この際、静止画像中には、UAVの飛行方向を示す矢印が示される。また、この矢印には、一つ前の静止画像からの移動距離が示される。

0056

ここで、図11図12図13の経緯を見ると、UAVの旋回に従って静止画像中に表示される矢印の向きが変化することが分かる。この旋回時における右側の経路の変化と左側の静止画像中における矢印の変化とを対比することで、飛行経路と静止画像との対応関係の正誤を調べることができる。例えば、隣接あるいは近接する2つの時刻において、右側の飛行経路では、明らかにUAVの向きが変わっているのに、左側の静止画像中での矢印の変化が見られない場合、飛行経路と静止画像との対応関係がずれていることが判る。また、両者の変化の現れるタイミングのずれから、ずれの方向が判る。

0057

例えば、時系列に従って、図11図14のGUI画像を表示させていった場合において、右側の飛行経路におけるUAVの向きの変化が観察されてから、少し遅れて左側の静止画像中での矢印の変化が見られる場合、飛行経路上の本来の位置より後ろの位置の静止画像が対応付けされていることが判る。この場合、ずれた時刻分、対応関係をずらすことで、画像データとログデータとの正しい対応関係が得られる。

0058

上述したように、静止画像と飛行経路との同期を確認する作業は、画面上で視覚的に行うことが可能であり、その操作も簡単である。したがって、作業者への負担も軽い。特に同期のずれは、UAVが旋回した部分に着目することで、容易にしかも正確に認識することができる。このため、精度の高い作業を低い負担で行うことができる。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ