図面 (/)

技術 光軸方向特定方法、光軸方向特定装置、及び光軸方向特定プログラム

出願人 国際航業株式会社
発明者 佐藤匠武田浩志山田啓二
出願日 2011年7月26日 (8年11ヶ月経過) 出願番号 2011-163709
公開日 2013年2月7日 (7年4ヶ月経過) 公開番号 2013-030851
状態 特許登録済
技術分野 スタジオ装置 測量一般
主要キーワード レーザ距離計測 デジタルコンパス 最頻度値 崩壊地 イメージマッチング レーザ計測 慣性計測装置 撮像姿勢
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2013年2月7日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (4)

課題

本願発明の課題は、従来技術が抱える問題を解決するものであり、帯磁された磁場の存在に影響されることなく、しかも経費設置スペースを軽減できる光軸方向特定方法、装置、及びそのプログラムを提供することにある。

解決手段

本願発明の光軸方向特定方法は、主画像を取得する主画像取得工程と、参照画像を取得する参照画像取得工程と、参照用カメラの位置と参照用カメラの撮像方向とを取得する空間情報取得工程と、参照画像の中から主画像と照合する照合部分を抽出するとともに、照合部分の中から主画像の中心点を求める画像照合工程と、画像照合工程によって求められた主画像の中心点と、空間情報取得工程によって取得された参照用カメラの位置及び撮像方向に、基づいて撮像用カメラ光軸方向を特定する光軸方向特定工程と、を備えた方法である。

概要

背景

通常、カメラ撮影する際にその方向を確認しながら行うことはあまりない。しかしながら、その画像がどの位置からどの方向に撮影されたものであるか判れば、その画像がどの場所を撮影したものかを特定できて好適である。そこで、昨今ではデジタルコンパスを搭載したデジタルカメラが利用されている。

電子コンパスは、内蔵の磁気センサ磁気の強さを検知し、検知した磁気強度電気信号に変換して、その信号から方位を判断できるようにしたものである。電子コンパスには2軸タイプ,3軸タイプのものがあり、2軸タイプは2つの磁気センサを直角に組み合わせて前後方向と左右方向の磁気を検出できるものであり、一方、3軸タイプは2軸タイプに第3の磁気センサを加えて上下方向の磁気も検出できるものである。この電子コンパスは、現在では広く利用されており、例えば、前述のデジタルカメラをはじめ、携帯電話レーザ距離計など多くのものに取り付けられている。

特許文献1は、移動しながら同一の対象物を撮影し、異なる撮影時におけるそれぞれの撮影位置撮像方向から対象物の位置座標演算処理して求めるものであり、撮影位置を計測するGPSとカメラとの相対的配置技術的特徴を有する技術である。この場合、カメラの撮像方向は方位センサが用いられている。

概要

本願発明の課題は、従来技術が抱える問題を解決するものであり、帯磁された磁場の存在に影響されることなく、しかも経費設置スペースを軽減できる光軸方向特定方法、装置、及びそのプログラムを提供することにある。本願発明の光軸方向特定方法は、主画像を取得する主画像取得工程と、参照画像を取得する参照画像取得工程と、参照用カメラの位置と参照用カメラの撮像方向とを取得する空間情報取得工程と、参照画像の中から主画像と照合する照合部分を抽出するとともに、照合部分の中から主画像の中心点を求める画像照合工程と、画像照合工程によって求められた主画像の中心点と、空間情報取得工程によって取得された参照用カメラの位置及び撮像方向に、基づいて撮像用カメラ光軸方向を特定する光軸方向特定工程と、を備えた方法である。

目的

本願発明の課題は、前記のような問題、すなわち磁気の影響による電子コンパスの計測精度の問題、あるいは別途方位センサを具備することに伴う問題、を解決するものであり、帯磁された磁場の存在に影響されることなく、しかも経費や設置スペースを軽減できる、光軸方向特定方法、光軸方向特定装置、及び光軸方向特定プログラムを提供する

効果

実績

技術文献被引用数
1件
牽制数
1件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

撮像用カメラによって取得した主画像と、参照用カメラで取得した参照画像と、を照合することで撮像用カメラの光軸方向を特定する方法であって、前記撮像用カメラは前記参照用カメラに比して高い解像度具備し、前記参照用カメラは前記撮像用カメラに比して広角撮像が可能であり、前記撮像用カメラによって前記主画像を取得する主画像取得工程と、前記参照用カメラによって前記参照画像を取得する参照画像取得工程と、前記参照用カメラの位置と参照用カメラの撮像方向とを取得する空間情報取得工程と、前記参照画像の中から前記主画像と照合する照合部分を抽出するとともに、この照合部分の中から主画像の中心点を求める画像照合工程と、前記画像照合工程によって求められた主画像の中心点と、前記空間情報取得工程によって取得された参照用カメラの位置及び撮像方向と、に基づいて撮像用カメラの光軸方向を特定する光軸方向特定工程と、を備えたことを特徴とする光軸方向特定方法

請求項2

前記参照用カメラが移動体に固定されるとともに、前記主画像は該移動体上で撮像用カメラによって取得され、前記主画像取得工程と前記参照画像取得工程と前記空間情報取得工程は、前記移動体の移動中に行われ、前記光軸方向特定工程では、前記画像照合工程によって求められた前記主画像の中心点と、該中心点に係る参照画像取得時における参照用カメラの位置及び撮像方向と、に基づいて撮像用カメラの光軸方向が特定されることを特徴とする請求項1記載の光軸方向特定方法。

請求項3

レーザ距離計照射方向と、前記撮像用カメラの光軸方向と、を平行又は略平行としたうえで、該レーザ距離計によって距離計測を行うレーザ測距工程を備えたことを特徴とする請求項1又は請求項2記載の光軸方向特定方法。

請求項4

撮像用カメラによって取得した主画像と、参照用カメラで取得した参照画像と、を照合することで撮像用カメラの光軸方向を特定する装置であって、前記参照用カメラに比して高い解像度を具備する前記撮像用カメラと、前記撮像用カメラに比して広角な撮像が可能である前記参照用カメラと、前記参照用カメラの位置を取得する位置計測手段と、前記参照用カメラの撮像方向を特定可能な姿勢情報を取得する方位計測手段と、前記参照用カメラによって取得された前記参照画像の中から、前記撮像用カメラによって取得された前記主画像と照合する照合部分を抽出するとともに、この照合部分の中から主画像の中心点を求める画像照合手段と、前記画像照合手段によって求められた主画像の中心点と、前記位置計測手段によって取得された参照用カメラの位置と、前記方位計測手段によって取得された姿勢情報と、に基づいて撮像用カメラの光軸方向を特定する光軸方向特定手段と、を備えたことを特徴とする光軸方向特定装置

請求項5

前記参照用カメラが移動体に固定されるとともに、前記位置計測手段及び前記方位計測手段が該移動体に搭載され、前記撮像用カメラ及び前記参照用カメラは、前記移動体の移動中に撮像可能であり、前記位置計測手段は前記移動体の移動中に前記参照用カメラの位置を取得可能であるとともに、前記方位計測手段は前記移動体の移動中に前記姿勢情報を取得可能であり、前記光軸方向特定手段は、前記画像照合手段によって求められた前記主画像の中心点と、該中心点に係る参照画像取得時における参照用カメラの前記位置及び前記姿勢情報と、に基づいて撮像用カメラの光軸方向を特定することを特徴とする請求項4記載の光軸方向特定装置。

請求項6

レーザ距離計を備え、前記レーザ距離計は、前記撮像用カメラの光軸方向と平行又は略平行に、レーザを照射して、距離計測可能であることを特徴とする請求項4又は請求項5記載の光軸方向特定装置。

請求項7

撮像用カメラによって取得した主画像と、参照用カメラで取得した参照画像と、を照合することで撮像用カメラの光軸方向を特定するプログラムであって、前記参照用カメラに比して高い解像度を具備する前記撮像用カメラで取得された前記主画像を読み込む機能と、前記撮像用カメラに比して広角な撮像が可能である前記参照用カメラで取得された前記参照画像を読み込む機能と、前記参照用カメラの位置情報を読み込む機能と、前記参照用カメラの撮像方向を特定可能な姿勢情報を読み込む機能と、前記参照画像の中から、前記主画像と照合する照合部分を抽出するとともに、この照合部分の中から主画像の中心点を求める画像照合機能と、前記画像照合機能によって求められた主画像の中心点と、該中心点に係る参照画像取得時における参照用カメラの前記位置情報及び前記姿勢情報と、に基づいて撮像用カメラの光軸方向を特定する光軸方向特定機能と、を備えたことを特徴とする光軸方向特定プログラム

技術分野

0001

本願発明は、任意の方向で撮影した画像の撮像方向を特定するものであり、撮影者静止している場合をはじめ、空中を移動する航空機、路上を移動する自動車軌道上を移動する列車、海上を移動する船舶、といった移動体で移動しながら撮影する場合を含めるものである。より具体的には、広角で撮影した参照画像中に、高解像度で撮影した主画像と照合する照合部分を求めることによって、主画像の撮像方向を特定するものであり、すなわち撮影カメラ光軸方向を特定する方法、光軸方向を特定する装置、及び光軸方向を特定するプログラムに関するものである。

背景技術

0002

通常、カメラで撮影する際にその方向を確認しながら行うことはあまりない。しかしながら、その画像がどの位置からどの方向に撮影されたものであるか判れば、その画像がどの場所を撮影したものかを特定できて好適である。そこで、昨今ではデジタルコンパスを搭載したデジタルカメラが利用されている。

0003

電子コンパスは、内蔵の磁気センサ磁気の強さを検知し、検知した磁気強度電気信号に変換して、その信号から方位を判断できるようにしたものである。電子コンパスには2軸タイプ,3軸タイプのものがあり、2軸タイプは2つの磁気センサを直角に組み合わせて前後方向と左右方向の磁気を検出できるものであり、一方、3軸タイプは2軸タイプに第3の磁気センサを加えて上下方向の磁気も検出できるものである。この電子コンパスは、現在では広く利用されており、例えば、前述のデジタルカメラをはじめ、携帯電話レーザ距離計など多くのものに取り付けられている。

0004

特許文献1は、移動しながら同一の対象物を撮影し、異なる撮影時におけるそれぞれの撮影位置と撮像方向から対象物の位置座標演算処理して求めるものであり、撮影位置を計測するGPSとカメラとの相対的配置技術的特徴を有する技術である。この場合、カメラの撮像方向は方位センサが用いられている。

先行技術

0005

特開2010−038822

発明が解決しようとする課題

0006

電子コンパスは、比較的容易に方位を計測できる反面、磁気を検出する性質上、磁気による影響を大きく受ける。例えば、局所的に強く帯磁された磁場が存在すると、これによる影響を受け、正しい計測値が得られないことがある。航空機や車両などは、その大部分が磁気金属で構成されているため、航空機内あるいは車両内で電子コンパスを使用すると、磁気の影響を受けて正確な方位計測が望めない結果となる。

0007

また、特許文献1のように、カメラの撮像方向を計測するため方位センサを用意することは、その分コストがかかるうえに配置スペース持ち運びなどの面でも問題があり、容易には採用し難い技術である。

0008

本願発明の課題は、前記のような問題、すなわち磁気の影響による電子コンパスの計測精度の問題、あるいは別途方位センサを具備することに伴う問題、を解決するものであり、帯磁された磁場の存在に影響されることなく、しかも経費設置スペースを軽減できる、光軸方向特定方法光軸方向特定装置、及び光軸方向特定プログラムを提供することにある。

課題を解決するための手段

0009

本願発明の光軸方向特定方法は、撮像用カメラによって取得した主画像と、参照用カメラで取得した参照画像と、を照合することで撮像用カメラの光軸方向を特定する方法であって、前記撮像用カメラは前記参照用カメラに比して高い解像度を具備し、前記参照用カメラは前記撮像用カメラに比して広角な撮像が可能であり、前記撮像用カメラによって前記主画像を取得する主画像取得工程と、前記参照用カメラによって前記参照画像を取得する参照画像取得工程と、前記参照用カメラの位置と参照用カメラの撮像方向とを取得する空間情報取得工程と、前記参照画像の中から前記主画像と照合する照合部分を抽出するとともに、この照合部分の中から主画像の中心点を求める画像照合工程と、前記画像照合工程によって求められた主画像の中心点と、前記空間情報取得工程によって取得された参照用カメラの位置及び撮像方向と、に基づいて撮像用カメラの光軸方向を特定する光軸方向特定工程と、を備えた方法である。

0010

本願発明の光軸方向特定方法は、前記参照用カメラが移動体に固定されるとともに、前記主画像は該移動体上で撮像用カメラによって取得され、前記主画像取得工程と前記参照画像取得工程と前記空間情報取得工程は、前記移動体の移動中に行われ、前記光軸方向特定工程では、前記画像照合工程によって求められた前記主画像の中心点と、該中心点に係る参照画像取得時における参照用カメラの位置及び撮像方向と、に基づいて撮像用カメラの光軸方向が特定される方法とすることもできる。

0011

本願発明の光軸方向特定方法は、レーザ距離計の照射方向と前記撮像用カメラの光軸方向とを平行又は略平行としたうえで該レーザ距離計によって距離計測を行うレーザ測距工程を、備えた方法とすることもできる。

0012

本願発明の光軸方向特定装置は、撮像用カメラによって取得した主画像と、参照用カメラで取得した参照画像と、を照合することで撮像用カメラの光軸方向を特定する装置であって、前記参照用カメラに比して高い解像度を具備する前記撮像用カメラと、前記撮像用カメラに比して広角な撮像が可能である前記参照用カメラと、前記参照用カメラの位置を取得する位置計測手段と、前記参照用カメラの撮像方向を特定可能な姿勢情報を取得する方位計測手段と、前記参照用カメラによって取得された前記参照画像の中から、前記撮像用カメラによって取得された前記主画像と照合する照合部分を抽出するとともに、この照合部分の中から主画像の中心点を求める画像照合手段と、前記画像照合手段によって求められた主画像の中心点と、前記位置計測手段によって取得された参照用カメラの位置と、前記方位計測手段によって取得された姿勢情報と、に基づいて撮像用カメラの光軸方向を特定する光軸方向特定手段と、を備えたものである。

0013

本願発明の光軸方向特定装置は、前記参照用カメラが移動体に固定されるとともに、前記位置計測手段及び前記方位計測手段が該移動体に搭載され、前記撮像用カメラ及び前記参照用カメラは、前記移動体の移動中に撮像可能であり、前記位置計測手段は前記移動体の移動中に前記参照用カメラの位置を取得可能であるとともに、前記方位計測手段は前記移動体の移動中に前記姿勢情報を取得可能であり、前記光軸方向特定手段は、前記画像照合手段によって求められた前記主画像の中心点と、該中心点に係る参照画像取得時における参照用カメラの前記位置及び前記姿勢情報と、に基づいて撮像用カメラの光軸方向を特定するものとすることもできる。

0014

本願発明の光軸方向特定装置は、前レーザ距離計を備え、前記レーザ距離計は、前記撮像用カメラの光軸方向と平行又は略平行に、レーザを照射して、距離計測可能なものとすることもできる。

0015

本願発明の光軸方向特定プログラムは、撮像用カメラによって取得した主画像と、参照用カメラで取得した参照画像と、を照合することで撮像用カメラの光軸方向を特定するプログラムであって、前記参照用カメラに比して高い解像度を具備する前記撮像用カメラで取得された前記主画像を読み込む機能と、前記撮像用カメラに比して広角な撮像が可能である前記参照用カメラで取得された前記参照画像を読み込む機能と、前記参照用カメラの位置情報を読み込む機能と、前記参照用カメラの撮像方向を特定可能な姿勢情報を読み込む機能と、前記参照画像の中から前記主画像と照合する照合部分を抽出するとともに、この照合部分の中から主画像の中心点を求める画像照合機能と、前記画像照合機能によって求められた主画像の中心点と、該中心点に係る参照画像取得時における参照用カメラの前記位置情報及び前記姿勢情報と、に基づいて撮像用カメラの光軸方向を特定する光軸方向特定機能と、を備えたものである。

発明の効果

0016

本願発明の光軸方向特定方法、光軸方向特定装置、及び光軸方向特定プログラムには、次のような効果がある。
(1)撮影位置や撮像方向(光軸方向)が特定できるので、同じような風景写真撮影画像)が撮影されたとしても、既存の地形データを併用することでそれぞれ撮影した場所を容易に特定することができる。
(2)撮像方向(光軸方向)を計測するための計器(電子コンパスや方位センサなど)を必要とせず、経済性に優れ、しかも装置が小型化するため手軽に持ち運びできる。
(3)電子コンパスを用いないので、航空機内など局所的に強く帯磁された磁場が存在しても、これに影響されることなく、精度よく撮像方向(光軸方向)を特定することができる。
(4)静止して撮影した場合に限らず、移動中に撮影した画像の撮像方向(光軸方向)も特定することができるので、極めて汎用的である。
(5)レーザ距離計と併用した場合、併せてレーザの照射方向も把握できるので、高価なIMUを搭載する必要がなく、経済性に優れる。

図面の簡単な説明

0017

本願発明の光軸方向特定装置によって崩壊地を撮像する状況を示した説明図。
本願発明の光軸方向特定装置の構成を示したモデル図。
(a)は参照用カメラで撮像した参照画像のモデル図、(b)は撮像用カメラで撮像した主画像のモデル図。

実施例

0018

本願発明の光軸方向特定方法、光軸方向特定装置、及び光軸方向特定プログラムの実施形態の例を図に基づいて説明する。

0019

(全体概要
図1は、本願発明の光軸方向特定装置1によって崩壊地Aを撮像する状況を示した説明図である。光軸方向特定装置1の構成要素である撮像用カメラ2によって画像を取得すると同時に参照用カメラ3でも画像を取得し、これらの画像を照合した結果と予め取得された参照用カメラ3の位置及び撮像方向に基づいて、撮像用カメラ2の撮像方向(光軸方向)を求めるものである。以下便宜上、撮像用カメラ2によって取得された画像を「主画像」、参照用カメラ3によって取得された画像を「参照画像」という。なお、図1では光軸方向特定装置1の構成要素のうち撮像用カメラ2と参照用カメラ3を図示しており、他の構成要素である位置計測手段、方位計測手段、画像照合手段、光軸方向特定手段はその図示を省略している。

0020

図1では、航空機4に光軸方向特定装置1を搭載し、航空機4の移動中に主画像と参照画像を取得して撮像用カメラ2の光軸方向を特定している。このように、本願発明の光軸方向特定方法は移動しながら実施することもできるし、もちろん静止した状態でも実施することができる。また、図1に示した航空機4に限らず、路上を移動する自動車、軌道上を移動する列車、海上を移動する船舶といった移動体に光軸方向特定装置1を搭載して、本願発明を実施することもできる。

0021

航空機4で移動している最中に撮像用カメラ2で崩壊地Aを撮像すると、後でその取得画像(主画像)はどの場所を撮像したものなのか判断できないことがある。撮像する際に撮像用カメラ2の位置座標と撮像方向(光軸方向)を計測し、この計測結果を記録しておけば、どの場所で撮像したものか後で判断することができるものの、この場合でも多数の画像を取得したときには判断に困ることがある。本願発明によれば、撮像する際に光軸方向を計測せずに撮像用カメラ2の光軸方向の特定が可能で、図1の例では航空機4上で撮像した崩壊地Aの場所を事後的に特定することができる。

0022

本願発明では、撮像用カメラ2によって取得した主画像と、参照用カメラ3によって取得した参照画像とを照合することで撮像用カメラ2の光軸方向が特定するわけであるが、そのためには参照画像を取得した時の参照用カメラ3の位置と撮像方向(撮像姿勢)とを把握しておく必要がある。すなわち、参照用カメラ3の位置を取得するための位置計測手段と、参照用カメラの撮像方向を特定できる情報(姿勢情報)を取得するための方位計測手段とが必要である。

0023

また、参照画像はできるだけ広い範囲を網羅的に写したものであることが望ましいので、参照用カメラ3としては画角の広い(広角に撮像できる)カメラを用いるのがよく、例えば魚眼レンズのカメラや全方位カメラを使用することができる。その反面、参照画像はあくまで照合のための画像であることから、参照用カメラ3には高い解像度(dpi)は要求されず、撮像用カメラ2よりも低い解像度のものを利用することができる。なお、撮像用カメラ2、参照用カメラ3ともに、シャッターによって画像を取得するいわゆるカメラ形式のものに限らず、連続画像ムービー)を取得するビデオ形式ものも使用できる。

0024

なお、通常のカメラでは、撮像する方向と光軸方向はほぼ一致するため、撮像方向と光軸方向は同義の語として用いることができるが、広角撮像の可能なカメラや全方位カメラなどの場合、どの方向をもって撮像する方向とするかは難しい。ここでは、参照用カメラ3の場合は、取得した参照画像中で方向を特定するための基準線(例えば360°の撮影範囲であれば0°方向の線)を「撮像方向」ということとした。つまり、必ずしも撮像方向と光軸方向が一致しない場合がある(もちろん一致する場合もある)。一方、撮像用カメラ2の場合は、撮像する方向と光軸方向は概ね一致するので、「撮像方向」と「光軸方向」をほぼ同義で用いることができるが、参照用カメラ3の「撮像方向」との混同を避けるため「光軸方向」という語を使用することとした。

0025

以下、要素ごとに詳述する。

0026

構成機器
図2は、本願発明の光軸方向特定装置1の構成を示したモデル図である。この図に示すように光軸方向特定装置1は、撮像用カメラ2、参照用カメラ3、位置計測手段5、方位計測手段6、制御手段7を構成要素として備えている。

0027

参照用カメラ3は、プラットフォーム8に固定されている。このプラットフォーム8は、光軸方向特定装置1を構成する機器のうち所定のものを固定できるものであり、図1の例でいえば航空機4である。参照用カメラ3をプラットフォーム8に固定することによって、プラットフォーム8に対する参照用カメラ3の相対的位置と、プラットフォーム8の向きと参照用カメラ3の撮像方向との関係を特定することができるので、プラットフォーム8の位置と姿勢を計測することで間接的に参照用カメラ3の位置と撮像方向を把握することができる。

0028

例えば図1に示すように、プラットフォーム8である航空機4に参照用カメラ3を固定しておけば、航空機の移動に合わせて参照用カメラ3も移動し、航空機の姿勢に変化に応じて参照用カメラ3も姿勢が変化する。つまり、航空機4の位置を計測すれば参照用カメラ3の位置も計測したこととなり、航空機4の姿勢を計測すれば参照用カメラ3の姿勢(すなわち撮像方向)も計測したこととなる。なおここでいう航空機4の姿勢とは、航空機4の進行方向に対する左右方向をX軸、進行方向をY軸、航空機4の上下方向をZ軸としたときに、X軸回り回転角ピッチφ、Y軸回りの回転角ロールω、Z軸回りの回転角ヨーκの3要素から決定されるものである。

0029

プラットフォーム8(航空機4)の位置、特に参照用カメラ3が固定された位置は、位置計測手段5によって取得する。この位置計測手段5として、GPS(Global Positioning System)を利用することができる。GPSは、複数の衛星からの信号を受信することによって位置を特定するシステムであり、自身(位置計測手段5)の位置を特定するとともに、計測した時刻も取得することができる。GPSは、数学座標系世界測地系など通常利用される座標系における座標(あるいは緯度経度標高で表されるもの)を取得することができ、そのうえ比較的短い間隔で計測することも可能で、例えば1秒間に1回(1Hz)といった間隔で計測することができる。GPSには、単独測位法、RTK−OTF、DGPSなどの方法があるが、これらのいずれを採用してもよい。位置計測手段5を単独測位GPSとした場合、図2に示すように位置計測手段5は、アンテナ部5aとレシーバ部5bで構成される。アンテナ部5aとレシーバ部5bは、プラットフォーム8(航空機4)に対して移動しないように、プラットフォーム8(航空機4)に固定されている。なお、参照用カメラ3の位置を特定しやすいように、参照用カメラ3が固定された位置付近にアンテナ部5aを固定することが望ましい。

0030

プラットフォーム8(航空機4)の姿勢情報は、プラットフォーム8に固定された方位計測手段6によって取得する。なお、ここでは便宜上「方位計測手段」という語を用いているが、いわゆるを基準とする「方位」に限らず3方向の回転角を計測し得る手段を意味する(もちろん方位のみを計測する手段も含む)。航空機4のようにプラットフォーム8の姿勢が3次元的(ピッチφ、ロールω、ヨーκ)に変化する場合、方位計測手段6としてはIMU(Inertial Measurement Unit)などの慣性計測装置が好適である。これによって、例えばレンズを下向き、かつ画角の基準となる撮像方向が飛行方向と一致するような向きに、参照用カメラ3を航空機4に固定すれば、IMUで航空機4の姿勢を計測することで参照用カメラ3の撮像方向を容易に特定することができる。

0031

あるいは、自動車のようにプラットフォーム8がある程度水平姿勢にあることを前提できる場合には、方位計測手段6としてGPSを利用することができる。具体的には、プラットフォーム8上にGPSレシーバを2箇所設置し、この2点の座標を計測することで、プラットフォーム8の基線方向(例えば進行方向)を特定することができる。このプラットフォーム8の基線方向を特定できれば、プラットフォーム8に固定した参照用カメラ3の撮像方向も特定できるわけである。また、プラットフォーム8が移動体であれば、プラットフォーム8上に設置するGPSレシーバは1箇所とし、移動中に2点以上計測すればプラットフォーム8の移動方向が特定できて、すなわちこれがプラットフォーム8の基線方向であり、その結果、参照用カメラ3の撮像方向も特定できる。このように方位計測手段6としてGPSが利用できれば、高価なIMUを必要とせず経費の面で好適となる。

0032

参照用カメラ3がプラットフォーム8に固定されているのに対して、撮像用カメラ2はプラットフォーム8に固定する必要がない。これによって任意方向に撮像用カメラ2を向けることができるので、所望の方向で主画像を取得することができる。例えば図1の場合、航空機4内にいる撮影者が撮像用カメラ2を手持ちとすれば、撮像したい方向に自由に撮像用カメラ2を向けることができる。

0033

制御手段7は、画像照合手段と光軸方向特定手段を具備している。具体的には、CPU・RAM・記憶装置からなる処理装置と、本願発明の光軸方向特定プログラムを格納するROMで構成されており、この光軸方向特定プログラムを実行することで画像照合手段と光軸方向特定手段が機能する。

0034

光軸方向特定プログラムは、撮像用カメラ2で取得された主画像を読み込む機能、参照用カメラ3で取得された参照画像を読み込む機能、参照用カメラ3の座標(位置情報)を読み込む機能、参照用カメラの撮像方向(あるいはこれを特定できる姿勢情報)を読み込む機能、画像照合手段を機能させる画像照合機能、光軸方向特定手段を機能させる光軸方向特定機能、を備えている。図2に示すように、参照画像を読み込むために参照用カメラ3と制御手段7は接続されており、主画像を読み込むために撮像用カメラ2と制御手段7は接続されている。なお、主画像と参照画像を照合することで特定される撮像用カメラ2の撮像方向をはじめ、主画像や参照画像、種々の計測結果などを出力するための外部出力装置9(例えばモニタ)を、制御手段7に接続することもできる。

0035

(画像の照合)
図3は、参照画像と主画像の照合方法を説明するためのモデル図であり、(a)は参照用カメラ3で撮像した参照画像のモデル図、(b)は撮像用カメラ2で撮像した主画像のモデル図である。

0036

図3(a)は、参照用カメラ3のレンズ位置がO1にあるときに崩壊地Aを含む地形を取得した状況を示している。レンズを通して取得された地形は、ccdイメージセンサC1(いわゆるフィルム面)において画素単位画像情報(例えばRGB値)として取得される。このとき、参照用カメラ3で撮像したタイミング(あるいは近傍のタイミング)で、位置計測手段6(例えばGPS)により参照用カメラ3の位置が取得され、方位計測手段6(例えばIMU)によりプラットフォーム8の姿勢つまり参照用カメラ3の撮像方向が取得される。参照用カメラ3の位置と撮像方向L1(以下、「参照用カメラ3の空間情報」という。)が特定できれば、参照用カメラ3の緒元(焦点距離や画角など)と合わせて、レンズ中心撮像対象を結ぶ方向(以下、「視線方向」という。)を、画素単位で求めることができる。なお、参照画像と、参照用カメラ3の空間情報との関連付け(いわゆる紐付け)は、撮像時刻計測時刻のように両者共通する情報を持って行うことができる。

0037

図3(b)は、撮像用カメラ2のレンズ位置がO2にあるときに崩壊地Aを含む地形を取得した状況を示している。レンズを通して取得された地形は、ccdイメージセンサC2において画素単位で画像情報(例えばRGB値)として取得される。図3(a)と図3(b)を比較するとわかるように、撮像用カメラ2は、参照用カメラ3よりも画角が小さく、参照用カメラ3よりも解像度(dpi)が高い。これは、主画像と照合するため広い撮像範囲を必要とする参照用カメラ3に対して、撮像用カメラ2はその主画像を直接利用することから高い解像度が要求されるからである。

0038

参照用カメラ3で崩壊地Aを含む地形を撮像したときの画素集合が、図3(a)に示す参照画像G1である。また、撮像用カメラ2で崩壊地Aを含む地形を撮像したときの画素の集合が、図3(b)に示す主画像G2である。この参照画像G1と主画像G2とを照らし合わせ、参照画像G1の中から主画像G2と照合する画素の集合(以下、「照合部分」という。)を抽出する。参照画像G1と主画像G2との照合は、従来から用いられているイメージマッチング画像マッチング)によって行うことができる。

0039

イメージマッチングの具体的手法として、テンプレートマッチングを挙げることができる。主画像G2のうちエッジ情報などから特徴部分(テンプレート)を切り出し、その特徴部分の画像情報を手掛かりとして、参照画像G1の中から最も近似する照合部分を抽出する。このとき、主画像G2と参照画像G1の解像度が極端違う場合、両画像が照合し難いことがあるので、主画像G2のダウンサンプリング(複数の画素を一つにまとめる)を行うとよい。図3(b)では、主画像G2のダウンサンプリングを行った結果、主画像G2’が得られている。なお、参照画像G1と主画像G2のテンプレートマッチングを行う場合、画像情報のレンジ中央値を用いる方法、画像情報のレンジ平均値を用いる方法、画像情報の最頻度値を用いる方法などがあげられ、これらいずれの方法も利用することができる。

0040

テンプレートマッチングのほか、近年注目されているSIFT(Scale−invariant
feature transform)特徴値によるマッチングを採用することもできる。SIFT特徴量とは、スケール(大きさ、移動、回転)に依存しない特徴量のことであり、そのため主画像G2のダウンサンプリングを行う必要がなく、主画像G2で直接照合させることができるので好適である。

0041

(光軸方向特定)
図3に示す参照画像G1の中から主画像G2に相当する「照合部分」を抽出すると、さらにこの照合部分の中から主画像G2の中心点に相当する点を求める。具体的には、主画像G2の画素のうち中心点が存在する画素(以下、「中心画素」という。)を選出し、この中心画素の相当する画素(以下、「中心相当画素」という。)を照合部分の中から抽出する。
なおここでいう「中心点」とは、撮像用カメラ2の光軸が通過する点であり、主画像G2内に設定される点のことである。

0042

照合部分中に中心相当画素が抽出できると、この中心相当画素における視線方向を撮像用カメラ2の光軸方向L2(図3(b))とする。撮像用カメラ2と参照用カメラ3の位置は異なるので、厳密には、中心相当画素における視線方向と撮像用カメラ2の光軸方向L2は相違するが、撮像用カメラ2と撮像対象とが十分離れていれば、前記視線方向を撮像用カメラ2の光軸方向L2としても実用上問題はない。

0043

参照用カメラ3の位置座標を撮像用カメラ2の位置座標とみなし、さらに、既存の地形データ(DEMなど)を利用すれば、撮像用カメラ2の位置座標と光軸方向L2から撮像場所を特定することができる。図1の例でいえば、撮影後に崩壊地Aの位置を特定することができるし、リアルタイムで処理すれば航空機4で移動中に崩壊地Aの位置を特定することもできる。

0044

(レーザ距離計の併用)
撮像用カメラ2の光軸方向を特定できることを利用して、レーザ距離計を併用することができる。すなわち、レーザ距離計の照射方向が、撮像用カメラ2の光軸方向と略平行(平行含む)となるように、レーザ距離計で計測すればその照射方向は容易に特定できるわけである。従って、通常は必要となる、レーザ距離計のための姿勢計測装置(IMUなど)を使用する必要がない。特に、光軸方向特定装置1のプラットフォーム8が自動車のようにある程度水平姿勢にあることを前提できる場合には、前記したように方位計測手段6としてIMUを用いる必要がないので、IMUを設置することなくレーザ距離計測が可能となり、経済的に極めて有利な効果を奏する。

0045

(実施例1)
図1及び図2に基づいて、本願発明の第1の実施例について説明する。
(1)航空機4の所定位置に、参照用カメラ3、GPS(位置計測手段5)のアンテナ部5aとレシーバ部5b、IMU(方位計測手段6)をそれぞれ固定する。このとき、参照用カメラ3とアンテナ部5aはできるだけ近い(平面的に近い)位置に固定する。また、参照用カメラ3の撮像方向と、航空機4の飛行方向との関係を把握しておく。
(2)さらに航空機4内に、外部出力装置9が接続された制御手段7を設置し、撮像用カメラ2を手持ちにした撮像者乗り込む。
(3)航空機4による飛行中に、撮像用カメラ2で崩壊地Aを含む主画像を取得する。同時に、自動的かつ定期的に参照用カメラ3でも崩壊地Aを含む参照画像を取得する。
(4)また飛行中は、自動的かつ定期的にGPSで位置座標が計測されるとともに、IMUでも航空機4の姿勢が計測されている。
(5)崩壊地Aを含む参照画像を取得した時刻(あるいは最も近い時刻)に計測された位置座標と航空機4の姿勢結果に基づいて、参照用カメラ3の位置と撮像方向を特定する。
(6)参照画像の中から主画像と照合する照合部分を抽出し、照合部分の中から中心相当画素とこれに対応する視線方向を抽出し、これをもって撮像用カメラ2の光軸方向とする。
(7)このように特定された撮像用カメラ2の光軸方向や、主画像、参照画像が、航空機4の飛行中、外部出力装置9に出力される。

0046

(実施例2)
次に、本願発明の第2の実施例について説明する。
(1)自動車の所定位置に、参照用カメラ3、GPS(位置計測手段5)のアンテナ部5aとレシーバ部5b、これとは異なる位置に他のGPS(方位計測手段6)をそれぞれ固定する。このとき、参照用カメラ3とアンテナ部5aはできるだけ近い(平面的に近い)位置に固定する。また、上記2点のGPSレシーバは自動車の前進方向に並ぶように設置するとともに、参照用カメラ3の撮像方向と自動車の前進方向との関係を把握しておく。
(2)さらに自動車内に、外部出力装置9が接続された制御手段7を設置し、撮像用カメラ2を手持ちにした撮像者が乗り込む。
(3)自動車を停止させ、撮像用カメラ2で崩壊地Aを含む主画像を取得する。同時に、自動的かつ定期的に参照用カメラ3でも崩壊地Aを含む参照画像を取得する。
(4)また参照用カメラ3での撮像中は、自動的かつ定期的にGPSで位置座標(2点分)が計測される。2点のGPSを計測することによって、自動車の前進方向を特定することができる。
(5)計測された位置座標(2点分)に基づいて、参照用カメラ3の位置と撮像方向を特定する。
(6)参照画像の中から主画像と照合する照合部分を抽出し、照合部分の中から中心相当画素とこれに対応する視線方向を抽出し、これをもって撮像用カメラ2の光軸方向とする。
(7)このように特定された撮像用カメラ2の光軸方向や、主画像、参照画像が、外部出力装置9に出力される。

0047

本願発明の光軸方向特定方法、光軸方向特定装置、及び光軸方向特定プログラムは、移動体上から撮影した画像の撮影場所を特定するときに特に有効であり、斜面での崩壊盛土の崩壊といった現地調査や、土地家屋調査、あるいは航空写真測量レーザ計測などの計測作業、その他様々な分野で応用可能な発明である。

0048

1光軸方向特定装置
2撮像用カメラ
3参照用カメラ
4航空機
5位置計測手段
5a (GPSの)アンテナ部
5b (GPSの)レシーバ部
6方位計測手段
7 制御手段
8プラットフォーム
9外部出力装置
A崩壊地
C1 (参照用カメラの)ccdイメージセンサ
C2 (撮像用カメラの)ccdイメージセンサ
G1参照用画像
G2主画像
G2’(ダウンサンプリングを行った結果の)主画像
L1 (参照用カメラの)撮像方向
L2 (撮像用カメラの)光軸方向
O1 (参照用カメラの)レンズ位置
O2 (撮像用カメラの)レンズ位置

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 鹿島建設株式会社の「 自動測量システム及び自動測量方法」が 公開されました。( 2020/04/09)

    【課題】1人の測量者で効率的に行うことが可能な自動測量システム及び自動測量方法を提供する。【解決手段】基準点表示制御部201は測量機10が設置された測量現場の図面において複数の基準点を表示させる。傾斜... 詳細

  • 株式会社ニコンの「 撮像装置」が 公開されました。( 2020/04/09)

    【課題】筐体の像の映り込みを抑制しつつ、冷却効率の向上を図ること。【解決手段】撮像装置は、吸気口と排気口とを有する筐体と、前記筐体内に配置された第1撮像素子と、前記筐体内に配置された第2撮像素子と、前... 詳細

  • キヤノン株式会社の「 画像処理装置およびその制御方法ならびにプログラム」が 公開されました。( 2020/04/09)

    【課題】予め用意するデータ量や調整する項目を増大させることなく、ガンマカーブによるガンマ処理や階調補正処理をより簡便な方法で実現する技術を提供する。【解決手段】実施形態に係る画像処置装置は、入力画像の... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ