図面 (/)

技術 移動体標定プログラム、該プログラムを記録した記録媒体、移動体標定装置、および移動体標定方法

出願人 富士通株式会社
発明者 清水誠也北浦麻子
出願日 2006年8月28日 (14年5ヶ月経過) 出願番号 2006-230471
公開日 2008年3月6日 (12年11ヶ月経過) 公開番号 2008-051745
状態 特許登録済
技術分野 航行(Navigation) 航行(Navigation) 交通制御システム 交通制御システム
主要キーワード 外形デザイン 周辺水 軌道関数 回転角度β 直交座標値 直交座標空間 逐次近似法 幾何学的位置
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2008年3月6日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

動体へのカメラの設置自由度が高く、かつ移動体標定高精度化を図ること。

解決手段

仮想カメラVCijの位置Vijと移動体原点Cijとの相対位置関係1)〜3)より、移動体原点Cijが存在する位置候補となる移動体原点軌道を特定する。1)移動体原点位置Cij−仮想カメラVCij間の距離dが一定2)移動体座標系(移動体原点Om)からみた仮想カメラVCijの方向が一定(仮想カメラVCijから見たマーカーPjと移動体原点位置Cijとの間の角度が一定)3)仮想カメラVCijがマーカー円Eij上に存在(仮想カメラVCijから見たマーカーPi,Pj間の角度が一定) 移動体原点軌道Tが複数ある場合に各移動体原点軌道Tの交点を求めることで移動体Mの位置を特定できる。

概要

背景

動体の位置を計測する手段としてはGPS(Global Positioning System)が広く用いられている。GPS単独測位は10[m]程度の精度があり、ドライバーへの経路提示といったナビゲーションサービスのための測位技術としては実用的ではあるが、介入制御自動走行などの高度な車両コントロールのための測位としては精度が足りない。

また、GPS干渉測位方式(RTK,VRS−RTK等)を用いると数[cm]の測位精度を実現できるが、機器が非常に高価であること、反射波により精度が悪化すること、トンネルなどで電波遮断された後の復帰に非常に時間がかかることなどから路上で利用するには問題が多い。

一方、移動体に搭載したカメラにより複数のマーカー撮影し、マーカーどうしが成す角度から位置標定をおこなう手法がある。図16は、移動体に搭載したカメラにより撮影されたマーカーどうしが成す角度から位置標定をおこなう手法を示す説明図である。

図16において、複数のマーカーP1,P2,P3,・・・の位置が既知である場合、観測された2つのマーカーPi,Pj(i,j=1,2,3,・・・、ただしi≠j)と移動体Mは、下記式(1.1)であらわされる中心位置Oijと下記式(1.2)であらわされる半径rijとを持つ円(マーカー円Eij)の円周上に存在する。

上記式(1.2)において、θijは、2つのマーカーPi,Pjの成すマーカー間角度である。θijは、移動体原点Omから撮影された撮影画像により算出される。3個以上のマーカーが検知された場合、複数のマーカー円Eijを式(1.1)および式(1.2)により得ることができるため、これらのマーカー円Eij(図16ではE12,E23)の交点位置を求めることで連続的に移動体位置を得ることができる。

上記方式は精度高く移動体位置を求めることができるものの、移動体原点Omを基準とした水平360度を計測範囲とするマーカー方位計測手段が必要になる。そのため、移動体原点Omに光学中心を持つ特殊な全方位カメラを用いることが必要である。

図17は、全方位カメラの光学系および当該光学系により撮像される画像例を示す説明図である。図17において、投影面fは光学中心を通る円直線を中心軸Yとする円柱の側面により構成されている。撮影された画像は、水平軸方位角θと対応して記録される。このためマーカー投影像水平画素位置から容易にマーカー方位角とマーカー間角度(図17ではθ12,θ23)を算出することができる。

このような全方位カメラを実現するために、たとえば、下記特許文献1では、光学中心を軸に360度回転させる機構を持たせており、また、下記特許文献2では、特殊な反射板レンズからなる光学系を用いている。

また、上述のような全方位カメラを用いずに、複数カメラから360度視野パノラマ撮影画像を作成する方式及び商品が各種存在している。図18は、複数のカメラCM1〜CM3を自動車に設置した場合の撮像例を示す説明図である。図18において、各カメラCM1〜CM3はその視界内のマーカーP1,P2,P3,・・・を撮像することができる。これらカメラCM1〜CM3を複数組み合わせることで、周辺視野を生成することができる(たとえば、下記特許文献3を参照。)。

特開平11−83480号公報
特開2000−337887号公報
特開2006−54662号公報

概要

移動体へのカメラの設置自由度が高く、かつ移動体標定高精度化をること。仮想カメラVCijの位置Vijと移動体原点Cijとの相対位置関係1)〜3)より、移動体原点Cijが存在する位置候補となる移動体原点軌道を特定する。1)移動体原点位置Cij−仮想カメラVCij間の距離dが一定2)移動体座標系(移動体原点Om)からみた仮想カメラVCijの方向が一定(仮想カメラVCijから見たマーカーPjと移動体原点位置Cijとの間の角度が一定)3)仮想カメラVCijがマーカー円Eij上に存在(仮想カメラVCijから見たマーカーPi,Pj間の角度が一定) 移動体原点軌道Tが複数ある場合に各移動体原点軌道Tの交点を求めることで移動体Mの位置を特定できる。−1

目的

この発明は、上述した従来技術による問題点を解消するため、移動体へのカメラの設置自由度が高く、かつ、移動体の位置標定の高精度化を図ることができる移動体標定プログラム、該プログラムを記録した記録媒体移動体標定装置、および移動体標定方法を提供することを目的とする。

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

動体に搭載された複数のカメラによって撮影された移動体外各撮影画像を用いて前記移動体の標定コンピュータに実行させる移動体標定プログラムであって、前記移動体外の各撮影画像にそれぞれ含まれている第1〜第3のマーカーの位置および方向を検出させる検出工程と、前記検出工程によって位置および方向が検出された第1および第2のマーカーに基づいて、未知移動体原点位置に関する第1の移動体原点軌道を特定させるとともに、前記検出工程によって位置および方向が検出された第2および第3のマーカーに基づいて、前記未知の移動体原点位置に関する第2の移動体原点軌道を特定させる特定工程と、前記未知の移動体原点位置を、前記特定工程によって特定された第1および第2の移動体原点軌道の交点座標に標定させる標定工程と、を前記コンピュータに実行させる移動体標定プログラム。

請求項2

前記第1および第2のマーカーを望む第1の仮想光学中心と、前記第2および第3のマーカーを望む第2の仮想光学中心とを算出させる仮想光学中心算出工程と、前記仮想光学中心算出工程によって算出された第1の仮想光学中心からみた前記第1および第2のマーカーの間の第1のマーカー間角度と、前記仮想光学中心算出工程によって算出された第2の仮想光学中心からみた前記第2および第3のマーカーの間の第2のマーカー間角度とを算出させるマーカー間角度算出工程と、を前記コンピュータに実行させ、前記特定工程は、前記マーカー間角度算出工程によって算出された第1のマーカー間角度と、前記第1の仮想光学中心と前記未知の移動体原点位置との間の距離と、前記第1の仮想光学中心からの前記第2のマーカーと前記未知の移動体原点位置との間の角度とが一定となるように、前記第1の移動体原点軌道を特定させるとともに、前記マーカー間角度算出工程によって算出された第2のマーカー間角度と、前記第2の仮想光学中心と前記未知の移動体原点位置との間の距離と、前記第2の仮想光学中心からの前記第3のマーカーと前記未知の移動体原点位置との間の角度とが一定となるように、前記第2の移動体原点軌道を特定させることを特徴とする請求項1に記載の移動体標定プログラム。

請求項3

請求項1または2に記載の移動体標定プログラムを記録した前記コンピュータに読み取り可能な記録媒体

請求項4

移動体に搭載された複数のカメラによって撮影された移動体外の各撮影画像を用いて前記移動体の標定をおこなう移動体標定装置であって、前記移動体外の各撮影画像にそれぞれ含まれている第1〜第3のマーカーの位置および方向を検出する検出手段と、前記検出手段によって位置および方向が検出された第1および第2のマーカーに基づいて、未知の移動体原点位置に関する第1の移動体原点軌道を特定するとともに、前記検出手段によって位置および方向が検出された第2および第3のマーカーに基づいて、前記未知の移動体原点位置に関する第2の移動体原点軌道を特定する特定手段と、前記未知の移動体原点位置を、前記特定手段によって特定された第1および第2の移動体原点軌道の交点座標に標定する標定手段と、を備えることを特徴とする移動体標定装置。

請求項5

移動体に搭載された複数のカメラによって撮影された移動体外の各撮影画像を用いて前記移動体の標定をおこなう移動体標定方法であって、前記移動体外の各撮影画像にそれぞれ含まれている第1〜第3のマーカーの位置および方向を検出する検出工程と、前記検出工程によって位置および方向が検出された第1および第2のマーカーに基づいて、未知の移動体原点位置に関する第1の移動体原点軌道を特定するとともに、前記検出工程によって位置および方向が検出された第2および第3のマーカーに基づいて、前記未知の移動体原点位置に関する第2の移動体原点軌道を特定する特定工程と、前記未知の移動体原点位置を、前記特定工程によって特定された第1および第2の移動体原点軌道の交点座標に標定する標定工程と、を含んだことを特徴とする移動体標定方法。

技術分野

0001

この発明は、移動体に搭載された複数のカメラによって撮影された移動体外各撮影画像を用いて前記移動体の標定をおこなう移動体標定プログラム、該プログラムを記録した記録媒体移動体標定装置、および移動体標定方法に関する。

背景技術

0002

移動体の位置を計測する手段としてはGPS(Global Positioning System)が広く用いられている。GPS単独測位は10[m]程度の精度があり、ドライバーへの経路提示といったナビゲーションサービスのための測位技術としては実用的ではあるが、介入制御自動走行などの高度な車両コントロールのための測位としては精度が足りない。

0003

また、GPS干渉測位方式(RTK,VRS−RTK等)を用いると数[cm]の測位精度を実現できるが、機器が非常に高価であること、反射波により精度が悪化すること、トンネルなどで電波遮断された後の復帰に非常に時間がかかることなどから路上で利用するには問題が多い。

0004

一方、移動体に搭載したカメラにより複数のマーカーを撮影し、マーカーどうしが成す角度から位置標定をおこなう手法がある。図16は、移動体に搭載したカメラにより撮影されたマーカーどうしが成す角度から位置標定をおこなう手法を示す説明図である。

0005

図16において、複数のマーカーP1,P2,P3,・・・の位置が既知である場合、観測された2つのマーカーPi,Pj(i,j=1,2,3,・・・、ただしi≠j)と移動体Mは、下記式(1.1)であらわされる中心位置Oijと下記式(1.2)であらわされる半径rijとを持つ円(マーカー円Eij)の円周上に存在する。

0006

0007

上記式(1.2)において、θijは、2つのマーカーPi,Pjの成すマーカー間角度である。θijは、移動体原点Omから撮影された撮影画像により算出される。3個以上のマーカーが検知された場合、複数のマーカー円Eijを式(1.1)および式(1.2)により得ることができるため、これらのマーカー円Eij(図16ではE12,E23)の交点位置を求めることで連続的に移動体位置を得ることができる。

0008

上記方式は精度高く移動体位置を求めることができるものの、移動体原点Omを基準とした水平360度を計測範囲とするマーカー方位計測手段が必要になる。そのため、移動体原点Omに光学中心を持つ特殊な全方位カメラを用いることが必要である。

0009

図17は、全方位カメラの光学系および当該光学系により撮像される画像例を示す説明図である。図17において、投影面fは光学中心を通る円直線を中心軸Yとする円柱の側面により構成されている。撮影された画像は、水平軸方位角θと対応して記録される。このためマーカー投影像水平画素位置から容易にマーカー方位角とマーカー間角度(図17ではθ12,θ23)を算出することができる。

0010

このような全方位カメラを実現するために、たとえば、下記特許文献1では、光学中心を軸に360度回転させる機構を持たせており、また、下記特許文献2では、特殊な反射板レンズからなる光学系を用いている。

0011

また、上述のような全方位カメラを用いずに、複数カメラから360度視野パノラマ撮影画像を作成する方式及び商品が各種存在している。図18は、複数のカメラCM1〜CM3を自動車に設置した場合の撮像例を示す説明図である。図18において、各カメラCM1〜CM3はその視界内のマーカーP1,P2,P3,・・・を撮像することができる。これらカメラCM1〜CM3を複数組み合わせることで、周辺視野を生成することができる(たとえば、下記特許文献3を参照。)。

0012

特開平11−83480号公報
特開2000−337887号公報
特開2006−54662号公報

発明が解決しようとする課題

0013

しかしながら、上述した全方位カメラを用いた従来技術では、いずれも機構的に複雑であり高価かつ大型になる。また、移動体に設置する場合には全方位カメラを360度の視界が開けている場所に設置する必要があるが、自動車などの移動体では、一般的にはその頭頂部しか設置することができず、設置自由度はきわめて低い。特に、自動車についてはその外形デザイン上が重視されるため、極めて重大な制約課すことになるという問題があった。

0014

また、複数のカメラを用いた従来技術では、各カメラCM1〜CM3の光学中心のズレを積極的に解決していない。たとえば、図18に示した例において、カメラCM1〜CM3で撮像されたマーカーP1,P2,P3は、カメラCM1〜CM3の独自の座標系によりマーカーP1,P2,P3の方向を計測することが可能(図18中、○で表示)であるが、移動体原点Omを光学中心とした場合のマーカーP1,P2,P3の方向を計測することは、カメラCM1〜CM3の光学中心のズレにより不可能ないしは可能であったとしても精度が悪いという問題があった(図18中、×で表示)。

0015

この発明は、上述した従来技術による問題点を解消するため、移動体へのカメラの設置自由度が高く、かつ、移動体の位置標定の高精度化を図ることができる移動体標定プログラム、該プログラムを記録した記録媒体、移動体標定装置、および移動体標定方法を提供することを目的とする。

課題を解決するための手段

0016

上述した課題を解決し、目的を達成するため、この発明にかかる移動体標定プログラム、該プログラムを記録した記録媒体、移動体標定装置、および移動体標定方法は、移動体に搭載された複数のカメラによって撮影された移動体外の各撮影画像を用いて前記移動体の標定をおこなう移動体標定プログラム、該プログラムを記録した記録媒体、移動体標定装置、および移動体標定方法であって、前記移動体外の各撮影画像にそれぞれ含まれている第1〜第3のマーカーの位置および方向を検出し、位置および方向が検出された第1および第2のマーカーに基づいて、未知移動体原点位置に関する第1の移動体原点軌道を特定するとともに、位置および方向が検出された第2および第3のマーカーに基づいて、前記未知の移動体原点位置に関する第2の移動体原点軌道を特定し、前記未知の移動体原点位置を、特定された第1および第2の移動体原点軌道の交点座標に標定することを特徴とする。

0017

また、上記発明において、前記第1および第2のマーカーを望む第1の仮想光学中心と、前記第2および第3のマーカーを望む第2の仮想光学中心とを算出し、算出された第1の仮想光学中心からみた前記第1および第2のマーカーの間の第1のマーカー間角度と、算出された第2の仮想光学中心からみた前記第2および第3のマーカーの間の第2のマーカー間角度とを算出し、算出された第1のマーカー間角度と、前記第1の仮想光学中心と前記未知の移動体原点位置との間の距離と、前記第1の仮想光学中心からの前記第2のマーカーと前記未知の移動体原点位置との間の角度とが一定となるように、前記第1の移動体原点軌道を特定するとともに、算出された第2のマーカー間角度と、前記第2の仮想光学中心と前記未知の移動体原点位置との間の距離と、前記第2の仮想光学中心からの前記第3のマーカーと前記未知の移動体原点位置との間の角度とが一定となるように、前記第2の移動体原点軌道を特定することとしてもよい。

0018

また、上記発明において、前記第1の移動体原点軌道を表現する関数が、第1の変数を用いて定義され、かつ、前記第2の移動体原点軌道を表現する関数が、第2の変数を用いて定義されている場合、前記第1の移動体原点軌道を表現する関数の値と第2の移動体原点軌道を表現する関数の値との差分を数値解析で評価する評価関数が最小となるように、前記第1および第2の変数の値を決定し、決定された前記第1の変数の値を前記第1の移動体原点軌道関数に与え、かつ、決定された前記第2の変数の値を前記第2の移動体原点軌道関数に与えることにより、前記未知の移動体原点位置を、前記第1および第2の移動体原点軌道の交点座標に標定することとしてもよい。

0019

また、上記発明において、前記第1および第2のマーカーと前記第1の仮想光学中心とが同一円周上に位置する第1のマーカー円を表現する関数が前記第1の変数を用いて定義され、前記第2および第3のマーカーと前記第2の仮想光学中心とが同一円周上に位置する第2のマーカー円を表現する関数が前記第2の変数を用いて定義されている場合、前記第1の変数の値を前記第1のマーカー円を表現する関数に与え、かつ、前記第2の変数の値を前記第2のマーカー円を表現する関数に与えることにより、前記移動体の方位角を標定することとしてもよい。

0020

また、上記発明において、前記第1〜第3のマーカーの位置および方向が、前記移動体に搭載されているGPSおよび電子コンパスによって取得された前記移動体の位置および方位を用いて検出された場合、標定された移動体原点位置および前記移動体の方位角を用いて、移動体標定をおこなうこととしてもよい。

0021

この発明によれば、移動体標定(位置や方位角の標定)を移動体に搭載された複数のカメラを用いて実現することができる。また、すでに複数のカメラが搭載済みの移動体については、本発明を取り入れるだけで、移動体標定をおこなうことができる。また、複数のカメラが未搭載の移動体についても、全方位カメラのような設置位置の制約を受けずに複数のカメラを設置することができ、移動体標定を移動体のデザインを損なうことなく高精度に実現することができる。また、GPSや電子コンパスなどの低精度の移動体標定データを用いて本発明を繰り返し実行することで、移動体標定を高精度に算出することができる。

発明の効果

0022

本発明にかかる移動体標定プログラム、該プログラムを記録した記録媒体、移動体標定装置、および移動体標定方法によれば、移動体へのカメラの設置自由度が高く、かつ、移動体標定の高精度化を図ることができるという効果を奏する。

発明を実施するための最良の形態

0023

以下に添付図面を参照して、この発明にかかる移動体標定プログラム、該プログラムを記録した記録媒体、移動体標定装置、および移動体標定方法の好適な実施の形態を詳細に説明する。本実施の形態では全方位カメラでマーカーを検知するかわりに、複数の一般的なカメラを組み合わせることでマーカーを検知する。自動車に関しては既に自動車周辺の視界確保用に前方、後側方後方複数台のカメラを装備しているものもあるため、これらを利用してもよい。

0024

(移動体標定の原理
まず、この発明の実施の形態にかかる移動体標定の原理について説明する。図1は、この発明の実施の形態にかかる移動体標定の原理を示す説明図である。この移動体標定では、移動体Mに搭載された異なるカメラCMi,CMj(i,j=1,2,3,・・・、ただしi≠j)で撮影される2つのマーカーPi,Pjを同時に撮影できる位置に仮想的にカメラ(の光学中心)があるものと考える。このカメラを「仮想カメラVCij」と称す。仮想カメラVCijの設置位置をVijと表記する。

0025

また、以降、仮想カメラVCijと対比するため、移動体Mに搭載されたカメラCMiを「実カメラCMi」と称する場合もある。なお、「マーカー」とは、カメラCMiの撮像目標であり、たとえば、信号機道路標識電柱などの設置物、またはこれらに取り付けられ周囲から識別可能目印があげられる。

0026

また以下の説明および式では、カメラCMi,CMjで撮影される一対のマーカーPi,Pjを用いて説明するが、カメラCMj,CMkで撮影される一対のマーカーPj,Pkについては、「i」を「j」に置き換えるとともに、「j」を「k」に置き換えることとし、その説明を省略する。

0027

図1において、仮想カメラVCijは、移動体Mに搭載された異なるカメラCMi,CMjで撮影される2つのマーカーPi,Pjを同時に撮影できる位置に仮想設置されている。すなわち、仮想カメラVCijは、カメラCMiとマーカーPiとを通過する線分と、カメラCMjとマーカーPjとを通過する線分との交点に仮想設置されている。

0028

また、仮想カメラVCjkは、移動体Mに搭載された異なるカメラCMj,CMkで撮影される2つのマーカーPj,Pkを同時に撮影できる位置に仮想設置されている。すなわち、仮想カメラVCjkは、カメラCMjとマーカーPjとを通過する線分と、カメラCMkとマーカーPkとを通過する線分との交点に仮想設置されている。

0029

このように、仮想カメラVCijはマーカー間角度θijが計算できる位置に設定され、移動体原点Omを光学中心とした移動体座標系上の仮想カメラVCijの位置Vijは、カメラCMi,CMjとマーカーPi,Pjの方向から算出することができる。同様に、仮想カメラVCjkはマーカー間角度θjkが計算できる位置に設定され、移動体原点Omを光学中心とした移動体座標系上の仮想カメラVCjkの位置Vjkは、カメラCMj,CMkとマーカーPj,Pkの方向から算出することができる。

0030

また、上述した[背景技術]では、マーカーPi,Pjと移動体原点Omを通る円をマーカー円Eijと称したが、本実施の形態では、マーカーPi,Pjと仮想カメラVCijの設置位置Vijとを通る中心位置Oij、半径rijの円を、マーカー円Eijと称す。マーカー円Eijは、仮想カメラVCijから見たマーカー間角度θijを上述した式(1.1),(1.2)に代入することで、中心位置Oijと半径rijとを持つ円(図1では、EijとEjk)を特定することができる。

0031

つぎに、仮想カメラVCijの設置位置Vijと移動体原点位置Cijとの相対位置関係より、移動体原点位置Cijが存在する位置候補となる移動体原点軌道を特定する。図2−1は、この発明の実施の形態にかかる移動体原点軌道を示す説明図である。移動体原点軌道Tは、以下の1)〜3)の条件を満たす位置座標集合である。

0032

1)移動体原点位置Cij−仮想カメラVCij間の距離dが一定
2)移動体座標系(移動体原点Om)からみた仮想カメラVCijの方向が一定(仮想カメラVCijから見たマーカーPjと移動体原点位置Cijとの間の角度が一定)
3)仮想カメラVCijがマーカー円Eij上に存在(仮想カメラVCijから見たマーカーPi,Pj間の角度が一定)

0033

図2−2は、上記1)〜3)の条件を満たす移動体原点軌道Tを示す説明図である。移動体原点軌道Tが複数ある場合(たとえば、3点以上のマーカーP1,P2,P3,・・・が観測された場合)に各移動体原点軌道Tの交点を求めることで移動体Mの位置を特定できる。各移動体原点軌道Tの交点は逐次近似法などの数値解法で求めることができる。

0034

(移動体標定手法)
つぎに、上述した移動体標定の原理を用いた移動体標定の手法について説明する。図3は、この発明の実施の形態にかかる各種座標系を示す説明図である。図3において、移動体座標系301は、移動体Mの進行方向を示すYm軸と、Ym軸と直交するXm軸とで水平面をあらわす座標系である。

0035

カメラ座標系302は、カメラ原点Ocを各カメラCMiの光学中心とし、カメラCMiの光軸方向を示すYci軸と、Yci軸と直交するXci軸とで水平面をあらわす座標系である。カメラ座標系302は、カメラCMiの個数分存在する。また、世界座標系303は、所定の基準点を原点Owとし、南北方向を示すYw軸と、東西方向を示すXw軸とで水平面をあらわす座標系である。各座標系の鉛直方向を示すZ軸(不図示)は図3紙面を突き刺す方向である。各座標系301〜303間の縮尺変化はなくZ軸まわりの回転と並行移動座標系変換が可能とする。なお、図3中、Tcm,Tmwは座標移動距離である。

0036

図4は、任意のカメラCMiによって1つのマーカーPiが撮影された場合のマーカー方位推定を示す説明図である。マーカーPiはカメラCMiが撮影した画像座標系400(Xp−Yp)中で(xp,yp)の位置に撮像されたとすると、カメラ座標系302上では光軸方向(Yc軸)から角度α回転した方向にマーカーPiが存在する。このときαは下記式(2)であらわされる。

0037

0038

ここで、ここでΘHはカメラCMiの水平画角でありWpは画像の幅を示している。カメラ座標系302から移動体座標系301への変換が(tx,ty)の水平移動と角度βの回転移動であるとき、移動体座標系301におけるカメラCMiのカメラ原点(光学中心)OciとマーカーPiを通る直線(マーカーライン)Liは下記式(3)であらわされる。

0039

0040

同様に他のカメラとマーカーについてもそのカメラ原点(光学中心)とマーカーを通る直線(マーカーライン)が上記式(3)により算出されることとなる。

0041

図5は、マーカー間角度推定を示す説明図である。図5では、複数のカメラ(CMi,CMj)から得られたマーカーラインLi,Ljを用いてマーカー間角度θijを推定する。具体的には、各マーカーラインLi,Ljどうしの交点を求め、その交点を基準としたマーカーPi,Pjの成す角度(マーカー間角度θij)を算出する。任意の2マーカーPi,Pjを同一のカメラCMiで撮影した場合はマーカーラインLi,Ljの交点はそのカメラCMiのカメラ原点(光学中心)Ociと一致する。

0042

一方、異なるカメラCMi,CMjで撮影されている場合は、点Qijが交点となる。この交点Qijを「仮想光学中心Qij」と称す。仮想光学中心Qijは、下記式(4.1)〜式(4.5)であらわされる。

0043

0044

また、仮想光学中心Qijから見た2つのマーカーPi,Pjのマーカー間角度θij*は、下記式(5)であらわされる。

0045

0046

また、仮想光学中心Qijから見た一方のマーカーPiと移動体原点Omと間の角度φimは、下記式(6.1)〜式(6.3)であらわされ、仮想光学中心Qijから見た他方のマーカーPjと移動体原点Omと間の角度φjmは、下記式(6.2),式(6.4),式(6.5)であらわされる。

0047

0048

なお、図5中、カメラ原点OcjはカメラCMjのカメラ原点(光学中心)であり、Yci軸は、カメラCMjの光軸方向を示すカメラ座標系の座標軸であり、Xcj軸は、Ycj軸と直交することで水平面をあらわすカメラCMjのカメラ座標系の座標軸である。

0049

図6は、マーカー間角度θij*からの移動体原点Omの世界座標系303における推定を示す説明図である。以降、各記号において、「*」が付されている記号は、世界座標系303における値(座標位置または角度)を示している。たとえば、マーカーPi*は、マーカーPiの世界座標系303における座標位置を示している。図6において、マーカー間角度θij*から推定される仮想光学中心Qijの世界座標系303における位置は、中心位置Oij*,半径rij*の円周上の点Qij*である。中心位置Oij*,半径rij*は、下記式(7.1),式(7.2)であらわされる。

0050

0051

ただし、Pi*=(pix*,piy*),Pj*=(pjx*,pjy*)は世界座標系3
03におけるマーカー位置座標である。

0052

移動体原点Omと仮想光学中心Qij*間の距離|Qij|と、移動体原点OmとマーカーPiとの成す角度φimは、移動体座標系301でも世界座標系303でも共通であるため、移動体Mの位置Cij*は下記式(8)を満たす。

0053

0054

ここで、移動体Mの位置Cij*は、上記式(7.1)〜(7.2)で示される円周上の1点であるとしかわかっておらず、式(8)だけでは移動体Mの位置は特定できない。仮に仮想光学中心Qij*を変数μijを用いて極座標系であらわすと下記式(9)のようになる。

0055

0056

移動体Mの位置Cij*は変数μijの関数として下記式(10)であらわされる。

0057

0058

式(10)では、任意の一対のマーカーPi,Pjに対して計算することができる。たとえば同様に一対のマーカーPj,Pkに対しても式(10)を計算すると、その位置Cjk*はCij*と同じ位置を指し示しているから、下記式(11)のF(μij,μjk)の値を0とする変数μijおよびμjkを求め、この変数μijおよびμjkを式(10)に代入することで世界座標系303における移動体位置Cij*を特定することができる。

0059

0060

また、移動体Mの姿勢を移動体座標系301のYm軸方向の指し示す方位角ω(μij)は、下記式(12.1),式(12.2)で特定することができる。

0061

0062

なお、変数μijおよびμjkを求めるには解析的におこなってもよいし数値解法を用いてもよい。数値解法を用いる場合、結果は初期値に依存するが、移動体位置の初期値として連続的な計測の場合は前回の位置を用いたり、他の移動体標定手段から取得した値を用いることで良好な初期値を得ることができる。後者の場合、他の移動体標定手段の精度は低くても良く、たとえば、従来のGPSや電子コンパスによる移動体標定などを利用できる。

0063

ここで、上述したGPSの計測値からの変数μijの初期値の算出手法について説明する。図7は、GPSの計測値からの変数μijの初期値の算出手法を示す説明図である。図7において、GPSにより計測された緯度経度を世界座標系303(直交座標系)に変換した位置をGij*=(gijx,gijy)とし、仮想光学中心座標をRij*とする。

0064

このときRij*の座標値は未知であるが、その座標値は上記式(7.1),(7.2)で求められた中心位置Oij*,半径rij*であらわされる円Eijの円周上にあることがわかっている。一方、マーカーPi*と仮想光学中心座標をRij*と緯度経度座標Gij*とが成す角度が角度φim(上記式(6.1)〜式(6.3)を参照)に近似できるとすると、仮想光学中心座標Rij*は、下記式(13.1),式(13.2)であらわされる円Eの円周上に存在する。

0065

0066

したがって、上記円Eと円Eijとの交点を求めることで仮想光学中心座標Rij*が求まる。また、仮想光学中心座標Rij*は下記式(14)であらわされる。

0067

0068

上記式(14)において、変数λijを最もよく満たす値を変数μijの初期値として決定することができる。

0069

つぎに、変数μijおよびμjkの数値解法について具体的に説明する。図8は、式(11)で示した評価関数F(μij,μjk)の解空間となる曲面を示す説明図である。変数μijおよびμjkはともに[0,2π]の定義域を持ち、F(μij,μjk)は各変数μij,μjkに対して0以上の一意の値を持つ。この曲面S中でF(μij,μjk)=0となる(μij,μjk)の値を求めることで、移動体座標原点Omを特定できることになる。

0070

F(μij,μjk)=0となる(μij,μjk)の値は、数値解法によって求めることができる。任意の位置(λij,λij)を(μij,μjk)の初期値とすると、F(μij,μjk)の解空間中で値が減少する方向に(λij,λij)を移動させていき、Fが0(もしくは最小)となる位置が、求めたい(μij,μjk)の値となるはずである。

0071

ただし、F(μij,μjk)の曲面は単調減少とは限らず、よって必ずしも正しい解に集束するとは限らないため、初期値の選び方が重要となる。そこで初期値としては、前回の移動体標定時の(μij,μjk)の値を用いるか、上述したGPSによる粗い位置計測結果から求めた変数μijの初期値を用いることで誤った解への収束がおこらないようにする。

0072

(移動体標定装置のハードウェア構成
まず、この発明の実施の形態にかかる移動体標定装置のハードウェア構成について説明する。図9は、この発明の実施の形態にかかる移動体標定装置のハードウェア構成を示すブロック図である。

0073

図9において、移動体標定装置は、CPU901と、ROM902と、RAM903と、HDDハードディスクドライブ)904と、HD(ハードディスク)905と、光ディスクドライブ906と、着脱可能な記録媒体の一例としての光ディスク907と、ディスプレイ908と、I/F(インターフェース)909と、入力キー910と、マイク911と、スピーカ912と、GPS913と、電子コンパス914と、カメラ群CMとを備えている。また、各構成部はバス900によってそれぞれ接続されている。

0074

ここで、CPU901は、移動体標定装置の全体の制御を司る。ROM902は、ブートプログラムなどのプログラムを記憶している。RAM903は、CPU901のワークエリアとして使用される。HDD904は、CPU901の制御にしたがってHD905に対するデータのリードライトを制御する。HD905は、HDD904の制御で書き込まれたデータを記憶する。

0075

光ディスクドライブ906は、CPU901の制御にしたがって光ディスク907に対するデータのリード/ライトを制御する。光ディスク907は、光ディスクドライブ906の制御で書き込まれたデータを記憶したり、光ディスク907に記憶されたデータを移動体標定装置に読み取らせたりする。

0076

また、ディスプレイ908は、カーソルアイコンあるいはツールボックスをはじめ、文書、画像、機能情報などのデータを表示する。このディスプレイ908は、たとえば、CRT、TFT液晶ディスプレイプラズマディスプレイなどを採用することができる。

0077

I/F909は、通信回線を通じてインターネットなどのネットワークに接続され、このネットワークを介して他の装置に接続される。そして、I/F909は、ネットワークと内部のインターフェースを司り、外部装置からのデータの入出力を制御する。I/F909には、たとえばモデムLANアダプタなどを採用することができる。

0078

入力キー910は、文字数字、各種指示などの入力のためのボタンであり、データの入力をおこなう。また、タッチパネル式入力パッドであってもよい。マイク911は外部からの音声集音ディジタル信号に変換する。スピーカ912はディジタル信号から変換された音声信号に基づいて音声出力する。

0079

GPS913は、GPS衛星からの電波を受信するためのアンテナ、受信した電波を復調するチューナーおよび復調した情報に基づいて現在位置を算出する演算回路等によって構成され、GPS衛星からの電波を受信し、GPS衛星との幾何学的位置を求めることで、移動体Mの現在地点を取得することができる。電子コンパス914は、移動体Mの方角を算出するICであり地磁気センサを内蔵している。地磁気センサにより地球が生じている地磁気を検出して、移動体Mの方角を算出する。カメラ群CMは、移動体Mに透視された複数のカメラCM1〜CMnの集合である。

0080

(マーカーDBの記憶内容
つぎに、この発明の実施の形態にかかるマーカーデータベース(DB)の記憶内容について説明する。図10は、マーカーDBの記憶内容を示す説明図である。図10において、マーカーDB1000は、マーカーPiごとにマーカーID、マーカー種別、マーカー緯度、マーカー経度経度方向距離、緯度方向距離とを含むマーカーデータを記憶している。

0081

マーカー種別とは、マーカーPiの種別を特定する情報であり、たとえば、「0」が基準点、「1」が信号機、「2」が道路標識、「3」が電柱などのように定義されている。また、マーカー緯度とはマーカーPiの緯度、マーカー経度とはマーカーPiの経度をあらわしている。

0082

また、経度方向距離とは、マーカーPiの基準点からの経度方向距離をあらわしており、緯度方向距離とは、マーカーPiの基準点からの緯度方向距離をあらわしている。このマーカーDB1000は、具体的には、たとえば、図9に示したROM902、RAM903、HD905、光ディスク907などの記録媒体によってその機能を実現する。

0083

(移動体標定装置の機能的構成
つぎに、この発明の実施の形態にかかる移動体標定装置の機能的構成について説明する。図11は、この発明の実施の形態にかかる移動体標定装置の機能的構成を示すブロック図である。図11において、移動体標定装置1100は、マーカーDB1000と、カメラ群CM(・・・,CMi,CMj,CMk,・・・)と、画像処理部1101(・・・,1101i,1101j,1101k,・・・)と、検出部1102と、特定部1103と、標定部1104と、から構成されている。

0084

各カメラCMi,CMj,CMkは、移動体Mに対して周辺水平方向の道路環境を撮影するように設置されている。各カメラCMi,CMj,CMkは、カメラ座標系302におけるカメラCMi,CMj,CMkの設置位置座標(tix,tiy),(tjx,tjy),(tkx,tky)や、移動体座標系301との座標軸のずれをあらわす回転角度βi,βj
,βkも定まっている。各カメラCMi,CMj,CMkの設置位置座標(tix,tiy),(tjx,tjy),(tkx,tky)および回転角度βi,βj,βkは、後述する検出部
1102に読み込まれる。

0085

また、画像処理部1101は、カメラ群CMで撮影された移動体M外の撮影画像の中からマーカーPi,Pj,Pkの画像を抽出する。撮影画像中のマーカーPi,Pj,Pk
画像抽出および認識は各種従来技術が存在するのでそれらを利用することで求められる。一般的には、マーカーPi,Pj,Pkが信号機である場合、信号機の発光するレンズ
の色(青、黄、赤)と形状(円形)をもとに画像中で特定することで抽出することができる。なお、画像処理部1101は、カメラと1対1で構成されているがカメラ群CMを単一の画像処理部1101で処理する構成としてもよい。

0086

また、検出部1102は、移動体M外の各撮影画像にそれぞれ含まれているマーカーPi,Pj,Pkの位置および方向を検出する。具体的には、画像処理部1101で画像抽
出されたマーカーPi,Pj,Pkの水平画角αi,αj,αkを上記式(2)により算
出する。そして、マーカーDB1000に格納されているマーカーPi,Pj,Pkの世
界座標系303における位置情報(たとえば、緯度経度、または基準点を設けた上での直交座標値)を参照し、観測されたマーカーPi,Pj,Pkに該当するマーカーデータを
マーカーDB1000の中から抽出する。

0087

移動体Mの位置および姿勢(方向)が未知の状態ではマーカーPi,Pj,Pkの特定
は困難なため、移動体Mの位置としてGPS913の出力結果を、また移動体Mの姿勢として電子コンパス914の計測値を用いて、抽出されたマーカーPi,Pj,Pkの緯度
経度やマーカー種別を推測し、最も近似するマーカーデータをマーカーDB1000から抽出することで、画像処理されたマーカーの世界座標系303での位置を特定する。

0088

また、連続的に位置計測をおこなっている場合は前回、移動体標定装置1100により計測された自車位置を使用してもよい。仮の自車位置と姿勢を利用する場合、その位置および姿勢に移動体Mを配置したときに各カメラCMi,CMj,CMkの水平画角αi,
αj,αkの方向にあるマーカーを抽出し、抽出されたマーカーPi,Pj,Pkのうち
最も角度誤差が小さく距離が近いマーカーPi,Pj,Pkを、対応するマーカー(世界
座標系303における座標値Pi*,Pj*,Pk*)として抽出する。

0089

抽出されたマーカーPi*,Pj*,Pk*のマーカーデータDi={αi,βi,(
tix,tiy),Pi*},Dj={αj,βj,(tjx,tjy),Pj*},Dk={α
k,βk,(tkx,tky),Pk*}は特定部1103に出力される。

0090

また、特定部1103は、検出部1102により検出されたマーカーPi*,Pj*(
マーカーデータDi,マーカーデータDj)に基づいて、未知の移動体原点位置に関する
移動体原点軌道Cij*を特定させる。また、マーカーPj*,Pk*(マーカーデータDj,マーカーデータDk)に基づいて、未知の移動体原点位置に関する移動体原点軌道Cjk*を特定する。ここで、特定部1103の詳細な機能的構成については後述する(図12を参照。)。

0091

また、標定部1104は、未知の移動体原点位置を、上記式(10)および上記式(11)を用いて、特定部1103によって特定された移動体原点軌道Cij*,Cjk*の交点座標に標定する。また、標定部1104は、上記式(12.1)および上記式(12.2)を用いて、移動体Mの方位角ω(μij)を標定する。すなわち、移動体原点軌道Cij*,Cjk*の交点座標や移動体Mの方位角ω(μij)を出力データ1110として出力する。

0092

つぎに、上述した特定部1103の詳細な機能的構成について説明する。図12は、特定部1103の詳細な機能的構成を示すブロック図である。特定部1103は、仮想光学中心算出部1131(・・・,1131ij,1131jk,・・・)と、マーカー間角度算出部1132(・・・,1132ij,1132jk,・・・)と、マーカー円算出部1133(・・・,1133ij,1133jk,・・・)と、関数決定部1134(・・・,1134ij,1134jk,・・・)と、を備えている。

0093

以下、代表として、2つのマーカーデータDi,Djを取り込んだ場合について説明する。2つのマーカーデータDi,Djを取り込んだ場合については、機能部の末尾の符号「ij」を「jk」に置き換えるだけであるので、その説明を省略する。

0094

まず、仮想光学中心算出部1131ijは、2つのマーカーデータDi,Djを取り込んで、上記式(4.1)〜(4.5)を用いて仮想光学中心Qijを算出する。マーカー間角度算出部1132ijは、仮想光学中心算出部1131ijによって算出された仮想光学中心Qijから見た2つのマーカーPi,Pjのマーカー間角度θij*を、上記式(5)を用いて算出する。

0095

また、マーカー円算出部1133ijは、マーカー間角度算出部1132ijによって算出されたマーカー間角度θij*から推定される仮想光学中心Qijの世界座標系303における位置を特定するマーカー円Eijの中心位置Oij*,半径rij*を、上記式(7.1),式(7.2)を用いて算出する。

0096

また、関数決定部1134ijは、上記式(8)および式(9)を用いて、世界座標系303における移動体Mの原点軌道関数Cij*(μij)(上記式(10)を参照。)を決定する。このように、関数決定部1134では、マーカー対(Pi,Pj),(Pj,Pk)ごとに、原点軌道関数Cij*(μij),Cjk*(μjk)を決定する。

0097

この場合、標定部1104では、一のマーカー対(Pi,Pj)から算出された原点軌道関数Cjk*(μjk)と、他のマーカー対(Pj,Pk)から算出された原点軌道関数Cjk*(μjk)とを用いて、上記式(11)で示した評価関数F(μij,μjk)を0もしくは最小化する(μij,μjk)を算出する。そして、算出された(μij,μjk)を上記式(9)および式(10)に代入することで移動体原点位置を得ることができ、また、上記式(12.1),式(12.2)に代入することで移動体Mの姿勢である方位角を得ることができる。

0098

また、評価関数F(μij,μjk)を最小化する(μij,μjk)を算出するために、最急降下法などの探索的な数値解法を用いてもよい。この場合、探索初期値となる値をどうとるかによって最適解が得られるか、また繰り返し探索回数が大きく異なる。そのため探索初期値としてGPS913および電子コンパス914から取得した位置および方位角から導出される値を用いてもよい。また、位置計測を連続的に実行している場合には、前回計測済みの位置から求めた位置および方位角から導出される値や、前回の(μij,μjk)の値そのものを用いて探索開始してもよい。

0099

(移動体標定処理手順
つぎに、この発明の実施の形態にかかる移動体標定処理手順について説明する。図13は、この発明の実施の形態にかかる移動体標定処理手順を示すフローチャートである。図13において、GPS913により移動体Mの初期位置を取得するとともに、電子コンパス914により移動体Mの方位角を取得する(ステップS1301)。

0100

そして、画像処理部1101により、カメラCMiにより撮影された撮影画像の中からマーカー画像を抽出する(ステップS1302)。そして、検出部1102により、水平画角αiを算出して(ステップS1303)、世界座標系303における各マーカーPi
*,Pj*,Pk*のマーカーデータDi,Dj,Dkを検出する(ステップS1304
)。

0101

そして、特定部1103により、まず、上記式(3)を用いてマーカーPi*のマーカーラインLiとマーカーPj*のマーカーラインLjを算出し(ステップS1305)、仮想光学中心算出部1131により、上記式(4.1)〜(4.5)を用いてマーカーラインLi,Ljどうしの交点となる仮想光学中心Qijを算出する(ステップS1306)。

0102

つぎに、マーカー間角度算出部1132ijにより、仮想光学中心算出部1131によって算出された仮想光学中心Qijから見た2つのマーカーPi,Pjのマーカー間角度θij*を、上記式(5)を用いて算出する(ステップS1307)。

0103

また、マーカー円算出部1133ijにより、マーカー間角度算出部1132ijによって算出されたマーカー間角度θij*から推定される仮想光学中心Qijの世界座標系303における位置を特定するマーカー円Eijの中心位置Oij*,半径rij*を、上記式(7.1),式(7.2)を用いて算出する(ステップS1308)。

0104

また、関数決定部1134ijにより、仮想光学中心Qijから見た一方のマーカーPiと移動体原点Omとの間のマーカー角度φimを、上記式(6.1)〜式(6.3)を用いて算出するとともに、仮想光学中心Qijから見た他方のマーカーPjと移動体原点Omとの間のマーカー角度φjmを、下記式(6.2),式(6.4),式(6.5)を用いて算出する(ステップS1309)。

0105

なお、上述したステップS1305〜ステップS1309までの処理は、マーカー間角度算出部1132jk,マーカー円算出部1133jk,関数決定部1134jkを用いて、マーカーPj*,Pk*のマーカーデータDj,Dkについても同様に実行する。

0106

このあと、関数決定部1134により、変数決定処理を実行する(ステップS1310)。すなわち、上記式(8)および式(9)を用いて、マーカー対(Pi,Pj),(Pj,Pk),・・・ごとに、原点軌道関数Cjk*(μjk),Cjk*(μjk),・・・を決定する。そして、この原点軌道関数Cjk*(μjk),Cjk*(μjk)を上記式(11)に代入することで、評価関数F(μij,μjk)を0もしくは最小化する変数(μij,μjk)を決定する。

0107

そして、標定部1104により、算出された(μij,μjk)を上記式(9)および式(10)に代入することで、世界座標系303における移動体原点位置Cij*を算出する(ステップS1311)。また、上記式(12.1),式(12.2)に代入することで移動体Mの姿勢である方位角ω(μij)を算出する(ステップS1312)。

0108

このあと、移動体標定を継続するか否かを判断する(ステップS1313)。移動体標定を継続する場合(ステップS1313:Yes)、ステップS1302に戻る。この場合、ステップS1311,ステップS1312で算出された移動体原点位置Cij*および方位角ω(μij)を用いて、あらたに移動体原点位置および方位角を算出することとなる。一方、移動体標定を継続しない場合(ステップS1313:No)、一連の移動体標定処理を終了する。

0109

つぎに、上述した変数決定処理(ステップS1310)の具体的な処理手順について説明する。図14は、変数決定処理(ステップS1310)の具体的な処理手順を示すフローチャートである。

0110

まず、変数(μij,μjk)の初期値を注目点(λij,λjk)とし、そのステップ幅をΔλとする(ステップS1401)。つぎに、注目点(λij,λjk)を評価関数Fに代入するとともに、注目点(λij,λjk)の近傍の値(ここでは、周囲4近傍)を評価関数Fに代入する(ステップS1402)。

0111

ここで、注目点(λij,λjk)の周囲4近傍について説明する。図15は、注目点(λij,λjk)の周囲4近傍を示す説明図である。図15において、符号1500で示される注目点(λij,λjk)の周囲4近傍(符号1501〜1504で表記)は、図8に示した評価関数Fの座標系にしたがって、ステップ幅Δλ増減した値となる。

0112

そして、図14において、周囲4近傍の評価関数Fの値がいずれも注目点(λij,λjk)の評価関数Fの値より大きいか否かを判断する(ステップS1403)。周囲4近傍の評価関数Fの値のうちいずれか一つが注目点(λij,λjk)の評価関数Fの値以下である場合(ステップS1403:No)、4近傍の評価関数Fの値のうち最小の値をとる座標値(符号1501〜1504のいずれか)をあらたな注目点(λij,λjk)とし(ステップS1404)、ステップS1402に戻る。

0113

一方、周囲4近傍の評価関数Fの値がいずれも注目点(λij,λjk)の評価関数Fの値より大きい場合(ステップS1403:Yes)、ステップ幅Δλがしきい値λt(たとえば、λt=π/1000)より小さいか否かを判断する(ステップS1405)。

0114

ステップ幅Δλがしきい値λt以上である場合(ステップS1405:No)、ステップ幅Δλを半分にして(ステップS1406)、ステップS1402に戻る。一方、ステップ幅Δλがしきい値λtより小さい場合(ステップS1405:Yes)、最終的に得られた注目点(λij,λjk)を変数(μij,μjk)の値に決定する(ステップS1407)。

0115

これにより、十分な精度の解が求まったものとして処理を終了する。この変数決定処理は、μの角度空間での数値解法であるが、世界座標系303と同じ直交座標空間でおこなっても結果として評価関数Fの最小化をおこなうのであれば同様である。

0116

以上説明したように、移動体標定装置、移動体標定方法、および移動体標定プログラムによれば、移動体へのカメラの設置自由度が高く、かつ、移動体標定の高精度化を図ることができるという効果を奏する。

0117

なお、本実施の形態で説明した移動体標定方法は、予め用意されたプログラムをパーソナルコンピュータワークステーション等のコンピュータで実行することにより実現することができる。このプログラムは、ハードディスク、フレキシブルディスクCD−ROM、MO、DVD等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。またこのプログラムは、インターネット等のネットワークを介して配布することが可能な伝送媒体であってもよい。

0118

(付記1)移動体に搭載された複数のカメラによって撮影された移動体外の各撮影画像を用いて前記移動体の標定をコンピュータに実行させる移動体標定プログラムであって、
前記移動体外の各撮影画像にそれぞれ含まれている第1〜第3のマーカーの位置および方向を検出させる検出工程と、
前記検出工程によって位置および方向が検出された第1および第2のマーカーに基づいて、未知の移動体原点位置に関する第1の移動体原点軌道を特定させるとともに、前記検出工程によって位置および方向が検出された第2および第3のマーカーに基づいて、前記未知の移動体原点位置に関する第2の移動体原点軌道を特定させる特定工程と、
前記未知の移動体原点位置を、前記特定工程によって特定された第1および第2の移動体原点軌道の交点座標に標定させる標定工程と、
を前記コンピュータに実行させる移動体標定プログラム。

0119

(付記2)前記第1および第2のマーカーを望む第1の仮想光学中心と、前記第2および第3のマーカーを望む第2の仮想光学中心とを算出させる仮想光学中心算出工程と、
前記仮想光学中心算出工程によって算出された第1の仮想光学中心からみた前記第1および第2のマーカーの間の第1のマーカー間角度と、前記仮想光学中心算出工程によって算出された第2の仮想光学中心からみた前記第2および第3のマーカーの間の第2のマーカー間角度とを算出させるマーカー間角度算出工程と、を前記コンピュータに実行させ、
前記特定工程は、
前記マーカー間角度算出工程によって算出された第1のマーカー間角度と、前記第1の仮想光学中心と前記未知の移動体原点位置との間の距離と、前記第1の仮想光学中心からの前記第2のマーカーと前記未知の移動体原点位置との間の角度とが一定となるように、前記第1の移動体原点軌道を特定させるとともに、
前記マーカー間角度算出工程によって算出された第2のマーカー間角度と、前記第2の仮想光学中心と前記未知の移動体原点位置との間の距離と、前記第2の仮想光学中心からの前記第3のマーカーと前記未知の移動体原点位置との間の角度とが一定となるように、前記第2の移動体原点軌道を特定させることを特徴とする付記1に記載の移動体標定プログラム。

0120

(付記3)前記第1の移動体原点軌道を表現する関数が、第1の変数を用いて定義され、かつ、前記第2の移動体原点軌道を表現する関数が、第2の変数を用いて定義されている場合、前記第1の移動体原点軌道を表現する関数の値と第2の移動体原点軌道を表現する関数の値との差分を数値解析で評価する評価関数が最小となるように、前記第1および第2の変数の値を決定させる変数決定工程を前記コンピュータに実行させ、
前記標定工程は、
前記変数決定工程によって決定された前記第1の変数の値を前記第1の移動体原点軌道関数に与え、かつ、前記変数決定工程によって決定された前記第2の変数の値を前記第2の移動体原点軌道関数に与えることにより、前記未知の移動体原点位置を、前記第1および第2の移動体原点軌道の交点座標に標定させることを特徴とする付記2に記載の移動体標定プログラム。

0121

(付記4)前記標定工程は、
前記第1および第2のマーカーと前記第1の仮想光学中心とが同一円周上に位置する第1のマーカー円を表現する関数が前記第1の変数を用いて定義され、前記第2および第3のマーカーと前記第2の仮想光学中心とが同一円周上に位置する第2のマーカー円を表現する関数が前記第2の変数を用いて定義されている場合、前記変数決定工程によって決定された前記第1の変数の値を前記第1のマーカー円を表現する関数に与え、かつ、前記変数決定工程によって決定された前記第2の変数の値を前記第2のマーカー円を表現する関数に与えることにより、前記移動体の方位角を標定させることを特徴とする付記3に記載の移動体標定プログラム。

0122

(付記5)前記第1〜第3のマーカーの位置および方向が、前記移動体に搭載されているGPSおよび電子コンパスによって取得された前記移動体の位置および方位を用いて検出された場合、前記標定工程によって標定された移動体原点位置および前記移動体の方位角を用いて、前記検出工程、前記特定工程、および前記標定工程を再度、前記コンピュータに実行させることを特徴とする付記4に記載の移動体標定プログラム。

0123

(付記6)付記1〜5のいずれか一つに記載の移動体標定プログラムを記録した前記コンピュータに読み取り可能な記録媒体。

0124

(付記7)移動体に搭載された複数のカメラによって撮影された移動体外の各撮影画像を用いて前記移動体の標定をおこなう移動体標定装置であって、
前記移動体外の各撮影画像にそれぞれ含まれている第1〜第3のマーカーの位置および方向を検出する検出手段と、
前記検出手段によって位置および方向が検出された第1および第2のマーカーに基づいて、未知の移動体原点位置に関する第1の移動体原点軌道を特定するとともに、前記検出手段によって位置および方向が検出された第2および第3のマーカーに基づいて、前記未知の移動体原点位置に関する第2の移動体原点軌道を特定する特定手段と、
前記未知の移動体原点位置を、前記特定手段によって特定された第1および第2の移動体原点軌道の交点座標に標定する標定手段と、
を備えることを特徴とする移動体標定装置。

0125

(付記8)移動体に搭載された複数のカメラによって撮影された移動体外の各撮影画像を用いて前記移動体の標定をおこなう移動体標定方法であって、
前記移動体外の各撮影画像にそれぞれ含まれている第1〜第3のマーカーの位置および方向を検出する検出工程と、
前記検出工程によって位置および方向が検出された第1および第2のマーカーに基づいて、未知の移動体原点位置に関する第1の移動体原点軌道を特定するとともに、前記検出工程によって位置および方向が検出された第2および第3のマーカーに基づいて、前記未知の移動体原点位置に関する第2の移動体原点軌道を特定する特定工程と、
前記未知の移動体原点位置を、前記特定工程によって特定された第1および第2の移動体原点軌道の交点座標に標定する標定工程と、
を含んだことを特徴とする移動体標定方法。

0126

以上のように、本発明にかかる移動体標定プログラム、該プログラムを記録した記録媒体、移動体標定装置、および移動体標定方法は、移動体標定、とりわけ自動車の高精度測位などに用いられ、ITS(Intelligent transportation systems)分野において車両位置の高精度測位や路車協調、車車協調の安全機能を実現する上での必要不可欠な要素技術として有用である。

図面の簡単な説明

0127

この発明の実施の形態にかかる移動体標定移動体標定を示す説明図である。
この発明の実施の形態にかかる移動体原点軌道を示す説明図である。
1)〜3)の条件を満たす移動体原点軌道Tを示す説明図である。
この発明の実施の形態にかかる各種座標系を示す説明図である。
任意のカメラCMiによって1つのマーカーPiが撮影された場合のマーカー方位推定を示す説明図である。
マーカー間角度推定を示す説明図である。
マーカー間角度θij*からの移動体原点Omの世界座標系303における推定を示す説明図である。
GPSの計測値からの変数μijの初期値の算出手法を示す説明図である。
式(11)で示した評価関数F(μij,μjk)の解空間となる曲面を示す説明図である。
この発明の実施の形態にかかる移動体標定装置のハードウェア構成を示すブロック図である。
マーカーDBの記憶内容を示す説明図である。
この発明の実施の形態にかかる移動体標定装置の機能的構成を示すブロック図である。
特定部1103の詳細な機能的構成を示すブロック図である。
この発明の実施の形態にかかる移動体標定処理手順を示すフローチャートである。
変数決定処理(ステップS1310)の具体的な処理手順を示すフローチャートである。
注目点(λij,λjk)の周囲4近傍を示す説明図である。
移動体に搭載したカメラにより撮影されたマーカーどうしが成す角度から位置標定をおこなう手法を示す説明図である。
全方位カメラの光学系および当該光学系により撮像される画像例を示す説明図である。
複数のカメラCM1〜CM3を自動車に設置した場合の撮像例を示す説明図である。

符号の説明

0128

301移動体座標系
302カメラ座標系
303世界座標系
400画像座標系
913 GPS
914電子コンパス
1100移動体標定装置
1101画像処理部
1102 検出部
1103 特定部
1104標定部
1131仮想光学中心算出部
1132マーカー間角度算出部
1133マーカー円算出部
1134関数決定部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ