図面 (/)

技術 自己位置推定方法及び自己位置推定装置

出願人 日産自動車株式会社
発明者 佐野泰仁高野博幸武田祐一
出願日 2017年6月20日 (3年8ヶ月経過) 出願番号 2017-120503
公開日 2019年1月17日 (2年1ヶ月経過) 公開番号 2019-007739
状態 未査定
技術分野 光学的手段による測長装置 移動体の位置、進路、高度又は姿勢の制御 航行(Navigation)
主要キーワード 移動量差 平坦度合い 移動量比 基準範囲外 抽出特徴点 カメラ移動量 到達地点 環境マップ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2019年1月17日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (6)

課題

車両の移動量を安定して精度よく算出することにより、車両の自己位置推定精度を向上させる。

解決手段

第1のカメラを用いて第1の方向の車両の周囲を撮像して第1の画像を取得し、第2のカメラを用いて第1の方向とは異なる第2の方向の車両の周囲を撮像して第2の画像を取得し、第1の画像を用いて車両の第1の移動量を算出し、第2の画像を用いて車両の第2の移動量を算出し、車両から出力される車両信号を用いて車両の第3の移動量を算出し、第1の移動量と第3の移動量とを比較し、第2の移動量と第3の移動量とを比較し、比較の結果に基づいて、第1の移動量、第2の移動量及び第3の移動量のうち、いずれかの移動量を選択し、選択した移動量を用いて、車両の位置を推定する。

概要

背景

従来から、互いに異なる時刻カメラ撮影された物体の画像上の位置の差とカメラの移動量とに基づいて物体の3次元位置を計測する3次元位置計測装置が知られている(特許文献1参照)。特許文献1では、画像から抽出された特徴点の位置の変化から、カメラ或いは移動体の移動量を算出している。

概要

車両の移動量を安定して精度よく算出することにより、車両の自己位置推定精度を向上させる。第1のカメラを用いて第1の方向の車両の周囲を撮像して第1の画像を取得し、第2のカメラを用いて第1の方向とは異なる第2の方向の車両の周囲を撮像して第2の画像を取得し、第1の画像を用いて車両の第1の移動量を算出し、第2の画像を用いて車両の第2の移動量を算出し、車両から出力される車両信号を用いて車両の第3の移動量を算出し、第1の移動量と第3の移動量とを比較し、第2の移動量と第3の移動量とを比較し、比較の結果に基づいて、第1の移動量、第2の移動量及び第3の移動量のうち、いずれかの移動量を選択し、選択した移動量を用いて、車両の位置を推定する。

目的

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

車両に搭載された第1のカメラ及び第2のカメラを用いて、前記車両の位置を推定する自己位置推定装置自己位置推定方法であって、前記第1のカメラを用いて第1の方向の前記車両の周囲を撮像して第1の画像を取得し、前記第2のカメラを用いて前記第1の方向とは異なる第2の方向の前記車両の周囲を撮像して第2の画像を取得し、前記第1の画像を用いて前記車両の第1の移動量を算出し、前記第2の画像を用いて前記車両の第2の移動量を算出し、前記車両から出力される車両信号を用いて前記車両の第3の移動量を算出し、前記第1の移動量と前記第3の移動量とを比較し、前記第2の移動量と前記第3の移動量とを比較し、前記比較の結果に基づいて、前記第1の移動量、前記第2の移動量及び前記第3の移動量のうち、いずれかの移動量を選択し、選択した前記移動量を用いて、前記車両の位置を推定する自己位置推定方法。

請求項2

請求項1記載の自己位置推定方法であって、前記第1の移動量と前記第3の移動量との差を算出し、前記第2の移動量と前記第3の移動量との差を算出し、前記第1の移動量及び前記第2の移動量のうち、前記第3の移動量との前記差が小さい移動量を選択する自己位置推定方法。

請求項3

請求項1記載の自己位置推定方法であって、予め定めた局所領域における前記第1の移動量、前記第2の移動量及び前記第3の移動量を算出し、前記第1の移動量及び前記第2の移動量の各々を第3の移動量からなる関数に対してフィッティングし、前記第1の移動量及び前記第2の移動量のうち、前記関数との一致が高い移動量を選択する自己位置推定方法。

請求項4

請求項2に記載の自己位置推定方法であって、前記第1の移動量と前記第3の移動量との差、前記第2の移動量と前記第3の移動量との差のいずれも、所定の基準範囲内に収まらない場合は、前記第3の移動量を選択する自己位置推定方法。

請求項5

車両に搭載された第1のカメラ及び第2のカメラを用いて、前記車両の位置を推定する自己位置推定装置であって、前記第1のカメラを用いて第1の方向の前記車両の周囲を撮像して第1の画像を取得し、前記第2のカメラを用いて前記第1の方向とは異なる第2の方向の前記車両の周囲を撮像して第2の画像を取得する画像取得回路と、前記第1の画像を用いて前記車両の第1の移動量を算出する第1の移動量算出回路と、前記第2の画像を用いて前記車両の第2の移動量を算出する第2の移動量算出回路と、前記車両から出力される車両信号を用いて前記車両の第3の移動量を算出する第3の移動量算出回路と、前記第1の移動量と前記第3の移動量とを比較し、前記第2の移動量と前記第3の移動量とを比較する移動量比回路と、前記移動量比較回路の比較結果に基づいて、前記第1の移動量、前記第2の移動量及び前記第3の移動量のうち、いずれかの移動量を選択する移動量選択回路と、選択した前記移動量を用いて、前記車両の位置を推定する自己位置推定回路とを有する自己位置推定装置。

技術分野

0001

本発明は、自己位置推定方法及び自己位置推定装置に関する。

背景技術

0002

従来から、互いに異なる時刻カメラ撮影された物体の画像上の位置の差とカメラの移動量とに基づいて物体の3次元位置を計測する3次元位置計測装置が知られている(特許文献1参照)。特許文献1では、画像から抽出された特徴点の位置の変化から、カメラ或いは移動体の移動量を算出している。

先行技術

0003

特開2014−106092号公報

発明が解決しようとする課題

0004

しかし、特許文献1では、カメラを用いて移動体の移動量を算出するものの、複数のカメラから得られた情報のうち、移動体の3次元位置の計測精度を向上させるために、選択的に情報を用いていない。

0005

本発明は、このような従来の課題に鑑みてなされたものであり、その目的は、車両の移動量を安定して精度よく算出することにより、車両の自己位置推定精度を向上させることである。

課題を解決するための手段

0006

本発明の一態様に係わる自己位置推定方法は、第1のカメラを用いて第1の方向の車両の周囲を撮像して第1の画像を取得し、第2のカメラを用いて第1の方向とは異なる第2の方向の車両の周囲を撮像して第2の画像を取得し、第1の画像を用いて車両の第1の移動量を算出し、第2の画像を用いて車両の第2の移動量を算出し、車両から出力される車両信号を用いて車両の第3の移動量を算出し、第1の移動量と第3の移動量とを比較し、第2の移動量と第3の移動量とを比較し、比較の結果に基づいて、第1の移動量、第2の移動量及び第3の移動量のうち、いずれかの移動量を選択し、選択した移動量を用いて、車両の位置を推定する。

発明の効果

0007

本発明の一態様によれば、車両の移動量を安定して精度よく算出することにより、車両の自己位置の推定精度を向上させることができる。

図面の簡単な説明

0008

図1は、実施形態に係わる自己位置推定装置の全体構成を示す機能ブロック図である。
図2は、学習時(オフライン時)の図1の自己位置推定装置の動作の一例を示すフローチャートである。
図3は、自己位置推定時(オンライン時)の図1の自己位置推定装置の動作の一例を示すフローチャートである。
図4Aは、太陽40に対する前方カメラ12a及び後方カメラ12bの向きの時間変化を示す図である。
図4Bは、図4A走行軌跡38に沿って車両39が走行した場合において、前方カメラ移動量41、後方カメラ移動量42、及びオドメトリ移動量43の時間変化を示す図である。

実施例

0009

次に、図面を参照して、実施形態を詳細に説明する。

0010

<自己位置推定装置>
図1を参照して、実施形態に係わる自己位置推定装置の全体構成を説明する。自己位置推定装置は、車両に搭載された前方カメラ12a(第1のカメラ)及び後方カメラ12b(第2のカメラ)と、車両センサ13と、特徴点及び走行軌跡を記録する特徴点記録装置16と、チェックポイント及び走行軌跡を学習し、車両の位置を推定するコントローラ11とを備える。

0011

前方カメラ12aは、車両を基準にして定められた第1の方向(ここでは、「車両の前方」)の車両の周囲を撮像して画像データ(前方画像:第1の画像)を生成する。後方カメラ12bは、車両を基準にして定められた第1の方向とは異なる第2の方向(ここでは、「車両の後方」)の車両の周囲を撮像して画像データ(後方画像:第2の画像)を生成する。カメラ(12a、12b)は、互いに異なる方向の車両の周囲を同時に撮影することができる。ここでは、異なる方向として車両の前後方向を例示するが、車両の左右方向、或いはその他の方向の組合せであっても構わない。また、第1の方向と第2の方向の角度差が180°である必要はなく、ゼロではない所定の角度の差を有するように、カメラ(12a、12b)の撮像方向が定められている。

0012

前方カメラ12a及び後方カメラ12bの各々は、ステレオカメラであっても単眼カメラであっても構わない。前方カメラ12a及び後方カメラ12bの各々が生成する画像データから、物体(特徴点)の奥行き情報を取得することができる。つまり、各画像データから、車両の周囲の物体の3次元位置を計測することが可能である。

0013

車両センサ13は、車両に搭載され、車両から得られる様々な情報(車両信号)を検出する。車両センサ13には、例えば、車両の走行速度(車速)を検出する車速センサ、車両が備える各タイヤの回転速度を検出する車輪速センサ、車両の3軸方向の加速度減速度を含む)を検出する3軸加速度センサGセンサ)、操舵角転舵角を含む)を検出する操舵角センサ、車両に生じる角速度を検出するジャイロセンサヨーレートを検出するヨーレートセンサが含まれる。

0014

コントローラ11は、前方カメラ12a及び後方カメラ12b及び車両センサ13から得られるデータに基づいて、車両の自己位置及び走行軌跡を学習し、学習結果に基づいて車両の自己位置を推定する。

0015

コントローラ11は、CPU(中央処理装置)、メモリ、及び入出力部を備える汎用マイクロコンピュータを用いて実現可能である。コントローラ11には、自己位置推定装置として機能させるためのコンピュータプログラム(自己位置推定プログラム)がインストールされ、メモリに記憶されている。コンピュータプログラムを実行することにより、コントローラ11は、自己位置推定装置が備える複数の情報処理回路(21〜28)として機能する。なお、実施形態では、ソフトウェアによって自己位置推定装置が備える複数の情報処理回路(21〜28)を実現する例を示すが、もちろん、以下に示す各情報処理を実行するための専用のハードウェアを用意して、情報処理回路(21〜28)を構成することも可能である。また、複数の情報処理回路(21〜28)を個別のハードウェアにより構成してもよい。更に、情報処理回路(21〜28)は、車両に関わる他の制御に用いる電子制御ユニット(ECU)と兼用してもよい。

0016

コントローラ11は、複数の情報処理回路として、画像取得部21(画像取得回路)と、前方カメラ移動量算出部22(第1の移動量算出回路)と、後方カメラ移動量算出部23(第2の移動量算出回路)と、車両オドメトリ算出部24(第3の移動量算出回路)と、移動量差算出部25(移動量比回路)と、移動量選択部26(移動量選択回路)と、特徴点学習部27と、自己位置推定部28(自己位置推定回路)とを備える。

0017

特徴点記録装置16には、特徴点学習部27による学習結果が記録される。

0018

画像取得部21は、前方カメラ12a及び後方カメラ12bの各々の撮影により得られた画像データを取得する。詳細には、画像取得部21は、画像データと共に、その撮影タイミングを示すタイムスタンプも同時に取得する。

0019

前方カメラ移動量算出部22は、前方カメラ12aにより得られた前方画像を用いて車両の移動量(前方カメラ移動量:第1の移動量)を算出する。前方カメラ移動量の算出方法は特に問わず、既存の方法を用いることができる。例えば、先ず、前方画像の中から特徴点をそれぞれ抽出し、特徴点のステレオマッチング処理及び視差情報に基づき、特徴点の3次元位置を特定する。そして、車両が走行しながら繰り返し撮像を行い、フレーム(画像)間で特徴点のマッチング処理を行う。特徴点の3次元位置の変化から、車両の移動量(前方カメラ移動量)を算出することができる。後方カメラ移動量算出部23は、後方カメラ12bにより得られた後方画像を用いて車両の移動量(後方カメラ移動量:第2の移動量)を算出する。後方カメラ移動量算出部23も、前方カメラ移動量算出部22と同様に、既存の方法を用いて後方カメラ移動量を特定する。

0020

車両オドメトリ算出部24は、車両センサ13からの検出結果に基づいて、車両の移動量(オドメトリ移動量:第3の移動量)を算出する。先ず、車両オドメトリ算出部24は、車両センサ13からの検出結果を、車両から得られる車両信号として取得する。詳細には、車両オドメトリ算出部24は、車両信号と共に、その検出タイミングを示すタイムスタップも同時に取得する。撮像タイミング及び検出タイミングの各々を示すタイムスタップを、画像データ及び車両信号と共に受信することにより、画像データ及び車両信号を時間軸により関連付けることが可能となる。

0021

車両オドメトリ算出部24は、車両センサ13により検出された車両信号に基づいて、車両の走行軌跡を算出する。走行軌跡の算出方法は、特に問わず、既存の方法を用いることができる。例えば、左右のタイヤの回転角度の差からヨーレートを算出し、ヨーレートを積分することにより車両のヨー角(車両の姿勢、進行方向を含む)を算出すればよい。勿論、ヨーレートセンサを用いても構わない。また、車両が備えるタイヤの回転量から車両の移動量を算出することができる。車両信号に基づいて算出される車両の走行軌跡を「車両オドメトリ」と呼ぶ。車両オドメトリ算出部24は、車両オドメトリから、所定の時間における車両の移動量(オドメトリ移動量:第3の移動量)を算出する。

0022

なお、前方カメラ移動量、後方カメラ移動量及びオドメトリ移動量を含む「車両の移動量」は、車両の移動距離、及び車両の移動方向を含む概念である。

0023

移動量差算出部25は、前方カメラ移動量とオドメトリ移動量とを比較し、後方カメラ移動量とオドメトリ移動量とを比較する。具体的には、前方カメラ移動量とオドメトリ移動量との差(前方差)を算出し、後方カメラ移動量とオドメトリ移動量との差(後方差)を算出する。

0024

移動量選択部26は、移動量差算出部25による比較結果に基づいて、前方カメラ移動量、後方カメラ移動量及びオドメトリ移動量のうち、いずれかの移動量を車両の移動量として選択する。例えば、前方カメラ移動量及び後方カメラ移動量のうち、オドメトリ移動量との差が小さい移動量を選択する。換言すれば、移動量選択部26は、移動量差算出部25により算出された前方差と後方差とを比較し、前方差と後方差のうち小さい方の移動量を選択する。前方差が小さい場合は前方カメラ移動量を選択し、後方差が小さい場合は後方カメラ移動量を選択する。前方差と後方差とが同じ場合、前方カメラ移動量及び後方カメラ移動量のいずれを選択しても構わない。前方差及び後方差のいずれも所定の基準範囲外である場合、前方カメラ移動量及び後方カメラ移動量を選択せずに、オドメトリ移動量を選択する。

0025

前方画像又は後方画像に基づいて独立して算出される前方カメラ移動量及び後方カメラ移動量は、通常、誤差が少なく正確な値を示す。しかし、太陽光風景平坦度合いなどの環境の影響、また旋回段差による車両挙動により、画像から抽出される特徴点の数が減少することや、特徴点までの距離を正確に求めることが難しいことがある。更に、マッチング成功する特徴点の数が減少したり、特徴点のマッチングに成功しても特徴点の見え方に微妙な変化が生じ、マッチングの尤度が低下してしまう。このため、前方カメラ移動量及び後方カメラ移動量の算出精度は、通常は高いが、ロバスト性が低く、外乱の影響により著しく低下してしまう。

0026

また、抽出される特徴点の数のみを基準にしてカメラ移動量の算出精度を判断してしまうと、抽出される特徴点の数の減少やマッチングの尤度の低下が、太陽光が原因しているのか、或いは元々の輝度変化の少ない平坦な風景が原因しているのか、を判別できない。

0027

そこで、ロバスト性が高く、高い精度を安定して得るために、先ず、異なる方向(前方及び後方)の車両の周囲を撮像して前方画像及び後方画像を取得することにより、少なくともいずれか一方の画像に対して太陽光の影響を受けにくくする。

0028

次に、車両信号(例えば、車輪側センサ)に基づいて算出される車両オドメトリは、誤差が累積することが一般的に知られており、長期的には精度が低いが、局所的に見ると、車両オドメトリの精度は、安定して高い。そこで、車両オドメトリに基づくオドメトリ移動量を参照値リファレンス)として、前方カメラ移動量及び後方カメラ移動量の各々の誤差を評価する。つまり、移動量差算出部25が、前方カメラ移動量とオドメトリ移動量との前方差を算出し、後方カメラ移動量とオドメトリ移動量との後方差を算出する。

0029

そして、移動量選択部26は、原則として、オドメトリ移動量(リファレンス)との差が小さい方のカメラ移動量が、より精度が高い車両の移動量であると判断して、これを選択する。ただし、前方カメラ移動量及び後方カメラ移動量のいずれも大きな誤差を有している場合、リファレンスとして用いたオドメトリ移動量が、いずれのカメラ移動量よりも精度が高い車両の移動量であると判断して、これを選択する。

0030

これにより、移動量選択部26は、車両の移動量を安定して精度よく算出することができる。換言すれば、太陽光、輝度変化の少ない平坦な風景などの車両の周囲の影響に対するロバスト性を高めることができる。

0031

特徴点学習部27は、前方画像又は後方画像に基づいて、地図、及び地図上における車両の自己位置及び車両の走行軌跡を算出する。算出方法は特に問わず、既存の方法を用いることができる。例えば、前方カメラ12a及び後方カメラ12bの各々は、車両が走行しながら繰り返し撮像を行い、複数のフレーム(画像)をそれぞれ取得する。前方カメラ移動量算出部22及び後方カメラ移動量算出部23の各々は、前方画像又は後方画像から特徴点をそれぞれ抽出し、特徴点の3次元位置をそれぞれ特定し、フレーム(画像)間における特徴点の3次元位置の変化から車両の移動量(前方カメラ移動量、後方カメラ移動量)をそれぞれ特定する。一方、車両オドメトリ算出部24は、タイムスタンプを用いて、フレーム(画像)間におけるオドメトリ移動量を算出する。

0032

特徴点学習部27は、フレーム(画像)間で特徴点のマッチング処理を行う。そして、移動量選択部26は、フレーム(画像)間の車両の移動量を選択する。特徴点学習部27は、移動量選択部26により選択された車両の移動量に従って、特徴点の3次元位置を移動させる。これを繰り返すことにより、特徴点学習部27は、複数のフレームから抽出された複数の特徴点の3次元位置を1つの地図(環境マップを含む)上に表すことができる。また同時に、地図上における車両の自己位置及び車両の走行軌跡を特定することもできる。なお、カメラ(12a、12b)の画像に基づいて算出される車両の走行軌跡を「ビジュアルオドメトリ(VO)」と呼ぶ。

0033

このように、特徴点学習部27が、特徴点に基づいて、地図(環境マップを含む)、車両の自己位置及び車両の走行軌跡を学習する時に、移動量選択部26により選択された車両の移動量を用いることができるので、学習の精度が向上する。

0034

更に、特徴点学習部27は、カメラ(12a、12b)の画像に基づいて、車両が走行した地点(チェックポイント)を学習する。具体的には、チェックポイントを車両が通過したときに撮影した画像に基づいて、チェックポイントを学習する。例えば、特徴点学習部27は、当該画像から抽出された特徴点の画像上の位置、又は特徴点の3次元位置に基づいて、チェックポイントを学習すればよい。尚、特徴点学習部27は、チェックポイントの間毎に分割して走行軌跡(ビジュアルオドメトリ)を学習してもよく、分割せず走行軌跡を学習するようにしてもよい。分割する際は、所定時間毎にでもよく、シーン毎(例えば、直進カーブ高速道一般道交差点)でもよく、分割する方法は問わない。更に、特徴点学習部27は、走行軌跡ビジュアルオドメトリの代わりに、車両信号に基づいて算出される車両の走行軌跡(車両オドメトリ)を学習しても構わない。走行軌跡(車両オドメトリ)の算出方法は、特に問わず、既存の方法を用いることができる。例えば、左右のタイヤの回転角度の差からヨーレートを算出し、ヨーレートを積分することにより車両のヨー角(車両の姿勢、進行方向を含む)を算出すればよい。勿論、ヨーレートセンサを用いても構わない。また、車両が備えるタイヤの回転量から車両の移動量を算出することができる。

0035

地図、車両の自己位置及び走行軌跡、及びチェックポイントを含む特徴点学習部27の学習結果は、特徴点記録装置16に記録される。

0036

自己位置推定部28は、特徴点学習部27が学習した地図、車両の自己位置及び走行軌跡、及びチェックポイントに基づいて、車両の自己位置を推定する。具体的には、車両がチェックポイントを通過した否かを確認し、最後に通過したチェックポイントからの車両の移動量に基づいて、現在の車両の自己位置を推定する。この時、自己位置推定部28は、最後に通過したチェックポイントからの車両の移動量として、移動量選択部26により選択された車両の移動量を用いる。これにより、自己位置の推定精度が向上する。

0037

車両がチェックポイントを通過した否かを確認する方法は例えば次の通りである。自己位置推定部28は、チェックポイントを通過した時の画像(記録画像)及び記録画像中の特徴点の位置情報を、特徴点記録装置16から読み出す。そして、自己位置推定の時に撮影された画像(対象画像)中の特徴点と、記録画像中の特徴点との対応付けを行う。対応付けに成功した特徴点が所定の条件を満たした場合、チェックポイントにおけるカメラの位置及び姿勢を、走行制御時に再現できたと判断できる。即ち、対象画像は、記録画像を取得した時と同じカメラの位置及び姿勢において取得された、と判断できる。よって、この場合、通過確認部24は、チェックポイントを車両が通過したと判断する。

0038

なお、対応付けに成功した特徴点が所定の条件を満たしたか否かは、例えば、以下の方法を用いて判断することができる。先ず、記録画像中から抽出された特徴点の数をFsとする。対象画像中から抽出された特徴点のうち、記録画像中から抽出された特徴点と対応付けに成功した特徴点の数をFnとする。例えば、記録画像と対象画像との間で、車両に対する特徴点の相対位置のずれが所定値未満である場合、その特徴点は対応付けに成功したと判断する。画像通過確信度(Z)を、Z=Fn/Fsと定義する。画像通過確信度は、チェックポイントを車両が通過した可能性を示す。自己位置推定部28は、画像通過確信度が0.8未満である場合、画像通過確信度が低いため、対応付けに成功した特徴点が所定の条件を満たしていない、つまり、チェックポイントを車両が通過していない、と判断する。自己位置推定部28は、画像通過確信度が0.8以上である場合、対応付けに成功した特徴点が所定の条件を満たしている、つまり、チェックポイントを車両が通過したと判断する。

0039

自己位置推定処理において、前方カメラ12a及び後方カメラ12bの各々は、車両が走行しながら繰り返し撮像を行い、複数のフレーム(画像)をそれぞれ取得する。前方カメラ移動量算出部22及び後方カメラ移動量算出部23の各々は、前方画像又は後方画像から特徴点をそれぞれ抽出し、特徴点の3次元位置をそれぞれ特定し、フレーム(画像)間で特徴点のマッチング処理を行う。そして、フレーム(画像)間における特徴点の3次元位置の変化から車両の移動量(前方カメラ移動量、後方カメラ移動量)をそれぞれ特定する。一方、車両オドメトリ算出部24は、タイムスタンプを用いて、フレーム(画像)間におけるオドメトリ移動量を算出する。そして、移動量選択部26は、移動量差算出部25による比較結果に基づいて、前方カメラ移動量、後方カメラ移動量及びオドメトリ移動量のうち、いずれかの移動量を選択する。自己位置推定部28は、移動量選択部26により選択された車両の移動量に基づいて、最後に通過したチェックポイントからの車両の移動量を算出し、現在の車両の自己位置を推定する。

0040

<自己位置推定方法>
次に、図2及び図3を参照して、自己位置推定装置の動作例を説明する。先ず、図2を参照して、学習時(オフライン時)の自己位置推定装置の動作を説明する。

0041

テップS51において、画像取得部21は、カメラ(12a、12b)を用いて車両の周囲を撮影して前方画像及び後方画像を取得する。画像取得部21は、カメラ(12a、12b)の撮影タイミングを同期させ、且つ、所定のフレームレート(1〜5FPS)で繰り返し撮影する。

0042

ステップS53に進み、前方カメラ移動量算出部22は、前方カメラ12aにより得られた前方画像を用いて前方カメラ移動量を算出する。ステップS55に進み、後方カメラ移動量算出部23は、後方カメラ12bにより得られた後方画像を用いて後方カメラ移動量を算出する。ステップS57に進み、車両オドメトリ算出部24は、車両センサ13からの検出結果に基づいて、オドメトリ移動量を算出する。

0043

ステップS59に進み、移動量差算出部25は、前方カメラ移動量とオドメトリ移動量とを比較する。具体的には、前方カメラ移動量とオドメトリ移動量との差(前方差)を算出する。ステップS61に進み、移動量差算出部25は、後方カメラ移動量とオドメトリ移動量とを比較する。具体的には、後方カメラ移動量とオドメトリ移動量との差(後方差)を算出する。ステップS63に進み、移動量選択部26は、前方差及び後方差のいずれも基準範囲外であるか否かを判断する。前方差及び後方差のいずれも基準範囲外である場合(S63でYES)、前方カメラ移動量及び後方カメラ移動量のいずれも大きな誤差を含んでいると推測できる。よって、ステップS67に進み、移動量選択部26は、オドメトリ移動量を選択する。

0044

一方、前方差及び後方差の少なくとも一方が基準範囲内である場合(S63でNO)、前方カメラ移動量及び後方カメラ移動量の少なくとも一方は大きな誤差を含んでいないと推測できる。よって、ステップS65に進み、移動量選択部26は、前方差と後方差のうち小さい方の移動量を選択する。これにより、オドメトリ移動量を基準とした前方カメラ移動量及び後方カメラ移動量の誤差を比較して、誤差が小さいいずれか一方のカメラ移動量を選択することができる。このように、S63〜S67において、移動量選択部26は、移動量差算出部25による比較結果に基づいて、前方カメラ移動量、後方カメラ移動量及びオドメトリ移動量のうち、いずれかの移動量を選択することができる。

0045

特徴点学習部27は、ステップS65又はS67で選択された車両の移動量を用いて、特徴点に基づいて、地図、車両の自己位置、車両の走行軌跡、及びチェックポイントを学習し、特徴点及び走行軌跡を特徴点記録装置16に記録する。

0046

次に、図3を参照して、自己位置推定時(オンライン時)の自己位置推定装置の動作を説明する。

0047

ステップS01において、自己位置推定部28は、特徴点記録装置16から特徴点及び走行軌跡を読み出す。読み出した特徴点を、「記録特徴点」と呼ぶ。ステップS03に進み、前方カメラ12aは車両の周囲を撮影し、画像取得部21は、前方画像を取得する。

0048

ステップS05に進み、前方カメラ移動量算出部22は、前方画像から特徴点を抽出する。抽出された特徴点を、「抽出特徴点」と呼ぶ。ステップS07に進み、前方カメラ移動量算出部22は、記録特徴点と抽出特徴点との対応付けを行う。記録特徴点の相対位置と抽出特徴点の相対位置とのずれが所定値未満である場合、記録特徴点と抽出特徴点との対応付けに成功したと判断する。

0049

ステップS09に進み、前方カメラ移動量算出部22は、対応付けに成功した抽出特徴点を用いて、前方カメラ移動量を算出する。

0050

ステップS11に進み、後方カメラ12bは車両の周囲を撮影し、画像取得部21は、後方画像を取得する。ステップS13に進み、後方カメラ移動量算出部23は、後方カメラ12bにより得られた後方画像から特徴点を抽出する。ステップS15に進み、後方カメラ移動量算出部23は、記録特徴点と抽出特徴点との対応付けを行う。

0051

ステップS17に進み、後方カメラ移動量算出部23は、対応付けに成功した抽出特徴点を用いて、後方カメラ移動量を算出する。

0052

ステップS19に進み、車両オドメトリ算出部24は、車両センサ13からの検出結果に基づいて、オドメトリ移動量を算出する。

0053

ステップS21に進み、移動量差算出部25は、前方カメラ移動量とオドメトリ移動量とを比較する。具体的には、前方カメラ移動量とオドメトリ移動量との差(前方差)を算出する。ステップS23に進み、移動量差算出部25は、後方カメラ移動量とオドメトリ移動量とを比較する。具体的には、後方カメラ移動量とオドメトリ移動量との差(後方差)を算出する。ステップS25に進み、移動量選択部26は、前方差及び後方差のいずれも所定の基準範囲外であるか否かを判断する。前方差及び後方差のいずれも基準範囲外である場合(S25でYES)、前方カメラ移動量及び後方カメラ移動量のいずれも大きな誤差を含んでいると推測できる。よって、ステップS29に進み、移動量選択部26は、オドメトリ移動量を選択する。

0054

一方、前方差及び後方差の少なくとも一方が基準範囲内である場合(S25でNO)、前方カメラ移動量及び後方カメラ移動量の少なくとも一方は大きな誤差を含んでいないと推測できる。よって、ステップS27に進み、移動量選択部26は、前方差と後方差のうち小さい方の移動量を選択する。これにより、オドメトリ移動量を基準とした前方カメラ移動量及び後方カメラ移動量の誤差を比較して、誤差が小さいいずれか一方のカメラ移動量を選択することができる。このように、S25〜S29において、移動量選択部26は、移動量差算出部25による比較結果に基づいて、前方カメラ移動量、後方カメラ移動量及びオドメトリ移動量のうち、いずれかの移動量を選択することができる。

0055

ステップS31に進み、自己位置推定部28は、ステップS01で読み込んだ特徴点に基づいて、車両がチェックポイントを通過した否かを確認する。そして、最後に通過したチェックポイントからの車両の移動量に基づいて、現在の車両の自己位置を推定する。この時、自己位置推定部28は、最後に通過したチェックポイントからの車両の移動量として、S25〜S29において選択された車両の移動量を用いる。

0056

上記したように、学習時(オフライン時)及び自己位置推定時(オンライン時)において、自己位置推定装置は、フレーム(画像)間で特徴点のマッチング処理を行うことにより、前方カメラ移動量及び後方カメラ移動量を算出する。よって、フレーム(画像)から抽出される特徴点の数、又はマッチング処理に成功する特徴点の数が多い方が、カメラ移動量の精度は高くなる。

0057

しかし、抽出される特徴点の数やマッチング処理に成功する特徴点の数、マッチングの尤度は、太陽の影響を強く受ける。図4Aに示すように、カメラ(12a、12b)の撮影方向が太陽40に対向している場合、カメラの撮像素子入射する光の輝度が撮像素子のダイナミックレンジを超えてしまい、輝度分布の少ない画像となってしまう。このため、輝度分布の少ない画像から抽出される特徴点の数や、マッチング処理に成功する特徴点の数が大幅に減ってしまい、カメラ移動量の算出精度が低下してしまう。

0058

更に、太陽光の影響を受けていなくても、元々の風景において輝度分布が少なければ、輝度分布の少ない画像となってしまう。このため、特徴点の数を基準とした場合には、太陽光と平坦な風景とを判別できない。

0059

そこで、図4Bに示すように、前方カメラ移動量41及び後方カメラ移動量42を独立して算出すると同時に、オドメトリ移動量43を算出する。オドメトリ移動量43(関数)に対して、前方カメラ移動量41及び後方カメラ移動量42をフィッティングする。オドメトリ移動量43との一致度が高いカメラ移動量(41、42)を選択する。

0060

図4Aに示すように、車両39が走行軌跡38に沿って走行するシーンを考える。出発地点において、前方カメラ12aは太陽40とは逆方向の車両39の周囲を撮像する。一方、後方カメラ12bは太陽40に向かって車両39の周囲を撮像する。車両39は、走行軌跡38に沿って180°だけ左旋回する。到達地点においては、前方カメラ12aは太陽40に向かって車両39の周囲を撮像し、後方カメラ12bは太陽40とは逆方向の車両39の周囲を撮像する。

0061

よって、図4Bに示すように、出発地点において、前方カメラ移動量41とオドメトリ移動量43との差は、後方カメラ移動量42とオドメトリ移動量43との差よりも小さい。よって、出発地点において、より精度が高い前方カメラ移動量41を選択することができる。

0062

その後、90°左旋回した時に、前方カメラ12a及び後方カメラ12bは、共に太陽40の影響を受けにくくなり、前方カメラ移動量41及び後方カメラ移動量42は共に、オドメトリ移動量43との差が小さくなる。

0063

そして、更に90°左旋回した到達地点において、前方カメラ移動量41とオドメトリ移動量43との差は、後方カメラ移動量42とオドメトリ移動量43との差よりも大きくなる。よって、到達地点において、より精度が高い後方カメラ移動量42を選択することができる。

0064

以上説明したように、実施形態によれば、以下の作用効果が得られる。

0065

自己位置推定装置は、前方カメラ移動量とオドメトリ移動量とを比較し、後方カメラ移動量とオドメトリ移動量とを比較し、これらの比較の結果に基づいて、前方カメラ移動量、後方カメラ移動量及びオドメトリ移動量のうち、いずれかの移動量を選択し、選択した移動量を用いて車両の位置を推定する。よって、自己位置推定装置は、車両の移動量を安定して精度よく算出することにより、車両の自己位置の推定精度を向上させることができる。換言すれば、太陽光、輝度変化の少ない平坦な風景などの車両の周囲の影響に対するロバスト性を高めることができる。

0066

自己位置推定装置は、前方カメラ移動量とオドメトリ移動量との差を算出し、後方カメラ移動量とオドメトリ移動量との差を算出し、前方カメラ移動量及び後方カメラ移動量のうち、オドメトリ移動量との差が小さい移動量を選択する。オドメトリ移動量を参照値(リファレンス)として、前方カメラ移動量及び後方カメラ移動量の各々の誤差の大きさを評価することができる。局所的に見ると、車両信号に基づいて算出されるオドメトリ移動量の精度は、安定して高い。よって、誤差の小さいカメラ移動量を選択することができる。

0067

自己位置推定装置は、図4Bに示すように、予め定めた局所領域における前方カメラ移動量41、後方カメラ移動量42及びオドメトリ移動量43を算出し、前方カメラ移動量41及び後方カメラ移動量42の各々をオドメトリ移動量からなる関数43に対してフィッティングし、前方カメラ移動量41及び後方カメラ移動量42のうち、関数43との一致が高い移動量を選択する。オドメトリ移動量を関数43として用いて、前方カメラ移動量41及び後方カメラ移動量42との一致度を評価することができる。局所領域におけるオドメトリ移動量の精度は、安定して高い。よって、誤差の小さいカメラ移動量を選択することができる。

0068

自己位置推定装置は、前方カメラ移動量とオドメトリ移動量との差、後方カメラ移動量とオドメトリ移動量との差のいずれも、所定の範囲以内に収まらない場合は、オドメトリ移動量を選択する。前方カメラ移動量及び後方カメラ移動量のいずれも大きな誤差を有している場合、リファレンスとして用いたオドメトリ移動量が、いずれのカメラ移動量よりも精度が高い車両の移動量であると判断できる。よって、誤差の小さい車両の移動量を選択することができる。

0069

以上、実施形態に沿って本発明の内容を説明したが、本発明はこれらの記載に限定されるものではなく、種々の変形及び改良が可能であることは、当業者には自明である。

0070

車両の移動距離と車両の移動方向をまとめて車両の移動量として説明した。これに限らず、車両の移動距離と車両の移動方向の各々について、前方カメラ移動量、後方カメラ移動量、及びオドメトリ移動量を比較し、車両の移動距離と車両の移動方向の各々を個別に選択しても構わない。或いは、車両の移動量を、車両の移動距離と車両の移動方向のいずれか一方に置き換えて実施しても構わない。

0071

図2及び図3のフローチャートにおいて、可能な限りにおいて、順番を変更して実施してもよい。例えば、図3において、ステップS03〜S09と、ステップS11〜S17と、ステップS19とは、互いに順番を入れ替えて実施しても構わない。或いは、同時に実施しても構わない。

0072

尚、本実施形態における自己位置推定装置は、ドライバー介入なしに車両を走行させる自動運転、ドライバーの介入に基づいて車両を走行させる手動運転に用いることができる。自動運転に用いる場合は、本実施形態における自己位置推定装置によって求めた自己位置を用いて、車両の走行軌跡を設定し、走行軌跡に基づいて車両を制御する。手動運転に用いる場合は、本実施形態における自己位置推定装置によって求めた自己位置を用いて、乗員に自己位置を知らせることや、いわゆるナビゲーション装置により走行計画を設定することができる。また、本実施形態における自己位置推定装置は、対象物(例えば、物標白線道路形状)を学習する、地図を生成する際に用いることができる。

0073

12a 第1のカメラ
12b 第2のカメラ
21画像取得部(画像取得回路)
22前方カメラ移動量算出部(第1の移動量算出回路)
23後方カメラ移動量算出部(第2の移動量算出回路)
24 車両オドメトリ算出部(第3の移動量算出回路)
25移動量差算出部(移動量比較回路)
26 移動量選択部(移動量選択回路)
28自己位置推定部(自己位置推定回路)
39 車両
41 前方カメラ移動量(第1の移動量)
42 後方カメラ移動量(第2の移動量)
43 オドメトリ移動量(第3の移動量)

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • ヤマハ発動機株式会社の「 オンデマンド既定ルート自動走行車両」が 公開されました。( 2021/01/07)

    【課題・解決手段】オンデマンド既定ルート自動走行車両100の利用要求を行った利用者701の待ち時間を短縮しつつ、エネルギー搭載量を減らして車両の設計自由度を向上させる。オンデマンド既定ルート自動走行車... 詳細

  • ヤマハ発動機株式会社の「 オンデマンド既定ルート自動走行車両」が 公開されました。( 2021/01/07)

    【課題・解決手段】オンデマンド既定ルート自動走行車両100の利用要求を行った利用者701の待ち時間を短縮しつつ、エネルギー搭載量を減らして車両の設計自由度を向上させる。オンデマンド既定ルート自動走行車... 詳細

  • 株式会社日立製作所の「 移動体制御装置」が 公開されました。( 2021/01/07)

    【課題・解決手段】自律移動可能な領域を拡張するとともに、拡張した領域の信頼度を適切に判定し、低コストかつ安定した自律移動を実現する移動体制御装置を提供する。このため、外部地図(12)を取得する外部地図... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ