図面 (/)

この項目の情報は公開日時点(2019年10月17日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (8)

課題

地図生成移動主体位置決め方法、装置、およびコンピュータ読み取り可能な記憶媒体を提供する。

解決手段

収集主体進行過程で収集された画像と、画像に関連する位置データ及び位置データとを取得するステップ202であって、位置データは、画像が収集されるときの収集主体の位置を示すものであり、位置データは、画像の3次元情報を示すものである、ステップを含む。画像と位置データに基づいて、地図の全域特徴層中の第1の要素を生成するステップ204をさらに含む。画像と点群データに基づいて、第1の要素に対応する、地図の局部特徴層中の第2の要素を生成するステップ206をさらに含む。

概要

背景

人々の日常生活の中で、移動主体(例えば、移動中の人、走行中の交通手段など)の位置を取得し、ナビケーション交通状況情報の提供のような、位置によるサービス(例えば、運行)を提供するように、常に様々な移動主体に対して位置決めを行う必要がある。位置決めの精度が高いほど、提供するサービスは、ユーザのニーズをよりよく満足することができる。

一方、人工知能技術分野の発展に伴い、自律走行技術はすでに注目を受けて、ますます多くの研究機関民間企業から自律走行技術への投資と配置を進めている。自律走行技術分野において、必要不可欠な一つの技術は、高精度の位置決めである。自律走行交通手段の量産生産を実現するために、どのように低コストの方法で高精度の位置決め結果を取得するのかとの問題が存在する。

概要

地生成、移動主体の位置決め方法、装置、およびコンピュータ読み取り可能な記憶媒体を提供する。収集主体進行過程で収集された画像と、画像に関連する位置データ及び位置データとを取得するステップ202であって、位置データは、画像が収集されるときの収集主体の位置を示すものであり、位置データは、画像の3次元情報を示すものである、ステップを含む。画像と位置データに基づいて、地の全域特徴層中の第1の要素を生成するステップ204をさらに含む。画像と点群データに基づいて、第1の要素に対応する、地の局部特徴層中の第2の要素を生成するステップ206をさらに含む。

目的

人々の日常生活の中で、移動主体(例えば、移動中の人、走行中の交通手段など)の位置を取得し、ナビケーション、交通状況情報の提供のような、位置によるサービス(例えば、運行)を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

地図生成方法であって、収集主体進行過程で収集された画像と、前記画像に関連する位置データ及び位置データとを取得するステップであって、前記位置データは、前記画像が収集されるときの前記収集主体の位置を示すものであり、前記位置データは、前記画像の3次元情報を示すものである、ステップと、前記画像と前記位置データに基づいて、前記地図の全域特徴層中の第1の要素を生成するステップと、前記画像と前記点群データに基づいて、第1の要素に対応する、前記地図の局部特徴層中の第2の要素を生成するステップとを含む地図生成方法。

請求項2

請求項1において、前記画像と、前記位置データ及び前記点群データを取得するステップは、前記収集主体に関連して設定されたカメラにより収集された前記画像を取得するステップと、位置センサにより前記カメラに同期的に収集された前記収集主体の位置データを取得するステップと、レーザーレーダーにより前記カメラに同期的に収集された前記点群データを取得するステップとを含む、地図生成方法。

請求項3

請求項1において、前記全域特徴層中の第1の要素を生成するステップは、前記画像の全体的属性を表示する前記画像の全域特徴を抽出するステップと、前記位置データと前記全域特徴を関連させて前記第1の要素を生成するステップとを含む、地図生成方法。

請求項4

請求項1において、前記局部特徴層中の第2の要素を生成するステップは、前記画像の一部に関する属性を表示する前記画像の局部特徴を抽出するステップと、前記点群データから前記局部特徴に関連する3次元情報を抽出するステップと、前記局部特徴と前記3次元情報を関連させて前記第2の要素を生成するステップとを含む、地図生成方法。

請求項5

移動主体位置決め方法であって、前記移動主体の進行過程で収集された画像を取得するステップと、前記画像が収集されるときの前記移動主体の位置データを取得するステップと、前記画像と、前記位置データと、請求項1から請求項4のうちいずれか1項の地図とに基づいて、前記移動主体の位置決めを確定するステップとを含む、移動主体の位置決め方法。

請求項6

請求項5において、前記移動主体の位置決めを確定するステップは、前記画像の全体的属性を表示する前記画像の全域特徴と、前記画像の一部に関する属性を表示する前記画像の局部特徴とを抽出するステップと、前記移動主体の位置データに基づいて、前記地図の全域特徴層から候補要素のセットを確定するステップと、前記候補要素のセットから、前記全域特徴にマッチングされる全域マッチング要素を確定するステップと、前記地図の局部特徴層から、前記全域マッチング要素に対応する局部マッチング要素を確定するステップと、前記局部マッチング要素に基づいて、前記局部特徴に関連する3次元情報を確定するステップと、前記3次元情報に基づいて、前記移動主体の位置決めを確定するステップとを含む、移動主体の位置決め方法。

請求項7

請求項5において、前記移動主体の計画経路を取得するステップと、前記計画経路に関連する前記地図をダウンロードするステップとをさらに含む移動主体の位置決め方法。

請求項8

請求項5において、前記画像を取得するステップは、前記移動主体に関連して設定されたカメラにより収集された前記画像を取得するステップを含む、移動主体の位置決め方法。

請求項9

請求項8において、前記移動主体の位置データを取得するステップは、位置センサにより前記カメラに同期的に収集された前記移動主体の位置データを取得するステップを含む、移動主体の位置決め方法。

請求項10

地図生成装置であって、収集主体の進行過程で収集された画像と、前記画像に関連する位置データ及び位置データとを取得するように構築された取得モジュールであって、前記位置データは、前記画像が収集されるときの前記収集主体の位置を示すものであり、前記位置データは、前記画像の3次元情報を示すものである、取得モジュールと、前記画像と前記位置データに基づいて、前記地図の全域特徴層中の第1の要素を生成するように構築された全域特徴層生成モジュールと、前記画像と前記点群データに基づいて、第1の要素に対応する、前記地図の局部特徴層中の第2の要素を生成するように構築された局部特徴層生成モジュールとを含む地図生成装置。

請求項11

請求項10において、前記取得モジュールは、前記収集主体と関連して設定されたカメラにより収集された前記画像を取得するように構築された画像取得モジュールと、位置センサにより前記カメラに同期的に収集された前記収集主体の位置データを取得するように構築された位置取得モジュールと、位置センサにより前記カメラに同期的に収集された前記収集主体の位置データを取得するように構築された点群取得モジュールとを含む、地図生成装置。

請求項12

請求項10において、前記全域特徴層生成モジュールは、前記画像の全体的属性を表示する前記画像の全域特徴を抽出するように構築された全域特徴抽出モジュールと、前記位置データと前記全域特徴を関連させて前記第1の要素を生成するように構築された関連付けモジュールとを含む、地図生成装置。

請求項13

請求項10において、前記局部特徴層生成モジュールは、前記画像の一部に関する属性を表示する前記画像の局部特徴を抽出するように構築された局部特徴抽出モジュールと、前記点群データから前記局部特徴に関連する3次元情報を抽出するように構築された3次元情報抽出モジュールと、前記局部特徴と前記3次元情報を関連させて前記第2の要素を生成するように構築された関連付けモジュールとを含む、地図生成装置。

請求項14

移動主体の位置決め装置であって、前記移動主体の進行過程で収集された画像を取得するように構築された画像取得モジュールと、前記画像が収集されるときの前記移動主体の位置データを取得するように構築された位置取得モジュールと、前記画像と、前記位置データと、請求項1から請求項4のうちいずれか1項の地図とに基づいて、前記移動主体の位置決めを確定するように構築された位置決めモジュールとを含む、移動主体の位置決め装置。

請求項15

請求項14において、前記位置決めモジュールは、前記画像の全体的属性を表示する前記画像の全域特徴と、前記画像の一部に関する属性を表示する前記画像の局部特徴とを抽出するように構築された特徴抽出モジュールと、前記移動主体の位置データに基づいて、前記地図の全域特徴層から候補要素のセットを確定するように構築された候補要素確定モジュールと、前記候補要素のセットから、前記全域特徴にマッチングされる全域マッチング要素を確定するように構築された全域マッチング要素確定モジュールと、前記地図の局部特徴層から、前記全域マッチング要素に対応する局部マッチング要素を確定するように構築された局部マッチング要素確定モジュールと、前記局部マッチング要素に基づいて、前記局部特徴に関連する3次元情報を確定するように構築された3次元情報確定モジュールと、前記3次元情報に基づいて、前記移動主体の位置決めを確定するように構築された位置決め確定モジュールとを含む、移動主体の位置決め装置。

請求項16

請求項14において、前記移動主体の計画経路を取得するように構築された計画経路取得モジュールと、前記計画経路に関連する前記地図をダウンロードするように構築された地図ダウンロードモジュールとをさらに含む、移動主体の位置決め装置。

請求項17

請求項14において、前記画像取得モジュールは、前記移動主体に関連して設定されたカメラにより収集された前記画像を取得するように、さらに構築される、移動主体の位置決め装置。

請求項18

請求項17において、前記位置取得モジュールは、位置センサにより前記カメラに同期的に収集された前記移動主体の位置データを取得するようにさらに構築される、移動主体の位置決め装置。

請求項19

1つまたは複数のプロセッサと、1つまたは複数のプログラムを格納するための記憶装置とを含む機器であって、前記1つまたは複数のプログラムが前記1つまたは複数のプロセッサによって実行される場合、前記1つまたは複数のプロセッサが請求項1から請求項4のうちいずれか1項の方法を実現する機器。

請求項20

1つまたは複数のプロセッサと、1つまたは複数のプログラムを格納するための記憶装置とを含む機器であって、前記1つまたは複数のプログラムが前記1つまたは複数のプロセッサによって実行される場合、前記1つまたは複数のプロセッサが請求項5から請求項9のうちいずれか1項の方法を実現する機器。

請求項21

コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行される場合、請求項1から請求項4のうちいずれか1項の方法を実現するコンピュータ読み取り可能な記憶媒体。

請求項22

コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行される場合、請求項5から請求項9のうちいずれか1項の方法を実現するコンピュータ読み取り可能な記憶媒体。

技術分野

0001

本発明の実施形態は、主に位置決め技術分野に関するもので、より具体的に、地図生成及び地図による移動主体位置決めの方法及び装置に関するものである。

背景技術

0002

人々の日常生活の中で、移動主体(例えば、移動中の人、走行中の交通手段など)の位置を取得し、ナビケーション交通状況情報の提供のような、位置によるサービス(例えば、運行)を提供するように、常に様々な移動主体に対して位置決めを行う必要がある。位置決めの精度が高いほど、提供するサービスは、ユーザのニーズをよりよく満足することができる。

0003

一方、人工知能技術分野の発展に伴い、自律走行技術はすでに注目を受けて、ますます多くの研究機関民間企業から自律走行技術への投資と配置を進めている。自律走行技術分野において、必要不可欠な一つの技術は、高精度の位置決めである。自律走行交通手段の量産生産を実現するために、どのように低コストの方法で高精度の位置決め結果を取得するのかとの問題が存在する。

0004

本発明の例示的実施形態によれば、地図生成方法及び移動主体の位置決め方法を提供する。

0005

本発明の第1の態様において、地図生成方法を提供する。この方法は、収集主体進行過程で収集された画像と、前記画像に関連する位置データ及び位置データとを取得するステップであって、前記位置データは、前記画像が収集されるときの前記収集主体の位置を示すものであり、前記位置データは、前記画像の3次元情報を示すものである、ステップを含む。この方法は、前記画像と前記位置データに基づいて、前記地図の全域特徴層中の第1の要素を生成するステップをさらに含む。この方法は、前記画像と前記点群データに基づいて、第1の要素に対応する、前記地図の局部特徴層中の第2の要素を生成するステップをさらに含む。

0006

本発明の第2の態様において、移動主体の位置決め方法を提供する。この方法は、前記移動主体の進行過程で収集された画像を取得するステップを含む。この方法は、前記画像が収集されるときの前記移動主体の位置データを取得するステップをさらに含む。この方法は、前記画像と、前記位置データと、請求項1から請求項4のうちいずれか1項の地図とに基づいて、前記移動主体の位置決めを確定するステップをさらに含む。

0007

本発明の第3の態様において、地図生成装置を提供する。この装置は、収集主体の進行過程で収集された画像と、前記画像に関連する位置データ及び位置データとを取得するように構築された取得モジュールであって、前記位置データは、前記画像が収集されるときの前記収集主体の位置を示すものであり、前記位置データは、前記画像の3次元情報を示すものである、取得モジュールと、前記画像と前記位置データに基づいて、前記地図の全域特徴層中の第1の要素を生成するように構築された全域特徴層生成モジュールと、前記画像と前記点群データに基づいて、第1の要素に対応する、前記地図の局部特徴層中の第2の要素を生成するように構築された局部特徴層生成モジュールを含む。

0008

本発明の第4の態様において、移動主体の位置決め装置を提供する。この装置は、前記移動主体の進行過程で収集された画像を取得するように構築された画像取得モジュールと、前記画像が収集されるときの前記移動主体の位置データを取得するように構築された位置取得モジュールと、前記画像と、前記位置データと、請求項1から請求項4のうちいずれか1項の地図とに基づいて、前記移動主体の位置決めを確定するように構築された位置決めモジュールを含む。

0009

本発明の第5の態様において、1つまたは複数のプロセッサと、1つまたは複数のプログラムを格納するための記憶装置を含む機器であって、前記1つまたは複数のプログラムが前記1つまたは複数のプロセッサによって実行される場合、前記1つまたは複数のプロセッサが本発明の第1の態様による方法を実現する機器を提供する。

0010

本発明の第6の態様において、1つまたは複数のプロセッサと、1つまたは複数のプログラムを格納するための記憶装置を含む機器であって、前記1つまたは複数のプログラムが前記1つまたは複数のプロセッサによって実行される場合、前記1つまたは複数のプロセッサが本発明の第2の態様による方法を実現する機器を提供する。

0011

本発明の第7の態様において、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行される場合、本発明の第1の態様による方法を実現するコンピュータ読み取り可能な記憶媒体を提供する。

0012

本発明の第8の態様において、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行される場合、本発明の第2の態様による方法を実現するコンピュータ読み取り可能な記憶媒体を提供する。

0013

発明の内容の部分で説明した内容は、本願の実施形態のポイントまたは重要な特徴を限定しようとするものではなく、本願の範囲を限定するためのものではないことを理解されたい。本願の他の特徴は、下の説明を介して容易に理解できるだろう。

図面の簡単な説明

0014

以下の図面による非限定的な実施例についての詳細な説明を読み、参照することにより、本願の他の特徴、目的及び利点がより明らかになる。

0015

図1は、本発明の複数の実施形態を実現可能な例示的な環境の概略図を示す。
図2は、本発明の実施形態による地図生成方法のフローチャートを示す。
図3は、本発明の実施形態に係る移動主体の位置決め方法のフローチャートを示す。
図4は、本発明の実施形態に係る移動主体の位置決め方法のフローチャートを示す。
図5は、本発明の実施形態に係る地図生成装置のブロック図を示す。
図6は、本発明の実施形態に係る移動主体の位置決め装置のブロック図を示す。
図7は、本発明の複数の実施形態を実施可能な計算装置のブロック図を示す。

実施例

0016

以下、説明の詳細を参照しながら本願の様々な実施形態及び態様を説明し、図面には、上記様々な実施形態が示される。以下の説明及び図面は、本願を例示するためのものであり、限定するものとして解釈されるべきではない。本願の様々な実施形態を全面的に理解するために、多くの特定の詳細を説明する。ところが、いくつかの場合に、本願の実施形態に対する簡単な説明を提供するために、周知又は従来技術の詳細について説明していない。

0017

本願の実施形態を説明することにおいて、用語「含む」及び似ている用語は、開放的な「含む」に理解すべきである。つまり、「...を含むが、これらに限定されない」と理解すべきである。用語「に基づいて」は、「少なくとも部分的に...に基づいて」と理解すべきである。用語「一実施形態」または「当該実施形態」は、「少なくとも一つの実施形態」として理解すべきである。用語「第1」、「第2」などは、異なるか、同じ対象物を示す可能性もある。以下、他の明確な定義と暗黙的定義を含める可能性もある。

0018

前述したように、ユーザへより良好なロケーションベースのサービスを提供するために、正確な位置決めを行う必要がある。特に、自律走行技術分野では、相対的に低コストで車両の正確な自動位置決めを実現することはより重要である。

0019

従来の位置決め方法は、一般的に、レーザー点群ベースの位置決め方法および画像ベースの位置決め方法に区分することができる。レーザー点群ベースの位置決め方法の利点は、位置決めの精度が高く、技術が相対的に成熟しているが、欠陥も非常に明確であり、コストが非常に高く、量産化を実現しにくい。画像ベースの位置決め方法は、コストが相対的に低く、量産化を実現しやすいが、その精度は高くなく、自律走行の要求を満足することができない。

0020

本発明の実施形態によれば、地図ベースの移動主体の位置決め方法を提供する。この案は、レーザーレーダーの位置決めの精度が高い利点とカメラのコストが低い利点とを十分に利用する。この案は、主に2つの部分を含み、ここで、第1の部分は、オフラインでの画像の特徴層を備える地図を生成することであり、第2の部分は、オンラインで生成された地図を利用して、移動主体に対して位置決めを行うことである。

0021

本発明の文脈において、用語「移動主体」は、例えば人、車両、または移動可能な他のデバイスのような移動可能な任意の主体である。本発明の実施形態において、移動主体に対して正確に位置決めを行うことができるため、移動主体は、画像データを収集することができるカメラ、例え、高精度カメラパノラマカメラモノカメラなどが装着されることができる。

0022

本発明の文脈において、用語「収集主体」は、点群データ、画像データ、位置データ、および/またはその他の適切なデータを収集することができる主体である。収集主体は、例えば車両、人や移動可能な他のデバイスのような特定の移動主体であることができる。収集主体は、カメラ、位置センサおよび/またはレーザーレーダーなどの装置が装着されることができるが、移動主体は、カメラ、位置センサが装着され、レーザーレーダーが装着されなくてもよい。カメラは、高精度カメラ、パノラマカメラ、モノカメラなどであってもよい。位置センサは、GPSユニット、A−GPS(補助型GPS)装置、SPAN−CPT等であってもよい。レーザーレーダーは、単一ラインのレーザーレーダー、複数のラインのレーザーレーダー、3Dレーザーレーダー等であってもよい。

0023

前記車両は、自律走行車および/または非自律走行車などを含むことができる。自律走行車は、無人走行車とも呼ばれ、部分的または全体的に自律走行操作を実行可能な車である。非自律走行車は、完全に人によって走行操作指令が提供される車両を指す。

0024

本発明の実施形態において、収集主体と移動主体は、相互に関連するものであることは、技術分野の当業者により理解すべきである。例えば、データを収集する際に収集主体が移動状況であれば、このとき、収集主体は移動主体と見なされることができる。一方、移動主体に対して位置決めを行う場合に、移動主体が画像を収集してその画像に基づいて位置決めを行うと、この時点で、移動主体は、収集主体と見なされることができる。

0025

地図生成過程では、カメラで収集した画像と位置センサで取得した位置情報を利用して、地図の全域特徴層を作成し、カメラにより収集された画像やレーザーレーダーにより取得された点群を利用して、地図の局部特徴層を生成する。全域特徴層では、大体の位置情報と画像の全域特徴を関連させ、局部の特徴層では、正確な3次元空間座標情報と、その画像の局部特徴とを関連させる。これにより、画像の全域特徴と局部特徴によって、大体の位置情報と正確な3次元情報を関連させる。

0026

移動主体に対して位置決めを行う過程において、移動主体の進行過程で収集された画像と、その画像が収集されるときの移動主体の一つの大体の位置を用いて、生成された全域特徴層と局部特徴層を備える地図に基づいて、当該画像に関連する3次元空間座標情報を確定し、3次元空間座標情報に基づいて移動主体の位置をより正確に確定する。第1の部分で生成された高精度の地図に基づいて、移動主体は、画像を収集するためのカメラと、大体の位置を取得するための位置センサ(例えば、GPSデバイス)だけを備えれば、レーザーレーダーが完備されていなくても、リアルタイムの3次元情報を取得することができる。

0027

以下の説明において、説明の便宜のために、本発明の下の実施形態は、車両を例に挙げて、各実施形態を説明する。しかしながら、本発明の方法は、同様の方法で他の種類の収集主体および/または移動主体に適用されることもできることを、その技術分野の当業者は理解すべきである。

0028

以下、添付された図面を参照して、本発明の実施形態を具体的に説明する。

0029

図1は、本発明の複数の実施形態を実現可能な例示的環境100の概略図を示す。この例示的環境100において、計算装置120によって地図110を生成し、当該地図110は、画像の特徴層を備える。地図110を生成するために、計算装置120は、まず、画像データ、位置データ、および点群データなどを収集する。収集主体(例えば、車両140)上に、既に同期された位置センサ、レーザーレーダーとカメラが設置される。データ収集のステップにおいて、カメラは、車両140の運行過程に画像を収集し、位置センサは、画像が収集されるときの車両140の位置を取得し、レーザーレーダーは、画像に関連する点群データを取得し、当該点群データは、その画像の3次元情報を示す。記憶装置130は、車両140の運行過程で収集した画像、画像が収集されるときの車両140の位置、及び画像に関連点群データなどを、これらを関連させる方法で記憶することができる。一部の実施形態において、記憶装置130は、地図110を記憶することもできる。

0030

本発明のいくつかの実施形態において、カメラ、位置センサ、レーザーレーダーの周波数は、互いに異なる可能性があるので、位置センサで取得した位置は、画像が収集されるときの車両140の位置と必ず正確に対応し、レーザーレーダーに収集した点群データは、画像と必ずしも正確に対応するわけではない。そのために、収集した画像、位置、および点群間が対応するように、これらに対して補間などの操作を行うことができ、相互に対応する画像、位置、点群は関連して記憶装置130に記憶することができる。

0031

計算装置120は、記憶装置130から、車140の進行過程で収集した画像、画像が収集されるときの車両140の位置を示す位置データ、及び画像の3次元情報を示す点群データを取得する。計算装置120は、画像と位置データに基づいて、地図の全域特徴層を生成する。計算装置120は、画像や点群データに基づいて、地図の局部特徴層も生成する。収集された各画像は、全域特徴層においてすべて一つの対応する全域要素を備え、収集された各画像は、局部特徴層においてすべて一つの対応する局部要素を備え、同じ画像の全域要素と局部要素は、相互に対応するものである。図2は、全域特徴層のうち1つの全域要素と局部特徴層のうち一つの局部要素をどのように生成するかを具体的に示し、以下に詳細に説明する。

0032

この例示的環境100において、計算装置160により移動主体(例えば、車両150)の位置決めを確定する。車両150には、カメラ(例えば、低コストの単眼カメラカメラ)と位置センサ(例えば、GPSデバイス)が設置される。計算装置160は、車両150の運行過程にカメラで収集した画像と、その画像が収集されるときの位置センサで取得した位置データを取得する。計算装置160は、取得した画像、位置データおよび計算装置120で生成した地図110に基づいて、車両150の位置決めを確定する。図3は、計算装置160がどのように車両150に対して位置決めを行うかどうかを具体的に示し、以下に詳細に説明する。

0033

図1に車両140と車両150が異なる車両に図示されるが、これらは同じ車であってもよく、当該車両は地図を構築するのに使用することができるだけでなく、構築された地図を利用して位置決めを行うことができることを、その技術分野の当業者は理解すべきである。また、計算装置160と計算装置120は、異なる部材で図示されるが、これらは同じ部材であってもよく、同じ計算装置で地図生成と車両の位置決めの両者を完成してもよい。計算装置160は、車両150と分離されているもので図示れるが、計算装置160は、車両150の内部に位置することもできることを理解すべきである。

0034

また、図1に示された各部材の数、構造、接続関係および配置はすべて例示的なものに過ぎず、限定的なものではなく、そのうちのいくつかの部材は、選択可能なものであり、当該技術分野の当業者は、本発明の範囲内で数、構造、接続関係および配置などの方面で調整することができることを理解すべきである。

0035

以下、図2を組み合わせて、全域特徴層中の全域要素と局部特徴層中の局部要素の生成過程を具体的に説明する。図2は、本発明の実施形態による地図生成方法200のフローチャートを示す。方法200は、例えば図1中の計算装置120によって実行されることができる。

0036

ブロック202において、計算装置120は、収集主体(例えば、車両140)の運行過程で収集した画像、当該画像に関連する位置データ、及び当該画像に関連する点群データを取得する。位置データは、その画像が収集されるときの車両140の位置を示し、点群データは、その画像の3次元情報(例えば、その画像の中の対象物の現実の世界での3次元座標)を示す。

0037

本発明のいくつかの実施形態において、カメラは、車両140と関連して設定され、例えば車両140の上部、側面、前方車窓、後方車窓などの位置に設置され、車両140の運転手乗客携帯したカメラや撮像機能を備えた他のデバイス(例えば、携帯電話タブレットPCなど)であってもよい。さらに、位置センサ(例えば、GPSデバイス)、及びレーザーレーダーは、すべてカメラと同期されるように設定することができる。一部の実施形態において、計算装置120は、カメラから収集した画像を取得することができ、GPSデバイスから対応するカメラと同期的に収集した車両140の位置データを取得することができ、レーザーレーダーから、カメラと同期的に収集された点群データを取得することができる。

0038

ブロック204において、計算装置120は、取得した画像と位置データに基づいて、全域特徴層中の第1の要素(つまり、全域要素)を生成する。一部の実施形態において、計算装置120は、取得した画像の全域特徴を抽出する。画像の全域特徴は、画像の全体的属性、例えば、色、テクスチャ、形状、空間包絡などを表示する。本発明のいくつかの実施形態において、抽出された全域特徴は、画像の空間包絡である。その後の計算が便利するために、計算装置120は、抽出された全域特徴を一つの技術語(例えば、一定の次元ベクトル)で表示することができ、これは全域特徴技術語と呼ばれることもできる。計算装置120は、画像から抽出した全域特徴と画像が収集されるときの車両140の位置を関連させて、地図の全域特徴層のうち1つの全域要素を生成する。例えば、全域要素の形式は、{全域特徴技術語、位置}であることができる。

0039

ブロック206において、計算装置120は、取得した画像と、点群データに基づいて、地図の局部特徴層中の第2の要素(つまり、局部要素)を生成する。一部の実施形態において、計算装置120は、画像の複数の局部特徴(例えば、N個)を抽出する。局部特徴は、画像の局部領域(例えば、画像の一つの画素の周囲の領域)の属性、例えば、エッジ角点、線、曲線などを表示する。同様に、その後の計算が便利するために、計算装置120は、抽出された複数の局部特徴中の各局部特徴を一つの技術語を表示することができ、これは局部特徴技術語と呼ばれることもできる。

0040

一部の実施形態において、計算装置120は、点群データから画像の各局部特徴に関連する3次元情報を抽出する。例えば、一つの局部特徴により反映されるのが、画像の中のピクセル(X、Y)の周囲の局部領域の属性である場合、計算装置120は、点群データからピクセル(X、Y)に対応する空間3次元座標を抽出する。計算装置120は、抽出された各局部特徴とその局部特徴に関連する3次元情報を関連させて、地図の局部特徴層の一つの局部要素を生成する。例えば、局部要素の形式は、{(局部特徴技術語1、3次元情報1)、(局部特徴技術語2、3次元情報2).....(局部特徴技術語N、3次元情報N)}であることができる。局部特徴層はレーザーレーダーにより収集された3次元情報を含むので、生成された地図の精度はさらに高くなる。

0041

このように、一つの画像を対象にして、大体の位置情報を利用して、全域特徴層のうち1つの全域要素を作成し、点群データを利用して局部特徴層の一つの局部要素を生成することができる。同じ画像から生成された全域要素と局部要素は、相互に対応するものである。

0042

記憶装置130に格納された各画像を対象にして、または後続的に地図を更新するために収集した他の画像を対象にして、図2に示された方法200を繰り返すことにより、地図110の全域特徴層と局部特徴層を絶えず豊かにすることができる。生成された地図は、クラウドサーバ側に記憶されることができる。

0043

生成された地図110において、全域特徴層では、画像の全域特徴と大体の位置情報を関連させ、局部特徴層では、画像の局部特徴と精密な3次元情報を関連させることで、画像の全域特徴と局部特徴を橋で、大体の位置情報と精密な3次元情報を関連させる。これらの地図を利用して、レーザーレーダーがインストールされていない車両に対して高精度の位置決めを行うこともできる。

0044

以下、図3を組み合わせて、どのよう本発明の実施形態に係る生成された地図を利用して、車両のような移動主体に対して位置決めを行うかを説明する。図3は、本発明の実施形態に係る移動主体の位置決め方法300のフローチャートを示す。方法300は、図1に示された計算装置160によって実行されることができる。

0045

ブロック302において、計算装置160は、移動主体(例えば、車両150)の運行過程で収集した画像を取得する。本発明のいくつかの実施形態において、計算装置160は、車両150の内部のカメラからの画像を取得することができる。

0046

ブロック304において、計算装置160は、画像が収集されるときの車両150の位置データを取得する。例えば、計算装置160は、車両150の内部のGPSデバイスから位置データを取得することができる。本発明のいくつかの実施形態において、カメラは、車両150と関連して設定され、例えば、車両150の上部、側面、前方車窓、後方車窓などの位置に設置され、車両150の運転手や乗客が携帯したカメラや撮像機能を備えた他のデバイス(例えば、携帯電話、タブレットPCなど)であってもよい。さらに、GPSデバイスは、カメラと同期されるように設定することができる。

0047

ブロック306において、計算装置160は、取得した画像と、位置データと、本発明の実施形態に係る画像特徴層を備える地図とに基づいて、車両150の位置決めを確定する。本発明の実施形態に係る全域特徴層と局部特徴層を備える地図を利用して、車両150上に低コストのカメラとGPSデバイスだけがインストールされば、高価なレーザーレーダーがインストールされてなくても、高精度の位置決めを実現することができる。図4は、さらにどのように画像、位置データ、及び画像特徴層を備える地図に基づいて、車両の位置決めを行うのかに対するより詳細なプロセスを示し、以下これに対する詳細に説明する。

0048

選択可能に、計算リソースを節約するために、計算装置160は、まず、車両150から1つまたは複数の計画経路を取得し、続いて、クラウドサーバからその計画経路に関連する地図の一部をダウンロードすることができる。この方法により、計算装置160は、全体的な地図を利用する必要がなく、ただその地図の一部分だけを利用するので、コストの支出を節約し、処理効率と速度を向上させる。

0049

図4は、本発明の一部の実施形態に係る移動主体の位置決め方法400を示す。以下、図4を組み合わせて移動主体の位置決め過程を詳細に説明する。方法400は、図1に示された計算装置160によって実行されることができる。

0050

ブロック402において、計算装置160は、画像の全域特徴と局部特徴を抽出する。上述したように、全域特徴は、画像の全体的属性、例えば、画像の空間包絡を表示する。局部特徴は、画像の局部領域(つまり、画像の一部分)の属性を表示する。本発明のいくつかの実施形態において、計算装置160は、全域特徴技術語を利用して抽出した全域特徴を表示し、局部特徴技術語を利用して抽出した局部特徴を表示する。本発明のいくつかの実施形態において、抽出された局部特徴は、複数個であり、例えば、局部特徴1’乃至局部特徴N’である。

0051

ブロック404において、計算装置160は、位置データに基づいて、全域特徴層から候補要素のセットを確定する。本発明のいくつかの実施形態において、計算装置160は、全域特徴層から候補要素のセットの中の候補要素として、全域要素に関連した場所と位置データにより表示される位置との間の距離が所定の閾値内に位置する全域要素を選択する。前記所定の閾値は、例えば、100メートル、200メートルなどである。

0052

ブロック406において、計算装置160は、候補要素のセットから、画像から抽出した全域特徴に一致する全域マッチング要素を確定する。本発明のいくつかの実施形態において、計算装置160は、抽出された全域特徴と候補要素のセット中の各候補要素の全域特徴とを比較し、前記比較に基づいて、候補要素のセットから全域特徴にマッチングされる全域マッチング要素を確定する。

0053

ブロック408において、計算装置160は、局部特徴層から全域マッチング要素に対応する局部マッチング要素を確定する。上述したように、全域マッチング要素に対応する局部マッチング要素は、N個のエントリを含むことができ、それぞれのエントリは、単一の局部特徴と相応する3次元情報とを備え、例えば、その形式は、{(局部特徴技術語1、3次元情報1)、(局部特徴技術語2、3次元情報2)...(局部特徴技術語N、3次元情報N)}であることができる。

0054

ブロック410において、計算装置160は、局部マッチング要素に基づいて、画像から抽出した局部特徴に関連する3次元情報を確定する。具体的に、画像から抽出した複数の局部特徴中の各局部特徴I’(1’≦I’≦N’)に対して、計算装置160は、これを局部マッチング要素のN個の局部特徴のそれぞれと比較し、局部マッチング要素の局部特徴I’にマッチングされる局部マッチング特徴を確定する。また、局部特徴I’に関連する3次元情報として、局部マッチング特徴に関連する3次元情報を取得する。

0055

ブロック412において、計算装置160は、確定した3次元情報に基づいて、移動主体の位置決めを確定する。本発明のいくつかの実施形態において、確定した3次元情報に基づいて、例えば、PNP(PERSPECTIVE−N−POINTアルゴリズムを使用して、カメラ姿に対して解を求めれて、移動主体の位置決めを確定する。

0056

地図は全域特徴と局部特徴を介して大体の位置と精密な3次元座標を関連させるので、実際の位置決めのプロセスにおいて、車両150は、単にカメラ(例えば、単目カメラ)と位置センサ(例えば、GPS)をインストールするだけで、高価な高精度のレーザーレーダーがインストールされてなくても、車両150の高精度の位置決めを実現することができる。

0057

図5は、本発明の実施形態に係る地図生成装置500のブロック図を示す。図5に示すように、装置500は、収集主体の進行過程で収集した画像と、当該画像が収集されるときの収集主体の位置を示す画像に関連した位置データと、当該画像の3次元情報を示すその画像に関連する点群データを取得するように構築された取得モジュール510と、当該画像と当該位置データに基づいて、地図の全域特徴層中の第1の要素を生成するように構築された全域特徴層生成モジュール520と、当該画像と当該点群データに基づいて、第1の要素に対応する地図の局部特徴層中の第2の要素を生成するように構築された局部特徴層生成モジュール530を含む。

0058

本発明のいくつかの実施形態において、取得モジュール510は、収集主体と関連して設定されたカメラにより収集された前記画像を取得するように構築された画像取得モジュールと、位置センサによりカメラに同期的に収集された収集主体の位置データを取得するように構築された位置取得モジュールと、レーザーレーダーによりカメラに同期的に収集された点群データを取得するように構築された点群取得モジュールを含む。

0059

本発明のいくつかの実施形態において、全域特徴層の生成モジュール520は、画像の全体的属性を表示する画像の全域特徴を抽出するように構築された全域特徴抽出モジュールと、位置データと全域特徴を関連させて全域特徴層のうちの第1の要素を生成するように構築された関連付けモジュールを含む。

0060

本発明のいくつかの実施形態において、局部特徴層の生成モジュール530は、画像の一部に関する属性を表示する画像の局部特徴を抽出するように構築された局部特徴抽出モジュールと、点群データから局部特徴に関連する3次元情報を抽出するように構築された3次元情報抽出モジュールと、局部特徴と3次元情報を関連させて局部特徴層中の第2の要素を生成するように構築された関連付けモジュールを含む。

0061

図6は、本発明の実施形態に係る移動主体の位置決め装置600のブロック図を示す。図6に示すように、装置600には、移動主体の運行過程で収集した画像を取得するように構築された画像取得モジュール610と、当該画像が収集されるときの移動主体の位置データを取得するように構築された位置取得モジュール620と、当該画像、当該位置データ、及び本発明の実施形態に係る地図に基づいて、移動主体の位置決めを確定するように構築された位置決めモジュール630を含む。

0062

本発明のいくつかの実施形態において、位置決めモジュール630は、画像の全体的属性を表示する画像の全域特徴と、画像の一部に関する属性を表示する画像の局部特徴とを抽出するように構築された特徴抽出モジュールと、移動主体の位置データに基づいて、地図の全域特徴層から候補要素のセットを確定するように構築された候補要素確定モジュールと、候補要素のセットから全域特徴にマッチングされる全域マッチング要素を確定するように構築された全域マッチング要素確定モジュールと、地図の局部特徴層から全域マッチング要素に対応する局部マッチング要素を確定するように構築された局部マッチング要素確定モジュールと、局部マッチング要素に基づいて、局部特徴に関連する3次元情報を確定するように構築された3次元情報確定モジュールと、前記3次元情報に基づいて、移動主体の位置決めを確定するように構築された位置決め確定モジュールを含む。

0063

本発明のいくつかの実施形態において、装置600には、移動主体の計画経路を取得するように構築された計画経路取得モジュールと、計画ルートに関連する地図をダウンロードするように構築された地図ダウンロードモジュールを含む。

0064

本発明のいくつかの実施形態において、画像取得モジュール610は、移動主体に関連して設定されたカメラにより収集された画像を取得するように、さらに構築される。位置取得モジュール620は、位置センサによりカメラに同期的に収集された移動主体の位置データを取得するように、さらに構築される。

0065

図7は、本願の複数の実施形態を実施することができる機器700のブロック図を示す。機器700は、図1の点コンピューティング機器160を実現するのに使用することができる。図示されたように、機器700は、中央処理ユニット701(CPU)を含み、CPU701は、読み取り専用メモリ702(ROM)に記憶されたコンピュータプログラム指令、または記憶ユニット708からランダムアクセスメモリ703(RAM)にロードされたコンピュータプログラム指令に基づいて、各種の適切な動作と処理を実行することができる。RAM703には、機器700の動作に必要な各種のプログラムやデータが記憶されることができる。CPU701、ROM702とRAM703、バス704を介して互いに接続される。入力/出力(I/O)インターフェース705もバス704に接続される。

0066

機器700中のI/Oインタフェース705に接続されている複数の部品として、キーボードマウスなどの入力ユニット706と、様々なタイプの表示装置スピーカーなどの出力ユニット707と、磁気ディスクコンパクトディスクなどの記憶ユニット708と、LANカードモデム無線通信トランシーバなどの通信ユニット709が含まれる。通信ユニット709は、機器700がインターネットなどのコンピュータネットワークおよび/または各種の電気通信網を介して他の機器と情報/データを交換することを可能にする。

0067

中央処理ユニット701は、前述した各方法と処理、例えば、プロセス200、300および/またはプロセス400を実行する。例えば、いくつかの実施形態において、プロセス200、300および/またはプロセス400は、コンピュータソフトウェアプログラムとして実現されることができ、これは機械可読媒体(例えば、記憶ユニット708)に含まれている。一部の実施形態において、コンピュータプログラムの一部または全部は、ROM702、および/または通信ユニット709を経由して機器700上にロードおよび/またはインストールすることができる。コンピュータプログラムは、RAM703にロードされてCPU701により実行される場合、前述したプロセス200、300および/またはプロセス400の1つまたは複数のステップを実行することができる。選択可能に、その他の実施形態において、CPU701は、ギターの任意の適切な方法で(例えば、ファームウェアの助けを借りて)プロセス200、300および/またはプロセス400を実行するように構築することができる。

0068

本明細書に説明されて複数の機能は、少なくとも部分的に1つまたは複数のハードウェアロジック部材で実行することができる。例えば、使用可能な模式的なタイプのハードウェアロジック部材は、フィールドプログラマブルゲートアレイFPGA)、特定用途向け集積回路ASIC)、オンデマンド標準製品(ASSP)、システムオンチップシステム(SOC)、複合プログラマブルロジック素子(CPLD)などを含むが、これに限定されない。

0069

本願の方法を実施するためのプログラムコードは、1つまたは複数のプログラマブル言語の任意の組み合わせを利用してプログラミングすることができる。これらのプログラムコードは、汎用コンピュータ、オンデマンドコンピュータ又はその他のプログラマブルデータ処理装置のプロセッサまたは制御装置に提供されることができ、プログラムコードがプロセッサまたは制御装置により実行される場合には、フローチャート、および/またはブロック図に規定された機能/操作が実施される。プログラムコードは、完全に機械上で実行されるか、部分的に機械上で実行されるか、独立したソフトウェアパッケージとして部分的に機械上で実行されて、部分的にリモートマシン上で実行されたり、または完全にリモートマシンまたはサービスで実行されることができる。

0070

本願の文脈において、機械可読媒体は、あるタイプの媒体であることができ、コマンドを実行するシステム、装置又は機器によって使用されるか、またはコマンドの実行システム、装置または機器と組み合わせて使用されるプログラムを含むまたは記憶することができる。機械可読媒体は、機械可読信号媒体または機械可読記憶媒体であることができる。機械可読媒体は、電子磁気光学電磁赤外線または半導体システム、装置、または機器、または前述した内容の任意の適切な組み合わせを含むことができるが、これに限定されない。機械可読記憶媒体のより具体的な例は、1つまたは複数のワイヤベース電気的接続ポータブルコンピュータディスクハードディスク、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、消去およびプログラム可能な読み取り専用メモリ(EPROMまたはフラッシュメモリ)、光ファイバポータブルコンパクトディスク読み取り専用メモリ(CD−ROM)、光学ストレージ装置磁気記憶装置、または前述した内容の任意の適切な組み合わせを含むことができるが、これに限定されない。

0071

また、特定の順序を利用して、各操作ウルルル説明したが、これはこのような操作が図示された特定の順序またはシーケンスで実行されることを要求したり、目的の結果を実現するために図示されたすべての操作が実行されることを要求すると理解してはならない。一定の環境において、マルチタスク並列処理は、有利であることができる。同様に、上記説明に様々な具体的な実現の詳細が含まれているが、これらは本願の範囲の限定と解釈してはならない。別の実施形態の文脈で説明されたいくつかの特徴は、組み合わせの方法で単一の実現に実現されることができる。逆に、単一の実現のコンテキストで説明された各種の特徴も個別にまたは任意の適切なサブ組み合わせの方法で複数の実現に実現されることもできる。

0072

構造の特徴および/または方法のロジックの動作に固有の言語を使用して本主題を説明したが、特許請求の範囲に限定された主題は、必ずしも前述した特定の特徴または動作に限定されるべきではないことを理解すべきである。逆に、前述した特定の特徴または動作は、単に特許請求の範囲を実現する例示的形式である。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ