技術 車線境界線を検出するための方法、装置、および媒体

0001

本発明の実施形態は、主に画像検出技術の分野に関するものであり、より具体的に車線境界線を検出するための方法、装置および媒体に関するものである。

0002

現在、高精度地図と自律走行技術の研究及び開発は、ますます注目されている。従来の電子地図と比較して、高精度地図の絶対座標精度はさらに高く、これに含まれる道路情報はより豊かである。精密地図の発展は、自律走行の実現を促進し、例えば、高精度地図は自律走行の安全性と信頼性を向上させることができる。

0003

高精度地図や自律走行において、高精度地図と道路検出の需要のために、車両は、道路中の車線境界線を検出しなければならない。例えば、車載カメラで撮像された道路情報から車線境界線上の車線境界線ポイントの正確な位置座標を抽出しなければならない。しかしながら、環境に光線の干渉が存在するので、単に従来のコンピュータビジョンアルゴリズムだけを利用して車線境界線ポイントをよく抽出できなくなる。また、単に例えば回線ニューラルネットワークのみを利用する深層学習アルゴリズムを使用して車線境界線ポイントに対する分類を行う場合、車線境界線位置の正確性を確定しにくくなる。

0004

本発明の例示的実施形態によれば、車線境界線を検出するための方案を提供する。
本発明の第１の態様において、車線境界線検出モデルを生成するための方法を提供する。

0005

この方法は、元画像から車線境界線を検出し、検出された車線境界線に関連する第１の画像を生成するステップと、前記元画像に基づいて生成された、マークされた車線境界線に関連する第２の画像を取得するステップと、前記第１の画像と前記第２の画像に基づいて、前記検出された車線境界線が正しいか否かを示す少なくとも一つの表記を生成するステップと、前記第１の画像と前記少なくとも一つの表記に基づいて、前記車線境界線を自動的に認識するための分類器（ｃｌａｓｓｉｆｉｅｒ）モデルをトレーニングするステップとを含む。

0006

本発明の第２の態様において、車線境界線を検出するための方法を提供する。この方法は、元画像から車線境界線を検出し、検出された車線境界線に関連する第１の画像を生成するステップと、本発明の第１の態様に記載の分類器モデルに入力して、前記車線境界線を自動的に認識するステップとを含む。

0007

本発明の第３の態様において、車線境界線検出モデルを生成するための装置を提供する。この装置は、元画像から車線境界線を検出し、検出された車線境界線に関連する第１の画像を生成するように構成された第１の画像生成モジュールと、前記元画像に基づいて生成された、マークされた車線境界線に関連する第２の画像を取得するように構成された第２の画像取得モジュールと、前記第１の画像と前記第２の画像に基づいて、前記検出された車線境界線が正しいか否かを示す少なくとも一つの表記を生成するように構成された表記生成モジュールと、前記第１の画像と前記少なくとも一つの表記に基づいて、前記車線境界線を自動的に認識するための分類器モデルをトレーニングするように構成されたモデルトレーニングモジュールとを含む。

0008

本発明の第４の態様において、車線境界線を検出するための装置を提供する。この装置は、元画像から車線境界線を検出し、検出された車線境界線に関連する第１の画像を生成するように構成された第１の画像生成モジュールと、本発明の第１の態様に記載の分類器モデルに入力して、前記車線境界線を自動的に認識するように構成されたモデル適用モジュールとを含む。

0009

本発明の第５の態様において、１つまたは複数のプロセッサと、１つまたは複数のプログラムを格納するための記憶装置を含む機器であって、１つまたは複数のプログラムが１つまたは複数のプロセッサによって実行される場合、１つまたは複数のプロセッサが本発明の第１の態様に記載の方法を実現する機器を提供する。

0010

本発明の第６の態様において、１つまたは複数のプロセッサと、１つまたは複数のプログラムを格納するための記憶装置を含む機器であって、１つまたは複数のプログラムが１つまたは複数のプロセッサによって実行される場合、１つまたは複数のプロセッサが本発明の第２の態様に記載の方法を実現する機器を提供する。

0011

本発明の第７の態様において、コンピュータプログラムが記憶されているコンピュータ読み取り可能な媒体であって、当該プログラムがプレプロセッサによって実行される場合、本発明の第１の態様に記載の方法を実現するコンピュータ読み取り可能な媒体を提供する。

0012

本発明の第８の態様において、コンピュータプログラムが記憶されているコンピュータ読み取り可能な媒体であって、当該プログラムがプレプロセッサによって実行される場合、本発明の第２の態様に記載の方法を実現するコンピュータ読み取り可能な媒体を提供する。

0013

発明の内容の部分で説明した内容は、本願の実施形態のポイントまたは重要な特徴を限定しようとするものではなく、本願の範囲を限定するためのものではないことを理解されたい。本願の他の特徴は、下の説明を介して容易に理解できるだろう。

0014

以下の図面による非限定的な実施例についての詳細な説明を読み、参照することにより、本願の他の特徴、目的及び利点がより明らかになる。
図１は、本発明の複数の実施形態が実現される例示的な環境の概略図を示す。
図２Ａは、本発明の一部の実施形態に係る元画像、第１の画像と第２画像の模式図を示す。
図２Ｂは、本発明の一部の実施形態に係る元画像、第１の画像と第２画像の模式図を示す。
図２Ｃは、本発明の一部の実施形態に係る元画像、第１の画像と第２画像の模式図を示す。
図３は、本発明の一部の実施形態に係る車線境界線検出モデルを生成するためのプロセスのフローチャートを示す。
図４は、本発明の一部の実施形態に係る第１の画像を生成するプロセスのフローチャートを示す。
図５は、本発明の一部の実施形態に係る少なくとも一つの表記を生成するプロセスのフローチャートを示す。
図６は、本発明の一部の実施形態に係る車線境界線を検出するためのプロセスのフローチャートを示す。
図７は、本発明の実施形態に係る車線境界線検出モデルを生成するための装置の概略のブロック図を示す。
図８は、本発明の実施形態に係る車線境界線を検出するための装置の概略のブロック図を示す。
図９は、本発明の複数の実施形態を実施可能な計算機器のブロック図を示す。
図１０Ａは、画像ブロックと第２の画像がマッチングされる、及びマッチングされていない概略図を示す。
図１０Ｂは、画像ブロックと第２の画像がマッチングされる、及びマッチングされていない概略図を示す。

0015

以下、説明の詳細を参照しながら本願の様々な実施形態及び態様を説明し、図面には、上記様々な実施形態が示される。以下の説明及び図面は、本願を例示するためのものであり、限定するものとして解釈されるべきではない。本願の様々な実施形態を全面的に理解するために、多くの特定の詳細を説明する。ところが、いくつかの場合には、本願の実施形態に対する簡単な説明を提供するために、周知又は従来技術の詳細について説明していない。

0016

本願の実施形態を説明することにおいて、用語「含む」及び似ている用語は、開放的な「含む」に理解すべきである。つまり、「．．．を含むが、これらに限定されない」と理解すべきである。用語「に基づいて」は、「少なくとも部分的に．．．に基づいて」と理解すべきである。用語「一実施形態」または「当該実施形態」は、「少なくとも一つの実施形態」として理解すべきである。用語「第１」、「第２」などは、異なるか、同じ対象物を示す可能性もある。以下、他の明確な定義と暗黙的定義を含める可能性もある。

0017

前述したように、従来の方法において、単に従来のコンピュータビジョンアルゴリズムを介して、または単に深層学習を通じて、道路中の車線境界線を検出する。従来のコンピュータビジョンアルゴリズムだけを利用する方案は、精度が相対的に低く、高精度地図や自律走行の要求を満足するのに十分ではない。特に環境に光線の干渉（例えば、強い光照）が存在し、または車線境界線が相対的に複雑な場合に、道路中の車線境界線を正確に検出することができなくなる。

0018

また、深層学習を直接に利用する方法は、普遍性が相対的に良くない。深層学習を利用する方法は、例えば端対端回線ニューラルネットワークに基づくため、当該方案は、トレーニングデータの多様性に依存し、モデルの複雑さが高く、演算速度が遅いなどの問題を有するので、当該方法は、すべての場合に（例えば、高性能グラフィックス処理ユニット（ＧＰＵ）のサポートがない計算機器上で）道路中の車線境界線を検出することに適していない。

0019

上述した問題点やその他の潜在的な問題点のうちの１つまたは複数の問題点を少なくとも部分的に解決するために、本発明の例示的実施形態は車線境界線を検出するための方法を提出する。当該方法において、コンピュータビジョンアルゴリズムと深層学習を相互に結合させ車線境界線を自動的に認識する。車線境界線検出モデルを生成する過程（トレーニング過程とも呼ばれる）において、検出された車線境界線に関連する画像（以下、第１の画像とも呼ばれる）とマークされた車線境界線に関連する画像（以下、第２の画像とも呼ばれる）に基づいて、検出された車線境界線が正しいか否かを確定し、検出された車線境界線が正しいか否かを示す少なくとも一つの表記を生成する。続いて、当該モデルの生成過程では、第１の画像と少なくとも一つの表記に基づいて、車線境界線を自動的に認識するための分類器モデルをトレーニングする。
車線境界線を検出するためのプロセス（適用過程とも呼ばれる）に、検出された車線境界線に関連する第１の画像を、上述したようなトレーニングされた分類器モデルに入力することで、車線境界線の自動認識を実現する。この方法により、本発明の方案は、コンピュータビジョンアルゴリズムの簡潔と深層学習の強力な一般化能力を同時に備える。これにより、簡潔かつ効果的な方法で車線境界線検出を実現することで、高精度地図と自律走行の性能を向上させることができる。

0020

本明細書で使用されるように、用語「モデル」は、トレーニングデータから、相応する入力と出力の間の関連性を習得することにより、トレーニングが完了した後、指定された入力に対して対応する出力を生成することができる。「モデル」は、「ニューラルネットワーク」、「学習モデル」または「学習ネットワーク」と呼ばれることもできることを理解すべきである。

0021

以下、車線境界線を例に挙げて、本発明の実施形態を説明するが、本発明の方案は、他の種類の道路情報（例えば、速度制限標識など）を検出することにも適用することができることを理解すべきである。

0022

以下、添付された図面を参照して、本発明の実施形態を具体的に説明する。

0023

図１は、本発明の複数の実施形態を実現可能な例示的環境１００の概略図を示す。この例示的環境１００において、計算機器（コンピューティング機器）１２０で車線境界線検出モデル１３０を生成する。計算機器１２０は、トレーニングデータに基づいて車線境界線検出モデル１３０を生成することができる。

0024

車線境界線検出モデル１３０を生成することができるように、相応するトレーニングデータを収集する必要がある。収集実体１１０は、相応するトレーニングデータを収集し、収集されたトレーニングデータを計算装置１２０に提供することができる。例えば、収集実体１１０は、カメラのような収集装置を備える車両、移動型ロボットなどであってもよい。一部の実施形態において、計算機器１２０は、収集実体１１０上で実現されることができる。代替的に、計算機器１２０は、収集実体１１０と離れてもよく、有線または無線接続を介して収集し、オブジェクト１１０と通信してもよい。

0025

トレーニングデータは、元画像を含むことができる。図２Ａは、本発明の一部の実施形態に係る元画像２００Ａの模式図を示す。図示されたように、元画像２００Ａは、道路情報に関連する画像であってもよい。例えば、元画像２００Ａは、走行過程で収集実体１１０により収集された道路情報を含む画像であってもよい。代替的に、元画像２００Ａは、道路情報とは無関係であってもよい。

0026

計算機器１２０は、元画像２００Ａで車線境界線を検出し、検出された車線境界線に関連する第１の画像を生成することができる。一部の実施形態において、計算機器１２０は、コンピュータビジョンアルゴリズムを使用して車線境界線を検出し、検出された車線境界線を元画像２００Ａ上に表示することにより、第１の画像２００Ｂを生成することができる。

0027

一部の実施形態において、計算機器１２０は、検出された車線境界線上の車線境界線ポイントにより、検出された車線境界線を表示することができる。車線境界線ポイントは、１つまたは複数のピクセルを含むことができる。例えば、計算機器１２０は、元画像２００Ａ上の検出された車線境界線上の車線境界線ポイントに対応するピクセルの色を変化させて、検出された車線境界線を表示することにより、第１の画像２００Ｂを生成することができる。具体的に、計算機器１２０は、元画像２００Ａ上の検出された車線境界線上の車線境界線ポイントに対応するピクセルの色を、元画像２００Ａに出ていないか、または相対的に少ない色に変化させ、元画像２００Ａ中の他のグラフィック要素と区別することができるように、検出された車線境界線を表示することができる。

0028

図２Ｂは、本発明の一部の実施形態に係る第１の画像２００Ｂの概略図を示す。図示されたように、第１の画像２００Ｂは、車線境界線ポイントにより、元画像２００Ａ上に検出された車線境界線を表示した画像である。

0029

また、計算機器１２０は、元画像２００Ａに基づいて生成されたマークされた車線境界線に関連する第２の画像を取得することができる。第２の画像は、元画像２００Ａ上で車線境界線をマークして作成した画像であってもよい。一部の実施形態において、当該マーク動作はユーザによって完成することができる。代替的に、そのマーク動作は、ユーザの動作なしに、計算機器１２０によって自動的に完成されることができる。

0030

図２Ｃは、本発明の一部の実施形態に係る第２の画像２００Ｃの概略図を示す。図示されたように、第２の画像２００Ｃは、元画像２００Ａに点線で車線境界線をマークした画像である。明快さの目的のために、図２Ｃは、実際の車線境界線と点線でマークされた車線境界線とが重畳されていない状態を示したが、実際の車線境界線と点線でマークされた車線境界線とが重畳することもできることを理解すべきである。一部の実施形態において、処理を簡素化させるため、第２の画像２００Ｃは、車線境界線を明確にマークするように、車線境界線に関連する情報のみを保持することができる。これにより、検出された車線境界線が正しいか否かを確定するための基礎として利用するのにより適合である。例えば、第２の画像２００Ｃにおいて、車線境界線とその他のグラフィック要素とを区別しやすい色に設定することができる。具体的に、車線境界線を白色に設定し、その他のグラフィック要素を黒色に設定することができる。

0031

計算機器１２０は、第１の画像２００Ｂと第２の画像２００Ｃとに基づいて、検出された車線境界線が正しいか否かを示す少なくとも一つの表記を生成することができる。一部の実施形態において、計算機器１２０は、第１の画像２００Ｂと第２の画像２００Ｃを比較して、第１の画像２００Ｂと第２の画像２００Ｃがマッチングされるか否かに基づいて、検出された車線境界線が正しいか否かを確定し、検出された車線境界線が正しいか否かを示す少なくとも一つの表記を生成することができる。

0032

他のいくつかの実施形態において、計算機器１２０は、検出された車線境界線の位置が第２の画像２００Ｃでマークされた車線境界線の位置と一致するか否かを確定することで、検出された車線境界線が正しいか否かを確定して、検出された車線境界線が正しいか否かを示す少なくとも一つの表記を生成することができる。例えば、計算機器１２０は、第１の画像２００Ｂで検出された車線境界線上の車線境界線ポイントのピクセルの座標が第２の画像２００Ｃのマークされた車線境界線のピクセルの座標と位置マッチングされるか否かを確定することができる。

0033

続いて、計算機器１２０は、第１の画像２００Ｂと少なくとも一つの表記に基づいて、車線境界線を自動的に認識するための分類器モデル１４０をトレーニングすることができる。分類器モデル１４０のトレーニング過程において、計算機器１２０は、第１の画像２００Ｂと少なくとも一つの表記に基づいて分類器モデル１４０を変更することができる。これにより、トレーニングされた分類器モデル１４０は、第１画像２００Ｂ上の検出された車線境界線が正しいか否かを正確に確定することができる。

0034

トレーニングされた分類器モデル１４０を適用して車線境界線を検出する過程において、計算機器１２０は、検出しようとする元画像２００Ａで車線境界線を検出し、検出された車線境界線に関連する第１の画像２００Ｂを生成することができる。収集実体１１０は、相応のトレーニングデータを収集し、収集されたトレーニングデータを計算装置１２０に提供することができる。収集実体１１０、検出しようとする元画像２００Ａ、及び第１の画像２００Ｂを生成する方法は、上述したような収集実体１１０、元画像２００Ａ、及び第１の画像２００Ｂを生成する方法と類似し、ここでこれに対する説明を省略する。

0035

続いて、計算機器１２０は、第１の画像２００Ｂをトレーニングされた分類器モデル１４０に入力することができる。トレーニングされた分類器モデル１４０は、第１の画像２００Ｂ上の検出された車線境界線が正しいか否かを確定して車線境界線を自動的に認識することができる。

0036

コンピュータビジョンアルゴリズムと深層学習を結合させたので、本発明の方法は、環境に光線の干渉（例えば、強い光照）が存在し、または車線境界線が相対的に複雑な場合でも、道路中の車線境界線を正確に検出することができるだけでなく、強力なグラフィックス処理能力を備えていない計算機器でも道路中の車線境界線を検出することに適用ことができる。

0037

［車線境界線検出モデル生成過程］
図３は、本発明の実施形態に係る車線境界線検出モデルを生成するためのプロセス３００のフローチャートを示す。プロセス３００は、計算装置１２０によって実現されることができる。ブロック３１０において、計算装置１２０は、元画像２００Ａから車線境界線を検出し、検出された車線境界線に関連する第１の画像２００Ｂを生成する。ブロック３１０は、画像処理過程と呼ばれてもよい。以下、図４を組み合わせて、ブロック３１０の詳細を説明する。

0038

ブロック３２０において、計算装置１２０は、元画像２００Ａに基づいて生成した、マークされた車線境界線に関連する第２の画像２００Ｃを取得する。上述したように、第２の画像２００Ｃは、元画像２００Ａ上で車線境界線をマークして作成した画像であってもよい。一部の実施形態において、当該マーク動作はユーザによって完了することができる。代替的に、そのマーク動作は、ユーザの参加がないし自動的に完了することができる。

0039

ブロック３３０において、計算装置１２０は、第１の画像２００Ｂと第２の画像２００Ｃに基づいて、検出された車線境界線が正しいか否かを示す少なくとも一つの表記を生成する。ブロック３３０は、表記生成過程と呼ばれてもよい。以下、図５を組み合わせて、ブロック３３０の詳細を説明する。

0040

ブロック３４０において、計算装置１２０は、第１の画像２００Ｂと少なくとも一つの表記に基づいて、車線境界線を自動的に認識するための分類器モデルをトレーニングする。上述したように、分類器モデル１４０のトレーニング過程において、計算機器１２０は、第１の画像２００Ｂと、少なくとも一つの表記とに基づいて、分類器モデル１４０を変更することができる。これにより、トレーニングされた分類器モデル１４０は、第１の画像２００Ｂ上の検出された車線境界線が正しいか否かを正確に確定することができる。生成された車線境界線検出モデルは、コンピュータビジョンアルゴリズムにより簡潔性とリアルタイム性を備えるだけでなく、深層学習により高精度と堅牢性を備えることができる。

0041

［画像処理過程］
図４は、本発明の一部の実施形態に係る第１の画像２００Ｂを生成するプロセス４００のフローチャートを示す。プロセス４００は、上述したプロセス３００中のブロック３１０の一の例示的実現と見なすことができる。ブロック４１０において、計算装置１２０は、収集実体１１０から元画像２００Ａを取得する。

0042

ブロック４１５において、計算装置１２０は、元画像２００Ａに対して逆透視変換を行って、逆透視変換された画像を生成する。現実の世界において、平行する線は逆透視法により画像で距離に応じて交差線に変化する。当該逆透視原理に基づいて、道路上の２本の車線境界線の間隔は、元画像２００Ａの末端で小さくなり、これは車線境界線を検出するのに不利になる。したがって、元画像２００Ａの遠近効果の影響を相殺するように、計算機器１２０は、元画像２００Ａに対して逆透視視変換を行って、車線境界線を検出するのに適する逆透視変換された画像を生成することができる。

0043

ブロック４２０において、計算装置１２０は、逆透視変換された画像に対してグレースケールを行ってグレースケール画像を生成する。一部の実施形態において、計算機器１２０は、元画像２００Ａに対してグレースケールを行ってグレースケール画像を生成することができる。画像のグレースケールは、画像の色を除去し、単に画像の明るさだけを保留することで、画像のサイズを減少させることができる。

0044

ブロック４２５において、計算装置１２０は、グレースケール画像に対してノイズ低減を行って、ノイズ低減された画像を生成する。一部の実施形態において、計算機器１２０は、元画像２００Ａに対してノイズ低減を行って、ノイズ低減された画像を生成することができる。画像のノイズ低減は、画像中のノイズポイントを除去することで、画像がより平滑にすることができる。例えば、ノイズ低減は、ガウスフィルタリング、平均値フィルタリングなどのアルゴリズムを使用して実現されることができる。

0045

ブロック４３０において、計算装置１２０は、ノイズ低減された画像に対して二値化を行って二値画像を生成する。一部の実施形態において、計算機器１２０は、元画像２００Ａに対して二値化を行って二値画像を生成することができる。他のいくつかのの実施形態において、計算機器１２０は、グレースケール画像に対して二値化を行って二値画像を生成することができる。画像の二値化画像中のピクセルの明るさ値を０または２５５に設定することにより、画像のサイズを減らし、車線境界線を検出するのにさらに適合するようにすることができる。

0046

ブロック４３５において、計算装置１２０は、二値画像上で輪郭検出（エッジ検出とも呼ばれる）を適用して車線境界線の輪郭を生成する。一部の実施形態において、計算機器１２０は、元画像２００Ａ上で輪郭検出を適用して車線境界線の輪郭を生成する。画像の輪郭検出は、車線境界線の重要な構造属性を保持し、重要でないか、または関連がない情報を削除することで、画像のサイズを更に減少させ、車線境界線を検出するのにさらに適合するようにすることができる。

0047

ブロック４４０において、計算装置１２０は、生成された車線境界線の輪郭に対して曲線フィッティングを行って、車線境界線を表示する曲線を生成する。車線境界線の輪郭の曲線フィッティングは、車線境界線の輪郭上のオフセットポイントを削除することができる。一部の実施形態において、計算機器１２０は、生成された曲線に対して分割を行うことができる。例えば、計算機器１２０は、曲線を４０個のピクセルの長さの曲線セグメントに分割することができる。一部の実施形態において、曲線セグメントは、検出された車線境界線ポイントに対応することができる。例えば、いくつかのの実施形態において、曲線セグメントは、一つの検出された車線境界線ポイントに対応することができる。他のいくつかのの実施形態において、曲線セグメントは、検出された車線境界線ポイントの集合に対応することができ、このような方法により、全体的な曲線ではなく曲線セグメントをベースに画像に対して後続の処理を行うことにより、各画像処理に必要な計算を減少させることができる。

0048

ブロック４４５において、計算装置１２０は、曲線を元画像にマッピングさせて第１の画像を生成する。例えば、上述したように、計算機器１２０は、元画像２００Ａ上の検出された車線境界線上の車線境界線ポイントに対応するピクセルの色を変化させて、検出された車線境界線を表示することにより、第１の画像２００Ｂを生成することができる。具体的に、計算機器１２０は、元画像２００Ａ上の検出された車線境界線上の車線境界線ポイントに対応するピクセルの色を、元画像２００Ａに表示されていないか、または相対的に少ない色に変化させて元画像２００Ａ中の他のグラフィック要素と区別されるように、検出された車線境界線を表示することができる。

0049

プロセス４００中の各動作を特定の順序で説明したが、各動作は、説明された順序とは異なる順序で実行されるか、並列に実行されるか、実行を省略することもできることに注意されたい。例えば、いくつかの実施形態において、計算機器１２０は、元画像２００Ａに対してグレースケールを行った後、生成されたグレースケールのグラフィックについて逆透視変換を行うことができる。他のいくつかのの実施形態において、計算機器１２０は、画像に対してノイズ低減を行わなくてもよい。

0050

この方法により、第１の画像２００Ｂを簡単かつ効率的に生成することができる。また、第１の画像２００Ｂは、元画像２００Ａと検出された車線境界線両者の情報とを含むので、環境への光線の干渉が存在する場合、または車線境界線が相対的に複雑なので車線境界線を正確に検出することができない場合でも、元画像２００Ａにより検出された車線境界線を補充することで、正確性を向上させることができる。
［表記生成過程］
図５は、本発明の一部の実施形態に係る少なくとも一つの表記を生成するプロセス５００のフローチャートを示す。プロセス５００は、上述した過程３００中のブロック３３０の一の例示的実現と見なすことができる。ブロック５１０において、計算装置１２０は、第１の画像２００Ｂと第２の画像２００Ｃを比較して、第１の画像２００Ｂと第２の画像２００Ｃがマッチングするか否かを確定する。一部の実施形態において、計算機器１２０は、第１の画像２００Ｂと第２の画像２００Ｃを比較して、第１の画像２００Ｂと第２の画像２００Ｃとの間の類似度を取得することができる。類似度が所定の閾値を超える場合、計算機器１２０は、第１の画像２００Ｂと第２の画像２００Ｃがマッチングされると確定することができる。

0051

代替的に、計算機器１２０は、第１の画像２００Ａ上の検出された車線境界線の位置と、第２の画像２００Ｃにマークされた車線境界線の位置とを比較して、第１の画像２００Ｂと第２画像２００Ｃがマッチングするか否かを確定することができる。具体的に、計算機器１２０は、第１の画像２００Ｂで検出された車線境界線上の車線境界線ポイントのピクセルの座標と、第２の画像２００Ｃにマークされた車線境界線のピクセルの座標とを比較することができる。検出された車線境界線上の車線境界線ポイントのピクセルの座標とマークされた車線境界線のピクセルの座標とが重なる（つまり、対応する座標が同じ）数が所定の閾値を超える場合には、計算機器１２０は、第１の画像２００Ｂと第２の画像２００Ｃがマッチングされると確定することができる。

0052

他のいくつかのの実施形態において、元画像２００Ａ上で車線境界線を表示する曲線の位置と、第１の画像２００Ｂで検出された車線境界線の位置とが対応するので、計算機器１２０は、元画像２００Ａ上の車線境界線を表示する曲線の位置と、第２の画像２００Ｃにマークされた車線境界線の位置を比較することができる。

0053

一部の実施形態において、計算機器１２０は、第１の画像２００Ｂを第１セットの画像ブロックに分割することができ、ここで、各画像ブロックは、検出された車線境界線の一部分を含む。例えば、いくつかのの実施形態において、上述したように、車線境界線を表示する曲線に対して分割を行う場合に、元画像２００Ａ上の曲線セグメントの位置と第１の画像２００Ｂで検出された車線境界線の一部の位置が対応されるので、計算機器１２０は、曲線セグメントに対応する検出された車線境界線の一部に基づいて、第１の画像２００Ｂを第１セットの画像ブロックに分割することができる。上述したように、いくつかのの実施形態において、曲線セグメントは、検出された車線境界線ポイントに対応することができる。このような場合に、上述した分割方法を、計算機器１２０が検出された車線境界線ポイントに基づいて第１の画像２００Ｂを第１セットの画像ブロックに分割することで理解することができる。

0054

例えば、計算機器１２０は、第１の画像２００Ｂで検出された車線境界線の一部の位置を中心に、検出された車線境界線の一部を囲む画像ブロック（部分図とも呼ばれる）を生成することができる。例えば、曲線のセグメントは、４０個のピクセルの長さを備える場合に、対応する検出された車線境界線の一部分（例えば、車線境界線ポイントのセット）も４０個のピクセルの長さを備え、計算機器１２０は、検出された車線境界線の一部を中心に、その検出された車線境界線の一部分の周囲のピクセルを選択して、例えば６４Ｘ６４ピクセルの画像ブロックを生成することができる。

0055

他のいくつかのの実施形態において、計算機器１２０は、第２の画像２００Ｃを第２セットの画像ブロックに分割することができ、ここで、各画像ブロックは、マークされた車線境界線の一部を含む。このような場合に、計算機器１２０は、第１セットの画像ブロックと第２セットの画像ブロックのうちの対応する画像ブロックを比較して、対応する画像ブロックがマッチングされるか否かを確定することができる。代替的に、計算機器１２０は、第１セットの画像ブロック中の各画像ブロックが含まれている検出された車線境界線の一部分の位置と、第２のセットの画像ブロックのうちの対応する画像ブロックが含まれているマークされた車線境界線の一部の位置とに対して比較を行うことができる。

0056

例えば、計算機器１２０は、第１セットの画像ブロック中の各画像ブロックが含まれている検出された車道のポイントのピクセルの座標、と第２セットの画像ブロックのうちの対応する画像ブロックが含まれているマークされた車線境界線のピクセルの座標とに対して比較を行うことができる。各画像ブロックに対して、当該画像ブロックが含まれている検出された車線境界線ポイントのピクセルの座標と、マークされた車線境界線のピクセルの座標とが重なる（つまり、対応する座標が同じ）数が所定の閾値を超える場合に、計算機器１２０は、その画像ブロックと第２の画像２００Ｃがマッチングされると確定することができる。

0057

図１０Ａは、画像ブロック１０００Ａと第２の画像２００Ｃがマッチングされる概略図を示す。図示されたように、画像ブロック１０００Ａが含まれている検出された車線境界線ポイント１０１０Ａが、マークされた車線境界線１０２０Ａ内に位置するようになるので、計算機器１２０は、その画像ブロックと第２の画像２００Ｃがマッチングされると確定することができる。このような場合に、画像ブロック１０００Ａを分類器モデルのポジティプサンプルとすることができる。

0058

図１０Ｂは、画像ブロック１０００Ｂと第２の画像２００Ｃがマッチングされない概略図を示す。図示されたように、画像ブロック１０００Ｂは検出された車線境界線ポイントに１０１０Ｂを含むが、画像ブロック１０００Ｂが含まれている検出された車線境界線ポイント１０１０Ｂはマークされた車線境界線１０２０Ｂの外に位置するので、計算機器１２０は、その画像ブロックと第２の画像２００Ｃがマッチングされていないと確定することができる。このような場合に、画像ブロック１０００Ｂを分類器モデルのネガティブサンプルとすることができる。

0059

代替的に、上述したように、元画像２００Ａ上で車線境界線を表示する曲線の位置と、第１の画像２００Ｂで検出された車線境界線の位置が対応されるので、計算機器１２０は、第１セットの画像ブロックのうちの画像ブロックに対応する曲線セグメントの位置と、第２のセットの画像ブロックのうちの対応する画像ブロックが含まれているマークされた車線境界線の一部分の位置に対して比較を行うことができる。

0060

他のいくつかのの実施形態において、計算機器１２０は、第２の画像２００Ｃを分割しなく、第１セットの画像ブロックを直接に第２の画像２００Ｃとそれぞれ比較することができる。代替的に、計算機器１２０は、第１セットの画像ブロック中の各画像ブロックが含まれている検出された車線境界線の一部を、直接に第２の画像２００Ｃとそれぞれ比較を行うことができる。例えば、計算機器１２０は、第１セットの画像ブロック中の各画像ブロックが含まれている検出された車線境界線のポイントのピクセルの座標を、直接に第２の画像２００Ｃとそれぞれ比較を行うことができる。代替的に、上述したように、元画像２００Ａ上で車線境界線を表示する曲線の位置と、第１の画像２００Ｂで検出された車線境界線の位置が対応されるので、計算機器１２０は、第１セットの画像ブロックのうちの画像ブロックに対応する曲線セグメントの位置を、直接に第２の画像２００Ｃとそれぞれ比較を行うことができる。

0061

第１の画像２００Ｂと第２の画像２００Ｃがマッチングされることを確定した場合、ブロック５２０において、計算装置１２０は、検出された車線境界線が正確であること示す少なくとも一つの表記を生成する。例えば、その表記は、第１の画像２００Ｂが分類プログラムモデル１４０のポジティプサンプルであるか、それともネガティブサンプルであるかを示すことができる。ポジティプサンプルは、第１の画像２００Ｂが車線境界線であると検出されることを表示する。ネガティブサンプルは、第１の画像２００Ｂが車線境界線であると検出されていないことを表示する。一部の実施形態において、第１の画像２００Ｂを第１セットの画像ブロックに分割する場合に、計算機器１２０は、第１セットの画像ブロックのうちのマッチングされた画像ブロックを対象にして、当該画像ブロックに含まれている車線境界線の相応の部分が正確であることを示す表記を生成することができる。

0062

または、ブロック５３０において、計算装置１２０は、検出された車線境界線が正確でないことを示す少なくとも一つの表記を生成する。一部の実施形態において、第１の画像２００Ｂを第１セットの画像ブロックに分割する場合に、計算機器１２０は、第１セットの画像ブロックのうちのマッチングされていない画像のブロックを対象にして、その画像ブロックに含まれている車線境界線の相応の部分が正確でないと示す表記を生成することができる。この方法により、検出された車線境界線が正しいか否かを示す少なくとも一つの表記を簡単かつ効率的に生成することにより、分類器モデルをトレーニングすることを支援することができる。

0063

［車線境界線検出過程］
先に図３〜図５を組み合わせて車線境界線検出モデルを生成するためのプロセスのフローチャートを説明した。以下、図６を参考しながら車線境界線を検出するためのプロセス６００のフローチャートを説明する。ブロック６１０において、元画像２００Ａで車線境界線を検出し、検出された車線境界線に関連する第１の画像２００Ｂを生成する。ブロック６１０の動作は、上述したブロック３１０の動作と似ているので、ここでこれに対する詳細な説明を省略する。

0064

ブロック６２０において、トレーニングされた分類器のモデルに第１の画像２００Ｂを入力して、車線境界線を自動的に認識する。上述したように、トレーニングプロセスで既に第１の画像２００Ｂと、第１の画像２００Ｂ上の検出された車線境界線が正しいか否かを示す少なくとも一つの表記とを使用して、分類器モデルをトレーニングすることで、分類器モデルで第１画像２００Ｂと、対応する表記との間の関連性を生成した。しがたって、適用過程において、分類器モデルは、第１の画像２００Ｂとその関連性に基づいて、第１の画像２００Ｂに対応する表記を生成して、第１の画像２００Ｂ上の検出された車線境界線が正しいか否かを示すことにより、車線境界線を自動的に認識することができる。この方法を使用して、コンピュータビジョンアルゴリズムと深層学習を結合させたので、簡潔かつ効果的な方法で車線境界線検出を実現することで、高精度地図と自律走行の性能を向上させることができる。

0065

図７は、本発明の実施形態に係る車線境界線検出モデルを生成するための装置７００の概略のブロック図を示す。図７に示すように、装置７００は、元画像から車線境界線を検出し、検出された車線境界線に関連する第１の画像を生成するように構成された第１の画像生成モジュール７１０と、元画像に基づいて生成された、マークされた車線境界線に関連する第２の画像を取得するように構成された第２の画像取得モジュール７２０と、第１の画像と第２画像に基づいて、検出された車線境界線が正しいか否かを示す少なくとも一つの表記を生成するように構成された表記生成モジュール７３０と、第１の画像と少なくとも一つの表記に基づいて、車線境界線を自動的に認識するための分類器モデルをトレーニングするように構成されたモデルトレーニングモジュール７４０を含む。

0066

一部の実施形態において、第１の画像生成モジュール７１０は、前記元画像に対して逆透視変換を行うように構成された逆透視変換モジュールと、逆透視変換された前記元画像から前記車線境界線を検出して前記第１の画像を生成するように構成された逆透視変換済み画像生成モジュールを含む。

0067

一部の実施形態において、第１の画像生成モジュール７１０は、前記元画像に対してグレースケールを行ってグレースケールされた前記元画像を生成するように構成されたグレースケールモジュールと、グレースケールされた前記元画像に対して二値化を行って二値画像を生成するように構成された二値化モジュールと、前記二値画像において前記車線境界線を検出して前記第１の画像を生成するように構成された二値化済み画像生成モジュールを含む。

0068

一部の実施形態において、第１の画像生成モジュール７１０は、前記元画像に対してノイズ低減を行ってノイズ低減された画像を生成するように構成されたノイズ低減モジュールと、前記ノイズ低減された画像か、前記車線境界線を検出して前記第１の画像を生成するように構成されたノイズ低減済み画像生成モジュールを含む。

0069

一部の実施形態において、第１の画像生成モジュール７１０は、前記元画像に輪郭検出を適用して前記車線境界線の輪郭を生成するように構成された輪郭検出モジュールと、前記輪郭に基づいて前記第１の画像を生成するように構成された輪郭検出済み画像生成モジュールを含む。

0070

一部の実施形態において、第１の画像生成モジュール７１０は、前記輪郭に対して曲線フィッティングを行って、前記車線境界線を表示する曲線を生成するように構成された曲線フィッティングモジュールと、前記曲線を前記元画像にマッピングさせて前記第１の画像を生成するように構成された曲線フィッティング済み画像生成モジュールを含む。

0071

一部の実施形態において、表記生成モジュール７３０は、前記第１の画像を、前記検出された車線境界線の一部を含む第１セットの画像ブロックにそれぞれ分割するように構成された第１の画像分割モジュールと、前記第２の画像を、前記マークされた車線境界線の一部を含む第２セットの画像ブロックにそれぞれ分割するように構成された第２の画像の分割モジュールと、前記第１セットの画像ブロックと前記第２セットの画像ブロックのうちの対応する画像ブロックを比較して、前記検出された車線境界線の複数の部分を対象とする複数の表記を生成するように構成されたローカル表記生成モジュールであって、各表記は、前記検出された車線境界線の相応する部分が正しいか否かを示すものである、ローカル表記生成モジュールを含む。

0072

図８は、本発明の実施形態に係る車線境界線を検出するための装置８００の概略のブロック図を示す。図８に示すように、装置８００は、元画像から車線境界線を検出し、検出された車線境界線に関連する第１の画像を生成するように構成された第１の画像生成モジュール８１０と、第１の画像をトレーニングされた分類器のモデルに入力して、車線境界線を自動的に認識するように構成されたモデル適用モジュール８２０を含む。

0073

図９は、本発明の複数の実施形態を実施することができる機器９００のブロック図を示す。機器９００は、図1のコンピューティング機器１２０を実現するのに使用することができる。図示されたように、機器９００は、中央処理ユニット９０１（ＣＰＵ）を含み、ＣＰＵ９０１は、読み取り専用メモリ９０２（ＲＯＭ）に記憶されたコンピュータプログラム指令、または記憶ユニット９０８からランダムアクセスメモリ９０３（ＲＡＭ）にロードされたコンピュータプログラム指令に基づいて、各種の適切な動作と処理を実行することができる。ＲＡＭ９０３には、機器９００の動作に必要な各種のプログラムやデータが記憶されることができる。ＣＰＵ９０１、ＲＯＭ９０２とＲＡＭ９０３、バス９０４を介して互いに接続される。入力／出力（Ｉ／Ｏ）インターフェース９０５もバス９０４に接続される。

0074

機器９００中のＩ／Ｏインタフェース９０５に接続されている複数の部品として、キーボード、マウスなどの入力ユニット９０６と、様々なタイプの表示装置、スピーカーなどの出力ユニット９０７と、磁気ディスク、コンパクトディスクなどの記憶ユニット９０８と、ＬＡＮカード、モデム、無線通信トランシーバなどの通信ユニット９０９が含まれる。通信ユニット９０９は、機器９００がインターネットなどのコンピュータネットワークおよび／または各種の電気通信網を介して他の機器と情報／データを交換することを可能にする。

0075

中央処理ユニット９０１は、前述した各方法と処理、例えば、プロセス３００、４００、５００および／または６００を実行する。例えば、いくつかのの実施形態において、プロセス３００、４００、５００および／または６００は、コンピュータソフトウェアプログラムとして実現されることができ、これは機械可読媒体（例えば、記憶ユニット９０８）に含まれている。一部の実施形態において、コンピュータプログラムの一部または全部は、ＲＯＭ９０２、および／または通信ユニット９０９を経由して機器９００上にロードおよび／またはインストールすることができる。コンピュータプログラムは、ＲＡＭ９０３にロードされてＣＰＵ９０１により実行される場合、前述した、プロセス３００、４００、５００および／または６００の１つまたは複数のステップを実行することができる。選択可能に、その他の実施形態において、ＣＰＵ９０１は、ギターの任意の適切な方法で（例えば、ファームウェアの助けを借りて）プロセス３００、４００、５００および／または６００を実行するように構築することができる。

0076

本明細書に説明されて複数の機能は、少なくとも部分的に１つまたは複数のハードウェアロジック部材で実行することができる。例えば、使用可能な模式的なタイプのハードウェアロジック部材は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、オンデマンド標準製品（ＡＳＳＰ）、システム−オン−チップシステム（ＳＯＣ）、複合プログラマブルロジック素子（ＣＰＬＤ）などを含むが、これに限定されない。

0077

本発明の方法を実施するためのプログラムコードは、１つまたは複数のプログラマブル言語の任意の組み合わせを利用してプログラミングすることができる。これらのプログラムコードは、汎用コンピュータ、オンデマンドコンピュータ又はその他のプログラマブルデータ処理装置のプロセッサまたは制御装置に提供されることができ、プログラムコードがプロセッサまたは制御装置により実行される場合には、フローチャート、および／またはブロック図に規定された機能／操作が実施される。プログラムコードは、完全に機械上で実行されるか、部分的に機械上で実行されるか、独立したソフトウェアパッケージとして部分的に機械上で実行されて、部分的にリモートマシン上で実行されたり、または完全にリモートマシンまたはサービスで実行されることができる。

0078

本発明の文脈において、機械可読媒体は、あるタイプの媒体であることができ、コマンドを実行するシステム、装置又は機器によって使用されるか、またはコマンドの実行システム、装置または機器と組み合わせて使用されるプログラムを含むまたは記憶することができる。機械可読媒体は、機械可読信号媒体または機械可読記憶媒体であることができる。機械可読媒体は、電子、磁気、光学、電磁、赤外線または半導体システム、装置、または機器、または前述した内容の任意の適切な組み合わせを含むことができるが、これに限定されない。機械可読記憶媒体のより具体的な例は、１つまたは複数のワイヤベースの電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去およびプログラム可能な読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、光学ストレージ装置、磁気記憶装置、または前述した内容の任意の適切な組み合わせを含むことができるが、これに限定されない。

0079

また、特定の順序を利用して、各操作ウルルル説明したが、これはこのような操作が図示された特定の順序またはシーケンスで実行されることを要求したり、目的の結果を実現するために図示されたすべての操作が実行されることを要求すると理解してはならない。一定の環境において、マルチタスクと並列処理は、有利であることができる。同様に、上記説明に様々な具体的な実現の詳細が含まれているが、これらは本発明の範囲の限定と解釈してはならない。別の実施形態の文脈で説明されたいくつかの特徴は、組み合わせの方法で単一の実現に実現されることができる。逆に、単一の実現のコンテキストで説明された各種の特徴も個別にまたは任意の適切なサブ組み合わせの方法で複数の実現に実現されることもできる。

0080

構造の特徴および／または方法のロジックの動作に固有の言語を使用して本主題を説明したが、特許請求の範囲に限定された主題は、必ずしも前述した特定の特徴または動作に限定されるべきではないことを理解すべきである。逆に、前述した特定の特徴または動作は、単に特許請求の範囲を実現する例示的形式である。