図面 (/)

技術 車線処理方法及び装置

出願人 バイドゥオンラインネットワークテクノロジー(ベイジン)カンパニーリミテッド
発明者 シエ,シュフヅァイ,ユーキャンシア,ティアンマ,ユー
出願日 2019年7月2日 (1年7ヶ月経過) 出願番号 2019-123675
公開日 2020年3月12日 (11ヶ月経過) 公開番号 2020-038617
状態 未登録
技術分野 イメージ分析
主要キーワード 曲線方程式 グループ化モジュール ノイズ点 出力グラフ スケーリング比 多項式曲線 予測目標 統合モジュール
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年3月12日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (10)

課題

車線処理方法及び装置を提供する。

解決手段

車線処理方法は、車線点及び非車線点を含む第一画像に対して二値化処理を行って、二値画像を得るステップと、二値画像に対して連結領域分析を行って、二値画像における、隣り合う複数の車線点を含む1つ又は複数の連結領域を得るステップと、各連結領域を用いて、各車線に対応するグループに含まれる車線点を確定するステップと、各グループに含まれる車線点を用いて、各グループに対応する車線の表現情報を得るステップと、を含む。

効果

連結領域分析方法を用いて二値画像における車線点をグループ化することにより得られたグループが正確であり、画像品質に影響されないため、高いロバスト性を有する。

概要

背景

車線は、自動運転において重要な役割を果たしており、測位決定制御等のモジュールに重要な情報を提供することができる。従来の案としては、カメラによりキャプチャーされた二次元(2D、two dimensional)画像において、画像処理方法により車線のエッジを検出した後、クラスタリングや他の点グループ化の案を用いて車線を取得する。

従来の画像処理ディープラーニング等の方法で車線の検出又は分割を行う案は、車線を出力するために、煩瑣な後処理案を必要とし、その効果が、画像品質等の条件の影響を受けやすい。例えば、従来の後処理案として、ハフ(Hough)変換で車線に対して後処理を行うことが可能であるが、このような方式は、ノイズ点の影響を受けやすく、ロバストではない。

概要

車線処理方法及び装置を提供する。車線処理方法は、車線点及び非車線点を含む第一画像に対して二値化処理を行って、二値画像を得るステップと、二値画像に対して連結領域分析を行って、二値画像における、隣り合う複数の車線点を含む1つ又は複数の連結領域を得るステップと、各連結領域を用いて、各車線に対応するグループに含まれる車線点を確定するステップと、各グループに含まれる車線点を用いて、各グループに対応する車線の表現情報を得るステップと、を含む。連結領域分析方法を用いて二値画像における車線点をグループ化することにより得られたグループが正確であり、画像品質に影響されないため、高いロバスト性を有する。

目的

車線は、自動運転において重要な役割を果たしており、測位や決定制御等のモジュールに重要な情報を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

車線処理方法であって、車線点及び非車線点を含む第一画像に対して二値化処理を行って、二値画像を得るステップと、前記二値画像に対して連結領域分析を行って、前記二値画像における、隣り合う複数の車線点を含む1つ又は複数の連結領域を得るステップと、各前記連結領域を用いて、各車線に対応するグループに含まれる車線点を確定するステップと、各前記グループに含まれる車線点を用いて、各前記グループに対応する車線の表現情報を得るステップと、を含むことを特徴とする車線処理方法。

請求項2

第二画像をディープラーニングモデルに入力し識別して前記第一画像を得るステップであって、前記第一画像は、前記第二画像に対して、一定のスケーリング比を有するステップを更に含むことを特徴とする請求項1に記載の方法。

請求項3

前記第一画像に対して二値化処理を行って、前記二値画像を得るステップは、前記第一画像における車線点の輝度値を0に設定し、前記第一画像における非車線点の輝度値を255に設定すること、又は前記第一画像における車線点の輝度値を255に設定し、前記第一画像における非車線点の輝度値を0に設定すること、を含むことを特徴とする請求項1に記載の方法。

請求項4

前記二値画像に対して連結領域分析を行って、前記二値画像における1つ又は複数の連結領域を得るステップは、関心領域と併せて、前記二値画像において連結領域分析を行って、前記関心領域における1つ又は複数の連結領域を得ることを含むことを特徴とする請求項1に記載の方法。

請求項5

各前記連結領域を用いて、各車線に対応するグループに含まれる車線点を確定するステップは、前記第一画像において1つの連結領域が通過した各車線点を、1本の車線に対応するグループに含まれる車線点として確定することを含むことを特徴とする請求項1に記載の方法。

請求項6

各前記グループに含まれる車線点を用いて、各前記グループに対応する車線の表現情報を得るステップは、各前記グループに含まれる車線点が前記第一画像にある座標を前記第二画像にマッピングし戻して、各前記グループにおける車線点が前記第二画像にある座標を得ることと、それぞれのグループについて、前記グループから複数の車線点を選択し、選択された複数の車線点が前記第二画像にある座標に対して多項式フィッティングを行って、前記グループに対応する車線の多項式曲線を得ることと、を含むことを特徴とする請求項2に記載の方法。

請求項7

各前記グループに含まれる車線点を用いて、各前記グループに対応する車線の表現情報を得るステップは、前記車線の多項式曲線を用いて、前記車線の始点座標及び/又は終点座標を確定することを更に含むことを特徴とする請求項6に記載の方法。

請求項8

車線処理装置であって、車線点及び非車線点を含む第一画像に対して二値化処理を行って、二値画像を得るための二値モジュールと、前記二値画像に対して連結領域分析を行って、前記二値画像における、隣り合う複数の車線点を含む1つ又は複数の連結領域を得るための連結領域モジュールと、各前記連結領域を用いて、各車線に対応するグループに含まれる車線点を確定するためのグループ化モジュールと、各前記グループに含まれる車線点を用いて、各前記グループに対応する車線の表現情報を得るための車線表現モジュールと、を備えることを特徴とする車線処理装置。

請求項9

第二画像をディープラーニングモデルに入力し識別して前記第一画像を得るための識別モジュールであって、前記第一画像は、前記第二画像に対して、一定のスケーリング比を有する識別モジュールを更に備えることを特徴とする請求項8に記載の装置。

請求項10

前記連結領域モジュールは、関心領域と併せて、前記二値画像において連結領域分析を行って、前記関心領域における1つ又は複数の連結領域を得るためにさらに用いられることを特徴とする請求項8に記載の装置。

請求項11

前記車線表現モジュールは、各前記グループに含まれる車線点が前記第一画像にある座標を前記第二画像にマッピングし戻して、各前記グループにおける車線点が前記第二画像にある座標を得るためのマッピングサブモジュールと、それぞれのグループに対して、前記グループから複数の車線点を選択し、選択された複数の車線点が前記第二画像にある座標に対して多項式フィッティングを行って、前記グループに対応する車線の多項式曲線を得るためのフィッティングサブモジュールと、を備えることを特徴とする請求項9に記載の装置。

請求項12

前記車線表現モジュールは、前記車線の多項式曲線を用いて、前記車線の始点座標及び/又は終点座標を確定するための始終点サブモジュールを更に備えることを特徴とする請求項11に記載の装置。

請求項13

1つ又は複数のプロセッサと、1つ又は複数のプログラムを記憶するためのメモリと、を備え、前記1つ又は複数のプログラムが前記1つ又は複数のプロセッサにより実行されると、前記1つ又は複数のプロセッサが請求項1乃至7の何れか1項に記載の方法を実現するようにすることを特徴とする車線処理装置。

請求項14

コンピュータプログラムが記憶されたコンピュータ可読記憶媒体であって、当該コンピュータプログラムがプロセッサにより実行されると、請求項1乃至7のいずれか1項に記載の方法を実現することを特徴とするコンピュータ可読記憶媒体。

技術分野

0001

本発明は、交通技術分野に関し、特に、車線処理方法及び装置に関する。

背景技術

0002

車線は、自動運転において重要な役割を果たしており、測位決定制御等のモジュールに重要な情報を提供することができる。従来の案としては、カメラによりキャプチャーされた二次元(2D、two dimensional)画像において、画像処理方法により車線のエッジを検出した後、クラスタリングや他の点グループ化の案を用いて車線を取得する。

0003

従来の画像処理ディープラーニング等の方法で車線の検出又は分割を行う案は、車線を出力するために、煩瑣な後処理案を必要とし、その効果が、画像品質等の条件の影響を受けやすい。例えば、従来の後処理案として、ハフ(Hough)変換で車線に対して後処理を行うことが可能であるが、このような方式は、ノイズ点の影響を受けやすく、ロバストではない。

発明が解決しようとする課題

0004

本発明の実施例は、先行技術における1つ又は複数の技術的課題を解決するための車線処理方法及び装置を提供する。

課題を解決するための手段

0005

第一態様によれば、本発明の実施例は、
車線点及び非車線点を含む第一画像に対して二値化処理を行って、二値画像を得るステップと、
前記二値画像に対して連結領域分析を行って、前記二値画像における、隣り合う複数の車線点を含む1つ又は複数の連結領域を得るステップと、
各前記連結領域を用いて、各車線に対応するグループに含まれる車線点を確定するステップと、
各前記グループに含まれる車線点を用いて、各前記グループに対応する車線の表現情報を得るステップと、を含む車線処理方法を提供する。

0006

第一態様に合わせて、本発明の実施例として、第一態様の第一実施形態において、
第二画像をディープラーニングモデルに入力し識別して前記第一画像を得るステップであって、前記第一画像は、前記第二画像に対して、一定のスケーリング比を有するステップを更に含む。

0007

第一態様に合わせて、本発明の実施例として、第一態様の第二実施形態において、第一画像に対して二値化処理を行って、二値画像を得るステップは、
前記第一画像における車線点の輝度値を0に設定し、前記第一画像における非車線点の輝度値を255に設定すること、又は
前記第一画像における車線点の輝度値を255に設定し、前記第一画像における非車線点の輝度値を0に設定すること、を含む。

0008

第一態様に合わせて、本発明の実施例として、第一態様の第三実施態様において、前記二値画像に対して連結領域分析を行って、前記二値画像における1つ又は複数の連結領域を得るステップは、
関心領域と併せて、前記二値画像において連結領域分析を行って、前記関心領域における1つ又は複数の連結領域を得ることを含む。

0009

第一態様に合わせて、本発明の実施例として、第一態様の第四実施形態において、各前記連結領域を用いて、各車線に対応するグループに含まれる車線点を確定するステップは、
前記第一画像において1つの連結領域が通過した各車線点を、1本の車線に対応するグループに含まれる車線点として確定することを含む。

0010

第一態様の第一実施形態に合わせて、本発明の実施例として、第一態様の第五実施形態において、各前記グループに含まれる車線点を用いて、各前記グループに対応する車線の表現情報を得るステップは、
各前記グループに含まれる車線点が前記第一画像にある座標を前記第二画像にマッピングし戻して、各前記グループにおける車線点が前記第二画像にある座標を得ることと、
それぞれのグループに対して、前記グループから複数の車線点を選択し、選択された複数の車線点が前記第二画像にある座標に対して多項式フィッティングを行って、前記グループに対応する車線の多項式曲線を得ることと、を含む。

0011

第一態様の第五実施形態に合わせて、本発明の実施例として、第一態様の第六実施形態において、各前記グループに含まれる車線点を用いて、各前記グループに対応する車線の表現情報を得るステップは、
前記車線の多項式曲線を用いて、前記車線の始点座標及び/又は終点座標を確定することを更に含む。

0012

第二態様によれば、本発明の実施例は、
車線点及び非車線点を含む第一画像に対して二値化処理を行って、二値画像を得るための二値化モジュールと、
前記二値画像に対して連結領域分析を行って、前記二値画像における、隣り合う複数の車線点を含む1つ又は複数の連結領域を得るための連結領域モジュールと、
各前記連結領域を用いて、各車線に対応するグループに含まれる車線点を確定するためのグループ化モジュールと、
各前記グループに含まれる車線点を用いて、各前記グループに対応する車線の表現情報を得るための車線表現モジュールと、を備える車線処理装置を提供している。

0013

第二態様に合わせて、本発明の実施例として、第二態様の第一実施形態において、
第二画像をディープラーニングモデルに入力し識別して前記第一画像を得るための識別モジュールであって、前記第一画像は、前記第二画像に対して、一定のスケーリング比を有する識別モジュールを更に備える。

0014

第二態様に合わせて、本発明の実施例として、第二態様の第二実施形態において、前記連結領域モジュールは、関心領域と併せて、前記二値画像において連結領域分析を行って、前記関心領域における1つ又は複数の連結領域を得るためにさらに用いられる。

0015

第二態様の第一実施形態に合わせて、本発明の実施例として、第二態様の第三実施形態において、前記車線表現モジュールは、
各前記グループに含まれる車線点が前記第一画像にある座標を前記第二画像にマッピングし戻して、各前記グループにおける車線点が前記第二画像にある座標を得るためのマッピングサブモジュールと、
それぞれのグループに対して、前記グループから複数の車線点を選択し、選択された複数の車線点が前記第二画像にある座標に対して多項式フィッティングを行って、前記グループに対応する車線の多項式曲線を得るためのフィッティングサブモジュールと、を備える。

0016

第二態様の第三実施形態に合わせて、本発明の実施例として、第二態様の第四実施形態において、前記車線表現モジュールは、
前記車線の多項式曲線を用いて、前記車線の始点座標及び/又は終点座標を確定するための始終点サブモジュールを更に備える。

0017

第三態様によれば、本発明の実施例は、車線処理装置を提供しており、前記装置の機能が、ハードウェアにより実現されてもよいし、ハードウェアにより相応ソフトウェアを実行することで実現されてもよい。前記ハードウェア又はソフトウェアは、上記機能に対応する1つ又は複数のモジュールを備える。

0018

1つの可能な設計において、前記装置の構造には、プロセッサ及びメモリが含まれ、前記メモリが、前記装置による上記車線処理方法の実行をサポートするプログラムを記憶するためのものであり、前記プロセッサが、前記メモリに記憶されたプログラムを実行するように配置される。前記装置は、他の機器又は通信ネットワーク通信するための通信インターフェースを更に備えてもよい。

0019

第四態様によれば、本発明の実施例は、上記車線処理方法を実行するためのプログラムを含む車線処理装置用コンピュータソフトウエア命令を記憶するためのコンピュータ可読記憶媒体を提供する。

0020

上記技術案のうちの1つの技術案は、連結領域分析方法を用いて二値画像における車線点をグループ化することにより得られたグループが正確であり、画像品質に影響されないため、高いロバスト性を有するという利点又は有益な効果がある。

0021

上記技術案のうちのもう1つの技術案は、二値画像のグループを元画像にマッピングし戻してからフィッティングして得られた車線曲線は、正確な車線表現が得られるとともに、車線の始点や終点等の重要な情報を正確に確定するのにも役立つという利点又は有益な効果がある。

0022

上記概説は明細書のためのものであって、いかなる方式で制限するためのものではない。上記説明される模式的な態様、実施形態及び特徴を除き、本発明のさらなる態様、実施形態及び特徴は、図面及び以下の詳細な説明によって明らかになる。

図面の簡単な説明

0023

図面において、特に断らない限り、複数の図面を通して同一符号は同一又は類似の部材又は要素を示す。これらの図面は必ずしも縮尺で描かれたものではない。なお、これらの図面は本発明に開示された幾つかの実施形態のみを示し、本発明の範囲を限定するものではない。
本発明の実施例に係る車線処理方法のフローチャートである。
本発明の実施例に係る車線処理方法のフローチャートである。
本発明の実施例に係る車線処理方法によりディープラーニングモデルの出力結果に対し後処理を行う模式図である。
本発明の実施例に係る車線処理方法においてROIを併せた模式図である。
本発明の実施例に係る車線処理方法において曲線を用いて始点と終点を確定する模式図である。
本発明の実施例に係る車線処理方法において曲線を用いて始点と終点を確定する模式図である。
本発明の実施例に係る車線処理装置の構造ブロック図である。
本発明の実施例に係る車線処理装置の構造ブロック図である。
本発明の実施例に係る車線処理装置の構造ブロック図である。

実施例

0024

以下では、幾つかの例示的な実施例のみを簡単に説明する。当業者であれば、本発明の趣旨又は範囲を逸脱せずに、説明した実施例に様々な変更を施すことができると理解できる。従って、図面と説明は本質的に例示的であり、限定的ではないとみなされるべきである。

0025

図1は、本発明の実施例に係る車線処理方法のフローチャートである。図1に示すように、該方法は、
車線点及び非車線点を含む第一画像に対して二値化処理を行って、二値画像を得るステップS11と、
前記二値画像に対して連結領域分析を行って、前記二値画像における、隣り合う複数の車線点を含む1つ又は複数の連結領域を得るステップS12と、
各前記連結領域を用いて、各車線に対応するグループに含まれる車線点を確定するステップS13と、
各前記グループに含まれる車線点を用いて、各前記グループに対応する車線の表現情報を得るステップS14と、を含んでもよい。

0026

本実施例において、第一画像に含まれる画素点分類してもよく、車線として分類された画素点は、車線点と称されてもよい。第一画像における車線点以外の画素点は、非車線点と称されてもよい。第一画像に対して二値化処理を行う一例としては、第一画像における車線点と非車線点とを異なる輝度値にそれぞれ設定して、これら2種類の点の間のコントラストが強く出るようにすることを含んでもよい。二値画像では、連結領域分析を行いやすい。例えば、二値画像において、車線点の輝度値に応じて連結領域分析が行われ、輝度値の同じである隣り合う点は、同一連結領域に属する。隣り合う点としては、座標位置が隣り合う画素点でもよいし、互いの距離が小さいで、例えば所定値を超えない画素点でもよい。そして、連結領域を用いて、第一画像における車線点をグループ化する。グループにおける各車線点を用いて、当該グループに対応する車線の表現情報を得る。車線の表現情報は、該車線の曲線方程式、始点や終点等を含んでもよいが、これらに限定されない。

0027

一実施態様において、図2に示すように、該方法は、
第二画像をディープラーニングモデルに入力し、前記第一画像を得るステップであって、前記第一画像は、前記第二画像に対して、一定のスケーリング比を有するステップS10を更に含む。

0028

本実施例は、ディープラーニングモデルの予測出力結果に対して後処理を行うために用いられてもよい。ニューラルネットワークを用いてディープラーニングモデルを構築し、ある程度のサンプル画像を用いてトレーニングすることにより、ディープラーニングモデルは、ネットワーク出力グラフにおける各画素点が車線に属する信頼度を得られるようにする。また、信頼度の閾値を用いて分類を行う。例えば、信頼度が閾値よりも大きくなる画素点が車線点となり、閾値以下の画素点が非車線点となる等。後続では、識別結果を用いて自己学習し続けていくことで、モデルを最適化してもよい。

0029

例えば、図3に示すように、一つの2D画像(元画像、即ち、第二画像)、例えば、撮影された路面画像等が与えられてもよい。ディープラーニングモデルを用いて元画像を比例縮小し、縮小後の画像における画素点を分類する(0:非車線点、1:車線点)。車線として分類された画素点(車線点と略す)のそれぞれについて、その予測目標点のネットワーク出力グラフ(即ち、第一画像)における位置は、モデルによって与えられてもよい。

0030

一実施態様において、ステップS11では、第一画像に対して二値化処理を行う方式は、複数があって、以下のように例を挙げる。
方式一:前記第一画像における車線点の輝度値を0に設定し、前記第一画像における非車線点の輝度値を255に設定する。
方式二:前記第一画像における車線点の輝度値を255に設定し、前記第一画像における非車線点の輝度値を0に設定する。

0031

ネットワーク出力グラフの寸法が元画像よりも小さい(例えば、元画像の1/4、1/8、1/16等であってもよい)である。所定の信頼度の閾値に基づいて該ネットワーク出力グラフを二値化することにより、二値画像を得ることができる。一例においては、画像上の画素点の輝度値を、車線の分類結果(例えば、各点の信頼度が閾値を超えるか)に従って、0又は255にそれぞれ設定して、画像全体が明らかな黒及び白のみとなる視覚効果を呈するようにしてもよい。図3に示すように、二値画像において、同一車線上の点は、互いに隣り合って、同一連結領域に属することになる。従って、連結領域によってグループ化することで、同一車線又は交わる車線における画素点を同一グループに分けることができる。最後に、それぞれのグループに含まれる車線点の座標等の情報を用いて、該グループに対応する車線の表現情報が得られる。

0032

一実施態様において、ステップS12は、関心領域と併せて、前記二値画像において連結領域分析を行って、前記関心領域における1つ又は複数の連結領域を得ることを含んでもよい。

0033

遠方の車線が合流する可能性があることを考慮して、関心領域(ROI、Region Of Interest)と併せて、二値画像において連結領域分析を行ってもよい。例えば、図4に示すように、破線により囲まれたエリアはROIとなる。ROIには、交わる車線が分断されており、交わらない車線しか含まれていない。このように、ROI内の画素点のみに対して連結領域分析を行うことにより、遠方で合流する車線が分離され、異なる車線における画素点を同一グループに分けてしまうことを防止でき、グループ化がより正確となる。

0034

その中、二値画像をROIと併せる方式は、複数があり、以下のように例を挙げる。
一例として、元画像においてROIを確定してもよい。ディープラーニングモデルを用いて元画像に対して車線識別を行う際に、ネットワーク出力グラフにおいて元画像のROIに従って、対応するROIを取得でき、後続では、二値画像のROIとしてもよい。
他の一例において、元画像においてROIを確定してもよい。ディープラーニングモデルを用いて元画像に対して車線識別を行う際、元画像のROIに含まれる画素点を入力画像としてもよい。ネットワーク出力グラフにも、ROIに対応する画素点のみが含まれる。後続では、二値画像は、ROIに対応する画素点のみを含むことになる。
他の一例において、元画像においてROIを確定するのではなく、ネットワーク出力グラフにおいてROIを確定し、後続では、二値画像のROIとする。

0035

一実施態様において、ステップS13は、前記第一画像において1つの連結領域が通過した各車線点を、1本の車線に対応するグループに含まれる車線点として確定することを含む。

0036

上記の例を参照して、ROIを併せた場合、同一グループに含まれる車線点を同一車線により好適に属させることができる。

0037

一実施態様において、ステップS14は、各前記グループに含まれる車線点が前記第一画像にある座標を前記第二画像にマッピングし戻して、各前記グループにおける車線点が前記第二画像にある座標を得ることを含む。それぞれのグループに対して、前記グループから複数の車線点が選択される。選択された複数の車線点が前記第二画像にある座標に対して多項式フィッティングを行って、前記グループに対応する車線の多項式曲線を得る。

0038

本実施例において、二値画像に対して連結領域分析を行って車線点のグループを得た後、更に、各車線点の座標をネットワーク出力グラフから元画像にマッピングし戻してもよい。例えば、元画像について、ネットワーク出力グラフまで8倍縮小されていれば、それぞれのグループの車線点の座標を8倍に従って元画像にマッピングし戻して、これらの点の元画像における座標を得ることができる。そして、多項式フィッティングという案により、それぞれのグループに対応する多項式曲線を得る。

0039

多項式フィッティングプロセスの一例として、例えば、1つの多項式y=ax3+bx2+cx+dが与えられたとすることを含む。それぞれのグループについて、該グループに含まれる複数(例えば4つ又はそれ以上)の車線点が元画像にある座標(x,y)を該多項式に代入してもよい。更に、最小二乗法を用いて該多項式を解いて、該多項式における各係数a、b、c、dの値を得る。

0040

ただし、所与の多項式は、一例に過ぎず、制限的なものではなく、必要に応じて他の形式の多項式を採用してもよい。

0041

一実施態様において、ステップS14は、前記車線の多項式曲線を用いて、前記車線の始点座標及び/又は終点座標を確定することを更に含む。

0042

あるグループに対応する車線の多項式曲線がフィッティングによって得られた後、当該曲線に基づいて車線の始点や終点等の情報を確定することができる。具体的に、該グループにおける各車線点の座標、及び該グループに対応する車線の曲線を併せて、これらの点のy(及び/又はx)の最小値及び最大値等により、始点及び終点情報を確定することができる。

0043

例えば、図5に示すように、あるグループに対するフィッティングにより、曲線L1を得て、該グループにおけるy(及び/又はx)の最小値によって、L1の始点座標Aを確定し、該グループにおけるy(及び/又はx)の最大値によって、L1の終点座標Bを確定する。あるグループに対するフィッティングにより、曲線L2を得て、該グループにおけるxの最小値(yの最大値)によって、曲線L2の始点座標Dを確定し、該グループにおけるxの最大値(yの最小値)によって、曲線L2の終点座標Cを確定する。

0044

もしくは、図6に示すように、あるグループに対するフィッティングにより、曲線L3を得て、該グループにおけるyの最小値によって、L3の始点座標Eを確定し、該グループにおけるyの最大値によって、L3の終点座標Fを確定する。

0045

本発明の実施例は、連結領域分析方法を用いて二値画像における車線点をグループ化することにより得られたグループが正確であり、画像品質に影響されないため、高いロバスト性を有する。

0046

さらに、二値画像のグループを元画像にマッピングし戻してからフィッティングして得られた車線曲線は、正確な車線表現が得られるとともに、車線の始点や終点等の重要な情報を正確に確定するのにも役立つ。

0047

図7は、本発明の実施例に係る車線処理装置の構造ブロック図である。図7に示すように、該装置は、
車線点及び非車線点を含む第一画像に対して二値化処理を行って、二値画像を得るための二値化モジュール71と、
前記二値画像に対して連結領域分析を行って、前記二値画像における、隣り合う複数の車線点を含む1つ又は複数の連結領域を得るための連結領域モジュール72と、
各前記連結領域を用いて、各車線に対応するグループに含まれる車線点を確定するためのグループ化モジュール73と、
各前記グループに含まれる車線点を用いて、各前記グループに対応する車線の表現情報を得るための車線表現モジュール74と、を備えてもよい。

0048

一実施態様において、図8に示すように、該装置は、
第二画像をディープラーニングモデルに入力し識別して前記第一画像を得るための識別モジュールであって、前記第一画像は、前記第二画像に対して、一定のスケーリング比を有する識別モジュール70を更に備える。

0049

一実施態様において、二値化モジュール72は、
前記第一画像における車線点の輝度値を0に設定し、前記第一画像における非車線点の輝度値を255に設定し、又は
前記第一画像内の車線点の輝度値を255に設定し、前記第一画像内の非車線点の輝度値を0に設定するためにさらに用いられる。

0050

一実施態様において、連結領域モジュール72は、関心領域と併せて、前記二値画像において連結領域分析を行って、前記関心領域における1つ又は複数の連結領域を得るためにさらに用いられる。

0051

一実施態様において、グループ化モジュール73は、前記第一画像において1つの連結領域が通過した各車線点を、1本の車線に対応するグループに含まれる車線点として確定するために更に用いられる。

0052

一実施態様において、前記車線表現モジュール74は、
各前記グループに含まれる車線点が前記第一画像にある座標を前記第二画像にマッピングし戻して、各前記グループにおける車線点が前記第二画像にある座標を得るためのマッピングサブモジュール741と、
それぞれのグループに対して、前記グループから複数の車線点を選択し、選択された複数の車線点が前記第二画像にある座標に対して多項式フィッティングを行って、前記グループに対応する車線の多項式曲線を得るためのフィッティングサブモジュール742と、を備える。

0053

一実施態様において、前記車線表現モジュール74は、
前記車線の多項式曲線を用いて、前記車線の始点座標及び/又は終点座標を確定するための始終点サブモジュール743を更に備える。

0054

本発明の実施例に係る各装置における各モジュールの機能について、上述の方法における対応説明を参照してもよい。ここで繰り返して説明しない。

0055

図9は、本発明の実施例に係る車線処理装置の構造ブロック図である。図9に示すように、該装置は、メモリ910とプロセッサ920とを備え、メモリ910にはプロセッサ920で稼働できるコンピュータプログラムが記憶されている。前記プロセッサ920は、前記コンピュータプログラムを実行すると、上記実施例における車線処理方法を実現する。前記メモリ910とプロセッサ920の数は、一つ又は複数であってもよい。

0056

当該装置は、周辺機器と通信し、データのインタラクティブ転送を行うための通信インターフェース930をさらに備える。

0057

メモリ910は、高速RAMメモリを含む可能性もあるし、更に不揮発性メモリ(non−volatile memory)、例えば少なくとも一つの磁気ディスクメモリーを備える可能性もある。

0058

メモリ910、プロセッサ920及び通信インターフェース930が独立して実現する場合、メモリ910、プロセッサ920及び通信インターフェース930はバスで互いに接続され、且つ相互間の通信を実現することができる。前記バスは業界標準アーキテクチャISA、Industry Standard Architecture)バス、ペリフェラルコンポーネントPCI、Peripheral Component Interconnect)バス又は拡張業界標準アーキテクチャ(EISA、Extended Industry Standard Architecture)バス等であってもよい。前記バスはアドレスバスデータバス制御バス等に分けられてもよい。示しやすくするために、図9では1本のみの太線で示すが、1本のみのバス又は1つのタイプのみのバスを有すると示さない。

0059

選択的に、具体的に実現する時、メモリ910、プロセッサ920及び通信インターフェース930が1枚のチップ統合される場合、メモリ910、プロセッサ920及び通信インターフェース930は内部インターフェースによって相互間の通信を実現することができる。

0060

本発明の実施例は、プロセッサにより実行されると、上記実施例におけるいずれか1項に記載の方法を実現するコンピュータプログラムが記憶されたコンピュータ可読記憶媒体を提供する。

0061

本明細書の説明において、用語「一実施例」、「いくつかの実施例」、「例」、「具体例」、又は「いくつかの例」等の説明とは、該実施例又は例を参照すると説明した具体的な特徴、構造、材料又は特性が本発明の少なくとも1つの実施例又は例に含まれることを意味する。且つ、説明される具体的な特徴、構造、材料又は特性はいずれか1つ又は複数の実施例又は例で適切な方式で結合してもよい。また、矛盾しない限り、当業者は本明細書に説明される様々な実施例又は例、及び様々な実施例又は例の特徴を結合及び組み合わせすることができる。

0062

また、用語の「第一」、「第二」は説明のためのものに過ぎず、相対重要性を指示又は示唆し、又は指示された技術的特徴の数を暗示すると理解すべきではない。従って、「第一」、「第二」で制限された特徴は少なくとも1つの該特徴を明示的又は暗示的に含んでもよい。本発明の説明において、特に明確且つ具体的に制限しない限り、「複数」の意味は2つ又は2つ以上である。

0063

当業者であれば、フローチャートにおける、又はここでほかの方式で説明されるいかなる過程又は方法についての説明は、確定の論理機能又は過程を実現するための1つ又は複数のステップの実行可能命令のコードを含むモジュール、セグメント又は部分を示すと理解されてもよく、且つ本発明の好適な実施形態の範囲はほかの実現を含み、指示又は検討される順序通りでなくてもよく、関わる機能に基づいて、ほぼ同時に、又は逆順序で機能を実行してもよいと理解すべきである。

0064

フローチャートに示す、又はここでほかの方式で説明される論理及び/又はステップは、例えば、論理機能を実現するための実行可能命令の順序付けリストであると見なされてもよく、具体的にいかなるコンピュータ可読媒体に実現されてもよく、命令実行ステム、装置又はデバイス(例えばコンピュータに基づくシステム、プロセッサを含むシステム又は命令実行システム、装置又はデバイスから命令を受信し且つ命令を実行するシステム)の使用に備え、又はこれらの命令実行システム、装置又はデバイスと組み合わせて使用される。本明細書については、「コンピュータ可読媒体」はプログラムを包含、記憶、通信、伝播又は伝送することにより、命令実行システム、装置又はデバイス、又はこれらの命令実行システム、装置又はデバイスと組み合わせて使用されるいかなる装置であってもよい。コンピュータ可読媒体のさらなる具体例(非網羅的リスト)は、1つ又は複数の配線を有する電気接続部電子装置)、ポータブルコンピュータケース磁気装置)、ランダムアクセスメモリー(RAM)、読み出し専用メモリ(ROM)、電気的消去再書込み可能な読出し専用メモリEPROM又はフラッシュメモリー)、光ファイバー装置、及び携帯型読み出し専用メモリー(CDROM)を含む。また、コンピュータ可読媒体は更にその上に前記プログラムを印刷できる用紙又はほかの適切な媒体であってもよい理由は、例えば用紙又はほかの媒体を光学的に走査し、次に編集解釈し、又は必要な時にほかの適切な方式で処理して、電子方式で前記プログラムを取得し、次にそれをコンピュータメモリに記憶することができるためである。

0065

本発明の各部分はハードウェア、ソフトウェア、ファームウェア又はそれらの組み合わせで実現されてもよいと理解すべきである。上記実施形態において、複数のステップ又は方法は、メモリに記憶される、且つ適切な命令実行システムで実行するソフトウェア又はファームウェアで実現されてもよい。例えば、ハードウェアで実現する場合は、別の実施形態と同様に、データ信号に対して論理機能を実現する論理ゲート回路を有する離散論理回路、適切な組み合わせ論理ゲート回路を有する確定用途向け集積回路プログラマブルゲートアレイPGA)、フィールドプログラマブルゲートアレイFPGA)等の本分野での公知技術のうちのいずれか1つ又はそれらの組み合わせで実現してもよい。

0066

当業者であれば、上記実施例方法におけるステップの全部又は一部の実現がプログラムによって関連するハードウェアを命令して完了させてもよく、前記プログラムがコンピュータ可読記憶媒体に記憶されてもよく、実行時に、該プログラムは方法実施例のステップの1つ又はそれらの組み合わせを含むと理解される。

0067

また、本発明の各実施例における各機能ユニットが1つの処理モジュールに統合されてもよく、各ユニットが独立して物理的に存在してもよく、2つ又は2つ以上のユニットが1つのモジュールに統合されてもよい。上記統合モジュールはハードウェアのタイプで実現されてもよいし、ソフトウェア機能モジュールのタイプで実現されてもよい。前記統合モジュールはソフトウェア機能モジュールのタイプで実現され、且つ独立した製品として販売又は使用される時、1つのコンピュータ可読記憶媒体に記憶されてもよい。前記記憶媒体は読み出し専用メモリ、磁気ディスク又は光ディスク等であってもよい。

0068

以上の説明は、本発明の具体的な実施形態に過ぎず、本発明の保護範囲を制限するためのものではなく、当業者が本発明に開示される技術的範囲内に容易に想到し得る種々の変更又は置換は、いずれも本発明の保護範囲内に含まれるべきである。従って、本発明の保護範囲は特許請求の範囲に準じるべきである。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ