図面 (/)

技術 車線処理方法及び装置

出願人 バイドゥオンラインネットワークテクノロジー(ベイジン)カンパニーリミテッド
発明者 シエ,シュフヅァイ,ユーキャンシア,ティアンマ,ユー
出願日 2019年7月10日 (1年7ヶ月経過) 出願番号 2019-128139
公開日 2020年3月12日 (11ヶ月経過) 公開番号 2020-038624
状態 特許登録済
技術分野 交通制御システム イメージ分析
主要キーワード グループ化モジュール 信頼度閾値 ノイズ点 出力グラフ スケーリング比 多項式曲線 予測目標 統合モジュール
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年3月12日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (13)

課題

車線点の方向密度に基づいて、画像における車線点をグループ化することで、得られたグループがより正確になり、フィッティングによって得られた車線が正確であり、画像品質に影響されず、高いロバスト性を有する車線処理方法及び装置を提供する。

解決手段

車線処理方法は、第一画像における各車線点の間の距離を取得するステップと、各車線点の間の距離を用いて、各車線点の方向密度を確定するステップと、各車線点の方向密度に基づいて、各車線に対応するグループにおける車線点を確定するステップと、各グループにおける車線点を用いて、各グループに対応する車線の表現情報を得るステップと、を含む。

概要

背景

車線は、自動運転に対して、重要な役割を果たしており、測位決定制御等のモジュールに重要な情報を提供することができる。従来の案としては、カメラによりキャプチャーされた二次元(2D、two dimensional)画像において、画像処理方法を介して車線のエッジを検出して、クラスタリングや他の点グループ化の案を用いて、車線を取得する。

従来の画像処理ディープラーニング等の方法で車線の検出又は分割を行う案では、車線を出力するために、煩瑣な後処理案が必要で、その効果も、画像品質等の条件の影響を受けやすい。例えば、従来の後処理案として、ハフ(Hough)変換を利用して車線に対する後処理を行うことが可能であるが、このような方式では、ノイズ点の影響を受けやすくて、ロバストではない。

概要

各車線点の方向密度に基づいて、画像における車線点をグループ化することで、得られたグループがより正確になり、フィッティングによって得られた車線が正確であり、画像品質に影響されず、高いロバスト性を有する車線処理方法及び装置を提供する。車線処理方法は、第一画像における各車線点の間の距離を取得するステップと、各車線点の間の距離を用いて、各車線点の方向密度を確定するステップと、各車線点の方向密度に基づいて、各車線に対応するグループにおける車線点を確定するステップと、各グループにおける車線点を用いて、各グループに対応する車線の表現情報を得るステップと、を含む。

目的

車線は、自動運転に対して、重要な役割を果たしており、測位や決定制御等のモジュールに重要な情報を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

車線処理方法であって、第一画像における各車線点の間の距離を取得するステップと、各前記車線点の間の距離を用いて、各前記車線点の方向密度確定するステップと、各前記車線点の方向密度に基づいて、各車線に対応するグループにおける車線点を確定するステップと、各前記グループにおける車線点を用いて、各前記グループに対応する車線の表現情報を得るステップと、を含むことを特徴とする車線処理方法。

請求項2

前記第一画像をディープラーニングモデルに入力して、第二画像を得て、前記第二画像は、前記第一画像に対して、一定のスケーリング比を有し、前記第二画像には、前記ディープラーニングモデルによって前記第一画像を識別して得られた車線点及び非車線点が含まれるステップと、前記第二画像における各車線点の座標を、前記スケーリング比に従って、前記第一画像にマッピングし戻して、前記第一画像における各車線点の座標を得るステップと、を更に含むことを特徴とする請求項1に記載の方法。

請求項3

各前記車線点の間の距離を用いて、各前記車線点の方向密度を確定するステップは、目標車線点との距離が第一閾値より小さくなるK個の車線点を選択し、Kは、1以上の正整数であるステップと、前記目標車線点及び前記K個の車線点のうちの少なくとも1つの車線点を通過する直線を生成するステップと、前記直線との距離が第二閾値より小さくなる関連車線点の数量を取得するステップと、前記K個の車線点にそれぞれ対応する前記関連車線点の数量のうちの最大値を前記目標車線点の方向密度として確定するステップと、を含むことを特徴とする請求項1に記載の方法。

請求項4

各前記車線点の方向密度に基づいて、各車線に対応するグループにおける車線点を確定するステップは、前記グループの候補車線点を確定するステップと、前記第一画像において、各車線点の方向密度に基づいて、前記候補車線点と同じグループに属する車線点があるかどうかについて探すステップと、前記候補車線点と同じグループに属する車線点があれば、前記候補車線点と同じグループに属する車線点を前記グループに追加するステップと、前記グループに追加された車線点を新たな前記候補車線点として、前記新たな前記候補車線点と同じグループに属する車線点が探されなくなるまで、前記新たな前記候補車線点と同じグループに属する車線点があるかどうかについて探すステップを実行し続けるステップと、を含み、ここで、前記第一画像において、各車線点の方向密度に基づいて、前記候補車線点と同じグループに属する車線点があるかどうかについて探すステップは、前記第一画像から、前記候補車線点との距離が第三閾値より小さくなるM個の車線点を取得し、Mは、1以上の正整数であることと、前記M個の車線点の方向密度に基づいて、前記候補車線点と同じグループに属する車線点を確定することと、を含むことを特徴とする請求項1に記載の方法。

請求項5

前記M個の車線点の方向密度に基づいて、前記候補車線点と同じグループに属する車線点を確定することは、前記M個の車線点のうち、方向密度が最大となる車線点を、前記候補車線点と同じグループに属する車線点として確定し、又は前記M個の車線点から、前記候補車線点の方向密度に対する直線に対応する関連車線点を取得し、各前記関連車線点から、方向密度が最大となる点を、前記候補車線点と同じグループに属する車線点として選択することを、含むことを特徴とする請求項4に記載の方法。

請求項6

各前記グループにおける車線点を用いて、各前記グループに対応する車線の表現情報を得るステップは、前記グループから複数の車線点を選択して、選択された複数の車線点の前記第一画像での座標を用いて、多項式フィッティングを行って、前記グループに対応する車線の多項式曲線を得ることを含むことを特徴とする請求項1乃至5の何れか1項に記載の方法。

請求項7

各前記グループにおける車線点を用いて、各前記グループに対応する車線の表現情報を得るステップは、前記車線の多項式曲線を用いて、前記車線の始点座標及び/又は終点座標を確定することを更に含むことを特徴とする請求項6に記載の方法。

請求項8

各前記グループにおける車線点を合併するステップを更に含むことを特徴とする請求項1乃至5の何れか1項に記載の方法。

請求項9

前記第一画像における各車線点の間の距離を取得するステップは、各前記車線点の前記第一画像での座標を用いて、2個の車線点ずつの間の距離を計算し、2個の車線点ずつの間の距離を用いて、距離マトリックスを生成し、前記距離マトリックスにおける各要素が、前記第一画像における2個の車線点の間の距離を表すこと、を含むことを特徴とする請求項1乃至5の何れか1項に記載の方法。

請求項10

車線処理装置であって、第一画像における各車線点の間の距離を取得するための距離取得モジュールと、各前記車線点の間の距離を用いて、各前記車線点の方向密度を確定するための方向密度モジュールと、各前記車線点の方向密度に基づいて、各車線に対応するグループにおける車線点を確定するためのグループ化モジュールと、各前記グループにおける車線点を用いて、各前記グループに対応する車線の表現情報を得るための車線表現モジュールと、を備えることを特徴とする車線処理装置。

請求項11

前記第一画像をディープラーニングモデルに入力し識別して、第二画像を得て、前記第二画像は、前記第一画像に対して、一定のスケーリング比を有し、前記第二画像には、前記ディープラーニングモデルによって、前記第一画像を識別して得られた車線点及び非車線点が含まれるための識別モジュールと、前記第二画像における各車線点の座標を、前記スケーリング比に従って、前記第一画像にマッピングし戻して、前記第一画像における各車線点の座標を得るためのマッピングモジュールと、を更に備えることを特徴とする請求項10に記載の装置。

請求項12

前記方向密度モジュールは、目標車線点との距離が第一閾値より小さくなるK個の車線点を選択し、Kは、1以上の正整数であり、前記目標車線点及び前記K個の車線点のうちの少なくとも1つの車線点を通過する直線を生成し、前記直線との距離が第二閾値より小さくなる関連車線点の数量を取得し、前記K個の車線点にそれぞれ対応する前記関連車線点の数量のうちの最大値を前記目標車線点の方向密度として確定するためにさらに用いられることを特徴とする請求項10に記載の装置。

請求項13

前記グループ化モジュールは、前記グループの候補車線点を確定し、前記第一画像において、各車線点の方向密度に基づいて、前記候補車線点と同じグループに属する車線点があるかどうかについて探し、前記候補車線点と同じグループに属する車線点があれば、前記候補車線点と同じグループに属する車線点を前記グループに追加し、前記グループに追加された車線点を新たな前記候補車線点として、前記新たな前記候補車線点と同じグループに属する車線点が探されなくなるまで、前記新たな前記候補車線点と同じグループに属する車線点があるかどうかについて探すステップを実行し続けるためにさらに用いられ、ここで、前記第一画像において、各車線点の方向密度に基づいて、前記候補車線点と同じグループに属する車線点があるかどうかについて探すことは、前記第一画像から、前記候補車線点との距離が第三閾値より小さくなるM個の車線点を取得し、Mは、1以上の正整数であり、前記M個の車線点の方向密度に基づいて、前記候補車線点と同じグループに属する車線点を確定すること、を含むことを特徴とする請求項10に記載の装置。

請求項14

前記車線表現モジュールは、前記グループから複数の車線点を選択して、選択された複数の車線点の前記第一画像での座標を用いて、多項式フィッティングを行って、前記グループに対応する車線の多項式曲線を得るためのフィッティングサブモジュールを備えることを特徴とする請求項10乃至13の何れか1項に記載の装置。

請求項15

前記車線表現モジュールは、前記車線の多項式曲線を用いて、前記車線の始点座標及び/又は終点座標を確定するための始終点サブモジュールを更に備えることを特徴とする請求項14に記載の装置。

請求項16

前記距離取得モジュールは、各前記車線点の前記第一画像での座標を用いて、2個の車線点ずつの間の距離を計算するための距離計算サブモジュールと、2個の車線点ずつの間の距離を用いて、距離マトリックスを生成し、前記距離マトリックスの各要素が、前記第一画像における2個の車線点の間の距離を表すための距離マトリックス生成サブモジュールと、を備えることを特徴とする請求項10乃至13の何れか1項に記載の装置。

請求項17

車線処理装置であって、1つ又は複数のプロセッサと、1つ又は複数のプログラムを記憶するためのメモリと、を備え、前記1つ又は複数のプログラムが前記1つ又は複数のプロセッサにより実行されると、前記1つ又は複数のプロセッサが請求項1乃至9の何れか1項に記載の方法を実現するようにすることを特徴とする車線処理装置。

請求項18

コンピュータプログラムが記憶されるコンピュータ可読記憶媒体であって、前記プログラムがプロセッサにより実行されると、請求項1乃至9の何れか1項に記載の方法を実現することを特徴とするコンピュータ可読記憶媒体。

技術分野

0001

本発明は、交通技術分野に関し、特に、車線処理方法及び装置に関する。

背景技術

0002

車線は、自動運転に対して、重要な役割を果たしており、測位決定制御等のモジュールに重要な情報を提供することができる。従来の案としては、カメラによりキャプチャーされた二次元(2D、two dimensional)画像において、画像処理方法を介して車線のエッジを検出して、クラスタリングや他の点グループ化の案を用いて、車線を取得する。

0003

従来の画像処理ディープラーニング等の方法で車線の検出又は分割を行う案では、車線を出力するために、煩瑣な後処理案が必要で、その効果も、画像品質等の条件の影響を受けやすい。例えば、従来の後処理案として、ハフ(Hough)変換を利用して車線に対する後処理を行うことが可能であるが、このような方式では、ノイズ点の影響を受けやすくて、ロバストではない。

発明が解決しようとする課題

0004

本発明の実施例は、先行技術における1つ又は複数の技術的課題を解決するための車線処理方法及び装置を提供する。

課題を解決するための手段

0005

第一態様によれば、本発明の実施例は、車線処理方法を提供し、該方法は、
第一画像における各車線点の間の距離を取得するステップと、
各前記車線点の間の距離を用いて、各前記車線点の方向密度確定するステップと、
各前記車線点の方向密度に基づいて、各車線に対応するグループにおける車線点を確定するステップと、
各前記グループにおける車線点を用いて、各前記グループに対応する車線の表現情報を得るステップと、を含む。

0006

第一態様に合わせて、本発明の実施例として、第一態様の第一実現形態において、
前記第一画像をディープラーニングモデルに入力して、第二画像を得て、前記第二画像は、前記第一画像に対して、一定のスケーリング比を有し、前記第二画像には、前記ディープラーニングモデルによって、前記第一画像を識別して得られた車線点及び非車線点が含まれるステップと、
前記第二画像における各車線点の座標を、前記スケーリング比に従って、前記第一画像にマッピングし戻して、前記第一画像における各車線点の座標を得るステップと、を更に含む。

0007

第一態様に合わせて、本発明の実施例として、第一態様の第二実現形態において、各前記車線点の間の距離を用いて、各前記車線点の方向密度を確定するステップは、
目標車線点との距離が第一閾値より小さくなるK個の車線点を選択し、Kは、1以上の正整数であるステップと、
前記目標車線点と前記K個の車線点のうちの少なくとも1つの車線点とを通過する直線を生成するステップと、
前記直線との距離が第二閾値より小さくなる関連車線点の数量を取得するステップと、
前記K個の車線点にそれぞれ対応する前記関連車線点の数量の中の最大値を前記目標車線点の方向密度として確定するステップと、を含む。

0008

第一態様に合わせて、本発明の実施例として、第一態様の第三実現形態において、各前記車線点の方向密度に基づいて、各車線に対応するグループにおける車線点を確定するステップは、
前記グループの候補車線点を確定するステップと、
前記第一画像において、各車線点の方向密度に基づいて、前記候補車線点と同じグループに属する車線点があるかどうかについて探すステップと、
前記候補車線点と同じグループに属する車線点があれば、前記候補車線点と同じグループに属する車線点を前記グループに追加するステップと、
前記グループに追加された車線点を新たな前記候補車線点として、前記新たな前記候補車線点と同じグループに属する車線点が探されなくなるまで、前記候補車線点と同じグループに属する車線点があるかどうかについて探すステップを実行し続けるステップと、を含み、
ここで、前記第一画像において、各車線点の方向密度に基づいて、前記候補車線点と同じグループに属する車線点があるかどうかについて探すステップは、前記第一画像から、前記候補車線点との距離が第三閾値より小さくなるM個の車線点を取得し、Mは、1以上の正整数であり、前記M個の車線点の方向密度に基づいて、前記候補車線点と同じグループに属する車線点を確定すること、を含む。

0009

第一態様の第三実現形態に合わせて、本発明の実施例として、第一態様の第四実現形態において、前記M個の車線点の方向密度に基づいて、前記候補車線点と同じグループに属する車線点を確定することは、
前記M個の車線点のうち、方向密度が最大となる車線点を、前記候補車線点と同じグループに属する車線点として確定し、又は
前記M個の車線点から、前記候補車線点の方向密度に対する直線に対応する関連車線点を取得して、各前記関連車線点から、方向密度が最大となる点を、前記候補車線点と同じグループに属する車線点として選択することを、含む。

0010

第一態様又はその何れか1つの実現形態に合わせて、本発明の実施例として、第一態様の第五実現形態において、各前記グループにおける車線点を用いて、各前記グループに対応する車線の表現情報を得るステップは、
前記グループから複数の車線点を選択して、選択された複数の車線点の前記第一画像での座標を用いて、多項式フィッティングを行って、前記グループに対応する車線の多項式曲線を得ることを含む。

0011

第一態様の第五実現形態に合わせて、本発明の実施例として、第一態様の第六実現形態において、各前記グループにおける車線点を用いて、各前記グループに対応する車線の表現情報を得るステップは、
前記車線の多項式曲線を用いて、前記車線の始点座標及び/又は終点座標を確定することを更に含む。

0012

第一態様又はその何れか1つの実現形態に合わせて、本発明の実施例として、第一態様の第七実現形態において、
各前記グループにおける車線点を合併するステップを更に含む。

0013

第一態様又はその何れか1つの実現形態に合わせて、本発明の実施例として、第一態様の第八実現形態において、第一画像における各車線点の間の距離を取得するステップは、
各前記車線点の前記第一画像での座標を用いて、2個の車線点ずつの間の距離を計算し、
2個の車線点ずつの間の距離を用いて、距離マトリックスを生成し、前記距離マトリックスの各要素が、前記第一画像における2個の車線点の間の距離を表すこと、を含む。

0014

第二態様によれば、本発明の実施例は、車線処理装置を提供し、該装置は、
第一画像における各車線点の間の距離を取得するための距離取得モジュールと、
各前記車線点の間の距離を用いて、各前記車線点の方向密度を確定するための方向密度モジュールと、
各前記車線点の方向密度に基づいて、各車線に対応するグループにおける車線点を確定するためのグループ化モジュールと、
各前記グループにおける車線点を用いて、各前記グループに対応する車線の表現情報を得るための車線表現モジュールと、を備える。

0015

第二態様に合わせて、本発明の実施例として、第二態様の第一実現形態において、
前記第一画像をディープラーニングモデルに入力し識別して、第二画像を得て、前記第二画像は、前記第一画像に対して、一定のスケーリング比を有し、前記第二画像には、前記第一画像を識別して得られた車線点及び非車線点が含まれるための識別モジュールと、
前記第二画像における各車線点の座標を、前記スケーリング比に従って、前記第一画像にマッピングし戻して、前記第一画像における各車線点の座標を得るためのマッピングモジュールと、を更に備える。

0016

第二態様に合わせて、本発明の実施例として、第二態様の第二実現形態において、前記方向密度モジュールは、
目標車線点との距離が第一閾値より小さくなるK個の車線点を選択し、Kは、1以上の正整数であり、
前記目標車線点と前記K個の車線点のうちの少なくとも1つの車線点とを通過する直線を生成し、
前記直線との距離が第二閾値より小さくなる関連車線点の数量を取得し、
前記K個の車線点にそれぞれ対応する前記関連車線点の数量の中の最大値を前記目標車線点の方向密度として確定するためにさらに用いられる。

0017

第二態様に合わせて、本発明の実施例として、第二態様の第三実現形態において、前記グループ化モジュールは、
前記グループの候補車線点を確定し、
前記第一画像において、各車線点の方向密度に基づいて、前記候補車線点と同じグループに属する車線点があるかどうかについて探し、
前記候補車線点と同じグループに属する車線点があれば、前記候補車線点と同じグループに属する車線点を前記グループに追加し、
前記グループに追加された車線点を新たな前記候補車線点として、前記新たな前記候補車線点と同じグループに属する車線点が探されなくなるまで、前記候補車線点と同じグループに属する車線点があるかどうかについて探すステップを実行し続けるためにさらに用いられ、
ここで、前記第一画像において、各車線点の方向密度に基づいて、前記候補車線点と同じグループに属する車線点があるかどうかについて探すことは、前記第一画像から、前記候補車線点との距離が第三閾値より小さくなるM個の車線点を取得し、Mは、1以上の正整数であり、前記M個の車線点の方向密度に基づいて、前記候補車線点と同じグループに属する車線点を確定すること、を含む。

0018

第二態様又はその何れか1つの実現形態に合わせて、本発明の実施例として、第二態様の第四実現形態において、前記車線表現モジュールは、
前記グループから複数の車線点を選択して、選択された複数の車線点の前記第一画像での座標を用いて、多項式フィッティングを行って、前記グループに対応する車線の多項式曲線を得るためのフィッティングサブモジュールを備える。

0019

第二態様の第四実現形態に合わせて、本発明の実施例として、第二態様の第五実現形態において、前記車線表現モジュールは、
前記車線の多項式曲線を用いて、前記車線の始点座標及び/又は終点座標を確定するための始終点サブモジュールを更に備える。

0020

第二態様又はその何れか1つの実現形態に合わせて、本発明の実施例として、第二態様の第六実現形態において、前記距離取得モジュールは、
各前記車線点の前記第一画像での座標を用いて、2個の車線点ずつの間の距離を計算するための距離計算サブモジュールと、
2個の車線点ずつの間の距離を用いて、距離マトリックスを生成し、前記距離マトリックスの各要素が、前記第一画像における2個の車線点の間の距離を表すための距離マトリックス生成サブモジュールと、を備える。

0021

第三態様によれば、本発明の実施例は、車線処理装置を提供し、前記装置の機能が、ハードウェアで実現されてもよいし、ハードウェアにより該当のソフトウェアを実行することで実現されてもよい。前記ハードウェア又はソフトウェアは、上記機能に対応する1つ又は複数モジュールを含む。

0022

1つの可能な設計において、前記装置の構造には、プロセッサ及びメモリが含まれており、前記メモリが、前記装置による上記車線処理方法の実行をサポートするプログラムを記憶するために用いられ、前記プロセッサが、前記メモリに記憶されたプログラムを実行するように配置されている。前記装置は、他の機器又は通信ネットワーク通信するための通信インターフェースを更に備えてもよい。

0023

第四態様によれば、本発明の実施例は、車線処理装置に用いられるコンピュータソフトウェア指令を記憶するためのコンピュータ可読記憶媒体を提供しており、該指令は、上記車線処理方法を実行するためのプログラムを含む。

0024

上記技術案のうちの1つの技術案は、各車線点の方向密度に基づいて、画像における車線点をグループ化することで、得られたグループがより正確になり、フィッティングによって得られた車線が正確であり、画像の品質に影響されず、高いロバスト性を有するという利点又は有益な効果を有する。

0025

上記概説は明細書のためのものであって、いかなる方式で制限するためのものではない。上記説明される模式的な態様、実施形態及び特徴を除き、本発明のさらなる態様、実施形態及び特徴は、図面及び以下の詳細な説明によって明らかになる。

図面の簡単な説明

0026

図面において、特に断らない限り、同一符号は同一又は類似の部材又は要素を示す。これらの図面は必ずしも縮尺に応じて作成されるものではない。なお、これらの図面は本発明に開示されているいくつかの実施形態を示しているが、本発明の範囲を限定するものではない。

0027

本発明の実施例に係る車線処理方法のフローチャートを示す。
本発明の実施例に係る車線処理方法のフローチャートを示す。
本発明の実施例に係る車線処理方法のフローチャートを示す。
本発明の実施例に係る車線処理方法において方向密度を確定する例を示す図である。
本発明の実施例に係る車線処理方法のフローチャートを示す。
本発明の実施例に係る車線処理方法においてグループ化する例を示す図である。
本発明の実施例に係る車線処理方法においてグループを合併する例を示す図である。
本発明の実施例に係る車線処理方法において曲線を用いて始点、終点を確定する模式図を示す。
本発明の実施例に係る車線処理方法において曲線を用いて始点、終点を確定する模式図を示す。
本発明の実施例に係る車線処理装置の構造ブロック図を示す。
本発明の実施例に係る車線処理装置の構造ブロック図を示す。
本発明の実施例に係る車線処理装置の構造ブロック図を示す。

実施例

0028

以下では、幾つかの例示的な実施例のみを簡単に説明する。当業者であれば、本発明の趣旨又は範囲を逸脱せずに、説明した実施例に様々な変更を施すことができると理解できる。従って、図面と説明は本質的に例示的であり、限定的ではないとみなされるべきである。

0029

図1は、本発明の実施例に係る車線処理方法のフローチャートを示す。図1に示すように、該方法は、
第一画像における各車線点の間の距離を取得するステップS11と、
各前記車線点の間の距離を用いて、各前記車線点の方向密度を確定するステップS12と、
各前記車線点の方向密度に基づいて、各車線に対応するグループにおける車線点を確定するステップS13と、
各前記グループにおける車線点を用いて、各前記グループに対応する車線の表現情報を得るステップS14と、を含んでもよい。

0030

本実施例において、第一画像における画素点分類してもよく、車線として分類された画素点は、車線点と称されてもよい。第一画像における車線点以外の画素点は、非車線点と称されてもよい。

0031

一実現形態において、ステップS11は、各前記車線点の前記第一画像での座標を用いて、2個の車線点ずつの間の距離を計算することと、2個の車線点ずつの間の距離を用いて、距離マトリックスを生成し、距離マトリックスにおける各要素が前記第一画像における2個の車線点の間の距離を表すことと、を含む。距離マトリックスを先に計算すれば、方向密度を計算する際、距離マトリックスにおける要素を直接に利用することができるので、計算プロセスがより簡単且つ迅速になる。

0032

一例においては、元画像内の全ての車線点のうち、2個ずつの間の距離を計算して、距離マトリックスを構築してもよい。元画像には、N個の車線点があると仮定すると、距離マトリックスのサイズは、N*Nとなる。

0033

例えば、距離マトリックスは、以下の通りであるとする。



該距離マトリックスにおける要素eijは、2個の車線点iとjとの間のユークリッド距離を表すことが可能である。勿論、他の方式で、例えば、街区距離等で、距離マトリックス内の要素を計算してもよい。

0034

一実現形態において、図2に示すように、該方法は、
第一画像をディープラーニングモデルに入力し識別して、第二画像を得て、前記第二画像は、前記第一画像に対して、一定のスケーリング比を有し、前記第二画像には、ディープラーニングモデルによって、前記第一画像を識別して得られた車線点及び非車線点が含まれるステップS21と、
第二画像における各車線点の座標を、前記スケーリング比に従って、第一画像にマッピングし戻して、第一画像における各車線点の座標を得るステップS22と、を更に含む。

0035

本実施例は、ディープラーニングモデルの予測出力結果に対して、後処理を行うために用いられてもよい。ニューラルネットワークを用いてディープラーニングモデルを構築し、ある程度のサンプル画像を用いてトレーニングすることで、ネットワーク出力グラフにおける各画素点が車線に属する信頼度をディープラーニングモデルにより得られるようにする。また、信頼度閾値を用いて分類を行う。例えば、信頼度が閾値より大きくなる画素点が車線点となり、閾値以下の画素点が非車線点となる等。後続では、識別結果を用いて自己学習し続けていくことで、モデルを最適化してもよい。

0036

例えば、一枚の2D画像(元画像、即ち、第一画像)、例えば、撮影された路面画像等が与えられてもよい。ディープラーニングモデルを用いて、元画像を均等な比で縮小し、縮小後の画像における画素点を分類する(0:非車線点、1:車線点)。車線として分類された画素点(車線点と略す)のそれぞれについて、その予測目標点のネットワーク出力グラフ、即ち、第二画像での位置がモデルにより与えられてもよい。その後、ネットワーク出力グラフにおける各車線点の座標を元画像にマッピングし戻す。

0037

一実現形態において、図3に示すように、ステップS12は、
目標車線点との距離が第一閾値より小さくなるK個の車線点を選択し、Kは、1以上の正整数であるステップS121と、
前記目標車線点と前記K個の車線点のうちの少なくとも1つの車線点とを通過する直線を生成するステップS122と、
前記直線との距離が第二閾値より小さくなる関連車線点の数量を取得するステップS123と、
前記K個の車線点にそれぞれ対応する前記関連車線点の数量の中の最大値を前記目標車線点の方向密度として確定するステップS124と、を含む。このように、該最大値に対応する直線を該目標車線点の方向とすることができる。目標車線点の方向密度を確定するこれらの点、即ち、該直線との距離が第二閾値より小さくなる点を、目標車線点の方向に関連する車線点(関連車線点と略す)として確定する。

0038

画像におけるそれぞれの車線点の方向密度を計算してもよく、方向密度は、車線点がある方向に沿って、他の車線点に近づく可能性を表すことが可能である。第一閾値、第二閾値は、第一画像のサイズや、画像における車線点の数量等のパラメータに応じて設定されてもよい。

0039

一例において、それぞれの目標車線点Pに対して、距離マトリックスから、当該目標車線点Pとの距離が第一閾値T1より小さくなるK個の隣接点Pnb_iを選択してもよい。例えば、距離マトリックスから、点Pに対応する行における各要素を抽出する。抽出されたある要素が第一閾値T1より小さく、且つ、該要素が点Pと点P1との間の距離を表すれば、点P1は、点Pの隣接点に該当する。同じようにして、距離マトリックスから点Pに対応する行及び列の各要素を抽出することで、目標車線点Pの全ての隣接点を確定することができる。第一閾値T1のサイズが異なると、隣接点の数が異なる可能性がある。

0040

そして、点Pとその隣接点Pnb_iとを用いて直線を確定し、他の車線点から該直線までの距離を計算する。距離が第二閾値T2より小さくなる車線点の数を統計して、その最大値を該点Pの方向密度とする。該直線は、点Pの方向を表すことができる。該直線との距離がT2より小さくなる各車線点は、該直線の関連車線点に属し、これらの関連車線点が、該直線の方向に沿って点Pに近づく。例えば、図4に示すように、それぞれの小さい円は、1つの車線点を示し、Pとの距離がT1より小さくなる3つの点は、P1、P2、P3である。その中、PとP1とにより直線L1が確定され、PとP2とにより直線L2が確定され、PとP3とにより直線L3が確定される。L1、L2、L3との距離が閾値T2より小さくなる車線点は、それぞれ、3つ、4つ、5つがある。従って、5を点Pの方向密度とすることができる。

0041

一実現形態において、図5に示すように、ステップS13は、
グループにおける候補車線点を確定するステップS131と、
前記第一画像において、各車線点の方向密度に基づいて、前記候補車線点と同じグループに属する車線点があるかどうかについて探すステップS132と、
前記候補車線点と同じグループに属する車線点があれば、前記候補車線点と同じグループに属する車線点を前記グループに追加するステップS133と、
前記グループに追加された車線点を新たな前記候補車線点として、前記候補車線点と同じグループに属する車線点が探されなくなるまで、前記候補車線点と同じグループに属する車線点があるかどうかについて探すステップ、即ち、ステップS132を実行し続けるステップS134と、を含む。

0042

一例においては、ステップS132は、前記第一画像から、前記候補車線点との距離が第三閾値より小さくなるM個の車線点を取得し、Mは、1以上の正整数であることと、前記M個の車線点の方向密度に基づいて、前記候補車線点と同じグループに属する車線点を確定することと、を含んでもよい。

0043

その中、前記M個の車線点の方向密度に基づいて、前記候補車線点と同じグループに属する車線点を確定する方式は、複数があり得る。

0044

例えば、前記M個の車線点のうち、方向密度が最大となる車線点を、前記候補車線点と同じグループに属する車線点として確定する。

0045

もしくは、前記M個の車線点から、前記候補車線点の方向密度に対する直線に対応する関連車線点を取得する。各前記関連車線点は、前記直線との距離が第二閾値より小さい。各前記関連車線点から、方向密度が最大となる点を、前記候補車線点と同じグループに属する車線点として選択する。

0046

一例においては、1つの候補車線点Pを選択して、Pとの距離が閾値T3より小さくなる範囲内で、最大の方向密度を持つ車線点Qを選択し、T3は、100個の画素であるとする。点Qを新たな候補車線点として、同様なルールで、条件を満たす点が探されなくなるまで、条件を満たす点を選択していく。今回に探された全ての点を1つのグループにする。全ての車線点が処理されるまで、該グループ化のプロセスを繰り返せば、点のグループがいくつか得られる。例えば、図6に示すように、それぞれの小さい円は、1つの車線点を示し、候補車線点Pの方向密度が5であるとする。点Pとの間の距離が閾値T3より小さくなる画素点が位置するエリアは、破線枠により示される。該エリア内の各車線点の方向密度は、図4に示す方法で計算されてもよい。該エリア内の複数の車線点の方向密度がそれぞれ2、1、3、4であるとすると、方向密度が最大となる点Q(方向密度4)を選択する。また、点Pの方向と併せて、図4の領域において、点Pの方向密度に対する直線、即ち、Pの方向、に対応する関連車線点(図6内の直線との距離が閾値T2より小さくなる各点)から、方向密度が最大となる点を選択してもよい。

0047

一実現形態において、ステップS13の後に、該方法は、各前記グループにおける車線点を合併するステップを更に含む。そして、合併後のグループを最終的なグループ化結果とする。

0048

本実施例において、各グループの間の空間的隣接性の原則を用いて、隣り合うグループを合併してもよい。合併方式は、複数があり、以下のように例を挙げる。
方式一として、2つのグループの間の距離が設定された閾値より小さければ、合併を行い、ここで、例えば、2つのグループにおける各点の間の距離の最小値を、2つのグループの間の距離としてもよい。
方式二として、それぞれのグループにおける点の方向密度の情報を用いて、それぞれのグループの隣接する領域方向に向ける点の方向密度の集合を計算し、2つのグループの隣接する領域方向に向ける点の方向密度の集合の重なり度合が閾値よりも高ければ、これら2つのグループを合併する。例えば、図7を参照すると、グループAとグループBとのいずれ一方にも、方向密度に対応する直線が他方を通過する点が複数あるとすると、グループAとグループBとは、重なりを持つと見なす。重なり度合閾値が3である場合、もしグループAには、方向密度に対応する直線がグループBを通過する点が3つあり、且つグループBには、方向密度に対応する直線がグループAを通過する点が2つあるとすると、これら2つのグループの重なり度合は5となり、閾値を超えるので、これら2つのグループは、合併可能になる。

0049

一実現形態において、ステップS14は、それぞれのグループに対して、前記グループから複数の車線点を選択することと、選択された複数の車線点の前記第一画像での座標を用いて、多項式フィッティングを行って、前記グループに対応する車線の多項式曲線を得ることとを含む。

0050

多項式フィッティングプロセスの一例では、例えば、多項式y=ax3+bx2+cx+dが与えられる。それぞれのグループに対して、該グループにおける複数(例えば、4つ又はそれ以上)の車線点の元画像での座標(x、y)を該多項式に代入してもよい。そして、最小二乗法によって、該多項式を解いて、該多項式における各係数a、b、c、dの値を得る。

0051

ただし、与えられる多項式は、一例に過ぎず、制限的なものではなく、必要に応じて、他の形式の多項式を採用してもよい。

0052

一実現形態において、ステップS14は、前記車線の多項式曲線を用いて、前記車線の始点座標及び/又は終点座標を確定することを更に含む。

0053

あるグループに対応する車線の多項式曲線がフィッティングによって得られたと、該曲線に基づいて車線の始点や終点等の情報を確定することができる。具体的に、該グループにおける各車線点の座標、及び、該グループに対応する車線の曲線を併せて、これらの点のy(及び/又はx)の最小値及び最大値等によって、始点及び終点情報を確定することができる。

0054

例えば、図8aに示すように、あるグループのフィッティングにより曲線L1を得て、該グループ内のy(及び/又はx)の最小値によって、L1の始点座標Aを確定し、該グループ内のy(及び/又はx)の最大値によって、L1の終点座標Bを確定する。あるグループのフィッティングにより曲線L2を得て、該グループ内のxの最小値(yの最大値)によって、曲線L2の始点座標Dを確定し、該グループ内のxの最大値(yの最小値)によって、曲線L2の終点座標Cを確定する。

0055

もしくは、図8bに示すように、あるグループのフィッティングにより曲線L3を得て、該グループ内のyの最小値によって、L3の始点座標Eを確定し、該グループ内のyの最大値によって、L3の終点座標Fを確定する。

0056

本発明の実施例は、各車線点の方向密度に基づいて、画像における車線点をグループ化することで、得られたグループがより正確になるため、フィッティングによって得られた車線が正確であり、画像の品質に影響されず、高いロバスト性を有する。

0057

図9は、本発明の実施例に係る車線処理装置の構造ブロック図を示す。図9に示すように、該装置は、
第一画像における各車線点の間の距離を取得するための距離取得モジュール71と、
各前記車線点の間の距離を用いて、各前記車線点の方向密度を確定するための方向密度モジュール72と、
各前記車線点の方向密度に基づいて、各車線に対応するグループにおける車線点を確定するためのグループ化モジュール73と、
各前記グループにおける車線点を用いて、各前記グループに対応する車線の表現情報を得るための車線表現モジュール74と、を備えてもよい。

0058

一実現形態において、図10に示すように、該装置は、
前記第一画像をディープラーニングモデルに入力し識別して、第二画像を得て、前記第二画像は、前記第一画像に対して、一定のスケーリング比を有し、前記第二画像には、ディープラーニングモデルによって、前記第一画像を識別して得られた車線点及び非車線点が含まれるための識別モジュール81と、
前記第二画像における各車線点の座標を、前記スケーリング比に従って、前記第一画像にマッピングし戻して、前記第一画像における各車線点の座標を得るためのマッピングモジュール82と、を更に備える。

0059

一実現形態において、前記方向密度モジュール72は、
目標車線点との距離が第一閾値より小さくなるK個の車線点を選択し、Kは、1以上の正整数であり、
前記目標車線点と前記K個の車線点のうちの少なくとも1つの車線点とを通過する直線を生成し、
前記直線との距離が第二閾値より小さくなる関連車線点の数量を取得し、
前記K個の車線点にそれぞれ対応する前記関連車線点の数量のうちの最大値を前記目標車線点の方向密度として確定し、該最大値に対応する直線を該目標車線点の方向とすることができるためにさらに用いられる。

0060

一実現形態において、前記グループ化モジュール73は、
前記グループの候補車線点を確定し、
前記第一画像において、各車線点の方向密度に基づいて、前記候補車線点と同じグループに属する車線点があるかどうかについて探し、
前記候補車線点と同じグループに属する車線点があれば、前記候補車線点と同じグループに属する車線点を前記グループに追加し、
前記グループに追加された車線点を新たな前記候補車線点として、前記候補車線点と同じグループに属する車線点が探されなくなるまで、前記候補車線点と同じグループに属する車線点があるかどうかについて探すステップを実行し続け、
その中、前記第一画像において、各車線点の方向密度に基づいて、前記候補車線点と同じグループに属する車線点があるかどうかについて探すことは、前記第一画像から、前記候補車線点との距離が第三閾値より小さくなるM個の車線点を取得し、Mは、1以上の正整数であり、前記M個の車線点の方向密度に基づいて、前記候補車線点と同じグループに属する車線点を確定するためにさらに用いられる。

0061

なお、前記M個の車線点の方向密度に基づいて、前記候補車線点と同じグループに属する車線点を確定する方式は、複数があり得る。

0062

例えば、前記M個の車線点のうち、方向密度が最大となる車線点を、前記候補車線点と同じグループに属する車線点として確定する。

0063

もしくは、前記M個の車線点から、前記候補車線点の方向密度に対する直線に対応する関連車線点を取得する。各前記関連車線点は、前記直線との距離が第二閾値より小さい。各前記関連車線点から、方向密度が最大となる点を、前記候補車線点と同じグループに属する車線点として選択する。

0064

一実現形態において、前記車線表現モジュール74は、
それぞれのグループに対して、前記グループから複数の車線点を選択して、選択された複数の車線点の前記第一画像内の座標を用いて、多項式フィッティングを行って、前記グループに対応する車線の多項式曲線を得るためのフィッティングサブモジュール741を備える。

0065

一実現形態において、前記車線表現モジュール74は、
前記車線の多項式曲線を用いて、前記車線の始点座標及び/又は終点座標を確定するための始終点サブモジュール742を更に備える。

0066

一実現形態において、該装置は、
各前記グループにおける車線点を合併するための合併モジュール83を更に備える。
一実現形態において、距離取得モジュール71は、
各前記車線点の前記第一画像での座標を用いて、2個の車線点ずつの間の距離を計算するための距離計算サブモジュール711と、
2個の車線点ずつの間の距離を用いて、距離マトリックスを生成し、距離マトリックスにおける要素が、前記第一画像における2個の車線点の間の距離を表すための距離マトリックス生成サブモジュール712と、を備える。

0067

本発明の実施例に係る各装置内の各モジュールの機能について、上述の方法における対応する説明を参照してもよい、ここで繰り返して説明しない。

0068

図11は、本発明の実施例に係る車線処理装置の構成ブロック図を示す。図11に示すように、該装置は、メモリ910及びプロセッサ920を備え、メモリ910には、プロセッサ920上で実行可能なコンピュータプログラムが記憶されている。前記プロセッサ920は、前記コンピュータプログラムを実行すると、上記実施例に係る車線処理方法を実現する。前記メモリ910とプロセッサ920の数は、1つ又は複数であってもよい。

0069

該装置/設備/端末/サーバーは、外部装置と通信し、データの交換伝送を行うための通信インターフェース930をさらに備える。

0070

メモリ910は、高速RAMメモリを含む可能性もあるし、不揮発性メモリ(non−volatile memory)、例えば、少なくとも1つの磁気ディスクメモリをさらに含む可能性もある。

0071

メモリ910、プロセッサ920及び通信インターフェース930が独立して実現する場合、メモリ910、プロセッサ920及び通信インターフェース930はバスで互いに接続され、且つ相互間の通信を実現することができる。前記バスは業界標準アーキテクチャISA、Industry Standard Architecture)バス、ペリフェラルコンポーネントPCI、Peripheral Component Interconnect)バス又は拡張業界標準アーキテクチャ(EISA、Extended Industry Standard Architecture)バス等であってもよい。前記バスはアドレスバスデータバス制御バス等に分けられてもよい。示しやすくするために、図11では、1本のみの太線で示すが、1本のみのバス又は1つのタイプのみのバスを有すると示さない。

0072

選択的に、具体的に実現する時、メモリ910、プロセッサ920及び通信インターフェース930が1枚のチップ統合される場合、メモリ910、プロセッサ920及び通信インターフェース930は、内部インターフェースによって、相互間の通信を実現することができる。

0073

本発明の実施例は、コンピュータプログラムが記憶されるコンピュータ可読記憶媒体を提供し、該プログラムがプロセッサにより実行されると、上記実施例におけるいずれか一項に記載の方法を実現する。

0074

本明細書の説明において、用語「一実施例」、「いくつかの実施例」、「例」、「具体例」、又は「いくつかの例」等の説明とは、該実施例又は例を参照すると説明した具体的な特徴、構造、材料又は特性が本発明の少なくとも1つの実施例又は例に含まれることを意味する。且つ、説明される具体的な特徴、構造、材料又は特性はいずれか1つ又は複数の実施例又は例で適切な方式で結合してもよい。また、矛盾しない限り、当業者は本明細書に説明される様々な実施例又は例、及び様々な実施例又は例の特徴を結合及び組み合わせすることができる。

0075

また、用語の「第一」、「第二」は説明のためのものに過ぎず、相対重要性を指示又は示唆し、又は指示された技術的特徴の数を暗示すると理解すべきではない。従って、「第一」、「第二」で制限された特徴は少なくとも1つの該特徴を明示的又は暗示的に含んでもよい。本発明の説明において、特に明確且つ具体的に制限しない限り、「複数」の意味は2つ又は2つ以上である。

0076

当業者であれば、フローチャートにおける、又はここでほかの方式で説明されるいかなる過程又は方法についての説明は、確定の論理機能又は過程を実現するための1つ又は複数のステップの実行可能命令のコードを含むモジュール、セグメント又は部分を示すと理解されてもよく、且つ本発明の好適な実施形態の範囲はほかの実現を含み、指示又は検討される順序通りでなくてもよく、関わる機能に基づいて、ほぼ同時に、又は逆順序で機能を実行してもよいと理解すべきである。

0077

フローチャートに示す、又はここでほかの方式で説明される論理及び/又はステップは、例えば、論理機能を実現するための実行可能命令の順序付けリストであると見なされてもよく、具体的にいかなるコンピュータ可読媒体に実現されてもよく、命令実行ステム、装置又はデバイス(例えばコンピュータに基づくシステム、プロセッサを含むシステム又は命令実行システム、装置又はデバイスから命令を受信し且つ命令を実行するシステム)の使用に備え、又はこれらの命令実行システム、装置又はデバイスと組み合わせて使用される。本明細書については、「コンピュータ可読媒体」はプログラムを包含、記憶、通信、伝播又は伝送することにより、命令実行システム、装置又はデバイス、又はこれらの命令実行システム、装置又はデバイスと組み合わせて使用されるいかなる装置であってもよい。コンピュータ可読媒体のさらなる具体例(非網羅的リスト)は、1つ又は複数の配線を有する電気接続部電子装置)、ポータブルコンピュータケース磁気装置)、ランダムアクセスメモリー(RAM)、読み出し専用メモリ(ROM)、電気的消去再書込み可能な読出し専用メモリEPROM又はフラッシュメモリー)、光ファイバー装置、及び携帯型読み出し専用メモリー(CDROM)を含む。また、コンピュータ可読媒体は更にその上に前記プログラムを印刷できる用紙又はほかの適切な媒体であってもよい理由は、例えば用紙又はほかの媒体を光学的に走査し、次に編集解釈し、又は必要な時にほかの適切な方式で処理して、電子方式で前記プログラムを取得し、次にそれをコンピュータメモリに記憶することができるためである。

0078

本発明の各部分はハードウェア、ソフトウェア、ファームウェア又はそれらの組み合わせで実現されてもよいと理解すべきである。上記実施形態において、複数のステップ又は方法は、メモリに記憶される、且つ適切な命令実行システムで実行するソフトウェア又はファームウェアで実現されてもよい。例えば、ハードウェアで実現する場合は、別の実施形態と同様に、データ信号に対して論理機能を実現する論理ゲート回路を有する離散論理回路、適切な組み合わせ論理ゲート回路を有する確定用途向け集積回路プログラマブルゲートアレイPGA)、フィールドプログラマブルゲートアレイFPGA)等の本分野での公知技術のうちのいずれか1つ又はそれらの組み合わせで実現してもよい。

0079

当業者であれば、上記実施例方法におけるステップの全部又は一部の実現がプログラムによって関連するハードウェアを命令して完了させてもよく、前記プログラムがコンピュータ可読記憶媒体に記憶されてもよく、実行時に、該プログラムは方法実施例のステップの1つ又はそれらの組み合わせを含むと理解される。

0080

また、本発明の各実施例における各機能ユニットが1つの処理モジュールに統合されてもよく、各ユニットが独立して物理的に存在してもよく、2つ又は2つ以上のユニットが1つのモジュールに統合されてもよい。上記統合モジュールはハードウェアのタイプで実現されてもよいし、ソフトウェア機能モジュールのタイプで実現されてもよい。前記統合モジュールはソフトウェア機能モジュールのタイプで実現され、且つ独立した製品として販売又は使用される時、1つのコンピュータ可読記憶媒体に記憶されてもよい。前記記憶媒体は読み出し専用メモリ、磁気ディスク又は光ディスク等であってもよい。

0081

以上の説明は、本発明の具体的な実施形態に過ぎず、本発明の保護範囲を制限するためのものではなく、当業者が本発明に開示される技術的範囲内に容易に想到し得る種々の変更又は置換は、いずれも本発明の保護範囲内に含まれるべきである。従って、本発明の保護範囲は特許請求の範囲に準じるべきである。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ