図面 (/)

この項目の情報は公開日時点(2020年3月12日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (10)

課題

車線追跡方法及び装置を提供する。

解決手段

方法は、所定のフレームの前のKフレームのカメラ座標系での車線検出結果を世界座標系投影して、第一投影結果を取得するS11。Kは、1以上の正の整数であり、前のKフレームは、所定のフレームより前の連続するK個のフレームである。前のKフレームの世界座標系での第一投影結果を所定のフレームのカメラ座標系に投影して、第二投影結果を取得する。S12所定のフレームのカメラ座標系において、前のKフレームの第二投影結果における車線グループに基づいて、所定のフレームの車線グループを確定するS13。前後のフレームの間の関連を用いることで、より正確、且つ、よりロバストとなる車線結果を出力して、正確な車線追跡効果を実現する。

概要

背景

車線は、自動運転に対して重要な役割を果たしており、測位決定制御等のモジュールに重要な情報を提供することができる。

走行中の車両に対して、撮影された車線ビデオにおいて、前後のフレームの画像の間には、関連性を有する。あるフレーム画像に問題が起こると、単一フレームにおける検出結果に突然の変化が生じやすくなり、例えば、車線が失われる等の状況に繋がってしまうため、単一フレームによる検出で得られた車線結果は、極めて不正確となる。

概要

車線追跡方法及び装置を提供する。方法は、所定のフレームの前のKフレームのカメラ座標系での車線検出結果を世界座標系投影して、第一投影結果を取得するS11。Kは、1以上の正の整数であり、前のKフレームは、所定のフレームより前の連続するK個のフレームである。前のKフレームの世界座標系での第一投影結果を所定のフレームのカメラ座標系に投影して、第二投影結果を取得する。S12所定のフレームのカメラ座標系において、前のKフレームの第二投影結果における車線グループに基づいて、所定のフレームの車線グループを確定するS13。前後のフレームの間の関連を用いることで、より正確、且つ、よりロバストとなる車線結果を出力して、正確な車線追跡効果を実現する。

目的

車線は、自動運転に対して重要な役割を果たしており、測位や決定制御等のモジュールに重要な情報を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

所定のフレームの前のKフレームのカメラ座標系での車線検出結果を世界座標系投影して、第一投影結果を取得し、Kは、1以上の正の整数であり、前記前のKフレームは、前記所定のフレームより前の連続するK個のフレームであるステップと、前記前のKフレームの世界座標系での前記第一投影結果を前記所定のフレームのカメラ座標系に投影して、第二投影結果を取得するステップと、前記所定のフレームのカメラ座標系において、前記前のKフレームの前記第二投影結果における車線グループに基づいて、前記所定のフレームの車線グループを確定するステップと、を含むことを特徴とする車線追跡方法

請求項2

前記前のKフレームの前記第二投影結果における車線グループに基づいて、前記所定のフレームの車線グループを確定するステップは、前記所定のフレームにおける車線グループのうちの一つを選択し、前記所定のフレームの選択された車線グループと前記前のKフレームの前記第二投影結果における各車線グループとの間の最小距離を計算するステップと、前記最小距離のうちの最小値が、前記前のKフレームの前記第二投影結果における車線グループのうちの第S車線グループに対応すれば、前記所定のフレームの選択された車線グループを前記前のKフレームの前記第S車線グループに合併し、Sは、1以上の正の整数であるステップと、を含むことを特徴とする請求項1に記載の方法。

請求項3

前記最小距離のうちの最小値が、前記前のKフレームの前記第二投影結果における車線グループのうちの第S車線グループに対応すれば、前記所定のフレームの選択された車線グループを前記Kフレームの前記第S車線グループに合併するステップは、前記最小距離のうちの最小値が設定された閾値より小さければ、前記所定のフレームの選択された車線グループを前記前のKフレームの前記第S車線グループに合併し、そうでなければ、前記所定のフレームの選択された車線グループを新規車線グループとすること、を含むことを特徴とする請求項2に記載の方法。

請求項4

前記所定のフレームのカメラ座標系において、前記前のKフレームの前記第二投影結果における車線グループの車線点に基づいて、前記所定のフレームにおける前記車線グループの車線点に対して平滑化処理を行うステップを更に含むことを特徴とする請求項1に記載の方法。

請求項5

前記前のKフレームの前記第二投影結果における車線グループの車線点に基づいて、前記所定のフレームの前記車線グループの車線点に対して平滑化処理を行うステップは、前記所定のフレームの第P車線グループの車線点と、前のフレームの第P車線グループとの距離が設定された閾値より大きければ、前記所定のフレームの第P車線グループの該車線点をフィルタリングにより削除し、Pは、1以上の正の整数であることを含むことを特徴とする請求項4に記載の方法。

請求項6

前記前のKフレームの前記第二投影結果における車線グループの車線点を用いて、前記所定のフレームを補完するステップを更に含むことを特徴とする請求項1に記載の方法。

請求項7

前記前のKフレームの前記第二投影結果における車線グループの車線点を用いて、前記所定のフレームを補完するステップは、前記前のKフレームの前記第二投影結果には、いずれも第M車線グループが含まれ、且つ、前記所定のフレームには、前記第M車線グループが含まれなければ、前記前のKフレームの前記第二投影結果における第M車線グループの各車線点を用いて、前記所定のフレームに前記第M車線グループの車線点を増加し、Mは、1以上の正の整数であることを含むことを特徴とする請求項6に記載の方法。

請求項8

前記前のKフレームの前記第二投影結果には、いずれも第N車線グループが含まれ、且つ、前記所定のフレームより後の連続するTフレームには、前記第N車線グループが含まれなければ、前記第N車線グループを削除し、Tは、1よりも大きい正の整数であり、Nは、1以上の正の整数であるステップを更に含むことを特徴とする請求項1乃至5の何れか1項に記載の方法。

請求項9

所定のフレームの前のKフレームのカメラ座標系での車線検出結果を世界座標系に投影して、第一投影結果を取得するために用いられ、Kは、1以上の正の整数であり、前記前のKフレームは、前記所定のフレームより前の連続するK個のフレームである第一投影モジュールと、前記前のKフレームの世界座標系での投影結果を前記所定のフレームのカメラ座標系に投影して、第二投影結果を取得するための第二投影モジュールと、前記所定のフレームのカメラ座標系において、前記前のKフレームの前記第二投影結果における車線グループに基づいて、前記所定のフレームの車線グループを確定するためのグループ化モジュールと、を備えることを特徴とする車線追跡装置

請求項10

前記グループ化モジュールは、前記所定のフレームにおける車線グループのうちの一つを選択し、前記所定のフレームの選択された車線グループと前記前のKフレームの前記第二投影結果における各車線グループとの間の最小距離を計算するための距離サブモジュールと、前記最小距離のうちの最小値が、前記前のKフレームの前記第二投影結果における車線グループのうちの第S車線グループに対応すれば、前記所定のフレームの選択された車線グループを前記前のKフレームの前記第S車線グループに合併するために用いられ、Sは、1以上の正の整数である合併サブモジュールと、を備えることを特徴とする請求項9に記載の装置。

請求項11

前記合併サブモジュールは、前記最小距離のうちの最小値が設定された閾値より小さければ、前記所定のフレームの選択された車線グループを前記前のKフレームの前記第S車線グループに合併するためにさらに用いられ、前記グループ化モジュールは、前記最小距離のうちの最小値が設定された閾値より以上であれば、前記所定のフレームの選択された車線グループを新規車線グループとする新規サブモジュールを更に備えることを特徴とする請求項10に記載の装置。

請求項12

前記所定のフレームのカメラ座標系において、前記前のKフレームの前記第二投影結果における車線グループの車線点に基づいて、前記所定のフレームの前記車線グループの車線点に対して平滑化処理を行う平滑化モジュールを更に備えることを特徴とする請求項10に記載の装置。

請求項13

前記平滑化モジュールは、前記所定のフレームの第P車線グループの車線点と、前のフレームの第P車線グループとの距離が設定された閾値より大きければ、前記所定のフレームの第P車線グループの該車線点をフィルタリングにより削除するためにさらに用いられ、Pは、1以上の正の整数であることを特徴とする請求項12に記載の装置。

請求項14

前記前のKフレームの前記第二投影結果における車線グループの車線点を用いて、所定のフレームを補完する補完モジュールを更に備えることを特徴とする請求項9に記載の装置。

請求項15

前記補完モジュールは、前記前のKフレームの前記第二投影結果には、いずれも第M車線グループが含まれ、且つ、前記所定のフレームには、前記第M車線グループが含まれなければ、前記前のKフレームの前記第二投影結果における第M車線グループの車線点を用いて、前記所定のフレームに前記第M車線グループの車線点を増加するためにさらに用いられ、Mは、1以上の正の整数であることを特徴とする請求項14に記載の装置。

請求項16

前記前のKフレームの前記第二投影結果には、いずれも第N車線グループが含まれ、且つ、前記所定のフレームより後の連続するTフレームには、前記第N車線グループが含まれなければ、前記第N車線グループを削除し、Tは、1よりも大きい正の整数であり、Nは、1以上の正の整数である削除モジュールを更に備えることを特徴とする請求項9乃至13の何れか1項に記載の装置。

請求項17

1つ又は複数のプロセッサと、1つ又は複数のプログラムを記憶するためのメモリと、画像を採集するためのカメラと、を備え、前記1つ又は複数のプログラムが前記1つ又は複数のプロセッサにより実行されると、前記1つ又は複数のプロセッサが請求項1乃至8の何れか1項に記載の方法を実現するようにすることを特徴とする車線追跡装置。

請求項18

コンピュータプログラムを記憶したコンピュータ可読記憶媒体であって、前記プログラムがプロセッサにより実行されると、請求項1乃至8の何れか1項に記載の方法を実現することを特徴とするコンピュータ可読記憶媒体。

技術分野

0001

本発明は、交通技術分野に関し、特に、車線追跡方法及び装置に関する。

背景技術

0002

車線は、自動運転に対して重要な役割を果たしており、測位決定制御等のモジュールに重要な情報を提供することができる。

0003

走行中の車両に対して、撮影された車線ビデオにおいて、前後のフレームの画像の間には、関連性を有する。あるフレーム画像に問題が起こると、単一フレームにおける検出結果に突然の変化が生じやすくなり、例えば、車線が失われる等の状況に繋がってしまうため、単一フレームによる検出で得られた車線結果は、極めて不正確となる。

発明が解決しようとする課題

0004

本発明の実施例は、先行技術における1つ又は複数の技術的課題を解決するための車線追跡方法及び装置を提供する。

課題を解決するための手段

0005

第一態様によれば、本発明の実施例は、車線追跡方法を提供し、当該方法は、
所定のフレームの前のKフレームのカメラ座標系での車線検出結果を世界座標系投影して、第一投影結果を取得し、Kは、1以上の正の整数であり、前記前のKフレームは、前記所定のフレームより前の連続するK個のフレームであるステップと、
前記前のKフレームの世界座標系での前記第一投影結果を前記所定のフレームのカメラ座標系に投影して、第二投影結果を取得するステップと、
前記所定のフレームのカメラ座標系において、前記前のKフレームの前記第二投影結果における車線グループに基づいて、前記所定のフレームの車線グループを確定するステップと、を含む。

0006

第一態様に合わせて、本発明の実施例として、第一態様の第一実施形態において、前記前のKフレームの前記第二投影結果における車線グループに基づいて、前記所定のフレームの車線グループを確定するステップは、
前記所定のフレームにおける車線グループのうちの一つを選択し、前記所定のフレームの選択された車線グループと前のKフレームの前記第二投影結果における各車線グループとの間の最小距離を計算するステップと、
前記最小距離のうちの最小値が、前のKフレームの前記第二投影結果における車線グループのうちの第S車線グループに対応すれば、前記所定のフレームの選択された車線グループを前記前のKフレームの第S車線グループに合併し、Sは、1以上の正の整数であるステップと、を含む。

0007

第一態様の第一実施形態に合わせて、本発明の実施例として、第一態様の第二実現形態において、前記最小距離のうちの最小値が、前のKフレームの前記第二投影結果における車線グループのうちの第S車線グループに対応すれば、前記所定のフレームの選択された車線グループを前記Kフレームの前記第S車線グループに合併するステップは、
前記最小距離のうちの最小値が設定された閾値より小さければ、前記所定のフレームの選択された車線グループを前記前のKフレームの前記第S車線グループに合併し、
そうでなければ、前記所定のフレームの選択された車線グループを新規車線グループとすること、を含む。

0008

第一態様に合わせて、本発明の実施例として、第一態様の第三実現形態において、
前記所定のフレームのカメラ座標系において、前のKフレームの前記第二投影結果における車線グループの車線点に基づいて、所定のフレームにおける前記車線グループの車線点に対して平滑化処理を行うステップを更に含む。

0009

第一態様の第三実現形態に合わせて、本発明の実施例として、第一態様の第四実現形態において、前のKフレームの前記第二投影結果における車線グループの車線点に基づいて、所定のフレームにおける前記車線グループの車線点に対して平滑化処理を行うステップは、
前記所定のフレームの第P車線グループの車線点と、前フレームの第P車線グループとの距離が設定された閾値より大きければ、前記所定のフレームの第P車線グループの該車線点をフィルタリングにより削除し、Pは、1以上の正の整数であることを含む。

0010

第一態様に合わせて、本発明の実施例として、第一態様の第五実現形態において、
前のKフレームの前記第二投影結果における車線グループの車線点を用いて、所定のフレームを補完するステップを更に含む。

0011

第一態様の第五実現形態に合わせて、本発明の実施例として、第一態様の第六実現形態において、前のKフレームの前記第二投影結果における車線グループの車線点を用いて、所定のフレームを補完するステップは、
前記前のKフレームの前記第二投影結果には、いずれも第M車線グループが含まれ、且つ、前記所定のフレームには、前記第M車線グループが含まれなければ、前のKフレームの前記第二投影結果における第M車線グループの各車線点を用いて、前記所定のフレームに第M車線グループの車線点を増加し、Mは、1以上の正の整数であることを含む。

0012

第一態様又はその何れか1つの実現形態に合わせて、本発明の実施例として、第一態様の第七実現形態において、
前記前のKフレームの前記第二投影結果には、いずれも第N車線グループが含まれ、且つ、所定のフレームより後の連続するTフレームには、前記第N車線グループが含まれなければ、前記第N車線グループを削除し、Tは、1よりも大きい正の整数であり、Nは、1以上の正の整数であるステップを更に含む。

0013

第二態様によれば、本発明の実施例は、車線追跡装置を提供し、該装置は、
所定のフレームの前のKフレームのカメラ座標系での車線検出結果を世界座標系に投影して、第一投影結果を取得するために用いられ、Kは、1以上の正の整数であり、前記前のKフレームは、前記所定のフレームより前の連続するK個のフレームである第一投影モジュールと、
前記前のKフレームの世界座標系での投影結果を前記所定のフレームのカメラ座標系に投影して、第二投影結果を取得するための第二投影モジュールと、
前記所定のフレームのカメラ座標系において、前記前のKフレームの前記第二投影結果における車線グループに基づいて、前記所定のフレームの車線グループを確定するためのグループ化モジュールと、を備える。

0014

第二態様にあわせ、本発明の実施例として、第二態様の第一実施形態において、前記グループ化モジュールは、
前記所定のフレームにおける車線グループのうちの一つを選択し、前記所定のフレームの選択された車線グループと前記前のKフレームの前記第二投影結果における各車線グループとの間の最小距離を計算するための距離サブモジュールと、
前記最小距離のうちの最小値が、前記前のKフレームの前記第二投影結果における車線グループのうちの第S車線グループに対応すれば、前記所定のフレームの選択された車線グループを前記前のKフレームの前記第S車線グループに合併するために用いられ、Sは、1以上の正の整数である合併サブモジュールと、を備える。

0015

第二態様の第一実施形態に合わせて、本発明の実施例として、第二態様の第二実現形態において、前記合併サブモジュールは、前記最小距離のうちの最小値が設定された閾値より小さければ、前記所定のフレームの選択された車線グループを前記前のKフレームの前記第S車線グループに合併するためにさらに用いられ、
前記グループ化モジュールは、前記最小距離のうちの最小値が設定された閾値より以上であれば、前記所定のフレームの選択された車線グループを新規車線グループとする新規サブモジュールを更に備える。

0016

第二態様に合わせて、本発明の実施例として、第二態様の第三実現形態において、
前記所定のフレームのカメラ座標系において、前記前のKフレームの前記第二投影結果における車線グループの車線点に基づいて、前記所定のフレームの前記車線グループの車線点に対して平滑化処理を行う平滑化モジュールを更に備える。

0017

第二態様の第三実現形態に合わせて、本発明の実施例として、第二態様の第四実現形態において、前記平滑化モジュールは、前記所定のフレームの第P車線グループの車線点と、前のフレームの第P車線グループとの距離が設定された閾値より大きければ、前記所定のフレームの第P車線グループの該車線点をフィルタリングにより削除するためにさらに用いられ、Pは、1以上の正の整数である。

0018

第二態様に合わせて、本発明の実施例として、第二態様の第五実現形態において、
前記前のKフレームの前記第二投影結果における車線グループの車線点を用いて、所定のフレームを補完する補完モジュールを更に備える。

0019

第二態様の第五実現形態に合わせて、本発明の実施例として、第二態様の第六実現形態において、前記補完モジュールは、前記前のKフレームの前記第二投影結果には、いずれも第M車線グループが含まれ、且つ、前記所定のフレームには、前記第M車線グループが含まれなければ、前記前のKフレームの前記第二投影結果における第M車線グループの車線点を用いて、前記所定のフレームに前記第M車線グループの車線点を増加するためにさらに用いられ、Mは、1以上の正の整数である。

0020

第二態様又はその何れか1つの実現形態に合わせて、本発明の実施例として、第二態様の第七実現形態において、
前記前のKフレームの前記第二投影結果には、いずれも第N車線グループが含まれ、且つ、前記所定のフレームより後の連続するTフレームには、前記第N車線グループが含まれなければ、前記第N車線グループを削除し、Tは、1よりも大きい正の整数であり、Nは、1以上の正の整数である削除モジュールを更に備える。

0021

第三態様によれば、本発明の実施例は、車線追跡装置を提供し、前記装置の機能が、ハードウェアで実現されてもよいし、ハードウェアにより相応ソフトウェアを実行することで実現されてもよい。前記ハードウェア又はソフトウェアは、上記機能に対応する1つ又は複数モジュールを含む。

0022

1つの可能な設計において、前記装置の構造には、プロセッサ及びメモリが含まれており、前記メモリが、前記装置による上記車線追跡方法の実行をサポートするプログラムを記憶するために用いられ、前記プロセッサが、前記メモリに記憶されたプログラムを実行するように配置されている。前記装置は、他の機器又は通信ネットワーク通信するための通信インターフェースを更に含んでもよい。

0023

第四態様によれば、本発明の実施例は、車線追跡装置に用いられるコンピュータソフトウェア命令を記憶するためのコンピュータ可読記憶媒体を提供しており、該命令は、上記車線追跡方法を実行するためのプログラムを含む。

0024

上記技術案のうちの1つの技術案は、前後のフレームの間の関連を用いることで、より正確且つよりロバストとなる車線結果を出力して、正確な車線追跡効果を実現することができるという利点又は有益な効果がある。

0025

上記技術案のうちのもう1つの技術案は、前後のフレームの間の関係性を用いることで、車線検出結果の平滑性を向上させるのを図ることができるという利点又は有益な効果がある。

0026

上記概説は明細書のためのものであって、いかなる方式で制限するためのものではない。上記説明される模式的な態様、実施形態及び特徴を除き、本発明のさらなる態様、実施形態及び特徴は、図面及び以下の詳細な説明によって明らかになる。

図面の簡単な説明

0027

図面において、特に断らない限り、複数の図面を通して同一符号は同一又は類似の部材又は要素を示す。これらの図面は必ずしも縮尺で描かれたものではない。なお、これらの図面は本発明に開示された幾つかの実施形態のみを示し、本発明の範囲を限定するものではない。

0028

本発明の実施例に係る車線追跡方法のフローチャートである。
本発明の実施例に係る車線追跡方法における所定のフレームのカメラ座標系の例を示す図である。
本発明の実施例に係る車線追跡方法のフローチャートである。
本発明の実施例に係る車線追跡方法のフローチャートである。
本発明の実施例に係る車線追跡方法における補完の模式図である。
本発明の実施例に係る車線追跡方法における補完の模式図である。
本発明の実施例に係る車線追跡装置の構造ブロック図である。
本発明の実施例に係る車線追跡装置の構造ブロック図である。
本発明の実施例に係る車線追跡装置の構造ブロック図である。

実施例

0029

以下では、幾つかの例示的な実施例のみを簡単に説明する。当業者であれば、本発明の趣旨又は範囲を逸脱せずに、説明した実施例に様々な変更を施すことができると理解できる。従って、図面と説明は本質的に例示的であり、限定的ではないとみなされるべきである。

0030

図1は、本発明の実施例に係る車線追跡方法のフローチャートである。図1に示すように、該方法は、以下のステップS11〜S13を含んでもよい。

0031

ステップS11では、所定のフレームの前のKフレームにおけるカメラ座標系での車線検出結果を世界座標系に投影して第一投影結果を取得する。ここで、Kは、1以上の正の整数であり、前記前のKフレームは、前記所定のフレームより前の連続するK個のフレームである。

0032

本実施例において、車両は、走行中に車線を含むビデオを撮影することができる。該ビデオは、連続するいくつかのフレーム画像を含む。ある時刻でのフレーム画像を所定のフレームと称してもよい。所定のフレームの前のKフレームは、所定のフレーム画像より前のK個の連続するフレーム画像を含んでもよい。例えば、図2に示すように、所定のフレームが第25フレームであり、K=3であれば、所定のフレームの前の3フレームは、第22フレーム、第23フレーム及び第24フレームを含むことになる。

0033

各フレーム画像のカメラ座標系での車線検出結果は、車線点を含んでもよい。車線点は、フレーム画像内のどの画素が車線に属するかを確定することにより得られる。車線検出結果は、これらの車線点に対するグループを更に含んでもよい。車線点のグループは、どの車線点が同じグループに属するかを確定することにより得られる。車線点のグループは、車線グループと称されてもよい。

0034

カメラ座標系は、三次元(3D、Three Dimensions)空間内にあるものであって、カメラスクリーン視認可能エリアで定義されている。例えば、図2に示すように、カメラ座標系において、カメラの位置が原点にあり、x軸が右向きであり、z軸が前向きであり(スクリーン内又はカメラに向く)、y軸が上向きである(世界の上方ではなく、カメラ自身の上方)。世界座標系は、システム絶対座標系である。それぞれのフレームにおけるカメラ座標系の座標とその世界座標系の座標との間には、一定の姿勢変換関係を持つ。異なるフレームにおけるカメラ座標系の座標とその世界座標系の座標との間には、姿勢変換関係が異なる可能性があり、具体的には、それぞれのフレームを撮影する時のカメラのパレメータ、例えば、焦点位置、焦点距離ピッチ角(pitch)、ロール角(roll)等に依存する。

0035

本実施例において、それぞれのフレームにおいて、車線検出を行い、当該フレームのカメラ座標系での車線検出結果を取得してもよい。それぞれのフレームの車線検出結果は、いずれも、当該フレームと世界座標系との姿勢変換関係に従って、世界座標系に投影されてもよい。

0036

ステップS12では、前記前のKフレームの世界座標系での前記第一投影結果を、前記所定のフレームのカメラ座標系に投影して第二投影結果を取得する。

0037

所定のフレームにおいて、車線検出を行い、所定のフレームのカメラ座標系での車線検出結果を取得する。世界座標系を中継として用いれば、前のKフレームと所定のフレームとの画素を、所定のフレームのカメラ座標系で揃うことができる。図2に示すように、第22フレーム、第23フレーム及び第24フレームは、第25フレームのカメラ座標系で揃われている。

0038

ステップS13では、前記所定のフレームのカメラ座標系において、前記前のKフレームの前記第二投影結果における車線グループに基づいて、前記所定のフレームの車線グループを確定する。

0039

例えば、前のKフレームの車線グループと所定のフレームの車線グループとが、数量、位置や距離等の方面でマッチングできるかどうかについて比較する。マッチングできなければ、所定のフレームの車線グループを調整して、所定のフレームの車線グループと前のKフレームの車線グループとが連続するようにすることにより、車線追跡を実現してもよい。

0040

一実施形態において、図3に示すように、ステップS13は、
前記所定のフレームにおける車線グループのうちの一つを選択し、前記所定のフレームの該選択された車線グループと、前のKフレームの第二投影結果における各車線グループとの間の最小距離を計算するステップS131と、
前記最小距離のうちの最小値が、前のKフレームの第二投影結果における車線グループのうちの第S車線グループに対応すれば、前記所定のフレームの該選択された車線グループを前記前のKフレームの第S車線グループに合併し、Sは、1以上の正の整数であるステップS132と、を含む。

0041

一例において、所定のフレームから、1つの車線グループ、例えば、第D車線グループを選択する。該第D車線グループにおける各車線点(例えば、D1、D2)と、前のKフレームのある車線グループ、例えば、第E車線グループの各車線点(例えば、E1、E2、E3)との間の距離を計算する。そして、これらの距離の中の最小値(D1とE2との距離が最小であるとする)を、これら2つの車線グループ、即ち、所定のフレームの第D車線グループと前のKフレームの第E車線グループとの間の距離とする。

0042

所定のフレームの第D車線グループと、前のKフレームの各車線グループとの間の距離をそれぞれ計算する。所定のフレームの第E車線グループと前のKフレームの第S車線グループとの距離が最小であれば、所定のフレームの第E車線グループを第S車線グループに合併してもよい。

0043

一実施形態において、ステップS132は、前記最小距離のうちの最小値が設定された閾値より小さければ、前記所定のフレームの該選択された車線グループを前記前のKフレームの第S車線グループに合併し、そうでなければ、前記所定のフレームの該選択された車線グループを新規車線グループとすること、を含む。

0044

所定のフレームと前のKフレームとの車線グループの間の距離の最小値が、依然として大きいと、これら2つの車線グループを合併して得られたグループは、好ましくない可能性がある。従って、1つの合理的な閾値を立ててもよい。所定のフレームと前のKフレームとの2つの車線グループの間の距離の最小値が該閾値より小さければ、これら2つの車線グループの関連性が大きくて、合併可能であると考えられる。車線グループの間の距離の最小値が該閾値より大きければ、これら2つの車線グループの関連性が小さくて、合併に適しないと考えられる。この際、新たな車線グループを作成してもよい。閾値の立て方は、複数があり、例えば、車速やカメラのパレメータ等を参考して立ててもよい。

0045

ここで、所定のフレームのある車線グループのグループ番号を、前のKフレームの第S車線グループと同じになるように変更することで、これら2つの車線グループを1つの車線グループに合併することができる。

0046

一実施形態において、図4に示すように、該方法は、
前記所定のフレームのカメラ座標系において、前のKフレームの第二投影結果における車線グループの車線点に基づいて、所定のフレームの車線グループの車線点に対して平滑化処理を行うステップS14を更に含む。

0047

一実施形態において、ステップS14では、前のKフレームの第二投影結果における車線点に基づいて、所定のフレームの車線グループの各車線点に対して平滑化処理を行うことは、
前記所定のフレームの第P車線グループの車線点と、前のフレームの第P車線グループとの距離が設定された閾値より大きければ、前記所定のフレームの第P車線グループの車線点をフィルタリングにより削除し、Pは、1以上の正の整数であることを含む。

0048

例えば、所定のフレームの第P車線グループのある車線点と、前のフレームの第P車線グループの全車線点との距離を計算してもよい。各距離の最小値を、所定のフレームの当該車線点と、前のフレームの第P車線グループとの距離とする。最小値がある閾値を超えると、所定のフレームの当該車線点をフィルタリングにより削除してもよい。

0049

もしくは、所定のフレームの第P車線グループのある車線点と、前のフレームの第P車線グループのある車線点との距離を計算してもよい。この距離がある閾値を超えると、所定のフレームの当該車線点をフィルタリングにより削除してもよい。

0050

一実施形態において、図4に示すように、該方法は、
前のKフレームの第二投影結果における車線グループの車線点を用いて、所定のフレームを補完するステップS15を更に含む。ステップS15は、ステップS13の後に実行されてもよいし、ステップS14の後に実行されてもよく、平滑化処理後のデータを用いて、補完を行う。

0051

一実施形態において、ステップS15は、前記前のKフレームの第二投影結果にはいずれも第M車線グループが含まれ、且つ、前記所定のフレームには、第M車線グループが含まれなければ、前のKフレーム、例えば、前のフレームの第二投影結果における第M車線グループの各車線点を用いて、前記所定のフレームには、第M車線グループの車線点を増加し、Mは、1以上の正の整数であることを含む。

0052

例えば、図5に示すように、前のKフレームには、4つの車線グループがあり、所定のフレームには、3つの車線グループがある。図5に示すように、前述した内容によると、前のKフレームの第4車線グループが、所定のフレームにおいて、対応する車線グループがないことを確定する。即、所定のフレームには、前のKフレームの第4車線グループとの最小距離が設定された閾値より小さい車線グループは存在しない。この場合、図6に示すように、前のKフレームのうちの何れか1つのフレーム、例えば、前のフレーム(図6における第24フレームを参照)の第4車線グループを用いて、所定のフレームの第4車線グループを補完してもよい。

0053

一実施形態において、図4に示すように、該方法は、
前記前のKフレームの第二投影結果には、いずれも第N車線グループが含まれ、且つ、所定のフレームより後の連続するTフレームには、第N車線グループが含まれなければ、前記第N車線グループを削除し、Tは、1より大きい正の整数であり、Nは、1以上の正の整数であるステップS16を更に含む。ステップS16は、ステップS13の後に実行されてもよいし、ステップ14の後に実行されてもよく、平滑化処理後のデータを用いて、車線グループを削除するかどうかを判断する。

0054

例えば、図6に示すように、車線グループを削除する閾値Tが2であり、所定のフレームが第i−1フレームであるとする(但し、図6に示す例では、i=26である)。第iフレームの各車線グループは、いずれも、第iフレームの前のKフレームの第4車線グループに合併されておらず、第i+1フレームの各車線グループは、いずれも、第i+1フレームの前のKフレームの第4車線グループに合併されていない。この場合、後続では、例えば、第i+1フレームの後に、第N車線グループを削除してもよい。削除後、第N車線グループを用いて後続のフレームの車線グループと比較することをしない。

0055

連続するフレームにおいて、前後のフレームの間の車線情報は、関連性を有する。本発明は、前後のフレームの間の関連を用いることで、前のフレームを用いて、例えば、後続のフレームの車線グループを確定したり、前のフレームの車線グループと合併したり、新規車線グループを作成或は車線グループを削除したりをすることができる。従って、より正確且つよりロバストとなる車線結果を出力して、正確な車線追跡効果を実現することができる。

0056

また、前のフレームに基づいて、後続のフレームの車線点に対して平滑化フィルタリングや補完等の処理を行い、前後のフレームの間の関係性を用いて、車線検出結果の平滑性や完全性等を向上させるのを図ることができる。

0057

図7は、本発明の実施例に係る車線追跡装置の構造ブロック図である。図7に示すように、該装置は、
所定のフレームの前のKフレームのカメラ座標系での車線検出結果を世界座標系に投影して、第一投影結果を取得し、Kは、1以上の正の整数であり、前記前のKフレームは、前記所定のフレームより前の連続するK個のフレームである第一投影モジュール71と、
前記前のKフレームの世界座標系での前記第一投影結果を前記所定のフレームのカメラ座標系に投影して、第二投影結果を取得する第二投影モジュール72と、
前記所定のフレームのカメラ座標系において、前記前のKフレームの第二投影結果における車線グループに基づいて、前記所定のフレームの車線グループを確定するグループ化モジュール73と、を備えてもよい。

0058

一実施形態において、図8に示すように、前記グループ化モジュール73は、
前記所定のフレームの車線グループのうちの一つを選択し、前記所定のフレームの該選択された車線グループと前のKフレームの第二投影結果における各車線グループとの間の最小距離を計算する距離サブモジュール81と、
前記最小距離のうちの最小値が、前のKフレームの第二投影結果における車線グループのうちの第S車線グループに対応すれば、前記所定のフレームの該選択された車線グループを前記前のKフレームの第S車線グループに合併し、Sは、1以上の正の整数である合併サブモジュール82と、を備える。

0059

一実施形態において、前記合併サブモジュール82は、前記最小距離のうちの最小値が設定された閾値より小さければ、前記所定のフレームの該選択された車線グループを前記前のKフレームの前記第S車線グループに合併するためにさらに用いられ、
前記グループ化モジュールは、前記最小距離のうちの最小値が設定された閾値より以上であれば、前記所定のフレームの該選択された車線グループを新規車線グループとする新規サブモジュール83を更に備える。

0060

一実施形態において、該装置は、
前記所定のフレームのカメラ座標系において、前のKフレームの第二投影結果における車線グループの車線点に基づいて、所定のフレームの車線グループの車線点に対して平滑化処理を行う平滑化モジュール74を更に備える。

0061

一実施形態において、前記平滑化モジュール74は、前記所定のフレームの第P車線グループの車線点と、前のフレームの第P車線グループとの距離が設定された閾値より大きければ、前記所定のフレームの第P車線グループの該車線点をフィルタリングにより削除し、Pは、1以上の正の整数であるためにさらに用いられる。

0062

一実施形態において、該装置は、
前のKフレームの第二投影結果における車線グループの車線点を用いて、所定のフレームを補完する補完モジュール75を更に備える。

0063

一実施形態において、前記補完モジュール75は、前記前のKフレームの第二投影結果には、いずれも第M車線グループが含まれ、且つ、前記所定のフレームには、第M車線グループが含まれなければ、前のKフレームの第二投影結果における第M車線グループの各車線点を用いて、前記所定のフレームに第M車線グループの車線点を増加し、Mは、1以上の正の整数であるためにさらに用いられる

0064

一実施形態において、該装置は、
前記前のKフレームの第二投影結果には、いずれも第N車線グループが含まれ、且つ、所定のフレームより後の連続するTフレームには、第N車線グループが含まれなければ、前記第N車線グループを削除し、Tは、1よりも大きい正の整数であり、Nは、1以上の正の整数である削除モジュール76を更に備える。

0065

本発明の実施例による各装置における各モジュールの機能について、上記の方法における対応する説明を参照してもよい。ここで繰り返して説明しない。

0066

図9は、本発明の実施例に係る車線追跡装置の構造ブロック図である。図9に示すように、該装置は、カメラ、メモリ910及びプロセッサ920を備え、カメラは、画像を採集するために用いられ、メモリ910には、プロセッサ920で稼働できるコンピュータプログラムが記憶されている。前記プロセッサ920は、前記コンピュータプログラムを実行すると、上記実施例における車線追跡方法を実現する。前記メモリ910とプロセッサ920の数は、一つ又は複数であってもよい。

0067

当該装置は、周辺機器と通信し、データのインタラクティブ転送を行うための通信インターフェース930をさらに備える。

0068

メモリ910は、高速RAMメモリを含む可能性もあるし、更にメモリ(non−volatile memory)、例えば少なくとも一つの磁気ディスクメモリーを備える可能性もある。

0069

メモリ910、プロセッサ920及び通信インターフェース930が独立して実現する場合、メモリ910、プロセッサ920及び通信インターフェース930はバスで互いに接続され、且つ相互間の通信を実現することができる。前記バスは業界標準アーキテクチャISA、Industry Standard Architecture)バス、ペリフェラルコンポーネントPCI、Peripheral Component Interconnect)バス又は拡張業界標準アーキテクチャ(EISA、Extended Industry Standard Architecture)バス等であってもよい。前記バスはアドレスバスデータバス制御バス等に分けられてもよい。示しやすくするために、図9では、1本のみの太線で示すが、1本のみのバス又は1つのタイプのみのバスを有すると示さない。

0070

選択的に、具体的に実現する時、メモリ910、プロセッサ920及び通信インターフェース930が1枚のチップ統合される場合、メモリ910、プロセッサ920及び通信インターフェース930は内部インターフェースによって相互間の通信を実現することができる。

0071

本発明の実施例は、プロセッサにより実行されると、上記実施例におけるいずれか1項に記載の方法を実現するコンピュータプログラムが記憶されたコンピュータ可読記憶媒体を提供する。

0072

本明細書の説明において、用語「一実施例」、「いくつかの実施例」、「例」、「具体例」、又は「いくつかの例」等の説明とは、該実施例又は例を参照すると説明した具体的な特徴、構造、材料又は特性が本発明の少なくとも1つの実施例又は例に含まれることを意味する。且つ、説明される具体的な特徴、構造、材料又は特性はいずれか1つ又は複数の実施例又は例で適切な方式で結合してもよい。また、矛盾しない限り、当業者は本明細書に説明される様々な実施例又は例、及び様々な実施例又は例の特徴を結合及び組み合わせすることができる。

0073

また、用語の「第一」、「第二」は説明のためのものに過ぎず、相対重要性を指示又は示唆し、又は指示された技術的特徴の数を暗示すると理解すべきではない。従って、「第一」、「第二」で制限された特徴は少なくとも1つの該特徴を明示的又は暗示的に含んでもよい。本発明の説明において、特に明確且つ具体的に制限しない限り、「複数」の意味は2つ又は2つ以上である。

0074

当業者であれば、フローチャートにおける、又はここでほかの方式で説明されるいかなる過程又は方法についての説明は、確定の論理機能又は過程を実現するための1つ又は複数のステップの実行可能命令のコードを含むモジュール、セグメント又は部分を示すと理解されてもよく、且つ本発明の好適な実施形態の範囲はほかの実現を含み、指示又は検討される順序通りでなくてもよく、関わる機能に基づいて、ほぼ同時に、又は逆順序で機能を実行してもよいと理解すべきである。

0075

フローチャートに示す、又はここでほかの方式で説明される論理及び/又はステップは、例えば、論理機能を実現するための実行可能命令の順序付けリストであると見なされてもよく、具体的にいかなるコンピュータ可読媒体に実現されてもよく、命令実行システム、装置又はデバイス(例えばコンピュータに基づくシステム、プロセッサを含むシステム又は命令実行システム、装置又はデバイスから命令を受信し且つ命令を実行するシステム)の使用に備え、又はこれらの命令実行システム、装置又はデバイスと組み合わせて使用される。本明細書については、「コンピュータ可読媒体」はプログラムを包含、記憶、通信、伝播又は伝送することにより、命令実行システム、装置又はデバイス、又はこれらの命令実行システム、装置又はデバイスと組み合わせて使用されるいかなる装置であってもよい。コンピュータ可読媒体のさらなる具体例(非網羅的リスト)は、1つ又は複数の配線を有する電気接続部電子装置)、ポータブルコンピュータケース磁気装置)、ランダムアクセスメモリー(RAM)、読み出し専用メモリ(ROM)、電気的消去再書込み可能な読出し専用メモリEPROM又はフラッシュメモリー)、光ファイバー装置、及び携帯型読み出し専用メモリー(CDROM)を含む。また、コンピュータ可読媒体は更にその上に前記プログラムを印刷できる用紙又はほかの適切な媒体であってもよい理由は、例えば用紙又はほかの媒体を光学的に走査し、次に編集解釈し、又は必要な時にほかの適切な方式で処理して、電子方式で前記プログラムを取得し、次にそれをコンピュータメモリに記憶することができるためである。

0076

本発明の各部分はハードウェア、ソフトウェア、ファームウェア又はそれらの組み合わせで実現されてもよいと理解すべきである。上記実施形態において、複数のステップ又は方法は、メモリに記憶される、且つ適切な命令実行システムで実行するソフトウェア又はファームウェアで実現されてもよい。例えば、ハードウェアで実現する場合は、別の実施形態と同様に、データ信号に対して論理機能を実現する論理ゲート回路を有する離散論理回路、適切な組み合わせ論理ゲート回路を有する確定用途向け集積回路プログラマブルゲートアレイPGA)、フィールドプログラマブルゲートアレイFPGA)等の本分野での公知技術のうちのいずれか1つ又はそれらの組み合わせで実現してもよい。

0077

当業者であれば、上記実施例方法におけるステップの全部又は一部の実現がプログラムによって関連するハードウェアを命令して完了させてもよく、前記プログラムがコンピュータ可読記憶媒体に記憶されてもよく、実行時に、該プログラムは方法実施例のステップの1つ又はそれらの組み合わせを含むと理解される。

0078

また、本発明の各実施例における各機能ユニットが1つの処理モジュールに統合されてもよく、各ユニットが独立して物理的に存在してもよく、2つ又は2つ以上のユニットが1つのモジュールに統合されてもよい。上記統合モジュールはハードウェアのタイプで実現されてもよいし、ソフトウェア機能モジュールのタイプで実現されてもよい。前記統合モジュールはソフトウェア機能モジュールのタイプで実現され、且つ独立した製品として販売又は使用される時、1つのコンピュータ可読記憶媒体に記憶されてもよい。前記記憶媒体は読み出し専用メモリ、磁気ディスク又は光ディスク等であってもよい。

0079

以上の説明は、本発明の具体的な実施形態に過ぎず、本発明の保護範囲を制限するためのものではなく、当業者が本発明に開示される技術的範囲内に容易に想到し得る種々の変更又は置換は、いずれも本発明の保護範囲内に含まれるべきである。従って、本発明の保護範囲は特許請求の範囲に準じるべきである。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ