図面 (/)

技術 多焦点距離視覚に基づく障害物感知方法、装置、設備及び記憶媒体

出願人 バイドゥオンラインネットワークテクノロジー(ベイジン)カンパニーリミテッド
発明者 ガオ,ハンリー,グオサン,シュンシア,ティアン
出願日 2019年7月10日 (1年7ヶ月経過) 出願番号 2019-128121
公開日 2020年3月19日 (11ヶ月経過) 公開番号 2020-042781
状態 特許登録済
技術分野 イメージ分析
主要キーワード 中遠距離 感知距離 非自動車 設置方式 扇形領域 統合モジュール ソフトウェア機能モジュール 光ファイバー装置
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年3月19日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (11)

課題

焦点距離視覚に基づく障害物感知方法及び装置を提供する。

解決手段

方法は、長焦点カメラと短焦点カメラを用いて障害物の複数の時刻での検出結果をそれぞれ取得するステップと、長焦点カメラと短焦点カメラによりそれぞれ取得された検出結果を用いて目標追跡を行い、少なくとも2つの追跡シーケンスを得ることができ、各追跡シーケンスには、同一障害物についての複数の時刻での検出結果が含まれるステップと、少なくとも2つの追跡シーケンスのうちの任意の2つの追跡シーケンスを用いてマッチング検出を行い、マッチングが成功すると、前記任意の2つの追跡シーケンスを1つの追跡シーケンスに合併するステップと、を含む。

効果

異なる焦点距離カメラからの追跡シーケンスを合併することにより、多焦点距離視覚に基づく障害物感知を実現し、従来技術における追跡視野視距両立できない問題を解決することができる。

概要

背景

自動運転車感知システムに対して、有効感知距離は非常に重要な指標である。短焦点カメラ視野が広くて、視野範囲における障害物分断し難く、障害物の関連付け及び追跡に寄与するが、感知距離が短い問題を抱える一方、長焦点カメラは視野が狭いが、障害物単体面積がより大きく、視覚測定がさらに正確であるとともに、小障害物を検出しやすく、中遠距離障害物検出に適用できる。

従来の障害物感知技術は単独の短焦点カメラのみ又は長焦点カメラのみを用いて障害物を検出し追跡するため、視野と視距両立できない。すなわち、短焦点カメラを用いて障害物を検出し追跡する場合、カバー範囲が大きいが、その視距が短すぎる一方、長焦点カメラを用いて障害物を検出し追跡する場合、その視距が長いが、カバー範囲が小さい。

概要

焦点距離視覚に基づく障害物感知方法及び装置を提供する。方法は、長焦点カメラと短焦点カメラを用いて障害物の複数の時刻での検出結果をそれぞれ取得するステップと、長焦点カメラと短焦点カメラによりそれぞれ取得された検出結果を用いて目標追跡を行い、少なくとも2つの追跡シーケンスを得ることができ、各追跡シーケンスには、同一障害物についての複数の時刻での検出結果が含まれるステップと、少なくとも2つの追跡シーケンスのうちの任意の2つの追跡シーケンスを用いてマッチング検出を行い、マッチングが成功すると、前記任意の2つの追跡シーケンスを1つの追跡シーケンスに合併するステップと、を含む。異なる焦点距離カメラからの追跡シーケンスを合併することにより、多焦点距離視覚に基づく障害物感知を実現し、従来技術における追跡視野と視距が両立できない問題を解決することができる。

目的

本発明の実施例は、少なくとも従来技術における上記技術的問題を解決するために、多焦点距離視覚に基づく障害物感知方法を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

焦点距離視覚に基づく障害物感知方法であって、複数の時刻で、長焦点カメラと短焦点カメラとを用いて、障害物の検出結果をそれぞれ取得するステップと、前記長焦点カメラと前記短焦点カメラによりそれぞれ取得された検出結果を用いて目標追跡を行い、少なくとも2つの追跡シーケンスを得ることができ、前記各追跡シーケンスには、同一障害物についての前記複数の時刻での検出結果が含まれるステップと、前記少なくとも2つの追跡シーケンスのうちの任意の2つの追跡シーケンスを用いてマッチング検出を行い、マッチングが成功すると、前記任意の2つの追跡シーケンスを1つの追跡シーケンスに合併し、合併後の追跡シーケンスを得るステップと、を含むことを特徴とする多焦点距離視覚に基づく障害物感知方法。

請求項2

前記少なくとも2つの追跡シーケンスのうちの任意の2つの追跡シーケンスを用いてマッチング検出を行うことは、前記少なくとも2つの追跡シーケンスから任意に2つの追跡シーケンスを選択するステップと、各時刻に対して、選択された2つの追跡シーケンスから検出結果をそれぞれ取得し、前記検出結果が異なるカメラからのものである場合、前記長焦点カメラからの検出結果を前記短焦点カメラの結像平面投影し、投影後の検出結果と短焦点カメラからの検出結果とのIOUを算出するステップと、すべての時刻に対して算出されたIOUの平均値を求めステップと、前記平均値が予め設定された閾値より大きい場合、選択された2つの追跡シーケンスのマッチングが成功すると判定するステップと、を含むことを特徴とする請求項1に記載の方法。

請求項3

前記任意の2つの追跡シーケンスを1つの追跡シーケンスに合併することは、前記任意の2つの追跡シーケンスにおける検出結果を合併し、合併後の追跡シーケンスを得るステップを含むことを特徴とする請求項1に記載の方法。

請求項4

新たな検出結果を取得し、それぞれ前記新たな検出結果を前記合併後の追跡シーケンスと関連検出を行い、関連検出が失敗する場合、前記新たな検出結果を含む新たな追跡シーケンスを作成し、関連検出が成功する場合、前記新たな検出結果を前記合併後の追跡シーケンスに追加すること、をさらに含むことを特徴とする請求項1乃至3のいずれか1項に記載の方法。

請求項5

多焦点距離視覚に基づく障害物感知装置であって、長焦点カメラと短焦点カメラにより複数の時刻でそれぞれ取得された障害物の検出結果を用いて目標追跡を行い、少なくとも2つの追跡シーケンスを得ることができ、前記各追跡シーケンスには、同一障害物についての前記複数の時刻での検出結果が含まれるための初期処理モジュールと、前記少なくとも2つの追跡シーケンスのうちの任意の2つの追跡シーケンスを用いてマッチング検出を行い、マッチングが成功すると、前記任意の2つの追跡シーケンスを1つの追跡シーケンスに合併し、合併後の追跡シーケンスを得るための合併モジュールと、を備えることを特徴とする多焦点距離視覚に基づく障害物感知装置。

請求項6

前記合併モジュールは、前記少なくとも2つの追跡シーケンスから任意に2つの追跡シーケンスを選択し、各時刻に対して、選択された2つの追跡シーケンスから検出結果をそれぞれ取得し、前記検出結果が異なるカメラからのものである場合、前記長焦点カメラからの検出結果を前記短焦点カメラの結像平面に投影し、投影後の検出結果と前記短焦点カメラからの検出結果とのIOUを算出し、すべての時刻に対して算出されたIOUの平均値を求め、前記平均値が予め設定された閾値より大きい場合、選択された2つの追跡シーケンスのマッチングが成功すると判定するために用いられることを特徴とする請求項5に記載の装置。

請求項7

前記合併モジュールは、マッチング検出が成功する場合、前記任意の2つの追跡シーケンスにおける検出結果を合併し、合併後の追跡シーケンスを得るために用いられることを特徴とする請求項5に記載の装置。

請求項8

新たな検出結果を取得し、それぞれ前記新たな検出結果を前記合併後の追跡シーケンスと関連検出を行い、関連検出が失敗する場合、前記新たな検出結果を含む新たな追跡シーケンスを作成し、関連付けが成功する場合、前記新たな検出結果を前記合併後の追跡シーケンスに追加する関連付けモジュールをさらに備えることを特徴とする請求項5乃至7のいずれか1項に記載の装置。

請求項9

多焦点距離視覚に基づく障害物感知設備であって、障害物の検出結果を取得するための長焦点カメラと、障害物の検出結果を取得するための短焦点カメラと、メモリ及びプロセッサを備え、前記メモリにコンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサにより実行されると、請求項1乃至4のいずれか1項に記載の方法を実現するコントローラと、を備えることを特徴とする多焦点距離視覚に基づく障害物感知設備。

請求項10

コンピュータプログラムが記憶されるコンピュータ可読記憶媒体であって、前記プログラムがプロセッサにより実行されると、請求項1乃至4のいずれか1項に記載の方法を実現することを特徴とするコンピュータ可読記憶媒体。

技術分野

0001

本発明は自動運転車の技術分野に関し、特に多焦点距離視覚に基づく障害物感知方法、装置、設備及びコンピュータ可読記憶媒体に関する。

背景技術

0002

自動運転車の感知システムに対して、有効感知距離は非常に重要な指標である。短焦点カメラ視野が広くて、視野範囲における障害物分断し難く、障害物の関連付け及び追跡に寄与するが、感知距離が短い問題を抱える一方、長焦点カメラは視野が狭いが、障害物単体面積がより大きく、視覚測定がさらに正確であるとともに、小障害物を検出しやすく、中遠距離障害物検出に適用できる。

0003

従来の障害物感知技術は単独の短焦点カメラのみ又は長焦点カメラのみを用いて障害物を検出し追跡するため、視野と視距両立できない。すなわち、短焦点カメラを用いて障害物を検出し追跡する場合、カバー範囲が大きいが、その視距が短すぎる一方、長焦点カメラを用いて障害物を検出し追跡する場合、その視距が長いが、カバー範囲が小さい。

発明が解決しようとする課題

0004

本発明の実施例は、少なくとも従来技術における上記技術的問題を解決するために、多焦点距離視覚に基づく障害物感知方法を提供する。

課題を解決するための手段

0005

第一態様によれば、本発明の実施例は、多焦点距離視覚に基づく障害物感知方法を提供し、当該方法は、
複数の時刻で、長焦点カメラと短焦点カメラを用いて障害物の検出結果をそれぞれ取得するステップと、
長焦点カメラと短焦点カメラによりそれぞれ取得された検出結果を用いて目標追跡を行い、少なくとも2つの追跡シーケンスを得ることができ、各追跡シーケンスには、同一障害物についての複数の時刻での検出結果が含まれるステップと、
前記少なくとも2つの追跡シーケンスのうちの任意の2つの追跡シーケンスを用いてマッチング検出を行い、マッチングが成功すると、前記任意の2つの追跡シーケンスを1つの追跡シーケンスに合併し、合併後の追跡シーケンスを得るステップと、を含む。

0006

第一態様に合わせて、本発明の第一態様の第一実施形態において、前記少なくとも2つの追跡シーケンスのうちの任意の2つの追跡シーケンスを用いてマッチング検出を行いことは、
前記少なくとも2つの追跡シーケンスから任意に2つの追跡シーケンスを選択するステップと、
各時刻に対して、選択された2つの追跡シーケンスから検出結果をそれぞれ取得し、前記検出結果が異なるカメラからのものである場合、長焦点カメラからの検出結果を短焦点カメラの結像平面投影し、投影後の検出結果と短焦点カメラからの検出結果とのIOU(Intersection−over−Union)を算出するステップと、
すべての時刻に対して算出されたIOUの平均値を求めステップと、
前記平均値が予め設定された閾値より大きい場合、選択された2つの追跡シーケンスのマッチングが成功すると判定するステップと、を含む。

0007

第一態様に合わせて、本発明の第一態様の第二実施形態において、前記任意の2つの追跡シーケンスを1つの追跡シーケンスに合併することは、
前記任意の2つの追跡シーケンスにおける検出結果を合併し、合併後の追跡シーケンスを得るステップを含む。

0008

第一態様、第一態様の第一実施形態、第一態様の第二実施形態に合わせて、本発明の第一態様の第三実施形態において、
新たな検出結果を取得し、それぞれ前記新たな検出結果を合併後の追跡シーケンスと関連検出を行い、
関連検出が失敗する場合、前記新たな検出結果を含む新たな追跡シーケンスを作成し、
関連検出が成功する場合、前記新たな検出結果を前記合併後の追跡シーケンスに追加すること、を更に含む。

0009

第二態様によれば、本発明の実施例は、多焦点距離視覚に基づく障害物感知装置をさらに提供し、該障害物感知装置は、
長焦点カメラと短焦点カメラにより複数の時刻でそれぞれ取得された障害物の検出結果を用いて目標追跡を行い、少なくとも2つの追跡シーケンスを得ることができ、前記各追跡シーケンスには、同一障害物についての複数の時刻での検出結果が含まれるための初期処理モジュールと、
前記少なくとも2つの追跡シーケンスのうちの任意の2つの追跡シーケンスを用いてマッチング検出を行い、マッチングが成功すると、前記任意の2つの追跡シーケンスを1つの追跡シーケンスに合併し、合併後の追跡シーケンスを得るための合併モジュールと、を備える。

0010

第二態様に合わせて、本発明の第二態様の第一実施形態において、前記合併モジュールは、前記少なくとも2つの追跡シーケンスから任意に2つの追跡シーケンスを選択し、各時刻に対して、選択された2つの追跡シーケンスから検出結果をそれぞれ取得し、前記検出結果が異なるカメラからのものである場合、長焦点カメラからの検出結果を短焦点カメラの結像平面に投影し、投影後の検出結果と短焦点カメラからの検出結果とのIOUを算出し、すべての時刻に対して算出されたIOUの平均値を求め、前記平均値が予め設定された閾値より大きい場合、選択された2つの追跡シーケンスのマッチングが成功すると判定するために用いられる。

0011

第二態様に合わせて、本発明の第二態様の第二実施形態において、合併モジュールは、マッチング検出が成功する場合、前記任意の2つの追跡シーケンスにおける検出結果を合併し、合併後の追跡シーケンスを得るために用いられる。

0012

第二態様、第二態様の第一実施形態、第二態様の第二実施形態に合わせて、本発明の第二態様の第三実施形態において、前記装置は、
新たな検出結果を取得し、前記新たな検出結果を合併後の追跡シーケンスと関連検出をそれぞれ行い、関連検出が失敗する場合、該新たな検出結果を含む新たな追跡シーケンスを作成し、関連検出が成功する場合、前記新たな検出結果を前記合併後の追跡シーケンスに追加するための関連付けモジュールをさらに備える。

0013

上記技術案のいずれかは以下の利点又は有益な効果を有する。

0014

本発明の実施例によれば、長焦点カメラと短焦点カメラを用いて障害物の検出結果をそれぞれ取得し、それぞれのカメラにおいて別々に目標追跡を行い、異なる追跡シーケンスを形成し、その後、追跡シーケンスがマッチングすると判定すると、異なるカメラからの追跡シーケンスを合併することにより、従来技術における追跡視野と視距が両立できない問題を解決する。

0015

上記概説は明細書のためのものであって、いかなる方式で制限するためのものではない。上記説明される模式的な態様、実施形態及び特徴を除き、本発明のさらなる態様、実施形態及び特徴は、図面及び以下の詳細な説明によって明らかになる。

図面の簡単な説明

0016

図面において、特に断らない限り、同一符号は同一又は類似の部材又は要素を示す。これらの図面は必ずしも縮尺に応じて作成されるものではない。なお、これらの図面は本発明に開示されているいくつかの実施形態を示しているが、本発明の範囲を限定するものではない。

0017

本発明の実施例1に係る長焦点カメラと短焦点カメラの設置方式及び視野範囲を示す模式図である。
長焦点カメラにより撮影された画像の模式図である。
短焦点カメラにより撮影された画像の模式図である。
本発明の実施例1に係る多焦点距離視覚に基づく障害物感知方法の模式図である。
本発明の実施例1におけるステップS130を示すフローチャートである。
本発明の実施例における追跡シーケンスの合併効果を示す模式図である。
本発明の実施例2に係る多焦点距離視覚に基づく障害物感知方法の模式図である。
本発明の実施例3に係る多焦点距離視覚に基づく障害物感知装置の模式図である。
本発明の実施例4に係る多焦点距離視覚に基づく障害物感知装置の模式図である。
本発明の実施例5に係る多焦点距離視覚に基づく障害物感知設備の構成模式図である。

実施例

0018

以下では、幾つかの例示的な実施例のみを簡単に説明する。当業者であれば、本発明の趣旨又は範囲を逸脱せずに、説明した実施例に様々な変更を施すことができると理解できる。従って、図面と説明は本質的に例示的であり、限定的ではないとみなされるべきである。

0019

本発明の実施例は主に多焦点距離視覚に基づく障害物感知方法及び装置を提供する。以下では、下記実施例による技術案について詳細に説明する。

0020

実施例1
本実施例は多焦点距離視覚に基づく障害物感知方法を提供する。

0021

本実施例では、自動運転車の感知システムには、画像を撮影するための長焦点カメラと短焦点カメラとが同時に設置される。図1は本発明の実施例1に係る長焦点カメラと短焦点カメラの設置方式及び視野範囲を示す模式図である。図1において、自動運転車のヘッドの同一位置に長焦点カメラと短焦点カメラが設置され、例えば、長焦点カメラは焦点距離が12mm、短焦点カメラは焦点距離が6mmである。図1において、階調が濃く且つ角度が小さい扇形領域は長焦点カメラの視野範囲であり、階調が浅く且つ角度が大きい扇形領域は短焦点カメラの視野範囲である。

0022

なお、本実施例では、長焦点カメラと短焦点カメラが自動運転車のヘッド位置に設置されることのみを例示するが、本発明のほかの実施例では、長焦点カメラと短焦点カメラは自動運転車のほかの位置に設置されてもよく、自動運転車の異なる位置に複数組の長焦点カメラと短焦点カメラが設置されてもよい。

0023

図2a及び図2bは自動運転車のヘッド位置に設置された長焦点カメラと短焦点カメラによりそれぞれ撮影された画像である。

0024

図2aは長焦点カメラにより撮影された画像の模式図であり、図2bに比べて、図2aにおける遠方物体が明瞭に視認されるが、視野範囲が小さい。図2bは短焦点カメラにより撮影された画像の模式図であり、図2aに比べて、図2bにおける視野範囲が大きいが、遠方の物体が明瞭に視認されない。

0025

以上からわかるように、図2aにおける全画像は図2bに含まれ、図2aを適切な比率縮小すると、縮小後の画像が図2bにおける画像の一部と重なる。

0026

図3は本発明の実施例1に係る多焦点距離視覚に基づく障害物感知方法の模式図であり、当該方法は、下記のステップS110〜S130を含む。

0027

S110では、複数の時刻で、長焦点カメラと短焦点カメラを用いて、障害物の検出結果をそれぞれ取得する。
本実施例及び明細書のほかの実施例では、「障害物」とは、広義に理解され、例えば、自動車の周囲の通行人自転車自転電動車、他の非自動車又は自動車は、本車(自動運転車)に対して、障害物とすると考えられてもよい。

0028

障害物の検出結果を取得した後、初期時、それぞれのカメラにおいて別々に目標追跡を行い、すなわち、下記ステップS120を実行する。

0029

S120では、長焦点カメラと短焦点カメラによりそれぞれ取得された検出結果を用いて、目標追跡を行い、少なくとも2つの追跡シーケンス(track)を得ることができ、各追跡シーケンスに同一障害物についての複数の時刻での検出結果が含まれる。

0030

本ステップでは、焦点距離が異なる2つのカメラにより取得された検出結果に対して目標追跡をそれぞれ行い、同一障害物に対して、長焦点カメラと短焦点カメラがともに検出結果を取得する場合、該障害物に対して2つの追跡シーケンスを形成でき、これらの2つの追跡シーケンスがそれぞれ長焦点カメラと短焦点カメラからのものである。

0031

目標追跡に対する具体的な手順は、従来技術と同じ方式を採用してもよく、すなわち、検出結果に対して類似度の算出を行い、類似度行列解くことで、マッチングを行い、検出結果の関連付けを実現し、それにより追跡シーケンスを得る。

0032

S130では、前記少なくとも2つの追跡シーケンスのうちの任意の2つの追跡シーケンスを用いてマッチング検出を行い、マッチング検出が成功する場合、前記任意の2つの追跡シーケンスを1つの追跡シーケンスに合併し、合併後の追跡シーケンスを得る。

0033

本ステップでは、マッチング検出が成功すると、2つの追跡シーケンスが異なるカメラからの同一障害物に対する追跡シーケンスであることを物語っている、従って、それらを合併して1つの追跡シーケンスを形成し、カメラ間の追跡シーケンス融合を実現できる。

0034

図4は、本発明の実施例1におけるステップS130を示すフローチャートであり、ステップS130は、ステップS131〜S134を含む。

0035

S131では、任意の2つの追跡シーケンスに含まれる検出結果を取得する。

0036

例えば、既存の少なくとも2つの追跡シーケンスのうち、任意の2つの追跡シーケンスTaとTbとを抽出し、TaとTbとが複数の検出結果をそれぞれ含む。

0037

S132では、各時刻に対して、前記任意の2つの追跡シーケンスから検出結果をそれぞれ取得し、前記検出結果が異なるカメラからのものである場合、長焦点カメラからの検出結果を短焦点カメラの結像平面に投影し、投影後の検出結果と短焦点カメラからの検出結果とのIOUを算出する。

0038

S133では、すべての時刻に対して算出されたIOUの平均値を求め、前記平均値が予め設定された閾値より大きい場合、前記任意の2つの追跡シーケンスのマッチングが成功すると判定する。

0039

S134では、マッチングが成功する場合、前記任意の2つの追跡シーケンスにおける検出結果を合併することにより、合併後の追跡シーケンスを得る。

0040

具体的には、追跡シーケンスTaとTbにおいて、下記の公式に示すように、各時刻の検出結果はdiとdjを含み、



ここで、diが追跡シーケンスTaに属する検出結果であり、djが追跡シーケンスTbに属する検出結果であり、且つ、diとdjは、同一時刻におけるものである。

0041

上記2つの検出結果が異なるカメラからのものである場合、長焦点カメラからの検出結果を短焦点カメラの結像平面に投影し、投影後の検出結果と短焦点カメラからの検出結果とのIOU(Intersection−over−Union)を算出する。純回転モデルを用いて投影を行うことができる。

0042

IOUの値が1に近いほど、2つの検出結果の重なり部分が多く、2つの検出結果が同一障害物に対して撮影して得られる可能性が高い。

0043

2つの追跡シーケンスのすべての同一時刻に対する検出結果について、上記IOUの平均値を求め、該平均値が予め設定された閾値より大きい場合、該任意の2つの追跡シーケンスのマッチングが成功すると判定する。

0044

マッチングが成功すると、マッチングに成功する2つの追跡シーケンスを合併でき、例えば、合併して得られた追跡シーケンスがtrack={d1,d2,d3,…dn}であり、ここで、di(i=1,2,…,n)は、長焦点カメラからの検出結果であってもよいし、短焦点カメラからの検出結果であってもよい。

0045

図5は本発明の実施例に係る追跡シーケンス合併効果を示す模式図である。図5において、長焦点カメラと短焦点カメラからの2つの追跡シーケンスがマッチングすると判定した後、長焦点カメラの追跡シーケンスにおける各検出結果(図5において三角形で示す)と短焦点カメラの追跡シーケンスにおける各検出結果(図5において円形で示す)を1つの追跡シーケンスに合併する。

0046

実施例2
本発明の実施例は、別の多焦点距離視覚に基づく障害物感知方法を提供する。図6は、本発明の実施例2に係る多焦点距離視覚に基づく障害物感知方法の模式図であり、該方法は以下のステップS110〜S140を含む。

0047

S110では、複数の時刻で、長焦点カメラと短焦点カメラを用いて障害物の検出結果をそれぞれ取得する。

0048

S120では、長焦点カメラと短焦点カメラによりそれぞれ取得された検出結果を用いて目標追跡を行い、少なくとも2つの追跡シーケンスを得ることができ、各追跡シーケンスに同一障害物についての複数の時刻での検出結果が含まれる。

0049

S130では、前記少なくとも2つの追跡シーケンスのうちの任意の2つの追跡シーケンスを用いてマッチング検出を行い、マッチング検出が成功する場合、前記任意の2つの追跡シーケンスを1つの追跡シーケンスに合併し、合併後の追跡シーケンスを得る。

0050

上記ステップS110〜S130は、実施例1におけるステップS110〜S130の具体的な方式と同様であるため、ここで重複説明を省略する。

0051

ステップS110〜S130では、初期段階における追跡シーケンスの合併を完了する。後続では、新たな検出結果について、どのカメラからのものかに関わらず、新たな検出結果を合併後の追跡シーケンスと直接に関連付けらせ、すなわち、下記ステップS140を実行する。

0052

S140では、新たな検出結果を取得する場合、それぞれ前記新たな検出結果を合併後の追跡シーケンスと関連検出を行い、関連検出が失敗する場合、該新たな検出結果を含む新たな追跡シーケンスを作成し、関連検出が成功する場合、前記新たな検出結果を前記合併後の追跡シーケンスに追加する。

0053

上記手順によれば、本実施例は、長焦点カメラと短焦点カメラからの追跡シーケンスに対する融合を実現し、それにより、多焦点距離視覚に基づく感知を実現する。

0054

実施例3
本実施例は、多焦点距離視覚に基づく障害物感知装置を提供する。図7は、本発明の実施例3に係る多焦点距離視覚に基づく障害物感知装置の模式図であり、該障害物感知装置は、
長焦点カメラと短焦点カメラにより複数の時刻でそれぞれ取得された障害物の検出結果を用いて、目標追跡を行い、少なくとも2つの追跡シーケンスを得ることができ、各追跡シーケンスに同一障害物についての複数の時刻での検出結果が含まれるための初期処理モジュール701と、
前記少なくとも2つの追跡シーケンスのうちの任意の2つの追跡シーケンスを用いてマッチング検出を行い、マッチングが成功すると、前記任意の2つの追跡シーケンスを1つの追跡シーケンスに合併し、合併後の追跡シーケンスを得るための合併モジュール702と、を備える。

0055

具体的には、上記合併モジュール702は、
少なくとも2つの追跡シーケンスから2つの追跡シーケンスを選択し、
各時刻に対して、選択された2つの追跡シーケンスから検出結果をそれぞれ取得し、検出結果が異なるカメラからのものである場合、長焦点カメラからの検出結果を短焦点カメラの結像平面に投影し、投影後の検出結果と短焦点カメラからの検出結果とのIOUを算出し、
すべての時刻に対して算出されたIOUの平均値を求め、平均値が予め設定された閾値より大きい場合、選択された2つの追跡シーケンスのマッチングが成功すると判定する。

0056

マッチング検出が成功する場合、これらの2つの追跡シーケンスにおける検出結果を合併し、合併後の追跡シーケンスを得る。

0057

例えば、任意の2つの追跡シーケンスTaとTbにおいて、下記の公式に示すように、各時刻の検出結果はdiとdjを含み、



ここで、diが追跡シーケンスTaに属する検出結果であり、djが追跡シーケンスTbに属する検出結果であり、且つ、diとdjは、タイムスタンプが同じで、すなわち、同一時刻におけるものである。

0058

上記2つの検出結果が異なるカメラからのものである場合、長焦点カメラからの検出結果を短焦点カメラの結像平面に投影し、投影後の検出結果と短焦点カメラからの検出結果のIOUを算出する。純回転モデルを用いて投影を行うことができる。

0059

IOUの値が1に近いほど、2つの検出結果の重なり部分が多く、2つの検出結果が同一障害物に対して撮影して得られる可能性が高い。

0060

2つの追跡シーケンスのすべての同一時刻に対する検出結果について、上記IOUの平均値を求め、該平均値が予め設定された閾値より大きい場合、該任意の2つの追跡シーケンスのマッチングが成功すると判定する。

0061

マッチングが成功すると、マッチングに成功する2つの追跡シーケンスを合併でき、すなわち、マッチングに成功する2つの追跡シーケンスの検出結果を合併し、合併後の追跡シーケンスを得ることができる。

0062

例えば、合併後の追跡シーケンスがtrack={d1,d2,d3,…dn}であり、ここで、di(i=1,2,…,n)は、長焦点カメラからの検出結果であってもよいし、短焦点カメラからの検出結果であってもよい。

0063

以上からわかるように、本発明の実施例に係る多焦点距離視覚に基づく障害物感知装置は、長焦点カメラと短焦点カメラからの追跡シーケンスの融合を実現し、それにより、多焦点距離視覚に基づく感知を実現する。

0064

実施例4
本実施例は、別の多焦点距離視覚に基づく障害物感知装置を提供する。図8は、本発明の実施例4に係る多焦点距離視覚に基づく障害物感知装置の模式図であり、該障害物感知装置は、
長焦点カメラと短焦点カメラにより複数の時刻でそれぞれ取得された障害物の検出結果を用いて目標追跡を行い、少なくとも2つの追跡シーケンスを得ることができ、各追跡シーケンスに同一障害物についての複数の時刻での検出結果が含まれるための初期処理モジュール701と、
前記少なくとも2つの追跡シーケンスのうちの任意の2つの追跡シーケンスを用いてマッチング検出を行い、マッチングが成功すると、前記任意の2つの追跡シーケンスを1つの追跡シーケンスに合併し、合併後の追跡シーケンスを得るための合併モジュール702と、を備える。

0065

具体的には、上記合併モジュール702は、
少なくとも2つの追跡シーケンスから2つの追跡シーケンスを選択し、
各時刻に対して、選択された2つの追跡シーケンスから検出結果をそれぞれ取得し、検出結果が異なるカメラからのものである場合、長焦点カメラからの検出結果を短焦点カメラの結像平面に投影し、投影後の検出結果と短焦点カメラからの検出結果とのIOUを算出し、
すべての時刻に対して算出されたIOUの平均値を求め、平均値が予め設定された閾値より大きい場合、選択された2つの追跡シーケンスのマッチングが成功すると判定する。

0066

マッチング検出が成功する場合、これらの2つの追跡シーケンスにおける検出結果を合併し、合併後の追跡シーケンスを得る。

0067

本実施例に係る装置は、新たな検出結果を取得し、それぞれ新たな検出結果を合併後の追跡シーケンスと関連検出を行い、関連検出が失敗する場合、該新たな検出結果を含む新たな追跡シーケンスを作成し、関連検出が成功する場合、前記新たな検出結果を前記合併後の追跡シーケンスに追加する関連付けモジュール803をさらに備える。

0068

以上からわかるように、本発明の実施例に係る多焦点距離視覚に基づく障害物感知装置は、長焦点カメラと短焦点カメラの追跡シーケンスの融合を実現し、それにより、多焦点距離視覚に基づく感知を実現する。合併後、新たな検出結果に対して、新たな検出結果と合併後の追跡シーケンスとの類似度を算出して関連付け、それにより、新たな検出結果と2つのカメラの検出結果とを直接に追跡検出することを実現する。

0069

実施例5
本発明の実施例5は、多焦点距離視覚に基づく障害物感知設備を提供する。図9は、本発明の実施例5に係る多焦点距離視覚に基づく障害物感知設備の構成模式図であり、該障害物感知設備は、
障害物の検出結果を取得するための長焦点カメラ910と、
障害物の検出結果を取得するための短焦点カメラ920と、
メモリ930及びプロセッサ940を備え、前記メモリ930にコンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサ940により実行されると、上記実施例に係る多焦点距離視覚に基づく障害物感知方法を実現できるコントローラと、を備える。前記メモリ930とプロセッサ940の数は、1つ又は複数であってもよい。

0070

前記設備は、外部装置通信し、データのインタラクティブ伝送を行うための通信インターフェース950をさらに備える。
メモリ930は、高速RAMメモリを含む可能性もあるし、さらに不揮発性メモリ(non−volatile memory)、例えば少なくとも1つの磁気ディスクメモリを含む可能性もある。

0071

メモリ930、プロセッサ940及び通信インターフェース950が独立して実現する場合、メモリ930、プロセッサ940及び通信インターフェース950はバスで互いに接続され、且つ相互間の通信を実現することができる。前記バスは業界標準アーキテクチャISA、Industry Standard Architecture)バス、ペリフェラルコンポーネントPCI、Peripheral Component Interconnect)バス又は拡張業界標準アーキテクチャ(EISA、Extended Industry Standard Architecture)バス等であってもよい。前記バスはアドレスバスデータバス制御バス等に分けられてもよい。示しやすくするために、図9では1本のみの太線で示すが、1本のみのバス又は1つのタイプのみのバスを有すると示さない。

0072

選択的に、具体的に実現する時、メモリ930、プロセッサ940及び通信インターフェース950が1枚のチップ統合される場合、メモリ930、プロセッサ940及び通信インターフェース950は、内部インターフェースによって、相互間の通信を実現することができる。

0073

本明細書の説明において、用語「一実施例」、「いくつかの実施例」、「例」、「具体例」、又は「いくつかの例」等の説明とは、該実施例又は例を参照すると説明した具体的な特徴、構造、材料又は特性が本発明の少なくとも1つの実施例又は例に含まれることを意味する。且つ、説明される具体的な特徴、構造、材料又は特性はいずれか1つ又は複数の実施例又は例で適切な方式で結合してもよい。また、矛盾しない限り、当業者は本明細書に説明される様々な実施例又は例、及び様々な実施例又は例の特徴を結合及び組み合わせすることができる。

0074

また、用語の「第一」、「第二」は説明のためのものに過ぎず、相対重要性を指示又は示唆し、又は指示された技術的特徴の数を暗示すると理解すべきではない。従って、「第一」、「第二」で制限された特徴は少なくとも1つの該特徴を明示的又は暗示的に含んでもよい。本発明の説明において、特に明確且つ具体的に制限しない限り、「複数」の意味は2つ又は2つ以上である。

0075

当業者であれば、フローチャートにおける、又はここでほかの方式で説明されるいかなる過程又は方法についての説明は、確定論理機能又は過程を実現するための1つ又は複数のステップの実行可能命令のコードを含むモジュール、セグメント又は部分を示すと理解されてもよく、且つ本発明の好適な実施形態の範囲はほかの実現を含み、指示又は検討される順序通りでなくてもよく、関わる機能に基づいて、ほぼ同時に、又は逆順序で機能を実行してもよいと理解すべきである。

0076

フローチャートに示す、又はここでほかの方式で説明される論理及び/又はステップは、例えば、論理機能を実現するための実行可能命令の順序付けリストであると見なされてもよく、具体的にいかなるコンピュータ可読媒体に実現されてもよく、命令実行ステム、装置又はデバイス(例えばコンピュータに基づくシステム、プロセッサを含むシステム又は命令実行システム、装置又はデバイスから命令を受信し且つ命令を実行するシステム)の使用に備え、又はこれらの命令実行システム、装置又はデバイスと組み合わせて使用される。本明細書については、「コンピュータ可読媒体」はプログラム包含、記憶、通信、伝播又は伝送することにより、命令実行システム、装置又はデバイス、又はこれらの命令実行システム、装置又はデバイスと組み合わせて使用されるいかなる装置であってもよい。コンピュータ可読媒体のさらなる具体例(非網羅的リスト)は、1つ又は複数の配線を有する電気接続部電子装置)、ポータブルコンピュータケース磁気装置)、ランダムアクセスメモリー(RAM)、読み出し専用メモリ(ROM)、電気的消去再書込み可能な読出し専用メモリEPROM又はフラッシュメモリー)、光ファイバー装置、及び携帯型読み出し専用メモリー(CDROM)を含む。また、コンピュータ可読媒体は更にその上に前記プログラムを印刷できる用紙又はほかの適切な媒体であってもよい理由は、例えば用紙又はほかの媒体を光学的に走査し、次に編集解釈し、又は必要な時にほかの適切な方式で処理して、電子方式で前記プログラムを取得し、次にそれをコンピュータメモリに記憶することができるためである。

0077

本発明の各部分はハードウェアソフトウェアファームウェア又はそれらの組み合わせで実現されてもよいと理解すべきである。上記実施形態において、複数のステップ又は方法は、メモリに記憶される、且つ適切な命令実行システムで実行するソフトウェア又はファームウェアで実現されてもよい。例えば、ハードウェアで実現する場合は、別の実施形態と同様に、データ信号に対して論理機能を実現する論理ゲート回路を有する離散論理回路、適切な組み合わせ論理ゲート回路を有する確定用途向け集積回路プログラマブルゲートアレイPGA)、フィールドプログラマブルゲートアレイFPGA)等の本分野での公知技術のうちのいずれか1つ又はそれらの組み合わせで実現してもよい。

0078

当業者であれば、上記実施例方法におけるステップの全部又は一部の実現がプログラムによって関連するハードウェアを命令して完了させてもよく、前記プログラムがコンピュータ可読記憶媒体に記憶されてもよく、実行時に、該プログラムは方法実施例のステップの1つ又はそれらの組み合わせを含むと理解される。

0079

また、本発明の各実施例における各機能ユニットが1つの処理モジュールに統合されてもよく、各ユニットが独立して物理的に存在してもよく、2つ又は2つ以上のユニットが1つのモジュールに統合されてもよい。上記統合モジュールはハードウェアのタイプで実現されてもよいし、ソフトウェア機能モジュールのタイプで実現されてもよい。前記統合モジュールはソフトウェア機能モジュールのタイプで実現され、且つ独立した製品として販売又は使用される時、1つのコンピュータ可読記憶媒体に記憶されてもよい。前記記憶媒体は読み出し専用メモリ、磁気ディスク又は光ディスク等であってもよい。

0080

以上のように、本発明の実施例に係る多焦点距離視覚に基づく障害物感知方法、装置、設備及びコンピュータ可読記憶媒体によれば、長焦点カメラと短焦点カメラを用いて障害物の検出結果をそれぞれ取得し、それぞれのカメラにおいて別々に目標追跡を行い、異なる追跡シーケンスを形成し、その後、追跡シーケンスマチングが成功すると判定する場合、異なるカメラからの追跡シーケンスを合併し、それにより、多焦点距離視覚に基づく障害物感知を実現し、従来技術における追跡視野と視距とが両立できない問題を解決することができる。

0081

以上の説明は、本発明の具体的な実施形態に過ぎず、本発明の保護範囲を制限するためのものではなく、当業者が本発明に開示される技術的範囲内に容易に想到し得る種々の変更又は置換は、いずれも本発明の保護範囲内に含まれるべきである。従って、本発明の保護範囲は特許請求の範囲に準じるべきである。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ