図面 (/)

技術 障害物高さの検出方法、装置、設備及び記憶媒体

出願人 バイドゥオンラインネットワークテクノロジー(ベイジン)カンパニーリミテッド
発明者 ガオ,ハンサン,シュンシア,ティアン
出願日 2019年7月4日 (1年7ヶ月経過) 出願番号 2019-125582
公開日 2020年3月19日 (11ヶ月経過) 公開番号 2020-042010
状態 特許登録済
技術分野 交通制御システム 光学的手段による測長装置 イメージ分析
主要キーワード 上辺位置 底辺中心 ミニバス 検出設備 測定障害 統合モジュール 距離評価 確定モジュール
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年3月19日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (8)

課題

障害物の高さの検出方法を提供する。

解決手段

方法は、フレームから複数の参考障害物の観測データを取得するステップ101と、各前記参考障害物に対して、参考障害物の前記観測データ、被測定障害物のフレームにおける観測高さ、前記参考障害物のフレームにおける高さ、前記参考障害物の実際高さ、前記被測定障害物のフレームにおける底辺位置とフレームをキャプチャするカメラ光軸との間の距離に基づき、前記被測定障害物の高さの第一評価値確定し、前記参考障害物の前記観測データは、前記参考障害物の前記フレームにおける観測高さと前記参考障害物のフレームにおける底辺位置とカメラの光軸との間の距離を含むステップ102と、各前記参考障害物に対して確定された複数の第一評価値を用いて、前記被測定障害物の高さの第二評価値を確定するステップ103と、を含む。

概要

背景

障害物検出は、自動運転車感知の重要な一環である。画像におけるオブジェクトは、距離が大きいほどサイズが小さくなるという特徴を有するため、画像における障害物のサイズに基づき障害物の実際サイズを推定することが困難であり、特に、障害物の高さに対する推定が困難である。

概要

障害物の高さの検出方法を提供する。方法は、フレームから複数の参考障害物の観測データを取得するステップ101と、各前記参考障害物に対して、参考障害物の前記観測データ、被測定障害物のフレームにおける観測高さ、前記参考障害物のフレームにおける高さ、前記参考障害物の実際高さ、前記被測定障害物のフレームにおける底辺位置とフレームをキャプチャするカメラ光軸との間の距離に基づき、前記被測定障害物の高さの第一評価値確定し、前記参考障害物の前記観測データは、前記参考障害物の前記フレームにおける観測高さと前記参考障害物のフレームにおける底辺位置とカメラの光軸との間の距離を含むステップ102と、各前記参考障害物に対して確定された複数の第一評価値を用いて、前記被測定障害物の高さの第二評価値を確定するステップ103と、を含む。

目的

本発明の実施例は、少なくとも従来技術における上記技術的問題を解決するために、障害物高さの検出方法及び装置を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

障害物高さの検出方法であって、フレームから複数の参考障害物の観測データを取得するステップと、各前記参考障害物に対して、参考障害物の前記観測データ、被測定障害物のフレームにおける観測高さ、前記参考障害物のフレームにおける高さ、前記参考障害物の実際高さ、前記被測定障害物のフレームにおける底辺位置とフレームをキャプチャするカメラ光軸との間の距離に基づき、前記被測定障害物の高さの第一評価値確定し、前記参考障害物の前記観測データは、前記参考障害物の前記フレームにおける観測高さと前記参考障害物のフレームにおける底辺位置とカメラの光軸との間の距離を含むステップと、各前記参考障害物に対して確定された複数の第一評価値を用いて、前記被測定障害物の高さの第二評価値を確定するステップと、を含むことを特徴とする障害物高さの検出方法。

請求項2

各前記参考障害物に対して、参考障害物の前記観測データ、被測定障害物のフレームにおける観測高さ、前記参考障害物のフレームにおける高さ、前記参考障害物の実際高さ、前記被測定障害物のフレームにおける底辺位置とフレームをキャプチャするカメラの光軸との間の距離に基づき、前記被測定障害物の高さの第一評価値を確定することは、第i参考障害物に対して、式(4)で前記被測定障害物の第一評価値を確定するステップを含み、ただし、Hpは、被測定障害物の高さの第一評価値、hpは、被測定障害物のフレームにおける観測高さ、hiは、第i個の参考障害物のフレームにおける観測高さ、Hiは、第i個の参考障害物の実際高さ、は、被測定障害物のフレームにおける底辺位置とフレームをキャプチャするカメラの光軸との間の距離、は、第i個の参考障害物のフレームにおける底辺位置とカメラの光軸との間の距離であることを特徴とする請求項1に記載の方法。

請求項3

前記複数の参考障害物に対して確定された複数の前記第一評価値を用いて、前記被測定障害物の高さの第二評価値を確定することは、複数の前記第一評価値に対して、フィルタリングノイズ除去処理を行い、前記被測定障害物の高さの第二評価値を得るステップを含むことを特徴とする請求項1に記載の方法。

請求項4

フレームから前記複数の参考障害物の観測データを取得する前に、固定高さを有する且つ底辺中心位置がフレーム中の予め設定領域内にある障害物を参考障害物として選択し、前記予め設定領域は、複数のグリッドに予め分割され、各前記グリッド内に多くとも1つの前記参考障害物が含まれるステップをさらに含むことを特徴とする請求項1乃至3のいずれか一項に記載の方法。

請求項5

障害物高さの検出方法であって、フレームから複数の参考障害物の観測データを取得するステップと、前記各参考障害物のフレームにおける底辺位置の縦方向座標、及び前記各参考障害物とフレームをキャプチャするカメラとの間の距離に基づき、関数F:Z=F(ymax)をフィッティングし、ymaxは、前記参考障害物のフレームにおける底辺位置の縦方向座標、Zは、前記参考障害物と前記カメラとの間の距離であるステップと、前記被測定障害物のフレームにおける底辺位置の前記縦方向座標及び前記関数Fに基づき、前記被測定障害物と前記カメラとの間の距離を確定するステップと、前記被測定障害物と前記カメラとの間の距離に基づき、前記被測定障害物の高さの評価値を確定するステップと、を含むことを特徴とする障害物高さの検出方法。

請求項6

前記被測定障害物と前記カメラとの間の距離に基づき、前記被測定障害物の高さの評価値を確定することは、式(5)で前記被測定障害物の高さの評価値を確定するステップを含み、ただし、Hp’は、前記被測定障害物の高さの評価値、hpは、前記被測定障害物のフレームにおける観測高さ、fは、前記カメラの焦点距離、Zpは、前記被測定障害物と前記カメラとの間の距離であることを特徴とする請求項5に記載の方法。

請求項7

前記複数の参考障害物の観測データを取得する前に、固定高さを有する且つ底辺中心位置がフレーム中の予め設定領域内にある障害物を参考障害物として選択し、前記予め設定領域は、複数のグリッドに予め分割され、各前記グリッド内に多くとも1つの参考障害物が含まれるステップをさらに含むことを特徴とする請求項5又は6に記載の方法。

請求項8

障害物高さの検出装置であって、フレームから複数の参考障害物の観測データを取得するための第一取得モジュールと、各前記参考障害物に対して、参考障害物の前記観測データ、被測定障害物のフレームにおける観測高さ、前記参考障害物のフレームにおける高さ、前記参考障害物の実際高さ、前記被測定障害物のフレームにおける底辺位置とフレームをキャプチャするカメラの光軸との間の距離に基づき、前記被測定障害物の高さの第一評価値を確定し、前記参考障害物の前記観測データは、前記参考障害物の前記フレームにおける観測高さと前記参考障害物のフレームにおける底辺位置とカメラの光軸との間の距離を含むための第一評価モジュールと、複数の前記参考障害物に対して確定された複数の第一評価値を用いて、前記被測定障害物の高さの第二評価値を確定するための第二評価モジュールと、を備えることを特徴とする障害物高さの検出装置。

請求項9

前記第一評価モジュールは、式(4)で前記被測定障害物の高さの第一評価値を確定し、ただし、Hpは、前記被測定障害物の高さの第一評価値、hpは、前記被測定障害物のフレームにおける観測高さ、hiは、第i個の参考障害物のフレームにおける観測高さ、Hiは、前記第i個の参考障害物の実際高さ、は、前記被測定障害物のフレームにおける底辺位置とフレームをキャプチャする前記カメラの光軸との間の距離、は、前記第i個の参考障害物のフレームにおける底辺位置と前記カメラの光軸との間の距離であることを特徴とする請求項8に記載の装置。

請求項10

前記第二評価モジュールは、前記複数の第一評価値に対して、フィルタリングノイズ除去処理を行い、前記被測定障害物の高さの第二評価値を得るために用いられることを特徴とする請求項8に記載の装置。

請求項11

前記第一取得モジュールは、固定高さを有する且つ底辺中心位置がフレーム中の予め設定領域内にある障害物を参考障害物として選択し、前記予め設定領域は、複数のグリッドに予め分割され、各前記グリッド内に多くとも1つの参考障害物が含まれるためにさらに用いられることを特徴とする請求項8乃至10のいずれか一項に記載の装置。

請求項12

障害物高さの検出装置であって、フレームから複数の参考障害物の観測データを取得する第二取得モジュールと、前記複数の参考障害物のフレームにおける底辺位置、及び前記複数の参考障害物とカメラとの間の距離に基づき、関数F:Z=F(ymax)をフィッティングし、ymaxは、前記参考障害物のフレームにおける底辺位置の縦方向座標、Zは、前記参考障害物と前記カメラとの間の距離であるための関数確定モジュールと、前記被測定障害物のフレームにおける底辺位置の前記縦方向座標及び前記関数Fに基づき、前記被測定障害物と前記カメラとの間の距離を確定するための距離評価モジュールと、前記被測定障害物と前記カメラとの間の距離に基づき、前記被測定障害物の高さの評価値を確定するための高さ評価モジュールと、を備えることを特徴とする障害物高さの検出装置。

請求項13

前記高さ評価モジュールは、式(5)で前記被測定障害物の高さの評価値を確定し、ただし、Hp’は、前記被測定障害物の高さの評価値、hpは、前記被測定障害物のフレームにおける観測高さ、fは、前記カメラの焦点距離、Zpは、前記被測定障害物と前記カメラとの間の距離であることを特徴とする請求項12に記載の装置。

請求項14

前記第二取得モジュールは、固定高さを有する且つ底辺中心位置がフレーム中の予め設定領域内にある障害物を参考障害物として選択し、前記予め設定領域は、複数のグリッドに予め分割され、各前記グリッド内に多くとも1つの参考障害物が含まれるためにさらに用いられることを含むことを特徴とする請求項12又は13に記載の装置。

請求項15

障害物高さの検出設備であって、1つ又は複数のプロセッサと、1つ又は複数のプログラムを記憶するメモリと、を備え、前記1つ又は複数のプログラムが前記1つ又は複数のプロセッサにより実行されると、前記1つ又は複数のプロセッサが請求項1乃至7のいずれか一項に記載の方法を実現することを特徴とする障害物高さの検出設備

請求項16

コンピュータプログラムが記憶されるコンピュータ可読記憶媒体であって、該プログラムがプロセッサにより実行されると、請求項1乃至7のいずれか一項に記載の方法を実現することを特徴とするコンピュータ可読記憶媒体。

技術分野

0001

本発明は、自動運転車の技術分野に関し、特に、障害物高さの検出方法、装置、設備及びコンピュータ可読記憶媒体に関する。

背景技術

0002

障害物検出は、自動運転車の感知の重要な一環である。画像におけるオブジェクトは、距離が大きいほどサイズが小さくなるという特徴を有するため、画像における障害物のサイズに基づき障害物の実際サイズを推定することが困難であり、特に、障害物の高さに対する推定が困難である。

発明が解決しようとする課題

0003

本発明の実施例は、少なくとも従来技術における上記技術的問題を解決するために、障害物高さの検出方法及び装置を提供する。

課題を解決するための手段

0004

第一態様によれば、本発明の実施例は、障害物高さの検出方法を提供し、該方法は、
フレームから複数の参考障害物の観測データを取得するステップと、
各前記参考障害物に対して、参考障害物の前記観測データ、被測定障害物のフレームにおける観測高さ、前記参考障害物のフレームにおける高さ、前記参考障害物の実際高さ、前記被測定障害物のフレームにおける底辺位置とフレームをキャプチャするカメラ光軸との間の距離に基づき、前記被測定障害物の高さの第一評価値確定し、前記参考障害物の前記観測データは、前記参考障害物の前記フレームにおける観測高さと前記参考障害物のフレームにおける底辺位置とカメラの光軸との間の距離を含むステップと、
各前記参考障害物に対して確定された複数の第一評価値を用いて、前記被測定障害物の高さの第二評価値を確定するステップと、を含む。

0005

第一態様に合わせて、本発明の第一態様の第一実施形態では、各前記参考障害物に対して、参考障害物の前記観測データ、被測定障害物のフレームにおける観測高さ、前記参考障害物のフレームにおける高さ、前記参考障害物の実際高さ、前記被測定障害物のフレームにおける底辺位置とフレームをキャプチャするカメラの光軸との間の距離に基づき、前記被測定障害物の高さの第一評価値を確定することは、第i参考障害物に対して、式(4)で前記被測定障害物の第一評価値を確定する、



ただし、Hpは、被測定障害物の実際の第一評価値、
hpは、被測定障害物のフレームにおける観測高さ、
hiは、第i個の参考障害物のフレームにおける観測高さ、
Hiは、第i個の参考障害物の実際高さ、




は、被測定障害物のフレームにおける底辺位置とフレームをキャプチャするカメラの光軸との間の距離、




は、第i個の参考障害物のフレームにおける底辺位置とカメラの光軸との間の距離である。

0006

第一態様に合わせて、本発明の第一態様の第二実施形態では、複数の参考障害物に対して確定された複数の第一評価値を用いて、前記被測定障害物の高さの第二評価値を確定することは、
複数の第一評価値に対して、フィルタリングノイズ除去処理を行い、被測定障害物の高さの第二評価値を得るステップを含む。

0007

第一態様、第一態様の第一実施形態、第一態様の第二実施形態に合わせて、本発明の第一態様の第三実施形態では、前記複数の参考障害物の観測データを取得する前に、
前記被測定障害物が位置するフレームの前の複数の連続フレームにおいて、固定高さを有する且つ底辺中心位置がフレーム中の予め設定領域内にある障害物を参考障害物として選択し、前記予め設定領域は、複数のグリッドに予め分割され、各グリッド内に多くとも1つの参考障害物が含まれるステップをさらに含む。

0008

第二態様によれば、本発明の実施例は、別の障害物高さの検出方法を提供し、該方法は、
フレームから複数の参考障害物の観測データを取得するステップと、
各参考障害物のフレームにおける底辺位置、及び各参考障害物とフレームをキャプチャするカメラとの間の距離に基づき、関数F:Z=F(ymax)をフィッティングし、ymaxは、参考障害物のフレームにおける底辺位置の縦方向座標、Zは、参考障害物とカメラとの間の距離であるステップと、
被測定障害物のフレームにおける底辺位置及び前記関数Fに基づき、被測定障害物とカメラとの間の距離を確定するステップと、
前記被測定障害物とカメラとの間の距離に基づき、前記被測定障害物の高さの評価値を確定するステップと、を含む。

0009

第二態様に合わせて、本発明の第二態様の第一実施形態では、前記被測定障害物とカメラとの間の距離に基づき、前記被測定障害物の高さの評価値を確定することは、式(5)で被測定障害物の高さの評価値を確定するステップを含み、



ただし、Hp’は、被測定障害物の高さの評価値、
hpは、被測定障害物のフレームにおける観測高さ、
fは、カメラの焦点距離
Zpは、被測定障害物とカメラとの間の距離である。

0010

第二態様、第二態様の第一実施形態に合わせて、本発明の第二態様の第二実施形態では、前記複数の参考障害物の観測データを取得する前に、
固定高さを有する且つ底辺中心位置がフレーム中の予め設定領域内にある障害物を参考障害物として選択し、前記予め設定領域は、複数のグリッドに予め分割され、各グリッド内に多くとも1つの参考障害物が含まれるステップをさらに含む。

0011

第三態様によれば、本発明の実施例は、障害物高さの検出装置をさらに提供し、該装置は、
フレームから複数の参考障害物の観測データを取得するための第一取得モジュールと、
各前記参考障害物に対して、参考障害物の前記観測データ、被測定障害物のフレームにおける観測高さ、前記参考障害物のフレームにおける高さ、前記参考障害物の実際高さ、前記被測定障害物のフレームにおける底辺位置とフレームをキャプチャするカメラの光軸との間の距離に基づき、前記被測定障害物の高さの第一評価値を確定し、前記参考障害物の前記観測データは、前記参考障害物の前記フレームにおける観測高さと前記参考障害物のフレームにおける底辺位置とカメラの光軸との間の距離を含むための第一評価モジュールと、
複数の前記参考障害物に対して確定された複数の第一評価値を用いて、前記被測定障害物の高さの第二評価値を確定するための第二評価モジュールと、を備える。

0012

第三態様に合わせて、本発明の第三態様の第一実施形態では、第一評価モジュールは、式(4)で被測定障害物の高さの第一評価値を確定し、



ただし、Hpは、被測定障害物の高さの第一評価値、
hpは、被測定障害物のフレームにおける観測高さ、
hiは、第i個の参考障害物のフレームにおける観測高さ、
Hiは、第i個の参考障害物の実際高さ、




は、被測定障害物のフレームにおける底辺位置とフレームをキャプチャするカメラの光軸との間の距離、




は、第i個の参考障害物のフレームにおける底辺位置とカメラの光軸との間の距離である。

0013

第三態様に合わせて、本発明の第三態様の第二実施形態では、第二評価モジュールは、複数の第一評価値に対して、フィルタリングノイズ除去処理を行い、被測定障害物の高さの第二評価値を得るために用いられる。

0014

第三態様、第三態様の第一実施形態、第三態様の第二実施形態に合わせて、本発明の第三態様の第三実施形態では、前記第一取得モジュールは、固定高さを有する且つ底辺中心位置がフレーム中の予め設定領域内にある障害物を参考障害物として選択し、前記予め設定領域は、複数のグリッドに予め分割され、各グリッド内に多くとも1つの参考障害物が含まれるためにさらに用いられる。

0015

第四態様によれば、本発明の実施例は、別の障害物高さの検出装置をさらに提供し、該装置は、
フレームから複数の参考障害物の観測データを取得する第二取得モジュールと、
前記複数の参考障害物のフレームにおける底辺位置、及び前記複数の参考障害物とカメラとの間の距離に基づき、関数F:Z=F(ymax)をフィッティングし、ymaxは、前記参考障害物のフレームにおける底辺位置の縦方向座標、Zは、前記参考障害物と前記カメラとの間の距離であるための関数確定モジュールと、
前記被測定障害物のフレームにおける底辺位置の前記縦方向座標及び前記関数Fに基づき、前記被測定障害物と前記カメラとの間の距離を確定するための距離評価モジュールと、
前記被測定障害物と前記カメラとの間の距離に基づき、前記被測定障害物の高さの評価値を確定するための高さ評価モジュールと、を備える。

0016

第四態様に合わせて、本発明の第四態様の第一実施形態では、前記高さ評価モジュールは、式(5)で被測定障害物の高さの評価値を確定し、



ただし、Hp’は、被測定障害物の高さの評価値、
hpは、被測定障害物のフレームにおける観測高さ、
fは、カメラの焦点距離、
Zpは、被測定障害物とカメラとの距離である。

0017

第四態様、第四態様の第一実施形態に合わせて、本発明の第四態様の第二実施形態では、前記第二取得モジュールは、前記被測定障害物が位置するフレームの前の複数の連続フレームにおいて、固定高さを有する且つ底辺中心位置がフレーム中の予め設定領域内にある障害物を参考障害物として選択し、前記予め設定領域は、複数のグリッドに予め分割され、各グリッド内に多くとも1つの参考障害物が含まれるためにさらに用いられる。

0018

上記技術案のいずれかは以下の利点又は有益な効果を有する。

0019

本発明の実施例によれば、参考障害物観測データを用いて、道路幾何学モデルに対してモデリングし、被測定障害物の実際高さの評価を実現し、それにより、被測定障害物の3Dサイズの検出を実現する。

0020

以上、明細書の目的のために発明の概要を説明したが、何らかの形態に限定されるものではない。上記説明された例示的な態様、実施形態及び特徴に加えて、本発明のさらなる態様、実施形態及び特徴は図面及び以下の詳細説明によって容易に明らかになる。

図面の簡単な説明

0021

図面において、特に断らない限り、同一符号は同一又は類似の部材又は要素を示す。これらの図面は必ずしも縮尺に応じて作成されるものではない。なお、これらの図面は本発明に開示されているいくつかの実施形態を示しているが、本発明の範囲を限定するものではない。
本発明の実施例1に係る障害物高さの検出方法のフローチャートである。
本発明の実施例におけるカメラが障害物を撮影して結像する模式図である。
本発明の実施例2における予め設定領域の分割方式を示す模式図である。
本発明の実施例2に係る障害物高さの検出方法のフローチャートである。
本発明の実施例3に係る障害物高さの検出装置の構成模式図である。
本発明の実施例4に係る障害物高さの検出装置の構成模式図である。
本発明の実施例5に係る障害物高さの検出設備の構成模式図である。

実施例

0022

以下、いくつかの例示的な実施例を説明する。当業者が理解できるように、本発明の趣旨又は範囲を逸脱せずに、説明された実施例を様々な形態で変更することができる。従って、図面及び説明は本質的に限定的ではなく例示的なものである。

0023

本発明の実施例は、主に2種の障害物高さの検出方法及び装置を提供する。以下、それぞれ以下の実施例を参照して技術案を詳細に説明する。

0024

実施例1
本実施例は、障害物高さの検出方法を提供する。図1に示すように、図1は、本発明の実施例1に係る障害物高さの検出方法のフローチャートであり、以下のステップ101〜103を含む。

0025

ステップ101では、フレームから複数の参考障害物の観測データを取得する。

0026

参考障害物の観測データは、フレーム画像において直接観測され、又はほかのセンサにより取得されてもよい。

0027

本ステップの前に、まず、参考障害物を選択する必要があり、参考障害物の選択方式は、後述する実施例2に詳細に説明される。

0028

ステップ102では、各前記参考障害物に対して、参考障害物の前記観測データ、被測定障害物のフレームにおける観測高さ、前記参考障害物のフレームにおける高さ、前記参考障害物の実際高さ、前記被測定障害物のフレームにおける底辺位置とフレームをキャプチャするカメラの光軸との間の距離に基づき、前記被測定障害物の高さの第一評価値を確定し、前記参考障害物の前記観測データは、前記参考障害物の前記フレームにおける観測高さと前記参考障害物のフレームにおける底辺位置とカメラの光軸との間の距離を含む。

0029

具体的には、図2に示すように、図2は、本発明の実施例におけるカメラが障害物を撮影して結像する模式図である。図2中の障害物は、参考障害物としてもよく、被測定障害物としてもよい。

0030

まず、図2中の各符号の意味を説明する。

0031

Hは、障害物の実際高さ、
hは、障害物のフレームにおける観測高さ、
ymaxは、障害物のフレームにおける底辺位置の縦方向座標、
yminは、障害物のフレームにおける上辺位置の縦方向座標であり、
従って、h=ymax-yminとなり、
Cyは、フレームをキャプチャするカメラの光軸の縦方向座標であり、
従って、障害物のフレームにおける底辺位置とカメラの光軸との間の距離は、ymax-Cyとなり、
Yは、カメラと地面との間の距離、
fは、カメラの焦点距離、
Zは、障害物とカメラとの間の距離である。

0032

図2中の各点及び線の幾何学的関係からわかるように、上記符号に対して、以下の関係式を有する。

0033

この場合、第i個の参考障害物に対して、以下の式(1)を有する。



ただし、hiは、第i個の参考障害物のフレームにおける観測高さ、
Hiは、第i個の参考障害物の実際高さ、
ymaxiは、第i個の参考障害物のフレームにおける底辺位置の縦方向座標、
Cyは、カメラの光軸の縦方向座標、
Yは、カメラと地面との間の距離である。

0034

被測定障害物に対して、以下の式(2)を有する。



ただし、hpは、被測定障害物のフレームにおける観測高さ、
Hpは、被測定障害物の実際高さ、
ymaxpは、被測定障害物のフレームにおける底辺位置の縦方向座標、
Cyは、カメラの光軸の縦方向座標、
Yは、カメラと地面との間の距離である。

0035

この場合、式(1)を式(2)で割って、式(3)を得る。

0036

更に、式(3)に基づき第二にHpの計算式(4)を得る。



ただし、Hpは、被測定障害物の高さの第一評価値、
hpは、被測定障害物のフレームにおける観測高さ、
hiは、第i個の参考障害物のフレームにおける観測高さ、
Hiは、第i個の参考障害物の実際高さ、




は、被測定障害物のフレームにおける底辺位置とフレームをキャプチャするカメラの光軸との間の距離、




は、第i個の参考障害物のフレームにおける底辺位置とカメラの光軸との間の距離である。

0037

このように、各前記参考障害物に対して、参考障害物の前記観測データ、被測定障害物のフレームにおける観測高さ、前記参考障害物のフレームにおける高さ、前記参考障害物の実際高さ、前記被測定障害物のフレームにおける底辺位置とフレームをキャプチャするカメラの光軸との間の距離に基づき、前記被測定障害物の高さの第一評価値を確定する。

0038

ステップ102では、異なるフレームの画像のずれによって、各フレームに対して確定された複数の被測定障害物の実際高さの第一評価値が異なる可能性があり、従って、被測定障害物の1つの第二評価値を確定する必要があり、すなわち、ステップ103を実行する。

0039

ステップ103では、各前記参考障害物に対して確定された複数の第一評価値を用いて、前記被測定障害物の高さの第二評価値を確定する。

0040

ステップ103では、確定された複数の第一評価値に対して、フィルタリングノイズ除去処理を行い、被測定障害物の実際高さの第二評価値を得る。具体的には、フィルタリングノイズ除去処理後に中心位置又はほかの適切な位置に位置する第一評価値を被測定障害物の実際高さの第二評価値とする。

0041

本実施例に係る方法によれば、参考障害物の観測データを参考とし、被測定障害物の実際高さを確定し、それにより、被測定障害物の3Dサイズを確定できる。

0042

実施例2
本実施例は、参考障害物に対する1種の選択方式を説明する。前記被測定障害物が位置するフレームの前の複数の連続フレームにおいて、固定高さを有する且つ底辺中心位置がフレーム中の予め設定領域内にある障害物を参考障害物として選択し、前記予め設定領域は、複数のグリッドに予め分割され、各グリッド内に多くとも1つの参考障害物が含まれる。

0043

具体的には、本実施例では、参考障害物の選択は、2つの条件を含む。

0044

条件1は、参考障害物の種類であり、
実際高さが正確に取得されることができる障害物を参考障害物とする。実際の応用中には、小型乗用車ミニバス等の車両は、実際高さが正確に取得されることができるため、参考障害物とされてもよい。トラックバストラフィックコーン等のような物体は、実際高さが正確に取得されることができないため、被測定障害物とされ、本発明の実施例に係る方法によってその実際高さを評価できる。

0045

条件2は、参考障害物の位置であり、
まず、参考障害物は、被測定障害物が位置するフレームの前の複数の連続フレーム内に位置する必要がある。

0046

更に、推定の精確性を確保するために、フレーム内において、1つの予め設定領域を予め設定し、底辺中心位置がフレームの予め設定領域内に位置する障害物を参考障害物とし、前記予め設定領域は、複数のグリッドに予め分割され、例えば、50画素ごとに1つのグリッドとする、各グリッド内に多くとも1つの参考障害物が含まれる。本発明の実施例は、グリッドの形状を限定しない。

0047

図3に示すように、図3は、本発明の実施例2における予め設定領域の分割方式を示す模式図である。以下のステップによって予め設定領域を分割できる。

0048

1)フレーム画像の中心点、左下角、右下角を三角形の3つの角部とし、1つの三角形領域画定する。

0049

2)フレーム画像におけるカメラの光軸が位置する横線、及びフレーム画像の左右両側の境界線を用いて、上記三角形領域を分割し、該三角形領域中のカメラの光軸が位置する横線の以下、フレーム画像の左境界の右、且つフレーム画像の右境界の左の部分を予め設定領域(図3中の格子塗りつぶし領域)とする。

0050

図3中に、カメラの光軸は、中心点の下に位置する。カメラの光軸が中心点の上に位置する場合、上記三角形領域がカメラの光軸の下に位置するため、カメラの光軸の位置する横線は、実際の分割作用がない。

0051

以上、参考障害物を選択するための2つの条件を説明し、これらの2つの条件に応じて複数の参考障害物を選択でき、予め設定領域の各グリッドが多くとも1つの参考障害物を含み。被測定障害物が位置するフレームの前の複数の連続フレームにおける参考障害物を用いて被測定障害物に対して、高さの検出を行う。

0052

予め設定領域における参考障害物は、更新可能であり、1つのグリッドに、実際高さが正確に取得可能な障害物が初回出現する場合、該障害物を参考障害物とし、1つのグリッドに実際高さを正確に取得可能な障害物が新たに出現する場合、具体的な状況に応じて、該グリッドにおける既存の参考障害物を保留し、又は新たに出現する該障害物を該グリッドにおける参考障害物とする。

0053

実施例3
本実施例は、別の障害物高さの検出方法を提供する。図4は、本発明の実施例3に係る障害物高さの検出方法のフローチャートであり、以下のステップ401〜404を含む。

0054

ステップ401では、フレームから複数の参考障害物の観測データを取得する。

0055

参考障害物の観測データは、フレーム画像において直接に観測され、又はほかのセンサにより取得されてもよい。

0056

本ステップの前に、まず参考障害物を選択する必要があり、参考障害物の選択方式は、上記実施例2に説明された方式と同様であるため、ここで重複説明を省略する。

0057

ステップ402では、各参考障害物のフレームにおける底辺位置の縦方向座標、及び各参考障害物とフレームをキャプチャするカメラとの間の距離に基づき、関数F:Z=F(ymax)をフィッティングし、ymaxは、参考障害物又は被測定障害物のフレームにおける底辺位置の縦方向座標、Zは、参考障害物又は被測定障害物とカメラとの間の距離である。

0058

具体的には、i個の参考障害物に対して、i組のデータ(Z1,ymax1)、(Z2,ymax2)、……、(Zi,ymaxi)を得でき、
ここで、Z1、Z2、……Ziは、それぞれ第1、2、……i個の参考障害物とカメラとの間の距離であり、
ymax1、ymax2、……ymaxiは、それぞれ第1、2、……i個の参考障害物のフレームにおける底辺位置の縦方向座標であり、
上記i組のデータに基づき、関数F:Z=F(ymax)をフィッティングできる。参考障害物が更新し続けるに伴って、関数Fも更新し続ける。

0059

ステップ403では、被測定障害物のフレームにおける底辺位置の縦方向座標及び前記関数Fに基づき、被測定障害物とカメラとの間の距離を確定する。

0060

具体的には、被測定障害物のフレームにおける底辺位置の縦方向座標、即ち、ymaxpを関数Z=F(ymax)に代入し、被測定障害物とカメラとの間の距離、即ち、Zpを得る。

0061

ステップ404では、前記被測定障害物とカメラとの距離に基づき、前記被測定障害物の実際高さの第二評価値を確定する。

0062

具体的には、上記図2中の幾何学的関係



は、式(5)で確定されることができる。



ただし、Hp’は、被測定障害物の高さの第二評価値、
hpは、被測定障害物のフレームにおける観測高さ、
fは、カメラの焦点距離、
Zpは、被測定障害物とカメラとの間の距離である。
本実施例に係る方法によれば、参考障害物の観測データを参考とし、被測定障害物の実際高さを確定し、それにより、被測定障害物の3Dサイズを確定できる。

0063

実施例4
本実施例は、実施例1に対応し、障害物高さの検出装置を提供する。図5は、本発明の実施例4に係る障害物高さの検出装置の構成模式図であり、該装置は、
フレームから複数の参考障害物の観測データを取得するための第一取得モジュール501と、
各前記参考障害物に対して、参考障害物の前記観測データ、被測定障害物のフレームにおける観測高さ、前記参考障害物のフレームにおける高さ、前記参考障害物の実際高さ、前記被測定障害物のフレームにおける底辺位置とフレームをキャプチャするカメラの光軸との間の距離に基づき、前記被測定障害物の高さの第一評価値を確定し、前記参考障害物の前記観測データは、前記参考障害物の前記フレームにおける観測高さと前記参考障害物のフレームにおける底辺位置とカメラの光軸との間の距離を含むための第一評価モジュール502と、
複数の前記参考障害物に対して確定された複数の第一評価値を用いて、前記被測定障害物の高さの第二評価値を確定するための第二評価モジュール503と、を備える。

0064

上記第一評価モジュール501は、式(4)で被測定障害物の実際高さの第一評価値を確定し、



ただし、Hpは、被測定障害物の実際高さの第一評価値、
hpは、被測定障害物のフレームにおける観測高さ、
hiは、第i個の参考障害物のフレームにおける観測高さ、
Hiは、第i個の参考障害物の実際高さ、



は、被測定障害物のフレームにおける底辺位置とフレームをキャプチャするカメラの光軸との間の距離、



は、第i個の参考障害物のフレームにおける底辺位置とカメラの光軸との間の距離である。

0065

上記第二評価モジュール503は、確定された複数の第一評価値に対して、フィルタリングノイズ除去処理を行い、被測定障害物の実際高さの第二評価値を得る。

0066

上記第一取得モジュール501は、前記被測定障害物が位置するフレームの前の複数の連続フレームにおいて、固定高さを有する且つ底辺中心位置がフレーム中の予め設定領域内にある障害物を参考障害物として選択し、前記予め設定領域は、複数のグリッドに予め分割され、各グリッド内に多くとも1つの参考障害物が含まれるためにさらに用いられる。

0067

第一取得モジュール501が参考障害物を選択する具体的な方式は、上記実施例2に説明された方式と同様であるため、ここで重複説明を省略する。

0068

本実施例に係る障害物高さの検出装置によれば、参考障害物の観測データを参考とし、被測定障害物の実際高さを確定し、被測定障害物の3Dサイズを確定できる。

0069

実施例5
本実施例は、実施例3に対応し、別の障害物高さの検出装置を提供する。図6は、本発明の実施例5に係る障害物高さの検出装置の構成模式図であり、該装置は、
フレームから複数の参考障害物の観測データを取得するための第二取得モジュール601と、
各参考障害物のフレームにおける底辺位置、及び各参考障害物とカメラとの間の距離に基づき、関数F:Z=F(ymax)をフィッティングし、ymaxは、参考障害物又は被測定障害物のフレームにおける底辺位置の縦方向座標、Zは、参考障害物又は被測定障害物とカメラとの間の距離であるための関数確定モジュール602と、
被測定障害物のフレームにおける底辺位置の縦方向座標及び前記関数Fに基づき、被測定障害物とカメラとの間の距離を確定するための距離評価モジュール603と、
前記被測定障害物とカメラとの間の距離に基づき、前記被測定障害物の実際高さの第二評価値を確定するための高さ評価モジュール604と、を備え、
参考障害物が更新し続けるに伴って、関数Fも更新し続ける。

0070

具体的には、高さ評価モジュール604は、式(5)で被測定障害物の実際高さの第二評価値を確定し、



ただし、Hp’は、被測定障害物の実際高さの第二評価値、
hpは、被測定障害物のフレームにおける観測高さ、
fは、カメラの焦点距離、
Zpは、被測定障害物とカメラとの間の距離である。

0071

上記第二取得モジュール601は、固定高さを有する且つ底辺中心位置がフレーム中の予め設定領域内にある障害物を参考障害物として選択し、前記予め設定領域は、複数のグリッドに予め分割され、各グリッド内に多くとも1つの参考障害物が含まれるためにさらに用いられる。

0072

第二取得モジュール601が参考障害物を選択する具体的な方式は、上記実施例2に説明された方式と同様であるため、ここで重複説明を省略する。

0073

本実施例に係る障害物高さの検出装置によれば、参考障害物の観測データを参考とし、被測定障害物の実際高さを確定し、被測定障害物の3Dサイズを確定できる。

0074

実施例6
本発明の実施例6は、障害物高さの検出設備を提供し、図7は、本発明の実施例6に係る障害物高さの検出設備の構成模式図であり、該設備は、メモリ710及びプロセッサ720を備え、メモリ710には、プロセッサ720上で実行可能なコンピュータプログラムが記憶されている。前記プロセッサ720は、前記コンピュータプログラムを実行すると、上記実施例に係る障害物高さの検出方法を実現する。前記メモリ710とプロセッサ720の数は、1つ又は複数であってもよい。

0075

前記設備は、外部装置通信し、データ交換伝送を行う通信インターフェース730をさらに備える。

0076

メモリ710は、高速RAMメモリを含む可能性もあるし、メモリ(non−volatile memory)、例えば、少なくとも1つの磁気ディスクメモリをさらに含む可能性もある。

0077

メモリ710、プロセッサ720及び通信インターフェース730が独立して実現する場合、メモリ710、プロセッサ720及び通信インターフェース730はバスで互いに接続され、且つ相互間の通信を実現することができる。前記バスは業界標準アーキテクチャISA、Industry Standard Architecture)バス、ペリフェラルコンポーネントPCI、Peripheral Component Interconnect)バス又は拡張業界標準アーキテクチャ(EISA、Extended Industry Standard Architecture)バス等であってもよい。前記バスはアドレスバスデータバス制御バス等に分けられてもよい。示しやすくするために、図7では、1本のみの太線で示すが、1本のみのバス又は1つのタイプのみのバスを有すると示さない。

0078

選択的に、具体的に実現する時、メモリ710、プロセッサ720及び通信インターフェース730が1枚のチップ統合される場合、メモリ710、プロセッサ720及び通信インターフェース730は、内部インターフェースによって、相互間の通信を実現することができる。

0079

本明細書の説明において、用語「一実施例」、「いくつかの実施例」、「例」、「具体例」、又は「いくつかの例」等の説明とは、該実施例又は例を参照すると説明した具体的な特徴、構造、材料又は特性が本発明の少なくとも1つの実施例又は例に含まれることを意味する。且つ、説明される具体的な特徴、構造、材料又は特性はいずれか1つ又は複数の実施例又は例で適切な方式で結合してもよい。また、矛盾しない限り、当業者は本明細書に説明される様々な実施例又は例、及び様々な実施例又は例の特徴を結合及び組み合わせすることができる。

0080

また、用語の「第一」、「第二」は説明のためのものに過ぎず、相対重要性を指示又は示唆し、又は指示された技術的特徴の数を暗示すると理解すべきではない。従って、「第一」、「第二」で制限された特徴は少なくとも1つの該特徴を明示的又は暗示的に含んでもよい。本発明の説明において、特に明確且つ具体的に制限しない限り、「複数」の意味は2つ又は2つ以上である。

0081

フローチャートで又はここでほかの方式によって説明される任意のプロセス又は方法は、特定のロジック機能又はプロセスのステップを実現するための1つ以上の実行可能指令コードを含むモジュール、セグメント又は部分を表すと理解され得て、また、当業者であれば、本発明の好適実施形態の範囲は、示された又は検討された順序に従わず、係る機能に応じてほぼ同時に又は逆の順序で機能を実行する別の実装を含んでもよいと理解できる。

0082

フローチャートに示す、又はここでほかの方式で説明される論理及び/又はステップは、例えば、論理機能を実現するための実行可能命令順序付けリストであると見なされてもよく、具体的にいかなるコンピュータ可読媒体に実現されてもよく、命令実行ステム、装置又はデバイス(例えばコンピュータに基づくシステム、プロセッサを含むシステム又は命令実行システム、装置又はデバイスから命令を受信し且つ命令を実行するシステム)の使用に備え、又はこれらの命令実行システム、装置又はデバイスと組み合わせて使用される。本明細書については、「コンピュータ可読媒体」はプログラム包含、記憶、通信、伝播又は伝送することにより、命令実行システム、装置又はデバイス、又はこれらの命令実行システム、装置又はデバイスと組み合わせて使用されるいかなる装置であってもよい。コンピュータ可読媒体のさらなる具体例(非網羅的リスト)は、1つ又は複数の配線を有する電気接続部電子装置)、ポータブルコンピュータケース磁気装置)、ランダムアクセスメモリー(RAM)、読み出し専用メモリ(ROM)、電気的消去再書込み可能な読出し専用メモリEPROM又はフラッシュメモリー)、光ファイバー装置、及び携帯型読み出し専用メモリー(CDROM)を含む。また、コンピュータ可読媒体は更にその上に前記プログラムを印刷できる用紙又はほかの適切な媒体であってもよい理由は、例えば用紙又はほかの媒体を光学的に走査し、次に編集解釈し、又は必要な時にほかの適切な方式で処理して、電子方式で前記プログラムを取得し、次にそれをコンピュータメモリに記憶することができるためである。

0083

本発明の各部分はハードウェアソフトウェアファームウェア又はそれらの組み合わせで実現されてもよいと理解すべきである。上記実施形態において、複数のステップ又は方法は、メモリに記憶される、且つ適切な命令実行システムで実行するソフトウェア又はファームウェアで実現されてもよい。例えば、ハードウェアで実現する場合は、別の実施形態と同様に、データ信号に対して論理機能を実現する論理ゲート回路を有する離散論理回路、適切な組み合わせ論理ゲート回路を有する確定用途向け集積回路プログラマブルゲートアレイPGA)、フィールドプログラマブルゲートアレイFPGA)等の本分野での公知技術のうちのいずれか1つ又はそれらの組み合わせで実現してもよい。

0084

当業者であれば、上記実施例方法におけるステップの全部又は一部の実現がプログラムによって関連するハードウェアを命令して完了させてもよく、前記プログラムがコンピュータ可読記憶媒体に記憶されてもよく、実行時に、該プログラムは方法実施例のステップの1つ又はそれらの組み合わせを含むと理解される。

0085

また、本発明の各実施例における各機能ユニットが1つの処理モジュールに統合されてもよく、各ユニットが独立して物理的に存在してもよく、2つ又は2つ以上のユニットが1つのモジュールに統合されてもよい。上記統合モジュールはハードウェアのタイプで実現されてもよいし、ソフトウェア機能モジュールのタイプで実現されてもよい。前記統合モジュールはソフトウェア機能モジュールのタイプで実現され、且つ独立した製品として販売又は使用される時、1つのコンピュータ可読記憶媒体に記憶されてもよい。前記記憶媒体は読み出し専用メモリ、磁気ディスク又は光ディスク等であってもよい。

0086

以上のように、本発明の実施例に係る障害物高さの検出方法、装置、設備及び記憶媒体によれば、実際高さが正確に取得されることができる障害物、例えば、小型乗用車、ミニバス等を参考障害物とし、参考障害物の観測データを参考とし、道路幾何学モデルに対してモデリングし、被測定障害物、例えば、バス、トラック、トラフィックコーンなどのような実際高さが直接に推定され難い障害物の実際高さの評価を実現し、それにより、被測定障害物の3Dサイズの検出を実現する。

0087

以上の説明は、本発明の具体的な実施形態に過ぎず、本発明の保護範囲を制限するためのものではなく、当業者が本発明に開示される技術的範囲内に容易に想到し得る種々の変更又は置換は、いずれも本発明の保護範囲内に含まれるべきである。従って、本発明の保護範囲は特許請求の範囲に準じるべきである。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ