図面 (/)

技術 車両のカメラによって取得された画像シーケンスを用いてオプティカルフローを求めるための方法および装置

出願人 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング
発明者 ヘルボン・クリストファードルンブッシュ・ダニエル
出願日 2018年7月13日 (2年7ヶ月経過) 出願番号 2019-572413
公開日 2020年10月22日 (3ヶ月経過) 公開番号 2020-530608
状態 未査定
技術分野 交通制御システム イメージ分析
主要キーワード 部分セクション ダイナミズム 固有運動 データ伝送ケーブル 閉ループ制御回路 重み付けマトリックス 周辺センサ 固有速度
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年10月22日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (11)

課題・解決手段

本発明は、車両(100)のカメラ(104)によって取得された画像シーケンスに基づいてオプティカルフローを求めるための方法に関する。この場合、前記車両(100)の少なくとも1つのセンサ(110)を用いて検知された車両周囲および/または前記車両(100)の走行状況、および/または前記オプティカルフローの事前の算出結果を表す少なくとも1つの入力信号(108)、および前記画像シーケンスを表す画像信号(106)が受信される。前記入力信号(108)を用いてタイムラグ値が決定される。前記画像信号(106)を用いて、前記画像シーケンスの前記タイムラグ値だけ互いにずらされた少なくとも2つの個別画像が選択される。最後に、一致するピクセルを用いて前記オプティカルフローを求めるために、前記個別画像内の一致するピクセルが検出される。

概要

背景

最近の車両は、運転者支援または自動運転を目的としてビデオカメラ装備していてよい。ビデオカメラによって取得された画像シーケンスは、例えばオプティカルフロー演算するために処理され得る。

概要

本発明は、車両(100)のカメラ(104)によって取得された画像シーケンスに基づいてオプティカルフローを求めるための方法に関する。この場合、前記車両(100)の少なくとも1つのセンサ(110)を用いて検知された車両周囲および/または前記車両(100)の走行状況、および/または前記オプティカルフローの事前の算出結果を表す少なくとも1つの入力信号(108)、および前記画像シーケンスを表す画像信号(106)が受信される。前記入力信号(108)を用いてタイムラグ値が決定される。前記画像信号(106)を用いて、前記画像シーケンスの前記タイムラグ値だけ互いにずらされた少なくとも2つの個別画像が選択される。最後に、一致するピクセルを用いて前記オプティカルフローを求めるために、前記個別画像内の一致するピクセルが検出される。

目的

ここに紹介された提案はさらに、ここに紹介された方法の変化のステップ相応デバイスで実施し、制御し若しくは実行に移すために構成された装置を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

車両(100)のカメラ(104)によって取得された画像シーケンスに基づいてオプティカルフローを求めるための方法(400)であって、前記方法(400)が、前記車両(100)の少なくとも1つのセンサ(110)を用いて検知された車両周囲および/または前記車両(100)の走行状況、および/または前記オプティカルフローの事前の算出結果を表す少なくとも1つの入力信号(108)、および前記画像シーケンスを表す画像信号(106)を受信するステップ(410)と、前記入力信号(108)を用いてタイムラグ値(Δt)を決定するステップ(420)と、前記画像信号(106)を用いて、前記画像シーケンスの前記タイムラグ値(Δt)だけ互いにずらされた少なくとも2つの個別画像(502;602;702;900)を選択するステップ(430)と、一致するピクセルを用いて前記オプティカルフローを求めるために、前記個別画像(502;602;702;900)内の一致するピクセルを検出するステップ(440)と、を含む、車両(100)のカメラ(104)によって取得された画像シーケンスに基づいてオプティカルフローを求めるための方法(400)。

請求項2

前記決定するステップ(420)で、前記入力信号(108)が、前記車両(100)の検知された自動式非常ブレーキングを表し、かつ/または閾値を上回る前記車両(100)のピッチレートを表す場合に、初期値を小さくすることによって前記タイムラグ値(Δt)を決定する、請求項1に記載の方法(400)。

請求項3

前記決定するステップ(420)で、前記初期値を半分にすることによって前記タイムラグ値(Δt)を決定する、請求項2に記載の方法(400)。

請求項4

前記決定するステップ(420)で、前記タイムラグ値(Δt)を前記車両(100)のロールレートおよび/または前記車両(100)と少なくとも1つの別の車両との間の相対速度に依存して決定するために、前記入力信号(108)を用いる、請求項1から3までのいずれか1項に記載の方法(400)。

請求項5

前記画像信号(106)を取得するために、前記タイムラグ値(Δt)を用いて前記カメラ(104)の画像再現率を変更するステップを有している、請求項1から4までのいずれか1項に記載の方法(400)。

請求項6

前記変更するステップで、前記画像シーケンスの前記個別画像(502;602;702;900)が前記タイムラグ値(Δt)だけ互いにずらされるように、前記画像再現率を変更する、請求項5に記載の方法(400)。

請求項7

前記検出するステップ(440)で、前記一致するピクセルを検出するために、前記個別画像(502;602;702;900)の部分セクション検索する、請求項1から6までのいずれか1項に記載の方法(400)。

請求項8

前記決定するステップ(420)で、前記タイムラグ値(Δt)とは異なる少なくとも1つの別のタイムラグ値を、前記入力信号(108)を用いて決定し、この際に、前記選択するステップ(430)で、前記別のタイムラグ値だけ互いにずらされた、前記画像シーケンスの少なくとも2つの別の個別画像を選択し、この際に、前記検出するステップ(440)で、一致する別のピクセルを用いてオプティカルフローを求めるために、前記別の個別画像内の一致する別のピクセルを検出する、請求項1から7までのいずれか1項に記載の方法(400)。

請求項9

評価のステップで、車両周囲の第1の領域(902)内の前記オプティカルフローを求めるために前記個別画像(502;602;702;900)を評価し、前記車両周囲の第2の領域(904)内のオプティカルフローを求めるために別の個別画像を用いる、請求項8に記載の方法(400)。

請求項10

請求項1から9までのいずれか1項に記載の方法(400)を実行しかつ/または制御するために構成されたユニット(210,220)を備えた装置(102)。

請求項11

請求項1から9までのいずれか1項に記載の方法(400)を実行するために構成されたコンピュータプログラム

請求項12

請求項11に記載のコンピュータプログラムが記憶された、機械読み取り可能な記憶媒体

技術分野

0001

本発明は、独立請求項の前提部に記載した方法または装置に関する。本発明の対象は、コンピュータプログラムでもある。

背景技術

0002

最近の車両は、運転者支援または自動運転を目的としてビデオカメラ装備していてよい。ビデオカメラによって取得された画像シーケンスは、例えばオプティカルフロー演算するために処理され得る。

0003

このような背景から、ここに紹介された提案により、車両のカメラによって取得された画像シーケンスに基づいてオプティカルフローを求めるための方法、この方法を用いた装置、並びに最後に独立請求項に記載した相応のコンピュータプログラムが紹介される。従属請求項に記載した措置によって、独立請求項に記載した装置の好適な発展形態および改良が可能である。

0004

車両のカメラによって取得された画像シーケンスに基づいてオプティカルフローを求めるための方法が提案されており、この場合、この方法は、
車両の少なくとも1つのセンサを用いて検知された車両周囲および/または車両の走行状況、および/またはオプティカルフローの事前の算出結果を表す少なくとも1つの入力信号、および画像シーケンスを表す画像信号を受信するステップと、
入力信号を用いてタイムラグ値を決定するステップと、
画像信号を用いて、画像シーケンスのタイムラグ値だけ互いにずらされた少なくとも2つの個別画像を選択するステップと、
一致するピクセルを用いてオプティカルフローを求めるために、個別画像内の一致するピクセルを検出するステップと、
を有している。

0005

オプティカルフローとは、画像シーケンスの2つの個別画像間の画像平面内のまたはステレオカメラの左の画像と右の画像との間の画像平面内のピクセルの運動記述解釈されてよい。この場合、オプティカルフローは、個別画像間のそれぞれの時間的な間隔に依存している。センサは、例えばカメラ、加速度センサステアリングホイール回転センサホイール回転数センサレーダセンサライダーセンサ、超音波センサGPSセンサ光センサまたは雨センサであってよい。走行状況とは、例えば速度、加速度ピッチレートまたはロールレート等の所定の車両パラメータによって特徴付けられた車両の状態であると解釈されてよい。入力信号は、例えば車両の運転者支援機能またはオプティカルフローの事前の演算との直接的または間接的なフィードバックによって生成されてよい。入力信号は、例えば従属するまたは独立した信号であるか、または少なくとも1つの従属する信号と独立した信号との組み合わせであってよい。従属する信号は、例えばそのフィードバックに基づいて閉ループ制御回路に達し、この閉ループ制御回路において、時点tでのオプティカルフローの結果が、時点t+Δtで結果に影響を及ぼす。タイムラグ値とは、特にミリ秒範囲の時間長さであると解釈されてよい。画像シーケンスとは、少なくとも2つの個別画像の連続であると解釈されてよい。ピクセルとは、個別画像の画素であると解釈されてよい。2つの個別画像間の1つのピクセルの運動は、オプティカルフローを表すフローベクトルとして算出され得る。2つの個別画像間の複数のピクセルの運動は、それぞれ複数のフローベクトルから例えば少なくとも1つのフローフィールドの形で算出され得る。この場合、フローベクトルの長さは同じであるかまたは異なっていてよい。

0006

ここで紹介された提案は、車両カメラによって取得された画像シーケンスのオプティカルフローが、状況に応じて可変時間ベースで算出され得る、という認識に基づいている。

0007

取得されたシーンの内容およびカメラの固有運動の内容とは無関係に、オプティカルフローの演算時に一定のタイムラグが用いられる、従来の方法とは異なり、ここで紹介された提案を用いて、所定の入力信号の量に基づいて複数のカメラ画像間の時間的なずれを選択することによって、より高いダイナミックスを有するシーンにおけるオプティカルフローの損失の発生は避けられる。それと同時に、固有運動推定時の精度ポテンシャルが、僅かな変化を有するカメラポーズおよびシーンにおいて完全に利用し尽くされる。従って、静的なタイムラグの代わりに動的なタイムラグを用いることによって、状況に応じて可能な限り最高フローデータが得られる。

0008

一実施例によれば、決定するステップで、入力信号が、車両の検知された自動式非常ブレーキングを表す場合に若しくは、追加的にまたは選択的に閾値を上回る車両のピッチレートを表す場合に、初期値を小さくすることによってタイムラグ値が決定される。これによって、高いダイナミックスを有する走行状況におけるオプティカルフローの損失は避けることができる。

0009

この場合、決定するステップで、初期値を半分にすることによってタイムラグ値が決定され得る。これによって、特別に安価な演算コストでタイムラグ値を低下させることができる。

0010

別の実施例によれば、決定するステップで、タイムラグ値を車両のロールレートまたは、追加的にまたは選択的に、車両と少なくとも1つの別の車両との間の相対速度に依存して決定するために、入力信号が用いられる。これによって、揺れ動く車両または揺れ動くカメラにおいてオプティカルフローの損失は避けられ、例えば低い相対速度においても、個別画像の十分に精確な走査保証され得る。

0011

この方法は、画像信号を取得するために、タイムラグ値を用いてカメラの画像再現率を変更するステップを有していてよい。これによって、タイムラグ値に依存する画像再現率を有する画像シーケンスの個別画像が取得され得る。

0012

変更するステップで、画像シーケンスの個別画像がタイムラグ値だけ互いにずらされるように、画像再現率が変更されれば特に好適である。これによって、オプティカルフローを求めるための演算コストをできるだけ安価に維持することができる。

0013

また、検出するステップで、一致するピクセルを検出するために、個別画像の部分セクション検索されれば有利である。部分セクションとは、初期点を包囲する局所的に制限された検索範囲を描く検索窓と解釈されてよい。これによって、ピクセルの一致後に完全な個別画像が検索されることは避けられる。従って、一方ではリソース消費が低減され、他方では、一致の明確な検出が保証され得る。またこれによって、大抵は上方に向かって制限されている画像内容の運動に関する幾何学的な予備知識が、画像内の対象物の運動およびカメラの固有運動に依存して加えられる。

0014

別の実施例に従って、決定するステップで、タイムラグ値とは異なる少なくとも1つの別のタイムラグ値が、入力信号を用いて決定され得る。選択するステップで、別のタイムラグ値だけ互いにずらされた、画像シーケンスの別の少なくとも2つの個別画像が選択され得る。それに対応して、検出するステップで、一致する別のピクセルを用いてオプティカルフローを求めるために、別の個別画像内の一致する別のピクセルが検出される。これによって、それぞれ1つの別の時間ベースを有する様々なフローフィールド内で、与えられたシナリオ内のオプティカルフローを求めることができる。

0015

この場合、評価のステップで、車両周囲の第1の領域内のオプティカルフローを求めるために個別画像が評価され、車両周囲の第2の領域内のオプティカルフローを求めるために別の個別画像が用いられる。これによって、オプティカルフローを、それぞれの領域に適合されたそれぞれ1つの別の時間ベースを有する車両周囲の様々な領域内で同時に求めることができる。

0016

この方法は、例えばソフトウエアまたはハードウエア、またはソフトウエアとハードウエアとの混合形で、例えばコントロールユニットにより実行されてよい。

0017

ここに紹介された提案はさらに、ここに紹介された方法の変化のステップを相応のデバイスで実施し、制御し若しくは実行に移すために構成された装置を提供する。本発明のこのような装置の形の変化実施例によっても、本発明に基づく課題を迅速かつ効果的に解決することができる。

0018

このために、この装置は、信号またはデータを処理するための少なくとも1つの演算装置、信号またはデータを記憶するための少なくとも1つの記憶装置、センサとのまたはセンサのセンサ信号を読み取るためのまたはデータ信号若しくは制御信号アクチュエータアウトプットするためのアクチュエータとの少なくとも1つのインターフェース、および/またはデータを読み取りまたはアウトプットするための、通信プロトコル内に埋め込まれた少なくとも1つの通信インターフェースを有していてよい。演算装置は、例えば信号処理装置マイクロコントローラ等であってよく、この場合、記憶装置は、フラッシュメモリーEPROMまたは磁気記憶装置であってよい。通信インターフェースは、データを無線誘導および/または有線誘導で読み取りまたはアウトプットするために構成されていてよく、この場合、有線誘導されたデータを読み取るかまたはアウトプットすることができる通信インターフェースは、これらのデータを例えば電気式または光学式に、対応するデータ伝送ケーブルから読み取るかまたは対応するデータ伝送ケーブルにアウトプットすることができる。

0019

装置とは、ここでは、センサ信号を処理し、かつそれに応じて制御信号および/またはデータ信号をアウトプットする電気機器と解釈されてよい。装置はインターフェースを有していてよく、このインターフェースはハードウエア的および/またはソフトウエア的に構成されていてよい。ハードウエア的な構成においては、インターフェースは、装置の様々な機能を含む、例えばいわゆるシステムASICの部分であってよい。しかしインターフェースは、固有集積回路であるかまたは少なくとも部分的に離散素子より成っていることも可能である。ソフトウエア的な構成においては、インターフェースは、例えば別のソフトウエアモジュールの隣のマイクロコントローラに設けられたソフトウエアモジュールであってよい。

0020

好適な実施形態では、装置によって車両の制御が行われる。このために、装置は例えば、加速度信号圧力信号ステアリングアングル信号または周辺センサ信号等のセンサ信号にアクセスすることができる。制御は、車両のブレーキアクチュエータまたはステアリングアクチュエータまたはエンジンコントロールユニット等のアクチュエータを介して行われる。

0021

機械読み取り可能な担体または記憶媒体、例えば半導体記憶装置ハードディスク、または光学式記憶装置に記憶され、特にプログラム製品またはプログラムコンピュータまたは装置で実行されるときに、前記実施例のいずれか1つによる方法のステップを実施、実行および/または制御するために使用されるプログラムコードを有するコンピュータプログラムまたはコンピュータプログラム製品も有利である。

図面の簡単な説明

0022

一実施例による装置を備えた車両の概略図である。
図1による装置の概略図である。
一実施例による方法の流れを説明するためのブロック図である。
一実施例による方法のフローチャートである。
図1のカメラによって取得された2つの個別画像におけるオプティカルフローの概略図である。
図1のカメラによって取得された2つの個別画像におけるオプティカルフローの概略図である。
図1のカメラによって取得された2つの個別画像におけるオプティカルフローの概略図である。
図1のカメラによって取得された1つの個別画像のオプティカルフローの概略図である。
図1のカメラによって取得された1つの個別画像のオプティカルフローの概略図である。
図1のカメラによって取得された2つの個別画像におけるオプティカルフローの概略図である。

実施例

0023

本発明の実施例が図面に示されていて、以下に詳しく説明されている。

0024

以下に記載した本発明の好適な実施例では、様々な図面に示された類似の作用を有する要素には同じまたは類似の符号が付けられており、この場合、これらの要素の繰り返しの説明は省かれる。

0025

図1は、一実施例による装置102を備えた車両100の概略図を示す。この装置102は、車両100のカメラ104に接続されている。カメラ104は、車両100の車両周囲の複数の個別画像から成る画像シーケンスを表す画像信号106を、装置102に伝送するために構成されている。さらに、装置102は、適切なインターフェースを介して少なくとも1つの入力信号108を受信する。この入力信号108は、図1では例として車両100のホイール回転数センサ110によって提供され、従って車両100のホイール回転数若しくは速度を表す。実施例に従って、入力信号108は、以下に詳しく説明されているように、車両100の様々なセンサを用いて提供された、車両周囲または車両100の走行状況を検知するための信号である。選択的にまたは追加的に、入力信号108はカメラ104の画像データの事前の評価より成る一時記憶されたデータも表す。装置102は、入力信号108を使用して、画像シーケンスに基づいてオプティカルフローを求めるためのタイムラグを決定するために構成されている。装置102は、事前に決定されたタイムラグと時間的な間隔が同じである画像シーケンスから少なくとも2つの個別画像を選択し、これに一致するピクセルを探し出す。一致したピクセルに基づいて装置102は画像シーケンスのオプティカルフローを算出し、相応のフローデータ112の形式でオプティカルフローを提供する。フローデータ112は、例えば車両100のコントロールユニットによって様々な運転者支援機能を制御するために評価される。

0026

一実施例によれば、装置102は、入力信号108に基づいて決定されたタイムラグを用いてカメラ104の画像再現率を変えるために構成されている。つまり時間的な画像再現率は可変に調節可能である。この場合、特に装置102は、画像信号106によって表された画像シーケンスの個別画像がタイムラグに相当する相互の時間的な間隔を有するように、画像再現率を調整する。オプティカルフローを求めるために、過去の所定数ビデオ画像が記憶されていて、これらの画像のそれぞれへのアクセスが自主的に行われるようになっていれば好適である。

0027

従って、タイムラグのダイナミックな適合によってオプティカルフローを求める際に、車両100の様々な状況が考慮され得る。

0028

時間間隔が大きければ大きい程、画像の動きは大きくなるが、対応する画素の割当てもより困難になる。大きい時間間隔において、例えば車両100の停止状態において、ゆっくりと動く対象物、例えば歩行者が検知され得る。車両100が複数レーン車道、例えば高速道路を別の車両と共に同じ方向に移動するケースでは、別の車両はオプティカルフローによって検出することができるが、これに対して背景の運動はもはや検出可能ではない。追加的に、通常は、時間間隔が比較的大きい場合、フローベクトルの大きさおよびひいてはその信号雑音比(SNR)は増大するが、これは例えば固有運動推定の際に利点である。

0029

時間間隔が小さければ小さい程、高い固有速度を有する対象物が検出される確率が高くなる。これは、例えば並進運動または回転によってカメラ104の位置が高速で変化する場合にもあてはまる。強い制動、狭いカーブ走行またはでこぼこの地面上の走行時におけるような強いダイナミックスを伴う走行シナリオでは、装置102は、好適な形式でより短い時間間隔を選択する。従って、オプティカルフローの損失は避けられる。オプティカルフローを求めるための単数または複数の様々なタイムラグを選択する際の様々な基準、若しくはタイムラグを導き出すための規定を、以下に詳しく説明する。

0030

図2は、図1に示した装置102の概略図を示す。装置102は、入力信号108または様々な入力信号108の量並びに画像信号106をも受信するための受信ユニット210を有している。評価ユニット220で、タイムラグを表すタイムラグ値を決定するための入力信号108の評価、並びに画像信号106によって表された画像シーケンスの、タイムラグ値だけ互いにずらされた少なくとも2つの個別画像を選択するための画像信号106の評価が行われる。さらに、評価ユニット220は、タイムラグ値だけ互いにずらされた個別画像を一致し合うピクセルかどうかを調べるために、かつこのピクセルに基づいて画像シーケンスのオプティカルフローを求めるために構成されている。この場合、演算コストをできるだけ安価に保つために、例えば個別画像の当該の部分セクションだけが一致し合うピクセルであるかどうか調べられる。この評価の結果として、評価ユニット220は、フローデータ112をさらに処理するためにアウトプットする。

0031

図3は、一実施例による方法の流れを説明するためのブロック図を示す。図3に示された流れは、例えば図1および図2を用いて既に説明した装置によって実行される方法の流れに相当する。

0032

独立した入力信号を表すブロック302、並びに従属する入力信号を表すブロック304が示されている。独立したおよび従属する入力信号は、ブロック306で評価され、最適なタイムラグΔt1…nを決定するために用いられる。別のブロック308で、画像ltと画像lt−Δtとの間のオプティカルフローの演算が行われる。この場合、“t”は、一般的に最新の画像を表し、t−Δtは事前の画像を表す。演算結果は、例えばブロック310で車両の様々な測定プログラムまたは機能によってさらに処理される。測定プログラムの結果並びにオプティカルフローの統計は、再び入力信号として使用され得る。この場合、測定プログラムの結果は間接的なフィードバックを介してブロック306にインプットされ、これに対してブロック308で実行された演算の結果は、例えば統計の形で、直接的なフィードバックを介してブロック306にインプットされる。直接的若しくは間接的なフィードバックは、破線によって示されている。

0033

独立した入力信号は、例えば次の情報を表す:
−例えば分類による、歩行者、自転車通行者、車両またはその他の対象物の検出;
−(ステレオ−)深度情報
−外部の運動センサ、例えば加速度センサ、ステアリング回転センサまたはホイール回転数センサによって算出された車両の固有運動;
画像情報、例えば画像相関関係によって算出されているが、オプティカルフローに基づいていない車両の固有運動;
−外部のセンサ、例えばレーダセンサ、ライダーセンサ、超音波センサ、GPSセンサ、光センサまたは雨センサによって算出された車両の固有運動;
−画像に基づく車線検知
校正結果の提供可能な精度、例えば焦点距離または画像中心点等のカメラの固有の内部パラメータワールド座標を基準にした外部のパラメータ、相対的な外部のパラメータ(2つのカメラの相対関係)または関心領域;
露出制御
ブラインドネス検知
交通標識検知(速度制限を検知すると車両が自動的に制動される)

0034

従属する入力信号は、例えば次の情報を表す:
−オプティカルフローの事前の演算から成る統計;
−フローに基づく固有運動推定;
−フローに基づく対象物検知
−フローに基づく表面推定。

0035

結合された入力信号は例えば:
不一致およびオプティカルフローに基づく、後から分類された危険なステレオ対象物のための自動的な非常ブレーキ機能のAEB信号;
−より迅速な非常ブレーキの起動のためのブレーキ準備用のプレフィル信号。

0036

このような形式の方法は、オプティカルフローを求めるための、状況に応じた単数または複数の最適なタイムラグを決定することを可能にする。この場合、最適なタイムラグは、次の測定プログラムの要求を考慮して、オプティカルフローの利用可能性が保証されている可能な最長の時間として規定されている。従って、例えば高ダイナミックスな状況において、画像内容の高周波の変化を受信するためには、最適なタイムラグは短い。これに対して、連続的な低速の直進走行においては、より精確な固有運動推定を実施するためには、より長いタイムラグがより適している。

0037

リソースが限定されている場合、すべての可能なオプティカルフローが算出されるのではなく、入力信号に基づいて特に期待が持てるとみなされるオプティカルフローだけが算出されるべきである。このような形式で、演算時間およびハードウエアリソースは低減され得る。その結果、より多くの時間がその他の演算のために残され、熱の発生はより僅かであり、より好都合なハードウエアを使用することができる。

0038

必要なタイムラグΔt1…iの量は、次のように規定され得る:

0039

この場合、含有された要素および演算子は次のように記載され、規定されている:
a k要素を有する入力値ベクトル
W 入力値を重み付けするためのj×k重み付けマトリックス、この場合、jは要求された条件の数である。
I Waを行毎に合計するための複数のk1を有するベクトル
tフロー演算のための所定のタイムラグを各行に配分するj値を有するベクトル、
閾値(a,Tl,Tu) 閾値ベクトルTlおよびTuを要素毎にaに適用し、Tl,i<ai<Tu,iおよび0とは異なるときに、要素が1である2進ベクトルを取り消す
アダマール積(要素毎の乗算
unique(γ) ベクトルγ内のゼロではないすべての単一の要素を取り消す。

0040

オプティカルフローは、連続的な入力信号のために例えば次のように計算される。

0041

速度が例えば90km/hより高い場合、Δt=33msを有するフローが算出され、そうでなければ、Δt=66msを有するフローが算出される。しかしながら、少なくとも1つの検知された車両が画像内に存在すると、追加的にΔt=200msを有するフローが算出されるが、ピッチレートが数値的に1.5°/sよりも小さい場合に限られる。このことから次のように結論される:



この場合、
a1=[0.250](速度)
a2∈{0,1}(2進法にされた値:車両が検知された:イエス/ノー)
a3=[−∞,∞](ピッチレート、理論上は上方および下方に無限である)

0042

重み付けマトリックスは、速度のための2つの条件を2回評価するべきであり(重み付けマトリックスの最初の2行が、90km/hよりも高い場合および低い場合のために)、従って次のように選択される。第3の行は、対象物の存在およびピッチレートを第3の条件に導入するべきであることを意味する。

0043

閾値は次のように選択される:

0044

例えばa1=115km/hの速度が与えられるべきである場合。別の車両が検知されており、従って、a2=1である。最新のピッチレートはa3=−0.7°/sである。

0045

閾値関数range((Wa)l,Tl,Tu)を用いると、次のような範囲が得られる:

0046

range((Wa)l,Tl,Tu)の用語は、ゼロおよび1を有するベクトルを提供し、これは、Wのそれぞれの行の条件が満たされているかまたは満たされていないかを意味する。この例では、速度が0〜90km/hの間であるという条件が満たされていない。90km/hよりも高いという条件が事実であり、車両の存在と同時にピッチレートが僅かであるということが同様に事実である。

0047

要素毎にtを乗算することによって、1を有するベクトル書き込みにそれぞれのタイムラグが割り当てられる:

0048

最後のステップで、ベクトル内の2重の書き込みおよびゼロが取り除かれ、時間量が取り消される。

0049

2進入力信号のための演算例
2進入力信号が使用されると、幾つかの簡略化が得られる。下方の閾値は、例えば少なくとも必要な信号の数に減少される。

0050

目的:自動式のまたは手動式ブレーキングの際に、Δt=33msであるか、さもなければΔt=66msでなければならない。このことから次のことが結論される:



この場合、
a1∈{0,1}(自動式のブレーキング、イエス/ノー)および
a2∈{0,1}(手動式のブレーキング、イエス/ノー)

0051

重み付けマトリックスは、2つの条件だけを含有するべきである。
1.ゼロではない要素の合計が1より大きいかまたは1と同じである?
2.ゼロではない要素の合計が1より小さい?

0052

例えば自動式の非常ブレーキが実行され、運転者手動で制動しない場合、重み付けマトリックスと入力信号との積から次の結果が得られる:

0053

閾値が次のように選択されるので、条件のうちの少なくとも1つが事実でなければならない(閾値が0.5である場合)。追加的に、上側の閾値は無限であるので、実条件の最大数は存在しない。

0054

閾値の評価は次の結果を提供する:

0055

タイムラグベクトルを要素毎に乗算すると、ゼロとは異なる値だけが得られる:

0056

最後のステップで、ベクトル内の2重の書き込みが取り除かれ、時間量が取り消される:

0057

数学表記法の代わりに、論理的表記法も考えられる。核心となる考え方は、複数の入力値が論理操作によって関連付けられるという点にある。2進法ではない入力値の場合、追加的に下側および上側の閾値が規定され、次いで閾値の結果が論理操作と関連付けられるべきである。

0058

目的は、オプティカルフローのタイムラグを路面状態および最後のオプティカルフローの統計に適合させるということである。

0059

路面の平滑性のための連続的な信号が与えられるべきである(0は非常に滑らかな路面、1は非常に凸凹の路面)。



並びに、31ピクセルの最大長さに達したフローベクトルの数(このための基準は、タイムラグが長すぎるということである)。

0060

まず連続的な入力値が2進数値に移行される:

0061

値の例として、
a1=0.3およびa2=634



2進値を有する次のベクトルが得られる:

0062

考えられ得る論理的表示法においては、2つの入力値が第1のケースではアンド(&)にされ、第2のケースではオア(l)にされ、これに対して第3のケースでは2つの条件の失敗がキャッチされる。これは例えば次のとおりである。

0063

従って、具体的なケースでは、次の値が得られる。



および

0064

図4は、一実施例による方法400のフローチャートを示す。オプティカルフローを求めるための方法400は、例えば、図1〜3を用いて記載した前記装置によって実行され得る。この場合、ステップ410で入力信号および画像信号が受信される。ステップ420でタイムラグ値が入力信号を用いて決定される。別のステップ430で、画像シーケンスの、タイムラグ値だけ互いにずらされた少なくとも2つの個別画像が画像信号を用いて選択される。ステップ440で、個別画像内の一致するピクセルが検出され、オプティカルフローを求めるために使用される。

0065

図5は、図1に示したカメラによって取得された2つの個別画像500,502内のオプティカルフローの概略図を示す。個別画像500,502は、車道504を横断する子供506をそれぞれ示す。より良い比較のために、個別画像500,502が隣り合って並んで示されており、この場合、左の個別画像500がΔt=66ms(t−4からt−3)のタイムラグにおけるオプティカルフローを示し、右の個別画像502がΔt=33ms(t−3からt−2)のタイムラグにおけるオプティカルフローを示す。2つのフローフィールドは有用である。フローベクトルの数は概ね同じである。個別画像500内のフローベクトルの長さは、個別画像502内のフローベクトルの長さの概ね半分である。

0066

オプティカルフローは、個別画像500,502内のハッチングを施した領域によって概略的に示されている。

0067

図6は、図1に示したカメラによって取得された2つの個別画像600,602内のオプティカルフローの概略図を示す。オプティカルフローは、図5におけるよりも遅れ時間ステップを示す。左の個別画像600は、Δt=66ms(t−2からt)におけるオプティカルフローを示す。右の個別画像602には、Δt=33ms(t−1からt)におけるオプティカルフローが示されている。図6に示されているように、タイムラグが大きすぎると対象物上のオプティカルフローが失われる。より短いタイムラグへの早期の切替えによって著しく良好な特性がもたらされる。

0068

図7は、図1に示したカメラによって取得された2つの個別画像700,702内のオプティカルフローの概略図を示す。ピッチレートが高い車両における車道504の撮影画面を示す。左の個別画像700(Δt=66ms)のフローフィールド内では、検索範囲の外側に位置する大きすぎるフローベクトルに基づいて画像の下部が欠けている。右側の個別画像702(Δt=33ms)のフローフィールドは完全に存在している。映像化において比較的不十分な視覚的印象は、比較的短いフローベクトルによって説明される。

0069

図8は、図1に示したカメラによって取得された個別画像800内のオプティカルフローの概略図を示す。オプティカルフローは、図8に示された個別画像800内の画像中央に集中している。個別画像800の時間的な周辺において、車両の強いローリング運動に基づいてオプティカルフローは欠けている。

0070

図9は、図1に示したカメラによって取得された個別画像900内のオプティカルフローの概略図を示す。個別画像900は、車両に先行する車両904が存在する道路902を示す。道路902上のフローベクトルは大きく、これに対して先行する車両904上のフローベクトルは短い。先行する車両904に割り当てられた、より大きいタイムラグを有する別のフローフィールドは、ここでは、2つの車両間の相対速度のより精確な演算をもたらす。

0071

図10は、図1に示したカメラによって取得された2つの個別画像1000,1002内のオプティカルフローの概略図を示す。図10から分かるように、所定の画像範囲内のオプティカルフローが失われており、従って車両の大きすぎる固有運動を前提としている。

0072

例えば、左の画像1000から、子供ダミーに対する非常ブレーキング中に発生したフローフィールドが明らかである。このような、前に計算されたフローフィールドと比較して、隣の画像1002では、子供ダミーが存在する画像中央の箇所においてそれぞれのフローの結果が欠けている。この場合、長さがゼロのフローベクトルが問題なのではなく、フロー測定の、存在しない検出が問題となる。従って、対象物の相対運動がオプティカルフローの検索範囲のためには大きすぎるということが推論される。この場合、前記本発明の一実施例に従って、異なるタイムラグを有する2つのフローフィールドへの分割が行われる。

0073

次に、ここに提案された方法の様々な応用ケースについて説明する。

0074

例えば、オプティカルフローは、子供ダミーに対する非常ブレーキング中に、所定の状況において近傍範囲内で失われ得る。これには2つの理由がある。

0075

第1に、子供ダミーは、比較的小さい子供ダミーに自車が接近することによって画像中でよりいっそう下方に移動する。従って、その結果として生じるフローベクトルは、よりいっそう強く下方を指す。

0076

それに加えて、非常ブレーキの起動後に、画像内容全体を垂直方向で移動させる車両のピッチング運動が生じる。最初のピッチング後に上方に向かう対向運動が生じ、この対向運動はダミー上のフローベクトルをさらに長くし、フローベクトルがもはや技術的な理由から著しく限定された検索範囲内に一致しなくなり、それによって子供ダミー上のフロー検出が失敗する。画像間のタイムラグを半分に、例えば66msから33msにすることによって、フロー結果は著しく改善される。しかしながら一般的に、33msをベースにしてすべての測定を実行することは望ましくない。従って、例えば相応の非常ブレーキ信号に基づく自動式の非常ブレーキの場合にだけ、このような時間ベースの切替えが実行される。この場合、非常ブレーキ信号は、不一致およびフローの評価によって検知され、かつ分類器で、例えば画像に基づく後分類によって、ブレーキに関わる対象物、例えば乗用車トラック、歩行者または自転車に乗る人として確認された対象物の状況分析に基づいている。

0077

車両の画像に基づくピッチレートは、例えばオプティカルフローとは無関係に算出される。ピッチレートが非常に大きければ、時間ベースは縮小されるので、運動の高いダイナミックスが補正される。

0078

特に、トラックのような高い車両においては、例えば穴ぼこによる凸凹の路面上で高いロールレートが発生する。これは、画像の周辺におけるフローフィールドの消失を生ぜしめる。何故ならば、オプティカルフローが検索範囲から離れるからである。しかしながら画像の中央では、ロールレートも推定され得るフローがまだ見いだされる。このような場合、例えばロールレートおよび検索範囲の既知の大きさに基づいて、オプティカルフローの演算のための最も有意義なタイムラグが求められる。

0079

車両センサおよび、オプティカルフローとは無関係に決定されたカメラの回転が、僅かな結果を提供し、それと同時に車両の速度が低い場合、スムーズな走行が推論されてよい。この場合、タイムベースは、フローに基づく固有運動推定の精度を高めるために、例えば延長される。

0080

高速道路走行中は、ホイール回転数センサに基づく高い速度が検知されている。それと同時に、分類器によってオプティカルフローとは無関係に、自車の前方および隣の別の車両が検知される。この場合、固有運動推定および表面推定のための路面上のオプティカルフローを算出するために、例えば短いタイムラグΔt1が決定される。追加的に、より長い第2のタイムラグΔt2が導き出され、この第2のタイムラグΔt2を用いて、自車と先行車両との間の相対速度がフローに基づいて非常に精確に推定される。

0081

バックギヤに入れられると、駐車操作が開始される。ここでは、オプティカルフローのタイムベースとして、例えば平均的な値が設定され、これは同時に、固有運動推定の妥当な精度、およびフロー結果の入力までの十分に短い待ち時間を保証する。

0082

オプティカルフローに依存する、画像に基づく表面推定が、凸凹の路面を記述すると、高いダイナミズムをキャッチするために、タイムラグは例えば短く選定される。しかしながら同時に、凸凹の表面を補正するためにサスペンションアダプティブ制御が、マジックカーペット“Magic Carpet”とも呼ばれるようにアクティブであれば、タイムラグは再び相応に延長される。

0083

一実施例が、第1の特徴と第2の特徴との間で「および/または」接続を有している場合、これは、この実施例が、一実施形態に従って第1の特徴も第2の特徴も有しており、また別の実施形態に従って第1の特徴だけまたは第2の特徴だけを有している、と読み取られるべきである。

0084

100 車両
102 装置
104カメラ
106画像信号
108入力信号
110ホイール回転数センサ
112フローデータ
210受信ユニット
220評価ユニット
302,304,306,308,310ブロック
400 方法
410,420、430,440 ステップ
500,502,600,602,700,702,800,900,1000,1002 個別画像
504車道
506 子供
902 第1の領域、道路
904先行する車両
lt,lt−Δt 画像
Δt…n タイムラグ

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 株式会社日立国際電気の「 画像処理装置および画像処理方法」が 公開されました。( 2020/12/17)

    【課題・解決手段】特定オブジェクトを高速に検出・識別することが可能な技術を提供する。前景抽出部201が、入力画像の背景領域に対応する位置の画素値として0(背景領域を示す値)を設定し、入力画像の前景領域... 詳細

  • 日本電気株式会社の「 情報処理装置、制御方法、及びプログラム」が 公開されました。( 2020/12/17)

    【課題・解決手段】情報処理装置は連結ルール記憶部と通信可能に記憶されている。連結ルール記憶部は連結ルールを記憶している。連結ルールは、オブジェクトの軌跡を表す複数の軌跡データを1つに連結するか否かの基... 詳細

  • 三菱電機株式会社の「 運転支援装置」が 公開されました。( 2020/12/17)

    【課題・解決手段】不要な運転支援を低減し、必要な運転支援の漏れを削減するために、運転支援装置(1)は、無線通信を用いて自車両(HV)の外部にある移動体(3)から移動体情報を受信する外部機器通信手段(1... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ