図面 (/)

技術 ステレオカメラのキャリブレーションパラメータを決定する方法及び装置

出願人 ヘラ・ゲーエムベーハー・ウント・コムパニー・カーゲーアーアー
発明者 ホフマン,インゴ
出願日 2011年9月20日 (8年7ヶ月経過) 出願番号 2011-205065
公開日 2012年2月9日 (8年2ヶ月経過) 公開番号 2012-027035
状態 拒絶査定
技術分野 光学的手段による測長装置
主要キーワード プリセット角度 光電子変換器 電力供給ネットワーク 速度測定システム 独立システム 距離曲線 輝度変化曲線 調和振動
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2012年2月9日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (19)

課題

カメラを用いて記録されている画像を用いて被写体の被写体属性を測定するための方法及び装置、及びステレオカメラキャリブレーションパラメータを測定する方法を提供する。

解決手段

被写体の被写体属性を測定するため、被写体はカメラ16、18を用いて記録された第1の画像の中に定義され、さらに、定義された被写体の輝度が測定される。既定時間間隔が経過した後の少なくとも毎回、追加の画像がカメラ16、18を用いて記録される。被写体は追加の画像及び毎回定義され、それぞれの画像の定義された被写体の輝度が測定される。輝度曲線に従い、被写体属性が被写体に割り当てられる。

概要

背景

公知のステレオカメラシステムは2つのシングルイメージカメラを備え、それぞれのカメラは、好ましくはCCDセンサ及び固定焦点距離レンズステム、あるいは、CMOSイメージセンサ及びそのようなレンズシステムを備える。好ましくは、シングルイメージカメラはそれぞれ同時に1つの画像を撮影する。これらの画像は好ましくは1つの組画像として参照される。撮影された画像を用いて、双方の画像の中に視認し得る被写体に対する直接距離測定がなされうる。距離を測定するため、カメラパラメータに加え、互いにシングルイメージカメラの光軸の方向を正確に知ることは決定的に重要である。安定した構造は、例えば、2台のカメラが意図された作動状態の下で互いに対する位置をわずかに変えるという手段を用いて選択されうる。その結果として、較正されたシステムに対して長期の安定性保証される。かなりの空間を占める相対的に複雑な構造に加え、 安定した構造にもかかわらず一方のカメラに対する他方のカメラの位置が変化した結果、測定結果のかなりの測定誤差が、距離測定の間に生じうる。これは、相応許容範囲にある測定結果を得るために距離測定に対する範囲制限を要求する。安定した構造、並びに測定精度及び範囲の制限のみにより、距離測定は、測定の合間に実行される複雑な較正作業がないステレオカメラシステムを用いて、長時間に渡り実用的に行われる。

概要

カメラを用いて記録されている画像を用いて被写体の被写体属性を測定するための方法及び装置、及びステレオカメラキャリブレーションパラメータを測定する方法を提供する。被写体の被写体属性を測定するため、被写体はカメラ16、18を用いて記録された第1の画像の中に定義され、さらに、定義された被写体の輝度が測定される。既定時間間隔が経過した後の少なくとも毎回、追加の画像がカメラ16、18を用いて記録される。被写体は追加の画像及び毎回定義され、それぞれの画像の定義された被写体の輝度が測定される。輝度曲線に従い、被写体属性が被写体に割り当てられる。

目的

本発明の目的である

効果

実績

技術文献被引用数
1件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

ステレオカメラのためのキャリブレーションパラメータを決定するための方法であって、追加の被写体に対するステレオカメラ(12)の相対的な動き分析され、前記ステレオカメラ(12)によりある間隔で順に少なくとも2回記録される被写体の被写体画像を用いて、前記ステレオカメラ(12)と前記被写体との間の距離が毎回測定され、前記測定された距離を用いて、前記ステレオカメラ(12)と前記被写体との間の距離における見かけ上の変化が測定され、前記ステレオカメラ(12)と前記被写体との間の距離における実際の変化が測定され、距離における見かけ上の変化と距離における実際の変化との差に従って、前記被写体及び/又は追加の被写体に対する追加の距離を測定するための、少なくとも1つのキャリブレーションパラメータが、前記ステレオカメラ(12)により記録された被写体画像を用いて決定される方法。

請求項2

ステレオカメラのキャリブレーションパラメータを決定する方法であって、追加の被写体に対する前記ステレオカメラ(12)の相対的な動きが分析され、前記ステレオカメラにより、ある間隔で順に少なくとも2回記録される前記被写体の被写体画像を用いて、前記ステレオカメラ(12)と前記被写体との間の距離が毎回測定され、前記測定された距離を用いて、前記ステレオカメラ(12)と前記被写体との間の見かけ上の速度が測定され、前記ステレオカメラ(12)と前記被写体との間の実際の速度が測定され、見かけ上の速度と実際の速度との差に従って、前記ステレオカメラ(12)と前記被写体との間、及び/又は前記ステレオカメラ(12)と追加の被写体との間の追加の距離を測定するための、少なくとも1つのキャリブレーションパラメータが、前記ステレオカメラ(12)により記録された被写体画像を用いて決定される方法。

請求項3

実際の速度は、前記被写体画像の記録の間の時間間隔に渡る前記ステレオカメラ(12)と前記被写体との間の前記相対速度の積分により、測定されることを特徴とする請求項2に記載の方法。

請求項4

互いに対して前記ステレオカメラ(12)の前記シングルイメージカメラ(16、18)の前記光軸(38、40)の角度(γ)が、キャリブレーションパラメータとして測定され、前記角度(γ)は、好ましくはピッチ角度0°及びロール角度0°で測定されることを特徴とする請求項1から3のいずれか1つに記載の方法。

請求項5

キャリブレーションパラメータとして提供される角度(γ)は、このシングルイメージカメラを用いて記録された画像の修正の後に測定され、この修正は実際に測定されたシングルイメージカメラ(16、18)のロール及びピッチ角度に従って実行され、前記補正された画像は、それぞれ0°のロール及びピッチ角度を有するシングルイメージカメラ(16、18)を用いて記録されている画像に一致することを特徴とする請求項4に記載の方法。

請求項6

前記測定された角度(γ)はヨー角度又は既定のヨー角度に対するヨー角度差であって、ヨー角度又はヨー角度差は、射影幾何学により生成された少なくとも1つの等式を用いて計算され、前記測定された角度(γ)は、シングルイメージカメラ(16、18)を用いて記録された画像の評価及び/又は分析のための角度として評価ユニット(14)に記憶されることを特徴とする請求項4又は5のいずれか1つに記載の方法。

請求項7

前記ステレオカメラ(12)のピッチ角度(β)が測定され、前記測定されたピッチ角度(β)は、請求項1から6のいずれか1つに記載の方法を実行するときに考慮されることを特徴とする請求項1から6のいずれか1つに記載の方法。

請求項8

前記ステレオカメラ(12)のロール角度(α)が測定され、前記測定されたロール角度(α)は請求項1から7のいずれか1つに記載の方法を実行するときに考慮されることを特徴とする請求項1から7のいずれか1つに記載の方法。

請求項9

距離測定のために、1画像各々がステレオカメラ(12)のそれぞれのシングルイメージカメラ(16、18)により同時に記録され、好ましくは2つのシングルイメージカメラを用いて1組の組画像が記録されることを特徴とする請求項1から8のいずれか1つに記載の方法。

請求項10

距離と速度との間の関係が、見かけ及び/又は実際の速度の測定において考慮されることを特徴とする請求項2から9のいずれか1つに記載の方法。

請求項11

前記測定された画像対応関係割り当てられた被写体の少なくとも1つの被写体属性が測定され、そして実際の速度又は実際の位置変化がこの被写体属性を用いて測定されることを特徴とする請求項1から10のいずれか1つに記載の方法。

請求項12

前記ステレオカメラを用いて記録された画像の中に、少なくとも1つの被写体が定義され、前記定義された被写体の輝度が測定され、少なくとも既定の時間間隔毎に、前記ステレオカメラを用いて追加の画像が記録され、前記被写体は、複数の前記追加の画像の各々において定義され、それぞれの時間毎に、それぞれの画像の前記定義された被写体の輝度が測定され、被写体属性は輝度の曲線に従って、被写体に割り当てられ、被写体属性「光源」は交流電圧で駆動され、その結果として被写体は静止物であると見なされることを特徴とする請求項11に記載の方法。

請求項13

前記被写体の少なくとも1つの被写体属性、特に空間における前記被写体の位置、前記被写体と前記ステレオカメラ(12)との間又は被写体と評価ユニット(14)との間の距離が、好ましくはデータネットワーク又は通信ネットワークを用いて前記ステレオカメラ(12、14)に送信されることを特徴とする請求項11に記載の方法。

請求項14

前記被写体の前記位置は、次々撮影されたいくつかの画像に渡って追跡され、見かけ上の速度及び/又は前記被写体の見かけ上の距離が、好ましくは追跡手段を用いて繰り返し測定されることを特徴とする請求項1から13のいずれか1つに記載の方法。

請求項15

次々に記録されたいくつかの画像が被写体トレース手段、特に追跡手段を用いて分析され、空間における被写体の見かけ上の動き、好ましくは見かけ上の速度ベクトル又は前記被写体の見かけ上の速度又は見かけ上の動作方向が測定されることを特徴とする請求項1から14のいずれか1つに記載の方法。

請求項16

空間における前記被写体の実際の速度、及び前記第1及び第2の画像の記録の間の時間を用いて、空間における前記被写体の距離の実際の変化が測定され、そして距離測定結果を用いて測定された距離の見かけ上の変化と距離の実際の変化との差が測定され、前記キャリブレーションパラメータはこの差を用いて決定されることを特徴とする請求項1から15のいずれか1つに記載の方法。

請求項17

前記ステレオカメラシステムは少なくとも制御ユニット(14)及び少なくとも2つのシングルイメージカメラ(16、18)を備えることを特徴とする請求項1から16のいずれか1つに記載の方法。

請求項18

前記ステレオカメラ(12)の2以上のシングルイメージカメラ(16、18)を用いて同時に記録された第1の被写体画像において、少なくとも1つの画像対応関係が測定され、前記画像対応関係は被写体に割り当てられ、前記画像対応関係は、前記被写体を見つけるため、前記ステレオカメラ(12)の前記シングルイメージカメラ(16、18)を用いて同時に記録された第2の被写体画像において測定されることを特徴とする請求項1から17のいずれか1つに記載の方法。

請求項19

ステレオカメラのためのキャリブレーションパラメータを決定する装置であって、前記ステレオカメラ(12)と追加の被写体との間の相対的な動きを分析する制御ユニット(14)と、前記ステレオカメラ(12)は、一定の時間間隔で、次々に少なくとも2回、前記被写体の被写体画像を記録し、前記制御ユニット(14)は、前記記録された被写体画像を用いて、前記ステレオカメラ(12)と前記被写体との間の距離を毎回測定し、前記制御ユニット(14)は、測定された距離を用いて、前記ステレオカメラ(12)と前記被写体との間の距離の見かけ上の変化を測定し、前記制御ユニット(14)は、前記ステレオカメラ(12)と前記被写体との間の距離の実際の変化を測定し、前記制御ユニット(14)は、距離における実際の変化と距離における見かけ上の変化との差に従って、前記ステレオカメラ(12)により記録された被写体画像を用いて、前記ステレオカメラ(12)と前記被写体との間及び/又は前記ステレオカメラ(12)と少なくとも1つの追加の被写体との間の追加の距離を測定するための少なくとも1つのキャリブレーションパラメータを決定する装置。

請求項20

ステレオカメラのためのキャリブレーションパラメータを決定する装置であって、制御ユニット(14)は、前記ステレオカメラ(12)と追加の被写体との間の相対的な動きを分析し、前記ステレオカメラ(12)は、一定の時間間隔で、次々に2回以上、前記被写体の被写体画像を記録し、前記制御ユニット(14)は、前記記録された被写体画像を用いて、前記ステレオカメラ(12)と前記被写体との間の距離を毎回測定し、前記制御ユニット(14)は、測定された距離を用いて、前記ステレオカメラ(12)と前記被写体との間の距離の見かけ上の速度を測定し、前記制御ユニット(14)は、前記ステレオカメラ(12)と前記被写体との間の距離の実際の速度を測定し、前記制御ユニット(14)は、実際の速度と見かけ上の速度との差に従って、前記ステレオカメラ(12)により記録された被写体画像を用いて、前記ステレオカメラ(12)と前記被写体との間及び/又は前記ステレオカメラ(12)と追加の被写体との間の追加の距離を測定するための少なくとも1つのキャリブレーションパラメータを決定する装置。

請求項21

ステレオカメラのためのキャリブレーションパラメータを決定する方法であって、ある時点のある点における被写体の実際の位置が測定され、この時点のこの点における前記ステレオカメラ(12)及び前記被写体との間の見かけ上の距離が、この時点のこの点において前記ステレオカメラ(12)により記録された被写体の被写体画像を用いて測定され、この時点のこの点における前記ステレオカメラ(12)の実際の位置が測定され、この時点のこの点における前記ステレオカメラ(12)の前記被写体との間の実際の距離が、前記測定された実際の距離を用いて測定され、少なくとも1つのキャリブレーションパラメータが、実際の距離と見かけ上の距離との差に従って決定され、パラメータは、前記ステレオカメラ(12)により記録された被写体画像を用いて、前記ステレオカメラ(12)と前記被写体との間及び/又は前記ステレオカメラ(12)と追加の被写体との間の追加の距離を測定するために用いられる方法。

請求項22

前記被写体の実際の位置が評価ユニット(14)に送信され、前記送信は好ましくは前記被写体に割り当てられた通信ユニットを用いて行われることを特徴とする請求項1から21のいずれか1つに記載の方法。

請求項23

前記被写体の実際の位置、前記ステレオカメラ(12)の実際の位置、及び/又はある時点の前記点は、衛星利用ナビゲーションシステム(GPS)の信号を用いて測定されることを特徴とする請求項21又は22に記載の方法。

請求項24

ある時点のある点における前記ステレオカメラ(12)と前記被写体との間の見かけ上の距離が、この時点のこの点において前記ステレオカメラ(12)により記録された前記被写体の被写体画像を用いて測定され、又は、この時点のこの点における前記ステレオカメラ(12)と前記被写体との間の実際の距離が、前記評価ユニットを用いて、測定された実際の位置及び/又は前記キャリブレーションパラメータを用いて決定されることを特徴とする請求項22又は23に記載の方法。

請求項25

ステレオカメラのためのキャリブレーションパラメータを決定する装置であって、第1の評価ユニットは、ある時点のある点における被写体の実際の位置を測定し、第2の評価ユニット(14)は、この時点のこの点における前記ステレオカメラ(12)により記録された前記被写体の被写体画像を用いて、この時点のこの点における前記ステレオカメラ(12)と前記被写体との間の見かけ上の距離を測定し、前記第2の評価ユニット(14)は、この時点のこの点における前記ステレオカメラ(12)の実際の位置を測定し、前記第2の評価ユニット(14)は、測定された実際の位置を用いてこの時点のこの点における前記ステレオカメラ(12)と前記被写体との間の実際の距離を測定し、前記第2の評価ユニット(14)は、実際の距離と見かけ上の距離と差に従い、少なくとも1つのキャリブレーションパラメータを決定し、そのパラメータは、前記ステレオカメラ(12)により記録された被写体画像を用いて、前記ステレオカメラ(12)と前記被写体との間及び/又は前記ステレオカメラ(12)と追加の被写体との間の追加の距離を測定するために用いられる装置。

技術分野

0001

本発明は、ステレオカメラキャリブレーションパラメータを決定する方法及び装置に関する。ステレオカメラを用いて、被写体の被写体画像一定間隔次々に毎回少なくとも2回記録され、そして、毎回ステレオカメラと物の間の距離が測定される。

0002

さらに、本発明は、カメラを用いて記録されている画像を用いて被写体の被写体属性を測定する方法及び装置のみならず、コンピュータソフトウェア及びこのコンピュータソフトウェアを運ぶデータ記憶装置に関する。

背景技術

0003

公知のステレオカメラシステムは2つのシングルイメージカメラを備え、それぞれのカメラは、好ましくはCCDセンサ及び固定焦点距離レンズステム、あるいは、CMOSイメージセンサ及びそのようなレンズシステムを備える。好ましくは、シングルイメージカメラはそれぞれ同時に1つの画像を撮影する。これらの画像は好ましくは1つの組画像として参照される。撮影された画像を用いて、双方の画像の中に視認し得る被写体に対する直接距離測定がなされうる。距離を測定するため、カメラパラメータに加え、互いにシングルイメージカメラの光軸の方向を正確に知ることは決定的に重要である。安定した構造は、例えば、2台のカメラが意図された作動状態の下で互いに対する位置をわずかに変えるという手段を用いて選択されうる。その結果として、較正されたシステムに対して長期の安定性保証される。かなりの空間を占める相対的に複雑な構造に加え、 安定した構造にもかかわらず一方のカメラに対する他方のカメラの位置が変化した結果、測定結果のかなりの測定誤差が、距離測定の間に生じうる。これは、相応許容範囲にある測定結果を得るために距離測定に対する範囲制限を要求する。安定した構造、並びに測定精度及び範囲の制限のみにより、距離測定は、測定の合間に実行される複雑な較正作業がないステレオカメラシステムを用いて、長時間に渡り実用的に行われる。

発明が解決しようとする課題

0004

しかしながら、もし高精度及び/又は長距離測定が必要であるならば、ステレオカメラシステムの再調整又は再校正が行われなければならない。カメラシステムの光軸の完全な機械的調整、すなわち、光軸の実際の位置を測定し、そして、これらの実際の位置を、記録された画像の評価におけるキャリブレーションパラメータとして考慮することにより、高精度測定を達成することが可能である。これらの位置は、被写体の距離を測定するための計算アルゴリズムにおいて特に考慮される。ステレオカメラシステムの実現可能性に対する1つの判断基準は、 通常の作業の間に調整及びキャリブレーションに対して作業が要求されないこと、及び障害発見され、そしてできる限り自動的に除去されることである。

0005

前述の安定した機械的構造を有する公知のステレオカメラのキャリブレーションは、特別なマスター画像を用いて行われ、マスター画像の1つ1つはシングルイメージカメラを用いて撮影される。距離測定を行う間のステレオカメラシステムの高精度を保証するため、このキャリブレーションは環境条件に依存する時間間隔で繰り返されねばならない。キャリブレーション処理の間、 シングルイメージカメラにより記録された複数の画像の中の 一致して突出する二次元被写体画像が測定される。通常、少なくとも9つのそのような一致する被写体画像から、いわゆる基本行列信頼性のある手段を用いて決定される。この基本行列は、他方に対する2つのカメラの回転行列及び2つのカメラの距離行列を含む。しかしながら、この手段を鑑みると、複数のカメラを用いる、画像の内容物の位置測定は、カメラの解像度に依存する精度を用いてのみ可能である。このように、カメラシステムの超高精度なキャリブレーションは公知の手段を用いても可能ではない。

0006

さらに、ステレオカメラシステムと観察される被写体との間に相対的な動きがあるとき、他の公知の手段がステレオカメラシステムのセルフキャリブレーションのために用いられる。ステレオカメラシステムのうちの1つのカメラにより記録された一連の画像を用いて、いくつかの画像にわたって追跡される被写体の動きの関係がその合計距離に関して生成され、つまり計算されうる。ステレオカメラシステムの2つのカメラによる一対の画像の中の同じ被写体を測定した結果、誤った距離曲線が測定される。以後、2つの測定値は互いに比較され、その結果、キャリブレーションの誤差角度推定される。この公知の手段において、それを用いて誤差角度が測定される精度は、カメラによって記録される被写体画像を用いる被写体の位置測定の精度に依存する。

0007

2つのシングルイメージカメラを備えるステレオカメラシステムの採りうる誤差角度は、図2から5に関連する図に対する以下の記載により詳細に説明される。単純化のため、図2によるカメラ座標系は、シングルイメージカメラの配置及び位置を説明するため、本願において定義され、カメラ座標系は他の座標系に対し任意の位置を有する。しかしながら、シングルイメージカメラのそれぞれの配置及び位置は、他の座標系、例えば世界座標系又は定義された画像座標系に対し表示されうるカメラ座標系における位置は、2つの座標系の他方に対する位置がわかっているならば、世界座標系における位置、あるいは、それぞれ画像座標系における位置に容易に変換される。

0008

以下の実施形態では、カメラ座標系の座標原点は、第1のシングルイメージカメラの光軸と第1のシングルイメージカメラの画像面との交点に定義される。第1のシングルイメージカメラの光軸は、カメラ座標系のZ軸として定義される。座標原点から第2のシングルイメージカメラの光軸と交わる点までのベクトルとZ軸は平面を形成し、その平面上で、Z軸に対して直角に配置されるX軸が延びる。Y軸はZ軸に対して直角に延び、そしてX軸に対して直角に延びる。それぞれのカメラの光軸がそれぞれのカメラの画像面と交わる点の間の距離ベクトルベース幅として参照され、2つのカメラの光軸がそれらの画像面と交わる点がX軸上に位置するとき、シングルイメージカメラが値V=(ベース幅,0,0)で他方に対しオフセットされて配置される。

0009

そのようなカメラ軸システムは、周囲に関してシングルイメージカメラの位置の独立、つまりベース幅による2つのシングルイメージカメラのオフセットは、X軸方向に概ね常に向けられるという長所を有する。複数のシングルイメージカメラが、世界座標系においてお互いの上側に直接設けられるとき、カメラ座標系のX軸は世界座標系において略垂直に走り、カメラ座標系のY軸及びZ軸は世界座標系において略水平に走る。世界座標系においてカメラ座標系のX軸に正確な水平方向が与えられると、カメラ座標系のY軸は垂直に走り、Z軸は同様に水平に走る。特に、世界座標系の空間で動く車両にステレオカメラシステムが取り付けられたとすると、そのようなカメラ座標系は、例えば、記録された被写体の距離を測定するために、複数の座標系のお互いに対する位置は連続的に測定される必要がなく、記録画像の評価及び分析において直接考慮される必要がない、という利点を有する。

0010

本出願における角度の定義によれば、シングルイメージカメラがX軸に関して回転する角度は、ピッチ角度として参照される。シングルイメージカメラがZ軸に関して回転する角度は、ロール角度として参照される。シングルイメージカメラがY軸に関して回転する角度は、ヨー角度として参照される。

0011

ロール角度、ピッチ角度、及びヨー角度は、同じ名称を有する飛行機位置確認において用いられる角度に、略一致する。

0012

ピッチ角度及びロール角度は一対の画像を分析することにより測定される。少なくとも2つの画像対応関係、すなわち、2つの突出した対応関係は、2つのカメラを用いて同時に記録される画像において測定される。カメラを用いて記録された画像におけるこれらの画像対応の位置に基づいて、プリセットピッチ角度及びプリセットロール角度からの偏差が測定され、プリセット角度値は、画像補正及び/又は画像解析のために測定された偏差を用いて補正される。このように、偏差はピッチ角度誤差及びロール角度誤差を示す。しかしながら、特にヨー角度誤差又はヨー角度が容易に測定されうる、測距に用いられるステレオカメラのキャリブレーションパラメータを用いる手段及び装置は知られていない。

0013

ステレオカメラのためのキャリブレーションパラメータが単純な手段で決定される方法及び装置を特定することが本発明の目的である。さらに、画像を用いて被写体の少なくとも1つの被写体属性を測定する手段を用いて方法及び装置が特定される。

課題を解決するための手段

0014

本発明の第1の側面によれば、この目的は、カメラによって記録された画像を用いて被写体の被写体属性を測定するために請求項1に示された方法により解決される。本発明の有利な成果は、従属する請求項において与えられる。

0015

被写体属性を測定するための本発明による方法を用いることにより、カメラを用いて記録された被写体画像の輝度曲線解析される。好ましくは、少なくとも1つの輝度曲線が解析され、評価される。

0016

本発明による方法を用いて、例えば、被写体が、静止していると仮定されうる、交流電圧で作動する光源であるか否か決定される。その結果、ステレオカメラと被写体との間の実際の相対速度は、例えば世界座標系において、ステレオカメラの絶対速度を測定することにより測定される。

0017

本発明の第2の側面は、カメラを用いて記録されている画像を用いて、被写体の被写体属性を測定するための装置に関する。装置は、少なくとも予め定められた間隔で、少なくとも1つの被写体の画像を記録するカメラを備える。さらに、装置は、カメラを用いて記録された第1の画像の中の少なくとも1つの被写体を測定する方法と、測定された被写体の輝度を測定する方法を備える。さらに、方法は、予め定められた間隔でカメラを用いて記録された複数の追加画像のそれぞれにおいて被写体を測定し、毎回測定された被写体の輝度を測定する。さらに、方法は、輝度曲線に依存する被写体に、被写体属性を与える。

0018

本発明による装置は、被写体の少なくとも1つの被写体属性を容易に測定する。被写体属性は、カメラを用いて記録された画像データの更なる処理のために、容易に用いられる。例えば、被写体属性は、装置のカメラが属するステレオカメラの較正動作を行うために用いられ得る。

0019

本発明の第3の側面は、ステレオカメラ及び追加の被写体のお互いに対する相対的な動きが分析される、ステレオカメラのためにキャリブレーションパラメータを決定する方法に関する。ステレオカメラにより一定間隔で次々に少なくとも2回記録される被写体の被写体画像を用いて、ステレオカメラと被写体との間の距離が毎回測定される。測定された距離を用いて、ステレオカメラと被写体の間の距離における見かけ上の変化が測定される。ステレオカメラと被写体との間の距離における実際の変化は、ステレオカメラの距離測定システムから独立するシステムを用いて測定される。例えば、距離における実際の変化は、この独立システムにより一片の情報という形態で提供される。実際の距離の変化から見かけ上の距離の変化のかい離によって測定される、被写体及び/又は追加の被写体との更なる距離を測定するための少なくとも1つのキャリブレーションパラメータは、ステレオカメラにより記録された被写体画像を用いて決定される。

0020

そのような本発明による方法を用いると、正確な距離測定のためのキャリブレーションパラメータは非常に容易に決定され、その結果、ステレオカメラが非常に正確に与えられた既知ピッチ及びロール角度を自動的に補正しうる。その結果、例えばステレオカメラシステムが統合された車両が動いている間、ステレオカメラのオンザフライ較正が実行される。

0021

本発明による第4の側面は、その中で追加の被写体に関するステレオカメラの相対的な動作が分析される、ステレオカメラのためにキャリブレーションパラメータを決定するための方法に関する。ステレオカメラを用いて一定間隔で次々に少なくとも2回記録される被写体の被写体画像を用いて、ステレオカメラと被写体との間の距離が毎回測定される。測定された距離に基づいて、ステレオカメラと被写体の間の距離における見かけ上の速度が測定される。ステレオカメラと被写体との間の実際の速度は、ステレオカメラの距離測定システムから独立するシステムを用いて測定される。実際の速度からの見かけ上の速度の逸脱によって測定される、ステレオカメラと被写体との間、及び/又はステレオカメラと追加の被写体との間の更なる距離を測定するための少なくとも1つのキャリブレーションパラメータは、ステレオカメラにより記録された被写体画像を用いて決定される。

0022

本発明の方法によれば、正確かつ厳密な距離測定のためのキャリブレーションパラメータは非常に容易に決定される。ステレオカメラを用いて記録された被写体画像は、決定されたキャリブレーションパラメータに従い、前述のように分析され、そして評価される。既知のピッチ及びロール角度が与えられると、ステレオカメラはキャリブレーションパラメータを決定することにより、非常に正確に自動的に較正され得る。

0023

本発明による第5の側面は、その中で制御ユニットがステレオカメラと追加の被写体との間の相対的な動きを分析する、ステレオカメラのためにキャリブレーションパラメータを決定するための装置に関する。ステレオカメラは、時間間隔において交互に少なくとも2回、被写体の被写体画像を記録する。記録された被写体画像を用いて、制御ユニットはステレオカメラと被写体との間の距離を毎回測定する。測定された距離を用いて、制御ユニットは、ステレオカメラと被写体の間の距離における見かけ上の変化を測定する。ステレオカメラの距離測定システムとは独立であるシステムを用いて、制御ユニットは、ステレオカメラと被写体の間の距離における実際の変化を測定する。距離の実際の変化から距離の見かけ上の変化のかい離が測定されると、制御ユニットは、ステレオカメラにより記録された被写体画像を用いて、ステレオカメラと被写体との間、及び/又はステレオカメラと追加の被写体との間の更なる距離を測定するための少なくとも1つのキャリブレーションパラメータを決定する。

0024

本発明の装置によれば、それを用いてステレオカメラに対する被写体の正確な距離が測定されるキャリブレーションパラメータが容易に決定される。キャリブレーションパラメータを決定することにより、ステレオカメラを備えるステレオカメラシステムは、単純な方法で自動的に非常に正確に較正されうる。好ましくは、ステレオカメラのシングルイメージカメラのピッチ角度及びロール角度は、キャリブレーションパラメータが決定される前に測定される。

0025

本発明による第6の側面は、その中で制御ユニットがステレオカメラと追加の被写体との間の相対的な動きを分析するステレオカメラのためにキャリブレーションパラメータを決定するための装置に関する。ステレオカメラは、時間間隔において交互に少なくとも2回、被写体の被写体画像を記録する。記録された被写体画像を用いて、制御ユニットはステレオカメラと被写体との間の距離を測定する。測定された距離を用いて、制御ユニットは、ステレオカメラと被写体との間の見かけ上の速度を測定する。制御ユニットは、ステレオカメラと被写体との間の実際の速度を、ステレオカメラの距離測定システムから独立するシステムを用いて測定する。実際の速度と見かけ上の速度とのかい離が測定されると、制御ユニットは、ステレオカメラにより記録された被写体画像を用いて、ステレオカメラ12と被写体との間、及び/又はステレオカメラ12と追加の被写体との間の更なる距離を測定するための少なくとも1つのキャリブレーションパラメータを決定する。

0026

本発明の装置によれば、キャリブレーションパラメータは非常に容易に決定され、ステレオカメラと被写体との間の距離がキャリブレーションパラメータにより測定される。特に、ステレオカメラのシングルイメージカメラにおけるお互いに対する既知のピッチ及びロール角度が与えられると、ステレオカメラシステム全体は自動的に非常に正確に較正されうる。

0027

本発明による第7の側面は、内部でこの瞬間に被写体の正確な位置を測定する、ステレオカメラのためにキャリブレーションパラメータを決定するための方法に関する。ステレオカメラと被写体との間の見かけ上の距離は、ステレオカメラによってこの瞬間に記録される被写体の被写体画像を用いて、まさにこの瞬間に測定される。この瞬間のステレオカメラの実際の位置が測定される。さらに、まさにこの瞬間のステレオカメラと被写体との実際の距離は、測定された実際の位置を用いて測定される。実際の距離と見かけ上の距離との偏差に従って、少なくとも1つのキャリブレーションパラメータが決定され、つまり、キャリブレーションパラメータは、ステレオカメラによって記録された被写体画像を用いて、ステレオカメラと被写体、及び/又はステレオカメラと追加の被写体との間の更なる距離を測定することに役立つ。

0028

本発明による方法を用いて、距離の正確な測定のためのキャリブレーションパラメータは、いわゆるオンザフライ較正が可能された結果として、単純な手段で、自動的に決定されうる。

0029

本発明による第8の側面は、内部で第1の評価ユニットがこの瞬間に被写体の正確な位置を測定する、ステレオカメラのためにキャリブレーションパラメータを決定するための装置に関する。第2の評価ユニットは、この瞬間のステレオカメラと被写体との間の見かけ上の距離を、ステレオカメラによってこの瞬間に記録される被写体の被写体画像を用いて、測定する。第2の評価ユニットは、この瞬間のステレオカメラの実際の位置を測定する。第2の評価ユニットは、この瞬間のステレオカメラと被写体との実際の距離を、測定された実際の位置を用いて測定する。さらに、第2の評価ユニットは、実際の距離と見かけ上の距離との偏差に従って、少なくとも1つのキャリブレーションパラメータを決定する。キャリブレーションパラメータは、ステレオカメラにより記録された被写体画像を用いて、ステレオカメラと被写体との間、及び/又はステレオカメラと追加の被写体との間の更なる距離を測定するために役立つ。

0030

本発明の装置によれば、この手段で較正されたカメラシステムが、ステレオカメラと被写体との距離を正確に測定する結果として、ステレオカメラシステムを較正するためのキャリブレーションパラメータは容易に決定されうる。そのような装置は、時にステレオカメラのオンザフライ較正に適する。

0031

本発明の更なる側面は、本発明の第1、2、3、及び/又は第7の側面といった一連の方法を制御するためのコンピュータプログラムに関し、同様に、ソースコード及び/又はコンパイルされたコンピュータプログラムのソースコードを記憶するためのそれぞれのデータ媒体に関する。

図面の簡単な説明

0032

本発明によるステレオカメラシステムを有する自動車を示した図である。
本発明によるステレオカメラシステムのシングルイメージカメラの三次元概略図である。
複数のシングルイメージカメラが互いにロール角度誤差αを有する図2によるシングルイメージカメラの正面図である。
複数のシングルイメージカメラがピッチ角度誤差βを有する図2によるシングルイメージカメラの側面図である。
複数のシングルイメージカメラがヨー角度誤差γを有する図2によるシングルイメージカメラの平面図である。
図1によるステレオカメラシステムを用いて測定されるステレオカメラシステムに向けた被写体のアプローチを示した図である。アプローチは、T0からT10までの時間の点においてステレオカメラシステムと被写体との間の距離を用いて示され、実際のヨー角度γは既定のヨー角度よりも小さい。
T0からT10までの時間の瞬間にステレオカメラシステムに向けた被写体のアプローチを示した図である。図6とは対照的に、実際のヨー角度γは既定のヨー角度に一致する。
T0からT10までの時間の瞬間にステレオカメラシステムに向けた被写体のアプローチを示した図である。既定のヨー角度γは実際のヨー角度よりも大きい。
図6から8に従いT0からT10までの時間の瞬間における被写体の決定されたアプローチの見かけ上の接近速度と見かけ上の距離との関係を示した図である。既定のヨー角度γは実際のヨー角度よりも大きい。
ピッチ角度及びロール角度の補正値を測定するためのフローチャートである。
第1の実施形態によるステレオカメラシステムの実際のヨー角度γを測定するためのフローチャートである。
第2の実施形態により実際のヨー角度γを測定するためのフローチャートである。
22Hzのサンプリングレートにおいて50Hzの交流電圧で動作する照明器具輝度変化量の重ね合わせを示したグラフであり、100Hzの照明器具の輝度変化量及びサンプリングにより生成される輝度曲線が示される。
図13によるサンプリングにより生成された輝度曲線を示した図である。
好ましくないサンプリングレートでランプの輝度曲線をサンプリングしたことに起因するサンプリングされた信号の輝度曲線を示した図である。
22Hzのサンプリングレートにおいて60Hzで動作する照明器具の輝度曲線の重ね合わせを示したグラフであり、サンプリングされた信号の輝度曲線は図示されたサンプリングにより生成される。
図16に従ってサンプリングされた輝度曲線が別々に示された図である。
他のより好ましくないサンプリングレートにおいて60Hzの交流電圧で動作する照明器具の輝度変化をサンプリングしたことにより測定された輝度曲線を示した図である。

実施例

0033

本発明をより理解するため、以下、図面に示され、及び明確な専門用語を用いて説明される好ましい実施形態に対して参照がなされる。しかしながら、示された本発明の更なる応用のみならず、説明された装置及び/又は方法にそのような変形及び更なる改良は、いわゆる当業者にとってありふれた現在又は将来の専門的な知識としてみなされるため、これにより本発明の範囲は制限されないことが指摘される。本発明の実施形態は図において示される。

0034

図1において、ステレオカメラ12並びに制御及び評価ユニット14を備えるステレオカメラシステムがその中に設けられる自動車10が示される。ステレオカメラ12は、進行方向P1に対し略横方向に、多少の距離を置いて互いに隣り合って配置される、2つのシングルイメージカメラ16、18を備える。カメラ16、18の光軸は、カメラ16、18を用いて自動車10の前方の領域が撮像されるように方向を合わせられる。カメラ16、18の光軸は、好ましくは、互いに対しヨー角度を有する。

0035

他の実施形態において、カメラ16、18の2つの光軸は、互いに関し正確に平行に向けられる。カメラ16、18は、自動車10の前方にある、おおよそ同じ周辺単一画像をそれぞれ同時に記録し、好ましくは、光電子変換器、特にCCD又はCMOSイメージセンサ、及び固定焦点距離レンズシステムを有する。ステレオカメラ12は、自動車10の内部バックミラー区域に配置され、カメラ16、18は、自動車10の前方に描かれる周辺領域を撮像可能にするため、自動車10のフロントガラスを通じて自由な視界を有する。

0036

ステレオカメラ12は、好ましくは第1のデータバス20を介して制御及び評価ユニット14に接続される。カメラ16、18を用いて記録された画像の画像データは、データバス20を介して制御ユニット14に送信され、そこで評価される。このデータバス20は、好ましくはIEE規格に従うファイヤワイヤバス又はLANである。好ましくは車両統合データバスであって、自動車10の更なる制御ユニット及びセンサに接続される、第2のデータバス21が設けられる。このデータバス21は、例えばCANバスである。自動車10はさらにナビゲーションシステムのための受信及び評価ユニット22、好ましくは衛星利用ナビゲーションシステムを有する。そのような衛星利用ナビゲーションシステムは、例えばGPS(Global Positioning System)である。

0037

自動車10は、無線通信ネットワークのための送信及び受信ユニット24、好ましくはデータを送信するための無線ネットワークを更に有する。そのような通信ネットワークは、例えばGSMネットワーク(Global Standard For Mobile Communication)、アドホック無線LANブルートゥースネットワーク、又は他の通信ネットワークである。この通信ネットワークを経由し、自動車10の自らの位置、及び他の車両、特に他の自動車に対する速度が送信及び受信ユニット24を介して送信され、他の車両、好ましくはシングルイメージカメラ16、18の撮像領域の中にある車両の位置及び/又は速度が受信される。特に、伝達された情報、すなわち送信及び受信された情報は、好ましくは原子時計の時間を有する、タイムスタンプを含む。タイムスタンプを生成する時間は、自動車10に設けられる衛星利用ナビゲーションシステムの受信・評価ユニット22、及び無線通信ネットワークを介して自動車10と通信する他の車両に設けられる衛星利用ナビゲーションシステムの受信・評価ユニットを用いて好ましくは決定される。

0038

衛星利用ナビゲーションシステムの受信・評価ユニット22及び送信・受信ユニット24は、内部データバス21を介してステレオカメラシステムの制御・評価ユニット14に同様に接続される。このように、通信ネットワークを介して、例えば接近する車両の位置が正確に測定される。空間における自らの位置の認識により、ステレオカメラシステムを用いてなされる距離測定が自動車10と接近車両との間の距離が同じとなるか否かが検証されうる。同じでない場合、キャリブレーションパラメータ、例えば補正値が決定される。特に、この手段により、距離測定にとって決定的に重要なヨー角度が測定され、できる限り補正される。

0039

図10を参照して以下説明されるように、特にそれぞれのシングルイメージカメラ16、18のロール角度及びピッチ角度は、シングルイメージカメラ16、18を用いて記録されるいくつかの単一の画像を用いて測定されうる。交通灯、交通標識、または建築物といった静止物は、同様に、通信ネットワークを介し、自動車10の送信・受信ユニット24に自らの位置を送信する。そして、例えば、シングルイメージカメラ16、18の光軸の間のヨー角度は、シングルイメージカメラ16、18を用いて既定の間隔でそれぞれ同時に記録されている少なくとも2つの画像に渡る静止物の被写体追跡を用いて測定され、そしてこのようにして既定のヨー角度が修正される。

0040

あるいは、カメラ16、18を用いて記録される被写体は、追跡手段によりいくつかの画像に渡って追跡される。被写体の輝度の変化量は、既定の画像周波数で少なくとも1つのカメラ16、18を用いて同様に記録され、このサンプリングは、図13から18を参照して以下より詳細に説明されるように、画像周波数、すなわち各々サンプリングレートを用いてサンプリングされた輝度曲線の信号を生成する。その結果として、例えば、被写体が公知の電源供給ネットワーク周波数を有する交流電圧で動かされる光源であるか否かが決定されうる。

0041

この被写体属性に基づいて、関連する光源が静止物であることを高確率で仮定する。その結果として、被写体の位置は静止していると見なされうる。被写体の位置、すなわち自動車10に対する被写体の距離は、衛星利用ナビゲーションシステム又は外部で速度を検出する他の速度測定装置を用いて検出される静止物と自動車10との間の相対速度を用いて、数回検出されうる。

0042

他の実施形態において、静止物は、自動車10の位置及び被写体に対するその相対速度を取得する測定装置を同様に備える。そのような測定システムは、例えばレーダ又はソナーシステムである。測定されたデータは、その後、通信ネットワークを介して自動車10の送信・受信ユニット24に伝送される。この被写体に対するステレオカメラ12の距離が数回にわたり測定されるため、この情報を用いて、ステレオカメラのヨー角度がまた測定される。

0043

ステレオカメラ12、制御・評価ユニット、同様に衛星利用ナビゲーションシステムのための受信・評価ユニット22、同様に通信ネットワークのための送信・受信ユニット24の配置は、図1に単なる概要及び例示として示される。これらもまた、自動車10の適切な位置に設けられうることが明らかである。例えば、ステレオカメラ12は前方空間26、例えば自動車10のヘッドライトの中央に設けられうる。加えて、又は代わりに、ステレオカメラシステムの制御・評価ユニット14に同様に接続される、更なるステレオカメラ28が自動車10の後部に設けられる。ステレオカメラ28は、自動車10の中であって、その後部ガラス後ろに配置される。ステレオカメラ28の2つのシングルイメージカメラは、自動車10の後ろの空間を撮像し、自動車10の後ろの被写体に対する距離を測定する。特に、ステレオカメラ28を用いて、自動車10に対して移動する被写体の被写体追跡、好ましくは自動車10への車両の接近が記録されうる。自動車10の主な進行方向は、参照記号P1を付された矢印で示される。

0044

図2において、ステレオカメラ12のシングルイメージカメラ16、18は、立体図で概略的に図示される。同一の要素は、同一の参照記号を有する。この概略図では、不可視の線が実線で同様に示される。カメラ16のレンズシステムは参照番号30を有し、カメラ18のレンズシステムは参照番号32を有する。カメラ16の光軸は参照番号38を有し、カメラ18の光軸は参照番号40を有する。カメラ16は第1のシングルイメージカメラとして参照され、カメラ18は第2のシングルイメージカメラとして参照される。

0045

単純化のため、シングルイメージカメラ16、18、特にシングルイメージカメラ16、18の光軸の配置及び位置を互いに特定するための直交カメラ座標系が参照される。すなわちそのカメラ座標系の軸は図2においてX、Y、Z軸として参照される。カメラ座標系は他の座標系に対し任意の位置を有する。しかしながら、シングルイメージカメラ16、18のそれぞれの配置及び位置は、他の座標系、例えば世界座標系又は定義された画像座標系を参照して特定されうる。カメラ座標系における位置は、2つの座標系の他方に対する位置がわかっているとき、世界座標系における位置、あるいは、それぞれ画像座標系における位置に容易に変換される。そのようなカメラ座標系は、制御・評価ユニット14によりステレオカメラ12を用いて画像を評価するために用いられる。

0046

カメラ座標系の座標原点は、第1のシングルイメージカメラ16の光軸38と第1のシングルイメージカメラの画像面34との交点に定義される。第1のシングルイメージカメラ16の光軸38は、カメラ座標系のZ軸として定義される。座標原点から第2のシングルイメージカメラ18の光軸40と交わる点までのベクトルとZ軸は平面を形成し、その平面上で、Z軸に対して直角に配置されるX軸が延びる。Y軸はX軸に対して直角に延び、そしてZ軸に対して直角に延びる。

0047

図2の実施形態において、第2のシングルイメージカメラ18の光軸がその画像面と交わる点は、カメラ座標系のX軸上に位置する。それぞれのカメラ16、18の光軸38、40がそれぞれのカメラの画像面34、36で交わる点の間の距離は、ベース幅として参照され、これらの交点が図2による実施形態におけるようにX軸上に位置するとき、シングルイメージカメラ16、18が値V=(ベース幅,0,0)によりオフセットされて配置される。

0048

第1のシングルイメージカメラ16の光軸38とZ軸との一致により、シングルイメージカメラの光軸38、40のお互いに対する相対位置の測定は、大幅に簡易化される。さらに、このカメラ座標系を用いて、他の座標系との従属関係が回避される。シングルイメージカメラ16、18が、世界座標系において水平面に互いに直接隣接して設けられるとき、カメラ座標系のX軸及びZ軸は世界座標系において略水平に走り、カメラ座標系のY軸は略垂直に走る。特に、ステレオカメラシステムが世界座標系という三次元空間で動く車両10に取り付けられたとき、そのようなカメラ座標系は、例えば、記録された被写体との距離の測定において、複数の座標系のお互いに対する位置は連続的に測定される必要がなく、記録画像の評価及び分析において直接考慮される必要がない、という利点を有する。

0049

被写体の測定に対して非常に重要である角度は、以下のように定義される。
ロール角度は、シングルイメージカメラがZ軸に関して回転する角度である。そのような回転は、図2において矢印P2により示される。カメラ座標系の定義を用いると、第1のシングルイメージカメラ16はロール角度0°を有する。0°から逸脱する第2のシングルイメージカメラ18の角度位置は、ステレオカメラ12のロール角度誤差又はロール角度である。
ピッチ角度は、シングルイメージカメラがX軸に関して回転する角度である。そのような回転は、図2において矢印P4により示される。カメラ座標系の定義を用いると、第1のシングルイメージカメラ16はピッチ角度0°を有する。0°から逸脱する第2のシングルイメージカメラ18の角度位置は、ステレオカメラ12のピッチ角度誤差又はピッチ角度である。
ヨー角度は、シングルイメージカメラがY軸に関して回転する角度である。そのような回転は、図2において矢印P3により示される。カメラ座標系の定義を用いると、第1のシングルイメージカメラ16はヨー角度0°を有する。0°から逸脱する第2のシングルイメージカメラ18の角度位置は、ステレオカメラ12のヨー角度誤差又はヨー角度である。

0050

カメラ座標系は好ましくは右手系座標系であり、右手座標系における角度方向を参照するためのロール角度、ピッチ角度、及びヨー角度に関する角度情報を有する。ロール角度、ピッチ角度、及びヨー角度は、同様に参照される、飛行機の位置確認において用いられる角度に、略一致する。また、シングルイメージカメラ座標系は各々設けられ、シングルイメージカメラ座標系の軸の位置は互いに関して分析される。

0051

さらに、ステレオカメラ12のシングルイメージカメラ16、18を用いて同時に撮影された画像は一組の組画像として参照される。

0052

図3において、図2によるシングルイメージカメラ16、18は、自動車10のフロントガラスを介した正面図に図示される。シングルイメージカメラ18は、カメラ16に対し、Z軸周りロール角度αを回転されて配置される。ステレオカメラ12のロール角度αは、画像解析・評価手段を用いて測定され、次の画像処理及び画像解析において考慮される。

0053

図4において、カメラ16、18の側面図が図示される。第1のシングルイメージカメラ16のピッチ角度は、カメラ座標系の定義により0°と測定される。その結果、第2のシングルイメージカメラ18はピッチ角度βを有する。シングルイメージカメラ16、18により記録された一組の組画像を用いて、シングルイメージカメラ18のピッチ角度βが測定され、その後更なる画像の処理及び分析において考慮される。

0054

世界座標系においてシングルイメージカメラ16、18が互いに水平方向に隣接するように配列されると、シングルイメージカメラ18は、シングルイメージカメラ16を用いて撮像された範囲の少なくとも下方の範囲を撮像する。その結果、シングルイメージカメラ16及び18を用いて撮像された範囲、すなわちシングルイメージカメラ16、18を用いて記録された画像は互いに完全に一致しない。

0055

図5において、光軸38、40を有するステレオカメラ12のシングルイメージカメラ16、18は、カメラ座標系のX−Z平面上の平面図に図示される。第1のシングルイメージカメラ16のヨー角度は、カメラ座標系の定義により0°ということになる。第2のシングルイメージカメラ18はY軸周りに回転することによるヨー角度γを有する。

0056

ピッチ角度及びロール角度が0°となるとき、光軸38、40はヨー角度γで互いに交わる。第2のシングルイメージカメラ18のヨー角度γは、既に述べたように、ステレオカメラ12のヨー角度誤差又はヨー角度として参照される。

0057

明確にする目的のため、光軸38がシングルイメージカメラ18の画像記録領域36との交点で光軸40と交差するように、光軸38は平行に移動されている。平行に移動された光軸38は38’として参照される。光軸40、38’はヨー角度γを形成し、シングルイメージカメラ16、18の光軸38、40はヨー角度γを回転して設けられる。正確な距離測定のため、すなわちシングルイメージカメラ16、18を用いて記録される被写体の距離を正確に測定するため、正確なヨー角度γの認識が絶対に必要である。

0058

図6は、時間T0からT10に渡る各点でのステレオカメラ12に向けて接近する間の被写体の位置を、点を用いて図示する。ステレオカメラシステムのカメラ16、18は、画像を同時に記録し、点として図示される各時間の被写体は、その画像の中で特定される。2つの画像を用いて、カメラ16、18の既定のピッチ、ロール及びヨー角度、被写体の距離が時間T0からT10に渡り、各点で測定される。ステレオカメラシステムのカメラ16、18は、0.04545・・・秒間隔、すなわち各々22Hzの画像反復周波数で2組の画像を撮影し、その組画像を用いて距離が測定される。

0059

しかしながら、図6による被写体は、一定の速度でステレオカメラ12に実際に接近する。しかしながら、2組の組画像の間、つまり時間T0からT10における2つの点の間の被写体によって、見かけ上踏破される距離は、時間T0からT10における2つの点の間の被写体とステレオカメラ12との距離が毎回同じであるにもかかわらず、毎回短くなる。同時に2つの点の間の被写体によって踏破される距離は、被写体の上に示される矢印を用いて図示される。実際に踏破される距離と、時間T0からT10におけるそれぞれの点の間においてステレオカメラ12を用いて測定される被写体が踏破する距離との誤差は、誤って既定されたヨー角度γに保存されねばならない。図6において、より小さなヨー角度γが、カメラ16、18の光軸38、40の間に実際に存在するヨー角度γと比較するように記録された画像の評価のために予め定められる。

0060

図7において、T0からT10までの時間における各点においてステレオカメラ12に向けて接近する間の被写体の位置は、正確に既定されたヨー角度γで図示される。ステレオカメラシステムは、時間T0からT10までの2つの点それぞれの間で、同じ距離がステレオカメラ12と被写体との間に渡ることを測定する。これは、カメラ12に向けた被写体の実際の接近に対応する。

0061

図8において、T0からT10までの時間における各点においてステレオカメラ12に向けて接近する間の被写体の位置は、予め定められた大きすぎるヨー角度γを用いて図示される。予め定められた大きすぎるヨー角度γの結果として、カメラ12に向けた被写体の接近の間に踏破される距離は、ステレオカメラ12から被写体までの実際に踏破される距離と比較して長い距離が与えられたとすると、短く測定される。実際に踏破される距離は、図7において正確に図示される。

0062

時間T0からT10における2つの点の間には、常に同じ時間量、例えば0.04545・・・秒が存在する。図6によれば、小さすぎる一組のヨー角度γの場合、時間T0からT10における2つの点の間で測定される、被写体とステレオカメラ12との踏破される距離は、被写体とステレオカメラ12との間の距離を増加させながら増加し、そして、図8に従い大きすぎる一組のヨー角度γを考慮すると、ステレオカメラ12と被写体との間の距離を増加しながら、踏破される測定された距離が小さくなることは、図6から8により明らかである。

0063

図9では、測定された見かけ上の距離と、図6から8に従いステレオカメラ12に向けた被写体の見かけ上の接近速度との関係が、表に図示される。ここに図示されたグラフは、参照記号として図6から8のそれぞれの図の記号を有する。図9から、カメラ16、18を用いて記録された画像の評価のために、誤って既定されたヨー角度γの結果として、不正確に測定された接近速度の原理が明らかとなり、その原理は既に図6から8に関連して既に説明されている。

0064

図7に従い正確な一組のヨー角度を前提として、見かけ上の、つまり測定された接近速度は、被写体とステレオカメラ12との間の実際の接近速度に一致する。接近速度は、常に1に等しい。ヨー角度γが小さすぎに設定される場合、被写体の見かけ上の接近速度は、距離を増加させながら誤差を増加させる結果として、見かけ上の距離を増加させながら増加する。図8により大きすぎる既定のヨー角度γを考慮すると、被写体とステレオカメラ12との間の距離を増加しながら、ますます低くなる見かけ上の接近速度がステレオカメラシステムを用いて測定される。

0065

図10において、ステレオカメラ12のピッチ角度及びロール角度のための補正値を測定するためのフローチャートが図示される。ステップS10において、シーケンスが開始される。その次に、ステップS12において、1つの画像それぞれが、ステレオカメラシステムのカメラ16、18を用いて同時に記録される。その後、ステップS14において、少なくとも2つの画像の対応が双方の画像において定義される。より正確には、代替のシーケンスにおいて、2以上の画像の対応が、好ましくは少なくとも5つの対応が双方の画像に定義される。実際には、2から10の画像の対応が有利であることがわかる。

0066

その後、ステップS16において、射影幾何由来する計算ステップを用いて、既定のピッチ角度β及びロール角度αに対する補正値の算定が行われる。ピッチ角度β及びロール角度αに対してこの手段で測定される値は、ピッチ角度β及びロール角度αに対する新しい既定値として、ステレオカメラシステムの制御・評価ユニット14に記憶され、さらに記録される画像の次の評価、特に記録された組画像を用いた距離測定において考慮される。その後、シーケンスはステップS18において終了する。図10に関連して説明されたシーケンスは、好ましくは反復して、例えば一対の画像を記録した後毎に実行される。

0067

図11において、ステレオカメラシステムのカメラ16、18の間の正確なヨー角度γを測定するためのフローチャートが図示される。シーケンスはステップS20において開始される。その次に、ステップS22において、第1の画像が、ステレオカメラシステムのカメラ16、18のそれぞれを用いて同時に撮影される。既定の時間、特に0.04545・・・秒が経過した後、少なくとも第2の画像がカメラ16、18のそれぞれを用いて記録される。ステップS26において、第1の画像の記録と第2の画像の記録との間の空間におけるステレオカメラ12の正確な位置の変化が測定される。例えば、位置におけるこの変化は、衛星利用ナビゲーションシステム、及び/又はステレオカメラシステム12が固定される自動車10の速度測定システムにより提供される速度測定値を用いて測定される。

0068

ステップS28において、ステレオカメラシステムの制御・評価ユニット14は、第1の画像における少なくとも1つの画像対応関係を測定する。画像対応関係は、好ましくは画像評価画像分析手段を用いて測定される。その後、ステップS30では、画像対応関係が割り当てられる、被写体の被写体属性が測定される。被写体属性の測定は、例えば、カメラ16、18を用いて記録された被写体の画像の輝度曲線をサンプリングし、そしてサンプリングされた輝度曲線を、突出した対応関係に関し既定の輝度曲線と比較する手段を用いて行われる。その結果として、例えば、被写体が電源供給ネットワークの交流電圧を電力源とした光源又は灯火であるか否かが確認されうる。

0069

この被写体属性に基づいて、例えば、測定された被写体が静止物、すなわち静止した光源であることが次の処理に対し仮定される。その後ステップS32において、被写体の測定された被写体属性が更なるシーケンスに対して適切な方式で用いられるか否かが確認される。適切でない場合には、ステップS34において、第1の画像の少なくとも1つの更なる画像対応関係が定義される。その後、ステップS30で再度、ステップS34でその後測定される画像対応関係が割り当てられる、被写体の被写体属性が測定される。

0070

測定された被写体属性が次の処理に対して有用と思われるとステップS32で決定された場合、その後ステップS36において、空間における被写体の実際の速度が測定される。測定された被写体が静止物であると被写体属性から判断されるならば、空間における被写体の速度は0m/sである。あるいは、空間における被写体の速度と同様に被写体の属性は、双方ともに、通信ネットワークを介してこの被写体と好ましくは接続される通信装置により、又は追加の独立した測定装置により、測定され、自動車10に送信される。その後、ステップS38において、同じ画像対応関係が第2の画像において測定される。そして、ステップS40において、空間における被写体の適切な位置における見かけ上の変化が測定される。ステップS32において、その後、ヨー角度γが測定され、適切な位置における見かけ上の変化は、実際の速度から測定される適切な位置における実際の変化と一致する。その後、シーケンスはステップS44において終了する。

0071

あるいは、ステップS40において、空間における被写体の見かけ上の速度が測定される。その後、ステップS42において、その角度で見かけ上の速度が実際の速度に一致する、ヨー角度が測定される。測定されたヨー角度γはステレオカメラシステムを較正あるいは調整するためのキャリブレーションパラメータとして取り扱われる。較正のため、測定されたヨー角度は、ステレオカメラ12と更なる被写体との間の距離の測定でステレオカメラ12を用いて記録された画像の評価において用いられる。

0072

図12において、ステレオカメラ12のカメラ16、18のヨー角度γを測定するための図10に示される処理に対する代替の処理が図示される。シーケンスはステップS50において開始される。次に、ステップS52において、毎回第1の画像、すなわち第1の組画像がステレオカメラシステムのカメラ16、18を用いて同時に記録される。その後、ステップS54において、既定の時間間隔で、いくつかの組画像がカメラ16、18により順に記録される。そして、ステップS56において、その時間間隔で空間におけるステレオカメラ12の適切な位置における実際の変化が測定される。

0073

ステップS58において、少なくとも1つの画像対応関係が第1の画像において測定される。その後、ステップS60では、測定された画像対応関係が割り当てられる被写体の被写体属性が、順に記録されたいくつかの組画像を用いて測定される。そして、ステップS62において、測定された被写体属性が更なる処理に適しているか否か、すなわちステレオカメラ12、又はカメラ18それぞれの実際のヨー角度γが、被写体を用いて測定されるか否かが検証される。適切でない場合には、その後、ステップS64において、記録された画像において少なくとも1つの画像対応関係が定義され、処理はステップS60において継続される。

0074

しかしながら、ステップS62において、被写体属性が更なる処理に適し、又は被写体が更なる処理に適すると測定された場合、ステップS66において、空間における被写体の実際の速度が測定される。これは、図11のS36に関連して説明されたのと同様の手法により行われる。ステップS68において、同様の画像対応関係がさらなる組画像の画像において決定される。次に、ステップS70において、ステップS68で更なる組画像に対して決定された画像対応関係が、好ましくはいわゆる追跡手段を用いて追跡され、空間における被写体の見かけ上の速度がこの追跡間隔で測定される。

0075

いくつかの更なる組画像を用いた速度の測定は、測定された見かけ上の速度の精度を向上する。そしてステップS72において、その角度で見かけ上の速度が実際の速度に一致する、ヨー角度が測定される。その後、シーケンスはステップS74において終了する。図12による処理をも考慮すると、測定されたヨー角度γは、シングルイメージカメラを用いて記録された画像の更なる評価のため、あるいはステレオカメラ12の少なくとも1つのシングルイメージカメラの再較正のためのキャリブレーションパラメータとして用いられうる。図11及び12による処理の精度及び信頼性は、いくつかの画像対応関係が好ましくは同じ被写体に対して割り付けられた組画像において決定されるために、さらに向上されうる。

0076

図13において、50Hzの交流電圧を電力源とする光源の輝度変化曲線が図示され、輝度変化は、ステレオカメラシステムのカメラ16、18により記録された画像シーケンスを用いて相対的なグレイスケール値として測定され、特定される。

0077

このカメラ16、18は、0.04545・・・秒間隔で画像を、すなわち周波数22Hzでの被写体の画像を生成する。これらの画像における被写体の輝度が測定される。測定された輝度値を用いて、結果として生じる輝度曲線が測定される。50Hzの交流電圧を電力源とする光源は、100Hzの輝度変化を有する。サンプリングによる実際の輝度及び光源の輝度は、図13による図のY軸上における相対値として0から1の目盛りで記される。X軸上において、0から1秒の時系列が記される。22Hzのサンプリングレートでの光源の100Hz輝度変化をサンプリングすることにより、特に100Hz輝度曲線と22Hzサンプリングレートの重ね合わせである、突出する輝度曲線となる。そのような重ね合わせは、うねりとして参照される。

0078

図14において、22Hzのサンプリングレートでサンプリングされた、50Hz交流電圧を電力源とする光源の100Hz輝度変化の曲線が図示される。50Hz交流電圧を電力源とする光源の100Hzの基本的な構成要素を用いずに、次に、図14において図示される、図13に既に図示された輝度曲線となる。

0079

図15において、50Hz交流電圧を電力源とする光源の100Hz輝度変化をサンプリングした結果として得られる輝度曲線が図示される。図15において図示される輝度曲線を測定するためのサンプリングレートは、略26Hzである。この結果、図14において図示されたものよりも少なく突出する輝度曲線となる。しかしながら、図15に図示された輝度曲線と既定の輝度曲線とを比較することにより、関係する被写体は50Hz交流電圧を電力源とする光源、特に公衆街路照明であることが測定される。

0080

図16において、22Hzのサンプリングレートにおける、60Hz交流電圧を電力源とする光源に対する120Hz輝度変化のサンプリングは、時間の関数として相対的なグレイスケール値として図示される。サンプリングにより生成された輝度曲線は、50Hz交流電圧を電力源とし、かつ100Hzの輝度変化を有する光源の輝度曲線と略一致し、その輝度曲線は22Hzのサンプリングにより生成される。

0081

図17において、図16により60Hz交流電圧駆動光源を22Hzのサンプリングレートでサンプリングすることにより生成される輝度曲線は、120Hzの基本的な構成要素を用いずに図示される。このように、22Hzのサンプリングレートは、サンプリングの結果として生成される、50Hz交流電圧及び60Hz交流電圧で駆動される光源の輝度変化の輝度曲線が、評価が大幅に単純化された結果として互いに略一致するという利点を有する。公衆電力供給ネットワークにおける交流電圧の周波数、例えばヨーロッパと合衆国における(ヨーロッパ:50Hz、アメリカ合衆国:60Hz)違いにより、光源が50Hz交流電圧又は60Hz交流電圧で駆動される光源であるか、及び静止物であるかが、サンプリングレートを変化させず、そして他の比較曲線を用いずに測定されうる。

0082

しかしながら、代わりに他のサンプリングレートでサンプリングすると仮定すると、輝度曲線における差は、光源が50Hz交流電圧又は60Hz交流電圧で駆動される光源であるか決定するために用いられる。被写体属性、特に50/60Hz交流電圧で駆動される光源の被写体属性を測定するための本発明による方法を実行するため、異なる輝度曲線が、順に記録される画像を用いてサンプリングにより生成され、そして既定の輝度曲線と比較され、判断される。主に考えられる対応関係を考慮すると、関連する被写体は、50/60Hzの周波数で駆動される光源、又は灯火であると決定される。

0083

図18において、26Hzのサンプリングレートで60Hz交流電圧で駆動される光源のサンプリングを考慮した結果として生じる輝度曲線が図示される。図18に図示された輝度曲線は、図15に図示された輝度曲線とは異なり、この差を用いて、図18に図示された輝度曲線が50Hz交流電圧で駆動される光源でなく、60Hzで駆動される光源であると測定される。

0084

図13から18において、公衆街路照明の光源の輝度曲線は、カメラ16、18の1つを用いて測定されるグレイスケール値を用いて図示される。しかしながら、いかなる他の光源が、交通灯又は照明道路標識の光源のような被写体として記録される。それだけでなく、建物あるいは部屋の照明のための光源は、これらの関連する光源が50Hz又は60Hzの交流電圧が供給される光源であることが測定されるよう、サンプリングを用いて測定される。そのような光源は静止していると見なされる。このカメラとこの光源との間の実際の速度は、空間におけるステレオカメラの実際の速度、特にカメラが堅固に接続される車両の速度である。ステレオカメラの実際の速度を用いて、時間間隔内の距離における実際の変化が容易に測定される。ステレオカメラの不規則な動きを考慮して、時間間隔の間の平均速度が測定される。好ましくは、速度は時間間隔に渡って加算される。

0085

図1から18に関連して説明された方法は、ステレオカメラ12において、一般的に有利に使用可能である。図1に示されるステレオカメラ12と対照的に、ステレオカメラは、好ましくはステレオカメラに対する相対的な動作を有すると測定される被写体とともに、静止している。しかしながら、ステレオカメラは、鉄道車両航空機船舶といった他の動く物体に配置されうる。さらに、ステレオカメラ12及び追加の要素14から24は、好ましくはトラック又はバスといった他の自動車において有利に用いられ得る。加えて、カメラ16、18を用いて記録された画像は、通信ネットワークを用いて送信されるのみならず、各々の車両又は車両の外部にあるディスプレイユニットに表示されうる。

0086

22Hzのサンプリングレートで図12、13、15及び16による100Hz及び12Hzの輝度変化の重ね合わせにおいて、サンプリングを用いるために、100Hz及び120Hzにおいて輝度の略一致する曲線となり、時間毎に以下の等式に従って10Hz振動となる。
100Hz − 5 * 22Hz = −10Hz
120Hz − 5 * 22Hz = 10Hz

0087

結果として生じる10Hz振動は、以下の等式に従う調和振動により重ね合わせられる。
100Hz − 4 * 22Hz = 12Hz
120Hz − 6 * 22Hz = −12Hz

0088

このように、100Hz及び120Hz振動でサンプリングするとき、全てのサンプリングレートは同じ輝度曲線となり、式:
輝度の基本周波数− n * サンプリングレート
は、同じ値となる。

0089

説明された処理は、好ましくは、特定のコンピュータプログラムを実行するデータ処理装置を用いて、特にデジタルシグナルプロセサ(DSP)を用いて制御され、その結果、少なくとも説明された方法ステップの一部が実行される。

0090

図面及び前述の記載において好ましい実施形態が全ての詳細な点において図示され、そして説明されたが、これは、単なる例示として見なされ、本発明を制限するものと見なされない。好ましい実施形態のみが図示され、そして説明され、現在又は将来において本発明の範囲における全ての変形と修正が保護されることが指摘される。2つのシングルイメージカメラ16、18を備えるステレオカメラ12の代わりに、例えば2つよりも多くのシングルイメージカメラを有するステレオカメラが用いられても良い。

0091

10自動車
12ステレオカメラ
14 評価・制御ユニット
16シングルイメージカメラ
18 シングルイメージカメラ
20データバス
21 データバス
22 送信・受信ユニット
24 送信・受信ユニット
26前方空間
28 ステレオカメラ
P1 進行方向
30レンズシステム
32 レンズシステム
34画像平面
36 画像平面
38光軸
38’ 光軸
40 光軸

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 地方独立行政法人岩手県工業技術センターの「 貯蔵タンクの貯蔵量推定装置」が 公開されました。( 2020/02/13)

    【課題】 本体内に入れた流動体の実測データに基づかなくても、画像データのみで相関を算出できるようにして、事前設定の効率の向上を図る。【解決手段】 貯蔵タンクTの本体1の上端側から内部の下端側を撮像... 詳細

  • 三井住友建設株式会社の「 構造物の出来形計測方法及び計測システム」が 公開されました。( 2020/02/13)

    【課題】表面形状が複雑な構造物に対しても適用できる構造物の出来形計測方法を提供する。【解決手段】計測対象面を含む構造物の表面を走査して表面の点群を取得し、点群から計測対象面の輪郭線Cを抽出し、輪郭線C... 詳細

  • 株式会社ミツトヨの「 非接触式変位計」が 公開されました。( 2020/02/13)

    【課題】構成および処理を簡潔化でき、かつ、測定精度を向上させた非接触式変位計を提供する。【解決手段】非接触式変位計1は、受光信号Sm,Srに基づいて、測定光が測定対象物Wの表面で合焦した測定側合焦タイ... 詳細

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ