図面 (/)
課題
解決手段
概要
背景
無人運転技術は、近年、急速に発展している技術である。概略的な技術構想は、自動車に無人車両システムをインストールし、外界環境に対して感知識別を行い、さらに、自動車の走行過程を制御する。そのため、無人車両システムにおいて、無人車両感知システムは、重要な機能システムである。通常、自動車に種々の感知装置、例えばレーザレーダ、複数のカメラ及び種々のセンサなどを取付け、カメラにより画像を取得し、画像識別に基づいて自動車外部環境に対して感知識別を行うことは、重要な感知手段の一つである。
画像感知により、外部環境でのいろいろな物体、典型的には、交通標識、交差点での信号灯変化などを検出することができる。交差点での信号灯については、交差点の道路状況が複雑なため、同側に複数の信号灯、例えば、左折灯、直進灯、及び歩行者灯などが設置されることも可能である。
画像により識別する場合に単一焦点距離のカメラを用いると、視野に制限があるという問題が存在する。単一焦点距離のカメラによる撮影では全ての信号灯をカバーすることができないため、信号灯検出情報が不完全となるか、または検出できない場合がある。
概要
信号灯検出情報が不完全となるか、または検出できない場合が生じない、物体識別方法、装置、機器、車両及び媒体を提供する物体識別方法は、目標物体の地における位置情報、及び少なくとも二つの焦点距離を使用する少なくとも二つのカメラの撮影パラメータに基づいて、各カメラから目標物体とマッチングする目標カメラを選別するステップと、目標カメラが目標物体の画像を撮影するように制御するステップと、目標カメラによって撮影された画像を取得し、目標物体を識別するステップとを含む。環境での物体が多くて状況が複雑である場合に、物体画像を完全、かつ正確に識別することができる。
目的
本発明の実施例は、物体識別方法、装置、機器、車両及び媒体を提供する
効果
実績
- 技術文献被引用数
- 0件
- 牽制数
- 0件
この技術が所属する分野
請求項1
目標物体の地図における位置情報、及び少なくとも二つの焦点距離を使用する少なくとも二つのカメラの撮影パラメータに基づいて、各前記カメラから前記目標物体とマッチングする目標カメラを選別するステップと、前記目標カメラが前記目標物体の画像を撮影するように制御するステップと、前記目標カメラによって撮影された画像を取得し、前記目標物体を識別するステップと、を含むことを特徴とする、物体識別方法。
請求項2
目標物体の地図における位置情報、及び少なくとも二つのカメラの撮影パラメータに基づいて、各前記カメラから前記目標物体とマッチングする目標カメラを選別するステップは、目標物体の地図における位置情報、及び各前記カメラの撮影パラメータに基づいて、前記目標物体の各前記カメラの結像面における投影位置を決定し、前記目標物体の投影位置が前記結像面の撮影範囲内にあるカメラを、前記目標カメラとして決定するステップを含むことを特徴とする、請求項1に記載の方法。
請求項3
目標物体の地図における位置情報、及び各前記カメラの撮影パラメータに基づいて、前記目標物体の各前記カメラの結像面における投影位置を決定し、前記目標物体の投影位置が前記結像面の撮影範囲内にあるカメラを、前記目標カメラとして決定するステップは、各前記カメラの焦点距離が小さい順に従い、カメラを現在の選択対象カメラとして順次に選択するステップと、目標物体の前記地図における位置情報、及び現在の選択対象カメラの撮影パラメータに基づいて、前記目標物体の前記現在の選択対象カメラの結像面における投影位置を決定するステップと、前記目標物体の投影位置が前記結像面の撮影範囲内にある場合に、前記現在の選択対象カメラを前記目標カメラとして決定するステップと、を含むことを特徴とする、請求項2に記載の方法。
請求項4
請求項5
請求項6
各前記カメラから前記目標物体とマッチングする目標カメラを選別する前に、さらに、各前記カメラが取付けられた車両の位置を取得するステップと、前記車両の位置に基づいて交差点に位置していると決定された場合に、地図データから前記交差点での信号灯の三次元位置情報を、目標物体の位置情報として取得するステップと、を含むことを特徴とする、請求項1に記載の方法。
請求項7
目標物体の地図における位置情報、及び少なくとも二つの焦点距離を使用する少なくとも二つのカメラの撮影パラメータに基づいて、各前記カメラから前記目標物体とマッチングする目標カメラを選別するための目標カメラ選別モジュールと、前記目標カメラが前記目標物体の画像を撮影するように制御するためのカメラ撮影モジュールと、前記目標カメラによって撮影された画像を取得し、前記目標物体を識別するための画像取得・識別モジュールと、を含むことを特徴とする、物体識別装置。
請求項8
一つ又は複数のプロセッサと一つ又は複数のプログラムを記憶するための記憶装置と、を含む機器であって、前記一つ又は複数のプログラムが前記一つ又は複数のプロセッサによって実行される場合に、前記一つ又は複数のプロセッサが請求項1〜6のいずれかに記載の物体識別方法を実現することを特徴とする、機器。
請求項9
車体を含む車両であって、請求項8に記載の機器と、車体に設置され、少なくとも二つの焦点距離を使用する少なくとも二つのカメラと、をさらに含むことを特徴とする、車両。
請求項10
コンピュータプログラムが記憶されている記憶媒体であって、当該プログラムがプロセッサによって実行される場合に、請求項1〜6のいずれかに記載の物体識別方法が実現されることを特徴とする、記憶媒体。
技術分野
背景技術
0002
無人運転技術は、近年、急速に発展している技術である。概略的な技術構想は、自動車に無人車両システムをインストールし、外界環境に対して感知識別を行い、さらに、自動車の走行過程を制御する。そのため、無人車両システムにおいて、無人車両感知システムは、重要な機能システムである。通常、自動車に種々の感知装置、例えばレーザレーダ、複数のカメラ及び種々のセンサなどを取付け、カメラにより画像を取得し、画像識別に基づいて自動車外部環境に対して感知識別を行うことは、重要な感知手段の一つである。
0003
画像感知により、外部環境でのいろいろな物体、典型的には、交通標識、交差点での信号灯変化などを検出することができる。交差点での信号灯については、交差点の道路状況が複雑なため、同側に複数の信号灯、例えば、左折灯、直進灯、及び歩行者灯などが設置されることも可能である。
0004
画像により識別する場合に単一焦点距離のカメラを用いると、視野に制限があるという問題が存在する。単一焦点距離のカメラによる撮影では全ての信号灯をカバーすることができないため、信号灯検出情報が不完全となるか、または検出できない場合がある。
0005
本発明の実施例は、物体識別方法、装置、機器、車両及び媒体を提供することにより、環境での物体が多く状況が複雑な場合であっても、物体画像を完全、かつ正確に識別することができる。
0006
第1形態において、本発明の実施例は、目標物体の地図における位置情報、及び少なくとも二つの焦点距離を使用する少なくとも二つのカメラの撮影パラメータに基づいて、各前記カメラから前記目標物体とマッチングする目標カメラを選別するステップと、前記目標カメラが前記目標物体の画像を撮影するように制御するステップと、前記目標カメラによって撮影された画像を取得し、前記目標物体を識別するステップと、を含む物体識別方法を提供する。
0007
第2形態において、本発明の実施例は、さらに、目標物体の地図における位置情報、及び少なくとも二つの焦点距離を使用する少なくとも二つのカメラの撮影パラメータに基づいて、各前記カメラから前記目標物体とマッチングする目標カメラを選別するための目標カメラ選別モジュールと、前記目標カメラが前記目標物体の画像を撮影するように制御するための制御カメラ撮影モジュールと、前記目標カメラによって撮影された画像を取得し、前記目標物体を識別するための画像取得・識別モジュールと、を含む、物体識別装置を提供する。
0008
第3形態において、本発明の実施例は、さらに、メモリ、プロセッサ、及びメモリに記憶されている、プロセッサにより実行可能なコンピュータプログラムを含む機器を提供し、前記プロセッサによって前記プログラムが実行される場合に、本発明の実施例のいずれか一つに記載の物体識別方法を実現する。
0009
第4形態において、本発明の実施例は、更に、車体を含む車両を提供し、前記車両は、更に、本発明の実施例のいずれか一つによって提供される機器、及び車体に設置された、少なくとも二つの焦点距離を使用する少なくとも二つのカメラを含む。
0010
第5形態において、本発明の実施例は、更に、コンピュータプログラムが記憶されているコンピュータ可読記憶媒体を提供し、当該プログラムがプロセッサによって実行される場合に、本発明の実施例のいずれか一つに記載の物体識別方法が実現される。
0011
本発明の実施例は、目標物体の地理位置、及び焦点距離がそれぞれ異なる複数のカメラの撮影パラメータに基づいて、目標物体を鮮明に撮影できる目標カメラを選択し、目標物体を撮影することにより、撮影された画像によって目標物体識別を行う。これにより、従来技術において単一焦点距離のカメラによる撮影範囲が全ての信号灯をカバーすることができないため、信号灯検出情報が不完全となり、検出することすらできなかったという問題を解決し、各信号灯に対してそれぞれ最適なカメラを選択し、取得された画像が全ての信号灯をカバーすることで、視野に制限がかかることを回避して、鮮明な画像の提供を保証し、信号灯の的確な検出を実現することができる。
図面の簡単な説明
0012
本発明の実施例1に係る物体識別方法のフローチャートである。
本発明の実施例2に係る物体識別方法のフローチャートである。
本発明の実施例2に係るカメラ結像の原理模式図である。
本発明の実施例2に係る物体識別装置の構造模式図である。
本発明の実施例4に係る機器の構造模式図である。
実施例
0013
以下に、図面を参照しながら本開示の実施例をさらに詳しく説明する。なお、本開示の図面及び実施例は、例示的な作用を奏し、本開示の保護範囲を限定するものではないと理解すべきである。さらに、説明の便宜上、図面には全部の構造ではなく、本発明に係る一部のみを示す。
0014
実施例1
図1は、本発明の実施例1に係る物体識別方法のフローチャートである。本実施例は、車載カメラが信号灯を検出する場合に、特に無人車両の車載カメラが信号灯を検出する場合に適用でき、当然ながら、他の物体を検出する場合にも適用できる。当該方法は、本発明の実施例によって提供される物体識別装置により実行されてもよく、当該装置は、ソフトウェア及び/又はハードウェアとして実現することができ、通常、車載機器、例えば無人運転の車両の制御機器に集積することができる。図1に示すように、本実施例に係る方法は、具体的には、以下のステップS110〜S130を含む。
0015
S110において、目標物体の地図における位置情報、及び少なくとも二つの焦点距離を使用する少なくとも二つのカメラの撮影パラメータに基づいて、各前記カメラから前記目標物体とマッチングする目標カメラを選別する。
0016
具体的には、目標物体とは、固定して移動しないか、又は移動の頻度が低い物体を意味し、カメラとは、移動する物体に取付けられたカメラを意味する。
0017
本実施例では、目標物体は、具体的には、信号灯、例えば左折灯、直進灯、及び歩行者灯などを意味し、地図における信号灯の測位情報とは、測位システムによって取得された信号灯の位置データを意味し、カメラとは、自動車上に取付けられたカメラ、特に無人車両上に取付けられたカメラを意味する。
0018
信号灯の測位情報は、カメラが取付けられた車両の測位情報により決定することができる。任意に、各カメラから目標物体とマッチングする目標カメラを選別するステップの前に、更に、各カメラが取付けられた車両の位置を取得するステップと、車両の位置によって交差点に位置していると決定された場合に、地図データから交差点での信号灯の三次元位置情報を、目標物体の位置情報として取得するステップとを含んでも良い。
0019
具体的には、車両の位置は、車両でのナビゲーションシステムにおける測位モジュール、例えば全地球測位システムモジュールにより取得することができる。車両の位置から、車両に取付けられたカメラが間もなく交差点を通行するか否かを判断することにより、車両が交差点に位置する時に、識別が必要な信号灯を決定し、交差点で複数の信号灯を有する可能性があるため、信号灯に対応した三次元位置情報をそれぞれ取得し、信号灯を一つずつ目標物体として選択するとともに、三次元位置情報を対応して取得することができる。
0020
カメラのある車両の位置により、車両が交差点に位置していると決定された場合に、交差点での信号灯の三次元位置情報を取得することにより、信号灯の位置を正確に決定することができ、さらに、信号灯の位置によってカメラを選別することにより、当該信号灯の撮影に最適なカメラを決定することができる。
0021
自動車のカメラは、通常、自動車が走行している過程で、信号灯を撮影し、この際の撮影の角度、範囲のいずれにも、標準データがない。単一焦点距離のカメラを使用すると、その撮影範囲が狭いので、信号灯をカバーすることができず、焦点距離の異なる複数のカメラを使用して信号灯を撮影すれば、信号灯をカバーすることができるが、複数の撮影画像に対して信号灯を識別する必要があるので、識別データ量が多くなり、識別効率が低くなり、いくつかの撮影の画質の劣化による識別誤差が大きくなる。このような状況に対して、本実施例は、自動車に複数のカメラが設定され、且つカメラの焦点距離が異なり、また、カメラの撮影パラメータ及び各信号灯の測位情報によって、各信号灯に対して焦点距離が適切な一つのカメラを選別することにより、信号灯に対して最適なカメラを選択して撮影を行う。これにより、異なる道路交通状況に適応することができ、撮影された画像が信号灯を完全に覆ることを保証できるだけではなく、撮影された画像が鮮明であることも保証することができる。
0022
S120において、前記目標カメラが、前記目標物体の画像を撮影するように制御される。
0023
選択された目標カメラにより目標物体の画像を撮影することができる。具体的な実施態様において、まず、目標カメラがプレビュー画像を取得するように制御され、目標カメラの選別を行った後、撮影を起動してもよい。または、まず、全てのカメラが画像を撮影するように制御され、即ち、目標カメラと非目標カメラのいずれもが画像を撮影するように制御した後、それらの中から、目標カメラを選択してもよい。そのため、前述のS110とS120の順番は限定されない。
0024
S130において、前記目標カメラによって撮影された画像を取得し、前記目標物体を識別する。
0025
取得された画像について、画像における信号灯の色及び形状によって、信号灯のタイプ、例えば歩行者灯、方向指示灯、自動車線信号灯、軽車両線信号灯などを決定することができる。さらに、信号灯の色、形状や時間情報によって、信号灯の指示情報を取得してもよく、例えば、赤色が通行禁止を示し、緑色が通行可能を示し、及び黄色が警告を示し、歩行者パターンは、当該信号灯が人行道を指示するための信号であることを示し、数字パターンは、現在の時刻から当該信号灯が信号変化する時刻までの時間を示すことができる。
0026
本発明の実施例は、目標物体の地理位置、及び焦点距離がそれぞれ異なる複数のカメラの撮影パラメータに基づいて、目標物体を鮮明に撮影できる目標カメラを選択し、目標物体を撮影することにより、撮影された画像によって目標物体識別を行う。これにより、従来技術では、単一焦点距離のカメラによる撮影範囲が全ての信号灯をカバーすることができないため、信号灯検出情報が不完全となり、検出することすらできなかったという問題を解決し、各信号灯に対してそれぞれ最適なカメラを選択し、取得された画像が全ての信号灯をカバーし、視野に制限があることを回避するとともに、鮮明な画像を保証し、信号灯を的確に検出することができる。
0027
実施例2
図2aは、本発明の実施例2に係る物体識別方法のフローチャートである。本実施例は、本発明の実施例1を基に、さらに具体化し、目標物体の地図における位置情報、及び少なくとも二つのカメラの撮影パラメータに基づいて、各前記カメラから前記目標物体とマッチングする目標カメラを選別するステップを、目標物体の地図における位置情報、及び各前記カメラの撮影パラメータに基づいて、前記目標物体の各前記カメラの結像面における投影位置を決定し、前記目標物体の投影位置が前記結像面の撮影範囲内にあるカメラを、前記目標カメラとして決定するステップに具体化した。
0028
図2aに示すように、当該方法は、具体的には、ステップS210〜S230を含む。
0029
S210において、目標物体の地図における位置情報、及び各前記カメラの撮影パラメータに基づいて、前記目標物体の各前記カメラの結像面における投影位置を決定し、前記目標物体の投影位置が前記結像面の撮影範囲内にあるカメラを、前記目標カメラとして決定する。前記少なくとも二つのカメラは、少なくとも二つの焦点距離を使用する。
0030
ここで、目標物体、測位情報、撮影パラメータは、前記実施例についての説明を参照してもよい。カメラの撮影パラメータは、内部パラメータと外部パラメータを含んでもよく、内部パラメータは、具体的に、焦点距離、光学中心、及び歪曲収差係数を含んでもよく、外部パラメータは、具体的に、ワールド座標系からカメラ座標系への変換行列を含んでも良い。
0031
具体的には、図2bは、本発明の実施例に係るカメラ結像の原理模式図を示す。図2bに示すように、被写点101が薄型レンズ102を通じて形成された結像点103は、感光平面107上に位置し、光軸105は、薄型レンズ102の二つの球面の球心を通過する直線であり、光学中心102とは、薄型レンズ102の光軸上に位置し、入射光が通過する時に進行方向が変化しない点を意味し、撮影距離L1とは、被写点101から感光平面107までの距離を意味し、物体距離L2とは、被写点101から薄型レンズ102が位置する平面までの距離を意味し、像距離L3とは、薄型レンズ102が位置する平面から感光平面107までの距離を意味し、焦点距離L4とは、焦点104から薄型レンズ102が位置する平面までの距離を意味する。
0032
ここで、目標物体は、レンズを通じて結像し、レンズの光学特性により、虚像に歪曲収差が発生することがある。歪曲収差は、光学レンズ本来の透視歪みであり、歪曲収差係数は、歪み画像を矯正するためのパラメータである。ワールド座標系は、絶対座標系を意味し、本実施例では、ワールド座標系は、地図での座標系を意味する。カメラ座標系とは、カメラを基点として新たに構築した座標系を意味し、ここでは、各カメラのカメラ座標系が異なる。複数のカメラから目標カメラを判断する必要があるため、それぞれ目標物体に対してプレビュー結像を行う必要がある。また、各カメラによって撮影された画像は、実際に各カメラに対応したカメラ座標系に位置し、画像を解析する時に、取得された目標物体の位置情報は、実際のワールド座標系での測位情報であり、測位情報に対してワールド座標系からカメラ座標系に対応して変換する必要があり、ワールド座標系からカメラ座標系への変換行列によって、測位情報に対して変更し、各カメラ座標系での測位情報を取得することができる。前記ワールド座標系からカメラ座標系への変換行列は、無人車両の測位情報(即ち、測位機器の測位情報)及びカメラから測位機器までの変更行列によって計算し得る。車両の測位情報は、実際の車両での測位機器の測位情報を指し、測位機器の位置とカメラの位置とは異なるため、測位情報(即ち測位機器の測位情報)及びカメラから測位機器までの変更行列によって、ワールド座標系からカメラ座標系への変換行列を決定する必要がある。ここで、無人車両の測位情報は、車両の位置によってリアルタイムに変化するが、無人車両での測位機器とカメラとは、相対的に静止(固定)し、即ち、カメラから測位機器までの変更パラメータは固定される。
0033
結像面は、図2bに示す感光平面107を参照してもよく、目標物体は、複数の点からなると考えられ、各点は、図2bに示す被写点101を参照してもよい。結像面における目標物体の実像は、複数の像点からなると考えられ、各像点は、図2bに示す結像点103を参照してもよい。目標物体が三次元物体であり、結像面が二次元平面であるため、実際に、目標物体に対応した実像が三次元であり、実像は、結像面で投影して二次元像を生成することができる。目標物体に対応した二次元像が位置する投影位置は、カメラの結像面での撮影範囲にある。即ち、カメラの撮影範囲が目標物体に対応した二次元像を完全にカバーすることができる場合に、目標物体が当該カメラによって撮影されることができると決定し、これにより、当該カメラが目標物体を選別するための目標カメラとなる。
0034
具体的には、目標物体を二次元結像平面に投影する方法は、下述式を参照することができる。
0036
カメラの内部パラメータ(Camera Intrinsics)は、
であり、ここで、fxとfyは、画素を単位とする焦点距離であり、(cx、cy)がカメラ主点(principal point)の位置座標である。
0037
三次元点を結像面(撮影された画像)に投影する二次元点の式は、
であり、ここで、(u、v)は、撮影された画像が位置する平面での画素座標であり、画像の幅をwとし、高さをhとし、0<=u<w 且つ0<=v<hであると、当該三次元点(u、v)を画像に投影できることを決定し、即ち、目標物体は当該カメラによって完全に撮影することができる。
0038
任意に、目標物体の地図における位置情報、及び各前記カメラの撮影パラメータに基づいて、前記目標物体の各前記カメラの結像面における投影位置を決定し、前記目標物体の投影位置が前記結像面の撮影範囲内にあるカメラを、前記目標カメラとして決定するステップは、各前記カメラの焦点距離が小さい順に従い、カメラを現在の選択対象カメラとして順次に選択するステップと、前記目標物体の地図における位置情報、及び現在の選択対象カメラの撮影パラメータに基づいて、前記目標物体の前記現在の選択対象カメラの結像面における投影位置を決定するステップと、前記目標物体の投影位置が前記結像面の撮影範囲内にある場合に、前記現在の選択対象カメラを前記目標カメラとして決定するステップとを含む。
0039
本発明の実施例に係る各カメラは、異なる焦点距離を有し、焦点距離の大きさで、カメラが目標物体に対応した目標カメラであるか否かを順次に判断することができる。同一の撮影距離で、焦点距離が小さければ、目標物体に対応した結像範囲が大きくなり、カメラの撮影範囲を超えることもある。そのため、焦点距離が小さい順に従って、一つずつ判断し、その中から、目標物体を完全に撮影できる最初の目標カメラを選別するので、後続の焦点距離の大きいカメラに対して判断する必要がなく、最初のカメラを選択して当該目標物体の画像を撮影すれば、物体識別に対して最も有利であり、最も鮮明な画像であることになる。
0040
当然ながら、目標カメラは、一つに限られるものではなく、画像識別が失敗した後、目標カメラを変更してもよい。
0041
カメラの焦点距離が小さい順に従って、目標カメラを一つずつ判断することにより、全てのカメラに対して判断を行うことを回避し、目標カメラの選別効率を向上させることができる。
0042
任意に、現在の選択対象カメラを目標カメラとして決定するステップの後、さらに、後続のカメラの決定操作を停止させるステップを含む。最終決定された目標カメラは、目標物体を完全に撮影することができ、即ち、目標カメラによって撮影された画像は、目標物体をカバーすることができる。
0043
具体的には、現在の選択対象カメラを目標カメラとして決定した後、後続のカメラに対して判断する必要がなく、当該現在の選択対象カメラを目標カメラとし、これにより決定された目標カメラによって、目標物体の撮影画像が目標物体をカバーすることができる。また、目標物体の画像での結像範囲が最大となり、即ち、画像が最も鮮明になる。これにより、目標物体の画像の鮮明度を向上させることができ、目標物体識別の正確率を向上させることができる。
0044
S220において、前記目標カメラが前記目標物体の画像を撮影するように制御する。
0045
目標カメラを決定した後、当該目標カメラが撮影するように制御し、目標物体の最適な撮影画像を取得する。
0046
S230において、前記目標カメラによって撮影された画像を取得し、前記目標物体を識別する。
0047
最適な撮影画像によって目標物体識別を行い、さらに識別正確率を向上させる。
0048
本発明の実施例は、目標物体の位置情報及びカメラの撮影パラメータに基づいて決定された投影位置が結像面の撮影範囲にあるカメラを目標カメラとして決定することにより、目標カメラが目標物体画像を完全に撮影し、さらに、目標物体を正確に識別することができる。
0049
実施例3
図3は、本発明の実施例3に係る物体識別装置の構造模式図であり、当該物体識別装置は、車載機器に設置され、図3に示すように前記装置は、具体的に、目標カメラ選別モジュール310、カメラ撮影モジュール320、画像取得・識別モジュール330を含む。
0050
目標カメラ選別モジュール310は、目標物体の地図における位置情報、及び少なくとも二つの焦点距離を使用する少なくとも二つのカメラの撮影パラメータに基づいて、各前記カメラから前記目標物体とマッチングする目標カメラを選別する。
0051
カメラ撮影モジュール320は、前記目標カメラが前記目標物体の画像を撮影するように制御する。
0052
画像取得・識別モジュール330は、前記目標カメラによって撮影された画像を取得し、前記目標物体を識別する。
0053
本発明の実施例は、目標物体の地理位置、及び焦点距離がそれぞれ異なる複数のカメラの撮影パラメータに基づいて、目標物体を鮮明に撮影できる目標カメラを選択し、目標物体を撮影することにより、撮影された画像によって目標物体識別を行う。これにより、従来技術において単一焦点距離のカメラによる撮影範囲が全ての信号灯をカバーすることができないため、信号灯検出情報が不完全であり、検出することすらできなかったという問題を解決することができ、各信号灯に対してそれぞれ最適なカメラを選択し、取得された画像が全ての信号灯をカバーし、視野に制限があることを回避するとともに、鮮明な画像を保証し、信号灯を的確に検出することができる。
0054
さらに、前記目標カメラ選別モジュール310は、具体的には、目標物体の地図における位置情報、及び各前記カメラの撮影パラメータに基づいて、前記目標物体の各前記カメラの結像面における投影位置を決定し、前記目標物体の投影位置が前記結像面の撮影範囲内にあるカメラを、前記目標カメラとして決定する。
0055
さらに、前記目標カメラ選別モジュール310は、具体的には、各前記カメラの焦点距離が小さい順に、カメラを現在の選択対象カメラとして順次に選択し、前記目標物体の地図における位置情報、及び現在の選択対象カメラの撮影パラメータに基づいて、前記目標物体の前記現在の選択対象カメラの結像面における投影位置を決定し、前記目標物体の投影位置が前記結像面の撮影範囲内にある場合に、前記現在の選択対象カメラを前記目標カメラとして決定する。
0056
さらに、前記装置は、具体的には、後続のカメラの決定操作を停止させる。
0057
さらに、前記撮影パラメータは、焦点距離、光学中心、及び歪曲収差係数を含む内部パラメータと、ワールド座標系からカメラ座標系への変換行列を含む外部パラメータとを含む。
0058
さらに、前記装置は、具体的には、各前記カメラが取付けられた車両の位置を取得し、前記車両の位置によって交差点に位置すると決定された場合に、地図データから前記交差点での信号灯の三次元位置情報を、目標物体の位置情報として取得する。
0060
実施例4
図4は、本発明の実施例四に係る機器の構造模式図である。図4は、本発明の実施形態の実現に適する例示的な機器412を示すブロック図である。図4に示す機器412は、1つの例示に過ぎず、本発明の実施例の機能及び使用範囲を限定するものではない。
0061
図4に示すように、機器412は、汎用な計算機器の形式で表現される。機器412の構成要素は、1つまたは複数のプロセッサまたは処理手段416と、システムメモリ428と、異なるシステム構成要素(システムメモリ428と処理手段416)を接続するためのバス418とを含んでいてもよいが、これらに限定されない。機器412は、車載機器であってもよい。
0062
バス418は、複数種類のバス構造における1つまたは複数を示し、メモリバスまたはメモリ制御器、外装バス、グラフィックス高速化ポート、プロセッサまたは複数種類のバス構造における何れのバス構造のローカルバスなどを含む。例えば、これらのアーキテクチャ構造は、工業基準体系構造(Industry Standard Architecture、ISA)バス、マイクロチャネルのアーキテクチャー(Micro Channel Architecture、MAC)バス、増強型ISAバス、ビデオ電子基準協会(Video Electronics StandardsAssociation、VESA)ローカルバス及び周辺コンポーネント相互接続(Peripheral Component Interconnect、PCI)バスなどを含んでいても良いが、これらに限定されない。
0063
機器412は、代表的に複数のコンピュータシステム可読媒体を含んでいる。これらの媒体は、何れの機器412によって接続できる利用可能な媒体で、揮発性及び不揮発性媒体と、ポータブル又はアンポータブルな媒体を含んでいてもよい。
0064
システムメモリ428は、発揮性メモリ形式のコンピュータシステム可読媒体、例えば、ランダム・アクセス・メモリ(RAM)430及び/又は高速キャッシュメモリ432を含んでいてもよい。機器412は、さらに、他のポータブル又はアンポータブルな、揮発性/不揮発性コンピュータシステム記憶媒体を含んでいてもよい。ただ一例として、記憶システム444は、アンポータブルな、不揮発性磁気媒体(図4に示していない、通常、「ハードウェアドライバ」と呼ばれる)の読み書きに用いられてもよい。図4に示していないが、ポータブルな不揮発性磁気ディスク(例えば、「フロッピー(登録商標)ディスク」)に読み書くことができる磁気ディスクドライバ、及びポータブルな不揮発性光ディスク(例えば、CD−ROM、DVD−ROMまたは他の光媒体)に読み書きすることができる光ディスクドライバを提供しても良い。これらの場合、各ドライバは、1つまたは複数のデータ媒体インターフェースでバス418に接続してもよい。メモリ428は、少なくとも1つのプログラム製品を含んでいてもよく、当該プログラム製品は、一組(例えば、少なくとも1つの)のプログラムモジュールを備えており、これらのプログラムモジュールは本発明の各実施例の機能を実行するように配置されている。
0065
一組(少なくとも1つの)のプログラムモジュール442を有するプログラム/実用的なアプリ440は、例えばシステムメモリ428に記憶されていてもよく、このようなプログラムモジュール442は、操作システム、1つまたは複数のアプリケーションプログラム、他のプログラムモジュール及びプログラムデータを含んでも良いが、これらに限定されない。これらの例示に於ける一種類毎又はある組合せにはネットワーク環境での実現を含んでいてもよい。プログラムモジュール442は、通常、本発明に記載した実施例における機能及び/又は方法を実行する。
0066
機器412は、1つまたは複数の外部機器414(例えば、キーボード、ポインティング機器、ディスプレイ424など)と通信してもよく、ユーザが当該機器412と対話できる1つまたは複数の機器と通信してもよく、及び/又は当該機器412が1つまたは複数の他の計算機器と通信できる何れの機器(例えば、ネットワークボード、モデムなど)と通信してもよい。このような通信は、入力/出力(I/O)インターフェース422を通じて実行できる。また、機器412は、ネットワークアダプター420で1つまたは複数のネットワーク(例えば、ローカルネットワーク(LAN)、広域ネットワーク(WAN)及び/又は公共ネットワーク、例えば、インターネットワーク)と通信してもよい。図に示すように、ネットワークアダプター420は、バス418で機器412の他のモジュールと通信する。図4に示していないが、機器412を結合して、マイクロコード、機器ドライバ、冗長処理手段、外部磁気ディスクドライバアレイ、RAIDシステム、磁気テープドライバ及びデータバックアップ記憶システムなどを含む他のハードウェア及び/又はソフトウェアモジュールを利用することができるが、これらに限定されない。
0067
処理ユニット416は、システムメモリ428に記憶されているプログラムを実行することにより、各種機能アプリおよびデータ処理を実行し、例えば、図1に対応する実施例で提供される物体識別方法を実現する。
0068
即ち、前記処理ユニットは、前記プログラムを実行する場合に目標物体の地図における位置情報、及び少なくとも二つの焦点距離を使用する少なくとも二つのカメラの撮影パラメータに基づいて、各前記カメラから前記目標物体とマッチングする目標カメラを選別することと、前記目標カメラが目標物体の画像を撮影するように制御することと、前記目標カメラによって撮影された画像を取得し、前記目標物体を識別することとを実現する。
0069
本発明の実施例は、さらに、少なくとも車体を含む車両を提供し、当該車両は、さらに、本発明の任意の実施例に係る機器、及び車体に設置された、少なくとも二つの焦点距離を使用する少なくとも二つのカメラを含む。当該機器は、車体での車載制御機器であってもよい。当該車両は、無人運転の車両が好ましく、または、車両周りの環境での物体識別を行う必要がある他の車両であってもよい。
0070
実施例5
本発明の実施例5は、さらにコンピュータプログラムが記憶されているコンピュータ可読記憶媒体を提供し、当該プログラムがプロセッサによって実行される場合に、本願の全ての発明実施例に係る物体識別方法を実現する。前記方法は、目標物体の地図における位置情報、及び少なくとも二つの焦点距離を使用する少なくとも二つのカメラの撮影パラメータに基づいて、各前記カメラから前記目標物体とマッチングする目標カメラを選別するステップと、前記目標カメラが目標物体の画像を撮影するように制御するステップと、前記目標カメラによって撮影された画像を取得し、前記目標物体を識別するステップとを含む。
0071
本発明の実施例に係るコンピュータメモリは、1つまたは複数のコンピュータ可読媒体の何れの組み合わせを使用してもよい。コンピュータ可読媒体は、コンピュータ可読信号媒体、またはコンピュータ可読記憶媒体であってもよい。コンピュータ可読記憶媒体は、例えば、電気、磁気、光学、電磁、赤外線、または半導体のシステム、装置または機器、又はこれらの何れの組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例(非網羅的なリスト)としては、1つまたは複数のリード線を有する電気的接続、携帯型コンピュータディスク、ハードディスク、ランダム・アクセス・メモリ(RAM)、読み出し専用メモリ(ROM)、イーピーロム(EPROMまたはフラッシュメモリ)、光ファイバ、携帯コンパクトディスク読み出し専用メモリ(CD−ROM)、光記憶装置、磁気記憶装置、またはこれらの何れの適切な組み合わせを含む。本明細書において、コンピュータ可読記憶媒体は、命令実行システム、装置または機器によって利用できまたはこれらと組み合わせて利用できるプログラムを含みまたは記憶している何れかの有形媒体であってもよい。
0072
コンピュータ可読信号媒体は、ベースバンドにおいてまたはキャリヤーの一部として伝播するコンピュータ可読なプログラムコードを搭載したデータ信号を含んでいてもよい。このような伝播するデータ信号は、様々な形態をとることができ、電磁信号、光信号、またはこれらの何れの適切な組み合わせを含んでいてもよいが、これらに限定されない。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体以外の何れかのコンピュータ可読媒体であってもよく、当該コンピュータ可読媒体は、命令実行システム、装置または機器によって使用されまたはこれらに結合されて使用されるプログラムを送信、伝播、伝送することができる。
0074
1つまたは複数のプログラム設計言語またはこれらの組合せで、本発明の動作を実行するためのコンピュータプログラムコードを書き込むことができ、前記プログラム設計言語は、オブジェクト指向プログラミング言語、例えばJava(登録商標)、Smalltalk、C++を含み、常用の過程式プログラム設計言語、例えば「C」言語または類似なプログラム設計言語を含む。プログラムコードは、完全にユーザのコンピュータ上で実行されてもよく、一部はユーザのコンピュータで実行されて1つの独立したソフトウェアパッケージとして実行されてもよく、一部はユーザのコンピュータで、一部はリモートコンピュータで実行されてもよく、または、完全にリモートコンピュータまたはサーバーで実行されてもよい。リモートコンピュータに関する場合は、リモートコンピュータは、ローカル・エリア・ネットワーク(LAN)またはワイド・エリア・ネットワーク(WAN)を含む何れの種類のネットワークを介して、ユーザコンピュータに接続されてもよく、あるいは、外部コンピュータ(例えば、インターネット・サービス・プロバイダを利用してインターネットを介して接続する)に接続してもよい。