図面 (/)

技術 物体識別方法、装置、機器、車両及び媒体

出願人 バイドゥオンラインネットワークテクノロジー(ベイジン)カンパニーリミテッド
発明者 グイ,イーリンガオ,ハンリー,キシア,ティアン
出願日 2019年8月29日 (1年5ヶ月経過) 出願番号 2019-156514
公開日 2020年3月5日 (11ヶ月経過) 公開番号 2020-035447
状態 未査定
技術分野 交通制御システム
主要キーワード 発揮性メモリ 選別モジュール 識別誤差 ピーロム 識別効率 車載制御機器 外界環境 機能アプリ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年3月5日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (6)

課題

信号灯検出情報不完全となるか、または検出できない場合が生じない、物体識別方法、装置、機器、車両及び媒体を提供する

解決手段

物体識別方法は、目標物体の地図における位置情報、及び少なくとも二つの焦点距離を使用する少なくとも二つのカメラ撮影パラメータに基づいて、各カメラから目標物体とマッチングする目標カメラを選別するステップと、目標カメラが目標物体の画像を撮影するように制御するステップと、目標カメラによって撮影された画像を取得し、目標物体を識別するステップとを含む。環境での物体が多くて状況が複雑である場合に、物体画像を完全、かつ正確に識別することができる。

概要

背景

無人運転技術は、近年、急速に発展している技術である。概略的な技術構想は、自動車無人車両ステムインストールし、外界環境に対して感知識別を行い、さらに、自動車の走行過程を制御する。そのため、無人車両システムにおいて、無人車両感知システムは、重要な機能システムである。通常、自動車に種々の感知装置、例えばレーザレーダ、複数のカメラ及び種々のセンサなどを取付け、カメラにより画像を取得し、画像識別に基づいて自動車外部環境に対して感知識別を行うことは、重要な感知手段の一つである。

画像感知により、外部環境でのいろいろな物体、典型的には、交通標識交差点での信号灯変化などを検出することができる。交差点での信号灯については、交差点の道路状況が複雑なため、同側に複数の信号灯、例えば、左折灯、直進灯、及び歩行者灯などが設置されることも可能である。

画像により識別する場合に単一焦点距離のカメラを用いると、視野に制限があるという問題が存在する。単一焦点距離のカメラによる撮影では全ての信号灯をカバーすることができないため、信号灯検出情報不完全となるか、または検出できない場合がある。

概要

信号灯検出情報が不完全となるか、または検出できない場合が生じない、物体識別方法、装置、機器、車両及び媒体を提供する物体識別方法は、目標物体の地における位置情報、及び少なくとも二つの焦点距離を使用する少なくとも二つのカメラの撮影パラメータに基づいて、各カメラから目標物体とマッチングする目標カメラを選別するステップと、目標カメラが目標物体の画像を撮影するように制御するステップと、目標カメラによって撮影された画像を取得し、目標物体を識別するステップとを含む。環境での物体が多くて状況が複雑である場合に、物体画像を完全、かつ正確に識別することができる。

目的

本発明の実施例は、物体識別方法、装置、機器、車両及び媒体を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

目標物体の地図における位置情報、及び少なくとも二つの焦点距離を使用する少なくとも二つのカメラ撮影パラメータに基づいて、各前記カメラから前記目標物体とマッチングする目標カメラを選別するステップと、前記目標カメラが前記目標物体の画像を撮影するように制御するステップと、前記目標カメラによって撮影された画像を取得し、前記目標物体を識別するステップと、を含むことを特徴とする、物体識別方法

請求項2

目標物体の地図における位置情報、及び少なくとも二つのカメラの撮影パラメータに基づいて、各前記カメラから前記目標物体とマッチングする目標カメラを選別するステップは、目標物体の地図における位置情報、及び各前記カメラの撮影パラメータに基づいて、前記目標物体の各前記カメラの結像面における投影位置を決定し、前記目標物体の投影位置が前記結像面の撮影範囲内にあるカメラを、前記目標カメラとして決定するステップを含むことを特徴とする、請求項1に記載の方法。

請求項3

目標物体の地図における位置情報、及び各前記カメラの撮影パラメータに基づいて、前記目標物体の各前記カメラの結像面における投影位置を決定し、前記目標物体の投影位置が前記結像面の撮影範囲内にあるカメラを、前記目標カメラとして決定するステップは、各前記カメラの焦点距離が小さい順に従い、カメラを現在の選択対象カメラとして順次に選択するステップと、目標物体の前記地図における位置情報、及び現在の選択対象カメラの撮影パラメータに基づいて、前記目標物体の前記現在の選択対象カメラの結像面における投影位置を決定するステップと、前記目標物体の投影位置が前記結像面の撮影範囲内にある場合に、前記現在の選択対象カメラを前記目標カメラとして決定するステップと、を含むことを特徴とする、請求項2に記載の方法。

請求項4

前記現在の選択対象カメラを前記目標カメラとして決定した後、さらに、後続のカメラの決定操作を停止させるステップを含むことを特徴とする、請求項3に記載の方法。

請求項5

前記撮影パラメータは、焦点距離、光学中心、及び歪曲収差係数を含む内部パラメータと、ワールド座標系からカメラ座標系への変換行列を含む外部パラメータと、を含むことを特徴とする、請求項1に記載の方法。

請求項6

各前記カメラから前記目標物体とマッチングする目標カメラを選別する前に、さらに、各前記カメラが取付けられた車両の位置を取得するステップと、前記車両の位置に基づいて交差点に位置していると決定された場合に、地図データから前記交差点での信号灯三次元位置情報を、目標物体の位置情報として取得するステップと、を含むことを特徴とする、請求項1に記載の方法。

請求項7

目標物体の地図における位置情報、及び少なくとも二つの焦点距離を使用する少なくとも二つのカメラの撮影パラメータに基づいて、各前記カメラから前記目標物体とマッチングする目標カメラを選別するための目標カメラ選別モジュールと、前記目標カメラが前記目標物体の画像を撮影するように制御するためのカメラ撮影モジュールと、前記目標カメラによって撮影された画像を取得し、前記目標物体を識別するための画像取得識別モジュールと、を含むことを特徴とする、物体識別装置

請求項8

一つ又は複数のプロセッサと一つ又は複数のプログラムを記憶するための記憶装置と、を含む機器であって、前記一つ又は複数のプログラムが前記一つ又は複数のプロセッサによって実行される場合に、前記一つ又は複数のプロセッサが請求項1〜6のいずれかに記載の物体識別方法を実現することを特徴とする、機器。

請求項9

車体を含む車両であって、請求項8に記載の機器と、車体に設置され、少なくとも二つの焦点距離を使用する少なくとも二つのカメラと、をさらに含むことを特徴とする、車両。

請求項10

コンピュータプログラムが記憶されている記憶媒体であって、当該プログラムがプロセッサによって実行される場合に、請求項1〜6のいずれかに記載の物体識別方法が実現されることを特徴とする、記憶媒体。

技術分野

0001

本発明の実施例は、画像処理技術に関し、特に、物体識別方法、装置、機器、車両及び媒体に関する。

背景技術

0002

無人運転技術は、近年、急速に発展している技術である。概略的な技術構想は、自動車無人車両ステムインストールし、外界環境に対して感知識別を行い、さらに、自動車の走行過程を制御する。そのため、無人車両システムにおいて、無人車両感知システムは、重要な機能システムである。通常、自動車に種々の感知装置、例えばレーザレーダ、複数のカメラ及び種々のセンサなどを取付け、カメラにより画像を取得し、画像識別に基づいて自動車外部環境に対して感知識別を行うことは、重要な感知手段の一つである。

0003

画像感知により、外部環境でのいろいろな物体、典型的には、交通標識交差点での信号灯変化などを検出することができる。交差点での信号灯については、交差点の道路状況が複雑なため、同側に複数の信号灯、例えば、左折灯、直進灯、及び歩行者灯などが設置されることも可能である。

0004

画像により識別する場合に単一焦点距離のカメラを用いると、視野に制限があるという問題が存在する。単一焦点距離のカメラによる撮影では全ての信号灯をカバーすることができないため、信号灯検出情報不完全となるか、または検出できない場合がある。

0005

本発明の実施例は、物体識別方法、装置、機器、車両及び媒体を提供することにより、環境での物体が多く状況が複雑な場合であっても、物体画像を完全、かつ正確に識別することができる。

0006

第1形態において、本発明の実施例は、目標物体の地図における位置情報、及び少なくとも二つの焦点距離を使用する少なくとも二つのカメラの撮影パラメータに基づいて、各前記カメラから前記目標物体とマッチングする目標カメラを選別するステップと、前記目標カメラが前記目標物体の画像を撮影するように制御するステップと、前記目標カメラによって撮影された画像を取得し、前記目標物体を識別するステップと、を含む物体識別方法を提供する。

0007

第2形態において、本発明の実施例は、さらに、目標物体の地図における位置情報、及び少なくとも二つの焦点距離を使用する少なくとも二つのカメラの撮影パラメータに基づいて、各前記カメラから前記目標物体とマッチングする目標カメラを選別するための目標カメラ選別モジュールと、前記目標カメラが前記目標物体の画像を撮影するように制御するための制御カメラ撮影モジュールと、前記目標カメラによって撮影された画像を取得し、前記目標物体を識別するための画像取得識別モジュールと、を含む、物体識別装置を提供する。

0008

第3形態において、本発明の実施例は、さらに、メモリプロセッサ、及びメモリに記憶されている、プロセッサにより実行可能なコンピュータプログラムを含む機器を提供し、前記プロセッサによって前記プログラムが実行される場合に、本発明の実施例のいずれか一つに記載の物体識別方法を実現する。

0009

第4形態において、本発明の実施例は、更に、車体を含む車両を提供し、前記車両は、更に、本発明の実施例のいずれか一つによって提供される機器、及び車体に設置された、少なくとも二つの焦点距離を使用する少なくとも二つのカメラを含む。

0010

第5形態において、本発明の実施例は、更に、コンピュータプログラムが記憶されているコンピュータ可読記憶媒体を提供し、当該プログラムがプロセッサによって実行される場合に、本発明の実施例のいずれか一つに記載の物体識別方法が実現される。

0011

本発明の実施例は、目標物体の地理位置、及び焦点距離がそれぞれ異なる複数のカメラの撮影パラメータに基づいて、目標物体を鮮明に撮影できる目標カメラを選択し、目標物体を撮影することにより、撮影された画像によって目標物体識別を行う。これにより、従来技術において単一焦点距離のカメラによる撮影範囲が全ての信号灯をカバーすることができないため、信号灯検出情報が不完全となり、検出することすらできなかったという問題を解決し、各信号灯に対してそれぞれ最適なカメラを選択し、取得された画像が全ての信号灯をカバーすることで、視野に制限がかかることを回避して、鮮明な画像の提供を保証し、信号灯の的確な検出を実現することができる。

図面の簡単な説明

0012

本発明の実施例1に係る物体識別方法のフローチャートである。
本発明の実施例2に係る物体識別方法のフローチャートである。
本発明の実施例2に係るカメラ結像原理模式図である。
本発明の実施例2に係る物体識別装置の構造模式図である。
本発明の実施例4に係る機器の構造模式図である。

実施例

0013

以下に、図面を参照しながら本開示の実施例をさらに詳しく説明する。なお、本開示の図面及び実施例は、例示的な作用を奏し、本開示の保護範囲を限定するものではないと理解すべきである。さらに、説明の便宜上、図面には全部の構造ではなく、本発明に係る一部のみを示す。

0014

実施例1
図1は、本発明の実施例1に係る物体識別方法のフローチャートである。本実施例は、車載カメラが信号灯を検出する場合に、特に無人車両の車載カメラが信号灯を検出する場合に適用でき、当然ながら、他の物体を検出する場合にも適用できる。当該方法は、本発明の実施例によって提供される物体識別装置により実行されてもよく、当該装置は、ソフトウェア及び/又はハードウェアとして実現することができ、通常、車載機器、例えば無人運転の車両の制御機器集積することができる。図1に示すように、本実施例に係る方法は、具体的には、以下のステップS110〜S130を含む。

0015

S110において、目標物体の地図における位置情報、及び少なくとも二つの焦点距離を使用する少なくとも二つのカメラの撮影パラメータに基づいて、各前記カメラから前記目標物体とマッチングする目標カメラを選別する。

0016

具体的には、目標物体とは、固定して移動しないか、又は移動の頻度が低い物体を意味し、カメラとは、移動する物体に取付けられたカメラを意味する。

0017

本実施例では、目標物体は、具体的には、信号灯、例えば左折灯、直進灯、及び歩行者灯などを意味し、地図における信号灯の測位情報とは、測位システムによって取得された信号灯の位置データを意味し、カメラとは、自動車上に取付けられたカメラ、特に無人車両上に取付けられたカメラを意味する。

0018

信号灯の測位情報は、カメラが取付けられた車両の測位情報により決定することができる。任意に、各カメラから目標物体とマッチングする目標カメラを選別するステップの前に、更に、各カメラが取付けられた車両の位置を取得するステップと、車両の位置によって交差点に位置していると決定された場合に、地図データから交差点での信号灯の三次元位置情報を、目標物体の位置情報として取得するステップとを含んでも良い。

0019

具体的には、車両の位置は、車両でのナビゲーションシステムにおける測位モジュール、例えば全地球測位システムモジュールにより取得することができる。車両の位置から、車両に取付けられたカメラが間もなく交差点を通行するか否かを判断することにより、車両が交差点に位置する時に、識別が必要な信号灯を決定し、交差点で複数の信号灯を有する可能性があるため、信号灯に対応した三次元位置情報をそれぞれ取得し、信号灯を一つずつ目標物体として選択するとともに、三次元位置情報を対応して取得することができる。

0020

カメラのある車両の位置により、車両が交差点に位置していると決定された場合に、交差点での信号灯の三次元位置情報を取得することにより、信号灯の位置を正確に決定することができ、さらに、信号灯の位置によってカメラを選別することにより、当該信号灯の撮影に最適なカメラを決定することができる。

0021

自動車のカメラは、通常、自動車が走行している過程で、信号灯を撮影し、この際の撮影の角度、範囲のいずれにも、標準データがない。単一焦点距離のカメラを使用すると、その撮影範囲が狭いので、信号灯をカバーすることができず、焦点距離の異なる複数のカメラを使用して信号灯を撮影すれば、信号灯をカバーすることができるが、複数の撮影画像に対して信号灯を識別する必要があるので、識別データ量が多くなり、識別効率が低くなり、いくつかの撮影の画質劣化による識別誤差が大きくなる。このような状況に対して、本実施例は、自動車に複数のカメラが設定され、且つカメラの焦点距離が異なり、また、カメラの撮影パラメータ及び各信号灯の測位情報によって、各信号灯に対して焦点距離が適切な一つのカメラを選別することにより、信号灯に対して最適なカメラを選択して撮影を行う。これにより、異なる道路交通状況適応することができ、撮影された画像が信号灯を完全に覆ることを保証できるだけではなく、撮影された画像が鮮明であることも保証することができる。

0022

S120において、前記目標カメラが、前記目標物体の画像を撮影するように制御される。

0023

選択された目標カメラにより目標物体の画像を撮影することができる。具体的な実施態様において、まず、目標カメラがプレビュー画像を取得するように制御され、目標カメラの選別を行った後、撮影を起動してもよい。または、まず、全てのカメラが画像を撮影するように制御され、即ち、目標カメラと非目標カメラのいずれもが画像を撮影するように制御した後、それらの中から、目標カメラを選択してもよい。そのため、前述のS110とS120の順番は限定されない。

0024

S130において、前記目標カメラによって撮影された画像を取得し、前記目標物体を識別する。

0025

取得された画像について、画像における信号灯の色及び形状によって、信号灯のタイプ、例えば歩行者灯、方向指示灯、自動車線信号灯、軽車両線信号灯などを決定することができる。さらに、信号灯の色、形状や時間情報によって、信号灯の指示情報を取得してもよく、例えば、赤色が通行禁止を示し、緑色が通行可能を示し、及び黄色が警告を示し、歩行者パターンは、当該信号灯が人行道を指示するための信号であることを示し、数字パターンは、現在の時刻から当該信号灯が信号変化する時刻までの時間を示すことができる。

0026

本発明の実施例は、目標物体の地理位置、及び焦点距離がそれぞれ異なる複数のカメラの撮影パラメータに基づいて、目標物体を鮮明に撮影できる目標カメラを選択し、目標物体を撮影することにより、撮影された画像によって目標物体識別を行う。これにより、従来技術では、単一焦点距離のカメラによる撮影範囲が全ての信号灯をカバーすることができないため、信号灯検出情報が不完全となり、検出することすらできなかったという問題を解決し、各信号灯に対してそれぞれ最適なカメラを選択し、取得された画像が全ての信号灯をカバーし、視野に制限があることを回避するとともに、鮮明な画像を保証し、信号灯を的確に検出することができる。

0027

実施例2
図2aは、本発明の実施例2に係る物体識別方法のフローチャートである。本実施例は、本発明の実施例1を基に、さらに具体化し、目標物体の地図における位置情報、及び少なくとも二つのカメラの撮影パラメータに基づいて、各前記カメラから前記目標物体とマッチングする目標カメラを選別するステップを、目標物体の地図における位置情報、及び各前記カメラの撮影パラメータに基づいて、前記目標物体の各前記カメラの結像面における投影位置を決定し、前記目標物体の投影位置が前記結像面の撮影範囲内にあるカメラを、前記目標カメラとして決定するステップに具体化した。

0028

図2aに示すように、当該方法は、具体的には、ステップS210〜S230を含む。

0029

S210において、目標物体の地図における位置情報、及び各前記カメラの撮影パラメータに基づいて、前記目標物体の各前記カメラの結像面における投影位置を決定し、前記目標物体の投影位置が前記結像面の撮影範囲内にあるカメラを、前記目標カメラとして決定する。前記少なくとも二つのカメラは、少なくとも二つの焦点距離を使用する。

0030

ここで、目標物体、測位情報、撮影パラメータは、前記実施例についての説明を参照してもよい。カメラの撮影パラメータは、内部パラメータ外部パラメータを含んでもよく、内部パラメータは、具体的に、焦点距離、光学中心、及び歪曲収差係数を含んでもよく、外部パラメータは、具体的に、ワールド座標系からカメラ座標系への変換行列を含んでも良い。

0031

具体的には、図2bは、本発明の実施例に係るカメラ結像の原理模式図を示す。図2bに示すように、被写点101が薄型レンズ102を通じて形成された結像点103は、感光平面107上に位置し、光軸105は、薄型レンズ102の二つの球面の球心を通過する直線であり、光学中心102とは、薄型レンズ102の光軸上に位置し、入射光が通過する時に進行方向が変化しない点を意味し、撮影距離L1とは、被写点101から感光平面107までの距離を意味し、物体距離L2とは、被写点101から薄型レンズ102が位置する平面までの距離を意味し、像距離L3とは、薄型レンズ102が位置する平面から感光平面107までの距離を意味し、焦点距離L4とは、焦点104から薄型レンズ102が位置する平面までの距離を意味する。

0032

ここで、目標物体は、レンズを通じて結像し、レンズの光学特性により、虚像歪曲収差が発生することがある。歪曲収差は、光学レンズ本来の透視歪みであり、歪曲収差係数は、歪み画像矯正するためのパラメータである。ワールド座標系は、絶対座標系を意味し、本実施例では、ワールド座標系は、地図での座標系を意味する。カメラ座標系とは、カメラを基点として新たに構築した座標系を意味し、ここでは、各カメラのカメラ座標系が異なる。複数のカメラから目標カメラを判断する必要があるため、それぞれ目標物体に対してプレビュー結像を行う必要がある。また、各カメラによって撮影された画像は、実際に各カメラに対応したカメラ座標系に位置し、画像を解析する時に、取得された目標物体の位置情報は、実際のワールド座標系での測位情報であり、測位情報に対してワールド座標系からカメラ座標系に対応して変換する必要があり、ワールド座標系からカメラ座標系への変換行列によって、測位情報に対して変更し、各カメラ座標系での測位情報を取得することができる。前記ワールド座標系からカメラ座標系への変換行列は、無人車両の測位情報(即ち、測位機器の測位情報)及びカメラから測位機器までの変更行列によって計算し得る。車両の測位情報は、実際の車両での測位機器の測位情報を指し、測位機器の位置とカメラの位置とは異なるため、測位情報(即ち測位機器の測位情報)及びカメラから測位機器までの変更行列によって、ワールド座標系からカメラ座標系への変換行列を決定する必要がある。ここで、無人車両の測位情報は、車両の位置によってリアルタイムに変化するが、無人車両での測位機器とカメラとは、相対的に静止(固定)し、即ち、カメラから測位機器までの変更パラメータは固定される。

0033

結像面は、図2bに示す感光平面107を参照してもよく、目標物体は、複数の点からなると考えられ、各点は、図2bに示す被写点101を参照してもよい。結像面における目標物体の実像は、複数の像点からなると考えられ、各像点は、図2bに示す結像点103を参照してもよい。目標物体が三次元物体であり、結像面が二次元平面であるため、実際に、目標物体に対応した実像が三次元であり、実像は、結像面で投影して二次元像を生成することができる。目標物体に対応した二次元像が位置する投影位置は、カメラの結像面での撮影範囲にある。即ち、カメラの撮影範囲が目標物体に対応した二次元像を完全にカバーすることができる場合に、目標物体が当該カメラによって撮影されることができると決定し、これにより、当該カメラが目標物体を選別するための目標カメラとなる。

0034

具体的には、目標物体を二次元結像平面に投影する方法は、下述式を参照することができる。

0035

まず、三次元点ワールド座標をPwと仮定し、




カメラの外部パラメータ(Camera Extrinsics)は、




である。ここで、Rが回転行列であり、tが並進ベクトルである。

0036

カメラの内部パラメータ(Camera Intrinsics)は、



であり、ここで、fxとfyは、画素を単位とする焦点距離であり、(cx、cy)がカメラ主点(principal point)の位置座標である。

0037

三次元点を結像面(撮影された画像)に投影する二次元点の式は、



であり、ここで、(u、v)は、撮影された画像が位置する平面での画素座標であり、画像の幅をwとし、高さをhとし、0<=u<w 且つ0<=v<hであると、当該三次元点(u、v)を画像に投影できることを決定し、即ち、目標物体は当該カメラによって完全に撮影することができる。

0038

任意に、目標物体の地図における位置情報、及び各前記カメラの撮影パラメータに基づいて、前記目標物体の各前記カメラの結像面における投影位置を決定し、前記目標物体の投影位置が前記結像面の撮影範囲内にあるカメラを、前記目標カメラとして決定するステップは、各前記カメラの焦点距離が小さい順に従い、カメラを現在の選択対象カメラとして順次に選択するステップと、前記目標物体の地図における位置情報、及び現在の選択対象カメラの撮影パラメータに基づいて、前記目標物体の前記現在の選択対象カメラの結像面における投影位置を決定するステップと、前記目標物体の投影位置が前記結像面の撮影範囲内にある場合に、前記現在の選択対象カメラを前記目標カメラとして決定するステップとを含む。

0039

本発明の実施例に係る各カメラは、異なる焦点距離を有し、焦点距離の大きさで、カメラが目標物体に対応した目標カメラであるか否かを順次に判断することができる。同一の撮影距離で、焦点距離が小さければ、目標物体に対応した結像範囲が大きくなり、カメラの撮影範囲を超えることもある。そのため、焦点距離が小さい順に従って、一つずつ判断し、その中から、目標物体を完全に撮影できる最初の目標カメラを選別するので、後続の焦点距離の大きいカメラに対して判断する必要がなく、最初のカメラを選択して当該目標物体の画像を撮影すれば、物体識別に対して最も有利であり、最も鮮明な画像であることになる。

0040

当然ながら、目標カメラは、一つに限られるものではなく、画像識別が失敗した後、目標カメラを変更してもよい。

0041

カメラの焦点距離が小さい順に従って、目標カメラを一つずつ判断することにより、全てのカメラに対して判断を行うことを回避し、目標カメラの選別効率を向上させることができる。

0042

任意に、現在の選択対象カメラを目標カメラとして決定するステップの後、さらに、後続のカメラの決定操作を停止させるステップを含む。最終決定された目標カメラは、目標物体を完全に撮影することができ、即ち、目標カメラによって撮影された画像は、目標物体をカバーすることができる。

0043

具体的には、現在の選択対象カメラを目標カメラとして決定した後、後続のカメラに対して判断する必要がなく、当該現在の選択対象カメラを目標カメラとし、これにより決定された目標カメラによって、目標物体の撮影画像が目標物体をカバーすることができる。また、目標物体の画像での結像範囲が最大となり、即ち、画像が最も鮮明になる。これにより、目標物体の画像の鮮明度を向上させることができ、目標物体識別の正確率を向上させることができる。

0044

S220において、前記目標カメラが前記目標物体の画像を撮影するように制御する。

0045

目標カメラを決定した後、当該目標カメラが撮影するように制御し、目標物体の最適な撮影画像を取得する。

0046

S230において、前記目標カメラによって撮影された画像を取得し、前記目標物体を識別する。

0047

最適な撮影画像によって目標物体識別を行い、さらに識別正確率を向上させる。

0048

本発明の実施例は、目標物体の位置情報及びカメラの撮影パラメータに基づいて決定された投影位置が結像面の撮影範囲にあるカメラを目標カメラとして決定することにより、目標カメラが目標物体画像を完全に撮影し、さらに、目標物体を正確に識別することができる。

0049

実施例3
図3は、本発明の実施例3に係る物体識別装置の構造模式図であり、当該物体識別装置は、車載機器に設置され、図3に示すように前記装置は、具体的に、目標カメラ選別モジュール310、カメラ撮影モジュール320、画像取得・識別モジュール330を含む。

0050

目標カメラ選別モジュール310は、目標物体の地図における位置情報、及び少なくとも二つの焦点距離を使用する少なくとも二つのカメラの撮影パラメータに基づいて、各前記カメラから前記目標物体とマッチングする目標カメラを選別する。

0051

カメラ撮影モジュール320は、前記目標カメラが前記目標物体の画像を撮影するように制御する。

0052

画像取得・識別モジュール330は、前記目標カメラによって撮影された画像を取得し、前記目標物体を識別する。

0053

本発明の実施例は、目標物体の地理位置、及び焦点距離がそれぞれ異なる複数のカメラの撮影パラメータに基づいて、目標物体を鮮明に撮影できる目標カメラを選択し、目標物体を撮影することにより、撮影された画像によって目標物体識別を行う。これにより、従来技術において単一焦点距離のカメラによる撮影範囲が全ての信号灯をカバーすることができないため、信号灯検出情報が不完全であり、検出することすらできなかったという問題を解決することができ、各信号灯に対してそれぞれ最適なカメラを選択し、取得された画像が全ての信号灯をカバーし、視野に制限があることを回避するとともに、鮮明な画像を保証し、信号灯を的確に検出することができる。

0054

さらに、前記目標カメラ選別モジュール310は、具体的には、目標物体の地図における位置情報、及び各前記カメラの撮影パラメータに基づいて、前記目標物体の各前記カメラの結像面における投影位置を決定し、前記目標物体の投影位置が前記結像面の撮影範囲内にあるカメラを、前記目標カメラとして決定する。

0055

さらに、前記目標カメラ選別モジュール310は、具体的には、各前記カメラの焦点距離が小さい順に、カメラを現在の選択対象カメラとして順次に選択し、前記目標物体の地図における位置情報、及び現在の選択対象カメラの撮影パラメータに基づいて、前記目標物体の前記現在の選択対象カメラの結像面における投影位置を決定し、前記目標物体の投影位置が前記結像面の撮影範囲内にある場合に、前記現在の選択対象カメラを前記目標カメラとして決定する。

0056

さらに、前記装置は、具体的には、後続のカメラの決定操作を停止させる。

0057

さらに、前記撮影パラメータは、焦点距離、光学中心、及び歪曲収差係数を含む内部パラメータと、ワールド座標系からカメラ座標系への変換行列を含む外部パラメータとを含む。

0058

さらに、前記装置は、具体的には、各前記カメラが取付けられた車両の位置を取得し、前記車両の位置によって交差点に位置すると決定された場合に、地図データから前記交差点での信号灯の三次元位置情報を、目標物体の位置情報として取得する。

0059

前記物体識別装置は、本発明の任意の実施例に係る物体識別方法を実行し、実行される物体識別方法に相応した機能モジュールと有益な効果を有する。

0060

実施例4
図4は、本発明の実施例四に係る機器の構造模式図である。図4は、本発明の実施形態の実現に適する例示的な機器412を示すブロック図である。図4に示す機器412は、1つの例示に過ぎず、本発明の実施例の機能及び使用範囲を限定するものではない。

0061

図4に示すように、機器412は、汎用計算機器形式表現される。機器412の構成要素は、1つまたは複数のプロセッサまたは処理手段416と、システムメモリ428と、異なるシステム構成要素(システムメモリ428と処理手段416)を接続するためのバス418とを含んでいてもよいが、これらに限定されない。機器412は、車載機器であってもよい。

0062

バス418は、複数種類バス構造における1つまたは複数を示し、メモリバスまたはメモリ制御器外装バス、グラフィックス高速ポート、プロセッサまたは複数種類のバス構造における何れのバス構造のローカルバスなどを含む。例えば、これらのアーキテクチャ構造は、工業基準体系構造(Industry Standard Architecture、ISA)バス、マイクロチャネルアーキテクチャー(Micro Channel Architecture、MAC)バス、増強型ISAバスビデオ電子基準協会(Video Electronics StandardsAssociation、VESA)ローカルバス及び周辺コンポーネント相互接続(Peripheral Component Interconnect、PCI)バスなどを含んでいても良いが、これらに限定されない。

0063

機器412は、代表的に複数のコンピュータシステム可読媒体を含んでいる。これらの媒体は、何れの機器412によって接続できる利用可能な媒体で、揮発性及び不揮発性媒体と、ポータブル又はアンポータブルな媒体を含んでいてもよい。

0064

システムメモリ428は、発揮性メモリ形式のコンピュータシステム可読媒体、例えば、ランダムアクセス・メモリ(RAM)430及び/又は高速キャッシュメモリ432を含んでいてもよい。機器412は、さらに、他のポータブル又はアンポータブルな、揮発性/不揮発性コンピュータシステム記憶媒体を含んでいてもよい。ただ一例として、記憶システム444は、アンポータブルな、不揮発性磁気媒体図4に示していない、通常、「ハードウェアドライバ」と呼ばれる)の読み書きに用いられてもよい。図4に示していないが、ポータブルな不揮発性磁気ディスク(例えば、「フロッピー登録商標ディスク」)に読み書くことができる磁気ディスクドライバ、及びポータブルな不揮発性光ディスク(例えば、CD−ROM、DVD−ROMまたは他の光媒体)に読み書きすることができる光ディスクドライバを提供しても良い。これらの場合、各ドライバは、1つまたは複数のデータ媒体インターフェースでバス418に接続してもよい。メモリ428は、少なくとも1つのプログラム製品を含んでいてもよく、当該プログラム製品は、一組(例えば、少なくとも1つの)のプログラムモジュールを備えており、これらのプログラムモジュールは本発明の各実施例の機能を実行するように配置されている。

0065

一組(少なくとも1つの)のプログラムモジュール442を有するプログラム/実用的なアプリ440は、例えばシステムメモリ428に記憶されていてもよく、このようなプログラムモジュール442は、操作システム、1つまたは複数のアプリケーションプログラム、他のプログラムモジュール及びプログラムデータを含んでも良いが、これらに限定されない。これらの例示に於ける一種類毎又はある組合せにはネットワーク環境での実現を含んでいてもよい。プログラムモジュール442は、通常、本発明に記載した実施例における機能及び/又は方法を実行する。

0066

機器412は、1つまたは複数の外部機器414(例えば、キーボードポインティング機器ディスプレイ424など)と通信してもよく、ユーザが当該機器412と対話できる1つまたは複数の機器と通信してもよく、及び/又は当該機器412が1つまたは複数の他の計算機器と通信できる何れの機器(例えば、ネットワークボードモデムなど)と通信してもよい。このような通信は、入力/出力(I/O)インターフェース422を通じて実行できる。また、機器412は、ネットワークアダプター420で1つまたは複数のネットワーク(例えば、ローカルネットワーク(LAN)、広域ネットワークWAN)及び/又は公共ネットワーク、例えば、インターネットワーク)と通信してもよい。図に示すように、ネットワークアダプター420は、バス418で機器412の他のモジュールと通信する。図4に示していないが、機器412を結合して、マイクロコード機器ドライバ冗長処理手段、外部磁気ディスクドライバアレイ、RAIDシステム、磁気テープドライバ及びデータバックアップ記憶システムなどを含む他のハードウェア及び/又はソフトウェアモジュールを利用することができるが、これらに限定されない。

0067

処理ユニット416は、システムメモリ428に記憶されているプログラムを実行することにより、各種機能アプリおよびデータ処理を実行し、例えば、図1に対応する実施例で提供される物体識別方法を実現する。

0068

即ち、前記処理ユニットは、前記プログラムを実行する場合に目標物体の地図における位置情報、及び少なくとも二つの焦点距離を使用する少なくとも二つのカメラの撮影パラメータに基づいて、各前記カメラから前記目標物体とマッチングする目標カメラを選別することと、前記目標カメラが目標物体の画像を撮影するように制御することと、前記目標カメラによって撮影された画像を取得し、前記目標物体を識別することとを実現する。

0069

本発明の実施例は、さらに、少なくとも車体を含む車両を提供し、当該車両は、さらに、本発明の任意の実施例に係る機器、及び車体に設置された、少なくとも二つの焦点距離を使用する少なくとも二つのカメラを含む。当該機器は、車体での車載制御機器であってもよい。当該車両は、無人運転の車両が好ましく、または、車両周りの環境での物体識別を行う必要がある他の車両であってもよい。

0070

実施例5
本発明の実施例5は、さらにコンピュータプログラムが記憶されているコンピュータ可読記憶媒体を提供し、当該プログラムがプロセッサによって実行される場合に、本願の全ての発明実施例に係る物体識別方法を実現する。前記方法は、目標物体の地図における位置情報、及び少なくとも二つの焦点距離を使用する少なくとも二つのカメラの撮影パラメータに基づいて、各前記カメラから前記目標物体とマッチングする目標カメラを選別するステップと、前記目標カメラが目標物体の画像を撮影するように制御するステップと、前記目標カメラによって撮影された画像を取得し、前記目標物体を識別するステップとを含む。

0071

本発明の実施例に係るコンピュータメモリは、1つまたは複数のコンピュータ可読媒体の何れの組み合わせを使用してもよい。コンピュータ可読媒体は、コンピュータ可読信号媒体、またはコンピュータ可読記憶媒体であってもよい。コンピュータ可読記憶媒体は、例えば、電気磁気光学電磁赤外線、または半導体のシステム、装置または機器、又はこれらの何れの組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例(非網羅的なリスト)としては、1つまたは複数のリード線を有する電気的接続携帯型コンピュータディスク、ハードディスク、ランダム・アクセス・メモリ(RAM)、読み出し専用メモリ(ROM)、イーピーロムEPROMまたはフラッシュメモリ)、光ファイバ携帯コンパクトディスク読み出し専用メモリ(CD−ROM)、光記憶装置磁気記憶装置、またはこれらの何れの適切な組み合わせを含む。本明細書において、コンピュータ可読記憶媒体は、命令実行システム、装置または機器によって利用できまたはこれらと組み合わせて利用できるプログラムを含みまたは記憶している何れかの有形媒体であってもよい。

0072

コンピュータ可読信号媒体は、ベースバンドにおいてまたはキャリヤーの一部として伝播するコンピュータ可読なプログラムコードを搭載したデータ信号を含んでいてもよい。このような伝播するデータ信号は、様々な形態をとることができ、電磁信号光信号、またはこれらの何れの適切な組み合わせを含んでいてもよいが、これらに限定されない。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体以外の何れかのコンピュータ可読媒体であってもよく、当該コンピュータ可読媒体は、命令実行システム、装置または機器によって使用されまたはこれらに結合されて使用されるプログラムを送信、伝播、伝送することができる。

0073

コンピュータ可読媒体に含まれるプログラムコードは、無線ワイヤケーブル、RFなど、またはこれらの何れかの適切な組み合わせの何れかの適切な媒体で送信されてもよいが、これらに限定されない。

0074

1つまたは複数のプログラム設計言語またはこれらの組合せで、本発明の動作を実行するためのコンピュータプログラムコードを書き込むことができ、前記プログラム設計言語は、オブジェクト指向プログラミング言語、例えばJava(登録商標)、Smalltalk、C++を含み、常用の過程式プログラム設計言語、例えば「C」言語または類似なプログラム設計言語を含む。プログラムコードは、完全にユーザのコンピュータ上で実行されてもよく、一部はユーザのコンピュータで実行されて1つの独立したソフトウェアパッケージとして実行されてもよく、一部はユーザのコンピュータで、一部はリモートコンピュータで実行されてもよく、または、完全にリモートコンピュータまたはサーバーで実行されてもよい。リモートコンピュータに関する場合は、リモートコンピュータは、ローカルエリア・ネットワーク(LAN)またはワイド・エリア・ネットワーク(WAN)を含む何れの種類のネットワークを介して、ユーザコンピュータに接続されてもよく、あるいは、外部コンピュータ(例えば、インターネットサービスプロバイダを利用してインターネットを介して接続する)に接続してもよい。

0075

なお、以上は、本発明の好適な実施形態および応用技術の原理に過ぎない。本発明は、本明細書に記載の特定の実施形態に限定されるものではなく、本発明の範囲から逸脱しない限り、様々な明確な変更、再調整、及び置換は、当業者に理解できるものである。以上、実施形態を挙げて本発明を詳細に説明したが、本発明は上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく他の均等な実施形態を含むことができ、本発明の範囲は特許請求の範囲により決定される。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ