図面 (/)

技術 物体検出装置、車両制御システム、物体検出方法及び物体検出用コンピュータプログラム

出願人 トヨタ自動車株式会社
発明者 武安聡橋本大輔平野公太
出願日 2018年9月14日 (2年3ヶ月経過) 出願番号 2018-172207
公開日 2020年3月26日 (9ヶ月経過) 公開番号 2020-046706
状態 未査定
技術分野 イメージ分析 駆動装置の関連制御、車両の運動制御 交通制御システム
主要キーワード 信頼度分布 損失関数 特徴マップ 活性化関数 ドローン 属性識別 相対速 位置領域
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年3月26日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (9)

課題

物体の検出が困難な状況において物体が未検出となることを抑制する。

解決手段

物体検出装置30は、第1ニューラルネットワークを用いて画像内の物体の位置領域を検出する位置領域検出部31と、第2ニューラルネットワークを用いて物体の大属性識別する大属性識別部32と、第3ニューラルネットワークを用いて、大属性の下位概念である物体の小属性を識別する小属性識別部33と、物体の検出結果を判定する物体判定部34とを備える。物体判定部は、小属性識別部による小属性の識別結果の信頼度閾値以上である場合には、小属性の識別結果が物体の検出結果であると判定し、小属性の識別結果の信頼度が閾値未満である場合には、大属性識別部による大属性の識別結果に基づいて物体の検出結果を判定する。

概要

背景

従来、カメラ等によって生成された画像から物体を検出する技術が知られている。例えば、非特許文献1、2には、ニューラルネットワークを用いることで、物体の検出精度を向上させることができることが記載されている。

斯かるニューラルネットワークでは、ニューラルネットワークの各層における所定のパラメータ(重み等)が学習によって予め調整される。学習では、既知の物体の名称を含む正解ラベルが付与された画像が教師データとして用いられる。多数の教師データを用いてニューラルネットワークの学習を行うことによって物体の検出精度を高めることができる。

概要

物体の検出が困難な状況において物体が未検出となることを抑制する。物体検出装置30は、第1ニューラルネットワークを用いて画像内の物体の位置領域を検出する位置領域検出部31と、第2ニューラルネットワークを用いて物体の大属性識別する大属性識別部32と、第3ニューラルネットワークを用いて、大属性の下位概念である物体の小属性を識別する小属性識別部33と、物体の検出結果を判定する物体判定部34とを備える。物体判定部は、小属性識別部による小属性の識別結果の信頼度閾値以上である場合には、小属性の識別結果が物体の検出結果であると判定し、小属性の識別結果の信頼度が閾値未満である場合には、大属性識別部による大属性の識別結果に基づいて物体の検出結果を判定する。

目的

本発明の目的は、物体の検出が困難な状況において物体が未検出となることを抑制することにある

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

第1ニューラルネットワークを用いて画像内の物体位置領域を検出する位置領域検出部と、第2ニューラルネットワークを用いて前記物体の大属性識別する大属性識別部と、第3ニューラルネットワークを用いて、前記大属性の下位概念である前記物体の小属性を識別する小属性識別部と、前記物体の検出結果を判定する物体判定部とを備え、前記物体判定部は、前記小属性識別部による前記小属性の識別結果の信頼度閾値以上である場合には、該小属性の識別結果が前記検出結果であると判定し、前記信頼度が前記閾値未満である場合には、前記大属性識別部による前記大属性の識別結果に基づいて前記検出結果を判定する、物体検出装置

請求項2

前記物体判定部は、前記信頼度が閾値未満である場合には、前記大属性の識別結果と前記小属性の信頼度分布とに基づいて前記検出結果を判定する、請求項1に記載の物体検出装置。

請求項3

前記物体は標識である、請求項1又は2に記載の物体検出装置。

請求項4

前記物体判定部は、前記信頼度が閾値未満であり且つ前記大属性識別部による前記大属性の識別結果が最高速度標識である場合には、前記小属性の候補のうち最も遅い速度の最高速度標識が前記検出結果であると判定する、請求項3に記載の物体検出装置。

請求項5

前記物体判定部は、前記信頼度が閾値未満である場合には、前記大属性の識別結果が前記検出結果であると判定する、請求項1から4のいずれか1項に記載の物体検出装置。

請求項6

請求項1から5のいずれか1項に記載の物体検出装置と、前記物体の検出結果に基づいて車両の走行計画を作成する走行計画部と、前記走行計画部によって作成された走行計画に従って前記車両が走行するように該車両を制御する車両制御部とを備えた、車両制御システム

請求項7

第1ニューラルネットワークを用いて画像内の物体の位置領域を検出することと、第2ニューラルネットワークを用いて前記物体の大属性を識別することと、第3ニューラルネットワークを用いて、前記大属性の下位概念である前記物体の小属性を識別することと、前記小属性の識別結果の信頼度が閾値以上である場合には、該小属性の識別結果が前記物体の検出結果であると判定し、前記信頼度が前記閾値未満である場合には、前記大属性の識別結果に基づいて前記検出結果を判定することとを含む、物体検出方法

請求項8

第1ニューラルネットワークを用いて画像内の物体の位置領域を検出することと、第2ニューラルネットワークを用いて前記物体の大属性を識別することと、第3ニューラルネットワークを用いて、前記大属性の下位概念である前記物体の小属性を識別することと、前記小属性の識別結果の信頼度が閾値以上である場合には、該小属性の識別結果が前記物体の検出結果であると判定し、前記信頼度が前記閾値未満である場合には、前記大属性の識別結果に基づいて前記検出結果を判定することとをコンピュータに実行させる物体検出コンピュータプログラム

技術分野

背景技術

0002

従来、カメラ等によって生成された画像から物体を検出する技術が知られている。例えば、非特許文献1、2には、ニューラルネットワークを用いることで、物体の検出精度を向上させることができることが記載されている。

0003

斯かるニューラルネットワークでは、ニューラルネットワークの各層における所定のパラメータ(重み等)が学習によって予め調整される。学習では、既知の物体の名称を含む正解ラベルが付与された画像が教師データとして用いられる。多数の教師データを用いてニューラルネットワークの学習を行うことによって物体の検出精度を高めることができる。

先行技術

0004

Wei Liu他、「SSD: Single Shot MultiBox Detector」、ECCV2016、2016年
Shaoqing Ren他、「Faster R-CNN: TowardsReal-Time Object Detection with Region Proposal Networks」、NIPS、2015年

発明が解決しようとする課題

0005

しかしながら、稀有な物体については、多数の教師データを用意することが困難であり、物体の検出精度が低下する。また、逆光モーションブラー等によって画像内の物体が不鮮明である場合にも、物体の検出精度が低下する。

0006

そこで、本発明の目的は、物体の検出が困難な状況において物体が未検出となることを抑制することにある。

課題を解決するための手段

0007

本開示の要旨は以下のとおりである。

0008

(1)第1ニューラルネットワークを用いて画像内の物体の位置領域を検出する位置領域検出部と、第2ニューラルネットワークを用いて前記物体の大属性識別する大属性識別部と、第3ニューラルネットワークを用いて、前記大属性の下位概念である前記物体の小属性を識別する小属性識別部と、前記物体の検出結果を判定する物体判定部とを備え、前記物体判定部は、前記小属性識別部による前記小属性の識別結果の信頼度閾値以上である場合には、該小属性の識別結果が前記検出結果であると判定し、前記信頼度が前記閾値未満である場合には、前記大属性識別部による前記大属性の識別結果に基づいて前記検出結果を判定する、物体検出装置。

0009

(2)前記物体判定部は、前記信頼度が閾値未満である場合には、前記大属性の識別結果と前記小属性の信頼度分布とに基づいて前記検出結果を判定する、上記(1)に記載の物体検出装置。

0010

(3)前記物体は標識である、上記(1)又は(2)に記載の物体検出装置。

0011

(4)前記物体判定部は、前記信頼度が閾値未満であり且つ前記大属性識別部による前記大属性の識別結果が最高速度標識である場合には、前記小属性の候補のうち最も遅い速度の最高速度標識が前記検出結果であると判定する、上記(3)に記載の物体検出装置。

0012

(5)前記物体判定部は、前記信頼度が閾値未満である場合には、前記大属性の識別結果が前記検出結果であると判定する、上記(1)から(4)のいずれか1つに記載の物体検出装置。

0013

(6)上記(1)から(5)のいずれか1つに記載の物体検出装置と、前記物体の検出結果に基づいて車両の走行計画を作成する走行計画部と、前記走行計画部によって作成された走行計画に従って前記車両が走行するように該車両を制御する車両制御部とを備えた、車両制御システム。

0014

(7)第1ニューラルネットワークを用いて画像内の物体の位置領域を検出することと、第2ニューラルネットワークを用いて前記物体の大属性を識別することと、第3ニューラルネットワークを用いて、前記大属性の下位概念である前記物体の小属性を識別することと、前記小属性の識別結果の信頼度が閾値以上である場合には、該小属性の識別結果が前記検出結果であると判定し、前記信頼度が前記閾値未満である場合には、前記大属性の識別結果に基づいて前記検出結果を判定することとを含む、物体検出方法。

0015

(8)第1ニューラルネットワークを用いて画像内の物体の位置領域を検出することと、第2ニューラルネットワークを用いて前記物体の大属性を識別することと、第3ニューラルネットワークを用いて、前記大属性の下位概念である前記物体の小属性を識別することと、前記小属性の識別結果の信頼度が閾値以上である場合には、該小属性の識別結果が前記検出結果であると判定し、前記信頼度が前記閾値未満である場合には、前記大属性の識別結果に基づいて前記検出結果を判定することとをコンピュータに実行させる物体検出用コンピュータプログラム。

発明の効果

0016

本発明によれば、物体の検出が困難な状況において物体が未検出となることを抑制することができる。

図面の簡単な説明

0017

図1は、本実施形態に係る車両制御システムの構成を概略的に示す図である。
図2は、ECUのハードウェア構成図である。
図3は、車両制御処理に関するECUの機能ブロック図である。
図4は、識別器として利用されるニューラルネットワークの構成の一例を示す図である。
図5は、検出対象の物体が車両であるときの教師データの一例である。
図6は、検出対象の物体が標識であるときの教師データの一例である。
図7は、本実施形態における車両制御処理の制御ルーチンを示すフローチャートである。
図8は、識別器として利用されるニューラルネットワークの構成の別の一例を示す図である。

実施例

0018

以下、図面を参照して、本発明の実施形態に係る物体検出装置、車両制御システム、物体検出方法及び物体検出用コンピュータプログラムについて説明する。なお、以下の説明では、同様な構成要素には同一の参照番号を付す。

0019

<車両制御システム>
図1は、本実施形態に係る車両制御システムの構成を概略的に示す図である。車両制御システム1は、車両10に搭載され、車両10を制御する。本実施形態では、車両制御システム1は車両の自動運転を実行する。

0020

車両制御システム1はカメラ2及び電子制御ユニット(ECU)3を備える。カメラ2とECU3とは、CAN(Controller Area Network)等の規格準拠した車内ネットワーク4を介して互いに通信可能に接続される。

0021

カメラ2は所定範囲撮影して所定範囲の画像を生成する。カメラ2は、レンズ及び撮像素子を含み、例えばCMOS(相補型金属酸化膜半導体)カメラ又はCCD(電荷結合素子)カメラである。

0022

本実施形態では、カメラ2は、車両10に設けられ、車両10の周囲を撮影する。具体的には、カメラ2は、車両10の内部に設けられ、車両10の前方領域を撮影する。例えば、カメラ2は車両10のルームミラーの背面に設けられる。カメラ2は、車両10のイグニッションスイッチオンである間、所定の撮影間隔(例えば1/30秒〜1/10秒)で車両10の前方領域を撮影し、前方領域の画像を生成する。カメラ2によって生成された画像は車内ネットワーク4を介してカメラ2からECU3に送信される。カメラ2によって生成される画像はカラー画像又はグレー画像である。

0023

図2は、ECU3のハードウェア構成図である。ECU3は、通信インターフェース21、メモリ22及びプロセッサ23を含み、車両10の各種制御を実行する。通信インターフェース21及びメモリ22は信号線を介してプロセッサ23に接続されている。

0024

通信インターフェース21は、ECU3を車内ネットワーク4に接続するためのインターフェース回路を有する。すなわち、通信インターフェース21は車内ネットワーク4を介してカメラ2に接続される。通信インターフェース21は、カメラ2から画像を受信し、受信した画像をプロセッサ23に伝達する。

0025

メモリ22は、例えば、揮発性半導体メモリ及び不揮発性の半導体メモリを有する。メモリ22は、プロセッサ23によって各種処理が実行されるときに使用される各種データ等を記憶する。例えば、メモリ22は、カメラ2によって生成された画像、地図情報等を記憶する。

0026

プロセッサ23は、一つ又は複数のCPU(Central Processing Unit)及びその周辺回路を有する。プロセッサ23は、カメラ2から画像を受信する度に、物体検出処理を含む車両制御処理を実行する。なお、プロセッサ23は、論理演算ユニット又は数値演算ユニットのような演算回路を更に有していてもよい。

0027

図3は、車両制御処理に関するECU3の機能ブロック図である。車両制御システム1は、カメラ2、物体検出装置30、走行計画部35及び車両制御部36を備える。物体検出装置30は、カメラ2から画像を受信し、カメラ2によって生成された画像内の物体を検出する。走行計画部35は、物体検出装置30による物体の検出結果に基づいて車両10の走行計画を作成する。車両制御部36は、走行計画部35によって作成された走行計画に従って車両10が走行するように車両10を制御する。

0028

<物体検出処理>
物体検出装置30はニューラルネットワークを用いることによって画像内の物体を検出する。ニューラルネットワークでは、ニューラルネットワークの各層における所定のパラメータ(重み等)が学習によって予め調整される。学習では、既知の物体の名称を含む正解ラベルが付与された画像が教師データとして用いられる。多数の教師データを用いてニューラルネットワークの学習を行うことによって物体の検出精度を高めることができる。

0029

しかしながら、稀有な物体については、多数の教師データを用意することが困難であり、物体の検出精度が低下する。また、逆光、モーションブラー等によって画像内の物体が不鮮明である場合にも、物体の検出精度が低下する。物体の未検出によって車両10の周囲環境を把握できない場合、車両制御システム1によって車両10の自動運転を継続させることが困難となる。

0030

一方、物体の詳細を検出できなくても、物体の概要を検出できる場合がある。例えば、画像内の車両の種類(乗用車トラックバス等)を検出できなくても、物体が車両であることを検出できる場合がある。この場合、物体の概要から物体を予測することで、物体が未検出となることを抑制することができる。このため、本実施形態では、物体検出装置30は、物体の小属性及び大属性を別個に識別することによって物体の最終的な検出結果を判定する。

0031

物体の小属性は物体の大属性の下位概念である。例えば、物体の大属性が車両である場合、物体の小属性は、乗用車、トラック、バス等である。また、物体の大属性が、許容される上限速度を規定する最高速度標識である場合、物体の小属性は、30km/h、60km/h、80km/h等の最高速度標識である。また、物体の大属性が警戒標識(日本における黄色の菱形の標識)である場合、物体の小属性は、踏切の存在、信号機の存在、落石の危険性、車線数の減少等を予告する標識である。また、物体の大属性が落下物である場合、物体の小属性は、木材、段ボール、タイヤ雑誌布団等である。

0032

図3に示されるように、物体検出装置30は、位置領域検出部31、大属性識別部32、小属性識別部33及び物体判定部34を備える。位置領域検出部31は画像内の物体の位置領域を検出する。大属性識別部32は画像内の物体の大属性を識別する。小属性識別部33は画像内の物体の小属性を識別する。物体判定部34は物体の大属性及び小属性の識別結果に基づいて物体の検出結果を判定する。

0033

例えば、物体検出装置30の検出対象である物体は標識である。タイヤ、バンパー、窓、灯火類等の多くの特徴部分を有する車両と異なり、標識は多くの特徴部分を有しない。このため、ニューラルネットワークを用いない検出方法では、数字又は絵の特徴部分が不明瞭である場合には、標識が未検出となる。一方、ニューラルネットワークを用いる物体検出装置30では、数字又は絵の特徴部分が不明瞭であっても、他の微細な特徴部分に基づいて物体が標識であることを検出することが多い。このため、大属性識別部32によって物体の大属性を識別することによって、標識のような特徴部分が少ない物体であっても、物体が未検出となることを抑制することができる。

0034

本実施形態では、ECU3が、位置領域検出部31、大属性識別部32、小属性識別部33、物体判定部34、走行計画部35及び車両制御部36を有する。これら機能ブロックは、例えば、ECU3のプロセッサ23上で動作するコンピュータプログラムにより実現される機能モジュールである。なお、これら機能ブロックは、プロセッサ23に設けられた専用の演算回路であってもよい。

0035

物体検出装置30の位置領域検出部31、大属性識別部32及び小属性識別部33は、ニューラルネットワークによって物体を検出する識別器を構成する。図4は、識別器として利用されるニューラルネットワークの構成の一例を示す図である。識別器40は、入力層出力層との間に複数の中間層を有するディープニューラルネットワークである。

0036

識別器40は、主幹ニューラルネットワーク(以下、「主幹NN」という)41、位置領域検出ニューラルネットワーク(以下、「位置領域検出NN」という)42、大属性識別ニューラルネットワーク(以下、「大属性識別NN」という)43及び小属性識別ニューラルネットワーク(以下、「小属性識別NN」という)44を有する。

0037

位置領域検出NN42は、主幹NN41に直列に接続され、主幹NN41よりも下流側(出力側)に配置される。大属性識別NN43は、主幹NN41に直列に接続され、主幹NN41よりも下流側に配置される。小属性識別NN44は、大属性識別NN43に直列に接続され、主幹NN41及び大属性識別NN43よりも下流側に配置される。大属性識別NN43は主幹NN41と小属性識別NN44との間に配置される。

0038

主幹NN41は、画像が入力される入力層を有するベースネットワークである。例えば、主幹NN41は、複数の畳み込み層を有するコンボリューションニューラルネットワーク(CNN)として構成される。主幹NN41は、1又は複数の畳み込み層ごとに設けられるプーリング層を含んでいてもよい。また、主幹NN41は、1以上の全結合層を含んでいてもよい。例えば、主幹NN41は、非特許文献1に記載されたSingle Shot MultiBox Detector(SSD)のベースネットワークであるVGG16と同様の構成を有することができる。また、主幹NN41は、ResNet(Residual Networks)、AlexNet等の他のCNNアーキテクチャと同様の構成を有していてもよい。

0039

主幹NN41の出力は位置領域検出NN42に入力される。位置領域検出NN42は、画像内の物体の位置領域を出力する出力層を有する。位置領域検出NN42の出力層は、物体の位置領域を示すバウンディングボックス(bounding box)、具体的には、バウンディングボックスの中心座標(x、y)、幅w及び高さhを出力する。バウンディングボックスは、画像内の物体を囲む外接矩形として表される。

0040

また、主幹NN41の出力は大属性識別NN43に入力される。大属性識別NN43は、画像内の物体の大属性を出力する出力層を有する。大属性識別NN43の出力層は、大属性の識別結果(すなわち、大属性の種類)と共に、識別結果の信頼度(confidence)を出力する。出力層の活性化関数は例えばソフトマックス関数である。

0041

大属性識別NN43の出力は小属性識別NN44に入力される。小属性識別NN44は、画像内の物体の小属性を出力する出力層を有する。小属性識別NN44の出力層は、小属性の識別結果(すなわち、小属性の種類)と共に、識別結果の信頼度を出力する。出力層の活性化関数は例えばソフトマックス関数である。

0042

例えば、位置領域検出NN42、大属性識別NN43及び小属性識別NN44は、それぞれ、複数の畳み込み層を有するコンボリューションニューラルネットワーク(CNN)として構成される。例えば、位置領域検出NN42、大属性識別NN43及び小属性識別NN44は、それぞれ、複数の特徴マップ(feature map)を生成するように構成される。なお、位置領域検出NN42、大属性識別NN43及び小属性識別NN44は、それぞれ、1又は複数の畳み込み層ごとに設けられるプーリング層を含んでいてもよい。また、位置領域検出NN42、大属性識別NN43及び小属性識別NN44は、それぞれ、1以上の全結合層を含んでいてもよい。

0043

位置領域検出部31は、第1ニューラルネットワークを用いて画像内の物体の位置領域を検出する。図4の例では、第1ニューラルネットワークは、ディープニューラルネットワークであり、主幹NN41及び位置領域検出NN42からなる。大属性識別部32は、第2ニューラルネットワークを用いて画像内の物体の大属性を識別する。図4の例では、第2ニューラルネットワークは、ディープニューラルネットワークであり、主幹NN41及び大属性識別NN43からなる。小属性識別部33は、第3ニューラルネットワークを用いて画像内の物体の小属性を識別する。図4の例では、第3ニューラルネットワークは、ディープニューラルネットワークであり、主幹NN41、大属性識別NN43及び小属性識別NN44からなる。

0044

例えば、第1ニューラルネットワーク、第2ニューラルネットワーク及び第3ニューラルネットワークは、それぞれ、物体の検出精度が高く且つ物体の検出速度が速くなるように、Single Shot MultiBox Detector(SSD)、Faster R-CNN、You Only Look Once(YOLO)等と同様の構成を有することができる。

0045

第1ニューラルネットワーク、第2ニューラルネットワーク及び第3ニューラルネットワークでは、それぞれ、学習によって検出精度が高められる。学習では、正解ラベルが付与された画像が教師データとして用いられる。正解ラベルには、画像内の物体の位置領域、大属性及び小属性が含まれる。

0046

図5は、検出対象の物体が車両であるときの教師データの一例である。この例では、教師データ(教師画像)500は、正解ラベルとして、物体501の位置領域を示すバウンディングボックス502の中心座標(x、y)、幅w及び高さhと、物体501の大属性(この例では車両)と、物体501の小属性(この例では乗用車)とを含む。

0047

図6は、検出対象の物体が標識であるときの教師データの一例である。この例では、教師データ(教師画像)600は、正解ラベルとして、物体601の位置領域を示すバウンディングボックス602の中心座標(x、y)、幅w及び高さhと、物体601の大属性(この例では最高速度標識)と、物体601の小属性(この例では80km/hの最高速度標識)とを含む。

0048

第1ニューラルネットワーク、第2ニューラルネットワーク及び第3ニューラルネットワークの学習は、それぞれ、図5及び図6に示されるような多数の教師データを用いて、誤差伝播法のような学習手法によって行われる。誤差逆伝播法では、各ニューラルネットワークの出力が正解ラベルに近付くように、すなわち損失関数の値が小さくなるように各ニューラルネットワークの各層における重みが更新される。第1ニューラルネットワーク、第2ニューラルネットワーク及び第3ニューラルネットワークの学習では、同一の教師データを用いることができる。このため、これらニューラルネットワークの学習を効率的に行うことができる。

0049

図3に示されるように、位置領域検出部31、大属性識別部32及び小属性識別部33の出力は物体判定部34に入力される。物体判定部34は、大属性識別部32による大属性の識別結果と、小属性識別部33による小属性の識別結果とに基づいて、位置領域検出部31によって検出された位置領域における物体の検出結果を判定する。

0050

具体的には、物体判定部34は、小属性識別部33による小属性の識別結果の信頼度が閾値以上である場合には、小属性の識別結果が物体の検出結果であると判定する。一方、物体判定部34は、小属性識別部33による小属性の識別結果の信頼度が閾値未満である場合には、大属性識別部32による大属性の識別結果に基づいて検出結果を判定する。このことによって、物体の検出が困難な状況において小属性の識別結果の信頼度が低くなったとしても、物体が未検出となることを抑制することができる。

0051

<車両制御処理>
以下、図7のフローチャートを参照して、物体検出処理を含む車両制御処理について詳細に説明する。図7は、本実施形態における車両制御処理の制御ルーチンを示すフローチャートである。本制御ルーチンはECU3によって所定の実行間隔で繰り返し実行される。所定の実行間隔は、例えば、カメラ2からECU3に画像が送信される間隔である。

0052

テップS101〜S107では、物体検出処理が実行される。最初に、ステップS101において、位置領域検出部31、大属性識別部32及び小属性識別部33はカメラ2から画像を受信する。

0053

次いで、ステップS102において、位置領域検出部31は、第1ニューラルネットワークを用いて画像内の物体の位置領域を検出する。具体的には、位置領域検出部31は、画像データを第1ニューラルネットワークに入力し、第1ニューラルネットワークに物体の位置領域を出力させる。

0054

次いで、ステップS103において、大属性識別部32は、第2ニューラルネットワークを用いて画像内の物体の大属性を識別する。具体的には、大属性識別部32は、画像データを第2ニューラルネットワークに入力し、第2ニューラルネットワークに物体の大属性を出力させる。

0055

第2ニューラルネットワークは、予め定められた大属性の種類(車両、最高速度標識、警戒標識、落下物、動物等)のそれぞれに対応する信頼度(0〜1)を出力する。信頼度は、画像内の物体の大属性が、その信頼度が付与された種類の大属性である可能性を表し、信頼度の値が高いほど、画像内の物体の大属性が正確に識別されていることを示す。また、全ての種類の信頼度の合計は1となる。なお、位置領域検出部31によって複数の位置領域が検出された場合には、大属性識別部32は、複数の位置領域のそれぞれについて、物体の大属性を識別する。

0056

次いで、ステップS104において、小属性識別部33は、第3ニューラルネットワークを用いて画像内の物体の小属性を識別する。具体的には、小属性識別部33は、画像データを第3ニューラルネットワークに入力し、第3ニューラルネットワークに物体の小属性を出力させる。

0057

第3ニューラルネットワークは、予め定められた小属性の種類(大属性が車両である場合、乗用車、バス、トラック等)のそれぞれに対応する信頼度(0〜1)を出力する。信頼度は、画像内の物体の小属性が、その信頼度が出力された種類の小属性である可能性を表し、信頼度の値が高いほど、画像内の物体の小属性が正確に識別されていることを示す。また、全ての種類の信頼度の合計は1となる。なお、位置領域検出部31によって複数の位置領域が検出された場合には、小属性識別部33は、複数の位置領域のそれぞれについて、物体の小属性を識別する。

0058

次いで、ステップS105において、物体判定部34は、小属性識別部33による小属性の識別結果の信頼度が閾値以上であるか否かを判定する。閾値は、予め定められ、例えば、0.6〜0.9の値に設定される。なお、小属性の識別結果とは、第3ニューラルネットワークによって最大の信頼度が出力された小属性の種類である。

0059

ステップS105において小属性の識別結果の信頼度が閾値以上であると判定された場合、本制御ルーチンはステップS106に進む。ステップS106では、物体判定部34は、物体の検出結果として、小属性の識別結果を採用する。すなわち、物体判定部34は、小属性の識別結果が物体の検出結果であると判定する。

0060

一方、ステップS105において小属性の識別結果の信頼度が閾値未満であると判定された場合、本制御ルーチンはステップS107に進む。ステップS107では、物体判定部34は大属性識別部32による大属性の識別結果に基づいて物体の検出結果を判定する。なお、大属性の識別結果とは、第2ニューラルネットワークによって最大の信頼度が出力された大属性の種類である。

0061

例えば、物体判定部34は、大属性の識別結果が物体の検出結果であると判定する。このことによって、物体の概要が把握され、物体が未検出となることを抑制することができる。

0062

また、物体判定部34は、大属性の識別結果と小属性の信頼度分布とに基づいて物体の検出結果を判定してもよい。このことによっても、物体が未検出となることを抑制することができる。

0063

例えば、物体判定部34は、大属性の識別結果が最高速度標識である場合には、小属性識別部33によって識別された小属性の平均値を小属性の信頼度分布に基づいて算出し、算出した小属性の平均値が物体の検出結果であると判定してもよい。例えば、30km/h、60km/h及び80km/hの最高速度標識の信頼度が、それぞれ、0.1、0.5及び0.4であった場合、小属性の平均値は62.3km/hの最高速度標識となる(30×0.1+60×0.5+80×0.4=62.3)。なお、小属性の平均値の整数桁目又は小数点1桁目が四捨五入されてもよい。

0064

また、物体判定部34は、大属性の識別結果が車両である場合には、小属性識別部33によって識別された小属性(例えば、乗用車、トラック及びバス)の大きさの平均値を小属性の信頼度分布に基づいて算出し、算出した平均値の大きさを有する車両が物体の検出結果であると判定してもよい。この場合、各小属性の大きさはECU3のメモリ22に予め記憶される。

0065

また、物体判定部34は、大属性の識別結果が最高速度標識である場合には、小属性の候補のうち最も遅い速度の最高速度標識が物体の検出結果であると判定してもよい。例えば、小属性の候補が、30km/h、60km/h及び80km/hの最高速度標識である場合、物体判定部34は、30km/hの最高速度標識が物体の検出結果であると判定する。このことによって、物体が未検出となることを抑制しつつ、車両制御システム1による車両10の自動運転の安全性を高めることができる。

0066

小属性の候補は、例えば、小属性識別部33の第3ニューラルネットワークにおいて予め定められた小属性の種類である。また、小属性の候補は、車両10の現在位置及び地図情報から決定されてもよい。例えば、車両10が走行している道路が所定の高速道路である場合、その高速道路に存在しうる全ての最高速度が小属性の候補にされる。車両10の現在位置は、車両10に設けられたGPS受信機によって検出され、地図情報はメモリ22に予め記憶される。

0067

また、小属性の候補は、車両10の周囲の他車両の速度から決定されてもよい。例えば、速度が検出された全ての他車両の速度が小属性の候補にされる。他車両の速度は、車両10に設けられた車速センサ、車両10と他車両との相対速度を検出可能なカメラ2、ミリ波レーダ又はレーザレーダ等を用いて検出される。

0068

ステップS106又はステップS107の後、ステップS108において、走行計画部35は物体の検出結果に基づいて車両10の走行計画を作成する。例えば、物体の検出結果が80km/hの最高速度標識である場合、走行計画部35は、車両10の速度が80km/hを超えないように車両10の目標速度を設定する。また、物体の検出結果が車両、落下物等の障害物である場合、走行計画部35は、車両10が障害物に接触しないように車両10の走行軌道、目標速度等を設定する。

0069

次いで、ステップS109において、車両制御部36は、走行計画部35によって作成された走行計画に従って車両10が走行するように車両10を制御する。具体的には、車両制御部36は車両10の各種アクチュエータスロットル弁モータステアリングシステムブレーキアクチュエータ等)を操作して車両10の加速操舵及び制動を制御する。ステップS109の後、本制御ルーチンは終了する。

0070

以上、本発明に係る好適な実施形態を説明したが、本発明はこれら実施形態に限定されるものではなく、特許請求の範囲の記載内で様々な修正及び変更を施すことができる。例えば、車両制御部36は、車両10の加速、制動及び操舵の一部のみを制御してもよい。

0071

また、図8に示されるように、小属性識別NN44が主幹NN41に直列に接続され、大属性識別NN43と小属性識別NN44とが並列に構成されてもよい。この場合、小属性識別部33の第3ニューラルネットワークは、主幹NN41及び小属性識別NN44からなる。

0072

また、物体検出装置30の各機能を実現するコンピュータプログラムは、半導体メモリ、磁気記録媒体又は光記録媒体のような、コンピュータ読取可能な可搬性記録媒体に記録された形態で提供されてもよい。

0073

また、物体検出装置30は車両以外に実装されてもよい。例えば、物体検出装置30は、サーバ等に実装され、屋内又は屋外に設置された監視カメラ又はドローンに搭載されたカメラによって生成された画像から物体を検出してもよい。また、ECU3の代わりに、GPU(Graphics Processing Unit)が、位置領域検出部31、大属性識別部32、小属性識別部33及び物体判定部34を有していてもよい。

0074

1車両制御システム
3電子制御ユニット(ECU)
10 車両
30物体検出装置
31位置領域検出部
32 大属性識別部
33 小属性識別部
34物体判定部
35走行計画部
36車両制御部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ