図面 (/)

技術 信号機推定装置、信号機推定方法およびプログラム

出願人 パナソニックIPマネジメント株式会社
発明者 後藤良介本村秀人
出願日 2018年8月9日 (2年4ヶ月経過) 出願番号 2018-150271
公開日 2020年2月20日 (10ヶ月経過) 公開番号 2020-027328
状態 未査定
技術分野 イメージ分析 交通制御システム
主要キーワード 灯火色 信頼度算出処理 カウント変数 検証用画像 信頼度評価 過去情報 画像認識アルゴリズム ベクトル間距離
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年2月20日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (15)

課題

撮影画像において信号機が映し出されている領域を適切に推定することができる信号機推定装置を提供する。

解決手段

車両10の走行状態を示す車両走行情報を取得する走行情報取得部118と、車両10に搭載されたカメラ210による撮影によって得られた現在の撮影画像において、信号機が映し出されている領域を、蓄積部116に格納されている情報によって示される過去領域と、上述の車両走行情報によって示される車両10の走行状態とに基づいて推定する検証用領域推定部117とを備える。

概要

背景

従来、車両の前方に存在する信号機を検出する信号機検出装置が提案されている(例えば、特許文献1参照)。この信号機検出装置は、車両の位置および地図データベースにより、撮影画像において、信号機の位置を予測し、その位置に応じた信号機検出領域を設定する。つまり、信号機が映し出されている領域が信号機検出領域として推定される。さらに、信号機検出領域内に信号機が検出されない場合には、前方または遠方に信号機検出領域を移動させながら信号機の検出を行う。

概要

撮影画像において信号機が映し出されている領域を適切に推定することができる信号機推定装置を提供する。車両10の走行状態を示す車両走行情報を取得する走行情報取得部118と、車両10に搭載されたカメラ210による撮影によって得られた現在の撮影画像において、信号機が映し出されている領域を、蓄積部116に格納されている情報によって示される過去領域と、上述の車両走行情報によって示される車両10の走行状態とに基づいて推定する検証用領域推定部117とを備える。

目的

そこで、本開示は、撮影画像において信号機が映し出されている領域を適切に推定することができる信号機推定装置を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

車両の走行状態を示す車両走行情報を取得する取得部と、前記車両に搭載されたカメラによる撮影によって得られた現在の撮影画像において、信号機が映し出されている領域を、蓄積部に格納されている情報によって示される過去領域と、前記車両走行情報によって示される前記車両の走行状態とに基づいて推定する推定部とを備える信号機推定装置

請求項2

前記推定部は、前記現在の撮影画像において前記信号機が映し出されている領域を、第2領域として推定する第2推定部であって、前記信号機推定装置は、さらに、少なくとも前記カメラの撮影方向および画角を示すカメラ情報と、前記車両の位置と、前記信号機の位置とに基づいて、前記現在の撮影画像において前記信号機が映し出されている領域を第1領域として推定する第1推定部と、前記第1推定部によって推定された前記第1領域の信頼度を、前記第2領域を用いて評価する信頼度評価部と、を備える請求項1に記載の信号機推定装置。

請求項3

前記信頼度評価部は、前記現在の撮影画像における前記第1領域の画像と前記第2領域の画像との差分が大きいほど、前記第1領域に対して低い信頼度を算出し、前記差分が小さいほど、前記第1領域に対して高い信頼度を算出する信頼度算出部と、前記信頼度算出部によって算出される前記第1領域の信頼度が第1閾値以上であるか否かを判定することによって、前記第1領域の信頼度を評価し、前記第1領域の信頼度が前記第1閾値以上の場合に、現在の前記信号機が映し出されている信号機画像として、前記第1領域の画像を出力する信頼度判定部とを備える請求項2に記載の信号機推定装置。

請求項4

前記信頼度判定部は、前記第1領域の信頼度が前記第1閾値以上の場合には、さらに、前記第1領域を示す高信頼度領域情報を前記蓄積部に格納し、前記高信頼度領域情報によって示される前記第1領域は、前記現在の撮影画像の次の撮影画像に対する前記第2推定部による推定に、前記過去領域として用いられる、請求項3に記載の信号機推定装置。

請求項5

前記信頼度判定部は、前記第1領域の信頼度が前記第1閾値未満の場合には、前記現在の撮影画像における前記過去領域の画像を、前記信号機画像として出力する請求項4に記載の信号機推定装置。

請求項6

前記信号機推定装置は、さらに、第1条件が満たされたときに、前記蓄積部に格納されている前記高信頼度領域情報を削除して、前記過去領域の代わりに前記第2推定部に用いられる新たな領域を示す情報を、前記蓄積部に格納する回復処理を実行する信頼度回復処理部を備える請求項4または5に記載の信号機推定装置。

請求項7

前記カメラから新たな撮影画像が得られるたびに、前記新たな撮影画像が前記現在の撮影画像として扱われ、前記現在の撮影画像における前記第1領域の信頼度に対する判定が前記信頼度判定部によって行われる場合、前記第1条件は、前記信頼度判定部によって前記第1領域の信頼度が前記第1閾値未満と判定される回数が、n回(nは2以上の整数)以上になる条件である請求項6に記載の信号機推定装置。

請求項8

前記信頼度判定部は、前記車両において許容範囲を超える大きさの振動が検知された場合には、過去の撮影画像における前記過去領域の画像を、前記信号機画像として出力する請求項4または5に記載の信号機推定装置。

請求項9

前記信号機推定装置は、さらに、前記振動が予め定められた期間以上継続するときに、前記蓄積部に格納されている前記高信頼度領域情報を削除して、前記過去領域の代わりに前記第2推定部に用いられる新たな領域を示す情報を、前記蓄積部に格納する回復処理を実行する信頼度回復処理部を備える請求項8に記載の信号機推定装置。

請求項10

前記信頼度回復処理部は、前記回復処理では、前記カメラから新たな撮影画像が得られるたびに、前記新たな撮影画像において前記信号機が映し出されている領域を前記第1推定部に推定させ、前記新たな撮影画像において前記第1推定部によって推定された領域の画像である第1画像と、前記新たな撮影画像の直前の撮影画像において前記第1推定部によって推定された領域の画像である第2画像との差異を算出し、算出された前記差異が第2閾値未満となることが、予め定められた回数だけ連続して繰り返される場合に、少なくとも、前記第1推定部によって最後に推定された前記領域を示す情報を、前記新たな領域を示す情報として、前記蓄積部に格納する請求項7または9に記載の信号機推定装置。

請求項11

前記信頼度回復処理部は、前記第2画像が存在しない場合には、前記第2画像の代わりに、前記第1画像を初期画像として前記差異の算出に用いる請求項10に記載の信号機推定装置。

請求項12

前記信頼度回復処理部は、前記第2画像が存在しない場合には、前記第2画像の代わりに、前記信号機が映し出されているテンプレート画像を、初期画像として前記差異の算出に用いる請求項10に記載の信号機推定装置。

請求項13

前記信頼度回復処理部は、前記第2画像が存在しない場合には、前記第2画像の代わりに、他車両から得られた、前記信号機が映し出されている画像を、初期画像として前記差異の算出に用いる請求項10に記載の信号機推定装置。

請求項14

前記信頼度回復処理部は、前記第2画像が存在しない場合には、前記第2画像の代わりに、前記回復処理が行われる前に前記カメラから既に得られた、前記信号機が映し出されている画像を、初期画像として前記差異の算出に用いる請求項10に記載の信号機推定装置。

請求項15

撮影画像において信号機が映し出されている領域をコンピュータが推定する信号機推定方法であって、車両の走行状態を示す車両走行情報を取得し、前記車両に搭載されたカメラによる撮影によって得られた現在の撮影画像において、信号機が映し出されている領域を、蓄積部に格納されている情報によって示される過去領域と、前記車両走行情報によって示される前記車両の走行状態とに基づいて推定する、信号機推定方法。

請求項16

撮影画像において信号機が映し出されている領域を推定するためのプログラムであって、車両の走行状態を示す車両走行情報を取得し、前記車両に搭載されたカメラによる撮影によって得られた現在の撮影画像において、信号機が映し出されている領域を、蓄積部に格納されている情報によって示される過去領域と、前記車両走行情報によって示される前記車両の走行状態とに基づいて推定する、ことをコンピュータに実行させるプログラム。

技術分野

0001

本開示は、撮影画像において信号機が映し出されている領域を推定する信号機推定装置などに関する。

背景技術

0002

従来、車両の前方に存在する信号機を検出する信号機検出装置が提案されている(例えば、特許文献1参照)。この信号機検出装置は、車両の位置および地図データベースにより、撮影画像において、信号機の位置を予測し、その位置に応じた信号機検出領域を設定する。つまり、信号機が映し出されている領域が信号機検出領域として推定される。さらに、信号機検出領域内に信号機が検出されない場合には、前方または遠方に信号機検出領域を移動させながら信号機の検出を行う。

先行技術

0003

特開2016−24572号公報

発明が解決しようとする課題

0004

しかしながら、上記特許文献1の信号機検出装置では、信号機検出領域を適切に推定することができないという課題がある。

0005

そこで、本開示は、撮影画像において信号機が映し出されている領域を適切に推定することができる信号機推定装置を提供する。

課題を解決するための手段

0006

本開示の一態様に係る信号機推定装置は、車両の走行状態を示す車両走行情報を取得する取得部と、前記車両に搭載されたカメラによる撮影によって得られた現在の撮影画像において、信号機が映し出されている領域を、蓄積部に格納されている情報によって示される過去領域と、前記車両走行情報によって示される前記車両の走行状態とに基づいて推定する推定部とを備える。

0007

なお、これらの包括的または具体的な態様は、システム、方法、集積回路コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

発明の効果

0008

本開示の信号機推定装置は、撮影画像において信号機が映し出されている領域を適切に推定することができる。

図面の簡単な説明

0009

図1は、実施の形態における信号機推定装置の構成を示すブロック図である。
図2は、実施の形態における信号機領域推定部の処理動作を説明するための図である。
図3は、実施の形態における撮影画像、信号機画像および領域を説明するための図である。
図4Aは、実施の形態における第1領域と第2領域との関係の一例を示す図である。
図4Bは、実施の形態における第1領域と第2領域との関係の他の例を示す図である。
図5は、実施の形態における、過去領域から第2領域が推定される状況を説明するための図である。
図6は、実施の形態における検証用領域推定部が保持している変換テーブルの一例を示す図である。
図7は、実施の形態における信号機推定装置の全体的な処理動作を示す図である。
図8は、実施の形態における画像抽出処理の詳細を示すフローチャートである。
図9は、実施の形態における信頼度算出処理の詳細を示すフローチャートである。
図10は、実施の形態における第1代替処理の詳細を示すフローチャートである。
図11は、実施の形態における第2代替処理の詳細を示すフローチャートである。
図12は、実施の形態における第1代替処理および第2代替処理において出力される信号機画像を説明するための図である。
図13は、実施の形態における信頼度回復処理の詳細を示すフローチャートである。

実施例

0010

(本開示の基礎となった知見)
背景技術」の欄において記載した上記特許文献1の信号機検出装置に関し、以下の問題が生じることを見出した。

0011

上記特許文献1の信号機検出装置は、検出された車両の位置と、地図データと、カメラの角度とから、カメラで撮影された画像における信号機の位置を推定し、その位置を含む領域を信号機検出領域として設定する。つまり、信号機が映し出されている領域が信号機検出領域として推定される。また、信号機検出領域内に信号機が存在することを確認するために、特徴点検出が行われる。つまり、信号機検出装置は、予め登録されている信号機の特徴点を用いて、その信号機検出領域内において特徴点検出を行う。もし、その信号機検出領域に信号機の特徴点が検出されなかった場合、信号機検出装置は、信号機検出領域を更新する。つまり、信号機検出装置は、信号機検出領域を前方(車両に近づく向き)または遠方(車両から遠ざかる向き)に設定し直して信号機の検出を再び行う。このように、信号機検出領域を前方または遠方にずらすことで、車両の位置の前後方向における検出誤差を解決することができる。なお、前後方向は、上述の前方または遠方に向かう方向である。つまり、誤って検出された車両の位置に基づいて信号機検出領域が設定された場合には、その信号機検出領域に信号機が存在している可能性が低くなる。しかし、その信号機検出領域を設定し直すことによって、信号機が存在している可能性が高い信号機検出領域を設定することができる。

0012

しかしながら、このような信号機検出装置では、車両の位置の検出における前後方向の誤差しか解決できず、左右方向の誤差を解決することはできない。検出された車両の位置に左右方向の誤差がある場合には、信号機検出領域を前方または遠方にずらしても、信号機が存在する可能性の高い信号機検出領域を設定できない。言い換えれば、信号機検出領域を適切に推定することができない。その結果、検出すべき信号機を検出することができないだけでなく、その信号機と異なる信号機を検出してしまう可能性もある。つまり、車線変更または蛇行運転によって左右に車両が移動する場合には、上記特許文献1の信号機検出装置では、カメラで撮影された画像から、信号機が映し出されている領域を適切に推定することができない。

0013

このような課題を解決するために、本開示の一態様に係る信号機推定装置は、車両の走行状態を示す車両走行情報を取得する取得部と、前記車両に搭載されたカメラによる撮影によって得られた現在の撮影画像において、信号機が映し出されている領域を、蓄積部に格納されている情報によって示される過去領域と、前記車両走行情報によって示される前記車両の走行状態とに基づいて推定する推定部とを備える。

0014

これにより、現在の撮影画像において信号機が映し出されている領域を、現在の車両の位置を検出することなく推定することができる。例えば、現在の車両の位置を検出し、現在の撮影画像において信号機が映し出されている領域を、その車両の位置に基づいて推定する処理が行われる場合では、現在の車両の位置の検出に誤差があれば、その領域には、信号機が映し出されていない可能性がある。しかし、本開示の一態様に係る信号機推定装置では、現在の車両の位置を検出することなく、その領域が推定されるため、信号機が映し出されている領域を適切に推定することができる。つまり、検出される現在の車両の位置において前後方向の誤差だけでなく、左右方向の誤差がある場合でも、信号機が映し出されている領域を適切に推定することができる。

0015

また、前記推定部は、前記現在の撮影画像において前記信号機が映し出されている領域を、第2領域として推定する第2推定部であって、前記信号機推定装置は、さらに、少なくとも前記カメラの撮影方向および画角を示すカメラ情報と、前記車両の位置と、前記信号機の位置とに基づいて、前記現在の撮影画像において前記信号機が映し出されている領域を第1領域として推定する第1推定部と、前記第1推定部によって推定された前記第1領域の信頼度を、前記第2領域を用いて評価する信頼度評価部と、を備えてもよい。

0016

これにより、現在の車両の位置の検出結果に基づいて第1領域が推定される場合であっても、第2領域によってその第1領域の信頼度を適切に評価することができる。

0017

また、前記信頼度評価部は、前記現在の撮影画像における前記第1領域の画像と前記第2領域の画像との差分が大きいほど、前記第1領域に対して低い信頼度を算出し、前記差分が小さいほど、前記第1領域に対して高い信頼度を算出する信頼度算出部と、前記信頼度算出部によって算出される前記第1領域の信頼度が第1閾値以上であるか否かを判定することによって、前記第1領域の信頼度を評価し、前記第1領域の信頼度が前記第1閾値以上の場合に、現在の前記信号機が映し出されている信号機画像として、前記第1領域の画像を出力する信頼度判定部とを備えてもよい。

0018

これにより、現在の車両の位置の検出結果に基づいて第1領域が推定される場合であっても、第2領域によって高信頼度と評価された第1領域の画像だけを、信号機画像として出力させることができる。つまり、現在の車両の位置の検出に誤差が含まれ、第1領域の画像に信号機が映し出されていない可能性がある低信頼度の第1領域の画像が、信号機画像として出力されてしまうことを抑えることができる。

0019

また、前記信頼度判定部は、前記第1領域の信頼度が前記第1閾値以上の場合には、さらに、前記第1領域を示す高信頼度領域情報を前記蓄積部に格納し、前記高信頼度領域情報によって示される前記第1領域は、前記現在の撮影画像の次の撮影画像に対する前記第2推定部による推定に、前記過去領域として用いられてもよい。

0020

これにより、高信頼度と判定された第1領域を示す情報が、高信頼度領域情報として蓄積部に格納され、その高信頼度領域情報によって示される第1領域が、第2推定部によって過去領域として用いられる。したがって、第2推定部による第2領域の推定に、信頼度の低い過去領域が用いられてしまうことを抑え、第2領域の推定精度を高めることができる。

0021

また、前記信頼度判定部は、前記第1領域の信頼度が前記第1閾値未満の場合には、前記現在の撮影画像における前記過去領域の画像を、前記信号機画像として出力してもよい。

0022

これにより、低信頼度の第1領域の画像が信号機画像として出力される代わりに、現在の撮影画像における過去領域の画像が信号機画像として出力される。したがって、例えば車両が走行ゆっくり走行している場合には、その過去領域の画像には、信号機が映し出されている可能性が高いため、適切な信号機画像を出力することができる。

0023

また、前記信号機推定装置は、さらに、第1条件が満たされたときに、前記蓄積部に格納されている前記高信頼度領域情報を削除して、前記過去領域の代わりに前記第2推定部に用いられる新たな領域を示す情報を、前記蓄積部に格納する回復処理を実行する信頼度回復処理部を備えてもよい。

0024

例えば、蓄積部に蓄積されている高信頼度領域情報を用いて第2領域を推定しても、その第2領域が不適切な場合がある。このような場合に、その高信頼度領域情報が削除されて、新たな領域を示す情報が格納されることによって、第2領域の推定精度を向上させることができる。

0025

また、前記カメラから新たな撮影画像が得られるたびに、前記新たな撮影画像が前記現在の撮影画像として扱われ、前記現在の撮影画像における前記第1領域の信頼度に対する判定が前記信頼度判定部によって行われる場合、前記第1条件は、前記信頼度判定部によって前記第1領域の信頼度が前記第1閾値未満と判定される回数が、n回(nは2以上の整数)以上になる条件であってもよい。

0026

これにより、カメラのフレームレートにしたがって撮影画像が得られるたびに、その撮影画像における第1領域に対して信頼度が低いと判定されることが繰り返される場合に、上述の回復処理が実行される。したがって、このような低信頼度の判定の繰り返しを回避することができる。

0027

また、前記信頼度判定部は、前記車両において許容範囲を超える大きさの振動が検知された場合には、過去の撮影画像における前記過去領域の画像を、前記信号機画像として出力してもよい。

0028

例えば、走行中の車両に大きな揺れが生じた場合には、現在の撮影画像における第1領域の画像にも第2領域の画像にも、信号機が映し出されていない可能性が高い。そこで、本開示の一態様に係る信号機推定装置では、そのような大きな揺れが生じた場合には、現在の撮影画像ではなく、その揺れが生じる前の過去の撮影画像における過去領域の画像が、信号機画像として出力される。その過去領域の画像は、大きな揺れが生じる前の過去の撮影画像に対して第1推定部によって推定された高信頼度の第1領域の画像である。したがって、過去の撮影画像が得られてから現在の撮影画像が得られるまでの期間が短ければ、その過去領域の画像には、信号機が映し出されている可能性が高い。したがって、適切な信号機画像を出力することができる。

0029

また、前記信号機推定装置は、さらに、前記振動が予め定められた期間以上継続するときに、前記蓄積部に格納されている前記高信頼度領域情報を削除して、前記過去領域の代わりに前記第2推定部に用いられる新たな領域を示す情報を、前記蓄積部に格納する回復処理を実行する信頼度回復処理部を備えてもよい。

0030

例えば、大きな揺れが継続する場合には、その揺れが収まっても、蓄積部に格納されている高信頼度領域情報を第2領域の推定に用いることができない可能性が高い。つまり、その高信頼度領域情報によって示される過去領域を用いても、適切な信号機画像を出力することができない可能性が高い。そこで、本開示の一態様に係る信号機推定装置では、そのような大きな揺れが継続する場合には、上述の回復処理が実行される。これにより、大きな揺れが収まったときには、その蓄積部に蓄積されている新たな領域を示す情報を用いて、適切な信号機画像を出力することができる。

0031

また、前記信頼度回復処理部は、前記回復処理では、前記カメラから新たな撮影画像が得られるたびに、前記新たな撮影画像において前記信号機が映し出されている領域を前記第1推定部に推定させ、前記新たな撮影画像において前記第1推定部によって推定された領域の画像である第1画像と、前記新たな撮影画像の直前の撮影画像において前記第1推定部によって推定された領域の画像である第2画像との差異を算出し、算出された前記差異が第2閾値未満となることが、予め定められた回数だけ連続して繰り返される場合に、少なくとも、前記第1推定部によって最後に推定された前記領域を示す情報を、前記新たな領域を示す情報として、前記蓄積部に格納してもよい。

0032

これにより、第1推定部による領域の推定が安定したとき、つまり、検出される車両の位置の誤差が収束したときに、その第1推定部によって最後に推定された領域を示す情報が蓄積部に格納される。したがって、信号機が映し出されている可能性が高い領域、言い換えれば信頼度の高い領域を示す情報を、蓄積部に格納することができる。その結果、その後に推定される第2領域の推定精度を高めることができる。

0033

また、前記信頼度回復処理部は、前記第2画像が存在しない場合には、前記第2画像の代わりに、前記第1画像を初期画像として前記差異の算出に用いてもよい。または、前記信頼度回復処理部は、前記第2画像が存在しない場合には、前記第2画像の代わりに、前記信号機が映し出されているテンプレート画像を、初期画像として前記差異の算出に用いてもよい。または、前記信頼度回復処理部は、前記第2画像が存在しない場合には、前記第2画像の代わりに、他車両から得られた、前記信号機が映し出されている画像を、初期画像として前記差異の算出に用いてもよい。または、前記信頼度回復処理部は、前記第2画像が存在しない場合には、前記第2画像の代わりに、前記回復処理が行われる前に前記カメラから既に得られた、前記信号機が映し出されている画像を、初期画像として前記差異の算出に用いてもよい。

0034

これにより、適切な初期画像に基づいて回復処理を実行することができる。

0035

以下、実施の形態について、図面を参照しながら具体的に説明する。

0036

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

0037

また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。

0038

(実施の形態)
図1は、本実施の形態における信号機推定装置の構成を示すブロック図である。

0039

例えば、車両10は、信号機推定装置20と、カメラ210と、カメラ情報保持部220と、位置検出部230と、地図情報格納部240と、振動検知部250と、灯火色判定部260と、車両制御部270とを備える。

0040

カメラ210は、車載カメラであって、例えば車両10の前方を撮影し、その撮影によって生成される画像(以下、撮影画像という)を信号機推定装置20に出力する。具体的には、カメラ210は、一定のフレームレートで撮影を行い、その撮影によって画像が生成されるたびに、その画像を撮影画像として信号機推定装置20に出力する。

0041

カメラ情報保持部220は、カメラ210の画角、撮影方向、および、車両10に取り付けられている位置などを示すカメラ情報を保持している記録媒体である。

0042

位置検出部230は、車両10の位置を検出し、その位置を示す車両位置情報を信号機推定装置20に出力する。この車両10の位置の検出は、一般的な自己位置推定手法によって実施される。例えば、この自己位置推定手法は、GPS(Global Positioning System)を用いた手法であってもよく、LIDAR(Light Detection and Ranging)および周辺地図を用いて周辺情報調査することによって自己位置を推定する手法であってもよい。

0043

地図情報格納部240は、少なくとも車両10の周辺の地図を示す地図情報を格納している。なお、この地図情報は、地図を3次元のデータとして示し、具体的には、実空間における少なくとも交差点および信号機のそれぞれの位置を、3次元座標における位置として示す。このような地図情報は、例えば、インターネットなどのネットワークを介してサーバから無線で送信され、地図情報格納部240に格納されていてもよい。

0044

振動検知部250は、車両10に取り付けられ、車両10の振動の大きさを計測し、その計測された振動の大きさを示す振動情報を信号機推定装置20に出力する。つまり、振動検知部250は、加速度センサ角加速度センサジャイロセンサまたは9軸センサなどとして構成されている。

0045

信号機推定装置20は、カメラ210による撮影によって生成された撮影画像において、信号機が映し出されている領域を推定する。この領域の推定には、カメラ情報保持部220のカメラ情報、位置検出部230から出力される車両位置情報、地図情報格納部240の地図情報、および振動検知部250からの振動情報などが用いられる。また、信号機推定装置20は、その推定された領域の画像を信号機画像として灯火色判定部260に出力する。このとき、信号機推定装置20は、その信号機画像と共に、上述の推定の信頼度も灯火色判定部260に出力する。この信号機推定装置20の詳細については、後述する。

0046

灯火色判定部260は、信号機推定装置20から出力される信号機画像と信頼度とを用いて、信号機画像に映し出されている信号機の灯火色を判定し、その判定結果を示す灯火色情報を車両制御部270に出力する。灯火色の判定には、パターンマッチングなどに代表される一般的な画像認識アルゴリズムを用いることができる。この灯火色の判定において、ノイズ対策のために、過去数フレームの信号機画像に対する判定結果を平滑化してもよい。例えば、灯火色判定部260は、過去から現在までの数フレームの信号機画像のそれぞれについて、青色、黄色、および赤色の各灯火色に対する判定確率を保持しておき、過去から現在までの各灯火色の判定確率から、現在の灯火色を判定する。このとき、過去から現在までの数フレームの信号機画像のそれぞれの信頼度を、その信号機画像における判定確率に対する重みとして用いることができる。具体的には、灯火色判定部260は、過去から現在までのj(jは2以上の整数)フレームの信号機画像のそれぞれにおける、信頼度と青色の判定確率との積の合計値を算出する。同様に、灯火色判定部260は、黄色および赤色のそれぞれに対しても、その合計値を算出する。そして、灯火色判定部260は、最も合計値が大きい色を、現在の灯火色として判定する。これにより、現在の信号機の灯火色を適切に判定することができる。

0047

車両制御部270は、例えば1つまたは複数のECU(Electronic Control Unit)からなる。このような車両制御部270は、灯火色判定部260から出力される灯火色情報を取得し、その灯火色情報によって示される信号機の灯火色に基づいて、車両10の走行を制御する。つまり、車両制御部270は、信号機が配置された道路を車両10が自動走行するように、その車両10を制御する。

0048

本実施の形態における信号機推定装置20は、信号機領域推定部111と、画像抽出部112と、信頼度算出部113と、信頼度判定部114と、信頼度回復処理部115と、蓄積部116と、検証用領域推定部117と、走行情報取得部118とを備える。

0049

信号機領域推定部111は、カメラ210から出力される現在の撮影画像において信号機が映し出されている領域を第1領域として推定する。本実施の形態では、この信号機領域推定部111は、第1推定部として構成されている。この第1領域の推定は、カメラ情報保持部220のカメラ情報と、車両位置情報によって示される車両10の位置と、信号機の位置とに基づいて行われる。なお、カメラ情報は、少なくともカメラ210の撮影方向および画角を示す。また、信号機の位置は、地図情報格納部240の地図情報によって示されている。信号機領域推定部111は、推定された領域(すなわち第1領域)を示す情報を、第1領域情報として画像抽出部112に出力する。例えば、第1領域が長方形である場合、第1領域情報は、長方形の4つの頂点のうちのいずれか1つの頂点の座標と、その長方形の幅および高さを示す。

0050

具体的には、地図情報は、3次元空間における各信号機の位置および形態を示す。つまり、地図情報は、道路および建物の位置を示すだけでなく、その道路に配置されている信号機の位置および形態も示す。信号機の位置は、3次元座標系によって示される。すなわち、信号機の灯箱の位置が、経度および緯度と高さとによって示される。高さは、道路からの高さであっても、標高であってもよい。信号機の形態は、信号機を正面から見たときのその信号機の形状および大きさを含む。

0051

信号機領域推定部111は、その地図情報によって示される地図に、位置検出部230から出力された車両位置情報によって示される位置をマッピングすることによって、車両10の地図上の位置を特定する。さらに、信号機領域推定部111は、地図上の車両10および信号機のそれぞれの位置と、信号機の形態と、車両10におけるカメラ210の取付位置および撮影方向とに基づいて、撮影画像において信号機が映し出されている領域を幾何学的に推定する。その領域の幾何学的な検出には、例えば、3次元座標系を2次元座標系に変換する透視投影などの処理を用いてもよい。

0052

画像抽出部112は、カメラ210から撮影画像を取得し、その撮影画像から、第1領域情報によって示される第1領域の画像と、第2領域情報によって示される第2領域の画像とを抽出する。

0053

つまり、画像抽出部112は、信号機領域推定部111から第1領域情報を取得し、その第1領域情報によって示される第1領域をその撮影画像から特定する。そして、画像抽出部112は、撮影画像からその第1領域の画像を抽出する。さらに、画像抽出部112は、検証用領域推定部117から第2領域情報を取得し、その第2領域情報によって示される第2領域をその撮影画像から特定する。そして、画像抽出部112は、撮影画像からその第2領域の画像を抽出する。

0054

画像抽出部112は、上述のように抽出された第1領域の画像と第2領域の画像とを信頼度算出部113に出力する。

0055

信頼度算出部113は、画像抽出部112から第1領域の画像と第2領域の画像とを取得し、それらの画像を比較することによって、第1領域の信頼度を算出する。つまり、信頼度算出部113は、現在の撮影画像における第1領域の画像と第2領域の画像との差分を算出し、その差分が大きいほど、第1領域に対して低い信頼度を算出し、その差分が小さいほど、第1領域に対して高い信頼度を算出する。なお、これらの画像の比較には、例えばパターンマッチングなどのベクトル間距離算出アルゴリズムを用いてもよい。

0056

信頼度算出部113は、上述のように算出された第1領域の信頼度を、第1領域の画像および第1領域情報と共に信頼度判定部114に出力する。

0057

信頼度判定部114は、信頼度算出部113から第1領域の信頼度、第1領域の画像および第1領域情報を取得すると、その第1領域の信頼度が第1閾値以上であるか否かを判定することによって、第1領域の信頼度を評価する。第1領域の信頼度が第1閾値以上の場合には、信頼度判定部114は、現在の信号機が映し出されている信号機画像として、その第1領域の画像を灯火色判定部260に出力する。つまり、信頼度判定部114は、第1領域の信頼度が、撮影画像におけるその第1領域において信号機が正しく映し出されていると判断するに足る数値であるかを、第1閾値によって判定する。そして、信頼度がその数値であると判定すると、つまり、信頼度が第1閾値以上であると判定すると、信頼度判定部114は、第1領域の画像を信号機画像として灯火色判定部260に出力する。このとき、信頼度判定部114は、その信号機画像と共にその信頼度を灯火色判定部260に出力する。

0058

さらに、信頼度判定部114は、信頼度が閾値以上の場合には、信頼度算出部113から取得された第1領域情報と第1領域の画像とを関連付けて蓄積部116に出力する。

0059

なお、本実施の形態では、信頼度算出部113および信頼度判定部114は、信号機領域推定部111によって推定された第1領域の信頼度を、第2領域を用いて評価する信頼度評価部として構成されている。

0060

蓄積部116は、第1領域情報と第1領域の画像とを格納するための記録媒体である。つまり、信頼度判定部114から第1領域情報と第1領域の画像とが出力されるたびに、蓄積部116には、その第1領域情報と第1領域の画像とが格納される。この蓄積部116に格納されている第1領域情報によって示される第1領域は、過去領域として扱われ、蓄積部116に格納されている第1領域の画像は、過去画像として扱われる。また、蓄積部116に格納されている第1領域情報は、第1閾値以上の信頼度の第1領域を示すため、高信頼度領域情報と称される。

0061

走行情報取得部118は、車両10の走行状態を示す車両走行情報を取得して、その車両走行情報を検証用領域推定部117に出力する。車両走行情報は、具体的には、車両10の車速および舵角などを示す。なお、車両走行情報は、これらに限定されることなく、加速度などを示していてもよい。

0062

検証用領域推定部117は、信号機が映し出されている領域を推定する推定部である。具体的には、検証用領域推定部117は、車両10に搭載されたカメラ210による撮影によって得られた現在の撮影画像において、信号機が映し出されている領域を、蓄積部116に格納されている情報によって示される過去領域と、車両走行情報によって示される車両10の走行状態とに基づいて推定する。このように検証用領域推定部117によって推定される領域を、以下、第2領域という。つまり、本実施の形態では、検証用領域推定部117は、現在の撮影画像において信号機が映し出されている領域を、第2領域として推定する第2推定部である。また、上述の過去領域は、蓄積部116に格納されている高信頼度領域情報によって示される第1領域である。

0063

言い換えれば、検証用領域推定部117は、蓄積部116から取得した、過去の高信頼度の領域を示す情報と、走行情報取得部118から取得した、車速または舵角などを示す車両走行情報とに基づいて、信号機領域推定部111によって推定された第1領域を評価または検証するための第2領域を推定する。

0064

そして、検証用領域推定部117は、その第2領域を示す第2領域情報を画像抽出部112に出力する。例えば、第1領域情報と同様に、第2領域が長方形である場合、第2領域情報は、長方形の4つの頂点のうちのいずれか1つの頂点の座標と、その長方形の幅および高さを示す。

0065

信頼度回復処理部115は、蓄積部116に格納されている高信頼度領域情報を削除して、過去領域の代わりに検証用領域推定部117に用いられる新たな領域を示す情報を、蓄積部116に格納する信頼度回復処理を実行する。

0066

なお、カメラ情報保持部220、蓄積部116および地図情報格納部240などの記録媒体は、ハードディスクまたはメモリなどから構成されていてもよい。なお、メモリは、不揮発性であってもよく、揮発性であってもよい。また、メモリは、ROM(Read Only Memory)またはRAM(Random Access Memory)であってもよい。

0067

図2は、信号機領域推定部111の処理動作を説明するための図である。具体的には、図2の(a)は、透視投影の処理を示し、図2の(b)は、車両10の位置を原点とするローカル座標系を示す。

0068

上述のように、信号機領域推定部111は、撮影画像において信号機が映し出されている領域を第1領域として幾何学的に推定するときには、透視投影の処理を用いてもよい。

0069

例えば、図2の(b)に示すように、信号機領域推定部111は、車両10の位置を原点とする3次元座標系(すなわちローカル座標系)を設定する。この3次元座標系では、車両10の正面方向に沿ってX軸が配置され、水平面においてそのX軸と垂直な方向に沿ってY軸が配置され、XY平面において垂直な方向に沿ってZ軸が配置される。

0070

信号機領域推定部111は、地図情報によって示される複数の信号機の位置のうち、位置検出部230によって検出された車両10の位置から、カメラ情報によって示される撮影方向に存在する信号機の位置を特定する。そして、信号機領域推定部111は、地図情報によって示される、その特定された信号機の位置、すなわちグローバル座標系において示される信号機の位置を、上述のように設定された3次元座標系の位置、すなわちローカル座標系の位置に変換する。例えば、信号機の位置は、図2の(a)に示すように、3次元座標系の位置P1(X1,Y1,Z1)として示される。

0071

次に、信号機領域推定部111は、その3次元座標系の位置P1(X1,Y1,Z1)を撮影画像のスクリーン投影することによって、その位置P1(X1,Y1,Z1)を2次元座標系の位置p1(x1,y1)に変換する。なお、2次元座標系はx軸およびy軸からなる座標系であって、x軸は、3次元座標系のZ軸に対応し、y軸は、3次元座標系のY軸に対応する。ここで、カメラ210の焦点距離、すなわち、自車両の3次元的座標を原点とし、3次元マップ上の信号機座標P1(x,y,z)、撮影画像上の信号機座標P2(X,Y)、投影されるスクリーンの車両10からの距離をfとする場合、信号機領域推定部111は、例えば、x1=(f/X1)×Z1およびy1=(f/X1)×Y1などによって、位置P1(X1,Y1,Z1)を2次元座標系の位置p1(x1,y1)に変換する。

0072

また、信号機領域推定部111は、地図情報に示されるその信号機の大きさ(例えば、幅および高さ)についても、上述と同様に2次元座標系に投影する。これにより、地図情報に示される信号機(具体的には信号機の灯箱)の領域が、撮影画像における2次元座標系の領域に投影される。信号機領域推定部111は、その投影によって、現在の撮影画像において信号機が映し出されている領域を、第1領域として推定する。

0073

図3は、撮影画像、信号機画像および領域を説明するための図である。

0074

信号機領域推定部111において推定された第1領域は、図3に示すように、撮影画像における少なくとも一部の領域である。例えば、信号機領域推定部111によって正しく推定された場合には、図3に示すように、第1領域には、信号機が映し出されている。このように、第1領域に信号機が映し出されている可能性が高い場合には、信頼度算出部113は、その第1領域に対して高い信頼度を算出する。高信頼度の第1領域の画像は、信号機推定装置20から信号機画像として出力される。また、高信頼度の第1領域を示す第1領域情報(すなわち高信頼度領域情報)と、その第1領域の画像とは、信頼度判定部114によって蓄積部116に格納される。第1領域情報は、第1領域として、例えば、その第1領域の左上端の座標(x1,y1)と、その第1領域の幅および高さ(w,h)とを示す。蓄積部116に格納されている第1領域情報の第1領域と、その第1領域の画像とは、過去領域および過去画像としてそれぞれ扱われる。

0075

図4Aおよび図4Bは、第1領域と第2領域との関係を示す図である。

0076

図4Aに示すように、信号機領域推定部111によって推定される第1領域の画像と、検証用領域推定部117によって推定される第2領域の画像との差分が小さい場合、信頼度算出部113は、その第1領域に対して高い信頼度を算出する。その信頼度は、第1領域に信号機が映し出されている可能性である。つまり、高い信頼度の第1領域には信号機が映し出されている可能性が高い。

0077

一方、図4Bに示すように、信号機領域推定部111によって推定される第1領域の画像と、検証用領域推定部117によって推定される第2領域の画像との差分が大きい場合、信頼度算出部113は、その第1領域に対して低い信頼度を算出する。つまり、低い信頼度の第1領域には信号機が映し出されている可能性が低い。

0078

図5は、過去領域から第2領域が推定される状況を説明するための図である。

0079

検証用領域推定部117は、蓄積部116から、過去の高信頼度と判定された領域を取得し、走行情報取得部118からの車両走行情報を用いて、現時点での信号機の映り方を推定する。つまり、検証用領域推定部117は、上述のように、車両10に搭載されたカメラ210による撮影によって得られた過去の撮影画像において、信号機が映し出されている領域として推定された過去領域と、車両走行情報によって示される車両10の走行状態とに基づいて、現在の撮影画像において信号機が映し出されている領域を第2領域として推定する。過去領域は、例えば、蓄積部116に格納されている最新の第1領域情報によって示される領域である。

0080

例えば図5に示すように、車両10が信号機に近づきながら道路上を走行している。このとき、カメラ210による一定のフレームレートの撮影によって順次得らえる撮影画像では、信号機が映し出されている領域の大きさおよび位置は変化する。例えば、その車両10の車速は、時速40km/hであって、車両10の進行方向は、右斜め前方向に傾いている。つまり舵角が傾いている。このような場合、走行情報取得部118は、その車速および舵角を示す車両走行情報を取得する。そして、検証用領域推定部117は、蓄積部116に格納されている過去領域を、その車両走行情報に基づいて左方向に移動させて大きくすることによって、第2領域を推定する。つまり、1フレーム前の撮影画像において信号機が映し出されていた領域は、現在の撮影画像では左方向に移動して大きくなると推定される。

0081

図6は、検証用領域推定部117が保持している変換テーブルの一例を示す図である。

0082

検証用領域推定部117は、図6に示す変換テーブルを保持し、その変換テーブルにしたがって過去領域を第2領域に変換する。これにより、第2領域が推定される。

0083

変換テーブルは、複数の列からなり、それぞれの列は入力と出力とを示す。入力は、舵角Δθおよび車速vからなる車両走行情報と、信号機の位置(X,Y,Z)と、時間差Δtとからなる。

0084

舵角Δθは、時計回りの向きを正とした場合における現在の車両10の舵角である。車速vは、現在の車両10の車速である。信号機の位置(X,Y,Z)は、過去の高信頼度時点での車両10の位置を原点とした場合の信号機の相対的な3次元座標系における位置である。時間差Δtは、上述過去の高信頼度時点と現在の時点との差である。なお、過去の高信頼度時点は、高い信頼度(すなわち第1閾値以上の信頼度)の第1領域が推定された時点である。

0085

出力は、領域の位置の変化量(Δx,Δy)と、領域の幅と高さの変化率(Δw,Δh)とからなる。

0086

図5に示す場合では、舵角が右に傾いているため、信号機が映し出されている領域は左方向へずれる。また、車両10は前進しているため、その領域が上方向へずれると同時に、その領域の幅Δwと高さΔhは大きくなる。変換テーブルの1列目の入力と出力は、このような車両10の走行状態と、その走行状態に応じた領域の変化とを対応付けて示す。

0087

具体的には、変換テーブルの1列目の入力は、現在の舵角Δθが右(すなわち時計回りの向き)に3度であって、現在の車速が40km/hであって、過去の高信頼度時点での信号機の位置が、車両10から正面方向に沿って100m先の5m上空に存在することを示す。また、1列目の入力は、時間差Δt=1を示す。つまり、その入力は、現在の時点が、その過去の高信頼度時点から1フレーム周期後であることを示す。

0088

変換テーブルの1列目の上記入力に対応する出力は、領域の位置の変化量(Δx,Δy)=(−2,−20)と、領域の幅および高さの変化率(Δw,Δh)=(×1.1, ×1.1)とを示す。つまり、その出力は、領域が、撮影画像内において少し上方に移動し、かつ左側に移動することを示し、領域の幅と高さが少し大きくなることを示す。

0089

一方、図5に示す例とは逆に、舵角が左に傾いている場合には、信号機が映し出されている領域は右方向へずれる。また、車速が速く、舵角が大きい場合には、信号機が映し出されている領域の位置、幅および高さは、それぞれ大きく変化する。変換テーブルの2列目の入力と出力は、このような車両10の走行状態と、その走行状態に応じた領域の変化とを対応付けて示す。

0090

具体的には、変換テーブルの2列目の入力は、現在の舵角Δθが左(すなわち反時計回りの向き)に6度であって、現在の車速が60km/hであって、過去の高信頼度時点での信号機の位置が、車両10から正面方向に沿って40m先の5m上空に存在することを示す。つまり、2列目の入力では、1列目の入力と比較して、車速vが速く、舵角Δθが大きい。また、2列目の入力は、1列目と同様、時間差Δt=1を示す。

0091

変換テーブルの2列目の上記入力に対応する出力は、領域の位置の変化量(Δx,Δy)=(−3,50)と、領域の幅および高さの変化率(Δw,Δh)=(×1.2, ×1.2)とを示す。つまり、その出力は、1列目の出力と比較して、領域が、撮影画像内においてより上方に移動し、かつ右側に移動することを示し、領域の幅と高さがより大きくなることを示す。

0092

また、車両10の正面方向に信号機が存在せず、その正面方向の左側に信号機がある場合には、舵角が0であっても、信号機が映し出されている領域は、左方向に移動する。変換テーブルの3列目の入力と出力は、このような車両10の走行状態と、その走行状態に応じた領域の変化とを対応付けて示す。

0093

具体的には、変換テーブルの3列目の入力は、現在の舵角Δθが0であって、車速が40km/hであって、過去の高信頼度時点での信号機の位置が、車両10の正面方向に沿って100m先の地点から3m左側でかつ5m上空に存在することを示す。また、3列目の入力も、1列目および2列目と同様、時間差Δt=1を示す。

0094

変換テーブルの3列目の上記入力に対応する出力は、領域の位置の変化量(Δx,Δy)=(−2,−20)と、領域の幅および高さの変化率(Δw,Δh)=(×1.1, ×1.1)とを示す。つまり、舵角は0度だが、信号機が車両10の正面方向に存在しないため、3列目の出力は、車両10が走行するほど信号機が左側にずれることを示す。つまり、ΔxだけでなくΔyも負の値となる。また、3列目の車速vは、1列目の車速vと同じであるため、3列目の出力は、1列目と同じΔwおよびΔhを示す。

0095

また、車両10の正面方向に信号機が存在しなくても、その信号機に向かうように舵角が設定される場合には、信号機が映し出される領域は、左右方向に移動しない可能性がある。変換テーブルの4列目の入力と出力は、このような車両10の走行状態と、その走行状態に応じた領域の変化とを対応付けて示す。

0096

具体的には、変換テーブルの4列目の入力は、現在の舵角Δθが右に3度であって、車速が40km/hであって、過去の高信頼度時点での信号機の位置が、車両10の正面方向に沿って100m先の地点から3m右側でかつ5m上空に存在することを示す。また、4列目の入力も、1〜3列目と同様、時間差Δt=1を示す。

0097

変換テーブルの4列目の上記入力に対応する出力は、領域の位置の変化量(Δx,Δy)=(−2,0)と、領域の幅および高さの変化率(Δw,Δh)=(×1.1, ×1.1)とを示す。

0098

1列目に示すように、車両10の正面方向に信号機が存在し、舵角Δθが右に傾いている場合には、信号機が映し出されている領域は左側にずれる。また、3列目に示す例とは逆に、車両10の正面方向の右側に信号機が存在し、舵角Δθが0である場合には、信号機が映し出されている領域は右側にずれる。これらから、4列目の入力の場合には、現在の時点における信号機の位置は変わらないことが予測される。よって、4列目の出力におけるΔyは0を示す。

0099

検証用領域推定部117は、このような図6に示す変換テーブルの出力にしたがって過去領域を変化させることによって、第2領域を推定する。このとき、検証用領域推定部117は、変換テーブルに示される複数列の入力の中から1つの入力を選択する。つまり、検証用領域推定部117は、車両走行情報によって示される現在の舵角Δθおよび車速vと、時間差Δtだけ過去に特定された信号機の位置(X,Y,Z)とに最も近い、舵角Δθ、車速vおよび信号機の位置(X、Y,Z)を示す入力を選択する。また、この入力の選択では、検証用領域推定部117は、時間差Δtが小さい入力を優先的に選択してもよい。そして、検証用領域推定部117は、選択された入力に対応付けられている出力、すなわち、その入力と同じ列に含まれている出力にしたがって、過去領域を変化させる。

0100

なお、検証用領域推定部117は、変換テーブルの代わりに、数式を用いて過去領域を変化させることによって、第2領域を推定してもよい。数式は、例えば、透視投影に代表される幾何学的変換アルゴリズムによって表現されたものである。以上により、車両10の移動によって変化する信号機の映り方を考慮した信号機推定の検証用画像(すなわち第2領域の画像)を推定することができる。

0101

図7は、本実施の形態における信号機推定装置20の全体的な処理動作を示す図である。

0102

まず、信号機領域推定部111は、振動検知部250からの振動情報を取得して、その振動情報によって示される振動が大きいか否かを判定する(ステップS110)。具体的には、信号機領域推定部111は、予め定められた許容範囲よりもその振動が大きいか否かを判定する。ここで、その振動が大きくないと判定されると(ステップS110のNo)、信号機領域推定部111および画像抽出部112は、第1領域の画像を抽出する画像抽出処理を行う(ステップS120)。その後、画像抽出部112、検証用領域推定部117および信頼度算出部113は、第1領域の信頼度を算出する信頼度算出処理を行う(ステップS130)。

0103

次に、信頼度判定部114は、信頼度算出処理によって算出された信頼度が第1閾値以上であるか否かを判定する(ステップS141)。第1閾値以上であると判定されると、すなわちステップS120の画像抽出処理に用いられた第1領域の信頼度が高いと判定されると(ステップS141のYes)、信頼度判定部114は、その高信頼度の第1領域を過去領域として蓄積部116に格納する(ステップS142)。つまり、信頼度判定部114は、高信頼度の第1領域を示す第1領域情報(すなわち高信頼度領域情報)を蓄積部116に格納する。このとき、さらに、信頼度判定部114は、現在の撮影画像におけるその第1領域の画像を過去画像として蓄積部116に格納する。そして、信頼度判定部114は、その第1領域の画像を信号機画像として灯火色判定部260に出力する(ステップS143)。このとき、信頼度判定部114は、最近のステップS141の処理によって第1閾値以上と判定された信頼度も、その信号機画像と共に灯火色判定部260に出力する。

0104

一方、ステップS141において信頼度が第1閾値未満と判定されると、(ステップS141のNo)、信頼度判定部114は、その低信頼度の判定がn回(nは2以上の整数)以上連続したか否かを判定する(ステップS146)。つまり、信頼度判定部114は、画像抽出処理に用いられた第1領域の信頼度が低いとステップS141で判定された回数が、n回以上連続したか否かを判定する。ここで、n回以上連続していないと判定すると、信頼度判定部114は、現在の撮影画像から過去領域の画像を抽出する第1代替処理を画像抽出部112に実行させる(ステップS150)。この第1代替処理が実行された後、ステップS143では、信頼度判定部114は、その抽出された過去領域の画像を信号機画像として灯火色判定部260に出力する。このとき、信頼度判定部114は、最近のステップS141の処理によって第1閾値未満と判定された信頼度も、その信号機画像と共に灯火色判定部260に出力する。一方、ステップS146において、低信頼度の判定がn回以上連続したと判定されると、信頼度判定部114は、蓄積部116に蓄積されている情報を初期化する信頼度回復処理を、信頼度回復処理部115に対して実行させる(ステップS170)。その後、信号機推定装置20は、ステップS110からの処理を繰り返し実行する。

0105

また、ステップS110において振動が大きいと判定されると(ステップS110のYes)、信号機領域推定部111は、その大きな振動が所定期間以上継続したか否かを判定する(ステップS145)。ここで、大きな振動が継続していないと判定されると(ステップS145のNo)、信号機領域推定部111は、蓄積部116に格納されている最近の過去画像を取得する第2代替処理を信頼度判定部114に実行させる(ステップS160)。この第2代替処理が実行された後、ステップS143では、信頼度判定部114は、その取得された過去画像を信号機画像として灯火色判定部260に出力する。一方、ステップS145において、大きな振動が継続したと判定されると(ステップS145のYes)、信頼度判定部114は、蓄積部116に蓄積されている情報を初期化する信頼度回復処理を、信頼度回復処理部115に対して実行させる(ステップS170)。その後、信号機推定装置20は、ステップS110からの処理を繰り返し実行する。

0106

図8は、図7のステップS120における画像抽出処理の詳細を示すフローチャートである。

0107

画像抽出処理では、まず、信号機領域推定部111は、地図情報格納部240に格納されている地図情報と、位置検出部230によって検出された車両10の位置を示す車両位置情報とを取得する。さらに、信号機領域推定部111は、カメラ情報保持部220からカメラ情報を取得する(ステップS121)。なお、カメラ情報が固定されてあって、信号機領域推定部111が既にそのカメラ情報を取得している場合には、信号機領域推定部111は、そのカメラ情報を改めて取得する必要はない。

0108

次に、信号機領域推定部111は、地図情報によって示される地図における信号機の位置と、車両位置情報によって示される車両10の位置と、カメラ情報とに基づいて第1領域を推定する(ステップS122)。第1領域は、カメラ210によって得られる撮影画像において信号機が映し出されている領域である。

0109

次に、画像抽出部112は、上述の第1領域の推定が行われたときに撮影された撮影画像、すなわち現在の撮影画像を、カメラ210から取得する(ステップS123)。

0110

そして、画像抽出部112は、その取得された撮影画像から、ステップS122で推定された第1領域の画像を抽出する(ステップS124)。

0111

図9は、図7のステップS130における信頼度算出処理の詳細を示すフローチャートである。

0112

信頼度算出処理では、まず、検証用領域推定部117は、信号機領域推定部111によって高信頼度の第1領域として過去に推定された過去領域と、走行情報取得部118によって取得された車両走行情報とに基づいて、信号機が映し出されている現在の領域を第2領域として推定する(ステップS131)。なお、このときには、検証用領域推定部117は、蓄積部116に格納されている最近の高信頼度領域情報を取得し、その高信頼度領域情報によって示される第1領域を上述の過去領域として用いる。

0113

次に、画像抽出部112は、カメラ210から取得された現在の撮影画像から、その第2領域の画像を抽出する(ステップS132)。なお、このときには、画像抽出部112は、検証用領域推定部117によって推定された第2領域を示す第2領域情報を、その検証用領域推定部117から取得することによって、その第2領域を特定する。

0114

そして、信頼度算出部113は、第1領域情報および第1領域の画像と、第2領域の画像とを画像抽出部112から取得する。そして、信頼度算出部113は、その第1領域情報によって示される第1領域の信頼度を、その第1領域の画像と第2領域の画像とに基づいて算出する。つまり、信頼度算出部113は、第1領域の画像と第2領域の画像との類似度を信頼度として算出する(ステップS133)。

0115

このように、本実施の形態では、走行情報取得部118は、車両10の走行状態を示す車両走行情報を取得する。そして、検証用領域推定部117は、図9のステップS131のように、車両10に搭載されたカメラ210による撮影によって得られた現在の撮影画像において、信号機が映し出されている領域を、蓄積部116に格納されている情報によって示される過去領域と、車両走行情報によって示される車両10の走行状態とに基づいて推定する。

0116

これにより、現在の撮影画像において信号機が映し出されている領域を、現在の車両10の位置を検出することなく推定することができる。例えば、現在の車両10の位置を検出し、現在の撮影画像において信号機が映し出されている領域を、その車両10の位置に基づいて推定する処理が行われる場合では、現在の車両10の位置の検出に誤差があれば、その領域には、信号機が映し出されていない可能性がある。しかし、本実施の形態における信号機推定装置20では、現在の車両10の位置を検出することなく、その領域が推定されるため、信号機が映し出されている領域を適切に推定することができる。つまり、検出される現在の車両10の位置において前後方向の誤差だけでなく、左右方向の誤差がある場合でも、信号機が映し出されている領域を適切に推定することができる。

0117

また、信号機領域推定部111は、図8のステップS122のように、少なくともカメラ210の撮影方向および画角を示すカメラ情報と、車両10の位置と、信号機の位置とに基づいて、現在の撮影画像においてその信号機が映し出されている領域を第1領域として推定する。上述の信頼度評価部は、信号機領域推定部111によって推定された第1領域の信頼度を、第2領域を用いて評価する。

0118

これにより、現在の車両の位置の検出結果に基づいて第1領域が推定されても、第2領域によってその第1領域の信頼度を適切に評価することができる。

0119

また、信頼度算出部113は、図9のステップS133のように、現在の撮影画像における第1領域の画像と第2領域の画像との差分が大きいほど、第1領域に対して低い信頼度を算出し、その差分が小さいほど、第1領域に対して高い信頼度を算出する。信頼度判定部114は、図7のステップS141のように、その信頼度算出部113によって算出される第1領域の信頼度が第1閾値以上であるか否かを判定することによって、第1領域の信頼度を評価する。そして、信頼度判定部114は、第1領域の信頼度が第1閾値以上の場合に、図7のステップS143のように、現在の信号機が映し出されている信号機画像として、その第1領域の画像を出力する。

0120

これにより、現在の車両10の位置の検出結果に基づいて第1領域が推定されても、第2領域によって高信頼度と評価された第1領域の画像だけを、信号機画像として出力させることができる。つまり、現在の車両の位置の検出に誤差が含まれ、第1領域の画像に信号機が映し出されていない可能性がある低信頼度の第1領域の画像が、信号機画像として出力されてしまうことを抑えることができる。

0121

また、信頼度判定部114は、第1領域の信頼度が第1閾値以上の場合には、図7のステップS142のように、第1領域を示す高信頼度領域情報を蓄積部116に格納する。このような高信頼度領域情報によって示される第1領域は、現在の撮影画像の次の撮影画像に対する検証用領域推定部117による推定に、過去領域として用いられる。

0122

これにより、高信頼度と判定された第1領域を示す情報が、高信頼度領域情報として蓄積部116に格納され、その高信頼度領域情報によって示される第1領域が、検証用領域推定部117によって過去領域として用いられる。したがって、検証用領域推定部117による第2領域の推定に、信頼度の低い過去領域が用いられてしまうことを抑え、第2領域の推定精度を高めることができる。

0123

図10は、図7のステップS150における第1代替処理の詳細を示すフローチャートである。

0124

第1代替処理では、まず、画像抽出部112は、蓄積部116に格納されている高信頼度領域情報によって示される第1領域、すなわち過去領域を参照する(ステップS151)。つまり、画像抽出部112は、最近に実行されたステップS130における信頼度算出処理で第2領域を推定するために用いられた過去領域を参照する。

0125

そして、画像抽出部112は、現在の撮影画像から、その過去領域の画像を抽出する(ステップS152)。

0126

このように抽出された過去領域の画像は、信頼度判定部114から灯火色判定部260に、信号機画像として出力される。つまり、現在の撮影画像における一部の領域の画像であって、高信頼度と判定された過去の第1領域の画像が、信号機画像として出力される。

0127

このように、本実施の形態では、信頼度判定部114は、第1領域の信頼度が第1閾値未満の場合には、現在の撮影画像における過去領域の画像を、信号機画像として出力する。

0128

これにより、低信頼度の第1領域の画像が信号機画像として出力される代わりに、現在の撮影画像における過去領域の画像が信号機画像として出力される。したがって、例えば車両が走行ゆっくり走行している場合には、その過去領域の画像には、信号機が映し出されている可能性が高いため、適切な信号機画像を出力することができる。

0129

図11は、図7のステップS160における第2代替処理の詳細を示すフローチャートである。

0130

第2代替処理では、信頼度判定部114は、蓄積部116に格納されている最新の過去画像、すなわち高信頼度と判定された過去の第1領域の画像を、その蓄積部116から取得する(ステップS161)。取得された過去画像は、信頼度判定部114から灯火色判定部260に、信号機画像として出力される。つまり、過去の撮影画像における一部の領域の画像であって、高信頼度と判定された過去の第1領域の画像が、信号機画像として出力される。

0131

このように、本実施の形態では、信頼度判定部114は、車両10において許容範囲を超える大きさの振動が検知された場合には、過去の撮影画像における過去領域の画像を、信号機画像として出力する。

0132

例えば、走行中の車両10に大きな揺れが生じた場合には、カメラの撮影範囲が過去とは全く異なったものとなる。つまり、現在の撮影画像における第1領域の画像も過去情報を併用する第2領域の画像も正しいという保証はない。そこで、本実施の形態における信号機推定装置20では、そのような大きな揺れが生じた場合には、現在の撮影画像ではなく、その揺れが生じる前の過去の撮影画像における過去領域の画像が、信号機画像として出力される。その過去領域の画像は、大きな揺れが生じる前の過去の撮影画像に対して信号機領域推定部111によって推定された高信頼度の第1領域の画像である。したがって、過去の撮影画像が得られてから現在の撮影画像が得られるまでの期間が短ければ、その過去領域の灯火色は、現在の信号機と同じ灯火色である可能性が高い。したがって、適切な信号機画像を出力することができる。

0133

図12は、本実施の形態における第1代替処理および第2代替処理において出力される信号機画像を説明するための図である。

0134

カメラ210は、予め定められたフレームレートにしたがった撮影によって撮影画像を順に出力する。これにより、信号機推定装置20は、図12に示すように、時刻t0に撮影画像を取得し、時刻t1に次の撮影画像を取得する。現在が時刻t1の場合、時刻t0は過去である。

0135

時刻t1の現在では、時刻t0の過去の撮影画像に対して、既に第1領域が推定されている。この既に推定された第1領域の信頼度が第1閾値以上であれば、その第1領域を示す第1領域情報は、時刻t1の現在では、蓄積部116に高信頼度領域情報として格納されている。つまり、時刻t1の現在では、時刻t0に推定された第1領域は、過去の第1領域であって、過去領域として扱われる。また、時刻t1の現在で行われる上述の第2代替処理では、その過去の撮影画像における過去領域の画像、すなわち過去画像が、信号機画像として信号機推定装置20から出力される。

0136

また、時刻t1の現在では、現在の撮影画像に対して第1領域および第2領域が推定される。この第2領域は、時刻t0の過去に推定された過去領域から推定される。また、時刻t1の現在で行われる上述の第1代替処理では、現在の撮影画像における一部の領域の画像であって、過去に推定された過去領域の画像が、信号機画像として信号機推定装置20から出力される。

0137

図13は、図7のステップS170における信頼度回復処理の詳細を示すフローチャートである。

0138

信頼度回復処理では、信頼度回復処理部115は、蓄積部116の初期化に伴う注意ドライバーに促して、その初期化を行う(ステップS171)。例えば、信頼度回復処理部115は、車両制御部270に対してその注意喚起を実行させる。具体的には、信頼度回復処理部115は、信号機推定装置20による信号機画像の出力が中断され、その結果、信号機の灯火色の判定も中断されることを、ドライバーに通知する。あるいは、信頼度回復処理部115は、車両10による信号機の灯火色の判定ができないため、車両10の自動運転手動運転切り替えることを通知するメッセージを、上述の注意喚起としてドライバーに通知してもよい。

0139

また、蓄積部116の初期化では、信頼度回復処理部115は、蓄積部116に格納されている例えば全ての情報を削除する。すなわち、蓄積部116に格納されている情報がリセットされる。この初期化では、信頼度回復処理部115は、そのリセットが行われた後に、新たに初期画像を蓄積部116に格納してもよい。初期画像は、信号機が映し出されている画像である。

0140

次に、信頼度回復処理部115は、カウント変数mを0に初期化し(ステップS172)、画像抽出部112にカメラ210からの撮影画像を取得させる(ステップS173)。なお、ステップS173では1フレームの撮影画像が取得されるが、ステップS173の処理が繰り返されることによって、カメラ210のフレームレートにしたがって、最新の撮影画像がそのカメラ210から順に取得される。

0141

次に、信頼度回復処理部115は、信号機領域推定部111に対して図8のステップS122と同様の処理を実行させる。つまり、信号機領域推定部111は、地図情報によって示される地図における信号機の位置と、車両位置情報によって示される車両10の位置と、カメラ情報とに基づいて第1領域を推定する(ステップS174)。

0142

次に、信頼度回復処理部115は、ステップS173で取得された撮影画像から、ステップS174で推定された第1領域の画像を抽出する(ステップS174)。そして、信頼度回復処理部115は、蓄積部116の最新の過去画像と、第1領域の画像との差異が、予め定められた第2閾値以上であるか否かを判定する(ステップS176)。なお、差異は、例えばパターンマッチングなどのベクトル間距離算出アルゴリズムを用いて、数値として算出される。

0143

ステップS171において蓄積部116の全ての情報が削除された後に、初めてステップS176の処理が行われるときには、蓄積部116における上述の最新の過去画像は、第1領域の画像そのものであってもよい。この場合には、ステップS176において、差異はなく、その差異は第2閾値以上でないと判定される。また、ステップS171において蓄積部116に初期画像が格納されている場合に、初めてステップS176の処理が行われるときには、その蓄積部116における上述の最新の過去画像は、その初期画像である。

0144

ここで、第2閾値以上であると判定すると(ステップS176のYes)、信頼度回復処理部115は、ステップS172からの処理を繰り返し実行する。これにより、カウント変数mが再び0に初期化され、ステップS173以降の処理が改めて実行される。

0145

一方、第2閾値未満であると判定すると(ステップS176のNo)、信頼度回復処理部115は、カウント変数mをインクリメントする(ステップS177)。このとき、信頼度回復処理部115は、ステップS174で推定された第1領域を示す第1領域情報と、ステップS175で抽出された第1領域の画像とを、蓄積部116に格納する。この第1領域の画像は、次のステップS176において最新の過去画像として扱われる。

0146

次に、信頼度回復処理部115は、カウント変数mがk(kは2以上の整数)以下であるか否かを判定する(ステップS178)。k以下であると判定されると(ステップS178のYes)、信頼度回復処理部115は、ステップS173からの処理を繰り返し実行する。一方、カウント変数mがkよりも大きいと判定されると(ステップS178のNo)、信頼度回復処理部115は、信頼度回復処理を終了する。つまり、このときには、フレームレートにしたがって順に得られる(k+1)フレームの撮影画像のそれぞれにおいて推定される第1領域の画像が安定している。したがって、このとき蓄積部116に格納されている第1領域情報によって示される第1領域の信頼度は十分に高いと見なすことができる。これにより、信頼度を回復することができる。

0147

このように、本実施の形態では、信頼度回復処理部115は、図7のステップS146のように、第1条件が満たされたときに、信頼度回復処理を実行する。つまり、信頼度回復処理部115は、蓄積部116に格納されている高信頼度領域情報を削除して、過去領域の代わりに検証用領域推定部117に用いられる新たな領域を示す情報を、蓄積部116に格納する回復処理を実行する。新たな領域を示す情報は、図13のステップS177が行われるときに蓄積部116に格納される第1領域情報である。

0148

例えば、蓄積部116に蓄積されている高信頼度領域情報を用いて第2領域を推定しても、その第2領域が不適切な場合がある。このような場合に、上述のように、その高信頼度領域情報が削除されて、新たな領域を示す情報が格納されることによって、第2領域の推定精度を向上させることができる。

0149

また、本実施の形態では、カメラ210から新たな撮影画像が得られるたびに、新たな撮影画像が現在の撮影画像として扱われ、その現在の撮影画像における第1領域の信頼度に対する判定が信頼度判定部114によって行われる。この場合、上述の第1条件は、図7のステップS146のように、信頼度判定部114によって第1領域の信頼度が第1閾値未満と判定される回数が、n回(nは2以上の整数)以上になる条件である。

0150

これにより、カメラ210のフレームレートにしたがって撮影画像が得られるたびに、その撮影画像における第1領域に対して信頼度が低いと判定されることが繰り返される場合に、信頼度回復処理が実行される。したがって、このような低信頼度の判定の繰り返しを回避することができる。

0151

また、本実施の形態では、信頼度回復処理部115は、図7のステップS145のように、許容範囲を超える大きさの振動が予め定められた期間以上継続するときに、信頼度回復処理を実行する。

0152

例えば、大きな揺れが継続する場合には、その揺れが収まっても、蓄積部116に格納されている高信頼度領域情報を第2領域の推定に用いることができない可能性が高い。つまり、その高信頼度領域情報によって示される過去領域を用いても、適切な信号機画像を出力することができない可能性が高い。そこで、本実施の形態における信号機推定装置20では、そのような大きな揺れが継続する場合には、信頼度回復処理が実行される。これにより、大きな揺れが収まったときには、その蓄積部116に蓄積されている新たな領域を示す情報を用いて、適切な信号機画像を出力することができる。

0153

また、本実施の形態では、信頼度回復処理部115は、信頼度回復処理では、カメラ210から新たな撮影画像が得られるたびに、新たな撮影画像において信号機が映し出されている領域を信号機領域推定部111に推定させる。例えば、図13のステップS174のように第1領域が推定される。次に、信頼度回復処理部115は、その新たな撮影画像において信号機領域推定部111によって推定された領域の画像である第1画像と、その新たな撮影画像の直前の撮影画像において信号機領域推定部111によって推定された領域の画像である第2画像との差異を算出する。なお、第1画像は、第1領域の画像であり、第2画像は、過去画像である。そして、信頼度回復処理部115は、算出された差異が第2閾値未満となることが、予め定められた回数だけ連続して繰り返される場合に、少なくとも、信号機領域推定部111によって最後に推定された領域を示す情報を、上述の新たな領域を示す情報として、蓄積部116に格納する。つまり、信頼度回復処理部115は、ステップS173〜S178の処理を繰り返し実行することによって、少なくとも最後に推定された第1領域を示す情報を蓄積部116に格納する。

0154

これにより、信号機領域推定部111による領域の推定が安定したとき、つまり、検出される車両10の位置の誤差が収束したときに、その信号機領域推定部111によって最後に推定された領域を示す情報が蓄積部116に格納される。したがって、信号機が映し出されている可能性が高い領域、言い換えれば信頼度の高い領域を示す情報を、蓄積部116に格納することができる。その結果、その後に推定される第2領域の推定精度を高めることができる。

0155

なお、上述の信頼度回復処理では、第2領域の推定は行われず、第1領域の画像のみを用いて、蓄積部116に格納すべき情報を生成する。また、本実施の形態では、図7のステップS145またはS146の判定結果に応じて、信頼度回復処理が実行されるが、信頼度回復処理部115は、信号機推定装置20が初期状態にあるときに、すなわち蓄積部116に情報が格納されていないときに、信頼度回復処理を実行してもよい。

0156

また、本実施の形態では、信頼度回復処理部115は、ステップS176において、過去画像(すなわち第2画像)が存在しない場合には、その過去画像の代わりに、第1領域の画像(すなわち第1画像)を初期画像として差異の算出に用いる。この場合には、ステップS171の初期化では、信頼度回復処理部115は、初期画像を蓄積部116に格納することなく、蓄積部116を空の状態にしておく。

0157

あるいは、信頼度回復処理部115は、ステップS171の初期化では、初期画像を蓄積部116に格納しておいてもよい。この場合、信頼度回復処理部115は、ステップS176において、過去画像が存在しない場合には、その過去画像の代わりに、信号機が映し出されているテンプレート画像を、初期画像として差異の算出に用いてもよい。例えば、信頼度回復処理部115は、複数のテンプレート画像を蓄積部116に格納しておいてもよい。これら複数のテンプレート画像に映し出されている信号機の形態は、差異の算出が行われる時間帯および車両10の位置に応じて異なっている。信頼度回復処理部115は、これらの複数のテンプレート画像から、その時間帯および車両10の位置に応じたテンプレート画像を選択し、そのテンプレート画像を初期画像として用いてもよい。

0158

あるいは、信頼度回復処理部115は、ステップS176において、過去画像が存在しない場合には、その過去画像の代わりに、他車両から得られた、信号機が映し出されている画像を、初期画像として差異の算出に用いてもよい。例えば、信頼度回復処理部115は、差異の算出が行われる時間帯と同じ時間帯に、その差異の算出が行われる車両10の位置と同じ位置に、存在していた他車両から、その時間帯およびその位置での撮影によって得られた、信号機が映し出されている画像を取得する。

0159

あるいは、信頼度回復処理部115は、ステップS176において、過去画像が存在しない場合には、その過去画像の代わりに、信頼度回復処理が行われる前にカメラ210から既に得られた、信号機が映し出されている画像を、初期画像として差異の算出に用いてもよい。例えば、その初期画像は、信頼度回復処理が行われる時間帯と同じ時間帯に、その信頼度回復処理が行われる車両10の位置と同じ位置に、車両10が存在していたときに、カメラ210の撮影によって得られた画像である。例えば、ステップS171では、信頼度回復処理部115は、蓄積部116に格納されている全ての過去画像を削除することなく、上述のような時間帯および位置の条件を満たす画像だけを初期画像として残しておく。

0160

これにより、適切な初期画像に基づいて信頼度回復処理を実行することができる。

0161

以上のように、本実施の形態における信号機推定装置20では、検証用領域推定部117によって、撮影画像において信号機が映し出されている領域を適切に推定することができる。さらに、信号機領域推定部111が、車両10の位置の検出結果に基づいてその領域を推定しても、その信号機領域推定部111によって推定された領域の信頼度を、検証用領域推定部117によって推定された領域を用いて適切に評価することができる。

0162

なお、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記実施の形態における信号機推定装置を実現するソフトウェアは、図7図11、および図13に示すフローチャートに含まれる各ステップをコンピュータに実行させる。

0163

以上、信号機推定装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものも、本開示の範囲内に含まれてもよい。

0164

例えば、信頼度算出部113は、算出された信頼度を位置検出部230にフィードバックしてもよい。これにより、位置検出部230は、自己位置推定(すなわち車両10の位置推定)の誤りを正すことができる。または、位置検出部230は、自己位置推定の誤りをドライバーに注意喚起することができる。

0165

また、図1に示す信号機推定装置は、プロセッサとメモリとによって構成されていてもよい。つまり、信号機推定装置の各構成要素のうち、蓄積部116以外の構成要素は、プロセッサによって実現される。プロセッサは、メモリに格納されたプログラムを実行することによって、上記蓄積部116以外の構成要素を実現する。また、メモリは、蓄積部116として構成されていてもよい。つまり、メモリは、プロセッサを制御するためのプログラムを格納していてもよく、高信頼度領域情報(すなわち第1領域情報)および過去画像を格納していてもよい。

0166

本開示は、例えば自動走行車両などに搭載され、その車両の走行経路にある信号機を認識する信号機認識装置利用可能である。

0167

10 車両
20信号機推定装置
111 信号機領域推定部
112画像抽出部
113信頼度算出部
114信頼度判定部
115信頼度回復処理部
116蓄積部
117検証用領域推定部
118走行情報取得部
210カメラ
220カメラ情報保持部
230位置検出部
240地図情報格納部
250振動検知部
260灯火色判定部
270車両制御部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ