図面 (/)
課題
解決手段
概要
背景
自動車等の車両の運転者の運転操作負担を軽減するための一つの手段として、車両の前照灯、尾灯等の車両の周囲を照明する照明機器を自動的に点灯又は消灯する構成(自動照明装置)が種々提案され、実用化されている。かかる自動照明装置に於いては、従来では、簡単には、車両周囲の明るさを検知する専用の照度センサが車体の任意の部位に設けられ、照度センサが検知する照度が閾値よりも低下すると、照明機器が点灯され、照度センサが検知する照度が閾値を上回ると、照明機器が消灯されるといった構成が採用されていた。また、近年、車両に於いては、車両前方を撮像するカメラが搭載されることが多くなったことに伴い、車両前方のカメラ画像から推定される車両周囲の明るさに基づいて照明機器を自動的に点灯又は消灯する自動照明制御を実行する構成が種々提案されている。例えば、特許文献1では、自車前方を撮像した画像データに画像処理を施したフィルタリング画像や画像の平均輝度値に基づいて、自車前方の明るさを認識して自動照明制御をする構成が提案されている。特許文献2では、特殊タイプの広角レンズ及び車室内の光を集光するプリズムを用いて1つの画面内に撮影された車内外の画像を明暗判定用の4つの領域に分割し、各判定領域の明暗を判定領域毎に判定して自動照明制御をする構成が提案されている。更に、特許文献3では、カメラで撮像した車両前方画像内の路面上を複数の明暗判定領域に分け、全領域が明領域であれば消灯するように自動照明制御をする構成が提案されている。
概要
車両の周囲を撮像したカメラ画像を用いて、車両の周囲の明るさ又は照度を推定する構成に於いて、車両の自動照明制御が多様な運転シーンにてより的確に達成されるように車両の周囲の明るさ又は照度を推定すること。 本発明の装置は、車両の周囲の少なくとも一部の画像と、画像が撮像された時刻と基づいて車両の周囲の照度等を推定する。照度等を推定する手段は、予め撮像された学習用画像とその画像が撮像された時刻とその時刻に於ける車両の周囲にて計測された照度等とを学習データとして用いて、学習データに於ける学習用画像と学習用画像撮像時刻とに基づいてその時刻に於ける照度等正解値を出力するように機械学習モデルのアルゴリズムに従って学習し、画像とその画像が撮像された時刻に基づいてその時刻に於ける車両の周囲の照度等を出力するように構成される。
目的
本発明の一つの課題は、車両の周囲を撮像したカメラ画像を用いて、車両の周囲の明るさ又は照度を推定する構成に於いて、車両の自動照明制御が、従前よりも、多様な運転シーンにて、より的確に達成されるように車両の周囲の明るさ又は照度の推定を達成することである
効果
実績
- 技術文献被引用数
- 0件
- 牽制数
- 0件
この技術が所属する分野
請求項1
車両の周囲の照度等推定装置であって、車両の周囲の少なくとも一部の画像を撮像する撮像手段と、前記画像が撮像された時刻を取得する時刻取得手段と、前記画像と前記時刻とに基づいて前記時刻に於ける前記車両の周囲の照度等を推定する照度等推定手段とを含み、前記照度等推定手段が、前記撮像手段により予め撮像された学習用画像と前記学習用画像が撮像された学習用画像撮像時刻と前記学習用画像が撮像された時刻に於ける車両の周囲にて計測された照度等である照度等正解値とを学習データとして用いて、前記学習データに於ける前記学習用画像と前記学習用画像撮像時刻とに基づいてその学習用画像撮像時刻に於ける照度等正解値を出力するように機械学習モデルのアルゴリズムに従って学習し、前記撮像手段により撮像された前記画像とその画像が撮像された時刻に基づいてその時刻に於ける前記車両の周囲の照度等を出力するように構成されている装置。
技術分野
0001
本発明は、自動車等の車両の周囲の照度等を推定する装置に係り、より詳細には、車両の前照灯、尾灯等の車両の周囲を照明する照明機器(ライト類、灯火類)を自動的に点灯又は消灯する照明制御に利用可能な照度等推定装置に係る。
背景技術
0002
自動車等の車両の運転者の運転操作負担を軽減するための一つの手段として、車両の前照灯、尾灯等の車両の周囲を照明する照明機器を自動的に点灯又は消灯する構成(自動照明装置)が種々提案され、実用化されている。かかる自動照明装置に於いては、従来では、簡単には、車両周囲の明るさを検知する専用の照度センサが車体の任意の部位に設けられ、照度センサが検知する照度が閾値よりも低下すると、照明機器が点灯され、照度センサが検知する照度が閾値を上回ると、照明機器が消灯されるといった構成が採用されていた。また、近年、車両に於いては、車両前方を撮像するカメラが搭載されることが多くなったことに伴い、車両前方のカメラ画像から推定される車両周囲の明るさに基づいて照明機器を自動的に点灯又は消灯する自動照明制御を実行する構成が種々提案されている。例えば、特許文献1では、自車前方を撮像した画像データに画像処理を施したフィルタリング画像や画像の平均輝度値に基づいて、自車前方の明るさを認識して自動照明制御をする構成が提案されている。特許文献2では、特殊タイプの広角レンズ及び車室内の光を集光するプリズムを用いて1つの画面内に撮影された車内外の画像を明暗判定用の4つの領域に分割し、各判定領域の明暗を判定領域毎に判定して自動照明制御をする構成が提案されている。更に、特許文献3では、カメラで撮像した車両前方画像内の路面上を複数の明暗判定領域に分け、全領域が明領域であれば消灯するように自動照明制御をする構成が提案されている。
先行技術
0003
特開2010−6172
特開2009−255722
特開2004−243895
発明が解決しようとする課題
0004
カメラ画像から自動照明制御のための車両周囲の明るさ又は照度を推定する際には、画像内の空の領域の明るさ、地面の明るさ、影の明瞭さなどが参照される。この点に関し、一般的に、運転支援などを目的として用いられる車両の周囲を撮像するカメラは、外界の明るさに応じて、絞り値を自動的に変化するので、画像内の輝度値と実際の照度との対応が一対一とはなっておらず、例えば、夕方の時間帯などに於いて、車両前方が薄暗くなってきているにもかかわらず、画像の輝度が高くなってしまうことがある。また、画像内の空や路面の領域、影の状況・位置は、車両走行時の天気やトンネル内の走行時など、多様に変化する運転環境と共に変化する。そのような場合、条件毎に作動を決定する、所謂ルールベースの態様にて自動照明制御を実行しようとすると、カメラ絞り値の変化や走行環境の変化による画像の輝度値の変化を考慮しながら、多岐に渡る運転シーンで変化する条件を網羅的に書き下すことは困難であり、カメラ画像の情報のみを用いて、車両周囲の明るさ又は照度を推定する構成の場合には、各運転シーンの多様さに対応させながら適切に自動照明制御を実行することは難しい。例えば、カメラ画像内の明るさのみを参照して自動照明制御を実行する場合、高架などの空間領域を遮蔽する物が多く存在する場合やトンネル出口や建造物による画像内遮蔽、街路樹などによる影が生ずる場合には、実際の照度に的確に対応して照明の制御を実行することが困難となっている。或いは、日中に、高架下などの短い区間で、照明灯類の点灯/消灯が切り替わってしまったり、建造物による路面上の陰により照明灯が点灯してしまうといった現象も発生する。
0005
上記の如く、カメラ画像から推定される車両周囲の明るさ又は照度に基づいて自動照明制御を実行する構成の場合には、自動照明制御に専用の照度センサを車両に常備する必要がなくなり、その分、車両の制御のための構成が簡単化され、また、コストも低減され、有利である。従って、照度センサを常備する必要なく、カメラ画像を用いて、従前より的確に自動照明制御ができるようになれば、有利であろう。
0006
かくして、本発明の一つの課題は、車両の周囲を撮像したカメラ画像を用いて、車両の周囲の明るさ又は照度を推定する構成に於いて、車両の自動照明制御が、従前よりも、多様な運転シーンにて、より的確に達成されるように車両の周囲の明るさ又は照度の推定を達成することである。
課題を解決するための手段
0007
本発明によれば、上記の課題は、車両の周囲の照度等推定装置であって、
車両の周囲の少なくとも一部の画像を撮像する撮像手段と、
前記画像が撮像された時刻を取得する時刻取得手段と、
前記画像と前記時刻とに基づいて前記時刻に於ける前記車両の周囲の照度等を推定する照度等推定手段と
を含み、
前記照度等推定手段が、前記撮像手段により予め撮像された学習用画像と前記学習用画像が撮像された学習用画像撮像時刻と前記学習用画像が撮像された時刻に於ける車両の周囲にて計測された照度等である照度等正解値とを学習データとして用いて、前記学習データに於ける前記学習用画像と前記学習用画像撮像時刻とに基づいてその学習用画像撮像時刻に於ける照度等正解値を出力するように機械学習モデルのアルゴリズムに従って学習し、前記撮像手段により撮像された前記画像とその画像が撮像された時刻に基づいてその時刻に於ける前記車両の周囲の照度等を出力するように構成されている装置によって達成される。
0008
上記の構成に於いて、「撮像手段」は、車両の前方、側方及び/又は後方を撮像することのできるカメラであってよく、専用のカメラであってもよいが、ドライブレコーダ、衝突防止やレーンキーピングアシストなどのための安全運転支援用カメラ、自動運転用カメラなど、その他の機能のための車載カメラが兼用されてもよい。車両の周囲の「照度等」とは、明るさの程度を表す任意の物理量であってよく、典型的には、照度又はその関数値であってよいが、光強度、光度、光束量を表す物理量であってもよい(以下、明るさの程度を表す物理量を「照度等」と称する。)。車両の周囲の少なくとも一部の画像としては、典型的には、車両の前方領域〜前方上方領域であるが、これに限定されない。「学習用画像」、「学習用画像撮像時刻」及び「照度等正解値」は、予め、照度等推定手段の学習のために、車両を走行させて取得した学習データであってよい。学習データの取得のための車両の走行に於いて、車両は、本発明の照度等推定装置が搭載される車両であってもよいが、別の車両であってよい。なお、学習データの取得のための車両は、複数であってもよい。照度等推定手段は、上記の如く、「学習用画像」、「学習用画像撮像時刻」及び「照度等正解値」を学習データとして用いた機械学習モデルに従って構成されるところ、かかる機械学習モデルは、任意の、画像データから特徴量を抽出して、それと共に時刻データを用いて照度等を算出する回帰問題を解くことのできる任意の学習モデルであってよく、典型的には、畳込みニューラルネットワーク(CNN)、再帰型ニューラルネットワークなどが採用可能である。「照度等正解値」は、車両のダッシュボード上又はその近傍、車両の前方部分にて照度センサ等にて計測された照度などの明るさを表す物理量であってよい。
0009
上記の構成に於いては、多様な運転シーンのそれぞれにおいて撮像された車両周囲の画像と撮像時刻とを入力データとし、照度センサ等で計測された照度等を教師データとして、教師あり学習を行ったモデルを用いて、車両の走行中の車両周囲画像と時刻とから車両周囲の照度等が推定されることとなる。かかる構成によれば、車両周囲の照度等の推定に際して、車両周囲画像に加えて時刻情報が考慮されることにより、カメラの絞り値の変化による画像の輝度変化や走行環境の変化に対してロバストに多様な運転シーンにおいて照度等が推定され、これにより、運転シーン毎にルールベースにて制御を行う必要のない適応範囲の広い自動照明制御を可能にすることとなる。本実施形態による照度等推定装置を用いれば、外界の明るさに応じて時々刻々と変化する絞り値の影響で同じ明るさに見える撮像画像に対して、時間帯を考慮して、時間帯による運転者の傾向に順応し、時間帯による外界の変化に対応することで、画像のみから照度等を推定する構成を採用した場合よりも、高い精度にて自動照明制御が達成されることが期待される。例えば、単に、明暗判定領域の輝度値に応じて自動照明制御を行うのではなく、学習データに画像情報と時刻情報とが用いられて上記の学習が実行されるため、照明灯類が高架下で一瞬点灯されてしまうなどの運転者の意図に適合しない作動を回避されることとなる。
0010
上記の構成に於いて、照度等の推定のために参照される時刻情報には、時刻そのものを表す値の他、時刻を正規化した値或いは時刻に基づいて日照時間を正規化した値が採用されてよい。ここで、時刻を正規化した値とは、0時から24時までの時刻を、任意に設定されてよい所定の数値範囲、例えば、0〜1の値に割り当てた値、或いは、0時から12時までの時刻を、所定の数値範囲、例えば、0〜1の値に割り当て、12時時から24時までの時刻を、それまでとは反転した所定の数値範囲、例えば、1〜0の値に割り当てた値であってよい。時刻に基づいて日照時間を正規化した値とは、太陽が出ている時間帯に対して所定の数値範囲を割り当てて得られた値であり、具体的には、日の出時刻から日没時刻までの時刻を、所定の数値範囲、例えば、0〜1の値に割り当てた値、或いは、日の出時刻から正午までの時刻を、所定の数値範囲、例えば、0〜1の値に割り当て、正午から日没時刻までの時刻を、それまでとは反転した所定の数値範囲、例えば、1〜0の値に割り当てた値であってよい。なお、時刻情報には、月日によって、日照時刻、太陽の高度が変化し、照度等が変化するので、月日の情報も含まれていてよい。また、照度値等も、任意に設定されてよい所定の数値範囲に正規化されてもよく、或いは、複数の閾値範囲に振り分けられ、その閾値範囲の表す符合にて表されてもよい。
0011
上記の本発明の装置を用いて、自動照明制御を実行する場合には、照度等の推定値が任意に設定されてよい所定の閾値を下回るときには、照明灯類(前照灯、尾灯、霧灯など)が点灯され、照度等の推定値が所定の閾値を上回るときには、照明灯類が消灯されてよい。所定の閾値は、実験的に或いは経験的に決定可能である。
発明の効果
0012
かくして、上記の本発明の車両の照度等推定装置によれば、車両の周囲を撮像したカメラ画像と共にその画像を撮像した際の時刻情報とに基づいて、照度等を推定するようになっているので、カメラの自動補正や車両周囲の状況の変化に対してロバストで、従前よりも、多様な運転シーンにて、より的確に車両の自動照明制御が達成されるように車両の周囲の照度等の推定が可能となることが期待される。これにより、自動照明制御に於いて、無用に照明灯類の点灯又は消灯をする作動が抑制され、車両の運転者にとって違和感がなく、運転操作負担が軽減され、快適な運転環境が提供されることが期待される。なお、本発明の装置は、車両の自動照明制御のために有利に用いられるが、その他の照度等を用いる任意の制御のための照度等の検知に用いられてよく、そのような場合も本発明の範囲に属することは理解されるべきである。
0013
本発明のその他の目的及び利点は、以下の本発明の好ましい実施形態の説明により明らかになるであろう。
図面の簡単な説明
0014
図1(A)は、本発明による照度等推定装置の実施形態が搭載される車両の模式図である。図1(B)は、本発明による照度等推定装置の実施形態が組み込まれる照明制御装置の内部の構成をブロック図の形式で表した図である。
図2は、本発明による照度等推定装置の実施形態が組み込まれる照明制御装置の作動に於ける処理をフローチャートの形式にて示した図である。
図3(A)、(B)は、本発明による照度等推定装置の実施形態の学習処理に於いて用いられる時刻情報及び照度等と画像を説明した図である。図3(C)は、本発明による照度等推定装置の実施形態の照度等の推定に於いて採用される畳み込みニューラルネットワークに於ける学習時の処理を説明する図である。図3(D)は、本発明による照度等推定装置の実施形態の照度等の推定に於いて採用される畳み込みニューラルネットワークに於ける照度等推定時の処理を説明する図である。
図4は、本発明による照度等推定装置の実施形態が組み込まれる照明制御装置に於ける推定照度に応じた照明灯類の制御作動を説明する図である。
図5(A)、(B)は、本実施形態による照度等推定装置に於いて参照される車両の走行中に撮像された画像の例を示している。
発明を実施するための最良の形態
0016
装置の構成
図1(A)を参照して、本発明の照度等推定装置の好ましい実施形態が組み込まれる照明制御装置が搭載される自動車等の車両10に於いては、前照灯20及び尾灯22(以下、「照明灯」と総称する。)の点灯及び消灯が、車両の運転者による切換スイッチ14の操作の他、車載カメラ16により撮像された車両10の周囲の画像から得られる情報に応じて、照明制御装置12の作動によって実行される(通常、前照灯20と尾灯22とは、同時に点灯及び消灯されるが、別々に点灯又は消灯されてもよい。)。かかる構成に於いて、車載カメラ16は、車両10の周囲、特に、前方領域を撮像するよう設置された通常のカメラであってよく、専用のカメラであってもよいが、ドライブレコーダ、衝突防止やレーンキーピングアシストなどのための安全運転支援用カメラ、自動運転用カメラなど、その他の機能のための車載カメラが兼用されてもよい。また、車載カメラは複数個備えてあってもよく、車両前方だけでなく、車両の後方や左右などを撮像してもよい。切換スイッチ14は、照明灯20、22の点灯及び消灯の切換と共に、自動的な照明灯20、22の点灯及び消灯の制御(自動照明制御)の実行/停止の切換が為されるようになっていてよい。
0017
照明制御装置12は、具体的には、図1(B)に示されている如く、照度等推定部と点灯・消灯制御部とを含む。照度等推定部は、車載カメラ16からの車両10の周囲、特に前方、の画像と、時計から時刻を参照して後に説明される如き時刻情報を取得する時刻情報取得部から時刻情報とを受信して、後述の如き態様にて、画像と時刻情報とを用いて車両10の周囲の照度等を推定する。なお、図示していないが、照度等の推定に於いては、更に、カメラの絞り値やその他の車両情報が参照されてもよい。点灯・消灯制御部は、照度等推定部からの車両周囲の照度等の推定値及び切換スイッチ14の状態を参照して、切換スイッチ14が自動照明制御の実行を指示する状態となっているときに、推定された照度等が所定の閾値を下回っているときには、照明灯20、22を点灯し、推定された照度等が所定の閾値を上回っているときには、照明灯20、22を消灯するよう前照灯20及び尾灯22の状態を制御する。なお、照明制御装置12は、通常の態様のコンピュータ装置であってよく、双方向コモン・バスにより相互に連結されたCPU、記憶装置、入出力装置(I/O)が装備され、記憶装置は、本発明の演算で使用する演算処理を実行する各プログラムを記憶したメモリと、演算中に使用されるワークメモリ及びデータメモリを含む。上記の照明制御装置12に於ける各部の作動は、メモリに記憶されたプログラムに従ったコンピュータ装置の作動により、実現されることは理解されるべきである。
0018
装置の作動
(a)処理の流れ
本実施形態の照明制御装置12は、まず、切換スイッチ14を通じて、運転者が照明灯の点灯を指示したときには、それらの照明灯を点灯し、消灯を指示したときには、それらの照明灯を消灯するよう各照明灯のon/off状態を制御する。また、運転者が切換スイッチ14を通じて運転者自身の照明灯の点灯・消灯の指示によらない自動照明制御の実行を指示したときには、照明制御装置12は、照度等推定部の照度等の推定結果に基づいて照明灯の点灯・消灯を実行する。
0019
図2を参照して、照明制御装置12の処理作動に於いては、切換スイッチ14の状態を参照して自動照明制御の実行が指示されているか否か(制御ONか否か)が判定され(ステップ1)、自動照明制御の実行が指示されているとき(制御ONのとき)には、車両の周囲の画像、時刻情報等の照度等推定に於いて参照するデータが取得され(ステップ2)、後述の態様にて、照度等の推定が為される(ステップ3)。そして、推定された照度等に基づいて点灯条件が判定され(ステップ4)、点灯条件が成立しているときには、照明灯が点灯され(ステップ5)、点灯条件が成立していないときには、照明灯が消灯されることとなる(ステップ6)。なお、図2の処理は、切換スイッチ14を通じた運転者の指示によらず、アクセサリ(ACC)電源ON時、イグニッション(IG)電源ON時、エンジン回転始動時のいずれかに於いて自動的に実行が開始されてもよい(その場合、ステップ1の判定は不要である。)。
0020
(b)照度等の推定
「発明の概要」の欄に於いて既に述べた如く、車載カメラに於いては、外界の明るさに応じて、絞り値を自動的に変化するので、画像内の輝度値は、実際の照度等と一対一対応しておらず、また、画像内の明るい領域と暗い領域(空や路面の領域、影の領域)の状況や位置は、車両走行中に多様に変化する運転環境と共に変化することから、画像内の輝度だけに基づいて車両の周囲の照度等(照度又はその関数値、或いは、光強度、光度、光束量などの明るさの程度を表す任意の物理量)を精度良く推定することは難しい。ところで、車両の周囲の明るさは、天気や車両の周囲の環境に応じても変動するが、太陽の高さに依存して変化し、太陽の高さは、時刻によって変化する。即ち、時刻情報も車両の周囲の明るさと相関を有するので、照度等の推定精度を向上する因子として機能すると考えられる。また、照度等の推定に関して、画像内の輝度分布及び時刻情報と車両の周囲の照度等との関係は、カメラの絞り値の設定、画像内に撮像されている環境の多様な変化によって複雑であり、所謂ルールベースで記述することは難しい。そのような場合、網羅的に種々の画像情報及び時刻情報のそれぞれに対して照度等を出力できるように機械学習処理によって構成された推定器を用いることにより、精度の良い照度等の推定が達成できると期待される。そこで、本実施形態に於いては、上記の如く、車両の周囲の照度等が、種々の画像情報及び時刻情報のそれぞれに対して照度等を出力できるように機械学習モデルに従って構成された推定器を用いて、車載カメラにより撮像された車両周辺の画像とその画像の撮影された時刻の情報とに基づいて推定される。
0021
上記の如き画像情報及び時刻情報に基づいて照度等を出力する推定器の学習処理による構成に於いては、まず、車両を実際に種々の状況下にて走行させながら、図3(B)の如く、車両周囲の画像をカメラにより撮像し、図3(A)の如く、撮像時刻を記録し、その際の車両周囲の照度等を計測することにより、学習用のデータが、多数、収集される。ここに於いて、画像(図3(B))は、典型的には、車両前方をカメラにて撮像された画像であるが、これに限定されない。カメラは、既に述べた如く、専用のカメラであってもよいが、運転支援用カメラ等が兼用されてもよい。学習用のデータに於いて実際に使用される画像は、カメラで撮像された際のままであっても、解像度が変更されたもの、或いは、圧縮処理、輝度の正規化処理が為されたものであってもよい。
0022
撮像時刻について、学習用のデータに於いて時刻情報として使用される際には、「発明の概要」の欄に於いて説明されている如く、時刻そのものを表す値の他、時刻を正規化した値或いは時刻に基づいて日照時間を正規化した値に変換されたものが時刻情報として使用されてよい。具体的には、(i)0時から24時までの時刻を、例えば、0〜1の値に割り当てた値、(ii)0時から12時までの時刻を、例えば、0〜1の値に割り当て、12時時から24時までの時刻を、例えば、1〜0の値に割り当てた値、(iii)日の出時刻から日没時刻までの時刻を、例えば、0〜1の値に割り当てた値、(iv)日の出時刻から正午までの時刻を、例えば、0〜1の値に割り当て、正午から日没時刻までの時刻を、例えば、1〜0の値に割り当てた値などが、学習用のデータに於いて用いられる時刻情報として採用されてよい。なお、時刻情報には、月日によって、日照時刻、太陽の高度が変化し、照度等が変化するので、月日の情報が含まれていてもよい。
0023
学習用のデータに於ける教師データ、即ち、正解値となる照度等は、任意の照度等を計測するセンサにより計測された値であってよい。センサは、車両のダッシュボード上又はその近傍、車両の前方部分にて車両の周囲の照度等が検出できるように配置される(なお、照度等を検出するためのセンサは、学習データを収集するための車両に搭載される。本実施形態の照明制御装置12を用いて自動照明制御が実行される車両10には、搭載される必要はない。)。学習データに於ける正解値として照度値等を使用する際には、計測値そのものがそのまま用いられてもよく、或いは、任意に設定されてよい所定の数値範囲に正規化されてもよく、或いは、複数の閾値範囲に振り分けられ、その閾値範囲の表す符合にて表されてもよい。
0024
かくして、学習用データが収集されると、任意の機械学習モデルに従って、学習データに於ける画像情報及び時刻情報のそれぞれを入力として、それに対応する照度等の計測値が正解値として出力されるように推定器の学習が実行される。機械学習モデルとしては、典型的には、畳込みニューラルネットワーク(CNN)などが採用可能であり、任意のアルゴリズムにより実行されてよく、典型的には、プログラム言語にて用意された関数やモジュールを使用して学習処理が実行されてよい。CNNの場合には、図3(C)に模式的に描かれている如く、画像データをCNNの畳込み層Cを入力し、畳込み層Cのよる処理とプーリング層Pによる処理が少なくとも1回(通常は、複数回(2回でなくてもよい。))にて実行された後、得られたデータが、複数のニューロン層から成る全結合層(層の数は、二つでなくてもよい。)に入力され、また、学習データに於ける時刻情報も、全結合層に於ける任意の層のニューロンに入力され(必ずしも最後の層に入力されなくてもよい。また、カメラの絞り値やその他の車両情報が全結合層のいずれかに入力されるようになっていてもよい。)、全結合層の出力層に於いて照度等の値が出力される(順伝播)。そして、照度等の出力値と学習データに於ける正解値である照度等の実測値(又はその正規化値若しくは変換値)との間の誤差が算出され、その誤差が低減するように誤差逆伝播法等のアルゴリズムに従って各ニューロンの重み、バイアス、畳込み層Cに於けるフィルタ等のパラメータが更新される(逆伝播)。かくして、上記の順伝播と逆伝播の処理を学習データについて繰り返すことにより、画像情報及び時刻情報のそれぞれに対してそのときの照度等の推定値を精度良く出力できるように、推定器の学習が達成されることとなる。
0025
本実施形態の照明制御装置12に於ける照度等の推定(図2のステップ3)に於いては、図3(D)に示されている如く、車載カメラ16にて撮像された画像とそのときの時刻を上記のいずれの態様にて変換して得られた時刻情報が上記の学習が実行された推定器に入力され、かかる推定器によって照度等の推定値が出力され(推定器の構造は、学習時と同様)、かくして、点灯制御に於いて参照されることとなる。照度等の推定値の算出は、任意のアルゴリズムにより実行されてよく、典型的には、プログラム言語にて用意された関数やモジュールを使用して実行されてよい。
0026
(c)照明灯の点灯・消灯制御(図2のステップ4〜6)
上記の如く、照度等の推定値が得られると、図4に模式的に描かれている如く、推定値が所定の閾値Thを下回っているときには、照明灯が点灯され、推定値が所定の閾値Thを上回っているときには、照明灯が消灯されるように制御が実行される。ここに於いて、照度等の推定値は、画像内の輝度値だけでなく、時刻情報を通じて、そのときの太陽の高さも考慮して得られた値であるので、より精度よく車両の周囲の照度等が推定されていることが期待される。
0027
例えば、図5(A)に例示の画像の場合、夕方で照度センサにて計測された照度によれば、照明灯を点灯すべき状況であるところ、車外の照度が暗くなってきたことにより、カメラの絞り値が小さくなることで、空Sや路面Rの輝度が高くなっているので、もし画像だけで照度を判定すると、照明灯は消灯されてしまう。しかしながら、本実施形態のように画像と共に時刻情報とを用いて照度を推定した場合には、時刻情報により夕方であることが推定に於いて反映され、照明灯を点灯するように自動照明制御が実行される。即ち、絞り値の変化の影響で空が明るく映っていても、時刻情報を参照することで誤消灯を防ぐことが可能となる。また、図5(B)に例示の画像の場合、日中で照度センサにて計測された照度によれば、照明灯を消灯すべき状況であるところ、強い日射により路面Rに建造物の大きな影が落ち、路面が暗く撮影されているので、もし画像だけで照度を判定すると、照明灯は点灯されてしまう。しかしながら、本実施形態のように画像と共に時刻情報とを用いて照度を推定した場合には、時刻情報により日中であることが推定に於いて反映され、照明灯を消灯するように自動照明制御が実行される。即ち、影などで路面が暗く映っていても、時刻情報を付与することで誤点灯を防ぐことが可能となる。更に、時刻を参照していることから、日中に、高架下の通過時に車両の周囲が一瞬暗くなっただけで、照明灯が点灯してしまうといった運転者の意図と異なる制御作動が回避又は抑制されることとなる。
0028
かくして、上記の本実施形態の構成によれば、照度等の推定のための推定器の構成に於いては、照度センサなどの照度等を計測するためのセンサを車両に搭載して、学習用のデータを収集する必要があるが、一旦、学習により推定器の構成が為されれば、照度等を検出するセンサを搭載しない車両に於いても、かかる推定器を用いて精度良く照度等の推定が達成され、運転シーン毎にルールベースにて制御行う必要のない適応範囲の広い自動照明制御が可能となる。