図面 (/)

技術 車両の照明制御装置

出願人 トヨタ自動車株式会社
発明者 山部尚孝戸敷創石原直樹
出願日 2019年4月24日 (1年11ヶ月経過) 出願番号 2019-082939
公開日 2020年11月5日 (5ヶ月経過) 公開番号 2020-179739
状態 未査定
技術分野
  • -
主要キーワード 自動照明装置 照度閾値 機械学習モデル サーバコンピュータ装置 各照明灯 運転者識別情報 個人ID情報 消灯操作
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年11月5日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (4)

課題

車両の自動照明装置に於いて、運転者照明灯点灯又は消灯する運転シーンを認識して、その認識された運転シーンに応じて照明灯を点灯又は消灯し、運転者ができるだけ違和感を覚えないように自動照明制御を実行すること。

解決手段

本発明の装置は、車両の周囲の画像に基づいて車両の照明機器の点灯・消灯状態を制御する。照明機器の状態制御に於いては、運転者の操作により照明機器の点灯・消灯状態が設定されるときの画像と運転者の操作により設定された照明機器の点灯・消灯状態とを学習データとして用いて、学習データに於ける画像が入力されるとそのときの状態を出力するように機械学習モデルアルゴリズムに従って学習する識別手段によって、撮像手段により撮像された画像に対して出力された点灯・消灯状態に照明機器を設定する。

概要

背景

自動車等の車両の運転者運転操作負担を軽減するための一つの手段として、車両の前照灯尾灯等の車両の周囲を照明する照明機器を自動的に点灯又は消灯する構成(自動照明装置)が種々提案され、実用化されている。かかる自動照明装置に於いては、従来では、簡単には、車両周囲の明るさを検知する照度センサが車体の任意の部位に設けられ、照度センサが検知する照度閾値よりも低下すると、照明機器が点灯され、照度センサが検知する照度が閾値を上回ると、照明機器が消灯されるといった構成が採用されていた。また、例えば、特許文献1では、カメラ等の撮像手段により撮像した自車前方の画像に基づいて、自車前方の明るさを認識し、その明るさに基づいて、照明機器の点灯及び消灯の制御を行う構成が提案されている。特許文献2に於いては、照度センサにより検出された車両上方の照度と、カメラに撮影された光源領域車両前方光源量と暗部領域の暗部量とをそれぞれ対応する閾値と比較し、比較結果に基づいて、前照灯の点灯と消灯の切り替え制御及び点灯時のロービームハイビームの切り替え制御を行う構成が提案されている。かかる構成に於いては、自動的な切り替え制御中に運転者によるマニュアル操作があると、その時点での照度と光源量と暗部量とそれぞれの閾値との差分量が調整可能範囲内であるときには、それぞれの閾値がマニュアル操作のあったときの検出値更新されるようになっている(学習)。特許文献3では、前照灯の照射状態の自動切換え制御に於いて、照射状態の切換えがマニュアル操作で行われた際の車速、照度、舵角天候の検出結果に基づいて、ロービーム状態ハイビーム状態との切換判定用の閾値(車速閾値照度閾値、舵角閾値、天候閾値)の学習を行って記録し、それらの閾値によって自動的な照射状態の切換えを行う構成が開示されている。特許文献4では、車両周囲を撮像するカメラ画像に於いて、自車の車体の一部を映り込ませて、その映り込んだ車体の一部の像の輝度から照度を取得し、取得した照度に基づき車両の点灯状態を制御する構成が開示されている。そして、特許文献5では、車載カメラによって撮像された画像のぼけ度合いによって霧または雨の有無を判定し、霧であると判定された場合に、フォグランプを点灯させる構成が開示されている。

概要

車両の自動照明装置に於いて、運転者が照明灯を点灯又は消灯する運転シーンを認識して、その認識された運転シーンに応じて照明灯を点灯又は消灯し、運転者ができるだけ違和感を覚えないように自動照明制御を実行すること。 本発明の装置は、車両の周囲の画像に基づいて車両の照明機器の点灯・消灯状態を制御する。照明機器の状態制御に於いては、運転者の操作により照明機器の点灯・消灯状態が設定されるときの画像と運転者の操作により設定された照明機器の点灯・消灯状態とを学習データとして用いて、学習データに於ける画像が入力されるとそのときの状態を出力するように機械学習モデルアルゴリズムに従って学習する識別手段によって、撮像手段により撮像された画像に対して出力された点灯・消灯状態に照明機器を設定する。

目的

本発明の一つの課題は、自動車等の車両の自動照明装置に於いて、運転者が照明灯を点灯又は消灯する運転シーンを認識して、その認識された運転シーンに応じて照明灯を点灯又は消灯し、運転者ができるだけ違和感を覚えないように自動照明制御を実行する照明制御装置を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

該当するデータがありません

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

車両の照明制御装置であって、車両の周囲の少なくとも一部を撮像する撮像手段と、前記車両の運転者によって操作可能な前記車両の照明機器点灯消灯状態を設定する照明機器状態設定手段と前記撮像手段により撮像された画像に基づいて前記車両の照明機器の点灯・消灯状態を制御する照明機器状態制御手段と、を含み、前記照明機器状態制御手段が、前記運転者の前記照明機器設定手段の操作により前記照明機器の点灯・消灯状態が設定されるときの前記撮像手段により撮像された画像である学習用画像と前記運転者の操作により設定された前記照明機器の点灯・消灯状態である正解状態とを学習データとして用いて、前記学習データに於ける前記学習用画像が入力されると前記正解状態を出力するように機械学習モデルアルゴリズムに従って学習する識別手段を含み、前記撮像手段により撮像された画像に対して前記識別手段の出力した点灯・消灯状態に前記照明機器を設定する装置。

技術分野

0001

本発明は、自動車等の車両の照明制御装置係り、より詳細には、車両の前照灯尾灯等の車両の周囲を照明する照明機器ライト類灯火類)を自動的に点灯又は消灯する照明制御装置に係る。

背景技術

0002

自動車等の車両の運転者運転操作負担を軽減するための一つの手段として、車両の前照灯、尾灯等の車両の周囲を照明する照明機器を自動的に点灯又は消灯する構成(自動照明装置)が種々提案され、実用化されている。かかる自動照明装置に於いては、従来では、簡単には、車両周囲の明るさを検知する照度センサが車体の任意の部位に設けられ、照度センサが検知する照度閾値よりも低下すると、照明機器が点灯され、照度センサが検知する照度が閾値を上回ると、照明機器が消灯されるといった構成が採用されていた。また、例えば、特許文献1では、カメラ等の撮像手段により撮像した自車前方の画像に基づいて、自車前方の明るさを認識し、その明るさに基づいて、照明機器の点灯及び消灯の制御を行う構成が提案されている。特許文献2に於いては、照度センサにより検出された車両上方の照度と、カメラに撮影された光源領域車両前方光源量と暗部領域の暗部量とをそれぞれ対応する閾値と比較し、比較結果に基づいて、前照灯の点灯と消灯の切り替え制御及び点灯時のロービームハイビームの切り替え制御を行う構成が提案されている。かかる構成に於いては、自動的な切り替え制御中に運転者によるマニュアル操作があると、その時点での照度と光源量と暗部量とそれぞれの閾値との差分量が調整可能範囲内であるときには、それぞれの閾値がマニュアル操作のあったときの検出値更新されるようになっている(学習)。特許文献3では、前照灯の照射状態の自動切換え制御に於いて、照射状態の切換えがマニュアル操作で行われた際の車速、照度、舵角天候の検出結果に基づいて、ロービーム状態ハイビーム状態との切換判定用の閾値(車速閾値照度閾値、舵角閾値、天候閾値)の学習を行って記録し、それらの閾値によって自動的な照射状態の切換えを行う構成が開示されている。特許文献4では、車両周囲を撮像するカメラ画像に於いて、自車の車体の一部を映り込ませて、その映り込んだ車体の一部の像の輝度から照度を取得し、取得した照度に基づき車両の点灯状態を制御する構成が開示されている。そして、特許文献5では、車載カメラによって撮像された画像のぼけ度合いによって霧または雨の有無を判定し、霧であると判定された場合に、フォグランプを点灯させる構成が開示されている。

先行技術

0003

特開2010−6172
特開2014−12494
特開2007−308012
特開2018−103756
特開2006−349637

発明が解決しようとする課題

0004

実際の車両の運転中に於いては、運転者は、車両の前方をシーンとして認識して照明灯の点灯・消灯を実行するので、上記の如く自動的に車両の照明灯の点灯・消灯等を制御する自動照明制御の構成に於いて、車両の周囲の明るさだけに応じて点灯・消灯の切換制御を行うようになっている場合には、例えば、トンネル通行時などに、運転者は、自動照明制御の作動に対して違和感を覚えてしまうことがある。そして、自動照明制御による点灯又は消灯のタイミングが運転者の感覚に対して早過ぎたり遅過ぎたりする場合、運転者は、自動照明制御の作動を解除し、手動にて照明灯の点灯・消灯を実行することとなるであろう。その場合、再び自動照明制御による照明灯の点灯・消灯を実行しようするときには、運転者は、自動照明制御を復帰するための操作を行う必要があり、自動的な制御にもかかわらず、操作数が増加してしまうこととなる。この点に関し、例えば、上記の特許文献2、3のように、運転者が手動で照明灯の点灯・消灯操作をした際の前方照度や車両の状態量を照明灯の点灯・消灯の切換のための閾値として記憶しておき、その後、同様の状況においては記憶された閾値に基づいて照明灯の点灯・消灯を制御するようにして、操作数を増やすことなく自動照明制御の作動を運転者の好みに適合させる試みも為されているところ、実際の運転シーンは、トンネルの入り口や空が障害物に隠れている場合など、多様で複雑であり、また、運転者毎に照明灯の点灯・消灯に対する傾向や好みも異なり得るので、前方照度、画像内の輝度値、車両の状態量等の各値に対して閾値を定め、各値が閾値を超えるか否かを判定することにより照明灯の点灯・消灯を決定する構成では、運転者の好みに適合するように照明灯を点灯又は消灯することは極めて困難である。既に述べた如く、実際の車両の運転に於いては、運転者は、車両の前方をシーンとして認識して照明灯の点灯・消灯を実行するので、自動照明制御に於いても、車両周囲又は前方の明るさや天気などの独立した情報を個々に判定するのではなく、運転者が照明灯を点灯又は消灯する車両の走行状況、即ち、運転シーンを認識し、それに基づいて照明灯の状態が決定されるようになっていれば、複雑な運転状況においてもロバストで運転者の好みに最適化した照明灯の点灯・消灯が達成できると期待される。

0005

かくして、本発明の一つの課題は、自動車等の車両の自動照明装置に於いて、運転者が照明灯を点灯又は消灯する運転シーンを認識して、その認識された運転シーンに応じて照明灯を点灯又は消灯し、運転者ができるだけ違和感を覚えないように自動照明制御を実行する照明制御装置を提供することである。

課題を解決するための手段

0006

本発明によれば、上記の課題は、車両の照明制御装置であって、
車両の周囲の少なくとも一部を撮像する撮像手段と、
前記車両の運転者によって操作可能な前記車両の照明機器の点灯・消灯状態を設定する照明機器状態設定手段と
前記撮像手段により撮像された画像に基づいて前記車両の照明機器の点灯・消灯状態を制御する照明機器状態制御手段と、
を含み、
前記照明機器状態制御手段が、前記運転者の前記照明機器設定手段の操作により前記照明機器の点灯・消灯状態が設定されるときの前記撮像手段により撮像された画像である学習用画像と前記運転者の操作により設定された前記照明機器の点灯・消灯状態である正解状態とを学習データとして用いて、前記学習データに於ける前記学習用画像が入力されると前記正解状態を出力するように機械学習モデルアルゴリズムに従って学習する識別手段を含み、前記撮像手段により撮像された画像に対して前記識別手段の出力した点灯・消灯状態に前記照明機器を設定する装置によって達成される。

0007

上記の構成に於いて、「撮像手段」は、自車両の前方、側方及び/又は後方を撮像することのできるカメラであってよく、専用のカメラであってもよいが、ドライブレコーダ衝突防止レーンキーピングアシストなどのための安全運転支援用カメラ、自動運転用カメラなど、その他の機能のための車載カメラが兼用されてもよい。車両の周囲の少なくとも一部の画像としては、典型的には、車両の運転者の視野領域である車両の前方領域前方上方領域であるが、これに限定されない。照明機器は、前照灯(ヘッドランプヘッドライト)、尾灯(テールランプテールライト)、車幅灯スモールランプスモールライト)、霧灯(フォグランプ)など、自車両の周囲を照明する任意の照明灯類であってよい。「照明機器の点灯・消灯状態」とは、照明機器を点灯している状態と消灯している状態との2状態のいずれかであってよく、更に、照明機器を点灯している状態に於いては、例えば、車幅灯のみを点灯した状態、前照灯をロービームにした状態、前照灯をハイビームにした状態など、複数の段階のいずれかの状態であってもよい。「照明機器状態設定手段」とは、車両の運転者が手動にて照明機器の点灯・消灯状態を上記のいずれかに切換えて設定できるようにするスイッチの如き手段であってよい。「照明機器状態制御手段」とは、車両の周囲の画像に基づいて自動的に照明機器の点灯・消灯状態を上記のいずれかに設定する手段であり、上記の如く学習により車両周囲の画像に対して、好ましい照明機器の点灯・消灯状態を出力するよう構成された識別手段を含む。識別手段の学習に於いて使用される「学習用画像」、「正解状態」は、上記の如く、運転者が照明機器設定手段を操作して照明機器の点灯・消灯状態を設定するときの撮像手段により撮像された画像(運転者の操作直前、操作時、操作後の画像を含む)とその操作により設定された照明機器の点灯・消灯状態であり、車両の運転中に於いて、照明機器の点灯・消灯状態を運転者が照明機器状態設定手段を操作して設定するモード(マニュアルモード)中に得られる画像と照明機器の点灯・消灯状態との組だけでなく、照明機器状態制御手段が照明機器の点灯・消灯状態を自動制御するモード(オートモード)中に運転者が照明機器状態制御手段の作動に凌駕して照明機器状態設定手段を操作して照明機器の点灯・消灯状態を設定したときの画像と照明機器の点灯・消灯状態との組が含まれてよい。照明機器状態制御手段の識別手段の学習に於いてされる機械学習モデルは、任意の、画像データから特徴量を抽出し、その特徴量に基づいて、画像データを複数の区分(照明機器の点灯・消灯状態)のいずれかに分類する分類問題を解くことのできる任意の学習モデルであってよく、典型的には、畳込みニューラルネットワークCNN)、再帰型ニューラルネットワーク、サポートベクターマシンなどが採用可能である。

0008

上記の構成に於いては、撮像手段により撮像された車両周囲の画像に基づいて設定されるべき照明機器の点灯・消灯状態が識別手段により決定され、その決定された点灯・消灯状態に照明機器が自動的に設定される。かかる構成に於ける注目されるべき一つの特徴は、設定されるべき照明機器の点灯・消灯状態を決定する識別手段は、学習により、車両の周囲のシーンを撮像した車両周囲の画像に対して好ましい照明機器の点灯・消灯状態を決定するように構成されている点であり、これにより、車両周囲又は前方の明るさや天気などの独立した情報を個々に判定するのではなく、運転者が照明灯を点灯又は消灯する運転シーンを認識し、その認識された運転シーンに応じて照明灯を点灯又は消灯することが可能となっている。従って、多様で複雑な種々の運転シーンに対しても照明機器が適当な点灯・消灯状態に設定されることが期待される。

0009

また、上記の本発明の構成に於ける注目されるべきもう一つの特徴は、識別手段の学習に於いて学習データとして用いられる「学習用画像」と「正解状態」とが運転者の照明機器設定手段の操作により照明機器の点灯・消灯状態が設定されるときの画像と照明機器の点灯・消灯状態であるので、識別手段は、運転者が実際の車両の運転に於いて照明灯を点灯又は消灯する運転シーンに対応して、設定されるべき照明機器の点灯・消灯状態を決定することが可能となっている点であり、これにより、決定された照明機器の点灯・消灯状態が、運転者にとって違和感ができるだけ少なくなることが期待される。特に、「学習用画像」と「正解状態」は、マニュアルモード中だけでなく、オートモード中に自動制御に凌駕して運転者が操作したときに収集されるようにして、そこに於いて収集された「学習用画像」と「正解状態」を用いて識別手段の学習が実行されるようになっていてよい。運転者が自動制御を凌駕して操作を行ったときは、そこに於ける照明機器状態制御手段による自動制御の作動が運転者の感覚に適合していないと考えられる。従って、運転者が自動制御を凌駕して操作したときに収集された「学習用画像」と「正解状態」を用いて識別手段の学習を行うことによれば、照明機器状態制御手段による自動制御の作動が運転者の感覚に適合していない部分を運転者の感覚に適合するように修正されることとなる。かくして、この構成によれば、車両の運転が種々の状況で繰り返される間に、識別手段の点灯・消灯状態の決定作動が運転者の感覚に近づくこととなり、運転者にとってより違和感が少なくなるように自動照明制御の性能が向上されることとなる。

0010

ところで、車両の運転中に運転者が照明機器を点灯又は消灯する状況或いはタイミングには、個人差が存在する。従って、自動照明制御が個々の運転者にとってできるだけ違和感が少なくできるように、上記の識別手段は、運転者毎に、別々に構成されてよい。かくして、上記の本発明の装置に於いて、照明機器状態制御手段が個々の運転者を識別する運転者識別情報を取得する手段を含み、識別手段の学習が、運転者識別情報にて識別された運転者の照明機器設定手段の操作により照明機器の点灯・消灯状態が設定されるときの撮像手段により撮像された画像である学習用画像とその運転者の操作により設定された照明機器の点灯・消灯状態である正解状態とを学習データとして用いて実行されるようになっていてよい。かかる構成によれば、識別手段が運転者毎に構成され、自動照明制御が個々の運転者の好みに応じてカスタマイズできることとなる。

0011

上記の本発明の装置の構成に於いて、識別手段の入力データとして、画像データに加えて、例えば、車速、加速度ヨーレート、舵角などの車両の走行情報など、照明機器を点灯又は消灯する状況或いはタイミングに影響を与える情報(以下、車両走行情報と称する。)が採用されてもよい。これらの車両走行情報は、学習用には、学習用画像と共に収集され、識別手段の学習に於いて入力データの一部として使用されてよい。自動照明制御に於いては、車両走行情報が画像と共に識別手段に入力される。

0012

上記の本発明の装置の構成に於いて、識別手段の学習処理は、マニュアルモード中、或いは、オートモード中に自動制御に凌駕して運転者が操作したときに収集された画像データと照明機器の点灯・消灯状態とを用いて適時実行されてよい。かかる識別手段の学習処理は、車載コンピュータ装置にて実行されてもよく、外部のサーバコンピュータ装置にて実行されてもよく、その場合、車両にて収集された学習データが車両からサーバへ送信され、学習処理後に識別手段の識別に用いられるパラメータ等がサーバから車両へ送信されるようになっていてよい。

発明の効果

0013

かくして、上記の本発明の車両の照明制御装置に於いては、車両に於いて取得される車両周囲の画像と照明機器の点灯・消灯状態に対して機械学習技術活用することで、運転者が照明灯を点灯又は消灯する運転シーンを認識し、その認識された運転シーンに応じて照明灯を点灯又は消灯するように自動照明制御が実行される。ここに於いて、撮像された画像に対して照明機器の点灯・消灯状態を決定する識別手段の構成は、学習により更新されるようになっているので、多様な運転状況においてもロバストで運転者の好み又は感覚に最適化するように識別手段の性能が向上され、運転者ができるだけ違和感を覚えないように自動照明制御が実行されるようになり、運転操作負担が軽減され、快適な運転環境が提供されることが期待される。また、本発明の装置に於いては、近年、車両に於いて搭載されることが多くなった車両周囲を撮像するカメラが用いられ、自動照明制御に専用の照度センサを車両に常備する必要がなくなるので、その分、車両の制御のための構成が簡単化され、また、コストも低減され点で有利である。

0014

本発明のその他の目的及び利点は、以下の本発明の好ましい実施形態の説明により明らかになるであろう。

図面の簡単な説明

0015

図1(A)は、本発明による照明制御装置の実施形態が搭載される車両の模式図である。図1(B)は、本発明による照明制御装置の実施形態の内部の構成をブロック図の形式で表した図である。図1(C)は、照明機器の点灯・消灯、自動照明制御の実行の有無を切換えるための切換スイッチの構成の模式図である。
図2は、本発明による照明制御装置の実施形態の作動に於ける処理をフローチャートの形式にて示した図である。
図3は、本発明による照明制御装置の実施形態の識別器の、撮像された画像に対して照明機器の点灯・消灯状態を決定する構成に於いて採用される畳み込みニューラルネットワークの処理を説明する図である。

0016

10…車両
12…制御装置
14…切り替えスイッチ
16…カメラ
18…通信器
20…前照灯
21…車幅灯
22…尾
24…霧灯
30…外部サーバ

発明を実施するための最良の形態

0017

装置の構成
図1(A)を参照して、本発明の照明制御装置の好ましい実施形態が組み込まれる自動車等の車両10に於いては、前照灯20、車幅灯21及び尾灯22(以下、「照明灯」と総称する。)の点灯及び消灯が、車両の運転者による切換スイッチ14(照明機器状態設定手段)の操作の他、車載カメラ16(撮像手段)により撮像された車両10の周囲の画像から得られる情報に応じて、照明制御装置12の作動によって実行される。なお、霧灯24の点灯及び消灯も照明制御装置12の作動によって実行されてよい。かかる構成に於いて、車載カメラ16は、自車両10の周囲、特に、前方領域を撮像するよう設置された通常のカメラであってよく、専用のカメラであってもよいが、ドライブレコーダ、衝突防止やレーンキーピングアシストなどのための安全運転支援用カメラ、自動運転用カメラなど、その他の機能のための車載カメラが兼用されてもよい。また、車載カメラは複数個備えてあってもよく、車両前方だけでなく、車両の後方や左右などを撮像してもよい。

0018

切換スイッチ14は、照明灯20〜22の点灯及び消灯の切換と共に、本実施形態による自動的な照明灯20〜22の点灯及び消灯の制御(自動照明制御)の実行/停止の切換が為されるようになっていてよい。切換スイッチ14は、具体的には、例えば、図1(C)の模式的に例示されている如く、運転者により照明灯20〜22の設定が選択可能な回転式のスイッチであってよく、そこに於いて、例えば、OFF(照明灯20〜22が消灯している状態)、AUTO(自動照明制御が実行される状態)、SMLL(車幅灯21及び尾灯22が点灯される状態)、FULL(照明灯20〜22が点灯している状態)が設定可能な状態として用意され、回転部14aを回転して、印14bをそれぞれの状態の印に合わせることにより、各状態が設定されることとなる。かかる切換スイッチ14の設定に於いて、回転部14aの印14bがAUTOに合わされているときには、照明灯の制御は、オートモード(照明機器の点灯・消灯状態が自動制御されるモード)であり、回転部14aの印14bがSMALL又はFULLに合わされているときには、照明灯の制御は、マニュアルモード(照明機器の点灯・消灯状態を運転者が照明機器状態設定手段を操作して設定するモード)である。従って、照明灯の制御がオートモードに設定されている状態で、回転部14aの印14bがSMALL又はFULLに切換えられると、オートモードが凌駕されてマニュアルモードに切り替わり制御介入)、回転部14aの印14bが再びAUTOに合わされると、オートモードが復帰されることとなる(制御復帰)。なお、図示していないが、照明灯の設定は、更に、照明灯20〜22の点灯状態に於いて、前照灯20をロービームとハイビームとの間で切換えられるようになっていてよい。

0019

また、車両10には、車外のサーバ30との間で通信を行うための通信器18が備えられてよい。通信器18は、種々の用途のための通信に使用されてよいところ、本実施形態の照明制御に於いては、切換スイッチ14がAUTO以外に設定されているときに記録された画像とそのときの照明灯の点灯・消灯状態の設定との組を学習データとして、車外のサーバ30へ送信すると共に、車外のサーバ30にて機械学習モデルに従って決定された、画像に基づいて照明灯の状態の設定を決定するための識別器のモデルパラメータを車外のサーバ30から受信し、照明制御装置12へ提供する。車両10と車外のサーバ30との間の信号通信は、任意の形式にて達成されてよい。

0020

照明制御装置12は、具体的には、図1(B)に示されている如く、点灯・消灯制御部、画像蓄積部、制御モード判定部及び信号通信部を含む。

0021

点灯・消灯制御部は、画像に基づいて照明灯の状態の設定を決定するための識別器(識別手段)を有し、切換スイッチ14の設定を参照し、切換スイッチ14がAUTOに設定されているときには、車載カメラ16からの車両10の周囲の画像を受信し、後述の態様にて画像に基づいて識別器の決定した点灯・消灯状態に照明灯を設定する自動照明制御を実行し、切換スイッチ14がSMALL又はFULL(又は更にハイビーム)に設定されているときには、その設定に対応した状態にて照明灯20〜22を点灯するよう機能する(霧灯24の点灯・消灯状態も同様に制御されてよい。)。なお、本実施形態に於いては、好適には、照明灯の自動照明制御の作動態様(どういう状況のときに照明灯の状態をどのように設定するか)は、運転者毎に個別に学習により調整できるようになっていてよい。そのために、点灯・消灯制御部は、運転者それぞれを識別するための個人ID情報を受信し、自動照明制御の実行に際しては、個人ID情報にて特定された運転者について学習され準備された自動照明制御の設定を用いて、照明灯の状態が制御されるようになっていてよい。運転者毎の自動照明制御を行うための識別器の設定(モデルパラメータ等−本明細書に於いて、「モデルパラメータ等」とは、識別器に於ける演算に使用される重み係数フィルタなどの処理に於ける設定値やアルゴリズムであり、使用される機械学習モデルによって適宜選択されるパラメータや設定アルゴリズムを総称するものとする。)は、それぞれ、運転者それぞれの個人ID情報が登録されてメモリに記憶され、個々の運転者が車両を運転する際、その運転者の個人ID情報に対して登録された識別器の設定が呼び出されて、識別器に於いて使用されるようになっていてよい。

0022

画像蓄積部は、車載カメラ16からの車両10の周囲の画像を記録し、切換スイッチ14がAUTO以外に設定されているときに記録された画像が後述の自動照明制御のための学習処理に用いられることとなる。制御モード判定部は、切換スイッチ14がAUTO以外の設定からAUTOへ切換えられたこと又は切換スイッチ14がAUTOからAUTO以外の設定へ切換えられたことを検出し、そのことを信号通信部へ送信するようになっていてよい。そして、信号通信部は、既に触れた如く、切換スイッチ14がAUTO以外に設定されているときに記録された画像(学習用画像)とそのときの照明灯の点灯・消灯状態の設定(正解状態)との組を学習データとして通信器18を介して車外のサーバ30へ送信し、また、車外のサーバ30からの学習処理により決定されたモデルパラメータを受信し、点灯・消灯制御部へ送信するよう構成される。

0023

一方、車外のサーバ30に於いては、画像/操作データ蓄積部が、信号通信部を通じて車両10からの学習データを受信し蓄積し、それらの学習データを用いて、自動照明制御モデル学習部が、後述の態様にて、学習用画像からそのときの照明灯の点灯・消灯状態の正解状態を出力する識別器のパラメータ等を算出し、算出された識別器のパラメータ等が信号通信部を通じて車両10の照明制御装置12の信号通信部へ送信される。

0024

上記の車両10に搭載される照明制御装置12及びサーバ30は、それぞれ、通常の態様のコンピュータ装置であってよく、双方向コモンバスにより相互に連結されたCPU、記憶装置入出力装置(I/O)が装備され、記憶装置は、本発明の演算で使用する演算処理を実行する各プログラムを記憶したメモリと、演算中に使用されるワークメモリ及びデータメモリを含む。上記の照明制御装置12及びサーバ30に於ける各部の作動は、メモリに記憶されたプログラムに従ったコンピュータ装置の作動により、実現されることは理解されるべきである。なお、自動照明制御モデル学習部による学習処理を行うコンピュータ装置は、車両10に搭載されていてもよい。その場合、学習データ及び識別器パラメータの送受信は、信号通信部を介さずに実行されてよい。

0025

装置の作動
(a)制御作動概要
本実施形態の照明制御装置12は、まず、切換スイッチ14を通じて、運転者が照明灯20〜22(或いは更に霧灯24)の点灯を指示したときには(SMALL又はFULL)、それらの照明灯を点灯し、消灯を指示したときには(OFF)、それらの照明灯を消灯するよう各照明灯のon/off状態を制御する(前照灯20、車幅灯21及び尾灯22は、切換スイッチ14により段階的に点灯・消灯が制御され、霧灯24は、別途、スイッチが設けられ、点灯・消灯が制御されるようになっていてよい。)。

0026

そして、運転者が切換スイッチ14を通じて、自動照明制御の実行を指示したときには(AUTO)、運転者自身がスイッチを操作することなく、照明灯の点灯又は消灯される自動照明制御が実行される。特に、本実施形態の場合、点灯・消灯制御部は、既に述べた如く、車載カメラ16の画像を入力データとして参照して、設定されるべき照明灯の点灯・消灯状態を決定する識別器を有しており、自動照明制御の実行に際しては、識別器は、時々刻々に入力される車両周囲の画像に対して、設定されるべき照明灯の点灯・消灯状態を出力し、その出力された点灯・消灯状態に照明灯が設定されることとなる。

0027

ここに於いて、識別器は、学習により運転者が切換スイッチ14を通じて照明灯の状態を設定したときに車載カメラ16により撮像された画像(学習用画像)とその際の照明灯の点灯・消灯状態(正解状態)とを学習データとして、入力された学習用画像に対して、その際の照明灯の点灯・消灯状態の正解状態を設定すべき状態として出力するように構成されているので、出力される照明灯の設定すべき点灯・消灯状態は、運転者が画像に映っているシーンを認識したときに運転者が設定する照明灯の点灯・消灯状態となっていることが期待される。かくして、かかる識別器の出力に従って、照明灯の点灯・消灯状態を設定することにより、運転者が運転シーンを認識して照明灯を点灯又は消灯するのと同様に、自動的に照明灯が点灯又は消灯されることが期待される。

0028

また、本実施形態に於いては、識別器の上記の学習処理は、車両の走行中に、運転者がマニュアルモードにて照明灯の点灯・消灯状態を設定したとき、特に、オートモードでの自動照明制御中にその自動照明制御に凌駕して運転者がマニュアルモードにて照明灯の点灯・消灯状態を設定したときの車載カメラ16により撮像された画像とその際の照明灯の点灯・消灯状態とを学習データとして実行できるようになっていてよい(再学習可能)。「発明の概要」の欄に於いても触れた如く、運転者が自動制御を凌駕してマニュアルモードにて照明灯の操作を行った場合、運転者による操作は、そこに於ける自動制御の作動が運転者の感覚に適合していないため、自動制御の作動を修正するものであると考えられる。従って、上記の構成のように、運転者が自動照明制御に凌駕して操作した場合の画像とその際の照明灯の点灯・消灯状態とを学習データとして識別器の再学習を実行し、その再学習により決定された識別器のパラメータ等を使用して識別器が設定されるべき照明灯の点灯・消灯状態を出力する場合には、出力された照明灯の点灯・消灯状態は、それまでよりも、より運転者の感覚に近い照明灯の点灯・消灯状態の設定となっていることが期待され、運転者にとってより違和感が少なくなるように自動照明制御の性能が向上されることとなる。

0029

更に、既に述べた如く、照明灯の点灯・消灯状態を切換える時期及び状況には、運転者に於ける個人差がある。そこで、本実施形態の構成に於いては、上記の如く、運転者の個人ID情報を参照し、上記の識別器の学習が運転者毎に実行され、運転者毎に異なるパラメータ等にて設定された識別器を用いて、設定されるべき照明灯の点灯・消灯状態の決定が為されるようになっていてよい。かかる構成によれば、自動照明制御の作動が運転者毎にカスタマイズできることとなる。なお、識別器の学習は、運転者の識別をせずに行ってもよく、そのような場合も本発明の範囲に属する。この場合、種々の画像に対して汎用的に適切な照明灯の点灯・消灯状態を出力する識別器が構成されることとなる。

0030

(b)処理の流れ
図2(A)を参照して、車両10の照明制御装置12による自動照明制御の処理作動に於いては、切換スイッチ14がOFFからAUTO又はSMALL若しくはFULLに切換えられた時、或いは、アクセサリACC電源ON時イグニッション(IG)電源ON時、エンジン回転始動時のいずれかによる車両10の通電後、運転者毎に識別器を構成する場合には、運転者のID情報を参照することにより、運転者の個人が特定され(ステップ1)、特定されたIDの運転者のための照明制御モデル、即ち、識別器がメモリ内に既に存在しているか否かが検索される(ステップ2)。運転者のID情報の入力及び確認は、例えば、任意の入力装置タッチパネル操作パネル音声入力など)を通じて任意の形式にて実行されてよい。ここで、特定されたIDの運転者のための照明制御モデルがメモリに於いて既に存在した場合には、その照明制御モデルの設定が呼び出され、識別器のモデルパラメータ等としてロードされる(ステップ3)。一方、新規の運転者又はメモリに照明制御モデルが記憶されていない運転者については、新規の個人ID情報が付与され登録され、識別器のモデルパラメータ等に於いては、予め万人向けに準備されたデフォルトのモデルパラメータ等がロードされるようになっていてよい(ステップ4)。デフォルトの識別器のモデルパラメータ等は、実験的に或いは経験に基づいて適宜設定されたものであってよい。なお、運転者に於いて個人を識別しない場合には、ステップ1〜4は、実行されず、スタート時にそれまでに使用された識別器のモデルパラメータ等がロードされ、使用されるように準備されてよい。

0031

かくして、切換スイッチ14がAUTOに設定されているときには(ステップ6)、自動照明制御が実行される。かかる自動照明制御に於いては、まず、車載カメラ16にて撮像された画像の読み込みが実行され(ステップ9)、その画像に基づいて、識別器が上記のロードされたパラメータ等を用いて、設定されるべき照明灯の点灯・消灯状態を決定し、その決定された点灯・消灯状態に照明灯が設定される(ステップ10)。ここで、決定され得る照明灯の点灯・消灯状態は、OFF、SMALL、FULLであってよく、或いは、更に、FULLに於いて、ハイビームとロービームとが決定されてもよい。なお、決定され得る照明灯の点灯・消灯状態は、上記の態様以外の設定であってもよい(更に細かくレベル分けがされていてもよく、或いは、単にOFFとONの2段階であってもよい。)。

0032

上記の識別器は、画像データを複数の区分(照明機器の点灯・消灯状態)のいずれかに分類する分類問題を解くことのできる任意の学習モデル、典型的には、畳込みニューラルネットワーク(CNN)、再帰型ニューラルネットワーク、サポートベクターマシンに従って構成されてよく、上記の如く、運転者が切換スイッチ14を通じて照明灯の状態を設定したときに車載カメラ16により撮像された画像とその際の照明灯の点灯・消灯状態とを学習データとして、入力された画像に対して、その際の照明灯の点灯・消灯状態を設定すべき状態として出力するように構成されている。画像から照明灯の点灯・消灯状態を出力する処理は、任意のアルゴリズムにより実行されてよく、典型的には、プログラム言語にて用意された関数モジュールを使用して実行されてよい。識別器を畳込みニューラルネットワークにより構成する場合には、図3に模式的に描かれている如く、画像が入力されると、畳込み層とプーリング層とに於いてそれぞれ処理されて画像に於ける特徴が抽出される。なお、この分野に於いて知られている如く、畳込み層とプーリング層の処理は、複数回実行されるようになっていてよい。そして、抽出された特徴が全結合層へ入力され、出力層に於いて、入力された画像が得られるときに、取り得る照明灯の点灯・消灯状態の各々が設定されるべき確率が出力され、かかる確率の最も高い状態が、設定されるべき点灯・消灯状態として決定される。

0033

そして、上記の自動照明制御は、切換スイッチ14がAUTOに設定されている間、後述の制御の終了条件成立しない限り、継続されるところ、途中で、運転者によって切換スイッチ14がAUTOからOFF又はSMALL若しくはFULLに切換えられると(運転者による制御介入)、自動照明制御が中断され、照明灯は、切換スイッチ14にて指示された状態に設定される。この場合、既に触れた如く、運転者は、自動照明制御による照明灯の設定が運転者自身の感覚又は好みに適合しない判断して、自動照明制御を凌駕する制御介入を行ったものと考えられるので、そのとき及びそれ以降の切換スイッチ14が再びAUTOへ切換えられるまで(制御がマニュアルモードにある間)に於ける車載カメラ16の撮像した画像と、そのときの照明灯の点灯・消灯状態が記録され(ステップ7)、識別器の学習のための学習データとされる。なお、ここで記録する画像は、好適には、切換スイッチ14がAUTOからOFF又はSMALL若しくはFULLに切換えられる直前の、任意に設定されてよい所定の期間に於ける画像が含まれていてよい。運転者が制御介入を行うということは、介入前の状態が運転者の好み又は感覚に適合しておらず、その状態に適合する状態、つまり、正解の状態は、切換スイッチ14の切換後の状態であると考えられる。そこで、ステップ7に於いて記録されるデータには、切換スイッチ14がAUTOからOFF又はSMALL若しくはFULLに切換えられる直前の画像とその正解の状態として切換直後の状態とが関連づけられたデータが含まれていてよい。また、切換スイッチ14がOFF、SMALL又はFULLから別のOFF、SMALL又はFULLのいずれかに切換えられる場合についても、切換前の状態が運転者の好み又は感覚に適合しておらず、その状態に適合する状態、つまり、正解の状態は、切換スイッチ14の切換後の状態であると考えられる。従って、切換スイッチ14の切換前の画像とその正解の状態として切換直後の状態とが関連づけられたデータが含まれていてよい。

0034

ステップ7に於いて記録された画像と状態のデータは、適時、サーバへ送信されてよい。一つの態様に於いては、切換スイッチ14が再びAUTOへ切換えられたときにデータ送信が実行されてよい(即ち、切換スイッチ14がAUTOからOFF又はSMALL若しくはFULLに切換えられる直前から切換スイッチ14がAUTOへ切換えられるまでに収集されたデータが送信される。)。具体的な処理に於いては、図2(A)を参照して、切換スイッチ14が再びAUTOへ切換えられたとき(ステップ6)、制御モード判定部から信号通信部へそのことが伝達され、記録されたデータが存在するときには(ステップ8)、信号通信部を通じてサーバ30へ記録されたデータが送信されてよい(ステップ11)。なお、識別器のモデルパラメータ等を運転者毎に設定する場合には、運転者の個人ID情報も合わせて送信される。

0035

図2(B)を参照して、サーバ30は、信号通信部を介して車両側から上記の画像と状態と個人ID情報を受信し、受信したデータを画像/操作データ蓄積部に蓄積し(ステップ21)、個人ID情報にて特定される運転者のための照明制御モデル、即ち、識別器がメモリ内に既に存在しているか否かが検索され、特定されたIDの運転者のための照明制御モデルがメモリに於いて既に存在した場合には、その照明制御モデルの設定が呼び出され、識別器のモデルパラメータ等としてロードされる(ステップ22)。なお、新規の運転者又は記憶装置に照明制御モデルが記憶されていない運転者については、予め万人向けに準備されたデフォルトのパラメータ等がロードされるようになっていてよい。

0036

そして、自動照明制御モデル学習部に於いて、画像/操作データ蓄積部に蓄積されたデータを学習データとして用いて、学習処理により、識別器のモデルパラメータ等を算出する(ステップ23)。かかる学習処理は、任意のアルゴリズムにより実行されてよく、典型的には、プログラム言語にて用意された関数やモジュールを使用して実行されてよい。識別器の機械学習モデルとして畳込みニューラルネットワークを採用した場合には、図3に示されている如く、学習用画像を識別器に入力して取り得る照明灯の点灯・消灯状態の各々が設定されるべき確率を算出し(順伝播)、しかる後、入力した学習用画像に対応する照明灯の状態の確率を1とし、その他の状態の確率を0として、各状態の確率間の誤差が算出され、その誤差が低減するように誤差逆伝播法等のアルゴリズムに従って各ニューロンの重み、バイアス、畳込み層に於けるフィルタ等のパラメータ(モデルパラメータ等)が更新される(逆伝播)。かくして、上記の順伝播と逆伝播の処理を学習データについて繰り返すことにより、画像のそれぞれに対してそのときに設定されるべき照明灯の状態を精度良く出力できるように、識別器の学習が達成されることとなる。なお、学習処理は、実施された学習処理に追加して実行されてもよく、また、過去に蓄積したデータ全てを含めて実行されてもよい。運転者に於いて個人を識別しない場合には、ステップ22に於いて、それまでに使用された識別器のモデルパラメータ等がロードされ、上記と同様に学習処理が実行されてよい。

0037

かくして、ステップ23にて、識別器の新しいモデルパラメータ等(更新データ)が算出されると、それらが車両側へ送信されると共に(ステップ24)、サーバ内のメモリ又は記憶装置(図示せず)に保存される(ステップ25)。一方、車両側の照明制御装置12に於いては、サーバから識別器の新しいモデルパラメータ等である更新データを受信すると(ステップ12)、それまでの識別器のモデルパラメータ等を、送信されてきた新しいモデルパラメータ等(更新データ)に更新し(ステップ13)、更新されたモデルパラメータ等を用いた識別器を用いて、上記の如く自動照明制御を実行する。更新されたモデルパラメータ等を用いた識別器は、更新前に比して、より運転者の感覚又は好みに近い照明灯の点灯・消灯状態を出力されるように修正され、これにより、運転者の感覚又は好みにより適合した自動照明制御が提供されることが期待される。

0038

上記の自動照明制御は、基本的には、切換スイッチ14がOFFに切換えられると、終了される。この点に関し、切換スイッチ14がOFFにされても、再び、AUTO又は照明灯を点灯する状態に切換えられることとなるので、図2(A)の処理は、切換スイッチ14のOFFへの切換後も継続して実行される(学習用の画像と状態データの蓄積は実行される。)。しかしながら、切換スイッチ14がOFFとなって状態が長く続いている間、常に画像データの収集を続けると、データ量が膨大となるので、任意に設定されてよい所定の期間に亙って切換スイッチ14がOFFのままとなっているときには、終了条件が成立したものとして、画像の蓄積も終了してよい(ステップ5)。また、アクセサリ(ACC)電源OFF時にも終了条件が成立し、制御が終了する。

0039

上記の処理に於いて、切換スイッチ14が最初にOFFからAUTOを経ないでSMALL又はFULLに切換えられた場合には、自動照明制御に先立って、画像と状態のデータの記録(ステップ7)が実行され、そこで記録されたデータが学習に使用されてよい。また、識別器の入力として、画像データの他に、例えば、車速、加速度、ヨーレート、舵角などの車両の走行情報など、照明機器を点灯又は消灯する状況或いはタイミングに影響を与える情報が採用されてもよい。

0040

上記の本実施形態の照明制御装置によれば、機械学習技術を活用することで、運転者が照明灯を点灯又は消灯する運転シーンを認識し、その認識された運転シーンに応じて照明灯を点灯又は消灯するように自動照明制御が実行される。特に、本実施形態では、車両の運転中に得られた画像に対して照明灯の点灯・消灯状態を決定する識別器が学習により更新されるようになっているので、車両を運転すればするほど、識別器の性能が向上し、運転者の感覚や好みにより近づくように最適化され、かくして、運転操作負担が軽減され、快適な運転環境が提供されることが期待される。

0041

以上の説明は、本発明の実施の形態に関連してなされているが、当業者にとつて多くの修正及び変更が容易に可能であり、本発明は、上記に例示された実施形態のみに限定されるものではなく、本発明の概念から逸脱することなく種々の装置に適用されることは明らかであろう。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

該当するデータがありません

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

この 技術と関連性が強い技術

該当するデータがありません

この 技術と関連性が強い法人

該当するデータがありません

この 技術と関連性が強い人物

該当するデータがありません

この 技術と関連する社会課題

該当するデータがありません

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ