図面 (/)

技術 車両後方表示装置

出願人 東芝デバイス&ストレージ株式会社
発明者 宍戸博
出願日 2015年12月2日 (5年2ヶ月経過) 出願番号 2015-235644
公開日 2017年6月8日 (3年8ヶ月経過) 公開番号 2017-103627
状態 特許登録済
技術分野 イメージ分析 閉回路テレビジョンシステム 光学的視認装置
主要キーワード 電子ミラー 拘束方程式 重みつき平均 最大移動速度 幾何関係 ルームライト 速度場 研究報告書
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年6月8日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (6)

課題

運転手の意図しない小刻みな動きによる見づらさを改善させることのできる車両後方表示装置を提供する。

解決手段

車両の後方撮像する車載カメラと、運転手の上半身を撮像する運転手状態検出部と、運転手状態検出部で撮像された映像信号に基づいて、運転手の頭部の動きを追跡して得られた移動方向と移動速度を含む頭部の動きの追跡情報から所定の移動速度よりも小さな頭部の動きに伴う追跡情報を除去し、車載カメラで撮像された映像信号に基づいて除去後の頭部の動きの追跡情報を反映させた後方映像を生成して、映像信号として出力する制御部と、制御部から送出された映像信号に基づいて運転手の頭部の動きを反映させた後方映像を表示する表示部とを備える。

概要

背景

運転手ルームミラーにより車両の後方周囲を確認する際に、ルームミラーに映っている範囲だけでなく、その範囲の周囲の様子を確認したい場合がある。このような場合、運転手は、ルームミラーの向きを変えずに、頭部を動かしてルームミラーに映っている範囲を移動させる必要がある。

一方、ルームミラーによることなく、後方視界視認性を向上させるものとして、車両の後方を撮像する車載カメラを設置し、フロントガラスの内側の運転手が視認できる位置に設置した表示装置に、後方視界の映像を表示する車両後方表示装置が提案されている。

このような車両後方表示装置では、あくまでも車載カメラが撮像した後方映像を表示するため、表示範囲が固定されている。このため、車両後方表示装置に映し出される表示範囲を移動させようと運転手が頭部を動かしても、表示範囲は移動しない。この状態は、通常のルームミラーを利用した後方視界の確認の動きと異なるため、運転手に違和感を感じさせる。

そこで、運転手の頭部の動きを検出し、頭部の動きに合わせて車両後方表示装置に映し出される表示範囲を移動させるようにすることも提案されている。

しかしながら、運転手の頭部は、車両の揺れや自分の無意識の動きで、小刻みに動き続ける。運転手の無意識な頭部の動きにそのまま合わせて表示範囲を移動させると、表示内容が小刻みに動いたり、運転手が意図していない表示範囲の表示が起きて、見づらくなるという問題がある。

概要

運転手の意しない小刻みな動きによる見づらさを改善させることのできる車両後方表示装置を提供する。車両の後方を撮像する車載カメラと、運転手の上半身を撮像する運転手状態検出部と、運転手状態検出部で撮像された映像信号に基づいて、運転手の頭部の動きを追跡して得られた移動方向と移動速度を含む頭部の動きの追跡情報から所定の移動速度よりも小さな頭部の動きに伴う追跡情報を除去し、車載カメラで撮像された映像信号に基づいて除去後の頭部の動きの追跡情報を反映させた後方映像を生成して、映像信号として出力する制御部と、制御部から送出された映像信号に基づいて運転手の頭部の動きを反映させた後方映像を表示する表示部とを備える。

目的

本発明が解決しようとする課題は、運転手の意図しない小刻みな動きによる見づらさを改善させることのできる車両後方表示装置を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

車両の後方撮像する車載カメラと、運転手上半身を撮像する運転手状態検出部と、前記運転手状態検出部で撮像された映像信号に基づいて、運転手の頭部の動きを追跡して得られた移動方向と移動速度を含む頭部の動きの追跡情報から、所定の移動速度よりも小さな頭部の動きに伴う追跡情報を除去し、前記車載カメラで撮像された映像信号に基づいて前記除去後の頭部の動きの追跡情報を反映させた後方映像を生成して、映像信号として出力する制御部と、前記制御部から送出された映像信号に基づいて運転手の頭部の動きを反映させた後方映像を表示する表示部とを備える車両後方表示装置

請求項2

前記制御部は、前記運転手状態検出部で撮像された映像信号に基づいて、運転手の上半身の輪郭を検出し、該輪郭の形状から運転手の頭部の位置を検出し、運転手の顔の候補領域に対して輝度勾配方向共起(CoHOG) 特徴量を利用して運転手の顔の輪郭を検出し、特定した顔の輪郭と顔の特徴点との幾何関係から顔の向きや位置を含む頭部の位置を検出する請求項1に記載の車両後方表示装置。

請求項3

前記制御部は、逐次追跡アルゴリズムであるパーティクルフィルタを利用して頭部の動きを初期位置から次の状態として推定し、時間連続画像列を利用したオプティカルフローを用いて頭部の移動方向および移動速度を推定する請求項2に記載の車両後方表示装置。

請求項4

前記制御部は、前記所定の移動速度が50mm/sec以下の運転手の頭部の動きについては、頭部の動きの追跡情報から除去する請求項1乃至請求項3のいずれか1項に記載の車両後方表示装置。

請求項5

前記所定の移動速度は、ユーザである運転手が調整可能である請求項1乃至請求項4のいずれか1項に記載の車両後方表示装置。

請求項6

前記車載カメラで撮像された映像信号に基づいて、画像から有効画像を切り出す位置を移動させ、有効画像上で自車両の揺れによる影響を除去する請求項1乃至請求項5のいずれか1項に記載の車両後方表示装置。

技術分野

0001

本発明の実施形態は、車載カメラで車両の後方撮像し、その映像運転手視認できる車両後方表示装置に関する。

背景技術

0002

運転手がルームミラーにより車両の後方周囲を確認する際に、ルームミラーに映っている範囲だけでなく、その範囲の周囲の様子を確認したい場合がある。このような場合、運転手は、ルームミラーの向きを変えずに、頭部を動かしてルームミラーに映っている範囲を移動させる必要がある。

0003

一方、ルームミラーによることなく、後方視界の視認性を向上させるものとして、車両の後方を撮像する車載カメラを設置し、フロントガラスの内側の運転手が視認できる位置に設置した表示装置に、後方視界の映像を表示する車両後方表示装置が提案されている。

0004

このような車両後方表示装置では、あくまでも車載カメラが撮像した後方映像を表示するため、表示範囲が固定されている。このため、車両後方表示装置に映し出される表示範囲を移動させようと運転手が頭部を動かしても、表示範囲は移動しない。この状態は、通常のルームミラーを利用した後方視界の確認の動きと異なるため、運転手に違和感を感じさせる。

0005

そこで、運転手の頭部の動きを検出し、頭部の動きに合わせて車両後方表示装置に映し出される表示範囲を移動させるようにすることも提案されている。

0006

しかしながら、運転手の頭部は、車両の揺れや自分の無意識の動きで、小刻みに動き続ける。運転手の無意識な頭部の動きにそのまま合わせて表示範囲を移動させると、表示内容が小刻みに動いたり、運転手が意図していない表示範囲の表示が起きて、見づらくなるという問題がある。

先行技術

0007

特開昭58−209635号公報
特開2010−64714号公報
特開2008−141578号公報
特開2011−188028号公報

発明が解決しようとする課題

0008

本発明が解決しようとする課題は、運転手の意図しない小刻みな動きによる見づらさを改善させることのできる車両後方表示装置を提供することである。

課題を解決するための手段

0009

実施形態の車両後方表示装置は、車両の後方を撮像する車載カメラと、運転手の上半身を撮像する運転手状態検出部と、前記運転手状態検出部で撮像された映像信号に基づいて、運転手の頭部の動きを追跡して得られた移動方向と移動速度を含む頭部の動きの追跡情報から、所定の移動速度よりも小さな頭部の動きに伴う追跡情報を除去し、前記車載カメラで撮像された映像信号に基づいて前記除去後の頭部の動きの追跡情報を反映させた後方映像を生成して、映像信号として出力する制御部と、前記制御部から送出された映像信号に基づいて運転手の頭部の動きを反映させた後方映像を表示する表示部とを備える。

図面の簡単な説明

0010

本発明の実施形態に係る車両後方表示装置の全体配置を示す概略図である。
車両室内における運転手状態検出部および表示部の取付位置の一例を示す図である。
運転手の頭部の動きと表示部に表示される後方映像の移動の関係を説明する図である。
本実施形態に係る車両後方表示装置における運転手の頭部の動きに応じた後方映像の表示処理の流れを示すフローチャートである。
本実施形態の変形例に係る車両後方表示装置における運転手の頭部の動きに応じた後方映像の表示処理の流れを示すフローチャートである。

実施例

0011

以下、本発明の一実施の形態について、図面を参照して説明する。

0012

図1は、本発明の実施形態に係る車両後方表示装置の全体配置を示す概略図である。図1に示すように、本発明の実施形態に係る車両後方表示装置100は、主として車載カメラ10と、運転手状態検出部20と、制御部30と、表示部40とから構成されている。

0013

本実施形態では、車両の後方を撮像するために、車載カメラ10を車両のリアウインドウの縦の中心線の上部に設置している。

0014

車載カメラ10は、運転手が自車両の後方を見た際の感覚距離感が同程度になるように、後方視界を撮像できることが望ましい。したがって、自車両の後続車との間隔が実際とは異なって見え広角光学系のものは適していない。例えば、焦点距離が50mm程度のカメラが好適である。さらに、夜間でも自車両の後方が撮像できるように、高感度の光学系を備えることが好適である。

0015

車載カメラ10は、明るい箇所と暗い箇所とのコントラストを高めたHDRハイダイナミックレンジ)画像が得られるカメラが好適である。

0016

なお、車載カメラ10に対して水平方向に旋回させるパンニング機能を、車載カメラ10に具備させることもできる。

0017

車載カメラ10で得られた映像信号は、制御部30に送られる。

0018

図2は、車両室内における運転手状態検出部20および表示部40の取付位置の一例を示す図である。運転手状態検出部20は、運転手の状態を映像によって認識するもので、運転手の上半身を撮像する。運転手状態検出部20は、認識する運転手の状態として、運転手の頭部の位置、視線の向き、顔の向き、顔の傾き、開眼度等の情報を取得することができ、本実施形態では、運転手の頭部の位置の情報を利用する。

0019

運転手状態検出部20は、例えば、運転手の前のダッシュボード上に設置され、あるいはダッシュボード内に埋め込まれる。

0020

運転手状態検出部20は、太陽光や運転手のサングラス着用の影響下であっても、正確に運転手の頭部の位置を検出することができるよう、例えば、近赤外線カメラが好適である。運転手状態検出部20の内部には、近赤外光波長以外の不要波長光カットするフィルタを内蔵させることにより、日中における画像のS/N比を高めるのが望ましい。また、運転手状態検出部20の前面には可視光カットフィルタを備えるのが好適である。

0021

運転手状態検出部20において撮像して取得した映像信号は、制御部30に供給される。

0022

制御部30は、運転手状態検出部20において撮像して取得した映像信号および車載カメラ10で得られた映像信号に後述する種々の画像処理を施し、表示部40で表示する映像信号を生成する。

0023

制御部30は、自車両に搭載された他の電子機器の動作を制御することも可能であり、例えば、自車両に搭載されたヘッドライトテールライトブレーキライト及びルームライト等の点灯消灯を行うための電子機器、オートマチックにより変速を行うための電子機器等の動作を更に制御する構成としてもよい。

0024

制御部30は、例えば、演算処理を行うCPU又はMPU等の処理装置、データを記憶するSRAM、DRAM又はフラッシュメモリ等のメモリ、及び他の電子機器と通信を行うための通信インタフェース等により構成することができる。

0025

<頭部の位置検出
制御部30は、運転手状態検出部20において運転手の上半身を撮像して取得した映像信号に対して周知の画像認識技術適応し、運転手の頭部の位置を検出する。制御部30は、入力した映像信号から得られる画像に対して、上半身と思われる輪郭の検出、画像中の画素値を0か1にする2値化を行い、画像内を左上から右下まで全検索するウインドウ走査により輪郭の形状を評価する。

0026

続く上半身の詳細な検出手法として、例えば、画像内の特徴量に着目した、輝度勾配方向共起(CoHOG) 特徴量によるものが適用できる。これは、上半身を写した画像において、運転手の顔の候補領域を複数のブロックに分割して、ブロック毎に、2つの点で、エッジ方向組合せをヒストグラム化して、どのくらいの頻度で同時に存在(共起)するかを4種類の距離にある30個の点との間で調べるものである。CoHOG 特徴量を利用することにより、詳細に運転手の顔の領域(輪郭)を検出することができる。

0027

特定した顔の領域(輪郭)から、目、、口などの顔の特徴点部品)を検出し、これら顔領域と各部品位置幾何関係から顔の向きや位置を含む頭部の位置を検出する。

0028

<頭部の動き算出(追跡)>
次に、制御部30は、連続した映像信号に基づいて、頭部の動きを算出(追跡)する。本実施形態における動画像中の頭部の追跡手法としては、例えば、パーティクルフィルタというアルゴリズムを用いた物体追跡手法を適用することができる。

0029

パーティクルフィルタは、物体の検出と追跡を同時に行う、逐次追跡アルゴリズムであって、追跡の終点を予め必要としない逐次追跡であり、かつ、計算も軽いので、リアルタイム処理が可能である。パーティクルフィルタは、初期位置を設定し、現在の状態から起こりうる多数の次の状態を、数百又は数千のパーティクル粒子)に見立て、全パーティクルの尤度に基づいた重みつき平均を次の状態として推定しながら追跡を行っていく。

0030

状態推定モデルには、画像中から得たオプティカルフローを用いて、頭部の移動方向や速度を推定する。オプティカルフローは、時間連続画像列を利用して、画像の速度場(物体の速度+カメラの速度)を求め、それをベクトル集合で表したものである。例えば、ブロックマッチング勾配法等の(輝度の時間/輝度勾配)で表わされる拘束方程式を用い、これに制約条件を付加することでオプティカルフローを求める。ブロックマッチング法では、画像中のあるブロックをテンプレートとして、次時間の画像中からマッチする箇所を探索することでオプティカルフローを求めることができる。

0031

<頭部の搖動除去>
運転手の頭部は、自車両の揺れや自分の無意識の動きで、小刻みに動き続ける。表示部40において表示させる表示範囲を運転手の頭部の動きにそのまま合わせて移動させると、表示が小刻みに動いたり、運転手が意図していない表示の動きが起きて、見づらくなる。

0032

そこで、本実施形態では、頭部の動きの追跡過程において得られた頭部の移動方向や速度に対して、運転手の無意識な頭部の搖動による影響を除去する。一般的に、運転手が座席において座り直したり、首を回転させるような場合と異なり、運転手の無意識な頭部の動きは、ゆっくりと移動する。そこで、所定の移動速度よりも小さな頭部の移動方向や速度は、頭部の動きの追跡情報としては反映させないようにする。尚、除去する所定の移動速度の大きさは、運転手が調整可能とするのが好適である。

0033

このような運転手の無意識な頭部の動きについて、最大移動速度が50mm/secとの研究報告がある(「アイカメラ自動追尾焦点制御装置に関する研究」2002年新工業技術院工業技術研究報告書No31)。そこで、例えば、頭部の動きの追跡過程で得られた移動速度が50mm/sec以下の運転手の頭部の動きについては、頭部の動きの追跡情報から除去するのが好適である。

0034

<後方映像の生成>
制御部30は、車載カメラ10で取得した映像信号に対して、頭部の搖動による影響部分を除去した頭部の動きの追跡情報を反映させた後方映像を生成する。図3は、運転手の頭部の動きと表示部40に表示される後方映像の移動の関係を説明する図である。運転手の頭部の動きと後方映像の表示内容(範囲)は、逆方向に移動する。例えば、頭部が右に動くと後方映像の表示内容(範囲)は左に移動する。

0035

頭部の動きの追跡情報から、運転手が頭部を従前の位置から左方向に動かしている場合には、制御部30は、表示部40に表示させる後方映像を従前の位置から右方向に移動させるように生成する。一方、運転手が頭部を従前の位置から右方向に動かしている場合には、表示部40に表示させる後方映像を従前の位置から左方向に移動させるように生成する。

0036

上記したように制御部30で処理された後方映像に係る映像信号は、表示部40に送られる。なお、制御部30が故障した場合には、車載カメラ10から送出された映像信号を、そのまま表示部40に送出する。

0037

表示部40は、制御部30から送出された映像信号に基づいて頭部の搖動による影響部分を除去した頭部の動きを反映させた後方映像を表示する。表示部40は、車両の運転席近傍、例えば、フロントガラスの内側のルームミラーの位置に設置される。

0038

表示部40は、従来のルームミラーと制御部30で生成される後方映像を切り替え表示可能な車載電子ミラーが好適である。

0039

車載電子ミラーは、ルームミラーに内蔵した液晶モニターに上記した後方映像を映し出すため、運転手は、容易に後方の状況の確認をすることができる。

0040

車載電子ミラーには、太陽の逆光やヘッドライトの光等による見難さを補正する構造にするのが好適である。

0041

次に、以上のように構成した車両後方表示装置における運転手の頭部の動きに応じた後方画像の表示処理の流れを説明する。

0042

図4は、本実施形態に係る車両後方表示装置における運転手の頭部の動きに応じた後方映像の表示処理の流れを示すフローチャートである。

0043

初めに、運転手状態検出部20の車載カメラによって運転手の上半身を撮像する(ステップS41)。運転手状態検出部20において撮像して取得した映像信号は、制御部30に供給される。

0044

次に、運転手の上半身を撮像した映像信号に対して画像認識技術を適用して、運転手の頭部の位置を検出する(ステップS42)。

0045

次に、連続した映像信号に基づいて、運転手の頭部の動きを追跡する(ステップS43)。

0046

続いて、頭部の動きの追跡過程でおいて得られた頭部の移動方向や速度に対して、運転手の無意識な頭部の搖動による影響を頭部の動きの追跡情報から除去する(ステップS44)。

0047

次に、頭部の搖動による影響部分を除去した頭部の動きの追跡情報を反映させた後方映像を生成(ステップS45)し、表示部40に表示させる(ステップS46)。

0048

<変形例>
車載カメラ10によって撮像される後方映像は、自車両の揺れによる影響を受ける。上記した実施形態においては、係る影響については言及していないが、車載カメラ10で得られる映像信号に対して、自車両の揺れによる影響を除去することが好適である。

0049

自車両の揺れによる影響を除去する手法としては、例えば、車載カメラ10で取得した映像信号に基づく画像から有効画像を切り出す位置を移動させ、有効画像上で被写体の微細な揺れを抑制させることができる。

0050

図5は、本実施形態の変形例に係る車両後方表示装置における運転手の頭部の動きに応じた後方映像の表示処理の流れを示すフローチャートである。変形例においても基本的な後方映像の表示処理の流れは本実施形態と同様であるが、例えば、ステップS54において、車載カメラ10の自車両の揺れによる影響を除去する。

0051

以上説明したように、本実施形態によれば、表示部40に表示される自車両の後方映像に運転手の意図しない小刻みな動きが反映されないので見やすくなる。

0052

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

0053

10・・・車載カメラ
20・・・運転手状態検出部
30・・・制御部
40・・・表示部
100・・・車両後方表示装置

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ