図面 (/)

技術 車両用画像合成装置

出願人 株式会社デンソー
発明者 伊藤新松本宗昭
出願日 2013年7月11日 (6年2ヶ月経過) 出願番号 2013-145593
公開日 2015年1月29日 (4年7ヶ月経過) 公開番号 2015-019271
状態 特許登録済
技術分野 閉回路テレビジョンシステム 光学的視認装置 画像処理 交通制御システム
主要キーワード 非表示範囲 合成画像作成処理 左前端 右前端 シフト情報 合成画像内 画像強調 鳥瞰変換
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2015年1月29日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (11)

課題

解像度の低下に関する問題を解決できる車両用画像合成装置を提供すること。

解決手段

撮像範囲(R1、R2、R3、R4)が隣のカメラと一部重複するように車両(201)に配置された複数のカメラ(101、103、105、107)のそれぞれから、カメラごとに割り当てられた範囲の画像A(A1、A2、A3、A4)を取得し、その画像Aを合成して、車両上方視点から見下ろした、車両周囲合成画像を作成する画像作成手段(5)と、カメラの異常を検出する異常検出手段(5)と、を備える車両用画像合成装置(1)であって、異常のあるカメラが存在する場合、画像作成手段は、異常のあるカメラの隣に配置されたカメラの画像から、異常のあるカメラにおける画像Aに重複する部分(A1p、A4p)を取得し、その重複する部分を合成画像の作成に使用するとともに、重複する部分に画像強調を行うことを特徴とする車両用画像合成装置。

概要

背景

従来、車両の前後左右に複数のカメラを設置し、それら複数のカメラにより撮像した車両周辺の画像を視点変換処理することにより、車両上方視点から見下ろした、車両周囲合成画像を作成する技術が知られている。

また、複数のカメラのうち、一部のカメラが故障した場合、隣のカメラで撮像した画像を拡大し、合成画像において非表示となる範囲を減少させる技術が提案されている(特許文献1参照)。

概要

解像度の低下に関する問題を解決できる車両用画像合成装置を提供すること。撮像範囲(R1、R2、R3、R4)が隣のカメラと一部重複するように車両(201)に配置された複数のカメラ(101、103、105、107)のそれぞれから、カメラごとに割り当てられた範囲の画像A(A1、A2、A3、A4)を取得し、その画像Aを合成して、車両上方の視点から見下ろした、車両周囲の合成画像を作成する画像作成手段(5)と、カメラの異常を検出する異常検出手段(5)と、を備える車両用画像合成装置(1)であって、異常のあるカメラが存在する場合、画像作成手段は、異常のあるカメラの隣に配置されたカメラの画像から、異常のあるカメラにおける画像Aに重複する部分(A1p、A4p)を取得し、その重複する部分を合成画像の作成に使用するとともに、重複する部分に画像強調を行うことを特徴とする車両用画像合成装置。

目的

本発明は以上の点に鑑みなされたものであり、上述した課題を解決できる車両用画像合成装置を提供する

効果

実績

技術文献被引用数
0件
牽制数
1件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

撮像範囲(R1、R2、R3、R4)が隣のカメラと一部重複するように車両(201)に配置された複数のカメラ(101、103、105、107)のそれぞれから、カメラごとに割り当てられた範囲の画像A(A1、A2、A3、A4)を取得し、その画像Aを合成して、車両上方視点から見下ろした、車両周囲合成画像を作成する画像作成手段(5)と、前記カメラの異常を検出する異常検出手段(5)と、を備える車両用画像合成装置(1)であって、異常のあるカメラが存在する場合、前記画像作成手段は、前記異常のあるカメラの隣に配置された前記カメラの画像から、前記異常のあるカメラにおける前記画像Aに重複する部分(A1p、A4p)を取得し、その重複する部分を前記合成画像の作成に使用するとともに、前記重複する部分に画像強調を行うことを特徴とする車両用画像合成装置。

請求項2

前記画像強調は、エッジ強調、及び/又は色彩の変更であることを特徴とする請求項1に記載の車両用画像合成装置。

請求項3

前記重複する部分は、前記異常のあるカメラの隣に配置された前記カメラの画像のうち、撮像範囲の最周辺部を除いた部分であることを特徴とする請求項1又は2に記載の車両用画像合成装置。

請求項4

前記異常のあるカメラが存在する場合、前記画像作成手段は、前記合成画像のうち、前記異常のあるカメラの前記画像Aに対応する部分に所定の表示(203、205)を行うことを特徴とする請求項1〜3のいずれか1項に記載の車両用画像合成装置。

請求項5

車両の操舵方向シフト、及び車速から成る群から選ばれる1種以上である車両状態を取得する車両状態取得手段(5)を備え、前記画像作成手段は、前記重複する部分の大きさを、前記車両状態に応じて設定することを特徴とする請求項1〜4のいずれか1項に記載の車両用画像合成装置。

技術分野

0001

本発明は、車両用画像合成装置に関する。

背景技術

0002

従来、車両の前後左右に複数のカメラを設置し、それら複数のカメラにより撮像した車両周辺の画像を視点変換処理することにより、車両上方視点から見下ろした、車両周囲合成画像を作成する技術が知られている。

0003

また、複数のカメラのうち、一部のカメラが故障した場合、隣のカメラで撮像した画像を拡大し、合成画像において非表示となる範囲を減少させる技術が提案されている(特許文献1参照)。

先行技術

0004

特開2007−89082号公報

発明が解決しようとする課題

0005

特許文献1記載の技術では、隣のカメラで撮像した画像のうち、周辺部分を使用して、故障したカメラがカバーすべき範囲の一部を補間する。画像の周辺部分は、中央部分に比べ、解像度が低い場合がある。そのため、合成画像のうち、故障したカメラの隣のカメラを用いて補間した部分は、解像度が低下する場合がある。この場合、補間した部分の解像度が他の部分と同じであるとドライバが誤解すると、補間した部分に存在する物標を見落とす等の問題が生じるおそれがある。

0006

本発明は以上の点に鑑みなされたものであり、上述した課題を解決できる車両用画像合成装置を提供することを目的とする。

課題を解決するための手段

0007

本発明の車両方画像合成装置は、撮像範囲が隣のカメラと一部重複するように車両に配置された複数のカメラのそれぞれから、カメラごとに割り当てられた範囲の画像Aを取得し、その画像Aを合成して、車両上方の視点から見下ろした、車両周囲の合成画像を作成する。

0008

また、本発明の車両方画像合成装置は、カメラの異常を検出する異常検出手段を備え、異常のあるカメラが存在する場合、異常のあるカメラの隣に配置されたカメラの画像から、異常のあるカメラにおける画像Aに重複する部分を取得し、その重複する部分を合成画像の作成に使用するとともに、その重複する部分に画像強調を行うことを特徴とする。

0009

本発明の車両方画像合成装置は、重複する部分に画像強調を行うので、合成画像において、重複する部分(解像度が低い可能性がある部分)を容易に認識することができる。

図面の簡単な説明

0010

車両用画像合成装置1の構成を表すブロック図である。
上方の視点から見下ろしたときの車両201におけるカメラの配置及び撮像範囲を表す説明図である。
車両用画像合成装置1が実行する処理の全体を表すフローチャートである。
車両用画像合成装置1が実行する正常時の合成画像作成処理を表すフローチャートである。
車両用画像合成装置1が実行する異常時の合成画像作成処理を表すフローチャートである。
正常時の合成画像作成処理により作成された合成画像を表す説明図である。
異常時の合成画像作成処理により作成された合成画像を表す説明図である。
異常時の合成画像作成処理により作成された合成画像を表す説明図である。
異常時の合成画像作成処理により作成された合成画像を表す説明図である。
上方の視点から見下ろしたときの車両201におけるカメラの配置及び撮像範囲を表す説明図である。

実施例

0011

本発明の実施形態を図面に基き説明する。
<第1の実施形態>
1.車両用画像合成装置1の構成
車両用画像合成装置1の構成を図1及び図2に基き説明する。車両用画像合成装置1は車両に搭載される車載装置である。車両用画像合成装置1は、入力インターフェース3、画像処理部5、メモリ7、及び車両側入力9を備える。

0012

入力インターフェース3には、前方カメラ101、右カメラ103、左カメラ105、及び後方カメラ107から画像信号が入力される。
画像処理部5は周知のコンピュータであり、後述する処理を実行し、合成画像を作成する。この合成画像は、車両上方の視点から見下ろした、車両周囲の合成画像である。画像処理部5は、作成した合成画像をディスプレイ109に出力する。ディスプレイ109は車室内のうち、ドライバが視聴可能な位置に設置された液晶ディスプレイであり、合成画像を表示する。

0013

メモリ7は各種データを記憶する。画像処理部5が合成画像を作成する際、各種画像データがメモリ7に記憶される。車両側入力9には、車両から、ステアリング舵角操舵方向)、車速シフト情報シフトパーキング(P)、ニュートラル(N)、ドライブ(D)、バック(R)のうちのいずれの状態にあるかを示す情報)等の各種情報が入力される。

0014

なお、画像処理部5は、画像作成手段、異常検出手段、及び車両状態得手段の一実施形態である。
図2に示すように、前方カメラ101は車両201の前端に取り付けられ、右カメラ103は車両201の右側面に取り付けられ、左カメラ105は車両201の左側面に取り付けられ、後方カメラ107は車両201の後端に取り付けられている。

0015

前方カメラ101、右カメラ103、左カメラ105、及び後方カメラ107は、それぞれ、魚眼レンズを備えており、180°の撮像範囲を有している。すなわち、前方カメラ101は、車両201の前端を通り、車両201の左方向へ向う直線L1から、車両201の前端を通り、車両201の右方向へ向う直線L2までをカバーする撮像範囲R1を有している。

0016

また、右カメラ103は、車両201の右端を通り、車両201の前方へ向う直線L3から、車両201の右端を通り、車両201の後方へ向う直線L4までをカバーする撮像範囲R2を有している。

0017

また、左カメラ105は、車両201の左端を通り、車両201の前方へ向う直線L5から、車両201の左端を通り、車両201の後方へ向う直線L6までをカバーする撮像範囲R3を有している。

0018

また、後方カメラ107は、車両201の後端を通り、車両201の左方向へ向う直線L7から、車両201の後端を通り、車両201の右方向へ向う直線L8までをカバーする撮像範囲R4を有している。

0019

前方カメラ101の撮像範囲R1と、その隣のカメラである右カメラ103の撮像範囲R2とは、直線L2から直線L3までの範囲において一部重複している。
また、前方カメラ101の撮像範囲R1と、その隣のカメラである左カメラ105の撮像範囲R3とは、直線L1から直線L5までの範囲において一部重複している。

0020

また、右カメラ103の撮像範囲R2と、その隣のカメラである後方カメラ107の撮像範囲R4とは、直線L4から直線L8までの範囲において一部重複している。
また、左カメラ105の撮像範囲R3と、その隣のカメラである後方カメラ107の撮像範囲R4とは、直線L6から直線L7までの範囲において一部重複している。

0021

前方カメラ101、右カメラ103、左カメラ105、及び後方カメラ107の撮像範囲の周辺部での解像度は、撮像範囲の中央部での解像度に比べて低い。
2.車両用画像合成装置1が実行する処理
車両用画像合成装置1(特に画像処理部5)が実行する処理を図3図7に基き説明する。図3のステップ1において、前方カメラ101、右カメラ103、左カメラ105、及び後方カメラ107のいずれかに異常があるか否かを判断する。

0022

異常としては、カメラの故障により撮像自体ができない場合と、撮像は可能であるが、カメラのレンズに所定の大きさ以上の汚れが付着している場合とがある。カメラの故障の有無は、カメラから入力インターフェース3への信号(例えばNTSC信号同期信号等)の入力の有無により判断できる。

0023

また、レンズの汚れの有無は、車両の走行中、時間が経過しても画像中における位置が変化しない事物がカメラの画像中に存在するか否かにより判断できる。前方カメラ101、右カメラ103、左カメラ105、及び後方カメラ107の全てに異常がない場合はステップ2に進み、前方カメラ101、右カメラ103、左カメラ105、及び後方カメラ107のうちの一つでも異常がある場合はステップ3に進む。

0024

ステップ2では、正常時の合成画像作成処理を実行する。この成画像作成処理図4に基き説明する。ステップ11では、前方カメラ101、右カメラ103、左カメラ105、及び後方カメラ107のそれぞれから、撮像された画像を取得する。取得する画像は、撮像範囲全体の画像である。すなわち、前方カメラ101から取得する画像は、撮像範囲R1全体の画像であり、右カメラ103から取得する画像は、撮像範囲R2全体の画像であり、左カメラ105から取得する画像は、撮像範囲R3全体の画像であり、後方カメラ107から取得する画像は、撮像範囲R4全体の画像である。

0025

ステップ12では、前記ステップ11で取得した画像を、周知の画像変換視点変換)処理により、鳥瞰変換する(車両上方の仮想視点から見た画像へ変換する)。以下では、撮像範囲R1の画像を鳥瞰変換して成る画像を鳥瞰画像T1とし、撮像範囲R2の画像を鳥瞰変換して成る画像を鳥瞰画像T2とし、撮像範囲R3の画像を鳥瞰変換して成る画像を鳥瞰画像T3とし、撮像範囲R4の画像を鳥瞰変換して成る画像を鳥瞰画像T4とする。

0026

ステップ13では、鳥瞰画像T1〜T4から、それぞれ、画像A1〜A4を切り出す。画像A1は、鳥瞰画像T1のうち、直線L9からL10までの範囲の画像である(図2参照)。ここで、直線L9は、車両201の左前端を通り、直線L1、L5が成す角度(90°)を等分する直線である。また、直線L9は、車両201の右前端を通り、直線L2、L3が成す角度(90°)を等分する直線である。

0027

画像A2は、鳥瞰画像T2のうち、直線L10からL11までの範囲の画像である。ここで、直線L11は、車両201の右後端を通り、直線L4、L8が成す角度(90°)を等分する直線である。

0028

画像A3は、鳥瞰画像T3のうち、直線L9からL12までの範囲の画像である。ここで、直線L12は、車両201の左後端を通り、直線L6、L7が成す角度(90°)を等分する直線である。

0029

画像A4は、鳥瞰画像T4のうち、直線L11からL12までの範囲の画像である。
ステップ14では、画像A1〜A4を合成し、車両201上方の視点から見下ろした、車両周囲の合成画像を完成する。正常時の合成画像作成処理により作成された合成画像の例を図6に示す。

0030

一方、図3のステップ1で肯定判断された場合はステップ3へ進み、異常時の合成画像作成処理を実行する。この処理を図5に基き説明する。
ステップ21では、前方カメラ101、右カメラ103、左カメラ105、及び後方カメラ107のうち、正常な(異常がない)カメラの画像を取得する。取得する画像は、撮像範囲全体の画像である。すなわち、前方カメラ101から取得する画像は、撮像範囲R1全体の画像であり、右カメラ103から取得する画像は、撮像範囲R2全体の画像であり、左カメラ105から取得する画像は、撮像範囲R3全体の画像であり、後方カメラ107から取得する画像は、撮像範囲R4全体の画像である。

0031

ステップ22では、前記ステップ11で取得した画像を、周知の画像変換方法により、鳥瞰変換し、鳥瞰画像T1〜T4(ただし、異常のあるカメラの画像は除く)を作成する。

0032

ステップ23では、車両側から車両側入力9への信号入力に基き、車両201の操舵方向及びシフト(車両状態の一実施形態)を取得する。
ステップ24では、前記ステップ22で作成した鳥瞰画像から、一部の画像を切り出す。画像の切り出し方は、異常のあるカメラの隣にあるカメラに対応する鳥瞰画像と、それ以外のカメラに対応する鳥瞰画像とでは異なる。

0033

なお、以下では、右カメラ103に異常がある場合を例にとって説明するが、他のカメラに異常がある場合でも、基本的な処理は同様である。右カメラ103に異常がある場合、前記ステップ22で作成する鳥瞰画像は、T1、T3、T4である。また、右カメラ103の隣にあるカメラは、前方カメラ101、及び後方カメラ107であり、それらのカメラに対応する鳥瞰画像はT1、T4である。

0034

右カメラ103の隣にない左カメラ105に対応する鳥瞰画像T3からは、前記ステップ13と同様に、画像A3を切出す。
一方、右カメラ103の隣にある前方カメラ101に対応する鳥瞰画像T1からは、画像A1とともに、重複部A1pを切り出す。この重複部A1pは、鳥瞰画像T1のうち、画像A1と隣接し、画像A1よりも直線L2側(異常のあるカメラ側)にある部分であって、さらに詳しくは、直線L10から直線L13までの範囲である。ここで、直線L13は、車両201の右前端を通り、直線L10と直線L2との間にある直線である。また、重複部A1pは、右カメラ103に異常がない場合に鳥瞰画像T2から切り出される画像A2と重複する部分の画像である。

0035

また、右カメラ103の隣にある後方カメラ107に対応する鳥瞰画像T4からは、画像A4とともに、重複部A4pを切り出す。この重複部A4pは、鳥瞰画像T4のうち、画像A4と隣接し、画像A4よりも直線L8側(異常のあるカメラ側)にある部分であって、さらに詳しくは、直線L11から直線L14までの範囲である。ここで、直線L14は、車両201の右後端を通り、直線L8と直線L11との間にある直線である。また、重複部A4pは、右カメラ103に異常がない場合に鳥瞰画像T2から切り出される画像A2と重複する部分の画像である。

0036

上述した直線L13、L14は、前記ステップ23で取得した操舵方向及びシフトに応じて設定される。すなわち、直線L13と直線L10とが成す角度(重複部A1pの範囲)、及び直線L14と直線L11とが成す角度(重複部A4pの範囲)の大きさは、操舵方向及びシフトに応じて、表1に示すルールにより決める。なお、表1における「大」とは、「標準」よりも大きいことを意味する。

0037

上記のように重複部A1p、A4pを決めると、シフトがDであり、操舵方向が右である場合、重複部A1p及びA4pが標準よりも大きくなるので、右側の視界広がり、巻き込み事故を抑制できる。

0038

また、シフトがRであり、操舵方向が右である場合、重複部A4pが標準よりも大きくなるので、後方右側の視界が広がり、事故を抑制できる。
また、シフトがRであり、操舵方向が左側である場合、重複部A4pが標準よりも大きくなるので、後方右側の視界が広がり、右側にある他車との距離を確認することが容易になる。

0039

ステップ25では、前記ステップ24で切り出した画像を合成し、車両201上方の視点から見下ろした、車両周囲の合成画像を作成する。
ステップ26では、前記ステップ25で作成した合成画像において、重複部A1p、A4pにエッジ強調(画像強調の一実施形態)を行う。エッジ強調とは、画像における輝度コントラストを通常よりも大きくする処理である。

0040

ステップ27では、前記ステップ25で作成した合成画像において、異常のある右カメラ103の撮像範囲R2のうち、画像A1、A4、重複部A1p、A4pでカバーされない範囲(図2において直線L13から直線L14までの範囲)を所定の色(例えば青色)で塗りつぶす処理を行う。また、合成画像において、右カメラ103に対応する位置又はその近傍にアイコンを表示する。

0041

異常時の合成画像作成処理により作成された合成画像の例を図7に示す。この例は、右カメラ103に異常がある場合の例である。なお、図7では、前記ステップ27で行う塗りつぶし及びアイコンの表示は省略している。

0042

上では、右カメラ103に異常がある例を挙げたが、次に、前方カメラ101に異常がある例について説明する。基本的な処理の流れは、右カメラ103に異常がある場合と同様であるが、前記ステップ22では、鳥瞰画像T2〜T4を作成する。また、前記ステップ24では、前方カメラ101に隣接しない後方カメラ107からは、前記ステップ13と同様に、画像A4を切出す。

0043

一方、前方カメラ101に隣接する右カメラ103に対応する鳥瞰画像T2からは、図10に示すように、画像A2とともに、重複部A2pを切り出す。この重複部A2pは、鳥瞰画像T2のうち、画像A2と隣接し、画像A2よりも直線L3側(異常のあるカメラ側)にある部分であって、さらに詳しくは、直線L10から直線L15までの範囲である。ここで、直線L15は、車両201の右前端を通り、直線L10と直線L3との間にある直線である。また、重複部A2pは、前方カメラ101に異常がない場合に鳥瞰画像T1から切り出される画像A1と重複する部分の画像である。

0044

また、前方カメラ101の隣にある左カメラ105に対応する鳥瞰画像T3からは、画像A3とともに、重複部A3pを切り出す。この重複部A3pは、鳥瞰画像T3のうち、画像A3と隣接し、画像A3よりも直線L5側(異常のあるカメラ側)にある部分であって、さらに詳しくは、直線L9から直線L16までの範囲である。ここで、直線L16は、車両201の左前端を通り、直線L5と直線L9との間にある直線である。また、重複部A3pは、前方カメラ101に異常がない場合に鳥瞰画像T1から切り出される画像A1と重複する部分の画像である。

0045

上述した直線L15、L16は、前記ステップ23で取得した操舵方向及びシフトに応じて設定される。すなわち、直線L10と直線L15とが成す角度(重複部A2pの範囲)、及び直線L9と直線L16とが成す角度(重複部A3pの範囲)の大きさは、操舵方向及びシフトに応じて、表2に示すルールにより決める。

0046

シフトがDであり、操舵方向が右である場合、重複部A2pが標準よりも大きくなるので、右側の視界が広がり、事故を抑制できる。

0047

また、シフトがDであり、操舵方向が左である場合、重複部A3pが標準よりも大きくなるので、左側の視界が広がり、事故を抑制できる。
また、前記ステップ26では、前記ステップ25で作成した合成画像において、重複部A2p、A3pにエッジ強調(画像強調の一実施形態)を行う。エッジ強調とは、画像における輝度のコントラストを通常よりも大きくする処理である。

0048

また、前記ステップ27では、前記ステップ25で作成した合成画像において、異常のある前方カメラ101の撮像範囲R1のうち、画像A2、A3、重複部A2p、A3pでカバーされない範囲(図10において直線L15から直線L16までの範囲)を所定の色(例えば青色)で塗りつぶす処理を行う。また、合成画像において、前方カメラ101に対応する位置又はその近傍にアイコンを表示する。

0049

3.車両用画像合成装置1が奏する効果
(1)車両用画像合成装置1は、一部のカメラに異常がある場合でも、隣のカメラの画像を利用することで、合成画像における非表示の範囲を小さくすることができる。

0050

(2)車両用画像合成装置1は、重複部A1p、A2p、A3p、A4pにエッジ強調の処理を行う。そのため、ドライバは、合成画像の中で、重複部A1p、A2p、A3p、A4pを容易に認識することができる。また、エッジ強調の処理を行うことで、重複部A1p、A2p、A3p、A4pの解像度が低くても、重複部A1p、A2p、A3p、A4pに存在する物標の視認が容易になる。

0051

(3)車両用画像合成装置1は、操舵方向及びシフトに応じて重複部A1p、A2p、A3p、A4pの大きさを設定する。そのため、操舵方向及びシフトに応じて適切な範囲の視界が確保され、車両の周囲に存在する物標の視認が一層容易になる。

0052

(4)車両用画像合成装置1は、異常のあるカメラの撮像範囲を塗りつぶし、異常のあるカメラに対応する位置又はその近傍にアイコンを表示する。そのため、ドライバは、カメラの異常の有無や、どのカメラに異常があるのかを容易に認識できる。
<第2の実施形態>
1.車両用画像合成装置1の構成及び実行する処理
本実施形態における車両用画像合成装置1の構成及び実行する処理は、基本的には前記第1の実施形態と同様である。ただし、本実施形態では、前記ステップ26の処理において、重複部A1p、A2p、A3p、A4pに対し、エッジ強調ではなく、色彩を変更する処理(画像強調の一実施形態)を行う。図8に、重複部A1p、A4pの色彩を変更した合成画像の例を示す。この例は、右カメラ103に異常がある場合の例である。この例では、重複部A1p、A4pの色彩を、元の色彩よりも、青みを強く帯びた色彩としている。

0053

重複部A1p、A4pに色彩を付す態様は、透過表示である。よって、重複部A1p、A4pに存在する物標をドライバは視認できる。重複部A1p、A4pにおける色彩は、グラデーションをつけることができる。例えば、重複部A1pと画像A1との境界付近で、色彩を徐々に変化させることができる。同様に、重複部A4pと画像A4との境界付近で、色彩を徐々に変化させることができる。

0054

2.車両用画像合成装置1が奏する効果
(1)車両用画像合成装置1は、前記第1の実施形態の場合と略同様の効果を奏する。
(2)車両用画像合成装置1は、重複部A1p、A2p、A3p、A4pの色彩を変更する処理を行う。そのため、ドライバは、合成画像の中で、重複部A1p、A2p、A3p、A4pを容易に認識することができる。
<第3の実施形態>
1.車両用画像合成装置1の構成及び実行する処理
本実施形態における車両用画像合成装置1の構成及び実行する処理は、基本的には前記第1の実施形態と同様である。ただし、本実施形態では、車両の操舵方向やシフトに依存せず、重複部A1p、A2p、A3p、A4pの広さ及び範囲が一定である。

0055

重複部A1pは、前方カメラ101の撮像範囲R1のうち、最周辺部を除いた部分である。すなわち、図2において、重複部A1pの外延である直線L13は、撮像範囲R1の外延である直線L2とは一致しない。また、重複部A4pは、後方カメラ107の撮像範囲R4のうち、最周辺部を除いた部分である。すなわち、図2において、重複部A4pの外延である直線L14は、撮像範囲R4の外延である直線L2とは一致しない。

0056

また、重複部A2pは、右カメラ103の撮像範囲R2のうち、最周辺部を除いた部分である。すなわち、図10において、重複部A2pの外延である直線L15は、撮像範囲R2の外延である直線L3とは一致しない。また、重複部A3pは、左カメラ105の撮像範囲R3のうち、最周辺部を除いた部分である。すなわち、図10において、重複部A3pの外延である直線L16は、撮像範囲R3の外延である直線L5とは一致しない。

0057

図9に、重複部A1p、A4pが、カメラの撮像範囲のうち、最周辺部を除いた部分である合成画像の例を示す。この例は、右カメラ103に異常がある場合の例である。また、この合成画像の例では、異常のある右カメラ103の撮像範囲R2のうち、画像A1、A4、重複部A1p、A4pでカバーされない非表示範囲203を所定の色で塗りつぶす処理(所定の表示の一実施形態)を行っている。また、右カメラ103に対応する位置の近傍にアイコン205(所定の表示の一実施形態)を表示している。

0058

2.車両用画像合成装置1が奏する効果
(1)車両用画像合成装置1は、前記第1の実施形態の場合と略同様の効果を奏する。
(2)重複部A1p、A2p、A3p、A4pはカメラの撮像範囲の最周辺部(解像度が特に低くなりやすい部分)を含まないので、解像度が高い。よって、本実施形態の車両用画像合成装置1は、解像度が特に低い部分が合成画像内に生じることを抑制できる。
<第4の実施形態>
1.車両用画像合成装置1の構成及び実行する処理
本実施形態における車両用画像合成装置1の構成及び実行する処理は、基本的には前記第1の実施形態と同様である。ただし、本実施形態では、前記ステップ23において車速を取得する。また、前記ステップ24において、車速に応じて、重複部A1p、A2p、A3p、A4pの大きさを設定する。すなわち、車速が小さくなるほど、重複部A1p、A2p、A3p、A4pを大きくする。

0059

2.車両用画像合成装置1が奏する効果
(1)車両用画像合成装置1は、前記第1の実施形態の場合と略同様の効果を奏する。
(2)低速時に重複部A1p、A2p、A3p、A4pが大きくなるので、低速時に周囲の状況を確認することが容易になる。

0060

尚、本発明は前記実施形態になんら限定されるものではなく、本発明を逸脱しない範囲において種々の態様で実施しうることはいうまでもない。
例えば、カメラの数は4個以外の数(例えば、3個、5個、6個、8個・・・)であってもよい。

0061

また、カメラの撮像範囲は、180°には限定されず、それより広くても、それより狭くてもよい。
また、画像強調は、他の処理(例えば、輝度、明度や色の周期的な変化等)であってもよい。

0062

また、前記ステップ1での異常は、カメラの故障と、レンズの汚れとのうちの一方であってもよい。
また、図2において、直線L9、L10、L11、L12、L13、L14、L15、L16の角度は、上述したものに限定されず、適宜設定できる。

0063

また、前記第1、第2の実施形態の前記ステップ24において、重複部A1p、A2p、A3p、A4pの大きさは、上記表1、表2記載の条件以外の条件に基き設定してもよい。

0064

また、前記第1、第2の実施形態の前記ステップ24では、重複部A1p、A2p、A3p、A4pの大きさを、操舵方向、及びシフトのうちの一方に応じて設定してもよい。例えば、右カメラ103に異常がある場合、操舵方向が右であれば、シフトによらず、重複部A1p、A4pの大きさを、標準より大きくすることができる。

0065

また、前記第1、第2の実施形態の前記ステップ24では、重複部A1p、A2p、A3p、A4pの大きさを、操舵方向、シフト、及び車速の3つの組み合わせに応じて設定してもよい。

0066

また、前記第1、第2の実施形態の前記ステップ24では、重複部A1p、A2p、A3p、A4pの大きさを、操舵方向及び車速の組み合わせに応じて設定してもよい。
また、前記第1、第2の実施形態の前記ステップ24では、重複部A1p、A2p、A3p、A4pの大きさを、シフト及び車速の組み合わせに応じて設定してもよい。

0067

また、前記第1〜第4の実施形態における構成の一部又は全部を適宜組み合わせてもよい。例えば、前記第1又は第2の実施形態において、重複部A1p、A2p、A3p、A4pの範囲を、前記第3の実施形態と同様の範囲(カメラの撮像範囲の最周辺部を含まない範囲)としてもよい。

0068

1…車両用画像合成装置、3…入力インターフェース、5…画像処理部、7…メモリ、9…車両側入力、101…前方カメラ、103…右カメラ、105…左カメラ、107…後方カメラ、109…ディスプレイ、201…車両、203…非表示範囲、205…アイコン、A1p、A2p、A3p、A4p…重複部、L1〜L16…直線、R1〜R4…撮像範囲、T1〜T4…鳥瞰画像

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 三菱電機株式会社の「 交通流推定システム」が 公開されました。( 2019/08/08)

    【課題・解決手段】本発明は交通流推定システムに関し、第1および第2の車両と通信し、収集した走行軌跡情報および移動観測情報を用いて交通流を推定するセンタ装置において、走行軌跡情報および移動観測情報の交差... 詳細

  • 富士フイルム株式会社の「 投写型表示装置、表示制御方法、及び表示制御プログラム」が 公開されました。( 2019/08/08)

    【課題・解決手段】重要な情報の表示遅延をなくして安全な運転を支援することのできる投写型表示装置、表示制御方法、及び表示制御プログラムを提供する。HUD100は、動きセンサ50によって測定された測定情報... 詳細

  • オリンパス株式会社の「 信号処理システムおよび内視鏡」が 公開されました。( 2019/07/25)

    【課題・解決手段】さらなる伝送ケーブルの細径化を行うことができる信号処理システムおよび内視鏡を提供する。信号処理システムは、上り信号を同相モードで伝送ケーブル3に出力する同相信号送信部54と、上り信号... 詳細

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ