図面 (/)

技術 画像処理装置、および画像処理方法、並びにプログラム

出願人 ソニー株式会社
発明者 大場英史馬渕謙
出願日 2013年12月16日 (7年0ヶ月経過) 出願番号 2013-259593
公開日 2015年6月25日 (5年6ヶ月経過) 公開番号 2015-119225
状態 特許登録済
技術分野 光学的視認装置 画像処理 閉回路テレビジョンシステム
主要キーワード 構成ライン 規定上限値 所定単位領域 湾曲歪み 右側面画像 斜め位置 校正基準 レーザ照射パターン
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2015年6月25日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

立体オブジェクトを認識し易くした車両上部からの視点画像を生成する。

解決手段

車両の前後左右等、異なる位置に配置した複数のカメラ撮影画像を個別に補正して複数の俯瞰画像を生成し、生成した複数の俯瞰画像を接合して合成画像を生成する。画像処理部は、接合対象となる複数の俯瞰画像の表示領域を時間推移に伴って変化する設定とした接合領域を有する合成画像を生成する。例えば接合対象となる第1の画像と第2の画像を短冊状に交互に設定し、短冊位置を時間推移に伴って変化する設定とした接合領域を有する合成画像を生成する。

概要

背景

車の直前や側面、あるいは後方など、車の進行方向の様子を運転席から直接、視認できない場合、進行方向にある隠れた障害物に車をぶつけてしまう危険がある。このような危険を回避するシステムとして、車の前後や側面に装着した複数の広角カメラ撮影画像を合成し、車の上部から観察した仮想的な画像を生成して、運転席の表示部に表示する運転補助システムがある。
なお、車の上部からの観察画像は「アランウドビュー画像」や、「俯瞰画像」、あるいは「鳥瞰画像」等と呼ばれる。以下、本明細書では、車の上部からの観察画像を「俯瞰画像」として説明する。

このようなシステムにおいて、車両周囲に取り付けられるカメラは近距離から、なるべく広い領域の画像を撮影することが必要となるため、例えば魚眼レンズ等の広角レンズを備えている。広角レンズを用いることで広い領域の画像が撮影できる。しかし、広角レンズを用いて撮影した画像には画像歪みが発生する。特に画像周囲領域に大きな歪みが発生するという問題がある。

従来からある一般的な運転補助システムは、撮影画像の歪み補正を実行し、補正画像として車の上部から見た「俯瞰画像」を生成して表示部に出力する構成としている。
なお、俯瞰画像を生成するための画像補正処理は「俯瞰変換」と呼ばれる。

しかし、車両に対するカメラ装着位置は車両の前面、背面、側面等であり、各カメラの撮影可能な範囲は、車両前後左右のいずれか一方の領域に限られる。従って、
車両の全周囲の画像を含む俯瞰画像を生成するためには、異なる位置の複数のカメラの撮影画像に基づいて生成した俯瞰画像を接合する合成処理を実行することが必要となる。

しかし、広角レンズを用いて撮影した画像の俯瞰変換により生成した複数の俯瞰画像を接合する合成処理を行なうと、複数画像の接合領域の被写体が合成画像上に残らず消去されてしまうことがある。これは、歪み補正が地面を基準面として補正が行われることが一因である。例えば、基準面より高い位置の被写体(立体オブジェクト)があると、その被写体が、俯瞰変換後の画像の接合境界の外に押し出され、合成画像に残らない場合がある。

例えば、俯瞰変換における基準面に相当する地面より上側に延びた立体オブジェクトXが、合成対象となる2つの画像A,画像Bの各々のほぼ境界付近に撮影されているとする。
このような画像Aと、画像Bを俯瞰変換して補正した補正画像(俯瞰画像)を接合して合成画像を生成する場合、画像Aと画像Bの接合領域は、俯瞰変換の基準面である地面の対応位置を接合ラインとして設定した接合処理を行なう。画像A,Bの接合ラインの外側の画像は切り落として、画像A,Bの接合処理が行われる。

このような接合処理を行なうと、画像Aに撮影されている立体オブジェクトXが画像Aの接合ラインの外側、すなわち、画像Aから切り取られる領域に設定され、一方、画像Bに撮影されている立体オブジェクトXも画像Bの接合ラインの外側、すなわち、画像Bから切り取られる領域に設定されてしまうといった事態が発生することがある。
この結果、画像A,Bの境界近傍の立体オブジェクトXが合成画像に残らなくなる。すなわち、本来、存在する被写体である立体オブジェクトXが合成画像では確認できなくなってしまう。

この問題を解決する従来技術として例えば特許文献1(特開2007−109166号公報)がある。特許文献1は、車両の周囲に取り付けれらた撮像装置の撮影画像を俯瞰変換して合成して、車の上部から見た合成画像を生成して表示する構成を開示している。この特許文献1は、合成対象となる2つの俯瞰画像の重なり領域に、2つの補正画像を交互にくし状に表示する構成としている。

このくし状の表示領域に、歪み補正を伴う俯瞰変換によって各画像の外側に押し出された被写体が表示される。これにより、画像観察者である運転者は、この領域に何らかの物体が存在することを確認することが可能となり、注意払うことが可能となる。

特許文献1は、2つの俯瞰画像の重なり領域を2つの俯瞰画像を交互にくし状に設定した固定パターンで表示する構成としている。しかし、このくし状の表示領域に表示される立体オブジェクトは、地上面を基準面とした俯瞰変換では正しい変換がなされず、歪みが残り、本来の形状が復元されてものではない。しかも2つの画像のくし状表示で途切れた表示となるため、観察者(運転者)に、衝突可能性のある立体オブジェクトの存在を認識させることが困難となる場合がある。

概要

立体オブジェクトを認識し易くした車両上部からの視点画像を生成する。車両の前後左右等、異なる位置に配置した複数のカメラの撮影画像を個別に補正して複数の俯瞰画像を生成し、生成した複数の俯瞰画像を接合して合成画像を生成する。画像処理部は、接合対象となる複数の俯瞰画像の表示領域を時間推移に伴って変化する設定とした接合領域を有する合成画像を生成する。例えば接合対象となる第1の画像と第2の画像を短冊状に交互に設定し、短冊位置を時間推移に伴って変化する設定とした接合領域を有する合成画像を生成する。

目的

特開2007−109166号公報






本開示は、例えば上記問題点に鑑みてなされたものであり、広角レンズで撮影された複数の画像の合成処理によって生成する合成画像を、実在する被写体を認識しやすい画像として生成、表示する画像処理装置、および画像処理方法、並びにプログラムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

異なる位置に配置した複数のカメラ撮影画像を個別に補正して複数の俯瞰画像を生成し、生成した複数の俯瞰画像を接合して合成画像を生成する画像処理部を有し、前記画像処理部は、接合対象となる複数の俯瞰画像の表示領域を時間推移に伴って変化する設定とした接合領域を有する合成画像を生成する画像処理装置

請求項2

前記画像処理部は、接合対象となる第1の画像と第2の画像を短冊状に交互に設定し、短冊位置を時間推移に伴って変化する設定とした接合領域を有する合成画像を生成する請求項1に記載の画像処理装置。

請求項3

前記画像処理部は、接合対象となる第1の画像と第2の画像を矩形型、または湾曲型の短冊状に交互に設定する請求項2に記載の画像処理装置。

請求項4

前記画像処理部は、接合対象となる第1の画像と第2の画像の短冊幅を異なる幅に設定する請求項2に記載の画像処理装置。

請求項5

前記画像処理部は、接合対象となる第1の画像と第2の画像の境界位置を時間推移に伴って変化する設定とした接合領域を有する合成画像を生成する請求項1に記載の画像処理装置。

請求項6

前記画像処理部は、接合対象となる第1の画像と第2の画像の境界位置を、所定点を中心として右回転左回転を繰り返す設定とした接合領域を有する合成画像を生成する請求項5に記載の画像処理装置。

請求項7

前記画像処理部は、前記境界位置の右回転と左回転の速度を異なる設定とした接合領域を有する合成画像を生成する請求項6に記載の画像処理装置。

請求項8

前記画像処理部は、前記接合領域の表示情報中に立体オブジェクトが含まれる場合、該立体オブジェクトの一部または全体を強調表示した合成画像を生成する請求項1に記載の画像処理装置。

請求項9

前記強調表示は、点滅表示、または、輝度色彩の少なくともいずれかの変更表示処理である請求項8に記載の画像処理装置。

請求項10

前記画像処理部は、前記接合領域において接合する複数画像所定領域単位画素値差分絶対値和(SAD:SumofAbsoluteDifference)を適用して、立体オブジェクト検出を行う請求項9に記載の画像処理装置。

請求項11

前記画像処理装置は、前記カメラの撮影領域に特定パターン校正基準パターン照射する校正基準パターン照射部を有し、前記複数のカメラは、校正基準パターン照射領域を含む撮影画像を生成し、前記画像処理部は、前記合成画像の生成に際して、前記校正基準パターン照射領域を画像の位置合わせに適用した画像合成処理を実行する請求項1に記載の画像処理装置。

請求項12

前記画像処理部の校正基準パターン照射部は、固体レーザ光源パターン生成ホログラフィフィルタにより構成された請求項11に記載の画像処理装置。

請求項13

前記画像処理装置は、前記カメラの撮影する各撮影フレーム撮影タイミングに応じて、撮影領域に校正基準パターンの照射を行う校正基準パターン照射部を有し、前記複数のカメラは、前記校正基準パターン照射タイミングに連動して画像撮影を行い、前記画像処理部は、撮影された複数の連続する画像フレームの差分から前記校正基準パターンの検出を実行し、前記合成画像の生成に際して、前記校正基準パターン照射領域を画像の位置合わせに適用した画像合成処理を実行する請求項1に記載の画像処理装置。

請求項14

前記画像処理装置は、前記校正基準パターンを含む撮影画像を適用したカメラ調整処理としてのキャリブレーションを定期的または前記合成画像の生成時に実行する請求項11の画像処理装置。

請求項15

前記カメラは、車両の前後左右の各側面に配置されたカメラであり、前記画像処理部は、前記合成画像として、車両の周囲領域を車両上部から観察した俯瞰画像を生成する請求項1に記載の画像処理装置。

請求項16

前記カメラは、広角レンズを有するカメラである請求項12に記載の画像処理装置。

請求項17

画像処理装置において実行する画像処理方法であり、画像処理部が、異なる位置に配置した複数のカメラの撮影画像を個別に補正して複数の俯瞰画像を生成する処理と、生成した複数の俯瞰画像を接合して合成画像を生成する合成画像生成処理を実行し、前記画像処理部は、前記合成画像生成処理において、接合対象となる複数の俯瞰画像の表示領域を時間推移に伴って変化する設定とした接合領域を有する合成画像を生成する画像処理方法。

請求項18

画像処理装置において画像処理を実行させるプログラムであり、画像処理部に、異なる位置に配置した複数のカメラの撮影画像を個別に補正して複数の俯瞰画像を生成する処理と、生成した複数の俯瞰画像を接合して合成画像を生成する合成画像生成処理を実行させ、前記合成画像生成処理において、接合対象となる複数の俯瞰画像の表示領域を時間推移に伴って変化する設定とした接合領域を有する合成画像を生成させるプログラム。

技術分野

0001

本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。具体的には、例えば車両に搭載した複数のカメラ撮影画像を合成して車両上部から観察したと同等の画像を生成する画像処理装置、および画像処理方法、並びにプログラムに関する。

背景技術

0002

車の直前や側面、あるいは後方など、車の進行方向の様子を運転席から直接、視認できない場合、進行方向にある隠れた障害物に車をぶつけてしまう危険がある。このような危険を回避するシステムとして、車の前後や側面に装着した複数の広角カメラの撮影画像を合成し、車の上部から観察した仮想的な画像を生成して、運転席の表示部に表示する運転補助システムがある。
なお、車の上部からの観察画像は「アランウドビュー画像」や、「俯瞰画像」、あるいは「鳥瞰画像」等と呼ばれる。以下、本明細書では、車の上部からの観察画像を「俯瞰画像」として説明する。

0003

このようなシステムにおいて、車両周囲に取り付けられるカメラは近距離から、なるべく広い領域の画像を撮影することが必要となるため、例えば魚眼レンズ等の広角レンズを備えている。広角レンズを用いることで広い領域の画像が撮影できる。しかし、広角レンズを用いて撮影した画像には画像歪みが発生する。特に画像周囲領域に大きな歪みが発生するという問題がある。

0004

従来からある一般的な運転補助システムは、撮影画像の歪み補正を実行し、補正画像として車の上部から見た「俯瞰画像」を生成して表示部に出力する構成としている。
なお、俯瞰画像を生成するための画像補正処理は「俯瞰変換」と呼ばれる。

0005

しかし、車両に対するカメラ装着位置は車両の前面、背面、側面等であり、各カメラの撮影可能な範囲は、車両前後左右のいずれか一方の領域に限られる。従って、
車両の全周囲の画像を含む俯瞰画像を生成するためには、異なる位置の複数のカメラの撮影画像に基づいて生成した俯瞰画像を接合する合成処理を実行することが必要となる。

0006

しかし、広角レンズを用いて撮影した画像の俯瞰変換により生成した複数の俯瞰画像を接合する合成処理を行なうと、複数画像の接合領域の被写体が合成画像上に残らず消去されてしまうことがある。これは、歪み補正が地面を基準面として補正が行われることが一因である。例えば、基準面より高い位置の被写体(立体オブジェクト)があると、その被写体が、俯瞰変換後の画像の接合境界の外に押し出され、合成画像に残らない場合がある。

0007

例えば、俯瞰変換における基準面に相当する地面より上側に延びた立体オブジェクトXが、合成対象となる2つの画像A,画像Bの各々のほぼ境界付近に撮影されているとする。
このような画像Aと、画像Bを俯瞰変換して補正した補正画像(俯瞰画像)を接合して合成画像を生成する場合、画像Aと画像Bの接合領域は、俯瞰変換の基準面である地面の対応位置を接合ラインとして設定した接合処理を行なう。画像A,Bの接合ラインの外側の画像は切り落として、画像A,Bの接合処理が行われる。

0008

このような接合処理を行なうと、画像Aに撮影されている立体オブジェクトXが画像Aの接合ラインの外側、すなわち、画像Aから切り取られる領域に設定され、一方、画像Bに撮影されている立体オブジェクトXも画像Bの接合ラインの外側、すなわち、画像Bから切り取られる領域に設定されてしまうといった事態が発生することがある。
この結果、画像A,Bの境界近傍の立体オブジェクトXが合成画像に残らなくなる。すなわち、本来、存在する被写体である立体オブジェクトXが合成画像では確認できなくなってしまう。

0009

この問題を解決する従来技術として例えば特許文献1(特開2007−109166号公報)がある。特許文献1は、車両の周囲に取り付けれらた撮像装置の撮影画像を俯瞰変換して合成して、車の上部から見た合成画像を生成して表示する構成を開示している。この特許文献1は、合成対象となる2つの俯瞰画像の重なり領域に、2つの補正画像を交互にくし状に表示する構成としている。

0010

このくし状の表示領域に、歪み補正を伴う俯瞰変換によって各画像の外側に押し出された被写体が表示される。これにより、画像観察者である運転者は、この領域に何らかの物体が存在することを確認することが可能となり、注意払うことが可能となる。

0011

特許文献1は、2つの俯瞰画像の重なり領域を2つの俯瞰画像を交互にくし状に設定した固定パターンで表示する構成としている。しかし、このくし状の表示領域に表示される立体オブジェクトは、地上面を基準面とした俯瞰変換では正しい変換がなされず、歪みが残り、本来の形状が復元されてものではない。しかも2つの画像のくし状表示で途切れた表示となるため、観察者(運転者)に、衝突可能性のある立体オブジェクトの存在を認識させることが困難となる場合がある。

先行技術

0012

特開2007−109166号公報

発明が解決しようとする課題

0013

本開示は、例えば上記問題点に鑑みてなされたものであり、広角レンズで撮影された複数の画像の合成処理によって生成する合成画像を、実在する被写体を認識しやすい画像として生成、表示する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

課題を解決するための手段

0014

本開示の第1の側面は、
異なる位置に配置した複数のカメラの撮影画像を個別に補正して複数の俯瞰画像を生成し、
生成した複数の俯瞰画像を接合して合成画像を生成する画像処理部を有し、
前記画像処理部は、
接合対象となる複数の俯瞰画像の表示領域を時間推移に伴って変化する設定とした接合領域を有する合成画像を生成する画像処理装置にある。

0015

さらに、本開示の画像処理装置の一実施態様において、前記画像処理部は、接合対象となる第1の画像と第2の画像を短冊状に交互に設定し、短冊位置を時間推移に伴って変化する設定とした接合領域を有する合成画像を生成する。

0016

さらに、本開示の画像処理装置の一実施態様において、前記画像処理部は、接合対象となる第1の画像と第2の画像を矩形型、または湾曲型の短冊状に交互に設定する。

0017

さらに、本開示の画像処理装置の一実施態様において、前記画像処理部は、接合対象となる第1の画像と第2の画像の短冊幅を異なる幅に設定する。

0018

さらに、本開示の画像処理装置の一実施態様において、前記画像処理部は、接合対象となる第1の画像と第2の画像の境界位置を時間推移に伴って変化する設定とした接合領域を有する合成画像を生成する。

0019

さらに、本開示の画像処理装置の一実施態様において、前記画像処理部は、接合対象となる第1の画像と第2の画像の境界位置を、所定点を中心として右回転左回転を繰り返す設定とした接合領域を有する合成画像を生成する。

0020

さらに、本開示の画像処理装置の一実施態様において、前記画像処理部は、前記境界位置の右回転と左回転の速度を異なる設定とした接合領域を有する合成画像を生成する。

0021

さらに、本開示の画像処理装置の一実施態様において、前記画像処理部は、前記接合領域の表示情報中に立体オブジェクトが含まれる場合、該立体オブジェクトの一部または全体を強調表示した合成画像を生成する。

0022

さらに、本開示の画像処理装置の一実施態様において、前記強調表示は、点滅表示、または、輝度色彩の少なくともいずれかの変更表示処理である。

0023

さらに、本開示の画像処理装置の一実施態様において、前記画像処理部は、前記接合領域において接合する複数画像の所定領域単位画素値差分絶対値和(SAD:Sum of Absolute Difference)を適用して、立体オブジェクト検出を行う。

0024

さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、前記カメラの撮影領域に特定パターン校正基準パターン照射する校正基準パターン照射部を有し、前記複数のカメラは、校正基準パターン照射領域を含む撮影画像を生成し、前記画像処理部は、前記合成画像の生成に際して、前記校正基準パターン照射領域を画像の位置合わせに適用した画像合成処理を実行する。

0025

さらに、本開示の画像処理装置の一実施態様において、前記画像処理部の校正基準パターン照射部は、固体レーザ光源パターン生成ホログラフィフィルタにより構成されている。

0026

さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、前記カメラの撮影する各撮影フレーム撮影タイミングに応じて、撮影領域に校正基準パターンの照射を行う校正基準パターン照射部を有し、前記複数のカメラは、前記校正基準パターン照射タイミングに連動して画像撮影を行い、前記画像処理部は、撮影された複数の連続する画像フレームの差分から前記校正基準パターンの検出を実行し、前記合成画像の生成に際して、前記校正基準パターン照射領域を画像の位置合わせに適用した画像合成処理を実行する。

0027

さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、前記校正基準パターンを含む撮影画像を適用したカメラ調整処理としてのキャリブレーションを定期的または前記合成画像の生成時に実行する。

0028

さらに、本開示の画像処理装置の一実施態様において、前記カメラは、車両の前後左右の各側面に配置されたカメラであり、前記画像処理部は、前記合成画像として、車両の周囲領域を車両上部から観察した俯瞰画像を生成する。

0029

さらに、本開示の画像処理装置の一実施態様において、前記カメラは、広角レンズを有するカメラである。

0030

さらに、本開示の第2の側面は、
画像処理装置において実行する画像処理方法であり、
画像処理部が、異なる位置に配置した複数のカメラの撮影画像を個別に補正して複数の俯瞰画像を生成する処理と、
生成した複数の俯瞰画像を接合して合成画像を生成する合成画像生成処理を実行し、
前記画像処理部は、前記合成画像生成処理において、
接合対象となる複数の俯瞰画像の表示領域を時間推移に伴って変化する設定とした接合領域を有する合成画像を生成する画像処理方法にある。

0031

さらに、本開示の第3の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
画像処理部に、異なる位置に配置した複数のカメラの撮影画像を個別に補正して複数の俯瞰画像を生成する処理と、
生成した複数の俯瞰画像を接合して合成画像を生成する合成画像生成処理を実行させ、
前記合成画像生成処理において、
接合対象となる複数の俯瞰画像の表示領域を時間推移に伴って変化する設定とした接合領域を有する合成画像を生成させるプログラムにある。

0032

なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な画像処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

0033

本開示のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

発明の効果

0034

本開示の一実施例の構成によれば、立体オブジェクトを認識し易くした車両上部からの視点画像を生成して表示することが可能となる。
具体的には、車両の前後左右等、異なる位置に配置した複数のカメラの撮影画像を個別に補正して複数の俯瞰画像を生成し、生成した複数の俯瞰画像を接合して合成画像を生成する。画像処理部は、接合対象となる複数の俯瞰画像の表示領域を時間推移に伴って変化する設定とした接合領域を有する合成画像を生成する。例えば接合対象となる第1の画像と第2の画像を短冊状に交互に設定し、短冊位置を時間推移に伴って変化する設定とした接合領域を有する合成画像を生成する。
本構成により、立体オブジェクトを認識し易くした車両上部からの視点画像を生成して表示することが可能となる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

図面の簡単な説明

0035

車両に対するカメラの装着例を説明する図である。
広角レンズを用いた撮影画像の例について説明する図である。
広角レンズを用いた撮影画像の補正例である俯瞰変換について説明する図である。
広角レンズを用いた撮影画像の補正例である俯瞰変換について説明する図である。
被写体として立体オブジェクトを含む場合の広角レンズを用いた撮影画像例について説明する図である。
広角レンズを用いた撮影画像の補正例であり、被写体として立体オブジェクトを含む場合の俯瞰変換について説明する図である。
複数の俯瞰画像の合成処理例について説明する図である。
合成画像の例について説明する図である。
俯瞰画像に基づく合成画像からの立体オブジェクトの消失例について説明する図である。
俯瞰画像に基づく合成画像からの立体オブジェクトの消失例について説明する図である。
本開示の一実施例に従って生成する合成画像であり、車両の運転席に備えられた表示部に表示される合成画像の一例について説明する図である。
本開示の一実施例に従った合成画像の接合領域の時間推移に伴う表示態様の変化の一例について説明する図である。
本開示の一実施例に従った合成画像の接合領域における立体オブジェクト表示例について説明する図である。
本開示の一実施例に従った合成画像の表示制御に適用するパラメータについて説明する図である。
本開示の一実施例に従った合成画像の表示制御に適用するパラメータについて説明する図である。
本開示の一実施例に従った合成画像の表示制御に適用するパラメータについて説明する図である。
本開示の一実施例に従った合成画像の表示制御シーケンスについて説明するフローチャートを示す図である。
本開示の一実施例に従った合成画像の接合領域における立体オブジェクト表示例について説明する図である。
本開示の一実施例に従って生成する合成画像であり、車両の運転席に備えられた表示部に表示される合成画像の一例について説明する図である。
本開示の一実施例に従った合成画像の接合領域の時間推移に伴う表示態様の変化の一例について説明する図である。
本開示の一実施例に従った合成画像の接合領域における立体オブジェクト表示例について説明する図である。
本開示の一実施例に従った合成画像の接合領域における立体オブジェクト表示例について説明する図である。
本開示の一実施例に従って生成する合成画像であり、車両の運転席に備えられた表示部に表示される合成画像の一例について説明する図である。
本開示の一実施例に従った合成画像の接合領域の時間推移に伴う表示態様の変化の一例について説明する図である。
本開示の一実施例に従った合成画像の接合領域における立体オブジェクト表示例について説明する図である。
本開示の一実施例に従った合成画像の接合領域における立体オブジェクト表示例について説明する図である。
合成画像の生成煮炊き用する補助情報であるレーザ照射パターンについて説明する図である。
本開示の画像処理装置のハードウェア構成例について説明する図である。
本開示の画像処理装置のハードウェア構成例について説明する図である。

実施例

0036

以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
1.俯瞰変換処理と合成画像の生成処理概要、および立体オブジェクトの消失例について
2.合成対象画像の接合領域において各画像の表示領域を動的に変更する実施例について
3.画像接合領域における表示制御シーケンスについて
4.接合領域に表示される特定オブジェクトを強調表示する処理例について
5.接合領域における表示態様の変形例について
5−1.湾曲形状の短冊型表示領域を交互に設定した実施例(第2実施例)
5−2.接合領域の画像境界を移動させる実施例(第3実施例)
6.合成画像の生成時に利用する補助情報について
7.画像処理装置のハードウェア構成例について
8.本開示の構成のまとめ

0037

[1.俯瞰変換処理と合成画像の生成処理の概要、および立体オブジェクトの消失例について]
まず、車の前後左右など、複数個所に取り付けられたカメラの撮影画像の各々を俯瞰変換し、生成した複数の俯瞰画像を接合した合成画像を生成する処理の概要と、この処理において発生する立体オブジェクトの消失例について説明する。

0038

図1は、車両に対するカメラの装着例を説明する図である。
図1に示すように、車両10には、前後左右の各位置に4つのカメラが装着される。
車両10の前面にカメラF21、
車両10の左側面にカメラL22、
車両10の右側面にカメラR23、
車両10の背面にカメラB24、
これらの4つのカメラが装着される。

0039

カメラF21〜カメラR24は、図1(B)カメラ構成に示すように、いずれも例えば魚眼レンズ等の広角レンズを備え、撮影方向は下方向(地面方向)とし、地面および地面上の立体オブジェクト等を広範囲に撮影する構成となっている。

0040

広角レンズを用いて撮影される画像には歪みが発生する。図2を参照して広角レンズを用いた撮影画像の一例について説明する。
図2(a)は撮影環境を示している。被写体31は格子パターンの描かれた地面である。被写体31の中央上部に広角カメラ30が設定されて撮影が実行される。
カメラ30は、例えば魚眼レンズ等の広角レンズを装着したカメラである。

0041

図2(a)に示す撮影環境において撮影された画像の例が図2(b)に示す撮影画像である。
図2(b)撮影画像に示すように、撮影画像上の地面の格子パターンは湾曲した歪みを有する。
これは、広角レンズを用いた撮影によって発生する画像の歪みである。

0042

図2(b)に示す撮影画像の歪みを取り除いて実際の被写体と同様の形を持つ画像を生成するためには、画像補正、すなわち俯瞰変換を行うことが必要となる。
この補正処理例について図3を参照して説明する。
図3には、図2(b)と同様の(b)撮影画像と、撮影画像の補正処理(俯瞰変換)によって生成した(c)補正画像(俯瞰画像)を示している。

0043

なお、上部から観察した画像は、「俯瞰画像」とよばれ、「俯瞰画像」に変換する画像補正処理を「俯瞰変換」と呼ぶ。図3に示す(c)補正画像は「俯瞰画像」であり、図3の(b)撮影画像から(c)補正画像を生成する補正処理が「俯瞰変換」に相当する。
図3(c)補正画像(俯瞰画像)は、先に説明した図2(a)の撮影環境における被写体31と同様の格子パターンを持つ画像となり、地面を上部から見た正しい俯瞰画像となり、地面の格子パターンは実被写体の形状を復元したものとなっている。

0044

図4斜め下方向に向けて取り付けられた魚眼カメラ等の広角カメラによって撮影された画像の補正処理例を説明する図である。図4(a)に示すように、斜め下方向に向けて取り付けられた広角カメラ30から格子パターンの描かれた地面を被写体31として撮影する。図4にはこの図4(a)に示す撮影環境で撮影された(b)撮影画像と、(c)補正画像を示している。
図4(b)に示す画像の魚眼歪を取り除いて、中心射影画像に変換したいわゆる歪補正画像図4(c)に示す補正画像である。

0045

この図4に示す例における歪み補正処理では、広角カメラ30の斜め位置から撮像した一連図4(b)に示す取り込み画像から魚眼歪補正処理をする事で遠近を反映して被写体31の被写体(正方格子パターンの描かれた地面)の台形が得られる。つまり、この歪補正処理に際しては、撮影画像湾曲歪みが取り除かれ、遠近パースペクティブが残る図4(c)に示す台形画像が得られる。図4(c)に残る台形歪を取り除いて仮想カメラ点に中心シフトする事で、被写体31の真上の仮想カメラ30F位置からの撮影画像に変換する処理が出来る。この一連の処理は統合した処理として行う事で斜め情報から見た地面の俯瞰画像が得られる。
なお、以下では、斜め方向から見た画像の歪変換と俯瞰変換を合わせた上記の統合変換処理を「俯瞰変換」とまとめて呼ぶこととする。このように俯瞰変換は、斜め上部から見た画像を上部から見た画像に変換を行う処理を含めた処理となるが、以下の説明では斜めから見た処理の説明は省略する。

0046

図3に示すような俯瞰変換は、ある1つの水平面を基準面として行われる。図3に示す例では、格子パターンの描かれた地面を基準面として実行した変換処理であり、地面に描かれた格子パターンが高精度に復元される。しかし、1つの基準面を設定した俯瞰変換では、基準面以外の被写体を、その設置点とは別の位置に投影してしまうという問題がある。

0047

図5図6を参照してこの問題について説明する。
図5は、先に図2を参照して説明したと同様、(a)撮影環境と(b)撮影画像を示している。
(a)撮影環境は、図2(a)と同様、格子パターンの描かれた地面を含む。ただし、地面から上方に向かって伸びた立体オブジェクト32が設定されている。
広角カメラ30は、地面の上方に有限距離に設置され、地上に向けて設定されている。
(b)撮影画像は、先に図2(b)を参照して説明したと同様、地面の格子パターンに歪みが発生している。さらに、立体オブジェクト32も歪んだ状態として撮像される。
なお、図は模式的な図であり、立体オブジェクト32の歪みは、その位置や高さに応じて様々に変化する。

0048

図6は、(b)撮影画像を補正、すなわち、地上面を基準面とした俯瞰変換の処理例を示す図である。
図6(c)補正画像(俯瞰画像)に示すように、地面の格子パターンはきれいに補正されている。ただし、立体オブジェクト32の歪みは残っており、実際の観察形状とは異なる形に変更されて表示される。
参考画像として示す図6(d)は、理想的に無限遠から観察される俯瞰画像の例である。この画像では、立体オブジェクト32が真上から観察される。
なお、図6は模式的な図であり、俯瞰変換によって立体オブジェクト32に残る歪みは、その位置や高さに応じて様々に変化する。

0049

次に、図7図8を参照して、車両に装着された複数の広角カメラによって撮影された画像を繋ぎ合わせて生成する合成画像の生成処理について説明する。
図7は、図1を参照して説明した車両の前面、背面、右側面、左側面の4つの面に装着した4台のカメラによって撮影される画像領域と、合成画像の生成に適用する合成領域の例を説明する図である。

0050

図7に示す前面画像撮影領域51は、図1に示すカメラF21によって撮影される領域を示している。左側面画像撮影領域52は、カメラL22による撮影領域、右側面画像撮影領域53は、カメラR23による撮影領域、背面画像撮影領域54は、カメラB24による撮影領域を示している。
これらの4枚の撮影画像を俯瞰変換して生成して4枚の補正画像(俯瞰画像)を生成した後、各俯瞰画像を接合して1枚の合成画像を生成する。

0051

図7に示す4つの点線台形領域が、各撮影画像から合成画像70の構成要素として選択される領域(合成領域)である。合成画像70は、以下の4つの合成領域を繋ぎ合せて生成する。すなわち、
(a)前面画像撮影領域51の一部である前面画像合成領域61、
(b)左側面画像撮影領域52の一部である左側面画像合成領域62、
(c)右側面画像撮影領域53の一部である右側面面画像合成領域63、
(d)背面画像撮影領域54の一部である背面画像合成領域64、
これら4つの領域を繋ぎ合せて1枚の合成画像70を完成する。
なお、合成処理の前に各画像は俯瞰変換が施される。すなわち俯瞰変換処理を行なって生成した4枚の俯瞰画像を合成する。

0052

この合成処理によって、1枚の合成画像70が生成される。
図8は、合成画像70の例を示している。図8に示すように合成画像70は、車両画像71を中心として、車両の周囲の地面を上から観察した画像となる。
なお、車両画像71はカメラ撮影画像ではなく、予め用意された本システム搭載車両擬似画像である。

0053

車の運転席に設けられた表示部の出力画像を生成するデータ処理部は、カメラ撮影画像の俯瞰変換および合成処理によって生成した車両周囲の画像(俯瞰画像)に車両画像71を張り付ける処理を実行し、出力画像を生成して表示部に表示する。
運転者は、この画像を観察することで、車の周囲状況を把握して安全な運転を行うことを目的としている。

0054

しかし、複数の俯瞰画像を繋ぎあわせた合成画像を生成すると、隣接カメラ間の境界上の地上に立っている被写体が貼りあわせ俯瞰画像から消失してしまう問題がある。
これは、先に図5図6を参照して説明した立体オブジェクト32のように、俯瞰変換の基準面(地面)とは異なる位置に被写体(オブジェクト)が存在する場合に発生する。

0055

図9を参照してこの被写体消失の一例について説明する。図9は、前面画像合成領域61と、左側面画像合成領域62の合成処理例を示す図である。
図9(a)には、左側面画像撮影領域52において撮影された画像の俯瞰変換された画像上の立体オブジェクト32の位置と、左側面画像合成領域62を示している。俯瞰変換画像は、例えば図6(c)を参照して説明した補正画像(俯瞰画像)に相当する。
図9(a)に示すように、立体オブジェクト32は台形状の左側面画像合成領域62からはずれた位置に変換投影された配置となる。

0056

一方、図9(b)には、前面画像撮影領域51において撮影された画像の俯瞰変換された画像上の立体オブジェクト32の位置と、前面画像合成領域61を示している。
図9(b)に示すように、やはり立体オブジェクト32は台形状の前面画像合成領域61からはずれた位置に変換投影された配置となる。

0057

これらの台形状の左側面画像合成領域62と、台形状の前面画像合成領域61を接合して最終的な合成画像が生成される。
結果として生成する合成画像には、立体オブジェクト32の画像が含まれず、消失してしまう。
すなわち、図10に示すように、合成画像70の左側面画像と前面画像の接合領域81には、立体オブジェクト32が含まれず、立体オブジェクト32が消失した合成画像70が生成されてしまう。

0058

このように、地上面を基準とした複数の俯瞰画像を生成して合成処理を行なうと、各俯瞰画像の境界領域にある立体オブジェクトが消失してしまう場合がある。
この結果、運転席の表示部に表示される合成画像には立体オブジェクトが表示されず、運転者は障害物を認識できず、危険な運転をしてしまう可能性がある。

0059

[2.合成対象画像の接合領域において各画像の表示領域を動的に変更する実施例について]
次に、上記の問題点を解決する本開示の一実施例の構成について説明する。
本開示の一実施例は、合成対象画像の接合領域において各画像の表示領域を動的に変更する処理を行なうものである。
図11以下を参照して本実施例について説明する。

0060

図11は、車両の運転席に備えられた表示部に表示される合成画像の一部を示す図である。図11には、合成画像の構成画像である前面画像101と、左側面画像102の接合領域103の近傍を示している。
なお、図11に示す前面画像101と左側面画像102は、いずれも俯瞰変換処理後の画像である。
前面画像101は、車両の前面に搭載した前面カメラ図1に示すカメラFに相当)が撮影した画像を俯瞰変換した画像である。
左側面画像102は、車両の左側面に搭載した左側面カメラ図1に示すカメラLに相当)が撮影した画像を俯瞰変換した画像である。

0061

この実施例では、前面画像101と左側面画像102の接合領域103は以下の構成を持つ。
前面画像101と、左側面画像102の表示領域を、長方形短冊領域単位で交互に設定し、さらに短冊位置を時間推移に応じて、順次、移動させる。
すなわち、接合領域101内の前面画像101と左側面画像102各画像の表示領域を時間推移に応じて変化させる処理、表示領域動的変更処理を実行する。

0062

この表示領域の動的変更処理について図12を参照して説明する。
図12は、前面画像101と、左側面画像102の接合領域103の時間推移に伴う変更処理例を示す図である。時間は、t1,t2,t3,t4の順に進行し、これらの各時間における接合領域の表示態様の変化の様子を示している。

0063

前面画像101の短冊領域は、時間推移(t1→t2→t3→t4)とともに、順次、上方向に移動する。なお、時間t4以降は、時間t5において、時間t1と同様の短冊位置となり、さらにt6はt2、t7はt3、t8はt4と同様の設定となり、以降、同様の短冊移動が繰り返される。

0064

図12に示す例では、前面画像101と、左側面画像102の接合領域103は矩形領域である、この矩形領域において、一部が前面画像101、残りが左側面画像102の表示領域となるが、この表示領域が、時間推移に伴って逐次変更される。
時間t1〜t5までの1回の表示周期において、接合領域103を構成する矩形領域の全ての領域に前面画像101の表示期間と左側面画像102の表示期間が交互に設定される。すなわち、接合領域103全領域が、前面画像101と左側面画像102の2つの画像を確認可能な領域となる。

0065

このように、合成画像を構成する2つの俯瞰画像の接合領域において、各俯瞰画像の表示領域の動的変更表示、すなわち時間推移に伴って各俯瞰画像の表示領域を逐次変更して表示することにより、先に図9図10を参照して説明した立体オブジェクトが合成画像から消失するという問題が解決される。交互表示では全体の画像を正確に見ることができないために画像を見ただけでは危険段々が困難であるが、境界を時系列に逐次可変移動する事で立地物の境界線が動的に画面上走る事となる。
すなわち、本方式では、接合領域103全領域が、前面画像101と左側面画像102の2つの画像を確認可能な領域に設定されるため、立体オブジェクトの表示領域が完全に切り落とされることはなく、動的境界線が動く事で何かしらの立体物認知が可能となる。

0066

さらに、本表示方式では、この接合領域の表示態様が時間推移に伴って変化するため、動的知覚視野刺激され、運転者が直視をしていなくても周辺視野にある動的知覚視野からの刺激で注意をより引きやすくなる。すなわち接合領域は、合成画像中の他の領域(静止領域)に比較して立体物が境界に沿って移動して見える為、注意喚起領域として機能する。このような注意喚起領域は、観察者(運転者)に対して、接合領域にある立体オブジェクトを検知する有効な手段となる。

0067

なお、接合領域103に設定される前面画像101の短冊幅と、左側面画像102の短冊幅は、均等ではなく、どちらか一方を大きく設定する構成が好ましい。このような設定とすることで、観察者は、接合領域103内で前面画像101、または左側面画像102のどちらか一方の画像、すなわち短冊幅を大きく設定した画像を優先的に目視確認することが可能となり、立体オブジェクトの境界の動的な振る舞いと連動して状況をより正確に確認しやすくなる。

0068

図13を参照して接合領域における立体オブジェクトの表示例について説明する。
図13には、図12を参照して説明した時間t1〜t4の接合領域の表示態様中、時間t1と時間t3の2つの表示態様における立体オブジェクトの表示例を示している。すなわち、以下の2つの合成画像の表示例である。
(a)時間t1の合成画像
(b)時間t3の合成画像
これら異なるタイミングにおける合成画像の接合領域の表示例を示している。

0069

接合領域に設定される短冊状の前面画像領域と左側面画像領域には、それぞれ立体オブジェクトの表示領域が含まれる。
前面画像101には、接合領域中の短冊設定の前面画像表示領域に、前面画像内立体オブジェクト111が表示される。一方、左前面側面画像102にも、接合領域中の短冊設定の左側面画像表示領域に、左側面画像内立体オブジェクト112が表示される。
この立体オブジェクトは、先に説明した図9の合成画像では切り落とされて合成画像から消失した被写体(立体オブジェクト)に相当する。

0070

本処理例では、図9を参照して説明したように各俯瞰画像の端部を切り落とすことなく、各俯瞰画像の接合領域を接合対象となる2つの俯瞰画像のいずれも観察可能とした構成としているので、各俯瞰画像に含まれるすべての被写体を観察することが可能となる。

0071

図13は、2つの異なる時間の合成画像の表示態様を示している。
(a)時間t1の合成画像、
(b)時間t3の合成画像、
これらの各時間の合成画像である。これらの各時間の合成画像の接合領域に表示される画像は異なるものとなる。すなわち、時間推移に伴って、前面画像の表示領域と左側面画像の表示領域が異なり、この変化に伴って各画像内の立体オブジェクトの表示領域も異なるものとなる。

0072

観察者(運転者)の注意は、変化のない静止領域より、表示情報の変化する画像領域に向かいやすくなる。従って、観察者(運転者)の視線は、表示情報が動的に変化する接合領域に向かいやすくなり、接合領域に表示される立体オブジェクトを見落とすことなく確認させる確率を高めることができる。

0073

[3.画像接合領域における表示制御シーケンスについて]
次に、図11図13を参照して説明した接合領域の表示制御処理シーケンスについて説明する。
以下に説明する処理シーケンスは、2つの俯瞰画像を短冊状に交互に配置した画像接合領域を設定し、この画像接合領域に配置した各画像の短冊領域を時間経過に伴って順次移動させる表示制御を実行する表示制御処理シーケンスである。

0074

まず、図14図16を参照して、表示制御処理に適用するパラメータについて説明する。
図14にパラメータの一覧を示す。図15図16は、前面画像101と、左側面画像102の接合領域103の構成例と各パラメータの設定を説明する図である。
図15図16に示す前面画像101と、左側面画像102はいずれも補正処理としての俯瞰変換を行った後の俯瞰画像である。

0075

図14に示すように、接合領域103の表示制御処理に利用するパラメータは、以下の通りである。
i:短冊識別子であり、接合領域のいずれか一方の画像(本例では前面(フロント[f])画像)の短冊識別子、ただし、最初の短冊識別子i=0、
j:画像形成画素の行(ライン)識別子であり、接合領域のいずれか一方の画像
(本例では前面(フロント[f])画像)の各短冊開始位置からの行(ライン)識別子、
ただし、各短冊開始位置の行(ライン)j=0、
ZN:短冊数規定値であり、短冊識別子iを設定した画像(本例では前面(フロント[f])画像)の接合領域に設定可能な短冊識別子(i)の最大値
Wf: 短冊幅規定値であり、短冊識別子iを設定した画像(本例では前面(フロント[f])画像)の1つの短冊の幅に相当する行(ライン)識別子(j)の最大値、
Ws:短冊幅規定値であり、短冊識別子iの設定画像(本例では前面(フロント[f]画像)でないもう一方の画像(本例では左側面(サイド[s])画像)の短冊幅に相当する行(ライン)数、
Wf+Ws:接合領域における交互表示短冊間隔規定値であり、短冊識別子iの設定画像(本例では前面(フロント[f])画像)の短冊間隔に相当する行(ライン)数、
SW:シフト幅規定値であり、短冊識別子号iを設定した画像(本例では前面(フロント[f])画像)の単位フレームあたりの短冊シフト行(ライン)数、
f:表示フレーム識別子、
接合領域103の表示制御は、これらのパラメータを利用して実行する。

0076

短冊識別子iは、図15に示すように、接合領域のいずれか一方の画像(本例では前面(フロント[f])画像)の短冊識別子であり、例えば上から順に、i,i+1,i+2の識別子を設定する。なお、短冊識別子iは0,1,2,3・・・のように、0を最初の短冊識別子として設定する。

0077

行(ライン)識別子jは、図16に示すように、接合領域のいずれか一方の画像(本例では前面(フロント[f])画像)の各短冊開始位置からの行(ライン)数を示す識別子である。ただし、各短冊開始位置の行(ライン)の識別子はj=0とする。

0078

なお、前述したように接合領域103に設定される前面画像101の短冊幅と、左側面画像102の短冊幅は、均等ではなく、どちらかより多く運転者に見せることで効果の高い一方を大きく設定する構成が好ましい。
図16に示す例では、前面画像101の短冊幅を3行、左側面画像102の短冊幅(=前面画像の短冊間幅)を5行としている。このような設定とすることで、観察者は、接合領域103内で短冊幅を大きく設定した左側面画像102を優先的に確認することが可能となり、立体オブジェクトをより確認しやすくなる。

0079

短冊数規定値ZNは、短冊識別子iを設定した画像(本例では前面(フロント[f])画像)の接合領域に設定可能な短冊識別子(i)の最大値である。
図15に示す例では、ZN=4である。

0080

短冊幅規定値Wfは、短冊識別子iを設定した画像(本例では前面(フロント[f])画像)の1つの短冊の幅に相当する行(ライン)識別子(j)の最大値である。
図16に示す例では、行(ライン)識別子:j=0〜2の幅の短冊を設定可能な構成であり、Wf=2である。

0081

短冊間隔規定値Wsは、短冊幅規定値であり、短冊識別子iの設定画像(本例では前面(フロント[f]画像)でないもう一方の画像(本例では左側面(サイド[s])画像)の短冊幅に相当する行(ライン)数である。
図16に示す例では、Ws=5である。

0082

交互表示短冊間隔規定値Wf+Wsは、接合領域における交互表示短冊間隔規定値であり、短冊識別子iの設定画像(本例では前面(フロント[f])画像)の短冊間隔に相当する行(ライン)数である。
図16に示す例では、Wf+Ws=7である。

0083

短冊シフト幅規定値SWは、短冊識別番号iを設定した画像(本例では前面(フロント[f])画像)の単位フレームあたりの短冊シフト行(ライン)数である。
図16に示す例では、SW=2である。

0084

表示フレーム識別子fは、表示フレーム番号を示す識別子である。
図16に示すように、フレームf、フレームf+1、フレームf+2、フレームf+3と、順次、各フレーム単位で接合領域の短冊のシフト処理を実行し、短冊は上方向または下方向、いずれか一方の方向に移動する。
なお、シフト処理を実行する間隔は、本例では1フレーム単位としているが、1フレーム単位に限らず、例えば10フレーム単位等の設定としてもよい。このような設定とすれば、短冊の移動速度が遅く設定されることになる。
接合領域103の表示制御は、これらのパラメータを利用して実行する。

0085

次に、これらのパラメータを利用した表示制御シーケンスの具体的シーケンスについて図17に示すフローチャートを参照して説明する。
図17に示す処理フローは、複数の俯瞰画像から生成する合成画像の一部領域の表示制御処理シーケンスを説明するフローである。
具体的には、例えば、図15に示す接合領域103とその下部の左側面画像102の画像領域の表示処理制御シーケンスに相当する。なお、その他の領域においても、同様のシーケンスで表示制御が実行される。

0086

図17に示すフローは、例えば車両に搭載された表示部の表示制御を実行するデータ処理部(制御部)の制御によって実行される。
データ処理部(制御部)は、例えばプログラム実行機能を持つCPUを備え、図16に示すフローに従った処理シーケンスを記録したプログラムに従って処理の制御を行う。プログラムは、データ処理部(制御部)のアクセス可能な記憶手段であるメモリや記憶媒体等に格納されている。あるいは、通信手段を介して外部のサーバ等から取得する構成としてもよい。

0087

以下、図17に示すフローチャートの各ステップの処理について、順次、説明する。
なお、このフロー開始前の処理として、以下の各パラメータの初期設定を行う。
短冊識別子i=0、
行(ライン)識別子j=0、
これらの初期設定の後、ステップS101以下の処理を実行する。

0088

(ステップS101)
まず、ステップS101において、合成画像の接合領域の構成ライン(行)として、前面画像の第j行を出力する。
このステップS101の処理は、例えば図15図16に示す前面画像101によって構成される短冊領域の生成処理に相当する。
なお、初期設定は前述のようにj=0であり、最初は、前面画像の第0行を出力する。例えば図16に示すフレームfで、前面画像101の最上行のj=0の行を出力する処理に相当する。すなわち最初の短冊(短冊識別子:i=0)の最上行(行(ライン)識別子:j=0)を、前面画像101から取得して出力する処理に相当する。

0089

(ステップS102)
次に、ステップS102において、行(ライン)識別子jと、短冊幅規定値Wfとの比較処理を実行する。短冊幅規定値Wfは、前述したように、短冊識別子iを設定した画像(本例では前面(フロント[f])画像)の1つの短冊の幅に相当する行(ライン)識別子(j)の最大値である。例えば図16の例では、Wf=2としている。

0090

ステップS102では、行(ライン)識別子jが、短冊幅規定値Wf以上となったか否かを判定する。すなわち、
j≧Wf
上記判定式成立するか否かを判定する。
この判定式は、ステップS101で出力する前面画像の行(ライン)数、すなわち、前面画像101の短冊の構成行が、短冊幅規定値Wfに達したか否かを判定する処理である。
例えばWf=2の場合、j=2になれば、ステップS102の判定はYesとなり、ステップS104に進む。
j=0、またはj=1の場合は、ステップS102の判定はNoとなり、ステップS103に進む。
最初の段階では、j=0であるので、ステップS102の判定はNoとなり、ステップS103に進む。

0091

(ステップS103)
ステップS103では、行(ライン)識別子jの更新処理を実行する。すなわち、
j=j+1
上記更新式に従ってjの値を1つインクリメントする。
初期段階では、j=0であるので、この更新処理によってj=1に設定される。
ステップS103におけるパラメータ更新の後、更新した行(ライン)識別子jに対応する処理をステップS101において実行する。
すなわち、j=1に設定された場合、合成画像の接合領域の構成ライン(行)として、前面画像の第1行を出力する。

0092

ステップS101〜ステップS102〜ステップS103のループは、ステップS102の判定式、すなわち、
j≧Wf
上記判定式が成立するまで繰り返される。すなわち、行(ライン)識別子jが、短冊幅規定値Wfに達するまで、前面画像101の構成行が接合領域103に出力される。
例えば図16に示す例のように、短冊幅規定値Wf=2の場合、
j=2になれば、ステップS102の判定はYesとなり、ステップS104に進む。
これで、接合領域の1つの短冊(例えば、i=0の短冊)が完成したことになる。

0093

(ステップS104)
次に、ステップS104において、行(ライン)識別子jを1つインクリメントする。すなわち、
j=j+1
上記更新式に従って、行(ライン)識別子jの値を更新する。
なお、短冊幅規定値Wf=2の場合、まず、行(ライン)識別子j=2において、ステップS102の判定がYesとなり、ステップS104が実行され、行(ライン)識別子j=3の設定がなされた後、ステップS105に進む。

0094

(ステップS105)
次に、ステップS105において、合成画像の接合領域の構成ライン(行)として、左側面画像の第j行を出力する。
このステップS105の処理は、例えば図15図16に示す左側面画像102によって構成される短冊領域(=前面画像101の短冊間領域)の生成処理に相当する。
短冊幅規定値Wf=2の場合、行(ライン)識別子j=3において、ステップS105が実行される。図16のフレームfの例では、j=3の行として左側面画像102の行データを出力する処理が行われることになる。すなわち、前面画像101の短冊間の構成行として、左側面画像102の行データの出力を実行する。

0095

(ステップS106)
次に、ステップS106において、行(ライン)識別子:jと、前面(フロント[f])画像の短冊幅規定値Wfと左側面(サイド[s])画像の短冊幅規定値Wsとの加算値(Wf+Ws:交互表示短冊間隔規定値)との比較処理を行なう。
短冊幅規定値Wfは、前述したように、短冊識別子iを設定した画像(本例では前面(フロント[f])画像)の1つの短冊の幅に相当する行(ライン)識別子(j)の最大値である。例えば図16の例では、Wf=2としている。
また、短冊幅規定値Wsは、短冊識別子iの設定画像(本例では前面(フロント[f]画像)でないもう一方の画像(本例では左側面(サイド[s])画像)の短冊幅に相当する行(ライン)数である。
なお、図16に示す例では、Ws=5である。

0096

ステップS106では、行(ライン)識別子jが、短冊幅規定値Wfと短冊幅規定値Wsとの加算値(Wf+Ws:交互表示短冊間隔規定値)以上となったか否かを判定する。すなわち、
j≧(Wf+Ws)
上記判定式が成立するか否かを判定する。
この判定式は、ステップS101の無繰り返し処理生成済みの短冊の構成行と、ステップS105で生成中の短冊間の構成行との総和が、接合領域における2つの画像の短冊幅規定値WfとWsとの総和(Wf+Ws:交互表示短冊間隔規定値)に達したか否かを判定する処理である。
例えば前面(フロント[f])画像対応の短冊幅規定値Wf=2、左側面(サイド[s])画像対応の短冊幅規定値Ws=5の場合、j=7になれば、ステップS106の判定はYesとなり、ステップS107に進む。
j=3〜6の場合は、ステップS106の判定はNoとなり、ステップS104に戻る。

0097

最初の段階では、j=3であるので、ステップS106の判定はNoとなり、ステップS104に戻り、jの値を1つインクリメントするパラメータ更新、すなわちj=j+1を実行して、さらにステップS105の処理を実行する。
すなわち、j=3〜7の間、ステップS105の処理を繰り返し実行する。この処理は、例えば図16に示すフレームfのj=3〜7の各行に左側面画像102の画像を出力する処理である。すなわち、短冊間のスペースを左側面画像102の画像で埋める処理に相当する。

0098

ステップS104〜ステップS105〜ステップS106のループは、ステップS106の判定式、すなわち、
j≧(Wf+Ws)
上記判定式が成立するまで繰り返される。すなわち、例えば図16に示すように、行(ライン)識別子jが、短冊幅規定値Wf+短冊幅規定値Wsの総和値(Wf+Ws:交互表示短冊間隔規定値)に達するまで、左側面画像102の構成行が接合領域103に出力される。
例えば図16に示す例のように、短冊幅規定値Wf=2、短冊幅規定値Ws=5の場合、
j=7になれば、ステップS106の判定はYesとなり、ステップS107に進む。
ステップS104〜S106の繰り返しループが終了すると、接合領域の1つの短冊間領域が完成したことになる。

0099

(ステップS107〜S108)
次に、ステップS107において、短冊識別子iと、短冊数規定値ZNとの比較処理を実行する。
短冊識別子iは、図15に示すように、接合領域のいずれか一方の画像(本例では前面(フロント[f])画像)の短冊識別子であり、例えば上から順に、i,i+1,i+2の識別子を設定する。なお、短冊識別子iは0,1,2,3・・・のように、0を最初の短冊識別子として設定する。
短冊数規定値ZNは、短冊識別子iを設定した画像(本例では前面(フロント[f])画像)の接合領域に設定可能な短冊識別子(i)の最大値である。
図15に示す例では、ZN=4である。

0100

ステップS107では、短冊識別子iが、短冊数規定値ZN以上となったか否かを判定する。すなわち、
i≧ZN
上記判定式が成立するか否かを判定する。
これは、ステップS101〜S106の処理において生成した短冊の数が規定上限値に達したか否かを判定する処理である。

0101

例えば図15に示す例では、短冊数規定値ZN=4であり、接合領域103内に設定可能な短冊数は5つであり、短冊識別子i=4まで短冊を設定できる。
すなわち、i=0〜3の場合は、ステップS107の判定は、Noとなり、ステップS108に進み、短冊識別子iを1つ増加させ、行(ライン)識別子jを0にリセットするパラメータ更新を実行して、ステップS101〜S106の処理を繰り返す。

0102

すなわち、次の短冊と短冊間スペースの出力を実行する。
図15図16に示す例では、前面画像101を3行(ライン)、出力して1つの短冊領域を生成し、左側面画像102を5行(ライン)出力して短冊間領域を生成する。
この処理を規定回数、すなわちステップS107における判定式、
i≧ZN
上記判定式を満たすまで繰り返す。
この繰り返し処理によって、例えば図15に示す接合領域103内の画像出力構成が完成する。すなわち、前面画像101の3行分の短冊画像と、左側面画像の5行分の短冊間画像の繰り返し構成から構成される接合領域の画像が完成する。

0103

(ステップS109)
次に、ステップS109において、合成画像の接合領域の連続領域に、左側面画像の行を順次、張り付ける処理を実行する。
この処理は、例えば図15に示す接合領域103の下部の左側面画像102の出力処理に相当する。

0104

(ステップS110)
ステップS110では、1フレーム分の画像出力が終了したか否かを判定する。
すなわち、左側面画像102の出力が完了したか否かを判定する。
終了していない場合は、ステップS109に戻り、順次、左側面画像102の構成行の出力を実行する。
ステップS110において、1フレーム分の画像出力が終了したと判定した場合は、ステップS111に進む。

0105

この図17に示すフローは、合成画像の一部、すなわち、図15に示す接合領域103と、その下部の左側面画像102の出力領域の表示制御を実行するフローである。
合成画像中の他の領域についても、図17に示すフロー中の「前面画像」と「左側面画像」の設定を変更するのみで、同様の処理シーケンスによって出力制御が可能となる。

0106

(ステップS111)
ステップS111では、フレーム識別子fを更新する。すなわち、
f=f+1
上記更新式に従って、フレーム識別子fを1つインクリメントする。
この処理は、例えば図16に示すフレームfからフレームf+1への移行処理に相当する。

0107

(ステップS112)
ステップS112では、表示開始のj行を所定行(SW)シフトする処理を行なう。
SWは、短冊シフト幅規定値であり、短冊識別番号iを設定した画像(本例では前面(フロント[f])画像)の単位フレームあたりの短冊シフト行(ライン)数である。
図16に示す例では、SW=2である。

0108

すなわち、行(ライン)識別子j=0の設定行を2行、ずらす処理を実行する。
例えば図15に示す例では、フレームfでは、前面画像101の最初の短冊の第1行(ライン)の位置を示すj=0の位置が前面画像101の最上行の位置に対応づけられている。これをすフレームf+1の設定のように、j=0の位置を2行む、下側に移動する処理を行なう。
この処理によって、前面画像101によって構成される短冊の出力位置が短冊シフト行(ライン)数分シフト、すなわち、ずれして設定されることになる。

0109

このシフト処理を実行した後、ステップS101以下の処理を実行する。
この処理によって、例えば図15に示すフレームf+1の設定を持つ短冊構成を有する接合領域の画像が生成されて出力される。

0110

ステップS110において、フレームf+1の画像出力が完了したと判定すると、さらに、ステップS111で短冊シフト行(ライン)数SW=2のシフト処理を実行して、ステップS101以下の処理を実行する。
この処理によって、例えば図15に示すフレームf+2の設定を持つ短冊構成を有する接合領域の画像が生成されて出力される。

0111

同様に、ステップS110において、フレームf+2の画像出力が完了したと判定すると、さらに、ステップS111で短冊シフト行(ライン)数SW=2のシフト処理を実行して、ステップS101以下の処理を実行する。
この処理によって、例えば図15に示すフレームf+3の設定を持つ短冊構成を有する接合領域の画像が生成されて出力される。

0112

上記の処理によって、接合領域における短冊は、順次シフトし、前面画像101と左側面画像の表示領域が時間推移に伴い、変更されて表示されることになる。
なお、フレーム当たりのシフト量(SW)は様々な設定が可能であり、シフト量(SW)の設定によって、短冊の移動スピードを様々に変化させることが可能となる。

0113

また、その他のパラメータ、すなわち、
短冊幅規定値Ws、
短冊間隔規定値Wf、
短冊数規定値ZN、
これらのパラメータについても、様々な設定が可能であり、これらのパラメータを調整することで、接合領域に表示する短冊の態様を変更することが可能である。

0114

また、先に図16を参照して説明したように、シフト処理を実行する間隔は、本例では1フレーム単位としているが、1フレーム単位に限らず、任意のフレーム数、nフレーム単位としてもよい。ただしnは1以上の整数である。

0115

この場合、ステップS110の判定処理を「nフレーム出力終了?」との判定処理として、ステップS111の処理を「f=f+n」に設定した更新処理とすればよい。
更新処理間隔を長くするためには、nの値を大きくすればよく、n=10、あるいは20といった設定とすればよい。このような設定とすれば、短冊の移動速度が遅く設定されることになる。

0116

[4.接合領域に表示される特定オブジェクトを強調表示する処理例について]
上述した実施例において説明したように、上述の実施例では2つの俯瞰変換画像の接合領域において、各俯瞰画像の表示領域を時間推移に併せて変更する構成としている。
このように表示情報の動的変更により、観察者である運転者の注意を喚起することが可能となる。
さらに、接合領域に表示される立体オブジェクトに対して、より強く注意を向けさせるため、接合領域に表示される立体オブジェクトを強調表示する処理例について説明する。

0117

図18は、前面画像101と左側面画像102の接合領域103に表示される立体オブジェクトを強調表示した表示例を示している。
立体オブジェクトは、前面画像101の表示領域である短冊領域において前面画像内立体オブジェクト111として表示され、さらに左側面画像の表示領域である短冊間領域において、左側面画像内立体オブジェクト112として表示される。

0118

これらの立体オブジェクトの表示を強調表示する。具体的には、点滅表示、あるいは色彩、輝度などを変更して、目立つ表示態様とした強調表示を行う。
なお、接合領域における強調表示の度合いは、以下のような設定のいずれかとする。
(a)立体オブジェクト領域全てに対して均一な強調表示を行う。
(b)立体オブジェクト領域中、接合画像境界に近い部分の強調度合を高くし、接合画像境界から離間するほど強調度合を低くする。

0119

なお、前面画像101、および左側面画像102の各々に含まれる立体オブジェクト領域を検出する処理としては、前面画像101と、左側面画像102の画素値差分を算出し、画素値差分の大きい領域を立体オブジェクトの表示領域として判定する。

0120

先に説明したように俯瞰変換は、1つの基準面を基準とした変換処理を行なっている。この場合の基準面は地面であり、地面については、前面画像101と左側面画像102の歪みが除去されるため、各画像の対応画素位置には同じ地面位置の被写体が表示される。従って、各画像の対応画素位置の画素値はほぼ同一となり、差分がほとんど発生しない。

0121

しかし、立体オブジェクトについては、俯瞰変換を実行しても歪みが残ってしまうため、前面画像101と左側面画像102の対応画素位置の画素が異なる被写体の表示領域となる可能性が高く、2つの俯瞰変換画像の対応画素位置の画素値に差分が発生する。このような差分の残存した画素領域を立体オブジェクトの表示領域として判定する。なお、2つの画像の対応画素位置の画素値差分の判定処理には、各画像の所定単位領域の複数の画素を単位として算出する差分絶対値和(SAD:Sum of Absolute Difference)を適用可能である。

0122

[5.接合領域における表示態様の変形例について]
上述の実施例では、2つの俯瞰画像の接合領域に各俯瞰画像を長方形の短冊型表示領域を交互に設定して、これらの長方形型の短冊型表示領域を時間推移に伴って移動させる構成例を説明した。
以下、上述した実施例と異なる表示構成を有する実施例について説明する。

0123

[5−1.湾曲形状の短冊型表示領域を交互に設定した実施例(第2実施例)]
第2実施例として、図19以下を参照して、湾曲形状の短冊型表示領域を交互に設定した実施例について説明する。

0124

図19は、車両の運転席に備えられた表示部に表示される合成画像の一部を示す図である。すなわち、合成画像の構成画像である前面画像101と、左側面画像102の接合領域103の近傍を示す図である。
なお、図19に示す前面画像101、左側面画像102のいずれも俯瞰変換処理後の画像である。
すなわち、前面画像101は、車両の前面に搭載した前面カメラ(図1に示すカメラFに相当)が撮影した画像を俯瞰変換した画像である。
左側面画像102は、車両の左側面に搭載した左側面カメラ(図1に示すカメラLに相当)が撮影した画像を俯瞰変換した画像である。

0125

この実施例では、前面画像101と左側面画像102の接合領域103は、前面画像101と、左側面画像102の表示領域を、湾曲形状の短冊型表示領域単位で交互に設定した構成となっている。さらに、この短冊位置は、時間推移に伴い、順次、移動する。
すなわち、接合領域101における前面画像101と左側面画像102各画像の表示領域は時間推移に応じて変化する設定となっている。
この表示領域の動的変更処理について図20を参照して説明する。

0126

図20は、前面画像101と、左側面画像102の接合領域103の時間推移に伴う変化を示す図である。時間は、t1,t2,t3の順に進行し、これらの各時間における接合領域の変化の様子を示している。

0127

前面画像101の湾曲形状を有する短冊領域は、時間推移(t1→t2→t3)とともに、順次、左上斜め方向に移動する。なお、時間t3以降は、時間t4において、時間t1と同様の短冊位置となり、さらにt5はt2、t6はt3と同様の設定となり、以降、同様の短冊移動が繰り返される。

0128

図20に示す例では、接合領域103内を湾曲形状の短冊単位で前面画像101と左側面画像102を交互に表示領域を設定しているが、この表示領域が、時間推移に伴って逐次変更される。
時間t1〜t4までの1回の表示周期において、接合領域103の全ての領域に前面画像101の表示期間と左側面画像102の表示期間が交互に設定され、観察者は、接合領域103全領域で、前面画像101と左側面画像102の2つの画像を確認可能となる。

0129

従って、本実施例でも、先に説明した長方形型の短冊領域の設定例と同様、先に図9図10を参照して説明した立体オブジェクトが合成画像から消失するという問題が解決される。
すなわち、本実施例においても、接合領域103全領域が、前面画像101と左側面画像102の2つの画像を確認可能な領域に設定されるため、立体オブジェクトの表示領域が切り落とされることなく、確認可能となる。

0130

さらに、本実施例も、接合領域は時間推移に伴って変化する表示領域となるため、観察者の注意を引く領域になる。すなわち接合領域は、合成画像中の他の領域(静止領域)に比較してより注目される領域、すなわち注意喚起領域となる。このような注意喚起領域の設定によって、観察者(運転者)は、その接合領域にある立体オブジェクトの確認が行いやすくなる。

0131

なお、接合領域103に設定される前面画像101の湾曲型短冊の幅と、左側面画像102の湾曲型の短冊(=前面画像101の湾曲型短冊の間隔)の幅は、均等ではなく、どちらか一方を大きく設定する構成が好ましい。このような設定とすることで、観察者は、接合領域103内で前面画像101、または左側面画像102のどちらか一方の画像、すなわち短冊幅を大きく設定した画像を優先的に確認することが可能となり、立体オブジェクトをより確認しやすくなる。

0132

図21は、本実施例に従った合成画像の実際の表示画像例を示す図である。図21に示す(1)〜(7)は、時間推移に伴う接合領域の表示情報の変化を示している。扇形状の短冊位置が、少しずつ移動している。接合領域には、立体オブジェクトが観察できる。
図に示す前面画像内立体オブジェクト151は前面画像表示領域に表示される立体オブジェクトである。
左側面画像内立体オブジェクト152は左側面画像表示領域に表示される立体オブジェクトである。

0133

これらの立体オブジェクトは、先に説明した図9の処理では切り落とされた画像領域に含まれていた被写体(立体オブジェクト)である。
本処理例では、各俯瞰画像の端部を切り落とすことなく、各俯瞰画像の接合領域を接合対象となる2つの俯瞰画像のいずれも観察可能とした構成としているので、各俯瞰画像に含まれるすべての被写体を観察することが可能となる。

0134

本実施例においても、接合領域に表示される立体オブジェクトに対して、さらに注意を向けさせるため、接合領域に表示される立体オブジェクトを強調表示する処理が可能である。
図22は、前面画像101と左側面画像102の接合領域103に表示される立体オブジェクトを強調表示した表示例を示している。
立体オブジェクトは、前面画像101の表示領域である短冊領域において前面画像内立体オブジェクト151として表示され、さらに左側面画像の表示領域である短冊間領域において、左側面画像内立体オブジェクト152として表示される。

0135

これらの立体オブジェクトの表示を強調表示する。具体的には、点滅表示、あるいは色彩、輝度などを変更して、目立つ表示態様とした強調表示を行う。

0136

なお、前面画像101、および左側面画像102の各々に含まれる立体オブジェクト領域を検出する処理は、先に図18を参照して説明したと同様、前面画像101と、左側面画像102の画素値差分を算出し、画素値差分の大きい領域を立体オブジェクトの表示領域として判定することが可能である。
具体的には、各画像の所定単位領域の複数の画素を単位として算出する差分絶対値和(SAD:Sum of Absolute Difference)を適用可能である。
このような立体オブジェクトの協調表示処理により、観察者である運転者の注意を、さらに強く喚起することが可能となる。

0137

[5−2.接合領域の画像境界を移動させる実施例(第3実施例)]
次に、第3実施例として、図23以下を参照して、接合領域の画像境界を移動させる実施例について説明する。

0138

図23は、車両の運転席に備えられた表示部に表示される合成画像の一部を示す図である。すなわち、合成画像の構成画像である前面画像101と、左側面画像102の接合領域103の近傍を示す図である。
なお、図23に示す前面画像101、左側面画像102のいずれも俯瞰変換処理後の画像である。
すなわち、前面画像101は、車両の前面に搭載した前面カメラ(図1に示すカメラFに相当)が撮影した画像を俯瞰変換した画像である。
左側面画像102は、車両の左側面に搭載した左側面カメラ(図1に示すカメラLに相当)が撮影した画像を俯瞰変換した画像である。

0139

この実施例では、前面画像101と左側面画像102の接合領域103は、前面画像101と、左側面画像102の表示領域が1つの画像境界161によって区分された設定となっている。この画像境界161は、時間推移に伴い、移動する。
この画像境界161の移動処理例について図24を参照して説明する。

0140

図24は、前面画像101と、左側面画像102の接合領域103内に設定された前面画像101と、左側面画像102の画像境界161の時間推移に伴う移動を示す図である。時間は、t1,t2,t3の順に進行し、これらの各時間における接合領域内の画像境界161の位置変化の様子を示している。

0141

画像境界161は、接合領域103の左下端部を中心として、まず、右回りに回転する。
時間t1では、接合領域103は、すべて前面画像101の表示領域に設定されている。その後、時間t1〜t4まで、画像境界161が右回りに回転し、接合領域103の前面画像101の表示領域は、左下側から、順次、左側面画像102の表示領域に切り替えられる。

0142

時間t4において、接合領域103は、すべて左側面画像102の表示領域に設定される。その後、時間t4〜t7まで、画像境界161が左回りに回転し、接合領域103の左側面画像102の表示領域は、右上下側から、順次、前面画像101の表示領域に切り替えられる。
時間t7において、接合領域103は、時間t1と同様、すべて前面画像101の表示領域に設定される。
以降、同様に、画像境界161は、同様の動き、すなわち右回転と左回転を繰り返す。すなわち、車のワイパーと同様の往復運動を行う。

0143

このように本実施例の合成画像は、境界位置が所定点を中心として右回転と左回転を繰り返す設定とした接合領域を有する。
なお、右回転の速度と左回転の速度は、同一ではなく、いずれか一方向の回転速度を他方向の回転速度より遅く設定する構成が好ましい。例えば回転速度比を1:2以上、異なる設定とする。
このような設定とすることで、観察者はゆっくり回転する場合の画像を優先的に観察可能となり、その際に立体オブジェクトの全体像を確認しやすくなる。

0144

時間t1〜t7までの1回の表示周期において、接合領域103の全ての領域に、前面画像101と、左側面画像102の表示期間が設定され、観察者は、接合領域103全領域で、前面画像101と左側面画像102の2つの画像を確認可能となる。

0145

従って、本実施例でも、前述した長方形型の短冊領域の設定例と同様、先に図9図10を参照して説明した立体オブジェクトが合成画像から消失するという問題が解決される。
すなわち、本実施例においても、接合領域103全領域が、前面画像101と左側面画像102の2つの画像を確認可能な領域に設定されるため、立体オブジェクトの表示領域が切り落とされることなく、確認可能となる。

0146

図25は、本実施例に従った合成画像の実際の表示画像例を示す図である。図25に示す(1)〜(7)は、時間推移に伴う接合領域の表示情報の変化を示している。画像境界161が、少しずつ移動している。接合領域には、立体オブジェクトが観察できる。
図に示す左側面画像内立体オブジェクト172は左側面画像表示領域に表示される立体オブジェクトである。前面画像内立体オブジェクト171は前面画像表示領域に表示される立体オブジェクトである。

0147

これらの立体オブジェクトは、先に説明した図9の処理では切り落とされた画像領域に含まれていた被写体(立体オブジェクト)である。
本処理例では、各俯瞰画像の端部を切り落とすことなく、各俯瞰画像の接合領域を接合対象となる2つの俯瞰画像のいずれも観察可能とした構成としているので、各俯瞰画像に含まれるすべての被写体を観察することが可能となる。

0148

さらに、本実施例も、接合領域は時間推移に伴って変化する表示領域となるため、観察者の注意を引く領域になる。すなわち接合領域は、合成画像中の他の領域(静止領域)に比較してより注目される領域、すなわち注意喚起領域となる。このような注意喚起領域の設定によって、観察者(運転者)は、その接合領域にある立体オブジェクトの確認が行いやすくなる。

0149

本実施例においても、接合領域に表示される立体オブジェクトに対して、さらに注意を向けさせるため、接合領域に表示される立体オブジェクトを強調表示する処理が可能である。

0150

図26は、前面画像101と左側面画像102の接合領域103に表示される立体オブジェクトを強調表示した表示例を示している。
立体オブジェクトは、前面画像101の表示領域において前面画像内立体オブジェクト171として表示され、さらに左側面画像の表示領域である短冊間領域において、左側面画像内立体オブジェクト172として表示される。

0151

これらの立体オブジェクトの表示を強調表示する。具体的には、点滅表示、あるいは色彩、輝度などを変更して、目立つ表示態様とした強調表示を行う。

0152

なお、前面画像101、および左側面画像102の各々に含まれる立体オブジェクト領域を検出する処理は、先に図18を参照して説明したと同様、前面画像101と、左側面画像102の画素値差分を算出し、画素値差分の大きい領域を立体オブジェクトの表示領域として判定することが可能である。
具体的には、各画像の所定単位領域の複数の画素を単位として算出する差分絶対値和(SAD:Sum of Absolute Difference)が適用可能である。
このような立体オブジェクトの協調表示処理により、観察者である運転者の注意を、さらに強く喚起することが可能となる。

0153

[6.合成画像の生成時に利用する補助情報について]
上述した実施例は、いずれも異なる位置に取り付けられた複数のカメラの撮影画像を合成して1枚の合成画像を生成する処理が必要となる。
合成画像の生成時には、各カメラの撮影画像を正確に位置合わせすることが必要である。

0154

この位置合わせのために、画像を撮影する複数のカメラが撮影可能な位置に特定パターンを照射し、カメラによって撮影させる。各カメラの撮影画像に含まれる照射パターンを用いて位置合わせを実行することで、位置ずれの少ない合成画像が生成できる。

0155

この処理を実行するための具体的な構成例について図27を参照して説明する。
図27に示すレーザ校正基準パターン照射部180は、図に示すような、ある画像パターンを持つ校正基準パターン181を地面に向けて照射する。
校正基準パターン181は、車両10の前面のカメラF21と、左側面のカメラL22のいずれもが撮影可能な位置に照射される。
校正基準パターン181は、図に示すように、例えば十文字や、格子状パターンなど、特定のパターンを持つ。
なお、レーザ校正基準パターン照射部180は、例えば固体レーザ光源とパターン生成ホログラッフィクフィルタにより構成される。

0156

車両10の前面のカメラF21と、左側面のカメラL22の各カメラの撮影画像には、校正基準パターン181が撮り込まれることになる。
カメラF21の撮影画像から生成した俯瞰画像と、カメラL22の撮影画像から生成した俯瞰画像の合成処理に際して、各撮影画像に含まれる照射パターン画像を用いる。

0157

すなわち、上述の各実施例において説明した接合領域を有する合成画像を生成する際、2つの画像の照射パターンを合成画像上の同一位置に設定するように位置合わせを実行することで、位置ずれの少ない合成画像を容易に生成することが可能となる。

0158

なお、図27に示すレーザ校正基準パターン照射部180は、継続的にレーザ照射を実行するのではなく、例えばカメラの撮影する各撮影フレームの撮影タイミングに応じて校正基準パターンの照射を実行する構成としてもよい。複数のカメラは、この校正基準パターン照射タイミングに連動して画像撮影を行う。画像処理部は、撮影された複数の連続する画像フレームの差分から校正基準パターンの検出を実行し、合成画像の生成に際して校正基準パターン照射領域を画像の位置合わせに適用した画像合成処理を実行する。
また、画像処理装置は、校正基準パターンを含む撮影画像を適用したカメラ調整処理としてのキャリブレーションを定期的または合成画像の生成時に実行する構成としてもよい。

0159

[7.画像処理装置のハードウェア構成例について]
次に、上述した実施例に従った画像表示処理を実行する画像処理装置のハードウェア構成例について説明する。

0160

図28は、上述した実施例に従った画像表示処理を実行する画像処理部201と、画像処理対象とする画像を撮影する複数のカメラを含む画像処理装置の全体構成例を示す図である。
カメラF,202Fは、図1に示す車両10の前面に備えられたカメラF21相当する。
カメラL,202Lは、図1に示す車両10の左側面に備えられたカメラL22に相当する。
カメラR,202Rは、図1に示す車両10の右側面に備えられたカメラR23に相当する。
カメラB,202Bは、図1に示す車両10の背面に備えられたカメラB24に相当する。
これらのカメラは、いずれも例えば魚眼レンズ等の広角レンズを備えたカメラであり、所定のフレームレート動画撮影を実行し、撮影画像を画像処理部201に出力する。

0161

画像処理部201は、複数のカメラF,202F〜カメラB,202Bの撮影画像を入力して、表示部205に表示する合成画像を生成して出力する。生成する合成画像は、例えば複数のカメラF,202F〜カメラB,202Bを装着した車両を中心として上から観察した俯瞰画像である。

0162

画像処理部201は、カメラF,202F〜カメラB,202Bの撮影画像の各々を俯瞰変換して4枚の俯瞰画像を生成し、さらに、先に説明した実施例のいずれかの態様の接合領域を有する合成画像を生成して、表示部205に出力する。

0163

入力部203は、ユーザによる様々な設定情報を入力するために用いられる。具体的には、例えば表示部205に表示する画像の切り替え、表示モードの設定などの様々な入力に利用される。
画像処理部201は、入力部203からの入力情報に応じて表示部205に対する表示情報の切り替えや制御を実行する。

0164

車両ステータス情報取得部204は、車両の状況、具体的には、例えば車体の方向、角度、傾き、高さ情報等である。例えば坂道等では、車体が傾き、各カメラの撮影方向も車体の傾きに応じて垂直方向とは異なる方向となる。このような情報をカメラ撮影画像の補正において適用するため、画像処理部201に入力する。

0165

レーザ校正基準パターン照射部211は、先に図27を参照して説明したレーザ照射を実行する。
制御部210は、各構成部に対する処理の実行制御、各構成部間のデータ入出力制御などを実行する。
なお、制御部210は、プログラム実行機能を有するプロセッサを有し、図示しないメモリに格納されたプログラムに従って処理制御を実行する。

0166

次に、画像処理部201の構成の詳細と実行する処理について、図29を参照して説明する。
図29に示すように、画像処理部201には、車両の4つの異なる位置に装着したカメラから4つの画像が入力される。すなわち、
車両の前面に備えられたカメラF,202Fの撮影画像である入力画像F,210F、
車両の左側面に備えられたカメラL,202Lの撮影画像である入力画像L,210L、
車両の右側面に備えられたカメラR,202Rの撮影画像である入力画像R,210R、
車両の背面に備えられたカメラB,202Bの撮影画像である入力画像B,210B、
これらの各画像が入力される。
なお、これらの画像は、魚眼レンズ等の広角レンズによって撮影された動画像である。

0167

画像処理部201は、各入力画像を補正し、各画像対応の俯瞰画像を生成する補正画像生成部F,220F〜補正画像生成部B,220Bを有する。
各補正画像生成部F,220F〜補正画像生成部B,220Bの構成と処理は同様である。図には、車両の前面のカメラF202Fの撮影画像である入力画像F210Fに対する処理を実行する補正画像生成部F,220Fの構成を示し、その他の補正画像生成部L,220L〜補正画像生成部B,220Bについては内部構成を省略して示している。

0168

代表として補正画像生成部F,220Fの構成と処理について説明する。補正画像生成部F,220Fは、車両の前面のカメラF202Fの撮影画像である入力画像F,210Fに対する処理を実行する。

0169

補正パラメータ算出部221は、広角レンズを持つカメラによって撮影された撮影画像である入力画像F,210Fから俯瞰画像を生成するために適用するパラメータを算出する。
なお、パラメータにはカメラ内部パラメータカメラ外部パラメータとがある。
カメラの内部パラメータとは、カメラレンズ焦点距離レンズ歪特性、レンズ取りつけて位置誤差等の車輛ステータスに依存しないで定まる固有情報である。
カメラの外部パラメータとは、カメラの取り付け位置・向き変動、車体の路面に対する車高変動、運転情況に応じて変動することが想定される固有情報である。

0170

広角レンズによる撮影画像から、地面を基準面とした俯瞰変換を行うためには、車両周辺を取り込んだカメラ撮影画像の歪みを補正し、さらに、想定視点である車両上部から見た画像を生成する画像補正処理を行なうことが必要となる。

0171

補正パラメータ算出部221は、この画像補正に必要となるパラメータを算出する。
画像補正部222は、補正パラメータ算出゛221の算出したパラメータを適用した画像補正処理を実行して、俯瞰画像を生成する。なお、画像補正部222の実行する画像補正処理には、入力画像F210Fに含まれる歪みを除去する歪み補正処理、画像の拡大縮小処理であるスケーリング処理、さらに、想定視点である車両上部から見た画像に変換する視点補正を伴う俯瞰変換処理が含まれる。
なお、補正パラメータ算出部221と、画像補正部222には、入力部203からの入力情報、車両ステータス情報取得部204から入力する車両ステータス情報が入力され、必要に応じてこれらの入力情報を適用したパラメータ算出、および画像補正を実行する。

0172

補正画像生成部F,220Fの画像補正部222は、生成した俯瞰画像、すなわち車両の前面のカメラF,202Fの撮影画像である入力画像F,210Fに基づいて生成した車両前面領域の俯瞰画像を画像合成部251に出力する。
また、補正画像生成部L,220Lは、車両の左側面のカメラL,202Lの撮影画像である入力画像L,210Lに基づいて車両左側面領域の俯瞰画像を生成して、画像合成部251に出力する。

0173

また、補正画像生成部R,220Rは、車両の右側面のカメラR,202Rの撮影画像である入力画像R,210Rに基づいて車両左側面領域の俯瞰画像を生成して、画像合成部251に出力する。
さらに、補正画像生成部B,220Bは、車両の背面のカメラB,202Bの撮影画像である入力画像B,210Bに基づいて車両背面領域の俯瞰画像を生成して、画像合成部251に出力する。

0174

画像合成部251は、これら4枚の俯瞰画像を入力して、表示部205に表示する合成画像を生成して表示部205に出力する。
画像合成部251は、先の各実施例において説明したように、各俯瞰画像の接合領域を時間推移に伴って表示画像を変更する移動する境界領域を有する構成とした合成画像を生成して表示部205に出力する。

0175

具体的には、例えば、
(a)図12等を参照して説明した矩形型の短冊領域を有し、矩形型短冊領域が時間推移に伴って移動する構成を有する接合領域を有する合成画像、
(b)図20等を参照して説明した湾曲型の短冊領域を有し、湾曲型短冊領域が時間推移に伴って移動する構成を有する接合領域を有する合成画像、
(c)図24等を参照して説明した画像の境界領域が時間推移に伴って右回転および左回転の交互の回転移動を繰り返す接合領域を有する合成画像、
これらのいずれかの構成を有する接合領域を含む合成画像を生成する。

0176

なお、画像合成部251における合成画像の生成に際しては、先に図27を参照して説明したレーザ照射パターンを各画像から検出して、検出したレーザ照射パターンを適用した位置合わせ処理を実行する。この処理を行なうことで、より高精度な画像位置合わせが可能となる。

0177

なお、画像合成部251は、合成画像中の接合領域内に表示する立体オブジェクト画像については、観察者に目につきやすい設定とした強調表示を行う構成としてもよい。この処理は、先に図13図18図25を参照して説明した処理である。
立体オブジェクトの検出には、先に説明したように接合する各画像の対応画素位置の画素値差分、例えば各画像の所定単位領域の複数の画素を単位として算出する差分絶対値和(SAD:Sum of Absolute Difference)が適用可能である。

0178

表示部205は、画像合成部251の生成した合成画像を表示する。
表示部205に表示される合成画像は、以下のいずれかの設定の接合領域を有する合成画像となる。
(a)図12等を参照して説明した矩形型の短冊領域を有し、矩形型短冊領域が時間推移に伴って移動する構成を有する接合領域を有する合成画像、
(b)図20等を参照して説明した湾曲型の短冊領域を有し、湾曲型短冊領域が時間推移に伴って移動する構成を有する接合領域を有する合成画像、
(c)図24等を参照して説明した画像の境界領域が時間推移に伴って右回転および左回転の交互の回転移動を繰り返す接合領域を有する合成画像、
表示部205には上記(a)〜(c)いずれかの接合領域を有する合成画像が表示され。

0179

この表示処理によって、接合領域に存在する立体オブジェクトを消失させることなく、確実に表示することが可能となり、観察者(運転者)に対して立体オブジェクトの存在を知らしめ、より安全な運転を促すことが可能となる。

0180

[8.本開示の構成のまとめ]
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

0181

なお、本明細書において開示した技術は、以下のような構成をとることができる。
(1) 異なる位置に配置した複数のカメラの撮影画像を個別に補正して複数の俯瞰画像を生成し、
生成した複数の俯瞰画像を接合して合成画像を生成する画像処理部を有し、
前記画像処理部は、
接合対象となる複数の俯瞰画像の表示領域を時間推移に伴って変化する設定とした接合領域を有する合成画像を生成する画像処理装置。

0182

(2)前記画像処理部は、接合対象となる第1の画像と第2の画像を短冊状に交互に設定し、短冊位置を時間推移に伴って変化する設定とした接合領域を有する合成画像を生成する前記(1)に記載の画像処理装置。

0183

(3)前記画像処理部は、接合対象となる第1の画像と第2の画像を矩形型、または湾曲型の短冊状に交互に設定する前記(2)に記載の画像処理装置。

0184

(4)前記画像処理部は、接合対象となる第1の画像と第2の画像の短冊幅を異なる幅に設定する前記(2)または(3)に記載の画像処理装置。

0185

(5)前記画像処理部は、接合対象となる第1の画像と第2の画像の境界位置を時間推移に伴って変化する設定とした接合領域を有する合成画像を生成する前記(1)〜(4)いずれかに記載の画像処理装置。

0186

(6)前記画像処理部は、接合対象となる第1の画像と第2の画像の境界位置を、所定点を中心として右回転と左回転を繰り返す設定とした接合領域を有する合成画像を生成する前記(5)に記載の画像処理装置。

0187

(7)前記画像処理部は、前記境界位置の右回転と左回転の速度を異なる設定とした接合領域を有する合成画像を生成する前記(6)に記載の画像処理装置。

0188

(8)前記画像処理部は、前記接合領域の表示情報中に立体オブジェクトが含まれる場合、該立体オブジェクトの一部または全体を強調表示した合成画像を生成する前記(1)〜(7)いずれかに記載の画像処理装置。

0189

(9)前記強調表示は、点滅表示、または、輝度、色彩の少なくともいずれかの変更表示処理である前記(8)に記載の画像処理装置。

0190

(10)前記画像処理部は、前記接合領域において接合する複数画像の所定領域単位の画素値の差分絶対値和(SAD:Sum of Absolute Difference)を適用して、立体オブジェクト検出を行う前記(9)に記載の画像処理装置。

0191

(11)前記画像処理装置は、前記カメラの撮影領域に特定パターンの校正基準パターンを照射する校正基準パターン照射部を有し、前記複数のカメラは、校正基準パターン照射領域を含む撮影画像を生成し、前記画像処理部は、前記合成画像の生成に際して、前記校正基準パターン照射領域を画像の位置合わせに適用した画像合成処理を実行する前記(1)〜(10)いずれかに記載の画像処理装置。

0192

(12)前記画像処理部の校正基準パターン照射部は、固体レーザ光源とパターン生成ホログラッフィクフィルタにより構成されている前記(11)に記載の画像処理装置。

0193

(13)前記画像処理装置は、前記カメラの撮影する各撮影フレームの撮影タイミングに応じて、撮影領域に校正基準パターンの照射を行う校正基準パターン照射部を有し、前記複数のカメラは、前記校正基準パターン照射タイミングに連動して画像撮影を行い、前記画像処理部は、撮影された複数の連続する画像フレームの差分から前記校正基準パターンの検出を実行し、前記合成画像の生成に際して、前記校正基準パターン照射領域を画像の位置合わせに適用した画像合成処理を実行する前記(1)〜(12)いずれかに記載の画像処理装置。

0194

(14)前記画像処理装置は、前記校正基準パターンを含む撮影画像を適用したカメラ調整処理としてのキャリブレーションを定期的または前記合成画像の生成時に実行する前記(1)〜(13)いずれかに記載の画像処理装置。

0195

(15)前記カメラは、車両の前後左右の各側面に配置されたカメラであり、前記画像処理部は、前記合成画像として、車両の周囲領域を車両上部から観察した俯瞰画像を生成する前記(1)〜(14)いずれかに記載の画像処理装置。

0196

(16)前記カメラは、広角レンズを有するカメラである前記(15)に記載の画像処理装置。

0197

(17)画像処理装置において実行する画像処理方法であり、
画像処理部が、異なる位置に配置した複数のカメラの撮影画像を個別に補正して複数の俯瞰画像を生成する処理と、
生成した複数の俯瞰画像を接合して合成画像を生成する合成画像生成処理を実行し、
前記画像処理部は、前記合成画像生成処理において、
接合対象となる複数の俯瞰画像の表示領域を時間推移に伴って変化する設定とした接合領域を有する合成画像を生成する画像処理方法。

0198

(18)画像処理装置において画像処理を実行させるプログラムであり、
画像処理部に、異なる位置に配置した複数のカメラの撮影画像を個別に補正して複数の俯瞰画像を生成する処理と、
生成した複数の俯瞰画像を接合して合成画像を生成する合成画像生成処理を実行させ、
前記合成画像生成処理において、
接合対象となる複数の俯瞰画像の表示領域を時間推移に伴って変化する設定とした接合領域を有する合成画像を生成させるプログラム。

0199

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

0200

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

0201

以上、説明したように、本開示の一実施例の構成によれば、立体オブジェクトを認識し易くした車両上部からの視点画像を生成して表示することが可能となる。
具体的には、車両の前後左右等、異なる位置に配置した複数のカメラの撮影画像を個別に補正して複数の俯瞰画像を生成し、生成した複数の俯瞰画像を接合して合成画像を生成する。画像処理部は、接合対象となる複数の俯瞰画像の表示領域を時間推移に伴って変化する設定とした接合領域を有する合成画像を生成する。例えば接合対象となる第1の画像と第2の画像を短冊状に交互に設定し、短冊位置を時間推移に伴って変化する設定とした接合領域を有する合成画像を生成する。
本構成により、立体オブジェクトが隣接画像合成範囲にある場合、表示画像として動体境界部を持つ画像が表示される結果、人の動体知覚神経を刺激する事で認識し易くした車両上部からの視点画像を生成して表示することが可能となる。

0202

10 車両
21〜24カメラ
30広角カメラ
31 被写体
32立体オブジェクト
70合成画像
101前面画像
102左側面画像
103接合領域
111 前面画像内立体オブジェクト
112 左側面画像内立体オブジェクト
161画像境界
171 前面画像内立体オブジェクト
172 左側面画像内立体オブジェクト
180レーザ校正基準パターン照射部
181 校正基準パターン
201画像処理部
202 カメラ
203 入力部
204車両ステータス情報取得部
205 表示部
210 制御部
211 レーザ校正基準パターン照射部
210入力画像
220補正画像生成部
221補正パラメータ算出部
222画像補正部
251画像合成部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ