図面 (/)

技術 画像処理装置及び画像処理方法

出願人 株式会社東芝東芝デバイス&ストレージ株式会社
発明者 小崎南羽西山学
出願日 2016年12月27日 (4年0ヶ月経過) 出願番号 2016-253950
公開日 2018年7月5日 (2年6ヶ月経過) 公開番号 2018-107699
状態 特許登録済
技術分野 スタジオ装置 画像処理
主要キーワード 歪み除去処理 アフィン変換回路 距離検出処理 歪みパラメータ 特徴点ペア パターンマッチング回路 特徴点マッチング 前方監視システム
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2018年7月5日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (10)

課題

画角若しくはラインスキャンの角速度が互いに異なる2つのカメラにより撮像して得られた2つの画像における画像の歪みを検出可能な画像処理装置を提供する。

解決手段

実施形態の画像処理装置1は、画角、若しくはラインスキャンの角速度が互いに異なる2つのカメラにより撮像された第1の画像と第2の画像において複数の特徴点を検出する特徴点検出部と、検出された複数の特徴点から、第1の画像と第2の画像間における複数の特徴点ペアを決定する特徴点ペア決定部と、第1の画像と第2の画像間の写像を示すパラメータを算出する写像パラメータ算出部と、第1パラメータから第1の画像及び第2の画像の歪みを示す第2パラメータを求める歪みパラメータ算出部と、を有する。

概要

背景

従来より、ステレオカメラなど、2つのカメラを用いた画像処理システムがある。ステレオカメラは、視差を利用したステレオマッチングなどにより、物体までの距離の推定などが可能である。

しかし、このようなシステムにおいて、2つのカメラの、光学系やラインスキャン速度が互いに異なっていたりすると、距離の推定精度の低下などの問題がある。

例えば、2つのカメラにおいて、画角が互い異なっていたり、ローリングシャッターのようにライン毎の露光タイミングが異なっていたり、等する場合、実空間を撮像したときに、2つの画像間で画像の歪みが異なる。歪みが異なる2つの画像を用いて、ステレオマッチングなどを行うと、距離の推定精度が低下したり、ステレオマッチング処理が正しくできなくなる虞がある。

また、画像の歪みを検出するために、加速度センサなどを用いる技術も提案されているが、加速度センサなどを用いることは、コストの面から好ましくない。

概要

画角若しくはラインスキャンの角速度が互いに異なる2つのカメラにより撮像して得られた2つの画像における画像の歪みを検出可能な画像処理装置を提供する。実施形態の画像処理装置1は、画角、若しくはラインスキャンの角速度が互いに異なる2つのカメラにより撮像された第1の画像と第2の画像において複数の特徴点を検出する特徴点検出部と、検出された複数の特徴点から、第1の画像と第2の画像間における複数の特徴点ペアを決定する特徴点ペア決定部と、第1の画像と第2の画像間の写像を示すパラメータを算出する写像パラメータ算出部と、第1パラメータから第1の画像及び第2の画像の歪みを示す第2パラメータを求める歪みパラメータ算出部と、を有する。

目的

特開2006−186885号公報






そこで、実施形態は、画角若しくはラインスキャンの角速度が互いに異なる2つのカメラにより撮像して得られた2つの画像における歪みを検出可能な画像処理装置を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

画角、若しくはラインスキャンの角速度が互いに異なる2つのカメラにより撮像された第1の画像と第2の画像において複数の特徴点を検出する特徴点検出部と、検出された前記複数の特徴点から、前記第1の画像と前記第2の画像間における複数の特徴点ペアを決定する特徴点ペア決定部と、前記第1の画像と前記第2の画像間の写像を示す第1パラメータを算出する写像パラメータ算出部と、前記第1パラメータから前記第1の画像及び前記第2の画像の歪みを示す第2パラメータを求める歪みパラメータ算出部と、を有する画像処理装置

請求項2

前記第1の画像は、第1の画角を有する第1の光学系により得られた画像であり、前記第2の画像は、前記第1の画角とは異なる第2の光学系により得られた画像である請求項1に記載の画像処理装置。

請求項3

前記第2パラメータは、せん断変形の強さを示すパラメータ及び前記ラインスキャン方向の伸び縮みの強さを表わすパラメータの少なくとも1つである請求項1又は2に記載の画像処理装置。

請求項4

前記第2パラメータを用いて、前記第1の画像と前記第2の画像の歪みを除去する歪み除去部を有する請求項1から3のいずれか1つに記載の画像処理装置。

請求項5

前記第1の画像と前記第2の画像に対するパターンマッチング及びステレオマッチングの少なくとも一方を行うマッチング部を有し、前記マッチング部の前記パターンマッチング及び前記ステレオマッチングの前記少なくとも一方のマッチング結果を出力する請求項1から5のいずれか1つに記載の画像処理装置。

請求項6

画角、若しくはラインスキャンの角速度が互いに異なる2つのカメラにより撮像された第1の画像と第2の画像において複数の特徴点を検出し、検出された前記複数の特徴点から、前記第1の画像と前記第2の画像間における複数の特徴点ペアを決定し、前記第1の画像と前記第2の画像間の写像を示す第1パラメータを算出し、算出された前記写像パラメータから前記第1の画像及び前記第2の画像の歪みを示す第2パラメータを求める、画像処理方法

技術分野

0001

本発明の実施形態は、画像処理装置及び画像処理方法に関する。

背景技術

0002

従来より、ステレオカメラなど、2つのカメラを用いた画像処理システムがある。ステレオカメラは、視差を利用したステレオマッチングなどにより、物体までの距離の推定などが可能である。

0003

しかし、このようなシステムにおいて、2つのカメラの、光学系やラインスキャン速度が互いに異なっていたりすると、距離の推定精度の低下などの問題がある。

0004

例えば、2つのカメラにおいて、画角が互い異なっていたり、ローリングシャッターのようにライン毎の露光タイミングが異なっていたり、等する場合、実空間を撮像したときに、2つの画像間で画像の歪みが異なる。歪みが異なる2つの画像を用いて、ステレオマッチングなどを行うと、距離の推定精度が低下したり、ステレオマッチング処理が正しくできなくなる虞がある。

0005

また、画像の歪みを検出するために、加速度センサなどを用いる技術も提案されているが、加速度センサなどを用いることは、コストの面から好ましくない。

先行技術

0006

特開2006−186885号公報

発明が解決しようとする課題

0007

そこで、実施形態は、画角若しくはラインスキャンの角速度が互いに異なる2つのカメラにより撮像して得られた2つの画像における歪みを検出可能な画像処理装置を提供することを目的とする。

課題を解決するための手段

0008

実施形態の画像処理装置は、画角、若しくはラインスキャンの角速度が互いに異なる2つのカメラにより撮像された第1の画像と第2の画像において複数の特徴点を検出する特徴点検出部と、検出された前記複数の特徴点から、前記第1の画像と前記第2の画像間における複数の特徴点ペアを決定する特徴点ペア決定部と、前記第1の画像と前記第2の画像間の写像を示すパラメータを算出する写像パラメータ算出部と、前記第1パラメータから前記第1の画像及び前記第2の画像の歪みを示す第2パラメータを求める歪みパラメータ算出部と、を有する。

図面の簡単な説明

0009

本実施形態に係わる画像処理装置のブロック図である。
本実施形態に係わる画像処理装置が搭載される対象の例を示す図である。
本実施形態に係わる、実空間に対するカメラC1とC2により撮像される領域を示す図である。
本実施形態に係わる、広角用のカメラC1により得られた画像WGと狭角用のカメラC2により得られた画像NGの関係を示す図である。
本実施形態に係わる、カメラC1とC2が撮像中に下方向へ撮像方向を変更したときの、カメラC1とC2により撮像される範囲を示す図である。
本実施形態に係わる、カメラC1とC2が撮像中に下方向へ撮像方向を変更したときの、広角用のカメラC1により得られた画像WG1と狭角用のカメラC2により得られた画像NG1の例を示す図である。
本実施形態に係わる、カメラC1とC2が撮像中に右方向に撮像方向を変更したときのカメラC1とC2により撮像される範囲を示す図である。
本実施形態に係わる、カメラC1とC2が撮像中に右方向に撮像方向を変更したときの、広角用のカメラC1により得られた画像WG2と狭角用のカメラC2により得られた画像NG2の例を示す図である。
本実施形態に係わる、画像処理装置1の処理の流れの例を示すフローチャートである。

実施例

0010

以下、図面を参照して実施形態を説明する。

0011

(第1の実施形態)
(構成)
図1は、本実施形態に係わる画像処理装置のブロック図である。
画像処理装置1は、各々が画像信号を受信するインターフェース回路(以下、I/Fと略す)11及び12、画像取得回路13、中央処理装置(以下、CPUと略す)14、DRAM15、画像処理プロセッサ16、パターンマッチング回路17、ステレオマッチング回路18、アフィン変換回路19、及び出力用のI/F20を含む。画像取得回路13、CPU14、DRAM15、画像処理プロセッサ16、パターンマッチング回路17、ステレオマッチング回路18、アフィン変換回路19、及びI/F20は、バス21に接続され、互いにデータの送受信が可能となっている。

0012

画像処理装置1は、例えば自動車(以下、車という)などに搭載された2つのカメラC1、C2からの映像信号である画像信号を入力し、所定の画像認識処理を行って、認識結果情報を出力する半導体装置である。

0013

I/F11は、第1のカメラC1からシリアル伝送される画像信号を入力し、画像信号を画像取得回路13へ出力する。
I/F12は、第2のカメラC2からシリアル伝送される画像信号を入力し、画像信号を画像取得回路13へ出力する。

0014

画像取得回路13は、CPU14による制御の下、I/F11,12から2つの画像信号を取得して、DRAM15に格納する。
CPU14は、取得された2つの画像信号に対して所定の処理を施して所定の出力信号を出力するように、画像処理回路1内の各回路を制御する制御回路である。CPU14は、各種動作プログラムを格納するROM、及び作業用のRAMを含む。CPU14は、ROMに格納された所定のプログラムを実行することにより、画像処理全体の処理、及び後述するような連立方程式解くなどの演算を行う。

0015

DRAM15は、2つの画像信号を格納したり、各回路の処理結果のデータを格納したりするための主メモリである。
なお、ここでは、DRAM15は、画像処理装置1の半導体チップ内に含まれているが、画像処理装置1の半導体チップとは別のチップで、バス21に接続されていてもよい。

0016

画像処理プロセッサ16は、特徴点検出回路16a及び特徴点マッチング回路16bを含む。特徴点検出回路16aは、CPU14による制御の下、各画像の特徴点を検出する。特徴点マッチング回路16bは、CPU14による制御の下、2つの画像において、検出された特徴点のマッチングを行う。

0017

パターンマッチング回路17とステレオマッチング回路18が、マッチング部として、画像処理装置1内に設けられている。
パターンマッチング回路17は、所定の対象物を認識するための回路である。例えば人、車などの対象物を認識し、認識結果をDRAM15に出力する。パターンマッチング回路17は、歪み補正された2つの画像に対して、パターンマッチングを行い、パターンマッチングの結果の情報を出力する。

0018

ステレオマッチング回路18は、得られた画像中の任意の点、あるいは認識された物体までのカメラC1,C2からの距離を演算して求める。ステレオマッチング回路18は、歪み補正された2つの画像に対して、ステレオマッチングを行い、ステレオマッチングの結果の情報を出力する。

0019

なお、本実施形態では、画像処理装置1は、パターンマッチング回路17とステレオマッチング回路18の両方を有しているが、パターンマッチング回路17とステレオマッチング回路18のいずれか1つを有していてもよい。

0020

アフィン変換回路19は、画像の歪みを除去するためのアフィン変換処理を実行する。
I/F20は、他のシステムとのネットワーク(N/W)等に接続されている。I/F20は、マッチング部のマッチング結果を出力する回路である。I/F20を介して、人などの認識された対象の情報、認識された対象までの距離の情報が出力される。ネットワークには、車の制御装置が接続されている。車の制御装置は、画像処理装置1からの情報を用いて、車の制御を行う。

0021

図2は、画像処理装置が搭載される対象の例を示す図である。
画像処理装置1は、ここでは車Xに、前方監視システムの一部として搭載される。車Xには、互いに画角が異なるカメラC1,C2が搭載され、そのカメラC1とC2からの画像信号が画像処理装置1に入力される。

0022

カメラC1とC2は、互いに焦点距離及び画角が異なる光学系を有する。カメラC1は、画角θ1の第1の光学系を有し、カメラC2は、カメラC1の画角θ1よりも小さい画角θ2の第2の光学系を有する。

0023

カメラC1は、車から近くの障害物、横からの人の飛び出しなどを検知するために用いられる。カメラC2は、遠方の所定の範囲を撮像するための光学系を有し、遠方の障害物などを検知するために用いられる。

0024

以下、カメラC1によって得られる画像は、広角画像と、カメラC2によって得られる画像は、狭角画像ともいう。広角画像及び狭角画像の各々に対して、パターンマッチング処理により、障害物などの認識処理などが行われる。

0025

さらに、カメラC1とC2の両方において撮像される領域では、ステレオ計測により物体までの距離の検出が可能となっている。広角画像及び狭角画像の重なる画像領域については、ステレオマッチング処理により、パターンマッチングにより認識された障害物などまでの距離が検出される。

0026

各カメラC1,C2は、CMOSイメージセンサなどのX−Yアドレス型の固体撮像素子を有し、ローリングシャッター方式で画像信号を出力する。
ローリングシャッター方式の撮像センサでは画素ラインごとに撮像のタイムラグがあることからパンニングにより撮影画像せん断変形してしまう、チルティングにより撮影画像が縦に伸び縮みしてしまうなどの問題が生じる。これらの画像の歪みは通称ローリングシャッター歪みフォーカルプレーン歪みなどと呼称される。

0027

各カメラC1,C2の撮像素子は、複数の画素ラインを有する。カメラC1が、撮像領域画素ライン毎次々露光して広角画像を生成し、カメラC2が、カメラC1の撮像領域よりも狭い撮像領域を画素ライン毎に次々に露光して狭角画像を生成する。

0028

各カメラC1、C2は、画素ラインに直交する方向に露光ラインを移動させるラインスキャンを行うことによって、実空間の撮像領域を撮像する。
例えば、2つのカメラC1とC2における撮像素子が同じタイプの撮像素子で、露光時間などのパラメータも同じであるとき、広角のカメラC1の方が、カメラC2よりも速い速度で露光ラインに対応する実空間が移動することになる。すなわち、カメラC1の撮像領域は、カメラC2の撮像領域よりも、速い速度で撮像される。

0029

いわゆるヘテロステレオカメラであるカメラC1とC2により得られる画像には、レンズ歪曲収差による歪みと、ローリングシャッター歪みが含まれるが、以下、ローリングシャッター歪みについて説明する。

0030

図3及び図4は、広角用のカメラC1と狭角用のカメラC2により撮像される範囲を説明するための図である。図3は、実空間に対するカメラC1とC2により撮像される領域を示す図である。

0031

図3に示す実空間OGにおいて、カメラC1は、実空間OG内の領域WAを撮像し、カメラC2は、領域WA中の領域NAを撮像するように、カメラC1とC2は、設置される。

0032

図4は、画像WGと画像NGの関係を示す図である。画像WGは、カメラC1により得られた領域WAの画像であり、画像NGは、カメラC2により得られた領域NAの画像である。画像NGは、カメラC1とは異なる視差で領域NAを撮像して得られた画像である。

0033

カメラC1とC2が搭載された車Xが走行中に上下方向に揺れたり、左あるいは右方向に進路を変更したりする場合がある。このとき、各カメラC1,C2により得られる画像において、ローリングシャッター歪みが発生する。

0034

まず、カメラC1とC2が縦揺れした場合について説明する。図5は、カメラC1とC2が撮像中に下方向へ撮像方向を変更したときのカメラC1とC2により撮像される範囲を示す図である。図6は、カメラC1とC2が撮像中に下方向へ撮像方向を変更したときの、広角用のカメラC1により得られた画像WG1と狭角用のカメラC2により得られた画像NG1の例を示す図である。

0035

例えば、車Xが縦に揺れると、カメラC1とC2はチルトして、撮像される領域は、上下方向に広がる。図5に示すように、カメラC1とC2は、それぞれ上下方向に伸びた領域WA1、NA1を撮像する。そのため、画像WG1とNG1は、図6に示すように、被写体像が上下方向に圧縮され歪んだ画像となる。画像WG1と画像NG1では、画像が縦方向に縮む現象は共に現れるが、度合いは、互いに異なる。

0036

また、カメラC1とC2が左右方向に撮像方向を変更した場合は、あたかもカメラC1とC2を左方向あるいは右方向にパンした場合と同じである。図7は、カメラC1とC2が撮像中に右方向に撮像方向を変更したときに撮像される範囲を示す図である。図8は、カメラC1とC2が撮像中に右方向に撮像方向を変更したときの、画像WG2と画像NG2の例を示す図である。

0037

例えば、車Xが急ハンドルにより右方向へ曲がると、カメラC1とC2をパンしたようになるため、撮像される領域WA2、NA2にある被写体像は菱形に変形する。図7に示すように、カメラC1とC2は、右方向に移動しながら領域を撮像する。そのため、画像WG2とNG2は、図8に示すように、被写体像が斜めに歪んだ画像となる。

0038

図6図8に示すような歪んだ画像に基づいて、物体認識のためのパターン認識をしたり、あるいは距離検出のためのステレオマッチングをしようとしても、認識あるいは検出において誤差が大きくなったり、認識あるいは検出ができなくなってしまうという問題が生じる。

0039

そこで、本実施形態の画像処理装置は、これらの歪みを補正する補正パラメータを生成する。そして、画像処理装置は、その補正パラメータを用いて、歪んだ画像を補正して、ローリングシャッター歪みのない画像を生成することができる。ローリングシャッター歪みのない画像に基づいて、パターンマッチングあるいはステレオマッチングを行うので、認識あるいは検出において誤差が大きくなることなく、認識あるいは検出ができなくなってしまうこともなくなる。
(画像処理の説明)
ある点から見える実空間におけるP点の位置を(x、y)とする。点PがカメラC1の画像上において写像されたPw点の位置を(xw、yw)とするとき、点Pと点Pwの座標変換式は、次のアフィン変換の式(1)となる。

ここで、Awは、ローリングシャッター歪みに対応する変換行列である。sは、せん断変形の強さを表すパラメータであり、tは、縦方向、すなわちラインスキャン方向の伸び縮みの強さを表すパラメータである。また、c1は、x軸方向における平行移動量値であり、c2は、y軸方向における平行移動量値である。なお、c1、c2は、0でもよい。

0040

同様に、点PがカメラC2の画像上において写像されたPn点の位置を(xn、yn)とするとき、点Pと点Pnの座標変換式は、次のアフィン変換の式(2)となる。

ここで、Cは、カメラC1,C2の撮像素子の分解能の違いに対応するための変換行列であり、Anは、ローリングシャッター歪みに対応するための変換行列である。また、c3は、x軸方向における平行移動量値であり、c4は、y軸方向における平行移動量値である。なお、c3、c4は、0でもよい。

0041

rwは、水平方向における、カメラC2に対するカメラC1の空間分解能の比であり、rhは、垂直方向における、カメラC2に対するカメラC1の空間分解能の比である。

0042

空間分解能とは、ここでは、1画素当たりの画角である。カメラC1とC2のイメージセンサ画素数(すなわち解像度)が同じである場合、画像全体の画角(視野)が大きいカメラの方が、1画素が受け持つ角度が大きくなるため空間分解能としては大きい値となる。例えば、カメラC1の画角(視野)を120度、カメラC2の画角を60度とし、撮像して得られる画素数が同じとすると、rw、rhはともに2となる。

0043

rlは、カメラC1とC2に同じ撮像素子を用い、露光時間などのパラメータを同じにした場合における、カメラC2に対するカメラC1の画角の比(θ1/θ2)であり、例えば、カメラC1の画角(視野)を120度、カメラC2の画角を60度としたとき、2となる。

0044

なお、ここでは、カメラC1,C2は画角が互いに異なるが、画角が同じ場合には、rlは、ラインごとに次々露光していくラインスキャンの角速度の比となる。すなわち、rlは、画素ラインに直交する方向におけるスキャン速度の比として、設定される。

0045

ここで、点Pw(xw、yw)と、点Pn(xn、yn)との位置関係をアフィン変換による線形変換モデル化すると、次の式(3)で表される。

ここで、Bは、変換行列である。式(3)はカメラC1とカメラC2により得られた2つの画像間の座標の関係を示している。なお、ここでは、行列B中のいくつかの成分が0又は1に設定されているが、これはパラメータの数を減らすことで解を安定的に求めるためであり、これらの値は、0又は1でなくてもよい。

0046

この行列Bの各成分の値は、実際に撮影して得られた画像から求めることができる。
まず、広角画像と狭角画像に対して特徴点検出処理を行い、検出された特徴点の間でマッチングを行う。特徴点検出処理は、特徴点検出回路16aにより実行され、特徴点マッチング処理は、特徴点マッチング回路16bにより実行される。

0047

この特徴点検出および特徴点マッチングの手法としては高速で精度の高い手法が望ましく、例えば、AKAZE Feature Descriptorを使用する。AKAZE Feature Descriptorについては、“Fast Explicit Diffusion for Accelerated Feature in Nonlinear Scale Spaces” Alcantarilla et al.British Machine Vision Conference(BMVC),Bristol,UK,September 2013に開示されている。なお、特徴点検出および特徴点マッチングの手法としては、これに限らず他の任意の手法を使用してもよい。

0048

よって、特徴点検出回路16a及び特徴点マッチング回路16bを用いて、実際に撮像された2つの画像における特徴点を検出し、検出された複数の特徴点の位置情報を用いて、行列Bの複数の成分の値を求めることができる。

0049

マッチングしたi(iは整数番目の特徴点ペアの広角画像と狭角画像それぞれの座標を(xwi,ywi)、(xni,yni)とする。特徴点ペアがN個見つかっているとし、各ペア座標値を式(3)に代入するとN個の方程式導出される。

0050

式(3)の場合、未知数は、B00〜B12の6つであるので、6つの連立方程式を解くことにより、6つの未知数が算出できる。Nが多数あるときは、連立方程式を最小二乗法により解くことで、行列Bの各成分の値を決定することができる。
行列Bが求まると、広角画像と狭角画像の変換式を求めることができる。

0051

なお、ここでは、行列Bは、特徴点検出と特徴点マッチングにより特徴点の位置を求め、複数の特徴点の位置情報を用いた広角画像と狭角画像の写像の関係式(3)の連立方程式を解くことによって、求められているが、他の手法により、求めてもよい。

0052

例えば、Lucas−Kanade法による繰り返し最適化法により、行列Bの各成分を求めてもよい。Lucas−Kanade法については、“Pyramidal impletation of the affine lucas kanade feature tracker description of the algorithm”,Bouguet 2001に開示されている。
さらになお、行列Bの成分中、拡大・縮小とせん断変形のみに限定するパラメータ拘束を行って、行列Bの各成分を求めてもよい。

0053

式(3)に、式(1)と(2)を代入すると、次の式(4)が得られ、式(5)が導出される。


未知数がs、tの2つであるのに対して、式(5)の左辺の第1行2列目と第2行2列目から合計2つの方程式が求まるので、その連立方程式を解くことによりs、tを求めることができる。sとtは、それぞれ次の式(6)と(7)により表わされる。


推定されたs、tを用いることにより、式(1)と(2)のそれぞれにおけるローリングシャッター歪みを除去することができる。具体的には、歪み除去後の画像平面を用意し、その画像平面上のxw、yw、xn、ynを算出し、それらの位置の画素データを取得して歪み除去後の画像の座標x、yに格納するという処理を、x、yを少しずつ変えながら、各x、yについて行うことにより、歪みのない広角画像と狭角画像を得ることができる。

0054

(作用)
次に、画像処理装置1の動作について説明する。
図9は、画像処理装置1の処理の流れの例を示すフローチャートである。画像処理装置1の全体の制御は、CPU14が行う。
CPU14が、画像取得回路13を制御して、広角画像と狭角画像を取得する(ステップ(以下、Sと略す)1)。広角画像と狭角画像の2つのフレーム画像信号は、画像取得回路13からバス21を介してDRAM15に格納される。

0055

CPU14は、画像処理プロセッサ16を制御して、各画像信号の特徴点の検出を行い(S2)、特徴点間のマッチングを行い、複数の特徴点ペアを決定する(S3)。
具体的には、2つの画像信号は、バス21を介して画像処理プロセッサ16に転送される。特徴点検出回路16aは、画像信号各々の特徴点の検出を行う(S2)。検出された複数の特徴点情報はバス21を介してDRAM15に書き込まれる。特徴点マッチング回路16bは、検出された複数の特徴点に対してマッチングを行う。特徴点マッチング回路16bは、マッチングの結果から、2つの画像間における複数の特徴点ペアの決定処理を行う(S3)。検出された複数の特徴点ペア情報はバス21を介してDRAM15に書き込まれる。

0056

よって、S2の処理が、画角(若しくはラインスキャンの角速度)が互いに異なる2つのカメラにより撮像された第1の画像と第2の画像において複数の特徴点を検出する特徴点検出部を構成する。S3の処理が、検出された複数の特徴点から、第1の画像と第2の画像間における複数の特徴点ペアを決定する特徴点ペア決定部を構成する。

0057

CPU14は、複数の特徴点ペアの座標に基づいた連立方程式から行列Bを算出する(S4)。CPU14は、その連立方程式を解くためのプログラムを実行して行列Bを算出する。具体的には、CPU14は、複数の特徴点ペアの座標を式(3)に代入して、得られた連立方程式を解き、行列Bの各成分を算出する。その結果、第1の画像と第2の画像間の写像パラメータである行列Bの各成分の値が得られる。よって、S4の処理は、第1の画像と第2の画像間の写像パラメータを算出する写像パラメータ算出部を構成する。

0058

次に、CPU14は、s、tを算出する(S5)。CPU14は、式(6)、(7)の演算を実行するためのプログラムを実行してs、tを算出する。すなわち、S5の処理が、算出された写像パラメータから第1の画像及び第2の画像の歪みを示すパラメータであるs、tを求める歪みパラメータ算出部を構成する。

0059

そして、CPU14は、アフィン変換回路19を制御して、算出されたs、tを用いて、2つの画像の歪みを除去する(S6)。具体的には、アフィン変換回路19は、算出されたs、tと、式(1)と式(2)に基づいて補正パラメータを生成して、2つの画像の歪みを除去する。歪みのない画像データは、DRAM15に書き込まれる。よって、CPU14とアフィン変換回路19が、歪みを示すパラメータであるs、tを用いて、広角画像と狭角画像の歪みを除去する歪み除去部を構成する。

0060

CPU14は、パターンマッチング処理を行い(S7)、パターンマッチングの情報を用いてステレオマッチング処理を行う(S8)。
具体的には、CPU14は、パターンマッチング回路17を制御して、歪みのない2つの画像データのパターンマッチング処理を行う。広角画像及び狭角画像の各々に対して、パターンマッチング処理を行い、人、障害物などの認識処理が行われる。

0061

CPU14は、ステレオマッチング回路18を制御して、パターンマッチング処理の結果の一部を用いて、ステレオマッチング処理を行う。広角画像及び狭角画像の重なっている画像領域に対して、ステレオマッチング処理を行い、パターン認識された人、障害物などまでの距離検出処理が行われる。

0062

CPU14は、マッチング情報を出力する(S9)。マッチング情報は、パターンマッチング処理の結果であるパターンマッチング情報及びステレオマッチング処理の結果であるステレオマッチング情報を含む。マッチング情報はI/F20を介して出力される。すなわち、CPU14は、パターンマッチング情報及びステレオマッチング情報をI/F20を介して、画像処理装置1とは別の、車の制御装置へ送信する。すなわち、CPU14は、障害物、人などの認識情報、及び認識された障害物などまでの距離情報を、車の制御装置へ送信する。

0063

なお、CPU14は、マッチング情報を出力するとき、パターンマッチング情報及びステレオマッチング情報の少なくとも一方を出力するようにしてもよい。

0064

車の制御装置は、歪みのない2つの画像を用いてパターンマッチング及びステレオマッチングにより得られた、より精度の高い認識情報及び検出情報を得ることができるので、より確実な車の制御を行うことができる。

0065

以上のように、本実施形態によれば、画角若しくはラインスキャンの角速度が互いに異なる2つのカメラにより撮像して得られた画像における歪みを検出可能な画像処理装置及び画像処理方法を提供することができる。
また、画像の歪み量を検出するための加速度センサなどのハードウエアも必要としないでので、コストの上昇も抑制することができる。

0066

なお、本実施形態では、2つのカメラの2つの画像における歪みを検出しているが、本実施形態は、3つ以上のカメラの3つ以上の画像における歪みを検出する場合にも適用することができる。例えば、3つの画像の場合、2つの画像間の歪みを検出し、その検出された歪みパラメータを基準に、残りの画像の歪みを検出することができる。

0067

さらになお、本実施形態では、算出されたs、tを用いて画像の歪み除去処理(S6)を行っているが、s、tのそれぞれの閾値を予め設定しておき、算出されたs、tの少なくとも1つあるいは両方が閾値以上のときは、歪み除去処理を実行しないでS6以降の処理を停止するようにしてもよい。すなわち、歪みを示すパラメータが所定の閾値以上のとき、歪み除去部であるアフィン変換回路19は、第1の画像と第2の画像の歪みの除去を行わない。入力されるフレーム画像についてのs、tが閾値より小さくなったときに、S6以降の処理を行えばよい。

0068

これは、s、tが閾値以上である画像は、その後の画像処理には、不適切と考えられるからである。s、tが閾値以上である画像は、歪みの除去処理を行っても品質が低下していることがあり、品質の低下している画像を活用して画像認識処理を実施すると認識精度の低下を招く虞がある。

0069

よって、s、tが閾値以上である画像に対して歪み除去処理及びマッチング処理を実行しないため、画像認識処理の精度低下を防ぐことができる。

0070

また、本実施形態では、画像処理装置1において、歪みのない、広角画像と狭角画像が生成されているが、画像処理装置1とは別の制御回路、チップなどにより、S6の処理を行うようにしてもよい。

0071

さらにまた、本実施形態では、画像処理装置1において、パターンマッチング処理とステレオマッチング処理が行われているが、画像処理装置1とは別の制御回路、チップなどで、S7、S8の少なくとも一方の処理を行うようにしてもよい。

0072

よって、S6からS8の処理の少なくとも1つは、画像処理装置1とは別の制御回路、チップなどで行うようにしてもよい。S6からS8の処理の全てが、画像処理装置1とは別の制御回路、チップなどで行われる場合には、画像処理装置1は、s、tの情報を出力するだけでもよい。その場合、画像処理装置1は、ローリングシャッター方式で撮像された画像の歪みを推定する装置となる。

0073

また、本実施形態では、画像処理装置1は、車用の前方監視システムのための装置であるが、前方監視以外の用途にも適用可能であり、さらに車以外の用途で、ステレオビデオカメラ、ステレオデジタルスチルカメラなどにも適用可能である。

0074

本明細書における各「部」は、実施形態の各機能に対応する概念的なもので、必ずしも特定のハードウエアやソフトウエアルーチンに1対1には対応しない。従って、本明細書では、以下、実施形態の各機能を有する仮想回路ブロック(部)を想定して実施形態を説明した。また、本実施形態における各手順の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。さらに、本実施形態における各手順の各ステップの全てあるいは一部をハードウエアにより実現してもよい。

0075

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として例示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

0076

1画像処理装置、11、12、インターフェース、13画像取得回路、14 CPU、15DRAM、16画像処理プロセッサ、16a特徴点検出回路、16b特徴点マッチング回路、17パターンマッチング回路、18ステレオマッチング回路、19アフィン変換回路、20 インターフェース、21バス。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ