図面 (/)

技術 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム

出願人 株式会社リコー
発明者 仲維渡邊義一横田聡一郎齊藤樹一郎田村亮輔
出願日 2015年1月5日 (5年2ヶ月経過) 出願番号 2015-000312
公開日 2015年10月8日 (4年5ヶ月経過) 公開番号 2015-179063
状態 特許登録済
技術分野 光学的距離測定 画像処理 イメージ分析
主要キーワード 導出装置 比較位置 ステアリング系統 所定領域単位 物体認識システム 比較画像内 サブピクセル推定 耕運機
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2015年10月8日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (19)

課題

画像処理負荷を低減し、視差値導出する時間を短縮することができる視差値導出装置機器制御システム、移動体ロボット、視差値導出方法、およびプログラムを提供する。

解決手段

コスト算出部310は、基準画像における所定の基準画素、および、基準画素に対する比較画像におけるエピポーラ線上の対応画素の候補である候補画素各輝度値に基づいて、基準画素に対する対応画素の各候補画素のコスト値Cを算出する。コスト算出部310は、比較画像における候補画素のコスト値Cを算出するために用いるシフト量として、所定のシフト量の範囲から、所定の方式によって値を間引くことによって得られた飛び飛びのシフト量を含むシフト量間引き特徴量に含まれるシフト量を用いてコスト値Cを算出する。

概要

背景

近年、自動車間の距離、または自動車障害物との間の距離を測定することにより自動車の衝突防止を図る車載システムが一般的に利用されてきている。そのような距離を測定する方法として、ステレオカメラを用い、三角測量の原理を用いたステレオマッチング処理が用いられている。ステレオマッチング処理とは、ステレオカメラの2つのカメラのうち、一方のカメラで撮像された基準画像と、他方のカメラで撮像された比較画像との間で対応する画素マッチングすることにより視差を求め、視差からステレオカメラと、画像に含まれる物体との距離を算出する処理である。このようなステレオカメラを用いたステレオマッチング処理による物体との距離の算出により、各種認識処理、ならびに衝突防止のためのブレーキ制御および操舵制御が可能となる。

上述のようなステレオマッチング処理として、画像間の類似性を評価するために、比較する画像から領域を切り出し、その領域に対する輝度差の総和(SAD:Sum of Absolute Difference)、輝度差の2乗和SSD:Sum of Squared Difference)、および正規化相互相関(ZNCC:Zero−mean Normalized Cross−Correlation)等を求めるブロックマッチング法がある。しかし、画像における物体の輝度変化量を示すテクスチャが弱い部分では、画像としての特徴を抽出することが困難であり、ブロックマッチング法によっては、精度の高い視差を得ることができない場合がある。そこで、正確な視差を導出する方法として、基準画像上の基準画素に対する比較画像上の画素のコスト値だけではなく、比較画像上の画素の周囲の画素のコスト値を集約して、テクスチャが弱い物体に対する視差を導出する技術が提案されている(特許文献1参照)。

概要

画像処理負荷を低減し、視差値を導出する時間を短縮することができる視差値導出装置機器制御システム、移動体ロボット、視差値導出方法、およびプログラムを提供する。コスト算出部310は、基準画像における所定の基準画素、および、基準画素に対する比較画像におけるエピポーラ線上の対応画素の候補である候補画素各輝度値に基づいて、基準画素に対する対応画素の各候補画素のコスト値Cを算出する。コスト算出部310は、比較画像における候補画素のコスト値Cを算出するために用いるシフト量として、所定のシフト量の範囲から、所定の方式によって値を間引くことによって得られた飛び飛びのシフト量を含むシフト量間引き特徴量に含まれるシフト量を用いてコスト値Cを算出する。

目的

本発明は、上記に鑑みてなされたものであって、画像処理の負荷を低減し、視差値を導出する時間を短縮することができる視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラムを提供する

効果

実績

技術文献被引用数
0件
牽制数
1件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

第1の撮像位置から撮像された基準画像における基準領域と、第2の撮像位置から撮像された比較画像における、前記基準領域に対応する対応領域を含む指定の範囲内の複数の領域各々と、の一致度を取得する取得手段と、前記取得手段により取得された、前記基準画像における所定の基準領域の周辺の基準領域の一致度と、前記基準画像における前記所定の基準領域の一致度と、を合成する合成手段と、前記合成手段により合成された一致度に基づいて、前記所定の基準領域および前記所定の基準領域に対応する対応領域において撮像されている対象の視差値導出する導出手段と、を備え、前記指定の範囲内の複数の領域のうち少なくとも一部は、所定方向において最も近い領域は2画素以上ずれている視差値導出装置

請求項2

第1撮像手段が被写体を撮像することにより得られた基準画像、および第2撮像手段が前記被写体を撮像することにより得られた比較画像に基づいて、前記被写体に対する視差を示す視差値を導出する視差値導出装置であって、前記基準画像における第1基準領域の輝度値と、前記第1基準領域に基づく前記比較画像におけるエピポーラ線上で、前記第1基準領域の位置に相当する領域から、所定のシフト範囲から所定のシフト量を間引くことにより得られたシフト量を含む特徴量に含まれる前記各シフト量でシフトすることにより特定される、前記第1基準領域に対応する前記比較画像の対応領域の候補となる複数の候補領域の輝度値と、に基づいて前記複数の候補領域それぞれの一致度を算出することにより取得する取得手段と、前記第1基準領域の周辺の第2基準領域についての前記比較画像における一致度を、前記特徴量に含まれる前記シフト量に基づいて前記候補領域の一致度に集約させて、前記各候補領域の合成された一致度を算出する合成手段と、前記比較画像における前記各候補領域の前記合成された一致度のうち第1極値に対応する前記シフト量に基づいて、前記視差値を導出する導出手段と、を備えた視差値導出装置。

請求項3

前記特徴量は、含まれる前記シフト量を昇順に並べた場合、前記シフト量の値が大きくなるほど、隣接する前記シフト量間の値の差が大きくなるように構成された請求項2に記載の視差値導出装置。

請求項4

前記特徴量は、前記視差値に基づいて定まる前記被写体までの距離についての所望の分解能に応じた前記シフト量によって構成された請求項3に記載の視差値導出装置。

請求項5

前記特徴量を予め記憶した記憶手段を、さらに備えた請求項2〜4のいずれか一項に記載の視差値導出装置。

請求項6

前記導出手段は、前記特徴量に含まれる前記シフト量のうち、前記第1極値に対応する前記シフト量を含む隣接した複数の前記シフト量に基づいて、サブピクセル推定により前記視差値を導出する請求項2〜5のいずれか一項に記載の視差値導出装置。

請求項7

前記導出手段は、前記特徴量に含まれる前記シフト量のうち、前記第1極値に対応する前記シフト量、および該シフト量に隣接する2つのシフト量と、前記シフト量に対応する前記合成された一致度とで定まる座標上の3点を通る2次曲線における第2極値に対応するサブピクセル単位のシフト量を前記視差値として導出する請求項6に記載の視差値導出装置。

請求項8

前記導出手段は、前記特徴量に含まれる前記シフト量のうち、前記第1極値に対応する前記シフト量を含む隣接した4つ以上のシフト量と、前記シフト量に対応する前記合成された一致度とで定まる座標上の4つ以上の点に対して、最小二乗法により定まる2次曲線における第3極値に対応するサブピクセル単位のシフト量を前記視差値として導出する請求項6に記載の視差値導出装置。

請求項9

請求項1〜8のいずれか一項に記載の視差値導出装置と、前記視差値導出装置によって導出される前記視差値により求まる前記視差値導出装置から被写体までの距離情報によって、制御対象を制御する制御装置と、を備えた機器制御システム

請求項10

請求項9に記載の機器制御システムを備えた移動体

請求項11

請求項9に記載の機器制御システムを備えたロボット

請求項12

第1の撮像位置から撮像された基準画像における基準領域と、第2の撮像位置から撮像された比較画像における、前記基準領域に対応する対応領域を含む指定の範囲内の複数の領域各々と、の一致度を取得する取得ステップと、取得した、前記基準画像における所定の基準領域の周辺の基準領域の一致度と、前記基準画像における前記所定の基準領域の一致度と、を合成する合成ステップと、合成した一致度に基づいて、前記所定の基準領域および前記所定の基準領域に対応する対応領域において撮像されている対象の視差値を導出する導出ステップと、を有し、前記指定の範囲内の複数の領域のうち少なくとも一部は、所定方向において最も近い領域は2画素以上ずれている視差値導出方法

請求項13

第1の撮像位置から撮像された基準画像における基準領域と、第2の撮像位置から撮像された比較画像における、前記基準領域に対応する対応領域を含む指定の範囲内における、少なくとも一部において所定方向の最も近い領域が2画素以上ずれている複数の領域各々と、の一致度を取得する取得手段と、前記取得手段により取得された、前記基準画像における所定の基準領域の周辺の基準領域の一致度と、前記基準画像における前記所定の基準領域の一致度と、を合成する合成手段と、前記合成手段により合成された一致度に基づいて、前記所定の基準領域および前記所定の基準領域に対応する対応領域において撮像されている対象の視差値を導出する導出手段と、をコンピュータに実現させるためのプログラム

請求項14

第1の撮像位置から撮像された基準画像における基準領域と、第2の撮像位置から撮像された比較位置における、前記基準領域に対応する対応領域を含む指定の範囲内であって不連続な複数の領域各々と、の一致度を取得する取得手段と、前記取得手段により取得された、前記基準画像における所定の基準領域の周辺の基準領域の一致度と、前記基準領域における前記所定の基準領域の一致度と、を合成する合成手段と、前記合成手段により合成された一致度に基づいて、前記所定の基準領域および前記所定の基準領域に対応する対応領域において撮像されている対象の視差値を導出する導出手段と、を備える視差値導出装置。

技術分野

0001

本発明は、視差値導出装置機器制御システム、移動体ロボット、視差値導出方法、およびプログラムに関する。

背景技術

0002

近年、自動車間の距離、または自動車障害物との間の距離を測定することにより自動車の衝突防止を図る車載システムが一般的に利用されてきている。そのような距離を測定する方法として、ステレオカメラを用い、三角測量の原理を用いたステレオマッチング処理が用いられている。ステレオマッチング処理とは、ステレオカメラの2つのカメラのうち、一方のカメラで撮像された基準画像と、他方のカメラで撮像された比較画像との間で対応する画素マッチングすることにより視差を求め、視差からステレオカメラと、画像に含まれる物体との距離を算出する処理である。このようなステレオカメラを用いたステレオマッチング処理による物体との距離の算出により、各種認識処理、ならびに衝突防止のためのブレーキ制御および操舵制御が可能となる。

0003

上述のようなステレオマッチング処理として、画像間の類似性を評価するために、比較する画像から領域を切り出し、その領域に対する輝度差の総和(SAD:Sum of Absolute Difference)、輝度差の2乗和SSD:Sum of Squared Difference)、および正規化相互相関(ZNCC:Zero−mean Normalized Cross−Correlation)等を求めるブロックマッチング法がある。しかし、画像における物体の輝度変化量を示すテクスチャが弱い部分では、画像としての特徴を抽出することが困難であり、ブロックマッチング法によっては、精度の高い視差を得ることができない場合がある。そこで、正確な視差を導出する方法として、基準画像上の基準画素に対する比較画像上の画素のコスト値だけではなく、比較画像上の画素の周囲の画素のコスト値を集約して、テクスチャが弱い物体に対する視差を導出する技術が提案されている(特許文献1参照)。

発明が解決しようとする課題

0004

しかしながら、特許文献1に記載された技術は、画像を構成する連続的に配置された画素ごとに、コスト値を集約した値を求めているので、メモリ消費量が高く、ステレオマッチング処理による画像処理負荷が大きくなる。したがって、リアルタイムに視差値により構成された視差画像を得ることが困難であるという問題点があった。

0005

本発明は、上記に鑑みてなされたものであって、画像処理の負荷を低減し、視差値を導出する時間を短縮することができる視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラムを提供することを目的とする。

課題を解決するための手段

0006

上述した課題を解決し、目的を達成するために、本発明は、第1の撮像位置から撮像された基準画像における基準領域と、第2の撮像位置から撮像された比較画像における、前記基準領域に対応する対応領域を含む指定の範囲内の複数の領域各々と、の一致度を取得する取得手段と、前記取得手段により取得された、前記基準画像における所定の基準領域の周辺の基準領域の一致度と、前記基準画像における前記所定の基準領域の一致度と、を合成する合成手段と、前記合成手段により合成された一致度に基づいて、前記所定の基準領域および前記所定の基準領域に対応する対応領域において撮像されている対象の視差値を導出する導出手段と、を備え、前記指定の範囲内の複数の領域のうち少なくとも一部は、所定方向において最も近い領域は2画素以上ずれていることを特徴とする。

発明の効果

0007

本発明によれば、画像処理の負荷を低減し、視差値を導出する時間を短縮することができる。

図面の簡単な説明

0008

撮像装置から物体までの距離を導き出す原理の説明図である。
(a)は基準画像、(b)は(a)に対する高密度視差画像、(c)は(a)に対するエッジ視差画像を示す概念図である。
(a)は基準画像における基準画素を示す概念図、(b)は(a)の基準画素に対して比較画像における対応画素の候補を順次シフトしながらシフト量を算出する際の概念図である。
シフト量毎のコスト値を示すグラフである。
合成コスト値を導き出すための概念図である。
視差値毎の合成コスト値を示すグラフである。
(a)は本発明の一実施形態に係る物体認識システムを搭載した自動車の側面を表す概略図、(b)は自動車の正面を示す概略図である。
物体認識システムの概観図である。
物体認識システムの全体のハードウェア構成図である。
図10は、本実施形態に係る視差値導出装置のブロック構成の一例を示す図である。
図11は、シフト量間引き特徴量を示す特徴量テーブルの一例を示す図である。
図12は、シフト量間引き特徴量のシフト量と、コスト値との関係を示すグラフである。
図13は、シフト量間引き特徴量のシフト量と、合成コスト値との関係を示すグラフである。
図14は、パラボラフィッティングによるサブピクセル推定を説明する図である。
図15は、最小二乗法によるサブピクセル推定を説明する図である。
図16は、サブピクセル推定を用いた高密度視差画像を示す概念図である。
図17は、本実施形態に係る視差値導出装置のステレオマッチング処理の動作フローの一例を示す図である。
図18は、本実施形態に係る機器制御システムを車両に搭載した例を示す図である。

実施例

0009

以下、図面を用いて、本発明の一実施形態について説明する。

0010

[SGM法を用いた測距方法の概略]
まず、図1乃至図6を用いて、SGM(Semi−Global Matching)法を用いた測距方法の概略について説明する。なお、SGM法に関しては、非特許文献(Accurate and Efficient Stereo Processing by Semi−Global Matching and Mutual Information)に開示されているため、以下では概略を説明する。

0011

(測距の原理)
図1を用いて、ステレオ画像法により、ステレオカメラから物体に対する視差を導き出し、この視差を示す視差値によって、ステレオカメラから物体までの距離を測定する原理について説明する。なお、図1は、撮像装置から物体までの距離を導き出す原理の説明図である。また、以下では、説明を簡略化するため、複数の画素からなる所定領域ではなく、一画素単位で説明する。なお、一画素単位ではなく、複数の画素からなる所定領域単位で処理される場合、基準画素を含む所定領域は基準領域として示され、対応画素を含む所定領域は対応領域として示される。また、この基準領域には基準画素のみの場合も含まれ、対応領域には対応画素のみの場合も含まれる。

0012

<視差値算出>
まず、図1で示される撮像装置10aおよび撮像装置10bによって撮像された各画像を、それぞれ基準画像Iaおよび比較画像Ibとする。なお、図1では、撮像装置10aおよび撮像装置10bが平行等位に設置されているものとする。図1において、3次元空間内の物体E上の点Sは、撮像装置10aおよび撮像装置10bの同一水平線上の位置に写像される。すなわち、各画像中の点Sは、基準画像Ia中の点Sa(x,y)および比較画像Ib中の点Sb(X,y)において撮像される。このとき、視差値Δは、撮像装置10a上の座標における点Sa(x,y)と撮像装置10b上の座標における点Sb(X,y)とを用いて、(式1)のように表される。

0013

Δ=X−x (式1)

0014

ここで、図1のような場合には、基準画像Ia中の点Sa(x,y)と撮像レンズ11aから撮像面上におろした垂線交点との距離をΔaにし、比較画像Ib中の点Sb(X,y)と撮像レンズ11bから撮像面上におろした垂線の交点との距離をΔbにすると、視差値Δ=Δa+Δbとなる。

0015

距離算出
また、視差値Δを用いることで、撮像装置10a、10bと物体Eとの間の距離Zを導き出すことができる。具体的には、距離Zは、撮像レンズ11aの焦点位置と撮像レンズ11bの焦点位置とを含む面から物体E上の特定点Sまでの距離である。図1に示されるように、撮像レンズ11aおよび撮像レンズ11bの焦点距離f、撮像レンズ11aと撮像レンズ11bとの間の長さである基線長B、および視差値Δを用いて、(式2)により、距離Zを算出することができる。

0016

Z=(B×f)/Δ (式2)

0017

この(式2)により、視差値Δが大きいほど距離Zは小さく、視差値Δが小さいほど距離Zは大きくなる。

0018

(SGM法)
続いて、図2乃至図6を用いて、SGM法を用いた測距方法について説明する。なお、図2(a)は基準画像、図2(b)は(a)に対する高密度視差画像、図2(c)は(a)に対するエッジ視差画像を示す概念図である。ここで、基準画像は、物体が輝度によって示された画像である。高密度視差画像は、SGM法によって、基準画像から導き出された画像であり、基準画像の各座標における視差値を示した画像である。エッジ視差画像は、従来から用いられているブロックマッチング法によって導き出された画像であり、基準画像のエッジ部のような比較的テクスチャの強い部分のみの視差値を示した画像である。

0019

SGM法は、テクスチャが弱い物体に対しても適切に上記視差値を導き出す方法であり、図2(a)に示されている基準画像に基づいて、図2(b)に示されている高密度視差画像を導き出す方法である。なお、ブロックマッチング法を用いた場合には、図2(a)に示されている基準画像に基づいて、図2(c)に示されているエッジ視差画像が導き出される。図2(b)および図2(c)における破線楕円内を比べると分かるように、高密度視差画像は、エッジ視差画像に比べてテクスチャが弱い道路等の詳細な情報を表すことができるため、より詳細な測距を行うことができる。

0020

このSGM法は、非類似度であるコスト値を算出して直ちに視差値を導出せず、コスト値を算出後、さらに、合成非類似度である合成コスト値(Synthesis Cost)を算出することで視差値を導出し、最終的にほぼ全ての画素における視差値を示す視差画像(ここでは、高密度視差画像)を導き出す方法である。なお、ブロックマッチング法の場合は、コスト値を算出する点はSGM法と同じであるが、SGM法のように、合成コスト値を算出せずに、エッジ部のような比較的テクスチャの強い部分の視差値のみを導出する。

0021

<コスト値の算出>
まず、図3および図4を用いて、コスト値C(p,d)の算出方法について説明する。図3(a)は基準画像における基準画素を示す概念図、図3(b)は(a)の基準画素に対して比較画像における対応画素の候補を順次シフトしながら(ずらしながら)コスト値を算出する際の概念図である。図4は、シフト量毎のコスト値を示すグラフである。ここで、対応画素は、基準画像内の基準画素に最も類似する比較画像内の画素である。なお、以降、C(p,d)は、C(x,y,d)を表すものとして説明する。

0022

図3(a)に示されているように、基準画像内の所定の基準画素p(x,y)と、この基準画素p(x,y)に対する比較画像内におけるエピポーラ線(Epipolar Line)EL上の複数の対応画素の候補q(x+d,y)との各輝度値に基づいて、基準画素p(x,y)に対する各対応画素の候補q(x+d,y)のコスト値C(p,d)が算出される。dは、基準画素pと対応画素の候補qのシフト量(ずれ量)であり、本実施形態では、画素単位のシフト量が表されている。すなわち、図3では、対応画素の候補q(x+d,y)を予め指定された範囲(例えば、0<d<25)において順次一画素分シフトしながら、対応画素の候補q(x+d,y)と基準画素p(x,y)との輝度値の非類似度であるコスト値C(p,d)が算出される。コスト値Cの算出方法としては、コスト値Cが非類似度を示す場合、SAD(Sum of Absolute Difference)等の公知の方法が適用される。

0023

このようにして算出されたコスト値C(p,d)は、図4に示されているように、シフト量d毎のコスト値Cの集まりであるコス曲線のグラフによって表すことができる。図4では、コスト値Cは、シフト量d=5,12,19の場合が0(ゼロ)となるため、最小値を求めることができない。このように、テクスチャが弱い物体の場合には、コスト値Cの最小値を求めることは困難になる。

0024

<合成コスト値の算出>
次に、図5および図6を用いて、合成コスト値Ls(p,d)の算出方法について説明する。図5は、合成コスト値を導き出すための概念図である。図6は、視差値毎の合成コスト値を示す合成コスト曲線のグラフである。

0025

本実施形態における合成コスト値の算出方法は、コスト値C(p,d)の算出だけでなく、所定の基準画素p(x,y)の周辺の画素を基準画素とした場合のコスト値を、基準画素p(x,y)におけるコスト値C(p,d)に集約させて、合成コスト値Ls(p,d)を算出する。

0026

次に、合成コスト値の算出方法について、より詳細に説明する。合成コスト値Ls(p,d)を算出するためには、まず、経路コスト値Lr(p,d)を算出する必要がある。(式3)は、経路コスト値Lr(p,d)を算出するための式であり、(式4)は、合成コスト値Lsを算出するための式である。

0027

Lr(p,d)=C(p,d)+min{(Lr(p−r,d),Lr(p−r,d−1)+P1,Lr(p−r,d+1)+P1,Lrmin(p−r)+P2} (式3)

0028

ここで、(式3)において、rは、集約方向方向ベクトルを示し、x方向およびy方向の2成分を有する。min{}は、最小値を求める関数である。Lrmin(p−r)は、pをr方向に1画素シフトした座標において、シフト量dを変化させた際のLr(p−r,d)の最小値を示す。

0029

なお、経路コスト値Lrは、(式3)に示されているように再帰的に適用される。また、P1およびP2は、予め実験により定められた固定パラメータであり、経路上で隣接する基準画素の視差値Δが連続になりやすいようなパラメータになっている。例えば、P1=48、P2=96である。

0030

また、(式3)に示されているように、経路コスト値Lr(p,d)は、基準画素p(x,y)におけるコスト値Cに、図5に示されているr方向の各画素における各画素の経路コスト値Lrの最小値を加算することで求められる。このように、r方向の各画素における経路コスト値Lrを求めるため、最初は、基準画素p(x,y)のr方向の一番端の画素から経路コスト値Lrが求められ、r方向に沿って経路コスト値Lrが求められる。そして、図5に示されているように、8方向のLr0、Lr45、Lr90、Lr135、Lr180、Lr225、Lr270、Lr315が求められ、最終的に(式4)に基づいて、合成コスト値Lsが求められる。

0031

このようにして算出された合成コスト値Ls(p,d)は、図6に示されているように、シフト量d毎に合成コスト値Ls(p,d)が示される合成コスト曲線のグラフによって表すことができる。図6では、合成コスト値Lsは、シフト量d=3の場合が最小値となるため、視差値Δ=3として算出される。なお、上記説明ではrの数を8として説明しているが、これに限られることはない。例えば、8方向を更に2つに分割して16方向、3つに分割して24方向等にしてもよい。また、コスト値Cは「非類似度」として示されているが、非類似度の逆数としての「類似度」として表されてもよい。この場合、コスト値Cの算出方法としては、NCC(Normalized Cross Correlation)等の公知の方法が適用される。また、この場合、合成コスト値Lsが最小ではなく「最大」となる視差値Δが導出される。なお、非類似度と類似度の両者を含めて、「一致度」として表してもよい。

0032

[本実施形態の具体的な説明]
以下、図面を用いて、本実施形態の具体的な説明を行う。ここでは、自動車に搭載される物体認識システム1について説明する。なお、物体認識システム1は、車両の一例としての自動車だけでなく、車両の他の例として、バイク自転車車椅子農業用耕運機等に搭載されることができてもよい。また、移動体の一例としての車両だけでなく、移動体の他の例として、ロボット等に搭載されることができてもよい。さらに、ロボットは、移動体だけでなく、FA(Factory Automation)において固定設置される工業用ロボット等の装置であってもよい。また、固定設置される装置としては、ロボットだけでなく、防犯用監視カメラであってもよい。

0033

(実施形態の構成)
まず、図7乃至図9を用いて、本実施形態の全体構成について説明する。

0034

外観構成
図7および図8を用いて、本実施形態の物体認識システム1の外観構成を説明する。なお、図7(a)は本発明の一実施形態に係る物体認識システムを搭載した自動車の側面を表す概略図、図7(b)は自動車の正面を示す概略図である。図8は、物体認識システムの概観図である。

0035

図7(a)、(b)に示されているように、本実施形態の物体認識システム1は、撮像装置10a(第1撮像手段)および撮像装置10b(第2撮像手段)を備えており、撮像装置10aおよび撮像装置10bは、自動車の進行方向前方光景を撮像することができるように設置(第1の撮像位置、第2の撮像位置)される。また、図8に示されているように、物体認識システム1は、本体部2と、本体部2に対して設けられた一対の円筒状の撮像装置10aおよび撮像装置10bとによって構成されている。

0036

<全体のハードウェア構成>
次に、図9を用いて、物体認識システム1の全体のハードウェア構成について説明する。なお、図9は、物体認識システムの全体のハードウェア構成図である。

0037

図9に示されているように、物体認識システム1は、本体部2において、視差値導出装置3および物体認識装置5を備えている。

0038

このうち、視差値導出装置3は、物体Eを撮像して得られた複数の画像から、物体Eに対する視差を示す視差値Δを導出し、各画素における視差値Δを示す高密度視差画像を出力する。物体認識装置5は、視差値導出装置3から出力された高密度視差画像に基づいて、撮像装置10a、10bから物体Eまでの距離を測定する等の処理を行なう。

0039

ここで、まずは、視差値導出装置3のハードウェア構成について説明する。図9に示されているように、視差値導出装置3は、撮像装置10a、撮像装置10b、信号変換装置20a、信号変換装置20b、および画像処理装置30を備えている。

0040

撮像装置10aは、前方の光景を撮像して画像を表すアナログ信号を生成するものであり、撮像レンズ11a、絞り12a、および画像センサ13aを備えている。

0041

撮像レンズ11aは、撮像レンズ11aを通過する光を屈折させて物体の像を結像させるための光学素子である。絞り12aは、撮像レンズ11aを通過した光の一部を遮ることによって、後述する画像センサ13aに入力される光の量を調整する。画像センサ13aは、撮像レンズ11aおよび絞り12aから入力された光を電気的なアナログ画像信号に変換する半導体素子であり、CCD(Charge Coupled Devices)やCMOS(Complementary Metal Oxide Semiconductor)等によって実現される。

0042

なお、撮像装置10bは、撮像装置10aと同じ構成を備えているため、撮像装置10bについての説明は省略する。また、撮像レンズ11aおよび撮像レンズ11bは、それぞれのレンズ面が互いに同一平面内になるように設置されている。

0043

また、信号変換装置20aは、撮像された画像を表すアナログ信号をデジタル形式の画像データに変換するものであり、CDS(Correlated Double Sampling)21a、AGC(Auto Gain Control)22a、ADC(Analog Digital Converter)23a、およびフレームメモリ24aを備えている。

0044

CDS21aは、画像センサ13aによって変換されたアナログの画像信号から相関二重サンプリングによってノイズを除去する。AGC22aは、CDS21aによってノイズが除去されたアナログの画像信号の強度を制御する利得制御を行う。ADC23aは、AGC22aによって利得制御されたアナログの画像信号をデジタル形式の画像データに変換する。フレームメモリ24aは、ADC23aによって変換された画像データを記憶する。

0045

同様に、信号変換装置20bは、撮像装置10bによって変換されたアナログの画像信号から画像データを取得するものであり、CDS21b、AGC22b、ADC23b、およびフレームメモリ24bを備えている。

0046

なお、CDS21b、AGC22b、ADC23b、およびフレームメモリ24bは、それぞれCDS21a、AGC22a、ADC23a、およびフレームメモリ24aと同じ構成であるため、それらについての説明は省略する。

0047

さらに、画像処理装置30は、信号変換装置20aおよび信号変換装置20bによって変換された画像データを処理するための装置である。この画像処理装置30は、FPGA(Field Programmable Gate Array)31、CPU(Central Processing Unit)32、ROM(Read Only Memory)33、RAM(Random Access Memory)34、I/F(Interface)35および上記各構成要素31〜35を図9に示されているように電気的に接続するためのアドレスバスデータバス等のバスライン39を備えている。

0048

このうち、FPGA31は、集積回路であり、ここでは、CPU32の命令に従って、画像データが表す画像における視差値Δを算出する処理を行う。CPU32は、視差値導出装置3の各機能を制御する。ROM33は、CPU32が視差値導出装置3の各機能を制御するために実行される画像処理用プログラムを記憶している。RAM34はCPU32のワークエリアとして使用される。I/F35は、物体認識装置5における後述I/F55とアドレスバスやデータバス等のバスライン4を介して通信するためのインターフェースである。

0049

続いて、物体認識装置5のハードウェア構成について説明する。図9に示されているように、物体認識装置5は、FPGA51、CPU52、ROM53、RAM54、I/F55、CAN(Controller Area Network) I/F58および上記各構成要素51〜55、58を図9に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン59を備えている。

0050

このうち、FPGA51、CPU52、ROM53、RAM54、I/F55、およびバスライン59は、それぞれ画像処理装置30におけるFPGA31、CPU32、ROM33、RAM34、I/F35、およびバスライン39と同様の構成であるため、説明を省略する。なお、I/F55は、画像処理装置30におけるI/F35とバスライン4を介して通信するためのインターフェースである。また、ROM53は、CPU52が物体認識装置5の各機能を制御するために実行される物体認識用プログラムを記憶している。CAN I/F58は、外部コントローラ等と通信するためのインターフェースであり、例えば、自動車のCAN等に接続されることができる。

0051

このような構成により、画像処理装置30のI/F35からバスライン4を介して物体認識装置5に高密度視差画像が送信されると、物体認識装置5におけるCPU52の命令によって、FPGA51が、撮像装置10a、10bと物体Eとの間の距離Zを算出する。

0052

なお、物体認識装置5におけるCPU52の命令によってFPGA51が距離Zを算出せずに、画像処理装置30のCPU32の命令によってFPGA31が距離Zを算出してもよい。

0053

また、上記各プログラムは、インストール可能な形式または実行可能な形式のファイルで、コンピュータ読み取り可能な記録媒体に記録して流通させてもよい。この記録媒体は、CD−ROM(Compact Disc Read Only Memory)やSDメモリカード(Secure Digital memory card)等である。

0054

<視差値導出装置のブロック構成および各ブロックの動作>
図10は、本実施形態に係る視差値導出装置のブロック構成の一例を示す図である。図11は、シフト量間引き特徴量を示す特徴量テーブルの一例を示す図である。図12は、シフト量間引き特徴量のシフト量と、コスト値との関係を示すグラフである。図13は、シフト量間引き特徴量のシフト量と、合成コスト値との関係を示すグラフである。図14は、パラボラフィッティングによるサブピクセル推定を説明する図である。図15は、最小二乗法によるサブピクセル推定を説明する図である。図16は、サブピクセル推定を用いた高密度視差画像を示す概念図である。図10乃至図16を参照しながら、視差値導出装置3の要部のブロック構成および各ブロックの動作について説明する。なお、説明の便宜上、上述の図8に示す撮像装置10aを「右」のカメラと称し、撮像装置10bを「左」のカメラと称するものとする。

0055

図10に示すように、視差値導出装置3は、画像取得部110と、フィルタ部210と、コスト算出部310(取得手段)と、コスト合成部320(合成手段)と、サブピクセル推定部330(導出手段)と、記憶部340(記憶手段)と、視差画像生成部350と、を備えている。

0056

画像取得部110は、左右2台のカメラにより前方の被写体を撮像して、それぞれアナログの画像信号を生成し、各画像信号基づく画像である2つの輝度画像を得る処理部である。画像取得部110は、図9に示す撮像装置10aおよび撮像装置10bによって実現される。

0057

フィルタ部210は、画像取得部110により得られた2つの輝度画像の画像信号に対して、ノイズを除去し、デジタル形式の画像データに変換して出力する。ここで、フィルタ部210が出力する2つの輝度画像の画像データ(以下、単に「輝度画像」と称する)のうち、画像取得部110の右のカメラ(撮像装置10a)により撮像された基準画像Iaの画像データ(以下、単に「基準画像Ia」という)とし、左のカメラ(撮像装置10b)により撮像された比較画像Ibの画像データ(以下、単に「比較画像Ib」という)とする。すなわち、フィルタ部210は、画像取得部110から出力された2つの輝度画像に基づいて、基準画像Iaおよび比較画像Ibを出力する。フィルタ部210は、図9に示す信号変換装置20a、20bによって実現される。

0058

記憶部340は、コスト算出部310により、比較画像Ibにおいて、基準画素p(x,y)に対する対応画素の候補q(x+d,y)のコスト値C(p,d)が算出される際に用いられるシフト量dの飛び飛びの値をテーブルとしてまとめた図11に示す特徴量テーブルTを記憶している。ここで、コスト値とは、基準画像Iaにおける基準画素pに対する、比較画像Ibにおける各画素の非類似度を表す評価値である。すなわち、以下に示すコスト値(および合成コスト値)は、値が小さいほど、比較画像における画素が基準画素と類似していることを示す。記憶部340は、図9に示すROM33またはRAM34によって実現される。ここで、特徴量テーブルTに含まれるシフト量dの飛び飛びの値をシフト量間引き特徴量(特徴量)というものとする。シフト量間引き特徴量は、具体的には、比較画像Ibにおける候補q(x+d,y)のコスト値Cを求める際に用いるシフト量dのうち、所定のシフト量dの範囲(例えば、0<d<25)から、所定の方式によって値を間引くことによって得られた飛び飛びのシフト量dを含むものである。すなわち、シフト量間引き特徴量は、所定のシフト量の範囲内の不連続なシフト量dを含むものである。

0059

コスト算出部310は、基準画像Iaにおける基準画素p(x,y)の輝度値、および、基準画素p(x,y)に基づく比較画像Ibにおけるエピポーラ線上で、基準画素p(x,y)の位置に相当する画素からシフト量dでシフトすることにより特定される、対応画素の候補q(x+d,y)(候補領域)の各輝度値に基づいて、各候補q(x+d,y)のコスト値C(p,d)を算出することにより取得する。このとき、コスト算出部310は、比較画像Ibにおける候補q(x+d,y)のコスト値C(p,d)を算出するために用いるシフト量dとして、上述のシフト量間引き特徴量に含まれるシフト量dを用いてコスト値C(p,d)を算出する。すなわち、コスト算出部310は、画素単位でシフトするシフト量dに基づいてコスト値Cを算出するのではなく、シフト量間引き特徴量に含まれる飛び飛びのシフト量dに基づいてコスト値C(p,d)を算出する。その結果、コスト値Cを算出する対象である指定の範囲内の候補q(x+d,y)は、部分的に、シフトする方向において最も近い領域が、2画素以上ずれることになる。コスト算出部310は、図9に示すFPGA31によって実現される。コスト算出部310が算出するコスト値Cとしては、例えば、SAD(Sum of Absolute Differences)、またはSSD(Sum of Squared Differences)等を用いることができる。そして、シフト量間引き特徴量に含まれる飛び飛びのシフト量dと、コスト算出部310により算出されたコスト値Cとの関係を示すグラフが、図12に示すグラフである。このように、コスト算出部310は、画素単位でシフトするシフト量dではなく、シフト量間引き特徴量に含まれる飛び飛びのシフト量dに基づいてコスト値Cを算出するので、コスト値Cの算出のための演算処理の負荷を低減することができる。

0060

ここで、シフト量間引き特徴量を求めるための所定の方式の一例を説明する。まず、上述の(式2)により、比較画像Ibおよび基準画像Iaにおいて、視差値Δが小さい物体までの距離Zは大きく、視差値Δが大きい物体までの距離Zは小さくなることがわかる。したがって、比較画像Ibおよび基準画像Iaにおいて、視差値Δが小さい領域(距離Zが大きい領域)での視差値Δの単位変化に対する距離Zの変化は、視差値Δが大きい領域(距離Zが小さい領域)での視差値Δの単位変化に対する距離Zの変化よりも大きい。例えば、上述の(式2)において、視差値導出装置3の仕様で定まるB×fの値を、B×f=30とする。このとき、視差値Δが小さい領域において、例えば、視差値Δが「2」から「3」に単位変化した場合、距離Zの変化は「15」から「10」に変化し、この場合の距離Zの変化量は「−5」である。一方、視差値Δが大きい領域において、例えば、視差値Δが「10」から「11」に単位変化した場合、距離Zの変化は「3」から「2.7」に変化し、この場合の距離Zの変化量は「−0.3」となり、視差値Δが小さい領域における距離Zの変化量よりも小さくなる。

0061

また、路面を走行する車両100の運転支援を満たす必要最低限の距離情報には、求められる分解能がある。例えば、距離情報として求められる距離の範囲が1〜100[m]であって、求められる分解能が1[m]である場合等である。このような場合、シフト量dが小さい領域ほど、シフト量dの変化に対して距離Zの変化が大きくなるので、距離Zの分解能を満たす視差値Δを導出するためには、コスト算出部310は、細かい間隔のシフト量dごとにコスト値Cを算出する必要がある。一方、シフト量dが大きい領域ほど、シフト量dの変化に対して距離Zの変化が小さくなるので、距離Zの分解能を満たす視差値Δを導出するためには、コスト算出部310は、粗い間隔のシフト量dごとにコスト値Cを算出すればよい。したがって、求められる距離の分解能に基づいてシフト量間引き特徴量を求める場合、シフト量間引き特徴量に含まれるシフト量dの値が小さい領域では、飛び飛びのシフト量dの間隔を小さく(細かく)し、シフト量dの値が大きい領域では、飛び飛びのシフト量dの間隔を大きく(粗く)して求めればよい。すなわち、シフト量間引き特徴量に含まれるシフト量dを昇順に並べた場合、シフト量dの値が大きくなるほど、隣接するシフト量d間の値の差が大きくなる。このようにして求められたシフト量間引き特徴量は、特徴量テーブルTとして、記憶部340に予め記憶しておく。

0062

例えば、所定のシフト量dの範囲が上述のように0<d<25とした場合、上述の方法によって求められるシフト量間引き特徴量の一例として示したものが図11に示す特徴量テーブルTのシフト量間引き特徴量である。図11に示す特徴量テーブルTのシフト量間引き特徴量は、「1,2,3,5,7,9,12,15,19,23」というシフト量dで構成されている。この図11に示すシフト量間引き特徴量に含まれるシフト量dの値の間隔は、「1,1,2,2,2,3,3,4,4」となっており、上述のように、シフト量dの値が小さい領域では、シフト量dの間隔が小さくなっており、シフト量dの値が大きい領域では、シフト量dの間隔が大きくなっている。以下の説明では、特徴量テーブルTのシフト量間引き特徴量が、図11に示すように、「1,2,3,5,7,9,12,15,19,23」というシフト量dで構成されているものとして説明する。なお、シフト量間引き特徴量が、その他のシフト量dの値で構成されていてもよいのは、言うまでもない。

0063

上述のように、図11に示すシフト量間引き特徴量に含まれるシフト量dと、コスト算出部310により算出されたコスト値Cと、の関係を示す図12のグラフにおいては、シフト量d=3およびd=12において、コスト値Cの最小値として近似した値となっているため、コスト値Cの最小値を求めることによって、基準画像Iaにおける基準画素に対応する比較画像Ibにおける対応画素を求めることは困難である。特に、画像におけるテクスチャが弱い部分がある場合には、このようにコスト値Cの最小値を求めることは困難になる。

0064

コスト合成部320は、基準画像Iaにおける基準画素p(x,y)(第1基準領域)の周辺の画素を基準画素(第2基準領域)とした場合のその基準画素についての比較画像Ibにおける画素のコスト値Cを、コスト算出部310により算出された候補q(x+d,y)のコスト値C(p,d)に集約させて、候補q(x+d,y)の合成コスト値Ls(p,d)を算出する。このとき、コスト合成部320は、合成コスト値Ls(p,d)を算出するために用いるシフト量dとして、上述のシフト量間引き特徴量に含まれるシフト量dを用いて合成コスト値Ls(p,d)を算出する。すなわち、コスト合成部320は、画素単位でシフトするシフト量dに基づいて合成コスト値Lsを算出するのではなく、シフト量間引き特徴量に含まれる飛び飛びのシフト量dに基づいて合成コスト値Ls(p,d)を算出する。その結果、合成コスト値Lsを算出する対象である指定の範囲内の候補q(x+d,y)は、部分的に、シフトする方向において最も近い領域が、2画素以上ずれることになる。コスト合成部320は、図9に示すFPGA31によって実現される。コスト合成部320は、合成コスト値Lsを算出するために、まず、上述の(式3)によって、所定のr方向の経路コスト値Lr(p,d)を算出する。この場合、(式3)におけるLr(p−r,d)は、基準画素pの座標からr方向に1画素シフトした座標の画素について、シフト量間引き特徴量に含まれるシフト量dにおいて変化させた場合のそれぞれの経路コスト値Lrを示す。次に、コスト合成部320は、図5に示したように、8方向の経路コスト値LrであるLr0、Lr45、Lr90、Lr135、Lr180、Lr225、Lr270およびLr315を算出し、最終的に上述の(式4)に基づいて、合成コスト値Ls(p,d)を算出する。そして、シフト量間引き特徴量に含まれる飛び飛びのシフト量dと、コスト合成部320により算出された合成コスト値Lsとの関係を示すグラフが、図13に示すグラフである。図13に示すように、合成コスト値Lsは、シフト量d=3のとき最小値となる。このように、コスト合成部320は、画素単位でシフトするシフト量dではなく、シフト量間引き特徴量に含まれる飛び飛びのシフト量dに基づいて合成コスト値Lsを算出するので、合成コスト値Lsの算出のための演算処理の負荷を低減することができる。

0065

サブピクセル推定部330は、コスト合成部320により算出された、基準画像Iaにおける基準画素についての比較画像Ibにおける画素の合成コスト値Lsの最小値(第1極値)に対応するシフト量d、およびそれに隣接するシフト量dにおける合成コスト値Lsに基づいて、サブピクセル推定を実行する。サブピクセル推定部330は、図9に示すFPGA31によって実現される。図13に示す合成コスト値Lsのグラフは、飛び飛びではあるが画素単位で区切られたシフト量dに対する合成コスト値Lsのグラフである。したがって、図13に示すグラフの合成コスト値Lsの最小値は、画素単位で区切られたシフト量d=3における合成コスト値Lsということになる。すなわち、図13に示すような画素単位で区切られたシフト量dに対する合成コスト値Lsのグラフにおいては、視差値Δとして画素単位の値を導出することしかできないことになる。ここで、サブピクセル推定とは、視差値Δを画素単位の値ではなく、画素より小さい単位(以下、サブピクセル単位という)で視差値Δを推定して導出するものである。

0066

まず、図14を参照しながら、サブピクセル推定部330がパラボラフィッティングによるサブピクセル推定を実行する場合について説明する。サブピクセル推定部330は、コスト合成部320によって算出された合成コスト値Lsのグラフ(図13)において、合成コスト値Lsが最小となるシフト量dの値を求める。図13の例では、シフト量d=3の場合が、合成コスト値Lsが最小となる。次に、サブピクセル推定部330は、シフト量間引き特徴量において、シフト量d=3に隣接するシフト量dを求める。具体的には、シフト量d=2,5である。次に、サブピクセル推定部330は、図13に示すシフト量dと合成コスト値Lsとのグラフにおいて、図14に示すように、シフト量d=2,3,5である3点を通る下に凸の2次曲線を求める。そして、サブピクセル推定部330は、その2次曲線の極小値(第2極値)に対応するサブピクセル単位のシフト量dが視差値Δであると推定する。

0067

次に、図15を参照しながら、サブピクセル推定部330が最小二乗法によるサブピクセル推定を実行する場合について説明する。サブピクセル推定部330は、コスト合成部320によって算出された合成コスト値Lsのグラフ(図13)において、合成コスト値Lsが最小となるシフト量dの値を求める。図13の例では、シフト量d=3の場合が、合成コスト値Lsが最小となる。次に、サブピクセル推定部330は、シフト量間引き特徴量において、シフト量d=3の近傍の4つのシフト量dを求める。具体的には、シフト量d=1,2,5,7である。次に、サブピクセル推定部330は、図13に示すシフト量dと合成コスト値Lsとのグラフにおいて、図15に示すように、最小二乗法によってシフト量d=1,2,3,5,7である5点の近傍を通る下に凸の2次曲線を求める。そして、サブピクセル推定部330は、その2次曲線の極小値(第3極値)に対応するサブピクセル単位のシフト量dが視差値Δであると推定する。

0068

サブピクセル推定部330は、図14に示すパラボラフィッティングによるサブピクセル推定、または、図15に示す最小二乗法によるサブピクセル推定のいずれかによって、視差値Δを推定して導出する。これによって、画素より小さい単位であるサブピクセル単位で視差値Δを導出することができるので、精度が高く、かつ密な視差値Δを導出することができる。

0069

なお、サブピクセル推定は、上述のパラボラフィッティングによるもの、または、最小二乗法によるものに限定されるものではなく、その他の方法によってサブピクセル推定を行うものとしてもよい。例えば、サブピクセル推定部330は、図14に示す3点を用いて、2次曲線ではなく、3点を通る等角直線を求めて視差値Δを推定する等角直線フィッティングによりサブピクセル推定を実行するものとしてもよい。

0070

また、最小二乗法によるサブピクセル推定において、図15に示すグラフ上の5点を用いて2次曲線を求めるものとしたが、これに限定されるものではなく、異なる数の点を用いて2次曲線を求めるものとしてもよい。

0071

また、サブピクセル推定部330によるサブピクセル推定によってサブピクセル単位の視差値Δを算出することに限定されるものではなく、サブピクセル推定の実行はせずに、画素単位の視差値Δを算出するものとしてもよい。この場合、サブピクセル推定部330は、コスト合成部320により算出された、基準画像Iaにおける基準画素についての比較画像Ibにおける画素の合成コスト値Lsの最小値に対応するシフト量dを視差値Δとすればよい。

0072

視差画像生成部350は、サブピクセル推定部330により導出されたサブピクセル単位の視差値Δに基づいて、基準画像Iaの各画素の輝度値を、その画素に対応する視差値Δで表した画像である視差画像Ip(高密度視差画像)を生成する。視差画像生成部350は、図9に示すFPGA31によって実現される。図16のうち、図16(a)は、比較画像Ibの一例を示し、図16(b)は、基準画像Iaの一例を示し、図16(c)は、視差画像生成部350により生成された視差画像Ipの模式図を示す。

0073

なお、コスト算出部310、コスト合成部320、サブピクセル推定部330および視差画像生成部350は、FPGA31によって実現、すなわちハードウェア回路によって実現されるものとしたが、これに限定されるものではない。すなわち、コスト算出部310、コスト合成部320、サブピクセル推定部330または視差画像生成部350の少なくともいずれかは、ソフトウェアであるプログラムがCPU32によって実行されることにより、実現されてもよい。また、コスト算出部310、コスト合成部320、サブピクセル推定部330および視差画像生成部350は、機能を概念的にブロック構成したものであって、このような構成に限定されるものではない。

0074

(視差値導出装置の画像処理動作
図17は、本実施形態に係る視差値導出装置のステレオマッチング処理の動作フローの一例を示す図である。図17を参照しながら、視差値導出装置3のステレオマッチング処理(SGM法)に基づく画像処理の動作の流れについて説明する。

0075

<ステップS1−1>
視差値導出装置3の画像取得部110は、左のカメラ(撮像装置10b)により前方の被写体を撮像して、それぞれアナログの画像信号を生成し、その画像信号に基づく画像である輝度画像を得る。そして、ステップS2−1へ進む。

0076

<ステップS1−2>
視差値導出装置3の画像取得部110は、右のカメラ(撮像装置10a)により前方の被写体を撮像して、それぞれアナログの画像信号を生成し、その画像信号に基づく画像である輝度画像を得る。そして、ステップS2−2へ進む。

0077

<ステップS2−1>
視差値導出装置3のフィルタ部210は、撮像装置10bにより撮像されて得られたアナログの画像信号に対して、ノイズを除去し、デジタル形式の画像データに変換する。そして、ステップS3−1へ進む。

0078

<ステップS2−2>
視差値導出装置3のフィルタ部210は、撮像装置10aにより撮像されて得られたアナログの画像信号に対して、ノイズを除去し、デジタル形式の画像データに変換する。そして、ステップS3−2へ進む。

0079

<ステップS3−1>
フィルタ部210は、ステップS2−1において変換したデジタル形式の画像データに基づく画像をステレオマッチング処理における比較画像Ibとして出力する。そして、ステップS4へ進む。

0080

<ステップS3−2>
フィルタ部210は、ステップS2−2において変換したデジタル形式の画像データに基づく画像をステレオマッチング処理における基準画像Iaとして出力する。そして、ステップS4へ進む。

0081

<ステップS4>
視差値導出装置3のコスト算出部310は、基準画像Iaにおける基準画素p(x,y)の輝度値、および、基準画素p(x,y)に基づく比較画像Ibにおけるエピポーラ線上で、基準画素p(x,y)の位置に相当する画素からシフト量dでシフトすることにより特定される、対応画素の候補q(x+d,y)の各輝度値に基づいて、各候補q(x+d,y)のコスト値C(p,d)を算出することにより取得する。このとき、コスト算出部310は、比較画像Ibにおける候補q(x+d,y)のコスト値C(p,d)を算出するために用いるシフト量dとして、記憶部340に記憶された特徴量テーブルTのシフト量間引き特徴量に含まれるシフト量dを用いてコスト値C(p,d)を算出する。そして、ステップS5へ進む。

0082

<ステップS5>
視差値導出装置3のコスト合成部320は、基準画像Iaにおける基準画素p(x,y)の周辺の画素を基準画素とした場合のその基準画素についての比較画像Ibにおける画素のコスト値Cを、コスト算出部310により算出された候補q(x+d,y)のコスト値C(p,d)に集約させて、候補q(x+d,y)の合成コスト値Ls(p,d)を算出する。このとき、コスト合成部320は、合成コスト値Ls(p,d)を算出するために用いるシフト量dとして、上述のシフト量間引き特徴量に含まれるシフト量dを用いて合成コスト値Ls(p,d)を算出する。そして、ステップS6へ進む。

0083

<ステップS6>
視差値導出装置3のサブピクセル推定部330は、コスト合成部320により算出された、基準画像Iaにおける基準画素についての比較画像Ibにおける画素の合成コスト値Lsの最小値に対応するシフト量d、およびそれに隣接するシフト量dにおける合成コスト値Lsに基づいて、サブピクセル推定を実行する。サブピクセル推定部330は、サブピクセル推定によって求めた近似曲線図14および図15においては下に凸の2次曲線)の極小値に対応するサブピクセル単位のシフト量dが視差値Δであると推定する。そして、ステップS7へ進む。

0084

<ステップS7>
視差値導出装置3の視差画像生成部350は、サブピクセル推定部330により導出されたサブピクセル単位の視差値Δに基づいて、基準画像Iaの各画素の輝度値を、その画素に対応する視差値Δで表した画像である視差画像Ip(高密度視差画像)を生成する。

0085

その後、図9に示すI/F35を介して、視差画像Ipの画像データが出力され、物体認識装置5によって、撮像装置10a、10bから物体までの距離が算出される。

0086

(車両に機器制御システムを搭載した場合の例)
図18は、本実施形態に係る機器制御システムを車両に搭載した例を示す図である。以下、図18を参照しながら、車両100に機器制御システム60を搭載した場合の例を説明する。

0087

図18に示す構成では、自動車である車両100は、機器制御システム60を備えている。機器制御システム60は、居室空間である車室において設置された視差値導出装置3と、制御装置6と、ステアリングホイール7と、ブレーキペダル8と、を備えている。

0088

視差値導出装置3は、車両100の進行方向を撮像する撮像機能を有し、例えば、車両100のフロントウィンドウの内側のバックミラー近傍に設置される。視差値導出装置3は、本体部2と、本体部2に固定された撮像装置10aと、撮像装置10bとを備えている。撮像装置10a、10bは、車両100の進行方向の被写体を撮像できるように本体部2に固定されている。

0089

制御装置6は、上述の物体認識システム1における物体認識装置5の代わりに視差値導出装置3に接続された装置であり、視差値導出装置3から受信した視差画像の画像データに基づいて求まる視差値導出装置3から被写体までの距離情報により、各種車両制御を実行する。制御装置6は、車両制御の例として、視差値導出装置3から受信した視差画像の画像データに基づいて、ステアリングホイール7を含むステアリング系統制御対象)を制御して障害物を回避するステアリング制御、または、ブレーキペダル8(制御対象)を制御して車両100を減速および停止させるブレーキ制御等を実行する。

0090

このような視差値導出装置3および制御装置6を含む機器制御システム60のように、ステアリング制御またはブレーキ制御等の車両制御が実行されることによって、車両100の運転の安全性を向上することができる。

0091

なお、上述のように、視差値導出装置3は、車両100の前方を撮像するものとしたが、これに限定されるものではない。すなわち、視差値導出装置3は、車両100の後方または側方を撮像するように設置されるものとしてもよい。この場合、視差値導出装置3は、車両100の後方の後続車、または側方を並進する他の車両等の位置を検出することができる。そして、制御装置6は、車両100の車線変更時または車線合流時等における危険を検知して、上述の車両制御を実行することができる。また、制御装置6は、車両100の駐車時等におけるバック動作において、視差値導出装置3によって検出された車両100の後方の障害物の視差画像に基づいて、衝突の危険があると判断した場合に、上述の車両制御を実行することができる。

0092

(本実施形態の主な効果)
以上のように、本実施形態に係る視差値導出装置3において、コスト算出部310およびコスト合成部320は、画素単位でシフトするシフト量dではなく、シフト量間引き特徴量に含まれる飛び飛びのシフト量dに基づいて、それぞれコスト値Cおよび合成コスト値Lsを算出している。これによって、画素単位でシフトするシフト量dに基づいて算出する場合と比較して、コスト値Cおよび合成コスト値Lsを算出するための演算処理の負荷を低減することができ、ステレオマッチング処理の処理速度を向上させ、視差値を導出する時間を短縮することができる。

0093

また、視差値導出装置3において、サブピクセル推定部330は、画素より小さい単位であるサブピクセル単位で視差値Δを導出することができるので、精度が高く、かつ密な視差値Δを導出することができ、より正確な視差画像を得ることができる。

0094

また、コスト算出部310およびコスト合成部320が、それぞれコスト値Cおよび合成コスト値Lsの算出のために使用するシフト量間引き特徴量に含まれる飛び飛びのシフト量dは、シフト量dの値が小さい領域では、シフト量dの間隔を小さく(細かく)し、シフト量dの値が大きい領域では、シフト量dの間隔を大きく(粗く)している。これによって、路面を走行する車両の運転支援を満たす必要最低限の距離情報に求められる分解能を満たすことができる。

0095

なお、一致度としてのコスト値Cを、類似度を表す評価値とした場合、合成コスト値Lsがサブピクセル単位で最大となるシフト量dが視差値Δとなる。

0096

また、上述の実施形態では、物体認識装置5が視差画像(視差値)に基づき、距離Zを算出しているが、これに限定されるものではなく、視差値導出装置3の画像処理装置30のCPU32が距離Zを算出するものとしてもよい。

0097

1物体認識システム
2 本体部
3視差値導出装置
4バスライン
5物体認識装置
6制御装置
7ステアリングホイール
8ブレーキペダル
10a、10b撮像装置
11a、11b撮像レンズ
12a、12b絞り
13a、13b画像センサ
20a、20b信号変換装置
21a、21b CDS
22a、22b AGC
23a、23bADC
24a、24bフレームメモリ
30画像処理装置
31FPGA
32 CPU
33 ROM
34 RAM
35 I/F
39 バスライン
51 FPGA
52 CPU
53 ROM
54 RAM
55 I/F
58 CAN I/F
60機器制御システム
100 車両
110画像取得部
210フィルタ部
310コスト算出部
320コスト合成部
330サブピクセル推定部
340 記憶部
350視差画像生成部
B基線長
Cコスト値
dシフト量
E物体
ELエピポーラ線
f焦点距離
Ia基準画像
Ib比較画像
Ip 視差画像
Lr経路コスト値
Ls合成コスト値
S、Sa、Sb 点
T特徴量テーブル
Z 距離
Δ 視差値

先行技術

0098

特開2012−181142号公報

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ