図面 (/)

技術 視差演算システム、移動体及びプログラム

出願人 株式会社リコー
発明者 横田聡一郎梶原康宏齊所賢一郎今井重明仲村忠司
出願日 2016年7月25日 (5年1ヶ月経過) 出願番号 2016-145170
公開日 2018年2月1日 (3年7ヶ月経過) 公開番号 2018-017506
状態 特許登録済
技術分野 光学的距離測定 乗員・歩行者の保護 交通制御システム
主要キーワード 各基準画素 比較画像内 投射ビーム 耕運機 工業用ロボット 基準画素領域 非類似度 レーザ信号
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2018年2月1日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (13)

課題

視差演算の精度を向上させる視差演算システムを提供する。

解決手段

基準画像内の基準画素領域の位置に対応する実空間のオブジェクトまでの距離を示す距離情報を取得する取得手段250と、基準画素領域と比較画像内各画素領域との非類似度を算出する算出手段と、算出された非類似度を合成することで得た合成結果に基づいて、基準画素領域に対応する比較画像内の対応画素領域を抽出し、基準画素領域における視差演算する演算手段と、を有し、算出手段は、距離情報に基づいて導出される位置にある比較画像内の画素領域との非類似度が、比較画像内の他の画素領域との非類似度よりも低くなるように、基準画素領域と比較画像内の各画素領域との非類似度を算出する。

概要

背景

従来より、車両等の各種移動体には、周囲環境を3次元情報として取得するためのセンサ装置(3次元センサ)の1つとして、ステレオカメラが搭載されている。当該ステレオカメラは、基準画像内の各画素に対応する比較画像内対応画素検索し、視差演算することでオブジェクトまでの距離を算出する。

当該ステレオカメラの場合、他の3次元センサ(例えば、ミリ波レーダ装置レーザレーダ装置等)と比較して、空間分解能が高い等の利点がある。

概要

視差演算の精度を向上させる視差演算システムを提供する。基準画像内の基準画素領域の位置に対応する実空間のオブジェクトまでの距離を示す距離情報を取得する取得手段250と、基準画素領域と比較画像内の各画素領域との非類似度を算出する算出手段と、算出された非類似度を合成することで得た合成結果に基づいて、基準画素領域に対応する比較画像内の対応画素領域を抽出し、基準画素領域における視差を演算する演算手段と、を有し、算出手段は、距離情報に基づいて導出される位置にある比較画像内の画素領域との非類似度が、比較画像内の他の画素領域との非類似度よりも低くなるように、基準画素領域と比較画像内の各画素領域との非類似度を算出する。

目的

本発明は上記課題に鑑みてなされたものであり、視差演算の精度を向上させることを目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

基準画像内の基準画素領域の位置に対応する実空間のオブジェクトまでの距離を示す距離情報を取得する取得手段と、前記基準画素領域と比較画像内各画素領域との非類似度を算出する算出手段と、算出された前記非類似度を合成することで得た合成結果に基づいて、前記基準画素領域に対応する前記比較画像内の対応画素領域を抽出し、前記基準画素領域における視差演算する演算手段と、を有し、前記算出手段は、前記距離情報に基づいて導出される位置にある前記比較画像内の画素領域との前記非類似度が、前記比較画像内の他の画素領域との前記非類似度よりも低くなるように、前記基準画素領域と前記比較画像内の各画素領域との前記非類似度を算出することを特徴とする視差演算ステム

請求項2

前記算出手段は、前記基準画素領域の画素値と、前記比較画像内の各画素領域の画素値との差分に基づいて算出される第1のコストと、前記基準画素領域の画素値と、前記距離情報に基づいて導出される位置にある前記比較画像内の画素領域の画素値との差分に基づいて算出される第2のコストとを、重み付け加算することで、前記非類似度を算出し、前記比較画像内の他の画素領域との前記非類似度を算出する場合に、前記第1のコストを優先して前記重み付け加算を行い、前記距離情報に基づいて導出される位置にある前記比較画像内の画素領域との前記非類似度を算出する場合に、前記第2のコストを優先して前記重み付け加算を行うことを特徴とする請求項1に記載の視差演算システム。

請求項3

前記算出手段は、前記重み付け加算に用いる重み係数を、前記距離情報、または、前記距離情報を取得した際の周囲環境に応じて変更することを特徴とする請求項2に記載の視差演算システム。

請求項4

前記基準画像を撮影する第1の撮像装置と、前記比較画像を撮影する第2の撮像装置と、前記オブジェクトまでの距離を測定するレーザレーダ装置とを更に有することを特徴とする請求項1乃至3のいずれか1項に記載の視差演算システム。

請求項5

請求項1乃至4のいずれか1項に記載の視差演算システムを有する移動体

請求項6

コンピュータに、基準画像内の基準画素領域の位置に対応する実空間のオブジェクトまでの距離を示す距離情報を取得する取得工程と、前記基準画素領域と比較画像内の各画素領域との非類似度を算出する算出工程と、算出された前記非類似度を合成することで得た合成結果に基づいて、前記基準画素領域に対応する前記比較画像内の対応画素領域を抽出し、前記基準画素領域における視差を演算する演算工程と、を実行させ、前記算出工程は、前記距離情報に基づいて導出される位置にある前記比較画像内の画素領域との前記非類似度が、前記比較画像内の他の画素領域との前記非類似度よりも低くなるように、前記基準画素領域と前記比較画像内の各画素領域との前記非類似度を算出することを特徴とするプログラム

技術分野

0001

本発明は、視差演算ステム、移動体及びプログラムに関する。

背景技術

0002

従来より、車両等の各種移動体には、周囲環境を3次元情報として取得するためのセンサ装置(3次元センサ)の1つとして、ステレオカメラが搭載されている。当該ステレオカメラは、基準画像内の各画素に対応する比較画像内対応画素検索し、視差演算することでオブジェクトまでの距離を算出する。

0003

当該ステレオカメラの場合、他の3次元センサ(例えば、ミリ波レーダ装置レーザレーダ装置等)と比較して、空間分解能が高い等の利点がある。

発明が解決しようとする課題

0004

しかしながら、当該ステレオカメラの場合、基準画像内の領域にテクスチャの少ないオブジェクト等が含まれていると、比較画像内の対応する領域を検索した際に対応画素を精度よく抽出することができず、有効な視差演算を行うことができないといった問題がある。

0005

本発明は上記課題に鑑みてなされたものであり、視差演算の精度を向上させることを目的とする。

課題を解決するための手段

0006

本発明の各実施形態に係る視差演算システムは、以下のような構成を有する。すなわち、
基準画像内の基準画素領域の位置に対応する実空間のオブジェクトまでの距離を示す距離情報を取得する取得手段と、
前記基準画素領域と比較画像内の各画素領域との非類似度を算出する算出手段と、
算出された前記非類似度を合成することで得た合成結果に基づいて、前記基準画素領域に対応する前記比較画像内の対応画素領域を抽出し、前記基準画素領域における視差を演算する演算手段と、を有し、
前記算出手段は、前記距離情報に基づいて導出される位置にある前記比較画像内の画素領域との前記非類似度が、前記比較画像内の他の画素領域との前記非類似度よりも低くなるように、前記基準画素領域と前記比較画像内の各画素領域との前記非類似度を算出することを特徴とする。

発明の効果

0007

本発明の各実施形態によれば、視差演算の精度を向上させることができる。

図面の簡単な説明

0008

視差演算システムの外観構成及び取り付け例を示す図である。
視差演算システムのハードウェア構成の一例を示す図である。
基準画像内の基準画素領域及び比較画像内の画素領域を示す図である。
ステレオカメラ部により算出される距離情報の特性を示す図である。
レーザレーダ測距部により算出される距離情報の特性を示す図である。
距離計算処理部の機能構成を示す図である。
コスト算出部の機能構成の詳細を示す図である。
コストC(p,d)の算出方法を説明するための図である。
合成コスト算出部の機能構成の詳細を示す図である。
経路コストLr(p,d)の算出におけるr方向を示す図である。
基準画素領域pにおける合成コストSの算出結果を示す図である。
視差画像生成部による視差画像生成処理の流れを示すフローチャートである。

実施例

0009

以下、各実施形態の詳細について添付の図面を参照しながら説明する。なお、各実施形態に係る明細書及び図面の記載に際して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。

0010

[実施形態]
<1.視差演算システムの外観構成及び取り付け例>
はじめに、一実施形態に係る視差演算システムの外観構成及び取り付け例について説明する。図1は、視差演算システムの外観構成及び取り付け例を示す図である。

0011

図1の上部(外観構成)に示すように、視差演算システム100は、周囲環境を3次元情報として取得するためのセンサ装置(3次元センサ)として、ステレオカメラ部110と、レーザレーダ測距部(レーザレーダ装置)120とを備える。ステレオカメラ部110は、単眼カメラ部(第1の撮像装置)111と単眼カメラ部(第2の撮像装置)112とを備え、レーザレーダ測距部120は、単眼カメラ部111と単眼カメラ部112との間に配置される。

0012

単眼カメラ部111、112は、同期をとりながら所定のフレーム周期でそれぞれが撮影を行い、撮影画像を生成する。

0013

レーザレーダ測距部120は、レーザ光照射し、その反射光受光することで、レーザ光の照射位置(オブジェクト)までの距離を測定する。

0014

図1の下部(取り付け例)に示すように、視差演算システム100は、例えば、車両140のフロントウィンドウ内側中央位置に取り付けられる。このとき、ステレオカメラ部110及びレーザレーダ測距部120は、いずれも車両140の前方方向に向かって取り付けられる。つまり、車両140において、視差演算システム100は、ステレオカメラ部110の撮影方向と、レーザレーダ測距部120のレーザ光の出射方向とが、同じ方向になるように取り付けられる。

0015

<2.視差演算システムのハードウェア構成>
次に、視差演算システム100のハードウェア構成について説明する。図2は、視差演算システムのハードウェア構成の一例を示す図である。

0016

図2に示すように、視差演算システム100は、カメラステイ201と制御基板収納部202とを有する。

0017

カメラステイ201には、単眼カメラ部111、112とレーザレーダ測距部120とが一体的に取り付けられている。これにより、視差演算システム100の小型化及び低コスト化を実現している。

0018

制御基板収納部202には、レーザ信号処理部240、距離計算処理部250、メモリ260、MPU(Micro Processing Unit)270が収納されている。レーザ信号処理部240をレーザレーダ測距部120とは別体に構成することで、レーザレーダ測距部120のサイズを小さくすることができる。これにより、本実施形態では、単眼カメラ部111と単眼カメラ部112との間への、レーザレーダ測距部120の配置を実現している。

0019

なお、図2の例では、レーザ信号処理部240と距離計算処理部250とを、別の回路基板として構成しているが、レーザ信号処理部240と距離計算処理部250とは、共通の回路基板により構成してもよい。回路基板の枚数を削減することで、低コスト化を図ることが可能となるからである。

0020

続いて、カメラステイ201側の各部の詳細について説明する。図2に示すように、単眼カメラ部111は、カメラレンズ211と、撮像素子212と、センサ基板213とを備える。カメラレンズ211を介して入射された外部の光は、撮像素子212において受光され、所定のフレーム周期で光電変換される。光電変換されることで得た信号は、センサ基板213において処理され、1フレームごとの撮影画像が生成される。生成された撮影画像は、比較画像として、順次、距離計算処理部250に送信される。

0021

なお、単眼カメラ部112も、単眼カメラ部111と同様の構成を有しており、同期制御信号に基づいて単眼カメラ部111と同期して生成された撮影画像は、基準画像として、順次、距離計算処理部250に送信される。

0022

レーザレーダ測距部120は、光源駆動回路231と、レーザ光源232と、投光レンズ233とを備える。光源駆動回路231は、レーザ信号処理部240からの同期制御信号に基づいて動作し、レーザ光源232に対して変調電流光源発光信号)を印加する。これにより、レーザ光源232ではレーザ光を出射する。レーザ光源232より出射されたレーザ光は、投光レンズ233を介して外部に出射される。

0023

なお、本実施形態では、レーザ光源232として、赤外半導体レーザダイオード(LD:Laser Diode)が用いられ、レーザ光として波長800nm〜950nmの近赤外光が出射されるものとする。また、レーザ光源232は、光源駆動回路231により印加された変調電流(光源発光信号)に応じて、パルス状の波形を有するレーザ光を周期的に出射するものとする。更に、レーザ光源232は、数ナノ秒から数百ナノ秒程度の短いパルス幅を有するパルス状のレーザ光を周期的に出射するものとする。

0024

レーザ光源232から出射されたパルス状のレーザ光は、投光レンズ233を介して投射ビームとして外部に出射された後、所定の照射位置(所定のオブジェクト)に照射される。なお、レーザ光源232から出射されるレーザ光は、投光レンズ233によって略平行光にコリメートされているため、照射されたオブジェクトにおける照射範囲は、予め設定された微小面積に抑えられる。

0025

レーザレーダ測距部120は、更に、受光レンズ234と、受光素子235と、受光信号増幅回路236とを備える。所定のオブジェクトに照射されたレーザ光は、一様な方向に散乱する。そして、レーザレーダ測距部120から出射されたレーザ光と同じ光路をたどって反射してくる光成分のみが、反射光として、受光レンズ234を介して受光素子235に導かれる。

0026

本実施形態では、受光素子235として、シリコンPINフォトダイオードアバランシェフォトダイオードが用いられる。受光素子235は、反射光を光電変換することでレーザ受光信号を生成し、受光信号増幅回路236は、生成されたレーザ受光信号を増幅した後、レーザ信号処理部240に送信する。

0027

続いて、制御基板収納部202側の各部の詳細について説明する。レーザ信号処理部240は、レーザレーダ測距部120より送信されたレーザ受光信号に基づいて、所定のオブジェクトまでの距離を算出し、算出した距離情報を距離計算処理部250に送信する。

0028

距離計算処理部250は、例えば、FPGA(Field-Programmable gate array)や、ASIC(Application Specific IntegratedCircuit)等の専用の集積回路により構成される。距離計算処理部250は、単眼カメラ部111、112及びレーザ信号処理部240に対して、撮影タイミング及びレーザ光の投受光タイミングを制御するための同期制御信号を出力する。

0029

また、距離計算処理部250は、単眼カメラ部111より送信された比較画像、単眼カメラ部112より送信された基準画像、レーザ信号処理部240より送信された距離情報に基づいて、視差画像を生成する。距離計算処理部250は、生成した視差画像をメモリ260に格納する。

0030

メモリ260は、距離計算処理部250にて生成された視差画像を格納する。また、メモリ260は、距離計算処理部250及びMPU270が各種処理を実行する際のワークエリアを提供する。

0031

MPU270は、制御基板収納部202に収納された各部を制御するとともに、メモリ260に格納された視差画像を解析する解析処理を行う。

0032

<3.基準画像内の基準画素領域及び比較画像内の画素領域>
次に、基準画像内の処理対象の画素領域である、「基準画素領域」と、比較画像内の画素領域とについて説明する。

0033

図3は、基準画像内の基準画素領域及び比較画像内の画素領域を示す図である。このうち、図3(b)は、単眼カメラ部112より送信された基準画像320を示している。基準画像320において、画素領域pは、距離計算処理部250が、現在、処理対象としている画素領域である、「基準画素領域」を示している。図3(b)の例では、座標(x、y)により特定される位置の画素領域を基準画素領域pとしている。

0034

一方、図3(a)は、単眼カメラ部111より送信された比較画像310を示している。比較画像310において、画素領域311は、基準画像320内の基準画素領域pのx座標及びy座標と同じx座標及びy座標を有する比較画像310内の画素領域を示している。

0035

位置312は、基準画像320において、基準画素領域pに対応する「対応画素領域」の位置を示している。基準画素領域pの位置に対応する実空間のオブジェクト(図3の例では、他車両の側面の一部)と、対応画素領域の位置312に対応する実空間のオブジェクトとは、実空間内において同じ位置を指している。ただし、基準画像320の撮影位置と比較画像310の撮影位置とは、左右方向にずれているため、位置312は、画素領域311に対して視差分、左右方向に座標がずれることになる。

0036

ここで、図3のように、基準画素領域pが他車両の側面等のテクスチャの少ない領域(隣合う画素領域間画素値の変化が少ない領域)に含まれる場合には、実際には、基準画素領域pに対応する対応画素領域の位置312を精度よく抽出することは困難である。例えば、比較画像310内において、画素領域311を開始位置として、所定範囲を検索しても他の画素領域を誤検出し、基準画素領域pに対応する対応画素領域の位置312を精度よく抽出できない可能性が高い。

0037

そこで、本実施形態における視差演算システム100では、視差演算を行う際にレーザレーダ測距部120により測定された距離情報を用いる。図3(b)において、点330は、基準画像320が撮影されたタイミングで、レーザレーダ測距部120により照射されたレーザ光の照射位置を、基準画像320に重ねて模式的に示したものである。

0038

図3(b)に示すように、点330は、他車両の側面内にあり、基準画素領域pと概ね同じ位置にある。つまり、基準画素領域pの位置に対応する実空間のオブジェクト(他車両の側面の一部)までの距離は、点330を照射位置とするレーザ受光信号を用いて算出することができる。

0039

そこで、本実施形態における距離計算処理部250では、基準画素領域pについて視差演算を行う際に、レーザ受光信号を用いて算出した点330までの距離を利用する。

0040

<4.3次元センサの距離分解能及び空間分解能>
ここで、視差演算システム100が備える各3次元センサ(ステレオカメラ部110、レーザレーダ測距部120)の距離情報の特性に基づいて、各3次元センサの距離分解能及び空間分解能について簡単に説明する。

0041

図4図5は、3次元センサの距離情報の特性を示す図である。このうち、図4は、ステレオカメラ部により算出される距離情報の特性を示す図である。図4(a)に示すように、ステレオカメラ部110により算出される距離情報は、ステレオカメラ部110に近い位置ほど、距離分解能が高く、ステレオカメラ部110から離れるにつれて、距離分解能が低くなる。

0042

このとき、ステレオカメラ部110により算出される距離情報の距離分解能は、オブジェクトまでの距離には比例せず、図4(b)のグラフに示すように、所定の距離(例えば、25[m])以上離れると、急速に低下する。なお、図4(b)において、横軸は、視差(画素数で示した視差)を表し、縦軸は、オブジェクトまでの距離を表している。図4(b)のグラフの場合、グラフの左下にいくほど距離分解能が高くなり、右上にいくほど距離分解能がいくほど距離分解能が低くなる。

0043

つまり、ステレオカメラ部110により算出される距離情報は、所定の距離以下においては、高い距離分解能を有しているといえる。ここで、ステレオカメラ部110の場合、距離分解能が高ければ、空間分解能も高くなることから、ステレオカメラ部110により算出される距離情報は、所定の距離以下においては空間分解能も高いといえる。ただし、上述したとおりステレオカメラ部110の場合、距離分解能や空間分解能の高低に関わらず、テクスチャの少ないオブジェクトが含まれる領域においては、有効な視差演算を行うことができないといった問題がある。

0044

一方、図5は、レーザレーダ測距部により算出される距離情報の特性を示す図である。図5(a)に示すように、レーザレーダ測距部120により算出される距離情報は、レーザレーダ測距部120からの距離に関わらず、距離分解能は一定となる。このため、図5(b)のグラフに示すように、レーザ光を出射してから受光するまでの応答時間は、オブジェクトまでの距離に比例し、その傾きは概ね一定となる。なお、図5(b)において、横軸は、レーザ光を出射してから受光するまでの応答時間を表し、縦軸は、オブジェクトまでの距離を表している。図5(b)のグラフの場合、グラフの傾きが小さいほど距離分解能が高くなり、グラフの傾きが大きいほど距離分解能が低くなる。

0045

ここで、レーザレーダ測距部120の場合、応答時間をナノ秒オーダで測定することができる。このため、レーザレーダ測距部120により算出される距離情報は、オブジェクトまでの距離によらず、いずれの距離においても概ねステレオカメラ部110よりも高い距離分解能を有することになる。また、レーザレーダ測距部120の場合、測定対象がテクスチャの少ないオブジェクトであるか否かに関わらず、距離分解能は一定である。

0046

ただし、レーザレーダ測距部120の場合、ステレオカメラ部110による撮影と同期してレーザ光を出射するため、出射可能なレーザ光の出射回数に上限がある。このため、レーザレーダ測距部120により取得される距離情報は、高い空間分解能を実現することができない。

0047

視差演算システム100が備える各3次元センサにおける上記特性を考慮し、例えば、ステレオカメラ部110により有効な視差演算ができない領域については、レーザレーダ測距部120により取得される距離情報を選択的に利用する、といった構成が考えられる。

0048

しかしながら、このような構成の場合、当該領域の空間分解能は、有効な視差演算が可能な他の領域の空間分解能と比較して、著しく低下することになる。他の領域では画素単位で距離情報が算出されるのに対して、当該領域では、レーザ光の照射位置でしか距離情報が算出されないからである。

0049

そこで、本実施形態に係る視差演算システム100では、所定の距離以下のいずれの領域においても高い空間分解能が実現できるよう、レーザ信号処理部240が算出した距離情報を、視差演算に用いる構成とする。このように、精度の高い距離情報を、視差演算に組み込むことで、従来は有効な視差演算を行うことが困難であった領域においても、対応画素領域の位置312を正しく抽出することができるようになり、精度よく視差演算を行うことができるようになる。

0050

<5.距離計算処理部の機能構成>
(1)距離計算処理部の機能構成
図6は、距離計算処理部の機能構成を示す図である。なお、図6では、距離計算処理部の機能構成のうち、視差演算に関する処理を実現するための機能構成についてのみ示し、その他の機能構成(例えば、同期制御信号を送信するための機能等)については省略してある。

0051

図6に示すように、視差演算に関する処理を実現するための機能構成として、距離計算処理部250は、視差画像生成部600を有する。視差画像生成部600は、更に、コスト算出部610、合成コスト算出部620、視差演算部630を有する。

0052

コスト算出部610は、算出手段の一例である。コスト算出部610は、単眼カメラ部112より基準画像320を取得するとともに、単眼カメラ部112より比較画像310を取得する。また、コスト算出部610は、基準画像320より基準画素領域pを抽出し、比較画像310内の各画素領域との間でコストCを算出する。コストCとは、基準画素領域pと比較画像310内の各画素領域との間の非類似度を示すパラメータである。

0053

更に、コスト算出部610は、レーザ信号処理部240より点330の距離情報を取得し、コストClを算出する。コストClとは、取得した距離情報に基づいて導出される位置にある比較画像310内の画素領域と、基準画素領域pとの非類似度を示すパラメータである。

0054

また、コスト算出部610は、算出したコストC(第1のコスト)、Cl(第2のコスト)に基づいて重み付け加算を行い、比較画像310内の各画素領域の重み付けコストを算出する。更に、コスト算出部610は、算出した重み付けコストを合成コスト算出部620に通知する。つまり、重み付けコストは、合成コスト算出部620において合成されるコスト("非類似度")である。

0055

合成コスト算出部620は、コスト算出部610より通知された各画素領域の重み付けコストを合成することで合成コストSを算出し、合成結果を得る。合成コスト算出部620は、例えば、SGM(Semi-Global Matching)等の処理方法を用いて、複数の経路コストLrを算出し、それぞれの経路コストLrを、基準画素領域pに集約させることで、合成コストSを算出する。

0056

視差演算部630は、演算手段の一例であり、合成コスト算出部620により算出された合成コストSに基づいて、基準画素領域pに対応する比較画像310内の対応画素領域を抽出し、基準画素領域pの視差を演算する。

0057

なお、コスト算出部610及び合成コスト算出部620は、基準画像320内の他の基準画素領域についても同様の処理を行う。そして、視差演算部630では、各基準画素領域について、それぞれの視差を演算する。また、視差演算部630では、演算した各基準画素領域についての視差に基づいて視差画像を生成し、メモリ260に格納する。

0058

(2)コスト算出部610の機能構成
図7は、コスト算出部の機能構成の詳細を示す図である。図7に示すように、コスト算出部610は、基準画像取得部701、比較画像取得部702、コストC計算部703、コストC調整部704を有する。また、コスト算出部610は、距離情報取得部711、コストCl計算部712、重み付け加算部720を有する。

0059

基準画像取得部701は、単眼カメラ部112から基準画像320を取得する。また、取得した基準画像320から、基準画素領域pを抽出する。比較画像取得部702は、単眼カメラ部111から比較画像310を取得する。

0060

コストC計算部703は、基準画素領域pのコストC(p,d)を算出する。図8は、コストC(p,d)の算出方法を説明するための図である。図8(a)に示すように、コストC計算部703は、所定範囲(0〜D)でシフト量dを変化させることで、比較画像310内において画素領域311を順次シフトさせる。そして、コストC計算部703は、それぞれのシフト量dの位置における画素領域311の画素値と、図8(b)の基準画像320の基準画素領域pの画素値との非類似度として、コストC(p,d)を算出する。

0061

なお、コストC(p,d)は、例えば、SAD(Sum of Absolute Difference)やSSD(Sum of Squared Distance)等、画素領域間の画素値の差分に基づいて算出する、公知のマッチング方法を用いて算出する。このため、算出されるコストC(p,d)は、基準画素領域pの画素値と類似するほど低い値となり、類似しないほど高い値となる。

0062

図7の説明に戻る。コストC調整部704は、コストC計算部703により算出された基準画素領域pのコストC(p,d)を、信頼度に基づいて調整する。コストC調整部704は、下式(1)を用いて調整することで、調整後のコストC'(p,d)を得る。

0063

ここで、Dは、シフト量の最大値を表している。kはシフト量のカウント値を表している。また、Q(p)は、基準画素領域pのコストC(p,d)の信頼度を示している。信頼度Q(p)は、例えば、下式(2)を用いて算出される。

0064

ここで、Cmin1、Cmin2は、所定範囲(0〜D)でシフト量dを変化させることで算出されたそれぞれのコストC(p,d)のうち、最も低いコストと2番目に低いコストを表している。なお、上記(2)に基づいて算出される信頼度Q(p)は、Cmin1、Cmin2に基づいて算出した値を、0〜1.0未満に正規化し、信頼度が高いほど1.0に近づくよう補正したうえで、上記(1)に用いるものとする。

0065

コストC調整部704により調整された調整後のコストC'(p,d)は、例えば、基準画素領域pがテクスチャが少ない領域(隣り合う画素領域間の画素値の変化が少ない領域)にあり、信頼度Q(p)が低い場合には、より大きな値となる。

0066

距離情報取得部711は、取得手段の一例であり、レーザ信号処理部240より距離情報を取得する。ここでは、レーザ信号処理部240より取得した距離情報を、Zlとおく。距離情報取得部711は、取得した距離情報ZlをコストCl計算部712に通知する。

0067

コストCl計算部712は、距離情報取得部711より通知された距離情報Zlに基づいて、コストClを算出する。具体的には、コストCl計算部712では、まず、距離情報Zlに基づいて、下式(3)を用いてシフト量dlを算出する。これにより、距離情報Zlに基づいて導出される位置にある比較画像310内の画素領域が抽出される。

0068

上式(3)において、Bは、カメラレンズ211とカメラレンズ221との間の基線長である。fは、カメラレンズ211、カメラレンズ221の焦点距離である。

0069

コストCl計算部712は、続いて、シフト量dlにおけるコストCl(p,dl)を算出する。上述したコストC(p,d)の算出と同様に、コストCl計算部712では、シフト量dlの位置における画素領域311の画素値と基準画素領域pの画素値との非類似度として、コストCl(p,dl)を算出する。

0070

重み付け加算部720は、コストC調整部704において調整された調整後のコストC'(p,d)と、コストCl計算部712において算出されたコストCl(p,dl)とを用いて、下式(4)に基づいて重み付け加算し、重み付けコストを算出する。

0071

ここで、wdは、コストC調整部704により調整された調整後のコストC'(p,d)と、コストCl計算部712により算出されたコストCl(p,dl)のいずれを優先するかを示す重み係数である。コストC調整部704により調整された調整後のコストC'(p,d)を優先させる場合には、wdの値を大きくする。一方、コストCl計算部712により算出されたコストCl(p,dl)を優先させる場合には、wdの値を小さくする。

0072

具体的には、シフト量d≠dlの場合、wdの値を大きくする。これにより、比較画像310内の画素領域311のうち、シフト量d≠dlの画素領域の重み付けコストをより大きくすることができる。なお、調整後のコストC'(p,d)は、テクスチャが少ない領域等においてより大きな値となっており、wdの値を大きくして調整後のコストC'(p,d)を優先させることで、シフト量d≠dlの画素領域の重み付けコストはより大きな値となる。

0073

一方、シフト量d=dlの場合、wdの値を小さくする。これにより、比較画像310内の画素領域311のうち、シフト量d=dlの画素領域の重み付けコストをより小さくすることができる。なお、コストCl計算部712により算出されたコストCl(p,dl)は、コストC調整部704により算出された調整後のコストC'(p,d)よりも小さい値となっている。このため、wdの値を小さくしてコストCl計算部712により算出されたコストCl(p,dl)を優先させることで、シフト量d=dlの画素領域の重み付けコストはより小さな値となる。

0074

つまり、上式(4)によれば、シフト量d=dlの画素領域とそれ以外の画素領域との間のコストの差を、重み付けコストとして、より顕在化させることができる。

0075

この結果、合成コスト算出部620により算出された合成コストSから対応画素領域を抽出する際に、比較画像310内のd=dlの画素領域が抽出しやすくなる。つまり、基準画素領域pに対応する対応画素領域の位置312を精度よく抽出することが可能となる。

0076

なお、上式(4)において、wdの値は、固定値であってもよいし、距離情報Zlの値に応じて変更してもよい。あるいは、周囲環境に応じて(例えば、日中か夜間かに応じて)変更するように構成してもよい。

0077

(3)合成コスト算出部620の機能構成
図9は、合成コスト算出部の機能構成の詳細を示す図である。図9に示すように、合成コスト算出部620は、経路コスト計算部901と、合成コストS計算部902とを有する。

0078

経路コスト計算部901は、重み付け加算部720より重み付けコストを取得すると、下式(5)に基づいて、経路コストLr(p,d)を算出する。

0079

ここで、上式(5)は、SGMを用いた経路コストLrの一般的な式において、コストC(p,d)を、重み付けコストに置き換えたものである。また、上式(5)においてP1、P2は固定のパラメータである。

0080

上式(5)のもと、経路コスト計算部901では、基準画素領域pの重み付けコストに、図10に示されているr方向の各画素領域における経路コストLrの最小値加算することで、経路コストLr(p,d)を求める。なお、図10は、経路コストLr(p,d)の算出におけるr方向を示す図である。

0081

図10に示すように、経路コスト計算部901では、基準画素領域pのr方向(例えば、r135方向)の一番端の画素領域において経路コストLr(例えば、Lr135(p−2r,d))を求める。続いて、経路コスト計算部901では、r方向に沿って経路コストLr(Lr135(p−r,d))を求める。本実施形態において、経路コスト計算部901は、これらの処理を繰り返すことで得られる経路コストLr(例えば、Lr135(p,d))を、8方向について算出し、経路コストLr0(p,d)〜Lr315(p,d)を得る。

0082

合成コストS計算部902は、経路コスト計算部901において求めた8方向の経路コストLr0(p,d)〜Lr315(p,d)に基づいて、下式(6)により合成コストS(p,d)を算出する。

0083

合成コストS計算部902は、算出した合成コストS(p,d)を、視差演算部630に通知する。

0084

(4)視差演算部630の処理
視差演算部630は、合成コストS計算部902より通知された、基準画素領域pにおける合成コストS(p,d)を取得する。図11は、基準画素領域pにおける合成コストSの算出結果を示す図である。視差演算部630は、所定範囲(0〜D)において、合成コストS(p,d)が最小となるシフト量dminを算出することで、比較画像310より対応画素領域を抽出する。これにより、視差演算部630では、抽出した対応画素領域と基準画素領域との視差の演算結果として、シフト量dminを取得する。

0085

なお、視差演算部630は、基準画像320内の他の基準画素領域についても同様の処理を行い視差の演算結果を取得することで、視差画像を生成し、生成した視差画像をメモリ260に格納する。

0086

<6.視差画像生成部による視差画像生成処理>
次に、視差画像生成部600による視差画像生成処理の流れについて説明する。図12は、視差画像生成部による視差画像生成処理の流れを示すフローチャートである。なお、図12に示すフローチャートは、1の基準画素領域pについての視差を演算する処理を示したものであり、視差画像の生成にあたっては、視差画像生成部600が各基準画素領域について図12に示すフローチャートを実行するものとする。

0087

テップS1201において、基準画像取得部701は、基準画像320を取得し、基準画素領域pを抽出する。

0088

ステップS1202において、コストC計算部703は、比較画像取得部702にて取得された比較画像310内のシフト量dの位置における画素領域311の画素値と、基準画素領域pの画素値とに基づいて、コストC(p,d)を算出する。

0089

ステップS1203において、コストC調整部704は、算出したコストC(p,d)を信頼度Q(p)に基づいて調整し、調整後のコストC'(p,d)を算出する。

0090

ステップS1204において、距離情報取得部711は、基準画素領域pの位置に対応する実空間のオブジェクトまでの距離を示す距離情報Zlを取得する。

0091

ステップS1205において、コストCl計算部712は、距離情報取得部711において取得された距離情報Zlに基づいて、コストClを算出する。

0092

ステップS1206において、重み付け加算部720は、コストC調整部704において調整された調整後のコストC'(p,d)と、コストCl計算部712において算出されたコストCl(p,d)とを重み付け加算し、重み付けコストを算出する。

0093

ステップS1207において、経路コスト計算部901は、重み付けコストを用いて各経路コストLr(p、d)を算出する。

0094

ステップS1208において、合成コストS計算部902は、各経路コストLr(p,d)に基づいて、合成コストS(p,d)を算出する。

0095

ステップS1209において、視差演算部630は、合成コストS(p,d)が最小となるシフト量(dmin)を算出することで、比較画像310より対応画素領域を抽出するとともに、抽出した対応画素領域と基準画素領域pとの視差の演算結果を取得する。

0096

<7.まとめ>
以上の説明から明らかなように、本実施形態における視差演算システム100は、
・基準画素領域pの位置に対応する実空間のオブジェクトまでの距離を、レーザレーダ測距部120が測定し、距離情報Zlを取得する。
・取得した距離情報Zlに対応するシフト量dlに基づいて、コストClを算出する。
・基準画素領域pのコストCを信頼度に基づいて調整した調整後のコストC'と、距離情報Zlに基づいて算出したコストClとを重み係数wdを用いて重み付け加算し、重み付けコストを算出する。
・算出した重み付けコストを合成することで合成コストSを算出する。
・算出した合成コストSに基づいて、基準画素領域に対応する比較画像内の対応画素領域を抽出し、基準画素領域pにおける視差を演算する。

0097

これにより、レーザレーダ測距部により測定された距離情報に基づいて導出される位置にある比較画像内の画素領域について、他の画素領域よりも低い重み付けコストを算出することが可能となる。この結果、例えば、テクスチャが少ない領域であっても、当該重み付けコストを合成した合成コストを用いれば、対応画素領域を抽出する際に、当該画素領域が対応画素領域として抽出しやすくなる。

0098

つまり、本実施形態における視差演算システム100によれば、テクスチャが少なく、従来は対応画素領域の抽出が困難であった領域においても、対応画素領域を精度よく抽出することが可能となり、精度の高い視差演算を行うことができる。

0099

[他の実施形態]
上記実施形態では、画素領域についてコストCを算出する場合について説明したが、コストCの算出は、1画素ごとに行うように構成してもよい。この場合、コスト算出部610では、基準画像320から基準画素を抽出し、比較画像310の各画素との間でコストCを算出することになる。つまり、上記実施形態に記載の"画素領域"には、1または複数の画素が含まれるものとする。

0100

また、上記第1の実施形態では、ステレオカメラ部110とレーザレーダ測距部120とが一体的に構成される場合について示したが、ステレオカメラ部110とレーザレーダ測距部120とは、別体により構成されてもよい。

0101

また、上記実施形態では、3次元センサとして、ステレオカメラ部110に、レーザレーダ測距部120を組み合わせる場合について説明したが、ステレオカメラ部110に、他の3次元センサを組み合わせて視差演算システム100を構成してもよい。他の3次元センサには、例えば、ミリ波レーダ装置等が含まれる。

0102

また、上記実施形態では、視差演算システム100に、3次元センサ(ステレオカメラ部110、レーザレーダ測距部120)と、制御基板収納部202とが含まれるものとして説明した。しかしながら、視差演算システム100には、3次元センサが含まれていなくてもよく、少なくとも、制御基板収納部202において距離計算処理部250を実現する基板が含まれていればよい。

0103

また、上記実施形態では、距離計算処理部250が、専用の集積回路により構成されるものとして説明した。しかしながら、例えば、距離計算処理部250の機能を実現するソフトウェアプログラムコードが記録された記憶媒体を、視差演算システム100に供給する構成とすることで距離計算処理部250の機能を実現してもよい。この場合、視差演算システム100のコンピュータが記憶媒体に記録されたプログラムコードを読み出して実行することにより、距離計算処理部250の機能が実現されることになる。

0104

また、上記実施形態では、視差演算システム100を車両140に取り付ける場合について説明した。しかしながら、視差演算システム100の取り付け先は車両140に限定されず、バイク自転車車椅子農業用耕運機等であってもよい。あるいは、ロボット等の移動体であってもよい。あるいは、FA(Factory Automation)において固定設置される工業用ロボット等であってもよい。

0105

なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせなど、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

0106

100 :視差演算システム
110 :ステレオカメラ部
111、112 :単眼カメラ部
120 :レーザレーダ測距部
250 :距離計算処理部
310 :比較画像
311 :画素領域
320 :基準画像
600 :視差画像生成部
610 :コスト算出部
620 :合成コスト算出部
630 :視差演算部
701 :基準画像取得部
702 :比較画像取得部
703 :コストC計算部
704 :コストC調整部
711 :距離情報取得部
712 :コストCl計算部
720 :重み付け加算部
901 :経路コスト計算部
902 :合成コストS計算部

先行技術

0107

特開2016−011939号公報

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 山内和博の「 自動運転車」が 公開されました。( 2021/07/08)

    【課題】交差点にある横断歩道等の停止線に停止した際に、交通渋滞を生じさせることなく、安全かつ迅速に走行することができる自動運転車を提供する。【解決手段】探索された走行経路に沿って自動運転を行う自動運転... 詳細

  • 株式会社ミックウェアの「 情報処理システム、経路探索方法、およびプログラム」が 公開されました。( 2021/07/08)

    【課題・解決手段】情報処理システム(100)のサーバ(20)は、現在地と目的地との間を結ぶ経路を探索して、コスト情報と付加情報とを含むサーバ探索情報を作成する第2経路探索部(24)を備え、情報処理装置... 詳細

  • 日産自動車株式会社の「 走行支援方法及び走行支援装置」が 公開されました。( 2021/07/08)

    【課題・解決手段】プロセッサ(111)は、自車両に搭載されたセンサの検出情報に基づいて、自車両が走行する走行レーンを設定し、センサの前記検出情報に基づいて、走行レーン上で自車両の前方を走行する先行車を... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ