図面 (/)

技術 視差演算システム、移動体及びプログラム

出願人 株式会社リコー
発明者 横田聡一郎今井重明仲村忠司齊所賢一郎
出願日 2016年8月2日 (5年1ヶ月経過) 出願番号 2016-151683
公開日 2018年2月8日 (3年6ヶ月経過) 公開番号 2018-021776
状態 特許登録済
技術分野 交通制御システム 車両外部の荷台、物品保持装置 光学的距離測定
主要キーワード 各基準画素 比較画像内 投射ビーム 耕運機 工業用ロボット 基準画素領域 非類似度 レーザ信号
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2018年2月8日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (18)

課題

視差演算ステムに用いる電磁測距装置において、測距精度を向上させる。

解決手段

視差演算システム100であって、複数の撮像装置111、112の撮影方向に向かって電磁波を照射することで取得した、反射波を示す信号を処理する際の処理範囲を、複数の撮像装置により撮影された撮影画像を用いて演算された視差に基づいて決定する決定手段と、決定手段により決定された処理範囲の信号を処理することで、電磁波の照射位置までの距離を算出する算出手段250とを有する。

概要

背景

従来より、車両等の各種移動体には、周囲環境を3次元情報として取得するためのセンサ装置(3次元センサ)として、ステレオカメラ電磁測距装置(例えば、レーザレーダ測距装置、ミリ波レーダ測距装置)等が搭載されている。

ステレオカメラは、基準画像内の各画素に対応する比較画像内対応画素検索し、視差演算することで、オブジェクトまでの距離を算出する装置である。ステレオカメラの場合、空間分解能及び距離分解能が高いといった特性がある一方で、オブジェクトまでの距離が長いと、空間分解能及び距離分解能が低下するといった特性がある。

電磁波測距装置は、電磁波を出射してから、オブジェクトで反射した反射波を受信するまでの時間を測定することで、オブジェクトまでの距離を算出する装置である。電磁波測距装置の場合、オブジェクトまでの距離に関わらず、距離分解能が高いといった特性がある一方で、空間分解能が低いといった特性がある。

このため、ステレオカメラと電磁波測距装置とを組み合わせることで、互いの特性を活かした視差演算ステムを実現することができる。

概要

視差演算システムに用いる電磁波測距装置において、測距精度を向上させる。視差演算システム100であって、複数の撮像装置111、112の撮影方向に向かって電磁波を照射することで取得した、反射波を示す信号を処理する際の処理範囲を、複数の撮像装置により撮影された撮影画像を用いて演算された視差に基づいて決定する決定手段と、決定手段により決定された処理範囲の信号を処理することで、電磁波の照射位置までの距離を算出する算出手段250とを有する。

目的

本発明は上記課題に鑑みてなされたものであり、視差演算システムに用いる電磁波測距装置において、測距精度を向上させることを目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

複数の撮像装置撮影方向に向かって電磁波を照射することで取得した、反射波を示す信号を処理する際の処理範囲を、該複数の撮像装置により撮影された撮影画像を用いて演算された視差に基づいて決定する決定手段と、前記決定手段により決定された処理範囲の信号を処理することで、前記電磁波の照射位置までの距離を算出する算出手段とを有することを特徴とする視差演算ステム

請求項2

前記決定手段は、前記電磁波の照射位置に対応する前記撮影画像内画素領域について演算された視差に基づいて、前記処理範囲を決定することを特徴とする請求項1に記載の視差演算システム。

請求項3

前記算出手段により算出された距離に基づいて、前記撮影画像の視差を再演算する再演算手段を更に有することを特徴とする請求項1または2に記載の視差演算システム。

請求項4

前記複数の撮像装置と、前記電磁波を照射する電磁波測距装置とを更に有することを特徴とする請求項1乃至3のいずれか1項に記載の視差演算システム。

請求項5

請求項1乃至4のいずれか1項に記載の視差演算システムを有する移動体

請求項6

コンピュータに、複数の撮像装置の撮影方向に向かって電磁波を照射することで取得した、反射波を示す信号を処理する際の処理範囲を、該複数の撮像装置により撮影された撮影画像を用いて演算された視差に基づいて決定する決定工程と、前記決定工程において決定された処理範囲の信号を処理することで、前記電磁波の照射位置までの距離を算出する算出工程とを実行させるためのプログラム

技術分野

0001

本発明は、視差演算ステム、移動体及びプログラムに関する。

背景技術

0002

従来より、車両等の各種移動体には、周囲環境を3次元情報として取得するためのセンサ装置(3次元センサ)として、ステレオカメラ電磁測距装置(例えば、レーザレーダ測距装置、ミリ波レーダ測距装置)等が搭載されている。

0003

ステレオカメラは、基準画像内の各画素に対応する比較画像内対応画素検索し、視差演算することで、オブジェクトまでの距離を算出する装置である。ステレオカメラの場合、空間分解能及び距離分解能が高いといった特性がある一方で、オブジェクトまでの距離が長いと、空間分解能及び距離分解能が低下するといった特性がある。

0004

電磁波測距装置は、電磁波を出射してから、オブジェクトで反射した反射波を受信するまでの時間を測定することで、オブジェクトまでの距離を算出する装置である。電磁波測距装置の場合、オブジェクトまでの距離に関わらず、距離分解能が高いといった特性がある一方で、空間分解能が低いといった特性がある。

0005

このため、ステレオカメラと電磁波測距装置とを組み合わせることで、互いの特性を活かした視差演算システムを実現することができる。

発明が解決しようとする課題

0006

ここで、電磁波測距装置の場合、オブジェクトまでの距離に関わらず高い距離分解能が維持できる反面、オブジェクトまでの距離が長くなると、受信する反射波の信号強度が低下し、ノイズとの識別が困難になるという問題がある。このため、電磁波測距装置の場合、ノイズの誤検出により、誤った距離情報が出力される可能性がある。

0007

このようなことから、電磁波測距装置を用いて視差演算システムを構築するにあたっては、電磁波測距装置によるノイズの誤検出を低減し、測距精度を向上させることが求められる。

0008

本発明は上記課題に鑑みてなされたものであり、視差演算システムに用いる電磁波測距装置において、測距精度を向上させることを目的とする。

課題を解決するための手段

0009

本発明の各実施形態に係る視差演算システムは、以下のような構成を有する。すなわち、
複数の撮像装置撮影方向に向かって電磁波を照射することで取得した、反射波を示す信号を処理する際の処理範囲を、該複数の撮像装置により撮影された撮影画像を用いて演算された視差に基づいて決定する決定手段と、
前記決定手段により決定された処理範囲の信号を処理することで、前記電磁波の照射位置までの距離を算出する算出手段とを有することを特徴とする。

発明の効果

0010

本発明の各実施形態によれば、視差演算システムに用いる電磁波測距装置において、測距精度を向上させることができる。

図面の簡単な説明

0011

視差演算システムの外観構成及び取り付け例を示す図である。
視差演算システムのハードウェア構成の一例を示す図である。
3次元センサの距離分解能及び空間分解能を説明するための図である。
3次元センサの距離分解能及び空間分解能を説明するための図である。
基準画像内の基準画素領域及び比較画像内の画素領域を示す図である。
レーザレーダ測距部により生成されるレーザ受光信号の一例を示す図である。
距離計算処理部の機能構成を示す図である。
第1コスト算出部の機能構成の詳細を示す図である。
コストC(p,d)の算出方法を説明するための図である。
第1合成コスト算出部の機能構成の詳細を示す図である。
第1経路コストLr(p,d)の算出におけるr方向を示す図である。
範囲決定部による処理範囲の決定方法を説明するための図である。
範囲決定部により決定された処理範囲を示す図である。
第2コスト算出部の機能構成の詳細を示す図である。
第2合成コスト算出部の機能構成の詳細を示す図である。
基準画素領域pにおける第2合成コストS'の算出結果を示す図である。
距離計算処理部による視差画像生成処理の流れを示すフローチャートである。

実施例

0012

以下、各実施形態の詳細について添付の図面を参照しながら説明する。なお、各実施形態に係る明細書及び図面の記載に際して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。

0013

[実施形態]
<1.視差演算システムの外観構成及び取り付け例>
はじめに、一実施形態に係る視差演算システムの外観構成及び取り付け例について説明する。図1は、視差演算システムの外観構成及び取り付け例を示す図である。

0014

図1の上部(外観構成)に示すように、視差演算システム100は、周囲環境を3次元情報として取得するセンサ装置(3次元センサ)として、ステレオカメラ部110と、レーザレーダ測距部(レーザレーダ測距装置)120とを備える。ステレオカメラ部110は、単眼カメラ部(第1の撮像装置)111と単眼カメラ部(第2の撮像装置)112とを備え、レーザレーダ測距部120は、当該単眼カメラ部111と単眼カメラ部112との間に配置される。

0015

単眼カメラ部111、112は、同期をとりながら所定のフレーム周期でそれぞれが撮影を行い、撮影画像を生成する。

0016

レーザレーダ測距部120は、レーザ光を照射し、その反射光受光することで、レーザ光の照射位置(所定のオブジェクト)までの距離を測定するTOF(Time Of Flight)方式のレーザレーダ測距装置である。

0017

図1の下部(取り付け例)に示すように、視差演算システム100は、例えば、車両140のフロントウィンドウ内側中央位置に取り付けられる。このとき、ステレオカメラ部110及びレーザレーダ測距部120は、いずれも車両140の前方方向に向かって取り付けられる。つまり、視差演算システム100は、ステレオカメラ部110の撮影方向と、レーザレーダ測距部120のレーザ光の出射方向とが、同じ方向になるように取り付けられる。

0018

<2.視差演算システムのハードウェア構成>
次に、視差演算システム100のハードウェア構成について説明する。図2は、視差演算システムのハードウェア構成の一例を示す図である。

0019

図2に示すように、視差演算システム100は、カメラステイ201と制御基板収納部202とを有する。

0020

カメラステイ201には、単眼カメラ部111、112とレーザレーダ測距部120とが一体的に取り付けられている。これにより、視差演算システム100の小型化及び低コスト化を実現している。

0021

制御基板収納部202には、レーザ信号処理部240、距離計算処理部250、メモリ260、MPU(Micro Processing Unit)270が収納されている。レーザ信号処理部240をレーザレーダ測距部120とは別体に構成することで、レーザレーダ測距部120のサイズを小さくすることができる。これにより、本実施形態では、単眼カメラ部111と単眼カメラ部112との間への、レーザレーダ測距部120の配置を実現している。

0022

なお、図2の例では、レーザ信号処理部240と距離計算処理部250とを、別の回路基板として構成しているが、レーザ信号処理部240と距離計算処理部250とは、共通の回路基板により構成してもよい。回路基板の枚数を削減することで、低コスト化を図ることが可能となるからである。

0023

続いて、カメラステイ201側の各部の詳細について説明する。図2に示すように、単眼カメラ部111は、カメラレンズ211と、撮像素子212と、センサ基板213とを備える。カメラレンズ211を介して入射された外部の光は、撮像素子212において受光され、所定のフレーム周期で光電変換される。光電変換されることで得た信号は、センサ基板213において処理され、1フレームごとの撮影画像が生成される。生成された撮影画像は、比較画像として、順次、距離計算処理部250に送信される。

0024

なお、単眼カメラ部112も、単眼カメラ部111と同様の構成を有しており、同期制御信号に基づいて単眼カメラ部111と同期して生成された撮影画像は、基準画像として、順次、距離計算処理部250に送信される。

0025

レーザレーダ測距部120は、光源駆動回路231と、レーザ光源232と、投光レンズ233とを備える。光源駆動回路231は、レーザ信号処理部240からの同期制御信号に基づいて動作し、レーザ光源232に対して変調電流光源発光信号)を印加する。これにより、レーザ光源232ではレーザ光を出射する。レーザ光源232より出射されたレーザ光は、投光レンズ233を介して外部に出射される。

0026

なお、本実施形態では、レーザ光源232として、赤外半導体レーザダイオード(LD:Laser Diode)が用いられ、レーザ光として波長800nm〜950nmの近赤外光が出射されるものとする。また、レーザ光源232は、光源駆動回路231により印加された変調電流(光源発光信号)に応じて、パルス状の波形を有するレーザ光を周期的に出射するものとする。更に、レーザ光源232は、数ナノ秒から数百ナノ秒程度の短いパルス幅を有するパルス状のレーザ光を周期的に出射するものとする。

0027

レーザ光源232から出射されたパルス状のレーザ光は、投光レンズ233を介して投射ビームとして外部に出射された後、所定の照射位置(所定のオブジェクト)に照射される。なお、レーザ光源232から出射されるレーザ光は、投光レンズ233によって略平行光にコリメートされているため、照射されたオブジェクトにおける照射面積は、予め設定された微小面積に抑えられる。

0028

レーザレーダ測距部120は、更に、受光レンズ234と、受光素子235と、受光信号増幅回路236とを備える。所定のオブジェクトに照射されたレーザ光は、一様な方向に散乱する。そして、レーザレーダ測距部120から出射されたレーザ光と同じ光路をたどって反射してくる光成分が、反射光として、受光レンズ234を介して受光素子235に導かれる。

0029

本実施形態では、受光素子235として、シリコンPINフォトダイオードアバランシェフォトダイオードが用いられる。受光素子235は、反射光を光電変換することでレーザ受光信号を生成し、受光信号増幅回路236は、生成されたレーザ受光信号を増幅した後、レーザ信号処理部240に送信する。

0030

続いて、制御基板収納部202側の各部の詳細について説明する。レーザ信号処理部240は、算出手段の一例であり、レーザレーダ測距部120より送信されたレーザ受光信号に基づいて、所定のオブジェクトまでの距離を算出し、算出した距離情報を距離計算処理部250に送信する。なお、レーザ信号処理部240では、レーザレーダ測距部120より送信されたレーザ受光信号のうち、距離計算処理部250から送信された処理範囲内のレーザ受光信号を処理することで、所定のオブジェクトまでの距離を算出する。

0031

距離計算処理部250は、例えば、FPGA(Field-Programmable gate array)や、ASIC(Application Specific IntegratedCircuit)等の専用の集積回路により構成される。距離計算処理部250は、単眼カメラ部111、112及びレーザ信号処理部240に対して、撮影タイミング及びレーザ光の投受光タイミングを制御するための同期制御信号を出力する。また、距離計算処理部250は、レーザ信号処理部240に対して、レーザ受光信号を処理する際の処理範囲を通知する。

0032

更に、距離計算処理部250は、単眼カメラ部111より送信された比較画像、単眼カメラ部112より送信された基準画像、レーザ信号処理部240より送信された距離情報に基づいて、視差画像を生成する。距離計算処理部250は、生成した視差画像をメモリ260に格納する。

0033

メモリ260は、距離計算処理部250にて生成された視差画像を格納する。また、メモリ260は、距離計算処理部250及びMPU270が各種処理を実行する際のワークエリアを提供する。

0034

MPU270は、制御基板収納部202に収納された各部を制御するとともに、メモリ260に格納された視差画像を解析する解析処理を行う。

0035

<3.3次元センサの距離分解能及び空間分解能>
次に、視差演算システム100が備える各3次元センサ(ステレオカメラ部110、レーザレーダ測距部120)の距離分解能及び空間分解能について簡単に説明する。

0036

図3図4は、3次元センサの距離分解能及び空間分解能を説明するための図である。このうち、図3は、ステレオカメラ部110の距離分解能及び空間分解能を説明するための図である。図3(a)に示すように、ステレオカメラ部110により撮影された撮影画像に基づいて算出される距離情報は、ステレオカメラ部110に近い位置ほど、距離分解能が高く、ステレオカメラ部110から離れるにつれて、距離分解能が低くなる。

0037

このとき、距離情報の距離分解能は、オブジェクトまでの距離には比例せず、図3(b)のグラフに示すように、所定の距離(例えば、25[m])以上離れると、急速に低下する。なお、図3(b)において、横軸は、視差(画素数で示した視差)を表し、縦軸は、オブジェクトまでの距離を表している。図3(b)のグラフの場合、グラフの左下にいくほど距離分解能が高くなり、右上にいくほど距離分解能が低くなる。

0038

つまり、ステレオカメラ部110により撮影された撮影画像に基づいて算出される距離情報は、所定の距離以下においては、高い距離分解能を有しているといえる。なお、ステレオカメラ部110の場合、距離分解能が高ければ、空間分解能も高くなることから、ステレオカメラ部110により撮影された撮影画像に基づいて算出される距離情報は、所定の距離以下においては空間分解能も高いといえる。

0039

一方、図4は、レーザレーダ測距部120の距離分解能及び空間分解能を説明するための図である。図4(a)に示すように、レーザレーダ測距部120により生成されたレーザ受光信号に基づいて算出される距離情報は、レーザレーダ測距部120からの距離に関わらず、一定の距離分解能を有する。図4(b)のグラフに示すように、レーザ光を出射してから受光するまでの応答時間は、オブジェクトまでの距離に比例し、その傾きは概ね一定となるからである。なお、図4(b)において、横軸は、レーザ光を出射してから受光するまでの応答時間を表し、縦軸は、オブジェクトまでの距離を表している。

0040

加えて、本実施形態におけるレーザレーダ測距部120は、応答時間をナノ秒オーダで測定する。このため、レーザレーダ測距部120により生成されたレーザ受光信号に基づいて算出される距離情報は、オブジェクトまでの距離によらず、いずれの距離においても概ねステレオカメラ部110よりも高い距離分解能を有することになる。

0041

ただし、レーザレーダ測距部120の場合、ステレオカメラ部110による撮影と同期してレーザ光を出射するため、ステレオカメラ部110による1フレームの撮影の間に出射可能なレーザ光の出射範囲には上限がある。このため、レーザレーダ測距部120の場合、高い空間分解能を実現することができない。

0042

このように、視差演算システム100が備える各3次元センサは、距離分解能及び空間分解能について、それぞれ異なる特性を有している。このため、視差演算システム100において、それぞれの特性を活かすためには、オブジェクトまでの距離が所定の距離以下においては、ステレオカメラ部110により撮影された撮影画像に基づいて算出される距離情報を主として利用するのが効果的である。一方、オブジェクトまでの距離が所定の距離を超える場合には、レーザレーダ測距部120により生成されたレーザ受光信号に基づいて算出される距離情報を主として利用するのが効果的である。

0043

<4.視差演算の特性>
次に、ステレオカメラ部110により撮影された撮影画像に基づき、距離計算処理部250にて行われる視差演算の特性について説明する。はじめに、距離計算処理部250が視差演算を行う際の、基準画像内の演算対象の画素領域である「基準画素領域」と、比較画像内の画素領域について説明する。

0044

図5は、基準画像内の基準画素領域及び比較画像内の画素領域を示す図である。このうち、図5(b)は、単眼カメラ部112より送信された基準画像520を示している。基準画像520において、画素領域pは、距離計算処理部250が、現在、演算対象としている画素領域である、「基準画素領域」を示している。図5(b)の例では、座標(x、y)により特定される位置の画素領域を基準画素領域pとしている。

0045

一方、図5(a)は、単眼カメラ部111より送信された比較画像510を示している。比較画像510において、画素領域511は、基準画像520内の基準画素領域pのx座標及びy座標と同じx座標及びy座標を有する比較画像510内の画素領域を示している。

0046

位置512は、基準画像520において、基準画素領域pに対応する「対応画素領域」の位置を示している。基準画素領域pの位置に対応する実空間のオブジェクト(図5の例では、他車両の側面の一部)と、対応画素領域の位置512に対応する実空間のオブジェクトとは、実空間内において一致する。ただし、基準画像520の撮影位置と比較画像510の撮影位置とは、左右方向にずれているため、比較画像510上では、位置512は、画素領域511に対して視差分、左右方向にずれることになる。

0047

ここで、対応画素領域の位置512を精度よく抽出するにあたっては、レーザレーダ測距部120により取得される距離情報を利用することが効果的である。基準画素領域pに対応する位置(またはその近傍)を照射位置として、レーザレーダ測距部120がレーザ光を照射していた場合、当該照射位置について、距離分解能の高い距離情報を取得することができるからである。なお、距離計算処理部250にて行われる視差演算は、距離分解能の高い距離情報(レーザレーダ測距部120により取得される距離情報)を組み込むことで精度を向上させることができるという特性を有する。

0048

図5(b)の例において、点530は、基準画像520が撮影されたタイミングで、レーザレーダ測距部120により照射されたレーザ光の照射位置を、基準画像520に重ねて模式的に示したものである。このような場合、本実施形態における視差演算システム100では、基準画素領域pの視差演算において、点530を照射位置とするレーザ受光信号に基づいて算出した距離情報を組み込み、視差演算の精度を向上させる(詳細は後述)。

0049

<5.レーザ信号処理部により算出される距離情報>
次に、レーザ信号処理部240により算出される距離情報の特性について説明する。上述したとおり、レーザレーダ測距部120は、応答時間をナノ秒オーダで測定できるため、オブジェクトまでの距離によらず、いずれの距離においてもステレオカメラ部110より高い距離分解能を有する。

0050

しかしながら、レーザレーダ測距部120のようにTOF方式のレーザレーダ測距装置の場合、オブジェクトまでの距離が長くなると、レーザ受光信号の信号強度が低下する。下式(1)は、オブジェクトまでの距離Lと、レーザレーダ測距部120にて生成されるレーザ受光信号の信号強度Prとの関係を示す式である。

0051

なお、上式(1)において、SRCVは、受光素子235の面積を表し、ηは、受光素子235に集光されるレーザ光のうち、受光素子235に入力される割合を表す。また、SSndは、オブジェクトにおけるレーザ光の照射面積を表し、RTgtは、オブジェクトの反射率を表す。更に、POは、レーザ光源232の出力を表し、TFGは、レーザ光源232の光利用効率を表す。

0052

上式(1)に示すように、レーザ受光信号の信号強度Prは、オブジェクトまでの距離Lの2乗に反比例して低下する。このため、レーザ信号処理部240においては、所定の距離以下であっても、取得したレーザ受光信号の中から、オブジェクトでの反射を示す信号を検出することが困難な場合がある。このような場合、レーザ信号処理部240では、ノイズを誤検出することとなり、正しい距離情報を出力することができない。図6を用いて詳細に説明する。

0053

図6は、レーザレーダ測距部により生成されるレーザ受光信号の一例を示す図であり、横軸は、レーザ光を出射してから受光するまでの応答時間を表し、縦軸は、レーザ受光信号の信号強度を表している。

0054

このうち、図6(a)は、レーザ光が照射されるオブジェクトまでの距離Lが短い場合のレーザ受光信号の一例を示している。図6(a)に示すように、レーザ光が照射されるオブジェクトまでの距離Lが短い場合、オブジェクトでの反射を示す信号の信号強度(611)と、オブジェクト以外での反射を示す信号の信号強度(612)との差が大きい。このため、オブジェクトでの反射を示す信号を容易に検出することができる。

0055

一方、図6(b)は、レーザ光が照射されるオブジェクトまでの距離Lが長い場合のレーザ受光信号の一例を示している。図6(b)に示すように、レーザ光が照射されるオブジェクトまでの距離Lが長い場合、オブジェクトでの反射を示す信号の信号強度(621)と、オブジェクト以外での反射を示す信号の信号強度(622)との差が小さい。このため、オブジェクトでの反射を示す信号を検出するのは容易ではなく、オブジェクト以外の反射を示す信号を、オブジェクトでの反射を示す信号と誤検出してしまう可能性が高い。この結果、レーザレーダ測距部120の高い距離分解能にも関わらず、レーザ信号処理部240では誤った距離情報を出力することになる。

0056

このようなことから、本実施形態に係る視差演算システム100では、レーザ信号処理部240により算出される距離情報を、視差演算に組み込むにあたり、正しい距離情報を組み込むことができるよう、レーザ受光信号の処理範囲を限定する。具体的には、本実施形態に係る視差演算システム100の場合、ステレオカメラ部110により撮影された撮影画像に基づいて算出される距離情報に基づいて、レーザ受光信号の処理範囲を決定する。

0057

このように、レーザ受光信号の処理範囲を限定することで、本実施形態によれば、オブジェクト以外の反射を示す信号を、オブジェクトでの反射を示す信号と誤検出してしまう可能性を低減させることができる。この結果、距離計算処理部250では、レーザ信号処理部240から出力される正しい距離情報を組み込んで視差演算を行うことが可能となる。

0058

<6.距離計算処理部250の機能構成>
次に、距離計算処理部250の機能構成について説明する。図7は、距離計算処理部の機能構成を示す図である。なお、図7では、距離計算処理部の機能構成のうち、視差演算に関する処理を実現するための機能構成についてのみ示し、その他の機能構成(例えば、同期制御信号を送信するための機能等)については省略してある。

0059

図7に示すように、視差演算に関する処理を実現するための機能構成として、距離計算処理部250は、処理範囲算出部710と視差画像生成部720とを有する。

0060

処理範囲算出部710は、更に、第1コスト算出部711、第1合成コスト算出部712、第1視差演算部713、範囲決定部714を有する。

0061

また、視差画像生成部720は、更に、第2コスト算出部721、第2合成コスト算出部722、第2視差演算部723を有する。

0062

以下、処理範囲算出部710及び視差画像生成部720の各部の詳細について説明する。

0063

<7.処理範囲算出部710の各部の詳細>
はじめに、処理範囲算出部710の各部の詳細について説明する。

0064

(1)第1コスト算出部711の機能構成
図8は、第1コスト算出部の機能構成の詳細を示す図である。図8に示すように、第1コスト算出部711は、基準画像取得部801、比較画像取得部802、コストC計算部803を有する。

0065

基準画像取得部801は、単眼カメラ部112から基準画像520を取得する。また、取得した基準画像520から、基準画素領域pを抽出する。比較画像取得部802は、単眼カメラ部111から比較画像510を取得する。

0066

コストC計算部803は、基準画素領域pと比較画像510内の各画素領域との間でコストC(p,d)を算出する。コストCとは、基準画素領域pと比較画像510内の各画素領域との間の非類似度を示すパラメータである。

0067

図9は、コストC(p,d)の算出方法を説明するための図である。図9(a)に示すように、コストC計算部803は、所定範囲(0〜D)でシフト量dを変化させることで、比較画像510内において画素領域511を順次シフトさせる。そして、コストC計算部803は、それぞれのシフト量dの位置における画素領域511の画素値と、図9(b)の基準画像520の基準画素領域pの画素値との非類似度として、コストC(p,d)を算出する。

0068

なお、コストC(p,d)は、例えば、SAD(Sum of Absolute Difference)やSSD(Sum of Squared Distance)等、画素領域間の画素値の差分に基づいて算出する、公知のマッチング方法を用いて算出する。このため、算出されるコストC(p,d)は、基準画素領域pの画素値と類似するほど低い値となり、類似しないほど高い値となる。

0069

コストC計算部803は、算出したコストC(p,d)を第1合成コスト算出部712に通知する。

0070

(2)第1合成コスト算出部712の機能構成
第1合成コスト算出部712は、第1コスト算出部711より通知された各画素領域のコストC(p,d)を合成することで第1合成コストSを算出し、合成結果を得る。第1合成コスト算出部712は、例えば、SGM(Semi-Global Matching)等の処理方法を用いて、複数の第1経路コストLrを算出し、それぞれの第1経路コストLrを、基準画素領域pに集約させることで、第1合成コストSを算出する。

0071

図10は、第1合成コスト算出部の機能構成の詳細を示す図である。図10に示すように、第1合成コスト算出部712は、第1経路コスト計算部1001と、第1合成コストS計算部1002とを有する。

0072

第1経路コスト計算部1001は、第1コスト算出部711よりコストC(p,d)を取得すると、下式(2)に基づいて、第1経路コストLr(p,d)を算出する。

0073

ここで、上式(2)は、SGMを用いた経路コストLrの一般的な式である。また、上式(2)においてP1、P2は固定のパラメータである。

0074

上式(2)のもと、第1経路コスト計算部1001では、基準画素領域pのコストC(p,d)に、図11に示されているr方向の各画素領域における第1経路コストLrの最小値加算することで、第1経路コストLr(p,d)を求める。なお、図11は、第1経路コストLr(p,d)の算出におけるr方向を示す図である。

0075

図11に示すように、第1経路コスト計算部1001では、基準画素領域pのr方向(例えば、r135方向)の一番端の画素領域において第1経路コストLr(例えば、Lr135(p−2r,d))を求める。続いて、第1経路コスト計算部1001では、r方向に沿って第1経路コストLr(Lr135(p−r,d))を求める。本実施形態において、第1経路コスト計算部1001は、これらの処理を繰り返すことで得られる第1経路コストLr(例えば、Lr135(p,d))を、8方向について算出し、第1経路コストLr0(p,d)〜Lr315(p,d)を得る。

0076

第1合成コストS計算部1002は、第1経路コスト計算部1001において求めた8方向の第1経路コストLr0(p,d)〜Lr315(p,d)に基づいて、下式(3)により第1合成コストS(p,d)を算出する。

0077

第1合成コストS計算部1002は、算出した第1合成コストS(p,d)を、第1視差演算部713に通知する。

0078

(3)第1視差演算部713の機能
第1視差演算部713は、第1合成コスト算出部712により算出された第1合成コストS(p,d)に基づいて、基準画素領域pに対応する比較画像510内の対応画素領域を抽出し、基準画素領域pの視差を演算する。

0079

なお、第1コスト算出部711及び第1合成コスト算出部712は、基準画像520内の他の基準画素領域についても同様の処理を行う。そして、第1視差演算部713では、各基準画素領域について、それぞれの視差(第1視差)を演算し、演算結果を範囲決定部714に通知する。

0080

(4)範囲決定部714の機能
範囲決定部714は、第1視差演算部713より通知された視差(第1視差)の演算結果のうち、基準画素領域p及びその周辺の画素領域の視差を抽出し、処理範囲を決定する。図12を参照しながら、具体的に説明する。

0081

図12は、範囲決定部による処理範囲の決定方法を説明するための図であり、基準画像520のうち、レーザレーダ測距部120によりレーザ光が照射された照射位置(点530)及びその周辺の画素領域を示している。

0082

図12に示すように、基準画像520のうち、点530の座標(xl,yl)により特定される位置に対応する実空間のオブジェクトにレーザ光が照射されたとする。なお、座標(xl,yl)は、基準画素領域pの座標(x,y)と一致していてもよいし、多少ずれていてもよい。

0083

このような場合、範囲決定部714では、照射位置(xl,yl)を中心として、横方向に±1/2a画素分、縦方向に±b画素分の画素領域を抽出する。

0084

範囲決定部714は、更に、第1視差演算部713において演算されたそれぞれの視差のうち、抽出した画素領域について演算された視差を抽出する。なお、図12の例は、紙面都合上、範囲決定部714が抽出した画素領域について演算された視差のうち、左上の画素領域、右上の画素領域、左下の画素領域、右下の画素領域についてそれぞれ演算された視差のみを示している。

0085

範囲決定部714は、更に、抽出した視差の中から、演算頻度が最大の視差を抽出する。

0086

そして、範囲決定部714は、決定手段として機能することで、演算頻度が最大の視差±1画素に相当する距離を、レーザ信号処理部240がレーザ受光信号を処理する際の処理範囲として決定する。

0087

具体的には、範囲決定部714は、抽出した視差のうち、演算頻度が最大の視差+1画素に相当する最小距離から、演算頻度が最大の視差−1画素に相当する最大距離までの範囲を、レーザ受光信号を処理する際の処理範囲に決定する。

0088

更に、範囲決定部714は、決定した処理範囲をレーザ信号処理部240に通知する。これにより、レーザ信号処理部240は、レーザ受光信号のうち、通知された処理範囲を対象として、オブジェクトでの反射を示す信号を検出し、例えば、点530の距離情報を算出する。なお、レーザ信号処理部240は、通知された処理範囲を規定する最小距離と最大距離とをそれぞれ光速で除算することで時間範囲に変換した処理範囲を対象として、オブジェクトでの反射を示す信号を検出する。

0089

図13は、範囲決定部により決定された処理範囲を示す図である。図13において、横軸は、レーザ光を出射してから受光するまでの応答時間を表し、縦軸は、レーザ受光信号の信号強度を表している。図13において、処理範囲1310、1320は、範囲決定部714により決定された処理範囲(時間範囲に変換した処理範囲)である。

0090

なお、図13(a)は、レーザ光が照射されるオブジェクトまでの距離Lが短い場合のレーザ受光信号の一例を示している。図13(a)に示すように、レーザ光が照射されるオブジェクトまでの距離Lが短い場合、処理範囲1310において、オブジェクトでの反射を示す信号の信号強度(611)と、オブジェクト以外での反射を示す信号の信号強度(1312)との差は更に大きくなる。このため、オブジェクトでの反射を示す信号の検出が更に容易になる。

0091

また、図13(b)は、レーザ光が照射されるオブジェクトまでの距離Lが長い場合のレーザ受光信号の一例を示している。図13(b)に示すように、レーザ光が照射されるオブジェクトまでの距離Lが長い場合であっても(例えば、点530についても)、処理範囲1320によれば、信号強度(621)と信号強度(1322)との差を大きくすることができる。つまり、オブジェクトでの反射を示す信号の信号強度と、オブジェクト以外での反射を示す信号の信号強度との差を大きくすることができる。このため、オブジェクトでの反射を示す信号を容易に検出することが可能となり、オブジェクト以外での反射を示す信号を、オブジェクトでの反射を示す信号と誤検出してしまう可能性を低減させることができる。

0092

なお、上記説明では、範囲決定部714が抽出した視差のうち、演算頻度が最大の視差±1画素に相当とする距離を処理範囲に決定する場合について説明したが、処理範囲の決定方法はこれに限定されない。例えば、範囲決定部714は、下式(4)に基づいて算出される視差に相当する距離を処理範囲を決定するようにしてもよい。

0093

上式(4)において、dmodeは、基準画素領域p及びその周辺の画素領域について演算された視差のうち、演算頻度が最大の視差である。wは、演算頻度が最大の視差から、標準偏差に対して、どれくらいの幅をもたせるかを示す係数である。n'は、基準画素領域p及びその周辺の画素領域について演算された整数の視差のうち、演算頻度が最大の視差に対して、±1画素以内に入っている視差の数を表している。d'は、基準画素領域p及びその周辺の画素領域について演算された整数の視差のうち、演算頻度が最大の視差に対して、±1画素以内に入っている視差を表している。

0094

上式(4)によれば、視差のばらつきが大きい場合に、処理範囲を広くし、視差のばらつきが小さい場合に、処理範囲を狭くすることができる。

0095

<8.視差画像生成部720の各部の詳細>
続いて、視差画像生成部720の各部の詳細について説明する。

0096

(1)第2コスト算出部721の機能構成
図14は、第2コスト算出部の機能構成の詳細を示す図である。図14に示すように、第2コスト算出部721は、基準画像取得部1401、比較画像取得部1402、コストC計算部1403、コストC調整部1404を有する。また、第2コスト算出部721は、距離情報取得部1411、コストCl計算部1412、重み付け加算部1420を有する。

0097

基準画像取得部1401は、単眼カメラ部112から基準画像520を取得する。また、取得した基準画像520から、基準画素領域pを抽出する。比較画像取得部1402は、単眼カメラ部111から比較画像510を取得する。

0098

コストC計算部1403は、基準画素領域pのコストC(p,d)を算出する。なお、コストC(p,d)の算出方法は、図9を用いて説明済みであるため、ここでは、コストC(p,d)の算出方法の説明を省略する。

0099

コストC調整部1404は、コストC計算部1403により算出された基準画素領域pのコストC(p,d)を、信頼度に基づいて調整する。コストC調整部1404は、下式(5)を用いて調整することで、調整後のコストC'(p,d)を得る。

0100

ここで、Dは、シフト量の最大値を表している。kはシフト量のカウント値を表している。また、Q(p)は、基準画素領域pのコストC(p,d)の信頼度を示している。信頼度Q(p)は、例えば、下式(6)を用いて算出される。

0101

ここで、Cmin1、Cmin2は、所定範囲(0〜D)でシフト量dを変化させることで算出されたそれぞれのコストC(p,d)のうち、最も低いコストと2番目に低いコストを表している。なお、上式(6)に基づいて算出される信頼度Q(p)は、Cmin1、Cmin2に基づいて算出した値を、0〜1.0未満に正規化し、信頼度が高いほど1.0に近づくよう補正したうえで、上式(5)に用いられるものとする。

0102

コストC調整部1404により調整された調整後のコストC'(p,d)は、例えば、基準画素領域pがテクスチャが少ない領域(隣り合う画素領域間の画素値の変化が少ない領域)にあり、信頼度Q(p)が低い場合には、より大きな値となる。

0103

距離情報取得部1411は、レーザ信号処理部240より距離情報を取得する。レーザ信号処理部240より取得する距離情報は、処理範囲を限定したことで誤検出の可能性が低減された距離情報である。ここでは、レーザ信号処理部240より取得した距離情報を、Zlとおく。距離情報取得部1411は、取得した距離情報ZlをコストCl計算部1412に通知する。

0104

コストCl計算部1412は、距離情報取得部1411より通知された距離情報Zlに基づいて、コストClを算出する。コストClとは、取得した距離情報Zlに基づいて導出される位置にある比較画像510内の画素領域と、基準画素領域pとの非類似度を示すパラメータである。

0105

具体的には、コストCl計算部1412では、まず、距離情報Zlに基づいて、下式(7)を用いてシフト量dlを算出する。これにより、距離情報Zlに基づいて導出される位置にある比較画像510内の画素領域が抽出される。

0106

上式(7)において、Bは、カメラレンズ211とカメラレンズ221との間の基線長である。fは、カメラレンズ211、カメラレンズ221の焦点距離である。

0107

コストCl計算部1412は、続いて、シフト量dlにおけるコストCl(p,dl)を算出する。上述したコストC(p,d)の算出と同様に、コストCl計算部1412では、シフト量dlの位置における画素領域511の画素値と基準画素領域pの画素値との非類似度として、コストCl(p,dl)を算出する。

0108

重み付け加算部1420は、コストC調整部1404において調整された調整後のコストC'(p,d)と、コストCl計算部1412において算出されたコストCl(p,dl)とを用いて、下式(8)に基づいて重み付け加算し、重み付けコストを算出する。

0109

ここで、wdは、コストC調整部1404により調整された調整後のコストC'(p,d)と、コストCl計算部1412により算出されたコストCl(p,dl)のいずれを優先するかを示す重み係数である。コストC調整部1404により調整された調整後のコストC'(p,d)を優先させる場合には、wdの値を大きくする。一方、コストCl計算部1412により算出されたコストCl(p,dl)を優先させる場合には、wdの値を小さくする。

0110

具体的には、シフト量d≠dlの場合、wdの値を大きくする。これにより、比較画像510内の画素領域511のうち、シフト量d≠dlの画素領域の重み付けコストをより大きくすることができる。なお、調整後のコストC'(p,d)は、例えば、テクスチャが少ない領域等においてより大きな値となっており、wdの値を大きくして調整後のコストC'(p,d)を優先させることで、シフト量d≠dlの画素領域の重み付けコストはより大きな値となる。

0111

一方、シフト量d=dlの場合、wdの値を小さくする。これにより、比較画像510内の画素領域511のうち、シフト量d=dlの画素領域の重み付けコストをより小さくすることができる。なお、コストCl計算部1412により算出されたコストCl(p,dl)は、コストC調整部1404により算出された調整後のコストC'(p,d)よりも小さい値となっている。このため、wdの値を小さくしてコストCl計算部1412により算出されたコストCl(p,dl)を優先させることで、シフト量d=dlの画素領域の重み付けコストはより小さな値となる。

0112

つまり、上式(8)によれば、シフト量d=dlの画素領域とそれ以外の画素領域との間のコストの差を、重み付けコストとして、より顕在化させることができる。

0113

この結果、第2合成コスト算出部722により算出される第2合成コストS'から対応画素領域を抽出する際に、比較画像510内のd=dlの画素領域が抽出しやすくなる。つまり、基準画素領域pに対応する対応画素領域の位置512を精度よく抽出することが可能となる。

0114

なお、上式(8)において、wdの値は、固定値であってもよいし、距離情報Zlの値に応じて変更してもよい。あるいは、周囲環境に応じて(例えば、日中か夜間かに応じて)変更するように構成してもよい。

0115

重み付け加算部1420は、上式(8)に基づいて算出した重み付けコストを、第2合成コスト算出部722に通知する。

0116

(2)第2合成コスト算出部722の機能構成
第2合成コスト算出部722は、第2コスト算出部721より通知された各画素領域の重み付けコストを合成することで第2合成コストS'を算出し、合成結果を得る。第2合成コスト算出部722は、例えば、SGM(Semi-Global Matching)等の処理方法を用いて、複数の第2経路コストLr'を算出し、それぞれの第2経路コストLr'を、基準画素領域pに集約させることで、第2合成コストS'を算出する。

0117

図15は、第2合成コスト算出部の機能構成の詳細を示す図である。図15に示すように、第2合成コスト算出部722は、第2経路コスト計算部1501と、第2合成コストS'計算部1502とを有する。

0118

第2経路コスト計算部1501は、重み付け加算部1420より重み付けコストを取得すると、下式(9)に基づいて、第2経路コストLr'(p,d)を算出する。

0119

ここで、上式(9)は、SGMを用いた経路コストの一般的な式において、コストC(p,d)を、重み付けコストに置き換えたものである。また、上式(9)においてP1、P2は固定のパラメータである。

0120

上式(9)のもと、第2経路コスト計算部1501では、基準画素領域pの重み付けコストに、r方向の各画素領域における第2経路コストLr'の最小値を加算することで、r方向の第2経路コストLr'(p,d)を求める。なお、第2経路コスト計算部1501では、r0〜r315方向それぞれについて、第2経路コストを算出することで、第2経路コストLr0'(p,d)〜Lr315'(p,d)を得る。

0121

第2合成コストS'計算部1502は、第2経路コスト計算部1501において求めた8方向の第2経路コストLr0'(p,d)〜Lr315'(p,d)に基づいて、下式(10)により第2合成コストS'(p,d)を算出する。

0122

第2合成コストS'計算部1502は、算出した第2合成コストS'(p,d)を、第2視差演算部723に通知する。

0123

(3)第2視差演算部723の処理
第2視差演算部723は、再演算手段の一例であり、第2合成コスト算出部722により算出された第2合成コストS'に基づいて、基準画素領域pに対応する比較画像510内の対応画素領域を抽出し、基準画素領域pの視差を再演算する。

0124

図16は、基準画素領域pにおける第2合成コストS'の算出結果を示す図である。第2視差演算部723は、所定範囲(0〜D)において、第2合成コストS'(p,d)が最小となるシフト量dminを算出することで、比較画像510より対応画素領域を抽出する。これにより、第2視差演算部723では、抽出した対応画素領域と基準画素領域との視差(第2視差)として、シフト量dminを取得できる。

0125

なお、第2視差演算部723は、基準画像520内の他の基準画素領域についても同様の処理を行い視差(第2視差)の再演算結果を取得することで、視差画像を生成し、生成した視差画像をメモリ260に格納する。

0126

<9.距離計算処理部250による視差画像生成処理>
次に、距離計算処理部250による視差画像生成処理の流れについて説明する。図17は、距離計算処理部による視差画像生成処理の流れを示すフローチャートである。なお、図17に示すフローチャートは、レーザレーダ測距部120によりレーザ光が照射された照射位置に対応する1の基準画素領域pについての視差を演算する処理を示したものである。したがって、視差画像の生成にあたり、距離計算処理部250は同様の各基準画素領域について図17に示すフローチャートを実行する。

0127

テップS1701において、基準画像取得部801は、基準画像520を取得し、基準画素領域pを抽出する。

0128

ステップS1702において、コストC計算部803は、比較画像取得部802にて取得された比較画像510内のシフト量dの位置における画素領域511の画素値と、基準画素領域pの画素値とに基づいて、コストC(p,d)を算出する。

0129

ステップS1703において、第1経路コスト計算部1001は、コストC(p,d)に基づいて、各第1経路コストLr(p,d)を算出する。

0130

ステップS1704において、第1合成コストS計算部1002は、各第1経路コストLr(p,d)に基づいて、第1合成コストS(p,d)を算出する。

0131

ステップS1705において、第1視差演算部713は、第1合成コストS(p,d)が最小となるシフト量を算出する。これにより、第1視差演算部713は、比較画像510より対応画素領域を抽出するとともに、抽出した対応画素領域と基準画素領域pとの視差(第1視差)の演算結果を取得する。

0132

ステップS1706において、範囲決定部714は、レーザ信号処理部240が、レーザ受光信号を処理する際の処理範囲を、視差の演算結果に基づいて決定する。また、範囲決定部714は、決定した処理範囲を、レーザ信号処理部240に通知する。これにより、レーザ信号処理部240は、オブジェクトでの反射を示す信号を検出し、距離情報Zlを算出する。

0133

ステップS1707において、コストC計算部1403は、比較画像取得部1402にて取得された比較画像510内のシフト量dの位置における画素領域511の画素値と、基準画素領域pの画素値とに基づいて、コストC(p,d)を算出する。

0134

ステップS1708において、コストC調整部1404は、算出されたコストC(p,d)を信頼度Q(p)に基づいて調整し、調整後のコストC'(p,d)を算出する。

0135

ステップS1709において、距離情報取得部1411は、基準画素領域pの位置に対応する実空間のオブジェクトまでの距離を示す距離情報Zlを、レーザ信号処理部240より取得する。

0136

ステップS1710において、コストCl計算部1412は、距離情報取得部1411において取得された距離情報Zlに基づいて、コストClを算出する。

0137

ステップS1711において、重み付け加算部1420は、コストC調整部1404において調整された調整後のコストC'(p,d)と、コストCl計算部1412において算出されたコストCl(p,d)とを重み付け加算し、重み付けコストを算出する。

0138

ステップS1712において、第2経路コスト計算部1501は、重み付けコストを用いて各第2経路コストLr'(p、d)を算出する。

0139

ステップS1713において、第2合成コストS'計算部1502は、各第2経路コストLr'(p,d)に基づいて、第2合成コストS'(p,d)を算出する。

0140

ステップS1714において、第2視差演算部723は、第2合成コストS'(p,d)が最小となるシフト量(dmin)を算出することで、比較画像510より対応画素領域を抽出する。これにより、第2視差演算部723は、抽出した対応画素領域と基準画素領域pとの視差(第2視差)の再演算結果を取得する。

0141

<10.まとめ>
以上の説明から明らかなように、本実施形態における視差演算システム100は、
・基準画素領域pの位置に対応する実空間のオブジェクトに、レーザ光を照射することで生成されたレーザ受光信号を取得する。
・基準画素領域pのコストCを算出し、算出したコストCを合成することで算出した第1合成コストSに基づいて、基準画素領域pにおける視差を演算する。
・レーザ受光信号のうち、基準画素領域pにおける視差に基づいて算出した処理範囲を対象に処理を行い、オブジェクトでの反射を示す信号を検出することで、オブジェクトまでの距離を算出する。

0142

これにより、本実施形態によれば、視差演算システムに用いるレーザレーダ測距部において、ノイズの誤検出を低減させ、測距精度を向上させることができる。

0143

更に、本実施形態における視差演算システム100は、
・基準画素領域pの位置に対応する実空間のオブジェクトまでの距離情報として、レーザレーダ測距部により算出された距離情報Zlを取得する。
・取得した距離情報Zlに対応するシフト量dlに基づいて、コストClを算出する。
・基準画素領域pのコストCを信頼度に基づいて調整した調整後のコストC'と、距離情報Zlに基づいて算出したコストClとを重み係数wdを用いて重み付け加算し、重み付けコストを算出する。
・算出した重み付けコストを合成することで第2合成コストS'を算出する。
・算出した第2合成コストS'に基づいて、基準画素領域pに対応する比較画像内の対応画素領域を抽出し、基準画素領域pにおける視差を再演算する。

0144

これにより、レーザレーダ測距部により算出された距離情報に基づいて導出される位置にある比較画像内の画素領域について、他の画素領域よりも低い重み付けコストを算出することが可能となる。この結果、当該重み付けコストを合成した第2合成コストを用いれば、対応画素領域を抽出する際に、当該画素領域が対応画素領域として抽出しやすくなる。

0145

つまり、本実施形態における視差演算システム100によれば、対応画素領域を精度よく抽出することが可能となり、精度の高い視差演算を行うことが可能となる。

0146

[他の実施形態]
上記実施形態では、画素領域についてコストCを算出する場合について説明したが、コストCの算出は、1画素ごとに行うように構成してもよい。この場合、第1コスト算出部711及び第2コスト算出部721では、基準画像520から基準画素を抽出し、比較画像510の各画素との間でコストCを算出することになる。つまり、上記実施形態に記載の"画素領域"には、1または複数の画素が含まれるものとする。

0147

また、上記実施形態では、ステレオカメラ部110とレーザレーダ測距部120とが一体的に構成される場合について示したが、ステレオカメラ部110とレーザレーダ測距部120とは、別体により構成されてもよい。

0148

また、上記実施形態では、視差演算システム100に、3次元センサ(ステレオカメラ部110、レーザレーダ測距部120)と、制御基板収納部202とが含まれるものとして説明した。しかしながら、視差演算システム100には、3次元センサが含まれていなくてもよく、少なくとも、制御基板収納部202においてレーザ信号処理部240及び距離計算処理部250を実現する基板が含まれていればよい。

0149

また、上記実施形態では、レーザ信号処理部240、距離計算処理部250が、専用の集積回路により構成されるものとして説明した。しかしながら、例えば、レーザ信号処理部240、距離計算処理部250の機能を実現するソフトウェアプログラムコードが記録された記憶媒体を、視差演算システム100に供給する構成としてもよい。かかる構成の場合、視差演算システム100のコンピュータが記憶媒体に記録されたプログラムコードを読み出して実行することにより、レーザ信号処理部240、距離計算処理部250の機能が実現されることになる。

0150

また、上記実施形態では、視差演算システム100として、レーザレーダ測距部120を組み込み、レーザレーダ測距部120より照射されたレーザ光の反射光から、レーザ光の照射位置までの距離情報を取得する構成とした。しかしながら、レーザレーダ測距装置以外の電磁波測距装置を組み込み、レーザレーダ測距装置以外の電磁波測距装置より照射された電磁波の反射波から、電磁波の照射位置までの距離情報を取得する構成としてもよい。

0151

また、上記実施形態では、レーザ信号処理部240により算出された距離情報を、距離計算処理部250に入力し、視差の再演算に用いるものとして説明したが、視差の再演算以外の用途に用いてもよい。

0152

また、上記実施形態では、視差演算システム100を車両140に取り付ける場合について説明した。しかしながら、視差演算システム100の取り付け先は車両140に限定されず、バイク自転車車椅子農業用耕運機等であってもよい。あるいは、ロボット等の移動体であってもよい。あるいは、FA(Factory Automation)において固定設置される工業用ロボット等であってもよい。

0153

なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせなど、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

0154

100 :視差演算システム
110 :ステレオカメラ部
111、112 :単眼カメラ部
120 :レーザレーダ測距部
250 :距離計算処理部
510 :比較画像
511 :画素領域
520 :基準画像
710 :処理範囲算出部
711 :第1コスト算出部
712 :第1合成コスト算出部
713 :第1視差演算部
714 :範囲決定部
720 :視差画像生成部
721 :第2コスト算出部
722 :第2合成コスト算出部
723 :第2視差演算部
801 :基準画像取得部
802 :比較画像取得部
803 :コストC計算部
1001 :第1経路コスト計算部
1002 :第1合成コストS計算部
1310 :処理範囲
1320 :処理範囲
1401 :基準画像取得部
1402 :比較画像取得部
1403 :コストC計算部
1404 :コストC調整部
1411 :距離情報取得部
1412 :コストCl計算部
1420 :重み付け加算部
1501 :第2経路コスト計算部
1502 :第2合成コストS'計算部

先行技術

0155

特開2016−011939号公報

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 山内和博の「 自動運転車」が 公開されました。( 2021/07/08)

    【課題】交差点にある横断歩道等の停止線に停止した際に、交通渋滞を生じさせることなく、安全かつ迅速に走行することができる自動運転車を提供する。【解決手段】探索された走行経路に沿って自動運転を行う自動運転... 詳細

  • 株式会社ミックウェアの「 情報処理システム、経路探索方法、およびプログラム」が 公開されました。( 2021/07/08)

    【課題・解決手段】情報処理システム(100)のサーバ(20)は、現在地と目的地との間を結ぶ経路を探索して、コスト情報と付加情報とを含むサーバ探索情報を作成する第2経路探索部(24)を備え、情報処理装置... 詳細

  • 日産自動車株式会社の「 走行支援方法及び走行支援装置」が 公開されました。( 2021/07/08)

    【課題・解決手段】プロセッサ(111)は、自車両に搭載されたセンサの検出情報に基づいて、自車両が走行する走行レーンを設定し、センサの前記検出情報に基づいて、走行レーン上で自車両の前方を走行する先行車を... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ