図面 (/)

技術 障害物検知装置、自動車及び障害物検知方法

出願人 パナソニックIPマネジメント株式会社
発明者 山川健司
出願日 2019年3月28日 (1年10ヶ月経過) 出願番号 2019-064511
公開日 2020年10月8日 (4ヶ月経過) 公開番号 2020-163926
状態 未査定
技術分野 光学的視認装置 スタジオ装置 イメージ分析 写真撮影方法及び装置 交通制御システム イメージ入力
主要キーワード 水平反転 算出条件 後ろ方向 勾配値 撮像視野内 マッチング方式 オドメトリ 計算手法
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年10月8日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

障害物の検知の精度を向上させることができる障害物検知装置を提供する。

解決手段

障害物検知装置は、車両に設置され、車両の外部の画像データを撮影する撮影装置11と、車両に設置され、撮影装置11によって直接撮影される領域の少なくとも一部と同一の範囲を写す鏡12とを備え、撮影装置及び鏡は、画像データに撮影装置によって車両の外部が直接撮影された直接撮影領域と、鏡の鏡像である鏡撮影領域とが含まれるように配置され、画像データのうち、直接撮影領域に含まれる物体特徴点である第1特徴点と、鏡撮影領域に含まれる物体の特徴点である第2特徴点とを算出する特徴点算出部13と、算出された第1特徴点と前記第2特徴点との対応を算出する対応算出部14と、算出された対応から物体に関する三次元データを算出する三次元算出部15と、算出された三次元データから車両の走行における障害物を特定する特定部16とを備える。

概要

背景

特許文献1は、ステレオ画像より三次元距離情報を算出する距離画像入力装置が記載される。この特許文献1に記載の技術では、W字型に配置される2枚のミラーを使用して、1台の撮影装置によってステレオ画像を生成することができる。

概要

障害物の検知の精度を向上させることができる障害物検知装置を提供する。障害物検知装置は、車両に設置され、車両の外部の画像データを撮影する撮影装置11と、車両に設置され、撮影装置11によって直接撮影される領域の少なくとも一部と同一の範囲を写す鏡12とを備え、撮影装置及び鏡は、画像データに撮影装置によって車両の外部が直接撮影された直接撮影領域と、鏡の鏡像である鏡撮影領域とが含まれるように配置され、画像データのうち、直接撮影領域に含まれる物体特徴点である第1特徴点と、鏡撮影領域に含まれる物体の特徴点である第2特徴点とを算出する特徴点算出部13と、算出された第1特徴点と前記第2特徴点との対応を算出する対応算出部14と、算出された対応から物体に関する三次元データを算出する三次元算出部15と、算出された三次元データから車両の走行における障害物を特定する特定部16とを備える。

目的

特許第4414661号






本開示は、車両の前方又は後方に存在する障害物を検知する障害物検知装置、自動車及び障害物検知方法を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

車両に設置され、車両の外部の画像データを撮影する撮影装置と、前記車両に設置され、前記撮影装置によって直接撮影される領域の少なくとも一部と同一の範囲を写す鏡とを備え、前記撮影装置及び前記鏡は、前記画像データに前記撮影装置によって車両の外部が直接撮影された直接撮影領域と、前記鏡の鏡像である鏡撮影領域とが含まれるように配置され、さらに、前記画像データのうち、前記直接撮影領域に含まれる物体特徴点である第1特徴点と、前記鏡撮影領域に含まれる物体の特徴点である第2特徴点とを算出する特徴点算出部と、算出された前記第1特徴点と前記第2特徴点との対応を算出する対応算出部と、算出された前記対応から前記物体に関する三次元データを算出する三次元算出部と、算出された前記三次元データから前記車両の走行における障害物を特定する特定部と、を備える障害物検知装置

請求項2

前記特徴点算出部は、前記撮影装置で撮影された第1画像データと、第1画像データと重複する範囲を含む第2画像データからそれぞれ第1特徴点及び第2特徴点を算出し、前記対応算出部は、第1画像データから算出された第1特徴点と対応する第2特徴点を特定し、対応関係を算出する請求項1に記載の障害物検知装置。

請求項3

前記撮影装置は、異なるタイミングで前記第1画像データ及び前記第2画像データを撮影する請求項2に記載の障害物検知装置。

請求項4

前記撮影装置は、同一のタイミングで前記第1画像データ及び前記第2画像データをそれぞれ撮影可能な第1画像取得部と撮影する第2画像取得部とを有する請求項2に記載の障害物検知装置。

請求項5

前記第1画像データの第1特徴点及び第2特徴点と、前記第2画像データの第1特徴点及び第2特徴点とから、視差が大きくなる2つの特徴点を選択する選択部をさらに備え、前記三次元算出部は、前記選択部で選択された2つの特徴点を利用して三次元データを算出する請求項2〜4のいずれか1に記載の障害物検知装置。

請求項6

前記撮影装置は、前記車両の前方又は後方の少なくともいずれか一方に配置される請求項1〜5のいずれか1に記載の障害物検知装置。

請求項7

前記鏡は、前記画像データの上側又は下側に鏡像が含まれるように配置される請求項1〜6のいずれか1に記載の障害物検知装置。

請求項8

請求項1〜7のいずれか1に記載の障害物検知装置を備える自動車

請求項9

車両に設置され、車両の外部を撮影する撮影装置によって、前記車両の外部が直接撮影された直接撮影領域と、前記撮影装置とともに車両に設置され、前記直接撮影領域と同一の範囲を写す鏡の鏡像である鏡撮影領域とを含む画像データを撮影する撮影ステップと、前記画像データのうち、前記直接撮影領域に含まれる物体の特徴点である第1特徴点と、前記鏡撮影領域に含まれる物体の特徴点である第2特徴点とを算出する特徴点算出ステップと、算出された前記第1特徴点と前記第2特徴点との対応を算出する対応算出ステップと、算出された前記対応から前記物体に関する三次元データを算出する三次元算出ステップと、算出された前記三次元データから前記車両の走行における障害物を特定する特定ステップと、を含む障害物検知方法

技術分野

0001

本開示は、障害物を検知する障害物検知装置自動車及び障害物検知方法に関する。

背景技術

0002

特許文献1は、ステレオ画像より三次元距離情報を算出する距離画像入力装置が記載される。この特許文献1に記載の技術では、W字型に配置される2枚のミラーを使用して、1台の撮影装置によってステレオ画像を生成することができる。

先行技術

0003

特許第4414661号

発明が解決しようとする課題

0004

本開示は、車両の前方又は後方に存在する障害物を検知する障害物検知装置、自動車及び障害物検知方法を提供する。

課題を解決するための手段

0005

本開示の障害物検知装置は、車両に設置され、車両の外部の画像データを撮影する撮影装置と、車両に設置され撮影装置によって直接撮影される領域の少なくとも一部と同一の範囲を写す鏡とを備え、撮影装置及び鏡は、画像データに撮影装置によって車両の外部が直接撮影された直接撮影領域と、鏡の鏡像である鏡撮影領域とが含まれるように配置され、さらに、画像データのうち、直接撮影領域に含まれる物体特徴点である第1特徴点と、鏡撮影領域に含まれる物体の特徴点である第2特徴点とを算出する特徴点算出部と、算出された第1特徴点と第2特徴点との対応を算出する対応算出部と、算出された対応から物体に関する三次元データを算出する三次元算出部と、算出された三次元データから車両の走行における障害物を特定する特定部とを備える。

0006

これらの概括的かつ特定の態様は、システム、方法、及びコンピュータプログラム、並びに、それらの組み合わせにより、実現されてもよい。

発明の効果

0007

本開示の障害物検知装置、自動車及び障害物検知方法によれば、車両の前方や後方の消失点付近に存在する障害物であっても、精度良く検知することができる。

図面の簡単な説明

0008

第1実施形態に係る障害物検知装置の構成を示すブロック図である。
第1実施形態に係る障害物検知装置の撮影装置及び鏡と撮影される物体との関係を説明する概念図である。
第1実施形態に係る障害物検知装置で撮影される画像データの直接撮影領域と鏡撮影領域とを説明する図である。
第1実施形態に係る障害物検知装置で撮影される画像例である。
一般的なリアカメラで撮影される画像例である。
第1実施形態に係る障害物検知装置の撮影装置及び鏡と撮影される物体との位置関係を説明する平面図である。
第1実施形態に係る障害物検知装置の撮影装置及び鏡と撮影される物体との位置関係を説明する側面図である。
第1実施形態に係る障害物検知方法を説明するフローチャートである。
第2実施形態に係る障害物検知装置の構成を示すブロック図である。
第2実施形態に係る障害物検知装置の撮影装置及び鏡と撮影される物体との関係を説明する概念図である。
第2実施形態に係る障害物検知装置で撮影される第1画像データの直接撮影領域と鏡撮影領域とを説明する図である。
第2実施形態に係る障害物検知装置で撮影される第2画像データの直接撮影領域と鏡撮影領域とを説明する図である。
第2実施形態に係る障害物検知装置の撮影装置及び鏡と撮影される物体との位置関係を説明する平面図である。
第2実施形態に係る障害物検知装置の撮影装置及び鏡と撮影される物体との位置関係を説明する側面図である。
第2実施形態に係る障害物検知方法を説明するフローチャートである。
鏡の設置の一例を説明する概略図である。
鏡の設置の他の例を説明する概略図である。
鏡の設置の他の例を説明する概略図である。
鏡の設置の他の例を説明する概略図である。
鏡の形状の一例を説明する概略図である。
鏡の形状の他の例を説明する概略図である。

実施例

0009

[本開示の基礎となった知見]
自動車では、車載カメラで撮影される画像を用いて、障害物検知がされることがある。このような場合、例えば、異なる2画像間で、対応する点を利用して障害物の三次元情報を求め、障害物を検知する。ここで、カメラが横方向に動く場合、2画像間で対応する点の角度差が大きく、三次元情報を特定しやすいため、障害物を検知しやすい。すなわち、車載サイドカメラの場合、横方向に動くため、障害物を検知しやすい。一方、カメラが前後方向に動く場合、角度差は小さく、三次元情報を特定しにくいため、特に、消失点付近にある障害物については2画像間での変化が小さく検知しにくい。すなわち、車載フロントカメラやリアカメラの場合、前後方向に動くため、障害物を検知しにくい。

0010

しかし、自動車では、障害物は、前方又は後方に存在する可能性が高く、このように前方又は後方に存在する障害物を検知する重要性が高いのが実情である。

0011

また、近年、自動運転技術導入のため、SFM(Structure from Motion)、SLAM(Simultaneous Localization & Mapping)等の技術を利用する障害物検知の精度の向上に対する期待が高まっている。

0012

[実施形態]
以下に、図面を参照して実施形態に係る障害物検知装置について説明する。以下の説明では、同一の構成について、同一の符号を付して説明を省略する。実施形態に係る障害物検知装置は、自動車に設置され、障害物を検知するものである。

0013

本開示において、「障害物」は、自動車の進行の妨げになる動物(人間を含む)や物体等である。自動車の運転時には、このような障害物との衝突や接触を防止するため、障害物の検知精度を向上させる必要がある。
本開示において、「視差」は、ある物体の対象点について、異なる視点からの角度差である。以下の説明では、障害物の対象点について、一の画像領域中の障害物の対象点と、他の画像領域中の障害物の対象点とで構成される角度差を、「視差」とする。
本開示において、「消失点」は、画像中において、車両の進行方向又は、進行方向と逆の方向に存在し、画像を撮影する撮影装置を備える車両が前進又は後進した場合であっても、その点に存在する被写体に位置の変化が生じない点をいう。
また、本開示では、「自動車」を「車両」として説明する。

0014

〈第1実施形態〉
図1に示すように、第1実施形態に係る障害物検知装置1Aは、撮影装置11と、鏡12と、情報処理装置20とを備える。

0015

撮影装置11は、車両(図示せず)に設置され、車両の外部の画像データを撮影する。例えば、撮影装置11は、車両の前方又は後方の少なくともいずれか一方に配置される。この場合、撮影装置11は、いわゆる、「フロントカメラ」または「リアカメラ」である。

0016

鏡12は、車両に設置され、実像反射して鏡像を撮影装置11に入光させるものであり、撮影装置11によって直接撮影される領域の少なくとも一部と同一の範囲を写す。ここで、撮影装置11及び鏡12は、撮影装置11で撮影された画像データに撮影装置11によって車両の外部が直接撮影された「直接撮影領域」と、鏡12の鏡像である「鏡撮影領域」とが含まれるように配置される。例えば、鏡12は、画像データにおいて直接撮影領域が鏡撮影領域よりも大きくなるように配置される。さらに、鏡12は、鏡撮影領域が、撮影装置11で撮影される画像データの消失点を含むような位置及び傾きで設置される。また、この消失点は、画像データにも含まれる。したがって、この消失点は、画像データにおいて、「鏡撮影領域」及び「直接撮影領域」の両方で撮影される。

0017

このように鏡12が配置されることで、撮影装置11の撮像視野撮影範囲)内の一部領域に鏡12の反射面が配置されることとなる。したがって、撮影装置11には、撮像視野内の他の領域の光が鏡12による反射により取り込まれる。

0018

なお、鏡12は、撮影装置11のレンズの周囲の少なくとも一部に取り付けられ、鏡像が撮影装置11によって撮影されていれば、その取り付け位置は限定されない。また、鏡12の形状は、鏡像を撮影装置11で撮影可能であれば限定されない。さらに、ここでは、撮影装置11は、鏡12の鏡像を直接取り込む例で説明するが、撮影装置11は、複数の鏡を利用して複数回反射された鏡像を取り込むようにしてもよい。

0019

情報処理装置20は、撮影装置11で撮影された画像データを用いて障害物の検知処理を実行する。情報処理装置20は、制御部21及び記憶部22を備える。

0020

制御部21は、特徴点算出部13と、対応算出部14と、三次元算出部15と、特定部16とを実現する。具体的には、制御部21は、情報処理装置20全体の制御を司るコントローラである。制御部21は、例えば、記憶部22に記憶されるプログラムを実行することにより所定の機能を実現するCPUまたはMPUのような汎用プロセッサを含む。制御部21は、記憶部22に格納された障害物検知プログラムPを呼び出して実行することにより、情報処理装置20において、特徴点算出部13、対応算出部14、三次元算出部15及び特定部16の処理を実行する。制御部21は、ハードウェアソフトウェア協働により所定の機能を実現するものに限定されず、所定の機能を実現する専用に設計されたハードウェア回路でもよい。すなわち、制御部21は、CPU、MPU、GPU、FPGA、DSP、ASIC等、種々のプロセッサで実現することができる。

0021

記憶部22は種々の情報を記録する記録媒体である。記憶部22は、例えば、RAM、ROM、フラッシュメモリSSD(Solid State Device)、ハードディスク、その他の記憶デバイス又はそれらを適宜組み合わせて実現される。記憶部22は、制御部21が実行する障害物検知プログラムP、及び障害物検知のために撮影装置11から取得した画像データ及び障害物検知のために利用するデータ等の種々の情報を格納する。

0022

また、例えば、記憶部22は、GPS装置(図示せず)等が取得する車両の位置に関するデータ、撮影装置11及び鏡12の車両への取り付け位置及び角度等に関するデータを含む位置データD1を記憶する。なお、記憶部22は、車両の車輪の制御部等から取得する回転角度に関するデータを記憶してもよい。

0023

図2Aに、撮影装置11及び鏡12と、撮影装置11に撮影される物体Oの関係を示す概念図を示す。また、図2Bに、撮影装置11で撮影された画像データIの一例を示す。図2Bに示す例では、画像データIにおいて、上側の領域を直接撮影領域Aとし、下側の領域を鏡撮影領域Bとする。図2Aに示す位置関係の場合、図2Bに示すように、直接撮影領域Aと、鏡撮影領域Bとの両方に物体Oが含まれる。なお、図2Bにおいて、直接撮影領域Aに含まれる物体Oを『Oa』として表し、鏡撮影領域Bに含まれる物体Oとして『Ob』で表す。

0024

例えば、鏡12は、画像データの上側又は下側に鏡像が含まれるように配置される。鏡12を、撮影装置11に対して下側に配置すると、図2Bに示したように、鏡像は、画像データの下側に位置する。一方、図示を省略するが、鏡12を、撮影装置11に対して上側に配置すると、鏡像は、画像データの上側に位置する。

0025

図3Aに、リアカメラである撮影装置11によって撮影された画像データの一例を示す。図3Aに示す例では、画像データIの上側に直接撮影領域Aが設定され、下側に鏡撮影領域Bが設定される。したがって、撮影装置11に対して下側に鏡12を配置した一例である。

0026

図3Bは、仮に、鏡12が配置されない場合に撮影装置11で撮影される画像データの一例である。図3Bに示す画像データには、車両の一部、具体的には、ナンバープレートの一部が含まれ、この部分は障害物検知に不要な領域である。このように、撮影装置11で取得される画像データには、障害物検知に不要な画像領域Cを含むことがある。

0027

図4Aの平面図及び図4Bの側面図は、車両Vに設置される撮影装置11及び鏡12と障害物である物体Oの関係を示す模式図である。図4A及び図4Bは、撮影装置11がリアカメラであって、鏡12が、撮影装置11の下側に設置される例を示す。図4Bに示すように、撮影装置11であるリアカメラは、車両Vの底面と並行ではなく下向きに設置されることが多い。図4Bに示すように撮影装置11が下向きに設置された場合、画像データに障害物検知に不要な領域が含まれることになる。図3Aで示す例は、このような障害物検知に不要な画像領域Cに鏡像が写るように鏡12を配置し、画像領域Cを有効に利用することができた。

0028

すなわち、図4Bに示すように、物体Oのある点Poは、直接撮影領域Aでは破線の方向(La)で撮影されるのに対し、鏡撮影領域Bでは実線の方向(Lb)で撮影されるため、異なる視点から撮影される。障害物検知装置1Aでは、鏡12を利用することで、物体Oを撮影する際に、視差角αが形成されるため、直接撮影領域Aと鏡撮影領域Bとで視差が生じ、障害物が検知しやすい。

0029

なお、鏡12の取り付け角度は、撮影装置11の設置位置や傾き、撮影装置11が備えるレンズの視野角、鏡の取り付け位置等によって定めることができ、上述したように、鏡12は、鏡撮影領域が、撮影装置11で撮影される画像データの消失点を含むような位置及び傾きで設置される。

0030

特徴点算出部13は、撮影装置11で撮影された画像データのうち、直接撮影領域Aに含まれる物体の特徴点である第1特徴点と、鏡撮影領域Bに含まれる物体の特徴点である第2特徴点とを算出する。具体的には、特徴点算出部13は、第1特徴点及び第2特徴点として、各物体の特徴点の座標を算出し、算出した座標を対応算出部14に出力する。これら第1特徴点及び第2特徴点の座標は、画像データ上での座標である。

0031

ここでは、直接撮影領域Aにおける複数の特徴点と鏡撮影領域Bにおける複数の特徴点でどの点が対応するか、すなわち、どの点が同一の物体を撮影したものであるかは不明である。したがって、特徴点算出部13は、直接撮影領域Aから複数の第1特徴点を算出し、また、鏡撮影領域Bからも複数の第2特徴点を算出し、算出した複数の特徴点を出力する。なお、特徴点算出部13は、例えば、GFTT(Good Features To Track)等の一般的な特徴点の抽出方法を利用する。

0032

また、特徴点算出部13は、対応算出部14で特徴量が利用される場合、第1特徴点及び第2特徴点の座標とともに、各特徴点の特徴量を算出し、この特徴量を含む特徴点を対応算出部14に出力する。例えば、対応算出部14でオプティカルフロー方式対応点探索を実行する場合、特徴点として座標のみを算出する。一方、対応算出部14でSIFT(Scale Invariant Feature Transform)等の特徴量マッチング方式の対応点探索を実行する場合、特徴点として座標と特徴量を算出する。

0033

ここで、障害物検知装置1Aでは、撮影される画像データのうち、直接撮影領域Aに相当する画素と、鏡撮影領域Bに相当する画素とが予め特定され、記憶部22で記憶されている。また、特徴点算出部13は、直接撮影領域Aと鏡撮影領域Bを対応させることができる。具体的には、SIFT等の特徴量を用いる場合、鏡による反転を考慮した特徴量記述子を生成し、特徴点算出部13はこれを用いて対応点探索を実行する。例えば、直接撮影領域Aに対し、鏡撮影領域Bが水平反転する場合、直接撮影領域Aでの特徴(例えば、勾配値)の位置関係を仮に

としたとき、鏡撮影領域Bでは、反転させて

とする。このとき、直接撮影領域Aと鏡撮影領域Bとでレンズの歪みがある場合、処理の際にアフィン変換を利用して歪みを補正させてもよい。

0034

対応算出部14は、特徴点算出部13で算出された第1特徴点と対応する第2特徴点を特定する。具体的には、対応算出部14は、複数の第1特徴点及び複数の第2特徴点から、対応する第1特徴点と第2特徴点とを探索し、対応すると特定された第1特徴点及び第2特徴点を三次元算出部15に出力する。このとき、対応算出部14は、オプティカルフローや特徴量マッチング等により、対応する第1特徴点と第2特徴点とを算出する。

0035

図2Bに示す画像データIの例では、対応算出部14は、直接撮影領域Aから物体Oaを示す第1特徴点と、鏡撮影領域Bから物体Obを示す第2特徴点が対応すると算出する。

0036

なお、鏡12に歪みがある場合であっても、その歪みを補正する補正式等の補正方法が予め定められているとき、対応算出部14は、その歪みを補正することができる。これにより、対応点の算出、すなわち、対応する第1特徴点と第2特徴点の特定の精度を高めることができる。

0037

三次元算出部15は、算出された対応から物体に関する三次元データを算出する。ここで、三次元算出部15は、記憶部22に記憶される位置データD1及び撮影装置11のレンズのキャリブレーションデータを用いて、対応算出部14で対応すると特定された第1特徴点と第2特徴点から、物体の三次元位置を算出する。具体的には、三次元算出部15は、一般的な三角測量の計算手法を用いて、対応すると特定された画像データ上での二次元座標である第1特徴量の座標と第2特徴量の座標とから、物体の位置である三次元座標を求める。また、三次元算出部15は、算出した三次元座標を特定部16に出力する。

0038

例えば、図2A及び図2Bを用いて上述した例において、車両の位置や車両が現在向いている方向、車両設置される撮影装置11及び鏡12の傾きや位置関係等の算出条件は予め位置データD1で特定される。したがって、図2Aに示す点P1,P2の座標、点P1と点P2の距離l、物体O−点P1−点P2の成す角度α1、物体O−点P2−点P1の成す角度α2も特定できる。また、画像データIの直接撮影領域Aにおける第1特徴点である物体Oaの座標と第2特徴点である物体Obの座標は、特徴点算出部13により算出された。したがって、三次元算出部15は、この2点の二次元座標と、撮影装置11及び鏡12の傾き及び位置関係とから、距離dを求めることが可能であり、物体Oの三次元座標を算出する。

0039

特定部16は、算出された三次元データから車両の走行における障害物を特定する。具体的には、特定部16は、三次元算出部15で算出された三次元座標から求める障害物の位置である車両との距離、障害物の形状や大きさ等を特定する。障害物の大きさとして、特定部16は、具体的には、障害物の横幅及び高さを特定する。例えば、特定部は、算出された三次元座標をグルーピングし、車両から最も近い座標、すなわち、撮影装置11から最も近い座標のグループの位置や大きさを特定する。

0040

また、特定部16は、障害物を特定した結果を出力する(図示せず)。これにより、障害物検知装置1Aを備える車両では、例えば、自動運転等において障害物の三次元位置を正確に把握したうえで安全で快適な走行を実現することができる。

0041

上述したように、第1実施形態に係る障害物検知装置1Aによれば、撮影装置に鏡像が撮影される構成にし、撮影画像から直接撮影された直接撮影領域と鏡像が撮影された鏡撮影領域とを比較する。これにより、物体を検知する際に視差ができるため、消失点付近に存在する障害物であっても、精度よく検知することが可能となり、障害物の検知の精度を向上させることができる。また、複数の撮影装置を備える必要がなく、1台の撮影装置と1枚の鏡で実現されるため、コンパクトな構成で実現することができる。

0042

《障害物検知方法》
図5に示す例を用いて、図1に示した障害物検知装置1Aで実行される障害物検知方法の一例について説明する。
図5に示すように、障害物検知装置1Aは、撮影装置11を利用して画像データを撮影する(S01)。

0043

障害物検知装置1Aは、ステップS01で撮影した画像データから、特徴点を算出する(S02)。

0044

障害物検知装置1Aは、ステップS02の算出結果を用いて、直接撮影領域Aに含まれる特徴点と鏡撮影領域Bに含まれる特徴点との対応を算出する(S03)。すなわち、障害物検知装置1Aは、対応する点を特定する。

0045

また、障害物検知装置1Aは、位置データD1を用いて、撮影条件を算出する(S04)。なお、上述したように、撮影条件は、撮影装置11のパラメータ及び撮影装置11及び鏡12の取り付けの位置及び傾き等に応じて決定されるため、位置データD1としてこの撮影条件を含んでもよい。

0046

障害物検知装置1Aは、ステップS03の算出結果である対応する特徴点と、ステップS04の算出結果である撮影条件を用いて、特徴点の三次元データを算出する(S05)。すなわち、障害物検知装置1Aは、特徴点の三次元座標を算出する。

0047

障害物検知装置1Aは、ステップS05の算出結果に応じて、障害物の検知の有無を判定する(S06)。

0048

これにより、障害物が検知されたと判定されると(S06でYES)、障害物検知装置1Aは、障害物の検知を通知する通知データを出力し、処理を出力する(S07)。
一方、障害物が検知されないと判定されると(S06でNO)、障害物検知装置1Aは、処理を終了する。

0049

〈第2実施形態〉
図6に示すように、第2実施形態に係る障害物検知装置1Bは、撮影装置11と、鏡12と、特徴点算出部13と、対応算出部14と、選択部17と、三次元算出部15と、特定部16とを備える。図6に示す障害物検知装置1Bは、図1を用いて上述した障害物検知装置1Aと比較して、選択部17を備える点で異なる。

0050

図1を用いて上述した第1実施形態に係る障害物検知装置1Aでは、1枚の画像データを用いて、障害物を検知する。これに対し、図6を用いて説明する第2実施形態に係る障害物検知装置1Bは、複数の画像データを用いて障害物を検知する。したがって、障害物検知装置1Bは、選択部17によって、複数の画像データに含まれる複数の点から障害物検知に利用する最適な点を選択する。選択部17の詳細については、後述する。

0051

障害物検知装置1Bの撮影装置11は、複数の画像データを撮影する。このとき、撮影装置11は、第1画像データと第2画像データとを、例えば、障害物検知装置が設置される車両の移動中に異なるタイミングで撮影する。具体的には、図7Aに示すように、撮影装置11は、第1のタイミングT1において、図7Bに示すように第1画像データI1を撮影し、第2のタイミングT2において、図7Cに示すように第2画像データI2を撮影する。第1のタイミングT1と第2のタイミングT2とは異なるため、図7B及び図7Cに示すように、第1画像データI1と第2画像データI2とでは、障害物である物体Oが異なる位置に含まれる。なお、図7B及び図7Cにおいて、第1画像データI1の直接撮影領域Aに含まれる障害物を『Oa1』、鏡撮影領域Bに含まれる障害物を『Ob1』、第2画像データI2の直接撮影領域Aに含まれる障害物を『Oa2』、鏡撮影領域Bに含まれる障害物を『Ob2』と表す。

0052

異なるタイミングは、例えば、移動距離によって定めても良いし、経過時間で定めても良い。具体的には、撮影装置11は、図8A及び図8Bに示すように、第1画像データI1を撮影した第1のタイミングT1の後、第2のタイミングT2において第2画像データを撮影する。このとき、撮影装置11は、第1のタイミングT1で第1画像データI1を撮影した位置から、所定距離移動した時点で第2のタイミングT2として第2画像データI2を撮影してもよい。ここでの移動距離は、例えば、障害物検知装置1Bは、移動距離演算手段(図示せず)により、車輪の速度や角速度等から移動ベクトルを求めるオドメトリの計算手法を用いて特定することができる。

0053

または、撮影装置11は、第1画像データI1を撮影した第1のタイミングT1から所定時間経過したタイミングT1を第2のタイミングT2とし、第2画像データI2を撮影してもよい。ここで、第1のタイミングで撮影される第1画像データI1と第2のタイミングT2で撮影される第2画像データI2とで重複する範囲が含まれるように、各タイミングが設定されることが好ましい。なお、図8A及び図8Bは、第1のタイミングT1の後、車両Vが後ろ方向に進んだ際に、第2のタイミングT2が設定された一例である。なお、図8A及び図8Bでは、第1のタイミングT1の車両を実線で表わし、第2のタイミングT2の車両を破線で表している。

0054

特徴点算出部13は、撮影装置11で撮影された第1画像データI1と、第2画像データI2からそれぞれ第1特徴点及び第2特徴点を算出する。具体的には、特徴点算出部13は、第1実施形態で上述した方法により、第1画像データI1から複数の第1特徴点及び第2特徴点を算出し、第2画像データI2から複数の第1特徴点及び第2特徴点を算出して対応算出部14に出力する。

0055

対応算出部14は、異なる画像から算出された第1特徴点及び第2特徴点を用いて対応を算出する。具体的には、対応算出部14は、第1画像データI1の複数の第1特徴点及び複数の第2特徴点から、対応する第1特徴点と第2特徴点とを探索し、第2画像データI2の複数の第1特徴点及び第2特徴点から、対応する第1特徴点と第2特徴点とを探索する。また、対応算出部14は、第1画像データI1の第1特徴点及び第2特徴点と、第2画像データの第1特徴点及び第2特徴点とから対応する特徴点を探索し、その結果を選択部17に出力する。

0056

図7Bに示す第1画像データI1及び図7Cに示す第2画像データI2の例では、対応算出部14は、第1画像データI1の直接撮影領域Aから物体Oa1を示す第1特徴点と、鏡撮影領域Bから物体Ob1を示す第2特徴点が対応すると算出し、第2画像データI2の直接撮影領域Aから物体Oa2を示す第1特徴点と、鏡撮影領域Bから物体Ob2を示す第2特徴点が対応すると算出する。また、対応算出部14は、第1画像データ及び第2画像データの物体Oa1を示す第1特徴点と、物体Ob1を示す第2特徴点と、物体Oa2を示す第1特徴点と、物体Ob2を示す第2特徴点とが対応すると算出する。

0057

選択部17は、対応する複数の特徴点から三次元データの算出に最適な2つの特徴点を選択する。具体的には、選択部17は、第1画像データI1の第1特徴点及び第2特徴点と、第2画像データI2の第1特徴点及び第2特徴点とから、視差が大きくなる2つの特徴点を選択する。また、選択部17は、選択結果を三次元算出部15に出力する。

0058

三次元算出部15は、選択部17で選択された2つの特徴点を利用して三次元座標を算出する。仮に、選択部17において、第1画像データI1の第1特徴点及び第2画像データI2の第2特徴点が選択された場合、三次元算出部15は、第1画像データI1の第1特徴点及び第2画像データI2の第2特徴点から三次元座標を算出する。また、三次元算出部15は、算出した三次元座標を特定部16に出力する。

0059

特定部16は、算出された三次元データから、車両の走行における障害物を特定する。

0060

上述したように、第2実施形態に係る障害物検知装置1Bによれば、撮影装置に鏡像が撮影される構成にし、撮影画像から直接撮影された直接撮影領域と鏡像が撮影された鏡撮影領域とを比較する。これにより、物体を検知する際に視差ができるため、消失点付近に存在する障害物であっても、精度よく検知することが可能となり、障害物の検知の精度を向上させることができる。また、複数の撮影装置を備える必要がなく、1台の撮影装置と1枚の鏡で実現されるため、コンパクトな構成で実現することができる。

0061

《障害物検知方法》
図9に示す例を用いて、図6に示した障害物検知装置1Bで実行される障害物検知方法の一例について説明する。図9に示すフローチャートにおいて、図5のフローチャートで上述した処理と同一の処理については、同一の符号を付して説明を省略する。

0062

まず、図9に示すように、障害物検知装置1Bは、撮影装置11を利用して第1画像データを撮影する(S11)。
また、障害物検知装置1Bは、撮影装置11を利用して第1画像データを撮影する(S12)。

0063

障害物検知装置1Bは、ステップS11で撮影した第1画像データから、特徴点を算出する(S13)。
障害物検知装置1Bは、ステップS12で撮影した第2画像データから、特徴点を算出する(S14)。

0064

障害物検知装置1Bは、ステップS13の算出結果を用いて、第1画像データI1の直接撮影領域Aに含まれる第1特徴点と鏡撮影領域Bに含まれる第2特徴点との対応を算出する(S15)。すなわち、障害物検知装置1Bは、直接撮影領域Aと鏡撮影領域Bとで対応する点を特定する。

0065

また、障害物検知装置1Bは、ステップS14の算出結果を用いて、第2画像データI2の直接撮影領域Aに含まれる第1特徴点と鏡撮影領域Bに含まれる第2特徴点との対応を算出する(S16)。すなわち、障害物検知装置1Bは、直接撮影領域Aと鏡撮影領域Bとで対応する点を特定する。

0066

障害物検知装置1Bは、ステップS15及びS16の算出結果を用いて、第1画像データI1及び第2画像データI2に含まれる第1特徴点及び第2特徴点の対応を算出する(S17)。すなわち、障害物検知装置1Bは、第1画像データI1と第2画像データI2との第1特徴点及び第2特徴点とで対応する点を特定する。

0067

障害物検知装置1Bは、ステップS17で対応すると選択された複数の特徴点から、三次元データの算出に最適な2つの特徴点を選択する(S18)。具体的には、障害物検知装置1Bは、対応する複数の特徴点から、視差が大きくなる2つの特徴点を選択する。

0068

その後のステップS04〜S06の処理は、図5のフローチャートを用いて上述した処理と同一であるため、説明を省略する。

0069

《変形例1》
図6乃至図9を用いて上述した第2実施形態に係る障害物検知装置1Bでは、撮影装置11が異なるタイミングで撮影することで、同一の対象物を含む第1画像データと第2画像データを取得していた。これに対し、撮影装置11は、同一のタイミングで第1画像データ及び第2画像データをそれぞれ撮影可能な第1画像取得部と撮影する第2画像取得部とを有してもよい。すなわち、障害物検知装置は、互いに異なる位置に設置され、重複する範囲を撮影する2台の撮影装置でそれぞれ撮影された画像データを利用してもよい。

0070

このような構成にすることで、2つの撮像手段を必要とするが、2枚の画像データが同時に撮影可能となり、異なるタイミングで取得する画像を使用する場合よりも障害物検知に要する時間を短くすることができる。

0071

《変形例2》
図1乃至図5を用いて上述した第1実施形態に係る障害物検知装置1Aでは、撮影装置11が撮影した直接撮影領域の特徴点と、鏡撮影領域の特徴点とを用いて、障害物を検知する。また、図6乃至図9を用いて上述した第2実施形態に係る障害物検知装置1Bでは、撮影装置11が異なるタイミングで撮影することで、第1の対象物を含む第1画像データと第2画像データを撮影し、ここから最適な点を選択し、障害物を検知する。これに対し、撮影装置11は、さらに多くの特徴点を特定し、最適な特徴点を選択するようにしてもよい。例えば、1枚の画像データにおいて、複数の鏡撮影領域を含む場合、1枚の画像データから得られる複数の特徴点から最適な特徴点を選択して障害物を検知することができる。または、2枚以上の画像データから、6以上の特徴点を抽出し、これら複数の特徴点から最適な特徴点を選択して障害物を検知することができる。

0072

このような構成にすることで、より大きな視差の特徴点を使用することが可能となり、障害物検知の精度を向上させることができる。

0073

《鏡の取り付け例と形状》
鏡12は、例えば、図10Aに示すように、撮影装置11のレンズ111の下部に取り付けられていてもよいし、図10Bに示すように、レンズ111の上部に取り付けられていてもよい。

0074

鏡12は、図10Cに示すように、レンズ111の全周に取り付けられていてもよいし、図10Dに示すように、鏡12は、レンズ111の周囲の2か所等、複数個所に取り付けられていてもよい。これにより、例えば、変形例2で上述したように、1台の撮影装置11のみを有する障害物検知装置であっても、1枚の画像データで複数の鏡撮影領域を設けることが可能となり、障害物の検知の精度を向上させることができる。

0075

例えば、鏡12の形状は、図10Aに示したように平面であってもよいし、図10Eに示すように屈折した形状であってもよいし、図10Fに示すように屈曲した形状であってもよい。

0076

〈効果及び補足
以上のように、本出願において開示する技術の例示として、上記実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。

0077

《実施形態の概要
(1)本開示の障害物検知装置は、車両に設置され、車両の外部の画像データを撮影する撮影装置と、車両に設置され、撮影装置によって直接撮影される領域の少なくとも一部と同一の範囲を写す鏡とを備え、撮影装置及び鏡は、画像データに撮影装置によって車両の外部が直接撮影された直接撮影領域と、鏡の鏡像である鏡撮影領域とが含まれるように配置され、さらに、画像データのうち、直接撮影領域に含まれる物体の特徴点である第1特徴点と、鏡撮影領域に含まれる物体の特徴点である第2特徴点とを算出する特徴点算出部と、算出された第1特徴点と前記第2特徴点との対応を算出する対応算出部と、算出された対応から物体に関する三次元データを算出する三次元算出部と、算出された三次元データから車両の走行における障害物を特定する特定部とを備える。

0078

これにより、物体を検知する際に視差ができるため、前方又は後方に存在する障害物、例えば、消失点付近に存在する障害物であっても、精度よく検知することが可能となり、障害物の検知の精度を向上させることができる。

0079

(2)(1)の障害物検知装置では、特徴点算出部は、撮影装置で撮影された第1画像データと、第1画像データと重複する範囲を含む第2画像データからそれぞれ第1特徴点及び第2特徴点を算出し、対応算出部は、異なる画像から算出された第1特徴点及び第2特徴点を用いて対応を算出してもよい。

0080

これにより、物体を検知する際に視差ができるため、前方又は後方に存在する障害物、例えば、消失点付近に存在する障害物であっても、精度よく検知することが可能となり、障害物の検知の精度を向上させることができる。

0081

(3)(2)の障害物検知装置では、撮影装置は、異なるタイミングで第1画像データ及び第2画像データを撮影してもよい。

0082

これにより、1つの撮影装置で複数の画像データを撮影することができるため、コンパクトな構成で、障害物の検知の精度を向上させることができる。

0083

(4)(2)の障害物検知装置では、撮影装置は、同一のタイミングで第1画像データ及び第2画像データをそれぞれ撮影可能な第1画像取得部と撮影する第2画像取得部とを有してもよい。

0084

これにより、同一のタイミングで複数の画像データを撮影することができるため、短時間の処理で、障害物の検知の精度を向上させることができる。

0085

(5)(2)の障害物検知装置では、第1画像データの第1特徴点及び第2特徴点と、第2画像データの第1特徴点及び第2特徴点とから、視差が大きくなる2つの特徴点を選択する選択部をさらに備え、三次元算出部は、選択部で選択された2つの特徴点を利用して三次元データを算出してもよい。

0086

これにより、視差の大きい特徴点から三次元データが算出されるため、障害物の検知の精度を向上させることができる。

0087

(6)(1)の障害物検知装置では、車両の前方又は後方の少なくともいずれか一方に配置してもよい。

0088

これにより、物体を検知する際に視差をつくり、障害物の検知の精度を向上させることができる。

0089

(7)(1)の障害物検知装置では、鏡は、画像データの上側又は下側に鏡像が含まれるように配置されてもよい。

0090

これにより、画像データ中で障害物の検知に利用されにくい範囲を有効に利用して、障害物の検知の精度を向上させることができる。

0091

(8)本開示の自動車は(1)の障害物検知装置を備える。

0092

これにより、物体を検知する際に視差ができるため、前方又は後方に存在する障害物、例えば、消失点付近に存在する障害物であっても、精度よく検知することが可能となり、障害物の検知の精度を向上させることができる。

0093

(9)本開示の障害物検知方法は、車両に設置され、車両の外部を撮影する撮影装置によって、車両の外部が直接撮影された直接撮影領域と、前記撮影装置とともに車両に設置され、直接撮影領域との少なくとも一部と同一の範囲を写す鏡の鏡像である鏡撮影領域とを含む画像データを撮影する撮影ステップと、画像データのうち、直接撮影領域に含まれる物体の特徴点である第1特徴点と、鏡撮影領域に含まれる物体の特徴点である第2特徴点とを算出する特徴点算出ステップと、算出された第1特徴点と第2特徴点との対応を算出する対応算出ステップと、算出された対応から前記物体に関する三次元データを算出する三次元算出ステップと、算出された三次元データから車両の走行における障害物を特定する特定ステップとを含む。

0094

これにより、物体を検知する際に視差ができるため、前方又は後方に存在する障害物、例えば、消失点付近に存在する障害物であっても、精度よく検知することが可能となり、障害物の検知の精度を向上させることができる。

0095

本開示の全請求項に記載の障害物検知装置、自動車及び障害物検知方法は、ハードウェア資源、例えば、プロセッサ、メモリ、及びプログラムとの協働などによって、実現される。

0096

本開示の障害物検知装置、自動車及び障害物検知方法は、例えば、自動車の障害物検知に有用である。

0097

1A障害物検知装置
1B 障害物検知装置
11撮影装置
12 鏡
13特徴点算出部
14 対応算出部
15 三次元算出部
16 特定部
17 選択部
A直接撮影領域
B 鏡撮影領域

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 株式会社フォトラダの「 車両の逆走防止システム」が 公開されました。( 2020/12/17)

    【課題】大掛かりな工事を必要としない、車両の逆走防止システムを提供する。【解決手段】本発明の一実施形態に係る逆走防止システム10は、車両に搭載される受信機32であって、所定の逆走区間において車両が逆走... 詳細

  • 新明和工業株式会社の「 荷受台昇降装置、および荷受台昇降装置が備えられた車両」が 公開されました。( 2020/12/17)

    【目的】荷箱後方に架装されて、荷箱の略長さ方向から荷受台が後方に突出した張り出し状態となって利用可能状態となるとともに後方領域を撮影するカメラが固定可能で、車両後方の施設や障害物との衝突回避に加えて荷... 詳細

  • クリスタルメソッド株式会社の「 評価装置、及び評価システム」が 公開されました。( 2020/12/17)

    【課題】評価精度の向上を図ることができる評価装置、及び評価システムを提供する。【解決手段】評価対象物3の表面状態に基づく3次元データを評価する評価装置1であって、前記評価対象物3に対する3次元空間の座... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ