技術 障害物検知装置、自動車及び障害物検知方法

0001

本開示は、障害物を検知する障害物検知装置、自動車及び障害物検知方法に関する。

0002

特許文献１は、ステレオ画像より三次元距離情報を算出する距離画像入力装置が記載される。この特許文献１に記載の技術では、Ｗ字型に配置される２枚のミラーを使用して、１台の撮影装置によってステレオ画像を生成することができる。

0003

特許第４４１４６６１号

0004

本開示は、車両の前方又は後方に存在する障害物を検知する障害物検知装置、自動車及び障害物検知方法を提供する。

0005

本開示の障害物検知装置は、車両に設置され、車両の外部の画像データを撮影する撮影装置と、車両に設置され撮影装置によって直接撮影される領域の少なくとも一部と同一の範囲を写す鏡とを備え、撮影装置及び鏡は、画像データに撮影装置によって車両の外部が直接撮影された直接撮影領域と、鏡の鏡像である鏡撮影領域とが含まれるように配置され、さらに、画像データのうち、直接撮影領域に含まれる物体の特徴点である第１特徴点と、鏡撮影領域に含まれる物体の特徴点である第２特徴点とを算出する特徴点算出部と、算出された第１特徴点と第２特徴点との対応を算出する対応算出部と、算出された対応から物体に関する三次元データを算出する三次元算出部と、算出された三次元データから車両の走行における障害物を特定する特定部とを備える。

0006

これらの概括的かつ特定の態様は、システム、方法、及びコンピュータプログラム、並びに、それらの組み合わせにより、実現されてもよい。

0007

本開示の障害物検知装置、自動車及び障害物検知方法によれば、車両の前方や後方の消失点付近に存在する障害物であっても、精度良く検知することができる。

0008

第１実施形態に係る障害物検知装置の構成を示すブロック図である。
第１実施形態に係る障害物検知装置の撮影装置及び鏡と撮影される物体との関係を説明する概念図である。
第１実施形態に係る障害物検知装置で撮影される画像データの直接撮影領域と鏡撮影領域とを説明する図である。
第１実施形態に係る障害物検知装置で撮影される画像例である。
一般的なリアカメラで撮影される画像例である。
第１実施形態に係る障害物検知装置の撮影装置及び鏡と撮影される物体との位置関係を説明する平面図である。
第１実施形態に係る障害物検知装置の撮影装置及び鏡と撮影される物体との位置関係を説明する側面図である。
第１実施形態に係る障害物検知方法を説明するフローチャートである。
第２実施形態に係る障害物検知装置の構成を示すブロック図である。
第２実施形態に係る障害物検知装置の撮影装置及び鏡と撮影される物体との関係を説明する概念図である。
第２実施形態に係る障害物検知装置で撮影される第１画像データの直接撮影領域と鏡撮影領域とを説明する図である。
第２実施形態に係る障害物検知装置で撮影される第２画像データの直接撮影領域と鏡撮影領域とを説明する図である。
第２実施形態に係る障害物検知装置の撮影装置及び鏡と撮影される物体との位置関係を説明する平面図である。
第２実施形態に係る障害物検知装置の撮影装置及び鏡と撮影される物体との位置関係を説明する側面図である。
第２実施形態に係る障害物検知方法を説明するフローチャートである。
鏡の設置の一例を説明する概略図である。
鏡の設置の他の例を説明する概略図である。
鏡の設置の他の例を説明する概略図である。
鏡の設置の他の例を説明する概略図である。
鏡の形状の一例を説明する概略図である。
鏡の形状の他の例を説明する概略図である。

0009

［本開示の基礎となった知見］
自動車では、車載カメラで撮影される画像を用いて、障害物検知がされることがある。このような場合、例えば、異なる２画像間で、対応する点を利用して障害物の三次元情報を求め、障害物を検知する。ここで、カメラが横方向に動く場合、２画像間で対応する点の角度差が大きく、三次元情報を特定しやすいため、障害物を検知しやすい。すなわち、車載サイドカメラの場合、横方向に動くため、障害物を検知しやすい。一方、カメラが前後方向に動く場合、角度差は小さく、三次元情報を特定しにくいため、特に、消失点付近にある障害物については２画像間での変化が小さく検知しにくい。すなわち、車載のフロントカメラやリアカメラの場合、前後方向に動くため、障害物を検知しにくい。

0010

しかし、自動車では、障害物は、前方又は後方に存在する可能性が高く、このように前方又は後方に存在する障害物を検知する重要性が高いのが実情である。

0011

また、近年、自動運転技術導入のため、ＳＦＭ（Structure from Motion）、ＳＬＡＭ（Simultaneous Localization & Mapping）等の技術を利用する障害物検知の精度の向上に対する期待が高まっている。

0012

［実施形態］
以下に、図面を参照して実施形態に係る障害物検知装置について説明する。以下の説明では、同一の構成について、同一の符号を付して説明を省略する。実施形態に係る障害物検知装置は、自動車に設置され、障害物を検知するものである。

0013

本開示において、「障害物」は、自動車の進行の妨げになる動物（人間を含む）や物体等である。自動車の運転時には、このような障害物との衝突や接触を防止するため、障害物の検知精度を向上させる必要がある。
本開示において、「視差」は、ある物体の対象点について、異なる視点からの角度差である。以下の説明では、障害物の対象点について、一の画像領域中の障害物の対象点と、他の画像領域中の障害物の対象点とで構成される角度差を、「視差」とする。
本開示において、「消失点」は、画像中において、車両の進行方向又は、進行方向と逆の方向に存在し、画像を撮影する撮影装置を備える車両が前進又は後進した場合であっても、その点に存在する被写体に位置の変化が生じない点をいう。
また、本開示では、「自動車」を「車両」として説明する。

0014

〈第１実施形態〉
図１に示すように、第１実施形態に係る障害物検知装置１Ａは、撮影装置１１と、鏡１２と、情報処理装置２０とを備える。

0015

撮影装置１１は、車両（図示せず）に設置され、車両の外部の画像データを撮影する。例えば、撮影装置１１は、車両の前方又は後方の少なくともいずれか一方に配置される。この場合、撮影装置１１は、いわゆる、「フロントカメラ」または「リアカメラ」である。

0016

鏡１２は、車両に設置され、実像を反射して鏡像を撮影装置１１に入光させるものであり、撮影装置１１によって直接撮影される領域の少なくとも一部と同一の範囲を写す。ここで、撮影装置１１及び鏡１２は、撮影装置１１で撮影された画像データに撮影装置１１によって車両の外部が直接撮影された「直接撮影領域」と、鏡１２の鏡像である「鏡撮影領域」とが含まれるように配置される。例えば、鏡１２は、画像データにおいて直接撮影領域が鏡撮影領域よりも大きくなるように配置される。さらに、鏡１２は、鏡撮影領域が、撮影装置１１で撮影される画像データの消失点を含むような位置及び傾きで設置される。また、この消失点は、画像データにも含まれる。したがって、この消失点は、画像データにおいて、「鏡撮影領域」及び「直接撮影領域」の両方で撮影される。

0017

このように鏡１２が配置されることで、撮影装置１１の撮像視野（撮影範囲）内の一部領域に鏡１２の反射面が配置されることとなる。したがって、撮影装置１１には、撮像視野内の他の領域の光が鏡１２による反射により取り込まれる。

0018

なお、鏡１２は、撮影装置１１のレンズの周囲の少なくとも一部に取り付けられ、鏡像が撮影装置１１によって撮影されていれば、その取り付け位置は限定されない。また、鏡１２の形状は、鏡像を撮影装置１１で撮影可能であれば限定されない。さらに、ここでは、撮影装置１１は、鏡１２の鏡像を直接取り込む例で説明するが、撮影装置１１は、複数の鏡を利用して複数回反射された鏡像を取り込むようにしてもよい。

0019

情報処理装置２０は、撮影装置１１で撮影された画像データを用いて障害物の検知処理を実行する。情報処理装置２０は、制御部２１及び記憶部２２を備える。

0020

制御部２１は、特徴点算出部１３と、対応算出部１４と、三次元算出部１５と、特定部１６とを実現する。具体的には、制御部２１は、情報処理装置２０全体の制御を司るコントローラである。制御部２１は、例えば、記憶部２２に記憶されるプログラムを実行することにより所定の機能を実現するＣＰＵまたはＭＰＵのような汎用プロセッサを含む。制御部２１は、記憶部２２に格納された障害物検知プログラムＰを呼び出して実行することにより、情報処理装置２０において、特徴点算出部１３、対応算出部１４、三次元算出部１５及び特定部１６の処理を実行する。制御部２１は、ハードウェアとソフトウェアの協働により所定の機能を実現するものに限定されず、所定の機能を実現する専用に設計されたハードウェア回路でもよい。すなわち、制御部２１は、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＦＰＧＡ、ＤＳＰ、ＡＳＩＣ等、種々のプロセッサで実現することができる。

0021

記憶部２２は種々の情報を記録する記録媒体である。記憶部２２は、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＳＳＤ（Solid State Device）、ハードディスク、その他の記憶デバイス又はそれらを適宜組み合わせて実現される。記憶部２２は、制御部２１が実行する障害物検知プログラムＰ、及び障害物検知のために撮影装置１１から取得した画像データ及び障害物検知のために利用するデータ等の種々の情報を格納する。

0022

また、例えば、記憶部２２は、ＧＰＳ装置（図示せず）等が取得する車両の位置に関するデータ、撮影装置１１及び鏡１２の車両への取り付け位置及び角度等に関するデータを含む位置データＤ１を記憶する。なお、記憶部２２は、車両の車輪の制御部等から取得する回転角度に関するデータを記憶してもよい。

0023

図２Ａに、撮影装置１１及び鏡１２と、撮影装置１１に撮影される物体Ｏの関係を示す概念図を示す。また、図２Ｂに、撮影装置１１で撮影された画像データＩの一例を示す。図２Ｂに示す例では、画像データＩにおいて、上側の領域を直接撮影領域Ａとし、下側の領域を鏡撮影領域Ｂとする。図２Ａに示す位置関係の場合、図２Ｂに示すように、直接撮影領域Ａと、鏡撮影領域Ｂとの両方に物体Ｏが含まれる。なお、図２Ｂにおいて、直接撮影領域Ａに含まれる物体Ｏを『Ｏａ』として表し、鏡撮影領域Ｂに含まれる物体Ｏとして『Ｏｂ』で表す。

0024

例えば、鏡１２は、画像データの上側又は下側に鏡像が含まれるように配置される。鏡１２を、撮影装置１１に対して下側に配置すると、図２Ｂに示したように、鏡像は、画像データの下側に位置する。一方、図示を省略するが、鏡１２を、撮影装置１１に対して上側に配置すると、鏡像は、画像データの上側に位置する。

0025

図３Ａに、リアカメラである撮影装置１１によって撮影された画像データの一例を示す。図３Ａに示す例では、画像データＩの上側に直接撮影領域Ａが設定され、下側に鏡撮影領域Ｂが設定される。したがって、撮影装置１１に対して下側に鏡１２を配置した一例である。

0026

図３Ｂは、仮に、鏡１２が配置されない場合に撮影装置１１で撮影される画像データの一例である。図３Ｂに示す画像データには、車両の一部、具体的には、ナンバープレートの一部が含まれ、この部分は障害物検知に不要な領域である。このように、撮影装置１１で取得される画像データには、障害物検知に不要な画像領域Ｃを含むことがある。

0027

図４Ａの平面図及び図４Ｂの側面図は、車両Ｖに設置される撮影装置１１及び鏡１２と障害物である物体Ｏの関係を示す模式図である。図４Ａ及び図４Ｂは、撮影装置１１がリアカメラであって、鏡１２が、撮影装置１１の下側に設置される例を示す。図４Ｂに示すように、撮影装置１１であるリアカメラは、車両Ｖの底面と並行ではなく下向きに設置されることが多い。図４Ｂに示すように撮影装置１１が下向きに設置された場合、画像データに障害物検知に不要な領域が含まれることになる。図３Ａで示す例は、このような障害物検知に不要な画像領域Ｃに鏡像が写るように鏡１２を配置し、画像領域Ｃを有効に利用することができた。

0028

すなわち、図４Ｂに示すように、物体Ｏのある点Ｐｏは、直接撮影領域Ａでは破線の方向（Ｌａ）で撮影されるのに対し、鏡撮影領域Ｂでは実線の方向（Ｌｂ）で撮影されるため、異なる視点から撮影される。障害物検知装置１Ａでは、鏡１２を利用することで、物体Ｏを撮影する際に、視差角αが形成されるため、直接撮影領域Ａと鏡撮影領域Ｂとで視差が生じ、障害物が検知しやすい。

0029

なお、鏡１２の取り付け角度は、撮影装置１１の設置位置や傾き、撮影装置１１が備えるレンズの視野角、鏡の取り付け位置等によって定めることができ、上述したように、鏡１２は、鏡撮影領域が、撮影装置１１で撮影される画像データの消失点を含むような位置及び傾きで設置される。

0030

特徴点算出部１３は、撮影装置１１で撮影された画像データのうち、直接撮影領域Ａに含まれる物体の特徴点である第１特徴点と、鏡撮影領域Ｂに含まれる物体の特徴点である第２特徴点とを算出する。具体的には、特徴点算出部１３は、第１特徴点及び第２特徴点として、各物体の特徴点の座標を算出し、算出した座標を対応算出部１４に出力する。これら第１特徴点及び第２特徴点の座標は、画像データ上での座標である。

0031

ここでは、直接撮影領域Ａにおける複数の特徴点と鏡撮影領域Ｂにおける複数の特徴点でどの点が対応するか、すなわち、どの点が同一の物体を撮影したものであるかは不明である。したがって、特徴点算出部１３は、直接撮影領域Ａから複数の第１特徴点を算出し、また、鏡撮影領域Ｂからも複数の第２特徴点を算出し、算出した複数の特徴点を出力する。なお、特徴点算出部１３は、例えば、ＧＦＴＴ（Good Features To Track）等の一般的な特徴点の抽出方法を利用する。

0032

また、特徴点算出部１３は、対応算出部１４で特徴量が利用される場合、第１特徴点及び第２特徴点の座標とともに、各特徴点の特徴量を算出し、この特徴量を含む特徴点を対応算出部１４に出力する。例えば、対応算出部１４でオプティカルフロー方式の対応点探索を実行する場合、特徴点として座標のみを算出する。一方、対応算出部１４でＳＩＦＴ（Scale Invariant Feature Transform）等の特徴量マッチング方式の対応点探索を実行する場合、特徴点として座標と特徴量を算出する。

0033

ここで、障害物検知装置１Ａでは、撮影される画像データのうち、直接撮影領域Ａに相当する画素と、鏡撮影領域Ｂに相当する画素とが予め特定され、記憶部２２で記憶されている。また、特徴点算出部１３は、直接撮影領域Ａと鏡撮影領域Ｂを対応させることができる。具体的には、ＳＩＦＴ等の特徴量を用いる場合、鏡による反転を考慮した特徴量記述子を生成し、特徴点算出部１３はこれを用いて対応点探索を実行する。例えば、直接撮影領域Ａに対し、鏡撮影領域Ｂが水平反転する場合、直接撮影領域Ａでの特徴（例えば、勾配値）の位置関係を仮に

としたとき、鏡撮影領域Ｂでは、反転させて

とする。このとき、直接撮影領域Ａと鏡撮影領域Ｂとでレンズの歪みがある場合、処理の際にアフィン変換を利用して歪みを補正させてもよい。

0034

対応算出部１４は、特徴点算出部１３で算出された第１特徴点と対応する第２特徴点を特定する。具体的には、対応算出部１４は、複数の第１特徴点及び複数の第２特徴点から、対応する第１特徴点と第２特徴点とを探索し、対応すると特定された第１特徴点及び第２特徴点を三次元算出部１５に出力する。このとき、対応算出部１４は、オプティカルフローや特徴量マッチング等により、対応する第１特徴点と第２特徴点とを算出する。

0035

図２Ｂに示す画像データＩの例では、対応算出部１４は、直接撮影領域Ａから物体Ｏａを示す第１特徴点と、鏡撮影領域Ｂから物体Ｏｂを示す第２特徴点が対応すると算出する。

0036

なお、鏡１２に歪みがある場合であっても、その歪みを補正する補正式等の補正方法が予め定められているとき、対応算出部１４は、その歪みを補正することができる。これにより、対応点の算出、すなわち、対応する第１特徴点と第２特徴点の特定の精度を高めることができる。

0037

三次元算出部１５は、算出された対応から物体に関する三次元データを算出する。ここで、三次元算出部１５は、記憶部２２に記憶される位置データＤ１及び撮影装置１１のレンズのキャリブレーションデータを用いて、対応算出部１４で対応すると特定された第１特徴点と第２特徴点から、物体の三次元位置を算出する。具体的には、三次元算出部１５は、一般的な三角測量の計算手法を用いて、対応すると特定された画像データ上での二次元座標である第１特徴量の座標と第２特徴量の座標とから、物体の位置である三次元座標を求める。また、三次元算出部１５は、算出した三次元座標を特定部１６に出力する。

0038

例えば、図２Ａ及び図２Ｂを用いて上述した例において、車両の位置や車両が現在向いている方向、車両設置される撮影装置１１及び鏡１２の傾きや位置関係等の算出条件は予め位置データＤ１で特定される。したがって、図２Ａに示す点Ｐ１，Ｐ２の座標、点Ｐ１と点Ｐ２の距離ｌ、物体Ｏ−点Ｐ１−点Ｐ２の成す角度α１、物体Ｏ−点Ｐ２−点Ｐ１の成す角度α２も特定できる。また、画像データＩの直接撮影領域Ａにおける第１特徴点である物体Ｏａの座標と第２特徴点である物体Ｏｂの座標は、特徴点算出部１３により算出された。したがって、三次元算出部１５は、この２点の二次元座標と、撮影装置１１及び鏡１２の傾き及び位置関係とから、距離ｄを求めることが可能であり、物体Ｏの三次元座標を算出する。

0039

特定部１６は、算出された三次元データから車両の走行における障害物を特定する。具体的には、特定部１６は、三次元算出部１５で算出された三次元座標から求める障害物の位置である車両との距離、障害物の形状や大きさ等を特定する。障害物の大きさとして、特定部１６は、具体的には、障害物の横幅及び高さを特定する。例えば、特定部は、算出された三次元座標をグルーピングし、車両から最も近い座標、すなわち、撮影装置１１から最も近い座標のグループの位置や大きさを特定する。

0040

また、特定部１６は、障害物を特定した結果を出力する（図示せず）。これにより、障害物検知装置１Ａを備える車両では、例えば、自動運転等において障害物の三次元位置を正確に把握したうえで安全で快適な走行を実現することができる。

0041

上述したように、第１実施形態に係る障害物検知装置１Ａによれば、撮影装置に鏡像が撮影される構成にし、撮影画像から直接撮影された直接撮影領域と鏡像が撮影された鏡撮影領域とを比較する。これにより、物体を検知する際に視差ができるため、消失点付近に存在する障害物であっても、精度よく検知することが可能となり、障害物の検知の精度を向上させることができる。また、複数の撮影装置を備える必要がなく、１台の撮影装置と１枚の鏡で実現されるため、コンパクトな構成で実現することができる。

0042

《障害物検知方法》
図５に示す例を用いて、図１に示した障害物検知装置１Ａで実行される障害物検知方法の一例について説明する。
図５に示すように、障害物検知装置１Ａは、撮影装置１１を利用して画像データを撮影する（Ｓ０１）。

0043

障害物検知装置１Ａは、ステップＳ０１で撮影した画像データから、特徴点を算出する（Ｓ０２）。

0044

障害物検知装置１Ａは、ステップＳ０２の算出結果を用いて、直接撮影領域Ａに含まれる特徴点と鏡撮影領域Ｂに含まれる特徴点との対応を算出する（Ｓ０３）。すなわち、障害物検知装置１Ａは、対応する点を特定する。

0045

また、障害物検知装置１Ａは、位置データＤ１を用いて、撮影条件を算出する（Ｓ０４）。なお、上述したように、撮影条件は、撮影装置１１のパラメータ及び撮影装置１１及び鏡１２の取り付けの位置及び傾き等に応じて決定されるため、位置データＤ１としてこの撮影条件を含んでもよい。

0046

障害物検知装置１Ａは、ステップＳ０３の算出結果である対応する特徴点と、ステップＳ０４の算出結果である撮影条件を用いて、特徴点の三次元データを算出する（Ｓ０５）。すなわち、障害物検知装置１Ａは、特徴点の三次元座標を算出する。

0047

障害物検知装置１Ａは、ステップＳ０５の算出結果に応じて、障害物の検知の有無を判定する（Ｓ０６）。

0048

これにより、障害物が検知されたと判定されると（Ｓ０６でＹＥＳ）、障害物検知装置１Ａは、障害物の検知を通知する通知データを出力し、処理を出力する（Ｓ０７）。
一方、障害物が検知されないと判定されると（Ｓ０６でＮＯ）、障害物検知装置１Ａは、処理を終了する。

0049

〈第２実施形態〉
図６に示すように、第２実施形態に係る障害物検知装置１Ｂは、撮影装置１１と、鏡１２と、特徴点算出部１３と、対応算出部１４と、選択部１７と、三次元算出部１５と、特定部１６とを備える。図６に示す障害物検知装置１Ｂは、図１を用いて上述した障害物検知装置１Ａと比較して、選択部１７を備える点で異なる。

0050

図１を用いて上述した第１実施形態に係る障害物検知装置１Ａでは、１枚の画像データを用いて、障害物を検知する。これに対し、図６を用いて説明する第２実施形態に係る障害物検知装置１Ｂは、複数の画像データを用いて障害物を検知する。したがって、障害物検知装置１Ｂは、選択部１７によって、複数の画像データに含まれる複数の点から障害物検知に利用する最適な点を選択する。選択部１７の詳細については、後述する。

0051

障害物検知装置１Ｂの撮影装置１１は、複数の画像データを撮影する。このとき、撮影装置１１は、第１画像データと第２画像データとを、例えば、障害物検知装置が設置される車両の移動中に異なるタイミングで撮影する。具体的には、図７Ａに示すように、撮影装置１１は、第１のタイミングＴ1において、図７Ｂに示すように第１画像データＩ1を撮影し、第２のタイミングＴ2において、図７Ｃに示すように第２画像データＩ2を撮影する。第１のタイミングＴ1と第２のタイミングＴ2とは異なるため、図７Ｂ及び図７Ｃに示すように、第１画像データＩ1と第２画像データＩ2とでは、障害物である物体Ｏが異なる位置に含まれる。なお、図７Ｂ及び図７Ｃにおいて、第１画像データＩ1の直接撮影領域Ａに含まれる障害物を『Ｏａ1』、鏡撮影領域Ｂに含まれる障害物を『Ｏｂ1』、第２画像データＩ2の直接撮影領域Ａに含まれる障害物を『Ｏａ2』、鏡撮影領域Ｂに含まれる障害物を『Ｏｂ2』と表す。

0052

異なるタイミングは、例えば、移動距離によって定めても良いし、経過時間で定めても良い。具体的には、撮影装置１１は、図８Ａ及び図８Ｂに示すように、第１画像データＩ1を撮影した第１のタイミングＴ1の後、第２のタイミングＴ2において第２画像データを撮影する。このとき、撮影装置１１は、第１のタイミングＴ1で第１画像データＩ1を撮影した位置から、所定距離移動した時点で第２のタイミングＴ2として第２画像データＩ2を撮影してもよい。ここでの移動距離は、例えば、障害物検知装置１Ｂは、移動距離演算手段（図示せず）により、車輪の速度や角速度等から移動ベクトルを求めるオドメトリの計算手法を用いて特定することができる。

0053

または、撮影装置１１は、第１画像データＩ1を撮影した第１のタイミングＴ1から所定時間経過したタイミングＴ1を第２のタイミングＴ2とし、第２画像データＩ2を撮影してもよい。ここで、第１のタイミングで撮影される第１画像データＩ1と第２のタイミングＴ2で撮影される第２画像データＩ2とで重複する範囲が含まれるように、各タイミングが設定されることが好ましい。なお、図８Ａ及び図８Ｂは、第１のタイミングＴ1の後、車両Ｖが後ろ方向に進んだ際に、第２のタイミングＴ2が設定された一例である。なお、図８Ａ及び図８Ｂでは、第１のタイミングＴ1の車両を実線で表わし、第２のタイミングＴ2の車両を破線で表している。

0054

特徴点算出部１３は、撮影装置１１で撮影された第１画像データＩ1と、第２画像データＩ2からそれぞれ第１特徴点及び第２特徴点を算出する。具体的には、特徴点算出部１３は、第１実施形態で上述した方法により、第１画像データＩ1から複数の第１特徴点及び第２特徴点を算出し、第２画像データＩ2から複数の第１特徴点及び第２特徴点を算出して対応算出部１４に出力する。

0055

対応算出部１４は、異なる画像から算出された第１特徴点及び第２特徴点を用いて対応を算出する。具体的には、対応算出部１４は、第１画像データＩ1の複数の第１特徴点及び複数の第２特徴点から、対応する第１特徴点と第２特徴点とを探索し、第２画像データＩ2の複数の第１特徴点及び第２特徴点から、対応する第１特徴点と第２特徴点とを探索する。また、対応算出部１４は、第１画像データＩ1の第１特徴点及び第２特徴点と、第２画像データの第１特徴点及び第２特徴点とから対応する特徴点を探索し、その結果を選択部１７に出力する。

0056

図７Ｂに示す第１画像データＩ1及び図７Ｃに示す第２画像データＩ2の例では、対応算出部１４は、第１画像データＩ1の直接撮影領域Ａから物体Ｏａ1を示す第１特徴点と、鏡撮影領域Ｂから物体Ｏｂ1を示す第２特徴点が対応すると算出し、第２画像データＩ2の直接撮影領域Ａから物体Ｏａ2を示す第１特徴点と、鏡撮影領域Ｂから物体Ｏｂ2を示す第２特徴点が対応すると算出する。また、対応算出部１４は、第１画像データ及び第２画像データの物体Ｏａ1を示す第１特徴点と、物体Ｏｂ1を示す第２特徴点と、物体Ｏａ2を示す第１特徴点と、物体Ｏｂ2を示す第２特徴点とが対応すると算出する。

0057

選択部１７は、対応する複数の特徴点から三次元データの算出に最適な２つの特徴点を選択する。具体的には、選択部１７は、第１画像データＩ1の第１特徴点及び第２特徴点と、第２画像データＩ2の第１特徴点及び第２特徴点とから、視差が大きくなる２つの特徴点を選択する。また、選択部１７は、選択結果を三次元算出部１５に出力する。

0058

三次元算出部１５は、選択部１７で選択された２つの特徴点を利用して三次元座標を算出する。仮に、選択部１７において、第１画像データＩ1の第１特徴点及び第２画像データＩ2の第２特徴点が選択された場合、三次元算出部１５は、第１画像データＩ1の第１特徴点及び第２画像データＩ2の第２特徴点から三次元座標を算出する。また、三次元算出部１５は、算出した三次元座標を特定部１６に出力する。

0059

特定部１６は、算出された三次元データから、車両の走行における障害物を特定する。

0060

上述したように、第２実施形態に係る障害物検知装置１Ｂによれば、撮影装置に鏡像が撮影される構成にし、撮影画像から直接撮影された直接撮影領域と鏡像が撮影された鏡撮影領域とを比較する。これにより、物体を検知する際に視差ができるため、消失点付近に存在する障害物であっても、精度よく検知することが可能となり、障害物の検知の精度を向上させることができる。また、複数の撮影装置を備える必要がなく、１台の撮影装置と１枚の鏡で実現されるため、コンパクトな構成で実現することができる。

0061

《障害物検知方法》
図９に示す例を用いて、図６に示した障害物検知装置１Ｂで実行される障害物検知方法の一例について説明する。図９に示すフローチャートにおいて、図５のフローチャートで上述した処理と同一の処理については、同一の符号を付して説明を省略する。

0062

まず、図９に示すように、障害物検知装置１Ｂは、撮影装置１１を利用して第１画像データを撮影する（Ｓ１１）。
また、障害物検知装置１Ｂは、撮影装置１１を利用して第１画像データを撮影する（Ｓ１２）。

0063

障害物検知装置１Ｂは、ステップＳ１１で撮影した第１画像データから、特徴点を算出する（Ｓ１３）。
障害物検知装置１Ｂは、ステップＳ１２で撮影した第２画像データから、特徴点を算出する（Ｓ１４）。

0064

障害物検知装置１Ｂは、ステップＳ１３の算出結果を用いて、第１画像データＩ1の直接撮影領域Ａに含まれる第１特徴点と鏡撮影領域Ｂに含まれる第２特徴点との対応を算出する（Ｓ１５）。すなわち、障害物検知装置１Ｂは、直接撮影領域Ａと鏡撮影領域Ｂとで対応する点を特定する。

0065

また、障害物検知装置１Ｂは、ステップＳ１４の算出結果を用いて、第２画像データＩ2の直接撮影領域Ａに含まれる第１特徴点と鏡撮影領域Ｂに含まれる第２特徴点との対応を算出する（Ｓ１６）。すなわち、障害物検知装置１Ｂは、直接撮影領域Ａと鏡撮影領域Ｂとで対応する点を特定する。

0066

障害物検知装置１Ｂは、ステップＳ１５及びＳ１６の算出結果を用いて、第１画像データＩ1及び第２画像データＩ2に含まれる第１特徴点及び第２特徴点の対応を算出する（Ｓ１７）。すなわち、障害物検知装置１Ｂは、第１画像データＩ1と第２画像データＩ2との第１特徴点及び第２特徴点とで対応する点を特定する。

0067

障害物検知装置１Ｂは、ステップＳ１７で対応すると選択された複数の特徴点から、三次元データの算出に最適な２つの特徴点を選択する（Ｓ１８）。具体的には、障害物検知装置１Ｂは、対応する複数の特徴点から、視差が大きくなる２つの特徴点を選択する。

0068

その後のステップＳ０４〜Ｓ０６の処理は、図５のフローチャートを用いて上述した処理と同一であるため、説明を省略する。

0069

《変形例１》
図６乃至図９を用いて上述した第２実施形態に係る障害物検知装置１Ｂでは、撮影装置１１が異なるタイミングで撮影することで、同一の対象物を含む第１画像データと第２画像データを取得していた。これに対し、撮影装置１１は、同一のタイミングで第１画像データ及び第２画像データをそれぞれ撮影可能な第１画像取得部と撮影する第２画像取得部とを有してもよい。すなわち、障害物検知装置は、互いに異なる位置に設置され、重複する範囲を撮影する２台の撮影装置でそれぞれ撮影された画像データを利用してもよい。

0070

このような構成にすることで、２つの撮像手段を必要とするが、２枚の画像データが同時に撮影可能となり、異なるタイミングで取得する画像を使用する場合よりも障害物検知に要する時間を短くすることができる。

0071

《変形例２》
図１乃至図５を用いて上述した第１実施形態に係る障害物検知装置１Ａでは、撮影装置１１が撮影した直接撮影領域の特徴点と、鏡撮影領域の特徴点とを用いて、障害物を検知する。また、図６乃至図９を用いて上述した第２実施形態に係る障害物検知装置１Ｂでは、撮影装置１１が異なるタイミングで撮影することで、第１の対象物を含む第１画像データと第２画像データを撮影し、ここから最適な点を選択し、障害物を検知する。これに対し、撮影装置１１は、さらに多くの特徴点を特定し、最適な特徴点を選択するようにしてもよい。例えば、１枚の画像データにおいて、複数の鏡撮影領域を含む場合、１枚の画像データから得られる複数の特徴点から最適な特徴点を選択して障害物を検知することができる。または、２枚以上の画像データから、６以上の特徴点を抽出し、これら複数の特徴点から最適な特徴点を選択して障害物を検知することができる。

0072

このような構成にすることで、より大きな視差の特徴点を使用することが可能となり、障害物検知の精度を向上させることができる。

0073

《鏡の取り付け例と形状》
鏡１２は、例えば、図１０Ａに示すように、撮影装置１１のレンズ１１１の下部に取り付けられていてもよいし、図１０Ｂに示すように、レンズ１１１の上部に取り付けられていてもよい。

0074

鏡１２は、図１０Ｃに示すように、レンズ１１１の全周に取り付けられていてもよいし、図１０Ｄに示すように、鏡１２は、レンズ１１１の周囲の２か所等、複数個所に取り付けられていてもよい。これにより、例えば、変形例２で上述したように、１台の撮影装置１１のみを有する障害物検知装置であっても、１枚の画像データで複数の鏡撮影領域を設けることが可能となり、障害物の検知の精度を向上させることができる。

0075

例えば、鏡１２の形状は、図１０Ａに示したように平面であってもよいし、図１０Ｅに示すように屈折した形状であってもよいし、図１０Ｆに示すように屈曲した形状であってもよい。

0076

〈効果及び補足〉
以上のように、本出願において開示する技術の例示として、上記実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。

0077

《実施形態の概要》
（１）本開示の障害物検知装置は、車両に設置され、車両の外部の画像データを撮影する撮影装置と、車両に設置され、撮影装置によって直接撮影される領域の少なくとも一部と同一の範囲を写す鏡とを備え、撮影装置及び鏡は、画像データに撮影装置によって車両の外部が直接撮影された直接撮影領域と、鏡の鏡像である鏡撮影領域とが含まれるように配置され、さらに、画像データのうち、直接撮影領域に含まれる物体の特徴点である第１特徴点と、鏡撮影領域に含まれる物体の特徴点である第２特徴点とを算出する特徴点算出部と、算出された第１特徴点と前記第２特徴点との対応を算出する対応算出部と、算出された対応から物体に関する三次元データを算出する三次元算出部と、算出された三次元データから車両の走行における障害物を特定する特定部とを備える。

0078

これにより、物体を検知する際に視差ができるため、前方又は後方に存在する障害物、例えば、消失点付近に存在する障害物であっても、精度よく検知することが可能となり、障害物の検知の精度を向上させることができる。

0079

（２）（１）の障害物検知装置では、特徴点算出部は、撮影装置で撮影された第１画像データと、第１画像データと重複する範囲を含む第２画像データからそれぞれ第１特徴点及び第２特徴点を算出し、対応算出部は、異なる画像から算出された第１特徴点及び第２特徴点を用いて対応を算出してもよい。

0080

これにより、物体を検知する際に視差ができるため、前方又は後方に存在する障害物、例えば、消失点付近に存在する障害物であっても、精度よく検知することが可能となり、障害物の検知の精度を向上させることができる。

0081

（３）（２）の障害物検知装置では、撮影装置は、異なるタイミングで第１画像データ及び第２画像データを撮影してもよい。

0082

これにより、１つの撮影装置で複数の画像データを撮影することができるため、コンパクトな構成で、障害物の検知の精度を向上させることができる。

0083

（４）（２）の障害物検知装置では、撮影装置は、同一のタイミングで第１画像データ及び第２画像データをそれぞれ撮影可能な第１画像取得部と撮影する第２画像取得部とを有してもよい。

0084

これにより、同一のタイミングで複数の画像データを撮影することができるため、短時間の処理で、障害物の検知の精度を向上させることができる。

0085

（５）（２）の障害物検知装置では、第１画像データの第１特徴点及び第２特徴点と、第２画像データの第１特徴点及び第２特徴点とから、視差が大きくなる２つの特徴点を選択する選択部をさらに備え、三次元算出部は、選択部で選択された２つの特徴点を利用して三次元データを算出してもよい。

0086

これにより、視差の大きい特徴点から三次元データが算出されるため、障害物の検知の精度を向上させることができる。

0087

（６）（１）の障害物検知装置では、車両の前方又は後方の少なくともいずれか一方に配置してもよい。

0088

これにより、物体を検知する際に視差をつくり、障害物の検知の精度を向上させることができる。

0089

（７）（１）の障害物検知装置では、鏡は、画像データの上側又は下側に鏡像が含まれるように配置されてもよい。

0090

これにより、画像データ中で障害物の検知に利用されにくい範囲を有効に利用して、障害物の検知の精度を向上させることができる。

0091

（８）本開示の自動車は（１）の障害物検知装置を備える。

0092

これにより、物体を検知する際に視差ができるため、前方又は後方に存在する障害物、例えば、消失点付近に存在する障害物であっても、精度よく検知することが可能となり、障害物の検知の精度を向上させることができる。

0093

（９）本開示の障害物検知方法は、車両に設置され、車両の外部を撮影する撮影装置によって、車両の外部が直接撮影された直接撮影領域と、前記撮影装置とともに車両に設置され、直接撮影領域との少なくとも一部と同一の範囲を写す鏡の鏡像である鏡撮影領域とを含む画像データを撮影する撮影ステップと、画像データのうち、直接撮影領域に含まれる物体の特徴点である第１特徴点と、鏡撮影領域に含まれる物体の特徴点である第２特徴点とを算出する特徴点算出ステップと、算出された第１特徴点と第２特徴点との対応を算出する対応算出ステップと、算出された対応から前記物体に関する三次元データを算出する三次元算出ステップと、算出された三次元データから車両の走行における障害物を特定する特定ステップとを含む。

0094

これにより、物体を検知する際に視差ができるため、前方又は後方に存在する障害物、例えば、消失点付近に存在する障害物であっても、精度よく検知することが可能となり、障害物の検知の精度を向上させることができる。

0095

本開示の全請求項に記載の障害物検知装置、自動車及び障害物検知方法は、ハードウェア資源、例えば、プロセッサ、メモリ、及びプログラムとの協働などによって、実現される。

0096

本開示の障害物検知装置、自動車及び障害物検知方法は、例えば、自動車の障害物検知に有用である。

0097

１Ａ障害物検知装置
１Ｂ 障害物検知装置
１１撮影装置
１２ 鏡
１３特徴点算出部
１４ 対応算出部
１５ 三次元算出部
１６ 特定部
１７ 選択部
Ａ直接撮影領域
Ｂ 鏡撮影領域