図面 (/)

技術 画像処理プログラム、画像処理装置、及び画像処理方法

出願人 富士通株式会社
発明者 金武純中山收文
出願日 2016年1月22日 (4年7ヶ月経過) 出願番号 2016-011075
公開日 2017年7月27日 (3年1ヶ月経過) 公開番号 2017-130164
状態 特許登録済
技術分野 交通制御システム イメージ分析
主要キーワード 形状対称性 差分積算値 輪郭線位置 対称性判定 輪郭線付近 重複位置 重複率 中点位置
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年7月27日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

画像から対称性の高い形状を有する領域を高精度に検出する。

解決手段

コンピュータは、エッジを検出するための第1設定値に基づいて画像から抽出された複数のエッジ線分のうち、2本のエッジ線分の間の中心線を特定する(ステップ301)。中心線に関して特定のエッジ線分と線対称となる位置において、エッジ線分が抽出されていない場合、コンピュータは、第1設定値よりもエッジが検出されやすい第2設定値に基づいて、その位置におけるエッジ線分抽出を行う(ステップ302)。

概要

背景

動体に搭載された撮像装置により撮影した映像から、静止している物体を検出する技術が知られている。車両に搭載された撮像装置により撮影したカラー画像からエッジ画像を生成し、エッジ画像に含まれる画像の対称性に基づいて物体幅を検出する技術も知られている(例えば、特許文献1を参照)。

概要

画像から対称性の高い形状を有する領域を高精度に検出する。コンピュータは、エッジを検出するための第1設定値に基づいて画像から抽出された複数のエッジ線分のうち、2本のエッジ線分の間の中心線を特定する(ステップ301)。中心線に関して特定のエッジ線分と線対称となる位置において、エッジ線分が抽出されていない場合、コンピュータは、第1設定値よりもエッジが検出されやすい第2設定値に基づいて、その位置におけるエッジ線分抽出を行う(ステップ302)。

目的

本発明は、画像から対称性の高い形状を有する領域を高精度に検出することを目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

エッジを検出するための第1設定値に基づいて画像から抽出された複数のエッジ線分のうち、2本のエッジ線分の間の中心線を特定し、前記中心線に関して前記複数のエッジ線分のうち特定のエッジ線分と線対称となる位置において、エッジ線分が抽出されていない場合、前記第1設定値よりもエッジが検出されやすい第2設定値に基づいて、前記線対称となる位置におけるエッジ線分抽出を行う、処理をコンピュータに実行させる画像処理プログラム

請求項2

前記コンピュータは、前記特定のエッジ線分と前記中心線との距離が所定距離よりも小さい場合、前記第2設定値に基づいて前記線対称となる位置における前記エッジ線分抽出を行うことを特徴とする付記1記載の画像処理プログラム。

請求項3

前記コンピュータは、前記特定のエッジ線分の位置と、前記線対称となる位置との間の領域において、画素値対称性が存在する場合、前記第2設定値に基づいて前記線対称となる位置における前記エッジ線分抽出を行うことを特徴とする付記1又は2記載の画像処理プログラム。

請求項4

前記コンピュータは、前記2本のエッジ線分の位置の対称性を示す第1対称性スコア、又は前記2本のエッジ線分の間の領域における画素値の対称性を示す第2対称性スコアのうち、少なくとも一方に基づいて、前記2本のエッジ線分の対称性を示す第3対称性スコアを求め、前記第3対称性スコアが所定の条件を満たす場合、前記2本のエッジ線分の間の中心線を特定することを特徴とする付記1乃至3のいずれか1項に記載の画像処理プログラム。

請求項5

前記コンピュータは、前記複数のエッジ線分のうち、前記2本のエッジ線分を含む第1エッジ線分ペアとは異なる第2エッジ線分ペアに含まれる2本のエッジ線分の間の中心線を特定し、前記第1エッジ線分ペアと前記第2エッジ線分ペアとが所定の位置関係を有する場合、前記第1エッジ線分ペアの前記中心線と前記第2エッジ線分ペアの前記中心線とを統合し、統合後の中心線に関して前記特定のエッジ線分と線対称となる位置を求めることを特徴とする付記1乃至4のいずれか1項に記載の画像処理プログラム。

請求項6

前記コンピュータは、前記第2設定値に基づいて前記線対称となる位置から抽出したエッジ線分を用いて、前記画像内において物体を表す物体領域の水平方向の幅を計算し、前記水平方向の幅を用いて前記画像内における前記物体領域の下端位置を推定し、前記下端位置と前記画像を撮影した撮像装置設置情報とに基づいて、前記撮像装置と前記物体との距離を計算することを特徴とする付記1乃至5のいずれか1項に記載の画像処理プログラム。

請求項7

エッジを検出するための第1設定値に基づいて画像から抽出された複数のエッジ線分のうち、2本のエッジ線分の間の中心線を特定する特定部と、前記中心線に関して前記複数のエッジ線分のうち特定のエッジ線分と線対称となる位置において、エッジ線分が抽出されていない場合、前記第1設定値よりもエッジが検出されやすい第2設定値に基づいて、前記線対称となる位置におけるエッジ線分抽出を行う抽出部と、を備えることを特徴とする画像処理装置

請求項8

コンピュータが、エッジを検出するための第1設定値に基づいて画像から抽出された複数のエッジ線分のうち、2本のエッジ線分の間の中心線を特定し、前記中心線に関して前記複数のエッジ線分のうち特定のエッジ線分と線対称となる位置において、エッジ線分が抽出されていない場合、前記第1設定値よりもエッジが検出されやすい第2設定値に基づいて、前記線対称となる位置におけるエッジ線分抽出を行う、ことを特徴とする画像処理方法

技術分野

0001

本発明は、画像処理プログラム画像処理装置、及び画像処理方法に関する。

背景技術

0002

動体に搭載された撮像装置により撮影した映像から、静止している物体を検出する技術が知られている。車両に搭載された撮像装置により撮影したカラー画像からエッジ画像を生成し、エッジ画像に含まれる画像の対称性に基づいて物体幅を検出する技術も知られている(例えば、特許文献1を参照)。

先行技術

0003

特開2013−228995号公報

発明が解決しようとする課題

0004

特許文献1の物体検出装置によれば、エッジ画像に含まれる物体の輪郭線の特徴から、少ない演算量で物体の位置と大きさを検出することができる。しかし、エッジ画像において輪郭線の一部が欠落している場合、物体が正しく検出されないことがある。

0005

なお、かかる問題は、画像から物体の領域を検出する場合に限らず、画像から対称性の高い形状を有する他の領域を検出する場合においても生ずるものである。

0006

1つの側面において、本発明は、画像から対称性の高い形状を有する領域を高精度に検出することを目的とする。

課題を解決するための手段

0007

1つの案では、画像処理プログラムは、以下の処理をコンピュータに実行させる。
(1)コンピュータは、エッジを検出するための第1設定値に基づいて画像から抽出された複数のエッジ線分のうち、2本のエッジ線分の間の中心線を特定する。
(2)コンピュータは、中心線に関して特定のエッジ線分と線対称となる位置において、エッジ線分が抽出されていない場合、第1設定値よりもエッジが検出されやすい第2設定値に基づいて、その位置におけるエッジ線分抽出を行う。

発明の効果

0008

1つの実施形態によれば、画像から対称性の高い形状を有する領域を高精度に検出することができる。

図面の簡単な説明

0009

物体の輪郭線が欠落した画像を示す図である。
画像処理装置の機能的構成図である。
画像処理フローチャートである。
対称性の高い物体の形状を示す図である。
対称性に基づく輪郭線抽出処理を示す図である。
画像処理装置の具体例を示す機能的構成図である。
画像処理の具体例を示すフローチャートである。
輪郭線抽出処理のフローチャートである。
エッジ点Aに隣接する3画素を示す図である。
エッジ点Bと接続可能なエッジ点Cを示す図である。
対称性判定処理のフローチャートである。
対称性スコア計算処理のフローチャートである。
形状対称性スコア計算処理のフローチャートである。
画素値対称性スコア計算処理のフローチャートである。
中心線計算処理のフローチャートである。
中心線統合処理を示す図である。
対称性に基づく輪郭線抽出処理のフローチャートである。
物体検出処理のフローチャートである。
距離推定処理のフローチャートである。
人間の輪郭線を示す図である。
情報処理装置の構成図である。

実施例

0010

以下、図面を参照しながら、実施形態を詳細に説明する。
画像から抽出されるエッジ線分は、画像から検出されたエッジ点を接続することで生成されるエッジ点連結部分に対応し、始点及び終点を有する有限長の曲線部分又は直線部分である。エッジ線分は物体の輪郭線を表すことが多いため、以下では、エッジ線分を輪郭線と記すことがある。

0011

図1は、物体の輪郭線が欠落した画像の例を示している。画像101は、車両102を正面から撮影した正面画像又は背面から撮影した背面画像に対応する。画像101内の車両102の右側の領域103において、垂直方向輪郭線付近輝度変化が小さいため、輪郭線の特徴がノイズとして埋もれてしまう。このため、特許文献1の技術では、領域103から輪郭線が抽出されず、車両102の形状の対称性が低くなるため、車両102を正しく検出することが困難になる。

0012

このように、輪郭線付近の輝度変化が小さい場合に輪郭線を抽出するために、輝度変化の参照範囲を拡大する方法、輝度変化に対する閾値緩和する方法等が考えられる。しかし、これらの方法では、輪郭線の特徴とともに様々なノイズも抽出されるため、誤検出の発生等の性能低下を招くことになる。

0013

図2は、実施形態の画像処理装置の機能的構成例を示している。画像処理装置201は、特定部211及び抽出部212を含む。特定部211は、画像から抽出された2本のエッジ線分の間の中心線を特定し、抽出部212は、特定された中心線に基づいて、画像内のエッジ線分が抽出されていない位置からエッジ線分を抽出する。

0014

図3は、図2の画像処理装置201が行う画像処理の例を示すフローチャートである。まず、特定部211は、エッジを検出するための第1設定値に基づいて画像から抽出された複数のエッジ線分のうち、2本のエッジ線分の間の中心線を特定する(ステップ301)。次に、抽出部212は、中心線に関して特定のエッジ線分と線対称となる位置において、エッジ線分が抽出されていない場合、第1設定値よりもエッジが検出されやすい第2設定値に基づいて、その位置におけるエッジ線分抽出を行う(ステップ302)。

0015

図2の画像処理装置201によれば、画像から対称性の高い形状を有する領域を高精度に検出することができる。

0016

図4は、対称性の高い物体の形状の例を示している。図1の車両102の形状は、中心線401に関して線対称であり、左側の輪郭線411と右側の輪郭線412は、左右対称な位置に現れる。このような立体物の形状に関する知識を利用することで、形状の対称性に基づいて輪郭線の位置を推定することができる。そして、推定した位置を含む周辺領域の画像特徴を強調することで、ノイズに埋もれている輪郭線をノイズから分離することが可能になる。

0017

図5は、対称性に基づく輪郭線抽出処理の例を示している。まず、特定部211は、画像101から抽出された輪郭線411、輪郭線501、及び輪郭線502について、画素値及び位置の対称性を評価し、左右対称な輪郭線ペアとして、輪郭線501及び輪郭線502を抽出する。そして、特定部211は、輪郭線501と輪郭線502の水平方向における中心を、中心線401として特定する。中心線401は、車両102の鉛直方向の中心線に対応する。

0018

次に、抽出部212は、輪郭線ペアとして抽出されなかった輪郭線411について、中心線401に関して輪郭線411と線対称となる位置を、左右対称な輪郭線が存在する輪郭線位置として推定する。そして、抽出部212は、推定した輪郭線位置を含む領域511においてエッジを検出するための設定値を変更し、変更後の設定値に基づいて領域511から新たに検出されたエッジから、輪郭線を抽出する。例えば、エッジ強度に対する閾値を設定値として用いた場合、領域511内における閾値を小さくすることで、エッジが検出されやすくなり、輪郭線が抽出される可能性が高くなる。

0019

このような対称性に基づく輪郭線抽出処理によれば、画像に写った物体の輪郭線付近の輝度変化が小さく、輪郭線の特徴がノイズとして埋もれるような場合であっても、輪郭線を抽出することが可能になり、物体を正しく検出することができる。

0020

図6は、図2の画像処理装置201の具体例を示している。図6の画像処理装置201は、特定部211、抽出部212、映像入力部611、特徴点抽出部612、輪郭線抽出部613、物体検出部614、出力部615、及び記憶部616を含む。特定部211は、対称性判定部621及び中心線計算部622を含む。

0021

例えば、駐車場で車両が発車する直前に、接触する可能性のある周囲の車両、歩行者等の静止物体車載カメラの画像から検出し、物体の存在をドライバ通知する安全支援ステムにおいて、画像処理装置201を用いることができる。この場合、撮像装置601は、車両に搭載された1台の単眼カメラであってもよい。車両の正面と背面のように、複数箇所に撮像装置601を設置することも可能である。

0022

画像処理装置201は、例えば、ハードウェア回路として実装することができる。この場合、画像処理装置201の各構成要素を個別の回路として実装してもよく、1つの集積回路として実装してもよい。

0023

図7は、図6の画像処理装置201が行う画像処理の具体例を示すフローチャートである。まず、映像入力部611は、撮像装置601が撮影した映像を取得し、その映像に含まれる各時刻の画像631を記憶部616に格納する(ステップ701)。

0024

撮像装置601が出力する映像がアナログ映像である場合、映像入力部611は、各時刻のアナログ画像デジタル画像に変換し、変換後のデジタル画像を画像631として格納する。撮像装置601が出力する映像がカラー映像である場合、映像入力部611は、各時刻のカラー画像をモノクロ画像に変換し、変換後のモノクロ画像を画像631として格納してもよい。複数の撮像装置601が設置されている場合、それぞれの撮像装置601が撮影した映像から画像631が取得される。

0025

次に、特徴点抽出部612は、画像631からエッジを検出し、検出したエッジから特徴点画像632を生成して、記憶部616に格納する(ステップ702)。このとき、特徴点抽出部612は、例えば、Sobelフィルタのような微分オペレータを画像631に作用させて、微分処理によって各画素のエッジ強度を求める。次に、特徴点抽出部612は、求めたエッジ強度と閾値とを比較し、閾値以上のエッジ強度を有する領域をエッジとして検出する。

0026

そして、特徴点抽出部612は、検出したエッジの細線化処理を行ってエッジ点を決定し、決定したエッジ点を含む特徴点画像632を生成する。細線化処理では、例えば、各画素のエッジ強度が水平方向に隣接する2画素のエッジ強度と比較され、中央のエッジ強度がピーク値であれば、その画素がエッジ点に決定される。

0027

次に、輪郭線抽出部613は、特徴点画像632から輪郭線を抽出し、抽出した輪郭線を表す輪郭線情報633を記憶部616に格納する(ステップ703)。特定部211の対称性判定部621は、抽出された輪郭線同士の水平方向における対称性を判定して、対称性を有する2本の輪郭線の組み合わせを決定し、輪郭線ペア634として記憶部616に格納する(ステップ704)。

0028

例えば、対称性判定部621は、2本の輪郭線の位置の対称性を示す形状対称性スコア、又は2本の輪郭線の間の領域における画素値の対称性を示す画素値対称性スコアのうち、少なくとも一方に基づいて、それらの輪郭線の対称性を示す対称性スコアを求める。そして、対称性判定部621は、2本の輪郭線の対称性スコアが所定の条件を満たす場合、それらの輪郭線が対称性を有すると判定する。

0029

次に、中心線計算部622は、輪郭線ペア634に含まれる2本の輪郭線の間の中心線を特定し、特定した中心線を表す中心線情報635を記憶部616に格納する(ステップ705)。例えば、中心線計算部622は、ある輪郭線ペアに含まれる2本の輪郭線と、別の輪郭線ペアに含まれる2本の輪郭線とが、所定の位置関係を有する場合、それらの輪郭線ペアからそれぞれ特定した2本の中心線を統合する。そして、中心線計算部622は、統合後の中心線を表す中心線情報635を生成する。

0030

次に、抽出部212は、輪郭線ペア634に含まれない輪郭線について、中心線に関して線対称となる輪郭線を、画像631から抽出し、それらの輪郭線の組み合わせを輪郭線ペア634に追加する(ステップ706)。例えば、抽出部212は、輪郭線ペア634に含まれない輪郭線と中心線との距離が所定距離よりも小さい場合、線対称となる輪郭線が存在すると推定する。また、抽出部212は、輪郭線ペア634に含まれない輪郭線の位置と、中心線に関して線対称となる位置との間の領域において、画素値の対称性が存在する場合、線対称となる輪郭線が存在すると推定する。

0031

そして、抽出部212は、線対称となる位置を含む領域から、ステップ702で用いたエッジ強度の閾値よりも小さな閾値を用いてエッジを検出し、輪郭線を抽出する。図5の輪郭線411は、輪郭線ペア634に含まれない輪郭線に対応し、領域511は、線対称となる位置を含む領域に対応する。

0032

次に、物体検出部614は、輪郭線情報633を用いて、画像631から物体を表す物体領域を検出し、検出された物体領域を含む検出結果636を記憶部616に格納し、出力部615は、検出結果636を出力する(ステップ707)。

0033

図8は、図7のステップ703における輪郭線抽出処理の例を示すフローチャートである。この輪郭線抽出処理では、特徴点画像632の下端から上端へ向かって、各ラインに含まれる各エッジ点について接続判定を行い、エッジ点同士を接続することで、輪郭線が生成される。そして、各輪郭線に含まれる複数のエッジ点に対して、同じ輪郭線ID(輪郭線識別情報)が付与される。

0034

まず、輪郭線抽出部613は、特徴点画像632内の1つのエッジ点を、エッジ点Aとして選択する(ステップ801)。次に、輪郭線抽出部613は、エッジ点Aを含むラインよりも1本上のラインに含まれ、エッジ点Aに隣接する3画素に、エッジ点が存在するか否かをチェックする(ステップ802)。

0035

図9は、エッジ点Aに隣接する3画素の例を示している。エッジ点Aの左上の画素901、エッジ点Aの上の画素902、及びエッジ点Aの右上の画素903が、エッジ点Aに隣接する3画素に対応する。

0036

3画素のいずれかにエッジ点が存在する場合(ステップ802,YES)、輪郭線抽出部613は、3画素のうち複数の画素にエッジ点が存在するか否かをチェックする(ステップ803)。複数の画素にエッジ点が存在する場合(ステップ803,YES)、輪郭線抽出部613は、それらのエッジ点のうち最適なエッジ点を、エッジ点Bとして選択する(ステップ804)。最適なエッジ点としては、例えば、エッジ点Aのエッジ強度により近いエッジ強度を有するエッジ点を選択してもよく、エッジ点Aを含む輪郭線の傾きにより近い傾きでエッジ点Aと接続可能なエッジ点を選択してもよい。

0037

次に、輪郭線抽出部613は、エッジ点Bが輪郭線として登録済みか否かをチェックする(ステップ805)。エッジ点Bに対して輪郭線IDが既に付与されている場合、エッジ点Bは登録済みと判定され、エッジ点Bに対して輪郭線IDが付与されていない場合、エッジ点Bは未登録と判定される。

0038

エッジ点Bが未登録である場合(ステップ805,NO)、輪郭線抽出部613は、エッジ点Aと同じラインに含まれ、エッジ点Bと接続可能な他のエッジ点Cが存在するか否かをチェックする(ステップ806)。

0039

図10は、エッジ点Bと接続可能なエッジ点Cの例を示している。図10(a)のエッジ点Bは、エッジ点Aの上に隣接している。エッジ点Aの左に隣接するエッジ点Cは、エッジ点Bにも隣接しているため、エッジ点Bと接続可能である。また、図10(b)のエッジ点Bは、エッジ点Aの左上に隣接している。エッジ点Aの左側にあるエッジ点Cは、エッジ点Bに隣接しているため、エッジ点Bと接続可能である。

0040

エッジ点Cが存在する場合(ステップ806,YES)、輪郭線抽出部613は、エッジ点Aとエッジ点Cとを比較して、いずれが最適なエッジ点であるかを判定する(ステップ807)。最適なエッジ点としては、例えば、エッジ点Bのエッジ強度により近いエッジ強度を有するエッジ点を選択してもよく、エッジ点Bを含む輪郭線の傾きにより近い傾きでエッジ点Bと接続可能なエッジ点を選択してもよい。

0041

エッジ点Cを最適なエッジ点と判定した場合(ステップ807,YES)、輪郭線抽出部613は、エッジ点B及びエッジ点Cに対して同じ輪郭線IDを付与することで、エッジ点Bとエッジ点Cとを接続する(ステップ808)。エッジ点Cが登録済みである場合、エッジ点Cの輪郭線IDがエッジ点Bに対して付与され、エッジ点Cが未登録である場合、新たな輪郭線IDがエッジ点B及びエッジ点Cに対して付与される。

0042

次に、輪郭線抽出部613は、特徴点画像632内のすべてのエッジ点を処理したか否かをチェックする(ステップ810)。未処理のエッジ点が残っている場合(ステップ810,NO)、輪郭線抽出部613は、次のエッジ点について、ステップ801以降の処理を繰り返す。

0043

一方、エッジ点Aを最適なエッジ点と判定した場合(ステップ807,NO)、輪郭線抽出部613は、エッジ点A及びエッジ点Bに対して同じ輪郭線IDを付与することで、エッジ点Aとエッジ点Bとを接続する(ステップ809)。エッジ点Aが登録済みである場合、エッジ点Aの輪郭線IDがエッジ点Bに対して付与され、エッジ点Aが未登録である場合、新たな輪郭線IDがエッジ点A及びエッジ点Bに対して付与される。そして、輪郭線抽出部613は、ステップ810以降の処理を行う。

0044

3画素のいずれにもエッジ点が存在しない場合(ステップ802,NO)、又はエッジ点Bが登録済みである場合(ステップ805,YES)、輪郭線抽出部613は、ステップ810以降の処理を行う。1画素にのみエッジ点が存在する場合(ステップ803,NO)、輪郭線抽出部613は、そのエッジ点をエッジ点Bとして選択して、ステップ805以降の処理を行う。エッジ点Cが存在しない場合(ステップ806,NO)、輪郭線抽出部613は、ステップ809以降の処理を行う。

0045

そして、すべてのエッジ点を処理した場合(ステップ810,YES)、輪郭線抽出部613は、輪郭線ID毎にエッジ点の情報を含む輪郭線情報633を生成する(ステップ811)。このとき、輪郭線抽出部613は、複数のエッジ点が接続されたエッジ線分のうち、所定個数以上のエッジ点が接続されたエッジ線分を、輪郭線として抽出してもよい。

0046

輪郭線情報633は、例えば、輪郭線ID、輪郭線の長さ(エッジ点の個数)、各エッジ点の位置等を含む。特徴点画像632の水平方向及び垂直方向をそれぞれx軸及びy軸とすると、エッジ点の位置は、x座標及びy座標により表される。

0047

図11は、図7のステップ704における対称性判定処理の例を示すフローチャートである。まず、対称性判定部621は、輪郭線情報633に含まれる2本の輪郭線の対称性を示す対称性スコアを計算する(ステップ1101)。2本の輪郭線の対称性が高いほど、対称性スコアは小さくなり、2本の輪郭線の対称性が低いほど、対称性スコアは大きくなる。

0048

次に、対称性判定部621は、対称性スコアと閾値とを比較し(ステップ1102)。対称性スコアが閾値以下である場合(ステップ1102,YES)、それらの輪郭線を輪郭線ペア634として記憶部616に格納する(ステップ1103)。輪郭線ペア634は、例えば、2本の輪郭線の輪郭線IDを含む。そして、対称性判定部621は、輪郭線情報633に含まれるすべての輪郭線を処理したか否かをチェックする(ステップ1104)。未処理の輪郭線が残っている場合(ステップ1104,NO)、対称性判定部621は、ステップ1101以降の処理を繰り返す。

0049

対称性スコアが閾値よりも大きい場合(ステップ1102,NO)、対称性判定部621は、ステップ1104以降の処理を行う。そして、すべての輪郭線を処理した場合(ステップ1104,YES)、対称性判定部621は、処理を終了する。

0050

図12は、図11のステップ1101における対称性スコア計算処理の例を示すフローチャートである。まず、対称性判定部621は、y軸方向における2本の輪郭線の重複位置を計算する(ステップ1201)。例えば、一方の輪郭線に含まれる1つのエッジ点のy座標が、他方の輪郭線に含まれる1つのエッジ点のy座標と一致する場合、そのy座標が重複位置に決定される。

0051

次に、対称性判定部621は、それらの輪郭線が重複するか否かをチェックする(ステップ1202)。例えば、対称性判定部621は、各輪郭線に含まれるエッジ点の個数に対する重複位置の個数の割合を表す重複率を計算する。そして、対称性判定部621は、2本の輪郭線の重複率が所定値以上である場合、2本の輪郭線は重複すると判定し、いずれか一方の重複率が所定値未満である場合、2本の輪郭線は重複しないと判定する。

0052

2本の輪郭線が重複する場合(ステップ1202,YES)、対称性判定部621は、それらの輪郭線の位置の対称性を示す形状対称性スコアを計算する(ステップ1203)。次に、対称性判定部621は、それらの輪郭線の間の領域における画素値の対称性を示す画素値対称性スコアを計算する(ステップ1204)。そして、対称性判定部621は、調整係数w1及び調整係数w2を用いて、次式により、対称性スコアを計算する(ステップ1205)。
対称性スコア=w1×形状対称性スコア+w2×画素値対称性スコア (1)

0053

式(1)のw1及びw2は、正の実数である。式(1)によれば、形状対称性スコアが大きいほど、対称性スコアも大きくなり、画素値対称性スコアが大きいほど、対称性スコアも大きくなる。

0054

図13は、図12のステップ1203における形状対称性スコア計算処理の例を示すフローチャートである。まず、対称性判定部621は、2本の輪郭線の重複位置のうち1つのy座標を選択する(ステップ1301)。次に、対称性判定部621は、そのy座標における一方の輪郭線のエッジ点のx座標と、他方の輪郭線のエッジ点のx座標とから、それらのエッジ点の中点位置を計算する(ステップ1302)。そして、対称性判定部621は、2本の輪郭線の重複位置を示す、すべてのy座標を選択したか否かをチェックする(ステップ1303)。未選択のy座標が残っている場合(ステップ1303,NO)、対称性判定部621は、ステップ1301以降の処理を繰り返す。

0055

すべてのy座標を選択した場合(ステップ1303,YES)、対称性判定部621は、計算した複数の中点位置の直線性に基づいて、形状対称性スコアを計算する(ステップ1304)。例えば、対称性判定部621は、複数の中点位置を用いて近似直線を計算し、近似直線と各中点位置との距離を計算し、近似直線から複数の中点位置までの距離の平均値を、形状対称性スコアとして用いることができる。

0056

形状対称性スコアが小さいほど、中点位置の直線性が高くなるため、2本の輪郭線の位置の対称性が高くなる。一方、形状対称性スコアが大きいほど、中点位置の直線性が低くなるため、2本の輪郭線の位置の対称性が低くなる。

0057

図14は、図12のステップ1204における画素値対称性スコア計算処理の例を示すフローチャートである。ステップ1401及びステップ1402の処理は、図13のステップ1301及びステップ1302の処理と同様である。

0058

対称性判定部621は、選択したy座標が示す水平方向のライン上で、中点位置を境界として、左側の輪郭線から中点位置までの左側部分と、右側の輪郭線から中点位置までの右側部分との間で、画素値の差分積算値を計算する(ステップ1403)。

0059

例えば、画像631において、選択したy座標が示す水平方向のライン上の左側部分に含まれるi番目(iは2以上の整数)の画素piの画素値をpviとする。また、中点位置に関して画素piと対称な位置に存在する右側部分の画素qiの画素値をqviとする。このとき、左側部分のすべての画素piについて、pviとqviの差分の絶対値|pvi−qvi|を積算することで、画素値の差分積算値が計算される。画素値としては、例えば、輝度値が用いられる。

0060

次に、対称性判定部621は、左側部分のすべての画素について画素値の差分を計算したか否かをチェックする(ステップ1404)。積算していない画素が残っている場合(ステップ1404,NO)、対称性判定部621は、ステップ1403の処理を繰り返す。

0061

左側部分のすべての画素について画素値の差分を計算した場合(ステップ1404,YES)、対称性判定部621は、2本の輪郭線の重複位置を示す、すべてのy座標を選択したか否かをチェックする(ステップ1405)。未選択のy座標が残っている場合(ステップ1405,NO)、対称性判定部621は、ステップ1401以降の処理を繰り返す。

0062

すべてのy座標を選択した場合(ステップ1405,YES)、対称性判定部621は、計算した複数の差分積算値に基づいて、画素値対称性スコアを計算する(ステップ1406)。例えば、対称性判定部621は、複数の差分積算値の平均値を、画素値対称性スコアとして用いることができる。

0063

画素値対称性スコアが小さいほど、中点位置の左右における画素値の相違度が小さくなるため、2本の輪郭線の間の領域における画素値の対称性が高くなる。一方、画素値対称性スコアが大きいほど、中点位置の左右における画素値の相違度が大きくなるため、2本の輪郭線の間の領域における画素値の対称性が低くなる。

0064

なお、撮像装置601が出力する映像がカラー映像である場合、映像入力部611は、各時刻のカラー画像を記憶部616に格納することもできる。この場合、対称性判定部621は、カラー画像のRGB値色差信号等を画素値として用いて、画素値対称性スコアを計算してもよい。

0065

図11の対称性判定処理によれば、輪郭線情報633に含まれる輪郭線の中から、対称性の高い物体の輪郭線を特定して、左右対称となる2本の輪郭線の組み合わせを生成することができる。

0066

図12のステップ1205では、形状対称性スコアと画素値対称性スコアの重み付き加算により対称性スコアを計算しているが、形状対称性スコア又は画素値対称性スコアのいずれか一方を対称性スコアとして用いてもよい。

0067

図15は、図7のステップ705における中心線計算処理の例を示すフローチャートである。まず、中心線計算部622は、輪郭線ペア634に含まれる2本の輪郭線から、中心線候補を計算する(ステップ1501)。例えば、中心線計算部622は、図13のステップ1304と同様にして、2本の輪郭線の中点位置を用いて近似直線を計算し、その近似直線を中心線候補として用いることができる。2本の輪郭線の組み合わせが複数存在する場合は、複数の中心線候補が生成される。

0068

次に、中心線計算部622は、複数の中心線候補が存在するか否かをチェックする(ステップ1502)。複数の中心線候補が存在する場合(ステップ1502,YES)、中心線計算部622は、2本の中心線候補を選択し、それらの中心線候補が統合可能か否かを判定する(ステップ1503)。

0069

例えば、特徴点画像632において、一方の中心線候補の計算に用いた輪郭線ペアのx座標の範囲が、他方の中心線候補の計算に用いた輪郭線ペアのx座標の範囲に含まれる場合、2本の中心線候補は統合可能と判定される。輪郭線ペアのx座標の範囲は、2本の輪郭線に含まれるエッジ点のx座標の最小値から最大値までの間の区間に対応する。

0070

2本の中心線候補が統合可能である場合(ステップ1503,YES)、中心線計算部622は、それらの中心線候補を統合して、1本の中心線候補を生成する(ステップ1504)。統合後の中心線候補は、2本の中心線候補のうち、x座標の範囲が広い方の輪郭線ペアから計算された中心線候補であってもよく、より長い輪郭線ペアから計算された中心線候補であってもよい。

0071

図16は、中心線統合処理の例を示している。この例では、輪郭線1601及び輪郭線1602の輪郭線ペアから中心線候補1611が計算され、輪郭線1603及び輪郭線1604の輪郭線ペアから中心線候補1612が計算される。この場合、輪郭線1601及び輪郭線1602のx座標の範囲1621は、輪郭線1603及び輪郭線1604のx座標の範囲1622に含まれる。そこで、中心線候補1611と中心線候補1612が統合され、中心線候補1611が削除されて、中心線候補1612が残される。

0072

次に、中心線計算部622は、すべての中心線候補を処理したか否かをチェックする(ステップ1505)。未処理の中心線候補が残っている場合(ステップ1505,NO)、中心線計算部622は、ステップ1503以降の処理を繰り返す。2本の中心線候補が統合可能ではない場合(ステップ1503,NO)、中心線計算部622は、ステップ1505以降の処理を行う。

0073

そして、すべての中心線候補を処理した場合(ステップ1505,YES)、中心線計算部622は、削除されずに残った1本以上の中心線候補を中心線に決定し、決定した中心線を表す中心線情報635を生成する(ステップ1506)。一方、1本の中心線候補のみが存在する場合(ステップ1502,NO)、中心線計算部622は、その中心線候補を中心線に決定し、決定した中心線を表す中心線情報635を生成する(ステップ1506)。

0074

図15の中心線計算処理によれば、輪郭線ペア634から計算される複数の中心線候補を統合して、物体の形状を検出するために最適な中心線を特定することができる。

0075

図17は、図7のステップ706における輪郭線抽出処理の例を示すフローチャートである。まず、抽出部212は、中心線情報635を参照して、特徴点画像632内に中心線が存在するか否かをチェックする(ステップ1701)。

0076

中心線が存在する場合(ステップ1701,YES)、抽出部212は、輪郭線情報633に含まれる輪郭線のうち、輪郭線ペア634に含まれない1本の輪郭線を選択する(ステップ1702)。そして、抽出部212は、選択した輪郭線と、中心線情報635に含まれる1本の中心線との距離を、所定距離と比較する(ステップ1703)。例えば、輪郭線の重心と中心線との間のx軸方向における距離が、所定距離と比較される。

0077

輪郭線と中心線との距離が所定距離よりも小さい場合(ステップ1703,YES)、抽出部212は、中心線を境界とする画素値対称性スコアを計算し、画素値対称性スコアと閾値とを比較する(ステップ1704)。このとき、抽出部212は、輪郭線の位置と、中心線に関してその輪郭線と線対称となる位置との間の領域において、図14の画素値対称性スコア計算処理と同様にして、画素値対称性スコアを計算する。この場合、中点位置として中心線上の点が用いられる。画素値対称性スコアが閾値以下である場合、画素値の対称性が存在すると判定され、画素値対称性スコアが閾値よりも大きい場合、画素値の対称性が存在しないと判定される。

0078

輪郭線と中心線との距離が所定距離よりも小さい場合、その輪郭線は中心線の計算に用いた輪郭線ペアを含む物体の輪郭線である可能性が高いと考えられる。さらに、画素値の対称性が存在する場合、その輪郭線と線対称となる位置に、その物体の未抽出の輪郭線が存在する可能性が高いと考えられる。

0079

そこで、画素値対称性スコアが閾値以下である場合(ステップ1704,YES)、抽出部212は、エッジ強度の閾値をより小さな閾値に変更し、特徴点画像632内の線対称となる位置を含む領域から、輪郭線を抽出する(ステップ1705)。線対称となる位置を含む領域は、特徴点画像632全体ではなく、特徴点画像632内の所定サイズの領域である。抽出部212は、図7のステップ702と同様にして、変更後の閾値を用いてその領域からエッジを検出し、ステップ703と同様にして、検出したエッジから輪郭線を抽出する。

0080

次に、抽出部212は、輪郭線が抽出されたか否かをチェックする(ステップ1706)。輪郭線が抽出された場合(ステップ1706,YES)、抽出部212は、選択した輪郭線と抽出した輪郭線の位置の対称性を示す形状対称性スコアを計算し、形状対称性スコアと閾値とを比較する(ステップ1707)。

0081

このとき、抽出部212は、中点位置として中心線上の点を用いて、図13の形状対称性スコア計算処理と同様にして、形状対称性スコアを計算する。形状対称性スコアが閾値以下である場合、位置の対称性が存在すると判定され、形状対称性スコアが閾値よりも大きい場合、位置の対称性が存在しないと判定される。

0082

形状対称性スコアが閾値以下である場合(ステップ1707,YES)、抽出部212は、選択した輪郭線及び抽出した輪郭線の輪郭線IDを、1つの輪郭線ペアとして、輪郭線ペア634に追加する(ステップ1708)。そして、抽出部212は、抽出した輪郭線のエッジ点の情報を、輪郭線情報633に追加する。

0083

次に、抽出部212は、中心線情報635に含まれるすべての中心線を処理したか否かをチェックする(ステップ1709)。未処理の中心線が残っている場合(ステップ1709,NO)、抽出部212は、ステップ1703以降の処理を繰り返す。

0084

輪郭線と中心線との距離が所定距離以上である場合(ステップ1703,NO)、又は画素値対称性スコアが閾値よりも大きい場合(ステップ1704,NO)、抽出部212は、ステップ1709以降の処理を行う。輪郭線が抽出されなかった場合(ステップ1706,NO)、又は形状対称性スコアが閾値よりも大きい場合(ステップ1707,NO)、抽出部212は、ステップ1709以降の処理を行う。

0085

すべての中心線を処理した場合(ステップ1709,YES)、輪郭線ペア634に含まれないすべての輪郭線を選択したか否かをチェックする(ステップ1710)。未選択の輪郭線が残っている場合(ステップ1710,NO)、抽出部212は、ステップ1702以降の処理を繰り返す。

0086

そして、輪郭線ペア634に含まれないすべての輪郭線を選択した場合(ステップ1710,YES)、抽出部212は、処理を終了する。また、中心線情報635が生成されておらず、中心線が存在しない場合(ステップ1701,NO)、抽出部212は、処理を終了する。

0087

図17の輪郭線抽出処理によれば、一部の輪郭線がノイズに埋もれてしまった場合でも、輪郭線位置を推定してエッジ強度の閾値を緩和することで、ノイズに埋もれている輪郭線を抽出することができる。

0088

図18は、図7のステップ707における物体検出処理の例を示すフローチャートである。まず、物体検出部614は、輪郭線ペア634に含まれる2本の輪郭線を同じ物体の輪郭線として統合するクラスタリングを行う(ステップ1801)。そして、物体検出部614は、輪郭線情報633に含まれるエッジ点のx座標及びy座標から、2本の輪郭線に外接する矩形を求め、求めた矩形をクラスタ領域に決定する。

0089

次に、物体検出部614は、近接して密集している複数の輪郭線を同じ物体の輪郭線として統合するクラスタリングを行う(ステップ1802)。例えば、物体検出部614は、輪郭線情報633に含まれるエッジ点のx座標及びy座標から、隣接する2本の輪郭線の距離を計算し、所定距離よりも近い距離に存在する輪郭線同士を、同じ物体の輪郭線に決定する。そして、物体検出部614は、同じ物体の複数の輪郭線に外接する矩形を求め、求めた矩形をクラスタ領域に決定する。

0090

次に、物体検出部614は、ステップ1801で求めた輪郭線ペア毎のクラスタ領域と、ステップ1802で求めた近接輪郭線のクラスタ領域とを統合して、物体領域を生成する(ステップ1803)。例えば、物体検出部614は、あるクラスタ領域の一部が別のクラスタ領域と重複する場合、それらのクラスタ領域を同じ物体の領域とみなして、2つのクラスタ領域に外接する矩形を求め、求めた矩形を新たなクラスタ領域に決定する。物体検出部614は、このような統合処理をすべての重複するクラスタ領域に対して繰り返し、最終的に生成された各クラスタ領域を、物体を表すクラスタ領域に決定する。

0091

そして、物体検出部614は、画像631内におけるクラスタ領域の位置に基づいて、3次元空間における撮像装置601と物体との距離を推定する(ステップ1804)。

0092

図19は、図18のステップ1804における距離推定処理の例を示すフローチャートである。この距離推定処理では、撮像装置601が地面に対して静止していると仮定して、画像631内における物体の位置が推定され、推定した位置を用いて、撮像装置601と物体との距離が計算される。このとき、撮像装置601の設置情報から、撮像装置601の地面に対する相対位置及び角度が求められ、相対位置及び角度を用いた幾何学的計算により、画像631内における位置が3次元空間内における位置に変換される。

0093

まず、物体検出部614は、求めたクラスタ領域に物体の下端が含まれていない場合を想定し、ステップ1901及びステップ1902において、物体全体を含む物体領域の下端位置を推定する。具体的には、物体検出部614は、クラスタ領域の水平方向の幅を計算し(ステップ1901)、計算した幅を用いて、画像631内における物体領域の下端位置を推定する(ステップ1902)。

0094

物体の幅及び高さがあらかじめ分かっている場合、物体検出部614は、画像631内における位置と3次元空間内における位置との幾何学的関係に基づいて、クラスタ領域の幅から物体領域の高さを推定することができる。例えば、物体が車幅W及び車高Hの車両である場合、クラスタ領域の幅、車幅W、及び車高Hから、幾何学的関係に基づいて、車両を表す物体領域の高さが計算される。

0095

そして、物体検出部614は、画像631内において、クラスタ領域の上端から物体領域の高さだけ下方に移動した位置を、物体領域の下端位置として推定する。物体領域の下端位置は地面上に存在すると考えられるため、この下端位置を基準として、撮像装置601と物体との距離を計算することができる。

0096

次に、物体検出部614は、推定した下端位置の妥当性を検証するために、下端位置を含む所定の領域内にエッジが存在するか否かをチェックする(ステップ1903)。所定の領域内にエッジが存在する場合(ステップ1903,YES)、物体検出部614は、推定した下端位置を物体位置に設定する(ステップ1904)。そして、物体検出部614は、クラスタ領域の上端、左端、及び右端と推定した下端位置とによって囲まれる矩形を物体領域に設定し、その物体領域を含む検出結果636を生成する。

0097

次に、物体検出部614は、幾何学的関係に基づいて、画像631内における物体位置を3次元空間内における物体位置に変換し、3次元空間内における撮像装置601と物体位置との距離を計算する(ステップ1905)。

0098

一方、所定の領域内にエッジが存在しない場合(ステップ1903,NO)、物体検出部614は、クラスタ領域の下端位置を物体位置に設定する(ステップ1906)。そして、物体検出部614は、クラスタ領域を物体領域に設定し、その物体領域を含む検出結果636を生成して、ステップ1905の処理を行う。

0099

出力部615は、物体検出部614が生成した検出結果636を用いて、物体領域を強調した画像631を画面上に表示してもよく、撮像装置601と物体との距離を表示してもよい。安全支援システムにおいて、撮像装置601と物体との距離が所定距離よりも小さい場合に、出力部615がドライバに対する警告音声を出力してもよい。

0100

ところで、安全支援システムにおいて検出対象となる対称性の高い物体は、他の車両に限られず、歩行者等の人間である場合もある。この場合、画像から人間の形状を表す輪郭線が抽出される。

0101

図20は、人間の輪郭線の例を示している。画像2001は、人間2002を正面から撮影した正面画像又は背面から撮影した背面画像に対応する。画像2001に対して図7の画像処理を行うことで、人間2002を含む領域2003から、人間2002の形状を表す複数の輪郭線が抽出される。このとき、一部の輪郭線がノイズに埋もれてしまった場合でも、輪郭線位置を推定することで、領域2003を正しく検出することができる。

0102

図2及び図6の画像処理装置201の構成は一例に過ぎず、画像処理装置201の用途又は条件に応じて、一部の構成要素を省略又は変更してもよい。例えば、エッジ検出処理、輪郭線抽出処理、及び物体検出処理が画像処理装置201の外部で行われる場合は、映像入力部611、特徴点抽出部612、輪郭線抽出部613、及び物体検出部614を省略することができる。

0103

図3図7図8図11図15、及び図17図19のフローチャートは一例に過ぎず、画像処理装置201の構成又は条件に応じて一部の処理を省略又は変更してもよい。例えば、図7の画像処理において、エッジ検出処理、輪郭線抽出処理、及び物体検出処理が画像処理装置201の外部で行われる場合は、ステップ701〜ステップ703及びステップ707の処理を省略することができる。

0104

図8のステップ802において、輪郭線抽出部613は、エッジ点Aを含むラインよりも1本上のラインに含まれる3画素だけでなく、その両側の画素を含む、より多くの画素を探索対象として、エッジ点を探索してもよい。図11の対称性判定処理において、2本の輪郭線の対称性が高いほど小さくなる対称性スコアの代わりに、2本の輪郭線の対称性が高いほど大きくなる対称性スコアを用いてもよい。

0105

図12の対称性スコア計算処理において、形状対称性スコアのみを対称性スコアとして用いる場合は、ステップ1204及びステップ1205の処理を省略することができる。また、画素値対称性スコアのみを対称性スコアとして用いる場合は、ステップ1203及びステップ1205の処理を省略することができる。

0106

図17の輪郭線抽出処理において、ステップ1703又はステップ1704のいずれか一方の処理を省略してもよく、さらにステップ1707の処理を省略してもよい。ステップ1705において、抽出部212は、エッジ強度の閾値の代わりに、微分オペレータの係数等の別の設定値を、エッジがより検出されやすい設定値に変更して、輪郭線を抽出してもよい。

0107

図1図4図5、及び図20の画像は一例に過ぎず、画像処理装置201の構成又は条件に応じて、別の画像が撮影されることもある。図9及び図10のエッジ点は一例に過ぎず、撮影された画像に応じて、別のエッジ点が検出されることもある。図16の輪郭線ペア及び中心線候補は一例に過ぎず、撮影された画像に応じて、輪郭線ペア及び中心線候補が生成されることもある。

0108

図2及び図6の画像処理装置201は、ハードウェア回路として実装することもでき、図21に示すような情報処理装置(コンピュータ)を用いて実装することもできる。

0109

図21の情報処理装置は、Central Processing Unit(CPU)2101、メモリ2102、入力装置2103、出力装置2104、補助記憶装置2105、媒体駆動装置2106、及びネットワーク接続装置2107を備える。これらの構成要素はバス2108により互いに接続されている。図6の撮像装置601は、バス2108に接続されていてもよい。

0110

メモリ2102は、例えば、Read Only Memory(ROM)、Random Access Memory(RAM)、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを格納する。メモリ2102は、図6の記憶部616として用いることができる。

0111

CPU2101(プロセッサ)は、例えば、メモリ2102を利用してプログラムを実行することにより、図2及び図6の特定部211及び抽出部212として動作する。CPU2101は、メモリ2102を利用してプログラムを実行することにより、図6の映像入力部611、特徴点抽出部612、輪郭線抽出部613、物体検出部614、対称性判定部621、及び中心線計算部622としても動作する。

0112

入力装置2103は、例えば、キーボードポインティングデバイス等であり、オペレータ又はユーザからの指示や情報の入力に用いられる。出力装置2104は、例えば、表示装置プリンタスピーカ等であり、オペレータ又はユーザへの問い合わせ又は指示、及び処理結果の出力に用いられる。出力装置2104は、図6の出力部615として用いることができる。処理結果は、検出結果636であってもよい。

0113

補助記憶装置2105は、例えば、磁気ディスク装置光ディスク装置光磁気ディスク装置テープ装置等である。補助記憶装置2105は、ハードディスクドライブ又はフラッシュメモリであってもよい。補助記憶装置2105は、図6の記憶部616として用いることができる。情報処理装置は、補助記憶装置2105にプログラム及びデータを格納しておき、それらをメモリ2102にロードして使用することができる。

0114

媒体駆動装置2106は、可搬型記録媒体2109を駆動し、その記録内容アクセスする。可搬型記録媒体2109は、メモリデバイスフレキシブルディスク光ディスク光磁気ディスク等である。可搬型記録媒体2109は、Compact Disk Read Only Memory(CD−ROM)、Digital Versatile Disk(DVD)、Universal Serial Bus(USB)メモリ等であってもよい。オペレータ又はユーザは、この可搬型記録媒体2109にプログラム及びデータを格納しておき、それらをメモリ2102にロードして使用することができる。

0115

このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ2102、補助記憶装置2105、又は可搬型記録媒体2109のような、物理的な(非一時的な)記録媒体である。

0116

ネットワーク接続装置2107は、Local Area Network、Wide Area Network等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェースである。ネットワーク接続装置2107は、図6の出力部615として用いることができる。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置2107を介して受信し、それらをメモリ2102にロードして使用することができる。

0117

情報処理装置は、ネットワーク接続装置2107を介して、ユーザ端末から処理要求を受信し、検出結果636をユーザ端末へ送信することもできる。

0118

なお、情報処理装置が図21のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、情報処理装置がユーザ端末から通信ネットワーク経由で処理要求を受信する場合は、入力装置2103及び出力装置2104を省略してもよい。また、可搬型記録媒体2109又は通信ネットワークを利用しない場合は、媒体駆動装置2106又はネットワーク接続装置2107を省略してもよい。

0119

開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。

0120

図1乃至図21を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
(付記1)
エッジを検出するための第1設定値に基づいて画像から抽出された複数のエッジ線分のうち、2本のエッジ線分の間の中心線を特定し、
前記中心線に関して前記複数のエッジ線分のうち特定のエッジ線分と線対称となる位置において、エッジ線分が抽出されていない場合、前記第1設定値よりもエッジが検出されやすい第2設定値に基づいて、前記線対称となる位置におけるエッジ線分抽出を行う、
処理をコンピュータに実行させる画像処理プログラム。
(付記2)
前記コンピュータは、前記特定のエッジ線分と前記中心線との距離が所定距離よりも小さい場合、前記第2設定値に基づいて前記線対称となる位置における前記エッジ線分抽出を行うことを特徴とする付記1記載の画像処理プログラム。
(付記3)
前記コンピュータは、前記特定のエッジ線分の位置と、前記線対称となる位置との間の領域において、画素値の対称性が存在する場合、前記第2設定値に基づいて前記線対称となる位置における前記エッジ線分抽出を行うことを特徴とする付記1又は2記載の画像処理プログラム。
(付記4)
前記コンピュータは、前記2本のエッジ線分の位置の対称性を示す第1対称性スコア、又は前記2本のエッジ線分の間の領域における画素値の対称性を示す第2対称性スコアのうち、少なくとも一方に基づいて、前記2本のエッジ線分の対称性を示す第3対称性スコアを求め、前記第3対称性スコアが所定の条件を満たす場合、前記2本のエッジ線分の間の中心線を特定することを特徴とする付記1乃至3のいずれか1項に記載の画像処理プログラム。
(付記5)
前記コンピュータは、前記複数のエッジ線分のうち、前記2本のエッジ線分を含む第1エッジ線分ペアとは異なる第2エッジ線分ペアに含まれる2本のエッジ線分の間の中心線を特定し、前記第1エッジ線分ペアと前記第2エッジ線分ペアとが所定の位置関係を有する場合、前記第1エッジ線分ペアの前記中心線と前記第2エッジ線分ペアの前記中心線とを統合し、統合後の中心線に関して前記特定のエッジ線分と線対称となる位置を求めることを特徴とする付記1乃至4のいずれか1項に記載の画像処理プログラム。
(付記6)
前記コンピュータは、前記第2設定値に基づいて前記線対称となる位置から抽出したエッジ線分を用いて、前記画像内において物体を表す物体領域の水平方向の幅を計算し、前記水平方向の幅を用いて前記画像内における前記物体領域の下端位置を推定し、前記下端位置と前記画像を撮影した撮像装置の設置情報とに基づいて、前記撮像装置と前記物体との距離を計算することを特徴とする付記1乃至5のいずれか1項に記載の画像処理プログラム。
(付記7)
前記物体は車両であり、前記画像は、前記車両の正面画像又は背面画像であり、前記中心線は、前記車両の鉛直方向の中心線に対応することを特徴とする付記6記載の画像処理プログラム。
(付記8)
エッジを検出するための第1設定値に基づいて画像から抽出された複数のエッジ線分のうち、2本のエッジ線分の間の中心線を特定する特定部と、
前記中心線に関して前記複数のエッジ線分のうち特定のエッジ線分と線対称となる位置において、エッジ線分が抽出されていない場合、前記第1設定値よりもエッジが検出されやすい第2設定値に基づいて、前記線対称となる位置におけるエッジ線分抽出を行う抽出部と、
を備えることを特徴とする画像処理装置。
(付記9)
前記抽出部は、前記特定のエッジ線分と前記中心線との距離が所定距離よりも小さい場合、前記第2設定値に基づいて前記線対称となる位置における前記エッジ線分抽出を行うことを特徴とする付記8記載の画像処理装置。
(付記10)
前記抽出部は、前記特定のエッジ線分の位置と、前記線対称となる位置との間の領域において、画素値の対称性が存在する場合、前記第2設定値に基づいて前記線対称となる位置における前記エッジ線分抽出を行うことを特徴とする付記8又は9記載の画像処理装置。
(付記11)
前記特定部は、前記2本のエッジ線分の位置の対称性を示す第1対称性スコア、又は前記2本のエッジ線分の間の領域における画素値の対称性を示す第2対称性スコアのうち、少なくとも一方に基づいて、前記2本のエッジ線分の対称性を示す第3対称性スコアを求め、前記第3対称性スコアが所定の条件を満たす場合、前記2本のエッジ線分の間の中心線を特定することを特徴とする付記8乃至10のいずれか1項に記載の画像処理装置。
(付記12)
コンピュータが、
エッジを検出するための第1設定値に基づいて画像から抽出された複数のエッジ線分のうち、2本のエッジ線分の間の中心線を特定し、
前記中心線に関して前記複数のエッジ線分のうち特定のエッジ線分と線対称となる位置において、エッジ線分が抽出されていない場合、前記第1設定値よりもエッジが検出されやすい第2設定値に基づいて、前記線対称となる位置におけるエッジ線分抽出を行う、
ことを特徴とする画像処理方法。
(付記13)
前記コンピュータは、前記特定のエッジ線分と前記中心線との距離が所定距離よりも小さい場合、前記第2設定値に基づいて前記線対称となる位置における前記エッジ線分抽出を行うことを特徴とする付記12記載の画像処理方法。
(付記14)
前記コンピュータは、前記特定のエッジ線分の位置と、前記線対称となる位置との間の領域において、画素値の対称性が存在する場合、前記第2設定値に基づいて前記線対称となる位置における前記エッジ線分抽出を行うことを特徴とする付記12又は13記載の画像処理方法。
(付記15)
前記コンピュータは、前記2本のエッジ線分の位置の対称性を示す第1対称性スコア、又は前記2本のエッジ線分の間の領域における画素値の対称性を示す第2対称性スコアのうち、少なくとも一方に基づいて、前記2本のエッジ線分の対称性を示す第3対称性スコアを求め、前記第3対称性スコアが所定の条件を満たす場合、前記2本のエッジ線分の間の中心線を特定することを特徴とする付記12乃至14のいずれか1項に記載の画像処理方法。

0121

101、631、2001 画像
102 車両
103、511、2003 領域
201画像処理装置
211 特定部
212 抽出部
401中心線
411、412、501、502、1601〜1604輪郭線
601撮像装置
611映像入力部
612特徴点抽出部
613輪郭線抽出部
614物体検出部
615 出力部
616 記憶部
621対称性判定部
622 中心線計算部
632特徴点画像
633輪郭線情報
634 輪郭線ペア
635 中心線情報
636 検出結果
901〜903画素
1611、1612中心線候補
1621、1622 範囲
2002 人間
2101 CPU
2102メモリ
2103入力装置
2104出力装置
2105補助記憶装置
2106媒体駆動装置
2107ネットワーク接続装置
2108バス
2109 可搬型記録媒体

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ