図面 (/)

この項目の情報は公開日時点(2019年7月25日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (10)

課題

屋外道路上など監視エリアに設置されたPTZタイプの監視カメラ活用し、環境条件の変化等によって生じる誤検知を抑えながら、監視エリアに発生した異常を自動検知する映像解析システムを提供することにある。

解決手段

障害検知システムは、道路上など監視エリアを単一又は複数の画角撮影する撮影手段(101)と、前記撮影手段から取り込まれた映像から監視エリアに発生した物体の領域と画素値を抽出する物体抽出手段(201)と、を有する。障害検知システムは、さらに、画角と映像内の位置ごとに設定された判定基準に基づいて、前記物体抽出手段(201)によって取得された物体の領域と画素値をブロックに分割して局所特徴量から、物体の種別識別する物体認識手段(202)と、前記物体認識手段(202)によって取得された物体の種別の情報から映像内に発生した障害物の有無を検知する障害検知手段(204)と、を有する。

概要

背景

近年、高速道路等にて落下物等、通常走行を妨げる物の影響が疑われる事故渋滞の発生が問題となっている。また、道路走行する車両が通常とは異なる走行を行った場合にも上記問題となり得る。道路利用者の安全性を向上させるためには、通常走行を妨げる物を検知する、例えば、道路上に発生した走行における障害物をより早く発見し、道路利用者への情報提供を行うなどの対応が求められる。

通常走行を妨げる物の発見を行う手段の一つに、監視カメラ活用が挙げられる。高速道路等の施設には、交通流有事の際の状況確認のため、電動雲台電動ズーム機能を備えたPTZ(パンチルトズーム)タイプの監視カメラが設置されていることが多い。PTZタイプの監視カメラは旋回/ズーム機能により、1台で広い範囲の視認を可能とする。監視カメラの映像解析することにより、通常走行を妨げる物を自動検知することができれば、高速道路上の事故や渋滞の発生の抑制が可能になると考えられる。

道路上に設置された監視カメラによって落下物の発見を行う映像解析技術には、例えば、以下の特許文献1、特許文献2のようなものが挙げられる。

特許文献1は画像間の差分によって抽出された画素集合のうちから、判別条件に基づいて落下物候補の図形を認識し、その落下物候補の図形が一定時間、同じ位置に検出された場合に、落下物の発生を検知している。

特許文献2では画像間の差分によって抽出された画素から、車両として検出された画素を除き、その他の画素に対する寸法条件等の判定により、落下物領域を抽出している。

概要

屋外の道路上など監視エリアに設置されたPTZタイプの監視カメラを活用し、環境条件の変化等によって生じる誤検知を抑えながら、監視エリアに発生した異常を自動検知する映像解析システムを提供することにある。障害検知システムは、道路上など監視エリアを単一又は複数の画角撮影する撮影手段(101)と、前記撮影手段から取り込まれた映像から監視エリアに発生した物体の領域と画素値を抽出する物体抽出手段(201)と、を有する。障害検知システムは、さらに、画角と映像内の位置ごとに設定された判定基準に基づいて、前記物体抽出手段(201)によって取得された物体の領域と画素値をブロックに分割して局所特徴量から、物体の種別識別する物体認識手段(202)と、前記物体認識手段(202)によって取得された物体の種別の情報から映像内に発生した障害物の有無を検知する障害検知手段(204)と、を有する。

目的

本開示の課題は、屋外の道路上に設置されたPTZタイプの監視カメラを撮影手段として活用し、環境条件の変化等によって生じる誤検知を抑えながら、道路上に発生した走行障害物を自動検知する等、路面の異常を自動検知する映像解析システムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

監視エリアを単一又は複数の画角撮影する撮影手段と、前記撮影手段から取り込まれた映像から監視エリアに発生した物体の領域と画素値を抽出する物体抽出手段と、画角と映像内の位置ごとに設定された判定基準に基づいて、前記物体抽出手段によって取得された物体の領域と画素値をブロックに分割して局所特徴量から、物体の種別識別する物体認識手段と、前記物体認識手段によって取得された物体の種別の情報から映像内に発生した障害物の有無を検知する障害物検知手段と、を有する、ことを特徴とする障害検知システム

請求項2

請求項1に記載の障害検知システムにおいて、前記物体認識手段は、前記物体抽出手段によって得られた物体の領域と画素値から物体を識別するための1つ以上の特徴量を抽出する特徴抽出手段と、前記特徴抽出手段にて得られた特徴量に基づいて物体を障害物又は1つ以上の特定の種別又は障害物候補として識別する物体識別手段と、前記物体識別手段にて障害物候補として識別された物体の領域と画素値をブロックに分割し、各ブロックに対して1つ以上の特徴量を抽出する局所特徴抽出手段と、前記局所特徴抽出手段によって得られた局所特徴量から障害物としての判定基準を算出する局所特徴学習手段と、前記局所特徴学習手段によって得た判定基準から、前記物体識別手段によって障害物候補として識別された物体が障害物であるかの判定を行う障害物判定手段と、を有する、ことを特徴とする障害検知システム。

請求項3

請求項1に記載の障害検知システムにおいて、前記物体抽出手段によって取得された物体の領域と画素値から、監視エリアの物体を追跡する物体追跡手段と、前記物体追跡手段によって追跡された物体のなかから車両のみを選別する車両選別手段と、前記車両選別手段によって得られた車両の追跡結果から算出された基準値を、撮影された画角と画面内の位置とで対応付けて記録する動き学習手段と、前記車両選別手段によって得られた車両の追跡結果と前記動き学習手段によって記録された基準値に基づいて、映像内に存在する車両の走行方向の異常を検知する避走検知手段と、前記避走検知手段による避走検知の頻度から障害物の発生を検知する障害物検知手段と、を有する、ことを特徴とする障害検知システム。

請求項4

監視エリアを単一又は複数の画角で撮影する撮影手段と、前記撮影手段から取り込まれた映像から監視エリアに発生した物体の領域と画素値を抽出する物体抽出手段と、前記物体抽出手段によって取得された物体の領域と画素値から、監視エリアの物体を追跡する物体追跡手段と、前記物体追跡手段によって追跡された物体のなかから車両のみを選別する車両選別手段と、前記車両選別手段によって得られた車両の追跡結果から算出された基準値を、撮影された画角と画面内の位置とで対応付けて記録する動き学習手段と、前記車両選別手段によって得られた車両の追跡結果と前記動き学習手段によって記録された基準値に基づいて、映像内に存在する車両の走行方向の異常を検知する異常車両検知手段と、を有する、ことを特徴とする障害検知システム。

技術分野

0001

本開示は障害検知システムに関し、特に、監視カメラ映像から、道路上などの監視エリアに発生した障害物自動検知や監視エリアである道路上を走行する車両の異常検知など、障害検知システムに関する。

背景技術

0002

近年、高速道路等にて落下物等、通常走行を妨げる物の影響が疑われる事故渋滞の発生が問題となっている。また、道路を走行する車両が通常とは異なる走行を行った場合にも上記問題となり得る。道路利用者の安全性を向上させるためには、通常走行を妨げる物を検知する、例えば、道路上に発生した走行における障害物をより早く発見し、道路利用者への情報提供を行うなどの対応が求められる。

0003

通常走行を妨げる物の発見を行う手段の一つに、監視カメラの活用が挙げられる。高速道路等の施設には、交通流有事の際の状況確認のため、電動雲台電動ズーム機能を備えたPTZ(パンチルトズーム)タイプの監視カメラが設置されていることが多い。PTZタイプの監視カメラは旋回/ズーム機能により、1台で広い範囲の視認を可能とする。監視カメラの映像を解析することにより、通常走行を妨げる物を自動検知することができれば、高速道路上の事故や渋滞の発生の抑制が可能になると考えられる。

0004

道路上に設置された監視カメラによって落下物の発見を行う映像解析技術には、例えば、以下の特許文献1、特許文献2のようなものが挙げられる。

0005

特許文献1は画像間の差分によって抽出された画素集合のうちから、判別条件に基づいて落下物候補の図形を認識し、その落下物候補の図形が一定時間、同じ位置に検出された場合に、落下物の発生を検知している。

0006

特許文献2では画像間の差分によって抽出された画素から、車両として検出された画素を除き、その他の画素に対する寸法条件等の判定により、落下物領域を抽出している。

先行技術

0007

特開2002-99903号公報
特開2006-59184号公報

発明が解決しようとする課題

0008

特許文献1および特許文献2に開示の技術は、固定画角の専用カメラを用いた映像解析を想定していると考えられる。この場合、監視カメラは走行障害物の検知に適した設置が可能となり、また同じ画角で路面を観測し続けることができるため、画像間の差分方法の工夫と適切な判別条件の設定により、条件変化等による誤検知を抑えながら走行障害物の発生を検知することができると思われる。

0009

しかし、1台のPTZタイプの監視カメラにて広範囲の検知を行おうとした場合、一定期間ごとに監視カメラの画角を巡回させるためのズーム/旋回操作が求められるため、同じ画角で路面を観測し続けることはできない。画角を変化させた際に画面内に存在する走行障害物を検知するためには、前巡回時の映像から得た情報を基に走行障害物の発生を変化として抽出する必要がある。この場合、時間差のある映像データに基づいて変化点を抽出する必要があるため、天候時間帯等の変化が発生する屋外に設置されたカメラを想定した場合、走行障害物以外の物体の画素を変化点として検出してしまうことが増える。

0010

そのため、変化点として検出された画素を走行障害物として判別するための条件の設定が重要となる。例えば、寸法等の単純な判別条件を用いるだけでは、環境条件の変化によって、背景(走行障害物や車両等の物体が存在しない領域)部分を走行障害物として検知してしまうことによる誤検知が多発することが考えられる。

0011

誤検知を抑えながら走行障害物のみを検知するには、変化点として抽出された画素の集合の特徴から、走行障害物のみを識別するための判別条件の設定が必要となる。特許文献1では走行障害物の形状を特定する複数の要素を組み合わせた判別条件を用いている。しかし、実際に検知すべき走行障害物には、剛体である木材や鉄屑、軟体である衣類シートなど様々な形状のものが想定されるため、全ての走行障害物を特定するための判別条件を事前に設定することは困難である。

0012

本開示の課題は、屋外の道路上に設置されたPTZタイプの監視カメラを撮影手段として活用し、環境条件の変化等によって生じる誤検知を抑えながら、道路上に発生した走行障害物を自動検知する等、路面の異常を自動検知する映像解析システムを提供することにある。

0013

その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

課題を解決するための手段

0014

本開示のうち代表的なものの概要を簡単に説明すれば下記の通りである。

0015

すなわち、障害検知システムは、道路上などの監視エリアを単一又は複数の画角で撮影する撮影手段(101)と、前記撮影手段から取り込まれた映像から監視エリアに発生した物体の領域と画素値を抽出する物体抽出手段(201)と、を有する。障害検知システムは、さらに、画角と映像内の位置ごとに設定された判定基準に基づいて、前記物体抽出手段(201)によって取得された物体の領域と画素値をブロックに分割して局所特徴量から、物体の種別を識別する物体認識手段(202)と、前記物体認識手段(202)によって取得された物体の種別の情報から映像内に発生した障害物の有無を検知する障害物検知手段(204)と、を有する。

0016

または、障害検知システムは、道路上などの監視エリアを単一又は複数の画角で撮影する撮影手段と、前記撮影手段から取り込まれた映像から監視エリアに発生した物体の領域と画素値を抽出する物体抽出手段と、前記物体抽出手段によって取得された物体の領域と画素値から、監視エリアの物体を追跡する物体追跡手段と、前記物体追跡手段によって追跡された物体のなかから車両のみを選別する車両選別手段と、前記車両選別手段によって得られた車両の追跡結果から算出された基準値を、撮影された画角と画面内の位置とで対応付けて記録する動き学習手段と、前記車両選別手段によって得られた車両の追跡結果と前記動き学習手段によって記録された基準値に基づいて、映像内に存在する車両の走行方向の異常を検知する異常車両検知手段と、を有する。

発明の効果

0017

上記障害検知システムによれば、屋外に設置されたPTZタイプの監視カメラ(撮影手段)によって、監視エリア内に発生した障害物を効率的に自動検知することが可能となる。

図面の簡単な説明

0018

実施例に係る走行障害検知システムのブロック図である。
映像解析部のブロック図である。
物体抽出部のブロック図である。
物体認識部のブロック図である。
物体識別フローチャートの例を示す図である。
監視カメラ画像における物体領域局所ブロックとの関係を示す図である。
走行障害物判定のフローチャートの例を示す図である。
避走検知部のブロック図である。
動き情報の学習の流れを説明する図である。

0019

以下、実施例について、図面を用いて説明する。ただし、以下の説明において、同一構成要素には同一符号を付し繰り返しの説明を省略することがある。なお、図面は説明をより明確にするため、実際の態様に比べ、模式的に表される場合があるが、あくまで一例であって、本発明の解釈を限定するものではない。

0020

図1は、実施例に係る走行障害検知システムであって、道路など監視エリアの走行障害検知システムのブロック図である。以後、障害検知システムの実施例として、監視エリアである道路を走行する際の障害検知を行う走行障害検知システムとして説明する。走行障害検知システムは、撮影手段である監視カメラ101と、カメラ制御部102、映像解析部103、情報出力部104から構成される。

0021

監視カメラ101は、例えば電動雲台と電動ズームを備えたPTZ(パン、チルト、ズーム)カメラである。適用すべきパン、チルト、ズームの状態はカメラ制御情報として与えられる。

0022

カメラ制御部102は、監視カメラ101のパン、チルト、ズームを制御するためのカメラ制御情報を監視カメラ101へ出力する機能を有する。カメラ制御部102は、監視カメラ101が1つ以上の画角を一定の間隔で巡回して監視するようにカメラ制御情報を出力する。監視カメラ101の画角を一定間隔で変更することにより、1台の監視カメラ101でより広範囲の走行障害物の自動検知が可能となる。

0023

映像解析部103は、監視カメラ101の監視カメラ映像を解析することにより映像内の走行障害物の有無を検知する。

0024

図2は、映像解析部103のブロック図を示す。映像解析部103は、物体抽出手段である物体抽出部201、物体認識手段である物体認識部202、避走検知手段である避走検知部203、走行障害物検知手段である走行障害物検知部204から構成される。以下に、映像解析部103を構成する各部の詳細を説明する。

0025

物体抽出部201は入力した監視カメラ映像とカメラ制御情報をもとに監視カメラ映像内に存在する物体の物体情報(物体が抽出された画像及び画像内での物体領域)を抽出する。

0026

図3は、物体抽出部201のブロック図を示す。物体抽出部201は背景差分処理部301、背景モデル生成部302、背景モデル記録部303、背景モデル間差分処理部304、物体判定処理部305から構成される。

0027

背景差分処理部301は、例えば、背景差分法を用いて映像内を移動する物体及び映像内に発生した物体の物体情報を抽出する。背景差分処理部301は監視カメラ101がある画角にて撮像を続けている途中に移動又は発生した障害物を物体として抽出する役割を担う。

0028

ここで障害物は、例えば車両より荷物などが道路に落下したことや、道路そのものの隆起陥没、亀裂など、道路上に異常が発生することで車両の走行の妨げになりかねない状況であって、監視エリアである道路上の走行障害物となってしまう。

0029

背景モデル生成部302は、監視カメラ映像内の背景のみの情報を表すモデルを作成することを目的としている。例えば、入力された監視カメラ映像の各フレームに対して、以下の式1に示す更新式を一定期間適用して得られた時間平滑化画像を背景モデルとする。

0030

ここで、Pavg(x,y)は時間平滑化画像の座標(x,y)における画素値、Pin(x,y)は監視カメラ映像のフレームの座標(x,y)における画素値、αは更新のための係数である。

0031

背景モデル記録部303は、背景モデル生成部302が生成した背景モデルを、カメラ制御情報に基づいて監視カメラ101が巡回する画角の通し番号と対応づけて記録する。また、背景モデル記録部303は、カメラ制御情報に基づいて現在の監視カメラ映像の画角に対応付けられた過去の巡回時に背景モデル生成部302が生成した1つ以上の背景モデルを出力する。

0032

背景モデル間差分処理部304は、背景モデル生成部302が生成した背景モデルと、背景モデル記録部303に記録された、入力された監視カメラ映像と同じ画角の映像から生成された過去の巡回時の背景モデルの差分から、過去の巡回時から再度同画角に巡回するまでの期間に発生した物体の物体情報を抽出する。背景モデル間差分処理部304は、監視カメラ101の画角変更後にその時点で映像内に存在する走行障害物を物体として抽出する役割を担う。

0033

背景モデル間差分処理部304は、例えば、背景モデルが式1によって得られた時間平滑化画像であった場合、背景モデル生成部302から得られた現在の時間平滑化画像と、背景モデル記録部303に記録された1つ前の巡回時の時間平滑化画像のエッジ情報の差分を閾値処理することにより、物体の領域を得る。背景モデル間差分処理部304は、こうして得た物体領域と物体領域に対応する現在の時間平滑化画像とを、物体情報として出力する。

0034

物体判定処理部305は、背景差分処理部301と背景モデル間差分処理部304から得られた物体情報に対して後段映像解析処理を行うかの判定を行う。例えば、物体領域の面積が一定以上であり、一定上のフレームで連続して抽出された物体領域の物体情報のみを解析対象として判定する。

0035

図2の物体認識部202は、物体抽出部201によって得られた物体情報の特徴に基づいて物体の種別を識別する。

0036

図4に、物体認識部202のブロック図を示す。物体認識部202は、特徴抽出手段である特徴抽出部401、物体識別手段である物体識別部402、局所ブロック抽出部403、局所特徴抽出手段である局所特徴抽出部404、局所特徴学習手段である局所特徴学習部405、走行障害物判定手段である走行障害物判定部406から構成される。

0037

特徴抽出部401は、物体情報から特徴量を算出する。ここで算出された1つまたは複数の特徴量の数値に基づいて、後段の物体識別部402は物体の種別を識別する。特徴量は例えば、物体領域の画素数エッジ量、色、画面内の移動量などに基づいて算出される。

0038

物体識別部402は、特徴抽出部401から得た特徴量に基づき、物体を特定の種別又は走行障害物であるかの判定を後段の処理にて行う走行障害物候補として識別する。

0039

図5に、各物体に対する物体識別のフローチャートの例を示す。図5のフローチャートにおいては、物体を「車両」、「照明柱」、「走行障害物」と、それ以外の「走行障害物候補」と、に識別する場合のフローチャートを例としている。

0040

テップS101では、特徴抽出部401で得られた物体の特徴をもとに、その物体が「車両」であるかの判定処理を行う。判定は複数の特徴量を閾値処理して行っても良いし、事前にサンプル画像等を機械学習することによって作成した識別器を用いても良い。また、判定条件はカメラ制御情報に基づいてカメラ画角等の環境に応じて変更しても良い。

0041

ステップS102にて「車両」の条件を満たすと判定された物体は、ステップS103にて「車両」として識別される。

0042

ステップS104では、ステップS102にて「車両」でないと判定された物体が「照明柱」であるかの判定処理を行う。ステップS105にて「照明柱」の条件を満たすと判定された物体は、ステップS106にて「照明柱」として識別される。

0043

ステップS107では、ステップS105にて「照明柱」でないと判定された物体が「走行障害物」であるかの判定処理を行う。ステップS108にて「走行障害物」の条件を満たすと判定された物体は、ステップS109にて「走行障害物」として識別される。

0044

ステップS110では「車両」、「照明柱」、「走行障害物」のどれにも判定されなかった物体を「走行障害物候補」として識別する。

0045

局所ブロック抽出部403は、物体情報から後段の処理によって解析を行う局所ブロック503の抽出を行う。局所ブロック503とは、通し番号によって監視カメラ画像内での領域を特定可能な、物体情報から抽出された画素ブロックである。

0046

図6は、監視カメラ画像501における、物体領域502と局所ブロック503との関係を示している。図6では、物体領域502の内部に、1つの局所ブロック503を設けた例を示している。なお、局所ブロック503は1つの物体情報に対して1つ以上抽出することが可能である。この場合、局所ブロック503は、通し番号によって領域の特定が可能であれば、異なる複数のサイズ及び形状のものを用いても良いし、それらが重なり合っても良い。

0047

局所特徴抽出部404は、局所ブロック抽出部403によって抽出された局所ブロック503のなかで、物体識別部402によって「走行障害物候補」として識別された物体情報に対応する局所ブロック503の特徴量を抽出する。局所ブロック503の特徴量を以下より局所特徴量と呼ぶ。局所特徴量には局所ブロック503内のエッジの向きや輝度の分散などに基づいて算出される数値や、特徴抽出部401によって算出された物体全体の特徴を用いることができる。

0048

局所特徴学習部405は、局所特徴抽出部404によって得られた特徴の学習を行う。学習は局所ブロック503の通し番号ごとに行われる。特徴の学習方法には、例えば、EM(Expectation Maximization)法による混合分布パラメータ学習などを用いる。EM法を用いることにより、各局所ブロック503の特徴の傾向を、混合正規分布によって表現することが可能となる。学習結果は、カメラ制御情報に基づいて、画角変更する際に、監視カメラ101が巡回する画角に対応付けて記録される。学習の初期値には、前巡回時に記録された学習結果を用いることができる。

0049

走行障害物判定部406は、物体識別部402の識別結果と、局所特徴抽出部404から得られた「走行障害物候補」の局所特徴量と、局所特徴学習部405に記録された過去の「走行障害物候補」の学習結果とにより、物体が走行障害物であるかの判定を行う。

0050

図7に、走行障害物判定部406により実施される、各物体に対する走行障害物判定のフローチャートの例を示す。

0051

ステップS201にて物体識別部402によって「走行障害物」として識別されたことが確認された物体は、ステップS202によって「走行障害物」として判定される。

0052

ステップS203にて物体識別部402によって「走行障害物候補」でないとして識別された物体は、ステップS204にて「走行障害物でない」と判定される。

0053

ステップS205では、局所特徴学習部405の学習結果に基づいて、物体の各局所特徴量の尤度を算出する。

0054

ステップS206では、各局所特徴量の尤度に基づいて物体が走行障害物であるかの判定処理を行う。例えば、物体情報から得られた全ての局所ブロック503のうち、閾値処理により尤度が設定値以上の局所ブロック503の数の割合が一定値以上である場合を走行障害物の条件とする。

0055

ステップS207にて走行障害物の条件を満たすとされた物体は、ステップS202にて「走行障害物」として判定される。ステップS207にて走行障害物の条件を満たさないとされた物体は、ステップS204にて「走行障害物でない」と判定される。

0056

上述した図7の走行障害物判定処理の効果を、以下に説明する。

0057

物体認識部202では、まず、特徴抽出部401と物体識別部402とによって、物体の種別の識別を行う。上述した通り、走行障害物には様々な種類の物体が想定されるため、その特徴から条件によって走行障害物を識別することは困難である場合が多い。そのため、物体認識部202は、その特徴から「走行障害物」であること又は「走行障害物でない」ことの判定が出来ない物体を、「走行障害物候補」として識別し、その判定処理を後段で行うこととした。「走行障害物候補」として識別される物体には、走行障害物以外にも、例えば環境条件の変化等によって抽出された背景の一部分や影、ライト反射等が挙げられる。これらは、走行障害物と同様に様々な場合が想定されるため、その特徴のみから物体の種別を特定することは困難である。

0058

そこで、物体認識部202では、局所ブロック抽出部403、局所特徴抽出部404、局所特徴学習部405によって、物体識別部402に「走行障害物候補」として識別された物体の局所特徴量の学習を行っている。局所特徴量の学習は交通流監視カメラ101が巡回する画角の局所ブロック503ごとに行う。つまり、任意の画角の任意の領域にどのような特徴を持った「走行障害物候補」が抽出されるかを学習している。一般的に、監視カメラ101の映像内に走行障害物が発生することは多くなく、「走行障害候補」として識別されるものの大半は誤検知の要因となる背景部分である。よって、物体認識部202による物体認識処理は、画角ごとに、誤報の要因となった物体情報の位置と特徴が主に学習される。走行障害物判定部406は局所特徴量の学習結果に基づいて、過去に学習した局所特徴量に近い局所特徴量を多く持つ物体を走行障害物でないと判定し、それ以外を走行障害物として判定する。

0059

物体認識部202による物体認識処理により、物体の特徴によって走行障害物であることの判定ができなくとも、誤報の要因となる物体情報の傾向を学習することにより、誤報を抑制しながら走行障害物を検知することが可能となる。

0060

図2の避走検知部203は、物体抽出部201によって得られた物体情報に基づいて、物体が車両で有った場合に、その車両が監視カメラ映像内で避走したかどうかの判定を行う。

0061

図8に、避走検知部203のブロック図を示す。避走検知部203は、物体追跡手段である物体追跡部601、車両選別手段である車両選別部602、動き学習手段である動き情報学習部603、避走判定部604から構成される。

0062

物体追跡部601は、監視カメラ映像内に存在する移動体の追跡を行う。物体追跡部601は、例えば、KLT(Kanade-Lucas-Tomasi)トラッカー等によるフレーム間の特徴点の対応付けによる物体追跡を行う。新規特徴点は物体領域内から抽出するものとし、その特徴点が消失する又は静止する等の追跡終了の条件を満たすまで追跡を行う。このような物体追跡の処理を行うことにより、画面内を移動する各特徴点軌跡を求めることが出来る。各特徴点の軌跡をその位置や移動方向、特徴点が得られた物体領域等の情報に基づいてクラスタリングすることにより、監視カメラ映像内を移動する物体の動きを表す複数のクラスタを求めることができる。

0063

車両選別部602は、物体追跡部601で得た特徴点の軌跡のクラスタから車両に相当するクラスタの選別を行う。例えば、物体の画面内の移動速度、サイズ、特徴点の数、追跡された期間等の条件をもとに車両である条件を設定し、その条件を満たす物体のクラスタを車両の動き情報として選別する。

0064

動き情報学習部603は、監視カメラ映像をブロックに分割し、ブロック単位で車両の動きの学習を行う。学習する対象には、例えば、車両の移動方向等が挙げられる。図9は、動き情報の学習の流れ示す図であり、図9の(a)(b)(c)及び(d)を用いて、動き情報の学習の流れを説明する。

0065

まず、動き情報学習部603は車両の追跡結果をもとに、一定期間に発生した車両の特徴点の軌跡を得る。図9の(a)において、画像701は一定期間に発生した特徴点の軌跡の結果を示す。画像702は一定期間に発生した特徴点の軌跡を表している。図9の(b)において、画像703は画像701をブロック単位に分割した例を示す。図9の(c)において、画像704は各ブロック内を通過した軌跡の総和を求めた結果を示す。各ブロックにおける軌跡の総和は、例えば、以下の式2によって求めることができる。

0066

ここでdtmp(i,j)は一定期間内に座標のブロックを通過した軌跡の総和を示す方向ベクトルである。Nは特徴点の軌跡の総数、nは特徴点の軌跡の通し番号を表す。Mnはn番目の軌跡に対して追跡が行われたフレーム数であり、mは追跡が開始された時点からのフレーム数を表す。p(n,m)はn番目に対して追跡が開始されてからm番目のフレームでの特徴点の位置を示すベクトルである。B(i,j)は座標(i,j)のブロックの領域を示している。if(X,Y,Z)は条件Xを満たした際には値Yを、それ以外の場合は値Zを返す関数である。

0067

図9の(d)において、画像705は画像704の結果を用いて更新された、各ブロックの軌跡の方向の学習結果を示す。例えば、学習結果の更新には、以下の式3を用いることができる。

0068

ここで、d(i,j)は座標(i,j)のブロックにおける車両の移動方向の傾向を示す方向ベクトルである。αは更新のための係数である。

0069

学習結果はカメラ制御情報に基づいて、監視カメラ101が巡回する画角に対応付けて記録される。

0070

避走判定部604は、動き情報学習部603の学習結果に基づいて、車両の動き情報から車両の避走を数値化して抽出し、避走検知処理を行う。避走量は、例えば、以下の式4によって求めることができる。

0071

ここで、avdは車両の避走量を表す数値である。Lは析対象の車両のクラスタが持つ特徴点の軌跡の総数であり、lは特徴点の軌跡の通し番号である。Mnはn番目の軌跡に対して追跡が行われたフレーム数であり、mは追跡が開始された時点からのフレーム数を表す。p(n、m)はn番目に対して追跡が開始されてからm番目のフレームでの特徴点の位置を示すベクトルである。d(ilm、jlm)は動き情報学習部603によって得られた、座標(i,j)のブロックにおける車両の移動方向の傾向を示す方向ベクトルである。ilm及びjlmは特徴点の位置p(l,m)が含まれるブロックの座標を示す。inner(a,b)はベクトルaとベクトルbの内積を返す関数である。Mは、以下の式5に示される回転行列である。

0072

式4で得られた車両の避走量avdを閾値処理し、閾値を超えた避走量を持つ車両を避走した車両として検知する。

0073

上述した避走検知処理の効果を以下に説明する。

0074

避走検知処理は、車両が走行障害物を避ける動作(車両の走行方向の異常な動作)から走行障害物の存在を推定するために用いられている。避走検知処理により、走行障害物が構造物に隠れるなどして監視カメラ101に撮像されていない場合にも、走行障害物を検知することが可能となる。

0075

避走検知処理は、監視カメラ映像をブロックに分割し、監視カメラ101の巡回する画角ごとにブロック単位で車両の動きを学習することを特徴としている。避走検知処理は、例えば、車線の方向を監視カメラの画角ごとに指定するなどの、避走検知に必要な調整が不要となる利点がある。

0076

上述した避走検知処理の説明では、車両の移動方向のみの学習を行ったが、ブロック単位で車両の避走量を学習しても良い。車両の避走量の平均値を学習により取得し、避走量をその平均値で正規化した値によって避走検知することにより、撮影条件撮影場所等の違いによる避走量のばらつきの影響を軽減することができる。

0077

走行障害物検知部204は、物体認識部202の物体識別結果及び避走検知部203の避走検知結果から走行障害物の存在を検知する。走行障害物検知部204は、監視カメラ映像内の物体領域が重なり合う位置に設定したフレーム数にわたって、物体認識部202によって走行障害物として判定された物体が検出された場合に、走行障害物を検知する。走行障害物検知部204は、また、避走検知部203の避走検知結果から設定した期間内に設定した台数以上の車両が避走した場合、又は設定した台数の監視カメラ映像内を通過する車両のなかで設定した台数以上の車両が避走した場合に、走行障害物を検知する。

0078

情報出力部104は、映像解析部103による走行障害物の検知結果を情報表示板等の他の機器及びシステムに向けて出力する。出力する情報には、走行障害物検知の有無だけでなく、物体認識処理と避走検知処理のどちらの処理による走行障害物検知であるかの情報等に基づいて算出した、走行障害物検知の確度の情報を含めても良い。

0079

上述した実施例の構成をまとめと、以下である。

0080

走行障害検知システムは、旋回/ズーム機能を持つPTZタイプの監視カメラ101と、監視カメラ101が複数の画角を巡回して撮像するよう制御するカメラ制御部102と、監視カメラ映像とカメラ制御情報(監視カメラを制御するための旋回/ズームの設定値及び監視カメラが巡回する画角の通し番号)に基づいて走行障害物の有無を検知する映像解析部103と、を有する。走行障害検知システムは、さらに、映像解析部103からの走行障害物の検知結果を他の表示機器に向けて出力する情報出力部104、を有する。

0081

映像解析部103は、入力した監視カメラ映像とカメラ制御情報をもとに監視カメラ映像内に存在する物体の物体情報(物体が抽出された画像及び画像内での物体領域)を抽出する物体抽出部201と、カメラ制御情報と物体抽出部201によって得られた物体情報の特徴に基づいて物体の種別を識別する物体認識部202と、を有する。映像解析部103は、さらに、カメラ制御情報と物体抽出部201によって得られた物体情報から映像内の車両の避走(車線変更など車両が走行障害物を避ける際にすると思われる走行)を検知する避走検知部203と、物体認識部202によって得られた物体識別結果と避走検知部203によって得られた避走検知結果に基づいて走行障害物の検知を行う走行障害物検知部204と、を有する。

0082

映像解析部103の有する物体抽出部201は、監視カメラ映像から監視カメラ映像内を移動する物体及び監視カメラ映像内に発生した物体の領域及び画素値を抽出する背景差分処理部301と、監視カメラ映像から背景モデル(監視カメラ映像内を移動する物体以外の背景部分の状態を表すモデル)を生成する背景モデル生成部302と、を有する。物体抽出部201は、さらに、背景モデル生成部302で生成された背景モデルを記録しカメラ制御情報に基づいて記録した1つ以上の背景モデルを出力する背景モデル記録部303と、背景モデル生成部302で生成された背景モデルと背景モデル記録部303に記録された背景モデルから監視カメラ映像内に存在する静止した物体の領域及び画素値を抽出する背景モデル間差分処理部304と、を有する。物体抽出部201は、また、背景差分処理部301と背景モデル間差分処理部304にて抽出された物体の領域及び画素値から解析対象とする物体を判定して物体情報として出力する物体判定処理部305と、を有する。

0083

映像解析部103の有する物体認識部202は、物体抽出部201から得られた物体情報から物体を識別するための1つ以上の特徴量を抽出する特徴抽出部401と、カメラ制御情報と特徴抽出部401にて得られた特徴量に基づいて物体を走行障害物又は1つ以上の特定の種別又は走行障害物候補として識別する物体識別部402と、を有する。物体認識部202は、さらに、物体識別部402にて走行障害物候補として識別された物体の物体情報の局所的な特徴を抽出する局所特徴抽出部404と、カメラ制御情報と局所特徴抽出部404によって得られた局所特徴量に基づいて監視カメラが巡回する各画角にて抽出される走行障害物候補の物体の特徴を学習(入力した特徴の傾向を得ること)する局所特徴学習部405と、を有する。物体認識部202は、さらに、物体識別部402から得た物体識別結果と局所特徴抽出部404から得た局所特徴量と局所特徴学習部405から得た局所特徴学習結果に基づいて物体が走行障害物であるかを判定する走行障害物判定部406と、を有する。

0084

映像解析部103の有する避走検知部203は、物体抽出部201から得られた物体情報に基づいて監視カメラ映像内の物体を複数フレームにわたって追跡する物体追跡部601と、物体追跡部601にて追跡された物体から動き解析の対象とする車両を選別する車両選別部602と、を有する。避走検知部203は、さらに、カメラ制御情報と車両選別部602によって得られた車両の動き情報に基づいて監視カメラ101が巡回する各画角での車両の動きを学習(入力した動き方の傾向を得ること)する動き情報学習部603と、車両選別部602で得られた車両の動き情報と動き情報学習部603によって得られた動き情報学習結果に基づいて車両が避走したかを判定する避走判定部604と、を有する。

0085

また、本発明の実施例によれば、道路上を単一又は複数の画角で撮影する撮影手段と、前記撮影手段から取り込まれた映像から道路上に発生した物体の領域と画素値を抽出する物体抽出手段と、前記物体抽出手段によって取得された物体の領域と画素値から、道路上の物体を追跡する物体追跡手段と、前記物体追跡手段によって追跡された物体のなかから車両のみを選別する車両選別手段と、前記車両選別手段によって得られた車両の追跡結果から算出された基準値を、撮影された画角と画面内の位置とで対応付けて記録する動き学習手段と、前記車両選別手段によって得られた車両の追跡結果と前記動き学習手段によって記録された基準値に基づいて、映像内に存在する車両の走行方向の異常を検知する異常車両検知手段と、を有する。

0086

また、本発明の実施例によれば、道路上を単一又は複数の画角で撮影する撮影手段と、あらかじめ撮影された道路上の所定の路面情報を記憶する路面情報記憶手段と、前記撮影手段から取り込まれた映像と前記路面情報記憶手段に記憶された所定の路面情報とを比較し、該比較結果より道路上に発生した異常の領域と画素値を抽出する異常抽出手段と、画角と映像内の位置ごとに設定された判定基準に基づいて、前記異常抽出手段によって取得された異常の領域と画素値をブロックに分割して局所特徴量から、異常の種別を識別する異常認識手段と、前記異常認識手段によって取得された異常の種別の情報から映像内に発生した路面の異常の有無を走行障害物として検知する障害物検知手段と、を有する。

0087

上記走行障害物検知等、走行障害検知システム1によれば、屋外に設置されたPTZタイプの監視カメラによって、監視エリア内に発生した落下物等の路面異常を効率的に自動検知することが可能となる。

実施例

0088

以上、本発明者によってなされた発明を実施例に基づき具体的に説明したが、本発明は、上記実施形態および実施例に限定されるものではなく、種々変更可能であることはいうまでもない。

0089

1:走行障害検知システム
101:監視カメラ
102:カメラ制御部
103:映像解析部
104:情報出力部
201:物体抽出部
202:物体認識部
203:避走検知部
204:走行障害物検知部
301:背景差分処理部
302:背景モデル生成部
303:背景モデル記録部
304:背景モデル間差分処理部
305:物体判定処理部
401:特徴抽出部
402:物体識別部
403:局所ブロック抽出部
404:局所特徴抽出部
405:局所特徴学習部
406:走行障害物判定部
601:物体追跡部
602:車両選別部
603:動き情報学習部
604:避走判定部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ