図面 (/)

技術 静止時間識別用画像生成方法及び装置

出願人 池上通信機株式会社
発明者 谷本尚之
出願日 2007年2月22日 (13年9ヶ月経過) 出願番号 2007-042525
公開日 2008年2月28日 (12年9ヶ月経過) 公開番号 2008-047089
状態 特許登録済
技術分野 イメージ分析 画像処理
主要キーワード 幾何補正後 画像保存ステップ 指数平滑法 静止時間 取り締まり 駐車違反 幾何補正 領域ベース
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2008年2月28日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (5)

課題

複数の静止物体静止時間別に分類して検出することができる静止時間識別用画像生成方法及び装置を提供する。

解決手段

画像幾何補正部3は、画像保存部2から過去の入力画像を所定の枚数だけ読み出し、現在の入力画像と過去の入力画像それぞれとを比較し、それぞれの比較結果に基づいて、過去の入力画像それぞれを幾何補正する。静止時間識別用画像取得部4は、現在の入力画像と幾何補正後の過去の入力画像それぞれとの間で領域ベースマッチングを行い、画素ごと又は小領域ごと類似度を求め、類似度に基づいて、複数の静止物体の像又は領域とともに静止物体それぞれの静止時間に関する情報が記入された画像である静止時間識別用画像を生成する。

概要

背景

これまでに、静止物体を検出する技術として、静止物体の像を抽出する技術と、一定時間静止している物体を検出する技術とが提案されている。

静止物体の像を抽出する技術は、背景画像生成方法又は背景画像更新方法と呼ばれている。代表的な背景画像生成方法は、指数平滑法である。指数平滑法は、時間をtとし、入力画像をf(t)とし、背景画像をg(t)とすると、

で表される。なお、αは、0以上1以下の定数である。[数1]からわかるように、指数平滑法は、入力画像を積算し、背景画像を生成する。そのため、背景画像の中には、動きのない物体の像すなわち静止物体の像だけが取り込まれる。

一方、一定時間静止している物体を検出する技術の多くは、物体の静止時間計測し、静止時間が所定のしきい値に達した静止物体だけを検出する(例えば、特許文献1)。このような技術は、検出した静止物体の静止時間をある程度保証する。
特開平5−205175号公報

概要

複数の静止物体を静止時間別に分類して検出することができる静止時間識別用画像生成方法及び装置を提供する。画像幾何補正部3は、画像保存部2から過去の入力画像を所定の枚数だけ読み出し、現在の入力画像と過去の入力画像それぞれとを比較し、それぞれの比較結果に基づいて、過去の入力画像それぞれを幾何補正する。静止時間識別用画像取得部4は、現在の入力画像と幾何補正後の過去の入力画像それぞれとの間で領域ベースマッチングを行い、画素ごと又は小領域ごと類似度を求め、類似度に基づいて、複数の静止物体の像又は領域とともに静止物体それぞれの静止時間に関する情報が記入された画像である静止時間識別用画像を生成する。

目的

本発明の目的は、複数の静止物体を静止時間別に分類して検出することができる静止時間識別用画像生成方法及び装置を提供することである。

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

画像を所定の時間間隔で取得する画像取得ステップと、前記画像を前記時間間隔ごとに保存する画像保存ステップと、前記画像取得ステップで現在取得した画像と、前記画像保存ステップで保存された複数の過去の画像それぞれとを比較し、それぞれの比較結果を統合し、複数の静止物体の像又は領域とともに静止物体それぞれの静止時間に関する情報が記入された画像である静止時間識別用画像を取得する静止時間識別用画像取得ステップとを具えることを特徴とする静止時間識別用画像生成方法

請求項2

前記それぞれの比較結果を統合するときに、それぞれの比較結果に基づいて、前記静止時間識別用画像を1回以上更新することを特徴とする請求項1記載の静止時間識別用画像生成方法。

請求項3

前記比較を行うときに、画素単位マッチング又は領域ベースマッチングを行うことを特徴とする請求項1又は2記載の静止時間識別用画像生成方法。

請求項4

前記比較を行う前に、前記画像取得ステップで現在取得した画像と、前記画像保存ステップで保存された複数の過去の画像それぞれとを比較し、それぞれの比較結果に基づいて、前記画像保存ステップで保存された複数の過去の画像それぞれを幾何補正することを特徴とする請求項1から3のうちのいずれか1項に記載の静止時間識別用画像生成方法。

請求項5

前記静止時間識別用画像の中に記入された複数の静止物体の像又は領域を、静止時間別に色分けする又は明度で分けることを特徴とする請求項1から4のうちのいずれか1項に記載の静止時間識別用画像生成方法。

請求項6

画像を所定の時間間隔で取得する画像取得手段と、前記画像を前記時間間隔ごとに保存する画像保存手段と、前記画像取得手段で現在取得した画像と、前記画像保存手段で保存された複数の過去の画像それぞれとを比較し、それぞれの比較結果を統合し、複数の静止物体の像又は領域とともに静止物体それぞれの静止時間に関する情報が記入された画像である静止時間識別用画像を取得する静止時間識別用画像取得手段とを具えることを特徴とする静止時間識別用画像生成装置

技術分野

0001

本発明は、静止物体を検出する方法及び装置に係り、特に、複数の静止物体の像又は領域とともに静止物体それぞれの静止時間に関する情報が記入された画像である静止時間識別用画像を、テレビカメラなどから得られる画像信号から生成する静止時間識別用画像生成方法及び装置に関する。

背景技術

0002

これまでに、静止物体を検出する技術として、静止物体の像を抽出する技術と、一定時間静止している物体を検出する技術とが提案されている。

0003

静止物体の像を抽出する技術は、背景画像生成方法又は背景画像更新方法と呼ばれている。代表的な背景画像生成方法は、指数平滑法である。指数平滑法は、時間をtとし、入力画像をf(t)とし、背景画像をg(t)とすると、

0004

で表される。なお、αは、0以上1以下の定数である。[数1]からわかるように、指数平滑法は、入力画像を積算し、背景画像を生成する。そのため、背景画像の中には、動きのない物体の像すなわち静止物体の像だけが取り込まれる。

0005

一方、一定時間静止している物体を検出する技術の多くは、物体の静止時間を計測し、静止時間が所定のしきい値に達した静止物体だけを検出する(例えば、特許文献1)。このような技術は、検出した静止物体の静止時間をある程度保証する。
特開平5−205175号公報

発明が解決しようとする課題

0006

静止物体の像を抽出する技術として代表的な指数平滑法は、[数1]からわかるようにIIR(Infinite Impulse Response)のローパスフィルタである。そのため、抽出された静止物体の像は、理論的には静止時間が保証されない。すなわち、指数平滑法は、静止物体を検出することはできるが、静止物体の静止時間を計測することはできない。

0007

一定時間静止している物体を検出する技術の多くは、複数の静止物体を二つの静止時間の群に分類して検出すること、すなわち静止時間がある一つのしきい値以上か否かを判別して検出することはできるが、複数の静止物体を三つ以上の静止時間の群に分類して検出することはできない。

0008

本発明の目的は、複数の静止物体を静止時間別に分類して検出することができる静止時間識別用画像生成方法及び装置を提供することである。

課題を解決するための手段

0009

本発明による静止時間識別用画像生成方法は、
画像を所定の時間間隔で取得する画像取得ステップと、
前記画像を前記時間間隔ごとに保存する画像保存ステップと、
前記画像取得ステップで現在取得した画像と、前記画像保存ステップで保存された複数の過去の画像それぞれとを比較し、それぞれの比較結果を統合し、複数の静止物体の像又は領域とともに静止物体それぞれの静止時間に関する情報が記入された画像である静止時間識別用画像を取得する静止時間識別用画像取得ステップとを具えることを特徴とする。

0010

本発明による静止時間識別用画像生成装置は、
画像を所定の時間間隔で取得する画像取得手段と、
前記画像を前記時間間隔ごとに保存する画像保存手段と、
前記画像取得手段で現在取得した画像と、前記画像保存手段で保存された複数の過去の画像それぞれとを比較し、それぞれの比較結果を統合し、複数の静止物体の像又は領域とともに静止物体それぞれの静止時間に関する情報が記入された画像である静止時間識別用画像を取得する静止時間識別用画像取得手段とを具えることを特徴とする。

発明の効果

0011

本発明によれば、現在取得した画像と、保存された複数の過去の画像それぞれとを比較し、それぞれの比較結果を統合し、複数の静止物体の像又は領域とともに静止物体それぞれの静止時間に関する情報が記入された画像である静止時間識別用画像を取得する。前記静止時間識別用画像を取得することによって、複数の静止物体を静止時間別に分類して検出することができる。

0012

前記それぞれの比較結果を統合するときに、それぞれの比較結果に基づいて、前記静止時間識別用画像を1回以上更新することによって、前記保存された複数の過去の画像の中に含まれている過去の動物体の像に起因するその像の形跡が、前記静止時間識別用画像の中から排除される。また、前記静止時間識別用画像の信頼性を向上させるために、前記比較を行うときに、画素単位マッチング又は領域ベースマッチングを行うとともに、前記比較を行う前に、前記現在取得した画像と、前記保存された複数の過去の画像それぞれとを比較し、それぞれの比較結果に基づいて、前記保存された複数の過去の画像それぞれを幾何補正することが好適である。さらに、前記静止時間識別用画像の中に記入された複数の静止物体の像又は領域を、静止時間別に色分けする又は明度で分けることによって、注目すべき静止物体の像又は領域の識別が容易になる。

発明を実施するための最良の形態

0013

本発明による静止時間識別用画像生成方法及び装置の実施の形態を、図面を参照して詳細に説明する。
図1は、本発明による静止時間識別用画像生成装置の実施の形態を示す図である。本実施の形態の静止時間識別用画像生成装置は、駐車違反取り締まりにおける駐車車両監視に使用され、画像取得部1と、画像保存部2と、画像幾何補正部3と、静止時間識別用画像取得部4とを具える。

0014

画像取得部1は、所定の時間間隔Δtでテレビカメラなどから現在の入力画像を取得する。所定の時間間隔Δtを任意の正の値に設定することができ、例えば、駐車違反の取り締まりにおける駐車車両の監視の場合には1分程度に設定する。

0015

画像保存部2は、ハードディスク半導体メモリのような記憶媒体によって実現され、現在の入力画像のコピーを所定の時間間隔Δtごとに保存する。

0016

画像幾何補正部3は、画像保存部2から過去の入力画像を所定の枚数(例えば、4枚)だけ読み出し、現在の入力画像と過去の入力画像それぞれとを比較し、それぞれの比較結果に基づいて、過去の入力画像それぞれを幾何補正する。

0017

静止時間識別用画像取得部4は、現在の入力画像と幾何補正後の過去の入力画像それぞれとの間で領域ベースマッチングを行い、画素ごと又は小領域ごと類似度を求め、類似度に基づいて、複数の静止物体の像又は領域とともに静止物体それぞれの静止時間に関する情報が記入された画像である静止時間識別用画像を生成する。

0018

本実施の形態において、f(x,y,t)は、入力画像を表し、f’(x,y,t)は、幾何補正後の入力画像を表し、g(x,y,t)は、静止時間識別用画像を表し、xは、画像の水平方向の座標を表し、yは、画像の垂直方向の座標を表し、tは、時間を表す。全ての画像の幅及び高さは、xw(>0)及びyh(>0)とし、時間tと所定の時間間隔Δtとの関係は、t=m・Δt(mは整数)とする。

0019

本実施の形態において、t0は、現在を表し、t0−tiは、過去を表す(tiは、後で説明する静止時間のしきい値であり、iは、後で説明するループカウンタである)。

0020

本実施の形態において、入力画像f(x,y,t)及び幾何補正後の入力画像f’(x,y,t)はYCrCb形式とし、f=(fY,fCr,fCb)、f’=(fY’,fCr’,fCb’)とする。

0021

本実施の形態の動作を説明する。
図2は、本発明による静止時間識別用画像生成方法のフローチャートである。このフローチャートは、コンピュータによって実行されるプログラムにおいて実現される。このフローチャートは、現在の入力画像f(x,y,t0)を取得するステップSlから現在の静止時間識別用画像g(x,y,t0)を出力するステップS9までの一連の処理を示している。1枚の静止時間識別用画像が欲しい場合には、その一連の処理を1回実行すればよいので、時系列の静止時間識別用画像が欲しい場合には、t0を変えながらその一連の処理を繰り返し実行すればよい。

0022

次に、各ステップを説明する。
ステップSlにおいて、画像取得部1は、所定の時間間隔Δtでテレビカメラなどから現在の入力画像f(x,y,t0)を取得する。ステップS2において、現在の入力画像f(x,y,t0)に前処理を施す。ステップS2では、例えば、現在の入力画像f(x,y,t0)がガンマ補正されている場合にガンマ補正を解除する、というような処理を行う。

0023

ステップS3において、画像保存部2は、現在の入力画像f(x,y,t0)のコピーを保存する。

0024

ステップS4において、静止時間識別用画像取得部4は、静止時間識別用画像g(x,y,t0)や各種のパラメータなどを初期化する。ステップS4では、例えば、現在の入力画像f(x,y,t0)の全画素値を静止時間識別用画像g(x,y,t0)上に上書きして静止時間識別用画像g(x,y,t0)の全領域を緑色の濃淡にする、ループカウンタi(>0)を1にする、ループカウンタの上限値n(>i)を設定する、静止時間のしきい値tl,t2,...,tn(0<tl<t2...<tn)を設定する、類似度のしきい値sthを設定する、というような処理を行う。ループカウンタの上限値nは、図4の例では4である。類似度のしきい値sthは、その適切な値が、後述する類似度sの種類や、入力画像f(x,y,t)の性質に依存するので、ここではその具体的な値を示さない。

0025

ステップS5において、画像幾何補正部3は、画像保存部2から過去の入力画像f(x,y,t0−ti)を読み出す。ステップS6において、過去の入力画像f(x,y,t0−ti)を幾何補正する。ステップS6では、現在の入力画像f(x,y,t0)の像全体に対する過去の入力画像f(x,y,t0−ti)の像全体の位置ずれを、過去の入力画像f(x,y,t0−ti)の像全体を水平方向及び垂直方向にシフトさせて補正する。像全体をシフトさせるときに、新たな値が充填されない画像端部の画素には、例外的な値(例えば、(fY’,fCr’,fCb’)=(0,0,0))を充填する。像全体の位置ずれ(Δx,Δy)は、

0026

と、

0027

とを用いて求められる。水平方向の位置ずれΔxは、Dxの最小値を与えるuとし、垂直方向の位置ずれΔyは、Dyの最小値を与えるvとする。ここで、(xC,yC)は、画像内の座標であり、0<xmin<xmax<xw及び0<ymin<ymax<yhである。像全体の位置ずれ(Δx,Δy)を求めるときに、[数2]及び[数3]の代わりに、

0028

を用いてもよい。ここで、

0029

であり、

0030

であり、

0031

であり、

0032

であり、

0033

である。[数4]を用いる場合には、像全体の位置ずれ(Δx,Δy)は、Rの最大値を与える(u,v)とする。像全体の位置ずれ(Δx,Δy)を求めるときには、[数2]及び[数3]と[数4]のうちのいずれか一方を用いればよいが、それ以外の相違度又は類似度を用いてもよい。

0034

ステップS7において、静止時間識別用画像取得部4は、静止時間識別用画像g(x,y,t0)を更新する。ステップS7では、現在の入力画像f(x,y,t0)と幾何補正後の過去の入力画像f’(x,y,t0−ti)との間で領域ベースマッチングを行い、画素ごと又は小領域ごとに類似度sを求め、類似度sが類似度のしきい値sth以上になる領域に限り、静止時間識別用画像g(x,y,t0)の画素値を現在のループカウンタの値iに対応する色の濃淡に変更する。ループカウンタの値i=1、i=2、i=3及びi=4に対応する色は、それぞれ黄色、赤色、灰色及び灰色とする。座標(x1,yl)の類似度s又は座標(x1,yl)を中心とする小領域内の類似度sは、座標(x1,yl)を中心とする幅dx(0<dx<xw)及び高さdy(0<dy<yh)を有する領域ベースマッチング用の窓の間の類似度sとする。図3は、領域ベースマッチング用の窓に関する説明図である。なお、小領域ごとに類似度sを求める場合には、小領域の大きさや小領域の総数を、使用するハードウェアの性能などを考慮して決定することができる。画素ごとに類似度sを求める場合には、類似度s(x,y)は、

0035

を用いて求められる。ここで、

0036

であり、

0037

であり、

0038

であり、

0039

であり、

0040

であり、

0041

であり、

0042

であり、

0043

であり、

0044

である。ここで、wY(>0)、wCr(>0)及びwCb(>0)は、YCrCbの各成分に対する重みである。

0045

類似度s(x,y)を求めるときに、[数10]の代わりに、

0046

を用いてもよい。ここで、

0047

0048

0049

であり、

0050

であり、

0051

であり、

0052

であり、

0053

であり、

0054

であり、

0055

である。

0056

[数10]及び[数20]に示した類似度s(x,y)は、画像を取得する時の照明の明るさ及びカメラアイリス又はカメラのゲインに強く依存しないという特徴を有する。類似度s(x,y)を求めるときには、[数10]と[数20]のうちのいずれか一方を用いればよいが、それ以外の類似度を用いてもよい。小領域ごとに類似度sを求める場合には、小領域の中央の座標(xd,yd)ごとに類似度s(xd,yd)を求め、それらをそれぞれの小領域の類似度sとすればよい。

0057

ステップS8において、静止時間識別用画像取得部4は、ループカウンタiとループカウンタの上限値nとを比較し、この比較結果に基づいて、次のステップを選択する。すなわち、ループカウンタiがループカウンタの上限値n未満の場合には、ループカウンタiを1だけ増加させてステップS5に戻り、ループカウンタiがループカウンタの上限値n以上の場合には、ステップS9に進む。

0058

ステップS9において、静止時間識別用画像取得部4は、現在の静止時間識別用画像g
(x,y,t0)をテレビモニタなどに出力する。
以上が各ステップの説明である。

0059

図4は、静止時間識別用画像の生成過程に関する説明図である。本実施の形態によれば、現在の静止時間識別用画像g(x,y,t0)の中に含まれている動物体及び静止物体の像は、静止時間別に次のように色分けされる。
・静止時間がtl未満の動物体の像は、緑色の濃淡
・静止時間がtl以上t2未満の静止物体の像は、黄色の濃淡
・静止時間がt2以上t3未満の静止物体の像は、赤色の濃淡
・静止時間がt3以上の静止物体の像は、灰色の濃淡
そのため、現在の静止時間識別用画像g(x,y,t0)を見れば、現在の入力画像f(x,y,t0)の中に存在する静止物体とその静止時間とが一目でわかる。

0060

通常、幾何補正後の過去の入力画像f’(x,y,t0−ti)の中には、静止物体の像だけでなく、過去の動物体の像が含まれている。そのため、静止時間識別用画像の生成方法として単純な方法を用いた場合には、過去の動物体の像に起因するその像の形跡が、静止時間識別用画像の中に残ってしまう。しかし、本実施の形態の方法を用いた場合には、過去の動物体の像に起因するその像の形跡が、最後の更新を終えた現在の静止時間識別用画像g(x,y,t0)の中から排除される。例えば、図4に示す例では、幾何補正後の過去の入力画像f’(x,y,t0−tl)及びf’(x,y,t0−t3)の中には、過去の動物体の像であるトラック及び乗用車の像が含まれているが、そのトラック及び乗用車の像に起因するその像の形跡は、最後の更新を終えた現在の静止時間識別用画像g(x,y,t0)の中から排除されている。

0061

本実施の形態によれば、過去の入力画像f(x,y,t0−ti)及び幾何補正後の過去の入力画像f’(x,y,t0−ti)の中に、過去の動物体の像が含まれていたとしても、過去の動物体の像に起因するその像の形跡を排除して、現在の入力画像f(x,y,t0)に対応する現在の静止時間識別用画像g(x,y,t0)を生成することができる。

0062

本発明は、上記実施の形態に限定されるものではなく、幾多の変更及び変形が可能である。
上記実施の形態おいて、駐車違反の取り締まりにおける駐車車両の監視の場合について説明したが、本発明を、例えば、不審物の検出、不法投棄摘発駐車場又は駐輪場の管理、商品陳列棚の変化の可視化などの他の用途に適用することができる。

0063

上記実施の形態において、入力画像f(x,y,t)及び幾何補正後の入力画像f’(x,y,t)をYCrCb形式としたが、これらをYCrCb形式以外のカラー画像や、明度のみの濃淡画像とすることができる。濃淡画像の場合には、重みwYを1とするとともに、重みwCr,及び重みwCbを0とする。

0064

上記実施の形態において、ステップS4でループカウンタiを1にして、ステップS8でループカウンタiを1だけ増加させるようにしているが、逆に、ステップS4でループカウンタiをループカウンタの上限値nにして、ステップS8でループカウンタiを1だけ減少させるようにしてもよい。この場合、その変更に合わせるように、ステップS4、ステップS7及びステップS8の処理内容を変更する必要がある(詳細については割愛する)。

0065

上記実施の形態において、現在の静止時間識別用画像g(x,y,t0)の中に含まれている動物体及び静止物体の像を、静止時間別に、緑色、黄色、赤色及び灰色に色分けしているが、現在の静止時間識別用画像g(x,y,t0)は、複数の静止物体の像又は領域とともに静止物体それぞれの静止時間に関する情報が記入された画像であれば、どのような形式の画像であってもよい。

0066

さらに、静止時間が所定のしきい値(例えば、駐車違反の取り締まりにおける駐車車両の監視の場合は30分)に達した静止物体を検出した場合には、特別な表示(例えば、アラーム)を出すようにすれば、本発明は、監視の省力化にさらに寄与することができる。

0067

本発明は、駐車違反の取り締まりにおける駐車車両の監視、不審物の検出、不法投棄の摘発、駐車場及び駐輪場の管理、商品陳列棚の変化の可視化など、複数の静止物体を静止時間別に分類して検出する全てのアプリケーションに適用することができる。

図面の簡単な説明

0068

本発明による静止時間識別用画像生成装置の実施の形態を示す図である。
本発明による静止時間識別用画像生成方法のフローチャートである。
領域ベースマッチング用の窓に関する説明図である。
静止時間識別用画像の生成過程に関する説明図である。

符号の説明

0069

1画像取得部
2画像保存部
3 画像幾何補正部
4静止時間識別用画像取得部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ