図面 (/)

技術 画像処理装置

出願人 セコム株式会社
発明者 佐川龍之黒川高晴
出願日 2012年1月12日 (9年5ヶ月経過) 出願番号 2012-003747
公開日 2013年7月22日 (7年10ヶ月経過) 公開番号 2013-143069
状態 特許登録済
技術分野 スタジオ装置 閉回路テレビジョンシステム 警報システム イメージ分析 盗難警報装置
主要キーワード 混合情報 配置物 移動先領域 配置変化 加工対象領域 隠蔽部分 更新対象領域 変化領域内
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2013年7月22日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (8)

課題

監視空間にて人が配置物を動かす際、監視画像には配置物と一体の変化領域を生じるので、当該変化領域を一律にプライバシー加工すると人や台車の形状が視認しづらい。

解決手段

記憶部3に配置物を含む背景画像30を記憶させる。変化領域抽出部40は背景画像30と入力画像との間における変化領域を求める。配置変化検知部42は背景画像30と入力画像とを照合して、変化領域のうち配置物の移動により生じた配置物由来領域を求める。マスク画像生成部44は変化領域内の入力画像にマスク処理を施す際、配置物由来領域をマスク処理の対象から除外する。

概要

背景

監視画像中において人物等をプライバシー保護加工して表示するために、画像中の人物領域を抽出する必要がある。従来、背景画像入力画像との差分処理によって変化領域を抽出し、当該変化領域を人物領域としてプライバシー保護加工を施していた。

概要

監視空間にて人が配置物を動かす際、監視画像には配置物と一体の変化領域を生じるので、当該変化領域を一律にプライバシー加工すると人や台車の形状が視認しづらい。記憶部3に配置物を含む背景画像30を記憶させる。変化領域抽出部40は背景画像30と入力画像との間における変化領域を求める。配置変化検知部42は背景画像30と入力画像とを照合して、変化領域のうち配置物の移動により生じた配置物由来領域を求める。マスク画像生成部44は変化領域内の入力画像にマスク処理を施す際、配置物由来領域をマスク処理の対象から除外する。

目的

本発明は、上記問題を鑑みてなされたものであり、プライバシー保護と監視性とを両立できる監視画像が得られる画像処理装置を提供する

効果

実績

技術文献被引用数
3件
牽制数
1件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

監視空間内を撮像した入力画像を順次入力され、前記入力画像にプライバシー保護のためのマスク処理を施す画像処理装置であって、前記監視空間に置かれた配置物を含む背景が撮像された前記監視空間の背景画像を記憶する記憶部と、前記背景画像と前記入力画像との間における変化領域を求める変化領域抽出部と、前記変化領域内の前記入力画像に前記マスク処理を施すマスク処理部と、前記背景画像と前記入力画像とを照合して、前記変化領域のうち前記配置物の移動により生じた配置物由来領域を求める配置変化領域特定部と、を備え、前記マスク処理部は、前記配置物由来領域を前記マスク処理の対象から除外すること、を特徴とする画像処理装置。

請求項2

請求項1に記載の画像処理装置において、前記配置変化領域特定部は、前記背景画像と前記入力画像との間にて互いに画像特徴が類似する対応点を検出して当該対応点間の移動量を算出し、当該移動量が所定値以上である前記対応点の位置から前記配置物由来領域を検出すること、を特徴とする画像処理装置。

請求項3

請求項2に記載の画像処理装置において、前記配置変化領域特定部は、前記入力画像側の前記対応点の位置から前記配置物の移動先に生じた前記配置物由来領域を検出すること、を特徴とする画像処理装置。

請求項4

請求項2又は請求項3に記載の画像処理装置において、前記配置変化領域特定部は、前記背景画像側の前記対応点の位置から前記配置物の移動元に生じた前記配置物由来領域を検出すること、を特徴とする画像処理装置。

請求項5

請求項4に記載の画像処理装置において、前記配置変化領域特定部は、前記移動元に生じた前記配置物由来領域の前記背景画像を前記配置物のテンプレートとして登録し、当該登録後にて当該テンプレートを用いたマッチング処理により前記入力画像における前記配置物由来領域を検出すること、を特徴とする画像処理装置。

技術分野

0001

本発明は、監視画像プライバシー保護処理を施す画像処理装置に関する。

背景技術

0002

監視画像中において人物等をプライバシー保護加工して表示するために、画像中の人物領域を抽出する必要がある。従来、背景画像入力画像との差分処理によって変化領域を抽出し、当該変化領域を人物領域としてプライバシー保護加工を施していた。

先行技術

0003

特開2009−225398号公報

発明が解決しようとする課題

0004

しかし、人が椅子台車など監視空間内にもともと存在していた配置物を動かすと、人と配置物とがひとかたまりの変化領域として検出されてしまう。そのため変化領域を一律にプライバシー加工すると人や台車の形状が視認しづらく、監視員が不審行動の有無などの状況を把握しづらい問題があった。この場合、監視員が状況を把握するためには加工前の監視画像を確認するための手続きをとる必要が生じ、監視性が低下していた。また、この場合、加工前の監視画像の確認によりプライバシーを損ねるおそれがあった。また、配置物は監視空間ごとに異なるため、配置物の領域を検出するために事前に配置物の情報を記憶させておくことも困難であった。

0005

本発明は、上記問題を鑑みてなされたものであり、プライバシー保護と監視性とを両立できる監視画像が得られる画像処理装置を提供することを目的とする。

課題を解決するための手段

0006

本発明に係る画像処理装置は、監視空間内を撮像した入力画像を順次入力され、前記入力画像にプライバシー保護のためのマスク処理を施すものであって、前記監視空間に置かれた配置物を含む背景が撮像された前記監視空間の背景画像を記憶する記憶部と、前記背景画像と前記入力画像との間における変化領域を求める変化領域抽出部と、前記変化領域内の前記入力画像に前記マスク処理を施すマスク処理部と、前記背景画像と前記入力画像とを照合して、前記変化領域のうち前記配置物の移動により生じた配置物由来領域を求める配置変化領域特定部と、を備え、前記マスク処理部は、前記配置物由来領域を前記マスク処理の対象から除外する。

0007

他の本発明に係る画像処理装置においては、前記配置変化領域特定部は、前記背景画像と前記入力画像との間にて互いに画像特徴が類似する対応点を検出して当該対応点間の移動量を算出し、当該移動量が所定値以上である前記対応点の位置から前記配置物由来領域を検出する。

0008

また、前記配置変化領域特定部は、前記配置変化領域特定部は、前記入力画像側の前記対応点の位置から前記配置物の移動先に生じた前記配置物由来領域を検出する構成とすることができる。

0009

さらに、前記配置変化領域特定部は、前記背景画像側の前記対応点の位置から前記配置物の移動元に生じた前記配置物由来領域を検出する構成とすることができる。

0010

さらに、前記配置変化領域特定部は、前記移動元に生じた前記配置物由来領域の前記背景画像を前記配置物のテンプレートとして登録し、当該登録後にて当該テンプレートを用いたマッチング処理により前記入力画像における前記配置物由来領域を検出するものとすることもできる。

発明の効果

0011

本発明によれば、監視空間内の人物が配置物を動かしたときも当該人物のプライバシーを保護しつつ監視空間の状況を把握しやすい監視画像が得られる。

図面の簡単な説明

0012

本発明の実施形態に係る画像監視装置の概略の構成を示すブロック図である。
背景フロー検出部の処理を説明する模式図である。
本発明の実施形態に係る画像監視装置の概略の動作を示すフロー図である。
背景フロー検出処理の概略のフロー図である。
移動元の変化領域と移動先の変化領域とが同一の場合及び異なる場合の例を示す模式的な画像である。
追跡中の配置物の変化領域が写る連続する3時刻における入力画像及び当該画像に対応して抽出される変化領域の例の模式図である。
本発明の実施形態に係る画像監視装置によりマスク画像が生成される過程を具体例を用いて説明する模式図である。

実施例

0013

以下、本発明の実施の形態(以下実施形態という)である画像監視装置1について、図面に基づいて説明する。

0014

監視空間には、人が出入りするほか、予め配置され人により動かされ得る物品(以下、配置物と称する)が存在する。例えば、監視空間は部屋であり、また配置物は監視空間の備品設備、或いは一時置きされた物品であり、一例として椅子や台車などが配置物となる。

0015

配置物は通常時は静止して監視空間の背景の一部を成しており、通常時は配置物による変化領域は抽出されない。しかし配置物が人により動かされると配置物と人とが一体化した変化領域が抽出されてしまう。画像監視装置1は、このような変化領域の中から配置物の動きにより生じた配置物由来領域を分離検出することで、監視及びプライバシー保護に適した画像加工処理を行う。

0016

[画像監視装置1の構成]
図1は、画像監視装置1の概略の構成を示すブロック図である。画像監視装置1は撮像部2、記憶部3、制御部4及び出力部5を含んで構成される。このうち制御部4が本発明に係る画像処理装置であり、撮像部2、記憶部3及び出力部5は制御部4に接続される。

0017

撮像部2は監視カメラであり、監視空間を所定の時間間隔撮影する。撮影された監視空間の監視画像(入力画像)は順次、制御部4に入力される。背景画像を用いて配置物や人の位置、移動を把握するため、撮像部2はこれらを俯瞰撮影可能な高さに視野を固定して設置される。例えば、本実施形態では撮像部2は部屋の天井部に固定設置される。監視画像が撮像される時間間隔は例えば1/5秒である。以下、この撮像の時間間隔で刻まれる時間の単位を時刻と称し、最新の時刻を現時刻、現時刻の入力画像を現画像、現時刻より一時刻前の入力画像を直前画像と呼ぶ。

0018

記憶部3はROM(Read Only Memory)、RAM(Random Access Memory)等の記憶装置である。記憶部3は各種プログラムや各種データを記憶し、制御部4との間でこれらの情報を入出力する。各種データには背景画像30、直前画像31、配置物情報32及び領域情報33が含まれる。

0019

背景画像30は監視空間の背景の像のみが含まれ、人の像が含まれていない画像である。背景画像30はマスク画像の生成処理に先立って生成され、記憶部3に格納される。具体的には人などの移動物体が監視空間内に存在しない状態で撮像された入力画像を背景画像30とすることができ、この背景画像30には配置物の像が含まれ得る。また、背景画像30はマスク画像の生成処理の途中にて適宜更新される。

0020

直前画像31は現時刻の一時刻前の入力画像であり、各時刻に入力される現画像が次時刻における直前画像31として記憶部3に書き込まれる。

0021

配置物情報32は各配置物の識別番号、配置物の状態(配置物状態)、監視画像における当該配置物の位置と領域、及び当該配置物の画像特徴を含む。配置物が動かされて当該配置物が検知されると、当該配置物の配置物情報32が作成される。配置物の移動中において画像監視装置1は当該配置物の位置を追跡し、配置物情報32として位置の履歴が記憶される。配置物状態を示す属性として追跡中と移動完了とが定義される。画像特徴には、配置物の像全体の特徴を表す色ヒストグラムなどの他、配置物の像の中で特徴的な一部を表す特徴点が含まれる。

0022

領域情報33は各変化領域の識別番号、及び当該変化領域が配置物を含むか否かの別を示す情報を含む。

0023

制御部4は、監視空間内を撮像した入力画像を順次入力され、後述するようにマスク処理による隠蔽部分を含む画像を生成する画像処理装置として機能する。制御部4はCPU(Central Processing Unit)、DSP(Digital Signal Processor)、MCU(Micro Control Unit)等の演算装置を用いて構成され、記憶部3からプログラムを読み出して実行し、変化領域抽出部40、背景フロー検出部41、配置変化検知部42、背景画像生成部43及びマスク画像生成部44等として機能する。

0024

変化領域抽出部40は入力画像と背景画像とを比較してそれらの間での変化領域を抽出し、抽出された変化領域の情報を背景フロー検出部41及び配置変化検知部42へ出力する。変化領域の抽出は公知の背景差分処理又は背景相関処理により行うことができる。すなわち、入力画像と背景画像との間における同一座標画素の値の相違度(差又は相関値)を算出し、相違度がしきい値を超える画素を変化画素として検出する。そして、互いに隣接する変化画素をまとめ、まとめた領域を変化領域として抽出する。検出のしきい値は事前実験等に基づいて予め設定される。なお、1〜数画素程度の領域はノイズであるとして抽出対象から除外する。

0025

抽出される変化領域には、配置物の配置変化により生じる変化領域、人の存在及び移動により生じる変化領域が含まれる。人による配置物の配置変化の進行中には、配置物と人とが一体化した変化領域が抽出される。また、配置物の移動に由来する変化領域(配置物由来領域)として、現画像にて配置物が存在する領域(移動先領域)の他、背景画像30にて配置物が存在した領域(移動元領域)が抽出される。以下、この配置物由来の変化領域のうち配置物の像の痕跡である移動元領域をゴーストと称する。ここで、配置変化の初期には配置物と人とゴーストとが一体化した変化領域が抽出され得る。

0026

背景フロー検出部41及び配置変化検知部42は背景画像と現画像とを照合して、変化領域抽出部40より抽出された変化領域のうち配置物由来領域を特定する配置変化領域特定部として機能する。本実施形態においては、照合は画像特徴が互いに類似する対応点を検出することにより行われる。

0027

背景フロー検出部41は背景画像30と現画像とで互いに画像特徴が類似する対応点を検出し、当該対応点間の動きベクトルである背景フローを検出する。背景画像30及び現画像には共に配置物の像が含まれており、配置物が移動すると背景画像30と現画像の対応点間に配置物の移動に応じた移動量(動きベクトル)が算出される。このとき現画像には配置物を動かしている人物の像が含まれるが、背景画像30は当該人物の像を含んでいないため基本的に人の背景フローは検出されない。よって、背景フロー検出部41が求める移動量を用いれば高精度に配置変化の有無を判定でき、対応点の位置から配置物由来領域が特定できる。なお、配置変化が生じていないときは0又は0とみなせる誤差程度の移動量しか算出されない。

0028

入力画像間で算出する動きベクトルは一般にオプティカルフローと呼ばれるが、背景フローは背景画像30と入力画像との間で算出する点で一般的なオプティカルフローとは異なる。以下、背景フローと区別して、直前画像31と現画像との間で算出する一般的なオプティカルフローを入力フローと呼ぶ。

0029

具体的には、背景フロー検出部41は、背景画像30及び現画像のうち一方の画像(基準画像)上に複数の注目点を設定すると共に他方の画像(比較画像)において各注目点と画像特徴が最も類似する最類似点を検出し、注目点と最類似点とを結ぶベクトル(動きベクトル)を算出する。画像特徴としては注目点及び最類似点の候補のそれぞれを中心とする所定サイズ(例えば5×5画素)のブロックを設定して、ブロック内の色分布輝度勾配又は濃淡分布などを用いることができる。ちなみに、背景画像30側の対応点が当該動きベクトルの始端、現画像側の対応点が終端である。

0030

なお、配置変化領域特定部の目的を鑑みて、注目点を設定する範囲は、画像全体ではなく画像変化が生じた部分、すなわち変化領域抽出部40によって得られる変化領域の内側とするのがよい。これにより、配置物以外の背景フローを誤検出する誤りが減少し、処理量も削減できる。

0031

背景フロー検出部41は撮像部2から現画像が入力されるたびに背景フローを算出して配置変化検知部42へ出力する。

0032

配置物由来領域の形状を詳細に特定するためには各画素を注目点に設定して空間的に高密度な背景フロー(密背景フロー)を検出するのが望ましいが、全ての時刻において画素単位で検出すると処理の負荷が大きくなる。形状を詳細に特定するのは配置変化が生じているときだけで十分であり、配置変化の有無は画素単位よりも低密度な背景フロー(疎背景フロー)でも検知できる。疎背景フローは、基準画像上の特徴点を注目点に設定して検出することができる。

0033

すなわち、背景フロー検出部41は、配置変化検知のために、各時刻において基準画像から特徴点を抽出して当該特徴点を注目点に設定することにより疎背景フローを検出し、配置物由来領域の特定のために、配置変化が検知されたときに各画素を注目点に設定して密背景フローを検出する。これにより配置変化が検知されていない時刻において対応点検出処理負荷が軽減される。なお、特徴点としてはブロッブ(blob)を利用することができ、他にもコーナー(corner)、サブピクセルコーナー(subpixel corner)などの各種特徴点が利用可能である。

0034

背景フロー検出部41は、比較画像上で探索処理を行って最類似点を検出する構成とすることができる。この探索にはルーカスカナデ(Lucas-Kanade)法などの最急降下法など種々の探索方法が適用可能である。

0035

ここで、前述したように配置物移動時の入力画像には人の像が含まれており、入力画像上の人の像が背景画像30の一部に類似した特徴を有していると、背景の一部と人との間に背景フローが誤検出され得る。

0036

一方、配置物の移動開始時の現画像及びその直前画像31は共に同一人物の像を含んでおり、同一人物の像同士は当該人物と背景よりも類似することが期待できる。そのため、背景フローと比較して入力フローでは人物と背景との間に動きベクトルが誤検出されにくい。

0037

この性質に着目し、本実施形態の背景フロー検出部41は入力フローを検出する入力フロー検出部410と、入力フローと一致する背景フローを選定する背景フロー選定部411とを備え、選定した背景フローを出力することで人の影響による背景フローの誤検出を低減する。以下、これらについて説明する。

0038

入力フロー検出部410は相前後する入力画像である直前画像31(先行入力画像)と現画像(後続入力画像)とで互いに画像特徴の類似する対応点を検出する。具体的には、現画像及び直前画像31のうち、一方の画像上に複数の注目点を設定すると共に他方の画像において各注目点に特徴が最も類似する最類似点を検出し、注目点と最類似点とを結ぶ動きベクトルを算出し入力フローとする。ちなみに、直前画像31側の対応点が当該動きベクトルの始端、現画像側の対応点が終端である。算出した入力フローは背景フロー選定部411へ出力される。

0039

なお、注目点の設定及び最類似点の検出は上述した背景フローの検出における処理と同様に行うことができる。すなわち、入力フロー検出部410は、配置変化検知に供する低密度な入力フロー(疎入力フロー)を検出するために、各時刻において一方の画像から特徴点を抽出して当該特徴点を注目点に設定し、配置物由来領域の特定に供する高密度な入力フロー(密入力フロー)を検出するために配置変化が検知されたときに各画素を注目点に設定する。また、このとき入力フロー検出部410は、処理量を削減するために、変化領域抽出部40によって得られる変化領域の内側にのみ注目点を設定することができる。そして、入力フロー検出部410は、他方の画像上で探索処理を行って最類似点を検出する。

0040

背景フロー選定部411は入力フロー検出部410により検出された動きベクトル(入力フロー)と一致する背景フローを選定する。

0041

ここで、入力フローの検出とは独立して背景フローの検出を別途行い、それにより得られた背景フローと入力フローとの一致判定を行なうこともできるが、この方法では背景フローを検出するために処理量の多い類似点探索処理を行わなくてはならない。

0042

そこで、検出すべき背景フローは入力フローに包含されること、並びに背景フロー及び入力フローの元データのうち現画像は共通であることに着目して、本実施形態の背景フロー選定部411では背景フロー選定の処理方法を工夫し処理負荷の軽減を図っている。具体的には、背景フロー選定部411は、入力フロー検出部410により検出された各入力フローの始端の位置での直前画像31の画像特徴と、当該位置での背景画像30の画像特徴とが一致するか否かを判定し、一致すると判定された入力フローに相当する動きベクトルを背景フローと定める。すなわち、入力フローの始端・終端に基づいて背景フローの始端・終端を定義する。なお、直前画像31と背景画像30との間には照明変動やノイズによる微小変化が生じ得ることを考慮して始端の微小なずれ(例えば1画素分)は許容して一致判定を行なう。

0043

配置変化検知部42は、背景フロー検出部41が検出した背景フロー又は入力フローに基づいて配置物移動開始の検知、配置物由来領域の検出、及び配置物の追跡を行う。

0044

配置変化検知部42は移動量、すなわちベクトルの大きさが予め設定した動き検出しきい値Ts以上の疎背景フローが検出されたときに配置物が移動開始した、つまり配置変化が生じたと判定する。この判定は各時刻において行われる。ここでTsは微小な照明変動により検出される誤差程度の背景フローを除外するための値であり、例えば2,3画素相当の大きさとすることができる。また、検知精度を上げるために、方向、数、位置の条件を加えて、同一変化領域から移動量がTs以上で同一方向の疎背景フローが所定数Tn(例えば10)以上検出されたときに配置物が移動開始したと判定してもよい。

0045

配置変化検知部42は配置物の移動開始が検知されたとき、背景フロー検出部41が検出した密背景フローを参照して、移動量が動き検出しきい値Ts以上の対応点の位置を配置物由来領域として検出する。動き検出しきい値Tsには上述したように誤差程度の背景フローを除外できる値が予め設定される。またさらに配置変化検知部42は、配置物の追跡中に、背景フロー検出部41が検出した密入力フローを参照して、その対応点の位置を配置物由来領域として検出する。これらのために、配置変化検知部42は、配置物由来領域のうち配置物領域(移動先領域)を検出する配置物領域検出部420と、配置物由来領域のうちゴースト(移動元領域)を検出するゴースト検出部421とを備える。

0046

配置物領域検出部420は、配置物の移動開始が検知されたとき、移動量が動き検出しきい値Ts以上である密背景フローの現画像側の対応点の位置、つまり終端の位置を配置物の移動先領域である配置物領域として検出する。上述したように対応点は変化領域内にて検出されている。よって、変化領域の一部分であり、密背景フローの終端の画素の集まりが配置物移動開始時の配置物領域として検出される。また、配置物が手前に移動したときなど画像上の大きさや向きが変わると終端間に隙間が生じるため配置物領域検出部420は終端の画素の集まりに穴埋め処理膨張処理してさらに収縮処理)を施す。そして、検出した配置物領域に新しい識別番号と、配置物状態として「追跡中」の属性とを付与して配置物情報32に登録する。

0047

また、配置物領域検出部420は配置物を追跡中のとき、背景フロー検出部41から得られる密入力フローのうち直前画像にて検出されている配置物領域内に始端があるものを抽出し、この抽出した密入力フローについて現画像における変化領域内にて検出される終端の集合を現時刻の配置物領域として検出する。なお、その際、停止中の配置物の領域も検出するためにゼロベクトルの密入力フローも検出に用い、また終端間の隙間を排除するために終端の集まりに穴埋め処理を施す。

0048

以上により、配置物領域と人物領域とが一体化した変化領域から配置物領域及び人物領域を分離して検出できる。

0049

ゴースト検出部421は背景フローの背景画像側の対応点の位置に基づいてゴーストを検出する。ゴースト検出部421の処理はゴーストが配置物領域及び人物領域と一体化した混合状態のときの処理と、ゴーストが配置物領域及び人物領域から分離した分離状態のときの処理の2種類がある。

0050

疎背景フローの始端及び終端が同一変化領域にある場合は、ゴーストが混合状態である。この場合、ゴースト検出部421は移動量が動き検出しきい値Ts以上である密背景フローの背景画像側の対応点の位置、つまり始端の位置をゴーストとして検出する。また始端間の隙間を排除するために始端の集まりに穴埋め処理を施す。これにより、ゴーストが配置物領域や人物領域と一体化した変化領域の中からゴーストだけを分離して検出できる。

0051

一方、背景フローの始端及び終端が異なる変化領域に分離して存在する場合は、ゴーストが分離状態である。この場合、ゴースト検出部421は移動量が動き検出しきい値Ts以上である疎背景フローの背景画像側の対応点の位置、つまり始端が検出された変化領域をゴーストとして検出する。つまり、分離状態であれば密背景フローを用いるまでもなく、疎背景フローのみで負荷をかけずにゴーストが検出できる。

0052

配置物追跡部422は直前画像から検出された配置物領域と現画像から検出された変化領域とが疎入力フローで結ばれていれば同一配置物を含む領域として対応付ける。なお、停止中の配置物についても対応付けるためにゼロベクトルの疎入力フローも対応付けに用いる。

0053

また、配置物追跡部422は、同一配置物を含む変化領域同士で位置・形状を比較し、ほぼ同一の位置・形状のときに当該配置物が視野内にて移動完了したと判定する。この場合には、配置物情報32の配置物状態として「視野内にて移動完了」の属性が付与され、その配置物は追跡対象から外れる。同一の位置・形状か否かは例えば、両変化領域の重複度に基づいて判定でき、当該重複度をしきい値処理し、重複度が高い場合を同一位置・形状とすることができる。

0054

一方、直前画像から検出された配置物領域と対応付く配置物領域が現画像から検出されない場合は、配置物追跡部422は当該配置物が視野外へ移動完了したと判定する。この場合には、配置物状態として「視野外に移動完了」の属性が付与され、追跡対象から外れる。なお、この場合には、持ち出しの旨を表す異常信号を出力部5に出力してもよい。

0055

図2は背景フロー検出部41及び配置変化検知部42の処理を説明する模式図であり、背景画像200、直前画像210及び現画像220の具体例に基づいて背景フロー及び配置物由来領域の検出処理を示している。

0056

背景画像200には配置物として椅子201(像201a)が存在し、また、当該背景画像200は誤検出の原因となり得る背景物202(像202a)を含んでいる。

0057

直前画像210及び現画像220には、椅子201及び背景物202に加えて、人203が写っている。当該人203には背景物202に類似する色を有した部分が存在する。直前画像210では、まだ配置変化は生じておらず、椅子201(像201b)の位置は背景画像200と同一であり、人203(像203b)は椅子201にまだ接していない。一方、現画像220は人203(像203c)が椅子201に接した状態であり、椅子201(像201c)が配置変化を開始している。背景物202(像202c)は元の位置に留まっている。

0058

模式的な画像230,240はそれぞれ背景フロー、入力フローを矢印で示している。画像230,240には、現画像220及び直前画像210それぞれと背景画像200との間での変化領域の輪郭を示している。具体的には、変化領域として、現画像220から椅子201と人203とが一体化した変化領域231が抽出され、背景画像200から椅子201のゴースト232が抽出される。また直前画像210からは人203の変化領域233が抽出される。

0059

画像230に示される背景フローには、椅子201の動きによる背景フロー234の他に、椅子201と人203との間に誤った背景フロー235が検出され、背景物202と人203との間に誤った背景フロー236が検出されている。

0060

画像240に示される入力フローでは、椅子201の動きによる入力フロー241と人203の動きによる入力フロー242とが検出される。ここで、椅子201と人203との類似度合いよりも人203同士の類似度合いの方が高いために、誤った背景フロー235に対応する入力フローは検出されない。また、背景物202と人203との類似度合いよりも人203同士の類似度合いの方が高いために、誤った背景フロー236に対応する入力フローも検出されない。

0061

ちなみに、椅子201の入力フロー241と人203の入力フロー242とは、互いに近い位置でほぼ同じ向き及び大きさで検出される。そのため、配置物の入力フローを人の入力フローと識別するのは困難である。よって、入力フローのみから配置物由来領域を特定するのは困難である。

0062

模式的な画像250は、画像230に示す背景フローのうち画像240に示す入力フローと一致するものを示しており、当該背景フローが背景フロー検出部41により検出される。つまり、画像230に示す背景フローのうち椅子201の動きによる背景フロー234が、画像240に示す椅子201の動きによる入力フロー241と共通し、これが背景フロー251として選定される。一方、画像230に示す誤った背景フロー235,236は画像240の入力フローと共通しないので除外される。

0063

こうして選定された背景フロー251の終端の位置から配置物領域が特定され、始端の位置からゴーストが特定される。

0064

なお、上述したように背景フローと入力フローとを別々に生成して、それらの共通するものを背景フローとして選ぶ構成とすることもできるが、本実施形態の背景フロー選定部411は入力フローのうち、始端が背景画像200の同一位置と同じ画像特徴を有するものを背景フローとして選定する構成として、背景フロー検出に伴う処理負荷の軽減を図っている。当該構成では背景フロー234を求める処理負荷が軽減されると共に、入力フローには生じない動きベクトルである誤った背景フロー235,236を検出する無駄が省かれる。

0065

また、ここでは背景物202は位置や輝度を変えず変化領域を生じないとしているので、背景フローと入力フローとを別々に生成して共通するものを背景フローとする構成においても、注目点又は類似点の探索範囲を変化領域に限定する上述の処理とすれば、誤った背景フロー236の検出は防止できる。

0066

背景画像生成部43は、画像監視装置1の起動時等の初期化処理として、無人時の入力画像を背景画像30として登録する。また背景画像生成部43は画像監視装置1の動作中にて、入力画像を用いて適宜、背景画像30を更新する背景画像更新部として機能する。具体的には、現画像と背景画像30との間の変化領域以外の領域について、背景画像30を現画像で置換したり、背景画像30と現画像とを加重平均して更新したりすることができる。

0067

さらに、背景画像更新部として背景画像生成部43は、背景画像30における配置物領域のうち現画像では配置物が不在となっているゴースト領域を現画像により更新する。具体的には、配置物の移動完了が検知されたときに、背景画像30における配置物領域を現画像で置換して更新する。これにより移動完了した後、当該配置物領域を変化領域として抽出されなくすることができる。また、ゴースト領域が現画像において分離状態であると判定された時点で、背景画像30におけるゴースト領域を現画像で置換して更新し、それ以降、当該領域が変化領域として抽出されないようにできる。

0068

なお、上述の配置物領域に関する背景画像30の更新処理では、背景画像30に配置物の像が含まれなくなり得るが、一旦、配置変化が検知されれば配置物の像は背景から弁別され、その位置・形状が把握されるので、その情報を用いて以降の配置変化の検知や配置物領域の検出等の処理を続行することができる。一方、移動先の配置物の像を背景画像30に含める更新を行ってもよく、この場合には初期化処理後と同様にして配置変化の検知や配置物領域の検出等の処理が継続される。

0069

マスク画像生成部44は入力画像に写る人のプライバシー保護を目的として、現画像のうち配置物領域及びゴースト(すなわち配置物由来領域)を除いた変化領域(加工対象領域)をマスク処理(フィルタ処理を含む)する加工を施した画像(マスク画像)を生成して出力部5へ出力するマスク処理部である。ちなみに、画像中の人物はその像を隠蔽する加工が施されることで誰であるか特定できないが、その隠蔽部分の形状及び動きが分かれば、監視員はそれに基づいて不審行動を把握することができる。

0070

ここで、その行動把握に際して、配置物由来領域を除く前の変化領域は人と配置物とが一体化して人の形状及び動きを視認しづらい状況が発生し得る。そのため、監視員は不審行動の有無を把握するために、加工前の入力画像を確認する手続きが必要になるなど、監視性が低下し、被写体のプライバシーも損なわれる。

0071

一方、配置物は元々監視空間に存在したものであるため、配置物由来領域はプライバシー保護の加工処理をしなくてよいことが明白であり、むしろ配置物由来領域をプライバシー保護処理してしまうと状況把握がしづらくなる。

0072

この点、マスク画像生成部44は配置物由来領域を除いた変化領域を加工対象領域とするので、マスク画像にて上述のように人の形状及び動きを視認でき、また配置物の様子も視認できる。よって、監視員はマスク画像のみで状況を把握でき、プライバシー保護と監視性とを両立できる。

0073

マスク処理は、加工対象領域と同形状である単色画像と、加工対象領域の背景画像30とを透過合成した合成画像を生成して、当該合成画像で現画像における加工対象領域を置換することにより行なう。また、背景画像を透過合成する代わりに、現画像における加工対象領域を単色で塗りつぶすテクスチャで塗りつぶす、或いは現画像における加工対象領域にぼかし処理を施すなどの加工処理とすることもできる。

0074

ここで、配置物の像の縁部では画素による量子化の影響を受け、配置物の色と背景の色とが混じった画素やノイズ画素や配置物の影の画素が生じ、これらの画素が変化領域の一部として抽出されがちであるため、変化領域は少し広めに抽出されることが多い。そこで変化領域から配置物由来領域を除いた領域に、収縮処理を所定回数施してからこれと同回数の膨張処理を施して加工対象領域を生成するのがよい。収縮処理及び膨張処理の回数は1回ないし数回程度に設定すればよく、本実施形態では2回とする。

0075

出力部5は異常信号に応じて警告音を出力するスピーカー又はブザー等の音響出力手段、プライバシー加工された合成画像を表示する液晶ディスプレイ又はCRT等の表示手段などを含んでなる。

0076

[画像監視装置1の動作]
図3は画像監視装置1の概略の動作を示すフロー図である。

0077

画像監視装置1は監視空間に人がいない状態にて起動され、撮像部2が所定時間おきに監視空間を撮像する動作を開始する。背景画像生成部43は予め設定した初期化期間に撮像される入力画像から人が写っていない画像を取得又は生成して、当該画像で記憶部3の背景画像30を初期化する(S1)。例えば、背景画像生成部43は、初期化期間の複数時刻の入力画像を平均処理して背景画像30を生成する。

0078

初期化期間経過後、制御部4は撮像部2から取得する入力画像を用いた監視動作を開始する。制御部4は入力画像(以下、現画像)を順次入力され(S2)、当該画像を入力されるたびにステップS2〜S16の処理を繰り返す。

0079

変化領域抽出部40は順次入力される現画像を背景画像30と比較し、現画像における変化領域を抽出する(S3)。制御部4は変化領域が抽出されたか否かを判定し(S4)、変化領域が抽出されなければ(S4にて「NO」の場合)、制御部4はステップS5〜S14を省略して処理をステップS15へ進める。この場合、背景画像生成部43は背景画像30全体を現画像と加重平均することにより更新し(S15)、制御部4は現画像そのままを出力部5へ出力し、出力部5は現画像そのままを表示する(S16)。

0080

一方、変化領域が抽出された場合(S4にて「YES」の場合)、制御部4は処理をステップS5へ進め、配置変化検知処理を行う(S5)。

0081

背景フロー検出部41は、入力フロー検出部410により疎入力フローを検出し、背景フロー選定部411によりその始端において背景画像30の画像特徴が直前画像31の画像特徴と一致する疎入力フローを疎背景フローとして検出する。配置変化検知部42は疎背景フローを参照して、同一変化領域から移動量がTs以上で同一方向の疎背景フローがTn以上検出されるか調べ、検出されると配置変化を検知したと判定すると共に、当該疎背景フローのグループの始端側、終端側の変化領域をそれぞれ配置物の移動元、移動先に設定する。

0082

配置変化検知部42は配置変化検知処理S5にて新たな配置物の移動が検知された、又は追跡中の配置物(前時刻までに移動が検知されて追跡終了していない配置物)がある場合は配置変化中であると判定する(S6にて「YES」の場合)。

0083

ここで、配置変化中の配置物が存在しなければ(S6にて「NO」の場合)、制御部4はステップS7〜S13を省略してステップS14〜S16の処理を行う。この場合、全ての変化領域は人物領域として処理される。すなわち、マスク画像生成部44は全ての変化領域をマスク処理し、背景画像生成部43は変化領域以外の背景画像30を現画像と加重平均することにより更新し、制御部4はマスク処理された画像を出力部5へ出力し、出力部5はマスク処理された画像を表示する。

0084

ステップS6にて配置変化中の配置物が検知された場合は、配置物追跡部422が当該配置物の中に追跡中のものがあるか否かを調べ(S7)、追跡中の配置物がある場合は(S7にて「YES」の場合)、当該配置物を追跡して現在位置に対応する変化領域を検出する(S8)。一方、追跡中の配置物がない場合は(S7にて「NO」の場合)、ステップS8の処理は省略される。なお、ステップS5にて移動開始が検知された配置物は次時刻以降に追跡中となり、現時刻においては追跡処理S8の対象とはされない。

0085

次に、変化領域中の配置物由来領域を特定するために、背景フロー検出部41によって背景フロー検出処理S9が行われる。図4は背景フロー検出処理S9の概略のフロー図であり、以下、図4に基づいて背景フロー検出処理を説明する。背景フロー検出部41の入力フロー検出部410は領域情報33として記憶されている直前時刻の変化領域及びステップS3で抽出された現時刻の変化領域を参照し、直前時刻の変化領域内または現時刻の変化領域内である直前画像31の各画素を注目点に設定する(S101)。

0086

入力フロー検出部410は、現画像において、直前画像31にて設定した注目点の画像特徴と最も類似した画像特徴を有する最類似点を探索する(S103)。そして、注目点を始端とし最類似点を終端とするベクトルを密入力フローとして検出する(S104)。なお、密入力フローとしてゼロベクトルも検出しておく。また、ステップS103にて類似度閾値以下の最類似点しか見つからない場合は、当該注目点に対応する密入力フローは検出されないとすることができる。

0087

背景フロー選定部411は密入力フローと一致する密背景フローを選定する。具体的には、ステップS104にて検出された各密入力フローの始端座標を中心に所定のずれ許容範囲を設定し(S105)、当該ずれ許容範囲にて背景画像30にて直前画像31の注目点との一致点の検出を試みる(S106)。ずれ許容範囲は例えば、3×3画素に設定することができ、これにより1画素内のずれが許容されることになる。

0088

背景フロー選定部411はステップS106にて背景画像に一致点が検出された場合、当該一致点を始端とし対応する最類似点を終端とするベクトルを密背景フローとして検出する(S107)。一方、注目点がずれ許容範囲内の背景画像に一致しない場合は、当該注目点を始点とする密入力フローに対応する密背景フローは選定されない。なお、現時刻において移動開始が検知されていない場合はステップS104〜S107を省略できる。

0089

上述の背景フロー検出処理S9により移動開始が検知された配置物について密背景フローが検出されると、配置変化検知部42の配置物領域検出部420は移動量がTs以上の密背景フローの終端として検出した最類似点の集まりを現時刻の配置物領域として検出する(S10)。また、追跡中の配置物については、配置物領域検出部420は当該配置物の配置物情報32から直前時刻の配置物領域を読み出し、ステップS104にて検出された密入力フローのうち当該領域の画素を始端とする密入力フローの終端の集まりを現時刻の配置物領域として検出する(S10)。

0090

配置変化検知部42は現画像における配置物の変化領域について人の変化領域やゴーストとの分離・混合を判定する(S11)。現時刻において移動開始が検知された配置物について、配置変化検知部42はステップS204で設定した移動元の変化領域とステップS205で設定した移動先の変化領域とが同一か異なるかを確認し、その結果に基づいて分離・混合判定を行う。

0091

図5は移動元の変化領域と移動先の変化領域とが同一の場合及び異なる場合の例を示す模式的な画像である。図5(a)は移動元領域500と移動先領域501aとが同一変化領域の場合を示しており、移動開始が検知された配置物の移動量が小さく現画像における人及び配置物(移動先領域501a)とゴースト(移動元領域500)とが一体化した変化領域が抽出されている。配置変化検知部42は、この場合の配置物の変化領域を「人との混合領域」かつ「ゴーストとの混合領域」と判定する。

0092

一方、図5(b)は移動元領域500と移動先領域501bとが異なる変化領域である場合を示しており、現画像における人及び配置物(移動先領域501b)とゴースト(移動元領域500)とが分離した変化領域として抽出されている。配置変化検知部42はこの場合の配置物の変化領域を「人との混合領域」かつ「ゴーストとの分離領域」と判定する。

0093

また、追跡中の配置物については、配置変化検知部42はステップS8で対応付けられた直前時刻の変化領域と現時刻の変化領域との形状が一致するか否かを確認し、その結果に基づいて分離・混合判定を行う。

0094

図6は追跡中の配置物の変化領域が写る、連続する3時刻における入力画像、及び当該画像にて配置物に対応付けられた変化領域の例の模式図であり、同図(a)〜(c)の順に時刻が進み、また同図(a)〜(c)それぞれにおいて左側が入力画像、右側が変化領域を示す画像である。配置物に対応付けられた変化領域の形状が直前時刻と現時刻とで一致しない場合は、例えば、図6(a)に示す人と配置物とが一体の状態から図6(b)に示す人と配置物とが分離した状態に移行した直後である。この場合、配置変化検知部42は即座に分離を判定せず、当該配置物の変化領域についての判定を「人との混合領域」のまま維持する。一方、配置物に対応付けられた変化領域の形状が直前時刻と現時刻とで一致する場合は、例えば、図6(b)に示す状態から図6(c)に示す状態に移行した場合のように直前時刻及び現時刻のいずれにおいても人と配置物とが分離した状態であり、安定的な分離状態といえる。この場合は、配置変化検知部42は当該配置物に対応付けられた変化領域について「人との分離領域」と判定する。

0095

ゴースト検出部421は、現時刻において移動開始が検知された配置物、及び追跡中であってゴーストの分離が判定されていない配置物を対象にして、上述したゴースト領域を検出する処理を行う(S12)。ゴースト検出部421は、現時刻において配置物の移動開始が検知されたのであれば、ステップS10で検出した密背景フローを参照してその注目点の集まりをゴーストとして検出する。

0096

配置変化検知部42は、ステップS7にて配置変化中と判定された場合に上述のステップS8〜S12の処理を行い、その結果に基づいて配置物情報32及び領域情報33を更新する(S13)。具体的には、ステップS10にて、現時刻において新たに検出した配置物領域を、新しい識別番号及び追跡中の属性と共に配置物情報32に登録する。また、追跡中の配置物の配置物情報32における配置物領域の情報を、現時刻において検出した当該配置物の配置物領域で更新する。S9において視野外への移動完了が検出された配置物については配置物情報32の配置物状態を「視野外に移動完了」という属性に変更する。また、該当する配置物の配置物情報32の分離・混合情報をステップS12の分離・混合判定結果で更新すると共に、ステップS12にて「人との分離領域」が判定された配置物の属性を「視野内にて移動完了」に変更する。

0097

以上の処理により変化領域における配置物領域及びゴーストが検出されると、マスク画像生成部44は変化領域から配置物領域及びゴーストを除外し、次に除外後の領域に収縮処理を2回施し、さらに膨張処理を2回施して加工対象領域を生成する。続いて加工対象領域と同形状である単色画像と、加工対象領域の背景画像30とを透過合成して合成画像を生成し、現画像における加工対象領域を当該合成画像で置換してマスク画像を生成する(S14)。なお、配置物領域が検出されていない場合は配置物領域を除外する処理は省略される。また、ゴーストが検出されていない場合はゴーストを除外する処理は省略される。

0098

変化領域が抽出された現画像についてマスク画像の生成まで完了すると、背景画像生成部43は変化領域から、分離が判定されたゴースト及び移動完了が検知された配置物の配置物領域を除外して更新対象領域を算出し、背景画像30の更新対象領域の部分を当該更新対象領域における現画像で置換する(S15)。なお、移動完了が検知された配置物がない場合は配置物領域を除外する処理は省略される。また、分離が判定されたゴーストがない場合はゴーストを除外する処理は省略される。

0099

また、背景画像生成部43は変化領域以外の背景画像30を現画像と加重平均することにより更新する。

0100

制御部4はマスク画像生成部44にてマスク画像が生成されたときは、マスク画像を出力部5へ出力し、マスク画像が生成されなかったときは現画像を出力部5へ出力する。出力部5は制御部4から入力された画像をモニタに表示する(S16)。

0101

現画像について以上の処理S2〜S16を終えると、制御部4は、現画像で直前画像31を置換するとともに、ステップS3で抽出された変化領域の情報で領域情報33を置換して、処理をステップS2に戻す。

0102

図7は画像監視装置1によりマスク画像が生成される過程を具体例を用いて説明する模式図である。図7(a)は現画像600を示しており、人601が椅子602を動かした直後の状態を撮像した画像である。図7(b)に示す画像610は現画像600から抽出された変化領域を示す画像である。図7(a)の現画像に示した現時刻に人601が存在する領域及び椅子602が存在する領域と、椅子602のゴーストとの3種類の領域が一体化した変化領域611として抽出されている。この変化領域611そのままの形状をマスク処理すると人601が椅子602を動かしていることが視認しづらい。なお、像の境界部は量子化の影響で椅子602や人601が背景と混じった画素となるため、また椅子602や人601の下方に影が生じるため、変化領域611は少し広めに抽出される。

0103

図7(c)に示す画像620には変化領域611の中から検出されたゴースト621(斜線部)と配置物領域622(縦線部)とが示されている。図7(d)はマスク画像630を模式的に示しており、当該画像630は、変化領域611からゴースト621及び配置物領域622を除外した領域に形成されたマスク631により現画像600をプライバシー保護した画像である。変化領域611が少し広めに抽出されて椅子602の周りに細く残る領域(図7(c)参照)は収縮処理と膨張処理により図7(d)では除去されている。椅子602の領域には現画像が露出し、人601の形状が視認しやすく、椅子602と人601の関係も視認しやすくなっている。その上で人601の像はマスク処理されてプライバシーが保護されている。

0104

[変形例]
以上、本願発明の実施形態を説明したが、当該実施形態を改変して本願発明の他の実施形態とすることもできる。以下、その例について説明する。

0105

配置変化検知部42は配置物情報32に登録された配置物領域(移動先領域)を登録抹消せずにテンプレートとして保持し、または背景画像のゴースト部分(移動元領域)を配置物のテンプレートとして配置物情報32に登録し、登録以降、一度検出された配置物については配置物領域検出部420にて当該テンプレートを用いたマッチング処理により入力画像における配置物の移動先領域を検出することができる。

0106

また、人物追跡に配置変化の検知結果を利用することが可能である。例えば、配置物由来領域以外の変化領域を人物領域として追跡することができる。また、配置物を含むことが判定された変化領域を人と配置物との分離が検出されるまでの間、当該変化領域の特徴量(人と配置物が混在した特徴量)により追跡し、この間、人物単独の特徴量は退避しておき、分離が検出されれば人物単独の特徴量による追跡に切り換えるという手法もある。

0107

1画像監視装置、2撮像部、3 記憶部、4 制御部、5 出力部、30背景画像、31直前画像、32配置物情報、33領域情報、40変化領域抽出部、41背景フロー検出部、42配置変化検知部、43 背景画像生成部、44マスク画像生成部、410入力フロー検出部、411背景フロー選定部、420配置物領域検出部、421ゴースト検出部、422 配置物追跡部。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ