図面 (/)

技術 画像処理装置

出願人 株式会社日立国際電気
発明者 小宮佑一郎山口宗明中北裕章岩永一成富樫純一秋元洋平岡田正也佐々敦伊藤渡
出願日 2017年9月21日 (3年8ヶ月経過) 出願番号 2018-542484
公開日 2019年6月24日 (1年11ヶ月経過) 公開番号 WO2018-061976
状態 特許登録済
技術分野 イメージ分析 閉回路テレビジョンシステム
主要キーワード 置去り 処理情報量 放置物 配分数 画像解析器 空間サイズ エッジ差分 撮影レート
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2019年6月24日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (5)

課題・解決手段

映像内混雑状況に応じて映像解析手法を適応的に切り替え、限られた演算量によって好適な映像解析を行う技術を提供する。画像処理装置100の混雑度推定部102は、画像入力部101から取得した映像内の混雑状況を推定する。制御部103は混雑状況に応じて、映像解析の手法を切り替える。混雑度が低い場合には、通常時用画像解析部105が単純な手法によって映像解析を行い、混雑度が高い場合においては、混雑時用画像解析部106が複数フレームに渡る解析等の精度の高い映像解析を行う。

概要

背景

映像監視システムにおいて、監視カメラ映像解析することにより、撮像された場所の状況を自動推定する技術が提案されている。例えば、監視カメラの映像から人物滞留及び置き去りにされた物体を検出する技術がある(例えば、特許文献1及び2参照)。この画像処理技術は、異なる時間幅内で撮影された各画像フレームより生成された2つの画像を用いて滞留および置き去りにされた物体の検出を行う差分法処理を用いている。さらに、各画像領域信頼度を算出することにより誤報を抑える技術を適用することで、信頼性向上を図った技術もある。

概要

映像内混雑状況に応じて映像解析手法を適応的に切り替え、限られた演算量によって好適な映像解析を行う技術を提供する。画像処理装置100の混雑度推定部102は、画像入力部101から取得した映像内の混雑状況を推定する。制御部103は混雑状況に応じて、映像解析の手法を切り替える。混雑度が低い場合には、通常時用画像解析部105が単純な手法によって映像解析を行い、混雑度が高い場合においては、混雑時用画像解析部106が複数フレームに渡る解析等の精度の高い映像解析を行う。

目的

本発明は、このような状況に鑑みなされたもので、上記課題を解決することを目的とする。

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

映像装置撮影した映像から情報を抽出する画像処理装置であって、前記映像をもとに、撮影領域の混雑度リアルタイム推定する混雑度推定器と、複数の画像解析技術を用いて前記映像から背景以外の物体の情報をそれぞれ抽出する複数の画像解析器と、前記推定された混雑度に応じて、前記複数の画像解析器から画像解析に用いる画像解析器を選択する制御器と、を備える画像処理装置。

請求項2

前記複数の画像解析技術は、リアルタイムで処理する第1の解析技術と、非リアルタイムで処理する第2の解析技術とを含み、前記物体の情報は、人物の領域及び放置物の領域に関する情報を含み、前記映像を記録する画像記録機を備え、前記画像解析器は、混雑度変化の履歴情報に応じて、画像解析に用いる映像を前記画像記録機から取得して第2の解析技術による画像解析を行うことを特徴とする請求項1に記載の画像処理装置。

請求項3

前記映像装置は複数であって、前記混雑度推定器は、前記複数の映像装置に対応して複数設けられ、それぞれの映像の混雑度を推定し、前記制御器は、前記複数の映像装置の映像のそれぞれの混雑度に応じ、該混雑度が高いほど前記第2の解析技術が選択されやすくなる様態で、前記画像解析に用いる前記画像解析部を選択することを特徴とする請求項2に記載の画像処理装置。

請求項4

前記混雑度推定器に備えられた混雑度算出部は、前記映像に基づいて群衆ヒートマップで表し、群衆の規模及び個々の群衆内の混雑度を測定することを特徴とする請求項1に記載の画像処理装置。

請求項5

前記画像解析器は、混雑度の高い入力画像解析する混雑時用映像解析部と混雑度の低い入力画像を解析する通常時用映像解析部と備え、それぞれリアルタイムにて画像解析を行い、前記混雑時用映像解析部に高い演算能力を配分し、前記通常時用映像解析部に相対的に低い演算能力を配分することを特徴とする請求項1に記載の画像処理装置。

技術分野

0001

本発明は、映像解析技術により映像装置映像から情報を抽出する画像処理装置に関する。

背景技術

0002

映像監視システムにおいて、監視カメラの映像を解析することにより、撮像された場所の状況を自動推定する技術が提案されている。例えば、監視カメラの映像から人物滞留及び置き去りにされた物体を検出する技術がある(例えば、特許文献1及び2参照)。この画像処理技術は、異なる時間幅内で撮影された各画像フレームより生成された2つの画像を用いて滞留および置き去りにされた物体の検出を行う差分法処理を用いている。さらに、各画像領域信頼度を算出することにより誤報を抑える技術を適用することで、信頼性向上を図った技術もある。

先行技術

0003

国際公開第16/021147号パンフレット
特開2016−037387号公報
特開2005−346261号公報
国際公開第15/119044号パンフレット

発明が解決しようとする課題

0004

ところで、上述した手法では人が多く行きかう領域においては、誤報の発生は抑えられるものの、人物の滞留及び置き去りにされた物体の検出は行われないという課題があった。人が多く行きかうような場合に、人物の滞留及び置き去りにされた物体の検出を行うには、例えば複数フレームに渡って画像内の物体の動きを追跡することにより、物体を個々に分離して捉えることが考えられるが、そのような手法は上述した画像の差分によって検出する手法に比べて演算量が大きくなることから、別の技術の導入が求められていた。

0005

本発明は、このような状況に鑑みなされたもので、上記課題を解決することを目的とする。

課題を解決するための手段

0006

本発明は、映像装置が撮影した映像から情報を抽出する画像処理装置であって、前記映像をもとに、撮影領域の混雑度リアルタイム推定する混雑度推定器と、複数の画像解析技術を用いて前記映像から背景以外の物体の情報をそれぞれ抽出する複数の画像解析器と、前記推定された混雑度に応じて、前記複数の画像解析器から画像解析に用いる画像解析器を選択する制御器と、を備える。
また、前記複数の画像解析技術は、リアルタイムで処理する第1の解析技術と、非リアルタイムで処理する第2の解析技術とを含み、前記物体の情報は、人物の領域及び放置物の領域に関する情報を含み、前記映像を記録する画像記録機を備え、前記画像解析器は、混雑度変化の履歴情報に応じて、前記画像解析に用いる映像を前記画像記録機から取得して第2の解析技術による画像解析を行ってもよい。
また、前記映像装置は複数であって、前記混雑度推定器は、前記複数の映像装置に対応して複数設けられ、それぞれの映像の混雑度を推定し、前記制御器は、前記複数の映像装置の映像のそれぞれの混雑度に応じ、該混雑度が高いほど前記第2の解析技術が選択されやすくなる様態で、前記画像解析に用いる前記画像解析部を選択してもよい。

発明の効果

0007

本発明によると、映像内混雑状況に応じて映像解析手法を適応的に切り替え、限られた演算量によって好適な映像解析を行う技術を提供することを目的とする。

図面の簡単な説明

0008

第1の実施形態に係る、画像処理装置の構成を示したブロック図である。
第1の実施形態に係る、混雑度推定部のブロック図である。
第1の実施形態に係る、群衆ヒートマップの関係を示した図である。
第2の実施形態に係る、画像処理装置の構成を示したブロック図である。

実施例

0009

次に、本発明を実施するための形態(以下、単に「実施形態」という)を、図面を参照して具体的に説明する。

0010

<第1の実施形態>図1は、本実施形態に係る画像処理装置100の構成を示したブロック図である。画像処理装置100は、監視ステムとして機能する装置であって、画像入力部101と、混雑度推定部102と、制御部103と、画像記録部104と、通常時用画像解析部105と、混雑時用画像解析部106と、出力部107とを備える。

0011

画像入力部101は、任意の数N個の第1〜第N画像入力部101_1〜101_Nを備える。混雑度推定部102は、N個の第1〜第N混雑度推定部102_1〜102_Nを備える。

0012

第1〜第N画像入力部101_1〜101_Nは、それぞれ、例えば監視カメラ等の撮像装置撮像素子)、もしくはそれとのインタフェースであり、人が往来する道路等の映像を取得し、第1〜第N混雑度推定部102_1〜102_N及び通常時用画像解析部105へ出力する。

0013

第1〜第N混雑度推定部102_1〜102_Nは、第1〜第N画像入力部101_1〜101_Nから取得した映像から混雑度を推定する。混雑度は、例えば特許文献4に記載されているように、映像を構成する画像フレーム(以下、単に「フレーム」という)間のエッジの変化量から推定する。第1〜第N混雑度推定部102_1〜102_Nは、H.264等で符号化された映像を復号するデコーダと一体に構成することができ、その場合、予測符号化された符号の発生量から混雑度が推定され得る。

0014

図2は、第1〜第N混雑度推定部102_1〜102_Nそれぞれの構成を示すブロック図であり、図中では「混雑度推定部102」として表記している。本実施形態における混雑度推定方式を行うために、混雑度推定部102は、エッジ画像生成部201と、フレームメモリ202と、差分処理部203と、混雑度算出204とを備える。

0015

エッジ画像生成部201は、第1画像入力部101_1から取得した入力画像から、例えばCannyアルゴリズムに基づくエッジを抽出したエッジ画像を生成し、フレームメモリ202と差分処理部203へ出力する。なお、本例で説明するエッジ画像には、輪郭テクスチャを抽出する各種のフィルタで生成されたものも含まれる。

0016

フレームメモリ202は、エッジ画像生成部201から取得したエッジ画像を1フレーム分保持し、遅延させて差分処理部203へ出力する。

0017

差分処理部203は、入力した時間が異なる2枚のエッジ画像の差分を取ることにより、エッジ差分画像を生成する。すなわち、エッジ画像生成部201から直接取得したエッジ画像とフレームメモリ202から取得したエッジ画像とからエッジ差分画像を生成し、混雑度算出部204へ出力する。差分は、多値画素値算術的な差分(の絶対値)、2値化画素値の排他的論理和のどちらでもよい。

0018

混雑度算出部204は、差分処理部203から取得したエッジ差分画像から、エッジの変化量を抽出し、その値(変化量)から混雑度を推定し、推定した混雑度を混雑度推定値として制御部103へ出力する。例えば、エッジ差分の絶対値を1フレーム内に亘って加算した値(エッジ変化量そのもの)を、混雑度としても良い。もしくは、回帰分析等の機械学習によって、混雑度とエッジ変化量の関係を定めても良い。これらの混雑度は、画像の視野角内の平均的な混雑度を示す。なお、混雑度算出部204は、例えば画像処理を行うサーバ集約してもよいし、監視カメラ等の撮像装置が有してもよい。

0019

図3を参照して、混雑度算出部204の付加的な処理を説明する。混雑度算出部204は任意で、監視映像から群集測定を行う。例えば、混雑度算出部204は、監視映像に基づいて群衆をヒートマップで表し、群衆の規模(空間的なサイズ)及び個々の群衆内の混雑度を測定する。

0020

図3は群衆とヒートマップの関係を示した図である。図3(a)は群衆が映っている監視映像を示し、図3(b)はそれをヒートマップとして表したものである。まず、混雑度算出部204は、群衆が写っている監視映像に対して所定の画像処理を行い、図3(b)に示すように、群衆混雑度レベル等高線状表現するヒートマップ画像を作成する。本例では、群衆レベルごとに、青<緑<黄<赤の順で表示される。すなわち、群衆レベルが低密度である場合には、ヒートマップ上では「青」で表示される。群衆レベルが高密度である場合には、ヒートマップ上では「赤」で表示される。

0021

ヒートマップ画像は、差分処理部203から取得したエッジ差分画像を所定時間累積加算し、ガウスフィルタ等の空間フィルタを施したものである。人の群集のみを正確に測定しようとする場合は、累積加算の前に、エッジ差分の高い画素クラスタリングし、そのサイズに基づいて人より小さな移動体を除外する方法を用いることができる。次に、混雑度算出部204は、群衆サイズとして、例えば、黄レベル以上の領域を特定し、その幅や面積を測定する。幅を群衆サイズとして用いる場合、領域の両端(X軸方向の両側端)の座標ホモグラフィ行列によりワールド座標系に変換後、それらの間の距離を計算することにより、群衆サイズを測定できる。つまり群衆は実質的に地平面上に存在すると仮定できるので、平面を別の平面に射影するホモフィ変換が利用できる。なお処理負荷処理能力に応じて、群衆レベルの階層数や群衆サイズの測定手法が選択されてもよい。

0022

図2の説明に戻る。制御部103は、混雑度推定部102から取得した混雑度推定値をもとに、混雑状態にあるか否かを判断し、混雑状態にある入力画像を検出し、その情報を出力する。ここでは、制御部103は、第1〜第N混雑度推定部102_1〜102_Nから取得した、N個の混雑度(混雑度推定値)の推移を記録する。そして、例えば一定期間内の積分値閾値を超えた場合に、混雑度nに対する入力画像を混雑状態であると判定し、その情報(混雑情報)を画像記録部104及び出力部107へ出力する。

0023

本実施形態の処理では、混雑状態であると判断された入力画像のみを演算量の大きい混雑時用画像解析部106にて処理を行わせる。仮に、混雑時用画像解析部106が、任意の数L(L<N)の入力画像までしか処理する性能が無い場合に、混雑状態と判定された入力画像がLより大きい場合は、例えば混雑度の積分値が大きいものからL個を抽出し、混雑状態である入力画像として出力する。

0024

画像記録部104は、第1〜第N画像入力部101_1〜101_Nから取得した映像をハードディスク等の不揮発性記憶媒体に記録し、制御部103から混雑情報を受けた時は、記録した映像を出力する。なおタイムシスト再生はハードディスクへの書込みの支障となる場合があり、書込みバッファ等の一時メモリに保持した映像を出力してもよい。

0025

通常時用画像解析部105は第1〜第N画像入力部101_1〜101_Nから取得したN個の入力画像を実質的にリアルタイムに解析し、その結果を出力する。例えば、置去りにされた物体の検出の場合は、背景差分処理により、前景領域を関心領域として抽出し、その前景領域が一定期間以上存在する場合に置き去りにされた物体として検知する。或いは、人数カウントの場合は、同様に抽出した関心領域の空間サイズが人として想定されるサイズに合致する場合に、1人の人として計数する。なお関心領域の空間サイズによっては、1つの関心領域を複数の人として計数してもよい。またカウントには、画像中の人を全員計数する方法と、画像中に設けた判定ラインを通過する人数を計数する方法がある。

0026

上述した置き去りにされた物体(人物の滞留を含む)の検出技術は、背景差分によるものであるので、移動する物体の影響が背景画像に強く残る混雑時には誤検出が多くなるという課題があり、誤検出防止には、処理情報量を多くした高負荷の処理が必要になる。例えば複数の人の姿が隙間なく重なるほど密集した映像では、関心領域は同じ場所に留まり続けるので、群衆が移動していても通過人数のカウントは増加しない。

0027

混雑時用画像解析部106は、画像記録部104から取得した最大でL個の入力画像を同時に解析し、その結果を出力する。混雑時用画像解析部106が取得する画像は制御部103にて混雑状態にあると判断された入力画像である。そのため、混雑時においても好適に動作する方式が用いられる必要がある。

0028

混雑時用画像解析部106に入力される映像は、映像記録装置103の出力であるため必ずしもリアルタイムで処理する必要は無く、映像の撮影レートより遅い若しくは速いレートで処理してもよい。また、混雑状態と判定された直後から特徴点の追跡による人数カウント等を得るために、制御部103によって入力画像が混雑状態と判定される前の映像に遡って処理してもよい。

0029

置去りにされた物体の検出の場合、例えば、特徴点の追跡によって行う技術がある。特徴点とは、画面内にて、画像処理による追跡に適した点のことを指し、周知のコーナー検出(Harris、FASTやShi-Tomasi等)やSIFT(Scale Invariant Feature Transform)が利用できる。この技術では、特徴点の追跡を複数フレームにわたり行うことにより、特徴点の軌跡を抽出する。抽出した軌跡を、その動きの振る舞いによってクラスタリングすることにより、個々の物体を分離して抽出することが可能となる。この技術を放置物の検出や正確な混雑度(特に人数)の推定に適用することができる。例えば、一定期間以上、画面内で全く動いていない特徴点クラスタが存在し、それらの特徴点が背景画像からは検出されず、クラスタの空間サイズが放置物として想定されるサイズに合致する場合に、それを放置物として検知する。また人の歩行速度に相当する変動のある動きを示すクラスタを、その空間サイズに応じて1人若しくは複数の人或いは群衆(の一部)として検知する。
放置物及び滞留として検出画像解析に用いる映像は、混雑度変化の履歴情報に応じて、映像記録装置から取得する。

0030

画像解析に用いる映像は、混雑度変化の履歴情報に応じて、映像記録装置から取得する。なお上述した混雑時用画像解析部106で用いる画像解析技術は、通常時用画像解析部105で用いる技術よりも演算量は大きいものとなる。しかし、例えば、FPGA(field-programmable gate array)を用いた外部装置やGP−GPU(General-purpose computing on graphics processing unit)を用いることによりリアルタイム以上での動作も可能となる。

0031

出力部107は入力した映像解析の結果を統合して出力する。

0032

このように、画像処理装置100は、映像内の混雑状況を推定し、推定された混雑状況に応じて、映像解析の手法を切り替える。例えば、混雑度が低い場合には単純な手法によって映像解析を行い、混雑度が高い場合においては、複数フレームに渡る解析等の精度の高い映像解析を行う。その結果、映像内の混雑状況に応じて映像解析手法を適応的に切り替え、限られた演算量によって精度の高い映像解析を行うことができる。

0033

<第2の実施形態>図4は、本実施形態に係る画像処理装置400の構成を示したブロック図である。画像処理装置400は、映像を記録する機能を有さず、画像入力部401(第1〜第N画像入力部401_1〜401_N)から取得した映像をリアルタイムで映像解析処理する。具体的な構成は次の通りである。

0034

画像処理装置400は、画像入力部401と、混雑度推定部402と、制御部403と、映像分配部404と、混雑時用映像解析部405と、通常時用映像解析部406と、出力部407とを備える。

0035

画像入力部401は、任意の数N個の第1〜第N画像入力部401_1〜401_Nを備える。混雑度推定部402は、N個の第1〜第N混雑度推定部402_1〜402_Nを備える。

0036

第1〜第N画像入力部401_1〜401_Nは、それぞれ、例えば監視カメラ等の撮像装置に接続され、それら撮像装置から映像を取得し、第1〜第N混雑度推定部402_1〜402_N及び映像分配部404へ出力する。

0037

第1〜第N混雑度推定部402_1〜402_Nは、第1〜第N画像入力部401_1〜401_Nから取得した映像から混雑度を推定する。混雑度の推定方法は、第1の実施形態と同様である。

0038

映像分配部404は、制御部403からの情報をもとに、取得したN個の入力画像(映像)のうち、L個の映像を混雑時用映像解析部405へ、M個の映像を通常時用映像解析部406へ出力する。ただし、N=L+Mである。

0039

すなわち、制御部403から各映像の混雑度の推定結果を取得した映像分配部404は、その混雑度の推定元となった映像に関して、混雑度が高いL個の映像を混雑時用映像解析部405へ、混雑度が低いM個の映像を通常時用映像解析部406へ出力する。

0040

混雑度の高い入力画像を混雑時用映像解析部405が、混雑度の低い入力画像を通常時用映像解析部406が、それぞれリアルタイムにて画像解析を行う。

0041

その結果、混雑時用映像解析部405に高い演算能力を配分し、通常時用映像解析部406に相対的に低い演算能力を配分することができ、処理能力の最適化をはかり、リアルタイムの画像解析が可能となる。なお、同じ演算能力である場合には、混雑時用映像解析部405への配分数を少なくし、通常時用映像解析部406への配分数を多くするという振り分けも可能である。いずれにせよ、演算能力の最適化を行うことができる。

0042

以上、本発明を実施形態をもとに説明した。この実施形態は例示であり、それらの各構成要素の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。例えば、上記の実施形態では、混雑度が高い場合と低い場合の2通りに分けて、通常時用画像解析部105(通常時用映像解析部406)、混雑時用画像解析部106(混雑時用映像解析部405)を切り替えたが、画像解析部(映像解析部)を3以上設けて、混雑度に応じて用いる画像解析部(映像解析部)を切り替えてもよい。

0043

100、400画像処理装置101、401画像入力部101_1、401_1 第1画像入力部101_2、401_2 第2画像入力部101_3、401_3 第3画像入力部101_N、401_N 第N画像入力部102、402混雑度推定部102_1、402_1 第1混雑度推定部102_2、402_2 第2混雑度推定部102_3、402_3 第3混雑度推定部102_N、402_N 第N混雑度推定部103、403 制御部104画像記録部105通常時用画像解析部106混雑時用画像解析部107、407 出力部201エッジ画像生成部202フレームメモリ203差分処理部204混雑度算出部404映像分配部405 混雑時用映像解析部406 通常時用映像解析部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ