図面 (/)

技術 監視装置、監視システム、及び、監視方法

出願人 アースアイズ株式会社
発明者 山内三郎
出願日 2019年3月20日 (1年9ヶ月経過) 出願番号 2019-052680
公開日 2020年9月24日 (3ヶ月経過) 公開番号 2020-154730
状態 特許登録済
技術分野 警報システム 盗難警報装置 イメージ分析
主要キーワード 座標設定処理 Y座標 立体形 運動量ベクトル 位置点 X座標 向き調整 監視撮影
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年9月24日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (18)

課題

次元画像を用いた監視装置において、監視対象とした「人」が行う監視対象とした「物」に対する不定形一般的動作を抽出して、監視対象とした「人」が、監視対象とした「物」に対して不審度の高い所定の行動を行ったことを、高い精度で認識することができる監視装置・監視ステムを提供すること。

解決手段

監視対象領域次元空間を2次元の画像として撮影する撮影部と、前記撮影部が撮影した撮影画像中の監視対象を特定することができる監視対象特定部と、複数の特徴点連接する骨格線で構成される前記監視対象の骨格を抽出する骨格抽出部と、前記骨格抽出部が抽出した前記骨格を構成する特徴点の前記監視対象領域3次元空間内における位置を特定する、位置特定部と、前記特徴点の3次元位置の変動情報に基づいて、前記監視対象領域3次元空間内での運動を認識する運動認識部と、を備える監視装置。

概要

背景

従来、防犯防災等の目的で監視カメラを用いた監視装置及び監視ステム(以下、「監視装置等」とも言う)が利用されている。この種の監視装置等は、一般に、監視カメラと情報処理装置とを含んで構成されており、例えば、店舗商業施設公共施設等の所定の監視対象領域内に設置した監視カメラによって撮影された画像を用いて監視対象の監視を行っている。

一般に、監視カメラで撮像される画像データは2次元的なものであるため、高さ情報や奥行き情報が得られない。そうすると、例えば大きさの異なる2人の人を捉えた画像データが得られたとしても、実際に2人の身長が異なっているのか、或いは、一方の人が監視カメラの近い側にいて他方の人が遠い側にいるため、大きさが異なるように見えているのか、コンピュータは画像データだけから判断することはできない。即ち、2次元の画像データから人を正確に把握することは困難である。

近年、高さ情報や奥行き情報も得ることができる3D撮影カメラの開発が進み、実用可能な3Dカメラ市場に存在する。しかしながら、現状では、一般的な2次元画像のみを撮影するカメラと比較して著しく高額であり、多くの一般的な小売店舗等においては、監視用カメラとしての導入は、コスト面で事実上不可能である。

そこで、様々な画像処理技術により、2次元の画像データに、撮影後に付加的に奥行き情報を加えることにより、当該2次元の画像データから、監視対象についての3次元空間内での位置情報(以下、「3D位置情報」とも言う)を得ることができる監視装置や監視システムが提案されている(特許文献1、2参照)。以下、本明細書においては、このように、2次元の元画像データから、例えば上記のようにして、監視対象についての「3D位置情報」を得ることができ、当該「3D位置情報」を用いて監視を実行する監視装置や監視システムとのことを「2D−3D監視装置等」と称する。

ここで、特許文献1に開示されている監視システム(「2D−3D監視装置等」)においては、監視対象に係る3D位置情報を得るためには、監視対象までの距離を監視期間中、常に測定し続ける必要があるため、情報処理量が膨大となる点に改善の余地があった。

一方、特許文献2に開示されている監視システム(「2D−3D監視装置等」)においては、監視装置等の稼働開始時に、予め、撮像部から各メッシュまでの距離情報を有するメッシュモデルを、生成することにより、その後は、監視対象までの距離を測定することなく、撮像部で所定領域を撮像することにより、距離測定を行うことなく監視対象とする3次元空間内での監視対象の3D位置情報を、監視期間中を通して継続的に得ることができる。

又、特許文献2には、2次元画像内の監視対象人を、複数の領域(例えば、上部領域:頭部、中間領域:胴体部、下部領域:脚部)に区画して、それらの各領域毎に人の各部の位置変動に係る特徴量を抽出することにより、監視対象とした「人」の不審行動等、予め設定されている「特異的な動作」を判別する方法が開示されている。これにより、2次元画像データから3次元空間内での監視対象の人の「動作」を監視し、監視対象とした「人」の「特異的な動作」を一定の精度で抽出することが可能である。例えば、「上部領域(頭部)の特異的な運動量の増加」から、当該人の不審な行動(例えば、過剰に周辺を見回す行動等)を定型的な行動の一つとして把握すること等は、最新の監視システムにおいて実現されている。

しかしながら、上記のように「特異的な動作」を把握するだけでは、監視の精度としては、未だ不十分とされる場合も多い。例えば、監視対象が「人(不審者)」と「物(陳列商品等)」とである場合に、上記のような「過剰に周辺を見回す」といったような定型的な不審行動を予備的な行動として抽出することは、従来の「2D−3D監視装置等」においても可能となっている。しかしながら、実際に当該商品をつかんで持ち去ったときだけに、「商品を持ち去った」という「人」の「物」に対する不定形な「動作」を、物とは関連しない類似のその他の動作と区別して抽出することは、従来の「2D−3D監視装置等」によっては未だ実現されていなかった。頭部、体幹両手両足を個別に、且つ、連動させて複雑に動かす「人」の動作を、「物」に対する特定の作用として統合された「3D位置情報」として把握することは、従来の「2D−3D監視装置等」においては、おおよそ不可能であると考えられていた。

概要

2次元画像を用いた監視装置において、監視対象とした「人」が行う監視対象とした「物」に対する不定形な一般的動作を抽出して、監視対象とした「人」が、監視対象とした「物」に対して不審度の高い所定の行動を行ったことを、高い精度で認識することができる監視装置・監視システムを提供すること。監視対象領域3次元空間を2次元の画像として撮影する撮影部と、前記撮影部が撮影した撮影画像中の監視対象を特定することができる監視対象特定部と、複数の特徴点連接する骨格線で構成される前記監視対象の骨格を抽出する骨格抽出部と、前記骨格抽出部が抽出した前記骨格を構成する特徴点の前記監視対象領域3次元空間内における位置を特定する、位置特定部と、前記特徴点の3次元位置の変動情報に基づいて、前記監視対象領域3次元空間内での運動を認識する運動認識部と、を備える監視装置。

目的

その目的は、2次元画像を用いた監視装置において、監視対象とした「人」が行う監視対象とした「物」に対する不定形な一般的動作を抽出して、監視対象とした「人」が、監視対象とした「物」に対して不審度の高い所定の行動を行ったことを、高い精度で認識することができる監視装置・監視システムを提供する

効果

実績

技術文献被引用数
2件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

監視対象領域次元空間を2次元の画像として撮影する撮影部と、前記撮影部が撮影した撮影画像中監視対象を特定することができる監視対象特定部と、複数の特徴点連接する骨格線で構成される前記監視対象の骨格を抽出する骨格抽出部と、前記骨格抽出部が抽出した前記特徴点の前記監視対象領域3次元空間内における位置を特定する、位置特定部と、前記特徴点の前記位置の変動に係る情報に基づいて、前記監視対象領域3次元空間内における前記監視対象の運動を認識する運動認識部と、を備える監視装置

請求項2

前記撮影画像中の床面又は地面に相当する位置を前記監視対象領域3次元空間内における実寸法と関連付けて特定可能な座標を、前記撮影画像に基づいて設定する座標設定部を備え、前記位置特定部は、前記座標設定部が設定した前記座標に基づいて前記特徴点の前記監視対象領域3次元空間内における位置を特定する、請求項1に記載の監視装置。

請求項3

前記運動認識部により認識された前記監視対象の運動量ベクトル入力値とし、該入力値と既定閾値との比較により、前記監視対象の運動の不審度を判定して出力する、不審運動判定部を備える、請求項1又は2に記載の監視装置。

請求項4

前記不審運動判定部は、前記監視対象が人及び物を含んでいる場合に、該人の前記運動量ベクトルと該物の前記運動量ベクトルとの差分を入力値とし、この入力値と既定の閾値との比較により、前記監視対象の運動の不審度を判定して出力する、請求項3に記載の監視装置。

請求項5

監視対象領域3次元空間を2次元の画像として撮影する撮影部と、前記撮影部が撮影した撮影画像中の監視対象を特定することができる監視対象特定部と、複数の特徴点を連接する骨格線で構成される前記監視対象の骨格を抽出する骨格抽出部と、前記骨格抽出部が抽出した前記特徴点の前記監視対象領域3次元空間内における位置を特定する、位置特定部と、前記特徴点の前記位置の変動に係る情報に基づいて、前記監視対象の運動を認識する運動認識部と、を備える監視ステム

請求項6

前記撮影画像中の床面又は地面に相当する位置を前記監視対象領域3次元空間内における実寸法と関連付けて特定可能な座標を、前記撮影画像に基づいて設定する座標設定部を備え、前記位置特定部は、前記座標設定部が設定した前記座標に基づいて前記特徴点の前記監視対象領域3次元空間内における位置を特定する、請求項5に記載の監視システム。

請求項7

前記運動認識部により認識された前記監視対象の運動量ベクトルを入力値とし、該入力値と既定の閾値との比較により、前記監視対象の運動の不審度を判定して出力する、不審運動判定部を備える、請求項5又は6に記載の監視システム。

請求項8

前記不審運動判定部は、前記監視対象が人及び物を含んでいる場合に、該人の前記運動量ベクトルと該物の前記運動量ベクトルとの差分を入力値とし、この入力値と既定の閾値との比較により、前記監視対象の運動の不審度を判定して出力する、請求項7に記載の監視システム。

請求項9

撮影部が監視対象領域3次元空間を2次元の画像として撮影する撮影ステップと、監視対象特定部が、前記撮影部が撮影した撮影画像中の監視対象を特定する監視対象特定ステップと、骨格抽出部が、複数の特徴点を連接する骨格線で構成される監視対象の骨格を抽出する監視対象の骨格抽出ステップと、位置特定部が、前記骨格抽出部が抽出した前記特徴点の前記監視対象領域3次元空間内における位置を特定する特徴点位置特定ステップと、運動認識部が、前記特徴点の前記位置の変動に係る情報に基づいて、前記監視対象領域3次元空間内における前記監視対象の運動を認識する運動認識ステップと、を備える、監視方法

請求項10

座標設定部が、前記撮影画像中の床面又は地面に相当する位置を前記監視対象領域3次元空間内における実寸法と関連付けて特定可能な座標を、前記撮影画像に基づいて設定する座標設定ステップを更に備え、前記座標設定ステップは、前記撮影部の設置後に少なくとも1回行われ、前記撮影ステップ、前記監視対象特定ステップ、前記骨格抽出ステップ、前記特徴点位置特定ステップ、及び、前記運動認識ステップは、監視期間中に繰り返し行われる、請求項9に記載の監視方法。

請求項11

不審運動判定部が、前記運動認識部により認識された前記監視対象の運動量ベクトルを入力値とし、該入力値と既定の閾値との比較により、前記監視対象の運動の不審度を判定して出力する、不審行動判定ステップを更に備え、前記不審行動判定ステップは、監視期間中に繰り返し行われる、請求項10に記載の監視方法。

技術分野

0001

本発明は、監視装置監視ステム、及び、監視方法に関する。

背景技術

0002

従来、防犯防災等の目的で監視カメラを用いた監視装置及び監視システム(以下、「監視装置等」とも言う)が利用されている。この種の監視装置等は、一般に、監視カメラと情報処理装置とを含んで構成されており、例えば、店舗商業施設公共施設等の所定の監視対象領域内に設置した監視カメラによって撮影された画像を用いて監視対象の監視を行っている。

0003

一般に、監視カメラで撮像される画像データは2次元的なものであるため、高さ情報や奥行き情報が得られない。そうすると、例えば大きさの異なる2人の人を捉えた画像データが得られたとしても、実際に2人の身長が異なっているのか、或いは、一方の人が監視カメラの近い側にいて他方の人が遠い側にいるため、大きさが異なるように見えているのか、コンピュータは画像データだけから判断することはできない。即ち、2次元の画像データから人を正確に把握することは困難である。

0004

近年、高さ情報や奥行き情報も得ることができる3D撮影カメラの開発が進み、実用可能な3Dカメラ市場に存在する。しかしながら、現状では、一般的な2次元画像のみを撮影するカメラと比較して著しく高額であり、多くの一般的な小売店舗等においては、監視用カメラとしての導入は、コスト面で事実上不可能である。

0005

そこで、様々な画像処理技術により、2次元の画像データに、撮影後に付加的に奥行き情報を加えることにより、当該2次元の画像データから、監視対象についての3次元空間内での位置情報(以下、「3D位置情報」とも言う)を得ることができる監視装置や監視システムが提案されている(特許文献1、2参照)。以下、本明細書においては、このように、2次元の元画像データから、例えば上記のようにして、監視対象についての「3D位置情報」を得ることができ、当該「3D位置情報」を用いて監視を実行する監視装置や監視システムとのことを「2D−3D監視装置等」と称する。

0006

ここで、特許文献1に開示されている監視システム(「2D−3D監視装置等」)においては、監視対象に係る3D位置情報を得るためには、監視対象までの距離を監視期間中、常に測定し続ける必要があるため、情報処理量が膨大となる点に改善の余地があった。

0007

一方、特許文献2に開示されている監視システム(「2D−3D監視装置等」)においては、監視装置等の稼働開始時に、予め、撮像部から各メッシュまでの距離情報を有するメッシュモデルを、生成することにより、その後は、監視対象までの距離を測定することなく、撮像部で所定領域を撮像することにより、距離測定を行うことなく監視対象とする3次元空間内での監視対象の3D位置情報を、監視期間中を通して継続的に得ることができる。

0008

又、特許文献2には、2次元画像内の監視対象人を、複数の領域(例えば、上部領域:頭部、中間領域:胴体部、下部領域:脚部)に区画して、それらの各領域毎に人の各部の位置変動に係る特徴量を抽出することにより、監視対象とした「人」の不審行動等、予め設定されている「特異的な動作」を判別する方法が開示されている。これにより、2次元画像データから3次元空間内での監視対象の人の「動作」を監視し、監視対象とした「人」の「特異的な動作」を一定の精度で抽出することが可能である。例えば、「上部領域(頭部)の特異的な運動量の増加」から、当該人の不審な行動(例えば、過剰に周辺を見回す行動等)を定型的な行動の一つとして把握すること等は、最新の監視システムにおいて実現されている。

0009

しかしながら、上記のように「特異的な動作」を把握するだけでは、監視の精度としては、未だ不十分とされる場合も多い。例えば、監視対象が「人(不審者)」と「物(陳列商品等)」とである場合に、上記のような「過剰に周辺を見回す」といったような定型的な不審行動を予備的な行動として抽出することは、従来の「2D−3D監視装置等」においても可能となっている。しかしながら、実際に当該商品をつかんで持ち去ったときだけに、「商品を持ち去った」という「人」の「物」に対する不定形な「動作」を、物とは関連しない類似のその他の動作と区別して抽出することは、従来の「2D−3D監視装置等」によっては未だ実現されていなかった。頭部、体幹両手両足を個別に、且つ、連動させて複雑に動かす「人」の動作を、「物」に対する特定の作用として統合された「3D位置情報」として把握することは、従来の「2D−3D監視装置等」においては、おおよそ不可能であると考えられていた。

先行技術

0010

特開2013−207415号公報
特許第5899506号公報

発明が解決しようとする課題

0011

本発明は、以上の状況に鑑みてなされたものである。その目的は、2次元画像を用いた監視装置において、監視対象とした「人」が行う監視対象とした「物」に対する不定形な一般的動作を抽出して、監視対象とした「人」が、監視対象とした「物」に対して不審度の高い所定の行動を行ったことを、高い精度で認識することができる監視装置・監視システムを提供することである。

課題を解決するための手段

0012

本発明は、以下のような解決手段により、前記課題を解決する。尚、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。

0013

(1)監視対象領域3次元空間を2次元の画像として撮影する撮影部(110)と、前記撮影部(110)が撮影した撮影画像中の監視対象を特定することができる監視対象特定部(123)と、複数の特徴点連接する骨格線で構成される前記監視対象の骨格を抽出する骨格抽出部(124)と、前記骨格抽出部(124)が抽出した前記特徴点の前記監視対象領域3次元空間内における位置を特定する、位置特定部(125)と、前記特徴点の前記位置の変動に係る情報に基づいて、前記監視対象の運動を認識する運動認識部(126)と、を備える監視装置(100)。

0014

(2) 前記撮影画像中の床面又は地面に相当する位置を前記監視対象領域3次元空間内における実寸法と関連付けて特定可能な座標を、前記撮影画像に基づいて設定する座標設定部(121)を備え、前記位置特定部(125)は、前記座標設定部(121)が設定した前記座標に基づいて前記特徴点の前記監視対象領域3次元空間内における位置を特定する、(1)に記載の監視装置(100)。

0015

(3) 前記運動認識部(126)により認識された前記監視対象の運動量ベクトル入力値とし、この入力値と既定閾値との比較により、該監視対象の運動の不審度を判定して出力する、不審運動判定部(127)を備える、(1)又は(2)に記載の監視装置(100)。

0016

(4) 前記不審運動判定部(127)は、前記監視対象が人及び物を含んでいる場合に、該人の前記運動量ベクトルと該物の前記運動量ベクトルとの差分を入力値とし、この入力値と既定の閾値との比較により、前記監視対象の運動の不審度を判定して出力する、(3)に記載の監視装置(100)。

0017

(5)監視対象領域3次元空間を2次元の画像として撮影する撮影部(110)と、前記撮影部(110)が撮影した撮影画像中の監視対象を特定することができる監視対象特定部(123)と、複数の特徴点を連接する骨格線で構成される前記監視対象の骨格を抽出する骨格抽出部(124)と、前記骨格抽出部(124)が抽出した前記特徴点の前記監視対象領域3次元空間内における位置を特定する、位置特定部(125)と、前記特徴点の前記位置の変動に係る情報に基づいて、前記監視対象の運動を認識する運動認識部
(126)と、を備える監視システム。

0018

(6) 前記撮影画像中の床面又は地面に相当する位置を前記監視対象領域3次元空間内における実寸法と関連付けて特定可能な座標を、前記撮影画像に基づいて設定する座標設定部(121)を備え、前記位置特定部(125)は、前記座標設定部(121)が設定した前記座標に基づいて前記特徴点の前記監視対象領域3次元空間内における位置を特定する、(5)に記載の監視システム。

0019

(7) 前記運動認識部(126)により認識された前記監視対象の運動量ベクトルを入力値とし、該入力値と既定の閾値との比較により、前記監視対象の運動の不審度を判定して出力する、不審運動判定部(127)を備える、(5)又は(6)に記載の監視システム。

0020

(8) 前記不審運動判定部(127)は、前記監視対象が人及び物を含んでいる場合に、該人の前記運動量ベクトルと該物の前記運動量ベクトルとの差分を入力値とし、この入力値と既定の閾値との比較により、前記監視対象の運動の不審度を判定して出力する、(7)に記載の監視システム。

0021

(9)撮影部(110)が監視対象領域3次元空間を2次元の画像として撮影する撮影ステップと、監視対象特定部(123)が、前記撮影部(110)が撮影した撮影画像中の監視対象を特定する監視対象特定ステップと、骨格抽出部(124)が、複数の特徴点を連接する骨格線で構成される監視対象の骨格を抽出する監視対象の骨格抽出ステップと、位置特定部(125)が、前記骨格抽出部(124)が抽出した前記特徴点の前記監視対象領域3次元空間内における位置を特定する特徴点位置特定ステップと、運動認識部(126)が、前記特徴点の前記位置の変動に係る情報に基づいて、前記監視対象領域3次元空間内における前記監視対象の運動を認識する運動認識ステップと、を備える、監視方法。

0022

(10)座標設定部(121)が、前記撮影画像中の床面又は地面に相当する位置を前記監視対象領域3次元空間内における実寸法と関連付けて特定可能な座標を、前記撮影画像に基づいて設定する座標設定ステップを更に備え、前記座標設定ステップは、前記撮影部の設置後に少なくとも1回行われ、前記撮影ステップ、前記監視対象特定ステップ、前記骨格抽出ステップ、前記特徴点位置特定ステップ、及び、前記運動認識ステップは、監視期間中に繰り返し行われる、(9)に記載の監視方法。

0023

(11) 不審運動判定部(127)が、前記運動認識部(126)により認識された前記監視対象の運動量ベクトルを入力値とし、該入力値と既定の閾値との比較により、前記監視対象の運動の不審度を判定して出力する、不審行動判定ステップを更に備え、前記不審行動判定ステップは、監視期間中に繰り返し行われる、(10)に記載の監視方法。

発明の効果

0024

本発明によれば、2次元画像を用いた監視装置において、監視対象とした「人」が行う監視対象とした「物」に対する不定形な一般的動作を抽出して、監視対象とした「人」が、監視対象とした「物」に対して不審度の高い所定の行動を行ったことを、高い精度で認識することができる監視装置・監視システムを提供することができる。

図面の簡単な説明

0025

本発明の監視装置の構成を示すブロック図である。
本発明の監視装置を構成する撮影部の取り付け態様の一例を示す図である。
本発明の監視装置が備える座標設定部が座標設定を行うために用いる背景画像の一例を示す図である。
上記の座標設定部が設定した座標の一例を示す図である。
本発明の監視装置・監視システムの動作の流れを示すフローチャートである。
本発明の監視装置による座標設定処理の動作の流れを示すフローチャートである。
本発明の監視装置が備える監視対象特定部によって、撮影画像中の監視対象(人Hと物M)が特定されている状態を示す図である。
本発明の監視装置が備える骨格抽出部によって、図7の監視対象から骨格が抽出されている状態を示す図である。
本発明の監視装置が備える位置特定部によって、上記の骨格の特徴点が、3次元情報奥行情報)を含む座標上に重ね合わされている状態を示す図である。
上記の監視装置が備える運動認識部によって、上記の特徴点の位置の変動に係る情報に基づいて、監視対象の運動が認識される状態を示す図である。
上記の運動認識部によって認識された、監視対象の運動量ベクトルを示す図である。
設定用被写体を含めて背景の撮影を行った撮影画像を示す図である。
基準被写体消失点との関係を説明する図であり、上記撮影部により撮影された画像に相当する。
本発明の他の実施形態における撮影部の取り付け態様を横方向から模式的に示す図である。
上記撮影部と監視対象との関係を上方から見た状態として模式的に示す図である。
より詳細な説明を図14に追加した図である。
より詳細な説明を図15に追加した図である。

実施例

0026

以下、本発明を実施するための最良の形態について図面等を参照して説明する。

0027

<監視装置>
図1は、本発明の監視装置100の構成を示すブロック図である。尚、図1を含め、以下に示す各図は、模式的に示した図であり、各部の大きさ、形状は、理解を容易にするために、適宜変更して示している。又、以下の説明では、具体的な構成を示して説明を行うが、これらは、適宜変更することができる。

0028

[全体構成]
監視装置100は、撮影部110と、演算処理部120とを備えている。以下では、監視装置100は、撮影部110と演算処理部120とを離れた位置に別々に配置可能として構成した例を挙げて説明する。しかし、撮影部110と演算処理部120とを1つの監視装置として一体化した構成、或いは、演算処理部120の一部のみを撮影部110内に搭載した構成とすることもできる。

0029

[撮影部]
図2は、撮影部110の取り付け態様の一例を示す図である。撮影部110は、監視対象領域を撮影する、所謂、監視カメラである。又、撮影部110を構成する監視カメラは監視対象領域3次元空間を2次元の画像として撮影する単眼のカメラでよく、高価な3Dカメラを導入することなく、本発明の効果を享受することができる。図2には、撮影部110が天井に取り付けられている例を示したが、取り付け場所は、監視対象領域に応じて適宜変更可能である。撮影部110は、撮像素子111と、撮影レンズ112と、画像処理部113とを備えいる構成とすることができる。

0030

撮像素子111は、撮影レンズ112が結像する像を撮像して、画像処理部113へ送る。又、図2には、撮影レンズ112の光軸映像光の光軸)O、及び、撮影範囲(角度θの範囲)を模式的に示した。尚、撮影範囲は、アスペクト比に応じて、上下、左右の各方向における実撮影範囲が異なるので、ここでは、理解を容易にするために図示したような撮影画面における上下方向の撮影範囲を角度θ(垂直方向画角)の範囲として示した。

0031

画像処理部113は、撮像素子111から出力されるデータを処理して画像データ化して、演算処理部120へ送信する。

0032

[演算処理部]
演算処理部120は、撮影部110から送信された画像データに対して、監視に必要な演算処理を行う。演算処理部120は、例えば、パーソナルコンピュータタブレット端末スマートフォン等を利用して構成することができる。或いは、演算処理部120は、監視動作特化した専用の装置として構成することもできる。これらの何れの構成においても、演算処理部120は、CPU、メモリ通信部等のハードウェアを備えている。そして、このような構成からなる演算処理部120は、コンピュータプログラム監視プログラム)を実行することにより、以下に説明する各種動作、及び、監視方法を具体的に実行することができる。

0033

演算処理部120は、撮影部110から画像データを受信することができるように撮影部110と接続されている。この接続は、専用の通信ケーブルを利用した有線接続、或いは、有線LANによる接続とすることができる。又、有線接続に限らず、無線LAN近距離無線通信携帯電話回線等の各種無線通信を用いた接続としてもよい。尚、演算処理部120は、撮影部110の近傍に配置せずに、撮影部110から離れた遠隔地に配置してもよい。

0034

演算処理部120は、座標設定部121、入力部122、監視対象特定部123、位置特定部125、及び、不審運動判定部127を備えている。以下これらの各部について説明する。

0035

(座標設定部)
座標設定部121は、撮影部110が撮影した撮影画像中の床面又は地面に相当する位置を監視対象領域3次元空間内における実寸法と関連付けて特定可能な座標を設定する処理を行う。座標設定動作の詳細は後述する(図4参照)。

0036

(入力部)
入力部122は、撮影部110から床面又は地面までの距離(高さh)について、外部からの入力を受け付ける。又、入力部122は、撮影部110が撮影する映像光の光軸の向き(鉛直方向(Z方向)に対する角度α)の入力を受け付ける。入力部122は、演算処理部120に設けられたキーボード等の汎用入力装置を介して入力される値を受け付けてもよいし、設定値が保存された記憶媒体を介して入力される値を受け付けてもよいし、ネットワーク等を介して入力される値を受け付けてもよい。

0037

(監視対象特定部)
監視対象特定部123は、監視動作中に、撮影画像中の「人」や「物」を自動的に検出して、これを監視対象として特定する。又、監視対象特定部123は、複数の監視対象を同時に並行して個別に特定する機能を有する(図8参照)。

0038

(骨格抽出部)
骨格抽出部124は、複数の特徴点を連接する骨格線で構成される前記監視対象の骨格を抽出する(図8、9参照)。

0039

(位置特定部)
位置特定部125は、骨格抽出部124が抽出した骨格を構成する特徴点の「監視対象領域3次元空間内における位置」を特定する(図10、11参照)。この「監視対象領域3次元空間内における位置」とは、上記特徴点が現実の監視対象領域空間内で実際に占める位置である。この位置は、各特徴点が、上記の座標上に占める位置から得ることができる「3次元位置情報」に基づいて特定される(図10参照)。

0040

(運動認識部)
運動認識部126は、上記の特徴点の「監視対象領域3次元空間内における位置」の変動に係る情報に基づいて、監視対象領域3次元空間内における監視対象の「運動」を認識する。尚、ここでいう「運動」には、監視対象とする「人」等の姿勢の変化や、監視対象とする「物」の形状の変化等、骨格の特徴点の位置変動によって把握することが可能な監視対象のあらゆる動きが含まれる(図10図11参照)。

0041

(不審運動判定部)
不審運動判定部127は、運動認識部126により認識された監視対象とされているた「人」や「物」の監視対象領域3次元空間内における運動量ベクトルを入力値とし、この入力値と所定の閾値との比較により、監視対象の運動の不審度を判定して出力する。

0042

又、不審運動判定部(127)は、監視対象が「人」及び「物」を含んでいる場合に、「人」の運動量ベクトルと「物」の運動量ベクトルとの差分を入力値とし、この入力値と既定の閾値との比較によっても、監視対象の運動の不審度を判定して出力する。これにより、例えば、「人が物を掴んでそのまま持ち去る」というような「人」の「物」に対する動作を統合的に判定することができる。

0043

[監視装置及び監視システムの動作]
図5は、監視装置100を好適に用いて実行することができる本発明の監視システムの動作の流れを示すフローチャートである。

0044

(座標設定ステップ)
座標設定ステップS11では、座標設定部121が、座標設定処理を行う。S11で行われる座標設定処理とは、座標設定部121が、撮影部110が撮影した撮影画像中の床面又は地面に相当する位置を監視対象領域3次元空間内における実寸法と関連付けて特定可能な座標、即ち、監視対象領域についての奥行き情報も有する3次元座標を設定する処理である。

0045

尚、この座標設定ステップS11は、監視領域を監視するための事前準備であって、これ以降のステップにより本稼働としての実際の監視が開始される。換言すると、座標設定ステップS11は、監視の本稼働の開始に先行して、撮影部110の設置後に少なくとも1回行われればよい。例えば、監視装置100を設置したときに適切に上記の座標を設定しておけば、その後、撮影部110の配置の変更等、監視画像撮影条件特段の変更がない限り、監視システムの稼働中における再度の座標設定を不要とすることができる。

0046

この座標設定部121が設定する座標とは、撮影部110が撮影する撮影画像中において、ある任意の位置を特定し、その位置が床面又は地面にあるとしたときに、その床面又は地面が、実際の監視対象領域の空間においてどの位置に相当するのか特定可能な座標である。即ち、この設定される座標上の位置は、監視対象領域3次元空間内における実寸法と関連付けて設定される。

0047

図3は、座標設定部121が座標設定を行うときに撮影される背景画像の一例を示す図である。図3に示した例では、床面501と、壁面502と、陳列棚503とが撮影画像中に含まれている。図3において、床面に平行な面をXY平面とし、XY平面のうち図3中の左右方向をX方向とし、左右方向に直交する奥行方向をY方向とする。又、床面に垂直な鉛直方向をZ方向とする。以下、図4図7〜9、図13においても同様である。

0048

撮影部110が撮影する撮影画像は2次元の画像情報である。よって、撮影画像中である位置を選択(特定)したとしても、それだけでは、選択(特定された)位置(2次元位置)が、実際の3次元空間上におけるいかなる位置(3次元位置)であるのかを特定することができない。しかし、床面、又は、地面上に、「監視対象領域3次元空間内における実寸法」と関連付けた座標を設定した上で、撮影画像中で選択(特定)する位置を、床面又は地面であると限定すれば、撮影画像中で選択(特定)された位置が監視対象領域3次元空間内におけるどの位置の床面又は地面であるのかを特定することが可能となる。そこで、座標設定部121は床面又は地面に対応させた座標を設定する。

0049

座標設定部121は、撮影部110から床面又は地面までの距離hと、撮影部110が撮影する映像光の光軸Oの向き(角度α)と、撮影部110が撮影する撮影画像の画角(θ)とを用いて座標を設定する。

0050

図2に示すように、撮影部110が撮影する撮影画像中における、中心位置に存在する床面又は地面の実際の中心位置PO、即ち、撮影レンズ112の光軸Oが床面又は地面と交わる中心位置POは、幾何学的に特定可能である。具体的には、撮影部110が設置されている位置の床面又は地面からの高さhと、光軸Oの向きを特定可能な角度α(光軸Oと鉛直方向Gとのなす角度)とを取得できれば、撮影部110の真下の位置から位置POまでの距離LOを求めることができる。

0051

又、垂直方向画角θは、撮像素子111のサイズと撮影レンズ112の諸元から一義的に決まる既知の値であるので、中心位置POから撮影範囲の最近点P1までの距離L1と、中心位置POから撮影範囲の最遠点P2までの距離L2とについても、幾何学的に求めることができる。同様に、これらの中間の任意の位置についても、画像中の位置と監視対象領域3次元空間内における実際の位置(実寸法、実距離)とを関連付けることができる。

0052

又、上述した奥行方向(図中のY方向)と同様に、左右方向(図中のX方向)についても、画像中の位置と監視対象領域3次元空間内における実際の位置(実寸法、実距離)とを関連付けることができる。

0053

以上のようにして、座標設定部121は、撮影画像中に、「監視対象領域3次元空間内における位置」と関連付けされた座標を設定することができる。

0054

図4は、座標設定部121が設定した座標の一例を示す図である。図4では、説明のために、図3の撮影画像にY方向及びX方向に、監視対象領域3次元空間内における実寸法において等間隔となるグリッドを重ねて示した。尚、このようにグリッドで領域を分割することは、一例であって、グリッド分けをせずに連続した座標が設定されていてもよい。尚、座標設定部121が設定する座標は、床面501(又は地面)が無限に広がっていると仮定して設定されるので、これを説明するために、あえて壁面502や陳列棚503等に対してもグリッドを重ねて表示した。

0055

ここで、撮影画像では、監視対象領域3次元空間内における実寸法が同じであっても、近くの位置よりも遠くの位置の方が小さく見える。よって、設定された座標において、上記実寸法上で等間隔のグリッドは、遠方の方が小さくなるように設定される。このように、座標設定部121が設定する座標は、監視対象領域3次元空間内における実際の位置(実寸法、実距離)と関連付けられている。

0056

座標設定部121が設定する座標が、上述の通り、監視対象領域3次元空間内における実際の位置(実寸法、実距離)と関連付けられているということは、換言すれば、座標設定部121が設定する上記座標上の各グリッド、或いは、各点は、撮影部110からの距離情報を含んでいるということでもある。そうすると、所定領域内の監視対象がどのグリッドに位置しているかを把握することで、当該監視対象の大きさや立体形状に係る3次元情報を取得することが可能である。

0057

尚、本発明の監視装置100においては、撮影部110が設置されている位置の床面又は地面からの高さhと、光軸Oの向きを特定可能な角度α(光軸Oと鉛直方向Gとのなす角度)とを取得できれば、撮影部110の真下の位置から位置POまでの距離LOを求めることができる。一方で、監視装置100を構成する撮影部110は、赤外線等を照射して距離測定を行う距離測定部に相当する構成を必須の構成としてはいない。上記のように幾何学的に監視対象領域3次元空間の位置を特定する前提として必要な初期情報となる「高さh」に関しては、監視装置100が自動的に得られる値ではない。撮影部110が設置される高さは、監視を行う現場に応じて様々である。監視装置100では、入力部122が高さhの入力を受け付けることで、適切な高さhを取得する。

0058

又、光軸Oの向きを特定可能な角度αについても、正しい値を取得する必要がある。ここで説明する撮影部110は、光軸Oの向きを任意の向きに向けて設置が可能なように構成されているが、設置後は、光軸Oの向きに変化はない。そこで、本実施形態の監視装置100では、角度αについても、入力部122が入力を受け付けることで、適切な角度αを取得する。尚、角度αについては、撮影部110の設置工事時に調整されるので、設置工事完了後に入力が行われる。その際、最終的な調整値を得ることができるように、例えば、撮影部110の向き調整機構目盛を設けておけば、この目盛に応じた値を入力部122に入力することにより、適切な値を簡単に入力可能である。尚、光軸Oの向きを変更できない簡素な構成の撮影部110の場合に、この角度αは、その規定値を用いればよいので、入力部122による角度αの入力を省略可能である。

0059

尚、撮影部110が、赤外線等を照射して距離測定を行う距離測定部に相当する構成を有する場合においては、距離測定部によって先ず撮影部から監視画像の背景に対応する実際の各点までの距離を実測し、この実測値に基づいて、上記同様、監視対象領域3次元空間内における実際の位置(実寸法、実距離)と関連付けられている座標を設定することができる(特許文献2参照)。換言すれば、本発明の好ましい実施形態によれば、特許文献2に開示されている監視システム等において座標設定のための初期情報を得るために必須とされている撮影部から監視対象等までの距離の測定は不要である。

0060

図6は、座標設定処理の動作の流れを示すフローチャートである。S101では、入力部122が、高さhと角度αの入力を受け付ける。S102では、座標設定部121が、座標を設定する座標設定処理を行い、座標設定処理を終了する。

0061

尚、座標設定処理は、上記方法による他、基準被写体を撮影部(110)により撮影した撮影画像を用いて設定する方法によることもできる。ここで、基準被写体とは、予め形状及び寸法が既知の被写体であり、この基準被写体を撮影することにより、撮影画面内のどの位置で既知の寸法がどのように撮影されているかを演算することにより、上記のように高さhと角度αの入力を行わなくても、精度の高い座標設定を行うことが可能である。

0062

又、基準被写体としては、座標設定用に作製された専用の設定用被写体であることが好ましいが、座標設定時に撮影範囲内に含まれる背景物(例えば、陳列棚503)を基準被写体として利用してもよい。その場合に、基準被写体とする背景物の監視対象領域3次元空間内における実寸法や形状等を入力可能とするとよい。基準被写体の形状は限定されないが、正方形の設定用被写体Sを基準被写体として用いることにより、撮影画像内で認識される設定用被写体Sの各辺の寸法差に基づいて、幅方向と奥行き方向の座標系を、より簡易な演算で高精度に設定することができる。

0063

(撮影ステップ)
撮影ステップS12では、撮影部110が監視撮影を行う。ここで、監視撮影は、静止画の撮影を所定間隔で連続して行い、撮影される画像の連続として後述する監視動作を行うが、撮影間隔を非常に短くすることにより、実質的には、動画撮影として、監視動作を行っているものと捉えることもできる。

0064

(監視対象特定ステップ)
監視対象特定ステップS13では、監視対象特定部123が、撮影部が撮影した撮影画像中の監視対象を検出して特定したか否かについて判断を行う。監視対象を検出して特定した場合(S13、Yes)には、骨格抽出ステップS14へ進み、監視対象が検出されていない場合(S13、No)には、撮影ステップS12へ戻り、監視動作を継続する。

0065

監視対象の検出は、具体的には、従来公知の様々な手法の何れか、又は、それらを組合せて行うことができる。例えば、背景差分によって監視領域内の「人」を抽出することができる。この背景差分は公知の技術であり、監視カメラ24で取得された画像データと、事前に取得しておいた監視領域Aの背景画像との差分をとることで、動きのある監視対象を抽出する技術である。

0066

又、検出した監視対象の特定については、近年、画像認識分野において、認識率飛躍的向上が注目を集めているディープラーニングを用いた画像認識技術と本発明との組合せが有効である。このような画像認識技術と組合せることにより、撮影画像中の「人」や物を自動的に、且つ、極めて高い認識正解率で検出して特定することができる。又、多数の監視対象をカテゴリーや種類毎に分類認識して、同時並行的に検出して特定することもできる。

0067

尚、ディープランニングを用いた画像認識技術については、例えば、下記に公開されている。
「ディープラーニングと画像認識、オペレーションズ・リサーチ
(http://www.orsj.o.jp/archive2/or60−4/or60_4_198.pdf))

0068

(骨格抽出ステップ)
骨格抽出ステップS14では、骨格抽出部124が、監視対象特定ステップS13で検出され特定された監視対象(例えば、図9における人Hと、物M)について、複数の特徴点とそれらの複数の特徴点を連接する骨格線とで構成される各監視対象の骨格を抽出する。

0069

本明細書において、監視対象の「骨格」とは、監視対象の複数の特徴点とこれらを連接してなる線状の図形である。図8は、骨格抽出部124によって、監視対象である人Hから骨格が抽出されている状態を示す図である。図8において、監視対象である人Hの頭頂部左手H2、及び、その他の四肢の先端や主たる関節部分に対応する位置が特徴点(h1、・・・、hn)として把握されており、これらの複数の特徴点と、それらを連接する線分とによって形成される監視対象Hの「骨格」が、2次元撮影画像内の図形として認識されている。

0070

骨格抽出ステップS14で骨格を抽出する監視対象をどの程度の数の特徴点で区切って動作解析の単位となる各部分に細分化するかは、監視目的に応じて、どのような行動の差異を峻別して判定する必要があるかを考慮して適宜設計すればよい。但し、本発明の監視装置、監視システムの有利な効果を享受するための最小限の構成として、複数の特徴点が、少なくとも監視対象の「人」の頭頂部及び四肢の先端近傍部に該当する位置点を含んで構成されていることが好ましい。

0071

監視対象の骨格の抽出は、具体的には、従来公知の様々な手法の何れか、又は、それらを組合せて行うことができる。一例として、下記文献に開示されている「OpenPose」と称される技術を用いることにより、2次元の撮影画像から「人」の骨格を抽出することができる。
「Zhe Cao 他 Realtime Multi−Person 2D Human Pose Estimation using Part Affinity FieldsCVPR 2017」

0072

(特徴点位置特定ステップ)
特徴点位置特定ステップS15では、位置特定部125が、骨格抽出部124が2次元の図形として抽出した監視対象の骨格の位置情報から、これを構成する各特徴点の「監視対象領域3次元空間内における位置」を特定する。

0073

図9は、位置特定部125によって、監視対象特定ステップS13で監視対象として検出された人H及び物Mについて、骨格抽出ステップS14で抽出されたそれぞれの骨格の特徴点(h1、h2、・・・h5)、(m1)が、座標設定ステップS11において予め設定されている3次元情報(奥行情報)を含む座標上に重ね合わされている状態を示す図である。

0074

図9に示すように、位置特定部125の動作により、監視対象の人Hの骨格の脚部先端近傍の特徴点(h3、h5)の位置が、3次元情報(奥行情報)を含む座標上におけるどの位置を占めているか(どのグリッド内にあるか)によって、監視対象の人Hの立ち位置斜線部分のグリッド内であることを特定することができる。

0075

そして、人Hの立ち位置が、3次元情報(奥行情報)を含む座標上で特定できれば、例えば、撮影画像内での人Hのサイズや形状から、監視対象領域3次元空間内における人Hの実際のサイズや立体形状を算出して把握することができる。つまり、2次元の画像データ(撮影画像内の座標上に重ね合わされた特徴点の位置情報)から、人Hや物Mの位置や運動に係る三次元データを取得することができる。

0076

上記原理により、特徴点位置特定ステップS15では、監視対象の骨格を構成する特徴点について「監視対象領域3次元空間内における位置」が特定される。又、「監視対象領域3次元空間内における位置」を特定することができれば、上述の通り、当該監視対象の大きさや立体形状に係る3次元情報を取得することもできる。

0077

例えば、上述の「OpenPose」を用いることにより、監視対象となる「人H」の2次元撮影画像から、複数の特徴点(h1〜h5等で構成される複数の特徴点)が連接されてなる骨格を抽出することが可能である。そして、これら各特徴点の上記座標上の位置から、各特徴点の「監視対象領域3次元空間内における位置」を算出して特定することができる。

0078

(運動認識ステップ)
運動認識ステップS16では、運動認識部126が、特徴点の「監視対象領域3次元空間内における位置」の変動に係る情報に基づいて、前記監視対象領域3次元空間内における前記監視対象の運動を認識する。

0079

図10は、運動認識部126によって、上記の各特徴点の3次元位置の変動に係る情報に基づいて、監視対象領域3次元空間内での監視対象の動作が認識される状態を示す図である。ここでは、監視対象として特定された人Hの左手H2の位置が、監視対象領域3次元空間内において位置h20(xh20、yh20、zh20)から位置h21(xh21、yh21、zh21)に移動したこと、及び、監視対象である物Mについては位置m10(xm10、ym10、zm10)に静止していること、そして、「人Hの左手H2の移動後の位置h21と、物Mの位置m10とが、監視対象領域3次元空間内において一致していること」が、運動認識部126によって認識されている。

0080

(不審行動判定ステップ)
不審行動判定ステップS17では、不審運動判定部(127)が、前記運動認識部(126)により認識された前記監視対象の運動量ベクトルを入力値とし、この入力値と既定の閾値との比較により、前記監視対象の運動の不審度を判定して出力する。不審運動判定部127が、監視対象の運動の不審度が高い(異常行動を行っている)と判断した場合(S17、Yes)には、不審行動検知処理ステップS18へ進み、監視対象の運動の不審度が低い(異常行動を行っていない)と判断した場合(S17、No)には、撮影ステップS12へ戻る。

0081

不審運動判定部127は、上述の運動量ベクトルから、監視対象である「人」の移動、頭部や四肢の動き、姿勢の変化を統合的に把握し、この「運動」が不審度の高い「運動」であるか否かを判断する。例えば、監視対象である「人」が、進入禁止の位置に浸入したことを検知したり、一定の位置に所定時間以上留まっていること、或いは、短時間のうちに一定の位置の周囲を徘徊する行動等、を検知したりした場合等に、それらの「運動」を不審度の高い運動と判断する。

0082

更に、不審運動判定部127は、監視対象である「人」の運動量ベクトルと、「物」の運動量ベクトルとの差分を入力値とし、この入力値と既定の閾値との比較により、前記監視対象の運動の不審度を判定して出力する。この場合も、判断結果に応じたその後の動作の流れは上記同様である。

0083

不審運動判定部127は、例えば、図11に示すような人Hの運動量ベクトルと、物Mの運動量ベクトルに係るデータを取得したとき、ベクトル量の差分等を解析することにより、「人Hが、位置m10に静置されていた物Mに左手を伸ばしてこれを把持し、そのまま物Mを位置m12(h12)まで移動させた」ことを3次元空間内で統合的に把握することが可能である。物Mが移動させられるべき物品ではないことを、予め条件付けしておくことにより、上記行動を「極めて不審度の高い行動」として検知することができる。

0084

尚、不審運動判定部127の上記判断例は、簡単な構成を例示したに過ぎず、様々な条件の組合せによって、より高度な不審行動の検出を行うことが可能である。

0085

(不審行動検知処理ステップ)
不審行動検知処理ステップS18では、演算処理部120が、異常行動を検知した場合に行われる不審行動検知処理を行う。不審行動検知処理としては、従来から公知の様々な処理を適宜利用可能である。例えば、警告音を発したり、警告表示を行ったりするといった簡単な処理であってもよいし、管理者や警備会社等への通報を更に行ってもよい。又、異常行動の種類やレベルに応じて、不審行動検知処理の内容を変更してもよい。

0086

不審行動検知処理ステップS18では、演算処理部120が、監視を終了するか否かを判断する。監視終了は、例えば、監視終了の命令が入力された場合に終了と判断される。終了する場合(S18、Yes)には、監視動作を終了し、それ以外の場合(S18、No)には、撮影ステップS12へ戻り、監視を継続する。

0087

[監視装置・監視システムの他の実施形態]
本発明の監視装置・監視システムは、位置特定部による、上記の特徴点の「監視対象領域3次元空間内における位置」の特定(特徴点位置特定ステップS15)を、上記座標(監視対象領域についての奥行き情報も有する3次元座標)にはよらず、監視対象領域の撮影画像に含まれる情報から求めた「消失点」に基づいて、行う実施形態とすることもできる。

0088

この実施形態においては、座標設定部121が行なう座標設定に相当する処理(座標設定ステップS11)を行なわずに、「監視対象領域3次元空間内における位置」を特定することができる。

0089

図13は、基準被写体と消失点を説明する図であり、撮影部110により撮影された画像に相当する。又、図14は、撮影部110と監視対象との関係を上方から見た状態として模式的に示す図である。そして、図15は、撮影部110と監視対象との関係を横方向から模式的に示す図である。これらの各図、及び、図16、17において、網点塗りつぶした領域は、撮影部110の撮影範囲である。

0090

この実施形態においては、基準被写体として、図14中の壁面Wを用いている。この壁面Wの上端部のラインL1と下端部のラインL2とは、「監視対象領域3次元空間内」における実物としては、両者が平行であって、且つ、水平に延在しているが、撮影画像中では、遠くに行くにしたがって両者の間の間隔が狭くなっている。そして、これら2本のラインL1、L2を仮想的に図中の一点鎖線のように延長して交わる点が、本明細書における「消失点V」である。尚、ラインL1、L2の設定は、画像処理によって自動的、又は、基準被写体をオペレータが指定することによって半自動的に行なわれるようにしてもよいし、オペレータが撮影画像中の基準被写体に基づいて手動でラインを指定(ライン上の2点をマウス等のポインティングデバイス等により指定)してもよい。

0091

消失点Vが撮影画像中で特定できたら、その消失点Vの撮影画像中における縦方向座標値を求める。以下、この撮影画像中における縦方向の座標をSY座標、横方向の座標をSX座標と呼び、実際の空間において設定したX座標、及び、Y座標と区別することとする。したがって、SY座標、SX座標は、画素単位数値で位置を表すことになる。

0092

消失点Vの撮影画像中における縦方向の座標値VSYを求めたら、以下の式により、角度β0を求めることができる。尚、角度β0は、監視対象のある床面又は地面の位置から撮影部110へ向けて引いた仮想線が床面となす角度である(図14参照)。
β0=θY−(K×VSY) ・・・式(1)
ここで、θYは、撮影部110の縦方向(SY方向)の画角である。又、Kは、撮影部係数である。

0093

監視対象の「監視対象領域3次元空間内における位置」を特定するためには、先ず、監視対象のY方向の実際の位置として、撮影部110直下から監視対象までのY方向の実際の距離LY(監視対象が「人」であれば、その足下までのY方向の距離)を求める。

0094

具体的には、先ず、図15図16中に示した距離LYを、以下の式により求める。
β1=PSY/(PNSY/θY)−β0 ・・・式(2)
LY=h/(tan(β1)) ・・・式(3)
ここで、PSYは、撮影画像中の縦方向(SY方向)の座標値(画素数)であり、PNSYは、撮影画像全体の縦方向(SY方向)の座標値(画素数)である。

0095

図17は、より詳細な説明を図15に追加した図である。X方向の位置を考慮するために、図17に示す各寸法を更に求める。先ず、撮影画像のX方向における中心線Oから監視対象のSX方向の座標値(画素数)である画像中距離を求める。
PX=|PSX−(PNSX/2)| ・・・式(4)
ここで、PSXは、監視対象の撮影画像中の横方向(SX方向)の座標値(画素数)であり、PNSXは、撮影画像全体の縦方向(SY方向)の座標値(画素数)である。

0096

次に、図17中の角度β2を求める。尚、監視対象の床面又は地面から撮影部110直下へ向かって引いた仮想線がX軸(SX軸)となす角度である。
β2=90−(PX×(θX/PNSX) ・・・式(5)
ここで、θXは、撮影部110のX方向における画角である。

0097

最後に、以下の式により、監視対象の床面又は地面から撮影部110直下までの距離LPを求める。
LP=LY/sin(β2) ・・・式(6)

0098

この実施形態においては、以上の手順によって、座標設定部121が行なう座標設定に相当する処理(座標設定ステップS11)を行なわずに、「監視対象領域3次元空間内における位置」を特定すること(特徴点位置特定ステップS15)を実行することができる。その他のステップについては、上述と同様の手順で行うことができる。つまり、この実施形態によれば、より簡易的な手法により、正確に監視対象の位置を特定することが可能となる。

0099

以上説明した、本発明の監視装置・監視システムによれば、2次元画像を用いた監視装置等(「2D−3D監視装置等」)において、監視対象とした「人」が行う監視対象とした「物」に対する不定形な一般的動作を抽出して、2次元画像を用いた監視装置等(「2D−3D監視装置等」)でありながら、実際に監視対象とした「人」が、監視対象とした「物」に対して不審度の高い所定の行動を行ったことを、高い精度で認識することができる監視装置・監視システムを提供することができる。又、説明を簡素化するために、監視対象については、「人」と「物」の2つのカテゴリーに分けて説明したが、「人」以外の生物や、自力で運動する「物」についても、それぞれ監視対象特定部の画像認識力によって対象として認識し、基本物性等も含めて特定した上で、監視対象に含めることができる。

0100

100監視装置
110撮影部
111撮像素子
112撮影レンズ
120演算処理部
121座標設定部
221条件設定
122 入力部
123監視対象特定部
124骨格抽出部
125位置特定部
126運動認識部
127 不審運動判定部
501 床面
502 壁面
503 陳列棚

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ