図面 (/)

技術 異常状態検知装置、異常状態検知方法、及び、異常状態検知プログラム

出願人 ノーリツプレシジョン株式会社
発明者 田中靖和安川徹
出願日 2016年1月6日 (5年1ヶ月経過) 出願番号 2017-507517
公開日 2018年1月18日 (3年1ヶ月経過) 公開番号 WO2016-152182
状態 特許登録済
技術分野 生体の呼吸・聴力・形態・血液特性等の測定
主要キーワード 転倒状態 深度センサ 検知通知 二次元形状 深度データ 二次元情報 統計的モデル 歩行面
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2018年1月18日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (12)

課題・解決手段

歩行者を適切に見守ることのできるシステムを提供する。本発明の一側面に係る異常状態検知装置は、歩行動作を行う歩行者を撮影した撮影画像であって、当該撮影画像内の各画素深度を示す深度データを含む撮影画像を取得する画像取得部と、取得した前記撮影画像内で、前記歩行者の写る人物領域を抽出する抽出部と、抽出した前記人物領域に含まれる各画素の深度を参照して、前記撮影画像に写る前記歩行者の身体のうち観測の対象とする局所的な部位の実空間上の位置を継続的に特定することで、前記局所的な部位の実空間上の挙動を測定する挙動測定部と、測定された前記局所的な部位の挙動に基づいて、前記歩行者が異常状態にあるか否かを判定する状態判定部と、前記判定の結果、前記歩行者が異常状態にあると判定された場合に、前記歩行者が異常状態にあることを知らせるための異常検知通知を行う通知部と、を備える。

概要

背景

近年、歩行動作を行う歩行者撮影し、得られたが画像データを解析することで歩行者の状態を監視して、当該歩行者を見守るシステムが開発されている。例えば、特許文献1では、ステレオカメラによって歩行者を撮影し、得られた画像データを三次元的に解析することで歩行者の姿勢及び動作を検出し、検出した姿勢及び動作に基づいて歩行者の生活機能を測定するシステムが提案されている。このようなシステムによれば、歩行者に機具を装着させなくても、当該歩行者の状態を見守ることができる。

概要

歩行者を適切に見守ることのできるシステムを提供する。本発明の一側面に係る異常状態検知装置は、歩行動作を行う歩行者を撮影した撮影画像であって、当該撮影画像内の各画素深度を示す深度データを含む撮影画像を取得する画像取得部と、取得した前記撮影画像内で、前記歩行者の写る人物領域を抽出する抽出部と、抽出した前記人物領域に含まれる各画素の深度を参照して、前記撮影画像に写る前記歩行者の身体のうち観測の対象とする局所的な部位の実空間上の位置を継続的に特定することで、前記局所的な部位の実空間上の挙動を測定する挙動測定部と、測定された前記局所的な部位の挙動に基づいて、前記歩行者が異常状態にあるか否かを判定する状態判定部と、前記判定の結果、前記歩行者が異常状態にあると判定された場合に、前記歩行者が異常状態にあることを知らせるための異常検知通知を行う通知部と、を備える。

目的

本発明は、一側面では、このような点を考慮してなされたものであり、歩行者を適切に見守ることのできるシステムを提供する

効果

実績

技術文献被引用数
1件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

歩行動作を行う歩行者撮影した撮影画像であって、当該撮影画像内の各画素深度を示す深度データを含む撮影画像を取得する画像取得部と、取得した前記撮影画像内で、前記歩行者の写る人物領域を抽出する抽出部と、抽出した前記人物領域に含まれる各画素の深度を参照して、前記撮影画像に写る前記歩行者の身体のうち観測の対象とする局所的な部位の実空間上の位置を継続的に特定することで、前記局所的な部位の実空間上の挙動を測定する挙動測定部と、測定された前記局所的な部位の挙動に基づいて、前記歩行者が異常状態にあるか否かを判定する状態判定部と、前記判定の結果、前記歩行者が異常状態にあると判定された場合に、前記歩行者が異常状態にあることを知らせるための異常検知通知を行う通知部と、を備える、異常状態検知装置

請求項2

前記挙動測定部は、前記局所的な部位として前記歩行者の上部の実空間上の挙動を測定し、前記状態判定部は、測定された前記歩行者の上部の挙動に基づいて、前記歩行者の上部が実空間上で一定時間内に所定距離以上下降したか否かを検知し、前記歩行者の上部が実空間上で一定時間内に所定距離以上下降したことを検知した場合に、前記歩行者は転倒したとして、前記歩行者が異常状態にあると判定する、請求項1に記載の異常状態検知装置。

請求項3

前記挙動測定部は、前記局所的な部位として前記歩行者の上部の実空間上の挙動を測定し、前記状態判定部は、測定された前記歩行者の上部の挙動に基づいて、前記歩行者の上部が実空間上で所定の第一の高さよりも低い位置に移動したか否かを検知し、前記歩行者の上部が実空間上で前記所定の第一の高さよりも低い位置に移動したことを検知した場合に、前記歩行者はうずくまっているとして、前記歩行者が異常状態にあると判定する、請求項1又は2に記載の異常状態検知装置。

請求項4

前記状態判定部は、測定された前記歩行者の上部の挙動に基づいて、前記歩行者の上部が実空間上で、前記第一の高さよりも更に低い所定の第二の高さより低い位置に移動したか否かを検知し、前記歩行者の上部が実空間上で前記所定の第二の高さよりも低い位置に移動したことを検知した場合に、前記歩行者は横たわっているとして、前記歩行者が異常状態にあると判定する、請求項3に記載の異常状態検知装置。

請求項5

前記通知部は、前記歩行者の異常状態が所定時間以上継続したときに、前記異常検知通知を行う、請求項1から4のいずれか1項に記載の異常状態検知装置。

請求項6

コンピュータが、歩行動作を行う歩行者を撮影した撮影画像であって、当該撮影画像内の各画素の深度を示す深度データを含む撮影画像を取得するステップと、取得した前記撮影画像内で、前記歩行者の写る人物領域を抽出するステップと、抽出した前記人物領域に含まれる各画素の深度を参照して、前記撮影画像に写る前記歩行者の身体のうち観測の対象とする局所的な部位の実空間上の位置を継続的に特定することで、前記局所的な部位の実空間上の挙動を測定するステップと、測定された前記局所的な部位の挙動に基づいて、前記歩行者が異常状態にあるか否かを判定するステップと、前記判定の結果、前記歩行者が異常状態にあると判定された場合に、前記歩行者が異常状態にあることを知らせるための異常検知通知を行うステップと、を実行する異常状態検知方法

請求項7

コンピュータに、歩行動作を行う歩行者を撮影した撮影画像であって、当該撮影画像内の各画素の深度を示す深度データを含む撮影画像を取得するステップと、取得した前記撮影画像内で、前記歩行者の写る人物領域を抽出するステップと、抽出した前記人物領域に含まれる各画素の深度を参照して、前記撮影画像に写る前記歩行者の身体のうち観測の対象とする局所的な部位の実空間上の位置を継続的に特定することで、前記局所的な部位の実空間上の挙動を測定するステップと、測定された前記局所的な部位の挙動に基づいて、前記歩行者が異常状態にあるか否かを判定するステップと、前記判定の結果、前記歩行者が異常状態にあると判定された場合に、前記歩行者が異常状態にあることを知らせるための異常検知通知を行うステップと、を実行させるための異常状態検知プログラム

技術分野

0001

本発明は、異常状態検知装置、異常状態検知方法、及び、異常状態検知プログラムに関する。

背景技術

0002

近年、歩行動作を行う歩行者撮影し、得られたが画像データを解析することで歩行者の状態を監視して、当該歩行者を見守るシステムが開発されている。例えば、特許文献1では、ステレオカメラによって歩行者を撮影し、得られた画像データを三次元的に解析することで歩行者の姿勢及び動作を検出し、検出した姿勢及び動作に基づいて歩行者の生活機能を測定するシステムが提案されている。このようなシステムによれば、歩行者に機具を装着させなくても、当該歩行者の状態を見守ることができる。

先行技術

0003

特開2009−285077号公報

発明が解決しようとする課題

0004

しかしながら、特許文献1に例示される従来のシステムでは、歩行者の全身身体部位推移を解析することで、換言すると、歩行者の全身の構造を解析することで、当該歩行者の姿勢又は動作を検出する。そのため、歩行者の状態を解析する処理の負荷が大きく、歩行者の状態を高速に解析することができなかった。また、観測対象の姿勢及び動作が多岐にわたるため、解析内容が煩雑になってしまい、歩行者の状態を精度よく解析することができなかった。したがって、従来のシステムでは、歩行者を適切に見守ることができなかった。

0005

本発明は、一側面では、このような点を考慮してなされたものであり、歩行者を適切に見守ることのできるシステムを提供することを目的とする。

課題を解決するための手段

0006

本発明は、上述した課題を解決するために、以下の構成を採用する。

0007

すなわち、本発明の一側面に係る異常状態検知装置は、歩行動作を行う歩行者を撮影した撮影画像であって、当該撮影画像内の各画素深度を示す深度データを含む撮影画像を取得する画像取得部と、取得した前記撮影画像内で、前記歩行者の写る人物領域を抽出する抽出部と、抽出した前記人物領域に含まれる各画素の深度を参照して、前記撮影画像に写る前記歩行者の身体のうち観測の対象とする局所的な部位の実空間上の位置を継続的に特定することで、前記局所的な部位の実空間上の挙動を測定する挙動測定部と、測定された前記局所的な部位の挙動に基づいて、前記歩行者が異常状態にあるか否かを判定する状態判定部と、前記判定の結果、前記歩行者が異常状態にあると判定された場合に、前記歩行者が異常状態にあることを知らせるための異常検知通知を行う通知部と、を備える。

0008

上記構成によれば、歩行者の異常状態を検知するために取得される撮影画像には各画素の深度を示す深度データが含まれている。この各画素の深度は、撮影装置から被写体までの深さを示す。より詳細には、被写体の深度は、当該被写体の表面に対して取得される。すなわち、深度データを利用すれば、実空間上における被写体表面の位置を特定することができる。そのため、この深度データを利用すれば、歩行者の実空間(三次元空間)上の状態を解析することができる。

0009

ここで、上記構成では、歩行者の身体全体ではなく、歩行者の身体のうち観測の対象とする局所的な部位の実空間上の挙動を測定する。そして、当該局所的な部位の実空間上の挙動に基づいて、歩行者が異常状態にあるか否かを判定する。そのため、観測対象とする身体領域が限られるため、歩行者の状態を解析する処理の負荷が少なくて済み、歩行者の状態を高速に解析することができる。また、観測対象が絞られているため、解析内容がシンプルになり、歩行者の状態を精度よく解析することができる。したがって、上記構成によれば、歩行者を適切に見守ることのできるシステムを提供することができる。

0010

また、上記一側面に係る異常状態検知装置の別の形態として、前記挙動測定部は、前記局所的な部位として前記歩行者の上部の実空間上の挙動を測定してもよい。そして、前記状態判定部は、測定された前記歩行者の上部の挙動に基づいて、前記歩行者の上部が実空間上で一定時間内に所定距離以上下降したか否かを検知し、前記歩行者の上部が実空間上で一定時間内に所定距離以上下降したことを検知した場合に、前記歩行者は転倒したとして、前記歩行者が異常状態にあると判定してもよい。

0011

歩行者が転倒した場合、歩行者の身体の位置が下方向に急激に移動すると想定される。そこで、当該構成では、歩行者の上部が一定時間内に所定距離以上下降したか否かを検知することによって、歩行者の転倒を監視する。これによって、当該構成によれば、歩行者が転倒した際に、歩行者が異常状態に陥ったことを検知することができる。

0012

なお、歩行者の上部は、実空間における歩行者の上端を示すものであり、歩行者上端の一点であってもよいし、歩行者上端に設けられた任意の面積を有する領域であってもよい。歩行者の上部は、適宜設定可能である。また、歩行者の上端とは、撮影画像に写る歩行者の身体のうち実空間上で最も高い部分である。

0013

また、上記一側面に係る異常状態検知装置の別の形態として、前記挙動測定部は、前記局所的な部位として前記歩行者の上部の実空間上の挙動を測定してもよい。そして、前記状態判定部は、測定された前記歩行者の上部の挙動に基づいて、前記歩行者の上部が実空間上で所定の第一の高さよりも低い位置に移動したか否かを検知し、前記歩行者の上部が実空間上で前記所定の第一の高さよりも低い位置に移動したことを検知した場合に、前記歩行者はうずくまっているとして、前記歩行者が異常状態にあると判定してもよい。

0014

歩行者がうずくまっている場合には、歩行者の身体全体は所定の高さ以下に存在すると想定される。そこで、当該構成では、歩行者の上部が実空間上で所定の第一の高さよりも低い位置に移動したか否かを検知することによって、歩行者がうずくまっているか否かを監視する。これによって、当該構成によれば、歩行者がうずくまった際に、歩行者が異常状態に陥ったことを検知することができる。なお、うずくまり状態を検知するための所定の第一の高さの値は、実施の形態に応じて適宜設定されてよい。

0015

また、上記一側面に係る異常状態検知装置の別の形態として、前記状態判定部は、測定された前記歩行者の上部の挙動に基づいて、前記歩行者の上部が実空間上で、前記第一の高さよりも更に低い所定の第二の高さより低い位置に移動したか否かを検知し、前記歩行者の上部が実空間上で前記所定の第二の高さよりも低い位置に移動したことを検知した場合に、前記歩行者は横たわっているとして、前記歩行者が異常状態にあると判定してもよい。

0016

歩行者が横たわっている場合には、歩行者の身体全体は、上記うずくまり状態の場合よりも更に低い高さに存在すると想定される。そこで、当該構成では、歩行者の上部が実空間上で、上記第一の高さよりも更に低い所定の第二の高さより低い位置に移動したか否かを検知することによって、歩行者が横たわっているか否かを監視する。これによって、当該構成によれば、歩行者が横たわった際に、歩行者が異常状態に陥ったことを検知することができる。なお、横たわり状態を検知するための所定の第二の高さの値は、実施の形態に応じて適宜設定されてよい。

0017

また、上記一側面に係る異常状態検知装置の別の形態として、前記通知部は、前記歩行者の異常状態が所定時間以上継続したときに、前記異常検知通知を行ってもよい。当該構成によれば、歩行者の異常状態が一定時間以上継続したときに限り異常検知通知を行うようにすることで、歩行者の状態が一瞬だけ異常状態の条件を満たしたような場面で発生する異常検知通知の誤報を防止することができる。したがって、当該構成によれば、異常検知通知の誤報を防止し、歩行者の異常状態を検知したことを適切に知らせることができる。

0018

なお、上記各形態に係る異常状態検知装置の別の形態として、以上の各構成を実現する情報処理システムであってもよいし、情報処理方法であってもよいし、プログラムであってもよいし、このようなプログラムを記録したコンピュータその他装置、機械等が読み取り可能な記憶媒体であってもよい。ここで、コンピュータ等が読み取り可能な記録媒体とは、プログラム等の情報を、電気的、磁気的、光学的、機械的、又は、化学的作用によって蓄積する媒体である。また、情報処理システムは、1又は複数の情報処理装置によって実現されてもよい。

0019

例えば、本発明の一側面に係る異常状態検知方法は、コンピュータが、歩行動作を行う歩行者を撮影した撮影画像であって、当該撮影画像内の各画素の深度を示す深度データを含む撮影画像を取得するステップと、取得した前記撮影画像内で、前記歩行者の写る人物領域を抽出するステップと、抽出した前記人物領域に含まれる各画素の深度を参照して、前記撮影画像に写る前記歩行者の身体のうち観測の対象とする局所的な部位の実空間上の位置を継続的に特定することで、前記局所的な部位の実空間上の挙動を測定するステップと、測定された前記局所的な部位の挙動に基づいて、前記歩行者が異常状態にあるか否かを判定するステップと、前記判定の結果、前記歩行者が異常状態にあると判定された場合に、前記歩行者が異常状態にあることを知らせるための異常検知通知を行うステップと、を実行する情報処理方法である。

0020

また、例えば、本発明の一側面に係る異常状態検知プログラムは、コンピュータに、歩行動作を行う歩行者を撮影した撮影画像であって、当該撮影画像内の各画素の深度を示す深度データを含む撮影画像を取得するステップと、取得した前記撮影画像内で、前記歩行者の写る人物領域を抽出するステップと、抽出した前記人物領域に含まれる各画素の深度を参照して、前記撮影画像に写る前記歩行者の身体のうち観測の対象とする局所的な部位の実空間上の位置を継続的に特定することで、前記局所的な部位の実空間上の挙動を測定するステップと、測定された前記局所的な部位の挙動に基づいて、前記歩行者が異常状態にあるか否かを判定するステップと、前記判定の結果、前記歩行者が異常状態にあると判定された場合に、前記歩行者が異常状態にあることを知らせるための異常検知通知を行うステップと、を実行させるためのプログラムである。

発明の効果

0021

本発明によれば、歩行者を適切に見守ることのできるシステムを提供することが可能である。

図面の簡単な説明

0022

図1は、本発明が適用される場面を模式的に例示する。
図2は、実施の形態に係る異常状態検知装置のハードウェア構成を例示する。
図3は、実施の形態に係るカメラにより取得される深度と被写体との関係を例示する。
図4は、実施の形態に係る異常状態検知装置の機能構成を例示する。
図5は、実施の形態に係る異常状態検知装置による歩行者の見守りに関する処理手順を例示する。
図6は、実施の形態に係るカメラにより取得される撮影画像を例示する。
図7は、実施の形態に係る撮影画像内の座標関係を例示する。
図8は、実施の形態に係る撮影画像の任意の点(画素)とカメラとの実空間内での位置関係を例示する。
図9は、歩行者が転倒した状態を模式的に例示する。
図10は、歩行者がうずくまっている状態を模式的に例示する。
図11は、歩行者が横たわっている状態を模式的に例示する。

実施例

0023

以下、本発明の一側面に係る実施の形態(以下、「本実施形態」とも表記する)を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメタマシン語等で指定される。

0024

§1 適用場面
まず、図1を用いて、本発明が適用される場面について説明する。図1は、本実施形態に係る異常状態検知装置1が用いられる場面の一例を示す。本実施形態に係る異常状態検知装置1は、カメラ2によって歩行者を撮影し、それにより得られた撮影画像3を解析することで、撮影画像3に写る歩行者の状態を監視し、当該歩行者の見守りを行う情報処理装置である。そのため、本実施形態に係る異常状態検知装置1は、見守りの対象となる対象人物を見守る場面で広く利用可能である。

0025

具体的には、まず、本実施形態に係る異常状態検知装置1は、歩行動作を行う歩行者を撮影した撮影画像3をカメラ2から取得する。図1で例示される場面では、対象人物(歩行者)はカメラ2の撮影範囲内歩行しており、カメラ2はこのような対象人物を撮影するために設置されている。ただし、対象人物(歩行者)は、常に歩行動作を行っている必要はなく、特定の場所に留まっていてもよい。

0026

カメラ2は、撮影画像3内の各画素に対応する深度を取得可能に構成される。本実施形態では、カメラ2は、各画素の深度を取得可能なように、被写体の深度を測定する深度センサ(後述する深度センサ21)を含んでいる。本実施形態に係る異常状態検知装置1は、このようなカメラ2と接続し、状態を監視する対象となる歩行者を撮影した撮影画像3を取得する。

0027

取得される撮影画像3は、後述する図6に例示されるように、画素毎に得られる深度を示す深度データを含んでいる。この撮影画像3は、撮影範囲内の被写体の深度を示すデータを含んでいればよく、そのデータ形式は実施の形態に応じて適宜選択可能である。例えば、撮影画像3は、撮影範囲内の被写体の深度が二次元状分布したデータ(例えば、深度マップ)であってもよい。また、例えば、撮影画像3は、深度データとともに、RGB画像を含んでもよい。更に、例えば、撮影画像3は、歩行者の状態を解析可能であれば、動画像で構成されてもよいし、1又は複数枚静止画像で構成されてもよい。

0028

次に、異常状態検知装置1は、取得した撮影画像3内において歩行者の写る人物領域を抽出する。上記のとおり、各画素の深度を示す深度データを含んでいる。そのため、異常状態検知装置1は、この深度データを利用することで、撮影画像3内に写る被写体の実空間上の位置を特定することができる。より詳細には、被写体の深度は、当該被写体の表面に対して取得される。すなわち、異常状態検知装置1は、深度データの示す各画素の深度を参照することで、実空間上における被写体表面の位置を特定することができる。

0029

そこで、異常状態検知装置1は、抽出した人物領域に含まれる各画素の深度を参照して、撮影画像3に写る歩行者の身体のうち観測の対象とする局所的な部位の実空間上の位置を継続的に特定することで、当該局所的な部位の実空間上の挙動を測定する。観測の対象とする局所的な部位は、実施の形態に応じて適宜設定可能である。局所的な部位は、例えば、頭部、肩部胸部、脚部等、身体上の特定の部位であってもよい。また、局所的な部位は、そのような身体上の特定の部位ではなく、歩行者の上部等、撮影画像に写る歩行者の状態によって身体上の位置が変わりうる部位であってもよい。なお、当該局所的な部位は、歩行者の状態が反映されやすい部位に設定されるのが望ましい。例えば、歩行者が転倒、うずくまり、横たわり等の状態にある場合には、歩行者の身体全体が地面寄りの位置に存在する。そのため、これらの状態を検知するためには、観測対象とする局所的な部位は、歩行者の上部、頭部等、歩行者の上端の位置を示す部位であるのが好ましい。図1で例示される場面では、歩行者の上部31が、観測の対象とする局所的な部位に設定されている。

0030

そして、異常状態検知装置1は、測定された局所的な部位の挙動に基づいて、歩行者が異常状態にあるか否かを判定する。更に、異常状態検知装置1は、当該判定の結果、歩行者が異常状態にあると判定された場合に、歩行者が異常状態にあることを知らせるための異常状態通知を行う。すなわち、異常状態検知装置1は、歩行者が異常状態に陥った際には、当該異常状態を知らせるための警報を行う。これによって、本実施形態に係る異常状態検知装置1の利用者は、カメラ2の撮影範囲に存在する歩行者の異常状態を知ることができ、当該歩行者の見守りを行うことができる。

0031

このように、本実施形態によれば、各画素の深度を示す深度データを含む撮影画像3に基づいて歩行者の状態が解析される。上記のとおり、各画素の深度は被写体表面に対して取得されるため、深度データを利用すれば、実空間上の被写体表面の位置を特定することができる。そのため、この深度データを利用すれば、歩行者に対するカメラ2の視野方向視点)によらず、歩行者の実空間(三次元空間)上の状態を解析することができる。

0032

ここで、本実施形態に係る異常状態検知装置1は、この深度データを利用して、歩行者の身体全体ではなく、歩行者の身体のうち観測の対象とする局所的な部位(例えば、歩行者の上部31)の実空間上の挙動を測定する。そして、異常状態検知装置1は、当該局所的な部位の実空間上の挙動に基づいて、歩行者が異常状態にあるか否かを判定する。そのため、観測対象とする身体領域が限られるため、歩行者の状態を解析する処理の負荷が少なくて済み、歩行者の状態を高速に解析することができる。また、観測対象が絞られているため、解析内容がシンプルになり、歩行者の状態を精度よく解析することができる。したがって、本実施形態によれば、歩行者を適切に見守ることができる。

0033

なお、異常状態検知装置1の配置場所は、カメラ2から撮影画像3を取得可能であれば、実施の形態に応じて適宜決定可能である。例えば、異常状態検知装置1は、図1に例示されるように、カメラ2に近接するように配置されてもよい。また、異常状態検知装置1は、ネットワークを介してカメラ2と接続してもよく、当該カメラ2とは全く異なる場所に配置されてもよい。

0034

§2 構成例
<ハードウェア構成>
次に、図2を用いて、異常状態検知装置1のハードウェア構成を説明する。図2は、本実施形態に係る異常状態検知装置1のハードウェア構成を例示する。異常状態検知装置1は、図2に例示されるように、CPU、RAM(Random Access Memory)、ROM(Read Only Memory)等を含む制御部11、制御部11で実行するプログラム5等を記憶する記憶部12、画像の表示と入力を行うためのタッチパネルディスプレイ13、音声を出力するためのスピーカ14、外部装置と接続するための外部インタフェース15、ネットワークを介して通信を行うための通信インタフェース16、及び記憶媒体6に記憶されたプログラムを読み込むためのドライブ17が電気的に接続されたコンピュータである。図2では、通信インタフェース及び外部インタフェースは、それぞれ、「通信I/F」及び「外部I/F」と記載されている。

0035

なお、異常状態検知装置1の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換、及び追加が可能である。例えば、制御部11は、複数のプロセッサを含んでもよい。また、例えば、タッチパネルディスプレイ13は、それぞれ別個独立に接続される入力装置及び表示装置に置き換えられてもよい。また、例えば、スピーカ14は省略されてもよい。また、例えば、スピーカ14は、異常状態検知装置1の内部装置としてではなく、外部装置として異常状態検知装置1に接続されてもよい。また、異常状態検知装置1はカメラ2を内蔵してもよい。更に、異常状態検知装置1は、複数の外部インタフェース15を備えてもよく、複数の外部装置と接続してもよい。

0036

本実施形態に係るカメラ2は、外部インタフェース15を介して異常状態検知装置1に接続しており、状態を監視する対象の歩行者を撮影する。カメラ2の設置場所は、実施の形態に応じて適宜選択されてよい。カメラ2は、例えば、見守りの対象となる見守り対象者が歩行する場所を撮影可能なように配置されてよい。

0037

このカメラ2は、深度データを含む撮影画像3を撮影するために、被写体の深度を測定するための深度センサ21を備えている。この深度センサ21の種類及び測定方法は、実施の形態に応じて適宜選択されてよい。例えば、深度センサ21として、TOF(Time Of Flight)方式等のセンサを挙げることができる。

0038

ただし、カメラ2の構成は、深度を取得可能であれば、このような例に限定されず、実施の形態に応じて適宜選択可能である。例えば、カメラ2は、撮影範囲内の被写体の深度を特定することが可能なように、ステレオカメラであってもよい。ステレオカメラは、撮影範囲内の被写体を複数の異なる方向から撮影するため、当該被写体の深度を記録することができる。また、カメラ2は、撮影範囲内の被写体の深度を特定可能であれば、深度センサ21単体に置き換わってもよい。

0039

なお、対象人物を撮影する場所は暗い可能性がある。そこで、撮影場所の明るさに影響されずに深度を取得可能なように、深度センサ21は、赤外線照射に基づいて深度を測定する赤外線深度センサであってもよい。このような赤外線深度センサを含む比較的安価な撮影装置として、例えば、マイクロソフト社のKinect、ASUS社のXtion、PrimeSense社のCARMINEを挙げることができる。

0040

ここで、図3を用いて、本実施形態に係る深度センサ21によって測定される深度を詳細に説明する。図3は、本実施形態に係る深度として扱うことが可能な距離の一例を示す。当該深度は、被写体の深さを表現する。図3で例示されるように、被写体の深さは、例えば、カメラ2と対象物との直線の距離Aで表現されてもよいし、カメラ2の被写体に対する水平軸から下ろした垂線の距離Bで表現されてもよい。

0041

すなわち、本実施形態に係る深度は、距離Aであってもよいし、距離Bであってもよい。本実施形態では、距離Bを深度として扱うことにする。ただし、距離A及び距離Bは、例えば、三平方定理等に基づいて、互いに変換可能である。そのため、距離Bを用いた以降の説明は、そのまま、距離Aに適用することが可能である。本実施形態に係る異常状態検知装置1は、このような深度を利用することで、歩行者の状態を解析することができる。

0042

また、本実施形態では、記憶部12は、プログラム5を格納する。このプログラム5は、異常状態検知装置1に後述する歩行者の異常状態検知に関する各処理を実行させるためのプログラムであり、本発明の「異常状態検知プログラム」に相当する。このプログラム5は記憶媒体6に記録されていてもよい。

0043

記憶媒体6は、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。記憶媒体6は、本発明の「記憶媒体」に相当する。なお、図2は、記憶媒体6の一例として、CD(Compact Disk)、DVD(Digital Versatile Disk)等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体6の種類は、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。

0044

また、このような異常状態検知装置1は、例えば、提供されるサービス専用に設計された装置であってもよいし、PC(Personal Computer)、タブレット端末等の汎用の装置であってもよい。更に、異常状態検知装置1は、1又は複数のコンピュータにより実装されてもよい。

0045

機能構成例
次に、図4を用いて、異常状態検知装置1の機能構成を説明する。図4は、本実施形態に係る異常状態検知装置1の機能構成を例示する。本実施形態では、異常状態検知装置1の制御部11は、記憶部12に記憶されたプログラム5をRAMに展開する。そして、制御部11は、RAMに展開されたプログラム5をCPUにより解釈及び実行して、各構成要素を制御する。これにより、異常状態検知装置1は、画像取得部51、抽出部52、挙動測定部53、状態判定部54及び通知部55を備えるコンピュータとして機能する。

0046

画像取得部51は、カメラ2によって撮影された撮影画像3を取得する。取得される撮影画像3には、各画素の深度を示す深度データが含まれている。上記のとおり、この深度データによれば、撮影画像3内に写る被写体の実空間上の位置、より詳細には、実空間上における被写体表面の位置を特定することができる。

0047

そこで、抽出部52は、取得した撮影画像3内で、歩行者の写る人物領域を抽出する。挙動測定部53は、抽出した人物領域に含まれる各画素の深度を参照して、撮影画像3に写る歩行者の身体のうち観測対象とする局所的な部位の実空間上の位置を継続的に特定することで、当該局所的な部位の実空間上の挙動を測定する。

0048

更に、状態判定部54は、測定された局所的な部位の挙動に基づいて、撮影画像3に写る歩行者が異常状態にあるか否かを判定する。そして、当該判定の結果、歩行者が異常状態にあると判定された場合、通知部55は、当該歩行者が異常状態にあることを知らせるための異常検知通知を行う。

0049

なお、本実施形態では、これらの機能がいずれも汎用のCPUによって実現される例を説明している。しかしながら、これらの機能の一部又は全部が、1又は複数の専用のプロセッサにより実現されてもよい。また、異常状態検知装置1の機能構成に関して、実施形態に応じて、適宜、機能の省略、置換、及び追加が行われてもよい。各機能に関しては後述する動作例で詳細に説明する。

0050

§3 動作例
次に、図5を用いて、異常状態検知装置1の動作例を説明する。図5は、異常状態検知装置1による歩行者の見守りに関する処理手順を例示する。なお、以下で説明する歩行者の見守りに関する処理手順は、本発明の「異常状態検知方法」に相当する。ただし、以下で説明する歩行者の見守りに関する処理手順は一例にすぎず、各処理は可能な限り変更されてもよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。

0051

(ステップS101)
ステップS101では、制御部11は、画像取得部51として機能し、カメラ2により撮影された撮影画像3を取得する。そして、制御部11は、撮影画像3を取得した後に、次のステップS102に処理を進める。

0052

本実施形態では、カメラ2は、深度センサ21を備えている。そのため、本ステップS101において取得される撮影画像3には、当該深度センサ21により測定された各画素の深度を示す深度データが含まれる。制御部11は、この深度データを含む撮影画像3として、例えば、図6で例示される撮影画像3を取得する。

0053

図6は、深度データを含む撮影画像3の一例を示す。図6で例示される撮影画像3は、各画素の濃淡値が当該各画素の深度に応じて定められた画像である。黒色の画素ほど、カメラ2に近いことを示す。一方、白色の画素ほど、カメラ2から遠いことを示す。制御部11は、この深度データに基づいて、各画素の写る対象の実空間での位置を特定することができる。すなわち、制御部11は、撮影画像3内の各画素の座標(二次元情報)と深度とから、当該各画素内に写る被写体の三次元空間(実空間)での位置を特定することができる。以下、図7及び図8を用いて、制御部11が各画素の実空間上での位置を特定する計算例を示す。

0054

図7は、撮影画像3内の座標関係を模式的に例示する。また、図8は、撮影画像3の任意の画素(点s)とカメラ2との実空間内での位置関係を模式的に例示する。なお、図7の左右方向は、図8紙面に垂直な方向に対応する。すなわち、図8で表れている撮影画像3の長さは、図7で例示される縦方向の長さ(Hピクセル)に対応する。また、図7で例示される横方向の長さ(Wピクセル)は、図1で表れていない撮影画像3の紙面垂直方向の長さに対応する。

0055

ここで、図7で例示されるように、撮影画像3の任意の画素(点s)の座標を(xs,ys)とし、カメラ2の横方向の画角をVx、縦方向の画角をVyとする。また、撮影画像3の横方向のピクセル数をWとし、縦方向のピクセル数をHとし、撮影画像3の中心点(画素)の座標を(0,0)とする。

0056

制御部11は、カメラ2の画角(Vx、Vy)を示す情報をカメラ2から取得することができる。また、制御部11は、このカメラ2の画角(Vx、Vy)を示す情報を、ユーザ入力に基づき取得してもよいし、予め設定されている設定値として取得してもよい。また、制御部11は、点sの座標(xs,ys)及び撮影画像3のピクセル数(W×H)を撮影画像3から取得することができる。更に、制御部11は、撮影画像3に含まれる深度データを参照することによって、点sの深度Dsを取得することができる。

0057

制御部11は、これらの情報を利用することで、当該各画素(点s)の実空間上の位置を特定することができる。例えば、制御部11は、以下の数1〜3で示される関係式に基づいて、図8に例示されるカメラ座標系におけるカメラ2から点sまでのベクトルS(Sx,Sy,Sz,1)の各値を算出することができる。これにより、撮影画像3内の二次元座標系における点sの位置とカメラ座標系における点sの位置とは相互に変換可能になる。

0058

0059

ただし、上記ベクトルSは、カメラ2を中心とした三次元座標系のベクトルである。このカメラ2は、図8に例示されるように、水平面(地面)に対して傾いている場合がある。すなわち、カメラ座標系は、水平面(地面)を基準とする三次元空間のワールド座標系から傾いている場合がある。そのため、制御部11は、カメラ2のロール角ピッチ角図8のα)及びヨー角を用いた射影変換を上記ベクトルSに適用することによって、上記カメラ座標系のベクトルSをワールド座標系のベクトルに変換し、ワールド座標系における点sの位置を算出してもよい。このカメラ座標及びワールド座標はそれぞれ、実空間を表す座標系である。制御部11は、このようにして、深度データを利用することで、撮影画像3に写る被写体の実空間上の位置を特定することができる。

0060

なお、本実施形態では、制御部11は、動画像又は静止画像を撮影画像3として取得してもよい。後述するステップS104で、歩行者の一時点の挙動から判定可能な異常状態を検知する場合、制御部11は、1時点分の動画像又は1枚の静止画像を撮影画像3として取得してもよい。また、歩行者の連続的な挙動から判定可能な異常状態を検知する場合、制御部11は、所定時間分の動画像又は複数枚の静止画像を撮影画像3として取得してもよい。制御部11は、1時点分若しくは所定時間分の動画像又は1若しくは複数枚の静止画像を撮影画像3として取得した段階で、後述するステップS102〜S105までの処理を取得した撮影画像3に対して実行することで、当該撮影画像3に写る歩行者の状態を解析する。

0061

また、制御部11は、歩行者のモニタリングを行うため、カメラ2のビデオ信号に同期させて撮影画像3を取得してもよい。そして、制御部11は、後述するステップS102〜S105までの処理を取得した撮影画像3に対して即座に実行してもよい。異常状態検知装置1は、このような動作を絶え間なく連続して実行することにより、リアルタイム画像処理を実現し、カメラ2の撮影範囲に存在する歩行者の見守りをリアルタイムに行うことができる。

0062

(ステップS102)
図5戻り、次のステップS102では、制御部11は、抽出部52として機能し、ステップS101で取得した撮影画像3内で、図6で例示されるような歩行者の写る人物領域を抽出する。そして、制御部11は、撮影画像3内で人物領域を抽出した後に、次のステップS103に処理を進める。

0063

なお、人物領域を抽出する方法は、種々の公知の方法があり、実施の形態に応じて適宜選択されてよい。例えば、制御部11は、歩行者の形状に基づいて、パターン検出図形要素検出等の画像解析を行うことによって、撮影画像3内で人物領域を抽出してもよい。この場合、制御部11は、深度データを利用して、歩行者の三次元形状をパターン検出等することで、人物領域を抽出してもよい。また、制御部11は、深度データを利用せずに、歩行者の二次元形状をパターン検出等することで、人物領域を抽出してもよい。

0064

また、例えば、歩行者は、実空間上で動いている。そのため、撮影画像3内で、人物領域は移動する。このような移動する領域は、背景差分法によって抽出することができる。そこで、制御部11は、背景差分法に基づいて、この移動する領域を人物領域として抽出してもよい。

0065

より詳細には、まず、制御部11は、背景差分法に用いる背景画像を取得する。この背景画像は、任意の方法で取得されてよく、実施の形態に応じて適宜設定される。例えば、制御部11は、カメラ2の撮影範囲に歩行者が進入する前の撮影画像、換言すると、歩行者の写っていない撮影画像を背景画像として取得してもよい。そして、制御部11は、上記ステップS101の時点で取得した撮影画像3と背景画像との差分を算出し、当該撮影画像3の前景領域を抽出する。この前景領域は、背景画像から変化の生じた領域であり、移動する物体動体)の写る領域である。

0066

そのため、制御部11は、抽出した前景領域が閾値以上の面積を有する場合に、当該前景領域を人物領域として認識してもよい。又は、制御部11は、当該前景領域からパターン検出等によって人物領域を抽出してもよい。この前景領域を抽出するための処理は、撮影画像3と背景画像との差分を計算する処理に過ぎない。そのため、当該処理によれば、制御部11(異常状態検知装置1)は、高度な画像処理を利用せずに、人物領域を検出する範囲を絞ることができる。よって、当該処理によれば、本ステップS102における処理の負荷を低減することができる。

0067

なお、背景差分法には様々な種類が存在し、本実施形態に適用可能な背景差分法は上記のような例に限られる訳ではない。その他の種類の背景差分法として、例えば、異なる3枚の画像を用いて背景前景とを分離する方法、及び統計的モデルを適用することで背景と前景とを分離する方法を挙げることができる。これらの方法によって、制御部11は、人物領域を抽出してもよい。

0068

(ステップS103)
次のステップS103では、制御部11は、挙動測定部53として機能し、ステップS102で抽出した人物領域に含まれる各画素の深度を参照して、撮影画像3に写る歩行者の身体のうち観測の対象とする局所的な部位の実空間上の位置を継続的に特定することで、当該局所的な部位の実空間上の挙動を測定する。そして、制御部11は、観測の対象とする局所的な部位の実空間上の挙動を測定した後、次のステップS104に処理を進める。

0069

観測の対象とする局所的な部位は、実施の形態に応じて適宜設定可能である。局所的な部位は、例えば、頭部、肩部、胸部、脚部等、身体上の特定の部位であってもよい。また、局所的な部位は、そのような身体上の特定の部位ではなく、歩行者の上部等、撮影画像に写る歩行者の状態によって身体上の位置が変わりうる部位であってもよい。観測の対象とする局所的な部位は、後述するステップS104で検知する歩行者の異常状態の種別に応じて、選択されてもよい。

0070

なお、当該局所的な部位は、歩行者の状態が反映されやすい部位に設定されるのが望ましい。例えば、後述するように、歩行者が転倒、うずくまり、横たわり等の状態にある場合には、歩行者の身体全体が地面寄りの位置に存在する。そのため、これらの状態を検知するためには、観測対象とする局所的な部位は、歩行者の上部、頭部等、歩行者の上端の位置を示す部位であるのが好ましい。

0071

本実施形態では、図1及び図6で例示されるように、観測の対象とする局所的な部位として、歩行者の上部31が採用される。この歩行者の上部31は、実空間における歩行者の上端を示すものであり、歩行者の上端の一点であってもよいし、歩行者の上端に設けられた任意の面積を有する領域であってもよい。歩行者の上部31は、適宜設定可能である。なお、歩行者の上端とは、撮影画像に写る歩行者の身体のうち実空間上で最も高い部分である。

0072

制御部11は、深度データを利用することで、この歩行者の上部31の実空間上の位置を特定することができる。すなわち、制御部11は、人物領域に含まれる各画素の深度を利用し、上記の方法で、人物領域に含まれる各画素の実空間上の位置を特定する。そして、制御部11は、人物領域に含まれる各画素のうち実空間上で最も高い位置に存在する画素を歩行者の上端とし、この画素又はこの画素を含む所定領域を歩行者の上部31として認識する。これによって、制御部11は、歩行者の上部31の実空間上の位置を特定することができる。

0073

制御部11は、このような実空間上における歩行者の上部31の位置特定を継続的に行い、例えば、当該歩行者の上部31の位置を実空間座標上でプロットすることで、当該歩行者の上部31の実空間上の挙動を測定することができる。例えば、上記ステップS101で1時点分の動画像又は1枚の静止画像を撮影画像3として取得した場合、制御部11は、この1時点分の動画像又は1枚の静止画像に現れる歩行者の上部31の位置を実空間座標上でプロットする。これによって、1時点での当該歩行者の上部31の挙動が測定される。一方、上記ステップS101で所定時間分の動画像又は複数枚の静止画像を撮影画像3として取得した場合、制御部11は、この所定時間分の動画像又は複数枚の静止画像を撮影画像3に現れる歩行者の上部31の位置を実空間座標上で連続的にプロットする。これによって、所定時間内における当該歩行者の上部31の挙動が測定される。

0074

なお、歩行者の上部31の他、歩行者の下部等、歩行者の身体上の位置に関する部位を観測の対象とする局所的な部位に採用する場合も同様に処理することができる。すなわち、制御部11は、人物領域に含まれる各画素の深度を利用することで、当該部位の実空間上の位置を特定することができる。そして、制御部11は、実空間座標上で当該部位の位置をプロットすることで、当該部位の実空間上の挙動を測定することができる。

0075

一方、観測対象とする局所的な部位として、例えば、頭部、肩部、胸部、脚部等、身体上の特定の部位を採用する場合には、制御部11は、撮影画像3の人物領域内でパターン検出等を行うことで、観測の対象とする局所的な部位の領域を特定する。

0076

ここで、撮影画像3には深度データが含まれているため、制御部11は、人物領域に含まれる各画素の深度を利用して、当該局所的な部位の三次元形状をパターン検出等することで、局所的な部位の写る領域を人物領域内で特定してもよい。また、制御部11は、深度データを利用せずに、局所的な部位の二次元形状をパターン検出等することで、局所的な部位の領域を人物領域内で特定してもよい。

0077

そして、制御部11は、このようにして特定した局所的な部位の写る領域に含まれる各画素の深度に基づいて、当該局所的な部位の実空間上の位置を特定することができる。更に、制御部11は、このような実空間上における局所的な部位の位置特定を継続的に行い、例えば、当該局所的な部位の位置を実空間座標上でプロットすることで、当該局所的な部位の実空間上の挙動を測定することができる。

0078

(ステップS104)
次のステップS104では、制御部11は、状態判定部54として機能し、ステップS103で測定された局所的な部位の挙動に基づいて、歩行者が異常状態にあるか否かを判定する。そして、当該判定の結果、歩行者が異常状態にあると判定した場合には、制御部11は、次のステップS105に処理を進める。一方、歩行者が異常状態にはないと判定した場合には、制御部11は、本動作例に係る処理を終了する。

0079

歩行者が異常状態にあるか否かを判定するための画像解析方法は、実施の形態に応じて適宜選択されてよい。例えば、本実施形態では、観測の対象とする局所的な部位として、歩行者の上部31が採用されている。そこで、制御部11は、ステップS103で測定された歩行者の上部31の挙動において当該歩行者の上部31が所定の条件を満たす動きを行ったと評価可能なときに、歩行者の異常状態を検知してもよい。本実施形態では、歩行者の異常状態の一例として、制御部11は、歩行者の転倒状態、うずくまり状態及び横たわり状態を検知する。以下、各種の異常状態を検知する方法の一例について説明する。

0080

(A)転倒状態
第一に、図9を用いて、歩行者の異常状態の一つである、歩行者が転倒した状態(転倒状態)を検知する方法の一例を説明する。図9は、歩行者が転倒状態にある場面を模式的に例示する。図9に例示されるように、歩行者が転倒した場合には、歩行者の身体の位置が急激に変化する、具体的には、地面に向けて鉛直下方向に急降下すると想定される。

0081

そこで、制御部11は、ステップS103により測定された歩行者の上部31の挙動に基づいて、当該歩行者の上部31が実空間上で一定時間内に所定距離以上下降したか否かを検知する。そして、制御部11は、この歩行者の上部31が実空間上で一定時間内に所定距離以上下降したことを検知した場合に、歩行者は転倒したとして、当該歩行者が異常状態(転倒状態)にあると判定してもよい。なお、転倒状態を検知するための時間及び距離の各閾値は、実施の形態に応じて適宜設定されてよい。また、転倒状態を検知する方法は、このような例に限られなくてもよく、制御部11は、その他の方法によって歩行者の転倒状態を検知してもよい。

0082

(B)うずくまり状態
第二に、図10を用いて、歩行者の異常状態の一つである、歩行者がうずくまっている状態(うずくまり状態)を検知する方法の一例を説明する。図10は、歩行者がうずくまり状態にある場面を模式的に例示する。図10に例示されるように、歩行者がうずくまっている場合には、歩行者の身体全体は実空間上で所定の高さ以下に存在すると想定される。

0083

そこで、制御部11は、ステップS103により測定された歩行者の上部31の挙動に基づいて、当該歩行者の上部31が実空間上で所定の第一の高さH1よりも低い位置に移動したか否かを検知する。そして、制御部11は、当該歩行者の上部31が実空間上で所定の第一の高さH1よりも低い位置に移動したことを検知した場合に、歩行者はうずくまっているとして、歩行者が異常状態(うずくまり状態)にあると判定する。

0084

具体的に、制御部11は、歩行者の上部31の実空間での高さhと所定の第一の高さH1とを比較する。そして、当該比較の結果、歩行者の上部31の高さhが所定の第一の高さH1よりも低いと判定される場合に、制御部11は、歩行者の上部31が所定の第一の高さH1よりも低い位置に移動したことを検知し、歩行者はうずくまり状態にあると判定する。なお、この所定の第一の高さH1の値は、実施の形態に応じて適宜設定されてよい。また、うずくまり状態を検知する方法は、このような例に限られなくてもよく、制御部11は、その他の方法によって歩行者のうずくまり状態を検知してもよい。

0085

なお、図10の例では、歩行者の上部31の高さh及び所定の第一の高さH1は、地面を基準として表現されている。この地面の実空間での位置(高さ)は、任意の方法で与えることができる。例えば、制御部11は、上記の方法によって、撮影画像3内で地面の写る領域に含まれる各画素の深度を利用することで、この地面の実空間での位置(高さ)を算出することができる。そのため、制御部11は、歩行者の上部31の高さhを地面からの距離で表現することができる。ただし、歩行者の上部31の高さh及び所定の第一の高さH1の表現形式は、このような例に限られなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、歩行者の上部31の高さh及び所定の第一の高さH1は、カメラ2を基準として表現されてもよい。

0086

(C)横たわり状態
第三に、図11を用いて、歩行者の異常状態の一つである、歩行者が横たわっている状態(横たわり状態)を検知する方法の一例を説明する。図11は、歩行者が横たわり状態にある場面を模式的に例示する。図11に例示されるように、歩行者が横たわっている場合には、歩行者の身体全体は、実空間上で、上記うずくまり状態の場合よりも更に低い高さに存在すると想定される。

0087

そこで、制御部11は、図11に例示されるように、ステップS103により測定された歩行者の上部31の挙動に基づいて、当該歩行者の上部31が実空間上で、上記所定の第一の高さH1よりも更に低い所定の第二の高さH2よりも低い位置に移動したか否かを検知する。そして、制御部11は、当該歩行者の上部31が実空間上で所定の第二の高さH2よりも低い位置に移動したことを検知した場合に、歩行者は横たわっているとして、歩行者の異常状態(横たわり状態)にあると判定する。

0088

具体的に、制御部11は、歩行者の上部31の実空間での高さhと所定の第二の高さH2とを比較する。そして、当該比較の結果、歩行者の上部31の高さhが所定の第二の高さH2よりも低いと判定される場合に、制御部11は、歩行者の上部31が所定の第二の高さH2よりも低い位置に移動したことを検知し、歩行者は横たわり状態にあると判定する。なお、この所定の第二の高さH2の値は、上記所定の第一の高さH1よりも低い値となるように、実施の形態に応じて適宜設定されてよい。また、横たわり状態を検知する方法は、このような例に限られなくてもよく、制御部11は、その他の方法によって歩行者の横たわり状態を検知してもよい。更に、図11の例では、上記図10と同様に、所定の第二の高さH2は、地面を基準として表現されている。ただし、上記と同様に、所定の第二の高さH2の表現形式は、このような例に限られなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、所定の第二の高さH2は、カメラ2を基準として表現されてもよい。

0089

(D)まとめ
以上のようにして、制御部11は、歩行者の各種状態を検知することができる。制御部11は、本ステップS104において、歩行者の状態が、歩行者の転倒状態、うずくまり状態及び横たわり状態のうちのいずれかの状態に該当すると判定した場合に、次のステップS105に処理を進める。一方、制御部11は、本ステップS104において、歩行者の状態が、歩行者の転倒状態、うずくまり状態及び横たわり状態のいずれの状態にも該当しないと判定した場合には、本動作例に係る処理を終了する。

0090

なお、歩行者の各種状態のうち検知対象とする状態は、実施の形態に応じて適宜選択されてよい。すなわち、転倒状態、うずくまり状態及び横たわり状態のうちの少なくともいずれかの状態は、検知対象から除外されてもよい。また、制御部11は、上記各条件の他の条件に基づいて、上記以外の歩行者の状態を検知してもよい。更に、本ステップS104において検知の対象とする歩行者の状態の種別は、実施形態に応じて適宜選択さてもよく、利用者によって選択されてもよいし、予め設定されてもよい。

0091

また、転倒状態、うずくまり状態及び横たわり状態のうちの少なくともいずれかの状態は、異常状態ではないと設定されてよい。例えば、うずくまり状態が異常状態ではないと設定された場合には、制御部11は、歩行者がうずくまり状態にあることを検知したときに、歩行者が異常状態にあるとは判定せずに、歩行者は正常状態にあると判定する。そして、制御部11は、次のステップS105の処理を省略して、本動作例に係る処理を終了する。

0092

なお、本ステップS104において、転倒状態、うずくまり状態及び横たわり状態以外の状態の検知を実施しない場合、制御部11は、歩行者の状態が、歩行者の転倒状態、うずくまり状態及び横たわり状態のいずれの状態にも該当しないと判定したときに、当該歩行者は正常状態にあると認識してもよい。そして、制御部11は、当該歩行者が正常状態にあることを、異常状態検知装置1の利用者に報知してもよい。例えば、制御部11は、タッチパネルディスプレイ13上で当該歩行者が正常状態にあることを表示することで、当該報知を行ってもよい。

0093

(ステップS105)
次のステップS105では、制御部11は、通知部55として機能し、上記ステップS104での判定の結果、歩行者が異常状態にあると判定された場合に、歩行者が異常状態にあることを知らせるための異常状態検知通知を行う。これによって、本動作例に係る処理が終了する。なお、制御部11が、当該異常検知通知を行う手段は、実施の形態に応じて適宜選択可能である。

0094

例えば、異常状態検知装置1が病院等の施設で利用される場合、当該異常状態検知装置1は、外部インタフェース15を介して、ナースコールシステム等の設備と接続することができる。この場合、制御部11は、当該ナースコールシステム等の設備と連携して、異常検知通知を行ってもよい。すなわち、制御部11は、外部インタフェース15を介して、当該ナースコールシステムを制御してもよい。そして、制御部11は、異常検知通知として、当該ナースコールシステムによる呼び出しを行ってもよい。これによって、歩行者が異常状態にあることを当該歩行者の見守りを行う看護師等に適切に知らせることができる。

0095

また、例えば、制御部11は、異常状態検知装置1に接続されるスピーカ14から所定の音声を出力することにより、異常検知通知を行ってもよい。また、例えば、制御部11は、タッチパネルディスプレイ13上に、異常検知通知として、歩行者の異常状態を検知したことを知らせるための画面を表示させてもよい。

0096

また、例えば、制御部11は、電子メール、ショートメッセージサービスプッシュ通知等を利用して、このような異常検知通知を行ってもよい。このような異常検知通知を行う場合には、通知先となるユーザ端末の電子メールアドレス電話番号等は記憶部12に予め登録されていてもよい。そして、制御部11は、この予め登録されている電子メールアドレス、電話番号等を利用して、異常検知通知を行ってもよい。

0097

(作用・効果)
以上のように、本実施形態に係る異常状態検知装置1は、各画素の深度を示す深度データを含む撮影画像3に基づいて歩行者の状態を解析する。上記のとおり、各画素の深度は被写体表面に対して取得されるため、深度データを利用すれば、実空間上の被写体表面の位置を特定することができる。そこで、本実施形態に係る異常状態検知装置1は、この深度データを利用して、歩行者の身体のうち観測対象とする歩行者の上部31の実空間上の挙動を測定し、測定した歩行者の上部31の挙動に基づいて、歩行者が異常状態にあるか否かを検知する。

0098

すなわち、本実施形態によれば、歩行者の身体全体ではなく、歩行者の局所的な部位の挙動に基づいて、歩行者の異常状態を検知する。そのため、観測対象とする身体領域が歩行者の上部31に限られるため、歩行者の状態を解析する処理の負荷が少なくて済み、歩行者の状態を高速に解析することができる。また、観測対象が絞られているため、解析内容がシンプルになる。例えば、上記実施形態では、異常状態検知装置1は、歩行者の上部31の変動及び高さに基づいて、歩行者の転倒状態、うずくまり状態及び横たわり状態を検知している。この歩行者の上部31の変動及び高さの計測エラーが生じ難い。そのため、歩行者の状態を精度よく解析することができる。したがって、本実施形態によれば、歩行者を適切に見守ることができる。

0099

また、本実施形態では、観測の対象とする局所的な部位として歩行者の上部31を採用し、当該歩行者の上部31の挙動に基づいて、歩行者の転倒状態、うずくまり状態及び横たわり状態を検知する。そのため、カメラ2の撮影範囲に存在する歩行者がこれらの状態に陥った際には、異常状態検知装置1は歩行者の異常状態を検知することができ、歩行者がこれらの状態に陥っていることを報知することができる。

0100

§4 変形例
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。

0101

(1)通知処理のタイミン
一例を挙げると、上記実施形態では、制御部11は、ステップS104において歩行者が異常状態にあると判定した場合に、直ちに異常検知通知を行っている。しかしながら、異常検知通知を行うタイミングはこのような例に限られなくてもよい。例えば、制御部11は、通知部55として機能して、歩行者の異常状態が一定時間以上継続した場合に、異常検知通知を行ってもよい。

0102

この場合、制御部11は、ステップS104において、歩行者の異常状態が一定時間以上継続しているか否かを判定する。そして、制御部11は、歩行者の異常状態が一定時間以上継続していると判定したときに、ステップS105において異常検知通知を行う。他方、歩行者が異常状態にないとき又は歩行者の異常状態が一定時間以上継続しなかったときには、制御部11は、ステップS105の処理を省略して、上記動作例に係る処理を終了する。なお、歩行者の異常状態が一定時間以上継続しているか否かを判定するための閾値は、実施の形態に応じて適宜設定されてよい。

0103

このように、歩行者の異常状態が一定時間以上継続した場合に限り、異常検知通知を行うようにすることで、歩行者の状態が一瞬だけ異常状態の条件を満たしたような場面で発生する異常検知通知の誤報を防止することができる。例えば、歩行者が地面に落ちている物を拾おうとした場合、歩行者の状態は一瞬だけうずくまり状態になりえる。このような場合に、例えば、スピーカ14等によって異常検知通知を行うと、歩行者の実際の状態とは異なった状態をスピーカ14の周辺にいる人々に知らせることになり、当該の人々に誤った情報を伝達することになる。これに対して、当該変形例によれば、このような誤報を防止することで、歩行者の異常検知を適切に知らせることができる。

0104

(2)検知の対象とする歩行者の異常状態の種別
また、上記実施形態では、異常状態検知装置1は、歩行者の異常状態として、歩行者の転倒状態、うずくまり状態及び横たわり状態を検知している。しかしながら、検知の対象とする歩行者の異常状態の種別は、これらに限られず、実施の形態に応じて適宜選択されてよい。

0105

例えば、加齢体力の低下等により、転倒のリスクが高くなる。上記異常状態検知装置1は、そのような転倒のリスクの高い歩行を異常状態として検知してもよい。具体的には、加齢、体力の低下等によって関節の可動域が少なくなることで、歩行者の下肢における関節の動作が少なくなる。例えば、つま先歩行面(地面)に対する角度が小さくなり、歩行する足の最底部から歩行面(地面)までの距離が小さくなる。

0106

そこで、制御部11は、ステップS103において、脚部の挙動を測定する。例えば、制御部11は、ステップS102で抽出した人物領域において、パターンマッチング等を行うことによって、脚部の写る範囲を特定する。次に、制御部11は、脚部の写る範囲のうちつま先の写る部分の各画素の深度を利用して、当該つま先の形状を画像解析することで、つま先の歩行面(地面)に対する角度を算出する。つま先の歩行面(地面)に対する角度を算出する方法には、公知の画像解析方法が用いられてよい。また、制御部11は、脚部の写る範囲の各画素の深度を利用して、脚部の最下点(最底部)と地面との間の距離を算出する。地面の実空間での位置(高さ)は、上記のとおり、任意の方法で与えられてよい。そして、制御部11は、このつま先の歩行面(地面)に対する角度及び脚部の最下点(最底部)と地面との間の距離をそれぞれ継続的にプロットする。これによって、制御部11は、実空間上の脚部の挙動を測定することができる。

0107

また、制御部11は、上記ステップS104において、継続的にプロットしたデータを参照し、つま先の歩行面(地面)に対する角度の最大値所定値以下であるか否かを判定する。また、制御部11は、脚部の最下点(最底部)と地面との間の距離の最大値が所定値以下であるか否かを判定する。そして、制御部11は、つま先の歩行面(地面)に対する角度の最大値が所定値以下であり、かつ、脚部の最下点(最底部)と地面との間の距離の最大値が所定値以下であると判定した場合に、歩行者が異常状態にあるとして、次のステップS105に処理を進める。一方、制御部11は、そのような条件を満たさない場合には、歩行者が異常状態にはないとして、上記動作例に係る処理を終了する。

0108

このようにして、上記異常状態検知装置1は、転倒のリスクの高い歩行を異常状態として検知してもよい。なお、異常状態であるか否かを判定するための閾値となる上記角度及び距離それぞれの所定値は、実施の形態に応じて適宜設定されてよい。また、対象とする脚部は、右脚でもよく、左脚でもよく、両脚でもよい。

0109

また、上記異常状態検知装置1は、予め測定された健常時における上記角度及び距離を保持してもよい。そして、上記異常状態検知装置1は、予め測定された健常時における上記角度及び距離それぞれと上記ステップS103で測定した角度及び距離それぞれとの差分により、当該角度及び距離それぞれの健常時からの低下量を算出してもよい。当該角度及び距離の低下量は、転倒のリスクを示す指標として活用することができる。そこで、制御部11は、上記ステップS104において、角度及び距離の低下量がそれぞれ所定値を超えた場合に、歩行者が異常状態にあると判定してもよい。

0110

1…浴室異常検知装置、
2…カメラ、3…撮影画像、31…上部、
5…プログラム、6…記憶媒体、
11…制御部、12…記憶部、13…タッチパネルディスプレイ、
14…スピーカ、15…外部インタフェース、16…通信インタフェース、
17…ドライブ、
51…画像取得部、52…抽出部、53…挙動測定部、
54…状態判定部、55…通知部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 三菱電機株式会社の「 生体センサ装置」が 公開されました。( 2021/01/07)

    【課題・解決手段】本発明は、連続波信号を生成する信号発生部(11)と、連続波信号を電波として放射するアンテナ(1)と、信号発生部(11)とアンテナ(1)のインピーダンスの整合を取る可変整合回路(21)... 詳細

  • PHCホールディングス株式会社の「 センサ挿入装置」が 公開されました。( 2021/01/07)

    【課題・解決手段】センサ挿入装置(1)は、シース(14)と、ハンドル(15)と、ハンドル(15)内に設けられた操作体(20)と、操作体(20)の下方に設けられたキャリア(16)と、キャリア(16)の下... 詳細

  • PHCホールディングス株式会社の「 センサ挿入装置」が 公開されました。( 2021/01/07)

    【課題・解決手段】センサ挿入装置(1)は、下端開口部(18)および上端開口部(19)を有する筒状の本体ケース(15)と、本体ケース(15)の上端開口部(19)の内外に摺動自在に設けられた刺針ボタン(1... 詳細

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ