図面 (/)

技術 監視装置、監視方法、及び監視プログラム

出願人 富士通株式会社
発明者 寺西広太郎山地隆行坂口和敏堀江武史森岡亮平野隆
出願日 2008年12月26日 (11年7ヶ月経過) 出願番号 2008-335326
公開日 2010年7月15日 (10年0ヶ月経過) 公開番号 2010-157119
状態 未査定
技術分野 警報システム 閉回路テレビジョンシステム
主要キーワード 接続用回路 特定位 監視情報管理 コンパイルプログラム 監視制御プログラム 画像コンピュータ 保育園 システム提供
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2010年7月15日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (10)

課題

被監視者常時監視すると共に、監視者による画像監視負荷下げる。

解決手段

人物撮影する撮影装置と、画像を送信する送信装置と、撮影装置によって撮影された画像の中から人物の顔表情の変化を認識し、顔表情の変化があった人物を特定し、特定した人物に関連付けられる宛先に、変化した顔情報を含む画像を、送信装置を介して送信する、処理を行う処理装置と、を備える監視システム提供される。

概要

背景

人物撮影し、監視を行うシステムが従来知られている。施設内にいる園児達を撮影して撮影画像を記録し、各園児の保護者がその撮影画像を自宅から見られるようにすることで、施設に預けている間でも保護者が自分の子供を見守ることができるようにする監視システムがある。この監視システムは、施設内の同じ場所に長時間留まっている園児がいる場合には、施設の管理者に対して、その園児に危険や異常が起きていないかを確認するよう警告を行うことで、園児を監視する機能を提供する。

特開平2008−40738号広報

概要

被監視者常時監視すると共に、監視者による画像監視負荷下げる。人物を撮影する撮影装置と、画像を送信する送信装置と、撮影装置によって撮影された画像の中から人物の顔表情の変化を認識し、顔表情の変化があった人物を特定し、特定した人物に関連付けられる宛先に、変化した顔情報を含む画像を、送信装置を介して送信する、処理を行う処理装置と、を備える監視システム提供される。

目的

本発明の一形態は、被監視者を常時監視すると共に、監視者による画像監視負荷を下げることを目的とする。

効果

実績

技術文献被引用数
0件
牽制数
2件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

人物監視する監視システムであって、前記人物を撮影する撮影装置と、画像を送信する送信装置と、前記撮影装置によって撮影された画像の中から人物の顔表情の変化を検出し、前記顔表情の変化があった人物を特定し、前記特定した人物に関連付けられる宛先に、前記変化した顔情報を含む画像を、前記送信装置を介して送信する、処理を行う処理装置と、を備える監視システム。

請求項2

前記処理装置は、前記撮影画像における変化した顔表情の画像を所定の大きさに拡大した顔画像を前記撮影画像から切り出し、前記切り出した拡大顔画像を前記送信装置を介して送信する請求項1に記載の監視システム。

請求項3

前記処理装置は、前記撮影画像に複数の変化した顔画像を検出した場合、前記変化した顔情報を含む画像として、前記複数の変化した顔画像のそれぞれについて顔サムネイルを前記撮影画像から切り出し、前記切り出した顔サムネイルを生成する請求項1に記載の監視システム。

請求項4

前記処理装置は、前記撮影画像に複数の変化した顔画像を検出した場合、前記変化した顔情報を含む画像として、前記複数の変化した顔画像のそれぞれについての顔サムネイルを中心とする画像を前記撮影画像から切り出し、前記顔サムネイルを中心とする画像を生成する請求項1に記載の監視システム。

請求項5

前記撮影画像に複数の変化した顔画像を検出した場合、前記送信装置は、複数の顔画像の各々に対応付けられた宛先に前記送信装置を介して前記変化した顔情報を含む画像を送信する請求項3又は4に記載の監視システム。

請求項6

前記処理装置は、前記顔表情が変化したとき、前記顔表情が変化した人物の周囲に居る人物を特定する請求項1又は2に記載の監視システム。

請求項7

記憶部をさらに備え、前記処理装置は、前記顔表情が変化したとき、時間、位置、及び前記顔表情が変化した人物の周囲に居る人物のデータの少なくとも1つを前記記憶部に格納する請求項1〜5のいずれか1項に記載の監視システム。

請求項8

撮影装置、送信装置、及び処理装置を用いて人物を監視するための監視方法であって、前記処理装置は、前記撮影装置によって撮影された画像の中から人物の顔表情の変化を認識し、前記処理装置は、前記顔表情の変化があった人物を特定し、前記処理装置は、前記特定した人物に関連付けられる宛先に、前記変化した顔情報を含む画像を送信する、ことを有する監視方法。

請求項9

人物を監視するための監視プログラムであって、撮影装置及び送信装置と接続される処理装置に、前記撮影装置によって撮影された画像の中から人物の顔表情の変化を認識する手順、前記顔表情の変化があった人物を特定する手順、及び、前記特定した人物に関連付けられる宛先に、前記変化した顔情報を含む画像を、前記送信装置を介して送信する手順、を実行させるための監視プログラム。

技術分野

0001

本発明は、監視装置監視方法、及び監視プログラムに関する。

背景技術

0002

人物撮影し、監視を行うシステムが従来知られている。施設内にいる園児達を撮影して撮影画像を記録し、各園児の保護者がその撮影画像を自宅から見られるようにすることで、施設に預けている間でも保護者が自分の子供を見守ることができるようにする監視システムがある。この監視システムは、施設内の同じ場所に長時間留まっている園児がいる場合には、施設の管理者に対して、その園児に危険や異常が起きていないかを確認するよう警告を行うことで、園児を監視する機能を提供する。

0003

特開平2008−40738号広報

発明が解決しようとする課題

0004

しかしながら、被監視者を所定時間一定の場所に居るか居ないかで監視するだけでは、所定の時間内に被監視者に生じる出来事を監視することは出来ない。そのため、従来の監視システムは、被監視者を常時監視する機能を提供していない。また、監視システムを利用する監視者の中には、家事仕事等を行っている者がおり、そのような監視者は、被監視者を常時監視することは出来ない。

0005

本発明の一形態は、被監視者を常時監視すると共に、監視者による画像監視負荷下げることを目的とする。

課題を解決するための手段

0006

上記課題を解決するために、人物を監視する監視システムが提供される。
監視システムは、人物を撮影する撮影装置と、画像を送信する送信装置と、撮影装置によって撮影された画像の中から人物の顔表情の変化を認識し、顔表情の変化があった人物を特定し、特定した人物に関連付けられる宛先に、変化した顔情報を含む画像を送信装置を介して送信する、処理を行う処理装置と、を備える。

発明の効果

0007

本発明の一形態は、被監視者を常時監視すると共に、監視者による画像監視負荷を下げることが出来る。

発明を実施するための最良の形態

0008

以下、図面を参照して、監視システムのハードウェア構成の一例を説明する。
図1を用いて、監視システムのハードウェア構成の一例を説明する。20は監視装置、11は補助記憶装置、12は主記憶装置、13は処理装置、14はバスインタフェースユニット(BIU)、15はディスクインタフェース(DI)、16はネットワークインタフェースカード(NIC)を示す。17は出力装置、18は入力装置、8は受信装置、9は撮影装置、21はインターネット等のネットワーク網、22は無線通信のための基地局、23はコンピュータ、24は通信端末、7はIC(IntegratedCircuit)タグを示す。

0009

図1に示されるように、監視システム1は、監視装置20、受信装置8及び撮影装置9を有する。監視装置20は、補助記憶装置11、主記憶装置12、処理装置13、バスインタフェースユニット14、ディスクインタフェース15、ネットワークインタフェースカード16、出力装置17、入力装置18を有する。また、監視装置20は、受信装置8及び撮影装置9とバス接続又はネットワーク接続される。さらに、監視装置20は、ネットワーク網21を介してコンピュータ23、基地局22、及び通信端末24に接続される。以下、監視システム1の各構成要素について順に説明する。

0010

補助記憶装置11は、磁気ディスクドライブ、又は、フラッシュメモリのような不揮発性メモリを用いたSSD(Solid State Drive)、又は、フロッピー登録商標ディスクドライブ、又は、光学ディスクドライブである。補助記憶装置11は、光学ディスクやフロッピー(登録商標)ディスク等の媒体に記録されたプログラミング言語で書かれたプログラムを読み込んで、格納する。

0011

主記憶装置12は、メインメモリキャッシュメモリ及びフラッシュメモリを含み、命令やデータを記憶する。主記憶装置12には、補助記憶装置11に格納されるプログラムを一時的に格納することが出来る。メインメモリとしては、SIMM(Single Inline Memory Module)、DIMM(Dual Inline Memory Module)がある。フラッシュメモリとしては、EPROM(Erasable Programmable ROM)がある。

0012

処理装置13は、四則演算論理演算などの演算処理を実行する装置である。処理装置13は、コンパイルプログラムを実行することで、主記憶装置12又は補助記憶装置11に格納されるプログラムを、処理装置13が直接実行可能な機械語コード化された命令に変換する機能を行う。処理装置13は、機械語でコード化された命令を主記憶装置12から読み出し、又は、プログラム実行時に機械語でコード化された命令に変換して処理装置13内部のレジスタに格納する。さらに、処理装置13は、レジスタに格納された命令を実行することにより、上記演算処理を実行することで各種の計算や制御を行うことができる。

0013

バスインタフェースユニット14は、主記憶装置12、処理装置13、及びディスクインタフェース15と接続されるチップセットであり、AGP(Accelerated Graphics Port)又はPCIExpressなどの規格に従って機能する制御回路を含む。バスインタフェースユニット14は、さらに、PCI(Peripheral Component Interconnect)バス、IDE、キーボードポートマウスポート、USBなどの回路を含む。バスインタフェースユニット14は、バスを介して監視装置20の外部に配置される入力装置18及び出力装置17に接続される。なお、バス接続される対象機器通信速度に応じて、バスインタフェースユニット14は、高速通信用及び低速通信用に分けた2つ以上のチップセットとしても良い。

0014

ディスクインタフェース15は、処理装置13と補助記憶装置11とを接続する接続用回路である。ディスクインタフェース15は、例えば、SerialATA、SCSI、及びFC(Fibre Channel)等の規格に従って機能する。

0015

ネットワークインタフェースカード16は、コンピュータネットワーク内でコンピュータ間の通信を行うために使用されるハードウェアである。ネットワークインタフェースカード16は、イーサネット(登録商標)またはトークンリングなどの、特定の物理層およびデータリンク層を使用して通信するための回路を含む。

0016

なお、出力装置17は、プロセッサ試験装置から処理状況や処理結果を出力する対象となるディスプレイプリンタなどであり、入力装置18は、監視装置20に対して情報を出力するキーボードやマウスなどである。

0017

識別装置7は、識別情報を格納する集積回路であって、無線通信によって識別情報を受信装置8に送信する。識別装置7は、受信装置8からの電波エネルギー源として動作するパッシブタグ、又は、電池を内蔵し、自ら電波を発するアクティブタグであっても良い。識別装置7には、識別装置7の各々を一意識別するための固有の識別情報がそれぞれ付与されており、この識別情報で識別装置7を所持している人物が誰かを特定できるようになっている。人物が、それぞれ所持している複数の識別装置7の識別情報と、その各々の識別装置7を所持している人物とを対応付けた識別装置管理情報44が、補助記憶装置11に予め記録されている。

0018

受信装置8は、識別装置7に対して電磁波を出力し、及び/又は、識別装置7から送信される識別情報を受信するアンテナ装置である。受信装置8は、監視システム1が用いられる施設内に設置される。受信装置8は、所定の間隔を空けて設置される。また、各受信装置8には、それぞれの受信装置8を一意に識別するための受信装置識別番号が付加されている。そして、各受信装置8の設置位置と受信装置識別番号とを対応付けた受信装置管理情報43が補助記憶装置11に記録されている。

0019

コンピュータ23は、図示しないネットワークインタフェースカードを介して、監視装置20からデータを受信し、ディスプレイを介してデータを出力することができる。通信端末24は、基地局22からの無線送受信することによって、監視装置20からデータを受信し、ディスプレイを介してデータを出力することができる。

0020

図2を用いて、監視装置で実装する機能構成の一例を示す。
処理装置13に実装される機能は、制御機能部31、顔表情認識機能部32、人物特定機能部33、位置特定機能部34、識別情報特定機能部35、画像拡大機能部36、送信制御機能部37、及び監視情報管理機能部38がある。

0021

監視制御プログラム30は、制御機能部31〜監視情報管理機能部38として規定される機能をプログラミング言語で記述したものである。処理装置13は、監視制御プログラム30を実行することで、制御機能部31〜監視情報管理機能部38の機能を実行することが出来る。補助記憶装置11には、30で示す監視制御プログラム、41で示す特徴管理情報、42で示す画像位置管理情報、43で示す受信装置管理情報、44で示す識別装置管理情報、45で示す画像転送先情報、及び46で示す顔変化関連情報が格納される。主記憶装置12又は補助記憶装置11には、撮影装置9から伝送される画像情報が格納される。
以下、監視装置20が行う各機能について順に説明する。

0022

制御機能部31は、顔表情認識機能部32〜監視情報管理機能部38の実行制御や、各機能部のイベント共有を制御するための制御機能を有する。制御機能部31の制御機能は、監視制御プログラム30を実行後、最初に実行される機能である。

0023

顔表情認識機能部32は、撮影装置9によって撮影される撮影画像の中から人物の顔表情の変化を認識する機能を有する。撮影画像は、補助記憶装置11又は主記憶装置12に連続的に格納される。

0024

顔表情認識機能部32は、補助記憶装置11又は主記憶装置12に格納された画像情報を読み出し、画像から人物の顔を検出する。顔検出法としては、画像上に目やや口などの顔器官を見つけ出すことによって、顔を検出することができる。顔器官の検出は、各器官を代表する代表画像を予め作成し、画像中で最も代表画像に一致する領域を見つけ出すことによって検出することが出来る。
顔表情認識機能部32は、検出した顔器官の変化を測定する。顔表情認識機能部32は、検出した顔器官における目や口の開閉度目尻の形状などの変化により顔表情の変化を測定することが出来る。目尻が所定の角度下がり及び/又は目が所定の割合細くなれば笑顔口角が所定の角度下がれば泣き顔のように、顔器官の角度や割合等の状態を定量的に評価することで、顔表情認識機能部32は、笑顔、泣き顔、怒り顔などの被監視者の顔変化を捉えることが出来る。

0025

図3を用いて、顔表情認識機能部32が取得した画像の一例を示す。51は、顔変化を検出した領域を示す。7a、7b、7cは、それぞれ別々の人物に取り付けられた識別装置を示す。顔表情認識機能部32は、画像内において顔変化を捉えたとき、顔変化を生じた画像領域51を特定することが出来る。
このように、顔表情認識機能部32は、顔変化が生じた画像内の画像領域51と、その顔変化が笑顔、泣き顔、怒り顔のどの顔に変化したかを認識することが出来る。顔表情認識機能部32は、画像領域51と顔変化に関する情報を、制御機能部31又は位置特定機能部34に伝送する。

0026

人物特定機能部33は、顔変化が生じた画像内において、顔表情の変化があった人物を特定する機能を有する。特徴管理情報41は、人物とその人物の特徴パターンとを関係付けた情報である。人物特定機能部33は、画像から特徴抽出を行って、特徴パラメータ又は特徴ベクトルを求める。人物特定機能部33は、こうして得られた特徴量の中から特徴管理情報41の特徴パターンに合致した特徴量、あるいは近い特徴量を識別することによって画像内に映し出される人物を識別することが出来る。
なお、人物特定機能部33により画像内の人物を識別する機能は、後述する位置特定機能部34及び識別情報特定機能部35を用いて行うことも可能である。

0027

位置特定機能部34は、画像内において顔表情が変化した人物の位置を特定する機能を有する。
図4は、撮影装置9の撮影領域と、受信装置の受信領域の関係を示す平面図である。図4に示される8a及び8bは受信装置を示し、54a及び54bは受信装置8a及び受信装置8bの受信領域をそれぞれ示し、52は撮影装置9の撮影範囲を示す。7a、7b、7cは、それぞれ別々の人物に取り付けられた識別装置を示す。撮影装置9が撮影した撮影範囲52で取得された画像は、図3に示す取得画像に対応する。
図2に示す画像位置管理情報42は、画像内の画像領域と、位置情報とを対応付けた情報である。例えば、画像位置管理情報42において、図3に示す画像領域は、監視領域の特定の位置と対応付けて規定される。そのため、位置特定機能部34は、画像位置管理情報42を参照して、図3に示す画像領域51に対応する監視領域の位置53(図4)を特定することが出来る。

0028

識別情報特定機能部35は、位置特定機能部34が特定した位置を受信領域とする受信装置を特定し、さらに、特定した受信装置で受信される識別情報を特定する機能を提供する。この機能により、顔表情が生じた位置を位置特定機能部34から通知されることで、顔表情が変化した人物を特定出来る。

0029

図4を用いて、識別情報特定機能部35による人物特定方法の一例を説明する。図4に示されるように、識別装置7aを有する人物が、受信領域54aに入ると受信装置8aは、識別装置7aに固有の識別情報を受信する。そして、受信装置8aは、識別装置7aの識別情報と共に受信装置8aを識別する受信装置識別番号を、監視装置20に送信する。

0030

受信装置管理情報43は、受信装置と、受信装置の受信領域とを関係付けた情報である。識別情報特定機能部35は、位置特定機能部34から位置53に顔変化を生じたことを通知されるので、受信装置管理情報43を参照して、位置53を含む受信領域54aを対象とする受信装置が受信装置8aであることを判別する。そして、受信装置8aの受信領域54aにある識別装置7aを検出する。
識別装置管理情報44は、識別装置と、識別装置が取り付けられた人物とを関係付けた情報である。識別情報特定機能部35は、識別装置管理情報44を参照して、識別装置7aを有する人物を特定する。このようにして、識別情報特定機能部35は、顔変化が生じた人物が居る位置情報を用いて、顔変化が生じた人物を特定することが出来る。

0031

このように、識別情報特定機能部35は、位置情報を用いて、識別装置を特定することが出来る。そのため、識別情報特定機能部35は、顔変化が生じた被監視者の居る位置53を通知されると、受信装置管理情報43を参照して、位置53の周囲にある受信装置を受信装置8a、8bであると特定する。さらに、識別情報特定機能部35は、識別装置管理情報44を参照して、図4に示す識別装置7b、識別装置7cを検出することも出来る。このような顔変化をした人物の周囲にある識別装置の検出は、画像とは無関係に検出できるので、画像に含まれない人物も検出可能である。

0032

このようにして検出された周囲に居る人物の情報は、顔変化関連情報46の1つとして補助記憶装置11に格納される。このような周囲の人物の情報を記録することによって、記録されたデータを用いて、統計的な利用が可能である。例えば、顔変化が生じた原因が周囲の人間にあった事実や、顔変化を特定の人物に生じさせやすい人物を特定することも出来る。

0033

画像拡大機能部36は、顔表情認識機能部32により認識された人物の顔表情を、拡大して、さらに当該拡大部分を切り取った画像を生成する機能を有する。撮影装置9が、人物と比して広い領域を撮影する場合、撮影画像において顔変化を生じた人物の画像部分は相対的に小さくなり、視認困難な場合がある。そこで、画像拡大機能部36は、顔変化を生じた領域を拡大した画像を生成する。
図5Aに、図3に示した画像を拡大した画像の一例を示す。図5Aに示される画像は、人物が画像領域の7割、背景が画像領域の3割というように図3に示す顔変化を生じた人物の画像を拡大した画像である。このように、デジタル処理により画像を拡大することで、拡大画像において顔変化の状態が明確に示される。顔変化が拡大されて視認可能になることで、監視システム1を保育園幼稚園に適用した場合、監視者である園児の両親は普段目にすることができない、子供の楽しんでいる表情等を確認することができる。

0034

図5Bに、図3に示した画像を拡大した画像の一例を示す。図5Bに示される画像は、人物が画像領域の3割、背景が画像領域の7割というように図3に示す顔変化を生じた人物の画像を拡大した画像である。このように、デジタル処理により画像を拡大することで、顔変化を生じた人物の画像を明確にすると共に、顔変化をした人物の周囲の環境情報画像提供することが出来る。周りの背景が明確になる程度に画像を拡大することで、周囲に居る人間や、顔変化をした人物が行っていたイベントを特定することが可能になり、監視者は顔変化がなぜ生じたのかをその周囲の環境から知ることが出来る。

0035

なお、監視対象の環境によっては、複数人による顔表情変化が同時に起こる場合がある。図3を再び参照すると人物61と人物62が同時に顔変化が生じたとする。その場合、画像拡大機能部36は、それぞれの人物に対する顔表情変化に対する処理を行う。
図5Cに複数の顔表情変化が生じる場合の画像拡大機能部36の画像拡大処理の一例を示す。画像拡大機能部36は、人物が画像領域の7割、背景が画像領域の3割となるように画像を切り出す。なお、この拡大した顔表情画像は、本願において「顔サムネイル」として参照され得る。このようにして、人物61に対して切り出した画像を71で、及び、人物62に対して切り出した画像を72で示す。このように、画像拡大機能部36は、複数人による顔表情変化が同時に起こる場合、それぞれの人物に対して顔サムネイルを生成する。

0036

さらに、画像拡大機能部36は、人物が画像領域の3割、背景が画像領域の7割となるように周りの背景が明確になる画像を切り出す。画像拡大機能部36は、複数の変化した顔画像のそれぞれについての顔サムネイルを中心とする画像を撮影画像から切り出し、顔サムネイルを中心とする画像を生成する。この場合、画像拡大機能部36は、顔変化が生じた顔画像の顔サムネイルの中心を、画像データの中心となるような人物が画像領域の3割、背景が画像領域の7割となる画像を生成する。このようにして、人物61に対して切り出した画像を81で、及び、人物62に対して切り出した画像を82で示す。
このように、監視画像内において複数の顔変化が生じた場合でも、画像拡大機能部36は、各々の顔画像変化が生じた人物に対して画像拡大処理を行うことができ、より高い精度の顔変化検出機能を提供する。

0037

送信制御機能部37は、特定した人物に関連付けられる宛先に、顔情報を含む画像を、送信装置を介して送信する機能を有する。送信制御機能部37は、図2に示す画像転送先情報45を参照して、人物の識別情報と関係付けられる転送先アドレスにネットワーク網21を介して顔変化を含む画像を送信する。送信する転送先アドレスは、例えば、監視システム1を保育園や幼稚園に適用した場合、監視者である園児の両親のコンピュータ23又は通信端末24のIPアドレスや、メールアドレスである。送信先のコンピュータ23又は通信端末24のディスプレイには、顔情報を含む画像が表示される。
なお、複数人による顔表情変化が同時に起こる場合、上記例では、送信制御機能部37は、人物61及び62に対して、画像71及び81、及び、画像72及び82をそれぞれ所定の転送先アドレスに送信する。

0038

このように、被監視者を常時監視すると共に、顔変化が生じたときだけ監視者に画像を送ることによって、被監視者を常時監視し且つ監視者による画像監視負荷を下げることが出来る。処理装置13が各機能を実行するための演算量に対して十分な処理速度を有することにより、顔変化が生じたら即時に監視者に送信することが出来る。そのため、監視者は被監視者に顔変化が生じた時間に、顔変化を含む画像を即時的に受け取ることができる。

0039

監視情報管理機能部38は、顔変化を生じた画像を補助記憶装置11に格納する。また、監視情報管理機能部38は、顔変化画像と共に、顔変化が生じた時間、顔変化を生じた位置情報、位置特定機能部34が特定した周囲に居る人物の情報を、顔変化関連情報46として補助記憶装置11に記録することが出来る。

0040

このように、顔変化に関する関連情報を用いて、画像に写っていなくても、被監視者が行っていた周囲に居る人物やそのとき行われていたイベントを特定することにより、被監視者の顔変化の原因を特定することが出来る。

0041

また、顔変化に関する関連情報を用いて、顔変化の日時及び/又は顔変化の回数の統計をとることで被監視者である人物の心理的バランスチェックすることが出来る。

0042

また、制御機能部31〜監視情報管理機能部38の機能をプログラミング言語で規定した監視制御プログラム30は、記録媒体ネットワークを介して補助記憶装置11に格納されることによって、処理装置13により実行され、処理装置13の機能として実装される。そのため、既に普及している監視カメラを有するシステムに関しても、監視制御プログラム30を読み込むことによって、既に普及している監視カメラを有するシステムも制御機能部31〜監視情報管理機能部38の機能を実装することが出来る。

0043

図6は、監視システム1が実行する監視処理フローチャートの一例である。
まず、撮影装置9は、監視領域を撮影する(S101)。そこで撮影された、撮影画像は、補助記憶装置11又は主記憶装置12に連続的に格納される(S102)。顔表情認識機能部32は、補助記憶装置11又は主記憶装置12に格納された画像情報を読み出し、画像の中から人物の顔表情の変化を認識する(S103)。
人物特定機能部33は、顔表情の変化があった人物が誰であるかを特定する(S104)。なお、この人物特定処理は、位置特定機能部34及び識別情報特定機能部35が行っても良い。この場合、位置特定機能部34は、画像内において顔表情が変化した人物の位置を特定する。そして、識別情報特定機能部35は、その特定位置から送信される識別装置が送信する電波を受信する受信装置を特定し、特定した受信装置で受信される識別情報を特定することで人物を特定する。
画像拡大機能部36は、画像における変化した顔表情の画像を拡大する(S105)。送信制御機能部37は、ステップS104で特定した人物に関連付けられる宛先に、顔情報を含む画像を、送信装置を介して送信する(S106)。

0044

監視情報管理機能部38は、顔変化に関する関連情報を補助記憶装置11に記録する(S107)。顔変化に関する関連情報は、顔変化を生じた画像、顔変化が生じた時間、顔変化を生じた位置情報、及び位置特定機能部34が特定した周囲に居る人物の情報がある。処理装置13は、入力装置18又はネットワークを介してシステム停止命令があるか否かを監視し、システム停止命令が無い場合(S108 No)は、上記ステップS101〜S107を実行し続ける。システム停止命令がある場合(S108 Yes)、処理装置13は監視処理を終了することで(S109)、監視処理のフローを終了する。

0045

図7は、監視システムの一実施例を示す図である。
図7に示す7d、7e、7fは、識別装置を示し、7gは識別装置の詳細を示し、9a、9bは撮影装置を示し、23aはコンピュータを示し、24aは通信端末を示す。
識別装置7gは、保育園又は幼稚園の児童名札として実装される識別装置を示す。このように名札として識別装置を用いることで、常に識別装置を児童に取り付けることが出来る。識別装置7d、7e、7fも7gと同様に、保育園又は幼稚園の児童の名札として実装される。

0046

撮影装置9a及び撮影装置9bは、監視領域に対して死角を作らないように配置される。図示されない監視装置20が顔表情の変化を検出すると、監視装置20は、顔表情を含む画像を、顔表情に変化を生じた児童の母のコンピュータ23a及びの通信端末24aに送信する。送信された顔変化を含む画像コンピュータ23a及び通信端末24aのディスプレイに表示されることによって、父は、仕事中でも自分の子供の顔変化を知ることができ、母は、家事の間でも自分の子供の顔変化を知ることが出来る。

0047

以上述べた実施形態に関し、さらに以下の付記を開示する。
(付記1)
人物を監視する監視システムであって、
前記人物を撮影する撮影装置と、
画像を送信する送信装置と、
前記撮影装置によって撮影された画像の中から人物の顔表情の変化を検出し、前記顔表情の変化があった人物を特定し、前記特定した人物に関連付けられる宛先に、前記変化した顔情報を含む画像を、前記送信装置を介して送信する、処理を行う処理装置と、
を備える監視システム。
(付記2)
前記処理装置は、前記撮影画像における変化した顔表情の画像を所定の大きさに拡大した顔画像を前記撮影画像から切り出し、前記切り出した拡大顔画像を前記送信装置を介して送信する付記1に記載の監視システム。
(付記3)
前記処理装置は、前記撮影画像に複数の変化した顔画像を検出した場合、前記変化した顔情報を含む画像として、前記複数の変化した顔画像のそれぞれについて顔サムネイルを前記撮影画像から切り出し、前記切り出した顔サムネイルを生成する付記1に記載の監視システム。
(付記4)
前記処理装置は、前記撮影画像に複数の変化した顔画像を検出した場合、前記変化した顔情報を含む画像として、前記複数の変化した顔画像のそれぞれについての顔サムネイルを中心とする画像を前記撮影画像から切り出し、前記顔サムネイルを中心とする画像を生成する付記1に記載の監視システム。
(付記5)
前記撮影画像に複数の変化した顔画像を検出した場合、前記送信装置は、複数の顔画像の各々に対応付けられた宛先に前記送信装置を介して前記変化した顔情報を含む画像を送信する付記3又は4に記載の監視システム。
(付記6)
前記処理装置は、前記顔表情が変化したとき、前記顔表情が変化した人物の周囲に居る人物を特定する付記1又は2に記載の監視システム。
(付記7)
記憶部をさらに備え、
前記処理装置は、前記顔表情が変化したとき、時間、位置、及び前記顔表情が変化した人物の周囲に居る人物のデータの少なくとも1つを前記記憶部に格納する付記1〜5のいずれか1項に記載の監視システム。
(付記8)
前記人物のそれぞれによって所持され、且つ識別情報を含む電波を送信する識別装置と、
前記識別装置から送信される電波を受信する受信装置と、をさらに備え、
前記処理装置による前記顔表情の変化があった人物を特定する処理は、前記画像内において顔表情が変化した人物の位置を特定し、前記位置から送信される前記識別装置が送信する電波を受信する受信装置を特定し、前記特定した受信装置で受信される識別情報を特定することによって行われる付記1〜4のいずれかに1項に記載の監視システム。
(付記9)
撮影装置、送信装置、及び処理装置を用いて人物を監視するための監視方法であって、
前記処理装置は、前記撮影装置によって撮影された画像の中から人物の顔表情の変化を認識し、
前記処理装置は、前記顔表情の変化があった人物を特定し、
前記処理装置は、前記認識した人物に関連付けられる宛先に、前記変化した顔情報を含む画像を送信する、
ことを有する監視方法。
(付記10)
前記処理装置は、前記画像における変化した顔表情の画像を拡大し、前記宛先に前記拡大した顔情報を含む画像を前記送信装置を介して送信することをさらに有する付記9に記載の監視方法。
(付記11)
前記処理装置は、前記顔表情が変化したとき、前記顔表情が変化した人物の周囲に居る人物を特定することをさらに有する付記9又は10に記載の監視方法。
(付記12)
前記処理装置はさらに記憶部に接続され、
前記処理装置は、前記顔表情が変化したとき、前記記憶部に、時間、位置、及び前記顔表情が変化した人物の周囲に居る人物の少なくとも1つを記録することを有する付記9〜11のいずれか1項に記載の監視方法。
(付記13)
人物を監視するための監視プログラムであって、撮影装置及び送信装置と接続される処理装置に、
前記撮影装置によって撮影された画像の中から人物の顔表情の変化を認識する手順、
前記顔表情の変化があった人物を特定する手順、及び、
前記認識した人物に関連付けられる宛先に、前記変化した顔情報を含む画像を、前記送信装置を介して送信する手順、
を実行させるための監視プログラム。
(付記14)
前記処理装置に、前記画像における変化した顔表情の画像を拡大し、前記宛先に前記拡大した顔情報を含む画像を前記送信装置を介して送信する手順をさらに実行させる付記13に記載の監視プログラム。
(付記15)
前記処理装置に、前記顔表情が変化したとき、前記顔表情が変化した人物の周囲に居る人物を特定する手順をさらに実行させる付記13又は14に記載の監視プログラム。
(付記16)
前記処理装置はさらに記憶部に接続され、
前記処理装置に、前記顔表情が変化したとき、前記記憶部に、時間、位置、及び前記顔表情が変化した人物の周囲に居る人物の少なくとも1つを記録する手順を実行させる付記13〜15のいずれか1項に記載の監視プログラム。

図面の簡単な説明

0048

監視装置のハードウェア構成の一例を示す図である。
監視装置で実装する機能構成の一例を示す図である。
顔表情認識機能部が取得した画像の一例を示す図である。
人物特定機能部による人物特定方法の一例を示す図である。
画像拡大機能部により拡大した画像を示す図である。
画像拡大機能部により拡大した画像を示す図である。
複数の顔表情変化が生じる場合の画像拡大機能部36の画像拡大処理の一例を示す図である。
監視システムが実行する監視処理のフローチャートの一例である。
監視システムの一実施例を示す図である。

符号の説明

0049

1監視システム
7識別装置
8受信装置
9撮影装置
11補助記憶装置
12主記憶装置
13処理装置
14バスインタフェースユニット
15ディスクインタフェース
16ネットワークインタフェースカード
17出力装置
18入力装置
20監視装置
21ネットワーク網
22基地局
23コンピュータ
24通信端末
30監視制御プログラム
31制御機能部
32顔表情認識機能部
33人物特定機能部
34位置特定機能部
35識別情報特定機能部
36画像拡大機能部
37送信制御機能部
38監視情報管理機能部
41 特徴管理情報
42 画像位置管理情報
43 受信装置管理情報
44 識別装置管理情報
45画像転送先情報
46顔変化関連情報

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • アースアイズ株式会社の「 監視装置、監視システム、監視方法、監視プログラム」が 公開されました。( 2020/06/04)

    【課題】測距部を必要とせず、より簡単に監視を行うことができる監視装置、監視システム、監視方法、監視プログラムを提供する。【解決手段】監視装置100は、撮影部110と、撮影部110が撮影した撮影画像中の... 詳細

  • 新コスモス電機株式会社の「 警報器」が 公開されました。( 2020/06/04)

    【課題】電源投入時の警報器の状態をユーザが適切に把握できるようにすることが可能な警報器を提供する。【解決手段】この警報器100は、異常検知を行う検知部1と、報知音を出力するスピーカ21を有する報知部2... 詳細

  • 厳基正の「 旅行かばん探索システム、タグ」が 公開されました。( 2020/06/04)

    【課題】スマホとタグとを協働させ旅行かばんを探索するシステムを提供する。【解決手段】旅行かばん探索システムは、スマートフォンと、アプリケーションプログラムが実現するアプリ機能部と、旅行かばんに取り付け... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ