図面 (/)

技術 情報処理装置、情報処理方法、及び、情報処理プログラム

出願人 独立行政法人自動車技術総合機構セントラルエンジニアリング株式会社
発明者 竹内俊裕長谷川智紀渡邉翔一郎久保武良小野文彦
出願日 2019年2月25日 (1年10ヶ月経過) 出願番号 2019-032006
公開日 2020年8月31日 (3ヶ月経過) 公開番号 2020-132092
状態 未査定
技術分野 イメージ分析 鉄道交通の監視、制御、保安
主要キーワード 標本ベクトル 検知指 サーマルカメラ 検知速度 標本情報 車両ライト 判定ミス 可搬記録媒体駆動装置
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年8月31日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (10)

課題

解決手段

撮像装置による撮像範囲内の撮像画像の入力を受け付ける受付部と、過去に入力された複数の撮像画像から選択された複数の撮像画像である複数の標本画像を記憶する記憶部と、入力された撮像画像である入力画像が、複数の標本画像のいずれと類似するかによって、入力画像が一般的か否かを判定し、入力画像が一般的か否かに基づいて、入力画像内に検知対象物が存在するか否かを判定する第1の判定を実行する、判定部と、を備える情報処理装置である。

概要

背景

撮像範囲内対象物が存在することを検知する方法の一つに、例えば、撮像範囲内の背景画像から入力された撮像画像への変化(差分ともいう)に基づいて、撮像範囲内に対象物が存在することを検知する背景差分法がある。また、背景は、時刻天気季節等によって変化するので、背景差分法で用いられる背景画像は、例えば、複数の撮像画像を用いて更新されることが多い。

概要

撮像装置の撮像範囲内の検知対象物検知精度を向上させる。撮像装置による撮像範囲内の撮像画像の入力を受け付ける受付部と、過去に入力された複数の撮像画像から選択された複数の撮像画像である複数の標本画像を記憶する記憶部と、入力された撮像画像である入力画像が、複数の標本画像のいずれと類似するかによって、入力画像が一般的か否かを判定し、入力画像が一般的か否かに基づいて、入力画像内に検知対象物が存在するか否かを判定する第1の判定を実行する、判定部と、を備える情報処理装置である。

目的

本発明は、上記した問題に鑑み、撮像装置の撮像範囲内の検知対象物の検知精度を向上可能な情報処理装置、情報処理方法、及び、情報処理プログラムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

撮像装置による撮像範囲内撮像画像の入力を受け付ける受付部と、過去に入力された複数の撮像画像から選択された複数の撮像画像である複数の標本画像を記憶する記憶部と、前記入力された撮像画像である入力画像が、前記複数の標本画像のいずれと類似するかによって、前記入力画像が一般的か否かを判定し、前記入力画像が一般的か否かに基づいて、前記入力画像内に検知対象物が存在するか否かを判定する第1の判定を実行する、判定部と、を備える情報処理装置

請求項2

前記判定部は、前記複数の標本画像それぞれと類似する撮像画像の合計数に対する、前記入力画像と類似する標本画像に類似する撮像画像の数の比率が所定の閾値以上である場合に、前記入力画像が一般的であると判定する、請求項1に記載の情報処理装置。

請求項3

前記判定部は、前記入力画像及び前記複数の標本画像について、それぞれ、周波数分析を行い、前記周波数分析の結果から、第1のベクトル及び複数の標本ベクトルを取得し、前記第1のベクトルと前記複数の標本ベクトルそれぞれとの距離を算出し、前記第1のベクトルとの距離が第1の閾値未満である標本ベクトルに対応する標本画像を、前記入力画像と類似する標本画像と判定する、請求項1又は2に記載の情報処理装置。

請求項4

前記判定部は、前記複数の標本画像のうち、前記入力画像と類似すると判定される標本画像が存在しない場合に、前記入力画像を新たな標本画像として前記記憶部に追加する、請求項1から3のいずれか一項に記載の情報処理装置。

請求項5

前記判定部は、所定時間、順次入力される前記撮像画像のいずれとも類似すると判定されなかった標本画像を前記記憶部から削除する、請求項1から4のいずれか一項に記載の情報処理装置。

請求項6

前記判定部は、前記入力画像と前記撮像範囲内の背景画像との比較に基づいて、前記入力画像内に検知対象物が存在するか否かを判定する第2の判定をさらに実行し、前記第1の判定の結果と前記第2の判定の結果との双方において、前記入力画像内に検知対象物が存在すると判定された場合に、前記入力画像内に前記検知対象物が存在すると判定する、請求項1から5のいずれか一項に記載の情報処理装置。

請求項7

撮像装置による撮像範囲内の撮像画像の入力を受け付け、過去に入力された複数の撮像画像から選択された複数の撮像画像である複数の標本画像を記憶部に記憶し、前記入力された撮像画像である入力画像が、前記複数の標本画像のいずれと類似するかによって、前記入力画像が一般的か否かを判定し、前記入力画像が一般的か否かに基づいて、前記入力画像内に検知対象物が存在するか否かを判定する第1の判定を実行する、情報処理方法

請求項8

コンピュータに、撮像装置による撮像範囲内の撮像画像の入力を受け付けさせ、過去に入力された複数の撮像画像から選択された複数の撮像画像である複数の標本画像を記憶部に記憶させ、前記入力された撮像画像である入力画像が、前記複数の標本画像のいずれと類似するかによって、前記入力画像が一般的か否かを判定させ、前記入力画像が一般的か否かに基づいて、前記入力画像内に検知対象物が存在するか否かを判定する第1の判定を実行させる、ための情報処理プログラム

技術分野

0001

本発明は、撮像装置撮像範囲内検知対象物の存在を検知する技術に関する。

背景技術

0002

撮像範囲内に対象物が存在することを検知する方法の一つに、例えば、撮像範囲内の背景画像から入力された撮像画像への変化(差分ともいう)に基づいて、撮像範囲内に対象物が存在することを検知する背景差分法がある。また、背景は、時刻天気季節等によって変化するので、背景差分法で用いられる背景画像は、例えば、複数の撮像画像を用いて更新されることが多い。

先行技術

0003

特開2016−203670号公報
特開2016−144123号公報
特開2016−132313号公報

発明が解決しようとする課題

0004

しかしながら、背景画像が複数の撮像画像を用いて更新される場合には、直近の3〜5秒間の撮像画像が用いられることが多く、当該直近の3〜5秒間に発生する撮像範囲内の変化の影響を受けやすい。これによって、例えば、撮像画像内に存在しない検知対象物を誤って検知したり、反対に撮像画像内に存在する検知対象物を検知しなかったりすることがある。

0005

本発明は、上記した問題に鑑み、撮像装置の撮像範囲内の検知対象物の検知精度を向上可能な情報処理装置情報処理方法、及び、情報処理プログラムを提供することを課題とする。

課題を解決するための手段

0006

本発明の態様の一つは、撮像装置による撮像範囲内の撮像画像の入力を受け付ける受付部と、過去に入力された複数の撮像画像から選択された複数の撮像画像である複数の標本画像を記憶する記憶部と、入力された撮像画像である入力画像が、複数の標本画像のいずれと類似するかによって、入力画像が一般的か否かを判定し、入力画像が一般的か否かに基づいて、入力画像内に検知対象物が存在するか否かを判定する第1の判定を実行する、判定部と、を備える情報処理装置である。

0007

例えば、入力画像が一般的であるとは、撮像範囲内の画像が一般的であることを示す。撮像範囲内の画像が一般的であるとは、当該画像が撮像範囲内の背景に近い画像であることを示す。したがって、入力画像が一般的であるとは、入力画像が撮像範囲内の背景に近いことが示される。一方、入力画像が一般的でないとは、入力画像が撮像範囲内の背景とは異なることが示され、すなわち、入力画像内に検知対象物が存在することが示される。

0008

入力画像と複数の標本画像とが比較され、いずれの標本画像と類似するかによって、入力画像内に検知対象物が存在するか否かが判定されることで、例えば、夜間等の画素値の変動が少ない状況においても、その影響を受けることなく、検知対象物を検知することができる。これによって、検知対象物の検知精度を向上させることができる。

0009

本発明の態様の一つでは、判定部は、複数の標本画像それぞれと類似する撮像画像の合計数に対する、入力画像と類似する標本画像に類似する撮像画像の数の比率が所定の閾値以上である場合に、入力画像が一般的であると判定するようにしてもよい。より多くの撮像画像が類似する標本画像は一般的であると言えるので、これによって、入力画像が一般的であるか否かを明確に判定することができる。

0010

本発明の態様の一つでは、判定部は、入力画像及び複数の標本画像について、それぞれ、周波数分析を行い、周波数分析の結果から特徴ベクトルとして、第1のベクトル及び複数の標本ベクトルを取得し、第1のベクトルと複数の標本ベクトルそれぞれとの距離を算出し、第1のベクトルとの距離が第1の閾値未満である標本ベクトルに対応する標本画像を、入力画像と類似する標本画像と判定するようにしてもよい。画像に対して周波数分析を行うことによって、画像を周波数成分にすることができる。例えば、夜間等の濃淡の変化が緩やかな場合には、高周波成分の変化はごく小さくなり、高周波成分を省いたとしても影響がごく小さい。したがって、入力画像及び標本画像について周波数分析を行い、低周波成分を抽出して特徴ベクトルを生成することができ、この場合、例えば、第1のベクトル及び標本ベクトルの次元を小さくすることができ、情報処理装置の処理負荷を軽減することができる。

0011

本発明の態様の一つでは、判定部は、複数の標本画像のうち、入力画像と類似すると判定される標本画像が存在しない場合に、入力画像を新たな標本画像として記憶部に追加するようにしてもよい。これによって、新たな標本画像を追加することができ、撮像範囲内の変化を標本画像に反映させることができる。

0012

本発明の態様の一つでは、判定部は、所定時間、順次入力される撮像画像のいずれとも類似すると判定されなかった標本画像を記憶部から削除するようにしてもよい。入力される撮像画像のいずれも類似すると判定されなかった標本画像は、特異なものである可能性が高く、標本画像として保持していても将来当該標本画像と類似する入力画像が発生する可能性も少ない。このような標本画像を削除することで、記憶部の記憶領域を有効に使用できたり、当該標本画像と入力画像との比較の処理等も削減したりすることができ、情報処理装置のリソース使用効率を向上させることができる。

0013

本発明の態様の一つでは、判定部は、入力画像と撮像範囲内の背景画像との比較に基づいて、入力画像内に検知対象物が存在するか否かを判定する第2の判定をさらに実行し、第1の判定の結果と第2の判定の結果との双方において、入力画像内に検知対象物が存在すると判定された場合に、入力画像内に検知対象物が存在すると判定するようにしてもよい。第1の判定と第2の判定では判定方法が異なるので、一方の方法で誤検出している可能性もある。したがって、第1の判定と第2の判定の両方の結果を用いて、入力画像内に検知対象物が存在しているか否かを判定することで、検知対象物の検知精度を高めることができる。

0014

本発明の他の態様の一つは、撮像装置による撮像範囲内の撮像画像の入力を受け付け、過去に入力された複数の撮像画像から選択された複数の撮像画像である複数の標本画像を記憶部に記憶し、入力された撮像画像である入力画像が、複数の標本画像のいずれと類似するかによって、入力画像が一般的か否かを判定し、入力画像が一般的か否かに基づいて、入力画像内に検知対象物が存在するか否かを判定する第1の判定を実行する、情報処理方法である。

0015

本発明の他の態様の一つは、コンピュータに、撮像装置による撮像範囲内の撮像画像の入力を受け付けさせ、過去に入力された複数の撮像画像から選択された複数の撮像画像である複数の標本画像を記憶部に記憶させ、入力された撮像画像である入力画像が、複数の
標本画像のいずれと類似するかによって、入力画像が一般的か否かを判定させ、入力画像が一般的か否かに基づいて、入力画像内に検知対象物が存在するか否かを判定する第1の判定を実行させる、ための情報処理プログラムである。

発明の効果

0016

本発明によれば、撮像装置の撮像範囲内の検知対象物の検知精度を向上させることができる。

図面の簡単な説明

0017

図1は、第1実施形態に係る対象物検知システムシステム構成の一例である。
図2は、情報処理装置のハードウェア構成の一例を示す図である。
図3は、情報処理装置の機能構成の一例を示す図である。
図4は、第1実施形態に係る情報処理装置の特徴ベクトルの取得方法の一例を示す図である。
図5は、標本情報テーブルの一例を示す図である。
図6は、第1実施形態に係る情報処理装置の対象物検知処理のフローチャートの一例である。
図7は、第1実施形態に係る標本情報の更新処理のフローチャートの一例である。
図8は、情報処理装置の、背景差分法による対象物検知処理と分類法による対象物検知処理とを併用する場合の対象物検知処理のフローチャートの一例である。
図9は、背景差分法による対象物検知処理の結果と分類法による対象物検知処理の結果との整合を取る整合処理のフローチャートの一例である。

実施例

0018

以下、図面に基づいて、本発明の実施の形態を説明する。以下の実施形態の構成は例示であり、本発明は実施形態の構成に限定されない。

0019

<第1実施形態>
図1は、第1実施形態に係る対象物検知システムのシステム構成の一例である。対象物検知システム100は、例えば、踏切内撮像範囲とする監視カメラ2と、監視カメラ2の撮像画像から踏切内の検知対象物を検知する情報処理装置1と、を含む。対象物検知システム100の検知対象物は、第1実施形態では、撮像範囲である踏切内を通過する歩行者自動車二輪車、等である。ただし、検知対象物はこれらに限定されず、対象物検知システム100の管理者が任意に設定可能である。情報処理装置1は、「情報処理装置」の一例である。監視カメラ2は、「撮像装置」の一例である。

0020

監視カメラ2は、例えば、所定のレートで動画撮影する、いわゆる定点カメラである。第1実施形態では、監視カメラ2は、動作中に画角が変更されることは想定されていないカメラである。ただし、これに限定されず、監視カメラ2は、画角変更可能なカメラであってもよい。監視カメラ2は、例えば、いわゆるIP(Internet Protocol)カメラ、
ネットワークカメラウェブカメラと称されるネットワーク接続可能な通信機能を備えるカメラである。ただし、これに限定されない。監視カメラ2は、例えば、地上から2〜5m上方に設置される。例えば、監視カメラ2の画角は、道路線路とが交差する踏切内を撮像範囲に含むように、設定される。また、踏切遮断機が設置されている場合には、例えば、監視カメラ2の画角は、撮像範囲に遮断機が含まれないように設置されてもよい。

0021

監視カメラ2は、有線又は無線によって、情報処理装置1、外部記憶装置4と接続され
ており、監視カメラ2によって撮影された映像は、例えば、外部記憶装置4に記録される。監視カメラ2は、例えば、10〜30fpsの撮像レート撮像を行う。ただし、監視カメラ2の撮像レートはこれに限定されず、監視カメラ2の性能の範囲内で任意の値に設定可能である。監視カメラ2の撮像範囲は、検知対象物の検知を行う対象のエリア、すなわち、第1実施形態では、踏切内となる。なお、監視カメラ2は固定の位置に設置されるものや、定点カメラに限定されず、例えば、撮像範囲が検知対象のエリアとなるように画角を安定させることが可能であれば、ドローンのような飛行体に搭載されてもよい。監視カメラ2がドローンに搭載される場合には、当該ドローンは、例えば、監視カメラ2で撮像された撮像画像を外部記憶装置4に送信する通信機能を有し、検知対象のエリアの上空飛行する。

0022

第1実施形態では、情報処理装置1は、入力画像と複数の標本画像とを比較し、入力画像と類似する標本画像が一般的であるか否かに基づいて、入力画像内の検知対象物が存在するか否かを判定する。標本画像は、例えば、過去の監視カメラ2の撮像画像である。

0023

例えば、入力画像と類似する標本画像が一般的であるとは、当該標本画像に類似すると判定される入力画像が多いことを示し、入力画像と標本画像との比較が行われている期間において、撮像範囲内において当該標本画像に近い状態が支配的であることが示される。すなわち、標本画像が一般的であるとは、当該標本画像が撮像範囲内の背景に近いことが示される。この場合、入力画像が撮像範囲内の背景に近いことが示され、すなわち、入力画像内に検知対象物が存在していないことが示される。一方、入力画像と類似する標本画像が一般的でない場合や、入力画像に類似する標本画像がない場合には、入力画像が特異なものであることが示され、すなわち、入力画像内に検知対象物が存在することが示される。

0024

なお、入力画像と各標本画像とを比較する処理は、画像そのもののままではデータ量が大きく、処理負荷が高くなる。そこで、第1実施形態では、入力画像及び標本画像を所定の方法で変換して、データ量の小さい形式にして比較する。例えば、第1実施形態では、入力画像及び標本画像を周波数分析し、低周波成分の一部をサンプリングして特徴ベクトルを生成し、当該特徴ベクトルを用いて、入力画像と標本画像とを比較する。

0025

情報処理装置1は、例えば、有線又は無線によって、ネットワークに接続している。図1では、情報処理装置1は、モバイルルータ3に有線で接続し、モバイルルータ3は無線でネットワークに接続している。例えば、情報処理装置1は、所定の時間、連続して入力画像内に検知対象物が存在すると判定した場合には、踏切内で停滞する物体が存在すると判定し、ネットワークに接続された所定のサーバ通報するようにしてもよい。

0026

装置構成
図2は、情報処理装置1のハードウェア構成の一例を示す図である。情報処理装置1は、例えば、PC(Personal Computer)等の汎用のコンピュータ、スマートフォンタブ
レット端末等である。図2では、情報処理装置1がPCである場合のハードウェア構成が示されている。

0027

情報処理装置1は、例えば、ハードウェア構成要素として、CPU(Central Processing Unit)101、主記憶装置102、入力装置103、出力装置104、補助記憶装置
105、ネットワークインタフェース107、外部機器接続インタフェース108、を備え、これらがバス109により互いに接続されている情報処理装置である。

0028

入力装置103は、例えば、キーボードマウス等のポインティングデバイスタッチパネル等である。また、入力装置103には、カメラやスキャナのような画像の入力装置
や、マイクロフォンのような音声入力装置を含むことができる。入力装置103から入力されたデータは、CPU 101に出力される。

0029

ネットワークインタフェース107は、ネットワークとの情報の入出力を行うインタフェースである。ネットワークインタフェース107は、有線のネットワーク、及び/又は、無線のネットワークと接続する。ネットワークインタフェース107は、例えば、NIC(Network Interface Card)、無線LAN(Local Area Network)カード携帯電話網に接続するための無線回路等である。図2では、ネットワークインタフェース107はモバイルルータ3と有線で接続しており、モバイルルータ3が無線で公衆回線網に接続することによって、ネットワーク上のサーバと通信可能となっている。

0030

主記憶装置102は、CPU 101に、補助記憶装置105に格納されているプログラムをロードする記憶領域および作業領域を提供したり、バッファとして用いられたりする記憶装置である。主記憶装置102は、例えば、RAM(Random Access Memory)のような半導体メモリである。

0031

補助記憶装置105は、様々なプログラムや、各プログラムの実行に際してCPU 101が使用するデータを格納する。補助記憶装置105は、例えば、EPROM(Erasable Programmable ROM)、ハードディスク(Hard Disk Drive)である。補助記憶装置1
05は、例えば、オペレーティングシステム(OS)、対象物検知プログラム105P、その他様々なアプリケーションプログラムを保持する。対象物検知プログラム105Pは撮像画像から撮像範囲内に存在する検知対象物を検知するためのプログラムである。対象物検知プログラム105Pは、「情報処理プログラム」の一例である。

0032

CPU 101は、補助記憶装置105に保持されたOSや様々なアプリケーションプログラムを主記憶装置102にロードして実行することによって、様々な処理を実行する。CPU 101は、1つであってもよいし、複数であってもよい。

0033

出力装置104は、CPU 101の処理の結果を出力する。出力装置104は、ディスプレイプリンタである。また、出力装置104は、スピーカのような音声出力装置を含むことができる。

0034

外部機器接続インタフェース108は、監視カメラ2や外部記憶装置4と接続するためのインタフェースである。外部機器接続インタフェース108は、例えば、NIC、USB(Universal Serial Bus)ポート等である。図2に示される例では、外部機器接続インタフェース108は、ネットワークハブ5に接続しており、ネットワークハブ5には監視カメラ2と外部記憶装置4とが接続しており、これによって、情報処理装置1、監視カメラ2、外部記憶装置4が接続されている。外部記憶装置4は、例えば、ハードディスクである。ただし、これに限定されず、外部記憶装置4は、USBメモリSDカード等であってもよい。

0035

なお、図2に示される情報処理装置1のハードウェア構成は、一例であり、上記に限られず、実施の形態に応じて、適宜、構成要素の省略や置換、追加が可能である。例えば、情報処理装置1は、可搬記録媒体を駆動し、可搬記録媒体に記録されたデータを読み出す可搬記録媒体駆動装置を備えてもよい。可搬記録媒体は、例えば、USBメモリ、CD(Compact Disc)やDVD(Digital Versatile Disc)、Blu−ray(登録商標ディスクのようなディスク記録媒体フラッシュメモリカードのような記録媒体である。

0036

図3は、情報処理装置1の機能構成の一例を示す図である。情報処理装置1は、機能構成要素として、画像受付部11、検知部12、標本情報保持部13、及び、通知部14を
備える。これらの機能構成要素は、例えば、情報処理装置1のCPU 101が補助記憶装置105に格納されている対象物検知プログラム105Pを実行することによって達成される。

0037

画像受付部11は、監視カメラ2からの撮像画像の入力を受け付ける。監視カメラ2からは所定のレートで撮像画像が入力される。監視カメラ2からの撮像画像の入力レートは、監視カメラ2の撮像レートと同じであり、例えば、15fpsである。ただし、監視カメラ2の撮像レートは、15fpsに限定されない。画像受付部11は、入力された撮像画像を検知部12に出力する。以降、監視カメラ2から入力される撮像画像を、入力画像、と称する。画像受付部11は、「受付部」の一例である。

0038

検知部12は、画像受付部11からの入力画像の入力を受けると、入力画像と標本画像とを比較し、類似する標本画像が一般的であるか否かを判定する。第1実施形態では、入力画像及び標本画像そのものではデータ量が大きく処理負荷が高いため、検知部12は、入力画像及び標本画像から取得される特徴ベクトル及び標本ベクトルを用いて当該処理を行う。

0039

したがって、検知部12は、まず、入力画像から特徴ベクトルを取得する。特徴ベクトルは、入力画像に対して所定の処理を行い、データ量を小さくしたものである。特徴ベクトルの取得方法については、後述される。標本ベクトルも、標本画像から同様の方法で取得された特徴ベクトルであり、後述の標本情報保持部13に格納されている。

0040

検知部12は、特徴ベクトルと、後述の標本情報保持部13に保持されている複数の標本ベクトルと、の距離を算出する。特徴ベクトルと標本ベクトルとの距離は、入力画像と標本画像との類似度を示す一つの指標である。検知部12は、特徴ベクトルとの距離が第1の閾値未満となる標本ベクトルを特定し、当該標本ベクトルが一般的であるか否かを判定する。以降、特徴ベクトルとの距離が第1の閾値未満となる標本ベクトルを、参照ベクトルと称する。また、標本ベクトルが、特徴ベクトルとの距離が第1の閾値未満であると判定されること、すなわち、参照ベクトルであると判定されることを、参照される、と称することもある。

0041

第1実施形態では、標本ベクトルが一般的であるか否かを示す指標として、普遍度が用いられる。普遍度は、以下の式1で示される。

0042

標本ベクトルの参照回数とは、当該標本ベクトルとの距離が第1の閾値未満と判定された特徴ベクトルの数、すなわち、参照された回数である。距離が第1の閾値未満である標本ベクトルと特徴ベクトルとは類似していると判定できるため、参照回数は、標本画像と類似する入力画像の数と言い換えることもできる。「普遍度」は、「前記複数の標本画像それぞれと類似する撮像画像の合計数に対する、前記入力画像と類似する標本画像に類似する撮像画像の数の比率」の一例である。

0043

以降、検知部12は、参照ベクトルの普遍度が所定の閾値以上である場合に、参照ベクトルが一般的、すなわち、特徴ベクトルが一般的であると判定する。特徴ベクトルが一般的であるとは、入力画像が一般的であることが示され、すなわち、入力画像内に検知対象物が存在しないことが示される。一方、参照ベクトルの普遍度が所定の閾値未満である場
合には、検知部12は、参照ベクトルが一般的でない、すなわち、特徴ベクトルが一般的でないと判定する。特徴ベクトルが一般的でないとは、入力画像が一般的でないことが示され、すなわち、入力画像内に検知対象物が存在することが示される。なお、参照ベクトルが複数存在するときには、例えば、最も距離が小さくなる参照ベクトルの普遍度が用いられてもよい。なお、参照ベクトルが存在しない場合には、検知部12は、当該特徴ベクトルは一般的でない、と判定する。

0044

例えば、検知部12は、検知対象物の検知結果を補助記憶装置105に記録してもよいし、検知対象物の検知結果を用いて、踏切内に停滞する自動車、歩行者等を検知し、通知部14を通じて所定の機関のサーバに通報したり、踏切付近警報器から警報音を発させたりしてもよい。

0045

標本情報保持部13は、例えば、補助記憶装置105の記憶領域に作成される。標本情報保持部13は、標本情報を保持する。標本情報には、例えば、標本ベクトル、標本ベクトルの参照回数、標本ベクトルが最後に参照された時刻等が含まれている。標本情報の詳細は後述される。検知部12は、標本情報の更新処理を行う。標本情報の更新処理の詳細は後述される。標本情報保持部13は、「記憶部」の一例である。

0046

通知部14は、例えば、検知部12から、検知対象物の踏切内の停滞等の検知の通知の入力を受けると、ネットワーク上の所定の機関のサーバへ通報する。検知対象物の踏切内の停滞等の検知の通報を受けたサーバは、例えば、当該踏切に接近している列車に搭載されている通信機等に警報を送信したりしてもよい。

0047

図4は、第1実施形態に係る情報処理装置1の特徴ベクトルの取得方法の一例を示す図である。まず、検知部12は、入力画像のR(赤)、G(緑)、B(青)の三色それぞれについて、周波数分析を行う。周波数分析として、例えば、DCT(Discrete Cosine Transform:離散コサイン変換)変換が行われる。ただし、これに限定されない。例えば、
画像データが352×240ピクセルである場合には、RGBについてDCT変換を行うと、352×240の周波数成分が3つで計約25万3千次元のデータとなる。

0048

検知部12は、次に、各色の16×16の低周波成分を抽出し、それを一行に並べて、1行256列の3つのベクトルに変換する。最後に、検知部12は、3つのベクトルを並べて、周波数成分が所定範囲の値となるように正規化する。例えば、検知部12は、周波数成分が−1から1の範囲の値となるように正規化する。これによって、1行×768列の特徴ベクトルが生成される。

0049

なお、周波数分析の方法、低周波成分のサンプリングサイズ、正規化の範囲等は、一例であって、上述のものに限定されない。入力画像の特徴ベクトルは、「第1のベクトル」の一例である。標本画像の特徴ベクトルは、「標本ベクトル」の一例である。

0050

図5は、標本情報テーブルの一例を示す図である。標本情報テーブルは標本情報保持部13に格納されている。標本情報テーブルには、標本情報が格納されている。標本情報テーブルに格納されている標本情報には、標本ベクトルの座標、参照回数、参照時間が含まれる。標本ベクトルの座標は、例えば、図4に示されるように特徴ベクトルと同様にして取得された1行×768列の座標である。参照回数は、当該標本ベクトルとの距離が第1の閾値未満である特徴ベクトルの数である。参照時間は、当該標本ベクトルが参照ベクトルとして判定された最新の時刻である。例えば、参照時間には、当該標本ベクトルとの距離が第1の閾値未満である特徴ベクトルに付されているタイムスタンプが示す時刻、当該標本ベクトルが参照された時刻等のいずれかが採用される。例えば、特徴ベクトルのタイムスタンプは、撮像画像が撮像された時刻、情報処理装置1に受け付けられた時刻、特徴
ベクトルが取得された時刻のいずれであってもよい。

0051

標本情報テーブルは、検知部12によって管理される。例えば、標本情報テーブル内の参照時間から所定時間以上経過している標本ベクトルは削除される。標本ベクトルが削除される時間は、例えば、5分である。ただし、標本ベクトルが削除される時間は、5分に限定されず、管理者によって任意に設定可能である。標本ベクトルが削除されるとともに、対応する標本情報テーブル内の標本情報も削除される。例えば、参照回数は、当該標本ベクトルが参照ベクトルであると判定されると、インクリメントされる。例えば、特徴ベクトルに対する参照ベクトルが存在しない場合には、当該特徴ベクトルは新たな標本ベクトルとして、標本情報テーブルに追加される。このときの参照時間は、例えば、追加された時刻、特徴ベクトルのタイムスタンプのいずれであってもよい。また、検知部12は、標本情報テーブルに登録される標本ベクトルの数が上限数に達した場合には、参照回数の少ないものから順に半分削除する。上限数は、例えば、1024個であるが、これに限定されず、情報処理装置1の性能に応じて決定されてもよい。これによって、標本情報テーブルの肥大を抑制する。

0052

なお、標本情報テーブルに保持される情報は、図5に示されるものに限定されない。例えば、標本情報テーブルに各標本ベクトルの普遍度が格納されてもよい。例えば、参照時間の代わりに、タイマがセットされ、当該タイマは当該標本ベクトルが参照される度にリセットされ、タイマが満了すると当該標本ベクトルが削除されるようにしてもよい。当該タイマの設定時間は、例えば、5分である。ただし、当該タイマの設定時間は5分に限定されず、実施の形態に応じて所定の範囲で任意に設定可能である。

0053

(処理の流れ)
図6は、第1実施形態に係る情報処理装置1の対象物検知処理のフローチャートの一例である。図6に示される処理は、例えば、所定の周期で繰り返し実行される。図6に示される処理の実行主体は、情報処理装置1のCPU 101であるが、便宜上、機能構成要素である検知部12を主体として説明する。以降の情報処理装置1の処理のフローチャートについても同様である。

0054

OP100では、検知部12は、画像受付部11から監視カメラ2の撮像画像が入力されたか否かを判定する。監視カメラ2の撮像画像が入力された場合には(OP100:YES)、処理がOP101に進む。監視カメラ2の撮像画像が入力されていない場合には(OP100:NO)、図6に示される処理が終了する。以降、入力画像と称する場合には、OP100において入力された撮像画像を示すこととする。

0055

OP101では、検知部12は、入力画像から特徴ベクトルを取得する。特徴ベクトルの取得方法は、例えば、図4で説明された通りである。

0056

OP102では、検知部12は、標本情報保持部13に格納されている各標本ベクトルについて、特徴ベクトルとの距離Dを算出する。距離Dは、例えば、標本ベクトルの座標を(X0,X1,…X767)、標本ベクトルの座標を(Y0,Y1,…Y767)、とした場合に、以下の式2によって算出される。

0057

0058

例えば、特徴ベクトルの座標の各成分の値が−1から1の範囲の値となるように正規化されている場合には、距離Dの最大値は、√(768×4)=32√3≒55.43である。第1実施形態では、距離Dが1未満の場合に「十分近い」とみなす。すなわち、第1実施形態では、第1の閾値は1である。また、距離Dが0.1未満の場合に「非常に近い」とみなす。特徴ベクトルと標本ベクトルとの距離Dが「非常に近い」とみなされる閾値を、第2の閾値とする。特徴ベクトルとの距離が「十分近い」標本ベクトルは、すなわち、参照ベクトルである。

0059

OP103では、検知部12は、特徴ベクトルと「十分近い」標本ベクトルが存在するか否かを判定する。特徴ベクトルと「十分近い」標本ベクトルが存在する場合には(OP103:YES)、処理がOP104に進む。特徴ベクトルと「十分近い」標本ベクトルが存在しない場合には(OP103:NO)、処理がOP107に進む。OP107では、検知部12は、特徴ベクトルは一般的でないと判定する。なお、特徴ベクトルが一般的でないことによって、入力画像内に検知対象物が存在しないことが示される。その後、図6に示される処理が終了する。

0060

OP104では、検知部12は、特徴ベクトルと「十分近い」標本ベクトルの普遍度を取得する。特徴ベクトルと「十分近い」標本ベクトルが複数存在する場合には、例えば、最も距離Dが小さい標本ベクトルの普遍度が取得されてもよい。

0061

OP105では、検知部12は、特徴ベクトルと「十分近い」標本ベクトルの普遍度が0.1以上であるか否かを判定する。普遍度が0.1以上である場合には(OP105:YES)、処理がOP106に進む。OP106では、検知部12は、特徴ベクトルは一般的であると判定する。なお、特徴ベクトルが一般的であることによって、入力画像内に検知対象物は存在しないことが示される。その後、図6に示される処理が終了する。

0062

普遍度が0.1未満である場合には(OP105:NO)、処理がOP107に進む。OP107では、検知部12は、特徴ベクトルは一般的でないと判定する。なお、特徴ベクトルが一般的でないことによって、入力画像内に検知対象物が存在することが示される。その後、図6に示される処理が終了する。

0063

図7は、第1実施形態に係る標本情報の更新処理のフローチャートの一例である。図7に示される処理は、例えば、図6に示される対象物検知処理が実行され終了することを契機として開始される。したがって、図7における特徴ベクトルとは、図6において入力画像から取得された特徴ベクトルを示す。

0064

OP201では、検知部12は、各標本ベクトルについて、特徴ベクトルとの距離Dを算出する。なお、各標本ベクトルについての特徴ベクトルとの距離Dは、図6のOP102において算出されたものを主記憶装置102に保持しておき、それを用いてもよい。

0065

OP202では、検知部12は、標本情報テーブルにおいて、特徴ベクトルと「十分近い」標本ベクトルの参照回数をインクリメントする。特徴ベクトルと「十分近い」標本
クトルが複数存在する場合には、全ての標本ベクトルの参照回数がインクリメントされる。

0066

OP203では、検知部12は、特徴ベクトルと「非常に近い」標本ベクトルが存在するか否かを判定する。特徴ベクトルと「非常に近い」標本ベクトルが存在する場合には(OP203:YES)、処理がOP205に進む。特徴ベクトルと「非常に近い」標本ベクトルが存在しない場合には(OP203:NO)、処理がOP204に進む。OP204では、検知部12は、特徴ベクトルの情報を新たな標本ベクトルとして標本情報テーブルに追加する。

0067

OP205では、検知部12は、所定時間参照されていない標本ベクトルが存在するか否かを判定する。この判定は、例えば、標本情報テーブルの参照時間に記録されている時刻から所定時間が経過しているか否かを判定することによって行われる。所定時間参照されていない標本ベクトルが存在する場合には(OP205:YES)、処理がOP206に進む。OP206では、検知部12は、所定時間参照されていない標本ベクトルの情報を標本情報テーブルから削除する。所定時間参照されていない標本ベクトルが存在しない場合には(OP205:NO)、処理がOP207に進む。

0068

OP207では、検知部12は、標本ベクトルの数が上限数を超えているか否かを判定する。標本ベクトルの数が上限数を超えている場合には(OP207:YES)、処理がOP208に進む。標本ベクトルの数が上限数を超えていない場合には(OP207:NO)、図7に示される処理が終了する。

0069

OP208では、検知部12は、標本ベクトルを半分削除する。削除される標本ベクトルは、例えば、参照回数が少ないものである。ただし、これに限定されず、例えば、参照時間からの経過時間が長い標本ベクトルが削除されてもよい。その後、図7に示される処理が終了する。

0070

なお、図6及び図7に示される情報処理装置1の処理は一例であって、これらに限定されない。例えば、図7のOP203とOP204との処理、OP205とOP206との処理、OP207とOP208との処理は、実行される順番はどのようであってもよい。

0071

<第1実施形態の作用効果
第1実施形態では、複数の標本画像の中から入力画像と類似する標本画像を特定し、当該標本画像が一般的であるか否かによって、入力画像に検知対象物が存在するか否かが判定される。標本画像には、第1実施形態では、長いものでは5分以上前の撮像画像が含まれる。また、数秒前に追加された標本画像であっても、入力画像と類似していなければ、検知対象物の検知の判定に用いられることはない。これによって、検知対象物の検知に及ぼされる、直前の数秒間に発生した撮像範囲内の変化の影響を低減することができ、検知対象物の検知精度を向上させることができる。

0072

例えば、背景差分法において、背景画像が入力画像の一部を用いて更新される場合には、入力画像に検知対象物が含まれていると、検知対象物の一部が背景画像に取り込まれてしまう。当該検知対象物が同じ場所に停滞する場合に、撮像画像による背景画像の更新が数秒続くと、当該検知対象物が背景として背景画像に取り込まれてしまう。例えば、踏切内で車両が何らかのトラブルによって停滞してしまうなどのように、撮像範囲内に検知対象物が一定時間以上停滞すると、当該検知対象物を含む入力画像が背景画像に取り込まれてしまい、背景差分法では、当該検知対象物が撮像範囲内に停滞していても検知されないことがある。

0073

これについては、第1実施形態に係る情報処理装置1では、検知対象物を含む入力画像が標本画像として取り込まれ、以降の当該検知対象物を含む入力画像と当該標本画像が類似すると特定されたとしても、他の標本画像の方が参照回数が多いため、入力画像が一般的であると判定される可能性は低い。すなわち、第1実施形態に係る情報処理装置1では、撮像範囲内に検知対象物が一定時間以上停滞するような事態が発生した場合でも、当該検知対象物を検知し続けることができる。

0074

また、背景差分法では、背景画像が入力画像の一部を用いて更新される場合には、検知対象物が撮像範囲から存在しなくなっても、検知対象物が含まれない撮像画像による更新によって、背景画像から当該検知対象物の影響がなくなるまで数秒かかる。このため、背景差分法では、撮像範囲から検知対象物が存在しなくなっても、検知対象物を誤検知指定しまう場合がある。

0075

例えば、夜間にライトを点けた車両が踏切内を通過する場合には、車両の前方はライトで照らされており明るいが、後方はそれに比べて暗いことがある。背景差分法では、車両ライト写り込んだ撮像画像が背景画像に取り込まれることがあり、そのような背景画像と車両が踏切を通過した直後の撮像画像とでは、明暗の差が大きいため、車両が踏切を通過したにもかかわらず、検知対象物が誤検知されることがある。

0076

これについても、情報処理装置1では、車両のライトが写りこんだ撮像画像が標本画像として取り込まれたとしても、その後車両が通過した後の撮像画像と当該標本画像が類似していると特定される可能性は低く、且つ、車両が通過した後の撮像画像は背景に近い他の標本画像と類似する可能性が高いため、車両が通過した後の撮像画像は一般的であると判定される可能性が高い。すなわち、第1実施形態に係る情報処理装置1では、撮像範囲内から検知対象物がいなくなった直後でも、当該検知対象物を誤検知することを抑制することができる。

0077

また、第1実施形態では、入力画像と標本画像とを比較する代わりに、特徴ベクトル及び標本ベクトルとを比較することで、扱うデータ量を削減し、処理負荷を軽減することができる。これによって、検知対象物の検知速度を向上させることができる。

0078

また、第1実施形態では、一定時間参照されなかった標本を削除したり、標本数が一定数に達した場合には標本を半分削除したりすることで、標本によって情報処理装置1の記憶領域のリソースが圧迫されることを抑制することができる。

0079

第1実施形態において、監視カメラ2には光学カメラが想定されているが、これに代えて、熱を検知するサーマルカメラが監視カメラ2として用いられてもよい。サーマルカメラは、光や影を検知しないので、サーマルカメラを用いることで、光、影等による撮像範囲内の変化の影響を除去することができる。また、検知対象物が車両や人間等の熱を帯びた物体である場合には、時間、季節、天気等の周囲環境の変化による撮像画像への影響が少ないため、より適している。

0080

また、第1実施形態では、標本ベクトルは更新されるが、これに限定されず、標本ベクトルは予め取得されたものを更新することなく用い続けてもよい。この場合には、例えば、より多くのパターンの標本ベクトルを保持しておくことで、検知精度を維持することができる。

0081

<応用例>
第1実施形態で説明された対象物検知処理と背景差分法による対象物検知処理とを併用してもよい。以降、第1実施形態で説明された対象物検知処理を分類法による対象物検知
処理と称する。分類法による対象物検知処理は、「第1の判定」の一例である。背景差分法による対象物検知処理は、「第2の判定」の一例である。

0082

図8は、情報処理装置1の、背景差分法による対象物検知処理と分類法による対象物検知処理とを併用する場合の対象物検知処理のフローチャートの一例である。図8に示される処理は、所定の周期で繰り返し実行される。

0083

OP301では、検知部12は、検知部12は、画像受付部11から監視カメラ2の撮像画像が入力されたか否かを判定する。監視カメラ2の撮像画像が入力された場合には(OP301:YES)、処理がOP302に進む。監視カメラ2の撮像画像が入力されていない場合には(OP301:NO)、図8に示される処理が終了する。以降、入力画像と称する場合には、OP301において入力された撮像画像を示すこととする。

0084

OP302では、検知部12は、背景差分法による対象物検知処理を実行する。OP303では、検知部12は、背景差分法による対象物検知処理で用いられる背景画像の更新処理を実行する。OP302及びOP303で行われる処理は、背景画像と入力画像との差分に基づいて対象物の検知が行われるのであれば、周知の方法のいずれで行われてもよい。例えば、背景画像と入力画像との各画素の画素値の差分値を画素値として有する差分画像を生成し、縦方向と横方向のそれぞれで差分値を合計し、当該2つの合計値と各方向の閾値とを比較して、検知対象物を検知する方法がある。背景画像の更新方法も、周知の方法のいずれであってもよい。例えば、現在の背景画像と入力画像とにそれぞれ重み係数を乗じたものを合算して新たな背景画像としてもよい。

0085

OP304では、検知部12は、分類法による対象物検知処理を実行する。OP304で行われる処理は、例えば、図6のOP101からOP107の処理である。OP305では、検知部12は、分類法による対象物検知処理で用いられる標本情報の更新処理を実行する。標本情報の更新処理は、例えば、図7に示される処理である。

0086

OP306では、検知部12は、背景差分法による対象物検知処理の結果と、分類法による対象物検知処理の結果と、の整合を取る整合処理を行う。整合処理の詳細は後述される。その後、図8に示される処理が終了する。

0087

図9は、背景差分法による対象物検知処理の結果と分類法による対象物検知処理の結果との整合を取る整合処理のフローチャートの一例である。図9に示される処理は、図8のOP306において実行される処理である。

0088

OP401では、検知部12は、背景差分法による対象物検知処理によって、検知対象物の検知があるか否かを判定する。背景差分法による対象物検知処理によって、検知対象物の検知がある場合には(OP401:YES)、処理がOP402に進む。対象物検知処理によって、検知対象物の検知がない場合には(OP401:NO)、図9に示される処理が終了する。

0089

OP402では、検知部12は、特徴ベクトルは一般的であるか、すなわち、分類法による対象物検知処理によって、検知対象物の検知があるか否かを判定する。特徴ベクトルが一般的である場合には(OP402:YES)、処理がOP403に進む。OP403では、検知部12は、背景差分法による対象物検知処理の判定に誤りがあると判定し、入力画像に検知対象物が存在しないと判定する。

0090

特徴ベクトルが一般的でない場合には(OP402:NO)、処理がOP404に進む。OP404では、検知部12は、背景差分法による対象物検知処理の判定に誤りがない
と判定し、入力画像に検知対象物が存在すると判定する。その後、図9に示される処理が終了し、これとともに図8に示される処理も終了する。

0091

OP405では、検知部12は、所定のフレーム数連続して判定ミスが発生しているか否かを判定する。所定のフレーム数連続して判定ミスが発生している場合には(OP405:YES)、処理がOP406に進む。OP406では、検知部12は、背景差分法において用いられる背景画像をリセットする。これは、所定のフレーム数連続して判定ミスが発生している場合には、背景差分法による対象物検知処理において用いられる背景画像に問題があることが考えらえるためである。その後、図9に示される処理が終了し、これとともに図8に示される処理も終了する。

0092

所定のフレーム数連続して判定ミスが発生していない場合には(OP405:NO)、図9に示される処理が終了し、これとともに図8に示される処理も終了する。なお、図8及び図9に示される処理は一例であって、情報処理装置1の処理は、これらに限定されない。

0093

応用例によれば、背景差分法による対象物検知処理において誤検知があった場合でも、分類法による対象物検知処理の結果によって、当該誤検知が検出されるので、検知精度が向上する。

0094

<その他>
第1実施形態では、監視カメラ2を撮像範囲が踏切内となるように設置し、踏切内での歩行者や自動車等を検知対象とした場合について説明されたが、これに限定されない。対象物検知システム100は、例えば、高速道路料金所、高速道路の路側帯の近傍等に設置し、高速道路の料金所の通路、高速道路の路側帯の前方の道路等を監視カメラ2の撮像範囲に設定することによって、検知対象物としての自動車の滞留によって事故が発生する可能性の高い場所において、事故の発生を抑制することができる。また、人や自動車の進入の制限が望まれる場所に、対象物検知システム100を設置し、人や自動車の出入り口となる範囲を監視カメラ2の撮像範囲とすることによって、進入制限の場所への進入を検知することができ、セキュリティ対策にも応用することができる。

0095

<記録媒体>
コンピュータその他の機械、装置(以下、コンピュータ等)に上記いずれかの機能を実現させるプログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。

0096

ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる非一時的な記録媒体をいう。このような記録媒体のうちコンピュータ等から取り外し可能なものとしては、例えばフレキシブルディスク光磁気ディスクCD−ROM、CD−R/W、DVD、ブルーレイディスクDAT、8mmテープフラッシュメモリなどのメモリカード等がある。また、コンピュータ等に固定された記録媒体としてハードディスク、ROM(リードオンリーメモリ)等がある。さらに、SSD(Solid State Drive)は、コンピュータ等から取り外し可能な記録媒体としても、コ
ピュータ等に固定された記録媒体としても利用可能である。コンピュータ等が読み取り可能な記録媒体には、オンラインストレージクラウドストレージファイルホスティング等と呼ばれる、第三者であるサービス提供者によって貸し出されるサーバーマシンの記憶領域であって、仮想的に私有の記憶媒体として使用可能な記録媒体も含まれる。

0097

1 :情報処理装置
2 :監視カメラ
3 :モバイルルータ
4 :外部記憶装置
5 :ネットワークハブ
11 :画像受付部
12 :検知部
13 :標本情報保持部
14 :通知部
100 :対象物検知システム
102 :主記憶装置
103 :入力装置
104 :出力装置
105 :補助記憶装置
105P :対象物検知プログラム
107 :ネットワークインタフェース
108 :外部機器接続インタフェース

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ