図面 (/)

技術 物体位置推定システム、物体位置推定装置、物体位置推定方法、及び、物体位置推定プログラム

出願人 パナソニック株式会社
発明者 谷川徹
出願日 2009年10月30日 (11年3ヶ月経過) 出願番号 2010-507747
公開日 2012年4月5日 (8年10ヶ月経過) 公開番号 WO2010-052874
状態 特許登録済
技術分野 光学的手段による測長装置 測定手段を特定しない測長装置 マルチプログラミング 無線による位置決定 イメージ分析
主要キーワード 観測状況 各観測装置 データ状況 入力予定 予測分布 終了予測 処理終了予定時刻 事前確率分布
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2012年4月5日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題・解決手段

観測部(101)が観測した複数の観測生データを物体識別処理し、1つのデータの物体識別処理終了時点と他のデータの処理終了予定時刻との間の時間に応じてパラメータ決定部(107)が決定したパラメータを使用して、物体識別処理が終了したデータから物体位置推定処理を行い、物体IDに関する物体の位置を、物体識別部(103)が取得した物体のIDと位置候補とに基づいて推定する。

概要

背景

カメラ等のセンサを利用して、環境内に存在する対象物体識別して、対象物体のID及び環境内における位置を推定するためには、大きく分けて、5つの工程が必要である。

第1工程では、カメラにより対象物体を撮像し、対象物体を含む画像データを得る。

第2工程では、予め保持する背景画像テンプレートと、対象物体を含む画像データとを比較して、差分画像を得る。

第3工程では、予め保持する画像データ中の画素位置と環境内位置とを対応させたデータベースを用いて、得られた差分画像の環境内の物体位置候補を得る。

第4工程では、予め保持する物体のIDと画像データとを対応させたデータベースを用いて、得られた差分画像に対応する物体のID候補を得る。以下、第3工程(物体の位置候補を得る工程)と第4工程(物体のID候補を得る工程)とを合わせて、「物体識別」と呼ぶ。

第5工程では、個別の物体のID候補及び位置候補のデータには不確実性があるため、過去にカメラで得た物体のIDと位置のデータを用いて、尤もらしい各物体の位置を推定する。以下、第5工程を「位置推定」と呼ぶ。

センサが環境を観測して得られたデータから、物体位置推定処理が取り扱うことのできる物体のID候補と位置候補に関するデータへと変換する物体識別処理を行う必要がある。

位置推定に必要な時間(第5工程)は、センサが環境を観測し、物体識別が終わるまで必要な時間(第1工程から第4工程)と比べて長い。よって、環境内に存在する全ての対象物体に対して、物体識別後のデータを個別に、位置推定を行った場合、センサが環境を観測した時刻と物体識別処理が完了する時刻との遅延時間(応答待ち時間)が発生する。図13に例を示す。観測装置1の観測データ1が物体識別処理され、物体位置推定処理可能となるのが時刻14:17:20(14時17分20秒)である。観測装置2の観測データ2が物体識別処理され、物体位置推定処理可能となるのが時刻14:17:26である。しかし、時刻14:17:26の時点では観測データ1の物体位置推定処理はまだ終了しておらず、観測データ2の物体位置推定処理が開始できるのは、観測データ1の物体位置推定処理が終了する時刻14:17:30からとなってしまっている。よって、観測データ2の物体位置推定処理は、観測データ1の物体位置推定処理が終了するのを待たなければならない。

このような装置等からの応答待ち時間を低減する方法として、例えば特許文献1では、現在までに収集された通信状態又は通信機器状態を統計処理することで異常応答の確率を求め、該異常応答の確率データに基づいてタイムアウト時間を決定する技術が開示されている。

概要

観測部(101)が観測した複数の観測生データを物体識別処理し、1つのデータの物体識別処理終了時点と他のデータの処理終了予定時刻との間の時間に応じてパラメータ決定部(107)が決定したパラメータを使用して、物体識別処理が終了したデータから物体の位置推定処理を行い、物体IDに関する物体の位置を、物体識別部(103)が取得した物体のIDと位置候補とに基づいて推定する。

目的

本発明は、前記課題を解決するためになされ、その目的とするところは、観測手段が観測した観測生データを基に、物体識別処理に要する時間を事前に判断し、現在の時刻から次に観測生データを取得する時刻までの物体識別処理可能な時間内に未処理の観測生データを確実に処理できるパラメータを用いて物体位置推定処理を確実に行うことによって、実時間処理と物体位置推定の高精度化両立することのできる物体位置推定システム物体位置推定装置物体位置推定方法、及び、物体位置推定プログラムを提供する

効果

実績

技術文献被引用数
1件
牽制数
1件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

環境内に存在する物体を含む前記環境の状況を観測して、第1及び第2観測生データを取得する観測手段と、物体データベースに予め記憶された前記物体のID毎の物体識別データと、前記第1及び第2の観測生データのそれぞれの観測生データとに基づいて、前記物体のID及び前記物体の位置候補をそれぞれ取得して、前記取得した物体のID及び前記物体の位置候補の情報を観測データベースにそれぞれ記憶する物体識別手段と、前記第1及び第2観測生データのそれぞれの観測生データから前記環境内に存在する前記物体の数を取得し、前記物体の数をそれぞれ取得した時刻と、前記それぞれ取得した物体の数と、予め記憶された前記物体あたりの前記物体のID及び前記物体の位置候補をそれぞれ取得する物体識別処理に要する時間とに基づいて、前記物体識別処理の終了予定時刻をそれぞれ予測し、前記物体識別処理の終了予定時刻を前記観測データベースにそれぞれ記憶する物体識別処理終了時間予測手段と、前記観測データベースに記憶された前記物体のIDと前記物体の位置候補とを取得し、前記取得した物体のID及び物体の位置候補と、前記物体の位置候補の分散状況とに基づいて、前記物体の位置を推定する物体位置推定手段と、前記物体識別手段が前記第1観測生データの前記物体識別処理を終了して前記物体のID及び前記物体の位置候補を取得した時刻に、前記観測データベースに記憶された前記第2観測生データの前記物体識別処理の終了予定時刻を参照して、前記参照した時刻から前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されているか否かを判断し、前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されていると判断した場合には、予め記憶されかつ前記物体あたりの前記物体の位置を推定する位置推定処理を行うのに要する時間を参照して、前記参照した時刻から前記第2観測生データの前記物体識別処理の終了予定時刻までの時間において、前記物体識別処理が終了した前記第1観測生データの前記物体の位置推定処理を行うパラメータを決定する一方、前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されていなかったと判断した場合には、前記物体識別処理が終了した前記第1観測生データの前記物体の位置推定処理を行うパラメータに、予め設定しておいた基準となるパラメータを設定する、パラメータ決定手段とを備えて、前記物体位置推定手段は、前記パラメータ決定手段が決定した前記パラメータを使用して、前記物体識別処理が終了したデータから、そのデータに含まれている前記物体の位置推定処理を行い、前記物体IDに関する前記物体の位置を、前記物体識別手段が取得した前記物体のIDと位置候補とに基づいて推定する物体位置推定システム

請求項2

前記物体識別データは前記物体の形状情報であり、前記観測生データとは、カメラ撮像された画像データ、又は、測域センサで取得したレンジデータ、又は、タグリーダで取得した位置データである、請求項1に記載の物体位置推定システム。

請求項3

前記カメラ又は前記測域センサの物体識別処理は、テンプレートマッチング処理であって、更に、前記物体識別手段は、前記テンプレートマッチング処理の過程にて出力されるマッチングスコアを前記観測データベースに記録し、前記パラメータ決定手段は、前記マッチングスコアの高い順に前記位置推定処理を行う物体を決定する、請求項2に記載の物体位置推定システム。

請求項4

前記物体位置推定手段は、パーティクルフィルタを使用するとき、物体1個あたりの処理時間とパーティクル個数との関係情報を予め用意しておき、前記参照した時刻から前記第2観測生データの前記物体識別処理の終了予定時刻までの時間から前記パーティクルフィルタで処理可能な物体の個数を算出し、算出された物体の個数が、前記物体識別処理で識別された物体の個数と同じならば、そのままパーティクルフィルタを使用して処理を行う一方、前記算出された物体の個数が、前記物体識別処理で識別された物体の個数より少ないときには、物体1個あたりの前記パーティクルの個数を増やして処理を行う一方、前記算出された物体の個数が、前記物体識別処理で識別された物体の個数より多いときには、物体1個あたりの前記パーティクルの個数を減らして処理を行う、請求項1又は2に記載の物体位置推定システム。

請求項5

更に前記物体位置推定手段が推定した結果を表示する表示手段を備え、前記表示手段は、前記観測データベースを参照し、次回の物体識別処理の終了予定時刻を、次回の前記物体位置推定手段の推定結果の出力時刻として表示すると共に、現在の前記物体位置推定手段の推定結果を出力するに至った観測生データが得られた時刻を、現在の前記物体位置推定手段の推定結果が得られた時刻として表示する請求項1〜4のいずれか1つに記載の物体位置推定システム。

請求項6

少なくとも、物体識別処理された物体のIDと位置とに関するデータと、前記データの物体識別処理が終了したのちに入力される前記物体識別処理の終了予定時刻を入力可能なデータ入力部と、 前記データ入力部より受け取った前記物体のIDと位置とに関するデータと前記入予定時刻に関するデータとを記憶する観測データベースと、前記観測データベースに記憶されている前記物体のIDと位置とに関するデータから、前記物体の位置を推定する物体位置推定手段と、前記観測データベースに記憶された前記物体識別処理の終了予定時刻を参照して、前記参照した時刻から最も早い時刻に終了する前記物体識別処理の終了予定時刻が記憶されているか否かを判断し、前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されていると判断した場合には、予め記憶されかつ前記物体あたりの前記物体の位置を推定する前記物体識別処理を行うのに要する時間を参照して、前記参照した時刻から前記第2観測生データの前記物体識別処理の終了予定時刻までの時間において、前記物体の位置推定処理を行うパラメータを決定する一方、前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されていなかったと判断した場合には、前記物体の位置推定処理を行うパラメータに、予め設定しておいた基準となるパラメータを設定する、パラメータ決定手段と、を備えて、前記物体位置推定手段は、前記パラメータ決定手段が決定した前記パラメータを使用して、前記観測データベースに記憶された前記物体のIDと位置とに関するデータから前記物体の位置推定処理を行い、前記物体の位置を推定する物体位置推定装置

請求項7

環境内の状況を観測し、複数の観測生データを観測手段で取得する観測し、前記複数の観測生データを基に、前記観測手段の観測範囲内に存在する物体のIDと位置とを物体識別手段で算出して物体識別処理を行い、前記複数の観測生データを基に前記物体識別手段でそれぞれ行われる前記物体識別処理が終了する時刻を物体識別処理終了時間予測手段でそれぞれ予測して観測データベースにそれぞれ記憶し、前記観測データベースに記憶された前記物体識別処理の終了予定時刻を参照して、前記参照した時刻から最も早い時刻に終了する前記物体識別処理の終了予定時刻が記憶されているか否かをパラメータ決定手段で判断し、前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されていると判断した場合には、予め記憶されかつ前記物体あたりの前記物体の位置を推定する位置推定処理を行うのに要する時間を参照して、前記参照した時刻から前記第2観測生データの前記物体識別処理の終了予定時刻までの時間において、前記物体の位置推定処理を行うパラメータを前記パラメータ決定手段で決定する一方、前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されていなかったと判断した場合には、前記物体の位置推定処理を行うパラメータに、予め設定しておいた基準となるパラメータを前記パラメータ決定手段で設定し、前記パラメータ決定手段で設定した前記パラメータを使用して、前記物体識別処理で算出した前記物体のIDと位置とに関するデータから、前記物体の位置を物体位置推定手段で推定する、ことを備える物体位置推定方法

請求項8

コンピュータに、環境内の状況を観測手段で観測して取得された複数の観測生データを基に、前記観測手段の観測範囲内に存在する物体のIDと位置とを算出して物体識別処理を行う物体識別処理機能と、前記複数の観測生データを基に前記物体識別処理機能による前記物体識別処理が終了する時刻を予測して観測データベースにそれぞれ記憶する処理終了時刻予測機能と、前記観測データベースに記憶された前記物体識別処理の終了予定時刻を参照して、前記参照した時刻から最も早い時刻に終了する前記物体識別処理の終了予定時刻が記憶されているか否かを判断し、前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されていると判断した場合には、予め記憶された前記物体あたりの前記物体の位置を推定する位置推定処理を行うのに要する時間を参照して、前記参照した時刻から前記第2観測生データの前記物体識別処理の終了予定時刻までの時間において、前記物体の位置推定処理を行うパラメータを決定する一方、前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されていなかったと判断した場合には、前記物体の位置推定処理を行うパラメータに、予め設定しておいた基準となるパラメータを設定するパラメータ決定機能と、前記パラメータ決定手段で設定した前記パラメータを使用して、前記物体識別処理機能による前記物体識別処理で算出した前記物体のIDと位置とに関するデータから、前記物体の位置を推定する物体位置推定機能と、を実現させるための物体位置推定プログラム

技術分野

0001

本発明は、観測手段が観測したデータを基に環境内に存在する物体の位置を、例えば、観測時刻の早い順に推定する物体位置推定システム物体位置推定装置物体位置推定方法、及び、物体位置推定プログラムに関する。

背景技術

0002

カメラ等のセンサを利用して、環境内に存在する対象物体識別して、対象物体のID及び環境内における位置を推定するためには、大きく分けて、5つの工程が必要である。

0003

第1工程では、カメラにより対象物体を撮像し、対象物体を含む画像データを得る。

0004

第2工程では、予め保持する背景画像テンプレートと、対象物体を含む画像データとを比較して、差分画像を得る。

0005

第3工程では、予め保持する画像データ中の画素位置と環境内位置とを対応させたデータベースを用いて、得られた差分画像の環境内の物体の位置候補を得る。

0006

第4工程では、予め保持する物体のIDと画像データとを対応させたデータベースを用いて、得られた差分画像に対応する物体のID候補を得る。以下、第3工程(物体の位置候補を得る工程)と第4工程(物体のID候補を得る工程)とを合わせて、「物体識別」と呼ぶ。

0007

第5工程では、個別の物体のID候補及び位置候補のデータには不確実性があるため、過去にカメラで得た物体のIDと位置のデータを用いて、尤もらしい各物体の位置を推定する。以下、第5工程を「位置推定」と呼ぶ。

0008

センサが環境を観測して得られたデータから、物体位置推定処理が取り扱うことのできる物体のID候補と位置候補に関するデータへと変換する物体識別処理を行う必要がある。

0009

位置推定に必要な時間(第5工程)は、センサが環境を観測し、物体識別が終わるまで必要な時間(第1工程から第4工程)と比べて長い。よって、環境内に存在する全ての対象物体に対して、物体識別後のデータを個別に、位置推定を行った場合、センサが環境を観測した時刻と物体識別処理が完了する時刻との遅延時間(応答待ち時間)が発生する。図13に例を示す。観測装置1の観測データ1が物体識別処理され、物体位置推定処理可能となるのが時刻14:17:20(14時17分20秒)である。観測装置2の観測データ2が物体識別処理され、物体位置推定処理可能となるのが時刻14:17:26である。しかし、時刻14:17:26の時点では観測データ1の物体位置推定処理はまだ終了しておらず、観測データ2の物体位置推定処理が開始できるのは、観測データ1の物体位置推定処理が終了する時刻14:17:30からとなってしまっている。よって、観測データ2の物体位置推定処理は、観測データ1の物体位置推定処理が終了するのを待たなければならない。

0010

このような装置等からの応答待ち時間を低減する方法として、例えば特許文献1では、現在までに収集された通信状態又は通信機器状態を統計処理することで異常応答の確率を求め、該異常応答の確率データに基づいてタイムアウト時間を決定する技術が開示されている。

先行技術

0011

特開平11−353256号公報

発明が解決しようとする課題

0012

しかしながら、物体識別処理に要する時間は観測装置に備え付けられているセンサの種類、及び、センサが観測した環境状態にも依存しており、センサの種類の情報と環境状態の情報とが無いと、物体識別処理に要する時間を正確に判断することができない。

0013

その結果、物体識別処理に要する正確な時間に対して、物体位置推定処理タイミングの周期を速く設定してしまうと、物体識別処理の結果待ちが発生することとなる一方、物体位置推定処理タイミングの周期を遅く設定してしまうと、物体位置推定処理の結果待ちが発生する可能性がある。ここで、物体位置推定処理タイミングの周期を速くするためには、例えば物体位置推定処理を行うときのパラメータの調整、又は、物体位置推定処理に用いる物体識別処理結果の情報量を削減する必要があり、物体位置推定処理タイミングの周期を速く設定しすぎると前記物体識別処理結果の情報量を削減しすぎることになり、物体位置推定精度の低下に繋がる。逆に、物体位置推定処理タイミングの周期を遅く設定しすぎると、物体の移動軌跡を粗くしか推定することができない。

0014

本発明は、前記課題を解決するためになされ、その目的とするところは、観測手段が観測した観測生データを基に、物体識別処理に要する時間を事前に判断し、現在の時刻から次に観測生データを取得する時刻までの物体識別処理可能な時間内に未処理の観測生データを確実に処理できるパラメータを用いて物体位置推定処理を確実に行うことによって、実時間処理と物体位置推定の高精度化両立することのできる物体位置推定システム、物体位置推定装置、物体位置推定方法、及び、物体位置推定プログラムを提供することにある。

課題を解決するための手段

0015

前記目的を達成するために、本発明は以下のように構成する。

0016

本発明の第1態様によれば、環境内に存在する物体を含む前記環境の状況を観測して、第1及び第2観測生データを取得する観測手段と、
物体データベースに予め記憶された前記物体のID毎の物体識別データと、前記第1及び第2の観測生データのそれぞれの観測生データとに基づいて、前記物体のID及び前記物体の位置候補をそれぞれ取得して、前記取得した物体のID及び前記物体の位置候補の情報を観測データベースにそれぞれ記憶する物体識別手段と、
前記第1及び第2観測生データのそれぞれの観測生データから前記環境内に存在する前記物体の数を取得し、前記物体の数をそれぞれ取得した時刻と、前記それぞれ取得した物体の数と、予め記憶された前記物体あたりの前記物体のID及び前記物体の位置候補をそれぞれ取得する物体識別処理に要する時間とに基づいて、前記物体識別処理の終了予定時刻をそれぞれ予測し、前記物体識別処理の終了予定時刻を前記観測データベースにそれぞれ記憶する物体識別処理終了時間予測手段と、
前記観測データベースに記憶された前記物体のIDと前記物体の位置候補とを取得し、前記取得した物体のID及び物体の位置候補と、前記物体の位置候補の分散状況とに基づいて、前記物体の位置を推定する物体位置推定手段と、
前記物体識別手段が前記第1観測生データの前記物体識別処理を終了して前記物体のID及び前記物体の位置候補を取得した時刻に、前記観測データベースに記憶された前記第2観測生データの前記物体識別処理の終了予定時刻を参照して、前記参照した時刻から前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されているか否かを判断し、前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されていると判断した場合には、予め記憶されかつ前記物体あたりの前記物体の位置を推定する位置推定処理を行うのに要する時間を参照して、前記参照した時刻から前記第2観測生データの前記物体識別処理の終了予定時刻までの時間において、前記物体識別処理が終了した前記第1観測生データの前記物体の位置推定処理を行うパラメータを決定する一方、前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されていなかったと判断した場合には、前記物体識別処理が終了した前記第1観測生データの前記物体の位置推定処理を行うパラメータに、予め設定しておいた基準となるパラメータを設定する、パラメータ決定手段とを備えて、
前記物体位置推定手段は、前記パラメータ決定手段が決定した前記パラメータを使用して、前記物体識別処理が終了したデータから、そのデータに含まれている前記物体の位置推定処理を行い、前記物体IDに関する前記物体の位置を、前記物体識別手段が取得した前記物体のIDと位置候補とに基づいて推定する物体位置推定システムを提供する。

0017

本発明の第6態様によれば、少なくとも、物体識別処理された物体のIDと位置とに関するデータと、前記データの物体識別処理が終了したのちに入力される前記物体識別処理の終了予定時刻を入力可能なデータ入力部と、
前記データ入力部より受け取った前記物体のIDと位置とに関するデータと前記入予定時刻に関するデータとを記憶する観測データベースと、
前記観測データベースに記憶されている前記物体のIDと位置とに関するデータから、前記物体の位置を推定する物体位置推定手段と、
前記観測データベースに記憶された前記物体識別処理の終了予定時刻を参照して、前記参照した時刻から最も早い時刻に終了する前記物体識別処理の終了予定時刻が記憶されているか否かを判断し、前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されていると判断した場合には、予め記憶されかつ前記物体あたりの前記物体の位置を推定する前記物体識別処理を行うのに要する時間を参照して、前記参照した時刻から前記第2観測生データの前記物体識別処理の終了予定時刻までの時間において、前記物体の位置推定処理を行うパラメータを決定する一方、前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されていなかったと判断した場合には、前記物体の位置推定処理を行うパラメータに、予め設定しておいた基準となるパラメータを設定する、パラメータ決定手段と、
を備えて、前記物体位置推定手段は、前記パラメータ決定手段が決定した前記パラメータを使用して、前記観測データベースに記憶された前記物体のIDと位置とに関するデータから前記物体の位置推定処理を行い、前記物体の位置を推定する物体位置推定装置を提供する。

0018

本発明の第7態様によれば、環境内の状況を観測し、複数の観測生データを観測手段で取得する観測し、
前記複数の観測生データを基に、前記観測手段の観測範囲内に存在する物体のIDと位置とを物体識別手段で算出して物体識別処理を行い、
前記複数の観測生データを基に前記物体識別手段でそれぞれ行われる前記物体識別処理が終了する時刻を物体識別処理終了時間予測手段でそれぞれ予測して観測データベースにそれぞれ記憶し、
前記観測データベースに記憶された前記物体識別処理の終了予定時刻を参照して、前記参照した時刻から最も早い時刻に終了する前記物体識別処理の終了予定時刻が記憶されているか否かをパラメータ決定手段で判断し、
前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されていると判断した場合には、予め記憶されかつ前記物体あたりの前記物体の位置を推定する位置推定処理を行うのに要する時間を参照して、前記参照した時刻から前記第2観測生データの前記物体識別処理の終了予定時刻までの時間において、前記物体の位置推定処理を行うパラメータを前記パラメータ決定手段で決定する一方、
前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されていなかったと判断した場合には、前記物体の位置推定処理を行うパラメータに、予め設定しておいた基準となるパラメータを前記パラメータ決定手段で設定し、
前記パラメータ決定手段で設定した前記パラメータを使用して、前記物体識別処理で算出した前記物体のIDと位置とに関するデータから、前記物体の位置を物体位置推定手段で推定する、
ことを備える物体位置推定方法を提供する。

0019

本発明の第8態様によれば、コンピュータに、
環境内の状況を観測手段で観測して取得された複数の観測生データを基に、前記観測手段の観測範囲内に存在する物体のIDと位置とを算出して物体識別処理を行う物体識別処理機能と、
前記複数の観測生データを基に前記物体識別処理機能による前記物体識別処理が終了する時刻を予測して観測データベースにそれぞれ記憶する処理終了時刻予測機能と、
前記観測データベースに記憶された前記物体識別処理の終了予定時刻を参照して、前記参照した時刻から最も早い時刻に終了する前記物体識別処理の終了予定時刻が記憶されているか否かを判断し、前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されていると判断した場合には、予め記憶された前記物体あたりの前記物体の位置を推定する位置推定処理を行うのに要する時間を参照して、前記参照した時刻から前記第2観測生データの前記物体識別処理の終了予定時刻までの時間において、前記物体の位置推定処理を行うパラメータを決定する一方、前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されていなかったと判断した場合には、前記物体の位置推定処理を行うパラメータに、予め設定しておいた基準となるパラメータを設定するパラメータ決定機能と、
前記パラメータ決定手段で設定した前記パラメータを使用して、前記物体識別処理機能による前記物体識別処理で算出した前記物体のIDと位置とに関するデータから、前記物体の位置を推定する物体位置推定機能と、
を実現させるための物体位置推定プログラムを提供する。

発明の効果

0020

以上のように、本発明は、観測手段が観測した観測生データを基に、事前に物体識別処理に要する時間、つまり、次回の観測データ(物体識別処理されたデータ)が得られる時間を判断し、現在得られている観測データを用いて位置の推定を行う物体数を決定することによって、観測手段の観測に対して遅れが出ることなく、物体の位置を推定することのできる物体位置推定システム、物体位置推定装置、物体位置推定方法、及び、物体位置推定プログラムを提供することができる。

図面の簡単な説明

0021

本発明のこれらと他の目的と特徴は、添付された図面についての好ましい実施形態に関連した次の記述から明らかになる。この図面においては、
図1は、本発明の第1及び第2実施形態にかかる物体位置推定システムの構成を示すブロック図であり、
図2は、本発明の前記第1及び第2実施形態にかかる物体位置推定システムの物体データベースの一例を示す図であり、
図3は、本発明の前記第1及び第2実施形態にかかる観測手段に測域センサを用いたときの観測生データの一例を示す図であり、
図4は、本発明の前記第1及び第2実施形態にかかる観測手段に測域センサを用いたときの一観測状況例を示す図であり、
図5は、本発明の前記第1及び第2実施形態にかかる物体位置推定システムの観測データベースの一例を示す図であり、
図6Aは、前記第1実施形態にかかる物体位置推定システムに使用可能なパーティクルフィルタによる物体位置推定方法の処理を示すフローチャートであり、
図6Bは、前記第2実施形態にかかる物体位置推定システムに使用可能なカルマンフィルタ処理状況例を示す図であり、
図7は、本発明の前記第1及び第2実施形態にかかる物体位置推定システムにおける物体観測状況例を示す図であり、
図8は、本発明の前記第1実施形態にかかる物体位置推定結果の一例を示す図であり、
図9は、本発明の前記第1実施形態にかかる物体位置推定システムの処理を示すフローチャートであり、
図10は、本発明の前記第1実施形態にかかる物体位置推定システムの処理を示すフローチャートであり、
図11Aは、本発明の前記第1実施形態にかかる物体位置推定システムにおけるパーティクル数と処理時間の関係の情報を示す図であり、
図11Bは、図5に示した観測データ、及び、観測生データ処理終了予定時刻を基に、物体の位置を推定したときのタイミングチャートであり、
図12は、図11Bを簡略化した、本発明の前記第1実施形態にかかるタイミングチャート図であり、
図13は、図12との比較における、本発明を用いないときのタイミングチャート図であり、
図14Aは、パーティクル数別の近似精度の比較図であり、
図14Bは、パーティクル数別の近似精度の比較図であり、
図15は、本発明の前記第1実施形態にかかる物体位置推定システムにおいて観測装置にカメラを用いたときの環境背景画像の一例の説明図であり、
図16は、本発明の前記第1実施形態にかかる観測装置にカメラを用いたときのカメラ入力画像の一例の説明図であり、
図17は、本発明の前記第1実施形態にかかる観測装置にカメラを用いたときの差分領域の画像の一例の説明図であり、
図18は、本発明の第1実施形態にかかるパーティクル数と処理時間との関係の情報の一例を示す説明図であり、
図19は、本発明の第1実施形態にかかる物体位置推定システムのUWBタグリーダタグ位置測位方法を示した図であり、
図20Aは、本発明の第1実施形態にかかる物体位置推定システムの観測データベースの一例を示す図であり、
図20Bは、本発明の第1実施形態にかかる物体位置推定システムの観測データベースの別の例を示す図であり、
図21は、本発明の第3実施形態にかかる物体位置推定システムの構成を示すブロック図であり、
図22は、本発明の第3実施形態にかかる物体位置推定システムの表示手段の一例を示す図であり、
図23は、本発明の第3実施形態にかかる物体位置推定システムの表示手段の一例を示す図であり、
図24は、本発明の第3実施形態にかかる物体位置推定システムの表示手段の一例を示す図であり、
図25は、本発明の第3実施形態にかかる物体位置推定システムの観測データベースの一例を示す図であり、
図26は、本発明の第1実施形態にかかる物体位置推定システムのマッチングスコアが記録された観測データベースの例を示す図である。

実施例

0022

以下に、本発明にかかる実施の形態を図面に基づいて詳細に説明する。

0023

以下、図面を参照して本発明における実施形態を詳細に説明する前に、本発明の種々の態様について説明する。

0024

本発明の第1態様によれば、環境内に存在する物体を含む前記環境の状況を観測して、第1及び第2観測生データを取得する観測手段と、
物体データベースに予め記憶された前記物体のID毎の物体識別データと、前記第1及び第2の観測生データのそれぞれの観測生データとに基づいて、前記物体のID及び前記物体の位置候補をそれぞれ取得して、前記取得した物体のID及び前記物体の位置候補の情報を観測データベースにそれぞれ記憶する物体識別手段と、
前記第1及び第2観測生データのそれぞれの観測生データから前記環境内に存在する前記物体の数を取得し、前記物体の数をそれぞれ取得した時刻と、前記それぞれ取得した物体の数と、予め記憶された前記物体あたりの前記物体のID及び前記物体の位置候補をそれぞれ取得する物体識別処理に要する時間とに基づいて、前記物体識別処理の終了予定時刻をそれぞれ予測し、前記物体識別処理の終了予定時刻を前記観測データベースにそれぞれ記憶する物体識別処理終了時間予測手段と、
前記観測データベースに記憶された前記物体のIDと前記物体の位置候補とを取得し、前記取得した物体のID及び物体の位置候補と、前記物体の位置候補の分散状況とに基づいて、前記物体の位置を推定する物体位置推定手段と、
前記物体識別手段が前記第1観測生データの前記物体識別処理を終了して前記物体のID及び前記物体の位置候補を取得した時刻に、前記観測データベースに記憶された前記第2観測生データの前記物体識別処理の終了予定時刻を参照して、前記参照した時刻から前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されているか否かを判断し、前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されていると判断した場合には、予め記憶されかつ前記物体あたりの前記物体の位置を推定する位置推定処理を行うのに要する時間を参照して、前記参照した時刻から前記第2観測生データの前記物体識別処理の終了予定時刻までの時間において、前記物体識別処理が終了した前記第1観測生データの前記物体の位置推定処理を行うパラメータを決定する一方、前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されていなかったと判断した場合には、前記物体識別処理が終了した前記第1観測生データの前記物体の位置推定処理を行うパラメータに、予め設定しておいた基準となるパラメータを設定する、パラメータ決定手段とを備えて、
前記物体位置推定手段は、前記パラメータ決定手段が決定した前記パラメータを使用して、前記物体識別処理が終了したデータから、そのデータに含まれている前記物体の位置推定処理を行い、前記物体IDに関する前記物体の位置を、前記物体識別手段が取得した前記物体のIDと位置候補とに基づいて推定する物体位置推定システムを提供する。

0025

本発明の第2態様によれば、前記物体識別データは前記物体の形状情報であり、
前記観測生データとは、カメラで撮像された画像データ、又は、測域センサで取得したレンジデータ、又は、タグリーダで取得した位置データである、第1の態様に記載の物体位置推定システムを提供する。

0026

本発明の第3態様によれば、前記カメラ又は前記測域センサの物体識別処理は、テンプレートマッチング処理であって、
更に、前記物体識別手段は、前記テンプレートマッチング処理の過程にて出力されるマッチングスコアを前記観測データベースに記録し、
前記パラメータ決定手段は、前記マッチングスコアの高い順に前記位置推定処理を行う物体を決定する、第2の態様に記載の物体位置推定システムを提供する。

0027

本発明の第4態様によれば、前記物体位置推定手段は、パーティクルフィルタを使用するとき、物体1個あたりの処理時間とパーティクル個数との関係情報を予め用意しておき、前記参照した時刻から前記第2観測生データの前記物体識別処理の終了予定時刻までの時間から前記パーティクルフィルタで処理可能な物体の個数を算出し、算出された物体の個数が、前記物体識別処理で識別された物体の個数と同じならば、そのままパーティクルフィルタを使用して処理を行う一方、
前記算出された物体の個数が、前記物体識別処理で識別された物体の個数より少ないときには、物体1個あたりの前記パーティクルの個数を増やして処理を行う一方、
前記算出された物体の個数が、前記物体識別処理で識別された物体の個数より多いときには、物体1個あたりの前記パーティクルの個数を減らして処理を行う、第1又は2の態様に記載の物体位置推定システムを提供する。

0028

本発明の第5態様によれば、更に前記物体位置推定手段が推定した結果を表示する表示手段を備え、
前記表示手段は、前記観測データベースを参照し、次回の物体識別処理の終了予定時刻を、次回の前記物体位置推定手段の推定結果の出力時刻として表示すると共に、現在の前記物体位置推定手段の推定結果を出力するに至った観測生データが得られた時刻を、現在の前記物体位置推定手段の推定結果が得られた時刻として表示する第1〜4のいずれか1つの態様に記載の物体位置推定システムを提供する。

0029

本発明の第6態様によれば、少なくとも、物体識別処理された物体のIDと位置とに関するデータと、前記データの物体識別処理が終了したのちに入力される前記物体識別処理の終了予定時刻を入力可能なデータ入力部と、
前記データ入力部より受け取った前記物体のIDと位置とに関するデータと前記入力予定時刻に関するデータとを記憶する観測データベースと、
前記観測データベースに記憶されている前記物体のIDと位置とに関するデータから、前記物体の位置を推定する物体位置推定手段と、
前記観測データベースに記憶された前記物体識別処理の終了予定時刻を参照して、前記参照した時刻から最も早い時刻に終了する前記物体識別処理の終了予定時刻が記憶されているか否かを判断し、前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されていると判断した場合には、予め記憶されかつ前記物体あたりの前記物体の位置を推定する前記物体識別処理を行うのに要する時間を参照して、前記参照した時刻から前記第2観測生データの前記物体識別処理の終了予定時刻までの時間において、前記物体の位置推定処理を行うパラメータを決定する一方、前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されていなかったと判断した場合には、前記物体の位置推定処理を行うパラメータに、予め設定しておいた基準となるパラメータを設定する、パラメータ決定手段と、
を備えて、前記物体位置推定手段は、前記パラメータ決定手段が決定した前記パラメータを使用して、前記観測データベースに記憶された前記物体のIDと位置とに関するデータから前記物体の位置推定処理を行い、前記物体の位置を推定する物体位置推定装置を提供する。

0030

本発明の第7態様によれば、環境内の状況を観測し、複数の観測生データを観測手段で取得する観測し、
前記複数の観測生データを基に、前記観測手段の観測範囲内に存在する物体のIDと位置とを物体識別手段で算出して物体識別処理を行い、
前記複数の観測生データを基に前記物体識別手段でそれぞれ行われる前記物体識別処理が終了する時刻を物体識別処理終了時間予測手段でそれぞれ予測して観測データベースにそれぞれ記憶し、
前記観測データベースに記憶された前記物体識別処理の終了予定時刻を参照して、前記参照した時刻から最も早い時刻に終了する前記物体識別処理の終了予定時刻が記憶されているか否かをパラメータ決定手段で判断し、
前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されていると判断した場合には、予め記憶されかつ前記物体あたりの前記物体の位置を推定する位置推定処理を行うのに要する時間を参照して、前記参照した時刻から前記第2観測生データの前記物体識別処理の終了予定時刻までの時間において、前記物体の位置推定処理を行うパラメータを前記パラメータ決定手段で決定する一方、
前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されていなかったと判断した場合には、前記物体の位置推定処理を行うパラメータに、予め設定しておいた基準となるパラメータを前記パラメータ決定手段で設定し、
前記パラメータ決定手段で設定した前記パラメータを使用して、前記物体識別処理で算出した前記物体のIDと位置とに関するデータから、前記物体の位置を物体位置推定手段で推定する、
ことを備える物体位置推定方法を提供する。

0031

本発明の第8態様によれば、コンピュータに、
環境内の状況を観測手段で観測して取得された複数の観測生データを基に、前記観測手段の観測範囲内に存在する物体のIDと位置とを算出して物体識別処理を行う物体識別処理機能と、
前記複数の観測生データを基に前記物体識別処理機能による前記物体識別処理が終了する時刻を予測して観測データベースにそれぞれ記憶する処理終了時刻予測機能と、
前記観測データベースに記憶された前記物体識別処理の終了予定時刻を参照して、前記参照した時刻から最も早い時刻に終了する前記物体識別処理の終了予定時刻が記憶されているか否かを判断し、前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されていると判断した場合には、予め記憶された前記物体あたりの前記物体の位置を推定する位置推定処理を行うのに要する時間を参照して、前記参照した時刻から前記第2観測生データの前記物体識別処理の終了予定時刻までの時間において、前記物体の位置推定処理を行うパラメータを決定する一方、前記第2観測生データの前記物体識別処理の終了予定時刻が記憶されていなかったと判断した場合には、前記物体の位置推定処理を行うパラメータに、予め設定しておいた基準となるパラメータを設定するパラメータ決定機能と、
前記パラメータ決定手段で設定した前記パラメータを使用して、前記物体識別処理機能による前記物体識別処理で算出した前記物体のIDと位置とに関するデータから、前記物体の位置を推定する物体位置推定機能と、
を実現させるための物体位置推定プログラムを提供する。

0032

この構成によると、物体位置推定処理に必要となる次に観測生データが得られるまでの待ち時間内に処理可能な物体数から、物体位置推定処理を行う物体を決定することによって、実時間処理と物体位置推定の高精度化を両立することのできる物体位置推定システム、物体位置推定装置、物体位置推定方法、及び、物体位置推定プログラムを提供することができる。

0033

以下、図面を参照して本発明における第1実施形態を詳細に説明する。

0034

(第1実施形態)
図1には、本発明の第1実施形態にかかる物体位置推定システムを示したブロック図を示す。

0035

本システムは、観測手段(観測部)101と、物体位置推定装置とで大略構成されて、物体位置推定方法を実施するものである。前記物体位置推定装置は、物体データベース102と、物体識別手段(物体識別部)103と、識別処理終了時刻予測手段(識別処理終了時刻予測部)(以下、単に、「処理終了時刻予測手段」と称する。)104と、観測データベース105と、物体位置推定手段(物体位置推定部)106と、パラメータ決定手段(パラメータ決定部)107とで構成される。なお、観測手段101と物体識別手段103と処理終了時刻予測手段104とを合わせて、少なくとも、物体のIDと位置とに関するデータと、前記データの入力予定時刻を観測データベース105に入力可能なデータ入力部として取り扱うことも可能である。

0036

観測手段101は、環境(観測対象となる空間、例えば、生活空間(より具体的には、リビングルームなどの部屋)など)内に存在する物体(観測物体)を含む環境の状況を観測して、観測生データを取得する。具体的には、環境内の物体を観測して、観測生データを得る。観測手段101としては、カメラや測域センサ、UWB(Ultra Wide Band)タグリーダなどを利用して実現することができる。

0037

物体データベース102には、物体のIDの情報(以下、単に、「物体のID」と称する。)と、物体を識別するための情報とが記憶(記憶)されている。図2に物体データベースの102の一例を示す。図2の物体データベースの102に記憶されている情報は、「Obj_001」から「Obj_005」までの物体IDと、物体IDが「Obj_001」から「Obj_005」までの5個の物体のそれぞれにおける形状情報とである。形状情報には、物体の外観に関する情報と大きさ(寸法)とに関する情報とが記憶されている。一例として、物体ID「Obj_001」の物体の外観と大きさとに関する情報を図2に拡大して示している。ここでは、物体ID「Obj_001」の物体は、大きな直径の円柱と、その上に固定された小さな直径の円柱とで構成され、大きな直径の円柱の直径は8cm、高さは12cmであり、小さな直径の円柱の直径は4cm、高さは2cmである。

0038

物体識別手段103は、観測手段101が観測した観測生データを物体識別処理することにより、観測生データ中に含まれる物体のIDと位置とに関する観測データを算出する。より具体的には、物体識別手段103は、物体データベース102に予め記憶された物体のID毎の物体を識別するための情報(物体識別データ)と、観測生データとに基づいて、物体のID及び物体の位置候補を取得して、取得した物体のID及び物体の位置候補の情報を観測データベース105に記憶する。「観測生データ」とは、観測手段101の観測に対して何も処理を施していない状態のデータであり、例えばカメラなどであれば、カメラで撮像された画像データに相当する。測域センサの場合、レンジデータに相当し、UWBタグリーダの場合、物体ID毎の位置データに相当する。一方、「観測データ」とは、観測生データに物体識別手段103を適用することにより、物体識別手段103で観測生データを使用して算出されるデータであって、物体位置推定手段106で取り扱うことのできる物体のIDと位置とに関するデータのことである。物体識別手段103と物体位置推定手段106とに関しては、後に説明を行う。

0039

観測手段101がカメラである場合、観測生データは画像データであり、物体識別手段103は、カメラで撮像された画像データの画像処理を行うこととなる。画像処理には、例えばテンプレートマッチング処理などの手法が挙げられる。予め取得しておきかつ物体が環境内に置かれていないときの環境の背景画像と、現在の入力画像とを比較し、画素値が異なる領域を1つの差分領域として取り出す。ただし、物体識別手段103で差分領域として取り出すとき、入力画像にはノイズが加わる可能性もあるため、画素値が予め決められた個数以上連結している領域を差分領域とする等の制約を加えても良い。環境中にN個物体(ただし、Nは整数で1個以上。)が置かれていた場合、物体識別手段103で、差分領域はN個得られることになる。その後、物体識別手段103で得られた差分領域と、物体データベース102に記憶されている形状情報の外観データテンプレート画像)とのマッチング処理を物体識別手段103で行うことにより、物体のIDを物体識別手段103で識別することが可能となる。具体的には、差分領域と外観データとのマッチング率が最も高かった物体を、識別結果として、観測データベース105に登録する。尚、前記マッチングスコア(差分領域とテンプレート画像との間でマッチした割合)も、観測データベース105に登録しても良い。マッチングスコアの利用方法については後述する。

0040

また、物体の環境中の位置に関しては、画像中の座標と環境中の座標とを対応付け座標変換式などを物体識別手段103に予め用意しておくことで、物体識別手段103で算出できる。

0041

図15に環境の背景画像(環境背景画像)の一例を、図16に入力画像の一例を、図17に差分領域の画像の一例をそれぞれ示す。ここでは、環境の一例として生活環境であって、リビングなどの部屋110であるとする。準備する環境背景画像は、環境内に物体が何も置かれていない状態の背景を用いる。なお、図15の環境背景画像のように、ほとんど移動しない本棚Bsなどの家具又は家電機器を環境背景画像中に含めても構わない。ただし、この場合、本棚Bsなどの家具又は家電機器を背景差分で取り出すことができなくなるため、本棚Bsなどの家具又は家電機器は物体位置推定の対象から除外することとなる。図16の入力画像は、食卓Dtの上に財布O3が、テーブルTaの上に本O2が置かれている状況を、部屋110の天井などに配置したカメラが観測したことを表している。図17の差分領域は、図15の環境背景画像と図16の入力画像とで画素値が異なる領域、つまり、財布O3の領域と本O2の領域をそれぞれ表している。ここでは、一例として、財布O3は、物体IDが「Obj_003」の物体とし、本O2は、物体IDが「Obj_002」の物体としている。

0042

観測手段101が、カメラの代わりに測域センサ401(図4参照)である場合、観測生データはレンジデータとなる。図3にレンジデータの一例を示す。図3は、センサ401の周り360度方向に対し360の分解能で距離を取得した場合のレンジデータであり、図4に示す状況において測域センサ401で観測を行ったときの観測結果である。前記レンジデータから物体のIDを識別するには、例えば物体の幅情報を用いて識別することができる。説明を簡単にするために、測域センサ401から100cmより離れた場所には壁402しか存在しないと仮定する。このとき、距離100cm以内の観測値が得られているのは360度のうちの85度〜95度までの間であり、85度における観測値と95度における観測値が物体O1の両端であると考える。測域センサ401の位置を(0cm,0cm,5cm)、+X軸方向を0度、+Y軸方向を90度とすると、物体O1の両端の座標は(sin85°×46cm, cos85°×46cm)=(45.83cm,4.01cm)と、(sin95°×46cm, cos95°×46cm)=(45.83cm,−4.01cm)となり、設置面(測域センサの設置位置(0cm、0cm、5cm))から上部5cmにおける物体O1の幅は約8cmであると推定できる。

0043

この物体O1の物体幅の推定結果と物体データベース102に記憶されている物体O1の形状情報とから、例えば前記物体O1はIDが「Obj_001」の物体であるとすることができる。また、物体O1の環境中の位置は、両端の座標の中心値とすることができる。例えば、前記例では、(45.83cm,4.01cm)の座標と(45.83cm,−4.01cm)の座標との中心値である(45.83cm,0cm)を物体O1の環境中の位置とすることができる。

0044

観測手段101がUWBタグリーダである場合、観測生データは物体ID毎の位置データとなる。UWBタグリーダは少なくとも3個使用する。UWBタグリーダを用いて物体を検出するためには、物体にタグを予め付与させておく必要がある。

0045

少なくとも3個のUWBタグリーダを用いて検出した物体のローカル座標は、例えば、三点測量原理を用いて決定することができる。図19に三点測量によるタグの位置を検出する例を示す。図19に示される環境内には、それぞれUWBタグリーダと接続された基地局1901Aと基地局1901Bと基地局1901Cが配置されている。基地局1901Aは、ローカル座標(x,y)=(500,600)に配置され、基地局1901Bは、ローカル座標(x,y)=(700,300)に配置され、基地局1901Cは、ローカル座標(x,y)=(300,300)に配置されている。ここで、UWBタグリーダは、3つの基地局の配置されているローカル座標を知っているものとする。そして、各基地局は、各基地局から射出した電波が、物体に付与されたタグから、射出した基地局に返ってくる時間を計測することによって、前記射出した基地局からタグまでの距離を各基地局で算出することができる。このような状況において、タグ1902が付与された物体が、ローカル座標(x,y)=(400,400)に存在したとする。基地局1901Aは、基地局1901Aの位置を中心とし、タグ1902までの距離223.61cmを半径とした円弧上にタグ1902が存在することが分かる。同様に、基地局1901Bは、半径316.23cmの円弧上にタグ1902が存在することが分かり、基地局1901Cは、半径141.42cmの円弧上にタグ1902が存在することが分かる。以上の3つの円弧が全て重なり合う位置がタグ1902の存在する位置であると判断することができる。図19では、二次元空間におけるタグ位置検出の説明を行っている。実空間(三次元空間)におけるタグ位置検出を行う場合には、図19の円弧が球面となるだけであり、他の処理に変化は無い。

0046

処理終了時刻予測手段104は、物体識別手段103による物体識別処理(ここでは、一例として、テンプレートマッチング処理)に要する時間を、予め算出して観測データベース105に記憶しておく。次に、処理終了時刻予測手段104は、物体識別手段103の観測生データから物体のIDと位置とに関する観測データの数(又は、量)を算出する処理アルゴリズム又は処理数を物体識別手段103から受け取ることによって、物体識別手段103の処理終了予定時刻を予測して観測データベース105に記憶する。詳細については、以下に説明を行う。

0047

物体識別手段103が、一例としてカメラの観測生データを処理している場合、処理終了時刻予測手段104は、物体識別手段103が差分画像を取り出した段階で、差分画像が何枚得られたかという情報を物体識別手段103から受け取り、差分画像が何枚得られたかという情報から、テンプレートマッチング処理に要する時間を予測する。例えば、1つの差分画像に対して5つのテンプレートとマッチング処理を行うのに0.2秒かかるとすると、5つの差分画像が物体識別手段103で得られていた場合、テンプレートマッチング処理に要する時間は1秒となる。このとき、処理終了予定時刻は、0.2秒×5=1.0秒であるから、背景差分を取り出した時刻の1秒後ということになる。つまり、処理終了時刻予測手段104は、物体識別処理(ここでは、テンプレートマッチング処理)に要する時間を、予め算出しておく。

0048

ここで、図1に示すように、観測手段101と物体データベース102と物体識別手段103と処理終了時刻予測手段104とをまとめて、1つの観測装置500と呼ぶこととする。また、観測装置500を個別に区別するときには、第1観測装置501,第2観測装置502,第3観測装置503,・・・,第n観測装置(ただし、nは1以上の整数。)と呼ぶこととする。

0049

観測データベース105には、観測装置500のIDの情報(以下、単に「観測装置のID」と称する。以下では、便宜上、第1〜第3観測装置501,502,503のIDをそれぞれ「501」,「502」,「503」とする。)と、観測物体IDとその環境中の観測物体の位置(例えば位置座標)とに関する観測データと、観測生データ処理終了予定時刻(例えば年月日時分秒)とが記憶される。

0050

ここで、観測データベース105にデータが物体識別手段103及び処理終了時刻予測手段104によりそれぞれ記憶されるまでの流れを説明する。

0051

まず、観測手段101が環境内を観測し、観測生データを得る。

0052

次いで、処理終了時刻予測手段104により、物体識別手段103が観測生データを処理するのに要する時間(観測生データ処理終了予定時刻)を算出し、観測データベース105に生データ処理終了予定時刻として、観測生データを取得した観測手段101を含む観測装置501,502,503のIDと共に観測データベース105に記憶する。

0053

次いで、観測手段101で得られた観測生データを使用して、物体識別手段103で物体識別処理を開始する。

0054

次いで、物体識別手段103は、観測生データの物体識別処理を終了すると、観測データを、観測装置501,502,503のIDと共に観測データベース105に記憶する。

0055

図5に観測データベース105の一例を示す。

0056

図5の(a)は、2007年9月11日の14時17分20秒時点での観測データベース105のデータ記憶状況を示すデータテーブルを図示している(このデータ記憶状況を示すデータテーブルのIDを「TBL_001」とする。)。図5の(b)は、その6秒後の14時17分26秒時点でのデータ記憶状況(このデータ状況を示すデータテーブルのIDを「TBL_002」とする。)を示すデータテーブルを図示している。図5の(b)では、図5の(a)と比較して、下から1行目と2行目のデータが追加されている。図5の(c)は、図5の(b)の状況から8秒後の14時17分34秒時点でのデータ記憶状況(このデータ状況を示すデータテーブルのIDを「TBL_003」とする。)を示すデータテーブルを図示している。図5の(c)では、図5の(b)と比較して、下から1行目と2行目のデータが追加されている。

0057

図5の(a)のデータテーブルID「TBL_001」のデータテーブルには、物体識別処理が終了した観測装置ID501からの観測データ「Obj_001(65,20)」と「Obj_002(120,26)」と、処理終了予定時刻「14時17分26秒」と「14時17分34秒」を予測した観測装置ID502と503からの観測生データ処理の終了予定時刻がそれぞれ記憶されている。

0058

図5の(b)のデータテーブルID「TBL_002」のデータテーブルには、観測装置ID503から観測生データ処理終了予定時刻通りに観測データ「Obj_004(266,37)」と「Obj_005(322,21)」がそれぞれ記憶され(データテーブルの下から2行目参照)、観測装置ID501からは観測生データの物体識別処理の終了予定時刻が新たに記憶されている(データテーブルの下から1行目参照)。図5の(c)のデータテーブルID「TBL_003」のデータテーブルについても同様である。すなわち、図5の(c)のデータテーブルID「TBL_003」のデータテーブルには、観測装置ID502から観測生データ処理終了予定時刻通りに観測データ「Obj_002(119,28)」と「Obj_005(322,21)」が記憶され(データテーブルの下から2行目参照)、観測装置ID503からは観測生データ処理の終了予定時刻が新たに記憶されている(データテーブルの下から1行目参照)。

0059

図26に、観測物体位置と共に、前記したマッチングスコアが記録された観測データベース105の例を示す。

0060

図26のデータテーブルID「TBL_007」のデータテーブルには、観測IDと観測物体位置と生データ処理終了予定時刻と観測時刻と、更にマッチングスコアとが記録されている。

0061

マッチングスコアの項目には、識別した物体のIDとスコアとが記録されている。例えば、マッチングスコア「Obj_001(0.8)」は、物体を検出して得られた差分領域と物体「Obj_001」のテンプレートとのマッチングスコア(マッチングした割合)が80%だったことを示している。

0062

物体位置推定手段106は、パラメータ決定手段107から指定がありかつ観測データベース105に記憶された物体のIDと物体の位置候補とに関する観測データから、物体の位置候補の分散状況(例えば、物体の位置と重み付け)などを考慮して(具体的には、パーティクルフィルタ又はカルマンフィルタを用いて)、物体の位置を推定する。

0063

ここで、物体位置推定手段106が推定する物体の位置と観測データベース105に記憶されている位置候補との違いについて説明する。観測データベース105に記憶されている前記物体の位置は、各観測装置501,502,503が個々に算出した位置であって、各観測装置501,502,503に含まれるノイズ等による位置誤差のため、各観測装置501,502,503で、通常、それぞれ異なっているため、前記物体の位置候補として取り扱う。これに対して、物体位置推定手段106が推定する物体の位置は、前記物体の位置候補の中から、物体位置推定処理により、最も存在する確率の高い位置を意味するものであり、両者は、明確に異なるものである。

0064

また、パラメータ決定手段107についての説明は後に行う。物体位置推定手段106の物体位置推定処理は、一例として、パーティクルフィルタを用いて実現することができる(例えば、文献:J. Hightower, B. Borriello. ” The location Stack: A Layered Model for Location in Ubiquitous Computing”, 4thIEEE Workshop on Mobile Computing Systems & Applications (WMCSA2002), pp. 22-28. 2002. を参照)。「パーティクルフィルタ」とは、状態量と重みとを持つ多数のパーティクルで確率分布近似する手法であり、非線形分布であっても近似が可能である。ここで、「状態量」とは、物体の位置を示す。また、全パーティクルの重みの和は1であり、パーティクルの数は予め設定されている。

0065

物体位置推定手段106によりパーティクルフィルタを使用して実現する物体位置推定方法について図6Aを基に説明する。

0066

図6Aの第1ステップS1では、前回の各パーティクルの重みに基づき、パーティクルのリサンプリングを物体位置推定手段106で行う。ただし、初回は、環境内にランダムにパーティクルを物体位置推定手段106で生成するものとする。

0067

次いで、第2ステップS2では、各パーティクルについて、前回位置から現在位置を物体位置推定手段106で予測する。

0068

次いで、第3ステップS3では、観測データから得られる物体の存在位置確率を基に、各パーティクルの重みを物体位置推定手段106で計算する。

0069

次いで、第4ステップS4では、全パーティクルの重み付き平均を物体位置推定手段106で求め、物体位置推定手段106により、求められた重み付き平均を物体の推定位置とする。

0070

しかしながら、パーティクルフィルタを使用した物体位置推定方法によれば、パーティクルの数が多いほど近似の精度は高まるが、物体位置推定処理に要する計算時間が長くなる一方、パーティクルの数が少ないほど物体位置推定処理に要する計算時間は短くなるが、近似の精度が低くなる、という問題がある。図14Aは、パーティクルを15個使って財布の位置推定を行っている例であり(図14Aの1個の黒丸が1個のパーティクルを示す。)、図14Bは、パーティクルを30個使って財布の位置推定を行っている例を示している。これらのパーティクルの座標がそれぞれ物体の位置候補である。図14Aを見ると、15個のパーティクルの中心付近である座標(4000,4000)に財布がありそうだということが判別できる。しかし、図14Bを見ると、パーティクル数が多く近似精度が高くなっているため、財布は、座標(4000,4000)以外に、座標(5000,5000)にある確率も残されていることが判別できる。これらの座標が物体の位置候補である。

0071

パラメータ決定手段107は、観測生データ処理(物体識別処理)終了予定時刻と、現在の時刻と、物体位置推定手段106の処理能力と、現在未処理の観測データとの各情報を用いて、現在の時刻から観測生データ処理終了予定時刻までに未処理観測データを処理できるパーティクルの数を決定する。

0072

なお、パラメータ決定手段107はその内部にタイマーを備えており、現在の時刻などの時刻の情報を取得することができ、観測生データ処理終了予定時刻は観測データベース105に記憶されている。

0073

パラメータ決定手段107により決定したパーティクル数が、例えば前回の処理で使用したパーティクル数に対してパーティクル数が多い場合、パラメータ決定手段107により、増えた分のパーティクルを環境内に一様にばらまいても良いし、元の各パーティクルの重みに応じてばらまくのでも良い。逆に、パラメータ決定手段107により決定したパーティクル数が、前回の処理で使用したパーティクル数に対して少ない場合、パラメータ決定手段107により、減少分のパーティクル数を、前回の位置推定結果であるパーティクルの分布からランダムに削除しても良いし、又は、元の各パーティクルの重みに応じて削除しても良い。

0074

なお、パラメータ決定手段107のパラメータ決定処理パラメータ設定処理)に関しては、以下に説明する。

0075

パラメータ決定手段107は、観測データベース105に記憶されている物体識別手段103の物体識別処理が終了する時刻と現在の時刻との時間差内に、未処理の観測データである物体を処理可能となるパーティクル数を決定する。

0076

ここで、図11Aにパーティクル数と物体識別処理に要する時間との関係の情報(関係情報)の一例を示す。この関係情報は、例えば、パラメータ決定手段107の内部記憶部に記憶されている。図11Aは、例えば、100個のパーティクルを用いてパーティクルフィルタを適用した場合、物体1個の位置推定を行うのに0.8秒の時間を要することを示し、以下、200個、300個、500個、1000個のパーティクルをそれぞれ用いてパーティクルフィルタを適用した場合、処理速度として、物体1個の位置推定を行うのに1秒、2秒、3秒、5秒の時間をそれぞれ要することを示している。なお、図11Aに示した関係の情報は、事前実験により予め得られているものとする。

0077

図11Aの関係情報と図5の(a)のデータテーブルID「TBL_001」のデータテーブルとをパラメータ決定手段107で用いてパーティクル数を決定する方法について説明する。

0078

まず、現在の時刻に対して、次に観測データが記憶される時刻が図5の観測データベース105に記憶されているか否かをパラメータ決定手段107で判断し、パラメータ決定手段107が、次に観測データが記憶される時刻が観測データベース105に記憶されていると判断したならば、以下の動作を行う。例えば、図5の(a)に示すように現在の時刻は17分20秒(ここでは、説明の簡略上、年月日時は省略する。)で、観測データベース105に記憶された情報を参照すると、次に観測データが記憶される時刻が17分26秒となっている(図5の(b)参照)。現在の時刻17分20秒における未処理の観測データは、第1観測装置501で取得した第1観測物体に関する観測データ「Obj_001」と第2観測物体に関する観測データ「Obj_002」の2個であり(図5の(a)の2行目参照)、次に観測データ(この例では、第3観測装置503で取得する第4観測物体と第5観測物体のそれぞれの観測データ)が記憶されるまで(図5の(b)のデータテーブルID「TBL_002」のデータテーブルが記憶されるまで)に、(現在の時刻:17分20秒)−(次の時刻:17分26秒)=6秒の余裕があることが処理終了予測手段104で算出できる。このとき、現在の時点での未処理の観測データは物体2個であるため、6秒/2個=3秒より、物体1個あたりに費やせる処理時間は3秒までとパラメータ決定手段107で算出できる。よって、図11Aの関係情報から、物体1個あたり3秒で処理できる(物体1個あたり3秒の処理速度での)パーティクル数は500個であると、パラメータ決定手段107で設定(決定)することができる。

0079

よって、物体位置推定手段106が処理する観測データ数と、次に観測データが記憶されるまでの時間とに応じて、パーティクルフィルタのパーティクル数をパラメータ決定手段107により設定(決定)し、パラメータ決定手段107で設定した500個のパーティクルを使用して、物体位置推定手段106によりパーティクルフィルタを使用して、2個の物体の位置推定を行うことができる。この結果、物体位置推定処理に必要となる次の観測データが記憶されるまでの待ち時間内に、前記観測生データの物体識別処理を終了させることができる。言い換えれば、観測手段101の観測に対して遅れが出ることなく、物体の位置を推定することができる。

0080

ここで、もし、次に観測データが記録される時間(観測生データ処理終了予定時刻)が、図5の観測データベース105に未だ記憶されていなかったとパラメータ決定手段107で判断した場合には、パラメータ決定手段107は、パーティクルの数を事前に決定しておいた基準となるパーティクル数(例えば、200個)に決定する。

0081

観測データベースの一例を示す図20Aの「TBL_004」は、観測生データ処理終了予定時刻が記録されていない状況において、観測データが記録された観測データベース105の例を示している。「TBL_004」に示したデータが得られている場合、上述したように、パラメータ決定手段107は、パーティクルの数を事前に決定しておいた基準となるパーティクル数に決定し、物体の位置を推定する。ここで、観測データベースの別の例を示す図20Bの「TBL_005」は、前記「TBL_004」に示されたデータを用いて物体の位置を推定した後の観測データベース105の例を示している。「TBL_005」には、観測装置503が出力した観測値「Obj_004(266, 37)」,「Obj_005(322, 21)」と、観測装置502が出力した観測値「Obj_002(119, 28)」,「Obj_003(197, 69)」,「Obj_004(266, 36)」の計5個の観測データが未処理の観測データとして存在している。また、現在時刻は、2007年9月11日14時17分34秒であり、次に観測データが記録される時刻は、2007年9月11日14時17分38秒となっている。つまり、次の観測データが記録されるまでの4秒間の間に5個の観測データを処理可能なパーティクル数を、パラメータ決定手段107が決定することとなる。

0082

また、時間単位は秒に限らず、例えば、「次に観測データが記憶されるまで」の時間を、「多く時間がかかる」場合と、「中くらい時間がかかる」場合と、「少しだけ時間がかかる」場合等との複数の段階(例えば、ここでは、3段階)に分けて表し、パーティクル数と物体1個あたりの処理時間の関係情報もそれに合わせて作成しておいても良い。そのときの、パーティクル数と処理時間との関係情報を図18に示す。図18では、例えば、「多く時間がかかる」(図18では「長い」と表現している。)場合はパーティクル数を300個とし、「中くらい時間がかかる」(図18では「中くらい」と表現している。)場合はパーティクル数を200個(基準パーティクル数)とし、「少しだけ時間がかかる」(図18では「短い」と表現している。)場合はパーティクル数を100個としている。このような関係情報を基に、パラメータ決定手段107によりパーティクルの数を設定してもよい。

0083

前記第1実施形態によれば、物体位置推定手段106が処理する観測データ数と、次に観測データが記憶されるまでの時間とに応じて、パーティクルフィルタのパーティクル数をパラメータ決定手段107により変更することができる。つまり、基準又は初期の設定として、現在の時刻から次に観測データが記憶される時刻までの観測生データ処理可能時間とその観測生データ処理可能時間に処理可能なパーティクル数との関係情報をパラメータ決定手段107の内部記憶部に予め記憶しておく。そして、現在の時刻から次に観測データが記憶される時刻までの観測生データ処理可能時間が所定時間よりも短い場合には、パラメータ決定手段107により、所定時間に対応するパーティクル数よりも減らして物体識別処理に要する時間を削減する一方、現在の時刻から次に観測データが記憶される時刻までの観測生データ処理可能時間が前記所定時間よりも長い場合には、パーティクル数を前記所定数より増やして物体の位置を高精度に推定することができる。よって、物体位置推定処理に必要となる次に観測データが記憶されるまでの待ち時間内に、前記観測生データの物体識別処理を確実に終了させることができる。

0084

(第2実施形態)
図1は、本発明の第2実施形態にかかる物体位置推定システムを示したブロック図でもある。すなわち、第2実施形態にかかる物体位置推定システムの大略構成は、第1実施形態にかかる物体位置推定システムと同様であり、後述するように、物体位置推定手段106とパラメータ決定手段107との機能が異なるのみである。

0085

本システムは、観測手段101と、物体データベース102と、物体識別手段103と、処理終了時刻予測手段104と、観測データベース105と、物体位置推定手段106と、パラメータ決定手段107とで構成される。

0086

物体位置推定手段106とパラメータ決定手段107と以外の各手段、及び各データベースについては、第1実施形態にて説明した機能と同等のため説明を省略する。

0087

物体位置推定手段106として、パーティクルフィルタの代わりに、例えばカルマンフィルタなどを用いることができる。「カルマンフィルタ」とは、システムの状態(本発明の第2実施形態においては、例えば、物体位置)の情報にノイズが含まれ、観測値にもノイズが含まれる場合に、システムの取りうる状態の候補の中から、最も確率の高い状態を推定するものである。図6Bに物体位置推定処理にカルマンフィルタを利用した例を示す。縦軸は確率、横軸は位置を表す。

0088

物体が下記の(数1)の式に表されるような移動を行うとき、観測手段101は下記の(数2)の式で求められる観測値603を得ることができる。ここで、Aは物体の運動モデル、xは物体位置、vは移動の際に生じるプロセスノイズを表している。また、yは観測値、Hは物体位置xと観測値yを対応付ける観測モデル、wは観測ノイズ、tは時間を表している。

0089

0090

0091

ここで、プロセスノイズv及び観測ノイズwは、白色ガウスノイズとすると、p(w)は(数3)の式、p(v)は(数4)の式のように表される。尚、N(0,Q)は、平均0、分散Qのガウス分布を表している。N(0,R)も同様に、平均0、分散Rのガウス分布を表している。

0092

0093

0094

観測値603が得られると、現在得られている物体の位置に関する事前確率分布601(以後、「事前分布」と呼ぶ。)を物体位置推定手段106で更新し、予測分布602を物体位置推定手段106で作成する。(数5)の式で予測分布602の位置を物体位置推定手段106で求め、(数6)の式で予測分布602の分散を物体位置推定手段106で求めることができる。尚、「Xa|b」は時刻bの情報を基にした時刻aのXの推定値を表す。例えば、(数5)の「xt|t-1」は時刻t-1の情報を基にした時刻tの物体位置xの推定値を表しており、(数6)の「Pt|t-1」は時刻t−1の情報を基にした時刻tのPの推定値を表している。ここで、Pは分布の分散を表している。

0095

0096

0097

予測分布602が物体位置推定手段106で得られると、観測値603と予測分布602とから事後分布604を物体位置推定手段106で求める。(数7)の式で事後分布604の位置を物体位置推定手段106で求め、(数8)の式で事後分布604の分散を物体位置推定手段106で求めることができる。ここで、Kはカルマンゲインと呼ばれる値であり、(数9)の式にて求められる。カルマンゲインは更新量を決定する値である。観測値の精度が良い(分散Rが非常に小さい)場合には、更新量を大きくするため、カルマンゲインの値は大きくなる。逆に、事前分布の精度が良い(Pが非常に小さい)場合には、更新量を小さくするため、カルマンゲインの値は小さくなる。

0098

0099

0100

0101

パラメータ決定手段107は、観測生データ処理終了予定時刻と、現在の時刻と、物体位置推定手段106の処理能力と、現在未処理の観測データとの各情報を用いて、現在の時刻から観測生データ処理終了予定時刻までに、何個の物体の未処理観測データを処理できるかを推定する。

0102

具体的には、図5の(a)のデータテーブルID「TBL_001」のデータテーブルを用いて説明すると、例えば、現在の時刻は17分20秒(ここでは、説明の簡略上、年月日時は省略する。)で、次に観測データが記憶されるのが17分26秒となっている(図5の(b)参照)。第1実施形態と同様に、現在の時刻17分20秒における未処理の観測データは、第1観測装置501で取得した第1観測物体に関する観測データ「Obj_001」と第2観測物体に関する観測データ「Obj_002」の2個であり(図5の(a)の2行目参照)、次に観測データ(この例では、第3観測装置503で取得する第4観測物体と第5観測物体のそれぞれの観測データ)が記憶されるまで(図5の(b)のデータテーブルID「TBL_002」のデータテーブルが記憶されるまで)に、(現在の時刻:17分20秒)−(次の時刻:17分26秒)=6秒の余裕があることがパラメータ決定手段107で算出できる。

0103

このとき、物体位置推定手段106が物体1個につき3秒の処理時間がかかるとすると、前記したように、次に観測データが記憶されるまでに6秒の余裕があることから、6秒/3秒=2個であるから、2個の物体の位置を推定できることになり、第1観測装置ID「501」の観測装置501の観測手段101が観測した物体2個分の観測データは全て処理可能となる。しかし、物体位置推定手段106が物体1個につき5秒の処理時間がかかるとすると、次に観測データが記憶される前に6秒しか余裕が無いことから、6秒/5秒=1.2個であるから、1個の物体の位置しか推定できないことになる。この場合、観測装置ID「501」の観測装置501の観測手段101が観測した2個の物体(Obj_001,Obj_002)のうち、どちらの物体位置を推定するかを物体位置推定手段106で選択する必要が出てくる。

0104

物体位置推定手段106により、複数の物体の中から、位置推定を行う物体の選択方法について、図6B図7を用いて説明する。

0105

図7は、3つの観測装置501、502、503を用いて環境内に存在する5個の物体を観測している様子を示しており、図8は、データテーブルID「TBL_001」のデータテーブルが得られている時刻において、第1観測装置ID「501」の観測データを処理する直前の各物体の推定位置状況(例えば、物体位置推定手段106にカルマンフィルタを用いる場合、運動モデルを考慮した後の事前分布でも良い。)を示している。各観測装置501、502、503はカメラ又は測距センサである。

0106

図8に物体位置の推定状況例を示す。図8に示されているのは、各物体の位置に関する確率分布であり、例えば、物体IDが「Obj_001」の第1観測物体に関しては、平均位置(位置座標)が(x,y)=(60,20)、分散共分散行列が(52,0,0,52)であることを示している。また、物体IDが「Obj_002」の第2観測物体に関しては、平均位置(位置座標)が(x,y)=(120,25)、分散共分散行列が(202,0,0,202)であることを示している。

0107

一例として、ここでは、物体IDが「Obj_001」と「Obj_002」との2個の観測物体から、位置を推定する物体1つだけを物体位置推定手段106で選ぶ場合、分散がより大きい分布を持つ物体の位置を推定して物体位置推定手段106で選択することとする。この場合、第1観測物体の分散共分散行列が(52,0,0,52)であるのに対して第2観測物体の分散共分散行列が(202,0,0,202)であることから、物体IDが「Obj_001」の第1観測物体の分布の分散より、物体IDが「Obj_002」の第2観測物体の分布の分散の方が大きいため、物体IDが「Obj_002」の物体の位置を物体位置推定手段106で推定させるとパラメータ決定手段107で決定する。これにより、位置が曖昧にしか推定できていない物体から、順に位置を推定することになり、全物体の位置推定精度について偏りを無くすことが可能となる。

0108

また、位置を推定する物体を物体位置推定手段106で選択するのに、分散ではなく、分布の中心位置と観測位置との距離を物体位置推定手段106で比較して物体位置推定手段106で選択するようにしても良い。例えば、物体IDが「Obj_001」の第1観測物体は分布の中心位置(位置座標)が(60,20)で第1観測装置501の観測手段101の観測位置(位置座標)が(65,20)であり、その差が5cmである。それに対して、物体IDが「Obj_002」の第2観測物体は分布の中心位置(位置座標)が(120,25)で第2観測装置502の観測手段101の観測位置(位置座標)が(120,26)であり、その差は1cmしかないと仮定する。このとき、分布の中心位置と観測位置の差が大きな場合には、物体IDが「Obj_001」の物体の位置を物体位置推定手段106で推定させると物体位置推定手段106で決定する。これにより、位置が曖昧にしか推定できていない物体から順に位置を物体位置推定手段106で推定することになり、全物体の位置推定精度についての偏りを無くすことが可能となる。物体位置推定手段106での物体位置推定後は、物体IDが「Obj_001」の物体と物体IDが「Obj_002」の物体は、共に処理済み観測データとなる。処理済み観測データか否かの物体位置推定手段106による判断は、パラメータ決定手段107が処理を行った観測データを観測データベース105で記憶しておいても良いし、又は、観測データベース105に処理済みであることを示す情報を物体位置推定手段106で更に記憶しておいて、物体位置推定手段106でそれを読み出すことにより判断を行うようにしても良い。なお、これらの場合には、図1において、パラメータ決定手段107から観測データベース105へのデータ(情報)の流れ、又は、物体位置推定手段106から観測データベース105へのデータ(情報)の流れが追加されることになる。

0109

また、位置を推定する物体を物体位置推定手段106で選択するのに、マッチングスコアを利用しても良い。マッチングスコアが低いということは、検出した差分領域とテンプレート画像との間でマッチしなかった箇所が多く存在したことを表し、物体IDの識別を誤っている可能性がある。つまり、マッチングスコアの低い物体IDに関するデータを使用して位置推定を行うと、前記位置推定の結果も誤ってしまう恐れがある。そこで、マッチングスコアの高い物体IDの順に、位置を推定することで、誤った位置推定を行うことを避けることも可能である。例えば、図26の第一番目のデータ「Obj_001(65,20),Obj_002(120,26)」の内、1つの物体しか位置推定を行う時間が無かったとする。このとき、「Obj_001」のマッチングスコア(0.8)が「Obj_002」のマッチングスコア(0.6)よりも高いため、「Obj_001」の位置推定を物体位置推定手段106で行うこととなる。

0110

次に、物体位置推定システムの処理について、図9及び図10に示すフローチャートを参照しながら説明する。図9は各観測装置500の観測手段での観測動作及び物体識別手段103での物体識別処理及び処理終了時刻予測手段104での処理終了時刻予測処理のフローチャートであり、図10は物体位置推定手段106での物体位置推定処理のフローチャートである。

0111

始めに、図9の観測装置500の観測動作などのフローチャートについて説明する。

0112

ステップS901では、観測装置500に備え付けられた観測手段101の一例であるセンサが環境を観測し、観測生データを取得する。

0113

次いで、ステップS902では、物体識別手段103が、センサで取得した観測生データの物体識別処理を開始する。

0114

次いで、ステップS903では、処理終了時刻予測手段104が、物体識別手段103の観測生データの物体識別処理内容から、物体識別処理の終了予定時刻を予測する。

0115

次いで、ステップS904では、ステップS903で予測した観測生データの物体識別処理終了予定時刻を、処理終了時刻予測手段104が観測データベース105に記憶する。

0116

次いで、ステップS905では、物体識別手段103は、前記観測生データの物体識別処理を終了し次第、観測データベース105に物体のIDと位置とに関する観測データを記憶する。

0117

次に、図10の物体位置推定処理に関するフローチャートについて説明する。

0118

ステップS1001では、パラメータ決定手段107が、観測データベース105に未処理の観測データが存在するか否かを判断する。観測データベース105に未処理の観測データが存在しないとパラメータ決定手段107で判断した場合には、未処理の観測データが存在するまで、このステップS1001を繰り返す。観測データベース105に未処理の観測データが存在するとパラメータ決定手段107で判断した場合には、ステップS1002に進む。

0119

次いで、ステップS1002では、パラメータ決定手段107が、観測データベース105から、次に物体のIDと位置とに関する観測データが記憶される時刻を取得する。

0120

次いで、ステップS1003では、パラメータ決定手段107が、ステップS1002で取得した時刻とパラメータ決定手段107の内部のタイマーから取得した現在の時刻との時間差と、物体位置推定手段106の処理速度から物体位置推定処理を行うことのできる観測物体数を決定する。

0121

次いで、ステップS1004では、パラメータ決定手段107が、現時点で得られている各物体の物体推定置状況から、推定位置と観測位置との差が大きい物体から順に、ステップS1003で決定した前記観測物体数分だけ、位置推定処理を行う観測物体であると決定する。

0122

次いで、ステップS1005では、ステップS1004でパラメータ決定手段107により位置推定処理を行う観測物体として決定した観測物体について、観測データベース105に記憶されている物体IDと位置とに関する観測データを基に、物体の位置推定処理を物体位置推定手段106が行う。

0123

図11Bは、図5に示した観測データ、及び、観測生データ処理終了予定時刻を基に、物体の位置を推定したときのタイミングチャートである。尚、説明を簡単にするため、図11Bでは第2観測装置502に関する処理は省略してあり、以下の説明でも第2観測装置502に関しては省略する。

0124

図5に示すように、時刻14:17:20(14時17分20秒)(ここでは、説明の簡略上、年月日は省略する。)において、第1観測装置501で取得した観測生データの物体識別処理の結果である観測データとして、「Obj_001(65,20)」と「Obj_002(120,26)」とが観測データベース105に記憶されると、観測データベース105に記憶されている観測生データ処理終了予定時刻をパラメータ決定手段107が参照して取得する。また、同じ時刻14:17:20においては、図5に示すように、第3観測装置503の観測生データ処理終了予定時刻14:17:26が観測データベース105に記憶されているため、次に、第3観測装置503の第4観測データ「Obj_004(266,37)」及び第5観測データ「Obj_005(322,21)」が記憶されるまでの6秒間、物体位置推定処理を行う時間があることとなる。このとき、1つの物体の位置を3秒以内で推定処理できるのであれば、「Obj_001(65,20)」と「Obj_002(120,26)」の2つの観測データを用いて物体IDが「Obj_001」と物体IDが「Obj_002」との2つの物体の位置を物体位置推定処理手段106で推定処理できる。しかし、1つの物体の位置の推定処理に3秒より長い時間がかかる場合には、「Obj_001(65,20)」と「Obj_002(120,26)」とのどちらかのデータを用いて、1つの物体の位置を物体位置推定処理手段106で推定処理することとなる。どちらのデータを用いるかの判断は既に説明済みのため、省略する。

0125

もし、観測生データ処理終了予定時刻をパラメータ決定手段107が参照した結果、観測生データ処理終了予定時刻が記憶されていないとパラメータ決定手段107が判断した場合には、一例として、観測データに記憶されている「Obj_001(65,20)」と「Obj_002(120,26)」との2つのデータを用いて物体位置推定処理を行う。以後、同じように処理を繰り返し、物体の位置の推定処理を行う。

0126

図11Bのタイミングチャートについて、詳細に説明する。
この図11Bの例では、現在の時刻14時17分20秒(ここでは、説明の簡略上、年月日は省略する。)までに、第1観測装置501の観測手段101により第1観測物体及び第2観測物体の観測生データをそれぞれ取得し(図11Bの工程P1参照)、処理終了時刻予測手段104により、物体識別手段103が観測生データをそれぞれ処理するのに要する時間(観測生データ処理終了予定時刻)の合計を算出し、観測データベース105に観測生データ処理終了予定時刻として、第1観測装置501のID「501」と共に観測データベース105に記憶する(図11Bの工程P2参照)。次いで、第1観測装置501で得られた観測生データを使用して、物体識別手段103で物体識別処理を開始し、観測生データの物体識別処理を終了して観測データを得ると、それらの観測データ「Obj_001(65,20)」と「Obj_002(120,26)」とを第1観測装置501のID「501」と共に観測データベース105に記憶する(図5の(a)の2行目及び図11Bの工程P3参照)。この工程P3の終了時刻が現在の時刻14時17分20秒である。

0127

このとき、工程P1〜P3と並行して、現在の時刻14時17分20秒までに、第3観測装置503の観測手段101により第4観測物体及び第5観測物体の観測生データをそれぞれ取得し(図11Bの工程P4参照)、処理終了時刻予測手段104により、物体識別手段103が観測生データをそれぞれ処理するのに要する時間(観測生データ処理終了予定時刻)の合計を算出し、観測データベース105に観測生データ処理終了予定時刻として、第3観測装置503のID「503」と共に観測データベース105に記憶する(図5の(a)の3行目の「14時17分26秒」及び図11Bの工程P5参照)。次いで、第3観測装置503で得られた観測生データを使用して、物体識別手段103で物体識別処理を開始する(図11Bの工程P6参照)。この工程P6は、工程P3が終了しても(言い換えれば、現在の時刻14時17分20秒を過ぎても)続けられ、観測生データの物体識別処理を終了して観測データを得ると、その観測データ「Obj_004(266,37)」及び「Obj_005(322,21)」を第3観測装置503のID「503」と共に観測データベース105に記憶する(図5の(b)の5行目及び図11Bの工程P6参照)。この工程P6の終了時刻が現在の時刻14時17分26秒である。

0128

このようにして、現在の時刻14時17分26秒までに、図5の(a)に示すように、第1観測装置501のID「501」と共に第1観測物体の観測データと第2観測物体の観測データとが観測データベース105に記憶されるとともに、第3観測装置503に関する観測生データ処理終了予定時刻が観測データベース105に記憶されることになる。

0129

よって、パラメータ決定手段107により、図5の(a)のデータテーブルに示す第3観測装置503に関する観測生データ処理終了予定時刻を参照して、現在の時刻から観測生データ処理終了予定時刻までの時間{(14時17分26秒)−(14時17分20秒)=6秒}を算出し、この算出された時間が物体位置推定処理を行う時間となる。このとき、1つの物体の位置を3秒以内で推定処理できるのであれば、「Obj_001(65,20)」と「Obj_002(120,26)」の2つの観測データを用いて物体IDが「Obj_001」と物体IDが「Obj_002」との2つの物体の位置を物体位置推定処理手段106で推定処理できる(図11Bの工程P21参照)。しかし、1つの物体の位置の推定処理に3秒より長い時間がかかる場合には、「Obj_001(65,20)」と「Obj_002(120,26)」とのどちらかのデータを用いて、1つの物体の位置を物体位置推定処理手段106で推定処理することとなる(図11Bの工程P21参照)。どちらのデータを用いるかの判断は既に説明済みのため、省略する。

0130

また、現在の時刻14時17分20秒以降では、第1観測装置501での物体識別処理が終了しているので、第1観測装置501により他の観測物体の観測動作を行う。すなわち、第1観測装置501の観測手段101により第3観測物体及び第4観測物体の観測生データをそれぞれ取得し(図11Bの工程P7参照)、処理終了時刻予測手段104により、物体識別手段103が観測生データをそれぞれ処理するのに要する時間(観測生データ処理終了予定時刻)の合計を算出し、観測データベース105に観測生データ処理終了予定時刻として、第1観測装置501のID「501」と共に観測データベース105に記憶する(図5の(b)の最下行の「14時17分38秒」及び図11Bの工程P8参照)。次いで、第1観測装置501で得られた観測生データを使用して、物体識別手段103で物体識別処理を開始し、観測生データの物体識別処理を終了して観測データを得ると、その観測データを第1観測装置501のID「501」と共に観測データベース105に記憶する(図11Bの工程P9参照)。この工程P9の終了時刻が時刻14時17分38秒である。

0131

時刻14時17分26秒になると、第1観測物体及び第2観測物体、又は、第1観測物体及び第2観測物体のいずれかの物体の物体位置推定処理工程P21が終了するので、続いて、パラメータ決定手段107により、図5の(b)のデータテーブルに示す第1観測装置501に関する観測生データ処理終了予定時刻を参照して、14時17分26秒から観測生データ処理終了予定時刻までの時間{(14時17分38秒)−(14時17分26秒)=8秒}を算出し、この算出された時間が物体位置推定処理を行う時間となる。このとき、1つの物体の位置を4秒以内で推定処理できるのであれば、「Obj_004(266,37)」と「Obj_005(322,21)」の2つの観測データを用いて物体IDが「Obj_004」と物体IDが「Obj_005」との2つの物体の位置を物体位置推定処理手段106で推定処理できる(図11Bの工程P22参照)。しかし、1つの物体の位置の推定処理に4秒より長い時間がかかる場合には、「Obj_004(266,37)」と「Obj_005(322,21)」とのどちらかのデータを用いて、1つの物体の位置を物体位置推定処理手段106で推定処理することとなる(図11Bの工程P22参照)。どちらのデータを用いるかの判断は既に説明済みのため、省略する。

0132

また、時刻14時17分26秒以降では、第3観測装置503での物体識別処理が終了しているので、第3観測装置503により他の観測物体の観測動作を行う。すなわち、工程P9と同時に、第3観測装置503の観測手段101により第1観測物体及び第2観測物体の観測生データをそれぞれ取得し(図11Bの工程P10参照)、処理終了時刻予測手段104により、物体識別手段103が観測生データをそれぞれ処理するのに要する時間(観測生データ処理終了予定時刻)の合計を算出し、観測データベース105に観測生データ処理終了予定時刻として、第3観測装置503のID「503」と共に観測データベース105に記憶する(図5の(c)の最下行の「14時17分48秒」及び図11Bの工程P11参照)。次いで、第3観測装置503で得られた観測生データを使用して、物体識別手段103で物体識別処理を開始する(図11Bの工程P12参照)。この工程P12は、工程P9が終了しても(言い換えれば、時刻14時17分38秒を過ぎても)続けられ、観測生データの物体識別処理を終了して観測データを得ると、その観測データを第3観測装置503のID「503」と共に観測データベース105に記憶する(図11Bの工程P12参照)。

0133

その後、時刻14時17分38秒になると、第4観測物体及び第5観測物体、又は、第4観測物体及び第5観測物体のいずれかの物体の物体位置推定処理工程P22が終了するので、続いて、パラメータ決定手段107により、前記したのと同様に、14時17分38秒から観測生データ処理終了予定時刻までの時間を算出し、この算出された時間が、工程P9で取得された観測データの物体位置推定処理を行う時間となる(図11Bの工程P23参照)。

0134

前記第2実施形態によれば、物体位置推定処理に必要となる次に観測データが記憶されるまでの待ち時間内に処理可能な物体数から、物体位置推定処理を行う物体を決定することによって、限られた時間内に、可能な限り物体位置の推定を行うことのできる物体位置推定システムを提供することができる。

0135

(第3実施形態)
図21は、本発明の第3実施形態にかかる物体位置推定システムを示すブロック図である。

0136

本システムは、観測手段101と、物体データベース102と、物体識別手段103と、処理終了時刻予測手段104と、観測データベース105と、物体位置推定手段106と、パラメータ決定手段107と、表示手段108とで構成される。

0137

表示手段108以外の各手段、及び各データベースについては、第1実施形態又は第2実施形態にて説明した機能と同等のため、それらの説明を省略する。

0138

表示手段108は、物体位置推定手段106の物体位置の推定結果を受け取り、前記推定結果を表示する。表示手段108の一例としてはモニタなどを使用することができる。

0139

また、表示手段108は、観測データベース105を参照し、現在推定されている物体の推定位置を出力するために使用した観測データが得られた時刻を、前回推定時刻として表示することができる。図25の「TBL_006」に、観測装置101が観測を行った時刻を記録可能な観測データベース105の例を示す。例えば、観測装置ID503の観測データ「Obj_004(266,37),Obj_005(322,21)」を使用して物体位置推定処理を行った場合、前記観測データが観測された時刻は、前回の観測装置ID503のデータから、時刻2007年9月11日14時17分15秒であることが分かる。

0140

さらに、表示手段108は、観測データベース105を参照し、次回の物体識別処理の終了予定時刻を、次回の前記物体位置推定手段106の物体位置推定結果の出力時刻として表示する。現在、図25の「TBL_006」の状態にある場合、次回の物体識別処理の終了予定時刻は、2007年9月11日14時17分34秒であるため、表示手段108は、次回の物体位置の推定結果の出力時刻を2007年9月11日14時17分34秒と表示する。

0141

図22に表示手段108の表示例を示す。図22の表示例には、「Obj_001」,「Obj_002」,「Obj_003」,「Obj_004」,「Obj_005」の各物体の推定位置と、現在時刻、前回推定時刻、次回推定時刻の各情報とが表示されている。尚、表示手段108は、現在時刻を取得するためのタイマーを備えているものとする。

0142

また、表示手段108は、物体の推定位置を確率密度分布で表示しても良い。物体の推定位置を確率密度分布で表示した例を図23に示す。図23には、「Obj_001」,「Obj_002」,「Obj_003」,「Obj_004」,「Obj_005」の各物体の位置の平均位置と分散とが数値グラフとで表示されている。

0143

また、表示手段108は、物体の推定位置を実環境(現在時刻での環境)の映像オーバーレイさせて表示しても良い(ただし、図では、簡略化のため、部屋及び家屋などは図示を省略している。ここで言う実環境の映像とは、物体が映っている図を意味し、オーバーレイさせて表示しているのが、黒丸の推定位置と物体IDになります。)。「Obj_001」,「Obj_002」,「Obj_003」,「Obj_004」,「Obj_005」の各物体の推定位置を実環境の映像にオーバーレイさせて表示した例を図24に示す。尚、オーバーレイ表示を行う場合は、物体の推定位置と実環境における物体sの位置関係が理解し易いように、現在の実環境の映像を表示するのではなく、前回推定時刻に得られた映像を表示しても良い。

0144

前記第3実施形態によれば、表示手段108を備えることによって、ユーザに物体の推定位置を提示することができ、次回の物体の位置推定の結果が出力される時刻もユーザに提示することができる。

0145

前記各実施形態において、観測手段101と、物体データベース102と、物体識別手段103と、処理終了時刻予測手段104と、観測データベース105と、物体位置推定手段106と、パラメータ決定手段107となどのそれぞれ、又は、そのうちの任意の一部は、それ自体がソフトウェアで構成することができる。よって、例えば、前記第1,2,3実施形態の物体位置推定システム又は物体位置推定装置の物体位置推定動作のそれぞれのステップを有するコンピュータプログラムとして、記憶装置ハードディスク等)などの記録媒体読み取り可能に記憶させ、そのコンピュータプログラムをコンピュータの一時記憶装置半導体メモリ等)に読み込んでCPUを用いて実行することにより、前記した各ステップを実行することができる。

0146

なお、前記様々な実施形態のうちの任意の実施形態を適宜組み合わせることにより、それぞれの有する効果を奏するようにすることができる。

0147

本発明の物体位置推定システム、物体位置推定装置、物体位置推定方法、及び、物体位置推定プログラムは、物体位置推定処理に必要となる次に観測データが記憶されるまでの待ち時間内を有効に活用すべく、物体推定処理のパラメータを可変にすることによって実時間処理と物体位置推定の高精度化を両立できるため、家庭内における物品検索システム、又は、ロボットなどの移動体追従に有用である。

0148

本発明は、添付図面を参照しながら好ましい実施形態に関連して充分に記載されているが、この技術の熟練した人々にとっては種々の変形又は修正は明白である。そのような変形又は修正は、添付した請求の範囲による本発明の範囲から外れない限りにおいて、その中に含まれると理解されるべきである。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ