図面 (/)

技術 カメラの撮影画像に映る人物を検出する画像解析装置、プログラム及び方法

出願人 KDDI株式会社
発明者 小林達也加藤晴久
出願日 2015年12月24日 (4年2ヶ月経過) 出願番号 2015-252655
公開日 2017年6月29日 (2年8ヶ月経過) 公開番号 2017-117244
状態 特許登録済
技術分野 イメージ分析 画像処理
主要キーワード 床面全域 重複面積 包含率 包含領域 遮蔽面積 人物候補領域 遮蔽部分 キャリブレーションパラメータ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年6月29日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (13)

課題

1台のカメラによる撮影画像であっても、障害物の形状や配置に関する事前情報を要することなく、障害物によって遮蔽して映る人物における足元位置を検出することができる画像解析装置等を提供する。

解決手段

カメラによって撮影可能な撮影対象範囲における足元位置と、当該足元位置の人物が撮影画像に映るであろう人物領域候補とを対応付けて記憶したものであり、1人の人物に対して遮蔽に基づく複数の異なる人物領域候補を対応付けた人物領域候補記憶手段と、撮影画像から、前景領域を抽出する前景領域抽出手段と、前景領域に類似する人物領域を、人物領域候補記憶手段の人物領域候補とマッチングさせて検出する人物領域検出手段とを有し、検出された人物領域候補に対応する足元位置に人物が位置すると検出する。

概要

背景

従来、カメラによる撮影画像解析し、その撮影画像に映る人物を検出する技術がある。このような技術は、例えば所定の撮影対象範囲における人の混雑度調査や、動線解析、監視のための不審者検知等に利用される。撮影画像内に人物の全身はっきりと写る場合、比較的容易に人物を検出することができる。しかしながら、実際の利用シーンでは、障害物による遮蔽オクルージョン)によって、人物を検出することができないことも多い。

これに対し、撮影対象範囲を複数のカメラを用いて撮影し、重複して撮影された視差画像から人物領域を検出する技術がある(例えば特許文献1参照)。
また、複数のカメラからの視差に応じて、人物頭部のテンプレート画像のサイズを変更し、人物の検出精度を高める技術もある(例えば特許文献2参照)。
更に、複数のカメラを用いることなく、人物同士が重なる遮蔽領域について輝度変化から各人物頭部の位置を特定し、身長(例えば標準的な人物の身長)を仮定して足元位置推定する技術がある(例えば特許文献3参照)。
更に、画像中の人物頭部の位置と、足元位置と、カメラパラメータとを用いて、その人物の身長を推定し、一時的に障害物に遮蔽された場合に、遮蔽されていない足元又は頭部から遮蔽領域を推定する技術もある(例えば特許文献4参照)。
更に、カメラパラメータを用いて、撮影範囲内の各位置に人物の3次元モデル投影することによって、各位置に対応した人物の輪郭モデルを作成し、各輪郭モデルと撮影画像とをマッチングすることによって人物位置を検出する技術もある(例えば特許文献5参照)。尚、投影時に、障害物の3次元モデルを併用することによって、遮蔽を考慮した輪郭モデルを作成することもできる。

概要

1台のカメラによる撮影画像であっても、障害物の形状や配置に関する事前情報を要することなく、障害物によって遮蔽して映る人物における足元位置を検出することができる画像解析装置等を提供する。カメラによって撮影可能な撮影対象範囲における足元位置と、当該足元位置の人物が撮影画像に映るであろう人物領域候補とを対応付けて記憶したものであり、1人の人物に対して遮蔽に基づく複数の異なる人物領域候補を対応付けた人物領域候補記憶手段と、撮影画像から、前景領域を抽出する前景領域抽出手段と、前景領域に類似する人物領域を、人物領域候補記憶手段の人物領域候補とマッチングさせて検出する人物領域検出手段とを有し、検出された人物領域候補に対応する足元位置に人物が位置すると検出する。

目的

本発明は、1台のカメラによる撮影画像であっても、障害物の形状や配置に関する事前情報を要することなく、障害物によって遮蔽して映る人物における足元位置を検出することができる画像解析装置、プログラム及び方法を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

カメラによる撮影画像の中から人物を検出する画像解析装置であって前記カメラによって撮影可能な撮影対象範囲における足元位置と、当該足元位置の人物が前記撮影画像に映るであろう人物領域候補とを対応付けて記憶したものであり、1人の人物に対して遮蔽に基づく複数の異なる人物領域候補を対応付けた人物領域候補記憶手段と、前記撮影画像から、前景領域を抽出する前景領域抽出手段と、前記前景領域に類似する人物領域を、前記人物領域候補記憶手段の前記人物領域候補とマッチングさせて検出する人物領域検出手段とを有し、検出された人物領域候補に対応する足元位置に人物が位置すると検出することを特徴とする画像解析装置。

請求項2

前記人物領域候補記憶手段は、1人の人物に対して、足元から又は頭部から遮蔽されることによって前記撮影画像に映るであろう異なる遮蔽状態を、異なる面積の複数の異なる人物領域候補を対応付けて記憶することを特徴とする請求項1に記載の画像解析装置。

請求項3

前記前景領域抽出手段は、前記撮影画像から、背景差分によって前記前景領域を抽出することを特徴とする請求項1又は2に記載の画像解析装置。

請求項4

人物領域候補記憶手段は、異なる遮蔽状態の複数の人物領域候補それぞれに、当該足元位置で映るであろう可能性に応じた重み係数を付与し、前記人物領域検出手段は、前記人物領域候補とマッチングさせる際に、前記重み係数に応じて、前記前景領域に類似する人物領域を検出することを特徴とする請求項1から3のいずれか1項に記載の画像解析装置。

請求項5

前記人物領域検出手段は、検出された人物領域が、複数の前景領域を包含する場合、複数の前景領域を統合した統合前景領域を生成し、当該統合前景領域に類似する人物領域を、前記人物領域候補記憶手段の前記人物領域候補と改めてマッチングさせて検出することを特徴とする請求項1から4のいずれか1項に記載の画像解析装置。

請求項6

前記人物領域検出手段は、人物領域候補との類似度閾値以下となった第1の前景領域についても、第1の前景領域と最も類似度の高い人物領域候補の全身領域が、他の第2の前景領域を包含する場合に、第1の前景領域と第2の前景領域とを統合した統合前景領域を生成し、当該統合前景領域に類似する人物領域を、前記人物領域候補記憶手段の前記人物領域候補と改めてマッチングさせて検出することを特徴とする請求項1から5のいずれか1項に記載の画像解析装置。

請求項7

前記人物領域候補記憶手段の中で、前記足元位置毎に、前記人物領域検出手段によって検出された人物領域よりも遮蔽部分が広い(人物領域の面積が小さい)人物領域候補を除外するべく、人物領域候補を絞り込む人物領域候補除外手段を更に有することを特徴とする請求項1から6のいずれか1項に記載の画像解析装置。

請求項8

前記人物領域候補除外手段は、前記人物領域候補が除去された際に、その足元位置毎にタイマカウンタリセットし、当該タイマカウンタが所定時間でタイムアウトした際に、その足元位置における人物領域候補を全て元に復活させることを特徴とする請求項7に記載の画像解析装置。

請求項9

前記カメラは、広い画角を1フレームとして撮影するパノラマカメラであり、前記撮影画像によれば、異なる足元位置に映る人物領域は、同1人物であっても、異なる輪郭画像として映ることを特徴とする請求項1から8のいずれか1項に記載の画像解析装置。

請求項10

前記人物領域候補記憶手段は、前記撮影画像に映る人物領域の足元のピクセル座標から、当該カメラのカメラパラメータ及び/又はキャリブレーションパラメータによって変換した撮影対象範囲における絶対座標を前記足元位置として、前記人物領域候補に対応させて記憶することを特徴とする請求項1から9のいずれか1項に記載の画像解析装置。

請求項11

前記人物領域検出手段は、前景領域A1と、比較すべき人物領域候補A2とを重畳し、その包含領域A1∪A2に対する重複領域A1∩A2の比を類似度とし、当該類似度が高い人物領域候補を当該人物領域として検出することを特徴とする請求項1から10のいずれか1項に記載の画像解析装置。

請求項12

前記人物領域候補記憶手段は、前記人物領域候補毎に、前記撮影画像(ピクセル画像)における中心座標及び面積を対応付けて記憶しており、前記人物領域検出手段は、前記前景領域の中心座標及び面積と、前記人物領域候補の中心座標及び面積とを比較して、類似する前記人物領域を検出することを特徴とする請求項1から11のいずれか1項に記載の画像解析装置。

請求項13

カメラによる撮影画像の中から人物を検出する装置に搭載されたコンピュータを機能させるプログラムであって、前記カメラによって撮影可能な撮影対象範囲における足元位置と、当該足元位置の人物が前記撮影画像に映るであろう人物領域候補とを対応付けて記憶したものであり、1人の人物に対して遮蔽に基づく複数の異なる人物領域候補を対応付けた人物領域候補記憶手段と、前記撮影画像から、前景領域を抽出する前景領域抽出手段と、前記前景領域に類似する人物領域を、前記人物領域候補記憶手段の前記人物領域候補とマッチングさせて検出する人物領域検出手段としてコンピュータを機能させ、検出された人物領域候補に対応する足元位置に人物が位置すると検出することを特徴とする画像解析用のプログラム。

請求項14

カメラによる撮影画像の中から人物を検出する装置の画像解析方法であって、前記装置は、前記カメラによって撮影可能な撮影対象範囲における足元位置と、当該足元位置の人物が前記撮影画像に映るであろう人物領域候補とを対応付けて記憶したものであり、1人の人物に対して遮蔽に基づく複数の異なる人物領域候補を対応付けた人物領域候補記憶部を有し、前記装置は、前記撮影画像から、前景領域を抽出する第1のステップと、前記前景領域に類似する人物領域を、前記人物領域候補記憶手段の前記人物領域候補とマッチングさせて検出する第2のステップとを実行し、検出された人物領域候補に対応する足元位置に人物が位置すると検出することを特徴とする装置の画像解析方法。

技術分野

0001

本発明は、カメラ撮影画像に映る人物を検出する画像解析技術に関する。

背景技術

0002

従来、カメラによる撮影画像を解析し、その撮影画像に映る人物を検出する技術がある。このような技術は、例えば所定の撮影対象範囲における人の混雑度調査や、動線解析、監視のための不審者検知等に利用される。撮影画像内に人物の全身はっきりと写る場合、比較的容易に人物を検出することができる。しかしながら、実際の利用シーンでは、障害物による遮蔽オクルージョン)によって、人物を検出することができないことも多い。

0003

これに対し、撮影対象範囲を複数のカメラを用いて撮影し、重複して撮影された視差画像から人物領域を検出する技術がある(例えば特許文献1参照)。
また、複数のカメラからの視差に応じて、人物頭部のテンプレート画像のサイズを変更し、人物の検出精度を高める技術もある(例えば特許文献2参照)。
更に、複数のカメラを用いることなく、人物同士が重なる遮蔽領域について輝度変化から各人物頭部の位置を特定し、身長(例えば標準的な人物の身長)を仮定して足元位置推定する技術がある(例えば特許文献3参照)。
更に、画像中の人物頭部の位置と、足元位置と、カメラパラメータとを用いて、その人物の身長を推定し、一時的に障害物に遮蔽された場合に、遮蔽されていない足元又は頭部から遮蔽領域を推定する技術もある(例えば特許文献4参照)。
更に、カメラパラメータを用いて、撮影範囲内の各位置に人物の3次元モデル投影することによって、各位置に対応した人物の輪郭モデルを作成し、各輪郭モデルと撮影画像とをマッチングすることによって人物位置を検出する技術もある(例えば特許文献5参照)。尚、投影時に、障害物の3次元モデルを併用することによって、遮蔽を考慮した輪郭モデルを作成することもできる。

先行技術

0004

特許4970195号公報
特許4516516号公報
特開2014−229068号公報
特開2010−237872号公報
特開2009−282742号公報

発明が解決しようとする課題

0005

特許文献1及び2に記載の技術によれば、複数のカメラが重複して撮影できない領域については、遮蔽に対してロバスト人物検出を実現することはできない。また、撮影対象範囲が広くなるほど、複数のカメラで重複して撮影できるようにするためには、カメラの設置コストも問題となる。
特許文献3に記載の技術によれば、異なる動き方の人物同士が重なる遮蔽領域にしか対応することができず、同じ動き方や、障害物による遮蔽に対しては、人物の足元位置を検出することができない。
特許文献4に記載の技術によれば、遮蔽の発生前に人物の全身が検出されていることが前提となっている。即ち、最初から人物が遮蔽されている場合、その人物の全身が撮影されない限り検出することができない。
特許文献5に記載の技術によれば、障害物の3次元モデルが事前に取得されている必要があり、撮影対象範囲における障害物の位置が未知の場合には適用できない。

0006

そこで、本発明は、1台のカメラによる撮影画像であっても、障害物の形状や配置に関する事前情報を要することなく、障害物によって遮蔽して映る人物における足元位置を検出することができる画像解析装置プログラム及び方法を提供することを目的とする。

課題を解決するための手段

0007

本発明によれば、カメラによる撮影画像の中から人物を検出する画像解析装置であって
カメラによって撮影可能な撮影対象範囲における足元位置と、当該足元位置の人物が撮影画像に映るであろう人物領域候補とを対応付けて記憶したものであり、1人の人物に対して遮蔽に基づく複数の異なる人物領域候補を対応付けた人物領域候補記憶手段と、
撮影画像から、前景領域を抽出する前景領域抽出手段と、
前景領域に類似する人物領域を、人物領域候補記憶手段の人物領域候補とマッチングさせて検出する人物領域検出手段と
を有し、検出された人物領域候補に対応する足元位置に人物が位置すると検出する
ことを特徴とする。

0008

本発明の画像解析装置における他の実施形態によれば、
人物領域候補記憶手段は、1人の人物に対して、足元から又は頭部から遮蔽されることによって撮影画像に映るであろう異なる遮蔽状態を、異なる面積の複数の異なる人物領域候補を対応付けて記憶することも好ましい。

0009

本発明の画像解析装置における他の実施形態によれば、
前景領域抽出手段は、撮影画像から、背景差分によって前景領域を抽出することも好ましい。

0010

本発明の画像解析装置における他の実施形態によれば、
人物領域候補記憶手段は、異なる遮蔽状態の複数の人物領域候補それぞれに、当該足元位置で映るであろう可能性に応じた重み係数を付与し、
人物領域検出手段は、人物領域候補とマッチングさせる際に、重み係数に応じて、前景領域に類似する人物領域を検出する
ことも好ましい。

0011

本発明の画像解析装置における他の実施形態によれば、
人物領域検出手段は、検出された人物領域が、複数の前景領域を包含する場合、複数の前景領域を統合した統合前景領域を生成し、当該統合前景領域に類似する人物領域を、人物領域候補記憶手段の人物領域候補と改めてマッチングさせて検出することも好ましい。

0012

本発明の画像解析装置における他の実施形態によれば、
人物領域検出手段は、人物領域候補との類似度閾値以下となった第1の前景領域についても、第1の前景領域と最も類似度の高い人物領域候補の全身領域が、他の第2の前景領域を包含する場合に、第1の前景領域と第2の前景領域とを統合した統合前景領域を生成し、当該統合前景領域に類似する人物領域を、人物領域候補記憶手段の人物領域候補と改めてマッチングさせて検出することも好ましい。

0013

本発明の画像解析装置における他の実施形態によれば、
人物領域候補記憶手段の中で、足元位置毎に、人物領域検出手段によって検出された人物領域よりも遮蔽部分が広い(人物領域の面積が小さい)人物領域候補を除外するべく、人物領域候補を絞り込む人物領域候補除外手段を更に有することも好ましい。

0014

本発明の画像解析装置における他の実施形態によれば、
人物領域候補除外手段は、
人物領域候補が除去された際に、その足元位置毎にタイマカウンタリセットし、
当該タイマカウンタが所定時間でタイムアウトした際に、その足元位置における人物領域候補を全て元に復活させることも好ましい。

0015

本発明の画像解析装置における他の実施形態によれば、
カメラは、広い画角を1フレームとして撮影するパノラマカメラであり、
撮影画像によれば、異なる足元位置に映る人物領域は、同1人物であっても、異なる輪郭画像として映ることも好ましい。

0016

本発明の画像解析装置における他の実施形態によれば、
人物領域候補記憶手段は、撮影画像に映る人物領域の足元のピクセル座標から、当該カメラのカメラパラメータ及び/又はキャリブレーションパラメータによって変換した撮影対象範囲における絶対座標を足元位置として、人物領域候補に対応させて記憶することも好ましい。

0017

本発明の画像解析装置における他の実施形態によれば、
人物領域検出手段は、前景領域A1と、比較すべき人物領域候補A2とを重畳し、その包含領域A1∪A2に対する重複領域A1∩A2の比を類似度とし、当該類似度が高い人物領域候補を当該人物領域として検出することも好ましい。

0018

本発明の画像解析装置における他の実施形態によれば、
人物領域候補記憶手段は、人物領域候補毎に、撮影画像(ピクセル画像)における中心座標及び面積を対応付けて記憶しており、
人物領域検出手段は、前景領域の中心座標及び面積と、人物領域候補の中心座標及び面積とを比較して、類似する人物領域を検出する
ことも好ましい。

0019

本発明によれば、カメラによる撮影画像の中から人物を検出する装置に搭載されたコンピュータを機能させるプログラムであって、
カメラによって撮影可能な撮影対象範囲における足元位置と、当該足元位置の人物が撮影画像に映るであろう人物領域候補とを対応付けて記憶したものであり、1人の人物に対して遮蔽に基づく複数の異なる人物領域候補を対応付けた人物領域候補記憶手段と、
撮影画像から、前景領域を抽出する前景領域抽出手段と、
前景領域に類似する人物領域を、人物領域候補記憶手段の人物領域候補とマッチングさせて検出する人物領域検出手段と
してコンピュータを機能させ、検出された人物領域候補に対応する足元位置に人物が位置すると検出する
ことを特徴とする。

0020

本発明によれば、カメラによる撮影画像の中から人物を検出する装置の画像解析方法であって、
装置は、カメラによって撮影可能な撮影対象範囲における足元位置と、当該足元位置の人物が撮影画像に映るであろう人物領域候補とを対応付けて記憶したものであり、1人の人物に対して遮蔽に基づく複数の異なる人物領域候補を対応付けた人物領域候補記憶部を有し、
装置は、
撮影画像から、前景領域を抽出する第1のステップと、
前景領域に類似する人物領域を、人物領域候補記憶手段の人物領域候補とマッチングさせて検出する第2のステップと
を実行し、検出された人物領域候補に対応する足元位置に人物が位置すると検出する
ことを特徴とする。

発明の効果

0021

本発明の画像解析装置、プログラム及び方法によれば、1台のカメラによる撮影画像であっても、障害物の形状や配置に関する事前情報を要することなく、障害物によって遮蔽して映る人物における足元位置を検出することができる。

図面の簡単な説明

0022

本発明における画像解析装置の機能構成図である。
天井全方位カメラからの撮影画像図である。
天井の全方位カメラからの撮影画像と、遮蔽された人物の位置との関係を表す説明図である。
天井の全方位カメラからの撮影画像と、人物の足元位置との関係を表す説明図である。
人物領域候補記憶部に記憶された人物領域候補及び足元位置を表す説明図である。
図2の撮影画像から背景差分によって抽出した前景領域を表す画像図である。
前景領域と人物領域候補とのマッチングを表す説明図である。
図2の撮影画像から検出された人物の足元位置を表す説明図である。
前景領域と人物領域候補との重複面積に基づく類似度を表す説明図である。
複数の前景領域を統合した統合前景領域を表す撮影画像図である。
人物領域候補記憶部の中で、除外された人物領域候補を表す説明図である。
除外された人物領域候補を修正する過程を表す説明図である。

実施例

0023

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

0024

図1は、本発明における画像解析装置の機能構成図である。

0025

画像解析装置1は、1台のカメラによる撮影画像の中から人物を検出する。撮影画像は、予め録画されたものであってもよいし、インタフェースを介して外部から時系列に入力されるもの(例えばライブ映像)であってもよい。インタフェースは、ネットワークに接続する通信インタフェースであってもよいし、カメラからの入力インタフェースであってもよい。

0026

カメラは、何ら限定されることなく、既存のものであってもよい。人物の足元位置を検出することを目的とする場合、例えば広い画角を1フレームとして撮影するパノラマカメラであることも好ましい。具体的には、室内の天井から床面全域を撮影することができる全方位カメラであってもよい。

0027

図2は、天井の全方位カメラからの撮影画像図である。
図3は、天井の全方位カメラからの撮影画像と、遮蔽された人物の位置との関係を表す説明図である。
図4は、天井の全方位カメラからの撮影画像と、人物の足元位置との関係を表す説明図である。

0028

全方位カメラの撮影画像によれば、異なる足元位置に映る人物領域は、同1人物であっても、異なる輪郭画像として映る。また、カメラから見た視線上に障害物が介在することによって、人物領域について足元から又は頭部からその一部が遮蔽される場合がある。即ち、障害物によって、撮影画像に映るであろう人物領域の遮蔽状態も異なるものとなる。

0029

図3及び図4によれば、人物Aは、全身が撮影画像に映っている。人物Bは、床に設置された障害物によって、頭部以外の部分が遮蔽されて撮影画像に映っていない。また、人物Cは、天井から下がった障害物によって、頭部が遮蔽されて撮影画像に映っていない。

0030

本発明の画像解析装置は、1台のカメラによる撮影画像であっても、障害物の形状や配置に関する事前情報を要することなく、障害物によって遮蔽して映る人物における足元位置をロバストに検出することができる。画像解析装置1は、人物領域候補記憶部10と、前景領域抽出部11と、人物領域検出部12と、人物領域除外部13と、足元位置抽出部14とを有する。これら機能構成部は、画像解析装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これら機能構成からなる処理の流れは、装置における画像解析方法としても理解される。

0031

[人物領域候補記憶部10]
人物領域候補記憶部10は、カメラによって撮影可能な撮影対象範囲における「足元位置」と、当該足元位置の人物が撮影画像に映るであろう「人物領域候補」とを対応付けて記憶したものである。撮影対象範囲で人物が存在し得る全ての足元位置に、様々な遮蔽状態の人物モデルを投影した、異なる複数の人物領域候補を予め作成しておく。

0032

「人物領域候補」とは、撮影対象範囲における各足元位置に人物が存在した場合に、撮影画像中で当該人物が占めると想定される、遮蔽状態に応じた輪郭画像である。人物領域候補は、事前に、遮蔽状態に応じた人物の3次元モデルを、足元位置とカメラパラメータとを用いて撮影画像中に投影して作成したものであってもよい。一方で、障害物の3次元モデルを不要とすることができる。

0033

図5は、人物領域候補記憶部に記憶された人物領域候補及び足元位置を表す説明図である。

0034

人物領域候補記憶部10は、1人の人物に対して、足元から又は頭部から遮蔽されることによって撮影画像に映るであろう異なる遮蔽状態を、異なる面積の異なる人物領域候補として対応付けて記憶する。例えば「足元(下半身)から30%が遮蔽」や「頭部(上半身)から60%が遮蔽」と表すこともできる。

0035

「足元位置」とは、撮影画像中の足元のピクセル座標から、カメラパラメータを用いて撮影シーンの3次元座標に変換したものである。例えば撮影対象範囲(パノラマカメラによる俯瞰地図)中の所定位置原点とした絶対座標を表す。人物の足元位置を特定することによって、人物の混雑度だけでなく、回遊傾向を推定することもできる。

0036

人物領域候補記憶部10は、撮影画像に映る人物領域の足元のピクセル座標から、当該カメラのカメラパラメータ及び/又はキャリブレーションパラメータによって変換した撮影対象範囲における絶対座標を足元位置として、人物領域候補に対応させて記憶するものであってもよい。カメラパラメータ及び/又はキャリブレーションパラメータは、事前にキャリブレーションによって取得された公知のものである。これらパラメータは、基本的に撮影中には変化しないと想定しているが、複数種類のパラメータを事前に用意するか、公知の動的キャリブレーション技術を用いて、内部パラメータの動的変化パンチルトズームなどの変化)や、移動カメラに適用することもできる。

0037

また、他の実施形態によれば、人物領域候補記憶部10は、人物領域候補毎に、撮影画像(ピクセル画像)における中心座標及び面積を対応付けて記憶することも好ましい。

0038

[前景領域抽出部11]
前景領域抽出部11は、撮影画像から、例えば背景差分技術やフレーム差分技術等を用いて、前景領域を抽出する。

0039

図6は、図2の撮影画像から背景差分によって抽出した前景領域を表す画像図である。

0040

「背景差分(background subtraction)」とは、現時刻の撮影画像と過去時刻の撮影画像とを比較して、過去時刻の撮影画像に映らない物体を抽出する技術をいう。このとき、過去時刻の撮影画像を背景画像と称す。また、背景画像に存在しない物体が占める領域を「前景領域」、それ以外を「背景領域」と称す。具体的には、事前に過去の複数枚の撮影画像から背景画像を作成しておき、その差分となる前景領域を抽出することも好ましい。前景領域には、静止物体は映り込むことなく除外され、人物のような移動物体のみが映り込む。

0041

[人物領域検出部12]
人物領域検出部12は、前景領域に類似する人物領域を、人物領域候補記憶部10の人物領域候補とマッチングさせて検出する。例えば前景領域と人物領域候補とを比較して、類似度が最も高い人物領域候補を検出するものであってもよい。そして、検出された人物領域候補における足元位置を、その人物の位置として検出する。

0042

図7は、前景領域と人物領域候補とのマッチングを表す説明図である。
図7によれば、前景領域は、1人の人物の全身に対して一部遮蔽されている。このとき、その前景領域に対して、下半身30%遮蔽の人物領域候補が最も類似度が高いものであるとしてマッチングされている。そして、その人物領域候補の足元位置が検出される。

0043

図8は、図2の撮影画像から検出された人物の足元位置を表す説明図である。
図8によれば、前景領域から抽出された人物領域候補毎に、撮影対象範囲に足元位置が対応付けられる。

0044

<重み係数の利用>
他の実施形態として、人物領域検出部12は、人物領域候補とマッチングさせる際に、重み係数に応じて、前景領域に類似する人物領域を検出することも好ましい。人物領域候補記憶部10は、同一の足元位置に対応付けられた複数の異なる人物領域候補毎に、異なる重み係数を付与する。重み係数は、異なる遮蔽状態の複数の人物領域候補それぞれに、当該足元位置で映るであろう可能性に応じた割合を意味する。

0045

例えばパノラマカメラ2が室内の天井に設置された場合、天井から下がる物体が無い室内であれば、人物の頭部が撮影画像に映る割合は高いと想定することができる。この場合、上半身が映り且つ下半身が遮蔽された人物領域候補ほど、重み係数Wを高くする。
例えば図5によれば、重み係数Wを以下のような大きさで設定する。
W1a > W1b > W1d > W1c > W1e
(全身) (上半身)(頭部) (下半身)(足元)
そして、人物領域検出部12は、前景領域を、重み係数が高い人物領域候補から順に、マッチングさせて検出する。そのために、前景領域が、全身の人物領域候補とマッチングしなくても、頭部のみが映る人物領域候補を、足元のみが映る人物領域候補よりも優先的に検出する。

0046

勿論、逆に、頭部が映る人物領域候補よりも、足元が映る人物領域候補を優先的に検出するものであってもよい。また、遮蔽面積が小さい人物領域候補ほど重み係数を大きく設定し、遮蔽面積が大きい人物領域候補ほど重み係数を小さく設定することも有効である。これらは、カメラ位置と障害物との関係によって決定される。
同一の足元位置における複数の人物領域候補の重み係数は、室内環境に応じて、オペレータ自ら設定するものであってもよい。

0047

<面積を利用した類似度>
他の実施形態として、人物領域検出部12は、前景領域と人物候補領域重複度を用いて、人物領域を検出することも好ましい。人物領域検出部12は、前景領域A1と、比較すべき人物領域候補A2とを重畳し、その論理和領域の面積A1∪A2に対する論理積(重複)領域の面積A1∩A2の比を類似度とし、当該類似度が高い人物領域候補を当該人物領域として検出する。
類似度=(A1∩A2)/(A1∪A2)
類似度が最も高い人物領域候補を検出する。

0048

図9は、前景領域と人物領域候補との重複面積に基づく類似度を表す説明図である。

0049

図9(a)によれば、人物領域候補の中で、遮蔽がない全身領域同士の重複面積を算出している。図9(b)によれば、人物領域候補の中で、頭部(頭部以外が遮蔽状態)領域同士の重複面積を算出している。
このように、本発明によれば、前景領域に映る人物領域の一部が遮蔽状態であっても、その遮蔽状態に対応した人物領域候補を検出することができる。

0050

<中心座標及び面積を利用した類似度>
他の実施形態として、人物領域検出部12は、前景領域の中心座標及び面積と、人物領域候補の中心座標及び面積とを比較して、類似する人物領域を検出することも好ましい。

0051

人物領域候補記憶部10は、事前に、全ての人物領域候補について、その中心座標と面積を、木構造又はハッシュ等でインデクシング構造化)しておくことも好ましい。これによって、中心座標と面積が類似する人物領域候補を高速検索することができる。

0052

<複数の前景領域の統合>
公知の背景差分法を用いた場合、人物の服装や背景の色によっては、人物領域が単一の前景領域ではなく、複数の前景領域に分割されて映り込むことが起こりうる。その場合、人物領域検出部12は、複数の前景領域を統合した統合前景領域を生成し、その統合前景領域と人物領域候補とをマッチングして、人物領域を検出することが好ましい。

0053

図10は、複数の前景領域を統合した統合前景領域を表す撮影画像図である。

0054

図10(a)は、全方位カメラによって撮影された撮影画像を表す。
図10(b)は、図10(a)の撮影画像に対して抽出された2つの前景領域A及びBを表す。ここでは、前景領域A及びBを別々に、人物領域候補とマッチングするために、人物領域A及びBが検出されている。このような場合、過検出によって人物検出精度が劣化することとなる。
図10(c)は、図10(b)の前景領域A及びBを統合した統合前景領域Cと、人物領域候補とをマッチングすることによって、人物領域aが検出されている。このように、1人の人物が複数の前景領域で映り込んだ際に、前景領域を統合することによって正当な1つの人物領域を検出することができる。

0055

統合前景領域を用いた実施形態として、以下の2つの実施形態がある。
(第1の実施形態)
人物領域検出部12は、検出された人物領域(マッチングされた人物領域候補における、遮蔽部分も含めた全身領域)が、複数の前景領域を包含する場合、それら複数の前景領域を統合した統合前景領域を生成する。そして、その統合前景領域と、人物領域候補記憶部10の人物領域候補と改めてマッチングして、人物領域を検出する。

0056

具体的には例えば、前景領域Aから検出された人物領域aが、他の前景領域Bを包含する場合に、前景領域Aと前景領域Bとを統合した統合前景領域Cを生成する。勿論、統合される前景領域Bは、複数であってもよい。そして、統合前景領域Cと人物領域候補とをマッチングして、改めて人物領域aを検出することができる。これにより、人物領域bが検出されず、人物の誤検出を抑止することができる。

0057

人物領域aによる前景領域Bの包含を判定する具体的な方法として、人物領域aの面積と前景領域Bの面積との論理積領域a∩Bを用いて、以下の式によって「包含率」を算出する。その包含率が閾値以上の場合に、包含すると判定することができる。
包含率=a∩B/B
又は、人物領域aが前景領域Bの重心点を包含する場合に、人物領域aによる前景領域Bの包含率を算出し、閾値以上の場合に包含すると判定してもよい。

0058

前景領域Aと前景領域Bとを統合する具体的な方法として、前景領域Aと前景領域Bとの「凸包(convex hull)」を算出し、凸包領域を前景領域Cとすることができる。凸包領域は、例えば「ギフト包装法」等で算出することができる。凸包とは、与えられた集合を含む最小の凸集合である。例えばユークリッド平面内の有界な点集合Xについて、その凸包は直観的にはXを包んだゴム膜が作る図形として視認することができる。

0059

(第2の実施形態)
1人の人物が複数の前景領域として分割して映り込んだ結果、人物領域候補との類似度が低下し、人物領域として検出されず、検出率が劣化することも起こりうる。ここで、第2の実施形態によれば、検出結果に含まれる人物領域は、必ずしも単一の前景領域が特定の人物領域候補とマッチングされた結果として検出される必要はない。
具体的には、人物領域検出部12によれば、人物領域候補との類似度が閾値以下となった前景領域Dを検出していたとする。このとき、前景領域Dと最も類似度の高い人物領域候補の全身領域が、他の前景領域Eを包含する場合に、前景領域Dと前景領域Eとを統合した統合前景領域Fを試みる。統合前景領域Fと、人物領域候補記憶部10の人物領域候補とを改めてマッチングさせることで、人物領域aを検出してもよい。
統合前景領域Fと類似する人物領域候補が存在しない場合、具体的には、統合前景領域Fと最も類似する人物領域候補との間の類似度が所定閾値以下の場合については、統合前景領域F及び前景領域D、前景領域Eはいずれも、人物領域として検出しないようにする。

0060

[人物領域除外部13]
人物領域除外部13は、人物領域候補記憶部10の中で、足元位置毎に、人物領域検出部12によって検出された人物領域よりも遮蔽部分が広い(人物領域の面積が小さい)人物領域候補を除外するべく、人物領域候補を絞り込むものである。

0061

人物領域候補記憶部10は、撮影対象範囲における撮影画像の全ての足元位置について、複数の異なる人物領域候補を対応付けている。
しかし、人物の全身が映る足元位置には、遮蔽された複数の人物領域候補を用意しておく必要もない。また、障害物の位置によっては、実際には絶対に撮影画像に映らない人物領域候補を記憶しておく必要もない。更に、複数の遮蔽状態に基づく異なる人物領域候補の数が多くなるほど、異なる足元位置に存在するにも拘わらず、類似度が高い複数の人物領域候補が検出されることとなる。
即ち、検索対象となる人物領域候補の数が多いほど、計算リソースが必要となり、人物領域候補の検出精度を向上させることも難しい。

0062

図11は、人物領域候補記憶部の中で、除外された人物領域候補を表す説明図である。

0063

図11によれば、人物領域候補記憶部10の中で、人物領域検出部12によって検出された人物領域よりも遮蔽部分が広い(人物領域の面積が小さい)人物領域候補が除外されている。これによって、障害物によって映る実際の撮影画像に適合させる。
図11について人影が黒い部分は、全身の人物領域候補のみが記憶されており、それよりも面積が小さい人物領域候補は除外されている。
一方で、人影が破線で遮蔽された部分は、遮蔽状態の人物領域候補よりも面積が小さい人物領域候補のみが除外されている。即ち、全身の人物領域候補は記憶されている。

0064

例えば前述した図3のように、人物Aについて撮影画像に全身が映っている場合、遮蔽される障害物が無いとして、遮蔽無しの全身の人物領域候補(足元位置X1)以外は全て、人物領域候補から除外される。全身の人物領域候補は、他の人物領域候補よりも遮蔽部分は必ず小さい(人物領域の面積が大きい)ためである。足元位置X1では、誤って遮蔽された人物領域候補が検出されることがなくなる。

0065

また、人物Bについて撮影画像に頭部しか映っていない場合、下半身60%遮蔽の人物領域候補(足元位置X2)よりも面積が小さい人物領域候補は全て、人物領域候補から除外される。
同様に、人物Cについて撮影画像に足元しか映っていない場合、上半身60%遮蔽の人物領域候補(足元位置X3)よりも面積が小さい人物領域候補は全て、人物領域候補から除外される。

0066

図12は、除外された人物領域候補を修正する過程を表す説明図である。

0067

図12(a)によれば、前述した図3と同様に、人物領域候補記憶部10は、足元位置X1(人物A)については、全身の人物領域候補以外は全て、人物領域候補から除外する。また、足元位置X2(人物B)については頭部の領域よりも小さい人物領域候補を除外する。更に、足元位置X3(人物3)については足元の領域よりも小さい人物領域候補を除外する。

0068

図12(b)によれば、床に設置されていた障害物が移動したとする。このとき、前景領域には、足元位置X2については全身の人物領域が映り込む。この場合、足元位置X2については全身の人物領域候補がマッチングされ、その人物領域候補よりも小さい人物領域候補は、雑音領域として除外される。

0069

図12(c)によれば、更に天井から下がっていた障害物が移動したとする。このとき、前景領域には、足元位置X3については全身の人物領域が映り込む。この場合、足元位置X3については全身の人物領域候補がマッチングされ、その人物領域候補よりも小さい人物領域候補は、無効(不要)な人物領域候補として除外される。

0070

<人物領域候補の追加>
図12に基づく人物領域候補の修正は、障害物が除去された場合について説明した。一方で、障害物が新たに設置された場合、その障害物によって遮蔽される人物領域候補をマッチングすることができない。即ち、障害物が無いとして全身の人物領域候補のみを記憶しているものの、その後、新たに障害物が撮影対象領域に設置される場合がある。

0071

そこで、人物領域候補除外部13は、障害物の存在によって人物領域候補が除去された際に、その足元位置毎にタイマカウンタをリセットする。タイマカウンタが所定時間でタイムアウトした際に、その足元位置における人物領域候補を、全身も含めて元に復活させる。これによって、障害物が移動して、全身の人物領域が撮影画像に映り込む場合には、改めて全身の人物領域候補とマッチングすることができる。即ち、人物領域候補除外部13は、所定時間だけ人物領域候補を除外するように制御することによって、障害物の変化に対応することができるようにする。

0072

[足元位置抽出部14]
足元位置抽出部14は、オプション的なものであって、撮影画像に映る人物領域の足元のピクセル座標から、当該カメラのカメラパラメータ及び/又はキャリブレーションパラメータによって変換した、撮影対象範囲における絶対座標を、足元位置として抽出する。この場合、人物領域候補記憶部10は、足元位置をカメラパラメータによって特定することなく、単なるピクセル画像とすることができる。

0073

以上、詳細に説明したように、本発明の画像解析装置、プログラム及び方法によれば、1台のカメラによる撮影画像であっても、障害物の形状や配置に関する事前情報を要することなく、障害物によって遮蔽して映る人物における足元位置を検出することができる。

0074

前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

0075

1画像解析装置
10人物領域候補記憶部
11前景領域抽出部
12人物領域検出部
13 人物領域除外部
14足元位置抽出部
2 全方位カメラ

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ