図面 (/)

技術 画像処理装置、背景画像の生成方法およびプログラム

出願人 キヤノン株式会社
発明者 松下明弘小林究
出願日 2018年9月14日 (2年2ヶ月経過) 出願番号 2018-172690
公開日 2020年3月26日 (8ヶ月経過) 公開番号 2020-046744
状態 未査定
技術分野 イメージ分析 画像処理
主要キーワード 撮像区域 ボケ領域 静止体 輪郭ボケ 複数視点画像 単一カメラ 比較対象画像 形状推定
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年3月26日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (9)

課題

好適な背景画像を生成すること。

解決手段

画像処理装置は、撮像装置によって撮像された撮像画像を取得する取得手段と、前記取得手段により取得された撮像画像の各画素画素値と、前記撮像画像が撮像される以前に前記撮像装置によって撮像された画像に基づいて得られた比較対象画像の各画素の画素値と、の差分が所定の値より大きい画素により構成される領域を差分領域として検出する検出手段と、前記検出手段により検出された差分領域に基づいて、前記差分領域よりも広い領域である第一の領域を設定する設定手段と、前記撮像画像のうち、前記設定手段により設定された前記第一の領域とは異なる領域である第二の領域を構成する画素を用いて背景画像を生成する生成手段と、を有する。

概要

背景

撮像装置撮像した画像から背景画像を生成する方法として、撮像した画像の前景領域を除いた領域から背景画像を生成する方法がある。特許文献1には、所定の区域を撮像した画像の画素のうち、ある時間内における画素値の変化が所定の閾値以下の状態が続いた画素は、背景を示す画素であるものとして背景画像を生成する技術が記載されている。

概要

好適な背景画像を生成すること。画像処理装置は、撮像装置によって撮像された撮像画像を取得する取得手段と、前記取得手段により取得された撮像画像の各画素の画素値と、前記撮像画像が撮像される以前に前記撮像装置によって撮像された画像に基づいて得られた比較対象画像の各画素の画素値と、の差分が所定の値より大きい画素により構成される領域を差分領域として検出する検出手段と、前記検出手段により検出された差分領域に基づいて、前記差分領域よりも広い領域である第一の領域を設定する設定手段と、前記撮像画像のうち、前記設定手段により設定された前記第一の領域とは異なる領域である第二の領域を構成する画素を用いて背景画像を生成する生成手段と、を有する。

目的

ここで、「膨張処理」とは、図5(c)の差分領域404を膨張処理する場合、差分領域404の各画素において、各画素の周辺の画素も差分領域として扱うようにして差分領域を広げる処理をすることである

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

撮像装置によって撮像された撮像画像を取得する取得手段と、前記取得手段により取得された撮像画像の各画素画素値と、前記撮像画像が撮像される以前に前記撮像装置によって撮像された画像に基づいて得られた比較対象画像の各画素の画素値と、の差分が所定の値より大きい画素により構成される領域を差分領域として検出する検出手段と、前記検出手段により検出された差分領域に基づいて、前記差分領域よりも広い領域である第一の領域を設定する設定手段と、前記撮像画像のうち、前記設定手段により設定された前記第一の領域とは異なる領域である第二の領域を構成する画素を用いて背景画像を生成する生成手段と、を有することを特徴とする画像処理装置

請求項2

前記生成手段は、前記撮像画像のうち前記第二の領域を構成する各画素によって、以前に生成されている背景画像のうち前記第二の領域に対応する領域を構成する各画素を更新することにより、前記背景画像を生成することを特徴とする請求項1に記載の画像処理装置。

請求項3

前記生成手段は、以前に生成されている背景画像のうち前記第二の領域に対応する領域を構成する各画素の画素値を、前記撮像画像のうち前記第二の領域を構成する各画素の画素値に置換することにより、以前に生成されている背景画像を更新することを特徴とする請求項2に記載の画像処理装置。

請求項4

前記比較対象画像は、以前に生成されている背景画像であることを特徴とする請求項2または3に記載の画像処理装置。

請求項5

前記比較対象画像は、前記撮像画像が撮像される以前において前記撮像装置によって撮像された画像であることを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。

請求項6

前記設定手段は、所定の膨張画素数に基づき前記設定をすることを特徴とする請求項1から5のいずれか1項に記載の画像処理装置。

請求項7

前記設定手段は、前記差分領域の面積に応じた値を前記膨張画素数として前記設定をすることを特徴とする請求項6に記載の画像処理装置。

請求項8

前記設定手段は、ユーザによって指示された値を取得し、ユーザによって指示された前記値を前記膨張画素数として用いて前記設定をすることを特徴とする請求項6に記載の画像処理装置。

請求項9

前記設定手段は、オブジェクトの移動量を決定し、前記移動量に応じた値を前記膨張画素数として用いて前記設定をすることを特徴とする請求項6に記載の画像処理装置。

請求項10

前記検出手段は、前記撮像画像のライン上の各画素の画素値と、前記比較対象画像の前記ラインに対応するライン上の各画素の画素値と、の差分を決定し、前記差分が前記所定の値である第一の位置と、前記差分が前記所定の値より小さい第二の値である第二の位置と、を決定し、前記設定手段は、前記第一の位置と、前記第二の位置と、の関係から前記膨張画素数を決定することを特徴とする請求項6に記載の画像処理装置。

請求項11

前記設定手段は、前記撮像画像の前記ライン上の各位置に対応する前記差分を示すグラフにおいて、前記第一の位置を示す座標と、前記第二の位置を示す座標と、を結ぶ直線の延長線にある前記差分が0になる座標から第三の位置を決定し、前記第一の位置と前記第三の位置とに基づき前記膨張画素数を決定することを特徴とする請求項10に記載の画像処理装置。

請求項12

前記検出手段は、前記撮像画像上の複数の前記ラインにおいて、前記ラインごとに前記第一の位置と前記第二の位置とを決定し、前記設定手段は、前記ラインごとに前記膨張画素数を決定することを特徴とする請求項10または11に記載の画像処理装置。

請求項13

前記設定手段は、前記差分領域において、特定の領域を他の領域よりもさらに広げるように前記設定をすることを特徴とする請求項1から12のいずれか1項に記載の画像処理装置。

請求項14

前記検出手段は、前記撮像画像に含まれるノイズに応じて前記所定の値を更新することを特徴とする請求項1から13のいずれか1項に記載の画像処理装置。

請求項15

前記撮像画像は、所定の区域を撮像した画像であり、前記比較対象画像も前記所定の区域に対応する画像であることを特徴とする請求項1から14のいずれか1項に記載の画像処理装置。

請求項16

前記生成手段により生成された前記背景画像と、前記撮像画像と、に基づき前景画像を生成することを特徴とする請求項1から15のいずれか1項に記載の画像処理装置。

請求項17

前記画像処理装置は、複数のカメラで撮像した複数視点画像と、前記生成手段により生成された前記背景画像と、を用いて仮想視点画像を生成することを特徴とする請求項1から16のいずれか1項に記載の画像処理装置。

請求項18

前記生成手段により生成された前記背景画像に基づいて、前記取得手段により取得された前記撮像画像における前景背景とを分離する分離手段をさらに備えることを特徴とする請求項1から17のいずれか一項に記載の画像処理装置。

請求項19

前記分離手段は、前記生成手段により生成された前記背景画像と前記取得手段により取得された前記撮像画像との差分が所定の閾値以上の画素の領域を前記前景の領域として決定することを特徴する請求項18に記載の画像処理装置。

請求項20

撮像装置によって撮像された撮像画像を取得する取得ステップと、前記取得ステップにより取得された撮像画像の各画素の画素値と、前記撮像画像が撮像される以前に前記撮像装置によって撮像された画像に基づいて得られた比較対象画像の各画素の画素値と、の差分が所定の値より大きい画素により構成される領域を差分領域として検出する検出ステップと、前記検出ステップにより検出された差分領域に基づいて、前記差分領域よりも広い領域である第一の領域を設定する設定ステップと、前記撮像画像のうち、前記設定ステップにより設定された前記第一の領域とは異なる領域である第二の領域を構成する画素を用いて背景画像を生成する生成ステップと、を備えることを特徴とする背景画像の生成方法

請求項21

コンピュータを、請求項1から19のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム

技術分野

0001

本発明は、撮像装置撮像した画像から背景画像を生成する技術に関する。

背景技術

0002

撮像装置が撮像した画像から背景画像を生成する方法として、撮像した画像の前景領域を除いた領域から背景画像を生成する方法がある。特許文献1には、所定の区域を撮像した画像の画素のうち、ある時間内における画素値の変化が所定の閾値以下の状態が続いた画素は、背景を示す画素であるものとして背景画像を生成する技術が記載されている。

先行技術

0003

特開2001—43458号公報

発明が解決しようとする課題

0004

撮像装置が撮像した画像には、背景ではないにも係わらず背景の画素値との差が小さい画素値の領域が存在する。例えば、撮像装置が撮像した画像に存在するオブジェクト(被写体)の影のうち、日照または照明の条件によって生じる薄い影の画素値は、その薄い影の領域に存在する本来の背景の画素値との差が小さい画素値である。このため、所定の区域を撮像した撮像画像と、同じ区域を撮像した画像から生成されている背景画像との画素値を比較して差分を求めると、撮像画像に存在する薄い影の領域と背景画像との画素値の差分は、所定の閾値を超えないことがある。差分が閾値以下である領域は背景として処理されるため、前景領域として処理されるべき薄い影の領域が背景画像に含まれるように処理される虞がある。

課題を解決するための手段

0005

本発明による画像処理装置は、撮像装置によって撮像された撮像画像を取得する取得手段と、前記取得手段により取得された撮像画像の各画素の画素値と、前記撮像画像が撮像される以前に前記撮像装置によって撮像された画像に基づいて得られた比較対象画像の各画素の画素値と、の差分が所定の値より大きい画素により構成される領域を差分領域として検出する検出手段と、前記検出手段により検出された差分領域に基づいて、前記差分領域よりも広い領域である第一の領域を設定する設定手段と、前記撮像画像のうち、前記設定手段により設定された前記第一の領域とは異なる領域である第二の領域を構成する画素を用いて背景画像を生成する生成手段と、を有することを特徴とする。

発明の効果

0006

本発明によれば、好適な背景画像を生成することができる。

図面の簡単な説明

0007

仮想視点ステムを示す図である。
画像処理装置のハードウエア構成を示すブロック図である。
画像処理装置の機能構成を示すブロック図である。
撮像画像から背景画像を更新する処理を示す図である。
膨張処理の説明をする図である。
膨張処理を示すフローチャートである。
膨張画素数算出方法を説明する図である。
膨張処理を示すフローチャートである。

実施例

0008

以下、添付の図面を参照して、本発明を実施形態例のいくつかに基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

0009

<実施形態1>
本実施形態は、カメラ等の撮像装置が撮像した撮像画像に基づき背景画像を生成する処理において、背景との画素値の差が小さい前景を、背景として取り扱わないように処理をする画像処理装置に関わる形態である。

0010

図1は、本実施形態のシステムの概略構成を示したものである。競技場101の周囲に複数のカメラ102が並べて配置されており、複数の方向から競技場のフィールド104を撮像できるようになっている。各カメラ102は、原則として、姿勢および位置が固定されているため、各カメラは時間方向において同じ撮像区域を撮像する。各カメラ102はデータ伝送のための入出力ハードウエア(不図示)を備えている。カメラ102同士は例えばネットワークケーブル等のネットワークを使ってリング型の接続がされており、ネットワークを介して隣のカメラへ画像(動画または静止画)を示す画像データを順次伝送するようになっている。カメラ102のうちの一つは画像処理装置200(図2参照)に接続されており、各カメラ102が撮像した画像の画像データは画像処理装置200まで伝送される。

0011

以下、本実施形態は、図1に示すような、競技場の周囲に複数のカメラが配置され仮想視点画像を生成するシステムに係わる画像処理装置200を例に説明する。ここで仮想視点画像とは、エンドユーザまたは選任オペレータ等が自由に仮想視点に対応するカメラ(仮想カメラ)の位置および姿勢を操作することによって生成される画像である。仮想視点画像は、動画であっても、静止画であってもよい。

0012

競技場101のフィールド104では例えばサッカーなどの競技が行われており、フィールド104の中にオブジェクトとして人物103が存在しているものとする。各カメラ102によって撮像された画像の画像データはネットワークを介して画像処理装置200に送信される。オブジェクトとは、例えば選手監督、または審判等の特定の人物である。または、オブジェクトは、ボール、またはゴール等、画像パターンが予め定められている物体であってもよい。また、オブジェクトは動体であってもよいし、静止体であってもよい。

0013

図2は、画像処理装置200のハードウエア構成の一例を示す図である。画像処理装置200は、CPU201、RAM202、ROM203、HDD204、入出力I/F205で構成される。そして、画像処理装置200を構成する各部は、システムバス206によって相互に接続されている。また、画像処理装置200は、入出力I/F205を介して、カメラ102、表示操作部210、に接続されている。

0014

CPU201は、RAM202をワークメモリとして、ROM203に格納されたプログラムを実行し、システムバス206を介して画像処理装置200の各部を統括的に制御する。これにより、後述する様々な処理が実現される。HDD204は、画像処理装置200で取り扱う種々のデータを記憶する大容量記憶装置であり、例えばSSDなどでもよい。CPU201は、システムバス206を介してHDD204へのデータの書き込み及びHDD204に記憶されたデータの読出しを行うことができる。

0015

入出力I/F205は、例えばUSBまたはIEEE1394等のシリアルバスI/Fであり、外部装置と画像処理装置200との間の各種データ・命令等の入力または出力が、この入出力I/F205を介して行われる。表示操作部210は、例えばタッチパネル機能を有する液晶ディスプレイなどで構成され、ユーザに対する必要な情報の表示、またはUI画面を介してユーザからの指示を取得する。なお、画像処理装置200の構成要素は上記以外にも存在し得るが説明を省略する。

0016

図3は、画像処理装置200の機能構成を示すブロック図である。画像処理装置200は、画像取得部301、差分領域検出部302、背景画像保存部303、差分領域設定部304、背景画像作成部305、背景差分処理部306、前景テクスチャ生成部307および仮想視点画像生成部308を有する。なお、差分領域は、複数の画素で構成されるが、複数の画素はすべてつながっている必要なく、2つ以上に分離されていてもよい。また、差分領域を構成する複数の画素は、互いに離れていてもよい。また、差分が所定の閾値未満となる画素が1つの場合であっても本実施形態を適用することができる。

0017

画像取得部301は、カメラ102が撮像した撮像画像の画像データを取得する。撮像画像は静止画または動画のフレーム画像などの画像である。差分領域検出部302は、撮像画像と比較対象画像との画素値の差分が所定の値より大きい領域である差分領域を検出する。本実施形態では、比較対象画像として背景画像保存部303に記憶されている背景画像を使用する。詳細は後述する。背景画像保存部303は、撮像画像が撮像される以前に生成された背景画像を記憶している。背景画像保存部303は、画像処理装置200のROM203またはHDD204により実現される。

0018

なお、本実施形態では、背景画像保存部303は画像処理装置200の構成に含まれることにしているが、画像処理装置200と異なる装置におけるROMまたはHDD等によって実現されてもよい。その場合、画像処理装置200は、ネットワーク等を介して背景画像保存部を有する装置と接続されることにより背景画像を取得する。

0019

差分領域設定部304は、差分領域検出部302により検出された差分領域に基づいて、差分領域を広げて差分領域よりも広い領域を設定する処理をする。本実施形態では、差分領域を広げるための処理として膨張処理をする。膨張処理の説明は後述する。
背景画像作成部305は、撮像画像と差分領域設定部304によって膨張処理された差分領域を示す画像とに基づき背景画像を生成する。本実施形態は後述するように、撮像画像と、差分領域設定部304によって膨張処理された差分領域を示す画像と、に基づき背景画像保存部303に保存されている背景画像が更新されることにより背景画像が生成される形態である。他にも、背景画像作成部305は撮像画像のうち差分領域設定部304によって膨張処理された差分領域以外の領域の画像を背景画像として生成する形態でもよい。

0020

背景差分処理部306は、更新された背景画像と撮像画像とを比較し、差分が存在する領域から前景の領域であることを示す前景マスクを生成する。前景テクスチャ生成部307は、撮像画像および前景マスクに基づいて前景テクスチャを切り取る処理をして前景テクスチャを生成する。仮想視点画像生成部308は前景マスク、前景テクスチャおよび背景画像から仮想視点画像を生成する。

0021

なお、背景差分処理部306、前景テクスチャ生成部307および仮想視点画像生成部308は、画像処理装置200とは別の装置の構成として実現されている形態でもよい。その場合、背景差分処理部306を有する装置は、ネットワーク等を介して画像処理装置200から撮像画像および更新された背景画像を取得する。

0022

また、図3の各モジュールの機能はCPU201がROM203に記憶されているプログラムコードをRAM202に展開して実行することにより実現される。他にも例えば、画像処理装置200はASIC(application specific integrated circuit)やFPGA(field programmable gate array)を有する形態でもよい。その場合、図3に示した各モジュールがハードウエアとしてASICやFPGAの内部に実装される。

0023

[背景画像の更新処理の説明]
図4は、比較例として、カメラ等の撮像装置が撮像した撮像画像から、膨張処理をしない場合における背景画像の更新処理を説明する図である。図4(a)は、カメラ102が撮像した撮像画像の例であり、背景であるフィールド401と、フィールドの内部に人物がオブジェクト402として映っている。また、フィールドの内部には、オブジェクトの影(人物の影)403が映っている。撮像画像は静止画または動画のフレーム画像などの画像である。図4(b)は、図4(a)の撮像画像と同じ撮像区域の背景として背景画像保存部303に記憶されている背景画像である。

0024

図4(c)は、撮像画像の領域と背景画像との対応する領域の画素値の差分が、所定の値を超えた領域を示す図である。撮像画像と背景画像との画素値の差分が所定の値を超えた領域である「差分領域」を示す画像は、例えば図4(c)のように各画素が黒色の領域と白色の領域の2値の画像で表された画像である。図4(c)において、黒色の領域は、差分が所定の値を超えた差分領域404を示しており、前景と判定された領域であることを示している。一方、白色の領域は差分が所定の値以下の領域であることを示している。差分領域以外の領域を非差分領域405とよぶ。非差分領域405は背景と判定された領域であることを示している。

0025

図4(d)は、図4(a)の撮像画像に基づき、保存されている背景画像が更新された後の背景画像の例である。図4(c)の非差分領域405を示した画像と、図4(a)の撮像画像とを重ね合わせたときに、非差分領域405の領域に応じた撮像画像の画素を、保存されている背景画像の非差分領域405に応じた画素に上書して背景画像を更新する。このとき、オブジェクトの影403およびオブジェクトの輪郭部分に発生するボケ領域407(オブジェクトと背景の境界部分において画素値が混合した領域)の画素値は、背景画像の画素値との差分が小さい。このため、オブジェクトの影403およびボケ領域407は、差分が所定の値より大きい領域である差分領域404には含まれないことがある。この場合、オブジェクトの影403およびボケ領域407は図4(c)の非差分領域405に含まれることになる。非差分領域405は前述のとおり背景として処理されるため、図4(d)の画像のようにオブジェクトの影403およびボケ領域407は背景として取り込まれて背景画像が更新されることがある。

0026

影の領域またはボケ領域が背景画像の一部として取り込まれることになると、更新された背景画像を基準にして行われる処理において不都合を生じさせる虞がある。例えば、背景差分処理部306は更新された背景画像と同じ区域を撮像した撮像画像とを比較し、差分が存在する領域を分離することでオブジェクトである前景の領域を示す前景マスクを生成する処理がある。このとき図4(d)のように更新された背景画像にオブジェクトの影が含まれると、撮像画像にあるオブジェクトの影は背景画像との差分であると判定されない。このため、オブジェクトの影が前景領域として処理されない虞がある。

0027

図5は、本実施形態に係わる技術を使用してカメラ等の撮像装置が撮像した撮像画像から背景画像を更新する処理を説明する図である。図5(a)、図5(b)および図5(c)はそれぞれ図4(a)、図4(b)および図4(c)と同じ図である。図5(d)は、差分領域設定部304によって差分領域404(黒色の領域)に対して膨張処理を行った後の図である。

0028

ここで、「膨張処理」とは、図5(c)の差分領域404を膨張処理する場合、差分領域404の各画素において、各画素の周辺の画素も差分領域として扱うようにして差分領域を広げる処理をすることである。例えば、差分領域の各画素を注目画素とし、注目画素の周囲を1画素で囲んだ単位領域ごとに膨張処理は行われる。具体的には、その注目画素が黒色であればその単位領域の全ての画素(8画素)を注目画素と同じ黒色にするような処理をする。そのとき膨張処理をするための画素数(上記の例でいう1画素)を「膨張画素数」とよぶ。なお、膨張処理の方法は限定しない。例えば、ある注目画素において、その注目画素の周辺に黒色の画素が存在する場合は、その注目画素の画素値を黒色の画素値にさせるような処理でもよい。

0029

膨張処理の結果の例を図5(d)に示す。このように、図5(c)の差分領域404が膨張処理されて、オブジェクトの影403およびオブジェクトの輪郭部分に発生するボケ領域407は膨張処理された後の差分領域501の中に含まれることになる。

0030

図5(e)の画像は、保存されていた背景画像が撮像画像である図5(a)の画像に基づいて更新された後の背景画像を示す画像である。差分領域設定部304は、膨張された後の差分領域501を含む図5(d)の画像と、図5(a)の撮像画像とを重ね合わせる。その時に、膨張された差分領域以外の領域である非差分領域502(白色の領域)に応じた撮像画像の画素が、保存されている図5(b)の背景画像の同じ領域の画素に上書され背景画像が更新される。差分領域501は、オブジェクトの影403およびオブジェクトの輪郭部分に発生するボケ領域407が含まれるように膨張されている。このため、背景を示す非差分領域502にはオブジェクトの影403およびオブジェクトの輪郭部分に発生するボケ領域407が含まれない。よって、図4(d)の背景画像とは異なり、本実施形態によって更新された図5(d)の背景画像には影403およびボケ領域407の領域が取り込まれない。

0031

このため、例えば、背景差分処理部306は、オブジェクトの影403が取り込まれていない背景画像と撮像画像とを比較して差分処理を行ことができる。よって、背景差分処理部306はオブジェクトの影403を差分として認識できるため、前景マスク生成に際して、オブジェクトの影も前景領域として処理することができる。

0032

[フローチャート]
図6は、本実施形態における画像処理装置200が背景画像を更新する際の一連の処理を示すフローチャートである。図6のフローチャートで示される一連の処理は、CPU201がROM203に記憶されているプログラムコードをRAM202に展開し実行することにより行われる。または、図6におけるステップの一部または全部の機能をASIC、FPGA、あるいは電子回路等のハードウエアで実現してもよい。なお、各処理の説明における記号「S」は、当該フローチャートにおけるステップであることを意味する。

0033

S601において、画像取得部301は、ネットワークを介して各カメラ102から送られる撮像画像を示す画像データを取得する。

0034

S602において、画像取得部301は、撮像画像を示す画像データに対して、画像の振動補正レンズ歪みなどの画像の歪みの補正、色およびガンマ調整などの前処理を行う。

0035

S603において、差分領域検出部302は、前処理が行われた撮像画像を示す画像データを取得する。また、差分領域検出部302は、背景画像保存部303に保存された背景画像を示す画像データを比較対象画像として取得する。差分領域検出部302は、取得した背景画像の領域と撮像画像の対応する領域とにある各画素の画素値の差分を算出し、差分が所定の値より大きいかを判定する。差分が所定の値より大きい場合、差分領域検出部302は当該画素を差分領域の画素であると判定する。

0036

ここで、所定の値は、撮像画像の背景の領域に含まれる微小ノイズによって画素値が変動した場合であっても、撮像画像の背景の領域が差分領域と判定されないように定められた値である。よって、所定の値はノイズの変動に基づき定められる。所定の値は、例えば背景画像の画素値に対して数%の値のように予め定められた値である。または、画像処理装置200に撮像画像のノイズレベルモニターする機能を設け、差分領域検出部302は撮像画像のノイズレベルに応じて所定の値を随時変更する形態であってもよい。画像処理装置200の表示操作部210を介してユーザが所定の値を変更する指示を行い、差分領域検出部302が当該指示を取得し、ユーザが定めた所定の値に基づき差分領域を判定する形態でもよい。

0037

S604において差分領域設定部304は、膨張画素数を決定するための基礎となる特徴量の算出を行う。本実施形態では、特徴量としてオブジェクトごとの差分領域の画素数(面積)を使用する。差分領域設定部304は、オブジェクトごとの差分領域の画素を数えて差分領域の画素数を算出する。

0038

S605において、差分領域設定部304は、オブジェクトごとの差分領域の画素数に所定の係数乗算し、差分領域を膨張処理するための膨張画素数を決定する。

0039

S606において、差分領域設定部304は、オブジェクトごとの差分領域に対してS605の処理によって決定された膨張画素数に基づき膨張処理を行う。

0040

S607において、背景画像作成部305は、画像取得部301が取得した撮像画像、背景画像保存部303に保存されている背景画像、および差分領域設定部304において膨張処理された差分領域と非差分領域とを示す画像を取得する。背景画像作成部305は、膨張処理された後の非差分領域502に対応する撮像画像の各画素を、背景画像保存部303に保存されている背景画像の非差分領域に対応する各画素に、撮像画像の各画素を置換するように上書きして背景画像を生成する。即ち、上書きする撮像画像の各画素の画素値によって、上書きされる背景画像の各画素の画素値が置換されるようにして背景画像が更新される。更新後の背景画像は背景画像保存部303に保存される。

0041

画像取得部301は取得した撮像画像を示す画像データを一定期間毎に差分領域検出部302に送信し、その都度、差分領域検出部302は撮像画像を示す画像データを取得する。よって、記載は省略するがS601からS607の処理は繰り返し行われる。背景画像保存部303には、撮像画像が撮像される直前に更新された背景画像が記憶されている。よって、次にS601の処理が行われる際は、更新後の背景画像と新たな撮像画像を比較してS603の差分領域を判定する処理が行われる。このようにして背景画像を随時更新することができる。

0042

以上の処理により撮像画像から背景画像を更新する処理は終了する。仮想視点画像を生成する処理としてはこの後に前景画像を生成するための処理が行われる。

0043

仮想視点画像を生成する際には、主な被写体(オブジェクト)である前景を背景部分から切り離してモデル化した上でレンダリングする処理が行われる。前景をモデル化する際には、複数のカメラから見たときの前景のシルエットに相当する前景マスクの情報と前景のテクスチャの情報(例えば前景の各画素のR、G、Bの色情報)とが必要となる。

0044

前景を背景部分から切り離す処理は、前景背景分離処理と呼ばれる。前景背景分離処理は、前景領域の推定を行う処理であり、一般的に背景差分法によって行われる。背景差分法とは、背景画像と、前景を含む入力画像との差分を求め、差分値が所定の閾値以上と判定された画素の集まりである領域を前景領域とする、というものである。つまり、前景を求めるために、背景画像が必要となる。

0045

背景差分処理部306は、背景画像作成部305から、更新された背景画像を取得する。また背景差分処理部306は、画像取得部301から撮像画像を取得する。背景差分処理部306は、撮像画像と更新された背景画像とを比較する背景差分法を行い、差分のある領域から前景領域を示す前景マスクを作成する。

0046

前景マスクの作成において使用される背景画像は、上記の背景画像作成部305が更新した背景画像であり、例えば、図5(e)に示すようにオブジェクトの影が取り込まれていない背景画像である。このため本実施形態によれば背景差分処理部306は、オブジェクトの影が取り込まれていない背景画像と撮像画像とを比較して差分処理を行ことができる。よって、背景差分処理部306はオブジェクトの影の領域を差分として認識できるため、前景マスク生成に際して、オブジェクトの影に対しても前景領域として判定することができる。

0047

次に、前景テクスチャ生成部307は、画像取得部301から撮像画像を取得し、背景差分処理部306から前景マスクを取得する。前景テクスチャ生成部307は、撮像画像および前景マスクに基づいて前景テクスチャを切り取る処理をして前景テクスチャを生成する。

0048

次に、上記の背景画像、前景マスク、前景テクスチャを用いて仮想視点画像を生成する処理の説明をする。仮想視点画像生成部308は、他の複数視点のカメラによって撮像された複数視点画像によって生成された背景画像、前景マスク、前景テクスチャを取得する。仮想視点画像生成部308は、取得した複数視点の前景マスクおよび前景テクスチャを用いて、撮像シーン内に存在する各オブジェクトの3次元形状推定処理を実行する。推定手法としては、オブジェクトの輪郭情報を用いるVisual−hull手法、または三角測量を用いたMulti−view stereo手法など公知の手法を適用すればよい。これにより、オブジェクトの3次元形状を表すデータ(例えば、ポリゴンデータまたはボクセルデータ)が生成される。そして、生成される仮想視点画像についての画質レベルが設定される。

0049

また、仮想視点画像の対象タイムフレームにおける仮想カメラの位置・姿勢(仮想カメラパス)および注視する点(仮想注視点パス)といったパラメータが、表示操作部210を介したユーザ入力に基づき設定される。仮想視点画像生成部308は、前述の仮想カメラのパラメータに従って、仮想視点画像を生成する。仮想視点画像は、形状推定処理で得られたオブジェクトの3D形状データを用いて、設定された仮想カメラから見た映像コンピュータグラフィックスの技術を用いることで生成することができる。この生成処理には公知の技術を適宜適用すればよく、本実施形態の主眼ではないので説明は省略する。

0050

以上説明したように本実施形態によれば、背景と画素値の差が小さい前景領域を背景として処理することなく背景画像を生成することができる。

0051

[変形例]
本実施形態の説明において、差分領域をより広い領域とするような設定処理の1つとして膨張処理による実施形態の説明をした。差分領域をより広い領域とするような設定処理は膨張処理に限られない。例えば、ユーザが表示操作部210を介して差分領域を広げる領域を指示し、差分領域設定部304は当該指示に基づき差分領域を広げるような形態でもよい。

0052

本実施形態では、膨張画素数を決定する基である特徴量として画素数(面積)が用いられている。変形例として、オブジェクトの形状の目安となる差分領域の高さ、または差分領域の幅の情報が特徴量して用いられてもよい。またはオブジェクトの動きによる輪郭ボケの程度の目安となる過去のフレーム画像との比較によるオブジェクトの移動量が特徴量として用いられてもよい。

0053

特徴量から膨張画素数を決定する方法として本実施形態では特徴量に対して一定の係数を乗算する形態としている。他にも画像処理装置200が特徴量に対応した膨張画素数をテーブル形式で管理し、当該テーブルに応じて膨張画素数が決定される形態でもよい。

0054

本実施形態では、特徴量に応じて膨張画素数が決定される形態としたが、処理を軽減するために膨張画素数を一定値として決めておく形態でもよい。または、ユーザが表示操作部210を介して膨張画素数を指示し、差分領域設定部304がユーザの指示した膨張画素数を取得し、差分領域設定部304がユーザの指示に応じて膨張画素数を変更するような形態でもよい。

0055

また、オブジェクトの影が差分領域に含まれるように、差分領域設定部304は差分領域の輪郭の下方を更に膨張する形態でもよい。はじめに、差分領域設定部304はオブジェクトのボケ領域が含まれる程度に差分領域を膨張処理する。次に、差分領域設定部304は差分領域の下方の領域を更に広げるように膨張処理することでオブジェクトの影の領域に対しても差分領域に含まれるように膨張処理をする。このように差分領域設定部304がオブジェクトのボケ領域と影の領域とを差分領域に含めるための膨張画素数をそれぞれ違う値で複数回膨張処理をする形態でもよい。または、差分領域の下方の領域をさらに広げるように膨張画素数を設定し、1回の膨張処理で差分領域の輪郭の下方を更に膨張する形態でもよい。ボケ領域より影の領域の方がオブジェクトの輪郭からの広がりが大きい。このため、ボケ領域および影の領域を差分領域に含めるために差分領域を均一に膨張処理させるよりも、全体として差分領域を膨張処理させる領域を少なくすることができる。このため、差分領域の場所によって異なる膨張画素数が用いられることによって、更新する背景の領域を広くすることができる。

0056

<実施形態2>
本実施形態は、閾値を2つ設け、それぞれの閾値に達した画素の位置の関係から、オブジェクトの影の領域またはボケ領域を推定して膨張画素数を決定する形態である。影の領域またはボケ領域を推定することで差分領域を膨張処理によって広げる領域を適切な領域にすることができる。この結果、例えば、膨張処理によって広げる領域を少なくすることができ、更新する背景の領域を広くすることができる。

0057

本実施形態については、実施形態1からの差分を中心に説明する。特に明記しない部分については実施形態1と同じ構成および処理である。画像処理装置200の構成は実施形態1と同様であるので説明は省略する。

0058

[膨張画素数の決定方法の説明]
図7は、本実施形態における2つの閾値から膨張画素数を決定する処理を説明するための図である。図7(b)のグラフ横軸は、図7(a)の撮像画像のaからa´までの横方向(x方向)のライン上の位置を表している。図7(b)グラフの縦軸は、撮像画像上のaからa´のライン上の画素と、比較対象画像上における同じ位置の画素と、の画素値の差分を表している。図7(b)のグラフ上の曲線は、aからa´のライン上の位置と、当該位置における撮像画像と比較対象画像との画素値の差分と、を示す座標プロットした点を繋いだものである。なお、本実施形態についても比較対象画像は保存されている背景画像を用いる形態であるものとして説明をする。

0059

第1の閾値は、撮像画像の差分領域と非差分領域の境界を示す所定の値(実施形態1参照)であり図7(b)のグラフではth1で示している。即ち図7(b)におけるグラフの差分がth1より大きい横軸xの領域は差分領域であることを示している。第2の閾値は第1の閾値より小さい値として設けられた閾値であり図7(b)のグラフではth2として示している。第2の閾値は、例えば、第1の閾値の半分の値として設定される。

0060

グラフ上の曲線が、グラフの縦軸である差分における第1の閾値(th1)に達したときの横軸xの値をx1とする。同様にグラフ上の曲線が縦軸である差分における第2の閾値(th2)に達したときの横軸xの値をx2とする。このとき、座標(x1,th1)と座標(x2,th2)とを結ぶ直線の延長線が横軸xと交わる座標を(x0,0)とする。図7(b)より、x0は次式で算出される。
x0=(th1×x2−th2×x1)/(th1−th2) (1)

0061

このx0をa−a’ライン上におけるオブジェクトの影の領域またはボケ領域と背景との境界であると推定して膨張画素数を決定する。例えば、実施形態1で説明したように、差分領域検出部302は、所定の値より差分が大きい領域を差分領域とする。本実施形態における所定の値は第一の閾値である。よって、差分領域検出部302はグラフの横軸xがx1より小さい領域は差分領域と判定しない。一方、差分領域設定部304は、オブジェクトの影の領域またはボケ領域が差分領域に含まれるように差分領域を膨張するため、膨張画素数は、次式に基づき決定される。
x1−x0 (2)

0062

式(2)から膨張画素数を求める場合、画素数は自然数であることから式(2)によって得られたx1−x0の小数点切り上げた値が膨張画素数として用いられる。こうして差分領域設定部304は膨張処理によって影の領域またはボケ領域が差分領域に含まれる膨張画素数を決定する。

0063

[フローチャート]
図8は、2つの閾値から膨張画素数を決定して膨張処理を示すフローチャートである。S801〜802は、図6のS601〜602と同じ処理であるので、説明を省略する。

0064

S803において、差分領域検出部302は、取得した撮像画像のオブジェクト上に特定のラインを設け、当該ライン上の撮像画像と背景画像との各画素に対して画素値の差分を算出し、差分が第1の閾値より大きいかを判定する。差分領域検出部302は、差分が第1の閾値(th1)に達したときのライン上の座標をx1として記憶する。

0065

S804において、同様に、差分領域検出部302は、当該ライン上の撮像画像と背景画像との各画素の画素値の差分が第2の閾値より大きいかを判定する。差分領域検出部302は、差分が第2の閾値(th2)に達したときのライン上の座標をx2として記憶する。

0066

S805において、差分領域設定部304は、2つの閾値によって得られた境界の座標値(x1,th1)と(x2,th2)とに基づき、(x0,0)の座標を求める。差分領域設定部304は、x1−x0を算出し、算出した値の小終点を切り上げた値を膨張画素数として取得する。

0067

S806において、差分領域設定部304は、S805において算出された膨張画素数を使用して差分領域に対して膨張処理をおこなう。

0068

S807の処理は、図6のS607と同じ処理であるため説明は省略する。また、以降の処理についても実施形態1と同様であるので説明は省略する。

0069

以上説明したように本実施形態は、閾値を2つ設けることで、影の領域およびボケ領域を推定して膨張画素数を決定する形態である。影の領域またはボケ領域を推定することで差分領域を広げる領域を適切な領域とすることができ、その結果として、例えば、更新する背景の領域を広くすることができる。

0070

[変形例]
上記の実施形態は、特定のラインから差分領域全体に適用する膨張画素数を決定する形態であるが、複数のラインから膨張画素数を決定してもよい。例えば、差分領域設定部304は、オブジェクト全体が覆われるように図7(a)のa−a’のようなラインを複数設定する。次に差分領域設定部304は、各ラインのx1とx0とを求め、それぞれの各ラインに個別に膨張画素数を算出し、各ラインに異なる膨張画素数を適用し、ラインごとに膨張処理をしてもよい。その場合、実施形態2の説明では、オブジェクトの左側の領域に対してx0を決定する説明をしたが、差分領域設定部304はオブジェクトの右側の領域においても同様にx1とx0とを求め、左側の境界および右側の境界それぞれの膨張画素数を決定する。

0071

図7(a)のa−a’のようなラインは横方向のラインだけでなく縦方向にラインを引いて、差分領域設定部304が縦方向のラインに基づき膨張画素数を決定する形態でもよい。通常、オブジェクトの影は縦方向の下方に生じることから縦方向にもラインを設けることで、差分領域設定部304は影の領域に応じた膨張画素数を決定することができる。また差分領域設定部304が縦方向と横方向にラインを設けて、それぞれのラインから膨張画素数を決定する形態でもよい。

0072

その他にも、複数のラインから算出した膨張画素数の平均値を算出し、当該平均値を差分領域全体の膨張画素数としてもよい。

0073

<その他の実施形態>
前述した実施形態では、競技場の周囲に複数のカメラを配置して仮想視点画像を生成するシステムを例に説明した。しかしながら、単一カメラによって撮像された画像データから背景画像の更新をする形態であればよく、複数カメラ間の相対的な幾何学的設置条件に縛られるものではない。従って、例えば、画像処理装置200が構内、屋外または遠隔地に設置された監視カメラから画像データを取得して背景画像を更新するようなシステムでも実現可能である。

0074

前述した実施形態では、比較対象画像は背景画像保存部303に保存されている背景画像であり、背景画像が、比較画像である撮像画像と比較されて差分領域が決定される。比較対象画像は他にも、比較画像の撮像画像と同じ区域が撮像された画像であって、撮像画像が撮像される以前に撮像された画像でもよい。比較対象画像は1つに限らず複数でもよい。その場合、比較画像の撮像画像と、いずれかの比較対象画像とに差分があった領域は差分領域として判定される。

0075

前述した実施形態は、一つの画像処理装置200が複数のカメラの画像データを取得して各カメラにおける背景画像、前景マスクおよび前景テクスチャの生成をする形態である。前述した実施形態に限らず、各カメラのハードウエア(不図示)が、画像処理装置200の仮想視点画像生成部の機能を除く機能を有する形態でもよい。例えば、各カメラのハードウエアにおいて、各カメラが撮像した撮像画像から背景画像、前景マスクおよび前景テクスチャを生成し、仮想視点画像を生成する別の装置に生成された背景画像、前景マスクまたは前景テクスチャを送信する形態でもよい。

0076

システム、装置、方法、プログラム若しくは記録媒体記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器(例えば、ホストコンピュータインタフェース機器、撮像装置、webアプリケーション等)から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

0077

本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。

0078

301画像取得部
302差分領域検出部
303背景画像保存部
304 差分領域設定部
305 背景画像作成部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • アースアイズ株式会社の「 監視装置、監視システム、及び、監視方法」が 公開されました。( 2020/09/24)

    【課題】2次元画像を用いた監視装置において、監視対象とした「人」が行う監視対象とした「物」に対する不定形な一般的動作を抽出して、監視対象とした「人」が、監視対象とした「物」に対して不審度の高い所定の行... 詳細

  • 株式会社日立ハイテクノロジーズの「 電子ビーム装置及び画像処理方法」が 公開されました。( 2020/09/24)

    【課題】電子ビーム装置において、シフト量がサブピクセル量となった場合でも、画像を移動させたことによる測長値の変化を防止する。【解決手段】画素補間フィルタにより画像を画素間の画素シフト量だけシフトさせる... 詳細

  • 富士ゼロックス株式会社の「 画像処理装置及びプログラム」が 公開されました。( 2020/09/24)

    【課題】本開示の技術は、色見本表に対する測色の誤りを回避することができる画像処理装置及びプログラムを提供する。【解決手段】画像処理装置は、複数の色見本が行列状に配置され、前記複数の色見本に含まれる予め... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ