図面 (/)

技術 画像合成装置、画像合成装置の動作方法およびコンピュータプログラム

出願人 日本電信電話株式会社
発明者 宮下広夢長田秀信竹内広太山口真理子小野朗
出願日 2016年2月8日 (4年4ヶ月経過) 出願番号 2016-021827
公開日 2017年8月17日 (2年10ヶ月経過) 公開番号 2017-143339
状態 特許登録済
技術分野 画像処理 FAX原画の編集 スタジオ回路
主要キーワード 排他的論理和データ 操作メニュ 超音波カメラ ペイント画像 論理演算後 温度画像 合成素材 深度センサ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年8月17日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

画像合成における条件設定の自由度を高める技術を提供する。

解決手段

合成画像Outの演出領域NORのみに演出用画像データD1を転写する。合成画像Outの演出領域Aonlyのみに演出用画像データD2を転写する。合成画像Outでは、背景(演出領域NOR)が樹木(演出用画像データD1)に置換され、ノート(演出領域Aonly)が花の画像(演出用画像データD1)に置換されている。

概要

背景

従来、放送映画テレビ電話などの映像配信および映像制作に関する分野において、映像のある部分を別の画像や動画に置き換える技術がある。その中でも、均質な色の背景を設置してその中で人物撮影し、撮影した映像からその色に対応する領域を別の背景に合成する技術はクロマキー合成と呼ばれ、一般に広く利用されている。

このような映像合成のうち、撮影した人物と蓄積された画像とを組み合わせて合成する一技術を開示するものとして特許文献1がある。これはテレビ電話による遠隔コミュニケーションを目的としたもので、背景分離された人物画像画像データベースから取得した蓄積画像操作メニューを合成し、相手方に送信するものである。

同様に、同じ被写体を撮影した複数の画像から合成用の画像を作成する一技術を開示するものとして特許文献2がある。これは被写体の背景の色彩あるいは輝度、または両方を変化させた複数回の撮影を実施し、映像中画素値の変化から透明度を計算して、背景を削除するものである。

概要

画像合成における条件設定の自由度を高める技術を提供する。合成画像Outの演出領域NORのみに演出用画像データD1を転写する。合成画像Outの演出領域Aonlyのみに演出用画像データD2を転写する。合成画像Outでは、背景(演出領域NOR)が樹木(演出用画像データD1)に置換され、ノート(演出領域Aonly)が花の画像(演出用画像データD1)に置換されている。

目的

本発明は、上記事情に鑑み、画像合成における条件設定の自由度を高める技術を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

景観の画像データを受信する画像受信部と、前記景観を第1センサで検出して得られる第1センサデータおよび前記景観を第2センサで検出して得られる第2センサデータを受信するセンサデータ受信部と、前記第1および第2センサデータを2値化するセンサデータ閾値処理部と、2値化後の第1および第2センサデータについて画素ごとに所定の論理演算を行う領域論理演算部と、前記画像データを所定の合成画像転写し、前記合成画像において、論理演算後のセンサデータにおける真値の領域に対応する領域を検出し、当該領域を別の画像に置き換える又は処理する画像合成部とを備えることを特徴とする画像合成装置

請求項2

前記センサデータ閾値処理部による2値化後の第1および第2センサデータの画素ごとの排他的論理和からなる排他的論理和データを生成する画素論理演算部と、前記排他的論理和データにおける真値からなる領域を前記画像データにおける対応する領域の画素値に基づいてスーパーピクセルに分割するスーパーピクセル計算部とを更に備え、前記領域論理演算部は、前記各スーパーピクセルについて、前記2値化後の第1センサデータにおけるスーパーピクセルでの真値の総和が所定の閾値以上である場合に当該スーパーピクセルの画素を全て真値に変換するとともに、前記2値化後の第2センサデータにおけるスーパーピクセルでの真値の総和が前記閾値以上である場合に当該スーパーピクセルの画素を全て真値に変換し、変換後の第1および第2センサデータについて画素ごとに所定の論理演算を行うことを特徴とする請求項1記載の画像合成装置。

請求項3

前記第1センサは、前記景観の各部分につき、当該第1センサと当該部分の距離を測定する深度センサであり、前記第2センサは、前記景観における動体と非動体を検出するセンサであり、前記変換後の第1センサデータにおける真値の領域が、前記景観における動体の領域と当該動体より手前の非動体の領域とからなり、前記変換後の第2センサデータにおける真値の領域が、前記動体の領域からなり、前記領域論理演算部は、前記変換後の第1および第2センサデータにおけるスーパーピクセルの領域の少なくとも一方に含まれる画素からなる第1演出領域を検出し、前記第1演出領域に含まれ、かつ、前記変換後の第2センサデータにおけるスーパーピクセルの領域に含まれない画素からなる第2演出領域を検出し、前記画像合成部は、前記変換後の第2センサデータにおけるスーパーピクセルの領域での真値の総和が第2の閾値より多いタイミングにおいて、当該タイミングの画像データを保存し、真値の総和が前記第2の閾値以下のタイミングにおいて、保存した画像データを読み出し、且つ、当該画像データから前記第2演出領域のみを切り取ったインペイント画像を作成するとともに、合成画像の前記第2演出領域に前記インペイント画像を転写することを特徴とする請求項2記載の画像合成装置。

請求項4

画像合成装置の画像受信部が、景観の画像データを受信し、前記画像合成装置のセンサデータ受信部が、前記景観を第1センサで検出して得られる第1センサデータおよび前記景観を第2センサで検出して得られる第2センサデータを受信し、前記画像合成装置のセンサデータ閾値処理部が、前記第1および第2センサデータを2値化し、前記画像合成装置の領域論理演算部が、2値化後の第1および第2センサデータについて画素ごとに所定の論理演算を行い、前記画像合成装置の画像合成部が、前記画像データを所定の合成画像に転写し、前記合成画像において、論理演算後のセンサデータにおける真値の領域に対応する領域を検出し、当該領域を別の画像に置き換える又は処理することを特徴とする画像合成装置の動作方法

請求項5

前記画像合成装置の画素論理演算部が、前記センサデータ閾値処理部による2値化後の第1および第2センサデータの画素ごとの排他的論理和からなる排他的論理和データを生成し、前記画像合成装置のスーパーピクセル計算部が、前記排他的論理和データにおける真値からなる領域を前記画像データにおける対応する領域の画素値に基づいてスーパーピクセルに分割し、前記領域論理演算部は、前記各スーパーピクセルについて、前記2値化後の第1センサデータにおけるスーパーピクセルでの真値の総和が所定の閾値以上である場合に当該スーパーピクセルの画素を全て真値に変換するとともに、前記2値化後の第2センサデータにおけるスーパーピクセルでの真値の総和が前記閾値以上である場合に当該スーパーピクセルの画素を全て真値に変換し、変換後の第1および第2センサデータについて画素ごとに所定の論理演算を行うことを特徴とする請求項4記載の画像合成装置の動作方法。

請求項6

請求項1ないし3のいずれかに記載の画像合成装置としてコンピュータを機能させるためのコンピュータプログラム

技術分野

0001

本発明は、画像合成における条件設定の自由度を高める技術に関する。

背景技術

0002

従来、放送映画テレビ電話などの映像配信および映像制作に関する分野において、映像のある部分を別の画像や動画に置き換える技術がある。その中でも、均質な色の背景を設置してその中で人物撮影し、撮影した映像からその色に対応する領域を別の背景に合成する技術はクロマキー合成と呼ばれ、一般に広く利用されている。

0003

このような映像合成のうち、撮影した人物と蓄積された画像とを組み合わせて合成する一技術を開示するものとして特許文献1がある。これはテレビ電話による遠隔コミュニケーションを目的としたもので、背景分離された人物画像画像データベースから取得した蓄積画像操作メニューを合成し、相手方に送信するものである。

0004

同様に、同じ被写体を撮影した複数の画像から合成用の画像を作成する一技術を開示するものとして特許文献2がある。これは被写体の背景の色彩あるいは輝度、または両方を変化させた複数回の撮影を実施し、映像中画素値の変化から透明度を計算して、背景を削除するものである。

先行技術

0005

特許第2849119号公報
特許第4007160号公報

発明が解決しようとする課題

0006

しかし、上述した技術では画像を置き換える領域を特定する手段として、ある一条件しか設定することができない。例えば特許文献1では背景を特定する方法として色成分の他に輝度や、赤外線カメラによる温度、超音波カメラによる距離などの指標を利用することを提案しているが、例えば「温度が高く、かつ手前に存在するもの」といったように同時に複数の条件を設定できない。特許文献2も同様に、背景を「複数の画像間で色が変化した領域」としてしか条件を設定できない。複数の条件の組み合わせを考慮していないため、画像中の複数の領域について別の画像を合成するとき、各領域について独立した条件を設定する必要がある。例えばクロマキーであれば、合成したい領域ごとに互いに異なる独立した色を設置して撮影しなければならない。

0007

そこで本発明は、上記事情に鑑み、画像合成における条件設定の自由度を高める技術を提供することを目的とする。

課題を解決するための手段

0008

上記課題を解決するために、本発明の画像合成装置は、景観の画像データを受信する画像受信部と、前記景観を第1センサで検出して得られる第1センサデータおよび前記景観を第2センサで検出して得られる第2センサデータを受信するセンサデータ受信部と、前記第1および第2センサデータを2値化するセンサデータ閾値処理部と、2値化後の第1および第2センサデータについて画素ごとに所定の論理演算を行う領域論理演算部と、前記画像データを所定の合成画像転写し、前記合成画像において、論理演算後のセンサデータにおける真値の領域に対応する領域を検出し、当該領域を別の画像に置き換える又は処理する画像合成部とを備えることを特徴とする。

0009

本発明の画像合成装置の動作方法は、画像合成装置の画像受信部が、景観の画像データを受信し、前記画像合成装置のセンサデータ受信部が、前記景観を第1センサで検出して得られる第1センサデータおよび前記景観を第2センサで検出して得られる第2センサデータを受信し、前記画像合成装置のセンサデータ閾値処理部が、前記第1および第2センサデータを2値化し、前記画像合成装置の領域論理演算部が、2値化後の第1および第2センサデータについて画素ごとに所定の論理演算を行い、前記画像合成装置の画像合成部が、前記画像データを所定の合成画像に転写し、前記合成画像において、論理演算後のセンサデータにおける真値の領域に対応する領域を検出し、当該領域を別の画像に置き換える又は処理することを特徴とする。

0010

本発明のコンピュータプログラムは、上記画像合成装置としてコンピュータを機能させるためのコンピュータプログラムである。

発明の効果

0011

本発明によれば、画像合成における条件設定の自由度を高めることができる。

図面の簡単な説明

0012

本実施の形態の画像合成装置を含むシステムの構成図である。
画像合成装置1の構成図である。
画像合成装置1の各実施例に共通な前処理を示すフローチャートである。
テップS7の詳細なフローチャートである。
ステップS8の詳細なフローチャートである。
ステップS9の詳細なフローチャートである。
ステップS10の詳細なフローチャートである。
第1実施例における画像合成のフローチャートである。
画像データPの一例を示す図である。
センサデータAの一例を示す図である。
センサデータBの一例を示す図である。
図12(a)は、所定の処理後の画像データPの一例を示す図であり、図12(b)は、所定の処理後のセンサデータAの一例を示す図であり、図12(c)は、所定の処理後のセンサデータBの一例を示す図である。
排他的論理和データXORの一例を示す図である。
排他センサ領域Sxorに対応する画像データPの領域Pxorの一例を示す図である。
図15(a)は、所定の処理後の排他的論理和データXORの一例を示す図であり、図15(b)は、図15(a)の境界線を画像データPに重畳した一例を示す図である。
排他的論理和データXORの全領域のうちセンサデータA、Bの少なくとも一方に重畳しないスーパーピクセルの領域(黒)と両方に重畳するスーパーピクセルの領域(白)を示す図である。
図17(a)は、スーパーピクセル領域Ac(白)の一例を示す図であり、図17(b)は、スーパーピクセル領域Bc(白)の一例を示す図である。
図18(a)は、演出領域OR(白)の一例を示す図であり、図18(b)は、演出領域NOR(白)の一例を示す図である。
演出領域Aonly(白)の一例を示す図である。
図20(a)は、演出用画像データD1の一例を示す図であり、図20(b)は、演出用画像データD2の一例を示す図である。
第1実施例の合成画像Outの一例を示す図である。
変形例における合成画像Outの一例を示す図である。
図23(a)は、別の画像データPの一例を示す図であり、図23(b)は、別のスーパーピクセル領域Acの一例を示す図であり、図23(c)は、別のスーパーピクセル領域Bcの一例を示す図である。
別の演出領域Aonlyの一例を示す図である。
別の演出用画像データD1の一例を示す図である。
別の合成画像Outの一例を示す図である。
第2実施例における画像合成のフローチャートである。
図28(a)は、第2実施例の画像データPの一例を示す図であり、図28(b)は、第2実施例のスーパーピクセル領域Acの一例を示す図であり、図28(c)は、第2実施例のスーパーピクセル領域Bcの一例を示す図である。
第2実施例における演出領域Bonlyの一例を示す図である。
第2実施例における合成画像Outの一例を示す図である。
第3実施例における画像合成のフローチャートである。
第3実施例における画像データPの一例を示す図である。
図33(a)は、画像データPの一例を示す図であり、図33(b)は、センサデータAの一例を示す図であり、図33(c)は、センサデータBの一例を示す図である。
第3実施例における演出領域Aonlyの一例を示す図である。
連続する多数の画像データPのうちの3つに対応する演出領域Bcと、各演出領域Bcにおける真値の総和をグラフとして示す図である。
図36(a)は、真値の総和が閾値より多い場合の画像データPを示す図であり、図36(b)は、そのときの演出領域Bcを示す図であり、図36(c)は、そのときのインペイント画像Pcを示す図である。
真値の総和が閾値以下の場合の画像データPを示す図である。
第3実施例の合成画像Outの一例を示す図である。

実施例

0013

以下、本発明の実施の形態について図面を参照して説明する。

0014

図1は、本実施の形態の画像合成装置を含むシステムの構成図である。

0015

画像合成装置1には、入出力部2、カメラ3、モニタ4、センサSA、SBが接続される。

0016

入出力部2は、ユーザが画像合成装置1の諸設定を行い、また画像合成装置1の状況を逐次確認するためのものである。

0017

カメラ3は、一般に利用されるビデオカメラを想定し、画像合成装置1はカメラ3から動画を逐次受信しているものとする。

0018

センサSA、SBは、例えば、カメラ3が撮影する景観の各部分につき、センサと当該部分の距離を測定する深度センサや、各部分の温度を測定する温度センサなど、外界の情報を一定の解像度をもった画像として出力できるものを想定し、画像合成装置1は各センサから画像としてセンサデータを逐次受信しているものとする。少なくとも動画と2つのセンサデータを受信できる形態であれば、カメラとセンサの組み合わせは問わない。例えば深度のセンサデータを得るためにステレオカメラを利用する場合、構成をカメラ2台と他のセンサ1台として、動画をステレオカメラのうち1台のカメラから得るとしてもよい。また動画を得るカメラからオプティカルフローなどのセンサデータを利用する場合、構成はカメラ1台と他のセンサ1台となる。同様にステレオカメラによる深度と複数フレームによるオプティカルフローを利用する場合、構成はカメラ2台となる。なお、カメラとセンサはできるだけ光軸を一致させているものとする。

0019

モニタ4は、画像合成装置1で生成された合成画像を出力するためのものである。

0020

図1に示す構成要素は、ネットワークを経由して接続されていてもよく、あるいは1つの機器として一体となっていてもよい。

0021

図2は、画像合成装置1の構成図である。

0022

画像合成装置1は、動画像データ記憶部11、演出選択部12、画像受信部13、センサデータ受信部14、センサデータ閾値処理部15、画素論理演算部16、スーパーピクセル計算部17、領域論理演算部18、画像合成部19を備える。各部の動作は以降の動作説明で詳述する。

0023

[第1実施例]
第1実施例では、センサSAが深度センサ、センサSBが温度センサであることとして、詳細な動作を説明する。

0024

図3は、画像合成装置1の各実施例に共通な前処理を示すフローチャートである。

0025

この前処理の後、動画像合成の演出方法に応じた動作を必要とするが、第1実施例では動画から得た画像データのうち人物が持つ物体と背景の2領域を別の画像に置き換える例を説明する。

0026

図9は、動画のデータに含まれるフレームデータである1つの画像データPの一例を示す図である。第1実施例では図9のように、カメラ3が、部屋の中で人物がノートを持っている景観を撮影する。このとき、人物は背景よりも手前に存在し、持っているノートは人物よりも低い温度であるとする。

0027

S1:画像受信部13は、このような画像データPを含む動画のデータを受信、復号し、動画像データ記憶部11に記憶させる。

0028

センサSAは、図9のような景観を検出し、図10のようなセンサデータA(深度画像)を生成する。

0029

センサSBは、図9のような景観を検出し、図11のようなセンサデータB(温度画像)を生成する。

0030

S2、3:センサデータ受信部14は、このようなセンサデータA、BをセンサSA、SBから受信、復号する。

0031

ステップS1〜S3は、並行に実行される。

0032

S4、S5:センサデータ閾値処理部15は、センサデータA、Bがグレースケールデータまたはカラーデータである場合は、これを2値化する。2値化の閾値はユーザが入出力部2で設定、変更してもよいし、例えばセンサデータA、Bに含まれるデータの振幅などから画像合成装置1が自動的に設定してもよい。

0033

S6:次にフレームと画角の調整を行う。

0034

図12(a)は、ステップS6後の画像データPの一例を示す図である。図12(b)は、ステップS6後のセンサデータAの一例を示す図である。図12(c)は、ステップS6後のセンサデータBの一例を示す図である。画像データP、センサデータA、Bの画角、解像度は互いに一致している。

0035

このとき、画像データP、センサデータA、Bはできるだけ同期しており、同一時刻の景観から得られたこととする。

0036

画像データP、センサデータA、Bの画角を一致させる方法として、ユーザが入出力部2で設定、変更してもよいし、例えば画像データP、センサデータA、Bのエッジ(境界)が一致するように画像合成装置1が自動的に設定、変更してもよい。

0037

S7:次に、画素論理演算部16が、2値化後のセンサデータA、Bの画素ごとの排他的論理和からなる排他的論理和データを生成する。

0038

図4は、ステップS7の詳細なフローチャートである。

0039

S71:画素論理演算部16は、まず、画像データと同じ画素数縦横比を有する排他的論理和データXORを生成する。

0040

S72〜S74については、排他的論理和データXORの全画素pについて繰り返し実行する。

0041

S72:画素論理演算部16は、画素pと同じ位置のセンサデータAの画素から値Apを読み出す。

0042

S73:画素論理演算部16は、画素pと同じ位置のセンサデータBの画素から値Bpを読み出す。

0043

S74:画素論理演算部16は、ApとBpの排他論理和(XOR:Exclusive OR)を求め、排他的論理和データの画素pに書き込む。

0044

S75:画素論理演算部16は、必要に応じて、排他的論理和データXORにおける真値の領域を膨張させる。この際、例えば、膨張(dilation)フィルタを用いる。

0045

図13は、ステップS7で得られる排他的論理和データXORの一例を示す図である。図13(a)は、ステップS75を実行しない場合のもの、図13(b)は、ステップS75を実行した場合のものである。

0046

真値を白、値を黒で示す。すなわち、白の領域(排他的センサ領域Sxorという)は、センサSAで検出され且つセンサSBで検出されなかった領域と、センサSBで検出され且つセンサSAで検出されなかった領域とを合わせたものである。

0047

図3に戻る。

0048

S8:次に、スーパーピクセル計算部17は、排他的センサ領域Sxorを画像データPにおいて対応する領域(Pxor)の画素値に基づいて分割する。

0049

ここでは、図13(b)の排他的センサ領域Sxorを例に説明する。

0050

図5は、ステップS8の詳細なフローチャートである。

0051

S81:スーパーピクセル計算部17は、排他的センサ領域Sxorに対応する画像データPの領域Pxorを特定する。

0052

図14は、図13(b)の排他的センサ領域Sxorに対応する画像データPの領域Pxorの一例を示す図である。

0053

領域Pxorには、人物と背景の境界付近や人物が持つノート付近の画像が含まれている。

0054

S82:スーパーピクセル計算部17は、領域Pxorの画素に一定間隔ごとに異なるラベルを付与する。

0055

S83(S84、S85)については、全ての画素にラベルが付与されるまで繰り返し実行する。

0056

S84、S85については、各ラベルについて繰り返し実行する。

0057

S84:スーパーピクセル計算部17は、該当ラベルが付与された画素に近接し、かつラベルが付与されてない画素を検出する。

0058

S85:スーパーピクセル計算部17は、検出した画素のうち、該当のラベルが付与された画素と同じ又は同等の画素値を有し且つ最も距離が近い画素に対し、同じラベルを付与する。画素値は、グレースケール画像では濃度、カラー画像では色を表す。

0059

S86:スーパーピクセル計算部17は、同じラベルが付与された画素群を1つのスーパーピクセルと設定する。これにより、排他的センサ領域Sxorも各スーパーピクセルに対応する領域(これもスーパーピクセルという)に分割されたこととなる。

0060

図15(a)は、ステップS8後の排他的論理和データXORの一例を示す図である。

0061

白の排他的センサ領域Sxorが、複数のスーパーピクセル(小領域)に分割されている。黒の領域はスーパーピクセルを求めなかった領域である。

0062

図15(b)は、図15(a)の境界線を画像データPに重畳した一例を示す図である。

0063

スーパーピクセルの境界線が、人物と背景との境界や、人物とノートの境界に対応していることがわかる。このように、濃度(色)が近い画素をまとめるようにスーパーピクセルを求めた場合、濃度(色)の差が大きい境界にスーパーピクセルの境界線が現れやすい。

0064

図3に戻る。

0065

S9:領域論理演算部18は、各センサデータA、Bの真値の領域に重畳するスーパーピクセルを検出する。

0066

図6は、ステップS9の詳細なフローチャートである。

0067

S91(S92〜S95)、S96については、各センサデータA、Bについて実行する。S92〜S95については、各スーパーピクセルについて実行する。なお、スーパーピクセルを求めなかった領域、すなわち図13(b)の黒い領域に関しては、連続している画素をまとめてひとつのスーパーピクセルとして扱う。

0068

S92:領域論理演算部18は、センサデータにおけるスーパーピクセルでの真値の総和を計算する。

0069

S93:領域論理演算部18は、総和が予め定めた閾値以上か否かを判定する。

0070

S94:領域論理演算部18は、総和が閾値以上なら、スーパーピクセルはセンサデータに重畳していると判定する。

0071

S95:領域論理演算部18は、総和が閾値未満なら、スーパーピクセルはセンサデータに重畳していないと判定する。

0072

なお、総和は、センサデータにおけるスーパーピクセル内の小領域での真値の総和でもよい。

0073

S96:領域論理演算部18は、該当のセンサデータについて、重畳すると判定されたスーパーピクセルに対応する画素を全て真値に変換する。

0074

図16は、図15(a)の全領域のうちセンサデータA、Bの少なくとも一方に重畳しないスーパーピクセルの領域(黒)と両方に重畳するスーパーピクセルの領域(白)を示す図である。

0075

すなわち、人物の顔や手、体に対応する領域は、手前に存在して温度が高いため、センサSA、SBのどちらでも検出できている。

0076

図17(a)は、ステップS9後のスーパーピクセル領域Acの一例を示す図である。

0077

真値を白、偽値を黒で示す。真値の領域をスーパーピクセル領域Acという。手前側に存在する人物と物が持つノートのどちらもが真値となっている。

0078

図17(b)は、ステップS9後のセンサデータB(Bc)の一例を示す図である。

0079

真値を白、偽値を黒で示す。真値の領域をスーパーピクセル領域Bcという。温度の高い人物が真値であり、温度の低い背景と人物が持つノートは偽値となっている。

0080

すなわち、ステップS9後のセンサデータA、Bは、図12(b)に示すセンサデータA、図12(c)に示すセンサデータBの真偽値を、図12(a)に示す画像データPの濃度(色)によって修正したものといえる。

0081

また、図13の排他的論理和データXORは、センサデータA、Bを単純に比較したものと言え、これだと、センサの性能や視差の影響から人物や背景の境界にセンサ間の違いが出やすい。しかし、スーパーピクセルに基づいて各センサデータを修正することで、各センサデータの境界部分が一致し、センサ間の違いが削減されるため、以降の画像合成において、意図しない領域での画像の置き換えなどが発生しにくくなる。

0082

図3に戻る。

0083

S10:領域論理演算部18は、ステップS9後のセンサデータA、Bについて画素ごとに所定の論理演算を行い、演出領域を生成する。

0084

図7は、ステップS10の詳細なフローチャートである。

0085

S101:第1実施例では、人物が持つノートと背景の2領域を別の画像に置き換えるので、そのためには、まず、領域論理演算部18は、変換後の各センサデータA、Bからスーパーピクセル領域Ac、Bcを取得する。

0086

S102:次に、領域論理演算部18は、スーパーピクセル領域Ac、Bcの少なくとも一方に含まれる画素からなる演出領域ORを検出する。

0087

S103:領域論理演算部18は、スーパーピクセル領域Acに含まれず、かつ、スーパーピクセル領域Bcに含まれない画素からなる演出領域NORを検出する。

0088

S104:領域論理演算部18は、演出領域ORに含まれ、かつ、スーパーピクセル領域Bcに含まれない画素からなる演出領域Aonlyを検出する。

0089

図18(a)は、ステップS102で得られる演出領域OR(白)の一例を示す図である。図18(b)は、ステップS103で得られる演出領域NOR(白)の一例を示す図である。図19は、ステップS104で得られる演出領域Aonly(白)の一例を示す図である。

0090

演出領域Aonlyは、センサSAで検出でき、かつセンサSBで検出できなかった領域となる。第1実施例では人物が持っているノートは背景よりも手前に存在し、また温度が低いため、センサSA(深度センサ)でしか検出できない領域であり、これが演出領域Aonlyに対応している。

0091

図8は、第1実施例における画像合成のフローチャートである。

0092

演出選択部12は、ユーザから、演出として画像合成を適用したい演出領域や、合成素材としての動画の指示を受け付ける。画像合成部19は、動画像データ記憶部11に記憶された動画(元の動画と合成素材としての動画)、指示された演出領域を元に、画像合成を実行し、合成画像をモニタ4に出力する。

0093

S11:画像合成部19は、画像データPと同じ画素数、縦横比を有する合成画像Outを生成し、画像データPを合成画像Outに転写する。

0094

S12:画像合成部19は、動画像データ記憶部11から、合成素材としての動画に含まれる演出用画像データD1、D2を読み出す。

0095

図20(a)は、ステップS12で得られる演出用画像データD1の一例を示す図である。

0096

図20(b)は、ステップS12で得られる演出用画像データD2の一例を示す図である。

0097

S13:次に、画像合成部19は、合成画像Outの演出領域NORのみに演出用画像データD1を転写する。演出領域NOR以外がマスクとなると考えてもよい。

0098

S14:また、画像合成部19は、合成画像Outの演出領域Aonlyのみに演出用画像データD2を転写する。演出領域Aonly以外がマスクとなると考えてもよい。

0099

S15:画像合成部19は、合成画像Outをモニタ4に出力する。

0100

図21は、第1実施例の合成画像Outの一例を示す図である。

0101

合成画像Outでは、背景(演出領域NOR)が樹木(演出用画像データD1)に置換され、ノート(演出領域Aonly)が花の画像(演出用画像データD1)に置換されている。

0102

なお、図22に示すように、図19の演出領域Aonlyの大きさと直線成分の傾きを求め、それに対応するように画像データPに対して回転やリサイズを施した上で合成してもよい。

0103

また、逐次処理される画像データのフレーム位置などに対応して、動画像データ記憶部11から取得する合成用の画像を変更してもよい。

0104

図23(a)は、バスケットボールを行っている様子を撮影した画像データPを示している。

0105

図23(b)は、この場合のスーパーピクセル領域Ac、すなわち深度センサから得たスーパーピクセル領域Acを示しており、背景と床に対応する領域は偽値(黒)となっている。

0106

図23(c)は、この場合のスーパーピクセル領域Bc、すなわち温度センサから得たスーパーピクセル領域Bcを示しており、人物以外の背景や床、バスケットボールに対応する領域が偽値となっている。

0107

図24(a)は、この場合の演出領域Aonly(白)であり、演出領域Aonlyは、バスケットボールに対応する領域のみとなる。

0108

選手の国が別の場合、演出領域Aonlyは、例えば、図24(b)に示すようになる。

0109

このような演出領域Aonlyに対して、バスケットボールを持っている選手に応じて、演出用画像データを変更する。

0110

例えば、図24(a)の演出領域Aonlyのバスケットボールを持つ国がアメリカの場合、図25(a)のようなアメリカ国旗の演出用画像データD1を用いる。これにより、合成画像は、図26(a)のようになる。

0111

例えば、図24(b)の演出領域Aonlyのバスケットボールを持つ国がカナダの場合、図25(b)のようなカナダ国旗の演出用画像データD1を用いる。これにより、合成画像は、図26(b)のようになる。

0112

このような演出用画像データの変更は、ユーザが演出選択部12に指定する形態してもよいし、画像データPやスーパーピクセル領域Ac、Bcなどから自動的に実施される形態でもよい。

0113

以上のように、第1実施例の画像合成装置1は、景観の画像データを受信する画像受信部13と、景観を第1センサ(SA)で検出して得られる第1センサデータ(A)および景観を第2センサ(SB)で検出して得られる第2センサデータ(B)を受信するセンサデータ受信部14と、第1および第2センサデータを2値化する(S4、S5)センサデータ閾値処理部15と、2値化後の第1および第2センサデータの画素ごとの排他的論理和からなる排他的論理和データ(XOR)を生成する(S7)画素論理演算部16と、排他的論理和データ(XOR)における真値からなる領域を画像データにおける対応する領域の画素値に基づいてスーパーピクセルに分割する(S8)スーパーピクセル計算部17と、各スーパーピクセルについて、2値化後の第1センサデータにおけるスーパーピクセルでの真値の総和が所定の閾値以上である場合に当該スーパーピクセルの画素を全て真値に変換するとともに(S96)、2値化後の第2センサデータにおけるスーパーピクセルでの真値の総和が閾値以上である場合に当該スーパーピクセルの画素を全て真値に変換し(S96)、変換後の第1および第2センサデータについて画素ごとに所定の論理演算を行う(S10)領域論理演算部18と、画像データを所定の合成画像に転写し(S11)、合成画像において、論理演算後のセンサデータにおける真値の領域に対応する領域を検出し、当該領域を別の画像に置き換える(S13、S14)画像合成部19とを備える。よって、画像合成における自由度を高めることができる。

0114

[第2実施例]
図27は、第2実施例における画像合成のフローチャートである。第2実施例では、第1実施例の画像合成のフローチャートに代えて、このフローチャートが使用される。第2実施例でも、センサSAが深度センサ、センサSBが温度センサであることとする
図28(a)は、第2実施例における画像データPの一例を示す図であり、野球場野球選手を撮影し、背景には複数の観客が含まれている。

0115

図3のフローチャートは、第2実施例でも使用されるので、センサデータA、Bにそれぞれ対応するスーパーピクセル領域Ac、Bcが求められる。

0116

図28(b)は、この場合のスーパーピクセル領域Ac、すなわち深度センサから得たスーパーピクセル領域Acを示しており、手前側に存在する野球選手のみの領域となっている。

0117

図28(c)は、この場合のスーパーピクセル領域Bc、すなわち温度センサから得たスーパーピクセル領域Bcを示しており、選手に加えて、選手よりも奥に存在する観客も加えた領域となっている。

0118

第2実施例では、領域論理演算部18が、演出領域ORに含まれ、かつ、スーパーピクセル領域Acに含まれない演出領域Bonlyを検出する。

0119

図29は、第2実施例における演出領域Bonlyの一例を示す図であり、画像データPに含まれる温度の高い領域、すなわちすべての人物の領域から、手前側にいる野球選手の領域が除外されている。

0120

図27において、S11:画像合成部19は、画像データPと同じ画素数、縦横比を有する合成画像Outを生成し、画像データPを合成画像Outに転写する。

0121

S16:画像合成部19は、合成画像Outの演出領域Bonlyのみを平滑化する。演出領域Bonly以外がマスクとなると考えてもよい。平滑化にはガウシアンフィルタなどを用いる。

0122

S17:画像合成部19は、合成画像Outをモニタ4に出力する。

0123

図30は、合成画像Outの一例を示す。手前に存在する野球選手や背景のフェンスや壁などは鮮明なままで、観客の領域だけぼかされている。このような演出により、観客の顔が判別できないようにプライバシーに配慮した映像表現が可能となる。

0124

以上のように、第2実施例では、画像合成においては、画像データを所定の合成画像に転写し(S11)、合成画像において、論理演算後のセンサデータにおける真値の領域に対応する領域を検出し、当該領域に処理を加える(S16)が、このような画像合成以外は、第1実施例と同じであるから、画像合成における自由度を高めることができる。

0125

[第3実施例]
図31は、第3実施例における画像合成のフローチャートである。第3実施例では、第1実施例の画像合成のフローチャートに代えて、このフローチャートが使用される。

0126

第3実施例では、センサSAが深度センサであり、センサSBは、連続する画像データPから、変化する領域を検出するものであることとする。この領域は、前後する画像データPの差分の領域である。すなわち、センサSBは、変化する領域(動体)と変化しない領域(非動体)を検出するセンサともいえる。

0127

第3実施例では、図32のような画像データPが得られる。つまり、最も手前の中央に柱があり、その奥を人物(動体)が左から右へ歩いている姿を撮影しているとする。

0128

図33(a)のような画像データPが得られるとき、センサデータAでは、図33(b)のように、柱と人物が真値となる。つまり、センサデータAにおける真値の領域は、動体(人物)の領域と動体より手前の非動体(柱)の領域からなる。また、センサデータB(差分の領域)では、図33(c)のように、人物に対応する領域が真値となる。つまり、センサデータBにおける真値の領域は、動体(人物)の領域の領域からなる。人物は柱の影に隠れるため、センサデータB(差分の領域)では、柱の領域が偽値となっている。

0129

図3のフローチャートは、第3実施例でも使用されるので、センサデータA、Bにそれぞれ対応するスーパーピクセル領域Ac、Bcが求められる。

0130

第3実施例では、領域論理演算部18が、演出領域ORに含まれ、かつ、スーパーピクセル領域Bcに含まれない演出領域Aonlyを検出する。

0131

また、領域論理演算部18は、スーパーピクセル領域Bcを演出領域とする。この演出領域を便宜的に演出領域Bcという。

0132

図34は、第3実施例における演出領域Aonlyの一例を示す図である。

0133

画像データPでは、手前側に存在する柱と人物のうち、人物の領域が偽値になり、柱だけが残っている。

0134

図31において、S11:画像合成部19は、画像データPと同じ画素数、縦横比を有する合成画像Outを生成し、画像データPを合成画像Outに転写する。

0135

S111:画像合成部19は、演出領域Bcにおける真値の総和を計算する。

0136

図35下段は、連続する多数の画像データPのうちの3つに対応する演出領域Bcを示し、図35上段は、各演出領域Bcにおける真値の総和をグラフとして図示する。

0137

人物が柱に隠れる前では、真値の総和は比較的多く、人物が柱に隠れると真値の総和は少なくなり、人物が柱に隠れた後では、真値の総和は再び多くなる。

0138

図31において、S112:画像合成部19は、真値の総和が予め定めた閾値以下か否かを判定する。この閾値は、S93で使用する閾値(第1の閾値)とは異なるもの(第2の閾値)である。

0139

S113、S114:画像合成部19は、閾値より多い場合、画像データPを動画像データ記憶部11に保存する一方、閾値以下の場合、こうして保存した画像データPを読み出す。

0140

閾値は、ユーザが演出選択部12に指定する形態してもよいし、センサデータの画素数と真値の総和の割合などから、画像合成装置1が自動的に設定してもよい。

0141

S115:画像合成部19は、読み出した画像データPから演出領域Bcのみを切り取ったインペイント画像Pcを作成する。

0142

図36(a)は、真値の総和が閾値より多い場合の画像データPを示し、図36(b)は、そのときの演出領域Bcを示し、図36(c)は、そのときのインペイント画像Pcを示す。

0143

図37は、真値の総和が閾値以下の場合の画像データPを示す。人物が柱に隠れてしまっている。

0144

図31において、S116:画像合成部19は、合成画像Outの演出領域Aonlyにインペイント画像Pcを転写する。

0145

このとき、合成画像Outにおけるインペイント画像Pcの座標は、ユーザが演出選択部12に設定してもよいし、演出領域Aonlyの真値の重心などから、画像合成装置1が自動的に設定してもよい。

0146

S117:画像合成部19は、合成画像Outをモニタ4に出力する。

0147

図38は、第3実施例における合成画像Outを示す図である。合成画像Outの柱の領域(Aonly)のみ、過去の画像データPから生成された人物のインペイント画像Pcによって置換されている。このような演出により、まるで柱を透視しているような映像表現が可能となる。

0148

以上のように、第3実施例によれば、第1センサ(SA)は、深度センサであり、第2センサ(SB)は、景観における動体(人物)と非動体(それ以外)を検出するセンサであり、変換後の第1センサデータにおける真値の領域が、景観における動体の領域と当該動体より手前の非動体の領域とからなり(図33(b))、変換後の第2センサデータにおける真値の領域が、動体の領域からなり(図33(c))、領域論理演算部は、変換後の第1および第2センサデータにおけるスーパーピクセルの領域の少なくとも一方に含まれる画素からなる第1演出領域(OR)を検出し、第1演出領域(OR)に含まれ、かつ、変換後の第2センサデータにおけるスーパーピクセルの領域に含まれない画素からなる第2演出領域(Aonly)検出し、画像合成部は、変換後の第2センサデータにおけるスーパーピクセルの領域での真値の総和が第2の閾値より多いタイミングにおいて、当該タイミングの画像データを保存し(S113)、真値の総和が第2の閾値以下のタイミングにおいて、保存した画像データを読み出し(S114)、且つ、当該画像データから第2演出領域(Aonly)のみを切り取ったインペイント画像を作成するとともに(
S115)、合成画像の第2演出領域(Aonly)にインペイント画像を転写するので、動体の手前の非動体を透して動体を見ているような映像表現が可能となる。

0149

このように、本発明の各実施例によると、動画の画像データから複数の条件を満たすいくつかの領域について別の画像に置き換えることができる。また、複数のセンサから取得したセンサデータについて、画像データにより得たスーパーピクセルによって、検出領域の境界を一致させ、視差やノイズを削減することができる。

0150

以上のことから、従来の手法に比べてより自由度の高い映像表現が可能となり、カメラの画像に動画像を合成するときのズレやノイズを削減し、高い品質で動画像を提供できる。

0151

なお、本実施の形態では動画から画像データを得たが、画像データ(静止画)の画像合成に本実施の形態の技術を採用してもよい。

0152

また、画素論理演算部16とスーパーピクセル計算部17による処理を行うと、スーパーピクセルの境界線が、人物と背景との境界や、人物とノートの境界に対応し、結果的に合成画像の品質を高めることができるが、それほどの品質が必要でない場合は、画素論理演算部16とスーパーピクセル計算部17は不要である。つまり、これら処理部を設けず、領域論理演算部18が、センサデータ閾値処理部15による2値化後の第1および第2センサデータについて画素ごとに所定の論理演算を行い、画像合成部19が、この論理演算後のセンサデータにおける真値の領域に対応する領域を検出し、当該領域を別の画像に置き換える又は処理してもよい。

0153

また、画像合成装置としてコンピュータを機能させるためのコンピュータプログラムは、半導体メモリ磁気ディスク光ディスク光磁気ディスク磁気テープなどのコンピュータ読み取り可能な記録媒体に記録でき、また、インターネットなどの通信網を介して伝送させて、広く流通させることができる。

0154

1画像合成装置
11動画像データ記憶部
12演出選択部
13画像受信部
14センサデータ受信部
15 センサデータ閾値処理部
16画素論理演算部
17スーパーピクセル計算部
18 領域論理演算部
19画像合成部
SA、SBセンサ
A、B センサデータ
P 画像データ
XOR排他的論理和データ
Ac、Bc スーパーピクセル領域
OR、NOR、Aonly、Bonly演出領域
D1、D2演出用画像データ
Out 合成画像

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ