図面 (/)

技術 映像送信システム、映像送信方法及びコンピュータプログラム

出願人 株式会社ドワンゴ
発明者 岩城進之介
出願日 2011年12月9日 (8年6ヶ月経過) 出願番号 2011-270292
公開日 2013年6月20日 (7年0ヶ月経過) 公開番号 2013-123108
状態 特許登録済
技術分野 スタジオ装置 双方向TV,動画像配信等
主要キーワード 所定波長光 判定用画像 映像送信システム マスク映像 画像表示制御システム ライブハウス 仮想人物 マスク画像生成
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2013年6月20日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (14)

課題

会場における来場者視野映像と、ユーザ端末視聴者に配信される映像とを異ならせること。

解決手段

出演者近辺に配置された画像表示装置の全部又は一部と、出演者と、を含む映像を撮像する撮像装置から映像の入力を受け付け、映像のうち、画像表示装置が撮像されている部分の一部又は全てに対してマスク処理を行い、マスク処理がなされた映像を、ネットワークを介して送信する。

概要

背景

ライブハウスイベント会場などで撮影された動画像映像)を、ほぼ同時刻遠隔地で見ることを可能とする映像配信システムが提案されている。特許文献1に開示された映像配信システムは、以下のような構成である。カメラは、ライブハウスで行われるライブを撮影し、映像データをリアルタイム配信サーバへ送信する。配信サーバは、ライブ中のアーティストライブ映像視聴ユーザ端末から要求された場合、カメラから継続的に受信している映像データをユーザ端末に配信する。

概要

会場における来場者視野の映像と、ユーザ端末の視聴者に配信される映像とを異ならせること。出演者近辺に配置された画像表示装置の全部又は一部と、出演者と、を含む映像を撮像する撮像装置から映像の入力を受け付け、映像のうち、画像表示装置が撮像されている部分の一部又は全てに対してマスク処理を行い、マスク処理がなされた映像を、ネットワークを介して送信する。

目的

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

出演者近辺に配置された画像表示装置の全部又は一部と、前記出演者と、を含む映像撮像する撮像装置から前記映像の入力を受け付け映像入力部と、前記映像のうち、前記画像表示装置が撮像されている部分の一部又は全てに対してマスク処理を行うマスク処理部と、前記マスク処理がなされた前記映像を、ネットワークを介して送信する送信部と、を備える映像送信システム

請求項2

前記前記画像表示装置は、前記撮像装置によって撮像された映像の一部又は全てを表示する、請求項1に記載の映像送信システム。

請求項3

前記マスク処理部は、前記映像において、前記画像表示装置が撮像されている部分をマスク部分として判定し、前記マスク部分に対して他の画像を合成する、請求項1又は2に記載の映像送信システム。

請求項4

出演者の近辺に配置された画像表示装置の全部又は一部と、前記出演者と、を含む映像を撮像する撮像装置から前記映像の入力を受け付ける映像入力ステップと、前記映像のうち、前記画像表示装置が撮像されている部分の一部又は全てに対してマスク処理を行うマスク処理ステップと、前記マスク処理がなされた前記映像を、ネットワークを介して送信する送信ステップと、を有する映像送信方法

請求項5

出演者の近辺に配置された画像表示装置の全部又は一部と、前記出演者と、を含む映像を撮像する撮像装置から前記映像の入力を受け付ける映像入力ステップと、前記映像のうち、前記画像表示装置が撮像されている部分の一部又は全てに対してマスク処理を行うマスク処理ステップと、前記マスク処理がなされた前記映像を、ネットワークを介して送信する送信ステップと、をコンピュータに実行させるためのコンピュータプログラム

技術分野

0001

撮像した映像を加工する技術に関する。

背景技術

0002

ライブハウスイベント会場などで撮影された動画像(映像)を、ほぼ同時刻遠隔地で見ることを可能とする映像配信システムが提案されている。特許文献1に開示された映像配信システムは、以下のような構成である。カメラは、ライブハウスで行われるライブを撮影し、映像データをリアルタイム配信サーバへ送信する。配信サーバは、ライブ中のアーティストライブ映像視聴ユーザ端末から要求された場合、カメラから継続的に受信している映像データをユーザ端末に配信する。

先行技術

0003

特開2011−103522号公報

発明が解決しようとする課題

0004

しかしながら、ライブハウスやイベント会場(以下、単に「会場」という。)で撮影された映像をそのままユーザ端末に表示させると、種々の問題を生じる場合がある。例えば、会場における来場者視点位置に応じた演出を行った場合に、異なる視点位置から撮影された会場の映像をそのままユーザ端末に表示させると、映像に演出がうまく反映されず、ユーザ端末の視聴者に違和感を与えることがある。

0005

記事情に鑑み、本発明は、会場における来場者の視野の映像と、ユーザ端末の視聴者に配信される映像とを異ならせることを可能とする技術の提供を目的としている。

課題を解決するための手段

0006

本発明の一態様は、出演者近辺に配置された画像表示装置の全部又は一部と、前記出演者と、を含む映像を撮像する撮像装置から前記映像の入力を受け付け映像入力部と、前記映像のうち、前記画像表示装置が撮像されている部分の一部又は全てに対してマスク処理を行うマスク処理部と、前記マスク処理がなされた前記映像を、ネットワークを介して送信する送信部と、を備える映像送信システムである。

0007

本発明の一態様は、上記の映像送信システムであって、前記前記画像表示装置は、前記撮像装置によって撮像された映像の一部又は全てを表示する。

0008

本発明の一態様は、上記の映像送信システムであって、前記マスク処理部は、前記映像において、前記画像表示装置が撮像されている部分をマスク部分として判定し、前記マスク部分に対して他の画像を合成する。

0009

本発明の一態様は、出演者の近辺に配置された画像表示装置の全部又は一部と、前記出演者と、を含む映像を撮像する撮像装置から前記映像の入力を受け付ける映像入力ステップと、前記映像のうち、前記画像表示装置が撮像されている部分の一部又は全てに対してマスク処理を行うマスク処理ステップと、前記マスク処理がなされた前記映像を、ネットワークを介して送信する送信ステップと、を有する映像送信方法である。

0010

本発明の一態様は、出演者の近辺に配置された画像表示装置の全部又は一部と、前記出演者と、を含む映像を撮像する撮像装置から前記映像の入力を受け付ける映像入力ステップと、前記映像のうち、前記画像表示装置が撮像されている部分の一部又は全てに対してマスク処理を行うマスク処理ステップと、前記マスク処理がなされた前記映像を、ネットワークを介して送信する送信ステップと、をコンピュータに実行させるためのコンピュータプログラムである。

発明の効果

0011

本発明により、会場における来場者の視野の映像と、ユーザ端末の視聴者に配信される映像とを異ならせることが可能となる。

図面の簡単な説明

0012

本発明の第一実施形態(配信システム1)のシステム構成を表すシステム構成図である。
第一実施形態における会場表示制御システム40の機能構成を示す概略ブロック図である。
第一実施形態における映像送信システム50の機能構成を示す概略ブロック図である。
第一実施形態における会場設備10の状態の具体例を示す図である。
マスク部分判定部502の処理の概略を示す図である。
第一実施形態における配信システム1において生成される画像の具体例を示す図である。
第一実施形態(配信システム1)における処理の流れを示すシーケンス図である。
本発明の第二実施形態(配信システム1a)のシステム構成を表すシステム構成図である。
第二実施形態における会場表示制御システム40aの機能構成を示す概略ブロック図である。
第二実施形態における映像送信システム50aの機能構成を示す概略ブロック図である。
第二実施形態における会場設備10の状態の具体例を示す図である。
第二実施形態における配信システム1aにおいて生成される画像の具体例を示す図である。
第二実施形態(配信システム1a)における処理の流れを示すシーケンス図である。

実施例

0013

[第一実施形態]
図1は、本発明の第一実施形態(配信システム1)のシステム構成を表すシステム構成図である。配信システム1は、会場設備10、撮像装置30、会場表示制御システム40、映像送信システム50を備える。配信システム1によって生成された映像のデータは、映像送信システム50によってネットワーク60を介して端末装置70へ配信される。

0014

会場設備10は、ステージ101、画像表示装置102を備える。
ステージ101は、出演者20が位置する場所である。
画像表示装置102は、表示面を有した装置であり、会場表示制御システム40の表示制御部402の制御に応じて表示面に画像を表示する。表示面は、例えばLED(Light Emitting Diode)を複数配列することによって構成されても良いし、表示装置を複数配列することによって構成されても良いし、他の態様で構成されても良い。画像表示装置102は、ステージ101の近辺に配置される。画像表示装置102は、会場に設けられた客席201及び撮像装置30から表示面を見ることができるように、客席201及び撮像装置30へ表示面を向けて配置される。また、画像表示装置102は、その一部又は全部を、客席201に位置する来場者が出演者20と同時に見ることができるように(すなわち同一視野に入るように)配置される。同様に、画像表示装置102は、その一部又は全部を、撮像装置30が出演者20と同時に撮像できるように(すなわち同一視野に入るように)配置される。図1の例では、画像表示装置102は、客席201及び撮像装置30から見てステージ101の後方に配置される。

0015

出演者20は、ステージ上101で来場者に対する演出を行う者である。出演者20は、人間や動物などの生物であっても良いし、ロボット等の装置であっても良い。
撮像装置30は、出演者20と、画像表示装置102の全部又は一部を撮像する。撮像装置30は、撮像した映像を、会場表示制御システム40及び映像送信システム50に対して出力する。

0016

会場表示制御システム40は、画像表示装置102を制御し、撮像装置30によって撮像された映像を表示面に表示させる。
映像送信システム50は、撮像装置30によって撮像された映像に対してマスク処理を行うことによってマスク映像データを生成する。映像送信システム50は、ネットワーク60を介して端末装置70と通信可能である。映像送信システム50は、マスク映像データを端末装置70に対して送信する。

0017

ネットワーク60は、インターネット等の広域ネットワークであっても良いし、LAN(Local Area Network)や無線LANなどの狭域ネットワーク構内ネットワーク)であっても良い。
端末装置70は、携帯電話機スマートフォンパーソナルコンピュータ、PDA(Personal Digital Assistant)、ゲーム装置テレビ受像機専用端末装置などである。端末装置70は、ネットワーク60を介して映像送信システム50からマスク映像データを受信し、受信したマスク映像データを表示する。

0018

次に、会場表示制御システム40及び映像送信システム50について詳細に説明する。
図2は、第一実施形態における会場表示制御システム40の機能構成を示す概略ブロック図である。会場表示制御システム40は、1台又は複数台情報処理装置によって構成される。例えば、会場表示制御システム40が一台の情報処理装置で構成される場合、情報処理装置は、バスで接続されたCPU(Central Processing Unit)やメモリ補助記憶装置などを備え、会場表示制御プログラムを実行する。会場表示制御プログラムの実行によって、情報処理装置は、映像入力部401、表示制御部402を備える装置として機能する。なお、会場表示制御システム40の各機能の全て又は一部は、ASIC(Application Specific IntegratedCircuit)やPLD(Programmable Logic Device)やFPGA(Field Programmable Gate Array)等のハードウェアを用いて実現されても良い。また、会場表示制御システム40は、専用のハードウェアによって実現されても良い。会場表示制御プログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク光磁気ディスク、ROM、CD−ROM等の可搬媒体コンピュータシステムに内蔵されるハードディスク等の記憶装置である。

0019

映像入力部401は、撮像装置30によって撮像された映像を画像表示制御システム40に入力する。
表示制御部402は、映像入力部401によって入力された映像を画像表示装置102に表示させる。画像表示装置102には、撮像装置30によって撮像された映像(例えば出演者20の姿など)がほとんど遅延無く表示される。

0020

図3は、第一実施形態における映像送信システム50の機能構成を示す概略ブロック図である。映像送信システム50は、1台又は複数台の情報処理装置によって構成される。例えば、映像送信システム50が1台の情報処理装置で構成される場合、情報処理装置は、バスで接続されたCPUやメモリや補助記憶装置などを備え、映像送信プログラムを実行する。映像送信プログラムの実行によって、情報処理装置は、映像入力部501、マスク部分判定部502、マスク画像生成部503、合成部504、送信部505を備える装置として機能する。なお、映像送信システム50の各機能の全て又は一部は、ASICやPLDやFPGA等のハードウェアを用いて実現されても良い。また、映像送信システム50は、専用のハードウェアによって実現されても良い。映像送信プログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。

0021

映像入力部501は、撮像装置30によって撮像された映像を映像送信システム50に入力する。以下、映像入力部501によって入力された映像を「入力映像」という。
マスク部分判定部502は、入力映像の画像平面上でマスクすべき部分(以下、「マスク部分」という。)を所定のタイミング毎に判定する。マスク部分は、入力映像において、画像表示装置102が撮影されている部分の一部又は全てである。所定のタイミングは、例えばフレーム毎であっても良いし、所定数のフレーム毎であっても良いし、フレーム内の変化が閾値を超えたタイミングであっても良いし、他のタイミングであっても良い。

0022

マスク画像生成部503は、マスク部分判定部502によって判定されたマスク部分をマスクするための画像(以下、「マスク画像」という。)を生成する。
合成部504は、入力映像にマスク画像を合成することによって、マスクされた映像のデータ(以下、「マスク映像データ」という。)を生成する。合成部504は、マスク映像データを送信部505に出力する。
送信部505は、合成部504によって生成されたマスク映像データを、ネットワーク60を介して端末装置70に送信する。

0023

図4は、第一実施形態における会場設備10の状態の具体例を示す図である。図4の例では、ステージ101上で出演者20が演出を行っている。ステージ101上の出演者20の近辺には、奥側に画像表示装置102が配置されている。さらに、ステージ101の出演者20の近辺には、天井103、左壁104、右壁105が配置されている。撮像装置30は、会場設備10及び出演者20を撮像している。撮像装置30によって撮像された映像は、会場表示制御システム40によって画像表示装置102に表示されている。上述したように、画像表示装置102には撮像された映像がほとんど遅延無く表示されるため、出演者20の姿と画像表示装置102に表示されている姿とは殆ど一致している。

0024

図5は、マスク部分判定部502の処理の概略を示す図である。マスク部分判定部502は、例えば画像表示装置102が撮影されている部分をマスク部分として判定する。本実施形態の会場設備10では、画像表示装置102はステージ101の奥側の壁面として配置されている。そのため、画像表示装置102が撮影されている部分(図5の符号801で示される部分)を、マスク部分判定部502がマスク部分として判定する。
以下、マスク部分判定部502がマスク部分を判定する処理の複数の具体例について説明する。

0025

(第1判定方法
以下、マスク部分判定部502の処理の具体例のうち、第1判定方法について説明する。配信システム1には、図1に示される各設備に加えて更に、距離画像撮像装置が備えられる。距離画像撮像装置の視点位置及び視野は、撮像装置30が撮像する視点位置及び視野とほとんど同じように設定される。距離画像撮像装置は、入力映像の各フレームに対する距離画像を撮像する。距離画像とは、各画素値として、距離画像撮像装置の視点位置からその画素に写っている物体までの間の距離を有する画像である。距離画像撮像装置は、繰り返し測距を行うことによって各タイミングでの距離画像を生成し出力する。

0026

マスク部分判定部502は、距離画像撮像装置によって撮像された距離画像の入力を受ける。マスク部分判定部502は、距離の値に関する閾値を予め記憶している。マスク部分判定部502は、距離画像の各画素値と閾値とを比較し、各画素について画像表示装置102が撮影された画素であるか否か判定する。画像表示装置102が撮影された画素と判定された場合、その画素には、画像表示装置102よりも手前に位置する人(例えばステージ101上の出演者20)や物(例えばステージ上101に設置された機材)が撮影されている。マスク部分判定部502は、画像表示装置102が撮影された画素を、マスク部分の一部であると判定する。マスク部分判定部502は、距離画像の全ての画素について判定を行い、マスク部分を判定する。

0027

このような第1判定方法は、マスクすべき対象物(画像表示装置102)が、距離画像撮像装置からの距離が略一定に構成される場合に有効である。例えば、画像表示装置102が、図4に示すようにステージ101の奥側に設置された略平面として構成される場合に有効である。

0028

(第2判定方法)
以下、マスク部分判定部502の処理の具体例のうち、第2判定方法について説明する。第2判定方法においても、配信システム1に距離画像撮像装置が備えられ、その構成は上述した通りである。

0029

マスク部分判定部502は、距離画像撮像装置によって撮像された距離画像の入力を受ける。マスク部分判定部502、画素毎に、距離の値に関する閾値を予め記憶している。マスク部分判定部502は、距離画像の画素毎に、その画素に対応した閾値と画素値とを比較し、各画素について画像表示装置102が撮影された画素であるか否か判定する。画像表示装置102が撮影された画素と判定された場合、その画素には、画像表示装置102よりも手前に位置する人(例えばステージ101上の出演者20)や物(例えばステージ上101に設置された機材)が撮影されている。マスク部分判定部502は、画像表示装置102が撮影された画素を、マスク部分の一部であると判定する。マスク部分判定部502は、距離画像の全ての画素について判定を行い、マスク部分を判定する。

0030

このような第2判定方法は、マスクすべき対象物(画像表示装置102)が、距離画像撮像装置からの距離が一定に構成されない場合に有効である。例えば、画像表示装置102が、図4に示す左壁104や右壁105にも配置された場合、画像表示装置102と距離画像撮像装置との間の距離は大きな幅を有する。このような場合であっても、画像表示装置102が撮影された画素であるか否かを適切に判定することが可能となる。

0031

(第3判定方法)
以下、マスク部分判定部503の処理の具体例のうち、第3判定方法について説明する。第3判定方法では、距離画像撮像装置に代えて、所定波長光受光装置を備える。また、第3判定方法では、画像表示装置102は、可視光線とは異なる波長の光を発光する発光素子(以下、「判定用発光素子」という。)を備える。判定用発光素子は、画像表示装置102の全体にわたって配置される。配置される判定用発光素子同士の間隔は、所定波長光受光装置の視野や解像度などとの関係で適宜設定されることが望ましい。

0032

所定波長光受光装置の視点位置及び視野は、撮像装置30が撮像する視点位置及び視野とほとんど同じように設定される。所定波長光受光装置は、判定用発光素子によって発光された光と他の波長の光とを区別するための画像(以下、「判定用画像」という。)を生成する。所定波長光受光装置は、例えば自装置の受光素子の前に、判定用発光素子が発する波長の光のみを通過させるフィルタを備えることによって、判定用画像を生成しても良い。所定波長光受光装置は、入力映像の各フレームに対する判定用画像を撮像する。所定波長光受光装置は、繰り返し受光を行うことによって各タイミングでの判定用画像を生成し出力する。

0033

マスク部分判定部503は、所定波長光受光装置によって生成された判定用画像の入力を受ける。マスク部分判定部503は、判定用画像のうち、判定用発光素子によって発光された光が撮像された画素を、画像表示装置102が撮影された画素であると判定する。画像表示装置102が撮影された画素と判定された場合、その画素には、画像表示装置102よりも手前に位置する人(例えばステージ101上の出演者20)や物(例えばステージ上101に設置された機材)が撮影されている。マスク部分判定部502は、画像表示装置102が撮影された画素を、マスク部分の一部であると判定する。マスク部分判定部502は、距離画像の全ての画素について判定を行い、マスク部分を判定する。

0034

このような第3判定方法は、マスクすべき対象物(画像表示装置102)が、距離画像撮像装置からの距離が一定に構成されない場合に有効である。例えば、画像表示装置102が、図4に示す左壁104や右壁105にも配置された場合、画像表示装置102と距離画像撮像装置との間の距離は大きな幅を有する。このような場合であっても、画像表示装置102が撮影された画素であるか否かを適切に判定することが可能となる。

0035

以上、マスク部分判定部502がマスク部分を判定する処理の具体例について説明したが、マスク部分判定部502は上述した方法とは異なる方法によってマスク部分を判定しても良い。

0036

図6は、第一実施形態における配信システム1において生成される画像の具体例を示す図である。図6(A)は、撮像装置30によって生成される映像の具体例を示す図である。図6(B)は、マスク画像の具体例を示す図である。図6(C)は、合成部504によって生成されるマスク映像データの具体例を示す図である。

0037

図7は、第一実施形態(配信システム1)における処理の流れを示すシーケンス図である。撮像装置30は、画像表示装置102や出演者20を撮像する(ステップS101)。撮像装置30によって撮像された映像は、例えば図6(A)に示されるような映像である。撮像装置30は、撮像した映像を、会場表示制御システム40及び映像送信システム50に対して出力する。

0038

会場表示制御システム40は、撮像装置30によって撮像された映像を、画像表示装置102の表示面に表示させる(ステップS201)。このとき、会場表示制御システム40の表示制御部402は、撮像された映像のうち、一部(例えば出演者20が撮影されている部分)を拡大して画像表示装置102に表示しても良い。このような制御が行われることによって、図6(A)に示すように、画像表示装置102に大きく出演者20の姿を表示させることが可能となる。

0039

映像送信システム50のマスク部分判定部502は、撮像装置30によって撮像された映像に基づいて、マスク部分を判定する(ステップS301)。マスク画像生成部503は、マスク部分判定部502によって判定されたマスク部分をマスクするための画像(マスク画像)を生成する(ステップS302)。図6(A)の映像に基づいて生成されるマスク画像は、例えば図6(B)に示されるようなマスク画像である。図6(B)に示されるマスク画像は、白い画素と黒い画素の二値画像として生成される。マスク画像のうち白い画素の部分は、合成された後に映像がそのまま表示される。一方、マスク画像のうち黒い画素の部分は、合成された後に映像がマスクされ、他の映像が表示される。例えば、黒い画素の部分は、白い画素で埋められても良いし、予め用意されている画像に置き換えられても良い。

0040

合成部504は、入力映像にマスク映像を合成することによってマスク映像データを生成する(ステップS303)。合成部504によって生成されるマスク映像データは、例えば図6(C)に示されるような映像のデータである。図6(C)に示されるマスク映像データの例では、マスク画像の黒い画素の部分には、予め同じ撮像条件(視点位置、視野角など)で撮像装置30によって撮像されたマスク用画像が合成されている。マスク用画像は、画像表示装置102に何も表示を行っていない状態で撮像された画像であっても良いし、画像表示装置102に所定の画像(例えばロゴマーク風景の画像など)を表示している状態で撮像された画像であっても良い。
送信部505は、合成部504によって生成されたマスク映像データを、ネットワーク60を介して端末装置70に送信する(ステップS304)。

0041

このように構成された配信システム1では、会場における来場者の視野の映像と、ユーザ端末の視聴者に配信される映像とを異ならせることが可能となる。すなわち以下の通りである。会場における来場者の視野に写る映像では、ステージ101上にいる出演者20の姿と、画像表示装置102に表示されている映像とが一緒に映る。一方、ユーザ端末の視聴者に配信される映像では、ステージ101上に出演者20の姿は映るものの、画像表示装置102の全部又は一部(マスク部分に相当する部分)に表示されている映像は映らない。そのため、会場で撮像された映像をそのまま端末装置に表示させた際に生じうる種々の問題を解決できる。

0042

例えば、生身の出演者20の姿と、画像表示装置102に表示された出演者20の姿とが同時に視界に入っても会場の来場者は違和感が生じにくい。これに対し、端末装置70上で閲覧する場合には、違和感が生じやすい。このような問題に対し、配信システム1では、端末装置70上で閲覧される映像には、画像表示装置102の全部又は一部がマスクされるため、生身の出演者20の姿と、画像表示装置102に表示された出演者20の姿とが同時に視界に入ることが制限される。そのため、上記の違和感を生じにくくすることが可能となる。

0043

また、会場では、その場の雰囲気に応じた演出や、現場だからこそ違和感なく感じることができる演出を行う場合がある。そのような場合に、会場の映像をそのまま端末装置に表示させると、端末装置の視聴者に違和感を与える場合がある。より具体的には、以下のような問題がある。会場で撮影した映像にコンピュータグラフィックCG)等を合成して端末装置70のユーザに配信する場合、CGに対応する画像を会場設備10の画像表示装置102に表示することがある。画像表示装置102に表示された画像をそのまま端末装置70に配信してしまうと、画像表示装置102に表示された映像とCGを合成した映像とが、内容的、位置的に重複してしまう。そのため、端末装置70のユーザにとって斬新な映像を提供する際の妨げになっていた。このような問題に対しても、上述したように、画像表示装置102の全部又は一部をマスクすることによって、違和感を生じにくくすることが可能となる。

0044

<変形例>
画像表示装置102の配置位置は、ステージ101の後方に限定される必要は無く、ステージ101の脇(側方)や天井などに配置されても良い。すなわち、図4における左壁104及び右壁105が画像表示装置として構成されても良い。この場合、左壁104、画像表示装置102、右壁105が一つの画像表示装置として構成されても良い。
距離画像撮像装置は、撮像装置30と一体の装置として構成されても良い。
会場表示制御システム40の表示制御部402は、撮像装置30によって撮像された映像をそのまま画像表示装置102に表示させるのではなく、撮像装置30によって撮像された映像を加工して画像表示装置102に表示させても良い。例えば、表示制御部402は、撮像装置30によって撮像された映像に対し、画像や文字などを付加する加工を行っても良い。この場合、会場では見ることのできる画像や文字を、端末装置70のユーザに対して閲覧できないようにすることが可能となる。また、合成部504は、表示制御部402によって付加された画像や文字などを、マスク映像データに対して付加する加工を行っても良い。

0045

[第二実施形態]
図8は、本発明の第二実施形態(配信システム1a)のシステム構成を表すシステム構成図である。図8において、第一実施形態と同じ構成には図1と同じ符号を付して表し、その説明を省く。

0046

配信システム1aは、会場表示制御システム40に代えて会場表示制御システム40aを備える点、映像送信システム50に代えて映像送信システム50aを備える点、で第一実施形態(配信システム1)と異なり、他の構成は同様である。配信システム1aでは、会場表示制御システム40aは、映像送信システム50aに対して画像のデータを送信する。

0047

図9は、第二実施形態における会場表示制御システム40aの機能構成を示す概略ブロック図である。第二実施形態における会場表示制御システム40aは、位置検出部411、追加画像生成部412、合成部413をさらに備える点、表示制御部402に代えて表示制御部402aを備える点で、第一実施形態における会場表示制御システム40と異なり、他の構成は第一実施形態における会場表示制御システム40と同様である。

0048

位置検出部411は、出演者20の位置を検出する。位置検出部411は、出演者20の位置を表す情報(以下、「位置情報」という。)を生成し、追加画像生成部412に出力する。位置検出部411は、既存のどのような方法によって位置情報を取得しても良い。位置検出処理の具体例として以下のような処理がある。位置検出部411は、映像において出演者20の顔追跡処理を行うことによって出演者20の位置を検出しても良い。位置検出部411は、距離画像撮像装置によって生成される距離画像と、初期値画像(ステージ101に出演者20がいない状態で撮像された距離画像)との差分を算出することによって出演者20の位置を検出しても良い。位置検出部411は、出演者20によって所持される位置検出用装置21の位置を出演者20の位置として検出しても良い。この場合、位置検出部411は、例えば位置検出用装置21から出力される赤外線や信号を受信することによって位置検出用装置21の位置を検出しても良い。

0049

追加画像生成部412は、映像入力部401によって入力される映像に対して追加する(合成する)画像(以下、「追加画像」という。)を、位置情報に応じて生成する。追加画像生成部412は、生成した画像を合成部413に出力する。追加画像生成部412が行う追加画像生成処理の複数の具体例について説明する。

0050

(第1画像生成法)
追加画像生成部412は、画像記憶装置を備える。画像記憶装置は、一種類の画像のみを記憶する。追加画像生成部412は、画像記憶装置から画像を読み出す。追加画像生成部412は、位置検出部411によって生成された位置情報に応じて、読み出した画像の配置位置を変更して追加画像を生成する。そして、追加画像生成部412は、追加画像を合成部413に出力する。

0051

(第2画像生成法)
追加画像生成部412は、画像記憶装置を備える。画像記憶装置は、位置情報と画像とを対応付けレコードを複数記憶する。追加画像生成部412は、位置検出部411によって生成された位置情報に応じた画像を画像記憶装置から読み出す。追加画像生成部412は、読み出した画像を追加画像として合成部413に出力する。

0052

(第3画像生成法)
追加画像生成部412は、画像記憶装置を備える。画像記憶装置は、位置情報と画像とを対応付けたレコードを複数記憶する。追加画像生成部412は、位置検出部411によって生成された位置情報に応じた画像を画像記憶装置から読み出す。追加画像生成部412は、位置検出部411によって生成された位置情報に応じて、読み出した画像の配置位置を変更して追加画像を生成する。追加画像生成部412は、生成した追加画像を合成部413に出力する。

0053

以上、追加画像生成部412が追加画像を生成する処理の具体例について説明したが、追加画像生成部412は上述した方法とは異なる方法によって追加画像を生成しても良い。
また、追加画像生成部412は、画像記憶装置から読み出した画像と位置情報とを、映像送信システム50aへ送信する。

0054

合成部413は、映像入力部401によって入力された映像に追加画像を合成することによって、合成映像を生成する。合成部413は、合成映像を表示制御部402aに出力する。
表示制御部402aは、合成映像を画像表示装置102に表示させる。画像表示装置102には、撮像装置30によって撮像された映像(例えば出演者20の姿など)に追加画像が合成された映像(合成映像)が、ほとんど遅延無く表示される。

0055

図10は、第二実施形態における映像送信システム50aの機能構成を示す概略ブロック図である。第二実施形態における映像送信システム50aは、合成用画像生成部511をさらに備える点、合成部504に代えて合成部504aを備える点で、第一実施形態における映像送信システム50と異なり、他の構成は第一実施形態における映像送信システム50と同様である。

0056

合成用画像生成部511は、会場表示制御システム40aから画像及び位置情報を受信する。合成用画像生成部511は、受信した画像及び位置情報に基づいて、合成用画像を生成する。合成用画像生成部511は、例えば受信した画像を位置情報に応じて加工することによって、合成用画像を生成する。より具体的には、合成用画像生成部511、位置情報が示す空間座標上の位置に相当する画像平面上の位置を、入力映像の画像平面において検出する。そして、合成用画像生成部511は、検出した画像平面上の位置を起点として所定の長さ分離れた位置に、受信した画像を配置する。合成用画像生成部511は、受信した画像が配置された部分以外は、透過する値を有した画素を用いて合成用画像を生成する。

0057

合成部504aは、入力映像にマスク画像を合成し、その上に合成用画像を合成することによって、マスク映像データを生成する。そのため、マスク部分の上には合成用画像が合成されて表示される。合成部504aは、マスク映像データを送信部505に出力する。

0058

図11は、第二実施形態における会場設備10の状態の具体例を示す図である。図11の例では、ステージ101上で出演者20が演出を行っている。出演者20は、必要に応じて位置検出用装置21を所持している。ステージ101上の出演者20の近辺には、奥側に画像表示装置102が配置されている。さらに、ステージ101の出演者20の近辺には、天井103、左壁104、右壁105が配置されている。撮像装置30は、会場設備10及び出演者20を撮像している。撮像装置30によって撮像された映像は会場表示制御システム40によって編集され、合成映像が画像表示装置102に表示されている。図11の例では、仮想人物22の画像(コンピュータグラフィックで生成されても良いし、写真を用いて生成されても良い)が追加画像として合成されている。上述したように、画像表示装置102には合成映像がほとんど遅延無く表示されるため、出演者20の姿と画像表示装置102に表示されている姿とは殆ど一致している。

0059

図12は、第二実施形態における配信システム1aにおいて生成される画像の具体例を示す図である。図12(A)は、撮像装置30によって生成される映像の具体例を示す図である。図12(B)は、マスク画像の具体例を示す図である。図12(C)は、合成用画像生成部511によって生成された合成用画像の具体例を示す図である。図12(D)は、合成部504によって生成されるマスク映像データの具体例を示す図である。

0060

図13は、第二実施形態(配信システム1a)における処理の流れを示すシーケンス図である。撮像装置30は、画像表示装置102や出演者20を撮像する(ステップS101)。撮像装置30によって撮像された映像は、例えば図12(A)に示されるような映像である。撮像装置30は、撮像した映像を、会場表示制御システム40a及び映像送信システム50aに対して出力する。

0061

会場表示制御システム40aは、出演者20の位置を検出する(ステップS211)。次に、会場表示制御システム40aは、追加画像を生成する(ステップS412)。また、会場表示制御システム40aは、追加画像に用いられる画像及び位置情報を、映像送信システム50aに通知する。会場表示制御システム40aは、撮像装置30によって撮像された映像に追加画像を合成し(ステップS213)、合成映像を画像表示装置102に表示させる(ステップS214)。このとき、会場表示制御システム40aの合成部413は、撮像された映像のうち、一部(例えば出演者20が撮影されている部分)を拡大し、拡大後の映像に合成用画像を合成することによって合成映像を生成しても良い。また、会場表示制御システム40aの合成部413は、合成後の映像のうち、一部(例えば出演者20が撮影されている部分)を拡大することのよって合成映像を生成しても良い。このような制御が行われることによって、図12(A)に示すように、画像表示装置102に大きく出演者20の姿を表示させることが可能となる。

0062

映像送信システム50aのマスク部分判定部502は、撮像装置30によって撮像された映像に基づいて、マスク部分を判定する(ステップS301)。マスク画像生成部503は、マスク部分判定部502によって判定されたマスク部分をマスクするための画像(マスク画像)を生成する(ステップS302)。図12(A)の映像に基づいて生成されるマスク画像は、例えば図12(B)に示されるようなマスク画像である。図12(B)に示されるマスク画像は、白い画素と黒い画素の二値画像として生成される。マスク画像のうち白い画素の部分は、合成された後に映像がそのまま表示される。一方、マスク画像のうち黒い画素の部分は、合成された後に映像がマスクされ、他の映像が表示される。例えば、黒い画素の部分は、白い画素で埋められても良いし、予め用意されている画像に置き換えられても良い。

0063

合成用画像生成部511は、会場表示制御システム40aから送信された画像及び位置情報に基づいて、合成用画像を生成する(ステップS311)。合成用画像生成部511によって生成される合成用画像は、例えば図12(C)に示されるような画像である。

0064

合成部504aは、入力映像にマスク映像を合成し、さらに合成用画像を合成することによってマスク映像データを生成する(ステップS312)。合成部504aによって生成されるマスク映像データは、例えば図12(D)に示されるような映像のデータである。図12(D)に示されるマスク映像データの例では、マスク画像の黒い画素の部分には、予め同じ撮像条件(視点位置、視野角など)で撮像装置30によって撮像されたマスク用画像が合成されている。マスク用画像は、画像表示装置102に何も表示を行っていない状態で撮像された画像であっても良いし、画像表示装置102に所定の画像(例えばロゴマークや風景の画像など)を表示している状態で撮像された画像であっても良い。さらに、図12(D)に示されるマスク映像データの例では、マスク画像の上にさらに合成用画像が合成されている。そのため、図12(D)に示されるマスク映像データの例では、図12(C)に示されている仮想人物22の画像が表示されている。
送信部505は、合成部504aによって生成されたマスク映像データを、ネットワーク60を介して端末装置70に送信する(ステップS304)。

0065

このように構成された配信システム1aも、第一実施形態(配信システム1)と同様の効果を奏する。
さらに、配信システム1aは以下のような効果を奏する。配信システム1aでは、出演者20の位置に応じて追加画像が合成された映像(合成映像)が画像表示装置102に表示される。会場における来場者は、画像表示装置102を見ることによって、出演者20と仮想人物22とのやり取りを認識することができる。しかしながら、生身の出演者20の近くには仮想人物22が実際に存在していないため、多少の違和感が生じてしまう場合がある。これに対し、端末装置70に表示されるマスク映像データでは、図12(D)に示されるように、画像表示装置102の表示面上ではなく、実際の出演者20の近くに仮想人物22の画像が合成された映像が表示される。そのため、出演者20と仮想人物22とのやり取りをより自然に認識することが可能となる。

0066

<変形例>
追加画像生成部412は、画像記憶装置から読み出した画像を映像送信システム50aへ送信せず、位置情報を映像送信システム50aへ送信しても良い。この場合、映像送信システム50aの合成用画像生成部511は、画像記憶装置を備えており、画像記憶装置から追加画像の生成に用いる画像を読み出しても良い。この場合、追加画像生成部412が読み出す画像と、合成用画像生成部511が読み出す画像とは、異なっても良いし同じでも良い。

0067

位置検出部411は、出演者20の位置に加えて更に、出演者20の向き又は位置検出用装置21の向きを表す情報(以下、「向き情報」という。)を検出しても良い。この場合、追加画像生成部412は、向き情報に応じて追加画像を生成しても良い。同様に、合成用画像生成部511は、向き情報に応じて追加画像を生成しても良い。例えば、合成用画像生成部511は、検出した画像平面上の位置を起点として、向き情報が示す方向に所定の長さ分離れた位置に、受信した画像を配置して合成用画像を生成しても良い。このように構成されることによって、出演者20が向いている方向に、コンピュータグラフィックにより描かれた仮想人物などの姿を表示させることができる。そのため、出演者20と仮想人物とのやり取りなどの演出をより自然に行う事が可能となる。

0068

追加画像や合成用画像に表示される画像は、仮想人物22の画像に限定される必要は無い。例えば、人物以外の仮想の生物(動物や空想上の生物など)や、仮想の物体や文字や演出用の画像(爆発を表す画像など)であっても良い。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

0069

1,1a…配信システム, 10…会場設備, 101…ステージ, 102…画像表示装置, 103…天井, 104…左壁, 105…右壁, 20…出演者, 21…位置検出用装置, 22…仮想人物, 201…客席, 30…撮像装置, 40,40a…会場表示制御システム, 401…映像入力部, 402,402a…表示制御部, 411…位置検出部, 412…追加画像生成部, 413…合成部, 50,50a…映像送信システム, 501…映像入力部, 502…マスク部分判定部(マスク処理部), 503…マスク画像生成部(マスク処理部), 504,504a…合成部(マスク処理部), 505…送信部, 511…合成用画像生成部, 60…ネットワーク, 70…端末装置

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • マクセル株式会社の「 放送番組の出力方法」が 公開されました。( 2020/04/09)

    【課題】より付加価値の高い機能を実行可能な放送受信装置を提供すること。【解決手段】デジタル放送サービスを受信可能な放送受信装置であって、デジタル放送サービスの放送波を受信する放送受信部と、受信した放送... 詳細

  • 東芝映像ソリューション株式会社の「 受信機」が 公開されました。( 2020/04/09)

    【課題】セキュリティ通信が実行されている場合に、当該セキュリティ通信が実行されていることを示す表示を得られるようにした受信機を提供する。【解決手段】テレビジョン受信機100は、映像ストリーム、音声スト... 詳細

  • 株式会社ニコンの「 撮像装置」が 公開されました。( 2020/04/09)

    【課題】筐体の像の映り込みを抑制しつつ、冷却効率の向上を図ること。【解決手段】撮像装置は、吸気口と排気口とを有する筐体と、前記筐体内に配置された第1撮像素子と、前記筐体内に配置された第2撮像素子と、前... 詳細

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ