図面 (/)

技術 画像ファイル生成装置及び画像ファイル生成方法、画像生成装置及び画像生成方法、画像生成システム、並びにプログラム

出願人 キヤノン株式会社
発明者 高間康文
出願日 2018年12月19日 (1年8ヶ月経過) 出願番号 2018-237547
公開日 2020年7月2日 (2ヶ月経過) 公開番号 2020-101847
状態 未査定
技術分野 双方向TV,動画像配信等 イメージ処理・作成
主要キーワード コーナーポスト マテリアルデータ 映像生成システム サイドライン ブランド情報 被写体モデル 企業ロゴ 看板画像
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年7月2日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (18)

課題

仮想視点画像を表示する際に、付加情報を付与した仮想視点画像を表示できるようにする。

解決手段

本発明は、仮想視点画像を生成するための画像ファイルを生成する画像ファイル生成装置である。本発明の一様態における画像ファイル生成装置は、仮想視点画像の生成に用いる素材情報を取得して、蓄積する素材情報蓄積部520と、仮想視点画像に表示する広告情報を取得する仮想広告情報取得部530と、素材情報及び広告情報を含む画像ファイルを生成する画像ファイル生成部(動画ファイル生成部540)とを備える。

概要

背景

昨今、複数のカメラを異なる位置に設置して、その複数のカメラ(以下、実カメラ)で撮影した映像を用いて、3次元仮想空間内に設定したカメラ(以下、仮想カメラ)からの映像を再現する技術として、仮想視点映像生成技術がある(特許文献1)。

概要

仮想視点画像を表示する際に、付加情報を付与した仮想視点画像を表示できるようにする。本発明は、仮想視点画像を生成するための画像ファイルを生成する画像ファイル生成装置である。本発明の一様態における画像ファイル生成装置は、仮想視点画像の生成に用いる素材情報を取得して、蓄積する素材情報蓄積部520と、仮想視点画像に表示する広告情報を取得する仮想広告情報取得部530と、素材情報及び広告情報を含む画像ファイルを生成する画像ファイル生成部(動画ファイル生成部540)とを備える。

目的

特開2015−45920号公報






しかしながら、特許文献1の仮想視点映像生成装置では、視聴者に仮想視点映像を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

仮想視点画像を生成するための画像ファイルを生成する画像ファイル生成装置であって、前記仮想視点画像の生成に用いる素材情報を取得する素材情報取得手段と、前記仮想視点画像に表示する付加情報を取得する付加情報取得手段と、前記素材情報及び前記付加情報を含む前記画像ファイルを生成する画像ファイル生成手段とを備えることを特徴とする画像ファイル生成装置。

請求項2

前記付加情報は、広告に関する情報である広告情報を含むことを特徴とする請求項1に記載の画像ファイル生成装置。

請求項3

前記広告情報は、現実空間に設置される広告である実広告に関する情報、及び仮想空間に設置される広告である仮想広告に関する情報の少なくともいずれかであることを特徴とする請求項2に記載の画像ファイル生成装置。

請求項4

前記広告情報は、前記仮想広告の3次元形状を表す広告モデルに関する情報と、前記広告モデルの色及びテクスチャを表す広告マテリアルに関する情報とを含むことを特徴とする請求項3に記載の画像ファイル生成装置。

請求項5

前記実広告に関する情報は、カメラにより撮影した画像における看板領域を表す実看板領域に関する情報を含むことを特徴とする請求項3又は4に記載の画像ファイル生成装置。

請求項6

前記素材情報は、オブジェクトを複数のカメラで撮影することにより得られる複数の撮影画像、複数のカメラのカメラパラメータ、及び背景画像の生成に用いる背景モデルに関する情報を含むことを特徴とする請求項1から5のいずれか1項に記載の画像ファイル生成装置。

請求項7

前記画像ファイル生成手段は、ISOBMFF(ISObasemediaformat)規格の画像ファイルを生成することを特徴とする請求項1から6のいずれか1項に記載の画像ファイル生成装置。

請求項8

コンピュータを、請求項1から7のいずれか1項に記載の画像ファイル生成装置の各手段として機能させるためのプログラム

請求項9

仮想視点画像を生成する画像生成装置であって、前記仮想視点画像の生成に用いる素材情報、及び前記仮想視点画像に表示する付加情報を含む画像ファイルを取得する画像ファイル取得手段と、前記画像ファイルから前記素材情報を読み込む素材情報読込手段と、前記画像ファイルから前記付加情報を読み込む付加情報読込手段と、前記素材情報と前記付加情報に基づいて、前記付加情報を表示させた前記仮想視点画像を生成する画像生成手段とを備えることを特徴とする画像生成装置。

請求項10

前記付加情報は、広告に関する情報である広告情報を含むことを特徴とする請求項9に記載の画像生成装置。

請求項11

前記広告情報は、現実空間に設置される広告である実広告に関する情報、及び仮想空間に設置される広告である仮想広告に関する情報の少なくともいずれかであることを特徴とする請求項10に記載の画像生成装置。

請求項12

前記広告情報は、前記仮想広告の3次元形状を表す広告モデルに関する情報と、前記広告モデルの色及びテクスチャを表す広告マテリアルに関する情報とを含むことを特徴とする請求項11に記載の画像生成装置。

請求項13

前記広告情報は、仮想視点依存性に関する情報を含み、前記画像生成手段は、前記仮想視点の依存性に関する情報に応じて、前記仮想視点画像を生成することを特徴とする請求項11又は12に記載の画像生成装置。

請求項14

前記画像生成手段は、前記仮想視点の依存性に関する情報において、前記広告情報が仮想視点に依存しないように設定されている場合、前記広告情報を前記仮想視点画像に表示し続けるように、前記仮想視点画像を生成し、前記広告情報が前記仮想視点に依存するように設定されている場合、前記仮想視点画像における所定の広告貼り付け領域に前記広告情報を貼り付けることで、前記仮想視点画像を生成することを特徴とする請求項13に記載の画像生成装置。

請求項15

前記実広告に関する情報は、カメラにより撮影した画像における看板領域を表す実看板領域に関する情報を含むことを特徴とする請求項11から14のいずれか1項に記載の画像生成装置。

請求項16

前記画像生成手段は、前記画像ファイルに含まれる前記実広告に関する情報及び前記仮想広告に関する情報を用いて、前記実広告に前記仮想広告が重複しないように、前記仮想視点画像を生成することを特徴とする請求項11から15のいずれか1項に記載の画像生成装置。

請求項17

前記広告情報は、前記仮想広告の表示を開始する時刻及び終了する時刻に関する情報を含み、前記画像生成手段は、前記仮想広告を、前記表示を開始する時刻から前記表示を終了する時刻までの表示時間に従って表示させるように、前記仮想視点画像を生成することを特徴とする請求項11から16のいずれか1項に記載の画像生成装置。

請求項18

前記広告情報は、前記仮想広告を表示させる最終日に関する情報を含み、前記画像生成手段は、前記仮想視点画像の生成日が前記最終日を徒過している場合に、前記仮想広告を表示させないように、前記仮想視点画像を生成することを特徴とする請求項11から17のいずれか1項に記載の画像生成装置。

請求項19

前記広告情報は、優先度に関する情報を含み、前記画像生成手段は、前記仮想視点画像において異なる仮想広告が重複する場合に、前記優先度の高い仮想広告を優先的に表示させるように、前記仮想視点画像を生成することを特徴とする請求項11から18のいずれか1項に記載の画像生成装置。

請求項20

前記素材情報は、オブジェクトを複数のカメラで撮影することにより得られる複数の撮影画像、複数のカメラのカメラパラメータ、及び背景画像の生成に用いる背景モデルに関する情報を含むことを特徴とする請求項9から19のいずれか1項に記載の画像生成装置。

請求項21

前記画像ファイルが、ISOBMFF(ISObasemediaformat)規格であることを特徴とする請求項9から20のいずれか1項に記載の画像生成装置。

請求項22

コンピュータを、請求項9から21のいずれか1項に記載の画像生成装置の各手段として機能させるためのプログラム。

請求項23

仮想視点画像を生成するための画像ファイルを生成する画像ファイル生成装置と、前記画像ファイルに基づいて、前記仮想視点画像を生成する画像生成装置とを備え、前記画像ファイル生成装置は、前記仮想視点画像の生成に用いる素材情報を取得する素材情報取得手段と、前記仮想視点画像に表示する付加情報を取得する付加情報取得手段と、前記素材情報及び前記付加情報を含む前記画像ファイルを生成する画像ファイル生成手段とを有し、前記画像生成装置は、前記仮想視点画像の生成に用いる素材情報、及び前記仮想視点画像に表示する付加情報を含む画像ファイルを取得する画像ファイル取得手段と、前記画像ファイルから前記素材情報を読み込む素材情報読込手段と、前記画像ファイルから前記付加情報を読み込む付加情報読込手段と、前記素材情報と前記付加情報に基づいて、前記付加情報を表示させた前記仮想視点画像を生成する画像生成手段とを有することを特徴とする画像生成システム

請求項24

仮想視点画像を生成するための画像ファイルを生成する画像ファイル生成装置における画像ファイル生成方法であって、前記仮想視点画像の生成に用いる素材情報を取得する素材情報取得ステップと、前記仮想視点画像に表示する付加情報を取得する付加情報取得ステップと、前記素材情報及び前記付加情報を含む前記画像ファイルを生成する画像ファイル生成ステップとを含むことを特徴とする画像ファイル生成方法。

請求項25

仮想視点画像を生成する画像生成装置における画像生成方法であって、前記仮想視点画像の生成に用いる素材情報、及び前記仮想視点画像に表示する付加情報を含む画像ファイルを取得する画像ファイル取得ステップと、前記画像ファイルから前記素材情報を読み込む素材情報読込ステップと、前記画像ファイルから前記付加情報を読み込む付加情報読込ステップと、前記素材情報と前記付加情報に基づいて、前記付加情報を表示させた前記仮想視点画像を生成する画像生成ステップとを含むことを特徴とする画像生成方法。

技術分野

0001

本発明は、付加情報を付与した仮想視点画像を生成するための技術に関する。

背景技術

0002

昨今、複数のカメラを異なる位置に設置して、その複数のカメラ(以下、実カメラ)で撮影した映像を用いて、3次元仮想空間内に設定したカメラ(以下、仮想カメラ)からの映像を再現する技術として、仮想視点映像生成技術がある(特許文献1)。

先行技術

0003

特開2015−45920号公報

発明が解決しようとする課題

0004

しかしながら、特許文献1の仮想視点映像生成装置では、視聴者に仮想視点映像を提供する際に、仮想視点映像に仮想的な付加情報(例えば、仮想的な広告、或いは仮想視点映像に写る選手に関する情報等)を表示することについて検討されていない。付加情報として仮想的な広告(以下、仮想広告という)を表示することを想定する場合、特許文献1の仮想視点映像生成装置では、仮想広告を表示することについて検討されていない。そのため、仮想視点映像を提供(表示)する際に、広告主宣伝機会を失ってしまうこととなる。また、撮影した映像において選手等の特定のオブジェクトピントが合わせられると、現実空間に設置される付加情報(例えば、広告看板、或いは応援等)が撮影された領域については、ピントが甘く、不明瞭な画像になる恐れがある。現実空間に設置される広告(以下、実広告ともいう)を使用する場合、仮想視点映像における実広告に対応する領域が不明瞭であると、仮想視点映像の視聴者が実広告の内容を認識できない恐れがある。この場合も、広告主は宣伝機会を失ってしまうこととなる。

0005

本発明は、前記従来の問題に鑑みてなされたものであって、その目的は、仮想視点画像を表示する際に、付加情報を付与した仮想視点画像を表示できるようにすることである。

課題を解決するための手段

0006

本発明の画像ファイル生成装置は、仮想視点画像を生成するための画像ファイルを生成する画像ファイル生成装置であって、前記仮想視点画像の生成に用いる素材情報を取得する素材情報取得手段と、前記仮想視点画像に表示する付加情報を取得する付加情報取得手段と、前記素材情報及び前記付加情報を含む前記画像ファイルを生成する画像ファイル生成手段とを備えることを特徴とする。

発明の効果

0007

本発明によれば、仮想視点画像を表示する際に、付加情報を付与した仮想視点画像を表示することができる。

図面の簡単な説明

0008

映像生成システムの構成を示す図である。
広告データベースの構成を示す図である。
仮想広告モデル情報を設定するGUIを示す図である。
仮想視点映像上の広告貼り付け領域を示す図である。
動画ファイル生成装置の構成を示す図である。
ISO BMF規格におけるボックスの構成を示す図である。
映像生成装置の構成を示す図である。
種情報動画ファイルに付与する処理の手順を示すフローチャートである。
動画ファイルにおけるカメラパラメータフォーマットを示す図である。
動画ファイルにおける複数の撮影画像に関する情報のフォーマットを示す図である。
動画ファイルにおける背景モデル情報のフォーマットを示す図である。
動画ファイルにおける仮想広告情報のフォーマットを示す図である。
仮想広告情報を付与した仮想視点映像を生成する処理の手順を示すフローチャートである。
動画ファイル生成装置の構成を示す図である。
実広告情報を動画ファイルに付与する処理の手順を示すフローチャートである。
動画ファイルにおける実広告情報のフォーマットを示す図である。
ハードウェア構成図である。

実施例

0009

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は、本発明を限定するものではなく、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。その他、本発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれ、また、以下の実施形態の一部を適宜組み合わせることもできる。加えて、各実施形態において生成される仮想視点画像は、動画(映像)であっても、静止画であってもよい。そこで、以下では、仮想視点画像として、仮想視点映像を例に説明するものとする。

0010

[実施形態1]
本実施形態では、仮想視点映像を生成するための素材情報と、付加情報として仮想広告情報を動画ファイルに付与する方法、及びそのファイルを用いて仮想広告を付与した仮想視点映像を生成し、表示する方法について説明する。なお、以下の実施形態においては、付加情報として広告に関する情報を動画ファイルに付与する例について説明するが、付与する付加情報は広告に関する情報に限らない。付加情報は、例えば、仮想視点映像に写る選手に関する情報、或いは試合に関する情報でもよい。

0011

システム構成
図1は、本実施形態に係る画像生成システム(以下、映像生成システム)の構成を示す図である。本実施形態に係る映像生成システムは、図1に示されるように、撮影装置1、広告データベース2、動画ファイル生成装置3、映像生成装置4、表示装置5を備える。

0012

撮影装置1は、複数の実カメラを含み、これらの実カメラは各々、異なる方向から被写体(オブジェクト)を撮影する。実カメラの各々は個体を識別するためのカメラ番号を有し、カメラパラメータや撮影した映像を動画ファイル生成装置3に送信する。

0013

なお、カメラパラメータは外部パラメータ内部パラメータを含み、外部パラメータは実カメラの位置と姿勢の情報、内部パラメータは実カメラの焦点距離イメージセンサ中心座標の情報とする。また、本実施形態では、レンズ歪について考慮しないが、必要に応じてレンズ歪を考慮したパラメータを用いてもよい。

0014

広告データベース2は、不図示の広告主や広告制作者等によって作成された仮想広告情報を受信し、その仮想広告情報を保存する。また、広告データベース2は、動画ファイル生成装置3からの要求により、仮想広告情報を送信する。なお、仮想広告情報の詳細は、後述する。

0015

動画ファイル生成装置3は、画像ファイル生成装置の一例であり、撮影装置1から撮影画像と全ての実カメラのカメラパラメータを受信し、それらを保存する。また、動画ファイル生成装置3は、広告データベース2から仮想広告情報を取得する。動画ファイル生成装置3は、さらに、仮想視点映像生成に用いる素材情報と仮想広告情報を付与した動画ファイルを生成し、映像生成装置4に配信する。

0016

映像生成装置4は、動画ファイルに付与された素材情報と仮想広告情報に基づいて、仮想広告を付与した仮想視点映像を生成し、表示装置5に送信する。表示装置5は、映像生成装置4から送信された仮想視点映像を受信し、不図示のディスプレイ等に表示する。

0017

次に、図2を用いて、広告データベース2の構成について説明する。図2に示されるように、広告データベース2は、広告情報受信部200、広告情報蓄積部210、広告情報送信部220を備える。

0018

広告情報受信部200は、不図示の広告主、又は広告主から広告制作依頼された広告制作者から仮想広告情報を受信し、広告情報蓄積部210に送信する。仮想広告情報は、広告ID、広告主、広告制作者、競技名、競技場名、試合日、表示時間、表示開始時刻表示終了時刻有効期限等の情報を含む。また、仮想広告情報は、広告モデルデータ、広告マテリアルデータ表示効果仮想視点依存性、仮想視点映像上の広告貼り付け領域、優先度等の情報を含む。

0019

広告IDは、仮想広告情報を識別するためのIDである。広告主は、仮想広告情報の所有者を識別する名前である。広告制作者は、広告主から広告制作の依頼を受け、仮想広告情報を制作する会社又は個人を識別する名前である。競技名は、例えば、サッカー野球等の競技を識別する名称である。競技場名は、競技場を識別するための名称である。試合日は、サッカーや野球等の試合が開催される日である。

0020

表示時間は、画面上に仮想広告が表示される時間である。表示開始時刻は仮想広告の表示を開始する時刻であり、表示終了時刻は仮想広告の表示を終了する時刻である。即ち、仮想広告は、表示開始時刻から表示終了時刻までの表示時間だけ表示される。有効期限は、仮想広告が表示される最終日に関する情報である。この最終日を徒過すると、仮想広告に関する情報は、動画ファイル生成装置3に送信されない。

0021

広告モデルデータと広告マテリアルデータは、実際に、仮想視点映像上に表示される仮想広告の形状情報色情報に関するデータである。以下、各々のデータについて、説明を補足する。

0022

広告モデルデータは、仮想広告の3次元形状情報であり、一般的なCGモデリングツールで作成される。表現形式は、コンピュータグラフィックスで用いられる3次元モデルと同様であり、データ形式は、一般的に普及しているフォーマット、例えば、obj形式である。なお、広告モデルデータは、このフォーマットで記載されたデータであっても、また、このフォーマットで記載されたファイルのパス情報であってもよい。

0023

広告マテリアルデータは、広告モデル色データテクスチャデータを示す情報であり、広告モデルデータと同様に、一般的なCGモデリングツールで作成される。データ形式は、例えば、mtl形式である。なお、広告マテリアルデータは、このフォーマットで記載されたデータであっても、また、このフォーマットで記載されたファイルのパス情報であってもよい。

0024

その他、CGモデリングツールの代わりに、例えば、図3に示すようなGUIを操作することで広告モデルデータと広告テクスチャデータを広告データベース2に登録することもできる。

0025

図3において、符号300は不図示のディスプレイに表示される表示画面、符号310はサッカーのグラウンドを模している。また、符号320はゴールラインに沿って設置される板状の仮想看板、符号321はサイドラインタッチライン)に沿って設置される板状の仮想看板、符号330はコーナーポスト付近に設置される円柱形状の仮想看板を模している。

0026

広告主又は広告制作者は、仮想看板320、321、330を不図示の入力デバイスで選択することで、幾何学的な形状の広告モデルデータを登録することができる。また、上述のCGモデリングツールで作成した任意の広告モデルを、グラウンド310の周囲の任意の3次元位置に表示されるように登録してもよい。その他、例えば、符号340に示すテキストボックスに画像ファイルの格納場所を示す情報を入力することで、広告テクスチャデータを登録してもよい。

0027

表示効果は、仮想広告表示におけるアニメーションや点滅等の表示効果に関する情報である。仮想視点依存性は、仮想視点が変更されても仮想広告を仮想視点映像上に表示し続ける仮想視点非依存表示と、仮想視点が変更され、広告モデルが仮想カメラの画角外になると仮想広告を表示しないようにする仮想視点依存表示を識別する情報である。

0028

仮想視点非依存表示が選択されている場合、広告主又は広告制作者は、例えば、図4に示すような模式図等を用いて、仮想視点映像上に仮想広告が表示される位置を選択する。図4において、符号400は仮想視点映像が表示される画面、符号410は仮想視点映像が表示される領域、符号420及び符号421は仮想視点映像上の広告貼り付け領域である。

0029

広告主又は広告制作者は、仮想視点映像上の広告貼り付け領域420又は421を選択することで、仮想視点映像の下部に仮想広告を表示するか、右上部に仮想広告を表示するかを選択することができる。なお、仮想視点映像上の広告貼り付け領域としては、符号420、符号421に示す領域以外の領域であってもよい。優先度は、異なる広告の表示が重なった場合にどちらの広告を優先して表示するかを判定するために用いられる。優先度は、例えば、広告料に応じて決定される。

0030

図2戻り、広告情報蓄積部210は、広告情報受信部200から仮想広告情報を受信すると、その受信した仮想広告情報に広告IDを付与してデータベースに保存(蓄積)する。なお、データベースに関して、SQL等の既存の手法で構築すればよい。また、この場合、テーブルに上述の仮想広告情報を保存することになるが、検索等の処理(操作)が可能であれば、いかなる定義であってもよい。

0031

広告情報送信部220は、動画ファイル生成装置3からの要求に応じて、広告情報蓄積部210から仮想広告情報を取得し、動画ファイル生成装置3に送信する。なお、この場合、広告情報蓄積部210は、上述の広告情報(例えば、広告ID等)をキーとしてデータベースから仮想広告情報を検索し、さらに、その検索した仮想広告情報を広告情報送信部220に送信する。

0032

次に、動画ファイル生成装置3の構成について、図5を用いて説明する。図5に示されるように、動画ファイル生成装置3は、撮影情報取得部510、素材情報蓄積部520、仮想広告情報取得部530、動画ファイル生成部540、動画ファイル配信部550を備える。

0033

撮影情報取得部510は、撮影装置1から、撮影情報として、複数の撮影画像(複数カメラ画像)と全ての実カメラのカメラパラメータを取得する。全ての実カメラは共通(同一)の時刻情報で同期され、また、撮影した画像には撮影時刻情報が付与される。なお、カメラパラメータは画像と併せて送信してもよいし、撮影前や必要に応じて画像とは別に送信してもよい。

0034

素材情報蓄積部520は、素材情報取得手段を備え、撮影情報取得部510から複数の撮影画像と全ての実カメラのカメラパラメータを取得(受信)すると、それらを保存(蓄積)する。素材情報蓄積部520は、さらに、仮想視点映像の背景画像生成時に用いるスタジアム等の3次元モデルを背景モデル情報として保存する。なお、背景モデル情報に関しても、仮想広告情報の広告モデルや広告テクスチャと同様に、一般的に普及しているフォーマットであればよく、例えば、形状情報はobj形式であり、また、色情報やテクスチャ情報はmtl形式である。

0035

仮想広告情報取得部530は、付加情報取得手段の一例であり、広告データベース2から動画ファイルに付与する仮想広告情報を取得し、その取得した仮想広告情報を動画ファイル生成部540に送信する。動画ファイル生成部540は、仮想広告情報を付与した仮想視点映像を生成するための動画ファイルを生成し、その生成した動画ファイルを動画ファイル配信部550に送信する。なお、動画ファイルには、全ての実カメラのカメラパラメータ、ユーザが指定した時間の複数の撮影画像、背景モデル情報、仮想広告情報が付与される。動画ファイル配信部550は、動画ファイルを映像生成装置4に配信する。

0036

ここで、動画ファイルの規格がISO/IEC14496−12(MPEG−4 Part12) ISO base media format(以下、ISO BMFF)規格である場合に、これらの情報を付与する方法について説明する。なお、記載している情報が同義であれば、フォーマットは他の記載方法であってもよい。

0037

以下、先ず、ISO BMFF規格について説明する。ISO BMFF規格において、動画ファイルは、ボックスと呼ばれる基本単位から構成される。各ボックスには、図6(a)に示されるように、サイズ、タイプ、データに関する情報が格納される。

0038

なお、ボックスに関して、図6(b)に示されるように、入れ子構造で格納することもできる。また、代表的なボックスの種類としてftyp(File Type Compatibility Box)、moov(Movie Box)、meta等がある。

0039

ftypボックスはファイルの先頭に配置され、ftypボックスにはファイルの再生互換性を示すブランド情報が格納される。moovボックスには、データのフレームサイズ格納位置を示すアドレス情報、及び撮影時刻等のヘッダ情報が格納される。補足として、コンテンツの長さに比例してmoovボックスのサイズが増加し、再生までの待ち時間が長くなることから、ISO BMFF規格では、コンテンツを任意の区間に分割した単位毎にヘッダ情報を付加する形式moofボックスも用意されている。metaボックスには、メタ情報が格納される。これらの情報が格納された動画ファイルが解析されると、moovボックス又はmoofボックスが参照され、そして、所望の時刻に相当するフレーム格納アドレスが特定され、さらに、その特定したアドレスに基づいて、フレームデータが取得される。

0040

次に、映像生成装置4の構成について、図7を用いて説明する。映像生成装置4は、動画ファイル生成装置3で生成された動画ファイルを受信すると、仮想視点映像を生成し、さらに、その生成した仮想視点映像を表示装置5に送信する。図7に示されるように、映像生成装置4は、動画ファイル取得部700、素材情報読込部710、広告情報読込部720、仮想視点映像生成部730を備える。

0041

動画ファイル取得部700は、画像ファイル取得手段の一例であり、動画ファイル生成装置3で生成した動画ファイルを取得し、素材情報読込部710と広告情報読込部720に送信する。素材情報読込部710は、動画ファイルを解析し、全ての実カメラのカメラパラメータ、複数の撮影画像、背景モデル情報を読み込む。広告情報読込部720は、付加情報読込手段の一例であり、受信した動画ファイルから仮想広告情報を読み込み、仮想視点映像生成部730に送信する。

0042

仮想視点映像生成部730は、全ての実カメラのカメラパラメータ、複数の撮影画像、背景モデル情報、仮想広告情報を用いて、仮想広告情報を付与した仮想視点映像を生成し、表示装置5に送信する。表示装置5は、映像生成装置4で生成された、仮想広告情報を付与した仮想視点映像を受信し、不図示のディスプレイに出力する。

0043

処理フロー
次に、図8のフローチャートを用いて、全ての実カメラのカメラパラメータ、複数の撮影画像、背景モデル情報、仮想広告情報を動画ファイルに付与する方法とその処理の手順について説明する。なお、フローチャートの説明における記号「S」は、ステップを表すものとする。この点、以降のフローチャートの説明においても同様とする。

0044

(S800)
S800において、動画ファイル生成装置3の動画ファイル生成部540は、不図示のユーザから、動画ファイル生成の開始指示と仮想視点映像を生成する開始時刻及び終了時刻の情報を受信する。

0045

具体的には、動画ファイル生成部540は、先ず、ユーザが仮想視点映像を生成したい時間を指定できるように、素材情報蓄積部520に保存されている任意の実カメラの映像を不図示の視聴環境に配信する。動画ファイル生成部540は、次に、ユーザにより入力された映像生成開始時刻及び終了時刻と動画ファイルを生成するフレーム数に関する情報を受信する。

0046

そして、動画ファイル生成部540は、動画ファイルを生成する。この場合において、動画ファイルをフレーム毎に生成するとき、動画ファイル生成部540は、開始時刻に関する情報を受信すると、終了指示を受信するまで、毎フレーム、動画ファイルを生成し続ける。或いは、複数フレームを纏めて動画ファイルを生成するとき、動画ファイル生成部540は、開始時刻及び終了時刻に関する情報を受信すると、その間の動画ファイルを1つ生成する。

0047

また、動画ファイル生成の開始指示を受信すると、動画ファイル生成部540は、ftypに、ブランド情報として、例えば、fvpmという文字列を記載し、動画ファイルに仮想視点映像生成用の情報が保存されていることを明記する。

0048

(S810)
S810において、動画ファイル生成部540は、素材情報蓄積部520から実カメラの各々に関してカメラパラメータを取得し、動画ファイルに付与する。ここで、図9を用いて、実カメラのカメラパラメータを記載するフォーマットについて説明を補足する。

0049

カメラパラメータは、ISO BMFF規格のmetaボックスに記載される。図9に示されるように、meta情報には、データ種別カメラ台数に関する情報を記載する。データ種別には、カメラパラメータであることを示す情報として、camera_parameterという文字列を記載する。カメラ台数には、実カメラのカメラ台数を記載する。

0050

data情報には、実カメラのカメラ台数分の外部パラメータと内部パラメータを記載する。例えば、実カメラがN台ある場合、1台目の実カメラの外部パラメータと内部パラメータを表現する行列の全要素の値を記載する。続けて、2台目の実カメラの外部パラメータと内部パラメータを表現する行列の全要素の値を記載する。以下、続けて、N台目までの外部パラメータと内部パラメータを同様に記載する。

0051

(S820)
S820において、動画ファイル生成部540は、素材情報蓄積部520から、仮想視点映像を生成する上での開始時刻から終了時刻までの複数の撮影画像に関する情報を取得し、動画ファイルに付与する。ここで、図10を用いて、複数の撮影画像に関する情報を記載するフォーマットについて説明を補足する。

0052

複数フレームを纏めて動画ファイルを生成する場合、複数の撮影画像に関する情報を、ISO BMFF規格のmoovボックス又はmoofボックスとして記載する。この場合、moov情報又はmoof情報には、カメラ画像の幅、カメラ画像の高さ、実カメラの台数、カメラ画像の総フレーム数撮影開始時刻撮影終了時刻の情報を記載する。

0053

moovボックスの場合、data情報にはフレーム毎に全ての実カメラのカメラ画像の画素情報が記載される。また、moofボックスの場合、data情報には1フレーム分の全ての実カメラのカメラ画像の情報を1つのファイルに記載する。フレーム毎に動画ファイルを生成する場合、動画ファイル生成部540は、moofボックスとして同様に記載する。

0054

(S830)
S830において、動画ファイル生成部540は、素材情報蓄積部520から、仮想視点映像生成の背景画像生成時に用いる背景モデル情報を取得し、動画ファイルに付与する。ここで、図11を用いて、背景モデル情報を記載するフォーマットについて説明を補足する。

0055

背景モデル情報も、ISO BMFF規格のmetaボックスに記載される。meta情報には、データ種別に関する情報を記載する。データ種別には、背景モデル情報であることを示す情報として、background_modelという文字列を記載する。data情報には、背景モデルのobj形式のファイルの保存先を示す情報(obj file path)とmtl形式のファイルの保存先を示す情報(mtl file path)を記載する。或いは、これらのファイルの中身をそのまま記載してもよい。

0056

(S840)
S840において、仮想広告情報取得部530は、広告データベース2から仮想広告情報を取得し、動画ファイル生成部540に送信する。動画ファイル生成部540は、受信した仮想広告情報を動画ファイルに付与する。仮想広告情報取得部530は、競技名、競技場名、試合日、有効期限に基づいて、広告データベース2から仮想広告情報を取得する。

0057

以下、具体的に説明する。ユーザが動画ファイル生成装置3を起動するとき、素材情報蓄積部520に、撮影する競技の名称、競技場の名称、競技が開催される試合日に関する情報を登録する。仮想広告情報取得部530は、素材情報蓄積部520に登録されている試合日に関する情報の試合日と同じ試合日であって、かつ、同じ競技の名称、同じ競技場の名称に関する仮想広告情報を広告データベース2から取得する。なお、この場合、有効期限を徒過している仮想広告情報は、取得しないようにする。

0058

次に、図12を用いて、動画ファイル生成部540が仮想広告情報を動画ファイルに付与するためのフォーマットについて説明を補足する。仮想広告情報も、ISO BMFF規格のmetaボックスに記載される。meta情報には、データ種別、広告数、各広告情報のデータサイズ、広告データベースのアドレスに関する情報を記載する。

0059

データ種別には、仮想広告情報であることを示す情報として、virtual_advertisingという文字列を記載する。広告数には、付与された広告の数を記載する。データサイズには、広告毎に(広告数分)、広告のデータサイズを記載する。広告データベースアドレスには、広告データベース2に接続するためのアドレス情報として、例えば、URL等を記載する。

0060

なお、広告データベースアドレス情報がない場合、data情報には、広告情報として、広告ID、広告主、広告制作者、競技名、競技場名、試合日、表示時間、表示開始時刻、表示終了時刻を記載する。さらに、data情報には、広告情報として、有効期限、広告モデルデータ、広告マテリアルデータ、表示効果、仮想視点依存性、仮想視点映像上の広告貼り付け領域、優先度の情報を記載する。また、広告データベースアドレス情報がある場合(即ち、広告データベースアドレスにURLが記載される場合)、data情報には、広告IDのみを記載する。このように広告IDのみを記載した場合、仮想広告情報を表示するとき、そのアドレス情報を用いて広告データベース2にアクセスし、その広告IDの仮想広告情報を取得する。

0061

(S850)
S850において、動画ファイル生成部540は、動画ファイル配信部550に、生成した動画ファイルを送信する。そして、動画ファイル配信部550は、映像生成装置4にその動画ファイルを配信する。

0062

続いて、図13のフローチャートを用いて、上述の動画ファイルを用いて、仮想広告情報を付与した仮想視点映像を生成する方法とその処理の手順について説明する。

0063

(S1300)
S1300において、映像生成装置4の動画ファイル取得部700は、動画ファイル生成装置3から動画ファイルを取得する。そして、動画ファイル取得部700は、動画ファイルを解析し、その動画ファイルの種類、全ての実カメラのカメラパラメータ、複数の撮影画像、背景モデル情報、仮想広告情報を読み込む。最初に、不図示の視聴者は、複数フレームを纏めて動画ファイルを生成するのか、動画ファイルをフレーム毎に生成するのかを選択する。

0064

複数フレームを纏めて動画ファイルを生成する場合、視聴者は、仮想視点映像を生成するシーンの開始時刻と終了時刻を設定する。開始時刻と終了時刻を設定するため、動画ファイル取得部700は、視聴者が指定した時刻の任意の実カメラ画像を動画ファイル生成装置3から取得し、不図示のディスプレイ等に表示する。視聴者は、その表示された画像を視聴しながら、仮想視点映像を生成するシーンの開始時刻と終了時刻を設定する。

0065

動画ファイル取得部700は、視聴者による動画ファイル生成の開始指示、及び開始時刻と終了時刻に関する情報を動画ファイル生成装置3に送信し、動画ファイル生成装置3により生成された、仮想広告情報が付与された動画ファイルを受信する。そして、動画ファイル取得部700は、受信した動画ファイルを素材情報読込部710と広告情報読込部720に送信する。

0066

また、フレーム毎に動画ファイルを生成する場合、動画ファイル取得部700は、視聴者による動画ファイル生成の開始指示及び開始時刻に関する情報を送信し、動画ファイル生成装置3により生成された、仮想広告情報が付与された動画ファイルを受信する。動画ファイル取得部700は、終了指示を送信するまで、生成された動画ファイルを受信し続け、受信した動画ファイルを素材情報読込部710と広告情報読込部720に送信する。

0067

(S1310)
S1310において、素材情報読込部710は、動画ファイルを走査し、ftypボックスに記載された文字列がfvpmであることを確認する。素材情報読込部710は、ftypボックスに記載された文字列がfvpmでなければ、ファイルの読み込みを中止し、ftypボックスに記載された文字列がfvpmであれば、ファイルの読み込みを継続する。

0068

素材情報読込部710は、その動画ファイルを走査し、ボックスの種類がmetaボックスであり、meta情報のデータ種別に記載されている文字列がcamera_parameterであれば、実カメラのカメラパラメータを読み込む。この場合、実カメラのカメラ台数をmeta情報から読み込み、実カメラのカメラ台数分の外部パラメータと内部パラメータをdata情報から読み込む。

0069

また、素材情報読込部710は、その動画ファイルを走査し、ボックスの種類がmoovボックス又はmoofボックスの場合、複数の撮影画像に関する情報を読み込む。なお、複数カメラ画像情報を読み込むために用いる、画像の幅と高さ、カメラ台数、フレーム数に関する情報は、moovボックス又はmoofボックスから取得される。素材情報読込部710は、これらの情報に基づいて、data情報からフレーム毎にカメラ台数分の画像を画素数(即ち、画像幅×高さ)分切り出し、複数カメラ画像情報を読み込む。

0070

素材情報読込部710は、複数カメラ画像情報の読み込みが完了すると、その複数カメラ画像情報に基づいて、仮想視点映像の生成に用いる被写体モデルを生成する。被写体モデルは、形状情報と色情報を含む。また、これらの情報を生成する処理は、主に、被写体モデルの3次元形状を推定する処理と、その3次元形状の色を推定する処理を含む。以下、各々の処理について説明する。

0071

素材情報読込部710は、被写体モデルの3次元形状を推定するために、先ず、実カメラ画像の各々から被写体領域を推定する。この被写体領域は、例えば、被写体モデルを撮影した撮影画像から予め撮影した背景画像との差分を算出し、その差分が所定の閾値以上である領域を被写体領域として推定する背景差分法等の一般的な手法で推定される。

0072

そして、素材情報読込部710は、全ての実カメラの被写体領域とカメラパラメータを用いて、被写体モデルの3次元形状を推定する。3次元形状の推定には、例えば、Visual Hull手法等を用いる。本実施形態では、この被写体モデルの形状を3次元点群(3次元座標を有する点の集合)で表現する。

0073

続いて、3次元点群を構成する各点の色を推定する。色を推定するために、先ず、実カメラから被写体表面までの距離を画素値とする距離画像を生成する。次に、各点に関して、各カメラ座標系に変換することで取得される距離値と距離画像上に投影した画素の画素値(距離)を比較し、所定の閾値以下であれば、その実カメラから見えるものとして判定する。そして、その見えるものと判定された全てのカメラにおいて投影先の画素の色を算出し、その算出した画素の平均を、その点の色として推定する。これらの処理により、各点に色が付いた被写体モデルを取得できる。

0074

また、素材情報読込部710は、その動画ファイルを走査し、ボックスの種類がmetaボックスであり、meta情報のデータ種別に記載された文字列がbackground_modelであれば、背景モデル情報を読み込む。この場合、data情報に記載されているobj形式のファイルとmtl形式のファイルのパスを読み込み、背景モデル情報(背景モデルの形状情報及び背景モデルの色情報)を取得する。

0075

背景モデルの形状情報は、obj形式のファイルを読み込むことで取得される。また、背景モデルの色情報は、mtl形式のファイルを読み込むことで取得される。なお、背景モデルのmtl形式のファイルがない場合、背景画像から背景モデルにマッピングするテクスチャを生成し、色情報としてもよい。テクスチャを生成するために、先ず、背景モデルの形状情報に基づいて各面の法線を算出し、その算出した各面の法線と実カメラの向きを比較することで、最も正対する実カメラを選択する。そして、その実カメラの背景画像に面を構成する3頂点を投影し、その3頂点により形成される三角形内の画像を各面のテクスチャとする。

0076

素材情報の読み込みが終了し、さらに、被写体モデルの形状情報と色情報の推定が終了すると、素材情報読込部710は、実カメラの外部パラメータと内部パラメータ、複数の撮影画像、被写体モデル、背景モデルの情報を仮想視点映像生成部730に送信する。

0077

(S1320)
S1320において、広告情報読込部720は、動画ファイルを走査し、仮想広告情報を読み込み、広告モデルデータを仮想視点映像生成部730に送信する。広告情報読込部720は、最初に、ftypボックスに記載された文字列がfvpmであることを確認する。広告情報読込部720は、ftypボックスに記載された文字列がfvpmでなければ、ファイルの読み込みを中止し、ftypボックスに記載された文字列がfvpmであれば、ファイルの読み込みを継続する。

0078

広告情報読込部720は、その動画ファイルを走査し、ボックスの種類がmetaボックスであり、meta情報のデータ種別に記載されている文字列がvirtual_advertisingであれば、仮想広告情報を読み込む。なお、meta情報に広告データベースアドレス情報がない場合、data情報に記載されている広告ID、広告主、広告制作者、競技名、競技場名、試合日、表示時間、表示開始時刻、表示終了時刻、有効期限の情報を仮想広告情報として読み込む。さらに、data情報に記載されている広告モデルデータ、広告マテリアルデータ、表示効果、仮想視点依存性、仮想視点映像上の広告貼り付け領域、優先度の情報を仮想広告情報として読み込む。また、広告情報読込部720は、広告データベースアドレスに広告データベース2のURLが記載されている場合、そのURLで広告データベース2にアクセスし、data情報に記載されている広告IDの仮想広告情報を取得する。

0079

広告情報読込部720は、このようにして仮想広告情報を読み込むと、広告モデルデータを生成する。なお、広告モデルも被写体モデルや背景モデルと同様に、形状情報と色情報を含む。広告モデルの形状は、広告モデルデータとして得られたobj形式のファイルを読み込むことで取得される。また、広告モデルの色情報は、広告マテリアルデータとして得られたmtl形式のファイルを読み込むことで取得される。

0080

(S1330)
S1330において、仮想視点映像生成部730は、全ての実カメラのカメラパラメータ、複数の撮影画像、被写体モデル、背景モデル、広告モデル、仮想カメラのパラメータに関する情報を用いて、広告情報を付与した仮想視点映像を生成する。なお、映像生成装置4により生成された仮想視点映像は、表示装置5に送信され、ディスプレイ等に表示される。また、仮想カメラのパラメータは任意の実カメラと同じでもよいし、任意の視点位置、視線ベクトル画角を設定してもよい。

0081

以下、上述の情報から仮想視点映像を生成する方法(仮想視点映像の生成方法)について説明を補足する。ここで、仮想視点映像の生成方法は、広告情報の仮想視点依存性に関する情報に応じて変更される。

0082

仮想視点に依存する場合、背景モデル、被写体モデル、広告モデルを一般的なCG手法でレンダリングすることで、仮想視点映像を生成することができる。その他、広告情報の表示効果として、例えば「点滅表示表示間隔nフレーム」等が設定されている場合、仮想視点映像のnフレーム毎に広告モデルのレンダリングを中止することで点滅効果を模した映像を生成することができる。なお、仮想視点に依存する表示方法の場合、仮想カメラの画角外の仮想広告モデルは仮想視点映像上に表示されない。

0083

また、仮想視点に依存しない場合、仮想広告モデルのテクスチャを、背景モデルと被写体モデルをレンダリングすることで得られる仮想視点映像上の広告貼り付け領域に貼り付けることで生成することができる。仮想広告情報に関して、S1300において視聴者が設定した仮想視点映像を生成するシーンの映像生成開始時刻から、広告情報として取得した表示開始時刻だけ相対的に経過した時刻から表示が開始され、映像生成終了時刻まで、表示時間分だけ表示される。

0084

なお、表示開始時刻が設定されていない場合には、映像生成開始時刻から表示を開始し、表示終了時刻が設定されていない場合には、映像生成終了時刻まで表示を継続する。表示時間が設定されていない場合には、表示開始時刻から表示終了時刻まで表示を継続する。また、動画ファイルにおける仮想視点映像の生成日が仮想広告情報の有効期限を徒過している場合には、その仮想広告情報は表示されない。この場合、他に有効期限内の仮想広告情報があれば、その有効期限内の仮想広告情報のみが表示され、有効期限内の広告情報が全くなければ、仮想広告表示がない仮想視点映像が表示される。その他、1つの仮想視点映像上に異なる広告主の仮想広告が重複する場合、仮想広告情報として取得した優先度を用いて、優先度の高い仮想広告を優先的に表示する。

0085

さらに、次の時刻の仮想視点映像を生成する場合、映像生成装置4は、処理をS1310に返し、新しい時刻の仮想視点映像を生成し、表示装置5に送信する。

0086

以上、説明したように、本実施形態の動画ファイル生成装置3は、指定された時間の仮想視点映像を視聴するための動画ファイルを生成することができる。また、その動画ファイルには、仮想広告情報を付与することができる。さらに、映像生成装置4は、動画ファイル生成装置3から仮想広告情報が付与された動画ファイルを取得することで、仮想広告情報を付与した仮想視点映像を生成し、表示することができる。

0087

なお、本実施形態において、処理の手順は必ずしもこれに限定されず、例えば、素材情報を取得する処理と仮想広告情報を取得する処理の順序入れ替えて実行してもよい。また、動画ファイルの仮想広告情報は、既存の暗号化手法で暗号化されていてもよい。

0088

[実施形態2]
上述の実施形態1では、背景モデルのテクスチャを生成するために、複数の撮影画像を使用した。但し、複数の撮影画像(実カメラ画像)は選手にピントが合わせられ、看板が配置されるような領域はピントが甘い画像になってしまう。

0089

そこで、本実施形態では、付加情報として実広告情報を動画ファイルに付与し、背景モデル生成時に実広告情報も利用することで、仮想視点映像の実看板領域の画像を鮮明に表示する方法について説明する。本実施形態における実広告とは、現実空間の競技場やスタジアムに設置される実存の看板やディスプレイのことである。なお、以下の実施形態においては、背景モデル生成時に利用する付加情報として実広告情報を動画ファイルに付与する例について説明するが、付与する付加情報は実広告情報に限らない。付加情報は、例えば、現実空間に設置される応援旗に関する情報等でもよい。

0090

<システム構成>
図14は、本実施形態に係る映像生成システムの構成を示す図である。本実施形態に係る映像生成システムは、図14に示されるように、撮影装置1、広告データベース2、動画ファイル生成装置3、映像生成装置4、表示装置5を備える。なお、本実施形態において、撮影装置1、表示装置5の構成は、上述の実施形態1と同様の構成である。

0091

動画ファイル生成装置3は、上述の撮影情報取得部510、素材情報蓄積部520、仮想広告情報取得部530、動画ファイル生成部540、動画ファイル配信部550以外に、さらに実看板領域設定部1400を備える。これに関連して、動画ファイル生成部540には、実広告情報を付与する処理が追加される。広告データベース2、映像生成装置4に関して、その構成は上述の実施形態1と同様の構成であるが、各部の動作は、実広告情報を制御するため、上述の実施形態1とは異なる。

0092

本実施形態において、実広告情報は、広告ID、広告主、広告制作者、競技名、競技場名、試合日、実広告画像、実カメラID、実看板領域等の情報である。実広告画像は、企業ロゴ等の画像であって、実際に設置される看板のデザインと同じ画像である。実看板領域情報は、実カメラ画像の各々における看板領域を示すラベル画像である。画像サイズは実カメラ画像と同じとし、また、各画素のラベル値は広告IDに対応する。例えば、ラベル値0は背景、ラベル値1を広告ID1、ラベル値2を広告ID2とする。即ち、ラベル値1の集合が、広告ID1の看板領域とする。また、広告IDと広告主は、広告データベース2において対応付けられる。

0093

なお、実看板領域の情報以外の情報は、動画ファイルを生成する前までに、不図示の広告主又は広告制作者によって広告データベース2に登録される。また、実看板領域情報は、実看板領域設定部1400により設定される。

0094

<処理フロー>
次に、ISO BMFF規格に準じて、実広告情報を動画ファイルに付与する方法とその処理の手順について、図15のフローチャートを用いて説明する。

0095

(S1510)
S1510において、撮影情報取得部510は、競技場に実際に設置されている看板の複数の撮影画像を取得し、素材情報蓄積部520に保存(蓄積)する。

0096

(S1520)
S1520において、実看板領域設定部1400は、素材情報蓄積部520から複数の撮影画像を取得し、全ての実カメラのカメラ画像から実看板領域を抽出する。そして、実看板領域設定部1400は、実看板領域情報を動画ファイル生成部540に送信する。

0097

また、実看板領域に関して、例えば、テンプレートマッチング手法により抽出することができる。この場合、実看板領域設定部1400は、先ず、競技場名、試合日に基づいて、広告データベース2からその競技場に実看板を設置している広告主の実広告情報を取得する。実看板領域設定部1400は、次に、実広告情報に含まれる実広告画像をテンプレートとして、実カメラのカメラ画像から類似している画像領域を抽出し、その実カメラにおける実看板領域として抽出する。

0098

なお、ここでは、実看板領域をテンプレートマッチングで抽出するように説明したが、マウス等の入力デバイスを用いて、画像の任意領域手動で抽出し、実看板領域とすることもできる。実看板領域情報を含む実広告情報は、動画ファイル生成部540に送信される。

0099

(S1530)
S1530において、動画ファイル生成部540は、実広告情報も付与した動画ファイルを生成し、動画ファイル配信部550に送信する。ここで、図16を用いて、実広告情報を記載するフォーマットについて説明を補足する。

0100

実広告情報も、ISO BMFF規格のmetaボックスとして記載される。meta情報には、データ種別と広告主テーブルに関する情報を記載する。データ種別には、実広告情報であることを示す情報として、actual_advertisingという文字列を記載する。広告主テーブルには、実看板領域のラベル値と広告IDとの対応を記載する。data情報には、実広告情報として、広告ID、広告主、広告制作者、競技名、競技場名、試合日、実広告画像、カメラ台数分のカメラID、実看板領域、優先度の情報を記載する。

0101

続けて、上述の動画ファイルを用いて、実広告情報を利用した仮想視点映像を生成する方法とその処理の手順について説明する。先ず、実施形態1のS1300と同様に、動画ファイル取得部700は、動画ファイル生成装置3から動画ファイルを取得する。そして、動画ファイル取得部700は、受信した動画ファイルを、素材情報読込部710と広告情報読込部720に送信する。

0102

素材情報読込部710の処理は、S1310と同様であるが、実広告情報がある場合には、背景モデルの色情報を生成する処理が異なる。以下、この処理について説明を補足するが、先ず、実広告情報を読み込む処理について説明する。最初に、素材情報読込部710は、動画ファイルを走査し、ftypボックスに記載された文字列がfvpmであることを確認する。

0103

素材情報読込部710は、ftypボックスに記載された文字列がfvpmでなければ、ファイルの読み込みを中止し、ftypボックスに記載された文字列がfvpmであれば、ファイルの読み込みを継続する。素材情報読込部710は、その動画ファイルを走査し、ボックスの種類がmetaボックスであり、meta情報のデータ種別に記載されている文字列がactual_advertisingであれば、実広告情報を読み込む。この場合、data情報に記載されている広告ID、広告主、広告制作者、競技名、競技場名、試合日、実広告画像、全実カメラの実看板領域の情報を読み込む。

0104

実広告情報がある場合の背景モデルの色情報は、実広告画像を用いて生成する。素材情報読込部710は、先ず、背景モデルの形状情報に基づいて各面の法線を算出し、その算出した各面の法線と実カメラの向きを比較することで、最も正対する実カメラを選択する。そして、その実カメラのカメラ画像に面を構成する3頂点を投影し、その3頂点が実看板領域内であれば、その3頂点を広告画像に射影し、その三角形内の画像をその面のテクスチャとする。この処理を背景モデルの全ての面で実行することで、広告画像を利用した背景モデルの色情報を生成することができる。

0105

広告情報読込部720は、S1320と同様に、動画ファイルを走査し、仮想広告情報を読み込み、仮想広告情報を仮想視点映像生成部730に送信する。仮想視点映像生成部730は、S1330と同様に、実カメラのカメラパラメータ、被写体モデル、実広告情報から生成した背景モデル、仮想広告モデルの情報を用いて、広告情報を付与した仮想視点映像を生成する。なお、生成された仮想視点映像は、表示装置5に送信され、ディスプレイ等に表示される。

0106

本実施形態により、不図示のユーザは、実広告情報も付与した動画ファイルを取得することができる。さらに、その動画ファイルに基づいて、実広告情報を取得し、実広告画像を用いて背景モデルを生成することで、仮想視点映像上の実看板画像を鮮明にすることができる。

0107

[実施形態3]
上述の実施形態2では、実広告情報を用いて、仮想視点映像上の実看板画像を鮮明にする方法について説明した。但し、こちらの方法では、実看板領域上に仮想広告画像が表示されてしまうことがある。

0108

そこで、本実施形態では、動画ファイルに付与される仮想視点仮想広告情報と実広告情報を用いて、実看板領域上に仮想広告画像を表示しないように制御する方法について説明する。これにより、広告主は、異なる広告主に宣伝機会を奪われることがなくなる。また、仮想広告と実広告が同じ広告主である場合には、宣伝機会を増やすことができる。

0109

<システム構成>
本実施形態に係る映像生成システムの構成は、上述の実施形態2と同様である。但し、映像生成装置4における仮想視点映像生成部730の動作が、上述の実施形態2と異なる。以下、仮想視点映像生成部730の動作について説明する。

0110

仮想視点映像生成部730は、仮想広告情報と実広告情報の両方を受信すると、以下のように動作する。仮想視点映像生成部730は、先ず、上述の実施形態2で説明したように、背景モデルの各面が実看板領域に含まれるか否かを判定する。仮想視点映像生成部730は、次に、背景モデルの実看板領域に含まれる面を仮想視点に投影することにより、仮想視点映像上の実看板領域を算出する。また、仮想視点映像生成部730は、仮想広告モデルを仮想視点に投影することにより、仮想視点映像上の仮想広告領域を算出する。

0111

そして、実看板領域と仮想広告領域が重なる場合に、実看板領域を囲む矩形の外に、仮想広告領域をずらすことで、実看板と仮想看板の重複を回避する。或いは、広告情報に含まれる優先度の高い広告を優先して表示するようにしてもよい。さらに、被写体モデルを仮想視点映像上に投影することで、仮想視点映像上の被写体領域を算出し、この被写体領域と仮想広告領域や実看板領域との重なりを判定することで、仮想視点映像上で被写体領域と広告領域とが重ならないように制御することもできる。

0112

本実施形態により、仮想広告情報と実広告情報が動画ファイルに付与された場合に、実看板領域上に仮想広告画像を表示しないようにすることができる。これにより、互いの宣伝機会を奪うことなく、広告を表示することができる。

0113

なお、実施形態1、2、及び3において説明した動画ファイル生成装置、映像生成装置等の装置は、図17に示されるように、一般的なコンピュータの構成と同様の構成により実現することができる。CPU(Central Processing Unit)1701は、入力されたデータ、また後述のROM1702やRAM1703に格納されているコンピュータプログラムを用いて、装置全体の動作を制御する。なお、CPU1701とは異なる専用の1又は複数のハードウェア或いはGPU(Graphics Processing Unit)を備え、CPU1701による処理の少なくとも一部を専用のハードウェア又はGPUが行うようにしてもよい。また、専用のハードウェアとしては、例えば、ASIC特定用途向け集積回路)及びDSP(デジタルシグナルプロセッサ)等がある。

0114

ROM(Read-Only Memory)1702は、装置における各部の設定を行う設定パラメータブートプログラム等を格納する。RAM(Random Access Memory)1703は、外部記憶装置1704から読み取ったコンピュータプログラムやデータ、後述の汎用インタフェース1705を介して外部から受信したデータを一時的に記憶する記憶領域を有する。また、RAM1703は、CPU1701が各種、処理を実行するときに用いる記憶領域として使用される。

0115

外部記憶装置1704は、CPU1701が各種の処理を実行するために必要な各種データ等を記憶する記憶装置であり、例えば、HDD(Hard Disk Drive)等である。汎用インタフェース1705は、外部装置1706と通信するためのインタフェースであり、例えば、USB(Universal Serial Bus)インタフェース等である。

0116

また、上述の構成において、装置の各機能は、CPU1701が図8図13図15等に示される処理の流れ(フローチャート)を実現可能なプログラム読み出し実行することで、実現される。

0117

また、実施形態1、2、及び3において、動画ファイルに付与される付加情報として広告情報(仮想広告情報、及び実広告情報)が付与される例について説明したが、この例に限らない。動画ファイルに付与される付加情報の別の例として、仮想視点情報に写る選手に関する情報(以下、選手情報という)を付与する場合について説明する。ISO BMFF規格に準じて、選手情報が動画ファイルに付与される場合、metaボックスには、データ種別、データ数、各情報のデータサイズ、及び選手情報データベースのアドレスに関する情報が記載される。データ種別は、付加情報が選手に関する情報であることを示す情報である。データ数は、選手情報の数である。各情報のデータサイズは、選手情報のデータサイズを示す情報である。選手情報データベースのアドレスに関する情報は、選手情報が蓄積されるデータベースに接続するためのアドレス情報である。metaボックスにアドレス情報が記載されない場合、dataボックスには、選手情報ID、選手情報の提供者、選手情報の製作者、競技名、競技場名、試合日、表示時間、表示開始時間、及び表示終了時間を記載する。さらに、metaボックスにアドレス情報が記載されない場合、dataボックスには、有効期限、選手情報モデルデータ、選手情報マテリアルデータ、表示効果、仮想視点依存性、仮想視点映像上の選手情報貼り付け領域、及び優先度の情報が記載される。metaボックスにアドレス情報が記載される場合、dataボックスには、選手情報IDのみが記載される。以上のように、本発明は広告情報以外にも適用することができる。

0118

<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。

0119

1撮影装置
2広告データベース
3動画ファイル生成装置
4映像生成装置
5 表示装置

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ