図面 (/)

技術 情報処理装置、画像処理システム、情報処理方法、及び、プログラム

出願人 キヤノン株式会社
発明者 矢埜智裕半田雅大相澤道雄水野祥吾田中克昌松下明弘森澤圭輔小宮山麻衣藤井賢一伊達厚
出願日 2016年5月25日 (4年11ヶ月経過) 出願番号 2016-104434
公開日 2017年11月30日 (3年5ヶ月経過) 公開番号 2017-212593
状態 特許登録済
技術分野 閉回路テレビジョンシステム イメージ処理・作成 イメージ生成
主要キーワード 起動準備状態 再起動状態 設置機 キャリブレーション用データ 次出力データ ノイズ判定結果 キャリブレーション処理中 圧縮割合
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年11月30日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

時間情報が対応する前景画像背景画像とから仮想視点画像を生成する。

解決手段

情報処理装置は、仮想視点画像の生成のための撮影画像前景領域に基づく前景画像と前記撮影画像の背景領域に基づく背景画像とを取得する取得手段と、前記取得手段が取得した前景画像と背景画像とを、当該前景画像の時間情報及び当該背景画像の時間情報に基づいて対応付け、仮想視点画像を合成し、生成した画像を出力する手段とを有する。

概要

背景

昨今、複数のカメラを異なる位置に設置して多視点同期撮影し、当該撮影により得られた複数視点画像を用いて仮想視点コンテンツを生成する技術が注目されている。上記のようにして複数視点画像から仮想視点コンテンツを生成する技術によれば、例えば、サッカーバスケットボールハイライトシーンを様々な角度から視聴することが出来るため、通常の画像と比較してユーザに高臨場感を与えることが出来る。

一方、複数視点画像に基づく仮想視点コンテンツの生成及び閲覧は、複数のカメラが撮影した画像をサーバなどの画像処理部に集約し、当該画像処理部にて、三次元モデル生成、レンダリングなどの処理を施し、ユーザ端末伝送を行うことで実現できる。

また、特許文献1では、複数のカメラによる撮影に基づく前景画像及び背景画像を取得し、その前景画像及び背景画像から被写体の3次元形状を推定することについて記載されている。

概要

時間情報が対応する前景画像と背景画像とから仮想視点画像を生成する。情報処理装置は、仮想視点画像の生成のための撮影画像前景領域に基づく前景画像と前記撮影画像の背景領域に基づく背景画像とを取得する取得手段と、前記取得手段が取得した前景画像と背景画像とを、当該前景画像の時間情報及び当該背景画像の時間情報に基づいて対応付け、仮想視点画像を合成し、生成した画像を出力する手段とを有する。

目的

本発明は、上記の課題に鑑みてなされたものであり、その目的は、時間情報が対応する前景画像と背景画像とから仮想視点画像を生成できるようにすることである

効果

実績

技術文献被引用数
2件
牽制数
1件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

仮想視点画像の生成のための撮影画像前景領域に基づく前景画像と前記撮影画像の背景領域に基づく背景画像とを取得する取得手段と、前記取得手段が取得した前景画像と背景画像とを、当該前景画像の時間情報及び当該背景画像の時間情報に基づいて対応付けて出力する出力手段とを有することを特徴とする情報処理装置

請求項2

前記取得手段により取得される前景画像と背景画像はフレームレートが異なり、前記出力手段は、前記取得手段が取得した前景画像と、前記取得手段が取得した背景画像であって前記前景画像の時間情報と所定の規則に基づく関係にある時間情報を有する背景画像とを、対応付けて出力することを特徴とする請求項1に記載の情報処理装置。

請求項3

前記前景画像の時間情報と所定の規則に基づく関係にある時間情報を有する背景画像は、前記取得手段が取得した背景画像のうち前記前景画像の時間情報に最も近い時間情報を有する背景画像であることを特徴とする請求項2に記載の情報処理装置。

請求項4

前記前景画像の時間情報と所定の規則に基づく関係にある時間情報を有する背景画像は、前記取得手段が取得した背景画像であって前記前景画像より前の時刻に対応する時間情報を有する背景画像のうち、前記前景画像の時間情報に最も近い時間情報を有する背景画像であることを特徴とする請求項2に記載の情報処理装置。

請求項5

前記前景画像の時間情報と所定の規則に基づく関係にある時間情報を有する背景画像は、前記取得手段が取得した背景画像であって前記前景画像より後の時刻に対応する時間情報を有する背景画像のうち、前記前景画像の時間情報に最も近い時間情報を有する背景画像であることを特徴とする請求項2に記載の情報処理装置。

請求項6

前記取得手段は、前記撮影画像の被写体の三次元モデルデータをさらに取得し、前記出力手段は、前記取得手段が取得した前景画像、背景画像、及び三次元モデルデータを、当該前景画像の時間情報、当該背景画像の時間情報、及び当該三次元モデルデータの時間情報に基づいて対応付けて出力することを特徴とする請求項1乃至5の何れか1項に記載の情報処理装置。

請求項7

前記出力手段による出力先は、前記情報処理装置が備える記憶部、前記情報処理装置とネットワークを介して接続される記憶装置、及び前記情報処理装置とネットワークを介して接続され前記仮想視点画像を生成する画像生成装置の少なくとも何れかであることを特徴とする請求項1乃至6の何れか1項に記載の情報処理装置。

請求項8

前記前景画像は前記撮影画像に対する所定のオブジェクト検出処理の結果に応じて定まる前景領域に基づくデータであり、前記背景画像は前記検出処理の結果に応じて定まる背景領域に基づくデータであることを特徴とする請求項1乃至7の何れか1項に記載の情報処理装置。

請求項9

情報処理装置、記憶装置、及び画像生成装置を有する画像処理システムであって、前記情報処理装置は、複数のカメラによる撮影画像の前景に基づく前景画像と前記撮影画像の背景に基づく背景画像とを取得する第1取得手段と、前記取得手段が取得した前景画像と背景画像とを、当該前景画像の時間情報及び当該背景画像の時間情報に基づいて対応付けて前記記憶装置に出力する出力手段とを有し、前記画像生成装置は、仮想視点画像の生成に係る視点を指定するための情報を取得する第2取得手段と、前記記憶装置から時間情報に基づいて対応付けられた前景画像及び背景画像を取得する第3取得手段と、前記第2取得手段が取得した情報と前記第3取得手段が取得した前景画像及び背景画像とに基づいて仮想視点画像を生成する生成手段とを有することを特徴とする画像処理システム。

請求項10

前記第1取得手段は、前記撮影画像の1フレームに対応する前景画像と前記撮影画像の1フレームに対応する背景画像とをそれぞれ異なる頻度で取得し、前記出力手段は、前記取得手段が取得した前景画像と、前記取得手段が取得した背景画像であって前記前景画像の時間情報と所定の規則に基づく関係にある時間情報を有する背景画像とを、対応付けて出力することを特徴とする請求項9に記載の画像処理システム。

請求項11

前記前景画像の時間情報と所定の規則に基づく関係にある時間情報を有する背景画像は、前記取得手段が取得した背景画像のうち前記前景画像の時間情報に最も近い時間情報を有する背景画像であることを特徴とする請求項10に記載の画像処理システム。

請求項12

仮想視点画像の生成のための撮影画像の前景領域に基づく前景画像と前記撮影画像の背景領域に基づく背景画像とを取得する取得工程と、前記取得工程において取得された前景画像と背景画像とを、当該前景画像の時間情報及び当該背景画像の時間情報に基づいて対応付けて出力する出力工程とを有することを特徴とする情報処理方法

請求項13

前記取得工程は、前記撮影画像の1フレームに対応する前景画像と前記撮影画像の1フレームに対応する背景画像とをそれぞれ異なる頻度で取得し、前記出力工程は、前記取得工程において取得された前景画像と、前記取得工程において取得された背景画像であって前記前景画像の時間情報と所定の規則に基づく関係にある時間情報を有する背景画像とを、対応付けて出力することを特徴とする請求項12に記載の情報処理方法。

請求項14

前記前景画像の時間情報と所定の規則に基づく関係にある時間情報を有する背景画像は、前記取得工程において取得された背景画像のうち前記前景画像の時間情報に最も近い時間情報を有する背景画像であることを特徴とする請求項13に記載の情報処理方法。

請求項15

コンピュータを請求項1乃至8の何れか1項に記載の情報処理装置として動作させるためのプログラム

技術分野

0001

本発明は、仮想視点画像を生成するシステムに関するものである。

背景技術

0002

昨今、複数のカメラを異なる位置に設置して多視点同期撮影し、当該撮影により得られた複数視点画像を用いて仮想視点コンテンツを生成する技術が注目されている。上記のようにして複数視点画像から仮想視点コンテンツを生成する技術によれば、例えば、サッカーバスケットボールハイライトシーンを様々な角度から視聴することが出来るため、通常の画像と比較してユーザに高臨場感を与えることが出来る。

0003

一方、複数視点画像に基づく仮想視点コンテンツの生成及び閲覧は、複数のカメラが撮影した画像をサーバなどの画像処理部に集約し、当該画像処理部にて、三次元モデル生成、レンダリングなどの処理を施し、ユーザ端末伝送を行うことで実現できる。

0004

また、特許文献1では、複数のカメラによる撮影に基づく前景画像及び背景画像を取得し、その前景画像及び背景画像から被写体の3次元形状を推定することについて記載されている。

先行技術

0005

特開2013−25458号公報

発明が解決しようとする課題

0006

しかしながら、特許文献1には、取得された前景画像と背景画像とを時間情報に基づいて対応付ける処理については記載されていない。従って、例えば、前景画像と背景画像がそれぞれ独立して異なる時刻に取得されると、同時刻の撮影に基づく前景画像と背景画像とから3次元形状の推定等の処理を行うことが困難になる場合が考えられる。

0007

本発明は、上記の課題に鑑みてなされたものであり、その目的は、時間情報が対応する前景画像と背景画像とから仮想視点画像を生成できるようにすることである。

課題を解決するための手段

0008

上記課題を解決するため、本発明に係る情報処理装置は、例えば以下の構成を有する。すなわち、仮想視点画像の生成のための撮影画像前景領域に基づく前景画像と前記撮影画像の背景領域に基づく背景画像とを取得する取得手段と、前記取得手段が取得した前景画像と背景画像とを、当該前景画像の時間情報及び当該背景画像の時間情報に基づいて対応付けて出力する出力手段とを有する。

発明の効果

0009

本発明によれば、時間情報が対応する前景画像と背景画像とから仮想視点画像を生成できるようになる。

図面の簡単な説明

0010

画像処理システム100の構成を説明するための図である。
カメラアダプタ120の機能構成を説明するためのブロック図である。
画像処理部6130の構成を説明するためのブロック図である。
フロントエンドサーバ230の機能構成を説明するためのブロック図である。
フロントエンドサーバ230のデータ入力制御部02120の構成を説明するためのブロック図である。
データベース250の機能構成を説明するためのブロック図である。
バックエンドサーバ270の機能構成を説明するためのブロック図である。
仮想カメラ操作UI330の機能構成を説明するためのブロック図である。
エンドユーザ端末190の接続構成を説明するための図である。
エンドユーザ端末190の機能構成を説明するためのブロック図である。
ワークフロー全体を説明するためのフローチャートである。
機材設置前のワークフローを説明するためのフローチャートである。
機材設置時のワークフローを説明するためのフローチャートである。
撮影前のワークフローを説明するためのフローチャートである。
制御ステーション310側での撮影時確認ワークフローを説明するためのフローチャートである。
仮想カメラ操作UI330側での撮影時ユーザワークフローを説明するためのフローチャートである。
設置時キャリブレーションの処理全体を説明するためのシーケンス図である。
撮影前におけるフロントエンドサーバ230の動作を説明するためのフローチャートである。
撮影前におけるデータベース250の動作を説明するためのフローチャートである。
撮影中におけるデータベース250の動作を説明するためのフローチャートである。
設置時キャリブレーションの処理を説明するためのフローチャートである。
撮影開始処理を説明するためのシーケンス図である。
三次元モデル情報生成処理を説明するためのシーケンス図である。
三次元モデル情報の生成処理を説明するためのフローチャートである。
三次元モデル情報の生成処理を説明するためのフローチャートである。
注視点グループについて説明するための図である。
バイパス伝送制御について説明するための図である。
バイパス制御について説明するための図である。
データの伝送フローを説明するための図である。
伝送データの削減処理について説明するためのフローチャートである。
ファイル生成処理について説明するためのフローチャートである。
データベース250へのファイル書き込み処理について説明するためのフローチャートである。
データベース250からのファイル読み出し処理について説明するためのフローチャートである。
撮影画像の例を示す図である。
前景背景分離について説明するためのフローチャートである。
仮想カメラ画像の生成処理について説明するためのシーケンス図である。
仮想カメラについて説明するための図である。
ライブ画像の生成処理について説明するためのフローチャートである。
リプレイ画像の生成処理について説明するためのフローチャートである。
仮想カメラパスの選択について説明するためのフローチャートである。
エンドユーザ端末190が表示する画面の例を示す図である。
手動操縦に関するアプリケーション管理部10001の処理を説明するためのフローチャートである。
自動操縦に関するアプリケーション管理部10001の処理を説明するためのフローチャートである。
レンダリング処理について説明するためのフローチャートである。
前景画像の生成処理について説明するためのフローチャートである。
設置後ワークフローで生成される設定リストを表す図である。
制御ステーション310における設定情報変更処理について説明するためのシーケンス図である。
フロントエンドサーバ230のデータ受信処理について説明するためのフローチャートである。
カメラアダプタ120のハードウェア構成を示すブロック図である。

実施例

0011

競技場スタジアム)やコンサートホールなどの施設に複数のカメラ及びマイクを設置し撮影及び集音を行うシステムについて、図1システム構成図を用いて説明する。画像処理システム100は、センサシステム110a—センサシステム110z、画像コンピューティングサーバ200、コントローラ300、スイッチングハブ180、及びエンドユーザ端末190を有する。

0012

コントローラ300は制御ステーション310と仮想カメラ操作UI330を有する。制御ステーション310は画像処理システム100を構成するそれぞれのブロックに対してネットワーク310a—310c、180a、180b、及び170a—170yを通じて動作状態の管理及びパラメータ設定制御などを行う。ここで、ネットワークはEthernet(登録商標、以下省略)であるIEEE標準準拠のGbE(ギガビットイーサネット)や10GbEでもよいし、インターコネクトInfiniband、産業用イーサーネット等を組合せて構成されてもよい。また、これらに限定されず、他の種別のネットワークであってもよい。

0013

最初に、センサシステム110a—センサシステム110zの26セットの画像及び音声をセンサシステム110zから画像コンピューティングサーバ200へ送信する動作を説明する。本実施形態の画像処理システム100は、センサシステム110a—センサシステム110zがデイジーチェーンにより接続される。

0014

本実施形態において、特別な説明がない場合は、センサシステム110aからセンサシステム110zまでの26セットのシステムを区別せずセンサシステム110と記載する。各センサシステム110内の装置についても同様に、特別な説明がない場合は区別せず、マイク111、カメラ112、雲台113、外部センサ114、及びカメラアダプタ120と記載する。なお、センサシステムの台数として26セットと記載しているが、あくまでも一例であり、台数をこれに限定するものではない。また、複数のセンサシステム110は同一の構成でなくてもよく、例えばそれぞれが異なる機種の装置で構成されていてもよい。なお、本実施形態では、特に断りがない限り、画像という文言が、動画静止画概念を含むものとして説明する。すなわち、本実施形態の画像処理システム100は、静止画及び動画の何れについても処理可能である。また、本実施形態では、画像処理システム100により提供される仮想視点コンテンツには、仮想視点画像と仮想視点音声が含まれる例を中心に説明するが、これに限らない。例えば、仮想視点コンテンツに音声が含まれていなくても良い。また例えば、仮想視点コンテンツに含まれる音声が、仮想視点に最も近いマイクにより集音された音声であっても良い。また、本実施形態では、説明の簡略化のため、部分的に音声についての記載を省略しているが、基本的に画像と音声は共に処理されるものとする。

0015

センサシステム110a—センサシステム110zは、それぞれ1台ずつのカメラ112a—カメラ112zを有する。即ち、画像処理システム100は、被写体を複数の方向から撮影するための複数のカメラ112を有する。なお、複数のカメラ112は同一符号を用いて説明するが、性能や機種が異なっていてもよい。複数のセンサシステム110同士はデイジーチェーンにより接続される。この接続形態により、撮影画像の4Kや8Kなどへの高解像度化及び高フレームレート化に伴う画像データの大容量化において、接続ケーブル数の削減や配線作業の省力化ができる効果があることをここに明記しておく。

0016

なおこれに限らず、接続形態として、各センサシステム110a−110zがスイッチングハブ180に接続されて、スイッチングハブ180を経由してセンサシステム110間のデータ送受信を行うスター型ネットワーク構成としてもよい。

0017

また、図1では、デイジーチェーンとなるようセンサシステム110a−110zの全てがカスケード接続されている構成を示したがこれに限定するものではない。例えば、複数のセンサシステム110をいくつかのグループに分割して、分割したグループ単位でセンサシステム110間をデイジーチェーン接続してもよい。そして、分割単位終端となるカメラアダプタ120がスイッチングハブに接続されて画像コンピューティングサーバ200へ画像の入力を行うようにしてもよい。このような構成は、スタジアムにおいてとくに有効である。例えば、スタジアムが複数階で構成され、フロア毎にセンサシステム110を配備する場合が考えられる。この場合に、フロア毎、あるいはスタジアムの半周毎に画像コンピューティングサーバ200への入力を行うことができ、全センサシステム110を1つのデイジーチェーンで接続する配線が困難な場所でも設置の簡便化及びシステムの柔軟化を図ることができる。

0018

また、デイジーチェーン接続されて画像コンピューティングサーバ200へ画像入力を行うカメラアダプタ120が1つであるか2つ以上であるかに応じて、画像コンピューティングサーバ200での画像処理の制御が切り替えられる。すなわち、センサシステム110が複数のグループに分割されているかどうかに応じて制御が切り替えられる。画像入力を行うカメラアダプタ120が1つの場合は、デイジーチェーン接続で画像伝送を行いながら競技場全周画像が生成されるため、画像コンピューティングサーバ200において全周の画像データが揃うタイミングは同期がとられている。すなわち、センサシステム110がグループに分割されていなければ、同期はとれる。

0019

しかし、画像入力を行うカメラアダプタ120が複数になる場合は、画像が撮影されてから画像コンピューティングサーバ200に入力されるまでの遅延がデイジーチェーンのレーン経路)ごとに異なる場合が考えられる。すなわち、センサシステム110がグループに分割される場合は、画像コンピューティングサーバ200に全周の画像データが入力されるタイミングは同期がとられないことがある。そのため、画像コンピューティングサーバ200において、全周の画像データが揃うまで待って同期をとる同期制御によって、画像データの集結チェックしながら後段の画像処理を行う必要があることを明記しておく。

0020

本実施形態では、センサシステム110aはマイク111a、カメラ112a、雲台113a、外部センサ114a、及びカメラアダプタ120aを有する。なお、この構成に限定するものではなく、少なくとも1台のカメラアダプタ120aと、1台のカメラ112aまたは1台のマイク111aを有していれば良い。また例えば、センサシステム110aは1台のカメラアダプタ120aと、複数のカメラ112aで構成されてもよいし、1台のカメラ112aと複数のカメラアダプタ120aで構成されてもよい。即ち、画像処理システム100内の複数のカメラ112と複数のカメラアダプタ120はN対M(NとMは共に1以上の整数)で対応する。また、センサシステム110は、マイク111a、カメラ112a、雲台113a、及びカメラアダプタ120a以外の装置を含んでいてもよい。また、カメラ112とカメラアダプタ120が一体となって構成されていてもよい。さらに、カメラアダプタ120の機能の少なくとも一部をフロントエンドサーバ230が有していてもよい。本実施形態では、センサシステム110b—110zについては、センサシステム110aと同様の構成なので省略する。なお、センサシステム110aと同じ構成に限定されるものではなく、其々のセンサシステム110が異なる構成でもよい。

0021

マイク111aにて集音された音声と、カメラ112aにて撮影された画像は、カメラアダプタ120aにおいて後述の画像処理が施された後、デイジーチェーン170aを通してセンサシステム110bのカメラアダプタ120bに伝送される。同様にセンサシステム110bは、集音された音声と撮影された画像を、センサシステム110aから取得した画像及び音声と合わせてセンサシステム110cに伝送する。

0022

前述した動作を続けることにより、センサシステム110a—センサシステム110zが取得した画像及び音声は、センサシステム110zから180bを用いてスイッチングハブ180に伝わり、その後、画像コンピューティングサーバ200へ伝送される。

0023

なお、本実施形態では、カメラ112a−112zとカメラアダプタ120a−120zが分離された構成にしているが、同一筺体一体化されていてもよい。その場合、マイク111a−111zは一体化されたカメラ112に内蔵されてもよいし、カメラ112の外部に接続されていてもよい。

0024

次に、画像コンピューティングサーバ200の構成及び動作について説明する。本実施形態の画像コンピューティングサーバ200は、センサシステム110zから取得したデータの処理を行う。画像コンピューティングサーバ200はフロントエンドサーバ230、データベース250(以下、DBとも記載する。)、バックエンドサーバ270、タイムサーバ290を有する。

0025

タイムサーバ290は時刻及び同期信号を配信する機能を有し、スイッチングハブ180を介してセンサシステム110a—センサシステム110zに時刻及び同期信号を配信する。時刻と同期信号を受信したカメラアダプタ120a—120zは、カメラ112a—112zを時刻と同期信号をもとにGenlockさせ画像フレーム同期を行う。即ち、タイムサーバ290は、複数のカメラ112の撮影タイミングを同期させる。これにより、画像処理システム100は同じタイミングで撮影された複数の撮影画像に基づいて仮想視点画像を生成できるため、撮影タイミングのずれによる仮想視点画像の品質低下を抑制できる。なお、本実施形態ではタイムサーバ290が複数のカメラ112の時刻同期を管理するものとするが、これに限らず、時刻同期のための処理を各カメラ112又は各カメラアダプタ120が独立して行ってもよい。

0026

フロントエンドサーバ230は、センサシステム110zから取得した画像及び音声から、セグメント化された伝送パケット再構成してデータ形式を変換した後に、カメラの識別子やデータ種別フレーム番号に応じてデータベース250に書き込む。

0027

次に、バックエンドサーバ270では、仮想カメラ操作UI330から視点の指定を受け付け、受け付けられた視点に基づいて、データベース250から対応する画像及び音声データを読み出し、レンダリング処理を行って仮想視点画像を生成する。

0028

なお、画像コンピューティングサーバ200の構成はこれに限らない。例えば、フロントエンドサーバ230、データベース250、及びバックエンドサーバ270のうち少なくとも2つが一体となって構成されていてもよい。また、フロントエンドサーバ230、データベース250、及びバックエンドサーバ270の少なくとも何れかが複数含まれていてもよい。また、画像コンピューティングサーバ200内の任意の位置に上記の装置以外の装置が含まれていてもよい。さらに、画像コンピューティングサーバ200の機能の少なくとも一部をエンドユーザ端末190や仮想カメラ操作UI330が有していてもよい。

0029

レンダリング処理された画像は、バックエンドサーバ270からエンドユーザ端末190に送信され、エンドユーザ端末190を操作するユーザは視点の指定に応じた画像閲覧及び音声視聴が出来る。すなわち、バックエンドサーバ270は、複数のカメラ112により撮影された撮影画像(複数視点画像)と視点情報とに基づく仮想視点コンテンツを生成する。より具体的には、バックエンドサーバ270は、例えば複数のカメラアダプタ120により複数のカメラ112による撮影画像から抽出された所定領域の画像データと、ユーザ操作により指定された視点に基づいて、仮想視点コンテンツを生成する。そしてバックエンドサーバ270は、生成した仮想視点コンテンツをエンドユーザ端末190に提供する。カメラアダプタ120による所定領域の抽出の詳細については後述する。なお、本実施形態において仮想視点コンテンツは画像コンピューティングサーバ200により生成されるものであり、特にバックエンドサーバ270により生成される場合を中心に説明する。ただしこれに限らず、仮想視点コンテンツは、画像コンピューティングサーバ200に含まれるバックエンドサーバ270以外の装置により生成されてもよいし、コントローラ300やエンドユーザ端末190により生成されてもよい。

0030

本実施形態における仮想視点コンテンツは、仮想的な視点から被写体を撮影した場合に得られる画像としての仮想視点画像を含むコンテンツである。言い換えると、仮想視点画像は、指定された視点における見えを表す画像であるとも言える。仮想的な視点(仮想視点)は、ユーザにより指定されても良いし、画像解析の結果等に基づいて自動的に指定されても良い。すなわち仮想視点画像には、ユーザが任意に指定した視点に対応する任意視点画像(自由視点画像)が含まれる。また、複数の候補からユーザが指定した視点に対応する画像や、装置が自動で指定した視点に対応する画像も、仮想視点画像に含まれる。なお、本実施形態では、仮想視点コンテンツに音声データ(オーディオデータ)が含まれる場合の例を中心に説明するが、必ずしも音声データが含まれていなくても良い。また、バックエンドサーバ270は、仮想視点画像を例えばH.264やHEVCなどの符号化方式に従って圧縮符号化したうえで、MPEG−DASHプロトコルを使ってエンドユーザ端末190へ送信してもよい。また、仮想視点画像は、非圧縮でエンドユーザ端末190へ送信されてもよい。とくに圧縮符号化を行う前者はエンドユーザ端末190としてスマートフォンタブレットを想定しており、後者は非圧縮画像表示可能なディスプレイを想定している。すなわち、エンドユーザ端末190の種別に応じて画像フォーマットが切り替え可能であることを明記しておく。また、画像の送信プロトコルはMPEG−DASHに限らず、例えば、HLS(HTTPLive Streaming)やその他の送信方法を用いても良い。

0031

この様に、画像処理システム100は、映像収集ドメインデータ保存ドメイン、及び映像生成ドメインという3つの機能ドメインを有する。映像収集ドメインはセンサシステム110−110zを含み、データ保存ドメインはデータベース250、フロントエンドサーバ230及びバックエンドサーバ270を含み、映像生成ドメインは仮想カメラ操作UI330及びエンドユーザ端末190を含む。なお本構成に限らず、例えば、仮想カメラ操作UI330が直接センサシステム110a−110zから画像を取得する事も可能である。しかしながら、本実施形態では、センサシステム110a−110zから直接画像を取得する方法ではなくデータ保存機能を中間に配置する方法をとる。具体的には、フロントエンドサーバ230がセンサシステム110a−110zが生成した画像データや音声データ及びそれらのデータのメタ情報をデータベース250の共通スキーマ及びデータ型に変換している。これにより、センサシステム110a−110zのカメラ112が他機種のカメラに変化しても、変化した差分をフロントエンドサーバ230が吸収し、データベース250に登録することができる。このことによって、カメラ112が他機種カメラに変わった場合に、仮想カメラ操作UI330が適切に動作しない虞を低減できる。

0032

また、仮想カメラ操作UI330は、直接データベース250にアクセスせずにバックエンドサーバ270を介してアクセスする構成である。バックエンドサーバ270で画像生成処理に係わる共通処理を行い、操作UIに係わるアプリケーション差分部分を仮想カメラ操作UI330で行っている。このことにより、仮想カメラ操作UI330の開発において、UI操作デバイスや、生成したい仮想視点画像を操作するUIの機能要求に対する開発に注力する事ができる。また、バックエンドサーバ270は、仮想カメラ操作UI330の要求に応じて画像生成処理に係わる共通処理を追加又は削除する事も可能である。このことによって仮想カメラ操作UI330の要求に柔軟に対応する事ができる。

0033

このように、画像処理システム100においては、被写体を複数の方向から撮影するための複数のカメラ112による撮影に基づく画像データに基づいて、バックエンドサーバ270により仮想視点画像が生成される。なお、本実施形態における画像処理システム100は、上記で説明した物理的な構成に限定される訳ではなく、論理的に構成されていてもよい。また、本実施形態ではカメラ112による撮影画像に基づいて仮想視点画像を生成する技術について説明するが、例えば撮影画像を用いずコンピュータグラフィックスなどにより生成された画像に基づいて仮想視点画像を生成する場合にも本実施形態を適用できる。

0034

次に図1に記載のシステムにおける各ノード(カメラアダプタ120、フロントエンドサーバ230、データベース250、バックエンドサーバ270、仮想カメラ操作UI330、エンドユーザ端末190)の機能ブロック図を説明する。

0035

本実施形態におけるカメラアダプタ120の機能ブロックについて図2を利用して説明する。なお、カメラアダプタ120の機能ブロック間でのデータの流れの詳細は図29を用いて後述する。

0036

カメラアダプタ120は、ネットワークアダプタ06110、伝送部06120、画像処理部06130及び、外部機器制御部06140から構成されている。ネットワークアダプタ06110は、データ送受信部06111及び時刻制御部06112から構成されている。

0037

データ送受信部06111は、デイジーチェーン170、ネットワーク291、及びネットワーク310aを介し他のカメラアダプタ120、フロントエンドサーバ230、タイムサーバ290、及び制御ステーション310とデータ通信を行う。例えばデータ送受信部06111は、カメラ112による撮影画像から前景背景分離部06131により分離された前景画像と背景画像とを、別のカメラアダプタ120に対して出力する。出力先のカメラアダプタ120は、画像処理システム100内のカメラアダプタ120のうち、データルティング処理部06122の処理に応じて予め定められた順序において次のカメラアダプタ120である。各カメラアダプタ120が前景画像と背景画像とを出力することで、複数の視点から撮影された前景画像と背景画像に基づいて仮想視点画像が生成される。なお、撮影画像から分離した前景画像を出力して背景画像は出力しないカメラアダプタ120が存在してもよい。

0038

時刻制御部06112は、例えばIEEE1588規格のOrdinay Clockに準拠し、タイムサーバ290との間で送受信したデータのタイムスタンプを保存する機能と、タイムサーバ290と時刻同期を行う。なお、IEEE1588に限定する訳ではなく、他のEtherAVB規格や、独自プロトコルによってタイムサーバとの時刻同期を実現してもよい。本実施形態では、ネットワークアダプタ06110としてNIC(Network Interface Card)を利用するが、NICに限定するものではなく、同様の他のInterfaceを利用してもよい。また、IEEE1588はIEEE1588−2002、IEEE1588−2008のように標準規格として更新されており、後者については、PTPv2(Precision Time Protocol Version2)とも呼ばれる。

0039

伝送部06120は、ネットワークアダプタ06110を介してスイッチングハブ180等に対するデータの伝送を制御する機能を有し、以下の機能部から構成されている。

0040

データ圧縮・伸張部06121は、データ送受信部06111を介して送受信されるデータに対して所定の圧縮方式圧縮率、及びフレームレートを適用した圧縮を行う機能と、圧縮されたデータを伸張する機能を有している。

0041

データルーティング処理部06122は、後述するデータルーティング情報保持部06125が保持するデータを利用し、データ送受信部06111が受信したデータ及び画像処理部06130で処理されたデータのルーティング先を決定する。さらに、決定したルーティング先へデータを送信する機能を有している。ルーティング先としては、同一の注視点にフォーカスされたカメラ112に対応するカメラアダプタ120とするのが、それぞれのカメラ112同士の画像フレーム相関が高いため画像処理を行う上で好適である。複数のカメラアダプタ120それぞれのデータルーティング処理部06122による決定に応じて、画像処理システム100内において前景画像や背景画像をリレー形式で出力するカメラアダプタ120の順序が定まる。

0042

時刻同期制御部06123は、IEEE1588規格のPTP(Precision Time Protocol)に準拠し、タイムサーバ290と時刻同期に係わる処理を行う機能を有している。なお、PTPに限定するのではなく他の同様のプロトコルを利用して時刻同期してもよい。

0043

画像・音声伝送処理部06124は、画像データ又は音声データを、データ送受信部06111を介して他のカメラアダプタ120またはフロントエンドサーバ230へ転送するためのメッセージを作成する機能を有している。メッセージには画像データ又は音声データ、及び各データのメタ情報が含まる。本実施形態のメタ情報には画像の撮影または音声のサンプリングをした時のタイムコードまたはシーケンス番号、データ種別、及びカメラ112やマイク111の個体を示す識別子などが含まれる。なお送信する画像データまたは音声データはデータ圧縮・伸張部06121でデータ圧縮されていてもよい。また、画像・音声伝送処理部06124は、他のカメラアダプタ120からデータ送受信部06111を介してメッセージを受取る。そして、メッセージに含まれるデータ種別に応じて、伝送プロトコル規定のパケットサイズフラグメントされたデータ情報を画像データまたは音声データに復元する。なお、データを復元した際にデータが圧縮されている場合は、データ圧縮・伸張部06121が伸張処理を行う。

0044

データルーティング情報保持部06125は、データ送受信部06111で送受信されるデータの送信先を決定するためのアドレス情報を保持する機能を有する。ルーティング方法については後述する。

0045

画像処理部06130は、カメラ制御部06141の制御によりカメラ112が撮影した画像データ及び他のカメラアダプタ120から受取った画像データに対して処理を行う機能を有し、以下の機能部から構成されている。

0046

前景背景分離部06131は、カメラ112が撮影した画像データを前景画像と背景画像に分離する機能を有している。すなわち、複数のカメラアダプタ120のそれぞれは、複数のカメラ112のうち対応するカメラ112による撮影画像から所定領域を抽出する画像処理装置として動作する。所定領域は例えば撮影画像に対するオブジェクト検出の結果得られる前景画像であり、この抽出により前景背景分離部06131は、撮影画像を前景画像と背景画像に分離する。なお、オブジェクトとは、例えば人物である。ただし、オブジェクトが特定人物選手監督、及び/又は審判など)であっても良いし、ボールゴールなど、画像パターンが予め定められている物体であっても良い。また、オブジェクトとして、動体が検出されるようにしても良い。人物等の重要なオブジェクトを含む前景画像とそのようなオブジェクトを含まない背景領域を分離して処理することで、画像処理システム100において生成される仮想視点画像の上記のオブジェクトに該当する部分の画像の品質を向上できる。また、前景と背景の分離を複数のカメラアダプタ120それぞれが行うことで、複数のカメラ112を備えた画像処理システム100における負荷を分散させることができる。なお、所定領域は前景画像に限らず、例えば背景画像であってもよい。

0047

三次元モデル情報生成部06132は、前景背景分離部06131で分離された前景画像及び他のカメラアダプタ120から受取った前景画像を利用し、例えばステレオカメラ原理を用いて三次元モデルに係わる画像情報を生成する機能を有している。

0048

キャリブレーション制御部06133は、キャリブレーションに必要な画像データを、カメラ制御部06141を介してカメラ112から取得し、キャリブレーションに係わる演算処理を行うフロントエンドサーバ230に送信する機能を有している。本実施形態におけるキャリブレーションは、複数のカメラ112それぞれに関するパラメータを対応付けて整合をとる処理である。キャリブレーションとして例えば、設置された各カメラ112が保持する世界座標系が一致するように調整する処理や、カメラ112ごとの色のばらつきを抑えるための色補正処理などが行われる。なお、キャリブレーションの具体的な処理内容はこれに限定されない。また本実施形態ではキャリブレーションに係わる演算処理をフロントエンドサーバ230で行っているが、演算処理を行うノードはフロントエンドサーバ230に限定されない。例えば、制御ステーション310やカメラアダプタ120(他のカメラアダプタ120を含む)など他のノードで演算処理が行われてもよい。またキャリブレーション制御部06133は、カメラ制御部06141を介してカメラ112から取得した画像データに対して、予め設定されたパラメータに応じて撮影中のキャリブレーション(動的キャリブレーション)を行う機能を有している。

0049

外部機器制御部06140は、カメラアダプタ120に接続する機器を制御する機能を有し、下記機能ブロックから構成されている。

0050

カメラ制御部06141は、カメラ112と接続し、カメラ112の制御、撮影画像取得、同期信号提供、及び時刻設定などを行う機能を有している。カメラ112の制御には、例えば撮影パラメータ画素数色深度、フレームレート、及びホワイトバランスの設定など)の設定及び参照、カメラ112の状態(撮影中、停止中、同期中、及びエラーなど)の取得、撮影の開始及び停止や、ピント調整などがある。なお、本実施形態ではカメラ112を介してピント調整を行っているが、取り外し可能なレンズがカメラ112に装着されている場合は、カメラアダプタ120がレンズに接続し、直接レンズの調整を行ってもよい。また、カメラアダプタ120がカメラ112を介してズーム等のレンズ調整を行ってもよい。同期信号提供は、時刻同期制御部06123がタイムサーバ290と同期した時刻を利用し、撮影タイミング(制御クロック)をカメラ112に提供することで行われる。時刻設定は、時刻同期制御部06123がタイムサーバ290と同期した時刻を例えばSMPTE12Mのフォーマットに準拠したタイムコードで提供することで行われる。これにより、カメラ112から受取る画像データに提供したタイムコードが付与されることになる。なおタイムコードのフォーマットはSMPTE12Mに限定されるわけではなく、他のフォーマットであってもよい。また、カメラ制御部06141は、カメラ112に対するタイムコードの提供はせず、カメラ112から受取った画像データに自身がタイムコードを付与してもよい。

0051

マイク制御部06142は、マイク111と接続し、マイク111の制御、収音の開始及び停止や収音された音声データの取得などを行う機能を有している。マイク111の制御は例えば、ゲイン調整や、状態取得などである。またカメラ制御部06141と同様にマイク111に対して音声サンプリングするタイミングとタイムコードを提供する。音声サンプリングのタイミングとなるクロック情報としては、タイムサーバ290からの時刻情報が例えば48KHzのワードクロックに変換されてマイク111に供給される。

0052

雲台制御部06143は雲台113と接続し、雲台113の制御を行う機能を有している。雲台113の制御は例えば、パンチルト制御や、状態取得などがある。

0053

センサ制御部06144は、外部センサ114と接続し、外部センサ114がセンシングしたセンサ情報を取得する機能を有する。例えば、外部センサ114としてジャイロセンサが利用される場合は、振動を表す情報を取得することができる。そして、センサ制御部06144が取得した振動情報を用いて、画像処理部06130は、前景背景分離部06131での処理に先立って、カメラ112の振動による影響を低減させた画像を生成することができる。振動情報は例えば、8Kカメラの画像データを、振動情報を考慮して、元の8Kサイズよりも小さいサイズで切り出して、隣接設置されたカメラ112の画像との位置合わせを行う場合に利用される。これにより、建造物躯体振動が各カメラに異なる周波数伝搬しても、カメラアダプタ120に配備された本機能で位置合わせを行う。その結果、振動の影響が画像処理により低減された(電子的に防振された)画像データを生成でき、画像コンピューティングサーバ200におけるカメラ112の台数分の位置合わせの処理負荷を軽減する効果が得られる。なお、センサシステム110のセンサは外部センサ114に限定するわけではなく、カメラアダプタ120に内蔵されたセンサであっても同様の効果が得られる。

0054

図3は、カメラアダプタ120内部の画像処理部06130の機能ブロック図である。キャリブレーション制御部06133は、入力された画像に対して、カメラ毎の色のばらつきを抑えるための色補正処理や、カメラの振動に起因する画像のブレを低減させて画像を安定させるためのブレ補正処理電子防振処理)などを行う。

0055

前景背景分離部06131の機能ブロックについて説明する。前景分離部05001は、カメラ112の画像に関して位置合わせが行われた画像データに対して、背景画像05002との比較により前景画像の分離処理を行う。

0056

背景更新部05003は、背景画像05002とカメラ112の位置合わせが行われた画像を用いて新しい背景画像を生成し、背景画像05002を新しい背景画像に更新する。

0057

背景切出部05004は、背景画像05002の一部を切り出す制御を行う。

0058

ここで、三次元モデル情報生成部06132の機能について説明する。
三次元モデル処理部05005は、前景分離部05001で分離された前景画像と、伝送部06120を介して受信した他のカメラ112の前景画像を用いて、例えばステレオカメラの原理等から三次元モデルに関わる画像情報を逐次生成する。
他カメラ前景受信部05006は、他のカメラアダプタ120で前景背景分離された前景画像を受信する。

0059

カメラパラメータ受信部05007は、カメラ固有内部パラメータ焦点距離画像中心、及びレンズ歪みパラメータ等)と、カメラの位置姿勢を表す外部パラメータ回転行列及び位置ベクトル等)を受信する。これらのパラメータは、後述のキャリブレーション処理で得られる情報であり、制御ステーション310から対象となるカメラアダプタ120に対して送信及び設定される。つぎに、三次元モデル処理部05005は、カメラパラメータ受信部05007と他カメラ前景受信部05006によって三次元モデル情報を生成する。

0060

図4はフロントエンドサーバ230の機能ブロックを示した図である。制御部02110はCPUやDRAMプログラムデータや各種データを記憶したHDDNANDメモリなどの記憶媒体、Ethernet等のハードウェアで構成される。そして、フロントエンドサーバ230の各機能ブロック及びフロントエンドサーバ230のシステム全体の制御を行う。また、モード制御を行って、キャリブレーション動作や撮影前の準備動作、及び撮影中動作などの動作モードを切り替える。また、Ethernetを通じて制御ステーション310からの制御指示を受信し、各モードの切り替えやデータの入出力などを行う。また、同じくネットワークを通じて制御ステーション310からスタジアムCADデータ(スタジアム形状データ)を取得し、スタジアムCADデータをCADデータ記憶部02135と撮影データファイル生成部02180に送信する。なお、本実施形態におけるスタジアムCADデータ(スタジアム形状データ)はスタジアムの形状を示す三次元データであり、メッシュモデルやその他の三次元形状を表すデータであればよく、CAD形式に限定されない。

0061

データ入力制御部02120は、Ethernet等の通信路とスイッチングハブ180を介して、カメラアダプタ120とネットワーク接続されている。そしてデータ入力制御部02120は、ネットワークを通してカメラアダプタ120から前景画像、背景画像、被写体の三次元モデル、音声データ、及びカメラキャリブレーション撮影画像データを取得する。ここで、前景画像は仮想視点画像の生成のための撮影画像の前景領域に基づく画像データであり、背景画像は当該撮影画像の背景領域に基づく画像データである。カメラアダプタ120は、カメラ112による撮影画像に対する所定のオブジェクトの検出処理の結果に応じて、前景領域及び背景領域を特定し、前景画像及び背景画像を生成する。所定のオブジェクトとは、例えば人物である。なお、所定のオブジェクトは特定の人物(選手、監督、及び/又は審判など)であっても良い。また、所定のオブジェクトには、ボールやゴールなど、画像パターンが予め定められている物体が含まれていてもよい。また、所定のオブジェクトとして、動体が検出されるようにしても良い。

0062

また、データ入力制御部02120は、取得した前景画像及び背景画像をデータ同期部02130に送信し、カメラキャリブレーション撮影画像データをキャリブレーション部02140に送信する。また、データ入力制御部02120は受信したデータの圧縮伸張やデータルーティング処理等を行う機能を有する。また、制御部02110とデータ入力制御部02120は共にEthernet等のネットワークによる通信機能を有しているが、通信機能はこれらで共有されていてもよい。その場合は、制御ステーション310からの制御コマンドによる指示やスタジアムCADデータをデータ入力制御部02120で受けて、制御部02110に対して送る方法を用いてもよい。

0063

データ同期部02130は、カメラアダプタ120から取得したデータをDRAM上に一次的に記憶し、前景画像、背景画像、音声データ及び三次元モデルデータが揃うまでバッファする。なお、前景画像、背景画像、音声データ及び三次元モデルデータをまとめて、以降では撮影データと称する。撮影データにはルーティング情報タイムコード情報(時間情報)、カメラ識別子等のメタ情報が付与されており、データ同期部02130はこのメタ情報を元にデータの属性を確認する。これによりデータ同期部02130は、同一時刻のデータであることなどを判断してデータがそろったことを確認する。これは、ネットワークによって各カメラアダプタ120から転送されたデータについて、ネットワークパケット受信順序保証されず、ファイル生成に必要なデータが揃うまでバッファする必要があるためである。データがそろったら、データ同期部02130は、前景画像及び背景画像を画像処理部02150に、三次元モデルデータを三次元モデル結合部02160に、音声データを撮影データファイル生成部02180にそれぞれ送信する。なお、ここで揃えるデータは、後述される撮影データファイル生成部02180に於いてファイル生成を行うために必要なデータである。また、背景画像は前景画像とは異なるフレームレートで撮影されてもよい。例えば、背景画像のフレームレートが1fpsである場合、1秒毎に1つの背景画像が取得されるため、背景画像が取得されない時間については、背景画像が無い状態で全てのデータがそろったとしてよい。また、データ同期部02130は、所定時間を経過しデータが揃っていない場合には、データが揃わないことを示す情報をデータベース250に通知する。そして、後段のデータベース250が、データを格納する際に、カメラ番号やフレーム番号とともにデータの欠落を示す情報を格納する。これにより、データベース250に集められたカメラ112の撮影画像から所望の画像が形成できるか否かを、仮想カメラ操作UI330からバックエンドサーバ270への視点指示に応じてレンダリング前自動通知することが可能となる。その結果、仮想カメラ操作UI330のオペレータ目視負荷を軽減できる。

0064

CADデータ記憶部02135は制御部02110から受け取ったスタジアム形状を示す三次元データをDRAMまたはHDDやNANDメモリ等の記憶媒体に保存する。そして、画像結合部02170に対して、スタジアム形状データの要求を受け取った際に保存されたスタジアム形状データを送信する。

0065

キャリブレーション部02140はカメラのキャリブレーション動作を行い、キャリブレーションによって得られたカメラパラメータを後述する非撮影データファイル生成部02185に送る。また同時に、自身の記憶領域にもカメラパラメータを保持し、後述する三次元モデル結合部02160にカメラパラメータ情報を提供する。

0066

画像処理部02150は前景画像や背景画像に対して、カメラ間の色や輝度値の合わせこみ、RAW画像データが入力される場合には現像処理、及びカメラのレンズ歪み補正等の処理を行う。そして、画像処理を行った前景画像は撮影データファイル生成部02180に、背景画像は02170にそれぞれ送信する。

0067

三次元モデル結合部02160は、カメラアダプタ120から取得した同一時刻の三次元モデルデータをキャリブレーション部02140が生成したカメラパラメータを用いて結合する。そして、VisualHullと呼ばれる方法を用いて、スタジアム全体における前景画像の三次元モデルデータを生成する。生成した三次元モデルは撮影データファイル生成部02180に送信される。

0068

画像結合部02170は画像処理部02150から背景画像を取得し、CADデータ記憶部02135からスタジアムの三次元形状データ(スタジアム形状データ)を取得し、取得したスタジアムの三次元形状データの座標に対する背景画像の位置を特定する。背景画像の各々についてスタジアムの三次元形状データの座標に対する位置が特定できると、背景画像を結合して1つの背景画像とする。なお、本背景画像の三次元形状データの作成については、バックエンドサーバ270が実施してもよい。

0069

撮影データファイル生成部02180はデータ同期部02130から音声データを、画像処理部02150から前景画像を、三次元モデル結合部02160から三次元モデルデータを、画像結合部02170から三次元形状に結合された背景画像を取得する。そして、取得したこれらのデータをDBアクセス制御部02190に対して出力する。ここで、撮影データファイル生成部02180は、これらのデータをそれぞれの時間情報に基づいて対応付けて出力する。ただし、これらのデータの一部を対応付けて出力してもよい。例えば、撮影データファイル生成部02180は、前景画像と背景画像とを、前景画像の時間情報及び背景画像の時間情報に基づいて対応付けて出力する。また例えば、撮影データファイル生成部02180は、前景画像、背景画像、及び三次元モデルデータを、前景画像の時間情報、背景画像の時間情報、及び三次元モデルデータの時間情報に基づいて対応付けて出力する。なお、撮影データファイル生成部02180は、対応付けられたデータをデータの種類別ファイル化して出力してもよいし、複数種類のデータを時間情報が示す時刻ごとにまとめてファイル化して出力してもよい。このように対応付けられた撮影データが、対応付けを行う情報処理装置としてのフロントエンドサーバ230からデータベース250に出力されることで、バックエンドサーバ270は時間情報が対応する前景画像と背景画像とから仮想視点画像を生成できる。

0070

なお、データ入力制御部02120により取得される前景画像と背景画像のフレームレートが異なる場合、撮影データファイル生成部02180は、常に同時刻の前景画像と背景画像を対応付けて出力することは難しい。そこで、撮影データファイル生成部02180は、前景画像の時間情報と所定の規則に基づく関係にある時間情報を有する背景画像とを対応付けて出力する。ここで、前景画像の時間情報と所定の規則に基づく関係にある時間情報を有する背景画像は、例えば、撮影データファイル生成部02180が取得した背景画像のうち前景画像の時間情報に最も近い時間情報を有する背景画像である。このように、所定の規則に基づいて前景画像と背景画像を対応付けることにより、前景画像と背景画像のフレームレートが異なる場合でも、近い時刻に撮影された前景画像と背景画像とから仮想視点画像を生成することができる。なお、前景画像と背景画像の対応付けの方法は上記のものに限らない。例えば、前景画像の時間情報と所定の規則に基づく関係にある時間情報を有する背景画像は、取得された背景画像であって前景画像より前の時刻に対応する時間情報を有する背景画像のうち、前景画像の時間情報に最も近い時間情報を有する背景画像であってよい。この方法によれば、前景画像よりフレームレートの低い背景画像の取得を待つことなく、対応付けられた前景画像と背景画像とを低遅延で出力することができる。また、前景画像の時間情報と所定の規則に基づく関係にある時間情報を有する背景画像は、取得された背景画像であって前景画像より後の時刻に対応する時間情報を有する背景画像のうち、前景画像の時間情報に最も近い時間情報を有する背景画像でもよい。

0071

非撮影データファイル生成部02185は、キャリブレーション部02140からカメラパラメータ、制御部02110からスタジアムの三次元形状データを取得し、ファイル形式に応じて成形した後にDBアクセス制御部02190に送信する。なお、非撮影データファイル生成部02185に入力されるデータであるカメラパラメータまたはスタジアム形状データは、個別にファイル形式に応じて成形される。すなわち、非撮影データファイル生成部02185は、どちらか一方のデータを受信した場合、それらを個別にDBアクセス制御部02190に送信する。

0072

DBアクセス制御部02190は、InfiniBandなどにより高速通信が可能となるようにデータベース250と接続される。そして、撮影データファイル生成部02180及び非撮影データファイル生成部02185から受信したファイルをデータベース250に対して送信する。本実施形態では、撮影データファイル生成部02180が時間情報に基づいて対応付けた撮影データは、フロントエンドサーバ230とネットワークを介して接続される記憶装置であるデータベース250へDBアクセス制御部02190を介して出力される。ただし、対応付けられた撮影データの出力先はこれに限らない。例えば、フロントエンドサーバ230は、時間情報に基づいて対応付けられた撮影データを、フロントエンドサーバ230とネットワークを介して接続され仮想視点画像を生成する画像生成装置であるバックエンドサーバ270に出力してもよい。また、データベース250とバックエンドサーバ270の両方に出力してもよい。

0073

また、本実施形態ではフロントエンドサーバ230が前景画像と背景画像の対応付けを行うものとするが、これに限らず、データベース250が対応付けを行ってもよい。例えば、データベース250はフロントエンドサーバ230から時間情報を有する前景画像及び背景画像を取得する。そしてデータベース250は、前景画像と背景画像とを前景画像の時間情報及び背景画像の時間情報に基づいて対応付けて、データベース250が備える記憶部に出力してもよい。

0074

フロントエンドサーバ230のデータ入力制御部02120の機能ブロック図について図5を利用して説明する。

0075

データ入力制御部02120は、サーバネットワークアダプタ06210、サーバ伝送部06220、及びサーバ画像処理部06230を有する。

0076

サーバネットワークアダプタ06210は、サーバデータ受信部06211を有し、カメラアダプタ120から送信されるデータを受信する機能を有する。

0077

サーバ伝送部06220は、サーバデータ受信部06211から受取ったデータに対する処理を行う機能を有しており、以下の機能部から構成されている。

0078

サーバデータ伸張部06221は、圧縮されたデータを伸張する機能を有している。

0079

サーバデータルーティング処理部06222は、後述するサーバデータルーティング情報保持部06224が保持するアドレス等のルーティング情報に基づきデータの転送先を決定し、サーバデータ受信部06211から受取ったデータを転送する。

0080

サーバ画像伝送処理部06223は、カメラアダプタ120からサーバデータ受信部06211を介してメッセージを受取り、メッセージに含まれるデータ種別に応じて、フラグメント化されたデータを画像データまたは音声データに復元する。なお、復元後の画像データや音声データが圧縮されている場合は、サーバデータ伸張部06221で伸張処理が行われる。

0081

サーバデータルーティング情報保持部06224は、サーバデータ受信部06211が受信したデータの送信先を決定するためのアドレス情報を保持する機能を有する。なお、ルーティング方法については後述する。

0082

サーバ画像処理部06230は、カメラアダプタ120から受信した画像データまたは音声データに係わる処理を行う機能を有している。処理内容は、例えば、画像データのデータ実体(前景画像、背景画像、及び三次元モデル情報)に応じた、カメラ番号や画像フレームの撮影時刻、画像サイズ、画像フォーマット、及び画像の座標の属性情報などが付与されたフォーマットへの整形処理などである。

0083

図6はデータベース250の機能ブロックを示した図である。制御部02410はCPUやDRAM、プログラムデータや各種データを記憶したHDDやNANDメモリなどの記憶媒体、及びEthernet等のハードウェアで構成される。そして、データベース250の各機能ブロック及びデータベース250のシステム全体の制御を行う。
データ入力部02420はInfiniBand等の高速な通信によって、フロントエンドサーバ230から撮影データや非撮影データのファイルを受信する。受信したファイルはキャッシュ02440に送られる。また、受信した撮影データのメタ情報を読み出し、メタ情報に記録されたタイムコード情報やルーティング情報、カメラ識別子等の情報を元に、取得したデータへのアクセスが可能になるようにデータベーステーブルを作成する。

0084

データ出力部02430は、バックエンドサーバ270から要求されたデータが後述するキャッシュ02440、一次ストレージ02450、二次ストレージ02460のいずれに保存されているか判断する。そして、InfiniBand等の高速な通信によって、保存された先からデータを読み出してバックエンドサーバ270に送信する。

0085

キャッシュ02440は高速な入出力スループットを実現可能なDRAM等の記憶装置を有しており、データ入力部02420から取得した撮影データや非撮影データを記憶装置に格納する。格納されたデータは一定量保持され、それを超えるデータが入力される場合に、古いデータから随時一次ストレージ02450へと書き出され、書き出し済みのデータは新たなデータによって上書きされる。ここでキャッシュ02440に一定量保存されるデータは少なくとも1フレーム分の撮影データである。それによって、バックエンドサーバ270に於いて画像のレンダリング処理を行う際に、データベース250内でのスループットを最小限に抑え、最新の画像フレームを低遅延かつ連続的にレンダリングすることが可能となる。ここで、前述の目的を達成するためにはキャッシュされているデータの中に背景画像が含まれている必要がある。そのため、背景画像を有さないフレームの撮影データがキャッシュされる場合、キャッシュ上の背景画像は更新されず、そのままキャッシュ上に保持される。キャッシュ可能なDRAMの容量は、予めシステムに設定されたキャッシュフレームサイズ、または制御ステーションからの指示によって決められる。なお、非撮影データについては、入出力の頻度が少なく、また、試合前などにおいては高速なスループットを要求されないため、すぐに一次ストレージへとコピーされる。キャッシュされたデータはデータ出力部02430によって読み出される。

0086

一次ストレージ02450はSSD等のストレージメディア並列つなぐなどして構成されデータ入力部02420からの大量のデータの書き込み及びデータ出力部02430からのデータ読み出しが同時に実現できるなど高速化される。そして、一次ストレージ02450には、キャッシュ02440上に格納されたデータの古いものから順に書き出される。

0087

二次ストレージ02460はHDDやテープメディア等で構成され、高速性よりも大容量が重視され、一次ストレージと比較して安価で長期間の保存に適するメディアであることが求められる。二次ストレージ02460には、撮影が完了した後、データのバックアップとして一次ストレージ02450に格納されたデータが書き出される。

0088

図7は、本実施形態にかかるバックエンドサーバ270の構成を示している。バックエンドサーバ270は、データ受信部03001、背景テクスチャ貼り付け部03002、前景テクスチャ決定部03003、テクスチャ境界色合わせ部03004、仮想視点前景画像生成部03005、及びレンダリング部03006を有する。さらに、仮想視点音声生成部03007、合成部03008、画像出力部03009、前景オブジェクト決定部03010、要求リスト生成部03011、要求データ出力部03012、泳ぎレンダリングモード管理部03014を有する。

0089

データ受信部03001は、データベース250およびコントローラ300から送信されるデータを受信する。またデータベース250からは、スタジアムの形状を示す三次元データ(スタジアム形状データ)、前景画像、背景画像、前景画像の三次元モデル(以降、前景三次元モデルと称する)、及び音声を受信する。

0090

また、データ受信部03001は、仮想視点画像の生成に係る視点を指定する指定装置としてのコントローラ300から出力される仮想カメラパラメータを受信する。仮想カメラパラメータとは、仮想視点の位置や姿勢などを表すデータであり、例えば、外部パラメータの行列と内部パラメータの行列が用いられる。

0091

なお、データ受信部03001がコントローラ300から取得するデータは仮想カメラパラメータに限らない。例えばコントローラ300から出力される情報は、視点の指定方法、コントローラが動作させているアプリケーションを特定する情報、コントローラ300の識別情報、及びコントローラ300を使用するユーザの識別情報の少なくとも何れかを含んでいてよい。また、データ受信部03001は、コントローラ300から出力される上記の情報と同様の情報を、エンドユーザ端末190から取得してもよい。さらに、データ受信部03001は、データベース250やコントローラ300などの外部の装置から、複数のカメラ112に関する情報を取得してもよい。複数のカメラ112に関する情報は、例えば、複数のカメラ112の数に関する情報や複数のカメラ112の動作状態に関する情報などである。カメラ112の動作状態には、例えば、カメラ112の正常状態故障状態待機状態起動状態、及び再起動状態の少なくとも何れかが含まれる。

0092

背景テクスチャ貼り付け部03002は、背景メッシュモデル管理部03013から取得する背景メッシュモデル(スタジアム形状データ)で示される三次元空間形状に対して背景画像をテクスチャとして貼り付ける。これにより背景テクスチャ貼り付け部03002は、テクスチャ付き背景メッシュモデルを生成する。メッシュモデルとは、例えばCADデータなど三次元の空間形状を面の集合表現したデータのことである。テクスチャとは、物体の表面の質感を表現するために貼り付ける画像のことである。
前景テクスチャ決定部03003は、前景画像及び前景三次元モデル群より前景三次元モデルのテクスチャ情報を決定する。

0093

前景テクスチャ境界色合わせ部03004は、各前景三次元モデルのテクスチャ情報と各三次元モデル群からテクスチャの境界色合わせを行い、前景オブジェクト毎に色付き前景三次元モデル群を生成する。

0094

仮想視点前景画像生成部03005は、仮想カメラパラメータに基づいて、前景画像群を仮想視点からの見た目となるように透視変換する。レンダリング部03006は、レンダリングモード管理部03014で決定された、仮想視点画像の生成に用いられる生成方式に基づいて、背景画像と前景画像をレンダリングして全景の仮想視点画像を生成する。

0095

本実施形態では仮想視点画像の生成方式として、モデルベースレンダリング(Model−Based Rendering:MBR)とイメージベース(Image−Based Rendering:IBR)の2つのレンダリングモードが用いられる。

0096

MBRとは、被写体を複数の方向から撮影した複数の撮影画像に基づいて生成される三次元モデルを用いて仮想視点画像を生成する方式である。具体的には、視体積交差法、Multi−View−Stereo(MVS)などの三次元形状復元手法により得られた対象シーンの三次元形状(モデル)を利用し,仮想視点からのシーンの見えを画像として生成する技術である。

0097

IBRとは、対象のシーンを複数視点から撮影した入力画像群を変形、合成することによって仮想視点からの見えを再現した仮想視点画像を生成する技術である。本実施形態では、IBRを用いる場合、MBRを用いて三次元モデルを生成するための複数の撮影画像より少ない1又は複数の撮影画像に基づいて仮想視点画像が生成される。

0098

レンダリングモードがMBRの場合、背景メッシュモデルと前景テクスチャ境界色合わせ部03004で生成した前景三次元モデル群を合成することで全景モデルが生成され、その全景モデルから仮想視点画像が生成される。

0099

レンダリングモードがIBRの場合、背景テクスチャモデルに基づいて仮想視点から見た背景画像が生成され、そこに仮想視点前景画像生成部03005で生成された前景画像を合成することで仮想視点画像が生成される。

0100

なお、レンダリング部03006はMBRとIBR以外のレンダリング手法を用いてもよい。また、レンダリングモード管理部03014が決定する仮想視点画像の生成方式はレンダリングの方式に限らず、レンダリングモード管理部03014は仮想視点画像を生成するためのレンダリング以外の処理の方式を決定してもよい。レンダリングモード管理部03014は、仮想視点画像の生成に用いられる生成方式としてのレンダリングモードを決定し、決定結果を保持する。

0101

本実施形態では、レンダリングモード管理部03014は、複数のレンダリングモードから使用するレンダリングモードを決定する。この決定は、データ受信部03001が取得した情報に基づいて行われる。例えば、レンダリングモード管理部03014は、取得された情報から特定されるカメラの数が閾値以下である場合に、仮想視点画像の生成に用いられる生成方式をIBRに決定する。一方、カメラ数が閾値より多い場合は生成方式をMBRに決定する。これにより、カメラ数が多い場合にはMBRを用いて仮想視点画像を生成することで視点の指定可能範囲が広くなる。また、カメラ数が少ない場合には、IBRを用いることで、MBRを用いた場合の三次元モデルの精度の低下による仮想視点画像の画質低下を回避することができる。また例えば、撮影から画像出力までの許容される処理遅延時間の長短に基づいて生成方式を決めてもよい。遅延時間が長くても視点の自由度を優先する場合はMBR、遅延時間が短いことを要求する場合はIBRを用いる。また例えば、コントローラ300やエンドユーザ端末190が視点の高さを指定可能であることを示す情報をデータ受信部03001が取得した場合には、仮想視点画像の生成に用いられる生成方式をMBRに決定する。これにより、生成方式がIBRであることによってユーザによる視点の高さの変更要求受け入れられなくなることを防ぐことができる。このように、状況に応じて仮想視点画像の生成方式を決定することで、適切に決定された生成方式で仮想視点画像を生成できる。また、複数のレンダリングモードを要求に応じて切り替え可能な構成にすることで、柔軟にシステムを構成することが可能になり、本実施形態をスタジアム以外の被写体にも適用可能となることを明記しておく。

0102

なお、レンダリングモード管理部03014が保持するレンダリングモードは、システムに予め設定された方式であってもよい。また、仮想カメラ操作UI330やエンドユーザ端末190を操作するユーザがレンダリングモードを任意に設定できてもよい。

0103

仮想視点音声生成部03007は、仮想カメラパラメータに基づいて、仮想視点において聞こえる音声(音声群)を生成する。合成部03008は、レンダリング部03006で生成された画像群と仮想視点音声生成部03007で生成された音声を合成して仮想視点コンテンツを生成する。

0104

画像出力部03009は、コントローラ300とエンドユーザ端末190へEthernetを用いて仮想視点コンテンツを出力する。ただし、外部への伝送手段はEthernetに限定されるものではなく、SDI、DisplayPort、及びHDMI(登録商標)などの信号伝送手段を用いてもよい。なお、バックエンドサーバ270は、レンダリング部03006で生成された、音声を含まない仮想視点画像を出力してもよい。

0105

前景オブジェクト決定部03010は、仮想カメラパラメータと前景三次元モデルに含まれる前景オブジェクトの空間上の位置を示す前景オブジェクトの位置情報から、表示される前景オブジェクト群を決定して、前景オブジェクトリストを出力する。つまり、前景オブジェクト決定部03010は、仮想視点の画像情報を物理的なカメラ112にマッピングする処理を実施する。本仮想視点は、レンダリングモード管理部03014で決定されるレンダリングモードに応じてマッピング結果が異なる。そのため、複数の前景オブジェクトを決定する制御部が前景オブジェクト決定部03010に配備されレンダリングモードと連動して制御を行うことを明記しておく。

0106

要求リスト生成部03011は、指定時間の前景オブジェクトリストに対応する前景画像群と前景三次元モデル群、及び背景画像と音声データをデータベース250に要求するための、要求リストを生成する。前景オブジェクトについては仮想視点を考慮して選択されたデータがデータベース250に要求されるが、背景画像と音声データについてはそのフレームに関する全てのデータが要求される。バックエンドサーバ270の起動後、背景メッシュモデルが取得されるまで背景メッシュモデルの要求リストが生成される。

0107

要求データ出力部03012は、入力された要求リストを元にデータベース250に対してデータ要求コマンドを出力する。背景メッシュモデル管理部03013は、データベース250から受信した背景メッシュモデルを記憶する。

0108

なお、本実施形態ではバックエンドサーバ270が仮想視点画像の生成方式の決定と仮想視点画像の生成の両方を行う場合を中心に説明するが、これに限らない。即ち、生成方式を決定した情報処理装置がその決定結果に応じたデータを出力すればよい。例えば、フロントエンドサーバ230が、複数のカメラ112に関する情報や仮想視点画像の生成に係る視点を指定する装置から出力される情報などに基づいて、仮想視点画像の生成に用いられる生成方式を決定してもよい。そしてフロントエンドサーバ230は、カメラ112による撮影に基づく画像データと決定された生成方式を示す情報とを、データベース250などの記憶装置及びバックエンドサーバ270などの画像生成装置の少なくとも何れかに出力してもよい。この場合には、例えばフロントエンドサーバ230が出力した生成方式を示す情報に基づいてバックエンドサーバ270が仮想視点画像を生成する。フロントエンドサーバ230が生成方式を決定することで、決定された方式とは別の方式での画像生成のためのデータをデータベース250やバックエンドサーバ270が処理することによる処理負荷を低減できる。一方、本実施形態のようにバックエンドサーバ270が生成方式を決定する場合、データベース250は複数の生成方式に対応可能なデータを保持するため、複数の生成方式それぞれに対応する複数の仮想視点画像の生成が可能となる。

0109

図8は、仮想カメラ操作UI330の機能構成を説明するブロック図である。仮想カメラ08001について図37(a)を用いて説明する。仮想カメラ08001は、設置されたどのカメラ112とも異なる視点において撮影を行うことができる仮想的なカメラである。即ち、画像処理システム100において生成される仮想視点画像が、仮想カメラ08001による撮影画像である。図37(a)において、円周上に配置された複数のセンサシステム110それぞれがカメラ112を有している。例えば、仮想視点画像を生成することにより、あたかもサッカーゴールの近くの仮想カメラ08001で撮影されたかのような画像を生成することができる。仮想カメラ08001の撮影画像である仮想視点画像は、設置された複数のカメラ112の画像を画像処理することで生成される。オペレータ(ユーザ)は仮想カメラ08001の位置等操作することで、自由な視点からの撮影画像を得ることができる。

0110

仮想カメラ操作UI330は、仮想カメラ管理部08130および操作UI部08120を有する。これらは同一機器上に実装されてもよいし、それぞれサーバとなる装置とクライアントとなる装置に別々に実装されてもよい。例えば、放送局が使用する仮想カメラ操作UI330においては、中継車内のワークステーションに仮想カメラ管理部08130と操作UI部08120が実装されてもよい。また例えば、仮想カメラ管理部08130をwebサーバに実装し、エンドユーザ端末190に操作UI部08120を実装することで、同様の機能を実現してもよい。

0111

仮想カメラ操作部08101は、オペレータの仮想カメラ08001に対する操作、すなわち仮想視点画像の生成に係る視点を指定するためのユーザによる指示を受け付けて処理する。オペレータの操作内容は、例えば、位置の変更(移動)、姿勢の変更(回転)、及びズーム倍率の変更などである。オペレータは、仮想カメラ08001を操作するために、例えば、ジョイスティックジョグダイヤルタッチパネルキーボード、及びマウスなどの入力装置を使う。各入力装置による入力と仮想カメラ08001の操作との対応は予め決められる。例えば、キーボードの「W」キーを、仮想カメラ08001を前方へ1メートル移動する操作に対応付ける。また、オペレータは軌跡を指定して仮想カメラ08001を操作することができる。例えばオペレータは、ゴールポストを中心とする円周上を仮想カメラ08001が回るという軌跡を、タッチパッド上に円を描くように触れることで指定する。仮想カメラ08001は、指定された軌跡に沿ってゴールポストの回りを移動する。このとき、仮想カメラ08001が常にゴールポストの方を向くように自動で姿勢を変更してもよい。仮想カメラ操作部08101は、ライブ画像およびリプレイ画像の生成に利用することができる。リプレイ画像を生成する際は、カメラの位置及び姿勢の他に時間を指定する操作が行われる。リプレイ画像では、例えば、時間を止めて仮想カメラ08001を移動させることも可能である。

0112

仮想カメラパラメータ導出部08102は、仮想カメラ08001の位置や姿勢などを表す仮想カメラパラメータを導出する。仮想パラメータは、演算によって導出されてもよいし、ルックアップテーブルの参照などによって導出されてもよい。仮想カメラパラメータとして、例えば、外部パラメータを表す行列と内部パラメータを表す行列が用いられる。ここで、仮想カメラ08001の位置と姿勢は外部パラメータに含まれ、ズーム値は内部パラメータに含まれる。

0113

仮想カメラ制約管理部08103は、仮想カメラ操作部08101により受け付けられる指示に基づく視点の指定が制限される制限領域を特定するための情報を取得し管理する。この情報は例えば、仮想カメラ08001の位置や姿勢、ズーム値などに関する制約である。仮想カメラ08001は、カメラ112と異なり、自由に視点を移動して撮影を行うことができるが、常にあらゆる視点からの画像を生成できるとは限らない。例えば、どのカメラ112にも映っていない対象物が映る向きに仮想カメラ08001を向けても、その撮影画像を取得することはできない。また、仮想カメラ08001のズーム倍率を上げると、解像度の制約により画質が劣化する。そこで、一定基準の画質を保つ範囲のズーム倍率などを仮想カメラ制約としてよい。仮想カメラ制約は、例えば、カメラの配置などから事前に導出しておいてもよい。また、伝送部06120がネットワークの負荷に応じて伝送データ量の削減を図ることがある。このデータ量削減により、撮影画像に関するパラメータが変化し、画像を生成できる範囲や画質を保つことができる範囲が動的に変わる。仮想カメラ制約管理部08103は、伝送部06120から出力データのデータ量の削減に用いた方法を示す情報を受け取り、その情報に応じて仮想カメラ制約を動的に更新する構成であってもよい。これにより、伝送部06120によりデータ量削減が図られても、仮想視点画像の画質を一定基準に保つことが可能となる。

0114

また、仮想カメラに関する制約は上記の物に限定されない。本実施形態では、視点の指定が制限される制限領域(仮想カメラ制約を満たさない領域)は、画像処理システム100に含まれる装置の動作状態及び仮想視点画像を生成するための画像データに関するパラメータの少なくとも何れかに応じて変化する。例えば、制限領域は、画像処理システム100において伝送される画像データのデータ量が所定範囲内となるように制御されるパラメータに応じて変化する。当該パラメータは、画像データのフレームレート、解像度、量子化ステップ、及び撮影範囲などのうち少なくとも何れかを含む。例えば、伝送データ量削減のために画像データの解像度が低減されると、所定の画質を維持可能なズーム倍率の範囲が変化する。このような場合に、仮想カメラ制約管理部08103がパラメータに応じて変化する制限領域を特定する情報を取得することで、仮想カメラ操作UI330はパラメータの変化に応じた範囲でユーザによる視点の指定がなされるよう制御できる。なお、パラメータの内容は上記のものに限定されない。また、本実施形態において上記のデータ量が制御される画像データは複数のカメラ112による複数の撮影画像の差分に基づいて生成されるデータであるものとするが、これに限らず、例えば撮影画像そのものでもよい。

0115

また例えば、制限領域は、画像処理システム100に含まれる装置の動作状態に応じて変化する。ここで画像処理システム100に含まれる装置には、例えばカメラ112及びカメラ112による撮影画像に対する画像処理を行って画像データを生成するカメラアダプタ120の少なくとも何れかが含まれる。そして装置の動作状態には、例えば当該装置の正常状態、故障状態、起動準備状態、及び再起動状態の少なくとも何れかが含まれる。例えば、何れかのカメラ112が故障状態や再起動状態にある場合、そのカメラの周辺位置に視点を指定することができなくなる場合が考えられる。このような場合に、仮想カメラ制約管理部08103が装置の動作状態に応じて変化する制限領域を特定する情報を取得することで、仮想カメラ操作UI330は装置の動作状態の変化に応じた範囲でユーザによる視点の指定がなされるよう制御できる。なお、制限領域の変化に関係する装置及びその動作状態は上記のものに限定されない。

0116

衝突判定部08104は、仮想カメラパラメータ導出部08102で導出された仮想カメラパラメータが仮想カメラ制約を満たしているかを判定する。制約を満たしていない場合は、例えば、オペレータによる操作入力キャンセルし、制約を満たす位置から仮想カメラ08001が動かないよう制御したり、制約を満たす位置に仮想カメラ08001を戻したりする。

0117

フィードバック出力部08105は、衝突判定部08104の判定結果をオペレータにフィードバックする。例えば、オペレータの操作により、仮想カメラ制約が満たされなくなる場合に、そのことをオペレータに通知する。例えば、オペレータが仮想カメラ08001を上方に移動しようと操作したが、移動先が仮想カメラ制約を満たさないとする。その場合、オペレータに、これ以上上方に仮想カメラ08001を移動できないことを通知する。通知方法としては、音、メッセージ出力、画面の色変化、及び仮想カメラ操作部08101をロックする等の方法がある。さらには、制約を満たす位置まで仮想カメラの位置を自動で戻してもよく、これによりオペレータの操作簡便性につながる効果がある。フィードバックが画像表示により行われる場合、フィードバック出力部08105は、仮想カメラ制約管理部08103が取得した情報に基づいて、制限領域に応じた表示制御に基づく画像を表示部に表示させる。例えば、フィードバック出力部08105は、仮想カメラ操作部08101により受け付けられた指示に応じて、当該指示に対応する視点が制限領域内であることを表す画像を表示部に表示させる。これにより、オペレータは指定している視点が制限領域内であって所望の仮想視点画像を生成できない虞があることを認識でき、制限領域外の位置(制約を満たす位置)に視点を指定し直すことができる。即ち、仮想視点画像の生成において、状況に応じて変化する範囲内で視点を指定できるようになる。なお、制限領域に応じた表示制御を行う制御装置として仮想カメラ操作UI330が表示部に表示させる内容はこれに限定されない。例えば、視点の指定の対象となる領域(スタジアムの内部など)のうち制限領域に当たる部分を所定の色で塗りつぶした画像が表示されてもよい。本実施形態では表示部が仮想カメラ操作UI330と接続される外部のディスプレイであるものとするが、これに限らず、表示部が仮想カメラ操作UI330の内部に存在してもよい。

0118

仮想カメラパス管理部08106は、オペレータの操作に応じた仮想カメラ08001のパス(仮想カメラパス08002)を管理する。仮想カメラパス08002とは、仮想カメラ08001の1フレームごと位置や姿勢を表す情報の列である。図37(b)を参照して説明する。例えば、仮想カメラ08001の位置や姿勢を表す情報として仮想カメラパラメータが用いられる。例えば、60フレーム/秒のフレームレートの設定における1秒分の情報は、60個の仮想カメラパラメータの列となる。仮想カメラパス管理部08106は、衝突判定部08104で判定済みの仮想カメラパラメータを、バックエンドサーバ270に送信する。バックエンドサーバ270は、受信した仮想カメラパラメータを用いて、仮想視点画像及び仮想視点音声を生成する。また、仮想カメラパス管理部08106は、仮想カメラパラメータを仮想カメラパス08002に付加して保持する機能も有する。例えば、仮想カメラ操作UI330を用いて、1時間分の仮想視点画像及び仮想視点音声を生成した場合、1時間分の仮想カメラパラメータが仮想カメラパス08002として保存される。本仮想カメラパスを保存しておくことによって、データベースの二次ストレージ02460に蓄積された画像情報と仮想カメラパスを後から参照することで、仮想視点画像及び仮想視点音声を再度生成することが可能になる。つまり、高度な仮想カメラ操作を行うオペレータが生成した仮想カメラパスと二次ストレージ02460に蓄積された画像情報を他のユーザが再利用できる。なお、複数の仮想カメラパスに対応する複数のシーンを選択可能となるように仮想カメラ管理部08130に蓄積することもできる。複数の仮想カメラパスを仮想カメラ管理部08130に蓄積する際には、各仮想カメラパスに対応するシーンのスクリプトや試合の経過時間、シーンの前後指定時間、及びプレーヤ情報等のメタ情報もあわせて入力及び蓄積することができる。仮想カメラ操作UI330は、これらの仮想カメラパスを仮想カメラパラメータとして、バックエンドサーバ270に通知する。

0119

エンドユーザ端末190は、バックエンドサーバ270に仮想カメラパスを選択するための選択情報を要求することで、シーン名やプレーヤ、及び試合経過時間などから、仮想カメラパスを選択できる。バックエンドサーバ270はエンドユーザ端末190に選択可能な仮想カメラパスの候補を通知し、エンドユーザはエンドユーザ端末190を操作して、複数の候補の中から希望の仮想カメラパスを選択する。そして、エンドユーザ端末190は選択された仮想カメラパスに応じた画像生成をバックエンドサーバ270に要求することで、画像配信サービスインタラクティブに享受することができる。

0120

オーサリング部08107は、オペレータがリプレイ画像を生成する際の編集機能を提供する。オーサリング部08107は、ユーザ操作に応じて、リプレイ画像用の仮想カメラパス08002の初期値として、仮想カメラパス管理部08106が保持する仮想カメラパス08002の一部を取り出す。前述したように、仮想カメラパス管理部08106には、仮想カメラパス08002と対応付けてシーン名、プレーヤ、経過時間、及びシーンの前後指定時間などのメタ情報が保持されている。例えば、シーン名がゴールシーン、シーンの前後指定時間が前後合わせて10秒分である仮想カメラパス08002が取り出される。また、オーサリング部08107は、編集したカメラパス再生速度を設定する。例えば、ボールがゴールに飛んで行く間の仮想カメラパス08002にスロー再生を設定する。なお、異なる視点からの画像に変更する場合、つまり仮想カメラパス08002を変更する場合は、ユーザは仮想カメラ操作部08101を用いて再度、仮想カメラ08001を操作する。

0121

仮想カメラ画像・音声出力部08108は、バックエンドサーバ270から受け取った仮想カメラ画像・音声を出力する。オペレータは出力された画像及び音声を確認しながら仮想カメラ08001を操作する。なお、フィードバック出力部08105によるフィードバックの内容によっては、仮想カメラ画像・音声出力部08108は、制限領域に応じた表示制御に基づく画像を表示部に表示させる。例えば、仮想カメラ画像・音声出力部08108は、オペレータが指定した視点の位置が制限領域に含まれる場合に、指定された位置の近辺であり且つ制限領域外である位置を視点とした仮想視点画像を表示させてもよい。これにより、オペレータが制限領域外に視点を指定し直す手間が削減される。

0122

次に、視聴者(ユーザ)が使用するエンドユーザ端末190について、説明する。図9は、エンドユーザ端末190の構成図である。

0123

サービスアプリケーションが動作するエンドユーザ端末190は、例えばPC(Personal Computer)である。なお、エンドユーザ端末190は、PCに限らず、スマートフォンやタブレット端末、高精細大型ディスプレイでもよいものとする。

0124

エンドユーザ端末190は、インターネット回線9001を介して、画像を配信するバックエンドサーバ270と接続されている。例えば、エンドユーザ端末190(PC)は、LAN(Local Area Network)ケーブルや、無線LANを介してルータおよびインターネット回線9001に接続されている。

0125

また、エンドユーザ端末190には、視聴者がスポーツ放送画像等の仮想視点画像を視聴するためのディスプレイ9003と、視聴者による視点変更などの操作を受け付けるユーザ入力機器9002とが、接続されている。例えば、ディスプレイ9003は液晶ディスプレイであり、PCとDisplay Portケーブルを介して接続されている。
ユーザ入力機器9002はマウスやキーボードであり、PCとUSB(Universal Serial Bus)ケーブルを介して接続されている。

0126

エンドユーザ端末190の内部機能について説明する。図10はエンドユーザ端末190の機能ブロック図である。

0127

アプリケーション管理部10001は、後述する基本ソフト部10002から入力されたユーザ入力情報を、バックエンドサーバ270のバックエンドサーバコマンドに変換して、基本ソフト部10002へ出力する。また、アプリケーション管理部10001は、基本ソフト部10002から入力された画像を、所定の表示領域に描画するための画像描画指示を、基本ソフト部10002へ出力する。

0128

基本ソフト部10002は、例えばOS(Operating System)であり、後述するユーザ入力部10004から入力されたユーザ入力情報を、アプリケーション管理部10001へ出力する。また、後述するネットワーク通信部10003から入力された画像や音声をアプリケーション管理部10001へ出力したり、アプリケーション管理部10001から入力されたバックエンドサーバコマンドをネットワーク通信部10003へ出力したりする。さらに、アプリケーション管理部10001から入力された画像描画指示を、画像出力部10005へ出力する。

0129

ネットワーク通信部10003は、基本ソフト部10002から入力されたバックエンドサーバコマンドを、LANケーブル上で通信可能なLAN通信信号に変換して、バックエンドサーバ270へ出力する。そして、バックエンドサーバ270から受信した画像や音声データが加工可能となるように、基本ソフト部10002へデータを渡す。

0130

ユーザ入力部10004は、キーボード入力物理キーボード又はソフトキーボード)やボタン入力に基づくユーザ入力情報や、ユーザ入力機器からUSBケーブルを介して入力されたユーザ入力情報を取得し、基本ソフト部10002へ出力する。

0131

画像出力部10005は、基本ソフト部10002から出力された画像表示指示に基づく画像を画像信号に変換して、外部ディスプレイ一体型のディスプレイなどに出力する。

0132

音声出力部10006は、基本ソフト部10002から出力された音声出力指示に基づく音声データを外部スピーカあるいは一体型スピーカに出力する。

0133

端末属性管理部10007は、端末表示解像度画像符号化コーデック種別、及び端末種別(スマートフォンなのか、大型ディスプレイなのかなど)を管理する。

0134

サービス属性管理部10008は、エンドユーザ端末190に提供するサービス種別に関する情報を管理する。例えば、エンドユーザ端末190に搭載されるアプリケーションの種別や利用可能な画像配信サービスなどが管理される。

0135

課金管理部10009では、ユーザの画像配信サービスへの登録決済状況課金金額に応じた、受信可能な画像配信シーン数の管理などが行われる。

0136

次に本実施の形態におけるワークフローについて説明する。競技場やコンサートホールなどの施設に複数のカメラ112やマイク111を設置し撮影を行う場合のワークフローについて説明する。

0137

図11はワークフローの全体像を記したフローチャートである。なお、以下で説明するワークフローの処理は、特に明示の記述がない場合、コントローラ300の制御により実現される。すなわち、コントローラ300が、画像処理システム100内の他の装置(例えばバックエンドサーバ270やデータベース250等)を制御することにより、ワークフローの制御が実現される。

0138

図11処理開始前において、画像処理システム100の設置や操作を行う操作者(ユーザ)は設置前に必要な情報(事前情報)を収集し計画立案を行う。また、操作者は、図11の処理開始前において、対象となる施設に機材を設置しているものとする。

0139

S1100において、コントローラ300の制御ステーション310は、ユーザから事前情報に基づく設定を受け付ける。S1100の詳細は図12を用いて後述する。つぎに、ステップS1101において画像処理システム100の各装置は、ユーザからの操作に基づいてコントローラ300から発行されたコマンドに従って、システムの動作確認のための処理を実行する。ステップS1101の詳細は図13を用いて後述する。

0140

つぎに、ステップS1102において、仮想カメラ操作UI330は、競技等のための撮影開始前に画像や音声を出力する。これにより、ユーザは、競技等の前に、マイク111により集音された音声やカメラ112により撮影された画像を確認できる。ステップS1102の詳細は図14を用いて後述する。

0141

そして、S1103において、コントローラ300の制御ステーション310は、各マイク111に集音を実施させ、各カメラ112に撮影を実施させる。本ステップにおける撮影はマイク111を用いた集音を含むものとするがこれに限らず、画像の撮影だけであってもよい。S1103の詳細は図15及び図16を用いて後述する。そして、ステップS1101で行った設定を変更する場合、または撮影を終了する場合はステップS1104に進む。つぎに、S1104において、S1101で行われた設定を変更して撮影を継続する場合はS1105に進み、撮影を完了する場合はS1106に進む。S1104における判定は、典型的には、ユーザからコントローラ300への入力に基づいて行われる。ただしこの例に限らない。S1105において、コントローラ300は、S1101で行われた設定を変更する。変更内容は、典型的には、S1104にて取得されたユーザ入力に基づいて決定される。本ステップにおける設定の変更において撮影を停止する必要がある場合は、一度撮影を停止し、設定を変更した後に撮影を再開する。また、撮影を停止する必要がない場合は、撮影と並行して設定の変更を実施する。

0142

S1106において、コントローラ300は、複数のカメラ112により撮影された画像及び複数のマイク111により集音された音声の編集を実施する。当該編集は、典型的には、仮想カメラ操作UI330を介して入力されたユーザ操作に基づいて行われる。

0143

なお、S1106とS1103の処理は並行して行われるようにしても良い。例えば、スポーツ競技コンサートなどがリアルタイムに配信される(例えば競技中に競技の画像が配信される)場合は、S1103の撮影とS1106の編集が同時に実施される。また、スポーツ競技におけるハイライト画像が競技後に配信される場合は、S1104において撮影を終了した後に編集が実施される。

0144

次に、前述したS1100(設置前処理)の詳細を、図12を用いて説明する。まず、S1200において制御ステーション310は撮影の対象となる施設に関する情報(スタジアム情報)に関するユーザからの入力を受け付ける。

0145

本ステップにおけるスタジアム情報とは、スタジアムの形状、音響、照明電源伝送環境、及びスタジアムの三次元モデルデータなどを指す。つまりスタジアム情報には、上述のスタジアム形状データが含まれる。なお本実施形態では撮影対象となる施設がスタジアムである場合に関して記述している。これは、競技場で開催されるスポーツ競技の画像生成を想定したものである。ただし、室内で開催されるスポーツ競技もあるため、撮影対象の施設はスタジアムに限定されるものではない。また、コンサートホールにおけるコンサートの仮想視点画像を生成する場合もあるし、スタジアムでの野外コンサートの画像を生成する場合もあるため、撮影対象のイベントは競技に限定されるものではないことを明記しておく。

0146

つぎに、ステップS1201において制御ステーション310は、機器情報に関するユーザからの入力を受け付ける。本ステップにおける機器情報とは、カメラ、雲台、レンズ、及びマイク等の撮影機材、LAN、PC、サーバ、及びケーブル等の情報機器、及び中継車に関する情報を指す。ただし必ずしもこれらすべての情報を入力しなければならないわけではない。

0147

つぎに、S1202において制御ステーション310は、S1201で機器情報が入力された撮影機材のうち、カメラ、雲台、及びマイクの配置情報に関する入力を受けつける。配置情報は、先述のスタジアムの三次元モデルデータを利用して入力することができる。

0148

つぎに、S1203において制御ステーション310は、画像処理システム100の運用情報に関するユーザ入力を受け付ける。本ステップにおける運用情報とは、撮影対象、撮影時間、カメラワーク、及び注視点などを指す。例えば、撮影対象が、撮影画像において選手等の前景画像が試合と比較して圧倒的に多い開会式などである場合には、画像生成の手法をその状況に適した手法に変更しうる。また、上競技であるかフィールドを使うサッカー競技等であるかなどの競技種別に応じて、注視点の変更と、カメラワークの制約条件変更が行われうる。これらの運用情報の組み合わせで構成される設定情報のテーブルが制御ステーション310で管理、変更、及び指示される。本制御については後述する。前述したS1200からS1203により、システム設置前のワークフローを完了する。

0149

次に、前述したS1101(設置時処理)の詳細を、図13を用いて説明する。まず、S1300において、制御ステーション310は、設置機材の過不足の有無に関するユーザ入力を受け付ける。ユーザは、S1201で入力された機器情報と設置する機材を比較し過不足の有無を確認することで、設置機材の過不足の有無を判定できる。つぎに、S1301において制御ステーション310は、S1300で不足すると判定された機材の設置確認処理を実行する。つまり、ユーザは、S1300とS1301との間に、不足機材を設置することができ、制御ステーション310は、ユーザにより不足機材が設置されたことを確認する。

0150

つぎに、S1302において、制御ステーション310は、S1301で設置された機材を起動し正常に動作するかの調整前システム動作確認を行う。なお、S1302の処理は、ユーザがシステム動作確認を実施し、その確認結果を制御ステーション310に対してユーザが入力するようにしても良い。

0151

ここで、機材の過不足や動作にエラーが発生した場合には、制御ステーション310に対して、エラー通知が行われる(S1303)。制御ステーション310は、エラーが解除されるまで次のステップには進まないロック状態となる。エラー状態が解除された場合には、制御ステーション310に正常通知が行われ(S1304)、次のステップに進む。これにより、初期段階でエラーを検知することができる。確認の後、カメラ112に関する処理についてはS1305へ、マイク111に関する処理についてはS1308に進む。

0152

最初に、カメラ112について述べる。S1305において、制御ステーション310は、設置されたカメラ112の調整を実施する。本ステップのカメラ112の調整とは、画角合わせと色合わせを指し、設置されたカメラ112全てについて実施される。S1305の調整は、ユーザ操作に基づいて行われるようにしても良いし、自動調整機能により実現されても良い。

0153

また、画角合わせでは、ズーム、パン、チルト、及びフォーカスの調整が並行して実施され、それらの調整結果が制御ステーション310に保存される。そして、色合わせでは、IRIS、ISO/ゲイン、ホワイトバランス、シャープネス、及びシャッタースピードの調整が同時に実施され、それらの調整結果が制御ステーション310に保存される。

0154

つぎに、S1306において、制御ステーション310は、設置されたカメラ全てが同期する様に調整する。S1306における同期の調整は、ユーザ操作に基づいて行われるようにしても良いし、自動調整機能により実現されても良い。さらに、S1307において、制御ステーション310は、カメラ設置時キャリブレーションを行う。より具体的には、制御ステーション310は、設置されたカメラ全ての座標が世界座標に一致する様に調整を行う。詳細なキャリブレーションについては図17において説明する。なお、カメラ112の制御コマンドやタイムサーバとの同期に関するネットワーク経路疎通確認もあわせて実施される。そして、マイク調整が進むまで調整後システム動作正常確認処理で待つ(S1311)。

0155

次に、マイク111に関する処理について述べる。まず、S1308において、制御ステーション310は、設置されたマイク111の調整を実施する。本ステップのマイク111の調整とは、ゲイン調整を指し、設置したマイク全てについて実施される。S1308におけるマイク111の調整は、ユーザ操作に基づいて行われても良いし、自動調整機能により実現されても良い。

0156

つぎに、S1309において、制御ステーション310は、設置されたマイク全てが同期する様に調整する。具体的には、同期クロックの確認を実施する。S1309における同期の調整は、ユーザ操作に基づいて行われるようにしても良いし、自動調整機能により実現されても良い。

0157

つぎに、S1310において、制御ステーション310は、設置されたマイク111のうち、フィールドに設置されたマイク111について位置の調整を実施する。S1310におけるマイク111の位置の調整は、ユーザ操作に基づいて行われても良いし、自動調整機能により実現されても良い。なお、マイク111の制御コマンドやタイムサーバとの同期に関するネットワーク経路の疎通確認もあわせて実施される。

0158

つぎに、S1311において、制御ステーション310は、カメラ112a−112z、およびマイク111a−111zが正しく調整できたかを確認することを目的として調整後システム動作確認を実施する。S1311の処理は、ユーザ指示に基づいて実行されうる。カメラ112、マイク111ともに調整後システム動作正常確認がとれた場合には、S1313において、制御ステーション310へ正常通知が行われる。一方、エラーが発生した場合には、カメラ112あるいはマイク111の種別及び個体番号と共に制御ステーション310へエラー通知が行われる(S1312)。制御ステーション310は、エラーが発生した機器の種別と個体番号をもとに再調整の指示を出す。

0159

次に、前述したS1102(撮影前処理)の詳細を、図14を用いて説明する。S1400において、仮想カメラ操作UI330は、バックエンドサーバ270が処理を施した画像を表示する。コントローラ300の操作者(ユーザ)は、仮想カメラ操作UI330の画面を確認することで、バックエンドサーバ270による処理結果を確認できる。

0160

また、S1400と並行してS1401の動作が行われる。S1401において、仮想カメラ操作UI330は、バックエンドサーバ270が処理を施した音声を出力する。コントローラ300の操作者(ユーザ)は、仮想カメラ操作UI330による音声出力を確認することで、バックエンドサーバ270による処理結果を確認できる。

0161

つぎに、S1402において、仮想カメラ操作UI330は、バックエンドサーバ270が処理を施した画像及び音声が結合され、配信信号に変換された結果を出力する。コントローラ300の操作者(ユーザ)は、仮想カメラ操作UI330による配信信号の出力を確認することで、バックエンドサーバ270による処理済みの画像及び音声を確認できる。

0162

つぎに、前述したS1103(撮影時処理)の詳細を図15及び図16を用いて説明する。

0163

S1103では、制御ステーション310においてシステムの制御及び確認動作が行われ、且つ、仮想カメラ操作UI330において画像及び音声を生成する動作が行われる。

0164

図15ではシステムの制御及び確認動作を説明し、図16では画像及び音声を生成する動作を説明する。最初に図15を用いて説明する。前述した制御ステーション310で行われるシステムの制御及び確認動作では、画像と音声の制御及び確認動作が独立且つ同時に実施される。

0165

先ず、画像に関する動作を説明する。S1500において、仮想カメラ操作UI330は、バックエンドサーバ270が生成した仮想視点画像を表示する。つぎに、S1501において、仮想カメラ操作UI330は、S1500で表示された画像のユーザによる確認結果に関する入力を受け付ける。そして、S1502において、撮影を終了すると判定された場合はS1508に進み、撮影を継続すると判定された場合はS1500に戻る。つまり、撮影を続ける間、S1500とS1501が繰り返される。なお、撮影を終了するか継続するかについては、例えばユーザ入力に応じて制御ステーション310が判定できる。

0166

次に、音声に関する動作を説明する。S1503において、仮想カメラ操作UI330は、マイク111の選択結果に関するユーザ操作を受け付ける。なお、マイク111が所定の順序で1つずつ選択される場合には、ユーザ操作は必ずしも必要ない。S1504において、仮想カメラ操作UI330は、S1503で選択されたマイク111の音声を再生する。S1505において、仮想カメラ操作UI330は、S1504で再生された音声のノイズ有無を確認する。S1505におけるノイズ有無の判定は、コントローラ300の操作者(ユーザ)が行っても良いし、音声解析処理によって自動で判定されるようにしても良いし、その両方が実行されるようにしても良い。ユーザがノイズ有無を判定する場合は、S1505において、仮想カメラ操作UI330は、ユーザによるノイズ判定結果に関する入力を受け付ける。S1505でノイズが確認された場合には、S1506において、仮想カメラ操作UI330は、マイクゲインの調整を実施する。S1506におけるマイクゲインの調整は、ユーザ操作に基づいて行われるようにしても良いし、自動調整が行われるようにしても良い。なお、ユーザ操作に基づいてマイクゲインの調整が行われる場合には、S1506において、仮想カメラ操作UI330は、マイクゲインの調整に関するユーザ入力を受け付け、当該ユーザ入力に基づいてマイクゲインの調整を実施する。なお、ノイズの状態に依っては選択したマイク111の停止を行っても良い。S1507において、集音を終了すると判定された場合はS1508に進み、集音を継続すると判定された場合はS1503に戻る。つまり、集音を続ける間、S1503、S1504、S1505、及びS1506の動作が繰り返される。集音を終了するか継続するかについては、例えば、ユーザ入力に応じて制御ステーション310が判定できる。なお、集音を終了するか継続するかについては、例えば、ユーザ入力に応じて制御ステーション310が判定できる。

0167

S1508において、システムを終了すると判定された場合はS1509に進み、システムを継続すると判定された場合はS1500及びS1503に進む。S1508の判定は、ユーザ操作に基づいて行われ得る。S1509において、画像処理システム100で取得されたログが制御ステーション310へ集められる。

0168

次に図16を用いて画像及び音声を生成する動作を説明する。前述した仮想カメラ操作UI330で行われる画像及び音声を生成する動作では、画像と音声が独立且つ並行して生成される。

0169

先ず、画像に関する動作を説明する。S1600において、仮想カメラ操作UI330は、バックエンドサーバ270に対して仮想視点画像の生成のための指示を発行する。そしてS1600において、バックエンドサーバ270は、仮想カメラ操作UI330からの指示に従って仮想視点画像を生成する。S1601において、画像生成を終了すると判定された場合はS1604に進み、画像生成を継続すると判定された場合はS1600に戻る。S1601の判定は、ユーザ操作に応じて実行されうる。

0170

次に、音声に関する動作を説明する。S1602において、仮想カメラ操作UI330は、バックエンドサーバ270に対して仮想視点音声の生成のための指示を発行する。そしてS1602において、バックエンドサーバ270は、仮想カメラ操作UI330からの指示に従って仮想視点音声を生成する。S1603において、音声生成を終了すると判定された場合はS1604に進み、音声生成を継続すると判定された場合はS1602に戻る。なお、S1603の判定は、S1601の判定と連動して行われるようにしても良い。

0171

次に設置時及び撮影前ワークフローについて説明する。画像処理システム100は、設置時キャリブレーションを行う状態と通常の撮影を行う状態を動作モード変更により切替制御できる。なお、撮影中にある特定カメラのキャリブレーションが必要になるケースもあり、この場合には撮影とキャリブレーションという二種類の動作が両立する。

0172

設置時キャリブレーション処理について、図17に示すフローチャートを用いて説明する。図17においては、装置間で行われる指示に対するデータの受信完了処理完了の通知についての記載は省略するが、指示に対して何らかのレスポンス返却されるものとする。

0173

まず、カメラ112の設置が完了すると、ユーザは制御ステーション310に対して、設置時キャリブレーションの実行を指示する。すると、制御ステーション310は、フロントエンドサーバ230およびカメラアダプタ120に対して、キャリブレーション開始を指示する(S04100)。

0174

フロントエンドサーバ230は、キャリブレーション開始指示を受けると、それ以降に受信した画像データをキャリブレーション用データと判定し、キャリブレーション部02140が処理できるように制御モードを変更する(S04102a)。また、カメラアダプタ120は、キャリブレーション開始指示を受けると、前景背景分離等の画像処理を行わず非圧縮のフレーム画像を扱う制御モードに移行する(S04102b)。さらに、カメラアダプタ120は、カメラ112に対してカメラモード変更を指示する(S04101)。これを受けたカメラ112は、例えば、フレームレートを1fpsに設定する。あるいは、カメラ112が動画でなく静止画を伝送するモードに設定してもよい(S04102c)。また、カメラアダプタ120によってフレームレートが制御されてキャリブレーション画像が伝送されるモードに設定してもよい。

0175

制御ステーション310は、カメラアダプタ120に対して、カメラのズーム値とフォーカス値の取得を指示し(S04103)、カメラアダプタ120は、制御ステーション310に、カメラ112のズーム値とフォーカス値を送信する(S04104)。

0176

なお図17においては、カメラアダプタ120及びカメラ112はそれぞれ1つしか記載しないが、カメラアダプタ120及びカメラ112に関する制御は、画像処理システム100内の全カメラアダプタ120及び全カメラ112に対してそれぞれ実行される。そのため、S04103及びS04104はカメラ台分実行され、全カメラ112に対するS04103及びS04104の処理が完了した時点で、制御ステーション310は、全カメラ分のズーム値とフォーカス値を受信できている状態となる。

0177

制御ステーション310は、フロントエンドサーバ230に、S04104で受信した全カメラ分のズーム値とフォーカス値を送信する(S04105)。

0178

次いで、制御ステーション310は、フロントエンドサーバ230に、設置時キャリブレーション用撮影の撮影パターンを通知する(S04106)。

0179

ここで撮影パターンには、画像特徴点となるマーカ等をグラウンド内で動かして複数回撮影する場合の、別タイミングで撮影された画像を区別するためのパターン名(例えばパターン1—10)の属性が付加される。つまり、フロントエンドサーバ230は、S04106以降に受信したキャリブレーション用の画像データを、S04106で受信した撮影パターンにおける撮影画像であると判定する。そして、制御ステーション310は、カメラアダプタ120に対して同期静止画撮影を指示し(S04107)、カメラアダプタ120は、全カメラで同期した静止画撮影をカメラ112に指示する(S04108)。そして、カメラ112は撮影画像をカメラアダプタ120に送信する(S04109)。

0180

なお、注視点のグループが複数ある場合には、注視点グループ毎にS04106からS04111のキャリブレーション用画像撮影を行っても良い。

0181

そして、制御ステーション310は、カメラアダプタ120に対して、S04107で撮影指示した画像をフロントエンドサーバ230に伝送するように指示する(S04110)。さらに、カメラアダプタ120は、伝送先として指定されたフロントエンドサーバ230にS04109で受信した画像を伝送する(S04111)。

0182

S04111で伝送するキャリブレーション用画像については、前景背景分離等の画像処理が行われず、撮影された画像が圧縮せずにそのまま伝送されるものとする。そのため、全カメラが高解像度で撮影を行う場合や、カメラ台数が多くなった場合、伝送帯域の制約上、全ての非圧縮画像を同時に送信することができなくなることが発生する虞がある。その結果、ワークフローの中でキャリブレーションに要する時間が長くなる虞がある。その場合、S04110の画像伝送指示において、カメラアダプタ120の1台ずつに対して、キャリブレーションのパターン属性に応じた非圧縮画像の伝送指示順番に行われる。さらにこのような場合、マーカのパターン属性に応じたより多くの特徴点を撮影する必要があるため、複数マーカを用いたキャリブレーション用の画像撮影が行われる。この場合、負荷分散の観点から、画像撮影と非圧縮画像伝送を非同期に行ってもよい。また、キャリブレーション用の画像撮影で取得した非圧縮画像を、カメラアダプタ120にパターン属性ごとに逐次蓄積し、並行して非圧縮画像の伝送をS04110の画像伝送指示に応じて行う。これにより、ワークフローの処理時間やヒューマンエラーの削減を図ることができる効果がある。

0183

全カメラ112においてS04111の処理が完了した時点で、フロントエンドサーバ230は、全カメラ分の撮影画像を受信できている状態となる。

0184

前述したように、撮影パターンが複数ある場合には、S04106からS04111の処理をパターン数分繰り返す。

0185

次いで、全てのキャリブレーション用撮影が完了すると、制御ステーション310は、フロントエンドサーバ230に対して、カメラパラメータ推定処理を指示する(S04112)。

0186

フロントエンドサーバ230は、カメラパラメータ推定処理指示を受けると、S04105で受信した全カメラ分のズーム値とフォーカス値、及びS04111で受信した全カメラ分の撮影画像を用いて、カメラパラメータ推定処理を行う(S04113)。S04113におけるカメラパラメータ推定処理の詳細については後述する。なお、注視点が複数ある場合には、注視点グループ毎にS04113のカメラパラメータ推定処理を行うものとする。

0187

そして、フロントエンドサーバ230は、S04113のカメラパラメータ推定処理の結果として導出された全カメラ分のカメラパラメータをデータベース250に送信して保存する(S04114)。

0188

また、フロントエンドサーバ230は、制御ステーション310に対しても同様に全カメラ分のカメラパラメータを送信(S04115)する。制御ステーション310は、カメラアダプタ120に対して、各カメラ112に対応するカメラパラメータを送信し(S04116)、カメラアダプタ120は、受信した自カメラ112のカメラパラメータを保存する(S04117)。

0189

そして、制御ステーション310は、キャリブレーション結果を確認する(S04118)。確認方法としては、導出されたカメラパラメータの数値を確認しても良いし、S04114のカメラパラメータ推定処理の演算過程を確認しても良いし、カメラパラメータを用いて画像生成を行い、生成された画像を確認するようにしても良い。

0190

そして、制御ステーション310は、フロントエンドサーバ230に対して、キャリブレーション終了を指示する(S04119)。

0191

フロントエンドサーバ230はキャリブレーション終了指示を受けると、S04101で実行したキャリブレーション開始処理とは逆に、それ以降に受信した画像データをキャリブレーション用データでないと判定するよう制御モードを変更する。(S04120)
以上の処理により、設置時キャリブレーション処理として、全カメラ分のカメラパラメータを導出し、導出されたカメラパラメータをカメラアダプタ120及びデータベース250に保存することができる。

0192

また、上述した設置時キャリブレーション処理は、カメラ設置後及び撮影前に実施され、カメラが動かされなければ再度処理する必要はないが、カメラを動かす場合(例えば、試合の前半と後半とで注視点を変更するなど)には、再度同様の処理が行われるも。

0193

また、撮影中にボールがぶつかる等のアクシデントにより所定の閾値以上にカメラ112が動いてしまった場合に、当該カメラ112を撮影状態からキャリブレーション開始状態遷移させ上述の設置時キャリブレーションを行っても良い。その場合、システムとしては通常の撮影状態を維持し、当該カメラ112のみがキャリブレーション用画像を伝送している旨をフロントエンドサーバ230に通知することで、システム全体をキャリブレーションモードにする必要はなく撮影の継続性を図れる。さらには、本システムのデイジーチェーンでの伝送においては、通常の撮影における画像データの伝送帯域にキャリブレーション用の非圧縮画像を送ると、伝送帯域制限を超過する場合が考えられる。この場合、非圧縮画像の伝送優先度下げたり、非圧縮画像を分割して送信したりすることで対応する。さらには、カメラアダプタ120間の接続が10GbEなどの場合は、全二重の特徴を使うことで、通常の撮影の画像データ伝送とは逆向きに非圧縮画像を伝送することで帯域確保が図れるという効果がある。

0194

また、複数の注視点のうちの1つの注視点を変更したい場合など、1つの注視点グループのカメラ112のみ、上述した設置時キャリブレーション処理を再度行うようにしても良い。その場合、キャリブレーション処理中は、対象の注視点グループのカメラ112については、通常の画像撮影及び仮想視点画像生成を行うことができない。そのため、キャリブレーション処理中であることが制御ステーション310に通知され、制御ステーション310が仮想カメラ操作UI330に対して視点操作の制限をかけるなどの処理を要求する。フロントエンドサーバ230では、仮想視点画像生成の処理に影響が出ないよう制御してカメラパラメータ推定処理を行うものとする。

0195

図18のフローチャートに従って、設置前ワークフローのS1200及び設置時ワークフローS1305におけるフロントエンドサーバ230の動作について説明する。

0196

設置前ワークフローのS1200に於いて、フロントエンドサーバ230の制御部02110は制御ステーション310からCADデータの入力モードに切り替える指示を受信し、CADデータ入力モードに切り替えを行う(S02210)。

0197

データ入力制御部02120は制御ステーション310からスタジアムCADデータ(スタジアム形状データ)を受信する。(S02220)データ入力制御部02120は受信したデータを非撮影データファイル生成部02185とCADデータ記憶部02135に送信する。CADデータ記憶部02135はデータ入力制御部02120から受信したスタジアム形状データを記憶媒体に保存する。(S02230)
設置時ワークフローのS1305に於いて、制御部02110は制御ステーション310からキャリブレーションモードに切り替える指示を受信し、キャリブレーションモードに切り替えを行う。(S02240)
データ入力制御部02120はカメラアダプタ120からキャリブレーション撮影画像を受信し、キャリブレーション部02140にキャリブレーション撮影画像を送信する。(S02250)
キャリブレーション部02140はキャリブレーションを行い、カメラパラメータを導出する。(S02260)キャリブレーション部02140は導出されたカメラパラメータを記憶領域へ保存し、非撮影データファイル生成部02185及びDBアクセス制御部02190を介してデータベース250にカメラパラメータを送信する。(S02270)
図19のフローチャートに従って、設置前ワークフローのS1200におけるデータベース250の動作について説明する。データベース250は、コントローラ300からの指示に基づいて以下に説明する図19及び図20の処理を実行する。

0198

設置前ワークフローのS1200に於いて、データ入力部02420はフロントエンドサーバ230からスタジアムCADデータ(スタジアム形状データ)を受信し、キャッシュ02440上にデータを保存する。(S02510)キャッシュ02440は保存されたスタジアムCADデータを一次ストレージ02450に移動して格納する。(S02520)
図20のフローチャートに従って、設置時ワークフローのS1305におけるデータベース250の動作について説明する。

0199

設置時ワークフローのS1305に於いて、データ入力部02420はフロントエンドサーバ230からカメラパラメータを受信し、キャッシュ02440上にデータを保存する。(S02530)
キャッシュ02440は保存されたカメラパラメータを一次ストレージ02450に移動して格納する。(S02540)制御ステーション310からの指示、またはキャッシュ02440の容量に応じて、制御部02410はキャッシュするフレーム数Nを設定する。(S02550)
続いて、フロントエンドサーバ230のキャリブレーション部02140における、カメラパラメータ推定処理について、図21に示すフローチャートを用いて説明する。なお、キャリブレーション部02140は、制御ステーション310からの指示に基づいて、カメラパラメータ推定処理を実行する。本シーケンスを開始する時点で、内部パラメータマップ、スタジアムデータ、全カメラ分のズーム値とフォーカス値、及び全カメラ分のキャリブレーション用撮影画像は、キャリブレーション部02140が既に保持しているものとする。

0200

まずキャリブレーション部02140は、カメラ112を特定し(S04201)、対応するズーム値とフォーカス値を特定し、特定したズーム値とフォーカス値より、内部パラメータマップを用いて内部パラメータ初期値を導出する(S04202)。

0201

S04202における内部パラメータ初期値の導出が全カメラ分完了するまで、S04201とS04202の処理が繰り返される(S04203)。

0202

次いでキャリブレーション部02140は、再度カメラ112を特定し、対応するキャリブレーション用撮影画像を特定し(S04204)、画像内の特徴点(画像特徴点)を検出する(S04205)。

0203

画像特徴点としては、例えば、キャリブレーション用に用意したマーカや、予めスタジアムの地面に描かれているピッチラインや、予め置かれている物(例えば、サッカーゴールや選手控えベンチなど)のエッジ部分などが挙げられる。

0204

S04205における画像特徴点検出が全カメラ分完了するまで、S04205とS04205の処理が繰り返される(S04206)。

0205

次いでキャリブレーション部02140は、S04205で検出した各カメラ112におけるキャリブレーション用撮影画像の画像特徴点のマッチングを行う(S04207)。そして、カメラ112間でマッチングされた使用特徴点数が閾値以下であるかを判定する(S04208)。S04208で用いる使用特徴点数の閾値については予め設定しておいても良いし、カメラ台数や画角などの撮影条件によって自動で導出するようにしても良く、外部パラメータ推定を行うために最低限必要である値が用いられる。

0206

S04208でキャリブレーション部02140は、使用特徴点数が閾値以下でない場合、各カメラ112の外部パラメータ推定処理を行う(S04209)。そして、S04209の外部パラメータ推定処理の結果、再投影誤差が閾値以下であるかを判定する(S04210)。S04210で用いる再投影誤差の閾値については予め設定しておいても良いし、カメラ台数などの撮影条件によって自動で導出するようにしても良く、生成する仮想視点画像の精度に応じた値が用いられる。

0207

S04210の判定において、再投影誤差が閾値以下でない場合、キャリブレーション部02140は誤差が大きいと判断し、S04205における画像特徴点の誤検出、及びS04207における画像特徴点の誤マッチングの削除処理を行う(S04211)。

0208

S04211の誤検出及び誤マッチングの判定方法としては、例えばキャリブレーション部02140が再投影誤差の大きい特徴点を自動で削除するようにしても良いし、ユーザが再投影誤差及び画像を見ながら手作業で削除するようにしても良い。

0209

そしてキャリブレーション部02140は、S04202で導出した内部パラメータ初期値に対して、内部パラメータの補正を行う(S04212)。

0210

そして、S04208において使用特徴点数が閾値以下にならない範囲で、S04210において再投影誤差が閾値以下になるまで、S04208からS04212の処理を繰り返す。

0211

S04208の判定においてキャリブレーション部02140は、使用特徴点数が閾値以下であればキャリブレーション失敗と判断する(S04213)。キャリブレーション失敗の場合、キャリブレーション用撮影からやり直すなどの対応が行われる。成功又は失敗の判断結果は、逐次制御ステーション310に対して通知され、失敗時点以降のキャリブレーション処理を実施するなどの対応が、一元的に制御ステーション310で管理される。

0212

S04210の判定において、再投影誤差が閾値以下であれば、キャリブレーション部02140は、スタジアムデータを用いて、S04209で推定された外部パラメータ座標について、カメラ座標系から世界座標系へ剛体変換を行う(S04214)。

0213

ここで用いるスタジアムデータとしては、X/Y/Z軸それぞれの原点(例えばピッチ上のセンターサークル中心点など)、及びスタジアム内の複数の特徴点(例えばピッチラインの交差点など)の座標値など、剛体変換を行うための座標値が定義される。

0214

ただし、スタジアムデータが存在しない、もしくはデータの精度が低い場合などは、剛体変換を行うための世界座標の入力を手動で行うようにしても良いし、世界座標を示すためのデータがキャリブレーション部02140に別途与えられるようにしても良い。

0215

また、S04214の処理を行うことでキャリブレーション用撮影画像内の世界座標が導出されるため、導出結果を用いて、予めスタジアムデータに記録されているスタジアム内の特徴点の座標をより精度が高くなるよう更新しても良い。

0216

以上の処理により、カメラパラメータ推定処理フローとして、全カメラ分のカメラパラメータが導出され、導出されたカメラパラメータをカメラアダプタ120及びデータベース250に保存することができる。

0217

なお、複数カメラの撮影画像を用いて仮想視点画像生成を行うシステムにおいては、カメラ112設置時に各カメラ112の位置姿勢推定を行うキャリブレーション処理(設置時キャリブレーション)が必要である。

0218

設置時キャリブレーションでは、各カメラのカメラパラメータを求める処理が行われる。カメラパラメータとは、カメラ固有の内部パラメータ(焦点距離、画像中心、及びレンズ歪みパラメータ等)と、カメラの位置姿勢を表す外部パラメータ(回転行列及び位置ベクトル等)から成る。設置時キャリブレーション処理が完了すると、各カメラのカメラパラメータが導出された状態となる。

0219

カメラパラメータのうち、内部パラメータは、カメラ112及びレンズが定まっている場合、ズーム値とフォーカス値に応じて変わるパラメータである。そのため、本システムにおいては、カメラ112をスタジアムに設置する以前に、同カメラ112及びレンズを用いて、内部パラメータ導出に必要な撮影を行うことで内部パラメータの導出を行っておく。そして、カメラ112をスタジアムに設置した際にズーム値とフォーカス値が決まると、自動的に内部パラメータを導出することができるようにしておく。これを本明細書では内部パラメータをマップ化すると表現し、マップ化の結果を内部パラメータマップと記載する。

0220

内部パラメータマップの形式としては、ズーム値とフォーカス値に応じた内部パラメータを複数パターン記録しておく形式としても良いし、内部パラメータ値を算出できる演算式の形式としても良い。即ち、内部パラメータマップは、ズーム値とフォーカス値に応じて一意に内部パラメータが求まるものであればよい。

0221

また、内部パラメータマップによって求められたパラメータ値は、内部パラメータの初期値として用いられるものとする。そして、カメラパラメータ推定処理結果としての内部パラメータは、カメラ112をスタジアムに設置した後にキャリブレーション用として撮影した画像を用いたカメラパラメータ推定処理の過程で補正された値となる。

0222

また、本実施形態では、設置されるカメラ112及びレンズは何れも同機種であり、同ズーム値及び同フォーカス値であれば内部パラメータも同じであるものとする。ただしこれに限らず、複数機種のカメラ112及びレンズを用いる場合など、同ズーム値及び同フォーカス値であっても内部パラメータに個体差がある場合は、機種毎及びカメラ112毎に内部パラメータマップを保持するようにしても良い。

0223

次に、カメラ112による撮影、マイク111による収音、及び、撮影又は収音されたデータをカメラアダプタ120及びフロントエンドサーバ230を介してデータベース250へ蓄積する処理について説明する。

0224

図22a及び図22bを使用して、カメラ112の撮影開始処理シーケンスについて説明する。図22a及び図22bはそれぞれ内容が異なる処理シーケンスを示しているが、何れのシーケンスに従っても同様の結果を得ることができる。カメラアダプタ120は、図22aに示した処理を行うか図22bに示した処理を行うかを、カメラ112の仕様に応じて選択する。

0225

まず図22aについて説明する。タイムサーバ290は例えばGPS2201などと時刻同期を行い、タイムサーバ内で管理される時刻の設定を行う(06801)。なおGPS2201を用いた方法に限定されるものではなく、NTP(Network Time Protocol)など他の方法で時刻を設定してもよい。

0226

次にカメラアダプタ120はタイムサーバ290との間でPTP(Precision Time Protocol)を使用した通信を行い、カメラアダプタ120内で管理される時刻を補正しタイムサーバ290と時刻同期を行う(06802)。

0227

カメラアダプタ120はカメラ112に対して、Genlock信号や3値同期信号等の同期撮影信号及びタイムコード信号を、撮影フレームに同期して提供し始める(06803)。なお提供される情報はタイムコードに限定されるものではなく、撮影フレームを識別できる識別子であれば他の情報でもよい。

0228

次に、カメラアダプタ120はカメラ112に対して撮影開始指示を行う(06804)。

0229

カメラ112は撮影開始指示を受けると、Genlock信号に同期して撮影を行う(06805)。

0230

次に、カメラ112は撮影した画像にタイムコード信号を含めてカメラアダプタ120へ送信する(06806)。カメラ112が撮影を停止するまでGenlock信号に同期した撮影が行われる。

0231

カメラアダプタ120は撮影途中にタイムサーバ290との間でのPTP時刻補正処理を行い、Genlock信号の発生タイミングを補正する(06807)。必要な補正量が大きくなる場合は、予め設定された変更量に応じた補正を適用してもよい。

0232

以上により、システム内の複数のカメラアダプタ120に接続する複数のカメラ112の同期撮影を実現する事ができる。

0233

次に図22bについて説明する。まず図22aの場合と同様に、カメラアダプタ120、タイムサーバ290及びGPS2201の間で時刻同期処理が行われる(06801、06802)。次に、カメラアダプタ120は撮影開始指示を行う(06853)。撮影開始指示の中には撮影期間やフレーム数を指定する情報が含まれる。カメラ112は撮影開始指示に従い撮影を行う(06854)。

0234

次にカメラ112は撮影した画像データをカメラアダプタ120へ送信する(06855)。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 株式会社Liberawareの「 寸法表示システムおよび寸法表示方法」が 公開されました。( 2021/03/18)

    【課題】飛行体が通過可能な個所を現場で特定可能な撮影画像の表示システムを提供する。【解決手段】本発明の表示システムは、寸法表示システム4であって、飛行体の撮像装置から取得した映像を演算処理する演算処理... 詳細

  • コニカミノルタ株式会社の「 監視システムおよび監視システムの制御方法」が 公開されました。( 2021/03/18)

    【課題・解決手段】3次元的な物体の位置と、その物体の温度が視覚的にわかりやすく表示されるための監視システムであって、監視システムは、第1領域を走査して3次元座標系の距離画像を出力するライダー102と、... 詳細

  • 三菱電機株式会社の「 後方画像処理装置」が 公開されました。( 2021/03/18)

    【課題・解決手段】後方画像処理装置(10)は、車両の後方の風景を撮像した画像である後方画像を取得する後方画像取得部(11)と、車両から後方画像に写る物体までの距離を取得する距離取得部(12)と、後方画... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ