図面 (/)

技術 画像処理装置、画像処理システム、画像処理方法、およびプログラム

出願人 キヤノン株式会社
発明者 丸山一菜
出願日 2018年12月19日 (1年8ヶ月経過) 出願番号 2018-237520
公開日 2020年7月2日 (2ヶ月経過) 公開番号 2020-101845
状態 未査定
技術分野 イメージ処理・作成 イメージ生成
主要キーワード ゾーンマップ 各表面領域 形状タイプ 事象発生時刻 競技フィールド 発生エリア 特定色データ 競技開始前
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年7月2日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (16)

課題

仮想視点画像におけるオブジェクト形状を向上すること。

解決手段

画像処理装置は、複数のカメラを用いて取得された複数の撮影画像から仮想視点画像を生成する。当該仮想視点画像の生成において、画像処理装置は、前記複数の撮影画像から生成されたオブジェクトの3次元形状モデルを、予め生成された3次元形状モデルである参照モデルに合わせて補正する。そして、補正された前記3次元形状モデルを用いて前記仮想視点画像が生成される。

概要

背景

昨今、複数のカメラを異なる位置に設置して複数視点で同一の物体オブジェクト)を同期撮影し、その撮影により得られた複数視点画像を用いてオブジェクトを任意の仮想視点から見た際に得られる仮想視点画像を生成する技術が注目されている。特許文献1には、このような仮想視点画像を生成する技術が開示されている。

このような仮想視点画像から生成された仮想視点画像は、例えば、サッカーバスケットボールハイライトシーンを様々な角度から視聴することが出来るため、通常のカメラ画像と比較して視聴者に高い臨場感を与えることが出来る。

またこの技術は、臨場感を高める他に、試合状況や判定結果を左右するシーンにおけるボール等の注目するオブジェクトを選手等の別のオブジェクトで遮られることなく確認することを可能にする。例えば、選手に隠れることなくボールとラインの両方が見える位置に仮想カメラを置くことにより、ボールがライン内側か外側かといった際どいシーンの瞬間を明瞭に捉えた仮想視点画像を視聴者に提供することができる。

概要

仮想視点画像におけるオブジェクト形状を向上すること。画像処理装置は、複数のカメラを用いて取得された複数の撮影画像から仮想視点画像を生成する。当該仮想視点画像の生成において、画像処理装置は、前記複数の撮影画像から生成されたオブジェクトの3次元形状モデルを、予め生成された3次元形状モデルである参照モデルに合わせて補正する。そして、補正された前記3次元形状モデルを用いて前記仮想視点画像が生成される。

目的

例えば、選手に隠れることなくボールとラインの両方が見える位置に仮想カメラを置くことにより、ボールがライン内側か外側かといった際どいシーンの瞬間を明瞭に捉えた仮想視点画像を視聴者に提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

複数のカメラを用いて取得された複数の撮影画像から仮想視点画像を生成する画像処理装置であって、前記複数の撮影画像から生成されたオブジェクトの3次元形状モデルを、予め生成された3次元形状モデルである参照モデルに合わせて補正する補正手段と、補正された前記3次元形状モデルを用いて前記仮想視点画像を生成する画像生成手段と、を備えたことを特徴とする画像処理装置。

請求項2

前記補正手段は、前記参照モデルを特定するための第1の情報を保持する保持部を含み、前記撮影画像から生成された3次元形状モデルの中から、前記第1の情報に基づき特定されたオブジェクトの3次元形状モデルを対象モデルとして取得して補正することを特徴とする請求項1に記載の画像処理装置。

請求項3

前記補正手段は、前記特定されたオブジェクトを含む前記撮影画像を特定するための第2の情報をさらに含み、前記第2の情報に基づき特定された前記撮影画像から生成された3次元形状モデルの中から前記対象モデルを取得することを特徴とする請求項2に記載の画像処理装置。

請求項4

前記補正手段は、前記対象モデルの位置を検出し、検出した前記対象モデルの位置と前記参照モデルの位置とを合わせたときに前記参照モデルの表面と前記対象モデルの表面とが一致しない場合、前記対象モデルの表面を前記参照モデルの表面となるよう前記対象モデルを補正することを特徴とする請求項2又は3に記載の画像処理装置。

請求項5

前記補正手段は、補正される前の前記3次元形状モデルの形状特性を取得し、前記形状特性が所定の基準を満たさない場合、前記3次元形状モデルの補正を行うことを特徴とする請求項2乃至4のいずれか1項に記載の画像処理装置。

請求項6

前記形状特性は、前記対象モデルの生成に使用された複数の前記撮影画像の数であり、前記基準は、前記対象モデルの生成に使用された前記撮影画像の数が所定の数以上であることを特徴とする請求項5に記載の画像処理装置。

請求項7

前記形状特性は、前記対象モデルの生成に使用された複数の前記撮影画像を撮影した前記カメラの光軸間最大角度であり、前記基準は、前記最大角度が所定値以内であることを特徴とする請求項5に記載の画像処理装置。

請求項8

前記基準は、前記参照モデルの形状特性との差分が所定値以内であることを特徴とする請求項5に記載の画像処理装置。

請求項9

前記形状特性は、前記対象モデルの生成に使用された複数の前記撮影画像における前記特定されたオブジェクトの欠損率の合計または平均であり、前記基準は、前記特定されたオブジェクトの欠損率の合計または平均が所定値以内であることを特徴とする請求項5に記載の画像処理装置。

請求項10

前記画像生成手段は、仮想カメラパラメータを取得し、前記撮影画像および前記撮影画像から生成された3次元形状モデルを取得し、前記参照モデルの色情報を少なくとも含む第3の情報を取得し、補正された前記3次元形状モデルを用いて生成する仮想視点画像を前記第3の情報に基づきレンダリングすることを特徴とする請求項1乃至9のいずれか1項に記載の画像処理装置。

請求項11

前記画像生成手段は、前記補正手段により補正された3次元形状モデルを使用する設定であった場合、前記補正手段により補正される前の前記3次元形状モデルに関するレンダリングを行わないことを特徴とする請求項10に記載の画像処理装置。

請求項12

前記第3の情報は、前記参照モデルの複数視点画像およびテクスチャデータの少なくとも一方であることを特徴とする請求項11に記載の画像処理装置。

請求項13

前記画像生成手段は、前記補正手段により補正された3次元形状モデルに対するレンダリングを行う場合、補正されなかった前記3次元形状モデルの表面には前記撮影画像を使用することを特徴とする請求項11又は12に記載の画像処理装置。

請求項14

前記画像生成手段は、前記第3の情報および前記撮影画像の両方を用いて行う場合、前記撮影画像の明るさ、色合い、および鮮やかさのうちの少なくとも1つに前記第3の情報を合わせてから使用することを特徴とする請求項13に記載の画像処理装置。

請求項15

前記画像生成手段は、前記仮想視点画像と構図が一致する画像領域を含む前記撮影画像がある場合、前記撮影画像から前記画像領域を切り出すことを特徴とする請求項1乃至14のいずれか1項に記載の画像処理装置。

請求項16

請求項2乃至15のいずれか1項に記載の画像処理装置と、複数のカメラを用いて取得された複数の撮影画像を保持する画像保持手段と、前記補正手段が補正する仮想視点画像を選択する選択手段と、を備えたことを特徴とする画像処理システム

請求項17

複数のカメラを用いて取得された複数の撮影画像から仮想視点画像を生成する画像処理方法であって、前記複数の撮影画像から生成されたオブジェクトの3次元形状モデルを、予め生成された3次元形状モデルである参照モデルに合わせて補正する補正工程と、補正された前記3次元形状モデルを用いて前記仮想視点画像を生成する画像生成工程と、を備えたことを特徴とする画像処理方法。

請求項18

コンピュータを請求項1乃至15のいずれか1項に記載の装置として機能させるためのプログラム

技術分野

0001

本発明は、複数のカメラを用いて同期撮影された複数視点画像から、仮想視点画像を生成するための技術に関する。

背景技術

0002

昨今、複数のカメラを異なる位置に設置して複数視点で同一の物体オブジェクト)を同期撮影し、その撮影により得られた複数視点画像を用いてオブジェクトを任意の仮想視点から見た際に得られる仮想視点画像を生成する技術が注目されている。特許文献1には、このような仮想視点画像を生成する技術が開示されている。

0003

このような仮想視点画像から生成された仮想視点画像は、例えば、サッカーバスケットボールハイライトシーンを様々な角度から視聴することが出来るため、通常のカメラ画像と比較して視聴者に高い臨場感を与えることが出来る。

0004

またこの技術は、臨場感を高める他に、試合状況や判定結果を左右するシーンにおけるボール等の注目するオブジェクトを選手等の別のオブジェクトで遮られることなく確認することを可能にする。例えば、選手に隠れることなくボールとラインの両方が見える位置に仮想カメラを置くことにより、ボールがライン内側か外側かといった際どいシーンの瞬間を明瞭に捉えた仮想視点画像を視聴者に提供することができる。

先行技術

0005

特開2008−015756号公報

発明が解決しようとする課題

0006

しかしながら、設置された何れかのカメラから見て注目オブジェクトが別のオブジェクトの陰に隠れる場合などには、複数視点画像に基づいて生成される注目オブジェクトの3次元形状モデルの形状が歪んだり輪郭欠けたりして、再現精度の低い仮想視点画像が生成されてしまう恐れがあった。

0007

そこで本発明は、仮想視点画像におけるオブジェクト形状の精度を向上することを目的とする。

課題を解決するための手段

0008

本発明は、複数のカメラを用いて取得された複数の撮影画像から仮想視点画像を生成する画像処理装置であって、前記撮影画像から生成された3次元形状モデルを、予め生成された3次元形状モデルである参照モデルに合わせて補正する補正手段と、補正された前記3次元形状モデルを用いて前記仮想視点画像を生成する画像生成手段と、を備えたことを特徴とする。

発明の効果

0009

本発明によれば、仮想視点画像におけるオブジェクト形状の精度を向上することができる。

図面の簡単な説明

0010

実施形態1における画像処理システムの全体構成図。
画像処理装置のハードウェア構成図。
実施形態1におけるイベント情報の例。
実施形態1における参照モデル情報の例。
実施形態1における3dモデル情報の例。
実施形態1におけるユーザ端末画面例。
実施形態1におけるフィッティング処理フロー図。
実施形態1における対象モデル取得の処理フロー図。
実施形態1における参照モデル取得の処理フロー図。
実施形態1における対象モデル補正の処理フロー図。
実施形態1におけるレンダリングの処理フロー図。
実施形態2におけるフィッティングの処理フロー図。
実施形態2における対象モデル状態確認の処理フロー図。
実施形態3におけるレンダリングの処理フロー図。
実施形態3における構図重複の例。

実施例

0011

以下、図面を参照して、本発明の実施の形態を説明する。

0012

図1は、本発明の実施形態1に係る画像処理システムの全体構成図である。

0013

画像処理システムは、複数視点画像保持部1、イベント情報保持部2、参照モデル保持部3、画像処理装置4、およびユーザ端末5を含む。画像処理装置4は、3dモデル生成・保持部401、レンダリング部402、およびフィッティング部403を有する。ユーザ端末5は、表示部501、仮想カメラ設定部502、およびシーン選択部503を有する。

0014

図2は、画像処理装置4のハードウェア構成を示す図である。画像処理装置4は、CPU11と、ROM12と、RAM13と、外部メモリ14と、入力部15と、通信I/F16と、システムバス17とを備える。CPU11は、画像処理装置4における動作を統括的に制御するものであり、システムバス17を介して、各構成部(12〜16)を制御する。ROM12は、CPU11が処理を実行するために必要なプログラムを記憶する不揮発性メモリである。尚、当該プログラムは、外部メモリ14や着脱可能な記憶媒体(不図示)に記憶されていてもよい。RAM13は、CPU11の主メモリワークエリアとして機能する。つまり、CPU11は、処理の実行に際してROM12から必要なプログラムをRAM13にロードし、ロードしたプログラムを実行することで各種の機能動作を実現する。

0015

外部メモリ14は、CPU11がプログラムを用いた処理を行う際に必要な各種データや各種情報を記憶している。また、外部メモリ14には、CPU11がプログラムを用いた処理を行うことにより得られる各種データや各種情報が記憶されてもよいし、図1に示す複数視点画像保持部1、イベント情報保持部2、および参照モデル保持部3を含めてもよい。

0016

入力部15は、キーボードや操作ボタンなどにより構成され、ユーザは入力部15を操作してパラメータを入力できるようになっている。通信I/F16は、外部装置と通信するためのインターフェースである。システムバス17は、CPU11、ROM12、RAM13、外部メモリ14、入力部15および通信I/F16を通信可能に接続する。

0017

図1に示す画像処理装置4の各部の機能は、CPU11がプログラムを実行することで実現することができる。ただし、図1に示す画像処理装置4の各部のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、CPU11の制御に基づいて動作する。

0018

尚、画像処理装置4がCPU11とは異なる専用の1又は複数のハードウェアあるいはGPU(グラフィックプロセッシングユニット)を有し、CPU11による処理の少なくとも一部をGPUあるいは専用のハードウェアが行うようにしても良い。専用のハードウェアの例としては、ASIC特定用途向け集積回路)、及びDSP(デジタルシグナルプロセッサ)等がある。

0019

また、ユーザ端末5も図2に示すようなハードウェア構成を備え、入力部15が画像表示機能を備えているものとしてもよい。

0020

図1に戻って、画像処理システムの各構成要素の機能について説明する。

0021

複数視点画像保持部1は、競技フィールド等の撮影領域を取り囲むように設置された複数台のカメラによって同期撮影された複数視点画像からなる複数視点画像を保持する。

0022

イベント情報保持部2は、複数視点画像保持部1が保持している複数視点画像に関するイベント情報を保持している。ここでイベント情報とは、イベント名称開催日開催地といったイベント基本情報、イベント中に発生した事象を時系列に記録したイベントログ情報とを少なくとも含む。

0023

図3に、イベントをサッカーの試合とした場合のイベント情報の例を示す。イベント基本情報には、図3(a)に示すようなイベントの名称、開催日付、施設名、および対戦カードに関する情報が少なくとも含まれる。イベントログ情報には、イベント中に発生した所定の事象の名称および発生時刻時刻1)が少なくとも含まれる。図3(b)に示すイベントログ情報は、「前半03分」といった事象発生相対時刻(時刻2)、「右側中央」といった発生エリア、および映像判定が有効か否かといった情報を含んでいる。イベントログ情報は、これらに加え、スコア情報やシーン時間情報を更に含んでもよい。

0024

参照モデル保持部3は、複数視点画像保持部1が保持している複数視点画像に含まれるオブジェクトのうち、補正対象とするオブジェクトの3次元形状モデル(以降、参照モデルという)を保持している。さらに参照モデル保持部3は、その参照モデルに関する様々な情報を含む参照モデル情報も保持している。ここで参照モデル情報とは、参照モデルの名称および形状情報を少なくとも含む。

0025

図4(a)〜(c)に、補正対象とするオブジェクトをサッカーボールとした場合の参照モデル情報の例を示す。参照モデルの名称は、オブジェクトと同じ「サッカーボール」である。参照モデル情報が有する形状情報には、図4(a)に示すように「球」といった形状タイプ、「直径22cm」といった寸法情報、および参照モデルの縮尺情報を少なくとも含む。また参照モデル情報には、図4(a)に示すように「白」といった基本となる色情報や、図4(c)に示すような複数視点撮影画像データ、あるいは、図4(b)に示すような3dモデル貼り付け用のテクスチャデータを更に含めてもよい。

0026

次に画像処理装置4が有する3dモデル生成・保持部401、レンダリング部402、およびフィッティング部403について説明する。

0027

3dモデル生成・保持部401は、複数視点画像保持部1から取得した複数視点画像から選手やボールといった動くオブジェクトを抽出した前景画像データを生成し、これら前景画像データから3次元形状モデル(形状モデル)を生成する。前景画像データの生成は、競技開始前等の上記動くオブジェクトが存在しない状態で撮影された背景画像データとの差分を抽出する等の画像処理により行う。形状モデルの生成は、視体積交差法といった3次元形状復元処理により行う。

0028

また3dモデル生成・保持部401は、生成した前景画像データ、形状モデル、およびそれらの生成に使用した形状モデル情報を保持し、取得要求に応じてレンダリング部402やフィッティング部403へそれらを提供する。ここで、形状モデル情報とは、複数視点画像保持部1が保持している複数視点画像に関する撮影情報および形状モデルの縮尺情報を少なくとも含む。

0029

図5に、撮影場所サッカー競技場とした場合の撮影情報の例を示す。撮影情報には、図5(a)に示すような各カメラのパラメータが少なくとも含まれ、注視点数や注視点座標、注視点毎のカメラ台数や隣接カメラ間の角度、図5(b)に示したような撮影範囲を区切ったゾーンマップを更に含んでもよい。ここで各カメラのパラメータとは、カメラの位置および姿勢および焦点距離を少なくとも含む。また、図5(c)に示したような形状モデルを生成するのに使用したカメラリストやカメラ台数、使用したカメラの最大間隔を示すカメラ間最大角度といった情報を、時刻毎かつ形状モデル毎に保持してもよい。また、3dモデル生成・保持部401は、補正された形状モデルをフィッティング部403から受け取って保持する。

0030

レンダリング部402は、ユーザ端末5の仮想カメラ設定部502またはフィッティング部403から受け取った仮想カメラパラメータに基づき、モデルベースレンダリングといった手法を用いて仮想視点画像を生成する。そしてレンダリング部402は、生成した仮想視点映像データをユーザ端末5に渡す。ここで、仮想カメラパラメータとは、少なくとも仮想カメラの位置および姿勢を指定するパラメータであり、複数視点映像中のどのフレームに関するパラメータであるか特定できるようフレーム番号ないしタイムコードと関連づけられている。またレンダリング部402は、処理開始時に参照する補正データ使用フラグを持ち、このフラグがオンであればフィッティング部403にて補正された形状モデルを用いたレンダリングを行う。レンダリング部402の詳細については後述する。

0031

フィッティング部403は、どの時刻のどのオブジェクトを補正対象とするかをイベント情報および参照モデル情報より特定し、補正対象となったオブジェクトの形状モデル(以降、対象モデルという)を3dモデル生成・保持部401から取得する。そしてフィッティング部403は、参照モデルと合致するよう対象モデルを補正する。そしてフィッティング部403は、補正した対象モデルを3dモデル生成・保持部401に渡す。また、フィッティング部403は、補正した対象モデルに関するイベントログ情報をイベント情報保持部2から取得してシーン選択部503に渡す。フィッティング部403の詳細については後述する。また、ここでは補正対象とするオブジェクトをイベント情報および参照モデル情報より特定したが、全てのシーンについて参照モデルのオブジェクトを補正対象としてもよい。その場合、参照モデル情報のみで補正対象を特定することもできる。

0032

次にユーザ端末5が有する表示部501、仮想カメラ設定部502、およびシーン選択部503について説明する。

0033

表示部501は、画像処理装置4から図示しないネットワーク等を介して受け取った仮想視点映像データから仮想視点映像を表示する。

0034

仮想カメラ設定部502は、ユーザ入力に基づき仮想カメラの設定を行い、設定結果を仮想カメラパラメータとしてレンダリング部402に渡す。ユーザは、ユーザ端末5の表示部501に表示されたスライダー等のUIを操作したり、ジャイロセンサーが搭載されたユーザ端末5を傾けたりすることで、仮想カメラの位置、姿勢および画角を制御することができる。

0035

シーン選択部503は、フィッティング部403から受け取ったイベントログ情報からシーン選択画面を作成して表示部501に表示させる。図6(a)に、図3(b)に示すイベントログ情報に基づき生成されたシーン選択画面の例を示す。図6(a)に示す例では、シーン選択部503は、イベントログ情報に含まれる情報のうち事象の名称および発生相対時刻、スコア変動の可能性のある事象についてはスコア情報、映像判定が有効な事象については判定アイコンをシーン選択画面に表示している。シーン選択部503は、ユーザが選択したシーンに補正対象の形状モデルである対象モデルが含まれる場合はシーン特定情報をフィッティング部403に渡す。ここでシーン特定情報とは、イベントログ情報に含まれる事象を特定するための情報であり、具体的には事象名や事象発生時刻である。

0036

ユーザがシーン選択画面において映像判定の有効な事象を選択した場合は、シーン選択部503は、対象モデルを補正するか否かをユーザが選択するため再生モード選択画面を作成する。図6(b)に、図6(a)で示したシーン選択画面において「前半03分シュート(0−0)」をユーザが選択した場合の再生モード選択画面の例を示す。図6(b)に示す例では、シーン選択部503は、対象モデルの補正を行う「判定」モードと対象モデルの補正を行わない「リプレイ」モードを再生モード選択画面において提示している。ユーザが「判定」モードを選択すると、シーン選択部503は、シーン特定情報をフィッティング部403に渡す。図6(b)で示す例では、シーン特定情報は、事象名「シュート」および事象発生時刻「10:03:50」となる。

0037

図7は、フィッティング部403によるフィッティングの処理フロー図である。

0038

S601では、フィッティング部403は、シーン選択部503からシーン特定情報を受け取ると、フィッティング処理を開始する。フィッティング部403は、シーン特定情報に基づき、該当する事象のイベントログ情報をイベント情報保持部2より取得する。イベントログ情報を図3(b)に示す内容とした場合、シーン特定情報が事象名「シュート」で事象発生時刻「10:03:50」であれば、フィッティング部403が取得するイベントログ情報は、2番目の事象のイベントログ情報となる。

0039

S602では、フィッティング部403は、取得したイベントログ情報に基づいて、フィッティング対象となるオブジェクトを決定する。対象オブジェクトは、イベントログ情報の該当事象それぞれに含めてもよいし、事象名と関連付けておいてもよい。例えばS601において、フィッティング部403が図3(b)に示すイベントログ情報の2番目の事象を取得したとする。そしてイベントログ情報に含まれる事象名に対象オブジェクトとして「サッカーボール」が関連付けられていたとする。すると、フィッティング部403は、「サッカーボール」を補正対象のオブジェクトと決定する。

0040

S603では、フィッティング部403は、決定した補正対象のオブジェクトの形状モデルである対象モデルを3dモデル生成・保持部401から取得する。対象モデル取得処理の詳細については後述する。

0041

S604では、フィッティング部403は、対象モデルを取得できたか否かを判定し、対象モデルを取得できていなければ(S604のno)、フィッティング処理を終え、対象モデルを取得できれば(S604のyes)、S605に移行する。

0042

S605では、フィッティング部403は、対象オブジェクトの参照モデルを参照モデル保持部3から取得する。

0043

S606では、フィッティング部403は、対象モデルを参照モデルと形状が一致するよう補正する。参照モデル取得処理および対象モデル補正処理の詳細については後述する。

0044

S607では、フィッティング部403は、補正した対象モデルを3dモデル生成・保持部401に登録する。補正した対象モデルは、3dモデル生成・保持部401が保持している補正前の対象モデルと置換されて登録されても良いし、補正前か補正後かを区別できるようにして追加登録されても良い。追加登録する場合は、例えば、3次元形状モデルに補正データか否かを示すデータタイプを示すメタデータを持たせる。また、レンダリング部402にレンダリング処理に補正データである補正された対象モデルを使用するか否かを決めるための補正データ使用フラグを持たせる。そしてレンダリング部402の補正データ使用フラグをオン・オフすることにより、レンダリングする際に補正前の対象モデルを使用するか、補正後の対象モデルを使用するかを制御できるようになる。

0045

S608では、フィッティング部403は、登録した補正後の対象モデルの仮想視点画像を生成するための仮想カメラを指定する仮想カメラパラメータを決定する。仮想カメラパラメータは、複数視点同期撮影範囲を幾つかのゾーンに区切ってゾーン毎やゾーンと事象名との組み合わせ毎に決めても良いし、対象モデルの補正の処理状態に応じて決めてもよい。ここでゾーンマップを用いて仮想カメラの位置および姿勢を指定する例を示す。図5(b)に示すゾーンマップのゾーン「ZB5」に対象オブジェクトの「サッカーボール」があったとする。このような場合、仮想カメラ位置はゾーン「ZB4」中心から2mの高さ、仮想カメラの注視点はゾーン「ZB5」中心から0mの高さまたは対象オブジェクトの中心などと決めておくことができる。あるいは、仮想カメラを対象オブジェクトから3m離れた高さ1mの円周上に配置するとして、正対した際の対象モデルの補正量が最も少なくなる角度とすることができる。

0046

尚、フィッティング部403がS608で決定した仮想カメラの位置、姿勢および画角は、図6(c)に示すようなユーザ端末5の表示部501に表示された画面上の「視点変更」ボタン等から変更できるようにしてもよい。

0047

S609では、フィッティング部403は、レンダリング部402の補正データ使用フラグをオンにすることで、決定した仮想視点からの仮想視点画像を登録した補正後の対象モデルを用いて生成するよう指示をし、フィッティング処理を終える。

0048

尚、連続する複数の時刻についてフィッティング処理を行う場合は、2回目以降のS602、S605およびS608を省略できる。

0049

図8は、フィッティング部403による対象モデル取得の処理フロー図である。

0050

S701では、フィッティング部403は、補正対象となるオブジェクトが決まると、対象モデル取得処理を開始する。フィッティング部403は、図7のS601で取得したイベントログ情報から、どの時刻のどのエリアにあるオブジェクトを取得するかを特定する。イベントログ情報を図3(b)で示した例の2番目の事象とした場合、フィッティング部403が取得する対象オブジェクト「サッカーボール」は、時刻「10:03:50」においてメインスタンド側から見てエリア「右側中央」にあると特定される。

0051

S702では、フィッティング部403は、3dモデル生成・保持部401から3dモデル情報を取得する。

0052

S703では、フィッティング部403は、参照モデル保持部3から参照モデル情報を取得する。

0053

S704では、フィッティング部403は、取得した3dモデル情報および参照モデル情報から複数視点同期撮影範囲のどこにあるどんな形状の形状モデルを対象モデルとするかを特定する。

0054

ここで3dモデル情報に含まれる撮影範囲を示したゾーンマップを用いた対象モデルの特定方法について、図5(b)に示すゾーンマップを用いて説明する。S702で特定したエリア「右側中央」はゾーン「ZB5」であると特定できる。また3dモデル情報を図5(a)で示す例とし、参照モデル情報を図4(a)で示す例としたとする。この場合、3dモデル縮尺「1/10」と形状「直径22cmの球」とから、対象オブジェクトの「サッカーボール」の形状特性(以降、対象形状特性という)は「直径22mmの球」であると特定できる。

0055

S705では、フィッティング部403は、3dモデル生成・保持部401が保持している形状モデルのうち、対象時刻(例えば「10:03:50」)に対象範囲(例えばゾーン「ZB5」)にある形状モデルを取得する。

0056

S706では、フィッティング部403は、取得した形状モデルが対象形状特性(例えば「直径22mmの球」)と合致すか否かを判定し、形状モデルが対象形状と合致していれば(S706のyes)、対象モデルとして取得して対象モデル取得処理を終える。形状モデルが対象形状特性と合致するかは、形状モデルと対象形状特性との長さや体積における差が所定値以内かで判定してもよいし、後述する参照モデル取得処理(図7のS605)を先に実施して取得した参照モデルとの差が所定値以内かで判定してもよい。また、選手とボールが接触する等して複数のオブジェクトがつながって1つの形状モデルを形成している場合もあるので、形状モデル単位ではなく、形状モデルの一部について対象形状特性と合致するか判定し、合致した部分を対象モデルとして切り出してもよい。S706では、フィッティング部403は、取得した形状モデルが対象形状特性と合致しなければ(S706のno)、S707に移行する。

0057

S707では、フィッティング部403は、対象時刻に対象範囲にある形状モデルのうち、S705において取得されていない別の形状モデルを取得する(S707のno)。一方、フィッティング部403は、取得されていない形状モデルがなければ(S707のyes)、対象モデル取得処理を終える。

0058

尚、連続する複数の時刻についてフィッティング処理を行う場合は、2回目以降のS701の対象範囲の取得、S702、S703およびS704を省略できる。また、形状モデルそれぞれがどのオブジェクトに対応するか特定された状態で3dモデル生成・保持部401が形状モデルを保持している場合は、S701の対象時刻を特定するだけで、対象モデルを取得できる。

0059

図9は、フィッティング部403による参照モデル取得の処理フロー図である。

0060

フィッティング部403は対象モデルを取得すると、参照モデル取得処理を開始する。

0061

参照モデル取得処理が開始されると、先ずS801では、フィッティング部403は、図8のS702およびS703で取得した3dモデル情報および参照モデル情報から、対象モデルおよび参照モデルの縮尺をそれぞれ特定する。3dモデル情報を図5(a)で示す例とすると対象モデルの縮尺は「1/10」となり、参照モデル情報を図4(a)で示す例とすると、参照モデルの縮尺は「1/5」となる。

0062

S802では、フィッティング部403は、参照モデル保持部3から対象オブジェクトの参照モデルを取得する。

0063

S803では、フィッティング部403は、対象モデルと縮尺が一致するよう取得した参照モデルを校正し、参照モデル取得処理を終える。例えば対象モデルの縮尺「1/10」に対し参照モデルの縮尺「1/5」であったとすると、縮尺「1/10」となるよう参照モデルを縮小することで、参照モデルの校正を行う。尚、参照モデルを校正せず対象モデルを校正して縮尺を一致させ、後述する対象モデルの補正時に対象モデルの縮尺を元に戻すようにしてもよい。

0064

図10は、フィッティング部403による対象モデル補正の処理フロー図である。

0065

フィッティング部403は、参照モデルを取得すると、対象モデル補正処理を開始する。

0066

対象モデル補正処理が開始されると、先ずS901では、フィッティング部403は、図7のS603で取得した対象モデルの高さおよび幅および奥行きを取得する。対象オブジェクトが形状「直径22mmの球」の「サッカーボール」であった場合、取得した対象モデルの体積が欠損や歪により3分の1程度であったとしても、対象モデルの高さおよび幅および奥行きの少なくとも1つは22mm前後となる可能性が高い。

0067

S902では、フィッティング部403は、取得した高さおよび幅および奥行きに基づいて中心座標を算出する。

0068

S903では、フィッティング部403は、算出した対象モデルの中心座標と参照モデルの中心座標とが一致するよう参照モデルを仮置きする。尚、連続する複数の時刻についてフィッティング処理を行う場合は、2回目以降のS901およびS902を省略して、S903で仮置きする参照モデル位置を前の時刻のS905で移動した位置としてもよい。

0069

S904では、フィッティング部403は、仮置きした参照モデルを上下左右前後に動かして対象モデルとの重なりが最も多い位置を特定することで参照モデルの配置座標を調整する。

0070

S905では、フィッティング部403は、調整後の配置座標と参照モデルの中心座標とが一致するよう参照モデルを移動する。尚、対象モデルがラグビーボールのような対称性の低い形状で軸(方向)の調整も必要な形状であった場合は、仮置きした参照モデルを水平垂直に回転させることで、姿勢を含めた参照モデルの配置の調整を行う。

0071

S906では、フィッティング部403は、対象モデル表面と参照モデル表面を比較する。対象モデルと参照モデルとの表面比較は、参照モデル表面を基準として対象モデル表面の差分をボクセルといった所定単位で取得することで行う。対象モデルと参照モデルの比較結果は、以下の3つの結果に分けられる。1つ目は、参照モデル表面に対象モデルがない場合、すなわち参照モデル表面よりも内側に対象モデル表面がある場合であり、比較結果は差分ありとなる。2つ目は、参照モデル表面に対象モデルはあるが対象モデル表面ではない場合、すなわち参照モデル表面よりも外側に対象モデル表面がある場合であり、比較結果は差分ありとなる。3つ目は、参照モデル表面と対象モデル表面とが一致した場合であり、比較結果は差分なしとなる。尚、各表面領域比較対象は、例えば、参照モデルと対象モデルとが重なる領域内の任意の座標を中心とする極座標系を考えたときに同じ2つの偏角を有する表面領域同士を比較対象としてもよい。

0072

S907では、フィッティング部403は、比較結果が差分ありとなった対象モデル表面および参照モデル表面について、対象モデル表面を変更することで対象モデル補正を行い、対象モデル補正処理を終える。フィッティング部403は、参照モデル表面に対応すべき対象モデル表面がない場合、すなわち参照モデル表面よりも内側に対象モデル表面が位置する場合は、参照モデル表面を対象モデルに追加することで対象モデルを補正してもよい。またフィッティング部403は、参照モデル表面にない対象モデル表面がある場合、すなわち参照モデル表面よりも外側に対象モデル表面が位置する場合は、対象モデル表面を参照モデル表面と置換することで対象モデルを補正してもよい。尚、S906の表面比較を行わずに、仮置きした参照モデル表面全てを対象モデル表面として差し替えることで、対象モデル補正を行ってもよい。

0073

図11は、レンダリング部402によるレンダリングの処理フロー図である。

0074

レンダリング部402は、フィッティング部403または仮想カメラ設定部502から仮想カメラパラメータを受け取ると、レンダリング処理を開始する。

0075

レンダリング処理が開始されると、S1001では、レンダリング部402は、仮想カメラパラメータを受け取る。

0076

S1002では、レンダリング部402は、3dモデル生成・保持部401から3dモデル情報に含まれるカメラパラメータを取得する。尚、複数視点同期撮影中にカメラ位置注視点位置を変えない限りカメラパラメータは変わらないので、カメラパラメータを取得済みであればS1002を省略できる。

0077

S1003では、レンダリング部402は、仮想カメラパラメータが指定する時刻における複数視点同期撮影された各撮影画像および形状モデルを3dモデル生成・保持部401から取得する。取得した形状モデルの数は、フィッティング部403で補正した対象モデルがある場合は、補正後の対象モデルが追加されたため1つ多いことになる。尚、各撮影画像の取得に替えて、各背景画像データおよび各前景画像データを取得してもよい。

0078

S1004では、レンダリング部402は、補正データ使用フラグに基づき補正データを使用するか否かを判定する。

0079

補正データ使用フラグがオンであれば(S1004のyes)、レンダリング部402は、S1005で対象モデルのデータタイプから補正後の対象モデルを特定する。

0080

S1006では、レンダリング部402は、補正後の対象モデルを含むシーンをレンダリングするためのデータ、すなわち補正後の対象モデルを含む形状モデルおよび背景画像のデータを含むレンダリング情報を取得する。

0081

S1007では、レンダリング部402は、補正前の対象モデルを除いた、補正後の対象モデルを含む同一シーンに含まれる全ての形状モデルについて、仮想カメラからの仮想視点画像となるよう撮影画像を用いてレンダリングする。S1006で取得するレンダリング情報は、参照モデル情報に含まれる図4(a)に示す基本色「白」といった特定色データでもよいし、図4(c)に示す複数視点撮影画像データや図4(b)に示す3次元形状モデル用テクスチャデータでもよい。複数視点撮影画像データや3次元形状モデル用テクスチャデータを用いる際の対象モデルの向きについては、仮想カメラと正面で正対しているとみなしてもよいし、撮影画像における対象オブジェクトの模様等から向きを算出してもよい。また、S1006で取得したレンダリング情報を、撮影画像における明るさや色合いや鮮やかさに近づくよう変換してから、S1007においてレンダリングするようにしてもよい。フィッティング部403により補正されなかった表面については、S1006で取得したレンダリング情報にかかわらず、S1007において撮影画像データを用いてレンダリングするようにしてもよい。

0082

S1008では、レンダリング部402は、補正データ使用フラグがオフであれば(S1004のno)、補正された対象モデルを除いた、補正前の対象モデルを含む同一シーンに含まれる形状モデルについてレンダリングする。この際、レンダリング部402は、補正前の対象モデルを含む形状モデルおよび背景画像のデータを取得して仮想カメラからの仮想視点画像をレンダリングする。

0083

このように、注目オブジェクトの形状を補正することにより、注目オブジェクトの形状が歪んだり輪郭が欠けたりすることなく仮想視点画像を生成できるようになる。

0084

図12は、本発明の実施形態2に係る画像処理システムにおけるフィッティングの処理フロー図である。尚、フィッティング処理以外の構成については、実施形態1と同じであるため、詳細な説明を省略する。S1101〜S1104、S1107〜S1111は、図7のS601〜S609と同様の処理であるため、詳細な説明を省略する。

0085

フィッティング部403は、シーン選択部503からシーン特定情報を受け取ると、フィッティング処理を開始する。

0086

フィッティング処理が開始されると、S1101では、フィッティング部403は、該当する事象のイベントログ情報を取得する。

0087

S1102では、フィッティング部403は、フィッティング対象となるオブジェクトを決定する。

0088

S1103では、フィッティング部403は、3dモデル生成・保持部401から対象モデルを取得する。

0089

S1104では、フィッティング部403は、対象モデルを取得できなければ(S1104のno)、フィッティング処理を終え、対象モデルを取得できれば(S1104のyes)、S1105に移行する。

0090

S1105では、フィッティング部403は、対象モデルの状態を確認する。フィッティング部403による対象モデル状態確認処理の詳細については後述する。

0091

S1106では、フィッティング部403は、対象モデルの補正が必要か否かを判定する。

0092

フィッティング部403は、対象モデルの補正が不要と判定され、例えば補正が必要であることを示す補正フラグがオフであれば(S1106のno)、フィッティング処理を終える。一方、フィッティング部403は、対象モデルの補正が必要であると判定され、例えば上記補正フラグがオンであれば(S1106のyes)、S1107に移行する。

0093

S1107では、フィッティング部403は、対象オブジェクトの参照モデルを取得する。

0094

S1108では、フィッティング部403は、対象モデルを補正する。

0095

S1109では、フィッティング部403は、3dモデル生成・保持部401に補正した対象モデルを登録する。

0096

S1110では、フィッティング部403は、仮想カメラパラメータを決定する。

0097

S1111では、フィッティング部403は、レンダリング部402の補正データ使用フラグをオンすることで登録した補正後の対象モデルを用いて仮想視点画像を生成するようレンダリング部402に指示し、フィッティング処理を終える。

0098

図13は、フィッティング部403による対象モデル状態確認の処理フロー図である。

0099

フィッティング部403は、図12のS1103で対象モデルを取得すると、対象モデル状態確認処理を開始する。

0100

対象モデル状態確認処理が開始されると、S1201では、フィッティング部403は、取得した対象モデルに関する所定の対象モデル特性を取得する。

0101

S1202では、フィッティング部403は、取得した対象モデル特性が所定の基準を満たすかを判定する。

0102

対象モデル特性が基準を満たす場合(S1202のyes)、フィッティング部403は、S1203で対象モデルのデータに対し、例えば補正が必要であることを示す補正フラグをオフする。

0103

対象モデル特性が基準を満たさない場合(S1202のno)、フィッティング部403は、S1204で対象モデルのデータに対し、例えば上記補正が必要であることを示すフラグを付与する。

0104

対象モデル特性が対象モデルを生成するために使用した撮影画像数であるとすると、フィッティング部403は、S1201で3dモデル生成・保持部401から使用した撮影画像数を取得し、S1202で撮影画像数が所定数を超えるか判定する。

0105

対象モデル特性が対象モデルを生成するために使用した撮影画像を撮影したカメラ間の最大角度であるとすると、フィッティング部403は、S1201で3dモデル生成・保持部401からカメラ間最大角度情報を取得する。そしてフィッティング部403は、S1202でカメラ間最大角度が所定値以内か判定する。

0106

対象モデル特性が対象モデルの寸法(高さおよび幅および奥行き)や体積等から算出した値であるとすると、フィッティング部403は、S1201で対象モデルの寸法を特定する。そしてフィッティング部403は、S1202で参照モデル情報に基づき導出された参照モデルの寸法との差分が所定値以内か判定する。

0107

対象モデル特性が対象モデルを生成するために使用した撮影画像内のオブジェクトの欠損率であるとすると、フィッティング部403は、S1201で各撮影画像内のオブジェクトの欠損率をそれぞれ特定する。そしてフィッティング部403は、S1202で欠損率が所定値以内の撮影画像が所定数を超えるか、複数の撮影画像における欠損率の合計又は平均が所定値以下か等を判定する。尚、撮影画像内のオブジェクトの欠損率は、例えば参照モデル情報から算出される、撮影画像と同一視点からの仮想視点画像におけるオブジェクトの面積に対する、撮影画像におけるオブジェクトの面積としてもよい。

0108

このように、補正が必要な状態かを確認してから、注目オブジェクトの形状を補正することにより、注目オブジェクトの形状が歪んだり輪郭が欠けたりすることなく仮想視点画像を生成できるようになる。

0109

図14は、本発明の実施形態3に係る画像処理システムにおけるレンダリングの処理フロー図である。尚、レンダリング処理以外の構成については、実施形態1と同じであるため、詳細な説明を省略する。またS1301〜S1307、S1311は、図11のS1001〜S1008と同様の処理であるため、詳細な説明を省略する。

0110

レンダリング部402は、フィッティング部403または仮想カメラ設定部502から仮想カメラパラメータを受け取ると、レンダリング処理を開始する。

0111

レンダリング処理が開始されると、S1301では、レンダリング部402は、仮想カメラパラメータを受け取る。

0112

S1302では、レンダリング部402は、カメラパラメータを取得する。

0113

S1303では、レンダリング部402は、指定する時刻における各撮影画像および3次元形状モデルを取得する。

0114

S1304では、レンダリング部402は、補正データ使用フラグに基づき補正データを使用するか否かを判定する。

0115

レンダリング部402は、補正データ使用フラグがオンであれば(S1304のyes)、S1305で補正前後の対象モデルを特定する。

0116

S1306では、レンダリング部402は、補正後の対象モデルのレンダリング用データを取得する。

0117

S1307では、レンダリング部402は、補正前の対象モデルを除いた3次元形状モデルについて、仮想カメラからの仮想視点画像となるようレンダリングする。

0118

S1308では、レンダリング部402は、仮想カメラと複数視点同期撮影したカメラそれぞれの撮影範囲を取得する。

0119

S1309では、レンダリング部402は、仮想視点画像と構図が一致する画像領域を含む撮影画像があるか否かを判定する。

0120

レンダリング部402は、仮想視点画像と構図が一致する画像領域を含む撮影画像がある場合(S1309のyes)、S1310で撮影画像から仮想視点画像の切り出しを行う。尚、図15に示すように、仮想カメラの撮影範囲500がカメラの撮影範囲400の内部にある場合、点線で示した仮想カメラの光軸が1点鎖線で示したカメラの光軸と平行であれば、撮影画像は仮想視点画像と構図が一致する画像領域を含むことになる。

0121

レンダリング部402は、仮想視点画像と構図が一致する画像領域を含む撮影画像がない場合(S1309のno)、レンダリング処理を終える。

0122

レンダリング部402は、補正データ使用フラグがオフであれば(S1304のno)、S1311で全ての形状モデルについて、仮想視点からの見た目となるようレンダリングする。

0123

S1310で切り出した撮影画像およびS1307でレンダリングされた仮想視点画像は、表示部501において並べての表示やトグルでの表示等をすることで、補正の確からしさを確認できるようにしてもよい。

0124

このように、同じ構図の撮影画像と併用することにより、注目オブジェクトの形状が歪んだり輪郭が欠けたりすることを防止しながら、仮想視点画像を生成できたこと確認できるようになる。
(その他の実施例)

0125

本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。

0126

1複数視点画像保持部
2イベント情報保持部
3参照モデル保持部
4画像処理装置
401 3dモデル生成・保持部
402レンダリング部
403フィッティング部
5ユーザ端末
501 表示部
502仮想カメラ設定部
503シーン選択部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ