図面 (/)

技術 三次元再構成方法および三次元再構成装置

出願人 パナソニックインテレクチュアルプロパティコーポレーションオブアメリカ
発明者 吉川哲史杉尾敏康松延徹小山達也福田将貴安木俊介
出願日 2019年6月19日 (2年4ヶ月経過) 出願番号 2020-525776
公開日 2021年7月8日 (3ヶ月経過) 公開番号 WO2019-244944
状態 未査定
技術分野 イメージ生成 イメージ分析 双方向TV,動画像配信等 イメージ処理・作成
主要キーワード 欠落領域 長期間データ 校正済み 広域監視システム 補填処理 ポイントクラウド 三次元点 欠落情報
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2021年7月8日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (14)

課題・解決手段

互いに異なる位置に配置されており、共通する三次元空間を撮像する複数のカメラ(101)から得られた複数のカメラ画像を用いて三次元モデルを生成する三次元再構成方法であって、複数のカメラ(101)のカメラパラメータおよび三次元モデルを取得し(S122)、カメラパラメータおよび三次元モデルに基づいて、一のカメラ(101)から三次元モデルまでの距離を示すデプス画像を生成し(S123)、複数のカメラ画像のうちの一のカメラ(101)により撮像された一のカメラ画像中においてオブジェクトが映り込んでいる領域が示される前景画像を生成し(S125)、デプス画像と前景画像とを比較することにより三次元モデルに三次元点欠落があるか否かを判定し(S126)、三次元モデルに三次元点の欠落がある場合、三次元モデルに三次元点の欠落があることを示す欠落情報を出力する。

概要

背景

多視点映像配信方法として、特許文献1には、複数の視点から撮影された映像視点移動連動して配信する技術が開示されている。

また、特定シーンを複数の校正済みカメラにより撮影した映像群を用いてそのシーン三次元モデルを生成し、当該三次元モデルを用いて、そのシーンを自由な視点から見た自由視点画像(自由視点映像)を生成する技術が知られている。

概要

互いに異なる位置に配置されており、共通する三次元空間を撮像する複数のカメラ(101)から得られた複数のカメラ画像を用いて三次元モデルを生成する三次元再構成方法であって、複数のカメラ(101)のカメラパラメータおよび三次元モデルを取得し(S122)、カメラパラメータおよび三次元モデルに基づいて、一のカメラ(101)から三次元モデルまでの距離を示すデプス画像を生成し(S123)、複数のカメラ画像のうちの一のカメラ(101)により撮像された一のカメラ画像中においてオブジェクトが映り込んでいる領域が示される前景画像を生成し(S125)、デプス画像と前景画像とを比較することにより三次元モデルに三次元点欠落があるか否かを判定し(S126)、三次元モデルに三次元点の欠落がある場合、三次元モデルに三次元点の欠落があることを示す欠落情報を出力する。

目的

特開2002−165200号公報






このような、自由視点画像を配信するシステムにおいて、提供している情報が欠落した三次元モデルから生成されたことをユーザに通知することが望まれている

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

互いに異なる位置に配置されており、共通する三次元空間を撮像する複数の撮像装置から得られた複数のカメラ画像を用いて三次元モデルを生成する三次元再構成方法であって、前記複数の撮像装置のカメラパラメータおよび前記三次元モデルを取得し、前記カメラパラメータおよび前記三次元モデルに基づいて、一の撮像装置から前記三次元モデルまでの距離を示すデプス画像を生成し、前記複数のカメラ画像のうちの前記一の撮像装置により撮像された一のカメラ画像中においてオブジェクトが映り込んでいる領域が示される前景画像を生成し、前記デプス画像と前記前景画像とを比較することにより前記三次元モデルに三次元点欠落があるか否かを判定し、前記三次元モデルに三次元点の欠落がある場合、前記三次元モデルに三次元点の欠落があることを示す欠落情報を出力する三次元再構成方法。

請求項2

前記判定では、前記デプス画像および前記前景画像を二値化し、二値化された前記デプス画像と、二値化された前記前景画像とを比較することにより、前記三次元モデルに三次元点の欠落があるか否かを判定する請求項1に記載の三次元再構成方法。

請求項3

前記出力では、前記三次元モデルに三次元点の欠落がある場合、前記三次元モデルの欠落部を、前記複数のカメラ画像を用いて推定することにより生成した三次元点により補填し、補填された前記三次元点を含む三次元モデルを出力する請求項1または2に記載の三次元再構成方法。

請求項4

前記出力では、補填された前記三次元点に、当該三次元点が補填された三次元点であることを示す属性情報を付与し、前記欠落情報は、前記属性情報により示される情報である請求項3に記載の三次元再構成方法。

請求項5

さらに、出力された前記三次元モデルへの視点の位置および方向の少なくとも一方を示す視点情報を取得し、前記三次元モデル、前記視点情報、前記カメラパラメータおよび前記複数のカメラ画像を用いて、前記視点情報で示される前記視点から前記三次元モデルを見たときの自由視点映像を生成し、前記三次元モデルに対応する前記欠落情報を取得した場合、生成された前記自由視点映像と、前記欠落情報で示される欠落を有する三次元モデルを用いて前記自由視点映像が生成されたことを示す識別情報と、を表示するための合成映像を出力する請求項1から4のいずれか1項に記載の三次元再構成方法。

請求項6

前記識別情報は、前記合成映像の前記自由視点映像上において、前記三次元モデルの欠落部に対応し、特定の表示態様で表示される領域で示される請求項5に記載の三次元再構成方法。

請求項7

互いに異なる位置に配置されており、共通する三次元空間を撮像する複数の撮像装置から得られた複数のカメラ画像を用いて三次元モデルを生成する三次元再構成装置であって、プロセッサと、メモリとを備え、前記プロセッサは、前記メモリを用いて、前記複数の撮像装置のカメラパラメータおよび前記三次元モデルを取得し、前記カメラパラメータおよび前記三次元モデルに基づいて、一の撮像装置から前記三次元モデルまでの距離を示すデプス画像を生成し、前記複数のカメラ画像のうちの前記一の撮像装置により撮像された一のカメラ画像中においてオブジェクトが映り込んでいる領域が示される前景画像を生成し、前記デプス画像と前記前景画像とを比較することにより前記三次元モデルに三次元点の欠落があるか否かを判定し、前記三次元モデルに三次元点の欠落がある場合、前記三次元モデルに三次元点の欠落があることを示す欠落情報を出力する三次元再構成装置。

技術分野

0001

本開示は、三次元再構成方法および三次元再構成装置に関する。

背景技術

0002

多視点映像配信方法として、特許文献1には、複数の視点から撮影された映像視点移動連動して配信する技術が開示されている。

0003

また、特定シーンを複数の校正済みカメラにより撮影した映像群を用いてそのシーン三次元モデルを生成し、当該三次元モデルを用いて、そのシーンを自由な視点から見た自由視点画像(自由視点映像)を生成する技術が知られている。

先行技術

0004

特開2002−165200号公報

発明が解決しようとする課題

0005

このような、自由視点画像を配信するシステムにおいて、提供している情報が欠落した三次元モデルから生成されたことをユーザに通知することが望まれている。

0006

本開示は、提供している情報が欠落した三次元モデルから生成されたことをユーザに通知することができる三次元再構成方法または三次元再構成装置を提供することを目的とする。

課題を解決するための手段

0007

本開示の一態様に係る三次元再構成方法は、互いに異なる位置に配置されており、共通する三次元空間を撮像する複数の撮像装置から得られた複数のカメラ画像を用いて三次元モデルを生成する三次元再構成方法であって、前記複数の撮像装置のカメラパラメータおよび前記三次元モデルを取得し、前記カメラパラメータおよび前記三次元モデルに基づいて、一の撮像装置から前記三次元モデルまでの距離を示すデプス画像を生成し、前記複数のカメラ画像のうちの前記一の撮像装置により撮像された一のカメラ画像中においてオブジェクトが映り込んでいる領域が示される前景画像を生成し、前記デプス画像と前記前景画像とを比較することにより前記三次元モデルに三次元点の欠落があるか否かを判定し、前記三次元モデルに三次元点の欠落がある場合、前記三次元モデルに三次元点の欠落があることを示す欠落情報を出力する。

0008

なお、これらの全般的または具体的な態様は、システム、方法、集積回路コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

発明の効果

0009

本開示は、提供している情報が欠落した三次元モデルから生成されたことをユーザにすることができる三次元再構成方法または三次元再構成装置を提供できる。

図面の簡単な説明

0010

図1は、実施の形態に係る自由視点画像生成システムの概要を示す図である。
図2は、実施の形態に係る自由視点画像生成システムの構成を示す図である。
図3は、実施の形態に係る自由視点画像生成装置ブロック図である。
図4は、実施の形態に係る表示装置のブロック図である。
図5は、実施の形態に係る自由視点画像生成システムの動作を示す図である。
図6は、実施の形態に係る三次元モデルの生成処理フローチャートである。
図7は、実施の形態に係る欠落の判定処理のフローチャートである。
図8は、実施の形態に係る欠落の判定処理について説明するための模式図である。
図9は、実施の形態に係る欠落部の補填処理について説明するための模式図である。
図10は、実施の形態に係る自由視点映像の生成処理のフローチャートである。
図11は、実施の形態に係る自由視点映像の生成処理について説明するための模式図である。
図12は、変形例に係る三次元モデルの生成処理のフローチャートである。
図13は、変形例に係る自由視点映像の生成処理のフローチャートである。

実施例

0011

本開示の一態様に係る三次元再構成方法は、互いに異なる位置に配置されており、共通する三次元空間を撮像する複数の撮像装置から得られた複数のカメラ画像を用いて三次元モデルを生成する三次元再構成方法であって、前記複数の撮像装置のカメラパラメータおよび前記三次元モデルを取得し、前記カメラパラメータおよび前記三次元モデルに基づいて、一の撮像装置から前記三次元モデルまでの距離を示すデプス画像を生成し、前記複数のカメラ画像のうちの前記一の撮像装置により撮像された一のカメラ画像中においてオブジェクトが映り込んでいる領域が示される前景画像を生成し、前記デプス画像と前記前景画像とを比較することにより前記三次元モデルに三次元点の欠落があるか否かを判定し、前記三次元モデルに三次元点の欠落がある場合、前記三次元モデルに三次元点の欠落があることを示す欠落情報を出力する。

0012

このため、提供している情報が、欠落した三次元モデルから生成されたことをユーザに通知することができる。

0013

また、前記判定では、前記デプス画像および前記前景画像を二値化し、二値化された前記デプス画像と、二値化された前記前景画像とを比較することにより、前記三次元モデルに三次元点の欠落があるか否かを判定してもよい。

0014

このため、三次元モデルの欠落の判定を容易に行うことができる。

0015

また、前記出力では、前記三次元モデルに三次元点の欠落がある場合、前記三次元モデルの欠落部を、前記複数のカメラ画像を用いて推定することにより生成した三次元点により補填し、補填された前記三次元点を含む三次元モデルを出力してもよい。

0016

このため、欠落が補填された三次元モデルから生成された情報をユーザに提供することができる。

0017

また、前記出力では、補填された前記三次元点に、当該三次元点が補填された三次元点であることを示す属性情報を付与し、前記欠落情報は、前記属性情報により示される情報であってもよい。

0018

このため、三次元モデルの欠落部に欠落情報を容易に付与することができる。

0019

また、さらに、出力された前記三次元モデルへの視点の位置および方向の少なくとも一方を示す視点情報を取得し、前記三次元モデル、前記視点情報、前記カメラパラメータおよび前記複数のカメラ画像を用いて、前記視点情報で示される前記視点から前記三次元モデルを見たときの自由視点映像を生成し、前記三次元モデルに対応する前記欠落情報を取得した場合、生成された前記自由視点映像と、前記欠落情報で示される欠落を有する三次元モデルを用いて前記自由視点映像が生成されたことを示す識別情報と、を表示するための合成映像を出力してもよい。

0020

これによれば、自由視点映像および識別情報を合成することで得られた合成映像を出力することで、ユーザに、自由視点映像が欠落した三次元モデルから生成されたことをユーザに通知することができる。

0021

また、前記識別情報は、前記合成映像の前記自由視点映像上において、前記三次元モデルの欠落部に対応し、特定の表示態様で表示される領域で示されてもよい。

0022

このため、自由視点映像のうちの欠落部をユーザに提示することができる。

0023

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

0024

以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

0025

本実施の形態では、多視点カメラ及びその映像を利用しての自由視点画像の生成を容易に実現することを可能とする自由視点画像生成システムについて説明する。

0026

複数のカメラ映像及び自由視点画像を利用することで様々な方向からの映像を取得及び生成することが可能となり、多様な視聴者ニーズ応えた映像(例えば、選手Aをアップにした映像、又は俯瞰映像等)を提供できる。

0027

図1は、自由視点画像生成システムの概要を示す図である。例えば、校正済みのカメラ(例えば固定カメラ)を用いて同一空間多視点から撮影することにより撮影する空間を三次元再構成できる(三次元空間再構成)。この三次元再構成されたデータを用いて、トラッキングシーン解析、及び映像レンダリングを行うことで、任意の視点(自由視点カメラ)から見た映像を生成できる。これにより、次世代広域監視システム、及び自由視点画像生成システムを実現できる。

0028

このような自由視点画像生成システムでは、少なくとも一つのカメラにおいて撮像された画像の一部の領域を用いることで、指定された任意の視点から見えるであろう被写体のテクスチャ等の見え方を精度よく再現することができる。しかし、多数の被写体が映り込んでいたり、被写体が密集していたりすることでオクルージョンが発生している場合では、どのカメラからも写っていない死角等が存在する可能性がある。どのカメラからの写っていない領域がある場合、三次元モデルに欠落が発生するため、ユーザに対して正確な情報を提供することが困難な場合がある。

0029

本開示の一形態に係る自由視点画像生成システムでは、三次元モデルを利用した自由視点映像生成において、三次元モデルのうち、死角になること、または、三次元モデルを精度よく生成できないことで発生した欠落した部分を判別し、判別した欠落した部分を自由視点映像上に明示する。これにより、三次元モデルのうちの欠落した部分を、ユーザに正確に伝えることができるシステムを実現できる。

0030

これにより、提供している情報が欠落した三次元モデルから生成されたことをユーザに通知することができる。よって、ユーザは、死角領域、または、三次元モデルが上手作れずに不確かな領域があることを判断することが可能となり、自由視点映像などの提供された情報から誤った情報をユーザが取得することを低減することが可能となる。

0031

以下、本実施の形態に係る自由視点画像生成システム100の構成を説明する。図2は、本実施の形態に係る自由視点画像生成システム100の構成例を示す図である。この自由視点画像生成システム100は、複数のカメラ101と、自由視点画像生成装置102と、複数の表示装置103とを含む。

0032

複数のカメラ101は、同一シーンを異なる視点から撮影することで複数のカメラ映像(カメラ画像)を生成する。つまり、複数のカメラ101は、互いに異なる位置に配置されており、共通する三次元空間を撮像する。例えば、複数のカメラ101は同期撮影を行ってもよい。または、複数のカメラ101は、映像に時刻情報を埋め込む、又は映像にフレーム順序を示すインデックス情報を付与してもよい。複数のカメラは、複数の撮像装置の一例である。

0033

自由視点画像生成装置102は、自由視点画像を生成するサーバであり、複数のカメラ101で撮影された複数のカメラ映像を取得し、当該複数のカメラ映像を用いて、三次元モデル及び自由視点画像を生成する。また、自由視点画像生成装置102は、ネットワーク104を介して複数の表示装置103に接続されている。自由視点画像生成装置102は、カメラ映像、三次元モデル及び自由視点画像を表示装置103に送信する。具体的には、自由視点画像生成装置102は、表示装置103から送信された時刻及び視点の情報に基づき、それぞれ三次元モデル及び自由視点画像を生成し、生成した三次元モデル及び自由視点画像を表示装置103へ送信する。この際、自由視点画像生成装置102は、三次元モデルを利用して自由視点画像を生成してもよいし、2枚以上の画像から映像を補間することで自由視点映像を生成してもよい。

0034

表示装置103は、自由視点画像生成装置102から送信されたカメラ映像、三次元モデル、及び自由視点画像を、表示することでユーザに提示する端末である。また、表示装置103は、カメラ映像から時刻を選択し、三次元モデルから視点を選択し、それぞれの情報を自由視点画像生成装置102に送信する。

0035

なお、自由視点画像生成装置102と表示装置103との間ではデータのやり取りができればよく、通信方式は特に限定されない。例えば、遠隔地間では、インターネットを介して通信が行われてもよいし、実験室などにおいてLAN内で通信が行われてもよい。

0036

自由視点画像生成装置102において自由視点映像を生成するための時刻および視点は、自由視点画像生成装置102上で決定されてもよいし、表示装置103により指定されることで決定されてもよい。

0037

図3は、本実施の形態に係る自由視点画像生成装置102のブロック図である。自由視点画像生成装置102は、カメラ映像受信部201と、三次元モデル生成部202と、自由視点映像生成部203と、自由視点映像配信部204と、カメラ映像保存部205と、カメラパラメータ保存部206と、三次元モデル保存部207と、自由視点画像保存部208とを備える。

0038

カメラ映像受信部201は、1以上のカメラ101からカメラ映像を取得し、取得したカメラ映像保存部205に保存する。

0039

三次元モデル生成部202は、表示装置103により指定された時刻に基づいて、カメラ映像保存部205の該当時刻のカメラ映像、および、カメラパラメータ保存部206のカメラパラメータを用いて、該当時刻の三次元モデルを生成する。三次元モデル生成部202は、生成した三次元モデルを三次元モデル保存部2070保存する。例えば、三次元モデル生成部202は、SfM(Structure from Motion)などの画像処理技術を用いて三次元再構成を行うことで三次元モデルを生成する。または、三次元モデル生成部202は、カメラ映像に深度情報が含まれる場合には、当該深度情報を用いて三次元モデルを生成する。

0040

自由視点映像生成部203は、表示装置103により指定された視点に基づいて、その視点から見た自由視点画像を生成する。自由視点映像生成部203は、生成した自由視点画像を自由視点画像保存部208に保存する。例えば、自由視点映像生成部203は、三次元モデル生成部202により生成された三次元モデルを用いて自由視点画像を生成する。自由視点画像の生成に用いられる三次元モデルは、三次元モデル保存部207に保存されている三次元モデルであってもよい。または、自由視点映像生成部203は、モーフィング処理のようにカメラ間の画像を二次元上で補間することで自由視点画像を生成する。なお、自由視点画像(自由視点映像)は、静止画像であってもよし、動画像であってもよい。また、動画像とは、ある視点から見た特定シーンの時系列変化を示す動画像であってもよいし、指定の時刻において、視点位置を連続的に変更した動画像であってもよいし、これらの組み合わせであってもよい。

0041

自由視点映像配信部204は、自由視点映像生成部203で生成された自由視点画像(自由視点映像)、または、自由視点画像保存部208に保存されている自由視点画像(自由視点映像を1以上の表示装置103に送信する。

0042

カメラ映像保存部205は、カメラ101で撮影されたカメラ映像を格納する。具体的には、カメラ101から直接取得したカメラ映像を保存する。または、カメラ映像保存部205は、他の装置を介して間接的に取得したカメラ映像を保存していてもよい。

0043

カメラパラメータ保存部206は、カメラ映像保存部205に格納されたカメラ映像を撮影したカメラ101の三次元位置及び姿勢情報カメラポーズ)を含むカメラパラメータを格納する。この三次元位置及び姿勢情報は、例えば、カメラ101が備えるGPS又はジャイロセンサーなどで取得された情報である。または、自由視点画像生成装置102は、カメラ映像を元にSfMなどの画像処理技術を用いてこの三次元位置及び姿勢情報を推定してもよく、カメラパラメータ保存部206は、推定された三次元位置及び姿勢情報を格納してもよい。

0044

三次元モデル保存部207は、三次元モデル生成部202で生成された三次元モデルを格納する。

0045

自由視点画像保存部208は、自由視点映像生成部203で生成された自由視点画像を格納する。

0046

なお、カメラ映像保存部205、カメラパラメータ保存部206、三次元モデル保存部207、及び自由視点画像保存部208は、一時的及び長期間各々のデータを保存できればよく、メモリのような短期的なストレージでもHDDハードディスクドライブ)のような長期間データを保持できるものでもよい。

0047

図4は、本実施の形態に係る表示装置103のブロック図である。表示装置103は、自由視点映像受信部301と、画面生成部302と、画面表示部303と、自由視点画像保存部304とを備える。

0048

自由視点映像受信部301は、自由視点画像生成装置102で生成された自由視点映像を受信し、受信した自由視点映像を自由視点画像保存部304に保存する。

0049

画面生成部302は、受信された自由視点画像を画面表示部303に表示するための表示画面を生成する。また、画面生成部302は、ユーザによる操作を受け付けた結果である操作情報を取得し、取得した操作情報に応じて、表示画面を生成するために用いる自由視点画像を変更してもよい。なお、ユーザによる操作は、例えば、キーボードタッチパネルなどの入力デバイスへの入力により示される。

0050

画面表示部303は、画面生成部302で生成された表示画面を、表示することでユーザに提示する。

0051

自由視点画像保存部304は、自由視点画像生成装置102から送信された自由視点画像を保存しておくストレージである。

0052

なお、自由視点画像保存部304は、一時的及び長期間各々のデータを保存できればよく、メモリのような短期的なストレージでもHDD(ハードディスクドライブ)のような長期間データを保持できるものでもよい。

0053

次に、本実施の形態に係る自由視点画像生成システム100の動作を説明する。図5は、本実施の形態に係る自由視点画像生成システム100の動作を示すシーケンス図である。

0054

まず、1以上のカメラ101のそれぞれは、撮像されたカメラ映像を自由視点画像生成装置102に送信する(S101)。なお、図5では、1以上のカメラ101をカメラ群101と表記している。1以上のカメラ101は、自由視点画像生成装置102にカメラ映像を送信できればよく、1以上のカメラ101の録画開始などの映像の撮像に関する制御は、自由視点画像生成装置102により行われてもよいし、別の制御装置により行われてもよい。

0055

次に、自由視点画像生成装置102では、カメラ映像受信部201が1以上のカメラ101から取得されたカメラ映像を三次元モデル生成部202に出力する(S102)。

0056

次に、三次元モデル生成部202は、時刻情報を取得する(S103)。なお、時刻情報は、例えば、表示装置103または他の端末から指定された時刻を示す情報である。この場合、時刻情報は、表示装置103または他の端末から送信された情報である。また、時刻情報は、例えば、自由視点画像生成装置102の図示しない入力受付部によりユーザから受け付けられた情報であってもよい。

0057

次に、三次元モデル生成部202は、時刻情報により示される時刻に基づいて、該当時刻の三次元モデルを生成する(S104)。三次元モデル生成部202は、生成した三次元モデルを自由視点映像生成部203に出力する。三次元モデルの生成処理の詳細は、図6を用いて後述する。

0058

次に、自由視点映像生成部203は、カメラ映像受信部201からカメラ映像を取得し(S105)、視点情報を取得する(S106)。なお、自由視点映像生成部203は、カメラ映像を、カメラ映像保存部205から取得してもよい。また、視点情報は、例えば、表示装置103または他の端末から指定された視点を示す情報である。この場合、視点情報は、表示装置103または他の端末から送信された情報である。また、視点情報は、例えば、自由視点画像生成装置102の図示しない入力受付部によりユーザから受け付けられた情報であってもよい。

0059

次に、自由視点映像生成部203は、取得した視点情報により示される視点に基づいて、取得した三次元モデル及びカメラ映像を用いて、その視点から見た自由視点映像を生成する(S107)。自由視点映像生成部203は、生成した自由視点映像を表示装置103に送信する。自由視点映像の生成処理の詳細は、図10を用いて後述する。

0060

次に、三次元モデルの生成処理(S104)について説明する。図6は、三次元モデルの生成処理(S104)のフローチャートである。

0061

まず、三次元モデル生成部202は、カメラ101の三次元位置や向きやレンズ情報などを含むカメラパラメータに関して、2以上のカメラ101のカメラパラメータを取得する(S111)。三次元モデル生成部202は、カメラパラメータ保存部206からカメラパラメータを取得する。

0062

次に、三次元モデル生成部202は、2以上のカメラ101のカメラ映像を取得する(S112)。この時に取得されるカメラ映像は、ステップS111で取得したカメラパラメータに対応する2以上のカメラ101のカメラ映像を含む。

0063

なお、ステップS111及びステップS112が実行される順番は、上記に限らずに、ステップS112をステップS111の前に行ってもよい。同一カメラから取得したカメラパラメータ及びカメラ映像の組み合わせを、2以上のカメラ101から取得できればよい。

0064

続いて、三次元モデル生成部202は、ステップS111で取得したカメラパラメータ、および、ステップS112で取得したカメラ映像を用いて三次元再構成を行い、三次元モデルを生成する(S113)。三次元再構成では、例えば、視体積交差法、SfM (Structure from Motion)などの処理が行われる。

0065

次に、三次元モデル生成部202は、ステップS113で生成した三次元モデルにおいて、欠落があるか否かを判定する(S114)。なお、欠落の判定処理の詳細は、図7及び図8を用いて後述する。

0066

次に、三次元モデル生成部202は、ステップS114における欠落の判定により、欠落があると判定された場合(S115でYes)、欠落した部分である欠落部を補填する(S116)。欠落部の補填処理では、ステップS113で生成された三次元モデルに含まれる欠落部に関して、カメラ映像を用いて推定処理などを行うことで新たに三次元点を生成して三次元点を補う補填処理を行う。これにより、三次元モデル生成部202は、三次元点が補填された三次元モデルを再生成し、再生成した三次元モデルを出力する。

0067

三次元モデル生成部202は、ステップS114における欠落の判定により、欠落がないと判定された場合(S115でNo)、ステップS113で生成された三次元モデルを出力する。

0068

次に、欠落の判定処理(S114)について説明する。図7は、欠落の判定処理(S114)のフローチャートである。図8は、欠落の判定処理について説明するための模式図である。

0069

最初に、三次元モデル生成部202は、ステップS113の三次元再構成処理に用いたカメラパラメータを取得する(S121)。

0070

次に、三次元モデル生成部202は、ステップS113で生成された三次元モデルを取得する(S122)。例えば、図8に示されるように、一のカメラ101を含む複数のカメラ101で被写体400を撮像した結果、三次元モデルが生成される。

0071

続いて、三次元モデル生成部202は、ステップS121及びS122で取得したカメラパラメータ及び三次元モデルに基づいて、一のカメラ101から三次元モデルまでの距離を示すデプス画像を生成する(S123)。デプス画像は、一のカメラ101について、一のカメラ101のカメラパラメータに基づいて一のカメラ101の姿勢を特定し、特定した姿勢と三次元モデルとを用いることで、一のカメラ101から被写体400を見たときの一のカメラ101から三次元モデル(被写体400)までの距離を示す深度情報からなるデプス画像を生成する。デプス画像は、深度情報を画素値として有する複数の画素により構成され、当該複数の画素の配列は、例えば、一のカメラ101により得られるカメラ画像と同様の構成である。例えば、デプス画像の各画素が有する画素値は、一のカメラ101から、一のカメラ101により得られるカメラ画像の対応する画素で特定される三次元モデル(被写体400)の表面の点までの距離を示す。デプス画像は、例えば、距離が大きいほど大きな値の画素値を有する。

0072

次に、三次元モデル生成部202は、ステップS113の三次元再構成処理に用いたカメラ画像を取得する(S124)。

0073

続いて、三次元モデル生成部202は、ステップS124で取得したカメラ画像から画像上で注目しているオブジェクトが映り込んでいる領域を抽出することで、当該領域が抽出された前景画像を生成する(S125)。前景画像とは、例えば、道路を撮影して得られたカメラ画像において、道路上を走っている車、トラックなどの動いているオブジェクトが抽出された画像を示す。前景画像は、例えば、オブジェクトが映っていない背景画像を予め背景画像として撮影しておき、オブジェクトが映っているカメラ画像から背景画像を減算することで得られる画像である。つまり、前景画像は、カメラ画像から背景画像が削除されることでオブジェクトが抽出された画像である。また、前景画像は、Semantic Segmentationと呼ばれる画素単位での意味づけを行う手法を用いて、オブジェクトを抽出することで生成されてもよい。

0074

次に、三次元モデル生成部202は、ステップS123で生成したデプス画像と、ステップS125で生成した前景画像とを比較することにより、ステップS122で取得した三次元モデルに三次元点の欠落があるか否かを判定する(S126)。例えば、三次元モデル生成部202は、図8に示されるように、デプス画像及び前景画像を二値化し、二値化されたデプス画像401と、二値化された前景画像402とを比較することにより、三次元モデルに三次元点の欠落があるか否かを判定する。

0075

なお、三次元モデル生成部202は、例えば、所定の閾値より大きい画素値を有する画素の画素値を「1」とし、所定の閾値以下の画素値を有する画素の画素値を「0」とすることで、デプス画像を二値化する。また、三次元モデル生成部202は、例えば、画素値を有しない画素の画素値を「1」とし、画素値を有する画素の画素値を「0」とすることで、前景画像を二値化する。なお、デプス画像の二値化、及び、前景画像の二値化において、設定する数値の「1」と「0」とは、上記とは反対であってもよい。

0076

三次元モデル生成部202は、具体的には、二値化された前景画像402から二値化されたデプス画像401を減算することで、減算結果を得る。三次元モデル生成部202は、減算結果として、画素値を有する画素が所定数以上ある欠落部画像403が得られた場合、三次元モデルに三次元点の欠落があると判定する。三次元モデル生成部202は、減算結果として得られた画像が、画素値を有する画素が所定数未満である場合、三次元モデルに三次元点の欠落がないと判定する。

0077

なお、三次元モデル生成部202は、デプス画像及び前景画像を二値化して、二値化されたデプス画像及び前景画像を比較することにより、三次元モデルに三次元点の欠落があるか否かを判定するとしたが、二値化されたデプス画像及び前景画像を用いることに限らない。例えば、三次元モデル生成部202は、前景画像をデプス画像の画素値の範囲に合わせてグレースケール化または二値化して、デプス画像とグレースケール化または二値化された前景画像とを比較することにより、三次元モデルに三次元点の欠落があるか否かを判定してもよい。この場合、三次元モデル生成部202は、減算結果として、所定の画素値より大きい画素値を有する画素が所定数以上ある欠落部画像が得られた場合、三次元モデルに三次元点の欠落があると判定する。三次元モデル生成部202は、所定の画素値より大きい画素値を有する画素が所定数未満である場合、三次元モデルに三次元点の欠落がないと判定する。

0078

次に、欠落部の補填処理(S116)の詳細について説明する。図9は、欠落部の補填処理について説明するための模式図である。

0079

三次元モデル生成部202は、例えば、図9に示されるように、ステップS113の三次元再構成処理を実行することで、複数のカメラ101で被写体400を撮像したカメラ映像と、複数のカメラ101のカメラパラメータとを用いて、三次元モデル410を生成する。三次元モデル生成部202は、ステップS114の欠落の判定処理によって、生成した三次元モデル410が欠落部411を有すると判定された場合、欠落部411の周辺領域の三次元情報を用いて、推定処理により欠落部411を補填する。三次元モデル生成部202は、複数のカメラ101で撮像したカメラ映像を用いる場合、三次元点を生成するときの特徴点マッチング(例えば、NCC:Normalized Cross Correlation)の制約を弱めることで三次元点を新たに生成し、新たに生成した三次元点で欠落部411を補填してもよい。これにより、三次元モデル生成部202は、欠落部411を補填された補填部421を有する三次元モデル420を新たに生成し、新たに生成した三次元モデル420を出力する。補填部421は、複数のカメラ画像を用いて新たに推定することにより生成された三次元点を含む。

0080

また、三次元モデルの領域毎に属性を設定できる場合に、各領域の属性として補填されたか否かを示す情報が付加されてもよい。また、補填された領域に、補填されたことを示す情報が属性情報として付加されてもよい。例えば、三次元モデルが複数の三次元点の集合であるポイントクラウドにより構成されており、各三次元点が当該三次元点の位置を示す情報だけでなく、当該三次元点の色、反射率などの属性情報を有する場合、補填されることで新たに生成された三次元点には、属性情報として補填された三次元点であることを示す情報が付与されていてもよい。

0081

このように、三次元モデル生成部202は、生成した三次元モデルに三次元点の欠落がある場合、三次元モデルに三次元点の欠落があることを示す欠落情報を出力する。欠落情報は、例えば、三次元モデル自体に付与された情報であってもよいし、上述したように補填された三次元点毎に付与された属性情報であってもよい。また、三次元モデル生成部202は、三次元モデルに三次元点の欠落がある場合、欠落があることを示す欠落情報を三次元モデルに付与し、欠落情報が付与された三次元モデルを出力してもよい。

0082

次に、自由視点映像の生成処理(S107)の詳細について説明する。図10は、自由視点映像の生成処理(S107)のフローチャートである。図11は、自由視点映像の生成処理について説明するための模式図である。

0083

最初に、自由視点映像生成部203は、自由視点映像を生成する際の視点の三次元位置および視線方向の少なくとも一方を示す視点情報を取得する(S131)。

0084

次に、自由視点映像生成部203は、カメラ101の三次元位置や向きやレンズ情報などを含むカメラパラメータに関して、2以上のカメラ101のカメラパラメータを取得する(S132)。自由視点映像生成部203は、カメラパラメータ保存部206からカメラパラメータを取得する。

0085

次に、自由視点映像生成部203は、2以上のカメラ101のカメラ映像を取得する(S133)。この時に取得されるカメラ映像は、ステップS132で取得したカメラパラメータに対応する2以上のカメラ101のカメラ映像を含む。

0086

次に、自由視点映像生成部203は、ステップS104で生成された三次元モデルを取得する(S134)。

0087

続いて、自由視点映像生成部203は、ステップS132及びS133で取得したカメラパラメータ及びカメラ映像を用いて、ステップS134で取得した三次元モデルをステップS131で取得した視点情報で示される視点から見たときの自由視点映像を、生成する(S135)。なお、自由視点映像生成部203は、例えば、図11に示されるように、三次元空間上の三次元モデル420を、視点情報で示される視点430に対して投影することで自由視点映像440、450を生成する。

0088

ここで、自由視点映像生成部203は、欠落部と判定されている領域について、自由視点画像上で明示しても構わない。例えば、自由視点映像生成部203は、欠落部の存在を示すキャプションを表示したり、画面枠の色を欠落部が存在しない三次元モデルから生成された自由視点画像とは異なる色で表示したりすることで、欠落部の存在が示された自由視点映像440を生成してもよい。また、自由視点映像生成部203は、例えば、欠落部の箇所を、特定の色または特定の模様表現された自由視点映像450を生成してもよい。また、自由視点映像中において、欠落部を有するオブジェクトが明示されてもよい。なお、ユーザに対して、自由視点映像が欠落部を有する三次元モデルにより生成されたことが分かるように提示されれば、上記の例に限らずに、どのような手段で提示してもよい。

0089

つまり、自由視点映像生成部203は、三次元モデルに対応する欠落情報を取得した場合、生成された自由視点映像と、欠落情報で示される欠落を有する三次元モデルを用いて自由視点映像が生成されたことを示す識別情報と、を表示するための合成映像を出力する。識別情報は、例えば、合成映像としての自由視点映像450では、自由視点映像上において、三次元モデルの欠落部に対応し、特定の表示態様で表示される領域で示される。

0090

最後に、自由視点映像生成部203は、ステップS135で生成した自由視点映像440または自由視点映像450を表示装置103に出力する(S136)。

0091

本実施の形態に係る自由視点画像生成システム100によれば、デプス画像と前景画像とを比較することにより三次元モデルに三次元点の欠落があるか否かを判定し、三次元モデルに三次元点の欠落がある場合、三次元モデルに三次元点の欠落があることを示す欠落情報を出力する。このため、提供している情報が、欠落した三次元モデルから生成されたことをユーザに通知することができる。

0092

また、自由視点画像生成システム100は、欠落の判定処理では、デプス画像および前景画像を二値化し、二値化されたデプス画像と、二値化された前景画像とを比較することにより、三次元モデルに三次元点の欠落があるか否かを判定する。このため、三次元モデルの欠落の判定を容易に行うことができる。

0093

また、自由視点画像生成システム100は、出力では、三次元モデルに三次元点の欠落がある場合、三次元モデルの欠落部を、複数のカメラ画像を用いて推定することにより生成した三次元点により補填し、補填された三次元点を含む三次元モデルを出力する。このため、欠落が補填された三次元モデルから生成された情報をユーザに提供することができる。

0094

また、自由視点画像生成システム100は、三次元モデルに対応する欠落情報を取得した場合、生成された自由視点映像と、欠落情報で示される欠落を有する三次元モデルを用いて自由視点映像が生成されたことを示す識別情報と、を表示するための合成映像を出力する。これによれば、自由視点映像および識別情報を合成することで得られた合成映像を出力することで、ユーザに、自由視点映像が欠落した三次元モデルから生成されたことをユーザに通知することができる。

0095

また、識別情報は、合成映像の自由視点映像上において、三次元モデルの欠落部に対応し、特定の表示態様で表示される領域で示される。このため、自由視点映像のうちの欠落部をユーザに提示することができる。

0096

(変形例)
次に、変形例について説明する。

0097

上記実施の形態では、欠落部の判定を三次元モデル生成部202が行うとしたが、これに限らずに、自由視点映像生成部203が行ってもよい。つまり、三次元モデル生成部202によるステップS104の代わりに図12で説明するステップS104aが行われてもよい。また、自由視点映像生成部203によるステップS107の代わりに図13で説明するステップS107aが行われてもよい。

0098

図12は、変形例に係る三次元モデルの生成処理(S104a)のフローチャートである。

0099

図12に示されるように、変形例に係る三次元モデルの生成処理では、図6で説明したステップS111〜S113と同様の処理が実行され、ステップS113で生成された三次元モデルが出力される。

0100

変形例に係る三次元モデルの生成処理では、図6のフローチャートと比較して、三次元モデル生成部202において最終的に出力される三次元モデルに欠落部に関する情報が含まれない点が異なる。これによると、三次元モデルの生成処理に係る処理量を低減することができ、高速に三次元モデルを生成することができる。

0101

図13は、変形例に係る自由視点映像の生成処理(S107a)のフローチャートである。

0102

図13に示されるように、変形例に係る自由視点映像の生成処理では、図10で説明したステップS131〜S134と同様の処理が実行される。

0103

続いて、自由視点映像生成部203は、ステップS134で取得した三次元モデルにおいて、欠落があるか否かを判定する(S134a)。ここでの欠落の判定処理では、例えば、ステップS114と同様の処理が行われる。ただし、欠落があると判定された場合であっても、ステップS116のような欠落部の補填処理を行わず、ステップS133で取得された画像に対して欠落部を示す欠落情報を出力する。

0104

続いて、自由視点映像生成部203は、ステップS132及びS133で取得したカメラパラメータ及びカメラ映像を用いて、ステップS134で取得した三次元モデルをステップS131で取得した視点情報で示される視点から見たときの自由視点映像を、生成する(S135)。なお、自由視点映像生成部203は、例えば、三次元空間上の三次元モデル420を、視点情報で示される視点に対して投影することで自由視点映像を生成する。このとき、自由視点映像生成部203は、欠落情報に基づいて欠落部の領域を特定し、自由視点映像のうちで、欠落部の領域の画素値を利用して生成される領域を欠落領域として設定する。欠落領域は、例えば、図11の自由視点映像450の斜線ハッチングの領域のように示されてもよい。

0105

最後に、自由視点映像生成部203は、ステップS135で生成した自由視点映像440または自由視点映像450を表示装置103に出力する(S136)。

0106

変形例に係る三次元モデルの生成処理および自由視点映像の生成処理では、三次元モデルの対する補填処理を行う必要がなくなるため、計算量を低減することができる。

0107

また、互いに異なる位置に配置されており、共通する三次元空間を撮像する複数の撮像装置から得られた複数の画像を用いて三次元モデルを生成する三次元再構成方法であって、前記三次元モデルに三次元点の欠落がある場合、前記欠落があることを示す欠落情報を出力してもよい。

0108

以上、本開示の実施の形態に係る自由視点画像生成システムについて説明したが、本開示は、この実施の形態に限定されるものではない。

0109

また、上記実施の形態に係る自由視点画像生成システムに含まれる各処理部は典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部又は全てを含むように1チップ化されてもよい。

0110

また、集積回路化はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後にプログラムすることが可能なFPGA(Field Programmable Gate Array)、又はLSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブルプロセッサを利用してもよい。

0111

また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

0112

また、本開示は、自由視点画像生成システム、自由視点画像生成装置、又は表示装置により実行される自由視点画像生成方法、又は自由視点画像表示方法等の各種方法として実現されてもよい。

0113

また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェア並列又は時分割に処理してもよい。

0114

また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時(並列)に実行されてもよい。

0115

以上、一つまたは複数の態様に係る自由視点画像生成システムについて、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。

0116

本開示は、提供している情報が欠落した三次元モデルから生成されたことをユーザにすることができる三次元再構成方法、三次元再構成装置などとして有用である。

0117

100 自由視点画像生成システム
101カメラ
102 自由視点画像生成装置
103表示装置
104ネットワーク
201カメラ映像受信部
202三次元モデル生成部
203 自由視点映像生成部
204 自由視点映像配信部
205 カメラ映像保存部
206カメラパラメータ保存部
207 三次元モデル保存部
208 自由視点画像保存部
301 自由視点映像受信部
302画面生成部
303画面表示部
304 自由視点画像保存部
400 被写体
401デプス画像
402前景画像
403欠落部画像
410、420 三次元モデル
411 欠落部
421補填部
430視点
440、450 自由視点映像

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ