図面 (/)

技術 画像処理装置、表示装置、画像送信装置、画像処理方法、制御プログラム及び記録媒体

出願人 シャープ株式会社
発明者 山本智幸池田恭平
出願日 2018年8月2日 (2年2ヶ月経過) 出願番号 2019-535159
公開日 2020年8月13日 (2ヶ月経過) 公開番号 WO2019-031386
状態 未査定
技術分野 イメージ処理・作成
主要キーワード 部分曲線 部分曲面 特定視点 部分平面 デプスデータ 取得頻度 処理対象範囲 頂点インデックス
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年8月13日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (17)

課題・解決手段

画像処理装置(2、11、21、31)は、取得部(4)は、表示対象の3次元形状を部分的に示す複数の部分3Dモデルデータであって、所定順序における順番に関連付けられた複数の部分3Dモデルデータを取得し、生成部(6)は、上記部分3Dモデルデータに関連付けられた上記順番で、当該部分3Dモデルデータを参照して上記参照モデル更新する。

概要

背景

一般的に、再生視点映像の再生時における視点)の選択が可能な映像サービスを実現するためのシステムの例として、画像及びデプスを利用したシステムが挙げられる。例えば、当該システムの具体例として、Depth Image-based Rendering(DIBR)が挙げられる。

DIBRについて以下で説明する。まず、特定の視点からの表示対象を示した画像データと、当該視点から当該表示対象までのデプスとを受信する。次に、受信したデプスの視点を再生視点に応じて変換して再生視点デプスを合成する。次に、再生視点と、合成した再生視点デプスと、受信した画像データとに基づいて、再生視点画像を合成する。

上記のような構成を有するDIBRの例を示す文献として、特許文献1が挙げられる。

概要

画像処理装置(2、11、21、31)は、取得部(4)は、表示対象の3次元形状を部分的に示す複数の部分3Dモデルデータであって、所定順序における順番に関連付けられた複数の部分3Dモデルデータを取得し、生成部(6)は、上記部分3Dモデルデータに関連付けられた上記順番で、当該部分3Dモデルデータを参照して上記参照モデル更新する。

目的

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、画像データと3Dモデルデータとに基づいて再生視点画像を合成する画像処理装置において、3Dモデルデータのサンプル数又は精度に起因する再生視点画像の品質低下を防ぎ、高品質な再生視点画像を合成できる技術を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

表示対象の3次元形状を部分的に示す複数の部分3Dモデルデータであって、所定順序における順番に関連付けられた複数の部分3Dモデルデータを取得する取得部と、上記複数の部分3Dモデルデータを参照して、参照モデルを生成する生成部と、上記参照モデルを参照して、再生視点からの上記表示対象を示す再生視点画像を合成する合成部と、を備え、上記生成部は、上記部分3Dモデルデータに関連付けられた上記順番で、当該部分3Dモデルデータを参照して上記参照モデルを更新することを特徴とする、画像処理装置

請求項2

上記部分3Dモデルデータは、上記表示対象の3次元形状を部分的に示すデプスポイントクラウド及びメッシュの少なくとも1つ以上のデータであることを特徴とする、請求項1に記載の画像処理装置。

請求項3

上記取得部は、上記複数の部分3Dモデルデータのうちで、初期視点に相対する上記表示対象の部分を示す部分3Dモデルデータ、及び推奨視点に相対する上記表示対象の部分を示す部分3Dモデルデータ、の少なくとも1つ以上のデータを優先して取得することを特徴とする、請求項1又は2に記載の画像処理装置。

請求項4

上記取得部は、上記再生視点に依存せずに、上記複数の部分3Dモデルデータを取得することを特徴とする、請求項1又は2に記載の画像処理装置。

請求項5

上記取得部は、初期参照モデル構築用の複数の部分3Dモデルデータを取得し、上記生成部は、当該初期参照モデル構築用の複数の部分3Dモデルデータを参照して、初期参照モデルを生成することを特徴とする、請求項1〜4の何れか1項に記載の画像処理装置。

請求項6

上記複数の部分3Dモデルデータは、上記表示対象の3次元形状を部分的に示す複数のデプスであり、上記生成部は、上記デプスに関連付けられた上記順番で、当該デプス及び上記参照モデルを参照して、当該参照モデルと、当該デプスに対応する参照モデルとの位置関係を示すワープフィールド推定し、当該ワープフィールドを参照して上記参照モデルを更新することを特徴とする、請求項4に記載の画像処理装置。

請求項7

上記取得部は、上記デプスと共に、当該デプスの視点に関する視点情報を取得することを特徴とする、請求項6に記載の画像処理装置。

請求項8

上記取得部は、上記複数のデプスに関連付けられた順番は、上記視点情報が示す上記デプスの視点に応じた順序における順番であって、上記順序は、先行する順番のデプスの視点から離れた視点のデプスを次の順番のデプスとして優先する順序であることを特徴とする、請求項7に記載の画像処理装置。

請求項9

上記取得部は、上記表示対象の画像データをさらに取得し、上記生成部は、上記画像データをさらに参照して上記参照モデルを更新することを特徴とする、請求項1〜8の何れか1項に記載の画像処理装置。

請求項10

表示対象の画像データ、及び当該表示対象の3次元形状を部分的に示す複数の部分3Dモデルデータであって、所定順序における順番に関連付けられた複数の部分3Dモデルデータを取得する取得部と、上記複数の部分3Dモデルデータを参照して、参照モデルを生成する生成部と、上記画像データ及び上記複数の部分3Dモデルデータを参照して、再生視点からの上記表示対象を示す再生視点画像を合成する合成部と、上記参照モデルを参照して、上記再生視点画像に対して画像補完又はフィルタ処理を行う補正部と、を備え、上記生成部は、上記部分3Dモデルデータに関連付けられた上記順番で、当該部分3Dモデルデータを参照して上記参照モデルを更新することを特徴とする、画像処理装置。

請求項11

表示対象の画像データを取得する取得部と、上記画像データを参照して、上記表示対象の3次元形状を部分的に示す複数の部分3Dモデルデータを推定する推定部と、上記複数の部分3Dモデルデータを参照して、参照モデルを生成する生成部と、上記画像データ及び上記参照モデルを参照して、再生視点からの上記表示対象を示す再生視点画像を合成する合成部と、を備え、上記生成部は、上記推定部が上記部分3Dモデルデータを推定する毎に、当該部分3Dモデルデータを参照して上記参照モデルを更新することを特徴とする、画像処理装置。

請求項12

請求項1〜10の何れか1項に記載の画像処理装置と、上記再生視点画像を表示する表示部と、を備えていることを特徴とする、表示装置

請求項13

表示対象の3次元形状を部分的に示す複数の部分3Dモデルデータであって、所定順序における順番に関連付けられた複数の部分3Dモデルデータを送信する送信部を備えていることを特徴とする、画像送信装置

請求項14

表示対象の3次元形状を部分的に示す複数の部分3Dモデルデータであって、所定順序における順番に関連付けられた複数の部分3Dモデルデータを取得する取得工程と、上記複数の部分3Dモデルデータを参照して、参照モデルを生成する生成工程と、上記参照モデルを参照して、再生視点からの上記表示対象を示す再生視点画像を合成する合成工程と、を含み、上記生成工程では、上記部分3Dモデルデータに関連付けられた上記順番で、当該部分3Dモデルデータを参照して上記参照モデルを更新することを特徴とする、画像処理方法

請求項15

請求項1に記載の画像処理装置としてコンピュータを機能させるための制御プログラムであって、上記取得部、上記生成部及び上記合成部としてコンピュータを機能させるための制御プログラム。

請求項16

請求項15に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体

技術分野

0001

本発明の一態様は、主に、再生視点からの表示対象を示す画像を合成する画像処理装置に関する。

背景技術

0002

一般的に、再生視点(映像の再生時における視点)の選択が可能な映像サービスを実現するためのシステムの例として、画像及びデプスを利用したシステムが挙げられる。例えば、当該システムの具体例として、Depth Image-based Rendering(DIBR)が挙げられる。

0003

DIBRについて以下で説明する。まず、特定の視点からの表示対象を示した画像データと、当該視点から当該表示対象までのデプスとを受信する。次に、受信したデプスの視点を再生視点に応じて変換して再生視点デプスを合成する。次に、再生視点と、合成した再生視点デプスと、受信した画像データとに基づいて、再生視点画像を合成する。

0004

上記のような構成を有するDIBRの例を示す文献として、特許文献1が挙げられる。

先行技術

0005

日本国公開特許公報「特開2015−87851号公報(2015年5月7日公開)」

発明が解決しようとする課題

0006

上述のDIBRでは、指定された再生視点の再生画像を、受信データ(映像+デプス)に基づいて合成して提示する。しかし、帯域の制限により、各時刻受信可能な表示対象のデプス等の3Dモデルデータ(表示対象の3次元形状を示す情報)がサンプル数の点又はノイズ若しくはホール等の精度の点で限定されるため、合成される画像の品質が低いという問題がある。

0007

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、画像データと3Dモデルデータとに基づいて再生視点画像を合成する画像処理装置において、3Dモデルデータのサンプル数又は精度に起因する再生視点画像の品質低下を防ぎ、高品質な再生視点画像を合成できる技術を提供することにある。

課題を解決するための手段

0008

上記の課題を解決するために、本発明の一態様に係る画像処理装置は、表示対象の3次元形状を部分的に示す複数の部分3Dモデルデータであって、所定順序における順番に関連付けられた複数の部分3Dモデルデータを取得する取得部と、上記複数の部分3Dモデルデータを参照して、参照モデルを生成する生成部と、上記参照モデルを参照して、再生視点からの上記表示対象を示す再生視点画像を合成する合成部と、を備え、上記生成部は、上記部分3Dモデルデータに関連付けられた上記順番で、当該部分3Dモデルデータを参照して上記参照モデルを更新する。

0009

上記の課題を解決するために、本発明の一態様に係る画像処理装置は、表示対象の画像データ、及び当該表示対象の3次元形状を部分的に示す複数の部分3Dモデルデータであって、所定順序における順番に関連付けられた複数の部分3Dモデルデータを取得する取得部と、上記複数の部分3Dモデルデータを参照して、参照モデルを生成する生成部と、上記画像データ及び上記複数の部分3Dモデルデータを参照して、再生視点からの上記表示対象を示す再生視点画像を合成する合成部と、上記参照モデルを参照して、上記再生視点画像に対して画像補完又はフィルタ処理を行う補正部と、を備え、上記生成部は、上記部分3Dモデルデータに関連付けられた上記順番で、当該部分3Dモデルデータを参照して上記参照モデルを更新する。

0010

上記の課題を解決するために、本発明の一態様に係る画像処理装置は、表示対象の画像データを取得する取得部と、上記画像データを参照して、上記表示対象の3次元形状を部分的に示す複数の部分3Dモデルデータを推定する推定部と、上記複数の部分3Dモデルデータを参照して、参照モデルを生成する生成部と、上記画像データ及び上記参照モデルを参照して、再生視点からの上記表示対象を示す再生視点画像を合成する合成部と、を備え、上記生成部は、上記推定部が上記部分3Dモデルデータを推定する毎に、当該部分3Dモデルデータを参照して上記参照モデルを更新する。

0011

上記の課題を解決するために、本発明の一態様に係る画像送信装置は、表示対象の3次元形状を部分的に示す複数の部分3Dモデルデータであって、所定順序における順番に関連付けられた複数の部分3Dモデルデータを送信する送信部を備えている。

0012

上記の課題を解決するために、本発明の一態様に係る画像処理方法は、表示対象の3次元形状を部分的に示す複数の部分3Dモデルデータであって、所定順序における順番に関連付けられた複数の部分3Dモデルデータを取得する取得工程と、上記複数の部分3Dモデルデータを参照して、参照モデルを生成する生成工程と、上記参照モデルを参照して、再生視点からの上記表示対象を示す再生視点画像を合成する合成工程と、を含み、上記生成工程では、上記部分3Dモデルデータに関連付けられた上記順番で、当該部分3Dモデルデータを参照して上記参照モデルを更新する。

発明の効果

0013

本発明の一態様によれば、画像データと3Dモデルデータとに基づいて再生視点画像を合成する画像処理装置において、3Dモデルデータのサンプル数又は精度に起因する再生視点画像の品質低下を防ぎ、高品質な再生視点画像を合成できる。

図面の簡単な説明

0014

本発明の各実施形態で用いられる部分3Dモデルデータの一例を示す図である。
本発明の実施形態1に係る画像処理装置を備えている表示装置の構成を示すブロック図である。
本発明の実施形態1に係る画像処理装置による画像処理方法の一例を説明するフローチャート図である。
本発明の実施形態2に係る画像処理装置を備えている表示装置の構成を示すブロック図である。
本発明の実施形態2に係る画像処理装置による画像処理方法の一例を説明するフローチャート図である。
本発明の各実施形態で用いられるワープフィールドを説明するための図である。
本発明の各実施形態で用いられる視点情報の一例を説明するための図である。
(a)〜(d)は、それぞれ、本発明の各実施形態で用いられるデプス及び視点情報のデータ構成の例を示す図である。
本発明の実施形態2に係る画像処理装置が複数のデプスのうちで特定のデプスを優先して取得する構成の第1の例を説明するための図である。
本発明の実施形態2に係る画像処理装置が複数のデプスのうちで特定のデプスを優先して取得する構成の第2の例を説明するための図である。
本発明の実施形態2に係る画像処理装置が複数のデプスのうちで特定のデプスを優先して取得する構成の第3の例を説明するための図である。
本発明の実施形態3に係る画像処理装置による画像処理方法の概要を説明するフローチャート図である。
本発明の実施形態3に係る画像処理装置が実行するモデル初期化を具体的に説明するフローチャート図である。
本発明の実施形態4に係る画像処理装置を備えている表示装置の構成を示すブロック図である。
本発明の実施形態5に係る画像処理装置を備えている表示装置の構成を示すブロック図である。
本発明の各実施形態に係る表示装置と画像送信装置とを含む画像送受信システムの構成を示すブロック図である。

実施例

0015

以下、本発明の実施形態について、詳細に説明する。ただし、本実施形態に記載されている構成は、特に特定的な記載がない限り、この発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例に過ぎない。

0016

まず、以下で、本発明の各実施形態で用いられる用語の定義を説明する。本願明細書における用語「画像データ」とは、特定の視点からの表示対象を示す画像(各画素色情報等)を示す。なお、本願明細書における画像は、静止画像及び動画像を含む。

0017

また、本願明細書における用語「部分3Dモデルデータ」とは、表示対象の3次元形状を部分的に示すデータを意味する。「部分3Dモデルデータ」の例として、特定の視点からのデプス、ポイントクラウド点群部分集合)、及びメッシュ頂点、接続及び表面等を示すメッシュデータの部分集合)等が挙げられる。加えて、デプスデータ、ポイントクラウド、又はメッシュに変換可能なデータも部分3Dモデルデータに含まれる。例えば、異なる位置から同一対象撮影した画像データの集合からはステレオマッチングによりデプスデータが抽出できるため、当該画像データの集合も部分3Dモデルデータに含まれる。また、例えば、同一の位置から異なる焦点距離で対象を撮影した画像データの集合からもデプスデータが抽出できるため、当該画像データの集合も部分3Dモデルデータに含まれる。

0018

図1は、部分3Dモデルデータの例を示す図である。図1が示す3Dモデルデータ(メッシュ)は、太枠Bで囲われた表示対象の部分が部分3Dモデルデータの一例であり、太枠Aで囲われた図が、当該部分3Dモデルデータの拡大図である。

0019

また、本願明細書における用語「参照モデル」とは、部分3Dモデルデータを統合して作成される表示対象の部分又は全体を表現する3Dモデルを示す。

0020

また、本願明細書における用語「再生デプス」とは、再生視点から表示対象の各部分までのデプス(奥行き)を示す。

0021

〔実施形態1〕
(画像処理装置2)
本実施形態に係る画像処理装置2について、図2を参照して詳細に説明する。図2は、本実施形態に係る表示装置1の構成を示すブロック図である。図2が示すように、表示装置1は、画像処理装置2及び表示部3を備えている。画像処理装置2は、取得部4、受付部5、更新部6(請求項における生成部に相当)、視点デプス合成部7、及び再生視点画像合成部8を備えている。

0022

取得部4は、表示対象の画像データ、及び当該表示対象の3次元形状を部分的に示す複数の部分3Dモデルデータを取得する。複数の部分3Dモデルデータの取得に関して、より詳細には、取得部4は、所定順序における順番に関連付けられた複数の部分3Dモデルデータを取得する。当該構成について、例えば、取得部4は、それぞれ異なる時刻に関連付けられた複数の部分3Dモデルデータを、当該時刻に対応する順番で取得する。なお、ここにおける「時刻」については後述する。

0023

受付部5は、画像処理装置2の外部から再生視点(再生視点に関する情報)を受け付ける。

0024

更新部6は、取得部4が取得した部分3Dモデルデータを参照して、参照モデルを更新する。より詳細には、更新部6は、取得部4が取得した部分3Dモデルデータに関連付けられた上述の順番で、当該部分3Dモデルデータを参照して参照モデルを更新する。

0025

視点デプス合成部7は、受付部5が受け付けた再生視点と、更新部6が更新した参照モデルとを参照して、再生視点から表示対象の各部分までのデプスである再生デプスを合成する。

0026

再生視点画像合成部8は、受付部5が受け付けた再生視点と、取得部4が取得した画像データと、視点デプス合成部7が合成した再生デプスとを参照して、再生視点からの表示対象を示す再生視点画像を合成する。

0027

表示部3は、再生視点画像合成部8が合成した再生視点画像を表示する。表示部3の例として、ヘッドマウントディスプレイ等が挙げられる。

0028

(画像処理方法)
本実施形態に係る画像処理装置2による画像処理方法について、図3を参照して説明する。図3は、本実施形態に係る画像処理装置2による画像処理方法の一例を説明するフローチャート図である。

0029

まず、図3が示すように、受付部5は、画像処理装置2の外部から再生視点(再生視点に関する情報)を受け付ける(ステップS0)。受付部5は、受け付けた再生視点を、取得部4、視点デプス合成部7及び再生視点画像合成部8に送信する。なお、受付部5が受け付ける再生視点は、表示装置1の使用者が設定した再生視点であってもよく、表示装置1が指定した再生視点であってもよい。

0030

次に、取得部4は、表示対象の画像データ、及び当該表示対象の3次元形状を部分的に示す部分3Dモデルデータを取得する(ステップS1)。取得部4が取得する複数の部分3Dモデルデータ(単一又は少数の部分3Dモデルデータ)にはそれぞれ時刻が関連付けられている。なお、ここにおける複数の部分3Dモデルデータは、それぞれ、表示対象の異なる部分を示すデータであることが好ましい。また、部分3Dモデルデータに関連付けられた時刻は、例えば、デプスデータが示す画像を表示するべき表示時刻である。また、必ずしも時刻に限らず、所定順序(例えば表示順)における順番が関連付けられていてもよい。

0031

次に、取得部4は、取得した画像データのうちで復号する画像データを、受付部5が受け付けた再生視点に応じて選択する(ステップS2)。なお、ステップS2の代わりに、ステップS1において、取得部4は、受付部5が受け付けた再生視点に応じた画像データを選択して取得してもよい。

0032

次に、取得部4は、選択した画像データと、取得した部分3Dモデルデータとを復号する(ステップS3)。そして、取得部4は、復号した画像データを再生視点画像合成部8に送信し、復号した部分3Dモデルデータを更新部6に送信する。

0033

次に、更新部6は、取得部4から受信した部分3Dモデルデータに関連付けられた時刻(所定順序における順番)に応じて、当該部分3Dモデルデータを参照して、参照モデルを更新する(ステップS4)。また、好ましくは、ステップS4において、更新部6は、取得部4から部分3Dモデルデータを受信する毎に(つまり、取得部4が部分3Dモデルデータを取得する毎に)、当該部分3Dモデルデータを参照して、参照モデルを更新する。そして、更新部6は、更新した参照モデルを視点デプス合成部7に送信する。なお、ステップS4の工程を行う際に参照モデルがまだ生成されていない場合、更新部6は、取得部4から受信した部分3Dモデルデータを参照モデルとして視点デプス合成部7に送信してもよい。

0034

次に、視点デプス合成部7は、受付部5から受信した再生視点と、更新部6が更新した参照モデルとを参照して、再生視点から表示対象の各部分までのデプスである再生デプスを合成する(ステップS5)。そして、視点デプス合成部7は、合成した再生デプスを再生視点画像合成部8に送信する。

0035

次に、再生視点画像合成部8は、受付部5から受信した再生視点と、取得部4から受信した画像データと、視点デプス合成部7から受信した再生デプスとを参照して、再生視点からの表示対象を示す再生視点画像を合成する(ステップS6)。そして、再生視点画像合成部8は、合成した再生視点画像を表示部3に送信する。表示部3は、再生視点画像合成部から受信した再生視点画像を表示する。

0036

なお、上記のステップS0からステップS6までの工程によって、再生視点画像の各フレームが合成される。そして、ステップS0からステップS6までの工程は、表示装置1による映像の再生が終了するまで繰り返し実行される。

0037

(優先して取得する部分3Dモデルデータ)
以下で、ステップS1において取得部4が複数の部分3Dモデルデータのうちで優先して取得するデータについて説明する。

0038

例えば、取得部4が任意の順番で部分3Dモデルデータを取得した場合、適用される再生視点によっては、再生視点映像の合成に必要な情報(及び参照モデルの合成に必要な情報)が揃わない状況が発生するという問題がある。そこで、取得部4は、以下で例示する順序又はこれらの組み合わせで、部分3Dモデルデータを取得することが好ましい。なお、当該項目で説明する構成は、取得部4が後述する画像送信装置41に必要な部分3Dモデルデータを要求することによって実現してもよいし、画像送信装置41によって必要な部分3Dモデルデータを順次送信することによって実現してもよい。

0039

(1)再生視点に関連する部分を優先する
例1:取得部4は、ステップS1において、ステップS0で受付部5が受け付けた再生視点に相対する表示対象の部分を示す部分3Dモデルデータを優先して取得する。

0040

例2:取得部4は、ステップS1において、ステップS0で受付部5が受け付けた再生視点の初期視点(再生視点画像の再生開始時の視点)に相対する表示対象の部分を示す部分3Dモデルデータを優先して取得する。

0041

例3:取得部4は、ステップS1において、ステップS0で所定の視点に相対する上記表示対象の部分を示す部分3Dモデルデータを優先して取得する。なお、ここにおける所定の視点(いわゆる、既定標準視点又はおすすめ視点(推奨視点))は、表示装置1の使用者が設定したものであってもよく、表示装置1が設定したものであってもよい。

0042

なお、上記例において、特定視点に相対する部分3Dモデルデータとは、特定視点から観察可能な3Dモデルの部分を含む部分3Dモデルデータを示す。また、特定視点に相対する部分3Dモデルデータを優先して取得することは、例えば、特定視点に相対する部分3Dモデルデータを、特定視点に相対しない部分3Dモデルデータよりも先に取得することを意味する。または、特定視点に相対する部分3Dモデルデータを優先して取得することは、例えば、所定の時間区間において、特定視点に相対する部分3Dモデルデータを、特定視点に相対しない部分3Dモデルデータよりも多数受信することを意味する。

0043

当該例1〜3の構成のうち、少なくとも1つ以上の構成を採用することにより、再生視点映像の合成に必要な部分3Dモデルデータを、適宜、準備することができる。

0044

(2)粗い部分3Dモデルデータを優先する
例1:取得部4は、表示対象のより広い部分に対応し且つ規定の間隔で間引かれた頂点情報を含む部分3Dモデルデータを優先して取得する。

0045

当該例1の構成を採用することによって、帯域の制限により取得可能な部分3Dモデルデータの情報量が限定されている状況において、再生視点の移動が頻繁に生じた場合でも、再生視点画像合成に必要な表示対象の部分に対応する部分3Dモデルデータが存在せずに再生視点画像の画質が著しく劣化することを抑制できる。

0046

(参照モデル更新処理の具体例)
以下で、ステップS4において更新部6が参照モデルを更新する方法の具体例について説明する。まず、ステップS4において更新部6が参照モデルを更新する際に参照する部分3Dモデルデータの具体例について説明する。

0047

例えば、部分3Dモデルデータは、参照モデルと部分3Dモデルデータとの位置関係(相対位置)を示す情報を含む。当該情報は、下記の式(1)で表される。

0048

O1 = {xo1, yo1, zo1}, O2 = {xo2, yo2, zo2} …式(1)
O1及びO2は、それぞれ、参照モデルを含む空間における2点を示し、当該2点で定まる直方体の範囲が、参照モデルに対する部分3Dモデルデータの配置を示す。

0049

また、例えば、部分3Dモデルデータは、参照モデルを更新する方法に関する情報を含む。当該情報は、更新方法種別を示し、当該種別の例として、参照モデルに部分3Dモデルデータを追加することによる更新方法、又は参照モデルの一部を部分3Dモデルデータで置換することによる更新方法等が挙げられる。

0050

また、例えば、部分3Dモデルデータは、下記の式(2)〜(4)で示される部分3Dモデルの3次元形状を示す情報を含む。

0051

Vs = {Vs1, Vs2, …} …式(2)
Es = {Es1, Es2, …} …式(3)
Esn= {In1, In2, In3} …式(4)
Vsは、部分3Dモデルの頂点情報(頂点の集合)を示す。Esは、部分3Dモデルの隣接する各頂点を接続する頂点接続情報三角形の集合)を示す。Esnは、これらの三角形の各頂点を指定するインデックスを示す。

0052

次に、ステップS4において更新部6が更新する参照モデルの具体例について説明する。例えば、参照モデルは、参照モデルの3次元形状を示す情報を含む。当該情報の例として、頂点情報Vr及び頂点接続情報Er等が挙げられる。

0053

次に、上記の部分3Dモデルデータ及び参照モデルを用いたステップS4の具体例を説明する。例えば、ステップS4では、更新部6が下記の(1)〜(4)を順次実行する。(1)更新部6は、上述の参照モデルと部分3Dモデルデータとの相対位置を示す情報O1及びO2が示す範囲に対応する参照モデルの範囲を、処理対象範囲に設定する。
(2)更新部6は、上述の更新方法の種別を示す情報が「置換」の場合、(1)で設定した処理対象範囲の頂点情報及び頂点接続情報を消去する。
(3)更新部6は、部分3Dモデルデータが含む頂点情報Vs及び頂点接続情報Esを、参照モデルに追加する。これにより、参照モデルの頂点情報Vr及び頂点接続情報Erは、下記の式(5)及び(6)の和集合で示される。

0054

Vr = Vr U Vs' …式(5)
Er = Er U Es' …式(6)
なお、上記の式(5)におけるVs’は、Vsの各頂点に変異O1を加算した点の集合である。上記の式(6)におけるEs’の頂点インデックスは、Esの頂点インデックスを、更新されたVrにおける頂点インデックスに更新したものである。
(4)更新部6は、(3)の処理後の参照モデルにおいて、処理対象範囲の境界付近の頂点を走査し、互いに隣接し且つ未接続の頂点を接続して、当該接続情報をErに追加する。

0055

なお、上記の参照モデルの更新方法は一例であり、部分3Dモデルデータに基づいて、参照モデルデータの内容を修正する別の方法を用いても構わない。

0056

(実施形態1のまとめ)
以上のように、本実施形態に係る画像処理装置2は、表示対象の3次元形状を部分的に示す複数の部分3Dモデルデータであって、所定順序における順番に関連付けられた複数の部分3Dモデルデータを取得し、部分3Dモデルデータに関連付けられた順番で、当該部分3Dモデルデータを参照して参照モデルを更新する。そして、画像処理装置2は、画像データと更新した参照モデルとを参照して、再生視点からの表示対象を示す再生視点画像を合成する。

0057

上述の背景技術で説明したDIBRで利用されるデプスは、特定視点からの表示対象を示す3D情報しか含んでおらず、表示対象を回り込んで見るようなサービスの実現には不向きであった。しかし、本実施形態に係る画像処理装置2では、表示対象の3次元形状を部分的に示す複数の部分3Dモデルデータによって生成された参照モデルを参照して再生視点画像を合成するため、種々の視点からの再生視点画像を好適に合成することができる。

0058

また、本実施形態に係る画像処理装置2は、表示対象の3次元形状を部分的に示す複数の部分3Dモデルデータを取得する。そのため、表示対象の3次元形状の全体を示す3Dモデルデータを各時点で受信する場合に比べて、取得する3Dモデルデータのデータ量を削減できる。

0059

また、本実施形態に係る画像処理装置2は、部分3Dモデルデータに関連付けられた順番で、当該部分3Dモデルデータを参照して参照モデルを更新する。当該構成により、従来技術のように単一の3Dモデルデータを用いて再生視点画像を合成する構成において生じた、3Dモデルデータのサンプル数又は精度に起因する再生視点画像の品質低下を防ぎ、高品質な再生視点画像を合成できる。

0060

〔実施形態2〕
実施形態1で説明したように、再生視点に応じて、特定の部分3Dモデルデータを優先して取得する構成を採用した場合、更新された参照モデルの状態が過去の再生視点の選択結果に依存する。そのため、過去の再生視点の履歴が異なる場合、同時刻及び同視点における映像の再生結果振れ幅が大きくなり、再生結果の保証が困難になるという問題がある。そこで、本実施形態に係る画像処理装置11は、再生視点に依存せずに、複数の部分3Dモデルデータを取得する。

0061

上記のような本発明の実施形態2について、図面に基づいて説明すれば、以下のとおりである。なお、実施形態1にて説明した画像処理装置2が備えている部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。

0062

(画像処理装置11)
本実施形態に係る画像処理装置11について、図4を参照して説明する。図4は、本実施形態に係る表示装置10の構成を示すブロック図である。図4が示すように、表示装置10は、画像処理装置11が推定部9(請求項における生成部に相当)をさらに備えていること以外は、実施形態1に係る表示装置1と同様の構成を有している。なお、本実施形態において、図4に示されたデータA及びデータBは、表示対象の3次元形状を部分的に示すデプス(デプスデータ)、及び当該デプスの視点に関する視点情報である。

0063

推定部9は、取得部4が取得したデプス及び視点情報と、更新部6が直前に更新した参照モデルとを参照して、当該参照モデルと、当該デプスに対応する時点における3Dモデル(ライブモデル)との位置関係を示すワープフィールドを推定する。なお、ここにおけるワープフィールドについては後述する。

0064

(画像処理方法)
本実施形態に係る画像処理装置11による画像処理方法について、図5を参照して、詳細に説明する。図5は、本実施形態に係る画像処理装置11による画像処理方法の一例を説明するフローチャート図である。なお、実施形態1に係る画像処理方法と同様の工程については、詳細な説明は省略する。

0065

まず、図5が示すように、受付部5は、画像処理装置11の外部から再生視点(再生視点に関する情報)を受け付ける(ステップS10)。受付部5は、受け付けた再生視点を、取得部4、視点デプス合成部7及び再生視点画像合成部8に送信する。

0066

次に、取得部4は、表示対象の画像データ、当該表示対象の3次元形状を部分的に示すデプス(所定順序における順番に関連付けられたデプス)、及び当該デプスの視点に関する情報(視点情報)を取得する(ステップS11)。デプス及び視点情報の取得に関して、より詳細には、取得部4は、ステップS10で受付部5が受け付けた再生視点に依存せずに、デプス(部分3Dモデルデータ)及び視点情報を取得する。

0067

次に、取得部4は、取得した画像データのうちで復号する画像データを、受付部5が受け付けた再生視点に応じて選択する(ステップS12)。

0068

次に、取得部4は、選択した画像データ、並びに、取得したデプス及び視点情報を復号する(ステップS13)。そして、取得部4は、復号した画像データを再生視点画像合成部8に送信し、復号したデプス及び視点情報を推定部9に送信する。

0069

次に、推定部9は、取得部4から受信したデプスに関連付けられた順番で、当該デプス及び視点情報と、更新部6が直前に更新した参照モデルとを参照して、当該参照モデルと、当該デプスに対応する時点における3Dモデル(ライブモデル)との位置関係を示すワープフィールドを推定する(ステップS14)。なお、ここにおけるワープフィールドについては後述する。

0070

次に、更新部6は、推定部9が推定したワープフィールドを参照して、参照モデルを更新する(ステップS15)。より詳細には、更新部6は、デプスをワープフィールドに基づいて変換することにより参照モデルを更新する。参照モデルは、変換されたデプスが参照モデルの表面の一部となるように更新される。

0071

次に、視点デプス合成部7は、受付部5から受信した再生視点と、更新部6が生成したライブモデルとを参照して、再生視点から表示対象の各部分までのデプスである再生視点デプスを合成する(ステップS16)。そして、視点デプス合成部7は、合成した再生視点デプスを再生視点画像合成部8に送信する。

0072

次に、再生視点画像合成部8は、受付部5から受信した再生視点と、取得部4から受信した画像データと、視点デプス合成部7から受信した再生視点デプスとを参照して、再生視点からの表示対象を示す再生視点画像を合成する(ステップS17)。そして、再生視点画像合成部8は、合成した再生視点画像を表示部3に送信する。表示部3は、再生視点画像合成部から受信した再生視点画像を表示する。

0073

(ワープフィールド)
以下で、上述のステップS14及びステップS15で用いられるワープフィールドについて、詳細に説明する。CGの分野では、デプスを統合することで3Dモデルを構築するDynamicFusionという手法が検討されている。DynamicFusionの目的は、主に、撮影デプスからリアルタイムノイズ除去した3Dモデルを構築することである。DynamicFusionでは、センサから取得されるデプスを3D形状の変形を補償した上で共通の参照モデルに統合する。これにより、低解像度及び高ノイズのデプスから精密な3Dモデルの生成が可能となる。

0074

より詳細には、DynamicFusionでは、以下の(1)〜(3)の工程を行う。
(1)入力デプス(current depth)と基準3Dモデル(canonical model)とに基づいてカメラ位置及び動きフローを推定し、3Dモデル(current model)を構築する。
(2)3Dモデルを視点に合わせてレンダリングして、更新されたデプスを再生デプスとして出力する。
(3)(1)で構築した3Dモデルを、3Dモデルのカメラ位置及び3Dモデルの変形を補償した上で基準3Dモデルに統合する。

0075

上記の(1)について、本実施形態に係る画像処理方法では、ステップS14において、推定部9は、取得部4から受信したデプス(入力デプス)及び視点情報と、更新部6が直前に更新した参照モデルとを参照して、当該参照モデルと、当該デプスに対応する3Dモデル(ライブモデル)との位置関係を示すワープフィールドを推定する。ここにおけるワープフィールドは、空間の各点で規定される変換(例えば、回転及び並進)の集合であり得る。

0076

ステップS14について、より詳細には、推定部9は、参照モデル上の各点において、変換後の点が入力デプスと近づくような変換(ワープフィールド)を導出する。当該導出処理は、例えば、参照モデルにおける変換後の点と対応するデプスとの距離を評価値とする二乗誤差の最小化を解くことで実現できる。

0077

そして、ステップS15において、更新部6は、ステップS14で推定部9が導出したワープフィールドで参照モデルを変換することにより、ライブモデル(現時刻における3Dモデル)を生成する。また、更新部6は、デプス及びワープフィールドを参照して参照モデルを更新する。例えば、ここにおける参照モデルは、空間中の各ボクセルにおけるモデル表面の存在確立として表現される(TSDF: Truncated Signed Distance Functionによる表現)。

0078

図6は、ステップS15を図式化したものである。ステップS15について、より詳細には、更新部6は、ボクセルをワープフィールドにより変換し、変換後のボクセルに入力デプスで表現される点が存在するか否かを判定し、当該判定結果に応じて、ボクセルにおける表面の存在確率を更新する。

0079

(デプス及び視点情報の具体例)
以下で、上述のステップS11で取得部4が取得するデプス及び視点情報の具体例について詳細に説明する。

0080

ステップS11で取得部4が取得するデプス(デプスデータ)は、視点情報と関連付けられた視点位置からのシーン(表示対象)のデプスを記録した画像である。視点情報は、当該デプスの視点(デプス視点)の位置及び方向を特定する情報である。本実施形態に係る画像処理装置11がこの視点情報を用いることにより、デプス視点の推定処理を省略できるため、再生時の負荷が低減することができる。

0081

視点情報について、より詳細に説明する。一態様において、視点情報は、デプス視点の座標又は変位によって表現される。例えば、視点情報は、各時刻のデプス視点の位置をデータに含む。又は、視点情報は、各時刻のデプス視点の所定視点位置からの変位をデータに含む。所定視点位置としては、例えば、直前の時刻の視点位置、又は既定の視点位置を用いることができる。

0082

また、別の態様において、視点情報は、パラメータ又は関数によって表現される。例えば、視点情報は、時刻とデプス視点の位置との関係を表す変換式を特定する情報をデータに含む。当該情報の例として、各時刻における、表示対象の中心位置とデプス視点の周回軌道とを特定する情報が挙げられる。図7は、当該情報の例を図式化したものである。図7において、表示対象の中心位置(球の中心位置)が位置Cで示され、位置Cを中心とした半径rの球上の位置に、各時刻(t)におけるデプス視点が示されている。

0083

また、時刻とデプス視点の位置との関係を表す変換式を特定する情報の別の例として、デプス視点の軌道及び速度を指定する情報が挙げられる。例えば、当該情報は、カメラ位置の軌道の式、対象視点の軌道の式、カメラ移動速度又は視点移動速度等であり得る。

0084

また、時刻とデプス視点の位置との関係を表す変換式を特定する情報は、各時刻における既定の位置パターンを選択する情報であってもよい。

0085

次に、図8を参照して、ステップS11で取得部4が取得するデプス及び視点情報のデータ構成について説明する。図8の(a)〜(d)は、それぞれ、ステップS11で取得部4が取得するデプス及び視点情報のデータ構成の例を示す図である。

0086

例えば、図8の(a)が示すように、各時刻(t)における視点情報Ptは、各時刻におけるデプスデータDtとインタリーブ交互配置)されている。また、別の例では、図8の(b)が示すように、時刻0から時刻tまでの視点情報Pは、ヘッダに格納されている。

0087

図8の(a)及び(b)における視点情報Ptは、時刻tにおけるカメラ外部パラメータを含む。例えば、当該外部パラメータは、空間内の視点位置を示す情報であり得る(例:xyz空間内の点の位置 p={px, py, pz})。また、例えば、当該外部パラメータは、視線方向を示す情報であり得る(例:xyz空間のベクトルv={vx, vy, vz})。また、図8の(a)及び(b)における視点情報Ptは、時刻tにおけるカメラの外部パラメータを表す別の表現のデータであってもよい。例えば、当該データの例として、既定カメラ位置に対する回転又は並進を示すデータであってもよい。また、視点情報Ptは、カメラの外部パラメータとは別に、カメラの内部パラメータ(例えば、カメラの焦点距離)をさらに含んでもよい。

0088

また、別の例では、図8の(c)が示すように、時刻t=0における視点情報P0と、当該視点情報P0からの各変位dPt,t−1とが、各時刻におけるデプスデータDtとインタリーブされている。また、別の例では、図8の(d)が示すように、視点情報P0からの各変位dPt,t−1は、ヘッダに格納されている。

0089

図8の(c)及び(d)における視点情報は、特定の時刻の視点位置と時刻間の視点の変位(視点変位dPt,u)とを含む。視点変位dPt,uは、時刻uから時刻tのカメラ位置及び方向の変化(視点位置変位及び視線方向変位)を示す。ここにおける視点位置変位とは、空間内の視点位置の変化を示す情報を示す(例:xyz空間のベクトルdp={dpx, dpy, dpz})。また、ここにおける視線方向変位とは、視線方向の変化を示す情報を示す(例:xyz空間の回転行列R)。

0090

上記の視点変位dPt,uと、時刻t=0における視点情報P0とを用いて、各時刻における視線位置Ptは、下記の式(7)によって求められる。

0091

pt = p0 + Σ{ dpk,k-1 } …式(7)
また、時刻間の回転を示す回転行列Rt,t−1を用いて、各時刻における視線方向Vtは、下記の式(8)によって求められる。

0092

vt = Rt,t-1vt-1 …式(8)
本実施形態に係る画像処理装置11は、視点情報として、上記のような視点位置変位及び視線方向変位を用いる。これにより、表示対象が変わる場合などの、座標系が変わる場合において、初期の視点位置のみを変更すればよく、視点位置変位としては、座標系が変わる前の視点位置変位と同一のものが利用できるため、視点情報の変更が少なくて済むという効果を奏する。

0093

(優先して取得するデプス)
以下で、ステップS11において、取得部4が複数のデプスのうちで優先して取得するデプスについて説明する。

0094

例えば、取得部4は、複数のデプスのうちで取得するデプスの順序として、視点情報が示すデプスの視点に応じた順序でデプスを取得する。より詳細には、取得部4は、ある線分上に配置された視点位置(視点情報が示す視点位置)のうちで、初めに初期位置の視点のデプスを取得し、続いて、初期位置の視点から離れた視点位置のデプスを優先して取得する。図9は、当該構成を図式化したものである。図9において、対象Oと、線分上に配置され且つ当該対象Oに相対した各時刻(t=1〜5)の視点位置と、が示されている。

0095

例えば、取得部4は、初期位置の視点からのデプスとして、t=1の視点のデプスを取得した場合、初期位置から遠い位置の視点のデプス(t=2又は3の視点のデプス)を取得する。次に、取得部4は、中間位置の視点のデプス(t=4又は5の視点のデプス)を取得する。

0096

上記のように、取得部4が、複数のデプスのうちで取得するデプスの順序として、視点情報が示すデプスの視点に応じた順序でデプスを取得することにより、表示対象のモデル形状の概要を短い時間で構築できるという効果を奏する。

0097

また、例えば、図9が示すような構成において、取得部4は、t=1〜5の各視点のデプスを、上述の順序で繰り返し取得してもよい。その場合、取得部4は、t=1のデプスの取得からt=5のデプス(又はt=4のデプス)の取得までの周期Tpをさらに取得し、当該周期で、t=1〜5の各視点のデプスを繰り返し取得する。この手順によれば、途中からデプスを受信する際にもモデル形状の概要を短い時間で構築できるという効果を奏する。

0098

また、例えば、図9が示すような構成において、取得部4は、t=4又は5の視点のデプスを取得した後に、次に取得したデプスの視点と、取得済みのt=1〜5のデプスの何れかの視点との間隔が所定の間隔(最小視点間隔)以下である場合、t=1〜5の各視点のデプスを繰り返し取得してもよい。その場合、取得部4は、上記の最小視点間隔をデータとしてさらに取得してもよい。

0099

なお、図9が示すような構成において、取得部4が取得する、線分上に配置された視点位置のデプスは、部分曲線上に配置された視点位置のデプス、部分平面上に配置された視点位置のデプス、部分曲面上に配置された視点位置のデプス、又は部分空間上に配置された視点位置のデプスであってもよい。その場合、取得部4は、部分曲線上、部分平面上、部分曲面上又は部分空間上に配置された視点位置(視点情報が示す視点位置)のうちで、初期位置の視点から離れた視点位置のデプスを優先して取得する。また、取得部4は、取得済みのデプスの視点群から離れた視点のデプスを優先して取得してもよい。また、取得部4は、指定個数のデプスの視点群、又は取得済みのデプスの各視点からの距離が所定以下の視点位置のデプスを取得した場合、初期位置の視点のデプスから、再度、取得済みのデプスを繰り返し取得してもよい。

0100

また、別の態様では、ステップS11で取得部4が取得するデプスの視点は、視線として共通の対象点(表示対象の位置を示す点)の方向を向いている。その場合、取得部4は、当該対象点の情報を取得し、当該情報を参照して、取得するデプスの順序を決定する。なお、ここにおける取得部4がデプスを取得する順序は、当該対象点に対して種々の視線方向のデプスを取得できるような順序であることが好ましい。図10は、当該構成を図式化したものである。図10において、視点Pt1〜Pt8は、それぞれ視線として対象点Pcの方向を向いている。

0101

図10が示すような構成において、まず、取得部4は、対象点の位置Pcを取得する。次に、取得部4は、Pt1の視点位置(時刻t=1における視点位置)のデプスを取得する。次に、取得部4は、取得済みのデプス(Pt1のデプス)の視線方向の向きとは最も異なる向きの視線方向を向いたPt2のデプスを取得する。そして、取得部4は、取得済みのデプスの視線方向の向きとは最も異なる向きの視線方向を向いた視点のデプスを取得する工程を繰り返し実行する。取得部4は、取得したデプスの視線と、所定数のデプスの視線又は取得済みのデプスの視線との差分が所定の値以下になるまで、当該工程を繰り返し実行してもよい。

0102

また、取得部4は、ステップS11において、デプス視点設定可能範囲の情報をさらに取得し、当該情報が示す範囲内となるような制約の元で、デプス及び視点情報を取得してもよい。

0103

また、取得部4は、ステップS11において、対象点の情報(対象点の位置等)と共に、表示対象の形状を示す情報を取得してもよい。当該情報の例として、対象点を中心とする球又は矩形の形状を示す情報、対象点を基準位置とする3Dモデルを示す情報等が挙げられる。取得部4が表示対象の形状を示す情報を取得する場合、表示対象の表面がより少ない視点数カバーされるような順で、各視点のデプスを取得してもよい。

0104

また、取得部4は、ステップS11において、表示対象からより離れた距離の視点のデプスを優先して取得してもよい。その場合、取得部4は、ステップS11において、前回取得したデプスの視点よりも、表示対象に近い視点のデプスを取得する。図11は、当該構成を図式化したものである。図11において、時刻t=1〜6における各視点は、視線方向として、表示対象Oの方向を向いている。ステップS11において、まず、取得部4は、表示対象から最も遠い位置の視点のデプス(t=1〜3の視点のデプス)を優先して取得する。次に、取得部4は、取得済のデプスの視点よりも、表示対象に近い視点のデプス(t=4〜6の視点のデプス)を取得する。以上のような構成を採用することにより、表示対象から離れている方が広い空間範囲のデプスを含んでいるため、それを先に取得することで、より少ないデプスの数で参照モデルの概略形状を構築できる。また、その後に空間解像度の高いデプス(表示対象により近いデプス)を取得することで、参照モデルの形状をより精密に更新できる。

0105

(変形例)
以下で本実施形態に係る変形例について説明する。本変形例においても、図4に示す画像処理装置11を用いるが、図4におけるデータA及びデータBは、デプスのみであり、当該デプスの視点に関する情報(視点情報)を含まない。そして、当該構成において、上述のステップS14において、推定部9は、ワープフィールドを推定することに加えて、取得部4から受信したデプスを参照して、当該デプスの視点情報もさらに推定する。これにより、ステップS14以降の各ステップも、上述の通りの方法で実行可能である。

0106

上記のような構成を採用することにより、ワープフィールド推定の処理量は増えるが、視点情報を取得する必要がないため、データ量の削減が可能である。

0107

(実施形態2のまとめ)
以上のように、本実施形態に係る画像処理装置11は、再生視点に依存せずに、上記複数の部分3Dモデルデータを取得する。これにより、過去の再生視点の履歴が異なっていても、再生視点に依存しない部分3Dモデルデータによって参照モデルを合成するため、同一の部分3Dモデルデータを取得した場合、同時刻及び同視点における映像の再生結果は、同一になるという効果を奏する。

0108

また、本実施形態に係る画像処理装置11は、デプスに関連付けられた順番で、当該デプス及び参照モデルを参照して、当該参照モデルと、当該デプスに対応する参照モデルとの位置関係を示すワープフィールドを推定し、当該ワープフィールドを参照して参照モデルを更新する。これにより、部分3Dモデルデータとしてデプスを用いる構成において、デプスからリアルタイムでノイズが除去された参照モデルを構築することができるため、高品質な再生視点画像を合成できる。

0109

また、本実施形態に係る画像処理装置11は、デプスと共に、当該デプスの視点に関する視点情報を取得する。これにより、視点情報が示すデプスの視点に応じて、デプスを選択して取得することができるため、再生視点に応じた参照モデルの構築に必要なデプスを優先して取得することができる。従って、高品質な再生視点画像を合成できる。

0110

〔実施形態3〕
上述の実施形態1又は実施形態2において、取得部4が複数の部分3Dモデルデータ(デプス等)をそれぞれ異なる時点で取得するため、部分3Dモデルデータの受信開始後、一定の時間が経つまでは、必要な部分3Dモデルデータが揃っていないため、合成された参照モデルが不完全であり、最終的に合成される再生視点画像の画質が低下するという問題がある。そのため、本実施形態では、処理開始時に初期参照モデル構築用の複数の部分3Dモデルデータを取得し、当該初期参照モデル構築用の複数の部分3Dモデルデータを参照して、初期参照モデルを生成する。例えば、再生視点画像を表示する前に、複数の部分3Dモデルデータの一部を初期参照モデル構築要のデータとして取得し、当該複数の部分3Dモデルデータを参照して、初期参照モデルを生成する。

0111

本発明の実施形態3について、図面に基づいて説明すれば、以下のとおりである。なお、本実施形態においても、上述の実施形態1に係る画像処理装置2又は実施形態2に係る画像処理装置11を用いることができる。そのため、以下の説明では、図4が示す画像処理装置11を備えている表示装置10を用いて説明し、表示装置10が備えている各部材についての説明は省略する。

0112

以下で、本実施形態に係る画像処理装置11による画像処理方法について、図12及び図13を参照して説明する。図12は、本実施形態に係る画像処理装置11による画像処理方法の概要を説明するフローチャート図である。図12におけるステップS21のフレーム合成は、上述のステップS10〜ステップS17の工程と同様である。図12が示すように、ステップS21のフレーム合成は、繰り返し実行される。また、図13は、図12が示すステップS20のモデル初期化をより具体的に説明するフローチャート図である。つまり、本実施形態では、上述のステップS10〜S17の工程を実行する前に、以下で説明するステップS30〜S35の工程を実行する。

0113

まず、受付部5は、画像処理装置11の外部から再生視点(再生視点に関する情報)を受け付ける(ステップS30)。なお、この再生視点は再生開始時の視点であるため、以下では開始再生視点とも呼ぶ。受付部5は、受け付けた再生視点を、取得部4、視点デプス合成部7及び再生視点画像合成部8に送信する。

0114

次に、取得部4は、表示対象の3次元形状を部分的に示すデプス(所定順序における順番に関連付けられた部分3Dモデルデータ)、及び当該デプスの視点に関する情報(視点情報)を取得する(ステップS31)。より詳細には、取得部4は、受付部5が受け付けた再生視点に応じて、初期参照モデル構築用のデプス及び視点情報を選択して取得する。なお、ステップS31では、上述のステップS1又はステップS11と異なり、取得部4は、表示対象の3次元形状の部分を示す複数の部分3Dモデルデータを一度に取得してもよい。また、ステップS31において、取得部4は、デプス及び視点情報に加えて、表示対象の画像データをさらに取得してもよい。

0115

次に、取得部4は、取得したデプス及び当該デプスに対応する視点情報を復号する(ステップS32)。そして、取得部4は、復号したデプス及び視点情報を推定部9に送信する。

0116

次に、推定部9は、取得部4から受信したデプスに関連付けられた上記順番で、当該デプス及び視点情報と、更新部6が直前に更新した参照モデルとを参照して、当該参照モデルと、当該デプスに対応する時点における3Dモデル(ライブモデル)との位置関係を示すワープフィールドを推定する(ステップS33)。なお、ステップS33を一度も実行しておらず、直前に更新された参照モデルがまだ存在しない場合、ステップS33及び下記のステップS34を省略して、取得部4が取得したデプス自体を参照モデルとして、ステップS35以降の工程を行ってもよい。

0117

次に、更新部6は、推定部9が推定したワープフィールドを参照して、参照モデルを更新する(ステップS34)。

0118

次に、更新部6は、ステップS34で更新した参照モデルによって、参照モデルの初期化が完了したか否かを判定し(ステップS35)、初期化が完了したと判定した場合(ステップS35のYES)、上述のステップS10の工程に進み、初期化が完了していないと判定した場合(ステップS35のNO)、ステップS30の工程に戻る。ステップS30〜ステップS35の工程は、更新部6が初期化が完了したと判定するまで繰り返し実行される。そして、更新部6は、初期化が完了した時点の参照モデルを初期参照モデルに設定する。

0119

(優先して取得するデプス)
以下で、上述のステップS31において取得部4が開始再生視点に応じて取得する、初期参照モデル生成に用いるデプス及び視点情報の具体例について説明する。

0120

例えば、ステップS31において、取得部4は、送信元サーバ利用可能な画像群{Vsm}及びデプス群{Vsn}の中から、開始再生視点pcの位置に最も近い視点の画像データ及びデプスを選択して取得する。

0121

別の例では、ステップS31において、取得部4は、参照モデルの構築に有利なデプスを優先的に選択して取得する。より詳細には、取得部4は、受付部5から受信した開始再生視点の近傍にある視点のデプスのうち、直近で選択していない視点位置のデプスを優先して選択する。これにより、それぞれ異なる視点位置のデプスを取得し統合することで初期参照モデルの正確さを向上することができる。

0122

また、別の例では、ステップS31において、取得部4は、2つ以上のデプスを選択して取得する場合に、1つは開始再生視点近傍の視点位置のデプス、もう1つは取得頻度が少ない視点位置のデプスを優先的に選択して取得する。

0123

(実施形態3の具体例)
以下で、実施形態3の具体例を詳細に説明する。例えば、上述のステップS30において受付部5が受け付けた再生視点の開始位置(開始再生視点位置)に基づいて、上述のステップS31〜S34を、所定の時間、繰り返し実行する。当該構成において、取得部4は、所定のフレーム分のデプスを取得し、更新部6は、当該デプスに基づいて参照モデルを更新することにより、参照モデルの初期化を完了する。これにより、初期参照モデルが表示対象に対して正確になり、画質が向上するという効果を奏する。

0124

また、ステップS31において、取得部4は、開始再生視点位置近傍の視点位置のデプス(中間視点位置のデプス)を選択して取得してもよい。ここにおける開始再生視点位置近傍の視点位置の例として、開始再生視点位置から所定の距離内の視点位置、開始再生視点位置から近い順にN個の視点位置、又は開始再生視点位置を中心として上下左右に存在する視点位置のうちから各1個の視点位置等を挙げられる。また、上記の構成において、取得部4は、開始再生視点位置を中心とした規定の軌道上に存在する視点のデプスを順に取得してもよい。以上の構成を採用することにより、再生開始後に再生視点が移動する可能性が高い領域に存在する視点のデプスに基づいて参照モデルを構築できるため、再生開始後の画質が安定するという効果を奏する。

0125

また、ステップS31において、取得部4は、視点情報として、開始再生視点位置(受付部5がステップS30で受け付けた再生視点位置)に応じたデプスデータのリストを、送信元のサーバから取得してもよい。これにより、サーバ側で事前に参照モデル構築に有効な視点位置のデプスを選択できるため、参照モデル構築に必要なデプスデータ数を削減でき、参照モデルの初期化に要する時間を短縮できるという効果を奏する。

0126

また、ステップS31において、取得部4は、受付部5がステップS30で受け付けた再生視点の時刻である再生開始時刻とは別の時刻のデプスを取得してもよい。これにより、特定時刻での表示対象のオクルージョン部分もモデル化できるという効果を奏する。

0127

(実施形態3のまとめ)
以上のように、本実施形態に係る画像処理装置11を備えている表示装置10は、処理開始時に初期参照モデル構築用の複数の部分3Dモデルデータを取得し、当該初期参照モデル構築用の複数の部分3Dモデルデータを参照して再生開始(表示開始)時点の参照モデルである初期参照モデルを生成する。これにより、再生開始時点で、高品質な参照モデルが構築できるため、再生視点画像の再生開始時の画質が保証される。また、急激な再生視点の変化によって、新しい再生視点に応じたデプスを受信できない場合であっても、構築済みの参照モデルへのフォールバックにより、再生視点画像の品質の極端な低下を回避できる。

0128

〔実施形態4〕
本発明の実施形態4について、図面に基づいて説明すれば、以下のとおりである。なお、実施形態1〜3にて説明した画像処理装置2又は画像処理装置11が備えている部材と同じ機能を有する部材については、同じ記号を付記し、その説明を省略する。

0129

(画像処理装置21)
本実施形態に係る画像処理装置21について、図14を参照して説明する。図14は、本実施形態に係る表示装置20の構成を示すブロック図である。図14が示すように、表示装置20は、図4が示す表示装置10と比較して、画像処理装置21が視点デプス合成部7を備えていない。そのため、他の部材については、表示装置20は、図4が示す表示装置10が備えている部材と同様の部材を備えている。従って、これらの部材については、同じ記号を付記し、その説明を省略する。

0130

以下で、本実施形態に係る画像処理装置21による画像処理方法について説明する。本実施形態における画像処理方法は、ステップS14〜ステップS17以外の工程は、実施形態2で説明した画像処理方法と同様である。そのため、ステップS14〜ステップS17以外の工程については説明を省略する。

0131

まず、本実施形態の画像処理方法では、ステップS14の代わりに、推定部9は、取得部4から受信したデプス(視点情報を含んでもよい)に関連付けられた順番で、当該デプス及び画像データと、更新部6が直前に更新した参照モデルとを参照して、当該参照モデルと、当該デプス及び当該画像データに対応する時点における3Dモデル(ライブモデル)との位置関係を示すワープフィールドを推定する。

0132

次に、ステップS15と同様に、更新部6は、更新部6は、推定部9が推定したワープフィールドを参照して、参照モデルを更新する。より詳細には、更新部6は、デプスをワープフィールドに基づいて変換することにより参照モデルを更新する。そして、当該工程で生成されたライブモデルと更新された参照モデルとは、画像データが示す各画素の色情報を含んでいる。

0133

次に、ステップS16の工程を行わずに、ステップS17に相当する工程に進む。当該工程において、再生視点画像合成部8は、受付部5から受信した再生視点と、更新部6から受信したライブモデルとを参照して、再生視点からの表示対象を示す再生視点画像を合成する。

0134

(実施形態4のまとめ)
以上のように、本実施形態に係る画像処理装置21は、画像データをさらに参照して参照モデルを更新する。これにより、画像データの情報を含んだ参照モデルを構築することができる。従って、画像データの切り替えに時間がかかる場合でも、画像データの情報を含む参照モデルを参照することができるため、破綻のない再生視点画像を合成することができる。

0135

〔実施形態5〕
本発明の実施形態5について、図面に基づいて説明すれば、以下のとおりである。なお、実施形態1〜4にて説明した画像処理装置2、画像処理装置11又は画像処理装置21が備えている部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。

0136

(画像処理装置31)
本実施形態に係る画像処理装置31について、図15を参照して説明する。図15は、本実施形態に係る表示装置30の構成を示すブロック図である。図15が示すように、表示装置30は、図4が示す表示装置10と比較して、画像処理装置31が視点デプス合成部7の代わりに補正部32を備えている。そのため、他の部材については、表示装置30は、図4が示す表示装置10が備えている部材と同様の部材を備えている。従って、これらの部材については、同じ記号を付記し、その説明を省略する。

0137

本実施形態に係る画像処理装置31が備えている補正部32は、受付部5が受け付けた再生視点と、更新部6が生成したライブモデルとを参照して、再生視点画像合成部8が合成した再生視点画像に対して画像補完又はフィルタ処理を行う。

0138

(画像処理方法)
以下で、本実施形態に係る画像処理装置31による画像処理方法について説明する。本実施形態における画像処理方法は、ステップS16及びステップS17以外の工程は、実施形態2で説明した画像処理方法と同様である。そのため、ステップS16〜ステップS17以外の工程については説明を省略する。

0139

まず、本実施形態の画像処理方法では、ステップS16の代わりに、再生視点画像合成部8は、取得部4から受信した画像データ及びデプス(視点情報を含んでもよい)を参照して、再生視点からの表示対象を示す再生視点画像を合成する。

0140

次に、ステップS17の代わりに、補正部32は、受付部5が受け付けた再生視点と、更新部6が生成したライブモデルとを参照して、再生視点画像合成部8が合成した再生視点画像に対して画像補完又はフィルタ処理を行う。より詳細には、補正部32は、再生視点に応じて、ライブモデルを変換し、変換後のライブモデルを参照して、再生視点画像のホール領域を埋める補間処理を行う。また、補正部32は、ライブモデルを再生視点に投影して得られる画像と再生視点画像とを比較し、特性が異なる再生視点画像上の領域に対して平滑化フィルタを適用する。

0141

(実施形態5のまとめ)
以上のように、本実施形態に係る画像処理装置31は、画像データ及び複数の部分3Dモデルデータを参照して、再生視点からの表示対象を示す再生視点画像を合成し、参照モデルを参照して、再生視点画像に対して画像補完又はフィルタ処理を行う。これにより、画像データ及び複数の部分3Dモデルデータを参照して再生視点画像を合成する構成は、既存のDIBRベースの再生画像合成システムと同様であるため、既存のDIBRベースの再生画像合成システムを少ない変更で拡張することができる。そして、拡張したシステムにおいて、参照モデルを参照して、再生視点画像に対して画像補完又はフィルタ処理を行うことにより、高品質な再生視点画像を合成できる。

0142

〔実施形態6〕
本発明の実施形態6について、図面に基づいて説明すれば、以下のとおりである。なお、本実施形態においても、上述の実施形態2に係る画像処理装置11を用いることができる。そのため、以下の説明では、図4が示す画像処理装置11を備えている表示装置10を用いて説明し、表示装置10が備えている各部材についての説明は省略する。なお、図4におけるデータAについて、本実施形態では、取得部4は、デプス等のデータAを取得しない。また、図4におけるデータBについて、推定部9が取得部4から受信するデータは、画像データのみである。

0143

以下で、本実施形態における画像処理方法について説明する。本実施形態における画像処理方法は、ステップS11〜ステップS14以外の工程は、実施形態2で説明した画像処理方法と同様である。そのため、ステップS11〜ステップS14以外の工程については説明を省略する。

0144

まず、ステップS11の代わりに、取得部4は、表示対象の画像データを取得する。

0145

次に、ステップS12と同様に、取得部4は、取得した画像データのうちで復号する画像データを、受付部5が受け付けた再生視点に応じて選択する。

0146

次に、ステップS13の代わりに、取得部4は、選択した画像データを復号する。

0147

次に、ステップS14を行う前に、推定部9は、取得部から受信した画像データを参照して、当該画像データが示す表示対象のデプス(視点情報を含んでもよい)を推定する。より詳細には、推定部9は、画像データと再生視点とのペアを内部に記録し、直近の画像データと過去の画像データとを参照して、再生視点のデプスを導出する。当該導出は、例えばステレオマッチング等の技術を適用することにより行われ得る。

0148

次に、推定部9は、推定したデプス(視点情報を含んでもよい)と、更新部6が直前に更新した参照モデルとを参照して、当該参照モデルと、当該デプスに対応する時点における3Dモデル(ライブモデル)との位置関係を示すワープフィールドを推定する。

0149

(実施形態6のまとめ)
以上のように、本実施形態に係る画像処理装置11は、画像データを参照して、表示対象の3次元形状を部分的に示す複数の部分3Dモデルデータを推定する。これにより、送信側でデプスの準備が不要になるという効果を奏する。

0150

付記事項
以下で、実施形態1〜6で説明した各構成に共通の付記事項について説明する。上述の各構成において、更新部6は、映像の再生が終了するまで参照モデルを更新し続けるが、必要に応じて、参照モデルをリセットして、再度、参照モデルを一から構築し直してもよい。当該構成の例として、例えば、ランダムアクセスが可能な時刻が指定されており、取得部4がランダムアクセスにより部分3Dモデルデータを取得し始めた時刻において、更新部6は、直前まで更新した参照モデルをリセットする。

0151

また、更新部6が更新する参照モデルは、必ずしもシーン内物体を直接表現するモデルでなくてもよい。例えば、シーン内の前景又は背景に相当するような平面又は曲面の位置及び形状も参照モデルに含まれる。

0152

〔画像送信装置〕
以下で、実施形態1〜6で説明した各構成において取得部4が取得する部分3Dモデルデータを送信する画像送信装置について、図16を参照して説明する。図16は、上述の表示装置1、10、20又は30と、画像送信装置41(請求項における送信部を兼ねる)とを含む画像送受信システム40の構成を示すブロック図である。

0153

図16が示す画像送受信システム40において、画像送信装置41は、表示対象の画像データ、及び当該表示対象の3次元形状を部分的に示す複数の部分3Dモデルデータを送信する。より詳細には、画像送信装置41は、表示対象の3次元形状を部分的に示す複数の部分3Dモデルデータであって、所定順序における順番に関連付けられた複数の部分3Dモデルデータを送信する。

0154

なお、上述の実施形態1〜3において、取得部4が特定の部分3Dモデルデータを優先して取得する構成について説明した。これらの構成と同様の構成を、画像送信装置41にも適用できる。より詳細には、画像送信装置41は、複数の部分3Dモデルデータのうちで、再生視点に相対する表示対象の部分を示す部分3Dモデルデータ、再生視点の初期視点に相対する表示対象の部分を示す部分3Dモデルデータ、及び所定の視点(例えば、推奨視点)に相対する表示対象の部分を示す部分3Dモデルデータ、の少なくとも1つ以上のデータを優先して送信してもよい。

0155

また、例えば、画像送信装置41は、表示対象の3次元形状を部分的に示すデプスと共に、当該デプスの視点に関する視点情報を送信する。当該構成において、画像送信装置41は、複数のデプスのうちで送信するデプスの順序として、視点情報が示すデプスの視点に応じた順序でデプスを送信してもよい。

0156

ソフトウェアによる実現例〕
画像処理装置2、11、21及び31の制御ブロック(特に取得部4及び更新部6)は、集積回路ICチップ)等に形成された論理回路ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。

0157

後者の場合、画像処理装置2、11、21及び31は、各機能を実現するソフトウェアであるプログラム命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも1つのプロセッサ制御装置)を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも1つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばCPU(Central Processing Unit)を用いることができる。上記記録媒体としては、「一時的でない有形媒体」、例えば、ROM(Read Only Memory)等の他、テープディスクカード半導体メモリプログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するRAM(Random Access Memory)などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体通信ネットワーク放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

0158

〔まとめ〕
本発明の態様1に係る画像処理装置(2、11、21、31)は、表示対象の3次元形状を部分的に示す複数の部分3Dモデルデータであって、所定順序における順番に関連付けられた複数の部分3Dモデルデータを取得する取得部(4)と、上記複数の部分3Dモデルデータを参照して、参照モデルを生成する生成部(更新部6)と、上記参照モデルを参照して、再生視点からの上記表示対象を示す再生視点画像を合成する合成部(再生視点画像合成部8)と、を備え、上記生成部は、上記部分3Dモデルデータに関連付けられた上記順番で、当該部分3Dモデルデータを参照して上記参照モデルを更新する。

0159

上記の構成によれば、表示対象の3次元形状を部分的に示す複数の部分3Dモデルデータを取得するため、表示対象の3次元形状の全体を示す3Dモデルデータを各時点で受信する場合に比べて、取得する3Dモデルデータのデータ量を削減できる。また、上記の構成によれば、部分3Dモデルデータに関連付けられた順番で、当該部分3Dモデルデータを参照して参照モデルを更新するため、3Dモデルデータのサンプル数又は精度に起因する再生視点画像の品質低下を防ぎ、高品質な再生視点画像を合成できる。

0160

本発明の態様2に係る画像処理装置(2、11、21、31)は、上記態様1において、上記部分3Dモデルデータは、上記表示対象の3次元形状を部分的に示すデプス、ポイントクラウド及びメッシュの少なくとも1つ以上のデータであってもよい。

0161

上記の構成によれば、参照モデルを好適に構築することができ、高品質な再生視点画像を合成できる。

0162

本発明の態様3に係る画像処理装置(2、11、21、31)は、上記態様1又は2において、上記取得部は、上記複数の部分3Dモデルデータのうちで、初期視点に相対する上記表示対象の部分を示す部分3Dモデルデータ、及び推奨視点に相対する上記表示対象の部分を示す部分3Dモデルデータ、の少なくとも1つ以上のデータを優先して取得してもよい。

0163

上記の構成によれば、再生視点映像の合成に必要な部分3Dモデルデータを、適宜、準備することができる。

0164

本発明の態様4に係る画像処理装置(2、11、21、31)は、上記態様1又は2において、上記再生視点に依存せずに、上記複数の部分3Dモデルデータを取得してもよい。

0165

上記の構成によれば、過去の再生視点の履歴が異なっていても、再生視点に依存しない部分3Dモデルデータによって参照モデルを合成するため、同一の部分3Dモデルデータを取得した場合、同時刻及び同視点における映像の再生結果は、同一になるという効果を奏する。

0166

本発明の態様5に係る画像処理装置(2、11、21、31)は、上記態様1〜4において、上記取得部は、初期参照モデル構築用の複数の部分3Dモデルデータを取得し、上記生成部は、当該初期参照モデル構築用の複数の部分3Dモデルデータを参照して、初期参照モデルを生成してもよい。

0167

上記の構成によれば、再生視点画像の再生開始前に、初期参照モデルを構築するため、再生視点画像の再生開始時の画質が保証される。また、急激な再生視点の変化によって、新しい再生視点に応じたデプスを受信できない場合であっても、構築済みの初期参照モデルへのフォールバックにより、再生視点画像の品質の極端な低下を回避できる。

0168

本発明の態様6に係る画像処理装置(11、21、31)は、上記態様4において、上記複数の部分3Dモデルデータは、上記表示対象の3次元形状を部分的に示す複数のデプスであり、上記生成部(推定部9)は、上記デプスに関連付けられた上記順番で、当該デプス及び上記参照モデルを参照して、当該参照モデルと、当該デプスに対応する参照モデルとの位置関係を示すワープフィールドを推定し、当該ワープフィールドを参照して上記参照モデルを更新する。

0169

上記の構成によれば、デプスからリアルタイムでノイズが除去された参照モデルを構築することができるため、高品質な再生視点画像を合成できる。

0170

本発明の態様7に係る画像処理装置(11、21、31)は、上記態様6において、上記デプスと共に、当該デプスの視点に関する視点情報を取得してもよい。

0171

上記の構成によれば、視点情報が示すデプスの視点に応じて、デプスを選択して取得することができるため、再生視点に応じた参照モデルの構築に必要なデプスを優先して取得することができる。従って、高品質な再生視点画像を合成できる。

0172

本発明の態様8に係る画像処理装置(11、21、31)は、上記態様7において、上記取得部は、上記複数のデプスに関連付けられた順番は、上記視点情報が示す上記デプスの視点に応じた順序における順番であって、上記順序は、先行する順番のデプスの視点から離れた視点のデプスを次の順番のデプスとして優先する順序であってもよい。

0173

上記の構成によれば、表示対象のモデル形状の概要を短い時間で構築できる。

0174

本発明の態様9に係る画像処理装置(2、11、21及び31)は、上記態様1〜8において、上記取得部は、上記表示対象の画像データをさらに取得し、上記生成部は、上記画像データをさらに参照して上記参照モデルを更新してもよい。

0175

上記の構成によれば、画像データの情報を含んだ参照モデルを構築することができる。従って、画像データの切り替えに時間がかかる場合でも、画像データの情報を含む参照モデルを参照することができるため、破綻のない再生視点画像を合成することができる。

0176

本発明の態様10に係る画像処理装置(31)は、表示対象の画像データ、及び当該表示対象の3次元形状を部分的に示す複数の部分3Dモデルデータであって、所定順序における順番に関連付けられた複数の部分3Dモデルデータを取得する取得部と、上記複数の部分3Dモデルデータを参照して、参照モデルを生成する生成部と、上記画像データ及び上記複数の部分3Dモデルデータを参照して、再生視点からの上記表示対象を示す再生視点画像を合成する合成部と、上記参照モデルを参照して、上記再生視点画像に対して画像補完又はフィルタ処理を行う補正部と、を備え、上記生成部は、上記部分3Dモデルデータに関連付けられた上記順番で、当該部分3Dモデルデータを参照して上記参照モデルを更新する。

0177

上記の構成によれば、画像データ及び複数の部分3Dモデルデータを参照して再生視点画像を合成する構成は、既存のDIBRベースの再生画像合成システムと同様であるため、既存のDIBRベースの再生画像合成システムを少ない変更で拡張することができる。そして、拡張したシステムにおいて、参照モデルを参照して、再生視点画像に対して画像補完又はフィルタ処理を行うことにより、高品質な再生視点画像を合成できる。

0178

本発明の態様11に係る画像処理装置(11)は、表示対象の画像データを取得する取得部と、上記画像データを参照して、上記表示対象の3次元形状を部分的に示す複数の部分3Dモデルデータを推定する推定部と、上記複数の部分3Dモデルデータを参照して、参照モデルを生成する生成部と、上記画像データ及び上記参照モデルを参照して、再生視点からの上記表示対象を示す再生視点画像を合成する合成部と、を備え、上記生成部は、上記推定部が上記部分3Dモデルデータを推定する毎に、当該部分3Dモデルデータを参照して上記参照モデルを更新する。

0179

上記の構成によれば、画像データが示す各画素の色情報を含んだ参照モデルを構築することができる。従って、画像データの切り替えに時間がかかる場合でも、画像データの情報を含む参照モデルを参照することができるため、破綻のない再生視点画像を合成することができる。

0180

本発明の態様12に係る表示装置(1、10、20、30)は、上記態様1〜10の何れか1つの画像処理装置と、上記再生視点画像を表示する表示部(3)と、を備えている。

0181

上記の構成によれば、上記態様1〜10の何れか1つの画像処理装置によって合成された高品質な再生視点画像を表示することができる。

0182

本発明の態様13に係る画像送信装置(41)は、表示対象の3次元形状を部分的に示す複数の部分3Dモデルデータであって、所定順序における順番に関連付けられた複数の部分3Dモデルデータを送信する送信部を備えている。

0183

上記の構成によれば、表示対象の3次元形状の全体を示す3Dモデルデータを一度に送信する場合に比べて、各時点で送信する3Dモデルデータのデータ量を削減できる。

0184

本発明の態様14に係る画像処理方法は、表示対象の3次元形状を部分的に示す複数の部分3Dモデルデータであって、所定順序における順番に関連付けられた複数の部分3Dモデルデータを取得する取得工程と、上記複数の部分3Dモデルデータを参照して、参照モデルを生成する生成工程と、上記参照モデルを参照して、再生視点からの上記表示対象を示す再生視点画像を合成する合成工程と、を含み、上記生成工程では、上記部分3Dモデルデータに関連付けられた上記順番で、当該部分3Dモデルデータを参照して上記参照モデルを更新する。

0185

上記の構成によれば、上記態様1と同様の効果を奏する。

0186

本発明の各態様に係る画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像処理装置が備える各部(ソフトウェア要素)として動作させることにより上記画像処理装置をコンピュータにて実現させる画像処理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

0187

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

0188

(関連出願の相互参照
本出願は、2017年8月9日に出願された日本国特許出願2017−154551に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。

0189

1、10、20、30表示装置
2、11、21、31画像処理装置
3 表示部
4 取得部
5 受付部
6更新部
7視点デプス合成部
8再生視点画像合成部
9推定部
32補正部
40画像送受信システム
41 画像送信装置

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ