図面 (/)

技術 互いに類似した情報を含む複数画像のデータサイズを低減する方法、プログラム、および装置、ならびに、互いに類似した情報を含む複数画像を表現するデータ構造

出願人 国立研究開発法人情報通信研究機構
発明者 パナヒプルテヘラニメヒルダド石川彰夫河北真宏井ノ上直己藤井俊彰
出願日 2012年10月12日 (6年9ヶ月経過) 出願番号 2012-227261
公開日 2014年5月8日 (5年2ヶ月経過) 公開番号 2014-082540
状態 未査定
技術分野 TV信号の圧縮,符号化方式
主要キーワード 距離カメラ エネルギー最適化 仮想視野 工業デザイン 信頼度分布 合成誤差 モジュロ演算器 ハイブリッド画像
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2014年5月8日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

互いに類似した情報を含む複数画像のデータサイズをより効率的に低減する方法、プログラムおよび装置、ならびに、互いに類似した情報を含む複数画像を表現するデータ構造を提供する。

解決手段

互いに類似した情報を含む複数画像のデータサイズを低減する方法が提供される。本方法は、第1の参照画像および第2の参照画像に基づいて、対象画像に対応する合成画像を生成するステップと、第1の参照画像および第2の参照画像から合成画像の対象画像に対する潜在的誤差を示すマスク画像を生成するステップと、対象画像と合成画像との差に応じた残差画像を生成するステップと、マスク画像に基づいて、潜在的誤差が相対的に大きい領域に残差画像の対応する領域の情報を割当てることで、対象画像に対応する変換後画像を生成するステップと、対象画像、第1の参照画像、および第2の参照画像を表現する情報として、第1の参照画像、第2の参照画像、および変換後画像を出力するステップとを含む。

概要

背景

現在、超臨場感コミュニケーションを実現する各種の技術について研究が進められている。このような技術の一つとして、多視点画像を用いて高精細立体映像を提供する三次元映像技術がある。このような立体映像は、非常に多数の視点(例えば、200視点)から被写体を撮像して得られる視差画像によって実現される。

このような立体映像を実用化するための一つの課題として、多視点画像のデータサイズの低減化がある。多視点画像は、多数の視点から被写体をそれぞれ観察した情報を含むので、データサイズが大きくなる。このような課題に対して、各種の提案がなされている。

例えば、非特許文献1は、多視点画像の適応型分散コーディングと称される方法を開示する。より具体的には、この方法は、モジュロ演算器に基づくものであり、それぞれの視点で得られた画像を、互いの情報を交換することなくエンコードするとともに、デコードする際には、視点間での情報交換許容する。

非特許文献2および非特許文献3は、いずれも画像間の残差(residual)および距離(depths)に基づく方法を開示する。これらの方法では、1つ以上のオリジナル画像、およびそのオリジナル画像を変形した画像(warped view)と隣接画像(neighbor views)との間の差を用いる。この変形した画像は、隣接画像から生成される、オリジナル画像に対応する仮想的な画像である。

概要

互いに類似した情報を含む複数画像のデータサイズをより効率的に低減する方法、プログラムおよび装置、ならびに、互いに類似した情報を含む複数画像を表現するデータ構造を提供する。互いに類似した情報を含む複数画像のデータサイズを低減する方法が提供される。本方法は、第1の参照画像および第2の参照画像に基づいて、対象画像に対応する合成画像を生成するステップと、第1の参照画像および第2の参照画像から合成画像の対象画像に対する潜在的誤差を示すマスク画像を生成するステップと、対象画像と合成画像との差に応じた残差画像を生成するステップと、マスク画像に基づいて、潜在的誤差が相対的に大きい領域に残差画像の対応する領域の情報を割当てることで、対象画像に対応する変換後画像を生成するステップと、対象画像、第1の参照画像、および第2の参照画像を表現する情報として、第1の参照画像、第2の参照画像、および変換後画像を出力するステップとを含む。

目的

このような技術の一つとして、多視点画像を用いて高精細な立体映像を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

互いに類似した情報を含む複数画像のデータサイズを低減する方法であって、前記複数画像を取得するとともに、前記複数画像のうち対象画像ならびに前記対象画像に類似した第1の参照画像および第2の参照画像を選択するステップと、前記第1の参照画像および前記第2の参照画像に基づいて、前記対象画像に対応する合成画像を生成するステップと、前記第1の参照画像および前記第2の参照画像から生成される前記合成画像の前記対象画像に対する潜在的誤差を示すマスク画像を生成するステップと、前記対象画像と前記合成画像との差に応じた残差画像を生成するステップと、前記マスク画像に基づいて、前記潜在的誤差が相対的に大きい領域に前記残差画像の対応する領域の情報を割当てることで、前記対象画像に対応する変換後画像を生成するステップと、前記対象画像、前記第1の参照画像、および前記第2の参照画像を表現する情報として、前記第1の参照画像、前記第2の参照画像、および前記変換後画像を出力するステップとを備える、方法。

請求項2

前記対象画像の各画素位置輝度値に対してモジュロ演算を行なうことで算出される各画素位置の剰余からなる剰余画像を生成するステップをさらに備え、前記変換後画像を生成するステップは、前記マスク画像に基づいて、前記潜在的誤差が相対的に小さい領域に前記剰余画像の対応する領域の情報を割当てるステップを含む、請求項1に記載の方法。

請求項3

前記変換後画像を生成するステップは、前記マスク画像の各画素位置の値を予め定められたしきい値と比較することで、前記潜在的誤差が相対的に大きい領域と、前記潜在的誤差が相対的に小さい領域とを区別するステップを含む、請求項1または2に記載の方法。

請求項4

出力された前記第1の参照画像、前記第2の参照画像、および前記変換後画像を取得するステップと、取得された第1の参照画像および第2の参照画像に基づいて、前記対象画像に対応する合成画像を生成するステップと、取得された第1の参照画像および第2の参照画像からマスク画像を生成するステップと、前記マスク画像に基づいて前記変換後画像のうち前記潜在的誤差が相対的に大きい領域の情報を抽出するとともに、当該抽出した情報と前記合成画像とに基づいて、前記対象画像の対応する画素位置の輝度値を決定するステップとをさらに備える、請求項1〜3のいずれか1項に記載の方法。

請求項5

前記選択するステップは、前記複数画像が多視点画像である場合に、ベースライン距離に基づいて、前記対象画像ならびに前記第1の参照画像および第2の参照画像を選択するステップと、前記複数画像が映像フレーム列である場合に、フレームレートに基づいて、前記対象画像ならびに前記第1の参照画像および第2の参照画像を選択するステップとを含む、請求項1〜4のいずれか1項に記載の方法。

請求項6

互いに類似した情報を含む複数画像のデータサイズを低減するプログラムであって、当該プログラムは、コンピュータに、前記複数画像を取得するとともに、前記複数画像のうち対象画像ならびに前記対象画像に類似した第1の参照画像および第2の参照画像を選択するステップと、前記第1の参照画像および前記第2の参照画像に基づいて、前記対象画像に対応する合成画像を生成するステップと、前記第1の参照画像および前記第2の参照画像から生成される前記合成画像の前記対象画像に対する潜在的誤差を示すマスク画像を生成するステップと、前記対象画像と前記合成画像との差に応じた残差画像を生成するステップと、前記マスク画像に基づいて、前記潜在的誤差が相対的に大きい領域に前記残差画像の対応する領域の情報を割当てることで、前記対象画像に対応する変換後画像を生成するステップと、前記対象画像、前記第1の参照画像、および前記第2の参照画像を表現する情報として、前記第1の参照画像、前記第2の参照画像、および前記変換後画像を出力するステップとを実行させる、プログラム。

請求項7

互いに類似した情報を含む複数画像のデータサイズを低減する装置であって、前記複数画像を取得するとともに、前記複数画像のうち対象画像ならびに前記対象画像に類似した第1の参照画像および第2の参照画像を選択する手段と、前記第1の参照画像および前記第2の参照画像に基づいて、前記対象画像に対応する合成画像を生成する手段と、前記第1の参照画像および前記第2の参照画像から生成される前記合成画像の前記対象画像に対する潜在的誤差を示すマスク画像を生成する手段と、前記対象画像と前記合成画像との差に応じた残差画像を生成する手段と、前記マスク画像に基づいて、前記潜在的誤差が相対的に大きい領域に前記残差画像の対応する領域の情報を割当てることで、前記対象画像に対応する変換後画像を生成する手段と、前記対象画像、前記第1の参照画像、および前記第2の参照画像を表現する情報として、前記第1の参照画像、前記第2の参照画像、および前記変換後画像を出力する手段とを備える、装置。

請求項8

互いに類似した情報を含む複数画像を表現するデータ構造であって、前記複数画像に含まれる対象画像に対応する変換後画像と、前記対象画像に類似した第1の参照画像および第2の参照画像とを備え、前記変換後画像は、前記第1の参照画像および前記第2の参照画像から生成される合成画像の前記対象画像に対する潜在的誤差が相対的に大きい領域に、前記対象画像と前記合成画像との差に応じた残差画像の対応する領域の情報を割当てたものである、データ構造。

技術分野

0001

本発明は、互いに類似した情報を含む複数画像のデータサイズを低減する方法、プログラム、および装置、ならびに、互いに類似した情報を含む複数画像を表現するデータ構造に関する。

背景技術

0002

現在、超臨場感コミュニケーションを実現する各種の技術について研究が進められている。このような技術の一つとして、多視点画像を用いて高精細立体映像を提供する三次元映像技術がある。このような立体映像は、非常に多数の視点(例えば、200視点)から被写体を撮像して得られる視差画像によって実現される。

0003

このような立体映像を実用化するための一つの課題として、多視点画像のデータサイズの低減化がある。多視点画像は、多数の視点から被写体をそれぞれ観察した情報を含むので、データサイズが大きくなる。このような課題に対して、各種の提案がなされている。

0004

例えば、非特許文献1は、多視点画像の適応型分散コーディングと称される方法を開示する。より具体的には、この方法は、モジュロ演算器に基づくものであり、それぞれの視点で得られた画像を、互いの情報を交換することなくエンコードするとともに、デコードする際には、視点間での情報交換許容する。

0005

非特許文献2および非特許文献3は、いずれも画像間の残差(residual)および距離(depths)に基づく方法を開示する。これらの方法では、1つ以上のオリジナル画像、およびそのオリジナル画像を変形した画像(warped view)と隣接画像(neighbor views)との間の差を用いる。この変形した画像は、隣接画像から生成される、オリジナル画像に対応する仮想的な画像である。

先行技術

0006

Mehrdad Panahpour Tehrani, Toshiaki Fujii, Masayuki Tanimoto, "The Adaptive Distributed Source Coding of Multi-View Images in Camera Sensor Networks",IEICE Trans, E88-A(10), 2835-2843, (2005)
K. Mueller, A. Smolic, K. Dix, P. Merkle, P. Kauff T. Wiegand, "Reliability-based generation and view synthesis in layered depth video", in Proc.IEEE Intl Conf onMMSP, 34-39 (Oct.2008)
M. Tanimoto, M. Wildeboer, "Frameworks for FTV coding", in Proc.PCS, 1-4 (May 2009)
R. Szeliski, R. Zabih, D. Scharstein, O. Veksler, V. Kolmogorov, A. Agarwala, M.Tappen and C. Rother, "A comparative study of energy minimization methodsfor Markov random fields with smoothness-based priors," IEEE Trans. Pattern Anal. Machine Intell., 30(6), 1068-1080, (2008)
Y. Boykov, O. Veksler and R. Zabih, "Fast approximate energy minimization via graph cuts," IEEE Trans. Pattern Anal. Machine Intell., 23, 1222-1239, (Nov. 2001)
Y. Mori, N. Fukushima, T. Yendo, T. Fujii and M. Tanimoto, "View generation with 3D warping using depth information for FTV," Signal Process.: Image Commun., 24, 65-72, (Jan. 2009)
L. Yang, T. Yendo, M. Panahpour Tehrani, T. Fujii and M. Tanimoto, "Probabilistic reliability based view synthesis for FTV", in Proc. ICIP, 1785-1788, (Sep. 2010)
N. Fukushima, T. Fujii, Y. Ishibashi, T. Yendo, and M. Tanimoto, "Real-time free viewpoint image rendering by using fast multi-pass dynamic programming," in Proc. 3DTV-CON, (June 2010)
A. Smolic, P. Kauff, S. Knorr, A. Hornung, M. Kunter, M. Muller, and M. Lang, "Three-Dimensional Video Postproduction and Processing", in Proc. IEEE, 99(4), 607-625, (Apr. 2011)
Y. Mori, N. Fukushima, T. Fujii, and M. Tanimoto, "View generation with 3D warping using depth information for FTV," Image Communication., Vol. 24, No. 1-2 (2009)

発明が解決しようとする課題

0007

上述の非特許文献1に開示の方法は、主として、分散ソースコーディングや分散映像フレームコーディングなどへの応用を想定しているため、エンコード処理において、視点間の連携は考慮されていない。また、非特許文献1に開示の方法は、エンコード処理およびデコード処理において、サイド情報(side information)を利用するが、オリジナル画像の値との差が大きい領域では、サイド情報の精度がそれほど高くないので、デコード後画像品質が低下する場合がある。逆に、非特許文献2および3に開示の方法は、サイド情報に含まれるオリジナル画像に対する差が小さい領域については、それに含まれる情報を適切に復元できない。

0008

本発明は、上記のような問題を解決するためになされたものであって、その目的は、互いに類似した情報を含む複数画像のデータサイズをより効率的に低減する方法、プログラムおよび装置、ならびに、互いに類似した情報を含む複数画像を表現するデータ構造を提供することである。

課題を解決するための手段

0009

本発明のある局面に従えば、互いに類似した情報を含む複数画像のデータサイズを低減する方法が提供される。本方法は、複数画像を取得するとともに、複数画像のうち対象画像ならびに対象画像に類似した第1の参照画像および第2の参照画像を選択するステップと、第1の参照画像および第2の参照画像に基づいて、対象画像に対応する合成画像を生成するステップと、第1の参照画像および第2の参照画像から生成される合成画像の対象画像に対する潜在的誤差を示すマスク画像を生成するステップと、対象画像と合成画像との差に応じた残差画像を生成するステップと、マスク画像に基づいて、潜在的誤差が相対的に大きい領域に残差画像の対応する領域の情報を割当てることで、対象画像に対応する変換後画像を生成するステップと、対象画像、第1の参照画像、および第2の参照画像を表現する情報として、第1の参照画像、第2の参照画像、および変換後画像を出力するステップとを含む。

0010

好ましくは、本方法は、対象画像の各画素位置輝度値に対してモジュロ演算を行なうことで算出される各画素位置の剰余からなる剰余画像を生成するステップをさらに含み、変換後画像を生成するステップは、マスク画像に基づいて、潜在的誤差が相対的に小さい領域に剰余画像の対応する領域の情報を割当てるステップを含む。

0011

好ましくは、変換後画像を生成するステップは、マスク画像の各画素位置の値を予め定められたしきい値と比較することで、潜在的誤差が相対的に大きい領域と、潜在的誤差が相対的に小さい領域とを区別するステップを含む。

0012

好ましくは、残差画像を生成するステップは、対象画像と合成画像との差から生成される画像に対してビットプレーン変換を行なうステップを含む。

0013

好ましくは、本方法は、出力された第1の参照画像、第2の参照画像、および変換後画像を取得するステップと、取得された第1の参照画像および第2の参照画像に基づいて、対象画像に対応する合成画像を生成するステップと、取得された第1の参照画像および第2の参照画像からマスク画像を生成するステップと、マスク画像に基づいて変換後画像のうち潜在的誤差が相対的に大きい領域の情報を抽出するとともに、当該抽出した情報と合成画像とに基づいて、対象画像の対応する画素位置の輝度値を決定するステップとをさらに含む。

0014

さらに好ましくは、本方法は、マスク画像に基づいて、変換後画像のうち、潜在的誤差が相対的に小さい領域の情報に対して逆モジュロ演算を行なうことで、対象画像の対応する画素位置の輝度値を決定するステップをさらに含む。

0015

さらに好ましくは、輝度値を決定するステップは、変換後画像のうち潜在的誤差が相対的に大きい領域の情報に対してビットプレーン変換を行なうとともに、当該ビットプレーン変換によりビット数が増大した画像と合成画像とを加算することで輝度値を決定する。

0016

さらに好ましくは、出力するステップは、対象画像の縮小画像を出力するステップを含み、方法は、決定された輝度値によって再構成された対象画像のうち縮小画像をアップサンプリングして得られる拡大画像との差が相対的に大きな領域について、拡大画像の対応する値に置換するステップをさらに含む。

0017

好ましくは、選択するステップは、複数画像が多視点画像である場合に、ベースライン距離に基づいて、対象画像ならびに第1の参照画像および第2の参照画像を選択するステップと、複数画像が映像フレーム列である場合に、フレームレートに基づいて、対象画像ならびに第1の参照画像および第2の参照画像を選択するステップとを含む。

0018

本発明の別の局面に従えば、互いに類似した情報を含む複数画像のデータサイズを低減するプログラムが提供される。当該プログラムは、コンピュータに、複数画像を取得するとともに、複数画像のうち対象画像ならびに対象画像に類似した第1の参照画像および第2の参照画像を選択するステップと、第1の参照画像および第2の参照画像に基づいて、対象画像に対応する合成画像を生成するステップと、第1の参照画像および第2の参照画像から生成される合成画像の対象画像に対する潜在的誤差を示すマスク画像を生成するステップと、対象画像と合成画像との差に応じた残差画像を生成するステップと、マスク画像に基づいて、潜在的誤差が相対的に大きい領域に残差画像の対応する領域の情報を割当てることで、対象画像に対応する変換後画像を生成するステップと、対象画像、第1の参照画像、および第2の参照画像を表現する情報として、第1の参照画像、第2の参照画像、および変換後画像を出力するステップとを実行させる。

0019

本発明のさらに別の局面に従えば、互いに類似した情報を含む複数画像のデータサイズを低減する装置が提供される。本装置は、複数画像を取得するとともに、複数画像のうち対象画像ならびに対象画像に類似した第1の参照画像および第2の参照画像を選択する手段と、第1の参照画像および第2の参照画像に基づいて、対象画像に対応する合成画像を生成する手段と、第1の参照画像および第2の参照画像から生成される合成画像の対象画像に対する潜在的誤差を示すマスク画像を生成する手段と、対象画像と合成画像との差に応じた残差画像を生成する手段と、マスク画像に基づいて、潜在的誤差が相対的に大きい領域に残差画像の対応する領域の情報を割当てることで、対象画像に対応する変換後画像を生成する手段と、対象画像、第1の参照画像、および第2の参照画像を表現する情報として、第1の参照画像、第2の参照画像、および変換後画像を出力する手段とを含む。

0020

本発明のさらに別の局面に従えば、互いに類似した情報を含む複数画像を表現するデータ構造が提供される。本データ構造は、複数画像に含まれる対象画像に対応する変換後画像と、対象画像に類似した第1の参照画像および第2の参照画像とを含む。変換後画像は、第1の参照画像および第2の参照画像から生成される合成画像の対象画像に対する潜在的誤差が相対的に大きい領域に、対象画像と合成画像との差に応じた残差画像の対応する領域の情報を割当てたものである。

発明の効果

0021

本発明によれば、互いに類似した情報を含む複数画像のデータサイズをより効率的に低減できる。

図面の簡単な説明

0022

本実施の形態に係るデータサイズ低減方法が応用される立体映像再生ステム1を示す図である。
本実施の形態に係る互いに類似した情報を含む複数画像(多視点画像)の一例を示す模式図である。
本実施の形態に係る互いに類似した情報を含む複数画像(映像フレーム列)の一例を示す模式図である。
図1に示すエンコーダーとして機能する情報処理装置ハードウェア構成を示す模式図である。
図1に示すデコーダーとして機能する情報処理装置のハードウェア構成を示す模式図である。
本実施の形態に係るデータサイズ低減方法の全体処理手順を示すフローチャートである。
本実施の形態に係るデータサイズ低減方法のエンコード処理に係る機能構成を示すブロック図である。
本実施の形態に係るデータサイズ低減方法における合成画像の生成処理の結果を示す図である。
本実施の形態に係るデータサイズ低減方法におけるマスク画像の生成処理を説明するための模式図である。
本実施の形態に係るデータサイズ低減方法におけるマスク画像の生成処理の結果を示す図である。
本実施の形態に係るデータサイズ低減方法における残差画像の生成処理を説明するための模式図である。
本実施の形態に係るデータサイズ低減方法における残差画像の生成処理の結果を示す図である。
図7に示す剰余画像生成部のより詳細な機能構成を示すブロック図である。
本実施の形態に係るデータサイズ低減方法においてサイド情報選択に用いられる誤差分布算出処理を説明するための模式図である。
本実施の形態に係る剰余画像の生成に用いられるLookupテーブルの一例を示す図である。
本実施の形態に係る剰余画像の生成処理の結果を示す図である。
本実施の形態に係るハイブリッド画像の生成処理の結果を示す図である。
本実施の形態に係るハイブリッド画像の生成処理の結果を示す図である。
本実施の形態に係るデータサイズ低減方法のデコード処理に入力された対象画像の一例である。
図19に示す対象画像から生成された残差画像の一例である。
図19に示す対象画像から生成された剰余画像の一例である。
図19に示す対象画像から生成されたマスク画像の一例である。
図19に示す対象画像から生成されたハイブリッド画像の一例である。
本実施の形態に係るデータサイズ低減方法のデコード処理に係る機能構成を示すブロック図である。
本実施の形態に係るデータサイズ低減方法のデコード処理の概要を説明するための模式図である。
本実施の形態に係るデータサイズ低減方法における再構成画像の生成処理を説明するための模式図である。
図24に示す剰余画像生成部のより詳細な機能構成を示すブロック図である。
本実施の形態の変形例3に係るデータサイズ低減方法により生成される剰余画像の一例である。
本実施の形態の変形例4に係るデータサイズ低減方法により生成される残差画像の一例である。

実施例

0023

本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。

0024

[A.応用例]
まず、本実施の形態に係るデータサイズ低減方法について理解を容易にするため、典型的な応用例について説明する。なお、本実施の形態に係るデータサイズ低減方法の応用範囲は、以下に示す構成に限定されるものではなく、任意の構成に応用できる。

0025

図1は、本実施の形態に係るデータサイズ低減方法が応用される立体映像再生システム1を示す図である。図1を参照して、立体映像再生システム1では、複数のカメラ10(カメラアレイ)を用いて互いに異なる複数の視点で被写体2を撮像することで多視点画像を生成し、この生成した多視点画像を用いて立体表示装置300で立体映像を表示する。

0026

より具体的には、立体映像再生システム1は、複数のカメラ10からそれぞれの画像(視差画像)が入力されるエンコーダーとして機能する情報処理装置100と、情報処理装置100から伝送されるデータをデコードして多視点画像を立体表示装置300へ出力するデコーダーとして機能する情報処理装置200とを含む。情報処理装置100は、エンコード処理とともに、後述するようなデータ圧縮処理を行なうことで、保存および/または伝送に適したデータを生成する。一例として、情報処理装置100は、接続された無線伝送装置102を用いて、生成した多視点画像の情報を含むデータ(圧縮データ)を無線伝送する。この無線伝送されたデータは、無線基地局400などを介して、情報処理装置200に接続された無線伝送装置202で受信される。

0027

立体表示装置300は、主として拡散フィルム306および集光レンズ308で構成される表示スクリーンと、表示スクリーンに多視点画像を投影するプロジェクタアレイ304と、プロジェクタアレイ304の各プロジェクタによる投影画像を制御するためのコントローラ302とを含む。コントローラ302は、情報処理装置200から出力される多視点画像に含まれる各視差画像を対応するプロジェクタに投影させる。

0028

このような装置構成によって、表示スクリーンの前にいる観察者には被写体2の再生立体像が提供される。このとき、表示スクリーンと観察者との相対的な位置に応じて、観察者の視野に入る視差画像が変化するようになっており、観察者は、あたかも被写体2の前にいるような体験が得られる。

0029

このような立体映像再生システム1は、一般用途としては、映画館アミューズメント施設などで利用され、産業用途としては、遠隔医療システム工業デザイン設計システムパブリックビューイング等の電子広告システムとして利用されることが期待されている。

0030

[B.概要]
図1に示すようなカメラアレイで被写体2を撮像することで生成される多視点画像や動画などを考えると、それを構成する画像間は冗長な情報を含み得る。本実施の形態に係るデータサイズ低減方法は、このような冗長な情報を考慮して、それを排除したデータを生成する。すなわち、本実施の形態に係るデータサイズ低減方法およびそれに用いられるデータ構造は、互いに類似した情報を含む複数画像のデータサイズを低減しようとするものである。

0031

本実施の形態に係るデータサイズ低減方法およびそれに用いられるデータ構造は、上述したような多視点データ表現(multi-view data representation)に応用できるとともに、分散ソースコーディング(distributed source coding)にも応用できる。あるいは、本実施の形態に係るデータサイズ低減方法およびそれに用いられるデータ構造は、映像フレーム表現(video frames representation)に応用できるとともに、分散映像フレームコーディング(distributed video frames coding)にも応用できる。なお、本実施の形態に係るデータサイズ低減方法は、それ単体でも利用されるし、データ伝送前の前処理の一部として利用されることもある。

0032

図1に示すようなカメラアレイで撮像された多視点画像を想定すると、そのうちいくつかの画像については元のまま維持されるとともに、他のいくつかの画像はエンコーダーにより冗長な情報が除かれた画像(後述する、ハイブリッド画像)へと変換される。撮像されたすべての画像を用いる場合には、元のまま維持される画像についての距離画像が取得(推定)される。

0033

元のまま維持される画像および距離画像を用いて、ハイブリッド画像に変換される画像の位置における仮想的な視野が合成(推定)される。距離画像は、デコード処理(変換された画像を逆変換する処理/本来の画像形式に戻す処理)においても利用可能である。元のまま維持される画像についての距離画像は、逆変換処理において、その元のまま維持される画像を用いて再構成されてもよい。

0034

変換後画像は、元のまま維持される画像および距離画像から合成される画像の変換対象の画像に対する潜在的誤差を示すマスク画像に基づいて、残差画像(residual image)の対応する領域の情報を割当てることで生成される。より具体的には、変換後画像は、当該合成画像の対象画像に対する潜在的誤差が相対的に大きい領域に、残差画像の対応する領域の情報を割当てたものである。典型的には、マスク画像は、画像変換前に生成される。

0035

さらに、変換後画像では、残差画像が割当てられていない領域に対して、剰余画像(remainder image)の対応する領域の情報が割当てられてもよい。すなわち、変換後画像は、マスク画像に従って剰余画像の輝度値と残差画像の輝度値とを組み合わせることで生成してもよい。

0036

このように、本実施の形態に係る変換後画像は、複数の情報を組み合わせることで構成される場合もあるので、以下の説明では、便宜上「ハイブリッド画像」と称す。

0037

残差画像は、対象の画像と仮想画像とに基づいて生成される。
剰余画像は、変換の対象となる画像の位置における仮想的な視野の情報であるサイド情報を用いて生成される。入力される画像が多視点画像である場合には、合成された仮想画像(仮想的な視野)がサイド情報として用いられる。あるいは、元のまま維持される画像および距離画像を用いて仮想画像を合成し、この合成した画像をサイド情報として用いてもよい。サイド情報から剰余画像を生成する際には、勾配強度画像(gradient image)が生成される。それぞれの勾配強度の値は整数値になっており、この整数値を用いて、モジュロ演算または逆モジュロ演算が実行される。

0038

なお、ハイブリッド画像へ変換されることになっている対象の画像そのものをサイド情報として用いてもよい。この場合には、デコード処理において対象の画像をそのまま利用することができないので、合成した仮想画像および/または対象の画像を縮小した画像をサイド情報として用いることになる。

0039

一方、入力される画像が映像フレーム列である場合には、フレーム同士を内挿または外挿したフレームをサイド情報として用いることができる。

0040

図2および図3は、本実施の形態に係る互いに類似した情報を含む複数画像の一例を示す模式図である。図2(a)を参照して、例えば、図1に示すように互いに近接配置された複数のカメラ(カメラアレイ)を用いて被写体を撮像することで、対応するカメラ位置に応じた視差を有する視差画像群が生成される。これらの視差画像群のうち、ある対象画像170に着目すると、その視野(target view)は、近接したカメラ位置にあるカメラを用いて撮像された他の画像(以下「参照画像」とも称す。)の視野(reference view(s))と少なくとも部分的には重複している場合が多く、このような視野の重複によって、対象画像170および参照画像172,182の間では冗長な情報が存在する。逆に言えば、このような状況下においては、参照画像172,182が有する情報と何らかの付加情報とから、対象画像170に含まれる情報を再構成できる。

0041

本実施の形態に係るデータサイズ低減方法は、対象画像170の情報を近接する参照画像172,182の情報から再構成できるようなハイブリッド画像190を生成し、対象画像170に代えてこのハイブリッド画像190を出力する。基本的に、ハイブリッド画像190は、対象画像170の有する情報のうち、参照画像172,182が含む情報では不足する情報を補間するものであり、対象画像170をそのまま出力する場合に比較して冗長性を排除できる。そのため、対象画像170および参照画像172,182をそのまま出力する場合に比較して、データサイズを低減できる。

0042

後述するように対象画像170および参照画像172,182は、互いに類似した情報を含む限り、任意の間隔で選択することができ、例えば、図2(b)に示すように、同一の参照画像172および182に対して、対象画像170−1,170−2,170−3の各々についてハイブリッド画像190−1,190−2,190−3を生成してもよい。すなわち、一対の参照画像について、1または複数の対象画像をハイブリッド画像に変換することができる。

0043

また、図3(a)に示すように、映像フレーム列についても同様のロジックを適用できる。すなわち、通常の動画像フレーム周期は十分に短いので、近接するフレームを適切に選択すれば、それに含まれる情報の一部が互いに重複し得る。そこで、あるフレームの画像を対象画像170とし、近接するフレームにある参照画像172,182を参照してハイブリッド画像190を生成することで、データサイズを低減できる。

0044

映像フレーム列についても同様に、対象画像170および参照画像172,182は、互いに類似した情報を含む限り、任意のフレーム間隔で選択することができ、例えば、図3(b)に示すように、同一の参照画像172および182に対して、対象画像170−1,170−2,170−3の各々についてハイブリッド画像190−1,190−2,190−3を生成してもよい。すなわち、一対の参照画像について、1または複数の対象画像をハイブリッド画像に変換することができる。

0045

本実施の形態に係るデータサイズ低減方法は、それ単体でも利用されるし、データ伝送前の前処理の一部として用いられることもある。

0046

なお、本明細書において、「撮像」は、現実のカメラを用いて被写体の画像を取得する処理に加えて、例えば、コンピュータグラフィックスのように、仮想空間上に何らかオブジェクトを配置し、この配置されたオブジェクトに対して任意に設定された視点から画像をレンダリングする処理(すなわち、仮想空間上での仮想的な撮像)を含み得る。

0047

本実施の形態において、被写体を撮像するカメラアレイにおいてカメラは任意に配置できる。例えば、1次元配列(カメラを直線上に配置)、2次元配列(カメラを行列状に配置)、円状配列(カメラを円周の全部または一部に沿って配置)、らせん配列(カメラをらせん状に配置)、ランダム配置(何らの規則なくカメラを配置)といった任意の配置を採用できる。

0048

[C.ハードウェア構成]
次に、本実施の形態に係るデータサイズ低減方法を実現するためのハードウェアの構成例について説明する。図4は、図1に示すエンコーダーとして機能する情報処理装置100のハードウェア構成を示す模式図である。図5は、図1に示すデコーダーとして機能する情報処理装置200のハードウェア構成を示す模式図である。

0049

図4を参照して、情報処理装置100は、プロセッサ104と、メモリ106と、カメラインターフェイス108と、ハードディスク110と、入力部116と、表示部118と、通信インターフェイス120とを含む。これらの各コンポーネントは、バス122を介して互いにデータ通信可能に構成されている。

0050

プロセッサ104は、ハードディスク110などに格納されているプログラムを読出してメモリ106に展開して実行することで、本実施の形態に係るエンコード処理を実現する。メモリ106は、プロセッサ104が処理を実行するためのワーキングメモリとして機能する。

0051

カメラインターフェイス108は、複数のカメラ10と接続され、それぞれのカメラ10が撮像した画像を取得する。取得された画像は、ハードディスク110やメモリ106に格納されてもよい。ハードディスク110は、取得された画像を含む画像データ112と、エンコード処理およびデータ圧縮処理を実現するためのエンコードプログラム114とを不揮発的に保持している。エンコードプログラム114がプロセッサ104により読み出されて実行されることで、後述するエンコード処理が実現される。

0052

入力部116は、典型的には、マウスキーボードなどを含み、ユーザからの操作を受付ける。表示部118は、処理結果などをユーザへ通知する。

0053

通信インターフェイス120は、無線伝送装置102などと接続され、プロセッサ104による処理の結果出力されるデータを無線伝送装置102へ出力する。

0054

図5を参照して、情報処理装置200は、プロセッサ204と、メモリ206と、プロジェクタインターフェイス208と、ハードディスク210と、入力部216と、表示部218と、通信インターフェイス220とを含む。これらの各コンポーネントは、バス222を介して互いにデータ通信可能に構成されている。

0055

プロセッサ204、メモリ206と、入力部216、および、表示部218は、図4に示すプロセッサ104、メモリ106と、入力部116、および、表示部118とそれぞれ同様であるので、詳細な説明は繰返さない。

0056

プロジェクタインターフェイス208は、立体表示装置300と接続され、プロセッサ204によってデコードされた多視点画像を立体表示装置300へ出力する。

0057

通信インターフェイス220は、無線伝送装置202などと接続され、情報処理装置100から送信される画像データを受信し、プロセッサ204へ出力する。

0058

ハードディスク210は、デコードされた画像を含む画像データ212と、デコード処理を実現するためのデコードプログラム214とを不揮発的に保持している。デコードプログラム214がプロセッサ204により読み出されて実行されることで、後述するデコード処理が実現される。

0059

図4および図5に示す情報処理装置100および200のハードウェア自体およびその動作原理は一般的なものであり、本実施の形態に係るエンコード処理/デコード処理を実現するための本質的な部分は、ハードディスクなどの記憶媒体に格納されたエンコードプログラム114やデコードプログラム214などのソフトウェア命令コード)である。エンコードプログラム114および/またはデコードプログラム214は、OS(Operating System)が提供するモジュールを用いて処理を実行するように構成してもよい。この場合には、エンコードプログラム114および/またはデコードプログラム214は、一部のモジュールを含まないことになるが、このような場合であっても、本願発明の技術的範囲に含まれる。

0060

情報処理装置100および/または情報処理装置200の全部または一部の機能をASIC(Application Specific IntegratedCircuit)などの専用の集積回路を用いて実現してもよいし、FPGA(Field-Programmable Gate Array)やDSP(Digital Signal Processor)などのプログラム可能なハードウェアを用いて実現してもよい。

0061

また、後述するように、画像を管理するデータサーバなどにおいては、エンコード処理およびデコード処理を単一の情報処理装置が実行することになる。

0062

[D.全体処理手順]
次に、本実施の形態に係るデータサイズ低減方法の全体処理手順について説明する。図6は、本実施の形態に係るデータサイズ低減方法の全体処理手順を示すフローチャートである。図6に示すデータサイズ低減方法は、主としてエンコード処理からなるが、実用的には、エンコードされたデータから元の画像を再構成するためのデコード処理を含む。図1に示すような立体映像再生システム1では、エンコード処理およびデコード処理はそれぞれ異なる情報処理装置によって実行される。一方、画像を格納するためのサーバシステムなどでは、単一の情報処理装置がエンコード処理およびデコード処理を実行することになる。すなわち、データ格納前の前処理としてエンコード処理が実行され、データ再構成時にデコード処理が実行される。いずれの場合であっても、典型的には、プロセッサがプログラムを実行することで、各ステップの処理が実現される。

0063

図6を参照して、エンコード処理として、ステップS100〜S112の処理が実行される。具体的には、プロセッサ104は、互いに類似した情報を含む複数の画像を取得し、その取得した画像を所定の記憶領域に格納するとともに、取得した複数の画像のうち1つの画像を対象画像に設定し、当該対象画像に類似する少なくとも2つの画像を参照画像に設定する(ステップS100)。すなわち、プロセッサ104は、互いに類似した情報を含む複数画像を取得するとともに、複数画像のうち、対象画像および対象画像に類似した2つの参照画像を選択する。

0064

続いて、プロセッサ104は、設定した2つの参照画像に基づいて対象画像に対応する合成画像を生成する(ステップS102)とともに、2つの参照画像およびそれぞれの距離画像からマスク画像を生成する(ステップS104)。このマスク画像は、2つの参照画像から生成される合成画像の対象画像に対する潜在的誤差を示す。

0065

続いて、プロセッサ104は、対象画像および合成画像から残差画像を生成する(ステップS106)。残差画像は、対象画像と合成画像との差に応じた画像である。

0066

また、プロセッサ104は、対象画像および合成画像などから剰余画像を生成する(ステップS108)。より具体的には、ステップS108の剰余画像を生成する処理において、プロセッサ104は、対象画像および合成画像の一部または全部に基づいて、サイド情報を生成する(ステップS1081)。サイド情報は、対象画像の位置における仮想的な視野の情報であり、剰余画像および参照画像から対象画像を再構成するために必要な情報を含む。続いて、プロセッサ104は、生成したサイド情報から勾配強度画像を生成する(ステップS1082)。そして、プロセッサ104は、生成した勾配強度画像から各画素位置の剰余を算出する(ステップS1083)。

0067

続いて、プロセッサ104は、マスク画像、残差画像および剰余画像から、ハイブリッド画像を生成する(ステップS110)。最終的に、プロセッサ104は、対象画像および参照画像に対応する情報として、少なくとも、ハイブリッド画像および参照画像を出力する(ステップS112)。すなわち、プロセッサ104は、対象画像および2つの参照画像を表現する情報として、2つの参照画像およびハイブリッド画像を出力する。

0068

デコード処理として、ステップS200〜S214の処理が実行される。具体的には、プロセッサ204は、エンコード処理の結果出力される情報を取得する(ステップS200)。すなわち、プロセッサ204は、少なくとも出力された2つの参照画像およびハイブリッド画像を取得する。

0069

続いて、プロセッサ204は、取得した情報に含まれる参照画像に基づいて対象画像に対応する合成画像を生成する(ステップS202)とともに、2つの参照画像およびそれぞれの距離画像からマスク画像を生成する(ステップS204)。

0070

続いて、プロセッサ204は、生成したマスク画像に基づいて、ハイブリッド画像を、残差画像領域と剰余画像領域とに分離する(ステップS206)。そして、プロセッサ204は、合成画像および分離した残差画像領域から、対象画像の対応する領域を再構成する(ステップS208)とともに、合成画像および分離した剰余画像領域から、対象画像の対応する領域を再構成する(ステップS210)。

0071

より具体的には、ステップS210の剰余画像に対応する領域を再構成する処理において、プロセッサ204は、取得した情報からサイド情報を生成する(ステップS2101)。続いて、プロセッサ204は、生成したサイド情報から勾配強度画像を生成する(ステップS2102)。そして、プロセッサ204は、サイド情報、勾配強度画像、および剰余画像から対象画像の各画素位置における輝度値を決定する(ステップS2103)。

0072

最終的に、プロセッサ204は、残差画像に対応する再構成された領域と剰余画像に対応する再構成された領域とを組み合わせて対象画像を再構成する(ステップS212)とともに、再構成した対象画像および参照画像を出力する(ステップS214)。

0073

[E.エンコード処理]
次に、本実施の形態に係るデータサイズ低減方法のエンコード処理(図6のステップS100〜S112)の詳細について説明する。

0074

《e1:機能構成》
図7は、本実施の形態に係るデータサイズ低減方法のエンコード処理に係る機能構成を示すブロック図である。図7を参照して、情報処理装置100は、その機能構成として、入力画像バッファ150と、距離情報推定部152と、距離情報バッファ154と、画像合成部158と、マスク推定部160と、残差画像生成部162と、剰余画像生成部164と、サブサンプリング部166と、画像結合部168とを含む。

0075

《e2:入力画像および距離画像の取得》
図6のステップS100に示す画像取得処理は、図7の入力画像バッファ150、距離情報推定部152、および距離情報バッファ154によって実現される。具体的には、情報処理装置100は、複数のカメラ10(カメラアレイ)によって撮像された複数の視差画像からなる多視点画像を受信し、入力画像バッファ150に格納する。あるいは、情報処理装置100は、フレーム順に配置された画像からなる一連映像を受信し、入力画像バッファ150に格納してもよい。これらの入力画像が処理対象になる。説明の簡略化のため、1つの対象画像170と2つの参照画像172,182とのセットに着目して説明するが、要求されるデータサイズの低減率や情報処理装置100の処理能力などに応じて、任意の数のセットに対して、本実施の形態に係るデータサイズ低減方法を適用すればよい。

0076

また、対象画像170および参照画像172,182は、互いに類似した情報を含んでいなければならないので、多視点画像については、対象画像170および参照画像172,182は、そのベースライン距離に基づいて選択されることが好ましい。すなわち、その間に生じる視差に応じて、対象画像170および参照画像172,182が選択される。また、映像フレーム列(動画像)については、フレームレートに基づいて、対象となるフレームが選択される。すなわち、図6のステップS100の処理は、複数画像が多視点画像である場合(図2参照)に、ベースライン距離に基づいて、対象画像170および参照画像172,182を選択する処理と、複数画像が映像フレーム列である場合(図3参照)に、フレームレートに基づいて、対象画像170および参照画像172,182を選択する処理とを含む。

0077

図7において、対象画像170については、対象画像170が表現する対象視野(target view for representation)を意味する「VT」と表し、対象画像170の右側に位置する参照画像172については、対象画像170の右側にあるオリジナル視野(original view at the right side of VT)を意味する「VR」と表し、対象画像170の左側に位置する参照画像182については、対象画像170の左側にあるオリジナル視野(original view at the left side of VT)を意味する「VL」と表す。なお、右側および左側という表現は、説明の便宜上のものであり、現実のカメラ配置とは必ずしも一致しない場合もある。

0078

本実施の形態に係るデータサイズ低減方法では、後述するように、参照画像172および182の距離画像を利用して、対象画像に対応する合成画像176を生成する場合もある。そのため、任意の方法を用いて、参照画像172の距離画像174および参照画像182の距離画像184が取得または推定される。

0079

例えば、図1に示すようなカメラアレイを用いる場合には、被写体を示す画像の取得に加えて、距離画像を同時に取得できる場合がある。エンコード処理における対象画像170の再構成処理を考慮すると、参照画像と対応する距離画像との間で視野が不変であることが好ましい。そのため、可能であれば、このようなカメラアレイを用いてそれぞれの距離画像を取得することが好ましい。この場合、参照画像および対応する距離画像が同時に情報処理装置へ入力される。そのため、参照画像に対応する距離画像を取得できる場合には、図7に示す距離情報推定部152を必ずしも実装する必要はない。

0080

図7において、参照画像172に対応する距離画像174については、その位置における距離画像(depth map at the location ofVR)を意味する「DR」と表し、参照画像182に対応する距離画像184については、その位置における距離画像(depth map at the location of VL)を意味する「DL」と表す。

0081

入力される複数画像が多視点画像である場合であって、視野についての距離画像を利用できないときや、距離カメラを利用できないときには、距離情報推定部152が参照画像172および182にそれぞれ対応する距離画像174および184を生成する。距離情報推定部152による距離画像の推定方法としては、非特許文献4に開示されるようなエネルギー最適化を併用した、ステレオマッチングに基づく各種の方法を採用できる。例えば、非特許文献5に開示されるようなグラフカットを用いて最適化することもできる。

0082

距離情報推定部152によって生成された距離画像174および184は、距離情報バッファ154に格納される。

0083

なお、入力される複数画像が映像フレーム列(動画像)である場合には、必ずしも距離画像を取得する必要はない。

0084

以下の説明では、典型例として、入力データの一つのセットが対象画像170、参照画像172および対応する距離画像174、ならびに参照画像182および対応する距離画像184を含む場合について主として説明する。

0085

《e3:合成画像の生成》
図6のステップS102に示す合成画像の生成処理は、図7の画像合成部158によって実現される。より具体的には、画像合成部158は、参照画像172および対応する距離画像174、ならびに、参照画像182および対応する距離画像184を用いて、対象画像170の位置における仮想的な視野を示す合成画像176を生成する。図7において、この合成画像176については、対象視野の仮想視野を意味する「VT(virtual)」と表す。このような画像合成としては、例えば、非特許文献6および非特許文献7に開示されるような方法を採用できる。また、距離画像の精度が低い場合には、非特許文献8および非特許文献9に開示されるような、内挿処理を用いることで、合成画像176を生成できる。

0086

図8は、本実施の形態に係るデータサイズ低減方法における合成画像の生成処理の結果を示す図である。図8に示すように、参照画像172および対応する距離画像174、ならびに、参照画像182および対応する距離画像184から、対象画像170に対応する合成画像176が生成される。

0087

また、入力される複数画像が映像フレーム列(動画像)である場合には、2つの参照画像172および182に対応するフレームの情報から内挿処理または外挿処理を行なうことで、対象画像170に対応するフレームの情報を生成し、合成画像176として使用できる。

0088

《e4:マスク画像生成
図6のステップS104に示すマスク画像の生成処理は、図7のマスク推定部160によって実現される。より具体的には、マスク推定部160は、参照画像172および対応する距離画像174、ならびに、参照画像182および対応する距離画像184を用いて、合成画像176の対象画像170に対する潜在的誤差(potential error)を示すマスク画像180を生成する。マスク画像180は、2つの領域からなり、これらの領域は、誤差が相対的に大きい領域および誤差が相対的に小さい領域の2つにそれぞれ対応する。

0089

図9は、本実施の形態に係るデータサイズ低減方法におけるマスク画像180の生成処理を説明するための模式図である。図9を参照して、マスク推定部160は、対象画像170の右側に位置する参照画像172および対象画像170の左側に位置する参照画像182を、それぞれの距離画像174および184を用いて、他方の画像の位置に3Dワーピングさせることで、それぞれの変形画像を生成する。3Dワーピングの詳細については、非特許文献9などを参照のこと。すなわち、マスク推定部160は、参照画像172をその距離画像174を用いて3Dワーピングすることで、参照画像182の仮想的な視野に対応する変形画像183(「VL’」と表す)を生成する。また、マスク推定部160は、参照画像182をその距離画像184を用いて3Dワーピングすることで、参照画像172の仮想的な視野に対応する変形画像173(「VR’」と表す)を生成する。

0090

続いて、マスク推定部160は、変形画像の投影された画素位置と対応する参照画像の画素位置との間で、輝度差(絶対値)を算出する。すなわち、マスク推定部160は、変形画像173と参照画像172との間で、対応する画素位置の各々について輝度差(絶対値)を算出することで、誤差画像175(「eR」と表す)を生成する。同様に、マスク推定部160は、変形画像183と参照画像182との間で、対応する画素位置の各々について輝度差(絶対値)を算出することで、誤差画像185(「eL」と表す)を生成する。誤差画像175および185は、右側および左側の参照画像(参照画像172および184)についての誤差の推定値をそれぞれ示す。

0091

続いて、誤差画像175および185に対して、2値化処理が実行される。すなわち、マスク推定部160は、誤差画像175および185の各画素位置の輝度値としきい値とを比較して、その輝度値が予め設定したしきい値より低い領域と高い領域とを区別する。この結果、誤差画像175および185からは、しきい値より低い領域の画素を「0」とし、それ以外の整数値(典型的には、「1」)とのいずれかを有する2値化誤差画像177および187が生成される。

0092

さらに、マスク推定部160は、2値化誤差画像177および187をそれぞれ対応する距離画像174および184を用いて、対象画像170の位置に3Dワーピングさせることで、2値化誤差変形画像179および189を生成する。最終的には、マスク推定部160は、2値化誤差変形画像179と2値化誤差変形画像189とが一体化され、対象画像170に対する誤差の推定値であるマスク画像180を生成する。より具体的には、マスク推定部160は、2値化誤差変形画像179と2値化誤差変形画像189との間で、各画素位置について論理積をとることでマスク画像180を算出する。

0093

なお、算出されたマスク画像180に対してフィルタリング処理を行なってもよい。フィルタリング処理によって、算出されたマスク画像に含まれるノイズ成分を低減できる。このようなフィルタリング処理としては、ガウシアン(Gaussian)、メディアン(Median)、モルフォロジカル(morphological)操作(例えば、膨脹(dilation)処理や収縮(erosion)処理など)といった各種方法を採用できる。

0094

このマスク画像180においては、参照画像間の誤差が小さい領域は「0」で示され、参照画像間の誤差が大きい領域はそれ以外の整数値(例えば、「1」)で示される。このように、図6のステップS104に示すマスク画像の生成処理は、マスク画像180の各画素位置の値を予め定められたしきい値と比較することで、潜在的誤差が相対的に大きい領域と、潜在的誤差が相対的に小さい領域とを区別する処理を含む。

0095

図10は、本実施の形態に係るデータサイズ低減方法におけるマスク画像180の生成処理の結果を示す図である。図10に示すように、参照画像172および対応する距離画像174、ならびに、参照画像182および対応する距離画像184から、対象画像170に対応するマスク画像180が生成される。

0096

なお、図9に示すマスク画像180の生成処理では、誤差画像175および185に対してしきい値処理を行なうことで、2値化誤差画像177および187を生成する処理例を示すが、このしきい値処理をマスク画像180の生成直前に行なうようにしてもよい。すなわち、誤差画像175および185をそれぞれ距離画像174および184を用いて3Dワーピングし、3Dワーピングした画像同士を結合して得られる画像に対して、しきい値処理を行なうことで、マスク画像180を生成してもよい。

0097

《e5:残差画像生成》
図6のステップS106に示す残差画像の生成処理は、図7の残差画像生成部162によって実現される。より具体的には、残差画像生成部162は、対象画像170と合成画像176との間で対応する画素同士の輝度値の差を算出することで残差画像186を生成する。残差画像186は、合成画像176が対象画像170に対してどれだけ誤差を有するのかという合成誤差情報を含む。残差画像186については、残差を意味する「VT(residual)」と表す。

0098

図11は、本実施の形態に係るデータサイズ低減方法における残差画像186の生成処理を説明するための模式図である。図11を参照して、残差画像生成部162は、参照画像172および対応する距離画像174、ならびに、参照画像182および対応する距離画像184から生成された合成画像176と対象画像170との間で、輝度値の差分を算出することで、差分画像186Aを算出する。

0099

合成画像176および対象画像170の各画素位置の輝度値がnビット(例えば、8ビット)で表現されていれば、各画素位置の輝度値は0〜2nの範囲をとるので、差分計算によって、差分画像186Aの各画素位置の輝度値は−2n〜2nの範囲をとることになる。すなわち、差分画像186Aの各画素位置の輝度値は(n+1)ビットで表現されることになる。しかしながら、各画素位置の輝度値は、通常nビット(0〜2nの範囲)で表現されるので、残差画像生成部162は、(n+1)ビットで表現される差分画像186Aをnビット表現に変換することで、残差画像186を生成する。すなわち、残差画像生成部162は、対象画像170と合成画像176との差から生成される差分画像186Aに対して、ビットプレーン変換を実行して、より少ないビット数の画像を生成する。このビットプレーン変換は、任意の方法を採用できるが、典型的には最下位ビットを削除する処理を含む。

0100

図12は、本実施の形態に係るデータサイズ低減方法における残差画像186の生成処理の結果を示す図である。図12に示すように、対象画像170ならびに参照画像172および182から、対象画像170に対応する残差画像186が生成される。

0101

《e6:剰余画像生成》
図6のステップS108に示す剰余画像の生成処理は、図7の剰余画像生成部164およびサブサンプリング部166によって実現される。より具体的には、図6のステップS1081〜S1083の各々に示す処理に従って、サイド情報および勾配強度画像から各画素位置の剰余が算出される。すなわち、図6のステップS108に示す剰余画像の生成処理は、対象画像170の各画素位置の輝度値に対してモジュロ演算を行なうことで算出される各画素位置の剰余からなる剰余画像188を生成する処理を含む。剰余画像188については、剰余を意味する「VT(remainder)」と表す。

0102

図13は、図7に示す剰余画像生成部164のより詳細な機能構成を示すブロック図である。図13を参照して、剰余画像生成部164は、サイド情報選択部1641と、勾配強度画像生成部1642と、係数選択部1643と、Lookupテーブル1644と、モジュロ演算部1645とを含む。

0103

《e6−1:サイド情報の生成》
図6のステップS1018に示すサイド情報の生成処理は、図7のサブサンプリング部166および図13のサイド情報選択部1641によって実現される。サイド情報は、対象画像170の位置における仮想的な視野の情報であり、対象画像170、対象画像170の縮小画像、合成画像176、および、対象画像170の縮小画像と合成画像176とを組み合せた画像などを用いて生成される。サイド情報選択部1641は、入力される情報(画像)を適宜選択してサイド情報192を出力する。図13において、サイド情報192を「VT(side information)」と表す。

0104

サブサンプリング部166は、対象画像170から縮小画像178を生成する。図7において、この縮小画像178については、対象画像170をサブサンプリングして得られたことを意味する「VT(sub-sampled)」と表す。

0105

サブサンプリング部166における縮小画像178の生成処理は、任意の方法を採用できる。例えば、対象画像170から所定領域毎に当該所定領域に含まれる1つの画素情報を抽出することで、縮小画像178として出力することができる。

0106

あるいは、任意のフィルタリング処理(例えば、最近傍法内挿法バイキュービック法バイラテラルフィルタを用いて縮小画像178を生成してもよい。例えば、対象画像170を所定サイズの領域(例えば、2×2画素、3×3画素など)に分割し、各領域において、その領域に含まれる複数の画素の情報に対して線形または非線型補間処理をすることで、任意のサイズの縮小画像178を生成できる。

0107

サイド情報192を生成する方法としては、典型的には、以下に示す(a)−(d)の4つの方法の中から任意に選択できる。

0108

(a)サイド情報192として対象画像170そのものが用いられる場合:
サイド情報選択部1641は、入力された対象画像170をそのままサイド情報192として出力する。また、デコード処理において対象画像170そのものを利用できないので、参照画像から生成される合成画像がサイド情報として用いられる。

0109

(b)サイド情報192として対象画像170の縮小画像178が用いられる場合:
サイド情報選択部1641は、サブサンプリング部166により生成された縮小画像178をそのままサイド情報192として出力する。

0110

(c)サイド情報192として合成画像176が用いられる場合:
サイド情報選択部1641は、画像合成部158により生成された合成画像176をそのままサイド情報192として出力する。

0111

(d)サイド情報192として縮小画像178と合成画像176との組合せが用いられる場合:
サイド情報選択部1641は、後述するような方法に従って、サイド情報192を生成する。この場合には、図6のステップS1018に示すサイド情報の生成処理は、対象画像170の縮小画像178と合成画像176とを組み合わせてサイド情報192を生成する処理を含む。

0112

より具体的には、サイド情報選択部1641は、まず、組合せに用いる重み係数を算出する。この重み係数は、対象画像170の縮小画像178に対する合成画像176の信頼度分布に関連付けられる。すなわち、合成画像176と縮小画像178(対象画像170)との間の誤差(あるいは、両者の一致度合い)に基づいて、重み係数が決定される。算出される誤差分布は、信頼度分布を反転させたものに相当し、誤差が小さいほど信頼度が高いと考えることができる。すなわち、誤差が大きい領域ほど、合成画像176の信頼性が低いと考えられるので、このような領域については、縮小画像178(対象画像170)の情報がより多く割当てられる。一方、誤差が小さい領域ほど、合成画像176の信頼性が高いと考えられるので、より誤差の小さい合成画像176の情報がより多く割当てられる。

0113

図14は、本実施の形態に係るデータサイズ低減方法においてサイド情報選択に用いられる誤差分布の算出処理を説明するための模式図である。図14を参照して、サイド情報選択部1641は、対象画像170の縮小画像178(VT(sub-sampled))をアップサンプリングして得られる拡大画像198と、合成画像176(VT(virtual))との間で、対応する画素間で輝度値の絶対値の差分をとることで、誤差分布Rを決定する。縮小画像178をアップサンプリングするのは、合成画像176とサイズを一致させるため、および対象画像170を再構成する処理における処理を想定して誤差を算出するためである。縮小画像178をアップサンプリングする方法としては、公知の方法を採用できる。例えば、最近傍法、内挿法、バイキュービック法、バイラテラルフィルタなどの任意のフィルタリング処理を採用できる。

0114

このように、サイド情報選択部1641は、(d)の方式を選んだ場合には、縮小画像178をアップサンプリングして得られる拡大画像198と合成画像176との差に基づいて誤差分布を決定する。サイド情報選択部1641は、決定した誤差分布Rに基づいて、縮小画像178(あるいは、拡大画像198)と合成画像176とを組み合わせてサイド情報192を生成する。算出された誤差分布Rを用いてサイド情報192を生成する方法としては、種々の方法が考えられるが、例えば、以下のような処理例を採用できる。

0115

(i)処理例1:2値化重み付け組合せ法(binary weighted combination)
本処理例においては、算出された誤差分布Rを任意のしきい値を用いて2つの領域に分類する。典型的には、その誤差がしきい値より高い領域をHi領域とし、その誤差がしきい値より低い領域をLo領域とする。そして、サイド情報192の各画素には、誤差分布RのHi領域およびLo領域に対応して、縮小画像178(実質的には、拡大画像198)または合成画像176の情報が割当てられる。より具体的には、誤差分布RのHi領域に対応するサイド情報192の画素位置には、縮小画像178をアップサンプリングして得られる拡大画像198の対応する画素位置の値が割当てられ、誤差分布RのLo領域に対応する画素位置には、合成画像176の対応する画素位置の値が割当てられる。

0116

すなわち、拡大画像198(縮小画像178をアップサンプリングした画像)をSS、合成画像176をSYと表せば、サイド情報192(「SI」と表す)の画素位置(x,y)における値は、所定のしきい値THを用いて、以下のようになる。

0117

SI(x,y)=SS(x,y){if R(x,y)≧TH}
=SY(x,y){if R(x,y)<TH}
このように、本処理例において、サイド情報選択部1641は、誤差が相対的に高い領域に縮小画像178をアップサンプリングして得られる拡大画像198の情報を割当てるとともに、誤差が相対的に低い領域に合成画像176の情報を割当てる。

0118

(ii)処理例2:離散化重み付け組合せ法(discrete weighted combination)
本処理例においては、算出された誤差分布Rを(n−1)個のしきい値を用いて、n種類の領域に分類する。分類された領域の番号kを誤差が低い方から1,2,…,nとすると、サイド情報192(SI)の画素位置(x,y)における値は、分類された領域の番号kを用いて、以下のようになる。

0119

SI(x,y)=(k/n)×SY(x,y)+(1−k/n)×SS(x,y)
このように、本処理例において、サイド情報選択部1641は、誤差が相対的に高い領域に縮小画像178をアップサンプリングして得られる拡大画像198の情報を割当てるとともに、誤差が相対的に低い領域に合成画像176の情報を割当てる。

0120

(iii)処理例3:連続重み付け組合せ法(continuous weighted combination)
本処理例においては、画素位置の誤差の逆数重み付け係数とみなし、これを用いて、サイド情報192を算出する。具体的には、サイド情報192の画素位置(x,y)における値SI(x,y)は以下のようになる。

0121

SI(x,y)=(1/R(x,y))×SY(x,y)+(1−1/R(x,y))×SS(x,y)
このように、本処理例において、サイド情報選択部1641は、誤差が相対的に高い領域に縮小画像178をアップサンプリングして得られる拡大画像198の情報を割当てるとともに、誤差が相対的に低い領域に合成画像176の情報を割当てる。本処理例においては、誤差が高いほど拡大画像198(縮小画像178)が優位になり、誤差が低いほど合成画像176が優位になる。

0122

《e6−2:勾配強度画像の生成》
図6のステップS1082に示す勾配強度画像の生成処理は、図13の勾配強度画像生成部1642によって実現される。より具体的には、勾配強度画像生成部1642は、サイド情報192から画像空間上の変化を示す勾配強度画像196を生成する。勾配強度画像196は、サイド情報192内のテクスチャー変化がより大きい領域ほどより大きい輝度をもつような画像を意味する。図13において、勾配強度画像196を「VT(gradient)」と表す。勾配強度画像196の生成処理としては、任意のフィルタリング処理を用いることができる。また、勾配強度画像196の各画素の値は所定範囲内(例えば、0〜255)のいずれかの整数値をとるように正規化される。

0123

典型的には、以下のような処理手順で勾配強度画像196が生成される。
(a)サイド情報192を出力される剰余画像の画像サイズにリサイズする。

0124

(b)リサイズ後のサイド情報に対してノイズ除去のためにガウシアンフィルタを適用する(ガウシアンスムージング処理)。

0125

(c)フィルタ後のサイド情報をカラーコンポーネント別に分離する(すなわち、カラーコンポーネントの別にグレイスケール画像を生成する)。

0126

(d)各カラーコンポーネントのグレイスケール画像について、(d1)〜(d4)の処理を実行する。

0127

(d1)エッジ検出処理
(d2)(1回以上の)ガウシアンスムージング処理(あるいは、メディアンフィルタ処理
(d3)一連のモルフォロジカル処理(例えば、(1回以上の)膨脹処理、(1回以上の)収縮処理、(1回以上の)膨脹処理)
(d4)(1回以上の)ガウシアンスムージング処理
以上のような処理によって、サイド情報192を構成するカラーコンポーネント別に勾配強度画像が生成される。すなわち、図6のS1082に示す勾配強度画像196の生成処理は、サイド情報192を構成する各カラーコンポーネントのグレイスケール画像に対して、エッジ検出処理、スムージング処理、一連のモルフォロジカル処理、および、スムージング処理を順に適用する処理を含む。このような処理によって、サイド情報192に含まれるカラーコンポーネントの数だけグレイスケール画像が生成され、それぞれのグレイスケール画像について勾配強度画像が生成される。

0128

ここに示した処理手順は一例であって、ガウシアンスムージング処理やモルフォロジカル処理の処理内容や処理手順などは適宜設計できる。

0129

さらに、疑似的な勾配強度画像を生成する処理を採用してもよい。すなわち、サイド情報192内のテクスチャー変化がより大きい領域がより大きい輝度をもつような画像を生成できれば、どのようなフィルタリング処理を採用してもよい。

0130

《e6−3:剰余の算出》
図6のステップS1083に示す剰余の算出処理は、図13の係数選択部1643、Lookupテーブル1644、およびモジュロ演算部1645によって実現される。剰余画像188は、勾配強度画像196の各画素位置における値をモジュロ演算して得られる剰余を示す。このモジュロ演算にあたって、勾配強度画像196の各画素位置の値に応じて、法となる係数Dが選択される。係数選択部1643は、勾配強度画像196の各画素位置の値に応じて係数Dを選択する。

0131

このように、図6のステップS1083に示す剰余の算出処理は、勾配強度画像196の各画素位置について勾配強度に応じた係数Dを決定するとともに、対象画像170の各画素位置の輝度値に対して対応する係数Dを法とするモジュロ演算を行なうことで、モジュロ演算によって算出される各画素位置の剰余からなる剰余画像188を生成する処理を含む。

0132

係数Dの選択方法としては任意の方法を採用できる。例えば、勾配強度画像196の値そのものを係数Dとして選択してもよい。但し、デコード後の画像品質を向上させるために、本実施の形態においては、勾配強度画像196に対して非線形に係数Dを決定する。具体的には、Lookupテーブル1644を参照して、勾配強度画像196の各画素位置に対応する係数Dを選択する。ここで、係数Dは、勾配強度画像196に含まれる各カラーコンポーネントの各画素位置について決定される。

0133

このように図6のステップS1083に示す剰余の算出処理は、予め定められた対応関係を参照して、勾配強度に対応する係数Dを選択する処理を含む。このとき、勾配強度画像196の各画素位置について、カラーコンポーネント別に係数Dが決定される。

0134

図15は、本実施の形態に係る剰余画像の生成に用いられるLookupテーブル1644の一例を示す図である。図15(a)に示すように、複数の段階に離散化されており、勾配強度画像196の各画素位置の値に対応する係数Dが選択される。図15(a)に示すLookupテーブル1644では、モジュロ演算の法となる値が2のべき乗になるように設計される。このように係数Dの割当てを行なうことで、モジュロ演算を高速化できる。Lookupテーブル1644は、任意に設計でき、例えば、図15(b)に示すような、段階数をより少なくしたLookupテーブル1644を採用してもよい。さらに、Lookupテーブルを必ずしも使用する必要はなく、予め定められた関数などを用いて、係数Dを決定してもよい。

0135

図13に戻って、係数選択部1643は、勾配強度画像196の各画素位置について、カラーコンポーネント別に係数Dを選択する。勾配強度画像196に応じて決定される係数Dを用いて、モジュロ演算部1645は、対象画像170に対してモジュロ演算を行って剰余を算出する。

0136

モジュロ演算部1645は、対応する係数Dを法として各画素位置の輝度値に対するモジュロ演算を行なう。より具体的には、各画素位置の輝度値P=q×D+m(但し、q≧0,D>0)が成立する最小のmが決定される。ここで、qは商であり、mは剰余である。

0137

後述する対象画像170の再構成処理(デコード処理)では、「輝度値P=q’×D+m」が算出されるので、各画素位置において算出されるカラーコンポーネント別の剰余mが剰余画像188として保存される。すなわち、各画素位置の剰余mが剰余画像188を構成する。

0138

剰余画像188は、公知のダウンサンプリング方法またはアップサンプリング方法を用いて、任意の大きさにリサイズされてもよい。

0139

図16は、本実施の形態に係る剰余画像の生成処理の結果を示す図である。図16に示すように、参照画像172および182から対象画像170についての剰余画像188が生成される。

0140

《e7:ハイブリッド画像生成》
図6のステップS110に示すハイブリッド画像の生成処理およびステップS112に示す処理結果の出力処理は、図7の画像結合部168によって実現される。画像結合部168は、マスク画像180に従って、残差画像186および剰余画像188を結合し、ハイブリッド画像190を生成する。ハイブリッド画像190については、「VT(hybrid)」と表す。

0141

より具体的には、図6のステップS110に示すハイブリッド画像の生成処理は、マスク画像180に基づいて、潜在的誤差が相対的に大きい領域に残差画像186の対応する領域の情報を割当てることで、対象画像170に対応する変換後画像(ハイブリッド画像190)を生成する処理を含む。さらに、図6のステップS110に示すハイブリッド画像の生成処理は、マスク画像180に基づいて、潜在的誤差が相対的に小さい領域に剰余画像188の対応する領域の情報を割当てる処理を含む。

0142

画像結合部168は、マスク画像180の各画素位置の値に応じて、残差画像186および剰余画像188の一方を選択し、その対応する画素位置の値をハイブリッド画像190の対応する画素位置の輝度値として出力する。より具体的には、画像結合部168は、マスク画像180の値が「0」であれば、剰余画像188の対応する画素位置の値を採用し、マスク画像180の値が「0」以外であれば、残差画像186の対応する画素位置の値を採用する。すなわち、マスク画像180の各画素位置の値は、参照画像間の誤差の大きさを示し、その値が「0」である場合(誤差が相対的に小さい場合)には、再構成された画像品質がより高い剰余画像188が選択され、その値が「0」以外である場合(誤差が相対的に大きい場合)には、より情報量の少ない残差画像186が選択される。このように、ハイブリッド画像190は、マスク画像180に含まれる2つの領域に応じて、残差画像186と剰余画像188とが選択的に結合されることで生成される。

0143

このように、互いに類似した情報を含む複数画像を表現するためのハイブリッド画像190は、参照画像172および182から生成される合成画像176の対象画像170に対する潜在的誤差が相対的に大きい領域に、対象画像170と合成画像176との差に応じた残差画像186の対応する領域の情報を割当てたものである。

0144

上述のように、残差画像186および剰余画像188を適切に組み合わせてハイブリッド画像190を生成することで、データサイズを低減できるとともに、再構成された画像品質をより適切なレベルに保つことができる。

0145

図17および図18は、本実施の形態に係るハイブリッド画像の生成処理の結果を示す図である。図17に示すように、マスク画像180に基づいて、残差画像186および剰余画像188を適切に組み合わせることで、ハイブリッド画像190が生成される。これにより、図18に示すように、参照画像172および182から対象画像170についてのハイブリッド画像190が生成される。

0146

本実施の形態に係るデータサイズ低減方法のエンコード処理の最終出力として、少なくとも、入力されたままの参照画像172および182と、処理結果であるハイブリッド画像190とが保存される。オプションとして、参照画像172の距離画像174、および参照画像182の距離画像184が出力されてもよい。また、オプションとして、剰余画像188とともに縮小画像178が出力されてもよい。これらのオプションとして付加される情報(画像)は、デコード処理における処理内容に応じて適宜選択される。

0147

上述の説明においては、1つの対象画像170と2つの参照画像172,182とのセットに着目して説明したが、入力される複数の画像(多視点画像または映像フレーム列)に対して設定されるすべての対象画像およびにそれぞれ対応する参照画像に対して、同様の処理が実行される。

0148

《e8:処理例》
以下、本実施の形態に係るデータサイズ低減方法のデコード処理の処理例を示す。

0149

図19は、本実施の形態に係るデータサイズ低減方法のデコード処理に入力された対象画像170の一例である。図20は、図19に示す対象画像170から生成された残差画像186の一例である。図21は、図19に示す対象画像170から生成された剰余画像188の一例である。図22は、図19に示す対象画像170から生成されたマスク画像180の一例である。図23は、図19に示す対象画像170から生成されたハイブリッド画像190の一例である。

0150

図19に示すような高精細な対象画像170であっても、図20に示す残差画像186では、その画像内の変化量はそれほど大きくなく、十分にデータサイズを低減できていることがわかる。また、図21に示す剰余画像188についても、多くの部分が黒色になっており、データサイズを低減できていることがわかる。

0151

さらに、図22に示すマスク画像の白色部分に残差画像186の成分が割当てられ、黒色部分に剰余画像188の成分が割当てられることで、図23に示すようなハイブリッド画像190が生成される。

0152

[F.デコード処理]
次に、本実施の形態に係るデータサイズ低減方法のデコード処理(図6のステップS200〜S214)の詳細について説明する。基本的には、エンコード処理の逆処理であるので、同様の処理についての詳細な説明は繰返さない。

0153

《f1:機能構成》
図24は、本実施の形態に係るデータサイズ低減方法のデコード処理に係る機能構成を示すブロック図である。図25は、本実施の形態に係るデータサイズ低減方法のデコード処理の概要を説明するための模式図である。図24における表記は、図7における表記に準じている。

0154

図24を参照して、情報処理装置200は、その機能構成として、入力データバッファ250と、距離情報推定部252と、距離情報バッファ254と、画像合成部258と、マスク推定部260と、残差画像生成部262と、剰余画像生成部264と、アップサンプリング部266と、領域分離部268と、要素結合部274とを含む。

0155

情報処理装置200は、エンコード処理された情報(参照画像172および182、ならびにハイブリッド画像190)を用いて、元の対象画像170を再構成する。例えば、図25に示すように、参照画像172,182とハイブリッド画像190とが交互が配置されており、情報処理装置200は、ハイブリッド画像190の各々に対して、対応する参照画像172,182を用いてデコード処理を行なうことで、元の対象画像170に対応する再構成画像270を復元する。図25に示すように、1つの参照画像が複数の対象画像に関連付けられる場合もある。

0156

《f2:入力データおよび距離画像の取得》
図6のステップS200に示すエンコード処理の取得処理は、図24の入力データバッファ250と、距離情報推定部252と、距離情報バッファ254によって実現される。具体的には、情報処理装置200は、上述のデコード処理によって生成された、参照画像172および182ならびにハイブリッド画像190を少なくとも受信する。上述したように、参照画像172および182にそれぞれ対応する距離画像174および184が併せて送信される場合には、これらの距離画像もデコード処理に用いられる。

0157

一方、距離画像174および184が入力されない場合には、距離情報推定部252が参照画像172および182にそれぞれ対応する距離画像174および184を生成する。距離情報推定部252における距離画像の推定方法は、上述した距離情報推定部152(図7)における距離画像の推定方法と同様であるので、詳細な説明は繰返さない。距離情報推定部252によって生成された距離画像174および184は、距離情報バッファ254に格納される。

0158

《f3:合成画像の生成》
図6のステップS202に示す合成画像の生成処理は、図24の画像合成部258によって実現される。より具体的には、画像合成部258は、参照画像172および対応する距離画像174、ならびに、参照画像182および対応する距離画像184を用いて、対象画像170の位置における仮想的な視野を示す合成画像276を生成する。画像合成部258における合成画像の生成方法は、上述した画像合成部158(図7)における合成画像の生成方法と同様であるので、詳細な説明は繰返さない。なお、受信された複数画像が映像フレーム列(動画像)である場合には、2つの参照画像172および182に対応するフレームの情報から内挿処理または外挿処理を行なうことで、対象画像170に対応するフレームの情報を生成できる。

0159

《f4:マスク画像生成および領域分離》
図6のステップS204に示すマスク画像の生成処理は、図24のマスク推定部260によって実現され、ステップS206に示す残差画像領域と剰余画像領域との分離処理は、図24の領域分離部268によって実現される。

0160

マスク推定部260は、参照画像172および対応する距離画像174、ならびに、参照画像182および対応する距離画像184を用いて、参照画像間の誤差の大きさを示すマスク画像280を生成する。マスク推定部260におけるマスク画像の生成方法は、上述したマスク推定部160(図7)におけるマスク画像の生成方法と同様であるので、詳細な説明は繰返さない。

0161

領域分離部268は、マスク画像280とハイブリッド画像190とから、残差画像領域286と剰余画像領域288とに分離する。図24において、残差画像領域286を「VT(residual part)」と表し、剰余画像領域288を「VT(modulo part)」と表す。このように、図6のステップS204に示すマスク画像の生成処理は、マスク画像280の各画素位置の値を予め定められたしきい値と比較することで、潜在的誤差が相対的に大きい領域と、潜在的誤差が相対的に小さい領域とを区別する処理を含む。

0162

具体的には、領域分離部268は、マスク画像280の値が「0」であれば、ハイブリッド画像190の対応する画素位置の値を剰余画像領域288の値として出力し、マスク画像280の値が「0」以外であれば、ハイブリッド画像190の対応する画素位置の値を残差画像領域286の値として出力する。このように、マスク画像280に基づいて、ハイブリッド画像190が2つの独立した画像に分離される。剰余画像領域288および残差画像領域286は、ハイブリッド画像190に含まれるカラーコンポーネント毎に生成される。

0163

《f5:残差画像領域の再構成》
図6のステップS208に示す残差画像領域の再構成処理は、図24の残差画像生成部262によって実現される。より具体的には、残差画像生成部262は、合成画像276と残差画像領域286との間で対応する画素同士の輝度値を加算することで、残差画像領域286の再構成画像287を生成する。すなわち、図6のステップS208に示す残差画像領域の再構成処理は、マスク画像280に基づいてハイブリッド画像190のうち潜在的誤差が相対的に大きい領域の情報を抽出するとともに、当該抽出した情報と合成画像276とに基づいて、対象画像170の対応する画素位置の輝度値を決定する処理を含む。再構成画像287については、残差画像領域286を復元したという意味で「VT(inverse residual part)」と表す。

0164

図26は、本実施の形態に係るデータサイズ低減方法における再構成画像287の生成処理を説明するための模式図である。図26を参照して、残差画像生成部262は、合成画像276と残差画像領域286との間で輝度値を加算することで、再構成画像287の対応する輝度値を算出する。

0165

図11を参照して説明したように、ハイブリッド画像190に含まれる残差画像は、(n+1)ビット表現をnビット表現に変換したものであり、残差画像領域を再構成するにあたって、このビット変換の逆変換を行なう必要がある。残差画像生成部262は、nビット(例えば、8ビット)で表現される残差画像領域286を(n+1)ビット表現(例えば、9ビット表現)の差分画像286Aへ変換する。すなわち、残差画像生成部262は、ハイブリッド画像190のうち潜在的誤差が相対的に大きい領域の情報に対してビットプレーン変換を行なう。その上で、残差画像生成部262は、当該ビットプレーン変換によりビット数が増大した差分画像286Aと合成画像276とを加算することで輝度値を決定する。すなわち、残差画像生成部262は、差分画像286Aと合成画像276との間で対応する画素位置の値同士を加算して、再構成画像287を生成する。

0166

《f6:剰余画像領域の再構成》
図6のステップS210に示す剰余画像領域の再構成処理は、図24の剰余画像生成部264およびアップサンプリング部266によって実現される。図6のステップS2101〜S2103の各々に示す処理に従って、サイド情報および勾配強度画像から各画素位置の剰余を算出することで、剰余画像領域288の再構成画像289が生成される。すなわち、図6のステップS210に示す剰余画像領域の再構成処理は、マスク画像280に基づいて、ハイブリッド画像190のうち、潜在的誤差が相対的に小さい領域の情報に対して逆モジュロ演算を行なうことで、対象画像170の対応する画素位置の輝度値を決定する処理を含む。再構成画像289については、剰余画像領域288を復元したという意味で「VT(inverse remainder part)」と表す。

0167

図27は、図24に示す剰余画像生成部264のより詳細な機能構成を示すブロック図である。図27を参照して、剰余画像生成部264は、サイド情報選択部2641と、勾配強度画像生成部2642と、係数選択部2643と、Lookupテーブル2644と、逆モジュロ演算部2645とを含む。

0168

《f6−1:サイド情報の生成》
図6のステップS2101に示すサイド情報の生成処理は、図27のサイド情報選択部2641によって実現される。より具体的には、サイド情報選択部2641は、縮小画像178をアップサンプリングして得られる拡大画像272(縮小画像178が入力データに含まれている場合)、合成画像276、およびこれらの組合せに基づいて、サイド情報292を生成する。

0169

上述したように、入力データに縮小画像178が含まれない場合もあり、この場合には、サイド情報選択部2641は、画像合成部258により生成された合成画像276に基づいてサイド情報292を生成する。

0170

一方、入力データに縮小画像178が含まれている場合には、サイド情報選択部2641は、縮小画像178をアップサンプリングして得られる拡大画像272をサイド情報292として用いてもよいし、拡大画像272と合成画像276との組合せによってサイド情報を生成してもよい。

0171

図24に示すアップサンプリング部266は、入力データに含まれている縮小画像178をアップサンプリングして拡大画像272を生成する。縮小画像178をアップサンプリングする方法としては、公知の方法を採用できる。例えば、最近傍法、内挿法、バイキュービック法、バイラテラルフィルタなどの任意のフィルタリング処理を採用できる。

0172

このような拡大画像272と合成画像276との組合せによるサイド情報の生成処理としては、上述したような誤差分布を用いて、2値化重み付け組合せ法、離散化重み付け組合せ法、および連続重み付け組合せ法などを採用できる。これらの処理については、上述したので、詳細な説明は繰返さない。

0173

《f6−2:勾配強度画像の生成》
図6のステップS2102に示す勾配強度画像の生成処理は、図27の勾配強度画像生成部2642によって実現される。より具体的には、勾配強度画像生成部2642は、サイド情報292から画像空間上の変化を示す勾配強度画像296を生成する。勾配強度画像生成部2642における勾配強度画像の生成方法は、上述した勾配強度画像生成部1642(図13)における勾配強度画像の生成方法と同様であるので、詳細な説明は繰返さない。

0174

《f6−3:輝度値の決定》
図6のステップS2103に示す対象画像の各画素位置における輝度値の決定処理は、図27の係数選択部2643、Lookupテーブル2644、および逆モジュロ演算部2645によって実現される。対象画像の各画素位置の輝度値は、ハイブリッド画像190から分離された剰余画像領域288の対応する画素位置の値(剰余m)と、ハイブリッド画像190を構成する剰余画像188を生成する際に用いられた係数Dとから、逆モジュロ演算によって推定される。

0175

この逆モジュロ演算にあたって、エンコード処理においてハイブリッド画像190(剰余画像188)を生成する際に用いられた係数Dが、勾配強度画像296に基づいて推定(選択)される。すなわち、係数選択部2643は、勾配強度画像296の各画素位置の値に応じて係数Dを選択する。この係数Dの選択方法としては任意の方法を採用できるが、本実施の形態においては、Lookupテーブル2644を参照して、各画素位置の係数Dを選択する。Lookupテーブル2644は、エンコード処理において用いられるLookupテーブル1644(図15)と同様である。係数選択部2643は、Lookupテーブル2644を参照して、勾配強度画像296の各画素位置について、カラーコンポーネント別に係数Dを選択する。

0176

逆モジュロ演算部2645は、各画素位置についての選択された係数Dおよび剰余m、ならびにサイド情報292の対応する値SIを用いて、逆モジュロ演算を行なう。より具体的には、逆モジュロ演算部2645は、再構成画像289の輝度値についての候補値C(q’)のリストをC(q’)=q’×D+m(但し、q’≧0,C(q’)<256)に従って算出し、この算出された候補値C(q’)のうち、サイド情報292の対応する値SIに対する差(絶対値)が最も小さいものが、再構成画像289の対応する輝度値として決定される。

0177

例えば、係数D=8、剰余m=3、サイド情報292の対応する値SI=8の場合を考えると、候補値C(q’)としては、以下のようになる。

0178

候補値C(0)=0×8+3=3 (SIとの差=5)
候補値C(1)=1×8+3=11 (SIとの差=3)
候補値C(2)=2×8+3=19 (SIとの差=11)

これらの候補値C(q’)のうち、サイド情報292の対応する値SIとの差が最も小さくなる候補値C(1)が選択され、再構成画像289の対応する輝度値は「11」に決定される。このようにして、再構成画像289の各画素位置の輝度値がカラーコンポーネント別にそれぞれ決定される。

0179

このように図6のステップS210に示す剰余画像領域を再構成する処理は、勾配強度画像296の各画素位置について勾配強度に応じた係数Dを決定するとともに、決定した係数Dを法とし、剰余画像領域288の対応する画素位置の値を剰余mとする逆モジュロ演算により算出される候補値C(q’)のうち、サイド情報292の対応する画素位置の値に対する差が最も小さいものを、再構成画像289の対応する画素位置の輝度値として決定する処理を含む。

0180

《f7:結合》
図6のステップS212に示す対象画像の再構成処理およびステップS214に示す出力処理は、図24の要素結合部274によって実現される。より具体的には、要素結合部274は、残差画像領域に対応する再構成画像287と剰余画像領域に対応する再構成画像289とを結合し、再構成画像270を生成する。後述するように、縮小画像178をアップサンプリングして得られる拡大画像272を、再構成画像270の生成に用いてもよい。

0181

残差画像領域および剰余画像領域はハイブリッド画像190から分離されたものであるので、基本的には、残差画像領域に対応する再構成画像287と剰余画像領域に対応する再構成画像289とを単純に結合することで、再構成画像270を生成できる。すなわち、各画素位置についてみれば、再構成画像287および再構成画像289のいずれか一方に復元された輝度値の情報があり、他方の情報は無効である。そのため、再構成画像287と再構成画像289との間で、各画素位置について両者の値を結合(加算)することで、再構成画像270を生成できる。

0182

本実施の形態に係るデコード処理の最終出力として、少なくとも、処理の結果得られた再構成画像270と、入力されたままの参照画像172および182とが出力および/または保存される。オプションとして、参照画像172の距離画像174、および参照画像182の距離画像184が出力されてもよい。さらに、再構成画像270は、元の対象画像170および/または2つの参照画像172,182との大きさの違いに応じて、任意の大きさにリサイズされてもよい。

0183

上述の説明においては、1つの対象画像170と2つの参照画像172,182とのセットに着目して説明したが、入力される複数の画像(多視点画像または映像フレーム列)に対して設定されるすべての対象画像およびにそれぞれ対応する参照画像に対して、同様の処理が実行される。

0184

[G.変形例]
上述した実施の形態に係るデータサイズ低減方法を以下のように変形してもよい。

0185

《g1:変形例1》
上述した実施の形態に係るデータサイズ低減方法のデコード処理においては、残差画像領域に対応する再構成画像287と剰余画像領域に対応する再構成画像289とを結合することで、再構成画像270を生成する。しかしながら、何らかの誤差によって画像内に局所的なノイズが生じる場合がある。このような場合には、要素結合部274(図24)において、生成された再構成画像と拡大画像272とを比較し、その輝度値の差が相対的に大きい領域については、拡大画像272の情報を用いて補正するようにしてもよい。

0186

より具体的には、要素結合部274は、再構成画像287と再構成画像289とを結合して得られた再構成画像と、縮小画像178をアップサンプリングして得られる拡大画像272との間で、対応する画素位置同士の輝度差(絶対値)を算出する。要素結合部274は、この算出された輝度差が予め定められたしきい値を超える画素があれば、生成された再構成画像のその画素に対応する値を、縮小画像178の対応する画素の値に置換する。そして、置換後の再構成画像が最終的に出力される。すなわち、本変形例に係る方法は、復元された輝度値によって再構成された対象画像のうち縮小画像178をアップサンプリングして得られる拡大画像272との差が相対的に大きな領域について、拡大画像272の対応する値に置換する処理を含む。

0187

このように拡大画像272を用いて補正(輝度値の置換)を行なうことで、再構成画像270に生じ得る局所的なノイズなどを低減できる。

0188

《g2:変形例2》
上述の実施の形態においては、剰余画像の生成において、複数の候補から係数Dを選択する処理について例示したが、係数Dの選択処理をより簡素化してもよい。例えば、各グレイスケール画像についての勾配強度画像を生成し、この勾配強度画像に対するしきい値を2レベル化してもよい。例えば、8ビットの画像の場合には、勾配強度画像に対するしきい値を「4」,「1」,「0」にそれぞれ設定し、勾配強度の値が「4」以上であれば係数Dとして「32」を選択し、勾配強度の値が「1」以上であれば係数Dとして「128」を選択し、勾配強度の値が「0」であれば係数Dとして「256」を選択するようにしてもよい。

0189

勾配強度画像に対するしきい値と対応する係数Dとの組合せについては、ユーザが任意に設定することができる。

0190

《g3:変形例3》
上述の実施の形態においては、選択された係数Dに応じて画素毎に算出される剰余を含む剰余画像が生成されるが、剰余をレベル化してもよい。例えば、ある係数Dを用いてモジュロ演算を行なって得られる剰余の各々がいずれの範囲に含まれるかに応じて、予め定められた剰余のセットのうち対応する値を選択するようにしてもよい。例えば、係数Dが「64」の場合、剰余に対するしきい値を「16」に設定し、算出された剰余が「16」以上であれば最終的な剰余として「32」を出力し、「16」未満であれば最終的な剰余として「0」を出力するようにしてもよい。図28には、本実施の形態の変形例3に係るデータサイズ低減方法により生成される剰余画像の一例を示す。

0191

しきい値および出力される剰余については、3つ以上のレベルを設けてもよい。このような剰余画像を用いることで、より情報量を低減できる。

0192

《g4:変形例4》
上述の実施の形態においては、nビットの階調値を有する残差画像が生成されるが、残差をレベル化してもよい。例えば、算出された残差が相対的に大きい場合には、再構成された画像品質を維持するために、算出された残差そのものを用いる一方で、算出された残差が相対的に小さい場合には、画像の再構成処理に与える影響は小さいので、予め定められた値を設定するようにしてもよい。

0193

例えば、算出された残差が予め定められたしきい値以上である場合には、当該算出された残差そのものを用いるとともに、しきい値未満である場合には、予め定められた値(例えば、128)を用いるようにしてもよい。

0194

図29には、本実施の形態の変形例4に係るデータサイズ低減方法により生成される残差画像の一例を示す。図29(a)には、本実施の形態の変形例4に係る方法で生成された残差画像を示し、図29(b)には、視覚化のため、図29(a)に対して画像処理し、灰色からの差を大きくしたものを示す。

0195

《g5:変形例5》
上述の実施の形態においては、残差画像と剰余画像とからハイブリッド画像を生成し、対象画像をこのハイブリッド画像に変換する処理例について説明した。剰余画像は、参照画像間の誤差が小さい領域を再構成するために用いられるが、このような領域については、サイド情報で補間することも可能である。そのため、剰余画像を含まないようなハイブリッド画像を採用してもよい。

0196

このようなハイブリッド画像は、残差画像領域についてのみ有効な情報(残差画像186)を含んでおり、剰余画像領域についての情報(剰余画像188)は含んでいない。対象画像を再構成する際には、残差画像領域については、ハイブリッド画像から再構成し、剰余画像領域については、サイド情報から再構成する。このサイド情報は、ハイブリッド画像と併せて出力される、参照画像172および182や、対象画像170の縮小画像178などから生成される。

0197

このようなハイブリッド画像を採用することで、よりデータサイズを低減できる。
[H.利点]
本実施の形態によれば、残差画像のみ、または、剰余画像のみを用いたエンコーディング処理に比較して、より高い画像品質へ再構成できる。併せて、残差画像のみ、または、剰余画像のみを用いたエンコーディング処理に比較して、データサイズをより低減できる。

0198

本実施の形態は、多視点画像のデータ表現、画像圧縮前の新たなデータフォーマットといった、画像処理システムの様々なアプリケーションへ応用できる。

0199

本実施の形態によれば、大規模な多視点画像のための、剰余ベースのデータフォーマットを用いることで、より効率的な表現が可能になる。また、変換されたデータフォーマットは、モバイル機器のような電力容量の小さい装置に対して用いることができる。そのため、本実施の形態によれば、モバイル機器や低消費電力機器上で三次元像をより簡単に提供する可能性を高めることができる。

0200

今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

0201

1立体映像再生システム、2 被写体、10カメラ、100,200情報処理装置、102,202無線伝送装置、104,204プロセッサ、106,206メモリ、108 カメラインターフェイス、110,210ハードディスク、112,212 画像データ、114エンコードプログラム、116,216 入力部、118,218 表示部、120,220通信インターフェイス、122,222バス、150入力画像バッファ、152,252距離情報推定部、154,254 距離情報バッファ、158,258画像合成部、160,260マスク推定部、162,262残差画像生成部、164,264剰余画像生成部、166サブサンプリング部、168画像結合部、170対象画像、172,182参照画像、173,183変形画像、174,184距離画像、175,185誤差画像、176,276合成画像、1772値化誤差画像、178縮小画像、179,189 2値化誤差変形画像、180,280マスク画像、186 残差画像、186A,286A差分画像、188 剰余画像、190ハイブリッド画像、192,292サイド情報、196,296勾配強度画像、198,272拡大画像、208プロジェクタインターフェイス、214デコードプログラム、250入力データバッファ、266アップサンプリング部、268領域分離部、270,287,289再構成画像、274要素結合部、286 残差画像領域、288 剰余画像領域、300立体表示装置、302コントローラ、304 プロジェクタアレイ、306拡散フィルム、308集光レンズ、400無線基地局、1641,2641 サイド情報選択部、1642,2642 勾配強度画像生成部、1643,2643係数選択部、1644,2644 Lookupテーブル、1645モジュロ演算部、2645 逆モジュロ演算部。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ