技術 画像解像度変換装置及び画像解像度変換プログラム

0001

本発明は、画像解像度変換装置及び画像解像度変換プログラムに関する。

0002

通常のカメラでは、光線の角度方向情報がメインレンズにより足しこまれてしまうため、カメラに入光する光線の角度方向情報を取得することができない。一方、メインレンズと画像素子の間にマイクロレンズアレイが設置されたプレノプティックカメラでは、メインレンズに入光する光線をマイクロレンズにより再度屈折させることで、光線の角度情報を取得する事が出来る。

0003

しかし、通常のカメラと同程度のサイズの画像素子を用いた場合、角度情報を取得するために、空間解像度が通常のカメラに比べて低下してしまうという課題が発生する。これは、角度方向の解像度（角度情報）と空間方向の解像度（空間解像度）にはトレードオフの関係があるといえる（例えば、非特許文献１参照）。

0004

一方、非特許文献２では、プレノプティックカメラにより撮影された一枚の画像から、超解像処理を行うことで空間解像度の向上を図っている。

0005

しかし、１枚の撮像画像からの超解像処理では、二次元の画像情報としてのそれらしい画像を再現することはできるが、光線の角度情報まで含めて真に正しい情報を復元することは難しい。

0006

プレノプティックカメラはライトフィールドカメラの一種であり、一般にライトフィールドカメラにより撮像された画像（以下、ライトフィールド画像という）は、各画素の位置における光線の強度を前記光線の進行方向ごとに表現した画像となる。

0007

T. Georgiev, K. C. Zheng, B. Curless, D. Salesin, S. Nayar, and C. Intwala, “Spatio-angular resolution tradeoff in integral photography.,” Proc. Eurographics Symposium on Rendering, vol. 2006, pp. 263-272, 2006.
Georgiev, Todor, Georgi Chunev, and Andrew Lumsdaine. "Superresolution with the focused plenoptic camera." IS&T/SPIEElectronic Imaging. International Society for Optics and Photonics, 2011.

0008

前述したように、ライトフィールドカメラでは、角度情報を取得するため、得られる画像であるライトフィールド画像は空間解像度が低いものになってしまうという問題がある。

0009

本発明は、このような事情に鑑みてなされたもので、ライトフィールド画像の空間解像度の向上を図ることができる画像解像度変換装置及び画像解像度変換プログラムを提供することを目的とする。

0010

本発明は、異なる視点から同一の被写体を撮像したライトフィールド画像を複数入力し、入力した前記ライトフィールド画像間のずれ量に基づいて、前記ライトフィールド画像を重ね合わせたライトフィールド画像を生成して出力する画像入力部と、前記重ね合わせたライトフィールド画像から解像度を高くした前記ライトフィールド画像を生成して出力する画像解像度変換部とを備えることを特徴とする。

0011

本発明は、前記画像入力部は、複数の前記ライトフィールド画像からカメラ位置を推定し、推定した前記カメラ位置に基づき同じ画像座標系において複数の前記ライトフィールド画像を重ねることにより、前記ライトフィールド画像の重ね合わせを行うことを特徴とする。

0012

本発明は、前記画像解像度変換部は、出力する前記ライトフィールド画像の解像度を設定し、設定された前記解像度の画像を構成する各画素に対し、画素値を算出するための候補となる前記ライトフィールド画像の選出を行い、選出した候補の中から前記ライトフィールド画像を特定し、特定した前記ライトフィールド画像の画素値を用いて、出力する前記ライトフィールド画像の画素値を決定することにより、解像度を高くした前記ライトフィールド画像を生成することを特徴とする。

0013

本発明は、コンピュータを、前記画像解像度変換装置として機能させるための画像解像度変換プログラムである。

0014

本発明によれば、ライトフィールド画像の空間解像度の向上を図ることができるという効果が得られる。

0015

本発明の一実施形態の構成を示すブロック図である。
図１に示す画像入力部２の処理動作を示すフローチャートである。
複数のライトフィールド画像を重ねる動作を示す説明図である。
図１に示す画像解像度変換部３の処理動作を示すフローチャートである。
図４に示すステップＳ１２の処理動作を示す説明図である。
図４に示すステップＳ１３の処理動作を示す説明図である。

0016

以下、図面を参照して、本発明の一実施形態による画像解像度変換装置を説明する。図１は同実施形態の構成を示すブロック図である。画像解像度変換装置１は、コンピュータ装置によって構成し、外部からライトフィールド画像の入力を行う画像入力部２と、入力したライトフィールド画像の解像度を変換して（高解像度になるように変換して）出力する画像解像度変換部３を備えている。

0017

次に、図２を参照して、図１に示す画像入力部２の処理動作を説明する。図２は、図１に示す画像入力部２の処理動作を示すフローチャートである。画像入力部２は、メインレンズにより結像するシーンの光学像をマイクロレンズアレイを用いて撮像したライトフィールド画像を複数枚入力し、各撮影地点間の三次元空間でのカメラ位置関係を推定し、このライトフィールド画像を重ねる処理を行う。

0018

なお、画像入力部２には、複数の同一方向を向いたライトフィールドカメラが接続されている構成であってもよい。また、複数のライトフィールド画像を得るために、１台のライトフィールドカメラと、このライトフィールドカメラの向きを維持したまま位置を変える（視点を変える）手段を備えた構成であってもよい。具体例として、電動もしくは手動制御のＸＹステージを用いて実現するようにしてもよい。

0019

まず、画像入力部２は、外部から複数のライトフィールド画像を入力する（ステップＳ１）。画像入力部２は、入力した複数のライトフィールド画像を内部に保持する。

0020

次に、画像入力部２は、入力した複数のライトフィールド画像から、ライトフィールド画像それぞれを撮像したカメラの位置を推定する（ステップＳ２）。ここで、カメラの位置とはライトフィールド画像を撮影した位置を表す１×３行列Ｔと、その視線方向の回転を表す３×３行列Ｒのパラメータのことである。これらの行列は、公知である透視投影行列の並進成分・回転成分として表現されるものであるため、ここでは詳細な説明を省略する。

0021

カメラの位置は、ライトフィールド画像から得られたマイクロレンズ画像に対し、Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎを行うことにより推定する。また、既存形状の物体を用いたカメラキャリブレーションを利用して推定してもよい。カメラを水平方向に等間隔に動かしながら複数地点から撮影することにより、カメラの位置を既知とすることができる。

0022

次に、画像入力部２は、推定したカメラの位置に基づき同じ画像座標系で、複数のライトフィールド画像を重ねることにより、基準となる画像座標系に複数の入力ライトフィールド画像を重ねる（ステップＳ３）。

0023

ここで、図３を参照して、図２に示すステップＳ３の処理動作を説明する。図３は、複数のライトフィールド画像を重ねる動作（ステップＳ３）を示す説明図である。画像入力部２は、ステップＳ２において取得したカメラの位置に従い、撮影画像の座標空間の位置ずれ量を算出し、撮影画像をひとつの画像座標空間に重ねていく。

0024

具体的には、基準となるライトフィールド画像３０１を一つ設定した後、そのライトフィールド画像上にｍ（ｍは自然数であり、入力画像数−１と同数である）枚のライトフィールド画像３０ｍを重ね合わせる。そして、その重複領域３１０に含まれるすべての画素の画素値が、基準画像の画素値と最も似たところを、ズレ量Δｍ，ｘ、Δｍ，ｙを変えながら探索していく。

0025

この処理により、ライトフィールド画像上での最適な位置ずれ量Δｍ，ｘ、Δｍ，ｙを算出することができる。そして、その位置ずれ量Δｍ，ｘ、Δｍ，ｙに従い、基準画像となるライトフィールド画像以外のライトフィールド画像を、基準画像と同じ画像空間に重ね合わせていく。

0026

このように、図２に示す処理動作によって、複数のライトフィールド画像を重ねた画像が得られることになる。

0027

次に、図４を参照して、図１に示す画像解像度変換部３の処理動作を説明する。図４は、図１に示す画像解像度変換部３の処理動作を示すフローチャートである。画像解像度変換部３は、重ねられた複数のライトフィールド画像（画像入力部２からの出力）を用いて、ライトフィールド画像の解像度が高解像度になるように解像度変換を行う。

0028

まず、画像解像度変換部３は、出力画像（解像度を高解像度に変換した後の画像）の解像度を所望の解像度に設定する（ステップＳ１１）。そして、設定した解像度を持たせた空の画像を用意する。空の画像とは、各画素の画素値が決定されていない画像のことである。

0029

次に、画像解像度変換部３は、設定された解像度の空の画像における各画素に対し、画素値を算出するための候補となるライトフィールド画像の選出を行う（ステップＳ１２）。この選出は、以下のように行う。まず、出力画像上に、撮影したライトフィールド画像中のマイクロレンズと同じ半径の円を定義する。この円の中の画素すべてについて、以下の処理により、空の画像の画素値を算出するための候補となるライトフィールド画像を選出していく。

0030

ここで、図５を参照して、この処理の動作を説明する。図５は、候補となる画像の選出を行う（ステップＳ１２）処理動作を示す説明図である。画像解像度変換部３は、出力画像に仮想的なマイクロレンズ画像５０１を想定し、仮想マイクロレンズと同じ位置にあるマイクロレンズ画像を入力画像から抽出する。この抽出処理によって、３枚の入力画像である候補画像５０２、候補画像５０３、候補画像５０４が抽出されたものとする。

0031

この３枚の候補画像５０２、５０３、５０４があるとき、出力画像中のある画素５０５の候補画像上の対応点５０６、５０７、５０８を、画像入力部２において求めたずれ量を用いて算出する。候補画像５０３、５０４は対応点５０７、５０８がマイクロレンズ内部に投影されているが、候補画像５０２はマイクロレンズの外に投影されている。このため、候補画像５０３、５０４を候補の画像として残し、候補画像５０２は候補から除外する処理を行う。この処理によって候補となる画像を選出することができる。

0032

次に、画像解像度変換部３は、選出した候補の中から最適なライトフィールド画像を選出し、画素値を決定する（ステップＳ１３）。

0033

ここで、図６を参照して、最適なライトフィールド画像を選出し、画素値を決定する処理の動作を説明する。図６は、最適なライトフィールド画像を選出し、画素値を決定する（ステップＳ１３）処理動作を示す説明図である。画素値の決定は、図６に示す候補画像６０１、６０２、６０３の中から、最適な候補画像を選択することにより画素値の決定を行う。

0034

画像解像度変換部３は、候補画像中の算出された対応点の中から、最も整数画素の座標値に近い画素を持った候補画像を選択する。このために、画像解像度変換部３は、出力画像中のある処理対象画素６０７を、ずれ量を用いて候補画像６０１、６０２、６０３（候補画像数が３の場合）へと投影し、対応点（候補点）６０４、６０５、６０６を取得する。

0035

これを候補点（ｘｎ，ｙｎ）とし、この候補点のなかから、以下の数式で定義されるように、投影点とその近傍の整数画素との距離が最小となる候補画像を選択する。
ａｒｇｍｉｎｎ‖（［ｘｎ＋０．５］，［ｙｎ＋０．５］）−（ｘｎ，ｙｎ）‖

0036

図６においては、候補点６０４が近傍の整数画素座標上にあるため、上記式中の距離は０となるため、最小距離となり候補画像６０１が選択されることになる。本実施形態では、距離計算にユークリッド距離を採用しているが、その他マンハッタン距離等、公知の距離指標を用いてもよい。

0037

次に、画像解像度変換部３は、最終的な出力画像となる画素の画素値を決定する。この決定を行うために、画像解像度変換部３は、選択された候補画像の対応点（候補点）（ｘｎ，ｙｎ）が整数座標を持つ場合には、入力画像ｎから対応点（ｘｎ，ｙｎ）の画素値を抽出し、そのまま出力画像の画素値とする。

0038

一方、（ｘｎ，ｙｎ）が少数座標であった場合には、（ｘｎ，ｙｎ）の近傍画素を用いて、補間処理を行うことで、出力画像の画素値を決定する。画素値の補間には、Ｂｉｌｉｎｅａｒ（バイリニア補間）やＢｉｃｕｂｉｃ（バイキュビック補間）など、公知の補間方法を用いればよい。本実施形態においては、Ｂｉｌｉｎｅａｒ（バイリニア補間）による線形補間を行っている。

0039

次に、画像解像度変換部３は、設定された解像度の出力画像の各画素に対し、ステップＳ１２、Ｓ１３の処理を繰り返す（ステップＳ１４）。そして、出力画像の各画素が決定すれば、画像解像度変換部３は、指定フォーマットで高解像度化されたライトフィールド画像を出力する（ステップＳ１５）。

0040

このように、図４に示す処理動作によって、解像度が変換された（高解像度化された）ライトフィールド画像の出力を行うことが可能になる。

0041

このように、ライトフィールド画像の解像度を変換する際に、わずかに移動した複数の地点から撮影したライトフィールド画像を用いて解像度変換を行うことにより、ライトフィールド画像の空間解像度を向上させることができる。

0042

以上説明したように、わずかに移動した地点から撮影されたライトフィールド画像を用いて画像解像度変換を行うことで、別のライトフィールド画像の空間解像度の向上を図る画像解像度変換装置を提供することが可能となる。

0043

この構成によれば、低空間解像度であるライトフィールド画像の空間解像度の向上を図ることができる。

0044

前述した実施形態における画像解像度変換装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

0045

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

0046

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

0047

ライトフィールド画像の空間解像度の向上を図ることが不可欠な用途に適用できる。

0048

１・・・画像解像度変換装置、２・・・画像入力部、３・・・画像解像度変換部