図面 (/)

技術 画像解像度変換装置及び画像解像度変換プログラム

出願人 日本電信電話株式会社
発明者 竹内広太藤井憲作志水信哉小島明
出願日 2014年6月23日 (6年8ヶ月経過) 出願番号 2014-128267
公開日 2016年1月18日 (5年1ヶ月経過) 公開番号 2016-009917
状態 特許登録済
技術分野 光信号から電気信号への変換 スタジオ装置
主要キーワード 既存形状 仮想マイク 透視投影行列 距離指標 ライトフィールドカメラ プレノプティックカメラ 指定フォーマット 並進成分
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2016年1月18日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (7)

課題

解決手段

画像解像度変換装置1は、異なる視点から同一の被写体を撮像したライトフィールド画像を複数入力し、入力したライトフィールド画像間のずれ量に基づいて、ライトフィールド画像を重ね合わせたライトフィールド画像を生成して出力する画像入力部2と、重ね合わせたライトフィールド画像から解像度を高くしたライトフィールド画像を生成して出力する画像解像度変換部3とを備える。

概要

背景

通常のカメラでは、光線の角度方向情報がメインレンズにより足しこまれてしまうため、カメラに入光する光線の角度方向情報を取得することができない。一方、メインレンズと画像素子の間にマイクロレンズアレイが設置されたプレノプティックカメラでは、メインレンズに入光する光線をマイクロレンズにより再度屈折させることで、光線の角度情報を取得する事が出来る。

しかし、通常のカメラと同程度のサイズの画像素子を用いた場合、角度情報を取得するために、空間解像度が通常のカメラに比べて低下してしまうという課題が発生する。これは、角度方向の解像度(角度情報)と空間方向の解像度(空間解像度)にはトレードオフの関係があるといえる(例えば、非特許文献1参照)。

一方、非特許文献2では、プレノプティックカメラにより撮影された一枚の画像から、超解像処理を行うことで空間解像度の向上を図っている。

しかし、1枚の撮像画像からの超解像処理では、二次元画像情報としてのそれらしい画像を再現することはできるが、光線の角度情報まで含めて真に正しい情報を復元することは難しい。

プレノプティックカメラはライトフィールドカメラ一種であり、一般にライトフィールドカメラにより撮像された画像(以下、ライトフィールド画像という)は、各画素の位置における光線の強度を前記光線の進行方向ごとに表現した画像となる。

概要

ライトフィールド画像の空間解像度の向上をる変換装置及び変換プログラムを提供する。画像解像度変換装置1は、異なる視点から同一の被写体を撮像したライトフィールド画像を複数入力し、入力したライトフィールド画像間のずれ量に基づいて、ライトフィールド画像を重ね合わせたライトフィールド画像を生成して出力する画像入力部2と、重ね合わせたライトフィールド画像から解像度を高くしたライトフィールド画像を生成して出力する画像解像度変換部3とを備える。

目的

本発明は、このような事情に鑑みてなされたもので、ライトフィールド画像の空間解像度の向上を図ることができる画像解像度変換装置及び画像解像度変換プログラムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

異なる視点から同一の被写体を撮像したライトフィールド画像を複数入力し、入力した前記ライトフィールド画像間のずれ量に基づいて、前記ライトフィールド画像を重ね合わせたライトフィールド画像を生成して出力する画像入力部と、前記重ね合わせたライトフィールド画像から解像度を高くした前記ライトフィールド画像を生成して出力する画像解像度変換部とを備えることを特徴とする画像解像度変換装置

請求項2

前記画像入力部は、複数の前記ライトフィールド画像からカメラ位置推定し、推定した前記カメラ位置に基づき同じ画像座標系において複数の前記ライトフィールド画像を重ねることにより、前記ライトフィールド画像の重ね合わせを行うことを特徴とする請求項1に記載の画像解像度変換装置。

請求項3

前記画像解像度変換部は、出力すべき解像度変換後の前記ライトフィールド画像の解像度を設定し、設定された前記解像度の画像を構成する各画素に対し、画素値を算出するための候補となる前記ライトフィールド画像の選出を行い、選出した候補の中から前記画素値を算出する前記ライトフィールド画像を特定し、特定した前記ライトフィールド画像の画素値を用いて、出力すべき前記ライトフィールド画像の画素値を決定することにより、解像度を高くした前記ライトフィールド画像を生成することを特徴とする請求項1または2に記載の画像解像度変換装置。

請求項4

コンピュータを、請求項1から3のいずれか1項に記載の画像解像度変換装置として機能させるための画像解像度変換プログラム

技術分野

0001

本発明は、画像解像度変換装置及び画像解像度変換プログラムに関する。

背景技術

0002

通常のカメラでは、光線の角度方向情報がメインレンズにより足しこまれてしまうため、カメラに入光する光線の角度方向情報を取得することができない。一方、メインレンズと画像素子の間にマイクロレンズアレイが設置されたプレノプティックカメラでは、メインレンズに入光する光線をマイクロレンズにより再度屈折させることで、光線の角度情報を取得する事が出来る。

0003

しかし、通常のカメラと同程度のサイズの画像素子を用いた場合、角度情報を取得するために、空間解像度が通常のカメラに比べて低下してしまうという課題が発生する。これは、角度方向の解像度(角度情報)と空間方向の解像度(空間解像度)にはトレードオフの関係があるといえる(例えば、非特許文献1参照)。

0004

一方、非特許文献2では、プレノプティックカメラにより撮影された一枚の画像から、超解像処理を行うことで空間解像度の向上を図っている。

0005

しかし、1枚の撮像画像からの超解像処理では、二次元画像情報としてのそれらしい画像を再現することはできるが、光線の角度情報まで含めて真に正しい情報を復元することは難しい。

0006

プレノプティックカメラはライトフィールドカメラ一種であり、一般にライトフィールドカメラにより撮像された画像(以下、ライトフィールド画像という)は、各画素の位置における光線の強度を前記光線の進行方向ごとに表現した画像となる。

先行技術

0007

T. Georgiev, K. C. Zheng, B. Curless, D. Salesin, S. Nayar, and C. Intwala, “Spatio-angular resolution tradeoff in integral photography.,” Proc. Eurographics Symposium on Rendering, vol. 2006, pp. 263-272, 2006.
Georgiev, Todor, Georgi Chunev, and Andrew Lumsdaine. "Superresolution with the focused plenoptic camera." IS&T/SPIEElectronic Imaging. International Society for Optics and Photonics, 2011.

発明が解決しようとする課題

0008

前述したように、ライトフィールドカメラでは、角度情報を取得するため、得られる画像であるライトフィールド画像は空間解像度が低いものになってしまうという問題がある。

0009

本発明は、このような事情に鑑みてなされたもので、ライトフィールド画像の空間解像度の向上を図ることができる画像解像度変換装置及び画像解像度変換プログラムを提供することを目的とする。

課題を解決するための手段

0010

本発明は、異なる視点から同一の被写体を撮像したライトフィールド画像を複数入力し、入力した前記ライトフィールド画像間のずれ量に基づいて、前記ライトフィールド画像を重ね合わせたライトフィールド画像を生成して出力する画像入力部と、前記重ね合わせたライトフィールド画像から解像度を高くした前記ライトフィールド画像を生成して出力する画像解像度変換部とを備えることを特徴とする。

0011

本発明は、前記画像入力部は、複数の前記ライトフィールド画像からカメラ位置推定し、推定した前記カメラ位置に基づき同じ画像座標系において複数の前記ライトフィールド画像を重ねることにより、前記ライトフィールド画像の重ね合わせを行うことを特徴とする。

0012

本発明は、前記画像解像度変換部は、出力する前記ライトフィールド画像の解像度を設定し、設定された前記解像度の画像を構成する各画素に対し、画素値を算出するための候補となる前記ライトフィールド画像の選出を行い、選出した候補の中から前記ライトフィールド画像を特定し、特定した前記ライトフィールド画像の画素値を用いて、出力する前記ライトフィールド画像の画素値を決定することにより、解像度を高くした前記ライトフィールド画像を生成することを特徴とする。

0013

本発明は、コンピュータを、前記画像解像度変換装置として機能させるための画像解像度変換プログラムである。

発明の効果

0014

本発明によれば、ライトフィールド画像の空間解像度の向上を図ることができるという効果が得られる。

図面の簡単な説明

0015

本発明の一実施形態の構成を示すブロック図である。
図1に示す画像入力部2の処理動作を示すフローチャートである。
複数のライトフィールド画像を重ねる動作を示す説明図である。
図1に示す画像解像度変換部3の処理動作を示すフローチャートである。
図4に示すステップS12の処理動作を示す説明図である。
図4に示すステップS13の処理動作を示す説明図である。

実施例

0016

以下、図面を参照して、本発明の一実施形態による画像解像度変換装置を説明する。図1は同実施形態の構成を示すブロック図である。画像解像度変換装置1は、コンピュータ装置によって構成し、外部からライトフィールド画像の入力を行う画像入力部2と、入力したライトフィールド画像の解像度を変換して(高解像度になるように変換して)出力する画像解像度変換部3を備えている。

0017

次に、図2を参照して、図1に示す画像入力部2の処理動作を説明する。図2は、図1に示す画像入力部2の処理動作を示すフローチャートである。画像入力部2は、メインレンズにより結像するシーン光学像をマイクロレンズアレイを用いて撮像したライトフィールド画像を複数枚入力し、各撮影地点間の三次元空間でのカメラ位置関係を推定し、このライトフィールド画像を重ねる処理を行う。

0018

なお、画像入力部2には、複数の同一方向を向いたライトフィールドカメラが接続されている構成であってもよい。また、複数のライトフィールド画像を得るために、1台のライトフィールドカメラと、このライトフィールドカメラの向きを維持したまま位置を変える(視点を変える)手段を備えた構成であってもよい。具体例として、電動もしくは手動制御のXYステージを用いて実現するようにしてもよい。

0019

まず、画像入力部2は、外部から複数のライトフィールド画像を入力する(ステップS1)。画像入力部2は、入力した複数のライトフィールド画像を内部に保持する。

0020

次に、画像入力部2は、入力した複数のライトフィールド画像から、ライトフィールド画像それぞれを撮像したカメラの位置を推定する(ステップS2)。ここで、カメラの位置とはライトフィールド画像を撮影した位置を表す1×3行列Tと、その視線方向の回転を表す3×3行列Rのパラメータのことである。これらの行列は、公知である透視投影行列並進成分回転成分として表現されるものであるため、ここでは詳細な説明を省略する。

0021

カメラの位置は、ライトフィールド画像から得られたマイクロレンズ画像に対し、Structure from Motionを行うことにより推定する。また、既存形状物体を用いたカメラキャリブレーションを利用して推定してもよい。カメラを水平方向に等間隔に動かしながら複数地点から撮影することにより、カメラの位置を既知とすることができる。

0022

次に、画像入力部2は、推定したカメラの位置に基づき同じ画像座標系で、複数のライトフィールド画像を重ねることにより、基準となる画像座標系に複数の入力ライトフィールド画像を重ねる(ステップS3)。

0023

ここで、図3を参照して、図2に示すステップS3の処理動作を説明する。図3は、複数のライトフィールド画像を重ねる動作(ステップS3)を示す説明図である。画像入力部2は、ステップS2において取得したカメラの位置に従い、撮影画像座標空間位置ずれ量を算出し、撮影画像をひとつの画像座標空間に重ねていく。

0024

具体的には、基準となるライトフィールド画像301を一つ設定した後、そのライトフィールド画像上にm(mは自然数であり、入力画像数−1と同数である)枚のライトフィールド画像30mを重ね合わせる。そして、その重複領域310に含まれるすべての画素の画素値が、基準画像の画素値と最も似たところを、ズレ量Δm,x、Δm,yを変えながら探索していく。

0025

この処理により、ライトフィールド画像上での最適な位置ずれ量Δm,x、Δm,yを算出することができる。そして、その位置ずれ量Δm,x、Δm,yに従い、基準画像となるライトフィールド画像以外のライトフィールド画像を、基準画像と同じ画像空間に重ね合わせていく。

0026

このように、図2に示す処理動作によって、複数のライトフィールド画像を重ねた画像が得られることになる。

0027

次に、図4を参照して、図1に示す画像解像度変換部3の処理動作を説明する。図4は、図1に示す画像解像度変換部3の処理動作を示すフローチャートである。画像解像度変換部3は、重ねられた複数のライトフィールド画像(画像入力部2からの出力)を用いて、ライトフィールド画像の解像度が高解像度になるように解像度変換を行う。

0028

まず、画像解像度変換部3は、出力画像(解像度を高解像度に変換した後の画像)の解像度を所望の解像度に設定する(ステップS11)。そして、設定した解像度を持たせた空の画像を用意する。空の画像とは、各画素の画素値が決定されていない画像のことである。

0029

次に、画像解像度変換部3は、設定された解像度の空の画像における各画素に対し、画素値を算出するための候補となるライトフィールド画像の選出を行う(ステップS12)。この選出は、以下のように行う。まず、出力画像上に、撮影したライトフィールド画像中のマイクロレンズと同じ半径の円を定義する。この円の中の画素すべてについて、以下の処理により、空の画像の画素値を算出するための候補となるライトフィールド画像を選出していく。

0030

ここで、図5を参照して、この処理の動作を説明する。図5は、候補となる画像の選出を行う(ステップS12)処理動作を示す説明図である。画像解像度変換部3は、出力画像に仮想的なマイクロレンズ画像501を想定し、仮想マイクレンズと同じ位置にあるマイクロレンズ画像を入力画像から抽出する。この抽出処理によって、3枚の入力画像である候補画像502、候補画像503、候補画像504が抽出されたものとする。

0031

この3枚の候補画像502、503、504があるとき、出力画像中のある画素505の候補画像上の対応点506、507、508を、画像入力部2において求めたずれ量を用いて算出する。候補画像503、504は対応点507、508がマイクロレンズ内部に投影されているが、候補画像502はマイクロレンズの外に投影されている。このため、候補画像503、504を候補の画像として残し、候補画像502は候補から除外する処理を行う。この処理によって候補となる画像を選出することができる。

0032

次に、画像解像度変換部3は、選出した候補の中から最適なライトフィールド画像を選出し、画素値を決定する(ステップS13)。

0033

ここで、図6を参照して、最適なライトフィールド画像を選出し、画素値を決定する処理の動作を説明する。図6は、最適なライトフィールド画像を選出し、画素値を決定する(ステップS13)処理動作を示す説明図である。画素値の決定は、図6に示す候補画像601、602、603の中から、最適な候補画像を選択することにより画素値の決定を行う。

0034

画像解像度変換部3は、候補画像中の算出された対応点の中から、最も整数画素座標値に近い画素を持った候補画像を選択する。このために、画像解像度変換部3は、出力画像中のある処理対象画素607を、ずれ量を用いて候補画像601、602、603(候補画像数が3の場合)へと投影し、対応点(候補点)604、605、606を取得する。

0035

これを候補点(xn,yn)とし、この候補点のなかから、以下の数式で定義されるように、投影点とその近傍の整数画素との距離が最小となる候補画像を選択する。
argminn‖([xn+0.5],[yn+0.5])−(xn,yn)‖

0036

図6においては、候補点604が近傍の整数画素座標上にあるため、上記式中の距離は0となるため、最小距離となり候補画像601が選択されることになる。本実施形態では、距離計算ユークリッド距離を採用しているが、その他マンハッタン距離等、公知の距離指標を用いてもよい。

0037

次に、画像解像度変換部3は、最終的な出力画像となる画素の画素値を決定する。この決定を行うために、画像解像度変換部3は、選択された候補画像の対応点(候補点)(xn,yn)が整数座標を持つ場合には、入力画像nから対応点(xn,yn)の画素値を抽出し、そのまま出力画像の画素値とする。

0038

一方、(xn,yn)が少数座標であった場合には、(xn,yn)の近傍画素を用いて、補間処理を行うことで、出力画像の画素値を決定する。画素値の補間には、Bilinear(バイリニア補間)やBicubic(バイキュビック補間)など、公知の補間方法を用いればよい。本実施形態においては、Bilinear(バイリニア補間)による線形補間を行っている。

0039

次に、画像解像度変換部3は、設定された解像度の出力画像の各画素に対し、ステップS12、S13の処理を繰り返す(ステップS14)。そして、出力画像の各画素が決定すれば、画像解像度変換部3は、指定フォーマット高解像度化されたライトフィールド画像を出力する(ステップS15)。

0040

このように、図4に示す処理動作によって、解像度が変換された(高解像度化された)ライトフィールド画像の出力を行うことが可能になる。

0041

このように、ライトフィールド画像の解像度を変換する際に、わずかに移動した複数の地点から撮影したライトフィールド画像を用いて解像度変換を行うことにより、ライトフィールド画像の空間解像度を向上させることができる。

0042

以上説明したように、わずかに移動した地点から撮影されたライトフィールド画像を用いて画像解像度変換を行うことで、別のライトフィールド画像の空間解像度の向上を図る画像解像度変換装置を提供することが可能となる。

0043

この構成によれば、低空間解像度であるライトフィールド画像の空間解像度の向上を図ることができる。

0044

前述した実施形態における画像解像度変換装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

0045

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワーク電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、PLD(Programmable Logic Device)やFPGA(Field Programmable Gate Array)等のハードウェアを用いて実現されるものであってもよい。

0046

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

0047

ライトフィールド画像の空間解像度の向上を図ることが不可欠な用途に適用できる。

0048

1・・・画像解像度変換装置、2・・・画像入力部、3・・・画像解像度変換部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ