図面 (/)

技術 画像超解像装置およびそのプログラム

出願人 日本放送協会
発明者 豊田崇弘鹿喰善明三須俊枝井口和久境田慎一
出願日 2010年11月25日 (11年2ヶ月経過) 出願番号 2010-261913
公開日 2012年6月14日 (9年8ヶ月経過) 公開番号 2012-113513
状態 特許登録済
技術分野 画像処理 TV信号の圧縮,符号化方式 FAX原画の編集 TV信号の圧縮,符号化方式
主要キーワード 切り出し間隔 画質精度 Y座標 切り出し拡大 縮小入力 縮小手法 劣化モデル X座標
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2012年6月14日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (9)

課題

入力画像から超解像画像を生成する画像超解像装置を提供する。

解決手段

画像超解像装置1は、入力画像から処理ブロック切り出す処理ブロック切り出し手段10と、拡大処理ブロックを生成する処理ブロック拡大手段20と、入力画像から複数の参照ブロックを切り出す参照ブロック切り出し手段31と、参照ブロックに劣化過程模擬して劣化参照ブロックを生成する劣化モデル手段32と、劣化参照ブロックを拡大して復元参照ブロックを生成する劣化参照ブロック拡大手段41と、復元参照ブロックと参照ブロックとの差分を損失成分として算出する損失成分算出手段42と、拡大処理ブロックと損失成分とを合成して超解像ブロックを生成する超解像ブロック合成手段50と、超解像ブロックを構成することで超解像画像を生成する超解像画像構成手段60と、を備えることを特徴とする。

概要

背景

一般に、画像を元のサイズよりも大きくしてディスプレイプリンタに出力するには、画像の拡大処理が必要となる。この画像の拡大処理には、処理の簡便さから、線形補間バイキュービック法(Bicubic法)等の画素値補間法が広く利用されている。
しかし、これらの画素値の補間法では、拡大した画像にボケが生じるという問題がある。その大きな原因として、拡大した画像には、高周波成分が十分含まれていないことが挙げられる。

従来、このような拡大した画像にボケが生じるのを抑えるため、画像の高周波成分を新たに生成し、拡大した画像に足し合わせる超解像手法が提案されている(非特許文献1参照)。この非特許文献1に記載された手法では、学習用データを用意し、それらから画像の低周波成分と高周波成分との相関を学習する。そして、この手法は、処理対象入力画像を拡大する際に、学習した相関を基に高周波成分を推定し、拡大した画像に足し合わせることで超解像画像を生成する。

また一方で、学習データを用いずに高周波成分を推定し、超解像画像を生成する手法も提案されている(特許文献1参照)。この特許文献1に記載された手法では、入力画像内に存在する画像(画素値の分布)の局所的な相似性を利用し、高周波成分を生成する。

具体的には、この手法は、以下の手順により超解像画像を生成する。
まず、入力画像から相似関係にある大小一組のブロックを切り出し、それらのDCT(離散コサイン変換係数を算出する。そして、小さい方のブロックのDCT係数を、大きい方のブロックのDCT係数のうち対応するものと置き換える。そして、その置き換えた大きい方のブロックのDCT係数を逆DCTすることで、拡大した超解像ブロックの画素値を得る。例えば、小さい方のブロックのサイズを8×8画素、大きい方のブロックのサイズを16×16画素としたとき、大きい方のブロックのDCT係数(16×16)のうち、低周波領域の8×8画素のDCT係数を小さい方のブロックのDCT係数(8×8)で置き換える。そして、その置き換えて生成したDCT係数(16×16)を逆DCTすることで、8×8画素の小さいブロックに対応した16×16画素の超解像ブロックを生成する。同様な処理を、画像全体の小さいブロックに対して行い、小さいブロックのそれぞれを対応する超解像ブロックに置き換えることで、超解像画像を生成する。

概要

入力画像から超解像画像を生成する画像超解像装置を提供する。画像超解像装置1は、入力画像から処理ブロックを切り出す処理ブロック切り出し手段10と、拡大処理ブロックを生成する処理ブロック拡大手段20と、入力画像から複数の参照ブロックを切り出す参照ブロック切り出し手段31と、参照ブロックに劣化過程模擬して劣化参照ブロックを生成する劣化モデル手段32と、劣化参照ブロックを拡大して復元参照ブロックを生成する劣化参照ブロック拡大手段41と、復元参照ブロックと参照ブロックとの差分を損失成分として算出する損失成分算出手段42と、拡大処理ブロックと損失成分とを合成して超解像ブロックを生成する超解像ブロック合成手段50と、超解像ブロックを構成することで超解像画像を生成する超解像画像構成手段60と、を備えることを特徴とする。

目的

本発明は、以上のような問題に鑑みてなされたものであり、学習用データを用意することが不要で、画像縮小以外の劣化過程を経た入力画像に対しても、高画質な超解像画像を生成することが可能な画像超解像装置およびそのプログラムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

予め定めた符号化方式による符号化および復号により劣化した入力画像を予め定めた拡大率で拡大し、超解像画像を生成する画像超解像装置であって、前記入力画像を予め定めた大きさの処理ブロックに分割して切り出す処理ブロック切り出し手段と、この処理ブロック切り出し手段で切り出された処理ブロックを前記拡大率で拡大して拡大処理ブロックを生成する処理ブロック拡大手段と、前記入力画像から、前記拡大処理ブロックと同一の大きさの複数のブロックを参照ブロックとして切り出す参照ブロック切り出し手段と、この参照ブロック切り出し手段で切り出された参照ブロックを、前記拡大率の逆比率で縮小するとともに、前記符号化方式による劣化モデルで劣化させて、劣化参照ブロックを生成する劣化モデル手段と、この劣化モデル手段で生成された劣化参照ブロックと前記処理ブロックとの類似度を算出する類似度算出手段と、前記劣化参照ブロックを前記拡大率で拡大して復元参照ブロックを生成する劣化参照ブロック拡大手段と、この劣化参照ブロック拡大手段で生成された復元参照ブロックと前記参照ブロックとの差分を損失成分として算出する損失成分算出手段と、前記類似度算出手段で算出された類似度に基づいて、前記拡大処理ブロックと前記損失成分とを合成することで、前記処理ブロックを超解像した超解像ブロックを生成する超解像ブロック合成手段と、この超解像ブロック合成手段で生成された超解像ブロックを構成することで、前記入力画像を拡大した画像を生成する超解像画像構成手段と、を備えることを特徴とする画像超解像装置。

請求項2

予め定めた符号化方式による符号化および復号により劣化した入力画像を予め定めた拡大率で拡大し、超解像画像を生成する画像超解像装置であって、前記入力画像を予め定めた大きさの処理ブロックに分割して切り出す処理ブロック切り出し手段と、この処理ブロック切り出し手段で切り出された処理ブロックを前記拡大率で拡大して拡大処理ブロックを生成する処理ブロック拡大手段と、前記入力画像から、前記拡大処理ブロックと同一の大きさの複数のブロックを参照ブロックとして切り出す参照ブロック切り出し手段と、前記入力画像を、前記拡大率の逆比率で縮小するとともに、前記符号化方式による符号化および復号により劣化させて、劣化入力画像を生成する劣化モデル手段と、この劣化モデル手段で生成された劣化入力画像から、前記処理ブロックと同一の大きさで、前記参照ブロックの位置に対応した複数のブロックを劣化参照ブロックとして切り出す劣化参照ブロック切り出し手段と、この劣化参照ブロック切り出し手段で切り出された劣化参照ブロックと前記処理ブロックとの類似度を算出する類似度算出手段と、前記劣化参照ブロックを前記拡大率で拡大して復元参照ブロックを生成する劣化参照ブロック拡大手段と、この劣化参照ブロック拡大手段で生成された復元参照ブロックと前記参照ブロックとの差分を損失成分として算出する損失成分算出手段と、前記類似度算出手段で算出された類似度に基づいて、前記拡大処理ブロックと前記損失成分とを合成することで、前記処理ブロックを超解像した超解像ブロックを生成する超解像ブロック合成手段と、この超解像ブロック合成手段で生成された超解像ブロックを構成することで、前記入力画像を拡大した画像を生成する超解像画像構成手段と、を備えることを特徴とする画像超解像装置。

請求項3

前記超解像ブロック合成手段は、前記拡大処理ブロックに、前記複数の参照ブロックから生成された前記損失成分を、前記類似度に基づいて重み付き加算することを特徴とする請求項1または請求項2に記載の画像超解像装置。

請求項4

前記類似度算出手段は、前記劣化参照ブロックと前記処理ブロックとの画素ごとの類似度を算出し、前記超解像ブロック合成手段は、前記拡大処理ブロックに、前記複数の参照ブロックから生成された前記損失成分を、前記画素ごとの類似度に基づいて画素ごとに重み付き加算することを特徴とする請求項1から請求項3のいずれか一項に記載の画像超解像装置。

請求項5

前記超解像画像構成手段で生成された画像である拡大画像を記憶する拡大画像記憶手段と、この拡大画像記憶手段に記憶されている拡大画像を縮小した処理画像を生成する画像縮小手段と、処理対象の画像を前記入力画像から前記処理画像に切り換え入力切り換え手段とを、さらに備え、前記超解像画像構成手段は、前記画像縮小手段に対して前記処理画像を生成させ、前記入力切り換え手段に対して、前記処理対象の画像を前記処理画像とすることで、前記拡大画像の生成を繰り返し、予め定めた回数繰り返した段階で、前記拡大画像を前記超解像画像として出力する反復判定手段を備えることを特徴とする請求項1から請求項4のいずれか一項に記載の画像超解像装置。

請求項6

前記超解像画像構成手段で生成された画像である拡大画像を記憶する拡大画像記憶手段と、この拡大画像記憶手段に記憶されている拡大画像を縮小した処理画像を生成する画像縮小手段と、処理対象の画像を前記入力画像から前記処理画像に切り換える入力切り換え手段とを、さらに備え、前記超解像画像構成手段は、前記拡大画像において、更新前後の超解像ブロックの差分が予め定めた閾値以上の場合にのみ新たな超解像ブロックで前記拡大画像を更新するブロック更新手段と、前記画像縮小手段に対して前記処理画像を生成させ、前記入力切り換え手段に対して、前記処理対象の画像を前記処理画像とすることで、前記拡大画像の生成を繰り返し、前記ブロック更新手段における更新を行う前記超解像ブロックの数が予め定めた数以下となった段階で、前記拡大画像を前記超解像画像として出力する反復判定手段と、を備えることを特徴とする請求項1から請求項4のいずれか一項に記載の画像超解像装置。

請求項7

予め定めた符号化方式による符号化および復号により劣化した入力画像を予め定めた拡大率で拡大し、超解像画像を生成するために、コンピュータを、前記入力画像を予め定めた大きさの処理ブロックに分割して切り出す処理ブロック切り出し手段、この処理ブロック切り出し手段で切り出された処理ブロックを前記拡大率で拡大して拡大処理ブロックを生成する処理ブロック拡大手段、前記入力画像から、前記拡大処理ブロックと同一の大きさの複数のブロックを参照ブロックとして切り出す参照ブロック切り出し手段、この参照ブロック切り出し手段で切り出された参照ブロックを、前記拡大率の逆比率で縮小するとともに、前記符号化方式による劣化モデルで劣化させて、劣化参照ブロックを生成する劣化モデル手段、この劣化モデル手段で生成された劣化参照ブロックと前記処理ブロックとの類似度を算出する類似度算出手段、前記劣化参照ブロックを前記拡大率で拡大して復元参照ブロックを生成する劣化参照ブロック拡大手段、この劣化参照ブロック拡大手段で生成された復元参照ブロックと前記参照ブロックとの差分を損失成分として算出する損失成分算出手段、前記類似度算出手段で算出された類似度に基づいて、前記拡大処理ブロックと前記損失成分とを合成することで、前記処理ブロックを超解像した超解像ブロックを生成する超解像ブロック合成手段、この超解像ブロック合成手段で生成された超解像ブロックを構成することで、前記入力画像を拡大した画像を生成する超解像画像構成手段、として機能させることを特徴とする画像超解像プログラム

請求項8

予め定めた符号化方式による符号化および復号により劣化した入力画像を予め定めた拡大率で拡大し、超解像画像を生成するために、コンピュータを、前記入力画像を予め定めた大きさの処理ブロックに分割して切り出す処理ブロック切り出し手段、この処理ブロック切り出し手段で切り出された処理ブロックを前記拡大率で拡大して拡大処理ブロックを生成する処理ブロック拡大手段、前記入力画像から、前記拡大処理ブロックと同一の大きさの複数のブロックを参照ブロックとして切り出す参照ブロック切り出し手段、前記入力画像を、前記拡大率の逆比率で縮小するとともに、前記符号化方式による符号化および復号により劣化させて、劣化入力画像を生成する劣化モデル手段、この劣化モデル手段で生成された劣化入力画像から、前記処理ブロックと同一の大きさで、前記参照ブロックの位置に対応した複数のブロックを劣化参照ブロックとして切り出す劣化参照ブロック切り出し手段、この劣化参照ブロック切り出し手段で切り出された劣化参照ブロックと前記処理ブロックとの類似度を算出する類似度算出手段、前記劣化参照ブロックを前記拡大率で拡大して復元参照ブロックを生成する劣化参照ブロック拡大手段、この劣化参照ブロック拡大手段で生成された復元参照ブロックと前記参照ブロックとの差分を損失成分として算出する損失成分算出手段、前記類似度算出手段で算出された類似度に基づいて、前記拡大処理ブロックと前記損失成分とを合成することで、前記処理ブロックを超解像した超解像ブロックを生成する超解像ブロック合成手段、この超解像ブロック合成手段で生成された超解像ブロックを構成することで、前記入力画像を拡大した画像を生成する超解像画像構成手段、として機能させることを特徴とする画像超解像プログラム。

技術分野

0001

本発明は、画像から、当該画像よりも解像度の高い画像を生成する画像超解像装置およびそのプログラムに関する。

背景技術

0002

一般に、画像を元のサイズよりも大きくしてディスプレイプリンタに出力するには、画像の拡大処理が必要となる。この画像の拡大処理には、処理の簡便さから、線形補間バイキュービック法(Bicubic法)等の画素値補間法が広く利用されている。
しかし、これらの画素値の補間法では、拡大した画像にボケが生じるという問題がある。その大きな原因として、拡大した画像には、高周波成分が十分含まれていないことが挙げられる。

0003

従来、このような拡大した画像にボケが生じるのを抑えるため、画像の高周波成分を新たに生成し、拡大した画像に足し合わせる超解像手法が提案されている(非特許文献1参照)。この非特許文献1に記載された手法では、学習用データを用意し、それらから画像の低周波成分と高周波成分との相関を学習する。そして、この手法は、処理対象入力画像を拡大する際に、学習した相関を基に高周波成分を推定し、拡大した画像に足し合わせることで超解像画像を生成する。

0004

また一方で、学習データを用いずに高周波成分を推定し、超解像画像を生成する手法も提案されている(特許文献1参照)。この特許文献1に記載された手法では、入力画像内に存在する画像(画素値の分布)の局所的な相似性を利用し、高周波成分を生成する。

0005

具体的には、この手法は、以下の手順により超解像画像を生成する。
まず、入力画像から相似関係にある大小一組のブロックを切り出し、それらのDCT(離散コサイン変換係数を算出する。そして、小さい方のブロックのDCT係数を、大きい方のブロックのDCT係数のうち対応するものと置き換える。そして、その置き換えた大きい方のブロックのDCT係数を逆DCTすることで、拡大した超解像ブロックの画素値を得る。例えば、小さい方のブロックのサイズを8×8画素、大きい方のブロックのサイズを16×16画素としたとき、大きい方のブロックのDCT係数(16×16)のうち、低周波領域の8×8画素のDCT係数を小さい方のブロックのDCT係数(8×8)で置き換える。そして、その置き換えて生成したDCT係数(16×16)を逆DCTすることで、8×8画素の小さいブロックに対応した16×16画素の超解像ブロックを生成する。同様な処理を、画像全体の小さいブロックに対して行い、小さいブロックのそれぞれを対応する超解像ブロックに置き換えることで、超解像画像を生成する。

0006

特開2000−312294号公報

先行技術

0007

W.T.Freeman, E.C.Pasztor and O.T.Carmichael: “Learning Low-Level Vision”, International Journal of Computer Vision, Vol40, No1, pp.25-47(2000).

発明が解決しようとする課題

0008

一般に処理対象となる入力画像は、種々の劣化過程を経ている。例えば、画像取得時撮影時)の劣化信号伝送時の劣化、画像縮小による劣化、画像符号化による劣化等を経ている。これらの劣化過程は、複合的に作用している。すなわち、超解像画像を高画質で生成するためには、入力画像が経たこれらの劣化過程を考慮する必要がある。

0009

しかし、前記したように、非特許文献1や特許文献1に記載された手法は、入力画像を拡大する際に、高周波成分を拡大した画像に足し合わせることで、超解像画像を生成している。
すなわち、特許文献1に記載された手法は、画像縮小による劣化過程しか考慮していない。そのため、入力画像が画像縮小以外の劣化過程を経た場合、必ずしも適切な超解像処理ができるとは限らない。例えば、ほとんどのスチルカメラビデオカメラで撮影された画像や映像は、記録する際に圧縮符号化による劣化過程を経ている。その結果、特許文献1に記載された手法では、圧縮符号化による劣化過程を経た画像から、高画質な超解像画像を生成できないことがあるという問題がある。

0010

また、非特許文献1に記載された手法は、入力画像が経た劣化過程を学習するのに適切な学習用データを用意する必要がある。しかし、実際には、劣化過程は入力画像ごとに異なる。例えば、画像の縮小サイズの違いや、適用した符号化方式によってその劣化が異なる。そのため、非特許文献1に記載された手法では、入力画像が経た劣化過程に対応する様々な学習用データを用意しなければいけないという問題がある。

0011

本発明は、以上のような問題に鑑みてなされたものであり、学習用データを用意することが不要で、画像縮小以外の劣化過程を経た入力画像に対しても、高画質な超解像画像を生成することが可能な画像超解像装置およびそのプログラムを提供することを課題とする。

課題を解決するための手段

0012

本発明は、前記課題を達成するために創案されたものである。まず、請求項1に記載の画像超解像装置は、予め定めた符号化方式による符号化および復号により劣化した入力画像を、予め定めた拡大率で拡大し、超解像画像を生成する画像超解像装置であって、処理ブロック切り出し手段と、処理ブロック拡大手段と、参照ブロック切り出し手段と、劣化モデル手段と、類似度算出手段と、劣化参照ブロック拡大手段と、損失成分算出手段と、超解像ブロック合成手段と、超解像画像構成手段と、を備える構成とした。

0013

かかる構成において、画像超解像装置は、処理ブロック切り出し手段によって、入力画像を予め定めた大きさの処理ブロックに分割して切り出す。この処理ブロックが、以降の処理における基準のブロックとなる。そして、画像超解像装置は、処理ブロック拡大手段によって、入力画像を拡大する際の拡大率で処理ブロックを拡大して拡大処理ブロックを生成する。

0014

また、画像超解像装置は、参照ブロック切り出し手段によって、入力画像から、拡大処理ブロックと同一の大きさの複数のブロックを参照ブロックとして切り出す。そして、画像超解像装置は、劣化モデル手段によって、入力画像を拡大する際の拡大率の逆比率で参照ブロックを縮小するとともに、入力画像が経た符号化方式による劣化モデルで劣化させて、劣化参照ブロックを生成する。この符号化方式による劣化モデルは、例えば、符号化方式で予め定めた直交変換量子化模擬するモデルである。これによって、復元目標となる超解像画像が仮想の劣化を経て入力画像が生成されたと仮定した際の劣化過程を模擬した複数の劣化参照ブロックが生成されることになる。

0015

そして、画像超解像装置は、類似度算出手段によって、劣化参照ブロックと処理ブロックとの類似度を算出する。この類似度が高いほど、劣化参照ブロックと処理ブロックとの劣化過程が類似するといえる。

0016

また、画像超解像装置は、劣化参照ブロック拡大手段によって、入力画像を拡大する際の拡大率で劣化参照ブロックを拡大して復元参照ブロックを生成する。さらに、画像超解像装置は、損失成分算出手段によって、復元参照ブロックと参照ブロックとの差分を算出する。この差分は、参照ブロックが劣化過程を経ることで生じた損失成分とみなすことができる。すなわち、この損失成分には、縮小および拡大によって損失される高周波成分や、符号化および復号によって損失される劣化成分が含まれることになる。

0017

そして、画像超解像装置は、超解像ブロック合成手段によって、類似度に基づいて拡大処理ブロックと損失成分とを合成する。これによって、処理ブロックを超解像した超解像ブロックが生成されることになる。そして、画像超解像装置は、超解像画像構成手段によって、超解像ブロックを画像として構成する。これによって、入力画像が拡大された超解像画像が生成されることになる。

0018

また、請求項2に記載の画像超解像装置は、予め定めた符号化方式による符号化および復号により劣化した入力画像を、予め定めた拡大率で拡大し、超解像画像を生成する画像超解像装置であって、処理ブロック切り出し手段と、処理ブロック拡大手段と、参照ブロック切り出し手段と、劣化モデル手段と、劣化参照ブロック切り出し手段と、類似度算出手段と、劣化参照ブロック拡大手段と、損失成分算出手段と、超解像ブロック合成手段と、超解像画像構成手段と、を備える構成とした。

0019

かかる構成において、画像超解像装置は、処理ブロック切り出し手段によって、入力画像を予め定めた大きさの処理ブロックに分割して切り出す。そして、画像超解像装置は、処理ブロック拡大手段によって、入力画像を拡大する際の拡大率で処理ブロックを拡大して拡大処理ブロックを生成する。

0020

また、画像超解像装置は、参照ブロック切り出し手段によって、入力画像から、拡大処理ブロックと同一の大きさの複数のブロックを参照ブロックとして切り出す。そして、画像超解像装置は、劣化モデル手段によって、入力画像を拡大する際の拡大率の逆比率で入力画像を縮小するとともに、入力画像が経た符号化方式による符号化および復号により劣化させて、劣化入力画像を生成する。

0021

そして、画像超解像装置は、劣化参照ブロック切り出し手段によって、劣化入力画像から、処理ブロックと同一の大きさで、参照ブロックの位置に対応した複数のブロックを劣化参照ブロックとして切り出す。これによって、復元目標となる超解像画像が仮想の劣化を経て入力画像が生成されたと仮定した際の劣化過程を模擬した複数の劣化参照ブロックが生成されることになる。

0022

そして、画像超解像装置は、類似度算出手段によって、劣化参照ブロックと処理ブロックとの類似度を算出する。この類似度が高いほど、劣化参照ブロックと処理ブロックとの劣化過程が類似するといえる。

0023

また、画像超解像装置は、劣化参照ブロック拡大手段によって、入力画像を拡大する際の拡大率で劣化参照ブロックを拡大して復元参照ブロックを生成する。さらに、画像超解像装置は、損失成分算出手段によって、復元参照ブロックと参照ブロックとの差分を算出する。この差分は、参照ブロックが劣化過程を経ることで生じた損失成分とみなすことができる。すなわち、この損失成分には、縮小および拡大によって損失される高周波成分や、符号化および復号によって損失される劣化成分が含まれることになる。

0024

そして、画像超解像装置は、超解像ブロック合成手段によって、類似度に基づいて拡大処理ブロックと損失成分とを合成する。これによって、処理ブロックを超解像した超解像ブロックが生成されることになる。そして、画像超解像装置は、超解像画像構成手段によって、超解像ブロックを画像として構成する。これによって、入力画像が拡大された超解像画像が生成されることになる。

0025

また、請求項3に記載の画像超解像装置は、請求項1または請求項2に記載の画像超解像装置において、超解像ブロック合成手段が、拡大処理ブロックに、複数の参照ブロックから生成された損失成分を、類似度に基づいて重み付き加算する構成とした。

0026

かかる構成において、画像超解像装置は、超解像ブロック合成手段によって、拡大処理ブロックに、当該拡大処理ブロックに類似する参照ブロックから生成された損失成分をより多く加算することになる。これによって、劣化過程が近い参照ブロックによって生成された損失成分がより多く含まれた超解像ブロックが生成される。

0027

さらに、請求項4に記載の画像超解像装置は、請求項1から請求項3のいずれか一項に記載の画像超解像装置において、類似度算出手段が、劣化参照ブロックと処理ブロックとの画素ごとの類似度を算出し、超解像ブロック合成手段が、拡大処理ブロックに、複数の参照ブロックから生成された損失成分を、画素ごとの類似度に基づいて画素ごとに重み付き加算する構成とした。

0028

かかる構成において、画像超解像装置は、超解像ブロック合成手段によって、拡大処理ブロックに、当該拡大処理ブロックに類似する参照ブロックから生成された損失成分を画素ごとにより多く加算することになる。これによって、劣化過程が近い参照ブロックによって生成された損失成分が画素ごとにより多く含まれた超解像ブロックが生成される。

0029

また、請求項5に記載の画像超解像装置は、請求項1から請求項4のいずれか一項に記載の画像超解像装置において、超解像画像構成手段で生成された画像である拡大画像を記憶する拡大画像記憶手段と、拡大画像記憶手段に記憶されている拡大画像を縮小した処理画像を生成する画像縮小手段と、処理対象の画像を前記入力画像から前記処理画像に切り換え入力切り換え手段とを、さらに備え、超解像画像構成手段が、反復判定手段を備える構成とした。

0030

かかる構成において、画像超解像装置は、超解像画像構成手段の反復判定手段によって、画像縮小手段に対して処理画像を生成させ、入力切り換え手段に対して、処理対象の画像を画像縮小手段が生成した処理画像とすることで拡大画像の生成を繰り返す。そして、予め定めた回数繰り返した段階で、超解像画像構成手段は、拡大画像を超解像画像として出力する。このように、画像の超解像処理と縮小処理を順次繰り返すことで、拡大画像には順次高周波成分が付加されることになる。

0031

また、請求項6に記載の画像超解像装置は、請求項1から請求項4のいずれか一項に記載の画像超解像装置において、超解像画像構成手段で生成された画像である拡大画像を記憶する拡大画像記憶手段と、拡大画像記憶手段に記憶されている拡大画像を縮小した処理画像を生成する画像縮小手段と、処理対象の画像を前記入力画像から前記処理画像に切り換える入力切り換え手段とを、さらに備え、超解像画像構成手段が、ブロック更新手段と、反復判定手段と、を備える構成とした。

0032

かかる構成において、画像超解像装置は、超解像画像構成手段のブロック更新手段によって、更新前後の超解像ブロックの差分が予め定めた閾値以上の場合にのみ新たな超解像ブロックで拡大画像を更新する。これによって、更新による効果の小さいブロックに対しては更新がされなくなる。

0033

そして、画像超解像装置は、超解像画像構成手段の反復判定手段によって、画像縮小手段に対して処理画像を生成させ、入力切り換え手段に対して、処理対象の画像を画像縮小手段が生成した処理画像とすることで、拡大画像の生成を繰り返す。そして、ブロック更新手段における更新を行う超解像ブロックの数が予め定めた数以下となった段階で、超解像画像構成手段は、拡大画像を超解像画像として出力する。

0034

また、請求項7に記載の画像超解像プログラムは、予め定めた符号化方式による符号化および復号により劣化した入力画像を、予め定めた拡大率で拡大し、超解像画像を生成するために、コンピュータを、処理ブロック切り出し手段、処理ブロック拡大手段、参照ブロック切り出し手段、劣化モデル手段、類似度算出手段、劣化参照ブロック拡大手段、損失成分算出手段、超解像ブロック合成手段、超解像画像構成手段、として機能させる構成とした。

0035

かかる構成において、画像超解像プログラムは、処理ブロック切り出し手段によって、入力画像を予め定めた大きさの処理ブロックに分割して切り出す。そして、画像超解像プログラムは、処理ブロック拡大手段によって、入力画像を拡大する際の拡大率で処理ブロックを拡大して拡大処理ブロックを生成する。

0036

また、画像超解像プログラムは、参照ブロック切り出し手段によって、入力画像から、拡大処理ブロックと同一の大きさの複数のブロックを参照ブロックとして切り出す。そして、画像超解像プログラムは、劣化モデル手段によって、入力画像を拡大する際の拡大率の逆比率で参照ブロックを縮小するとともに、入力画像が経た符号化方式による劣化モデルで劣化させて、劣化参照ブロックを生成する。そして、画像超解像プログラムは、類似度算出手段によって、劣化参照ブロックと処理ブロックとの類似度を算出する。

0037

また、画像超解像プログラムは、劣化参照ブロック拡大手段によって、入力画像を拡大する際の拡大率で劣化参照ブロックを拡大して復元参照ブロックを生成する。さらに、画像超解像プログラムは、損失成分算出手段によって、復元参照ブロックと参照ブロックとの差分を損失成分として算出する。

0038

そして、画像超解像プログラムは、超解像ブロック合成手段によって、類似度に基づいて拡大処理ブロックと損失成分とを合成することで、処理ブロックを超解像した超解像ブロックを生成する。そして、画像超解像プログラムは、超解像画像構成手段によって、超解像ブロックを超解像画像として構成する。

0039

さらに、請求項8に記載の画像超解像プログラムは、予め定めた符号化方式による符号化および復号により劣化した入力画像を、予め定めた拡大率で拡大し、超解像画像を生成するために、コンピュータを、処理ブロック切り出し手段、処理ブロック拡大手段、参照ブロック切り出し手段、劣化モデル手段、劣化参照ブロック切り出し手段、類似度算出手段、劣化参照ブロック拡大手段、損失成分算出手段、超解像ブロック合成手段、超解像画像構成手段、として機能させる構成とした。

0040

かかる構成において、画像超解像プログラムは、処理ブロック切り出し手段によって、入力画像を予め定めた大きさの処理ブロックに分割して切り出す。そして、画像超解像装置は、処理ブロック拡大手段によって、入力画像を拡大する際の拡大率で処理ブロックを拡大して拡大処理ブロックを生成する。

0041

また、画像超解像装置は、参照ブロック切り出し手段によって、入力画像から、拡大処理ブロックと同一の大きさの複数のブロックを参照ブロックとして切り出す。そして、画像超解像装置は、劣化モデル手段によって、入力画像を拡大する際の拡大率の逆比率で入力画像を縮小するとともに、入力画像が経た符号化方式による符号化および復号により劣化させて、劣化入力画像を生成する。

0042

そして、画像超解像装置は、劣化参照ブロック切り出し手段によって、劣化入力画像から、処理ブロックと同一の大きさで、参照ブロックの位置に対応した複数のブロックを劣化参照ブロックとして切り出す。そして、画像超解像装置は、類似度算出手段によって、劣化参照ブロックと処理ブロックとの類似度を算出する。

0043

また、画像超解像装置は、劣化参照ブロック拡大手段によって、入力画像を拡大する際の拡大率で劣化参照ブロックを拡大して復元参照ブロックを生成する。さらに、画像超解像装置は、損失成分算出手段によって、復元参照ブロックと参照ブロックとの差分を損失成分として算出する。

0044

そして、画像超解像装置は、超解像ブロック合成手段によって、類似度に基づいて拡大処理ブロックと損失成分とを合成することで、処理ブロックを超解像した超解像ブロックを生成する。そして、画像超解像装置は、超解像画像構成手段によって、超解像ブロックを超解像画像として構成する。

発明の効果

0045

本発明は、以下に示す優れた効果を奏するものである。
請求項1,2,7,8に記載の発明によれば、入力画像から、画像縮小による劣化過程のみならず、圧縮符号化による劣化過程による損失成分を付加して超解像画像を生成することができる。これによって、本発明は、学習を行うことなく、既知の符号化方式で符号化および復号された入力画像から、高周波成分を付加し、符号劣化した成分を補完することで、高画質な超解像画像を生成することができる。

0046

請求項3に記載の発明によれば、複数の参照ブロックから生成される損失成分を、類似度に応じて、拡大処理ブロックに加算するため、加算するブロックごとの損失成分の精度を高めることができる。これによって、本発明は、高画質な超解像画像を生成することができる。

0047

請求項4に記載の発明によれば、複数の参照ブロックから生成される損失成分を、画素ごとの類似度に応じて、拡大処理ブロックの画素ごとに加算するため、加算するブロック内の画素ごとの損失成分の精度を高めることができる。これによって、本発明は、高画質な超解像画像を生成することができる。

0048

請求項5,6に記載の発明によれば、超解像処理を反復して行うことで、生成される超解像画像により多くの高周波成分が付加されることになる。これによって、本発明は、高周波成分が多く含まれていない入力画像であっても、繰り返し高周波成分を補完することで、高画質な超解像画像を生成することができる。

図面の簡単な説明

0049

本発明の第1実施形態に係る画像超解像装置の構成を示すブロック図である。
本発明の第2実施形態に係る画像超解像装置の構成を示すブロック図である。
本発明の第3実施形態に係る画像超解像装置の構成を示すブロック図である。
本発明の第4実施形態に係る画像超解像装置の構成を示すブロック図である。
本発明の第1実施形態に係る画像超解像装置の動作を示すフローチャートである。
本発明の第1実施形態に係る画像超解像装置が行う処理内容を説明するための模式図である。
本発明の第5実施形態に係る画像超解像装置の構成を示すブロック図である。
本発明の第5実施形態に係る画像超解像装置が行う処理内容を説明するための模式図である。

実施例

0050

以下、本発明の実施形態について図面を参照して説明する。
<第1実施形態>
[画像超解像装置の構成]
まず、図1を参照して、本発明の第1実施形態に係る画像超解像装置1の構成について説明する。画像超解像装置1は、入力画像よりも解像度の高い画像(超解像画像)を生成するものである。なお、超解像とは、入力画像の解像度が、出力画像の解像度に満たない場合に、解像度を補完することをいう。

0051

本発明において、入力画像は、仮想の超解像画像(復元目標とする画像)から縮小その他の劣化過程を経て生成されたものであると仮定する。そして、画像超解像装置1は、その劣化過程を模擬し、劣化により損失した成分を補完することで、超解像画像を生成する。ここでは、入力画像Gは、既知の符号化方式(例えば、JPEG、MPEG等)により符号化された画像を復号した画像であるとする。
以下の説明において、画像超解像装置1は、入力画像Gを縦横2倍に拡大した超解像画像SGを生成するものとして説明する。この拡大率は、任意の比率が可能であることはいうまでもない。

0052

ここでは、画像超解像装置1は、処理ブロック切り出し手段10と、処理ブロック拡大手段20と、参照ブロック選択劣化手段30と、損失成分生成手段40と、超解像ブロック合成手段50と、超解像画像構成手段60と、を備えている。なお、画像超解像装置1は、図示を省略した入力手段を介して、超解像の処理対象となる画像(入力画像G)を入力し、図示を省略した出力手段を介して、生成した画像(超解像画像SG)を外部に出力する。

0053

処理ブロック切り出し手段10は、入力画像Gから、処理単位の基準となる予め定めた大きさのブロックを順次切り出すものである。以後、この切り出したブロックを処理ブロック(D)と呼ぶ。この処理ブロック切り出し手段10は、切り出した処理ブロックDを、順次、処理ブロック拡大手段20および参照ブロック選択劣化手段30に出力する。
この処理ブロックの大きさは任意に設定することができる。また、処理ブロック切り出し手段10は、処理ブロックD間で重複領域を設けて切り出すこととしてもよい。このように重複領域を設けることで、後記する超解像画像構成手段60において、超解像画像を構成する際に、ブロック境界で生じやすい画素値の不連続を抑えることができる。
例えば、処理ブロック切り出し手段10には、処理ブロックDを4×4画素の正方形領域、処理ブロックD間の重複領域の大きさを2画素幅に予め設定しておく。

0054

処理ブロック拡大手段20は、処理ブロック切り出し手段10で切り出された処理ブロックDを拡大するものである。以後、この拡大された処理ブロックを拡大処理ブロック(L)と呼ぶ。この処理ブロック拡大手段20は、生成した拡大処理ブロックLを、超解像ブロック合成手段50に出力する。

0055

この処理ブロック拡大手段20における拡大処理は、予め定めた任意の手法で行うことができる。例えば、処理ブロック拡大手段20は、拡大手法として、最近傍法線形補間法、Bicubic補間法等の画素値の補間法により処理ブロックDを拡大する。また、処理ブロック拡大手段20は、従来の超解像処理により拡大処理を行うこととしてもよい。

0056

なお、処理ブロック拡大手段20における処理ブロックDの拡大率は、画像超解像装置1が行う入力画像Gの拡大と同一の拡大率とする。すなわち、ここでは、入力画像Gを縦横2倍に拡大するため、処理ブロック拡大手段20は、処理ブロックDを縦横それぞれ2倍することで拡大処理ブロックLを生成する。この拡大率は、図示を省略した入力手段を介して、外部から設定されることとする。

0057

参照ブロック選択劣化手段30は、入力画像Gから、予め定めた大きさのブロックを複数選択し、入力画像Gの劣化した過程(劣化過程)に相当する劣化処理を施すことで、入力画像Gの劣化過程を模擬するものである。ここでは、参照ブロック選択劣化手段30は、参照ブロック切り出し手段31と、劣化モデル手段32と、ブロック記憶手段33と、類似度算出手段34と、を備えている。

0058

参照ブロック切り出し手段31は、入力画像Gから、劣化過程を模擬する予め定めた大きさのブロックを複数切り出すものである。以後、この切り出したブロックを参照ブロック(H)と呼ぶ。この参照ブロック切り出し手段31は、切り出した参照ブロックHを、劣化モデル手段32に出力するとともに、ブロック記憶手段33に書き込む。
なお、この参照ブロックHの大きさは、処理ブロックDを拡大した拡大処理ブロックLと同一の大きさとする。すなわち、本実施形態において、参照ブロックHの大きさは、処理ブロックDの縦横2倍の大きさとする。

0059

この参照ブロック切り出し手段31が入力画像Gから参照ブロックHを切り出す間隔は任意であって、予め設定しておくこととする。この切り出し間隔が小さければ(例えば、1画素間隔)、処理量は多くなる。しかし、劣化過程における損失成分の情報を含んだ参照ブロックが多く抽出されることになるため、生成される超解像画像の画質を高めることができる。一方、切り出し間隔が大きければ(例えば、8画素間隔)であれば、切り出し間隔が小さい場合に比べ、超解像画像の画質は劣るが、処理量が少なく高速に超解像画像を生成することができる。

0060

なお、この切り出し間隔は、必ずしも画素単位である必要はない。例えば、0.5画素間隔等、小数間隔としてもよい。この場合、参照ブロック切り出し手段31は、画素間の画素値を、補間法によって求めることで、切り出す参照ブロックHの画素値を求める。これによって、より劣化過程における損失成分の情報を含んだ参照ブロックHが多く抽出され、超解像画像の画質を高めることができる。

0061

劣化モデル手段32は、参照ブロック切り出し手段31で切り出された参照ブロックHに対して、予め定めた劣化モデルで劣化処理を施すものである。ここでは、劣化モデル手段32は、縮小劣化手段321と、非縮小劣化手段322と、を備えている。

0062

縮小劣化手段321は、参照ブロックHに対して画像縮小を行うことで、縮小に伴う画像の劣化を模擬するものである。以後、この縮小されたブロックを縮小参照ブロック(HD1)と呼ぶ。この縮小劣化手段321は、生成した縮小参照ブロックHD1を非縮小劣化手段322に出力する。
この縮小劣化手段321における縮小処理は、予め定めた任意の手法で行うことができる。例えば、縮小劣化手段321は、縮小手法として、最近傍法、線形補間法、Bicubic補間法等の画素値の補間法により参照ブロックHを縮小する。

0063

なお、縮小劣化手段321における参照ブロックHの縮小率は、処理ブロック拡大手段20における処理ブロックDの拡大率の逆比率とする。すなわち、処理ブロックDの拡大率が縦横それぞれ2倍ならば、縮小劣化手段321における縮小率は、縦横それぞれ2分の1とする。

0064

非縮小劣化手段322は、縮小劣化手段321で縮小された縮小参照ブロックHD1に対して、縮小劣化以外の予め定めた劣化を模擬するものである。ここでは、非縮小劣化手段322は、予め定めた符号化による劣化を模擬するものとする。以後、この劣化されたブロックを劣化参照ブロック(HD2)と呼ぶ。この非縮小劣化手段322は、生成した劣化参照ブロックHD2を、劣化される前の参照ブロックHと対応付けてブロック記憶手段33に書き込む。

0065

この非縮小劣化手段322は、例えば、以下の手法により符号化による劣化を模擬する。すなわち、非縮小劣化手段322は、縮小参照ブロックHD1を、直交変換(例えば、DCT〔Discrete Cosine Transform〕)し、高周波成分を表す直交変換係数を劣化(量子化)させたり、削除(係数値を“0”に設定)したりすることで、符号化による劣化を模擬する。この直交変換係数の劣化や削除は、予め入力画像Gの元となる符号化された画像において用いられていた符号化方式により設定しておくものとする。例えば、当該符号化方式で使用された量子化ステップと同じ量子化ステップにより、直交変換係数を量子化する。

0066

ブロック記憶手段33は、参照ブロック切り出し手段31で切り出された参照ブロックHと、劣化モデル手段32で劣化された劣化参照ブロックHD2とを対応付けて複数記憶するものである。このブロック記憶手段33は、例えば、半導体メモリ等の一般的な記憶媒体を用いることができる。
このブロック記憶手段33に記憶された劣化参照ブロックHD2は、類似度算出手段34および損失成分生成手段40によって読み出される。また、ブロック記憶手段33に記憶された参照ブロックHは、損失成分生成手段40によって読み出される。

0067

類似度算出手段34は、処理ブロック切り出し手段10で切り出された処理ブロックDごとに、劣化モデル手段32で生成され、ブロック記憶手段33に記憶されている複数の劣化参照ブロックHD2との類似度を算出するものである。この類似度算出手段34は、算出した類似度を超解像ブロック合成手段50に出力する。

0068

この類似度算出手段34における類似度の算出手法は一般的な手法を用いればよい。例えば、類似度算出手段34は、処理ブロックDと劣化参照ブロックHD2との対応する画素値の差分(絶対値誤差二乗誤差)を計算し、その差分の総和の逆数や予め定めた指数関数により求めた値を類似度として算出する。あるいは、類似度算出手段34は、類似度として相互相関を用いてもよい。

0069

損失成分生成手段40は、参照ブロック選択劣化手段30で選択され劣化された参照ブロックの劣化による損失成分を生成するものである。なお、この損失成分生成手段40は、参照ブロック選択劣化手段30(類似度算出手段34)が、処理ブロックDに対して1つの劣化参照ブロックHD2の類似度を超解像ブロック合成手段50に出力するのに同期して、参照ブロックHごとの損失成分を生成する。ここでは、損失成分生成手段40は、劣化参照ブロック拡大手段41と、損失成分算出手段42と、を備えている。

0070

劣化参照ブロック拡大手段41は、参照ブロック選択劣化手段30の劣化モデル手段32で生成された劣化参照ブロックHD2を拡大するものである。ここでは、劣化参照ブロック拡大手段41は、ブロック記憶手段33に記憶されている劣化参照ブロックHD2を順次読み出して拡大する。以後、この拡大された劣化参照ブロックを復元参照ブロック(HL)と呼ぶ。この劣化参照ブロック拡大手段41は、生成した復元参照ブロックHLを、損失成分算出手段42に出力する。

0071

この劣化参照ブロック拡大手段41における拡大処理は、処理ブロック拡大手段20と同一の拡大手法を用いて、同一の拡大率で劣化参照ブロックHD2を拡大する。これによって、拡大された復元参照ブロックHLは、参照ブロックHや拡大処理ブロックLとサイズが等しくなる。

0072

損失成分算出手段42は、参照ブロック選択劣化手段30の参照ブロック切り出し手段31で切り出された参照ブロックHと、劣化参照ブロック拡大手段41で生成された復元参照ブロックHLとの差分をとることで、参照ブロックHに対する損失成分HFを算出するものである。ここでは、損失成分算出手段42は、ブロック記憶手段33に記憶されている対応する参照ブロックHと劣化参照ブロックHD2とを順次読み出して損失成分HFを算出する。この損失成分算出手段42は、参照ブロックH(劣化参照ブロックHD2)ごとに算出した損失成分HFを、超解像ブロック合成手段50に出力する。

0073

このように損失成分算出手段42は、参照ブロックHごとに、劣化モデル手段32における縮小劣化および非縮小劣化に伴う損失成分HFを抽出することができる。この損失成分HFは、処理ブロック拡大手段20によって拡大された拡大処理ブロックLには含まれていない、劣化によって損失した信号成分に相当する。

0074

超解像ブロック合成手段50は、処理ブロック拡大手段20で生成された拡大処理ブロックLと、損失成分生成手段40で生成された損失成分HFとを、類似度算出手段34で算出された類似度に基づいて合成するものである。
具体的には、超解像ブロック合成手段50は、拡大処理ブロックLに対して、参照ブロック選択劣化手段30の類似度算出手段34で算出された類似度の高さに応じて、すべての損失成分HFを重み付き加算する。これによって、処理ブロックDを拡大した拡大処理ブロックLに、縮小劣化および非縮小劣化で失われたと推定される損失成分HFが加算され、処理ブロックDを超解像したブロックが生成されることになる。

0075

これは、処理ブロックDと劣化参照ブロックHD2とが類似する場合、処理ブロックDの劣化過程は、類似する劣化参照ブロックHD2に対応する参照ブロックHが経た劣化過程に類似するためである。
以後、超解像ブロック合成手段50が生成したブロックを超解像ブロック(SR)と呼ぶ。この超解像ブロック合成手段50は、生成した超解像ブロックSRを超解像画像構成手段60に出力する。

0076

超解像画像構成手段60は、超解像ブロック合成手段50で生成された超解像ブロックSRを処理ブロックDに対応する位置に配置(構成)することで、超解像画像SGを生成するものである。
この処理ブロックDに対応する位置とは、入力画像Gにおける処理ブロックDの位置が、画像超解像装置1において超解像画像SGを生成するために予め定めた拡大率で入力画像Gを拡大した画像に対応する位置である。具体的には、ここでは、画像超解像装置1は、入力画像Gを縦横2倍に拡大した超解像画像SGを生成するため、処理ブロックDの位置である水平座標X座標)および垂直座標Y座標)をそれぞれ2倍した座標位置が、処理ブロックDに対応する位置となる。

0077

なお、処理ブロック切り出し手段10が処理ブロックD間に重複領域を設けて切り出すこととした場合、対応する超解像ブロックSR間にも重複領域が存在する。この場合、超解像画像構成手段60は、重複領域の各画素において、超解像ブロックSR間で共通する画素位置の平均画素値を、当該画素の画素値とする。
この超解像画像構成手段60で生成された超解像画像SGが、画像超解像装置1の出力画像となる。

0078

なお、処理ブロックD間に重複領域を設ける場合、平均画素値を用いる以外にも、超解像ブロックSR間で共通する画素位置の画素値の中央値を用いることとしてもよい。あるいは、類似度算出手段34で算出された類似度を用いて、超解像ブロックSRの生成に使用した類似度の平均値に応じて重み付き加算により画素値を求めてもよい。あるいは、最も類似度が高い損失成分HFから生成された超解像ブロックSRの画素値を用いることとしてもよい。

0079

以上説明したように、画像超解像装置1は、縮小劣化および非縮小劣化による劣化過程を模擬して、入力画像Gを拡大する際に、その模擬した劣化過程の損失成分を補完することができる。これによって、画像超解像装置1は、入力画像Gから、劣化による成分を補完した高画質な超解像画像SGを生成することができる。

0080

[画像超解像装置の動作]
次に、図5を参照(構成については適宜図1参照)して、本発明の第1実施形態に係る画像超解像装置1の動作について説明する。さらに、ここでは、適宜図6を参照して、各手段において生成されるブロック(画像)についても模式的に説明する。なお、図5に示すステップの番号(S1等)と、図6に示す処理の番号(P1等)とは、対応していない。

0081

まず、画像超解像装置1は、参照ブロック選択劣化手段30の参照ブロック切り出し手段31によって、入力画像Gから、劣化過程を模擬する予め定めた大きさの参照ブロックHを複数切り出す(ステップS1)。すなわち、画像超解像装置1は、図6の<P1>に示すように、入力画像Gから、切り出し位置を変えて参照ブロックHを複数切り出す。

0082

そして、画像超解像装置1は、劣化モデル手段32の縮小劣化手段321によって、ステップS1で切り出された参照ブロックHを画像縮小し、縮小参照ブロックHD1を生成する(ステップS2)。これによって、生成する超解像画像SGを入力画像Gに仮想的に縮小した縮小劣化が参照ブロックHごとに模擬されることになる。なお、図6では、縮小参照ブロックHD1を省略している。

0083

さらに、画像超解像装置1は、劣化モデル手段32の非縮小劣化手段322によって、ステップS2で生成された縮小参照ブロックHD1を直交変換し、高周波成分の直交変換係数を劣化させることで、劣化参照ブロックHD2を生成する(ステップS3)。これによって、入力画像Gが経た符号化に伴う劣化が参照ブロックHごとに模擬されることになる。すなわち、画像超解像装置1は、図6の<P2>に示すように、参照ブロックHに対して、縮小劣化および非縮小劣化を模擬することで、劣化参照ブロックHD2を生成する。

0084

そして、画像超解像装置1は、ステップS1で生成された参照ブロックHと、ステップS3で生成された劣化参照ブロックHD2とを対応付けてブロック記憶手段33に書き込み記憶する(ステップS4)。なお、このブロック記憶手段33には、ステップS1で順次切り出される参照ブロックHに応じて、対応する劣化参照ブロックHD2との対が複数記憶される。

0085

その後、画像超解像装置1は、処理ブロック切り出し手段10によって、入力画像Gから、予め定めた大きさの処理ブロックDを切り出す(ステップS5)。すなわち、画像超解像装置1は、図6の<P3>に示すように、入力画像Gから、超解像する対象となる処理ブロックDを切り出す。

0086

そして、画像超解像装置1は、類似度算出手段34によって、ステップS5で切り出された処理ブロックDと、ブロック記憶手段33に記憶されている劣化参照ブロックHD2との類似度を算出する(ステップS6)。すなわち、画像超解像装置1は、図6の<P4>に示すように、入力画像Gから切り出した処理ブロックDと、複数の参照ブロックHを劣化させた複数の劣化参照ブロックHD2との類似度を算出する。

0087

そして、画像超解像装置1は、処理ブロック拡大手段20によって、ステップS5で切り出された処理ブロックDを拡大して、拡大処理ブロックLを生成する(ステップS7)。すなわち、画像超解像装置1は、図6の<P5>に示すように、処理ブロックDを参照ブロックHと同じ大きさに拡大する。

0088

また、画像超解像装置1は、損失成分生成手段40の劣化参照ブロック拡大手段41によって、ブロック記憶手段33に記憶されている劣化参照ブロックHD2を拡大して、復元参照ブロックHLを生成する(ステップS8)。すなわち、画像超解像装置1は、図6の<P6>に示すように、劣化参照ブロックHD2を参照ブロックHと同じ大きさに拡大する。

0089

そして、画像超解像装置1は、損失成分算出手段42によって、ステップS8で生成された復元参照ブロックHLと、当該復元参照ブロックHLに対応する参照ブロックHとの差を損失成分HFとして算出する(ステップS9)。すなわち、画像超解像装置1は、図6の<P7>に示すように、参照ブロックHと復元参照ブロックHLとの画素ごとの差分を演算することで、損失成分HFを生成する。このとき、損失成分HFは、参照ブロックHの数だけ生成されることになる。

0090

そして、画像超解像装置1は、超解像ブロック合成手段50によって、ステップS7で生成された拡大処理ブロックLと、ステップS9で生成された損失成分HFとを、ステップS6で算出された類似度に基づいて合成する(ステップS10)。すなわち、画像超解像装置1は、図6の<P8>に示すように、処理ブロックDを拡大した拡大処理ブロックLに、複数の損失成分HFを画素ごとに類似度に応じて重み加算することで、超解像ブロックSRを生成する。以上の動作によって、処理ブロックDに対応する超解像ブロックSRが順次生成されることになる。

0091

そして、画像超解像装置1は、超解像画像構成手段60によって、ステップS10で順次生成される超解像ブロックSRを処理ブロックDに対応する位置に配置(構成)することで、超解像画像SGを生成する(ステップS11)。すなわち、画像超解像装置1は、図6の<P9>に示すように、入力画像Gの拡大率に応じて、超解像ブロックSRを、処理ブロックDに対応する位置に配置することで、超解像画像SGを生成する。
以上の動作によって、画像超解像装置1は、入力画像Gから、劣化による成分を補完した高画質な超解像画像SGを生成することができる。

0092

以上、第1実施形態に係る画像超解像装置1の構成および動作について説明したが、本発明は、これに限定されるものではない。
例えば、ここでは、処理ブロック切り出し手段10は、処理ブロックDとして、正方形領域のブロックを切り出したが、長方形領域のブロックを切り出すこととしてもよい。この場合、参照ブロック切り出し手段31は、その長方形領域を予め定めた拡大率で拡大した領域を参照ブロックHとして切り出せばよい。

0093

また、ここでは、超解像ブロック合成手段50は、拡大処理ブロックLに対して、すべての損失成分HFを、類似度に応じて重み付き加算した。しかし、超解像ブロック合成手段50は、最も類似度の高い劣化参照ブロックHD2に対応した損失成分HFのみを、拡大処理ブロックLに加算することとしてもよい。これによって、処理が簡易化され、高速処理が可能になる。
あるいは、超解像ブロック合成手段50は、類似度が予め定めた高さ以上の類似度の劣化参照ブロックHD2に対応する損失成分HFのみを、拡大処理ブロックLに加算する対象としてもよい。

0094

また、ここでは、参照ブロック切り出し手段31は、処理ブロックDを拡大した拡大処理ブロックLと同じ大きさの矩形正方形長方形)領域として参照ブロックHを切り出した。しかし、参照ブロック切り出し手段31は、前記した切り出し以外に、入力画像Gあるいはその一部を変形し、その変形領域に含まれる拡大処理ブロックLと同じ大きさの矩形領域を参照ブロックHとして切り出すこととしてもよい。例えば、参照ブロック切り出し手段31は、前記した切り出し以外に、入力画像Gに対して、回転等のアフィン変換を行い、その変換画像から参照ブロックHをさらに切り出す。これによって、劣化過程における損失成分の情報を含んだ参照ブロックHが多く抽出され、損失成分HFが多様化されることで、超解像画像の画質を高めることができる。

0095

また、ここでは、処理ブロック切り出し手段10と参照ブロック切り出し手段31によって、入力画像Gから切り出した処理ブロックDと参照ブロックHの画素値をそのまま用いて超解像ブロックSRを生成した。しかし、これらの画素値を正規化して超解像ブロックSRを生成してもよい。すなわち、処理ブロックDと参照ブロックHの画素値を、それぞれのブロック内の画素値の平均値(平均画素値)で正規化し、正規化後の画素値を用いて損失成分HFを生成する。そして、超解像ブロック合成手段50は、生成した損失成分HFに対して正規化の逆演算、すなわち処理ブロックDの平均画素値を乗算した後に、拡大処理ブロックLに加算し、超解像ブロックSRを生成する。また、ここで、正規化はブロック内の画素値の平均値以外にも、画素値の標準偏差によって行ってもよい。このように、損失成分HFが多様化されることで、超解像画像の画質を高めることができる。

0096

また、ここでは、劣化モデル手段32の非縮小劣化手段322は、符号化に伴う劣化を模擬することとした。しかし、非縮小劣化手段322は、符号化劣化以外にも、他の劣化を模擬するものを付加してもよい。
例えば、入力画像Gに既知のボケやブレが含まれている場合、それらを模擬する処理を付加してもよい。このボケやブレを模擬する場合、非縮小劣化手段322は、ローパスフィルタによってボケを模擬したり、水平、垂直、斜め方向のフィルタによって、ブレを模擬したりすることで、画像の劣化を模擬することができる。

0097

また、ここでは、類似度算出手段34は、処理ブロックDと劣化参照ブロックHD2とにおいて、ブロック単位で類似度を求めた。しかし、類似度算出手段34は、類似度として、ブロック単位の類似度ではなく、処理ブロックDと劣化参照ブロックHD2との各ブロックの画素単位の類似度を算出することとしてもよい。この場合、ブロック間の類似度は、処理ブロックDの画素数分の類似度で表現される。このとき、超解像ブロック合成手段50は、拡大処理ブロックLに対して、画素ごとの類似度に応じて、損失成分HFを重み付け加算する。これによって、拡大処理ブロックLの画素ごとに損失成分が補完されるため、超解像ブロックSRの画質精度を高めることができる。
以下、第1実施形態の変形例以外の他の実施形態について、図面を参照して説明する。

0098

<第2実施形態>
まず、図2を参照して、本発明の第2実施形態に係る画像超解像装置1Bについて説明する。画像超解像装置1Bは、画像超解像装置1(図1参照)と同様、入力画像よりも解像度の高い画像(超解像画像)を生成するものである。画像超解像装置1は、図1で説明したように、参照ブロックHとそれを劣化させた劣化参照ブロックHD2とを入力画像Gから生成し、予めブロック記憶手段33に記憶しておき、損失成分生成手段40が逐次参照する構成である。これに対し、第2実施形態に係る画像超解像装置1Bは、ブロック記憶手段33を備えない構成とした。

0099

以下、画像超解像装置1と異なる構成について説明する。なお、画像超解像装置1と同一の構成については、同一の符号を付して説明を省略する。
画像超解像装置1Bは、画像超解像装置1の参照ブロック選択劣化手段30を参照ブロック選択劣化手段30Bに替え、損失成分生成手段40を損失成分生成手段40Bに替えて構成した。

0100

参照ブロック選択劣化手段30Bは、入力画像Gから、予め定めた大きさのブロックを複数選択し、入力画像Gの劣化過程に相当する劣化処理を施すことで、入力画像Gの劣化過程を模擬するものである。ここでは、参照ブロック選択劣化手段30Bは、参照ブロック切り出し手段31と、劣化モデル手段32と、類似度算出手段34Bと、を備えている。参照ブロック切り出し手段31および劣化モデル手段32は、画像超解像装置1(図1)と同じ構成である。

0101

類似度算出手段34Bは、処理ブロック切り出し手段10で切り出された処理ブロックDごとに、劣化モデル手段32で生成された複数の劣化参照ブロックHD2との類似度を算出するものである。この類似度の算出手法は、図1で説明した画像超解像装置1の類似度算出手段34と同じである。
この類似度算出手段34Bは、算出した類似度を超解像ブロック合成手段50に出力するとともに、類似度を算出した劣化参照ブロックHD2に対応する参照ブロックHの切り出し位置を損失成分生成手段40Bに出力する。

0102

損失成分生成手段40Bは、参照ブロック選択劣化手段30Bで選択された参照ブロックの劣化による損失成分を生成するものである。ここでは、損失成分生成手段40Bは、劣化参照ブロック拡大手段41と、損失成分算出手段42と、参照ブロック切り出し手段43と、劣化モデル手段44と、を備えている。劣化参照ブロック拡大手段41および損失成分算出手段42は、画像超解像装置1(図1)と同じ構成である。

0103

参照ブロック切り出し手段43は、入力画像Gから、参照ブロック選択劣化手段30B(類似度算出手段34B)から入力した切り出し位置で参照ブロックHを切り出すものである。なお、この参照ブロック切り出し手段43は、参照ブロック選択劣化手段30B(類似度算出手段34B)から指示される切り出し位置から参照ブロックHを切り出すことのみが、参照ブロック切り出し手段31と異なっている。この参照ブロック切り出し手段43は、切り出した参照ブロックHを、損失成分算出手段42および劣化モデル手段44に出力する。

0104

劣化モデル手段44は、参照ブロック切り出し手段43で切り出された参照ブロックHに対して、予め定めた劣化処理を施すものである。この劣化モデル手段44は、劣化モデル手段32と同じものであり、縮小劣化手段321と同じ機能を有する縮小劣化手段441と、非縮小劣化手段322と同じ機能を有する非縮小劣化手段442とを備えている。
そして、非縮小劣化手段442は、生成した劣化参照ブロックHD2を劣化参照ブロック拡大手段41に出力する。
これによって、損失成分生成手段40Bは、参照ブロック選択劣化手段30Bにおいて、処理ブロックDと比較された同一の参照ブロックHを入力画像Gから切り出して、損失成分HFを生成することができる。

0105

以上説明したように、画像超解像装置1Bは、画像超解像装置1(図1)と同様に、縮小劣化および非縮小劣化による劣化過程を模擬して、入力画像Gを拡大する際に、その模擬した劣化過程の損失成分を補完することができる。これによって、画像超解像装置1Bは、入力画像Gから、劣化による成分を補完した高画質な超解像画像SGを生成することができる。また、画像超解像装置1Bは、容量の大きい記憶媒体を構成から省くことができるため、装置を安価に製造することができる。

0106

<第3実施形態>
次に、図3を参照して、本発明の第3実施形態に係る画像超解像装置1Cについて説明する。画像超解像装置1Cは、画像超解像装置1(図1参照)と同様、入力画像よりも解像度の高い画像(超解像画像)を生成するものである。画像超解像装置1は、図1で説明したように、入力画像Gから切り出した参照ブロックHに対して劣化過程を模擬することで、損失成分を生成する構成である。これに対し、第3実施形態に係る画像超解像装置1Cは、入力画像Gそのものに劣化過程を模擬することで、損失成分を生成する構成とした。

0107

以下、画像超解像装置1と異なる構成について説明する。なお、画像超解像装置1と同一の構成については、同一の符号を付して説明を省略する。
画像超解像装置1Cは、画像超解像装置1の参照ブロック選択劣化手段30を参照ブロック選択劣化手段30Cに替えて構成した。

0108

参照ブロック選択劣化手段30Cは、入力画像Gに、入力画像Gの劣化していく過程(劣化過程)に相当する劣化処理を施し、その劣化した画像から予め定めた大きさのブロックを複数選択するものである。ここでは、参照ブロック選択劣化手段30Cは、参照ブロック切り出し手段31Cと、劣化モデル手段32Cと、ブロック記憶手段33と、類似度算出手段34と、劣化参照ブロック切り出し手段35と、を備えている。ブロック記憶手段33および類似度算出手段34は、画像超解像装置1(図1)と同じ構成である。

0109

参照ブロック切り出し手段31Cは、後記する劣化参照ブロック切り出し手段35で、劣化過程を模擬したブロック(劣化参照ブロックHD2)を切り出す際の基準となる予め定めた大きさのブロック(参照ブロックH)を、入力画像Gから順次切り出すものである。この参照ブロック切り出し手段31Cは、切り出した参照ブロックHを、ブロック記憶手段33に書き込むとともに、参照ブロックHの切り出し位置を劣化参照ブロック切り出し手段35に出力する。
なお、参照ブロック切り出し手段31Cにおける参照ブロックHの切り出し方については、図1で説明した参照ブロック切り出し手段31と同じである。

0110

劣化モデル手段32Cは、入力画像Gに対して、予め定めた劣化処理を施すものである。ここでは、劣化モデル手段32Cは、縮小劣化手段321Cと、非縮小劣化手段322Cと、を備えている。

0111

縮小劣化手段321Cは、入力画像Gに対して画像縮小を行うことで、縮小に伴う画像の劣化を模擬するものである。以後、この縮小された画像を縮小入力画像(G1)と呼ぶ。この縮小劣化手段321Cは、生成した縮小入力画像G1を非縮小劣化手段322Cに出力する。
この縮小劣化手段321Cにおける縮小処理は、予め定めた任意の手法で行うことができる。例えば、縮小劣化手段321Cは、縮小手法として、最近傍法、線形補間法、Bicubic補間法等の画素値の補間法により入力画像Gを縮小する。

0112

なお、縮小劣化手段321Cにおける入力画像Gの縮小率は、処理ブロック拡大手段20における処理ブロックDの拡大率の逆比率とする。すなわち、処理ブロックDの拡大率が縦横それぞれ2倍ならば、縮小劣化手段321Cにおける縮小率は、縦横それぞれ2分の1とする。

0113

非縮小劣化手段322Cは、縮小劣化手段321Cで縮小された縮小入力画像G1に対して、縮小劣化以外の予め定めた劣化を模擬するものである。ここでは、非縮小劣化手段322Cは、予め定めた符号化による劣化を模擬するものとする。以後、この劣化された画像を劣化入力画像(G2)と呼ぶ。この非縮小劣化手段322Cは、生成した劣化入力画像G2を劣化参照ブロック切り出し手段35に出力する。

0114

この非縮小劣化手段322Cは、例えば、以下の手法により符号化による劣化を模擬する。すなわち、非縮小劣化手段322Cは、入力画像Gの元となる符号化された画像において用いられていた符号化方式により、縮小入力画像G1を符号化し、復号する。これによって、入力画像Gが経た符号化による劣化が模擬されることになる。

0115

劣化参照ブロック切り出し手段35は、参照ブロック切り出し手段31Cから入力した参照ブロックHの切り出し位置に対応するブロック(劣化参照ブロックHD2)を、劣化モデル手段32Cで生成された劣化入力画像G2から切り出すものである。

0116

この参照ブロックHの切り出し位置に対応するブロックとは、入力画像G上の参照ブロックHが、縮小劣化手段321Cにおける縮小率で縮小された位置に相当する劣化入力画像G2上のブロックである。具体的には、ここでは、画像超解像装置1Cは、入力画像Gを縦横2倍に拡大した超解像画像SGを生成するため、参照ブロックHの位置である水平座標(X座標)および垂直座標(Y座標)をそれぞれ1/2倍した座標位置が、劣化入力画像G2の位置となる。また、劣化参照ブロックHD2の大きさは、処理ブロック切り出し手段10で切り出される処理ブロックDと同じ大きさである。
この劣化参照ブロック切り出し手段35は、切り出した劣化参照ブロックHD2を、参照ブロックHと対応付けてブロック記憶手段33に書き込む。

0117

以上説明したように、画像超解像装置1Cは、画像超解像装置1(図1)と同様に、縮小劣化および非縮小劣化による劣化過程を模擬して、入力画像Gを拡大する際に、その模擬した劣化過程の損失成分を補完することができる。

0118

<第4実施形態>
次に、図4を参照して、本発明の第4実施形態に係る画像超解像装置1Dについて説明する。画像超解像装置1Dは、画像超解像装置1C(図3参照)と同様、入力画像よりも解像度の高い画像(超解像画像)を生成するものである。画像超解像装置1Cは、図3で説明したように、参照ブロックHとそれを劣化させた劣化参照ブロックHD2とを入力画像Gから生成し、予めブロック記憶手段33に記憶しておき、損失成分生成手段40が逐次参照する構成である。これに対し、第4実施形態に係る画像超解像装置1Dは、ブロック記憶手段33を備えない構成とした。

0119

以下、画像超解像装置1,1Cと異なる構成について説明する。なお、画像超解像装置1,1Cと同一の構成については、同一の符号を付して説明を省略する。
画像超解像装置1Dは、画像超解像装置1Cの参照ブロック選択劣化手段30Cを参照ブロック選択劣化手段30Dに替え、損失成分生成手段40を損失成分生成手段40Dに替えて構成した。

0120

参照ブロック選択劣化手段30Dは、入力画像Gに、入力画像Gの劣化過程に相当する劣化処理を施し、その劣化画像から予め定めた大きさのブロックを複数選択するものである。ここでは、参照ブロック選択劣化手段30Dは、劣化モデル手段32Cと、類似度算出手段34Dと、劣化参照ブロック切り出し手段35Dと、を備えている。劣化モデル手段32Cは、画像超解像装置1C(図3)と同じ構成である。

0121

類似度算出手段34Dは、処理ブロック切り出し手段10で切り出された処理ブロックDごとに、後記する劣化参照ブロック切り出し手段35Dで切り出された複数の劣化参照ブロックHD2との類似度を算出するものである。この類似度の算出手法は、図1で説明した画像超解像装置1の類似度算出手段34と同じである。
この類似度算出手段34Dは、算出した類似度を超解像ブロック合成手段50に出力するとともに、類似度を算出した劣化参照ブロックHD2の劣化前のブロックに相当する参照ブロックの切り出し位置を損失成分生成手段40Dに出力する。

0122

劣化参照ブロック切り出し手段35Dは、劣化モデル手段32Cで生成された劣化入力画像G2から、処理ブロック切り出し手段10で切り出される処理ブロックDと同じ大きさのブロック(劣化参照ブロックHD2)を複数切り出すものである。この劣化参照ブロック切り出し手段35Dは、切り出した劣化参照ブロックHD2を、類似度算出手段34Dに出力する

0123

損失成分生成手段40Dは、参照ブロック選択劣化手段30Dで選択された劣化参照ブロックの劣化による損失成分を生成するものである。ここでは、損失成分生成手段40Dは、劣化参照ブロック拡大手段41と、損失成分算出手段42と、参照ブロック切り出し手段43Dと、劣化モデル手段44Dと、劣化参照ブロック切り出し手段45と、を備えている。劣化参照ブロック拡大手段41および損失成分算出手段42は、画像超解像装置1(図1)と同じ構成である。

0124

参照ブロック切り出し手段43Dは、入力画像Gから、参照ブロック選択劣化手段30D(類似度算出手段34D)から入力した切り出し位置で参照ブロックHを切り出すものである。なお、この参照ブロック切り出し手段43Dは、参照ブロック選択劣化手段30D(類似度算出手段34D)から指示される切り出し位置から参照ブロックHを切り出すことのみが、参照ブロック切り出し手段31C(図3)と異なっている。この参照ブロック切り出し手段43Dは、切り出した参照ブロックHを、損失成分算出手段42に出力するとともに、参照ブロックHの切り出し位置を劣化参照ブロック切り出し手段45に出力する。

0125

劣化モデル手段44Dは、入力画像Gに対して画像縮小を行うことで、縮小に伴う画像の劣化を模擬するものである。この劣化モデル手段44Dは、劣化モデル手段32Cと同じものであり、縮小劣化手段321Cと同じ機能を有する縮小劣化手段441Dと、非縮小劣化手段322Cと同じ機能を有する非縮小劣化手段442Dとを備えている。
そして、非縮小劣化手段442Dは、生成した劣化入力画像G2を劣化参照ブロック切り出し手段45に出力する。

0126

劣化参照ブロック切り出し手段45は、参照ブロック切り出し手段43Dから入力した参照ブロックHの切り出し位置に対応するブロック(劣化参照ブロックHD2)を、劣化モデル手段44Dで生成された劣化入力画像G2から切り出すものである。この劣化参照ブロック切り出し手段45は、劣化参照ブロック切り出し手段35Dと同じ機能を有するものである。
この劣化参照ブロック切り出し手段45は、切り出した劣化参照ブロックHD2を、劣化参照ブロック拡大手段41に出力する。

0127

以上説明したように、画像超解像装置1Dは、画像超解像装置1,1C(図1図3)と同様に、縮小劣化および非縮小劣化による劣化過程を模擬して、入力画像Gを拡大する際に、その模擬した劣化過程の損失成分を補完することができる。これによって、画像超解像装置1Dは、入力画像Gから、劣化による成分を補完した高画質な超解像画像SGを生成することができる。また、画像超解像装置1Dは、容量の大きい記憶媒体を構成から省くことができるため、装置を安価に製造することができる。

0128

以上、画像超解像装置1とその変形例となる画像超解像装置1B,1C,1Dとについて、第1〜第4実施形態として説明した。
これによって、画像超解像装置1,1B,1C,1Dは、入力画像が経た劣化過程を考慮して、高周波成分を付加するとともに、符号化に伴う劣化を補完して、高画質な超解像画像を生成することができる。

0129

<第5実施形態>
次に、図7を参照して、本発明の第5実施形態に係る画像超解像装置2について説明する。画像超解像装置2は、画像超解像装置1,1B,1C,1D(図1図4参照)と同様、入力画像よりも解像度の高い画像(超解像画像)を生成するものである。画像超解像装置1,1B,1C,1Dは、入力画像Gに対して、劣化過程を模擬した損失成分を1回加算することで超解像画像SGを生成する構成である。これに対し、画像超解像装置2は、画像超解像装置1,1B,1C,1Dが行う超解像処理を反復する構成とした。

0130

ここでは、画像超解像装置2は、処理ブロック切り出し手段10と、処理ブロック拡大手段20と、参照ブロック選択劣化手段30と、損失成分生成手段40と、超解像ブロック合成手段50と、超解像画像構成手段60Eと、入力切り換え手段70と、拡大画像記憶手段80と、画像縮小手段90と、を備えている。処理ブロック切り出し手段10、処理ブロック拡大手段20、参照ブロック選択劣化手段30、損失成分生成手段40および超解像ブロック合成手段50は、図1で説明した構成と同一であるため、同一の符号を付して説明を省略する。

0131

超解像画像構成手段60Eは、超解像ブロック合成手段50で生成された超解像ブロックSRを処理ブロック切り出し手段10で切り出した処理ブロックDに対応する位置に配置することで、超解像画像SGを生成するものである。なお、この超解像ブロックSRを配置することで超解像画像を生成する手法は、図1で説明した超解像画像構成手段60と同一である。

0132

この超解像画像構成手段60Eは、生成する超解像画像を入力画像Gの拡大画像として、逐次、拡大画像記憶手段80に記憶し、拡大画像の生成を予め定めた条件で反復した後、拡大画像を超解像画像として出力する点が、図1で説明した超解像画像構成手段60と異なっている。ここでは、超解像画像構成手段60Eは、ブロック更新手段61と、反復判定手段62と、を備えている。

0133

ブロック更新手段61は、超解像ブロック合成手段50で生成された超解像ブロックSRを、拡大画像記憶手段80上において、処理ブロックDに対応する位置に配置するものである。すなわち、ブロック更新手段61は、超解像ブロック合成手段50で生成される超解像ブロックSRを配置することで、入力画像Gを処理ブロック拡大手段20における拡大率で拡大した拡大画像LGを生成する。
また、ブロック更新手段61は、超解像ブロック合成手段50から同一の位置に配置する超解像ブロックSRが入力された場合、拡大画像記憶手段80上において超解像ブロックSRを更新する。

0134

なお、ブロック更新手段61は、超解像ブロックSRを更新する際に、更新前後の超解像ブロックSRの差分が予め定めた閾値以上の場合に更新を行い、更新前後の超解像ブロックSRの差分が予め定めた閾値よりも小さい場合は、更新を行わないこととしてもよい。ここで、差分としては、超解像ブロックSR内の画素値の絶対値誤差や二乗誤差の総和を用いることができる。

0135

反復判定手段62は、拡大画像記憶手段80上に構成する拡大画像LGを、超解像処理を反復させることにより再生成するか否かを判定するものである。
この反復の判定は、例えば、予め定めた回数で判定する。また、ブロック更新手段61において、更新を行う超解像ブロックSRの数が予め定めた数以下となった場合に、反復を停止すると判定することとしてもよい。

0136

この反復判定手段62は、反復を行うと判定した場合、画像縮小手段90に対して、拡大画像記憶手段80に記憶されている拡大画像LGの縮小を指示する。また、このとき、反復判定手段62は、入力切り換え手段70に対して、入力画像を、画像縮小手段90が生成する処理画像TGに切り換える旨を指示する。これによって、超解像処理の反復が実行されることになる。
一方、反復判定手段62は、反復を行わない(終了)と判定した場合、拡大画像記憶手段80に記憶されている拡大画像LGを読み出して、超解像画像SGとして出力する。

0137

入力切り換え手段70は、超解像処理を行う対象となる画像を、外部から入力する入力画像Gか、画像縮小手段90で生成される処理画像TGかを切り換えるものである。
この入力切り換え手段70は、初期段階では、入力画像Gを超解像する対象とし、超解像画像構成手段60E(反復判定手段62)から、切り換えを指示された段階で、処理画像TGを超解像する対象として切り換える。この切り換えられた画像(入力画像Gまたは処理画像TG)は、処理ブロック切り出し手段10と、参照ブロック選択劣化手段30とに出力される。

0138

拡大画像記憶手段80は、超解像画像構成手段60Eで生成される拡大画像LGを記憶するものである。この拡大画像記憶手段80は、例えば、半導体メモリ等の一般的な記憶媒体を用いることができる。
この拡大画像記憶手段80は、超解像画像構成手段60Eによって更新される。また、超解像処理が反復される場合、画像縮小手段90によって拡大画像LGが読み出され、超解像処理が終了した場合、超解像画像構成手段60Eによって拡大画像LGが超解像画像SGとして読み出される。

0139

画像縮小手段90は、拡大画像記憶手段80に記憶されている拡大画像LGを画像縮小し、超解像処理の対象となる処理画像TGを生成するものである。
この画像縮小手段90における縮小処理は、予め定めた任意の手法で行うことができる。例えば、画像縮小手段90は、縮小手法として、最近傍法、線形補間法、Bicubic補間法等の画素値の補間法により拡大画像LGを縮小する。

0140

なお、画像縮小手段90における拡大画像LGの縮小率は、処理ブロック拡大手段20における処理ブロックDの拡大率の逆比率とする。すなわち、処理ブロックDの拡大率が縦横それぞれ2倍ならば、画像縮小手段90における縮小率は、縦横それぞれ2分の1とする。

0141

このように、画像超解像装置2を構成することで、超解像処理が反復されることになる。これによって、例えば、入力画像Gそのものに高周波成分が少ない場合であっても、超解像処理の反復によって、高周波成分が付加されていくため、高画質な超解像画像SGを生成することができる。

0142

なお、ここでは、画像超解像装置2を、図1で説明した画像超解像装置1の超解像処理を反復する構成とした。しかし、図2図4で説明した画像超解像装置1B,1C,1Dの超解像処理を反復する構成としてもよい。
すなわち、画像超解像装置2は、処理ブロック切り出し手段10、処理ブロック拡大手段20、参照ブロック選択劣化手段30、損失成分生成手段40および超解像ブロック合成手段50を、図2図4で説明した画像超解像装置1B,1C,1Dの対応する構成で置き換えて構成することも可能である。

0143

(画像超解像装置2の超解像処理)
最後に、図8を参照(構成に付いては適宜図7参照)して、画像超解像装置2が行う超解像処理を、各手段によって生成されるブロック(画像)の流れで模式的に説明する。
まず、画像超解像装置2は、入力画像Gが入力されると、参照ブロック選択劣化手段30によって、予め定めた大きさの参照ブロックH1(H)と、当該ブロックを劣化処理した縮小参照ブロックHD21(HD2)を生成する。そして、画像超解像装置2は、損失成分生成手段40によって、縮小参照ブロックHD21を拡大し、参照ブロックH1と差分をとることで、損失成分HF1(HF)を生成する。

0144

また、画像超解像装置2は、処理ブロック切り出し手段10によって、入力画像Gから、順次、処理ブロックD1(D)を切り出し拡大することで、拡大処理ブロックL1(L)を生成する。そして、画像超解像装置2は、超解像ブロック合成手段50によって、拡大処理ブロックL1に、処理ブロックD1と類似する縮小参照ブロックHD1から生成された損失成分HF1を加算することで、超解像ブロックSR1(SR)を生成する。

0145

このとき、画像超解像装置2は、超解像画像構成手段60Eのブロック更新手段61によって、超解像ブロック合成手段50で生成される超解像ブロックSR1を順次配置することで、拡大画像記憶手段80上に拡大画像LG1(LG)を生成する。
そして、画像超解像装置2は、超解像画像構成手段60Eの反復判定手段62によって、反復回数等によって反復を行うか否かを判定する。
そして、反復を行うと判定された場合、画像超解像装置2は、画像縮小手段90によって、拡大画像記憶手段80に記憶されている拡大画像LG1を縮小して、処理画像TGを生成する。

0146

以降、画像超解像装置2は、入力画像Gの代わりに、処理画像TGに対して、前記した処理を繰り返す。
そして、画像超解像装置2は、超解像画像構成手段60Eの反復判定手段62によって、反復を行わないと判定された段階で、拡大画像記憶手段80に記憶されている拡大画像LG2を、超解像画像SG2として出力する。

0147

以上、本発明の実施形態に係る画像超解像装置1(図1),1B(図2),1C(図3),1D(図4),2(図7)について説明したが、これらは、一般的なCPU、RAM、ROMなどで構成することができ、コンピュータを、前記した各手段として機能させるプログラム(画像超解像プログラム)で動作させることができる。

0148

1,2画像超解像装置
10処理ブロック切り出し手段
20 処理ブロック拡大手段
30参照ブロック選択劣化手段
31 参照ブロック切り出し手段
32劣化モデル手段
321縮小劣化手段
322 非縮小劣化手段
33ブロック記憶手段
34類似度算出手段
35劣化参照ブロック切り出し手段
40損失成分生成手段
41 劣化参照ブロック拡大手段
42 損失成分算出手段
43 参照ブロック切り出し手段
44 劣化モデル手段
441 縮小劣化手段
442 非縮小劣化手段
45 劣化参照ブロック切り出し手段
50超解像ブロック合成手段
60超解像画像構成手段
61 ブロック更新手段
62 反復判定手段
70入力切り換え手段
80拡大画像記憶手段
90画像縮小手段

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ