図面 (/)

この項目の情報は公開日時点(2010年9月30日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (16)

課題

超解像拡大処理再符号化処理と利用して、画質の高い符号化ビット列を生成すること。

解決手段

第1復号部103は分離部102によって分離された入力符号ビット列を復号し、所定の超解像拡大・縮小終了条件を満たすまで、超解像拡大部104がその復号画像に対し超解像拡大処理を行い、高空解像度超解像画像を生成し、解像度縮小部105がその高空間解像度の超解像画像に対し解像度縮小処理を行い、基準空間解像度の超解像画像を生成して、基準空間解像度の超解像画像を更新する。次に、所定の再符号化終了条件を満たすまで、再符号化部107が再符号化を行い、再符号化後の符号化ビット列を第1復号部103に出力して復号させると共に、所定の超解像拡大・縮小終了条件を満たすまで、超解像拡大処理および解像度縮小処理を繰り返し行い、所定の再符号化終了条件を満たす再符号化後の符号化ビット列を生成する。

概要

背景

例えば、補間を行って最初の高解像度推定画像を生成し、位置合わせを行って位置合わせ画像を生成し、高解像度推定画像を不鮮明化し、不鮮明化画像と位置合わせ画像とを減算して残差画像を生成し、欠損していない周辺画素残差値を用いて欠損残差を補間し、点拡がり逆関数を用いて残差画像から逆投影画像を生成し、平滑化画像と逆投影画像とを組み合わせて強調係数を生成し、強調係数を高解像度推定画像に更新して新たな高解像度推定画像を生成することにより、欠損画素の残差値を欠損していない周辺画素の残差値から補間する残差補間を用いた超解像処理方法及び装置がある(例えば、特許文献1)。

概要

超解像拡大処理再符号化処理と利用して、画質の高い符号化ビット列を生成すること。第1復号部103は分離部102によって分離された入力符号ビット列を復号し、所定の超解像拡大・縮小終了条件を満たすまで、超解像拡大部104がその復号画像に対し超解像拡大処理を行い、高空解像度超解像画像を生成し、解像度縮小部105がその高空間解像度の超解像画像に対し解像度縮小処理を行い、基準空間解像度の超解像画像を生成して、基準空間解像度の超解像画像を更新する。次に、所定の再符号化終了条件を満たすまで、再符号化部107が再符号化を行い、再符号化後の符号化ビット列を第1復号部103に出力して復号させると共に、所定の超解像拡大・縮小終了条件を満たすまで、超解像拡大処理および解像度縮小処理を繰り返し行い、所定の再符号化終了条件を満たす再符号化後の符号化ビット列を生成する。

目的

本発明は、超解像拡大処理と再符号化処理と利用して、画質の高い符号化ビット列を生成することができる、再符号化装置および再符号化方法を提供する

効果

実績

技術文献被引用数
2件
牽制数
2件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

入力する符号化ビット列復号して基準空間解像度復号画像を生成する第1復号手段と、前記第1復号手段によって生成された前記基準空間解像度の復号画像に対し超解像拡大処理を行い、高空解像度超解像画像を生成する超解像大手段と、前記超解像拡大手段によって生成された前記高空間解像度の超解像画像に対し解像度縮小処理を行い、前記基準空間解像度の超解像画像を生成する解像度縮小手段と、所定の超解像拡大・縮小終了条件を満たすまで、前記超解像拡大手段に前記超解像拡大処理、前記解像度縮小手段に前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像を更新させる制御手段と、前記所定の超解像拡大・縮小終了条件を満たす前記基準空間解像度の超解像画像に対し再符号化を行う再符号化手段と、を有し、前記制御手段は、さらに、所定の再符号化終了条件を満たすまで、前記再符号化手段に前記再符号化を行わせて、再符号化後の符号化ビット列を前記第1復号手段に出力して復号させると共に、前記所定の超解像拡大・縮小終了条件を満たすまで、前記超解像拡大手段に前記超解像拡大処理、前記解像度縮小手段に前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像と、再符号化後の符号化ビット列とを更新させ、前記所定の再符号化終了条件を満たす再符号化後の符号化ビット列を生成させる、再符号化装置

請求項2

請求項1記載の再符号化装置において、さらに、入力する前記符号化ビット列と、所定の再符号化終了条件を満たす再符号化後の前記符号化ビット列とを多重化する多重化手段と、を有する、再符号化装置。

請求項3

入力する符号化ビット列を復号して基準空間解像度の復号画像を生成する第1復号手段と、前記第1復号手段によって生成された前記基準空間解像度の復号画像に対し超解像拡大処理を行い、高空間解像度の超解像画像を生成する超解像拡大手段と、前記超解像拡大手段によって生成された前記高空間解像度の超解像画像に対し解像度縮小処理を行い、前記基準空間解像度の超解像画像を生成する解像度縮小手段と、所定の超解像拡大・縮小終了条件を満たすまで、前記超解像拡大手段に前記超解像拡大処理、前記解像度縮小手段に前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像を更新させる制御手段と、前記所定の超解像拡大・縮小終了条件を満たす前記基準空間解像度の超解像画像から前記第1復号手段によって生成された前記基準空間解像度の復号画像を減算して所定の拡張層残差情報を生成する減算手段と、前記所定の拡張層の残差情報に対し再符号化を行う再符号化手段と、再符号化された前記所定の拡張層の残差情報に対し復号を行う第2復号手段と、前記第1復号手段から得られる前記基準空間解像度の復号画像と、前記第2復号手段から得られる復号された前記所定の拡張層の残差情報とを加算し、所定の拡張層の復号画像として前記超解像拡大手段へ出力する加算手段と、を備え、前記制御手段は、さらに、所定の再符号化終了条件を満たすまで、前記再符号化手段に前記再符号化を行わせて、再符号化後の前記所定の拡張層の残差情報を前記第2復号手段に出力して復号させると共に、前記所定の超解像拡大・縮小終了条件を満たすまで、前記超解像拡大手段に前記所定の拡張層の復号画像に対し前記超解像拡大処理、前記解像度縮小手段に前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像と、再符号化後の前記所定の拡張層の残差情報とを更新させ、前記所定の再符号化終了条件を満たす再符号化後の前記所定の拡張層の残差情報を生成させる、再符号化装置。

請求項4

請求項3記載の再符号化装置において、さらに、入力する前記符号化ビット列と、所定の再符号化終了条件を満たす再符号化後の前記所定の拡張層の残差情報とを多重化する多重化手段と、を有する、再符号化装置。

請求項5

入力する符号化ビット列を復号して基準空間解像度の復号画像を生成する第1復号手段と、前記第1復号手段によって生成された前記基準空間解像度の復号画像に対し超解像拡大処理を行い、高空間解像度の超解像画像を生成する超解像拡大手段と、前記超解像拡大手段によって生成された前記高空間解像度の超解像画像に対し解像度縮小処理を行い、前記基準空間解像度の超解像画像を生成する解像度縮小手段と、所定の超解像拡大・縮小終了条件を満たすまで、前記超解像拡大手段に前記超解像拡大処理、前記解像度縮小手段に前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像を更新させる制御手段と、前記所定の超解像拡大・縮小終了条件を満たす前記基準空間解像度の超解像画像から前記第1復号手段によって生成された前記基準空間解像度の復号画像を減算して所定の拡張層の残差情報を生成する減算手段と、前記所定の超解像拡大・縮小終了条件を満たす前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報に対し再符号化を行う再符号化手段と、再符号化された前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報に対し復号を行う第2復号手段と、前記第1復号手段から得られる前記基準空間解像度の復号画像と、前記第2復号手段から得られる復号された前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報とを加算し、前記基準空間解像度および前記所定の拡張層の復号画像として前記超解像拡大手段へ出力する加算手段と、を備え、前記制御手段は、さらに、所定の再符号化終了条件を満たすまで、前記再符号化手段に前記再符号化を行わせて、再符号化後の前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報を前記第2復号手段に出力して復号させると共に、前記所定の超解像拡大・縮小終了条件を満たすまで、前記超解像拡大手段に前記基準空間解像度および前記所定の拡張層の復号画像に対し前記超解像拡大処理、前記解像度縮小手段に前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像と、再符号化後の前記所定の拡張層の残差情報とを更新させ、前記所定の再符号化終了条件を満たす再符号化後の前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報を生成させる、再符号化装置。

請求項6

入力する符号化ビット列を復号して基準空間解像度の復号画像を生成する第1復号手段と、前記第1復号手段によって生成された前記基準空間解像度の復号画像に対し超解像拡大処理を行い、高空間解像度の超解像画像を生成すると共に、前記超解像拡大処理の位置合わせ処理において新たに特定された動きベクトル情報を利用して、符号化パラメータ情報を更新する超解像拡大手段と、前記超解像拡大手段によって生成された前記高空間解像度の超解像画像に対し解像度縮小処理を行い、前記基準空間解像度の超解像画像を生成する解像度縮小手段と、所定の超解像拡大・縮小終了条件を満たすまで、前記超解像拡大手段に前記超解像拡大処理、前記解像度縮小手段に前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像を更新させる制御手段と、前記所定の超解像拡大・縮小終了条件を満たす前記基準空間解像度の超解像画像から前記第1復号手段によって生成された前記基準空間解像度の復号画像を減算して所定の拡張層の残差情報を生成する減算手段と、前記所定の超解像拡大・縮小終了条件を満たす前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報に対し、前記超解像拡大手段によって更新された前記符号化パラメータ情報を用いて再符号化を行う再符号化手段と、再符号化された前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報に対し復号を行う第2復号手段と、前記第1復号手段から得られる前記基準空間解像度の復号画像と、前記第2復号手段から得られる復号された前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報とを加算し、前記基準空間解像度および前記所定の拡張層の復号画像として前記超解像拡大手段へ出力する加算手段と、を備え、前記制御手段は、さらに、所定の再符号化終了条件を満たすまで、前記再符号化手段に前記再符号化を行わせて、再符号化後の前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報を前記第2復号手段に出力して復号させると共に、前記所定の超解像拡大・縮小終了条件を満たすまで、前記超解像拡大手段に前記基準空間解像度および前記所定の拡張層の復号画像に対し前記超解像拡大処理、前記解像度縮小手段に前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像と、再符号化後の前記所定の拡張層の残差情報とを更新させ、前記所定の再符号化終了条件を満たす再符号化後の前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報を生成させる、再符号化装置。

請求項7

請求項5または請求項6記載の再符号化装置において、さらに、前記所定の再符号化終了条件を満たす再符号化後の前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報を多重化する多重化手段と、を有する、再符号化装置。

請求項8

入力する符号化ビット列を復号して基準空間解像度の復号画像を生成するステップと、前記基準空間解像度の復号画像に対し超解像拡大処理を行い、高空間解像度の超解像画像を生成するステップと、前記高空間解像度の超解像画像に対し解像度縮小処理を行い、前記基準空間解像度の超解像画像を生成するステップと、所定の超解像拡大・縮小終了条件を満たすまで、前記超解像拡大処理および前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像を更新させるステップと、前記所定の超解像拡大・縮小終了条件を満たす前記基準空間解像度の超解像画像に対し再符号化を行うステップと、所定の再符号化終了条件を満たすまで、前記再符号化を行わせて、再符号化後の符号化ビット列を復号させると共に、前記所定の超解像拡大・縮小終了条件を満たすまで、前記超解像拡大処理および前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像と、再符号化後の符号化ビット列とを更新させ、前記所定の再符号化終了条件を満たす再符号化後の符号化ビット列を生成させるステップと、を有する再符号化方法。を有する再符号化用プログラム

請求項9

入力する符号化ビット列を復号して基準空間解像度の復号画像を生成するステップと、前記第1復号手段によって生成された前記基準空間解像度の復号画像に対し超解像拡大処理を行い、高空間解像度の超解像画像を生成するステップと、前記高空間解像度の超解像画像に対し解像度縮小処理を行い、前記基準空間解像度の超解像画像を生成するステップと、所定の超解像拡大・縮小終了条件を満たすまで、前記超解像拡大処理および前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像を更新させるステップと、前記所定の超解像拡大・縮小終了条件を満たす前記基準空間解像度の超解像画像から前記基準空間解像度の復号画像を減算して所定の拡張層の残差情報を生成するステップと、前記所定の拡張層の残差情報に対し再符号化を行うステップと、再符号化された前記所定の拡張層の残差情報に対し復号を行うステップと、前記基準空間解像度の復号画像と、前記所定の拡張層の残差情報とを加算し、所定の拡張層の復号画像として出力するステップと、所定の再符号化終了条件を満たすまで、前記再符号化を行わせて、再符号化後の前記所定の拡張層の残差情報を出力して復号させると共に、前記所定の超解像拡大・縮小終了条件を満たすまで、前記所定の拡張層の復号画像に対し前記超解像拡大処理および前記解像度縮小手段に前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像と、再符号化後の前記所定の拡張層の残差情報とを更新させ、前記所定の再符号化終了条件を満たす再符号化後の前記所定の拡張層の残差情報を生成させるステップと、有する再符号化方法。

請求項10

入力する符号化ビット列を復号して基準空間解像度の復号画像を生成するステップと、前記基準空間解像度の復号画像に対し超解像拡大処理を行い、高空間解像度の超解像画像を生成するステップと、前記高空間解像度の超解像画像に対し解像度縮小処理を行い、前記基準空間解像度の超解像画像を生成するステップと、所定の超解像拡大・縮小終了条件を満たすまで、前記超解像拡大処理および前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像を更新させるステップと、前記所定の超解像拡大・縮小終了条件を満たす前記基準空間解像度の超解像画像から前記基準空間解像度の復号画像を減算して所定の拡張層の残差情報を生成するステップと、前記所定の超解像拡大・縮小終了条件を満たす前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報に対し再符号化を行うステップと、再符号化された前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報に対し復号を行うステップと、前記基準空間解像度の復号画像と、前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報とを加算し、前記基準空間解像度および前記所定の拡張層の復号画像として出力するステップと、所定の再符号化終了条件を満たすまで、前記再符号化を行わせて、再符号化後の前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報を出力して復号させると共に、前記所定の超解像拡大・縮小終了条件を満たすまで、前記基準空間解像度および前記所定の拡張層の復号画像に対し前記超解像拡大処理、前記解像度縮小手段に前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像と、再符号化後の前記所定の拡張層の残差情報とを更新させ、前記所定の再符号化終了条件を満たす再符号化後の前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報を生成させるステップと、を有する再符号化方法。

請求項11

入力する符号化ビット列を復号して基準空間解像度の復号画像を生成するステップと、前記基準空間解像度の復号画像に対し超解像拡大処理を行い、高空間解像度の超解像画像を生成すると共に、前記超解像拡大処理の位置合わせ処理において新たに特定された動きベクトル情報を利用して、符号化パラメータ情報を更新するステップと、前記高空間解像度の超解像画像に対し解像度縮小処理を行い、前記基準空間解像度の超解像画像を生成するステップと、所定の超解像拡大・縮小終了条件を満たすまで、前記超解像拡大処理および前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像を更新させるステップと、前記所定の超解像拡大・縮小終了条件を満たす前記基準空間解像度の超解像画像から前記基準空間解像度の復号画像を減算して所定の拡張層の残差情報を生成するステップと、前記所定の超解像拡大・縮小終了条件を満たす前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報に対し、更新された前記符号化パラメータ情報を用いて再符号化を行うステップと、再符号化された前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報に対し復号を行うステップと、前記基準空間解像度の復号画像と、前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報とを加算し、前記基準空間解像度および前記所定の拡張層の復号画像として出力するステップと、所定の再符号化終了条件を満たすまで、前記再符号化手段に前記再符号化を行わせて、再符号化後の前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報を出力して復号させると共に、前記所定の超解像拡大・縮小終了条件を満たすまで、前記基準空間解像度および前記所定の拡張層の復号画像に対し前記超解像拡大処理および前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像と、再符号化後の前記所定の拡張層の残差情報とを更新させ、前記所定の再符号化終了条件を満たす再符号化後の前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報を生成させるステップと、を有する再符号化方法。

技術分野

0001

本発明は、超解像拡大処理を利用した再符号化装置および再符号化方法に関する。

背景技術

0002

例えば、補間を行って最初の高解像度推定画像を生成し、位置合わせを行って位置合わせ画像を生成し、高解像度推定画像を不鮮明化し、不鮮明化画像と位置合わせ画像とを減算して残差画像を生成し、欠損していない周辺画素残差値を用いて欠損残差を補間し、点拡がり逆関数を用いて残差画像から逆投影画像を生成し、平滑化画像と逆投影画像とを組み合わせて強調係数を生成し、強調係数を高解像度推定画像に更新して新たな高解像度推定画像を生成することにより、欠損画素の残差値を欠損していない周辺画素の残差値から補間する残差補間を用いた超解像処理方法及び装置がある(例えば、特許文献1)。

先行技術

0003

特開2007−316161号

発明が解決しようとする課題

0004

しかし、上記従来技術では、高い空間解像度に変換するような場合には、復号画像劣化していると、空間解像度変換処理によって劣化成分自体も強調されてしまうために、余分な符号量を必要とし、効率良く再符号化できない、という問題がある。

0005

そこで、本発明は、超解像拡大処理と再符号化処理と利用して、画質の高い符号化ビット列を生成することができる、再符号化装置および再符号化方法を提供することを目的とする。

課題を解決するための手段

0006

上記課題を解決するため、本発明の再符号化装置は、入力する符号化ビット列を復号して基準空間解像度の復号画像を生成する第1復号手段と、前記第1復号手段によって生成された前記基準空間解像度の復号画像に対し超解像拡大処理を行い、高空解像度超解像画像を生成する超解像大手段と、前記超解像拡大手段によって生成された前記高空間解像度の超解像画像に対し解像度縮小処理を行い、前記基準空間解像度の超解像画像を生成する解像度縮小手段と、所定の超解像拡大・縮小終了条件を満たすまで、前記超解像拡大手段に前記超解像拡大処理、前記解像度縮小手段に前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像を更新させる制御手段と、前記所定の超解像拡大・縮小終了条件を満たす前記基準空間解像度の超解像画像に対し再符号化を行う再符号化手段と、を有し、前記制御手段は、さらに、所定の再符号化終了条件を満たすまで、前記再符号化手段に前記再符号化を行わせて、再符号化後の符号化ビット列を前記第1復号手段に出力して復号させると共に、前記所定の超解像拡大・縮小終了条件を満たすまで、前記超解像拡大手段に前記超解像拡大処理、前記解像度縮小手段に前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像と、再符号化後の符号化ビット列とを更新させ、前記所定の再符号化終了条件を満たす再符号化後の符号化ビット列を生成させる、再符号化装置である。
ここで、さらに、入力する前記符号化ビット列と、所定の再符号化終了条件を満たす再符号化後の前記符号化ビット列とを多重化する多重化手段と、を有する、再符号化装置でもよい。
また、次の発明の再符号化装置では、入力する符号化ビット列を復号して基準空間解像度の復号画像を生成する第1復号手段と、前記第1復号手段によって生成された前記基準空間解像度の復号画像に対し超解像拡大処理を行い、高空間解像度の超解像画像を生成する超解像拡大手段と、前記超解像拡大手段によって生成された前記高空間解像度の超解像画像に対し解像度縮小処理を行い、前記基準空間解像度の超解像画像を生成する解像度縮小手段と、所定の超解像拡大・縮小終了条件を満たすまで、前記超解像拡大手段に前記超解像拡大処理、前記解像度縮小手段に前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像を更新させる制御手段と、前記所定の超解像拡大・縮小終了条件を満たす前記基準空間解像度の超解像画像から前記第1復号手段によって生成された前記基準空間解像度の復号画像を減算して所定の拡張層残差情報を生成する減算手段と、前記所定の拡張層の残差情報に対し再符号化を行う再符号化手段と、再符号化された前記所定の拡張層の残差情報に対し復号を行う第2復号手段と、前記第1復号手段から得られる前記基準空間解像度の復号画像と、前記第2復号手段から得られる復号された前記所定の拡張層の残差情報とを加算し、所定の拡張層の復号画像として前記超解像拡大手段へ出力する加算手段と、を備え、前記制御手段は、さらに、所定の再符号化終了条件を満たすまで、前記再符号化手段に前記再符号化を行わせて、再符号化後の前記所定の拡張層の残差情報を前記第2復号手段に出力して復号させると共に、前記所定の超解像拡大・縮小終了条件を満たすまで、前記超解像拡大手段に前記所定の拡張層の復号画像に対し前記超解像拡大処理、前記解像度縮小手段に前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像と、再符号化後の前記所定の拡張層の残差情報とを更新させ、前記所定の再符号化終了条件を満たす再符号化後の前記所定の拡張層の残差情報を生成させる、再符号化装置である。
ここで、さらに、入力する前記符号化ビット列と、所定の再符号化終了条件を満たす再符号化後の前記所定の拡張層の残差情報とを多重化する多重化手段と、を有する、再符号化装置でも良い。
また、次の発明の再符号化装置では、入力する符号化ビット列を復号して基準空間解像度の復号画像を生成する第1復号手段と、前記第1復号手段によって生成された前記基準空間解像度の復号画像に対し超解像拡大処理を行い、高空間解像度の超解像画像を生成する超解像拡大手段と、前記超解像拡大手段によって生成された前記高空間解像度の超解像画像に対し解像度縮小処理を行い、前記基準空間解像度の超解像画像を生成する解像度縮小手段と、所定の超解像拡大・縮小終了条件を満たすまで、前記超解像拡大手段に前記超解像拡大処理、前記解像度縮小手段に前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像を更新させる制御手段と、前記所定の超解像拡大・縮小終了条件を満たす前記基準空間解像度の超解像画像から前記第1復号手段によって生成された前記基準空間解像度の復号画像を減算して所定の拡張層の残差情報を生成する減算手段と、前記所定の超解像拡大・縮小終了条件を満たす前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報に対し再符号化を行う再符号化手段と、再符号化された前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報に対し復号を行う第2復号手段と、前記第1復号手段から得られる前記基準空間解像度の復号画像と、前記第2復号手段から得られる復号された前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報とを加算し、前記基準空間解像度および前記所定の拡張層の復号画像として前記超解像拡大手段へ出力する加算手段と、を備え、前記制御手段は、さらに、所定の再符号化終了条件を満たすまで、前記再符号化手段に前記再符号化を行わせて、再符号化後の前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報を前記第2復号手段に出力して復号させると共に、前記所定の超解像拡大・縮小終了条件を満たすまで、前記超解像拡大手段に前記基準空間解像度および前記所定の拡張層の復号画像に対し前記超解像拡大処理、前記解像度縮小手段に前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像と、再符号化後の前記所定の拡張層の残差情報とを更新させ、前記所定の再符号化終了条件を満たす再符号化後の前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報を生成させる、再符号化装置である。
また、次の発明の再符号化装置では、入力する符号化ビット列を復号して基準空間解像度の復号画像を生成する第1復号手段と、前記第1復号手段によって生成された前記基準空間解像度の復号画像に対し超解像拡大処理を行い、高空間解像度の超解像画像を生成すると共に、前記超解像拡大処理の位置合わせ処理において新たに特定された動きベクトル情報を利用して、符号化パラメータ情報を更新する超解像拡大手段と、前記超解像拡大手段によって生成された前記高空間解像度の超解像画像に対し解像度縮小処理を行い、前記基準空間解像度の超解像画像を生成する解像度縮小手段と、所定の超解像拡大・縮小終了条件を満たすまで、前記超解像拡大手段に前記超解像拡大処理、前記解像度縮小手段に前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像を更新させる制御手段と、前記所定の超解像拡大・縮小終了条件を満たす前記基準空間解像度の超解像画像から前記第1復号手段によって生成された前記基準空間解像度の復号画像を減算して所定の拡張層の残差情報を生成する減算手段と、前記所定の超解像拡大・縮小終了条件を満たす前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報に対し、前記超解像拡大手段によって更新された前記符号化パラメータ情報を用いて再符号化を行う再符号化手段と、再符号化された前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報に対し復号を行う第2復号手段と、前記第1復号手段から得られる前記基準空間解像度の復号画像と、前記第2復号手段から得られる復号された前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報とを加算し、前記基準空間解像度および前記所定の拡張層の復号画像として前記超解像拡大手段へ出力する加算手段と、を備え、前記制御手段は、さらに、所定の再符号化終了条件を満たすまで、前記再符号化手段に前記再符号化を行わせて、再符号化後の前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報を前記第2復号手段に出力して復号させると共に、前記所定の超解像拡大・縮小終了条件を満たすまで、前記超解像拡大手段に前記基準空間解像度および前記所定の拡張層の復号画像に対し前記超解像拡大処理、前記解像度縮小手段に前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像と、再符号化後の前記所定の拡張層の残差情報とを更新させ、前記所定の再符号化終了条件を満たす再符号化後の前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報を生成させる、再符号化装置である。
ここで、さらに、前記所定の再符号化終了条件を満たす再符号化後の前記基準空間解像度の超解像画像および前記所定の拡張層の残差情を多重化する多重化手段と、を有する、再符号化装置でもよい。
また、本発明の再符号化方法では、入力する符号化ビット列を復号して基準空間解像度の復号画像を生成するステップと、前記基準空間解像度の復号画像に対し超解像拡大処理を行い、高空間解像度の超解像画像を生成するステップと、前記高空間解像度の超解像画像に対し解像度縮小処理を行い、前記基準空間解像度の超解像画像を生成するステップと、所定の超解像拡大・縮小終了条件を満たすまで、前記超解像拡大処理および前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像を更新させるステップと、前記所定の超解像拡大・縮小終了条件を満たす前記基準空間解像度の超解像画像に対し再符号化を行うステップと、所定の再符号化終了条件を満たすまで、前記再符号化を行わせて、再符号化後の符号化ビット列を復号させると共に、前記所定の超解像拡大・縮小終了条件を満たすまで、前記超解像拡大処理および前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像と、再符号化後の符号化ビット列とを更新させ、前記所定の再符号化終了条件を満たす再符号化後の符号化ビット列を生成させるステップと、を有する再符号化方法である。
また、次の発明の再符号化方法は、入力する符号化ビット列を復号して基準空間解像度の復号画像を生成するステップと、前記第1復号手段によって生成された前記基準空間解像度の復号画像に対し超解像拡大処理を行い、高空間解像度の超解像画像を生成するステップと、前記高空間解像度の超解像画像に対し解像度縮小処理を行い、前記基準空間解像度の超解像画像を生成するステップと、所定の超解像拡大・縮小終了条件を満たすまで、前記超解像拡大処理および前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像を更新させるステップと、前記所定の超解像拡大・縮小終了条件を満たす前記基準空間解像度の超解像画像から前記基準空間解像度の復号画像を減算して所定の拡張層の残差情報を生成するステップと、前記所定の拡張層の残差情報に対し再符号化を行うステップと、再符号化された前記所定の拡張層の残差情報に対し復号を行うステップと、前記基準空間解像度の復号画像と、前記所定の拡張層の残差情報とを加算し、所定の拡張層の復号画像として出力するステップと、所定の再符号化終了条件を満たすまで、前記再符号化を行わせて、再符号化後の前記所定の拡張層の残差情報を出力して復号させると共に、前記所定の超解像拡大・縮小終了条件を満たすまで、前記所定の拡張層の復号画像に対し前記超解像拡大処理および前記解像度縮小手段に前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像と、再符号化後の前記所定の拡張層の残差情報とを更新させ、前記所定の再符号化終了条件を満たす再符号化後の前記所定の拡張層の残差情報を生成させるステップと、有する再符号化方法である。
また、次の発明の再符号化方法は、入力する符号化ビット列を復号して基準空間解像度の復号画像を生成するステップと、前記基準空間解像度の復号画像に対し超解像拡大処理を行い、高空間解像度の超解像画像を生成するステップと、前記高空間解像度の超解像画像に対し解像度縮小処理を行い、前記基準空間解像度の超解像画像を生成するステップと、所定の超解像拡大・縮小終了条件を満たすまで、前記超解像拡大処理および前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像を更新させるステップと、前記所定の超解像拡大・縮小終了条件を満たす前記基準空間解像度の超解像画像から前記基準空間解像度の復号画像を減算して所定の拡張層の残差情報を生成するステップと、前記所定の超解像拡大・縮小終了条件を満たす前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報に対し再符号化を行うステップと、再符号化された前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報に対し復号を行うステップと、前記基準空間解像度の復号画像と、前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報とを加算し、前記基準空間解像度および前記所定の拡張層の復号画像として出力するステップと、所定の再符号化終了条件を満たすまで、前記再符号化を行わせて、再符号化後の前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報を出力して復号させると共に、前記所定の超解像拡大・縮小終了条件を満たすまで、前記基準空間解像度および前記所定の拡張層の復号画像に対し前記超解像拡大処理、前記解像度縮小手段に前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像と、再符号化後の前記所定の拡張層の残差情報とを更新させ、前記所定の再符号化終了条件を満たす再符号化後の前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報を生成させるステップと、を有する再符号化方法である。
また、次の発明の再符号化方法は、入力する符号化ビット列を復号して基準空間解像度の復号画像を生成するステップと、前記基準空間解像度の復号画像に対し超解像拡大処理を行い、高空間解像度の超解像画像を生成すると共に、前記超解像拡大処理の位置合わせ処理において新たに特定された動きベクトル情報を利用して、符号化パラメータ情報を更新するステップと、前記高空間解像度の超解像画像に対し解像度縮小処理を行い、前記基準空間解像度の超解像画像を生成するステップと、所定の超解像拡大・縮小終了条件を満たすまで、前記超解像拡大処理および前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像を更新させるステップと、前記所定の超解像拡大・縮小終了条件を満たす前記基準空間解像度の超解像画像から前記基準空間解像度の復号画像を減算して所定の拡張層の残差情報を生成するステップと、前記所定の超解像拡大・縮小終了条件を満たす前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報に対し、更新された前記符号化パラメータ情報を用いて再符号化を行うステップと、再符号化された前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報に対し復号を行うステップと、前記基準空間解像度の復号画像と、前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報とを加算し、前記基準空間解像度および前記所定の拡張層の復号画像として出力するステップと、所定の再符号化終了条件を満たすまで、前記再符号化手段に前記再符号化を行わせて、再符号化後の前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報を出力して復号させると共に、前記所定の超解像拡大・縮小終了条件を満たすまで、前記基準空間解像度および前記所定の拡張層の復号画像に対し前記超解像拡大処理および前記解像度縮小処理を繰り返し行わせ、前記基準空間解像度の超解像画像と、再符号化後の前記所定の拡張層の残差情報とを更新させ、前記所定の再符号化終了条件を満たす再符号化後の前記基準空間解像度の超解像画像および前記所定の拡張層の残差情報を生成させるステップと、を有する再符号化方法である。

発明の効果

0007

本発明は、再符号化前の十分でない情報量を含む符号化ビット列に対して、超解像拡大処理と解像度縮小処理を伴いながら再符号化を繰り返すことで、再符号化装置が最初に取得した符号化ビット列を、含まれる空間周波数成分情報を補いながら、符号化時の制約の少ない、効率の良い符号化を行うことができる。

実施例

0008

本発明の再符号化装置および再符号化方法は、所定の符号化方式によって符号化された符号化ビット列を取得し、所定の符号化方式に基づいて復号し、超解像拡大処理を伴いながら、再符号化を繰り返すことで、取得した符号化ビット列から得られる動画像の各復号画像の情報量、つまり、復号画像に含まれる空間周波数成分情報の情報量を増大させ、より高い空間周波数成分情報を含む復号画像が得られるような符号化ビット列に再符号化するとともに、より効率の良い符号化ビット列に変換できるように構成される。以下に、本発明の詳細な実施例を示す。

0009

実施形態1.
まず、再符号化後の符号化ビット列への置き換えを目的とした実施形態1の再符号化装置について説明する。

0010

図1は、本発明の実施形態1である、再符号化装置100の構成例を示すための概念ブロック図である。

0011

図1において、実施形態1の再符号化装置100は、少なくとも、再符号化制御部101、分離部102、第1復号部103、超解像拡大部104、解像度縮小部105、蓄積バッファ106、再符号化部107、多重化部108を有している。なお、生成した多重化ビット列を多重化しない場合は、多重化部108は省略しても良い。

0012

再符号化制御部101は、本装置全体を制御すると共に、本装置外部との間で、再符号化制御情報153の入出力または送受信を行うものである。再符号化制御部101における再符号化制御情報153の入出力等は、図示しない外部の記憶装置、もしくは図示しない再符号化装置100の内部の記憶装置に対して行われるように構成すると良い。また、再符号化制御部101は、再符号化制御情報153を多重化部108に供給する機能を有しても良い。再符号化制御部101は、再符号化開始要求情報を取得し、開始要求に従って再符号化装置100を動作させるため、少なくとも、後述の分離部102、第1復号部103、超解像拡大部104、解像度縮小部105、蓄積バッファ106、再符号化部107、多重化部108に対し、再符号化制御情報153に応じて再符号化処理を繰り返し行うための制御を行う機能を有し、制御情報を供給するものである。また、再符号化制御部101は、再符号化停止要求情報を取得し、停止要求に従って再符号化装置100を動作させるため、少なくとも、後述の分離部102、第1復号部103、超解像拡大部104、解像度縮小部105、蓄積バッファ106、再符号化部107、多重化部108に対し、再符号化処理を停止するための制御を行うものである。

0013

ここで、再符号化制御情報153は、後述する再符号化継続判断情報、超解像回数制御情報、超解像終了判断情報、観測画像枚数制御情報、位置合わせ精度制御情報、PSF(Point Spread Function)制御情報、解像度縮小フィルタ制御情報、再符号化回数制御情報、再符号化終了判断情報、再符号化対象画像特定情報、の少なくともいずれかを含むと良い。

0014

ここで、再符号化制御情報153に含まれる各情報について説明する。

0015

再符号化継続判断情報は、入力される符号化ビット列151が、再符号化の途中のものであるか、再符号化が初回もしくは完了済みのものであるかを判断するための情報である。

0016

超解像回数制御情報は、超解像拡大処理および解像度縮小処理の繰り返し回数を制御するための情報である。

0017

超解像終了判断情報は、超解像拡大処理および解像度縮小処理の終了判断を行うための情報である。

0018

観測画像枚数制御情報は、超解像拡大処理を行う際に利用する、観測画像の枚数を制御するための情報である。

0019

位置合わせ精度制御情報は、超解像拡大処理の位置合わせ処理における、画素精度を制御するための情報である。位置合わせ精度制御情報によって、位置合わせ処理の画素精度を制御することで、位置合わせ処理に必要な処理量を制御することができる。

0020

PSF制御情報は、超解像拡大処理のPSF(Point Spread Function;点広がり関数)処理における、PSFを制御するための情報である。PSF制御情報によって使用するPSFを切り替えることで、超解像拡大処理に必要な処理量を制御することができる。

0021

解像度縮小フィルタ制御情報は、解像度縮小処理において、演算量の異なる複数の解像度変換フィルタの中から選択的に利用し、必要な縮小画像品質、処理量を制御するための情報である。

0022

再符号化回数制御情報は、再符号化処理の繰り返し回数を制御するための情報である。

0023

再符号化終了判断情報は、再符号化処理の終了判断を行うための情報である。

0024

再符号化対象画像特定情報は、現在符号化対象となっている画像を、管理するための情報である。再符号化制御部101は、この再符号化対象画像特定情報に基づいて、再符号化処理の制御を行う。

0025

再符号化制御部101の説明に戻る。再符号化制御部101は、後述の第1復号部103によって得られる符号化パラメータ情報を取得し、超解像拡大部104、解像度縮小部104、再符号化部107に供給するものである。さらに、再符号化制御部101は、超解像拡大部104から、更新された符号化パラメータ情報を取得する機能を有しても良い。また、再符号化制御部101は、更新された符号化パラメータ情報を、再符号化部107に供給する機能を有しても良い。

0026

分離部102は、再符号化装置100の入力側に接続される、記録装置121、記録装置121を介した記録媒体122、蓄積装置123、ネットワークに接続された伝送装置124等から、再符号化装置100の入力として符号化ビット列151を取得するものである。また、分離部102は、取得した符号化ビット列151に対して、多重化方式を特定し、特定された多重化方式の構文構造に基づいて分離処理を行い、再符号化対象となる符号化ビット列を取得し、第1復号部103、多重化部108に供給するものである。分離部102は、再符号化制御部101からの制御情報に応じて、各種情報の入出力または送受信や、分離動作を行うものである。

0027

第1復号部103は、分離部102によって分離された再符号化対象となる符号化ビット列と、再符号化部107から再符号化後の符号化ビット列を取得し、取得した符号化ビット列151または再符号化後の符号化ビット列151’に対し、符号化方式を特定し、特定された符号化方式の構文構造に基づいて復号するものである。ここで、再符号化装置100の入力として取得した符号化ビット列151と、再符号化部107から得られる再符号化後の符号化ビット列151’との符号化方式は、同一でも、同一でなくとも構わない。つまり、第1復号部103は、一の復号方式に対応するものでも、複数の復号方式に対応し、復号方式を特定しながら復号できるものでも良い。また、第1復号部103は、復号の際に、少なくとも符号化パラメータ情報、復号画像を生成し、符号化パラメータ情報を再符号化制御部101に供給し、復号画像を蓄積バッファに供給するものである。ここで、符号化パラメータ情報には、少なくとも、動きベクトル情報、量子化パラメータ情報符号化モード情報、復号画像の空間解像度を示すための空間解像度情報が含まれると良い。また、入力として取得した符号化ビット列を復号することによって得られる復号画像の空間解像度を、基準空間解像度とする。また、第1復号部103は、再符号化制御部101からの制御情報に応じて、各種情報を入出力または送受信や、復号動作を行うものである。

0028

超解像拡大部104は、蓄積バッファ106に格納されている画像列から、少なくとも符号化対象となる画像を、超解像拡大処理の基準画像として取得し、再符号化制御部101から、符号化パラメータ情報を取得するものである。また、超解像拡大部104は、少なくとも1枚の観測画像を、符号化対象画像から生成、もしくは蓄積バッファから取得し、所定の超解像拡大処理により、高い空間解像度(以後、高空間解像度という)をもつ、高空間解像度の超解像画像を生成し、解像度縮小部105に供給するものである。ここで、生成される超解像画像の空間解像度は、基準となる所定の基準空間解像度以上であるものとする。また、超解像拡大部104は、所定の超解像拡大処理を行う際に、符号化パラメータ情報に含まれる、動きベクトル情報を利用するように構成すると、より良い構成となる。また、超解像拡大部104は、超解像拡大処理で行われる、位置合わせ処理で特定された動きベクトル情報に基づいて、符号化パラメータ情報を更新し、再符号化制御部101に供給する機能を備えるようにしても構わない。超解像拡大処理の詳細については、後述する。さらに、超解像拡大部104は、生成された高空間解像度の超解像画像を、外部の出力として接続された表示装置B 132に供給する機能を有しても構わない。また、超解像拡大部104は、再符号化制御部101からの制御情報に応じて、各種情報の入出力または送受信や、超解像拡大動作を行うものである。

0029

解像度縮小部105は、超解像拡大部104から高空間解像度の超解像画像を取得し、所定の解像度縮小処理により、基準空間解像度の超解像画像を生成し、蓄積バッファ106に供給するものである。ここで、さらに、解像度縮小部105は、再符号化制御部101から、符号化パラメータ情報を取得し、符号化パラメータ情報中の空間解像度情報に基づいて、基準空間解像度を特定し、所定の解像度縮小処理を行うものであると良い。また、解像度縮小部105は、再符号化制御部101からの制御情報に応じて、各種情報の入出力または送受信や、解像度縮小動作を行うものである。

0030

蓄積バッファ106は、第1復号部103から復号画像を取得し、蓄積および管理し、超解像拡大部104に対し、必要とする符号化対象画像、および参照画像を供給するものである。さらに、蓄積バッファ106は、蓄積された復号画像、超解像画像を、所定の順序で、外部の出力として接続された表示装置A131に供給する機能を有しても構わない。また、蓄積バッファ106は、再符号化制御部101からの制御情報に応じて、各種情報の入出力または送受信や、蓄積および管理動作を行うものである。また、蓄積バッファ106は、次に説明するように、再符号化部107に対し、再符号化対象となっている基準空間解像度の超解像画像を出力する。

0031

再符号化部107は、少なくとも、再符号化制御部101で制御された回数の超解像拡大処理および解像度縮小処理を行った後の、再符号化対象となっている基準空間解像度の超解像画像を、蓄積バッファ106から取得するものである。また、再符号化部107は、符号化パラメータ情報に含まれる符号化モード情報に応じて、少なくとも1枚の参照画像を蓄積バッファから取得するものであると良い。さらに、再符号化部107は、再符号化制御部101から、符号化パラメータ情報、もしくは、更新された符号化パラメータ情報を取得するものである。再符号化部107は、再符号化制御部101の制御に応じて、符号化方式を決定し、取得した基準空間解像度の超解像画像と、符号化パラメータ情報に応じて、所定の構文構造に基づいて符号化を行い、生成された再符号化後の符号化ビット列を、第1復号部103、多重化部108に供給するものである。再符号化部107は、再符号化制御部101からの制御情報に応じて、各種情報の入出力または送受信や、再符号化動作を行うものである。

0032

多重化部108は、分離部102から再符号化対象となる符号化ビット列を取得する機能、再符号化部107から再符号化後の符号化ビット列を取得し、再符号化制御部101の制御に応じて、多重化方式を選択し、選択された多重化方式の構文構造に基づいて、それぞれの符号化ビット列を識別するための識別情報を付加しながら、異なる再符号化終了条件や、異なる符号化方式によって符号化された符号化ビット列の多重化処理を行い、多重化後の符号化ビット列152を生成するものである。

0033

また、多重化部108は、再符号化制御部101の制御に応じて、MPEG−1, MPEG−2, MPEG−4/AVCSVC等の一般的な符号化方式に準拠した、所定の構文構造に基づいて、多重化処理を行い、多重化後の符号化ビット列を生成する機能を、さらに備えると良い。多重化部108は、再符号化装置100の出力側に接続される、記録装置141、記録装置141を介した記録媒体142、蓄積装置143、ネットワークに接続された伝送装置144等に、生成された多重化後の符号化ビット列152を供給するものである。多重化部108は、再符号化制御部101からの制御情報に応じて、各種情報の入出力または送受信や、多重化動作を行うものである。なお、多重化部108は、本装置外に設けられていても勿論よい。

0034

次に、図1に示す本実施形態1の再符号化装置100の基本動作を、図2フローチャートを参照しながら説明する。

0035

まず、再符号化制御部101は、ユーザ等から再符号化開始要求を受けると、分離部102に対し、再符号化開始指令を送る。

0036

すると、分離部102は、再符号化制御部101からの再符号化開始指令を受けて、その制御により、記録装置121や、記録媒体122、蓄積装置123、伝送装置124等から多重化符号化ビット列を取得し、取得した多重化符号化ビット列を分離処理によって音声データや、制御データ、映像データ等に分離し、そのうち本装置の再符号化対象である映像データの符号化ビット列を第1復号部103に供給する(S101)。なお、分離部102は、ユーザ等からの再符号化開始要求に基づくことなく、再符号化対象である映像データの符号化ビット列の入力に基づいて処理を開始してもよい。

0037

第1復号部103は、分離部102から取得した再符号化対象の符号化ビット列を復号して、復号画像と符号化パラメータ情報を生成し、復号画像を蓄積バッファ106に供給し、符号化パラメータ情報を再符号化制御部101に供給する(S102)。

0038

蓄積バッファ106は、第1復号部103から復号画像を取得し、蓄積バッファ106内に蓄積する(S103)。ここで、蓄積バッファ106は、復号画像を蓄積する際に、取得した復号画像の時間方向の順番に基づくフレーム管理情報とともに、蓄積された画像の管理を行う。なお、フレーム管理情報を使用しなくても良い。

0039

ここで、第1復号部103は、再符号化制御部101の制御に基づいて、超解像拡大処理に必要な画像枚数が蓄積バッファ106に蓄積されるまで、復号画像を取得し、蓄積バッファ106は、その復号画像を観測画像として蓄積する。そのため、再符号化制御部101は、蓄積バッファ106における復号画像の蓄積状態の制御を、再符号化制御情報153に含まれる観測画像枚数制御情報に基づいて動作し、少なくとも基準画像と、観測画像枚数制御情報によって特定される、超解像拡大処理に必要な数観測画像の枚数が、蓄積バッファ106に蓄積されるように制御する。

0040

超解像拡大処理に必要な画像枚数の復号画像が観測画像として蓄積バッファ106に蓄積されると、超解像拡大部104は、再符号化制御部101の制御に基づき、蓄積バッファ106から、現在超解像拡大対象となっている画像を基準画像として取得すると共に、少なくとも1枚の観測画像を、符号化対象画像から生成、もしくは蓄積バッファ106から取得する。ここで、再符号化制御情報153に含まれる観測画像枚数制御情報に基づいて、超解像拡大部104が取得する観測画像の枚数が制御されるようにすると良い。

0041

その後、超解像拡大部104は、取得した基準画像と観測画像とを利用して、超解像拡大処理を行い、高空間解像度の超解像画像を生成し、解像度縮小部105に供給する(S104)。ここで、本実施形態の超解像拡大部104は、超解像拡大処理により、例えば、再符号化制御情報153に含まれる位置合わせ精度制御情報、PSF制御情報に基づいて、超解像拡大処理の位置合わせ精度、点広がり関数(PSF)の精度を制御し、超解像拡大処理に必要な処理量を制御しながら、超解像拡大処理を実行する。なお、再符号化制御情報153に含まれる位置合わせ精度制御情報、PSF制御情報に基づく超解像拡大処理は、一例であり、限定されない。

0042

次に、解像度縮小部105は、超解像拡大部104から高空間解像度の超解像画像を取得し、解像度縮小処理を行うことで、基準空間解像度の超解像画像を生成し、蓄積バッファ106に供給する(S105)。

0043

ここで、本実施形態の解像度縮小部105は、この解像度縮小処理により、再符号化制御情報153に含まれる解像度縮小フィルタ制御情報に基づいて、解像度縮小処理で利用する解像度変換フィルタを選択して、必要な縮小画像品質、処理量を制御しているが、これに限定されない。

0044

蓄積バッファ106は、基準空間解像度の超解像画像を取得し、取得した基準空間解像度の超解像画像と、既に蓄積されている復号画像とを、フレーム管理情報に基づいて関連付けて蓄積する(S106)。

0045

その後、再符号化制御部101は、蓄積バッファ106に蓄積されている、基準空間解像度の超解像画像の更新が必要であるか、必要でないかを判断する(S107)。

0046

ここで、再符号化制御部101は、超解像画像の更新が必要であるか、必要でないかを判断する際に、例えば、再符号化制御情報153に含まれる超解像回数制御情報、超解像終了判断情報に基づいて、所定の超解像処理回数を終了したか、あるいは所定の超解像度になり超解像が終了したかを判断して、超解像画像の更新が必要であるか否かを判断するが、これに限定されるものではない。また、再符号化制御部101は、超解像回数制御情報、超解像終了判断情報の双方の情報が有効で、超解像終了判断情報による終了条件を満たす前に、超解像回数制御情報による終了条件が満たされた場合には、終了条件が満たされたとして、超解像画像の更新が必要ではないと判断するようにしても良い。

0047

そして、再符号化制御部101は、超解像画像の更新が必要であるとは判断した場合(S107 YES)、S104に戻り、更新が必要な基準空間解像度の超解像画像を、現在の超解像拡大対象の基準画像として、蓄積バッファ106から取得し、S105〜S107までの超解像拡大処理を繰り返す。

0048

これに対し、再符号化制御部101は、超解像画像の更新が必要でないと判断した場合(S107 NO)、再符号化部107に再符号化の指示を送る。

0049

再符号化部107は、現在の符号化対象となっている基準空間解像度の超解像画像を、蓄積バッファ106から取得し、再符号化を行うことで、再符号化後の符号化ビット列を生成し、再符号化制御部101へ出力する(S108)。ここでは、例えば、再符号化前の符号化パラメータ情報を考慮せずに、すなわち再符号化前の符号化パラメータ情報と同じ符号化パラメータ情報により再符号化を行うものとするが、再符号化前の符号化パラメータ情報と異なる符号化パラメータ情報により再符号化を行っても良い。

0050

その後、再符号化制御部101は、再符号化部107にて生成された再符号化後の符号化ビット列を更新する必要があるか、必要がないかを判断する(S109)。ここで、本実施形態の再符号化制御部101は、再符号化後の符号化ビット列を更新する必要があるか、必要がないかを判断する際に、例えば、再符号化制御情報153に含まれる再符号化回数制御情報、再符号化終了判断情報に基づいて判断するが、これに限らない。また、再符号化回数制御情報、再符号化終了判断情報の双方の情報が有効で、再符号化終了判断情報による終了条件を満たす前に、再符号化回数制御情報による終了条件が満たされた場合には、終了条件が満たされたとして、再符号化後の符号化ビット列を更新する必要がないと判断するようにすると良い。

0051

そして、再符号化制御部101は、再符号化後の符号化ビット列を更新する必要があると判断した場合(S109 YES)、再符号化部107に再々符号化の指令を送る。すると、再符号化部107は、第1復号部103に、再符号化後の符号化ビット列を供給し、S102に戻ることで、再符号化を再度繰り返す。

0052

これに対し、再符号化制御部101は、再符号化後の符号化ビット列を更新する必要がないと判断した場合(S109 NO)、再符号化部107に指令を送り、再符号化部107は、再符号化後の符号化ビット列を多重化部108に供給する。

0053

すると、多重化部108は、少なくとも、再符号化部107から再符号化後の符号化ビット列を取得し、符号化前の符号化ビット列と置き換えて多重化を行い(S110)、多重化後の符号化ビット列152を生成し、本装置内外の記録装置141や、記録媒体142、蓄積装置143、伝送装置144へ出力する。その際、必要あれば、再符号化制御部101からの再符号化制御情報153等を多重化する。なお、実施形態1の場合、再符号化前の符号化ビット列は、多重化部108にて多重化しないので、分離部102から多重化部108への信号線は不要で、この信号線は再符号化前の符号化ビット列を多重化する後述する実施形態2,3等にて必要になる。

0054

以上のようなステップを経ることで、本実施形態の一連の基本動作が終了する。

0055

なお、本実施形態の一連の基本動作の途中で、再符号化停止要求情報による再符号化装置の停止要求があった場合、再符号化制御情報153に含まれる再符号化継続判断情報に対して、再符号化の途中であることを示す情報を設定し、停止要求時点で得られている符号化ビット列に対して多重化を行い、多重化後の符号化ビット列を生成することで、再符号化を停止するように、再符号化制御部101が動作を制御するようにしても良い。

0056

従って、本実施形態1の再符号化装置を動作させることにより、入力として取得した、必ずしも十分ではない画像品質および符号化効率の符号化ビット列を、高品質で符号化効率の高い符号化ビット列に置き換えることができる。

0057

これにより、記録媒体122や記録装置121の記録容量が少ない場合や、伝送装置に接続された伝送路伝送帯域が狭く、十分な伝送レートが得られないような環境、または、符号化側の制約により、十分な符号化処理が行えなかった場合であっても、本実施形態の再符号化装置であれば、復号画像の高品質化のみならず、取得した符号化ビット列を復号して得られる基準空間解像度の復号画像よりも情報量を増大させつつ、繰り返し再符号化を行うことで、最適な再符号化後の符号化ビット列を生成することを可能とし、各種記録装置および記録媒体への効率の良い蓄積や、高精細動画像表示が可能な表示装置に対する、取得した情報量より多くの情報量に基づいた動画像の高精細表示や、通信装置を介して、高空間解像度および高い符号化ビットレートを要求する復号装置に対して動画像配信する際に、取得した情報量よりも多くの情報量に基づいた、高品位な動画像配信を実現することが可能となる。

0058

[超解像拡大処理の詳細説明]
次に、図1に示す本実施形態1の超解像拡大部104で行われる、超解像拡大処理の詳細について説明する。

0059

一般に、超解像処理による画像の高解像度化は、単に位置ずれがある等といった、比較的画像間の相関が高い複数の低空間解像度画像から1枚の高空間解像度画像推定することによって行われるものであり、近年数多くの研究で報告されている。例えば、「Sung C.P.、Min K.P.共著、Super-Resolution Image Reconstruction: A Technical Overview,IEEE SignalProc. Magazine, 第26巻, 第3号, p.21-36, 2003年」などがある。また、「B.C.Tom, A.K.Katsaggelos共著、Reconstruction of a high-resolution image by simultaneous registration, restoration, and interpolation of low-resolution images, Proc. IEEE Int. Conf. Image Processing, 第2巻、p.539-542, 1995年」に開示されているML (Maximum-likelihood) 法というものが提案されている。

0060

このML法では、高空間解像度画像から推定された低空間解像度画像の画素値と実際に観測された画素値の二乗誤差評価関数とし、評価関数を最小化するような高空間解像度画像を推定画像としている。この方法は、最尤推定原理に基づいて超解像処理を行う方法である。

0061

また、「R.R.Schulz, R.L.Stevenson共著、Extraction of high-resolution frames from video sequences,IEEE Trans. Image Processing, 第5巻, p.996-1011, 1996年」に開示されているMAP(Maximum A Posterior) 法というものが提案されている。MAP法では、二乗誤差に高空間解像度画像の確率情報を付加した評価関数を最小化するような高空間解像度画像の推定を行う。この方法は、高空間解像度画像に対する何らかの先見情報を利用して、事後確率最大化する最適化問題として高空間解像度画像の推定を行う超解像処理方法である。

0062

さらに、「H.Stark, P.Oskoui共著、High resolution image recovery from image-plane arrays, using convex projections, J.Opt. Soc. Am. A, 第6巻, p.1715-1726, 1989年」に開示されているPOCS (Projection Onto Convex Sets) 法というものが提案されている。このPOCS法では、高空間解像度画像と低空間解像度画像の画素値に関して連立方程式を作成し、その方程式を逐次的に解くことにより、高空間解像度画像を得る超解像処理方法である。

0063

本実施形態1における所定の超解像拡大処理は、例えば、上述のような超解像処理を適用したものである。

0064

以下、本実施形態1で用いる超解像拡大処理の基本構成例を説明する。

0065

図3は、本発明の実施形態1における超解像拡大部104の詳細構成例を示すブロック図、図4および図5は、超解像処理を示す概念図、図6は、超解像処理の動作例を示すフローチャートである。

0066

図3において、本実施形態1の超解像拡大部104は、位置合わせ部1041、補間部1042、推定画像生成部1043、繰り返し判断部1044を有している。

0067

図4は、超解像拡大処理の一例を示している。

0068

位置合わせ部1041は、図4(a)に示すような、超解像拡大処理を行う際の基準となる基準画像と、少なくとも1枚の観測画像を取得する。ここでは、図4(a)に示すような基準画像と、観測画像1と、観測画像2とを取得するものとする。位置合わせ部1041は、図4(b)に示すように、取得した基準画像と観測画像1,2の空間解像度よりも高空間解像度の画素位置への位置合わせを行い、不等間隔サンプリングされた不均一高空間解像度画像を生成するものである。また、生成した不均一高空間解像度画像を補間部1042、繰り返し判断部1044に供給するものである。ここで、生成される不均一高空間解像度画像は、例えば図4(b)で示すように、基準画像の各画素を基準として観測画像の位置合わせを行い、基準画像との間の相関が最も高くなる位置に配置するようにすることが望ましい。また、位置合わせで適用される空間解像度は、超解像拡大処理後に得られる空間解像度よりも高い空間解像度で位置合わせを行うようにすることが望ましい。

0069

なお、図3については、図8と対比して後述する。

0070

ここで、取得できる画像が基準画像のみで、観測画像が存在しない場合には、取得した基準画像に対して、所定のリサンプリング処理を行うことで、複数の低空間解像度画像を生成し、生成された複数の低空間解像度画像のうちの1つを基準画像、それ以外を観測画像として、位置合わせ部1041に供給することで、より良い構成となる。

0071

図5は、観測画像が存在しない場合の超解像拡大処理の一例を示している。
この場合、超解像拡大部104では、例えば、位置合わせ部1041が、図5のように、図5(a)の取得画像に対して、所定のリサンプリング処理を行い、図5(b)の基準画像、観測画像1、観測画像2、観測画像3を生成した上で、図5(c)のような位置合わせ処理を行い、図5(d)のような高空間解像度の推定画像を生成するようにしても構わない。

0072

また、位置合わせ部1041は、取得した基準画像、観測画像が、符号化ビット列を復号して得られた復号画像であり、基準画像がインター符号化の復号画像であった場合、符号化パラメータ情報を利用して観測画像との間の参照関係を特定し、動きベクトル情報が利用できる場合には、位置合わせ処理を行う際の初期位置として動きベクトル情報を利用するように構成すると良い。位置合わせ処理に動きベクトル情報を利用することで、位置合わせ処理の演算量を軽減することができる。

0073

また、位置合わせ部1041は、動きベクトル情報を利用し、位置合わせ処理の過程で、取得した動きベクトル情報よりも精度の高い動きベクトル情報が特定できた場合、符号化パラメータ情報に新たに動きベクトル情報を追加、もしくは更新し、再利用できるように構成すると良い。動きベクトル情報を更新する際に、動きベクトル情報の拡張情報として、元の動きベクトル情報との差分情報を符号化パラメータ情報に格納できるように構成すると、さらに良い構成となる。

0074

補間部1042は、位置合わせ部1041にて生成された不均一高空間解像度画像を取得し、取得した不均一高空間解像度画像から所定の不均一補間処理を行って、所望の高空間解像度を持つ補間画像を生成し、推定画像生成部1043に供給するものである。また、補間部1042は、繰り返し判断部1044から制御情報を取得し、制御情報に応じて繰り返し処理を行う場合には、所定の更新方法に従って不均一推定画像を利用し、位置合わせ部1041から取得した不均一高空間解像度画像を更新するとともに、それぞれの補間画素修正しても良い。ここで、制御情報は、繰り返し補間処理を行うか否かを示す情報で、推定画像生成部1043によって生成された不均一推定画像が含まれると良い。

0075

推定画像生成部1043は、補間部1042にて生成された補間画像を取得し、所定のカメラモデルから得られる点広がり関数(PSF)を考慮して所定の復元処理を行い、必要であれば所定のノイズ除去処理を行って、図4(c)で示すような所望の空間解像度を持つ推定画像を生成し、推定画像に対してリサンプル処理を行って、不均一高空間解像度画像の各画素に対応する、不均一推定画像を生成し、繰り返し判断部1044に供給するものである。

0076

また、推定画像生成部1043は、繰り返し判断部1044から制御情報を取得するとともに、制御情報に応じて、生成した所望の空間解像度を持つ推定画像を高空間解像度画像として外部に対して出力するものである。

0077

繰り返し判断部1044は、位置合わせ部1041から不均一高空間解像度画像を取得するとともに、推定画像生成部1043から不均一推定画像を取得して、取得したそれぞれの画像を利用して、所定の判断方法に従って超解像拡大処理の繰り返しが必要か否かを判断し、その判断の結果、繰り返しが必要な場合は、補間部1042に対して処理を継続するための制御情報を供給する一方、繰り返しが必要ない場合には、推定画像生成部1043に対して超解像拡大処理結果である高空間解像度の推定画像を出力するための制御情報を供給するものである。

0078

ここで、さらに高速な超解像拡大処理を行う必要があると判断した場合には、例えば、特許第3837575号で開示されているような、超解像処理の高速化方法を、本発明の画像処理装置に適用するようにすると、さらに良い構成を実現することができる。

0079

次に、図3に示す超解像拡大部104の動作を、図6のフローチャートを参照しながら説明する。

0080

まず、位置合わせ部1041は、超解像拡大処理を行う際の基準となる基準画像と、少なくとも1枚の観測画像とを取得し(S710)、所望の空間解像度よりも高い空間解像度によって、取得したそれぞれの画像の位置合わせを行う(S720)。その際、位置合わせ部1041は、基準画像の各画素を対応する位置に配置した後、この基準画像との相関が最も高くなるように観測画像の各画素を配置することで、不等間隔にサンプリングされた不均一高空間解像度画像を生成し、補間部1042へ出力する。なお、位置合わせ部1041は、観測画像を取得できなかった場合は、図5に示すように、所定のリサンプリング処理を行って、観測画像を生成する。

0081

補間部1042は、位置合わせ部1041にて生成された不均一高空間解像度画像を取得し、所定の不均一補間処理を行って画素の補間を行い、所望の高空間解像度を持つ補間画像を生成し、推定画像生成部1043へ出力する(S730)。

0082

推定画像生成部1043は、補間部1042から補間画像を取得し、所定の復元処理を行い、必要であれば所定のノイズ除去処理を行って、所望の空間解像度を持つ推定画像を生成し、推定画像に対してリサンプル処理を行って、不均一空間解像度画像の各画素に対応する、不均一推定画像を生成し、繰り返し判断部1044へ出力する(S740)。

0083

繰り返し判断部1044は、位置合わせ部1041から不均一空間解像度画像を取得するとともに、推定画像生成部1043から不均一推定画像を取得し、取得したそれぞれの画像を利用して、所定の判断方法に従って超解像拡大処理の繰り返しが必要か否かを判断する(S750)。

0084

ここで、繰り返し判断部1044は、超解像拡大処理の繰り返しが必要であると判断した場合(S750 YES)、補間部1042に対して処理を継続するための制御情報を出力する。

0085

これに対し、繰り返し判断部1044は、超解像拡大処理の繰り返しが必要でないと判断した場合(S750 NO)、推定画像生成部1043に対して超解像拡大処理結果である高空間解像度の推定画像を出力するための制御情報を出力する。これにより、推定画像生成部1043は、繰り返し判断部1044からの制御情報に応じて、生成した所望の空間解像度を持つ推定画像を、超解像拡大処理によって得られた高空間解像度画像として出力する(S760)。以上で、本実施形態1の超解像拡大処理が完了する。

0086

次に、解像度縮小部105および解像度拡大部403における所定の解像度変換処理の一例について説明する。

0087

図7(a)は、解像度変換部800の構成例を示すブロック図である。

0088

図7(a)において、解像度変換部800は、画素挿入部801、フィルタリング処理部802、画素間引き部803を有する。このような解像度変換部800を、解像度縮小部105や、解像度拡大部403に適用することで、本実施形態の再符号化装置100は、より良い構成となる。

0089

つまり、解像度変換部800における画素挿入部801を機能させないように構成することで、図7(b)のように、定数分の1に空間解像度を縮小するような解像度縮小部105を構成することができる。なお、直接、図7(b)のような解像度縮小部105を構成しても良い。

0090

また、解像度変換部800における画素間引き部803を機能させないように構成することで、図7(c)のように、定数倍の空間解像度に拡大するような解像度拡大部403を構成することができる。なお、直接、図7(c)のような解像度拡大部403を構成しても良い。

0091

ここで、画素挿入部801は、入力された画像の空間解像度を拡大し、扱うことができる空間周波数帯域拡張するために、画素間に新たな画素を挿入することで入力画像アップサンプル画像を生成し、フィルタリング処理部802に供給するものである。画素挿入部801を機能させない場合には、入力画像をアップサンプル画像としてフィルタリング処理部802に供給すると良い。

0092

フィルタリング処理部802は、画素挿入部801からアップサンプル画像を取得し、所定のローパスフィルタを利用してフィルタリング処理を行うことにより帯域制限画像を生成し、画素間引き部803に供給するものである。ここで、所定のローパスフィルタを利用したフィルタリング処理は、解像度変換部が最終的に出力する画像の空間解像度が表現できる空間周波数帯域の範囲内に、帯域制限および補間ができるローパスフィルタを用いて、アップサンプル画像に対するフィルタリング処理を行えばよく、利用するフィルタは、例えば、sinc関数やLanczos関数に基づいたフィルタ、周波数応答が全帯域にわたって平坦かつ急峻な遮断周波数特性を持つように設計されたFIRおよびIIRフィルタを用いると良い。また、Nearest-neighbor法、Bilinear法、Bicubic法、Spline法、などに基づいたフィルタを用いて処理を軽減させても構わない。画素間引き部803を機能させない場合には、フィルタリング処理部802によって生成された帯域制限画像が出力画像として出力されるようにすると良い。

0093

画素間引き部803は、フィルタリング処理部802から帯域制限画像を取得し、解像度変換部が最終的に出力する画像の空間解像度に合わせるために、所定の画素間引き処理を行い、出力画像を生成する。

0094

図8は、解像度変換部800、解像度縮小部105、解像度拡大部403のような空間解像度変換によって画像の拡大処理を行った後に、縮小処理を行った場合に、画像内の信号成分がどのように変化するかを示した概念図である。

0095

図8(a)に示すように、入力画像に本来含まれる空間周波数成分は、faまでであるとすると、解像度変換部800における解像度変換処理では、仮に扱うことのできる空間周波数成分を拡大するために空間解像度を高めて画像の拡大処理を行ったとしても、画像の画素数は増大するものの、含まれる空間周波数成分自体を増やすことはできない。

0096

よって、図8(b)のような元のままの空間周波数成分のみを含む状態となり、その後、ローパスフィルタリング処理によってfmaxまで帯域制限し、元の空間解像度をもつ画素数まで画素間引き処理をしても、元のままの空間周波数成分を含む画像が生成される。

0097

これに対し、図9は、超解像拡大部104のような超解像拡大処理を行った後に、縮小処理を行った場合に、画像内の信号成分がどのように変化するかを示した概念図である。

0098

図9(a)に示すように、入力画像に本来含まれる空間周波数成分はfaまでであるとすると、超解像拡大部における超解像拡大処理では、図4図5のような処理に基づいて、含まれる空間周波数成分自体が増加する。仮にこのような処理によって図9(b)に示すように、含まれる空間周波数成分はfbまで拡張されたとすると、その後、ローパスフィルタリング処理によってfmaxまで帯域制限を行うと、本来含まれていたfaまでの空間周波数成分以上の成分を、空間周波数fmaxまで表現できる画像内に含めた画像が生成される。

0099

従って、超解像拡大部104がこのような超解像拡大処理を行うことにより、同じ空間解像度の画像であっても、本来含まれるべき画像成分を補った画像を生成して利用できるという点が、解像度変換部800、解像度拡大部403における解像度変換処理との大きな違いである。

0100

ここで、所定の解像度変換処理を行う際の解像度変換率は、所定の解像度変換率情報として設定されるか、外部のユーザ等から設定される解像度変換率情報を取得する機能を有し、取得した解像度変換率情報に基づいて解像度変換率が特定されて所定の解像度変換処理を行うようにしても良い。

0101

例えば、図7(a)に示す解像度変換部800を、図7(b)に示す解像度縮小部105として作用させることを考える。基準空間解像度よりも高い空間解像度となっている高空間解像度の超解像画像から、基準空間解像度の超解像画像となるように画像の縮小処理を行う場合には、画素挿入部801における画素間に新たな画素を挿入する割合と、画素間引き部803における画素間引きを行う割合を解像度変換率に応じて設定する。

0102

ここで、解像度変換率は、解像度変換率=画素挿入率/画素間引き率と表せ、画素挿入率は、画素挿入率=入力画素出力画素、画素間引き率は、画素間引き率=入力画素/出力画素である。

0103

例えば、解像度変換率2で基準空間解像度から高空間解像度の超解像画像が生成されている場合を考えると、基準空間解像度に戻すための解像度変換率は1/2であることから、画素挿入部801では入力画素:出力画素=1:1、つまり入力画像をそのままアップサンプル画像としてフィルタリング処理部802に供給するように設定する。画素間引き部803では入力画素:出力画素=2:1、つまり2画素につき1画素の間引き処理を行って出力画像を生成する。

0104

次に、図7(a)の解像度変換部800を解像度拡大部403として作用させることを考える。例えば、解像度変換率2=2/1で基準空間解像度の2倍の拡大画像を生成する場合を考えると、画素挿入部801では入力画素:出力画素=1:2、つまり1画素につき1画素の挿入を行ってアップサンプル画像を生成してフィルタリング処理部802に供給するように設定する。画素間引き部803では入力画素:出力画素=1:1、つまり間引き処理を行わずにそのまま出力画像として出力するように設定する。

0105

なお、図7(a)に示す解像度変換部800の構成は、あくまで一例であり、より自由な空間解像度への画像の拡大・縮小処理が必要な場合には、Spline法などを利用することで、実数位置精度で自由な位置の画素を、入力画像から生成し、所望の空間解像度を持つ画像を生成することができるように構成することもできる。

0106

従って、本実施形態1の再符号化装置によれば、入力された符号化ビット列を復号して得られる復号画像が有する空間解像度を基準空間解像度とし、復号画像で構成される動画像中に潜在的に含まれるが基準空間解像度では十分表現できていなかった空間方向および時間方向の周波数成分情報を、超解像拡大部104による所定の超解像拡大処理に基づいて復元した上で基準空間解像度よりも高い空間解像度で表現し、復号画像で構成される動画像が持つ周波数成分情報の情報量を拡張した高空間解像度の超解像画像を生成した上で、再符号化処理を行って、入力された符号化ビット列を復号して得られた復号画像がもつ情報量よりも、多くの情報量に基づいた再符号化を行えるという効果を生じる。

0107

また、本実施形態1の再符号化装置では、超解像拡大部104にて生成した高空間解像度の超解像画像に対して、解像度縮小部105にて所定の解像度縮小処理を行い、基準空間解像度で表現された超解像画像を生成するようにしているので、動画像中に潜在的に含まれるが基準空間解像度では十分表現できていなかった空間方向および時間方向の周波数成分情報を生成し、本来含まれていなかった周波数成分情報を、基準空間解像度で表現できる周波数成分情報の範囲内に制限した上で超解像画像に含ませることにより、入力された符号化ビット列を復号して得られる復号画像で構成される動画像では表現できていなかった周波数成分情報を超解像画像に反映し、この超解像画像に基づいて再符号化処理を行って、入力された符号化ビット列を復号して得られる復号画像で構成される動画像がもつ情報量よりも多くの情報量に基づいた再符号化を行えるという効果を生じる。

0108

実施形態2.
次に、実施形態2の再符号化装置について説明する。本実施形態2の再符号化装置では、再符号化後の符号化ビット列と、再符号化前の符号化ビット列とを共に多重化するように構成したものである。従って、構成自体は、図1に示す実施形態1の再符号化装置100と同じであるので、図1を参照して説明する。

0109

図10は、本実施形態2の再符号化装置100の基本動作を示すフローチャートである。

0110

まず、再符号化開始要求を受けると、本実施形態1と同様に、再符号化制御部101の制御に応じて、分離部102が、あらかじめ符号化され、多重化された符号化ビット列を取得し、取得した多重化後の符号化ビット列を分離処理によって分離する(S201)ことで、再符号化対象となる符号化ビット列を取得し、第1復号部103に供給する。さらに、本実施形態2では、分離部102は、取得した再符号化対象となる符号化ビット列を、多重化部108に供給する。

0111

その後のS202からS209までの動作は、図2に示す本実施形態1の基本動作である、S102からS109までの動作と同様であっても構わないため、ここでは説明を省略する。

0112

そして、S209において、再符号化後の符号化ビット列を更新する必要がないと判断すると(S209 NO)、多重化部108は、再符号化制御部101の制御に応じて、再符号化部107から再符号化後の符号化ビット列を取得するとともに、再符号化前の符号化ビット列を分離部102から取得する。そして、符号化前の符号化ビット列と再符号化後の符号化ビット列を1つの多重化後の符号化ビット列にするために、多重化を行い、多重化後の符号化ビット列を生成する(S210)。その際、必要あれば、再符号化前の符号化ビット列と、再符号化後の符号化ビット列とを識別するための識別符号フラグ)や、再符号化制御部101からの再符号化制御情報153等を多重化する。

0113

以上のようなステップを経ることで、本実施形態2の一連の基本動作が終了する。

0114

また、本実施形態2の一連の基本動作の途中で、再符号化停止要求情報による再符号化装置の停止要求があった場合も、本実施形態1の動作と同様であっても構わないため、ここでは説明を省略する。

0115

このようなステップを実行することで、本実施形態2の再符号化装置を動作させることにより、再符号化前の符号化ビット列と、再符号化後の符号化ビット列をともに1つの多重化後の符号化ビット列として生成し、管理することが可能となる。

0116

従って、本実施形態2によれば、このような多重化後の符号化ビット列を構成することにより、従来、同一のコンテンツであるにもかかわらず、複数の符号化形式で符号化された複数の符号化ビット列が存在している場合には、何らかの関連付け情報に基づいて複雑な管理を行う必要があったが、本実施形態2の再符号化装置が生成する多重化後の符号化ビット列のように、複数の符号化ビット列を多重化し、多重化後の符号化ビット列とすることで、コンテンツ毎一元管理を容易にすることができる。

0117

また、本実施形態2の再符号化装置によれば、当該装置に接続することができる高精細表示が可能な表示装置の要求に応じて、再符号化前の符号化ビット列による、オリジナル忠実復号動画像と、本実施形態2で新たに再符号化された、高品質で、高い符号化ビットレートをもつような再符号化後の符号化ビット列による、高品質化された復号動画像とを、選択的に切り替えて表示することができる。

0118

また、本実施形態2の再符号化装置によれば、当該装置に接続することができる通信装置およびネットワークを介して、外部の復号装置に動画像配信を行うような場合、外部の復号装置からの要求に応じて、再符号化前の符号化ビット列による、オリジナルに忠実な復号動画像と、本実施形態2で新たに再符号化された、高品質で、高い符号化ビットレートをもつような再符号化後の符号化ビット列による、高品質化された復号動画像とを、選択的に供給することが可能となる。

0119

実施形態3.
次に、実施形態3の再符号化装置について説明する。本実施形態3では、基本層互換性維持を目的とした階層構造を採用した再符号化装置について説明する。

0120

図11は、本発明の本実施形態3である、再符号化装置200の構成例を示すための概念ブロック図である。

0121

実施形態3の再符号化装置200は、実施形態1,2の構成に対して、さらに、減算部201、加算部202、再符号化部203、第2復号部204を追加し、再符号化部107を除いたものを有している。以下に、各構成要素において、実施形態1,2の再符号化装置100とは異なる機能についてのみ説明する。

0122

再符号化制御部101は、さらに、開始要求に従って再符号化装置200を動作させるため、少なくとも、再符号化部203、第2復号部204に対し、再符号化制御情報153に応じて再符号化処理を繰り返し行うための制御を行い、制御情報を供給するものである。また、再符号化制御部101は、さらに、停止要求に従って再符号化装置200を動作させるため、少なくとも、再符号化部203、第2復号部204に対し、再符号化処理を停止するための制御を行うものである。

0123

第1復号部103は、さらに、復号画像を、減算部201、加算部202に供給するものである。

0124

蓄積バッファ106は、さらに、再符号化制御部101の制御に応じて、加算部202から、加算後の復号画像を取得し、蓄積および管理するものである。また、蓄積バッファ106は、再符号化制御部101の制御に応じて、蓄積されている基準空間解像度の超解像画像を、減算部201に供給するものである。また、蓄積バッファ106は、再符号化制御部101の制御に応じて、蓄積されている復号画像を、減算部201に供給する機能を有しても良い。

0125

多重化部108は、さらに、再符号化部203から、基本層すなわち基準空間解像度の再符号化後の符号化ビット列、拡張層の再符号化後の符号化ビット列を取得し、基本層の再符号化前の符号化ビット列を取得するものである。多重化部108は、さらに、再符号化制御部101の制御に応じて、多重化対象となる符号化ビット列を特定して多重化を行い、多重化後の符号化ビット列を生成するものである。

0126

減算部201は、第1復号部102もしくは蓄積バッファ106からの再符号化前の符号化ビット列を復号して得られた基準空間解像度の復号画像を、蓄積バッファ106からの基準空間解像度の超解像画像を減算することで、残差情報を生成し、再符号化部203に供給するものである。また、減算部201は、再符号化制御部101の制御によって、第1復号部103から復号画像が取得できない場合には、減算処理を行わず、蓄積バッファ106から取得した基準空間解像度の超解像画像を、再符号化部203に供給するものであると良い。

0127

加算部202は、第1復号部103からの基準空間解像度の復号画像に、第2復号部204から復号後の残差情報もしくは再符号化後の符号化ビット列を復号して得られた復号画像を加算し、加算後の復号画像蓄積バッファ106に供給するものである。また、加算部202は、再符号化制御部101の制御によって、第1復号部103から復号画像が取得できない場合には、加算処理を行わず、第2復号部204から取得した復号画像を、加算後の復号画像として、蓄積バッファ106に供給するものであると良い。

0128

再符号化部203は、減算部201を介して、蓄積バッファ106から基準空間解像度の超解像画像を取得するものである。再符号化部203は、取得した基準空間解像度の超解像画像を基本層とし、基本層の符号化方式の構文構造に基づいて再符号化を行うことで、基本層の再符号化後の符号化ビット列を生成し、多重化部108、第2復号部204に供給するものである。また、再符号化部203は、さらに、減算部201から、生成された残差情報を取得するものである。また、再符号化部203は、取得した残差情報を拡張層とし、拡張層の符号化方式の構文構造に基づいて再符号化を行うことで、拡張層の再符号化後の符号化ビット列を生成し、多重化部108、第2復号部204に供給するものである。

0129

第2復号部204は、再符号化部203から、基本層の再符号化後の符号化ビット列、もしくは拡張層の再符号化後の符号化ビット列を取得し、再符号化部203から取得した符号化ビット列に対し、符号化方式を特定し、特定された符号化方式の構文構造に基づいて復号するものである。ここで、第2復号部204は、符号化方式の特定によって、取得した符号化ビット列が基本層の符号化方式と特定された場合は、基本層の符号化方式の構文構造に基づいて復号し、ここでは、基本層の復号画像を生成すると良い。また、第2復号部204は、符号化方式の特定によって、取得した符号化ビット列が拡張層の符号化方式と特定された場合は、拡張層の符号化方式の構文構造に基づいて復号し、ここでは、拡張層の復号後の残差情報を生成すると良い。

0130

図12は、図11に示す本実施形態3の再符号化装置200の基本動作を示すフローチャートである。

0131

まず、再符号化開始要求をうけると、再符号化制御部101の制御に応じて、分離部102が、あらかじめ符号化され、多重化された符号化ビット列を取得し、取得した多重化後の符号化ビット列を分離処理によって分離する(S301)ことで、再符号化対象となる符号化ビット列を取得し、第1復号部103に供給する。

0132

次に、第1復号部103は、取得した再符号化対象の符号化ビット列を復号することで、復号画像と符号化パラメータ情報を生成し、復号画像を加算部202に供給する一方、符号化パラメータ情報を再符号化制御部101に供給する。

0133

また、第2復号部204は、再符号化制御部101の制御に応じて、再符号化部203から拡張層の再符号化後の符号化ビット列を取得し、復号処理によって、拡張層の復号後の残差情報と符号化パラメータ情報を生成し、拡張層の復号後の残差情報を加算部202に供給する一方、拡張層の符号化パラメータ情報を再符号化制御部101に供給する。このような処理を行うことで、再符号化対象の符号化ビット列を復号する(S302)。

0134

その後、加算部202は、第1復号部103から復号画像を取得する。ここで、加算部202には、第2復号部204から拡張層の復号後の残差情報は取得できないため、再符号化制御部101の制御に基づき、加算処理を行わず、取得した第1復号部103から取得した復号画像を、加算後の復号画像として、蓄積バッファ106に供給する。

0135

その後、蓄積バッファ106は、加算部202から復号画像を取得し蓄積する(S303)。ここで、蓄積バッファ106は、復号画像を蓄積する際に、取得した復号画像の時間方向の順番に基づくフレーム管理情報とともに、蓄積された画像の管理を行うと良い。

0136

ここで、再符号化制御部101の制御に基づいて、超解像拡大処理に必要な画像枚数が蓄積バッファ106に蓄積されるまで、第1復号部103は、復号画像を取得し、蓄積バッファ106は、復号画像を蓄積する。また、再符号化制御部101は、蓄積バッファ106における、復号画像の蓄積状態の制御を、再符号化制御情報153に含まれる観測画像枚数制御情報に基づいて動作し、少なくとも基準画像と、観測画像枚数制御情報によって特定される観測画像の枚数が、蓄積バッファ106に蓄積されるように制御すると良い。

0137

超解像拡大処理に必要な画像枚数が蓄積バッファ106に蓄積されると、超解像拡大部104は、再符号化制御部101の制御に基づき、蓄積バッファ106から、現在超解像拡大対象となっている画像を基準画像として取得し、少なくとも1枚の観測画像を、符号化対象画像から生成、もしくは蓄積バッファ106から取得する。ここで、再符号化制御情報153に含まれる観測画像枚数制御情報に基づいて、超解像拡大部104が取得する観測画像の枚数が制御されるようにすると良い。

0138

その後、超解像拡大部104は、取得した基準画像と観測画像を利用して、実施形態1と同様に超解像拡大処理を行い(S304)、高空間解像度の超解像画像を生成し、解像度縮小部105に供給する。この超解像拡大処理では、再符号化制御情報153に含まれる位置合わせ精度制御情報、PSF制御情報に基づいて、超解像拡大処理の位置合わせ精度、点広がり関数(PSF)の精度を制御し、超解像拡大処理に必要な処理量を制御しながら、超解像拡大処理を実行するようにすると良い。

0139

次に、解像度縮小部105は、実施形態1と同様に超解像拡大部104から高空間解像度の超解像画像を取得し、解像度縮小処理を行って、基準空間解像度の超解像画像を生成し(S305)、蓄積バッファ106に供給する。この解像度縮小処理では、再符号化制御情報153に含まれる解像度縮小フィルタ制御情報に基づいて、解像度縮小処理で利用する解像度変換フィルタが選択され、必要な縮小画像品質、処理量が制御されるようにすると良い。

0140

また、蓄積バッファ106は、基準空間解像度の超解像画像を取得し、既に蓄積されている復号画像とフレーム管理情報に基づいて関連付けて、基準空間解像度の超解像画像を蓄積する(S306)。

0141

その後、再符号化制御部101は、蓄積バッファ106に蓄積されている、基準空間解像度の超解像画像の更新が必要であるか、必要でないかを判断する(S307)。ここで、超解像画像の更新が必要であるか、必要でないかを判断する際に、再符号化制御情報153に含まれる超解像回数制御情報、超解像終了判断情報に基づいて判断すると良い。また、超解像回数制御情報、超解像終了判断情報の双方の情報が有効で、超解像終了判断情報による終了条件を満たす前に、超解像回数制御情報による終了条件がみたされた場合には、終了条件が満たされたとして、超解像画像の更新が必要ではないと判断するようにすると良い。

0142

超解像画像の更新が必要であると判断した場合(S307 YES)、再符号化制御部101は、S304に戻り、超解像拡大部104や解像度縮小部105に指示を送り、更新が必要な基準空間解像度の超解像画像を、現在の超解像拡大対象の基準画像として、蓄積バッファ106から取得し、超解像拡大処理を繰り返すように制御する。

0143

これに対し、超解像画像の更新が必要でないと判断した場合(S307 NO)、再符号化制御部101は、次のS308に進み、拡張層の再符号化を実行させる(S308)。

0144

つまり、超解像画像の更新が必要でないと判断された場合、減算部201は、第1復号部103もしくは蓄積バッファ106から基準空間解像度の復号画像を取得すると共に、蓄積バッファ106から基準空間解像度の超解像画像を取得し、基準空間解像度の超解像画像から、基準空間解像度の復号画像を減算することで、残差情報を生成し、再符号化部203に供給する。

0145

すると、再符号化部203は、減算部201から残差情報を取得し、再符号化制御部101の制御に応じて、取得した残差情報を拡張層とし、拡張層の符号化方式の構文構造に基づいて再符号化を行うことで、拡張層の再符号化後の符号化ビット列を生成する(S308)。

0146

その後、再符号化制御部101は、生成された拡張層の再符号化後の符号化ビット列を更新する必要があるか、必要がないかを判断する(S309)。ここで、再符号化後の符号化ビット列を更新する必要があるか、必要がないかを判断する際に、再符号化制御情報153に含まれる再符号化回数制御情報、再符号化終了判断情報等の再符号化終了条件に基づいて判断すると良い。また、再符号化回数制御情報、再符号化終了判断情報の双方の情報が有効で、再符号化終了判断情報による終了条件を満たす前に、再符号化回数制御情報による終了条件が満たされた場合には、終了条件が満たされたとして、再符号化後の符号化ビット列を更新する必要がないと判断するようにすると良い。なお、複数の再符号化終了条件を設け、再符号化終了条件毎に拡張層を設定して、拡張層を複数設ける場合、S304〜S308の処理を、拡張層毎に行うことになる。

0147

再符号化後の符号化ビット列を更新する必要があると判断した場合(S309 YES)、再符号化部203は、第2復号部204に、拡張層の再符号化後の符号化ビット列を供給し、S302に戻ることで、再符号化を繰り返す。

0148

これに対し、再符号化後の符号化ビット列を更新する必要がないと判断した場合(S309 NO)、再符号化部203は、拡張層の再符号化後の符号化ビット列を多重化部108に供給する。

0149

その後、多重化部108は、少なくとも、分離部102から、基本層として再符号化前の符号化ビット列、再符号化部203から、拡張層の再符号化後の符号化ビット列を取得し、基本層と拡張層を1つの多重化後の符号化ビット列にするために、多重化を行い(S310)、多重化後の符号化ビット列を生成する。その際、必要あれば、上記実施形態1,2と同様に、基本層である再符号化前の符号化ビット列と、拡張層の再符号化後の符号化ビット列とを識別するための識別符号(フラグ)や、拡張層が複数ある場合はその複数の拡張層を識別するための識別符号(フラグ)、再符号化制御部101からの再符号化制御情報153等を多重化する。

0150

以上のようなステップを経ることで、本実施形態3の一連の基本動作が終了する。

0151

なお、本実施形態3の一連の基本動作の途中で、再符号化停止要求情報による再符号化装置の停止要求があった場合、再符号化制御情報153に含まれる再符号化継続判断情報に対して、再符号化の途中であることを示す情報を設定し、停止要求時点で得られている符号化ビット列に対して多重化を行い、多重化後の符号化ビット列を生成することで、再符号化を停止するように、再符号化制御部101が動作を制御するようにすると良い。

0152

このようなステップを実行することで、本実施形態3の再符号化装置によれば、再符号化前の符号化ビット列を、基本層の符号化ビット列とし、また、基本空間解像度の超解像画像から基本空間解像度の復号画像を減算して得られる残差情報に対して再符号化を行うことで得られる、再符号化後の符号化ビット列を、拡張層の符号化ビット列とし、これらの基本層の符号化ビット列と、拡張層の符号化ビット列とを多重化することで、ともに1つの多重化後の符号化ビット列として生成し、管理することが可能となる。

0153

従って、本実施形態3の再符号化装置によれば、従来、同一のコンテンツであるにもかかわらず、複数の符号化形式や符号化条件で符号化された複数の符号化ビット列が存在している場合には、何らかの関連付け情報に基づいて複雑な管理を行う必要があったが、本装置が生成する多重化後の符号化ビット列のように、基本層によりオリジナルの動画像との互換性を維持しつつ、基本層との差分である拡張層を多重化によりまとめることで、コンテンツ毎の一元管理が容易になる。また、拡張層が、基本層との差分に対して効率よく再符号化されることにより、多重化後の符号化ビット列を蓄積および伝送する際の、情報量を抑制できる。

0154

また、本実施形態3の再符号化装置によれば、当該装置に接続することができる高精細表示が可能な表示装置の要求に応じて、再符号化前の符号化ビット列による、オリジナルに忠実な復号動画像と、本実施形態3で新たに再符号化された、高品質で、高い符号化ビットレートをもつような再符号化後の符号化ビット列による、高品質化された復号動画像とを、選択的に切り替えて表示することができる。

0155

また、同様に、本実施形態3の再符号化装置によれば、当該装置に接続することができる通信装置およびネットワークを介して、外部の復号装置に動画像配信を行うような場合、外部の復号装置からの要求に応じて、再符号化前の符号化ビット列による、オリジナルに忠実な復号動画像と、本実施形態3で新たに再符号化された、高品質で、高い符号化ビットレートをもつような再符号化後の符号化ビット列による、高品質化された復号動画像とを、段階的に供給することが可能となる。

0156

実施形態4.
次に、実施形態4の再符号化装置について説明する。本実施形態4では、実施形態3と同様に、基本層の互換性維持を目的とした階層構造を採用した再符号化装置について説明する。なお、構成自体は、図11に示す実施形態3の再符号化装置200と同様なので、図11を参照して説明する。

0157

本実施形態4では、図11の再符号化装置200は、本実施形態3における基本層の符号化ビット列を、再符号化前の符号化ビット列ではなく、再符号化後の符号化ビット列に置き換えることで、より符号化効率を高めたものである。

0158

次に、本実施形態4の再符号化装置200の構成要素の機能について、本実施形態3の機能と異なる部分のみ説明する。

0159

本実施形態4では、再符号化制御部101は、さらに、基本層と拡張層の符号化ビット列を生成するため、各部に対する動作の制御、および情報の入出力または送受信の制御を行うものである。特に、減算部201における情報の入出力や、減算処理の実行を制御し、再符号化部203に残差情報を供給するか、超解像画像を供給するか、制御する機能を備えると良い。

0160

また、本実施形態4では、多重化部108は、再符号化制御部101の制御に応じて、再符号化部203から基本層の再符号化後の符号化ビット列を取得して蓄積し、また、再符号化制御部101の制御に応じて、再符号化部203から拡張層の再符号化後の符号化ビット列を取得して蓄積し、取得した基本層および拡張層の符号化ビット列に対して、再符号化制御部101の制御に応じて、多重化処理を行い、多重化後の符号化ビット列を生成し、供給するものである。

0161

また、本実施形態4では、再符号化部203は、減算部201から、再符号化制御部101の制御に基づいて、超解像画像と、残差情報とを取得し、再符号化制御部101の制御に基づいて、基本層の符号化方式に基づいて、取得した超解像画像に対して、基本層の再符号化を行い、基本層の再符号化後の符号化ビット列を生成し、第2復号部204に供給するものである。また、再符号化部203は、再符号化制御部101の制御に基づいて、拡張層の符号化方式に基づいて、取得した残差情報に対して、拡張層の再符号化を行い、拡張層の再符号化後の符号化ビット列を生成し、第2復号部204に供給するものである。ここで、再符号化部203は、再符号化時に、符号化履歴情報を生成し、再符号化の際に、前回の符号化履歴情報に基づいて、符号量割り当てを変更しながら、再符号化を行うものであると良い。

0162

また、本実施形態4では、第2復号部204は、再符号化部203から、再符号化制御部101の制御に基づいて、基本層の再符号化後の符号化ビット列と、拡張層の再符号化後の符号化ビット列とを取得し、取得した再符号化後の符号化ビット列の符号化方式を特定し、復号するものである。

0163

その際、第2復号部204は、取得した符号化ビット列が、基本層の符号化方式である場合には、基本層の符号化方式の構文構造に基づいて、基本層の復号を行い、基本層の復号画像と、符号化パラメータ情報を生成し、生成した基本層の復号画像を加算部202に供給する一方、基本層の符号化パラメータ情報を再符号化制御部101に供給するものである。

0164

また、第2復号部204は、取得した符号化ビット列が、拡張層の符号化方式である場合には、拡張層の符号化方式の構文構造に基づいて、拡張層の復号を行い、拡張層の残差情報と、符号化パラメータ情報を生成し、生成した拡張層の残差情報を加算部202に供給する一方、拡張層の符号化パラメータ情報を再符号化制御部101に供給するものである。

0165

図13は、本実施形態4の再符号化装置200の基本動作を示すフローチャートである。

0166

本実施形態4の場合、まず、再符号化開始要求を受けると、再符号化制御部101の制御に応じて、分離部102が、あらかじめ符号化され、多重化された符号化ビット列151を取得し、取得した多重化後の符号化ビット列151を分離処理によって分離し(S401)、再符号化対象となる符号化ビット列を取得し、第1復号部103に供給する。

0167

次に、再符号化制御部101の制御に応じて、第1復号部103は、取得した再符号化対象の符号化ビット列を、基本層の符号化ビット列として復号することにより、復号画像と、符号化パラメータ情報とを生成し、復号画像を加算部202に供給する一方、符号化パラメータ情報を再符号化制御部101に供給する。これは、基本層の符号化ビット列の一回目の符号化の場合である。

0168

これに対し、基本層の符号化ビット列の再符号化の場合には、再符号化制御部101の制御により、第1復号部103は、復号処理は行わず、第2復号部204が再符号化部203から基本層の再符号化後の符号化ビット列を取得して復号処理を行う。そして、第2復号部204は、基本層の復号後の復号画像と符号化パラメータ情報とを生成し、基本層の復号後の復号画像を加算部202に供給する一方、基本層の符号化パラメータ情報を再符号化制御部101に供給する。このような処理を行うことで、基本層の符号化ビット列を復号する(S402)。

0169

加算部202は、第1復号部103から復号画像を取得する。ただし、一回目の符号化の場合、加算部202は、第2復号部204から拡張層の復号後の残差情報は取得できないため、再符号化制御部101の制御により、加算処理を行わず、取得した第1復号部103から取得した復号画像を、加算後の復号画像として、蓄積バッファ106に供給する。

0170

すると、蓄積バッファ106は、加算部202から復号画像を取得し、蓄積バッファ106内に、復号画像を蓄積する(S403)。ここで、蓄積バッファ106は、復号画像を蓄積する際に、取得した復号画像の時間方向の順番に基づくフレーム管理情報とともに、蓄積された画像の管理を行うと良い。

0171

また、再符号化制御部101の制御に基づいて、超解像拡大処理に必要な画像枚数が蓄積バッファ106に蓄積されるまで、第1復号部103は、復号画像を取得し、蓄積バッファ106は、復号画像を蓄積する。

0172

ここで、再符号化制御部101は、蓄積バッファ106における、復号画像の蓄積状態の制御を、再符号化制御情報153に含まれる観測画像枚数制御情報に基づいて動作し、少なくとも基準画像と、観測画像枚数制御情報によって特定される観測画像の枚数が、蓄積バッファ106に蓄積されるように制御すると良い。

0173

超解像拡大処理に必要な画像枚数が蓄積バッファ106に蓄積されると、再符号化制御部101の制御に基づき、超解像拡大部104は、蓄積バッファ106から、現在超解像拡大対象となっている画像を基準画像として取得すると共に、少なくとも1枚の観測画像を、実施形態1等と同様に、符号化対象画像から生成もしくは蓄積バッファ106から取得する。ここで、再符号化制御情報153に含まれる観測画像枚数制御情報に基づいて、超解像拡大部104が取得する観測画像の枚数が制御されるようにすると良い。

0174

次に、超解像拡大部104は、取得した基準画像と観測画像とを利用して、実施形態1等と同様に、超解像拡大処理を行い(S404)、高空間解像度の超解像画像を生成し、解像度縮小部105に供給する。なお、この超解像拡大処理では、再符号化制御情報153に含まれる位置合わせ精度制御情報、PSF制御情報に基づいて、超解像拡大処理の位置合わせ精度、点広がり関数(PSF)の精度を制御し、超解像拡大処理に必要な処理量を制御しながら、超解像拡大処理を実行するようにすると良い。

0175

次に、解像度縮小部105は、超解像拡大部104から高空間解像度の超解像画像を取得し、解像度縮小処理を行い(S405)、基準空間解像度の超解像画像を生成し、蓄積バッファ106に供給する。この解像度縮小処理では、再符号化制御情報153に含まれる解像度縮小フィルタ制御情報に基づいて、解像度縮小処理で利用する解像度変換フィルタが選択され、必要な縮小画像品質、処理量が制御されるようにすると良い。

0176

すると、蓄積バッファ106は、基準空間解像度の超解像画像を取得し、既に蓄積されている復号画像とフレーム管理情報に基づいて関連付けて、基準空間解像度の超解像画像を蓄積する(S406)。

0177

その後、再符号化制御部101は、蓄積バッファ106に蓄積されている、基準空間解像度の超解像画像の更新が必要であるか、必要でないかを判断する(S407)。

0178

ここで、超解像画像の更新が必要であるか、必要でないかを判断する際に、再符号化制御情報153に含まれる超解像回数制御情報、超解像終了判断情報に基づいて判断するようにすると良い。また、超解像回数制御情報、超解像終了判断情報の双方の情報が有効で、超解像終了判断情報による終了条件を満たす前に、超解像回数制御情報による終了条件が満たされた場合には、終了条件が満たされたとして、超解像画像の更新が必要ではないと判断するようにすると良い。

0179

そして、超解像画像の更新が必要である場合(S407 YES)、再符号化制御部101の制御により、S404に戻り、超解像拡大部104および解像度縮小部105は、更新が必要な基準空間解像度の超解像画像を、現在の超解像拡大対象の基準画像として、蓄積バッファ106から取得し、超解像拡大処理を繰り返す。

0180

これに対し、超解像画像の更新が必要でない場合(S407 NO)、再符号化制御部101の制御により、次のS408に進む。

0181

つまり、超解像画像の更新が必要でないと判断されると、減算部201は、再符号化制御部101の制御に応じて、蓄積バッファ106から、基本層の再符号化対象となっている、基準空間解像度の超解像画像を取得し、減算処理を行わずに、再符号化部203に供給する。

0182

その後、再符号化部203は、減算部201から基準空間解像度の超解像画像を取得し、再符号化制御部101の制御に応じて、取得した基準空間解像度の超解像画像を基本層とし、基本層の符号化方式の構文構造に基づいて再符号化を行い(S408)、基本層の再符号化後の符号化ビット列を生成する。

0183

その後、再符号化制御部101は、生成された基本層の再符号化後の符号化ビット列を更新する必要があるか、必要がないかを判断する(S409)。ここで、再符号化後の符号化ビット列を更新する必要があるか、必要がないかを判断する際に、再符号化制御部101は、再符号化制御情報153に含まれる再符号化回数制御情報、再符号化終了判断情報等の再符号化終了条件に基づいて判断すると良い。

0184

また、再符号化制御部101は、再符号化回数制御情報を利用する際に、基本層と拡張層において、それぞれ異なる再符号化回数制御情報に基づいて判断するようにしても良い。

0185

同様に、再符号化制御部101は、再符号化終了判断情報を利用する際に、基本層と拡張層において、それぞれ異なる再符号化終了判断情報に基づいて判断するようにしても良い。

0186

また、再符号化制御部101は、再符号化回数制御情報、再符号化終了判断情報の双方の情報が有効で、再符号化終了判断情報による終了条件を満たす前に、再符号化回数制御情報による終了条件が満たされる場合には、終了条件が満たされたとして、再符号化後の符号化ビット列を更新する必要がないと判断するようにすると良い。

0187

そして、基本層の再符号化後の符号化ビット列を更新する必要があると判断した場合(S409 YES)、再符号化制御部101は再符号化部203に指令を送り、再符号化部203は、第2復号部204に、基本層の再符号化後の符号化ビット列を供給し、S402に戻ることで、基本層の再符号化を繰り返す。

0188

これに対し、基本層の再符号化後の符号化ビット列を更新する必要がないと判断した場合(S409 NO)、再符号化制御部101は再符号化部203に指令を送り、再符号化部203は、基本層の再符号化後の符号化ビット列を、第2復号部204、多重化部108に供給する。

0189

すると、第2復号部204は、再符号化制御部101の制御に基づいて、再符号化部203から基本層の再符号化後の符号化ビット列を取得し、符号化方式を特定した後に、復号処理を行い(S410)、基本層の復号画像、符号化パラメータ情報を生成し、生成した基本層の復号画像を加算部202に供給する一方、生成した基本層の符号化パラメータ情報を再符号化制御部101に供給する。

0190

その後、加算部202は、第2復号部204から基本層の復号画像を取得し、再符号化制御部101の制御に応じて、加算処理を行わずに、蓄積バッファ106に供給する。蓄積バッファ106は、加算部202から、基本層の復号画像を取得し、既に蓄積されている復号画像や超解像画像に対して、フレーム管理情報に基づいて関連付けを行いながら、蓄積する。ここで、蓄積バッファ106は、既に蓄積されている復号画像を、フレーム管理情報に基づいて特定し、取得した復号画像と置き換えて蓄積すると良い。

0191

一方、減算部201は、再符号化制御部101の制御に基づいて、蓄積バッファ106から、基本層の再符号化後の復号画像である、基準空間解像度の復号画像と、基準空間解像度の超解像画像を取得し、取得した超解像画像から復号画像を減算して、残差情報を生成し(S411)、再符号化部203に供給する。

0192

すると、再符号化部203は、減算部201から残差情報を取得し、再符号化制御部101の制御に応じて、取得した残差情報を拡張層とし、拡張層の符号化方式の構文構造に基づいて再符号化を行い(S412)、拡張層の再符号化後の符号化ビット列を生成する。なお、再符号化部203は、再符号化時に、符号化履歴情報を生成し、再符号化の際に、前回の符号化履歴情報に基づいて、符号量割り当てを変更しながら、再符号化を行うと良い。

0193

その後、再符号化制御部101は、生成された拡張層の再符号化後の符号化ビット列を更新する必要があるか、必要がないかを判断する(S413)。ここで、再符号化後の符号化ビット列を更新する必要があるか、必要がないかを判断する際に、再符号化制御情報153に含まれる再符号化回数制御情報、再符号化終了判断情報等の再符号化終了条件に基づいて判断すると良い。なお、複数の再符号化終了条件を設け、再符号化終了条件毎に拡張層を設定して、拡張層を複数設ける場合、S410〜S413の処理を、拡張層毎に行うことになる。また、再符号化回数制御情報を利用する際に、基本層と拡張層において、それぞれ異なる再符号化回数制御情報に基づいて判断するようにしても良い。同様に、再符号化終了判断情報を利用する際に、基本層と拡張層において、それぞれ異なる再符号化終了判断情報に基づいて判断するようにしても良い。また、再符号化回数制御情報、再符号化終了判断情報の双方の情報が有効で、再符号化終了判断情報による終了条件を満たす前に、再符号化回数制御情報による終了条件が満たされた場合には、終了条件が満たされたとして、再符号化後の符号化ビット列を更新する必要がないと判断するようにすると良い。

0194

そして、拡張層の再符号化後の符号化ビット列を更新する必要があると判断した場合(S413 YES)、再符号化制御部101は再符号化部203に指令を送り、再符号化部203は、第2復号部204に、拡張層の再符号化後の符号化ビット列を供給し、S412に戻ることで、再符号化を繰り返す。

0195

これに対し、拡張層の再符号化後の符号化ビット列を更新する必要がないと判断した場合(S413 NO)、再符号化制御部101の制御により、再符号化部203は、拡張層の再符号化後の符号化ビット列を多重化部108に供給する。

0196

その後、多重化部108は、少なくとも、再符号化部203から基本層の再符号化後の符号化ビット列を取得すると共に、再符号化制御部101の制御に応じて、再符号化部203から拡張層の再符号化後の符号化ビット列を取得し、基本層と拡張層とを1つの多重化後の符号化ビット列にするために、多重化を行い(S414)、多重化後の符号化ビット列を生成する。その際、必要あれば、上記実施形態1,2,3と同様に、基本層である再符号化後の符号化ビット列と、拡張層の再符号化後の符号化ビット列とを識別するための識別符号(フラグ)や、拡張層が複数ある場合はその複数の拡張層を識別するための識別符号(フラグ)、再符号化制御部101からの再符号化制御情報153等を多重化しても良い。

0197

以上のようなステップを経ることで、本実施形態4の一連の基本動作が終了する。

0198

なお、本実施形態4の一連の基本動作の途中で、再符号化停止要求情報による再符号化装置の停止要求があった場合、再符号化制御情報153に含まれる再符号化継続判断情報に対して、再符号化の途中であることを示す情報を設定し、停止要求時点で得られている符号化ビット列に対して多重化を行い、多重化後の符号化ビット列を生成することで、再符号化を停止するように、再符号化制御部101が動作を制御するようにすると良い。

0199

従って、本実施形態4の再符号化装置によれば、基本層である、再符号化前の符号化ビット列を、新たに再符号化して得られた再符号化後の符号化ビット列で置き換えるとともに、基準空間解像度の超解像画像から、基本層の復号画像を減算して得られる残差情報に対して、拡張層の再符号化を行い、拡張層の再符号化後の符号化ビット列を生成し、基本層と拡張層の多重化を行うことで、多重化後の符号化ビット列を生成することにより、多様な蓄積、表示、伝送を実現できる。

0200

つまり、本実施形態4の再符号化装置によれば、基本層の再符号化により、低い符号化ビットレートで再符号化を行い、残りの残差情報を拡張層として再符号化して多重化して、多重化後の符号化ビット列を生成して、蓄積、表示、伝送することで、例えば、基本層のみを携帯端末装置などに記録媒体やネットワークを介して伝送することで、変換することなく容易に携帯端末装置での視聴を可能にする一方、基本層と拡張層を復号して、高精細な表示装置で高品質な視聴を楽しむことが可能となる。

0201

また、本実施形態4の再符号化装置では、繰り返し基本層を再符号化することから、基本層を再符号化前の符号化ビット列の復号画像の品質と同等の品質で、再符号化後の符号化ビット列を生成した場合、基本層の符号化効率をより高めることが可能となる。

0202

さらに、本実施形態4の再符号化装置では、基本層と拡張層のそれぞれにおいて、再符号化を繰り返すことにより、多重化後の符号化ビット列においても、最適な再符号化が行われることから、より符号化効率の高い符号化ビット列を得ることが可能となり、多重化後の符号化ビット列を蓄積および伝送する際の、情報量を抑制できる。

0203

実施形態5.
次に、実施形態5について説明する。実施形態5の基本層の高速再符号化を目的とした階層構造に基づく再符号化装置について説明する。なお、再符号化装置の構成自体は、図11に示す実施形態3のものとほぼ同じであるので、図11を参照して説明する。

0204

つまり、本実施形態5の再符号化装置200では、超解像拡大部104が、基本層の符号化パラメータ情報に含まれる動きベクトル情報を、超解像拡大処理で行われる位置合わせ処理に利用するとともに、新たに特定された動きベクトル情報を利用して、基本層の符号化パラメータ情報を更新し、再符号化部203における基本層の再符号化を行う際に、更新された符号化パラメータ情報を利用する構成にする。

0205

図14は、本実施形態5の再符号化装置200の基本動作を示すフローチャートである。

0206

本実施形態5の再符号化装置200における、S501からS503までの動作は、図13に示す本実施形態4の再符号化装置200における、S401からS403までの動作と同様であるため、説明を省略する。

0207

超解像拡大処理に必要な画像枚数が蓄積バッファ106に蓄積されると、再符号化制御部101の制御に基づき、超解像拡大部104は、蓄積バッファ106から、現在超解像拡大対象となっている画像を基準画像として取得する。また、超解像拡大部104は、少なくとも1枚の観測画像を、符号化対象が像から生成もしくは蓄積バッファ106から取得する。ここで、再符号化制御情報153に含まれる観測画像枚数制御情報に基づいて、超解像拡大部104が取得する観測画像の枚数が制御されるようにすると良い。さらに、再符号化制御部101から、基本階層の符号化パラメータ情報を取得する。その後、超解像拡大部104は、取得した基準画像と観測画像を利用して、超解像拡大処理を行い(S504)、高空間解像度の超解像画像を生成し、解像度縮小部105に供給する。

0208

ここで、超解像拡大処理を行う際に、超解像拡大処理の位置合わせ処理を行う際の初期条件として、取得した符号化パラメータ情報に含まれる動きベクトル情報を利用すると良い。また、この超解像拡大処理では、再符号化制御情報153に含まれる位置合わせ精度制御情報、PSF制御情報に基づいて、超解像拡大処理の位置合わせ精度、点広がり関数(PSF)の精度を制御し、超解像拡大処理に必要な処理量を制御しながら、超解像拡大処理を実行するようにすると良い。

0209

その後、超解像拡大部104における超解像拡大処理の位置合わせ処理において、新たに特定された動きベクトル情報を利用して、超解像拡大部104は、取得した符号化パラメータ情報を更新し(S505)、更新された符号化パラメータ情報を、再符号化制御部101に供給する。

0210

その後の解像度縮小処理を行うステップS506から超解像画像の更新判断を行うステップS508までの動作は、実施形態4のS405からS407までの動作と同様であるため、説明を省略する。

0211

そして、S508において超解像画像の更新が必要でないと判断されると、減算部201は、再符号化制御部101の制御に応じて、蓄積バッファ106から、基本層の再符号化対象となっている、基準空間解像度の超解像画像を取得し、減算処理を行わずに、再符号化部203に供給する。

0212

再符号化部203は、再符号化制御部101から、更新された基本層の符号化パラメータ情報を取得すると共に、減算部201から基準空間解像度の超解像画像を取得し、再符号化制御部101の制御に応じて、取得した基準空間解像度の超解像画像を基本層とし、基本層の符号化方式の構文構造に基づいて再符号化を行い(S509)、基本層の再符号化後の符号化ビット列を生成する。ここで、基本層の再符号化を行う際に、更新された符号化パラメータ情報に含まれる動きベクトル情報を、基本層の再符号化処理で行われる動き推定処理の初期条件に利用し、動き推定処理で行われる動きベクトル探索の処理を軽減するようにしても良い。

0213

その後の符号化ビット列の更新判断を行うステップS510から多重化を行うステップS515までの動作は、実施形態4のS409からS414までの動作と同様であるため、説明を省略する。なお、複数の再符号化終了条件を設け、再符号化終了条件毎に拡張層を設定して、拡張層を複数設ける場合、S511〜S514の処理を、拡張層毎に行うことになる。

0214

以上のようなステップを経ることで、本実施形態5の一連の基本動作が終了する。

0215

また、本実施形態5の一連の基本動作の途中で、再符号化停止要求情報による再符号化装置の停止要求があった場合、再符号化制御情報153に含まれる再符号化継続判断情報に対して、再符号化の途中であることを示す情報を設定し、停止要求時点で得られている符号化ビット列に対して多重化を行い、多重化後の符号化ビット列を生成することで、再符号化を停止するように、再符号化制御部101が動作を制御するようにすると良い。

0216

従って、本実施形態5の再符号装置によれば、このようなステップを実行することで、多重化後の符号化ビット列を生成する際の、演算量を抑制することが可能となる。

0217

従って、以上説明した実施形態1〜5によれば、再符号化前の、十分でない情報量を含む符号化ビット列に対して、時間と演算量を十分費やして、超解像拡大処理を伴いながら再符号化を繰り返すことで、再符号化装置が最初に取得した符号化ビット列を、含まれる空間周波数成分情報を補いながら、符号化時の制約の少ない、効率の良い符号化を行うことができる。これは、復号画像が超解像拡大処理によって情報量が拡大されることにより、選択される符号化パラメータが変化し、最適化されることで、最終的な再符号化対象である残差情報が抑制されるために生じる効果である。

0218

また、実施形態1〜5では、超解像拡大処理を伴いながら再符号化を繰り返す際に、符号化ビット列を復号して得られる復号画像を利用し、超解像拡大処理により、元の復号画像に含まれる空間周波数成分情報よりも多くの空間周波数成分情報が復元された、復号画像、つまり基準空間解像度の超解像画像を作成し、再符号化する。その後、再符号化結果を復号し、超解像拡大処理を行い、再度符号化することを、所定の条件を満たすまで繰り返し行うことで、再符号化された符号化ビット列から得られる復号画像の画像品質を向上させることができる。

0219

また、実施形態1〜5では、再符号化の繰り返し制御を、再符号化制御情報に基づいて行うことにより、再符号化装置の負荷稼働環境に応じて、蓄積および伝送された符号化ビット列の動画像品質を、高画質で高い符号化効率となるように再符号化することができる。

0220

また、実施形態1〜5では、再符号化前の、基準空間解像度の復号画像が得られる符号化ビット列を、超解像拡大処理を伴って、基準空間解像度で空間周波数成分情報が拡大された復号画像、つまり基準空間解像度の超解像画像に基づいて再符号化された符号化ビット列に更新するようにしたので、既に取得した符号化ビット列を、高品質で高効率な符号化ビット列に置き換えることができ、効率の良い蓄積や、伝送を行うことができる。

0221

また、時間と演算量を費やしてNパスの符号化を行う場合には、元の画像に含まれる情報量自体は変化せず、各種の符号化パラメータを変えて、より最適な符号量割り当ての方法を探ることで、符号化効率を向上させるが、実施形態1〜5では、再符号化を繰り返す際に、超解像拡大処理を伴うことによって、再符号化対象となる復号画像に含まれる情報量、つまり空間周波数成分情報が増加することで、動画像としての空間方向および時間方向の相関の状態が変化する。つまり、符号化対象自体が変化する。したがって、実施形態1〜5によれば、元の画像で符号化した場合の符号化パラメータ、および符号量割り当てとは異なる、増加した情報量に見合う、新たな符号化パラメータ、および符号量割り当てに随時更新しながら再符号化を行うことで、情報量を増大させるとともに、効率の良い符号化を行うことができる。

0222

なお、上記実施形態1〜5では、再符号化装置をブロック図により図示してハードウエアにより構成したものとして説明したが、本発明では、これに限らず、図15に示すように、コンピュータである情報処理装置1200を構成するようにしても良い。例えば、CPUに代表される中央処理制御装置1203と、記録媒体や通信装置1206を介して例えばメモリに代表される一時記憶装置1205や例えばHDDに代表される外部記憶装置1204に格納された再符号化プログラムにより、上記実施形態1〜5の機能をソフトウェア処理により達成するようにしても勿論よい。また、本発明の再符号化装置および再符号化方法の適用される範囲は、動画像を符号化および復号するような装置、方法、プログラム、システム等であれば、特に限定されるものではない。本発明は、例えば、TVに代表される放送装置携帯電話テレビ会議装置監視装置、DVD−R/RWやBD−R/RW、HDD、SD、ホログラフィックメモリなどの追記および書き換え可能な記録媒体を利用した録画再生装置、およびディジタルカメラカムコーダといった撮像記録再生装置オーサリングなどの記録編集装置、動画像の配信装置などに適用しても構わない。

0223

また、上記実施形態1〜5では、解像度拡大部104の処理の後に、解像度縮小部105に、基本層である基準空間解像度の復号画像に戻すように説明したが、本発明では、これに限らず、解像度縮小部105を省略して、基準空間解像度から所定の空間解像度が大きくなるようにして勿論良い。

0224

本発明の再符号化装置および再符号化方法は、例えば、符号化ビット列を記録・再生・伝送する、ディジタルカメラ、カムコーダ、レコーダ、監視装置、編集装置動画像配信サーバ、などに利用することができる。

図面の簡単な説明

0225

本発明の再符号化装置の実施形態1および2を示す概念ブロック図である。
本発明の再符号化装置の実施形態1の動作を説明するためのフローチャートである。
本発明の再符号化装置における、超解像拡大手段の実施形態を示す概念ブロック図、および超解像拡大処理を説明するための概念図である。
本発明の再符号化装置における、超解像拡大処理を説明するための概念図である。
本発明の再符号化装置における、超解像拡大処理を説明するための別の概念図である。
本発明の再符号化装置における、超解像拡大手段の動作を説明するためのフローチャートである。
本発明の再符号化装置における、解像度縮小手段の実施形態を示す概念ブロック図である。
従来法の解像度拡大および解像度縮小処理における、空間周波数の増減の様子を説明するための概念図である。
本発明の再符号化装置の超解像拡大処理における、空間周波数の増減の様子を説明するための概念図である。
本発明の再符号化装置の実施形態2の動作を説明するためのフローチャートである。
本発明の再符号化装置の実施形態3、4、および5を示す概念ブロック図である。
本発明の再符号化装置の実施形態3の動作を説明するためのフローチャートである。
本発明の再符号化装置の実施形態4の動作を説明するためのフローチャートである。
本発明の再符号化装置の実施形態5の動作を説明するためのフローチャートである。
本発明の再符号化プログラムに基づいて動作する情報処理装置における、実施形態6を示す概念ブロック図である。

0226

100、200再符号化装置
101再符号化制御部
102 分離部
103 第1復号部
104超解像拡大部
105解像度縮小部
106蓄積バッファ
107、203 再符号化部
108多重化部
121、141記録装置
122、142記録媒体
123、143蓄積装置
124、144伝送装置
131表示装置A
132 表示装置B
201 減算部
202加算部
204 第2復号部
800解像度変換部
801画素挿入部
802フィルタリング処理部
803画素間引き部
1041 位置合わせ部
1042 補間部
1043推定画像生成部
1044 繰り返し制御部
1200情報処理装置
1201入力装置
1202出力装置
1203中央処理制御装置
1204外部記憶装置
1205一時記憶装置
1206通信装置
1207 接続バス

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ