図面 (/)

技術 レート制御装置、映像復号装置、及び、プログラム

出願人 日本放送協会
発明者 三須俊枝境田慎一神田菊文
出願日 2016年9月14日 (4年8ヶ月経過) 出願番号 2016-179578
公開日 2018年3月22日 (3年1ヶ月経過) 公開番号 2018-046407
状態 特許登録済
技術分野 TV信号の圧縮,符号化方式
主要キーワード 右辺値 左辺値 実定数 クリティカリティ FIFO型メモリ 未送信データ量 中央値フィルタ レート制御装置
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2018年3月22日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (8)

課題

映像符号化による映像の歪を抑制しつつ、ビットレートを調整可能とすること。

解決手段

レート制御装置は、第1の映像信号から特定の成分を除去した第2の映像信号を出力する信号処理部と、前記第2の映像信号を符号化した符号化映像信号のビットレートと、前記符号化映像信号を復号した復号映像信号符号化歪と、の少なくともいずれかに係る制御信号に基づいて、前記信号処理部による特定の成分の除去の度合いを制御する制御部と、を備え、前記信号処理部は、前記第2の映像信号の符号化における非可逆情報圧縮過程とは異なる演算によって前記特定の成分を除去する。

概要

背景

映像符号化におけるビットレート制御法としては、これまでの発生符号量多寡に応じて直交変換係数量子化幅量子化パラメータ)を増減するのが一般的である。例えば、固定ビットレートCBR、Constant Bitrate)の実現方法としては、下記のものが知られている。まず、FIFO(First In First Out)型メモリ等の出力バッファを設ける。この出力バッファは、符号化後ビット列を一旦収めてから出力する。そして、出力バッファ内に現在蓄積されているデータ量がある所定の上限閾値を超えた場合には、量子化パラメータを増加する。また、出力バッファ内に現在蓄積されているデータ量が所定の下限閾値を超えた場合には、量子化パラメータを減少する。このように映像符号化処理を制御することで発生符号量を調整し、固定ビットレートを実現することができる。

映像の符号化では、符号化対象の映像に細かいテクスチャが多く含まれていると、発生符号量が増加する傾向がある。特に雑音等のランダム性のあるテクスチャは、発生符号量を顕著に増加させる。このため、符号化対象の映像から雑音を除去することにより発生符号量を抑制することが可能である。しかしながら、符号化前雑音除去を行うと、復号により得られる映像が平坦化してしまい、元の映像の質感が損なわれてしまう。この質感の損失を補う方式として、特許文献1の復号化装置及び復号化プログラムが提案されている。

概要

映像符号化による映像の歪を抑制しつつ、ビットレートを調整可能とすること。レート制御装置は、第1の映像信号から特定の成分を除去した第2の映像信号を出力する信号処理部と、前記第2の映像信号を符号化した符号化映像信号のビットレートと、前記符号化映像信号を復号した復号映像信号符号化歪と、の少なくともいずれかに係る制御信号に基づいて、前記信号処理部による特定の成分の除去の度合いを制御する制御部と、を備え、前記信号処理部は、前記第2の映像信号の符号化における非可逆情報圧縮過程とは異なる演算によって前記特定の成分を除去する。

目的

従って、映像符号化による映像の歪を抑制しつつ、ビットレートを調整可能とすることが望まれている

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

第1の映像信号から特定の成分を除去した第2の映像信号を出力する信号処理部と、前記第2の映像信号を符号化した符号化映像信号のビットレートと、前記符号化映像信号を復号した復号映像信号符号化歪と、の少なくともいずれかに係る制御信号に基づいて、前記信号処理部による特定の成分の除去の度合いを制御する制御部と、を備え、前記信号処理部は、前記第2の映像信号の符号化における非可逆情報圧縮過程とは異なる演算によって前記特定の成分を除去するレート制御装置

請求項2

前記特定の成分とは、雑音成分であり、前記信号処理部は、パラメータによって除去の強度が可変中央値フィルタ又は低域通過型フィルタを用いて前記雑音成分を除去する請求項1に記載のレート制御装置。

請求項3

前記信号処理部による特定の信号成分の除去量を演算する演算部、を備える請求項1又は請求項2に記載のレート制御装置。

請求項4

前記符号化映像信号を一時的に蓄積する蓄積部、を備え、前記制御信号とは、前記蓄積部による前記符号化映像信号の蓄積量に係る信号である、請求項1から請求項3のいずれか一項に記載のレート制御装置。

請求項5

請求項3に記載のレート制御装置が演算した特定の成分の前記除去量に基づいて、特定の成分の信号を発生する信号発生部と、前記符号化映像信号を復号する映像復号部と、前記映像復号部が復号した前記復号映像信号に、前記信号発生部が発生した信号を重畳する重畳部と、を備える映像復号装置

請求項6

コンピュータに、第1の映像信号から特定の成分を除去した第2の映像信号を出力する第1ステップと、前記第2の映像信号を符号化した符号化映像信号のビットレートと、前記符号化映像信号を復号した復号映像信号の符号化歪と、の少なくともいずれかに係る制御信号に基づいて、前記第1の映像信号からの特定の成分の除去の度合いを制御する第2ステップと、を実行させるためのプログラムであって、前記第1ステップでは、前記第2の映像信号の符号化における非可逆な情報圧縮過程とは異なる演算によって前記特定の成分を除去するプログラム。

請求項7

コンピュータに、請求項3に記載のレート制御装置が演算した特定の成分の前記除去量に基づいて、特定の成分の信号を発生する第1ステップと、前記符号化映像信号を復号して復号映像信号を取得する第2ステップと、前記第2ステップにおいて復号した復号映像信号に、前記第1ステップにおいて発生した信号を重畳する第3ステップと、を実行させるためのプログラム。

技術分野

0001

本発明は、映像符号化におけるビットレート制御を実現する装置、及び、ビットレート制御されたビット列から映像復号する装置に関する。

背景技術

0002

映像符号化におけるビットレート制御法としては、これまでの発生符号量多寡に応じて直交変換係数量子化幅量子化パラメータ)を増減するのが一般的である。例えば、固定ビットレートCBR、Constant Bitrate)の実現方法としては、下記のものが知られている。まず、FIFO(First In First Out)型メモリ等の出力バッファを設ける。この出力バッファは、符号化後のビット列を一旦収めてから出力する。そして、出力バッファ内に現在蓄積されているデータ量がある所定の上限閾値を超えた場合には、量子化パラメータを増加する。また、出力バッファ内に現在蓄積されているデータ量が所定の下限閾値を超えた場合には、量子化パラメータを減少する。このように映像符号化処理を制御することで発生符号量を調整し、固定ビットレートを実現することができる。

0003

映像の符号化では、符号化対象の映像に細かいテクスチャが多く含まれていると、発生符号量が増加する傾向がある。特に雑音等のランダム性のあるテクスチャは、発生符号量を顕著に増加させる。このため、符号化対象の映像から雑音を除去することにより発生符号量を抑制することが可能である。しかしながら、符号化前雑音除去を行うと、復号により得られる映像が平坦化してしまい、元の映像の質感が損なわれてしまう。この質感の損失を補う方式として、特許文献1の復号化装置及び復号化プログラムが提案されている。

先行技術

0004

特許第5727872号公報

発明が解決しようとする課題

0005

しかしながら、量子化パラメータの増減はブロック歪の発生に影響するため、上記のような量子化パラメータの増減により発生符号量を制御する方式の場合、映像符号化が困難な映像の場合にはブロック歪が増加し、映像符号化が容易な映像の場合にはブロック歪が小さくなる。ブロック歪は矩形状の目立ちやすいパターンを呈するため、時々刻々の歪の増減が目障りになる。従って、映像符号化による映像の歪を抑制しつつ、ビットレートを調整可能とすることが望まれている。

0006

本発明のいくつかの態様は、映像符号化による映像の歪を抑制しつつ、ビットレートを調整可能とすることができるレート制御装置映像復号装置、及び、プログラムを提供することを目的の一つとする。

0007

また、本発明の他の態様は、後述する実施形態に記載した作用効果を奏することを可能にするレート制御装置、映像復号装置、及び、プログラムを提供することを目的の一つとする。

課題を解決するための手段

0008

上述した課題を解決するために、本発明の一態様は、第1の映像信号から特定の成分を除去した第2の映像信号を出力する信号処理部と、前記第2の映像信号を符号化した符号化映像信号のビットレートと、前記符号化映像信号を復号した復号映像信号符号化歪と、の少なくともいずれかに係る制御信号に基づいて、前記信号処理部による特定の成分の除去の度合いを制御する制御部と、を備え、前記信号処理部は、前記第2の映像信号の符号化における非可逆情報圧縮過程とは異なる演算によって前記特定の成分を除去するレート制御装置である。
また、本発明の一態様は、上記のレート制御装置であって、前記特定の成分とは、雑音成分であり、前記信号処理部は、パラメータによって除去の強度が可変中央値フィルタ又は低域通過型フィルタを用いて前記雑音成分を除去する。
また、本発明の一態様は、上記のレート制御装置であって、前記信号処理部による特定の信号成分の除去量を演算する演算部、を備える。
また、本発明の一態様は、上記のレート制御装置であって、前記符号化映像信号を一時的に蓄積する蓄積部、を備え、前記制御信号とは、前記蓄積部による前記符号化映像信号の蓄積量に係る信号である。
また、本発明の一態様は、上記のレート制御装置が演算した特定の成分の前記除去量に基づいて、特定の成分の信号を発生する信号発生部と、前記符号化映像信号を復号する映像復号部と、前記映像復号部が復号した前記復号映像信号に、前記信号発生部が発生した信号を重畳する重畳部と、を備える映像復号装置である。
また、本発明の一態様は、コンピュータに、第1の映像信号から特定の成分を除去した第2の映像信号を出力する第1ステップと、前記第2の映像信号を符号化した符号化映像信号のビットレートと、前記符号化映像信号を復号した復号映像信号の符号化歪と、の少なくともいずれかに係る制御信号に基づいて、前記第1の映像信号からの特定の成分の除去の度合いを制御する第2ステップと、を実行させるためのプログラムであって、前記第1ステップでは、前記第2の映像信号の符号化における非可逆な情報圧縮過程とは異なる演算によって前記特定の成分を除去するプログラムである。
また、本発明の一態様は、コンピュータに、上記のレート制御装置が演算した特定の成分の前記除去量に基づいて、特定の成分の信号を発生する第1ステップと、前記符号化映像信号を復号して復号映像信号を取得する第2ステップと、前記第2ステップにおいて復号した復号映像信号に、前記第1ステップにおいて発生した信号を重畳する第3ステップと、を実行させるためのプログラムである。

発明の効果

0009

本発明の一態様によれば、映像符号化による映像の歪を抑制しつつ、ビットレートを調整可能とすることができる。

図面の簡単な説明

0010

本発明の第1の実施形態に係る映像符号化復号システムの構成を示すブロック図である。
同実施形態に係るレート制御装置の構成を示すブロック図である。
同実施形態に係る映像復号装置の構成を示すブロック図である。
本発明の第2の実施形態に係るレート制御装置の構成を示すブロック図である。
同実施形態に係る映像復号装置の構成を示すブロック図である。
本発明の第3の実施形態に係るレート制御装置の構成を示すブロック図である。
本発明の第4の実施形態に係るレート制御装置の構成を示すブロック図である。

実施例

0011

以下、本発明の一実施形態について、図面を参照して説明する。
[第1の実施形態]
本発明の第1の実施形態について説明する。
まず、映像符号化復号システム1の構成について説明する。
本実施形態に係る映像符号化復号システム1は、MPEG−4 AVC/H.264やMPEG−HHEVC/H.265等の映像符号化方式により、映像の符号化・復号を行うシステムである。なお、映像符号化方式の種類は任意であり、可逆符号化であってもよいし、非可逆符号化であってもよい。

0012

図1は、本実施形態に係る映像符号化復号システム1の構成を示すブロック図である。
映像符号化復号システム1は、レート制御装置10と、映像符号化装置30と、伝送蓄積部50と、映像復号装置70と、を備える。レート制御装置10と、映像符号化装置30と映像復号装置70とは、例えば、コンピュータシステムを備える電子機器である。

0013

レート制御装置10は、映像符号化装置30と通信可能に接続され、映像符号化装置30による映像信号の圧縮符号化のビットレートを制御する装置である。レート制御装置10は、符号化対象の映像信号(入力映像信号)から特定の成分を除去する。特定の成分とは、周波数波長振幅位相の少なくともいずれかに係る成分である。本実施形態では、一例として、特定の成分とは、高周波数の雑音成分であるとして説明する。

0014

レート制御装置10は、映像信号からの雑音成分の除去の度合い(以下、「除去度」と称する。)を、所定の制御信号に応じて制御する。これにより、レート制御装置10は、所定の制御信号とは、符号化映像信号のビットレートと、復号映像信号の符号化歪との少なくともいずれかに係るパラメータである。

0015

レート制御装置10は、特定の成分を除去した映像信号(以下、「雑音除去映像信号」と称する。)を、映像符号化装置30に出力する。レート制御装置10は、雑音成分の除去度を調整することにより、映像信号の符号化難易度クリティカリティ)を調整することで映像信号の符号化のビットレートを制御する。除去度を高くすれば映像信号のクリティカリティが減少するため、映像符号化の発生符号量を相対的に少なくすることができ、除去度を低くすれば映像信号のクリティカリティが増加するため、映像符号化の発生符号量を相対的に大きくすることができる。これにより、レート制御装置10は、固定ビットレートを実現することができる。ただし、レート制御装置10は、固定ビットレートではなく、可変ビットレート(VBR、Variable Bitrate)としてもよいし、平均ビットレート(AVR、Averate Bitrate)としてもよい。

0016

映像符号化装置30は、レート制御装置10から雑音除去映像信号を圧縮符号化する。映像符号化装置30は、圧縮符号化した映像信号(以下、「符号化映像信号」と称する。)のビット列を、レート制御装置10に出力する。

0017

レート制御装置10は、映像符号化装置30から符号化映像信号のビット列を取得する。レート制御装置10は、取得した符号化映像信号のビット列を一旦蓄積し、ビット列の順序を保ったまま伝送蓄積部50に出力する。本実施形態では、一例として、上記の制御信号とは、レート制御装置10による符号化映像信号のビット列の蓄積量に係るパラメータであるとして説明する。つまり、レート制御装置10は、符号化映像信号のビット列の蓄積量に応じて、雑音成分の除去度を制御する。

0018

伝送蓄積部50は、符号化映像信号のビット列、すなわち符号を伝送又は蓄積する。伝送蓄積部50は、必要に応じ、映像符号化装置30側で伝送路符号化や信号の変調を行う。そして、伝送蓄積部50は、無線有線、又はこれらの組み合わせによる伝送路を通じて信号伝送を行う。伝送蓄積部50の映像復号装置70側で、必要に応じて復調や伝送路復号を行い、符号を出力する。伝送蓄積部50は、暗号化を施したり、電子署名を付加したり、他の信号との多重化逆多重化を行ったりしてもよい。また、伝送蓄積部50は、伝送路の途中経路において分配交換、再変調、遅延増幅等を行ってもよい。

0019

また、伝送蓄積部50は、符号を蓄積する場合、取得した符号を記憶媒体に保存する。伝送蓄積部50は、符号の保存と同時に符号を出力してもよいし、一旦保存された符号を読み出して出力してもよい。伝送蓄積部50は、取得した符号を記憶媒体に保存する際に、誤り訂正符号等による符号化や暗号化、電子署名付加等を行ってもよい。この記憶媒体は、固体メモリであってもよいし、磁気や光による記録媒体であってもよい。

0020

また、伝送蓄積部50は、伝送と蓄積を複合した形態であってもよい。この場合、伝送蓄積部50は、例えば、いわゆるクラウドのように、遠隔にある記憶媒体に符号を伝送し、当該遠隔にある記憶媒体にその符号を保存する。そして、伝送蓄積部50は、符号の保存と同時に符号を映像復号装置70に伝送したり、一旦保存された符号を読み出して映像復号装置70に出力したりする。
なお、ここでは、伝送蓄積部50は、伝送、蓄積の過程において、信号の誤り信号劣化を生じないものとする。つまり、伝送蓄積部50は、レート制御装置10から取得した符号を、そのまま映像復号装置70に出力する。

0021

映像復号装置70は、伝送蓄積部50から符号、すなわち符号化映像信号のビット列を取得する。映像復号装置70は、取得した符号化映像信号のビット列を復号する。映像復号装置70は、復号した映像信号(以下、「復号映像信号」と称する。)を、例えば、映像の再生装置等に出力する。
以上が、映像符号化復号システム1の構成についての説明である。

0022

次に、レート制御装置10の構成について説明する。
図2は、本実施形態に係るレート制御装置10の構成を示すブロック図である。
レート制御装置10は、雑音除去部11と、送信バッファ12と、制御部13と、を備える。雑音除去部11と、送信バッファ12と、制御部13とは、レート制御装置10のCPU(Central Processing Unit)が記憶部に記憶されたプログラムを実行することにより実装されてよいし、LSI(Large Scale Integration)、ASIC(Application Specific IntegratedCircuit)等の集積回路として実装されてもよい。

0023

雑音除去部11は、入力された映像信号から雑音成分を除去し、雑音除去映像信号を生成する。雑音除去部11は、雑音除去映像信号を映像符号化装置30に対して出力する。雑音除去部11による雑音成分の除去度は可変である。雑音除去部11は、後述の制御部13から取得する制御信号cに応じて雑音成分の除去度を変更する。

0024

前記雑音成分とは、撮像素子回路で発生する熱雑音、光量が少ない場合に光の粒子性に起因して生じるショット雑音、撮像素子の画素欠陥による点状や線状の画像信号パターン(いわゆる白傷や黒傷)など、被写体本来の像から逸脱して露呈する微小な(例えば、1画素乃至10画素程度の連結領域、あるいは1ライン又は1カラム程度の)画素値乱れを指す。また、前記雑音成分の除去とは、映像符号化における非可逆な情報圧縮過程(例えば、直交変換係数の量子化)とは異なる演算によって、映像信号波形の特定の波形成分を除去する操作を指すものとする。

0025

ここで、雑音除去部11による雑音成分の除去の具体例について説明する。
例えば、雑音除去部11は、入力映像信号のフレームIを処理対象とする。そして、フレームIの画像座標[x,y]Tにおける画素値を、画素値I([x,y]T)とする。上付きのTは、行列ベクトル転置を表す。つまり、画像座標([x,y]T)とは、列ベクトル表現された画像座標である。雑音除去部11は、雑音成分の除去度を示すパラメータpに応じて雑音成分を除去し、雑音除去映像信号Jpを生成する。そして、雑音除去部11は、雑音除去映像信号Jpを、映像符号化装置30に出力する。
例えば、雑音除去部11は、下記の式(1)、(2)の演算により、フレームIを雑音除去映像信号のフレームJpに変換する。

0026

0027

ここで、medは中央値演算であり、領域Kは中央値を求める対象の座標範囲とする。また、以下では、画像Mを中央値画像と称する。例えば領域Kは、以下の式(3)に示すように設定されてよい。

0028

0029

すなわち、領域Kをチェビシェフ距離における半径1の円内(円周を含む)の格子点集合とすることができる。なお、領域Kは、チェビシェフ距離の代わりにユークリッド距離マンハッタン距離により設定されてもよい。また、領域Kは、円以外であってもよいし、円の場合には半径は1以外の正の実数(1以上とする。)であってもよい。パラメータpは実数とし、例えば、0以上1以下の値(0≦p≦1)としてよい。この場合、式(1)において、パラメータpの値を大きくすれば大きくする程、中央値処理による雑音除去の効果が大きくなる。

0030

雑音除去部11は、制御部13からの制御信号cの値に応じて、雑音成分の除去度を変化させる。例えば、下記の式(4)に示すように、制御信号cの値に応じて、実定数a及び実定数bを用いてパラメータpを逐次更新する。

0031

0032

なお、式(4)において矢印(←)は、その左辺値右辺値で逐次更新することを表す。この逐次更新のタイミングは、例えばフレーム単位とする。実定数aは、「−1」以上ゼロ未満の値(−1≦a<0)としてよい。また、実定数bは、(0<b≦+1)としてよい。例えば、実定数a、bの値は、下記の式(5)、(6)のように設定してよい。

0033

0034

なお、雑音除去部11による雑音成分の除去方法は、上述した中央値演算に限られない。例えば、雑音除去部11は、低域通過型フィルタにより雑音成分を除去してもよい。この場合、例えば低域通過型フィルタの遮断周波数をパラメータpによって制御してもよい。この場合、パラメータpが大きい程、遮断周波数を小さくするようにしてよい。また、例えば、ガウシアンフィルタによる低域通過型フィルタの分散値をパラメータpに応じて制御してもよい。この場合、パラメータpが大きい程、分散値が大きくなるようにしてもよい。

0035

送信バッファ12は、映像符号化装置30から取得した符号化映像信号のビット列を一時的に記憶するメモリである。例えば、送信バッファは、FIFO型メモリである。送信バッファ12は、メモリ内に保持したビット列を、その順序を保ったまま適切なタイミングで順次出力する。ここで、適切なタイミングとは、例えば一定のビットレートであってもよいし、伝送蓄積部50のデータ輻輳状況に応じたタイミングであってもよい。

0036

また、送信バッファ12は、未送信量情報を制御部13へ出力する。
未送信量情報とは、送信バッファ12に蓄積され、未送信のデータの総量に関する情報である。例えば、未送信量情報とは、送信バッファ12内に蓄積されている未送信のデータの量そのものを示す情報であってもよいし、送信バッファ12内に蓄積されている未送信のデータの量が1、又は、複数の閾値を超えているか否かを示すフラグ情報であってもよい。以下では、一例として、未送信量情報とは、送信バッファ12内に蓄積されている未送信のデータの量を示す情報であるとして説明する。また、送信バッファ12内に蓄積されている未送信のデータの量を、未送信データ量uとし、送信バッファの記憶可能な最大容量を、容量Bとして説明する。

0037

制御部13は、未送信データ量uの多寡に応じて後述する雑音除去部11を制御するための制御信号cを生成する。
例えば、制御信号cは、未送信データ量uの増減に応じて3つの値をとる。具体的には、制御信号cは、増加の場合「1」(c=1)、保持の場合「0」(c=0)、減少の場合「−1」(c=−1)である。また、別の例では、未送信データ量uがない場合(u=0)、制御信号cを「1」(c=−1)とし、未送信データ量uが所定の閾値k・B以下の場合(0<u≦k・B)、制御信号cを「0」(c=0)とし、未送信データ量uが所定の閾値より大きい場合(u>kB)、制御信号cを「1」(c=1)としてもよい。このとき、係数kは0より大きく1以下(0<k≦1)の実定数とする。例えば、係数kの値は「0.8」(k=0.8)であってもよい。
以上が、レート制御装置10の構成についての説明である。

0038

ここで、係数kの値が「0.8」(k=0.8)の場合の雑音の除去度の制御の具体例について説明する。送信バッファ12が空(u=0)の場合には、制御信号cは「−1」(c=−1)となり、制御部13は、雑音成分の除去度が下がるように雑音除去部11を制御する。これにより、発生符号量が増加し、映像の劣化が抑制される。未送信データ量uが送信バッファ12の容量Bの8割を超えた場合(u>kB)には、制御信号cは「1」(c=1)となり、制御部13は、雑音成分の除去度が上がるように雑音除去部11を制御する。これにより、発生符号量が低下する。その他の場合(0<u≦k・B)には、制御部13は、雑音成分の除去度が現状のまま維持されるように雑音除去部11を制御する。
以上が、係数kの値が「0.8」(k=0.8)の場合の雑音の除去度の制御の具体例についての説明である。

0039

次に、映像復号装置70の構成について説明する。
図3は、映像復号装置70の構成を示すブロック図である。
映像復号装置70は、映像復号部71を備える。
映像復号部71は、映像符号化装置30(映像符号化部)と対をなす構成である。映像復号部71は、伝送蓄積部50を介して、レート制御装置10から出力された符号化映像信号のビット列を取得する。映像復号部71は、符号化映像信号を復号し、復号映像信号Rを生成する。映像復号部71は、復号映像信号Rを、表示装置等に出力する。
以上が、映像復号装置70の構成についての説明である。

0040

従来のレート制御装置は、発生符号量の多寡に応じて量子化パラメータを変更することにより、ビットレートを調整していた。そのため、従来のレート制御装置では、フレーム間でブロック歪の増減が生じることになり、目立ちやすかった。

0041

これに対して、本実施形態に係るレート制御装置10は、第1の映像信号(例えば、入力映像信号)から特定の成分(例えば、雑音成分)を除去した第2の映像信号(例えば、雑音除去映像信号)を出力する雑音除去部11と、前記第2の映像信号を符号化した符号化映像信号のビットレートに係る制御信号に基づいて、前記雑音除去部11による特定の成分の除去の度合いを制御する制御部13と、を備え、雑音除去部11は、前記第2の映像信号の符号化における非可逆な情報圧縮過程とは異なる演算によって前記特定の成分を除去する。

0042

つまり、レート制御装置10は、入力映像信号から特定の成分を除去して発生符号量を抑制する。また、レート制御装置10は、発生符号量の多寡に応じて、特定の成分の除去の度合いを制御し、発生符号量を調整する。そのため、レート制御装置10は、ビットレートの制御を行いながらも、フレーム間で、量子化パラメータの増減に起因するブロック歪の増減を生じない。従って、レート制御装置10は、映像符号化による映像の歪を抑制しつつ、ビットレートを調整可能とすることができる。つまり、映像符号化復号システム1は、レート制御によって生じる画質時間的変化をブロック歪のような目立つものではなく、例えば、より目立ちにくい雑音量の増減とするため、主観的な映像の品質を向上することができる。

0043

また、レート制御装置10において、前記特定の成分とは、雑音成分であり、雑音除去部11は、パラメータによって除去の強度が可変な中央値フィルタ又は低域通過型フィルタを用いて前記雑音成分を除去する。
雑音成分は、被写体本来の像から逸脱して露呈する微小な画素値の乱れであるため、中央値フィルタや低域通過型フィルタにより除去することが可能である。従って、レート制御装置10は、量子化パラメータを変更して発生符号量を調整する場合に比して、映像の品質を維持したままレート制御を行うことができる。

0044

また、レート制御装置10は、前記符号化映像信号を一時的に蓄積する送信バッファ12、を備え、前記制御信号とは、前記送信バッファ12による前記符号化映像信号の蓄積量(例えば、未送信データ量u)に係る信号である。
つまり、レート制御装置10は、符号化映像信号の発生符号量や伝送蓄積部50のデータ輻輳状況に応じて、特定の成分の除去の度合いを制御する。従って、レート制御装置10は、映像符号化による映像の歪を抑制しつつ、ビットレートを調整可能とすることができる。

0045

[第2の実施形態]
本発明の第2の実施形態について説明する。ここでは、上述した実施形態と同様の構成については、同一の符号を付し、説明を援用する。
本実施形態に係る映像符号化復号システム1A(不図示)は、映像符号化復号システム1と同様に、映像の符号化・復号を行うシステムである。ただし、映像符号化復号システム1Aは、入力映像信号から除去した雑音成分の量(除去量)を演算し、除去量に応じた雑音を復号時に加える。これにより、符号化時の発生符号量を抑制しつつ、復号時に入力映像信号の質感を再現することができる。

0046

次に、映像符号化復号システム1Aの構成について説明する。
映像符号化復号システム1Aは、映像符号化復号システム1が備えるレート制御装置10と映像復号装置70とに代えて、レート制御装置10Aと映像復号装置70Aとを備える。

0047

図4は、レート制御装置10Aの構成を示すブロック図である。
レート制御装置10Aは、レート制御装置10が備える各種構成に加え、雑音電力演算部14Aと、多重化部15Aと、を備える。
雑音電力演算部14Aは、入力映像信号と、雑音除去映像信号との間で、映像フレームを比較し、雑音成分の除去量を定量化する。例えば、雑音電力演算部14Aは、入力映像信号のフレームIと、雑音除去映像信号のフレームJpとに基づき、雑音電力Pを演算する。そして、雑音電力演算部14Aは、雑音電力Pを示す情報(すなわち、除去量に関する情報)を、多重化部15Aに出力する。この除去量に関する情報とは、雑音成分の除去に伴う画質変化を、復号時に補償するための情報である。雑音電力Pは、例えば、下記の式(7)により演算する。

0048

0049

多重化部15Aは、送信バッファ12から読み出した符号化映像信号のビット列と、雑音電力演算部14Aから取得した除去量に関する情報と、を多重化したビット列を、伝送蓄積部50に出力する。なお、多重化部15Aは、除去量に関する情報をそのまま多重化してもよいし、量子化してから多重化してもよい。また、多重化部15Aは、除去量に関する情報を、予測符号化エントロピー符号化してから多重化してもよいし、予測符号化の後にエントロピー符号化して多重化してもよい。

0050

図5は、映像復号装置70Aの構成を示すブロック図である。
映像復号装置70Aは、映像復号装置70が備える各種構成に加えて、逆多重化部72Aと、雑音発生部73Aと、重畳部74Aと、を備える。
逆多重化部72Aは、レート制御装置10Aの多重化部15Aにより多重化されたビット列から、符号化映像信号のビット列と、雑音成分の除去量に関する情報と、を分離する。逆多重化部72Aは、分離した符号化映像信号のビット列を、映像復号部71に出力する。また、逆多重化部72Aは、雑音成分の除去量に関する情報を雑音発生部73Aに出力する。

0051

雑音発生部73Aは、逆多重化部72Aから雑音成分の除去量に関する情報を取得する。雑音発生部73Aは、雑音成分の除去量に関する情報に基づき、雑音信号Nを生成する。例えば、雑音発生部73Aは、雑音電力Pに応じた分散値を有する雑音を生成し、これを画像化したものを雑音信号Nとする。雑音発生部73Aは、例えば、ガウス雑音を生成する。雑音発生部73Aは、生成した雑音信号Nを、重畳部74Aに出力する。

0052

重畳部74Aは、映像復号部71から復号映像信号Rを取得する。重畳部74Aは、雑音発生部73Aから雑音信号Nを取得する。重畳部74Aは、復号映像信号Rと、雑音信号Nと、を重畳し、出力映像信号Oとして出力する。例えば、重畳部74Aは、下記の式(8)に示すように、復号映像信号Rと、雑音信号Nと、を加算処理することにより重畳してよい。

0053

0054

以上が、映像符号化復号システム1Aの構成についての説明である。
以上説明したように、レート制御装置10Aは、雑音除去部11による特定の信号成分(例えば、雑音成分)の除去量を演算する雑音電力演算部14A、を備える。
また、映像復号装置70Aは、レート制御装置10Aが演算した特定の成分の前記除去量に基づいて、特定の成分の信号を発生する雑音発生部73Aと、前記符号化映像信号を復号する映像復号部71と、前記復号部が復号した前記復号映像信号に、前記信号発生部が発生した信号を重畳する重畳部74Aと、を備える映像復号装置である。

0055

つまり、レート制御装置10Aは、入力映像信号から除去された成分の量を特定する。例えば、レート制御装置10Aは、符号化映像信号のビット列とともに雑音量の増減に伴う画質変化を補償するための情報を付して送信することができる。そして、映像復号装置70Aは、レート制御装置10Aにより除去された量の成分を、復号映像信号に追加する。つまり、映像復号装置70Aは、例えば、符号化映像信号に対して符号化の前に除去された雑音量を補うことができる。従って、映像符号化復号システム1Aは、雑音除去処理、符号化・復号処理による映像の時間的な質感の変化を抑制し、主観的な画質を向上することができる。

0056

[第3の実施形態]
本発明の第3の実施形態について説明する。ここでは、上述した実施形態と同様の構成については、同一の符号を付し、説明を援用する。
本実施形態に係る映像符号化復号システム1B(不図示)は、映像符号化復号システム1Aと同様に、映像の符号化・復号を行うシステムであり、除去量に応じた雑音を復号時に加える。ただし、映像符号化復号システム1Aは、入力映像信号と、雑音除去映像信号との比較により除去量を演算したのに対して、映像符号化復号システム1Bは、入力映像信号と、復号映像信号との比較により除去量を演算する点が異なる。

0057

次に、映像符号化復号システム1Bの構成について説明する。
映像符号化復号システム1Bは、映像符号化復号システム1Aが備えるレート制御装置10Aに代えてレート制御装置10Bを備える。
図6は、レート制御装置10Bの構成を示すブロック図である。
レート制御装置10Bは、レート制御装置10Aが備える各種構成に加え、映像復号部16Bを備える。

0058

映像復号部16Bは、映像復号部71と同様の構成である。映像復号部16Bは、復号映像信号を、雑音電力演算部14Aに出力する。
本実施形態に係る雑音電力演算部14Aは、雑音除去映像信号のフレームに代えて、映像復号部16Bから取得する復号映像信号のフレームを用い、雑音電力Pを演算する。これにより、映像復号装置70Aは、雑音成分の除去量に応じた雑音を、復号映像信号に加えることができる。
以上が、映像符号化復号システム1Bの構成についての説明である。

0059

このように、レート制御装置10Bは、復号時に追加する特定の成分の量を、入力映像信号と、符号化・復号処理後の映像信号との比較により特定してもよい。

0060

[第4の実施形態]
本発明の第4の実施形態について説明する。ここでは、上述した実施形態と同様の構成については、同一の符号を付し、説明を援用する。
本実施形態に係る映像符号化復号システム1C(不図示)は、映像符号化復号システム1と同様に、映像の符号化・復号を行うシステムである。ただし、映像符号化復号システム1は、送信バッファ12の未送信データ量uに基づいて、入力映像信号からの雑音成分の除去度を制御したのに対して、映像符号化復号システム1Cは、符号化映像信号の符号化歪に基づいて、雑音成分の除去度を制御する点が異なる。

0061

次に、映像符号化復号システム1Cの構成について説明する。
映像符号化復号システム1Cは、映像符号化復号システム1が備えるレート制御装置10に代えてレート制御装置10Cを備える。
図7は、レート制御装置10Cの構成を示すブロック図である。
レート制御装置10Cは、レート制御装置10が備える制御部13に代えて、制御部13Cを備える。また、レート制御装置10Cは、レート制御装置10が備える各種構成に加え、映像復号部16Bを備える。

0062

制御部13Cは、送信バッファ12の未送信データ量uに代えて、符号化歪に基づいて制御信号cを決定する。制御部13Cは、任意の方法により符号化歪を演算してよい。例えば、制御部13Cは、雑音除去映像信号と、復号映像信号との比較により符号化歪を演算してよい。具体的には、HEVC Test Modelにおける歪評価関数を用いて符号化歪を演算してよい。そして、制御部13Cは、例えば、符号化歪が大きい場合には、制御信号cの値を「−1」(c=−1)とし、符号化歪が小さい場合には、制御信号cの値を「1」(c=1)としてよい。これにより、映像復号装置70Aは、符号化歪に基づいて雑音成分の除去度を制御することができる。
以上が、映像符号化復号システム1Cの構成についての説明である。

0063

このように、レート制御装置10Cは、送信バッファ12の未送信データ量u以外にも、符号化歪の程度に応じて特定の成分の除去の度合いを制御してもよい。この場合も、レート制御装置10Cは、映像符号化による映像の歪を抑制しつつ、ビットレートを調整可能とすることができる。

0064

[変形例]
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成は上述の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。例えば、上述の第1〜4の実施形態において説明した各構成は、任意に組み合わせることができる。また、例えば、上述の第1〜第4において説明した各構成は、別体の装置に分離して備えられてもよい。
例えば、制御信号cは、第1の実施形態で説明した送信バッファ12の未送信データ量uと、第4の実施形態で説明した符号化歪との両方に基づいて決定されてもよい。例えば、制御信号cは、R−D(Rate−Distortion)コストに基づいて決定されてよい。

0065

また、上述のレート制御装置10、10A、10B、10C、映像符号化装置30、映像復号装置70、70Aの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりレート制御装置10、10A、10B、10C、映像符号化装置30、映像復号装置70、70Aとしての処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、インターネットWAN、LAN、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、CD−ROM等の非一過性の記録媒体であってもよい。また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部又は外部に設けられた記録媒体も含まれる。配信サーバの記録媒体に記憶されるプログラムのコードは、端末装置で実行可能な形式のプログラムのコードと異なるものでもよい。すなわち、配信サーバからダウンロードされて端末装置で実行可能な形でインストールができるものであれば、配信サーバで記憶される形式は問わない。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に端末装置で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル差分プログラム)であってもよい。

0066

以上、図面を参照してこの発明の実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

0067

1、1A、1B、1C…映像符号化復号システム、10、10A、10B、10C…レート制御装置、30…映像符号化装置、50…伝送蓄積部、70、70A…映像復号装置、11…雑音除去部、12…送信バッファ、13、13C…制御部、14A…雑音電力演算部、15A…多重化部、16B…映像復号部、71…映像復号部、72A…逆多重化部、73A…雑音発生部、74A…重畳部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ