図面 (/)

技術 映像品質の客観評価装置

出願人 KDDI株式会社
発明者 杉本修酒澤茂之小池淳
出願日 2006年7月31日 (14年3ヶ月経過) 出願番号 2006-208091
公開日 2008年2月14日 (12年9ヶ月経過) 公開番号 2008-035357
状態 特許登録済
技術分野 TV信号の圧縮,符号化方式 立体TV及びTVの試験,検査,測定等 TV信号の圧縮,符号化方式
主要キーワード 特性直線 フレームレート毎 SE値 評価方式 スケーリング関数 客観評価値 伝送映像 重み付き和
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2008年2月14日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (11)

課題

マルチメディアアプリケーション向けなどの映像品質を、人間の主観による判断なしに自動的に主観品質推定する。

解決手段

特徴量抽出部1は、原画像xに対する評価画像yのブロック歪度、PSNR大域時間変動度、およびPSNR局所時間変動度を特徴量として抽出し、重み付き和計算部2は、該特徴量の重み付き和を計算し、客観画質指標を算出する。フレームレート検出部3は、評価画像yのフレームレートを検出する。補正部4は、該フレームレート検出部3で検出されたフレームレートに基づいて、前記客観画質指標を補正する。客観評価尺度主観画質マッピング部5は、予め与えられた客観画質指標と主観画質の相関関係に、前記補正された客観画質指標Qobjを適用して主観画質推定値DMOS導出する。

概要

背景

本発明に関連する従来技術として、下記の非特許文献1,2に開示されるようなものがある。

非特許文献1は、主にテレビジョン伝送における自動客観画質評価方式ユーザ要求について記述したものである。客観評価を行うにあたって、伝送前後の映像信号をいかに使用するかにより、Full Reference, Reduced Reference, No Reference という3つのフレームワークを規定されている。一般に、Full Referenceは圧縮符号化品質評価に、Reduced Reference, No Referenceは伝送映像受信画質の評価に用いられるべきであるなど、利用目的別のシステム実装法を記すことにより、自動客観画質評価方式に対するユーザ要求を示している。

非特許文献2は、標準テレビ方式の2次分品質(2次分配とは、主にテレビ局視聴者宅を結ぶ映像の伝送を指す。ほかに、テレビ局間での番組素材の配信を行う1次分配、スポーツニュースなどの番組素材提供のための素材伝送などのカテゴリがある。)を想定した、Full Reference型の自動客観評価方式の勧告である。非特許文献1ではシステムのフレームワークのみ示されていたが、非特許文献2では、具体的な画質評価の方式について記述されている。
ITU-T勧告 J.143 “User requirements for objective perceptual video quality measurements in digital cable television”
ITU-T勧告 J.144 “Objective perceptual video quality measurement techniques for digital cable television in the presence of a full reference”

概要

マルチメディアアプリケーション向けなどの映像の品質を、人間の主観による判断なしに自動的に主観品質推定する。特徴量抽出部1は、原画像xに対する評価画像yのブロック歪度、PSNR大域時間変動度、およびPSNR局所時間変動度を特徴量として抽出し、重み付き和計算部2は、該特徴量の重み付き和を計算し、客観画質指標を算出する。フレームレート検出部3は、評価画像yのフレームレートを検出する。補正部4は、該フレームレート検出部3で検出されたフレームレートに基づいて、前記客観画質指標を補正する。客観評価尺度主観画質マッピング部5は、予め与えられた客観画質指標と主観画質の相関関係に、前記補正された客観画質指標Qobjを適用して主観画質推定値DMOS導出する。

目的

本発明は、前記した従来技術の課題に鑑みてなされたものであり、その目的は、マルチメディアアプリケーション向けなどの映像の品質を、人間の主観による判断なしに自動的に主観品質推定する映像品質客観評価装置を提供することにある。

効果

実績

技術文献被引用数
4件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

原画像評価画像の2系統映像信号解析により映像主観品質推定する映像品質客観評価装置であって、前記原画像に対する評価画像のブロック歪度シーケンス内のフレームを対象とするPSNR大域時間変動度、およびフレーム毎のPSNR局所時間変動度を特徴量として抽出する特徴量抽出部と、前記ブロック歪度、PSNR大域時間変動度、およびPSNR局所時間変動度の重み付き和を求め、客観画質指標を算出する客観画質指標算出部と、前記評価画像のフレームレートを検出するフレームレート検出部と、該フレームレート検出部で検出されたフレームレートに基づいて、前記客観画質指算出部で算出された客観画質指標を補正する補正部と、予め与えられた客観画質指標と主観画質相関関係に、前記補正された客観画質指標を適用して主観画質推定値導出する主観画質推定値導出部とを具備したことを特徴とする映像品質の客観評価装置。

請求項2

請求項1に記載の映像品質の客観評価装置において、前記ブロック歪度は、前記原画像、評価画像の各画素ブロック隣接ブロックDC差分フレーム内平均値を求め、前記原画像における前記DC差分フレーム内平均値のシーケンス内最大値と前記評価画像における前記DC差分フレーム内平均値のシーケンス内最大値の差分をDC差分最大値として求め、原画像における前記DC差分フレーム内平均値のシーケンス内最小値と評価画像における前記DC差分フレーム内平均値のシーケンス内最小値の差分をDC差分最小値として求め、さらに、前記DC差分最大値とDC差分最小値の差をブロック歪度として求めることを特徴とする映像品質の客観評価装置。

請求項3

請求項1に記載の映像品質の客観評価装置において、前記PSNR大域時間変動度は、シーケンス内の各フレームのMSEの最大値と平均値の差分絶対値とシーケンス内の各フレームのMSEの最小値と平均値の差分絶対値の比をもとに導出することを特徴とする映像品質の客観評価装置。

請求項4

請求項3に記載の映像品質の客観評価装置において、前記シーケンス内のMSEの最大値と平均値の差と、最小値と平均値の差との比に対して、シーケンス内のMSE平均値によって値を変化させるスケーリング関数を乗じることを特徴とする映像品質の客観評価装置。

請求項5

請求項1に記載の映像品質の客観評価装置において、前記PSNR局所時間変動度は、当該フレームのPSNR値と、その前後フレームのPSNR値の平均値の差分絶対値との、シーケンス内最大値であることを特徴とする映像品質の客観評価装置。

請求項6

請求項5に記載の映像品質の客観評価装置において、前記PSNR局所時間変動度は、前記隣接フレーム間PSNR差分のシーケンス内最大値に対して、当該フレームのMSE値によって値を変化させるスケーリング関数を乗じることを特徴とする映像品質の客観評価装置。

技術分野

0001

本発明は映像品質客観評価装置に関し、特に、動画像伝送蓄積などにおいて、圧縮符号化等の画像処理が適用される場合の画像処理後の動画像、いわゆる受信画像再生画像品質を、人間の主観による判断なしに自動的に評価する映像品質の客観評価装置に関する。

背景技術

0002

本発明に関連する従来技術として、下記の非特許文献1,2に開示されるようなものがある。

0003

非特許文献1は、主にテレビジョン伝送における自動客観画質評価方式ユーザ要求について記述したものである。客観評価を行うにあたって、伝送前後の映像信号をいかに使用するかにより、Full Reference, Reduced Reference, No Reference という3つのフレームワークを規定されている。一般に、Full Referenceは圧縮符号化の品質評価に、Reduced Reference, No Referenceは伝送映像受信画質の評価に用いられるべきであるなど、利用目的別のシステム実装法を記すことにより、自動客観画質評価方式に対するユーザ要求を示している。

0004

非特許文献2は、標準テレビ方式の2次分配品質(2次分配とは、主にテレビ局視聴者宅を結ぶ映像の伝送を指す。ほかに、テレビ局間での番組素材の配信を行う1次分配、スポーツニュースなどの番組素材提供のための素材伝送などのカテゴリがある。)を想定した、Full Reference型の自動客観評価方式の勧告である。非特許文献1ではシステムのフレームワークのみ示されていたが、非特許文献2では、具体的な画質評価の方式について記述されている。
ITU-T勧告 J.143 “User requirements for objective perceptual video quality measurements in digital cable television”
ITU-T勧告 J.144 “Objective perceptual video quality measurement techniques for digital cable television in the presence of a full reference”

発明が解決しようとする課題

0005

非特許文献2)に記述されたFull Reference型の画質評価方式はITU勧告として認められる品質を達成している。しかし、これは標準テレビ方式の2次分配系を前提としたものである。標準テレビ方式とは、NTSC(525/60)方式の場合は、720画素×486ライン毎秒30フレームインタレース方式)であり、PAL(625/50)方式の場合は、720画素×576ライン、毎秒25フレーム(インタレース方式)なる信号形式である。

0006

また、2次分配の場合、映像の圧縮符号化で割り当てられるビットレート、すなわちテレビジョン伝送の帯域は、およそ1〜4Mbpsと想定されている。また、使用する圧縮符号化方式は主にMPEG-2方式であるという前提である。

0007

一方、近年の、InternetにおけるIP放送携帯電話網における地上デジタルワンセグ放送などに代表されるマルチメディアアプリケーションの普及に伴い、これらのアプリケーションで伝送される映像についても上記テレビジョン伝送の映像と同じく品質評価の要求が高まっている。

0008

しかしながら、非特許文献2の勧告は、上述のようにテレビジョン品質を前提としており、マルチメディアアプリケーションが対象とする、低解像度低フレームレートの映像(例えば、15フレーム/秒、10フレーム/秒、6フレーム/秒など)をMPEG-4/H.264等の高圧符号化方式を用い低ビットレート圧縮するような映像では高い精度は得られない。そのため、これらマルチメディアアプリケーション向けの自動客観画質評価技術が求められている。

0009

本発明は、前記した従来技術の課題に鑑みてなされたものであり、その目的は、マルチメディアアプリケーション向けなどの映像の品質を、人間の主観による判断なしに自動的に主観品質推定する映像品質の客観評価装置を提供することにある。

課題を解決するための手段

0010

前記した目的を達成するために、本発明は、原画像評価画像の2系統の映像信号の解析により映像の主観品質推定する映像品質の客観評価装置であって、前記原画像に対する評価画像のブロック歪度シーケンス内のフレームを対象とするPSNR大域時間変動度、およびフレーム毎のPSNR局所時間変動度を特徴量として抽出する特徴量抽出部と、前記ブロック歪度、PSNR大域時間変動度、およびPSNR局所時間変動度の重み付き和を求め、客観画質指標を算出する客観画質指標算出部と、前記評価画像のフレームレートを検出するフレームレート検出部と、該フレームレート検出部で検出されたフレームレートに基づいて、前記客観画質指算出部で算出された客観画質指標を補正する補正部と、予め与えられた客観画質指標と主観画質相関関係に、前記補正された客観画質指標を適用して主観画質推定値導出する主観画質推定値導出部とを具備した点に特徴がある。

発明の効果

0011

本発明によれば、原画像に対する評価画像のブロック歪度、PSNR大域時間変動度、およびPSNR局所時間変動度を特徴量として抽出し、該特徴量から客観画質指標を算出し、該客観画質指標を評価画像のフレームレート毎に補正することにより、低フレームレート動画像の特性を反映した評価値を導出するようにしているので、従来のテレビジョン画像の評価方式では困難だった低解像度・低フレームレートのマルチメディア動画像などの映像の品質を高精度にかつ自動的に評価することができるようになる。

0012

また、人間の主観による判断なしに、マルチメディア動画像などの低解像度・低フレームレート映像の主観品質推定が可能になる。

発明を実施するための最良の形態

0013

以下に、図面を参照して、本発明を詳細に説明する。図1は、2系統の映像信号を入力し、その映像信号を解析することにより、最終的に主観画質推定値を出力する本発明の一実施形態の自動客観画質評価装置の構成図である。ここでは、映像伝送にかかる画像処理を行う前の映像信号に相当する画像を「原画像x」、伝送後の受信画像に相当し、本発明において主観画質を推定する対象となる画像を「評価画像y」と記す。

0014

図1に示されているように、本実施形態の自動客観画質評価装置は、特徴量抽出部1、重み付き和計算部(または客観画質指標算出部)2、フレームレート検出部3、フレームレート別補正部4、客観評価尺度−主観画質マッピング部(または主観画質推定値導出部)5から構成されている。また、該特徴量抽出部1は、さらにブロック歪度計算部11、PSNR大域時間変動度計算部12、PSNR局所時間変動度計算部13という機能単位に分割される。

0015

以下に、前記した各構成要素の構成または機能を詳細に説明する。
<特徴量抽出部1>

0016

特徴量抽出部1では、主観画質の導出に必要な3つの映像特徴量、すなわち、ブロック歪度P1、PSNR大域時間変動度P2、およびPSNR局所時間変動度P3を抽出する。以下に、各映像特徴量の導出法を説明する。
1.ブロック歪度P1

0017

ブロック歪度計算部11では、図2に示す任意サイズ(同図では、8×8画素ブロックの例)の画素ブロック21と近傍4ブロック(右隣25、左下22、下23、右下24)とのDC差分のフレーム内平均dDC(f)を原画像xおよび評価画像yから求め、両者の差分をとり、さらに、その差分のシーケンス内最大値最小値の差分をもってブロック歪度P1と定義する。なお、本明細書における「シーケンス」とは、画質評価のために用いる原画像または評価画像の全体を意味し、通常は5〜15秒の映像により評価される。
P1=max{dDCRef(f)−dDCCod(f)}−min{dDCRef(f)−dDCCod(f)}

0018

ここに、dDCRef(f)は原画像xの前記DC差分のフレーム内平均、dDCCod(f)は評価画像yの前記DC差分のフレーム内平均である。また、DC差分のフレーム内平均dDC(f)は、図2の場合、次の式で表すことができる。この式中のNBは、フレーム内の画素ブロックの総数である。

0019

0020

2.PSNR大域時間変動度P2

0021

PSNR大域時間変動度P2は、シーケンス内の誤差電力MSEの最大値、最小値およびシーケンス内平均値を用いて求められる。

0022

まず、原画像xと評価画像yの間のMSEの最小値、最大値、平均値を定義する。MSEの最大値、最小値、平均値をそれぞれemin、emax、eaveと表すとき、これらは以下のように定義される。

0023

0024

ここで、x(f、n)はフレームfのn番目の画素の信号値、NPはフレーム内の画素数、NFはシーケンス中のフレーム数である。例えば毎秒15回フレームを更新する10秒間の映像により画質評価をする場合には、該シーケンス中のフレーム数は150フレームとなる。なお、原画像/評価画像間のシーケンスでフレームレートが異なる場合には、フレームマッチング等の手段により、対応するフレームを検出し、その対応フレーム間におけるPSNRを導出する。

0025

次に、前記emax、emin、eaveを基にPSNR大域時間変動度P2を求める。上述のとおり、PSNRは主観画質推定のための有力な情報である一方、シーケンス内の平均値のみを扱った場合、シーケンス内で画質が時間的に大きく変動するようなケースでその相関が低下する傾向が確認されている。そこで、シーケンス内の誤差電力の最大値emax、最小値eminについての平均値eaveからの偏りに応じて、以下のとおりPSNRの時間変動度P2を定義する。

0026

0027

ここで、f(eave)はシーケンス内平均MSEの平均値eaveに応じて値を変化させるスケーリング関数である。f(eave)の詳細についてはeaveの全域(ただし、eaveの定義より、実質的にはeave>0の区間)で単調増加する任意の関数が適用可能であるが、一例として、以下の関数が挙げられる。
・線形特性

0028

この線形特性は、f(eave)=eaveで定義される。特性としては、図3に示す特性となる。
・シグモイド関数

0029

このシグモイド関数は、eaveの値の高い部分と低い部分で飽和するような特性を持つ。f(eave)は次式により定義される。

0030

0031

特性としては、図4に示す特性となる。なお、図4においては、b1=10、b2=1、b3=25、b4=10である。

0032

f(eave)が単調増加するという性質からわかるとおり、f(eave)の項により、eaveの値が小さいとき、すなわち平均MSEが小さく評価画像の品質が高い場合には、P2の値を抑制し、eaveの値が大きく、評価画像の品質が低い場合には、P2の値を増加させる効果を持たせることができる。さらに、シグモイド関数を適用する場合、図4の両端の領域で一定値に飽和する特性を与えることができる。これは、人間の視覚飽和特性を反映した特性といえる。
3.PSNR局所時間変動度P3

0033

マルチメディアアプリケーション向けの低レート符号化では、キーフレームの挿入、シーンチェンジ、急激な動きの発生などによるPSNRの時間的な局所劣化が発生しやすい。そのため、PSNR局所時間変動度P3によりこれらの局所劣化による主観画質の劣化を検出する。

0034

図5に示すとおり、PSNRのV字型時間変化dPSNR(f)を求め、これをPSNR局所時間変動度P3とする。具体的には、当該フレームのインデクス(フレーム番号)をfとすると、その前後フレームf−1、f+1の平均PSNR値と当該フレームのPSNR値の差分絶対値をdPSNR(f)と定義し、dPSNR(f)のシーケンス中の最大値を求め、これをPSNR局所時間変動度P3とする。

0035

0036

なお、前記PSNR局所時間変動度P3に対して、当該フレームのMSE値によって値を変化するスケーリング関数を乗じてもよい。このスケーリング関数としては、MSE値によって単調減少する任意の関数が適用可能である。
<重み付き和計算部2>

0037

上述の客観評価尺度P1、P2、P3 の重み付き和により、客観評価指標Qobjを以下のとおり定義する。

0038

Qobj=αP1 +βP2 +γP3

0039

重みパラメータα、β、γについては、客観評価指標Qobjをフレームレート別補正部、客観評価指標−主観画質マッピング部で変換した際に、主観画質との推定誤差が最小となる値を選ぶこととする。例えば、α=0.2,β=0.4,γ=0.004とすることができる。なお、該重みパラメータα、β、γは、負の数になることもありうる。
<フレームレート検出部3>

0040

フレームレート検出部3では、評価画像yの映像信号を解析し、フレームレート値を出力する。本発明では、原画像xのフレームレートと評価画像yのフレームレートは同一か、もしくは原画像xのフレームレートが高いことを前提とするため、両者のうちフレームレートの低い側である評価画像yのフレームレートを検出する。

0041

検出されたフレームレート値は、フレームレート別補正部4に出力される。
<フレームレート別補正部4>

0042

重み付き和計算部2で出力された客観評価指標Qobjと主観画質(DMOS)の相関をとると、図6のようにフレームレートa、b、c、・・・毎に異なる特性を示すことがある。自動客観評価装置としては、フレームレートに依存せず安定した評価値を出力することが求められるため、本フレームレート別補正部4では、補正特性図1参照)を用いてフレームレート毎の主観評価尺度−客観評価尺度の特性の違いを吸収し、フレームレートによらない客観評価値に補正する。補正の方法は以下の通りである。

0043

図7に示されているように、フレームレートbの画像の主観評価値とそれを近似した客観評価値のデータの組を(Qb,DMOSb)とし、これを基準となるフレームレートaの特性y=c0×Qobj+c1上に移動させることを考える。この場合、フレームレートaの特性直線上で、主観評価値DMOSbを与えるような客観評価値Qaを求め、これを補正後の客観評価値とする。すなわち、

0044

DMOSb=c0×Qa+c1
なる関係が得られるため、これをQaについて解き、

0045

Qa=DMOSb/c0−c1
なる補正値を得る。
<客観評価—主観評価マッピング部(主観画質推定値導出部)5>

0046

最終的に上記のフレームレート別補正を行った後の客観評価指標Qobjと主観評価尺度DMOSの関係を、多数のサンプルで求めると例えば図8のとおりとなる。図8は、3fps(フレーム/秒)、5fps、10fpsおよび15fpsの評価画像を用いて、客観評価指標Qobjと主観評価尺度DMOSの関係を求めたものである。図示から明らかなように、両者の関係は、多項式関数により良く近似することができる。

0047

しかしながら、これらのデータをフレームレート毎に分類してみると、フレームレート毎にデータの集合に偏りがあることが分かる。そこで、図9のように、フレームレート毎に回帰曲線を求めると、フレームレート単位で回帰直線の傾きが異なり、これによりデータのばらつきが発生していることが分かる。よって、全てのフレームレートのデータ集合が同一の直線上に乗るようにQobjの値に補正を行う。

0048

図10は、この補正を行った後のQobj−DMOS特性である。この時の両者の関係は、一例として、下記の多項式関数によりよく近似することができる。

0049

DMOS=−0.0035x3+0.1776x2−2.8234x+14.379 (なお、x=Qobjである)

0050

したがって、この関数を客観評価—主観評価マッピング部5または主観画質推定値導出部5に予め記憶させておき、該関数に前記補正された客観画質指標Qobjを適用して主観画質推定値を導出する。すなわち、図10実線曲線上の点が客観画質指標Qobjに対応する推定主観画質となる。

0051

以上のように、本発明によれば、人間の主観による判断なしに、マルチメディア動画像などの低解像度・低フレームレート映像の主観品質推定が可能になる。

0052

なお、本実施形態で説明した前記特徴量抽出部1におけるブロック歪度、PSNR大域時間変動度、およびPSNR局所時間変動度の導出方法、重み付き和計算部2における重み付き和の計算方法は一例に過ぎず、本発明は他の導出方法、計算方法であってもよいことは勿論である。

図面の簡単な説明

0053

本発明の一実施形態の概略の構成を示すブロック図である。
ブロックのDC差分を求める一方法の説明図である。
線形特性の一例を示す図である。
線形特性の他の例であるジグモイド関数を示す図である。
PSNR局所的劣化の定義を示す図である。
フレームレート毎の客観評価値−主観評価値特性を示す図である。
客観評価値−主観評価値特性のフレームレート補正方法を示す図である。
フレームレート補正後の客観評価値−主観評価値特性を示す図である。
フレームレートの集合毎の回帰曲線を示す図である。
フレームレートのデータ集合が同一の直線上に乗るように補正した後の客観評価値−主観評価値特性を示す図である。

符号の説明

0054

1・・・特徴量抽出部、2・・・重み付き和計算部、3・・・フレームレート検出部、4・・・フレームレート別補正部、5・・・客観評価尺度・主観画質マッピング部、
11・・・ブロック歪度計算部、12・・・PSNR大域時間変動度計算部、13・・・PSNR局所時間変動度計算部。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ