図面 (/)

技術 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラムならびに映像伝送装置

出願人 富士通株式会社
発明者 小山純平
出願日 2009年9月1日 (11年3ヶ月経過) 出願番号 2009-201928
公開日 2011年3月17日 (9年9ヶ月経過) 公開番号 2011-055229
状態 特許登録済
技術分野 TV信号の圧縮,符号化方式 TV信号の圧縮,符号化方式
主要キーワード 輝度変化値 画像統計量 検出用閾値 劣等性 平均エッジ強度 補正値決定 カットチェンジ エッジ線
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2011年3月17日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (6)

課題

段階的シーン遷移以外の要因により、連続するピクチャ間画像統計量が大きく変化してしまうシーンであっても、段階的シーン遷移が適用されているか否かを高い精度で判定できる動画像符号化装置を提供する。

解決手段

動画像符号化装置1は、符号化対象ピクチャを分割した複数の小領域のうち、参照ピクチャ上の対応する位置にある領域と類似する小領域を静止領域として選択する。動画像符号化装置1は、静止領域に含まれる符号化対象ピクチャの画素の値及び対応する参照ピクチャの画素の値に関する第1の統計量が所定の判定条件を満たす場合、段階的シーン遷移が適用されていると判定する。そして動画像符号化装置1は、段階的シーン遷移が適用されていると判定された場合、符号化対象ピクチャの画素の値及び対応する参照ピクチャの画素の値に関する第2の統計量に基づいて動き補償用補正値を算出する。

概要

背景

動画像データは、一般に非常に大きなデータ量を有する。そのため、動画像データを扱う装置は、動画像データを他の装置へ送信しようとする場合、あるいは、動画像データを記憶装置に記憶しようとする場合、動画像データを符号化することにより圧縮する。代表的な動画像の符号化方式として、International Standardization Organization/International Electrotechnical Commission(ISO/IEC)で策定されたMoving Picture Experts Group phase 2(MPEG-2)、MPEG-4、あるいはH.264 MPEG-4 Advanced Video Coding(H.264 MPEG-4 AVC)が広く利用されている。
このような符号化方式では、符号化対象ピクチャと、その前後のピクチャの情報を用いて、符号化対象のピクチャを符号化するインター符号化方法が採用されている。インター符号化方法では、符号化対象のピクチャが複数のブロックに分割される。そして、各ブロックに対して、ピクチャ間での動き補償するために、前後の既に符号化されたピクチャを復号したピクチャから、最も類似している領域がブロックマッチングにより選択され、各ブロックとその選択された類似領域との差分情報が求められる。その後、その差分情報と、各ブロックがその類似領域から移動している量を表す動きベクトルとが符号化される。そのため、インター符号化方法は、冗長な情報を取り除くことができるので、符号化対象の1枚のピクチャ内に含まれる情報のみを用いてそのピクチャを符号化するイントラ符号化方法の圧縮効率よりも高い圧縮効率を達成することができる。

しかし、フェードまたはディゾルブなどが適用されたシーンのように、段階的に遷移するシーンにおいては、ピクチャの各画素輝度または色差が時間的にかつ人工的に変化するため、ピクチャ間の類似度が低下する。そのため、ブロックマッチングによる動き補償の精度が低下する。その結果、符号化効率が低下してしまうといった問題があった。MPEGとInternational Telecommunication Union(ITU)により勧告されたH.264 MPEG-4 AVCには、そのような問題を解消するため、重み付け予測と呼ばれる技術が採用されている。重み付け予測技術は、動画像を符号化または復号する際に、参照ピクチャの輝度及び色差の値を線形補正することにより、参照ピクチャの輝度及び色差の値を符号化対象ピクチャの輝度及び色差レベルに近付ける。これにより、重み付け予測技術は、予測誤差を減少させることができるので、符号化効率を向上することができる。この重み付け予測技術を使用するためには、フェードが適用されているフェード区間を正確に検出することと、動き補償用補正値である、重み付け係数及びオフセット値を適切に決定することが必要となる。
なお、以下では、ピクチャの各画素の輝度または色差に関する統計量を、画像統計量と呼ぶ。

従来のフェード検出手法と重み付け係数及びオフセット値を決定する手法は、符号化対象ピクチャと参照ピクチャ間の画像統計量の変化がフェードのみによって引き起こされることを前提としている。すなわち、ディゾルブまたはフェード区間内のピクチャでは、二つのショットが互いに異なる明るさで重なりあっているため、ピクチャ上に写っている物体輪郭ぼやけている。そのため、ディゾルブ・フェード区間に含まれるピクチャでは、ディゾルブ・フェード区間に含まれないピクチャと比べてエッジが検出され難い。
そこで、ピクチャ上のエッジ画素の数を調べることで、ディゾルブまたはフェード区間に含まれるピクチャとそれ以外のピクチャを識別する技術が提案されている。また、ピクチャ間のエッジヒストグラムの差が閾値以上のときに、フェードを含むカットチェンジとして検出する技術も提案されている。(例えば、特許文献1及び2を参照)。

重み付け係数・オフセット値を算出する手法として、各ピクチャにおける、各画素の輝度とピクチャ全体の輝度平均値との差の絶対値和、または近傍画素間輝度値の差の絶対値和に基づいて重み付け係数及びオフセット値を決定する手法が提案されている。
また、フェードが適用されている区間では、ピクチャ間の画像統計量の変化が大きいため、正確に動き補償することは困難である。すなわち、フェードシーンでは、ピクチャ上に写っている物体の位置が時間的に変化しない静止領域であっても、静止領域に対する動きベクトルが、参照ピクチャ上でその静止領域と異なる位置にある領域を示してしまう。このような問題を解決するため、輝度補正二段階に行う手法が提案されている(例えば、非特許文献1及び特許文献3を参照)。

概要

段階的シーン遷移以外の要因により、連続するピクチャ間で画像統計量が大きく変化してしまうシーンであっても、段階的シーン遷移が適用されているか否かを高い精度で判定できる動画像符号化装置を提供する。動画像符号化装置1は、符号化対象ピクチャを分割した複数の小領域のうち、参照ピクチャ上の対応する位置にある領域と類似する小領域を静止領域として選択する。動画像符号化装置1は、静止領域に含まれる符号化対象ピクチャの画素の値及び対応する参照ピクチャの画素の値に関する第1の統計量が所定の判定条件を満たす場合、段階的シーン遷移が適用されていると判定する。そして動画像符号化装置1は、段階的シーン遷移が適用されていると判定された場合、符号化対象ピクチャの画素の値及び対応する参照ピクチャの画素の値に関する第2の統計量に基づいて動き補償用の補正値を算出する。

目的

そこで、本明細書は、段階的シーン遷移以外の要因により、連続するピクチャ間で画像統計量が大きく変化してしまうシーンであっても、段階的シーン遷移が適用されているか否かを高い精度で判定できる動画像符号化装置を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

符号化対象ピクチャを分割した複数の小領域のうち、参照ピクチャ上の対応する位置にある領域と類似する小領域を静止領域として選択する領域選択部と、前記静止領域に含まれる符号化対象ピクチャの画素の値及び対応する参照ピクチャの画素の値に関する第1の統計量が所定の判定条件を満たす場合、段階的シーン遷移が適用されていると判定する段階的シーン遷移検出部と、段階的シーン遷移が適用されていると判定された場合、符号化対象ピクチャの画素の値及び対応する参照ピクチャの画素の値に関する第2の統計量に基づいて、参照ピクチャの各画素の値と対応する位置にある符号化対象ピクチャの画素の値とが一致するように、参照ピクチャまたは符号化対象ピクチャを補正する補正値を算出する補正値決定部と、前記補正値により補正された参照ピクチャまたは符号化対象ピクチャを用いて参照ピクチャと符号化対象ピクチャ間の動きを表す動きベクトルを計算する動きベクトル計算部と、前記動きベクトルを用いて動き補償された符号化対象ピクチャを符号化する符号化部と、を有する動画像符号化装置

請求項2

符号化対象ピクチャのエッジ画像及び参照ピクチャのエッジ画像を求めるエッジ検出部をさらに有し、前記領域選択部は、符号化対象ピクチャのエッジ画像を分割した複数の小領域のうち、参照ピクチャのエッジ画像上の対応する位置にある領域と類似する小領域を前記静止領域とする請求項1に記載の動画像符号化装置。

請求項3

前記エッジ検出部は、符号化対象ピクチャのエッジ画像及び参照ピクチャのエッジ画像を、所定の強度よりも高いエッジ強度を持つエッジ画素とその他の画素に2値化し、前記領域選択部は、前記複数の小領域のうち、当該小領域に含まれる各エッジ画素のうち、参照ピクチャ上の対応する位置にある画素もエッジ画素である画素の数が当該小領域に含まれるエッジ画素の総数に占める割合が所定の閾値よりも高い小領域を前記静止領域とする、請求項2に記載の動画像符号化装置。

請求項4

前記段階的シーン遷移検出部は、符号化対象ピクチャの静止領域に含まれる画素の輝度値平均値と参照ピクチャの静止領域に含まれる画素の輝度値の平均値との差の絶対値を前記第1の統計量として算出し、該差の絶対値が所定の閾値よりも高い場合、前記所定の条件が満たされると判定する、請求項1〜3の何れか一項に記載の動画像符号化装置。

請求項5

前記補正値決定部は、符号化対象ピクチャ及び参照ピクチャの前記静止領域に含まれる画素から前記第2の統計量を算出する、請求項1〜4の何れか一項に記載の動画像符号化装置。

請求項6

符号化対象ピクチャを分割した複数の小領域のうち、参照ピクチャ上の対応する位置にある領域と類似する小領域を静止領域として選択し、前記静止領域に含まれる符号化対象ピクチャの画素の値及び対応する参照ピクチャの画素の値に関する第1の統計量が所定の判定条件を満たす場合、段階的シーン遷移が適用されていると判定し、段階的シーン遷移が適用されていると判定された場合、符号化対象ピクチャの画素の値及び対応する参照ピクチャの画素の値に関する第2の統計量に基づいて、参照ピクチャの各画素の値と対応する位置にある符号化対象ピクチャの画素の値とが一致するように、参照ピクチャまたは符号化対象ピクチャを補正する補正値を算出し、前記補正値により補正された参照ピクチャまたは符号化対象ピクチャを用いて参照ピクチャと符号化対象ピクチャ間の動きを表す動きベクトルを計算し、前記動きベクトルを用いて動き補償された符号化対象ピクチャを符号化する、ことを含む動画像符号化方法

請求項7

符号化対象ピクチャを分割した複数の小領域のうち、参照ピクチャ上の対応する位置にある領域と類似する小領域を静止領域として選択し、前記静止領域に含まれる符号化対象ピクチャの画素の値及び対応する参照ピクチャの画素の値に関する第1の統計量が所定の判定条件を満たす場合、段階的シーン遷移が適用されていると判定し、段階的シーン遷移が適用されていると判定された場合、符号化対象ピクチャの画素の値及び対応する参照ピクチャの画素の値に関する第2の統計量に基づいて、参照ピクチャの各画素の値と対応する位置にある符号化対象ピクチャの画素の値とが一致するように、参照ピクチャまたは符号化対象ピクチャを補正する補正値を算出し、前記補正値により補正された参照ピクチャまたは符号化対象ピクチャを用いて参照ピクチャと符号化対象ピクチャ間の動きを表す動きベクトルを計算し、前記動きベクトルを用いて動き補償された符号化対象ピクチャを符号化する、ことをコンピュータに実行させる動画像符号化コンピュータプログラム

請求項8

入力されたオーディオ信号を符号化するオーディオ符号化部と、入力された動画像信号を符号化する動画像符号化部であって、前記動画像信号に含まれる符号化対象ピクチャを分割した複数の小領域のうち、前記動画像信号に含まれる、既に符号化されたピクチャ復号することにより生成された参照ピクチャ上の対応する位置にある領域と類似する小領域を静止領域として選択し、前記静止領域に含まれる符号化対象ピクチャの画素の値及び対応する参照ピクチャの画素の値に関する第1の統計量が所定の判定条件を満たす場合、段階的シーン遷移が適用されていると判定し、段階的シーン遷移が適用されていると判定された場合、符号化対象ピクチャの画素の値及び対応する参照ピクチャの画素の値に関する第2の統計量に基づいて、参照ピクチャの各画素の値と対応する位置にある符号化対象ピクチャの画素の値とが一致するように、参照ピクチャまたは符号化対象ピクチャを補正する補正値を算出し、前記補正値により補正された参照ピクチャまたは符号化対象ピクチャを用いて参照ピクチャと符号化対象ピクチャ間の動きを表す動きベクトルを計算し、前記動きベクトルを用いて動き補償された符号化対象ピクチャを符号化する、動画像符号化部と、前記動画像符号化部により符号化された動画像信号と前記オーディオ符号化部により符号化されたオーディオ信号を多重化することにより映像ストリームを生成する多重化部と、を有する映像伝送装置

技術分野

0001

ここに開示される実施形態は、符号化対象であるピクチャ参照ピクチャを用いて動き補償することにより符号化する動画像符号化装置動画像符号化方法及び動画像符号化コンピュータプログラムならびに映像伝送装置に関する。

背景技術

0002

動画像データは、一般に非常に大きなデータ量を有する。そのため、動画像データを扱う装置は、動画像データを他の装置へ送信しようとする場合、あるいは、動画像データを記憶装置に記憶しようとする場合、動画像データを符号化することにより圧縮する。代表的な動画像の符号化方式として、International Standardization Organization/International Electrotechnical Commission(ISO/IEC)で策定されたMoving Picture Experts Group phase 2(MPEG-2)、MPEG-4、あるいはH.264 MPEG-4 Advanced Video Coding(H.264 MPEG-4 AVC)が広く利用されている。
このような符号化方式では、符号化対象のピクチャと、その前後のピクチャの情報を用いて、符号化対象のピクチャを符号化するインター符号化方法が採用されている。インター符号化方法では、符号化対象のピクチャが複数のブロックに分割される。そして、各ブロックに対して、ピクチャ間での動き補償するために、前後の既に符号化されたピクチャを復号したピクチャから、最も類似している領域がブロックマッチングにより選択され、各ブロックとその選択された類似領域との差分情報が求められる。その後、その差分情報と、各ブロックがその類似領域から移動している量を表す動きベクトルとが符号化される。そのため、インター符号化方法は、冗長な情報を取り除くことができるので、符号化対象の1枚のピクチャ内に含まれる情報のみを用いてそのピクチャを符号化するイントラ符号化方法の圧縮効率よりも高い圧縮効率を達成することができる。

0003

しかし、フェードまたはディゾルブなどが適用されたシーンのように、段階的に遷移するシーンにおいては、ピクチャの各画素輝度または色差が時間的にかつ人工的に変化するため、ピクチャ間の類似度が低下する。そのため、ブロックマッチングによる動き補償の精度が低下する。その結果、符号化効率が低下してしまうといった問題があった。MPEGとInternational Telecommunication Union(ITU)により勧告されたH.264 MPEG-4 AVCには、そのような問題を解消するため、重み付け予測と呼ばれる技術が採用されている。重み付け予測技術は、動画像を符号化または復号する際に、参照ピクチャの輝度及び色差の値を線形補正することにより、参照ピクチャの輝度及び色差の値を符号化対象ピクチャの輝度及び色差レベルに近付ける。これにより、重み付け予測技術は、予測誤差を減少させることができるので、符号化効率を向上することができる。この重み付け予測技術を使用するためには、フェードが適用されているフェード区間を正確に検出することと、動き補償用補正値である、重み付け係数及びオフセット値を適切に決定することが必要となる。
なお、以下では、ピクチャの各画素の輝度または色差に関する統計量を、画像統計量と呼ぶ。

0004

従来のフェード検出手法と重み付け係数及びオフセット値を決定する手法は、符号化対象ピクチャと参照ピクチャ間の画像統計量の変化がフェードのみによって引き起こされることを前提としている。すなわち、ディゾルブまたはフェード区間内のピクチャでは、二つのショットが互いに異なる明るさで重なりあっているため、ピクチャ上に写っている物体輪郭ぼやけている。そのため、ディゾルブ・フェード区間に含まれるピクチャでは、ディゾルブ・フェード区間に含まれないピクチャと比べてエッジが検出され難い。
そこで、ピクチャ上のエッジ画素の数を調べることで、ディゾルブまたはフェード区間に含まれるピクチャとそれ以外のピクチャを識別する技術が提案されている。また、ピクチャ間のエッジヒストグラムの差が閾値以上のときに、フェードを含むカットチェンジとして検出する技術も提案されている。(例えば、特許文献1及び2を参照)。

0005

重み付け係数・オフセット値を算出する手法として、各ピクチャにおける、各画素の輝度とピクチャ全体の輝度平均値との差の絶対値和、または近傍画素間輝度値の差の絶対値和に基づいて重み付け係数及びオフセット値を決定する手法が提案されている。
また、フェードが適用されている区間では、ピクチャ間の画像統計量の変化が大きいため、正確に動き補償することは困難である。すなわち、フェードシーンでは、ピクチャ上に写っている物体の位置が時間的に変化しない静止領域であっても、静止領域に対する動きベクトルが、参照ピクチャ上でその静止領域と異なる位置にある領域を示してしまう。このような問題を解決するため、輝度補正二段階に行う手法が提案されている(例えば、非特許文献1及び特許文献3を参照)。

0006

特開2005−79675号公報
特開平6−237414号公報
特開2006−54802号公報

先行技術

0007

H. Aoki, Y. Miyamoto, "An H.264 Weighted Prediction Parameter Estimation Method for Fade Effects in Video Scenes", 2008, 2008IEEE International Conference on Image Processing (ICIP 2008), pp. 2112--2115

発明が解決しようとする課題

0008

しかし、フェード以外の要因により、連続するピクチャ間で、画像統計量が大きく変化してしまう場合には、従来の技術は、フェード区間を誤って検出したり、あるいは、重み付け係数及びオフセット値を適切に求めることができないおそれがあった。そのため、このような場合には、従来の技術では、フェード区間を誤検出したり、あるいは不適切な重み付け係数及びオフセット値を決定してしまうことにより符号化効率が著しく低下してしまうおそれがあった。
例えば、大きな物体がピクチャ内に突然進入してくるようなシーンでは、その物体が存在するピクチャと存在しないピクチャとの間で画像全体の画像統計量は大きく異なる。そのため、画像全体の画像統計量に基づいてフェード区間か否か判断する従来のフェード検出技術は、このようなシーンをフェードであると誤検出してしまう可能性がある。また、重み付け係数及びオフセット値を算出する従来の技術も、上記と同様のシーンについて、進入してくる物体による画像統計量の変化のため、重み付け係数及びオフセット値を正確に算出することが困難である。

0009

そこで、本明細書は、段階的シーン遷移以外の要因により、連続するピクチャ間で画像統計量が大きく変化してしまうシーンであっても、段階的シーン遷移が適用されているか否かを高い精度で判定できる動画像符号化装置を提供することを目的とする。

課題を解決するための手段

0010

一つの実施形態によれば、動画像符号化装置が提供される。この動画像符号化装置は、符号化対象ピクチャを分割した複数の小領域のうち、参照ピクチャ上の対応する位置にある領域と類似する小領域を静止領域として選択する領域選択部と、静止領域に含まれる符号化対象ピクチャの画素の値及び対応する参照ピクチャの画素の値に関する第1の統計量が所定の判定条件を満たす場合、段階的シーン遷移が適用されていると判定する段階的シーン遷移検出部と、段階的シーン遷移が適用されていると判定された場合、符号化対象ピクチャの画素の値及び対応する参照ピクチャの画素の値に関する第2の統計量に基づいて、参照ピクチャの各画素の値と対応する位置にある符号化対象ピクチャの画素の値とが一致するように、参照ピクチャまたは符号化対象ピクチャを補正する補正値を算出する補正値決定部と、補正値により補正された参照ピクチャまたは符号化対象ピクチャを用いて参照ピクチャと符号化対象ピクチャ間の動きを表す動きベクトルを計算する動きベクトル計算部と、動きベクトルを用いて動き補償された符号化対象ピクチャを符号化する符号化部とを有する。

0011

また他の実施形態によれば、動画像符号化方法が提供される。この動画像符号化方法は、符号化対象ピクチャを分割した複数の小領域のうち、参照ピクチャ上の対応する位置にある領域と類似する小領域を静止領域として選択し、静止領域に含まれる符号化対象ピクチャの画素の値及び対応する参照ピクチャの画素の値に関する第1の統計量が所定の判定条件を満たす場合、段階的シーン遷移が適用されていると判定し、段階的シーン遷移が適用されていると判定された場合、符号化対象ピクチャの画素の値及び対応する参照ピクチャの画素の値に関する第2の統計量に基づいて、参照ピクチャの各画素の値と対応する位置にある符号化対象ピクチャの画素の値とが一致するように、参照ピクチャまたは符号化対象ピクチャを補正する補正値を算出し、補正値により補正された参照ピクチャまたは符号化対象ピクチャを用いて参照ピクチャと符号化対象ピクチャ間の動きを表す動きベクトルを計算し、動きベクトルを用いて動き補償された符号化対象ピクチャを符号化することを含む。

0012

さらに他の実施形態によれば、コンピュータに動画像データを符号化させる動画像符号化用コンピュータプログラムが提供される。このコンピュータプログラムは、符号化対象ピクチャを分割した複数の小領域のうち、参照ピクチャ上の対応する位置にある領域と類似する小領域を静止領域として選択し、静止領域に含まれる符号化対象ピクチャの画素の値及び対応する参照ピクチャの画素の値に関する第1の統計量が所定の判定条件を満たす場合、段階的シーン遷移が適用されていると判定し、段階的シーン遷移が適用されていると判定された場合、符号化対象ピクチャの画素の値及び対応する参照ピクチャの画素の値に関する第2の統計量に基づいて、参照ピクチャの各画素の値と対応する位置にある符号化対象ピクチャの画素の値とが一致するように、参照ピクチャまたは符号化対象ピクチャを補正する補正値を算出し、補正値により補正された参照ピクチャまたは符号化対象ピクチャを用いて参照ピクチャと符号化対象ピクチャ間の動きを表す動きベクトルを計算し、動きベクトルを用いて動き補償された符号化対象ピクチャを符号化することをコンピュータに実行させる命令を有する。

0013

さらに他の実施形態によれば、映像伝送装置が提供される。この映像伝送装置は、入力されたオーディオ信号を符号化するオーディオ符号化部と、入力された動画像信号を符号化する動画像符号化部と、動画像符号化部により符号化された動画像信号とオーディオ符号化部により符号化されたオーディオ信号を多重化することにより映像ストリームを生成する多重化部とを有する。そして動画像符号化部は、動画像信号に含まれる符号化対象ピクチャを分割した複数の小領域のうち、動画像信号に含まれる、既に符号化されたピクチャを復号することにより生成された参照ピクチャ上の対応する位置にある領域と類似する小領域を静止領域として選択し、静止領域に含まれる符号化対象ピクチャの画素の値及び対応する参照ピクチャの画素の値に関する第1の統計量が所定の判定条件を満たす場合、段階的シーン遷移が適用されていると判定し、段階的シーン遷移が適用されていると判定された場合、符号化対象ピクチャの画素の値及び対応する参照ピクチャの画素の値に関する第2の統計量に基づいて、参照ピクチャの各画素の値と対応する位置にある符号化対象ピクチャの画素の値とが一致するように、参照ピクチャまたは符号化対象ピクチャを補正する補正値を算出し、補正値により補正された参照ピクチャまたは符号化対象ピクチャを用いて参照ピクチャと符号化対象ピクチャ間の動きを表す動きベクトルを計算し、動きベクトルを用いて動き補償された符号化対象ピクチャを符号化する。

0014

本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。

発明の効果

0015

本明細書に開示された動画像符号化装置は、段階的シーン遷移以外の要因により、連続するピクチャ間で画像統計量が大きく変化してしまうシーンであっても、段階的シーン遷移が適用されているか否かを高い精度で判定できる。

図面の簡単な説明

0016

一つの実施形態に係る動画像符号化装置の概略構成図である。
(a)は符号化対象ピクチャの一例であり、(b)は参照ピクチャの一例である。
(a)は、図2(a)に示される現在のピクチャから作成された2値エッジ画像であり、(b)は、図2(b)に示される参照ピクチャから作成された参照用2値化エッジ画像であり、(c)は、エッジマッチング画像の一例である。
インター符号化処理動作フローチャートである。
何れかの実施形態に係る動画像符号化装置が組み込まれた映像伝送装置の概略構成図である。

実施例

0017

以下、図を参照しつつ、一つの実施形態による、動画像符号化装置について説明する。
この動画像符号化装置は、符号化対象ピクチャと参照ピクチャとの間で移動する物体が写っていないか、写っていてもその物体が占める範囲が相対的に狭い静止領域を検出する。そしてこの動画像符号化装置は、静止領域から算出された画像統計量に基づいて段階的シーン遷移が適用されているか否かを判定することで、段階的シーン遷移の検出精度を向上させることを図る。
なお、以下に説明する実施形態では、段階的シーン遷移の例として、フェードを挙げる。しかし、段階的シーン遷移は、ディゾルブなど、二つのシーンが段階的に切り替わるものであればよい。
また動画像は、Group Of Pictures(GOP)単位で符号化される。GOPは、連続する複数のピクチャを含み、各ピクチャに対する符号化方法が規定された構造を表す。また、以下では、GOPに含まれるピクチャのうち、イントラ符号化されるピクチャをIピクチャと表記する。さらに、時間的に前のピクチャの情報を用いてインター符号化されるピクチャをPピクチャと表記する。さらに、時間的に前のピクチャと後のピクチャの両方の情報を用いてインター符号化されるピクチャをBピクチャと表記する。なお、ピクチャは、フレームまたはフィールドである。フレームは、動画像データ中の一つの静止画像であり、一方、フィールドは、フレームから奇数行のデータあるいは偶数行のデータのみを取り出すことにより得られる静止画像である。

0018

図1は、一つの実施形態による動画像符号化装置の概略構成図である。動画像符号化装置1は、符号化部10と、復号部14と、参照画像記憶部15と、エッジ検出部16と、領域選択部17と、段階的シーン遷移検出部18と、補正値決定部19と、動きベクトル計算部20と、予測画像生成部21とを有する。
動画像符号化装置1が有するこれらの各部は、それぞれ別個回路として形成される。あるいは動画像符号化装置1が有するこれらの各部は、その各部に対応する回路が集積された一つの集積回路として動画像符号化装置1に実装されてもよい。さらに、動画像符号化装置1が有するこれらの各部は、動画像符号化装置1が有するプロセッサ上で実行されるコンピュータプログラムにより実現される、機能モジュールであってもよい。

0019

符号化部10は、入力された動画像データのうち、符号化対象となる現在のピクチャを符号化する。そのために、符号化部10は、予測誤差信号生成部11と、直交変換量子化部12と、可変長符号化部13とを有する。
予測誤差信号生成部11は、入力された動画像データのうち、符号化対象となる現在のピクチャを、所定数の画素を持つ複数のブロックに分割する。このブロックを、以下ではマクロブロックと呼ぶ。また、マクロブロックは、例えば、16×16個の画素を含む。
予測誤差信号生成部11は、それぞれのマクロブロックと、予測画像との差分演算を実行する。そして直交変換・量子化部32は、その差分演算により得られたマクロブロック内の各画素に対応する差分値を、予測誤差信号として生成する。その際、予測誤差信号生成部11は、現在のピクチャのGOP内の位置に応じて、インター符号化するかあるいはイントラ符号化するかを決定する。そして予測誤差信号生成部11は、現在のピクチャがIピクチャであれば、イントラ符号化用の予測画像、一方、現在のピクチャがBピクチャまたはPピクチャであれば、インター符号化用の予測画像を選択する。なお、後述するように、インター符号化用の予測画像は、既に符号化されたピクチャから作成される。一方、イントラ符号化用の予測画像は、現在のピクチャの既に符号化されたマクロブロックから作成される。
予測誤差信号生成部11は、生成された予測誤差信号を直交変換・量子化部12へ渡す。

0020

直交変換・量子化部12は、各マクロブロックの予測誤差信号を直交変換することにより、予測誤差信号の水平方向の周波数成分及び垂直方向の周波数成分を表す周波数信号を求める。例えば、直交変換・量子化部12は、直交変換処理として、離散コサイン変換(Discrete Cosine Transform、DCT)を予測誤差信号に対して実行することにより、周波数信号として、マクロブロックごとのDCT係数の組を得る。

0021

次に、直交変換・量子化部12は、周波数信号を量子化する。この量子化処理は、一定区間に含まれる信号値を一つの信号値で表す処理である。そしてその一定区間は、量子化幅と呼ばれる。例えば、直交変換・量子化部12は、周波数信号から、量子化幅に相当する所定数の下位ビットを切り捨てることにより、その周波数信号を量子化する。量子化幅は、量子化パラメータによって決定される。例えば、直交変換・量子化部12は、量子化パラメータの値に対する量子化幅の値を表す関数にしたがって、使用される量子化幅を決定する。またその関数は、量子化パラメータの値に対する単調増加関数とすることができ、予め設定される。あるいは、水平方向及び垂直方向の周波数成分のそれぞれに対応する量子化幅を規定する量子化マトリクスが、予め複数準備され、直交変換・量子化部12が有するメモリに記憶される。そして直交変換・量子化部12は、量子化パラメータにしたがって、それら量子化マトリクスのうちの特定の量子化マトリクスを選択する。そして直交変換・量子化部12は、選択された量子化マトリクスを参照して、周波数信号の各周波数成分に対する量子化幅を決定する。
また直交変換・量子化部12は、MPEG-2、MPEG-4、H.264 MPEG-4 AVCなどの動画像符号化規格に対応した様々な量子化パラメータ決定方法に従って量子化パラメータを決定すればよい。直交変換・量子化部12は、例えば、MPEG-2の標準テストモデル5に関する量子化パラメータの算出方法を用いることができる。なお、MPEG-2の標準テストモデル5に関する量子化パラメータの算出方法に関しては、例えば、http://www.mpeg.org/MPEG/MSSG/tm5/Ch10/Ch10.htmlで特定されるURLを参照されたい。
直交変換・量子化部12は、量子化処理を実行することにより、周波数信号の各周波数成分を表すために使用されるビットの数を削減できるので、各マクロブロックに含まれる情報量を低減できる。直交変換・量子化部12は、量子化信号を可変長符号化部13及び復号部14に供給する。

0022

可変長符号化部13は、直交変換・量子化部12から受け取った量子化された信号及び動きベクトル計算部20から受け取った動きベクトルを符号化することにより、データ量が圧縮された符号化信号を生成する。そのために、可変長符号化部13は、例えば、その量子化信号に対して、生起確率が高い信号値ほど短くなる、可変長符号語割り当てる可変長符号化処理を実行する。例えば、可変長符号化部13は、可変長符号化処理として、ハフマン符号化処理あるいは算術符号化処理を行うことができる。
可変長符号化部13により生成された符号化信号に対して、動画像符号化装置1は、所定の情報をヘッダ情報として付加することにより、符号化された動画像データを含むデータストリームを生成する。動画像符号化装置1は、そのデータストリームを磁気記録媒体光記録媒体あるいは半導体メモリなどを有する記憶部(図示せず)に記憶するか、あるいはそのデータストリームを他の機器へ出力する。

0023

復号部14は、直交変換・量子化部12から受け取った量子化信号に、量子化パラメータにより決定された量子化幅に相当する所定数を乗算することにより逆量子化する。この逆量子化により、各マクロブロックの周波数信号、例えば、DCT係数の組が復元される。その後、復号部14は、周波数信号を逆直交変換処理する。例えば、直交変換・量子化部12においてDCT処理が行われる場合、復号部14は、逆量子化信号に対して逆DCT処理を実行する。逆量子化処理及び逆直交変換処理を量子化信号に対して実行することにより、符号化前の予測誤差信号と同程度の情報を有する予測誤差信号が再生される。

0024

復号部14は、インター符号化されるピクチャについて、後述する動き補償された予測画像の各輝度値に、その画素に対応する再生された予測誤差信号を加算する。一方、復号部14は、イントラ符号化されるピクチャについて、既に符号化されたマクロブロックに基づいて生成された予測画像の各輝度値に、その画素に対応する、再生された予測誤差信号を加算する。これらの処理を各マクロブロックについて実行することにより、復号部14は、現在のピクチャに対する予測画像を得る。
復号部14は、得られた予測画像を参照画像記憶部15に記憶させる。
なお、符号化部10及び復号部14は、現在のピクチャの各画素の色差信号についても、輝度値に対する処理と同様の処理を実行する。

0025

参照画像記憶部15は、例えば、フレームメモリを有する。そして参照画像記憶部15は、復号部14から受け取った予測画像を新たな参照ピクチャとして一時的に記憶する。そして参照画像記憶部15は、エッジ検出部16、補正値決定部19、動きベクトル計算部20及び予測画像生成部21にその参照ピクチャを供給する。なお、参照画像記憶部15は、予め定められた所定枚数分の参照ピクチャを記憶し、参照ピクチャの枚数がその所定枚数を超えると、古い参照ピクチャから順に破棄する。

0026

エッジ検出部16は、符号化対象である現在のピクチャに対して近傍画素間の差分演算を行うことにより、現在のピクチャ上の像の輪郭に対応するエッジ画素を検出する。またエッジ検出部16は、参照ピクチャに対して近傍画素間の差分演算を行うことにより、参照ピクチャ上のエッジ画素を検出する。エッジ検出部16は、エッジ画素を検出するために、例えば、sobelフィルタ、prewittフィルタなどの1次微分フィルタ、あるいはラプラシアンフィルタなどの2次微分フィルタを用いることができる。
例えば、エッジ検出部16は、現在のピクチャの各画素に対して、水平方向のエッジを検出するsobelフィルタを用いてフィルタリングすることにより、各画素における水平方向のエッジ成分を算出する。またエッジ検出部16は、現在のピクチャの各画素に対して、垂直方向のエッジを検出するsobelフィルタを用いてフィルタリングすることにより、各画素における垂直方向のエッジ成分を算出する。そしてエッジ検出部16は、現在のピクチャの各画素について、水平方向のエッジ成分の絶対値と垂直方向のエッジ成分の絶対値の和を、エッジ強度として算出する。
同様に、エッジ検出部16は、参照ピクチャの各画素について、sobelフィルタを用いてフィルタリングすることにより、水平方向のエッジ成分と垂直方向のエッジ成分を算出する。そしてエッジ検出部16は、参照ピクチャの各画素について、水平方向のエッジ成分の絶対値と垂直方向のエッジ成分の絶対値の和を、エッジ強度として算出する。

0027

なお、1次微分フィルタが用いられる場合、ピクチャ上にグラディエーション状に輝度が変化する領域内の各画素のエッジ強度が大きくなる。そこで、グラディエーション状に輝度が変化する領域全体をエッジ画素として検出せずに、物体の輪郭に位置する画素をエッジ画素として検出するためには、エッジ検出部16はラプラシアンフィルタのような2次微分フィルタを用いることが好ましい。

0028

エッジ検出部16は、現在のピクチャの各画素について、エッジ強度が所定の閾値よりも大きいエッジ画素とエッジ強度が所定の閾値以下の非エッジ画素に2値化することにより、2値化エッジ画像を作成する。同様に、エッジ検出部16は、参照ピクチャの各画素について、エッジ強度が所定の閾値よりも大きいエッジ画素とエッジ強度が所定の閾値以下の非エッジ画素に2値化することにより、参照用2値化エッジ画像を作成する。
なお、所定の閾値は、予め設定されてもよく、あるいは、各画素のエッジ強度に基づいて求められてもよい。例えば、各画素に対して算出されたエッジ強度の分布は、ピクチャ上の物体の輪郭に対応する正規分布と物体の輪郭以外の部分に対応する正規分布の和として表されると仮定される。この場合、所定の閾値は、二つの正規分布のそれぞれの平均値間最小値として最小二乗基準により決定される。あるいは、所定の閾値は、各画素のエッジ強度が、ピクチャ上の像の輪郭に対応するクラスと像の輪郭以外の部分に対応するクラスに分離できると仮定したときに、二つのクラスを最良に分離する閾値として判別分析により決定されてもよい。
エッジ検出部16は、2値化エッジ画像と参照用2値化エッジ画像を領域選択部17及び段階的シーン遷移検出部18へ渡す。

0029

領域選択部17は、符号化対象である現在のピクチャと参照ピクチャにおける静止領域を、フェードが適用されているか否かを判定するために使用される領域として選択する。
そこで、領域選択部17は、現在のピクチャに対して求められた2値化エッジ画像を複数の小領域に分割する。そして領域選択部17は、小領域のそれぞれと、参照用2値化エッジ画像上の小領域に対応する位置にある領域との間でエッジマッチングを実行することにより、2値化エッジ画像の各小領域のうち、参照用2値化エッジ画像上の対応する位置にある領域と類似する小領域を静止領域と判定する。具体的には、領域選択部17は、2値化エッジ画像の着目する小領域に含まれるエッジ画素のうち、参照用2値化エッジ画像上の対応する位置にある画素もエッジ画素である画素の合計数を算出する。そして領域選択部17は、その合計数を着目する小領域に含まれるエッジ画素の総数で除することにより得られる一致比が所定の閾値よりも大きければ、着目する小領域を静止領域と判定する。なお、所定の閾値は、実験的あるいは経験的に設定され、例えば、0.8に設定される。また、各小領域の大きさ及び形状は任意に設定される。
ただし、各小領域の大きさ及び形状は現在のピクチャと参照ピクチャの間で移動する物体が何れかのピクチャに写っている場合でも、少なくとも一つの小領域が静止領域となるように設定されることが好ましい。また、各小領域の大きさ及び形状は、各小領域内に、一致比を正確に算出するために十分な数のエッジ画素が含まれるように設定されることが好ましい。例えば、各小領域は、現在のピクチャ及び参照ピクチャを垂直方向及び水平方向にそれぞれ2〜10分割することにより得られる矩形領域とすることができる。
領域選択部17は、静止領域と判定された小領域のそれぞれの位置を表す静止領域情報を段階的シーン遷移検出部18へ渡す。

0030

図2(a)は符号化対象となる現在のピクチャの一例であり、図2(b)は参照ピクチャの一例である。図2(a)に示される現在のピクチャ200では、中央付近の領域201にスクータに乗った人物が写っている。一方、図2(b)に示される参照ピクチャ210上には、そのような人物に相当する領域は存在しない。そして、人物が写っている領域201は、背景領域よりもボケており、かつ背景領域よりも全体的に暗くなっている。そのため、現在のピクチャ200全体から算出される画像統計量は、参照ピクチャ210全体から算出される画像統計量と大きく異なってしまうおそれがある。

0031

図3(a)は、図2(a)に示される現在のピクチャ200から作成された2値化エッジ画像であり、図3(b)は、図2(b)に示される参照ピクチャ210から作成された参照用2値化エッジ画像である。また図3(c)は、現在のピクチャ200と参照ピクチャ210間でエッジマッチングを実行することにより得られたエッジマッチング画像である。図3(a)に示される2値化エッジ画像300及び図3(b)に示される参照用2値化エッジ画像310において、エッジ画素である画素のみが黒く表されており、その他の画素は白く表されている。また図3(c)に示されるように、エッジマッチング画像320では、現在のピクチャと参照ピクチャの両方においてともにエッジ画素である画素のみが黒く表されており、その他の画素は白く表されている。また図3(a)〜(c)において領域301及び302は、それぞれ静止領域である。静止領域301及び302では、2値化エッジ画像300に含まれるエッジ画素の大部分と参照用2値化エッジ画像310に含まれるエッジ画素の大部分が同じ位置にある。そのため、エッジマッチング画像320においても、静止領域301及び302に含まれる、両2値化エッジ画像について一致するエッジ画素の数は、各2値化エッジ画像におけるエッジ画素の数とほぼ等しい。これは、エッジ画素が物体の輪郭上に位置する画素であるため、物体の位置が変われば、物体の輪郭の位置も変わり、両方のピクチャ上でのその輪郭に相当するエッジの位置が一致しなくなるためである。このように、2値化エッジ画像を分割した複数の小領域のそれぞれについて、両2値化エッジ画像について一致するエッジ画素の数とその小領域に含まれるエッジ画素の総数の比に基づくことにより、領域選択部17は、静止領域を正確に検出できることがわかる。

0032

段階的シーン遷移検出部18は、符号化対象となる現在のピクチャ及び参照ピクチャ上の静止領域から求められる段階的シーン遷移検出用画像統計量が所定の段階的シーン遷移判定条件を満たす場合、現在のピクチャあるいは参照ピクチャに対してフェードが適用されていると判定する。
一例として、段階的シーン遷移検出部18は、現在のピクチャの静止領域に含まれるエッジ画素の数と、参照ピクチャの静止領域に含まれるエッジ画素の数の差分絶対値を段階的シーン遷移検出用画像統計量として抽出する。また段階的シーン遷移検出部18は、現在のピクチャの静止領域に含まれるエッジ画素のうち、参照ピクチャ上の対応する位置の画素もエッジ画素である画素の数を他の段階的シーン遷移検出用画像統計量として抽出してもよい。さらに、段階的シーン遷移検出部18は、静止領域に含まれる各画素のうち、現在のピクチャか参照ピクチャの何れか一方のみがエッジ画素である画素の数の合計をさらに他の段階的シーン遷移検出用画像統計量として抽出してもよい。また段階的シーン遷移検出部18は、現在のピクチャの静止領域と対応する参照ピクチャの静止領域に対する周波数成分のうち、所定の閾値よりも高周波数の成分の差分絶対値をさらに他の段階的シーン遷移検出用画像統計量として抽出してもよい。

0033

段階的シーン遷移検出部18は、抽出された段階的シーン遷移検出用画像統計量を判別関数に入力することにより、判別関数が正の値を出力すれば、段階的シーン遷移判定条件が満たされると判定する。すなわち、判別関数が正の値を出力すれば、段階的シーン遷移検出部18はフェードが適用されていると判定し、一方、判別関数が0以下の値を出力すれば、フェードは適用されていないと判定する。なお、判別関数は、フェードが適用されている複数のピクチャの組及びフェードが適用されていない複数のピクチャの組から抽出された上記の特徴量に基づいて、判別分析などの手法により、フェードが適用されているときに正の値を出力するように予め学習される。

0034

また他の例として、段階的シーン遷移検出部18は、静止領域に含まれる、現在のピクチャのエッジ強度のヒストグラムと、参照ピクチャのエッジ強度のヒストグラムとの差を段階的シーン遷移検出用画像統計量として求めてもよい。この場合、段階的シーン遷移検出部18は、エッジ強度ごとに、現在のピクチャのエッジ強度の頻度と、参照ピクチャのエッジ強度の頻度の差の絶対値を求め、それら絶対値の合計を両ピクチャのエッジ強度のヒストグラムの差として算出する。そして段階的シーン遷移検出部18は、両ピクチャのエッジ強度のヒストグラムの差が所定の閾値よりも大きければ、フェードが適用されていると判定し、一方、両ピクチャのエッジ強度のヒストグラムの差が所定の閾値以下であれば、フェードが適用されていないと判定する。

0035

さらに他の例として、段階的シーン遷移検出部18は、静止領域に含まれる、現在のピクチャの画素の輝度値と参照ピクチャの対応画素の輝度値の差の絶対値の平均値を段階的シーン遷移検出用画像統計量として求めてもよい。そして段階的シーン遷移検出部18は、その平均値がフェード検出用閾値よりも大きければ、フェードが適用されていると判定し、一方、その平均値がフェード検出用閾値以下であれば、フェードが適用されていないと判定する。なお、段階的シーン遷移検出部18は、現在のピクチャの静止領域に含まれる画素の輝度値の平均値と参照ピクチャの静止領域に含まれる画素の輝度値の平均値との差の絶対値を段階的シーン遷移検出用画像統計量として求めてもよい。

0036

静止領域には、現在のピクチャと参照ピクチャの間で移動する物体は写っていない。または、静止領域に現在のピクチャと参照ピクチャの間で移動する物体が写っていたとしても、そのような物体が占める領域は、静止領域全体に比べて非常に小さい。そのため、現在のピクチャの画素の値と参照ピクチャの対応画素の値の差は、日照の変化など、環境条件の変化か、フェードなどの人工的な映像の加工に起因する可能性が高い。そして時間的に近い二つのピクチャ間では、環境条件が大きく変化することは少ない。したがって、輝度変化値が大きい場合には、フェードが適用されている可能性が高い。そのため、フェード検出用閾値を、環境条件に起因する輝度変化値よりも大きい値となるように、実験的または経験的に設定することにより、段階的シーン遷移検出部18は、高い精度でフェードが適用されているか否か判定することができる。
段階的シーン遷移検出部18は、フェードが適用されているか否かの判定結果を補正値決定部19及び動きベクトル計算部20へ通知する。

0037

補正値決定部19は、ブロックマッチングの精度を向上させるために、符号化対象ピクチャまたは参照ピクチャの各画素の輝度値を補正する補正値を決定する。
例えば、後述するように、動きベクトルを計算するために参照ピクチャの各画素の輝度値が次式に従って補正されるとする。



ここでPrefは、参照ピクチャの画素の輝度値を表し、Pcorは、補正された画素の輝度値を表す。また係数wは重み係数であり、oはオフセット値である。この場合、補正値決定部19は、補正値として、係数w及びオフセット値oを決定する。
補正値決定部19は、一例として、参照ピクチャの各画素の輝度値を(1)式に入力したときに得られる値と、現在のピクチャの対応する画素の輝度値との誤差二乗和が最小になるように最小二乗法を用いて、重み係数w及びオフセット値oを決定する。

0038

他の例として、補正値決定部19は、参照ピクチャの各画素の輝度値と、参照ピクチャの輝度平均値Mrefとの差の絶対値和Vrefに対する現在のピクチャの各画素の輝度値と、現在のピクチャの輝度平均値Mcurとの差の絶対値和Vcurの比(Vcur/Vref)を、重み係数wとしてもよい。この場合、補正値決定部19は、現在のピクチャの輝度平均値Mcurから、参照ピクチャの輝度平均値Mrefに上記の比(Vcur/Vref)を乗じた値を減じた値(Mcur-(Vcur/Vref)Mref)をオフセット値oとする。

0039

上記の何れの例においても、補正値決定部19は、静止領域に含まれる画素の輝度値のみを用いて重み係数w及びオフセット値oを決定することが好ましい。静止領域には、参照ピクチャと現在のピクチャとの間で移動する移動物体が写っていないか、移動物体が写っている範囲が静止領域全体と比較して狭いと想定される。すなわち、参照ピクチャの静止領域に含まれる画素と対応する現在のピクチャの画素には、同じ物体が写っている可能性が高い。したがって、補正値決定部19は、静止領域に含まれる画素の輝度値に基づいて重み係数w及びオフセット値oを決定することにより、フェード効果による輝度値の変化を正確に求めることができる。

0040

また、補正値決定部19は、現在のピクチャに含まれる画素の輝度値が参照ピクチャの対応する位置にある画素の輝度値と一致するように、現在のピクチャを補正する補正値を決定してもよい。この場合、補正値決定部19は、上記の各例において、重み係数w及びオフセット値oを決定するために、参照ピクチャに含まれる画素の輝度値と現在のピクチャに含まれる画素の輝度値を入れ替えればよい。
補正値決定部19は、補正値を動きベクトル計算部20へ渡す。また予測画像がこの補正値により補正された参照ピクチャに基づいて生成される場合、補正値決定部19は、補正値を予測画像生成部21にも渡す。

0041

なお、例えば、H.264MPEG-4 AVCに規定されているように、動画像符号化装置1は、複数の参照ピクチャを利用可能である場合、補正値は参照ピクチャごとに決定される。すなわたい、エッジ検出部16、領域選択部17、段階的シーン遷移検出部18及び補正値決定部19は、参照ピクチャごとに上記の処理を実行する。

0042

動きベクトル計算部20は、インター符号化用の予測画像を作成するために、現在のピクチャの各マクロブロックと参照ピクチャを用いて、動きベクトルを求める。動きベクトルは、現在のピクチャのマクロブロックと、そのマクロブロックに最も類似する参照ピクチャのブロックとの空間的な移動量を表す。
動きベクトル計算部20は、フェードが適用されている場合、補正値決定部19から受け取った重み係数w及びオフセット値oを用いて、上記の(1)式に従って参照ピクチャの各画素の輝度値を補正する。そして動きベクトル計算部20は、例えば、現在のピクチャの着目するマクロブロックと、補正された参照ピクチャとのブロックマッチングを実行することにより、着目するマクロブロックと最も一致する参照ピクチャ及びその参照ピクチャ上の領域を決定する。なお、動きベクトル計算部20は、現在のピクチャを補正値決定部19から受け取った補正値を用いて補正した後、その補正された現在のピクチャと参照ピクチャとの間で動きベクトルを計算してもよい。
一方、動きベクトル計算部20は、段階的シーン遷移検出部18から、現在のピクチャ及び参照ピクチャの何れにもフェードが適用されていないとの判定結果を受け取った場合、現在のピクチャ及び参照ピクチャの何れも補正しない。そして動きベクトル計算部20は、現在のピクチャの着目するマクロブロックと、補正されていない参照ピクチャとのブロックマッチングを実行することにより、着目するマクロブロックと最も一致する参照ピクチャ及びその参照ピクチャ上の領域を決定する。

0043

動きベクトル計算部20は、現在のピクチャのマクロブロックの位置と、そのマクロブロックに最も一致する領域との水平方向及び垂直方向の移動量と、その領域が属する参照ピクチャを表す識別情報を、それぞれ要素とするベクトルを動きベクトルとする。
動きベクトル計算部20は、現在のピクチャに含まれる各マクロブロックに対して、それぞれ動きベクトルを求める。そして動きベクトル計算部20は、求めた動きベクトルを予測画像生成部21及び符号化部10へ渡す。

0044

予測画像生成部21は、参照画像記憶部15から得た参照ピクチャを、動きベクトル計算部20から提供される動きベクトルに基づいて動き補償することにより、動き補償されたブロック単位のインター符号化用の予測画像を生成する。なお、動き補償は、動きベクトルで表された、マクロブロックとそれに対して最も類似する参照ピクチャのブロックの位置ずれ量を相殺するように、その最も類似する参照ピクチャのブロックの位置を移動する処理である。
また予測画像生成部21は、補正値決定部19から受け取った補正値を用いて、(1)式に従って予測画像をブロック単位で補正してもよい。

0045

また予測画像生成部21は、現在のピクチャのうちの着目するマクロブロックについて、その着目マクロブロックの左側または上側に隣接する、既に符号化されたマクロブロックに含まれる画素値から補間によってイントラ符号化用予測画像を生成する。
予測画像生成部21は、現在のピクチャがIピクチャであれば、イントラ符号化用予測画像を予測誤差信号生成部11へ渡す。一方、予測画像生成部21は、現在のピクチャがPピクチャまたはBピクチャであれば、インター符号化用予測画像を予測誤差信号生成部11へ渡す。

0046

図4は、インター符号化されるピクチャに対するインター符号化処理の動作フローチャートを示す。

0047

エッジ検出部16は、符号化対象である現在のピクチャからエッジ画素を検出することにより、エッジ画素と非エッジ画素が異なる値を持つ2値化エッジ画像を作成する(ステップS101)。
またエッジ検出部16は、参照ピクチャからエッジ画素を検出することにより、エッジ画素と非エッジ画素が異なる値を持つ参照用2値化エッジ画像を作成する(ステップS102)。エッジ検出部16は、2値化エッジ画像及び参照用2値化エッジ画像を領域選択部17へ渡す。

0048

領域選択部17は、現在のピクチャについての2値化エッジ画像を分割した複数の小領域のうち、エッジマッチングにより、参照用2値化エッジ画像上の対応する位置にある領域と類似すると判定された小領域を静止領域と判定する(ステップS103)。領域選択部17は、静止領域の位置を表す情報を段階的シーン遷移検出部18へ渡す。

0049

段階的シーン遷移検出部18は、現在のピクチャの静止領域及び参照ピクチャの静止領域から段階的シーン遷移検出用画像統計量を算出する(ステップS104)。なお、段階的シーン遷移検出用画像統計量は、例えば、静止領域に含まれる対応画素間の輝度の差の絶対値の平均値など、段階的シーン遷移検出部18の説明において例示した画像統計量とすることができる。段階的シーン遷移検出部18は、段階的シーン遷移検出用画像統計量が段階的シーン遷移判定条件を満たすか否か判定する(ステップS105)。

0050

段階的シーン遷移検出用画像統計量が段階的シーン遷移判定条件を満たす場合(ステップS105−Yes)、段階的シーン遷移検出部18は、フェードが適用されていると判定する。そして段階的シーン遷移検出部18は、その判定結果を補正値決定部19及び動きベクトル決定部20へ通知する。補正値決定部19は、参照ピクチャの各画素の輝度値を対応する現在のピクチャの画素の輝度値と一致するように補正する補正値を決定する(ステップS106)。補正値決定部19は、補正値を動きベクトル計算部20へ渡す。
動きベクトル計算部20は、補正値を用いて補正された参照ピクチャと現在のピクチャとの間でマクロブロックごとに動きベクトルを算出する(ステップS107)。

0051

一方、段階的シーン遷移検出用画像統計量が段階的シーン遷移判定条件を満たさない場合(ステップS105−No)、段階的シーン遷移検出部18は、フェードが適用されていないと判定する。そして段階的シーン遷移検出部18は、その判定結果を補正値決定部19及び動きベクトル計算部20へ通知する。動きベクトル計算部20は、参照ピクチャと現在のピクチャとの間でマクロブロックごとに動きベクトルを算出する(ステップS108)。
ステップS107あるいはS108の後、動きベクトル計算部20は、各マクロブロックに対する動きベクトルを予測画像生成部21及び符号化部10へ渡す。

0052

予測画像生成部21は、動きベクトルを用いて動き補償された予測画像を作成する(ステップS109)。そして予測画像生成部21は、予測画像を予測誤差信号生成部11へ渡す。
予測誤差信号生成部11は、現在のピクチャと予測画像との予測誤差を算出する(ステップS110)。そして予測誤差信号生成部11は、予測誤差を符号化部10へ渡す。
符号化部10は、予測誤差及び動きベクトルを符号化する(ステップS111)。そして符号化部10は、生成された符号化データを出力する。
ステップS111の後、動画像符号化装置1は、インター符号化処理を終了する。

0053

なお、ステップS101の処理とステップS102の処理の順序は入れ替わっていてもよい。
また、動画像符号化装置1は、イントラ符号化されるIピクチャに対しては、様々なイントラ符号化方法の何れか、例えば、H.264MPEG-4 AVCに規定されたイントラ符号化方法に従って符号化すればよい。
また、動画像符号化装置1により符号化された動画像データは、例えば、H.264 MPEG-4 AVCに準拠するデータとすることができる。そのため、動画像符号化装置1により符号化された動画像データは、従来の動画像復号装置により復号することができる。

0054

以上に説明してきたように、この動画像符号化装置は、符号化対象である現在のピクチャと参照ピクチャにおける静止領域から算出された画像統計量に基づいてフェードが適用されているか否かを判定する。これにより、この動画像符号化装置は、現在のピクチャと参照ピクチャ間での物体の動きなど、フェード以外の要因による画像統計量の変化による影響を抑制できる。そのため、この動画像符号化装置は、フェードが適用されていないピクチャに対して、フェードが適用されていると誤判定することを防止できる。
また、現在のピクチャと参照ピクチャの何れかにフェードが適用され、それらピクチャの対応画素間で輝度が変化していても、それらピクチャ上に写っている物体の輪郭に相当するエッジ画素の位置は変化しない。そのため、静止領域を検出するためにエッジマッチングを使用するこの動画像符号化装置は、静止領域を高い精度で検出できる。

0055

なお、本発明は上記の実施形態に限定されるものではない。例えば、エッジ検出部は、現在のピクチャの各画素のエッジ強度を表すエッジ画像及び参照ピクチャの各画素のエッジ強度を表す参照用エッジ画像を領域選択部へ渡してもよい。この場合、領域選択部は、静止領域を検出するために、エッジ画像を分割することにより得られる複数の小領域のそれぞれと、参照用エッジ画像の対応する領域間パターンマッチングを行うことにより相関値を算出する。この場合、相関値cは次式に従って算出される。



ここで、SPcur(x,y)は、現在のピクチャについてのエッジ画像の着目する小領域に含まれる、水平座標x、垂直座標yの画素のエッジ強度を表す。またSPref(x,y)は、参照用エッジ画像に含まれる、水平座標x、垂直座標yの画素のエッジ強度を表す。また、Mcurは、現在のピクチャについてのエッジ画像の着目する小領域に含まれる画素の平均エッジ強度であり、Mrefは、着目する小領域と対応する参照用エッジ画像の領域に含まれる画素の平均エッジ強度である。この相関値cは、-1〜1の間に含まれる値をとり得る。着目する小領域と対応する領域に含まれる各画素のエッジ強度が完全に一致している場合、相関値cは1となる。一方、着目する小領域と対応する領域に含まれる各画素のエッジ強度が完全に反転している場合、相関値cは-1となる。
領域選択部は、複数の小領域のうち、得られた相関値が静止領域検出用閾値よりも高い小領域を静止領域と判定する。なお、静止領域検出用閾値は、静止領域について求められた相関値の最小値となるように、実験的あるいは経験的に決定される。例えば、静止領域検出用閾値は、0.7に設定される。

0056

また、他の実施形態によれば、領域選択部は、静止領域を検出するために、現在のピクチャの各小領域と、参照ピクチャの対応する位置にある小領域との相関値をパターンマッチングにより求めてもよい。そして相関値が静止領域検出用閾値よりも高い場合、領域選択部は、それら二つの小領域は静止領域であると判定してもよい。この場合、現在のピクチャまたは参照ピクチャにフェードが適用されていると、静止領域に含まれる画素であっても現在のピクチャと参照ピクチャとの間で輝度値が変化するので相関値も低下する。そこで、静止領域検出用閾値は、フェードによる各画素の輝度変化を考慮して、フェードが適用されないときの静止領域の相関値の最小値よりも低く設定されることが好ましい。またエッジ検出部は省略されてもよい。

0057

さらに、空が撮影された場合のように、ピクチャ全体に一様な景色が写っていることもある。このような場合、エッジ強度が高い画素の数は少なく、また移動物体による画像統計量の変化も小さい。そこで、現在のピクチャ及び参照ピクチャについて、所定の強度よりも大きいエッジ画素の数が、それぞれそれらピクチャの総画素数に対して占める割合が所定の比率以下である場合、領域選択部は、ピクチャ全体を静止領域としてもよい。あるいは、その割合が所定の比率以下である場合、領域選択部は、現在のピクチャの各小領域と、参照ピクチャの対応する位置にある小領域とのパターンマッチングにより、静止領域を決定してもよい。

0058

また、ビデオカメラを動かしながら撮影した場合のように、ピクチャに写っている物体全体が移動することもある。そこで、領域選択部は、静止領域を決定するために、現在のピクチャと参照ピクチャの位置を水平方向または垂直方向にずらしながらエッジマッチングまたはパターンマッチングを行ってもよい。そして領域選択部は、上記の一致比あるいは相関値の最大値を用いて、着目する小領域が静止領域か否かを判定すればよい。

0059

また、参照ピクチャと現在のピクチャの両方で同じ位置にある連続したエッジ画素で囲まれた範囲には、同じ物体が写っている可能性が高い。そこで、補正値決定部は、連続したエッジ画素で囲まれた範囲に含まれる画素の輝度及び色に対する重みを、他の画素に対する重みよりも大きくして、上記の実施形態にて説明した処理を実行することにより、動き補償用の補正値を決定してもよい。
この場合、補正値決定部は、エッジ方向が同じエッジ画素が所定数以上連続している複数のエッジ線が連結された線により囲まれた領域をエッジ画素で囲まれた範囲とすることが好ましい。物体の輪郭では、コーナー部分を除いて、互いに隣接するエッジ画素間でエッジ方向は殆ど変化しないためである。そこでこの場合、エッジ検出部は、各エッジ画素について、水平方向のエッジ強度の絶対値が垂直方向のエッジ強度の絶対値よりも大きければ、エッジ方向は水平方向であると判定する。一方、垂直方向のエッジ強度の絶対値が水平方向のエッジ強度の絶対値よりも大きければ、エッジ検出部は、そのエッジ画素のエッジ方向は垂直方向であると判定する。そして補正値決定部は、各エッジ画素のエッジ方向を表す情報を、エッジ検出部から取得する。

0060

また他の実施形態によれば、補正値決定部は、参照ピクチャと現在のピクチャの対応する画素の色差信号が一致するように、参照ピクチャまたは現在のピクチャの各画素の色差信号を補正する補正値を求めてもよい。この場合、補正値決定部は、上記の実施例にて説明した、補正値を決定するための統計量を、輝度値の代わりに色差信号を用いて計算すればよい。そして動きベクトル計算部は、色差信号が補正された参照ピクチャあるいは現在のピクチャを用いて、動きベクトルを計算すればよい。

0061

この動画像符号化装置は、様々な用途に利用される。例えば、この動画像符号化装置は、ビデオカメラ、映像伝送装置、テレビ電話システム、コンピュータあるいは携帯電話機に組み込まれる。例えば、この動画像符号化装置が映像伝送装置に組み込まれる場合、この動画像符号化装置により作成された符号化された動画像データは、音声信号等、動画像データと同時に取得される他の信号とともに、所定の通信規格に従ったデータストリームに変換される。そして動画像符号化装置を組み込んだ映像伝送装置は、そのデータストリームを、出力部に接続されたアンテナを介して、あるいは通信回線を介して、遠隔地に設置された動画像復号装置へ伝送する。

0062

図5は、上記の何れかの実施形態に係る動画像符号化装置が組み込まれた映像伝送装置の概略構成図である。映像伝送装置100は、映像取得部101と、音声取得部102と、映像符号化部103と、音声符号化部104と、多重化部105と、通信処理部106と、出力部107とを有する。

0063

映像取得部101は、動画像信号をビデオカメラなどの他の装置から取得するためのインターフェース回路を有する。そして映像取得部101は、映像伝送装置100に入力された動画像信号を映像符号化部103へ渡す。

0064

音声取得部102は、音声信号をマイクロフォンなどの他の装置から取得するためのインターフェース回路を有する。そして音声取得部102は、映像伝送装置100に入力された音声信号を音声符号化部104へ渡す。
なお、映像伝送装置100は、映像取得部101と音声取得部102の代わりに、通信回線と映像伝送装置100を接続するインターフェース回路を有し、そのインターフェース回路を通じて動画像信号及び音声信号を取得してもよい。

0065

映像符号化部103は、動画像信号のデータ量を圧縮するために、動画像信号を符号化する。そのために、映像符号化部103は、上記の実施形態のうちの何れかの動画像符号化装置を有する。そして映像符号化部103は、動画像信号を符号化する。映像符号化部103は、符号化動画像データを多重化部105へ出力する。

0066

音声符号化部104は、例えば、MPEG-4 High-Efficiency Advanced Audio Coding ver.2 (HE-AAC ver.2)などのオーディオ符号化規格に従って音声信号を符号化することにより、符号化オーディオデータを生成する。そして音声符号化部104は、符号化オーディオデータを多重化部105へ出力する。

0067

多重化部105は、符号化動画像データと符号化オーディオデータを多重化する。そして多重化部105は、MPEG-2トランスポートストリームなどの映像データの伝送用の所定の形式に従ったストリームを作成する。
多重化部105は、符号化動画像データと符号化オーディオデータが多重化されたストリームを通信処理部106へ出力する。

0068

通信処理部106は、符号化動画像データと符号化オーディオデータが多重化されたストリームを、Transmission Control Protocol/Internet Protocol(TCP/IP)などの所定の通信規格にしたがったパケットに分割する。また通信処理部106は、各パケットに、宛先情報などが格納された所定のヘッダを付す。そして通信処理部106は、パケットを出力部107へ渡す。

0069

出力部107は、映像伝送装置100を通信回線に接続するためのインターフェース回路を有する。そして出力部107は、通信処理部106から受け取ったパケットを通信回線へ出力する。

0070

ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。

0071

1動画像符号化装置
10 符号化部
11予測誤差信号生成部
12直交変換・量子化部
13可変長符号化部
14復号部
15参照画像記憶部
16エッジ検出部
17領域選択部
18段階的シーン遷移検出部
19補正値決定部
20動きベクトル計算部
21予測画像生成部
100映像伝送装置
101映像取得部
102音声取得部
103映像符号化部
104音声符号化部
105多重化部
106通信処理部
107 出力部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ