図面 (/)

技術 動画像符号化装置

出願人 シャープ株式会社
発明者 藤原陽一松浦忠男草尾寛
出願日 1997年4月25日 (23年6ヶ月経過) 出願番号 1997-108682
公開日 1998年11月13日 (22年0ヶ月経過) 公開番号 1998-304374
状態 特許登録済
技術分野 TV信号の圧縮,符号化方式 TV信号の圧縮,符号化方式 圧縮、伸長・符号変換及びデコーダ
主要キーワード 定数乗算器 相関係数ρ フレーム間距離 候補フレーム 画像順序 マッチング誤差 除算演算 累積加算器
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(1998年11月13日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

従来の予測構造制御方式においては、相関係数を用いた複雑な演算処理が必要で、回路規模が非常に大きくなっていた。また、制御の単位がGOP(Group Of Pictures)であるため、被写体やカメラの急な挙動など画像が急に変化した時に、予測構造の変更が画像の変化に追随できず、画質劣化が発生する場合があった。

解決手段

動画像シーケンスの各フレーム符号化ブロックに分割し、各符号化ブロック参照フレームからのフレーム間予測を用いて符号化する動画像符号化装置であって、IピクチャPピクチャ、もしくはPピクチャとPピクチャ、もしくはIピクチャとIピクチャの時間間隔である参照フレーム間隔適応的に可変とし、該参照フレーム間隔を、予測効率計算回路の出力に応じて参照フレーム間隔決定回路において決定することを特徴とする。

概要

背景

近年、動画像符号化方式として、MPEG−1(ISO/IEC11172)、MPEG−2(ISO/IEC13818)などの動き補償フレーム間予測を用いたフレーム間符号化方式が蓄積通信放送の分野で用いられつつある。これらの方式においては、動画像シーケンスの各フレーム符号化ブロックに分割し、符号化ブロック毎に参照フレームから検出した動きベクトルを用いて予測ブロックを求める、動き補償フレーム間予測が行なわれている。

MPEGにおける符号化ブロックの符号化モードとしては、過去の参照フレームからの予測を用いる前方予測モードと、未来の参照フレームからの予測を用いる後方予測モードと、過去の参照フレームからの予測と未来の参照フレームからの予測の平均値を用いる双方向予測モードと、予測を用いないフレーム内符号化モードが用いられる。

さらに、MPEGにおいては各フレームを、フレーム内符号化モードのみで符号化するフレーム内符号化フレームと、前方予測モードもしくはフレーム内符号化モードを用いて符号化する前方予測符号化フレームと、前方予測モードもしくは後方予測モードもしくは双方向予測モードもしくはフレーム内符号化モードを用いて符号化する双方向予測符号化フレームのいずれかに分類して符号化する。

ここで、フレーム内符号化フレームはIピクチャ、前方予測符号化フレームはPピクチャ、双方向予測符号化フレームはBピクチャと呼ばれる。図20にI,P,Bピクチャの予測構造を示す。

動画像シーケンスにおいては、まずIピクチャ21が符号化される。Iピクチャは自身の符号化データのみで復号できる。続いて、Iピクチャ21を参照フレームとし、Iピクチャ21からの前方予測を用いてPピクチャ23が符号化される。次にBピクチャ22が、過去の参照フレームをIピクチャ21、未来の参照フレームをPピクチャ23として、前方予測,後方予測,双方向予測のいずれかを用いて符号化される。Bピクチャ22の符号化の後、続くPピクチャ25がPピクチャ23を参照フレームとして符号化され、Pピクチャ25の符号化後にBピクチャ24がPピクチャ23,25を参照フレームとして符号化される。

以上から、画像の入力順序が21,22,23,24,25であるのに対して、符号化の順序は21,23,22,25,24となり、画像の順序を並べ替える必要が生じる。

図21に、画像の入力順序と符号化順序の関係を示す。図21(a)は参照フレームの時間間隔(以下、参照フレーム間隔)を1とした場合、図21(b)は参照フレーム間隔を2とした場合、図21(c)は参照フレーム間隔を3とした場合である。

図22に、上述した従来の動画像符号化における符号化装置ブロック図を示す。ここで、1は画像順序の並べ替えのために画像を一時記憶するフレームメモリ、2はフレームメモリ1を制御する画像並べ替え制御回路、3は動き補償フレーム間予測のための動きベクトルを算出する動きベクトル検出回路、4は動きベクトル検出回路によって計算された情報から符号化モードを決定する符号化モード判定回路、5は予測ブロックを生成する動き補償予測回路、6はセレクタ、7は符号化ブロックと予測ブロックの差分ブロックを計算する減算器、8は差分ブロックを符号化する符号化器、9は符号化データを復号する復号器、10は復号された差分ブロックと予測ブロックとを加算して復号ブロックを生成する加算器、11は復号された参照フレームを記憶するフレームメモリである。

以下、図22の動作について説明する。入力画像は、入力順序で一旦フレームメモリ1に書き込まれ、画像並べ替え制御回路2によって前記した符号化の順序で読み出される。フレームメモリ1から読み出された符号化ブロックの画素データは、動きベクトル検出回路3に入力される。

動きベクトル検出回路3は参照フレームのデータをフレームメモリ11から読み出し、符号化ブロックとの間でマッチング誤差演算を行ない動きベクトルを検出する。この時、動きベクトル検出回路3においては、動き補償フレーム間予測における予測誤差や、符号化ブロックのアクティビティが計算され、符号化モード判定回路4に出力される。

符号化モード判定回路4は、動きベクトル検出回路3から出力された前記予測誤差や前記アクティビティなどの情報を用いて、当該符号化ブロックの符号化モードを決定する。ここで、一般的に、予測モードとしては予測誤差が最も小さいものが選択される。また、フレーム内符号化が用いられるか否かは、予測誤差とアクティビティの大小を比較し、予測誤差が小さければフレーム間予測が選択され、アクティビティが小さければフレーム内符号化が選択される。

動き補償予測回路5は、符号化モード判定回路4によって決定された予測モードに従い、フレームメモリ11から読み出した参照フレームの画素データを用いて予測ブロックを生成する。

セレクタ6は、符号化モード判定回路4によって決定された予測モードに従って出力を切り替える。ここで、フレーム内符号化モードにおいては‘0’が選択され、それ以外の場合は動き補償予測回路5の出力(予測ブロック)が選択される。

符号化ブロックと予測ブロックとの間の差分ブロックが減算器7で算出される。差分ブロックは符号化器8で符号化され、符号化データが出力される。

ここで、IピクチャおよびPピクチャは参照フレームとして以後のフレームに対する予測に用いられるため、IピクチャおよびPピクチャの符号化データは復号器9で復号され、復号された差分ブロックは加算器10において予測ブロックと加算される。加算器10の出力(復号ブロック)はフレームメモリ11に記憶される。

以上述べたように、I,Pピクチャの符号化データは復号され、以後のフレームに対する予測に用いられる。このため、I,Pピクチャで発生した符号化誤差はPピクチャを通して時間方向に伝搬していく。これに対して、Bピクチャは他のフレームに対する予測には用いられないため、Bピクチャにおいて発生した符号化誤差は伝搬しない。

一方、Pピクチャにおけるフレーム間予測は過去からの予測のみであり、Bピクチャにおけるフレーム間予測は過去,未来両方からの予測である。このため、一般的にPピクチャに比べてBピクチャの方が予測誤差が小さくなり、符号化データの発生量が少なくなる。

以上の性質を利用し、符号化誤差が伝搬せず符号化データの発生量も少ないBピクチャには情報量を少なく割り当て、符号化誤差が伝搬するI,Pピクチャには情報量を多く割り当てる。これにより、I,Pピクチャが高画質になって、I,Pピクチャを予測に使うBピクチャの予測誤差が小さくなり、Bピクチャの符号化に必要な情報量が少なくなるためI,Pピクチャに割り当てる情報量が大きくなって、さらにI,Pピクチャが高画質になるという好循環入りシーケンス全体の画質を向上することが可能となる。

しかし、I,Pピクチャの画質が悪いと、Bピクチャの予測誤差が大きくなって、Bピクチャの符号化に、より多くの情報量が必要になり、さらにI,Pピクチャへの割り当て情報量が少なくなってI,Pピクチャの画質が低下し、Bピクチャの予測誤差が大きくなるという悪循環に陥り、シーケンス全体の画質が著しく悪化する。

ここで、動き補償フレーム間予測の予測誤差量は、符号化フレームと参照フレームの間の時間的な距離と、動きベクトルの探索範囲と、被写体の動き量などに依存する。

図23に、動き補償予測における動きベクトルの例を示す。動きベクトルの検出方式としては、ブロックマッチング方式が一般的である。ブロックマッチング方式では、動きベクトル探索領域内の予測ブロック候補に対し、予測ブロック候補と符号化ブロックとの間の誤差量を計算する。そして、誤差量が最小となる候補を予測ブロックとし、予測ブロック位置の符号化ブロック位置からの相対的なズレ量を動きベクトルとする。

ここで、符号化フレームと参照フレームが時間的に離れていればいるほど、被写体の動き量も大きくなるため、より大きな動きベクトルの探索範囲が必要になる。

図24に、符号化フレームと参照フレームのフレーム間距離と、必要な動きベクトル探索領域の関係を示す。図24に示すように、符号化フレームと参照フレームが1フレーム時間離れている時に必要な動きベクトルの探索範囲が水平方向に±K、垂直方向に±Lの場合、符号化フレームと参照フレームが2フレーム時間離れている時には、動きベクトルの探索範囲は水平方向に±2K、垂直方向に±2L必要になる。

さらに、符号化フレームと参照フレームが時間的に離れていると、被写体の動きに、平行移動だけでなく回転や変形などの複雑な要素が加わり、予測が困難になる。

よって、一般的には、符号化フレームと参照フレームが時間的に離れると、予測誤差が増大する。すなわち、参照フレーム間隔が大きくなると、Pピクチャの符号化における予測誤差が大きくなる。しかしその一方で、参照フレーム間隔が大きくなり、I,Pピクチャの間に存在するBピクチャのフレーム数が多くなると、情報量を少なく割り当てられるBピクチャの割合が大きくなるため、I,Pピクチャへの割り当てビット数が多くなり、I,Pピクチャの画質を向上することができる。

以上から、参照フレーム間隔には、画像に応じて最適な値が存在することが分かる。

特開平8−65678号「動画像符号化方式」に、NフレームからなるGOP(Group Of Pictures)の単位で、参照フレーム間隔mとI,Pピクチャの枚数nを最適化する方式が述べられている。ここで、GOPの中のIピクチャは1枚とし、N,m,nは式(1)を満足する。

概要

従来の予測構造制御方式においては、相関係数を用いた複雑な演算処理が必要で、回路規模が非常に大きくなっていた。また、制御の単位がGOP(Group Of Pictures)であるため、被写体やカメラの急な挙動など画像が急に変化した時に、予測構造の変更が画像の変化に追随できず、画質劣化が発生する場合があった。

動画像シーケンスの各フレームを符号化ブロックに分割し、各符号化ブロックを参照フレームからのフレーム間予測を用いて符号化する動画像符号化装置であって、IピクチャとPピクチャ、もしくはPピクチャとPピクチャ、もしくはIピクチャとIピクチャの時間間隔である参照フレーム間隔を適応的に可変とし、該参照フレーム間隔を、予測効率計算回路の出力に応じて参照フレーム間隔決定回路において決定することを特徴とする。

目的

本発明は以上の問題点に鑑み、簡単な演算で予測構造を可変することができ、さらに、GOPよりも小さい単位で、より精密に予測構造を変更することが可能となる動画像符号化装置を提供することを目的とする。

効果

実績

技術文献被引用数
4件
牽制数
9件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

動画像シーケンスの各フレーム符号化ブロックに分割し、各符号化ブロック参照フレームからのフレーム間予測を用いて符号化する動画像符号化であって、前記符号化ブロックに対する符号化モードとして、過去の参照フレームからの予測を用いる前方予測モードと、未来の参照フレームからの予測を用いる後方予測モードと、過去の参照フレームからの予測と未来の参照フレームからの予測の平均値を予測として用いる双方向予測モードと、フレーム間予測を用いないフレーム内符号化モードとを備え、各フレームは、フレーム内の全ての符号化ブロックをフレーム内符号化モードで符号化するフレーム内符号化フレーム(以下、Iピクチャ)、フレーム内の各符号化ブロックを前方予測モードもしくはフレーム内符号化モードを用いて符号化する前方予測符号化フレーム(以下、Pピクチャ)、フレーム内の各符号化ブロックを前方予測モードもしくは後方予測モードもしくは双方向予測モードもしくはフレーム内符号化モードを用いて符号化する双方向予測符号化フレーム(以下、Bピクチャ)のいずれかに分類され、IピクチャもしくはPピクチャを参照フレームとする動画像符号化において、フレーム間予測の予測効率を計算する予測効率計算回路と、参照フレーム間隔決定回路とを具備し、IピクチャとPピクチャ、もしくはPピクチャとPピクチャ、もしくはIピクチャとIピクチャの時間間隔である参照フレーム間隔を適応的に可変とし、該参照フレーム間隔を、予測効率計算回路の出力に応じて参照フレーム間隔決定回路において決定することを特徴とする動画像符号化装置

請求項2

前記予測効率計算回路において、符号化ブロックのフレーム間予測における予測誤差(以下、ブロック予測誤差)、もしくは、ブロック予測誤差と符号化ブロックのアクティビティを用いて、予測効率を算出することを特徴とする請求項1記載の動画像符号化装置。

請求項3

予測効率の算出に前記ブロック予測誤差を用い、前記ブロック予測誤差が所定のしきい値よりも小さい符号化ブロックを高効率予測ブロックと判定し、フレーム内における高効率予測ブロックの個数を予測効率とすることを特徴とする請求項2記載の動画像符号化装置。

請求項4

予測効率の算出に前記ブロック予測誤差と前記アクティビティを用い、前記ブロック予測誤差が、前記アクティビティに所定係数を乗じた値よりも小さい、または、前記ブロック予測誤差が所定のしきい値よりも小さい符号化ブロックを高効率予測ブロックと判定し、フレーム内における高効率予測ブロックの個数を予測効率とすることを特徴とする請求項2記載の動画像符号化装置。

請求項5

予測効率の算出に前記ブロック予測誤差を用い、前記ブロック予測誤差のフレーム内における累積値逆数を予測効率とすることを特徴とする請求項2記載の動画像符号化装置。

請求項6

予測効率の算出に前記ブロック予測誤差と前記アクティビティを用い、符号化ブロック毎に前記アクティビティを前記ブロック予測誤差で除した値の、フレーム内における累積値を予測効率とすることを特徴とする請求項2記載の動画像符号化装置。

請求項7

前記ブロック予測誤差として、符号化ブロックと予測ブロックの間の差分絶対値和、もしくは、符号化ブロックと予測ブロックの間の差分自乗和を用いることを特徴とする請求項2,3,4,5,6記載の動画像符号化装置。

請求項8

前記アクティビティとして、符号化ブロックにおける交流成分の絶対値和、もしくは、符号化ブロックにおける交流成分の自乗和を用いることを特徴とする請求項2,4,6記載の動画像符号化装置。

請求項9

前記参照フレーム間隔決定回路において、Pピクチャの符号化における予測効率が所定のしきい値を下回った時に、該Pピクチャ以後の符号化における参照フレーム間隔を減小することを特徴とする請求項1,2,3,4,5,6,7,8記載の動画像符号化装置。

請求項10

前記参照フレーム間隔決定回路において、Iピクチャの位置を該Iピクチャの直前で用いられていた第1の参照フレーム間隔から所定の値だけ増加した第2の参照フレーム間隔によって設定し、該Iピクチャに対してもPピクチャと同様の方法で該Iピクチャに対する予測効率を算出して、該予測効率が所定のしきい値を上回った時には、該Iピクチャの以後の符号化における参照フレーム間隔を第2の参照フレーム間隔とし、該予測効率が所定のしきい値を下回った時には、以後の符号化における参照フレーム間隔を第1の参照フレーム間隔とすることを特徴とする請求項1,2,3,4,5,6,7,8記載の動画像符号化装置。

請求項11

参照フレーム間にあるBピクチャの符号化において、前方予測モードが選択された符号化ブロックの個数が所定のしきい値を下回り、かつ、後方予測モードが選択された符号化ブロックの個数が所定のしきい値を下回るBピクチャが存在する条件が成立する場合のみ、該Bピクチャ以降の参照フレーム間隔の制御を行なうことを特徴とする請求項9,10記載の動画像符号化装置。

請求項12

参照フレーム間にあるBピクチャの符号化において、予測効率が所定のしきい値を上回るBピクチャが存在する条件が成立する場合のみ、該Bピクチャ以降の参照フレーム間隔の制御を行なうことを特徴とする請求項9,10記載の動画像符号化装置。

請求項13

参照フレーム間にあるBピクチャの符号化において、請求項11記載の条件と、請求項12記載の条件が、両方とも成立する場合のみ、該Bピクチャ以降の参照フレーム間隔の制御を行なうことを特徴とする請求項9,10記載の動画像符号化装置。

請求項14

前記参照フレーム間隔決定回路において、IピクチャもしくはPピクチャの符号化における予測効率が第1のしきい値を下回った時に、該フレーム以後の符号化における参照フレーム間隔を減小し、IピクチャもしくはPピクチャの符号化における予測効率が第2のしきい値を上回った時に、該フレーム以後の符号化における参照フレーム間隔を増加することを特徴とする請求項1,2,3,4,5,6,7,8記載の動画像符号化装置。

請求項15

前記参照フレーム間隔決定回路において、IピクチャもしくはPピクチャとする符号化フレームの位置を決定する際に、符号化フレームとなりうる複数の候補フレームの全てに対して前記予測効率を求め、該予測効率が所定のしきい値を上回る前記候補フレームの中で、時間的に最も新しい候補フレームを前記符号化フレームとすることを特徴とする請求項1,2,3,4,5,6,7,8記載の動画像符号化装置。

請求項16

前記フレーム画像に対する処理と同様の処理をフィールド画像に対して適用することを特徴とする請求項1,2,3,4,5,6,7,8,9,10,11,12,13,14,15記載の動画像符号化装置。

技術分野

0001

本発明はデジタル動画像符号化装置に関する。

背景技術

0002

近年、動画像符号化方式として、MPEG−1(ISO/IEC11172)、MPEG−2(ISO/IEC13818)などの動き補償フレーム間予測を用いたフレーム間符号化方式が蓄積通信放送の分野で用いられつつある。これらの方式においては、動画像シーケンスの各フレーム符号化ブロックに分割し、符号化ブロック毎に参照フレームから検出した動きベクトルを用いて予測ブロックを求める、動き補償フレーム間予測が行なわれている。

0003

MPEGにおける符号化ブロックの符号化モードとしては、過去の参照フレームからの予測を用いる前方予測モードと、未来の参照フレームからの予測を用いる後方予測モードと、過去の参照フレームからの予測と未来の参照フレームからの予測の平均値を用いる双方向予測モードと、予測を用いないフレーム内符号化モードが用いられる。

0004

さらに、MPEGにおいては各フレームを、フレーム内符号化モードのみで符号化するフレーム内符号化フレームと、前方予測モードもしくはフレーム内符号化モードを用いて符号化する前方予測符号化フレームと、前方予測モードもしくは後方予測モードもしくは双方向予測モードもしくはフレーム内符号化モードを用いて符号化する双方向予測符号化フレームのいずれかに分類して符号化する。

0005

ここで、フレーム内符号化フレームはIピクチャ、前方予測符号化フレームはPピクチャ、双方向予測符号化フレームはBピクチャと呼ばれる。図20にI,P,Bピクチャの予測構造を示す。

0006

動画像シーケンスにおいては、まずIピクチャ21が符号化される。Iピクチャは自身の符号化データのみで復号できる。続いて、Iピクチャ21を参照フレームとし、Iピクチャ21からの前方予測を用いてPピクチャ23が符号化される。次にBピクチャ22が、過去の参照フレームをIピクチャ21、未来の参照フレームをPピクチャ23として、前方予測,後方予測,双方向予測のいずれかを用いて符号化される。Bピクチャ22の符号化の後、続くPピクチャ25がPピクチャ23を参照フレームとして符号化され、Pピクチャ25の符号化後にBピクチャ24がPピクチャ23,25を参照フレームとして符号化される。

0007

以上から、画像の入力順序が21,22,23,24,25であるのに対して、符号化の順序は21,23,22,25,24となり、画像の順序を並べ替える必要が生じる。

0008

図21に、画像の入力順序と符号化順序の関係を示す。図21(a)は参照フレームの時間間隔(以下、参照フレーム間隔)を1とした場合、図21(b)は参照フレーム間隔を2とした場合、図21(c)は参照フレーム間隔を3とした場合である。

0009

図22に、上述した従来の動画像符号化における符号化装置のブロック図を示す。ここで、1は画像順序の並べ替えのために画像を一時記憶するフレームメモリ、2はフレームメモリ1を制御する画像並べ替え制御回路、3は動き補償フレーム間予測のための動きベクトルを算出する動きベクトル検出回路、4は動きベクトル検出回路によって計算された情報から符号化モードを決定する符号化モード判定回路、5は予測ブロックを生成する動き補償予測回路、6はセレクタ、7は符号化ブロックと予測ブロックの差分ブロックを計算する減算器、8は差分ブロックを符号化する符号化器、9は符号化データを復号する復号器、10は復号された差分ブロックと予測ブロックとを加算して復号ブロックを生成する加算器、11は復号された参照フレームを記憶するフレームメモリである。

0010

以下、図22の動作について説明する。入力画像は、入力順序で一旦フレームメモリ1に書き込まれ、画像並べ替え制御回路2によって前記した符号化の順序で読み出される。フレームメモリ1から読み出された符号化ブロックの画素データは、動きベクトル検出回路3に入力される。

0011

動きベクトル検出回路3は参照フレームのデータをフレームメモリ11から読み出し、符号化ブロックとの間でマッチング誤差演算を行ない動きベクトルを検出する。この時、動きベクトル検出回路3においては、動き補償フレーム間予測における予測誤差や、符号化ブロックのアクティビティが計算され、符号化モード判定回路4に出力される。

0012

符号化モード判定回路4は、動きベクトル検出回路3から出力された前記予測誤差や前記アクティビティなどの情報を用いて、当該符号化ブロックの符号化モードを決定する。ここで、一般的に、予測モードとしては予測誤差が最も小さいものが選択される。また、フレーム内符号化が用いられるか否かは、予測誤差とアクティビティの大小を比較し、予測誤差が小さければフレーム間予測が選択され、アクティビティが小さければフレーム内符号化が選択される。

0013

動き補償予測回路5は、符号化モード判定回路4によって決定された予測モードに従い、フレームメモリ11から読み出した参照フレームの画素データを用いて予測ブロックを生成する。

0014

セレクタ6は、符号化モード判定回路4によって決定された予測モードに従って出力を切り替える。ここで、フレーム内符号化モードにおいては‘0’が選択され、それ以外の場合は動き補償予測回路5の出力(予測ブロック)が選択される。

0015

符号化ブロックと予測ブロックとの間の差分ブロックが減算器7で算出される。差分ブロックは符号化器8で符号化され、符号化データが出力される。

0016

ここで、IピクチャおよびPピクチャは参照フレームとして以後のフレームに対する予測に用いられるため、IピクチャおよびPピクチャの符号化データは復号器9で復号され、復号された差分ブロックは加算器10において予測ブロックと加算される。加算器10の出力(復号ブロック)はフレームメモリ11に記憶される。

0017

以上述べたように、I,Pピクチャの符号化データは復号され、以後のフレームに対する予測に用いられる。このため、I,Pピクチャで発生した符号化誤差はPピクチャを通して時間方向に伝搬していく。これに対して、Bピクチャは他のフレームに対する予測には用いられないため、Bピクチャにおいて発生した符号化誤差は伝搬しない。

0018

一方、Pピクチャにおけるフレーム間予測は過去からの予測のみであり、Bピクチャにおけるフレーム間予測は過去,未来両方からの予測である。このため、一般的にPピクチャに比べてBピクチャの方が予測誤差が小さくなり、符号化データの発生量が少なくなる。

0019

以上の性質を利用し、符号化誤差が伝搬せず符号化データの発生量も少ないBピクチャには情報量を少なく割り当て、符号化誤差が伝搬するI,Pピクチャには情報量を多く割り当てる。これにより、I,Pピクチャが高画質になって、I,Pピクチャを予測に使うBピクチャの予測誤差が小さくなり、Bピクチャの符号化に必要な情報量が少なくなるためI,Pピクチャに割り当てる情報量が大きくなって、さらにI,Pピクチャが高画質になるという好循環入りシーケンス全体の画質を向上することが可能となる。

0020

しかし、I,Pピクチャの画質が悪いと、Bピクチャの予測誤差が大きくなって、Bピクチャの符号化に、より多くの情報量が必要になり、さらにI,Pピクチャへの割り当て情報量が少なくなってI,Pピクチャの画質が低下し、Bピクチャの予測誤差が大きくなるという悪循環に陥り、シーケンス全体の画質が著しく悪化する。

0021

ここで、動き補償フレーム間予測の予測誤差量は、符号化フレームと参照フレームの間の時間的な距離と、動きベクトルの探索範囲と、被写体の動き量などに依存する。

0022

図23に、動き補償予測における動きベクトルの例を示す。動きベクトルの検出方式としては、ブロックマッチング方式が一般的である。ブロックマッチング方式では、動きベクトル探索領域内の予測ブロック候補に対し、予測ブロック候補と符号化ブロックとの間の誤差量を計算する。そして、誤差量が最小となる候補を予測ブロックとし、予測ブロック位置の符号化ブロック位置からの相対的なズレ量を動きベクトルとする。

0023

ここで、符号化フレームと参照フレームが時間的に離れていればいるほど、被写体の動き量も大きくなるため、より大きな動きベクトルの探索範囲が必要になる。

0024

図24に、符号化フレームと参照フレームのフレーム間距離と、必要な動きベクトル探索領域の関係を示す。図24に示すように、符号化フレームと参照フレームが1フレーム時間離れている時に必要な動きベクトルの探索範囲が水平方向に±K、垂直方向に±Lの場合、符号化フレームと参照フレームが2フレーム時間離れている時には、動きベクトルの探索範囲は水平方向に±2K、垂直方向に±2L必要になる。

0025

さらに、符号化フレームと参照フレームが時間的に離れていると、被写体の動きに、平行移動だけでなく回転や変形などの複雑な要素が加わり、予測が困難になる。

0026

よって、一般的には、符号化フレームと参照フレームが時間的に離れると、予測誤差が増大する。すなわち、参照フレーム間隔が大きくなると、Pピクチャの符号化における予測誤差が大きくなる。しかしその一方で、参照フレーム間隔が大きくなり、I,Pピクチャの間に存在するBピクチャのフレーム数が多くなると、情報量を少なく割り当てられるBピクチャの割合が大きくなるため、I,Pピクチャへの割り当てビット数が多くなり、I,Pピクチャの画質を向上することができる。

0027

以上から、参照フレーム間隔には、画像に応じて最適な値が存在することが分かる。

0028

特開平8−65678号「動画像符号化方式」に、NフレームからなるGOP(Group Of Pictures)の単位で、参照フレーム間隔mとI,Pピクチャの枚数nを最適化する方式が述べられている。ここで、GOPの中のIピクチャは1枚とし、N,m,nは式(1)を満足する。

0029

0030

図25に、特開平8−65678号記載の処理を行なうブロック図を示す。ここで、26は符号化ブロックと予測ブロックの相関を計算する相関計算回路、27は相関計算回路26によって計算された相関係数に基づき、前記m,nを決定する予測構造判定回路である。なお、図22と同一の機能を有するブロックには、同一の番号を付している。

0031

相関計算回路26は、式(2)で表される相関係数ρを計算する。

0032

0033

ここで、x(s)は第sフレームの符号化画像画素値、x(s−1)は第s−1フレームの符号化画像の画素値である。また、E[・]は平均値を求める操作を表している。

0034

予測構造判定回路27は、GOPのフレーム数Nにおいて可能な全ての(m,n)の組み合わせに対して、式(3)で表される符号化効率を計算し、Gainが最大になる(m,n)の組を求める。

0035

0036

ここで、wP ,wB は定数であり、S(m−1)は式(4)で表される。

0037

0038

画像並べ替え制御回路2は、予測構造判定回路27によって決定された(m,n)に従ってI,P,Bピクチャの位置を決定し、フレームメモリ1から符号化フレームを読み出す。

発明が解決しようとする課題

0039

前記特開平8−65678号においては、式(2),(3),(4)に示す複雑な演算が必要である。これらは複数の乗除算演算やべき乗演算を含むため、実現するためには大規模演算回路および演算時間が必要になる。特に、式(2)は画素単位の演算であるから処理量が大きく、さらに2個の乗算を含むため、回路規模が非常に大きくなる。

0040

また、(m,n)の算出はGOP単位に行なわれるため、実時間符号化時に被写体やカメラの急な挙動などによって、式(2)に示す相関係数が急に変化した場合など、予測構造の変更が画像の変化に追随できず、画質劣化が発生する場合がある。

0041

本発明は以上の問題点に鑑み、簡単な演算で予測構造を可変することができ、さらに、GOPよりも小さい単位で、より精密に予測構造を変更することが可能となる動画像符号化装置を提供することを目的とする。

課題を解決するための手段

0042

本発明の請求項1記載の動画像符号化装置においては、動画像シーケンスの各フレームを符号化ブロックに分割し、各符号化ブロックを参照フレームからのフレーム間予測を用いて符号化する動画像符号化であって、前記符号化ブロックに対する符号化モードとして、過去の参照フレームからの予測を用いる前方予測モードと、未来の参照フレームからの予測を用いる後方予測モードと、過去の参照フレームからの予測と未来の参照フレームからの予測の平均値を予測として用いる双方向予測モードと、フレーム間予測を用いないフレーム内符号化モードとを備え、各フレームは、フレーム内の全ての符号化ブロックをフレーム内符号化モードで符号化するフレーム内符号化フレーム(以下、Iピクチャ)、フレーム内の各符号化ブロックを前方予測モードもしくはフレーム内符号化モードを用いて符号化する前方予測符号化フレーム(以下、Pピクチャ)、フレーム内の各符号化ブロックを前方予測モードもしくは後方予測モードもしくは双方向予測モードもしくはフレーム内符号化モードを用いて符号化する双方向予測符号化フレーム(以下、Bピクチャ)のいずれかに分類され、IピクチャもしくはPピクチャを参照フレームとする動画像符号化において、フレーム間予測の予測効率を計算する予測効率計算回路と、参照フレーム間隔決定回路とを具備し、IピクチャとPピクチャ、もしくはPピクチャとPピクチャ、もしくはIピクチャとIピクチャの時間間隔である参照フレーム間隔を適応的に可変とし、該参照フレーム間隔を、予測効率計算回路の出力に応じて参照フレーム間隔決定回路において決定することを特徴とする。

0043

本発明の請求項2記載の動画像符号化装置においては、前記予測効率計算回路において、符号化ブロックのフレーム間予測における予測誤差(以下、ブロック予測誤差)、もしくは、ブロック予測誤差と符号化ブロックのアクティビティを用いて、予測効率を算出することを特徴とする。

0044

本発明の請求項3記載の動画像符号化装置においては、予測効率の算出に前記ブロック予測誤差を用い、前記ブロック予測誤差が所定のしきい値よりも小さい符号化ブロックを高効率予測ブロックと判定し、フレーム内における高効率予測ブロックの個数を予測効率とすることを特徴とする。

0045

本発明の請求項4記載の動画像符号化装置においては、予測効率の算出に前記ブロック予測誤差と前記アクティビティを用い、前記ブロック予測誤差が、前記アクティビティに所定係数を乗じた値よりも小さい、または、前記ブロック予測誤差が所定のしきい値よりも小さい符号化ブロックを高効率予測ブロックと判定し、フレーム内における高効率予測ブロックの個数を予測効率とすることを特徴とする。

0046

本発明の請求項5記載の動画像符号化装置においては、予測効率の算出に前記ブロック予測誤差を用い、前記ブロック予測誤差のフレーム内における累積値逆数を予測効率とすることを特徴とする。

0047

本発明の請求項6記載の動画像符号化装置においては、予測効率の算出に前記ブロック予測誤差と前記アクティビティを用い、符号化ブロック毎に前記アクティビティを前記ブロック予測誤差で除した値の、フレーム内における累積値を予測効率とすることを特徴とする。

0048

本発明の請求項7記載の動画像符号化装置においては、前記ブロック予測誤差として、符号化ブロックと予測ブロックの間の差分絶対値和、もしくは、符号化ブロックと予測ブロックの間の差分自乗和を用いることを特徴とする。

0049

本発明の請求項8記載の動画像符号化装置においては、前記アクティビティとして、符号化ブロックにおける交流成分の絶対値和、もしくは、符号化ブロックにおける交流成分の自乗和を用いることを特徴とする。

0050

本発明の請求項9記載の動画像符号化装置においては、前記参照フレーム間隔決定回路において、Pピクチャの符号化における予測効率が所定のしきい値を下回った時に、該Pピクチャ以後の符号化における参照フレーム間隔を減小することを特徴とする。

0051

本発明の請求項10記載の動画像符号化装置においては、前記参照フレーム間隔決定回路において、Iピクチャの位置を該Iピクチャの直前で用いられていた第1の参照フレーム間隔から所定の値だけ増加した第2の参照フレーム間隔によって設定し、該Iピクチャに対してもPピクチャと同様の方法で該Iピクチャに対する予測効率を算出して、該予測効率が所定のしきい値を上回った時には、該Iピクチャの以後の符号化における参照フレーム間隔を第2の参照フレーム間隔とし、該予測効率が所定のしきい値を下回った時には、以後の符号化における参照フレーム間隔を第1の参照フレーム間隔とすることを特徴とする。

0052

本発明の請求項11記載の動画像符号化装置においては、参照フレーム間にあるBピクチャの符号化において、前方予測モードが選択された符号化ブロックの個数が所定のしきい値を下回り、かつ、後方予測モードが選択された符号化ブロックの個数が所定のしきい値を下回るBピクチャが存在する条件が成立する場合のみ、該Bピクチャ以降の参照フレーム間隔の制御を行なうことを特徴とする。

0053

本発明の請求項12記載の動画像符号化装置においては、参照フレーム間にあるBピクチャの符号化において、予測効率が所定のしきい値を上回るBピクチャが存在する条件が成立する場合のみ、該Bピクチャ以降の参照フレーム間隔の制御を行なうことを特徴とする。

0054

本発明の請求項13記載の動画像符号化装置においては、参照フレーム間にあるBピクチャの符号化において、請求項11記載の条件と、請求項12記載の条件が、両方とも成立する場合のみ、該Bピクチャ以降の参照フレーム間隔の制御を行なうことを特徴とする。

0055

本発明の請求項14記載の動画像符号化装置においては、前記参照フレーム間隔決定回路において、IピクチャもしくはPピクチャの符号化における予測効率が第1のしきい値を下回った時に、該フレーム以後の符号化における参照フレーム間隔を減小し、IピクチャもしくはPピクチャの符号化における予測効率が第2のしきい値を上回った時に、該フレーム以後の符号化における参照フレーム間隔を増加することを特徴とする。

0056

本発明の請求項15記載の動画像符号化装置においては、前記参照フレーム間隔決定回路において、IピクチャもしくはPピクチャとする符号化フレームの位置を決定する際に、符号化フレームとなりうる複数の候補フレームの全てに対して前記予測効率を求め、該予測効率が所定のしきい値を上回る前記候補フレームの中で、時間的に最も新しい候補フレームを前記符号化フレームとすることを特徴とする。

0057

本発明の請求項16記載の動画像符号化装置においては、前記フレーム画像に対する処理と同様の処理をフィールド画像に対して適用することを特徴とする。

発明を実施するための最良の形態

0058

図1に、本発明の動画像符号化装置における一実施形態のブロック図を示す。ここで、12は予測効率計算回路、13は参照フレーム間隔決定回路である。なお、図22と同一の機能を有するブロックには、同一の番号を付している。

0059

予測効率計算回路12においては、動きベクトル検出回路3から出力され、符号化モード判定回路4で用いられる情報から、当該符号化フレームにおける予測効率が計算される。

0060

参照フレーム間隔決定回路13においては、予測効率計算回路12で計算された予測効率と、符号化モード判定回路4で決定された符号化モードから、参照フレーム間隔mを決定し、画像並べ替え制御回路2を制御する。

0061

画像並べ替え制御回路2は、参照フレーム間隔決定回路13から指定された順序でフレームメモリ1から符号化フレームを読み出す。

0062

図2に、本発明の請求項3に記載する予測効率計算回路12の一実施形態のブロック図を示す。15は予測誤差と所定のしきい値とを比較し、高効率予測ブロックか否かを判定する比較器、16は高効率予測ブロックの個数をカウントするカウンタである。

0063

本実施形態においては、予測誤差が所定のしきい値を下回るブロックを予測効率が高いブロック(以下、高効率予測ブロック)と判定し、フレーム内における高効率予測ブロックの個数を当該フレームにおける予測効率としている。なお、高効率予測ブロックの判定は、フレーム内の全てのブロックに対して行なってもよいし、一部のブロックに対してのみ行なってもよい。

0064

ここで、カウンタ16は、フレーム毎に0にリセットされ、高効率予測ブロックの個数をカウントし、カウント値を符号化フレームにおける予測効率とする。

0065

図3に、本発明の請求項4に記載する予測効率計算回路12の一実施形態のブロック図を示す。14はアクティビティに対して定数αを乗ずる定数乗算器、17は予測誤差と定数乗算器14の出力としきい値とを比較し、高効率予測ブロックか否かを判定する比較器であり、図2と同一の機能を有するブロックには同一の符号を付している。

0066

図4に、比較器17の特性の一実施形態を示す。なお、図4において、α=0とした場合が比較器15の特性となる。

0067

一般的に、予測誤差が大きいと予測効率が低いと言えるが、複雑な絵柄すなわちアクティビティが大きい場合にも予測誤差が大きくなる傾向がある。これは、動きベクトル検出によって符号化ブロックの動きを正確に追跡していても、アクティビティが大きければ予測誤差が大きくなることを意味し、予測誤差の大きさだけでは予測効率を正確に判断できないことになる。式(5)においては、予測誤差をアクティビティで除することにより、予測効率におけるアクティビティの影響を低減している。

0068

0069

すなわち、予測効率の高い符号化ブロックに対しては、式(5)が小さくなり、逆に予測効率が低い符号化ブロックに対しては、式(5)が大きくなる。言いかえると、絵柄は複雑だが予測が当たっている時、式(5)は小さくなり、絵柄は単純だが予測が当たらない時、式(5)は大きくなる。

0070

図4においては、式(5)が定数αを下回る符号化ブロックを、高効率予測ブロックと判定している。ただし、予測誤差が十分小さい時には、式(5)がαを上回っても符号化効率は低くならないので、所定のしきい値を設定して、予測誤差が所定のしきい値よりも小さければ高効率予測ブロックと判定している。よって、符号化ブロックのアクティビティと予測誤差を図4プロットし、斜線の領域に入れば高効率予測ブロックと判定する。なお、高効率予測ブロックの判定は、フレーム内の全てのブロックに対して行なってもよいし、一部のブロックに対してのみ行なってもよい。

0071

図3においては、図2と同様に、カウンタ16は、フレーム毎に0にリセットされ、高効率予測ブロックの個数をカウントし、カウント値を当該フレームにおける予測効率とする。

0072

以上のように、図3においては、予測効率の計算に予測誤差だけでなくアクティビティも使用することによって、正確な予測効率を算出することを可能にしている。

0073

図5に、本発明の請求項5に記載する予測効率計算回路の一実施形態のブロック図を示す。19は加算器、20は加算結果を保持するレジスタであり、加算器19とレジスタ20は累積加算器を構成して予測誤差の累積値を計算する。また、18は予測誤差の累積値の逆数を算出するための除算器である。

0074

レジスタ20はフレーム毎にリセットされ、符号化ブロック毎の予測誤差を1フレーム分累積加算する。

0075

除算器18で計算される符号化フレームに対する予測効率は、式(6)で表される。

0076

0077

ここで、式(6)の分母における“+1”は累積予測誤差が0の時に、式(6)の分母が0になることを防ぐために付加しており、1以外の値の加算でも構わない。

0078

式(6)においては、予測誤差が小さいほど予測効率が高いと判定し、累積予測誤差の逆数を符号化フレームにおける予測効率としている。なお、予測誤差の累積計算は、フレーム内の全てのブロックに対して行なってもよいし、一部のブロックに対してのみ行なってもよい。

0079

図6に、本発明の請求項6に記載する予測効率計算回路の一実施形態のブロック図を示す。加算器19とレジスタ20は、図5と同様に累積加算器を構成しており、式(7)で表される符号化ブロック毎の予測効率を1フレーム分累積加算する。

0080

0081

ここで、式(7)の分母における”+1”は予測誤差が0の時に、式(7)の分母が0になることを防ぐために付加しており、1以外の値の加算でも構わない。

0082

式(7)は式(5)の逆数となっており、予測効率が高い符号化ブロックにおいては値が大きくなり、予測効率が低い符号化ブロックにおいては値が小さくなる。

0083

よって、符号化ブロック毎に計算された式(7)の値を1フレーム分累積加算することによって、符号化フレームに対する予測効率を計算することができる。なお、予測誤差の累積計算は、フレーム内の全てのブロックに対して行なってもよいし、一部のブロックに対してのみ行なってもよい。

0084

図5図6においては、図2図3と異なり、符号化ブロック単位でのしきい値判定がないため、しきい値判定における誤判定の影響がなく、正確な予測効率の計算が可能となる。

0085

なお、図2図3図5図6においては、予測効率の計算に予測誤差とアクティビティを用いている。これらのパラメータは、通常符号化モードの判定に用いているものであるため、新たに計算する必要はない。よって、予測効率の計算に伴うハードウェア規模の増加はほとんど発生しない。

0086

本発明の請求項7に記載する動画像符号化装置においては、符号化ブロックにおける予測誤差として式(8)もしくは式(9)を用いる。

0087

0088

0089

ここで、xは符号化ブロックの画素値、pは予測ブロックの画素値、Bはブロック内の画素数、iは画素に対するインデックスである。

0090

本発明の請求項8に記載する動画像符号化装置においては、符号化ブロックにおけるアクティビティとして式(10)もしくは式(11)を用いる。

0091

0092

0093

0094

式(12)におけるdは符号化ブロック内における画素値の平均値(直流成分)である。このため、式(10)におけるアクティビティは符号化ブロックにおける交流成分の絶対値和となり、式(11)におけるアクティビティは符号化ブロックにおける交流成分の自乗和となる。

0095

図7に、本発明の請求項9における参照フレーム間隔mの制御例を示す。図7においては、m=2として符号化している時に、第2フレーム以後で被写体の動きが激しくなった場合を仮定している。すなわち、第2フレーム以後で参照フレーム間隔を減じることが必要となる。

0096

この時、画像順序の並べ替えによって、第2フレームよりも第3フレームの方が先に符号化されるため、第3フレームの符号化において、予測効率が所定のしきい値を下回り、被写体の動きが激しくなったことが認識される。この場合、第2フレームは通常の手順で第3フレームの次に符号化しなければならないため、第4フレーム以降の符号化において、参照フレーム間隔を減じる処理が可能になる。図7においては、第3フレームまではm=2としており、第4フレーム以降でm=2から減じてm=1としている。

0097

以上のように、従来例(特開平8−65678号)におけるGOP単位の制御と異なり、本発明においては、参照フレーム間隔の単位で予測構造の制御を行なっているため、被写体やカメラの動きが急に変化した場合にも、素早く反応することができ、画質も向上する。

0098

また、図24に示すように、参照フレームと符号化フレームの間の時間的距離を短くすることによって、実質的な動きベクトル探索範囲を広くすることができる。言いかえれば、動きベクトル探索範囲が小さくても、動きベクトル探索範囲に応じて参照フレームと符号化フレームの間の時間的距離が短く設定されて予測効率が高くなるため、動きベクトル検出回路の回路規模に応じた最適な予測構造を設定することができる。

0099

図8図9に、本発明の請求項10における参照フレーム間隔mの制御例を示す。ここでは、当初m=1が設定されていると仮定している。

0100

図8図9において、第3フレームの符号化終了後、m=2の時の予測効率を調べるため、第4フレームをBピクチャとして一旦m=2とし、第5フレームをIピクチャとする。よって、画像順序の並べ替えから第5フレームを第4フレームよりも先に符号化することになる。

0101

第5フレームはIピクチャとして符号化するから、本来フレーム間予測は行なわないが、Pピクチャと同様の方法で仮想的に予測を行ない、直前のPピクチャである第3フレームからの予測効率を算出する。

0102

図8では、第5フレームの符号化における予測効率が所定のしきい値を上回った、すなわち予測効率が高いと判定されるため、第6フレーム以降においても、m=2にしたまま符号化を進めている。一方、図9では、第5フレームの符号化における予測効率が所定のしきい値を下回った、すなわち予測効率が低いと判定されるため、第6フレーム以降では、再びm=1にして符号化を進めている。

0103

Iピクチャ自身の符号化効率は予測効率に依存しない。このため、Iピクチャにおいてmを増やして仮想的に予測効率を計算することにより、mを増やした時の予測効率を、符号化効率を下げることなく調べることができ、mを増加しても予測効率が良好か否かを、効果的に判断することができる。

0104

図10図11に、本発明の請求項11における参照フレーム間隔mの制御例を示す。

0105

図10においては、m=2として符号化している時に、第2フレームと第3フレームの間でシーンチェンジが発生した場合を仮定しており、図11においては、m=2として符号化している時に、第1フレームと第2フレームの間でシーンチェンジが発生した場合を仮定している。

0106

シーンチェンジが発生すると、シーン切れ目にあるBピクチャにおいては、双方向予測の選択率が低下し、前方向予測、もしくは、後方向予測の選択率が上昇する。図10においては、Bピクチャとして符号化される第2フレームの直後でシーンチェンジが発生しており、Bピクチャにおいては、前方向予測が選択される率が高くなる。逆に図11においては、Bピクチャとして符号化される第2フレームの直前でシーンチェンジが発生しており、Bピクチャにおいては、後方向予測が選択される率が高くなる。また、いずれの場合にも、シーンチェンジをまたいで予測される第3フレームにおいては予測効率が低下する。

0107

図10図11においては、Pピクチャとして符号化される第3フレームにおいて、請求項9に記載した条件が満足されているため、mを減じることになる。しかし、第3フレームに続いて符号化される第2フレームにおいて、前方向予測が選択される符号化ブロック(以下、前方向予測ブロック)の個数、もしくは、後方向予測が選択される符号化ブロック(以下、後方向予測ブロック)の個数が所定のしきい値を超えるので、mを減じる処理がとりやめられる。

0108

シーンチェンジが発生した場合には、動画像シーケンス自体の予測効率とは無関係に予測効率が低下するが、低下は一時的なものであり、このような場合には、mを減じない方がシーケンス全体の符号化効率が良くなる。

0109

図12に、本発明の請求項12における参照フレーム間隔mの制御例を示す。図12においては、m=2として符号化している時に、第2フレームから第3フレームにかけてフラッシュがたかれ、輝度値の急激な変化が発生した場合を仮定している。

0110

フラッシュがたかれた場合、画像の性質が短時間に急激に変化し、一時的に予測効率が低下する。

0111

図12においては、第3フレームにおいて、請求項9に記載した条件が満足されるため、mを減じることになる。しかし、フラッシュの開始点である第2フレームにおいても、予測効率が所定のしきい値を下回るため、mを減じる処理がとりやめられる。

0112

フラッシュなどによる画像の性質の一過性の変化によって予測効率が低下する場合についても、前記したシーンチェンジと同様の理由でmを減じない方がシーケンス全体の符号化効率が良くなる。

0113

図13図14図15に、上記した処理の流れをまとめてフローチャートで表す。ここで、図13はIピクチャにおける処理の流れを、図14はPピクチャにおける処理の流れを、図15はBピクチャにおける処理の流れを表している。

0114

図中における“フラグ”は、Bピクチャの符号化後にmを減少するか否かを判定するためのもので、フラグ=1の時に、以後のピクチャの符号化におけるmを減少する。

0115

Iピクチャにおいては、請求項10に従って、mを増加してから符号化を行ない、この時、同時に予測効率を計算する。ここで、予測効率が所定のしきい値を上回ればフラグは0にセットされ、増加したmの値が以後の符号化において用いられる。逆に、予測効率が所定のしきい値を下回ればフラグは1にセットされる。

0116

Pピクチャにおいては、請求項9に従い、予測効率が所定のしきい値を上回ればフラグは0にセットされ、逆に、予測効率が所定のしきい値を下回ればフラグは1にセットされる。

0117

Bピクチャにおいては、請求項13に従い、前方向予測ブロックが所定の個数を超えた、もしくは後方向予測ブロックが所定の個数を超えた、もしくは予測効率が所定のしきい値を下回った時にフラグは0にセットされる。すなわち、請求項13においては、請求項11,12の両方の条件を用いることによって、シーンチェンジにもフラッシュにも対応している。

0118

以上の判定の後、続いて符号化するピクチャがIピクチャもしくはPピクチャの時に、フラグ=1ならば、以後のピクチャの符号化におけるmを減少し、フラグ=0ならば、現状のmを以後のピクチャの符号化においても使用する。

0119

図16に、本発明の請求項14における第1のしきい値と第2のしきい値の例を示し、図17に、参照フレーム間隔mの制御例を示す。

0120

図16において、予測効率が第1のしきい値を下回った時には、以後の符号化における参照フレーム間隔mを減少し、予測効率が第2のしきい値を上回った時には、以後の符号化における参照フレーム間隔mを増加する。

0121

図17においては、第3フレームの符号化における予測効率が第1のしきい値を下回ったため、第4フレーム以後のフレームの符号化における参照フレーム間隔mをm=2からm=1に減少し、第7フレームの符号化における予測効率が第2のしきい値を上回ったため、第8フレーム以後の符号化における参照フレーム間隔mをm=1からm=2に増加している。

0122

本実施形態においては、IピクチャおよびPピクチャの位置においてmを増減することができるため、Iピクチャの符号化においてのみmを増加する請求項10に比較して、より細かな単位でのmの制御が可能になる。

0123

以上の実施形態においては、mを2もしくは1の間で制御する場合について説明したが、これ以外の値についても、同様の方法で制御することができる。

0124

図18に、本発明の請求項15におけるIピクチャおよびPピクチャの処理のフローチャートを示す。図18においては、IピクチャおよびPピクチャの符号化時に、最大参照フレーム間隔Mに対して参照フレーム間隔mをm=M,M−1,…,1の順に変化して予測効率を試算し、最初に所定のしきい値を上回った予測効率におけるmを、該符号化フレームにおける参照フレーム間隔として、符号化を行なう。

0125

図19を用いて、本実施形態の動作を説明する。図19(a)に、M=3とした時の符号化フレームと参照フレームの関係を示す。ここで、第1フレームは符号化済みのPピクチャであり、次に符号化するPピクチャのフレーム間予測における参照フレームとして用いられる。

0126

まず、第4フレーム(m=3),第3フレーム(m=2),第2フレーム(m=1)を、各々Pピクチャと仮定して予測効率を試算する。この時のmと予測効率の関係の例を図19(b)に示す。一般的に、参照フレームと符号化フレームの間のフレーム間距離が短いほど予測効率は高くなるが、図19(b)において、予測効率が所定のしきい値を上回るmの最大値はm=2である。

0127

よって、図19(c)に示すように、m=2が選択され、第3フレームがPピクチャとして符号化される。このため、第2フレームはBピクチャとして、第3フレームに続いて符号化される。

0128

本実施形態においては、IピクチャおよびPピクチャの符号化前に、選択可能な全ての参照フレーム間隔における予測効率を試算し、これに基づき、使用する参照フレーム間隔を決定するため、IピクチャおよびPピクチャの符号化毎に最適な参照フレーム間隔を選択することが可能となる。

0129

なお、以上の実施形態においては、フレーム画像に対する処理を中心に説明してきたが、同様の処理をフィールド画像に対して適用することによって、フィールド単位の符号化においても同様の効果を得ることができる。

発明の効果

0130

本発明においては、予測効率に応じて参照フレーム間の距離を制御することにより、被写体やカメラの動きが激しい場合などフレーム間予測誤差が大きい時には、参照フレームの時間的距離を小さくし、予測効率を向上することで画質向上を図り、予測誤差が小さい時には、参照フレームの時間的距離を大きくし、参照フレームへの割り当て情報量を増加することで画質を向上することができる。

0131

また、動きベクトル探索範囲が小さくても、参照フレーム間距離を小さくすることで予測効率を高く保つことができ、動きベクトル検出回路の回路規模に応じて最適な予測構造を設定することが可能になる。

0132

本発明の請求項3,4においては、比較器とカウンタのみで予測効率を算出できるため、予測効率の演算回路の回路規模を非常に小さすることができる。

0133

本発明の請求項5,6においては、符号化ブロック単位でのしきい値判定がないため、しきい値判定における誤判定の影響がなく、正確な予測効率の計算が可能となる。

0134

本発明の請求項4,6においては、予測効率の計算に予測誤差だけでなくアクティビティも使用することによって、予測効率に対する符号化ブロック自身の絵柄の複雑さの影響を抑え、正確な予測効率を算出することが可能になる。

0135

本発明の請求項11,12,13においては、シーンチェンジやフラッシュなどによって一時的に予測効率が低下する場合に、参照フレームの時間的距離が短くなり符号化効率が低下することを防ぎ、動画像シーケンス全体の画質を向上することができる。

0136

本発明の請求項14においては、IピクチャおよびPピクチャの位置において参照フレーム間隔を増減することができるため、細かな単位での参照フレーム間隔の制御が可能になる。

0137

本発明の請求項15においては、IピクチャおよびPピクチャの符号化前に、選択可能な全ての参照フレーム間隔における予測効率を試算し、これに基づき、次に使用する参照フレーム間隔を決定するため、IピクチャおよびPピクチャの符号化毎に最適な参照フレーム間隔を選択することが可能となる。

0138

本発明の請求項16においては、フィールド構造の符号化に対してもフレーム構造の符号化と同様の効果を得ることができる。

図面の簡単な説明

0139

図1本発明における一実施形態のブロック図である。
図2本発明の請求項3における一実施形態のブロック図である。
図3本発明の請求項4における一実施形態のブロック図である。
図4図3における比較器の特性の一実施形態である。
図5本発明の請求項5における一実施形態のブロック図である。
図6本発明の請求項6における一実施形態のブロック図である。
図7本発明の請求項9における参照フレーム間隔mの制御例を示す図である。
図8本発明の請求項10における参照フレーム間隔mの制御例を示す第1の図である。
図9本発明の請求項10における参照フレーム間隔mの制御例を示す第2の図である。
図10本発明の請求項11における参照フレーム間隔mの制御例を示す第1の図である。
図11本発明の請求項11における参照フレーム間隔mの制御例を示す第2の図である。
図12本発明の請求項12における参照フレーム間隔mの制御例を示す図である。
図13本発明の請求項9,10,13におけるIピクチャの処理のフローチャートである。
図14本発明の請求項9,10,13におけるPピクチャの処理のフローチャートである。
図15本発明の請求項9,10,13におけるBピクチャの処理のフローチャートである。
図16本発明の請求項14における第1のしきい値と第2のしきい値の例を示す図である。
図17本発明の請求項14における参照フレーム間隔mの制御例を示す図である。
図18本発明の請求項15におけるIピクチャおよびPピクチャの処理のフローチャートである。
図19本発明の請求項15における実施形態の動作を説明する図である。
図20MPEGにおける予測構造を説明する図である。
図21MPEGにおける画像順序の並べ替えを説明する図である。
図22従来の動画像符号化装置のブロック図である。
図23動きベクトル検出を説明する図である。
図24符号化フレームと参照フレームの間の時間的距離と、動きベクトルの探索範囲の関係を説明する図である。
図25特開平8−65678号記載の処理を行なう従来の動画像符号化装置のブロック図である。

--

0140

1フレームメモリ
2 画像並べ替え制御回路
3動きベクトル検出回路
4符号化モード判定回路
5動き補償予測回路
6セレクタ
8符号化器
9復号器
11 フレームメモリ

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 株式会社東芝の「 AD変換回路」が 公開されました。( 2020/09/24)

    【課題】一つの実施形態は、信号に含まれる誤差を低減できるAD変換回路を提供することを目的とする。【解決手段】一つの実施形態によれば、AD変換回路の第1のΔΣ変換回路において、第1の量子化器は、1.5ビ... 詳細

  • 株式会社デンソーの「 データ圧縮方法、データ圧縮装置」が 公開されました。( 2020/09/24)

    【課題】データを可逆的且つ効率よく圧縮することができるデータ圧縮方法、データ圧縮装置を提供する。【解決手段】実施形態のデータ圧縮方法は、文字および数字の少なくとも一方を含むデータを圧縮するものであって... 詳細

  • シャープ株式会社の「 画像スケーリング変換、逆変換装置及び方法」が 公開されました。( 2020/09/24)

    【課題】画質の低下を抑制可能な画像処理装置を実現する。【解決手段】画素スケーリング階調変換部(51)は、入力画像の各画素値にオフセットを加算又は減算したうえでスケーリングすることによりスケーリング済画... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ