技術 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号化装置、動画像復号化方法、動画像復号化プログラム、録画装置、および再生装置

0001

本発明は、動画像ピクチャを符号化または復号化する装置及び方法に関し、更に詳しくは、参照ピクチャ番号の符号化、復号化技術に関するものである。

0002

近年、デジタル映像機器の技術進歩は著しく、ビデオカメラやテレビチューナから入力された映像信号（時系列順に並んだ複数の動画像ピクチャ）を圧縮符号化し、ＤＶＤ（Digital Versatile Disc）やハードディスク等の記録メディアに記録する機会が増えている。映像信号を符号化する際、符号量を少なくするために動き補償処理が行われることが多い。動き補償処理とは、前または後の少なくともいずれかの動画像ピクチャ（参照ピクチャ）から、現在の動画像ピクチャを予測し、その予測ピクチャとの差分を符号化する手法である。近年のＨ．２６４等の動画像符号化規格では、さらなる符号量削減を実現するために、ピクチャ内の各符号化ブロックによって使用される参照ピクチャを、複数の参照ピクチャの中から選択できるようにしており、参照ピクチャ番号によって、使用される参照ピクチャを識別するようにしている。

0003

しかし、動画像符号化において、複数の参照ピクチャを用いる場合には、１枚の参照ピクチャを用いる場合に比べて課題がある。例えば、参照ピクチャ番号の符号化が必要であるため、参照ピクチャが複数存在する場合は、参照ピクチャが１枚の場合に比べて、符号化する参照ピクチャ番号の数が多いため、符号量が増加してしまうことが挙げられる。

0004

Ｈ．２６４の動画像符号化規格では、頻繁に使用される参照ピクチャに小さい符号ビットを割り当て、その符号ビットを基に、参照ピクチャ番号の符号化を行う仕組みがある。この仕組みにより、参照ピクチャ番号の符号量の増加を抑えることができる。しかし、複雑な映像を符号化する場合、使用される参照ピクチャが頻繁に変化するため、細かな頻度で各参照ピクチャの符号ビットの割り当てを変えるべきであるが、どの参照ピクチャにどのような符号ビットを割り当てるかという情報を符号列に追加する必要がある。したがって、その情報の符号化に係る符号量が増大してしまうことになる。

0005

そこで、この課題を解決する技術として、符号化ブロック毎に使用される参照ピクチャを予測し、予測した参照ピクチャの参照ピクチャ番号と、動き補償処理で実際に使用される参照ピクチャの参照ピクチャ番号との差分を符号化することによって、参照ピクチャ番号の符号量を削減しているものがある（例えば、特許文献１参照）。

0006

特開２００７−６０６９４号公報

0007

しかしながら、従来の技術では、予測した参照ピクチャ番号と動き補償処理で実際に使用される参照ピクチャ番号とが近似している場合、つまり予測が当たった場合は符号量を削減できるが、逆に予測が外れてしまった場合は符号量が増加してしまう。

0008

かかる点に鑑みて、本発明は、符号量を削減することができる動画像符号化装置を提供することを課題とする。

0009

上記課題を解決するため本発明によって次のような解決手段を講じた。例えば、複数の動画像ピクチャを順次符号化する動画像符号化装置は、動画像ピクチャに含まれる各符号化ブロックによって参照される複数の参照ピクチャのそれぞれに、当該各参照ピクチャの参照ピクチャ番号の符号化に係る符号ビットを割り当てる符号ビット割当部と、入力される符号化ブロックに対して、複数の参照ピクチャと符号ビットとを用いて動き推定処理を行い、当該符号化ブロックの動きベクトルを算出するとともに、当該動きベクトルの算出に係る参照ピクチャを特定する動き推定部と、算出された動きベクトルと特定された参照ピクチャとに基づいて、動き補償処理を行う動き補償部と、算出された動きベクトルと、特定された参照ピクチャに割り当てられた符号ビットとを符号化する符号変換部とを備えている。そして、符号ビット割当部は、参照頻度がより高い参照ピクチャに符号量が小さい符号ビットを割り当てる。

0010

これによると、符号ビット割当部によって、参照頻度が相対的に高い参照ピクチャに、小さい符号量の符号ビットが優先して割り当てられる。つまり、どの参照ピクチャにどのような符号ビットを割り当てるかという情報が不要となり、符号量の増加なしで各参照ピクチャに小さい符号ビットを割り当てることができる。これにより、小さい符号ビットの参照ピクチャを使用する符号化ブロックが多くなるため、参照ピクチャ番号の符号量を削減することができる。

0011

具体的に、符号ビット割当部は、符号化済みブロックによって参照された各参照ピクチャに関する、参照頻度を含む情報から、当該各参照ピクチャの使用確率を算出し、当該使用確率が高い参照ピクチャの順に、符号ビットを符号量が小さい順に割り当てる。

0012

これによると、使用確率が高い順に、全参照ピクチャに符号ビットが割り当てられる。したがって、予測が外れて使用確率が最も高い参照ピクチャが使われなかった場合でも、比較的使用確率が高い参照ピクチャが使用される場合が多くなるため、符号量の大幅な増加が抑制される。また、符号化済みブロックの情報を使って各参照ピクチャに符号ビットを割り当てるため、割り当てのための付加情報を符号列内に追加する必要がなく、付加情報による符号量増加は発生しない。

0013

また、上記動画像符号化装置は、複数の参照ピクチャを格納する第１および第２の記憶部をさらに備えていてもよい。そして、第１の記憶部は、第２の記憶部よりも高速アクセスが可能に構成されており、符号ビット割当部は、符号ビットの割り当て対象となる参照ピクチャに、第１の記憶部に存在する確率が高い順に、符号ビットを符号量が小さい順に割り当てるようにする。

0014

これによると、第１の記憶部に存在する確率が高い参照ピクチャには、符号量が小さい符号ビットが割り当てられるため、第１の記憶部に存在する参照ピクチャが動き推定部で選ばれやすくなる。したがって、第１の記憶部に存在する参照ピクチャが選ばれることによって、動き補償処理において、第１の記憶部から参照ピクチャを高速に取得することがでるようになるため、動き補償処理、ひいては符号化処理を高速化することができる。

0015

あるいは、上記動画像符号化装置は、複数の参照ピクチャを格納する第１および第２の記憶部をさらに備え、第１の記憶部は、第２の記憶部よりも高速アクセスが可能に構成されており、符号ビット割当部は、使用確率が同一または近似の参照ピクチャについて、第１の記憶部に存在する確率が高い順に、符号ビットを符号量が小さい順に割り当てるようにしてもよい。

0016

これによると、使用確率が高く、第１の記憶部に存在する確率が高い参照ピクチャほど動き推定部で選ばれやすくなる。したがって、動き推定部で選ばれやすい参照ピクチャについて、その参照ピクチャの参照ピクチャ番号の符号量を削減できるとともに、符号化処理を高速化することができる。

0017

また、録画装置は、上記動画像符号化装置と、動画像符号化装置へ動画像ピクチャを入力する画像入力部と、符号変換部によって符号化された符号列を記録媒体に記録するメディア記録部とを備えている。

0018

これによると、録画装置において、映像信号を少ない符号量、少ない処理量で記録することができる。

0019

あるいは、複数の動画像ピクチャを順次復号化する動画像復号化装置は、動画像ピクチャに含まれる各復号化ブロックによって参照される複数の参照ピクチャに、当該参照ピクチャの参照ピクチャ番号の復号化に係る符号ビットを割り当てる符号ビット割当部と、符号ビットに基づいて、入力される復号化ブロックによって参照される参照ピクチャの参照ピクチャ番号を復号化する参照ピクチャ番号復号部と、復号された参照ピクチャ番号によって識別される参照ピクチャを用いて動き補償処理を行う動き補償部とを備えている。そして、符号ビット割当部は、参照頻度がより高い参照ピクチャに符号量が小さい符号ビットを割り当てる。

0020

これによると、上記動画像符号化装置で符号化された動画像ピクチャの復号化に適した動画像復号化装置を提供することができる。

0021

また、再生装置は、上記動画像復号化装置と、動画像復号化装置へ符号例を入力する符号列入力部と、動画像復号化装置によって、各参照ピクチャの符号ビットを用いて復号された、動画像ピクチャを表示するピクチャ表示部とを備えている。

0022

これによると、上記動画像復号化装置で復号化された動画像ピクチャの閲覧が可能な再生装置を提供することができる。

0023

本発明によると、符号量を削減することができる動画像符号化装置を提供することができる。

0024

第１の実施形態に係る動画像符号化装置を備えた録画装置の構成を示すブロック図である。
符号化ブロックの周辺４ブロックと参照ピクチャとの関係の例を示す図である。
符号化ブロックの周辺４ブロックと参照ピクチャ番号との関係を示す図である。
参照ピクチャと参照ピクチャに関する情報との関係を示す図である。
符号化ブロックの符号化処理を示すフローチャートの例である。
第２の実施形態に係る動画像復号化装置を備えた再生装置の構成を示すブロック図である。
参照ピクチャ番号の復号化を説明するための図である。
復号化ブロックの復号化処理を示すフローチャートの例である。

0025

＜第１の実施形態＞
図１は、第１の実施形態に係る動画像符号化装置を備えた録画装置の構成を示すブロック図である。この録画装置は、例えばビデオカメラであり、画像入力部であるカメラ部１０１から、順次入力される動画像ピクチャを、過去に符号化した５枚の参照ピクチャを選択的に用いた動き補償によって順次符号化し、符号化された符号列を記録媒体に記録する装置である。録画装置では、参照ピクチャ毎に参照ピクチャ番号符号ビットが割り当てられ、割り当てられた参照ピクチャ番号符号ビットに基づいて、動き補償で使用される参照ピクチャを示す参照ピクチャ番号が符号化される。参照ピクチャ番号符号ビットとは、参照ピクチャ毎に割り当てられる符号ビットであって、参照ピクチャ番号を符号化する際に用いられる符号ビットである。この録画装置は、カメラ部１０１と、ブロック分割部１０２と、減算部１０３と、直交変換部１０４と、量子化部１０５と、符号変換部１０６と、メディア記録部１０７と、逆量子化部１０８と、逆直交変換部１０９と、加算部１１０と、第１の記憶部であるキャッシュメモリ１１１と、第２の記憶部であるフレームメモリ１１２と、周辺情報格納メモリ１１３と、符号ビット割当部１１４と、動き推定部１１５と、動き補償部１１６とを備える。

0026

カメラ部１０１は、映像を撮影して符号化ピクチャを生成する。そして、符号化ピクチャをブロック分割部１０２へ順次出力する。

0027

ブロック分割部１０２は、符号化ピクチャを所定サイズの符号化ブロックに分割し、ピクチャ内の左上の符号化ブロックからラスタスキャン順に符号化ブロックを順次出力する。

0028

減算部１０３は、ブロック分割部１０２から出力された符号化ブロックと、動き補償部１１６で生成された予測ブロックとの差分を計算し、計算結果を予測誤差ブロックとして直交変換部１０４に出力する。

0029

直交変換部１０４は、予測誤差ブロックに対して直交変換を施すことによって周波数成分に変換し、直交変換後のブロックを量子化部１０５へ出力する。

0030

量子化部１０５は、直交変換後のブロックを量子化し、量子化後のブロックを符号変換部１０６及び逆量子化部１０８へ出力する。

0031

符号変換部１０６は、量子化後のブロック、動きベクトル、および参照ピクチャ番号符号ビットを符号化し、符号列を出力する。ここで、参照ピクチャ番号符号ビットは可変長に符号化される。具体的には、参照ピクチャ番号符号ビットが小さい値であるほど少ない符号量で符号化される。

0032

メディア記録部１０７は、符号変換部１０６からの符号列を、ＣＤ（Compact Disc）、ＤＶＤ、Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標）、ＳＤ（Secure Digital）カード、ハードディスク等の記録メディアに記録する。

0033

逆量子化部１０８は、量子化後のブロックを逆量子化し、逆量子化後のブロックを逆直交変換部１０９に出力する。

0034

逆直交変換部１０９は、逆量子化後のブロックに対して逆直交変換を施し、逆直交変換後のブロックを加算部１１０に出力する。

0035

加算部１１０は、逆直交変換後のブロックと、動き補償部１１６の出力である予測ブロックとを加算することによって復号ブロックを生成する。復号ブロックは、キャッシュメモリ１１１に出力される。

0036

キャッシュメモリ１１１は、復号ブロックを格納し、複数の復号ブロックで参照ピクチャを生成する。参照ピクチャは、動き補償部１１６および動き推定部１１５に出力される。動き補償部１１６および動き推定部１１５に出力される参照ピクチャがキャッシュメモリ１１１に存在しない場合、キャッシュメモリ１１１は、フレームメモリ１１２から該当する参照ピクチャを取得する。また、キャッシュメモリ１１１の容量が不足し、復号ブロックまたはフレームメモリ１１２からの参照ピクチャを格納できない場合、一定期間使用していない参照ピクチャをフレームメモリ１１２に移動させる。

0037

フレームメモリ１１２は、キャッシュメモリ１１１からの参照ピクチャを格納するとともに、動き補償部１１６および動き推定部１１５が必要とした参照ピクチャがキャッシュメモリ１１１に存在しない場合は、該当する参照ピクチャをキャッシュメモリ１１１に移動させる。フレームメモリ１１２に対するアクセス速度は、キャッシュメモリ１１１に対するアクセス速度よりも遅いが、フレームメモリ１１２は、キャッシュメモリ１１１よりも大容量である。

0038

周辺情報格納メモリ１１３は、動き推定部１１５からの符号化ブロックによって参照されるピクチャの参照ピクチャ番号を順次格納し、次に符号化される符号化ブロックの周辺のブロックによって参照されるピクチャの参照ピクチャ番号を符号ビット割当部１１４に出力する。ここで、符号化ブロックの周辺のブロックとは、符号化ブロックの左上ブロック、上ブロック、右上ブロック、左ブロックを指し、それら周辺４ブロックは符号化ブロックが符号化される時点では既に符号化済みである。また、動き推定部１１５によって、周辺４ブロックの参照ピクチャ番号は確定済みである。

0039

符号ビット割当部１１４は、符号化ブロックの周辺４ブロックの参照ピクチャ番号を受け、その情報を用いて各参照ピクチャに参照ピクチャ番号符号ビットを割り当てる。割り当てられた参照ピクチャ番号符号ビットは動き推定部１１５に出力される。

0040

符号ビット割当部１１４は、符号ビットを割り当てるために、まず、既に符号化済みである、符号化ブロックの周辺４ブロック（左上ブロック、上ブロック、右上ブロック、左ブロック）の参照ピクチャ番号を周辺情報格納メモリ１１３から取得する。取得された参照ピクチャ番号で示される参照ピクチャのうち、周辺４ブロックでの使用回数（参照頻度）が多い参照ピクチャは、符号化ブロックでも選択される可能性が高い（使用確率が高い）と判断される。したがって、参照ピクチャの使用回数が多い順、つまり使用確率が高い順に、小さい参照ピクチャ番号符号ビットが割り当てられる。使用回数が同じである場合、または使用回数が近似している場合は、キャッシュメモリ１１１に存在する確率が高い順、つまり符号化順が後のブロックで使用された参照ピクチャに小さい参照ピクチャ番号符号ビットが割り当てられる。

0041

周辺４ブロックで使用されていない参照ピクチャが複数ある場合は、符号化ブロックが存在する符号化ピクチャとの時間距離が短い参照ピクチャほど、小さい参照ピクチャ番号符号ビットが割り当てられる。

0042

具体的な例を、図２、図３、図４に示す。図２は、符号化ブロックの周辺４ブロックによって使用される参照ピクチャの例を示す図である。例えば、図２において、左上ブロックは、参照ピクチャ番号が“２”である参照ピクチャＣを使用し、上ブロックは、参照ピクチャ番号が“１”である参照ピクチャＢを使用したことを示す。

0043

図３は、図２に示す符号化ブロックの周辺４ブロックのそれぞれが使用する参照ピクチャの参照ピクチャ番号を示す図である。図３によると、符号化ブロックの左上ブロックおよび右上ブロックはともに、参照ピクチャ番号が“２”の参照ピクチャを使用したことがわかる。

0044

図４は、図２に示す５枚の参照ピクチャに対して参照ピクチャ番号符号ビットを割り当てた例を示す図である。図４において、周辺４ブロックでの使用回数は、符号化ブロックの左上ブロック、上ブロック、右上ブロック、および左ブロックのそれぞれによって、各参照ピクチャが使用された回数を示す。例えば、参照ピクチャＣは、左上ブロックと右上ブロックによって使用されているため（図２参照）、使用回数は“２”となる。

0045

また、使用ブロック符号化順には、符号化タイミングが後である周辺ブロックによって使用される参照ピクチャほど、小さい値が設定される。例えば、符号化ブロックの直前に符号化された左ブロックによって参照ピクチャＤが使用されたので、参照ピクチャＤについての、使用ブロック符号化順の値は最も小さくなる。参照ピクチャＣは、左上ブロック、右上ブロックによって使用されているが（図２参照）、この場合は符号化が後の右上ブロックを優先する。したがって、上ブロックによって使用されている参照ピクチャＢよりも参照ピクチャＣの方が使用ブロック符号化順の値は小さくなる。参照ピクチャＡおよび参照ピクチャＥはともに、周辺ブロックによって使用されていないため、使用ブロック符号化順の値を設定しなくてもよい。

0046

また、符号化ピクチャとの時間距離は、カメラ部１０１からの入力順における符号化ピクチャと、各参照ピクチャとの時間的な距離を示す。例えば、参照ピクチャＡは符号化ピクチャの直前のピクチャであるため、時間距離は“１”となるのに対し、参照ピクチャＥは符号化ピクチャの５枚前のピクチャであるため、時間距離は“５”となる。

0047

参照ピクチャ番号符号ビットの割り当てについて、図４を用いて説明する。符号ビット割当部１１４は、まず、周辺４ブロックでの使用回数に基づいて、使用回数が多い参照ピクチャは符号化ブロックでも選択される可能性が高い（使用確率が高い）と判断する。したがって、参照ピクチャＣが周辺４ブロックでの使用回数が最も多いため、参照ピクチャ番号符号ビットは最も小さい値である“０”が割り当てられる。つまり、参照ピクチャ番号“２”の符号ビットは“０”となる。

0048

符号ビット割当部１１４は、周辺４ブロックでの使用回数が同じ場合、使用ブロック符号化順を参照し、この値が小さい方、つまり最近使用された参照ピクチャの方がキャッシュメモリ１１１に存在する確率が高いと判断する。これにより、参照ピクチャＢと参照ピクチャＤとは、周辺４ブロックでの使用回数が同じであるが、使用ブロック符号化順の値が小さい参照ピクチャＤに小さい参照ピクチャ番号符号ビット“１”が割り当てられる。

0049

また、符号ビット割当部１１４は、周辺４ブロックでの使用回数が“０”である参照ピクチャについて、符号化ピクチャとの時間距離が短い方が符号化ブロックでの使用確率が高いと判断する。したがって、参照ピクチャＡと参照ピクチャＥとは、周辺４ブロックによって使用されていないが、符号化ピクチャとの時間距離が短い参照ピクチャＡに小さい参照ピクチャ番号符号ビット“３”が割り当てられる。以上により、図４に示すように、各参照ピクチャに、参照ピクチャ番号符号ビットが割り当てられる。

0050

動き推定部１１５は、符号化ブロック、各参照ピクチャおよびその参照ピクチャ番号符号ビットを用いて、符号化ブロックの動きベクトルを算出するとともに、符号化ブロックによって使用される参照ピクチャを決定する。具体的に、動き推定部１１５は、各参照ピクチャと符号化ブロックとでブロックマッチング探索を行い、参照ピクチャの画素と符号化ブロックとの差分絶対値和である予測誤差値、動きベクトル符号量、および参照ピクチャ番号符号ビットの３つの総和が最小になるように、動きベクトルを算出するとともに、参照ピクチャを特定する。そして、動き推定部１１５は、動きベクトルと、決定した参照ピクチャに対応する参照ピクチャ番号と、その参照ピクチャに割り当てられた参照ピクチャ番号符号ビットとを出力する。

0051

動き補償部１１６は、動き推定部１１５からの動きベクトルと参照ピクチャ番号を用いて参照ピクチャ番号が示す参照ピクチャから予測ブロックを生成する。

0052

次に、本実施形態に係る動画像符号化装置による、符号化ブロックの符号化フローについて、図５を用いて説明する。なお、図５において、各処理とその処理を行う構成要素とを関連づけて記載している。
（ステップＳ１０１）
まず、ブロック分割部１０２において、符号化ピクチャが分割されて、符号化ブロックが生成される。符号化ブロックは、減算部１０３と動き推定部１１５とに出力される。次に、ステップＳ１０２へ進む。

0053

（ステップＳ１０２）
符号ビット割当部１１４において、周辺４ブロックの参照ピクチャ番号を用いて各参照ピクチャに符号ビットが割り当てられる。割り当てられた符号ビットは、動き推定部１１５に出力される。周辺４ブロックの参照ピクチャ番号は周辺情報格納メモリ１１３から取得される。次に、ステップＳ１０３へ進む。

0054

（ステップＳ１０３）
動き推定部１１５において、各参照ピクチャと符号化ブロックとでブロックマッチング探索が行われ、予測誤差値、動きベクトル符号量、および参照ピクチャ番号符号ビットの３つの総和が最小になるように動きベクトル、および参照ピクチャが決定される。決定された参照ピクチャに対応する参照ピクチャ番号は、動き補償部１１６と周辺情報格納メモリ１１３とに出力される。また、決定された参照ピクチャに対応する参照ピクチャ番号符号ビットは、符号変換部１０６に出力される。また、決定された動きベクトルは、動き補償部１１６と符号変換部１０６とに出力される。また、参照ピクチャは、キャッシュメモリ１１１から取得される。もし該当の参照ピクチャがキャッシュメモリ１１１に存在しない場合は、フレームメモリ１１２内の該当参照ピクチャがキャッシュメモリ１１１に読み込まれた後に、キャッシュメモリ１１１から取得される。キャッシュメモリ１１１の容量が一杯で該当の参照ピクチャをキャッシュメモリ１１１に読み込めない場合は、キャッシュメモリ１１１内で一定期間使用していない参照ピクチャをフレームメモリ１１２に移動させる。そして、キャッシュメモリ１１１内に空き容量ができた後に、該当の参照ピクチャがキャッシュメモリ１１１に読み込まれるようにする。次に、ステップＳ１０４へ進む。

0055

（ステップＳ１０４）
動き補償部１１６において、動き推定部１１５によって決定された、動きベクトルと参照ピクチャとを用いて予測ブロックが生成される。参照ピクチャは、参照ピクチャ番号に従って、キャッシュメモリ１１１から取得されるが、参照ピクチャ番号に該当する参照ピクチャがキャッシュメモリ１１１に存在しない場合は、ステップＳ１０３と同様の方法で対応する。次に、ステップＳ１０５へ進む。

0056

（ステップＳ１０５）
減算部１０３において、符号化ブロックと予測ブロックとの差分が算出されて、予測誤差ブロックが生成される。予測誤差ブロックは、直交変換部１０４に出力される。次に、ステップＳ１０６へ進む。

0057

（ステップＳ１０６）
直交変換部１０４において、予測誤差ブロックに対して直交変換が施され、直交変換後のブロックが量子化部１０５に出力される。次に、ステップＳ１０７へ進む。

0058

（ステップＳ１０７）
量子化部１０５において、直交変換後のブロックが量子化され、量子化後のブロックが符号変換部１０６および逆量子化部１０８に出力される。次に、ステップＳ１０８へ進む。

0059

（ステップＳ１０８）
符号変換部１０６において、量子化後のブロック、動きベクトル、および参照ピクチャ番号符号ビットが符号化され、符号列が出力される。次に、ステップＳ１０９へ進む。

0060

（ステップＳ１０９）
逆量子化部１０８において、量子化後のブロックが逆量子化され、逆量子化後のブロックが逆直交変換部１０９に出力される。次に、ステップＳ１１０へ進む。

0061

（ステップＳ１１０）
逆直交変換部１０９において、逆量子化後のブロックに対して逆直交変換が施され、逆直交変換後のブロックが加算部１１０に出力される。次に、ステップＳ１１１へ進む。

0062

（ステップＳ１１１）
加算部１１０において、逆直交変換後のブロックと動き補償部１１６の出力である予測ブロックとを加算することによって、復号ブロックが生成される。生成された復号ブロックは、キャッシュメモリ１１１に格納される。キャッシュメモリ１１１に復号ブロックを格納できる程度の空き容量がなければ、一定期間使用されていない参照ピクチャがフレームメモリ１１２に移動され、空き容量が確保されてから復号ブロックがキャッシュメモリ１１１に格納される。次に、ステップＳ１１２へ進む。

0063

（ステップＳ１１２）
全符号化ブロックについて処理が完了した場合（Ｓ１１２のＹｅｓ肢）には、フローを抜ける。一方、処理が完了していない場合（Ｓ１１２のＮｏ肢）には、Ｓ１０１に戻る。

0064

以上、本実施形態によれば、動き補償部１１６で使用される確率の高い参照ピクチャに小さい符号ビットを割り当てることができるため、結果的に、小さい符号ビットが割り当てられた参照ピクチャを使用する符号化ブロックが多くなり、参照ピクチャ番号の符号量を削減することができる。

0065

また、使用確率が高い順に全参照ピクチャに符号ビットが割り当てられるため、予測が外れて使用確率が最も高い参照ピクチャが使われなかった場合でも、２番目、３番目に使用確率が高い参照ピクチャが使用される場合が多くなるため、符号量の増加が少なくて済む。

0066

また、周辺ブロックの情報を使って参照ピクチャ番号の符号ビットが割り当てられるため、符号ビットを割り当てるための付加情報を符号列内に追加する必要がなく、付加情報による符号量増加は発生しない。

0067

また、予測誤差値、動きベクトル符号量、参照ピクチャ番号符号ビットの３つの総和が最小になるように、動き推定部１１５によって、動きベクトルおよび参照ピクチャが決定される。これにより、参照ピクチャ番号符号ビットが小さい参照ピクチャは、参照ピクチャ番号符号ビットが大きい参照ピクチャよりも選ばれやすくなる。つまり、キャッシュメモリ１１１に存在する可能性が高い参照ピクチャに、符号量が小さい符号ビットが割り当てられることで、動き推定部１１５においてキャッシュメモリ１１１に存在する可能性が高い参照ピクチャが選ばれやすくなる。キャッシュメモリ１１１に存在する参照ピクチャが選ばれれば、動き補償処理において、フレームメモリ１１２からキャッシュメモリ１１１への参照ピクチャの移動が不要となるため、動き補償処理を高速化することができる。

0068

一般的に、キャッシュメモリを使用する場合には、キャッシュヒット率の低下に伴う、処理速度の低下等の問題がある。キャッシュメモリは、通常のメモリよりも高速にアクセス可能であるが、容量が小さい。アクセス対象のデータはキャッシュメモリにロードされ、一定期間使用されなかったデータはキャッシュメモリから追い出される。アクセス対象のデータがキャッシュメモリに存在しない場合、そのデータをキャッシュメモリにロードする必要がある。例えば、参照ピクチャが１枚の場合、１度参照ピクチャをキャッシュメモリにロードしておけば、以降の符号化ブロックが処理される際に、その参照ピクチャをキャッシュメモリにロードする必要はない。ところが、複数の参照ピクチャが使用される場合、各符号化ブロックで使用される参照ピクチャが異なると、符号化ブロック毎の参照ピクチャをキャッシュメモリにロードする必要がある。つまり、参照ピクチャが多くなるほど、キャッシュヒット率が低下する可能性が高くなり、処理時間が長くなってしまうおそれがある。

0069

特許文献１では、このようなキャッシュヒット率の低下について対策がなされておらず、例えば、予測した参照ピクチャがキャッシュメモリに存在しない場合、予測した参照ピクチャを用いて符号化を行えば、符号量を削減することはできるが、ヒットミスとなる。つまり、処理時間が長くなる。逆に、処理時間を短縮するために、予測した参照ピクチャではなく、キャッシュメモリに存在する参照ピクチャを用いて符号化を行うと、キャッシュヒットとなるが、符号量が増加してしまう。すなわち、特許文献１の技術では、符号量の削減と処理時間の短縮とは、互いにトレードオフの関係にある。

0070

これに対して、本実施形態では、上述したように、符号量の削減および動き補償処理の高速化が可能である。

0071

また、複数の参照ピクチャについて、それぞれの使用確率がほぼ同じである場合、キャッシュメモリ１１１に存在する確率が高い参照ピクチャほど、動き推定部１１５において選ばれやすくすることができる。使用確率が高く、キャッシュメモリ１１１に存在する参照ピクチャが選ばれれば、参照ピクチャ番号の符号量を削減できるとともに、参照ピクチャを高速に取得可能になる。したがって、使用確率が同程度の参照ピクチャが複数あっても、符号量削減と処理高速化とを両立させることができる。

0072

また、カメラ部１０１からの入力順で前方向のピクチャを参照ピクチャとしているが、後方向のピクチャを参照ピクチャとしてもよく、２つの参照ピクチャの平均を参照ピクチャとしてもよい。

0073

また、ピクチャ内の左上の符号化ブロックからラスタスキャン順に符号化する構成として説明したが、その限りではなく、Ｈ．２６４動画像符号化規格のＡＳＯ（Arbitrary Slice Order）やＦＭＯ（Flexible Macroblock Ordering）のように任意の順序で符号化してもよい。

0074

また、周辺ブロックでの使用回数が多い順に、小さい参照ピクチャ番号符号ビットを設定したが、周辺ブロックの参照ピクチャ番号の平均値または中央値に近い参照ピクチャ番号の順に、小さい参照ピクチャ番号符号ビットを設定してもよい。

0075

また、周辺ブロックとして符号化ブロックの左上ブロック、上ブロック、右上ブロック、左ブロックの４ブロックを使用したが、左ブロックのみ、または４ブロック以上の周辺ブロックを用いてもよく、周辺だけでなくピクチャ全体の情報を用いてもよい。

0076

また、同一ピクチャ内のブロックを周辺ブロックとして使用したが、直前ピクチャのブロックであって、そのブロックのピクチャ内の位置が、符号化ブロックと同じ位置であるブロック等、別ピクチャのブロックの情報を用いて参照ピクチャ番号符号ビットを設定してもよい。

0077

また、参照ピクチャ番号符号ビットの割り当ての際に、周辺ブロックの参照ピクチャ番号だけでなく動きベクトルを用いてもよい。例えば、周辺ブロックの中で、その周辺ブロックのそれぞれに係る動きベクトルの中央または平均に最も近い動きベクトルが算出されたブロックの参照ピクチャ番号を基点として、その参照ピクチャ番号に近い順に、小さい参照ピクチャ番号符号ビットを設定してもよい。

0078

また、最も使用回数が多い参照ピクチャに、最も小さい参照ピクチャ番号符号ビットを割り当てて、その他の参照ピクチャには、符号化ピクチャに時間的に近い順に、小さい参照ピクチャ番号符号ビットを割り当ててもよい。

0079

また、Ｈ．２６４の動画像符号化規格のように、符号列内で参照ピクチャ番号符号ビットを指定する方法と組み合わせてもよい。例えば、最も小さい参照ピクチャ番号符号ビットが割り当てられる参照ピクチャ以外は、符号列内で指定した参照ピクチャ番号符号ビットを用いて割り当ててもよい。

0080

また、割り当てられた参照ピクチャ番号符号ビットについて、有効とするかあるいは無効とするかを、符号列内の特定ビットによって切り替えてもよい。また、符号列内の特定ビットによって、上述した複数種類の割り当て方法のいずれを用いるかを切り替えてもよい。

0081

また、本実施形態では、ビデオカメラを例にして説明したが、カメラ付き携帯電話や、ＤＶＤレコーダ等の蓄積再生装置等にも適用可能である。

0082

＜第２の実施形態＞
図６は、第２の実施形態に係る動画像復号化装置を備えた再生装置の構成を示すブロック図である。この再生装置は、例えばＤＶＤレコーダであり、メディアから順次読み出される符号列を、過去に復号化した５枚の参照ピクチャを選択的に用いた動き補償によって順次復号化する装置である。再生装置では、参照ピクチャ毎に参照ピクチャ番号符号ビットが割り当てられ、割り当てられた参照ピクチャ番号符号ビットに基づいて、符号列内の参照ピクチャ番号が復号される。この再生装置は、符号列入力部であるメディア読取部２０１と、復号変換部２０２と、逆量子化部２０３と、逆直交変換部２０４と、加算部２０５と、ピクチャ表示部２０６と、キャッシュメモリ２０７と、フレームメモリ２０８と、周辺情報格納メモリ２０９と、符号ビット割当部２１０と、参照ピクチャ番号復号部２１１と、動き補償部２１２とを備える。

0083

メディア読取部２０１は、ＣＤ、ＤＶＤ、Ｂｌｕ−ｒａｙ Ｄｉｓｃ、ＳＤカード、およびハードディスク等の記録メディア内の符号例を読み取り、復号変換部２０２に出力する。

0084

復号変換部２０２は、符号列を復号化し、復号化ブロック、動きベクトル、参照ピクチャ番号符号ビットを出力する。ここで、参照ピクチャ番号符号ビットは可変長に復号化される。つまり、参照ピクチャ番号符号ビットが小さい値であるほど少ない符号量で復号化される。

0085

逆量子化部２０３は、復号化ブロックを逆量子化し、逆量子化後のブロックを逆直交変換部２０４に出力する。

0086

逆直交変換部２０４は、逆量子化後のブロックに対して逆直交変換を施し、逆直交変換後のブロックを加算部２０５へ出力する。

0087

加算部２０５は、逆直交変換後のブロックと、動き補償部２１２の出力である予測ブロックとを加算することによって復号ブロックを生成する。加算部２０５は、復号ブロックを、ピクチャ表示部２０６およびキャッシュメモリ２０７に出力する。

0088

ピクチャ表示部２０６は、加算部２０５からの復号ブロックを、テレビ等のディスプレイに表示する。

0089

キャッシュメモリ２０７は、復号ブロックを格納し、複数の復号ブロックで参照ピクチャを生成する。参照ピクチャは、動き補償部２１２に出力される。動き補償部２１２へ出力される参照ピクチャがキャッシュメモリ２０７に存在しない場合、キャッシュメモリ２０７は、フレームメモリ２０８から該当する参照ピクチャを取得する。また、キャッシュメモリ２０７の容量が不足し、復号ブロック、またはフレームメモリ２０８からの参照ピクチャを格納できない場合、一定期間使用していない参照ピクチャをフレームメモリ２０８に移動させる。

0090

フレームメモリ２０８は、キャッシュメモリ２０７からの参照ピクチャを格納するとともに、動き補償部２１２が必要とした参照ピクチャがキャッシュメモリ２０７に存在しない場合は、該当する参照ピクチャをキャッシュメモリ２０７へ移動させる。フレームメモリ２０８に対するアクセス速度は、キャッシュメモリ２０７に対するアクセス速度よりも遅いが、フレームメモリ２０８は、キャッシュメモリ２０７よりも大容量である。

0091

周辺情報格納メモリ２０９は、参照ピクチャ番号復号部２１１からの復号化ブロックによって参照されるピクチャの参照ピクチャ番号を順次格納し、次に復号化する復号化ブロックの周辺のブロックによって参照されるピクチャの参照ピクチャ番号を符号ビット割当部２１０に出力する。ここで、復号化ブロックの周辺のブロックとは、復号化ブロックの左上ブロック、上ブロック、右上ブロック、左ブロックを指し、それら周辺４ブロックは復号化ブロックを復号化する時点では既に復号化済みである。また、参照ピクチャ番号復号部２１１によって、周辺４ブロックの参照ピクチャ番号は復号済みである。

0092

符号ビット割当部２１０は、復号化ブロックの周辺４ブロックの参照ピクチャ番号を受け、その情報を用いて各参照ピクチャに参照ピクチャ番号符号ビットを割り当てる。割り当てられた参照ピクチャ番号符号ビットは、参照ピクチャ番号復号部２１１に出力される。符号ビットの割り当て方法に関しては、第１の実施形態と同様に、周辺ブロックでの使用回数、使用ブロック符号化順、および復号化ピクチャとの時間距離が用いられる（図４参照）。

0093

参照ピクチャ番号復号部２１１は、符号ビット割当部２１０からの各参照ピクチャの参照ピクチャ番号符号ビットを用いて、復号変換部２０２からの復号化ブロックの参照ピクチャ番号符号ビットから参照ピクチャ番号を復号する。

0094

具体的には、符号ビット割当部２１０で割り当てられた参照ピクチャ番号符号ビットと、復号変換部２０２から入力された参照ピクチャ番号符号ビットとのマッチング処理を行い、マッチした参照ピクチャの参照ピクチャ番号を取得する。

0095

図７は、参照ピクチャ番号の復号化を説明するための図である。より具体的に、図７を用いて説明する。図７の（ａ）は、符号ビット割当部２１０からの各参照ピクチャ、各参照ピクチャの参照ピクチャ番号、および各参照ピクチャ番号符号ビットとの関係を示す図である。図７（ｂ）は、復号変換部２０２からの復号化ブロックの参照ピクチャ番号符号ビットを示す図である。図７（ｃ）は、復号化された参照ピクチャ番号を示す図である。図７（ｂ）に示す、復号化ブロックの参照ピクチャ番号符号ビットが“０”である参照ピクチャは、図７（ａ）に示す参照ピクチャＣであり、参照ピクチャＣの参照ピクチャ番号である“２”が復号化された参照ピクチャ番号となる（図７（ｃ））。

0096

動き補償部２１２は、動きベクトルと参照ピクチャ番号とを用いて、参照ピクチャ番号が示す参照ピクチャから予測ブロックを生成する。

0097

次に、本実施形態に係る動画像復号化装置による、復号化ブロックの復号化フローについて、図８を用いて説明する。なお、図８において、各処理とその処理を行う構成要素とを関連づけて記載している。

0098

（ステップＳ２０１）
まず、復号変換部２０２において、符号例内の復号化ブロック、動きベクトル、および参照ピクチャ番号符号ビットが復号される。そして、復号化ブロックは逆量子化部２０３に、動きベクトルは動き補償部２１２に、参照ピクチャ番号符号ビットは参照ピクチャ番号復号部２１１に、それぞれ出力される。次に、ステップＳ２０２へ進む。

0099

（ステップＳ２０２）
符号ビット割当部２１０において、周辺４ブロックの参照ピクチャ番号を用いて、各参照ピクチャに符号ビットが割り当てられる。符号ビットは、参照ピクチャ番号復号部２１１に出力される。周辺４ブロックの参照ピクチャ番号は、周辺情報格納メモリ２０９から取得される。次に、ステップＳ２０３へ進む。

0100

（ステップＳ２０３）
参照ピクチャ番号復号部２１１において、ステップＳ２０２で割り当てられた各参照ピクチャの参照ピクチャ番号符号ビットと、復号変換部２０２から入力された復号化ブロックの参照ピクチャ番号符号ビットとがマッチング処理される。マッチした参照ピクチャの参照ピクチャ番号は、動き補償部２１２および周辺情報格納メモリ２０９に出力される。次に、ステップＳ２０４へ進む。

0101

（ステップＳ２０４）
動き補償部２１２において、復号変換部２０２からの復号化ブロックの動きベクトルと、参照ピクチャ番号復号部２１１からの復号化ブロックの参照ピクチャ番号とを用いて、予測ブロックが生成される。参照ピクチャはキャッシュメモリ２０７から取得されるが、該当する参照ピクチャがキャッシュメモリ２０７に存在しない場合は、第１の実施形態と同様の方法で対応する。次に、ステップＳ２０５へ進む。

0102

（ステップＳ２０５）
逆量子化部２０３において、復号化ブロックが逆量子化され、逆量子化後のブロックが逆直交変換部２０４に出力される。次に、ステップＳ２０６へ進む。

0103

（ステップＳ２０６）
逆直交変換部２０４において、逆量子化後のブロックに対して逆直交変換が施されて、逆直交変換後のブロックが加算部２０５に出力される。次に、ステップＳ２０７へ進む。

0104

（ステップＳ２０７）
加算部２０５において、逆直交変換後のブロックと動き補償部２１２からの出力である予測ブロックとを加算することによって、復号ブロックが生成される。復号ブロックは、ピクチャ表示部２０６とキャッシュメモリ２０７とに出力される。キャッシュメモリ２０７に復号ブロックを格納できる程度の空き容量がなければ、一定期間使用されていない参照ピクチャがフレームメモリ２０８に移動され、空き容量が確保されてから復号ブロックがキャッシュメモリに格納される。次に、ステップＳ２０８へ進む。

0105

（ステップＳ２０８）
全復号化ブロックについて処理が完了した場合（Ｓ２０８のＹｅｓ肢）には、フローを抜ける。一方、処理が完了していない場合（Ｓ２０８のＮｏ肢）には、Ｓ２０１に戻る。

0106

以上、本実施形態によれば、第１の実施形態に係る動画像符号化装置で符号化された符号列の復号化に適した動画像復号化装置を提供することができる。つまり、第１の実施形態に係る動画像符号化装置によって符号量が削減された符号列を復号することができる。

0107

また、キャッシュメモリ２０７に存在する可能性が高い参照ピクチャに、小さい符号ビットを割り当てることによって、キャッシュメモリ２０７に存在する参照ピクチャの使用頻度が高くなる。そのため、フレームメモリ２０８からキャッシュメモリ２０７への参照ピクチャの移動回数が少なくなり、処理を高速化することができる。

0108

なお、本実施形態では、ＤＶＤレコーダを例にして説明したが、符号列を通信回線や電波によって取得するテレビ等の動画像再生装置等にも適用可能である。

0109

上記各実施形態において、５枚の参照ピクチャを用いた場合について説明したが、参照ピクチャの枚数は任意である。また、キャッシュメモリを用いる構成にしているが、その限りではなく、フレームメモリのみを用いてもよい。この場合、加算部、動き補償部はフレームメモリに直接アクセスすればよい。

0110

また、上記各実施形態における機能ブロックの各々は、通常、ＭＰＵ（Micro-Processing Unit）やメモリ等によって実現可能である。また、機能ブロックの各々による処理は、通常、ソフトウェア（プログラム）によって実現することができ、当該ソフトウェアはＲＯＭ（Read Only Memory）等の記録媒体に記録されている。そして、このようなソフトウェアをダウンロード等により配布してもよいし、ＣＤ−ＲＯＭなどの記録媒体に記録して配布してもよい。なお、各機能ブロックをハードウェア（専用回路）によって実現することも、当然、可能である。

0111

また、上記各実施形態において説明した処理を、単一の装置（システム）を用いて集中処理することによって実現してもよい。あるいは、複数の装置を用いて分散処理することによって実現してもよい。また、上記処理を実現するプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。

0112

また、本発明は、上記各実施形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

0113

本発明にかかる動画像符号化、復号化装置は、動画像ピクチャを少ない符号量及び処理量で符号化、復号化することができるため、ビデオカメラ、カメラ付き携帯電話、ＤＶＤレコーダ、テレビ等に有用である。

0114

１０６符号変換部
１１１，２０７キャッシュメモリ
１１２，２０８フレームメモリ
１１４，２１０符号ビット割当部
１１５動き推定部
１１６，２１２動き補償部
２０１メディア読取部
２０２復号変換部
２１１参照ピクチャ番号復号部