図面 (/)

技術 動画像復号化装置、動画像復号化方法、動画像復号化プログラム、動画像符号化装置、動画像符号化方法、動画像符号化プログラム、及び動画像符号化復号化装置

出願人 パナソニック株式会社
発明者 井口雅保高橋潤
出願日 2006年9月12日 (14年10ヶ月経過) 出願番号 2006-246485
公開日 2008年3月27日 (13年3ヶ月経過) 公開番号 2008-072182
状態 特許登録済
技術分野 ビデオテープレコーダ TV信号の記録 記録のためのテレビジョン信号処理 記録に関連するカラーTV信号処理 TV信号の圧縮,符号化方式 TV信号の圧縮,符号化方式 デジタル記録再生の信号処理 記録担体の情報管理、編集
主要キーワード 処理タイミング図 非動作時間 画面表示順 自己機 プレ処理 評価画素 ハードディスクプレーヤ 他社製品
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2008年3月27日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

H.264規格のCABACなど算術符号を利用する可変長符号化ツールを用いた符号化規格において、倍速再生や逆再生などの特殊再生のために動画像ストリーム復号する場合にも、算術符号を用いない従来の動画像信号についての特殊再生と同様に、滑らかな特殊再生を実現する。

解決手段

算術符号を含んだストリーム形式の符号化規格の動画像復号化装置において、予め、第1種可変長復号化手段vld1が入力ストリームデータに対して、算術復号化処理を含む第1種可変長復号化処理を施して第1種ストリームデータを生成する。第1の記録制御手段Rec1は、前記算術復号が不要となった第1種ストリームデータのうち、特殊再生で必要となるキーフレームを第1の記録領域Area1に記録する。復号時には、記録された算術復号が不要のキーフレームを利用するので、復号処理時間が短縮される。

概要

背景

近年、音声、画像、その他の画素値統合的に扱うマルチメディア時代を迎え、従来からの情報メディア、つまり新聞雑誌テレビラジオ電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、前記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。

ところが、前記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合1文字当たりの情報量は1〜2バイトであるのに対し、音声の場合1秒当たり64Kbits(電話品質)、更に動画については1秒当たり100Mbits(現行テレビ受信品質)以上の情報量が必要となり、前記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的ではない。例えば、テレビ電話は、64Kbit/s〜1.5Mbit/sの伝送速度を持つサービス総合ディジタル網ISDN:Integrated Services Digital Network)によって既に実用化されているが、テレビ、カメラ映像をそのままISDNで送ることは不可能である。

そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ITU‐T(国際電気通信連合電気通信標準化部門)で勧告されたH.261やH.263規格動画圧縮技術が用いられている。また、MPEG‐1規格の情報圧縮技術によると、通常の音楽用CD(コンパクトディスク)に音声情報とともに画像情報を入れることも可能となる。

ここで、MPEG(Moving Picture Experts Group)とは、ISO/IEC国際標準化機構国際電気標準会議)で標準化された動画像信号圧縮の国際規格であり、MPEG‐1は、動画像信号を1.5Mbpsまで、つまりテレビ信号の情報を約100分の1にまで圧縮する規格である。また、MPEG‐1規格では対象とする品質を伝送速度が主として約1.5Mbpsで実現できる程度の中程度の品質としたことから、更なる高画質化の要求を満たすべく規格化されたMPEG‐2では、動画像信号を2〜15MbpsでTV放送品質を実現する。更に現状では、MPEG‐1、MPEG‐2と標準化を進めてきた作業グループ(ISO/IEC JTC1/SC29/WG11)によって、MPEG‐1、MPEG‐2を上回る圧縮率を達成し、更に物体単位で符号化、復号化、操作を可能とし、マルチメディア時代に必要な新しい機能を実現するMPEG‐4が規格化された。MPEG‐4では、当初、低ビットレート符号化方法の標準化を目指して進められたが、現在はインタレース画像も含む高ビットレートも含む、より汎用的な符号化に拡張されている。

更に、2003年に、ISO/IECとITU‐Tとが共同で、より高圧縮率画像符号化方式として、MPEG‐4AVC及びH.264が標準化されている。H.264規格は、現在HD(High Definition)画像などに適したHigh Profile対応の改正規格まで拡張されている。H.264規格のアプリケーションとしては、MPEG‐2やMPEG‐4と同様にディジタル放送、DVD(Digital Versatile Disk)プレーヤレコーダハードディスクプレーヤ/レコーダ、カムコーダ、テレビ電話などに広がってきている。

一般に、動画像の符号化では、時間方向及び空間方向冗長性を削減することによって情報量の圧縮を行う。そこで、時間的な冗長性の削減を目的とする画面間予測符号化では、前方又は後方ピクチャを参照してブロック単位動きの検出及び予測画像の作成を行い、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う。ここで、ピクチャとは1枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレーム若しくはフィールドを意味する。また、インタレース画像とは、1つのフレームが時刻の異なる2つのフィールドから構成される画像である。インタレース画像の符号化や復号化処理においては、1つのフレームをフレームのまま処理したり、2つのフィールドとして処理したり、フレーム内のブロック毎にフレーム構造又はフィールド構造として処理したりすることができる。

参照画像を持たず画面内予測符号化を行うものをIピクチャと呼ぶ。また、1枚の参照画像のみを参照し、画面間予測符号化を行うものをPピクチャと呼ぶ。また、同時に2枚の参照画像を参照して画面間予測符号化を行うことのできるものをBピクチャと呼ぶ。Bピクチャは、表示時間が前方若しくは後方から任意の組み合わせとして2枚のピクチャを参照することが可能である。参照画像(参照ピクチャ)は、符号化の基本単位であるマクロブロック毎に指定することができるが、符号化を行ったビットストリーム中に先に記述される方の参照ピクチャを第1参照ピクチャ、後に記述される方を第2参照ピクチャとして区別する。但し、これらのピクチャを符号化する場合の条件として、参照するピクチャが既に符号化されている必要がある。

Pピクチャ又はBピクチャの符号化には、動き補償画面間予測符号化が用いられている。動き補償画面間予測符号化とは、画面間予測符号化に動き補償を適用した符号化方式である。動き補償とは、単純に参照フレームの画素値から予測するのではなく、ピクチャ内の各部の動き量(以下、これを動きベクトルと呼ぶ)を検出し、当該動き量を考慮した予測を行うことにより、予測精度を向上すると共に、データ量を減らす方式である。例えば、符号化対象ピクチャの動きベクトルを検出し、その動きベクトルの分だけシフトした予測値と符号化対象ピクチャとの予測残差を符号化することにより、データ量を削減している。この方式の場合には、復号化の際に動きベクトルの情報が必要になるため、動きベクトルも符号化されて記録又は伝送される。

動きベクトルはマクロブロック単位で検出されており、具体的には、符号化対象ピクチャ側のマクロブロックを固定しておき、参照ピクチャ側のマクロブロックを探索範囲内で移動させ、基準ブロックと最も似通った参照ブロックの位置を見つけることにより、動きベクトルが検出される。

図15は、従来の動画像符号化装置の構成を示すブロック図である。この動画像符号化装置は、面内予測評価器IEと、面内予測器IPDと、動き検出器MEと、マルチフレームメモリFrmMemと、減算器Sub1と、減算器Sub2と、動き補償器MCと、符号化器Encと、加算器Add1と、動きベクトルメモリMVMemと、動きベクトル予測器MVPredとを有している。

Iピクチャなどの画面内予測では、面内予測評価器IEはマルチフレームメモリFrmMemから出力される面内予測評価画素IEpel画面信号Vinと比較し、面内予測方向IDirを出力する。面内予測方向IDirは、画面内でいかなる参照をするかを特定する識別信号である。

一方、マルチフレームメモリFrmMemは、面内予測方向IDirで示される画素を面内予測参照画素IPDPel1として出力し、面内予測器IPDは面内予測方向IDirに従った参照画素を生成して面内予測参照画素IPDpel2を出力する。減算器Sub1は、画面信号Vinから面内予測参照画素IPDpel2を減算し、画面予測誤差DifPelを出力する。

Pピクチャ若しくはBピクチャなどの画面間予測では、動き検出器MEは、マルチフレームメモリFrmMemから出力される動き検出参照画素MEpelを画面信号Vinと比較し、動きベクトルMVと参照フレーム番号RefNoを出力する。参照フレーム番号RefNoは、複数の参照画像の中から選択された、対象画像で参照する参照画像を特定する識別信号である。動きベクトルMVは、動きベクトルメモリMVMemに一時的に記憶された後に近傍動きベクトルPrevMVとして出力され、動きベクトル予測器MVPredにて予測動きベクトルPredMVを予測するために参照される近傍動きベクトルPrevMVとして使用される。減算器Sub2は、動きベクトルMVから予測動きベクトルPredMVを減算し、その差を動きベクトル予測差分DifMVとして出力する。

一方、マルチフレームメモリFrmMemは、参照フレーム番号RefNo及び動きベクトルMVで示される画素を動き補償参照画素MCPel1として出力し、動き補償器MCは、小数画素精度の参照画素を生成して参照画面画素MCpel2を出力する。減算器Sub1は、画面信号Vinから参照画面画素MCpel2を減算し、画面予測誤差DifPelを出力する。

また、符号化器Encは、画面予測誤差DifPelと面内予測方向IDirと動きベクトル予測差分DifMVと参照フレーム番号RefNoを可変長符号化し、符号化信号Strを出力する。尚、符号化時に画面予測誤差の復号化結果である復号画面予測誤差RecDifPelも同時に出力する。復号画面予測誤差RecDifPelは画面予測誤差DifPelに符号化誤差重畳されたものであり、画面間予測復号化装置で符号化信号Strを復号化して得られる画面間予測誤差と一致する。

加算器Add1は、参照画面画素MCpel2に復号画面予測誤差RecDifPelを加算し、復号画面RecPelとしてマルチフレームメモリFrmMemに記憶される。但し、マルチフレームメモリFrmMemの容量を有効に利用するため、マルチフレームメモリFrmMemに記憶されている画面の領域は不要な場合は開放され、またマルチフレームメモリFrmMemに記憶する必要がない画面の復号画面RecPelは、マルチフレームメモリFrmMemに記憶されない。

図16は、従来の動画像復号化装置の構成を示すブロック図である。同図において、図15と同一符号のものは同一のものを示し、その説明を省略する。

図16に示す従来の動画像復号化装置は、図15に示す従来の動画像予測符号化装置で符号化した符号化信号Strを復号化して復号画面信号Voutを出力するものであり、マルチフレームメモリFrmMemと、面内予測器IPDと、動き補償器MCと、加算器Add1と、加算器Add2と、動きベクトルメモリMVMemと、動きベクトル予測器MVPredと、復号化器Decとを有している。

復号化器Decは、符号化信号Strを復号化し、復号画面予測誤差RecDifPel、面内予測方向IDir、動きベクトル予測差分DifMV、参照フレーム番号RefNoを出力する。加算器Add2は、動きベクトル予測器MVPredから出力される予測動きベクトルPredMVと動きベクトル予測差分DifMVを加算し、動きベクトルMVを復号する。

画面内予測では、マルチフレームメモリFrmMemは、面内予測方向IDirで示される画素を面内予測画素IPDpel1として出力し、面内予測器IPDは、面内予測方向IDirに従った参照画素を生成して面内予測参照画素IPDpel2を出力する。加算器Add1は、面内予測参照画素IPDpel2に復号画面予測誤差RecDifPelを加算し、復号画面RecPelとしてマルチフレームメモリFrmMemに記憶される。

一方、画面間予測では、マルチフレームメモリFrmMemは、参照フレーム番号RefNo及び動きベクトルMVで示される画素を動き補償参照画素MCpel1として出力し、動き補償器MCは、小数画素精度の参照画素を生成して参照画面画素MCpel2を出力する。加算器Add1は、参照画面画素MCpel2に復号画面予測誤差RecDifPelを加算し、復号画面RecPelとしてマルチフレームメモリFrmMemに記憶される。

但し、マルチフレームメモリFrmMemの容量を有効に利用するため、マルチフレームメモリFrmMemに記憶されている画面の領域は不要な場合は開放され、また、マルチフレームメモリFrmMemに記憶する必要がない画面の復号画面RecPelはマルチフレームメモリFrmMemに記憶されない。以上のようにして、復号画面信号Vout、すなわち復号画面RecPelを符号化信号Strから正しく復号化することができる。

次に、動画像の倍速再生や逆再生などの特殊再生の方法を図17及び図18を用いて説明する。図17は、従来の倍速再生の状態を表す模式図である。図17(a)において、P1701は、1GOP(Group Of Picture)の通常再生復号処理イミングを表している。この図では、1GOPが15フレームで構成されており、I若しくはPピクチャと次のPピクチャの出現間隔が3になっている例を示したものである。尚、各ピクチャの復号化処理に必要な時間は簡単のため、同時間となっていることを想定している。P1702は、画面に表示されるタイミングを表している。Bピクチャは、一般に前方と後方のピクチャを参照して構成するため、復号タイミング表示タイミング順序が異なっている。

ところで、倍速再生を行う場合、実際に所定の倍速で復号した後に表示も倍速で行う、若しくは表示の時にピクチャを間引くなど様々な手法が存在する。しかしながら、前述の方法では動画像復号化装置の処理性能を、想定する倍速性能まで向上させる必要があり、回路コストが増加したり消費電力が増加したりするため、図17(b)及び(c)に示すような実装手法が取られることがある。図17(b)に示した符号P1703は、Bピクチャを復号せずに処理するタイミングを表しており、Pピクチャ間に存在する2枚のBピクチャを復号しないIP再生を行うことによって復号時間の短縮を図り、画面表示も同様にBピクチャを表示しないようにすることで3倍速を実現している。

同様に、図17(c)に示した符号P1704は、Iピクチャのみを復号することで、画面表示の滑らかさは期待できないが、15倍速の再生速度が実現できることを表している。

次に、図17で示したようなGOP構造ストリームを逆再生する場合を考える。マルチフレームメモリFrmMemの容量に通常の復号処理で使用するバッファサイズ程度の制限が加わっている場合、逆再生には手間のかかる複雑な処理が必要となる。図18は、従来の逆再生の状態を表す模式図である。画面表示順で、P14、B13、B12、P11、B10、B9、P8、B7、B6、P5、B4、B3、I2、B1、B0となるような処理を時間の流れに従って、図18(a)〜(e)で示している。

図18(a)は、符号P1802で示すP14、B13、B12の3枚を表示するための復号化処理を示している。P1801で示すように、B13とB12のピクチャを復号するためには、P11とP14のピクチャが必要となるため、I2、P5、P8、P11、P14の順に復号する必要がある。

同様に、図18(b)は、P1804で示すP11、B10、B9の3枚を表示するための復号化処理を示している。符号P1803で示すように、B10とB9のピクチャを復号するためには、P8とP11のピクチャが必要となるため、I2、P5、P8、P11の順に復号する必要がある。図18(c)は、符号P1806で示すP8、B7、B6の3枚を表示するための復号化処理を示している。符号P1805で示すように、B7とB6のピクチャを復号するためには、P5とP8のピクチャが必要となるため、I2、P5、P8の順に復号する必要がある。図18(d)は、符号P1808で示すP5、B4、B3の3枚を表示するための復号化処理を示している。符号P1807で示すように、B4とB3のピクチャを復号するためには、I2とP5のピクチャが必要となるため、I2、P5の順に復号する必要がある。

最後に、図18(e)は、符号P1810で示すI2、B1、B0の3枚を表示するための復号化処理を示している。但し、符号P1809で示しているI2、B0、B1の復号処理以外に、実際には、1つ時間的に過去のGOPのIP再生を行い、I2の直前のPピクチャを生成しておく必要がある。

以上のように、図18(a)〜(e)の処理を行うことによって、マルチフレームメモリFrmMemの容量が制限されている時に、動画像の逆再生を実現する。但し、同じキーフレームを何回も復号する必要があるため、全フレームを表示する場合には通常再生の2倍程度の復号処理性能が必要である。以上のような従来技術は、例えば特許文献1や非特許文献1に記載されている。
特開2004−135251号公報
ISO/IEC14496-10, International Standard: “Information technology - Coding of audio-visual objects - Part 10 : Advanced video coding"(2004-10-01)

概要

H.264規格のCABACなど算術符号を利用する可変長符号化ツールを用いた符号化規格において、倍速再生や逆再生などの特殊再生のために動画像ストリームを復号する場合にも、算術符号を用いない従来の動画像信号についての特殊再生と同様に、滑らかな特殊再生を実現する。算術符号を含んだストリーム形式の符号化規格の動画像復号化装置において、予め、第1種可変長復号化手段vld1が入力ストリームデータに対して、算術復号化処理を含む第1種可変長復号化処理を施して第1種ストリームデータを生成する。第1の記録制御手段Rec1は、前記算術復号が不要となった第1種ストリームデータのうち、特殊再生で必要となるキーフレームを第1の記録領域Area1に記録する。復号時には、記録された算術復号が不要のキーフレームを利用するので、復号処理時間が短縮される。

目的

本発明の目的は、算術符号を用いた可変長符号の動画像信号であっても、その復号処理時間を短縮して、算術符号を用いた可変長符号を含まない従来の動画像信号についての特殊再生と同様に、滑らかな特殊再生を実現することにある。

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

算術符号を用いた可変長符号を含む動画像信号復号化する動画像復号化装置であって、入力ストリームデータに対して、算術復号化処理を含む第1種可変長復号化処理を施して第1種ストリームデータを生成する第1種可変長復号化手段と、前記第1種可変長復号化手段により生成された第1種ストリームデータに対して、算術復号化処理を含まない第2種可変長復号化処理を施して出力データを生成する第2種可変長復号化手段と、前記第1種可変長復号化手段により生成された第1種ストリームデータの中から特定データのみを選択して第1の記録領域に記録する第1の記録制御手段とを備えることを特徴とする動画像復号化装置。

請求項2

前記請求項1記載の動画像復号化装置において、前記前記第1種可変長復号化手段により生成されて前記第1の記録領域に記録された特定データと、その特定データ以外の第1種ストリームデータとの何れか一方を選択する選択手段を有し、前記第2種可変長復号化手段は、前記選択手段により、前記第1種ストリームデータのうち前記特定データを前記第1の記録領域から受け、前記特定データ以外の第1種ストリームデータを前記第1種可変長復号化手段から受けることを特徴とする動画像復号化装置。

請求項3

前記請求項1記載の動画像復号化装置において、前記第1の記録制御手段は、前記第1種ストリームデータの中から、特殊再生で用いるデータを、特定データとして選択して第1の記録領域に記録することを特徴とする動画像復号化装置。

請求項4

前記請求項3記載の動画像復号化装置において、前記特殊再生は、倍速再生若しくは逆再生、又はサムネイル動画再生であることを特徴とする動画像復号化装置。

請求項5

前記請求項1記載の動画像復号化装置において、前記第1の記録制御手段が選択記録する前記特定データは、他のピクチャから参照される参照画像となるピクチャを含むデータであることを特徴とする動画像復号化装置。

請求項6

前記請求項1記載の動画像復号化装置において、前記第1種可変長復号化手段は、通常再生における逐次的な復号化処理が行われない時間を利用して、前記入ストリームデータを先読みして、前記第1種ストリームを生成することを特徴とする動画像復号化装置。

請求項7

算術符号を用いた可変長符号を含んで動画像信号を符号化する動画像符号化装置であって、入力ストリームデータに対して、算術符号化処理を含まない第1種可変長符号化処理を施して第1種ストリームデータを生成する第1種可変長符号化手段と、前記第1種可変長復号化手段により生成された第1種ストリームデータに対して、算術符号化処理を含む第2種可変長符号化処理を施して第2種ストリームデータを生成する第2種可変長符号化手段と、前記第2種可変長復号化手段により生成された第2種ストリームデータを第2の記録領域に記録する第2の記録制御手段と、前記第1種可変長復号化手段により生成された第1種ストリームデータの中から特定データのみを選択して第3の記録領域に記録する第3の記録制御手段とを備えることを特徴とする動画像符号化装置。

請求項8

前記請求項7記載の動画像符号化装置において、前記第3の記録制御手段は、前記第1種ストリームデータの中から、特殊再生で用いるデータを、特定データとして選択して第3の記録領域に記録することを特徴とする動画像符号化装置。

請求項9

前記請求項8記載の動画像符号化装置において、前記特殊再生は、倍速再生若しくは逆再生、又はサムネイル動画再生であることを特徴とする動画像符号化装置。

請求項10

前記請求項7記載の動画像符号化装置において、前記第3の記録制御手段が選択記録する前記特定データは、他のピクチャから参照される参照画像となるピクチャを含むデータであることを特徴とする動画像符号化装置。

請求項11

前記請求項7記載の動画像符号化装置において、前記第2の記録制御手段が前記第2種ストリームデータを記録する第2の記録領域は、可搬な記録メディアに存在し、前記第3の記録制御手段は、前記特定データを前記第3の記録領域に記録することをしないことを特徴とする動画像符号化装置。

請求項12

前記請求項7記載の動画像符号化装置において、前記第2の記録制御手段が前記第2種ストリームデータを記録する第2の記録領域は、非可搬な記録メディアに存在し、前記第2の記録制御手段は、前記第3の記録制御手段が前記第3の記録領域に第1種ストリームデータとして記録した特定データについては、前記第2種ストリームデータとして前記第2の記録領域に記録しないことを特徴とする動画像符号化装置。

請求項13

算術符号を用いた可変長符号を含んだ動画像信号を復号化し、その後に符号化する動画像符号化復号化装置であって、入力ストリームデータに対して、算術復号化処理を含む第1種可変長復号化処理を施して第1種ストリームデータを生成する第1種可変長復号化手段と、前記第1種可変長復号化手段により生成された第1種ストリームデータの中から特定データのみを選択して第4の記録領域に記録する第4の記録制御手段と、前記入力ストリームデータをデータ変換せずにそのまま第5の記録領域に記録する第5の記録制御手段とを備え、可搬の記録メディアのデータストリームを非可搬の記録メディアにコピーするに際して、前記第4の記録制御手段と前記第5の記録制御手段とを用いて、前記可搬の記録メディアのデータストリームを非可搬の記録メディアの前記第4の記録領域及び前記第5の記録領域にコピーすることを特徴とする動画像符号化復号化装置。

請求項14

算術符号を用いた可変長符号を含んだ動画像信号を復号化し、その後に符号化する動画像符号化復号化装置であって、入力ストリームデータのうち算術符号化されていない特定のストリームデータに対して、算術符号化処理を含む第2種可変長符号化処理を施して第2種ストリームデータを生成する第2種可変長符号化手段と、前記入力ストリームデータと前記第2種可変長符号化手段により生成された第2種ストリームデータとの何れか一方を選択し、1つのストリームデータとして第6の記録領域に記録する第6の記録制御手段とを備え、非可搬の記録メディアから可搬の記録メディアにデータストリームをコピーするに際して、前記入力ストリームデータのうち算術符号化されていない特定のストリームデータを前記第2種ストリームデータとして前記可搬の記録メディアの第6の記録領域に記録することを特徴とする動画像符号化復号化装置。

請求項15

算術符号を用いた可変長符号を含む動画像信号を復号化する動画像復号化方法であって、入力ストリームデータに対して、算術復号化処理を含む第1種可変長復号化処理を施して第1種ストリームデータを生成する第1種可変長復号化ステップと、前記第1種可変長復号化ステップで生成された第1種ストリームデータに対して、算術復号化処理を含まない第2種可変長復号化処理を施して出力データを生成する第2種可変長復号化ステップと、前記第1種可変長復号化ステップで生成された第1種ストリームデータの中から特定データのみを選択して第1の記録領域に記録する第1の記録制御ステップとを備えることを特徴とする動画像復号化方法。

請求項16

前記請求項15記載の動画像復号化方法において、前記第2種可変長復号化ステップでは、出力データの生成に際し、前記第1種ストリームデータのうち前記特定データについては前記第1の記録領域から受け、前記特定データ以外の第1種ストリームデータについては前記第1種可変長復号化ステップで生成されたデータストリームを受けて、算術復号化処理を含まない第2種可変長復号化処理を施すことを特徴とする動画像復号化方法。

請求項17

算術符号を用いた可変長符号を含んで動画像信号を符号化する動画像符号化方法であって、入力ストリームデータに対して、算術符号化処理を含まない第1種可変長符号化処理を施して第1種ストリームデータを生成する第1種可変長符号化ステップと、前記第1種可変長復号化ステップで生成された第1種ストリームデータに対して、算術符号化処理を含む第2種可変長符号化処理を施して第2種ストリームデータを生成する第2種可変長符号化ステップと、前記第2種可変長復号化ステップで生成された第2種ストリームデータを第2の記録領域に記録する第2の記録制御ステップと、前記第1種可変長復号化ステップで生成された第1種ストリームデータの中から特定データのみを選択して第3の記録領域に記録する第3の記録制御ステップとを備えることを特徴とする動画像符号化方法。

請求項18

前記請求項1記載の動画像復号化装置において、前記第1種可変長復号化手段、前記第2種可変長復号化手段、及び前記第1の記録制御手段は、集積回路化されていることを特徴とする動画像復号化装置。

請求項19

前記請求項7記載の動画像復号化装置において、前記第1種可変長符号化手段、前記第2種可変長符号化手段、前記第2の記録制御手段、及び前記第3の記録制御手段は、集積回路化されていることを特徴とする動画像復号化装置。

請求項20

算術符号を用いた可変長符号を含む動画像信号を復号化するようにコンピュータに実行させる動画像復号化プログラムであって、入力ストリームデータに対して、算術復号化処理を含む第1種可変長復号化処理を施して第1種ストリームデータを生成する第1種可変長復号化ステップと、前記第1種可変長復号化ステップで生成された第1種ストリームデータに対して、算術復号化処理を含まない第2種可変長復号化処理を施して出力データを生成する第2種可変長復号化ステップと、前記第1種可変長復号化ステップで生成された第1種ストリームデータの中から特定データのみを選択して第1の記録領域に記録する第1の記録制御ステップとを備えることを特徴とする動画像復号化プログラム。

請求項21

算術符号を用いた可変長符号を含んで動画像信号を符号化するようにコンピュータに実行させる動画像符号化プログラムであって、入力ストリームデータに対して、算術符号化処理を含まない第1種可変長符号化処理を施して第1種ストリームデータを生成する第1種可変長符号化ステップと、前記第1種可変長復号化ステップで生成された第1種ストリームデータに対して、算術符号化処理を含む第2種可変長符号化処理を施して第2種ストリームデータを生成する第2種可変長符号化ステップと、前記第2種可変長復号化ステップで生成された第2種ストリームデータを第2の記録領域に記録する第2の記録制御ステップと、前記第1種可変長復号化ステップで生成された第1種ストリームデータの中から特定データのみを選択して第3の記録領域に記録する第3の記録制御ステップとを備えることを特徴とする動画像符号化プログラム。

技術分野

0001

本発明は、算術符号などの可変長符号化ツールを用いた動画像ストリームに関して、動画像早送りや逆再生などの特殊再生を滑らかに行う動画像符号化復号化装置に関するものである。

背景技術

0002

近年、音声、画像、その他の画素値統合的に扱うマルチメディア時代を迎え、従来からの情報メディア、つまり新聞雑誌テレビラジオ電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、前記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。

0003

ところが、前記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合1文字当たりの情報量は1〜2バイトであるのに対し、音声の場合1秒当たり64Kbits(電話品質)、更に動画については1秒当たり100Mbits(現行テレビ受信品質)以上の情報量が必要となり、前記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的ではない。例えば、テレビ電話は、64Kbit/s〜1.5Mbit/sの伝送速度を持つサービス総合ディジタル網ISDN:Integrated Services Digital Network)によって既に実用化されているが、テレビ、カメラ映像をそのままISDNで送ることは不可能である。

0004

そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ITU‐T(国際電気通信連合電気通信標準化部門)で勧告されたH.261やH.263規格動画圧縮技術が用いられている。また、MPEG‐1規格の情報圧縮技術によると、通常の音楽用CD(コンパクトディスク)に音声情報とともに画像情報を入れることも可能となる。

0005

ここで、MPEG(Moving Picture Experts Group)とは、ISO/IEC国際標準化機構国際電気標準会議)で標準化された動画像信号圧縮の国際規格であり、MPEG‐1は、動画像信号を1.5Mbpsまで、つまりテレビ信号の情報を約100分の1にまで圧縮する規格である。また、MPEG‐1規格では対象とする品質を伝送速度が主として約1.5Mbpsで実現できる程度の中程度の品質としたことから、更なる高画質化の要求を満たすべく規格化されたMPEG‐2では、動画像信号を2〜15MbpsでTV放送品質を実現する。更に現状では、MPEG‐1、MPEG‐2と標準化を進めてきた作業グループ(ISO/IEC JTC1/SC29/WG11)によって、MPEG‐1、MPEG‐2を上回る圧縮率を達成し、更に物体単位で符号化、復号化、操作を可能とし、マルチメディア時代に必要な新しい機能を実現するMPEG‐4が規格化された。MPEG‐4では、当初、低ビットレート符号化方法の標準化を目指して進められたが、現在はインタレース画像も含む高ビットレートも含む、より汎用的な符号化に拡張されている。

0006

更に、2003年に、ISO/IECとITU‐Tとが共同で、より高圧縮率画像符号化方式として、MPEG‐4AVC及びH.264が標準化されている。H.264規格は、現在HD(High Definition)画像などに適したHigh Profile対応の改正規格まで拡張されている。H.264規格のアプリケーションとしては、MPEG‐2やMPEG‐4と同様にディジタル放送、DVD(Digital Versatile Disk)プレーヤレコーダハードディスクプレーヤ/レコーダ、カムコーダ、テレビ電話などに広がってきている。

0007

一般に、動画像の符号化では、時間方向及び空間方向冗長性を削減することによって情報量の圧縮を行う。そこで、時間的な冗長性の削減を目的とする画面間予測符号化では、前方又は後方ピクチャを参照してブロック単位動きの検出及び予測画像の作成を行い、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う。ここで、ピクチャとは1枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレーム若しくはフィールドを意味する。また、インタレース画像とは、1つのフレームが時刻の異なる2つのフィールドから構成される画像である。インタレース画像の符号化や復号化処理においては、1つのフレームをフレームのまま処理したり、2つのフィールドとして処理したり、フレーム内のブロック毎にフレーム構造又はフィールド構造として処理したりすることができる。

0008

参照画像を持たず画面内予測符号化を行うものをIピクチャと呼ぶ。また、1枚の参照画像のみを参照し、画面間予測符号化を行うものをPピクチャと呼ぶ。また、同時に2枚の参照画像を参照して画面間予測符号化を行うことのできるものをBピクチャと呼ぶ。Bピクチャは、表示時間が前方若しくは後方から任意の組み合わせとして2枚のピクチャを参照することが可能である。参照画像(参照ピクチャ)は、符号化の基本単位であるマクロブロック毎に指定することができるが、符号化を行ったビットストリーム中に先に記述される方の参照ピクチャを第1参照ピクチャ、後に記述される方を第2参照ピクチャとして区別する。但し、これらのピクチャを符号化する場合の条件として、参照するピクチャが既に符号化されている必要がある。

0009

Pピクチャ又はBピクチャの符号化には、動き補償画面間予測符号化が用いられている。動き補償画面間予測符号化とは、画面間予測符号化に動き補償を適用した符号化方式である。動き補償とは、単純に参照フレームの画素値から予測するのではなく、ピクチャ内の各部の動き量(以下、これを動きベクトルと呼ぶ)を検出し、当該動き量を考慮した予測を行うことにより、予測精度を向上すると共に、データ量を減らす方式である。例えば、符号化対象ピクチャの動きベクトルを検出し、その動きベクトルの分だけシフトした予測値と符号化対象ピクチャとの予測残差を符号化することにより、データ量を削減している。この方式の場合には、復号化の際に動きベクトルの情報が必要になるため、動きベクトルも符号化されて記録又は伝送される。

0010

動きベクトルはマクロブロック単位で検出されており、具体的には、符号化対象ピクチャ側のマクロブロックを固定しておき、参照ピクチャ側のマクロブロックを探索範囲内で移動させ、基準ブロックと最も似通った参照ブロックの位置を見つけることにより、動きベクトルが検出される。

0011

図15は、従来の動画像符号化装置の構成を示すブロック図である。この動画像符号化装置は、面内予測評価器IEと、面内予測器IPDと、動き検出器MEと、マルチフレームメモリFrmMemと、減算器Sub1と、減算器Sub2と、動き補償器MCと、符号化器Encと、加算器Add1と、動きベクトルメモリMVMemと、動きベクトル予測器MVPredとを有している。

0012

Iピクチャなどの画面内予測では、面内予測評価器IEはマルチフレームメモリFrmMemから出力される面内予測評価画素IEpel画面信号Vinと比較し、面内予測方向IDirを出力する。面内予測方向IDirは、画面内でいかなる参照をするかを特定する識別信号である。

0013

一方、マルチフレームメモリFrmMemは、面内予測方向IDirで示される画素を面内予測参照画素IPDPel1として出力し、面内予測器IPDは面内予測方向IDirに従った参照画素を生成して面内予測参照画素IPDpel2を出力する。減算器Sub1は、画面信号Vinから面内予測参照画素IPDpel2を減算し、画面予測誤差DifPelを出力する。

0014

Pピクチャ若しくはBピクチャなどの画面間予測では、動き検出器MEは、マルチフレームメモリFrmMemから出力される動き検出参照画素MEpelを画面信号Vinと比較し、動きベクトルMVと参照フレーム番号RefNoを出力する。参照フレーム番号RefNoは、複数の参照画像の中から選択された、対象画像で参照する参照画像を特定する識別信号である。動きベクトルMVは、動きベクトルメモリMVMemに一時的に記憶された後に近傍動きベクトルPrevMVとして出力され、動きベクトル予測器MVPredにて予測動きベクトルPredMVを予測するために参照される近傍動きベクトルPrevMVとして使用される。減算器Sub2は、動きベクトルMVから予測動きベクトルPredMVを減算し、その差を動きベクトル予測差分DifMVとして出力する。

0015

一方、マルチフレームメモリFrmMemは、参照フレーム番号RefNo及び動きベクトルMVで示される画素を動き補償参照画素MCPel1として出力し、動き補償器MCは、小数画素精度の参照画素を生成して参照画面画素MCpel2を出力する。減算器Sub1は、画面信号Vinから参照画面画素MCpel2を減算し、画面予測誤差DifPelを出力する。

0016

また、符号化器Encは、画面予測誤差DifPelと面内予測方向IDirと動きベクトル予測差分DifMVと参照フレーム番号RefNoを可変長符号化し、符号化信号Strを出力する。尚、符号化時に画面予測誤差の復号化結果である復号画面予測誤差RecDifPelも同時に出力する。復号画面予測誤差RecDifPelは画面予測誤差DifPelに符号化誤差重畳されたものであり、画面間予測復号化装置で符号化信号Strを復号化して得られる画面間予測誤差と一致する。

0017

加算器Add1は、参照画面画素MCpel2に復号画面予測誤差RecDifPelを加算し、復号画面RecPelとしてマルチフレームメモリFrmMemに記憶される。但し、マルチフレームメモリFrmMemの容量を有効に利用するため、マルチフレームメモリFrmMemに記憶されている画面の領域は不要な場合は開放され、またマルチフレームメモリFrmMemに記憶する必要がない画面の復号画面RecPelは、マルチフレームメモリFrmMemに記憶されない。

0018

図16は、従来の動画像復号化装置の構成を示すブロック図である。同図において、図15と同一符号のものは同一のものを示し、その説明を省略する。

0019

図16に示す従来の動画像復号化装置は、図15に示す従来の動画像予測符号化装置で符号化した符号化信号Strを復号化して復号画面信号Voutを出力するものであり、マルチフレームメモリFrmMemと、面内予測器IPDと、動き補償器MCと、加算器Add1と、加算器Add2と、動きベクトルメモリMVMemと、動きベクトル予測器MVPredと、復号化器Decとを有している。

0020

復号化器Decは、符号化信号Strを復号化し、復号画面予測誤差RecDifPel、面内予測方向IDir、動きベクトル予測差分DifMV、参照フレーム番号RefNoを出力する。加算器Add2は、動きベクトル予測器MVPredから出力される予測動きベクトルPredMVと動きベクトル予測差分DifMVを加算し、動きベクトルMVを復号する。

0021

画面内予測では、マルチフレームメモリFrmMemは、面内予測方向IDirで示される画素を面内予測画素IPDpel1として出力し、面内予測器IPDは、面内予測方向IDirに従った参照画素を生成して面内予測参照画素IPDpel2を出力する。加算器Add1は、面内予測参照画素IPDpel2に復号画面予測誤差RecDifPelを加算し、復号画面RecPelとしてマルチフレームメモリFrmMemに記憶される。

0022

一方、画面間予測では、マルチフレームメモリFrmMemは、参照フレーム番号RefNo及び動きベクトルMVで示される画素を動き補償参照画素MCpel1として出力し、動き補償器MCは、小数画素精度の参照画素を生成して参照画面画素MCpel2を出力する。加算器Add1は、参照画面画素MCpel2に復号画面予測誤差RecDifPelを加算し、復号画面RecPelとしてマルチフレームメモリFrmMemに記憶される。

0023

但し、マルチフレームメモリFrmMemの容量を有効に利用するため、マルチフレームメモリFrmMemに記憶されている画面の領域は不要な場合は開放され、また、マルチフレームメモリFrmMemに記憶する必要がない画面の復号画面RecPelはマルチフレームメモリFrmMemに記憶されない。以上のようにして、復号画面信号Vout、すなわち復号画面RecPelを符号化信号Strから正しく復号化することができる。

0024

次に、動画像の倍速再生や逆再生などの特殊再生の方法を図17及び図18を用いて説明する。図17は、従来の倍速再生の状態を表す模式図である。図17(a)において、P1701は、1GOP(Group Of Picture)の通常再生復号処理イミングを表している。この図では、1GOPが15フレームで構成されており、I若しくはPピクチャと次のPピクチャの出現間隔が3になっている例を示したものである。尚、各ピクチャの復号化処理に必要な時間は簡単のため、同時間となっていることを想定している。P1702は、画面に表示されるタイミングを表している。Bピクチャは、一般に前方と後方のピクチャを参照して構成するため、復号タイミング表示タイミング順序が異なっている。

0025

ところで、倍速再生を行う場合、実際に所定の倍速で復号した後に表示も倍速で行う、若しくは表示の時にピクチャを間引くなど様々な手法が存在する。しかしながら、前述の方法では動画像復号化装置の処理性能を、想定する倍速性能まで向上させる必要があり、回路コストが増加したり消費電力が増加したりするため、図17(b)及び(c)に示すような実装手法が取られることがある。図17(b)に示した符号P1703は、Bピクチャを復号せずに処理するタイミングを表しており、Pピクチャ間に存在する2枚のBピクチャを復号しないIP再生を行うことによって復号時間の短縮を図り、画面表示も同様にBピクチャを表示しないようにすることで3倍速を実現している。

0026

同様に、図17(c)に示した符号P1704は、Iピクチャのみを復号することで、画面表示の滑らかさは期待できないが、15倍速の再生速度が実現できることを表している。

0027

次に、図17で示したようなGOP構造ストリームを逆再生する場合を考える。マルチフレームメモリFrmMemの容量に通常の復号処理で使用するバッファサイズ程度の制限が加わっている場合、逆再生には手間のかかる複雑な処理が必要となる。図18は、従来の逆再生の状態を表す模式図である。画面表示順で、P14、B13、B12、P11、B10、B9、P8、B7、B6、P5、B4、B3、I2、B1、B0となるような処理を時間の流れに従って、図18(a)〜(e)で示している。

0028

図18(a)は、符号P1802で示すP14、B13、B12の3枚を表示するための復号化処理を示している。P1801で示すように、B13とB12のピクチャを復号するためには、P11とP14のピクチャが必要となるため、I2、P5、P8、P11、P14の順に復号する必要がある。

0029

同様に、図18(b)は、P1804で示すP11、B10、B9の3枚を表示するための復号化処理を示している。符号P1803で示すように、B10とB9のピクチャを復号するためには、P8とP11のピクチャが必要となるため、I2、P5、P8、P11の順に復号する必要がある。図18(c)は、符号P1806で示すP8、B7、B6の3枚を表示するための復号化処理を示している。符号P1805で示すように、B7とB6のピクチャを復号するためには、P5とP8のピクチャが必要となるため、I2、P5、P8の順に復号する必要がある。図18(d)は、符号P1808で示すP5、B4、B3の3枚を表示するための復号化処理を示している。符号P1807で示すように、B4とB3のピクチャを復号するためには、I2とP5のピクチャが必要となるため、I2、P5の順に復号する必要がある。

0030

最後に、図18(e)は、符号P1810で示すI2、B1、B0の3枚を表示するための復号化処理を示している。但し、符号P1809で示しているI2、B0、B1の復号処理以外に、実際には、1つ時間的に過去のGOPのIP再生を行い、I2の直前のPピクチャを生成しておく必要がある。

0031

以上のように、図18(a)〜(e)の処理を行うことによって、マルチフレームメモリFrmMemの容量が制限されている時に、動画像の逆再生を実現する。但し、同じキーフレームを何回も復号する必要があるため、全フレームを表示する場合には通常再生の2倍程度の復号処理性能が必要である。以上のような従来技術は、例えば特許文献1や非特許文献1に記載されている。
特開2004−135251号公報
ISO/IEC14496-10, International Standard: “Information technology - Coding of audio-visual objects - Part 10 : Advanced video coding"(2004-10-01)

発明が解決しようとする課題

0032

ところで、H.264では、図15に示した符号化器Encや、図16に示した復号化器Decで使用する可変長符号化ツールとして、算術符号(CABAC)が規定されている。算術符号を用いた化可変長復号化を行う場合、その特質としてシンタックス図15図16では、面内予測方向IDirや画面予測誤差DifPelや動きベクトル予測差分DifMVや参照フレーム番号RefNo)を構成するビット毎に逐次的な符号化又は復号化の処理が必要となる。

0033

ビット毎の逐次的な処理では、複数のビット(例えば、動きベクトル予測差分DifMVなどを構成する複数のビット(=シンタックス))を一括で処理することが出来ないため、処理性能を向上することが困難である。このため、各ピクチャに割り当てられているビット量に比例して処理時間がかかることとなる。

0034

<倍速再生時の課題>
図19は、算術符号を含むストリームの倍速再生の課題を表す模式図である。従来、MPEGなどでは、ピクチャの種類によって割当てビット量を変更している。つまり、参照されるIピクチャやPピクチャなどのキーフレーム、中でもIピクチャに符号量を多く割当て、その分、Bピクチャの符号量を減らすことによって、全体的な画質を向上させることを考える。図19(a)は、I、P、Bの各ピクチャに対する符号化ビット量を例えば5:3:1とした場合の通常再生の復号タイミングを表したものである。図19(a)において、符号P1901は算術復号処理を含む第1種可変長復号化処理を行うタイミング、符号P1902はその後の算術復号処理を含まない第2種可変長復号化処理を行うタイミング、符号P1903は復号した結果の画面表示を行うタイミングを各々示している。第1種可変長復号化処理は、ビット毎の逐次的な復号処理なので大体割当てビット量の比に比例して復号時間がかかり、第2種可変長復号処理複数ビットをまとめたシンタックス毎の処理ができるため、ビット量に比例せず復号処理を行うことが可能である。簡単のため、第2種可変長復号処理のタイミングは何れのピクチャでも一定の時間で処理できるものと仮定している。

0035

但し、本説明では、簡単のため、1GOP時間で第1種可変長復号処理が終了しているように示しているが、実際には第1種可変長復号処理が1GOP以上の処理期間が必要となる場合もある。

0036

次に、図19(b)は、図17(b)と同様に、Bピクチャの復号を行わないIP再生により3倍速を目指した処理タイミングを示している。しかしながら、IP再生を行う場合、P1904に示した通り、第1種可変長復号化処理に必要な時間が短いBピクチャの復号処理のみを実行しないため、1.6倍程度(=(5+3×4+1×10)/(5+3×4))の倍速性能しか実現できない見積りとなる。結果として、符号P1905のタイミング図で示すように、第2種可変長復号化処理では、I、Pピクチャの算術符号を含む第1種可変長復号化処理の完了を待つ必要があって、その待ち期間に等しい処理不能時間が発生してしまい、全体的な処理効率も低下してしまう。

0037

同様に、図19(c)は、図17(c)と同様にBピクチャの復号を行わないIのみの再生により15倍速を目指した処理タイミングを示している。しかしながら、Iのみの再生を行う場合、符号P1906に示した通り、第1種可変長復号化処理に必要な時間が短いBピクチャとPピクチャの復号処理を実行しないため、5.4倍程度(=(5+3×4+1×10)/5)の倍速性能しか実現できない。結果として符号P1906のタイミング図で示すように、更に第2種可変長復号化処理では前記と同様に処理不能時間が発生してしまい、全体的な処理効率も更に低下する。

0038

従って、H.264規格のCABACなど算術符号を利用する可変長符号化ツールを用いた符号化規格において、特殊再生のために動画像ストリームを復号する場合、復号化処理装置の性能を格段に高めないと、IPピクチャ再生やIピクチャのみの再生を行ったとしても、算術符号を用いない従来のような特殊再生性能を得られることができない。

0039

逆再生時の課題>
次に、逆再生の場合に生じる課題を図20を用いて説明する。図20は、算術符号を含むストリームの逆再生の課題を表す模式図である。図20(a)は、従来の逆再生を行う場合のタイミングを表しており、図20(b)は、算術符号を含む第1種可変長復号処理のタイミングを示している。

0040

図20(a)の符号P2001〜P2005は、図18(a)〜(e)から実際に復号に使わないピクチャを除いて記載したものであり、処理タイミングとしては、符号P2001〜符号P2005の順に繋がっている。マルチフレームメモリFrmMemの管理フレーム枚数に通常の復号処理を行うよりも十分に余裕がある場合は、同じフレームを何回も復号する必要はないが、通常はフレーム枚数には限りがあるため、何度も同じキーフレームの復号処理が必要である。

0041

同図(a)に示しているように、GOPサイズが15でI若しくはPピクチャと次のPピクチャの間隔が3枚の時、逆再生時には30枚のフレームの復号処理が必要となる。つまり、2倍(=30/15)の処理能力があれば滑らかな画面表示が可能となることが分かる
一方、図20(b)は、算術復号を含む第1種可変長復号処理のタイミングを表しており、処理順序は従来の図20(a)と変わりはないが、何回も復号処理が必要となるキーフレームはビット割当量が多いため、従来の逆再生時の処理時間と比べてキーフレームの算術復号処理時間が長くなってしまう。このため、全体的に処理時間が増大する。ビット割当て比をI:P:B=5:3:1とした場合、約3倍(=(5×6+3×15+1×10)/(5×1+3×4+1×10))の算術復号処理の能力が必要となるが、前述の通りビット毎の逐次的な復号処理が必要なため、簡単に処理能力を向上させるのは困難である。

0042

本発明の目的は、算術符号を用いた可変長符号の動画像信号であっても、その復号処理時間を短縮して、算術符号を用いた可変長符号を含まない従来の動画像信号についての特殊再生と同様に、滑らかな特殊再生を実現することにある。

課題を解決するための手段

0043

前記の目的を達成するため、本発明では、算術符号を用いた可変長符号を含んだ動画像信号の符号化では、動画像信号に対して算術符号化処理を含まない可変長符号化をし、その後に算術符号化処理を含んだ可変長符号化を行うことから、その算術符号化前の所定の一部の信号を予め記録しておき、その後の復号化処理に際して、そのような算術符号化前の信号を利用する。また、算術符号を用いた可変長符号の動画像信号の復号化では、先ず、算術復号化処理を含んだ可変長復号を行い、その後に算術復号化処理を含まない可変長復号化を行うことから、算術復号化処理後の所定の一部の信号を生成して予め記録しておき、その後の実際の復号化処理に際して、そのような算術復号化後の信号を利用する。これにより、算術復号の際のビット毎の逐次的な復号処理を不要にして、復号処理時間を短縮する。

0044

具体的に、請求項1記載の発明の動画像復号化装置は、算術符号を用いた可変長符号を含む動画像信号を復号化する動画像復号化装置であって、入力ストリームデータに対して、算術復号化処理を含む第1種可変長復号化処理を施して第1種ストリームデータを生成する第1種可変長復号化手段と、前記第1種可変長復号化手段により生成された第1種ストリームデータに対して、算術復号化処理を含まない第2種可変長復号化処理を施して出力データを生成する第2種可変長復号化手段と、前記第1種可変長復号化手段により生成された第1種ストリームデータの中から特定データのみを選択して第1の記録領域に記録する第1の記録制御手段とを備えることを特徴とする。

0045

請求項2記載の発明は、前記請求項1記載の動画像復号化装置において、前記前記第1種可変長復号化手段により生成されて前記第1の記録領域に記録された特定データと、その特定データ以外の第1種ストリームデータとの何れか一方を選択する選択手段を有し、前記第2種可変長復号化手段は、前記選択手段により、前記第1種ストリームデータのうち前記特定データを前記第1の記録領域から受け、前記特定データ以外の第1種ストリームデータを前記第1種可変長復号化手段から受けることを特徴とする。

0046

請求項3記載の発明は、前記請求項1記載の動画像復号化装置において、前記第1の記録制御手段は、前記第1種ストリームデータの中から、特殊再生で用いるデータを、特定データとして選択して第1の記録領域に記録することを特徴とする。

0047

請求項4記載の発明は、前記請求項3記載の動画像復号化装置において、前記特殊再生は、倍速再生若しくは逆再生、又はサムネイル動画再生であることを特徴とする。

0048

請求項5記載の発明は、前記請求項1記載の動画像復号化装置において、前記第1の記録制御手段が選択記録する前記特定データは、他のピクチャから参照される参照画像となるピクチャを含むデータであることを特徴とする。

0049

請求項6記載の発明は、前記請求項1記載の動画像復号化装置において、前記第1種可変長復号化手段は、通常再生における逐次的な復号化処理が行われない時間を利用して、前記入ストリームデータを先読みして、前記第1種ストリームを生成することを特徴とする。

0050

請求項7記載の発明の動画像符号化装置は、算術符号を用いた可変長符号を含んで動画像信号を符号化する動画像符号化装置であって、入力ストリームデータに対して、算術符号化処理を含まない第1種可変長符号化処理を施して第1種ストリームデータを生成する第1種可変長符号化手段と、前記第1種可変長復号化手段により生成された第1種ストリームデータに対して、算術符号化処理を含む第2種可変長符号化処理を施して第2種ストリームデータを生成する第2種可変長符号化手段と、前記第2種可変長復号化手段により生成された第2種ストリームデータを第2の記録領域に記録する第2の記録制御手段と、前記第1種可変長復号化手段により生成された第1種ストリームデータの中から特定データのみを選択して第3の記録領域に記録する第3の記録制御手段とを備えることを特徴とする。

0051

請求項8記載の発明は、前記請求項7記載の動画像符号化装置において、前記第3の記録制御手段は、前記第1種ストリームデータの中から、特殊再生で用いるデータを、特定データとして選択して第3の記録領域に記録することを特徴とする。

0052

請求項9記載の発明は、前記請求項8記載の動画像符号化装置において、前記特殊再生は、倍速再生若しくは逆再生、又はサムネイル動画再生であることを特徴とする。

0053

請求項10記載の発明は、前記請求項7記載の動画像符号化装置において、前記第3の記録制御手段が選択記録する前記特定データは、他のピクチャから参照される参照画像となるピクチャを含むデータであることを特徴とする。

0054

請求項11記載の発明は、前記請求項7記載の動画像符号化装置において、前記第2の記録制御手段が前記第2種ストリームデータを記録する第2の記録領域は、可搬な記録メディアに存在し、前記第3の記録制御手段は、前記特定データを前記第3の記録領域に記録することをしないことを特徴とする。

0055

請求項12記載の発明は、前記請求項7記載の動画像符号化装置において、前記第2の記録制御手段が前記第2種ストリームデータを記録する第2の記録領域は、非可搬な記録メディアに存在し、前記第2の記録制御手段は、前記第3の記録制御手段が前記第3の記録領域に第1種ストリームデータとして記録した特定データについては、前記第2種ストリームデータとして前記第2の記録領域に記録しないことを特徴とする。

0056

請求項13記載の発明の動画像符号化復号化装置は、算術符号を用いた可変長符号を含んだ動画像信号を復号化し、その後に符号化する動画像符号化復号化装置であって、入力ストリームデータに対して、算術復号化処理を含む第1種可変長復号化処理を施して第1種ストリームデータを生成する第1種可変長復号化手段と、前記第1種可変長復号化手段により生成された第1種ストリームデータの中から特定データのみを選択して第4の記録領域に記録する第4の記録制御手段と、前記入力ストリームデータをデータ変換せずにそのまま第5の記録領域に記録する第5の記録制御手段とを備え、可搬の記録メディアのデータストリームを非可搬の記録メディアにコピーするに際して、前記第4の記録制御手段と前記第5の記録制御手段とを用いて、前記可搬の記録メディアのデータストリームを非可搬の記録メディアの前記第4の記録領域及び前記第5の記録領域にコピーすることを特徴とする。

0057

請求項14記載の発明の動画像符号化復号化装置は、算術符号を用いた可変長符号を含んだ動画像信号を復号化し、その後に符号化する動画像符号化復号化装置であって、入力ストリームデータのうち算術符号化されていない特定のストリームデータに対して、算術符号化処理を含む第2種可変長符号化処理を施して第2種ストリームデータを生成する第2種可変長符号化手段と、前記入力ストリームデータと前記第2種可変長符号化手段により生成された第2種ストリームデータとの何れか一方を選択し、1つのストリームデータとして第6の記録領域に記録する第6の記録制御手段とを備え、非可搬の記録メディアから可搬の記録メディアにデータストリームをコピーするに際して、前記入力ストリームデータのうち算術符号化されていない特定のストリームデータを前記第2種ストリームデータとして前記可搬の記録メディアの第6の記録領域に記録することを特徴とする。

0058

請求項15記載の発明の動画像復号化方法は、算術符号を用いた可変長符号を含む動画像信号を復号化する動画像復号化方法であって、入力ストリームデータに対して、算術復号化処理を含む第1種可変長復号化処理を施して第1種ストリームデータを生成する第1種可変長復号化ステップと、前記第1種可変長復号化ステップで生成された第1種ストリームデータに対して、算術復号化処理を含まない第2種可変長復号化処理を施して出力データを生成する第2種可変長復号化ステップと、前記第1種可変長復号化ステップで生成された第1種ストリームデータの中から特定データのみを選択して第1の記録領域に記録する第1の記録制御ステップとを備えることを特徴とする。

0059

請求項16記載の発明は、前記請求項15記載の動画像復号化方法において、前記第2種可変長復号化ステップでは、出力データの生成に際し、前記第1種ストリームデータのうち前記特定データについては前記第1の記録領域から受け、前記特定データ以外の第1種ストリームデータについては前記第1種可変長復号化ステップで生成されたデータストリームを受けて、算術復号化処理を含まない第2種可変長復号化処理を施すことを特徴とする。

0060

請求項17記載の発明の動画像符号化方法は、算術符号を用いた可変長符号を含んで動画像信号を符号化する動画像符号化方法であって、入力ストリームデータに対して、算術符号化処理を含まない第1種可変長符号化処理を施して第1種ストリームデータを生成する第1種可変長符号化ステップと、前記第1種可変長復号化ステップで生成された第1種ストリームデータに対して、算術符号化処理を含む第2種可変長符号化処理を施して第2種ストリームデータを生成する第2種可変長符号化ステップと、前記第2種可変長復号化ステップで生成された第2種ストリームデータを第2の記録領域に記録する第2の記録制御ステップと、前記第1種可変長復号化ステップで生成された第1種ストリームデータの中から特定データのみを選択して第3の記録領域に記録する第3の記録制御ステップとを備えることを特徴とする。

0061

請求項18記載の発明は、前記請求項1記載の動画像復号化装置において、前記第1種可変長復号化手段、前記第2種可変長復号化手段、及び前記第1の記録制御手段は、集積回路化されていることを特徴とする。

0062

請求項19記載の発明は、前記請求項7記載の動画像復号化装置において、前記第1種可変長符号化手段、前記第2種可変長符号化手段、前記第2の記録制御手段、及び前記第3の記録制御手段は、集積回路化されていることを特徴とする。

0063

請求項20記載の発明の動画像復号化プログラムは、算術符号を用いた可変長符号を含む動画像信号を復号化するようにコンピュータに実行させる動画像復号化プログラムであって、入力ストリームデータに対して、算術復号化処理を含む第1種可変長復号化処理を施して第1種ストリームデータを生成する第1種可変長復号化ステップと、前記第1種可変長復号化ステップで生成された第1種ストリームデータに対して、算術復号化処理を含まない第2種可変長復号化処理を施して出力データを生成する第2種可変長復号化ステップと、前記第1種可変長復号化ステップで生成された第1種ストリームデータの中から特定データのみを選択して第1の記録領域に記録する第1の記録制御ステップとを備えることを特徴とする。

0064

請求項21記載の発明の動画像符号化プログラムは、算術符号を用いた可変長符号を含んで動画像信号を符号化するようにコンピュータに実行させる動画像符号化プログラムであって、入力ストリームデータに対して、算術符号化処理を含まない第1種可変長符号化処理を施して第1種ストリームデータを生成する第1種可変長符号化ステップと、前記第1種可変長復号化ステップで生成された第1種ストリームデータに対して、算術符号化処理を含む第2種可変長符号化処理を施して第2種ストリームデータを生成する第2種可変長符号化ステップと、前記第2種可変長復号化ステップで生成された第2種ストリームデータを第2の記録領域に記録する第2の記録制御ステップと、前記第1種可変長復号化ステップで生成された第1種ストリームデータの中から特定データのみを選択して第3の記録領域に記録する第3の記録制御ステップとを備えることを特徴とする。

0065

以上により、請求項1〜12、15〜21記載の発明では、算術復号化処理を含む第1種可変長復号化処理が施された第1種ストリームデータのうち特殊データ、例えば特殊再生を行う場合に必要となるキーフレームが既に記録領域に記録されて存在している。従って、倍速再生や逆再生などの特殊再生を行う際には、これ等のキーフレームについては、算術復号化処理で必要となるビット毎の逐次的な処理が不要となるので、算術符号を用いた可変長符号の動画像信号であっても、その復号処理時間が短縮されて、算術符号を用いた可変長符号を含まない従来の動画像信号についての特殊再生と同様に、滑らかな特殊再生が実現されることになる。

0066

特に、請求項6記載の発明では、特殊再生を行う際に必要となるキーフレーム(特殊データ)については、実際に必要となる再生タイミング以前に算術復号処理を行って、予め、第1種ストリームデータとして準備される。従って、このようなキーフレームが第1種ストリームデータとして常に記録領域に存在する可能性が高くなるので、算術符号を用いた可変長符号を含まない従来の動画像信号についての特殊再生と同様に、滑らかな特殊再生がより確実に実現される。

0067

また、請求項11記載の発明では、自己機による再生以外の用途では、符号化規格に従ったストリームのみを生成するので、他機種や他社製品との互換再生を実現しつつ、自己機での録画再生の場合には、算術符号を用いた可変長符号を含まない従来の動画像信号についての特殊再生と同様に、滑らかな特殊再生が実現されることになる。

0068

更に、請求項12記載の発明では、HDD等の非可搬な記録メディアが2つの記録領域を有する場合に、特殊再生を行う際に必要となるキーフレーム(特殊データ)が既に算術復号処理の不要である第1種ストリームデータとして一方の記録領域に記録されたときには、このキーフレームは第2種ストリームデータとして他方の記録領域には重複して記録されない。従って、記録領域を効率的に用いつつ、算術符号を用いた可変長符号を含まない従来の動画像信号についての特殊再生と同様に、滑らかな特殊再生が実現されることになる。

0069

加えて、請求項13記載の発明では、DVDなどの可搬な記録メディアからHDDなどの非可搬な記録メディアにデータストリームをコピーする場合に、特殊再生を行う時に必要となるキーフレーム等の特殊データについては、第4の記録制御手段によって、算術復号処理が不要な第1種ストリームデータにまで変換した状態で記録領域に記録される。従って、例えばDVDからHDDへのデータストリームのコピー後、このHDDからの動画像再生時には、算術符号を用いた可変長符号の動画像信号であっても、その復号処理時間が短縮されて、滑らかな特殊再生が実現される。

0070

更に加えて、請求項14記載の発明では、特殊再生を行う際に必要となるキーフレーム等の特殊データを算術復号化処理した第1種ストリームデータを記録するHDDなどの非可搬の記録メディアが存在する場合に、このHDD等からDVDなどの可搬の記録メディアにデータストリームをコピーする際には、前記キーフレーム等の特殊データについては、第6の記録制御手段によって、算術復号処理が不要な第2種ストリームデータにまで変換された状態でDVDなどの可搬の記録メディア内の記録領域に記録される。従って、符号化規格外のストリームとなっていたものを、符号化規格に従ったストリームとしてコピーすることが可能となる。よって、ストリームコピー後の可搬記録メディアが他機種や他社製品と互換再生ができることを保証しつつ、自己機のHDD等を用いた録画再生時は、算術符号を用いた可変長符号の動画像信号であっても、その復号処理時間が短縮されて、滑らかな特殊再生が実現される。

発明の効果

0071

以上説明したように、請求項1〜12、15〜21記載の発明によれば、例えば特殊再生を行う場合に必要となるキーフレームについては、算術復号化処理で必要となるビット毎の逐次的な処理を不要としたので、算術符号を用いた可変長符号の動画像信号であっても、その復号処理時間を短縮して、滑らかな特殊再生を実現することが可能である。

0072

特に、請求項6記載の発明によれば、特殊再生を行う際に必要となるキーフレームについて、実際に必要となる再生タイミング以前に算術復号処理を行って、予め第1種ストリームデータとして準備したので、滑らかな特殊再生がより確実に実現できる。

0073

また、請求項11記載の発明によれば、自己機による再生以外の用途では、符号化規格に従ったストリームのみを生成するので、他機種や他社製品との互換再生を実現しつつ、自己機での録画再生の場合には滑らかな特殊再生を実現できる。

0074

更に、請求項12記載の発明によれば、例えば特殊再生を行う場合に必要となるキーフレームについては、算術復号処理の不要であるストリームデータとしてのみ記録領域に記憶したので、非可搬の記録メディアの記録領域を効率的に用いつつ、滑らかな特殊再生を実現できる。

0075

加えて、請求項13記載の発明によれば、DVDなどの可搬な記録メディアからHDDなどの非可搬な記録メディアにデータストリームをコピーした場合にも、このHDDからの動画像再生時には、算術符号を用いた可変長符号の動画像信号であっても、その復号処理時間を短縮して、滑らかな特殊再生を実現することが可能である。

0076

更に加えて、請求項14記載の発明によれば、符号化規格外のストリームが記録されたHDDなどの非可搬の記録メディアから、そのストリームをDVDなどの可搬の記録メディアにをコピーした際にも、そのストリームコピー後の可搬記録メディアが他機種や他社製品と互換再生ができることを保証しつつ、自己機のHDD等を用いた録画再生時は、算術符号を用いた可変長符号の動画像信号の滑らかな特殊再生を実現できる。

発明を実施するための最良の形態

0077

以下、本発明の実施形態について、図1から図14を用いて説明する。

0078

(実施形態1)
以下、実施形態1について、図1図6を用いて説明する。

0079

図1は、本実施形態を実現する動画像復号化装置1のブロック図である。同図において、図16と同一符号のものは同一のものを示し、その説明を省略する。図1図16との違いは、図16に加えて更に大容量蓄積デバイスDiscとストリームバッファStrBufを加えて記載している点である。図1に示した動画像復号化装置1は半導体チップに集積回路化される。

0080

本実施形態の復号化器Decには、従来の符号化信号Strの入力だけでなく、復号化器Decで生成する復号時の中間ストリームIntStrの入出力があり、大容量蓄積デバイスDiscと接続している。また、符号化信号Strと中間ストリームIntStrを一時格納するストリームバッファStrBufも、復号化器Decに中間ストリームTmpStrを介して接続している。

0081

ここで、本実施形態における算術符号を含んだ符号化信号Strの復号処理の詳細な流れを説明するために、復号化器Decと大容量蓄積デバイスDiscとストリームバッファStrBufを含む可変長符号化復号化ブロック1DecSysとについて、図2を用いて説明する。

0082

図2は、可変長符号化復号化ブロック1の詳細構成図を示している。同図において、図1と同一符号のものは同一のものを示し、その説明を省略する。

0083

復号化器Decは、算術復号化処理を含む可変長復号化処理(以下、第1種可変長復号化処理という)を行う第1種可変長復号化手段vld1と、算術符号を含まない残りの可変長復号化処理(以下、第2種可変長復号化処理という)を行う第2種可変長復号化手段vld2と、前記第1種可変長復号化手段vld1で生成する中間ストリームを選択格納するための第1の記録制御手段Rec1によって構成されている。また、復号化器Decに接続する大容量蓄積デバイスDiscの中には、入力ストリーム領域InStrAreaと第1の記録領域Area1とが含まれており、ストリームバッファStrBufには、各状態のストリームの一時バッファとして、バッファ1Buf1と、バッファ2Buf2と、バッファ3Buf3とが含まれている。以下、同図を用いて信号の詳細な流れを説明する。これらの処理は、コンピュータに実行させる動画像復号化プログラムとしても良い。

0084

先ず、算術符号化信号1aStr1を、DVDやHDDなどの大容量蓄積デバイスDiscの入力ストリーム領域InStrAreaから読み出し、バッファ1Buf1に蓄える。バッファ1Buf1に蓄えられた符号化信号を、算術符号化信号2aStr2として第1種可変長復号化手段vld1に入力し、第1種可変長復号化手段vld1で算術符号を含まないストリーム(以下、第1種ストリームデータという)に変換し、算術符号を含まない非算術符号化信号1naStr1をバッファ2Buf2に蓄える。

0085

次に、第1の記録制御手段Rec1では、特殊再生に必要なIピクチャやPピクチャなどのキーフレームを選択し、バッファ2Buf2から算術符号を含まない状態の非算術信号2naStr2を読み出し、非算術信号3naStr3として第1の記録領域Area1に格納する。更に、その後に、第1の記録領域Area1から、非算術符号化信号4naStr4を読み出し、バッファ3Buf3に蓄える。

0086

最後に、復号ストリーム選択器(選択手段)naStrSelに、バッファ2Buf2からの非算術符号化信号5naStr5と、バッファ3Buf3からの非算術符号化信号6naStr6とを入力し、条件に応じて何れかからの符号化信号を選択し、非算術符号化信号7naStr7として第2種可変長復号化手段vld2に入力する。更に、第2種可変長復号化手段vld2において、最終的な面内予測方向IDirや、画面予測誤差DifPelや、動きベクトル予測差分DifMVや、参照フレーム番号RefNoなどの出力データSynoを出力する。

0087

<中間ストリーム格納フロー
次に、第1の記録制御手段Rec1において、第1の記録領域Area1に記録する非算術符号化信号3naStr3を選択するための処理手順図3を用いて説明する。図3は、本実施形態を実現する再生時の中間ストリーム格納選択フローである。

0088

先ず、バッファ2Buf2に蓄えられている符号化信号の中の対象となる非算術符号化信号naStr2が、Iピクチャ若しくはPピクチャなどのキーフレームであるかどうかを判断する(ステップS301)。もし、非算術符号化信号naStr2が特殊再生などで有効利用できるキーフレームである場合には、非算術符号化信号naStr3を出力し、大容量蓄積デバイスDiscの第1の記録領域Area1に格納する(ステップS302)。一方、キーフレームでない場合には、非算術符号化信号naStr2は、第1の記録領域Area1には格納しない(ステップS303)。以上の処理を行った後、次の非算術符号化信号naStr2についても、順次同様の処理を繰り返し行っていく。

0089

以上の格納選択フローは、例えば符号化復号化装置を用いてユーザが本再生を行う前のストリーム(番組)選択を行っている間や、その選択のためのサムネイル画像を生成している間や、ユーザが使用しない非動作時間、若しくは、本再生を行っている期間の処理装置の空き時間を使って動作し、中間ストリームが生成される。

0090

<中間ストリーム選択フロー>
続いて、復号ストリーム選択器naStrSelにおけるデータストリームの選択フローを図4を用いて説明する。同図は、本実施形態を実現する再生ストリーム選択フローを示している。

0091

先ず、可変長復号化を行う中間ストリームが、大容量蓄積デバイスDisc若しくはバッファ3Buf3に存在するかどうかを判定する(ステップS401)。もし存在する場合は、バッファ3Buf3から非算術符号化信号6naStr6を読み出し、非算術符号化信号7naStr7として出力し、第2種可変長復号化手段vld2で続く復号処理を行う(ステップS402)。また、存在しない場合には、バッファ2Buf2から非算術符号化信号5naStr5を読み出し、非算術符号化信号7naStr7として出力し、第2種可変長復号化手段vld2で続く復号処理を行う(ステップS403)。この時、キーフレームの再生の場合には、併せて第1の記録制御手段Rec1を用いて大容量蓄積デバイスDiscに格納も行うことにより、続く処理で再度同じキーフレームが必要となる場合の第1種可変長復号化処理を不要にすることも行う。

0092

<倍速再生の性能改善
以上の信号の流れと制御を行うことにより、算術符号を含むストリームを再生する場合の倍速性能が改善されることを図5を用いて説明する。図5は、本実施形態で実現される倍速再生の状態を表す模式図である。図5(a)は、本実施の説明で説明した機能構成を用いた場合の通常再生の処理タイミングを表している。図19での説明と同様に、1GOPでの処理タイミングを示している。

0093

符号P501は、本実施形態における第1種可変長復号化処理の処理タイミングである。IピクチャやPピクチャなどのキーフレームは第1の記録領域Area1に中間ストリームとして存在するので、第1種可変長復号化処理が不要となる。従って、Bピクチャのみの復号の処理タイミングのみとなる。ここで、B1とB3の間、B4とB5の間などは、第1種可変長復号化処理が動作していない区間となるので、この期間を利用して、別の時間位置若しくはストリームのキーフレームの第1種可変長復号化処理を行うことも可能である。勿論、第1の記録領域Area1に中間ストリームが存在しない場合は、従来の復号化処理と同じ処理タイミングとなる。

0094

符号P502は、本実施形態における第2種可変長復号化処理の処理タイミングである。第2種可変長復号化処理は、中間ストリームの供給元が異なる可能性はあるが、図19(b)の符号P1902と同じ処理タイミングとなっている。また、符号P503は画面表示を行う処理タイミングを示しているが、これに関しても図19(c)の符号P1903と同じ処理タイミングとなっている。

0095

次に、倍速再生について説明する。図5(b)は、IP再生による倍速再生時の処理タイミングを表している。ここで、IP再生を行う場合、IピクチャとPピクチャの第1種可変長復号化処理は不要であるため、符号P504に示すように第1種可変長復号化処理を動作させる必要はなくなる。従って、符号P505に示すようにIピクチャもPピクチャも第1種可変長復号化処理のタイミングに制限されることなく、第2種可変長復号化処理を行うことができるようになり、所望の3倍速の再生が実現できるようになっていることを示している。

0096

また、図5(c)は、Iピクチャのみの再生による高速倍速再生時の処理タイミングを表している。ここで、Iピクチャのみの再生を行う場合、Iピクチャの第1種可変長復号化処理は不要であるため、符号P506に示すように第1種可変長復号化処理を動作させる必要はなくなる。従って、符号P507に示すように、Iピクチャが第1種可変長復号化処理のタイミングに制限されることなく、第2種可変長復号化処理を行うことができるようになり、所望の15倍速の再生が実現できるようになっていることを示している。
<逆再生の性能改善>
以上の信号の流れと制御を行うことにより、算術符号を含むストリームを再生する場合の倍速性能が改善されることを図6を用いて説明する。図6は、本実施形態で実現される逆再生の状態を表す模式図である。図6(a)と図6(b)は、本実施形態を用いた場合の逆再生における第1種可変長復号化処理のタイミングと、第2種可変長復号化処理のタイミングとを示している。

0097

符号P601、P602、P603、P604、及びP605は、第1種可変長復号化処理のタイミングを表しているが、各々、B13とB12、B10とB9、B7とB6、B4とB3、及びB1とB0のみを復号しており、時間的には、符号P601〜符号P605の順で繋がっている。同図の符号P601〜P604に示す通り、Iピクチャ、Pピクチャなどのキーフレームの第1種可変長復号処理が不要となるので、Bピクチャのみの復号処理しか行われない。また、符号P605では、1つ前のGOPのキーフレーム再生が必要となっている処理タイミング図としているが、この部分に関しても、既に第1の記録領域Area1に中間ストリームが存在する場合は不要となる。

0098

一方、符号P611、P612、P613、P614、及びP615は、第2種可変長復号化処理のタイミングを示しており、時間的には符号P611〜P615の順で繋がっている。各々、P14とB13とB12、P11とB10とB9、P8とB7とB6、P5とB3とB4、及びI3とB1とB0を復号しており、結果として、逆再生を行っていることを示している。ここで、符号P611〜P615からの各復号処理では、他のキーフレームがないと再生できないため、例えば符号P611において、P14とB13とB12の処理さえできれば良いが、I2、P5、P8、及びP11の復号処理も併せて行っていることを示している。これは、符号P611、P612、P613、P614、及びP615でも同様であり、符号P615の場合は、時間的に直前のGOPに存在するキーフレームの復号処理が必要である状態を示している。

0099

以上のように、逆再生を行う場合でも、第2種可変長復号処理の処理タイミングが算術符号を含む第1種可変長復号処理によって制限されることが無く実行できるので、第1種可変長復号処理に関しては、処理能力の向上なしで対応可能であり、第2種可変長復号処理に関しては、従来の必要能力(2倍程度)があれば滑らかな逆再生を行うことが可能となる。

0100

尚、第1種ストリームデータとして残して格納保持するキーフレームは、全てのIピクチャとPピクチャである必要は無く、IピクチャのみやIPピクチャの一部であっても良く、Bピクチャなどが含まれていても良い。また、ピクチャを構成する符号化ブロックの一部であっても良い。

0101

尚、本実施形態では、トリームバッファStrBufとして、バッファ1Buf1、バッファ2Buf2、及びバッファ3Buf3も含めて説明しているが、その一部が存在しない、若しくは、一部が外部接続するSDRAMに存在し、残りが復号化器Decの中のメモリとなるように分割して構成しても良い。

0102

尚、サムネイル動画再生は、録画画像縮小して一覧表示するために用いるが、予め縮小された動画としてストリームが存在しない場合には、複数の動画再生を縮小しながら表示するため、通常再生よりも高速に再生する必要がある。このようにサムネイル動画などの複数ストリーム同時再生を行う場合にも、第1の記録領域Area1に含まれる中間ストリームを用いることによって、第1種可変長復号処理が不要となるので、同時再生を比較的簡単に実現することも可能となる。

0103

また、大容量蓄積デバイスDiscは、1つのデバイスメディアで構成される必要は無く、例えば、入力ストリーム領域InStrAreaがDVDに構成されていて、第1の記録領域Area1がHDDに構成されていても良い。

0104

(実施形態2)
以下、実施形態2について、図7図10を用いて説明する。

0105

図7は、本実施形態を実現する動画像符号化装置2のブロック図である。同図において、図15と同一符号のものは同一のものを示し、その説明を省略する。図7図15の違いは、図15に加えて、更に大容量蓄積デバイスDiscとストリームバッファStrBufを加えて記載し、更に復号化のパスとして復号化器Decも加えて記載している点である。図7に示した動画像符号化装置2は半導体チップに集積回路化される。

0106

本実施形態において、復号化器Encには、従来の符号化信号Strの出力だけでなく、符号化器Encで生成する復号時の中間ストリームIntStrも出力し、大容量蓄積デバイスDiscと接続する。また、符号化信号Strと中間ストリームIntStrとを一時格納するストリームバッファStrBufも、符号化器Encに中間ストリームTmpStrを介して接続している。

0107

ここで、本実施形態における算術符号を含んだ符号化信号Strの復号処理の詳細な流れを説明するために、復号化器Decと、大容量蓄積デバイスDiscと、ストリームバッファStrBufを含む可変長符号化復号化ブロック2EncSysについて、図8を用いて説明する。

0108

図8は、可変長符号化復号化ブロック2の詳細構成図を示している。同図において、図7若しくは図2と同一符号のものは同一のものを示し、その説明を省略する。

0109

符号化器Encは、算術符号化処理を含まない可変長符号化処理(以下、第1種可変長符号化処理という)を行う第1種可変長符号化手段vlc1と、算術符号化処理を含む残りの可変長符号化処理(以下、第2種可変長符号化処理という)を行う第2種可変長符号化手段vlc2と、前記第2種可変長符号化手段vlc2で生成する符号化信号を格納するための第2の記録制御手段Rec2と、第1種可変長符号化手段vlc1で生成する中間ストリーム(第1種ストリームデータ)を格納するための第3の記録制御手段Rec3によって構成されている。また、符号化器Encに接続する大容量蓄積デバイスDiscの中には、第2の記録領域Area2と第3の記録領域Area3とが含まれており、ストリームバッファStrBufには、各状態のストリームの一時バッファとして、バッファ1Buf1と、バッファ2Buf2と、バッファ3Buf3に加えて、バッファ4Buf4と、バッファ5Buf5とが含まれている。また、第1種可変長復号化手段vld1と第2種可変長復号化手段vld2とは、図2で説明した同一符号のものと同じである。

0110

以下、同図を用いて信号の詳細な流れを説明する。これらの処理は、コンピュータに実行させる動画像復号化プログラムとしても良い。

0111

先ず、内予測方向IDirや画面予測誤差DifPelや動きベクトル予測差分DifMVや参照フレーム番号RefNoなどのシンタックスである入力データSyniを、算術符号を用いない第1種可変長符号化手段で符号化し、非算術符号化信号8naStr8を生成し、バッファ4Buf4に格納する。

0112

次に、バッファ4Buf4に格納した中間ストリームの中からIピクチャやPピクチャなどのキーフレームが含まれる中間ストリームに関して非算術符号化信号9naStr9として読み出し、第3の記録制御手段Rec3に入力し、更に第3の記録制御手段Rec3から非算術符号化信号10naStr10を出力し、第3の記録領域Area3に格納する。

0113

また、バッファ4Buf4の内、第3の記録領域Area3に格納したキーフレーム以外の中間ストリームに関しては、非算術符号化信号11naStr11として読み出し、第2種可変長符号化手段vld2に入力し、更に算術符号化処理を行った結果として算術符号化信号(第2種ストリームデータ)aStr3を出力し、バッファ5Buf5に格納する。

0114

最後に、第2の記録制御手段Rec2を用いて、バッファ5Buf5から算術符号化信号4aStr4を読み出し、算術符号化信号5aStr5として第2の記録領域Area2に格納する。

0115

次に、本実施形態における復号化の信号の流れを説明する。

0116

最初に、算術符号の状態まで符号化されたストリームを第2の記録領域Area2から算術符号化信号1aStr1として読み出し、バッファ1Buf1に格納する。更に第1種可変長復号化手段vld1において、バッファ1Buf1から算術符号化信号2aStr2を読み出し、算術符号を含まない符号化信号の形態まで変換し、非算術符号化信号1naStr1として出力したデータをバッファ2Buf2に格納する。

0117

一方、算術符号を含まない状態の符号化ストリームを第3の領域Area3から、非算術符号化信号naStr11として読み出し、バッファ3Buf3に格納する。

0118

次に、復号ストリーム選択器naStrSelに、バッファ2Buf2からの非算術符号化信号5naStr5と、バッファ3Buf3からの非算術符号化信号6naStr6とを入力し、条件に応じて何れかからの符号化信号を選択し、非算術符号化信号7naStr7として第2種可変長復号化手段vld2に入力する。更に、第2種可変長復号化手段vld2において、最終的な面内予測方向IDirや、画面予測誤差DifPelや、動きベクトル予測差分DifMVや、参照フレーム番号RefNoなどの出力データSynoを出力する。

0119

尚、第1種ストリームデータとして残して格納保持するキーフレームは、全てのIピクチャとPピクチャである必要は無く、IピクチャのみやIPピクチャの一部であっても良く、Bピクチャなどが含まれていても良い。また、ピクチャを構成する符号化ブロックの一部であっても良い。

0120

また、本実施形態では、ストリームバッファStrBufとしてバッファ1Buf1、バッファ2Buf2、バッファ3Buf3、バッファ4Buf4、及びバッファ5Buf5も含めて説明しているが、その一部が存在しない、若しくは、一部が外部接続するSDRAMに存在し、残りが復号化器の中のメモリで構成しても良い。

0121

更に、サムネイル動画などの複数ストリームの同時再生を行う場合にも、第2の記録領域Area2に含まれる中間ストリームを用いることによって、第1種可変長復号処理が不要となるので、同時再生を比較的簡単に実現することも可能となる。

0122

加えて、大容量蓄積デバイスDiscは、1つのデバイスやメディアで構成される必要はなく、例えば、第2の記録領域Area2がDVDに構成されていて、第3の記録領域Area3がHDDに構成されていても良い。

0123

<中間ストリーム格納フロー>
次に、第3の記録制御手段Rec3において、第3の記録領域Area3に記録する非算術符号化信号3naStr3を選択するための制御方法図9を用いて説明する。図9は、本実施形態を実現する記録時の中間ストリーム格納選択フロー1ある。

0124

先ず、バッファ4Buf4に蓄えられている符号化信号の中の対象となる非算術符号化信号naStr9が、Iピクチャ又はPピクチャなどのキーフレームであるかどうかを判断する(ステップS901)。もし、非算術符号化信号naStr9が特殊再生などで有効利用できるキーフレームである場合には、第3の記録制御手段Rec3により非算術符号化信号naStr10を出力し、大容量蓄積デバイスDiscの第3の記録領域Area3に格納する(ステップS902)。一方、ステップS902においてキーフレームを含まないと判断した場合は、第2種可変長符号化を行って、第2の記録領域Area2に記録する(ステップS903)。従って、キーフレームは、非算術符号化信号naStr10として第3の記録領域Area3に格納されるが、算術符号化信号aStr5として第2の記録領域Area2には格納されない。よって、例えば第2及び第3の記録領域Area2、Area3がHDD等の非可搬の記録媒体Disc内の領域である場合には、このHDDの記録領域を効率的に利用できる。

0125

以上の処理を行った後、次の非算術符号化信号naStr9についても、順次同様の処理を繰り返し行っていく。

0126

以上の格納選択フローに従った処理を行うことにより、符号化時点で特殊再生を容易にするためのキーフレームの符号化信号を、非算術符号化状態で格納する。

0127

以上のように、非算術符号化信号の符号化ストリームと算術符号化信号の符号化ストリームとを混成することにより、滑らかな特殊再生を実現することが可能となる。

0128

但し、本実施形態に示しているように、算術符号化信号を非算術符号化信号として格納する方法を用いた場合、本来のH.264の規格としては規格外のストリームを生成していることとなる。そこで、大容量蓄積デバイスDiscに可搬媒体を用いる場合には、例えば他社製品などでの互換再生が必要となるため、規格内のストリームを生成する必要がある。

0129

以上に鑑み、図9判定処理を追加し、本実施形態を実現する記録時の中間ストリーム格納選択フローの変形例として、図10に示す。

0130

先ず、バッファ4Buf4に蓄えられている符号化信号の中の対象となる非算術符号化信号naStr9が、Iピクチャ若しくはPピクチャなどのキーフレームであるかどうかを判断する(ステップS1001)。更に、もし、非算術符号化信号naStr9が特殊再生などで有効利用できるキーフレームである場合に、大容量蓄積デバイスDiscがHDDなどの非可搬媒体であるかどうかを判断する(ステップS1002)。ステップS1002において非可搬媒体であると判定された場合は、第3の記録制御手段Rec3により非算術符号化信号naStr10を出力し、大容量蓄積デバイスDiscの第3の記録領域Area3に格納する(ステップS1003)。一方、ステップS1001の判断結果でキーフレームと判断されなかった場合には、第2種可変長符号化を行い、第2の記録領域Area2に記録する(ステップS1004)。また、ステップS1002の判断結果で可搬媒体であると判断された場合には、前記ステップS1003での可搬媒体へのキーフレームの格納をせず、前記ステップS1004に進む。

0131

(実施形態3)
本実施形態では、DVDなどの可搬媒体からHDDなどの非可搬媒体へのコピー(複製)動作若しくはムーブ(移動)動作と、HDDなどの非可搬媒体からDVDなどの可搬媒体へのコピー動作若しくはムーブ動作とについて説明する。

0132

<可搬媒体→非可搬媒体>
図11は、DVDからHDDへのトランスコーダ(動画像符号化復号化装置)の構成を示している。

0133

同図において、図2若しくは図7と同一符号のものは同一のものを示し、その説明を省略する。図11の構成では、図2若しくは図7から必要なブロックのみを抜き出して接続(tran1)しており、ストリームバッファStrBufに関しては、その接続を省略している。また、図11において、大容量蓄積デバイスDiscとしては、入力ストリーム領域InStrAreaを含む転送元のDVDdvdと、第2の記録領域Area2及び第3の記録領域Area3を含む転送先のHDDhddとの2つを接続している。

0134

以下、図11の信号の流れを説明する。先ず、DVDdvdに含まれる入力ストリーム領域InStrAreaから算術符号信号20aStr20を読み出す。算術符号信号20aStr20がキーフレームの場合は、第1種可変長復号化手段vld1に入力し、非算術符号化信号20naStr20に変換し出力する。更に、非算術符号化信号20naStr20を第4の記録制御手段Rec4に入力し、第4の記録制御手段Rec4からは非算術符号化信号21naStr21として出力し、HDDhddに含まれる第4の記録領域Area4に格納する。一方、算術符号信号20aStr20がキーフレームでない場合は、第5の記録制御手段Rec5がそのままのストリーム形式で算術符号化信号21aStr21を出力し、同じくHDDhddに含まれる第5の記録領域Area5に記録する。

0135

以上に示すような流れで信号処理を行うことにより、他社互換はとれるものの滑らかな特殊再生を実現できない通常のストリームを含むDVDdvdなどの可搬媒体から、HDDhddなどの非可搬媒体に滑らかな特殊再生を実現可能な加工ストリームとしてコピー若しくはムーブを実現することが可能となる。

0136

尚、算術符号化信号20aStr20は、DVDdvdなどの記録媒体からの読み出し信号として説明したが、ディジタル放送を受信したディジタルストリームデータであっても良い。

0137

<非可搬媒体→可搬媒体>
図12は、HDDからDVDへのトランスコーダ構成図を示している。

0138

同図において、図2若しくは図7と同一符号のものは同一のものを示し、その説明を省略する。図12の構成では、図2若しくは図7から必要なブロックのみを抜き出して接続(tran2)しており、ストリームバッファStrBufに関しては、その接続を省略している。また、図12において、大容量蓄積デバイスDiscとしては、入力ストリーム領域InStrArea及び第1の記録領域Area1を含む転送元のHDDhddと、第2の記録領域Area2を含む転送先のDVDdvdの2つを接続している。

0139

以下、図12の信号の流れを説明する。先ず、HDDhddに含まれる入力ストリーム領域InStrAreaからキーフレーム以外のストリームを含む算術符号信号30aStr30を読み出すと共に、キーフレームを算術復号化処理した第1種ストリームデータを記録する第1の記録領域Area1から非算術符号化信号30naStr30を読み出す。非算術符号化信号30naStr30を第2種可変長復号化手段vld2に入力し、第2種可変長復号化手段vld2から算術符号化信号31aStr31を出力する。

0140

次に、算術ストリーム選択器aStrSelに、算術符号化信号30aStr30と、算術符号化信号31aStr31とを入力し、算術ストリーム選択器aStrSelにおいて、キーフレームの場合は算術符号化信号30aStr30を選択し、キーフレームでない場合は算術符号化信号31aStr31を選択し、算術復号化信号aStr32として出力する。

0141

最後に、第6の記録制御手段Rec6は、算術符号化信号33aStr33を出力し、第6の記録領域Area6に正式な規格にとなったストリーム形式で格納する。

0142

以上に示すような流れで信号処理を行うことにより、特殊再生が実現可能なストリームを含むHDDhddの加工ストリームから、滑らかな特殊再生を実現できないが他社互換が可能な通常のストリームとしてコピー又はムーブを実現することができる。

0143

(実施形態4)
続いて、前記の画像符号化復号化装置の応用例を説明する。

0144

図13は、H.264レコーダを実現するAV処理部のブロック図である。同図において、exAVLSIは、ディジタル圧縮された音声及び画像を再生するDVDレコーダハードディスクレコーダなどのAV処理部を示している。

0145

exStrは音声と画像のストリームデータを、exVSigは画像データを、exASigは音声データを各々表している。exBusはストリームデータや音声、画像の復号データなどのデータを転送するバスを示している。exStrIFは前述のストリームデータexStrを入力するストリーム入出力部を表しており、一方はバスexBusに接続しており、他方は大容量蓄積デバイスexRecに接続している。exVCodecは画像の符号化及び復号化を行う画像符号化復号化部であり、バスexBusに接続している。exMemはストリームデータや符号化データや復号化データなどのデータを格納するメモリであり、バスexBusに接続している。

0146

ここで、画像符号化復号化部exVCodecは、図1図7に示している符号化復号化装置などを含むものである。ストリームデータexStrは、図1図7に示している符号化信号Str、IntStrを含んでおり、更に、メモリexMemは、同じく図1図7に示しているマルチフレームメモリFrmMemやストリームバッファStrBufが含まれる。また、大容量蓄積デバイスDiscは、図13の大容量蓄積デバイスexRecの中に含まれる。

0147

また、同図において、exVProcは画像信号に対してプレ処理及びポスト処理を行う画像処理部を表しており、バスexBusに接続している。exVideoIFは画像処理部exVProcで処理若しくは画像処理部exVProcで処理をせずに通過だけさせた画像データ信号を外部に画像信号exVSigとして出力する、又は、外部からの画像信号exVSigを取り込むための画像入出力部を示している。

0148

更に、exAProcは音声信号に対してプレ処理及びポスト処理を行う音声処理部を表しており、バスexBusに接続している。exAudioIFは音声処理部exAProcで処理若しくは音声処理部exAProcで処理をせずに通過だけさせた音声データ信号を外部に音声信号exASigとして出力する、又は、外部からの音声信号exASigを取り込むための音声入出力部を示している。exAVCtrはAV処理部exAVLSIの全体制御を行うAV制御部を示している。

0149

符号化処理においては、最初に、画像信号exVSigが画像入出力部exVideoIFに入力され、音声信号exASigが音声入出力部exAudioIFに入力される。

0150

先ず、記録処理では、画像入出力部exVideoIFに入力された画像信号exVSigを用いて、画像処理部exVProcにおいてフィルタ処理や符号化のための特徴量抽出などを行い、メモリ入出力部exMemIFを介してメモリMemに原画像として格納する。次に、再びメモリ入出力部exMemIFを介してメモリMemから画像符号化復号化部exVCodecに原画像データ及び参照画像データの転送を行い、逆に、画像符号化復号化部exVCodecからは、メモリexMemに、画像符号化復号化部exVCodecで符号化した画像ストリームデータ及び局所復元データの転送を行う。

0151

一方、音声入出力部exAudioIFに入力された音声信号exASigを用いて、音声処理部exAProcにおいてフィルタ処理や符号化のための特徴量抽出などを行い、メモリ入出力部exMemIFを介してメモリexMemに原音声データとして格納する。次に、再びメモリ入出力部exMemIFを介してメモリexMemから原音声データを取り出して符号化し、再度音声ストリームデータとしてメモリexMemに格納する。

0152

符号化処理の最後に、画像ストリーム音声ストリーム及びその他のストリーム情報を1つのストリームデータとして処理し、ストリーム入出力部exStrIFを介してストリームデータexStrを出力し、光ディスク(DVD)やハードディスク(HDD)などの大容量蓄積デバイスexRecに書き込む処理を行う。

0153

次に、復号化処理では、以下のような動作を行う。先ず、光ディスクやハードディスクや半導体メモリなどの大容量蓄積デバイスexRecから、記録処理で蓄積しているデータの読み出しを行うことにより、音声及び画像のストリーム信号exStrが、ストリーム入出力部exStrIFを介して入力される。そのストリーム信号exStrのうち、画像ストリームは画像符号化復号化部exVCodecに入力され、音声ストリームは音声符号化復号化部exACodecに入力される。

0154

画像符号化復号化部exVCodecによって復号化された画像データは、メモリ入出力部exMemIFを介して一時メモリMemに格納される。メモリMemに格納されたデータは、画像処理部exVProcでノイズ除去などの加工処理が行われる。また、メモリMemに格納された画像データは、再び画像符号化復号化部exVCodecにおいて、画面間動き補償予測の参照ピクチャとして使用されることもある。

0155

また、音声符号化復号化部exACodecによって復号化された音声データは、メモリ入出力部exMemIFを介して一時メモリMemに格納される。メモリMemに格納されたデータは、音声処理部exAProcで音響などの加工処理が行われる。

0156

最後に、音声と画像の時間的な同期をとりながら、画像処理部exVProcで加工処理したデータは、画像入出力部exVideoIFを介して画像信号exVSigとして出力されて、テレビ画面などに表示され、音声処理部exAProcで加工処理したデータは、音声入出力部exAudioIFを介して音声信号exASigとして出力されて、スピーカなどから出力される。

0157

(実施形態5)
更に、前記各実施形態で示した動画像復号化装置、動画像符号化装置、及び動画像符号化復号化装置をソフトウェアにより実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、前記各実施形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

0158

図14は、前記実施形態1〜実施形態4の動画像復号化装置、動画像符号化装置、及び動画像符号化復号化装置を実現するプログラムを格納したフレキシブルディスクを用いて、コンピュータシステムにより実施する場合の説明図である。

0159

図14(b)は、フレキシブルディスクの正面からみた外観断面構造、及びフレキシブルディスクを示し、図14(a)は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクFDケースF内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックTrが形成され、各トラックは角度方向に16のセクタSeに分割されている。従って、前記プログラムを格納したフレキシブルディスクでは、前記フレキシブルディスクFD上に割り当てられた領域に、前記プログラムとしての動き補償装置、この動き補償装置を用いた画面間予測符号化装置、又は画面間予測復号化装置が記録されている。

0160

また、図14(c)は、フレキシブルディスクFDに前記プログラムの記録再生を行うための構成を示す。前記プログラムをフレキシブルディスクFDに記録する場合は、コンピュータシステムCsから前記プログラムとしての動き補償装置、この動き補償装置を用いた画面間予測符号化装置、又は画面間予測復号化装置をフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより、前記動き補償装置、この動き補償装置を用いた画面間予測符号化装置、又は画面間予測復号化装置をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブにより、プログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。

0161

尚、前記説明では、記録媒体としてフレキシブルディスクを用いた場合を例示したが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ICカードROMカセット等、プログラムを記録できるものであれば同様に実施することができる。

0162

また、以上の実施形態では、可変長符号化処理若しくは可変長復号化処理の中で生成するキーフレームの中間ストリームを残し、そこからのデータも用いて可変長復号を行う処理を示したが、中間ストリームとして残すストリームデータは、異なる可変長符号化ツールを用いたストリームデータで対応することも可能である。例えば、H.264規格では、CABACとは別に算術符号を含まないCAVLCの可変長符号化ツールも規定されている。そこで、実施形態1では、第1種可変長復号化手段vld1と第2種可変長復号化手段vld2とを用いて可変長復号化処理を行うことを示しているが、第1種可変長復号化手段vld1で生成する非算術符号化信号1naStr1はCAVLCを用いたストリーム形式であって、第2種可変長復号化手段vld2がCAVLCを復号するように構成することも可能である。また、同様に、中間ストリームは、MPEG−2などの別規格で規定されているストリームや逐次的な処理が必要とならない独自のストリームを用いても良い。

0163

更に、図1図2図7図8、及び図11図12などのブロック図の各機能ブロックは、典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されても良いし、一部又は全てを含むように1チップ化されても良い(例えば同図の大容量蓄積デバイスDiscの一部又は全てが1チップ化されていても良い)が、大容量蓄積デバイスDiscの各記録領域ギガバイト単位の莫大なデータを蓄積する必要があるため、一般的には、ハードディスクやDVDやメモリカードなどで構成され、同様に、同図のストリームバッファStrBufに関しても大量のデータを保持する必要があるため、一般的にはLSIに外付けする大容量のSDRAMなどで実装するが、技術の向上により1パッケージ化や1チップ化されることも有り得る。

0164

また、ここではLSIとしたが、集積度の違いにより、IC、システムLSIスーパーLSI、ウルトラLSIと呼称されることもある。また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセサで実現しても良い。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブルプロセッサーを利用しても良い。更には、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積回路化を行っても良い。バイオ技術の適応等が可能性としてありえる。

0165

以上説明したように、本発明によれば、算術符号を含んだストリーム形式であっても、算術符号が不要な変換ストリームを生成保持することによって、算術符号を用いた可変長符号を含まない従来の動画像信号についての特殊再生と同様に、滑らかな特殊再生を実現できるので、例えば、H.264規格を用いたDVDレコーダやハードディスクレコーダにおける特殊再生を実現する装置として有効である。

図面の簡単な説明

0166

本発明の第1の実施形態を示す動画像復号化装置のブロック図である。
同動画像復号化装置の可変長復号化ブロックの詳細を示す構成図である。
同動画像復号化装置における画像再生時の中間ストリーム格納選択フローチャートを示す図である。
同動画像復号化装置における再生ストリーム選択フローチャートを示す図である。
(a)は同動画像復号化装置での通常再生の処理タイミングを示す模式図、同図(b)は3倍速再生の状態を表す模式図、同図(c)は15倍速再生の状態を表す模式図である。
(a)は同動画像復号化装置での逆再生における第1種可変長復号化処理のタイミングを示す図、同図(b)は同逆再生における第2種可変長復号化処理のタイミングを示す図である。
本発明の第2の実施形態を示す動画像符号化復号化装置のブロック図である。
同動画像符号化復号化装置の可変長符号化復号化ブロックの詳細を示す構成図である。
同動画像復号化装置における画像記録時の中間ストリーム格納選択フローチャートを示す図である。
同動画像復号化装置における画像記録時の中間ストリーム格納選択フローチャートの変形例を示す図である。
DVDからHDDへのトランスコーダの構成を示す図である。
HDDからDVDへのトランスコーダの構成を示す図である。
H.264レコーダを実現するAV処理部のブロック図である。
本発明をコンピュータシステムにより実施する全体概略構成図である。
従来の動画像符号化装置の構成を示すブロック図である。
従来の動画像復号化装置の構成を示すブロック図である。
(a)は従来の動画像復号化装置での通常再生の復号処理タイミングを示す模式図、同図(b)は同3倍速再生の復号処理タイミングを示す模式図、同図(c)は同15倍速再生の復号処理タイミングを示す模式図である。
(a)は従来の動画像復号化装置での動画像信号の逆再生の第1の復号化処理を示す模式図、同図(b)はその次の第2の復号化処理を示す模式図、同図(c)は第3の復号化処理を示す模式図、同図(d)は第4の復号化処理を示す模式図、同図(e)は第5の復号化処理を示す模式図である。
(a)は従来の動画像復号化装置での通常再生の復号タイミングを示す模式図、同図(b)は同3倍速再生を目指した処理タイミングを示す模式図、同図(c)は同15倍速再生を目指した処理タイミングを示す模式図である。
(a)は従来の動画像復号化装置において算術符号を含むストリームの逆再生を行う場合の処理タイミングを示す図、同図(b)は同算術符号を含む第1種可変長復号処理のタイミングを示す図である。

符号の説明

0167

Dec復号化器
vld1 第1種可変長復号化手段
vld2 第2種可変長復号化手段
Rec1 第1の記録制御手段
Rec2 第2の記録制御手段
Rec3 第3の記録制御手段
Rec4 第4の記録制御手段
Rec5 第5の記録制御手段
Rec6 第6の記録制御手段
Disc大容量蓄積デバイス
dvd DVD(可搬な記録メディア)
hdd HDD(非可搬な記録メディア)
InStrArea入力ストリーム領域
Area1 第1の記録領域
StrBufストリームバッファ
Buf1バッファ1
Buf2 バッファ2
Buf3 バッファ3
aStr1算術符号化信号1
aStr2 算術符号化信号2
naStr1 非算術符号化信号1
naStr2 非算術信号2
naStr3 非算術信号3
naStr4 非算術符号化信号4
naStrSel復号ストリーム選択器(選択手段)
naStr5 非算術符号化信号5
naStr6 非算術符号化信号6
naStr7 非算術符号化信号7
Syno 出力データ

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ