図面 (/)

技術 ディジタルビデオ記録物を編集するための方法及び装置並びに、そのような方法で作成された記録物

出願人 コーニンクレッカフィリップスエヌヴェ
発明者 ケリー,デクランピーエイデンス,ピータービーモリス,アクテイヴィオスジェイ
出願日 2001年3月23日 (20年2ヶ月経過) 出願番号 2001-573481
公開日 2003年10月7日 (17年8ヶ月経過) 公開番号 2003-529991
状態 特許登録済
技術分野 記録担体の情報管理、編集 TV信号の記録 記録のためのテレビジョン信号処理 記録に関連するカラーTV信号処理
主要キーワード 民生装置 出口フレーム 主バッファ 口フレーム 書き込み増幅器 フィールドレベル 入り口点 不連続状態
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2003年10月7日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (10)

課題・解決手段

通常は放送目的のトランスポートストリームフォーマットで記録された第1と第2のストリーム(SEQ1とSEQ2)から編集されたMPEオーディオビデオストリームを発生する種々の方法が開示される。1つの実施例によれば、編集点で、両方の元のストリームをからデータを記録するブリッジシーケンスが発生される。ブリッジシーケンスと第2のシーケンスの間の接続をわたって連続した復号を可能とするために、連続性カウンタの値を調整するために、エレメンタリーストリーム内にパディングパケット(9とA、B)が挿入される。他の実施例では、シームレス再生が要求されず、ブリッジシーケンスが省略され、そして、MPEG−2仕様に従った編集されたストリームを発生するために、種々の処理が、”進行中に”実行される。このために、出口と入口店が特定の形式の符号化されたピクチャに制限され、そして、時間基準の間のオフセットバッファオーバーフローを避けるために調整される。

概要

背景

概要

通常は放送目的のトランスポートストリームフォーマットで記録された第1と第2のストリーム(SEQ1とSEQ2)から編集されたMPEオーディオビデオストリームを発生する種々の方法が開示される。1つの実施例によれば、編集点で、両方の元のストリームをからデータを記録するブリッジシーケンスが発生される。ブリッジシーケンスと第2のシーケンスの間の接続をわたって連続した復号を可能とするために、連続性カウンタの値を調整するために、エレメンタリーストリーム内にパディングパケット(9とA、B)が挿入される。他の実施例では、シームレス再生が要求されず、ブリッジシーケンスが省略され、そして、MPEG−2仕様に従った編集されたストリームを発生するために、種々の処理が、”進行中に”実行される。このために、出口と入口店が特定の形式の符号化されたピクチャに制限され、そして、時間基準の間のオフセットバッファオーバーフローを避けるために調整される。

目的

効果

実績

技術文献被引用数
2件
牽制数
4件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

予め定められた復号器により課される制約違反することなく、第1のシーケンス内の第1の編集点が、第2のシーケンス内の第2の編集点と連結されるように、蓄積装置からデータのシーケンスを読出し且つそれを編集するように動作できる手段を有する装置であって、蓄積されたシーケンスの各々は、複数のトランスポートパケットの少なくとも1つの系列を有し、所定の系列のトランスポートパケットは、それぞれの連続性カウンタ値を有し、そのカウンタ値の各々は先行するものと所定の連続性規則により関連し、この装置は、前記制約と連続性規則に従いながら、前記第1と第2の編集点を連結するトランスポートパケットの編集されたシーケンスを定義するために、前記編集点の連結から生じる連続性カウンタ値の不連続の大きさを計算する手段と、各々が自分自身の連続性カウンタ値を有する対応する番号の追加のトランスポートパケットを発生する手段とを有する装置。

請求項2

少なくとも前記第1のシーケンスは、少なくとも1つのパケット化されたエレメンタリーストリームを担い、そのパケットは、前記トランスポートパケットを構成するために副分割されている請求項1に記載の装置。

請求項3

装置は、ペイロードパケット境界を含むトランスポートパケットを識別し、且つ、識別されたパケットの前に挿入されたときに、前記連続性規則に従うために、前記追加のパケットを発生するようになされる、請求項2に記載の装置。

請求項4

ディジタルインターフェースを介して、前記追加のパケットを含む、トランスポートパケットの前記編集されたシーケンスを出力手段を有する、請求項1乃至3のうち何れか一項に記載の装置。

請求項5

データの第1と第2のシーケンスは、各々が、多重された複数のパケット化されたエレメンタリーストリームを有し、各エレメンタリーストリームは、トランスポートパケットのそれ自身のシーケンスを有する、請求項1乃至4のうち何れか一項に記載の装置。

請求項6

連続性規則は各エレメンタリーストリームに対して独立に動作し、装置は、個々にそのストリームに対して計算された不連続性の大きさに従って、各エレメンタリーストリームに対する追加のトランスポートパケットを発生する様になされた、請求項5記載の装置。

請求項7

再生に先だって、編集を定義する追加のデータを発生し且つ蓄積する手段を有する、請求項1乃至6のうち何れか一項に記載の装置。

請求項8

前記第1と第2のシーケンスは、シーケンスの他のフレームを参照せずにイントラ符号化された幾つかのフレームと、シーケンスの少なくとも1つの更なるフレーム又はフィールドを参照してインター符号化されたいくつかのフレームとを有するフレームに基づくデータを有する、請求項1乃至7のうち何れか一項に記載の装置。

請求項9

蓄積された第1と第2のフレームシーケンスからのフレームを選択的な統合と、それぞれの編集点により示された第1と第2のシーケンスからのフレームの符号化形式イントラ又はインター)により決定されるようにブリッジシーケンス内で1つ又はそれ以上のフレームの選択的な再符号化により、前記編集点付近で第1と第2のシーケンスを連結するトランスポートパケットのブリッジシーケンスを形成するようになされたブリッジ発生手段を有する、請求項8に記載の装置。

請求項10

前記不連続性規則は、特定のクラスのフレームヘッダがすぐ後に続く位置で、編集されたシーケンスの不連続点を許し、且つ、装置は、蓄積された第2のシーケンスを入力する前に不連続性規則に従うことを保証するために、前記追加のパケットを挿入しながら、ブリッジシーケンス内にそのような不連続点を含むようになされた、請求項9に記載の装置。

請求項11

前記第1と第2のシーケンス及びプレイリスト情報と共に、記録担体にブリッジシーケンスを蓄積する手段を有する、請求項1乃至10のうち何れか一項に記載の装置。

請求項12

予め定められた復号器により課される制約に違反することなく、第1のシーケンス内の第1の編集点が、第2のシーケンス内の第2の編集点と連結されるように、蓄積装置からデータのシーケンスを読出し且つそれを編集する方法であって、蓄積されたシーケンスの各々は、複数のトランスポートパケットの少なくとも1つの系列を有し、所定の系列のトランスポートパケットは、それぞれの連続性カウンタ値を有し、そのカウンタ値の各々は先行するものと所定の連続性規則により関連し、この方法は、前記制約と連続性規則に従いながら、前記第1と第2の編集点を連結するトランスポートパケットの編集されたシーケンスを定義するために、前記編集点の連結から生じる連続性カウンタ値の不連続の大きさを計算し、且つ、各々が自分自身の連続性カウンタ値を有する対応する番号の追加のトランスポートパケットを発生する方法。

請求項13

少なくとも前記第1のシーケンスは、少なくとも1つのパケット化されたエレメンタリーストリームを担い、そのパケットは、前記トランスポートパケットを構成するために副分割されている、請求項12に記載の、蓄積装置からデータのシーケンスを読出し且つそれを編集する方法。

請求項14

装置は、ペイロードがパケット境界を含むトランスポートパケットを識別し、且つ、識別されたパケットの前に挿入されたときに前記連続性規則に従うために、前記追加のパケットを発生するようになされる、請求項13に記載の、蓄積装置からデータのシーケンスを読出し且つそれを編集する方法。

請求項15

データの第1と第2のシーケンスは、各々が、多重された複数のパケット化されたエレメンタリーストリームを有し、各エレメンタリーストリームは、トランスポートパケットのそれ自身のシーケンスを有する、請求項12乃至14のうち何れか一項に記載の蓄積装置からデータのシーケンスを読出し且つそれを編集する方法。

請求項16

連続性規則は各エレメンタリーストリームに対して独立に動作し、装置は、個々にそのストリームに対して計算された不連続性の大きさに従って、各エレメンタリーストリームに対する追加のトランスポートパケットを発生する様になされた、請求項15に記載の、蓄積装置からデータのシーケンスを読出し且つそれを編集する方法。

請求項17

再生に先だって、編集を定義する追加のデータを発生し且つ蓄積する手段を有する、請求項12乃至16のうち何れか一項に記載の蓄積装置からデータのシーケンスを読出し且つそれを編集する方法。

請求項18

前記第1と第2のシーケンスは、シーケンスの他のフレームを参照せずにイントラ符号化された幾つかのフレームと、シーケンスの少なくとも1つの更なるフレーム又はフィールドを参照してインター符号化されたいくつかのフレームとを有するフレームに基づくデータを有する、請求項12乃至17のうち何れか一項に記載の蓄積装置からデータのシーケンスを読出し且つそれを編集する方法。

請求項19

蓄積された第1と第2のフレームシーケンスからのフレームを選択的な統合と、それぞれの編集点により示された第1と第2のシーケンスからのフレームの符号化形式(イントラ又はインター)により決定されるようにブリッジシーケンス内で1つ又はそれ以上のフレームの選択的な再符号化により、前記編集点付近で第1と第2のシーケンスを連結するトランスポートパケットのブリッジシーケンスを形成する、請求項18に記載の、蓄積装置からデータのシーケンスを読出し且つそれを編集する方法。

請求項20

前記不連続性規則は、特定のクラスのフレームヘッダがすぐ後に続く位置で、編集されたシーケンスの不連続点を許し、且つ、装置は、蓄積された第2のシーケンスを入力する前に不連続性規則に従うことを保証するために、前記追加のパケットを挿入しながら、ブリッジシーケンス内にそのような不連続点を含むようになされた、請求項19に記載の、蓄積装置からデータのシーケンスを読出し且つそれを編集する方法。

請求項21

前記第1と第2のシーケンス及びプレイリスト情報と共に、記録担体にブリッジシーケンスを蓄積する手段を有する、請求項12乃至20のうち何れか一項に記載の蓄積装置からデータのシーケンスを読出し且つそれを編集する方法。

請求項22

1つ又はそれ以上のブリッジシーケンスと共に、第1と第2のフレームデータシーケンスを担い、それにより第1のフレームシーケンス内の第1の編集点が、第2のフレームシーケンス内の第2の編集点と連結され、前記ブリッジシーケンスは、請求項12乃至21のうちいずれか一項に記載の方法により発生される記録物

請求項23

編集データは、望ましく編集されたシーケンスを出力するために、第1のシーケンスの第1の編集点と、第2のシーケンスの第2の編集点を連結する、蓄積装置から第1と第2のシーケンスのデータを読み出すために、蓄積された編集データに応答して動作可能な再生手段を有するデータ再生装置であって、前記第1の編集点での前記第1のストリームを切り且つ前記第2の編集点で前記第2のストリームに入ることが、前記復号器仕様内で、1つ又はそれ以上の制約を潜在的に破るように、前記第1と第2のシーケンスは、各々が、予め定められた復号器仕様に従った形式で、符号化され且つ多重された、少なくとも2つの多重されたエレメンタリーストリームを有し、前記再生手段は、出力として、前記編集されたシーケンスが前記復号器仕様に従うように、前記編集点の付近で前記第1と第2のシーケンスから選択的にデータを再生することにより、前記エレメンタリーストリームの記録又は再多重を行うことなしに、実質的に動作する装置。

請求項24

第1のシーケンス内の少なくとも1つの前記エレメンタリーストリームは、幾つかのフレーム(以後”I−フレーム”と呼ぶ)がシーケンスの他のフレームを参照することなしにイントラ符号化され、幾つか(以後”P−フレーム”と呼ぶ)がシーケンスの1つの更なるフレームを参照してそれぞれ符号化され、且つ残り(以後”B−フレーム”と呼ぶ)がそれぞれがシーケンスの2つ又はそれ以上の更なるフレームを参照して符号化されたフレームに基づくデータを有し、前記再生手段は、前記第1の編集点の位置への参照と前記第1の編集点により示された付近のフレームの符号化形式への参照により、出口点を識別し、且つ、前記出口点の後の第1のシーケンスのフレームの再生を抑圧する手段を有する、請求項23に記載の装置。

請求項25

前記出口点は、表示順序でなくストリーム順序に関して、第1の編集点より前の且つ、I−又は、P−フレームの直前の、データストリーム内のフレーム境界として選択される、請求項24に記載の装置。

請求項26

前記出口点は、ストリームデータと別に蓄積され特徴点情報を使用して識別される、請求項24或は25に記載の装置。

請求項27

前記少なくとも1つのエレメンタリーストリームはビデオフレームデータを有し、且つ、前記第1と第2のシーケンスの各々の中の更なるエレメンタリーストリームはオーディオフレームデータを有し、前記再生手段は、エレメンタリーストリーム内の表示時間情報を、前記出口点でのビデオフレームの表示時間よりも後の表示時間を有するオーディオフレームデータの出力を抑圧するために使用するようになされた、請求項24乃至26のうちいずれか一項に記載の装置。

請求項28

第2のシーケンス内の少なくとも1つの前記エレメンタリーストリームは、幾つかのフレーム(以後”I−フレーム”と呼ぶ)がシーケンスの他のフレームを参照することなしにイントラ符号化され、幾つか(以後”P−フレーム”と呼ぶ)がシーケンスの1つの更なるフレームを参照してそれぞれ符号化され、且つ残り(以後”B−フレーム”と呼ぶ)がそれぞれがシーケンスの2つ又はそれ以上の更なるフレームを参照して符号化されたフレームに基づくデータを有し、前記再生手段は、前記第2の編集点の位置への参照と前記第2の編集点により示された付近のフレームの符号化形式への参照により、入口点を識別し、且つ、前記入口点の前の第2のシーケンスのフレームの再生を抑圧する手段を有する、請求項23乃至27のうち何れか一項に記載の装置。

請求項29

前記入力点は、ストリームデータと別に蓄積され特徴点情報を使用して識別される、請求項24或は28に記載の装置。

請求項30

前記少なくとも1つのエレメンタリーストリームはビデオフレームデータを有し、且つ、前記第1と第2のシーケンスの各々の中の更なるエレメンタリーストリームはオーディオフレームデータを有し、前記再生手段は、エレメンタリーストリーム内の表示時間情報を、前記入口点でのビデオフレームの表示時間よりも前の表示時間を有するオーディオフレームデータの再生を抑圧するために使用するようになされた、請求項24乃至29のうちいずれか一項に記載の装置。

請求項31

前記オーディオフレームの前記抑圧は、多重から符号を削除するよりも、オーディオデータのパケット内のコードを変更することにより実行される請求項27に記載の装置。

請求項32

オーディオデータは、第1と第2のシーケンスからのオーディオデータの重なりよりも、有効なオーディオデータ内のギャップを促進するために、抑圧される、請求項31に記載の装置。

請求項33

符号化された表示時間値フレーム更新レートに従って、第1と第2のシーケンスの時間基準の間のオフセットを計算する手段を有する、請求項23乃至32のうち何れか一項に記載の装置。

請求項34

前記再生手段は、元々の形式内で、第1のシーケンスの出口点と、第2のシーケンスの入口点との間の相対バッファ充填度を計算するようになされ、且つ、前記復号器仕様のバッファ制約に従って、バッファオーバーフローを防ぐために必要な場合には、入口を第2のシーケンス内に遅延させる、請求項33に記載の装置。

請求項35

前記再生手段は、相対的なバッファ充填度両立性基準を満たすまで、時間基準の間の計算されたオフセットを反復して増加することにより、前記遅延を実行するようになされ、そして、編集されたシーケンスを発生するために、増加されたオフセットを使用する、請求項34に記載の装置。

請求項36

前記再生手段は、元々の形式で、第1のシーケンスの出口点と、第2のシーケンスの入口点との間の相対バッファ充填度を、反復して計算し、相対的なバッファの充填度が両立性基準を満たすまで、数なくとも1つの入口点と複数の出口点を変更し、且つそして、編集されたシーケンスを発生するために、変更された入り口点と出口点を使用するようになされた、請求項33乃至35のうち何れか一項に記載の装置。

請求項37

前記再生手段は、バッファオーバーフローを避けるためにロード時間を重ねる時点を識別し、且つ前記計算が第1のシーケンスのデータのローディングの完了前に第2のシーケンスのデータに対するローディング時間を暗示する場合には、前記オフセットを変更するために、符号化された復号タイムスタンプと時間基準の間の計算されたオフセットを使用して、第1と第2のシーケンスのデータに対するローディング時間を計算するように更にさなれた、請求項33乃至36のうち何れか一項に記載の装置。

請求項38

蓄積されたデータを再生する方法であって、望ましく編集されたシーケンスを出力するために、第1のシーケンス内の第1の編集点を第2のシーケンス内の第2の編集点に連結する、予め蓄積された編集データに従って蓄積された第1と第2のシーケンスのデータが蓄積装置から読み出され且つ再生され、前記第1の編集点での前記第1のストリームを切り且つ前記第2の編集点で前記第2のストリームに入ることが、前記復号器仕様内で、1つ又はそれ以上の制約を一般的に破るように、前記第1と第2のシーケンスは、各々が、予め定められた復号器仕様に従った形式で、符号化され且つ多重された、少なくとも2つの多重されたエレメンタリーストリームを有し、前記再生手段は、出力として、前記編集されたシーケンスが前記復号器仕様に従うように、前記編集点の付近で前記第1と第2のシーケンスから選択的にデータを再生することにより、前記エレメンタリーストリームの記録又は再多重を行うことなしに、実質的に動作する、方法。

請求項39

請求項38に記載の方法で再生された、編集されたデータシーケンスを再生する信号。

0001

本発明は、オーディオビデオデータの編集と編集されたオーディオ/ビデオデータを後に再生する方法及び装置及び、そのような方法と装置によりなされた編集された記録物に関する。本発明は、例えば、MPEG−2仕様ITU_T勧告、H.222.0|ISO/IEC13818−1)に従ったトランスポートストリームフォーマットの編集されたオーディオ/ビデオデータストリームの滑らかな編集のためのアプリケーションに関連する。しかしながら本発明は、そのような仕様に従うことは必須ではない。

0002

上述のMPEG−2仕様は、マルチメディア多重、同期及び、(オーディオを含む)ディジタルビデオプログラム伝送、記録及び再生で使用される時間基準回復に関する一般的な方法を規定する。この仕様は、各エレメンタリビットストリーム(ビデオ、オーディオ、他のデータ)は、パケット化エレメンタリーストリーム(PES)に分割され、そして、2つの特徴的なストリーム形式のいずれかに多重される、パケットに基づくマルチメディア多重を提供する。プログラムストリーム(PS)は、可変長PESパケットの多重であり、ディスク上の記録のような、エラーフリーの環境で使用されるように設計されている。トランスポートストリーム(TS)は、188バイトの固定長のパケットよりなり、1つのプログラムの種々のPESパケットの多重と同様に、複数のプログラムを多重する機能を有し、放送のようなエラーの起こりがちな環境で使用するように設計されている。一方、プログラムストリームフォーマットのPESパケットは、全体が伝送され且つ中断されないが、TS内では、ビデオ及びオーディオに対するPESパケットは、副分割され、そして小さなTSパケット内で互いに多重される。マルチメディア同期と時間基準の回復は、システムタイムクロックプレゼンテーションデコーディングのためのタイムスタンプにより達成される。

0003

ビデオプログラム配布するのに知られた1つのシステムは、ディジタルバーサタイルディスク(DVD)である。この標準は、光ディスク上に動画と関連する素材蓄積するために特定の形式のMPEG−2プログラムストリームを定義する。DVDは、現在は前もって記録された素材の配布を提供するが、現在使用されている一般的なビデオカセットレコーダアナログA/V素材を記録することを可能としているように、放送及び仮定で記録された素材からディジタルA/Vデータを記録できる、商用及び家庭用のオーディオ及び/又はビデオ(A/V)装置の要求が明らかである。ディジタルビデオ記録システムに対して期待される1つの改善は、A/Vデータのシームレス編集と滑らかな再生を可能とすることである。アプリケーションは、再生の他分岐点がが可能である、商用又は家庭用のビデオ編集と、インターラクティブビデオを含む。現代のディスク蓄積媒体の特に優位な点は、テープ媒体の”線形”の性質と比べて、その”ランダムアクセス”の性質である。従って、編集されたプログラムは、元のストリームコピーせずに蓄積しかつ変更することができる。原理的には、再生シーケンスを定義する限定的な追加情報のみが蓄積されることを必要とする。これは、そして、再生時にディスクの異なる部分へのアクセスを制御し、編集されたプログラムを合成するのに使用される。編集されるプログラムは、ユーザ入力に従って、対話的に決定されうる。

0004

原理的には魅力的であるが、単一の復号器を使用するディジタルビデオストリームの実際の記録と編集は、多くの問題があることを認識している。当業者には既知であるが、オリジナルの記録物は、どのような準拠する復号器でも再生が可能なことを保証するために規定される、多くの異なるそして相互に関連する制約に従って発生され且つ蓄積されねばならない。一般的には、所望の編集点で、1つのオリジナルストリームの真中から他に単純に切り換える場合には、これらの制約に違反するであろう。そのようなストリームを編集する最も直接的なアプローチは、それらのストリームを編集点付近で独立に復号し、そして、所望の編集点でそれらの間を切り替えることである。そのような技術の例はUS5696557及び、EP−A−0923243に開示されている。しかし、これは、実効的には第2の復号器を必要とし、そして、消費者は、この出費を避けることを好む。更なる問題が残る。

0005

1つの例として、ディスクに基づくシステムは、テープと比較するときには、一般的には、元来”ランダムアクセス”であると考えられるが、ディスク上の又は、他の媒体上の異なる蓄積位置の間での切換に関連する”シーク時間”は、必然的に、実時間データの流れを中断し、そして、多くのシークの発生と、復号器への実時間データの不足を防ぐために、実際のシステムでは、ディスク配置規則が課される。欧州特許出願番号EP−A−0983591(PHN16815EP)に従って、そのようにしなければ2つの部分が配置規則に違反しないで接続されないということを保証する、2つのA/V部分を連結するために、”ブリッジシーケンス”が発生されそして、同じディスク上に別々に蓄積される。

0006

編集は、第1のグループオブピクチャ(GOP)と第2のグループオブピクチャの間のフレーム境界で又は、任意のフレーム点で、2つのMPEGストリームを、接続するのが望ましい。しかしながら、MPEG符号化と復号の性質により、フレームバッファ制約の間の時間依存性のような要因により、幾つかの潜在的な問題を発生する。例えば、ビデオ信号は復号可能ではない。これは、MPEG−2は他のビデオフレームを参照してビデオフレームを符号化するということにより、そして、基準フレームが失われると、従属フレームは復号できない。MPEGストリームは、自己完結で他の点の基準として使用される、独立又は、イントラ符号化(I)フレーム;基準としても使用される予測符号化(P)フレーム;過去及び/又は未来の基準フレームからの予測を使用して符号化される双方向予測符号化(B)フレームを有する。

0007

WO−A−00/00981(PHB34262WO)は、2つのストリームからブリッジシーケンスへ、オーディオ及びビデオを再符号化及び再多重するブリッジシーケンスの概念を更に適用する。このブリッジシーケンスは、符号化の準拠を維持しながら、2つのストリームを共に連結し、標準復号器を通して滑らかな再生を伴なう、フレーム精度編集を可能とする。

0008

本発明は、そのような機構を更に改善し且つ適応する。上述の従来技術は、記録は、MPEG−2のプログラムストリームフォーマットに基づいていると仮定する。MPEGトランスポートストリーム(TS)に基づく代わりの家庭用ディジタルビデオ記録フォーマット新しく望まれている。1つのそのような記録フォーマットの特徴は、我々の、発明の名称”ディジタルビデオ記録物の生成と再生のための方法及び装置及び、そのような方法で作成された記録物”の英国特許出願番号0007870.9(PHGB000041)で開示されている。TSフォーマットの記録物の編集と再生は、PSフォーマットで現在ある問題に更に幾つかの問題を提起する。

0009

取り組むべき問題の概要は、正しくない基準フレームを使用して復号することは、視覚的な歪を導くことである。TS内のビデオフレームのリオーダリングは、表示されるべきでない編集されたストリーム内のビデオフレームとなる。オーディオも編集処理により同様に影響を受ける。オーディオ信号はビデオと整列していないので、2つのストリームを接続すると、編集点付近で部分的なオーディオフレームとなり、オーディオの歪となる。結合されたストリームがMPEGバッファモデル要求に従わないときにはバッファ問題が起こり、この結果復号器でデータの損失が発生する。ビデオフレームと共に提示されるオーディオフレームは、一般的には、多重内で対応するビデオの前後1秒までに到着し、多重ストリーム内で整列していないので、オーディオのスキューが発生する。(PCR/PTS/DTS)タイムスタンプに対して使用される時間基準内で不連続が発生する。更に、編集点でTSパケット内の連続性カウンタが不連続となる。

0010

発明者は、2つの異なる形式の編集を提供することを認識する。これらは、(i)ストリームが、シームレスでなく、グループオブピクチャ(GOP)境界で接続される単純な編集そして、(ii)ストリームがフレーム精度で且つシームレスに、GOP境界に関わらず、フレーム精度で接続される複雑な編集である。編集の各形式は、上述の形式の問題を避けるために注意深い処理を必要とする。MPEG仕様は、トランスポートストリーム内で信号が与えられる、シームレス及び非シームレス形式の両方の、”重ね継ぎ点”を提供する。しかし、これらの編集点の使用は、プログラム提供者が、ストリーム内にそのような信号を含めた範囲でのみ可能であり、そして、予め定められた重ね継ぎ点は、ユーザ選択のフレームで、フレーム精度の編集のオプションを扱うことができない。

0011

米国特許US5917988(ソニー株式会社)は、ストリームがグループオブピクチャ(GOP)をまたいで共に接続された時に、欠陥のある画像の出力を防ぐ装置と方法を提案する。提示された機構は、悪い画像よりもむしろ再生時にポーズを与えるように復号するために使用される1つの基準画像を繰返す。この方法は、滑らかな、フレーム精度の編集と再生を発生せず、そして、バッファ不連続又は、多重連続問題を考慮しない。

0012

プロ用のアプリケーションでのストリーム編集に対する他の提案は、EP0926678A2(テクトロニクス)である。フレーム基準は、編集点付近で、編集装置補助メモリを使用してI−ピクチャのみを使用して、入力シーケンスを用いて合成され、復号されそして、再符号化される。このアプローチは、シームレス編集を発生するが、しかし、アドレス、多重又は、オーディオ問題から生じる問題と取り組まない。更に、高速補助メモリの問題は、民生装置で使用するのに適する、光ディスクそれ自身上に蓄積された編集を提供しない。I−ピクチャの連続のみを含むブリッジシーケンスは、典型的な光ストレージ装置のビットレート制約内で許容するにはデータレートが高すぎることは言うまでもない。

0013

本発明の目的は、MPEG−2TSのような、編集された符号化されたストリームの滑らかな再生のための種々の方法と装置を提供することである。本発明は、符号化され多重されたストリームを再生し且つ編集するときに、同様な問題が一般的に発生するような、MPEG−2に準拠するストリームの厳しい制約を超えて適用可能である。

0014

発明者は、特に外部復号器へのディジタルインターフェースを介して、編集されたストリームの滑らかな再生を保証するために、異なる形式のデータストリームの編集が可能でありそして、どのような提案された方法も、これと符号化フォーマット固有な他の制約を考慮しなければならないことは認識されている。MPEGトランスポートストリーム野獣フォーマットに関連する問題は、取り組まれ、ユーザへのオーディオ及びビデオ妨害を減少される。

0015

本発明の第1の特徴に従って、予め定められた復号器により課される制約に違反することなく、第1のシーケンス内の第1の編集点が、第2のシーケンス内の第2の編集点と連結されるように、蓄積装置からフレームに基づくデータのシーケンスを読出し且つそれを編集するように動作できる手段を有するデータ処理装置であって、蓄積されたシーケンスの各々は、複数のトランスポートパケットの少なくとも1つの系列を有し、所定の系列のトランスポートパケットは、それぞれの連続性カウンタ値を有し、そのカウンタ値の各々は先行するものと所定の連続性規則により関連し、この装置は、前記制約と連続性規則に従いながら、前記第1と第2の編集点を連結するトランスポートパケットの編集されたシーケンスを定義するために、前記編集点の連結から生じる連続性カウンタ値の不連続の大きさを計算する手段と、各々が自分自身の連続性カウンタ値を有する対応する番号の追加のトランスポートパケットを発生する手段とを有する装置が提供される。

0016

一実施例では、少なくとも前記第1のシーケンスは、少なくとも1つのパケット化されたエレメンタリーストリームを担い、そのパケットは、前記トランスポートパケットを構成するために副分割されており、装置は更に、ペイロードパケット境界を含むトランスポートパケットを識別し、且つ、識別されたパケットの前に挿入されたときに、前記連続性規則に従うために、前記追加のパケットを発生するようになされる。

0017

装置は、ディジタルインターフェースを介して、前記追加のパケットを含む、トランスポートパケットの前記編集されたシーケンスを出力手段を有してもよい。

0018

第1と第2のシーケンスと編集されたシーケンスは、例えば、個々に規定されているように、MPEG−2使用に従っても良い。

0019

フレームに基づくデータの第1と第2のシーケンスは、各々が、多重された複数のパケット化されたエレメンタリーストリームを有し、各エレメンタリーストリームは、トランスポートパケットのそれ自身のシーケンスを有する。連続性規則は各エレメンタリーストリームに対して独立に動作し、装置は、個々にそのストリームに対して計算された不連続性の大きさに従って、各エレメンタリーストリームに対する追加のトランスポートパケットを発生する様になされる。

0020

装置は、編集されたシーケンスを共に後に再生することを可能とするために、編集を定義する追加のデータを発生し且つ蓄積しても良い。前記追加のトランスポートパケットは、前記追加のデータの一部として、発生され且つ蓄積されてもよい。かわりに、装置は、編集されたシーケンスの再生まで前記追加のパケットを発生しないように適用されても良い。

0021

一実施例では、前記第1と第2のシーケンスは、シーケンスの他のフレームを参照せずにイントラ符号化された幾つかのフレームと、シーケンスの少なくとも1つの更なるフレーム又はフィールドを参照してインター符号化されたいくつかのフレームとを有するフレームに基づくデータを有し、装置は、蓄積された第1と第2のフレームシーケンスからのフレームを選択的な統合と、それぞれの編集点により示された第1と第2のシーケンスからのフレームの符号化形式イントラ又はインター)により決定されるようにブリッジシーケンス内で1つ又はそれ以上のフレームの選択的な再符号化により、前記編集点付近で第1と第2のシーケンスを連結するトランスポートパケットのブリッジシーケンスを形成するようになされたブリッジ発生手段を有してもよい。

0022

そのような実施例では、追加のトランスポートパケットは、発生されたブリッジシーケンスに含まれても良い。

0023

前記不連続性規則は、特定のクラスのフレームヘッダがすぐ後に続く位置で、編集されたシーケンスの不連続点を許し、そのような場合には、装置は、蓄積された第2のシーケンスを入力する前に不連続性規則に従うことを保証するために、前記追加のパケットを挿入しながら、ブリッジシーケンス内にそのような不連続点を含むようになされてもよい。そのような実施例は、連続性規則に従うために、変更されるパケットは少ない。

0024

装置は、前記第1と第2のシーケンス及びプレイリスト情報と共に、記録担体にブリッジシーケンスを蓄積する手段を有しても良い。そのような実施例では、追加のトランスポートパケットは、蓄積されたブリッジシーケンス内に含まれても良く、又は、代わりに、装置による再生中に発生されても良い。

0025

更に本発明の第1の特徴に従って、予め定められた復号器により課される制約に違反することなく、蓄積装置からフレームに基づくデータのシーケンスを読出し且つそれを編集する方法であって、蓄積されたフレームシーケンスの各々は、複数のトランスポートパケットの少なくとも1つの系列を有し、所定の系列のトランスポートパケットは、それぞれの連続性カウンタ値を有し、そのカウンタ値の各々は先行するものと所定の連続性規則により関連し、この方法は、前記制約と連続性規則に従いながら、前記第1と第2の編集点を連結するトランスポートパケットの編集されたシーケンスを定義するために、前記編集点の連結から生じる連続性カウンタ値の不連続の大きさを計算し、且つ、各々が自分自身の連続性カウンタ値を有する対応する番号の追加のトランスポートパケットを発生する方法が提供される。

0026

更に、本発明の第1の特徴に従って、第1のフレームシーケンス内の第1の編集点が、第2のフレームシーケンス内の第2の編集点に連結される連結する1つ又はそれ以上のブリッジシーケンスと共に、第1と第2のフレームシーケンスを担う蓄積装置が提供される。

0027

第2の特徴では、本発明は、編集データは、望ましく編集されたシーケンスを出力するために、第1のシーケンスの第1の編集点と、第2のシーケンスの第2の編集点を連結する、蓄積装置から第1と第2のシーケンスのデータを読み出すために、蓄積された編集データに応答して動作可能な再生手段を有するデータ再生装置であって、前記第1の編集点での前記第1のストリームを切り且つ前記第2の編集点で前記第2のストリームに入ることが、前記復号器仕様内で、1つ又はそれ以上の制約を潜在的に破るように、前記第1と第2のシーケンスは、各々が、予め定められた復号器仕様に従った形式で、符号化され且つ多重された、少なくとも2つの多重されたエレメンタリーストリームを有し、前記再生手段は、出力として、前記編集されたシーケンスが前記復号器仕様に従うように、前記編集点の付近で前記第1と第2のシーケンスから選択的にデータを再生することにより、前記エレメンタリーストリームの記録又は再多重を行うことなしに、実質的に動作する装置を提供する。

0028

本発明の第2の特徴は、更に、蓄積されたデータを再生する方法であって、望ましく編集されたシーケンスを出力するために、第1のシーケンス内の第1の編集点を第2のシーケンス内の第2の編集点に連結する、予め蓄積された編集データに従って蓄積された第1と第2のシーケンスのデータが蓄積装置から読み出され且つ再生され、前記第1の編集点での前記第1のストリームを切り且つ前記第2の編集点で前記第2のストリームに入ることが、前記復号器仕様内で、1つ又はそれ以上の制約を一般的に破るように、前記第1と第2のシーケンスは、各々が、予め定められた復号器仕様に従った形式で、符号化され且つ多重された、少なくとも2つの多重されたエレメンタリーストリームを有し、前記再生手段は、出力として、前記編集されたシーケンスが前記復号器仕様に従うように、前記編集点の付近で前記第1と第2のシーケンスから選択的にデータを再生することにより、前記エレメンタリーストリームの記録又は再多重を行うことなしに、実質的に動作する、方法を提供する。

0029

本発明の第2の特徴は更に、前述の方法で再生された、編集されたデータシーケンスを再生する信号を提供する。

0030

本発明の更なる特徴は、添付の請求項に列挙されており、その開示は参照によりここに組み込まれ、読者の注意が向けられる。更に、本発明の独立の特徴は、以下の開示から明らかである。これらを、更に、限定しない以下の実施例により説明する。

0031

本発明の実施例を、添付の図面を参照して、例示目的のみで、説明する。

0032

ディジタルビデオ記録−一般

0033

以下の説明は、MPEG規格(MPEG1に対してはISO/IEC11172そして、MPEG2に対してはISO/IEC13818)に従った、A/V装置をとくに考えるが、当業者は、MPEG規格に従わない他のA/V符号化に本発明を適用できることは理解されよう。

0034

以下の説明は、本発明が、MPEG符号化と多重で使用されている時間依存性とバッファモデルのために、単純なカットアンドペースト編集が丁度フレーム境界で行えない、MPEGトランスポートストリーム内のビデオ−及び/又はオーディオ−フレームの正確な編集をする問題と、どのように取り組むかを開示する。

0035

再生しながらの2重復号なしに編集を容易にするために、ブリッジシーケンスが発生され、これは、MPEGデータの2つのもとの記録を共に連結するために(上述の方法で)特に構成されたMPEGデータの短いシーケンスである。これは、上述のWO−A−00/00981(PHB34262WO)内に、プログラムストリームフォーマットの編集のために、原理的に開示されている。更なる背景は、その文献を参照する。その文献から知られるように、一般的には行こうなMPEGストリームを構成するために、データの一部を部分的に復号し且つ再符号化することが必要である。

0036

ビデオ編集での最終的な要素は、制御構造又はプレイリストである。これは、再生システムに、ストリームをどのように順番に並べるかを指示する。それは、元のストリームから出るテントブリッジシーケンスの開始に関する情報を規定する。それは、ブリッジシーケンスの最後から第2のストリームへのジャンプの場所を規定する。また、再生を容易にする管理を行う他の情報も含む。

0037

図1破線四角内は、本発明を行うのに適する、光ディスク記録及び再生装置の形式の装置の実施例を示す。装置の記載では、フレーム毎のビデオ信号の扱いに集中するが、オーディオ又は、データ信号のような、他の形式の信号も代わりに又は加えて処理でき、そして、本発明は、磁気データ蓄積手段及び、コンピュータハードディスクドライブのような他の記憶装置にも、等しく適用可能である。

0038

装置は、光ディスク3上に記録されるビデオ信号を受信する、入力端子1を有する。更に装置は、ディスクから再生されたビデオ信号を供給する出力端子2を有する。これらの端子は、IEEE1394のようなインターフェースを介して、衛星、ケーブル又は同様なものから、MPEG TSフォーマットで放送信号を受信する、”セットトップボックス”の形式の、ディジタルTV受信器及び復号器12へ接続されるのに使用される。復号器は従来のアナログTVセットでもよい、表示装置14に表示信号を供給する。

0039

ディスク3のデータ領域は、対応するセクタアドレスを有する、物理的なセク他の連続する範囲を有する。このアドレス空間はに分割され、シーケンス領域セクタ連続シーケンスである。図1に示されたビデオ記録装置は、即ち、ディスクサブシステム6と記録と再生の両方を制御するビデオレコーダサブシステム8と呼ぶ2つの主なシステム部品に分割される。2つのサブシステムは、容易く理解できる、幾つかの特徴があり、ディスクサブシステムは、論理アドレス(LA)に関して透明にアドレスでき、且つディスクから/ディスクへの読出し及び/又は書き込みの、最大連続ビットレートを保証できる。

0040

図2は、装置の更なる詳細を示す。装置は、図1のサブシステム8に含まれる、信号処理ユニット100を有する。信号処理ユニット100は、ディジタル入力端子1を介してビデオ信号を受信しそして、ビデオデータをディスク3上に記録するためのチャネル信号に処理する。破線102により示されている読み出し書き込みユニット102が、図1のディスクサブシステム6内に組み込まれて、設けられている。読み出し/書き込みユニット102は、光ディスク3から読出し、そして光ディスク3に書き込むようになされた、読み出し/書き込みヘッド104を有する。位置決め手段106が、ディスク3をわたる半径方向に、ヘッド104の位置を決めるために設けられる。読み出し/書き込み増幅器108が、ディスク3へそしてディスク3からの信号を増幅器するために設けられる。モータ110は、信号発生ユニット112により供給されるモータ制御信号に応答して、ディスク3を回転させる。マイクロプロセッサ114は、制御線116,118及び、120を介して全ての回路を制御するために設けられる。

0041

信号処理ユニット100は、入力端子1から受信したビデオデータを、チャネル信号の情報のブロックに変換する。情報のブロックのサイズは、可変だがしかし、(例えば、)2MBから4MBの間である。書き込みユニット102は、チャネル信号の情報のブロックを、ディスク3上のシーケンス領域内に書き込む。元のビデオ信号に対応する情報のブロックは、その配置はフラグメント化記録として知られている図3記録図内で分かるように、連続である必要のない、多くのシーケンス領域内に、書き込まれる。記録時に、特定の配置規則に合致する場合には、実時間ヘッドラインに会うように十分に速くそのようなフラグメント化記録を記録し且つ書き込むことができるのは、ディスクサブシステムの特徴である。

0042

ディスク3に以前及び、記録ステップで記録されたのビデオデータの編集を可能とするために、装置は、更に、ディスク3上に記録された第1のビデオ信号の出口位置出力点)を受信し、且つ同じディスク上に記録される第2のビデオ信号内の入力位置入力点)を受信する入力ユニット130が更に設けられている。更に、装置は、以後に詳細に説明する2つのビデオシーケンスを連屈するブリッジシーケンスを発生するために、信号処理ユニット100内に組み込まれた、ブリッジシーケンス発生ユニット134を有する。

0043

図3は、ビデオ信号の記録を示す。ビデオレコーダサブシステム8では、実時間信号のビデオ信号は、図3の上方部分に示されたように、実時間ファイルRTFに変換される。実時間ファイルは、対応する(しかしフラグメント化された)シーケンス領域内に記録するために、連続する信号ブロックシーケンスSEQより構成される。ディスク上のシーケンス領域の位置の制約は無く、従って記録されたビデオ信号のデータの部分を含むどの2つの連続するシーケンス領域も、図3の下部に示されたように、論理アドレス空間LAS内のどこにも置かれうる。各シーケンス領域内で、実時間データは連続して配置される。各実時間ファイルは単一のA/Vストリームを示す。A/Vストリームのデータは、ファイルシーケンスの順序シーケンスデータを連結することにより、得られる。

0044

図4は、ディスク3上に記録されたビデオ信号の再生を示す。ビデオ信号の再生は、論理アドレス空間のどこにも配置できる再生制御(PBC)プログラムにより制御される。一般的には各PBCプログラムは、新たな再生シーケンスPBSを定義し、これは、編集版の記録されたビデオ及び/又はオーディオ部分を含んでも良く、そして、それぞれのシーケンス領域からのセグメントのシーケンスを規定しても良い。所望のシーケンスを構成するここのシーケンスの論理アドレスへのポインタは、PBC内に直接的に又は間接的に含まれる。図3と4の比較から分かるように、(図3からの)元のファイルシーケンスを形成することを必要とされたPBCは、元のシーケンスに対応する再生フレーム連続を提供ためにフラグメント化されて記録された部分を並びかえる。

0045

ディジタルビデオ記録物の編集−一般

0046

図5は、ディスク3上に記録された1つ又はそれ以上のビデオ信号の編集を示し、そして、”ファイルA”と“ファイルB”と付された部分の2つのシーケンスにより示された、2つのビデオ信号を示す。以前に記録された1つ又はそれ以上のビデオ信号の編集版を実現するために、以前のA/V記録からの部分を新たな順序に連結することにより得られるA/Vシーケンスを定義するために、新たなPBCプログラムが発生される。その部分は、同じ記録物から又は、異なる記録物からでもよい。PBCプログラムを再生するために、(1つ又はそれ以上の)実時間ファイルからの、種々の部分からのデータは、復号器に送られねばならない。これは、確実時間ファイルにより示されるストリームの部分を連結することにより得られる新たなデータストリームを暗示する。図5には、1つはファイルAからそして、2つはファイルBからの3つの部分を使用するPBCプログラムが示されている。

0047

図5は、編集版がファイルAの連続の領域内の点P1から開始し、ファイルAの次のシーケンス内の点P2まで続くことを示す。そして、再生は、ファイルBのシーケンス領域内の点P3にジャンプし、そして、ファイルBの次のシーケンス内の点P4まで続く。次の再生は、同じファイルB内の点P5にジャンプし、これは、点P3よりもファイルB内の連続するシーケンス領域の前の点でも良く、又は、点P4よりも連続する後の点でも良い。ファイルB内のシーケンス領域内の点P5から、再生は点P6まで続く。遷移P2−P3とP4−P5に対するブリッジシーケンスの発生は、明確にするために、図5からは省略されている。これらのブリッジシーケンスの発生の理由と手段をここで考える。

0048

一般的に理解されるように、以下の例はフィールド基準の編集よりもむしろフレーム基準の編集に関連する。編集は、正確なフィールドレベルで行われるが、MPEGは、フィールドを対で扱いがちであり、そして、フレームのフィールド間の編集点に順応させるには余分な処理労力が要求される。そのような設備の要求は、実行時の追加の複雑さに値するとは考えられない。当業者には、(上述のように)MPEG準拠は必須ではなく、そして、ここで説明する技術は、非MPEGフィールド基準データにも適用可能である。

0049

イントラ符号化画像インターリーブされたインター符号化画像を有するストリームでは、2つの編集の形式が考えられる。第1に、単純な編集が行われ、ここでは、ストリームはビデオフレーム境界で接続されるが、しかし、結合されたストリームが滑らかな再生ができるという保証は成されない。この場合には、再生は新たなグループオブピクチャ(GOP)の先頭に又は、他の適する入力点にジャンプされ、それにより、フレームの精度の編集は、厳しく達成されない。同様に、第1のシーケンスからの出口点は制限される。ユーザとシステムは、フレーム精度で出口と入口を規定しても良いが、しかし、再生システムは、画像符号化形式の制約と可能な他の要因が与えられれば、最も近い近似を実行する。

0050

第2に、更に複雑な編集が認識され、ここでは、ブリッジシーケンスが2つのストリームの不一致を扱うために形成される。図6は、図5に示された編集点を含むことが保証されうるブリッジシーケンスを示す。編集されたストリームがバッファとデータ依存性要求に合致することを保証するのに必要なので、斜線なしに示された、ブリッジシーケンスのコアで、データのシーケンスは再度多重されそして、記録される。これは、符号化形式に依らず、編集点の自由な選択を可能とする。斜線で示された、追加のA/Vデータは、ディスクサブシステム6からの連続する再生を保証するために、配置要求に合致させるために、編集点の前後からブリッジシーケンスにコピーされる。本出願人の上述の出願WO−A−00/00981(PHB34262WO)は、これらの技術の、基本的な原理を開示する。しかしながら、特に、MPEGトランスポートストリーム(TS)及び、同様なフォーマットに基づくフォーマットを伴なう記録を編集するときには、幾つかの実際の問題が、効果的な方法で解決するために残る。

0051

両場合(単純及び、複雑な編集)ともに、元のストリームはディスク上に変更されずに残る。ブリッジシーケンスが形成される複雑な編集は、通常はディスク上で行われる。単純な編集は、テープに基づくシステムで実行されても良く、ここでは、2つのストリームが任意のビデオ境界で、テープ上で連結される。単純及び複雑な形式の編集と再生手順の詳細を以下に説明する。本実施例では、上述の従来技術で仮定されているプログラムストリームよりも、ストリームはトランスポートストリーム(TS)形式フォーマットで多重される。

0052

トランスポートストリームフォーマット

0053

図7は、MPEG−2トランスポートストリーム(TS)フォーマットの主な特徴と構造を示す。図1のシステムでは、放送から直接に受信され、及び、ディジタルインターフェース1と2を介して送られたのと同様に、データは、TSに基づくフォーマットでディスク3上に蓄積される。TSは、図中でT−PKTととラベルが付されているトランスポートパケットの連続するストリームであり、各々が188バイトのデータを有し、そして、図7の一番上に示されたフォーマットを有する。シンタックス語義、及び、適用可能な制約を含むMPEG−2トランスポートストリームの詳細は、ITU−T勧告H.262|ISO/IEC13818−1に記載されている。MPEG−2システムに関する情報は、http://www.mpeg.orgでオンライン入手できる。簡単には、各トランスポートパケットは、ヘッダ部分ペイロード部分を含み、ペイロード部分は図では、DAT−0からDAT−Nバイトで示されている。ヘッダは、特徴的な同期バイトsyncで始まり、トランスポートエラーインジケータEIペイロードユニット開始インジケータUSI、トランスポート優先インジケータTPI、パケット識別子PID、トランスポートスクランブル制御フィールドTSC、適応フィールド制御AFC及び、連続性カウンタCCを含む、種々のフラグと制御フィールドが続く。

0054

連続性カウンタCCCcは、所定のPIDに対して、各トランスポートストリームパケットで増加する4−ビットのフィールドである。CCは最大値の後に0になる。CCは、パケットの適応フィールド制御が、パケットにペイロードがないことを示すときには増加しない。連続性カウンタは、トランスポートストリームの特徴で、プログラムストリームフォーマットにはなく、エラーの起こりやすいチャネルで、装置がパケットの損失を検出するのを検出することを可能とするように設計されている。失われたパケットは、一般的には、新たなヘッダを有する新たな同期が得られるまで捨てられねばならない。これは、TSの編集を更に難しくするが、しかし、復号器は、編集により故意に起こされた不連続と伝送エラーにより起こされた不連続との間を区別できなければならない。

0055

フィールドAFCの内容により、適応フィールドAFが存在し、ペイロードデータ割り当てられる幾つかの空間を占める。適応フィールドAFは、例えば、MPEG2のISO/IEC138181内で定義された、不連続インジケータフラグを含む。’1’に設定された場合には、このフラグは、現在のトランスポートストリームパケットに対して不連続状態であることを示す。不連続インジケータは、システムタイムベースの不連続と連続性カウンタの不連続の、2つの形式の不連続を示すのに使用される。予め定められた意味のオプショナルデータフィールドに加えて、適応フィールドがスタフィングバイト充填され、PESパケットの終わりと、TSパケットの境界が一致するようにする。

0056

システムタイムベースの不連続性は、プログラムクロックリファレンスPCR(ISO/IEC138181−2セクション2.4.4.9参照)の形式のシステムタイムベースを担うように指定されたPIDのトランスポートストリームパケット内の不連続性インジケータを使用して示される。仕様を引用すると、不連続性状態がPCR_PIDとして指定されたPIDのトランスポートストリームパケットに対して真であるときには、同じPIDのトランスポートストリームパケット内の次のPCRは関連するプログラムの新たなシステムタイムクロックのサンプル値を示す。不連続性インジケータは、システムタイムベースの不連続性が発生したときにはパケット内で’1’に設定されるべきである。不連続性インジケータビットは、新たなシステムタイムベースPCRを含むパケットに先立ち、同じPCR_PIDのトランスポートストリームパケット内でも’1’に設定され得る。この場合には、一旦、不連続性インジケータが’1’に設定されたときには、新たなシステムタイムベースの最初のPCRを含むトランスポートストリームパケットまで、同じPCR_IDの全てのトランスポートストリームパケット内で’1’に設定され続けられる。

0057

特にシステムタイムベース内の不連続性と対称的に、不連続性インジケータにより一度フラグが付されると、有効なトランスポートストリーム内で予想され且つ、復号器はこれらをシームレスに行う。連続性カウンタ値の不連続は、不連続性インジケータにより”知られている”として知らせられるがさらに、、典型的な復号器に、オーディオ/ビデオフレーム構造を再同期し且つ復号パラメータを書くん去るために新たなシーケンスヘッダが見つかるまで、無効としてデータを扱うようにさせる。

0058

再びMPEG仕様を引用すると、連続性カウンタの不連続は、どのトランスポートストリームパケット内でも不連続性インジケータを使用して示される。PIDがPCR_PIDとして指定されていないトランスポートストリームパケット内で不連続状態が真の時には、そのパケット内の連続性カウンタは、同じPIDを有する前のトランスポートストリームパケットに関して不連続となろう。PIDがPCR_PIDとして指定されているトランスポートストリームパケット内で不連続状態が真の時には、システムタイムベースの不連続が起こったパケット内でのみ不連続であろう。連続性カウンタの不連続点は、トランスポートストリームパケット内で不連続状態が真であり且つ、同じパケット内で連続性カウンタが、同じPIDを有する前のトランスポートストリームパケットに関して不連続のときに、発生する。

0059

エレメンタリーストリームデータを含むとして指定されたトランスポートパケット内の連続性カウンタの不連続の後に、同じPIDのトランスポートストリームパケット内のエレメンタリーストリームの最初のバイトがエレメンタリーストリームアクセス点の最初のバイトであろう。オーディオの場合には、そのようなアクセス点は、新たなオーディオフレームの先頭である。ビデオの場合には、ビデオシーケンスヘッダ先頭バイト又は、ビデオ試験すヘッダが続くシーケンスエンドコードが、アクセス点として働く。連続性カウンタの不連続点が発生し且つ、PTS又はDTSが発生する、PCR_PIDとして指定されていないPIDを有するエレメンタリーストリームデータを含む各トランスポートストリームパケットは、関連するプログラムに対してシステムタイムベースの不連続が発生した後に、T−STDの入力に到着する。不連続状態が真のこれらの場合には、同じ連続性カウンタ値を有し且つ’01’又は’11’に設定された適応フィールドを有する、同じPIDの2つの連続するトランスポートストリームパケットが、発生するときには、第2のパケットは捨てられる。有効なトランスポートストリームは、そのようなパケットを捨てることがPESパケットペイロードデータ又は、PSIデータの損失を発生するようには構成されるべきでない。

0060

DVBディジタル放送フォーマットの例では、TSストリームのデータレートは約40(Mビット/秒)であり、一方、オーディオビジュアルプログラムの典型的なデータレートは、10Mビット/秒以下である。従って、図7のTSに示されたように、種々のプログラムPROG1,PROG3は、単一のトランスポートストリームに多重できる。各トランスポートパケットのフィールドPIDは、そのパケットが関連するエレメンタリーストリームを示し、多くの他のストリームとトランスポートパケット単位でインターリーブされている。例えば、1つのプログラムは、ビデオストリーム(この例ではPID=’055’)、オーディオストリーム(PID=’056’)及び、テレテキストデータストリーム(PID=’057’)を含んでも良い。PID値とプログラムの対応、及び、各PIDで担われているデータの形式は、プログラム特定情報(PSI)テーブルの形式で維持される。トランスポートストリーム内で周期的に、プログラム関連テーブルPATがPID=0を有するトランスポートパケットの特別なストリーム内で担われている。PATは順にPROG1,PROG3等に対して、度のストリームがプログラムマッピングテーブルMTを担うか、どれが単一プログラムに関連する異なるPID値を完全にリストするかを示し、そして、各々の内容(ビデオ、オーディオ、代わりの言語のオーディオ等)を記述する。制御目的のこれらのテーブル及び他のデータは、ここでは、システム情報と呼ぶ。

0061

トランスポートストリームから所定のプログラム(PROG1)を再生し又は記録するために、そのPIDを有する連続するトランスポートパケットのペイロードDAT−0からDAT−Nが1つのストリームに連結され、そして、このストリームはパケット化エレメンタリーストリームパケットPES−PKTを担い、これは、更にMPEG2仕様内で定義される。各PESパケットは、特徴的なパケットスタートコードプリフィックスSCPで開始する。PESヘッダ内の次は、(例えば、ビデオ、オーディオ、パディングストリーム、又は、プライベートストリームのような)エレメンタリーストリームの形式を識別するストリーム識別子IDである。PESパケットは、特定のアプリケーションで規定されていない限り固定長は有せず、そして、PESパケット長フィールドLENは、PESパケットの数を規定する。例えば、データアライメントインジケータAIヘッダ長フィールドHLENを含む、種々の制御及びフラグフィールドC&Fが続く。種々のオプションフィールドが、C&Fフィールド内の関連するフラグの値に従って、ヘッダHDAT内に存在し、例えば、システムクロックを参照して時間を規定する、PESパケット内の”プレゼンテーションユニット”(画像、オーディオフレーム等)の先頭が表示される、プレゼンテションタイムスタンプPTSが存在する。ある場合には、プレゼンテーションユニットは、その表示順序と異なる順序で復号され、その場合にはデコーディングタイムスタンプDTSも存在する。

0062

同じSIDを有する連続するPESパケットのペイロードPY−0からPY−Nは、図7のESで概略が示された連続するエレメンタリーストリームのデータを構成する。ビデオエレメンタリーストリームES−VIDEOの場合には、種々の画像シーケンス又はクリップSEQが存在し、各々は、その先頭でシーケンスヘッダSEQHを有する。量子化マトリクスバッファサイズ及び、同様なものを含む、復号器の種々のパラメータは、シーケンスヘッダ内で規定される。従って、ビデオストリームの正しい再生は、復号器が、シーケンスヘッダの位置で開始するときにのみ達成される。各シーケンスに対するデータ内に、ビデオデータの1つ又はそれ以上の”アクセスユニット”があり、各々は、画像(アプリケーションによりフィールド又はフレーム)に対応する。各画像はピクチャスタートコードPSCが先行する。グループオブピクチャGOPには、グループスタートコードGSCが先行し、全ての次の特知恵のシーケンスヘッダは、SEHQである。

0063

既知であるが、MPEG−2内の画像と他の現代のディジタルフォーマットは、時間冗長度を減少させるために1つ又はそれ以上の基準により符号化される。動き補償は、隣接する1つの画像又は複数の画像に対して既に復号された内容から1つの画像の内容を推定する。従ってグループオブピクチャGOPは、典型的には、他の画像を参照せずに符号化される1つのイントラ符号化された”I”フレーム、前のIフレームに基づく動きベクトルを使用して符号化された2つ又は3つの”P”(予測)符号化ピクチャ、そして、ッシーケンスの前後のI及び/又はPフレームからの予測により符号化された、双方向予測された複数の”B”ピクチャを含む。Bピクチャに要求されるデータ量は、Pピクチャに要求されるよりも少なく、順にIピクチャに要求されるよりも少ない。一方、PとBピクチャは他のピクチャを参照してのみ符号化されるので、所定のシーケンスの再生を開始するための実際の入力点はIピクチャのみが提供する。更に、GOPデータ、I及び、Pピクチャは、対応するBピクチャの前に符号化され、そして、正しい表示順序を得るために、復号後に並べ替えが行われることに注意する。従って、BとPピクチャは、プレゼンテーションタイムスタンプPTSとデコーディングタイムスタンプDTSが異なる例である。1つのグループオブピクチャGOPの一部をVideo−ESの下に図7に示す。

0064

最後に図7では、オーディオエレメンタリーストリームES−AUDIOの再生が示されている。これはフレームスタートコードを有するデータFRMの単純なフレームを含む。サンプルレート(32kHz,48kHz等)と、データレート(例えば、32kビット/秒又は、可変)に関して異なる、種々のオーディオフォーマットが有する許されている。オーディオ及びビデオストリームのこれらのそして他の特性は、PESパケットヘッダとフレームヘッダ内の、プログラム特定情報PSI内に、符号化されている。

0065

同じプレゼンテーションタイムスタンプPTSを有するオーディオフレームとビデオピクチャは、復号器の出力で同時に表示されるべきものである。一方、異なるエレメンタリーストリームからのデータのパケットのスケジューリングには大きな自由度があり、同じPTSを有するオーディオとビデオのアクセスユニットは、1秒まで離れてトランスポートストリームTS内に到着できる。

0066

システムターゲットデコーダ

0067

実時間復号器のバッファリングと他の特徴が表示されているオーディオビジュアルプログラム内に中断なしに各形式のストリームを復号することができることを補償するために、MPEG−2規格は、トランスポートストリーム”システムターゲットデコーダ”(T−STD)モデルと、プログラムストリーム”システムターゲットデコーダ”(P−STD)モデルを規定する。広くは、各システムターゲットデコーダは、TS又はPSフォーマットの異なるエレメンタリーストリームを分離する手段を有し、オーディオ、ビデオ及び、システム制御形式のデータの各々に対する復号器を有し、且つ、データチャネルからの到着と復号及び表示の実際の時間の間に各エレメンタリーストリームを保持するために、入力ストリームと復号器の間のバッファを有する、仮想的な復号器である。

0068

T−STDとP−STDはMPEG−2仕様に更に詳しく説明されているように、一般的な形式で両方ともに似ている。しかし、T−STDとP−STDの間の差は、一般的には、トランスポートストリームは、少なくともPESパケットのレベルで再スケジューリングなしにプログラムストリームに直接的にマップできず、かつ、PSからTSフォーマットも同様であることを意味する。1つの例として、TSフォーマットのオーディオ復号器は、P−STDのバッファよりも小さい。他の例では、T−STD内の各主バッファは、トランスポートストリーム自身内の”バースト的な”データを平滑するように働くトランスポートバッファが先行する。所定のストリームに対するデータは、40メガビット毎秒ピークレートで、バースト的な幾つかのトランスポートパケット内で到着するが、そのようなストリームの平均レートは、全体のトランスポートストリーム多重を考慮するときには、非常に低い。入力データレートを2Mビット/秒(オーディオ)と18Mビット/秒(ビデオ)に抑えるために、トランスポートバッファに対して”リークレート”が定義される主バッファにデータが送られることが仮定される。

0069

単純編集

0070

単純な編集では、ストリームが滑らかに再生されるように保証するためには、編集中には何も行われない。特にブリッジシーケンスは発生されずかつ蓄積されない。従って、装置は再生時に問題と対処しなければならない。一般的には、完全な再生を保証することは不可能であるが、しかあい、提案された方法はユーザへの妨害をできる限り防ぐことを目的とする。

0071

2つのMPEGストリームを任意のフレーム境界で接続する潜在的な問題は、次のようである。
1.ビデオが復号できない可能性がある。

0072

上述のように、MPEGは、大部分のフレームを他のビデオフレームを参照して符号化する。基準フレームに対するデータが失われると、従属フレームは復号が出来ない。フレームが正しくない基準フレームを使用して復号されると、結果は視覚的な欠陥を起こす。MPEGTS内のビデオフレームのれオーディオダリングのために、編集されたストリーム内に表示されるべきでないビデオフレームが含まれる可能性がある。

0073

入口と出口フレームが選択されている特別な場合には、全てが復号できる。これは、ユーザが自由に出口と入口フレームを選択したときにはランダムに発生するが、しかし、一般的にはそのようではない。代わりの実施例では、ユーザは、出口と入口点として、特定のフレームのみ選択するように制約され得る。
2.部分的なオーディオフレーム

0074

オーディオとビデオフレームは、188バイトのトランスポートストリームパケットに分割され、そして、これらのトランスポートストリームパケットは、トランスポートストリーム多重内でインターリーブされる。多重内では、オーディオとビデオフレーム境界間では整列されていない。従って、ビデオフレーム境界で2つのストリームをつなぐと、編集点付近でオーディオフレームは部分的になる。復号器によりこれらの部分的なオーディオフレームを復号しようとする試みは、オーディオ歪となる。
3.バッファ問題

0075

MPEG使用の主な特徴は、状況の範囲で、バッファ容量と復号器の動作のパラメータを定義することである(上述のシステムターゲットデコーダ参照)。任意の点で、2つのMPEG準拠ストリームを連結して得られるストリームは、一般的には、MPEGバッファモデルに従わない。再生時に、これは、復号器が、バッファのオーバフロー又は、アンダーフローを通してデータを損失することとなり、オーディオ及び/又はビデオ歪となる。
4.オーディオスキュー

0076

ビデオフレームと共に表示されるオーディオフレームは、多重内で整列していない。典型的には、ビデオに対応するオーディオは多重内で、ビデオよりも後から来る。しかし、一般的には、オーディオは多重内では、対応するビデオよりも1秒前又は1秒後までとなる。
5.タイムベースの不連続

0077

PCR/PTS/DTSタイムスタンプに対して使用されるタイムベースは、編集点で不連続である。2つの時間基準の間の正しいオフセットは、(i)第1のシーケンスの最後のフレームのPTSに加えて1フレーム期間、及び、(ii)第2のシーケンスの第1のフレームのPTS、の間の差により得られる。
6.連続性カウンタの不連続

0078

TSパケット内の連続性カウンタは、編集点で不連続となる。これは、復号器に、新たなシーケンスヘッダが見つかるまで、再生を抑圧させる。

0079

この説明する方法と装置は、これらの問題と取り組む。

0080

単純編集の生成

0081

単純な編集では、編集中に、ストリームは変更されないが、幾つかの追加のデータ(”メタデータ”)が、編集された記録についてのプレイリストの一部として蓄積されねばならない。特に、(i)表示されるべき最後のフレームが終了する、第1のストリームないの点と、(ii)表示されるべき第1のフレームが開始する第2のストリーム内の点、を識別するポインタは蓄積される。例えば、図5の例の第1の編集では、これらのポインタは、それぞれ点P2とP3を示す。これらのポインタは、データの論理アドレスを直接指すか又は、時間値を基準にして、蓄積される。後者の場合には、時間ポインタは、特徴点情報又はCPIの検索テーブルを参照して、アドレスへ変換できる。CPIは、ビットストリーム内の各ピクチャシーケンスの開始の位置を示す、蓄積されたプログラムの少なくもと一部に対するインデックスの形式である。

0082

また、(iii)第1のストリームの最後のPTSから、第2のストリームの第1フレームのPTSを引いた、2つの時間基準の間のプレゼンテーションタイムの間のオフセットも蓄積される。以下の部分で説明するステップ1から4で提案される調整を行った後に、オフセットを蓄積すれば、再生は、単純であることに注意する。しかしながら、オフセットが調整なしに蓄積される実施例も可能であり、そして、調整は再生に必要ならば行われる。これは、再生時にデータを読出し且つ分析することを必要とする。

0083

ディジタルインターフェースを介した単純な編集の再生

0084

組み込み復号器を介した編集されたストリームの再生は、原理的には、高度の扱いが可能である。しかしながら、歪を生じることなく標準STBで単純な編集物を再生することを可能とするために、以下の手順が図1の装置により行われる。これは、再生時に行われるステップを含み、そして、編集物を定義する追加のデータを生成することを行うステップも含む。
1.STBに単に送られ復号可能なオーディオ/ビデオ

0085

編集のためのメタデータ内のポインタは、第1のストリームが常に(ビットストリーム内で、表示順序でなく)P−又は、I−の前で終わり、一方第2のストリームが常にI−フレームで開始することを保証するために選択される。完全なオーディオフレームのみが、復号器に送られる。オーディオ表示内ギャップは、編集点で残されるべきである。望ましくないオーディオパケットは、各パケットのPIDを、NULLパケットを示す0x1FFFに変更することにより、ストリームから削除される。パケットは、連続性カウンタの不連続のすぐ後又はすぐ前でのみ削除されるので、これは、連続性カウンタに問題を起こさない。
2.バッファオーバーフローしないことの保証

0086

バッファオーバーフローしないことを補償するために、編集点でのバッファ状態が計算されるべきである。以下のアルゴリズムが使用されるが、他も等しく可能である。

0087

(a)編集点で、元の第2のストリーム内のバッファ充填度Dbuffを計算する。これは、編集点に先行するがしかし、編集点の時間後のDTS時間を有する全てのビデオフレームのサイズを加算することにより簡単に計算できる。

0088

(b)編集点で、第1のストリーム内のバッファ充填度Sbuffを計算する。これも、点1と同様な方法で計算できる。

0089

(c)Sbuff>Dbuffの場合には、1フレーム期間を、ストリーム間のオフセットに加えそして、Sbuffの値を、前よりも1フレーム期間後のバッファ充填度に調整する。

0090

(d)点3を、Sbuff<Dbuffまで繰返す。

0091

これは、バッファオーバーフローがないことを保証する。ステップ(c)と(d)の代わりのアプローチは、ステップ(c)でオフセットを一定に保ち、しかし、第1のストリーム内の編集点を、最後のフレームを除外するように移動することである。ビットストリームが常にP/Iフレームの前で終わることを補償するためには、実際には、1つ以上のフレームが除去されるのが必要である。何れの場合にも、再生時の結果は、1フレーム期間以上、第1のストリームからの最後のフレームが、ディスプレイ上でフリーズされる。両アプローチは、結合して使用することができ、各々がユーザ満足に対する悪影響を和らげる。

0092

編集がGOP境界でなされる場合には、多くの場合には、第1のストリームの最後と第2のストリームの最初のバッファ充填度は同様であろう。従って、GOP境界でのみ編集することを選択することにより、一般的には、ストリームかんのオフセットが増加される量を減少でき、そして、これゆえに、編集されたシーケンスの再生中にフリーズフレームが現れる時間を減少する。装置の設計者は、この理由のために、ユーザによりGOP境界のみが選択されるように決定してもよい。一般的には、しかしながら、最もよい選択に関して、装置からの忠告のがあってもなくても、ユーザは、編集点の自由な選択ができる。
3.バッファアンダーフローが起きないことを保証する

0093

2つのストリーム間のオフセットがPTS値から最初に計算され、そして、上述のように調整される。第2のストリームがローディングを開始する時間は、オフセット、第2のストリーム内の第1のPCRタイムスタンプ、及び、多重レートを使用して、第1の時間基準に関して計算される。第2のストリームがローディングを開始することが暗示される時間が、第1のストリームの最後よりも前の場合には、これは起こらないので潜在的な問題がある。結果は、第2のストリームが、多重で暗示された時間よりも後に、ローディングを開始し、これはバッファのアンダーフローとなる(この復号時点ではフレームのデータが十分にロードされていない)。この問題を解決するために、複数のフレーム期間だけ、2つのストリームのローディング時間に重なりがなくなるまで、編集及び、ために追加のデータにそれが記録される前に、2つのストリーム間のオフセットは、単純に増加される。
4.タイムスタンプPCR/PTS/DTSの更新

0094

再生では、装置は、復号器が連続のストリームを見ることが出来るように、編集点後の全てのタイムスタンプを更新する。タイムスタンプを更新するのに使用するオフセットは、編集点後の第1のフレームのPTSと、編集点前の最後のフレームの間の差により、上述の種々のステップで必要な場合には調整されて、与えられる。全てのフレームが表示されるわけではないので、オーディオとビデオの両方のプレゼンテーションタイム内にギャップがあるであろう(MPEG−2適合仕様、ISO/IEC13818−4:1995、セクション2.3.3.1.1参照)。タイムスタンプが更新されない場合には、復号器はオーディオとビデオは連続しているとみなす。これは、バッファオーバーフローとデータの損失となる。
5.連続性カウンタの不連続時に不連続インジケータを設定する

0095

ビデオシーケンスヘッダは、通常はGOPの先頭で送られ、上述の点1から、編集後のビデオエレメンタリーストリーム内の第1バイトはビデオシーケンスヘッダである。同様に、第1オーディオパケットは、オーディオフレームの先頭を有すべきである。再生に際して、装置はこれらのパケット内に不連続インジケータを設定する。

0096

GOPの先頭にシーケンスヘッダが存在するのは必須ではない。しかし、シーケンスヘッダがない場合には、復号器がストリームを復号するのに必要な量子化マトリクスを知らないので、ビデオストリームを復号するのに問題である。放送ストリームでは、チャネルを変えたときに同様な問題が発生し、この理由のために、放送は典型的には、ストリームないに短い時間間隔のシーケンスヘッダを含む。従って、第2のストリーム内で編集する点を選択するときには、次の便利なI−フレームを選択する代わりに、装置は、シーケンスヘッダが先行する次のI−フレームを選択できる。

0097

フィールドシーケンストップボトム)は、編集点をわたって保存される必要はないがしかし、フィールドシーケンスは保存されない場合には、2つのストリームの間のオフセットは、奇数のフィールド期間であるべきである。これは、3:2プルダウンの場合である。解像度は変わり、そして、混合されたフレームレート(他とNTSC及びPALから)は、歪を起こし、これは避けるべきである。

0098

単純な編集はフレーム制度で行われるが、ディジタルインターフェースを介して、GOP精度で再生される。図8は、例を示す。編集がフレーム精度で行われるということは、他の装置により再生中に、例えば、組み込み復号器を使用する、更に高度な取扱を可能とする。標準インターフェースと復号器を介しての再生に対する最優先の要求は、実行を許すより良い性能を妨げることなく、合致することである。

0099

上述の考慮に関して、ディジタルインターフェース1(図1)を介して単純な編集を再生するために、以下の動作が、装置により行われる。

0100

A1. 第1のストリームは、前のGOPの最後である、点Xまで再生される。ここで意図されている、ここで考えている記録システムでは、そのような点は、ディスクに対するプレイリストデータ内に自動的に蓄積された、特徴点情報CPIから見つけることができる。本出願人の出願による出願PCT/EP99/08252(PHN17161)は、本出願の優先日には公開されていないが、CPIに対する可能なアプリケーションとフォーマットを開示する。原理的には、シーケンスヘッダが見つかるまでの十分なストリームの解析により、同じ情報が見つかる。

0101

A2. 点Xまでのトランスポートパケットは、それらの到着タイムスタンプに従って伝送される。第1のストリームの最後で、不連続情報テーブル(DIT)を伴なうトランスポートストリームパケットが挿入される。DITは、MPEG自身というよりも、DVB標準システム情報の一部である。基本的には、DITは、部分的なトランスポートストリーム内で不連続が発見されたとことろを規定する。更なる詳細は、ETSI文書EN300468内の、”ディジタルビデオ放送(DVB);DVBストリームに関するサービス情報(SI)の仕様”に記載されている。

0102

A3. 第1のストリームの最後で、トランスポートパケットは第2のストリームに対するプログラム割り当てテーブルPAT共に挿入され、そして、トランスポートパケットは第2のストリームに対するPMT共に挿入される。これらのパケットは、復号器が誤りのあるとして捨てるのを避けるために、適応フィールドAF内に設定された不連続インジケータも有する。

0103

A4. 点Xまで第1のストリームの最後を分析することにより、最後のピクチャのDTSと、点XのSTC(PCR)が決定できる。点XとPAT/PMTに対する挿入されたトランスポートパケットの後に、パケットの送信は、STC値が、最後のフレームのDTSよりも大きくなるまで、中止される。代わりに、1秒の遅延が使用され得る(遅延に対して許容される最大値)。しかしながら、蓄積されたオフセット情報を使用することにより、本装置は、新たなフレームを表示する前のギャップを最小にすることができる。特に、入り口点から前方へ、第2のストリームを調べることにより、再生装置は、新たな時間基準の下でPCR値を見つけるであろう。蓄積されたオフセットは、新たな時間基準に関する現在の時間を得るために、第1のストリーム中に動作しているSTCに加えられる。これが、第2のシーケンスの入口点で符号化されたPCRと一致するときには、パケットの送信が続けられる。全ての入り口点は、すぐ近くに、便利に符号化されたPCRを有することにの注意する。しかしながら、装置は、編集点の前後で読出し、そして、PCR符号間の(新たな時間基準の下での)望ましいSTCを推定し又は、単純に次のPCRが到着するまで待つことが可能である。1つのPCRと次の間で、少なくとも0.04秒後とに繰返すという推奨と共に、最大0.1秒のギャップが許されている。従って、新たな時間値が瞬時に利用できない場合でも、通常は、そうでなく示されている”安全な”1−秒遅延よりもかなり早く、安全にパケットのフィードを回復することが可能である。

0104

A5. 位置Xまでのストリームに分析中に、最後のビデオフレームが開始するのを知るのは簡単である。最後のビデオフレームと野獣されているデータの分析中に、新たなオーディオフレームの先頭が見つけられると、このオーディオパケットと同じPIDの全ての後続のオーディオパケットは、そのPIDを0x1FFF(ヌルパケット)に変更される。これは、部分的なオーディオフレームが復号器に送られるのを防ぐためである。これは、全てのオーディオPIDに対して行われる。オーディオフレームはトランスポートパケットと整列されていないので、次のオーディオフレームの先頭を除去するために最後のオーディオパケットの部分をスタッフィングする必要がある。スタッフィングは、PESスタッフィングパケットを加えるか又は、適応フィールドを加えることによるいずれかによりなされうる。適応フィールドは、MPEG仕様に規定されているように、PESパケットに、望ましい幾つかのデータバイトを加えることを可能とする。データは、スタッフィング目的のために意味がない。

0105

A6. 第2のストリームは、点Yの再生で開始し、これは、(プレイリストともに蓄積されたCPIから見つかった)入力点の後のGOPの開始である。第2のストリームは、上述及び、ステップA4で定義された遅延の後にそして、対応するオフセットと共に、トランスポートパケットが到着タイムスタンプに従って伝送された後に、再生を開始すべきであり。

0106

A7.エレメンタリーストリームは自分自身のPIDを有する。ビデオPIDに対しては、不連続インジケータが1に設定されたトランスポートパケット、及び、stream_id0xBE(パディングストリーム)を有するPESパケットが、第1のビデオストリームよりも小さく1が設定された連続性カウンタと共に挿入される。

0107

A8. 第1のビデオPTS前のPTSを有するオーディオ(”リーディングオーディオ”)は捨てられる。

0108

A9. 各オーディオPIDに対して、全てのパケットは、次のオーディオフレームの開始まで削除されるべきである。第1の残りのオーディオトランスポートパケットが適応フィールドを有する場合には、不連続インジケータは1に設定されるべきである。再び、前のオーディオフレームの最後を除去するために、第1のオーディオパケットにスタッフィングすることが必要であろう。

0109

A10. 専用のPCRPIDがある場合には、不連続インジケータは第1のパケット内にPCRと共に設定される。PCR PIDが、オーディオ又は、ビデオと共用されている場合には、このインジケータは適応フィールド内にあるので、一般的には、不連続インジケータを設定するのは便利ではない。適応フィールドを挿入することは、パケットのペイロードを変更し、残りのストリームを再パケット化し、そして再時間付けすることを必要とする。これは特に、一旦インジケータが設定されると、PCRまで、全てのパケット内に設定されねばならない。STBの動作は、これがなされなければ、MPEG仕様では定義されない。

0110

シームレス再生のための複雑な編集

0111

複雑な編集−生成

0112

更に複雑な編集の場合には、ブリッジシーケンスが、図6を参照して、上述のように生成される。しかしながらここで説明する新しい方法と装置は以下の追加の制約を適用する。

0113

1.オーディオ表示内には小ギャップ(<1フレーム期間)があり、オーバーラップしていない。これは、オーディオストリームをディジタルインターフェースを介して送るときに、標準復号器の混乱を避ける。これと対照して、WO−A−00/00981(PHB34262)で、ゼロと1フレームの間の正の重なりが設けられねばならない。両アプローチは、利点がある。重なりの1つの優位点は、組み込み復号器がオーディオ編集を標準復号器よりも、望む場合には、例えば、1つのストリームから他のストリームへクロスフェードにより、高度に扱える。しかしながら、ディジタルインターフェースを介して標準復号器(STB)で再生するときには、装置は重なりの1つ又は他の部分を抑圧しなければならない。

0114

2. 2つの場合が、オーディオを扱うのに適応される。第1には、オーディオはMPEG−2バッファの制約に合わせるために再度多重され、第1のストリームからのいくつかのオーディオは第2のストリームのビデオと多重されることを意味する。編集点の後に来る第1のストリームからのオーディオフレームに対するPTS/DTS値は、第2のストリームの時間基準を基準にする適切なオフセットに変更されねばならない。トランスポートストリームシステムターゲットデコーダ(T−STD)は、プログラムストリームのオーディオバッファモデル(P−STD)と異なる。ブリッジ生成中に、再た住されたストリームがT−STDを満足することは保証されねばならない。

0115

第2の場合には、第1と第2のデータストリームの間で維持されているきれいな切れ目での混合はない。ディジタルインターフェースを介したそのような編集されたシーケンスの再生では、幾つかのオーディオは、以下に詳細に説明するように、STB内でバッファ問題をさけるために捨てられる。

0116

3.ブリッジが生成されたときに、はじめに連続性カウンタCCは、前のストリームと一貫性を持つようになされるべきである。

0117

4.ブリッジシーケンスの最後での連続性カウンタ(CC)に関しては、これは、編集されたストリームが誤って捨てられることを避けるために、どうしても存在しなければならない。ブリッジシーケンスのCC値は、ブリッジシーケンスの構成中に自由に設定することができるが、しかし、いずれかの側のブリッジの蓄積されたシーケンスのCC値は固定とみなされることに注意する。

0118

第1の実施例では、各ストリームに対する連続性カウンタは、ブリッジシーケンスを通して着実に増加するように設定され、特に編集点をわたって、連続性が提供される。偶然によってのみ、ブリッジシーケンス内の各ストリーム内の幾つかのパケットは、編集されたストリーム内の幾つかの点で、連続性カウント内の不連続を避けるために丁度必要とされる数である。

0119

従って、ブリッジシーケンスの最後で、(PESヘッダのみでデータがない)空のPESパケットを挿入することにより、連続性カウンタは、残りのストリームと一貫性があるようになされる。再生装置が第2のストリームにジャンプして戻る点は、オーディオとビデオのりょうほうに対するPESパケットの先頭であるという保証されてはおらず、そして、”実際の”PESパケットの真中にパディングパケットを挿入するために、ペイロードとパケット構造が壊されるであろう。従って、各エレメンタリーストリーム内のCCパディングは、ブリッジシーケンスの最後の前の適切な点でおこなわれ、それにより、新たなパケットは、オーディオとビデオの両方の新たなPESパケットヘッダの前に挿入される。ブリッジ内の最後の数のパケットが考慮される場合には、ブリッジシーケンス内の最終のカウンタ値は、以下のストリームと一貫性があるようになされる。この状況では、配置規則に合わせるために単にコピーされるパケットを除いて、ブリッジシーケンスの”コア”のみを考えれば十分である。

0120

MPEGはトランスポートストリームのパディングに対してヌルパケットを定義することに注意する。しかしながら、それらは、復号器内の連続性カウント機能により無視されるので、ブリッジシーケンス内のCCパディング目的に対しては使用できない。ヌルパケットは、再多重処理により挿入され又は、削除されてもよく、そして,それゆえに、復号器へのヌルパケットのペイロードを送ることは仮定できない。発明者は、PESパケットが各パディングパケット内に含まれる場合には、CCパディングは達成されることを認識する。MPEG復号器は、ペイロードのないパケットに対して、連続性カウンタを増加しない。CCパディングの目的のために、それゆえに、本装置は、完全なしかしその中が空のPESパケットと伴なう、本物のトランスポートパケットを使用する。

0121

そのような空のパケットに対して異なるフォーマットが可能である。好適な例が、標準のMPEG構文を使用して、付録Aに示されている。MPEGは、オーディオ/ビデオESパケットヘッダにスタッフィングを許しているが、最大で32スタッフィングバイトが許されるので、このオプションは好適ではない。付録Aの例では、スタッフィングは追加のエレメンタリーストリーム(stream_id=padding_streamID0xBE)を使用して行われ、実際のペイロードは使用されない(図7のSIDとISO/IEC13818−2セクション2.4.3.7参照)。付録Bは、スタッフィングが、有効なビデオ又は、ビデオESの適応フィールド内で実行される場合の代替を示す。付録Cは、専用のパディングストリームの適応フィールド内のスタッフィングを伴なう、他の代替を示す。

0122

複雑な編集−説明の例

0123

図9は、上述の連続するステップとして示された、本実施例のブリッジシーケンスになされた変形を示す。配置規則(図6の斜線)に従うためにコピーされたデータは、簡単のために省略されている。上述したように、各エレメンタリーストリーム(各PID)は別々の扱いを必要とし、オーディオストリームのTSパケットはビデオパケット後ろに、破線で示されている。言うまでもないが、真のブリッジシーケンスは、典型的には、数千の188−バイトパケットを含み、その幾つかのみが本処理の主な特徴を説明するために示されている。同様に、ビデオとオーディオパケットの比は、一般的には図に示されているよりもかなり低く、実際は、約12:1である。

0124

ビデオストリームでは、説明のために、ブリッジシーケンスの終わりの近くのパケットは図中で2重線で示され、装置は、第2のストリームSEQ2の入口点の前で最後のPESヘッダを発見した。4−ビットCC値は、各パケット内の16進の桁(’0’から’9’、’A ’から’F’)により示されており、所定のPID内で送られた各パケットで1だけ増加する。太線のパケットは、編集処理によりビデオストリームに挿入された空のパケットである。ブリッジシーケンス内の他のパケットは、記録され及び/又は再度多重される。それらのCC値は、太線で示されている。SEQ2内の第1のパケットは、ビデオシーケンスヘッダが第2のストリームへの有効な入り口点を提供することを示すために、3重線である。

0125

前向きの第1のストリームからの連続性カウンタ値のシーケンスに続いて、第1のストリームSEQ1内のビデオESは、(ブリッジシーケンスの記録された部分へのジャンプの目的のために)CC=5を有するパケットで終わるのが分かる。ブリッジ内のビデオESデータの第1のパケットは従って、ブリッジシーケンスの構成中にCCが6に設定され、第1のストリームSEQ1からの出口点を渡って連続性を提供し、そして、その点からCCの値は、編集点(図示していない)とブリッジシーケンスの最後に向かって、7,8等と続く。

0126

ある点で、編集点に関連する新たなPMT,PAT及び、PCRを蓄積する必要がある。この実施例では、太線で示された、ブリッジの第1のパケットは、PAT、PMT及び、その他の符号を担うために挿入されたPID=0のパケットである。これらは、フィールドscurrent_next_indicator、即ち、”次”で送られ、それらが編集点の後のシーケンスの対して準備されていることを示す。PID=0を有するストリームに対するCC値のシーケンスは、ビデオとオーディオストリームに対するシーケンスから独立している。例として、最初のストリームSEQ1内のPID=0の最後のTSパケットは、CC=8を有することに基づいて、PAT/PMTを伴なう挿入されたパケットがCC=9で示される。

0127

主な例として、ビデオESに戻ると、ディスク上に蓄積された第2のストリームSEQ2内の第1のパケットは、CC=3を有し、そして、これは、変更されない。再符号化及び、再多重の後に、ブリッジシーケンスのコアは、第1のストリームSEQ1の出口点からの連続性で、ブリッジ内の最後のCC値は’D’であることが見つかり、これは、第2のストリームに連続するのに要求される値に5つ足らないことがわかる。従って、この例の編集装置は、第2のストリーム(SEQ2)と連続させるために、ブリッジの最後に、5つの空のパケットを挿入する。ブリッジシーケンスの最後からCC=2,1、0等に戻してカウントすると、CC=Eを有する2重線の外形で示されたパケットが、PESヘッダを有するビデオESに対する最後のTSパケットと一致することが分かる。装置は、CC=9、A,B,C及びDを有する、その5つの更なる空のパケットをこの前にすぐに挿入し、それにより、編集を通してCCの連続性を確立する。

0128

異なる数の空パケットが、オーディオとシステム情報ストリームの各々で適切であり、そして、ブリッジ内の最後のPESヘッダの位置は、ビデオストリームのそれと異なる。簡単のために、パケットの挿入をビデオESのみ、図9に示す。

0129

ビット値は、戻るので、各ストリーム内に15以上の空パケットを挿入する必要はないことは理解されよう。同様に、16の内の約1つの時間は、CCは偶然に編集をわたって連続なので、更に、空パケットが挿入される必要がない。挿入されるパケットは、示されているように最後の可能な点で束ねられる必要はないが、前の点では可能でありそして、好ましいなら、長い時間間隔をわたって広げられることは、明らかである。

0130

不連続性カウンタは、時間基準が変わるところでのみ設定される必要があり、それは原理的に、ブリッジシーケンスのどこでも可能性があるが、しかし、ブリッジシーケンスの真中のどこかの、所望の編集点で実行するのが最も簡単である。

0131

上述の技術の変形では、連続性カウンタの不連続は(ブリッジ内で)編集点で残るが、しかし、連続性カウンタの不連続が発生するところのパケット内で不連続インジケータがビットが設定される。MPEGに従った不連続状態は、新たなシーケンスヘッダが見つかるまで続くことを思い出す。通常は、編集点後に、ビデオシーケンスヘッダと、新たなオーディオフレームの開始があり、不連続状態は再生で効果がない。この変形を採用するために、ブリッジの最後で、連続性カウンタを一貫性があるようにするために、ブリッジの最後から前に動作することが要求される。

0132

ディジタルインターフェースを介しての複雑な編集物の再生

0133

編集とブリッジシーケンスがシームレスにMPEG−2に従うように構成されるので、再生装置は少ない処理労力である。時間基準の不連続性(PCRタイムスタンプ)と更なるオーディオがあるという問題のみがある。

0134

再生に際し、PCRの不連続は、ストリームから次により除去される。

0135

C1.PCRパケット内の不連続インジケータを0に設定する。

0136

C2. 全てのPCR/DTS/PTS値を、編集点の前の最後のPTSと編集点後の最初のPTSの間のオフセットにより、更新する。

0137

後続の編集点に対しては、新たなオフセットが前のオフセットに加えられねばならずそして、結合された値が使用される。

0138

代わりとして、PCRの不連続が除去できない場合には、DITテーブルを有するトランスポートパケットが編集点に挿入される。

0139

オーディオバッファモデルに伴なう問題を避けるために、いくつかのオーディオパケットを削除することが必要であろう。第1のストリームSEQ1内の最後のビデオフレームの終わりの後に、新たなフレームの開始が一度見つけられると、そのパケットと全ての後続のオーディオパケットは、ディジタルインターフェースで送る前に削除されねばならない。従来のヌルTSパケットは、そこに挿入され、TSフォーマットを維持する。リーディングオーディオ(即ち、最初のビデオパケットに先立つオーディオ)がバッファオーバーフローの問題を避けるために同様に削除される。

0140

代わりの実施例

0141

一般的に理解されるように、前述の例はフィールドごとの編集と言うよりも触れごとの編集に関連する。これは、MPEGのビデオ符号化の一般的な単位が、フレームであるためである。当業者には、(前述の)MPEGに従うことが必須ではないことと、ここに説明した技術が非MPEGフィールド基準のデータにも適用できることは理解されよう。

0142

上述の点4でのブリッジシーケンスのパケット内の連続性カウンタの扱いを参照して、シームレス編集の要求を満たす、代わりの方法が考えられる。しかし、再生時の特別の処理が最小なので、上述の技術が好まれる。そのような代わりのものは、ブリッジ形成中に連続性カウンタを補正しないものである。上述のように、各PIDストリームに追加のパケットを挿入することにより、再生中に、連続性カウンタが、編集点をわたって連続とされる。
付録A
付録B
付録C

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ