図面 (/)

技術 オーディオコンテンツのオーサリング及びレンダリング方法及び装置

出願人 ドルビーラボラトリーズライセンシングコーポレイション
発明者 ロビンソン,チャールズキュートウィンゴ,ニコラエールシャバニュ,クリストフ
出願日 2017年7月5日 (2年0ヶ月経過) 出願番号 2017-131759
公開日 2017年12月7日 (1年7ヶ月経過) 公開番号 2017-215592
状態 特許登録済
技術分野 音声の分析・合成
主要キーワード システム限界 リニア位置 自己中心 コーディング要素 サウンドイベント ミキシング段 メイン空間 ルームサイズ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年12月7日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (12)

課題

シネマサウンドフォーマットと、スピーカレイアウト及び関連する空間記述を含む処理システムのためのシステムと方法を提供する。

解決手段

効果

ミックスとレンダが同じチャンネル構成レンダリング構成への下向き適応された単一のインベントリを用いる時、すなわちダウンミキシング時、芸術的意図の最適な再生を提供する。

概要

背景

背景技術セクションで説明する主題は、背景技術セクションで言及するからというだけで先行技術であると考えてはならない。同様に、背景技術セクションで言及する、または背景技術セクションの主題に関連する問題は、先行技術で事前に認識されていたと間が手はならない。背景技術セクションの主題は、単に複数の異なるアプローチを表し、それ自体も発明であり得る。

フィルム付きサウンドの登場以来、映画サウンドトラックに関するクリエータ芸術的意図を捉え、それをシネマ環境で正確に再現するのに用いられる技術は安定的に進化してきた。シネマサウンドの基本的役割は、スクリーンに映されるストーリーサポートすることである。典型的なシネマサウンドトラックは、スクリーン上の要素が画像に対応する異なる多くのサウンド要素である、会話ノイズ、異なるオンスクリーン要素から発せられバックグラウンドミュージック周辺効果と結びついて全体的な聴衆体験を形成するサウンドエフェクトを含む。クリエータやプロデューサの芸術的意図は、音源位置、強さ、動き、その他の同様なパラメータに関して、スクリーンに映されるものにできるだけ近く対応するように、これらのサウンドを再生させる望みを表している。

現在のシネマオーサリング、配信、及び再生には、真に没入的な実物そっくりなオーディオの生成を制約する制限がある。従来のチャンネルベースオーディオシステムは、ステレオや5.1システムなどの再生環境の個別のスピーカにスピーカフィード形式オーディオコンテンツを送る。デジタルシネマの登場でフィルム上のサウンドについて、オーディオの16チャンネルまでの組み込みなど、新しい標準が生まれ、コンテンツクリエータに大きなクリエイティビティを与え、聴衆により包囲的かつ現実的な音響体験を与えている。7.1サラウンドシステムの登場により、既存の左右のサラウンドチャンネルを4つのゾーンに分割して、サウンドデザイナーミキサーの範囲を増大してシアターにおけるオーディオ要素ポジショニングを制御することにより、サラウンドチャンネル数を増やす新しいフォーマットが提供された。

リスナの体験をさらに向上するため、仮想的な3次元環境におけるサウンドの再生が研究開発エリアになった。サウンドの空間表現は、オーディオオブジェクトを利用する。オーディオオブジェクトは、オーディオ信号と、それに関連する、見かけソース位置(例えば、3D座標)、見かけのソース幅、及びその他のパラメータのパラメトリックソース記述である。オブジェクトベースオーディオは、デジタルムービービデオゲームシミュレーション、3Dビデオなど現在の多くのマルチメディアアプリケーションにますます使われつつある。

空間的オーディオを配信する手段として、従来のスピーカフィードやチャンネルベースオーディオを越える拡張が必須であり、モデルベースオーディオ記述に大きな関心が寄せられている。モデルベースオーディオ記述は、リスナ/エギジビタに、個別のニーズバジェットに合った再生構成を選択させ、オーディオを彼らが選択した構成でレンダさせる自由を約束ものである。ハイレベルでは、現在、4つのメイン空間的オーディオ記述フォーマットがある:予定(nominal)スピーカ位置のスピーカを意図した信号としてオーディオが記述されるスピーカフィード;
所定アレイ中の仮想または実際のマイクロホンによりキャプチャされた信号としてオーディオが記述されるマイクロホンフィード;
記述された位置におけるオーディオイベントシーケンスについてオーディオが記述されるモデルベース記述;及び
リスナのに届く信号によりオーディオが記述されるバイノーラル。これらの4つの記述フォーマットは、オーディオ信号をスピーカフィードに変換する一または複数のレンダリング技術と関連付けられることが多い。現在のレンダリング技術には、オーディオストリームが一組のパニング則(panning laws)と既知のまたは仮定のスピーカ位置とを用いてスピーカフィードに変換される(一般的には配信前にレンダされる)パニング(panning);マイクロホン信号を変換してスケーラブルスピーカアレイ用にフィードする(一般的には、配信後にレンダされる)Ambisonics;サウンドイベントサウンドフィールドを合成するために適当なスピーカ信号に変換される(一般的には配信後にレンダされる)WFS(wave field synthesis);一般的にはヘッドホンを用いるが、スピーカとクロストークキャンセレーションも用いられ、L/R(左/右)バイノーラル信号が左右の耳に送られる(配信の前または後にレンダされる)バイノーラルがある。これらのフォーマットのうち、単純かつ有効なので、スピーカフィードフォーマットが最も一般的である。(最も正確かつ最も信頼できる)最高の音的結果は、ミキシングモニタリング及びスピーカフィードへの直接の配信により実現できる。コンテンツクリエータとリスナとの間の処理がないからである。再生システムが予め分かっている場合、スピーカフィード記述は一般的に最も高い忠実性を提供する。しかし、多くの実際のアプリケーションでは、再生システムは分からない。モデルベース記述は、最も適応的であると思われる。レンダリング技術に関する仮定をせず、そのためにどのレンダリング技術にも容易に適用できるからである。モデルベース記述は空間的情報を効率的に捕捉するが、音源の数が増えるにつれて、非効率的になる。

長年にわたって、シネマシステムでは、レフトセンターライト、及び場合によっては「インナーレフト」と「インナーライト」チャンネルの形式の離散的スクリーンチャンネルを用いてきた(have featured)。これらの離散的ソースは、一般的に、サウンドをスクリーンの異なるエリアに正確に配置し、サウンドがロケーション間を移動またはパン(panned)するにつれ音質マッチングをさせるのに十分な周波数応答パワーハンドリングを有する。リスナ体験を向上する最近の開発では、リスナに対する、サウンドのロケーションを正確に再生する試みがなされている。5.1システムでは、サラウンド「ゾーン」は複数のスピーカの配列を有し、そのすべてがレフトサラウンドゾーンとライトサラウンドゾーンのそれぞれにおいて同じオーディオ情報を有する。かかる配列(arrays)は「環境の(ambient)」または拡散したサラウンド効果には有効化も知れないが、日常では、サウンド効果ランダムに配置された点音源から発せられる。例えば、レストランでは、そこら中から環境音楽が流されている一方で、捉えにくいが個別のサウンドが、例えば、ある点からは人の話し声、他の点からはお皿にナイフが当たる音などが、複数の点から発せられる。かかるサウンドを観客席周りに直接配置できれば、気づくほど明らかでなくても現実感が高くなる。オーバーヘッドサウンドもサラウンドデフィニションの重要な成分である。実世界では、サウンドはすべての方向から発せられ、必ずしも単一の水平面からではない。サウンドが頭上から、すなわち「上半球」から聞こえると、現実感が高くなる。しかし、現在のシステムは、異なる様々な再生環境において異なるオーディオタイプのサウンドの真に正確な再生は提供できない。既存のシステムを用いてサウンドのロケーションの正確な表現試みるには、大量の処理、実際の再生環境に関する知識、及び設定が必要であり、ほとんどのアプリケーションでは現在のレンダリングシステムは実用的ではない。

必要なものは、複数のスクリーンチャンネルをサポートして、オンスクリーンサウンドや会話のデフィニションを増やしオーディオ・ビジュアルコヒーレンスを向上するシステムと、音源をサラウンドゾーン中のどこにでも正確に配置して、スクリーンから部屋へオーディオ・ビジュアルトランジションを向上する能力とである。例えば、スクリーン上のキャラクタが部屋の中で音源の方を見ている場合、サウンドエンジニア(「ミキサ」)はそのサウンドを正確に配置して、そのキャラクタの視線と一致し、その効果が観衆中で一貫しているようにする能力を有するべきである。しかし、従来の5.1または7.1サラウンドサウンドミックスでは、その効果はリスナの着席位置に大きく依存するので、大規模リスニング環境では不利である。サラウンドの分解能を高くすると、単一のリスナが「スイートスポット」にいると仮定してコンテンツを作成する従来のアプローチとは反対に、ルームセントリックにサウンドを用いる新しい機会が生まれる。

空間的問題とは別に、現在の技術水準マルチチャンネルシステムは、音質に関しても問題がある。例えば、壊れたパイプから蒸気漏れシューという音などの音質(timbral quality)は、複数のスピーカの配列により再生しなければならない。単一のスピーカにサウンドを向ける能力により、ミキサーは、配列再生(array reproduction)のアーティファクトを無くし、聴衆により現実的な体験を届ける機会を与えられる。従来、複数のサラウンドスピーカは、オーディオ周波数の同じフルレンジと、大きなスクリーンチャンネルがサポートするレベルをサポートしない。歴史的には、これはミキサーの問題となり、スクリーンから部屋にフルレンジサウンドを自由に動かす能力を低減してきた。結果として、シアターのオーナーは、自分のサラウンドチャンネル構成をアップグレードしようとは感じず、より音質の高い装置の普及の妨げになっていた。

概要

シネマサウンドフォーマットと、スピーカレイアウト及び関連する空間記述を含む処理システムのためのシステムと方法を提供する。適応的オーディオシステムは、デジタルシネマプロセッサ内で、単一のトラックファイルにオーディオのエッセンス芸術的意をカプセル化することにより、配信を単純化する。この単一トラックファイルは、広い範囲のシアター構成において忠実に再生できる。ミックスとレンダが同じチャンネル構成レンダリング構成への下向き適応された単一のインベントリを用いる時、すなわちダウンミキシング時、芸術的意の最適な再生を提供する。

目的

シネマサウンドの基本的役割は、スクリーンに映されるストーリーをサポートすることである

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

レンダリングするオーディオコンテンツオーサリングする方法であって、複数のオーディオ信号を受け取る段階と、複数のモノフォニックオーディオストリームと、各オーディオストリームに関連し、それぞれのモノフォニックオーディオストリームの再生ロケーションを示すメタデータとを含む適応オーディオミックスを生成する段階であって、前記複数のモノフォニックオーディオストリームの少なくとも一部分はチャンネルベースオーディオとして識別され、前記複数のモノフォニックオーディオストリームの他の部分はオブジェクトベースオーディオとして識別され、前記チャンネルベースのオーディオの再生ロケーションは、スピーカアレイ中の複数のスピーカのスピーカ指定を含み、前記オブジェクトベースオーディオは3次元空間中ロケーションを含み、各オブジェクトベースモノフォニックオーディオストリームは、前記スピーカアレイの少なくとも一スピーカでレンダリングされる、段階と、前記複数のモノフォニックオーディオストリームを、再生環境中のスピーカに対応する複数のスピーカフィードにレンダリングするように構成されたレンダリングシステムに送信するため、前記複数のモノフォニックオーディオストリームと前記メタデータとをビットストリームカプセル化する段階であって、前記スピーカアレイのスピーカは、前記再生環境内の複数の位置に配置され、各オブジェクトベースモノフォニックオーディオストリームに関連するメタデータ要素は、各オブジェクトベースモノフォニックオーディオストリームが前記複数のスピーカフィードのうちの一以上のスピーカのどれにもレンダリングされないように、各モノフォニックオーディオストリームを前記複数のスピーカフィードのうちの一以上のスピーカフィードにレンダリングすることが禁止されているか示す、段階とを含む方法。

請求項2

前記オーディオコンテンツを含む複数のモノフォニックオーディオストリームの再生レベルを示すようにユーザにより操作されるコントロールを有するミキシングコンソールから、受け取る段階と、ユーザ入力の受け取った時に、各オブジェクトベースストリームに関連するメタデータ要素を自動的に生成する段階とをさらに含む、請求項1に記載の方法。

請求項3

前記複数のモノフォニックオーディオストリームを順序付けて生成する段階をさらに含む、請求項1または2に記載の方法。

請求項4

オーディオ信号をレンダリングする方法であって、複数のモノフォニックオーディオストリームと、各オーディオストリームに関連し、それぞれのモノフォニックオーディオストリームの再生ロケーションを示すメタデータとを含む適応的オーディオミックスをカプセル化したビットストリームを受信する段階であって、前記複数のモノフォニックオーディオストリームの少なくとも一部分はチャンネルベースオーディオとして識別され、前記複数のモノフォニックオーディオストリームの他の部分はオブジェクトベースオーディオとして識別され、チャンネルベースモノフォニックオーディオストリームの再生ロケーションは、スピーカアレイ中のスピーカの指定を含み、オブジェクトベースモノフォニックオーディオストリームの再生ロケーションは、3次元空間中のロケーションを含み、各オブジェクトベースモノフォニックオーディオストリームは、前記スピーカアレイの少なくとも一スピーカでレンダリングされる、段階と、前記複数のモノフォニックオーディオストリームを再生環境中のスピーカに対応する複数のスピーカフィードにレンダリングする段階であって、前記スピーカアレイのスピーカは、前記再生環境内の複数の位置に配置され、各オブジェクトベースモノフォニックオーディオストリームに関連するメタデータ要素は、各オブジェクトベースモノフォニックオーディオストリームが前記複数のスピーカフィードのうちの一以上のスピーカのどれにもレンダリングされないように、各モノフォニックオーディオストリームを前記複数のスピーカフィードのうちの一以上のスピーカフィードにレンダリングすることが禁止されているか示す、段階とを含む方法。

請求項5

各モノフォニックオーディオストリームをレンダリングすることが禁止されている一以上のスピーカフィードは、一以上の指定されたスピーカまたはスピーカゾーンを含む、請求項4に記載の方法。

請求項6

一以上の指定されたスピーカまたはスピーカゾーンは、L、C及びRのうち1つ以上を含む、請求項5に記載の方法。

請求項7

各モノフォニックオーディオストリームをレンダリングすることが禁止されている一以上のスピーカフィードは、一以上のスピーカエリアを含む、請求項4に記載の方法。

請求項8

一以上のスピーカエリアは、前壁後壁左壁右壁天井、床及び室内のスピーカのうち1つ以上を含む、請求項7に記載の方法。

請求項9

各オブジェクトベースモノフォニックオーディオストリームに関連するメタデータ要素は、さらに、サウンド位置、サウンド幅、及びサウンド速さのうち一以上を含む、対応するサウンドコンポーネント再生を制御する空間的パラメータを示す、請求項4乃至8いずれか一項に記載の方法。

請求項10

前記複数のオブジェクトベースモノフォニックオーディオストリームの各々の再生ロケーションは、再生環境または前記再生環境を包み込む面内のスクリーンに対する空間位置であり、前記面は、前平面、後平面、左平面、右平面、上平面、下平面を有し、及び/又は自己中心参照枠または他者中心参照枠のいずれかに対して独立に規定され、自己中心参照枠は前記再生環境のリスナに対して取られ、前記他者中心参照枠は前記再生環境の特性に対して取られる、請求項4乃至8いずれか一項に記載の方法。

請求項11

レンダリングシステムは、前記レンダリングシステムにより利用されるレンダリングアルゴリズムを選択し、前記レンダリングアルゴリズムは、バイノーラルステレオダイポール、Ambisonics、WaveFieldSynthesis(WFS)、マルチチャンネルパンニング位置メタデータを有するローシュテム、デュアルバランス、及びベクトルベース振幅パンニングよりなるグループから選択される、請求項4乃至8いずれか一項に記載の方法。

請求項12

前記複数のオブジェクトベースモノフォニックオーディオストリームの各々の再生ロケーションは、自己中心参照枠または他者中心参照枠のいずれかに対して独立に規定され、自己中心参照枠は前記再生環境のリスナに対して取られ、前記他者中心参照枠は前記再生環境の特性に対して取られる、請求項4乃至8いずれか一項に記載の方法。

請求項13

レンダリングするオーディオコンテンツをオーサリングする装置であって、請求項1ないし3いずれか一項に記載の方法を実行するように構成された一以上のプロセッサを有する、装置。

請求項14

オーディオ信号をレンダリングする装置であって、請求項4ないし12いずれか一項に記載の方法を実行するように構成された一以上のプロセッサを有する、装置。

請求項15

一以上のプロセッサを有する装置により実行されると、前記装置に、請求項1ないし3いずれか一項に記載の方法を実行させる、コンピュータプログラム

請求項16

一以上のプロセッサを有する装置により実行されると、前記装置に、請求項4ないし12いずれか一項に記載の方法を実行させる、コンピュータプログラム。

技術分野

0001

一または複数の実施形態は、概してオーディオ信号処理に関し、より具体的には、シネマホーム、及びその他の環境で用いるためのハイブリッドオブジェクト及びチャンネルベースオーディオ処理に関する。

背景技術

0002

背景技術セクションで説明する主題は、背景技術セクションで言及するからというだけで先行技術であると考えてはならない。同様に、背景技術セクションで言及する、または背景技術セクションの主題に関連する問題は、先行技術で事前に認識されていたと間が手はならない。背景技術セクションの主題は、単に複数の異なるアプローチを表し、それ自体も発明であり得る。

0003

フィルム付きサウンドの登場以来、映画サウンドトラックに関するクリエータ芸術的意図を捉え、それをシネマ環境で正確に再現するのに用いられる技術は安定的に進化してきた。シネマサウンドの基本的役割は、スクリーンに映されるストーリーサポートすることである。典型的なシネマサウンドトラックは、スクリーン上の要素が画像に対応する異なる多くのサウンド要素である、会話ノイズ、異なるオンスクリーン要素から発せられバックグラウンドミュージック周辺効果と結びついて全体的な聴衆体験を形成するサウンドエフェクトを含む。クリエータやプロデューサの芸術的意図は、音源位置、強さ、動き、その他の同様なパラメータに関して、スクリーンに映されるものにできるだけ近く対応するように、これらのサウンドを再生させる望みを表している。

0004

現在のシネマオーサリング、配信、及び再生には、真に没入的な実物そっくりなオーディオの生成を制約する制限がある。従来のチャンネルベースオーディオシステムは、ステレオや5.1システムなどの再生環境の個別のスピーカにスピーカフィード形式オーディオコンテンツを送る。デジタルシネマの登場でフィルム上のサウンドについて、オーディオの16チャンネルまでの組み込みなど、新しい標準が生まれ、コンテンツクリエータに大きなクリエイティビティを与え、聴衆により包囲的かつ現実的な音響体験を与えている。7.1サラウンドシステムの登場により、既存の左右のサラウンドチャンネルを4つのゾーンに分割して、サウンドデザイナーミキサーの範囲を増大してシアターにおけるオーディオ要素ポジショニングを制御することにより、サラウンドチャンネル数を増やす新しいフォーマットが提供された。

0005

リスナの体験をさらに向上するため、仮想的な3次元環境におけるサウンドの再生が研究開発エリアになった。サウンドの空間表現は、オーディオオブジェクトを利用する。オーディオオブジェクトは、オーディオ信号と、それに関連する、見かけソース位置(例えば、3D座標)、見かけのソース幅、及びその他のパラメータのパラメトリックソース記述である。オブジェクトベースオーディオは、デジタルムービービデオゲームシミュレーション、3Dビデオなど現在の多くのマルチメディアアプリケーションにますます使われつつある。

0006

空間的オーディオを配信する手段として、従来のスピーカフィードやチャンネルベースオーディオを越える拡張が必須であり、モデルベースオーディオ記述に大きな関心が寄せられている。モデルベースオーディオ記述は、リスナ/エギジビタに、個別のニーズバジェットに合った再生構成を選択させ、オーディオを彼らが選択した構成でレンダさせる自由を約束ものである。ハイレベルでは、現在、4つのメイン空間的オーディオ記述フォーマットがある:予定(nominal)スピーカ位置のスピーカを意図した信号としてオーディオが記述されるスピーカフィード;
所定アレイ中の仮想または実際のマイクロホンによりキャプチャされた信号としてオーディオが記述されるマイクロホンフィード;
記述された位置におけるオーディオイベントシーケンスについてオーディオが記述されるモデルベース記述;及び
リスナのに届く信号によりオーディオが記述されるバイノーラル。これらの4つの記述フォーマットは、オーディオ信号をスピーカフィードに変換する一または複数のレンダリング技術と関連付けられることが多い。現在のレンダリング技術には、オーディオストリームが一組のパニング則(panning laws)と既知のまたは仮定のスピーカ位置とを用いてスピーカフィードに変換される(一般的には配信前にレンダされる)パニング(panning);マイクロホン信号を変換してスケーラブルスピーカアレイ用にフィードする(一般的には、配信後にレンダされる)Ambisonics;サウンドイベントサウンドフィールドを合成するために適当なスピーカ信号に変換される(一般的には配信後にレンダされる)WFS(wave field synthesis);一般的にはヘッドホンを用いるが、スピーカとクロストークキャンセレーションも用いられ、L/R(左/右)バイノーラル信号が左右の耳に送られる(配信の前または後にレンダされる)バイノーラルがある。これらのフォーマットのうち、単純かつ有効なので、スピーカフィードフォーマットが最も一般的である。(最も正確かつ最も信頼できる)最高の音的結果は、ミキシングモニタリング及びスピーカフィードへの直接の配信により実現できる。コンテンツクリエータとリスナとの間の処理がないからである。再生システムが予め分かっている場合、スピーカフィード記述は一般的に最も高い忠実性を提供する。しかし、多くの実際のアプリケーションでは、再生システムは分からない。モデルベース記述は、最も適応的であると思われる。レンダリング技術に関する仮定をせず、そのためにどのレンダリング技術にも容易に適用できるからである。モデルベース記述は空間的情報を効率的に捕捉するが、音源の数が増えるにつれて、非効率的になる。

0007

長年にわたって、シネマシステムでは、レフトセンターライト、及び場合によっては「インナーレフト」と「インナーライト」チャンネルの形式の離散的スクリーンチャンネルを用いてきた(have featured)。これらの離散的ソースは、一般的に、サウンドをスクリーンの異なるエリアに正確に配置し、サウンドがロケーション間を移動またはパン(panned)するにつれ音質マッチングをさせるのに十分な周波数応答パワーハンドリングを有する。リスナ体験を向上する最近の開発では、リスナに対する、サウンドのロケーションを正確に再生する試みがなされている。5.1システムでは、サラウンド「ゾーン」は複数のスピーカの配列を有し、そのすべてがレフトサラウンドゾーンとライトサラウンドゾーンのそれぞれにおいて同じオーディオ情報を有する。かかる配列(arrays)は「環境の(ambient)」または拡散したサラウンド効果には有効化も知れないが、日常では、サウンド効果ランダムに配置された点音源から発せられる。例えば、レストランでは、そこら中から環境音楽が流されている一方で、捉えにくいが個別のサウンドが、例えば、ある点からは人の話し声、他の点からはお皿にナイフが当たる音などが、複数の点から発せられる。かかるサウンドを観客席周りに直接配置できれば、気づくほど明らかでなくても現実感が高くなる。オーバーヘッドサウンドもサラウンドデフィニションの重要な成分である。実世界では、サウンドはすべての方向から発せられ、必ずしも単一の水平面からではない。サウンドが頭上から、すなわち「上半球」から聞こえると、現実感が高くなる。しかし、現在のシステムは、異なる様々な再生環境において異なるオーディオタイプのサウンドの真に正確な再生は提供できない。既存のシステムを用いてサウンドのロケーションの正確な表現試みるには、大量の処理、実際の再生環境に関する知識、及び設定が必要であり、ほとんどのアプリケーションでは現在のレンダリングシステムは実用的ではない。

0008

必要なものは、複数のスクリーンチャンネルをサポートして、オンスクリーンサウンドや会話のデフィニションを増やしオーディオ・ビジュアルコヒーレンスを向上するシステムと、音源をサラウンドゾーン中のどこにでも正確に配置して、スクリーンから部屋へオーディオ・ビジュアルトランジションを向上する能力とである。例えば、スクリーン上のキャラクタが部屋の中で音源の方を見ている場合、サウンドエンジニア(「ミキサ」)はそのサウンドを正確に配置して、そのキャラクタの視線と一致し、その効果が観衆中で一貫しているようにする能力を有するべきである。しかし、従来の5.1または7.1サラウンドサウンドミックスでは、その効果はリスナの着席位置に大きく依存するので、大規模リスニング環境では不利である。サラウンドの分解能を高くすると、単一のリスナが「スイートスポット」にいると仮定してコンテンツを作成する従来のアプローチとは反対に、ルームセントリックにサウンドを用いる新しい機会が生まれる。

0009

空間的問題とは別に、現在の技術水準マルチチャンネルシステムは、音質に関しても問題がある。例えば、壊れたパイプから蒸気漏れシューという音などの音質(timbral quality)は、複数のスピーカの配列により再生しなければならない。単一のスピーカにサウンドを向ける能力により、ミキサーは、配列再生(array reproduction)のアーティファクトを無くし、聴衆により現実的な体験を届ける機会を与えられる。従来、複数のサラウンドスピーカは、オーディオ周波数の同じフルレンジと、大きなスクリーンチャンネルがサポートするレベルをサポートしない。歴史的には、これはミキサーの問題となり、スクリーンから部屋にフルレンジサウンドを自由に動かす能力を低減してきた。結果として、シアターのオーナーは、自分のサラウンドチャンネル構成をアップグレードしようとは感じず、より音質の高い装置の普及の妨げになっていた。

関連出願との相互参照

0010

本願は、2011年7月1日出願の米国仮出願第61/504,005と2012年4月20日出願の米国仮出願第61/636,429号の優先権を主張するものであり、両出願はその全体をあらゆる目的において参照援用する。

0011

シネマサウンドフォーマットと、新しいスピーカレイアウトチャンネル構成)及び関連する空間記述フォーマットを含む処理システムのためのシステムと方法を説明する。複数のレンダリング技術をサポートする適応的オーディオシステム及びフォーマットを定義する。オーディオストリームは、オーディオストリームの所望の位置を含む「ミキサーの意図」を記述するメタデータとともに伝送される。その位置は、(予め画定されたチャンネル構成内から)指定されたチャンネルとして、または3次元位置情報として、表される。このチャンネル及びオブジェクトフォーマットにより、チャンネルベース及びモデルベースのオーディオシーン記述方法が最適に結合される。適応的オーディオシステム用のオーディオデータは、複数の独立したモノフォニックオーディオストリームを含む。各ストリームは、ストリームがチャンネルベースストリームかオブジェクトベースストリームかを示す、関連するメタデータを有する。チャンネルベースストリームはチャンネル名により符号化されたレンダリング情報を有する。

0012

オブジェクトベースストリームは、別の関連メタデータに符号化された数学的式により符号化されたロケーション情報を有する。元の独立な複数のオーディオストリームは、オーディオデータの全部を含む単一のシリアルビットストリームとしてパッケージされる。この構成により、サウンドが、他者中心的参照枠によりレンダされる。サウンドのレンダリングロケーションは、ミキサーの意図に対応するように、再生環境(例えば、部屋のサイズ、形など)の特性に基づく。オブジェクト位置メタデータは、適応的オーディオコンテンツを再生するように設定された部屋における利用可能なスピーカ位置を用いて、サウンドを正しく再生するのに必要な、適切な他者中心的参照枠情報を含む。これにより、サウンドが、サウンドエンジニアが体験したミックス環境とは異なるかも知れない再生環境に合わせて、最適にミックスされる。

0013

適応的オーディオシステムは、改善された部屋等化(room equalization)とサラウンドバス管理(surround bass management)などの利益により、ミキサーにより音色マッチングに関して考えなくてもスピーカを(オンスクリーンであろうとオフスクリーンであろうと)自由にアドレスできるように、異なる部屋におけるオーディオの品質を改善する。適応的オーディオシステムは、従来のチャンネルベースのワークフローに、動的オーディオオブジェクトの柔軟性とパワーを加える。これらのオーディオオブジェクトにより、クリエータは、オーバーヘッドスピーカを含む再生スピーカ構成にかかわらず、個別のサウンド要素を制御できる。また、このシステムは、ポストプロダクションプロセスに新しい効率を導入し、それによりサウンドエンジニアは、自分の意図の全部を効率的に捕捉して、サラウンドサウンド7.1及び5.1バージョンリアルタイムモニターし、または自動生成できる。

0014

この適応的オーディオシステムは、デジタルシネマプロセッサ内で、単一のトラックファイルにオーディオのエッセンスと芸術的意図をカプセル化することにより、配信を単純化する。この単一トラックファイルは、広い範囲のシアター構成において忠実に再生できる。このシステムは、ミックスとレンダが同じチャンネル構成とレンダリング構成への下向き適応された単一のインベントリを用いる時、すなわちダウンミキシング時、芸術的意図の最適な再生を提供する。

0015

これらの利点及びその他の利点は、シネマサウンドプラットフォームに関連する実施形態を通して提供され、現在のシステム限界を解決し、現在利用できるシステムを越えるオーディオ体験を届ける。

図面の簡単な説明

0016

以下の図面では、同じ参照番号は同じ要素を参照するのに用いられる。以下の図面は様々な例を示すが、一または複数のインプリメンテーションは、図面に示された例に限定されない。
一実施形態による、適応的オーディオシステムを利用するオーディオ生成及び再生環境のトップレベル概要を示す図である。
一実施形態による、適応的オーディオミックスを作成するチャンネル及びオブジェクトベースデータの結合を示す図である。
一実施形態による、適応的オーディオコンテンツを生成、パッケージ、及びレンダリングするワークフローを示すブロック図である。
一実施形態による、適応的オーディオシステムのレンダリング段階を示すブロック図である。
一実施形態による、適応的オーディオシステムのメタデータタイプ及び関連メタデータ要素を列記した表である。
一実施形態による、適応的オーディオシステムのポストプロダクション及びマスタリングを示す図である。
一実施形態による、適応的オーディオファイルを用いるデジタルシネマパッケージングプロセスのワークフロー例を示す図である。
典型的な観客席における適応的オーディオシステムと用いるために示唆されたスピーカロケーションのレイアウト例を示す上面図である。
典型的な観客席で用いるために示唆されたスクリーンのスピーカロケーションの配置例を示す前面図である。
典型的な観客席における適応的オーディオシステムで用いるために示唆されたスピーカロケーションのレイアウト例を示す側面図である。
一実施形態による、基準点に対するトップサラウンドスピーカとサイドサラウンドスピーカの配置例を示す図である。

実施例

0017

適応的オーディオシステム及び方法と、関連オーディオ信号と、複数のレンダリング技術をサポートするデータフォーマットとを説明する。ここに説明する一または複数の実施形態の態様は、ソフトウェア命令を実行する一または複数のコンピュータまたは処理デバイスを含むミキシング、レンダリング、及び再生システムにおいて、ソースオーディオ情報を処理するオーディオまたはオーディオビジュアルシステムインプリメントできる。説明する実施形態のどれも、それだけで、または互いに組み合わせて用いることができる。先行技術の様々な欠陥により様々な実施形態が動機付けられ、これらは本明細書の一または複数の箇所で説明されるが、実施形態は必ずしもこれらの欠陥を解消するものでなくてもよい。言い換えると、異なる実施形態は本明細書で説明される異なる欠陥を解消するものである。ある実施形態は、本明細書で説明するある欠陥を部分的に解消するだけであってもよく、1つの欠陥だけを解消するものであってもよく、ある実施形態はこれらの欠陥をどれも解消しないものであってもよい。

0018

本説明の目的において、以下の用語は関連付けられた意味を有する:
チャンネルまたはオーディオチャンネル:例えば、レフトフロントやライトトップサラウンドなど、位置がチャンネルIDとしてコード化されたモノフォニックオーディオ信号またはオーディオストリーム及びメタデータ。チャンネルオブジェクトは複数のスピーカを駆動し、例えば、レフトサラウンドチャンネル(Ls)はLs配列中のすべてのスピーカをフィードする。

0019

チャンネル構成:関連するノミナルロケーション、例えば、5.1、7.1などを有する所定の一組のスピーカゾーン;
5.1は、レフトとライトのチャンネル、センターチャンネル、2つのサラウンドチャンネル、及びサブウーファチャンネルを有する6チャンネルサラウンドサウンドオーディオシステムを言う;
7.1は、5.1システムに2つの追加的サラウンドチャンネルを追加する8チャンネルサラウンドシステムを言う。5.1及び7.1構成の例は、ドルビー登録商標)サラウンドシステムを含む。

0020

スピーカ:オーディオ信号をレンダ(render)する一オーディオトランスデューサまたは複数のトランスデューサの組。

0021

スピーカゾーン:一または複数のスピーカの配列は、一意的に参照でき、シネマで一般的に見られるように、レフトサラウンドなどの単一のオーディオ信号を受け取り、具体的にオブジェクトレンダリングのために除外または含める。

0022

スピーカチャンネルまたはスピーカフィードチャンネル:画定されたスピーカ構成内における指定されたスピーカまたはスピーカゾーンに関連するオーディオチャンネル。スピーカチャンネルは関連するスピーカゾーンを用いてノミナル(nominally)にレンダされる。

0023

スピーカチャンネルグループ:チャンネル構成に対応する一または複数のスピーカチャンネルの組(例えば、ステレオトラック、モノトラックなど)。

0024

オブジェクトまたはオブジェクトチャンネル:数値的ソース記述を有する一または複数のオーディオチャンネルであって、明らかなソース位置(例えば、3D座標)、明らかなソース幅など。位置が空間内の3D位置としてコード化されたメタデータを有するオーディオストリーム。
オーディオプログラム:完全なセットになったスピーカチャンネル及び/またはオブジェクトチャンネルと所望の空間的オーディオプレゼンテーションを記述する関連メタデータ。

0025

他者中心基準(allocentric reference):レンダリング環境内の例えば部屋の壁や角、標準的スピーカロケーション、スクリーンロケーション(例えば、部屋のフロントレフトコーナー)などにあるフィーチャに対しオーディオオブジェクトが画定された空間的基準

0026

自己中心基準(egocentric reference):オーディオオブジェクトが、(観客)リスナの視点に対して画定された、リスナに対する角度(例えば、リスナの30°右)で指定されることが多い空間的基準。

0027

フレーム:フレームは、オーディオプログラム全体が分割された、独立して復号可能なセグメントオーディオフレームレート境界は一般的にはビデオフレームと合わせられる(aligned)。

0028

適応的オーディオ:チャンネルベース及び/またはオブジェクトベースのオーディオ信号及び再生環境に基づきオーディオ信号をレンダするメタデータ。

0029

ここに説明するシネマサウンドフォーマットと処理システムは、「適応的オーディオシステム」とも呼ばれ、新しい空間的オーディオ記述とレンダリング技術を利用して、観客の没頭を強くし、芸術的な制御を大きくし、システムの柔軟性とスケーラビリティを高め、設置と維持を容易にする。シネマオーディオプラットフォームの実施形態には、ミキシングツールパッカーエンコーダアンパックデコーダ、シアター内ファイナルミックス・レンダリングコンポーネント、新しいスピーカデザインネットワークされた増幅器を含む複数の個別のコンポーネントが含まれる。システムには、コンテンツクリエータとエギジビタ(exhibitors)により用いられる新しいチャンネル構成の示唆が含まれている。本システムは、 などの複数のフィーチャをサポートするモデルベース記述を利用する。レンダリング構成への下向き及び上向き適応した、利用可能スピーカの最適な使用を可能にする単一のインベントリ;
チャンネル間相関を回避する最適化されたダウンミキシングを含む改善されたサウンドエンベロープメント(envelopment);
ステアスルー(steer-thru)アレイ(例えば、サラウンドアレイ中の一または複数のスピーカに動的に割り当てられたオーディオオブジェクト)による高くした空間的解像度
代替レンダリング方法のサポート。

0030

図1は、一実施形態による、適応的オーディオシステムを利用するオーディオ生成及び再生環境のトップレベルの概要を示す図である。図1に示したように、包括エンド・ツー・エンド環境100は、幅広エンドポイントデバイス及びユースケースにわたるコンテンツ作成パッケージング、配信及び再生/レンダリングコンポーネントを含む。全体的システム100は、異なるユーザ体験112を含む多数の異なるユースケースから補足されるコンテンツを端緒とする。コンテンツキャプチャ要素102は、例えば、シネマ、TV、ライブ放送ユーザ作成コンテンツ、記録されたコンテンツ、ゲーム、音楽などを含み、オーディオ/ビジュアルコンテンツまたは純粋なオーディオコンテンツを含む。コンテンツは、システム100内をキャプチャ段階102から最終的ユーザ体験112まで進むにつれて、個別のシステムコンポーネントを通り、複数のキー処理ステップを通過する。これらのプロセスステップには、オーディオの前処理104、オーサリングツール及び処理106、例えばオーディオデータ、追加的メタデータ及び再生情報、及びオブジェクトチャンネルなどをキャプチャするオーディオコーデックによる符号化108が含まれる。圧縮(ロッシーまたはロスレス)、暗号化などの様々な処理効果は、様々な媒体による効率的かつセキュアな配信のため、オブジェクトチャンネルに適用される。適当なエンドポイント特有の復号及びレンダリングプロセス110が適用され、適応的オーディオユーザ体験112を再生し届ける。オーディオ体験112は、適切なスピーカと再生デバイスによるオーディオまたはオーディオ/ビジュアルコンテンツの再生を表し、キャプチャされたコンテンツの再生をリスナが体験する、シネマ、コンサートホールアウトドアシアタ、家または部屋、リスニングブース自動車ゲームコンソール、ヘッドホンまたはヘッドセットシステムパブリックアドレス(PA)システム、またはその他の再生環境などの任意の環境を表す。

0031

システム100の実施形態は、マルチチャンネルオーディオプログラムの効率的な配信と記憶ができ、そのため「ハイブリッド」コーデックと呼ばれることがあるオーディオコーデック108を含む。コーデック108は、従来のチャンネルベースのオーディオデータを関連メタデータと結合して、ミキシング環境と異なるかも知れない環境におけるレンダリング及び再生のために適応され最適化されたオーディオの生成と配信を容易にするオーディオオブジェクトを作成する。これにより、サウンドエンジニアは、リスナの実際のリスニング環境に基づいて、最終的なオーディオがリスナにどのように聞こえるかに関する自分の意図をエンコード(encode)できる。

0032

従来のチャンネルベースオーディオコーデックは、オーディオプログラムがリスナに対して所定の位置でスピーカアレイにより再生されるという仮定の下に動作する。完全なマルチチャンネルオーディオプログラムを生成するため、サウンドエンジニアは、一般的に、多数のオーディオストリーム(例えば、会話、音楽、効果音)をミックスして、総合的に望ましいインプレッションを作成する。オーディオミキシングの決定は、一般的に、具体的なシアターの5.1または7.1システムなど所定の位置のスピーカアレイにより再生されたオーディオプログラムを聞くことにより、なされる。最終的なミックスされた信号は、オーディオコーデックへの入力となる。再生の場合、スピーカがその所定一に配置された時にのみ、空間的に正確なサウンドフィールドが実現される。

0033

オーディオオブジェクトコーディングと呼ばれる新しいオーディオコーディング形式により、別のオーディオストリームの形式でエンコーダへの入力として、区別できる音源(オーディオオブジェクト)が供給される。オーディオオブジェクトの例は、会話トラック、単一インスツルメント、個別のサウンド効果音、そのたのポイントソースを含む。各オーディオオブジェクトは、空間的パラメータに関連し、サウンド位置、サウンド幅、及びベロシティ情報を含むがこれらに限定されない。オーディオオブジェクトと関連パラメータは、配信と格納のためにコード化される。最終的オーディオオブジェクトミキシングとレンダリングは、オーディオ配信チェーン受信端で、オーディオプログラム再生の一部として行われる。このステップは、実際のスピーカ位置の知識に基づき、結果がユーザ特有のリスニング条件に合わせてカスタマイズできるオーディオ配信システムである。チャンネルベースとオブジェクトベースの2つのコーディング形式は、異なる入力信号条件で最適に動作する。チャンネルベースオーディオコーダは、一般的に、異なるオーディオソースの高密度ミクスチャを含む入力信号のコーディングでより効率的である。逆に、オーディオオブジェクトコーダは、少数の方向性が高い音源のコーディングにより効率的である。

0034

一実施形態では、これらの方法とシステム100のコンポーネントは、従来のチャンネルベースオーディオ要素とオーディオオブジェクトコーディング要素との両方を含む一または複数のビットストリームを生成するように構成されたオーディオ符号化、配信、及び復号システムを有する。かかる組合せアプローチにより、チャンネルベースアプローチまたはオブジェクトベースアプローチのどちらと比較しても、コーディング効率とレンダリングの柔軟性が高くなる。

0035

説明の実施形態の他の態様には、所定のチャンネルベースオーディオコーデックを後方互換に拡張して、オーディオオブジェクトコーディング要素を含めることが含まれる。オーディオオブジェクトコーディング要素を含む新しい「拡張レイヤ」が定義され、チャンネルベースオーディオコーデックビットストリームの「ベース」または「後方互換」レイヤに追加される。このアプローチにより、レガシーコーデックにより処理される拡張レイヤを含む一または複数のビットストリームを可能にし、一方、新しいデコーダを有するユーザにはエンハンスされたリスナ体験を提供する。エンハンスされたリスナ体験の一例には、オーディオオブジェクトレンダリングの制御が含まれる。このアプローチの追加的利点は、チャンネルベースオーディオコーデックでエンコードされたマルチチャンネルオーディオを復号/ミキシング/再符号化しなくても、オーディオオブジェクトが配信チェーンのどこで追加または修正されてもよいことである。

0036

基準枠に関して、オーディオ信号の空間効果はリスナに没頭体験を提供するのに重要である。ビューイングスクリーンまたは部屋のある領域から発するように意図されたサウンドは、同じ相対的ロケーションに配置されたスピーカにより発せられるべきである。このように、モデルベース記述のサウンドイベントのプライマリオーディオメタデータは、位置であるが、他のパラメータ、例えば、サイズ、方向、ベロシティ、及び音響分散なども記述され得る。位置を伝えるため、モデルベースの3Dオーディオ空間記述は3D座標系を必要とする。伝送に用いられる座標系(ユークリッド、球面など)は一般的に便利さとコンパクト性で選択されるが、レンダリング処理には他の座標系を用いても良い。座標系に加え、空間内でオブジェクトのロケーションを表すのに基準枠が必要である。様々な異なる環境においてシステムがポジションベースサウンドを正確に再生するため、適当な参照枠の選択が重要な要因である。他者中心参照枠では、部屋の壁やコーナー、標準的スピーカロケーション、スクリーンロケーションなどレンダリング環境内のフィーチャに対して、音源位置が画定される。自己中心的参照枠では、リスナの視点で、例えば「私の前、少し左」などのようにロケーションが表される。空間知覚(オーディオその他)の化学的研究により、自己中心的パースペクティブがほとんど世界的に使われている。しかし、シネマの場合、複数の理由により他者中心が一般的に適切である。例えば、スクリーン上に関連オブジェクトがある場合、オーディオオブジェクトの正確なロケーションが最も重要である。他者中心基準を用いると、すべてのリスニング位置に対して、及び任意のスクリーンサイズに対して、サウンドはスクリーン上の同じ相対位置に、例えば、スクリーンの真ん中の3分の1左に、局在する。他の理由は、ミキサーが他者中心で考えてミキシングし、パンニングツール(panning tolls)が他者中心枠(部屋の壁)で構成され、及びミキサーが、このサウンドはオンスクリーンで、このサウンドはオフスクリーンで、または左の壁からなどとレンダリングされることを期待することである。

0037

シネマ環境において他者中心参照枠の使用にかかわらず、自己中心参照枠が有用でありより適切である場合がある。これらには、非物語世界の音、すなわち、「物語世界」ではないサウンド、例えば、ムード音楽が含まれ、これらについては自己中心的一様なプレゼンテーションが望ましい。他の場合は、自己中心表現を必要とするニアフィールド効果(例えば、リスナの左耳でぶんぶん音をたてている)である。現在、ヘッドホンや非常にニアフィールドなスピーカを用いないでかかるサウンドフィールドをレンダする手段はない。また、無限に遠い音源(及びその結果の平面波)は、一定の自己中心位置(例えば、左に30°)から来るように見え、かかるサウンドは他者中心項よりも自己中心項で記述する方がやさしい。

0038

ある場合には、ノミナルなリスニング位置が画定される限り、他者中心参照枠の使用が可能であり、一方、ある例では、まだレンダできない自己中心表現を必要とする。他者中心参照はより有用かつ適当であるが、オーディオ表現伸縮可能であるべきである。あるアプリケーションやリスニング環境では、自己中心的表現を含む多くの新しいフィーチャが望ましいからである。適応的オーディオシステムの実施形態は、最適な忠実度のため、自己中心参照を用いて拡散したまたは複雑なマルチポイントソース(例えば、スタジアム群衆雰囲気など)の及び他者中心的モデルベースサウンド記述をレンダリングして、空間的解像度とスケーラビリティを高めるための推奨チャンネル構成を含むハイブリッド空間的記述アプローチを含む。

0039

システムコンポーネント
図1を参照して、元のサウンドコンテンツデータ102は、最初に、前処理ブロック104で処理される。システム100の前処理ブロック104は、オブジェクトチャンネルフィルタリングコンポーネントを含む。多くの場合、オーディオオブジェクトは個別の音源を含み、独立したサウンドのパンニングを可能にする。ある場合には、自然なまたは「プロダクション」サウンドを用いてオーディオプログラムを製作する時など、個別のサウンドオブジェクトを複数の音源を含むレコーディングから抽出する必要がある。実施形態には、より複雑な信号から独立なソース信号を分離(isolate)する方法が含まれる。独立したソース信号から分離すべき望ましくない要素には、他の独立した音源と背景ノイズが含まれるがこれらに限定されない。また、リバーブは除かれて「ドライな」音源が回復される。

0040

プリプロセッサ104もソース分離及びコンテンツタイプ検出機能を含む。このシステムは、入力オーディオの分析によるメタデータの自動生成を提供する。位置メタデータは、マルチチャンネルレコーディングから、チャンネルペア間の対応する入力の相対レベルの分析により、求められる。「話し」や「音楽」などのコンテンツタイプの検出は、例えば、特徴抽出分類により実現できる。

0041

オーサリングツール
オーサリングツールブロック106は、サウンドエンジニアの創造的意図の入力とコード化を最適化し、そのエンジニアに現実的に任意の再生環境での再生に最適化された最終的オーディオミックスを生成させることにより、オーディオプログラムのオーサリングを改善するフィーチャを含む。これは、オーディオオブジェクトと、元のオーディオコンテンツに関連し符号化されていた位置データの使用により実現できる。サウンドを観客席に正しく配置するため、サウンドエンジニアは、再生環境の実際の制約と特徴に基づきサウンドが結局どのようにレンダされるか制御する必要がある。適応的オーディオシステムは、サウンドエンジニアに、オーディオオブジェクトと位置データの使用によりオーディオコンテンツが設計されミックスされるしかたを変更させることにより、この制御を提供する。

0042

オーディオオブジェクトは、観客席の物理的ロケーションから発すると知覚されるサウンド要素のグループと考えることができる。かかるオブジェクトは静的であってもよいし、動いても良い。適応的オーディオシステム100において、オーディオオブジェクトはメタデータにより制御される。このメタデータは、なかんずく所与の時点におけるサウンドの位置の詳細である。オブジェクトは、シアターにおいてモニターされまたは再生される時、必ずしも物理的チャンネルに出力されるのではなく、そこにあるスピーカを用いて位置メタデータによりレンダされる、セッション中のトラックはオーディオオブジェクトであり、標準的パンニングデータは位置メタデータに類似している。このように、スクリーン上に配置されるコンテンツは、チャンネルベースコンテンツと事実上同じようにパンされるが、サラウンドに配置されたコンテンツは、必要なら個別のスピーカにレンダされ得る。オーディオオブジェクトの使用により、個々の効果の所望の制御がでくるが、映画サウンドトラックの他の側面は、チャンネルベース環境において有効に機能する。例えば、多くのアンビエント効果反響は、スピーカの配列に入力されることにより実際の利益がある。これらはアレイを満たすのに十分な幅を有するオブジェクトとして扱えるが、チャンネルベース機能をすこし保持するとよい。

0043

一実施形態では、適応的オーディオシステムは、オーディオオブジェクトに加えて「ベッド(beds)」をサポートする。ここで、ベッドは、事実上チャンネルベースのサブミックスまたはシュテム(stems)である。これらは、最終的再生(レンダリング)のために、コンテンツクリエータの意図に応じて、個別に、または単一のベッドに結合されて、配信できる。これらのベッドは、5.1、7.1などの異なるチャンネルベース構成で生成でき、9.1などのより大きいフォーマット及びオーバーヘッドスピーカを含む配列に拡張可能である。

0044

図2は、一実施形態による、適応的オーディオミックスを作成するチャンネル及びオブジェクトベースデータの結合を示す図である。プロセス200で示したように、チャンネルベースデータ202は、例えばパルスコード変調PCM)データの形式で提供される5.1または7.1サラウンドサウンドデータであるが、オーディオオブジェクトデータ204と結合され、適応的オーディオミックス208を形成する。オーディオオブジェクトデータ204は、元のチャンネルベースデータの要素を、オーディオオブジェクトのロケーションに関するパラメータを規定する関連メタデータと結合することにより生成される。

0045

図2概念的に示したように、オーサリングツールは、スピーカチャンネルグループとオブジェクトチャンネルのコンビネーションを同時に含むオーディオプログラムを生成する能力を提供する。例えば、オーディオプログラムは、任意的に複数のグループ(または、ステレオや5.1トラックなどのトラック)にオーガナイズされた一または複数のスピーカチャンネル、一または複数のスピーカチャンネルの記述的メタデータ、一または複数のオブジェクトチャンネル、及び一または複数のオブジェクトチャンネルの記述的メタデータを含み得る。一オーディオプログラム中で、各スピーカチャンネルグループ、及び各オブジェクトチャンネルは、一または複数の異なるサンプルレートを用いて表される。例えば、デジタルシネマ(Dシネマ)アプリケーションは、48kHzと96kHzのサンプルレートをサポートするが、他のサンプルレートをサポートしてもよい。さらにまた、異なるサンプルレートを有するチャンネルの取り込み、記憶、及び編集もサポートできる。

0046

オーディオプログラムの生成は、サウンドデザインのステップを要する。これは、サウンド要素をレベル調整された構成サウンド要素の和として結合し、新しい所望のサウンド効果を生成するステップを含む。適応的オーディオシステムのオーサリングツールは、サウンド効果の生成を、スペーシオビジュアル(spatio-visual)サウンドデザイングラフィカルユーザインタフェースを用いて、相対的位置でサウンドオブジェクトのコレクションとして可能とする。例えば、発音オブジェクト(例えば、車)のビジュアル表現を、オーディオ要素(排気音、タイヤの音、エンジン雑音)をサウンドと適切な空間的位置テールパイプ、タイヤ、ボンネットのところ)を含むオブジェクトチャンネルとして、アセンブルするテンプレートとして用いることができる。個別のオブジェクトチャンネルはグループとしてリンク及び操作できる。オーサリングツール106は、サウンドエンジニアが制御情報を入力しミックスパラメータを見て、システム機能を改善することができる複数のユーザインタフェース要素を含む。また、サウンドデザイン及びオーサリングプロセスは、オブジェクトチャンネルとスピーカチャンネルをグループとしてリンクし操作できるようにすることにより、改善される。一例は、オブジェクトチャンネルを、関連する反響信号を含む一組のスピーカチャンネルを有する個々のドライな音源と結合することである。

0047

オーディオオーサリングツール106は、一般的にはミキシングと呼ばれる、複数のオーディオチャンネルを結合する機能をサポートする。ミキシングの複数の方法がサポートされ、従来のレベルベースミキシングとラウドネスベ—スミシングを含む。レベルベースミキシングでは、ワイドバンドスケーリングがオーディオチャンネルに適用され、スケールされたオーディオチャンネルが足し合わせられる。各チャンネルのワイドバンドスケールファクタを選択して、得られるミクスト信号の絶対レベルと、ミクスト信号中のミックスされたチャンネルの相対レベルを制御する。ラウドネスベースミキシングでは、周波数依存振幅スケーリングを用いて、一または複数の入力信号が修正される。入力サウンドの知覚される音色は保存しつつ、周波数依存振幅を選択して所望の知覚される絶対ラウドネス及び相対ラウドネスを提供する。

0048

オーサリングツールにより、スピーカチャンネルとスピーカチャンネルグループを生成できる。これにより、メタデータは、各スピーカチャンネルグループと関連する。各スピーカチャンネルグループは、コンテンツタイプに応じてタグできる。コンテンツタイプはテキスト記述を介して拡張可能である。コンテンツタイプは、会話、音楽、効果音を含むがこれらに限定されない。各スピーカチャンネルグループには、あるチャンネル構成から他のチャンネル構成にどのようにアップミックスするかに関する一意的な命令が割り当てられ、アップミキシングはN個のチャンネルのうちのM個のオーディオチャンネルの生成として定義される。ここで、M>Nである。アップミックス命令は、次のものを含むがこれらに限定されない:アップミキシングが許可されているかを示すイネーブルディスエーブルフラグ;
入出力チャンネル間のマッピングを制御するアップミックスマトリックス;及び
デフォルトのイネーブルとマトリックス設定はコンテンツタイプに基づき割り当てられる、例えば音楽についてのみアップミキシングをイネーブルにする。また、各スピーカチャンネルグループには、あるチャンネル構成から他のチャンネル構成にどのようにダウンミックスするかに関する一意的な命令が割り当てられ、ダウンミキシングはX個のチャンネルのうちのY個のオーディオチャンネルの生成として定義される。ここで、Y<Xである。ダウンミックス命令は、次の事項を含むがこれらに限定されない:各入出力チャンネル間のマッピングを制御するマトリックス;及び
デフォルトマトリックス設定は、コンテンツタイプ、例えば会話に基づき割り当てでき、スクリーンにダウンミックスする;
効果はスクリーンからダウンミックスされる。各スピーカチャンネルは、レンダリング中のバス管理をディスエーブルするメタデータフラグと関連付けられる。

0049

実施形態には、オブジェクトチャンネルとオブジェクトチャンネルグループの生成を可能にする機能を含む。この発明により、メタデータは、各オブジェクトチャンネルグループと関連する。各オブジェクトチャンネルグループは、コンテンツタイプに応じてタグできる。コンテンツタイプは、テキスト記述を介して拡張可能である。コンテンツタイプは会話、音楽、及び効果を含むがこれらに限定されない。各オブジェクトチャンネルグループには、オブジェクトがどのようにレンダされるべきか記述するメタデータを割り当てられる。

0050

所望の明らかなソース位置を示す位置情報が提供される。位置は、自己中心的または他人中心的参照枠を用いて示せる。自己中心参照は、ソース位置がリスナに参照されるときに適当である。自己中心的位置の場合、位置記述には球面座標が有用である。他人中心参照は、シネマ及びその他のオーディオ/ビジュアルプレゼンテーションの典型的参照枠であり、ソース位置は、ビジュアルディスプレイスクリーンや部屋の境界などのプレゼンテーション環境中のオブジェクトに対して参照される。位置の補間を可能とする、または「スナップ・ツー・モード(snap to mode)」を可能にするなどのその他のレンダリング決定を使用するための3次元(3D)トラジェクトリ情報が提供される。所望の明らかに知覚されるオーディオソースサイズを示すサイズ情報が提供される。

0051

サウンドエンジニアまたはミキサーによる、(ある程度空間的な正確性を犠牲にして)ただ1つのスピーカによりオブジェクトをレンダリングさせる意図を示す「最も近いスピーカへのスナップ(snap to closest speaker)」コントロールにより空間的量子化がされる許可された空間的歪み限界は、エレベーションアジマス許容閾値により示せ、閾値を過ぎると、「スナップ」機能が生じない。距離閾値に加え、クロスフェードレートパラメータを示して、所望の位置がスピーカ間を動く時、動いているオブジェクトがあるスピーカから他のスピーカにどのくらい速く移行するか制御する
一実施形態では、ある位置メタデータには、従属空間メタデータを用いる。例えば、「スレーブ」オブジェクトを、そのスレーブオブジェクトが従うべき「マスター」オブジェクトと関連づけて、そのスレーブオブジェクトに対してメタデータを自動的に生成できる。タイムラグや相対スピードをスレーブオブジェクトに割り当てることができる。複数のオブジェクトのセットまたはグループに対し、音響重心を画定できるメカニズムを設けて、オブジェクトが他のオブジェクトの周りを動くように知覚されるように、オブジェクトをレンダすることもできる。かかる場合には、一または複数のオブジェクトが一オブジェクトまたは支配点などの画定されたエリアまたは部屋のドライエリアの周りを回転する。究極のロケーション情報は、他のオブジェクトに対するロケーションとは反対に、部屋に対するロケーションとして表されるが、レンダリング段階で音響重心を用いて、適切な各オブジェクトベースサウンドのロケーション情報を決める。

0052

オブジェクトは、レンダされるとき、位置メタデータ及び再生スピーカのロケーションにより一または複数のスピーカに割り当てられる。追加的メタデータは、オブジェクトに関連付けられ、使用されるスピーカを限定する。制約の使用により、示されたスピーカの使用を禁止でき、または単に示されたスピーカを阻止できる(制約を使用しない場合よりもそのスピーカへのエネルギーを少なくする)。制約されるスピーカセットは、指定スピーカまたはスピーカゾーン(例えば、L、C、Rなど)、または前壁後壁左壁右壁天井、床、室内のスピーカなどのスピーカエリアを含むがこれらに限定されない。同様に、複数のサウンド要素の所望のミックスを規定する過程では、他の「マスキング」サウンド要素があるために、一または複数の要素を聞こえなくするまたは「マスク」することが可能である。例えば、マスクされた要素は、検出された時、グラフィカルディスプレイを介してユーザに識別され得る。

0053

別途説明するように、広いバラエティのスピーカインストレーションとチャンネル構成におけるレンダリングに、オーディオプログラム記述を適応できる。オーディオプログラムをオーサリングする時、期待の再生構成にいてプログラムをレンダリングする効果をモニターして、所望の結果が実現されていることを確認することが重要である。この発明は、ターゲット再生構成を選択してその結果をモニターする機能を含む。また、このシステムは、自動的に、期待される各再生構成で生成されるワーストケース(すなわち、最高)信号レベルをモニターして、クリッピングリミッティングが起これば、表示を提供できる。

0054

図3は、一実施形態による、適応的オーディオコンテンツを生成、パッケージ、及びレンダリングするワークフローを示すブロック図である。図3のワークフロー300は、生成/オーサリング、パッケージング、及びエギジビションとラベルされた3つの区別できるタスクグループに分割されている。一般的に、図2に示したベッドとオブジェクトのハイブリッドモデルにより、ほとんどのサウンドデザイン、編集、プリミキシング、ファイナルミキシングが今日行われているのと同様に行われ、本プロセス過度なオーバーヘッドを加えない。一実施形態では、サウンドプロダクションと処理機器と共に使われるソフトウェアファームウェア、または回路の形式で、適応的オーディオ機能が提供され、かかる機器は新しいハードウェアシステムであってもよく、または既存のシステムをアップデートする。例えば、プラグインアプリケーションデジタルオーディオワークステーションのために提供され、サウンドデザインと編集内の既存のパンニング方法は変わらなくても良い。このように、ベッドとオブジェクトを両方とも5.1または同様のサラウンド対応の編集室にあるワークステーション内に入れることが可能である。オブジェクトオーディオ及びメタデータは、ダビングシアターにおいて、プリミックス及びファイナルミックス段階の準備のセッションで記録される。

0055

図3に示したように、製作またはオーサリングタスクには、ユーザによる、例えば以下の例ではサウンドエンジニアによるミキシングコントロール302の、ミキシングコンソールまたはオーディオワークステーション304への入力を含む。一実施形態では、メタデータは、魅しキングコンソール面に集積され、これによりチャンネルストリップフェーダ、パンニング、及びオーディオ処理がベッドまたはシュテムとオーディオオブジェクトと協働できる。メタデータは、コンソール面またはワークステーションユーザインタフェースのいずれかを用いて編集でき、サウンドはレンダリング及びマスタリングユニット(RMU)306を用いてモニターされる。ベッドとオブジェクトのオーディオデータ及び関連メタデータは、マスタリングセッション中に記録され、「プリントマスター」を生成する。このプリントマスターは、適応的オーディオミックス310とその他の任意のレンダされた派生物(サラウンド7.1または5.1シアター用ミックス)308を含む。既存のオーサリングツール(例えば、ProToolsなどのデジタルオーディオワークステーション)を用いて、サウンドエンジニアは、ミックスセッション中の個々のオーディオトラックをラベルできる。実施形態は、ユーザがトラック中の個々のサブセグメントをラベルして、オーディオ要素の発見または素早い特定を支援することにより、このコンセプトを拡張する。メタデータの定義または生成を可能にするミキシングコンソールへのユーザインタフェースを、グラフィカルユーザインタフェース要素物理的コントロール(例えば、スライダノブ)、またはこれらの任意の組合せにより実施できる。

0056

パッケージング段階において、プリントマスターファイルは、デジタルシネマパッケージング施設に送るため、オーディオコンテンツのインテグリティ保証するために、業界標準のMXFラッピングプロシージャを用いてラップされ、ハッシュされ、任意的に暗号化される。このステップは、デジタルシネマプロセッサ(DCP)312または任意の適切なオーディオプロセッサにより、シアター318に備えられた標準サラウンドサウンド、適応的オーディオ対応シアター320、またはその他の再生環境など、最終的な再生環境に応じて行える。図3に示したように、プロセッサ312は、エギジビション環境に応じて適当なオーディオ信号314と316を出力する。

0057

一実施形態では、適応的オーディオプリントマスターは、標準的DCI準拠パルスコード変調(PCM)ミックスとともに適応的オーディオミックスを含む。PCMミックスは、ダビングシアターのレンダリング及びマスタリングユニットによりレンダでき、または必要に応じて別個のミックスパスにより生成できる。PCMオーディオは、デジタルシネマプロセッサ312中の標準的メインオーディオトラックファイルを形成し、適応的オーディオは突いて蚊的トラックファイルを形成する。かかるトラックファイルは、既存の業界標準に準拠しており、それを使えないDCI準拠サーバにより無視される。

0058

シネマ再生環境の例では、適応的オーディオトラックファイルを含むDCPは、サーバにより有効なパッケージとして認識され、サーバに取り込まれ、適応的オーディオシネマプロセッサにストリーミングされる。リニアPCMと適応的オーディオファイルを両方とも利用できるシステムは、必要に応じてそれらを切り換えることができる。エギジビション段階への配信のため、適応的オーディオパッケージングスキームにより、単一タイプのパッケージがシネマに配信できる。DCPパッケージは、PCMと適応的オーディオファイルの両方を含む。鍵デリバリーメッセージ(KDM)などのセキュリティ鍵の利用を組み込み、ムービーコンテンツその他の同様のコンテンツのセキュアデリバリーを可能にする。

0059

図3に示したように、サウンドエンジニアが、オーディオワークステーション304により、オーディオコンテンツのレンダリングと再生に関する自分の意図を表現できるようにすることにより、適応的オーディオメソドロジーが実現される。入力コントロールを制御することにより、エンジニアは、リスニング環境に応じて、オーディオオブジェクトとサウンド要素がどこでどのように再生されるか、規定することができる。メタデータは、エンジニアのミキシング入力302に応じて、オーディオワークステーション304において生成され、空間的パラメータ(例えば、位置、ベロシティ、強さ、音色など)を制御し、エギジビション中に、リスニング環境のどのスピーカまたはスピーカグループがそれぞれのサウンドを発する(play)するか規定するレンダリングキューを提供する。メタデータは、DCP312によるパッケージングと伝送のために、ワークステーション304またはRMU306において、それぞれのオーディオデータと関連付けられる。

0060

エンジニアによるワークステーション304の制御を提供するグラフィカルユーザインタフェース及びソフトウェアツールは、図1のオーサリングツール106の少なくとも一部を有する。

0061

ハイブリッドオーディオコーデック
図1に示したように、プロセッサ100はハイブリッドオーディオコーデック108を含む。このコンポーネントは、従来のチャンネルベースのオーディオ要素とオーディオオブジェクトコーディング要素の両方を含む単一ビットストリームを生成するように構成されたオーディオ符号化、配信、及び復号システムを有する。ハイブリッドオーディオコーディングシステムは、第1の符号化プロトコル(チャンネルベース)により符号化されたオーディオデータを復号するように構成された第1のデコーダと、一または複数の第2の符号化プロトコル(オブジェクトベース)により符号化されたオーディオデータを復号するように構成された一または複数の第2のデコーダとに、同時にコンパチブルである(すなわち、それらにより復号可能な)単一の(一体化された)ビットストリームを生成するように構成されたチャンネルベースの符号化システムを中心に作られている。ビットストリームは、第1のデコーダにより復号可能な(どの第2のデコーダによっても無視される)(データバーストの形式の)符号化データと、一または複数の第2のデコーダにより復号可能な(第1のデコーダにより無視される)(例えば、他のデータバーストである)符号化データとを両方とも含み得る。第1と一または複数の第2のデコーダからの復号されたオーディオ及び関連情報(メタデータ)を、チャンネルベース及びオブジェクトベースの情報が両方とも同時にレンダされ、ハイブリッドコーディングシステムに提供された(すなわち、3D空間またはリスニング環境内の)環境、チャンネル、空間情報、オブジェクトのファクシミリを生成するように、結合できる。

0062

コーデック108は、コード化されたオーディオ情報と、複数組のチャンネル位置(スピーカ)に関する情報を含むビットストリームを生成する。一実施形態では、一組のチャンネル位置は一定であり、チャンネルベースの符号化プロトコルに用いられ、一方、他の一組のチャンネル位置は適応的であり、オーディオオブジェクトのチャンネル構成が(そのオブジェクトがサウンドフィールドのどこに配置されるかに応じて)時間の関数として変化してもよいように、オーディオオブジェクトベースの符号化プロトコルに用いられる。このように、ハイブリッドオーディオコーディングシステムは、再生用に2組のスピーカロケーションに関する情報を担っており、一組は一定であり他の組のサブセットであってもよい。レガシーコード化されたオーディオ情報をサポートしているデバイスは、一定のサブセットからオーディオ情報を復号してレンダし、一方、より大きなセットをサポートできるデバイスは、そのより大きなセットから異なるスピーカに時間に依存して割り当てられた追加的コード化されたオーディオ情報を復号してレンダする。さらに、このシステムは、システム及び/またはデバイス内に同時に存在する第1の及び一または複数の第2のデコーダに依存しない。よって、第1のプロトコルをサポートしているデコーダのみを含むレガシー及び/または既存のデバイス/システムは、従来のチャンネルベースの再生システムを介してレンダされる完全にコンパチブルなサウンドフィールドを作る。この場合、ハイブリッドビットストリームプロトコルの未知のまたはサポートされていない部分(すなわち、第2の符号化プロトコルにより表現されたオーディオ情報)は、第1のハイブリッド符号化プロトコルをサポートしているシステムまたはデバイスデコーダにより無視される。

0063

他の一実施形態では、コーデック108は、(第1のプロトコルをサポートする)第1の符号化サブシステムが、ハイブリッドエンコーダ中にある第1と一または複数の第2のエンコーダの両方により表されたすべてのサウンドフィールド情報(チャンネル及びオブジェクト)の結合表現(combined representation)を含むモードで動作するように構成されている。これにより、(典型的には一または複数の第2のエンコーダプロトコルに担われる)オーディオオブジェクトが第1のプロトコルのみをサポートするデコーダ内で表現されレンダされることにより、ハイブリッドビットストリームが、第1のエンコーダサブシステムのプロトコルのみをサポートするデコーダと後方互換性を含む。

0064

さらに他の一実施形態では、コーデック108は、二以上の符号化サブシステムを含む。これらのサブシステムの各々は、異なるプロトコルによりオーディオデータを符号化するように構成され、複数のサブシステムの出力を結合してハイブリッドフォーマットの(一体化された)ビットストリームを生成する。

0065

この実施形態の利益の一つは、ハイブリッドコード化されたオーディオビットストリームが、各々が第1の符号化プロトコルにより符号化されたデータのみを従来からサポートする広い範囲のコンテンツ配信システムで搬送できることである。これにより、ハイブリッドコーディングシステムをサポートするために、システム及び/またはトランスポートレベルのプロトコルの修正/変更が必要でなくなる。

0066

オーディオ符号化システムは、一般的に、標準化されたビットストリーム要素を利用して、ビットストリーム自体中の追加的(任意の)データの伝送を可能にする。この追加的(任意の)データは、ビットストリーム中に含まれる符号化オーディオの復号中にはスキップ(すなわち、無視)されるが、復号以外の目的に用いられる。異なるオーディオコーディング標準は、一意的な用語体系を用いてこれらの追加的データフィールドを表す。この一般タイプのビットストリーム要素には、補助データ、スキップフィールド、データストリーム要素フィル要素、付随的データ、及びサブストリーム要素を含むが、これらに限定されない。特に断らなければ、本文書において「補助データ」との表現の利用は、あるタイプやフォーマットの追加的データを示唆するのではなく、本発明に関連する実施例の一部または全部を含む一般的な表現として解釈すべきである。

0067

結合されたハイブリッドコーディングシステムビットストリーム中の第1の符号化プロトコルの「補助的」ビットストリームを介してイネーブルされたデータチャンネルは、(一または複数の第2の符号化プロトコルで符号化された)一または複数の(独立のまたは従属した)オーディオビットストリームを担い得る。一または複数の第2のオーディオビットストリームは、N個のサンプルブロックに分割でき、第1のビットストリームの「補助データ」フィールドに多重される。第1のビットストリームは、適当な(準拠した)デコーダにより復号される。また、第1のビットストリームの補助データは、抽出され、一または複数の第2のオーディオビットストリームに再結合され、一または複数の第2のビットストリームのシンタックスをサポートしているプロセッサにより復号され、共にまたは独立に結合及びレンダされる。さらに、第1のビットストリームのデータのブロックが第2のビットストリームの補助データに多重されるように、第1と第2のビットストリームの役割を逆転することも可能である。

0068

第2の符号化プロトコルに関連するビットストリーム要素も、その基礎をなすオーディオの情報(メタデータ)特性を担い搬送する。その情報は、所望の音源位置、ベロシティ、及びサイズを含むがこれらに限定されない。このメタデータは、復号とレンダリングのプロセスで利用され、適応可能なビットストリーム中に担われた関連オーディオオブジェクトの適切な(すなわち、元の)位置を再生する。また、上記のメタデータは、ハイブリッドストリームにある一または複数の第2のビットストリームに含まれたオーディオオブジェクトに適用可能であり、これを第1の符号化プロトコルに関連するビットストリーム要素内に担うことも可能である。

0069

ハイブリッドコーディングシステムの第1と第2の符号化プロトコルのどちらかまたは両方に関連するビットストリーム要素は、空間パラメータ(すなわち、信号プロパティ自体のエッセンス)と、ハイブリッドコード化されたオーディオビットストリーム中に担われるオーディオクラスの形式で、基礎となるオーディオエッセンスタイプを記述するさらに別の情報とを特定するコンテキストメタデータを担う/搬送する。かかるメタデータは、例えば、話された会話、音楽、音楽ごしの会話、拍手う声などの存在を示し、ハイブリッドコーディングシステムの上流または下流の、相互接続された前または後処理モジュールを適応的に修正するのに利用できる。

0070

一実施形態では、コーデック108は、コーディングに利用できるビットが一または複数のプロトコルをサポートしている符号化サブシステムの全部または一部間で「共有」されている共有または共通ビットプールで動作するように構成されている。かかるコーデックは、一体化されたビットストリームの全体的な音質を最適化するために、符号化サブシステム間で(共通の「共有」ビットプールから)利用可能なビットを記述する。例えば、第1の時間区間中、コーデックは、第1の符号化サブシステムにより多い利用可能ビットを割り当て、残りのサブシステムにより少ない利用可能ビットを割り当て、第2の時間区間中、コーデックは、第1の符号化サブシステムにより少ない利用可能ビットを割り当て、残りのサブシステムにより多い利用可能ビットを割り当ててもよい。符号化サブシステム間でビットをいかに割り当てるかという決定は、例えば、共有ビットプールの統計的分析及び/または各サブシステムにより符号化されたオーディオコンテンツの分析の結果に依存する。コーデックは、符号化サブシステムの出力を多重することにより構成された一体化ビットストリームが規定時間区間にわたり一定のフレーム長さ/ビットレートを維持するように、共有プールからのビットを割り当てる。また、ある場合には、一体化されたビットストリームのフレーム長さ/ビットレートが規定時間区間にわたり変化することも可能である。

0071

別の一実施形態では、コーデック108は、(第1の符号化プロトコルをサポートしているデコーダが復号する)符号化されたデータストリームの独立サブストリームとして構成され送信された第1の符号化プロトコルにより符号化されたデータと、(第1のプロトコルをサポートしているデコーダが無視する)符号化されたデータストリームの独立なまたは従属するサブストリームとして送られた第2のプロトコルにより符号化されたデータとを含む、一体化されたビットストリームを生成する。より一般的に、一クラスの実施形態において、コーデックは、二以上の独立または従属したサブストリーム(各サブストリームは異なるまたは同じ符号化プロトコルにより符号化されたデータを含む)を含む一体化されたビットストリームを生成する。

0072

さらに別の一実施形態では、コーデック108は、(一意的ビットストリーム識別子と関連する第1の符号化プロトコルをサポートするデコーダが復号する)一意的ビットストリーム識別子で構成され送信された第1の符号化プロトコルにより符号化されたデータと、一意的なビットストリーム識別子と構成され送信された第2のプロトコルにより符号化された、第1のプロトコルをサポートするデコーダは無視するデータとを含む、一体化されたビットストリームを生成する。より一般的に、一クラスの実施形態において、コーデックは、二以上のサブストリーム(各サブストリームは異なるまたは同じ符号化プロトコルにより符号化されたデータを含み、各々が一意的なビットストリーム識別子を担う)を含む一体化されたビットストリームを生成する。上記の一体化されたビットストリームを生成する方法とシステムにより、ハイブリッドビットストリーム中でどのインターリービング及び/またはプロトコルが利用されたか、(デコーダに)曖昧さ無くシグナリングする機能が提供される(例えば、AUXデータ、SKIP、DSE、またはサブストリームアプローチを利用するかシグナリングする)。

0073

本ハイブリッドコーディングシステムは、一または複数の第2のプロトコルをサポートしているビットストリームのデ・インターリービング/デ・マルチプレクシングと、メディア配信システムにわたり見つかる処理ポイントにおいて(第1のプロトコルをサポートしている)第1のビットストリームへの再インターリービング/再マルチプレクシングをサポートするように構成されている。また、ハイブリッドコーデックは、異なるサンプルレートのオーディオ入力ストリームをビットストリームに符号化できるように構成されている。これにより、生来的に異なる帯域幅を有する信号を含む音源を効率的にコーディングして配信する手段を提供する。例えば、ダイアローグトラックは、一般的には、音楽や効果トラックよりも、生来的に低い帯域幅を有する。
レンダリング
一実施形態では、本適応的オーディオシステムにより、複数の(例えば、128までの)トラックを、通常はベッドとオブジェクトの組合せとして、パッケージングすることができる。適応的オーディオシステム用のオーディオデータの基本的フォーマットは、複数の独立したモノフォニックオーディオストリームを含む。各ストリームは、ストリームがチャンネルベースストリームかオブジェクトベースストリームかを規定する、関連するメタデータを有する。チャンネルベースストリームは、チャンネル名またはラベルにより符号化されたレンダリング情報を有する。オブジェクトベースストリームは、別の関連メタデータに符号化された数学的式により符号化されたロケーション情報を有する。元の独立な複数のオーディオストリームは、順序付けられた、オーディオデータの全部を含む単一のシリアルビットストリームとしてパッケージされる。この適応的データ構成により、サウンドが、他者中心的参照枠によりレンダされる。サウンドの最終的レンダリングロケーションは、ミキサーの意図に対応するように、再生環境に基づく。このように、サウンドは、ラベルされたスピーカやスピーカグループ(例えば、レフトサラウンド)ではなく、再生する部屋の参照枠(例えば、左壁の中央)から発するように規定できる。オブジェクト位置メタデータは、適応的オーディオコンテンツを再生するように設定された部屋における利用可能なスピーカ位置を用いて、サウンドを正しく再生するのに必要な、適切な他者中心的参照枠情報を含む。

0074

レンダラは、オーディオトラックを符号化するビットストリームを取り、信号タイプによりそのコンテンツを処理する。ベッドはアレイに送られる。アレイは、潜在的にここのオブジェクトとは異なる遅延及び等化処理を要する。本プロセスは、これらのベッドとオブジェクトの、複数の(64までの)スピーカ出力へのレンダリングをサポートする。図4は、一実施形態による、適応的オーディオシステムのレンダリング段階を示すブロック図である。図4のシステム400に示したように、適応的オーディオ信号402を有する128までのオーディオトラックなどの複数の入力信号は、RMU306とプロセッサ312などのシステム300の製作、オーサリング、及びパッケージング段階のコンポーネントにより提供される。これらの信号は、レンダラ404により利用されるチャンネルベースのベッドとオブジェクトを含む。チャンネルベースのオーディオ(ベッド)とオブジェクトは、異なるオーディオコンポーネント出力レベルまたは振幅を制御するレベルマネージャ406に入力される。あるオーディオコンポーネントは、アレイ補正コンポーネント408により処理される。適応的オーディオ信号は、Bチェーン処理コンポーネント410を通してパスされる。Bチェーン処理コンポーネント410は、複数の(例えば、64までの)スピーカフィード出力信号を生成する。一般的に、Bチェインフィードは、フィルムストックのサウンドトラックを構成するAチェインコンテンツに対して、パワーアンプクロスオーバー、及びスピーカにより処理された信号を指す。

0075

一実施形態では、レンダラ404は、シアターのサラウンドスピーカをその最高の能力までインテリジェントに使うレンダリングアルゴリズムを実行する。サラウンドスピーカのパワーハンドリングと周波数応答を改善し、シアターの各出力チャンネルまたはスピーカの同じモニタリング基準レベルを維持することにより、スクリーンとサラウンドスピーカ間でパン(panned)されるオブジェクトは、自分の音圧レベルを維持して、シアターの全体的な音圧レベルを上げること無く、音色をよりマッチさせることができる。適当に規定されたサラウンドスピーカのアレイは、サラウンド7.1または5.1サウンドトラック(すなわち、基準レベルの20dB上)中で利用可能な最大ダイナミックレンジを再生するのに一般的には十分なヘッドルームを有するが、単一のサラウンドスピーカが大型のマルチウェイスクリーンスピーカと同じヘッドルームを有する可能性は低い。結果として、サラウンドフィールドに配置されたオブジェクトが、単一のサラウンドスピーカを用いて得られるより大きい音圧を必要とする場合がある。これらの場合には、レンダラは、必要な音圧レベルを実現するため、適当な数のスピーカにわたりサウンドを分散する。適応的オーディオシステムは、サラウンドスピーカの品質とパワーハンドリングを改善して、レンダリングの忠実性を改善する。適応的オーディオシステムは、各サラウンドスピーカが改善されたパワーハンドリングを実現できる、同時に任意的により小さなスピーカキャビネットを利用できる、任意的なリアサブウーファの使用によるサラウンドスピーカのバスマネージメントをサポートする。また、現在のプラクティスよりもスクリーン近くにサイドサラウンドスピーカの追加して、オブジェクトがスクリーンからサラウンドにスムースに移行することを確保する。

0076

オーディオオブジェクトのロケーション情報を規定するメタデータをレンダリングプロセスで使うことにより、システム400は、コンテンツクリエータが既存のシステムを越えて動く包括的かつ柔軟な方法を提供する。前述の通り、現在のシステムは、あるスピーカロケーションに固定されたオーディオを、オーディオエッセンス(再生されるオーディオの部分)で搬送されるコンテンツのタイプについての限定的知識だけで、生成して配信する。適応的オーディオシステム100は、特定スピーカロケーションオーディオ(レフトチャンネルライトチャンネル等)と、サイズとベロシティを含むがこれらに限定されない一般化空間情報を有するオブジェクト指向オーディオ要素との両方のオプションを含む新しいハイブリッドアプローチを提供する。このハイブリッドアプローチは、(固定スピーカロケーションにより提供される)忠実性と(一般化オーディオオブジェクトの)レンダリングにおける柔軟性に対するバランスが取れたアプローチを提供する。また、このシステムは、コンテンツ制作時におけるコンテンツクリエータによるオーディオエッセンスとペアになったオーディオコンテンツに関する追加的な有用な情報を提供する。この情報は、レンダリング中に非常にパワフルな方法で用いられるオーディオの属性に関するパワフルで詳細な情報を提供する。かかる属性には、コンテンツタイプ(会話、音楽、効果、フォーリィ(Foley)、背景/周囲など)、空間属性(3D位置、3Dサイズ、ベロシティ)、レンダリング情報(スピーカロケーションへのスナップ、チャンネル重み、ゲイン、バスマネージメント情報など)を含むが、これらに限定されない。

0077

ここに説明する適応的オーディオシステムは、幅広く可変する数のエンドポイントによりレンダするのに使えるパワフルな情報を提供する。多くの場合、適用される最適なレンダリング方法は、エンドポイントデバイスに大きく依存する。例えば、ホームシアタシステムとサウンドバーは、2、3、5、7または9個の別個のスピーカを有することがある。テレビジョン、コンピュータ、及びミュージックドックなどの他の多くのタイプのシステムは、2つのスピーカのみを有し、ほとんどすべての一般に使われるデバイス(PC、ラップトップタブレット携帯電話ミュージックプレーヤなど)はバイノーラルヘッドホン出力を有する。しかし、今日販売されている従来のオーディオ(モノ、ステレオ、5.1、7.1チャンネル)の場合、エンドポイントデバイスは単純化した決定をする必要があることが多く、特定チャンネル/スピーカ形式で配信されているオーディオをレンダ及び再生する妥協をする。また、配信されている実際のコンテンツ(会話、音楽、周囲など)に関して搬送される情報はほとんどまたは全く無く、オーディオ再生についてコンテンツクリエータの意図に関する情報はほとんどまたは全く無い。しかし、適応的オーディオシステム100は、この情報と、潜在的にオーディオオブジェクトへのアクセスを提供する。これらを用いて、人を引きつける次世代のユーザ体験を創造できる。

0078

システム100により、コンテンツクリエータは、一意的及びパワフルなメタデータと適応的オーディオ伝送フォーマットにより、位置サイズ、ベロシティなどのメタデータを用いてビットストリーム中に、ミックスの空間的意図を組み込める。これにより、オーディオの空間再生に大きな柔軟性ができる。空間レンダリングの立場から、適応的オーディオにより、再生システムのジオメトリオーサリングシステムのジオメトリと同じでない場合に生じる空間的歪みを回避するため、ミックスの適応を、部屋におけるスピーカの厳密な位置にすることができる。一スピーカチャンネルのオーディオのみが送られる現在のオーディオ再生システムでは、コンテンツクリエータの意図は分からない。システム100は、生成及び配信パイプラインで搬送されたメタデータを用いる。適応的オーディオ対応(adaptive audio-aware)再生システムは、このメタデータ情報を用いて、コンテンツクリエータの元の意図に合うように、コンテンツを再生する。同様に、ミックスを再生システムの厳密なハードウェア構成に適応させることができる。現在、テレビジョン、ホームシアタ、サウンドバー、ポータブルミュージックプレーヤドックなど、レンダリング機器には多くの異なるスピーカ構成とタイプがある。これらのシステムは、今日、特定チャンネルオーディオ情報(すなわち、レフト及びライトチャンネルオーディオまたはマルチチャンネルオーディオ)を送る時、オーディオを処理して、レンダリング機器の能力に適宜マッチさせなければならない。一例は、標準的なステレオオーディオが三以上のスピーカを有するサウンドバーに送られる時である。一スピーカチャンネルのオーディオのみが送られる現在のオーディオ再生では、コンテンツクリエータの意図は分からない。生成及び配信パイプラインにより搬送されたメタデータの使用により、適応的オーディオ対応再生システムは、この情報を用いて、コンテンツクリエータの元の意図にマッチするように、コンテンツを再生する。例えば、あるサウンドバーは、横向きのスピーカを有し、包み込まれた感じを生じる。適応的オーディオでは、空間情報とコンテンツタイプ(周囲効果など)をサウンドバーにより用いて、適切なオーディオのみをこれらの横向き(side firing)スピーカに送ることができる。

0079

適応的オーディオシステムにより、すべてのフロント/バック、レフト/ライト、アップダウンニアファーディメンションで無制限の補間をできる。現在のオーディオ再生システムでは、リスナが2つのスピーカの間にいると感じるようにオーディオを配置することが望ましいオーディオをどのように処理するかに関する情報は無い。現在、特定のスピーカのみに割り当てられたオーディオでは、空間的量子化ファクタが導入される。適応的オーディオでは、オーディオの空間的位置付けが正確に分かり、オーディオ再生システムにおいて適宜再生できる。

0080

ヘッドホンレンダリングに関して、クリエータの意図は、頭部伝達関数(HRTF)を空間位置にマッチングすることにより実現される。オーディオがヘッドホンで再生される時、頭部伝達関数の適用により、空間的仮想化が実現できる。頭部伝達関数は、オーディオを処理し、オーディオがヘッドホンではなく3D空間で発せられているような感じを生じる知覚的キューを付け加える。空間再生の正確性は、空間的位置を含む複数のファクタに基づき変化し得る適当なHRTFの選択に依存する。適応的オーディオシステムにより提供される空間情報を用いると、一または連続的に変化する数のHRTFが選択され、再生体験が大幅に改善される。

0081

適応的オーディオシステムにより搬送される空間情報は、コンテンツクリエータにより、人を引きつけるエンターテイメント体験(フィルム、テレビジョン、音楽など)の生成に使われるだけでなく、ビルディング地理関心地点などの物理的オブジェクトに対してリスナがどこに配置しているかを示すことができる。これにより、ユーザは、現実世界に関する、すなわち拡張現実に関する仮想化されたオーディオ体験とインターラクトできる。

0082

実施形態は、オブジェクトオーディオデータが利用できない場合にのみメタデータを読むことにより、エンハンスされたアップミキシングをすることにより、空間的アップミキシングを可能にする。すべてのオブジェクトの位置とそのタイプを知ることにより、アップミキサは、チャンネルベーストラック中の要素を差別化できる。既存のアップミキシングアルゴリズムは、オーディオコンテンツタイプなど、及びオーディオストリーム中の異なる要素の位置などの情報を推論し、可聴アーティファクトが最小限のまたは無い高品質アップミックスを生成しなければならない。多くの場合、推論される情報は不正確または不適当である。適応的オーディオでは、オーディオコンテンツタイプ、空間的位置、ベロシティ、オーディオオブジェクトサイズなどに関するメタデータから得られる追加情報を、アップミキシングアルゴリズムにより用いて、高品質の再生結果を生成することができる。また、本システムは、スクリーンのオーディオオブジェクトをビジュアル要素に正確に位置付けすることにより、オーディオをビデオに空間的にマッチさせる。この場合、オーディオ要素の再生される空間的ロケーションがスクリーン上の画像要素にマッチする場合、人を引きつけるオーディオ/ビデオ再生体験が可能であり、特にスクリーンサイズが大きい場合にそうである。一例は、フィルムまたはテレビジョンプログラム中の会話を、スクリーン上で話している人やキャラクタと空間的に一致させることである。通常のスピーカチャンネルベースオーディオでは、スクリーン上の人やキャラクタのロケーションにマッチさせるために、会話が空間的にどこに配置されるべきかを決定する簡単な方法は無い。適応的オーディオで利用可能なオーディオ情報を用いて、かかるオーディオ/ビジュアルアライメントが実現できる。また、ビジュアル位置及びオーディオ空間アライメントを、自動車、トラック、アニメーションなどの非キャラクタ/会話オブジェクトに用いることもできる。

0083

空間マスキング処理がシステム100により促進される。適応的オーディオメタデータによるミックスの空間的意図の知識は、そのミックスを任意のスピーカ構成に適応できることを意味するからである。しかし、人は再生システムの制約により、同じロケーションまたはほとんど同じロケーションにおけるオブジェクトをダウンミックスする危険を冒す。例えば、サラウンドチャンネルがなければ、レフトリアにパンされることを意図されたオブジェクトは、レフトフロントにダウンミックスされ、同時にレフトフロントで音量がより大きな要素がしょうじた場合、ダウンミックスされたオブジェクトはマスクされ、ミックスから消える。適応的オーディオメタデータを用いて、空間マスキングがレンダラにより予定され、各オブジェクトの空間及び/またはラウドネスダウンミックスパラメータが調整されるので、ミックスのすべてのオーディオ要素は、元のミックスと同じくらい知覚可能のままである。レンダラは、ミックスと再生システムとの間の空間的関係を理解しているので、二以上のスピーカ間にファントムイメージを生成する替わりに、最も近いスピーカにオブジェクトを「スナップ」する機能を有する。これは、ミックスの空間表現を少し歪めるが、レンダラが意図しないファントムイメージを回避できる。例えば、ミキシング段階のレフトスピーカの角度位置が、再生システムのレフトスピーカの角度位置に対応しない場合、最も近いスピーカへのスナップ機能を用いて、再生システムにミキシング段階のレフトチャンネルの一定のファントムイメージを再生させることを回避できる。

0084

コンテンツ処理に関して、適応的オーディオシステム100により、コンテンツクリエータは、個々のオーディオオブジェクトを生成し、コンテンツに関する情報を追加でき、再生システムに搬送できる。これにより、再生前のオーディオの処理の柔軟性が大きくなる。コンテンツ処理とレンダリングの立場から、適応的オーディオシステムにより処理をオブジェクトの対応に適応させることが可能である。例えば、会話エンハンスメントは会話オブジェクトのみに適用できる。会話エンハンスメントは、会話の可聴性及び/または明瞭性が高く及び/または向上するように、会話を含むオーディオを処理する方法を指す。多くの場合、会話に適用されるオーディオ処理は、非会話オーディオコンテンツ(すなわち、音楽、周囲効果など)には不適当であり、好ましくない可聴アーティファクトが生じることがある。適応的オーディオでは、オーディオオブジェクトは、一コンテンツに会話のみを含み、レンダリングソリューション会話コンテンツのみに会話エンハンスメントを選択的に適用するように、適宜ラベルできる。また、オーディオオブジェクトが会話のみである(かつ、多くの場合のように、会話とその他のコンテンツのミクスチャではない)場合、会話エンハンスメント処理は、排他的に会話を処理できる(それにより、他のコンテンツに処理がされることを制限する)。同様に、バスマネージメント(フィルタリング減衰、利得)は、それらのタイプに基づきオブジェクトにターゲットにできる。バスマネージメントは、一コンテンツ中のバス(以下の)周波数のみを選択的に隔離して処理することを指す。現在のオーディオシステムと配信メカニズムでは、これはすべてのオーディオに適用される「ブラインド」プロセスである。適応的オーディオでは、バスマネージメントが適当であるオーディオオブジェクトは、メタデータにより特定でき、レンダリング処理を適当に適用できる。

0085

また、適応的オーディオシステム100は、オブジェクトベースの動的レンジ補正と選択的アップミキシングを提供する。従来のオーディオトラックは、コンテンツ自体と同じ長さを有するが、オーディオオブジェクトはコンテンツ中の限られた時間のみに生じることもある。オブジェクトと関連したメタデータは、その平均に関する情報と、ピーク信号振幅と、及びその開始またはアタック時間(特に、遷移素材の場合)を含む。この情報により、コンプレッサは、その圧縮と時定数アタックリリースなど)をコンテンツにより合うように適応する。選択的アップミキシングの場合、コンテンツクリエータは、適応的オーディオビットストリームに、オブジェクトがアップミックスされるべきか否かを示すことを選択するかも知れない。この情報により、適応的オーディオレンダラとアップミキサは、クリエータの意図をリスクトしつつ、どのオーディオ要素が安全にアップミックスできるか、判断できる。

0086

また、実施形態により、適応的オーディオシステムは、複数の利用可能なレンダリングアルゴリズム及び/またはサラウンドサウンドフォーマットから、好ましいレンダリングアルゴリズムを選択できる。利用可能なレンダリングアルゴリズムの例には、バイノーラル、ステレオダイポール、Ambisonics、Wave Field Synthesis(WFS)、マルチチャンネルパンニング、位置メタデータを有する未加工シュテム(raw stems)などがある。他には、デュアルバランスやベクトルベース振幅パンニングがある。

0087

バイノーラル配信フォーマットは、左右の耳における信号に関して、サウンドフィールドの2チャンネル表現を用いる。バイノーラル情報は耳内レコーディングにより生成でき、またはHRTFモデルを用いて合成できる。バイノーラル表現の再生は、一般的にはヘッドホンにより、またはクロストークキャンセレーションを用いることにより行われる。任意のスピーカ設定による再生には、関連サウンドフィールド及び/または信号ソースを決定する信号分析が必要である。

0088

ステレオダイポールレンダリング法は、バイノーラル信号を、(例えば、センターから±10°離れたところの)ステレオスピーカで再生できるようにするトランスオーラルクロストークキャンセレーションプロセスである。

0089

Ambisonicsは、Bフォーマットと呼ばれる4チャンネルで符号化された(配信フォーマット及びレンダリング方法)である。第1のチャンネルWは、無指向性圧力信号である;第2のチャンネルXは、フロント及びバック情報を含む指向性圧力グラジエントである;第3のチャンネルYは、レフトとライトを含む、Zはアップとダウンを含む。これらのチャンネルは、ある点における完全なサウンドフィールドの一次サンプルを画定する。Ambisonicsは、利用可能なすべてのスピーカを用いて、スピーカアレイ内のサンプリング(または合成)されたサウンドフィールドを、一部のスピーカがプッシュしている時に、他のスピーカがプルするように再生成する。

0090

Wave Field Synthesisは、セカンダリソースによる所望のウェーブフィールドの正確な構成に基づく、サウンド再生のレンダリング方法である。WFSは、ホイヘンスの原理に基づき、リスニングスペースを取り囲み、個々の各サウンドウェーブを再生成するように、統制された位相制御された方法で動作する(数十または数百の)スピーカアレイとして実装される。

0091

マルチチャンネルパンニングは、配信フォーマット及び/またはレンダリング方法であり、チャンネルベースオーディオと呼ばれる。この場合、サウンドは、リスナからある画定された角度にある複数のスピーカにより、同数の個別ソースとして表現される。コンテンツクリエータ/ミキサーは、隣接するチャンネル間で信号をパンニングして方向キューを与えることにより、仮想イメージを生成できる;早期の反響やリバーブなどを多くのチャンネルにミックスして方向及び環境キューを提供する。

0092

位置データを有するローシュテム(raw stems with position metadata)は、配信フォーマットであり、オブジェクトベースオーディオとも呼ばれる。このフォーマットでは、区別できる「接近したマイク」によるサウンドソースが、位置及び環境メタデータにより表される。メタデータと再生機器とリスニング環境とに基づき、仮想ソースがレンダされる。

0093

適応的オーディオフォーマットは、マルチチャンネルパンニングフォーマットとローシュテムフォーマットのハイブリッドである。本実施形態のレンダリング方法はマルチチャンネルパンニングである。オーディオチャンネルに対して、レンダリング(パンニング)はオーサリング時に行われ、一方、オブジェクトに対して、レンダリング(パンニング)は再生時に行われる。

0094

メタデータ及び適応的オーディオ伝送フォーマット
上記の通り、メタデータは、生成段階中に生成され、オーディオオブジェクトの位置情報をエンコードし、オーディオプログラムに付随してオーディオプログラムのレンダリングを支援し、具体的には、幅広い再生装置と再生環境におけるオーディオプログラムのレンダリングを可能にするようにオーディオプログラムを記述する。メタデータは、所与のプログラムに対して、及びポストプロダクション中にそのオーディオを生成、収集、編集及び操作する絵できた及びミキサーに対して生成される。適応的オーディオフォーマットの重要な特徴は、ミックス環境と異なる再生システム及び環境に、オーディオがどのようにトランスレートされるかを制御する能力である。具体的には、あるシネマは、ミックス環境よりも機能が劣るかも知れない。

0095

適応的オーディオレンダラは、ミキサーの意図を再生成するのに利用できる装置を最大限利用するように設計されている。さらに、適応的オーディオオーサリングツールにより、ミキサーは、様々な再生構成においてミックスがどのようにレンダされるかをプリビュー及び調整できる。すべてのメタデータ値は、再生環境とスピーカ構成を条件とすることができる。例えば、あるオーディオ要素の異なるミックスレベルは、再生構成またはモードに基づき規定できる。一実施形態では、条件付き再生モードのリストは拡張可能であり、(1)チャンネルベースのみ再生:5.1、7.1、7.1(高さ)、9.1;(2)個別スピーカ再生:3D、2D(高さ無し)を含む。

0096

一実施形態では、メタデータは、適応的オーディオコンテンツの異なる側面を制御または支配し、プログラムメタデータ、オーディオメタデータ、(チャンネル及びオブジェクトの)レンダリングメタデータを含む異なるタイプに基づき組織化される。各タイプのメタデータは、識別子(ID)により参照される特性の値を与える一または複数のメタデータアイテムを含む。図5は、一実施形態による、適応的オーディオシステムのメタデータタイプ及び関連メタデータ要素を列記した表である。

0097

図5の表500に示したように、第1タイプのメタデータはプログラムメタデータである。これは、フレームレート、トラック亜クンと、拡張可能チャンネル記述、及びミックス段階記述を規定する複数のメタデータ要素を含む。フレームレートメタデータ要素は、フレーム/秒(fps)の単位でオーディオコンテンツのフレームレートを規定する。生のオーディオフォーマットは、オーディオまたはメタデータのフレーミングを含まない。オーディオは、オーディオセグメント(オブジェクトの長さ)ではなく、フルトラック(リールまたはフィーチャ全体の長さ)として供給されるからである。生のフォーマットは、適応的オーディオエンコーダが、実際のフレームレートを含む、オーディオとメタデータをフレームできるようにするのに必要なすべての情報を担う必要がある。表1は、フレームレートメタデータ要素のID、値例、及び説明を示す。

0098

トラックカウントメタデータ要素はフレーム中のオーディオトラックの数を示す。適応的オーディオデコーダ/プロセッサの例は、同時に128個のオーディオトラックまでサポートでき、一方、適応的オーディオフォーマットは任意数のオーディオトラックをサポートする。表2は、トラックカウントメタデータ要素のID、値例、及び説明を示す。

0099

チャンネルベースオーディオは、非標準チャンネルに割り当て可能であり、拡張可能チャンネル記述メタデータ要素によりミックスは新しいチャンネル位置を使える。各拡張チャンネルについて、表3に示したように、次のメタデータが提供される:



ミックス段階記述メタデータ要素は、あるスピーカがパスバンドのパワーの半分を再生する周波数を規定する。表4は、ミックス段階記述メタデータ要素のID、値例、及び説明を示すが、ここでLF=Low Frequency;HF=High Frequency;3dB point=スピーカパスバンドのエッジである。

0100

図5に示したように、第2タイプのメタデータはオーディオメタデータである。各チャンネルベースまたはオブジェクトベースオーディオ要素は、オーディオエッセンスとメタデータよりなる。オーディオエッセンスは多くのオーディオトラックのうちの一に担われたモノフォニックオーディオストリームである。関連メタデータは、オーディオエッセンスがどのように格納されるか(オーディオメタデータ、例えばサンプルレート)、またはそれがどうレンダされるべきか(レンダリングメタデータ、例えば所望のオーディオソース位置)を記述する。一般的に、オーディオトラックはオーディオプログラムの長さにわたり連続的である。プログラムエディタまたはミキサーは、オーディオ要素のトラックへの割り当ての責任を有する。トラック使用は粗いことが期待される。すなわち、同時トラック使用のメジアンは16ないし32だけだろう。典型的な実装では、オーディオはロスレスエンコーダを用いて効率的に送信される。しかし、別の実装も可能であり、例えば、コード化されていないオーディオデータやロッシーコード化したオーディオデータを伝送することも可能である。典型的な実装では、フォーマットは、128オーディオトラックまで有する。ここで、各トラックは単一のサンプルレートと単一のデーディングシステムを有する。各トラックは、フィーチャの長さだけ続く(明示的なリールサポートは無い)。オブジェクトからトラックへのマッピング(時間多重)は、コンテンツクリエータ(ミキサー)の責任である。

0101

図3に示したように、オーディオメタデータは、サンプルの要素、ビットデプス、及びコーディングシステムを含む。表5は、サンプルレートメタデータ要素のID、値例、及び説明を示す。

0102

表6は、ビットデプス(bit depth)メタデータ要素のID、値例、及び説明を示す(PCMとロスレス圧縮の場合)。

0103

表7は、コーディングシステムメタデータ要素のID、値例、及び説明を示す。

0104

図5に示したように、第3タイプのメタデータはレンダリングメタデータである。レンダリングメタデータは、レンダラが再生環境にかかわらず元のミキサーの意図にできるだけ近くマッチさせるのを助ける値を規定する。一組のメタデータ要素は、チャンネルベースオーディオとオブジェクトベースオーディオとで異なる。第1のレンダリングメタデータフィールドは、表8に示したように、2つのタイプのオーディオ、すなわちチャンネルベースまたはオブジェクトベースを選択する。

0105

チャンネルベースオーディオのレンダリングメタデータは、オーディオソース位置を一または複数のスピーカ位置として規定する位置メタデータ要素を含む。表9は、チャンネルベースの場合に位置メタデータ要素のIDと値を示す。

0106

また、チャンネルベースオーディオのレンダリングメタデータは、表10に示すように、チャンネルベースオーディオの再生に関する特性を規定するレンダリング制御要素を含む。

0107

オブジェクトベースオーディオの場合、メタデータはチャンネルベースオーディオと同じような要素を含む。表11はオブジェクト位置メタデータ要素のIDと値を与える。オブジェクト位置は3通りの方法、すなわち3次元座標、平面及び2次元座標、または直線及び1次元座標のうちの一で記述される。レンダリング方法は、位置情報タイプに基づき適応できる。

0108

オブジェクトレンダリング制御メタデータ要素のIDと値を表12に示す。これらの値は、オブジェクトベースオーディオのレンダリングを制御し最適かする追加的手段を与える。

0109

一実施形態では、上記の、図5に示したメタデータは、オーディオストリームが、適応的オーディオシステムによりミキサーにより生成されたメタデータを解釈することにより処理されるように、対応するオーディオコンテンツに関連する、またはインデックスされた一または複数のファイルとして生成され格納される。留意点として、上記のメタデータは、ID、値、及び定義の一例であり、適応オーディオシステムで使用するため、他のまたは追加的なメタデータ要素が含まれても良い。

0110

一実施形態では、2(またはそれ以上)の組のメタデータ要素は、チャンネル及びオブジェクトベースのオーディオストリームのそれぞれに関連する。第1組のメタデータは、再生環境の第1の条件の複数のオーディオストリームに適用され、第2組のメタデータは、再生環境の第2の条件の複数のオーディオストリームに適用される。再生環境の条件に基づき、あるオーディオストリームに対して、第2のまたはその後の組のメタデータ要素は、第1の組のメタデータ要素を置き換える。条件には、ルームサイズ、形状、室内の材料組成、部屋に人がいるか否かとその密度、周囲のノイズ特性、周囲の光特性、及び再生環境のサウンドまたはさらにはムードに影響するその他のファクタが含まれる。

0111

ポストプロダクションとマスタリング
適応的オーディオ処理システム100のレンダリング段階110は、ファイナルミックスの生成につながるポストプロダクションステップを含む。シネマアプリケーションでは、ムービーミックスで用いるサウンドの3つのメインカテゴリーは、会話、音楽、そして効果である。効果は、会話や音楽でないサウンド(例えば、周囲のノイズ、背景/シーンノイズ)よりなる。サウンド効果はサウンドデザイナーにより録音または合成され、または効果ライブラリから得られるソースであってもよい。具体的なノイズソース(例えば、足音ドアなど)を含む効果のサブグループは、フォーリー(Foley)として知られ、フォーリーアクターにより演技される。レコーディングエンジニアにより異なるタイプのサウンドが、適宜、マークされ、パンされる。

0112

図6は、一実施形態による、適応的オーディオシステムのポストプロダクションのワークフロー例を示す図である。図600に示したように、音楽、会話、フォーリー及び効果の個別サウンドコンポーネントはすべて、ファイナルミックス606中に、ダビングシアターに集められる。再レコーディングミキサ604は、個別サウンドオブジェクトと位置データとともにプレミックス(「ミックスマイナス」としても知られている)を用いて、例えば、会話、音楽、効果、フォーリー及び背景サウンドとしてシュテムを生成する。ファイナルミックス606を形成するのに加えて、音楽及びすべての効果シュテムを、ムービーのダビングされた言語のバージョンの生成の基礎として用いることができる。各シュテムは、チャンネルベースのベッドと、メタデータを有する複数のオーディオオブジェクトよりなる。シュテムが合成されファイナルミックスを形成する。オーディオワークステーションとミキシングコンソールの両方からのオブジェクトパンニング情報を用いて、レンダリング及びマスタリングユニット608は、ダビングシアターのスピーカロケーションにオーディオをレンダする。このレンダリングにより、ミキサーは、チャンネルベースベッドとオーディオオブジェクトがどう合成されるか聞くことができ、また、異なる構成にレンダする能力も提供する。ミキサーは、関連プロファイルのデフォルトになる条件付きメタデータを用いて、コンテンツがサラウンドチャンネルにどうレンダされるか制御できる。このように、ミキサーは、すべてのスケーラブル環境において映画がどのように再生されるかの完全な制御を保持する。モニタリングステップが、再レコーディングステップ604と最終ミックスステップ606のいずれかまたは両方の後に含まれ、ミキサーが、これらのステップのそれぞれで生成された中間コンテンツを聞いて評価できる。

0113

マスタリングセッション中、シュテム、オブジェクト、及びメタデータは、適応的オーディオパッケージ614に集められる。適応的オーディオパッケージ614はプリントマスター610により生成される。このパッケージも、後方互換(レガシー5.1または7.1)サラウンドサウンドシアタミックス612を含む。レンダリング/マスタリングユニット(RMU)608は、必要に応じて、この出力をレンダできる。それにより、既存のチャンネルベースのデリバラブルの生成において追加のワークフローステップが必要なくなる。一実施形態では、オーディオファイルは、標準的なマテリアルエクスチェンジフォーマット(MXF)ラッピングを用いてパッケージされる。また、適応的オーディオミックスマスタフイルを用いて、コンシューママルチチャンネルミックスやステレオミックスなど、その他のデリバラブルを生成できる。インテリジェントプロファイル及び条件付きメタデータにより、かかるミックスを生成するのに必要な時間を大幅に短縮できる制御されたレンダリングができる。

0114

一実施形態では、パッケージングシステムを用いて、適応的オーディオミックスを含むデリバラブルのために、デジタルシネマパッケージを生成する。オーディオトラックファイルは、共にロックされ、適応的オーディオトラックファイルとの同期エラーを防ぐことを助ける。ある分野では、パッケージングフェース中、メインオーディオトラックファイルへの聴覚障害者(HI)や視覚障害者ナレーション(VI-N)トラックの追加などトラックファイルの追加が必要である。

0115

一実施形態では、再生環境のスピーカアレイは、確立されたサラウンドサウンド標準により配置及び設計された任意数のサラウンドサウンドスピーカを含み得る。オブジェクトベースオーディオコンテンツの正確なレンダリング用の任意数の追加スピーカは、再生環境の条件に基づき配置され得る。これらの追加スピーカは、サウンドエンジニアによりセットアップされ、このセットアップは、適応オーディオのオブジェクトベース成分をスピーカアレイ全体中の一または複数のスピーカにレンダするために、システムにより使用されるセットアップファイルの形式でシステムに提供される。セットアップファイルには、少なくともスピーカ指定、チャンネルの個別スピーカへのマッピング、スピーカグループに関する情報、再生環境へのスピーカの相対的な位置に基づくランタイムマッピングのリストが含まれる。ランタイムマッピングは、点音源オブジェクトベースオーディオコンテンツを、サウンドエンジニアにより意図されたサウンドの知覚ロケーションに最も近いスピーカにレンダするシステムのスナップ・ツー(snap-to)機能により利用される。

0116

図7は、一実施形態による、適応的オーディオファイルを用いるデジタルシネマパッケージングプロセスのワークフロー例を示す図である。図700に示したように、適応的オーディオファイルと5.1または7.1サラウンドサウンドオーディオファイルの両方を含むオーディオファイルがラッピング/暗号化ブロック704に入力される。一実施形態では、ブロック706におけるデジタルシネマパッケージの生成時、(適当な追加トラックが付加された)PCMMXFファイルが、既存のプラクティスにより、SMPTE仕様を用いて暗号化される。適応的オーディオMXFは、補助トラックファイルとしてパッケージされ、SMPTE仕様による対称コンテンツキーを用いて、任意的に暗号化される。この単一DCP708は、デジタルシネマイニシアティブ(DCI)準拠サーバに送られる。一般的に、適当でないインストレーションは、適応的オーディオサウンドトラックを含む追加的トラックファイルを単に無視し、標準的再生のために既存の主オーディオトラックファイルを使用する。適当な適応的オーディオプロセッサを備えたインストレーションは、適用可能であれば、必要に応じて標準的オーディオトラックに戻り、適応的オーディオサウンドトラックを受け取り再生できる。また、ラッピング/暗号化コンポーネント704は、デジタルシネマサーバで用いるための適当なセキュリティキーを生成するため、配信KDMブロック710に直接入力する。字幕714や画像716などのその他のムービー要素またはファイルは、オーディオファイル702ととものラップされ、暗号化される。この場合、画像ファイル716の場合、圧縮712などの処理ステップが含まれる。

0117

コンテンツマネージメントに関して、適応的オーディオシステム100により、コンテンツクリエータは、個々のオーディオオブジェクトを生成し、コンテンツに関する情報を追加でき、再生システムに搬送できる。これにより、オーディオのコンテンツマネージメントに大きな柔軟性ができる。コンテンツマネージメントの観点から、適応的オーディオ方法により複数の異なる機能が可能になる。これらには、スペース節約、ダウンロード効率、地理的再生適応などのために会話オブジェクトを置き換えるだけでコンテンツの言語を変更することが含まれる。フィルム、テレビジョン、及びその他のエンターテイメントプログラムは、一般的には国際的に配信される。これには、再生される所に応じて(フランスで表示されるフィルムの場合はフランス語、ドイツで表示されるテレビプログラムの場合はドイツ語など)、コンテンツ中の言語を変更する必要があることが多い。このため、今日では、完全に独立したオーディオサウンドトラックが生成され、パッケージされ、配信される。適応的オーディオとオーディオオブジェクトの本来的なコンセプトで、コンテンツの会話は独立したオーディオオブジェクトであり得る。これにより、コンテンツの言語は、音楽、効果などのオーディオサウンドトラックのその他の要素を更新したり変更したりしなくても、容易に変更できる。これは外国語に適用されるだけでなく、ある聴衆(例えば、子供のテレビジョンショー航空会社用のムービーなど)、ターゲットされた広告などにたいして不適当な言葉にも適用できる。

0118

インストレーション及び機器検討
適応的オーディオファイルフォーマットと関連プロセッサにより、シアター機器をどうインストールし、較正し、維持するかを変更できる。より多くの潜在的スピーカ出力の導入により、一実施形態では、適応的オーディオシステムは最適化された1/12オクターブバンド等化エンジンを用いる。シアターのサウンドをより正確にバランスさせるため、64出力まで処理できる。また、本システムは、観客席で再生されたサウンドを通して、シネマプロセッサ出力から、個別のスピーカ出力のスケジュールされたモニタリングをできる。適当なアクションが取られるように、ローカルまたはネットワークの警告を生成できる。柔軟なレンダリングシステムは、再生チェーンから故障したスピーカやアンプを自動的に除外し、それを回避してレンダでき、ショーを継続できる。

0119

シネマプロセッサは、適応的オーディオデータをストリーミングするため、既存の8×AESメインオーディオ接続及びイーサネット接続でデジタルシネマサーバと接続できる。サラウンド7.1または5.1接続の再生は、既存のPCM接続を用いる。適応的オーディオデータは、デコーディングとレンダリングのため、シネマプロセッサにイーサネットでストリーミングされ、サーバとシネマプロセッサとの間の接続により、オーディオを特定し同期できる。適応的オーディオトラック再生に何か問題が発生した場合には、サウンドは、ドルビーサラウンド7.1または5.1PCMオーディオに戻される。

0120

5.1及び7.1サラウンドサウンドシステムに関して実施形態を説明したが、留意点として、9.1、11.1及び13.1及びそれ以降を含む他の多くの現在ある及び将来現れるサラウンド構成を実施形態と共に用いることができる。

0121

適応的オーディオシステムは、それによりコンテンツクリエータとエギジビタが両方とも、異なる再生スピーカ構成においてサウンドコンテンツをどうレンダするか決定できるように設計されている。使用されるスピーカ出力チャンネルの理想的な数は部屋のサイズにより変わる。よって、推奨するスピーカ配置は、サイズ、コンポジションシーティング構成、環境、平均聴衆サイズなど多くのファクタに依存する。例示のみを目的として、代表的なスピーカ構成とレイアウトや例をここで説明するが、特許請求する実施形態の範囲を限定することを意図するものではない。

0122

適応的オーディオシステムのスピーカの推奨レイアウトは、既存のシネマシステムと互換であり、これは既存の5.1及び7.1チャンネルベースフォーマットの再生を悪くしないために必須である。適応的オーディオサウンドエンジニアの意図及び7.1及び5.1コンテンツのミキサーの意図を保存するため、新しいスピーカロケーションの導入を急ごうとして、既存スクリーンチャンネルの位置をあまり大きく変えるべきではない。利用できる64出力チャンネルすべてを用いるのと対照的に、適応的オーディオフォーマットは、シネマで7.1などのスピーカ構成に正確にレンダできるので、アンプやスピーカを変更しなくても、このフォーマット(及び関連ベネフィット)を既存のシアターで用いることができる。

0123

異なるスピーカロケーションの有効性は、シアター設計に応じて異なり、現在のところ業界で指定されたチャンネルの理想的な数や配置は無い。適応的オーディオは、再生チャンネル数が限定されていたり、多くのチャンネルが柔軟な構成になっているかにかかわらず、様々な観客席での正確な再生に真に適応可能かつ能力があることを意図されている。

0124

図8は、典型的な観客席において適応的オーディオシステムと用いる示唆されたスピーカロケーションのレイアウト例を示す上面図800である。また、図9は、その観客席のスクリーンにおける示唆されたスピーカロケーションのレイアウト例を示す前面図900である。以下に参照する基準位置は、スクリーンのセンターライン上、スクリーンから後壁までの距離の2/3の位置に対応する。標準的スクリーンスピーカ801は、スクリーンに対して通常の位置に示されている。スクリーン面におけるエレベーションの知覚の研究から、スクリーンの後の追加的スピーカ804は、例えば(70mmフィルムフォーマットのレフトエキストラ及びライトエキストラチャンネルのロケーションにある)レフトセンター(Lc)及びライトセンター(Rc)スクリーンスピーカは、スクリーンにわたるスムースなパンをするのに有益であることが分かっている。かかる任意的スピーカは、特に12m(40ft.)より大きいスクリーンを有する観客席では、推奨できる。すべてのスクリーンスピーカは、基準位置に向かうような角度にするべきである。スクリーンの後のサブウーファ810の推奨配置は、部屋の中心に対して対称なキャビネット配置を維持し、定在波刺激を防止することを含め、変わらない。追加的サブウーファ816をシアターの後に配置してもよい。

0125

サラウンドスピーカ802は、アンプラックに個別にワイヤリングされ、可能であれば、製造者の仕様に応じてスピーカのパワーハンドリングにマッチしたパワー増幅専用チャンネルを用いて、個別に増幅されるべきである。理想的には、サラウンドスピーカは、各個別スピーカのSPLを処理し、可能であればより広い周波数応答を有するように規定されるべきである。平均的サイズのシアターのための大まかなやり方として、サラウンドスピーカのスペーシングは2ないし3m(6‘6“ないし9’9”)で、左右のサラウンドスピーカは対称に配置されるべきである。しかし、サラウンドスピーカのスペ—シングは、スピーカ間の絶対的な距離を用いるのではなく、隣接スピーカ間のリスナからの角度として有効に考えられる。観客席全体の最適な再生のため、隣接スピーカ間の角度距離は、主リスニングエリアの4隅それぞれから視て、30°以下である。50°までのスペーシングで良い結果が得られる。各サラウンドゾーンに対して、スピーカは、可能であれば、シーティングエリアに隣接して等しいリニアスペーシングを維持すべきである。リスニングエリアを越えるリニアスペーシング、例えば前列とスクリーンとの間は、少し大きくできる。図11は、一実施形態による、基準点に対するトップサラウンドスピーカ808とサイドサラウンドスピーカ806の配置例を示す図である。

0126

追加的サイドサラウンドスピーカ806は、観客席の後までの距離の約1/3から始めるという現在推奨されているプラクティスより、スクリーンにより近く配置すべきである。これらのスピーカは、ドルビーサラウンド7.1または5.1サウンドトラックの再生中にサイドサラウンドとして用いないが、スクリーンスピーカからサラウンドゾーンにオブジェクトをパンニングする時、スムースなトランジションと改善された音色マッチングを可能にする。空間の印象最大化するため、次の制約下、サラウンドアレイはできる限り低く配置されるべきである:アレイの前にあるサラウンドスピーカの仮想的配置は、スクリーンスピーカ音響センターの高さに近く、スピーカの指向性に応じてシーティングエリアにわたり十分なカバレッジを維持するのに純分高い。サラウンドスピーカの垂直配置は、図10に示したように、フロントからバックまで直線を形成するように、かつ(一般的には)サラウンドスピーカの相対的エレベーションがリスナの上で、シーティングエレベーションが大きくなるにつれ、シネマの後に向けて維持されるように傾いていなければならない。図10は、典型的な観客席において適応的オーディオシステムとともに用いるための、示唆されたスピーカロケーションのレイアウト例の側面図である。実際には、これは、最も簡単には、最も前の及び最も後のサラウンドスピーカのエレベーションを選択し、残りのスピーカをこれらの点の間に一列に配置することにより実現できる。

0127

シーティングエリアに各スピーカの最適なカバレッジを提供するため、サイドサラウンド806、リアスピーカ816、及びトップサラウンド808は、スペーシング、位置、角度などに関する画定されたガイドラインの下、シアターの基準位置に向いていなくてはならない。

0128

適応的オーディオシネマシステムとフォーマットの実施形態により、ミキサーに新しいパワフルなオーサリングツールを提供し、各部屋のスピーカレイアウトと特性にサウンドトラックの音質及びサラウンド効果を最適化する柔軟なレンダリングエンジンを備えた新しいシネマプロセッサを提供することにより、現在のシステムより、聴衆の没頭のレベルを高くできる。また、本システムは、現在のプロダクション及び配信ワークフローへの後方互換性を維持し、それに対するインパクトを最小化する。

0129

実施形態を、適応的オーディオコンテンツがデジタルシネマ処理システムにおいて仕様されるフィルムコンテンツに関連しているシネマ環境の例と実装に関して説明したが、留意点として、実施形態は非シネマ環境でも実施できる。オブジェクトベースオーディオとチャンネルベースオーディオを含む適応的オーディオコンテンツは、任意の関連コンテンツ(関連オーディオ、ビデオ、グラフィックスなど)と共に用いることができ、またはスタンドアロンのオーディオコンテンツを構成してもよい。再生環境は、ヘッドホンやニアフィールドモニタから小さいまたは大きい部屋、車、屋外アリーナ、コンサートホールまでの適当なリスニング環境である。

0130

システム100の態様は、デジタルまたはデジタル化されたオーディオファイルを処理する適当なコンピュータベースのサウンド処理ネットワーク環境で実施できる。適応可能オーディオシステムの部分には、コンピュータ間を伝送されるデータをバッファルーティングする役割を果たす一または複数のルータ(図示せず)を含む、所望数の個別マシンを含む一または複数のネットワークを含む。かかるネットワークは、異なる様々なネットワークプロトコル上に構成され、インターネットワイドエリアネットワークWAN)、ローカルエリアネットワーク(LAN)またはこれらの任意の組合せであり得る。ネットワークがインターネットである一実施形態では、一または複数のマシンがウェブブラウザプログラムを通してインターネットにアクセスするように構成されている。

0131

一または複数のコンポーネント、ブロック、プロセッサ、その他の機能的コンポーネントは、システムのプロセッサベースコンピューティングデバイスの実行を制御するコンピュータプログラムにより実施される。留意点として、ここに開示の様々な機能は、振る舞い、レジスタトランスファロジックコンポーネント、及び/またはその他の特性に関して、ハードウェア、ファームウェア、及び/または様々なマシン読み取り可能またはコンピュータ読み取り可能媒体に化体されたデータ及び/または命令の任意の数の組合せを用いて記述できる。かかるフォーマットされたデータ及び/または命令が化体されたコンピュータ読み取り可能媒体は、様々な形式の物理的(非一時的)、不揮発性記憶媒体であって、例えば光、磁気、または半導体ストレージ媒体を含むがこれに限定されない。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

該当するデータがありません

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

該当するデータがありません

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ