図面 (/)

技術 符号化装置および方法、復号装置および方法、並びにプログラム

出願人 ソニー株式会社
発明者 山本優樹知念徹辻実
出願日 2016年6月3日 (5年8ヶ月経過) 出願番号 2017-524823
公開日 2018年4月5日 (3年10ヶ月経過) 公開番号 WO2016-203994
状態 特許登録済
技術分野 音声の分析・合成
主要キーワード 広がり度合い 区間境界 サンプル数情報 代表サンプル 再生空間 高次関数 追加メタデータ 独立フレーム
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2018年4月5日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (7)

課題・解決手段

本技術は、より高音質な音声を得ることができるようにする符号化装置および方法、復号装置および方法、並びにプログラムに関する。オーディオ信号復号部は、符号化オーディオデータを復号して、各オブジェクトのオーディオ信号を得る。メタデータ復号部は、符号化メタデータを復号して、各オブジェクトのオーディオ信号のフレームごとに複数のメタデータを得る。ゲイン算出部は、メタデータに基づいてスピーカごとに、各オブジェクトのオーディオ信号のVBAPゲインを算出する。オーディオ信号生成部は、スピーカごとに、各オブジェクトのオーディオ信号にVBAPゲインを乗算して加算し、各スピーカに供給するオーディオ信号を生成する。本技術は復号装置に適用することができる。

概要

背景

従来、オーディオオブジェクトオーディオ信号と、そのオーディオオブジェクトの位置情報などのメタデータとを圧縮(符号化)するMPEG(Moving Picture Experts Group)-H 3D Audio規格が知られている(例えば、非特許文献1参照)。

この技術では、オーディオオブジェクトのオーディオ信号とメタデータがフレームごとに符号化されて伝送される。このとき、オーディオオブジェクトのオーディオ信号の1フレームにつき、最大で1つのメタデータが符号化されて伝送される。つまり、フレームによっては、メタデータがない場合もある。

また、符号化されたオーディオ信号とメタデータは、復号装置において復号され、復号により得られたオーディオ信号とメタデータに基づいてレンダリングが行われる。

すなわち、復号装置では、まずオーディオ信号とメタデータが復号される。復号の結果、オーディオ信号については、フレーム内のサンプルごとのPCM(Pulse Code Modulation)サンプル値が得られる。つまり、オーディオ信号としてPCMデータが得られる。

一方、メタデータについては、フレーム内の代表サンプルのメタデータ、具体的にはフレーム内の最後のサンプルのメタデータが得られる。

このようにしてオーディオ信号とメタデータが得られると、復号装置内のレンダラは、フレーム内の代表サンプルのメタデータとしての位置情報に基づいて、その位置情報により示される位置にオーディオオブジェクトの音像定位するように、VBAP(Vector Base Amplitude Panning)によりVBAPゲインを算出する。このVBAPゲインは、再生側スピーカごとに算出される。

但し、オーディオオブジェクトのメタデータは、上述したようにフレーム内の代表サンプル、つまりフレーム内の最後のサンプルのメタデータである。したがって、レンダラで算出されたVBAPゲインはフレーム内の最後のサンプルのゲインであり、フレーム内のそれ以外のサンプルのVBAPゲインは求められていない。そのため、オーディオオブジェクトの音声再生するには、オーディオ信号の代表サンプル以外のサンプルのVBAPゲインも算出する必要がある。

そこで、レンダラでは補間処理により各サンプルのVBAPゲインが算出される。具体的には、スピーカごとに、現フレームの最後のサンプルのVBAPゲインと、その現フレームの直前のフレームの最後のサンプルのVBAPゲインとから、それらのサンプルの間にある現フレームのサンプルのVBAPゲインが線形補間により算出される。

このようにして、オーディオオブジェクトのオーディオ信号に乗算される各サンプルのVBAPゲインがスピーカごとに得られると、オーディオオブジェクトの音声を再生することができるようになる。

すなわち、復号装置では、スピーカごとに算出されたVBAPゲインが、そのオーディオオブジェクトのオーディオ信号に乗算されて各スピーカに供給され、音声が再生される。

概要

本技術は、より高音質な音声を得ることができるようにする符号化装置および方法、復号装置および方法、並びにプログラムに関する。オーディオ信号復号部は、符号化オーディオデータを復号して、各オブジェクトのオーディオ信号を得る。メタデータ復号部は、符号化メタデータを復号して、各オブジェクトのオーディオ信号のフレームごとに複数のメタデータを得る。ゲイン算出部は、メタデータに基づいてスピーカごとに、各オブジェクトのオーディオ信号のVBAPゲインを算出する。オーディオ信号生成部は、スピーカごとに、各オブジェクトのオーディオ信号にVBAPゲインを乗算して加算し、各スピーカに供給するオーディオ信号を生成する。本技術は復号装置に適用することができる。

目的

コンピュータ(CPU501)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体511に記録して提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

オーディオオブジェクト所定時間間隔フレームオーディオ信号を符号化して得られた符号化オーディオデータと、前記フレームの複数のメタデータとを取得する取得部と、前記符号化オーディオデータを復号する復号部と、前記復号により得られたオーディオ信号と、前記複数のメタデータとに基づいてレンダリングを行うレンダリング部とを備える復号装置

請求項2

前記メタデータには、前記オーディオオブジェクトの位置を示す位置情報が含まれている請求項1に記載の復号装置。

請求項3

前記複数のメタデータのそれぞれは、前記オーディオ信号の前記フレーム内の複数のサンプルのそれぞれのメタデータである請求項1に記載の復号装置。

請求項4

前記複数のメタデータのそれぞれは、前記フレームを構成するサンプルの数を前記複数のメタデータの数で除算して得られるサンプル数の間隔で並ぶ複数のサンプルのそれぞれのメタデータである請求項3に記載の復号装置。

請求項5

前記複数のメタデータのそれぞれは、複数のサンプルインデックスのそれぞれにより示される複数のサンプルのそれぞれのメタデータである請求項3に記載の復号装置。

請求項6

前記複数のメタデータのそれぞれは、前記フレーム内の所定サンプル数間隔で並ぶ複数のサンプルのそれぞれのメタデータである請求項3に記載の復号装置。

請求項7

前記複数のメタデータには、メタデータに基づいて算出される前記オーディオ信号のサンプルのゲインの補間処理を行うためのメタデータが含まれている請求項1に記載の復号装置。

請求項8

オーディオオブジェクトの所定時間間隔のフレームのオーディオ信号を符号化して得られた符号化オーディオデータと、前記フレームの複数のメタデータとを取得し、前記符号化オーディオデータを復号し、前記復号により得られたオーディオ信号と、前記複数のメタデータとに基づいてレンダリングを行うステップを含む復号方法

請求項9

オーディオオブジェクトの所定時間間隔のフレームのオーディオ信号を符号化して得られた符号化オーディオデータと、前記フレームの複数のメタデータとを取得し、前記符号化オーディオデータを復号し、前記復号により得られたオーディオ信号と、前記複数のメタデータとに基づいてレンダリングを行うステップを含む処理をコンピュータに実行させるプログラム

請求項10

オーディオオブジェクトの所定時間間隔のフレームのオーディオ信号を符号化する符号化部と、前記符号化により得られた符号化オーディオデータと、前記フレームの複数のメタデータとが含まれたビットストリームを生成する生成部とを備える符号化装置

請求項11

前記メタデータには、前記オーディオオブジェクトの位置を示す位置情報が含まれている請求項10に記載の符号化装置。

請求項12

前記複数のメタデータのそれぞれは、前記オーディオ信号の前記フレーム内の複数のサンプルのそれぞれのメタデータである請求項10に記載の符号化装置。

請求項13

前記複数のメタデータのそれぞれは、前記フレームを構成するサンプルの数を前記複数のメタデータの数で除算して得られるサンプル数の間隔で並ぶ複数のサンプルのそれぞれのメタデータである請求項12に記載の符号化装置。

請求項14

前記複数のメタデータのそれぞれは、複数のサンプルインデックスのそれぞれにより示される複数のサンプルのそれぞれのメタデータである請求項12に記載の符号化装置。

請求項15

前記複数のメタデータのそれぞれは、前記フレーム内の所定サンプル数間隔で並ぶ複数のサンプルのそれぞれのメタデータである請求項12に記載の符号化装置。

請求項16

前記複数のメタデータには、メタデータに基づいて算出される前記オーディオ信号のサンプルのゲインの補間処理を行うためのメタデータが含まれている請求項10に記載の符号化装置。

請求項17

メタデータに対する補間処理を行う補間処理部をさらに備える請求項10に記載の符号化装置。

請求項18

オーディオオブジェクトの所定時間間隔のフレームのオーディオ信号を符号化し、前記符号化により得られた符号化オーディオデータと、前記フレームの複数のメタデータとが含まれたビットストリームを生成するステップを含む符号化方法

請求項19

オーディオオブジェクトの所定時間間隔のフレームのオーディオ信号を符号化し、前記符号化により得られた符号化オーディオデータと、前記フレームの複数のメタデータとが含まれたビットストリームを生成するステップを含む処理をコンピュータに実行させるプログラム。

技術分野

0001

本技術は符号化装置および方法、復号装置および方法、並びにプログラムに関し、特に、より高音質な音声を得ることができるようにした符号化装置および方法、復号装置および方法、並びにプログラムに関する。

背景技術

0002

従来、オーディオオブジェクトオーディオ信号と、そのオーディオオブジェクトの位置情報などのメタデータとを圧縮(符号化)するMPEG(Moving Picture Experts Group)-H 3D Audio規格が知られている(例えば、非特許文献1参照)。

0003

この技術では、オーディオオブジェクトのオーディオ信号とメタデータがフレームごとに符号化されて伝送される。このとき、オーディオオブジェクトのオーディオ信号の1フレームにつき、最大で1つのメタデータが符号化されて伝送される。つまり、フレームによっては、メタデータがない場合もある。

0004

また、符号化されたオーディオ信号とメタデータは、復号装置において復号され、復号により得られたオーディオ信号とメタデータに基づいてレンダリングが行われる。

0005

すなわち、復号装置では、まずオーディオ信号とメタデータが復号される。復号の結果、オーディオ信号については、フレーム内のサンプルごとのPCM(Pulse Code Modulation)サンプル値が得られる。つまり、オーディオ信号としてPCMデータが得られる。

0006

一方、メタデータについては、フレーム内の代表サンプルのメタデータ、具体的にはフレーム内の最後のサンプルのメタデータが得られる。

0007

このようにしてオーディオ信号とメタデータが得られると、復号装置内のレンダラは、フレーム内の代表サンプルのメタデータとしての位置情報に基づいて、その位置情報により示される位置にオーディオオブジェクトの音像定位するように、VBAP(Vector Base Amplitude Panning)によりVBAPゲインを算出する。このVBAPゲインは、再生側スピーカごとに算出される。

0008

但し、オーディオオブジェクトのメタデータは、上述したようにフレーム内の代表サンプル、つまりフレーム内の最後のサンプルのメタデータである。したがって、レンダラで算出されたVBAPゲインはフレーム内の最後のサンプルのゲインであり、フレーム内のそれ以外のサンプルのVBAPゲインは求められていない。そのため、オーディオオブジェクトの音声を再生するには、オーディオ信号の代表サンプル以外のサンプルのVBAPゲインも算出する必要がある。

0009

そこで、レンダラでは補間処理により各サンプルのVBAPゲインが算出される。具体的には、スピーカごとに、現フレームの最後のサンプルのVBAPゲインと、その現フレームの直前のフレームの最後のサンプルのVBAPゲインとから、それらのサンプルの間にある現フレームのサンプルのVBAPゲインが線形補間により算出される。

0010

このようにして、オーディオオブジェクトのオーディオ信号に乗算される各サンプルのVBAPゲインがスピーカごとに得られると、オーディオオブジェクトの音声を再生することができるようになる。

0011

すなわち、復号装置では、スピーカごとに算出されたVBAPゲインが、そのオーディオオブジェクトのオーディオ信号に乗算されて各スピーカに供給され、音声が再生される。

先行技術

0012

ISO/IECJTC1/SC29/WG11 N14747, August 2014, Sapporo, Japan, "Text of ISO/IEC 23008-3/DIS, 3D Audio"

発明が解決しようとする課題

0013

しかしながら、上述した技術では、十分に高音質な音声を得ることが困難であった。

0014

例えばVBAPでは、算出された各スピーカのVBAPゲインの2乗和が1となるように正規化が行われる。このような正規化により、音像の定位位置は、再生空間において所定の基準点、例えば音声付の動画像楽曲などのコンテンツ視聴する仮想のユーザの頭部位置を中心とする、半径が1の球の表面上に位置するようになる。

0015

しかし、フレーム内の代表サンプル以外のサンプルのVBAPゲインは補間処理により算出されるため、そのようなサンプルの各スピーカのVBAPゲインの2乗和は1とはならない。そのため、補間処理によりVBAPゲインを算出したサンプルについては、音声の再生時に音像の位置が仮想のユーザから見て、上述した球面の法線方向や、球の表面上の上下左右方向にずれてしまうことになる。そうすると、音声再生時において、1フレームの期間内でオーディオオブジェクトの音像位置がゆらいだりして定位感が悪化し、音声の音質劣化してしまう。

0016

特に、1フレームを構成するサンプル数が多くなればなるほど、現フレームの最後のサンプル位置と、その現フレームの直前のフレームの最後のサンプル位置との間の長さが長くなる。そうすると、補間処理により算出された各スピーカのVBAPゲインの2乗和と1との差が大きくなり、音質の劣化が大きくなる。

0017

また、代表サンプル以外のサンプルのVBAPゲインを補間処理により算出する場合、オーディオオブジェクトの動きが速いときほど、現フレームの最後のサンプルのVBAPゲインと、その現フレームの直前のフレームの最後のサンプルのVBAPゲインとの差が大きくなる。そうすると、オーディオオブジェクトの動きを正確にレンダリングすることができなくなり、音質が劣化してしまう。

0018

さらに、スポーツ映画などの実際のコンテンツでは、シーンが不連続に切り替わる。そのような場合、シーンの切り替わり部分では、オーディオオブジェクトが不連続に移動することになる。しかし、上述したように補間処理によりVBAPゲインを算出すると、補間処理によりVBAPゲインを算出したサンプルの区間、つまり現フレームの最後のサンプルと、その現フレームの直前のフレームの最後のサンプルとの間では、音声についてはオーディオオブジェクトが連続的に移動していることになってしまう。そうすると、オーディオオブジェクトの不連続な移動をレンダリングにより表現することができなくなってしまい、その結果、音声の音質が劣化してしまう。

0019

本技術は、このような状況に鑑みてなされたものであり、より高音質な音声を得ることができるようにするものである。

課題を解決するための手段

0020

本技術の第1の側面の復号装置は、オーディオオブジェクトの所定時間間隔のフレームのオーディオ信号を符号化して得られた符号化オーディオデータと、前記フレームの複数のメタデータとを取得する取得部と、前記符号化オーディオデータを復号する復号部と、前記復号により得られたオーディオ信号と、前記複数のメタデータとに基づいてレンダリングを行うレンダリング部とを備える。

0021

前記メタデータには、前記オーディオオブジェクトの位置を示す位置情報が含まれているようにすることができる。

0022

前記複数のメタデータのそれぞれを、前記オーディオ信号の前記フレーム内の複数のサンプルのそれぞれのメタデータとすることができる。

0023

前記複数のメタデータのそれぞれを、前記フレームを構成するサンプルの数を前記複数のメタデータの数で除算して得られるサンプル数の間隔で並ぶ複数のサンプルのそれぞれのメタデータとすることができる。

0024

前記複数のメタデータのそれぞれを、複数のサンプルインデックスのそれぞれにより示される複数のサンプルのそれぞれのメタデータとすることができる。

0025

前記複数のメタデータのそれぞれを、前記フレーム内の所定サンプル数間隔で並ぶ複数のサンプルのそれぞれのメタデータとすることができる。

0026

前記複数のメタデータには、メタデータに基づいて算出される前記オーディオ信号のサンプルのゲインの補間処理を行うためのメタデータが含まれているようにすることができる。

0027

本技術の第1の側面の復号方法またはプログラムは、オーディオオブジェクトの所定時間間隔のフレームのオーディオ信号を符号化して得られた符号化オーディオデータと、前記フレームの複数のメタデータとを取得し、前記符号化オーディオデータを復号し、前記復号により得られたオーディオ信号と、前記複数のメタデータとに基づいてレンダリングを行うステップを含む。

0028

本技術の第1の側面においては、オーディオオブジェクトの所定時間間隔のフレームのオーディオ信号を符号化して得られた符号化オーディオデータと、前記フレームの複数のメタデータとが取得され、前記符号化オーディオデータが復号され、前記復号により得られたオーディオ信号と、前記複数のメタデータとに基づいてレンダリングが行われる。

0029

本技術の第2の側面の符号化装置は、オーディオオブジェクトの所定時間間隔のフレームのオーディオ信号を符号化する符号化部と、前記符号化により得られた符号化オーディオデータと、前記フレームの複数のメタデータとが含まれたビットストリームを生成する生成部とを備える。

0030

前記メタデータには、前記オーディオオブジェクトの位置を示す位置情報が含まれているようにすることができる。

0031

前記複数のメタデータのそれぞれを、前記オーディオ信号の前記フレーム内の複数のサンプルのそれぞれのメタデータとすることができる。

0032

前記複数のメタデータのそれぞれを、前記フレームを構成するサンプルの数を前記複数のメタデータの数で除算して得られるサンプル数の間隔で並ぶ複数のサンプルのそれぞれのメタデータとすることができる。

0033

前記複数のメタデータのそれぞれを、複数のサンプルインデックスのそれぞれにより示される複数のサンプルのそれぞれのメタデータとすることができる。

0034

前記複数のメタデータのそれぞれを、前記フレーム内の所定サンプル数間隔で並ぶ複数のサンプルのそれぞれのメタデータとすることができる。

0035

前記複数のメタデータには、メタデータに基づいて算出される前記オーディオ信号のサンプルのゲインの補間処理を行うためのメタデータが含まれているようにすることができる。

0036

符号化装置には、メタデータに対する補間処理を行う補間処理部をさらに設けることができる。

0037

本技術の第2の側面の符号化方法またはプログラムは、オーディオオブジェクトの所定時間間隔のフレームのオーディオ信号を符号化し、前記符号化により得られた符号化オーディオデータと、前記フレームの複数のメタデータとが含まれたビットストリームを生成するステップを含む。

0038

本技術の第2の側面においては、オーディオオブジェクトの所定時間間隔のフレームのオーディオ信号が符号化され、前記符号化により得られた符号化オーディオデータと、前記フレームの複数のメタデータとが含まれたビットストリームが生成される。

発明の効果

0039

本技術の第1の側面および第2の側面によれば、より高音質な音声を得ることができる。

0040

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。

図面の簡単な説明

0041

ビットストリームについて説明する図である。
符号化装置の構成例を示す図である。
符号化処理を説明するフローチャートである。
復号装置の構成例を示す図である。
復号処理を説明するフローチャートである。
コンピュータの構成例を示す図である。

実施例

0042

以下、図面を参照して、本技術を適用した実施の形態について説明する。

0043

〈第1の実施の形態〉
〈本技術の概要について〉
本技術は、オーディオオブジェクトのオーディオ信号と、そのオーディオオブジェクトの位置情報などのメタデータとを符号化して伝送したり、復号側においてそれらのオーディオ信号とメタデータを復号して音声を再生したりする場合に、より高音質な音声を得ることができるようにするものである。なお、以下では、オーディオオブジェクトを単にオブジェクトとも称することとする。

0044

本技術では、1フレームのオーディオ信号について複数のメタデータ、すなわち2以上のメタデータを符号化して送信するようにした。

0045

ここで、メタデータは、オーディオ信号のフレーム内のサンプルのメタデータ、つまりサンプルに対して与えられたメタデータである。例えばメタデータとしての位置情報により示される空間内のオーディオオブジェクトの位置は、そのメタデータが与えられたサンプルに基づく音声の再生タイミングにおける位置を示している。

0046

また、メタデータを送信する方法として以下に示す3つの方法、すなわち個数指定方式、サンプル指定方式、および自動切り替え方式による送信方法のうちの何れかの方法によりメタデータを送信することができる。また、メタデータ送信時には、所定時間間隔の区間であるフレームごとやオブジェクトごとに、それらの3つの方式を切り替えながらメタデータを送信することができる。

0047

(個数指定方式)
まず、個数指定方式について説明する。

0048

個数指定方式は、1フレームに対して送信されるメタデータの数を示すメタデータ個数情報ビットストリームシンタックスに含め、指定された個数のメタデータを送信する方式である。なお、1フレームを構成するサンプルの数を示す情報は、ビットストリームのヘッダ内に格納されている。

0049

また、送信される各メタデータが、1フレーム内のどのサンプルのメタデータであるかは、1フレームを等分したときの位置など、予め定められているようにすればよい。

0050

例えば、1フレームを構成するサンプルの数が2048サンプルであり、1フレームにつき4つのメタデータを送信するとする。このとき、1フレームの区間を、送信するメタデータの数で等分し、分割された区間境界のサンプル位置のメタデータを送るものとする。すなわち、1フレームのサンプル数をメタデータ数で除算して得られるサンプル数の間隔で並ぶフレーム内のサンプルのメタデータを送信するとする。

0051

この場合、フレーム先頭から、それぞれ512個目のサンプル、1024個目のサンプル、1536個目のサンプル、および2048個目のサンプルについてメタデータが送信される。

0052

その他、1フレームを構成するサンプルの数をSとし、1フレームにつき送信されるメタデータの数をAとしたときに、S/2(A-1)により定まるサンプル位置のメタデータが送信されるようにしてもよい。すなわち、フレーム内においてS/2(A-1)サンプル間隔で並ぶサンプルの一部または全部のメタデータを送信してもよい。この場合、例えばメタデータ数A=1であるときには、フレーム内の最後のサンプルのメタデータが送信されることになる。

0053

また、所定間隔で並ぶサンプルごと、つまり所定サンプル数ごとにメタデータを送信するようにしてもよい。

0054

(サンプル指定方式)
次に、サンプル指定方式について説明する。

0055

サンプル指定方式では、上述した個数指定方式において送信されるメタデータ個数情報に加えて、さらに各メタデータのサンプル位置を示すサンプルインデックスもビットストリームに格納されて送信される。

0056

例えば1フレームを構成するサンプルの数が2048サンプルであり、1フレームにつき4つのメタデータを送信するとする。また、フレーム先頭から、それぞれ128個目のサンプル、512個目のサンプル、1536個目のサンプル、および2048個目のサンプルについてメタデータを送信するとする。

0057

この場合、ビットストリームには、1フレームにつき送信されるメタデータの個数「4」を示すメタデータ個数情報と、フレーム先頭から128個目のサンプル、512個目のサンプル、1536個目のサンプル、および2048個目のサンプルのそれぞれのサンプルの位置を示すサンプルインデックスのそれぞれとが格納される。例えばフレーム先頭から128個目のサンプルの位置を示すサンプルインデックスの値は、128などとされる。

0058

サンプル指定方式では、フレームごとに任意のサンプルのメタデータを送信することが可能となるため、例えばシーンの切り替わり位置の前後のサンプルのメタデータを送信することができる。この場合、レンダリングによりオブジェクトの不連続な移動を表現することができ、高音質な音声を得ることができる。

0059

(自動切り替え方式)
さらに、自動切り替え方式について説明する。

0060

自動切り替え方式では、1フレームを構成するサンプルの数、つまり1フレームのサンプル数に応じて、各フレームにつき送信されるメタデータの数が自動的に切り替えられる。

0061

例えば1フレームのサンプル数が1024サンプルである場合には、フレーム内において256サンプル間隔で並ぶ各サンプルのメタデータが送信される。この例では、フレーム先頭から、それぞれ256個目のサンプル、512個目のサンプル、768個目のサンプル、および1024個目のサンプルについて、合計4個のメタデータが送信される。

0062

また、例えば1フレームのサンプル数が2048サンプルである場合には、フレーム内において256サンプル間隔で並ぶ各サンプルのメタデータが送信される。この例では、合計8個のメタデータが送信されることになる。

0063

このように個数指定方式、サンプル指定方式、および自動切り替え方式の各方式で1フレームにつき2以上のメタデータを送信すれば、フレームを構成するサンプルの数が多い場合などに、より多くのメタデータを送信することができる。

0064

これにより、線形補間によりVBAPゲインが算出されるサンプルが連続して並ぶ区間の長さがより短くなり、より高音質な音声を得ることができるようになる。

0065

例えば線形補間によりVBAPゲインが算出されるサンプルが連続して並ぶ区間の長さがより短くなれば、各スピーカのVBAPゲインの2乗和と1との差も小さくなるので、オブジェクトの音像の定位感を向上させることができる。

0066

また、メタデータを有するサンプル間の距離も短くなるので、それらのサンプルにおけるVBAPゲインの差も小さくなり、オブジェクトの動きをより正確にレンダリングすることができる。さらにメタデータを有するサンプル間の距離が短くなると、シーンの切り替わり部分など、本来オブジェクトが不連続に移動する期間において、音声についてオブジェクトが連続的に移動しているかのようになってしまう期間をより短くすることができる。特に、サンプル指定方式では、適切なサンプル位置のメタデータを送信することで、オブジェクトの不連続な移動を表現することができる。

0067

なお、以上において説明した個数指定方式、サンプル指定方式、および自動切り替え方式の3つの方式の何れか1つのみを用いてメタデータを送信するようにしてもよいが、それらの3つの方式のうちの2以上の方式をフレームごとやオブジェクトごとに切り替えるようにしてもよい。

0068

例えば個数指定方式、サンプル指定方式、および自動切り替え方式の3つの方式をフレームごとやオブジェクトごとに切り替える場合には、ビットストリームに、何れの方式によりメタデータが送信されたかを示す切り替えインデックスを格納するようにすればよい。

0069

この場合、例えば切り替えインデックスの値が0のときは個数指定方式が選択されたこと、つまり個数指定方式によりメタデータが送信されたことを示しており、切り替えインデックスの値が1のときはサンプル指定方式が選択されたことを示しており、切り替えインデックスの値が2のときは自動切り替え方式が選択されたことを示しているなどとされる。以下では、これらの個数指定方式、サンプル指定方式、および自動切り替え方式が、フレームごとやオブジェクトごとに切り替えられるものとして説明を続ける。

0070

また、上述したMPEG-H 3D Audio規格で定められているオーディオ信号とメタデータの送信方法では、フレーム内の最後のサンプルのメタデータのみが送信される。そのため、補間処理により各サンプルのVBAPゲインを算出する場合には、現フレームよりも前のフレームの最後のサンプルのVBAPゲインが必要となる。

0071

したがって、例えば再生側(復号側)において、任意のフレームのオーディオ信号から再生を開始するランダムアクセスをしようとしても、そのランダムアクセスしたフレームよりも前のフレームのVBAPゲインは算出されていないので、VBAPゲインの補間処理を行うことができない。このような理由から、MPEG-H 3D Audio規格ではランダムアクセスを行うことができなかった。

0072

そこで、本技術では、各フレームや任意の間隔のフレーム等において、それらのフレームのメタデータとともに、補間処理を行うために必要となるメタデータも送信することで、現フレームよりも前のフレームのサンプル、または現フレームの先頭のサンプルのVBAPゲインを算出できるようにした。これにより、ランダムアクセスが可能となる。なお、以下では、通常のメタデータとともに送信される、補間処理を行うためのメタデータを特に追加メタデータとも称することとする。

0073

ここで、現フレームのメタデータとともに送信される追加メタデータは、例えば現フレームの直前のフレームの最後のサンプルのメタデータ、または現フレームの先頭のサンプルのメタデータなどとされる。

0074

また、フレームごとに追加メタデータがあるか否かを容易に特定することができるように、ビットストリーム内に各オブジェクトについて、フレームごとに追加メタデータの有無を示す追加メタデータフラグが格納される。例えば所定のフレームの追加メタデータフラグの値が1である場合、そのフレームには追加メタデータが存在し、追加メタデータフラグの値が0である場合には、そのフレームには追加メタデータは存在しないなどとされる。

0075

なお、基本的には、同一フレームの全てのオブジェクトの追加メタデータフラグの値は同じ値とされる。

0076

このようにフレームごとに追加メタデータフラグを送信するとともに、必要に応じて追加メタデータを送信することで、追加メタデータのあるフレームについては、ランダムアクセスを行うことができるようになる。

0077

なお、ランダムアクセスのアクセス先として指定されたフレームに追加メタデータがないときには、そのフレームに時間的に最も近い、追加メタデータのあるフレームをランダムアクセスのアクセス先とすればよい。したがって、適切なフレーム間隔等で追加メタデータを送信することで、ユーザに不自然さを感じさせることなくランダムアクセスを実現することが可能となる。

0078

以上、追加メタデータの説明を行ったが、ランダムアクセスのアクセス先として指定されたフレームにおいて、追加メタデータを用いずに、VBAPゲインの補間処理を行うようにしても良い。この場合、追加メタデータを格納することによるビットストリームのデータ量(ビットレート)の増大を抑えつつ、ランダムアクセスが可能となる。

0079

具体的には、ランダムアクセスのアクセス先として指定されたフレームにおいて、現フレームよりも前のフレームのVBAPゲインの値を0として、現フレームで算出されるVBAPゲインの値との補間処理を行う。なお、この方法に限らず、現フレームの各サンプルのVBAPゲインの値が、すべて、現フレームで算出されるVBAPゲインと同一の値となるように補間処理を行うようにしても良い。一方、ランダムアクセスのアクセス先として指定されないフレームにおいては、従来通り、現フレームよりも前のフレームのVBAPゲインを用いた補間処理が行われる。

0080

このように、ランダムアクセスのアクセス先として指定されたか否かに基づいてVBAPゲインの補間処理の切り替えを行うことにより、追加メタデータを用いずに、ランダムアクセスをすることが可能となる。

0081

なお、上述したMPEG-H 3D Audio規格では、フレームごとに、現フレームが、ビットストリーム内の現フレームのみのデータを用いて復号およびレンダリングできるフレーム(独立フレームと称する)であるか否かを示す、独立フラグ(indepFlagとも称する)がビットストリーム内に格納されている。独立フラグの値が1である場合、復号側では、ビットストリーム内の、現フレームよりも前のフレームのデータ、及びそのデータの復号により得られるいかなる情報も用いることなく復号およびレンダリングを行うことができるとされている。

0082

したがって、独立フラグの値が1である場合、現フレームよりも前のフレームのVBAPゲインを用いずに復号およびレンダリングを行うことが必要となる。

0083

そこで、独立フラグの値が1であるフレームにおいて、上述の追加メタデータをビットストリームに格納するようにしても良いし、上述の補間処理の切り替えを行っても良い。

0084

このように、独立フラグの値に応じて、ビットストリーム内に追加メタデータを格納するか否かの切り替えや、VBAPゲインの補間処理の切り替えを行うことで、独立フラグの値が1である場合に、現フレームよりも前のフレームのVBAPゲインを用いずに復号およびレンダリングを行うことが可能となる。

0085

さらに、上述したMPEG-H 3D Audio規格では、復号により得られるメタデータは、フレーム内の代表サンプル、つまり最後のサンプルのメタデータのみであると説明した。しかし、そもそもオーディオ信号とメタデータの符号化側においては、符号化装置に入力される圧縮(符号化)前のメタデータもフレーム内の全サンプルについて定義されているものは殆どない。つまり、オーディオ信号のフレーム内のサンプルには、符号化前の状態からメタデータのないサンプルも多い。

0086

現状では、例えば0番目のサンプル、1024番目のサンプル、2048番目のサンプルなどの等間隔で並ぶサンプルのみメタデータを有していたり、0番目のサンプル、138番目のサンプル、2044番目のサンプルなどの不等間隔で並ぶサンプルのみメタデータを有していたりすることが殆どである。

0087

このような場合、フレームによってはメタデータを有するサンプルが1つも存在しないこともあり、そのようなフレームについてはメタデータが送信されないことになる。そうすると、復号側において、メタデータを有するサンプルが1つもないフレームについて、各サンプルのVBAPゲインを算出するには、そのフレーム以降のメタデータのあるフレームのVBAPゲインの算出を行わなければならなくなる。その結果、メタデータの復号とレンダリングに遅延が発生し、リアルタイムで復号およびレンダリングを行うことができなくなってしまう。

0088

そこで、本技術では、符号化側において、必要に応じてメタデータを有するサンプル間の各サンプルについて、補間処理(サンプル補間)によりそれらのサンプルのメタデータを求め、復号側においてリアルタイムで復号およびレンダリングを行うことができるようにした。特に、ビデオゲームなどにおいては、オーディオ再生の遅延をできるだけ小さくしたいという要求がある。そのため、本技術により復号およびレンダリングの遅延を小さくすること、つまりゲーム操作等に対するインタラクティブ性を向上させることができるようにすることの意義は大きい。

0089

なお、メタデータの補間処理は、例えば線形補間、高次関数を用いた非線形補間など、どのような処理であってもよい。

0090

〈ビットストリームについて〉
次に、以上において説明した本技術を適用した、より具体的な実施の形態について説明する。

0091

各オブジェクトのオーディオ信号とメタデータを符号化する符号化装置からは、例えば図1に示すビットストリームが出力される。

0092

図1に示すビットストリームでは、先頭にヘッダが配置されており、そのヘッダ内には、各オブジェクトのオーディオ信号の1フレームを構成するサンプルの数、すなわち1フレームのサンプル数を示す情報(以下、サンプル数情報とも称する)が格納されている。

0093

そして、ビットストリームにおいてヘッダの後ろには、フレームごとのデータが配置される。具体的には、領域R10の部分には、現フレームが、独立フレームであるか否かを示す、独立フラグが配置されている。そして、領域R11の部分には、同一フレームの各オブジェクトのオーディオ信号を符号化して得られた符号化オーディオデータが配置されている。

0094

また、領域R11に続く領域R12の部分には、同一フレームの各オブジェクトのメタデータ等を符号化して得られた符号化メタデータが配置されている。

0095

例えば領域R12内の領域R21の部分には、1つのオブジェクトの1フレーム分の符号化メタデータが配置されている。

0096

この例では、符号化メタデータの先頭には、追加メタデータフラグが配置されており、その追加メタデータフラグに続いて、切り替えインデックスが配置されている。

0097

さらに、切り替えインデックスの次にはメタデータ個数情報とサンプルインデックスが配置されている。なお、ここではサンプルインデックスが1つだけ描かれているが、より詳細には、サンプルインデックスは、符号化メタデータに格納されるメタデータの数だけ、その符号化メタデータ内に格納される。

0098

符号化メタデータでは、切り替えインデックスにより示される方式が個数指定方式である場合には、切り替えインデックスに続いてメタデータ個数情報は配置されるが、サンプルインデックスは配置されない。

0099

また、切り替えインデックスにより示される方式がサンプル指定方式である場合には、切り替えインデックスに続いてメタデータ個数情報およびサンプルインデックスが配置される。さらに、切り替えインデックスにより示される方式が自動切り替え方式である場合には、切り替えインデックスに続いてメタデータ個数情報もサンプルインデックスも配置されない。

0100

必要に応じて配置されるメタデータ個数情報やサンプルインデックスに続く位置には、追加メタデータが配置され、さらにその追加メタデータに続いて各サンプルのメタデータが定義された個数分だけ配置される。

0101

ここで、追加メタデータは、追加メタデータフラグの値が1である場合にのみ配置され、追加メタデータフラグの値が0である場合には配置されない。

0102

領域R12の部分には、領域R21の部分に配置された符号化メタデータと同様の符号化メタデータがオブジェクトごとに並べられて配置されている。

0103

ビットストリームでは、領域R10の部分に配置された独立フラグと、領域R11の部分に配置された各オブジェクトの符号化オーディオデータと、領域R12の部分に配置された各オブジェクトの符号化メタデータとから、1フレーム分のデータが構成される。

0104

〈符号化装置の構成例〉
次に、図1に示したビットストリームを出力する符号化装置の構成について説明する。図2は、本技術を適用した符号化装置の構成例を示す図である。

0105

符号化装置11は、オーディオ信号取得部21、オーディオ信号符号化部22、メタデータ取得部23、補間処理部24、関連情報取得部25、メタデータ符号化部26、多重化部27、および出力部28を有している。

0106

オーディオ信号取得部21は、各オブジェクトのオーディオ信号を取得してオーディオ信号符号化部22に供給する。オーディオ信号符号化部22は、オーディオ信号取得部21から供給されたオーディオ信号をフレーム単位で符号化し、その結果得られた各オブジェクトのフレームごとの符号化オーディオデータを多重化部27に供給する。

0107

メタデータ取得部23は、各オブジェクトのフレームごとのメタデータ、より詳細にはフレーム内の各サンプルのメタデータを取得して補間処理部24に供給する。ここで、メタデータには、例えば空間内におけるオブジェクトの位置を示す位置情報、オブジェクトの重要度を示す重要度情報、オブジェクトの音像の広がり度合いを示す情報などが含まれている。メタデータ取得部23では、各オブジェクトのオーディオ信号の所定サンプル(PCMサンプル)のメタデータが取得される。

0108

補間処理部24は、メタデータ取得部23から供給されたメタデータに対する補間処理を行って、オーディオ信号のメタデータのないサンプルのうちの、全てのサンプルまたは一部の特定のサンプルのメタデータを生成する。補間処理部24では、1つのオブジェクトの1フレームのオーディオ信号が複数のメタデータを有するように、つまり1フレーム内の複数のサンプルがメタデータを有するように、補間処理によりフレーム内のサンプルのメタデータが生成される。

0109

補間処理部24は、補間処理により得られた、各オブジェクトのフレームごとのメタデータをメタデータ符号化部26に供給する。

0110

関連情報取得部25は、フレームごとに、現フレームを、独立フレームにするかを示す情報(独立フレーム情報と称する)や、各オブジェクトについて、オーディオ信号のフレームごとに、サンプル数情報や、何れの方式でメタデータを送信するかを示す情報、追加メタデータを送信するかを示す情報、どのサンプルのメタデータを送信するかを示す情報など、メタデータに関連する情報を関連情報として取得する。また、関連情報取得部25は、取得した関連情報に基づいて、各オブジェクトについて、フレームごとに追加メタデータフラグ、切り替えインデックス、メタデータ個数情報、およびサンプルインデックスのうちの必要な情報を生成し、メタデータ符号化部26に供給する。

0111

メタデータ符号化部26は、関連情報取得部25から供給された情報に基づいて、補間処理部24から供給されたメタデータの符号化を行い、その結果得られた各オブジェクトのフレームごとの符号化メタデータと、関連情報取得部25から供給された情報に含まれる独立フレーム情報とを多重化部27に供給する。

0112

多重化部27は、オーディオ信号符号化部22から供給された符号化オーディオデータと、メタデータ符号化部26から供給された符号化メタデータと、メタデータ符号化部26から供給された独立フレーム情報に基づき得られる独立フラグとを多重化してビットストリームを生成し、出力部28に供給する。出力部28は、多重化部27から供給されたビットストリームを出力する。すなわち、ビットストリームが送信される。

0113

〈符号化処理の説明〉
符号化装置11は、外部からオブジェクトのオーディオ信号が供給されると、符号化処理を行ってビットストリームを出力する。以下、図3のフローチャートを参照して、符号化装置11による符号化処理について説明する。なお、この符号化処理はオーディオ信号のフレームごとに行われる。

0114

ステップS11において、オーディオ信号取得部21は、各オブジェクトのオーディオ信号を1フレーム分だけ取得してオーディオ信号符号化部22に供給する。

0115

ステップS12において、オーディオ信号符号化部22は、オーディオ信号取得部21から供給されたオーディオ信号を符号化し、その結果得られた各オブジェクトの1フレーム分の符号化オーディオデータを多重化部27に供給する。

0116

例えばオーディオ信号符号化部22は、オーディオ信号に対してMDCT(Modified Discrete Cosine Transform)等を行うことで、オーディオ信号を時間信号から周波数信号に変換する。そして、オーディオ信号符号化部22は、MDCTにより得られたMDCT係数を符号化し、その結果得られたスケールファクタサイド情報、および量子化スペクトルを、オーディオ信号を符号化して得られた符号化オーディオデータとする。

0117

これにより、例えば図1に示したビットストリームの領域R11の部分に格納される各オブジェクトの符号化オーディオデータが得られる。

0118

ステップS13において、メタデータ取得部23は、各オブジェクトについて、オーディオ信号のフレームごとのメタデータを取得して補間処理部24に供給する。

0119

ステップS14において、補間処理部24は、メタデータ取得部23から供給されたメタデータに対する補間処理を行って、メタデータ符号化部26に供給する。

0120

例えば補間処理部24は、1つのオーディオ信号について、所定のサンプルのメタデータとしての位置情報と、その所定のサンプルの時間的に前に位置する他のサンプルのメタデータとしての位置情報とに基づいて、線形補間によりそれらの2つのサンプルの間に位置する各サンプルの位置情報を算出する。同様に、メタデータとしての重要度情報や音像の広がり度合いを示す情報などについても線形補間等の補間処理が行われ、各サンプルのメタデータが生成される。

0121

なお、メタデータの補間処理では、オブジェクトの1フレームのオーディオ信号の全サンプルがメタデータ有するようにメタデータが算出されてもよいし、全サンプルのうちの必要なサンプルのみメタデータを有するようにメタデータが算出されてもよい。また、補間処理は線形補間に限らず、非線形補間であってもよい。

0122

ステップS15において、関連情報取得部25は、各オブジェクトのオーディオ信号のフレームについて、メタデータに関連する関連情報を取得する。

0123

そして、関連情報取得部25は、取得した関連情報に基づいて、オブジェクトごとに追加メタデータフラグ、切り替えインデックス、メタデータ個数情報、およびサンプルインデックスのうちの必要な情報を生成し、メタデータ符号化部26に供給する。

0124

なお、関連情報取得部25が追加メタデータフラグや切り替えインデックスなどを生成するのではなく、関連情報取得部25が追加メタデータフラグや切り替えインデックスなどを外部から取得するようにしてもよい。

0125

ステップS16において、メタデータ符号化部26は、関連情報取得部25から供給された追加メタデータフラグや、切り替えインデックス、メタデータ個数情報、サンプルインデックスなどに基づいて、補間処理部24から供給されたメタデータを符号化する。

0126

メタデータの符号化にあたっては、各オブジェクトについて、オーディオ信号のフレーム内の各サンプルのメタデータのうち、サンプル数情報や、切り替えインデックスにより示される方式、メタデータ個数情報、サンプルインデックスなどにより定まるサンプル位置のメタデータのみが送信されるように、符号化メタデータが生成される。また、フレームの先頭サンプルのメタデータ、または保持されていた直前のフレームの最後のサンプルのメタデータが、必要に応じて追加メタデータとされる。

0127

符号化メタデータには、メタデータの他、追加メタデータフラグおよび切り替えインデックスが含まれ、かつ必要に応じてメタデータ個数情報やサンプルインデックス、追加メタデータなどが含まれるようにされる。

0128

これにより、例えば図1に示したビットストリームの領域R12に格納される各オブジェクトの符号化メタデータが得られる。例えば領域R21に格納されている符号化メタデータが、1つのオブジェクトの1フレーム分の符号化メタデータである。

0129

この場合、例えばオブジェクトの処理対象となっているフレームで個数指定方式が選択され、かつ追加メタデータが送信されるときには、追加メタデータフラグ、切り替えインデックス、メタデータ個数情報、追加メタデータ、およびメタデータからなる符号化メタデータが生成される。

0130

また、例えばオブジェクトの処理対象となっているフレームでサンプル指定方式が選択され、かつ追加メタデータが送信されないときには、追加メタデータフラグ、切り替えインデックス、メタデータ個数情報、サンプルインデックス、およびメタデータからなる符号化メタデータが生成される。

0131

さらに、例えばオブジェクトの処理対象となっているフレームで自動切り替え方式が選択され、かつ追加メタデータが送信されるときには、追加メタデータフラグ、切り替えインデックス、追加メタデータ、およびメタデータからなる符号化メタデータが生成される。

0132

メタデータ符号化部26は、メタデータの符号化により得られた各オブジェクトの符号化メタデータと、関連情報取得部25から供給された情報に含まれる独立フレーム情報とを多重化部27に供給する。

0133

ステップS17において、多重化部27は、オーディオ信号符号化部22から供給された符号化オーディオデータと、メタデータ符号化部26から供給された符号化メタデータと、メタデータ符号化部26から供給された独立フレーム情報に基づき得られる独立フラグとを多重化してビットストリームを生成し、出力部28に供給する。

0134

これにより、1フレーム分のビットストリームとして、例えば図1に示したビットストリームの領域R10乃至領域R12の部分からなるビットストリームが生成される。

0135

ステップS18において、出力部28は、多重化部27から供給されたビットストリームを出力し、符号化処理は終了する。なお、ビットストリームの先頭部分が出力される場合には、図1に示したように、サンプル数情報等が含まれるヘッダも出力される。

0136

以上のようにして符号化装置11は、オーディオ信号を符号化するとともに、メタデータを符号化し、その結果得られた符号化オーディオデータと符号化メタデータとからなるビットストリームを出力する。

0137

このとき、1フレームに対して複数のメタデータが送信されるようにすることで、復号側において、補間処理によりVBAPゲインが算出されるサンプルの並ぶ区間の長さをより短くすることができ、より高音質な音声を得ることができるようになる。

0138

また、メタデータに対して補間処理を行うことで、必ず1フレームで1以上のメタデータを送信することができ、復号側においてリアルタイムで復号およびレンダリングを行うことができるようになる。さらに、必要に応じて追加メタデータを送信することで、ランダムアクセスを実現することができる。

0139

〈復号装置の構成例〉
続いて、符号化装置11から出力されたビットストリームを受信(取得)して復号を行う復号装置について説明する。例えば本技術を適用した復号装置は、図4に示すように構成される。

0140

この復号装置51には、再生空間に配置された複数のスピーカからなるスピーカシステム52が接続されている。復号装置51は、復号およびレンダリングにより得られた各チャンネルのオーディオ信号を、スピーカシステム52を構成する各チャンネルのスピーカに供給し、音声を再生させる。

0141

復号装置51は、取得部61、分離部62、オーディオ信号復号部63、メタデータ復号部64、ゲイン算出部65、およびオーディオ信号生成部66を有している。

0142

取得部61は、符号化装置11から出力されたビットストリームを取得して分離部62に供給する。分離部62は、取得部61から供給されたビットストリームを、独立フラグと符号化オーディオデータと符号化メタデータとに分離させ、符号化オーディオデータをオーディオ信号復号部63に供給するとともに、独立フラグと符号化メタデータとをメタデータ復号部64に供給する。

0143

なお、分離部62は、必要に応じて、ビットストリームのヘッダからサンプル数情報などの各種の情報を読み出して、オーディオ信号復号部63やメタデータ復号部64に供給する。

0144

オーディオ信号復号部63は、分離部62から供給された符号化オーディオデータを復号し、その結果得られた各オブジェクトのオーディオ信号をオーディオ信号生成部66に供給する。

0145

メタデータ復号部64は、分離部62から供給された符号化メタデータを復号し、その結果得られたオブジェクトごとのオーディオ信号の各フレームのメタデータと、分離部62から供給された独立フラグとをゲイン算出部65に供給する。

0146

メタデータ復号部64は、符号化メタデータから追加メタデータフラグを読み出す追加メタデータフラグ読み出し部71と、符号化メタデータから切り替えインデックスを読み出す切り替えインデックス読み出し部72を有している。

0147

ゲイン算出部65は、予め保持しているスピーカシステム52を構成する各スピーカの空間上の配置位置を示す配置位置情報と、メタデータ復号部64から供給された各オブジェクトのフレームごとのメタデータと独立フラグとに基づいて、各オブジェクトについて、オーディオ信号のフレーム内のサンプルのVBAPゲインを算出する。

0148

また、ゲイン算出部65は、所定のサンプルのVBAPゲインに基づいて、補間処理により他のサンプルのVBAPゲインを算出する補間処理部73を有している。

0149

ゲイン算出部65は、各オブジェクトについて、オーディオ信号のフレーム内のサンプルごとに算出されたVBAPゲインをオーディオ信号生成部66に供給する。

0150

オーディオ信号生成部66は、オーディオ信号復号部63から供給された各オブジェクトのオーディオ信号と、ゲイン算出部65から供給された各オブジェクトのサンプルごとのVBAPゲインとに基づいて、各チャンネルのオーディオ信号、すなわち各チャンネルのスピーカに供給するオーディオ信号を生成する。

0151

オーディオ信号生成部66は、生成したオーディオ信号をスピーカシステム52を構成する各スピーカに供給し、オーディオ信号に基づく音声を出力させる。

0152

復号装置51では、ゲイン算出部65およびオーディオ信号生成部66からなるブロックが、復号により得られたオーディオ信号とメタデータに基づいてレンダリングを行うレンダラ(レンダリング部)として機能する。

0153

〈復号処理の説明〉
復号装置51は、符号化装置11からビットストリームが送信されてくると、そのビットストリームを受信(取得)して復号する復号処理を行う。以下、図5のフローチャートを参照して、復号装置51による復号処理について説明する。なお、この復号処理はオーディオ信号のフレームごとに行われる。

0154

ステップS41において、取得部61は、符号化装置11から出力されたビットストリームを1フレーム分だけ取得して分離部62に供給する。

0155

ステップS42において、分離部62は、取得部61から供給されたビットストリームを、独立フラグと符号化オーディオデータと符号化メタデータとに分離させ、符号化オーディオデータをオーディオ信号復号部63に供給するとともに、独立フラグと符号化メタデータをメタデータ復号部64に供給する。

0156

このとき、分離部62は、ビットストリームのヘッダから読み出したサンプル数情報をメタデータ復号部64に供給する。なお、サンプル数情報の供給タイミングは、ビットストリームのヘッダが取得されたタイミングとすればよい。

0157

ステップS43において、オーディオ信号復号部63は、分離部62から供給された符号化オーディオデータを復号し、その結果得られた各オブジェクトの1フレーム分のオーディオ信号をオーディオ信号生成部66に供給する。

0158

例えばオーディオ信号復号部63は、符号化オーディオデータを復号してMDCT係数を求める。具体的には、オーディオ信号復号部63は符号化オーディオデータとして供給されたスケールファクタ、サイド情報、および量子化スペクトルに基づいてMDCT係数を算出する。

0159

また、オーディオ信号復号部63はMDCT係数に基づいて、IMDCT(Inverse Modified Discrete Cosine Transform)を行い、その結果得られたPCMデータをオーディオ信号としてオーディオ信号生成部66に供給する。

0160

符号化オーディオデータの復号が行われると、その後、符号化メタデータの復号が行われる。すなわち、ステップS44において、メタデータ復号部64の追加メタデータフラグ読み出し部71は、分離部62から供給された符号化メタデータから追加メタデータフラグを読み出す。

0161

例えばメタデータ復号部64は、分離部62から順次供給されてくる符号化メタデータに対応するオブジェクトを順番に処理対象のオブジェクトとする。追加メタデータフラグ読み出し部71は、処理対象とされたオブジェクトの符号化メタデータから追加メタデータフラグを読み出す。

0162

ステップS45において、メタデータ復号部64の切り替えインデックス読み出し部72は、分離部62から供給された、処理対象のオブジェクトの符号化メタデータから切り替えインデックスを読み出す。

0163

ステップS46において、切り替えインデックス読み出し部72は、ステップS45で読み出した切り替えインデックスにより示される方式が個数指定方式であるか否かを判定する。

0164

ステップS46において個数指定方式であると判定された場合、ステップS47において、メタデータ復号部64は、分離部62から供給された、処理対象のオブジェクトの符号化メタデータからメタデータ個数情報を読み出す。

0165

処理対象のオブジェクトの符号化メタデータには、このようにして読み出されたメタデータ個数情報により示される数だけ、メタデータが格納されている。

0166

ステップS48において、メタデータ復号部64は、ステップS47で読み出したメタデータ個数情報と、分離部62から供給されたサンプル数情報とに基づいて、処理対象のオブジェクトのオーディオ信号のフレームにおける、送信されてきたメタデータのサンプル位置を特定する。

0167

例えばサンプル数情報により示される数のサンプルからなる1フレームの区間が、メタデータ個数情報により示されるメタデータ数の区間に等分され、等分された各区間の最後のサンプル位置がメタデータのサンプル位置、つまりメタデータを有するサンプルの位置とされる。このようにして求められたサンプル位置が、符号化メタデータに含まれる各メタデータのサンプル位置、つまりそれらのメタデータを有するサンプルとされる。

0168

なお、ここでは1フレームの区間が等分されて、それらの等分された区間の最後のサンプルのメタデータが送信される場合について説明したが、どのサンプルのメタデータを送信するかに応じて、サンプル数情報とメタデータ個数情報から各メタデータのサンプル位置が算出される。

0169

このようにして処理対象のオブジェクトの符号化メタデータに含まれているメタデータの個数と、各メタデータのサンプル位置が特定されると、その後、処理はステップS53へと進む。

0170

一方、ステップS46において個数指定方式でないと判定された場合、ステップS49において、切り替えインデックス読み出し部72は、ステップS45で読み出した切り替えインデックスにより示される方式がサンプル指定方式であるか否かを判定する。

0171

ステップS49においてサンプル指定方式であると判定された場合、ステップS50において、メタデータ復号部64は、分離部62から供給された、処理対象のオブジェクトの符号化メタデータからメタデータ個数情報を読み出す。

0172

ステップS51において、メタデータ復号部64は、分離部62から供給された、処理対象のオブジェクトの符号化メタデータからサンプルインデックスを読み出す。このとき、メタデータ個数情報により示される個数だけ、サンプルインデックスが読み出される。

0173

このようにして読み出されたメタデータ個数情報とサンプルインデックスから、処理対象のオブジェクトの符号化メタデータに格納されているメタデータの個数と、それらのメタデータのサンプル位置とを特定することができる。

0174

処理対象のオブジェクトの符号化メタデータに含まれているメタデータの個数と、各メタデータのサンプル位置が特定されると、その後、処理はステップS53へと進む。

0175

また、ステップS49においてサンプル指定方式でないと判定された場合、すなわち切り替えインデックスにより示される方式が自動切り替え方式である場合、処理はステップS52へと進む。

0176

ステップS52において、メタデータ復号部64は、分離部62から供給されたサンプル数情報に基づいて、処理対象のオブジェクトの符号化メタデータに含まれているメタデータの個数と、各メタデータのサンプル位置を特定し、処理はステップS53へと進む。

0177

例えば自動切り替え方式では、1フレームを構成するサンプルの数に対して、送信されるメタデータの個数と、各メタデータのサンプル位置、つまりどのサンプルのメタデータを送信するかとが予め定められている。

0178

そのため、メタデータ復号部64は、サンプル数情報から、処理対象のオブジェクトの符号化メタデータに格納されているメタデータの個数と、それらのメタデータのサンプル位置とを特定することができる。

0179

ステップS48、ステップS51、またはステップS52の処理が行われると、ステップS53において、メタデータ復号部64は、ステップS44で読み出された追加メタデータフラグの値に基づいて、追加メタデータがあるか否かを判定する。

0180

ステップS53において、追加メタデータがあると判定された場合、ステップS54において、メタデータ復号部64は、処理対象のオブジェクトの符号化メタデータから、追加メタデータを読み出す。追加メタデータが読み出されると、その後、処理はステップS55へと進む。

0181

これに対して、ステップS53において追加メタデータがないと判定された場合、ステップS54の処理はスキップされて、処理はステップS55へと進む。

0182

ステップS54で追加メタデータが読み出されたか、またはステップS53において追加メタデータがないと判定されると、ステップS55において、メタデータ復号部64は、処理対象のオブジェクトの符号化メタデータからメタデータを読み出す。

0183

このとき、符号化メタデータからは、上述した処理により特定された個数だけ、メタデータが読み出されることになる。

0184

以上の処理により、処理対象のオブジェクトの1フレーム分のオーディオ信号について、メタデータと追加メタデータの読み出しが行われたことになる。

0185

メタデータ復号部64は、読み出した各メタデータをゲイン算出部65に供給する。その際、ゲイン算出部65は、どのメタデータが、どのオブジェクトのどのサンプルのメタデータであるかを特定できるようにメタデータの供給を行う。また、追加メタデータが読み出されたときには、メタデータ復号部64は、読み出した追加メタデータもゲイン算出部65に供給する。

0186

ステップS56において、メタデータ復号部64は、全てのオブジェクトについて、メタデータの読み出しを行ったか否かを判定する。

0187

ステップS56において、まだ全てのオブジェクトについて、メタデータの読み出しを行っていないと判定された場合、処理はステップS44に戻り、上述した処理が繰り返し行われる。この場合、まだ処理対象とされていないオブジェクトが、新たな処理対象のオブジェクトとされて、そのオブジェクトの符号化メタデータからメタデータ等が読み出される。

0188

これに対して、ステップS56において全てのオブジェクトについてメタデータの読み出しを行ったと判定された場合、メタデータ復号部64は、分離部62から供給された独立フラグをゲイン算出部65に供給し、その後、処理はステップS57に進み、レンダリングが開始される。

0189

すなわち、ステップS57において、ゲイン算出部65は、メタデータ復号部64から供給されたメタデータや追加メタデータや独立フラグに基づいて、VBAPゲインを算出する。

0190

例えばゲイン算出部65は、各オブジェクトを順番に処理対象のオブジェクトとして選択していき、さらにその処理対象のオブジェクトのオーディオ信号のフレーム内にある、メタデータのあるサンプルを、順番に処理対象のサンプルとして選択する。

0191

ゲイン算出部65は、処理対象のサンプルについて、そのサンプルのメタデータとしての位置情報により示される空間上のオブジェクトの位置と、配置位置情報により示されるスピーカシステム52の各スピーカの空間上の位置とに基づいて、VBAPにより処理対象のサンプルの各チャンネル、すなわち各チャンネルのスピーカのVBAPゲインを算出する。

0192

VBAPでは、オブジェクトの周囲にある3つまたは2つのスピーカから、所定のゲインで音声を出力することで、そのオブジェクトの位置に音像を定位させることができる。なお、VBAPについては、例えば「Ville Pulkki, “Virtual Sound Source Positioning Using Vector Base Amplitude Panning”, Journal ofAES, vol.45, no.6, pp.456-466, 1997」などに詳細に記載されている。

0193

ステップS58において、補間処理部73は補間処理を行って、メタデータのないサンプルの各スピーカのVBAPゲインを算出する。

0194

例えば補間処理では、直前のステップS57で算出した処理対象のサンプルのVBAPゲインと、その処理対象のサンプルよりも時間的に前にある、処理対象のオブジェクトの同じフレームまたは直前のフレームのメタデータのあるサンプル(以下、参照サンプルとも称する)のVBAPゲインとが用いられる。すなわち、スピーカシステム52を構成するスピーカ(チャンネル)ごとに、処理対象のサンプルのVBAPゲインと、参照サンプルのVBAPゲインとが用いられて、それらの処理対象のサンプルと、参照サンプルとの間にある各サンプルのVBAPゲインが線形補間等により算出される。

0195

なお、例えばランダムアクセスが指示された場合、もしくは、メタデータ復号部64から供給された独立フラグの値が1である場合で、追加メタデータがある場合には、ゲイン算出部65は追加メタデータを用いてVBAPゲインの算出を行う。

0196

具体的には、例えば処理対象のオブジェクトのオーディオ信号のフレーム内において、最もフレーム先頭側にある、メタデータを有するサンプルが処理対象のサンプルとされて、そのサンプルのVBAPゲインが算出されたとする。この場合、このフレームよりも前のフレームについてはVBAPゲインが算出されていないので、ゲイン算出部65は、追加メタデータを用いて、そのフレームの先頭サンプルまたはそのフレームの直前のフレームの最後のサンプルを参照サンプルとして、その参照サンプルのVBAPゲインを算出する。

0197

そして、補間処理部73は、処理対象のサンプルのVBAPゲインと、参照サンプルのVBAPゲインとから、それらの処理対象のサンプルと参照サンプルの間にある各サンプルのVBAPゲインを補間処理により算出する。

0198

一方、例えばランダムアクセスが指示された場合、もしくは、メタデータ復号部64から供給された独立フラグの値が1である場合で、追加メタデータがない場合には、追加メタデータを用いたVBAPゲインの算出は行われず、補間処理の切り替えが行われる。

0199

具体的には、例えば処理対象のオブジェクトのオーディオ信号のフレーム内において、最もフレーム先頭側にある、メタデータを有するサンプルが処理対象のサンプルとされて、そのサンプルのVBAPゲインが算出されたとする。この場合、このフレームよりも前のフレームについてはVBAPゲインが算出されていないので、ゲイン算出部65は、そのフレームの先頭サンプルまたはそのフレームの直前のフレームの最後のサンプルを参照サンプルとして、その参照サンプルのVBAPゲインを0として算出する。

0200

そして、補間処理部73は、処理対象のサンプルのVBAPゲインと、参照サンプルのVBAPゲインとから、それらの処理対象のサンプルと参照サンプルの間にある各サンプルのVBAPゲインを補間処理により算出する。

0201

なお、この方法に限らず、例えば、補間される各サンプルのVBAPゲインを、すべて、処理対象のサンプルのVBAPゲインと同一の値にするように補間処理を行っても良い。

0202

このように、VBAPゲインの補間処理を切り替えることにより、追加メタデータがないフレームにおいても、ランダムアクセスや、独立フレームにおける復号およびレンダリングが可能となる。

0203

また、ここではメタデータのないサンプルのVBAPゲインが補間処理により求められる例について説明したが、メタデータ復号部64において、メタデータのないサンプルについて、補間処理によりサンプルのメタデータが求められるようにしてもよい。この場合、オーディオ信号の全てのサンプルのメタデータが得られるので、補間処理部73ではVBAPゲインの補間処理は行われない。

0204

ステップS59において、ゲイン算出部65は、処理対象のオブジェクトのオーディオ信号のフレーム内の全サンプルのVBAPゲインを算出したか否かを判定する。

0205

ステップS59において、まだ全サンプルのVBAPゲインを算出していないと判定された場合、処理はステップS57に戻り、上述した処理が繰り返し行われる。すなわち、メタデータを有する次のサンプルが処理対象のサンプルとして選択され、VBAPゲインが算出される。

0206

これに対して、ステップS59において全サンプルのVBAPゲインを算出したと判定された場合、ステップS60において、ゲイン算出部65は、全オブジェクトのVBAPゲインを算出したか否かを判定する。

0207

例えば全てのオブジェクトが処理対象のオブジェクトとされて、それらのオブジェクトについて、スピーカごとの各サンプルのVBAPゲインが算出された場合、全オブジェクトのVBAPゲインを算出したと判定される。

0208

ステップS60において、まだ全オブジェクトのVBAPゲインを算出していないと判定された場合、処理はステップS57に戻り、上述した処理が繰り返し行われる。

0209

これに対して、ステップS60において全オブジェクトのVBAPゲインを算出したと判定された場合、ゲイン算出部65は算出したVBAPゲインをオーディオ信号生成部66に供給し、処理はステップS61へと進む。この場合、スピーカごとに算出された、各オブジェクトのオーディオ信号のフレーム内の各サンプルのVBAPゲインがオーディオ信号生成部66へと供給される。

0210

ステップS61において、オーディオ信号生成部66は、オーディオ信号復号部63から供給された各オブジェクトのオーディオ信号と、ゲイン算出部65から供給された各オブジェクトのサンプルごとのVBAPゲインとに基づいて、各スピーカのオーディオ信号を生成する。

0211

例えばオーディオ信号生成部66は、各オブジェクトのオーディオ信号のそれぞれに対して、それらのオブジェクトごとに得られた同じスピーカのVBAPゲインのそれぞれをサンプルごとに乗算して得られた信号を加算することで、そのスピーカのオーディオ信号を生成する。

0212

具体的には、例えばオブジェクトとしてオブジェクトOB1乃至オブジェクトOB3の3つのオブジェクトがあり、それらのオブジェクトのスピーカシステム52を構成する所定のスピーカSP1のVBAPゲインとして、VBAPゲインG1乃至VBAPゲインG3が得られているとする。この場合、VBAPゲインG1が乗算されたオブジェクトOB1のオーディオ信号、VBAPゲインG2が乗算されたオブジェクトOB2のオーディオ信号、およびVBAPゲインG3が乗算されたオブジェクトOB3のオーディオ信号が加算され、その結果得られたオーディオ信号が、スピーカSP1に供給されるオーディオ信号とされる。

0213

ステップS62において、オーディオ信号生成部66は、ステップS61の処理で得られた各スピーカのオーディオ信号をスピーカシステム52の各スピーカに供給し、それらのオーディオ信号に基づいて音声を再生させ、復号処理は終了する。これにより、スピーカシステム52によって、各オブジェクトの音声が再生される。

0214

以上のようにして復号装置51は、符号化オーディオデータおよび符号化メタデータを復号し、復号により得られたオーディオ信号およびメタデータに基づいてレンダリングを行い、各スピーカのオーディオ信号を生成する。

0215

復号装置51では、レンダリングを行うにあたり、オブジェクトのオーディオ信号のフレームに対して複数のメタデータが得られるので、補間処理によりVBAPゲインが算出されるサンプルの並ぶ区間の長さをより短くすることができる。これにより、より高音質な音声を得ることができるだけでなく、リアルタイムで復号とレンダリングを行うことができる。また、フレームによっては追加メタデータが符号化メタデータに含まれているので、ランダムアクセスや独立フレームにおける復号及びレンダリングを実現することもできる。また、追加メタデータが含まれないフレームにおいても、VBAPゲインの補間処理を切り替えることにより、ランダムアクセスや独立フレームにおける復号及びレンダリングを実現することもできる。

0216

ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用パーソナルコンピュータなどが含まれる。

0217

図6は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

0218

コンピュータにおいて、CPU(Central Processing Unit)501,ROM(Read Only Memory)502,RAM(Random Access Memory)503は、バス504により相互に接続されている。

0219

バス504には、さらに、入出力インターフェース505が接続されている。入出力インターフェース505には、入力部506、出力部507、記録部508、通信部509、及びドライブ510が接続されている。

0220

入力部506は、キーボードマウスマイクロホン撮像素子などよりなる。出力部507は、ディスプレイ、スピーカなどよりなる。記録部508は、ハードディスク不揮発性メモリなどよりなる。通信部509は、ネットワークインターフェースなどよりなる。ドライブ510は、磁気ディスク光ディスク光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体511を駆動する。

0221

以上のように構成されるコンピュータでは、CPU501が、例えば、記録部508に記録されているプログラムを、入出力インターフェース505及びバス504を介して、RAM503にロードして実行することにより、上述した一連の処理が行われる。

0222

コンピュータ(CPU501)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体511に記録して提供することができる。また、プログラムは、ローカルエリアネットワークインターネットデジタル衛星放送といった、有線または無線伝送媒体を介して提供することができる。

0223

コンピュータでは、プログラムは、リムーバブル記録媒体511をドライブ510に装着することにより、入出力インターフェース505を介して、記録部508にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部509で受信し、記録部508にインストールすることができる。その他、プログラムは、ROM502や記録部508に、あらかじめインストールしておくことができる。

0224

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

0225

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

0226

例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担共同して処理するクラウドコンピューティングの構成をとることができる。

0227

また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。

0228

さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。

0229

さらに、本技術は、以下の構成とすることも可能である。

0230

(1)
オーディオオブジェクトの所定時間間隔のフレームのオーディオ信号を符号化して得られた符号化オーディオデータと、前記フレームの複数のメタデータとを取得する取得部と、
前記符号化オーディオデータを復号する復号部と、
前記復号により得られたオーディオ信号と、前記複数のメタデータとに基づいてレンダリングを行うレンダリング部と
を備える復号装置。
(2)
前記メタデータには、前記オーディオオブジェクトの位置を示す位置情報が含まれている
(1)に記載の復号装置。
(3)
前記複数のメタデータのそれぞれは、前記オーディオ信号の前記フレーム内の複数のサンプルのそれぞれのメタデータである
(1)または(2)に記載の復号装置。
(4)
前記複数のメタデータのそれぞれは、前記フレームを構成するサンプルの数を前記複数のメタデータの数で除算して得られるサンプル数の間隔で並ぶ複数のサンプルのそれぞれのメタデータである
(3)に記載の復号装置。
(5)
前記複数のメタデータのそれぞれは、複数のサンプルインデックスのそれぞれにより示される複数のサンプルのそれぞれのメタデータである
(3)に記載の復号装置。
(6)
前記複数のメタデータのそれぞれは、前記フレーム内の所定サンプル数間隔で並ぶ複数のサンプルのそれぞれのメタデータである
(3)に記載の復号装置。
(7)
前記複数のメタデータには、メタデータに基づいて算出される前記オーディオ信号のサンプルのゲインの補間処理を行うためのメタデータが含まれている
(1)乃至(6)の何れか一項に記載の復号装置。
(8)
オーディオオブジェクトの所定時間間隔のフレームのオーディオ信号を符号化して得られた符号化オーディオデータと、前記フレームの複数のメタデータとを取得し、
前記符号化オーディオデータを復号し、
前記復号により得られたオーディオ信号と、前記複数のメタデータとに基づいてレンダリングを行う
ステップを含む復号方法。
(9)
オーディオオブジェクトの所定時間間隔のフレームのオーディオ信号を符号化して得られた符号化オーディオデータと、前記フレームの複数のメタデータとを取得し、
前記符号化オーディオデータを復号し、
前記復号により得られたオーディオ信号と、前記複数のメタデータとに基づいてレンダリングを行う
ステップを含む処理をコンピュータに実行させるプログラム。
(10)
オーディオオブジェクトの所定時間間隔のフレームのオーディオ信号を符号化する符号化部と、
前記符号化により得られた符号化オーディオデータと、前記フレームの複数のメタデータとが含まれたビットストリームを生成する生成部と
を備える符号化装置。
(11)
前記メタデータには、前記オーディオオブジェクトの位置を示す位置情報が含まれている
(10)に記載の符号化装置。
(12)
前記複数のメタデータのそれぞれは、前記オーディオ信号の前記フレーム内の複数のサンプルのそれぞれのメタデータである
(10)または(11)に記載の符号化装置。
(13)
前記複数のメタデータのそれぞれは、前記フレームを構成するサンプルの数を前記複数のメタデータの数で除算して得られるサンプル数の間隔で並ぶ複数のサンプルのそれぞれのメタデータである
(12)に記載の符号化装置。
(14)
前記複数のメタデータのそれぞれは、複数のサンプルインデックスのそれぞれにより示される複数のサンプルのそれぞれのメタデータである
(12)に記載の符号化装置。
(15)
前記複数のメタデータのそれぞれは、前記フレーム内の所定サンプル数間隔で並ぶ複数のサンプルのそれぞれのメタデータである
(12)に記載の符号化装置。
(16)
前記複数のメタデータには、メタデータに基づいて算出される前記オーディオ信号のサンプルのゲインの補間処理を行うためのメタデータが含まれている
(10)乃至(15)の何れか一項に記載の符号化装置。
(17)
メタデータに対する補間処理を行う補間処理部をさらに備える
(10)乃至(16)の何れか一項に記載の符号化装置。
(18)
オーディオオブジェクトの所定時間間隔のフレームのオーディオ信号を符号化し、
前記符号化により得られた符号化オーディオデータと、前記フレームの複数のメタデータとが含まれたビットストリームを生成する
ステップを含む符号化方法。
(19)
オーディオオブジェクトの所定時間間隔のフレームのオーディオ信号を符号化し、
前記符号化により得られた符号化オーディオデータと、前記フレームの複数のメタデータとが含まれたビットストリームを生成する
ステップを含む処理をコンピュータに実行させるプログラム。

0231

11符号化装置, 22オーディオ信号符号化部, 24補間処理部, 25関連情報取得部, 26メタデータ符号化部, 27多重化部, 28 出力部, 51復号装置, 62 分離部, 63 オーディオ信号復号部, 64 メタデータ復号部, 65ゲイン算出部, 66 オーディオ信号生成部, 71追加メタデータフラグ読み出し部, 72切り替えインデックス読み出し部, 73 補間処理部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

該当するデータがありません

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

該当するデータがありません

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ