図面 (/)
課題
解決手段
概要
背景
従来より、符号化されたオーディオ信号の復号化装置に供給される圧縮符号化オーディオ信号の符号化方法、オーディオ信号の符号化装置には時間周波数変換の手法が用いられている。
この手法は、時間領域で供給される信号を周波数領域の信号に変換し、符号化を行う方法で、人間の周波数領域における聴覚特性を利用して行う符号化方式であり、それは人間の聴覚心理が、周波数により検知できる音圧レベルが異なる、信号レベルの大きな周波数の近傍にある小レベルの周波数成分の検知力が低いなどの聴覚上のマスキング効果を利用して信号の圧縮を行う符号化方式に適した信号処理が出来るからである。
その従来用いられる時間周波数変換手法は、高速フーリエ変換(FFT:FastFourier Transform)、変形離散コサイン変換(MDCT:Modified DiscreteCosine Transform)などであり、これらの手法は、オーディオ信号を所定の観測区間ごとに区切り、その区切られた信号を周波数分析することにより伝送する周波数とそのレベルを求める方法である。
この様にして求められた周波数分析結果より、聴覚上必要な情報を選択し、符号化して伝送するようなオーディオ信号の符号化方法、及びオーディオ信号の符号化装置も実現されている。
概要
オーディオ信号を一般調和解析法により効率的に周波数分析し、生成された符号化効率の高いビットストリームを、高品質のまま復号する装置を構成することにある。
供給されるデジタルオーディオ信号を適応的にフレーム期間を設定し、聴覚心理上知覚されやすい信号に対しては小さな周波数間隔により高い精度で、知覚され難い信号に対しては一般調和解析結果より得られる残差信号のレベルが低下したことにより検出して低い精度の一般調和解析を行い、ビットストリームを生成して伝送し、伝送されたビットストリームの復号は、適応的に設定されるフレーム期間情報及び一般調和解析結果を得て、高音質で符号化効率の高いデジタルオーディオ信号を再生する復号化装置を実現した。
目的
すなわち、その符号化装置に用いられるGHAは、オーディオ信号の周波数分析を符号化に適した形に処理を行い、且つFFTなどを用いる場合に比し、抽出した周波数成分の精度が高く、抽出した周波数成分を符号化するのに必要な符号量が、入力信号によっては増大するという課題を解決し、符号化効率を向上させるようにしたものであり、そのようなオーディオ信号符号化装置と組み合わせて用いる復号方法、及び復号装置の構成を提供するようにし、安価で高品質なデジタルオーディオ信号の符号化、及び復号化を行うシステム構築がなされるようにするものである。
効果
実績
- 技術文献被引用数
- 0件
- 牽制数
- 1件
この技術が所属する分野
(分野番号表示ON)※整理標準化データをもとに当社作成
請求項1
供給されるデジタルオーディオ信号を所定の観測区間毎の観測区間信号に分割し、その分割された観測区間信号に対して周波数間隔が小、又は中である第1の周波数テーブルを用いて周波数分析を行って周波数値を求め、その求められた周波数成分を前記観測区間信号より減じて残差信号電力が最小となる最も優勢な正弦波の周波数成分を抽出処理し、その抽出された残差信号に対して前記第1の周波数テーブル、又はその第1の周波数テーブルよりも周波数間隔が大である第2の周波数テーブルを用いて残差信号電力が最小となる優勢な正弦波の周波数成分を抽出処理し、その抽出処理して得られる残差信号電力が所定値以下となるまでその残差信号より優勢な正弦波の周波数成分抽出処理を繰り返し行う一般調和解析(GHA)法により抽出された複数の優勢周波数抽出成分の値を用いて前記デジタルオーディオ信号の圧縮符号化を行うとともに、その圧縮符号化された符号化データはそのデータの内容を識別するためのヘッダー信号とともに圧縮符号化信号ビットストリームとして供給され、その供給された圧縮符号化信号ビットストリームより前記デジタルオーディオ信号を復号するオーディオ信号の復号化方法において、前記圧縮符号化信号ビットストリームより、前記観測区間信号を得て復号されたオーディオ信号のサンプル値を配置するための時間位置を設定する第1のステップと、前記圧縮符号化信号ビットストリームより、前記抽出された複数の優勢な周波数抽出成分に対応する複数の正弦波データの波形信号を生成する第2のステップと、その第2のステップにより生成された波形信号を、前記第1のステップにより設定された時間位置に配置するようにして前記デジタルオーディオ信号を生成するようになすことを特徴とするオーディオ信号の復号化方法。
請求項2
供給されるデジタルオーディオ信号を所定の観測区間毎の観測区間信号に分割し、その分割された観測区間信号に対して周波数間隔が小、又は中である第1の周波数テーブルを用いて周波数分析を行って周波数値を求め、その求められた周波数成分を前記観測区間信号より減じて残差信号電力が最小となる最も優勢な正弦波の周波数成分を抽出処理し、その抽出された残差信号に対して前記第1の周波数テーブル、又はその第1の周波数テーブルよりも周波数間隔が大である第2の周波数テーブルを用いて残差信号電力が最小となる優勢な正弦波の周波数成分を抽出処理し、その抽出処理して得られる残差信号電力が所定値以下となるまでその残差信号より優勢な正弦波の周波数成分抽出処理を繰り返し行う一般調和解析(GHA)法により抽出された複数の優勢周波数抽出成分の値を用いて前記デジタルオーディオ信号の圧縮符号化を行うとともに、その圧縮符号化された符号化データはそのデータの内容を識別するためのヘッダー信号とともに圧縮符号化信号ビットストリームとして供給され、その供給された圧縮符号化信号ビットストリームより前記デジタルオーディオ信号を復号するオーディオ信号の復号化装置において、前記圧縮符号化信号ビットストリームより、前記観測区間信号を得て復号されたオーディオ信号のサンプル値を配置するための時間位置を設定する時間位置設定手段と、前記圧縮符号化信号ビットストリームより、前記抽出された複数の優勢な周波数抽出成分に対応する複数の正弦波データの波形信号を生成する波形信号生成手段と、その波形信号生成手段により生成された波形信号を、前記時間位置設定手段により設定された時間位置に配置するようにして前記デジタルオーディオ信号を得るように構成することを特徴とするオーディオ信号の復号化装置。
技術分野
0001
本発明は、一般調和解析法により圧縮符号化されたオーディオ信号を得て、復号化する符号化されたオーディオ信号の復号化方法、及び符号化されたオーディオ信号の復号化装置に係り、その一般調和解析により符号化されるオーディオ信号は、特に複数種類の周波数間隔を有する周波数値を基にしてオーディオ信号の優勢周波数成分を抽出し、その抽出された周波数成分を基にして圧縮符号化を行うものであり、その圧縮符号化された信号を符号化ビットストリームの信号形式で伝送するものである。
背景技術
0003
この手法は、時間領域で供給される信号を周波数領域の信号に変換し、符号化を行う方法で、人間の周波数領域における聴覚特性を利用して行う符号化方式であり、それは人間の聴覚心理が、周波数により検知できる音圧レベルが異なる、信号レベルの大きな周波数の近傍にある小レベルの周波数成分の検知力が低いなどの聴覚上のマスキング効果を利用して信号の圧縮を行う符号化方式に適した信号処理が出来るからである。
0004
その従来用いられる時間周波数変換手法は、高速フーリエ変換(FFT:FastFourier Transform)、変形離散コサイン変換(MDCT:Modified DiscreteCosine Transform)などであり、これらの手法は、オーディオ信号を所定の観測区間ごとに区切り、その区切られた信号を周波数分析することにより伝送する周波数とそのレベルを求める方法である。
0005
この様にして求められた周波数分析結果より、聴覚上必要な情報を選択し、符号化して伝送するようなオーディオ信号の符号化方法、及びオーディオ信号の符号化装置も実現されている。
発明が解決しようとする課題
0006
ところで、この時間周波数変換方式による符号化方式で用いられる高速フーリエ変換(FFT)や変形離散コサイン変換(MDCT)等の周波数分析手法は、周期的で調和的な信号を分析する手法であり、信号を観測した観測区間の外では、観測区間内の信号が周期的に繰り返すことを仮定している。
0007
その符号化の対称となるオーディオ信号が、例えば音階に基づいた周波数成分を有し周期的で連続的な形態を取る場合と、打楽器などから発せられる単発的で不連続的な信号である場合とで、また、さらにそれらが複合されている場合など、千差万別であり、そのように複雑に構成されるオーディオ信号の周波数分析を、オーディオ信号の周期と関連のない観測区間を定めて行うときは、オーディオ信号の波形と観測する区間の位置関係が異なる場合などでは、異なった周波数とレベルの分析結果が得られるなど、周波数領域の信号に誤差が含まれ易い。
0008
さらにまた、単発的で過渡的なオーディオ信号を符号化して再現するには、高い周波数分解能での信号分析が必要であるが、そのためには観測区間を長くとる必要がある。しかし、観測区間を長くすると、実際とは異なる多数の周波数成分も抽出されてしまうなどにより符号化効率が低下するなど、観測区間の設定が困難な状況にある。
0009
このように、従来の周波数分析法を用いる符号化方式は、観測区間の設定により誤差を伴った周波数領域信号が得られる、過渡的なオーディオ信号に対する周波数分解能が不足である、そして観測区間外の波形予測が困難であるなどの課題を有しており、さらに予測残差の符号化による符号化効率の向上が困難であるなどにより、高能率で良好なオーディオ信号の符号化方法、オーディオ信号の符号化装置を提供できない欠点を有しており、そのようにして符号化されたオーディオ信号を復号化する復号装置と組み合わせてなるオーディオ信号の符号化、及び復号化を行う場合も同じ課題を有していた。
0010
そこで、これらの課題を解決するための手法として、調和的でない信号に拡張したフーリエ解析の手法を用いてオーディオ信号を符号化し、復号化する手法がある。その手法は一般調和解析(Generalized Harmonic Analysis:GHA)と呼ばれ、例えば牛山聡外による「一般調和解析による波形分析」、信学技法EA93−103(1994−03)、及び山崎芳男による「音響信号の時間周波数分析」、日本音響学会誌53巻2号(1997)などで知られている。
0011
そのGHAは、観測区間内で原信号から残差信号電力が最小となる最も優勢な正弦波を抽出し、抽出した信号成分を除いた残差信号に対しても同様の処理を繰り返し行う様にする解析手法で、定常的でない僅かな周波数変動に対しても正確な周波数分析が可能であり、さらに観測区間長と周波数分解能は互いに独立に自由な設定が可能であるため、観測区間を超えた信号の予測が可能であるなど、多くの特長を有している。
0012
このようにして、本発明はFFTやMDCT等の調和解析よりも精度の高い分析を行うGHAを符号化装置に用いて、精度の高い周波数分析を行ってオーディオ信号の符号化を行うとともに、その符号化された信号を復号装置に供給して復号化することによりオーディオ信号の伝送を行うための復号化方法、及びその装置に関するものである。
0013
すなわち、その符号化装置に用いられるGHAは、オーディオ信号の周波数分析を符号化に適した形に処理を行い、且つFFTなどを用いる場合に比し、抽出した周波数成分の精度が高く、抽出した周波数成分を符号化するのに必要な符号量が、入力信号によっては増大するという課題を解決し、符号化効率を向上させるようにしたものであり、そのようなオーディオ信号符号化装置と組み合わせて用いる復号方法、及び復号装置の構成を提供するようにし、安価で高品質なデジタルオーディオ信号の符号化、及び復号化を行うシステム構築がなされるようにするものである。
課題を解決するための手段
0014
本発明は、上記課題を解決するために以下の1)、2)の手段より成るものである。すなわち、
0015
供給されるデジタルオーディオ信号を所定の観測区間毎の観測区間信号に分割し、その分割された観測区間信号に対して周波数間隔が小、又は中である第1の周波数テーブルを用いて周波数分析を行って周波数値を求め、その求められた周波数成分を前記観測区間信号より減じて残差信号電力が最小となる最も優勢な正弦波の周波数成分を抽出処理し、その抽出された残差信号に対して前記第1の周波数テーブル、又はその第1の周波数テーブルよりも周波数間隔が大である第2の周波数テーブルを用いて残差信号電力が最小となる優勢な正弦波の周波数成分を抽出処理し、その抽出処理して得られる残差信号電力が所定値以下となるまでその残差信号より優勢な正弦波の周波数成分抽出処理を繰り返し行う一般調和解析(GHA)法により抽出された複数の優勢周波数抽出成分の値を用いて前記デジタルオーディオ信号の圧縮符号化を行うとともに、その圧縮符号化された符号化データはそのデータの内容を識別するためのヘッダー信号とともに圧縮符号化信号ビットストリームとして供給され、その供給された圧縮符号化信号ビットストリームより前記デジタルオーディオ信号を復号するオーディオ信号の復号化方法において、前記圧縮符号化信号ビットストリームより、前記観測区間信号を得て復号されたオーディオ信号のサンプル値を配置するための時間位置を設定する第1のステップ(22)と、前記圧縮符号化信号ビットストリームより、前記抽出された複数の優勢な周波数抽出成分に対応する複数の正弦波データの波形信号を生成する第2のステップ(23)と、その第2のステップにより生成された波形信号を、前記第1のステップにより設定された時間位置に配置するようにして前記デジタルオーディオ信号を生成するようになすことを特徴とするオーディオ信号の復号化方法。
0016
供給されるデジタルオーディオ信号を所定の観測区間毎の観測区間信号に分割し、その分割された観測区間信号に対して周波数間隔が小、又は中である第1の周波数テーブルを用いて周波数分析を行って周波数値を求め、その求められた周波数成分を前記観測区間信号より減じて残差信号電力が最小となる最も優勢な正弦波の周波数成分を抽出処理し、その抽出された残差信号に対して前記第1の周波数テーブル、又はその第1の周波数テーブルよりも周波数間隔が大である第2の周波数テーブルを用いて残差信号電力が最小となる優勢な正弦波の周波数成分を抽出処理し、その抽出処理して得られる残差信号電力が所定値以下となるまでその残差信号より優勢な正弦波の周波数成分抽出処理を繰り返し行う一般調和解析(GHA)法により抽出された複数の優勢周波数抽出成分の値を用いて前記デジタルオーディオ信号の圧縮符号化を行うとともに、その圧縮符号化された符号化データはそのデータの内容を識別するためのヘッダー信号とともに圧縮符号化信号ビットストリームとして供給され、その供給された圧縮符号化信号ビットストリームより前記デジタルオーディオ信号を復号するオーディオ信号の復号化装置において、前記圧縮符号化信号ビットストリームより、前記観測区間信号を得て復号されたオーディオ信号のサンプル値を配置するための時間位置を設定する時間位置設定手段(22)と、前記圧縮符号化信号ビットストリームより、前記抽出された複数の優勢な周波数抽出成分に対応する複数の正弦波データの波形信号を生成する波形信号生成手段(23)と、その波形信号生成手段により生成された波形信号を、前記時間位置設定手段により設定された時間位置に配置するようにして前記デジタルオーディオ信号を得るように構成することを特徴とするオーディオ信号の復号化装置。
発明を実施するための最良の形態
0017
以下、本発明の符号化されたオーディオ信号の復号化方法、及び符号化されたオーディオ信号の復号化装置の実施の形態につき、好ましい実施例により説明する。図1は、その実施例に関わるオーディオ信号の符号化装置と、その復号化装置の概略構成である。
0018
同図において、オーディオ信号符号化装置1はフレーム化回路11、周波数成分抽出回路12、及びフレーム選択回路14で構成される一般調和解析部10と、ビットストリーム生成回路15で構成され、オーディオ信号復号化装置2はビットストリーム復号回路21と、フレーム設定回路22と、波形サンプル生成回路23とにより構成される。
0019
この様に構成されるオーディオ信号符号化装置、及びオーディオ信号復号化装置の動作について述べる。まず、オーディオ信号符号化装置1への入力信号である符号化の対象とされるデジタルオーディオ信号はフレーム化回路11に供給され、ここではそのデジタルオーディオ信号は所定の観測区間ごとのフレーム信号に分割され、分割されたオーディオ信号は周波数成分抽出回路12に供給される。
0020
その周波数成分抽出回路12に供給されたフレーム信号は、周波数精度選択回路14により指定される周波数間隔の精度で一般調和解析(GHA)がなされて、前記分割されたオーディオ信号の周波数成分が抽出され、その抽出された周波数成分はビットストリーム生成回路15に供給される。
0021
ビットストリーム生成回路15に供給され、抽出された周波数成分の信号、およびフレーム化信号のフレーム長に関る信号は、所定の信号フォーマット形式によるビットストリームの信号として生成され、生成されたビットストリームの信号は伝送路を介してオーディオ信号復号化装置2のビットストリーム復号回路21に供給される。
0022
そのビットストリーム復号回路21では、供給されたビットストリームの信号を所定の信号フォーマットに従って復号し、フレーム長に関る信号、及び符号化されたオーディオ信号の優勢周波数成分を得る。
0023
その得られたフレーム長の信号はフレーム設定回路22に供給されて所定のフレーム長信号を得、得られた信号により波形サンプル生成回路のフレーム期間を設定するとともに、ビットストリーム復号回路で復号された優勢周波数成分の信号は波形サンプル生成回路23に供給され、優勢周波数成分に基づいたオーディオ信号波形が生成され、生成された波形信号は波形サンプル生成回路より供給され、オーディオ信号復号化装置2より出力される。
0024
次に、図2を用いて前述した周波数成分抽出回路12の動作につき説明する。同図はその動作を示すフローチャートである。まず、ステップ1で1フレーム分のデジタルオーディオ信号を周波数成分抽出回路12に供給し、ステップ2でその周波数成分を抽出する。
0025
ステップ3では周波数成分抽出のされてない残差信号のレベルをチェックし、残差信号レベルが所定値以下でないときは、再びステップ2に戻り次の周波数成分を抽出する。残差信号レベルが所定値以下のときはステップ4に進み分析結果を出力し、一般調和解析のステップを終了する。
0026
図3は、図2の要部であるステップ2の周波数成分抽出の動作を詳細に説明するフローチャートであり、さらに詳細に説明する。まず、ステップ11で抽出すべき複数の周波数の中の1つを選択し、ステップ12でその周波数の信号成分を抽出し、ステップ13で抽出した信号成分を除く残差信号を算出し、ステップ14で抽出すべき全ての周波数成分の抽出が行われたかどうかをチェックする。
0027
抽出処理を行った周波数が最後の周波数でないときはステップ11に戻り、最後の周波数であるときはステップ15に進む。ステップ15では、複数の抽出された信号成分の中で最も信号レベルの大きい最優勢信号成分を選択し、ステップ16で原信号より最優勢信号の周波数成分を除去し、前述のステップ3に進む。
0028
次に、上述のフレーム選択回路14の動作について述べる。一般調和解析(GHA)は、従来の周波数分析に用いられる高速フーリエ変換(FFT)や適応型離散余弦変換(MDCT)等のいわゆる調和解析よりも、精度の高い分析を行えるため、高能率な符号化方法、符号化装置に使用できるが、その反面、精度が高く得られる周波数分析結果は、場合によって符号量が増大し符号化効率を低下させることがあるが、聴覚心理の特性に合わせてその周波数分析結果を変換して符号化処理を行い、少ない符号量で高品質の音質を得るオーディオ信号の符号化方法を実現するものである。
0029
図4に人が知覚できる周波数に対する音圧レベルの特性を示す。同図において曲線は人が知覚できる周波数に対する音圧レベルの特性を示しており、この曲線以下の音圧レベルは知覚することができない。従って、これらの音圧を伝送するときは、とは伝送する必要がなく、の周波数と音圧のみを伝送すればよい。
0030
ここで、で示す音圧が、周波数値が少し異なる2つの音圧スペクトラムにより構成されている場合では、2つの周波数で構成される信号の音圧レベルが、可聴限界に近い音圧であるときは2つの周波数は弁別して聞くことが出来なく、1つの周波数の音として知覚される。また、その2つの周波数の音圧レベルが異なるときは、大きな音圧レベルの周波数は知覚できるがレベルの小さな音は知覚できない。
0032
同図に太い点線で示す曲線が音圧に対するマスキング曲線であり、周波数が多少異なる音圧レベルの信号はこのマスキング曲線より大きな音圧レベルの場合は知覚できるが、この曲線以下のレベルの信号は知覚することができない。
0034
以上は、音響信号の知覚の面から見たマスキング効果の関係であるが、マスキング曲線の近くにある音圧信号については、その信号が単音であるか、複数の周波数からなる合成音であるかにより知覚のされ方が異なり、複数の周波数から構成される合成音については、それらの1つ1つの周波数の音を知覚することは難しく、このような聴覚心理の特性を用いて音響信号の効率的な符号化を行なうようにする。
0035
図6に、一般的に使用が可能であるGHAの周波数成分抽出回路12での抽出周波数に対する、その周波数と隣接する周波数との周波数間隔について示す。周波数間隔は小、中、大の三つの場合について示したもので、小は知覚されやすい音響信号の周波数分析に、中は一般的な音響信号に、大は比較的知覚され難い音響信号に対する周波数分析に用いる周波数間隔を示したものである。
0036
周波数間隔が小、中、大いずれの場合も、周波数成分抽出回路12が行なう信号分析の周波数間隔は低域周波数では小さな値であり、高域周波数、特に高域可聴限界に近い周波数では大きな周波数間隔として周波数分析を行うにしている。
0037
図7に、一般的な周波数分析に用いられる周波数間隔の周波数値のそれぞれについて示す。ここに示す周波数は、周波数間隔が中の場合の周波数値について低い周波数より順に示したもので、前述の図3に示す周波数の選定ステップS11において、この数値が順に選定され、その選定された周波数に対する信号成分を一般調和解析により抽出するものである。
0038
ここに示されている数値からわかる様に、これらの周波数は例えば12、24、36、48、60、72、84、・・・・のような12を基本周波数とし、その2倍、3倍、4倍、5倍、・・・・であるような調和関係の数値により構成されてなく、それぞれの周波数はあくまでも聴覚心理による知覚の度合いにより求めた、すなわち隣り合う周波数同士がほぼ同じ聴覚の周波数弁別能力の値であるように選定されている。
0039
図8に、前述の図7で示したような一般調和解析に用いられる解析用周波数の順とその周波数値について示す。周波数軸は対数メモリとされているが、可聴周波数より低い周波数では粗い間隔とされており、分析周波数ごとの周波数の増加率が大きく、曲線の傾斜が急になっている。
0041
しかるに、この周波数間隔は、聴覚で知覚されやすい条件の音に対して求められたものであるが、ここに示した周波数値を基として音圧レベルが小さく検地限に近い音、あるいはその周波数の近くにレベルが大きな周波数の音があり、マスキング効果があるようなときは、それぞれの条件によって異なった値とする。
0042
この様にして行う、周波数間隔を適応的に可変しながら行う周波数成分抽出の方法について述べる。図8は、その周波数成分抽出ステップの構成について示したもので、その信号処理のフローについて説明する。
0043
同図に示す処理ステップの最初は、調和解析を行うための周波数間隔を小に設定するためのステップ21であり、周波数間隔を小に設定した周波数成分抽出手段により、供給される前述の図2のステップ1でフレーム構成とされたデジタルオーディオ信号の周波数成分分析処理が開始される。
0044
すなわち、ステップ11で抽出すべき複数の周波数の中の1つを選択し、ステップ12でその周波数の信号成分を抽出し、ステップ13で抽出した信号成分を除く残差信号を算出し、ステップ14で抽出すべき全ての周波数成分の抽出が行われたかどうかをチェックする。
0045
抽出処理を行った周波数が最後の周波数でないときはステップ11に戻り、最後の周波数であるときはステップ15に進む。ステップ15では、複数の抽出された信号成分の中で最も信号レベルの大きい最優勢信号成分を選択し、ステップ16では原信号より最優勢信号の周波数成分を除去し、ステップ17で残差信号レベルを算出しステップ22に進む。
0046
ステップ22では優勢抽出成分を除去したあとの残差信号レベルを調べ、残差信号レベルが大きいときはステップ11にもどり、ステップ21で設定された小の周波数間隔でステップ11からステップ17の周波数分析の動作を継続するが、残差信号成分が、マスキングレベルに近いと判断される所定値以下となったときは周波数間隔を1段階広くし、小であったときは中に、中であったときは大に変更し、次のステップである前述の図2におけるステップ4に進む。
0047
このようにして、複数の周波数間隔で設定される周波数による周波数成分抽出処理は、分析する音響信号の周波数成分ごとに、適正な周波数間隔を設定して周波数分析を行うため、聴覚心理上知覚されやすい信号に対しては精度の高い周波数成分の抽出が出来、知覚され難い信号に対しては広い周波数間隔により低い周波数精度による周波数成分の抽出が出来、それらの分析結果をもとに符号化効率の高い音響信号の圧縮符号化処理を行なうものである。
0048
すなわち、最適なオーディオ信号の圧縮符号化は、前述のような符号化される信号の周波数と信号レベルに対する知覚の度合いにより分析する周波数間隔を異ならしめ、その周波数間隔を基に供給される音響信号の周波数値とレベルの関係を分析し、総符号量に対して聴覚上バランスの取れた圧縮オーディオ信号が得られるように音響信号の符号化を行うようにする。
0049
このようにして、一般調和解析部10におけるオーディオ信号の周波数成分抽出は、供給されるオーディオ信号に対して適応的に周波数間隔を設定しながら周波数成分の抽出を行う。その周波数間隔の設定は、最初は小、次に中、そして大と切り換えながら行うが、オーディオ信号の周波数分布によっては中より開始し、次に大に切り換えるように適応的に設定されるものである。
0050
そして、その周波数成分の抽出を、狭い周波数間隔で行うときは多くのオーディオサンプルを用いて演算するため、比較的長いフレーム間隔のデータに対して行われ、反対に広い(粗い)周波数間隔により行うときは短いフレーム間隔の少ないサンプルを用いて抽出処理を行なうことになる。
0051
このようにしてフレーム選択回路14により、符号化されるオーディオ入力信号に応じて適応的にフレーム長が設定され、そのフレーム長の信号に対する周波数成分抽出処理がなされるが、そのときに設定されたフレーム長の情報はフレーム化回路11に供給されるとともにビットストリーム生成回路15に供給され、フレーム長の情報を含むビットストリームが生成される。
0052
そして生成されたビットストリームは復号装置2のビットストリーム復号回路21に供給され、ビットストリーム復号回路21は供給されたフレーム長情報と圧縮符号化されたオーディオデータを復号し、復号されたフレーム間隔情報はフレーム設定回路22に供給される。
0053
そのフレーム設定回路22では、そのフレーム間隔をフレーム間隔選択回路14が選択したと同じ値に設定すると共に、圧縮符号化されたデータは波形サンプル生成回路23に供給され、そこでは周波数成分抽出回路12で抽出された周波数成分に対応する信号の波形が生成され、復号器2の出力信号として供給される。
0054
以上のようにして、この一般調和解析を用いるオーディオ信号の圧縮符号化方式は、入力されるオーディオ信号の優勢な周波数成分を、フレーム選択回路により適当なフレーム間隔を選択しながら行うため、その抽出された優勢な周波数成分を復号するために、符号化器と同一のフレーム間隔を設定する必要があり、そのフレーム間隔の情報をビットストリーム信号に時分割多重により伝送し、復号器はビットストリームに時分割多重されるフレーム間隔信号を復号し、その復号したフレーム間隔信号を基に抽出されたオーディオ信号の波形を生成するようにするものである。
0055
なお、ここで周波数間隔が小、中、大である複数種類のテーブルを用いて一般調和解析を行う場合について述べたが、周波数間隔が大であるテーブルは、周波数間隔が小であるテーブルの周波数値を1個おきに読み出すものを代りに用いることができる。
0056
同様にして、周波数間隔が小であるものと中であるものの両者の周波数値により1つのテーブルを作成し、例えば周波数間隔が小であるものは1つおきに、中のものは2つおきに、大のものは3つおきにテーブルより周波数値を得て、その周波数値をもとに周波数分析を行い、優勢周波数成分を抽出するようにすることもできる。
0058
同図において示すように、抽出される信号x(t)は、その正弦波の周波数がf1,f2,…,fNのN個の信号の重ね合わせで表される。ただし、FFTによる解析結果とは異なり、これらの正弦波は基本波の整数倍の周波数の関係にある調和的な関係とは異なった非調和な周波数の関係となっている。
0059
以上、オーディオ信号の符号化を行い、ビットストリーム信号を生成するオーディオ信号符号化装置1、及びそのビットストリームの復号を行うオーディオ信号復号化装置2の構成を前述の図1により、回路ブロックによる構成として示し、説明したが、これらの回路は例えばDSP(Digital signal processor)を用いてソフトウエアにより実現することが出来る。
0060
DSPは、供給される信号の信号処理をソフト的に行うものであり、上述の符号化回路、及び復号回路を信号処理プログラムにより記述し、回路によりハードウエアとして実現したと同様の動作を、所定のソフトウエアによるステップ処理により、符号化、復号化の信号処理を行うことができる。
0061
以上のように本実施例の装置によれば、供給されるオーディオ信号を、一般調和解析(GHA)により知覚されやすい信号に対しては小さい周波数間隔の周波数により高い周波数精度で周波数分析を行い、音響信号を出きるだけ忠実に伝送するようにし、信号レベルが小さく、あるいは他の優勢な周波数成分によりマスキングされるような残差成分が小さな信号に対しては周波数間隔を広げて低い周波数精度による周波数分析を行なうようにしている。
0062
このようにして周波数分析を行うため、分析結果としての情報量を少なくでき、この方法に基づいて抽出したレベルを用いて行うオーディオ信号の符号化では、符号量をあまり増加させずに、信号品質が良く、効率の高い符号化ストリームを得ることができるとともに、そのようにして生成され、伝送されたビットストリームの信号を、符号化と同一のフレーム期間を設定してなる復号器によりそのままの品質で復号する復号器を構成することができる特徴を有している。
発明の効果
0063
請求項1記載の発明によれば、供給されるデジタルオーディオ信号を、一般調和解析(GHA)により知覚されやすい信号に対しては小さな周波数の間隔で、知覚され難い信号に対しては大きな周波数間隔の周波数により、所定のフレーム間隔のオーディオ信号に対して適応的に周波数分析を行うため、この方法に基づいて抽出したレベルを用いて行うオーディオ信号の符号化では、符号量の増加が少なく、信号品質が良く、効率の高い符号化ビットストリームを得ることができ、そのようにして得られたビットストリームの信号を符号化と同じフレーム期間を設定した波形サンプル生成方法により信号品質のよいオーディオ信号を復号するビットストリーム復号化方法を提供することができる効果がある。
0064
また、請求項2記載の発明によれば、供給されるデジタルオーディオ信号を、一般調和解析(GHA)により知覚されやすい信号に対しては小さな周波数の間隔で周波数分析を行い、知覚され難い信号に対しては大きな周波数間隔の周波数により適応的に周波数分析を行うため、この方法に基づいて抽出したレベルを用いて行うオーディオ信号の符号化では、符号量をあまり増加させないで、信号品質が良く、効率の高い符号化ビットストリームを得ることができるとともに、そのようにして得られたビットストリームの信号を符号化と同じフレーム期間を設定した波形サンプル生成手段により信号品質のよいオーディオ信号を復号する符号化装置を構成することができる効果がある。
図面の簡単な説明
0065
図1本発明の実施例に係るオーディオ信号の符号化、及び復号化装置の概略ブロック図である。
図2本発明の実施例に係るオーディオ信号の符号化方法に用いられる周波数成分抽出方法の概略フローを示す図である。
図3本発明の実施例に係るオーディオ信号の符号化方法に用いられる周波数成分抽出方法のフローを示す図である。
図4知覚できる最低音圧レベルの周波数特性を説明するための図である。
図5近接する周波数の音圧に対する知覚できる最低音圧レベルの特性を説明するための図である。
図6本発明の実施例に関る一般調和解析に用いられる周波数間隔を3っつのレベルで示した表である。
図7本発明の実施例に関る一般調和解析に用いられる中レベルにおける周波数値[Hz]を周波数順に示した表である。
図8本発明の実施例に関る一般調和解析に用いられる周波数の順と周波数の関係を示す図である。
図9本発明の実施例に係るオーディオ信号の符号化方法に用いられる周波数成分抽出方法のフローを示す図である。
図10一般調和解析により得られる解析結果を示す数式である。
--
0066
1オーディオ信号符号化装置
2オーディオ信号復号化装置
10一般調和解析部
11フレーム化回路
12周波数成分抽出回路
14フレーム選択回路
15ビットストリーム生成回路
21ビットストリーム復号回路
22フレーム設定回路
23波形サンプル生成回路