図面 (/)

技術 音声送信装置、音声送信方法、音声受信装置および音声受信方法

出願人 ソニー株式会社
発明者 松村祐樹鈴木志朗
出願日 2012年10月3日 (8年1ヶ月経過) 出願番号 2012-221744
公開日 2014年4月24日 (6年6ヶ月経過) 公開番号 2014-074782
状態 未査定
技術分野 音声の分析・合成 圧縮、伸長・符号変換及びデコーダ
主要キーワード 入力時系列 音声送信装置 帯域制限信号 拡張帯域 正規化情報 拡張信号 開始周波数 音声受信装置
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2014年4月24日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (16)

課題

音声信号符号化方式によらずに良好に伝送する。

解決手段

音声送信装置は、音声入力時系列信号を、帯域制限動作のオンオフが制御される帯域制限部を通じて、符号化部に送り、符号化部が出力する符号列を送信する。音声受信装置は、受信された符号列を復号化して得られる音声の時系列信号を、帯域拡張動作のオンオフが制御される帯域拡張部を通じて、出力する。例えば、帯域制限動作、帯域拡張動作を、送信側および受信側の間で共有される情報に基づいて行う。帯域感および可聴帯域のS/N感の向上、さらには広い帯域感を実現できる。

概要

背景

従来、音声信号を符号化して伝送する音声伝送システムが知られている(例えば、特許文献1参照)。音声符号化において、入力音声信号を符号化する際の帯域幅は、各種符号化の方式に依存して決定されることが通常であった。

概要

音声信号を符号化方式によらずに良好に伝送する。音声送信装置は、音声入力時系列信号を、帯域制限動作のオンオフが制御される帯域制限部を通じて、符号化部に送り、符号化部が出力する符号列を送信する。音声受信装置は、受信された符号列を復号化して得られる音声の時系列信号を、帯域拡張動作のオンオフが制御される帯域拡張部を通じて、出力する。例えば、帯域制限動作、帯域拡張動作を、送信側および受信側の間で共有される情報に基づいて行う。帯域感および可聴帯域のS/N感の向上、さらには広い帯域感を実現できる。

目的

本技術の目的は、音声信号を符号化方式によらずに良好に伝送することにある

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

入力時系列信号に対して帯域制限を行う帯域制限部と、上記帯域制限部が出力する時系列信号に対して符号化を行う符号化部と、上記符号化部が出力する符号列を送信する送信部と、上記帯域制限部における帯域制限動作を制御する制御部とを備える音声送信装置

請求項2

上記制御部は、受信装置との間で共有される情報に基づいて、上記帯域制限部における帯域制限動作を制御する請求項1に記載の音声伝送装置

請求項3

上記制御部は、上記共有情報を、上記受信装置との間で通信を行うことで取得する請求項2に記載の音声送信装置。

請求項4

上記共有情報は、デバイス情報コーデック情報またはビットレート情報である請求項2に記載の音声送信装置。

請求項5

上記制御部は、さらに、上記受信装置との間で共有される情報に基づいて、上記帯域制限部における制限開始周波数を制御する請求項2に記載の音声送信装置。

請求項6

上記制御部は、上記共有情報を、上記受信装置との間で通信を行うことで取得する請求項5に記載の音声送信装置。

請求項7

上記共有情報は、ビットレート情報または開始周波数情報である請求項5に記載の音声送信装置。

請求項8

上記帯域制限部は、上記入力時系列信号に対してローパスフィルタによりフィルタリングを行うことにより帯域制限された時系列信号を得る請求項1に記載の音声送信装置。

請求項9

上記帯域制限部は、上記入力時系列信号に対して時間周波数変換周波数スペクトルの操作および周波数時間変換を順次行うことにより帯域制限された時系列信号を得る請求項1に記載の音声送信装置。

請求項10

入力時系列信号に対して帯域制限を行う帯域制限ステップと、上記帯域制限ステップで得られた時系列信号に対して符号化を行う符号化ステップと、上記符号化ステップで得られた符号列をパケット化して送信する送信ステップと、上記帯域制限ステップにおける帯域制限動作を制御する制御ステップとを備える音声送信方法。

請求項11

符号列を受信する受信部と、上記受信部で受信された符号列に対して復号化を行う復号化部と、上記復号化部が出力する時系列信号に対して帯域拡張を行う帯域拡張部と、送信装置との間で共有される情報に基づいて、上記帯域拡張部における帯域拡張動作を制御する制御部とを備える音声受信装置

請求項12

上記制御部は、送信装置との間で共有される情報に基づいて、上記帯域拡張部における帯域拡張動作を制御する請求項11に記載の音声受信装置。

請求項13

上記制御部は、上記共有情報を、上記送信装置との間で通信を行うことで取得する請求項12に記載の音声受信装置。

請求項14

上記共有情報は、デバイス情報、コーデック情報またはビットレート情報である請求項12に記載の音声受信装置。

請求項15

上記制御部は、さらに、上記送信装置との間で共有される情報に基づいて、上記帯域拡張部における拡張開始周波数を制御する請求項12に記載の音声受信装置。

請求項16

上記制御部は、上記共有情報を、上記送信装置との間で通信を行うことで取得する請求項15に記載の音声受信装置。

請求項17

上記共有情報は、ビットレート情報または開始周波数情報である請求項15に記載の音声受信装置。

請求項18

上記帯域拡張部は、上記時系列信号に対して帯域分割サブバンド信号の操作および帯域合成を順次行うことにより帯域拡張された時系列信号を得る請求項11に記載の音声受信装置。

請求項19

上記帯域制限部は、上記時系列信号に対して時間周波数変換、周波数スペクトルの操作および周波数時間変換を順次行うことにより帯域拡張された時系列信号を得る請求項11に記載の音声受信装置。

請求項20

符号列を受信する受信ステップと、上記受信ステップで受信された符号列に対して復号化を行って時系列信号を出力する復号化ステップと、上記復号化ステップで得られた時系列信号に対して帯域拡張を行う帯域拡張ステップと、上記帯域拡張ステップにおける帯域拡張動作を制御する制御ステップとを備える音声受信方法。

技術分野

0001

本技術は、音声送信装置音声送信方法、音声受信装置および音声受信方法に関し、特に、音声信号を符号化して伝送する音声伝送システムに適用可能な音声送信装置等に関する。

背景技術

0002

従来、音声信号を符号化して伝送する音声伝送システムが知られている(例えば、特許文献1参照)。音声符号化において、入力音声信号を符号化する際の帯域幅は、各種符号化の方式に依存して決定されることが通常であった。

先行技術

0003

特開2005−233993号公報

発明が解決しようとする課題

0004

符号化情報量に対して符号化帯域が広いような符号化方式の場合には、全体的に符号化精度が低下しやすく、特に可聴帯域においてS/N感が劣化するという問題があった。また、符号化情報量の過不足に応じて符号化帯域の変動を許すような符号化方式の場合には、帯域感と同時に特に可聴帯域のS/Nも不安定になり、符号化品質が一定にならず、全体的な品質が低下するという問題があった。

0005

本技術の目的は、音声信号を符号化方式によらずに良好に伝送することにある。

課題を解決するための手段

0006

本技術の概念は、
入力時系列信号に対して帯域制限を行う帯域制限部と、
上記帯域制限部が出力する時系列信号に対して符号化を行う符号化部と、
上記符号化部が出力する符号列を送信する送信部と、
上記帯域制限部における帯域制限動作を制御する制御部とを備える
音声送信装置にある。

0007

本技術において、帯域制限部により、入力時系列信号に対して帯域制限が行われる。例えば、帯域制限部は、入力時系列信号に対してローパスフィルタによりフィルタリングを行うことにより帯域制限された時系列信号を得る、ようにされてもよい。また、例えば、帯域制限部は、入力時系列信号に対して時間周波数変換周波数スペクトルの操作および周波数時間変換を順次行うことにより帯域制限された時系列信号を得る、ようにされてもよい。

0008

符号化部により、帯域制限部から出力される時系列信号に対して符号化が行われる。この場合の符号化方式はいかなる方式であってもよい。例えば、符号化情報量の過不足に応じて符号化帯域の変動を許すような符号化方式であってもよい。送信部により、符号化部が出力する符号列が送信される。この送信は、無線方式あるいは有線方式のいずれであってもよい。

0009

制御部により、帯域制限部における帯域制限動作が制御される。例えば、制御部では、受信装置との間で共有される情報に基づいて、その制御が行われる。この場合、例えば、制御部は、共有情報を、受信装置との間で通信を行うことで取得する、ようにされてもよい。また、例えば、共有情報は、デバイス情報コーデック情報またはビットレート情報である、ようにされてもよい。

0010

このように本技術においては、符号化の前段において、入力時系列信号に対して帯域制限が行われるものである。そのため、符号化情報量に対して符号化帯域が広いような符号化方式の場合にも、符号化精度の低下を防止し、可聴帯域のS/N感の向上を図ることが可能となる。また、本技術においては、符号化情報量の過不足に応じて符号化帯域の変動を許すような符号化方式の場合にも、符号化帯域の変動を防止し、帯域感および可聴帯域のS/N感の向上を図り、符号化品質を一定にし、全体的な品質向上を図ることが可能となる。

0011

また、本技術においては、受信装置との間で共有される情報に基づいて、帯域制限部における帯域制限動作が制御されるものである。そのため、例えば、帯域制限部を効果的に働かせることができ、しかも、受信装置における帯域拡張動作との同期も確保できる。

0012

なお、本技術において、例えば、制御部は、さらに、受信装置との間で共有される情報に基づいて、帯域制限部における制限開始周波数を制御する、ようにされてもよい。例えば、制御部は、共有情報を、受信装置との間で通信を行うことで取得する、ようにされてもよい。また、例えば、共有情報は、ビットレート情報または開始周波数情報である、ようにされてもよい。この場合、制限開始周波数を効果的な値とすることができ、無駄に帯域感を劣化させることを抑制できる。また、受信装置における帯域拡張の開始周波数との同期も確保できる。

0013

また、本技術の他の概念は、
符号列を受信する受信部と、
上記受信部で受信された符号列に対して復号化を行う復号化部と、
上記復号化部が出力する時系列信号に対して帯域拡張を行う帯域拡張部と、
上記帯域拡張部における帯域拡張動作を制御する制御部とを備える
音声受信装置にある。

0014

本技術において、受信部により、符号列が受信される。この受信は、無線方式あるいは有線方式のいずれであってもよい。復号化部により、受信部で受信された符号列に対して復号化が行われる。そして、帯域拡張部により、復号化部が出力する時系列信号に対して帯域拡張が行われる。

0015

例えば、帯域拡張部は、時系列信号に対して帯域分割サブバンド信号の操作および帯域合成を順次行うことにより帯域拡張された時系列信号を得る、ようにされてもよい。また、例えば、帯域制限部は、時系列信号に対して時間周波数変換、周波数スペクトルの操作および周波数時間変換を順次行うことにより帯域拡張された時系列信号を得る、ようにされてもよい。

0016

制御部により、帯域拡張部における帯域拡張動作が制御される。例えば、制御部では、送信装置との間で共有される情報に基づいて、その制御が行われる。この場合、例えば、制御部は、共有情報を、送信装置との間で通信を行うことで取得する、ようにされてもよい。また、例えば、共有情報は、デバイス情報、コーデック情報またはビットレート情報である、ようにされてもよい。

0017

このように本技術においては、復号化の後段において、時系列信号に対して帯域拡張が行われるものである。そのため、制限帯域内の符号化品質を一定にし、全体的な品質を向上した上で、より広い帯域感を実現することが可能となる。また、本技術においては、送信装置との間で共有される情報に基づいて、帯域拡張部における帯域拡張動作が制御されるものである。そのため、受信装置における帯域制限動作との同期を確保し、帯域拡張部を効果的に働かせることができる。

0018

なお、本技術において、例えば、制御部は、さらに、送信装置との間で共有される情報に基づいて、帯域拡張部における拡張開始周波数を制御する、ようにされてもよい。例えば、制御部は、共有情報を、送信装置との間で通信を行うことで取得する、ようにされてもよい。また、例えば、共有情報は、ビットレート情報または開始周波数情報である、ようにされてもよい。この場合、拡張開始周波数を効果的な値とすることができ、無駄に帯域感を劣化させることを抑制できる。また、送信装置における帯域制限の開始周波数との同期も確保できる。

発明の効果

0019

本技術によれば、音声信号を符号化方式によらずに良好に伝送できる。

図面の簡単な説明

0020

実施の形態として音声伝送システムの構成例を示すブロック図である。
従来の音声伝送システムにおける音声送信装置および音声受信装置の構成例を示すブロック図である。
音声送信装置を構成する信号符号化部の構成例を示すブロック図である。
音声受信装置を構成する信号復号化部の構成例を示すブロック図である。
従来の音声伝送システムにおけるS/N感や帯域感について説明するための図である。
実施の形態の音声伝送システムにおける音声送信装置の構成例を示すブロック図である。
音声送信装置を構成する帯域制限部の構成例を説明するための図である。
音声送信装置を構成する帯域制限部の他の構成例を説明するための図である。
実施の形態の音声伝送システムにおける音声受信装置の構成例を示すブロック図である。
音声受信装置を構成する帯域拡張部の構成例を説明するための図である。
音声受信装置を構成する帯域拡張部の他の構成例を説明するための図である。
制御部における帯域制限および帯域拡張のオンオフ制御処理の一例を示すフローチャートである。
制御部における帯域制限および帯域拡張のオンオフの制御処理の他の例を示すフローチャートである。
制御部における帯域制限および帯域拡張のオンオフと、帯域制限および帯域拡張の開始周波数の双方を制御する制御処理の一例を示フローチャートである。
実施の形態の音声伝送システムにおけるS/N感や帯域感について説明するための図である。

実施例

0021

以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明を以下の順序で行う。
1.実施の形態
2.変形例

0022

<1.実施の形態>
[音声伝送システムの構成例]
図1は、実施の形態としての音声伝送システム10の構成例を示している。この音声伝送システム10は、音声送信装置100と音声受信装置200とから構成されている。音声送信装置100は、音声の時系列信号に対して符号化を施し、得られた符号列を、無線方式または有線方式により送信する。音声受信装置200は、音声の符号列を無線方式または有線方式により受信し、受信された符号列に対して復号化を施して時系列信号を得る。音声送信装置100および音声受信装置200の詳細を説明する。

0023

最初に、音声送信装置100、音声受信装置200の従来の構成例について説明する。ここでは、便宜上、音声送信装置100A、音声受信装置200Aとして説明する。図2(a)は、音声送信装置100Aの従来の構成例を示している。音声送信装置100Aは、信号符号化部101と、送信バッファ部102と、パケット合成部103と、パケット送信部104を有している。また、図2(b)は、音声受信装置200Aの従来の構成例を示している。音声受信装置200Aは、パケット受信部201と、パケット分解部202と、受信バッファ部203と、信号復号化部204を有している。

0024

信号符号化部101は、音声の入力時系列信号に対して各種符号化方式に従って符号化を行って符号列を出力する。送信バッファ部102は、信号符号化部101が出力する符号列に対してバッファリングを行い、バッファリングされた符号列を出力する。パケット合成部103は、送信バッファ部102が出力するバッファリングされた符号列に対して各種伝送方式に従ってパケタイズを行って、伝送パケットを出力する。パケット送信部104は、パケット合成部103が出力する伝送パケットを有線または無線伝送路に送信する。

0025

パケット受信部201は、有線または無線の伝送路を伝送された伝送パケットを受信する。パケット分解部202は、パケット受信部201の出力する伝送パケットに対して各種伝送方式に従ってデパケタイズを行い、符号列を出力する。受信バッファ部203は、パケット分解部202の出力する符号列に対してバッファリングを行い、バッファリングされた符号列を出力する。信号復号化部204は、受信バッファ部203の出力するバッファリングされた符号列に対して各種符号化方式に従って復号化を行い、時系列信号を出力する。

0026

図3は、信号符号化部101の構成例を示している。上述したように信号符号化部101は各種符号化方式に従って符号化を行う旨説明したが、この構成例は、そのうちの一つの符号化方式であるSBC(Subband Codec)の例を示している。この信号符号化部101は、帯域分割部111と、正規化部112a〜112dと、量子化部113a〜113dと、符号列符号化部114と、ビット配分計算部115を有している。

0027

帯域分割部111は、音声信号等の入力時系列信号に対して帯域分割を行い、帯域分割された時系列信号を出力する。例えば、帯域分割部111は、入力時系列信号に対してPQF等の分析フィルタを用いて帯域分割を行い、N分割された時系列信号を出力する。図3では、N=4の場合を例示している。正規化部112a〜112dは、帯域分割部111の出力する時系列信号に対して、帯域毎に、時系列信号の振幅に応じた所定の正規化情報idsfに対応した正規化係数を用いて正規化を行い、正規化情報idsfと正規化された時系列信号を出力する。

0028

ビット配分計算部115は、正規化部112a〜112dの出力する正規化情報idsf等に基づいて、帯域毎に、ビット配分計算を行い、量子化情報idwlを出力する。量子化部113a〜113dは、正規化部112a〜112dの出力する時系列信号に対して、帯域毎に、ビット配分計算部115の出力する量子化情報idwlに対応した量子化係数を用いて量子化を行い、量子化された時系列信号を出力する。符号列符号化部114は、正規化情報idsf、量子化情報idwl、量子化された時系列信号等を符号化し、符号列を出力する。

0029

図4は、信号復号化部204の構成例を示している。上述したように信号復号化部204は各種符号化方式に従って復号化を行う旨説明したが、この構成例は、上述の図3の信号符号化部101に対応したものである。この信号復号化部204は、符号列復号化部211と、逆量子化部212a〜212dと、逆正規化部213a〜213dと、帯域合成部214を有している。

0030

符号列復号化部211は、入力符号列に対して復号化を行い、正規化情報idsf、量子化情報idwl、量子化された時系列信号等を復元して出力する。逆量子化部212a〜212dは、符号列復号化部211の出力する量子化された時系列信号に対して、帯域毎に、復元された量子化情報idwlに対応した逆量子化係数を用いて逆量子化を行い、正規化された時系列信号を出力する。

0031

逆正規化部213a〜213dは、逆量子化部212a〜212dの出力する正規化された時系列信号に対して、帯域毎に、復元された正規化情報idsfに対応した逆正規化係数を用いて逆正規化を行い、帯域分割された時系列信号を出力する。帯域合成部214は、逆正規化部213a〜213dの出力する帯域分割された時系列信号に対して帯域合成を行い、音声の時系列信号を出力する。例えば、帯域合成部214は、N分割された時系列信号に対してIPQF等の合成フィルタを用いて帯域合成を行って時系列信号を出力する。

0032

図2(a),(b)に示す音声送信装置100A、音声受信装置200Aの動作を説明する。音声の入力時系列信号が信号符号化部101に供給される。この信号符号化部101では、この入力時系列信号に対して各種符号化方式に従って符号化が行われて、符号列が出力される。

0033

信号符号化部101から出力される符号列は送信バッファ部102に供給される。この送信バッファ部102では、符号列に対してバッファリングが行われる。そして、パケット合成部103では、送信バッファ部102でバッファリングされた符号列に対して各種伝送方式に従ってパケタイズが行われて、伝送パケットが出力される。この伝送パケットはパケット送信部104に供給される。このパケット送信部104では、伝送パケットが有線または無線の伝送路に送信することが行われる。

0034

また、パケット受信部201では、有線または無線の伝送路を伝送された伝送パケットが受信される。この伝送パケットは、パケット分解部202に供給される。このパケット分解部202では、伝送パケットに対して各種伝送方式に従ってデパケタイズが行われて、符号列が出力される。

0035

パケット分解部202から出力される符号列は受信バッファ部203に供給される。この受信バッファ部203では、符号列に対してバッファリングが行われる。そして、信号復号化部204では、受信バッファ部203でバッファリングされた符号列に対して各種符号化方式に従って復号化が行われて、出力時系列信号が得られる。

0036

図2(a)に示す音声送信装置100Aにおける信号符号化部101において、音声の入力時系列信号を符号化する際の帯域幅は、各種符号化方式に依存して決定されることが通常であった。例えば、SBC(Subband Codec)等の場合には、符号化帯域はナイキスト周波数fnまでの全帯域であり、サンプリング周波数fsが48kHzの場合にナイキスト周波数fnは24kHzとなる。

0037

全帯域にわたって周波数特性を有する入力音声信号(図5(a)参照)に対して、比較的高いビットレートの場合には、符号化情報量が十分であるため、符号化精度も十分である(図5(b)参照)。これに対して、比較的低いビットレートの場合には符号化情報量に対して符号化帯域が広くなるため、全体的に符号化精度が低下しやすく、特に可聴帯域においてノイズフロアが上昇する結果、S/N感が劣化する(図5(c)参照)。

0038

また、符号化情報量が不足すると例えば1/8帯域(3kHz)や1/4帯域(6kHz)といった単位で符号化帯域が調整される。そのため、帯域が縮小する場合には、帯域感が減少すると同時に、特に可聴帯域においてノイズフロアが低下する結果、S/N感が向上する(図5(d)→図5(e)参照)。一方、帯域が拡大する場合には、帯域感が増加すると同時に、特に可聴帯域においてノイズフロアが上昇する結果S/N感が劣化する(図5(e)→図5(d)参照)。このため、帯域感と同時に特に可聴帯域のS/N感も不安定になり、符号化品質が一定にならず、全体的な品質が低下する。

0039

このように、符号化情報量に対して符号化帯域が広いような符号化方式の場合には、全体的に符号化精度が低下しやすく、特に可聴帯域においてS/N感が劣化するという問題がある。また、符号化情報量の過不足に応じて符号化帯域の変動を許すような符号化方式の場合には、帯域感と同時に特に可聴帯域のS/N感も不安定になり、符号化品質が一定にならず、全体的な品質が低下するという問題がある。

0040

次に、本技術における音声送信装置100、音声受信装置200について説明する。図6は、音声送信装置100の構成例を示している。この図6において、図2(a)と対応する部分には同一符号を付し、適宜、その詳細説明を省略する。この音声送信装置100は、信号符号化部101と、送信バッファ部102と、パケット合成部103と、パケット送信部104と、帯域制限部105と、帯域制限制御部106を有している。

0041

帯域制限部105は、音声の入力時系列信号に対して帯域制限を行い、帯域制限された時系列信号を出力する。帯域制限制御部106は、帯域制限部105における帯域制限動作を制御し、また、帯域制限の開始周波数を制御する。音声送信装置100および音声受信装置200は、通信同期確立する際に、ネゴシエートを行って、情報の共有を行う。ここで、共有される情報は、デバイス情報、コーデック情報、ビットレート情報などである。帯域制限制御部106は、上述したように音声受信装置200と共有される情報に基づいて、帯域制限部105における帯域制限動作および帯域制限の開始周波数を制御する。

0042

この帯域制限部105としては、種々の構成が可能である。図7(a)は、帯域制限部105の構成例を示している。この構成例では、帯域制限部105は、ローパスフィルタ部(LPF部)151により構成される。この場合、図7(b)に示すような、全帯域にわたって周波数特性を有する入力音声信号に対して、ローパスフィルタ部151でフィルタリングが行われることで、図7(c)に示すように、帯域制限された音声信号が生成される。

0043

図8(a)は、帯域制限部105の他の構成例を示している。この構成例では、帯域制限部105は、時間周波数変換部152、スペクトル操作部153および周波数時間変換部154の直列回路により構成される。時間周波数変換部152は、DFT等の時間周波数変換を行う。スペクトル操作部153は、周波数軸上での周波数スペクトル操作により帯域制限を行う。周波数時間変換部154は、IDFT等の周波数時間変換を行う。この場合には、図8(b)に示すような、全帯域にわたって周波数特性を有する周波数スペクトルに対して、周波数スペクトル操作による帯域制限が行われることで、図8(c)に示すように、帯域制限された音声信号の周波数スペクトルが生成される。

0044

図6に戻って、信号符号化部101は、帯域制限部105から出力される音声の時系列信号に対して各種符号化方式に従って符号化を行って符号列を出力する。送信バッファ部102は、信号符号化部101が出力する符号列に対してバッファリングを行い、バッファリングされた符号列を出力する。パケット合成部103は、送信バッファ部102が出力するバッファリングされた符号列に対して各種伝送方式に従ってパケタイズを行って、伝送パケットを出力する。パケット送信部104は、パケット合成部103が出力する伝送パケットを有線または無線の伝送路に送信する。

0045

図9は、音声受信装置200の構成例を示している。この図9において、図2(b)と対応する部分には同一符号を付し、適宜、その詳細説明を省略する。この音声受信装置200は、パケット受信部201と、パケット分解部202と、受信バッファ部203と、信号復号化部204と、帯域拡張部205と、帯域拡張制御部206を有している。

0046

パケット受信部201は、有線または無線の伝送路を伝送された伝送パケットを受信する。パケット分解部202は、パケット受信部201の出力する伝送パケットに対して各種伝送方式に従ってデパケタイズを行い、符号列を出力する。受信バッファ部203は、パケット分解部202の出力する符号列に対してバッファリングを行い、バッファリングされた符号列を出力する。信号復号化部204は、受信バッファ部203の出力するバッファリングされた符号列に対して各種符号化方式に従って復号化を行い、時系列信号を出力する。

0047

帯域拡張部205は、信号復号化部204が出力する音声の時系列信号に対して帯域拡張を行い、帯域拡張された音声の出力時系列信号を出力する。帯域拡張制御部206は、帯域拡張部205における帯域拡張動作を制御し、また、帯域拡張の開始周波数を制御する。上述したように、音声送信装置100および音声受信装置200は、通信同期を確立する際に、ネゴシエートを行って、デバイス情報、コーデック情報、ビットレート情報などの情報の共有を行う。帯域拡張制御部206は、上述したように音声送信装置100と共有される情報に基づいて、帯域拡張部205における帯域拡張動作および帯域拡張の開始周波数を制御する。

0048

この帯域拡張部205としては、種々の構成が可能である。例えば、特開2008−139844号公報には、帯域拡張技術について記載されている。図10(a)は、帯域拡張部205の構成例を示している。この構成例では、帯域拡張部205は、帯域分割フィルタ部251、拡張帯域生成部252および帯域合成フィルタ部253の直列回路により構成される。

0049

帯域分割フィルタ部251は、PQF等の帯域分割フィルタ処理を行う。拡張帯域生成部252は、時間軸上でのサブバンド信号に基づく拡張信号の生成とゲイン調整による帯域拡張を行う。帯域合成フィルタ部253は、IPQF等の帯域合成フィルタ処理を行う。この場合には、図10(b)に示すような、帯域制限された音声信号に対して、サブバンド信号に基づく拡張信号の生成とゲイン調整が行われることで、図10(c)に示すように、帯域拡張された音声信号が生成される。

0050

図11(a)は、帯域拡張部205の他の構成例を示している。この構成例では、帯域拡張部205は、時間周波数変換部254、拡張帯域生成部255および周波数時間変換部256の直列回路により構成される。時間周波数変換部254は、DFT等の時間周波数変換を行う。拡張帯域生成部255は、周波数軸上での周波数スペクトルに基づく拡張信号の生成とゲイン調整による帯域拡張を行う。周波数時間変換部256は、IDFT等の周波数時間変換を行う。この場合には、図11(b)に示すような、帯域制限された音声信号の周波数スペクトルに対して、周波数スペクトルに基づく拡張信号の生成とゲイン調整による帯域拡張が行われることで、図11(c)に示すように、帯域拡張された音声信号の周波数スペクトルが生成される。

0051

図6図9に示す音声送信装置100、音声受信装置200の動作を説明する。音声の入力時系列信号が帯域制限部105に供給される。この帯域制限部105では、帯域制限動作がオンとされる場合には、音声の入力時系列信号に対して帯域制限が行われる。この帯域制限部105から出力される時系列信号は、信号符号化部101に供給される。

0052

信号符号化部101では、この時系列信号に対して各種符号化方式に従って符号化が行われて、符号列が出力される。この符号列は送信バッファ部102に供給される。この送信バッファ部102では、符号列に対してバッファリングが行われる。そして、パケット合成部103では、送信バッファ部102でバッファリングされた符号列に対して各種伝送方式に従ってパケタイズが行われて、伝送パケットが出力される。この伝送パケットはパケット送信部104に供給される。このパケット送信部104では、伝送パケットが有線または無線の伝送路に送信することが行われる。

0053

また、パケット受信部201では、有線または無線の伝送路を伝送された伝送パケットが受信される。この伝送パケットは、パケット分解部202に供給される。このパケット分解部202では、伝送パケットに対して各種伝送方式に従ってデパケタイズが行われて、符号列が出力される。

0054

パケット分解部202から出力される符号列は受信バッファ部203に供給される。この受信バッファ部203では、符号列に対してバッファリングが行われる。そして、信号復号化部204では、受信バッファ部203でバッファリングされた符号列に対して各種符号化方式に従って復号化が行われて、音声の時系列信号が出力される。この時系列信号は、帯域拡張部205に供給される。この帯域拡張部205では、帯域拡張動作がオンとされる場合には、音声の時系列信号に対して帯域拡張が行われる。この帯域拡張部205から出力される時系列信号が出力時系列信号となる。

0055

音声送信装置100の帯域制限制御部106および音声受信装置200の帯域拡張制御部206における制御処理についてさらに説明する。以下、ここでは、帯域制限制御部106および帯域拡張制御部206を、単に、「制御部」と呼ぶことにする。

0056

図12のフローチャートは、制御部における帯域制限および帯域拡張のオンオフの制御処理の一例を示している。制御部は、ステップST1において、制御処理を開始し、その後、ステップST2の処理に移る。このステップST2において、制御部は、デバイス情報のネゴシエートを行って、送信側と受信側とでデバイス情報を共有する。

0057

次に、制御部は、ステップST3において、据え置き型または屋内向けかを判断する。ここで、音声受信装置200が据え置き型や屋内向けである場合には、符号化品質の劣化が知覚されやすくなるため、入力時系列信号に対する帯域制限および出力時系列信号に対する帯域拡張を行うという制御が可能になる。一方、音声受信装置200がポータブル型や屋外向けである場合には、符号化品質の劣化が知覚されにくくなるため、入力時系列信号に対する帯域制限および出力時系列信号に対する帯域拡張を行わないという制御が可能になる。

0058

据え置き型や屋内向けであると判断するとき、制御部は、ステップST4において、帯域制限および帯域拡張を実施する。すなわち、音声送信装置100における帯域制限部105の帯域制限動作をオンとし、音声受信装置200における帯域拡張部205の帯域拡張動作をオンとする。制御部は、ステップST4の処理の後、ステップST5において、処理を終了する。また、制御部は、ステップST3でポータブル型や屋外向けと判断するとき、直ちに、ステップST5に進み、処理を終了する。このとき、音声送信装置100における帯域制限部105の帯域制限動作はオフのままとなり、音声受信装置200における帯域拡張部205の帯域拡張動作はオフのままとなる。

0059

図13のフローチャートは、制御部における帯域制限および帯域拡張のオンオフの制御処理の他の例を示している。制御部は、ステップST11において、制御処理を開始し、その後、ステップST12の処理に移る。このステップST12において、制御部は、コーデック情報のネゴシエートを行って、送信側と受信側とでコーデック情報を共有する。

0060

次に、制御部は、ステップST13において、使用する符号化方式(コーデック)が、符号化帯域が変動し、符号化帯域幅を外部から指定できない特定種類の符号化方式(例えば、SBC)であるか否かを判断する。特定種類の符号化方式である場合には、入力時系列信号に対する帯域制限および出力時系列信号に対する帯域拡張を行うという制御が可能になる。一方、特定種類の符号化方式でない場合には、入力時系列信号に対する帯域制限および出力時系列信号に対する帯域拡張を行わないという制御が可能になる。

0061

ステップST13で特定種類の符号化方式であると判断するとき、制御部は、ステップST14において、帯域制限および帯域拡張を実施する。すなわち、音声送信装置100における帯域制限部105の帯域制限動作をオンとし、音声受信装置200における帯域拡張部205の帯域拡張動作をオンとする。制御部は、ステップST14の処理の後、ステップST15において、処理を終了する。また、制御部は、ステップST13で特定種類の符号化方式でないと判断するとき、直ちに、ステップST15に進み、処理を終了する。このとき、音声送信装置100における帯域制限部105の帯域制限動作はオフのままとなり、音声受信装置200における帯域拡張部205の帯域拡張動作はオフのままとなる。

0062

図14のフローチャートは、制御部における帯域制限および帯域拡張のオンオフと、帯域制限および帯域拡張の開始周波数の双方を制御する制御処理の一例を示している。制御部は、ステップST21において、制御処理を開始し、その後、ステップST22の処理に移る。このステップST22において、制御部は、ビットレート情報のネゴシエートを行って、送信側と受信側とでビットレート情報を共有する。

0063

次に、制御部は、ステップST23において、使用する符号化方式(コーデック)のビットレートが低いか、例えば256kbps以下かを判断する。ビットレートが高い場合には、十分な符号化情報量が与えられているため、入力時系列信号に対する帯域制限および出力時系列信号に対する帯域拡張を行わないという制御が可能になる。一方、ビットレートが低い場合には、十分な符号化情報量が与えられていないため、符号化品質の劣化を防止するために、入力時系列信号に対する帯域制限および出力時系列信号に対する帯域拡張を行うという制御が可能になる。

0064

ステップST23で256kbps以下であると判断するとき、制御部は、ステップST24において、帯域制限および帯域拡張を実施する。すなわち、音声送信装置100における帯域制限部105の帯域制限動作をオンとし、音声受信装置200における帯域拡張部205の帯域拡張動作をオンとする。制御部は、ステップST24の処理の後、ステップST25の処理に移る。

0065

このステップST25において、制御部は、例えば、ビットレートが128kbps以下か判断する。128kbps以下であるとき、制御部は、ステップST26において、帯域制限および帯域拡張の開始周波数を、例えば15kHzに設定し、その後、ステップST27に進んで処理を終了する。一方、ステップST25でビットレートが128kbps以下でないとき、制御部は、ステップST28において、帯域制限および帯域拡張の開始周波数を、例えば18kHzに設定し、その後、ステップST27に進んで処理を終了する。

0066

また、制御部は、ステップST23で、ビットレートが256kbps以下でないと判断するとき、直ちに、ステップST27に進み、処理を終了する。このとき、音声送信装置100における帯域制限部105の帯域制限動作はオフのままとなり、音声受信装置200における帯域拡張部205の帯域拡張動作もオフのままとなる。勿論、このとき、帯域制限および帯域拡張の開始周波数の設定は不要である。

0067

なお、帯域制限および帯域拡張の開始周波数を、上述の図14のフローチャートに示すようにビットレート情報に基づいて設定できる他に、例えば、制御部が開始周波数情報のネゴシエートを行って、送信側と受信側とで開始周波数情報を共有して、設定することも考えられる。また、開始周波数は予め設定された固定値であってもよい。

0068

上述したように、図6に示す音声送信装置100においては、図15(a)に示すような、全帯域にわたって周波数特性を有する入力音声信号に対して、帯域制限部105で帯域制限が行われることで、図15(b)に示すにように、帯域制限された音声信号が生成される。そして、この帯域制限信号に対して、信号符号化部101で符号化が行われて、符号列が生成される。

0069

そのため、図15(c)に示すように、帯域感は減少するものの安定化させることができ、同時に、ノイズフロアが低下する結果、S/N感を向上させることができる。これにより、符号化情報量に対して符号化帯域が広いような符号化方式の場合、入力音声信号に対して帯域制限が行われるので、符号化精度の低下を防止し、特に可聴帯域においてS/N感を向上させることができる。また、符号化情報量の過不足に応じて符号化帯域の変動を許すような符号化方式の場合、符号化帯域の変動を防止し、帯域感を安定化しかつ特に可聴帯域のS/N感を向上でき、符号化品質を一定にし、全体的な品質の向上を図ることができる。

0070

また、図9に示す音声受信装置200においては、信号復号化部204からは、図15(d)に示すように、帯域制限された音声信号が得られる。この音声信号は、上述したように、帯域感は減少するものの安定化したものとなり、同時にノイズフロアが低下する結果、S/N感が向上したものとなっている。この音声信号に対して、帯域拡張部205で帯域拡張が行われることで、図15(e)に示すように、帯域制限により減少した帯域感を増加させることができる。そのため、音声送信装置100と音声受信装置200の共働により、制限帯域内の符号化品質を一定にし、全体的な品質を向上した上で、より広い帯域感を実現することができる。

0071

また、図6に示す音声送信装置100および図9に示す音声受信装置200においては、通信同期を確立する際に、ネゴシエートを行って、デバイス情報、コーデック情報、ビットレート情報などの情報を共有することが行われる。そして、この共有情報に基づいて、帯域制限部105、帯域拡張部205における帯域制限動作、帯域拡張動作および帯域制限、帯域拡張の開始周波数の制御が行われる。そのため、帯域制限部105、帯域拡張部205の帯域制限動作、帯域拡張動作の同期を確保でき、また、帯域制限、帯域拡張の開始周波数を一致させることができ、帯域制限部105、帯域拡張部205を効果的に働かせることができる。

0072

<2.変形例>
なお、上述実施の形態においては、音声送信装置100で帯域制限が行われ、音声受信装置200において帯域拡張が行われる例を示した。しかし、音声送信装置100で帯域制限が行われた場合に、音声受信装置200において帯域拡張が必ず行われる必要はない。音声送信装置100で帯域制限が行うことだけでも、上述したように一定の効果を得ることができる。

0073

また、上述実施の形態においては、音声送信装置100と音声受信装置200との間で通信を行うことによって情報を共有する例を示した。しかし、例えば、ユーザによる情報入力により、これらの装置の間で情報が共有されてもよい。

0074

また、本技術は、以下のような構成を取ることもできる。
(1)入力時系列信号に対して帯域制限を行う帯域制限部と、
上記帯域制限部が出力する時系列信号に対して符号化を行う符号化部と、
上記符号化部が出力する符号列を送信する送信部と、
上記帯域制限部における帯域制限動作を制御する制御部とを備える
音声送信装置。
(2)上記制御部は、
受信装置との間で共有される情報に基づいて、上記帯域制限部における帯域制限動作を制御する
前記(1)に記載の音声伝送装置
(3)上記制御部は、
上記共有情報を、上記受信装置との間で通信を行うことで取得する
前記(2)に記載の音声送信装置。
(4)上記共有情報は、デバイス情報、コーデック情報またはビットレート情報である
前記(2)または(3)に記載の音声送信装置。
(5)上記制御部は、さらに、
上記受信装置との間で共有される情報に基づいて、上記帯域制限部における制限開始周波数を制御する
前記(2)から(4)のいずれかに記載の音声送信装置。
(6)上記制御部は、
上記共有情報を、上記受信装置との間で通信を行うことで取得する
前記(5)に記載の音声送信装置。
(7)上記共有情報は、ビットレート情報または開始周波数情報である
前記(5)または(6)に記載の音声送信装置。
(8)上記帯域制限部は、
記入力時系列信号に対してローパスフィルタによりフィルタリングを行うことにより帯域制限された時系列信号を得る
前記(1)から(7)のいずれかに記載の音声送信装置。
(9)上記帯域制限部は、
上記入力時系列信号に対して時間周波数変換、周波数スペクトルの操作および周波数時間変換を順次行うことにより帯域制限された時系列信号を得る
前記(1)から(7)のいずれかに記載の音声送信装置。
(10)入力時系列信号に対して帯域制限を行う帯域制限ステップと、
上記帯域制限ステップで得られた時系列信号に対して符号化を行う符号化ステップと、
上記符号化ステップで得られた符号列をパケット化して送信する送信ステップと、
上記帯域制限ステップにおける帯域制限動作を制御する制御ステップとを備える
音声送信方法。
(11)符号列を受信する受信部と、
上記受信部で受信された符号列に対して復号化を行う復号化部と、
上記復号化部が出力する時系列信号に対して帯域拡張を行う帯域拡張部と、
送信装置との間で共有される情報に基づいて、上記帯域拡張部における帯域拡張動作を制御する制御部とを備える
音声受信装置。
(12)上記制御部は、
送信装置との間で共有される情報に基づいて、上記帯域拡張部における帯域拡張動作を制御する
前記(11)に記載の音声受信装置。
(13)上記制御部は、
上記共有情報を、上記送信装置との間で通信を行うことで取得する
前記(12)に記載の音声受信装置。
(14)上記共有情報は、デバイス情報、コーデック情報またはビットレート情報である
前記(12)または(13)に記載の音声受信装置。
(15)上記制御部は、さらに、
上記送信装置との間で共有される情報に基づいて、上記帯域拡張部における拡張開始周波数を制御する
前記(12)から(14)のいずれかに記載の音声受信装置。
(16)上記制御部は、
上記共有情報を、上記送信装置との間で通信を行うことで取得する
前記(15)に記載の音声受信装置。
(17)上記共有情報は、ビットレート情報または開始周波数情報である
前記(15)または(16)に記載の音声受信装置。
(18)上記帯域拡張部は、
上記時系列信号に対して帯域分割、サブバンド信号の操作および帯域合成を順次行うことにより帯域拡張された時系列信号を得る
前記(11)から(17)のいずれかに記載の音声受信装置。
(19)上記帯域制限部は、
上記時系列信号に対して時間周波数変換、周波数スペクトルの操作および周波数時間変換を順次行うことにより帯域拡張された時系列信号を得る
前記(11)から(17)のいずれかに記載の音声受信装置。
(20)符号列を受信する受信ステップと、
上記受信ステップで受信された符号列に対して復号化を行って時系列信号を出力する復号化ステップと、
上記復号化ステップで得られた時系列信号に対して帯域拡張を行う帯域拡張ステップと、
上記帯域拡張ステップにおける帯域拡張動作を制御する制御ステップとを備える
音声受信方法。

0075

10・・・音声伝送システム
100・・・音声送信装置
101・・・信号符号化部
102・・・送信バッファ部
103・・・パケット合成部
104・・・パケット送信部
105・・・帯域制限部
106・・・帯域制限制御部
111・・・帯域分割部
112a〜112d・・・正規化部
113a〜113d・・・量子化部
114・・・符号列符号化部
115・・・ビット配分計算部
151・・・ローパスフィルタ部(LPF部)
152・・・時間周波数変換部
153・・・スペクトル操作部
154・・・周波数時間変換部
200・・・音声受信装置
201・・・パケット受信部
202・・・パケット分解部
203・・・受信バッファ部
204・・・信号復号化部
205・・・帯域拡張部
206・・・帯域拡張制御部
211・・・符号列復号化部
212a〜212d・・・逆量子化部
213a〜213d・・・逆正規化部
214・・・帯域合成部
251・・・帯域分割フィルタ部
252・・・拡張帯域生成部
253・・・帯域合成フィルタ部
254・・・時間周波数変換部
255・・・拡張帯域生成部
256・・・周波数時間変換部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • ソニー株式会社の「 情報処理装置および電子機器」が 公開されました。( 2020/09/24)

    【課題・解決手段】本技術は、どのユーザに対して応答するべきかを正しく判断することができるようにする情報処理装置および電子機器に関する。発話者特定部は、ユーザが存在する環境の画像と音声に基づいて、所定の... 詳細

  • グーグルエルエルシーの「 オーディオベースのコンピュータプログラム出力の修正」が 公開されました。( 2020/09/24)

    【課題・解決手段】音声または非テキスト入力アクティブ化環境においてコンピュータプログラム出力を修正することが提供される。システムは、デバイスのマイクロフォンによって検出されるオーディオ信号を受信するこ... 詳細

  • グーグルエルエルシーの「 ホットワード認識音声合成」が 公開されました。( 2020/09/24)

    【課題・解決手段】方法(400)は、合成音声(160)に変換するためのテキスト入力データ(302)を受信することと、ユーザデバイス(110)に割り当てられているホットワード(130)の存在を検出するよ... 詳細

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ