技術 画像・音声多重化装置

0001

この発明は、例えば、ＩＴＵ−ＴＨ．２２１に準拠して、画像データと、音声データと、ユーザデータと、制御信号とを多重する画像・音声多重化装置に関する。

0002

近年、ディジタル通信網の発展に伴い、画像と音声を含む通信サービスの提供が行われている。

0003

この通信サービスを提供するためには、画像データと音声データを符号化した後、多重して伝送する必要がある。

0004

画像データと音声データを多重化して伝送する際のフレーム構成は、ＩＴＵ−ＴＨ．２２１に規定されている。

0005

この勧告Ｈ．２２１に準拠した従来の画像・音声多重化装置は、制御信号を発生する中央処理装置（以下、「プロセッサ」という。）と、送信クロックに同期して、画像データと、音声データと、ユーザデータを多重する第１の多重回路と、送信クロックに同期して、第１の多重回路の多重出力とプロセッサから出力される制御信号を多重する第２の多重回路により、画像データと、音声データと、ユーザデータと、制御信号を多重するようになっていた。

0006

しかしながら、このような構成では、プロセッサは制御信号以外のデータを処理することができない。このため、従来の画像・音声多重化装置においては、プロセッサを有するにもかかわらず、画像データと音声データの符号化処理速度の違いを吸収するための音声データ遅延機能を画像・音声多重化装置に設けることができないという問題あった。

0007

上記課題を解決するために、この発明は、音声データの記憶に使用される音声データ記憶手段と、音声データを受けると、この音声データを保持する第１の音声データ保持手段と、この手段に保持されている音声データを音声データ記憶手段に書き込む音声データ書込み手段と、この手段により音声データ記憶手段に書き込まれた音声データを所定時間経過後に読み出す音声データ読出し手段と、この手段により読み出された音声データを保持する第２の音声データ保持手段と、画像データと、第２の音声データ保持手段に保持されている音声データと、制御信号とを多重する多重手段とを設けるようにしたものである。

0008

上記構成においては、音声データは、第１の音声データ保持手段に保持された後、音声データ書込み手段により音声データ記憶手段に書き込まれる。音声データ記憶手段に書き込まれた音声データは、所定時間経過後に、音声データ読み出し手段により読み出された後、第２の音声データ保持手段に保持される。第２の音声データ保持手段に保持された音声データは、多重手段により、画像データと、制御信号と多重される。これにより、音声データは、所定時間遅延された後に、画像データ等と多重されることになる。

0009

このような構成によれば、音声データの遅延処理を、メモリに対する音声データの書込み動作とメモリからの音声データの読出し動作とにより実現することができる。これにより、音声データの遅延処理をソフトウェアにより実現することが可能なので、画像・音声多重化装置がプロセッサを有する場合は、このプロセッサを使って、音声データを遅延することができる。その結果、画像・音声多重化装置に音声データの遅延機能を設けることができる。

0010

以下、図面を参照しながら、この発明の実施例を詳細に説明する。

0011

［第１の実施例］
［構成］図１は、この発明の一実施例の構成を示すブロック図である。

0012

なお、以下の説明では、この発明をＩＴＵ−ＴＨ．２２１に準拠した画像・音声多重化装置に適用する場合を代表として説明する。

0013

図示の画像・音声符号化装置は、音声インタフェース回路１１と、遅延音声バッファ１２と、第１の多重回路１３と、第２の多重回路１４（１）〜１４（Ｎ）と、プロセッサ回路１５と、バス１６を有する。

0014

なお、第２の多重回路１４（１）〜１４（Ｎ）は、チャネル数Ｎ分設けられるている。図には、チャネル数Ｎとして、２を設定する場合を代表として示す。

0015

ここで、音声インタフェース回路１１は、図示しない音声符号化装置から出力される符号化された音声データを保持する機能を有する。この保持は、詳細は後述するが、音声データをプロセッサ１５２の書込み動作に同期させるために行われる。

0016

遅延音声バッファ１２は、詳細は後述するが、プロセッサ１５２によりメモリ１５１から読み出された音声データを保持する機能を有する。この保持は、音声データを第１の多重回路１３の多重動作に同期させるために行われる。

0017

第１の多重回路１３は、図しない画像データ符号化装置により符号化された画像データと、遅延音声バッファ１２に保持されている音声データと、図示しないユーザデータ発生装置から出力されるユーザデータとをＨ．２２１のフレーム構成に準じて多重する機能を有する。

0018

なお、ユーザデータとしては、低速度データ（ＬＳＤ）、高速度データ（ＨＳＤ）、マルチレイヤプロトコル（ＭＬＰ）、高速度マルチレイヤプロトコル（Ｈ−ＭＬＰ）等がある。

0019

第２の多重回路１４（ｎ）（ｎ＝１，２）は、プロセッサ回路１５により与えられた多重データと制御信号とをＨ．２２１のフレーム構成に準じて多重し、伝送路に送出する機能を有する。

0020

なお、制御信号としては、フレーム同期信号（ＦＡＳ）と、動作モード指定信号（ＢＡＳ）と、暗号化制御信号（ＥＣＳ）がある。

0021

プロセッサ回路１５は、第１の多重回路１３と第２の多重回路１４（１），１４（２）の状態設定を行う機能と、音声インタフェース回路１１に保持された音声データを所定時間遅延して遅延音声バッファ１２に転送する機能と、第１の多重回路１３により得られた多重データを第２の多重回路１４（１），１４（２）に転送する機能等を有する。

0022

上記状態設定とは、第１多重回路１３と，第２の多重回路１４（１），１４（２）に対して、Ｈ．２２１で規定されるデータ送信フォーマットのうち、予め定めたフォーマットを設定する機能である。この状態設定の設定項目としては、伝送路の速度、使用チャネル数Ｎ、画像データ、音声データ、ユーザデータの転送速度等がある。

0023

バス１６は、プロセッサ回路１５と、音声インタフェース回路１１、遅延音声バッファ１２、第１の多重回路１３、第２の多重回路１４（１），１４（２）とを接続する機能を有する。

0024

上記音声インタフェース回路１１は、音声バッファ１１１と、フラグ設定回路１１２を有する。

0025

ここで、音声バッファ１１１は、音声データ符号化装置から出力される音声データを保持する機能を有する。この保持は、上記のごとく、音声データをプロセッサ１５２の書込み動作に同期させるために行われる。

0026

フラグ設定回路１１２は、音声バッファ１１１の状態を示すフラグを設定する機能を有する。音声バッファ１１１の状態としては、読出し許可状態と読出し禁止状態がある。読出し許可状態は、音声バッファ１１１に音声データが保持されている状態をいい、読出し禁止状態とは、音声バッファ１１１に音声データが保持されていない状態をいう。

0027

上記第１の多重回路１３は、多重回路１３１と、多重バッファ１３２と、フラグ設定回路１３３を有する。

0028

多重回路１３１は、読出し信号に従って、外部装置（画像データ符号化装置やユーザデータ発生装置）から画像データとユーザデータを読み出すとともに、遅延音声バッファ１２から音声データを読み出し、これらをＨ．２２１のフレーム構成に準じて多重する機能を有する。

0029

多重バッファ１３２は、多重回路１３１から出力される多重データを保持する機能を有する。この保持は、詳細は後述するが、多重データをプロセッサ１５２の書込み動作に同期させるために行われる。

0030

フラグ設定回路１３３は、多重バッファ１３２の状態を示すフラグを設定する機能を有する。多重バッファ１３２の状態しても、上述した読出し許可状態と読出し禁止状態がある。

0031

上記第２の多重回路１４（ｎ）は、送信バッファ１４１（ｎ）と、制御信号バッファ１４２（ｎ）と、多重回路１４３（ｎ）と、フラグ設定回路１４４（ｎ）を有する。

0032

ここで、送信バッファ１４１（ｎ）は、プロセッサ１５２から供給される多重データを保持する機能を有する。この保持は、詳細は後述するが、多重データを多重回路１４３（ｎ）の多重動作に同期させるために行われる。

0033

制御信号バッファ１４２（ｎ）は、プロセッサ１５２から供給される制御信号を保持する機能を有する。この保持は、詳細は後述するが、制御信号を多重回路１４３（ｎ）の多重動作に同期させるために行われる。

0034

多重回路１４３（ｎ）は、伝送路から与えられる送信クロックに同期して、バッファ１４１（ｎ），１４２（ｎ）の保持データを多重して、伝送路に送出する機能を有する。

0035

フラグ設定回路１４４（ｎ）は、バッファ１４１（ｎ），１４２（ｎ）の状態を示すフラグを設定する機能を有する。バッファ１４１（ｎ），１４２（ｎ）の状態としては、データ有り状態とデータ無し状態がある。ここで、データ有り状態とは、バッファ１４１（ｎ），１４２（ｎ）にデータが保持されている状態をいい、データ無し状態とは、データが保持されていない状態をいう。

0036

上記プロセッサ回路１５は、メモリ１５１とプロセッサ１５２を有する。

0037

ここで、メモリ１５１は、音声バッファ１１１に保持されている音声データと、第１の多重回路１３で生成された多重データの記憶に使用される。

0038

プロセッサ１５１は、次のような機能を有する。

0039

第１多重回路１３と，第２の多重回路１４（１），１４（２）の状態設定を行う機能
音声バッファ１１１に保持されている音声データをメモリ１５１に書き込む機能
メモリ１５１に書き込んだ音声データを所定時間経過後に読み出して、遅延音声バッファ１２に書き込む機能
多重バッファ１３２に保持されている多重データをメモリ１５１に書き込む機能
メモリ１５１に書き込んだ多重データを読み出して、送信バッファ１４１（１），１４１（２）に書き込む機能。

0040

［動作］上記構成において、動作を説明する。

0041

まず、プロセッサ１５２は、第１の多重回路１３と、第２の多重回路１４（１），１４（２）に対して、Ｈ．２２１で規定されるデータ送信フォーマットのうち、予め定めたデータ送信フォーマットを設定する。

0042

次に、プロセッサ１５２は、音声インタフェース回路１１と第１の多重回路１３に対して、動作開始設定を行う。これにより、音声インタフェース回路１１と第１の多重回路１３が動作状態に設定される。

0043

音声インタフェース回路１１が動作状態に設定されると、図示しない音声データ符号化装置から出力される音声データが音声バッファ１１１に保持される。これにより、フラグ設定回路１１２は、音声バッファ１１１が読出し許可状態になったことを示すフラグを設定する。

0044

プロセッサ１５２は、音声インタフェース回路１１を動作状態に設定すると、音声バッファ１１１が読出し許可状態になったか否かを監視する。この監視は、フラグ設定回路１１２により設定されたフラグに基づいて行われる。

0045

音声バッファ１１１が読出し許可状態になると、プロセッサ１５２は、この音声バッファ１１１に保持されている音声データを読み出し、メモリ１５１に書き込む。

0046

音声バッファ１１１から音声データが読み出されると、フラグ設定回路１１２は、音声バッファ１１１が読出し禁止状態にあることを示すフラグを設定する。

0047

プロセッサ１５２は、メモリ１５１に音声データを書き込むと、これを所定時間経過後に読み出し、遅延音声バッファ１２に書き込む。これにより、音声バッファ１１１に保持された音声データは、所定時間遅延された後、音声遅延バッファ１２に転送されることになる。ここで、遅延時間は、画像データと、音声データの符号化処理速度の差に基づいて定められる。

0048

第１の多重回路１３が動作状態に設定されると、その多重回路１３１が、所定のクロックに従って、読出し信号を発生し、図示しない外部装置（画像符号化装置やユーザデータ発生装置）から画像データとユーザデータを読み出すとともに、遅延音声バッファ１２から音声データを読み出す。ここで、所定のクロックとは、プロセッサ１５２の動作を規定するクロックや伝送路から与えられる送信クロックとは独立のクロックである。

0049

次に、多重回路１３１は、読み出した画像データと、音声データと、ユーザデータをＨ．２２１のフレーム構成に準じて多重し、この多重データを多重バッファ１３２に書き込む。

0050

多重バッファ１３２に１オクテッド分の多重データが書き込まれると、フラグ設定回路１３３は、読出し許可状態を示すフラグを設定する。このフラグが設定されると、多重回路１３１は、多重動作とバッファ書込み動作を停止する。この停止は、多重バッファ１３２に格納されている多重データがプロセッサ１５２により読み出されるまで続けられる。

0051

プロセッサ１５１は、第１の多重回路１３を動作状態に設定すると、多重バッファ１３２が読出し許可状態になったか否かを監視する。この監視は、フラグ設定回路１３３により設定されるフラグに基づいて行われる。

0052

多重バッファ１３２が読出し許可状態に設定されると、プロセッサ１５２は、この多重バッファ１３２から多重データを読み出し、メモリ１５１に書き込む。

0053

フラグ設定回路１３３は、多重バッファ１３２から多重データが読み出されると、多重バッファ１３２が読出し禁止状態になったことを示すフラグを設定する。多重回路１３１は、多重バッファ１３２が読出し禁止状態になると、次の読出しに備えて、多重動作とバッファ書込み動作を再開する。

0054

プロセッサ１５２は、メモリ１５１に多重データを書き込むと、所定のタイミングでこれを読み出し、第２の多重回路１４（１），１４（２）の送信バッファ１４１（１），１４１（２）に書き込む。次に、プロセッサ１５２は、制御信号を制御信号バッファ１４２（１），１４２（２）に書き込む。

0055

この処理が終了すると、プロセッサ１５２は、第２の多重回路１４（１），１４（２）に対して、動作開始設定を行う。これにより、第２の多重回路１４（１），１４（２）が動作状態となる。

0056

第２の多重回路１４（１），１４（２）が動作状態になると、その多重回路１４３（１），１４３（２）は、多重データと制御信号をＨ．２２１のフレーム構成に準じて多重し、この多重データを伝送路に送出する。この多重は、伝送路から与えられる送信クロックに従って行われる。

0057

以後、多重回路１４３（１），１４３（２）は、送信クロックに従って送信動作を続ける。したがって、プロセッサ１５２は、第２の多重回路１４（１），１４（２）を動作状態に設定した後、フラグ設定回路１４４（１），１４４（２）により設定されたフラグに基づいて、バッファ１４１（１），１４１（２），１４２（１），１４２（２）の状態を監視し、この監視結果に基づいて、データ転送を実行する。

0058

すなわち、プロセッサ１５２は、バッファ１４１（１），１４１（２），１４２（１），１４２（２）にデータが無くならないように、音声バッファ１１１から遅延音声バッファ１２への音声データの転送と、多重バッファ１３２から送信バッファ１４１（１），１４１（２）への多重データの転送と、制御信号バッファ１４２（１），１４２（２）への制御信号の転送とを行う。これにより、伝送路へ送出される多重データは、欠落のない連続するＨ２２１フレーム構成の多重データとされる。

0059

なお、音声バッファ１１１から遅延音声バッファ１２への音声データの転送は、多重回路１３が多重動作とバッファ書込み動作を停止するたびに行われる。

0060

［効果］以上詳述したこの実施例によれば、次のような効果がある。

0061

（１）まず、この実施例によれば、音声データの記憶に使用される手段（メモリ１５１）と、音声データを保持する手段（音声バッファ１１１）と、この手段に保持された音声データを上記音声データ記憶手段（メモリ１５１）に書き込む手段（フラグ設定部１１２、プロセッサ１５２）と、この音声データ記憶手段（メモリ１５１）に書き込まれた音声データを所定時間経過後に読み出す手段（プロセッサ１５２）と、読み出された音声データを保持する手段（遅延音声バッファ１２）により、音声データの遅延を実現するようにしたので、音声データの遅延処理をメモリに対する音声データの書込み動作とメモリからの音声データの読出し動作によって行うことができる。

0062

これにより、音声データの遅延処理をソフトウェアにより実現することが可能なので、画像・音声多重化装置がプロセッサを有する場合は、このプロセッサを使って、音声データを遅延することができる。その結果、画像・音声多重化装置がプロセッサを有する場合は、画像・音声多重化装置内で音声データを遅延することができる。

0063

（２）また、この実施例によれば、画像データと、音声データと、ユーザデータとの多重データの記憶に使用される手段（メモリ１５１）と、多重回路１３１から出力される多重データを保持する手段（多重バッファ１３２）と、この手段に保持されている多重データを多重データ記憶手段（メモリ１５１）に書き込む手段（フラグ設定回路１３３、プロセッサ１５２）と、多重データ記憶手段（メモリ１５１）に書き込まれた多重データを読み出す手段（プロセッサ１５２）と、読み出された多重データを保持する手段（バッファ１４１（１），１４１（２），１４２（１），１４２（２））とにより、多重回路１３１から出力される多重データを多重回路１４３（１），１４３（２）に転送するようにしたので、この転送処理を非同期通信方式により行うことができる。

0064

これにより、次のような効果を得ることができる。

0065

まず、このような構成によれば、多重回路１３１から出力される多重データに対して、プロセッサ１５２が暗号化等の処理を施すことができる。

0066

すなわち、Ｈ．２２１においては、暗号化等の処理を施す場合は、これを制御信号を多重する前に施すことが規定されている。したがって、この実施例のように、多重回路１３１から多重回路１４３（１），１４１（２）へのデータ転送をプロセッサ１５２で行うような構成によれば、Ｈ．２２１に準拠して暗号化等の処理を行うことができる。

0067

また、このような構成によれば、多重回路１３１と多重回路１４３（１），１４３（２）の動作を同期させる必要がないので、これらの設計が容易になる。
［そのほかの実施例］以上、この発明の一実施例を詳細に説明したが、この発明は、上述したような実施例に限定されるものではない。

0068

（１）例えば、先の実施例では、この発明をＩＴＵ−ＴＨ．２２１に準拠した画像・音声多重化装置に適用する場合を説明した。しかし、この発明は、少なくとも、画像データと、音声データと、制御信号を多重する画像・音声多重化装置一般に適用することができる。

0069

（２）また、先の実施例では、音声データの遅延処理をソフトウェアにより実行する場合を説明した。しかし、この発明は、この遅延処理をハードウェアにより実行するようにしてもよい。すなわち、この発明は、プロセッサを有しない画像・音声多重化装置にも適用することができる。

0070

（３）このほかにも、この発明は、その要旨を逸脱しない範囲で、種々様々変形実施可能なことは勿論である。

0071

以上詳述したようにこの発明によれば、音声データの記憶に使用される手段と、音声データを保持する手段と、この手段に保持された音声データを上記音声データ記憶手段に書き込む手段と、この音声データ記憶手段に書き込まれた音声データを所定時間経過後に読み出す手段と、この手段により読み出された音声データを保持する手段とにより、音声データの遅延を実現するようにしたので、音声データの遅延処理をメモリに対する音声データの書込み動作とメモリからの音声データの読出し動作によって行うことができる。

0072

これにより、音声データの遅延処理をソフトウェアにより実現することが可能なので、画像・音声多重化装置がプロセッサを有する場合は、このプロセッサを使って、音声データを遅延することができる。その結果、画像・音声多重化装置がプロセッサを有する場合は、画像・音声多重化装置内に音声データ遅延機能を設けることができる。

0073

図１この発明の一実施例の構成を示すブロック図である。

0074

１１…音声インタフェース回路
１２…遅延音声バッファ
１３…第１の多重回路
１４（１），１４（２）…第２の多重回路
１５…プロセッサ回路
１１１…音声バッファ
１１２，１３３，１４４（１），１４４（２）…フラグ設定回路
１３１，１４３（１），１４３（２）…多重回路
１３２…多重バッファ
１４１（１），１４１（２）…送信バッファ
１４２（１），１４２（２）…制御信号バッファ