図面 (/)

技術 画像符号化装置及び方法、画像復号化装置及び方法、画像符号化プログラムが記録されたコンピュータ可読記録媒体及び画像復号化プログラムが記録されたコンピュータ可読記録媒体

出願人 キヤノン株式会社
発明者 前田充
出願日 1998年2月4日 (22年9ヶ月経過) 出願番号 1998-023279
公開日 1999年8月17日 (21年3ヶ月経過) 公開番号 1999-225329
状態 特許登録済
技術分野 TV信号の圧縮,符号化方式 TV信号の圧縮,符号化方式
主要キーワード 対象合 外部伝送路 読み出し器 平均値算出器 通信データレート 手順コード 通信回線容量 前処理器
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(1999年8月17日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

視覚的に画質劣化を防止し、効率的な符号化ができる画像符号化装置を提供することである。

解決手段

入力された動画像データから複数のオブジェクトを分離し、分離された第1のオブジェクトを第1の符号化方法で符号化し、分離された第2のオブジェクトを第2の符号化方法で符号化し、符号化された前記第1のオブジェクトの符号化データに応じて前記第2のオブジェクトの符号化処理を制御する。

概要

背景

従来、動画像符号化方式として、H.261、MPEG-1、MPEG-2などが知られている。これらの符号化方式はITU(International Telecommunication Union:国際電気通信連合)やISO(International Organization for Standardization:国際標準化機構)によって国際標準化されており、それぞれ、H.264勧告、ISO11172、13818として文書化されている。また、静止画符号化(例えば、JPEG(Joint Photographic Coding Experts Group)符号化)を各フレーム適応させることで符号化するMotionJPEG符号化も知られている。

以下、図21を用いて、ビデオ信号をMPEG-1で符号化する符号化システムについて説明する。

図21において、TVカメラ1001により供給されたビデオ信号は、入力端子1003によって動画像符号化装置1002に入力される。

入力端子1003から入力されたビデオ信号は、A/D変換器1004によってディジタル信号に変換され、ブロック形成器1005に入力される。

ブロック形成器1005では、16×16画素で構成されるマクロブロックを画像の左上から右下方向の順に形成する。

MPEG-1では画像データを3つの符号化モードで符号化することができる。フレーム内符号化を行うI−フレームモード(以下、I—フレーム)、過去のフレームからフレーム間符号化を行うP−フレームモード(以下、P—フレーム)、過去と未来のフレームからフレーム間符号化を行うB−フレームモード(以下、B—フレーム)とがある。

上記したフレームのモード決定はフレームモード器1017によって行われる。フレームモードは符号化のビットレート、DCT(Discrete Cosine Transform:離散コサイン変換)の演算誤差蓄積による画質劣化の防止、画像の編集シーンチェンジを考慮して決定される。

まず、I−フレームの符号化処理について述べる。

I−フレームでは動き補償器1006は作動せず、動き補償器1006からは“0”を出力する。差分器1007ではブロック形成器1005の出力から動き補償器1006からの出力を引き、DCT変換器1008へ供給する。

DCT変換器1008では、差分器1007から供給された差分データを8×8画素のブロック単位DCT変換を行い、量子化器1009へ供給する。

量子化器1009ではDCT変換器1008によって変換された変換データ量子化し、符号化器1010へ供給する。

符号化器1010では量子化器1009によって量子化された量子化データを1次元並び替え、0ラン長と値で符号を決定し、その符号化データを出力端子1011へ供給し出力される。

また、量子化器1009によって量子化された量子化データは、逆量子化器1012にも供給される。逆量子化器1012は、供給された量子化データを逆量子化して逆DCT変換器1013に供給する。逆DCT変換器1013では逆量子化されたデータを逆DCT変換して加算器1014に供給する。加算器1014では、動き補償器1006の出力“0”と逆DCT変換器1013の出力とが加算され、フレームメモリ1015又は1016に記憶される。

次に、P−フレームの符号化処理について述べる。

P−フレームでは動き補償器1006を作動させ、ブロック形成器1005の出力は動き補償器1006に入力され、フレームメモリ1015又は1016から時間的に直前のフレームの画像も動き補償器1006に入力され、動き補償器1006では入力された画像データを用いて動き補償を行い動きベクトル予測マクロブロックを出力する。

差分器1007は、ブロック形成器1005からの出力と予測マクロブロックとの差分を求め、DCT変換し、量子化して符号器1010で動きベクトルとともに符号を決定し端子1011から出力される。

また、量子化器1009によって量子化された量子化データは逆量子化器1012にも供給される。逆量子化器1012では供給された量子化データを逆量子化して逆DCT変換器1013に供給する。逆DCT変換器1013では逆量子化されたデータを逆DCT変換して加算器1014に供給する。加算器1014では逆DCT変換器1013からの出力と動き補償器1006から出力される予測マクロブロックデータとが加算され、フレームメモリ1015又は1016に記憶される。

次に、B−フレームの符号化処理について述べる。

B—フレームではP—フレームと同様に動き補償を行うが、動き補償器1006はフレームメモリ1015及び1016の両方から動き補償を行い、予測マクロブロックを生成し、符号化を行う。

概要

視覚的に画質劣化を防止し、効率的な符号化ができる画像符号化装置を提供することである。

入力された動画像データから複数のオブジェクトを分離し、分離された第1のオブジェクトを第1の符号化方法で符号化し、分離された第2のオブジェクトを第2の符号化方法で符号化し、符号化された前記第1のオブジェクトの符号化データに応じて前記第2のオブジェクトの符号化処理を制御する。

目的

従って、本発明は前記課題を考慮して符号化効率の高い画像符号化装置及び方法並びに画像符号化プログラムが記録されたコンピュータ可読記録媒体、及びその符号化データを復号化するための画像復号化装置及び方法並びに画像復号化プログラムが記録されたコンピュータ可読記録媒体を提供することを目的としている。

効果

実績

技術文献被引用数
1件
牽制数
2件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

動画像データを入力する入力手段と、前記入力手段によって入力された動画像データから複数のオブジェクトを分離する分離手段と、前記分離手段によって分離された第1のオブジェクトを第1の符号化方法で符号化する第1の符号化手段と、前記分離手段によって分離された第2のオブジェクトを第2の符号化方法で符号化する第2の符号化手段と、前記第1の符号化手段によって符号化された符号化データに応じて前記第2の符号化手段の符号化処理を制御する制御手段とを有することを特徴とする画像符号化装置

請求項2

動画像データを入力する入力手段と、前記入力手段によって入力された動画像データから複数のオブジェクトを分離する分離手段と、前記分離手段によって分離された第1のオブジェクトを第1の符号化方法で符号化する第1の符号化手段と、前記分離手段によって分離された第2のオブジェクトを第2の符号化方法で符号化する第2の符号化手段と、前記第1の符号化手段によって符号化された符号化データと前記第2の符号化手段によって符号化された符号化データとを記録媒体に記録する記録手段と、前記記録媒体の記録容量に応じて前記第2の符号化手段の符号化処理を制御する制御手段とを有することを特徴とする画像符号化装置。

請求項3

動画像データを入力する入力手段と、前記入力手段によって入力された動画像データから複数のオブジェクトを分離する分離手段と、前記分離手段によって分離された第1のオブジェクトを第1の符号化方法で符号化する第1の符号化手段と、前記分離手段によって分離された第2のオブジェクトを第2の符号化方法で符号化する第2の符号化手段と、前記第1の符号化手段によって符号化された符号化データと前記第2の符号化手段によって符号化された符号化データとを外部へ通信する通信手段と、前記通信手段の通信データレートに応じて前記第2の符号化手段の符号化処理を制御する制御手段とを有することを特徴とする画像符号化装置。

請求項4

動画像データを入力する入力手段と、前記入力手段によって入力された動画像データから複数のオブジェクトを分離する分離手段と、前記分離手段によって分離された第1のオブジェクトを第1の符号化方法で符号化する第1の符号化手段と、前記分離手段によって分離された第2のオブジェクトを第2の符号化方法で符号化する第2の符号化手段と、フレームレートを設定する設定手段と、前記設定手段の出力に応じて前記第2の符号化手段の符号化処理を制御する制御手段とを有することを特徴とする画像符号化装置。

請求項5

請求項1において、前記制御手段は前記第1の符号化手段によって符号化された前記第1のオブジェクトの符号量に応じて前記第2の符号化手段で符号化される前記第2のオブジェクトの符号量を制御することを特徴とする画像符号化装置。

請求項6

請求項1〜3において、前記第2の符号化手段は量子化手段を含み、前記制御手段はフレームレートを設定する設定手段を含み、前記設定手段の出力に応じて前記量子化手段の量子化ステップを制御することを特徴とする画像符号化装置。

請求項7

請求項1、4〜5のいずれかにおいて、前記第2の符号化手段は量子化手段を含み、前記第1、第2の符号化手段によって符号化された符号化データを記録媒体に記録する記録手段を有し、前記制御手段は前記記録媒体の容量に応じて前記量子化手段の量子化ステップを制御することを特徴とする画像符号化装置。

請求項8

請求項1、4、5のいずれかにおいて、前記第2の符号化手段は量子化手段を含み、前記第1、第2の符号化手段によって符号化された符号化データを外部伝送路を用いて通信する通信手段を有し、前記制御手段は前記通信手段の通信データレートに応じて前記量子化手段の量子化ステップを制御することを特徴とする画像符号化装置。

請求項9

請求項1〜8のいずれかにおいて、前記分離手段は画像データの動きにより複数のオブジェクトを判別して分離することを特徴とする画像符号化装置。

請求項10

請求項1〜8のいずれかにおいて、前記分離手段はフレーム間の画素差分値により複数のオブジェクトを判別して分離することを特徴とする画像符号化装置。

請求項11

請求項1〜10のいずれかにおいて、前記分離手段は少なくとも背景画像とそれ以外の画像とを分離することを特徴とする画像符号化装置。

請求項12

請求項1〜11のいずれかにおいて、前記第1の符号化手段は階層符号化を行うことを特徴とする画像符号化装置。

請求項13

請求項1〜11のいずれかにおいて、前記第1の符号化手段はJPEG符号化を行うことを特徴とする画像符号化装置。

請求項14

請求項1〜13のいずれかにおいて、前記第2の符号化手段はイントラ符号化インター符号化とを選択的に用いて符号化することを特徴とする画像符号化装置。

請求項15

請求項1〜14のいずれかにおいて、前記第1の符号化手段によって得られた第1の符号化データと前記第2の符号化手段によって得られた第2の符号化データとを合成する合成手段を有することを特徴とする画像符号化装置。

請求項16

請求項15において、前記合成手段は前記第1のオブジェクトの符号化データは分割して合成されることを特徴とする画像符号化装置。

請求項17

請求項15又は16において、前記合成手段は各オブジェクトの属性を示す情報も合成することを特徴とする画像符号化装置。

請求項18

請求項15〜17のいずれかにおいて、前記合成手段によって得られた符号化データを記録媒体に記録する記録手段とを有することを特徴とする画像符号化装置。

請求項19

請求項15〜18のいずれかにおいて、前記合成手段によって得られた符号化データを通信するインターフェース手段を有することを特徴とする画像符号化装置。

請求項20

請求項1〜19のいずれかにおいて、前記入力手段はビデオカメラを含むことを特徴とする画像符号化装置。

請求項21

請求項20において、前記分離手段には前記ビデオカメラから撮影状態を示す撮影情報が入力され、前記撮影情報に応じて前記画像データから同一種のオブジェクトを分離することを特徴とする画像符号化装置。

請求項22

請求項1〜19のいずれかにおいて、前記入力手段はビデオレコーダを含むことを特徴とする画像符号化装置。

請求項23

請求項1〜22のいずれかにおいて、前記第1のオブジェクトは、前記画像データ中の背景画像であることを特徴とする画像符号化装置。

請求項24

入力された動画像データから複数のオブジェクトを分離し、分離された第1のオブジェクトを第1の符号化方法で符号化し、分離された第2のオブジェクトを第2の符号化方法で符号化し、符号化された前記第1のオブジェクトの符号化データに応じて前記第2のオブジェクトの符号化処理を制御することを特徴とする画像符号化方法

請求項25

入力された動画像データから複数のオブジェクトを分離し、分離された第1のオブジェクトを第1の符号化方法で符号化し、分離された第2のオブジェクトを第2の符号化方法で符号化し、符号化された第1のオブジェクトの符号化データと符号化された第2のオブジェクトの符号化データとを記録する記録媒体の記録容量に応じて前記第2のオブジェクトの符号化処理を制御することを特徴とする画像符号化方法。

請求項26

入力された動画像データから複数のオブジェクトを分離し、分離された第1のオブジェクトを第1の符号化方法で符号化し、分離された第2のオブジェクトを第2の符号化方法で符号化し、符号化された第1のオブジェクトの符号化データと符号化された第2のオブジェクトの符号化データとを外部へ通信する際の通信データレートに応じて前記第2のオブジェクトの符号化処理を制御することを特徴とする画像符号化方法。

請求項27

画像符号化プログラムが記録されたコンピュータ可読記録媒体であって、入力された動画像データから複数のオブジェクトを分離する分離工程手順コードと、分離された第1のオブジェクトを第1の符号化方法で符号化する第1の符号化工程の手順コードと、分離された第2のオブジェクトを第2の符号化方法で符号化する第2の符号化工程の手順コードと、符号化された前記第1のオブジェクトの符号化データに応じて前記第2のオブジェクトの符号化処理を制御する制御工程の手順コードとを記録したことを特徴とする画像符号化プログラムが記録されたコンピュータ可読記録媒体。

請求項28

画像符号化プログラムが記録されたコンピュータ可読記録媒体であって、入力された動画像データから複数のオブジェクトを分離する分離工程の手順コードと、分離された第1のオブジェクトを第1の符号化方法で符号化する第1の符号化工程の手順コードと、分離された第2のオブジェクトを第2の符号化方法で符号化する第2の符号化工程の手順コードと、符号化された第1のオブジェクトの符号化データと符号化された第2のオブジェクトの符号化データとを記録する記録媒体の記録容量に応じて前記第2のオブジェクトの符号化処理を制御する制御工程の手順コードとを記録したことを特徴とする画像符号化プログラムが記録されたコンピュータ可読記録媒体。

請求項29

画像符号化プログラムが記録されたコンピュータ可読記録媒体であって、入力された動画像データから複数のオブジェクトを分離する分離工程の手順コードと、分離された第1のオブジェクトを第1の符号化方法で符号化する第1の符号化工程の手順コードと、分離された第2のオブジェクトを第2の符号化方法で符号化する第2の符号化工程の手順コードと、符号化された第1のオブジェクトの符号化データと符号化された第2のオブジェクトの符号化データとを外部へ通信する際の通信データレートに応じて前記第2のオブジェクトの符号化処理を制御する制御工程とを記録したことを特徴とする画像符号化プログラムが記録されたコンピュータ可読記録媒体。

請求項30

入力動画像データから第1のオブジェクトと第2のオブジェクトとに分離し、前記第1のオブジェクトを第1の符号化方法で符号化し、前記第2のオブジェクトを第2の符号化方法により符号化し、前記第2のオブジェクトの符号化データの符号量は前記第1のオブジェクトの符号化データに応じて制御され、前記第1のオブジェクトの符号化データと前記第2のオブジェクトの符号化データとを合成して伝送された合成符号化データを復号化する画像復号化装置であって、前記合成符号化データを第1のオブジェクト符号化データと前記第2のオブジェクト符号化データとに分離する分離手段と、前記分離手段によって分離された第1のオブジェクト符号化データを復号化する第1の復号化手段と、前記分離手段によって分離された第2のオブジェクト符号化データを復号化する第2の復号化手段とを有することを特徴とする画像復号化装置。

請求項31

入力動画像データから第1のオブジェクトと第2のオブジェクトとに分離し、前記第1のオブジェクトを第1の符号化方法で符号化し、前記第2のオブジェクトを第2の符号化方法により符号化し、前記第2のオブジェクトの符号化データの符号量は通信レートに応じて制御され、前記第1のオブジェクトの符号化データと前記第2のオブジェクトの符号化データとを合成して通信された合成符号化データを復号化する画像復号化装置であって、前記合成符号化データを第1のオブジェクト符号化データと前記第2のオブジェクト符号化データとに分離する分離手段と、前記分離手段によって分離された第1のオブジェクト符号化データを復号化する第1の復号化手段と、前記分離手段によって分離された第2のオブジェクト符号化データを復号化する第2の復号化手段とを有することを特徴とする画像復号化装置。

請求項32

入力動画像データから第1のオブジェクトと第2のオブジェクトとに分離し、前記第1のオブジェクトを第1の符号化方法で符号化し、前記第2のオブジェクトを第2の符号化方法により符号化し、前記第2のオブジェクトの符号化データの符号量は前記動画データのフレームレートに応じて制御され、前記第1のオブジェクトの符号化データと前記第2のオブジェクトの符号化データとを合成して通信された合成符号化データを復号化する画像復号化装置であって、前記合成符号化データを第1のオブジェクト符号化データと前記第2のオブジェクト符号化データとに分離する分離手段と、前記分離手段によって分離された第1のオブジェクト符号化データを復号化する第1の復号化手段と、前記分離手段によって分離された第2のオブジェクト符号化データを復号化する第2の復号化手段とを有することを特徴とする画像復号化装置。

請求項33

請求項30〜32のいずれかにおいて、前記第1の復号化手段の出力と前記第2の復号化手段の出力とを合成する合成手段を有することを特徴とする画像復号化装置。

請求項34

請求項33において、前記合成手段によって合成された合成データを表示する表示手段とを有することを特徴とする画像復号化装置。

請求項35

入力動画像データから第1のオブジェクトと第2のオブジェクトとに分離し、前記第1のオブジェクトを第1の符号化方法で符号化し、前記第2のオブジェクトを第2の符号化方法により符号化し、前記第2のオブジェクトの符号化データの符号量は前記第1のオブジェクトの符号化データに応じて制御され、前記第1のオブジェクトの符号化データと前記第2のオブジェクトの符号化データとを合成して伝送された合成符号化データを復号化する画像復号化方法であって、前記合成符号化データを第1のオブジェクト符号化データと前記第2のオブジェクト符号化データとに分離し、分離された第1のオブジェクト符号化データを復号化し、分離された第2のオブジェクト符号化データを復号化することを特徴とする画像復号化方法。

請求項36

入力動画像データから第1のオブジェクトと第2のオブジェクトとに分離し、前記第1のオブジェクトを第1の符号化方法で符号化し、前記第2のオブジェクトを第2の符号化方法により符号化し、前記第2のオブジェクトの符号化データの符号量は通信レートに応じて制御され、前記第1のオブジェクトの符号化データと前記第2のオブジェクトの符号化データとを合成して通信された合成符号化データを復号化する画像復号化方法であって、前記合成符号化データを第1のオブジェクト符号化データと前記第2のオブジェクト符号化データとに分離し、分離された第1のオブジェクト符号化データを復号化し、分離された第2のオブジェクト符号化データを復号化することを特徴とする画像復号化方法。

請求項37

入力動画像データから第1のオブジェクトと第2のオブジェクトとに分離し、前記第1のオブジェクトを第1の符号化方法で符号化し、前記第2のオブジェクトを第2の符号化方法により符号化し、前記第2のオブジェクトの符号化データの符号量は前記動画データのフレームレートに応じて制御され、前記第1のオブジェクトの符号化データと前記第2のオブジェクトの符号化データとを合成して通信された合成符号化データを復号化する画像復号化方法であって、前記合成符号化データを第1のオブジェクト符号化データと前記第2のオブジェクト符号化データとに分離し、分離された第1のオブジェクト符号化データを復号化し、分離された第2のオブジェクト符号化データを復号化することを特徴とする画像復号化方法。

請求項38

入力動画像データから第1のオブジェクトと第2のオブジェクトとに分離し、前記第1のオブジェクトを第1の符号化方法で符号化し、前記第2のオブジェクトを第2の符号化方法により符号化し、前記第2のオブジェクトの符号化データの符号量は前記第1のオブジェクトの符号化データに応じて制御され、前記第1のオブジェクトの符号化データと前記第2のオブジェクトの符号化データとを合成して伝送された合成符号化データを復号化する画像復号化プログラムが記録されたコンピュータ可読記録媒体であって、前記合成符号化データを第1のオブジェクト符号化データと前記第2のオブジェクト符号化データとに分離する分離工程の手順コードと、分離された第1のオブジェクト符号化データを復号化する第1の復号化工程の手順コードと、分離された第2のオブジェクト符号化データを復号化する第2の復号化工程の手順コードとを記録したことを特徴とする画像復号化プログラムが記録されたコンピュータ可読記録媒体。

請求項39

入力動画像データから第1のオブジェクトと第2のオブジェクトとに分離し、前記第1のオブジェクトを第1の符号化方法で符号化し、前記第2のオブジェクトを第2の符号化方法により符号化し、前記第2のオブジェクトの符号化データの符号量は通信レートに応じて制御され、前記第1のオブジェクトの符号化データと前記第2のオブジェクトの符号化データとを合成して通信された合成符号化データを復号化する画像復号化プログラムが記録されたコンピュータ可読記録媒体であって、前記合成符号化データを第1のオブジェクト符号化データと前記第2のオブジェクト符号化データとに分離する分離工程の手順コードと、分離された第1のオブジェクト符号化データを復号化する第1の復号化工程の手順コードと、分離された第2のオブジェクト符号化データを復号化する第2の復号化工程の手順コードとを記録したことを特徴とする画像復号化プログラムが記録されたコンピュータ可読記録媒体。

請求項40

入力動画像データから第1のオブジェクトと第2のオブジェクトとに分離し、前記第1のオブジェクトを第1の符号化方法で符号化し、前記第2のオブジェクトを第2の符号化方法により符号化し、前記第2のオブジェクトの符号化データの符号量は前記動画データのフレームレートに応じて制御され、前記第1のオブジェクトの符号化データと前記第2のオブジェクトの符号化データとを合成して通信された合成符号化データを復号化する画像復号化プログラムが記録されたコンピュータ可読記録媒体であって、前記合成符号化データを第1のオブジェクト符号化データと前記第2のオブジェクト符号化データとに分離する分離工程の手順コードと、分離された第1のオブジェクト符号化データを復号化する第1の復号化工程の手順コードと、分離された第2のオブジェクト符号化データを復号化する第2の復号化工程の手順コードとを記録したことを特徴とする画像復号化プログラムが記録されたコンピュータ可読記録媒体。

技術分野

0001

本発明は、画像符号化装置及び方法、画像復号化装置及び方法、画像符号化処理プログラムが記録されたコンピュータ可読記録媒体及び画像復号化処理プログラムが記録されたコンピュータ可読記録媒体に関するものである。

背景技術

0002

従来、動画像符号化方式として、H.261、MPEG-1、MPEG-2などが知られている。これらの符号化方式はITU(International Telecommunication Union:国際電気通信連合)やISO(International Organization for Standardization:国際標準化機構)によって国際標準化されており、それぞれ、H.264勧告、ISO11172、13818として文書化されている。また、静止画符号化(例えば、JPEG(Joint Photographic Coding Experts Group)符号化)を各フレーム適応させることで符号化するMotionJPEG符号化も知られている。

0003

以下、図21を用いて、ビデオ信号をMPEG-1で符号化する符号化システムについて説明する。

0004

図21において、TVカメラ1001により供給されたビデオ信号は、入力端子1003によって動画像符号化装置1002に入力される。

0005

入力端子1003から入力されたビデオ信号は、A/D変換器1004によってディジタル信号に変換され、ブロック形成器1005に入力される。

0006

ブロック形成器1005では、16×16画素で構成されるマクロブロックを画像の左上から右下方向の順に形成する。

0007

MPEG-1では画像データを3つの符号化モードで符号化することができる。フレーム内符号化を行うI−フレームモード(以下、I—フレーム)、過去のフレームからフレーム間符号化を行うP−フレームモード(以下、P—フレーム)、過去と未来のフレームからフレーム間符号化を行うB−フレームモード(以下、B—フレーム)とがある。

0008

上記したフレームのモード決定はフレームモード器1017によって行われる。フレームモードは符号化のビットレート、DCT(Discrete Cosine Transform:離散コサイン変換)の演算誤差蓄積による画質劣化の防止、画像の編集シーンチェンジを考慮して決定される。

0009

まず、I−フレームの符号化処理について述べる。

0010

I−フレームでは動き補償器1006は作動せず、動き補償器1006からは“0”を出力する。差分器1007ではブロック形成器1005の出力から動き補償器1006からの出力を引き、DCT変換器1008へ供給する。

0011

DCT変換器1008では、差分器1007から供給された差分データを8×8画素のブロック単位DCT変換を行い、量子化器1009へ供給する。

0012

量子化器1009ではDCT変換器1008によって変換された変換データ量子化し、符号化器1010へ供給する。

0013

符号化器1010では量子化器1009によって量子化された量子化データを1次元並び替え、0ラン長と値で符号を決定し、その符号化データを出力端子1011へ供給し出力される。

0014

また、量子化器1009によって量子化された量子化データは、逆量子化器1012にも供給される。逆量子化器1012は、供給された量子化データを逆量子化して逆DCT変換器1013に供給する。逆DCT変換器1013では逆量子化されたデータを逆DCT変換して加算器1014に供給する。加算器1014では、動き補償器1006の出力“0”と逆DCT変換器1013の出力とが加算され、フレームメモリ1015又は1016に記憶される。

0015

次に、P−フレームの符号化処理について述べる。

0016

P−フレームでは動き補償器1006を作動させ、ブロック形成器1005の出力は動き補償器1006に入力され、フレームメモリ1015又は1016から時間的に直前のフレームの画像も動き補償器1006に入力され、動き補償器1006では入力された画像データを用いて動き補償を行い動きベクトル予測マクロブロックを出力する。

0017

差分器1007は、ブロック形成器1005からの出力と予測マクロブロックとの差分を求め、DCT変換し、量子化して符号器1010で動きベクトルとともに符号を決定し端子1011から出力される。

0018

また、量子化器1009によって量子化された量子化データは逆量子化器1012にも供給される。逆量子化器1012では供給された量子化データを逆量子化して逆DCT変換器1013に供給する。逆DCT変換器1013では逆量子化されたデータを逆DCT変換して加算器1014に供給する。加算器1014では逆DCT変換器1013からの出力と動き補償器1006から出力される予測マクロブロックデータとが加算され、フレームメモリ1015又は1016に記憶される。

0019

次に、B−フレームの符号化処理について述べる。

0020

B—フレームではP—フレームと同様に動き補償を行うが、動き補償器1006はフレームメモリ1015及び1016の両方から動き補償を行い、予測マクロブロックを生成し、符号化を行う。

発明が解決しようとする課題

0021

しかしながら、上述したような画像全体を符号化する方法では、動きの無い背景部分等を繰り返して送る必要があり、符号長を無駄に使用している。例えば、テレビ電話テレビ会議等での画像では実際に動いているのは人物だけであり、背景は動いていない。一定の時間毎に送られるI−フレームでは動いていない背景画像も送られており、無駄な符号(背景画像の符号データ)が生じている。

0022

図22にテレビ会議等の画像の一例を示す。

0023

図22は部屋で人物がテレビカメラに向かっている図である。人物1050と背景1051は同じフレーム内で同じ符号化方法により符号化されている。

0024

背景1051には動きはないため、動き補償を行えば符号はほとんど発生しないが、I−フレームでは多大な符号が発生する。

0025

このため、動きがない部分に関しても多大な符号化データを繰り返し送ることになり、無駄である。また、人物1050の動きが大きく、符号化で大きな符号量を発生した後のI−フレームによる符号化処理では十分な符号量が得られず、量子化係数を荒くする必要が生じ、動きのない背景の画質まで低下させてしまうという欠点を持っている。尚、上記した人物1050のように動きがある物体を以下では対象と呼ぶ。

0026

従って、本発明は前記課題を考慮して符号化効率の高い画像符号化装置及び方法並びに画像符号化プログラムが記録されたコンピュータ可読記録媒体、及びその符号化データを復号化するための画像復号化装置及び方法並びに画像復号化プログラムが記録されたコンピュータ可読記録媒体を提供することを目的としている。

課題を解決するための手段

0027

本発明の画像符号化装置は、動画像データを入力する入力手段と、前記入力手段によって入力された動画像データから複数のオブジェクトを分離する分離手段と、前記分離手段によって分離された第1のオブジェクトを第1の符号化方法で符号化する第1の符号化手段と、前記分離手段によって分離された第2のオブジェクトを第2の符号化方法で符号化する第2の符号化手段と、前記第1の符号化手段によって符号化された符号化データに応じて前記第2の符号化手段の符号化処理を制御する制御手段とを有することを特徴とする。

0028

また、本発明の画像符号化装置は、動画像データを入力する入力手段と、前記入力手段によって入力された動画像データから複数のオブジェクトを分離する分離手段と、前記分離手段によって分離された第1のオブジェクトを第1の符号化方法で符号化する第1の符号化手段と、前記分離手段によって分離された第2のオブジェクトを第2の符号化方法で符号化する第2の符号化手段と、前記第1の符号化手段によって符号化された符号化データと前記第2の符号化手段によって符号化された符号化データとを記録媒体に記録する記録手段と、前記記録媒体の記録容量に応じて前記第2の符号化手段の符号化処理を制御する制御手段とを有することを特徴とする。

0029

また、本発明の画像符号化装置は、動画像データを入力する入力手段と、前記入力手段によって入力された動画像データから複数のオブジェクトを分離する分離手段と、前記分離手段によって分離された第1のオブジェクトを第1の符号化方法で符号化する第1の符号化手段と、前記分離手段によって分離された第2のオブジェクトを第2の符号化方法で符号化する第2の符号化手段と、前記第1の符号化手段によって符号化された符号化データと前記第2の符号化手段によって符号化された符号化データとを外部へ通信する通信手段と、前記通信手段の通信データレートに応じて前記第2の符号化手段の符号化処理を制御する制御手段とを有することを特徴とする。

0030

また、本発明の画像符号化方法は、入力された動画像データから複数のオブジェクトを分離し、分離された第1のオブジェクトを第1の符号化方法で符号化し、分離された第2のオブジェクトを第2の符号化方法で符号化し、符号化された前記第1のオブジェクトの符号化データに応じて前記第2のオブジェクトの符号化処理を制御することを特徴とする。

0031

また、本発明の画像符号化方法は、入力された動画像データから複数のオブジェクトを分離し、分離された第1のオブジェクトを第1の符号化方法で符号化し、分離された第2のオブジェクトを第2の符号化方法で符号化し、符号化された第1のオブジェクトの符号化データと符号化された第2のオブジェクトの符号化データとを記録する記録媒体の記録容量に応じて前記第2のオブジェクトの符号化処理を制御することを特徴とする。

0032

また、本発明の画像符号化方法は、入力された動画像データから複数のオブジェクトを分離し、分離された第1のオブジェクトを第1の符号化方法で符号化し、分離された第2のオブジェクトを第2の符号化方法で符号化し、符号化された第1のオブジェクトの符号化データと符号化された第2のオブジェクトの符号化データとを外部へ通信する際の通信データレートに応じて前記第2のオブジェクトの符号化処理を制御することを特徴とする。

0033

また、本発明の画像符号化プログラムが記録されたコンピュータ可読記録媒体は、入力された動画像データから複数のオブジェクトを分離する分離工程手順コードと、分離された第1のオブジェクトを第1の符号化方法で符号化する第1の符号化工程の手順コードと、分離された第2のオブジェクトを第2の符号化方法で符号化する第2の符号化工程の手順コードと、符号化された前記第1のオブジェクトの符号化データに応じて前記第2のオブジェクトの符号化処理を制御する制御工程の手順コードとを記録したことを特徴とする。

0034

また、本発明の画像符号化プログラムが記録されたコンピュータ可読記録媒体は、入力された動画像データから複数のオブジェクトを分離する分離工程の手順コードと、分離された第1のオブジェクトを第1の符号化方法で符号化する第1の符号化工程の手順コードと、分離された第2のオブジェクトを第2の符号化方法で符号化する第2の符号化工程の手順コードと、符号化された第1のオブジェクトの符号化データと符号化された第2のオブジェクトの符号化データとを記録する記録媒体の記録容量に応じて前記第2のオブジェクトの符号化処理を制御する制御工程の手順コードとを記録したことを特徴とする。

0035

また、本発明の画像符号化プログラムが記録されたコンピュータ可読記録媒体は、入力された動画像データから複数のオブジェクトを分離する分離工程の手順コードと、分離された第1のオブジェクトを第1の符号化方法で符号化する第1の符号化工程の手順コードと、分離された第2のオブジェクトを第2の符号化方法で符号化する第2の符号化工程の手順コードと、符号化された第1のオブジェクトの符号化データと符号化された第2のオブジェクトの符号化データとを外部へ通信する際の通信データレートに応じて前記第2のオブジェクトの符号化処理を制御する制御工程とを記録したことを特徴とする。

0036

また、本発明の画像復号化装置は、入力動画像データから第1のオブジェクトと第2のオブジェクトとに分離し、前記第1のオブジェクトを第1の符号化方法で符号化し、前記第2のオブジェクトを第2の符号化方法により符号化し、前記第2のオブジェクトの符号化データの符号量は前記第1のオブジェクトの符号化データに応じて制御され、前記第1のオブジェクトの符号化データと前記第2のオブジェクトの符号化データとを合成して伝送された合成符号化データを復号化する画像復号化装置であって、前記合成符号化データを第1のオブジェクト符号化データと前記第2のオブジェクト符号化データとに分離する分離手段と、前記分離手段によって分離された第1のオブジェクト符号化データを復号化する第1の復号化手段と、前記分離手段によって分離された第2のオブジェクト符号化データを復号化する第2の復号化手段とを有することを特徴とする。

0037

また、本発明の画像復号化装置は、入力動画像データから第1のオブジェクトと第2のオブジェクトとに分離し、前記第1のオブジェクトを第1の符号化方法で符号化し、前記第2のオブジェクトを第2の符号化方法により符号化し、前記第2のオブジェクトの符号化データの符号量は通信レートに応じて制御され、前記第1のオブジェクトの符号化データと前記第2のオブジェクトの符号化データとを合成して通信された合成符号化データを復号化する画像復号化装置であって、前記合成符号化データを第1のオブジェクト符号化データと前記第2のオブジェクト符号化データとに分離する分離手段と、前記分離手段によって分離された第1のオブジェクト符号化データを復号化する第1の復号化手段と、前記分離手段によって分離された第2のオブジェクト符号化データを復号化する第2の復号化手段とを有することを特徴とする。

0038

また、本発明の画像復号化装置は、入力動画像データから第1のオブジェクトと第2のオブジェクトとに分離し、前記第1のオブジェクトを第1の符号化方法で符号化し、前記第2のオブジェクトを第2の符号化方法により符号化し、前記第2のオブジェクトの符号化データの符号量は前記動画データのフレームレートに応じて制御され、前記第1のオブジェクトの符号化データと前記第2のオブジェクトの符号化データとを合成して通信された合成符号化データを復号化する画像復号化装置であって、前記合成符号化データを第1のオブジェクト符号化データと前記第2のオブジェクト符号化データとに分離する分離手段と、前記分離手段によって分離された第1のオブジェクト符号化データを復号化する第1の復号化手段と、前記分離手段によって分離された第2のオブジェクト符号化データを復号化する第2の復号化手段とを有することを特徴とする。

0039

また、本発明の画像復号化方法は、入力動画像データから第1のオブジェクトと第2のオブジェクトとに分離し、前記第1のオブジェクトを第1の符号化方法で符号化し、前記第2のオブジェクトを第2の符号化方法により符号化し、前記第2のオブジェクトの符号化データの符号量は前記第1のオブジェクトの符号化データに応じて制御され、前記第1のオブジェクトの符号化データと前記第2のオブジェクトの符号化データとを合成して伝送された合成符号化データを復号化する画像復号化方法であって、前記合成符号化データを第1のオブジェクト符号化データと前記第2のオブジェクト符号化データとに分離し、分離された第1のオブジェクト符号化データを復号化し、分離された第2のオブジェクト符号化データを復号化することを特徴とする。

0040

また、本発明の画像復号化方法は、入力動画像データから第1のオブジェクトと第2のオブジェクトとに分離し、前記第1のオブジェクトを第1の符号化方法で符号化し、前記第2のオブジェクトを第2の符号化方法により符号化し、前記第2のオブジェクトの符号化データの符号量は通信レートに応じて制御され、前記第1のオブジェクトの符号化データと前記第2のオブジェクトの符号化データとを合成して通信された合成符号化データを復号化する画像復号化方法であって、前記合成符号化データを第1のオブジェクト符号化データと前記第2のオブジェクト符号化データとに分離し、分離された第1のオブジェクト符号化データを復号化し、分離された第2のオブジェクト符号化データを復号化することを特徴とする。

0041

また、本発明の画像復号化方法は、入力動画像データから第1のオブジェクトと第2のオブジェクトとに分離し、前記第1のオブジェクトを第1の符号化方法で符号化し、前記第2のオブジェクトを第2の符号化方法により符号化し、前記第2のオブジェクトの符号化データの符号量は前記動画データのフレームレートに応じて制御され、前記第1のオブジェクトの符号化データと前記第2のオブジェクトの符号化データとを合成して通信された合成符号化データを復号化する画像復号化方法であって、前記合成符号化データを第1のオブジェクト符号化データと前記第2のオブジェクト符号化データとに分離し、分離された第1のオブジェクト符号化データを復号化し、分離された第2のオブジェクト符号化データを復号化することを特徴とする。

0042

また、本発明の画像復号化プログラムが記録されたコンピュータ可読記録媒体は、入力動画像データから第1のオブジェクトと第2のオブジェクトとに分離し、前記第1のオブジェクトを第1の符号化方法で符号化し、前記第2のオブジェクトを第2の符号化方法により符号化し、前記第2のオブジェクトの符号化データの符号量は前記第1のオブジェクトの符号化データに応じて制御され、前記第1のオブジェクトの符号化データと前記第2のオブジェクトの符号化データとを合成して伝送された合成符号化データを復号化する画像復号化プログラムが記録されたコンピュータ可読記録媒体であって、前記合成符号化データを第1のオブジェクト符号化データと前記第2のオブジェクト符号化データとに分離する分離工程の手順コードと、分離された第1のオブジェクト符号化データを復号化する第1の復号化工程の手順コードと、分離された第2のオブジェクト符号化データを復号化する第2の復号化工程の手順コードとを記録したことを特徴とする。

0043

また、本発明の画像復号化プログラムが記録されたコンピュータ可読記録媒体は、入力動画像データから第1のオブジェクトと第2のオブジェクトとに分離し、前記第1のオブジェクトを第1の符号化方法で符号化し、前記第2のオブジェクトを第2の符号化方法により符号化し、前記第2のオブジェクトの符号化データの符号量は通信レートに応じて制御され、前記第1のオブジェクトの符号化データと前記第2のオブジェクトの符号化データとを合成して通信された合成符号化データを復号化する画像復号化プログラムが記録されたコンピュータ可読記録媒体であって、前記合成符号化データを第1のオブジェクト符号化データと前記第2のオブジェクト符号化データとに分離する分離工程の手順コードと、分離された第1のオブジェクト符号化データを復号化する第1の復号化工程の手順コードと、分離された第2のオブジェクト符号化データを復号化する第2の復号化工程の手順コードとを記録したことを特徴とする。

0044

また、本発明の画像復号化プログラムが記録されたコンピュータ可読記録媒体は、入力動画像データから第1のオブジェクトと第2のオブジェクトとに分離し、前記第1のオブジェクトを第1の符号化方法で符号化し、前記第2のオブジェクトを第2の符号化方法により符号化し、前記第2のオブジェクトの符号化データの符号量は前記動画データのフレームレートに応じて制御され、前記第1のオブジェクトの符号化データと前記第2のオブジェクトの符号化データとを合成して通信された合成符号化データを復号化する画像復号化プログラムが記録されたコンピュータ可読記録媒体であって、前記合成符号化データを第1のオブジェクト符号化データと前記第2のオブジェクト符号化データとに分離する分離工程の手順コードと、分離された第1のオブジェクト符号化データを復号化する第1の復号化工程の手順コードと、分離された第2のオブジェクト符号化データを復号化する第2の復号化工程の手順コードとを記録したことを特徴とする。

発明を実施するための最良の形態

0045

<第1の実施例>以下、図面を参照しながら本発明の好適な実施形態を詳細に説明する。

0046

図1は、本発明にかかる第1の実施例の動画像符号化装置の構成を示すブロック図である。尚、本実施例では、動画像の入力手段としてVTRを用い、CD−ROMに符号化データを書き込むシステムの場合について説明する。

0047

図1において、101は動画像シーケンスを蓄積してあるビデオテープレコーダ(VTR)である。尚、VTR101は動画像の入力手段であってTVカメラや他の記憶媒体等の動画像入力手段でもよい。

0048

102は本発明に係るところの動画像符号化装置である。103はVTRから出力される動画像のアナログ画像信号を入力する入力端子、104はアナログ画像信号をディジタル画像信号に変換するA/D変換器、105は画像の背景画像を格納する背景メモリである。

0049

106は背景画像を静止画像の符号化方式で符号化する静止画像符号化部である。静止画像符号化部106で使用される符号化方式は、本実施例ではJPEG符号化方式を用いている。尚、静止画像符号化部106で使用する符号化方式はこれに限定されず、Wavelet符号化やDPCM符号化、ベクトル量子化等の静止画像を符号化する方式等も適用できる。また、画像のI−フレームの符号化方式を用いてももちろんかまわない。

0050

107はフレームメモリであり、1画面分の画像データを格納する。108は背景メモリ105とフレームメモリ108から符号化する対象を抽出する対象抽出器、109は抽出された対象を格納する対象メモリ、110は抽出された対象に動き補償を用いない符号化を行う動画像符号化部、111は静止画像符号化部106と動画像符号化部110で生成される符号の符号長を入力し、発生する符号長の制御を行う符号長制御部、112は静止画像符号化部106と動画像符号化部110で生成される符号化データを合成して1つの符号化データを生成する符号合成部、113は符号合成部112によって生成された符号化データを出力する出力端子、114は符号化データをCD−ROMに記録するCD−ROM書き込み装置、115はVTR101に格納されている動画像シーケンスの長さ等の情報を入力する端子、116はCD−ROMの記憶可能容量等の情報を入力する端子、117はユーザーが所望するフレームレートを入力するためのフレームレート入力部である。

0051

以下、上述のように構成された装置の動作を説明する。

0052

まず、VTR101の動画像シーケンスにおいては先頭に対象が全く写っていないフレームが入っているものとする。

0053

VTR101から入力端子115を介して符号化する動画像シーケンスの長さ(時間)Tsを入力し、符号長制御部111に入力する。また、CD−ROM書き込み装置114からはCD−ROMの空き容量Ccを入力する。この空き容量Ccが符号化時の目標符号長になる。

0054

次に、VTR101から対象が写っていないフレームの画像データ(つまり、背景画像のみ写っている)を、入力端子103を介して入力し、A/D変換器104でディジタル信号に変換し、背景メモリ105に格納する。図22の画像に対して図2に示す画像が背景画像であったとする。この画像が背景メモリ105に格納される。

0055

背景メモリ105に背景画像が入力されたら、静止画像符号化部106は背景画像をJPEG符号化方式で比較的細かな量子化ステップで符号化し、符号合成部112に供給する。また、この時発生した符号長Lbを符号長制御部111へ供給する。符号長制御部111で動画像シーケンスの長さTs、空き容量Cc、背景画像の符号長Lbから動画像シーケンスの符号化レートRoを下式に従って算出する。

0056

Ro =(Cc−Lb)/Ts/F …(1)
ここで変数Fはフレームレート入力部117によって入力された動画像のフレームレートである。つまり、フレームレート入力部117によりフレームレートを可変に設定することができる。従って、符号化レートRoは1枚のフレームに費やすことのできる符号長を表している。

0057

次に、対象が含まれるフレームをVTR101から時間順にフレームの画像データを入力する。入力端子103を介して入力されたアナログ信号はA/D変換器104でディジタル信号に変換され、フレームメモリ107に入力される。フレームメモリ107に1画面分の画像データが蓄積されたら、対象抽出器108はフレームメモリ107と背景メモリ105の画像データから対象を抽出する。つまり、対象抽出器108は画像中に含まれる複数種のオブジェクト(背景、人物)を分離していることになる。

0058

対象の抽出の一つとして以下の方法が考えられる。例えば、フレームメモリ107及び背景メモリ105に記憶された画像データを同期して読み出し、その画像データ同士の画素差分を求める。画素差分が閾値以下であれば背景に含まれる画素とし0そうでなければ対象に含まれる画素とする。画面1面分の閾値比較が終了したら、複数の対象に含まれる画素の固まりを対象の候補とする。以前に対象の抽出を行っている場合は、対象メモリ109に格納されている各対象の画像データと比較し、もっとも類似度の高いものを同じ対象とする。類似度は、対象の位置、大きさ、濃度(輝度)平均等を考慮して決定すればよい。また、複数画素で構成されたブロックにより動きベクトルを検出し、その動きベクトルが同じような動きをしている固まりは同一のオブジェクトであると判断するようにしてもよい。

0059

対象が特定できたら、その位置や大きさといった情報を符号化し、符号合成部112に供給する。抽出された対象は矩形切り出された画像データとその位置の背景画素対象画素を表す閾値比較結果(以下、背景/対象判定結果と称す)を対象メモリ109に格納する。図22を例にとれば図3の対象を含む矩形が切り出され、図4の背景/対象判定結果とともに格納される。これらの情報は動画像符号化部110に供給される。

0060

図5は、動画像符号化部110の構成の一例を示す図である。尚、動画像符号化部110では説明を簡単にするためにフレーム単位固定長の符号化をする符号化方式を例にとって説明する。

0061

図5において、120は図1の対象メモリ109から符号化する対象の矩形の画像データを入力する端子、121はその背景/対象判定結果を入力する端子、122は入力された背景/対象判定結果を符号化する背景/対象判定符号化器である。符号化方式はたとえば2値符号化である、JBIG符号化方式を用いればよい。また、MMR符号化方式や同じような符号化であれば問題はない。

0062

123は背景/対象判定符号化器122で生成された符号化データを外部に送出する端子であり、符号合成部112に接続している。124は各フレームの符号長の目標値Roを入力する端子であり、符号長制御部111に接続している。

0063

125は背景/対象判定符号化器122で生成された符号長Loを目標値Roから引いた値を算出する差分器、126は差分器125の出力値を格納するラッチ、127は対象の画像データの平均値mを求める平均値算出器、128は切り出された矩形の中の背景を表す画素の値を平均値mに置換する背景画素置換器、129は背景画素置換器128の出力データを格納するメモリ、130はメモリ129をブロック分割し、DCT変換を行うDCT変換器である。

0064

131は量子化系数算出器、132は量子化係数算出器131によって算出された量子化値によってDCT変換器130の出力を量子化する量子化器である。量子化はJPEG符号化やMPEG符号化で用いられているのと同様であり、DCT係数に対応する量子化マトリックスに量子化係数Qを積算したもので量子化する。

0065

133は量子化結果を1次元に整列し、0ラン長と値に対して符号を割り当て、符号長を算出する符号器、135は生成された符号化データを最終的に出力する端子、134は算出された符号長をカウントする符号長カウンタ、136は対象の大きさの情報を対象抽出器108から入力する端子である。

0066

以下、上述のように構成された動画像符号化部110の動作を説明する。

0067

あるフレームの対象の画像データを符号化するに先立ち、端子121から背景/対象判定結果を入力し、背景/対象判定符号化器122でJBIG符号化を行う。得られた符号化データは端子123を介して符号合成部112へ供給される。

0068

また、背景/対象判定符号化器122で符号化された符号化データの符号長Loは差分器125に入力され、目標値Roとの差分Ooが求められる。その差分値Ooはラッチ126に保持される。

0069

符号長カウンタ134はその内容のLtを0にリセットし、量子化係数算出器131は対象画像の矩形の大きさ、矩形の符号長の目標値である差分Ooから量子化器132の量子化係数Qの初期値を決定する。これは過去の経験からある程度決められるものであり、矩形のサイズが大きければ同じ符号長にするためには量子化係数が大きくなる傾向があり、これを鑑みて初期値を算出する。

0070

対象の画像データを端子120から、端子121から背景/対象判定結果を同期して読み込む。平均値算出器127は入力された画素の背景/対象判定結果が対象画素を表していればその内容を加算し、対象画素の数Nをカウントアップする。尚、背景画素を表す場合、この処理は行わない。

0071

対象の画像データのすべてについて判定と加算、カウントアップが終了したら、その加算値を対象画素の数Nで割って、対象の平均値mを算出する対象の画像データのすべてについて判定と加算、カウントアップが終了したら、その加算値を対象画素の数Nで割って、対象の平均値mを算出する。次に、背景画素置換器128は対象の画像データと背景/対象判定結果を同期して読み込み、入力された画素の背景/対象判定結果が背景画素を表していれば平均値mを出力し、そうでなければ入力された画素値をそのまま出力する。この出力はメモリ129に格納される。

0072

対象の矩形内の全画素について処理がされ、メモリ129にその結果が蓄積された後、メモリ129からブロック毎に画像が読み出される。同期して背景/対象判定結果が読み出され、ブロック内に対象画素が含まれているブロックのみがDCT変換器130でDCT変換され、その係数は量子化器132で量子化係数Qに基づく量子化係数で量子化される。量子化結果は符号器133で符号を割り当てられ、その長さを符号長カウンタ134でLtに加算する。

0073

図6に上述した処理の様子を表す。図6で濃い網点がかかったブロックは符号化されず、対象を含むブロックのみが符号化される。そのうち、背景画素を含むもののみについて、背景画素は平均値mで置き換えられている(図6中の薄い網点部)。対象の矩形内の全画素について符号化されたとき、量子化係数算出器131はラッチ126の内容と符号長カウンタ134の内容Ltとを比較し、新たな量子化係数Q’を次式で算出する。

0074

If (Lt<Oo) Q’=Q−1
Else if (Lt>Oo)Q’=Q+1 …(2)
Else Q’=Q

0075

Q’がQと等しければ量子化係数Q’が最適な量子化係数であり、メモリ129から符号化の対象となるブロックを順に読み出し、DCT変換後、量子化器132で量子化係数Q’によって量子化され、符号器133で符号化され、端子135から出力される。この時の量子化係数Q’は、符号化した次フレームの量子化係数Qの初期値とするため、これを対象毎に保持しておく。Q’がQと等しくなければQ’を過去の量子化係数Qoと比較し、Q’がQoと等しければ量子化係数Q’が最適な量子化係数とされ、上記と同様に対象画像を符号化して端子135から出力し、量子化係数Qを保持する。Q’がQoと等しくなければ量子化係数Qを過去の量子化係数Qoとして保持する。上述の処理を繰り返し、最適な量子化係数が求まるまで繰り返す。

0076

上述したような動作により動画像符号化部110で符号化された符号化データは符号合成部112に入力され、各部で生成された符号化データを合成して1つの符号化データを生成する。

0077

図22の画像について符号合成器112から出力される符号化データの例を図7に示す。図22の画像には対象が1つなので、符号合成部112では符号化データの先頭に対象が1つであることを含めたシーケンスヘッダが備わり。次に、静止画像符号化部106から出力された背景画像の符号化データエリアが備わる。その後には各対象の各フレーム単位の符号化データエリアが続く。本実施例では人物1050の第1フレームから第(Ts×F)フレームの符号化データが含まれる。

0078

各フレームの符号化データでは、対象抽出器108から出力された対象の大きさを表す符号化データと対象の背景画像の中での位置を表す符号化データを含むフレームヘッダが先頭に格納される。続いて、図5中の動画像符号化部110の背景/対象判定符号化器122で生成された背景/対象判定結果の符号化データが格納される。最後に、図5中の符号器133で生成された対象画像の符号化データが格納される。生成された符号化データは端子113を介してCD−ROM書き込み装置114でCD−ROMに書き込まれていく。

0079

尚、対象が複数ある場合は、対象の符号化時に、目標値Roを各対象に分配する。分配の方法としてはたとえば、各対象の大きさ(対象の画素数、矩形の大きさ等)の比によって分配すればよい。図8に示すようにシーケンス内に含まれるオブジェクトの数をシーケンスヘッダに書き込み、背景画像につづいて、フレーム単位で、抽出された複数の対象(対象1、対象2…)の画像符号化データが格納される。すなわち、背景画像符号化データの直後には対象1の第1フレームの符号化データ、対象2の第1フレームの符号化データ…と続き、全対象の第1フレームの符号化データが格納されたら、以下、対象1の第2フレームの符号化データ、対象2の第2フレームの符号化データ…と格納されていく。

0080

図9に第1の実施例で生成された符号化データを復号してモニタに表示するシステムの構成を示す。

0081

図9において、150はCD−ROM書き込み器114で書き込まれた符号化データをCD−ROMから読み出すCD−ROM読み出し器、151は動画像復号装置である。

0082

152は符号化データを読み込む端子、153は符号化データから各符号を分離する符号分離部、154は背景画像の画像データを復号する静止画像復号部、155は再生された背景画像を格納する背景メモリ、156は各対象の符号化データを復号する動画像復号部、157は復号化された対象の画像データを格納する対象メモリ、156は背景メモリ155の内容に各対象の画像データを各対象の位置に合成して最終的な復号画像を得る対象合成器、159は対象合成器158で生成された画像を格納するフレームメモリ、160はフレームメモリ159からのディジタル画像信号をアナログ画像信号に変換するD/A変換器、161は前記アナログ画像信号を外部に出力する端子、162は前記アナログ画像信号を表示するモニタである。

0083

以下、上述のように構成された装置における動作を説明する。

0084

CD−ROM読み出し器150は符号化データを先頭から逐次読み出し、端子152を介して動画像復号装置151に供給する。端子152を介して入力された符号化データは符号分離部153で各ヘッダ解釈し、各符号に分離して後段に出力する。最初にシーケンスヘッダを入力し、オブジェクトの数を検出し、動画像復号部156、対象メモリ157、対象合成器158の各所を初期化する。

0085

続いて、背景画像符号化データを入力し、静止画像復号部154に供給する。静止画像復号部154は入力された背景画像符号化データをJPEG符号化方式の復号手順に従って、復号し、結果を背景メモリ155に格納する。

0086

その後、各対象の各フレーム画像の符号化データを入力する。この符号化データから、対象の位置の符号を復号して、各フレームでの各対象毎に対象合成器158に供給する。また、それ以外の符号化データに関しては動画像復号部156に供給する。動画像復号部156では各対象の符号化データから背景/対象判定結果をJBIG符号化方式の復号手順に従って、復号し、結果を対象メモリ157に格納する。

0087

また、対象画像符号化データも逆量子化を経た後、逆DCT変換され、画像データに復号化され、背景/対象判定結果を参照して対象メモリ157の該当する位置に格納される。

0088

対象合成器158は背景メモリ155の画像の上に対象メモリ157に格納された対象の画像データと背景/対象判定結果を読み出し、背景/対象判定結果が背景画素を表している画素については対象の画素値は使用せず、背景画像の画素値を使用し、対象画素を表している画素については対象の画素値を使用する。復号化された対象は各位置にしたがって配置され、最終的な再生画像を生成し、フレームメモリ159に格納する。復号画像は読み出され、D/A変換器160でアナログ画像信号に変換され、端子161を介してモニタ162に供給し、表示する。

0089

上述のような一連の動作により背景画像と対象画像とを分離し、それぞれについて符号化することで符号化効率を向上させるとともに、背景画像と対象画像、対象画像の画像データと背景/対象判定結果をそれぞれ符号化する際に背景画像の符号長と背景/対象判定結果の符号長を考慮して対象画像の画像データの符号化を制御することで、容易に量子化制御を行うことができる。そして、所望する符号長の符号化データを得ることが可能になる。

0090

尚、第1の実施例においては、動画像符号化部110でフレーム単位で固定長の符号化を行う方式を例にとって説明を行ったが、MPEG符号化方式のように複数フレーム符号化結果が一定の符号長に収まるような符号化を行ってもかまわない。

0091

また、第1の実施例においては、背景画像として先頭のフレームを利用したが、同一の効果が得られるのであればその方法はなんでもかまわない。図10に示すように別途前処理手段を設けてもかまわない。前処理器180は複数のフレームから背景画像を求めるのに、各画素について平均値を求めて背景画素の値とするように動作してもかまわないし、全てのフレームから全く動きがない画素について背景画素とすることも可能である。

0092

また、第1の実施例においては、背景画素置換器128を分離させて動作させたが、メモリ読み出し後に対象を含むブロック毎に置換処理を行ってもよい。

0093

<第2の実施例>図11は本発明にかかる第2の実施例の動画像通信装置の構成を示すブロック図である。尚、図1と同様の構成要素については同一番号を付してその詳細な説明は省略する。

0094

図11において、201は動画像を入力するためのビデオカメラであり、カメラの向いている方向を検出する機能がついたものである。これはモータ等で雲台を駆動させて方向を変化させるカメラで代用することが出来る。

0095

202は本発明に係る動画像符号化装置、203はビデオカメラ201から動画像のアナログ信号を入力する端子、204はカメラの方向情報を入力する端子、205は背景抽出器、206は抽出された対象に動き補償を用いた符号化を行う動画像符号化部、207は符号長制御部、209は外部の通信回線と接続している通信インターフェース、208は通信インターフェース209に接続されている通信回線の容量(伝送ビットレート)を入力する端子である。

0096

上述のように構成された装置の動作を説明する。

0097

まず、ビデオカメラ201は初期状態図2に示すように対象となる人が写っていない画像を入力する。ビデオカメラ201から端子203を介してA/D変換器104でディジタル信号に変換し、背景抽出器205に供給する。

0098

背景抽出器205は動作せずに入力データをそのまま背景メモリ105に格納する。また、背景メモリ105に背景画像が入力されたら、静止画像符号化部106は背景画像をJPEG-LS符号化方式で劣化のない可逆な符号化で符号を生成し、符号合成部112に供給する。尚、第1の実施例と同様に静止画像符号化部106の符号化方式は同じ機能を果たすものであればよい。

0099

符号合成部112は端子113を介して通信インターフェース208により背景符号化データを外部へ送出する。

0100

また、端子209を介して通信回線の容量Noが符号長制御部207へ供給されている。回線容量Noが符号化時の目標符号長になる。符号長制御部207で通信回線容量NoとフレームレートFからフレーム毎の符号化レートRfを下式にしたがって算出する。

0101

Rf = No/F … (3)

0102

次に、対象がビデオカメラ201の視野に入った状態から画像の符号化を開始する。この状態では、人物1050の位置移動はなく、ビデオカメラ201もカメラの向きは固定されている。この時、背景抽出器205は動作しない。A/D変換器104、フレームメモリ107、対象抽出器108、対象メモリ109は第1の実施例と同様の動作を行う。即ち、対象抽出器108から抽出された各対象の矩形に切り出された画像データとその位置の背景/対象判定結果が対象メモリ206に格納される。ここで、動画像符号化部206はMPEG符号化のようにフレーム内符号化を行うI−フレームとフレーム間符号化を行うP−フレームに分けられ、1つのI−フレームと2つのP−フレームを1つの符号化単位とする符号化を行うものとする。つまり、3フレームの符号化データで固定長とする。

0103

図12は、動画像符号化部206の構成の一例を示す図である。尚、図5と同様の構成要素については同一番号を付してその詳細な説明は省略する。

0104

図12において、220は静止画像符号化器106から背景を符号化した時の符号長Lbを入力する端子、224は各フレームの符号長の目標値Rfを入力する端子であり、符号長制御部207に接続している。

0105

227は各フレームの目標符号長を決定する符号長割当器、225は背景/対象判定符号化器122で生成された符号長Loを各フレームの目標符号長から引いた値を算出する差分器、226は差分器225で算出された値を格納するラッチ、228は差分器、229は動き補償器であり、I−フレームの時は動作せず、値0のマクロブロックを出力する。また、動きベクトルは出力しない。また、P−フレームの時は動作し、予測マクロブロックを出力する。また、動きベクトルも出力する。

0106

231はフレームのモード毎に量子化値算出する量子化系数算出器、233は符号器であり、量子化結果を1次元に整列し、0ラン長と値に対して符号を割り当て、符号長を算出する。尚、P−フレームの時は動きベクトルも符号化する。

0107

232は逆量子化を行う逆量子化器、234は逆DCT変換、236はメモリである。

0108

以下、上述のように構成された動画像符号化部206の動作を説明する。

0109

まず、端子224を介して各フレームの符号長の目標値Rfを入力する。符号長割当器227は目標値Rfから3フレームからなる符号化単位で費やすことの出来る符号長Rf×3を求め、I−フレームとP−フレームに割り当てる符号長を算出する。ここでは説明を簡略化するためにI−フレームとP−フレームに割り当てる符号長の比をI:P:P=8:1:1とする。

0110

従って、各フレームの目標値RoはI−フレームであれば
Ro = Rf×3×8/10 …(4)
P−フレームであれば、
Ro = Rf×3/10 …(5)

0111

第1実施例と同様に、背景/対象判定結果は背景/対象判定符号化器122でJBIG符号化され、得られた符号化データは端子123を介して符号合成部112に出力する。差分器225は目標値Roと符号長Loとの差分Ooが求める。差分値Ooはラッチ226に保持される。

0112

符号長カウンタ134はその内容のLtを0にリセットし、量子化係数算出器231は各フレームモード毎に、対象画像の矩形の大きさ、差分Ooから、量子化器132の量子化係数Qの初期値を決定する。

0113

I−フレームであれば、第1の実施例と同様に、平均値算出器127は対象の平均値mを算出する。背景画素置換器128は対象の画素の背景/対象判定結果が背景画素である画素の値を平均値mに置換し、メモリ129に格納する。メモリ129に結果が蓄積された後、メモリ129からブロック毎に画像が背景/対象判定結果と同期して読み出され、ブロック内に対象画素が含まれているブロックのみが差分器228に入力される。この時の動き補償器229からの出力は0であり、そのままDCT変換器130で8×8画素のブロック単位でDCT変換され、その係数は量子化器132で量子化係数Qに基づく量子化係数で量子化される。量子化結果は符号器233で符号を割り当てられ、その長さを符号長カウンタ134でLtに加算する。

0114

符号化されるブロックは図6に示すとおりである。対象の矩形内の全画素について符号化されたとき、量子化係数算出器231は新たな量子化係数Q’を(2)式にしたがって算出する。第1の実施例と同様に、量子化係数Q’とQを比較して、最適な量子化係数が求まるまで操作を行う。最適な量子化係数Qが求まったら、量子化係数Qで量子化し、符号器233で符号化して、端子135から出力する。同時に、量子化器132の出力は逆量子化器232に入力され、逆量子化され、逆DCT変換器234で逆DCT変換され加算器235で動き補償器229の出力と加算され、メモリ236に格納される。

0115

次に、P−フレームであれば、第1の実施例と同様に、背景画素の画素値を平均値mで置換した画像をメモリ129に格納する。メモリ129からブロック毎に画像が背景/対象判定結果と同期して読み出され、ブロック内に対象画素が含まれているブロックのみが差分器228に入力される。この時、動き補償器229は時間的に直前フレームの対象の画像が格納されているメモリ236と入力画像データから動き補償を行い、動きベクトルと予測マクロブロックを出力する。

0116

差分器228はメモリ129の出力と予測マクロブロックとの差分を求め、DCT変換器130で8×8画素のブロック単位にDCT変換を行い、量子化器132で量子化する。

0117

符号器233は、動き補償器229で生成された動きベクトルと量子化データを符号化し、端子135から出力する。同時に、量子化器132の出力は逆量子化器232に入力され、逆量子化され、逆DCT変換器234で逆DCT変換され加算器235で動き補償器229の出力と加算され、メモリ236に格納される。

0118

次に、対象が移動した場合について述べる。図22において、人物1050が右に移動した場合、ビデオカメラ201はカメラを人1050の動きに合わせて右にその方向を変化させる。図13にその様子を示す。人1050が右に移動した時のビデオカメラ201の視野は太枠1052で表した部分となる。

0119

視野1052にはビデオカメラ201の視野に新たな背景画像が含まれる。新たに入ってきた背景画像は図14に示す部分であり、これはビデオカメラ201の方向を検出することでその方向の移動量と過去の移動の方向や移動量から求めることは容易である。

0120

ビデオカメラ201の動きは図11の端子204を介して背景抽出器205に入力される。この時の画像は端子203を介してA/D変換器104でディジタル信号に変換されてフレームメモリ107と背景抽出器205に入力される。背景抽出器205はそのビデオカメラ201の方向の移動量と過去の移動の情報から図14に示す新たな背景画像を認識し、背景メモリ105に格納されている従来の背景画像に付け加えて新たな背景画像とする。

0121

この時の背景画像の内容を図15に示す。また、この移動についての情報を背景抽出器205に保持しておく。この情報は最初のビデオカメラ201による背景画像の入力時に初期化される。

0122

背景抽出器205はこの新たに発生した背景画像の画像データを静止画像符号化部106に送り、JPEG-LS符号化方式で符号を生成し、符号合成部112に供給する。同時にその符号長Lbは端子220を介して符号長割当器227に入力される。符号長割当器227は、符号化するフレームがI−フレームであるときに、符号長Lbが入力されたことで新たな背景画像の発生を検知した場合、I−フレームとP−フレームに割り当てる符号長の比をI:P:P=3:1:1と変更する。

0123

従って、各フレームの目標値RoはI−フレームについては
Ro = Rf×3×6/10 …(6)
P−フレームについては、
Ro = Rf×3×2/10 …(7)
となる。尚、符号化するフレームがP−フレームであるときに、新たな背景画像の発生を検知した場合は符号長の割当の変更は行わない。また、I−フレームの符号化を行う場合に新たな背景画像の発生がなければ符号長の比を8:1:1に戻す。

0124

更に、符号長割当器227は、各フレームで、新たな背景画像が生じた場合は目標値Roから発生した符号長Lbを引いたものをそのフレームの目標値Ro’として更新する。

0125

Ro’ = Ro−Lb …(8)

0126

以下の処理は、新たな背景の発生がない場合と同様に、背景/対象判定結果は背景/対象判定符号化器122でJBIG符号化され、得られた符号は端子123を介して符号合成部112に出力する。

0127

目標値Roと符号長Loとの差分Ooはラッチ226に保持される。量子化係数算出器231が各フレームモード毎に、最適な量子化係数Qを決定する。背景画素の画素値を平均値mで置換した画像をメモリ129に格納する。

0128

I−フレームであれば、ブロック内に対象画素が含まれているブロックのみをDCT変換し、量子化係数Qに基づく量子化係数で量子化し、符号器233で符号化して端子135から出力する。同時に、量子化器132の出力は逆量子化器232により逆量子化され、逆DCT変換器234により逆DCT変換されて加算器235で動き補償器229の出力と加算され、メモリ236に格納される。

0129

また、P−フレームであれば、動き補償器229は時間的に直前フレームの対象の画像が格納されているメモリ236と入力画像データから動き補償を行い、動きベクトルと予測マクロブロックを出力し、メモリ129の出力と予測マクロブロックとの差分を求め、差分に対してDCT変換を行い、量子化する。符号器233は、動きベクトルと量子化データを符号化し、端子135から出力する。同時に、量子化器132の出力は逆量子化器232により逆量子化され、逆DCT変換器234により逆DCT変換されて加算器235で動き補償器229の出力と加算され、メモリ236に格納される。

0130

図11戻り、上述のようにして動画像符号化部206で符号化して得られた符号化データは符号合成部112に入力され、各部で生成された符号化データを合成して1つの符号化データを生成する。

0131

符号合成器112から出力される符号化データの例を図16に示す。

0132

符号合成部112は動画像のシーケンスを伝送する前に、予め最初の背景画像の符号化データを別途伝送する。これは図2の内容を符号化したものである。符号合成器112で生成される符号化データは、先頭に背景画像の符号化データであることを表すスタートコード、続いて、背景画像の大きさ等の情報を持つ背景画像ヘッダ、最後にJPEG-LS符号化された符号化データが続く。

0133

次に、対象の符号化データの生成を行っていく。先頭に対象画像の符号化データであることを表すスタートコード、続いて、各対象の第1フレームの符号化データが続く。

0134

各フレームの符号化データでは、フレーム単位の符号化データに背景画像の符号化データの有無を表す符号、対象抽出器108から出力された対象の大きさを表す符号、対象の背景画像の中での位置を表す符号、フレームの符号化モード(IまたはP)を含むフレームヘッダが先頭に格納される。

0135

背景画像が含まれていない場合、フレームヘッダには背景画像が含まれていないことを表す符号が入っている。その他は第1の実施例と同様に、背景/対象判定符号化器122で生成された背景/対象判定結果の符号と対象画像の符号化データが生成される。

0136

背景画像が含まれる場合(図16中の第Nフレーム)、フレームヘッダには背景画像が含まれていることを表す符号が入っている。続いて、付け加えられる背景画像の大きさ、元の背景に対する位置等の情報を含む背景画像ヘッダと背景画像の符号化データが生成される。その後に背景/対象判定結果の符号と対象画像の符号化データが生成される。対象が複数ある場合も第1の実施例と同様にフレーム毎に対象の符号化データを生成すればよい。

0137

符号合成部112で生成された符号化データは端子113を介して通信インターフェース208により外部へ送出される。

0138

復号処理については第1の実施例と同様であるが、符号分離部153が各フレームに含まれる背景画像のヘッダや符号化データを認識し、その符号化データから静止画像復号部154が背景画像を生成し、ヘッダ情報にしたがって背景メモリに書き込めばよい。

0139

以上説明したように、第2の実施例によれば、広い背景画像に対して、必要に応じて背景画像を付け加えを行うことができ、符号化の効率を改善することが可能になる。特に、伝送においては最初から広い画像を送らなくてすむので動画像の符号化を開始するまでの遅延を低減することも可能となる。さらに、背景画像の付け加えを行う際に符号長のレートの変換を行うようにすることで背景画像の符号化による一時的な画質の劣化を押さえることも可能になる。

0140

尚、第2の実施例においては、最初に伝送する背景画像としてビデオカメラ201の視野の大きさのものを伝送したが、予め視野外の背景領域を含めた領域を符号化し、最初の視野の位置を背景画像ヘッダに書き込んでももちろんかまわない。これによって比較的頻度が高そうな背景を予め送っておき、最初に想定していないような位置にビデオカメラ201が向いた時のみ背景画像の追加を行うことも可能である。

0141

更に、第2の本実施例においては、新たな背景の生成のI,Pのいずれのフレームからでも可能としたが、たとえばビデオカメラ201の向きを変える場合は動画像符号化装置202の符号化モードと同期を取って動作させることによって符号長のレートの変換を必ず行うようにすることは簡単に実現でき、これによって背景画像の符号化による一時的な画質の劣化を最小限に押さえることも可能になる。

0142

また、第2の実施例においては、動画像符号化でI,Pのフレームモードを使用したが、MPEG符号化のようにBモードを利用することには全く問題はなく、さらには全てをフレーム内符号化するような符号化であってもかまわない。

0143

また、第2の本実施例においては、ビデオカメラ201からカメラの向きの変化を捉えて背景画像の付け加えを行ったが、これに限定されない。背景画像の付け加える部分を自動的に抽出してももちろんかまわなし、予め全ての背景画像をメモリに蓄積しておいてもかまわない。

0144

<第3の実施例>図17は、本発明にかかる第3の実施例の動画像通信装置の構成を示すブロック図である。なお、図11と同様の構成要素については同一番号を付してその詳細な説明は省略する。

0145

図17において、300は本発明に係るところの動画像符号化装置、301及び302は背景画像を格納する背景メモリであり、背景メモリ301は背景画像の全てを、背景メモリ302はその一部を格納する。

0146

以下、上述のように構成された装置の動作を説明する。

0147

ビデオカメラ201は初期状態で図18に示すように、対象となる人が写っていない状態で、ビデオカメラ201が動作可能な範囲の全視野の背景画像を入力する。ビデオカメラ201から端子203を介してA/D変換器104でディジタル信号に変換し、ビデオカメラ201の方向から算出される背景画像中の位置をアドレスとして背景メモリ301に格納する。動作可能な範囲の全視野の背景画像を背景メモリ301に格納し終わったら、符号化の動作を開始する。

0148

まず、第2の実施例と同様に最初に初期状態の背景画像を伝送する。これは図18では太枠で囲んだ視野領域350である。これを静止画像符号化部106で符号化し、符号合成部112、端子113を介して通信インターフェース208によって外部へ送出される。視野領域350のデータは背景メモリ302に格納され、対象の抽出に用いられる。

0149

次に、対象を含む符号化を行う。最初に、符号長制御部207で通信回線の容量NoとフレームレートFからフレーム毎の符号化レートRfを(3)式にしたがって算出する。対象がビデオカメラ201の視野に入った状態(図22)から画像の符号化を開始する。この状態では、人物1050の位置移動はなく、ビデオカメラ201もカメラの向きは固定されている。A/D変換器104、フレームメモリ107、対象抽出器108、対象メモリ109は第2の実施例と同様の動作を行う。即ち、背景メモリ302を参照して対象抽出器108から抽出された各対象の矩形に切り出された画像データとその位置の背景/対象判定結果が対象メモリ206に格納される。ここで、動画像符号化部206は第2の実施例と同様に1つのI−フレームと2つのP−フレームを1つの符号化単位とする符号化を行う。つまり、3フレームの符号化データで固定長とする。

0150

第3の実施例では第2の実施例と異なり、最初は人物の位置移動はないが背景メモリ301から動画像の符号化に大きな影響を与えないような符号長で背景画像を細分化した領域を符号化して伝送する。背景メモリ301は伝送済みの背景画像以外の領域を領域351〜360(図18参照)のように細分化して符号化し、各フレームに付加していく。ただし、送出されていない背景画像の領域にビデオカメラ201の視野がかかった場合には第2の実施例と同様にかかった部分を優先する。

0151

細分化された領域は静止画像符号化部106に入力され、符号化データは符号合成部112に、符号長Lbが符号長割当器227に入力される。符号長割当器227ではI−フレームとP−フレームに割り当てる符号長の比をI:P:P=14:3:3とする。第2の実施例と同様に背景/対象判定結果を背景/対象判定符号化器122でJBIG符号化し、ラッチ226に保持された差分Ooに最適な量子化パラメータQにしたがって、I−フレームやP−フレームの符号化を行う。

0152

対象が移動した場合は、ビデオカメラ201から方向の変化を検出し、背景メモリ302の内容を方向の変化に合わせて必要な対象画像の抽出に必要な背景画像を背景メモリ301から読み出して更新する。

0153

静止画像符号化部106と動画像符号化部206で符号化して得られた符号化データは符号合成部112に入力され、各部で生成された符号を合成して1つの符号化データを生成する。

0154

符号合成器112から出力される符号化データの例を図19に示す。

0155

第2の実施例と同様に、符号合成部112は動画像のシーケンスを伝送する前に、予め最初の背景画像の符号化データを別途伝送する。これは図18の視野領域350の内容を符号化したものである。符号合成器112で生成される符号化データは、先頭に背景画像の符号化データであることを表すスタートコード、続いて、背景画像の大きさ等の情報を持つ背景画像ヘッダ、最後にJPEG-LS符号化された符号化データが続く。

0156

次に、符号合成部112は対象の符号化データの合成を行っていく。先頭に対象画像の符号化データであることを表すスタートコード、続いて、各対象の第1フレームの符号化データが続く。

0157

各フレームの符号化データでは、フレームヘッダには背景画像が含まれていることを表す符号、対象抽出器108から出力された対象の大きさを表す符号、対象の背景画像の中での位置を表す符号、フレームの符号化モード(IまたはP)を含むフレームヘッダが先頭に格納される。続いて、付け加えられる背景画像の大きさ、元の背景に対する位置等の情報を含む背景画像ヘッダと背景画像の符号化データが生成される。その後に背景/対象判定結果の符号と対象画像の符号化データが生成される。対象が複数ある場合も第1の実施例と同様にフレーム毎に対象の符号化データを生成すればよい。

0158

符号合成部112によって生成された符号化データは端子113を介して通信インターフェース208によって外部へ送出される。

0159

尚、復号動作については第1の実施例と同様であるが、符号分離部153が各フレームに含まれる背景画像のヘッダや符号化データを認識し、その符号化データから静止画像復号部154が背景画像を生成し、ヘッダ情報にしたがって背景メモリに書き込めばよい。

0160

以上説明したように、第3の本実施例によれば、第2の実施例では必要に応じて付け加える部分を伝送していたが、第3の実施例では背景画像を細分化して各フレームに少しずつ付加して送るため、復号側で予め背景画像を用意しておくことが可能となるので、新たな背景が発生した時に一時的に画質が劣化することない効果がある。

0161

尚、第3の実施例では画像を横方向のみに細分化したが当然、縦方向に細分化してもかまわない。また、背景画像も説明を簡単にするために横方向にのみ広がりがあるように説明したが、もちろんこれに限定されない。また、細分化の数、符号化の順もこれに限定されないことは言うまでもない。

0162

<第4の実施例>図20は、本発明にかかる第4の実施例の動画像通信装置の構成を示すブロック図である。尚、図17と同様の構成要素については同一番号を付してその詳細な説明は省略する。

0163

図20において、400は本発明に係るところの動画像符号化装置、401はビデオカメラであり、第2の実施例のビデオカメラ201から雲台の機能や方向情報の送出機能を省いたものである。

0164

402、405は背景画像を格納する背景メモリ、403は静止画像を階層符号化する静止画像符号化部である。静止画像符号化部403では最初に粗い画像を生成して符号化し、続いて、解像度を向上させるための符号化データを段階毎に生成する。たとえばJPEG階層符号化であったり、Wavelet変換やDCT変換等の直交変換サブバンド符号化であったりする。尚、第4の実施例ではJPEG階層符号化に似た方式で説明する。404は静止画像符号化部403で符号化された符号化データを階層復号する静止画像復号部である。

0165

以下、上述のように構成された装置の動作を説明する。

0166

まず、第1の実施例と同様に符号化に先立ち、ビデオカメラ401から背景画像を入力し、背景メモリ402に格納する。

0167

符号化を開始するにあたり、静止画像符号化部403は背景メモリ402の内容を最初に大きな量子化係数で符号化する。符号化された画像データは符号合成部112に入力される。また、静止画像符号化部403によって符号化された符号化データは静止画像復号部404に入力され、復号され、復号画像は背景メモリ405に格納される。

0168

次に、対象を含む符号化を行う。最初に、符号長制御部207でフレーム毎の符号化レートRfを(3)式にしたがって算出する。A/D変換器104、フレームメモリ107、対象抽出器108、対象メモリ109は第3の実施例と同様の動作を行い、対象を抽出して対象メモリ109にその結果を格納する。

0169

動画像符号化部206は第2の実施例と同様に1つのI−フレームと2つのP−フレームを1つの符号化単位とする符号化を行う。つまり、3フレームの符号化データで固定長とする。

0170

第4の実施例では第3の実施例と異なり、静止画像符号化部403は、フレーム単位で背景メモリ301から動画像の符号化に大きな影響を与えないような符号長で、背景メモリ405の内容を参照しつつ解像度を向上させるための階層符号化データを生成する。符号化された画像データは符号合成部112に入力され、符号長は動画像符号化部206に入力される。動画像符号化部206は第2及び3の実施例と同様に対象を符号化する。

0171

符号合成部112は対象の符号化データの合成を行っていく。合成して得られる符号の構造は第3の実施例の図19に示す符号化データの構造と同じである。しかしながら各背景画像ヘッダと背景画像符号化データの内容が異なる。

0172

背景画像ヘッダには元の背景に対する位置ではなく、階層の順番を表す階層情報が入っている。背景画像の符号化データも細分化された背景画像の符号化データではなく、解像度を向上させるための階層符号化データである。対象が複数ある場合も第1の実施例と同様にフレーム毎に対象の符号化データを生成すればよい。

0173

符号合成部112によって生成された符号化データは端子113を介して通信インターフェース208によって外部へ送出される。

0174

尚、復号処理については第1の実施例と同様であるが、符号分離部153が各フレームに含まれる背景画像のヘッダや符号化データを認識し、その符号化データから静止画像復号部154が復号済みの背景画像と復号したデータから背景画像を更新すればよい。

0175

以上説明したように、第4の実施例によれば、最初に粗い画像で背景画像を送ることによって、最初に送る背景画像の伝送による遅延を低減する効果がある。画質を向上させるための階層符号化データは動画像の符号化データに比べて少量なので、動画像自体の符号を大きく割くことはなく、画質に与える影響は小さい。

0176

また、階層符号の符号長も一定の符号長で送ることが可能なので全体の符号長制御を容易にする効果もある。

0177

<その他の実施例>本発明は複数の機器(たとえばホストコンピュータインタフェース機器リーダプリンタ等)から構成されるシステムに適用しても一つの機器(たとえば複写機ファクシミリ装置)からなる装置に適用してもよい。

0178

また前述した実施形態の機能を実現する様に各種のデバイスを動作させる様に該各種デバイスと接続された装置あるいはシステム内のコンピュータに、前記実施形態機能を実現するためのソフトウエアプログラムコードを供給し、そのシステムあるいは装置のコンピュータ(CPUあるいはMPU)を格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも本願発明範疇に含まれる。

0179

またこの場合、前記ソフトウエアのプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。

0180

かかるプログラムコードを格納する記憶媒体としては例えばフロッピーディスクハードディスク光ディスク光磁気ディスク、CD-ROM,、磁気テープ不揮発性メモリカード、ROM等を用いることが出来る。

0181

またコンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけではなく、そのプログラムコードがコンピュータにおいて稼働しているOS(オペレーティングシステム)、あるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本願発明の実施形態に含まれることは言うまでもない。

0182

更に供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本願発明に含まれることは言うまでもない。

発明の効果

0183

以上の説明から明らかなように、本発明では、複数種のオブジェクトが含まれる動画像から各オブジェクトを分離して所望する符号長で符号化することができる。

0184

また、分離された各オブジェクトを各オブジェクトの性質に最適な符号化を実施しているので、従来よりも画質劣化が少ない動画像を復号化することができる。

図面の簡単な説明

0185

図1本発明にかかる第1の実施例の動画像符号化装置の構成を示すブロック図である。
図2本発明にかかる本実施例の背景画像の一例を表す図である。
図3本発明にかかる本実施例の対象画像の一例を表す図である。
図4本発明にかかる本実施例の対象の背景/対象判定結果の一例を表す図である。
図5本発明にかかる第1の実施例の動画像符号化部110の構成を示すブロック図である。
図6本発明にかかる第1の実施例における対象の符号化の状態を説明するための図である。
図7本発明にかかる第1の実施例における符号化データの構成の一例を表す図である。
図8本発明にかかる第1の実施例における符号化データの構成の別な例を表す図である。
図9本発明にかかる第1の実施例としての動画像復号化装置の構成を示すブロック図である。
図10本発明にかかる第1の実施例の動画像符号化装置の別な構成を示すブロック図である。
図11本発明にかかる第2の実施例の動画像通信装置の構成を示すブロック図である。
図12本発明にかかる第2の実施例の動画像符号化部206の構成を示すブロック図である。
図13本発明にかかる実施例における画像の全体を表す図である。
図14本発明にかかる第2の実施例における背景画像の発生の様子を表す図である。
図15本発明にかかる第2の実施例における背景画像の合成の様子を表す図である。
図16本発明にかかる第3の実施例における符号化データの構成の一例を表す図である。
図17本発明にかかる第3の実施例としての動画像通信装置の構成を示すブロック図である。
図18本発明にかかる第3の実施例における背景画像の分割の様子を表す図である。
図19本発明にかかる第3の実施例における符号化データの構成の一例を表す図である。
図20本発明にかかる第4の実施例としての動画像通信装置の構成を示すブロック図である。
図21従来の動画像符号化装置の構成を示すブロック図である。
図22符号化する画像の内容を表す図である。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ