図面 (/)

技術 影像処理システム、動画像の圧縮符号化方法、動画像の復号化方法及びそれらのプログラム

出願人 株式会社メガチップス
発明者 佐藤稔浩松本真人真瀬博仁田中秀和
出願日 2001年5月18日 (19年6ヶ月経過) 出願番号 2001-148703
公開日 2002年11月29日 (17年11ヶ月経過) 公開番号 2002-344947
状態 特許登録済
技術分野 閉回路テレビジョンシステム TV信号の圧縮,符号化方式 TV信号の圧縮,符号化方式
主要キーワード フレームスイッチャ 各入力フレーム 映像記録システム 画像圧縮器 実行メモリ 一括制御 集積体 IQ座標
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2002年11月29日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (13)

課題

フレームスイッチャユニットを用いて複数のカメラ撮像された画像を次々切り替える際、時系列差分を用いた動画圧縮の効果を上げる。

解決手段

各カメラCAM0〜CAMFにそれぞれ対応する複数のメモリM0〜MFを用いてキーフレーム等を格納しながら、各カメラCAM0〜CAMFで個別に撮像された動画像のそれぞれの時系列差分を、各メモリM0〜MF毎に別々に生成して動画像を圧縮符号化する。動画像の再生時にも同様に、各メモリM0〜MF毎に別々に復号化する。それぞれにおいて時間軸上の相関をとることができ、圧縮率が上がる。

概要

背景

監視用途の映像記録システムにおいては、図10の如く、フレームスイッチャユニット1と呼ばれる機器によって複数のカメラCAM0〜CAMFの一括制御が行われている。このフレームスイッチャユニット1は、複数のカメラCAM0〜CAMFの入力映像フレームごとに順番切り替えて、一本の映像2にまとめる機能(マルチプレクス機能)を持つ。このフレームスイッチャユニット1を使用することにより、単一の映像入力端子しかもたないタイムラップビデオ3でも、複数のカメラCAM0〜CAMFからの入力映像を効率よく記録することが可能となる。

また、こうして記録された映像の再生時には、図11の如く、タイムラップスビデオ3から出力された映像4をフレームスイッチャユニット1に通して、所定のモニタ装置5に出力する。

ここで、フレームスイッチャユニット1は、タイムラップスビデオ3からの映像をモニタ装置5に出力する際に、この映像から複数のカメラCAM0〜CAMFを互いに識別するための「カメラ番号情報」6を読み取る。カメラ番号情報は、フレームスイッチャユニット1が映像記録時に付加する信号で、例えば、映像外信号中の垂直同期期間中の映像信号重畳されている。

フレームスイッチャユニット1は、このカメラ番号情報を読み取り、再生する必要のあるカメラCAM0〜CAMFの映像のみをモニタ装置5に出力することや、複数のカメラCAM0〜CAMFの映像を1つの画面に分割して表示することを行う。

フレームスイッチャユニット1は、このように複数のカメラCAM0〜CAMFの映像を1台の影像処理システムで記録・再生することを目的にして使用される。

尚、図10では16台のカメラCAM0〜CAMFをフレームスイッチャユニット1に接続しているが、カメラの台数は16台に限られず、2台、3台〜などであってもよい(後述の図12も同様)。

概要

フレームスイッチャユニットを用いて複数のカメラで撮像された画像を次々と切り替える際、時系列差分を用いた動画圧縮の効果を上げる。

各カメラCAM0〜CAMFにそれぞれ対応する複数のメモリM0〜MFを用いてキーフレーム等を格納しながら、各カメラCAM0〜CAMFで個別に撮像された動画像のそれぞれの時系列差分を、各メモリM0〜MF毎に別々に生成して動画像を圧縮符号化する。動画像の再生時にも同様に、各メモリM0〜MF毎に別々に復号化する。それぞれにおいて時間軸上の相関をとることができ、圧縮率が上がる。

目的

そこで、この発明の課題は、フレームスイッチャユニットを用いて複数のカメラで撮像された画像を次々と切り替える場合に、時系列差分を用いた動画圧縮の効果を最大限に向上し得る影像処理システム及びそれに関連する技術を提供することにある。

効果

実績

技術文献被引用数
0件
牽制数
1件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

複数のカメラと、複数の前記カメラで個別に撮像された複数の動画像切り替えて出力するフレームスイッチャユニットと、前記フレームスイッチャユニットで切り替えられた動画像を、少なくとも一部においてフレーム間の差分情報を用いて圧縮符号化する制御手段とを備え、前記制御手段は、前記フレーム間の差分情報を生成する際の参照対象となるキーフレームを、複数の前記カメラ別にそれぞれ対応付けられた複数のメモリ毎に格納し、当該各メモリ内の各キーフレームに対する前記差分情報を、それぞれ複数の前記カメラに対応付けた状態で別々に生成することを特徴とする影像処理システム

請求項2

請求項1に記載の影像処理システムであって、前記動画像の映像外信号中に、前記カメラに一意に対応付けられたカメラ番号情報が格納され、前記制御手段は、前記カメラ番号情報に基づいて、各メモリ内の各キーフレーム毎に、前記差分情報を、それぞれ複数の前記カメラに対応付けた状態で別々に生成することを特徴とする影像処理システム。

請求項3

請求項1または請求項2に記載の影像処理システムであって、前記制御手段は、前記各メモリ内の前記各キーフレームに対する前記差分情報に基づいて、それぞれ複数の前記カメラに対応付けた状態で別々に復号化することを特徴とする影像処理システム。

請求項4

複数のカメラで個別に撮像された複数の動画像をフレームスイッチャユニットにより切り替えて出力し、前記フレームスイッチャユニットで切り替えられた動画像を、少なくとも一部においてフレーム間の差分情報を用いて圧縮符号化する動画像の圧縮符号化方法であって、前記フレーム間の差分情報を生成する際の参照対象となるキーフレームを、複数の前記カメラ別にそれぞれ対応付けられた複数のメモリ毎に格納する第1の工程と、前記各メモリ内の各キーフレームに対する前記差分情報を、それぞれ複数の前記カメラに対応付けた状態で別々に生成する第2の工程とを備える動画像の圧縮符号化方法。

請求項5

請求項4に記載の動画像の圧縮符号化方法であって、前記動画像の映像外信号中に、前記カメラに一意に対応付けられたカメラ番号情報が格納され、前記第1の工程は、前記カメラ番号情報に基づいて、各メモリ内に各キーフレームを格納し、前記第2の工程は、前記カメラ番号情報に基づいて、前記差分情報を、それぞれ複数の前記カメラに対応付けた状態で別々に生成することを特徴とする動画像の圧縮符号化方法。

請求項6

請求項4または請求項5に記載の動画像の圧縮符号化方法により圧縮符号化された動画像を復号化する動画像の復号化方法であって、前記各メモリ内の前記各キーフレームに対する前記差分情報に基づいて、それぞれ複数の前記カメラに対応付けた状態で別々に復号化することを特徴とする動画像の復号化方法。

請求項7

請求項4ないし請求項6のいずれかに記載の方法をコンピュータ上で実現するために、前記各工程をコンピュータに実行させるためのプログラム

技術分野

0001

この発明は、影像処理システム及びそれに関連する技術に関する。

背景技術

0002

監視用途の映像記録システムにおいては、図10の如く、フレームスイッチャユニット1と呼ばれる機器によって複数のカメラCAM0〜CAMFの一括制御が行われている。このフレームスイッチャユニット1は、複数のカメラCAM0〜CAMFの入力映像フレームごとに順番切り替えて、一本の映像2にまとめる機能(マルチプレクス機能)を持つ。このフレームスイッチャユニット1を使用することにより、単一の映像入力端子しかもたないタイムラップビデオ3でも、複数のカメラCAM0〜CAMFからの入力映像を効率よく記録することが可能となる。

0003

また、こうして記録された映像の再生時には、図11の如く、タイムラップスビデオ3から出力された映像4をフレームスイッチャユニット1に通して、所定のモニタ装置5に出力する。

0004

ここで、フレームスイッチャユニット1は、タイムラップスビデオ3からの映像をモニタ装置5に出力する際に、この映像から複数のカメラCAM0〜CAMFを互いに識別するための「カメラ番号情報」6を読み取る。カメラ番号情報は、フレームスイッチャユニット1が映像記録時に付加する信号で、例えば、映像外信号中の垂直同期期間中の映像信号重畳されている。

0005

フレームスイッチャユニット1は、このカメラ番号情報を読み取り、再生する必要のあるカメラCAM0〜CAMFの映像のみをモニタ装置5に出力することや、複数のカメラCAM0〜CAMFの映像を1つの画面に分割して表示することを行う。

0006

フレームスイッチャユニット1は、このように複数のカメラCAM0〜CAMFの映像を1台の影像処理システムで記録・再生することを目的にして使用される。

0007

尚、図10では16台のカメラCAM0〜CAMFをフレームスイッチャユニット1に接続しているが、カメラの台数は16台に限られず、2台、3台〜などであってもよい(後述の図12も同様)。

発明が解決しようとする課題

0008

近年、影像処理システムはディジタル化が進んでおり、従来のビデオデッキへのアナログ記録方式に加え、ハードディスクドライブ(HDD)へのディジタル記録方式の影像処理システムが開発されている、これらのディジタル記録方式の影像処理システムにおいては、静止画圧縮方式(JPEG,Weblet)が用いられることが多いが、かかる静止画圧縮方式は動画ベース圧縮方式に比べて圧縮効率が悪く、ハードディスクドライブへの蓄積を行う場合に、短時間でディスク一杯(Disk Full)となってしまう。

0009

ところで、LSI化技術の向上により、安価に動画ベースの圧縮LSIを開発することが可能となっており、近年では、圧縮方式として動画ベースの圧縮方式を採用する動きがある。かかる動画ベースの圧縮方式では、隣り合った映像との差分情報を用いて圧縮を行う。

0010

しかしながら、監視用途で多用されているフレームスイッチャユニット1を使用する場合、図12の如く、異なる複数のカメラCAM0〜CAMFで個別に撮像された各画像が、入力フィールドV0〜VF毎に入れ替わりながら画像圧縮器7に入力される。このため、画像圧縮器7に入力される画像は、隣接する入力フィールドV0〜VF間に相関関係がない。したがって、かかる画像V0〜VFを画像圧縮器7で動画圧縮を行っても、時間軸において相関のない画像同士の差分情報を用いて動画圧縮を行うことになり、圧縮率を高めることが困難となる。

0011

そこで、この発明の課題は、フレームスイッチャユニットを用いて複数のカメラで撮像された画像を次々と切り替える場合に、時系列差分を用いた動画圧縮の効果を最大限に向上し得る影像処理システム及びそれに関連する技術を提供することにある。

課題を解決するための手段

0012

上記課題を解決すべく、請求項1に記載の発明は、複数のカメラと、複数の前記カメラで個別に撮像された複数の動画像を切り替えて出力するフレームスイッチャユニットと、前記フレームスイッチャユニットで切り替えられた動画像を、少なくとも一部においてフレーム間の差分情報を用いて圧縮符号化する制御手段とを備え、前記制御手段は、前記フレーム間の差分情報を生成する際の参照対象となるキーフレームを、複数の前記カメラ別にそれぞれ対応付けられた複数のメモリ毎に格納し、当該各メモリ内の各キーフレームに対する前記差分情報を、それぞれ複数の前記カメラに対応付けた状態で別々に生成するものである。

0013

請求項2に記載の発明は、請求項1に記載の影像処理システムであって、前記動画像の映像外信号中に、前記カメラに一意に対応付けられたカメラ番号情報が格納され、前記制御手段は、前記カメラ番号情報に基づいて、各メモリ内の各キーフレーム毎に、前記差分情報を、それぞれ複数の前記カメラに対応付けた状態で別々に生成するものである。

0014

請求項3に記載の発明は、請求項1または請求項2に記載の影像処理システムであって、前記制御手段は、前記各メモリ内の前記各キーフレームに対する前記差分情報に基づいて、それぞれ複数の前記カメラに対応付けた状態で別々に復号化するものである。

0015

請求項4に記載の発明は、複数のカメラで個別に撮像された複数の動画像をフレームスイッチャユニットにより切り替えて出力し、前記フレームスイッチャユニットで切り替えられた動画像を、少なくとも一部においてフレーム間の差分情報を用いて圧縮符号化する動画像の圧縮符号化方法であって、前記フレーム間の差分情報を生成する際の参照対象となるキーフレームを、複数の前記カメラ別にそれぞれ対応付けられた複数のメモリ毎に格納する第1の工程と、前記各メモリ内の各キーフレームに対する前記差分情報を、それぞれ複数の前記カメラに対応付けた状態で別々に生成する第2の工程とを備えるものである。

0016

請求項5に記載の発明は、請求項4に記載の動画像の圧縮符号化方法であって、前記動画像の映像外信号中に、前記カメラに一意に対応付けられたカメラ番号情報が格納され、前記第1の工程は、前記カメラ番号情報に基づいて、各メモリ内に各キーフレームを格納し、前記第2の工程は、前記カメラ番号情報に基づいて、前記差分情報を、それぞれ複数の前記カメラに対応付けた状態で別々に生成するものである。

0017

請求項6に記載の発明は、請求項4または請求項5に記載の動画像の圧縮符号化方法により圧縮符号化された動画像を復号化する動画像の復号化方法であって、前記各メモリ内の前記各キーフレームに対する前記差分情報に基づいて、それぞれ複数の前記カメラに対応付けた状態で別々に復号化するものである。

0018

請求項7に記載の発明は、請求項4ないし請求項6のいずれかに記載の方法をコンピュータ上で実現するために、前記各工程をコンピュータに実行させるものである。

発明を実施するための最良の形態

0019

<概略>図1はこの発明の一の実施の形態に係る影像処理システムを示すブロック図である。この影像処理システムは、図1の如く、時間軸に沿った差分情報を用いて動画像を圧縮して記録を行うものであって、特に、複数のカメラCAM0〜CAMF毎にそれぞれ個別に対応したメモリM0〜MFを有せしめておき、当該各メモリM0〜MF毎に動画圧縮に必要な情報を格納して、それぞれのメモリM0〜MF毎にフレーム間の相関を取りながら並列に圧縮するものである。

0020

この影像処理システムでは、複数のカメラCAM0〜CAMFで撮像された影像を、フレームスイッチャユニット1によって入力フィールドV0〜VF毎に入れ替えながら、圧縮伸長装置8(制御手段)に入力される。

0021

この圧縮伸長装置8は、フレームスイッチャユニット1を介して入力された信号のうち、映像外信号中の垂直同期期間中の映像信号に重畳された「カメラ番号情報」6を読み取り、当該カメラ番号情報に基づいて、個別のカメラCAM0〜CAMFにそれぞれ対応する入力フィールドV0〜VF毎に、動画像の圧縮・伸長を行う。

0022

この際、フレームスイッチャユニット1から入力されて、互いに相関関係のない隣り合った映像のそれぞれについての相関関係のデータ(キーフレーム及び差分情報)を、カメラCAM0〜CAMF台数分の個別のメモリM0〜MFに別々に保存する。そして、圧縮伸長装置8は、この個別のメモリM0〜MFに保存されたデータを用いて、時系列(フレーム間)及びフレーム内の相関関係に基づいて圧縮・伸長を行い、ハードディスク等を内蔵した動画圧縮ディジタル影像記録装置9に記録する。

0023

これにより、フレームスイッチャユニット1を使用した場合においても、動画圧縮の効果を得ることが可能となる。

0024

尚、以下に説明する処理手順(方法)は、圧縮伸長装置8中の図示しない記憶装置内に予め格納されたソフトウェアプログラムにおいて規律され、このソフトウェアプログラムに従って、CPU(コンピュータ)が動作することで実行されるものである。

0025

<動画像の圧縮符号化方法>各カメラCAM0〜CAMF毎に撮像されて、それぞれ対応付けられた個別のメモリM0〜MFに保存されたデータ毎の圧縮符号化方法の一例を説明する。図2は、この圧縮符号化方法を説明するための模式図、図3は、この圧縮符号化方法を実現するためのフローチャートである。

0026

この圧縮符号化方法では、図2の如く、各カメラCAM0〜CAMFにおいて、それぞれ時間軸に沿って順次撮像した複数の静止画像(フレーム)f1,f2,f3,f4,…が、入力フィールドV0〜VF毎に圧縮伸長装置8にそれぞれ入力される(図3中のステップST1)。

0027

この場合、フレームスイッチャユニット1を使用する場合、図1の如く、異なる複数のカメラCAM0〜CAMFで個別に撮像された各画像が、入力フィールドV0〜VF毎に入れ替わりながら圧縮伸長装置8に入力される。そして、圧縮伸長装置8は、映像外信号中の垂直同期期間中の映像信号に重畳されたカメラ番号情報6(図10参照)に基づいて、異なったカメラCAM0〜CAMFにそれぞれ対応する入力フィールドV0〜VFの別に、以下に説明する処理手順でそれぞれ別々に圧縮処理を行う。尚、図2に示したキーフレームf1,f2…(後述)は、図1における同一のカメラ(図1の例では符号CAM0)から与えられた入力フィールド(図1の例では符号V0)に対応している。

0028

ここで、図3中において、符号10Aは、各メモリM0〜MF内にそれぞれ設定されるキーフレームメモリのひとつ、符号11Aは、同じく各メモリM0〜MF内にそれぞれ設定されるキーブロックメモリのひとつを示している。

0029

キーブロックメモリ11Aには、フレームf1が入力される前に、所定の特定領域(キーGOB=Group of Block:後に詳述する)から構成される参照フレームf0(図示省略)が格納されている。この参照フレームf0は、後述する復号用のキーブロックメモリ11Bに圧縮伝送された後、復号化されて格納されることになる。

0030

そして、この圧縮符号化方法で使用される圧縮伸長装置8は、入力フレームf1,f2,f3,f4,…の中から周期的にキーフレームを指定するようになっている。ここで、キーフレームは、時間軸に沿って動画像の各入力フレームの差分情報を生成する際の参照画像となるフレームを言い、周期的にキーフレームが発生するように生成されるものである。図2においては、入力フレームf1がキーフレームとなっている。

0031

図3中のステップST2において、その入力フレームf1がキーフレームか否かを条件判定する。図2においては、フレームf1は上述のようにキーフレームであるから、そのままステップST3に処理が移行し、フレーム内(イントラ)/フレーム間符号化処理を実行する。

0032

このステップST3の処理手順を図4に示している。図4に示すように、ステップST4でキーブロックメモリ11Aに格納した参照フレームf0(図示省略)と入力フレームf1(キーフレーム)との間の画素値差分値と、その差分値の絶対値和差分絶対値和)Sとが算出される。この場合、圧縮伸長装置8は、映像外信号中の垂直同期期間中の映像信号に重畳されたカメラ番号情報6(図10参照)に基づいて、それぞれ対応したメモリM0〜MF内のキーブロックメモリ11Aに、参照フレームf0(図示省略)と入力フレームf1(キーフレーム)との間の画素値の差分値と、その差分値の絶対値和(差分絶対値和)Sとを格納する。

0033

次いで、図4中のステップST5で、各メモリM0〜MF毎のキーブロックメモリ11A内に格納された差分絶対値和が閾値以下か否かが条件判定される。例えば、その差分値をΔPi(i:各画素に対応する番号)で表現する時、差分絶対値和Sは、S=|ΔP1|+|ΔP2|+…+|ΔPn|(n:画素数)で表現される。差分絶対値和Sが閾値以下の場合は、両フレームf0,f1間の時間的な変化が小さいとして、入力フレームf1はフレームf0を用いたフレーム間符号化を施される(ステップST6)。具体的には入力フレームf1とフレームf0との間の差分信号に対してDCT(離散コサイン変換)などの直交変換を施し、その変換係数量子化した量子化係数が算出される。また、このようなフレーム間符号化処理は8×8画素や16×16画素などのサイズをもつ小ブロック単位で実行される。これ以後の処理も同様である。尚、この実施の形態では変換方式としてDCTなどの直交変換を採用するが、DCTの代わりにDWT(離散ウェーブレット変換)を採用してもよい。この場合、フレーム間符号化処理は上記小ブロック単位で行う代わりに、実行メモリ容量などを考慮してフレーム単位、もしくはフレームをタイルと称する複数の領域に分割し各タイル単位で実行されてもよい。

0034

他方、図4中のステップST5において、上記ステップST4で算出した差分絶対値和Sが閾値を超える場合は、ステップST7に処理が移行する。そして、入力フレームf1(キーフレーム)について、フレーム内の情報だけで符号化するフレーム内符号化が施される。具体的にはフレームf1の画素値に対してDCTなどの直交変換を施し、その変換係数を量子化した量子化係数が算出される。

0035

尚、実際には、フレームの圧縮率を高める観点から、上記フレーム内符号化(ステップST7)またはフレーム間符号化(ステップST6)を実行する前に、入力フレームに対して色空間変換が施される。例えば、原信号が「R(赤色成分)」,「G(緑色成分)」,「B(青色成分)」のRGB空間からなる場合は、これをNTSC(National Television System Committee)方式などで採用されているYUV座標系、YIQ座標系、YCbCr座標系などを使用すればよい。例えば、YCbCr座標系を使用した場合、そのRGB成分輝度信号Yと2つの色差信号Cb,CrとからなるYCbCr成分の座標系へと変換される。YCbCr成分はRGB成分よりも各成分間の相関が小さいため、画像サイズを圧縮できる。

0036

フレーム内/フレーム間符号化処理(ステップST3、即ち、図4の処理)の実行後、図3中のステップST19に処理が移行する。この際、上記ステップST6,ST7(図4)で算出された量子化係数はハフマン符号化などを含むエントロピ符号化を施され、その後フレームの画像サイズや量子化ビット数などの画像情報や、量子化テーブル各小ブロック領域の符号化方法(フレーム内符号化、フレーム間符号化)などの圧縮情報と共に多重化されてビットストリームとして出力される。また、上記ステップST6,ST7(図4)で算出された量子化係数は、図3中のステップST8で局部復号化(逆量子化および逆DCTなどの逆直交変換)がなされ、図3に示したキーフレームメモリ10Aに格納される。ここでは、キーフレームメモリ10Aには符号化(ST6,ST7)と局部復号化(ST8)を通じて、量子化誤差を含んで変化したキーフレームが格納される。この場合、圧縮伸長装置8は、映像外信号中の垂直同期期間中の映像信号に重畳されたカメラ番号情報6(図10参照)に基づいて、それぞれ対応したメモリM0〜MF内のキーフレームメモリ10Aに、量子化誤差を含んで変化したキーフレームを格納する。これにより、そのキーフレームの画像は、後述のように復号化(フレーム間復号化)される際に参照されるキーフレームの画像と同一となり、復号化する動画像の画質劣化させることが無くなる。以上で入力フレームf1(キーフレーム)に対する圧縮符号化処理が終了する。

0037

次に、図2に示すように、上記フレームf1に続いてフレームf2が圧縮伸長装置8に入力される。そうすると、図3中のステップST2でそのフレームf2がキーフレームか否かが条件判定される。図2において、フレームf2はキーフレームでは無い。したがって、図3においてはステップST9に処理が移行する。

0038

ステップST9では、フレームf2は複数のブロック領域(以下「GOB」と称す)に分割される。

0039

ここで、GOBは、1フレームの画像において、例えば16分割または32分割という具合に、「2」のべき乗の個数垂直方向に分割するための分割単位としての特定領域を意味している。

0040

次いで、ステップST10において、これらGOBの中から単数または複数の特定領域(「キーGOB」と称す)が指定される。

0041

ここで、図6(a)に、4個のGOBに分割されたフレームf2を模式的に示す。フレームf2は垂直方向に十数画素〜数十画素単位で4個のGOBに分割されており、その第1段目GOBがキーGOB(「キーGOB1」)に指定される。尚、図2(b)〜(d)に示すようにフレームf2に続いて圧縮伸長装置8に順次入力するフレームf3〜f5も複数のGOBに分割されることになる。ただし、それぞれのキーGOBとしては、フレームf3の第2段目GOB(「キーGOB2」)、フレームf4の第3段目GOB(「キーGOB3」)、フレームf5の第4段目GOB(「キーGOB4」)が指定される。これら、キーフレームf1及びキーGOB1〜キーGOB4を含む各フレームf2〜f5は、図2に示すように、時間軸に沿って配列されることになる。

0042

再びフレームf2の説明に戻る。この時点で、図3中のステップST11に処理が移行し、以後、フレームf2はGOBを更に8×8画素または16×16画素程度の基本処理単位に分割した小ブロック毎順次処理されることになる。ただし、このステップST11では、処理対象であるブロックがキーGOBに属するか否かが条件判定される。当該ブロックがキーGOBに属する場合、ステップST12に進む。そして、当該ブロックが上記フレーム内符号化を施された後に、ステップST19でエントロピ符号化され上記画像情報および上記圧縮情報と共に多重化されてビットストリームとなって出力される。またステップST12でブロックをフレーム内符号化して出力される量子化係数は、ステップST13で局部復号化(逆量子化および逆DCTなどの逆直交変換)を施された後にキーブロックメモリ11Aに蓄積される。この場合、圧縮伸長装置8は、映像外信号中の垂直同期期間中の映像信号に重畳されたカメラ番号情報6(図10参照)に基づいて、それぞれ対応したメモリM0〜MF内のキーブロックメモリ11Aに、量子化係数を蓄積する。

0043

他方、上記ステップST11において、ブロックがキーGOBに属しない場合はステップST14のフレーム内/フレーム間符号化処理に処理が移行する。ここで、図5はフレーム内/フレーム間符号化処理のサブルーチンの処理手順を示すフローチャートである。この図5に示すように、まずステップST15で入力フレームの当該ブロックとキーフレームメモリ10Aに格納されたキーフレームとの差分値と、差分絶対値和Sとが算出される。この場合、圧縮伸長装置8は、映像外信号中の垂直同期期間中の映像信号に重畳されたカメラ番号情報6(図10参照)に基づいて、それぞれ対応したメモリM0〜MF内のキーフレームメモリ10A毎に、差分値と差分絶対値和Sとを算出する。

0044

次いで、ステップST16でその差分絶対値和Sが閾値以下か否かの条件判定がなされ、その差分絶対値和Sが閾値以下の場合はステップST17に処理が移行し、当該ブロックは、映像外信号中の垂直同期期間中の映像信号に重畳されたカメラ番号情報6(図10参照)に基づいて、それぞれ対応したメモリM0〜MF内のキーフレームメモリ10Aに格納した個々のキーフレームを参照して、上記フレーム間符号化を施す。他方、その差分絶対値和Sが閾値を超えている場合はステップST18に処理が移行し、当該ブロックは上記フレーム内符号化を施される。このように上記ステップST17,ST18で符号化された量子化係数は、図3に示すステップST19で可変長符号化(エントロピ符号化)と上記多重化処理を施されビットストリームとなって出力される。以上で入力フレームf2に対する圧縮符号化処理が終了する。

0045

次に、図2において、上記フレームf2に続いて圧縮伸長装置8に入力するフレームf3,f4,…も、キーフレームが入力される迄はフレームf2の場合と同様に処理される。ただし、上述のように、各フレームf2,f3,f4,…におけるキーGOB(キーGOB1〜キーGOB4)の位置は互いに異なっている。このようにして、上記ステップST13で局部復号化されたキーGOB1〜キーGOB4がキーブロックメモリ11Aにフレーム1枚分蓄積され、図2に模式的に図示するように、キーGOB1〜キーGOB4は、キーブロックメモリ11A内において、参照フレームAに合成される。この参照フレームAは、後に入力するキーフレームを上記ステップST3のサブルーチンでフレーム間符号化する際に利用される。この場合、圧縮伸長装置8は、映像外信号中の垂直同期期間中の映像信号に重畳されたカメラ番号情報6(図10参照)に基づいて、それぞれ対応したメモリM0〜MF内のキーブロックメモリ11A毎に、参照フレームAを合成する。

0046

このように、各カメラCAM0〜CAMFでそれぞれ撮像された動画像を、これらにそれぞれ対応付けられた複数のメモリM0〜MFを用いて別々に処理することとしているので、フレームスイッチャユニット1を使用して入力フィールドV0〜VFを圧縮符号化した場合においても、各カメラ毎に撮像された動画像において、フレーム間の差分情報を用いて動画圧縮を行うことができる。

0047

そして、上記ステップST3でキーブロックメモリ11Aに蓄積した参照フレームとの差分の大小によりフレーム内符号化とフレーム間符号化とを選択的に実行しており、また上記ステップST9,ST10で入力フレームを複数のGOBに分割してキーGOBを指定し、時間軸に沿った複数のフレームにフレーム1枚分のキーGOBを分散させ、これら各キーGOBがフレーム内符号化される。このためフレーム内符号化処理量が時間的に分散されることとなり、圧縮符号化処理量の急激な増大が抑えられて符号化処理量が時間的に平坦化し、伝送先において動画像の再生速度が変化せず良質の動画像を圧縮伝送できる。特にインターネットなどの帯域幅が制限された伝送路において有効である。

0048

またキーブロックメモリ11Aでは複数のフレームに分散された上記キーGOBが蓄積され、これらキーGOBからなる参照フレームAが構成される。この参照フレームAは異なる時刻のキーGOBの集積体である。この実施の形態ではこの参照フレームAとキーフレームとの差分の大小によりフレーム内符号化とフレーム間符号化とが選択的に実行される。このため、異なる時刻のキーGOBからなる参照フレームAを用いることに起因するGOB間の画質の差が緩和され、良質の動画像を圧縮伝送することが可能となる。

0049

動画再生時の復号化方法>次に、動画再生時の復号化方法を詳説する。図7は、この復号化方法を説明するための模式図、図8は、この復号化方法を実現するためのフローチャートである。尚、図8等において、符号10Bは、各メモリM0〜MF内にそれぞれ設定されるキーフレームメモリのひとつ、符号11Bは、同じく各メモリM0〜MF内にそれぞれ設定されるキーブロックメモリのひとつを示している。

0050

この復号化方法も、圧縮伸長装置8において、映像外信号中の垂直同期期間中の映像信号に重畳されたカメラ番号情報6(図10参照)に基づいて、異なったカメラCAM0〜CAMFにそれぞれ対応する入力フィールドV0〜VFの別に、以下に説明する処理手順でそれぞれ別々に伸長処理を行う。

0051

まず、上記の圧縮符号化方法で符号化した圧縮画像データが、ビットストリームとなって圧縮伸長装置8に入力される(図8中のステップST20)。その圧縮画像データはそのビットストリームから分離された後にステップST21で復号化される。即ち、上記圧縮伸長装置8から圧縮伸長装置8に、図7に示したフレームf1,f2,…の圧縮データが順次入力される。この際、図8中のステップST21において、キーフレームf1の圧縮データに対して、図4のステップST4〜ST7に示した処理手順と同様にして、フレーム内符号化あるいはフレーム間符号化の復号化処理が、8×8画素や16×16画素程度の小ブロック単位で施される。ここで、図7中のキーフレームf1の圧縮データを復号化する際、予め各メモリM0〜MF内のキーブロックメモリ11B(図8)に格納した参照フレームf0(図示省略)が利用される。ここで復号化したキーフレームf1は、映像外信号中の垂直同期期間中の映像信号に重畳されたカメラ番号情報6(図10参照)に基づいて、それぞれ対応したメモリM0〜MF内のキーフレームメモリ10B(図8)に個別に格納される。

0052

また、図7において、キーフレームf1の圧縮データに続いて圧縮伸長装置8に入力するフレームf2,f3,…の圧縮データに対して、図3中のステップST12,ST14〜ST18におけるフレーム内符号化あるいはフレーム間符号化の復号化処理と同様の処理が上記小ブロック単位で施される。尚、フレーム間符号化の復号化処理を行う際は、各メモリM0〜MF毎のキーフレームメモリ10Bに格納した個々のキーフレームf1が別々に利用される。またフレームf2,f3,…が復号化される際、基本処理単位である小ブロックがキーGOBに属する場合は、当該小ブロックは各メモリM0〜MF毎のキーフレームメモリ10Bに格納した個々のキーブロックメモリ11Bに個別に蓄積される。フレーム1枚分のキーGOBが蓄積されると、これらキーGOBからなる参照フレームA(図2参照)が合成される。この合成された参照フレームAは、圧縮伸長装置8に入力するキーフレームの圧縮データを復号化する際に利用される。例えば、図6(a)〜(d)に示したフレームf2〜f5の圧縮データを圧縮伸長装置8に入力する場合、各キーGOBを構成するブロックの圧縮データは、フレーム内復号化を施された後に、映像外信号中の垂直同期期間中の映像信号に重畳されたカメラ番号情報6(図10参照)に基づいて、それぞれ対応したメモリM0〜MF内のキーブロックメモリ11Bに個別に順次蓄積され、参照フレームAを再構成する。

0053

ところで、このように、ステップST21で復号化したフレーム群f1,f2,…をそのまま動画像として表示する場合、上記圧縮伸長装置8でフレーム内符号化したGOBとフレーム間符号化したGOBとの間で動画像の画質の差が顕れやすく、特にフレーム内符号化したキーGOBが動画像中に判然と観られる場合がある。このことを考慮して、この実施の形態では、図8に示すステップST22において、上記ステップST21で復号化したキーGOBのみを再び符号化した後に復号化するキーGOB再量子化処理を実行する。

0054

図9は、ステップST22のキーGOB再量子化処理のサブルーチンの処理手順を示すフローチャートである。図9に示すように、先ず8×8画素または16×16画素程度の小ブロックが入力される(ステップST30)。次にそのブロックはステップST31でキーGOBに属するか否かを条件判定される。

0055

ここで、当該ブロックがキーGOBに属しない場合は、当該ブロックは再量子化されず、キーGOB再量子化処理は終了し、図8に示すステップST23に処理が移行する。

0056

他方、当該ブロックがキーGOBに属する場合は、ステップST32に処理が移行し、キーフレームメモリ10Bに蓄積されたキーフレームと当該ブロックとの画素値の差分値と、その差分値の差分絶対値和Sとが算出される。この場合、圧縮伸長装置8は、映像外信号中の垂直同期期間中の映像信号に重畳されたカメラ番号情報6(図10参照)に基づいて、それぞれ対応したメモリM0〜MF内のキーフレームメモリ10B別に、差分値と差分絶対値和Sとを算出する。

0057

次いでステップST33で、その差分絶対値和Sが閾値以下か否かの条件判定がなされ、差分絶対値和Sが閾値を超えた場合は当該ブロックは再量子化されず、キーGOB再量子化処理は終了し、図8に示すステップST23に処理が移行する。

0058

他方、上記ステップST33で差分絶対値和Sが閾値以下であると判定された場合は、ステップST34以後に処理が移行する。先ずステップST34において、当該ブロックとキーフレームとの差分信号を変換符号化し、次いでステップST35でその変換係数を量子化する。これらステップST33〜ST35の処理は、上記圧縮伸長装置8で行った差分絶対値和Sによる符号化方法(フレーム間符号化、フレーム内符号化)の判定処理(ST16)や、DCTなどの直交変換および量子化処理(ST17)と同じものである。

0059

その後、ステップST36でその量子化係数を逆量子化し、次いでステップST37で上記ステップST34の変換符号化の復号化(逆DCTなどの逆直交変換)を実行する。この結果、上記ステップST34〜ST37の処理に伴い、上記圧縮伸長装置8でキーGOB以外のブロック領域をフレーム間符号化した後に圧縮伸長装置8でその符号化信号を復号化した時と同様に量子化誤差を含む不可逆の差分信号が得られる。

0060

次に、ステップST38で、各メモリM0〜MF毎のキーフレームメモリ10Bに個別に格納したキーフレームを用いてその差分信号からそれぞれのブロックが再構成され出力される。

0061

以上のキーGOB再量子化処理を施されたブロックは、図8に示すステップST23においてフレーム(復号化画像)に合成された後に出力される。

0062

以上のキーGOB再量子化工程を図6に示したフレームf2〜f5を例に挙げて説明すると、図7に模式的に示すように、上記ステップST21で復号化されたフレームf2〜f5のキーGOBは、各メモリM0〜MF毎のキーフレームメモリ10Bに格納したキーフレームとの差分をそれぞれとられる。

0063

次に、上記ステップST32でその差分値の差分絶対値和Sが閾値以下か否か、即ちフレーム間符号化するか否かの判定がなされ、差分絶対値和Sが閾値以下の場合はキーGOBに対してフレーム間符号化(変換符号化および量子化)が施され、次いでそのフレーム間符号化の復号化(逆量子化および逆変換復号化)が施されることで、上記フレームf2〜f5に対応する復号化画像F1〜F5が生成される。

0064

このようにして、各カメラCAM0〜CAMFでそれぞれ撮像されて各々圧縮符号化された動画像について、圧縮符号化処理(ST15〜ST17)と同様の手順で、キーGOBとキーフレームとの差が小ならば当該キーGOBとキーフレームとの差分信号に対して圧縮符号化を施した後に、その復号化を施しキーGOBを再構成するから、上記圧縮伸長装置8でキーGOB以外のブロック領域をフレーム間符号化した後に圧縮伸長装置8でその符号化信号を復号化した場合と同様に、キーGOBにフレーム間符号化およびその復号化に伴う誤差混入される。よって、復号化した動画像を表示する際にキーGOBが動画像中で目立つことが無く、その動画像を観る人に違和感を与えることが無いという効果が得られる。

0065

そして、各カメラCAM0〜CAMFにそれぞれ対応付けられた複数のメモリM0〜MFを用いて別々に動画像を伸長処理するので、フレームスイッチャユニット1を使用して入力フィールドV0〜VFを圧縮符号化した動画像を容易に復号化(伸長)できる。

0066

尚、圧縮符号化及び復号化の方式としては、上記以外に例えばMPEG等の時間軸上の差分を用いる方式であれば、どのような圧縮符号化方式にも適用できることはいうまでもない。

0067

また、上記実施の形態では、フレームスイッチャユニット1で入力フィールドV0〜VF毎に切り替えられ、更に圧縮伸長装置8で圧縮符号化された動画像を、必ず動画圧縮ディジタル影像記録装置9に記録するようにしていたが、例えば所定の通信回線を使用して圧縮符号化された動画像を他局に伝送する通信ステムに適用しても差し支えない。

0068

さらに、図1で説明した実施の形態では、16台のカメラCAM0〜CAMFをフレームスイッチャユニット1に接続していたが、このカメラのダイス数は、参照データを保存するメモリサイズによって決定されるものであり、よってカメラの台数は16台に限られず、2台、3台〜などであってもよい。

発明の効果

0069

請求項1、請求項4及び請求項7に記載の発明によれば、複数のカメラで個別に撮像された複数の動画像をフレームスイッチャユニットにより切り替えて出力し、フレームスイッチャユニットで切り替えられた動画像を、少なくとも一部においてフレーム間の差分情報を用いて圧縮符号化する際に、フレーム間の差分情報を生成する際の参照対象となるキーフレームを、複数のカメラ別にそれぞれ対応付けられた複数のメモリ毎に格納し、各メモリ内の各キーフレームに対する差分情報を、それぞれ複数のカメラに対応付けた状態で別々に生成するようになっているので、フレームスイッチャユニットを使用して入力フィールドを圧縮符号化した場合においても、各カメラ毎に撮像された動画像において、フレーム間の差分情報を用いて動画圧縮を行うことができる。

0070

請求項2、請求項5及び請求項7に記載の発明によれば、動画像の映像外信号中に、カメラに一意に対応付けられたカメラ番号情報を格納しておき、このカメラ番号情報に基づいて、各メモリ内に各キーフレームを格納し、且つ、カメラ番号情報に基づいて、差分情報を、それぞれ複数のカメラに対応付けた状態で別々に生成するので、各カメラに対応付けた状態でそれぞれの動画像を個別に圧縮符号化できる。

0071

請求項3、請求項6及び請求項7に記載の発明によれば、各メモリ内の各キーフレームに対する差分情報に基づいて、それぞれ複数のカメラに対応付けた状態で別々に復号化するので、各カメラに対応付けた状態でそれぞれの動画像を個別に復号化できる。

図面の簡単な説明

0072

図1この発明の一の実施の形態に係る影像処理システムを示すブロック図である。
図2この発明の一の実施の形態に係る圧縮符号化方法を説明するための模式図である。
図3この発明の一の実施の形態に係る圧縮符号化方法を実現するフローチャートである。
図4この発明の一の実施の形態に係る圧縮符号化方法を実現するフローチャートである。
図5この発明の一の実施の形態に係る圧縮符号化方法を実現するフローチャートである。
図64つのブロック領域に分割された各フレームを示す説明図である。
図7この発明の一の実施の形態に係る復号化方法を説明するための模式図である。
図8この発明の一の実施の形態に係る復号化方法を実現するフローチャートである。
図9再量子化処理を説明するためのフローチャートである。
図10従来の影像処理システムの影像記録動作を示す模式図である。
図11従来の影像処理システムの画像再生動作を示す模式図である。
図12従来の影像処理システムからの動画像がフレームスイッチャユニットによって切り替えられている動作を示す図である。

--

0073

1フレームスイッチャユニット
6カメラ番号情報
8圧縮伸長装置
9動画圧縮ディジタル影像記録装置
CAM0〜CAMFカメラ
M0〜MFメモリ

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • パナソニックIPマネジメント株式会社の「 画像表示装置」が 公開されました。( 2020/09/24)

    【課題】後方画像と後側方画像とを合成した合成画像において、運転者に移動体の存在を視認させること。【解決手段】自車両の後方または後側方にある移動体を含む画像を表示する画像表示装置の画像合成部5が、撮像さ... 詳細

  • 株式会社LIXILの「 化粧台用表示装置及び化粧台」が 公開されました。( 2020/09/24)

    【課題】カメラにより撮像されるというユーザーの不安を解消できる化粧台用表示装置及び化粧台を提供すること。【解決手段】化粧台用表示装置1は、カメラ5と、カメラ5による撮像結果に基づいた撮像情報を表示する... 詳細

  • 三菱電機株式会社の「 監視装置および監視方法」が 公開されました。( 2020/09/24)

    【課題】本発明は、正確な監視領域を決定することが可能な監視装置および監視方法を提供することを目的とする。【解決手段】本発明による監視装置は、自車両の周辺を撮影した画像を取得する画像取得部2と、自車両の... 詳細

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ