図面 (/)

技術 両方向の動き推定方法および装置

出願人 三星電子株式会社
発明者 申在燮李時和徐亮錫
出願日 1995年2月6日 (25年10ヶ月経過) 出願番号 1995-018180
公開日 1996年3月22日 (24年9ヶ月経過) 公開番号 1996-079768
状態 特許登録済
技術分野 TV信号の圧縮,符号化方式 特定用途計算機 TV信号の圧縮,符号化方式 イメージ処理・作成
主要キーワード 境界成分 モビール ピーク分布 光検出器ユニット データ選択器 再生メモリ 整合アルゴリズム 一定領域内
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(1996年3月22日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (6)

目的

両方向の動き推定方法および装置を提供する。

構成

伝送率動画像コデックステムにおいて、本発明による両方向の動き推定方法および装置では、一定ブロックで同一の動きを有する物体単位で両方向の動き推定を通じて動きベクトルを抽出し、予め設定されたフレーム動き予測モードに応じて前方動き予測結果発生する動きベクトル、或いは後方動き予測結果発生する動きベクトルを利用して動きを補償するために、既存のBMA方式に比べて正確な動きベクトルが捜せるだけでなく、小さい情報量でフレーム間の動きが描写できるので、圧縮に必要なデータの量が既存の方式に比べて著しく小さい。

効果

これにより、圧縮比および相対的な画質向上を可能にする。

概要

背景

今日の情報化社会は、受け入れて処理せねばならない情報の量が増加しつつある趨勢である。したがって、既存の伝送帯域を効果的に利用するために、データ圧縮は必須不可欠である。特に、ディジタル映像信号は、情報の表現に多くのメモリを必要とするので、映像情報圧縮は、情報の貯蔵検索伝送などをより効率的にする効果を有する。このような理由から映像データに対する圧縮技法が多く開発されてきた。

映像データ圧縮技法は、情報の損失があるか否かにより損失符号化技法と無損失符号化技法とに分けることができ、静止映像に存する空間的な重複性を取り除くイントラフレーム符号化と、動映像に存する時間的な重複性を取り除くインタフレーム符号化とに分けられる。一方、情報の損失が少なく、国際的な標準案が完成されている第1世代符号化技法と、人間の視覚構造および映像の特性を利用する第2世代符号化技法とに分けられる。第1世代符号化技法は、PCM(Pulse Coded Modulation),差分PCM(Differential PCM),デルタ変調(DeltaModulation)などの空間符号化および Karhunen-Loeve ,フーリエコサイン,Harr,Hadamard,サインなどの変換符号化と、前記の2つを結合したハイブリッド符号化と、動映像に利用する動き補償符号化などがある。第2世代符号化技法は、ピラミッド符号化、非等方非定在(anisotropic nonstationary )予測符号化輪郭テキスチャーに基づく技法、方向分解に基づく符号化技法などがある。

前述した方法のうち、HDTV放送ステムMPEG(Moving Picture Experts Group)では動き補償符号化方法を利用する。動き補償符号化に用いられる動き推定方式には、画素循環アルゴリズム(Pel −Reculsive Algorithm )とブロック整合アルゴリズム(Block Matching Algorithm)があり、ブロック整合アルゴリズムが画素循環アルゴリズムに比べて正確度が劣るが、実時間処理ハードウェアが簡単である点から動映像に多く使用されている。ブロック整合アルゴリズムは映像を一定の大きさのブロック(例えば、16×16或いは8×8)に分割した後、最小絶対エラーを利用してそれぞれブロックに対する動きベクトルを求める技法である。

該ブロック整合アルゴリズムは、既に現在に国際標準案として確定されたMPEG−1およびMPEG−2に利用されており、米国特許USP5,151,784号、USP5,060,064号、USP4,864,394号などでも前記アルゴリズムに対する技術をクレームしている。

これとは別に、FFT(Fast Fourier Transform)係数を利用して空間座標から周波数座標に変換した後、信号の周波数データピーク分布を利用して動き推定する方式(′93ICASSP ;Arica Kojima,Norihoko Sakurai and Junichi Kishikami,“Motion Detection Using 3−D FFT Spectrum”,1993,4 )が提案されており、これに類似してWT(Wavelet Transform )技法を利用して動きを推定する方式(′93 ICASSP ;C , K Cheong , K.Aizawa, T.Saito and M.Hatori,“Motion Estimation with Wavelet Transform and the application to Motion Compensated Interpolation”,1993.4 ) などが提案されている。

前記の方式は、大部分のビデオシーケンスについて割合に正確な動きを遂行するという長所を有する。しかしながら、ブロック整合アルゴリズムは、一定のブロック内に相異なる動きを有する物体が含まれている場合には動きベクトルを捜すのが不可能であり、FFTやWTを使用する方式は、一定の空間に変換することによる時間的な浪費や複雑性を伴う。また、画像に分布する動く物体の構造的解釈を考慮しないために、動く物体単位への正確な動きが推定できなくなる。前記述べた方式の短所のために、非常に高い圧縮比を必要とする次世代の動画像通信、例えば総合ディジタル情報サービス網ISDNを利用した画像電話、画像会議およびその他の視聴覚通信のためのディジタルビデオ圧縮には前記の方式を適用するのが不可能である。

概要

両方向の動き推定方法および装置を提供する。

伝送率動画像コデックシステムにおいて、本発明による両方向の動き推定方法および装置では、一定ブロックで同一の動きを有する物体単位で両方向の動き推定を通じて動きベクトルを抽出し、予め設定されたフレーム動き予測モードに応じて前方動き予測結果発生する動きベクトル、或いは後方動き予測結果発生する動きベクトルを利用して動きを補償するために、既存のBMA方式に比べて正確な動きベクトルが捜せるだけでなく、小さい情報量でフレーム間の動きが描写できるので、圧縮に必要なデータの量が既存の方式に比べて著しく小さい。

これにより、圧縮比および相対的な画質向上を可能にする。

目的

本発明の目的は、前述した問題点を解決するために、低伝送率の動画像コデックシステムにおいて、一定領域内で動く物体を任意の形態に抽出し、抽出された物体単位で両方向の動き予測を遂行することにより、動きベクトルのみで一定領域を補償するための動き推定方法を提供することである。

本発明の他の目的は、前記動き推定方法を実現するのに最も適した装置を提供することである。

効果

実績

技術文献被引用数
1件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

伝送率動画像コデック(codec) システムにおいて、フレーム内の一定ブロックで動きが発生した領域に対して同一の動きを有する物体単位で動きを推定して現在のフレームで捜された物体がどの方向へ移動したかを示す動き情報と前記物体の形状情報とを抽出する後方動き予測過程と、前記後方動き予測過程を通じて現在のフレームで捜された物体の形状情報を利用して次のフレームで物体がどの方向へ移動するかを示す動き情報と物体のインデックス情報とを抽出する前方動き予測過程と、予め設定されたフレームの動き予測モードに応じて前記後方動き予測過程で出力される動き情報および形状情報あるいは前方動き予測過程で出力される動き情報およびインデックス情報を選択して伝送するデータ伝送過程とを含むことを特徴とする両方向の動き推定方法

請求項2

前記データ伝送過程で、連続するビデオシーケンスで第1のフレームのみイントラフレームとして受信端に伝送した後、連続するフレームの奇数番目後方予測モードに動きを推定し、偶数番目は前方予測モードに動きを推定することを特徴とする請求項1項記載の両方向の動き推定方法。

請求項3

低伝送率の動画像コデックシステムにおいて、フレーム内の一定のブロックで動きが発生した領域に対して同一の動きを有する物体単位で動きを推定して現在のフレームで捜された物体がどの方向へ移動したかを示す動き情報と前記物体の形状情報とを抽出するための後方動き予測手段と、前記後方動き予測手段を通じて現在捜された物体の形状情報を利用して次のフレームで物体がどの方向へ移動するかを示す動き情報と前記物体のインデックス情報とを抽出するための前方動き予測手段と、予め設定されたフレームの動き予測モードに応じて前記後方動き予測過程で出力される動き情報および形状情報あるいは前方動き予測過程で出力される動き情報およびインデックス情報を選択して伝送するためのモードおよびデータ選択手段とを含むことを特徴とする両方向の動き推定装置

請求項4

前記モードおよびデータ選択手段では、連続するビデオシーケンスで一番目のフレームのみイントラフレームとして受信端に伝送された後、連続するフレームの奇数番目は後方予測モードで動きを推定し、偶数番目は前方予測モードで動きを推定することを特徴とする請求項3項記載の両方向の動き推定装置。

技術分野

0001

本発明は、低伝送率動画像コデックステムにおいて、両方向の動き推定方法および装置に係り、特に一定領域内で動く物体を任意の形態に抽出し、抽出された物体単位で両方向の動き予測遂行することにより、動きベクトルのみで一定領域を補償するための動き推定方法および装置に関する。

背景技術

0002

今日の情報化社会は、受け入れて処理せねばならない情報の量が増加しつつある趨勢である。したがって、既存の伝送帯域を効果的に利用するために、データ圧縮は必須不可欠である。特に、ディジタル映像信号は、情報の表現に多くのメモリを必要とするので、映像情報圧縮は、情報の貯蔵検索伝送などをより効率的にする効果を有する。このような理由から映像データに対する圧縮技法が多く開発されてきた。

0003

映像データ圧縮技法は、情報の損失があるか否かにより損失符号化技法と無損失符号化技法とに分けることができ、静止映像に存する空間的な重複性を取り除くイントラフレーム符号化と、動映像に存する時間的な重複性を取り除くインタフレーム符号化とに分けられる。一方、情報の損失が少なく、国際的な標準案が完成されている第1世代符号化技法と、人間の視覚構造および映像の特性を利用する第2世代符号化技法とに分けられる。第1世代符号化技法は、PCM(Pulse Coded Modulation),差分PCM(Differential PCM),デルタ変調(DeltaModulation)などの空間符号化および Karhunen-Loeve ,フーリエコサイン,Harr,Hadamard,サインなどの変換符号化と、前記の2つを結合したハイブリッド符号化と、動映像に利用する動き補償符号化などがある。第2世代符号化技法は、ピラミッド符号化、非等方非定在(anisotropic nonstationary )予測符号化輪郭テキスチャーに基づく技法、方向分解に基づく符号化技法などがある。

0004

前述した方法のうち、HDTV放送システムやMPEG(Moving Picture Experts Group)では動き補償符号化方法を利用する。動き補償符号化に用いられる動き推定方式には、画素循環アルゴリズム(Pel −Reculsive Algorithm )とブロック整合アルゴリズム(Block Matching Algorithm)があり、ブロック整合アルゴリズムが画素循環アルゴリズムに比べて正確度が劣るが、実時間処理ハードウェアが簡単である点から動映像に多く使用されている。ブロック整合アルゴリズムは映像を一定の大きさのブロック(例えば、16×16或いは8×8)に分割した後、最小絶対エラーを利用してそれぞれブロックに対する動きベクトルを求める技法である。

0005

該ブロック整合アルゴリズムは、既に現在に国際標準案として確定されたMPEG−1およびMPEG−2に利用されており、米国特許USP5,151,784号、USP5,060,064号、USP4,864,394号などでも前記アルゴリズムに対する技術をクレームしている。

0006

これとは別に、FFT(Fast Fourier Transform)係数を利用して空間座標から周波数座標に変換した後、信号の周波数データピーク分布を利用して動き推定する方式(′93ICASSP ;Arica Kojima,Norihoko Sakurai and Junichi Kishikami,“Motion Detection Using 3−D FFT Spectrum”,1993,4 )が提案されており、これに類似してWT(Wavelet Transform )技法を利用して動きを推定する方式(′93 ICASSP ;C , K Cheong , K.Aizawa, T.Saito and M.Hatori,“Motion Estimation with Wavelet Transform and the application to Motion Compensated Interpolation”,1993.4 ) などが提案されている。

0007

前記の方式は、大部分のビデオシーケンスについて割合に正確な動きを遂行するという長所を有する。しかしながら、ブロック整合アルゴリズムは、一定のブロック内に相異なる動きを有する物体が含まれている場合には動きベクトルを捜すのが不可能であり、FFTやWTを使用する方式は、一定の空間に変換することによる時間的な浪費や複雑性を伴う。また、画像に分布する動く物体の構造的解釈を考慮しないために、動く物体単位への正確な動きが推定できなくなる。前記述べた方式の短所のために、非常に高い圧縮比を必要とする次世代の動画像通信、例えば総合ディジタル情報サービス網ISDNを利用した画像電話、画像会議およびその他の視聴覚通信のためのディジタルビデオ圧縮には前記の方式を適用するのが不可能である。

発明が解決しようとする課題

0008

本発明の目的は、前述した問題点を解決するために、低伝送率の動画像コデックシステムにおいて、一定領域内で動く物体を任意の形態に抽出し、抽出された物体単位で両方向の動き予測を遂行することにより、動きベクトルのみで一定領域を補償するための動き推定方法を提供することである。

0009

本発明の他の目的は、前記動き推定方法を実現するのに最も適した装置を提供することである。

課題を解決するための手段

0010

前記目的を達成するために本発明による両方向の動き推定方法は、低伝送率の動画像コデックシステムにおいて、フレーム内の一定ブロックで動きが発生した領域に対して同一の動きを有する物体単位で動きを推定して現在のフレームで捜された物体がどの方向へ移動したかを示す動き情報と前記物体の形状情報とを抽出する後方動き予測過程と、前記後方動き予測過程を通じて現在のフレームで捜された物体の形状情報を利用して次のフレームで物体がどの方向へ移動するかを示す動き情報と物体のインデックス情報とを抽出する前方動き予測過程と、予め設定されたフレームの動き予測モードに応じて前記後方動き予測過程で出力される動き情報および形状情報あるいは前方動き予測過程で出力される動き情報およびインデックス情報を選択して伝送するデータ伝送過程とを含むことを特徴とする。

0011

前記他の目的を達成するために本発明による両方向動き推定装置は、低伝送率の動画像コデックシステムにおいて、フレーム内の一定のブロックで動きが発生した領域に対して同一の動きを有する物体単位で動きを推定して現在のフレームで捜された物体がどの方向へ移動したかを示す動き情報と前記物体の形状情報とを抽出するための後方動き予測手段と、前記後方動き予測手段を通じて現在フレームで捜された物体の形状情報を利用して次のフレームで物体がどの方向へ移動するかを示す動き情報と前記物体のインデックス情報とを抽出するための前方動き予測手段と、予め設定されたフレームの動き予測モードに応じて前記後方動き予測過程で出力される動き情報および形状情報あるいは前方動き予測過程で出力される動き情報およびインデックス情報を選択して伝送するためのモードおよびデータ手段とを含むことを特徴とする。

0012

以上のように構成された本発明によれば、一定ブロックで同一の動きを有する物体単位で両方向の動き推定を通じて動きベクトルを抽出し、予め設定されたフレームの動き予測モードに応じて前方動き予測結果、発生する動きベクトル或いは後方動き予測結果、発生する動きベクトルを利用して動きを補償するために、正確な動きベクトルが捜せるだけでなく、小さい情報量でフレーム間の動きが描写できる。

0013

以下、添付した図面に基づき本発明の実施例を詳細に説明する。

0014

図1は本発明による両方向の動き推定装置の一実施例によるブロック図である。

0015

図1に示したブロック図の構成は、入力される画像シーケンス10を毎フレーム単位で貯蔵するためのフレームメモリ20と、フレームメモリ20に貯蔵された画像シーケンス10に対してそれぞれ前方動きおよび後方動きを独立的に推定するための前方動き予測部40および後方動き予測部30と、前方動き予測部40および後方動き予測部30の動き予測結果を入力して現在のフレームが前方予測モードを選択するか後方予測モードを選択するかを決定し、現在のフレームの動き予測モードに応じて該当するデータを選択して出力するモードおよびデータ選択器50と、モードおよびデータ選択器50から出力されるデータを一定速度で伝送するための伝送バッファー60とからなる。

0016

ここで、前方動き予測部40は、動き推定部41,第2動ベクトル抽出部42および形状情報インデクシング42からなり、後方動き予測部30は、減算器31,動き成分抽出部32,同一の動き物体抽出部33,第1動きベクトル抽出部34,形状情報抽出部35,動き補償部36および再生メモリ37からなる。図2は本発明に適用される前方動き予測と後方動き予測との関係を示したフレーム配列図であり、連続するビデオシーケンスで一番目のフレームのみイントラフレームIとして受信端に伝送された後、連続するフレームの奇数番目は、後方予測モードPB で動きを推定し、偶数番目は前方予測モードPF で動きを推定する。

0017

図3は動きの同一の物体を選択した後、該物体に対して後方動き予測および前方動き予測をする例を示すものであり、先ずN番目のフレームで抽出された物体(中間の黒色で表示された物体)に基づき、(N−1)番目のフレームから物体の移動された距離を推定するのを後方動き予測とし、(N+1)番目のフレームを対象にN番目にあった物体がどの程度移動したかを捜し出すのを前方動き予測(図4において右側のフレームを参照する場合)という。

0018

図4および図5は、現在フレームで捜された物体の境界成分(形状情報)あるいは非常に小さい単位のブロックを利用し、物体単位で動きを推定して動きベクトルを捜し出す過程を示す。

0019

N番目のフレームで選択された物体の境界成分を利用して(N+1)番目のフレームの一定領域を画素あるいは非常に小さいブロック単位で移動しながらエラーの絶対値が最も小さくなる領域を選択することにより、該移動距離を物体の動きベクトル(右側の太い矢印)として選択する。

0020

本発明の動作を図1ないし図5を参照して説明する。

0021

図2のような画像シーケンス配列を基準として後方予測と前方予測を交互に動き推定を施すが、ここでは図1を参照して説明する。

0022

本発明の核心は、捜された物体の形状情報を利用して前方および後方動き予測に使用し、前方および後方動き予測結果のうち、与えられたモード選択器に選択されるデータのみを伝送させることである。

0023

先ず、後方動き予測過程を説明すると、次の通りである。

0024

ディジタル化された画像シーケンス10が入力されると、これがフレームメモリ20に1フレームずつ順次に貯蔵される。

0025

減算器31では、直ぐ以前に送られたフレームの形状情報と動き情報を利用して伝送端で参照するために、局部的に再生された画像が貯蔵されている再生メモリ37の出力データとフレームメモリ20に貯蔵された現在フレームデータの差成分を計算し、動き成分抽出部32では減算器31から出力される差成分からフレーム間の動き成分を抽出して実際に動きが発生した部分のみを貯蔵する。

0026

同一の動き物体抽出部33では、動き成分抽出部32から抽出された実際に動きが発生した部分のうち、同一の方向へ動きを有する成分を一団にして、同一の物体を1つの単位でインデクシングした後、それぞれのインデクシングした物体を順に貯蔵する。

0027

第1動きベクトル抽出部34では、同一動き物体抽出部33に貯蔵された同一の動きを有する物体を利用し、以前に再生され再生メモリ37に貯蔵された画像を参照しながら、現在の物体がどの方向へ移動したかを推定するが、この際物体を構成しているそれぞれの画素値と再生された画素値との平均絶対値(MAE:Mean Absolute Error)が最小になる部分を動きベクトルとして選択する。その結果、制限された一定の領域をサーチしながら捜された動きベクトルは第1動きベクトル抽出部34に貯蔵され、物体の境界成分は形状情報抽出部35に貯蔵される。このように、求められた形状情報と動き情報とはモードおよびデータ選択器50に入力される。

0028

次に、前方動き予測過程について説明すると次の通りである。

0029

先ず、フレームメモリ20に貯蔵されていた現在のフレーム画像データと、再生メモリ37に貯蔵されていた以前フレーム画像データと、後方動き予測で使用されたそれぞれのインデクシングされた物体の形状情報と、現在フレームで以前フレームとの差により動いたと判断され動き成分抽出部32に貯蔵されていた実際に動きが発生した部分に対するデータとが動き推定部41に入力される。

0030

動き推定部41では、以前フレームから求めた物体の形状情報と現在フレームの動き成分の領域による情報とを利用して物体の動きを推定し、第2動きベクトル抽出部42では、図4に示したように、以前フレームから求めた形状情報のみを利用し、形状情報に該当する再生画像が現在フレームのどの部分へ移動したかを示す動きベクトルを捜し出す。この際、MAE値が動き推定の基準として用いられる。

0031

こうして求められた動きベクトルを第2動きベクトル抽出部42に貯蔵し、この際に用いられた形状情報のインデックスを形状情報抽出部35から受けて、該インデックス情報と動き情報のみをモードおよびデータ選択器50に伝送する。モードおよびデータ選択器50では、図2に示したフレーム配列図により、現在フレームの動き予測モードに応じて後方予測データを選択するかあるいは前方予測データを選択するかを決定すれば、受信端では以前フレームから伝送された形状情報に対するインデックスを利用して簡単に現在フレームの画像が再生できる。

0032

現在フレームと以前フレームで移動成分が一致しない場合には、その領域に対する情報を伝送するイントラフレームモードを別に設けることにより、動き情報抽出に失敗した領域に対して補完することができる。

0033

要約すると、後方動き予測では、同一の動きを有する物体の形状情報および動き情報(動きベクトル)を伝送し、前方動き予測では予め伝送された物体の形状情報を利用して動きを推定した後、動き情報のみを伝送するので、形状情報ほどのデータが節約できて、圧縮に用いられる情報量を非常に減らすことができる。本発明は、現在のPSDN(Public Switching Telephone Network),LAN(Local Area Network)およびワイヤレスネット(Wireless Network)を通じたビデオ通信広範囲に使用されることができ、特にモビール通信において動画像伝送に核心的に使用され得るために、その応用分野が非常に広く、次世代の国際標準技術にも使用される可能性がある。

発明の効果

0034

前述したように、低伝送率の動画像コデックシステムにおいて、本発明による両方向動き推定方法および装置では既存のブロック整合アルゴリズムに比べて正確な動きベクトルが捜せるだけでなく、小さい情報量でフレーム間の動きが描写できるために、圧縮に必要なデータの量が既存の方式に比べて著しく小さいので、圧縮比および相対的な画質向上を可能にする。

0035

また、動く物体単位で動き情報を抽出し補償するために補償後、画像のブロッキング効果がほぼ現れず、特に動きが少なく物体の単位が大きい場合、例えばディジタルビデオフォン(Video Phone )イメージの場合には、時間が節約できる効果がある。

図面の簡単な説明

0036

図1本発明による両方向動き推定装置の一実施例によるブロック図である。
図2本発明に適用される前方動き予測と後方動き予測の関係を示したフレーム配列図である。
図3現在のフレーム(N),以前フレーム(N−1)および次のフレーム(N+1)での物体の動き推定方向を示した図面である。
図4前方動き予測で以前に捜された物体の境界成分から次のフレームの移動距離を捜す過程を示す図面である。
図5前方動き予測で以前に捜された物体の境界成分から次のフレームの移動距離を捜す過程を示す図面である。

--

0037

4…対物レンズ、 5…光ディスク、12,13…集束レンズ、 14…光検出器ユニット、15,16…3分割光検出器

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ