図面 (/)

技術 動画像符号化方法,動画像復号方法,動画像符号化装置,動画像復号装置,動画像符号化プログラム,動画像復号プログラム,動画像符号化プログラムの記録媒体および動画像復号プログラムの記録媒体

出願人 日本電信電話株式会社
発明者 木全英明八島由幸
出願日 2002年11月14日 (18年0ヶ月経過) 出願番号 2002-330438
公開日 2004年6月10日 (16年5ヶ月経過) 公開番号 2004-166036
状態 特許登録済
技術分野 TV信号の圧縮,符号化方式 TV信号の圧縮,符号化方式 圧縮、伸長・符号変換及びデコーダ
主要キーワード 方向スケール 分子値 Vf値 分子計算 演算処理負荷 表示時間間隔 ビットシフト演算 方向フレーム
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2004年6月10日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (7)

課題

動画像の符号化において,動きベクトルを計算する際に,割り算に必要な演算処理負荷を軽減し,また乗算する係数の符号量を軽減して,演算量の削減と符号量の削減を図る。

解決手段

前方向動きベクトル後方向動きベクトルを計算する際に,スケール分母指定部102,分母計算部103によって2m となる値Mを分母とし,目標スケール分母値D,前方向目標スケール分子値N1,後方向目標スケール分子値N2から,X1,X2をそれぞれ前方向分子,後方向分子として計算しておき,ビットシフト演算によって計算することにより,割り算演算の回数を削減する。また,算出された値X1,値X2の符号化は行わずに,スケール分母値m,目標スケール分母値D,前方向目標スケール分子値N1,後方向目標スケール分子値N2の符号化を行う。

概要

背景

一般的に動画像符号化では,時間方向の相関を使って高い符号化効率を実現するため,フレーム間予測符号化を用いている。フレーム符号化モードには,フレーム間の相関を使わずに符号化するIフレームと,過去に符号化した1フレームから予測するPフレームと,過去に符号化した2フレームから予測することができるBフレームがある。特に,映像符号化方式H.263では,参照画像メモリ複数フレーム分復号画像蓄積しておき,そのメモリから参照画像を選択して予測することができる。

概要

動画像の符号化において,動きベクトルを計算する際に,割り算に必要な演算処理負荷を軽減し,また乗算する係数の符号量を軽減して,演算量の削減と符号量の削減をる。前方向動きベクトル後方向動きベクトルを計算する際に,スケール分母指定部102,分母計算部103によって2m となる値Mを分母とし,目標スケール分母値D,前方向目標スケール分子値N1,後方向目標スケール分子値N2から,X1,X2をそれぞれ前方向分子,後方向分子として計算しておき,ビットシフト演算によって計算することにより,割り算演算の回数を削減する。また,算出された値X1,値X2の符号化は行わずに,スケール分母値m,目標スケール分母値D,前方向目標スケール分子値N1,後方向目標スケール分子値N2の符号化を行う。

目的

本発明は,上記の点に鑑み,動きベクトルを計算する際に,割り算に必要な演算処理負荷を軽減し,また乗算する係数の符号量を軽減して,演算量の削減と符号量の削減を図ることを目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

過去に符号化されたフレーム動きベクトルから前方向動きベクトル後方向動きベクトルとを求め,両方向フレーム予測符号化方式を使って画像情報を符号化する動画像符号化方法において,スケール分母値mを設定するスケール分母指定ステップと,目標スケール分母値Dを設定する目標スケール分母指定ステップと,前方向目標スケール分子値N1を設定する前方向目標スケール分子指定ステップと,後方向目標スケール分子値N2を設定する後方向目標スケール分子指定ステップと,2をm回べき乗した値Mを求める分母計算ステップと,前記値Mと前記値Dと前記値N1とから,前方向分子の値X1を求める前方向分子計算ステップと,前記値Mと前記値Dと前記値N2とから,後方向分子の値X2を求める後方向分子計算ステップと,過去に符号化されたフレームの動きベクトルと前記値Mと前記値X1とから,前方向動きベクトルを求める前方向動きベクトル計算ステップと,過去に符号化されたフレームの動きベクトルと前記値Mと前記値X2とから,後方向動きベクトルを求める後方向動きベクトル計算ステップと,前記前方向動きベクトルと前記後方向動きベクトルとを使い,両方向フレーム間予測符号化を行う両方向フレーム間予測符号化ステップと,前記値mを符号化するスケール分母符号化ステップと,前記値Dを符号化する目標スケール分母符号化ステップと,前記値N1を符号化する前方向目標スケール分子符号化ステップと,前記値N2を符号化する後方向目標スケール分子符号化ステップとを有することを特徴とする動画像符号化方法。

請求項2

過去に符号化されたフレームF1の参照フレームF2に対する動きベクトルから,現フレームF3の参照フレームF2に対する前方向動きベクトルと,現フレームF3の参照フレームF1に対する後方向動きベクトルとを求め,両方向フレーム間予測符号化方式を使って画像情報を符号化する動画像符号化方法において,スケール分母値mを設定するスケール分母指定ステップと,2をm回べき乗した値Mを求める分母計算ステップと,前記値Mと,フレームF1とフレームF2との間の表示時間間隔T12と,現フレームF3とフレームF2との間の表示時間間隔T23とから,前方向分子の値X1を求める前方向分子計算ステップと,前記値Mと,フレームF1とフレームF2との間の表示時間間隔T12と,現フレームF3とフレームF1との間の表示時間間隔T13とから,後方向分子の値X2を求める後方向分子計算ステップと,過去に符号化されたフレームの動きベクトルと前記値Mと前記値X1とから,前方向動きベクトルを求める前方向動きベクトル計算ステップと,過去に符号化されたフレームの動きベクトルと前記値Mと前記値X2とから,後方向動きベクトルを求める後方向動きベクトル計算ステップと,前記前方向動きベクトルと前記後方向動きベクトルとを使い,両方向フレーム間予測符号化を行う両方向フレーム間予測符号化ステップと,前記値mを符号化するスケール分母符号化ステップと,現フレームF3の表示時刻情報を符号化する表示時刻符号化ステップとを有することを特徴とする動画像符号化方法。

請求項3

過去に復号されたフレームの動きベクトルから,前方向動きベクトルと後方向動きベクトルとを求め,両方向フレーム間予測符号化方式を使って画像情報を復号する動画像復号方法において,スケール分母値mを復号するスケール分母復号ステップと,目標スケール分母値Dを復号する目標スケール分母復号ステップと,前方向目標スケール分子値N1を復号する前方向目標スケール分子復号ステップと,後方向目標スケール分子値N2を復号する後方向目標スケール分子復号ステップと,2をm回べき乗した値Mを求める分母計算ステップと,前記値Mと前記値Dと前記値N1とから,前方向分子の値X1を求める前方向分子計算ステップと,前記値Mと前記値Dと前記値N2とから,後方向分子の値X2を求める後方向分子計算ステップと,過去に復号されたフレームの動きベクトルと前記値Mと前記値X1とから,前方向動きベクトルを求める前方向動きベクトル計算ステップと,過去に復号されたフレームの動きベクトルと前記値Mと前記値X2とから,後方向動きベクトルを求める後方向動きベクトル計算ステップと,前記前方向動きベクトルと前記後方向動きベクトルとを使い,両方向フレーム間予測復号を行う両方向フレーム間予測復号ステップとを有することを特徴とする動画像復号方法。

請求項4

過去に復号されたフレームF1の参照フレームF2に対する動きベクトルから,現フレームF3の参照フレームF2に対する前方向動きベクトルと,現フレームF3の参照フレームF1に対する後方向動きベクトルとを求め,両方向フレーム間予測符号化方式を使って画像情報を復号する動画像復号方法において,スケール分母値mを復号するスケール分母復号ステップと,現フレームF3の表示時刻情報を復号する表示時刻復号ステップと,2をm回べき乗した値Mを求める分母計算ステップと,前記値Mと,フレームF1とフレームF2との間の表示時間間隔T12と,現フレームF3とフレームF2との間の表示時間間隔T23とから,前方向分子の値X1を求める前方向分子計算ステップと,前記値Mと,フレームF1とフレームF2との間の表示時間間隔T12と,現フレームF3とフレームF1との間の表示時間間隔T13とから,後方向分子の値X2を求める後方向分子計算ステップと,過去に復号されたフレームの動きベクトルと前記値Mと前記値X1とから,前方向動きベクトルを求める前方向動きベクトル計算ステップと,過去に復号されたフレームの動きベクトルと前記値Mと前記値X2とから,後方向動きベクトルを求める後方向動きベクトル計算ステップと,前記前方向動きベクトルと前記後方向動きベクトルとを使い,両方向フレーム間予測復号を行う両方向フレーム間予測復号ステップとを有することを特徴とする動画像復号方法。

請求項5

過去に符号化されたフレームの動きベクトルから前方向動きベクトルと後方向動きベクトルとを求め,両方向フレーム間予測符号化方式を使って画像情報を符号化する動画像符号化装置において,スケール分母値mを設定するスケール分母指定部と,目標スケール分母値Dを設定する目標スケール分母指定部と,前方向目標スケール分子値N1を設定する前方向目標スケール分子指定部と,後方向目標スケール分子値N2を設定する後方向目標スケール分子指定部と,2をm回べき乗した値Mを求める分母計算部と,前記値Mと前記値Dと前記値N1とから,前方向分子の値X1を求める前方向分子計算部と,前記値Mと前記値Dと前記値N2とから,後方向分子の値X2を求める後方向分子計算部と,過去に符号化されたフレームの動きベクトルと前記値Mと前記値X1とから,前方向動きベクトルを求める前方向動きベクトル計算部と,過去に符号化されたフレームの動きベクトルと前記値Mと前記値X2とから,後方向動きベクトルを求める後方向動きベクトル計算部と,前記前方向動きベクトルと前記後方向動きベクトルとを使い,両方向フレーム間予測符号化を行う両方向フレーム間予測符号化部と,前記値mを符号化するスケール分母符号化部と,前記値Dを符号化する目標スケール分母符号化部と,前記値N1を符号化する前方向目標スケール分子符号化部と,前記値N2を符号化する後方向目標スケール分子符号化部とを備えることを特徴とする動画像符号化装置。

請求項6

過去に符号化されたフレームF1の参照フレームF2に対する動きベクトルから,現フレームF3の参照フレームF2に対する前方向動きベクトルと,現フレームF3の参照フレームF1に対する後方向動きベクトルとを求め,両方向フレーム間予測符号化方式を使って画像情報を符号化する動画像符号化装置において,スケール分母値mを設定するスケール分母指定部と,2をm回べき乗した値Mを求める分母計算部と,前記値Mと,フレームF1とフレームF2との間の表示時間間隔T12と,現フレームF3とフレームF2との間の表示時間間隔T23とから,前方向分子の値X1を求める前方向分子計算部と,前記値Mと,フレームF1とフレームF2との間の表示時間間隔T12と,現フレームF3とフレームF1との間の表示時間間隔T13とから,後方向分子の値X2を求める後方向分子計算部と,過去に符号化されたフレームの動きベクトルと前記値Mと前記値X1とから,前方向動きベクトルを求める前方向動きベクトル計算部と,過去に符号化されたフレームの動きベクトルと前記値Mと前記値X2とから,後方向動きベクトルを求める後方向動きベクトル計算部と,前記前方向動きベクトルと前記後方向動きベクトルとを使い,両方向フレーム間予測符号化を行う両方向フレーム間予測符号化部と,前記値mを符号化するスケール分母符号化部と,現フレームF3の表示時刻情報を符号化する表示時刻符号化部とを備えることを特徴とする動画像符号化装置。

請求項7

過去に復号されたフレームの動きベクトルから,前方向動きベクトルと後方向動きベクトルとを求め,両方向フレーム間予測符号化方式を使って画像情報を復号する動画像復号装置において,スケール分母値mを復号するスケール分母復号部と,目標スケール分母値Dを復号する目標スケール分母復号部と,前方向目標スケール分子値N1を復号する前方向目標スケール分子復号部と,後方向目標スケール分子値N2を復号する後方向目標スケール分子復号部と,2をm回べき乗した値Mを求める分母計算部と,前記値Mと前記値Dと前記値N1とから,前方向分子の値X1を求める前方向分子計算部と,前記値Mと前記値Dと前記値N2とから,後方向分子の値X2を求める後方向分子計算部と,過去に復号されたフレームの動きベクトルと前記値Mと前記値X1とから,前方向動きベクトルを求める前方向動きベクトル計算部と,過去に復号されたフレームの動きベクトルと前記値Mと前記値X2とから,後方向動きベクトルを求める後方向動きベクトル計算部と,前記前方向動きベクトルと前記後方向動きベクトルとを使い,両方向フレーム間予測復号を行う両方向フレーム間予測復号部とを備えることを特徴とする動画像復号装置。

請求項8

過去に復号されたフレームF1の参照フレームF2に対する動きベクトルから,現フレームF3の参照フレームF2に対する前方向動きベクトルと,現フレームF3の参照フレームF1に対する後方向動きベクトルとを求め,両方向フレーム間予測符号化方式を使って画像情報を復号する動画像復号装置において,スケール分母値mを復号するスケール分母復号部と,現フレームF3の表示時刻情報を復号する表示時刻復号部と,2をm回べき乗した値Mを求める分母計算部と,前記値Mと,フレームF1とフレームF2との間の表示時間間隔T12と,現フレームF3とフレームF2との間の表示時間間隔T23とから,前方向分子の値X1を求める前方向分子計算部と,前記値Mと,フレームF1とフレームF2との間の表示時間間隔T12と,現フレームF3とフレームF1との間の表示時間間隔T13とから,後方向分子の値X2を求める後方向分子計算部と,過去に復号されたフレームの動きベクトルと前記値Mと前記値X1とから,前方向動きベクトルを求める前方向動きベクトル計算部と,過去に復号されたフレームの動きベクトルと前記値Mと前記値X2とから,後方向動きベクトルを求める後方向動きベクトル計算部と,前記前方向動きベクトルと前記後方向動きベクトルとを使い,両方向フレーム間予測復号を行う両方向フレーム間予測復号部とを備えることを特徴とする動画像復号装置。

請求項9

請求項1または請求項2記載の動画像符号化方法をコンピュータに実行させるための動画像符号化プログラム

請求項10

請求項3または請求項4記載の動画像復号方法をコンピュータに実行させるための動画像復号プログラム

請求項11

請求項1または請求項2記載の動画像符号化方法をコンピュータに実行させるためのプログラムを記録したことを特徴とする動画像符号化プログラムの記録媒体

請求項12

請求項3または請求項4記載の動画像復号方法をコンピュータに実行させるためのプログラムを記録したことを特徴とする動画像復号プログラムの記録媒体。

技術分野

0001

本発明は,両方向フレーム予測符号化方式を使った動画像符号化復号化に関する技術であり,特に,動きベクトル演算量の削減と動きベクトル符号化量の削減を可能とした動画像符号化方法動画像復号方法動画像符号化装置および動画像復号装置に関するものである。

0002

一般的に動画像符号化では,時間方向の相関を使って高い符号化効率を実現するため,フレーム間予測符号化を用いている。フレーム符号化モードには,フレーム間の相関を使わずに符号化するIフレームと,過去に符号化した1フレームから予測するPフレームと,過去に符号化した2フレームから予測することができるBフレームがある。特に,映像符号化方式H.263では,参照画像メモリ複数フレーム分復号画像蓄積しておき,そのメモリから参照画像を選択して予測することができる。

0003

また,Pフレームは過去に符号化した1フレームから予測するが,Bフレームでは,過去に符号化した2フレームから予測することができる。参照フレームとして使用する2フレームのうち,より過去のフレームから予測する方法を前方向フレーム間予測と呼び,より未来のフレームから予測する方法を後方フレーム間予測と呼ぶ。後方向フレーム間予測における参照フレームの表示時刻は,現フレームよりも未来であってもよい。この場合には,現フレームを表示した後に後方向フレーム間予測の参照フレームを出力することになる。

0004

Bフレームで2フレームから予測する場合(両方向フレーム間予測)には,2フレームからの画像情報を補間して,1フレーム分の画像情報を作成して予測画像を作成する。

0005

図5(a)に,後方向フレーム間予測における参照フレームの表示時刻が未来の場合の,動画像の予測関係の例を示す。第1フレームから第7フレームの符号化モードをIBBPBBPの順序で符号化する場合には,図5(a)に示す予測関係があるため,実際に符号化する場合には,図5(b)に示すように▲1▼▲4▼▲2▼▲3▼▲7▼▲5▼▲6▼の順序でフレームを符号化する。

0006

さらに画像を分割した,例えばマクロブロックのような領域毎に,これらの符号化モードを指定することができる。映像符号化方式H.263では,Iフレーム内では,フレーム内画像情報のみを使って符号化するIマクロブロックのみある。Pフレーム内では,Iマクロブロックの他に過去に符号化した1フレームから予測するPマクロブロックがある。マクロブロック毎に参照する画像を変更することも可能である。Bフレーム内では,IマクロブロックとPマクロブロックの他にBマクロブロックがある。Bマクロブロックでは,Pマクロブロックと同様に過去に符号化した1フレームから予測する前方向予測モードまたは後方向予測モードと,2フレームから予測する両方向予測モードがある。

0007

両方向予測モードには,各フレーム内の参照位置を示す動きベクトルを符号化するbi−predictiveモードと符号化しないdirectモードがある。directモードでは,参照する未来のフレームにおける同一位置のマクロブロックの動きベクトルから前方向の動きベクトルと後方向の動きベクトルを算出する。

0008

図6に,後方向フレーム間予測における参照フレームの表示時刻が未来の場合の,directモードにおける動きベクトルの関係図を示す。図6において,P1とP2が既に符号化されたフレームであり,Pcが符号化対象フレームであるとする。PcとP1,P2間のマクロブロックの動きベクトルを,それぞれMVf,MVbとした場合の動きベクトル算出式を,式(1−1),(1−2)に示す。MVsは,P1とP2間のマクロブロックの動きベクトルである。一般的に,N1にはフレームP1とPcの表示時間間隔を適用し,N2にはフレームPcとP2の表示時間間隔を適用し,DにはフレームP1とP2の表示時間間隔を適用する。

0009

MVf=MVs×N1/D (1−1)
MVb=MVs×N2/D (1−2)
この式(1−1),(1−2)に従って動きベクトルを算出するため,directモードでは動きベクトルを符号化しない。

0010

なお,従来における割り算演算の処理負荷については,非特許文献1に記載されている。本発明の実施の形態と従来方法による符号量削減の効果を説明するためのGolomb符号については,下記の非特許文献2に記載されている。

背景技術

0011

【非特許文献1】
Design Wave Magazine,cq出版社,pp.115−126,December,1999.
【非特許文献2】
Golomb,S.W.,”Run−Length Encoding” ,Transactions of the Information Theory Group of theIEEE,July,1966.

0012

上記式(1−1),(1−2)において,Dが任意の整数だとすると,directモードでは任意の整数で割り算を行う必要があり,演算処理負荷が大きい(例えば,非特許文献1参照)。この割り算を避けるために,式(2−1),(2−2)のようなビットシフト演算による計算によって動きベクトルを求める方法が考えられる。ここで,「x>>y」の表記は,xの値をyビット右にシフトする演算を表している。

0013

MVf=MVs×X1/2m =(MVs×X1+2m−1 )>>m(2−1)
MVb=MVs×X2/2m =(MVs×X2+2m−1 )>>m(2−2)
ここで整数mと整数X1と整数X2は,式(2−1)によるMVfと式(1−1)によるMVfの値がほぼ同じ値になり,式(2−2)によるMVbと式(1−2)によるMVbの値がほぼ同じ値になるように設定される。したがって,整数X1と整数X2は,1から2m までの範囲の値である。

0014

この方法によれば,割り算を2進数表現におけるビットシフト演算で計算することができ,割り算の演算処理負荷を軽減することができる。また,この方法では,整数mの値を大きくするほど,式(2−1)と式(1−1)のMVf値の一致する整数X1,および式(2−2)と式(1−2)のMVb値の一致する整数X2を,設定することが可能となる。

0015

上記,式(2−1),(2−2)における整数X1と整数X2の値は,1から2m までの範囲の値である。したがって,大きな値となる場合があり,整数X1または整数X2を符号化することによる符号量の増加を招く。この場合には,動きベクトルを符号化しないdirectモードではなく,動きベクトルを符号化する符号化モードで符号化するほうが符号化効率が良い。

発明が解決しようとする課題

0016

本発明は,上記の点に鑑み,動きベクトルを計算する際に,割り算に必要な演算処理負荷を軽減し,また乗算する係数の符号量を軽減して,演算量の削減と符号量の削減を図ることを目的とする。

0017

上記の課題を解決するため,本発明は以下の方法を用いる。

0018

第1の発明は,過去に符号化されたフレームの動きベクトルから前方向動きベクトル後方向動きベクトルとを求め,両方向フレーム間予測符号化方式を使って画像情報を符号化する動画像符号化方法において,スケール分母値mを設定するスケール分母指定ステップと,目標スケール分母値Dを設定する目標スケール分母指定ステップと,前方向目標スケール分子値N1を設定する前方向目標スケール分子指定ステップと,後方向目標スケール分子値N2を設定する後方向目標スケール分子指定ステップと,2をm回べき乗した値Mを求める分母計算ステップと,前記値Mと前記値Dと前記値N1とから,値X1を求める前方向分子計算ステップと,前記値Mと前記値Dと前記値N2とから,値X2を求める後方向分子計算ステップと,過去に符号化されたフレームの動きベクトルと前記値Mと前記値X1とから,前方向動きベクトルを求める前方向動きベクトル計算ステップと,過去に符号化されたフレームの動きベクトルと前記値Mと前記値X2とから,後方向動きベクトルを求める後方向動きベクトル計算ステップと,前記前方向動きベクトルと前記後方向動きベクトルとを使い,両方向フレーム間予測符号化を行う両方向フレーム間予測符号化ステップと,前記値mを符号化するスケール分母符号化ステップと,前記値Dを符号化する目標スケール分母符号化ステップと,前記値N1を符号化する前方向目標スケール分子符号化ステップと,前記値N2を符号化する後方向目標スケール分子符号化ステップとを有することを特徴とする。

0019

また,第2の発明では,過去に符号化されたフレームF1の参照フレームF2に対する動きベクトルから,現フレームF3の参照フレームF2に対する前方向動きベクトルと,現フレームF3の参照フレームF1に対する後方向動きベクトルとを求め,両方向フレーム間予測符号化方式を使って画像情報を符号化する動画像符号化方法において,スケール分母値mを設定するスケール分母指定ステップと,2をm回べき乗した値Mを求める分母計算ステップと,前記値Mと,フレームF1とフレームF2との間の表示時間間隔T12と,現フレームF3とフレームF2との間の表示時間間隔T23とから,値X1を求める前方向分子計算ステップと,前記値Mと,フレームF1とフレームF2との間の表示時間間隔T12と,現フレームF3とフレームF1との間の表示時間間隔T13とから,値X2を求める後方向分子計算ステップと,過去に符号化されたフレームの動きベクトルと前記値Mと前記値X1とから,前方向動きベクトルを求める前方向動きベクトル計算ステップと,過去に符号化されたフレームの動きベクトルと前記値Mと前記値X2とから,後方向動きベクトルを求める後方向動きベクトル計算ステップと,前記前方向動きベクトルと前記後方向動きベクトルとを使い,両方向フレーム間予測符号化を行う両方向フレーム間予測符号化ステップと,前記値mを符号化するスケール分母符号化ステップと,現フレームF3の表示時刻情報を符号化する表示時刻符号化ステップとを有することを特徴とする。

0020

第1の発明によれば,directモードで動きベクトルを計算する際に,乗算する係数の符号量を軽減することができる。例えば式(2−1),(2−2)におけるX1とX2を計算によって求める場合には,式(3−1),(3−2),(3−3)に従って求める。ここで,割り算では四捨五入を行う。

0021

M=2m (3−1)
X1=M×N1/D (3−2)
X2=M×N2/D (3−3)
一般的に,DとN1の値はM=2m に比べて極小さな値となるため,X1に対しても,DとN1の値は極小さな値となる。したがって,値の大きな係数X1を符号化する方法に対して,本発明によれば,値の小さな係数DとN1を符号化することになり,符号量も削減することができる。同様に,DとN2の値はM=2m に比べて極小さな値となるため,X2に対しても,DとN2の値は極小さな値となる。したがって,値の大きな係数X2を符号化する方法に対して,本発明によれば,値の小さな係数DとN2を符号化することになり,符号量も削減することができる。

0022

なお,式(3−2),(3−3)では,割り算を行うことになるが,この計算は式(1−1),(1−2)とは異なり,フレームで1度だけ行うだけである。したがって,割り算における演算処理負荷は小さい。

0023

また,式(3−2),(3−3)のような計算を行わなくとも,目標スケール分母値Dと前方向目標スケール分子値N1と後方向目標スケール分子値N2の組み合わせに対するX1とX2の値を,予めテーブルとして記録しておく方法も可能である。これは,目標スケール分母値Dと前方向目標スケール分子値N1と後方向目標スケール分子値N2の組み合わせ数が少ない場合に,式(3−2),(3−3)の計算を省略することができるため有効である。

0024

第2の発明も,同様に,directモードで動きベクトルを計算する際に,乗算する係数の符号量を軽減することができる。例えば,式(2−1),(2−2)におけるX1とX2を計算によって求める場合には,以下の式(4−1),(4−2),(4−3)に従って求める。

0025

M=2m (4−1)
X1=M×T23/T12 (4−2)
X2=M×T13/T12 (4−3)
ここで,T12はフレームF1とフレームF2の間の表示時間間隔を,T23は現フレームF3とフレームF2の間の表示時間間隔を,T13は現フレームF3とフレームF1の間の表示時間間隔を示す。各フレームの表示時刻は各フレーム毎に符号化されるため,T12,T23,T13はこれらから計算する。一般的に,各フレームの表示時刻はフレームを出力する表示時刻を示すために符号化されるため,式(4−1),(4−2),(4−3)を計算するために必要な付加的な符号はmのみである。したがって,値X1やX2を符号化するよりも符号化効率が高い。

0026

なお,式(4−2),(4−3)では,割り算を行うことになるが,この計算は式(1−1),(1−2)とは異なり,フレームで1度だけ行うだけである。したがって,割り算における演算処理負荷は小さい。

0027

また,第1の発明と同様に,式(4−2),(4−3)のような計算を行わなくとも,T12とT23とT13の組み合わせに対するX1とX2の値を,予めテーブルとして記録しておく方法も可能である。これはT12とT23とT13の組み合わせ数が少ない場合に,式(4−2),(4−3)の計算を省略することができるため有効である。

課題を解決するための手段

0028

以上の処理は,コンピュータソフトウェアプログラムとによって実現することができ,そのプログラムは,コンピュータが読み取り可能な可搬媒体メモリ,半導体メモリハードディスク等の適当な記録媒体に格納することができる。

0029

図面を用いて,本発明の実施の形態を説明する。

0030

第1の実施の形態では,目標スケール分母と前方向目標スケール分子と後方向目標スケール分子を符号化し,これらから式(2−1),(2−2)における前方向分子X1と後方向分子X2を求めるものとする。

0031

まず,符号化装置の説明を行う。図1に,第1の実施の形態に係る画像符号化装置概要を示す。この画像符号化装置は,画像を入力する画像入力部101と,スケール分母値mを指定するスケール分母指定部102と,目標スケール分母値Dを指定する目標スケール分母指定部104と,前方向目標スケール分子値N1を指定する前方向目標スケール分子指定部105と,後方向目標スケール分子値N2を指定する後方向目標スケール分子指定部106と,2をm回べき乗した値Mを求める分母計算部103と,値Mと値Dと値N1から値X1を求める前方向分子計算部107と,値Mと値Dと値N2から値X2を求める後方向分子計算部108と,過去に符号化されたフレームの動きベクトルと値Mと値X1から,前方向動きベクトルを求める前方向動きベクトル計算部109と,過去に符号化されたフレームの動きベクトルと値Mと値X2から,後方向動きベクトルを求める後方向動きベクトル計算部110と,前方向動きベクトルと後方向動きベクトルを使い両方向フレーム間予測符号化を行う両方向フレーム間予測符号化部116と,スケール分母値mを符号化するスケール分母符号化部114と,目標スケール分母値Dを符号化する目標スケール分母符号化部111と,前方向目標スケール分子値N1を符号化する前方向目標スケール分子符号化部112と,後方向目標スケール分子値N2を符号化する後方向目標スケール分子符号化部113と,過去のフレームと現フレームとの間で動き探索を行って動きベクトルを求めてフレーム間予測符号化を行う前方向フレーム間予測符号化部115と,前方向フレーム間予測符号化部115で求めた動きベクトルを蓄積する動きベクトル蓄積部117を備える。

0032

図1において,スケール分母指定部102,分母計算部103,前方向分子計算部107,後方向分子計算部108が,本発明によっで新しく付加された部分である。従来技術では,目標スケール分母指定部104,前方向スケール分子指定部105,後方向スケール分子指定部106から直接,分子と分母の値が前方向動きベクトル計算部109と,後方向動きベクトル計算部110に入力された。

0033

画像入力部101から入力される画像は,3フレームに一度,前方向フレーム間予測符号化部115で符号化され,その他のフレームは,両方向フレーム間予測符号化部116で符号化されるものとする。

0034

スケール分母指定部102では,スケール分母値m=8を指定し,目標スケール分母指定部104では,目標スケール分母値D=3を指定し,前方向目標スケール分子指定部105では,前方向目標スケール分子値N1=1を指定し,後方向目標スケール分子指定部106では,後方向目標スケール分子値N2=2を指定するものとする。

0035

分母計算部103では,式(3−1)に従ってMを求めるものとする。前方向分子計算部107と後方向分子計算部108では,それぞれ式(3−2),(3−3)に従って,値X1と値X2を求めるものとする。これらの式中の割り算では四拾五入を行うものとする。

0036

前方向動きベクトル計算部109と後方向動きベクトル計算部110では,それぞれ式(2−1),(2−2)に従って動きベクトルを求めるものとする。ここで,割り算では四捨五入を行うものとする。

0037

前提として,直前のフレームは,前方向フレーム間予測符号化部115で符号化されており,動きベクトル蓄積部117には,その動きベクトルが蓄積されているものとする。

0038

このような前提で,画像入力部101からの入力画像は,両方向フレーム間予測符号化部116で,次のように符号化される。まず,分母計算部103が,式(3−1)に従って2をm回べき乗した値Mを計算する。ここでは,m=8であるため,M=256となる。前方向分子計算部107では,式(3−2)に従ってX1を計算する。ここでは,X1=256×1÷3=85と計算される。後方向分子計算部108では,式(3−3)に従ってX2を計算する。ここでは,X2=256×2÷3=171と計算される。

0039

前方向動きベクトル計算部109では,式(2−1)に従って前方向動きベクトルを計算する。後方向動きベクトル計算部110では,式(2−2)に従って後方向動きベクトルを計算する。両方向フレーム間予測符号化部116では,計算された前方向動きベクトルと後方向動きベクトルを使い,両方向フレーム間予測符号化を行う。

0040

続いて,スケール分母符号化部114は,スケール分母値mを符号化し,目標スケール分母符号化部111は,目標スケール分母値Dを符号化し,前方向目標スケール分子符号化部112は,前方向目標スケール分子値N1を符号化し,後方向目標スケール分子符号化部113は,後方向目標スケール分子値N2を符号化する。

0041

次に,復号装置の説明を行う。図2に,第1の実施の形態に係る画像復号装置の概要を示す。図1に示す画像符号化装置の実施の形態で得られた符号化データを復号する手順を説明する。

0042

画像復号装置は,スケール分母値mを復号するスケール分母復号部203と,目標スケール分母値Dを復号する目標スケール分母復号部205と,前方向目標スケール分子値N1を復号する前方向目標スケール分子復号部206と後方向目標スケール分子値N2を復号する後方向目標スケール分子復号部207と,2をm回べき乗した値Mを求める分母計算部204と,値Mと値Dと値N1から値X1を求める前方向分子計算部208と,値Mと値Dと値N2から値X2を求める後方向分子計算部209と,過去に復号されたフレームの動きベクトルと値Mと値X1から,前方向動きベクトルを求める前方向動きベクトル計算部210と,過去に復号されたフレームの動きベクトルと値Mと値X2から,後方向動きベクトルを求める後方向動きベクトル計算部211と,前方向動きベクトルと後方向動きベクトルを使い両方向フレーム間予測復号を行う両方向フレーム間予測復号部202と,過去のフレームとの動きベクトルを復号しフレーム間予測復号を行う前方向フレーム間予測復号部201と,前方向フレーム間予測復号部201で求めた動きベクトルを蓄積する動きベクトル蓄積部212を備える。

0043

前提として,直前のフレームは前方向フレーム間予測復号部201で復号されており,動きベクトル蓄積部212にはその動きベクトルが蓄積されているものとする。現フレームは,両方向フレーム間予測符号化で符号化されていることが分かっているものとする。

0044

このような前提で,入力された符号化データは次のように復号される。まず,スケール分母復号部203は,スケール分母値mを復号し,目標スケール分母復号部205は,目標スケール分母値Dを復号し,前方向目標スケール分子復号部206は,前方向目標スケール分子値N1を復号し,後方向目標スケール分子復号部207は,後方向目標スケール分子値N2を復号する。ここでは,m=8,D=3,N1=1,N2=2と復号される。

0045

続いて,分母計算部204が,式(3−1)に従って2をm回べき乗した値Mを計算する。ここでは,M=256となる。前方向分子計算部208では,式(3−2)に従ってX1を計算する。ここでは,X1=85と計算される。後方向分子計算部209では,式(3−3)に従ってX2を計算する。ここでは,X2=171と計算される。

0046

前方向動きベクトル計算部210では,式(2−1)に従って前方向動きベクトルを計算する。後方向動きベクトル計算部211では,式(2−2)に従って後方向動きベクトルを計算する。両方向フレーム間予測復号部202では,計算された前方向動きベクトルと後方向動きベクトルを使い,両方向フレーム間予測復号を行う。

0047

以上の例では,フレーム毎に1度,両方向フレーム間予測符号化と復号を行う動作例を示したが,フレームをマクロブロック等の領域に分割し,マクロブロック毎に,両方向フレーム間予測符号化と復号を行っても良い。また,フレーム内で,マクロブロック毎に,前方向フレーム間予測符号化と両方向フレーム間予測符号化を変更しても良い。

0048

また,前方向分子計算部107,208と後方向分子計算部108,209では,式(3−2),(3−3)に従ってX1とX2を求めたが,各mとDとN1またはN2の組み合わせに対して,X1とX2を対比したテーブルを画像符号化装置と画像復号装置に予め用意しておき,テーブルルックアップによって,X1とX2の値を求める方法も可能である。

0049

次に,第2の実施の形態について説明する。第2の実施の形態では,各フレームの表示時刻情報から式(2−1),(2−2)における前方向分子X1と後方向分子X2を求めるものとする。

0050

まず,符号化装置の説明を行う。図3に,第2の実施の形態に係る画像符号化装置の概要を示す。第2の実施の形態の画像符号化装置は,画像を入力する画像入力部101と,スケール分母値mを指定するスケール分母指定部102と,現フレームの表示時刻を指定する表示時刻指定部118と,2をm回べき乗した値Mを求める分母計算部103と,値X1を求める前方向分子計算部107と,値X2を求める後方向分子計算部108と,過去に符号化されたフレームの動きベクトルと値Mと値X1から,前方向動きベクトルを求める前方向動きベクトル計算部109と,過去に符号化されたフレームの動きベクトルと値Mと値X2から,後方向動きベクトルを求める後方向動きベクトル計算部110と,前方向動きベクトルと後方向動きベクトルを使い両方向フレーム間予測符号化を行う両方向フレーム間予測符号化部116と,スケール分母値mを符号化するスケール分母符号化部114と,現フレームの表示時刻情報を符号化する表示時刻符号化部120と,過去のフレームと現フレームとの間で動き探索を行って動きベクトルを求めてフレーム間予測符号化を行う前方向フレーム間予測符号化部115と,前方向フレーム間予測符号化部115で求めた動きベクトルを蓄積する動きベクトル蓄積部117と,過去のフレームの表示時刻情報を蓄積する表示時刻蓄積部119を備える。

0051

図3において,スケール分母指定部102,分母計算部103,前方向分子計算部107,後方向分子計算部108が,本発明によっで新しく付加された部分である。従来技術では,表示時刻指定部118から直接,時刻情報が前方向動きベクトル計算部109と,後方向動きベクトル計算部110に入力された。

0052

画像入力部101から入力される画像は,3フレームに一度,前方向フレーム間予測符号化部115で符号化され,その他のフレームは,両方向フレーム間予測符号化部116で符号化されるものとする。

0053

スケール分母指定部102では,スケール分母値m=8を指定するものとする。表示時刻指定部118では,現フレームF3の表示時刻T3=13を指定するものとする。

0054

分母計算部103では,式(4−1)に従ってMを求めるものとする。前方向分子計算部107と後方向分子計算部108では,それぞれ式(4−2),(4−3)に従って,値X1と値X2を求めるものとする。これらの式中の割り算では四捨五入を行うものとする。

0055

前方向動きベクトル計算部109と後方向動きベクトル計算部110では,それぞれ式(2−1),(2−2)に従って,動きベクトルを求めるものとする。これらの式中の割り算では四捨五入を行うものとする。

0056

前提として,直前のフレームF1は,フレームF2を参照フレームとして,前方向フレーム間予測符号化部115で符号化されており,動きベクトル蓄積部117には,その動きベクトルが蓄積されているものとする。また,直前のフレームF1とフレームF2の表示時刻情報T1とT2は,表示時刻蓄積部119に蓄積されているものとする。ここでは,T1=15,T2=12であるとする。

0057

このような前提で,現フレームF3の入力画像は,両方向フレーム間予測符号化部116で,次のように符号化される。現フレームF3の表示時刻を,T3=13とする。

0058

まず,分母計算部103が,式(4−1)に従って2をm回べき乗した値Mを計算する。ここでは,m=8であるため,M=256となる。前方向分子計算部107では,まず,フレームF1とフレームF2の表示時間間隔T12=T1−T2=3を計算し,フレームF3とフレームF2の表示時間間隔T23=T3−T2=1を計算し,式(4−2)に従ってX1を計算する。ここでは,X1=85と計算される。後方向分子計算部108では,まず,フレームF1とフレームF2の表示時間間隔T12=T1−T2=3を計算し,フレームF3とフレームF1の表示時間間隔T13=T1−T3=2を計算し,式(4−3)に従ってX2を計算する。ここでは,X2=171と計算される。

0059

前方向動きベクトル計算部109では,式(2−1)に従って前方向動きベクトルを計算する。後方向動きベクトル計算部110では,式(2−2)に従って後方向動きベクトルを計算する。両方向フレーム間予測符号化部116では,計算された前方向動きベクトルと後方向動きベクトルを使い,両方向フレーム間予測符号化を行う。

0060

続いて,スケール分母符号化部114は,スケール分母値mを符号化し,表示時刻符号化部120は,現フレームF3の表示時刻情報T3を符号化する。

0061

次に,復号装置の説明を行う。図4に,第2の実施の形態に係る画像復号装置の概要を示す。図3に示す画像符号化装置で得られた符号化データを復号する手順を説明する。

0062

画像復号装置は,スケール分母値mを復号するスケール分母復号部203と,現フレームの表示時刻情報を復号する表示時刻復号部213と,2をm回べき乗した値Mを求める分母計算部204と,値X1を求める前方向分子計算部208と,値X2を求める後方向分子計算部209と,過去に復号されたフレームの動きベクトルと値Mと値X1から,前方向動きベクトルを求める前方向動きベクトル計算部210と,過去に復号されたフレームの動きベクトルと値Mと値X2から,後方向動きベクトルを求める後方向動きベクトル計算部211と,前方向動きベクトルと後方向動きベクトルを使い両方向フレーム間予測復号を行う両方向フレーム間予測復号部202と,過去のフレームとの動きベクトルを復号しフレーム間予測復号を行う前方向フレーム間予測復号部201と,前方向フレーム間予測復号部201で求めた動きベクトルを蓄積する動きベクトル蓄積部212と,過去のフレームの表示時刻情報を蓄積する表示時刻蓄積部214を備える。

0063

前提として,直前のフレームは前方向フレーム間予測復号部201で復号されており,動きベクトル蓄積部212にはその動きベクトルが蓄積されているものとする。現フレームは,両方向フレーム間予測符号化で符号化されていることが分かっているものとする。また,直前のフレームF1とフレームF2の表示時刻情報T1とT2は表示時刻蓄積部214に蓄積されているものとする。ここでは,T1=15,T2=12であるとする。

0064

このような前提で,現フレームF3は次のように復号される。まず,スケール分母復号部203は,スケール分母値mを復号し,表示時刻復号部213は,現フレームF3の表示時刻情報T3を復号する。ここでは,m=8,T3=13と復号される。

0065

続いて,分母計算部204が,式(4−1)に従って2をm回べき乗した値Mを計算する。ここでは,m=8であるためM=256となる。前方向分子計算部208では,まず,フレームF1とフレームF2の表示時間間隔T12=T1−T2=3を計算し,フレームF3とフレームF2の表示時間間隔T23=T3−T2=1を計算し,式(4−2)に従ってX1を計算する。ここでは,X1=85と計算される。後方向分子計算部209では,まず,フレームF1とフレームF2の表示時間間隔T12=T1−T2=3を計算し,フレームF3とフレームF1の表示時間間隔T13=T1−T3=2を計算し,式(4−3)に従ってX2を計算する。ここでは,X2=171と計算される。

0066

前方向動きベクトル計算部210では,式(2−1)に従って前方向動きベクトルを計算する。後方向動きベクトル計算部211では,式(2−2)に従って後方向動きベクトルを計算する。両方向フレーム間予測復号部202では,計算された前方向動きベクトルと後方向動きベクトルを使い,両方向フレーム間予測復号を行う。

0067

以上の例では,フレーム毎に1度,両方向フレーム間予測符号化と復号を行う動作例を示したが,フレームをマクロブロック等の領域に分割し,マクロブロック毎に,両方向フレーム間予測符号化と復号を行っても良い。またフレーム内で,マクロブロック毎に,前方向フレーム間予測符号化と両方向フレーム間予測符号化を変更しても良い。

0068

また,前方向分子計算部107,208と後方向分子計算部108,209では,式(4−2),(4−3)に従ってX1とX2を求めたが,各mとT12とT23またはT13の組み合わせに対して,X1とX2を対比したテーブルを画像符号化装置と画像復号装置に予め用意しておき,テーブルルックアップによってX1とX2の値を求める方法も可能である。

0069

ここで,従来の技術と本発明の技術とについて,具体的な数値を用いて比較をすることにより,本発明の効果を確認する。

0070

まず,処理負荷の大きい割り算の回数削減による演算量削減効果についての比較を行う。従来における割り算演算の処理負荷については,非特許文献1に記載されている。従来の技術では,式(1−1),(1−2)を用いて,画面内のマクロブロック数だけ割り算演算を実行する必要がある。例えば,縦352画素×横288画素の画面において,縦16画素×横16画素のマクロブロック毎に動きベクトルを計算する場合には,22×18=396回の割り算が必要となる。これに対して,本発明の技術では,フレームに対して1回のみ,割り算を行えばよい。

0071

次に,符号量削減処理についての比較を行う。ここでは,符号化にGolomb符号(非特許文献2参照)を用いるものとする。また,数値としては,上記第1の実施の形態で用いた,X1=85,X2=171,m=8,D=3,N1=1,N2=2を用いるものとする。例えば,X1=85,X2=171を符号化する従来の技術では,それらをGolomb符号で表すと,X1が13ビット,X2が15ビット必要となり,合計で28ビットが必要となる。これに対して,m=8,D=3,N1=1,N2=2を符号化する本発明の技術では,それらをGolomb符号で表すと,mが7ビット,Dが3ビット,N1とN2が3ビット必要となり,合計で16ビットで済むようになる。

発明を実施するための最良の形態

0072

このように,本実施の形態によれば,directモードで動きベクトルを計算する際に,割り算に必要な演算処理負荷を軽減し,乗算する係数の符号量を軽減することができる。

図面の簡単な説明

0073

本発明によれば,過去に符号化されたフレームの動きベクトルから,前方向動きベクトルと後方向動きベクトルを求め,両方向フレーム間予測符号化方式を使って画像情報を符号化するdirectモード動画像符号化方法において,前方向動きベクトルと後方向動きベクトルを求める際に必要な割り算に関する演算処理量を軽減することができ,処理負荷を軽減することができる。また乗算に必要な係数の符号量を軽減し,符号化効率を向上することができる。

図1
第1の実施の形態の画像符号化装置の例を示す図である。
図2
第1の実施の形態の画像復号装置の例を示す図である。
図3
第2の実施の形態の画像符号化装置の例を示す図である。
図4
第2の実施の形態の画像復号装置の例を示す図である。
図5
予測関係の例を説明するための図である。
図6
directモードにおける動きベクトルの関係を説明するための図である。
【符号の説明】
101画像入力部
102スケール分母指定部
103 分母計算部
104目標スケール分母指定部
105 前方向目標スケール分子指定部
106後方向目標スケール分子指定部
107 前方向分子計算部
108 後方向分子計算部
109 前方向動きベクトル計算部
110 後方向動きベクトル計算部
111 目標スケール分母符号化部
112 前方向目標スケール分子符号化部
113 後方向目標スケール分子符号化部
114 スケール分母符号化部
115 前方向フレーム間予測符号化部
116 両方向フレーム間予測符号化部
117 動きベクトル蓄積部
118表示時刻指定部
119 表示時刻蓄積部
120 表示時刻符号化部
201 前方向フレーム間予測復号部
202 両方向フレーム間予測復号部
203 スケール分母復号部
204 分母計算部
205 目標スケール分母復号部
206 前方向目標スケール分子復号部
207 後方向目標スケール分子復号部
208 前方向分子計算部
209 後方向分子計算部
210 前方向動きベクトル計算部
211 後方向動きベクトル計算部
212 動きベクトル蓄積部
213 表示時刻復号部
214 表示時刻蓄積部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 株式会社東芝の「 AD変換回路」が 公開されました。( 2020/09/24)

    【課題】一つの実施形態は、信号に含まれる誤差を低減できるAD変換回路を提供することを目的とする。【解決手段】一つの実施形態によれば、AD変換回路の第1のΔΣ変換回路において、第1の量子化器は、1.5ビ... 詳細

  • 株式会社デンソーの「 データ圧縮方法、データ圧縮装置」が 公開されました。( 2020/09/24)

    【課題】データを可逆的且つ効率よく圧縮することができるデータ圧縮方法、データ圧縮装置を提供する。【解決手段】実施形態のデータ圧縮方法は、文字および数字の少なくとも一方を含むデータを圧縮するものであって... 詳細

  • シャープ株式会社の「 画像スケーリング変換、逆変換装置及び方法」が 公開されました。( 2020/09/24)

    【課題】画質の低下を抑制可能な画像処理装置を実現する。【解決手段】画素スケーリング階調変換部(51)は、入力画像の各画素値にオフセットを加算又は減算したうえでスケーリングすることによりスケーリング済画... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ