図面 (/)

技術 映像符号化方法、映像符号化装置及び映像符号化プログラム

出願人 日本電信電話株式会社
発明者 高村誠之清水淳
出願日 2015年11月17日 (3年8ヶ月経過) 出願番号 2015-224697
公開日 2017年5月25日 (2年2ヶ月経過) 公開番号 2017-092886
状態 特許登録済
技術分野 TV信号の圧縮,符号化方式
主要キーワード フィルタ制御情報 参照単位 雑音重畳 映像対象 マルチモ 平均効果 頻度ヒストグラム 蓄積フレーム
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年5月25日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (9)

課題

国際規格準拠しつつ、より少ない符号量でより高い品質復号映像を得ることができる映像符号化方法を提供する。

解決手段

入力映像の信号を符号化する映像符号化装置が行う映像符号化方法であって、入力映像の複数フレームから背景画像を生成する背景画像生成ステップと、背景画像をフレーム間動き補償符号化する符号化ステップと、背景画像の符号に長期間参照フレーム指示及び非表示指示を付加する指示付加ステップとを有する映像符号化方法である。

概要

背景

固定カメラ撮影は、映像における最も基本となるカメラワークである。監視カメラテレビ会議遠隔講義スタジオ番組なども、固定されたカメラにより撮影されることが多い。かかる映像コンテンツは特に、録画が長時間に及ぶ・頻繁に用いられる・長期間の保存が求められる・帯域削減が求められる・解像度が高い等という特徴を持っている。

一般に映像を蓄積伝送する際、映像圧縮符号化技術が用いられるが、固定カメラ映像については上記の理由により、符号化を効率化することによるメリットが大きいため、効率の改善が強く望まれる映像対象である。

映像符号化国際規格H.264/AVC(Advanced Video Coding、例えば、非特許文献1参照)およびH.265/HEVC(High Efficiency Video Coding、例えば、非特許文献2参照)は、テレビ会議などでの利用を想定した「長期間参照フレーム」という機構を有している。これは、テレビ会議における背景のように長時間変化しない画像等を長期間フレームメモリに格納し、符号化・復号時に参照をし続けられるようにし、以て符号化効率を向上させるための技術である。同時に、伝送路誤りに対しても頑健になるという特徴がある。

また、前述の2つの国際規格では、符号化フレームに「非表示指示」をつけることができる。このように指示されたフレームは、映像復号装置では表示または出力がなされない。これは、具体的には符号化ストリーム内のスライスヘッダと言われる部分において、シンタクス要素output_flag_present_flagを1、pic_output_flagを0とすることで実現される。

映像符号化国際規格MPEG−4(例えば、非特許文献3参照)は、必ずしも固定されていないカメラの動きに応じ事前に映像の各フレームを移動・変形したもの複数枚から合成した、一般に一フレームより縦横画素数の大きな背景画像(スプライトと呼ばれる)を符号化し、それを逐次切り出して符号化対象フレームに対応する背景予測画面を生成できる。背景に含まれない、手前の物体(前景オブジェクトと呼ばれる)は、別途その形状と絵柄を符号化し、背景に重畳して表示できる。この規格に基づいた方式として非特許文献4や非特許文献5があり、オフライン処理前提とし前景と背景を明に分離後に符号化する。

また、非特許文献6の方法は、前景と背景の分離を明には行わず、背景画像と入力フレーム差分信号を符号化する。背景と差分信号は別々に符号化され、二つのビットストリームが伝送される。

さらに、非特許文献7のMcFIS−I方式は、固定カメラ映像から背景画像を生成し、それを映像シーケンスに先立ち先頭のIフレームとして符号化し、長時間参照フレームに保存し、もともとの映像シーケンスを、そのフレームを参照しながら符号化する方法である。この方式ではH.264/AVC等に準拠した符号ストリームが生成される。H.265/HEVCにも原理的に対応は可能である。また背景の部分的・全体的な揺れにも対応できる。さらにシーンチェンジを検出した際に背景をIフレームとして伝送しなおすため、背景の変動にも対応できる。また、同じく非特許文献7のMcFIS−D方式は、背景画像を生成符号化することなく、復号された情報から動的に背景画像を生成し参照する方法である。

概要

国際規格に準拠しつつ、より少ない符号量でより高い品質復号映像を得ることができる映像符号化方法を提供する。入力映像の信号を符号化する映像符号化装置が行う映像符号化方法であって、入力映像の複数フレームから背景画像を生成する背景画像生成ステップと、背景画像をフレーム間動き補償符号化する符号化ステップと、背景画像の符号に長期間参照フレーム指示及び非表示指示を付加する指示付加ステップとを有する映像符号化方法である。

目的

本発明は、このような事情に鑑みてなされたもので、国際規格に準拠しつつ、より少ない符号量でより高い品質の復号映像を得ることができる映像符号化方法、映像符号化装置及び映像符号化プログラムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

入力映像の信号を符号化する映像符号化装置が行う映像符号化方法であって、前記入映像複数フレームから背景画像を生成する背景画像生成ステップと、前記背景画像をフレーム間動き補償符号化する符号化ステップと、前記背景画像の符号に長期間参照フレーム指示及び非表示指示を付加する指示付加ステップとを有する映像符号化方法。

請求項2

前記入力映像を予測する際、前記背景画像のフレームを参照している領域の面積を取得する面積取得ステップと、前記面積のフレーム全体に占める割合が所定の閾値を下回った場合は前記入力映像から再度背景画像を生成する背景画像再生成ステップとをさらに有する請求項1に記載の映像符号化方法。

請求項3

前記入力映像を符号化する際、前記背景画像のフレームを参照して生成された予測残差信号に対しては、所定のフィルタ処理を施すフィルタリングステップをさらに有する請求項1に記載の映像符号化方法。

請求項4

入力映像の信号を符号化する映像符号化装置であって、前記入力映像の複数フレームから背景画像を生成する背景画像生成手段と、前記背景画像をフレーム間動き補償符号化する符号化手段と、前記背景画像の符号に長期間参照フレーム指示及び非表示指示を付加する指示付加手段とを備える映像符号化装置。

請求項5

コンピュータに、請求項1から3のいずれか1項に記載の映像符号化方法を実行させるための画像符号化プログラム

技術分野

背景技術

0002

固定カメラ撮影は、映像における最も基本となるカメラワークである。監視カメラテレビ会議遠隔講義スタジオ番組なども、固定されたカメラにより撮影されることが多い。かかる映像コンテンツは特に、録画が長時間に及ぶ・頻繁に用いられる・長期間の保存が求められる・帯域削減が求められる・解像度が高い等という特徴を持っている。

0003

一般に映像を蓄積伝送する際、映像圧縮符号化技術が用いられるが、固定カメラ映像については上記の理由により、符号化を効率化することによるメリットが大きいため、効率の改善が強く望まれる映像対象である。

0004

映像符号化国際規格H.264/AVC(Advanced Video Coding、例えば、非特許文献1参照)およびH.265/HEVC(High Efficiency Video Coding、例えば、非特許文献2参照)は、テレビ会議などでの利用を想定した「長期間参照フレーム」という機構を有している。これは、テレビ会議における背景のように長時間変化しない画像等を長期間フレームメモリに格納し、符号化・復号時に参照をし続けられるようにし、以て符号化効率を向上させるための技術である。同時に、伝送路誤りに対しても頑健になるという特徴がある。

0005

また、前述の2つの国際規格では、符号化フレームに「非表示指示」をつけることができる。このように指示されたフレームは、映像復号装置では表示または出力がなされない。これは、具体的には符号化ストリーム内のスライスヘッダと言われる部分において、シンタクス要素output_flag_present_flagを1、pic_output_flagを0とすることで実現される。

0006

映像符号化国際規格MPEG−4(例えば、非特許文献3参照)は、必ずしも固定されていないカメラの動きに応じ事前に映像の各フレームを移動・変形したもの複数枚から合成した、一般に一フレームより縦横画素数の大きな背景画像(スプライトと呼ばれる)を符号化し、それを逐次切り出して符号化対象フレームに対応する背景予測画面を生成できる。背景に含まれない、手前の物体(前景オブジェクトと呼ばれる)は、別途その形状と絵柄を符号化し、背景に重畳して表示できる。この規格に基づいた方式として非特許文献4や非特許文献5があり、オフライン処理前提とし前景と背景を明に分離後に符号化する。

0007

また、非特許文献6の方法は、前景と背景の分離を明には行わず、背景画像と入力フレーム差分信号を符号化する。背景と差分信号は別々に符号化され、二つのビットストリームが伝送される。

0008

さらに、非特許文献7のMcFIS−I方式は、固定カメラ映像から背景画像を生成し、それを映像シーケンスに先立ち先頭のIフレームとして符号化し、長時間参照フレームに保存し、もともとの映像シーケンスを、そのフレームを参照しながら符号化する方法である。この方式ではH.264/AVC等に準拠した符号ストリームが生成される。H.265/HEVCにも原理的に対応は可能である。また背景の部分的・全体的な揺れにも対応できる。さらにシーンチェンジを検出した際に背景をIフレームとして伝送しなおすため、背景の変動にも対応できる。また、同じく非特許文献7のMcFIS−D方式は、背景画像を生成符号化することなく、復号された情報から動的に背景画像を生成し参照する方法である。

先行技術

0009

ISO/IEC14496-10:2014 Information technology -- Coding of audio-visual objects -- Part 10: Advanced Video Coding
ISO/IEC 23008-2:2015 Information technology -- High efficiency coding and media delivery in heterogeneous environments -- Part 2: High efficiency video coding
ISO/IEC 14496-2:2004 Information technology -- Coding of audio-visual objects -- Part 2: Visual
岡田重樹, 秦久美, 渡辺裕, 小林直樹,スプライト符号化を利用したMPEG-4マルチモード符号化方式の研究, 2000年画像符号化シンポジウム, P-P2.5, Nov. 2000
A. Hakeem, K. Shafique, M.Shah, "An Object-based Video Coding Framework for Video Sequences Obtained From Static Cameras", Proc.ACM-MM, pp. 608-617, Nov. 2005
X. Zhang, L. Liang, Q. Huang, Y. Liu, T. Huang, W. Gao, "An Efficient Coding Scheme for Surveillance Videos Captured by Stationary Cameras", Proc.VCIP2010, vol. SPIE7744, pp. 7442A-1-10, July 2010
M. Paul, W. Lin, C. Lau, B. Lee, "A Long-Term Reference Frame for Hierarchical B-Picture-Based Video Coding",IEEE Tr. CSVT, vol. 24, issue 10, pp. 1729-1742, Oct. 2014

発明が解決しようとする課題

0010

ところで、非特許文献4、5の方法は、入力画背景画との差分の閾値処理を施すことで前景を生成・分離し、背景と別扱いする手順および符号化する必要があったため、そのための処理が必要であった。また背景生成については、映像フレーム非線形な変形と合成といった、複雑な処理が必要で、実時間処理には向かないという問題がある。また、背景の全体の揺れは表現できるが部分の揺れは表現できない。背景に明るさや絵柄の変化が生じた場合も対応できず、画面間予測の効率が低下し、符号量の増大や画質の低下を招いていた。

0011

また、前景と背景を分けて符号化するオブジェクト対応符号化方式(独自方式もしくはかかる符号化に対応した唯一の国際規格MPEG−4を用いる必要があり、一般映像に対してより符号化効率の高いH.264/AVCやH.265/HEVCを用いることができなかった。

0012

また、非特許文献6の方法は、H.264/AVCを用いるものであるがビットストリームが複数生成されるためその統合と分離の処理が余分に必要であった。また背景が微小に揺れる場合は補償されないため差分信号の増大を招いていた。

0013

また、非特許文献7のMcFIS−I法は、前景を分離することなく、またMPEG−4を用いず、H.264/AVCあるいはH.265/HEVC等の国際規格に準拠しうるものであるが、背景生成は多数のパラメータを必要とする複雑な方法で行っていた。また背景の変動が起きた場合に改めて背景画像をIフレームとして挿入するため、背景変化にも対応は可能である。しかしながら、符号化済みフレームの情報を用いない画面内符号化(Iフレーム符号化)を行うため符号量が増大するという問題がある。

0014

非特許文献7のMcFIS−D法は、復号側の手順がH.264/AVCあるいはH.265/HEVCと異なるため、これらの復号器やビットストリームが国際規格に準拠したものではなく、既存の規格準拠復号装置では再生できないという問題があった。また符号化側と復号側でともに背景を動的に生成するため、特に復号側の負荷が従来方式より増大するという問題がある。

0015

さらに、映像の画素信号値には雑音が、状況により強弱の差はあるが、撮像した時点で必ず重畳している。背景画像を作成する際、時間的な平均効果が施されるため、雑音をある程度除くことができる。背景画像からのフレーム間予測により、符号化対象フレームを予測する場合、符号化対象フレームに元々含まれる雑音は予測残差に現れることになるが、従来はこの予測残差をそのまま符号化しようとしていた。雑音の低減した背景画像を作ったにも関わらず、改めて雑音を符号化することは無駄であるが、従来はこの無駄により効率の低下が生じるという問題がある。

0016

本発明は、このような事情に鑑みてなされたもので、国際規格に準拠しつつ、より少ない符号量でより高い品質復号映像を得ることができる映像符号化方法、映像符号化装置及び映像符号化プログラムを提供することを目的とする。

課題を解決するための手段

0017

本発明の一態様は、入力映像の信号を符号化する映像符号化装置が行う映像符号化方法であって、前記入力映像の複数フレームから背景画像を生成する背景画像生成ステップと、前記背景画像をフレーム間動き補償符号化する符号化ステップと、前記背景画像の符号に長期間参照フレーム指示及び非表示指示を付加する指示付加ステップとを有する映像符号化方法である。

0018

本発明の一態様は、前記映像符号化方法であって、前記入力映像を予測する際、前記背景画像のフレームを参照している領域の面積を取得する面積取得ステップと、前記面積のフレーム全体に占める割合が所定の閾値を下回った場合は前記入力映像から再度背景画像を生成する背景画像再生成ステップとをさらに有する。

0019

本発明の一態様は、前記映像符号化方法であって、前記入力映像を符号化する際、前記背景画像のフレームを参照して生成された予測残差信号に対しては、所定のフィルタ処理を施すフィルタリングステップをさらに有する。

0020

本発明の一態様は、入力映像の信号を符号化する映像符号化装置であって、前記入力映像の複数フレームから背景画像を生成する背景画像生成手段と、前記背景画像をフレーム間動き補償符号化する符号化手段と、前記背景画像の符号に長期間参照フレーム指示及び非表示指示を付加する指示付加手段とを備える映像符号化装置である。

0021

本発明の一態様は、コンピュータに、前記映像符号化方法を実行させるための画像符号化プログラムである。

発明の効果

0022

本発明によれば、映像符号化において、背景部分の予測効率を高めることができるため、より少ない符号量でより高い品質の復号映像が得られるという効果が得られる。

図面の簡単な説明

0023

一般的な映像符号化装置の構成を示すブロック図である。
図1に示す映像符号化装置の処理動作を示すフローチャートである。
背景画像生成装置の動作を示す説明図である。
背景画像を生成する処理の動作を示すフローチャートである。
本発明の第1実施形態における映像符号化装置の構成をブロック図である。
本発明の第2実施形態における映像符号化装置の構成をブロック図である。
図6に示す映像符号化装置の動作を示すフローチャートである。
本発明の第3実施形態における映像符号化装置の構成を示すブロック図である。

実施例

0024

<第1実施形態>
以下、図面を参照して、本発明の第1実施形態による映像符号化装置を説明する。始めに、H.265/HEVCやH.264/AVCその他の一般的な映像符号化装置の構成を説明する。図1は、一般的な映像符号化装置の構成を示すブロック図である。図1に示す映像符号化装置は、符号化対象映像信号100を入力し、ブロックに分割してブロック毎に符号化し、符号化データ106として出力する。映像符号化装置は、減算部102、変換部103、量子化部104、エントロピー符号化部105、逆量子化部107、逆変換部108、加算部109、歪除去フィルタ110、フレームメモリ111、画面内予測部112、画面間予測部113を備える。

0025

次に、図2を参照して、図1に示す映像符号化装置の処理動作を説明する。図2は、図1に示す映像符号化装置の処理動作を示すフローチャートである。まず映像のブロックは、H.265/HEVCではPrediction Unit、予測単位と呼ばれる処理単位ごとに別途生成される予測信号101を減算部102において減算し、予測残差信号119とする(ステップS1)。この予測残差信号119を変換部103において変換(DCT)し、量子化部104において量子化し(ステップS2)、エントロピー符号化部105においてエントロピー符号化して、符号化データ106として出力する(ステップS3)。

0026

一方、量子化後の値は逆量子化部107において逆量子化し、逆変換部108において逆変換(逆DCT)を施し(ステップS4)、加算部109において予測信号101と加算して復号画像再現する(ステップS5)。続いて、その信号に対し、歪除去フィルタ110において歪除去を施し(ステップS6)、フレームメモリ111に記憶する(ステップS7)。

0027

蓄えられる信号は、本映像符号化装置に対応する画像復号装置が求める復号映像信号と同じ信号となる。メモリ内の信号は、通常は所定の時刻が経過すると消去される。ただし長時間参照フレーム指示のついた信号は、明示的に別途指示があるまでフレームメモリに残り続ける。また参照されないという指示がついた信号は、フレームメモリに記憶されない。

0028

このフレームメモリの内容を用いて画面内予測部112または画面間予測部113により、次に予測する単位の予測信号101を生成する(ステップS8)。動き補償予測を行わずフレーム内の予測単位がすべて画面内予測され符号化されるフレームをI(Intra)フレームと呼ぶ。

0029

次に、背景画像生成装置について説明する。図3は、背景画像生成装置の動作を示す説明図である。図3に示す背景画像生成装置は、別途与えられるフレーム使用枚数N(Nは自然数)に基づき、入力映像の時系列画素値演算を施すことを繰り返し、背景画像を生成する。ここで、画像内の特定の位置に着目した時系列画素値がp1、p2、・・・、pNとなっているとし、演算結果をqとする。画像内のすべての画素位置について同様の演算を施して、一枚の背景画像を生成する。

0030

施す演算として、例えば平均値(p1+p2+・・・+pN)/Nや、p1〜pNのメディアン値モード値等を用いることができる。この演算を、各画素位置で時系列画素値を求めることなく、ヒストグラムにより等価に求める具体的な方法について以降説明する。

0031

ここでは0から255の整数値をとる8ビット画像の場合での説明を行うが、8ビットを超えるまたは下回る映像信号については画素値の取りうる範囲が変化するだけの単純な変更で対応できるために説明を省略する。またカラー画像は「赤青緑」もしくは「輝度および色差2種」の3要素で画素値が表現されるが、各要素について以降の処理を独立に行う。

0032

本実施形態では例えば、画面内各画素位置に画素値頻度ヒストグラムを持たせる。そのためにW(幅)×H(高さ)×256の要素を持つ3次元配列A[1..W][1..H][0..255]を用意し、処理に先立ち配列の全要素を0で初期化する。ここでWは画像の縦方向画素数、Hは画像の縦方向の画素数である。

0033

入力されるフレームを処理するたびに、全画素位置(x,y)について、配列Aを次のように更新する。
A[x][y][I(x,y)]:=A[x][y][I(x,y)]+1
ここでI(x,y)は、対象フレームの画素位置(x,y)における画素値である。
これを入力されるフレームの数(N)だけ繰り返す。

0034

このようにして配列Aが得られたのち、以下のように背景画像を作ることができる。各画素位置(x,y)について、平均値は



として求められる。

0035

メディアン値は



として求められる。

0036

またモード値は



として求められる。

0037

なおMcFIS−Iでは、各画素位置の特徴量を過去の履歴から適応的に場合分けして保持し、時間的に新しい画素ほど大きな重みをつけた平均値としており、本手法よりも演算量は大きい。

0038

この処理の流れを図4を参照して説明する。図4は、背景画像を生成する処理の動作を示すフローチャートである。まず、背景画像生成装置は、ヒストグラムを初期化する(ステップS11)。そして、背景画像生成装置は、処理対象フレームを1枚読み込む(ステップS12)。背景画像生成装置は、読み込んだフレームの各画素位置(x,y)の画素値I(x,y)を得て(ステップS13)、それを該位置ヒストグラムA[x][y][I(x,y)]に加算する(ステップS14)。

0039

次に、背景画像生成装置は、全画素位置を終えたか判定し(ステップS15)、NoであればステップS13に戻る。一方、Yesであれば、背景画像生成装置は、N枚全ての処理対象フレームを終えたかを判定し(ステップS16)、NoであればステップS12に戻る。Yesであれば、背景画像生成装置は、各画素位置(x,y)のヒストグラムA[x][y][0〜255]を取得し(ステップS17)、前述の平均やメディアン等の演算を施す(ステップS18)。

0040

次に、背景画像生成装置は、その結果を背景画像メモリの該位置(x,y)に保存する(ステップS19)。そして、背景画像生成装置は、全画素位置を終えたか判定し(ステップS20)、NoであればステップS17に戻る。Yesであれば、背景画像生成装置は、背景画像メモリの内容を背景画像信号として出力し終了する(ステップS21)。

0041

次に、図5を参照して、本発明の第1実施形態における映像符号化装置の構成を説明する。図5は、同実施形態における映像符号化装置の構成を示すブロック図である。映像信号300は、図1に示す映像符号化装置と同様の符号化装置301および図3、4に動作を示した背景画像生成装置と同様の背景画像生成装置302に入力される。背景画像生成装置302は背景画像信号303を生成する。

0042

最初のNフレームが経過すると、符号化装置301に背景画像信号303が入力される。符号化装置301はその背景画像を、既に符号化されたN枚の復号画像の全てまたは一部を用いてフレーム間動き補償符号化し、同時にこの符号に長期間参照フレーム指示および非表示指示を付加する。このようにして符号化された映像信号は、符号化データ304として出力される。

0043

<第2実施形態>
次に、図6を参照して、本発明の第2実施形態における映像符号化装置の構成を説明する。図6は、同実施形態における映像符号化装置の構成を示すブロック図である。この図において、図5に示す装置と同一の部分には同一の符号を付し、その説明を省略する。この図に示す装置が図5に示す装置と異なる点は、背景更新制御装置306を備えている点である。背景更新制御装置306は、符号化装置301から背景参照予測単位割合305を入力し、背景更新信号307を背景画像生成装置302に対して出力する。

0044

H.265/HEVC、H.264/AVC等の高能率映像符号化においては、既に復号された映像フレームを複数枚蓄積しこれを参照する機構がある。本実施形態では複数枚の蓄積フレームのうち一枚を(入力映像には存在せず、第1実施形態により符号化装置301が生成し符号化・出力された)背景画像とするものであり、符号化時にフレーム間予測を行う際に「どの蓄積フレームを参照するか」という情報は符号化データ中に明に記述される。

0045

この情報を確認することで、背景参照予測単位割合305を得ることができる。例えばあるフレームを1枚符号化した際、背景画像の入った蓄積フレームを参照した参照単位個数がNB個、背景以外の蓄積フレームを参照した個数がNN個とすると、背景参照予測単位割合(%)は
NB/(NN+NB)×100[%]
となる。

0046

予測単位の大きさは一般に可変であるので、NB、NNの値を、「個数」の代わりに各予測単位内の「画素数の和」(面積)として、背景参照予測単位割合を同様に求めてもよい。

0047

ここで、図7を参照して、図6に示す映像符号化装置の動作を説明する。図7は、図6に示す映像符号化装置の動作を示すフローチャートである。最初のNフレームが経過した後も符号化装置301は映像信号300の符号化を続けながら、各フレームの予測単位のうち背景画像を用いて動き補償予測される予測単位の占める割合を、背景参照予測単位割合305として出力する。同時に背景画像生成装置302は、背景画像信号を出力した後、改めて背景画像を生成し始める。

0048

背景更新制御装置306は、背景参照予測単位割合305を入力し(ステップS21)、これが一定の閾値を下回ったか(例えば10%未満か否かなど)を判定し(ステップS22)、下回っていれば背景更新信号307を出力し(ステップS23)、背景画像生成装置302に伝える。背景画像生成装置302は、それまでに蓄積したヒストグラム情報から背景画像信号303を生成させ、前述した背景画像の符号化を開始させる。ここで符号化装置301では背景画像信号を、画面内予測符号化(Iフレーム符号化)するのではなく、直前までの映像が符号化蓄積された情報も予測に用いる画面間予測符号化を行う。このようにして符号化された映像信号は、符号化データ304として出力される。

0049

このような構成により、背景が照明条件等で徐々に変化し、古い背景画像から背景が乖離した場合でも、直近映像内容の変化を利用した効率的な追従と符号化が可能となる。

0050

<第3実施形態>
次に、図8を参照して、本発明の第3実施形態における映像符号化装置の構成を説明する。図8は、同実施形態における映像符号化装置の構成を示すブロック図である。この図において、図1に示す装置と同一の部分には同一の符号を付し、その説明を省略する。この図に示す装置が図1に示す装置と異なる点は、フィルタ120、スイッチ122を備えている点である。スイッチ122は、画面間予測部113から出力するフィルタ制御情報121に基づいて切り替えを行う。

0051

画面間予測部113は、背景フレームを参照して予測信号を生成した場合、予測残差信号119に対しフィルタを施すよう指示するフィルタ制御情報121を発生する。この場合、予測残差信号119はフィルタ120に伝わり、フィルタ処理が施される。フィルタとして、例えば[1 2 1]/4を縦横に施すフィルタやガウシアンフィルタ、その他低域通過フィルタなどが考えられる。

0052

前述の[1 2 1]/4を縦横に施すフィルタの一形態を次に示す。予測残差信号は2次元状の離散信号であり、R[x][y](x=1..N, y=1..M)と表すこととする。まず横方向に[1 2 1]フィルタを施した信号R’を以下のように求める。
R’[x][y]=R[x−1][y]+2×R[x][y]+R[x+1][y](x=2..N−1,y=1..M)

0053

次いで縦方向に[1 2 1]フィルタを施し16で除し四捨五入した信号R’’を次のように求める。これがフィルタ120の出力信号となる。
R’’[x][y]=(R’[x][y−1]+2×R’[x][y]+R’[x][y+1]+8)/16(x=1..N, y=2..M−1)

0054

上記算法はできるだけ演算誤差が出ないようにしたものであるが、フィルタ手順はこれに限ったものでなく、R’を求めるときに4で除し、R’’を求めるときに再び4で除してもよい。また低域通過フィルタの強度を、目標符号化レート(発生する符号量)の高低により、弱めたり高めたりしてもよい。

0055

このような構成により、雑音重畳の比較的少ない背景画像と、雑音重畳の比較的大きい映像信号の差分信号に含まれる雑音が低減され、符号量が低減される効果が得られる。

0056

以上説明したように、固定カメラ映像符号化において、雑音重畳の少ない背景画像を別途生成・符号化しこれを後続の映像符号化に用いることで復号信号原画像に近づけるようにした。この構成によれば、背景が変化した場合の追従をより少ない符号量で実現できる。またこの構成によれば、映像に含まれる雑音の影響を減らして符号化することができる。したがって、画像符号化において、より高い符号化効率が実現され、より少ない符号量でより高い品質の復号画像を得ることができる。

0057

また、この構成によれば、固定カメラ映像符号化において、前景を抽出する処理を行うことなく背景画像を静的あるいは動的に生成し、符号化し、それを参照し、かつ映像信号に含まれる雑音信号の符号化を抑制することで、より少ない符号量でより高い品質の復号映像を、H.264/AVCあるいはH.265/HEVC等の国際規格に準拠しつつ、得ることができる。

0058

前述した実施形態における映像符号化装置の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワーク電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、PLD(Programmable Logic Device)やFPGA(Field Programmable Gate Array)等のハードウェアを用いて実現されるものであってもよい。

0059

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

0060

画像・映像の非可逆符号化において、映像品質の改善および符号化ビットレートの削減を目的として、画像の符号化・復号を行うことが不可欠な用途に適用できる。

0061

100…映像信号、101…予測信号、102…減算部、103…変換部、104…量子化部、105…エントロピー符号化部、106…符号化データ、107…逆量子化部、108…逆変換部、109…加算部、110…歪除去フィルタ、111…フレームメモリ、112…画面内予測部、113…画面間予測部、119…予測残差信号、120…フィルタ、121…フィルタ制御情報、122…スイッチ、300…映像信号、301…符号化装置、302…背景画像生成装置、303…背景画像信号、304…符号化データ、305…背景参照予測単位割合、306…背景更新制御装置、307…背景更新信号

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ