図面 (/)

技術 ビットストリーム変換装置、ビットストリーム変換方法、配信システム、動画像符号化装置、動画像符号化方法及びコンピュータ可読記録媒体

出願人 KDDI株式会社
発明者 河村圭内藤整
出願日 2015年12月28日 (4年6ヶ月経過) 出願番号 2015-256488
公開日 2017年7月6日 (2年11ヶ月経過) 公開番号 2017-120978
状態 特許登録済
技術分野 TV信号の圧縮,符号化方式
主要キーワード 処理サイズ ストレージコスト 単一ループ 拡張方式 低解像度用 高解像度用 インループフィルタ 基本映像
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年7月6日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (12)

課題

スケーラビリティを実現しつつ符号化装置または復号装置における処理量の増加を抑える。

解決手段

ビットストリーム変換装置112は、復号処理に係るユニット最小サイズが規定されている動画像データに対応するビットストリーム構文とビットストリームに付随する付随ビットストリームの構文とを解析する構文解析部402と、解析の結果得られる高位文法を、該高位文法に含まれる解像度よりも低い解像度を含む新たな高位文法に変換する高位文法変換部406と、構文解析部による解析の結果得られるビットストリーム中の最小サイズのユニットに関連付けられた情報を、付随ビットストリーム中の対応するユニットに関連付けられた情報に変換するユニット変換部404と、高位文法変換部からの新たな高位文法とユニット変換部における変換後の情報とを構文にしたがい合成し、新たなビットストリームを生成する構文合成部408と、を備える。

概要

背景

イントラ予測フレーム内予測)またはインター予測フレーム間予測)と、残差変換と、エントロピー符号化とを用いた動画像符号化方式が提案されている(例えば、非特許文献1参照)。また、スケーラブル符号化方式とよばれる、符号化装置復号装置拡張方式が提案されている(例えば、非特許文献1参照)。

近年、4K映像や8K映像といった高解像度の映像が流通し始めている。映像配信サービスで4K映像は15Mbps〜35Mbpsで配信されている。一方、8K映像は放送サービスとして90Mbps〜110Mbpsが想定されている。これまでのHD映像(2K映像)については、HEVC(High Efficiency Video Coding)により3Mbps〜6Mbps程度で実用的な品質が実現できている。

これらの映像をストリーミングするために蓄積することを想定すると、4K/8K映像は2K映像の10倍以上の容量が必要となる。特に、4K映像と8K映像とを個別に蓄積するのはストレージコストがかかるため、非特許文献1に記載されるようなスケーラブル符号化技術による容量削減の恩恵は大きい。

概要

スケーラビリティを実現しつつ符号化装置または復号装置における処理量の増加を抑える。ビットストリーム変換装置112は、復号処理に係るユニット最小サイズが規定されている動画像データに対応するビットストリーム構文とビットストリームに付随する付随ビットストリームの構文とを解析する構文解析部402と、解析の結果得られる高位文法を、該高位文法に含まれる解像度よりも低い解像度を含む新たな高位文法に変換する高位文法変換部406と、構文解析部による解析の結果得られるビットストリーム中の最小サイズのユニットに関連付けられた情報を、付随ビットストリーム中の対応するユニットに関連付けられた情報に変換するユニット変換部404と、高位文法変換部からの新たな高位文法とユニット変換部における変換後の情報とを構文にしたがい合成し、新たなビットストリームを生成する構文合成部408と、を備える。

目的

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

復号処理に係るユニット最小サイズが規定されている動画像データに対応するビットストリーム構文と前記ビットストリームに付随する付随ビットストリームの構文とを解析する構文解析部と、前記構文解析部による解析の結果得られる高位文法を、該高位文法に含まれる解像度よりも低い解像度を含む新たな高位文法に変換する高位文法変換部と、前記構文解析部による解析の結果得られる情報であって前記ビットストリーム中の最小サイズのユニットに関連付けられた情報を、前記付随ビットストリーム中の対応するユニットに関連付けられた情報に変換するユニット変換部と、前記高位文法変換部からの前記新たな高位文法と前記ユニット変換部における変換後の情報とを構文にしたがい合成し、新たなビットストリームを生成する構文合成部と、を備えることを特徴とするビットストリーム変換装置

請求項2

前記高位文法変換部は、前記構文解析部による解析の結果得られる高位文法に含まれる解像度を2のn乗(nは自然数)で除して得られる解像度を、前記新たな高位文法に含めることを特徴とする請求項1に記載のビットストリーム変換装置。

請求項3

前記ユニット変換部は、前記ビットストリーム中の最小サイズのユニットに関連付けられた情報を破棄し、代わりに前記付随ビットストリーム中の対応するユニットに関連付けられた情報を出力することを特徴とする請求項1または2に記載のビットストリーム変換装置。

請求項4

前記ユニットはコーディングユニット(CodingUnit)を含むことを特徴とする請求項1から3のいずれか1項に記載のビットストリーム変換装置。

請求項5

前記ユニットはプレディクションユニット(PredictionUnit)を含み、前記ユニット変換部は、前記ビットストリーム中の最小サイズよりも大きなサイズのプレディクションユニットに関連付けられた動きベクトルの精度を、前記低い解像度に応じた精度に変換することを特徴とする請求項1から4のいずれか1項に記載のビットストリーム変換装置。

請求項6

前記ユニットはトランスフォームユニット(TransformUnit)を含み、前記ユニット変換部は、前記ビットストリーム中の最小サイズより大きなサイズのトランスフォームユニットに関連付けられたレベル値集合を、前記低い解像度に応じたレベル値の集合に変換することを特徴とする請求項1から5のいずれか1項に記載のビットストリーム変換装置。

請求項7

前記ユニット変換部は、前記ビットストリーム中の最小サイズより大きなサイズのトランスフォームユニットに関連付けられたレベル値の集合から低周波成分を抽出することにより、前記低い解像度に応じたレベル値の集合を生成することを特徴とする請求項6に記載のビットストリーム変換装置。

請求項8

前記ビットストリームは所定の復号装置により復号可能である一方、前記付随ビットストリームのみの前記所定の復号装置による復号は可能でないことを特徴とする請求項1から7のいずれか1項に記載のビットストリーム変換装置。

請求項9

請求項1から8のいずれか1項に記載のビットストリーム変換装置と、前記低い解像度を所望するというリクエストがあったときには前記ビットストリーム変換装置により生成される新たなビットストリームを選択する選択部と、を備えることを特徴とする配信システム

請求項10

復号処理に係るユニットの最小サイズが規定されている動画像データに対応するビットストリームの構文と前記ビットストリームに付随する付随ビットストリームの構文とを解析することと、前記解析の結果得られる高位文法を、該高位文法に含まれる解像度よりも低い解像度を含む新たな高位文法に変換することと、前記解析の結果得られる情報であって前記ビットストリーム中の最小サイズのユニットに関連付けられた情報を、前記付随ビットストリーム中の対応するユニットに関連付けられた情報に変換することと、前記新たな高位文法と前記変換後の情報とを構文にしたがい合成し、新たなビットストリームを生成することと、を含むことを特徴とするビットストリーム変換方法

請求項11

請求項1から8のいずれか1項に記載のビットストリーム変換装置としてコンピュータを機能させるプログラムを有することを特徴とするコンピュータ可読記録媒体

請求項12

複数のブロックに分割された符号化対象の画像について、ブロック単位で前記画像と予測画像との誤差信号を変換および量子化し、第1レベル値を生成する変換量子化部と、前記変換量子化部によって生成された第1レベル値をエントロピー符号化してビットストリームを生成する符号化部と、最小サイズよりも大きなサイズのブロックから、前記画像の解像度よりも低い解像度の最小サイズのブロックを生成するダウンサンプリング部と、を備え、前記変換量子化部は前記ダウンサンプリング部によって生成されたブロックの誤差信号を変換および量子化して第2レベル値を生成し、前記符号化部は、前記変換量子化部によって生成された第2レベル値をエントロピー符号化して付随ビットストリームを生成することを特徴とする動画像符号化装置

請求項13

複数のブロックに分割された符号化対象の画像について、ブロック単位で前記画像と予測画像との誤差信号を変換および量子化し、第1レベル値を生成することと、生成された第1レベル値をエントロピー符号化してビットストリームを生成することと、最小サイズよりも大きなサイズのブロックから、前記画像の解像度よりも低い解像度の最小サイズのブロックを生成することと、生成されたブロックの誤差信号を変換および量子化して第2レベル値を生成することと、生成された第2レベル値をエントロピー符号化して付随ビットストリームを生成することと、を含むことを特徴とする動画像符号化方法

請求項14

請求項12に記載の動画像符号化装置としてコンピュータを機能させるプログラムを有することを特徴とするコンピュータ可読記録媒体。

技術分野

背景技術

0002

イントラ予測フレーム内予測)またはインター予測フレーム間予測)と、残差変換と、エントロピー符号化とを用いた動画像符号化方式が提案されている(例えば、非特許文献1参照)。また、スケーラブル符号化方式とよばれる、符号化装置復号装置拡張方式が提案されている(例えば、非特許文献1参照)。

0003

近年、4K映像や8K映像といった高解像度の映像が流通し始めている。映像配信サービスで4K映像は15Mbps〜35Mbpsで配信されている。一方、8K映像は放送サービスとして90Mbps〜110Mbpsが想定されている。これまでのHD映像(2K映像)については、HEVC(High Efficiency Video Coding)により3Mbps〜6Mbps程度で実用的な品質が実現できている。

0004

これらの映像をストリーミングするために蓄積することを想定すると、4K/8K映像は2K映像の10倍以上の容量が必要となる。特に、4K映像と8K映像とを個別に蓄積するのはストレージコストがかかるため、非特許文献1に記載されるようなスケーラブル符号化技術による容量削減の恩恵は大きい。

先行技術

0005

ITU-T H.265 High Efficiency Video Coding.

発明が解決しようとする課題

0006

しかしながら、従来のHEVCのスケーラブル符号化・復号技術では、符号化装置や復号装置の構成が複数ループとなり、処理量が多くなる。

0007

本発明はこうした課題に鑑みてなされたものであり、その目的は、スケーラビリティを実現しつつ符号化装置または復号装置における処理量の増加を抑えることができる技術の提供にある。

課題を解決するための手段

0008

本発明のある態様は、ビットストリーム変換装置に関する。このビットストリーム変換装置は、復号処理に係るユニット最小サイズが規定されている動画像データに対応するビットストリームの構文と前記ビットストリームに付随する付随ビットストリームの構文とを解析する構文解析部と、構文解析部による解析の結果得られる高位文法を、該高位文法に含まれる解像度よりも低い解像度を含む新たな高位文法に変換する高位文法変換部と、構文解析部による解析の結果得られる情報であってビットストリーム中の最小サイズのユニットに関連付けられた情報を、付随ビットストリーム中の対応するユニットに関連付けられた情報に変換するユニット変換部と、高位文法変換部からの新たな高位文法とユニット変換部における変換後の情報とを構文にしたがい合成し、新たなビットストリームを生成する構文合成部と、を備える。

0009

本発明の別の態様は、動画像符号化装置である。この動画像符号化装置は、複数のブロックに分割された符号化対象の画像について、ブロック単位で画像と予測画像との誤差信号を変換および量子化し、第1レベル値を生成する変換量子化部と、変換量子化部によって生成された第1レベル値をエントロピー符号化してビットストリームを生成する符号化部と、最小サイズよりも大きなサイズのブロックから、画像の解像度よりも低い解像度の最小サイズのブロックを生成するダウンサンプリング部と、を備える。変換量子化部はダウンサンプリング部によって生成されたブロックの誤差信号を変換および量子化して第2レベル値を生成する。符号化部は、変換量子化部によって生成された第2レベル値をエントロピー符号化して付随ビットストリームを生成する。

0010

なお、以上の構成要素の任意の組み合わせや、本発明の構成要素や表現を装置、方法、システム、コンピュータプログラム、コンピュータプログラムを格納した記録媒体などの間で相互に置換したものもまた、本発明の態様として有効である。

発明の効果

0011

本発明によれば、スケーラビリティを実現しつつ符号化装置または復号装置における処理量の増加を抑えることができる。

図面の簡単な説明

0012

実施の形態に係る配信システムの構成を示す模式図である。
図1の動画像符号化装置の機能および構成を示すブロック図である。
ビットストリームおよび付随ビットストリームの構造の一例を示す模式図である。
図1BS変換装置の機能および構成を示すブロック図である。
図1のBS変換装置における変換処理を説明するための模式図である。
図1動画像復号装置の機能および構成を示すブロック図である。
図1の動画像符号化装置においてビットストリームを生成する一連の処理を示すフローチャートである。
図1の動画像符号化装置において付随ビットストリームを生成する一連の処理を示すフローチャートである。
図1のBS変換装置における一連の処理を示すフローチャートである。
比較例に係るスケーラブル符号化装置の機能および構成を示すブロック図である。
比較例に係るスケーラブル復号装置の機能および構成を示すブロック図である。

実施例

0013

以下、各図面に示される同一または同等の構成要素、部材、処理、信号には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面において説明上重要ではない部材の一部は省略して表示する。

0014

実施の形態では、H.265またはISO/IEC23008−2HEVCにおいて様々な変換サイズが規定されているという特徴を用いて、シンタックスにおけるスケーラビリティが実現される。8Kから4Kに変換する場合などの解像度を1/2に変更する場合を考える。変換されたビットストリームをHEVC準拠デコーダで復号可能とするため、該ビットストリームはH.265の制約を満たす必要がある。具体的には、HEVCではCU(Coding Unit、コーディングユニット)サイズ、PU(Prediction Unit、プレディクションユニット)サイズ、TU(Transform Unit、トランスフォームユニット)サイズはそれぞれ、8(画素、以下同様)×8〜64×64、4×4〜32×32、4×4〜32×32に制約されている。そこで、CUサイズが16×16未満(すなわち8×8)の時には、画像を縮小してCUサイズを8×8とした時のビットストリームが付随ビットストリーム(accompanying bitstream)として符号化側で生成される。同様に、PUサイズ/TUサイズが8×8未満(すなわち4×4)の時には、画像を縮小して、PUサイズ/TUサイズを4×4とした時の付随ビットストリームが符号化側で生成される。

0015

一方、CUサイズが16×16以上、またはPUサイズが8×8以上の時には特に変更は加えられず、TUサイズが8×8以上の時には、低周波成分のレベル値のみが再符号化される。また、PUにおける動きベクトル精度は1/4に揃えられる。

0016

その結果、8Kなどの高解像度映像に付随ビットストリームを追加する(オーバヘッド)ことで、ビットストリームのみからHEVC準拠のデコーダで復号可能な低解像度映像のビットストリームを生成することができる。

0017

なお、解像度の変更は1/2に限定されず、一般に2(−n)であればよい(nは自然数)。また、付随ビットストリームはビットストリームに付随するものとしてそのように称されているが、ビットストリームを補助するものとして補助ビットストリーム(supplementary bitstream、complementary bitstream)と称されてもよく、またはビットストリームに追加されるものとして追加ビットストリーム(additional bitstream)と称されてもよい。

0018

図1は、実施の形態に係る配信システム100の構成を示す模式図である。配信システム100は、4K映像や8K映像などの高解像度の映像を配信する映像配信サービスにおいて使用されるシステムである。映像配信サービスは例えばVOD(Video On Demand)であってもよい。配信システム100はインターネットなどのネットワーク106を介して、ユーザサイトに設置されているセットトップボックスパーソナルコンピュータなどの動画像復号装置102と接続される。動画像復号装置102は、テレビ受像機モニタなどの表示装置104と接続される。動画像復号装置102は、HEVCに準拠したデコーダである。

0019

なお、映像配信サービスにおける配信システムは一例であり、動画像の符号化または復号を含む任意のシステムやサービスに、本実施の形態に係る技術的思想を適用できることは、本明細書に触れた当業者には明らかである。

0020

配信システム100は、ネットワーク106を介してユーザから観たい動画コンテンツの指定を受ける。配信システム100は、指定された動画コンテンツのデータを符号化してビットストリームを生成する。配信システム100は、生成されたビットストリームをネットワーク106を介して要求元のユーザの動画像復号装置102に送信する。動画像復号装置102は受信したビットストリームを復号して動画像データを生成し、表示装置104に送信する。表示装置104は、受信した動画像データを処理し、指定された動画コンテンツを出力する。

0021

配信システム100は、動画像DB(データベース)108と、動画像符号化装置110と、動画像蓄積サーバ101と、BS(ビットストリーム)変換装置112と、選択部114と、出力制御装置116と、を備える。動画像DB108は、4K映像や8K映像などの高解像度の動画像のデータを保持する。動画像符号化装置110は、指定された動画コンテンツに対応する動画像データを動画像DB108から取得し、取得された動画像データを符号化し、ビットストリームBSおよびそれに付随する付随ビットストリームABSを生成する。ビットストリームBSは、取得された動画像データを従来のHEVCに準拠したエンコーダで符号化して得られるビットストリームと同等である。したがって、ビットストリームBSは動画像復号装置102などのHEVCに準拠したデコーダにより復号可能である。一方、付随ビットストリームABSは取得された動画像データの一部をダウンサンプリングして得られるデータに対応する。したがって、付随ビットストリームABSのみの動画像復号装置102による復号は可能でない。動画像蓄積サーバ101は、動画像符号化装置110によって生成されたビットストリームBSと付随ビットストリームABSとを蓄積する。

0022

BS変換装置112は、高解像度映像を構成するビットストリームBSとそれに付随する付随ビットストリームABSとを、低解像度映像の新たなビットストリームNBSへと変換する。BS変換装置112は、動画像蓄積サーバ101に蓄積されているビットストリームBSおよび付随ビットストリームABSを取得する。BS変換装置112は、取得されたビットストリームBSおよび付随ビットストリームABSをシンタックスレベルで処理し、ビットストリームBSに対応する動画像データの解像度を低くした動画像データに対応する新たなビットストリームNBSを生成する。例えば、ビットストリームBSが8Kの動画像データに対応するとき、新たなビットストリームNBSは4Kの動画像データに対応する。新たなビットストリームNBSは動画像復号装置102により復号可能である。

0023

以下、動画像DB108から取得され動画像符号化装置110に入力される動画像データの解像度が8Kであり新たなビットストリームNBSに対応する動画像データの解像度が4Kである場合すなわち解像度を1/2にする場合について説明する。本明細書に触れた当業者には、本実施の形態で説明される構成の、解像度を2(−n)倍にする場合への拡張は自明である。

0024

選択部114は、BS変換装置112によって生成された新たなビットストリームNBSおよび動画像蓄積サーバ101に蓄積されているビットストリームBSのうちからひとつを選択し、選択されたビットストリームをネットワーク106を介して動画像復号装置102に送信する。

0025

出力制御装置116は選択部114を制御する。ユーザは、観たい動画コンテンツを指定する際、表示装置104の表示能力等を考慮し、解像度を指定する。出力制御装置116はネットワーク106を介して指定された解像度を取得する。出力制御装置116は、取得された解像度の動画像データが選択部114から出力されるよう、選択部114を制御する。例えば、出力制御装置116は指定された解像度が8Kであれば選択部114にビットストリームBSを選択させ、指定された解像度が4Kであれば新たなビットストリームNBSを選択させる。その結果、選択部114は、8K、4Kのうち低い方の4Kの解像度を所望するというリクエストがユーザからあったときには、BS変換装置112により生成される新たなビットストリームNBSを選択する。

0026

図2は、図1の動画像符号化装置110の機能および構成を示すブロック図である。ここに示す各ブロックは、ハードウエア的には、コンピュータのCPUをはじめとする素子機械装置で実現でき、ソフトウエア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウエア、ソフトウエアの組合せによっていろいろなかたちで実現できることは、本明細書に触れた当業者には理解される。動画像符号化装置110を実現するコンピュータプログラムは、コンピュータが読み取り可能な記録媒体に記憶されて、又は、ネットワーク経由で配布が可能なものであってもよい。

0027

動画像符号化装置110は、フレームバッファ202と、インループフィルタ204と、インター予測部206と、イントラ予測部208と、変換・量子化部210と、エントロピー符号化部212と、逆量子化逆変換部214と、ダウンサンプリング部216と、減算部218と、加算部220と、ブロック分割部222と、を備える。

0028

ブロック分割部222は、動画像DB108からの動画像データに含まれる符号化対象の画像すなわちフレームを複数のブロックに分割する。ブロックのサイズは様々であり、複数のブロックは四分木構造を有する。ブロック分割部222における画像のブロックへの分割はHEVCにおける画像のブロックへの分割に準じる。すなわち、もっとも大きな処理サイズであるCTU(Coding Tree Unit)のサイズは64×64であり、これを繰り返し四分割した32×32、16×16、8×8のサイズが存在している。ブロック分割部222は処理対象ブロックを減算部218とインター予測部206とイントラ予測部208とに出力する。

0029

なお、CTU、CU、PU、TUは動画像符号化装置110における符号化処理および動画像復号装置102における復号処理の単位となるユニットであり、それぞれの最小サイズは8×8、8×8、4×4、4×4と規定されている。

0030

インター予測部206には、フレームバッファ202から以前のフレームの画像データが入力される。インター予測部206は、以前のフレームに基づき、フレーム間予測による処理対象ブロックの予測ブロックを出力する。イントラ予測部208には、処理対象のフレームと同じフレームの既に処理したブロックの画像データが加算部220から入力される。イントラ予測部208は、処理対象ブロックと同じフレームの他のブロックに基づき、処理対象ブロックの予測ブロックを出力する。処理対象ブロックにフレーム間予測を適用するか、フレーム内予測を適用するかに応じて、インター予測部206の出力とイントラ予測部208の出力とのいずれかが減算部218に出力される。

0031

減算部218は、ブロック単位で符号化対象の画像とイントラ予測画像またはインター予測画像との誤差(残差)信号を生成する。減算部218は、処理対象ブロックと、インター予測部206またはイントラ予測部208が出力した予測ブロックとの誤差を示す誤差信号を出力する。変換・量子化部210は、ブロック単位で誤差信号を変換(例えば、直交変換)および量子化し、第1レベル値を生成する。変換・量子化部210は、生成された第1レベル値をエントロピー符号化部212および逆量子化・逆変換部214に出力する。エントロピー符号化部212は、変換・量子化部210によって生成された第1レベル値とサイド情報(不図示)とをエントロピー符号化して、ビットストリームBSを生成する。なお、サイド情報は、復号装置において使用する画素値再構成に必要な情報であり、イントラ予測またはインター予測の何れを使用したかを示す予測モード動きベクトル量子化パラメータブロックサイズ等の関連情報を含む。

0032

逆量子化・逆変換部214は、変換・量子化部210における処理とは逆の処理を行って誤差信号を生成する。加算部220は、逆量子化・逆変換部214が出力する誤差信号と、インター予測部206またはイントラ予測部208が出力する予測ブロックと、を加算して処理対象ブロックを生成し、イントラ予測部208と、インループフィルタ204に出力する。インループフィルタ204は、当該フレームに対応する局所復号画像を生成してフレームバッファ202に出力する。この局所復号画像は、インター予測部206におけるフレーム間予測に使用される。

0033

ダウンサンプリング部216は、最小サイズよりも大きなサイズの変換ブロックから、符号化対象の画像の解像度(すなわち8K)よりも低い解像度(すなわち4K)の最小サイズの変換ブロックを生成する。ダウンサンプリング部216は、変換ブロック単位で減算部218から出力されるイントラ・インター予測誤差信号を取得する。ダウンサンプリング部216は、取得されたイントラ・インター予測誤差信号の変換ブロックのサイズを特定する。ダウンサンプリング部216は、特定されたサイズが最小サイズ(4×4)よりも大きい場合には変換ブロックを最小サイズまで縮小し、縮小され最小サイズとなった変換ブロックを出力する。例えばダウンサンプリング部216は、特定されたサイズが8×8であり、その変換ブロックが4×4に分割されているときにのみ、その変換ブロックを4×4に縮小した変換ブロックを出力する。あるいはまた、ダウンサンプリング部216は、8×8の変換ブロックの4分木分割により生成された4つの4×4の変換ブロックを集めて8×8のブロックを再構成してもよい。ダウンサンプリング部216は、再構成された8×8のブロックを4×4に縮小してもよい。ダウンサンプリング部216から出力される4×4の変換ブロックは、符号化対象の画像の解像度を4Kに落としたときの最小サイズの変換ブロックと同等である。

0034

変換・量子化部210は、ダウンサンプリング部216によって生成された最小サイズの変換ブロックを取得し、取得された変換ブロックを変換および量子化して第2レベル値を生成する。エントロピー符号化部212は、変換・量子化部210によって生成された第2レベル値をエントロピー符号化して付随ビットストリームABSを生成する。また、エントロピー符号化部212はレベル値とイントラ予測モード(不図示)を入力とし、ビットストリームBSまたは付随ビットストリームABSを出力する。このように、縮小された4×4のブロックについても符号化される。ビットストリームBSは解像度が8Kの符号化対象の画像に対応し、該ビットストリームBSに付随する付随ビットストリームABSは符号化対象の画像の解像度を1/2にした4Kの画像の、最小サイズのCU、PU、TUに関連する情報を含む。

0035

図3は、ビットストリームBSおよび付随ビットストリームABSの構造の一例を示す模式図である。付随ビットストリームABSはビットストリームBSに付随する。付随ビットストリームABSは、付随ビットストリームABSを識別するためのヘッダ302を有してもよい。動画像符号化装置110は、ビットストリームBSと付随ビットストリームABSとを合わせてひとつのビットストリームとして出力してもよい。

0036

ビットストリームBSは、映像符号化レイヤ(video coding layer)以外の情報(例えば、VUI(Video Usability Information)、SPS(Sequence Parameter Set)、PPS(Picture Parameter Set)などであり、高位文法と称される)と、スライスヘッダと、CU情報と、PU情報と、TU情報と、を含む。スライスヘッダは高位文法に含まれるものとする。CU情報にはブロック分割およびイントラ予測モードに関する情報が格納されている。PU情報には動きベクトルに関する情報が格納されている。TU情報にはレベル値が格納されている。付随ビットストリームABSはビットストリームBSと同様の構成を有する。

0037

図4は、図1のBS変換装置112の機能および構成を示すブロック図である。ここに示す各ブロックは、ハードウエア的には、コンピュータのCPUをはじめとする素子や機械装置で実現でき、ソフトウエア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウエア、ソフトウエアの組合せによっていろいろなかたちで実現できることは、本明細書に触れた当業者には理解される。BS変換装置112を実現するコンピュータプログラムは、コンピュータが読み取り可能な記録媒体に記憶されて、又は、ネットワーク経由で配布が可能なものであってもよい。

0038

BS変換装置112は、構文解析部(Parser)402と、ユニット変換部404と、高位文法変換部(High Level Syntax Converter)406と、構文合成部(Synthesis)408と、を備える。構文解析部402は、動画像蓄積サーバ101に蓄積されているビットストリームBSの構文と付随ビットストリームABSの構文とを解析する。構文解析部402は、BS解析部410とABS解析部412とを含む。BS解析部410はビットストリームBSを取得し、ビットストリームBSの構文を解析し、ビットストリームBSを高位文法、CU情報、PU情報、TU情報に分解する。BS解析部410は、解析の結果得られた高位文法、CU情報、PU情報、TU情報をそれぞれ高位文法変換部406、CU変換部414、PU変換部416、TU変換部418に出力する。ABS解析部412は、付随ビットストリームABSを取得し、付随ビットストリームABSの構文を解析する。ABS解析部412は、解析の結果得られたCU情報、PU情報、TU情報をそれぞれCU変換部414、PU変換部416、TU変換部418に出力する。

0039

高位文法変換部406は、BS解析部410から出力された高位文法を取得し、取得された高位文法を、該高位文法に含まれる解像度よりも低い解像度を含む新たな高位文法に変換する。例えば高位文法変換部406は、取得された高位文法に含まれる解像度(すなわち8K)を2で除して得られる解像度(すなわち4K)を、新たな高位文法に含める。このようにして、高位文法変換部406において高位文法の解像度が変更される。

0040

ユニット変換部404は、CU変換部414とPU変換部416とTU変換部418とを含む。CU変換部414は、BS解析部410からビットストリームBS中のCU情報を取得する。CU変換部414は、ABS解析部412から付随ビットストリームABS中のCU情報を取得する。CU変換部414は、取得されたビットストリームBS中のCU情報のうち最小サイズ(8×8)のCUに関連付けられたCU情報を、取得された付随ビットストリームABS中の対応する最小サイズのCUに関連付けられたCU情報に変換する。例えばCU変換部414は、ブロックサイズが最小CUサイズの時にはビットストリームBS由来のCU情報を破棄し、代わりに付随ビットストリームABS由来のCU情報を出力する。CU変換部414は、ブロックサイズが最小CUサイズでない場合にはビットストリームBS由来のCU情報をそのまま出力する。

0041

PU変換部416は、BS解析部410からビットストリームBS中のPU情報を取得する。PU変換部416は、ABS解析部412から付随ビットストリームABS中のPU情報を取得する。PU変換部416は、取得されたビットストリームBS中のPU情報のうち最小サイズ(4×4)のPUに関連付けられたPU情報を、取得された付随ビットストリームABS中の対応する最小サイズのPUに関連付けられたPU情報に変換する。例えばPU変換部416は、ブロックサイズが最小PUサイズの時にはビットストリームBS由来のPU情報を破棄し、代わりに付随ビットストリームABS由来のPU情報を出力する。PU変換部416は、ビットストリームBS中の最小サイズよりも大きなサイズのPUに関連付けられた動きベクトルの精度(または大きさ)を1/2にすることで、4Kに応じた精度に変換する。この際、PU変換部416は、精度が1/2の動きベクトルを再構築してから再び符号化して、PU情報を出力する。

0042

TU変換部418は、BS解析部410からビットストリームBS中のTU情報を取得する。TU変換部418は、ABS解析部412から付随ビットストリームABS中のTU情報を取得する。TU変換部418は、取得されたビットストリームBS中のTU情報のうち最小サイズ(4×4)のTUに関連付けられたTU情報を、取得された付随ビットストリームABS中の対応する最小サイズのTUに関連付けられたTU情報に変換する。例えばTU変換部418は、ブロックサイズが最小TUサイズの時にはビットストリームBS由来のTU情報を破棄し、代わりに付随ビットストリームABS由来のTU情報を出力する。

0043

TU変換部418は、ブロックサイズが最小TUサイズでない、すなわち最小TUサイズより大きなサイズのTUに関連付けられたレベル値の集合から低周波成分を抽出することにより、4Kの解像度に応じたレベル値の集合を生成する。TU変換部418は、ブロックサイズが最小TUサイズでない場合には、ブロックサイズを変更するためレベル値行列を再構成して低周波成分を構成するレベル値のみを抽出してTU情報を出力する。例えばTU変換部418は、ブロックサイズを半分にするためにレベル値行列を再構成して、行と列それぞれの低周波数側の半分を抽出し、レベル値の個数を1/4として、TU情報を出力する。

0044

構文合成部408は、高位文法変換部406からの新たな高位文法とCU変換部414、PU変換部416、TU変換部418のそれぞれにおける変換後のCU情報、PU情報、TU情報とを構文にしたがい合成し、新たなビットストリームNBSを生成する。

0045

図5は、図1のBS変換装置112における変換処理を説明するための模式図である。8K画像の16×16の部分は8×8のTU1、TU2、TU3と、4×4のTU4、TU5、TU6、TU7と、に分割されている。これらのTU1〜TU7のそれぞれに関連付けられたレベル値は符号化され、ビットストリームBSのTU情報に格納される。また、本実施の形態に係るダウンサンプリングを上記16×16の部分に適用することにより、4×4のTU8が生成される。TU4、TU5、TU6、TU7はまとめてTU8に対応する。TU8に関連付けられたレベル値は符号化され、付随ビットストリームABSのTU情報に格納される。

0046

TU変換部418において、最小TUサイズ(4×4)よりも大きなサイズ(8×8)のTU1については、TU1の低周波成分が抽出され、4×4のTU9が生成される。同様に、TU変換部418においてTU2からTU10が、TU3からTU11が、それぞれ生成される。最小TUサイズ(4×4)のTU4、TU5、TU6、TU7はTU変換部418によって破棄され、付随ビットストリームABS由来のTU8に置き換えられる。これらのTU9、TU10、TU11、TU8のそれぞれに関連付けられたレベル値は符号化され、新たなビットストリームNBSのTU情報に格納される。

0047

図6は、図1の動画像復号装置102の機能および構成を示すブロック図である。ここに示す各ブロックは、ハードウエア的には、コンピュータのCPUをはじめとする素子や機械装置で実現でき、ソフトウエア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウエア、ソフトウエアの組合せによっていろいろなかたちで実現できることは、本明細書に触れた当業者には理解される。

0048

動画像復号装置102は、エントロピー復号部602と、逆量子化・逆変換部604と、加算部606と、インター予測部608と、イントラ予測部610と、フレームバッファ612と、インループフィルタ614と、を備える。動画像復号装置102は、動画像符号化装置110で行われる手順と逆の手順により、ビットストリームBSまたは新たなビットストリームNBSから出力動画像データを得る。

0049

エントロピー復号部602は、ネットワーク106を介して配信システム100からビットストリームBSまたは新たなビットストリームNBSを受信する。エントロピー復号部602は、受信したビットストリームをエントロピー復号し、レベル値とサイド情報とを取り出す。なお、ビットストリームからサイド情報およびレベル値を得る処理はパース(parse)処理と称される。このようにして得られたサイド情報およびレベル値を用いて画素値を再構成することは、復号処理と称される。

0050

逆量子化・逆変換部604は、ブロック単位でレベル値を逆量子化および逆変換して誤差信号を生成する。加算部606は、逆量子化・逆変換部604によって生成された誤差信号に対応するブロックがイントラ予測されたものであるかインター予測されたものであるかに応じて、インター予測部608またはイントラ予測部610のいずれか一方が出力する当該ブロックの予測画像と当該ブロックの誤差信号とを加算し、当該ブロックを再生する。加算部606は、再生されたブロックをイントラ予測部610とインループフィルタ614とに出力する。イントラ予測部610は再生されたブロックを使用してフレーム内予測を行いイントラ予測画像を生成する。インループフィルタ614は例えばデブロックフィルタである。インループフィルタ614は、1つのフレームの総てのブロックを受け取ると、当該フレームに対応する局所復号画像を生成してフレームバッファ612に出力する。この局所復号画像は、インター予測部608におけるフレーム間予測に使用されると同時に、出力動画像データとして表示装置104に出力される。

0051

以上の構成による動画像符号化装置110およびBS変換装置112の動作を説明する。
図7は、図1の動画像符号化装置110においてビットストリームBSを生成する一連の処理を示すフローチャートである。動画像符号化装置110は、符号化対象の画像を取得する(S702)。動画像符号化装置110は、取得された符号化対象の画像を複数のブロックへ分割する(S704)。動画像符号化装置110は、分割されたブロック単位で、符号化対象の画像と予測画像との差分を演算し、誤差信号を生成する(S706)。動画像符号化装置110は、ブロックごとに誤差信号を直交変換した上で所定の量子化パラメータに基づき量子化する(S708)。動画像符号化装置110は、量子化の結果得られる第1レベル値をエントロピー符号化し、ビットストリームBSを生成する(S710)。動画像符号化装置110は、生成されたビットストリームBSを出力する(S712)。

0052

図8は、図1の動画像符号化装置110において付随ビットストリームABSを生成する一連の処理を示すフローチャートである。動画像符号化装置110は、最小サイズよりも大きなサイズのブロックを取得する(S802)。動画像符号化装置110は、取得されたブロックをダウンサンプリングし、符号化対象の画像の解像度の1/2の解像度の最小サイズのブロックを生成する(S804)。動画像符号化装置110は、生成された最小サイズのブロックについて誤差信号を直交変換した上で所定の量子化パラメータに基づき量子化する(S806)。動画像符号化装置110は、量子化の結果得られる第2レベル値をエントロピー符号化し、付随ビットストリームABSを生成する(S808)。動画像符号化装置110は、生成された付随ビットストリームABSをビットストリームBSに付随させて出力する(S810)。

0053

図9は、図1のBS変換装置112における一連の処理を示すフローチャートである。BS変換装置112は、動画像蓄積サーバ101からビットストリームBSおよび付随ビットストリームABSを取得する(S902)。BS変換装置112は、取得されたビットストリームBSの構文と、付随ビットストリームABSの構文と、を解析する(S904)。BS変換装置112は、構文解析によりビットストリームBSから抽出された高位文法を、解像度が1/2になるよう変換し、新たな高位文法を得る(S906)。BS変換装置112は、ビットストリームBS中の最小サイズのCU、PU、TUに関連付けられたCU情報、PU情報、TU情報を、付随ビットストリームABS中の対応する最小サイズのCU、PU、TUに関連付けられたCU情報、PU情報、TU情報で置換する(S908)。BS変換装置112は、新たな高位文法と置換後のCU情報、PU情報、TU情報とを構文にしたがい合成し、新たなビットストリームNBSを生成する(S910)。

0054

本実施の形態に係る配信システム100によると、信号処理における処理量を削減したスケーラブル符号化方式が実現可能となる。例えば、符号化側では、高解像度映像に付随ビットストリームを追加することで低解像度映像のビットストリームを生成することができる。これにより、低解像度映像の別途の符号化が不要となる。復号側では受信した映像の解像度を変更するための装置や回路を用意する必要はないので、装置構成シンプルにすることができる。

0055

比較例を参照することで本実施の形態の作用効果を説明する。比較例は、スケーラブル符号化方式(例えば、非特許文献1参照)に関する。これはベースレイヤと呼ばれる基本映像と、基本映像にエンハンスメントレイヤと呼ばれる拡張部分を追加して様々な要素が拡張された拡張映像とを符号化・復号する手法である。様々な要素としては、フレームレート、解像度、ビット深度色域などがある。比較例は特に解像度のスケーラビリティである空間スケーラビリティに関する。

0056

図10は、比較例に係るスケーラブル符号化装置130の機能および構成を示すブロック図である。ダウンサンプリング部132は入力画像を入力とし、解像度を1/2にした画像を出力する。1/2解像度の映像は、通常の符号化装置と同様に符号化される。レイヤ間参照画像生成部134は、復号された画像を入力とし、2倍に拡大した画像をフレームバッファ136に出力する。この結果、エンハンスメントレイヤの符号化における参照画像として、ベースレイヤの画像を利用することができ、それぞれ個別にエンコードするよりも、符号化効率が改善する。

0057

図11は、比較例に係るスケーラブル復号装置140の機能および構成を示すブロック図である。ベースレイヤのみを復号する場合には、既存の復号装置と同じである。一方、エンハンスメントレイヤまで復号するときには、エンハンスメントレイヤの参照画像バッファ142に、レイヤ間予測画像を追加する。

0058

図10および図11に示される回路構成からも明らかな通り、比較例に係るスケーラブル符号化・復号方式では、複数の符号化ループ/復号ループ(例えば、低解像度用高解像度用)が必要である。したがって、信号処理に必要なメモリ帯域や処理量が全レイヤの画素数の合計に比例して増大する。これに対して本実施の形態に係る方式では、高解像度映像(例えば8K映像)のビットストリームから低解像度映像(例えば、4K映像)のビットストリームをシンタックス処理において生成する。したがって、高解像度映像と低解像度映像のどちらも単一ループの復号装置で復号可能となり、メモリ帯域や処理量を低減することができる。また、消費電力も低減できる。

0059

また、本実施の形態に係る方式では、シンタックスレベルで解像度を変更するので、信号レベルで解像度を変更する場合と比較して処理量を低減できる。

0060

上述の実施の形態において、データベースの例は、ハードディスク半導体メモリである。また、本明細書の記載に基づき、各部を、図示しないCPUや、インストールされたアプリケーションプログラムモジュールや、システムプログラムのモジュールや、ハードディスクから読み出したデータの内容を一時的に記憶する半導体メモリなどにより実現できることは本明細書に触れた当業者には理解される。

0061

以上、実施の形態に係る配信システム100の構成と動作について説明した。この実施の形態は例示であり、各構成要素や各処理の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解される。

0062

実施の形態では、符号化側である配信システム100がBS変換装置112を備える場合について説明したが、これに限られず、BS変換装置は復号側に設けられてもよい。例えば、ユーザサイトに設けられたBS変換装置はネットワーク106を介して8K映像のビットストリームおよび付随ビットストリームを受信し、シンタックス処理にて4K映像のビットストリームを生成してもよい。

0063

100 配信システム、 110動画像符号化装置、 112BS変換装置、 114 選択部。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ