図面 (/)

技術 画像符号化装置、方法、及びプログラム

出願人 富士通株式会社
発明者 佃紀昭小林俊輔林慎太郎簾田恭雄
出願日 2016年6月15日 (4年5ヶ月経過) 出願番号 2016-119176
公開日 2017年12月21日 (2年11ヶ月経過) 公開番号 2017-224992
状態 特許登録済
技術分野 TV信号の圧縮,符号化方式
主要キーワード 処理量比 重み変数 空き量 割当優先度 最大処理量 原音声データ 種フレーム モード判定処理
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年12月21日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (7)

課題

画質を向上させる。

解決手段

計算部12は、符号化の処理量に関連するパラメータに基づいて得られる符号化対象の画像データに対する符号化の処理量と、自装置の最大処理量とから、前記符号化対象の画像データに対する符号化の処理で発生する空き量を計算する。割当部13は、前記計算部12で計算された前記空き量に応じて、符号化の精度を向上させる機能を前記符号化対象の画像データに割り当てる。画像符号化部14は、前記割当部13により割り当てられた機能を利用して、前記符号化対象の画像データを符号化する。

概要

背景

従来、画像データの符号化装置において、符号化処理におけるアイドル時間を削減するための技術が提案されている。

例えば、係数ビットモデリング部と算術符号化部との間にデータ保持部が設けられており、係数ビットモデリング部で生成された符号化情報が一旦データ保持部に保持されてから算術符号化部に読み出されて処理されるデータ符号化装置が提案されている。このデータ符号化装置では、係数ビットモデリング部における符号化情報の生成タイミングと、算術符号化部における符号化情報の処理タイミングとを一致させる必要がないことにより、無駄なアイドル時間を削減している。

また、モード判定処理及びビットストリームパッキングが、シーケンスにおける各種フレームについてパラレルに実行されるビデオ符号化処理の方法が提案されている。この方法では、モード判定処理ロジックとビットストリームパッキングロジックとの双方のアイドル時間が低減される。

概要

画質を向上させる。計算部12は、符号化の処理量に関連するパラメータに基づいて得られる符号化対象の画像データに対する符号化の処理量と、自装置の最大処理量とから、前記符号化対象の画像データに対する符号化の処理で発生する空き量を計算する。割当部13は、前記計算部12で計算された前記空き量に応じて、符号化の精度を向上させる機能を前記符号化対象の画像データに割り当てる。画像符号化部14は、前記割当部13により割り当てられた機能を利用して、前記符号化対象の画像データを符号化する。

目的

また、上記では、画像符号化プログラム50が記憶部43に予め記憶(インストール)されている態様を説明したが、CD−ROMやDVD−ROM等の記憶媒体に記録された形態で提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

符号化の処理量に関連するパラメータに基づいて得られる符号化対象の画像データに対する符号化の処理量と、自装置の最大処理量とから、前記符号化対象の画像データに対する符号化の処理で発生する空き量を計算する計算部と、前記計算部で計算された前記空き量に応じて、符号化の精度を向上させる機能を前記符号化対象の画像データに割り当てる割当部と、前記割当部により割り当てられた機能を利用して、前記符号化対象の画像データを符号化する符号化部と、を含む画像符号化装置

請求項2

前記割当部は、複数の機能のうち、各機能を1回適用するに必要な処理量及び適用可能な最大繰り返し回数と、各機能に設定された優先度と、前記空き量とに基づいて、割り当てる機能及び該機能の繰り返し回数を決定する請求項1記載の画像符号化装置。

請求項3

前記符号化対象の画像データがマルチチャネルの場合、前記計算部は、チャネル毎の画像データの前記符号化の処理量に関連するパラメータに基づいて得られるチャネル毎の符号化の処理量の合計と、前記自装置の最大処理量とから、前記空き量を計算し、前記割当部は、前記計算部で計算された前記空き量を各チャネルに分配し、各チャネルに分配された空き量に応じた前記機能を各チャネルに割り当てる請求項1又は請求項2記載の画像符号化装置。

請求項4

前記割当部は、各チャネルに設定された優先度に応じた重み付けで、前記空き量を各チャネルに分配する請求項3記載の画像符号化装置。

請求項5

前記符号化部は、前記符号化対象の画像データを符号化する画像符号化部と、符号化対象の音声データを符号化する音声符号化部とを含み、前記画像符号化部により符号化された画像データと、前記音声符号化部により符号化された音声データと、前記符号化された画像データと前記符号化された音声データとの多重化及び同期に必要なデータとを多重化する多重化部をさらに含む請求項1〜請求項4のいずれか1項記載の画像符号化装置。

請求項6

符号化の処理量に関連するパラメータに基づいて得られる符号化対象の画像データに対する符号化の処理量と、自装置の最大処理量とから、前記符号化対象の画像データに対する符号化の処理で発生する空き量を計算し、計算された前記空き量に応じて、符号化の精度を向上させる機能を前記符号化対象の画像データに割り当て、割り当てられた機能を利用して、前記符号化対象の画像データを符号化することを含む処理をコンピュータに実行させる画像符号化方法

請求項7

符号化の処理量に関連するパラメータに基づいて得られる符号化対象の画像データに対する符号化の処理量と、自装置の最大処理量とから、前記符号化対象の画像データに対する符号化の処理で発生する空き量を計算し、計算された前記空き量に応じて、符号化の精度を向上させる機能を前記符号化対象の画像データに割り当て、割り当てられた機能を利用して、前記符号化対象の画像データを符号化することを含む処理をコンピュータに実行させる画像符号化プログラム

技術分野

0001

本発明は、画像符号化装置画像符号化方法、及び画像符号化プログラムに関する。

背景技術

0002

従来、画像データの符号化装置において、符号化処理におけるアイドル時間を削減するための技術が提案されている。

0003

例えば、係数ビットモデリング部と算術符号化部との間にデータ保持部が設けられており、係数ビットモデリング部で生成された符号化情報が一旦データ保持部に保持されてから算術符号化部に読み出されて処理されるデータ符号化装置が提案されている。このデータ符号化装置では、係数ビットモデリング部における符号化情報の生成タイミングと、算術符号化部における符号化情報の処理タイミングとを一致させる必要がないことにより、無駄なアイドル時間を削減している。

0004

また、モード判定処理及びビットストリームパッキングが、シーケンスにおける各種フレームについてパラレルに実行されるビデオ符号化処理の方法が提案されている。この方法では、モード判定処理ロジックとビットストリームパッキングロジックとの双方のアイドル時間が低減される。

先行技術

0005

特開2004−320157号公報
特表2014−529256号公報

発明が解決しようとする課題

0006

例えば、4K(3840×2160画素ピクチャレート60p)、8K(7680×4320画素、ピクチャレート120p)といった高解像度の画像データをリアルタイム処理で符号化できる高い処理能力を持つ画像符号化装置が存在する。このような画像符号化装置では、リアルタイム処理できる最大処理量よりも小さい処理量で符号化可能な画像データの符号化も行うことができる。

0007

しかし、この場合、画像データの1フレーム分の符号化に対して本来使用可能な時間よりも短い時間で、処理量の小さい画像データの1フレーム分の符号化処理が完了することになり、画像符号化装置の符号化処理にアイドリングする時間が発生してしまう。すなわち、画像符号化装置の処理能力が十分に活用されていない。

0008

一つの側面として、本発明は、画質を向上させることを目的とする。

課題を解決するための手段

0009

一つの態様では、本発明は、符号化対象の画像データに対する符号化の処理量と、自装置の最大処理量とから、前記符号化対象の画像データに対する符号化の処理で発生する空き量を計算する計算部を備える。符号化の処理量は、符号化対象の画像データに対する符号化の処理量に関連するパラメータに基づいて得る。また、本発明は、前記計算部で計算された前記空き量に応じて、符号化の精度を向上させる機能を前記符号化対象の画像データに割り当てる割当部を備える。また、本発明は、前記割当部により割り当てられた機能を利用して、前記符号化対象の画像データを符号化する符号化部を備える。

発明の効果

0010

一つの側面として、画質を向上させることができる、という効果を有する。

図面の簡単な説明

0011

本実施形態に係る画像符号化装置の概略構成を示す機能ブロック図である。
画質向上機能表の一例を示す図である。
本実施形態に係る画像符号化装置として機能するコンピュータの概略構成を示すブロック図である。
本実施形態における画像符号化処理の一例を示すフローチャートである。
比較例における処理の空きを説明するための図である。
本実施形態における画像符号化装置の処理能力の活用を説明するための図である。

実施例

0012

以下、図面を参照して本発明に係る実施形態の一例を詳細に説明する。

0013

図1に示すように、本実施形態に係る画像符号化装置10は、原画像データ及び原音声データの各々を符号化して多重化し、多重化ストリームとして出力する。画像符号化装置10は、複数チャネルの原画像データ及び音声データの各々を符号化するマルチチャネル符号化処理を行う。

0014

画像符号化装置10は、機能的には、図1に示すように、取得部11と、計算部12と、割当部13と、画像符号化部14と、音声符号化部15と、多重化部16とを含む。また、画像符号化装置10の所定の記憶領域には、画質向上機能表21が記憶される。

0015

取得部11は、外部から設定されたチャネル毎の原画像データのパラメータを取得する。ここでのパラメータとは、原画像データを符号化する際の処理量に関連するパラメータである。例えば、パラメータは、画像水平サイズ、画像垂直サイズ、ピクチャレート、画素ビット深度YUVフォーマットを含む。

0016

画像水平サイズ及び画像垂直サイズは、1ピクチャについての画素単位の画像サイズである。なお、以下では、4K(3,840×2,160画素)、HD(high definition、1,920×1,080画素)、SD(Standard definition、720×480画素)の表記を用いて画像サイズを表す場合もある。ピクチャレートは、1秒当たりピクチャ数である。画素ビット深度は、1画素を表現するビット数であり、一般に8ビット又は10ビットが使われる。YUVフォーマットは、画像符号化装置の入力に使われる一般的な画像フォーマットであり、色差成分密度によってYUV422、YUV420等の種類がある。

0017

取得部11は、取得したチャネル毎のパラメータを計算部12へ受け渡す。

0018

計算部12は、取得部11から受け渡されたチャネル毎のパラメータに基づいて、チャネル毎の原画像データに対する符号化の処理量を計算する。また、計算部12は、画像符号化装置10において、原画像データの符号化で使用可能な処理量の最大値(以下、「最大処理量」という)を計算する。そして、計算部12は、原画像データに対する符号化の処理量と最大処理量とに基づいて、処理の空き量を計算する。

0019

具体的には、計算部12は、各チャネルの原画像データに対する符号化の処理量を示す指標として、例えば、下記(1)式に示す「チャネルkの1秒当たりの処理量」を、取得部11により取得されたパラメータに基づいて計算する。

0020

チャネルkの1秒当たりの処理量
=画像水平サイズ×画像垂直サイズ×ピクチャレート×α (1)

0021

ここで、αは、画素ビット深度やYUVフォーマットの違いにより、チャネルkの原画像データに対する符号化の処理量が変わる場合に用いる重み変数である。具体的には、画像符号化装置10が画素ビット深度10bit、YUV422フォーマットの画像データの符号化まで対応している場合は、画素ビット深度が10bit、かつYUV422フォーマット10bitのときのαを1とする。そして、α=1を基準として、チャネルkについて取得された画素ビット深度及びYUVフォーマットの種類に応じてαを調整する。

0022

例えば、画素ビット深度が8bitのときに、画素ビット深度が10bitのときと比べて処理量が0.9倍となり、YUV420フォーマットのときに、YUV422フォーマットのときと比べて処理量が0.8倍となるとする。この場合、画素ビット深度が8bitかつYUV420フォーマットの原画像データについて上記(1)式の処理量を計算する場合には、αは、0.9×0.8=0.72とする。

0023

例えば、チャネル0の原画像データが、画像サイズがHD(1,920×1,080画素)、ピクチャレートが60p、画素ビット深度が10bit、かつYUV422フォーマットであるとする。この場合、チャネル0の1秒当たりの処理量は、以下のようになる。

0024

チャネル0の1秒当たりの処理量
=1,920×1,080×60×1=124,416,000

0025

また、例えば、チャネル1の原画像データが、画像サイズがSD(720×480画素)、ピクチャレートが60p、画素ビット深度が10bit、かつYUV422フォーマットであるとする。この場合、チャネル2の1秒当たりの処理量は、以下のようになる。

0026

チャネル1の1秒当たりの処理量
=720×480×60×1=20,736,000

0027

また、計算部12は、画像符号化装置10の1秒当たりの処理の空き量を、下記(2)式で計算する。

0028

処理の空き量=画像符号化装置10の1秒当たりの最大処理量
−Σ[k=0,n−1]チャネルkの1秒当たりの処理量(2)
(nはチャネル数

0029

ここで、画像符号化装置10の1秒当たりの最大処理量は、画像符号化装置10の処理能力に依存する固定値である。例えば、画像符号化装置10が、画像サイズが4K(3,840×2,160画素)、ピクチャレートが60p、画素ビット深度が10bit、かつYUV422フォーマットの画像データを処理可能であるとする。この場合、画像符号化装置10の1秒当たりの最大処理量は、以下のようになる。なお、画素ビット深度及びYUVフォーマットから、αは1であるとする。

0030

画像符号化装置10の1秒当たりの最大処理量
=3,840×2,160×60×1=497,664,000

0031

上記のチャネル0(HD、60p、10bit、YUV422)と、チャネル1(SD、60p、10bit、YUV422)の計2チャネルを処理する場合は、処理の空き量は、以下のようになる。

0032

処理の空き量
=497,664,000
−(124,416,000+20,736,000)
=352,512,000

0033

計算部12は、計算した処理の空き量を割当部13へ受け渡す。

0034

割当部13は、計算部12から受け渡された処理の空き量を各チャネルに分配し、各チャネルに分配された処理の空き量に応じた画質向上機能を、各チャネルに割り当てる。

0035

具体的には、割当部13は、各チャネルの1秒当たりの処理量の比率と、予め定めた各チャネルの優先度とに応じて、処理の空き量を分配する。例えば、チャネル0(HD)とチャネル1(SD)の計2チャネルのマルチチャネル符号化を行う場合は、SDの処理量がHDの約1/6であることから、処理の空き量をチャネル0(HD):チャネル1(SD)=6×β:1×γで分配する。ここで、β及びγは、チャネルの優先度に応じた0以上の値の重み変数である。チャネルの優先度及び重み変数は、例えば、SDよりHDの画質向上を優先させる、などの仕様に応じて適宜設定すればよい。以降では簡単のため、β=1、及びγ=1として説明する。すなわち、上記で計算した処理の空き量(352,512,000)をチャネル0(HD)とチャネル1(SD)とに分配すると、以下のようになる。

0036

チャネル0(HD)に分配される処理の空き量
=352,512,000×6/7=302,153,142
チャネル1(SD)に分配される処理の空き量
=352,512,000×1/7=50,358,857

0037

画質向上機能としては、一般に、複数パターン縮小画像を用いたベクトル探索機能、予測画像を用いたベクトル探索機能、予測モード決定機能などが挙げられる。なお、画質向上機能はこれらの例に限定されず、符号化に利用されることにより、符号化の精度を向上させることができる機能、すなわち、符号化による画質の劣化を低減することができる機能であればよい。また、各画質向上機能は、その機能において参照される画像の数やモード数を増やした場合、増やした分処理が繰り返されることになり、繰り返し数に比例して処理量は増加する。これらの処理量や繰り返しの最大数は、画像符号化装置10における並列処理可能な処理数メモリバンド幅などの画像符号化装置10の処理能力に依存する固定値である。

0038

本実施形態では、これらの各画質向上機能の処理量や繰り返しの最大数を画質向上機能表21に定めておく。そして、割当部13は、画質向上機能表21を参照して、チャネル毎に分配した処理の空き量に応じた画質向上機能を各チャネルに割り当てる。

0039

図2に、画質向上機能表21の一例を示す。図2に示す画質向上機能表21には、画質向上機能毎に、1秒当たりの処理量、最大繰り返し数、及び割当優先度の情報が対応付けて記憶されている。なお、1秒当たりの処理量及び最大繰り返し数は、画像サイズが4K、画素ビット深度が10bit、かつYUV422フォーマットの原画像データの符号化処理に各画質向上機能を適用した際の値である。また、1秒当たりの処理量の単位は、画像符号化装置10の1秒当たりの処理量の単位と同一とする。

0040

また、割当優先度は、画質向上機能表21に定められた複数の画質向上機能のうち、どの画質向上機能を優先的に割り当てるかを示すものである。割当優先度は、例えば、その画質向上機能を利用して符号化を行うことによる画質向上効果が高い順に優先度が高くなるように定めることができる。

0041

上記のチャネル0(HD、60p、10bit、YUV422)と、チャネル1(SD、60p、10bit、YUV422)との計2チャネルに、図2の画質向上機能表21を参照して、画質向上機能を割り当てる例について説明する。

0042

割当部13は、画質向上機能表21で想定している処理量と、各チャネルとの処理量との処理量比を計算する。ここでは、チャネル0については、画像サイズが4KとHDという違いがあるため、処理量比は1/4、チャネル1については、画像サイズが4KとSDという違いがあるため、処理量比は1/24となる。

0043

そして、割当部13は、チャネル0(HD)に分配された処理の空き量302,153,142に応じて、画質向上機能表21から、割当優先度が1位の「1/16(縦横1/4)縮小画像を用いたベクトル探索」をチャネル0(HD)に割り当てる。302,153,142≧(1秒当たりの処理量6,000,000×処理量比1/4×最大繰り返し数16)であるため、割当部13は、「1/16(縦横1/4)縮小画像を用いたベクトル探索」を16回分割り当てる。残りの処理の空き量は、302,153,142−6,000,000×1/4×16=278,153,142となる。

0044

割当部13は、残りの処理の空き量に応じて、同様に各画質向上機能を何回繰り返し処理できるかを割当優先度が高い画質向上機能から順に計算して、チャネル0(HD)に割り当てる。割当部13は、チャネル1(SD)にも同様にして、画質向上機能を割り当てる。

0045

この例では、最終的に、各チャネルに以下の画質向上機能が割り当てられる。
チャネル0(HD)
1/16(縦横1/4)縮小画像を用いたベクトル探索16回
1/4(縦横1/2)縮小画像を用いたベクトル探索 16回
予測画像を用いたベクトル探索 7回
予測モード決定 64回
チャネル1(SD)
1/16(縦横1/4)縮小画像を用いたベクトル探索 16回
1/4(縦横1/2)縮小画像を用いたベクトル探索 16回
予測画像を用いたベクトル探索 7回
予測モード決定 64回

0046

画像符号化部14は、チャネル毎の原画像データを、割当部13で割り当てられた画質向上機能を利用して符号化し、符号化画像データとして出力する。すなわち、画像符号化部14は、予め定めた規格に沿った通常の符号化処理に加え、画質向上機能を割り当てて符号化する。予め定めた規格は、例えば、MPEG(Moving Picture Experts Group)−2 Video、H.264/MPEG4 AVC(Advanced Video Coding)、H.265/HEVC(High Efficiency Video Coding)等とすることができる。

0047

音声符号化部15は、予め定めた規格に沿って、チャネル毎の原音声データを符号化し、符号化音声データとして出力する。予め定めた規格は、例えば、MPEG−1 Audio、MPEG2/4 AAC(Advanced Audio Coding)、MPEG4HE(High-Efficiency)−AAC等とすることができる。

0048

多重化部16は、予め定めた規格に沿って、画像符号化部14から出力された符号化画像データと、音声符号化部15から出力された符号化音声データとの多重化及びAV同期に必要な多重化データを生成する。予め定めた規格は、例えば、MPEG−2 TS(Transport Stream)規格、MPEG−H MMT(MPEG Media Transport)規格等とすることができる。多重化に必要なデータは、MPEG2 TS規格のTSヘッダ、PES(Packetized Elementary Stream)ヘッダ、PAT(Program Association Table)、PMT(Program Map Table)、PCR(Program Clock Reference)等である。AV同期に必要なデータは、PESヘッダ中に記述する画像データと音声データとの表示時刻(PTS:Presentation Time Stamp)等である。

0049

そして、多重化部16は、予め定めた規格に沿って、符号化画像データと、符号化音声データと、多重化データとを、1本のストリームに多重化する。

0050

画像符号化装置10は、例えば図3に示すコンピュータ40で実現することができる。コンピュータ40はCPU41、一時記憶領域としてのメモリ42、及び不揮発性の記憶部43を備える。また、コンピュータ40は、入出力装置44、記録媒体49に対するデータの読み込み及び書き込みを制御するread/write(R/W)部45、並びに通信I/F46を備える。CPU41、メモリ42、記憶部43、入出力装置44、R/W部45、及び通信I/F46は、バス47を介して互いに接続される。

0051

記憶部43はHard Disk Drive(HDD)、solid state drive(SSD)、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部43には、コンピュータ40を画像符号化装置10として機能させるための画像符号化プログラム50が記憶されている。画像符号化プログラム50は、取得プロセス51と、計算プロセス52と、割当プロセス53と、画像符号化プロセス54と、音声符号化プロセス55と、多重化プロセス56とを有する。また、記憶部43は、画質向上機能表21を構成する機能情報が記憶される機能情報記憶領域60を有する。

0052

CPU41は、画像符号化プログラム50を記憶部43から読み出してメモリ42に展開し、画像符号化プログラム50が有するプロセスを順次実行する。CPU41は、取得プロセス51を実行することで、図1に示す取得部11として動作する。また、CPU41は、計算プロセス52を実行することで、図1に示す計算部12として動作する。また、CPU41は、割当プロセス53を実行することで、図1に示す割当部13として動作する。また、CPU41は、画像符号化プロセス54を実行することで、図1に示す画像符号化部14として動作する。また、CPU41は、音声符号化プロセス55を実行することで、図1に示す音声符号化部15として動作する。また、CPU41は、多重化プロセス56を実行することで、図1に示す多重化部16として動作する。また、CPU41は、機能情報記憶領域60から機能情報を読み出し、メモリ42に画質向上機能表21として展開する。これにより、画像符号化プログラム50を実行したコンピュータ40が、画像符号化装置10として機能することになる。

0053

なお、画像符号化プログラム50により実現される機能は、例えば半導体集積回路、より詳しくはApplication Specific IntegratedCircuit(ASIC)等で実現することも可能である。

0054

次に、本実施形態に係る画像符号化装置10の作用について説明する。画像符号化装置10に原画像データ及び原音声データが入力されると、画像符号化装置10において、図4に示す画像符号化処理が実行される。

0055

テップS11で、計算部12が、画像符号化装置10の1秒当たりの最大処理量を計算する。

0056

次に、ステップS12で、取得部11が、符号化のリアルタイム処理の処理単位毎に、外部から設定されたチャネル毎の原画像データのパラメータを取得する。

0057

次に、ステップS13で、取得部11が、取得したパラメータに基づいて、入力される原画像データのチャネル構成が変更されたか否かを判定する。原画像データのチャネル数、及び各チャネルの原画像データのパラメータの少なくとも一方が、前の処理単位における原画像データと異なる場合には肯定判定され、処理はステップS14へ移行する。一方、チャネル構成に変更がない場合には、処理はステップS17へ移行する。

0058

ステップS14では、計算部12が、取得部11で取得されたチャネル毎のパラメータに基づいて、例えば(1)式に示す「チャネルkの1秒当たりの処理量」を、チャネル毎に計算する。

0059

次に、ステップS15で、上記ステップS11で計算した画像符号化装置10の1秒当たりの最大処理量と、上記ステップS14で計算したチャネル毎の1秒当たりの処理量とを用いて、例えば(2)式により、画像符号化装置10の1秒当たりの処理の空き量を計算する。

0060

次に、ステップS16で、割当部13が、計算部12で計算された処理の空き量を各チャネルに分配し、画質向上機能表21を参照して、各チャネルに分配された処理の空き量に応じた画質向上機能を、各チャネルに割り当てる。

0061

次に、ステップS17で、画像符号化部14が、チャネル毎の原画像データを、割当部13で割り当てられた画質向上機能を利用して符号化し、符号化画像データとして出力する。

0062

また、上記ステップS17の処理と並行して、ステップS18で、音声符号化部15が、チャネル毎の原音声データを符号化し、符号化音声データとして出力する。

0063

次に、ステップS19で、多重化部16が、画像符号化部14から出力された符号化画像データと、音声符号化部15から出力された符号化音声データとの多重化及びAV同期に必要な多重化データを生成する。そして、多重化部16は、符号化画像データと、符号化音声データと、多重化データとを、1本のストリームに多重化する。

0064

次に、ステップS20で、取得部11が、次の処理単位の原画像データ及び原音声データが入力されているか否かを判定することにより、符号化を終了するか否かを判定する。引き続き符号化を行う場合には、処理はステップS12に戻り、終了する場合には、画像符号化処理は終了する。

0065

以上説明したように、本実施形態に係る画像符号化装置は、画像符号化装置の処理の空き量を計算し、処理の空き量に応じた画質向上機能を原画像データに割り当て、この画質向上機能を利用して原画像データを符号化する。これにより、画像符号化装置の処理能力を最大限に活用することができ、画質を向上させることができる。

0066

比較例として、図5に、画像符号化装置の最大処理量よりも符号化の処理量が小さい原画像データの符号化を行う場合において、本実施形態のような処理の空き量に応じた画質向上機能の割り当てを行わない場合の処理量を概略的に示す。同様に、図6に、本実施形態を適用した場合の処理量を概略的に示す。図5及び図6は、横軸に符号化の時間経過縦軸に各時間における画像符号化装置の最大処理量をとり、画像符号化装置の最大処理量を1としたものである。また、画像符号化装置は、最大で、画像サイズが4K、ピクチャレートが60pの原画像データ(以下、「4K@60p」と表記する。他のパラメータの原画像データについても同様に表記する)を処理できる処理能力を持つ場合を示している。

0067

図5に示すように、4K@60pに対して、4K@30pは1/2、HD@60pは1/4、SD@60pは1/24、HD@60p×2CHは1/2、HD@60p×2CH+SD@60p×2CHは7/12の処理量である。すなわち、リアルタイム処理の各時間において、処理の空きが発生している。画像符号化装置の処理能力であれば、4K@30pの場合、本来2CH分の符号化処理が可能である。しかし、この比較例では、4K@30p1CHに対しても、4K@30pを2CH分の符号化処理する場合と同様の処理しか行われないため、4K@30p1CHの符号化後の画質は、2CHの4K@30pを符号化した場合と同等となる。

0068

一方、本実施形態では、処理の空き量を画質向上機能に割り当てるため、図6に示すように、画像符号化装置の処理能力を最大限に活用することができる。そして、画質向上機能が実行されることで、符号化後の画質は向上する。なお、図6では、いずれのケースも画像符号化装置の処理能力の最大値まで処理量が到達している例を示しているが、画質向上機能の処理量や繰り返し数によって、若干最大値まで到達しない場合もある。

0069

なお、上記実施形態では、音声データの符号化及び多重化の処理も含む場合について説明したが、本発明は、画像データのみを符号化する場合でも適用可能である。

0070

また、上記実施形態では、マルチチャネルの原画像データの符号化の場合について説明したが、本発明は、1チャネルの原画像データの符号化にも適用可能である。この場合、画像符号化装置の処理の空き量を全て、1チャネルの原画像データに割り当てる画質向上機能で使えばよい。

0071

また、上記では、画像符号化プログラム50が記憶部43に予め記憶(インストール)されている態様を説明したが、CD−ROMやDVD−ROM等の記憶媒体に記録された形態で提供することも可能である。

0072

以上の上記実施形態に関し、更に以下の付記を開示する。

0073

(付記1)
符号化の処理量に関連するパラメータに基づいて得られる符号化対象の画像データに対する符号化の処理量と、自装置の最大処理量とから、前記符号化対象の画像データに対する符号化の処理で発生する空き量を計算する計算部と、
前記計算部で計算された前記空き量に応じて、符号化の精度を向上させる機能を前記符号化対象の画像データに割り当てる割当部と、
前記割当部により割り当てられた機能を利用して、前記符号化対象の画像データを符号化する符号化部と、
を含む画像符号化装置。

0074

(付記2)
前記割当部は、複数の機能のうち、各機能を1回適用するに必要な処理量及び適用可能な最大繰り返し回数と、各機能に設定された優先度と、前記空き量とに基づいて、割り当てる機能及び該機能の繰り返し回数を決定する付記1記載の画像符号化装置。

0075

(付記3)
前記符号化対象の画像データがマルチチャネルの場合、
前記計算部は、チャネル毎の画像データの前記符号化の処理量に関連するパラメータに基づいて得られるチャネル毎の符号化の処理量の合計と、前記自装置の最大処理量とから、前記空き量を計算し、
前記割当部は、前記計算部で計算された前記空き量を各チャネルに分配し、各チャネルに分配された空き量に応じた前記機能を各チャネルに割り当てる
付記1又は付記2記載の画像符号化装置。

0076

(付記4)
前記割当部は、各チャネルに設定された優先度に応じた重み付けで、前記空き量を各チャネルに分配する付記3記載の画像符号化装置。

0077

(付記5)
前記符号化部は、前記符号化対象の画像データを符号化する画像符号化部と、符号化対象の音声データを符号化する音声符号化部とを含み、
前記画像符号化部により符号化された画像データと、前記音声符号化部により符号化された音声データと、前記符号化された画像データと前記符号化された音声データとの多重化及び同期に必要なデータとを多重化する多重化部をさらに含む
付記1〜付記4のいずれか1項記載の画像符号化装置。

0078

(付記6)
前記画像符号化部は、MPEG−2 Video、H.264/MPEG4 AVC、及びH.265/HEVCのいずれかの符号化方式で符号化対象の画像データを符号化し、前記符号化方式の通常の符号化処理に加え、前記割当部で割り当てられた機能を実行する付記5記載の画像符号化装置。

0079

(付記7)
前記音声符号化部は、MPEG−1 Audio、MPEG2/4 AAC、及びMPEG4HE−AACのいずれかの符号化方式で符号化対象の音声データを符号化する付記5又は付記6記載の画像符号化装置。

0080

(付記8)
前記多重化部は、MPEG−2 TS規格、又はMPEG−H MMT規格に沿って多重化及び同期に必要なデータを生成し、前記符号化された画像データと、前記符号化された音声データと、前記多重化及び同期に必要なデータを多重化する付記5〜付記7のいずれか1項記載の画像符号化装置。

0081

(付記9)
前記符号化の処理量に関連するパラメータは、前記符号化対象の画像データのサイズ、ピクチャレート、画素ビット深度、及び画像フォーマットのいずれかを含む付記1〜付記8のいずれか1項記載の画像符号化装置。

0082

(付記10)
前記機能は、縮小画像を用いたベクトル探索機能、予測画像を用いたベクトル探索機能、及び予測モード決定機能のいずれかを含む付記1〜付記9のいずれか1項記載の画像符号化装置。

0083

(付記11)
符号化の処理量に関連するパラメータに基づいて得られる符号化対象の画像データに対する符号化の処理量と、自装置の最大処理量とから、前記符号化対象の画像データに対する符号化の処理で発生する空き量を計算し、
計算された空き量に応じて、符号化の精度を向上させる機能を前記符号化対象の画像データに割り当て、
割り当てられた機能を利用して、前記符号化対象の画像データを符号化する
ことを含む処理をコンピュータに実行させる画像符号化方法。

0084

(付記12)
複数の機能のうち、各機能を1回適用するに必要な処理量及び適用可能な最大繰り返し回数と、各機能に設定された優先度と、前記空き量とに基づいて、割り当てる機能及び該機能の繰り返し回数を決定する付記11記載の画像符号化方法。

0085

(付記13)
前記符号化対象の画像データがマルチチャネルの場合、
チャネル毎の画像データの前記符号化の処理量に関連するパラメータに基づいて得られるチャネル毎の符号化の処理量の合計と、前記自装置の最大処理量とから、前記空き量を計算し、
計算された空き量を各チャネルに分配し、各チャネルに分配された処理の空き量に応じた前記機能を各チャネルに割り当てる
付記11又は付記12記載の画像符号化方法。

0086

(付記14)
各チャネルに設定された優先度に応じた重み付けで、前記空き量を各チャネルに分配する付記13記載の画像符号化方法。

0087

(付記15)
符号化対象の音声データを符号化し、
符号化された画像データと、符号化された音声データと、前記符号化された画像データと前記符号化された音声データとの多重化及び同期に必要なデータとを多重化する
ことをさらに含む処理を前記コンピュータに実行させる付記11〜付記14のいずれか1項記載の画像符号化方法。

0088

(付記16)
MPEG−2 Video、H.264/MPEG4 AVC、及びH.265/HEVCのいずれかの符号化方式で符号化対象の画像データを符号化し、前記符号化方式の通常の符号化処理に加え、割り当てられた機能を実行する付記15記載の画像符号化方法。

0089

(付記17)
MPEG−1 Audio、MPEG2/4 AAC、及びMPEG4HE−AACのいずれかの符号化方式で符号化対象の音声データを符号化する付記15又は付記16記載の画像符号化方法。

0090

(付記18)
MPEG−2 TS規格、又はMPEG−H MMT規格に沿って多重化及び同期に必要なデータを生成し、前記符号化された画像データと、前記符号化された音声データと、前記多重化及び同期に必要なデータを多重化する付記15〜付記17のいずれか1項記載の画像符号化方法。

0091

(付記19)
前記符号化の処理量に関連するパラメータは、前記符号化対象の画像データのサイズ、ピクチャレート、画素ビット深度、及び画像フォーマットのいずれかを含む付記11〜付記18のいずれか1項記載の画像符号化方法。

0092

(付記20)
前記機能は、縮小画像を用いたベクトル探索機能、予測画像を用いたベクトル探索機能、及び予測モード決定機能のいずれかを含む付記11〜付記19のいずれか1項記載の画像符号化方法。

0093

(付記21)
符号化の処理量に関連するパラメータに基づいて得られる符号化対象の画像データに対する符号化の処理量と、自装置の最大処理量とから、前記符号化対象の画像データに対する符号化の処理で発生する空き量を計算し、
計算された空き量に応じて、符号化の精度を向上させる機能を前記符号化対象の画像データに割り当て、
割り当てられた機能を利用して、前記符号化対象の画像データを符号化する
ことを含む処理をコンピュータに実行させる画像符号化プログラム。

0094

(付記22)
複数の機能のうち、各機能を1回適用するに必要な処理量及び適用可能な最大繰り返し回数と、各機能に設定された優先度と、前記処理の空き量とに基づいて、割り当てる機能及び該機能の繰り返し回数を決定する付記21記載の画像符号化プログラム。

0095

(付記23)
前記符号化対象の画像データがマルチチャネルの場合、
チャネル毎の画像データの前記符号化の処理量に関連するパラメータに基づいて得られるチャネル毎の符号化の処理量の合計と、前記自装置の最大処理量とから、前記空き量を計算し、
計算された空き量を各チャネルに分配し、各チャネルに分配された処理の空き量に応じた前記機能を各チャネルに割り当てる
付記21又は付記22記載の画像符号化プログラム。

0096

(付記24)
各チャネルに設定された優先度に応じた重み付けで、前記空き量を各チャネルに分配する付記23記載の画像符号化プログラム。

0097

(付記25)
符号化対象の音声データを符号化し、
符号化された画像データと、符号化された音声データと、前記符号化された画像データと前記符号化された音声データとの多重化及び同期に必要なデータとを多重化する
ことをさらに含む処理を前記コンピュータに実行させる付記21〜付記24のいずれか1項記載の画像符号化プログラム。

0098

(付記26)
MPEG−2 Video、H.264/MPEG4 AVC、及びH.265/HEVCのいずれかの符号化方式で符号化対象の画像データを符号化し、前記符号化方式の通常の符号化処理に加え、割り当てられた機能を実行する付記25記載の画像符号化プログラム。

0099

(付記27)
MPEG−1 Audio、MPEG2/4 AAC、及びMPEG4HE−AACのいずれかの符号化方式で符号化対象の音声データを符号化する付記25又は付記26記載の画像符号化プログラム。

0100

(付記28)
MPEG−2 TS規格、又はMPEG−H MMT規格に沿って多重化及び同期に必要なデータを生成し、前記符号化された画像データと、前記符号化された音声データと、前記多重化及び同期に必要なデータを多重化する付記25〜付記27のいずれか1項記載の画像符号化プログラム。

0101

(付記29)
前記符号化の処理量に関連するパラメータは、前記符号化対象の画像データのサイズ、ピクチャレート、画素ビット深度、及び画像フォーマットのいずれかを含む付記21〜付記28のいずれか1項記載の画像符号化プログラム。

0102

(付記30)
前記機能は、縮小画像を用いたベクトル探索機能、予測画像を用いたベクトル探索機能、及び予測モード決定機能のいずれかを含む付記21〜付記29のいずれか1項記載の画像符号化プログラム。

0103

10画像符号化装置
11 取得部
12 計算部
13割当部
14画像符号化部
15音声符号化部
16多重化部
21画質向上機能表
40コンピュータ
41 CPU
42メモリ
43 記憶部
49記録媒体
50 画像符号化プログラム

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ